CN117082240A - 编码/解码视频信号的方法及其装置 - Google Patents

编码/解码视频信号的方法及其装置 Download PDF

Info

Publication number
CN117082240A
CN117082240A CN202311169343.6A CN202311169343A CN117082240A CN 117082240 A CN117082240 A CN 117082240A CN 202311169343 A CN202311169343 A CN 202311169343A CN 117082240 A CN117082240 A CN 117082240A
Authority
CN
China
Prior art keywords
transform
current block
mts
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311169343.6A
Other languages
English (en)
Inventor
具文模
金昇焕
梅迪·萨利希法
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN117082240A publication Critical patent/CN117082240A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种编码/解码视频信号的方法及其装置。本发明的实施例提供了一种用于处理视频信号的方法及其装置。具体地，一种根据本发明实施例的用于基于缩减变换来解码视频信号的方法包括以下步骤：从视频信号获得变换索引，所述变换索引用于指示被应用于当前块的水平和垂直方向的变换内核；基于由变换索引指示的变换内核和当前块的大小，确定在其中变换被应用于当前块的区域；将在当前块内的除了对其应用变换的区域以外的剩余区域的系数看作零；以及通过使用由变换索引指示的变换内核，在对其应用变换的区域上执行逆变换。

Description

编码/解码视频信号的方法及其装置
本申请是2021年4月26日提交的申请号为201980070736.7(PCT/KR2019/012352)、申请日为2019年9月23日、标题为“编码/解码视频信号的方法及其装置”的专利申请的分案申请。
技术领域
本公开的实施例涉及一种用于处理视频信号的方法和装置，并且更具体地，涉及一种用于通过执行基于缩减变换的变换来编码/解码视频信号的方法和装置。
背景技术
压缩编码是指通过通信线路发送数字化的信息或将其以适当形式存储在存储介质中的信号处理技术。诸如视频、图像和音频的媒体可以是压缩编码的对象，特别是，对图像执行压缩编码的技术被称为视频图像压缩。
下一代视频内容将具有高空间分辨率、高帧频和场景表示的高维度的特征。为了处理这种内容，存储器存储、存储器访问速率和处理能力将显著增加。
因此，有必要设计用于更高效地处理下一代视频内容的编码工具。具体地，高效视频编码(HEVC)标准之后的视频编解码器标准需要连同预测技术一起以更高准确性将空域视频信号变换为频域信号的高效变换技术。
发明内容
技术问题
本发明实施例的目的在于提供一种根据特定条件而对预定义区域进行一次变换(primary transform)的方法。
本公开要实现的技术目的不限于上述技术目的，并且本公开所属领域的普通技术人员可以根据以下描述而清楚地理解以上未描述的其他技术目的。
技术方案
在本公开的实施例的一个方面中，一种用于基于缩减变换来解码视频信号进行的方法可以包括：从视频信号获得用于指示被应用于当前块的水平和垂直方向的变换内核的变换索引；基于由变换索引指示的变换内核和当前块的大小来确定在其中变换被应用于当前块的区域；将在当前块内的除了对其应用变换的区域之外的剩余区域的系数推导为零；以及通过使用由变换索引指示的变换内核来在对其应用所述变换的区域上执行逆变换。
优选地，当由变换索引指示的变换内核为预定义变换且当前块的宽度和/或高度大于预定义大小时，可以通过将具有与预定义大小相对应的宽度和/或高度的区域确定为对其应用变换的区域，来执行对其应用变换的区域的确定。
优选地，预定义变换可以是DST7和/或DCT8的多个变换组合中的一个。
优选地，预定义大小可以是16。
优选地，当由变换索引指示的变换内核属于第一变换组时，可以通过将在当前块的宽度和32之间的较小值确定为对其应用变换的区域的宽度，并将在当前块的高度和32之间的较小值确定为对其应用变换的区域的高度，以及当由变换索引指示的变换内核属于第二变换组时，将在当前块的宽度和16之间的较小值确定为对其应用变换的区域的宽度，并将在当前块的高度和16之间的较小值确定为对其应用变换的区域的高度，来执行对其应用变换的区域的确定。
优选地，所述方法可以还包括获得用于指示最后有效系数在当前块内按扫描次序的位置的句法元素，其中可以基于最后有效系数的位置从视频信号获得对其应用逆变换的系数。
优选地，可以基于截断一元方法来二进制化句法元素，并且可以基于被推导为零的区域来确定句法元素的最大值。
在本公开的实施例的一个方面中，一种用于基于缩减变换来解码视频信号的装置可以包括：存储器，该存储器被配置为存储视频信号；以及处理器，该处理器被连接到存储器，其中处理器可以被配置为：从视频信号获得用于指示被应用于当前块的水平和垂直方向的变换内核的变换索引；基于由变换索引指示的变换内核以及当前块的大小来确定在其中变换被应用于当前块的区域；将在当前块内的除了对其应用变换的区域之外的剩余区域的系数推导为零；以及通过使用由变换索引指示的变换内核，来在对其应用变换的区域上执行逆变换。
有益效果
根据本公开的实施例，通过根据特定条件仅对预定义区域执行变换，可以显著地降低复杂度。
本公开可以获得的效果不限于上述效果，并且本公开所属领域的普通技术人员可以根据以下描述而明显地理解以上未描述的其他技术效果。
附图说明
附图作为说明书的一部分被包括在本文中以用于帮助理解本公开，附图提供本公开的实施方式，并且利用下面的描述来描述本公开的技术特征。
图1示出作为应用了本公开的实施方式的视频编码系统的示例。
图2是作为应用了本公开的实施方式的对视频/图像信号进行编码的编码装置的示意性框图。
图3是作为应用了本公开的实施方式的对图像信号进行解码的解码装置的示意性框图。
图4是应用了本公开的实施方式的内容串流系统的配置图。
图5示出本公开适用的实施方式，图5a是用于描述根据QT(四叉树)的块分割结构的图，图5b是用于描述根据BT(二叉树)的块分割结构的图，图5c是用于描述根据TT(三叉树)的块分割结构的图，以及图5d是用于描述根据AT(不对称树)的块分割结构的图。
图6和图7示出应用了本公开的实施方式，图6是编码装置中的变换和量化单元以及逆量化和逆变换单元的示意性框图，以及图7是解码装置中的逆量化和逆变换单元的示意性框图。
图8是示出执行自适应多变换(AMT)的处理的流程图。
图9是示出执行AMT的解码处理的流程图。
图10是示出根据本公开的实施方式的基于MTS的逆变换处理的流程图。
图11是根据本公开的实施方式的基于MTS执行解码的装置的框图。
图12和图13是示出作为应用了本公开的实施方式的应用二次变换的编码/解码的流程图。
图14和图15示出应用了本公开的实施方式，图14是用于描述吉文斯(Givens)旋转的图，图15示出由Givens旋转层和置换(permutation)组成的4×4不可分二次变换(NSST)中的一个回合的配置。
图16示出作为应用了本公开的实施方式的缩减二次变换(RST)的操作。
图17是示出作为应用了本公开的实施方式的以反向扫描顺序从第64系数到第17系数执行反向扫描的处理的图。
图18是示出作为应用了本公开的实施方式的使用单变换指示符(STI)进行编码的示例性流程图。
图19是示出作为应用了本公开的实施方式的使用统一变换指示符(UTI)进行编码的示例性流程图。
图20例示了示出作为应用了本公开的实施方式的使用UTI进行编码的两个示例性流程图。
图21是示出作为应用了本公开的实施方式的用于执行变换的编码的示例性流程图。
图22是示出作为应用了本公开的实施方式的用于执行变换的解码的示例性流程图。
图23是示出作为应用了本公开的实施方式的编码装置100中的变换单元120的示例的详细框图。
图24是示出作为应用了本公开的实施方式的解码装置200中的逆变换单元的示例的详细框图。
图25是作为应用了本公开的实施方式的处理视频信号的流程图。
图26是例示了根据应用了本公开的实施方式的变换视频信号的方法的流程图。
图27是示出了作为应用本公开的实施例的用于通过使用缩减变换来编码视频信号的方法的图。
图28是示出了作为应用本公开的实施例的用于通过使用缩减变换来解码视频信号的方法的图。
图29是示出根据本公开实施例的用于基于缩减变换来解码视频信号的方法的流程图。
图30是作为应用本公开的实施例的用于处理视频信号的装置的示例性框图。
具体实施方式
参照附图详细描述本公开的一些实施方式。要连同附图一起公开的详细描述旨在描述本公开的一些实施方式，而非旨在描述本公开的仅有实施方式。以下详细描述包括更多细节，以便提供本公开的全面理解。然而，本领域技术人员将理解，本公开可以在没有这些更多细节的情况下实现。
在一些情况下，为了避免本公开的概念变得模糊，已知结构和装置被省略或者可基于各个结构和装置的核心功能以框图形式示出。
尽管本公开中使用的大多数术语选自本领域中广泛使用的一般术语，但是一些术语是申请人任意选择的，其含义根据需要在以下描述中详细说明。因此，本公开应该以术语的预期含义来理解，而非其简单名称或含义。
提供以下描述中使用的特定术语以帮助理解本公开，并且这些特定术语的使用可在不脱离本公开的技术精神的情况下以各种形式改变。例如，在各个编码处理中，信号、数据、样本、画面、帧、块等可适当地替换和解释。
在本说明书中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码处理的单元。此外，处理单元可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可对应于块、编码单元(CU)、预测单元(PU)或变换单元(TU)。
另外，处理单元可被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可对应于用于亮度分量的编码树块(CTB)、编码块(CB)、PU或变换块(TB)。此外，处理单元可对应于用于色度分量的CTB、CB、PU或TB。此外，处理单元不限于此，可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
另外，处理单元未必限于正方形块，且可被配置成具有三个或更多个顶点的多边形形状。
此外，在本说明书中，像素被称为样本。另外，使用样本可以意指使用像素值等。
图1示出作为应用了本公开的实施方式的视频编码系统的示例。
视频编码系统可包括源装置10和接收装置20。源装置10可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或串流的形式发送到接收装置20。
源装置10可包括视频源11、编码装置12和发送器13。接收装置20可包括接收器、解码装置22和渲染器23。编码装置12可被称为视频/图像编码装置，解码装置22可被称为视频/图像解码装置。发送器13可包括在编码装置12中。接收器21可包括在解码装置22中。渲染器23可包括显示器，并且该显示器可被配置成单独的装置或外部组件。
视频源可通过视频/图像捕获、组合或生成处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板、智能电话等，并且(电子地)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像，并且在这种情况下，视频/图像捕获处理可由相关数据生成处理代替。
编码装置12可对输入的视频/图像进行编码。为了压缩和编码效率，编码装置12可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器13可通过数字存储介质或网络将编码的视频/图像信息或以比特流的形式输出的数据以文件或串流的形式发送到接收装置接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。发送器13可包括用于通过预定文件格式生成媒体文件的元件以及用于通过广播/通信网络传输的元件。接收器21可提取比特流并将比特流发送到解码装置22。
解码装置22可通过执行与编码装置12的操作对应的诸如逆量化、逆变换和预测的一系列过程来将视频/图像解码。
渲染器23可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是作为应用了本公开的实施方式的对视频/图像信号进行编码的编码装置的示意性框图。编码装置100可对应于图1的编码装置12。
图像划分单元110可将输入到编码装置100的输入图像(或画面或帧)划分成一个或更多个处理单元。例如，处理单元可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，可基于四叉树结构和/或二叉树结构将单个编码单元分割成具有更深深度的多个编码单元。在这种情况下，可首先应用四叉树结构，然后可应用二叉树结构。另选地，可首先应用二叉树结构。根据本公开的编码过程可基于不再分割的最终编码单元来执行。在这种情况下，最大编码单元可直接用作最终编码单元，或者编码单元可被递归地分割成具有更深深度的编码单元，并且可根据图像特性基于编码效率根据需要使用具有最优大小的编码单元作为最终编码单元。这里，编码过程可包括诸如预测、变换和重构的过程(将稍后描述)。可替选地，处理单元还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元分割或划分。预测单元可以是样本预测的单元，且变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。
单元可与术语“块”或“区域”互换使用。通常，M×N块表示M列和N行的一组样本或变换系数。样本通常可表示像素或像素值，并且可表示仅亮度分量的像素/像素值或仅色度分量的像素/像素值。样本可用作与画面(图像)、像素或画素对应的术语。
编码装置100可通过从输入的视频信号(原始块或原始样本阵列)减去从帧间预测单元180或帧内预测单元185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)，并且所生成的残差信号被发送到变换单元120。在这种情况下，如图所示，在编码器100中从输入的视频信号(原始块或原始样本阵列)减去预测信号(预测块或预测样本阵列)的单元可被称为减法器115。预测器可对处理目标块(以下称为当前块)执行预测并相对于当前块生成包括预测样本的预测块。预测器可确定对当前块或CU单元应用帧内预测还是帧间预测。预测器可生成关于预测的各种类型的信息(例如，预测模式信息)，并将该信息发送到熵编码单元190，如稍后在各个预测模式的描述中描述的。关于预测的信息可在熵编码单元190中被编码并以比特流的形式输出。
帧内预测单元185可参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可与当前块邻近，或者可与其分离。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的微细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这是示例性的，可根据设置使用数量等于或大于65或者等于或小于33的定向预测模式。帧内预测单元185可使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
帧间预测单元180可基于参考画面上的运动矢量所指定的参考块(参考样本阵列)相对于当前块推导预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面可与包括时间邻近块的参考画面相同或不同。时间邻近块可被称为并置参考块或并置CU(colCU)，并且包括时间邻近块的参考画面可被称为并置画面(colPic)。例如，帧间预测单元180可基于邻近块形成运动信息候选列表，并且生成指示哪一候选用于推导当前块的运动矢量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测，并且在跳过模式和合并模式的情况下，帧间预测单元180可使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可不发送残差信号。在运动矢量预测(MVP)模式的情况下，可通过使用邻近块的运动矢量作为运动矢量预测器并用信号通知运动矢量差来指示当前块的运动矢量。
通过帧间预测单元180或帧内预测单元185生成的预测信号可用于生成重构信号或残差信号。
变换单元120可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括DCT(离散余弦变换)、DST(离散正弦变换)、KLT(Karhunen-Loeve变换)、GBT(基于图的变换)和CNT(有条件非线性变换)中的至少一个。这里，GBT是指从表示关于像素之间的关系的信息的图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获得的变换。此外，变换处理可应用于具有相同大小的正方形像素块，或者应用于具有可变大小的非正方形块。
量化单元130可量化变换系数并将量化的变换系数发送到熵编码单元190，并且熵编码单元190可对量化的信号(关于量化的变换系数的信息)进行编码并将编码的信号作为比特流输出。关于量化的变换系数的信息可被称为残差信息。量化单元130可基于系数扫描顺序将块形式的量化的变换系数重排为一维矢量的形式，并且基于一维矢量形式的量化的变换系数来生成关于量化的变换系数的信息。例如，熵编码单元190可执行诸如指数Golomb、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)的各种编码方法。熵编码单元190可对视频/图像重构所需的信息(例如，句法元素的值等)与量化的变换系数一起或分开进行编码。编码的信息(例如，视频/图像信息)可按比特流的形式发送或存储在网络抽象层(NAL)单元中。比特流可通过网络发送或存储在数字存储介质中。这里，网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。发送从熵编码单元190输出的信号的发送器(未示出)和/或存储信号的存储装置(未示出)可被配置成编码装置100的内部/外部元件，并且发送器可以是熵编码单元190的组件。
从量化单元130输出的量化的变换系数可用于生成预测信号。例如，可通过经由环路中的逆量化单元140和逆变换单元150对量化的变换系数应用逆量化和逆变换来重构残差信号。加法器155可将重构的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，使得可生成重构信号(重构画面、重构块或重构样本阵列)。当如应用跳过模式的情况一样相对于处理目标块不存在残差时，预测块可用作重构块。加法器155也可被称为重构单元或重构块生成器。所生成的重构信号可通过将稍后描述的滤波用于当前画面中的下一处理目标块的帧内预测或者用于下一画面的帧间预测。
滤波单元160可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波单元160可通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面发送到解码画面缓冲器170。例如，各种滤波方法可包括解块滤波、样本自适应偏移、自适应环路滤波和双边滤波。滤波单元160可生成关于滤波的各种类型的信息并将该信息发送到熵编码单元190，如稍后将在各个滤波方法的描述中描述的。关于滤波的信息可在熵编码单元190中编码并以比特流的形式输出。
发送到解码画面缓冲器170的修改的重构画面可在帧间预测单元180中用作参考画面。因此，编码装置可避免编码装置100与解码装置之间不匹配，并且当应用帧间预测时改进编码效率。
解码画面缓冲器170可存储修改的重构画面，使得修改的重构画面在帧间预测单元180中用作参考画面。
图3是作为应用了本公开的实施方式的执行视频信号的解码的解码装置的示意性框图。图3的解码装置200对应于图1的解码装置22。
参照图3，解码装置200可包括熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、解码画面缓冲器(DPB)250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可被统称为预测器。即，预测器可包括帧间预测单元180和帧内预测单元185。逆量化单元220和逆变换单元230可被统称为残差处理器。即，残差处理器可包括逆量化单元220和逆变换单元230。上述熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、帧间预测单元260和帧内预测单元265可根据实施方式被配置成单个硬件组件(例如，解码器或处理器)。此外，解码画面缓冲器250可根据实施方式被配置成单个硬件组件(例如，存储器或数字存储介质)。
当输入包括视频/图像信息的比特流时，解码装置200可通过与图2的编码装置100中处理视频/图像信息的处理对应的处理来重构图像。例如，解码装置200可使用编码装置100中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，并且编码单元可根据四叉树结构和/或二叉树结构从编码树单元或最大编码单元分割。另外，由解码装置200解码和输出的重构视频信号可通过再现装置再现。
解码装置200可接收以比特流的形式从图2的编码装置100输出的信号，并且所接收的信号可通过熵解码单元210解码。例如，熵解码单元210可解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。例如，熵解码单元210可基于诸如指数Golomb、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的句法元素值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法接收与比特流中的各个句法元素对应的二进制位(bin)，使用解码目标句法元素信息以及邻近和解码目标块的解码信息或者关于在前一级中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率，并执行bin的算术解码以生成与各个句法元素值对应的符号。这里，CABAC熵解码方法可使用关于在确定上下文模型之后为下一符号/bin上下文模型解码的符号/bin的信息来更新上下文模型。熵解码单元210中解码的信息当中关于预测的信息可被提供给预测器(帧间预测单元260和帧内预测单元265)，并且熵解码单元210中已执行熵解码的残差值(即，量化的变换系数)和相关参数信息可被输入到逆量化单元220。此外，熵解码单元210中解码的信息当中关于滤波的信息可被提供给滤波单元240。此外，接收从编码装置100输出的信号的接收器(未示出)可被另外配置成解码装置200的内部/外部元件，或者接收器可以是熵解码单元210的组件。
逆量化单元220可对量化的变换系数进行逆量化以输出变换系数。逆量化单元220可按二维块的形式重排量化的变换系数。在这种情况下，可在编码装置100中基于系数扫描顺序执行重排。逆量化单元220可使用量化参数(例如，量化步长信息)对量化的变换系数执行逆量化并获取变换系数。
逆变换单元230对变换系数进行逆变换以获得残差信号(残差块或残差样本阵列)。
预测器可对当前块执行预测并相对于当前块生成包括预测样本的预测块。预测器可基于从熵解码单元210输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测，并确定特定帧内/帧间预测模式。
帧内预测单元265可参考当前画面中的样本来预测当前块。根据预测模式，参考的样本可与当前块邻近或者可与当前块分离。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测265可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元260可基于参考画面上的运动矢量所指定的参考块(参考样本阵列)相对于当前块推导预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测单元260可基于邻近块来形成运动信息候选列表，并基于所接收的候选选择信息来推导当前块的运动矢量和/或参考画面索引。可基于各种预测模式执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器235可通过将所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号(预测块或预测样本阵列)相加来生成重构信号(重构画面、重构块或重构样本阵列)。当如应用跳过模式的情况一样相对于处理目标块不存在残差时，预测块可用作重构块。
加法器235也可被称为重构单元或重构块生成器。所生成的重构信号可通过将稍后描述的滤波用于当前画面中的下一处理目标块的帧内预测或用于下一画面的帧间预测。
滤波单元240可通过对重构信号应用滤波来改进主观/客观画面质量。例如，滤波单元240可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面发送到解码画面缓冲器250。例如，各种滤波方法可包括解块滤波、样本自适应偏移(SAO)、自适应环路滤波(ALF)和双边滤波。
发送到解码画面缓冲器250的修改的重构画面可被帧间预测单元260用作参考画面。
在本说明书中，编码装置100的滤波单元160、帧间预测单元180和帧内预测单元185中描述的实施方式可同样或以对应方式应用于解码装置的滤波单元240、帧间预测单元260和帧内预测单元265。
图4是作为应用了本公开的实施方式的内容串流系统的配置图。
应用了本公开的内容串流系统可包括编码服务器410、流服务器420、web服务器430、媒体存储装置440、用户装置450和多媒体输入装置460。
编码服务器410用于将从诸如智能电话、相机和摄像机的多媒体输入装置输入的内容压缩为数字数据以生成比特流并将该比特流发送到流服务器420。作为另一示例，当诸如智能电话、相机和摄像机的多媒体输入装置460直接生成比特流时，编码服务器410可被省略。
可通过应用了本公开的编码方法或比特流生成方法来生成比特流，并且串流服务器420可在发送或接收比特流的处理中暂时存储比特流。
串流服务器420基于用户请求通过web服务器430将多媒体数据发送到用户装置450，并且web服务器430用作告知用户服务的介质。当用户向web服务器430发送对期望的服务的请求时，web服务器430将请求传送至串流服务器420并且流服务器420将多媒体数据发送到用户。这里，内容串流系统可包括附加控制服务器，并且在这种情况下，控制服务器用于控制内容串流系统中的装置之间的命令/响应。
串流服务器420可从媒体存储装置440和/或编码服务器410接收内容。例如，当从编码服务器410接收内容时，串流服务器420可实时接收内容。在这种情况下，串流服务器420可将比特流存储预定时间，以便提供平滑的串流服务。
用户装置450的示例可包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航装置、石板PC、平板PC、超极本、可穿戴装置(例如，智能手表、智能眼镜和HMD(头戴式显示器))、数字TV、台式计算机、数字标牌等。
内容串流系统中的各个服务器可作为分布式服务器操作，并且在这种情况下，各个服务器接收的数据可按分布式方式处理。
图5示出本公开适用的实施方式，图5a是用于描述根据QT(四叉树)的块分割20结构的图，图5b是用于描述根据BT(二叉树)的块分割结构的图，图5c是用于描述根据TT(三叉树)的块分割结构的图，图5d是用于描述根据AT(不对称树)的块分割结构的图。
在视频编码中，可基于QT来分割单个块。此外，可使用QT进一步递归地分割根据QT分割的单个子块。不再根据QT分割的叶块可使用BT、TT和AT中的至少一个来分割。BT可具有两种类型的分割：水平BT(2NxN、2NxN)；和垂直BT(Nx2N、Nx2N)。TT可具有两种类型的分割：水平TT(2Nx1/2N、2NxN、2Nx1/2N)；和垂直TT(1/2Nx2N、Nx2N、1/2Nx2N)。AT可具有四种类型的分割：水平上AT(2Nx1/2N、2Nx3/2N)；水平下AT(2Nx3/2N、2Nx1/2N)；垂直左AT(1/2Nx2N、3/2Nx2N)；和垂直右AT(3/2Nx2N、1/2Nx2N)。各个类型的BT、TT和AT可使用BT、TT和AT进一步递归地分割。
图5a示出QT分割的示例。块A可根据QT被分割成四个子块A0、A1、A2和A3。子块A1可根据QT被进一步分割成四个子块B0、B1、B2和B3。
图5b示出BT分割的示例。不再根据QT分割的块B3可被分割成垂直BT(C0和C1)或水平BT(D0和D1)。诸如块C0的各个子块可被进一步递归地分割成水平BT(E0和E1)或垂直BT(F0和F1)。
图5c示出TT分割的示例。不再根据QT分割的块B3可被分割成垂直TT(C0、C1和C2)或水平TT(D0、D1和D2)。诸如块C1的各个子块可被进一步递归地分割成水平TT(E0、E1和E2)或垂直TT(F0、F1和F2)。
图5d示出AT分割的示例。不再根据QT分割的块B3可被分割成垂直AT(C0和C1)或水平AT(D0和D1)。诸如块C1的各个子块可被进一步递归地分割成水平AT(E0和E1)或垂直TT(F0和F1)。
此外，BT、TT和AT分割可按组合方式使用。例如，根据BT分割的子块可根据TT或AT来分割。此外，根据TT分割的子块可根据BT或AT来分割。根据AT分割的子块可根据BT或TT来分割。例如，各个子块可在水平BT分割之后被分割成垂直BT，或者各个子块可在垂直BT分割之后被分割成水平BT。在这种情况下，尽管分割顺序不同，但最终分割的形状相同。
此外，当块被分割时，可按各种方式定义块搜索顺序。通常，从左至右、从上至下执行搜索，并且块搜索可意指确定各个分割的子块是否另外分割的顺序、当子块不再分割时子块的编码顺序、或者当子块参考邻近其他块的信息时的搜索顺序。
可对根据如图5a至图5d所示的分割结构分割的处理单元(或变换块)执行变换，具体地，可在行方向和列方向中执行分割，并且可应用变换矩阵。根据本公开的实施方式，可根据处理单元(或变换块)在行方向或列方向中的长度使用不同的变换类型。
对残差块应用变换以便尽可能将残差块去相关，将系数集中在低频上，并在块的末尾生成零尾部。JEM软件中的变换部包括两个主要功能(核心变换(core transform)和二次变换(secondary transform))。核心变换由应用于残差块的所有行和列的离散余弦变换(DCT)和离散正弦变换(DST)变换族组成。此外，可另外对核心变换的输出的左上角应用二次变换。类似地，可按逆二次变换和逆核心变换的顺序应用逆变换。首先，可对系数块的左上角应用逆二次变换。然后，对逆二次变换的输出的行和列应用逆核心变换。核心变换或逆变换可被称为一次变换或逆变换。
图6和图7示出应用了本公开的实施方式，图6是编码装置100中的变换和量化单元120/130和逆量化和逆变换单元140/150的示意性框图，且图7是解码装置200中的逆量化和逆变换单元220/230的示意性框图。
参照图6，变换和量化单元120/130可包括一次变换单元121、二次变换单元122和量化单元130。逆量化和逆变换单元140/150可包括逆量化单元140、逆二次变换单元151和逆一次变换单元152。
参照图7，逆量化和逆变换单元220/230可包括逆量化单元220、逆二次变换单元231和逆一次变换单元232。
在本公开中，可通过多个阶段执行变换。例如，可如图6所示应用一次变换和二次变换两个阶段，或者可根据算法使用超过两个变换阶段。这里，一次变换可被称为核心变换。
一次变换单元121可对残差信号应用一次变换。这里，可在编码器和/或解码器中作为表来预定义一次变换。
二次变换单元122可对一次变换的信号应用二次变换。这里，可在编码器和/或解码器中作为表来预定义二次变换。
在实施方式中，可作为二次变换有条件地应用不可分二次变换(NSST)。例如，NSST仅应用于帧内预测块，并且可具有每预测模式组适用的变换集。
这里，可基于相对于预测方向的对称性设定预测模式组。例如，预测模式52和预测模式16基于预测模式34(对角方向)对称，因此可生成一个组并且可对其应用相同的变换集。这里，当应用预测模式52的变换时，由于预测模式52的变换集与预测模式16相同，所以输入数据被转置，然后应用变换。
在平面模式和DC模式的情况下，相对于方向不存在对称性，因此它们具有各自的变换集并且对应变换集可由两个变换组成。对于剩余定向模式，各个变换集可由三个变换组成。
量化单元130可对二次变换的信号执行量化。
逆量化和逆变换单元140/150执行上述过程的逆过程，并省略冗余描述。
图7是解码装置200中的逆量化和逆变换单元220/230的示意性框图。
参照图7，逆量化和逆变换单元220/230可包括逆量化单元220、逆二次变换单元231和逆一次变换单元232。
逆量化单元220使用量化步长信息从熵解码的信号获得变换系数。
逆二次变换单元231对变换系数执行逆二次变换。这里，逆二次变换是指图6中描述的二次变换的逆变换。
逆一次变换单元232对逆二次变换的信号(或块)执行逆一次变换并获得残差信号。这里，逆一次变换是指图6中描述的一次变换的逆变换。
除了应用于HEVC的DCT-2和4×4DST-4之外，自适应多变换或显示多变换(AMT或EMT)用于帧间和帧内编码的块的残差编码。除了HEVC中的变换之外，还使用选自DCT/DST族的多个变换。JEM中新引入的变换矩阵是DST-7、DCT-8、DST-1和DCT-5。下表1示出所选DST/DCT的基本函数。
[表1]
可对宽度和高度等于或小于64的CU应用EMT，并且是否应用EMT可由CU级别标志控制。当CU级别标志为0时，对CU应用DCT-2以便对残差进行编码。用信号通知两个附加标志以便标识要用于应用EMT的CU中的亮度编码块的水平和垂直变换。如HEVC中一样，在JEM中可在变换跳过模式下对块的残差进行编码。对于帧内残差编码，由于其他帧内预测模式的其他残差统计，使用依赖模式的变换候选选择处理。如下表2中所示定义三个变换子集，并且如表3中所示基于帧内预测模式选择变换子集。
[表2]
与子集概念一起，初始使用CU级别EMT_CU_flag为1的CU的帧内预测模式基于表2确认变换子集。此外，对于水平EMT_TU_horizontal_flag)和垂直(EMT_TU_vertical_flag)变换中的每一个，根据表3基于使用标志的显式信令选择确认的变换子集中的两个变换候选之一。
[表3]
帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
V 2 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0
H 2 1 0 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2
帧内模式 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
V 0 0 0 0 0 1 0 1 0 1 0 1 0 1 0 1 0
H 2 2 2 2 2 1 0 1 0 1 0 1 0 1 0 1 0
帧内模式 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
V 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2 2 2 2
H 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0
帧内模式 53 54 55 56 57 58 59 60 61 62 63 64 65 66
V 2 2 1 0 1 0 1 0 1 0 1 0 1 0
H 0 0 1 0 1 0 1 0 1 0 1 0 1 0
[表4]
表4示出作为应用了本公开的实施方式的应用自适应多变换(AMT)的变换配置组。
参照表4，基于预测模式来确定变换配置组，并且组数可为6(G0至G5)。另外，G0至G4对应于应用帧内预测的情况，G5表示应用于根据帧间预测生成的残差块的变换组合(或变换集或变换组合集)。
一个变换组合可由应用于对应2D块的行的水平变换(或行变换)和应用于其列的垂直变换(或列变换)组成。
这里，各个变换配置组可具有四个变换组合候选。这四个变换组合候选可使用变换组合索引0至3来选择或确定，并且变换组合索引可被编码并从编码器发送到解码器。
在实施方式中，通过帧内预测获得的残差数据(或残差信号)可根据帧内预测模式具有不同的统计特性。因此，可如表4所示针对各个帧内预测应用正常余弦变换以外的变换。在本说明书中，例如，变换类型可被表示为DCT-Type2、DCT-II或DCT-2。
参照表4，示出使用35个帧内预测模式的情况和使用67个帧内预测模式的情况。可针对各个帧内预测模式列中分类的各个变换配置组应用多个变换组合。例如，多个变换组合可由四个组合(行方向中的变换和列方向中的变换)组成。作为特定示例，可在行(水平)方向和列(垂直)方向二者上对组0应用DST-7和DCT-5，因此可总共应用四个组。
由于可对各个帧内预测模式应用总共四个变换内核组合，所以可每变换单元发送用于从其中选择一个的变换组合索引。在本说明书中，变换组合索引可被称为AMT索引并且可由amt_idx表示。
此外，除了表4所示的变换内核之外，由于残差信号的特性，可生成DCT-2对于行方向和列方向二者最优的情况。因此，可通过为各个编码单元定义AMT标志来自适应地应用变换。这里，当AMT标志为0时，DCT-2可应用于行方向和列方向二者，当AMT标志为1时，可通过AMT索引选择或确定四个组合之一。
在实施方式中，如果当AMT标志为0时对于一个变换单元，变换系数的数量少于3，则不应用表4的变换内核，并且DST-7可应用于行方向和列方向二者。
在实施方式中，如果先前解析变换系数值，因此变换系数的数量少于3，则不解析AMT索引并且应用DST-7，因此附加信息的传输量可减少。
在实施方式中，仅当变换单元的宽度和高度二者均等于或小于32时，才可应用AMT。
在实施方式中，表4可通过离线训练预设。
在实施方式中，AMT索引可被定义为可指示水平变换和垂直变换的组合的一个索引。另选地，AMT索引可被定义为单独的水平变换索引和垂直变换索引。
图8是示出执行自适应多变换(AMT)的处理的流程图。
尽管在本说明书中基本描述了关于在水平方向和垂直方向中单独应用的可分变换的实施方式，但是变换组合可由不可分变换组成。
可替选地，变换组合可被配置成可分变换和不可分变换的混合。在这种情况下，当使用可分变换时不需要行/列方式变换选择或水平/垂直方向中的选择，并且仅当选择可分变换时才可使用表4的变换组合。
另外，可应用本说明书中提出的方法，而不管一次变换和二次变换如何。即，方法可应用于这两种变换。这里，一次变换可指初始变换残差块的变换，二次变换可指对作为一次变换的结果生成的块应用变换的变换。
首先，编码装置100可确定与当前块对应的变换组(S805)。这里，变换组可指表4的变换组，但本公开不限于此，变换组可由其他变换组合组成。
编码装置100可对变换组中的可用候选变换组合执行变换(S810)。作为变换的结果，编码装置100可确定或选择具有最低率失真(RD)成本的变换组合(S815)。编码装置100可对与所选变换组合对应的变换组合索引进行编码(S820)。
图9是示出执行AMT的解码处理的流程图。
首先，解码装置200可确定当前块的变换组(S905)。解码装置200可解析变换组合索引，并且该变换组合索引可对应于变换组中的多个变换组合之一(S910)。解码装置200可推导与变换组合索引对应的变换组合(S915)。这里，尽管变换组合可指表4所示的变换组合，但本公开不限于此。即，变换组合可被配置成其他变换组合。
解码装置200可基于变换组合对当前块执行逆变换(S920)。当变换组合由行变换和列变换组成时，可应用行变换，然后可应用列变换。然而，本公开不限于此，可在应用列变换之后应用行变换，并且当变换组合由不可分变换组成时，不可分变换可立即应用。
在另一实施方式中，确定变换组的处理和解析变换组合索引的处理可同时执行。
在本公开的实施方式中，上述术语“AMT”可被重新定义为“多变换集或多变换选择(MTS)”。在通用视频编码(VVC)JVET-K1001-v4中总结了下面描述的MTS相关句法和语义。
在本公开的实施方式中，两个MTS候选可用于定向模式并且四个MTS候选可用于非定向模式如下。
A)非定向模式(DC和平面)
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
当MTS索引为3时，DCT-8用于水平和垂直变换。
B)属于水平组模式的模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DCT-8用于垂直变换并且DST-7用于水平变换。
C)属于垂直组模式的模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
这里(在使用67个模式的VTM2.0中)，水平组模式包括帧内预测模式2至34，并且垂直模式包括帧内预测模式35至66。
在本公开的另一实施方式中，三个MTS候选用于所有帧内预测模式。
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
在本公开的另一实施方式中，两个MTS候选用于定向预测模式，并且三个MTS候选用于非定向模式。
A)非定向模式(DC和平面)
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
当MTS索引为2时，DCT-8用于垂直变换并且DST-7用于水平变换。
B)与水平组模式对应的预测模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DCT-8用于垂直变换并且DST-7用于水平变换。
C)与垂直组模式对应的预测模式
当MTS索引为0时，DST-7用于水平和垂直变换。
当MTS索引为1时，DST-7用于垂直变换并且DCT-8用于水平变换。
在本公开的另一实施方式中，一个MTS候选(例如，DST-7)可用于所有帧内模式。在这种情况下，编码时间可减少40％，而编码损失很小。另外，一个标志可用于在DCT-2和DST-7之间指示。
图10是示出根据本公开的实施方式的基于MTS的逆变换处理的流程图。
应用了本公开的解码装置200可获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1005)。这里，sps_mts_intra_enabled_flag指示帧内编码单元的残差编码句法中是否存在cu_mts_flag。例如，如果sps_mts_intra_enabled_flag＝0，则帧内编码单元的残差编码句法中不存在cu_mts_flag，如果sps_mts_intra_enabled_flag＝1，则帧内编码单元的残差编码句法中存在cu_mts_flag。另外，sps_mts_inter_enabled_flag指示帧间编码单元的残差编码句法中是否存在cu_mts_flag。例如，如果sps_mts_inter_enabled_flag＝0，则帧间编码单元的残差编码句法中不存在cu_mts_flag，如果sps_mts_inter_enabled_flag＝1，则帧间编码单元的残差编码句法中存在cu_mts_flag。
解码装置200可基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得cu_mts_flag(S1010)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码装置200可获得cu_mts_flag。这里，cu_mts_flag指示是否对亮度变换块的残差样本应用MTS。例如，如果cu_mts_flag＝0，则不对亮度变换块的残差样本应用MTS，如果cu_mts_flag＝1，则对亮度变换块的残差样本应用MTS。
解码装置200可基于cu_mts_flag获得mts_idx(S1015)。例如，当cu_mts_flag＝1时，解码装置200可获得mts_idx。这里，mts_idx指示在水平方向和/或垂直方向中对当前变换块的亮度残差样本应用哪一变换内核。
例如，本说明书中描述的实施方式中的至少一个可应用于mts_idx。
解码装置200可推导与mts_idx对应的变换内核(S1020)。例如，与mts_idx对应的变换内核可被单独地定义为水平变换和垂直变换。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，解码装置200可基于当前块的帧内预测模式来配置MTS候选。在这种情况下，图10的解码流程图还可包括配置MTS候选的步骤。然后，解码装置200可使用mts_idx从配置的MTS候选当中确定要应用于当前块的MTS候选。
作为另一示例，不同变换内核可应用于水平变换和垂直变换。然而，本公开不限于此，相同的变换内核可应用于水平变换和垂直变换。
解码装置200可基于变换内核执行逆变换(S1025)。
此外，在本说明书中，MTS可被表示为AMT或EMT，并且mts_idx可被表示为AMT_idx、EMT_idx、AMT_TU_idx、EMT_TU_idx等，但本公开不限于此。
本公开通过基于MTS标志划分为应用MTS的情况和不应用MTS的情况来描述，但不限于这种表达。例如，是否应用MTS的含义可与是否使用预定义的特定变换类型(可被称为基本变换类型、默认变换类型等)以外的其他变换类型(或变换内核)相同。如果应用MTS，则基本变换类型以外的变换类型(例如，任一个变换类型或多个变换类型当中的两个或更多个变换类型的组合变换类型)可用于变换。此外，如果不应用MTS，则基本变换类型可用于变换。在实施方式中，基本变换类型可被配置(或定义)为DCT2。
作为示例，当指示是否对当前变换块应用MTS的MTS标志句法和应用MTS时，也可从编码器向解码器单独地发送指示应用于当前变换块的变换类型的MTS索引句法。作为另一示例，当是否对当前变换块应用MTS和应用MTS时，也可从编码器向解码器发送包括应用于当前变换块的所有变换类型的句法(例如，MTS索引)。即，在后一示例中，可在包括上述基本变换类型的所有变换类型组(或变换类型集)内从编码器向解码器发送指示应用于当前变换块(或单元)的变换类型的句法(或句法元素)。
因此，不管该表达，指示应用于当前变换块的变换类型的句法(MTS索引)可包括关于是否应用MTS的信息。换言之，在后一示例中，可仅用信号通知MTS索引而没有MTS标志，并且在这种情况下，可理解，DCT2包括在MTS中。然而，在本公开中，可描述DCT2的应用意味着不应用MTS。然而，关于MTS的技术范围不限于对应定义。
图11是根据本公开的实施方式的基于MTS执行解码的装置的框图。
应用了本公开的解码装置200可包括序列参数获取单元1105、MTS标志获取单元1110、MTS索引获取单元1115和变换内核推导单元1120。
序列参数获取单元1105可获取sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag。这里，sps_mts_intra_enabled_flag指示帧内编码单元的残差编码句法中是否存在cu_mts_flag，sps_mts_inter_enabled_flag指示帧间编码单元的残差编码句法中是否存在cu_mts_flag。参照图10的描述可应用于特定示例。
MTS标志获取单元1110可基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获取cu_mts_flag。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，MTS标志获取单元1110可获取cu_mts_flag。这里，cu_mts_flag指示是否对亮度变换块的残差样本应用MTS。参照图10的描述可应用于特定示例。
MTS索引获取单元1115可基于cu_mts_flag获取mts_idx。例如，当cu_mts_flag＝1时，MTS索引获取单元1115可获取mts_idx。这里，mts_idx指示在水平方向和/或垂直方向中对当前变换块的亮度残差样本应用哪一变换内核。参照图10的描述可应用于特定示例。
变换内核推导单元1120可推导与mts_idx对应的变换内核。然后，解码装置200可基于所推导的变换内核执行逆变换。
引入依赖模式的不可分二次变换(MDNSST)。为了维持低复杂度，在一次变换之后仅对低频系数应用MDNSST。此外，主要应用于低频系数的不可分变换可被称为LFNST(低频不可分变换)。如果变换系数块的宽度(W)和高度(H)二者等于或大于8，则对变换系数块的8×8左上区域应用8×8不可分二次变换。如果宽度或高度小于8，则应用4×4不可分二次变换，并且可对变换系数块的左上min(8,W)×min(8,H)执行4×4不可分二次变换。这里，min(A,B)是输出A和B之间的较小值的函数。此外，W×H是块大小，W表示宽度，H表示高度。
对于块大小4×4和8×8，可存在总共35×3不可分二次变换。这里，35是帧内预测模式所指定的变换集的数量，3是各个预测模式的NSST候选的数量。从帧内预测模式到变换集的映射可定义于下表5中。
[表5]
为了指示变换集当中的变换内核，可对NSST索引(NSST idx)进行编码。当未应用NSST时，用信号通知等于0的NSST索引。
图12和图13是示出作为应用了本公开的实施方式的应用二次变换的编码/解码的流程图。
在JEM中，对于以变换跳过模式编码的块，不应用二次变换(MDNSST)。当对于CU用信号通知MDNSST索引并且其不等于零时，MDNSST不用于CU中以变换跳过模式编码的组件的块。图12和图13中示出包括系数编码和NSST索引编码的总编码结构。CBF标志被编码以确定是否执行系数编码和NSST编码。在图12和图13中，CBF标志可表示亮度块cbg标志(cbf_luma标志)或色度块cbf标志(cbf_cb标志或cbf_cr标志)。当CBF标志为1时，变换系数被编码。
参照图12，编码装置100检查CBF是否为1(S1205)。如果CBF为0，则编码装置100不执行变换系数编码和NSST索引编码。如果CBF为1，则编码装置100对变换系数执行编码(S1210)。此外，编码装置100确定是否执行NSST索引编码(S1215)并执行NSST索引编码(S1220)。当不应用NSST索引编码时，编码装置100可结束变换过程而不应用NSST，并且执行后续步骤(例如，量化)。
参照图13，解码装置200检查CBF是否为1(S1305)。如果CBF为0，则解码装置200不执行变换系数解码和NSST索引解码。如果CBF为1，则解码装置200对变换系数执行解码(S1310)。此外，解码装置200确定是否执行NSST索引编码(S1315)并解析NSST索引(S1320)。
可对8×8或4×4左上区域应用NSST，而非对已应用一次变换的整个块(在HEVC的情况下，TU)应用。例如，当块大小为8×8或更大(即，块的宽度和高度二者大于或等于8)时可应用8×8NSST，当块大小小于8×8(即，宽度和高度二者小于8)时可应用4×4NSST。此外，当应用8×8NSST时(即，当块大小为8×8或更大时)，可每4×4块应用4×4NSST(即，左上8×8区域被划分为4×4块并且对各个4×4块应用4×4NSST)。8×8NSST和4×4NSST二者可根据上述变换集配置来确定，并且8×8NSST可具有64条输入数据和64条输出数据，4×4NSST可具有16个输入和16个输出，因为它们是不可分变换。
图14和图15示出应用了本公开的实施方式，图14是用于描述Givens旋转的图，图15示出由Givens旋转层和置换组成的4×4NSST中的一个回合的配置。
8×8NSST和4×4NSST二者可被配置成Givens旋转的层次组合。与一个Givens旋转对应的矩阵被表示为式1，矩阵乘积被表示为图14。
[式1]
在图14中，根据Givens旋转输出的tm和tn可如式2所表示计算。
[式2]
tm＝xmcosθ-xnsinθ
tn＝xmsinθ+xncosθ
由于Givens旋转如图14所示旋转两条数据，所以需要32或8个Givens旋转以处理64(在8×8NSST的情况下)或16(在4×4NSST的情况下)条数据。因此，一组32或8个Givens旋转可形成Givens旋转层。如图15所示，通过置换(混排)发送一个Givens旋转层的输出数据作为下一Givens旋转层的输入数据。规则地定义如图15所示置换的图案，在4×3NSST的情况下，四个Givens旋转层和对应置换形成一个回合。通过两个回合执行4×4NSST，通过四个回合执行8×8NSST。尽管不同的回合使用相同的置换图案，但所应用的Givens旋转角度不同。因此，需要存储构成各个置换的所有Givens旋转的角度数据。
作为最后步骤，最后对通过Givens旋转层输出的数据执行另一个置换，并且针对各个置换单独地存储关于对应置换的信息。在正向NSST的末尾执行对应置换，并且在逆NSST中初始应用对应反向置换。
反向NSST反向地执行对正向NSST应用的Givens旋转层和置换，并且通过对各个Given旋转角度取负值来执行旋转。
RST(缩减二次变换)
图16示出作为应用了本公开的实施方式的RST的操作。
当表示变换的正交矩阵为N×N时，缩减变换(RT)仅留下N个变换基本矢量中的R个(R＜N)。关于生成变换系数的正向RT的矩阵可由式3定义。
[式3]
由于关于反向RT的矩阵是正向RT矩阵的转置矩阵，所以如图16A和图16B所示图示化了正向RT和反向RT的应用。
对已应用一次变换的变换系数块的8×8左上块应用的RT可被称为8×8RST。当在式3中R被设定为16时，正向8×8RST具有16×64矩阵的形式，反向8×8RST具有64×16矩阵的形式。在这种情况下，M×N矩阵可由M行和N列组成。此外，如表5所示的变换集配置可应用于8×8RST。即，可如表5所示根据帧内预测模式基于变换集确定8×8RST。由于一个变换集根据帧内预测模式由两个或三个变换组成，所以可选择包括不应用二次变换的情况的最多四个变换之一(一个变换可对应于各向异性矩阵)。当索引0、1、2和3被指派给四个变换时，可通过用信号通知与各个变换系数块的NSST索引对应的句法元素来指定要应用的变换。例如，索引9可被指派给各向异性矩阵，即，不应用二次变换的情况。因此，通过NSST索引为8×8左上块，可根据JEMNSST指定8×8NSST并且可根据RST配置指定8×8RST。
图17是示出作为应用了本公开的实施方式的以反向扫描顺序从第64系数到第17系数执行反向扫描的处理的图。
当应用如式3表示的8×8RST时，生成16个有效变换系数，因此构成8×8区域的64条输入数据缩减为16条输出数据，并且根据二维区域的角度，仅四分之一区域由有效变换系数填充。因此，通过应用正向8×8RST而获得的16条输出数据填充图17的左上区域。
在图17中，4×4左上区域成为由有效变换系数填充的感兴趣区域(ROI)，剩余区域是空的。空区域可填充0作为默认值。如果在图17的ROI以外的区域中发现非零有效变换系数，则还未明确地应用8×8RST，因此对于对应NSST索引，可省略对应编码。另一方面，如果在图17的ROI以外的区域中未发现非零有效变换系数(应用8×8RST或者ROI以外的区域填充0)，则由于可能应用8×8RST，所以NSST索15引可被编码。这种有条件NSST索引编码需要检查是否存在非零变换系数，因此可在残差编码处理之后执行。
图18是示出作为应用了本公开的实施方式的使用单变换指示符进行编码的示例性流程图。
在本公开的实施方式中，引入了单变换指示符(STI)。当STI被启用(STI编码＝＝1)时可应用单个变换，而非顺序地使用两个变换(一次变换和二次变换)。这里，单个变换可以是任何类型的变换。例如，单个变换可以是可分变换或不可分变换。单个变换可以是从不可分变换近似的变换。当STI已被启用时，可用信号通知单变换索引(图18中的ST_idx)。这里，单变换索引可指示可用变换候选当中要应用的变换。
参照图18，编码装置100确定CBF是否为1(S1805)。当CBF为1时，编码装置100确定是否应用STI编码(S1810)。当应用STI编码时，编码装置100对STI索引STI_idx进行编码(S1845)并对变换系数执行编码(S1850)。当未应用STI编码时，编码装置100对指示是否在CU级别应用EMT(或MTS)的标志EMT_CU_Flag进行编码(S1815)。此外，编码装置100对变换系数执行编码(S1820)。然后，编码装置100确定是否对变换单元(TU)应用EMT(S1825)。当对TU应用EMT时，编码装置100对应用于TU的一次变换索引EMT_TU Idx进行编码(S1830)。随后，编码装置100确定是否应用NSST(S1835)。当应用NSST时，编码装置100对指示要应用的NSST的索引NSST_Idx进行编码(S1840)。
在示例中，如果满足/启用单变换编码条件(例如，STI_coding＝＝1)，则可隐含5地推导单变换索引ST_Idx，而非用信号通知。可基于块大小和帧内预测模式隐含地确定ST_idx。这里，ST_Idx可指示应用于当前变换块的变换(或变换内核)。
如果满足以下条件中的一个或更多个，则可启用STI(STI_coding＝＝1)。
1)块大小对应于诸如4或8的预定值。
2)块宽度＝＝块高度(正方形块)
3)帧内预测模式是诸如DC和平面模式的预定模式之一。
在另一示例中，可用信号通知STI编码标志以便指示是否应用单个变换。可基于STI编码值和CBF用信号通知STI编码标志。例如，当CBF为1并且启用STI编码时，可用信号通知STI编码标志。此外，可考虑块大小、块形状(正方形块或非正方形块)或帧内预测模式有条件地用信号通知STI编码标志。
为了使用在系数编码期间获取的信息，可在系数编码之后确定ST_idx。在示例中，可基于块大小、帧内预测模式和非零系数的数量隐含地确定ST_idx。在另一示例中，可基于块大小、块形状、帧内预测模式和/或非零系数的数量有条件地编码/解码ST_idx。在另一示例中，可根据非零系数的分布(即，非零系数的位置)省略ST_idx信令。具体地，当在4×4左上区域以外的区域中发现非零系数时，可省略ST_idx信令。
图19是示出作为应用了本公开的实施方式的使用统一变换指示符(UTI)进行编码的示例性流程图。
在本公开的实施方式中，引入了统一变换指示符。UTI包括一次变换指示符和二次变换指示符。
参照图19，编码装置100确定CBF是否为1(S1905)。当CBF为1时，编码设备100确定是否应用UTI编码(S1910)。当应用UTI编码时，编码装置100对UTI索引UTI_idx进行编码(S1945)并对变换系数执行编码(S1950)。当未应用UTI编码时，编码装置100对指示是否在CU级别应用EMT(或MTS)的标志EMT_CU_Flag进行编码(S1915)。此外，编码装置100对变换系数执行编码(S1920)。然后，编码装置100确定是否对变换单元(TU)应用EMT(S1925)。当对TU应用EMT时，编码装置100对应用于TU的一次变换索引EMT_TU Idx进行编码(S1930)。随后，编码装置100确定是否应用NSST(S1935)。当应用NSST时，编码装置100对指示要应用的NSST的索引NSST_Idx进行编码(S1940)。
可针对各个预定单元(CTU或CU)对UTI进行编码。
UTI编码模式可取决于以下条件。
1)块大小
2)块形状
3)帧内预测模式
预先定义如何从UTI推导/提取核心变换索引。预先定义如何从UTI推导/提取二次变换索引。
可选地，可使用UTI的句法结构。UTI可取决于CU(TU)大小。例如，较小的CU(TU)可具有较窄范围内的UTI索引。在示例中，如果满足预定义的条件(例如，块大小小于预定义的阈值)，则UTI可仅指示核心变换索引。
[表6]
UTI索引 二值化(FLC) 核心变换Idx 二次变换Idx
0 00000 0 0
1 00001 0 1
2 00010 0 2
3 00011 0 3
4 00100 1 0
5 00101 1 1
6 00110 1 2
7 00111 1 3
… … … …
31 11111 5 3
在另一示例中，当指示不使用二次变换(例如，二次变换索引＝＝0或二次变换已经预定)时，UTI索引可被视为核心变换索引。以相同的方式，当核心变换索引被视为已知时，UTI索引可被视为二次变换索引。具体地，考虑帧内预测模式和块大小，可使用预定核心变换。
图20例示了示出作为应用了本公开的实施方式的使用UTI进行编码的两个示例性流程图。
在另一示例中，变换编码结构可如图20所示使用UTI索引编码。这里，UTI索引可比系数编码早或比系数编码晚编码。
参照图20的左流程图，编码装置100检查CBF是否为1(S2005)。当CBF为1时，编码装置100对UTI索引UTI_idx进行编码(S2010)并对变换系数执行编码(S2015)。
参照图20的右流程图，编码装置100检查CBF是否为1(S2055)。当CBF为1时，编码装置100对变换系数执行编码(S2060)并对UTI索引UTI_idx进行编码(S2065)。
在本公开的另一实施方式中，引入了变换指示符的数据隐藏和隐式编码方法。这里，变换指示符可包括ST_idx、UTI_idx、EMT_CU_Flag、EMT_TU_Flag、NSST_Idx以及可用于指示变换内核的任何种类的变换相关索引。上述变换指示符可不用信号通知，而是可在系数编码处理中插入对应信息(可在系数编码处理期间提取)。系数编码处理可包括以下部分。
-Last_position_x，Last_position_y
-组标志
-重要图
-Greather_than_1标志
-Greather_than_2标志
-剩余级别编码
-符号编码
例如，可在上述系数编码处理中的一个或更多个中插入变换指示符信息。为了插入变换指示符信息，可联合考虑以下内容。
符号编码的图案
剩余级别的绝对值
Greather_than_1标志的数量
Last_position_X和Last_position_Y的值
可有条件地考虑上述数据隐藏方法。例如，数据隐藏方法可取决于非零系数的数量。
在另一示例中，NSST_idx和EMT_idx可以是依赖的。例如，当EMT_CU_Flag等于零(或一)时，NSST_idx可不为零。在这种情况下，可用信号通知NSST_idx-1，而非NSST_idx。
在本公开的另一实施方式中，如下表7所示引入基于帧内预测模式的NSST变换集映射。尽管下面作为不可分变换的示例描述了NSST，但另一已知术语(例如，LFNST)可用于不可分变换。例如，NSST集和NSST索引可由LFNST集和LFNST索引代替。此外，本说明书中描述的RST也可由LFNST代替，作为使用应用于变换块的至少一个区域(4×4或8×8左上区域或8×8块中4×4右下区域以外的区域)的正方形不可分变换矩阵中具有缩减输入长度和/或缩减输出长度的非正方形变换矩阵的不可分变换(例如，LFNST)的示例。
[表7]
NSST集数量可如表8所示从0至3重排。
[表8]
在NSST变换集中，仅使用四个变换集(而非35个)，以使得所需存储器空间可减小。
另外，每变换集的各种数量的变换内核可如下使用。
情况A：使用每个变换集两个可用变换内核，以使得NSST索引范围从0至2。例如，当NSST索引为0时，可不应用二次变换(基于解码器的逆二次变换)。当NSST索引为1或2时，可应用二次变换。变换集可包括可映射索引1或2的两个变换内核。
[表9]
参照表9，两个变换内核用于不可分变换(NSST或LFNST)集0至3中的每一个。
情况B：两个可用变换内核用于变换集0，一个用于其他。变换集0(DC和平面)的可用NSST索引为0至2。然而，其他模式(变换集1、2和3)的NSST索引为0至1。
[表10]
参照表10，为与索引0对应的不可分变换(NSST)集设定两个不可分变换内核，为与索引1、2和3对应的不可分变换(NSST)集中的每一个设定一个不可分变换内核。
情况C：每变换内核使用一个变换内核，并且NSST索引范围为0至1。
[表11]
图21是示出作为应用了本公开的实施方式的用于执行变换的编码的示例性流程图。
编码装置100对残差块执行一次变换(S2105)。一次变换可被称为核心变换。作为实施方式，编码装置100可使用上述MTS执行一次变换。此外，编码装置100可向解码装置200发送指示MTS候选当中的特定MTS的MTS索引。这里，可基于当前块的帧内预测模式来配置MTS候选。
编码装置100确定是否应用二次变换(S2110)。例如，编码装置100可基于一次变换的残差块的变换系数来确定是否应用二次变换。例如，二次变换可以是NSST或RST。
编码装置100确定二次变换(S2115)。这里，编码装置100可基于根据帧内预测模式指定的NSST(或RST)变换集来确定二次变换。
例如，编码装置100可在步骤S2115之前基于当前块的大小来确定将应用二次变换的区域。
编码装置100执行在步骤S2115中确定的二次变换(S2120)。
图22是示出作为应用了本公开的实施方式的用于执行变换的解码的示例性流程图。
解码装置200确定是否应用逆二次变换(S2205)。例如，逆二次变换可以是NSST或RST。例如，解码装置200可基于从编码装置100接收的二次变换标志来确定是否应用逆二次变换。
解码装置200确定逆二次变换(S2210)。这里，解码装置200可基于根据上述帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的逆二次变换。
此外，例如，解码装置200可在步骤S2210之前基于当前块的大小来确定将应用逆二次变换的区域。
解码装置200使用在步骤S2210中确定的逆二次变换对逆量化的残差块执行逆二次变换(S2215)。
解码装置对逆二次变换的残差块执行逆一次变换(S2220)。逆一次变换可被称为逆核心变换。在实施方式中，解码装置200可使用上述MTS执行逆一次变换。此外，作为示例，解码装置200可在步骤S2220之前确定是否对当前块应用MTS。在这种情况下，图22的解码流程图还可包括确定是否应用MTS的步骤。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，解码装置200可基于当前块的帧内预测模式来配置MTS候选。在这种情况下，图22的解码流程图还可包括配置MTS候选的步骤。另外，解码装置200可使用指示所配置的MTS候选当中的特定MTS的mtx_idx来确定应用于当前块的逆一次变换。
图23是作为应用了本公开的实施方式的编码装置100中的变换单元120的详细框图。
应用了本公开的实施方式的编码装置100可包括一次变换单元2310、二次变换应用确定单元2320、二次变换确定单元2330和二次变换单元2340。
一次变换单元2310可对残差块执行一次变换。一次变换可被称为核心变换。作为实施方式，一次变换单元2310可使用上述MTS执行一次变换。此外，一次变换单元2310可向解码装置200发送指示MTS候选当中的特定MTS的MTS索引。这里，可基于当前块的帧内预测模式来配置MTS候选。
二次变换应用确定单元2320能够确定是否应用二次变换。例如，二次变换应用确定单元2320可基于一次变换的残差块的变换系数来确定是否应用二次变换。例如，二次变换可以是NSST或RST。
二次变换确定单元2330确定二次变换。这里，二次变换确定单元2330可如上所述基于根据帧内预测模式指定的NSST(或RST)变换集来确定二次变换。
例如，二次变换确定单元2330可基于当前块的大小来确定将应用二次变换的区域。
二次变换单元2340可执行所确定的二次变换。
图24是作为应用了本公开的实施方式的解码装置200中的逆变换单元230的详细框图。
应用了本公开的解码装置200包括逆二次变换应用确定单元2410、逆二次变换确定单元2420、逆二次变换单元2430和逆一次变换单元2440。
逆二次变换应用确定单元2410可确定是否应用逆二次变换。例如，逆二次变换可以是NSST或RST。例如，逆二次变换应用确定单元2410可基于从编码装置100接收的二次变换标志来确定是否应用逆二次变换。
逆二次变换确定单元2420可确定逆二次变换。这里，逆二次变换确定单元2420可基于根据帧内预测模式指定的NSST(或RST)变换集来确定应用于当前块的逆二次变换。
此外，例如，逆二次变换确定单元2420可基于当前块的大小来确定将应用逆二次变换的区域。
逆二次变换单元2430可使用所确定的逆二次变换对逆量化的残差块执行逆二次变换。
逆一次变换单元2440可对逆二次变换的残差块执行逆一次变换。在实施方式中，逆一次变换单元2440可使用上述MTS来执行逆一次变换。此外，作为示例，逆一次变换单元2440可确定是否对当前块应用的MTS。
例如，当对当前块应用MTS(即，cu_mts_flag＝1)时，逆一次变换单元2440可基于当前块的帧内预测模式来配置MTS候选。另外，逆一次变换单元2440可使用指示所配置的MTS候选当中的特定MTS的mtx_idx来确定应用于当前块的逆一次变换。
图25是作为应用了本公开的实施方式的处理视频信号的流程图。图25的流程图的处理可由解码装置200或逆变换单元230执行。
首先，解码装置200可基于不可分变换索引以及当前块的宽度和高度来确定是否对当前块应用反向不可分变换。例如，如果不可分变换索引不为0并且当前块的宽度和高度等于或大于4，则解码装置200可确定应用不可分变换。如果不可分变换索引为0或者当前块的宽度或高度小于4，则解码装置200可省略反向不可分变换并执行逆一次变换。
在步骤S2505中，解码装置200确定指示基于当前块的帧内预测模式预定义的不可分变换集当中用于当前块的不可分变换的不可分变换集的不可分变换集索引。可设定不可分变换集索引，使得其被分配给根据帧内预测模式的范围配置的四个变换集中的每一个，如表7或表8所示。即，当帧内预测模式为0和1时，不可分变换集索引可被确定为第一索引值，当帧内预测模式为2至12或56至66时确定为第二索引值，当帧内预测模式为13至23或45至55时确定为第三索引值，当帧内预测模式为24至44时确定为第四索引值，如表7或表8所示。
这里，各个预定义的不可分变换集可包括两个变换内核，如表9所示。此外，各个预定义的不可分变换集可包括一个或两个变换内核，如表10或表11所示。
在步骤S2510中，解码装置200从不可分变换集索引所指示的不可分变换集中所包括的变换内核当中确定当前块的不可分变换索引所指示的变换内核作为不可分变换矩阵。例如，可为各个不可分变换集索引值配置两个不可分变换内核，并且解码装置200可在与不可分变换集索引对应的两个变换矩阵核之间基于不可分变换索引所指示的变换内核来确定不可分变换矩阵。
在步骤S2515中，解码装置200将不可分变换矩阵应用于基于当前块的宽度和高度确定的当前块的左上区域。例如，如果当前块的宽度和高度二者等于或大于8，则可对当前块的8×8左上区域应用不可分变换，如果当前块的宽度或高度小于8，则可对当前块的4×4区域应用不可分变换。响应于将应用不可分变换的区域，不可分变换的大小也可被设定为与8×8或4×4对应的大小(例如，48×16、16×16)。
此外，解码装置200可对已应用不可分变换的当前块应用水平变换和垂直变换。这里，可基于用于选择预测模式的MTS索引和应用于当前块的变换矩阵来确定水平变换和垂直变换。
以下，描述以组合方式应用一次变换和二次变换的方法。即，本公开的实施方式提出一种高效地设计一次变换和二次变换中使用的变换的方法。在这种情况下，可应用图1至图25所示的方法，并且省略冗余描述。
如上所述，一次变换表示在编码器中首先对残差块应用的变换。如果应用二次变换，则编码器可对一次变换的残差块执行二次变换。如果应用了二次变换，则可在解码器中在逆一次变换之前执行逆二次变换。解码器可对逆二次变换的变换系数块执行逆一次变换以推导残差块。
另外，如上所述，不可分变换可用作二次变换，并且可仅对左上特定区域的低频系数应用二次变换，以便维持低复杂度。应用于这些低频系数的二次变换可被称为不可分二次变换(NSST)、低频不可分变换(LFNST)或缩减二次变换(RST)。一次变换可被称为核心变换。
在本公开的实施方式中，一次变换中使用的一次变换候选和二次变换中使用的二次变换内核可被预定义为各种组合。在本公开中，一次变换中使用的一次变换候选可被称为MTS候选，但不限于该名称。例如，一次变换候选可以是分别应用于水平和垂直方向的变换内核(或变换类型)的组合，并且变换内核可以是DCT2、DST7和/或DCT8之一。换言之，一次变换候选可以是DCT2、DST7和/或DCT8的至少一个组合。以详细示例给出以下描述。
-组合A
在组合A中，如下表12所示，可根据帧内预测模式定义一次变换候选和二次变换内核。
[表12]
参照上表12，作为示例(情况1)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性(例如，DC模式、平面模式)，则可使用四个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括两个变换内核。即，如上所述，多个二次变换内核集合可根据帧内预测模式预定义，并且多个预定义的二次变换内核集合中的每一个可包括两个变换内核。
此外，作为示例(情况2)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性，则可使用四个一次变换候选。在这种情况下，如果帧内预测模式具有方向性，则二次变换候选可包括一个变换内核，如果帧内预测模式不具有方向性，则二次变换候选可包括两个变换内核。
此外，作为示例(情况3)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性，则可使用四个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括一个变换内核。
-组合B
在组合B中，如下表13所示，可根据帧内预测模式定义一次变换候选和二次变换内核。
[表13]
参照上表13，作为示例(情况1)，不管帧内预测模式的方向性如何，可使用三个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括两个变换内核。即，如上所述，多个二次变换内核集合可根据帧内预测模式预定义，并且多个预定义的二次变换内核集合中的每一个可包括两个变换内核。
此外，作为示例(情况2)，不管帧内预测模式的方向性如何，可使用三个一次变换候选。在这种情况下，如果帧内预测模式具有方向性，则二次变换候选可包括一个变换内核，如果帧内预测模式不具有方向性，则二次变换候选可包括两个变换内核。
此外，作为示例(情况3)，不管帧内预测模式的方向性如何，可使用三个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括一个变换内核。
-组合C
在组合C中，如下表14所示，可根据帧内预测模式定义一次变换候选和二次变换内核。
[表14]
参照上表14，作为示例(情况1)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性(例如，DC模式、平面模式)，则可使用三个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括两个变换内核。即，如上所述，多个二次变换内核集合可根据帧内预测模式预定义，并且多个预定义的二次变换内核集合中的每一个可包括两个变换内核。
此外，作为示例(情况2)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性，则可使用三个一次变换候选。在这种情况下，如果帧内预测模式具有方向性，则二次变换候选可包括一个变换内核，如果帧内预测模式不具有方向性，则二次变换候选可包括两个变换内核。
此外，作为示例(情况3)，如果帧内预测模式具有方向性，则可使用两个一次变换候选，如果帧内预测模式不具有方向性，则可使用三个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括一个变换内核。
聚焦于使用多个一次变换候选的情况给出以上描述。作为示例，以下描述在使用固定的一次变换候选的情况下一次变换和二次变换的组合。
-组合D
在组合D中，如下表15所示，可根据帧内预测模式定义一次变换候选和二次变换内核。
[表15]
参照上表15，作为实施方式，不管帧内预测模式如何，可固定地使用一个一次变换候选。例如，固定的一次变换候选可以是DCT2、DST7和/或DCT8的至少一个组合。
作为示例(情况1)，不管帧内预测模式如何，可固定地使用一个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括两个变换内核。即，如上所述，多个二次变换内核集合可根据帧内预测模式预定义，并且多个预定义的二次变换内核集合中的每一个可包括两个变换内核。
此外，作为示例(情况2)，不管帧内预测模式如何，可固定地使用一个一次变换候选。在这种情况下，如果帧内预测模式具有方向性，则二次变换候选可包括一个变换内核，如果帧内预测模式不具有方向性，则二次变换候选可包括两个变换内核。
此外，作为示例(情况3)，不管帧内预测模式如何，可固定地使用一个一次变换候选。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括一个变换内核。
-组合E
在组合E中，如下表16所示，可根据帧内预测模式定义一次变换候选和二次变换内核。
[表16]
参照上表16，只要作为一次变换应用DCT2，就可定义二次变换。换言之，如果不应用MTS(即，如果作为一次变换应用DCT2)，则可应用二次变换。如上图10所示，本公开通过划分成应用MTS的情况和不应用MTS的情况来描述，但不限于这种表达。例如，是否应用MTS的含义可与是否使用预定义的特定变换类型(可被称为基本变换类型、默认变换类型等)以外的变换类型(或变换内核)相同。如果应用MTS，则基本变换类型以外的变换类型(例如，多个变换类型当中的任一个变换类型或者两个或更多个变换类型的组合变换类型)可用于变换。此外，如果不应用MTS，则基本变换类型可用于变换。在实施方式中，基本变换类型可被配置(或定义)为DCT2。
作为示例(情况1)，当DCT2应用于一次变换时，可应用二次变换。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括两个变换内核。即，如上所述，多个二次变换内核集合可根据帧内预测模式预定义，并且多个预定义的二次变换内核集合中的每一个可包括两个变换内核。
此外，作为示例(情况2)，当DCT2应用于一次变换时，可应用二次变换。在这种情况下，如果帧内预测模式具有方向性，则二次变换候选可包括一个变换内核，并且如果帧内预测模式不具有方向性，则二次变换候选可包括两个变换内核。
此外，作为示例(情况3)，当DCT2应用于一次变换时，可应用二次变换。在这种情况下，不管帧内预测模式的方向性如何，二次变换候选可包括一个变换内核。
图26是示出根据应用了本公开的实施方式的变换视频信号的方法的流程图。
参照图26，为了说明方便，本公开基于解码器来描述，但不限于此。根据本公开的实施方式的视频信号的变换方法可基本上等同地应用于甚至编码器。图26所示的流程图可由解码装置200或逆变换单元230执行。
在S2601中，解码装置200解析指示应用于当前块的一次变换的一次变换内核的第一句法元素。
在S2602中，解码装置200基于第一句法元素确定二次变换是否适用于当前块。
如果二次变换适用于当前块，则在S2603中，解码装置200解析指示应用于当前块的二次变换的二次变换内核的第二句法元素。
在S2604中，解码装置200通过使用第二句法元素所指示的二次变换内核对当前块的左上特定区域执行逆二次变换来推导逆二次变换的块。
在S2605中，解码装置200通过使用第一句法元素所指示的一次变换内核对逆二次变换的块执行逆一次变换来推导当前块的残差块。
如上所述，如果第一句法元素指示预定义的第一变换内核，则可通过确定二次变换适用于当前块来执行步骤S2602。在这种情况下，第一变换内核可被定义为DCT2。
此外，如上所述，解码装置200可基于当前块的帧内预测模式在预定义的二次变换内核集合当中确定用于当前块的二次变换的二次变换内核集合。第二句法元素可指示所确定的二次变换内核集合中应用于当前块的二次变换的二次变换内核。
此外，如上所述，预定义的二次变换内核集合中的每一个可包括两个变换内核。
在本公开的实施例中，将描述其中使用多变换集(MTS)的句法结构的示例。
例如，下面的表17示出了序列参数集的句法结构的示例。
[表17]
/>
参考表17，可以通过序列参数集句法来用信号通知是否可以使用根据本公开的实施例的MTS。这里，sps_mts_intra_enabled_flag指示关于帧内编码单元在较低级句法(例如，残差编码句法或变换单元句法)中MTS标志或MTS索引的存在或不存在。另外，sps_mts_inter_enabled_flag指示关于帧间编码单元在较低级句法中MTS标志或MTS索引的存在或不存在。
作为另一实例，下表18示出变换单元句法结构的实例。
[表18]
参考表18，cu_mts_flag指示MTS是否被应用于亮度变换块的残差样本。例如，如果cu_mts_flag＝0，则MTS不被应用于亮度变换块的残差样本，并且如果cu_mts_flag＝1，则MTS被应用于亮度变换块的残差样本。
尽管如上所述，在本公开中分别描述了基于MTS标志应用MTS的情况和不应用MTS的情况，但是本公开不限于此。举例来说，是否应用MTS可以意味着是否使用除预定义的特定变换类型(其可称为基本变换类型、默认变换类型等)以外的变换类型(或变换内核)。如果应用MTS，则可以将除了默认变换类型之外的变换类型(例如，多种变换类型中的任何一种或者其两种或更多种的组合)用于变换，并且如果不应用MTS，则可以使用默认变换类型。在实施例中，默认变换类型可以被设置(或定义)为DCT2。
例如，用于指示MTS是否被应用于当前变换块的MTS标志句法、以及当MTS被应用时用于指示被应用于当前块的变换类型的MTS标志句法，可以从编码器被各自地发送到解码器。作为另一示例，可以将包括关于是否将MTS应用于当前变换块的信息以及当应用MTS时被应用于当前块的变换类型的句法(例如，MTS索引)从编码器发送到解码器。即，在后一实施例中，可以将用于指示应用于包括上述默认变换类型的变换类型组(或变换类型集合)中的当前变换块(或单元)的变换类型的句法(或句法元素)从编码器发送到解码器。
因此，用于指示应用于当前变换块的变换类型的句法(MTS索引)可以包括关于是否应用MTS的信息，而不管表达式如何。换句话说，尽管在后一实施例中可以用信号发送仅MTS索引而没有MTS标志，并且因此这种情况可以被解释为其中MTS包括DCT2的情况，但是在本公开中可以将应用DCT2的情况描述为不应用MTS的情况，但是关于MTS的技术范围不限于此。
作为另一实例，下表19示出残差单元句法结构的实例。
[表19]
/>
/>
/>
/>
参考表19，transform_skip_flag和/或mts_idx句法(或句法元素)可以通过残差句法来用信号发送。然而，这仅仅是示例，并且本公开不限于此。举例来说，transform_skip_flag和/或MTS_idx句法可以通过变换单元句法用信号发送。
在下文中，提出了一种通过仅对预定义区域应用一次变换来提高复杂度的方法。当选择性地将诸如MTS(例如，DCT2、DST7、DCT8、DST1、DCT5等)的各种变换(或变换内核)的组合应用于一次变换时，复杂度可增加。特别地，随着编码块(或变换块)大小的增加，需要考虑各种变换，这可能显著地增加复杂度。
因此，在本发明的实施例中，提出一种根据特定条件仅对预定义区域执行变换而非对所有区域执行(或应用)变换以降低复杂度的方法。
作为实施例，编码器可以通过基于上面参考图16到24描述的缩减变换(RT)方法对M×M像素块(亮度块)应用正向一次变换来获得R×R变换块而不是M×M变换块。例如，R×R区域可以是当前块(编码块或变换块)中的左上R×R区域。解码器可以通过仅对R×R(M≥R)区域执行逆一次变换来获得M×M变换块。
因此，非零系数可以仅存在于R×R区域中。在这种情况下，解码器可以将存在于除了R×R区域之外的区域中的系数置零(zero-out)，而无需对其执行计算。编码器可以执行正向变换，使得仅保留R×R区域(使得仅在R×R区域中存在非零系数)。
此外，解码器可以仅对根据编码块(或变换块)的大小和/或变换(或变换内核)类型确定的预定义区域应用一次变换(即，逆变换)。下表20示出根据变换的大小(或变换块的大小)使用预定义R值(其可以被称为缩减因子、缩减变换因子等等)的缩减自适应多变换(RAMT)。在本公开中，表示根据块大小而自适应地确定的缩减变换的缩减自适应多变换(RAMT)可以被称为缩减MTS(多变换选择)、缩减显式多次变换、缩减一次变换等等。
[表20]
变换大小 缩减变换1 缩减变换2 缩减变换3
8×8 4×4 6×6 6×6
16×16 8×8 12×12 8×8
32×32 16×16 16×16 16×16
64×64 32×32 16×16 16×16
128×128 32×32 16×16 16×16
参考表20，可以根据变换大小(或变换块大小)来定义至少一个缩减变换。在实施例中，可以根据应用于当前块(编码块或变换块)的变换(或变换内核)来确定将使用表20中所示的缩减变换之中的哪个缩减变换。尽管在表20中假设了使用三个缩减变换的情况，但是本公开不限于此，并且可以根据变换大小来预定义一个或多个各种缩减变换。
此外，在本发明的实施例中，可以依据在应用前述缩减自适应多重变换中的一次变换来确定缩减变换因子(R)。举例来说，当一次变换是DCT2时，可以通过不针对小块使用缩减变换、或通过使用相对大的R值来最小化编码性能降级，因为DCT2的计算复杂度低于其他一次变换(例如，DST7和/或DCT8的组合)的计算复杂度。下表21示出使用取决于变换大小(或变换块大小)和变换内核的预定义R值的缩减自适应多重变换(RAMT)。
[表21]
变换大小 用于DCT2的缩减变换 除DCT2之外的缩减变换
8×8 8×8 4×4
16×16 16×16 8×8
32×32 32×32 16×16
64×64 32×32 32×32
128×128 32×32 32×32
参考表21，在作为一次变换应用的变换是DCT2的情况下和作为一次变换应用的变换是除DCT2之外的变换的情况下(例如，DST7和/或DCT8的组合)，可使用不同的缩减的变换因子。
图27是示出了作为应用本公开的实施例的使用缩减变换来编码视频信号的方法的图。
参照图27，编码器确定是否对当前块应用变换(S2701)。编码器可根据确定结果对变换跳过标志进行编码。在这种情况下，对变换跳过标志进行编码的步骤可以被包括在步骤S2701中。
当将变换应用于当前块时，编码器确定应用于当前块的一次变换的变换内核(S2702)。编码器可以对用于指示所确定的变换内核的变换索引进行编码。在这种情况下，编码变换索引的步骤可以被包括在步骤S2702中。
编码器基于应用于当前块的一次变换的变换内核和当前块的大小来确定其中在当前块内存在有效系数的区域(S2703)。
作为实施例，当由变换索引指示的变换内核是预定义变换并且当前块的宽度和/或高度大于预定义大小时，编码器可以确定具有与预定义大小相对应的宽度和/或高度的区域作为其中存在有效系数的区域。
例如，预定义变换可以是DST7和/或DCT8的多个变换组合中的一个，并且预定大小可以是16。可替选地，预定义变换可以是除了DCT2之外的变换。作为实例，当由变换索引指示的变换内核为DCT2并且当前块的宽度和/或高度大于32时，编码器可以确定具有宽度和/或高度32的区域作为对其应用一次变换的区域。
此外，作为实施例，当由变换索引指示的变换内核属于第一变换组时，编码器可以将当前块的宽度和第一阈值之间的较小值确定为对其应用一次变换的区域的宽度，并且将当前块的高度和第一阈值之间的较小值确定为其中存在有效系数的区域的高度。例如，第一阈值可以是32，但是本公开不限于此，并且第一阈值可以是4、8或16，如表20或表21所示。
另外，当由变换索引指示的变换内核属于第二变换组时，编码器可将在当前块的宽度与第二阈值之间的较小值确定为对其应用一次变换的区域的宽度，并且将在当前块的高度与第二阈值之间的较小值确定为其中存在有效系数的区域的高度。例如，第二阈值可以是16，但是本公开不限于此，并且第二阈值可以是4、6、8、12或32，如表20或表21中所示。
作为实施例，第一变换组可以包括DCT2，并且第二变换组可以包括DST7和/或DCT8的多个变换组合。
编码器使用应用于当前块的一次变换的变换内核来执行正向一次变换(S2704)。编码器可以通过执行正向一次变换来获得其中存在有效系数的区域中的一次变换的变换系数。作为一个实施例，编码器可将二次变换应用于经一次变换的变换系数。在这种情况下，可以应用以上参照图6至图26描述的方法。
图28是示出了作为应用本公开的实施例的使用缩减变换来解码视频信号的方法的图。
解码器检查是否对当前块应用变换跳过(S2801)。
当不对当前块应用变换跳过时，解码器从视频信号获得用于指示应用于当前块的变换内核的变换索引(S2802)。
解码器基于由变换索引指示的变换内核和当前块的大小(即，宽度和/或高度)来确定对当前块应用一次变换(即，逆一次变换)的区域(S2803)。
作为实施例，解码器可以将除了对其应用一次变换的区域以外的剩余区域的系数设定为0。
另外，作为一个实施例，当由变换索引指示的变换内核是预定义变换并且当前块的宽度和/或高度大于预定义大小时，解码器可以确定具有对应于预定义大小的宽度和/或高度的区域作为对其应用一次变换的区域。
例如，预定义变换可以是DST7和/或DCT8的多个变换组合中的任何一个，并且预定大小可以是16。可替选地，预定义变换可以是除了DCT2之外的变换。举例来说，当由变换索引指示的变换内核为DCT2且当前块的宽度和/或高度大于32时，解码器可以确定具有32的宽度和/或高度的区域作为对其应用一次变换的区域。
此外，作为实施例，当由变换索引指示的变换内核属于第一变换组时，解码器可以将当前块的宽度和第一阈值之间的较小值确定为对其应用一次变换的区域的宽度，并且将当前块的高度和第一阈值之间的较小值确定为对其应用一次变换的区域的高度。例如，第一阈值可以是32，但是本公开不限于此，并且第一阈值可以是4、8或16，如表20或表21所示。
另外，当由变换索引指示的变换内核属于第二变换组时，解码器可以将当前块的宽度与第二阈值之间的较小值确定为对其应用一次变换的区域的宽度，并且将当前块的高度与第二阈值之间的较小值确定为对其应用一次变换的区域的高度。例如，第二阈值可以是16，但是本公开不限于此，并且第二阈值可以是4、6、8、12或32，如表20或表21中所示。
作为实施例，第一变换组可以包括DCT2，并且第二变换组可以包括DST7和/或DCT8的多个变换组合。
解码器使用由变换索引指示的变换内核来对应用了一次变换的区域执行逆一次变换(S2804)。解码器可以通过执行逆一次变换来获得逆一次变换的变换系数。作为实施例，解码器可以在一次变换之前将二次变换应用于逆量化的变换系数。在这种情况下，可以应用以上参照图6至图26描述的方法。
根据本公开的实施例，通过根据特定条件仅对预定义区域执行变换，可以显著地降低最坏情况的复杂度。
另外，在本发明的实施例中，当MTS(EMT或AMT)标志为0时(即，当在水平(横向)方向和垂直(纵向)方向中都应用DCT-2变换时)，编码器/解码器可以对水平和垂直方向中的除了32个左上系数之外的高频分量执行置零(即，将高频分量推导或设置为0)。尽管为了便于描述，在稍后将描述的实施例中，本实施例被称为第一实施例，但是本公开的实施例不限于此。
例如，在64×64TU(或CU)的情况下，编码器/解码器可以仅针对左上32×32区域保持变换系数，并且针对剩余区域的系数执行置零。此外，在64×16TU的情况下，编码器/解码器可以仅针对左上32×16区域保持变换系数，并且针对剩余区域的系数执行置零。另外，在8×64TU的情况下，编码器/解码器可以仅针对左上8×32区域保持变换系数，且针对剩余区域的系数执行置零。即，可以设置变换系数，使得变换系数在水平和垂直方向中都仅对于最大长度32存在，这可以提高变换效率。
作为实施例，这种置零方法可以仅应用于对其应用帧内预测的残差信号，仅应用于对其应用帧间预测的残差信号，或者应用于对其应用帧内预测的残差信号和对其应用帧间预测的残差信号这两者。
另外，在本发明的实施例中，当MTS标志为1时(即，当在水平方向和垂直方向中应用除DCT-2变换以外的变换(例如，DST-7或DCT-8)时)，编码器/解码器可以对除了特定左上区域的系数以外的高频分量执行置零(即，将高频分量推导或设置为0)。尽管为了便于描述，在稍后将描述的实施例中，本实施例被称为第二实施例，但是本公开的实施例不限于此。
作为实施例，编码器/解码器可以仅保持与左上区域的一部分相对应的变换系数区域，如以下示例中那样。也就是说，编码器/解码器可以根据宽度和/或高度来预设对其应用一次变换的水平和/或垂直方向中的变换系数的长度(或数量)。例如，对其应用一次变换的长度之外的系数可以为置零。
-当宽度(w)等于或大于2n时，可以保留仅用于从左侧起w/2p长度的变换系数，并且可以将剩余区域的变换系数固定(或设置)为0(置零)。
-当高度(h)等于或大于2m时，可以保留仅用于从顶部起的h/2q长度的变换系数，并且可以将剩余区域的变换系数固定为0。
例如，值m、n、p和q可以被预定义为各种值。例如，m、n、p和q值可以被设置为等于或大于0的整数值。可替选地，它们可以如下面的例子中那样被设置。
1)(m,n,p,q)＝(5,5,1,1)
2)(m,n,p,q)＝(4,4,1,1)
当预定义1)的配置时，例如，可相对于32×16TU仅针对左上16×16区域保持变换系数，并且可以相对于8×32TU仅针对左上8×16区域保持变换系数。
作为实施例，这种置零方法可以仅应用于对其应用帧内预测的残差信号，仅应用于对其应用帧间预测的残差信号，或者应用于对其应用帧内预测的残差信号和对其应用帧间预测的残差信号这两者。
在本发明的另一实施例中，当MTS标志为1时(即，当除了DCT-2变换以外的变换(例如，DST-7或DCT-8)可应用于水平方向和垂直方向时)，编码器/解码器可以针对除了特定左上区域的系数以外的高频分量执行置零(即，将高频分量推导或设置为0)。更具体地，编码器可以保持特定左上区域的系数，并且对剩余的高频分量执行置零，并且解码器可以预先识别置零区域，并且使用非置零区域的系数来执行解码。然而，本公开的实施例不限于此，并且从解码器的观点来看的置零处理可以被理解为将置零区域推导(识别或设置)为0的处理。尽管在稍后将描述的实施例中，为了方便描述，本实施例被称为第三实施例，但是本公开的实施例不限于此。
作为实施例，编码器/解码器可以仅保持与左上区域的一部分相对应的变换系数区域，如以下示例中那样。即，编码器/解码器可以根据宽度和/或高度来预设在对其应用一次变换的水平和/或垂直方向中的变换系数的长度(或数目)。例如，在对其应用一次变换的长度之外的系数可以被置零。
-当高度(h)等于或大于宽度(w)并且等于或大于2n时，可以仅保留左上区域w×(h/2p)的变换系数，并且可以将剩余区域的变换系数固定(或设置)为0(置零)。
-当宽度(w)大于高度(h)并且等于或大于2m时，可以仅保留左上区域(w/2q)×h的变换系数，并且可以将剩余区域的变换系数固定为0。
尽管在上述示例中，当高度(h)等于宽度(w)时，在垂直方向中的长度减小(h/2p)，但是在水平方向中的长度可以减小(w/2q)。
例如，值m、n、p和q可以被预定义为各种值。例如，m、n、p和q值可以被设置为等于或大于0的整数值。可替选地，它们可以如下面的例子中那样被设置。
1)(m,n,p,q)＝(4,4,1,1)
2)(m,n,p,q)＝(5,5,1,1)
当预定义1)的配置时，例如，可以相对于32×16TU仅针对左上16×16区域保持变换系数，并且可以相对于8×16TU仅针对左上8×8区域保持变换系数。
作为实施例，这种置零方法可以仅应用于对其应用帧内预测的残差信号，仅应用于对其应用帧间预测的残差信号，或者应用于对其应用帧内预测的残差信号和对其应用帧间预测的残差信号这两者。
关于当MTS标志为0时限制变换系数区域的方法的第一实施例以及关于当MTS标志为1时限制变换系数区域的方法的第二和第三实施例可以各自应用或者可以以组合方式应用。
作为实施例，可以应用如下组合的配置。
1)第一实施例+第二实施例
2)第一实施例+第三实施例
如在第二和第三实施例中所提到的，作为实施例，可以将置零方法仅应用于对其应用了帧内预测的残差信号，仅应用于对其应用了帧间预测的残差信号，或者应用于对其应用了帧内预测的残差信号和对其应用了帧间预测的残差信号这两者。因此，如下组合的配置可以应用于其中MTS标志为1的情况。这里，第一实施例可以应用于其中MTS标志为0的情况。
[表22]
配置索引 帧内预测残差信号 帧间预测残差信号
1 不应用置零 不应用置零
2 不应用置零 第一实施例
3 不应用置零 第二实施例
4 第一实施例 不应用置零
5 第一实施例 第一实施例
6 第一实施例 第二实施例
7 第二实施例 不应用置零
8 第二实施例 第一实施例
9 第二实施例 第二实施例
在本公开的实施例中，编码器/解码器可以不对根据置零被视为具有变换系数0的区域执行残差编码。也就是说，可以定义编码器/解码器，使得它们仅对除置零区域以外的区域执行残差编码。
在上述的第一、第二和第三实施例中，显然确定了其中需要具有值0的区域(或系数)。也就是说，除了其中允许存在变换系数的左上区域之外的区域被置零。因此，在熵编码(或残差编码)过程中，编码器/解码器可以被配置为绕过被保证为具有值0的区域，而不在其上执行残差编码。
在一个实施例中，编码器/解码器可以对用于指示在系数组(CG)中存在或不存在非零变换系数的标志(称为subbock_flag)(或句法、或句法元素)进行编码。这里，CG是TU的子块，并且可以根据TU块的形状和/或TU是否是色度/亮度分量，将CG设置为4×4或2×2块。
这里，编码器/解码器可以仅在sub_flag是1的情况下扫描CG以对系数值(或系数级别值)进行编码。因此，编码器/解码器可以配置属于置零区域的CG，使得它们默认具有值0，而不对其执行sub_flag编码。
另外，在实施例中，编码器可首先以正向扫描次序编码最后系数的位置(或指示最后有效系数的位置的句法或句法元素)。例如，编码器可以对作为水平方向中的位置的last_coefficient_position_x和作为垂直方向中的位置的last_coefficient_position_y进行编码。
尽管last_coefficient_position_x和last_coefficient_position_y的可用值的最大值可以被确定为TU的(宽度-1)和(高度-1)，但是当根据置零限制了其中可以存在非零系数的区域时，last_coefficient_position_x和last_coefficient_position_y的可用值的最大值也可以被限制。
因此，编码器/解码器可以考虑到置零来限制last_coefficient_position_x和last_coefficient_position_y的可用值的最大值，然后对它们进行编码。例如，当应用于last_coefficient_position_x和last_coefficient_position_y的二进制化方法是截断一元(或截断Rice(TR)，或截断二进制(TB))二进制化方法时，编码器/解码器可以控制(减小)截断一元码(truncated unary code)的最大长度，使得其对应于调整后的最大值(即，last_coefficient_position_x和last_coefficient_position_y的可用最大值)。
尽管为了便于描述已经对本公开的上述实施例中的一些进行了分类，但是本公开不限于此。即，可以独立地执行上述实施例，或者可以以组合的方式执行一个或多个实施例。
图29是示出根据本公开实施例的用于基于缩减变换来解码视频信号的方法的流程图。
参照图29，尽管为了方便起见基于解码器进行描述，但是本公开不限于此，并且根据本实施例的用于转换视频信号的方法可以基本上等同地应用于编码器。图29的流程图可以由解码装置200或逆变换单元230执行。
解码器从视频信号获得用于指示在水平和垂直方向中应用于当前块的变换内核的变换索引(S2901)。
解码器基于由变换索引指示的变换内核和当前块的大小来确定在其中变换(即，逆变换)被应用于当前块的区域(S2902)。
解码器将当前块内除了对其应用变换的区域之外的剩余区域的系数设置为0(S2903)。
解码器通过使用由变换索引指示的变换内核来在应用了变换的区域上执行逆变换(S2904)。
如上文所描述，在确定对其应用变换的区域中，当由变换索引指示的变换内核为预定义变换并且当前块的宽度和/或高度大于预定义大小时，可以将具有对应于预定义大小的宽度和/或高度的区域确定为对其应用变换的区域。
如上所述，预定义变换可以是DST7和/或DCT8的多个变换组合中的任何一个。
]如上所述，预定大小可以是16。
如上所述，在确定应用变换的区域时，当由变换索引指示的变换内核属于第一变换组时，在当前块的宽度和32之间的较小值可以被确定为应用变换的区域的宽度，并且在当前块的高度和32之间的较小值可以被确定为应用变换的区域的高度，以及当由变换索引指示的变换内核属于第二变换组时，在当前块的宽度和16之间的较小值可以被确定为应用变换的区域的宽度，并且在当前块的高度和16之间的较小值可以被确定为应用变换的区域的高度。作为实施例，第一变换组可以包括DCT2，并且第二变换组可以包括DST7和/或DCT8的多个变换组合。
如上所述，所述方法可以进一步包括获得句法元素的步骤，所述句法元素用于指示在当前块内按扫描次序的最后有效系数的位置，并且可基于最后有效系数的位置从视频信号获得对其应用逆变换的系数。
如上所述，可以基于截断一元方法来二进制化句法元素，并且可以基于设定为0的区域来确定句法元素的最大值。
图30是作为应用本公开的实施例的用于处理视频信号的装置的示例性框图。图30的视频信号处理装置可以对应于图1的编码装置或图2的解码装置。
一种用于处理视频信号的视频处理装置3000包括用于存储视频信号的存储器3020以及连接到存储器并且处理视频信号的处理器3010。
根据本公开的实施例的处理器3010可以被配置为用于视频信号处理的至少一个处理电路，并且可以通过执行用于视频信号编码或解码的命令来处理视频信号。即，处理器3010可以通过执行上述编码或解码方法来对原始视频数据进行编码或对编码的视频信号进行解码。
此外，应用了本公开的处理方法可按照由计算机执行并存储在计算机可读记录介质中的程序的形式制造。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储有可由计算机读取的数据的所有类型的存储装置和分布式存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中，或者可经由有线/无线通信网络发送。
此外，本公开的实施方式可根据程序代码被实现为计算机程序产品，并且程序代码可根据本公开的实施方式在计算机中执行。程序代码可被存储在计算机可读载体上。
如上所述，本公开的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用了本公开的解码器和编码器可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频系统、数字影院视频系统、监视相机、视频会话设备、实时通信设备(例如，视频通信)、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供设备、机顶盒视频(OTT)视频系统、互联网串流服务提供设备、3D视频系统、视频电话视频系统、医疗视频系统等中，并且可用于处理视频信号或数据信号。例如，OTT视频系统可包括游戏机、蓝光播放器、互联网访问TV、家庭影院系统、智能电话、平板PC、数字视频记录仪(DVR)等。
此外，应用了本公开的处理方法可按照由计算机执行并存储在计算机可读记录介质中的程序的形式制造。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储有可由计算机读取的数据的所有类型的存储装置和分布式存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中，或者可经由有线/无线通信网络发送。
此外，本公开的实施方式可根据程序代码被实现为计算机程序产品，并且程序代码可根据本公开的实施方式在计算机中执行。程序代码可被存储在计算机可读载体上。
上述实施方式是本公开的元素和特征的组合。除非另外提及，否则元素或特征可被视为选择性的。各个元素或特征可在不与其他元素或特征组合的情况下实践。此外，可通过将部分元素和/或特征组合来构造本公开的实施方式。本公开的实施方式中描述的操作顺序可重排。任一个实施方式的一些构造可包括在另一实施方式中，并且可由另一实施方式的对应构造代替。对于本领域技术人员而言显而易见的是，所附权利要求中未明确彼此引用的权利要求可作为示例性实施方式组合呈现，或者在提交申请之后通过后续修改作为新权利要求而包括。
本公开的实现方式可通过例如硬件、固件、软件或其组合的各种手段来实现。在硬件配置中，根据本公开的实现方式的方法可由一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等实现。
在固件或软件配置中，本公开的实现方式可按模块、过程、功能等的形式实现。软件代码可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部并且可经由各种已知手段向处理器发送数据以及从处理器接收数据。
本领域技术人员将理解，在不脱离本公开的精神和基本特性的情况下，本公开可按本文所阐述的那些方式以外的其他特定方式实现。因此，上述实施方式因此在所有方面均被解释为例示性的而非限制性的。本公开的范围应该由所附权利要求及其法律上的等同物，而非由以上描述确定，并且落入所附权利要求的含义和等同范围内的所有改变旨在被涵盖于其中。
工业实用性
尽管出于例示性目的描述了本公开的示例性方面，但是本领域技术人员将理解，在不脱离本公开的基本特性的情况下，可进行各种修改、添加和替换。

Claims (11)

1.一种用于解码视频信号的装置，包括：
存储器；以及
至少一个处理器，所述至少一个处理器被连接到所述存储器，所述至少一个处理器被配置为：
确定用于当前块的逆变换的变换内核，所述变换内核之一与水平方向相关，所述变换内核中的另一个与垂直方向相关；以及
基于所述变换内核，对所述当前块执行所述逆变换，
其中，所述当前块被划分成在所述当前块内包括至少一个非零系数的非零区域和除了所述非零区域之外的剩余区域，
其中，基于所述变换内核以及所述当前块的宽度和高度来确定所述非零区域的宽度和高度，
其中，当所述变换内核为第一变换内核并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度被确定为分别等于32和16，以及
其中，当所述变换内核中的每个为第二变换内核或第三变换内核之一并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度被确定为分别等于16和16。
2.根据权利要求1所述的装置，其中，所述第一变换内核代表DCT-2，所述第二变换内核代表DST-7，并且所述第三变换内核代表DCT-8。
3.根据权利要求1所述的装置，其中，基于所述当前块的变换索引来自适应地确定所述当前块的变换内核。
4.根据权利要求1所述的装置，其中，所述至少一个处理器进一步被配置为：获得指示所述当前块内按照扫描顺序的最后有效系数的位置的句法元素，以及
其中，基于所述最后有效系数的位置从所述视频信号获得对其应用所述逆变换的系数。
5.根据权利要求4所述的装置，其中，基于截断Rice方法来二进制化所述句法元素，并且基于所述非零区域来确定所述句法元素的最大值。
6.一种用于编码视频信号的装置，包括：
存储器；以及
至少一个处理器，所述至少一个处理器被连接到所述存储器，所述至少一个处理器被配置为：
确定应用于当前块的变换内核；以及
基于所述变换内核，对所述当前块执行变换，
其中，所述当前块被划分成在所述当前块内包括至少一个非零系数的非零区域和除了所述非零区域之外的剩余区域，
其中，基于所述变换内核以及所述当前块的宽度和高度来确定所述非零区域的宽度和高度，
其中，当所述变换内核为第一变换内核并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度分别被确定为等于32和16，以及
其中，当所述变换内核中的每个为第二变换内核或第三变换内核之一并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度被确定为分别等于16和16。
7.根据权利要求6所述的装置，其中，所述第一变换内核代表DCT-2，所述第二变换内核代表DST-7，并且所述第三变换内核代表DCT-8。
8.根据权利要求6所述的装置，其中，所述当前块的变换索引被生成以指示所述当前块的变换内核。
9.根据权利要求6所述的装置，其中，所述至少一个处理器进一步被配置为：生成指示所述当前块内按照扫描顺序的最后有效系数的位置的句法元素。
10.根据权利要求9所述的装置，其中，基于截断Rice方法来二进制化所述句法元素，并且基于所述非零区域来确定所述句法元素的最大值。
11.一种用于视频信号的数据的传输装置，包括：
至少一个处理器，所述至少一个处理器被配置为获得用于所述视频信号的比特流，其中基于确定应用于当前块的变换内核并且基于所述变换内核对所述当前块执行变换来生成所述比特流；以及
发送器，所述发送器被配置为发送包括所述比特流的所述数据，
其中，所述当前块被划分成在所述当前块内包括至少一个非零系数的非零区域和除了所述非零区域之外的剩余区域，
其中，基于所述变换内核以及所述当前块的宽度和高度来确定所述非零区域的宽度和高度，
其中，当所述变换内核为第一变换内核并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度被确定为分别等于32和16，以及
其中，当所述变换内核中的每个为第二变换内核或第三变换内核之一并且所述当前块的宽度和高度分别为32和16时，所述非零区域的宽度和高度被确定为分别等于16和16。
CN202311169343.6A 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置 Pending CN117082240A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862735152P 2018-09-23 2018-09-23
US62/735,152 2018-09-23
CN201980070736.7A CN113039803B (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
PCT/KR2019/012352 WO2020060364A1 (ko) 2018-09-23 2019-09-23 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980070736.7A Division CN113039803B (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置

Publications (1)

Publication Number Publication Date
CN117082240A true CN117082240A (zh) 2023-11-17

Family

ID=69888563

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201980070736.7A Active CN113039803B (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311169343.6A Pending CN117082240A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311167865.2A Pending CN117097895A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311172172.2A Pending CN117097897A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311168361.2A Pending CN117097896A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980070736.7A Active CN113039803B (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202311167865.2A Pending CN117097895A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311172172.2A Pending CN117097897A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置
CN202311168361.2A Pending CN117097896A (zh) 2018-09-23 2019-09-23 编码/解码视频信号的方法及其装置

Country Status (9)

Country Link
US (3) US11336920B2 (zh)
EP (2) EP3852374A4 (zh)
JP (2) JP7245323B2 (zh)
KR (3) KR102471774B1 (zh)
CN (5) CN113039803B (zh)
AU (2) AU2019345211B2 (zh)
CA (1) CA3113988A1 (zh)
RU (1) RU2766571C1 (zh)
WO (1) WO2020060364A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363267B2 (en) * 2017-09-28 2022-06-14 Samsung Electronics Co., Ltd. Encoding method and device, and decoding method and device
US11503309B2 (en) * 2018-06-29 2022-11-15 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on adaptive coefficient group
CN112335247A (zh) * 2018-06-29 2021-02-05 Vid拓展公司 用于基于仿射运动模型的视频译码的自适应控制点选择
CN113039803B (zh) * 2018-09-23 2023-10-03 Lg 电子株式会社 编码/解码视频信号的方法及其装置
US11589075B2 (en) * 2018-10-01 2023-02-21 Lg Electronics Inc. Encoding/decoding method for video signal and device therefor
TWI737143B (zh) * 2019-01-25 2021-08-21 聯發科技股份有限公司 帶有變換塊級別約束的變換係數編碼的方法和設備
KR20210145123A (ko) * 2019-04-23 2021-12-01 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
BR112022002287A2 (pt) * 2019-08-08 2022-04-26 Lg Electronics Inc Método e aparelho para codificação de imagem com base em transformada
EP4062645A4 (en) * 2019-11-21 2023-08-16 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND DEVICE FOR TRANSFORMATION AND COEFFICIENT SIGNALING
US11228787B2 (en) * 2019-11-27 2022-01-18 Mediatek Inc. Signaling multiple transmission selection
CN114097243A (zh) * 2020-03-27 2022-02-25 株式会社迓廷试 影像的译码方法及装置
GB2593778A (en) * 2020-04-03 2021-10-06 Sony Group Corp Video data encoding and decoding
CN115398911A (zh) * 2020-04-05 2022-11-25 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
WO2021206445A1 (ko) * 2020-04-07 2021-10-14 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2023282625A1 (ko) * 2021-07-06 2023-01-12 엘지전자 주식회사 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
GB2603559B (en) * 2021-07-22 2023-08-09 Imagination Tech Ltd Coding blocks of pixels
US20230099505A1 (en) * 2021-09-29 2023-03-30 Qualcomm Incorporated Adaptive determination of multiple transform candidates for video coding
WO2023208057A1 (en) * 2022-04-27 2023-11-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
CN115174908B (zh) * 2022-06-30 2023-09-15 北京百度网讯科技有限公司 视频编码的变换量化方法、装置、设备以及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1246469A3 (fr) * 2001-03-27 2005-04-13 Koninklijke Philips Electronics N.V. Procédé de réduction de format et de décodage similtanés de signaux vidéo codés
US6882755B2 (en) * 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
WO2007124163A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and apparatus for video mixing
US9300972B2 (en) * 2009-02-09 2016-03-29 Samsung Electronics Co., Ltd. Video encoding method and apparatus using low-complexity frequency transformation, and video decoding method and apparatus
CN101848383A (zh) * 2009-03-24 2010-09-29 虹软（上海）科技有限公司 对mpeg2格式视频进行降采样解码的方法
US9635368B2 (en) * 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
EP2624561A2 (en) 2010-09-28 2013-08-07 Samsung Electronics Co., Ltd Method and device for the transformation and method and device for the reverse transformation of images
KR101857108B1 (ko) * 2011-10-19 2018-05-11 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
US9357185B2 (en) * 2011-11-08 2016-05-31 Qualcomm Incorporated Context optimization for last significant coefficient position coding
CN108900839B (zh) * 2011-12-28 2022-05-31 夏普株式会社 图像解码装置及方法、图像编码装置及方法
US9253481B2 (en) * 2012-01-13 2016-02-02 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
US9716894B2 (en) * 2013-03-25 2017-07-25 Qualcomm Incorporated Intra prediction modes for lossy coding when transform is skipped
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20180220158A1 (en) * 2015-07-21 2018-08-02 Lg Electronics Inc. Method and device for processing video signal using graph-based transform
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
KR102434480B1 (ko) * 2016-02-12 2022-08-19 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN114422796A (zh) * 2016-06-24 2022-04-29 韩国电子通信研究院 用于基于变换的图像编码/解码的方法和设备
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
EP3306924A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to picture data
AU2018295861C1 (en) * 2017-07-04 2023-03-16 Samsung Electronics Co., Ltd. Video decoding method and apparatus using multi-core transform, and video encoding method and apparatus using multi-core transform
WO2019076138A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
WO2020059611A1 (ja) * 2018-09-20 2020-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN113039803B (zh) * 2018-09-23 2023-10-03 Lg 电子株式会社 编码/解码视频信号的方法及其装置

Also Published As

Publication number Publication date
CN117097897A (zh) 2023-11-21
AU2019345211A1 (en) 2021-05-20
US20220109879A1 (en) 2022-04-07
CN117097896A (zh) 2023-11-21
EP4258659A2 (en) 2023-10-11
EP4258659A3 (en) 2023-11-22
US20210211729A1 (en) 2021-07-08
KR102471774B1 (ko) 2022-11-29
US20230328288A1 (en) 2023-10-12
KR102630190B1 (ko) 2024-01-25
KR20240014624A (ko) 2024-02-01
US11336920B2 (en) 2022-05-17
AU2019345211B2 (en) 2023-02-02
KR20220163512A (ko) 2022-12-09
CN113039803B (zh) 2023-10-03
KR20210055087A (ko) 2021-05-14
RU2766571C1 (ru) 2022-03-15
WO2020060364A1 (ko) 2020-03-26
CN117097895A (zh) 2023-11-21
JP2023081995A (ja) 2023-06-13
US11729425B2 (en) 2023-08-15
CN113039803A (zh) 2021-06-25
AU2023202678A1 (en) 2023-05-18
JP2022500965A (ja) 2022-01-04
RU2022102721A (ru) 2022-03-28
JP7245323B2 (ja) 2023-03-23
EP3852374A1 (en) 2021-07-21
CA3113988A1 (en) 2020-03-26
EP3852374A4 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
CN113039803B (zh) 编码/解码视频信号的方法及其装置
CN111742555B (zh) 对视频信号进行编码/解码的方法及其设备
CN111919450B (zh) 用于编码/解码视频信号的方法及其装置
JP7465333B2 (ja) 映像信号を処理するための方法及び装置
CN113316937B (zh) 处理视频信号的方法和设备
CN115426493B (zh) 对视频信号进行编码的方法和计算机可读介质
CN115514973B (zh) 对视频信号进行解码/编码及发送数据的设备
JP2024073667A (ja) 映像信号を処理するための方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination