CN115379216A

CN115379216A - 视频信号的解码、编码和发送设备及存储视频信号的介质

Info

Publication number: CN115379216A
Application number: CN202211039334.0A
Authority: CN
Inventors: 金昇焕; M·萨勒海拉尔; 具文模; 林宰显
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2018-06-03
Filing date: 2019-06-03
Publication date: 2022-11-22
Also published as: FI3806476T3; US11284097B2; HUE063012T2; KR20200078649A; EP3806476A4; EP3806476A1; SI3806476T1; KR20230033024A; JP7223014B2; ES2949998T3; HRP20230521T1; JP2021511752A; EP3806476B1; US20230396788A1; CN111937400A; KR20240056624A; PL3806476T3; KR102659354B1; EP4216554A1; US11711533B2

Abstract

视频信号的解码、编码和发送设备及存储视频信号的介质。解码设备被配置为：从视频信号中获得指示当前块的变换内核的变换索引信息；基于由所述变换索引信息指示的所述变换内核和所述当前块的大小来确定用于逆主变换的非零区域的大小；以及通过使用由所述变换索引信息指示的所述变换内核，基于在用于所述逆主变换的所述非零区域中的系数来执行所述逆主变换，其中，基于所述当前块的大小为32x32并且应用于所述当前块的所述变换内核属于第一变换组，所述非零区域的大小被确定为32x32，并且基于所述当前块的大小为32x32并且应用于所述当前块的所述变换内核属于第二变换组，所述非零区域的大小被确定为16x16。

Description

视频信号的解码、编码和发送设备及存储视频信号的介质

本申请是原案申请号为201980021153.5的发明专利申请(国际申请号：PCT/KR2019/006675，申请日：2019年6月3日，发明名称：通过使用约化变换来处理视频信号的方法和装置)的分案申请。

技术领域

本发明涉及用于处理视频信号的方法和设备，并且更具体地，涉及一种设计和应用可以应用于主变换的约化变换的方法。

背景技术

下一代视频内容将具有诸如高空间分辨率、高帧频和高维度场景呈现这样的特征。为了处理这些内容，将造成存储器存储量、存储器访问速率和处理能力方面的急剧增加。

因此，需要设计用于更高效地处理下一代视频内容的新编码工具。具体地，当应用变换时，需要在编码效率和复杂度方面设计更高效的变换。

发明内容

技术问题

本发明的目的是提出一种根据特定条件对预定义区域执行主变换的方法。

本发明的技术目的不限于以上提到的技术目的，并且对于本领域的普通技术人员而言，以上未提到的其它技术目的将根据下面的描述而变得显而易见。

技术方案

在本发明的一方面，提供了一种基于约化变换对视频信号进行解码的方法，该方法包括以下步骤：检查是否向当前块应用变换跳过；当未向所述当前块应用所述变换跳过时，从所述视频信号获得指示所述当前块的变换内核的变换索引；基于由所述变换索引指示的变换内核和所述当前块的大小来确定向所述当前块应用主变换的区域；以及通过使用由所述变换索引指示的所述变换内核对应用了主变换的区域执行逆主变换。

优选地，确定应用了主变换的区域可以包括将在所述当前块中除了应用了主变换的区域之外的其余区域的系数视为0。

优选地，确定应用了主变换的区域通过以下步骤执行：当由所述变换索引指示的所述变换内核是预定义变换并且所述当前块的宽度和/或高度大于预定义大小时，确定具有预定义大小的宽度和/或高度的区域作为应用所述主变换的区域。

优选地，所述预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一个。

优选地，所述预定义大小可以为16。

优选地，确定应用了主变换的区域通过以下步骤执行：当由所述变换索引指示的所述变换内核属于第一变换组时，确定所述当前块的宽度和32中的较小值作为应用所述主变换的区域的宽度，并且确定所述当前块的高度和32中的较小值作为应用所述主变换的区域的高度，并且当由所述变换索引指示的所述变换内核属于第二变换组时，确定所述当前块的宽度和16中的较小值作为应用所述主变换的区域的宽度，并且确定所述当前块的高度和16中的较小值作为应用所述主变换的区域的高度。

优选地，所述第一变换组可以包括DCT2，并且所述第二变换组可以包括由DST7和/或DCT8的组合配置的多个变换组合。

在本发明的另一方面，提供了一种基于约化变换对视频信号进行解码的设备，该设备包括：变换跳过检查单元，该变换跳过检查单元检查是否向当前块应用变换跳过；变换索引获得单元，该变换索引获得单元在未向所述当前块应用所述变换跳过时，从所述视频信号获得指示所述当前块的变换内核的变换索引；以及主逆变换单元，该主逆变换单元基于由所述变换索引指示的所述变换内核和所述当前块的大小来确定向所述当前块应用主变换的区域，并且通过相对于应用所述主变换的区域使用由所述变换索引指示的变换内核来执行逆主变换。

优选地，所述主变换单元可以将在所述当前块中除了应用所述主变换的区域之外的其余区域的系数视为0。

优选地，当由所述变换索引指示的所述变换内核是预定义变换并且所述当前块的宽度和/或高度大于预定义大小时，所述主变换单元可以确定具有预定义大小的宽度和/或高度的区域为应用所述主变换的区域。

优选地，所述预定大小可以为16。

优选地，所述主变换单元可以在由所述变换索引指示的所述变换内核属于第一变换组时，确定所述当前块的宽度和32中的较小值作为应用所述主变换的区域的宽度，并且确定所述当前块的高度和32中的较小值作为应用所述主变换的区域的高度，并且在由所述变换索引指示的所述变换内核属于第二变换组时，确定所述当前块的宽度和16中的较小值作为应用所述主变换的区域的宽度，并且确定所述当前块的高度和16中的较小值作为应用所述主变换的区域的高度。

有益效果

根据本发明的实施方式，仅根据特定条件变换预定义区域，由此显著降低复杂度。

本发明中能获得的优点不限于以上提到的效果，并且本领域的技术人员将根据以下描述清楚地理解其它未提到的优点。

附图说明

图1是作为应用本发明的实施方式的执行视频信号编码的编码器的示意性框图。

图2是作为应用本发明的实施方式的执行视频信号解码的解码器的示意性框图。

图3a、图3b、图3c和图3d例示了可以应用本发明的实施方式，图3a是按四叉树(QT)(下文中，被称为“QT”)描述块划分结构的图，图3b是按二叉树(BT)(下文中，被称为“BT”)描述块划分结构的图，图3c是按三叉树(TT)(下文中，被称为“TT”)描述块划分结构的图，并且图3d是按不对称树(AT)(下文中，被称为“AT”)描述块划分结构的图。

图4是作为应用本发明的实施方式的编码器中的变换单元120和量化单元130以及解量化单元140和逆变换单元150的示意性框图。

图5是作为应用本发明的实施方式的解码器中的解量化单元220和逆变换单元230的示意性框图。

图6是示出了作为应用本发明的实施方式的应用多重变换选择(MTS)的变换配置组的表。

图7是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的编码过程的流程图。

图8是示出了作为应用本发明的实施方式的执行多重变换选择(MTS)的解码过程的流程图。

图9是用于描述作为应用本发明的实施方式的MTS标志和MTS索引的编码过程的流程图。

图10是用于描述作为应用本发明的实施方式的基于MTS标志和MTS索引向行或列应用水平变换或垂直变换的解码过程的流程图。

图11是作为应用本发明的实施方式的基于变换相关参数执行逆变换的流程图。

图12是示出了作为应用本发明的实施方式的在NSST中针对每种帧内预测模式分配变换集的表。

图13是作为应用本发明的实施方式的吉文斯旋转的计算流程图。

图14例示了作为应用本发明的实施方式的由吉文斯旋转层和排列(permutation)构成的4×4NSST中的一轮次配置(one round configuration)。

图15是用于描述作为应用本发明的实施方式的前向约化变换和逆约化变换的操作的框图。

图16是例示了作为应用本发明的实施方式的根据后向扫描顺序执行从第64至第17的后向扫描的过程的图。

图17例示了作为应用本发明的实施方式的变换系数块(变换块)的三个前向扫描顺序。

图18例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时各个4×4块的有效变换系数的位置和前向扫描顺序。

图19例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组合成一个4×4块的情况。

图20是作为应用本发明的实施方式的基于约化二次变换对视频信号进行编码的流程图。

图21是作为应用本发明的实施方式的基于约化二次变换对视频信号进行解码的流程图。

图22是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行编码的方法的图。

图23是例示了作为应用本发明的实施方式的通过使用约化变换对视频信号进行解码的方法的图。

图24是例示了作为应用本发明的实施方式的基于约化因子的约化变换结构的图。

图25是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来执行解码的方法的图。

图26是例示了作为可以应用本发明的实施方式的通过自适应地应用约化变换来执行解码的方法的图。

图27和图28是例示了前向约化二次变换和逆约化二次变换以及用于推导它们的伪代码的示例的图。

图29是例示了作为应用本发明的实施方式的向非正方形区域应用约化二次变换的方法的图。

图30是例示了作为应用本发明的实施方式的通过约化因子控制的约化变换的图。

图31是例示了根据应用本发明的实施方式的逆变换单元的图。

图32例示了应用本发明的视频编码系统。

图33是作为应用本发明的实施方式的内容流传输系统的结构图。

具体实施方式

下文中，将参照附图描述本发明的实施方式的配置和操作，通过附图描述的本发明的配置和操作将被作为一个实施方式进行描述，由此本发明的技术精神及其核心构成及其操作不受限制。

另外，本发明中使用的术语尽可能被选择为现在广泛使用的通用术语，在特定情况下，将使用由申请人任意选择的术语进行描述。在这种情况下，由于在该部分的详细描述中清楚地阐述了含义，因此不应该仅通过在本发明的描述中使用的术语的名称来解释它，应该理解，该术语的含义应该被解释。

另外，当选择用于描述本发明的通用术语或具有相似含义的其它术语时，可以替换本发明中使用的术语以进行更适当的解释。例如，可以在每个编码过程中适当地替换和解释信号、数据、样本、图片、帧、块等。另外，可以在每个编码过程中适当地替换和解释分隔、分解、分割和划分。

在本文献中，多重变换选择(MTS)可以是指使用至少两种变换类型执行变换的方法。这也可以被表示为自适应多重变换(AMT)或显式多重变换(EMT)，同样地，mts_idx也可以被表示为AMT_idx、EMT_idx、tu_mts_idx、AMT_TU_idx、EMT_TU_idx、变换索引或变换组合索引，并且本发明不限于这些表述。

参照图1，编码器100可以被配置为包括图像划分单元110、变换单元120、量化单元130、解量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。

图像划分单元110将输入编码器100中的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。

然而，这些术语仅是为了方便描述本发明，并且本发明不限于这些术语的定义。另外，在本说明书中，为了方便描述，术语“编码单元”被用作在对视频信号进行编码或解码时使用的单元，但是本发明不限于此，并且可以根据本发明适当地做出解释。

编码器100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块)以生成残差信号(或残差块)，并且所生成的残差信号被发送到变换单元120。

变换单元120可以通过向残差信号应用变换技术来生成变换系数。可以向四叉树结构正方形块和按二叉树结构、三叉树结构或不对称树结构划分的块(正方形或矩形)应用变换过程。

变换单元120可以基于多个变换(或变换组合)来执行变换，并且变换方案可以被称为多重变换选择(MTS)。MTS也可以被称为自适应多重变换(AMT)或增强型多重变换(EMT)。

MTS(或AMT或EMT)可以是指基于从多个变换(或变换组合)中自适应地选择的变换(或变换组合)来执行的变换方案。

多个变换(或变换组合)可以包括在本说明书的图6中描述的变换(或变换组合)。在本说明书中，变换或变换类型可以被表示为例如DCT-类型2、DCT-II、DCT2或DCT-2。

变换单元120可以执行以下实施方式。

本发明提供了用于设计可以应用于4×4块的RST的方法。

本发明提供了将应用4×4RST的区域的配置、布置在应用4×4RST之后生成的变换系数的方法、所布置的变换系数的扫描顺序、用于对针对每个块生成的变换系数进行排序和组合的方法等。

本发明提供了对指定4×4RST的变换索引进行编码的方法。

本发明提供了通过在应用4×4RST时检查是否有非零变换系数存在于不可接受区域中对对应变换索引进行有条件编码的方法。

本发明提供了在对最后一个非零变换系数位置进行编码之后对对应变换索引进行有条件编码然后省略对未接受的位置的相关残差编码的方法。

本发明提供了在应用4×4RST时对亮度块和色度块应用不同的变换索引编码和残差编码的方法。

在本说明书中将更详细地描述其详细实施方式。

量化单元130可以对变换系数进行量化，并且将量化后的变换系数发送到熵编码单元190，并且熵编码单元190可以对量化信号进行熵编码，并且将熵编码后的量化信号作为比特流输出。

尽管变换器120和量化单元130被描述为单独的功能单元，但是本发明不限于此，它们可以被组合成一个功能单元。解量化单元140和逆变换单元150也可以被类似地组合成一个功能单元。

从量化单元130输出的量化信号可以被用于生成预测信号。例如，通过循环地通过解量化单元140和逆变换单元150向量化后的信号应用解量化和逆变换来重构残差信号。重构后的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号。

此外，由于在这种压缩过程期间出现量化误差，因此可能发生示出块边界的劣化。这种现象被称为块效应(blocking artifact)，这是评估图像质量的关键要素之一。为了减少劣化，可以执行滤波过程。通过滤波过程，消除了块劣化并且减少了当前图片的错误，以增强图像质量。

滤波单元160对重构信号应用滤波，并且将所应用的重构信号输出到再现装置，或者将输出的重构信号发送到解码图片缓冲器170。帧间预测单元170可以使用发送到解码图片缓冲器180的滤波后的信号作为参考图片。如此，在图片间预测模式下，使用滤波后的图片作为参考图片，以增强图像质量和编码效率。

解码图片缓冲器170可以存储滤波后的图片，以便使用滤波后的图片作为帧间预测单元180中的参考图片。

帧间预测单元180执行时间预测和/或空间预测，以便通过参考重构图片来去除时间冗余和/或空间冗余。这里，由于用于预测的参考图片是在先前时间进行编码/解码时以块为单位量化和逆量化的变换信号，因此可能存在块效应或振铃效应。

因此，帧间预测单元180可以通过应用低通滤波器来以子像素为单位在像素之间内插信号，以便解决由于这种信号的不连续或量化而导致的性能下降。这里，子像素意指通过应用内插滤波器生成的虚拟像素，并且整数像素意指存在于重构图片中的实际像素。作为内插方法，可以采用线性内插、双线性内插、维纳滤波器等。

向重构图片应用内插滤波器，以增强预测精度。例如，帧间预测单元180向整数像素应用内插滤波器以生成内插像素，并且可以通过使用由内插像素构成的内插块作为预测块来执行预测。

此外，帧内预测单元185可以通过参考将经历当前编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下过程，以便执行帧内预测。首先，可以准备参考样本，这是生成预测信号所需要的。另外，可以通过使用准备好的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可以通过参考样本填补和/或参考样本滤波来准备参考样本。由于参考样本经历了预测和重构过程，因此可能存在量化误差。因此，可以相对于用于帧内预测的每种预测模式执行参考样本滤波过程，以便减小此误差。

通过帧间预测单元180或帧内预测单元185生成的预测信号可以被用于生成重构信号或者被用于生成残差信号。

参照图2，解码器200可以被配置为包括解析单元(未例示)、熵解码单元210、解量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。

另外，可以通过再现装置再现通过解码器输出的重构视频信号。

解码器200可以接收从图1的编码器100输出的信号，并且可以通过熵解码单元210对接收到的信号进行熵解码。

解量化单元220通过使用量化步长信息从熵解码后的信号获取变换系数。

逆变换单元230对变换系数进行逆变换，以获取残差信号。

这里，本发明提供了针对按预测模式、块大小或块形状中的至少一种划分的每个变换配置组来配置变换组合的方法，并且逆变换单元230可以基于通过本发明配置的变换组合来执行逆变换。另外，可以应用本说明书中描述的实施方式。

逆变换单元230可以执行以下实施方式。

本发明提供了基于约化二次变换来重构视频信号的方法。

逆变换单元230可以推导与二次变换索引对应的二次变换，通过使用二次变换对变换系数块执行逆二次变换，并且对执行了逆二次变换的块执行逆主变换。这里，二次变换是指约化二次变换，并且约化二次变换表示输入N个残差数据(N×1个残差向量)以输出L(L＜N)个变换系数数据(L×1个变换系数向量)的变换。

本发明的特征在于，向当前块的特定区域应用约化二次变换应用，并且该特定区域是当前块中的左上M×M(M≤N)。

本发明的特征在于，当执行逆二次变换时，向当前块中划分的各个4×4块应用4×4约化二次变换。

本发明的特征在于，基于变换系数块中的最后一个非零变换系数的位置来确定是否获得了二次变换索引。

本发明的特征在于，当最后一个非零变换系数未处于特定区域中时，获得二次变换索引，并且特定区域指示当在应用约化二次变换的情况下根据扫描顺序布置变换系数时，除了可能存在非零变换系数的位置之外的其余区域。

逆变换单元230可以推导与主变换索引对应的变换组合，并且通过使用变换组合来执行逆主变换。这里，主变换索引对应于由DST7和/或DCT8的组合构成的多个变换组合中的任一个，并且该变换组合包括水平变换和垂直变换。在这种情况下，水平变换和垂直变换对应于DST7或DCT8。

尽管解量化单元220和逆变换单元230被描述为单独的功能单元，但是本发明不限于此，它们可以被组合成一个功能单元。

所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号相加，以生成重构信号。

滤波单元240对重构信号应用滤波，并且将所应用的重构信号输出到生成装置，或者将输出的重构信号发送到解码图片缓冲器单元250。帧间预测单元250可以使用发送到解码图片缓冲器单元260的滤波后的信号作为参考图片。

在本说明书中，在编码器100的相应功能单元和变换单元120中描述的实施方式可以分别等同地应用于解码器的对应功能单元和逆变换单元230。

图3a、图3b、图3c和图3d示出了可以应用本发明的实施方式，图3a是按四叉树(QT)(下文中，被称为“QT”)描述块划分结构的图，图3b是按二叉树(BT)(下文中，被称为“BT”)描述块划分结构的图，图3c是按三叉树(TT)(下文中，被称为“TT”)描述块划分结构的图，并且图3d是按不对称树(AT)(下文中，被称为“AT”)描述块划分结构的图。

在视频编码时，可以基于四叉树(QT)划分一个块。另外，可以使用QT进一步递归地划分按QT划分的一个子块。可以通过二叉树(BT)、三叉树(TT)和不对称树(AT)中的至少一种方案划分不再被QT划分的叶块。BT可以具有两种划分类型：水平BT(2N×N，2N×N)和垂直BT(N×2N，N×2N)。TT可以具有两种划分类型：水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)。AT可以具有四种划分类型：水平-上AT(2N×1/2N、2N×3/2N)、水平-下AT(2N×3/2N、2N×1/2N)、垂直-左AT(1/2N×2N、3/2N×2N)、垂直-右AT(3/2N×2N、1/2N×2N)。可以通过使用BT、TT和AT进一步递归地划分BT、TT和AT中的每一个。

图3a例示了QT划分的示例。块A可以按QT被划分成四个子块A0、A1、A2和A3。子块A1可以按QT再被划分成四个子块B0、B1、B2、和B3。

图3b例示了BT划分的示例。不再按QT划分的块B3可以被划分成垂直BT(C0,C1)或水平BT(D0,D1)。如同块C0一样，每个子块可以如同水平BT(E0,E1)或垂直BT(F0,F1)的形式被进一步递归地划分。

图3c例示了TT划分的示例。不再按QT划分的块B3可以被划分成垂直TT(C0,C1,C2)或水平TT(D0,D1,D2)。如同块C1一样，每个子块可以如同水平TT(E0,E1,E2)或垂直TT(F0,F1,F2)的形式被进一步递归地划分。

图3d例示了AT划分的示例。不再按QT划分的块B3可以被划分成垂直AT(C0,C1)或水平AT(D0,D1)。如同块C1一样，每个子块可以如同水平AT(E0,E1)或垂直TT(F0,F1)的形式被进一步递归地划分。

此外，BT、TT和AT划分可以被一起使用和进行。例如，按BT划分的子块可以按TT或AT被划分。另外，按TT划分的子块可以按BT或AT被划分。另外，按AT划分的子块可以按BT或TT被划分。例如，在水平BT划分之后，每个子块可以被划分成垂直BT，或者在垂直BT划分之后，每个子块可以被划分成水平BT。两种类型的划分方法在划分顺序方面彼此不同，但是在最终划分形状方面彼此相同。

另外，当块被划分时，可以以各种方式定义搜索块的顺序。通常，可以从左到右和从上到下地执行搜索，并且搜索块可以意味着决定是否进一步划分每个划分的子块的顺序，意味着在每个子块不再被划分时每个子块的编码顺序，或者意味着当参照子块中的另一邻近块的信息时的搜索顺序。

图4和图5例示了应用本发明的实施方式，图4是编码器中的变换单元120和量化单元130以及解量化单元140和逆变换单元150的示意性框图，并且图5是解码器中的解量化单元220和逆变换单元230的示意性框图。

参照图4，变换单元120和量化单元130可以包括主变换单元121、二次变换单元122和量化单元130。解量化单元140和逆变换单元150可以包括解量化单元140、逆二次变换单元151和逆主变换单元152。

参照图5，解量化单元220和逆变换单元230可以包括解量化单元220、逆二次变换单元231和逆主变换单元232。

在本发明中，当执行变换时，可以通过多个步骤执行变换。例如，可以如图4中例示地应用主变换和二次变换这两个步骤，或者可以根据算法使用更多变换步骤。这里，主变换也可以被称为核心变换。

主变换单元121可以向残差信号应用主变换，并且这里，可以在编码器和/或解码器的表中定义主变换。

主变换可以采用离散余弦变换类型2(下文中，被称为“DCT2”)。

另选地，仅在特定情况下，可以采用离散正弦变换类型7(下文中，被称为“DST7”)。例如，DST7可以在帧内预测模式下应用于4×4块。

另外，主变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT5的组合。例如，可以采用图6。

二次变换单元122可以向主变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中定义二次变换。

作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为“NSST”)。例如，NSST可以仅被应用于帧内预测块，并且可以具有适于每个预测模式组的变换集。

这里，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角方向)是对称的，因此可以通过形成一个组来应用相同的变换集。在这样的情况下，当应用针对预测模式52的变换时，因为预测模式52具有与预测模式16相同的变换集，所以输入数据被调换，然后被应用。

此外，由于在平面模式和DC模式的情况下不存在方向的对称性，因此每种模式具有不同的变换集，并且对应的变换集可以由两个变换构成。相对于其余方向模式，每个变换集可以由三个变换构成。

作为另一实施方式，二次变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT8、DST 1和DCT 5的组合。例如，可以采用图6。

作为另一实施方式，可以向二次变换应用DST 7。

作为另一实施方式，可以不向整个主变换块而是可以仅向左上特定区域应用二次变换。例如，当块大小为8×8或更大时，应用8×8NSST，而当块大小小于8×8时，可以应用4×4二次变换。在这种情况下，该块可以被划分成4×4块，然后可以向每个划分的块应用4×4二次变换。

作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4二次变换。

将参照图12至图15和说明书中的其它实施方式更详细地描述二次变换(例如，NSST)、4×4二次变换和8×8二次变换。

量化单元130可以对二次变换后的信号执行量化。

解量化单元140和逆变换单元150相反地执行上述过程，并且将省略对其的冗余描述。

图5是解码器中的逆变换单元230和解量化单元220的示意性框图。

逆二次变换单元231对变换系数执行逆二次变换。这里，逆二次变换表示在图4中描述的二次变换的逆变换。

逆主变换单元232对逆二次变换后的信号(或块)执行逆主变换，并且获得残差信号。这里，逆主变换表示在图4中描述的主变换的逆变换。

作为实施方式，主变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT8、DST1和DCT 5的组合。例如，可以采用图6。

作为本发明的实施方式，可以向主变换应用DST 7。

作为本发明的实施方式，可以向主变换应用DST 8。

本发明提供了可以针对通过预测模式、块大小或块形状中的至少一种分类的每个变换配置组来配置变换组合的方法，并且逆主变换单元232可以基于通过本发明配置的变换组合来执行逆变换。另外，可以应用本说明书中描述的实施方式。

应用多重变换选择(MTS)的变换配置组

在本说明书中，用于变换配置组G_i的第j个变换组合候选由下式1中示出的对表示。

[式1]

(H(G_i,j),V(G_i,j))

这里，H(G_i,j)表示第j个候选的水平变换，并且V(G_i,j)表示第j个候选的垂直变换。例如，在图6中，可以表示H(G₃,2)＝DST7、V(G₃,2)＝DCT8。根据上下文，指派给H(G_i,j)或V(G_i,j)的值可以是标称值，以区分变换，如以上示例中一样，或者可以是指示变换的索引值，或者可以是用于变换的二维(D)矩阵。

另外，在本说明书中，可以如下面的式2和式3中示出地表示DCT和DST的2D矩阵值。

[式2]

DCT类型2：

DCT类型8：

[式3]

DST类型7：

DST类型4:

这里，是DST还是DCT用S或C表示，类型编号以罗马数字形式在上标中表示，而下标中的N表示N×N变换。另外，诸如

和

这样的2D矩阵假定列向量形成变换基础。

参照图6，可以基于预测模式来确定变换配置组，并且组的数量可以是总共六个组G0至G5。另外，G0至G4对应于应用帧内预测的情况，并且G5表示应用于通过帧间预测生成的残差块的变换组合(或变换集和变换组合集)。

一个变换组合可以由应用于对应2D块的行的水平变换(或行变换)和应用于列的垂直变换(或列变换)构成。

这里，所有变换配置组中的每一个可以具有四个变换组合候选。可以通过变换组合索引0至3来选择或确定这四个变换组合，并且通过对变换组合索引进行编码来从编码器向解码器发送这四个变换组合。

作为实施方式，根据帧内预测模式，通过帧内预测获得的残差数据(或残差信号)可以具有不同的统计特性。因此，如图6中例示的，可以向每种帧内预测模式应用除了一般余弦变换之外的变换。

参照图6，例示了使用35种帧内预测模式的情况和使用67种帧内预测模式的情况。可以向每种帧内预测模式列中划分的每个变换配置组应用多个变换组合。例如，这多个变换组合可以由四个(行方向变换和列方向变换)组合构成。作为特定示例，可以在组0的行(水平)方向和列(垂直)方向上应用DST-7和DST-5，结果，总共有四个组合可用。

由于变换内核组合的总数可以应用于每种帧内预测模式，因此可以每个变换单元发送用于选择变换内核组合中的一个的变换组合索引。在本说明书中，变换组合索引可以被称为MTX索引，并且被表示为mtx_idx。

另外，除了上图6中表示的变换内核之外，也可能出现由于残差信号的特性导致DCT2对于行方向和列方向二者都是最佳的情况。因此，针对每个编码单元定义MTS标志，以自适应执行变换。这里，当MTS标志为0时，DCT-2可以被应用于行方向和列方向二者，并且当MTS标志为1时，可以通过MTS索引来选择或确定四个组合中的一个。

作为实施方式，当MTS标志为1时，如果用于一个变换单元的非零变换系数的数量不大于阈值，则可以在不应用图6的变换内核的情况下在行方向和列方向二者上都应用DST-7。例如，阈值可以被设置为2，该阈值可以基于块大小或变换单元的大小而不同地设置。这也适用于说明书中的其它实施方式。

作为实施方式，如果非零变换系数的数量不大于阈值，则通过首先解析变换系数值，可以在不解析MTS索引的情况下通过应用DST-7来减少附加信息传输的量。

作为实施方式，当MTS标志为1时，如果非零变换系数的数量大于一个变换单元的阈值，则可以解析MTS索引，并且可以基于MTS索引来确定水平变换和垂直变换。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用MTS。

作为实施方式，可以通过离线训练来预先配置图6。

作为实施方式，MTS索引可以被定义为可以同时指示水平变换和垂直变换的一个索引。另选地，MTS索引可以被分别定义为水平变换索引和垂直变换索引。

作为实施方式，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTX索引。例如，可以以序列参数集(SPS)、编码单元或变换单元中的至少一个级别定义MTS标志或MTX索引。另外，作为示例，可以以序列参数集(SPS)、图片参数集(PPS)或切片头中的至少一个级别定义用于启用/禁用MTX的语法标志。

作为另一实施方式，可以在不依赖MTS标志、预测模式和/或块形状的情况下配置与变换索引对应的变换组合(水平变换或垂直变换)。例如，变换组合可以由DCT2、DST7和/或DCT8中的至少一个配置。作为特定示例，当变换索引为0、1、2、3或4时，每个变换组合可以是(DCT2，DCT2)、(DST7，DST7)、(DCT8，DST7)、(DST7，DCT8)或(DCT8，DCT8)。

在本说明书中，基本描述了向水平方向和垂直方向分别应用变换的实施方式，但是变换组合可以被配置为不可分变换。

另选地，变换组合可以由可分变换与不可分变换的混合配置。在这种情况下，当使用不可分变换时，可以不需要行/列变换选择或水平/垂直方向选择，并且只有当选择可分变换时，才可以使用图6的变换组合。

另外，可以应用通过本说明书提出的方案，而不管是主变换还是二次变换。即，不存在应该将方案仅应用于主变换和二次变换二者中的任一者和可以将方案应用于主变换和二次变换二者的限制。这里，主变换可以意指用于首先对残差块进行变换的变换，而二次变换可以意指用于向作为主变换的结果生成的块应用变换的变换。

首先，编码器可以确定与当前块对应的变换配置组。这里，变换配置组可以意指图6的变换配置组，本发明不限于此，并且变换配置组可以由其它变换组合构成。

编码器可以对可用于变换配置组中的候选变换组合执行变换(S720)。

执行变换的结果是，编码器100可以确定或选择具有最小速率失真(RD)代价的变换组合(S730)。

编码器100可以对与所选择的变换组合对应的变换组合索引进行编码(S740)。

首先，解码器可以确定当前块的变换配置组(S810)。

解码器可以根据视频信号解析(或获取)变换组合索引，并且这里，变换组合索引可以对应于变换配置组中的多个变换组合中的任一个(S820)。例如，变换配置组可以包括离散正弦变换类型(DST)7和离散余弦变换类型(DST)8。变换组合索引可以被称为MTS索引。

作为实施方式，可以基于当前块的块形状、块大小或预测模式中的至少一个来配置变换配置组。

解码器可以推导与变换组合索引对应的变换组合(S830)。这里，变换组合可以由水平变换和垂直变换构成，并且可以包括DST-7或DCT-8中的至少一个。

另外，变换组合可以意指图6中描述的变换组合，但是本发明不限于此。即，根据本说明书中的其它实施方式，可以通过其它变换组合来配置变换组合。

解码器可以基于变换组合对当前块执行逆变换(S840)。当变换组合由行(水平)变换和列(垂直)变换构成时，可以在首先应用行(水平)变换之后应用列(垂直)变换。然而，本发明不限于此，并且可以颠倒变换顺序，或者当变换组合由不可分变换构成时，可以立即应用不可分变换。

作为实施方式，当垂直变换或水平变换为DST-7或DCT-8时，可以向每行应用然后向每行应用DST-7的逆变换或DCT-8的逆变换。

作为实施方式，相对于垂直变换或水平变换，可以向每行和/或每列应用不同的变换。

作为实施方式，可以基于指示是否执行MTS的MTS标志来获取变换组合索引。即，当根据MTS标志执行MTS时，可以获得变换组合索引。

作为实施方式，解码器可以检查非零变换系数的数量是否大于阈值。在这种情况下，当非零变换系数的数量大于阈值时可以获得变换。

作为实施方式，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别来定义MTS标志或MTX索引。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用逆变换。

另一方面，作为另一实施方式，可以同时执行确定变换配置组的过程和解析变换组合索引的过程。另选地，可以在编码器和/或解码器中被预先配置和省略步骤S810。

编码器可以确定是否向当前块应用多重变换选择(MTS)(S910)。

当应用多重变换选择(MTS)时，编码器可以将MTS标志编码为1(S920)。

另外，编码器可以基于当前块的水平变换、垂直变换和预测模式中的至少一种来确定MTS索引(S930)。这里，MTS索引可以意指指示用于每种帧内预测模式的多个变换组合中的任一个的索引，并且可以针对每个变换单元发送MTS索引。

当确定了MTS索引时，编码器可以对MTS索引进行编码(S940)。

另一方面，当未应用多重变换选择(MTS)时，编码器可以将MTS标志编码为0(S920)。

解码器可以根据比特流解析MTS标志(S1010)。这里，MTS标志可以指示是否向当前块应用多重变换选择(MTS)。

解码器可以基于MTS标志来确定是否向当前块应用多重变换选择(MTS)(S1020)。例如，可以检查MTS标志是否为1。

当MTS标志为1时，解码器可以检查非零变换系数的数量是否大于(或等于或大于)阈值(S1030)。例如，阈值可以被设置为2，该阈值可以基于块大小或变换单元的大小而不同地设置。

当非零变换系数的数量大于阈值时，解码器可以解析MTS索引(S1040)。这里，MTS索引可以意指用于帧内预测模式或帧间预测模式中的每一种的多个变换组合中的任一个，并且可以针对每个变换单元发送MTS索引。另选地，MTS索引可以意指指示在预先配置的变换组合表中定义的任一个变换组合的索引，并且这里，预先配置的变换组合表可以意指图6，但是本发明不限于此。

解码器可以基于MTS索引和预测模式中的至少一个来推导或确定水平变换和垂直变换(S1050)。

另选地，解码器可以推导对应于MTX索引的变换组合。例如，解码器可以推导或确定对应于MTS索引的水平变换和垂直变换。

当非零变换系数的数量不大于阈值时，解码器可以应用预先配置的垂直逆变换(S1060)。例如，垂直逆变换可以是DST7的逆变换。

另外，解码器可以对每行应用预先配置的水平逆变换(S1070)。例如，水平逆变换可以是DST7的逆变换。即，当非零变换系数的数量不大于阈值时，可以使用由编码器或解码器预先配置的变换内核。例如，可以使用在图6中例示的变换组合表中未定义但被广泛使用的变换内核(例如，DCT-2、DST-7或DCT-8)。

此外，当MTS标志为0时，解码器可以对每列应用预先配置的垂直逆变换(S1080)。例如，垂直逆变换可以是DCT2的逆变换。

另外，解码器可以对每行应用预先配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT2的逆变换。即，当MTS标志为0时，可以使用通过编码器或解码器预先配置的变换内核。例如，可以使用在图6中例示的变换组合表中未定义但被广泛使用的变换内核。

应用了本发明的解码器可以获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。这里，sps_mts_intra_enabled_flag指示在帧内编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中存在tu_mts_flag。另外，sps_mts_inter_enabled_flag指示在帧间编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中存在tu_mts_flag。

解码器可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器可以获得tu_mts_flag。这里，tu_mts_flag指示是否向亮度变换块的残差样本应用多个变换选择(下文中，被称为“MTS”)。例如，当tu_mts_flag＝0时，不向亮度变换块的残差样本应用MTS，并且当tu_mts_flag＝1时，不向亮度变换块的残差样本应用MTS。

作为另一示例，本文献的实施方式中的至少一个可以应用于tu_mts_flag。

解码器可以基于tu_mts_flag获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可以获得mts_idx。这里，mts_idx指示哪个变换内核沿当前变换块的水平和/或垂直方向应用于亮度残差样本。

例如，本文献的实施方式中的至少一个可以应用于mts_idx。作为特定示例，可以应用图6的实施方式中的至少一个。

解码器可以推导与mts_idx对应的变换内核(S1140)。例如，可以通过将与mts_idx对应的变换内核划分成水平变换和垂直变换来定义它。

作为另一示例，可以对水平变换和垂直变换应用不同的变换内核。然而，本发明不限于此，并且可以向水平变换和垂直变换应用相同的变换内核。

作为实施方式，可以如下表1中所示地定义mts_idx。

[表1]

mts_idx[x0][y0]	trTypeHor	trTypeVer
			0	0	0
1	1	1
			2	2	1
3	1	2
			4	2	2

另外，解码器可以基于变换内核来执行逆变换(S1150)。

在上图11中，主要描述了以下的实施方式：获得tu_mts_flag，以确定是否应用MTS，并且根据随后获得的tu_mts_flag值来获得mts_idx，以确定变换内核，但是本发明不限于此。作为示例，解码器直接解析mts_idx而不解析tu_mts_flag来确定变换内核。在这种情况下，可以使用上述表1。即，当mts_idx值指示0时，可以在水平/垂直方向上应用DCT-2，并且当mts_idx值指示除了0之外的值时，可以根据mts_idx值来应用DST-7和/或DCT-8。

作为本发明的另一实施方式，描述了执行变换过程的解码过程。

解码器可以检查变换大小nTbS(S10)。这里，变换大小nTbS可以是表示缩放后的变换系数的水平样本大小的变量。

解码器可以检查变换内核类型trType(S20)。这里，变换内核类型trType可以是表示变换内核类型的变量，并且可以应用本文献的各种实施方式。变换内核类型trType可以包括水平变换内核类型trTypeHor和垂直变换内核类型trTypeVer。

参照表1，当变换内核类型trType为0时，变换内核类型可以表示DCT2，当变换内核类型trType为1时，变换内核类型可以表示DST7，并且当变换内核类型trType为2时，变换内核类型可以表示DCT8。

解码器可以基于变换大小nTbS或变换内核类型中的至少一个来执行变换矩阵乘法(S30)。

作为另一示例，当变换内核类型为1并且变换大小为4时，在执行变换矩阵乘法时可以应用预定的变换矩阵1。

作为另一示例，当变换内核类型为1并且变换大小为8时，在执行变换矩阵乘法时可以应用预定的变换矩阵2。

作为另一示例，当变换内核类型为1并且变换大小为16时，在执行变换矩阵乘法时可以应用预定的变换矩阵3。

作为另一示例，当变换内核类型为1并且变换大小为32时，在执行变换矩阵乘法时可以应用预定义变换矩阵4。

类似地，当变换内核类型为2且变换大小为4、8、16或32时，可以分别应用预定义变换矩阵5、6、7和8。

这里，预定义变换矩阵1至8中的各个可以对应于各种类型的变换矩阵中的任一种。作为示例，可以应用图6中例示的类型的变换矩阵。

解码器可以基于变换矩阵乘法来推导变换样本(或变换系数)(S40)。

可以使用以上实施方式中的每一个，但是本发明不限于此，并且可以与以上实施方式和本说明书的其它实施方式结合地使用。

图12是作为应用本发明的实施方式的在NSST中针对每种帧内预测模式分配变换集的表。

不可分二次变换(NSST)

二次变换单元可以向主变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中定义二次变换。

这里，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34是(对角方向)对称的，因此可以通过形成一个组来应用相同的变换集。在这样的情况下，当应用针对预测模式52的变换时，因为预测模式52具有与预测模式16相同的变换集，所以输入数据被调换，然后被应用。

此外，由于在平面模式和DC模式的情况下不存在方向的对称性，因此每种模式具有不同的变换集，并且对应的变换集可以由两个变换构成。相对于其余方向模式，每个变换集可以由三个变换构成。然而，本发明不限于此，每个变换集可以由多个变换构成。

在实施方式中，可以定义除了图12中例示的变换集表之外的变换集表。例如，如下表2中所示，可以根据帧内预测模式(或帧内预测模式组)根据预定义的表来确定变换集。可以从编码器向解码器发信号通知指示根据帧内预测模式确定的变换集中的特定变换的语法。

[表2]

IntraPredMode	变换集索引
		IntraPredMode<0	1
0<＝IntraPredMode<＝1	0
		2<＝IntraPredMode<＝12	1
13<＝IntraPredMode<＝23	2
		24<＝IntraPredMode<＝44	3
45<＝IntraPredMode<＝55	2
		56<＝IntraPredMode	1

参照表2，预定义变换集可以被分配给分组的帧内预测模式(或帧内预测模式组)。这里，IntraPredMode值可以是考虑到广角帧内预测(WAIP)而变换的模式值。

作为另一实施方式，可以不向整个主变换块而是可以仅向左上8×8区域应用NSST。例如，当块大小为8×8或更大时，应用8×8NSST，并且当块大小小于8×8时，应用4×4NSST，并且在这种情况下，块被划分成4×4块，然后向划分的块中的每一个应用4×4NSST。

作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。

由于8×8NSST和4×4NSST二者遵循本文献中描述的变换组合配置并且是不可分变换，因此8×8NSST接收64个数据并输出64个数据并且4×4NSST具有16个输入和16个输出。

8×8NSST和4×4NSST二者由吉文斯旋转的分层级组合配置。在式4中示出对应于一个吉文斯旋转的矩阵，并且在下式5中示出矩阵乘积。

[式4]

[式5]

t_m＝x_mcosθ-x_nsinθ

t_n＝x_msinθ+x_ncosθ

如图13中例示的，由于一个吉文斯旋转使两个数据旋转，为了处理64个数据(对于8×8NSST)或16个数据(对于4×4NSST)，总共需要32或8个吉文斯旋转。

因此，一批32或8个吉文斯旋转用于形成吉文斯旋转层。通过所确定的排列将一个吉文斯旋转层的输出数据作为下一个吉文斯旋转层的输入数据进行传送。

图14例示了作为应用本发明的实施方式的由吉文斯旋转层和排列构成的4×4NSST中的一轮次配置。

参照图14，例示了在4×4NSST的情况下顺序处理四个吉文斯旋转层。如图14中例示的，通过所确定的排列(或混排)将一个吉文斯旋转层的输出数据作为下一个吉文斯旋转层的输入数据进行传送。

如图14中例示的，规律地定义待排列的模式，并且在4×4NSST的情况下，四个吉文斯旋转层及其对应的排列被组合，以形成一轮次。

在8×8NSST的情况下，六个吉文斯旋转层和对应的排列形成一轮次。4×4NSST经过两轮次，并且8×8NSST经过四轮次。不同的轮次使用相同的排列模式，但所应用的吉文斯旋转角度是不同的。因此，需要存储构成每个变换的所有吉文斯旋转的角度数据。

作为最后一个步骤，最后进一步对通过吉文斯旋转层输出的数据执行一次排列，并且针对每个变换分别存储对应的排列信息。在前向NSST中，最后执行对应的排列，而在逆NSST中，首先与其相反地应用对应的逆排列。

在逆NSST的情况下，吉文斯旋转层和应用于前向NSST的排列以相反顺序执行，并且即使对于每个吉文斯旋转角度也采用负值进行旋转。

约化二次变换(RST)

当假定表示一个变换的正交矩阵具有N×N形式时，在N个变换基向量(R＜N)当中，约化变换(下文中，被称为“RT”)仅留下R个变换基向量。通过下式6给出用于生成变换系数的前向RT的矩阵。

[式6]

由于用于逆RT的矩阵成为前向RT矩阵的调换矩阵，因此前向RT和逆RT的应用被如图15中例示地例示。这里，约化因子被定义为R/N(R<N)。

约化变换的元素的数量为R×N，小于整个矩阵的大小(N×N)。换句话说，所需的矩阵是整个矩阵的R/N。另外，所需的乘法数量为R×N，比原始N×N低R/N。当应用约化变换时，提供R个系数，结果，只能发送R个系数值而非N个系数。

假定向经过主变换的变换块的左上8×8块应用RT，该RT可以被称为8×8约化二次变换(8×8RST)。

当上式6的R值为16时，前向8×8RST具有16×64矩阵形式，并且逆8×8RST具有64×16矩阵形式。

另外，与图12所中例示的变换集配置相同的变换集配置甚至可以被应用于8×8RST。即，可以根据图12中的变换集应用对应的8×8RST。

作为实施方式，当根据图12中的帧内预测模式由两个或三个变换构成一个变换集时，可以被配置为选择包括不应用二次变换的情况的最多4个变换之一。这里，一个变换可以被视为单位矩阵。

当分别将索引0、1、2和3指派给四个变换时，可以针对每个变换块发信号通知被称为NSST索引的语法元素，由此指定对应的变换。即，在NSST的情况下，可以通过NSST索引针对8×8左上块指定8×8NSST，并且可以在RST配置中指定8×8RST。另外，在这种情况下，可以将索引0分配给不应用单位矩阵(即，二次变换)的情况。

当应用式6中示出的前向8×8RST时，生成16个有效变换系数，结果，可以认为构成8×8区域的64个输入数据被约化为16个输出数据。从二维区域的角度来看，只有四分之一的区域被填充了有效变换系数。因此，图16中的4×4左上区域可以被填充有通过应用前向8×8RST而获得的16个输出数据。

图16例示了当前向扫描顺序从1开始时(以前向扫描顺序)从第17个系数至第64个系数的扫描。然而，图16例示了后向扫描，并且其例示了执行从第64个系数至第17个系数的后向扫描。

参照图16，左上4×4区域是被分配了有效变换系统的感兴趣区域(ROI)，而其余区域为空。即，默认地可以将值0分配给其余区域。

如果在图16的除了ROI区域之外的区域中存在除了0之外的有效变换系数，则这意味着未应用8×8RST，结果，在这种情况下，可以省略与其对应的NSST索引编码。

相反，如果在图16的ROI区域之外不存在非零变换系数(如果应用8×8RST，当将0分配给除了ROI之外的区域时)，则有可能将应用8×8RST，结果，可以对NST索引进行编码。

如此，因为必须检查非零变换系数的存在，所以可以在残差编码过程之后执行有条件的NSST索引编码。

本发明提供了可以被应用于来自RST结构的4×4块的设计RST的方法以及关联的优化方法。除了4×4RST之外，本说明书中公开的实施方式还可以应用于8×8RST或另一类型的变换。

实施方式1：适用于4×4块的RST

可以应用于一个4×4块的不可分变换是16×16变换。即，当构成4×4块的数据元素以行优先或列优先的顺序排列时，使用16×1向量来应用不可分变换。

前向16×16变换由16个行方向变换后的基向量构成，并且当将内积应用于16×1向量和每个变换基向量时，获得针对变换基向量的变换系数。获得与所有16个变换基向量对应的变换系数的过程等同于16×16不可分变换矩阵乘以输入的16×1向量。

通过矩阵乘积而获得的变换系数具有16×1向量形式，并且对于每个变换系数而言，统计特性可能不同。例如，当16×1变换系数向量由第0个元素至第15个元素构成时，第0个元素的方差可以大于第15个元素的方差。换句话说，随着元素被设置得越靠前，元素的对应方差值更大，使得元素可以具有更大的能量值。

当从16×1变换系数应用逆16×16不可分变换时，可以恢复原始的4×4块信号。当前向16×16不可分变换是正交变换时，可以通过对用于前向16×16变换的调换矩阵来获得对应的逆16×16变换。

当16×1变换系数向量乘以逆16×16不可分变换矩阵时，可以获得16×1向量形式的数据，并且当所获得的数据按首先应用的行优先或列优先配置时，可以恢复4×4块信号。

如上所述，构成16×1变换系数向量的元素可以具有不同的统计特性。

如果布置在较前侧(接近第0个元素)的变换系数具有较大的能量，则即使在不使用所有变换系数的情况下向首先出现的一些变换系数应用逆变换，也可以恢复十分接近原始信号的信号。例如，当由16列基向量构成逆16×16不可分变换时，仅留下L个列基向量以形成16×L矩阵。另外，当仅在变换系数(L×1向量)当中的L个重要变换系数之后将16×L矩阵和L×1彼此相乘时，可以恢复原始输入16×1向量数据中有小误差的16×1向量。

结果，由于仅L个系数用于数据恢复，因此在获得变换系数时，获得L×1变换系数向量而非16×1变换系数向量。即，当通过在前向16×16不可分变换矩阵中选择L个对应行向量来配置L×16变换并且将所配置的L×16变换乘以16×1输入向量时，可以获得L个重要的变换系数。

L值的范围为1≤L＜16，并且通常，可以通过任意方法在16个变换基向量当中选择L个向量，但是从编码和解码的角度看，选择在信号能量方面重要性高的变换基向量在编码效率方面会是有利的。

实施方式2：4×4RST的应用区域的配置和变换系数的排列

4×4RST可以被应用为二次变换，并且可以被辅助应用于被应用了诸如DCT类型2这样的主变换的块。当应用了主变换的块的大小为N×N时，应用了主变换的块的大小通常大于4×4。因此，当向N×N块应用4×4RST时，可以有如下两种方法。

实施方式2-1)4×4RST未应用于所有N×N区域，而是可以仅应用于某些区域。例如，可以仅向左上M×M区域(M≤N)应用4×4RST。

实施方式2-2)可以将应用了二次变换的区域划分成4×4块，并且可以向每个划分的块应用4×4RST。

作为实施方式，可以混合并应用实施方式2-1)和2-2)。例如，仅左上M×M区域可以被划分成4×4块，然后可以应用4×4RST。

作为实施方式，可以仅向左上8×8区域应用二次变换，并且当N×N块等于或大于8×8时，可以应用8×8RST，并且当N×N块小于×88(4×4、8×4和4×8)，N×N块可以被划分成4×4块，然后可以向4×4块中的每一个应用4×4RST，如实施方式2-2中一样。另外，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。

当在应用4×4RST之后生成L(1≤L<16)个变换系数时，生成如何排列L个变换系数的自由度。然而，由于当在残差编码步骤中处理变换系数时将存在预定顺序，因此编码性能可以根据L个变换系数如何布置在2D块中而变化。

例如，在HEVC的残差编码的情况下，编码从距DC位置最远的位置开始。通过利用随着远离DC位置移动，量化系数值是零或接近零的事实来增强编码性能。

因此，在编码性能方面，为L个变换系数布置具有高能量的更重要的系数可以是有利的，使得随后以残差编码的顺序对L个变换系数进行编码。

图17以HEVC中应用的4×4变换块(系数组(CG))为单位示出了三个前向扫描顺序。残差编码遵循图17的扫描顺序的相反顺序(即，以16至1的顺序执行编码)。

由于根据帧内预测模式选择图17中的三个扫描顺序，因此即使对于L个变换系数，本发明也可以被配置为根据帧内预测模式类似地确定扫描顺序。

图18例示了作为应用本发明的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时，各个4×4块的前向扫描顺序和有效变换系数的位置。

当遵循图17中的对角扫描顺序并且将左上4×8块划分成4×4块并将4×4RST应用于每个4×4块时，如果L值为8(即，如果只剩下16个变换系数当中的8个变换系数)，则可以如图18中地设置变换系数。

各4×4块中只有一半可以具有变换系数，并且默认地可以向标记X的位置应用值0。

因此，通过根据图17中例示的扫描顺序针对每个4×4块布置L个变换系数并且假设用0填充每个4×4块的16-L个其余位置来执行残差编码。

参照图19，布置在两个4×4块中的L个变换系数可以被组合成一个。具体地，当L值为8时，由于两个4×4块的变换系数在被组合的同时完全填充一个4×4块，因此在另一个4×4块中也没有留下变换系数。

因此，由于相对于空的4×4块不需要大多数残差编码，因此对应的coded_sub_block_flag可以被编码为0。

另外，作为本发明的实施方式，甚至可以将各种方案应用于如何混合两个4×4块的变换系数。可以根据随机顺序来组合变换系数，但是本发明可以提供以下方法。

1)两个4×4块的变换系数按扫描顺序被交替地混合。即，在图18中，当顶部块的变换系数为

和

并且底部块的变换系数为

和

时，变换系数可以像

和

一样被一个接一个地交替混合。另选地，可以改变

和

的顺序。换句话说，可以配置顺序，使得首先出现

2)可以首先布置用于第一4×4块的变换系数，然后可以布置第二4×4块的变换系数。换句话说，变换系数可以像

一样地连接和布置。另选地，该顺序可以如同

一样地改变。

实施方式3：对4×4RST的NSST索引进行编码的方法

当如图18中例示地应用4×4RST时，可以根据每个4×4块的变换系数扫描顺序，用0值填充第L+1至第16。

因此，当即使在两个4×4块中的一个中在第L+1至第16位置生成非零值时，也可以得知这种情况是不应用4×4RST的情况。

当4×4RST也具有选择并应用了作为NSST准备的变换集之一的结构时，可以发信号通知要对其应用变换的变换索引(在该实施方式中，可以被称为NSST索引)。

假定任何解码器都可以通过比特流解析来得知NSST索引，并且解析是在残差解码之后执行的。

当执行残差解码并且确认在第L+1至第16之间存在至少一个非零变换系数时，不应用4×4RST，因此NSST索引可以被配置为不被解析。

因此，只有当需要降低信令成本时，才选择性地解析NSST索引。

如果如图18中例示地，将4×4RST应用于特定区域中的多个4×4块(例如，相同的4×4RST可以应用于多个4×4块中的全部，或者可以应用不同的4×4RST)时，可以通过一个NSST索引指定应用于所有4×4块的4×4RST。在这种情况下，可以指定相同的4×4RST，或者可以指定应用于所有4×4块中的每一个的4×4RST。

由于是否通过一个NSST索引将4×4RST应用于所有4×4块，因此可以检查在残差解码过程期间在针对所有4×4块的第L+1至第16位置处是否存在非零变换系数。作为检查结果，当非零变换系数存在于即使在一个4×4块中也不被接受的位置(第L+1至第16位置)处时，NSST索引可以被配置为不被编码。

可以针对亮度块和色度块分别发信号通知NSST索引，并且在色度块的情况下，可以针对Cb和Cr发信号通知单独的NSST索引，并且可以共享一个NSST索引。

当Cb和Cr共享一个NSST索引时，可以应用由相同的NSST索引指定的4×4RST。在这种情况下，针对Cb和Cr的4×4RST可以相同，或者NSST索引可以相同，但是可以提供单独的4×4RST。

为了将有条件信令应用于共享的NSST索引，检查对于Cb和Cr的所有4×4块的第L+1至第16位置处是否存在非零变换系数，并且当存在非零变换系数时，NSST索引可以被配置为不用信号进行通知。

如图19中例示的，即使对于两个4×4块的变换系数被组合的情况，当应用4×4RST时，检查在不存在有效变换系数的位置处是否存在非零变换系数，然后可以确定是否发信号通知NSST。

例如，如图19的(b)中例示的，当L值为8并且在应用4×4RST时对于一个4×4块(标记有X的块)不存在有效的变换系数时，可以检查不存在有效变换系数的块的coded_sub_block_flag。在这种情况下，当coded_sub_block_flag为1时，NSST索引可以被配置为不用信号进行通知。

实施方式4：在残差编码之前对NSST索引执行编码的情况下的优化方法

当在残差编码之前对NSST索引执行编码时，是否应用4×4RST是预定的，结果，对于是否将0分配给变换系数的位置，可以省略残差编码。

这里，是否应用4×4RST可以被配置为通过NSST索引是已知的。例如，当NSST索引为0时，不应用4×4RST。

另选地，可以通过单独的语法元素(例如，NSST标志)发信号通知NSST索引。例如，如果单独的语法元素被称为NSST标志，则首先解析NSST标志，以确定是否应用4×4RST，并且如果NSST标志值为1，则对于不会存在有效变换系数的位置，可以省略残差编码。

作为实施方式，当执行残差编码时，首先对TU上的最后一个非零变换系数位置进行编码。当在对最后一个非零变换系数位置进行编码之后对NSST索引执行编码并且假定向最后一个非零变换系数的位置应用4×4RST时，如果最后一个非零变换系数位置被确定为不能生成非零变换系数的位置，则4×4RST可以被配置为不应用于最后一个非零变换系数位置，而不对NSST索引进行编码。

例如，由于在图18中标记有X的位置的情况下，当应用4×4RST时未设置有效变换系数(例如，可以用0值填充这些位置)，因此当最后一个非零变换系数处于标记有X的区域中时，可以省略对NSST索引的编码。当最后一个非零变换系数没有处于标记有X的区域中时，可以执行NSST索引的编码。

作为实施方式，当通过在对最后一个非零变换系数位置进行编码之后对NSST索引进行有条件编码来检查是否应用4×4RST时，可以通过以下两种方案来处理其余残差编码部分。

1)在不应用4×4RST的情况下，一般残差编码被原样地保持。即，在假定从非零变换系数位置到DC的任何位置处可能存在非零变换系数的情况下，执行编码。

2)当应用4×4RST时，由于对于特定位置或特定4×4块(例如，图18的X位置，默认情况下可以用0填充)不存在变换系数，因此可以不执行对应位置或块的残差。

例如，在到达图18中标记有X的位置的情况下，可以省略对sig_coeff_flag的编码。这里，sig_coeff_flag意指在对应位置处是否存在非零变换系数的标志。

当如图19中例示地两个块的变换系数被组合时，对于分配给0的4×4块，可以省略对coded_sub_block_flag的编码，并且对应值可以被推导为0，并且所有对应4×4块可以在不进行单独编码的情况下被推导为0值。

在对非零变换系数位置进行编码之后对NSST索引进行编码的情况下，当最后一个非零变换系数的x位置P_x和y位置P_y分别小于T_x和T_y时，可以省略NSST索引编码并且可以不应用4×4RST。

例如，T_x＝1并且T_y＝1的情况意味着，对于在DC位置处存在非零变换系数的情况，省略了NSST索引编码。

确定是否通过与阈值比较对NSST索引进行编码的方案可以被不同地应用于亮度和色度。例如，不同的T_x和T_y可以被应用于亮度和色度，并且可以向亮度而非向色度应用阈值。或者，反之亦然。

可以同时应用上述两种方法，即，当非零变换系数位于不存在有效变换系数的区域中时省略NSST索引编码的第一种方法以及当非零变换系数的X坐标和Y坐标中的每一个小于预定阈值时省略NSST索引编码的第二种方法。

例如，可以首先检查最后一个非零变换系数的位置坐标的阈值，然后可以检查最后一个非零变换系数是否位于不存在有效变换系数的区域中。另选地，可以改变顺序。

实施方式4中提出的方法甚至可以应用于8×8RST。也就是说，当最后一个非零变换系数位于左上角8×8区域中的除了左上4×4之外的区域中时，可以省略对NSST索引的编码，如若不然，可以执行NSST索引编码。

另外，当用于非零变换系数的X和Y坐标值二者小于阈值时，可以省略对NSST索引的编码。另选地，可以将两种方法一起应用。

实施方式5：应用RST时将不同的NSST索引编码和残差编码方案应用于亮度和色度

可以分别向亮度和色度不同地应用实施方式3和4中描述的方案。即，可以不同地应用针对亮度和色度的NSST索引编码和残差编码方案。

例如，亮度可以采用实施方式4的方案并且色度可以采用实施方式3的方案。另选地，亮度可以采用实施方式3或4中提出的有条件的NSST索引编码，并且色度可以不采用有条件的NSST索引编码。或者，反之亦然。

编码器可以基于当前块的块形状、块大小和/或预测模式中的至少一个来确定(或选择)前向二次变换(S2010)。在这种情况下，前向二次变换的候选可以包括图6和/或图12的实施方式中的至少一个。

编码器可以通过速率失真优化来确定最佳前向二次变换。最佳前向二次变换可以对应于多个变换组合中的一个，并且可以通过变换索引来定义这多个变换组合。例如，对于RD优化，可以针对各候选比较执行所有前向二次变换、量化、残差编码等的结果。在这种情况下，可以使用诸如成本＝比率+λ·失真或成本＝失真+λ·比率的方程，但是本发明不限于此。

编码器可以发信号通知与最佳前向二次变换对应的二次变换索引(S2020)。这里，二次变换索引可以采用本说明书中描述的其它实施方式。

例如，二次变换索引可以采用图12的变换集配置。由于根据帧内预测模式，一个变换集由两个或三个变换构成，因此除了不应用二次变换的情况之外，最多四个变换中的一个可以被配置为要被选择。当将索引0、1、2和3分别指派给四个变换时，可以通过发信号通知每个变换系数块的二次变换索引来指定所应用的变换。在这种情况下，可以将索引0分配给不应用单位矩阵(即，二次变换)的情况。

作为另一实施方式，可以在以下任一个步骤中执行发信号通知二次变换索引：1)在残差编码之前；2)在残差编码中途(对非零变换系数位置进行编码之后)；或3)在残差编码之后。以下，将详细地描述实施方式。

1)在残差编码之前发信号通知二次变换索引的方法

编码器可以确定前向二次变换。

编码器可以发信号通知与前向二次变换对应的二次变换索引。

编码器可以对最后一个非零变换系数的位置进行编码。

编码器可以对除了最后一个非零变换系数的位置之外的语法元素执行残差编码。

2)在残差编码中途发信号通知二次变换索引的方法

编码器可以确定前向二次变换。

编码器可以对最后一个非零变换系数的位置进行编码。

当非零变换系数不位于特定区域中时，编码器可以对与前向二次变换对应的二次变换索引进行编码。这里，在应用约化二次变换的情况下，特定区域表示当根据扫描顺序布置变换系数时，除了可以存在非零变换系数的位置之外的其余区域。然而，本发明不限于此。

3)在残差编码之前发信号通知二次变换索引的方法

编码器可以确定前向二次变换。

编码器可以对最后一个非零变换系数的位置进行编码。

当非零变换系数不位于特定区域中时，编码器可以对除了最后一个非零变换系数的位置之外的语法元素执行残差编码。这里，在应用约化二次变换的情况下，特定区域表示当根据扫描顺序布置变换系数时，除了可以存在非零变换系数的位置之外的其余区域。然而，本发明不限于此。

编码器可以对与前向二次变换对应的二次变换索引进行编码。

此外，编码器可以对当前块(残差块)执行前向一阶变换(S2030)。这里，步骤S2010和/或步骤S2020可以类似地应用于前向主变换。

编码器可以通过使用最佳前向二次变换对当前块执行前向二次变换(S2040)。例如，最佳前向二次变换可以是约化二次变换。约化二次变换是指输入N个残差数据(N×1个残差向量)并且输出L(L＜N)个变换系数数据(L×1个变换系数向量)的变换。

作为实施方式，可以向当前块的特定区域应用约化二次变换。例如，在当前块为N×N时，特定区域可以意指左上N/2×N/2区域。然而，本发明不限于此，并且可以根据预测模式、块形状或块大小中的至少一个进行不同的配置。例如，在当前块为N×N时，特定区域可以意指左上M×M区域(M≤N)。

此外，编码器对当前块执行量化，以生成变换系数块(S2050)。

编码器对变换系数块执行熵编码，以生成比特流。

解码器可以从比特流获得二次变换索引(S2110)。这里，二次变换索引可以采用本说明书中描述的其它实施方式。例如，二次变换索引可以包括图6和/或图12的实施方式中的至少一个。

作为另一实施方式，可以在以下任一个步骤中执行二次变换索引的获得：1)在残差编码之前；2)在残差编码中途(对非零变换系数位置进行解码之后)；或者3)在残差编码之后。

解码器可以推导与二次变换索引对应的二次变换(S2120)。在这种情况下，前向二次变换的候选可以包括图6和/或图12的实施方式中的至少一个。

然而，步骤S2110和S2120是实施方式，本发明不限于此。例如，解码器可以不获得二次变换索引，而是基于当前块的块形状、块大小和/或预测模式中的至少一个来推导二次变换。

此外，解码器可以通过对比特流进行熵解码来获得变换系数块，并且可以对变换系数块执行解量化(S2130)。

解码器200可以对解量化后的变换系数块执行逆二次变换(S2140)。例如，逆二次变换可以是约化二次变换。约化二次变换是指输入N个残差数据(N×1个残差向量)并且输出L(L＜N)个变换系数数据(L×1个变换系数向量)的变换。

作为实施方式，可以向当前块的特定区域应用约化二次变换。例如，在当前块为N×N时，特定区域可以意指左上N/2×N/2区域。然而，本发明不限于此，并且可以根据预测模式、块形状或块大小中的至少一个进行不同的配置。例如，在当前块为N×N时，特定区域可以意指左上M×M区域(M≤N)或M×L(M≤N,L≤N)。

另外，解码器可以对逆二次变换结果执行逆主变换(S2150)。

解码器通过步骤S2150生成残差块，并且将残差块和预测块相加，以生成重构块。

实施方式6：约化多重变换选择(MTS)

本发明的实施方式提出了通过仅向预定义区域应用主变换来提高复杂度的方法。当诸如MTS这样的各种变换(或变换内核)(例如，DCT2、DST7、DCT8、DST1、DCT5等)的组合可选地应用于主变换时，复杂度可能增加。具体地，随着编码块(或变换块)的大小增加，需要考虑各种变换，由此显著增加了复杂度。

因此，本发明提出了根据特定条件仅对预定区域执行变换而不是对所有区域执行(或应用)变换以便降低复杂度的方法。

作为实施方式，基于以上参照图15至图21描述的约化变换(RT)的方法，编码器/解码器可以通过对具有R×R(M>＝R)大小的区域执行变换来获得具有R×R大小的变换块，而非通过仅对具有R×R(M>＝R)大小的区域执行变换来获得具有M×M大小的变换块。作为示例，R×R区域可以是当前块(编码块或变换块)中的左上R×R区域。

结果，可以仅对于R×R区域存在有效系数(非零系数)。作为示例，在这种情况下，编码器/解码器对除了R×R区域之外的区域中存在的系数可以不执行计算，而是将系数的值视为0(零输出)。

另外，编码器/解码器可以仅向预定区域应用主变换，该预定区域是根据编码块(或变换块)的大小和/或变换(变换内核)的类型确定的。下表3示出了根据变换的大小(或变换块的大小)使用预定义R值的约化自适应多重变换(RAMT)。在本发明中，表示根据块大小自适应确定的约化变换的约化自适应多重变换(RAMT)可以被称为约化多重变换选择(MTS)、约化显式多重变换、约化主变换等。

[表3]

变换大小	约化变换1	约化变换2	约化变换3
				8×8	4×4	6×6	6×6
16×16	8×8	12×12	8×8
				32×32	16×16	16×16	16×16
64×64	32×32	16×16	16×16
				128×128	32×32	16×16	16×16

参照表3，可以根据变换的大小(或变换块的大小)来定义至少一个约化变换。在实施方式中，可以根据应用于当前块(编码块或变换块)的变换(或变换内核)来确定表3中示出的约化变换中当中要使用哪个约化变换。尽管假定在表3中使用了三个约化变换，但是本发明不限于此，并且可以根据变换的大小来预定义一个或更多个各种约化变换。

另外，在本发明的实施方式中，在应用以上提到的约化自适应多重变换时，可以根据主变换来独立地确定约化变换因子(R)。例如，当主变换是DCT2时，与其它主变换(例如，DST7和/或DCT8的组合)相比，计算量相对简单，因此对于较小的块不执行约化变换或使用相对大的R值，由此使编码性能的降低最小化。下表4示出了根据变换的大小(或变换块的大小)和变换内核使用预定义R值的约化自适应多重变换(RAMT)。

[表4]

变换大小	针对DCT2的约化变换	除了DCT2之外的约化变换
			8×8	8×8	4×4
16×16	16×16	8×8
			32×32	32×32	16×16
64×64	32×32	32×32
			128×128	32×32	32×32

参照表4，当应用于主变换的变换是DCT2和其它变换(例如，DST7和/或DCT8的组合)时，可以使用不同的约化变换因子。

参照图22，编码器首先确定是否向当前块应用变换(S2201)。编码器可以根据所确定的结果对变换跳过标志进行编码。在这种情况下，可以在步骤S2201中包括对变换跳过标志进行编码。

当向当前块应用变换时，编码器确定应用于当前块的主变换的变换内核(S2202)。编码器可以对指示所确定变换内核的变换索引进行编码，并且在这种情况下，可以在步骤S2202中包括对变换索引进行编码。

编码器基于应用于当前块的第一变换的变换内核和当前块的大小来确定对当前块应用主变换的区域(S2203)。

作为实施方式，编码器可以将当前块中的除了应用主变换的区域之外的其余区域的系数视为0。

另外，作为实施方式，当由变换索引指示的变换内核是预定义变换并且当前块的宽度和/或高度大于预定义大小时，编码器可以确定具有预定义大小的宽度和/或高度的区域作为应用主变换的区域。

例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一个，并且预定义的大小可以是16。另选地，预定义变换可以是除了DCT2之外的其余变换。另外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32时，编码器可以确定具有32的宽度和/或高度的区域作为应用主变换的区域。

另外，作为实施方式，当由变换索引指示的变换内核属于第一变换组时，编码器可以将当前块的宽度和第一阈值中的较小值确定为应用主变换的区域的宽度，并且将当前块的高度和第一阈值中的较小值确定为应用主变换的区域的高度。作为示例，第一阈值可以是32，但是本发明不限于此，并且第一阈值可以是如以上描述的表3或表4中示出的4、8或16。

另外，当由变换索引指示的变换内核属于第二变换组时，编码器可以将当前块的宽度和第二阈值中的较小值确定为应用主变换的区域的宽度，并且将当前块的高度和第二阈值中的较小值确定为应用主变换的区域的高度。作为示例，第二阈值可以为16，但是本发明不限于此，并且第二阈值可以是如以上描述的表3或表4中示出的4、6、8、12或32。

作为实施方式，第一变换组可以包括DCT2，并且第二变换组可以包括由DST7和/或DCT8的组合配置的多个变换组合。

编码器通过对应用主变换的区域使用应用于当前块的主变换的变换内核来执行前向主变换(S2204)。编码器可以通过执行前向主变换来获得主变换后的变换系数。作为实施方式，编码器可以向主变换后的变换系数应用二次变换，并且在这种情况下，可以应用以上在图4至图20中描述的方法。

解码器检查是否向当前块应用变换跳过(S2301)。

当未向当前块应用变换跳过时，解码器从视频信号获得指示应用于当前块的变换内核的变换索引(S2302)。

解码器基于由变换索引指示的变换内核和当前块的大小(即，宽度和/或高度)来确定对当前块应用主变换的区域(S2303)。

作为实施方式，解码器可以将当前块中的除了应用主变换的区域之外的其余区域的系数视为0。

另外，作为实施方式，当由变换索引指示的变换内核是预定义变换并且当前块的宽度和/或高度大于预定义大小时，解码器可以确定具有预定义大小的宽度和/或高度的区域为应用主变换的区域。

例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一个，并且预定义的大小可以是16。另选地，预定义变换可以是除了DCT2之外的其余变换。另外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32时，解码器可以确定具有32的宽度和/或高度的区域作为应用主变换的区域。

另外，作为实施方式，当由变换索引指示的变换内核属于第一变换组时，解码器可以将当前块的宽度和第一阈值中的较小值确定为应用主变换的区域的宽度，并且将当前块的高度和第一阈值中的较小值确定为应用主变换的区域的高度。作为示例，第一阈值可以是32，但是本发明不限于此，并且第一阈值可以是如以上描述的表3或表4中示出的4、8或16。

另外，当由变换索引指示的变换内核属于第二变换组时，解码器可以将当前块的宽度和第二阈值中的较小值确定为应用主变换的区域的宽度，并且将当前块的高度和第二阈值中的较小值确定为应用主变换的区域的高度。作为示例，第二阈值可以为16，但是本发明不限于此，并且第二阈值可以是如以上描述的表3或表4中示出的4、6、8、12或32。

解码器通过使用由变换索引指示的变换内核对应用了主变换的区域执行逆主变换(S2304)。解码器可以通过执行逆主变换来获得主逆变换后的变换系数。作为实施方式，解码器可以在执行主变换之前向解量化后的变换系数应用二次变换，并且在这种情况下，可以应用以上图4至图20中描述的方法。

根据本发明的实施方式，仅根据特定条件变换预定义区域，由此显著降低最差情况复杂度。

实施方式7：约化变换

在本发明的实施方式中，描述了图15至图23中提出的约化变换的各种实施方式，以便改善变换的复杂性问题。如上所述，可以应用本发明中提出的约化变换，而不管是主变换(例如，DCT、DST)还是二次变换(例如，NSST、低频不可分变换(LFNST))。

参照图24，解码器主要是为了方便描述而描述的，但是在实施方式中提出的约化变换可以等同地应用于编码器。

解码器200可以对解量化后的变换系数应用逆约化变换。在这种情况下，解码器可以使用预定的(或预定义的)约化因子(例如，R或R/N)和/或变换内核，以便执行约化变换。

在一个实施方式中，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。当当前编码块是亮度块时，CIdx的值可以为0。如若不然(即，如果当前编码块是Cb或Cr块)，则CIdx可以具有诸如1这样的非零值。

参照图25，解码器主要是为了方便描述而描述的，但是在实施方式中提出的使用约化变换执行变换的方法可以等同地应用于编码器。

解码器对当前块执行解量化(S2501)。

解码器检查是否向当前块应用(或者针对当前块使用)变换(S2502)。如果未向当前块应用变换，则解码器终止变换过程。

当向当前块应用了变换时，解码器根据视频信号解析指示应用于当前块的变换内核的变换索引(S2503)。

解码器检查是否满足约化逆变换条件(S2504)。如果不满足约化逆变换条件，则解码器对当前块执行正常逆变换(S2505)。如果满足约化逆变换条件，则解码器对当前块执行约化逆变换(S2507)。在这种情况下，解码器可以基于在步骤S2503中解析的变换索引来选择应用于当前块的变换内核(S2506)。作为实施方式，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。此外，当向当前块应用约化逆变换时，步骤S2506可以包括选择约化因子。

在实施方式中，可以向上述条件6)(例如，表3和表4)应用约化逆变换条件。换句话说，可以基于当前块(编码块或变换块)的大小和变换类型(或变换内核)来确定是否应用约化逆变换。

作为示例，当满足以下特定条件时，可以使用约化变换。换句话说，可以向满足以下特定条件的具有预定大小或更大大小(或大于预定大小)的块应用约化变换。

-宽度>TH&&高度>HT(其中，TH是表示特定阈值的预定义值(例如，4))

或

-宽度×高度>K&&MIN(宽度，高度)>TH(其中，K或TH为预定义值，并且表示特定阈值)

作为另一示例，当满足以下特定条件时，可以使用约化变换。换句话说，可以向满足以下特定条件的具有预定大小或更小大小(或小于预定大小)的块应用约化变换。

-宽度<＝TH&&高度<＝HT(其中，TH是表示特定阈值的预定义值(例如，8))

或

-宽度×高度<＝K&&MIN(宽度，高度)<＝TH(其中，K或TH为预定义值，并且表示特定阈值)

作为另一示例，可以仅向预定的块组应用约化变换。

-宽度＝＝TH&&高度＝＝TH

或

-宽度＝＝高度

作为实施方式，如果不满足约化变换的使用条件，则可以应用正常变换。具体地，规律的变换可以是预定义的并且可用于编码器/解码器。以下示出了正常变换的示例。

-DCT2、DCT4、DCT5、DCT7、DCT8

或

-DST1、DST4、DST7

或

-不可分变换

或

-NSST(HyGT)

或

-LFNST(低频不可分变换)

可以基于逻辑运算符来解释以上条件，如下表5中所示。

[表5]

另外，如图25中例示的，约化变换条件可以取决于指示应用于当前块的变换的变换索引Transform_idx。作为示例，可以从编码器向解码器两次发送Transform_idx。一次可以是水平变换索引Transform_idx_h，而另一次可以是垂直变换索引Transform_idx_v。

参照图26，解码器主要是为了方便描述而描述的，但是在实施方式中提出的使用约化变换执行变换的方法可以等同地应用于编码器。

在本发明的实施方式中，可以使用上述约化变换进行二次变换。在这方面，将省略与图25中描述的方法重复的描述。

1)解码器对当前块执行解量化，然后检查在当前块中是否激活NSST。解码器可以使用预定义条件来确定是否有必要解析NSST索引。

2)如果NSST被激活，则解码器解析NSST索引并检查是否应用约化二次逆变换。

3)解码器检查是否满足约化逆变换条件。

4)如果不满足约化逆变换条件，则解码器对当前块执行正常逆变换。

5)如果满足约化二次逆变换条件，则解码器对当前块执行约化二次逆变换。

6)在这种情况下，解码器可以基于NSST索引来选择应用于当前块的变换内核。作为实施方式，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。另外，当向当前块应用约化二次逆变换时，解码器可以选择约化因子。

在实施方式中，约化二次逆变换条件可以采用上述条件6)(例如，表3和表4)。换句话说，可以基于当前块(编码块或变换块)的大小和变换类型(或变换内核)来确定是否应用约化逆变换。

实施方式8：作为具有不同块大小的二次变换的约化变换

在本发明的实施方式中，提出了考虑用于二次变换/二次逆变换的各种块大小的约化变换。作为示例，可以定义用于二次变换/二次逆变换的4×4、8×8和16×16的不同块大小的约化变换。

参照图27和28，当应用了二次变换的块是8×8块并且约化系数R为16时，约化二次变换和约化二次逆变换。可以通过使用图28中例示的伪代码来推导图27中例示的约化二次变换和约化二次逆变换。

实施方式9：作为具有非矩形形状的二次变换的约化变换

如上所述，由于应用不可分变换的二次变换的复杂度问题，在现有技术的图像压缩技术中，向编码块(或变换块)的左上4×4或8×8区域应用二次变换。

本发明的实施方式提出了除了4×4或8×8正方形区域之外向各种非正方形图应用约化二次变换的方法。

参照图29，在实施方式中，可以仅向块中的一部分应用约化二次变换，如图29中例示的。

在图29中，每个正方形代表4×4区域。因此，编码器/解码器可以向10×4像素(即，160像素区域)应用约化二次变换。在这种情况下，约化系数R＝16并且整个RST矩阵对应于16×160矩阵，由此降低了应用二次变换的计算复杂度。

实施方式10：约化因子

参照图30，如上所述，根据本发明的实施方式的约化变换可以由约化因子来控制，如图30中例示的。

具体地，修改约化因子可以修改存储器复杂度和乘法运算的数量。如先前在图15和式6中作为约化因子R/N提到的，可以通过修改约化因子来减少存储器和乘法。例如，对于R＝16的8×8NSST，存储器和乘法可以减少1/4。

实施方式11：高级语法

本发明的实施方式提出了用于以高级别控制约化变换的高级别语法结构。

在实施方式中，如下表6的示例中所示，可以发送是否通过序列参数集(SPS)以及与大小和/或约化因子有关的信息来接受约化变换。然而，本发明不限于此，并且可以通过图片参数集(PPS)、切片头等来发信号通知语法。

[表6]

参照表6，如果Reduced_transform_enabled_flag为1，则约化变换可以是可用的并且被应用。在Reduced_transform_enabled_flag为0的情况下，该情况可以指示约化变换可能不可用。如果Reduced_transform_enabled_flag不存在，则该值可以被估计为等于零。

Reduced_transform_factor表示指定用于约化变换的约化维度的数量的语法元素。

min_reduced_transform_size表示指定将应用约化变换的最小变换大小的语法元素。如果min_reduced_transform_size不存在，则该值可以被估计为等于零。

max_reduced_transform_size表示指定将应用约化变换的最大变换大小的语法元素。如果max_reduced_transform_size不存在，则该值可以被估计为等于零。

Reduced_transform_factor表示指定用于约化变换的约化维度的数量的语法元素。如果Reduced_transform_factor不存在，则该值可以被估计为等于零。

实施方式12：二次变换内核

本发明的实施方式提出了各种二次变换内核。

在实施方式中，可以定义DC模式的4×4NSST内核，如下表7中所示。

[表7]

另外，在实施方式中，可以定义平面模式的4×4NSST内核，如下表8中所示。

[表8]

另外，在实施方式中，可以定义DC模式的8×4NSST内核，如下表9中所示。

[表9]

另外，在实施方式中，可以定义平面模式的8×8NSST内核，如下表10中所示。

[表10]

以上描述的表7至表10的变换内核可以被定义为针对约化变换的较小的变换内核。

例如，对于DC模式和R＝8的8×8NSST，存储器和乘法可以减少1/2。因此，通过仅保持上表7的变换内核的上半部分的系数(8×16矩阵)，可以以如下表11中示出的较小的大小定义约化变换内核。

[表11]

在另一示例中，对于DC模式和R＝16的8×8NSST，存储器和乘法可以减少1/4。因此，通过仅保持上表9的变换内核的上1/4部分的系数(16×64矩阵)，可以以如下表12中示出的较小大小定义约化变换内核。

[表12]

在以上示例中，每个变换系数由9比特表示(即，1比特：符号；8比特：0至255的绝对值)。在本发明的实施方式中，可以使用各种精度来表示变换系数。例如，可以使用8比特代替9比特来表示每个系数。在这种情况下，符号比特不改变，但是绝对值的范围可以改变。

为了方便描述，已经分别描述了本发明的上述实施方式，但是本发明不限于此。即，上述实施方式1至12中描述的实施方式可以被独立地执行，并且可以组合并执行一个或更多个各种实施方式。

在图31中，为了方便描述，逆变换单元被例示为一个块，但是可以以包括在编码器和/或解码器中的配置来实现帧间预测单元。

参照图31，逆变换单元实现上面图4至图30中提出的功能、过程和/或方法。具体地，逆变换单元可以被配置为包括变换跳过检查单元3101、变换索引获得单元3102和主逆变换单元3103。

变换跳过检查单元3101检查是否向当前块应用变换跳过。

当未向当前块应用变换跳过时，变换索引获得单元3102根据视频信号获得指示应用于当前块的变换内核的变换索引。

主逆变换单元3103基于由变换索引指示的变换内核和当前块的大小(即，宽度和/或高度)来确定向当前块应用主变换的区域。

作为实施方式，主逆变换单元3103可以将当前块中的除了应用了主变换的区域之外的其余区域的系数视为0。

另外，作为实施方式，当由变换索引指示的变换内核是预定义变换并且当前块的宽度和/或高度大于预定义大小时，主逆变换单元3103可以确定具有预定义大小的宽度和/或高度的区域为应用主变换的区域。

例如，预定义变换可以是由DST7和/或DCT8的组合配置的多个变换组合中的任一个，并且预定义的大小可以是16。另选地，预定义变换可以是除了DCT2之外的其余变换。另外，作为示例，当由变换索引指示的变换内核是DCT2并且当前块的宽度和/或高度大于32时，主逆变换单元3103可以确定具有32的宽度和/或高度的区域为应用主变换的区域。

另外，作为实施方式，当由变换索引指示的变换内核属于第一变换组时，主逆变换单元3103可以将当前块的宽度和第一阈值中的较小值确定为应用主变换的区域的宽度，并且将当前块的高度和第一阈值中的较小值确定为应用主变换的区域的高度。作为示例，第一阈值可以是32，但是本发明不限于此，并且第一阈值可以是如以上描述的表3或表4中示出的4、8或16。

主逆变换单元3103通过使用由变换索引指示的变换内核对应用主变换的区域执行逆主变换。主逆变换单元3103可以通过执行逆主变换来获得主逆变换后的变换系数。作为实施方式，解码器可以在执行主变换之前，向解量化后的变换系数应用二次变换，并且在这种情况下，可以应用以上图4至图20中描述的方法。

图32例示了应用本发明的视频编码系统。

视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输形式将编码后的视频/图像信息或数据传送到接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。

视频源可以通过视频/图像的捕获、合成或生成过程来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板电脑和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等来生成虚拟视频/图像，并且在这种情况下，可以通过生成相关数据的过程来替换视频/图像捕获过程。

编码设备可以对输入视频/图像进行编码。编码设备可以执行包括针对压缩和编码效率的预测、变换和量化等的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流形式输出。

发送器可以通过数字存储介质或网络以文件或流传输形式将以比特流形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流，并且将提取的比特流发送到解码设备。

解码设备执行与编码设备的操作对应的包括解量化、逆变换、预测等的一系列过程，以对视频/图像进行解码。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

参照图33，应用本发明的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。

编码服务器将从包括智能手机、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以用于生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当包括智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。

可以通过应用本发明的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户装置，并且网络服务器用作将存在的服务告知用户的介质。当用户向网络服务器请求所期望的服务时，网络服务器向流传输服务器传送所请求的服务，并且流传输服务器将多媒体数据发送给用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的相应装置之间的命令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当流传输服务器从编码服务器接收内容时，流服务器可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间，以便提供平稳的流传输服务。

用户装置的示例可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、触屏PC、平板PC、超级本、诸如智能手表、智能眼镜、头戴式显示器(HMD)等这样的可穿戴装置等。

内容流传输系统中的每个服务器都可以作为分布式服务器操作，在这种情况下，每个服务器接收到的数据可以被分布和处理。

如上所述，本发明中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每幅图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。

另外，应用本发明的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、(顶置)OTT视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)、医疗视频装置等中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏机、蓝光播放器、互联网访问TV、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。

另外，应用本发明的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本发明的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，互联网上的传输)的形式实现的介质。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线/无线通信网络传输。

另外，本发明的实施方式可以通过程序代码被实现为计算机程序产品，程序代码可以通过本发明的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。

在上述实施方式中，本发明的组件和特征以预定形式组合。除非另有明确说明，否则应该将每个组件或特征视为选择。每个组件或特征可以被实现为不与其它组件或特征关联。另外，可以通过关联一些组件和/或特征过来配置本发明的实施方式。可以改变本发明的实施方式中所描述的操作的顺序。任何实施方式的一些组件或特征可以被包括在另一实施方式中，或者被与另一实施方式对应的组件和特征替换。显而易见，通过在提交之后进行修改，组合权利要求书中没有被明确引用的权利要求以形成实施方式或者将其包括在新权利要求中。

本发明的实施方式可以通过硬件、固件、软件或其组合来实现。在由硬件实现的情况下，根据硬件实现方式，本文中描述的示例性实施方式可以使用通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。

在由固件或软件实现的情况下，本发明的实施方式可以按执行上述功能或操作的模块、过程、功能等形式来实现。软件代码可以被存储在存储器中，并且由处理器执行。存储器可以处于处理器的内部或外部，并且可以通过已知的各种手段向处理器发送数据/从处理器接收数据。

本领域技术人员显而易见的是，可以在不脱离本发明的必要特征的情况下按其它特定形式来实施本发明。因此，以上提到的详细描述不应该被解释为在所有方面都是限制性的，并且应该被示例性考虑。本发明的范围应该通过对所附权利要求的合理解释来确定，并且在本发明的等同范围内的所有修改形式被包括在本发明的范围内。

工业实用性

上文中，出于例示性目的，公开了本发明的优选实施方式，并且下文中，本领域技术人员在所附权利要求书中公开的本发明的技术精神和技术范围内将对各种其它实施方式进行修改、改变、替代或添加。

Claims

1.一种用于对视频信号进行解码的解码设备，该解码设备被配置为：

从视频信号中获得指示当前块的变换内核的变换索引信息；

基于由所述变换索引信息指示的所述变换内核和所述当前块的大小来确定用于逆主变换的非零区域的大小；以及

通过使用由所述变换索引信息指示的所述变换内核，基于在用于所述逆主变换的所述非零区域中的系数来执行所述逆主变换，

其中，由变换索引指示的所述变换内核包括一对水平变换内核和垂直变换内核，

其中，基于所述当前块的大小为32x32并且应用于所述当前块的所述变换内核属于第一变换组，所述非零区域的大小被确定为32x32，并且

其中，基于所述当前块的大小为32x32并且应用于所述当前块的所述变换内核属于第二变换组，所述非零区域的大小被确定为16x16。

2.根据权利要求1所述的解码设备，其中，将在所述当前块中除了所述非零区域的其余区域的系数的值分配为0。

3.根据权利要求1所述的解码设备，其中，所述第一变换组包括DCT2内核并且所述第二变换组不包括所述DCT2内核。

4.根据权利要求1所述的解码设备，其中，所述第一变换组包括DCT2内核并且所述第二变换组包括DST7内核或DCT8内核中的至少一个。

5.一种用于对视频信号进行编码的编码设备，该编码设备被配置为：

推导应用于当前块的变换内核；

基于所述变换内核来确定用于主变换的非零区域的大小；

基于所述变换内核对所述当前块执行主变换，其中，非零系数位于所述非零区域内；

生成指示应用于所述当前块的所述变换内核的变换索引信息；以及

对包括所述变换索引信息的所述视频信号进行编码，

6.根据权利要求5所述的编码设备，其中，将在所述当前块中除了所述非零区域的其余区域的系数的值分配为0。

7.根据权利要求5所述的编码设备，其中，所述第一变换组包括DCT2内核并且所述第二变换组不包括所述DCT2内核。

8.根据权利要求5所述的编码设备，其中，所述第一变换组包括DCT2内核并且所述第二变换组包括DST7内核或DCT8内核中的至少一个。

9.一种计算机可读介质，该计算机可读介质用于存储由根据权利要求5所述的编码设备生成的编码的视频信号。

10.一种发送用于视频信号的数据的设备，该设备被配置为：

获得用于所述视频信号的比特流，其中，所述比特流是基于以下生成的：推导应用于当前块的变换内核；基于所述变换内核来确定用于主变换的非零区域的大小，基于所述变换内核对所述当前块执行主变换，其中，非零系数位于所述非零区域内；生成指示应用于所述当前块的所述变换内核的变换索引信息；以及对包括所述变换索引信息的所述视频信号进行编码；以及

发送包括所述比特流的所述数据，