CN116320414A

CN116320414A - 对视频信号进行编解码的方法和非暂态可读存储介质

Info

Publication number: CN116320414A
Application number: CN202310313452.4A
Authority: CN
Inventors: M·萨勒海法尔; 金昇焕; 具文模; 林宰显
Original assignee: LG Electronics Inc
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2018-07-02
Filing date: 2019-07-02
Publication date: 2023-06-23
Also published as: CN116320413A; US20210203969A1; US20220046259A1; US11178417B2; KR102526578B1; KR20210022759A; KR20230061564A; CN112400322B; WO2020009434A1; CN116347076A; CN112400322A

Abstract

对视频信号进行编解码的方法和非暂态可读存储介质。本发明提供了一种解码视频信号的方法，该方法包括以下步骤：通过对当前块执行反量化来生成反量化后的变换块；获取所述当前块的帧内预测模式；基于所述帧内预测模式从多个二次变换集当中确定应用于所述当前块的二次变换集；推导所确定的所述二次变换集中的应用于所述当前块的变换内核；以及通过使用推导出的所述变换内核来对反量化后的所述变换块的左上方特定区域执行二次变换。

Description

对视频信号进行编解码的方法和非暂态可读存储介质

申请是原案申请号为201980045151.X的发明专利申请(国际申请号：PCT/KR2019/008060，申请日：2019年7月2日，发明名称：基于二次变换处理视频信号的方法和设备)的分案申请。

技术领域

本公开涉及用于处理视频信号的方法和设备，并且更具体地，涉及设计和应用二次变换的方法。

背景技术

下一代视频内容将具有诸如高空间分辨率、高帧频和高维度场景呈现这样的特征。为了处理内容，将造成存储器存储量、存储器访问速率和处理能力方面急剧增加。

因此，需要设计用于更高效地处理下一代视频内容的新编码工具。具体地，当应用变换时，需要在编码效率和复杂度方面设计更高效的变换。

发明内容

技术问题

本公开的实施方式提供了通过考虑各种条件来配置二次变换集以便应用二次变换的方法。

此外，本公开的实施方式还提供了在基于编码块(或变换块)的大小和/或帧内预测模式配置第二变换集时对从编码器发信号通知的二次变换索引进行高效编码/解码的方法。

本公开的技术目的不限于以上提到的技术目的，并且对于本领域的普通技术人员而言，以上未提到的其它技术目的将根据下面的描述而变得显而易见。

技术方案

在本公开的一方面，提供了一种解码视频信号的方法，该方法包括以下步骤：通过对当前块执行反量化来生成反量化后的变换块；获取所述当前块的帧内预测模式；基于所述帧内预测模式确定多个二次变换集当中的应用于所述当前块的二次变换集；推导所确定的所述二次变换集中的应用于所述当前块的变换内核；以及通过使用推导出的所述变换内核来对反量化后的所述变换块的左上特定区域执行二次变换，其中，所述多个二次变换集可以包括至少一个混合二次变换集。

优选地，所述混合二次变换集可以包括应用于8×8大小的区域的至少一个8×8变换内核和应用于4×4大小的区域的至少一个4×4变换内核。

优选地，当所述多个二次变换集包括多个混合二次变换集时，所述多个混合二次变换集可以分别包括不同数目的变换内核。

优选地，推导所述变换内核还可以包括获取指示所确定的所述二次变换集中的应用于所述当前块的变换内核的二次变换索引，并且可以通过基于所确定的所述二次变换集中的可用变换内核的最大数目的截断一元方案对所述二次变换索引进行二值化。

优选地，确定所述二次变换集可以包括：基于所述帧内预测模式确定是否使用混合二次变换集，并且当确定使用混合二次变换集时，基于所述当前块的大小，确定包括所述至少一个混合二次变换集的多个二次变换集当中的应用于所述当前块的二次变换集，并且当确定不使用混合二次变换集时，基于所述当前块的大小，确定除了所述至少一个混合二次变换集之外的其余二次变换集当中的应用于所述当前块的二次变换集。

在本公开的另一方面，提供了一种解码视频信号的设备，该设备包括：反量化单元，该反量化单元通过对当前块执行反量化来产生反量化后的变换块；预测模式获取单元，该预测模式获取单元获取所述当前块的帧内预测模式；二次变换集确定单元，该二次变换集确定单元基于所述帧内预测模式来确定多个二次变换集当中的应用于所述当前块的二次变换集；变换内核推导单元，该变换内核推导单元推导所确定的所述二次变换集中的应用于所述当前块的变换内核；以及二次逆变换单元，该二次逆变换单元通过使用推导出的所述变换内核来对反量化后的所述变换块的左上特定区域执行二次逆变换，其中，所述多个二次变换集可以包括至少一个混合二次变换集。

优选地，所述变换内核推导单元可以获取指示所确定的所述二次变换集中的应用于所述当前块的变换内核的二次变换索引，并且可以通过基于所确定的所述二次变换集中的可用变换内核的最大数目的截断一元方案对所述二次变换索引进行二值化。

优选地，所述二次变换集确定单元可以基于所述帧内预测模式确定是否使用混合二次变换集，并且当确定使用混合二次变换集时，基于所述当前块的大小，确定包括所述至少一个混合二次变换集的多个二次变换集当中的应用于所述当前块的二次变换集，并且当确定不使用混合二次变换集时，基于所述当前块的大小，确定除了所述至少一个混合二次变换集之外的其余二次变换集当中的应用于所述当前块的二次变换集。

有益效果

根据本公开的实施方式，通过考虑各种条件来配置二次变换集以应用二次变换，以便高效地选择用于二次变换的变换。

本公开中能获得的效果不限于以上提到的效果，并且本领域的技术人员将根据以下描述清楚地理解其它未提到的效果。

附图说明

图1是作为应用本公开的实施方式的执行视频信号编码的编码器的示意性框图。

图2是作为应用本公开的实施方式的执行视频信号解码的解码器的示意性框图。

图3a至图3d例示了可以应用本公开的实施方式，图3a是描述四叉树(QT)(下文中，被称为“QT”)块划分结构的示图，图3b是描述二叉树(BT)(下文中，被称为“BT”)块划分结构的示图，图3c是描述三叉树(TT)(下文中，被称为“TT”)块划分结构的示图，并且图3d是描述不对称树(AT)(下文中，被称为“AT”)块划分结构的示图。

图4是作为应用本公开的实施方式的编码器中的变换单元120和量化单元130以及反量化单元140和逆变换单元150的示意性框图。

图5是作为应用本公开的实施方式的解码器中的反量化单元220和逆变换单元230的示意性框图。

图6是示出了作为应用本公开的实施方式的应用多重变换选择(MTS)的变换配置组的表。

图7是示出了作为应用本公开的实施方式的执行多重变换选择(MTS)的编码处理的流程图。

图8是示出了作为应用本公开的实施方式的执行多重变换选择(MTS)的解码处理的流程图。

图9是用于描述作为应用本公开的实施方式的MTS标志和MTS索引的编码处理的流程图。

图10是用于描述作为应用本公开的实施方式的基于MTS标志和MTS索引向行或列应用水平变换或垂直变换的解码处理的流程图。

图11是作为应用本公开的实施方式的基于变换相关参数执行逆变换的流程图。

图12是示出了作为应用本公开的实施方式的在NSST中针对每种帧内预测模式分配变换集的表。

图13是作为应用本公开的实施方式的吉文斯旋转的计算流程图。

图14例示了作为应用本公开的实施方式的由吉文斯旋转层和置换构成的4×4NSST中的一轮配置。

图15是用于描述作为应用本公开的实施方式的正向简化变换和反向简化变换的操作的框图。

图16是例示了作为应用本公开的实施方式的根据后向扫描顺序从第64至第17的执行后向扫描的处理的示图。

图17例示了作为应用本公开的实施方式的变换系数块(变换块)的三个正向扫描顺序。

图18例示了作为应用本公开的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时每个4×4块的有效变换系数的位置和正向扫描顺序。

图19例示了作为应用本公开的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时两个4×4块的有效变换系数被组合成一个4×4块的情况。

图20是作为应用本公开的实施方式的基于简化二次变换对视频信号进行编码的流程图。

图21是作为应用本公开的实施方式的基于简化二次变换对视频信号进行解码的流程图。

图22是例示了根据应用本公开的实施方式的确定应用于二次变换的变换类型的方法的示图。

图23是例示了作为可以应用本公开的实施方式的基于简化因子的简化变换结构的示图。

图24是例示了作为可以应用本公开的实施方式的通过自适应应用简化变换执行解码的方法的示图。

图25是例示了作为可以应用本公开的实施方式的通过自适应应用简化变换执行解码的方法的示图。

图26和图27是例示了作为应用了本公开的实施方式的正向简化二次变换和反向简化二次变换以及用于推导它们的伪代码的示例的示图。

图28是例示了作为应用本公开的实施方式的向非正方形区域应用简化二次变换的方法的示图。

图29是例示了作为应用本公开的实施方式的通过简化因子控制的简化变换的示图。

图30是例示了根据应用本公开的实施方式的逆变换方法的示图。

图31是例示了根据应用本公开的实施方式的逆变换单元的示图。

图32例示了应用本公开的视频编码系统。

图33是作为应用本公开的实施方式的内容流传输系统的结构示图。

具体实施方式

下文中，将参照附图描述本公开的实施方式的配置和操作，通过附图描述的本公开的配置和操作将被描述为一个实施方式，由此本公开的技术精神及其核心构成和操作不受限制。

另外，在本公开中使用的术语被选择为现在尽可能被广泛使用的通用术语，在特定情况下，将使用由申请人任意选择的术语进行描述。在这种情况下，由于在该部分的详细描述中清楚地阐述了其含义，因此不应该仅通过在本公开的描述中使用的术语的名称来简单地解释它，应该理解，该术语的含义应该被予以解释。

另外，当存在为了描述本发明而选择的通用术语或具有相似含义的其它术语时，本公开中使用的术语可以被替换为更适当的解释。例如，可以在每个编码处理中适当地替换和解释信号、数据、样本、图片、帧、块等。另外，可以在每个编码处理中适当地替换和解释分隔、分解、分割和划分。

在本文献中，多重变换选择(MTS)可以是指用于使用至少两种变换类型执行变换的方法。这也可以被表示为自适应多重变换(AMT)或显式多重变换(EMT)，同样地，mts_idx也可以被表示为AMT_idx、EMT_idx、tu_mts_idx、AMT_TU_idx、EMT_TU_idx、变换索引或变换组合索引，并且本公开不限于这些表述。

参照图1，编码器100可以被配置为包括图像划分单元110、变换单元120、量化单元130、反量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。

图像划分单元110可以将输入到编码器100中的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。

然而，这些术语仅是为了方便描述本公开，并且本公开不限于这些术语的定义。另外，在本公开中，为了方便描述，术语“编码单元”被用作在对视频信号进行编码或解码时使用的单元，但是本公开不限于此，并且可以根据本公开适当地做出解释。

编码器100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块)以生成残差信号(或残差块)，并且所生成的残差信号被发送到变换单元120。

变换单元120可以通过向残差信号应用变换技术来生成变换系数。可以向四叉树结构正方形块和按二叉树结构、三叉树结构或不对称树结构划分的块(正方形或矩形)应用变换处理。

变换单元120可以基于多个变换(或变换组合)来执行变换，并且变换方案可以被称为多重变换选择(MTS)。MTS也可以被称为自适应多重变换(AMT)或增强型多重变换(EMT)。

MTS(或AMT或EMT)可以是指基于从多个变换(或变换组合)中自适应选择的变换(或变换组合)来执行的变换方案。

多个变换(或变换组合)可以包括在本公开的图6中描述的变换(或变换组合)。在本公开中，变换或变换类型可以被表示为例如DCT类型2、DCT-II、DCT2或DCT-2。

变换单元120可以执行以下实施方式。

本公开提供了用于设计可以应用于4×4块的RST的方法。

本公开提供了将应用4×4RST的区域的配置、布置在应用4×4RST之后生成的变换系数的方法、所布置的变换系数的扫描顺序、用于对针对每个块生成的变换系数进行排序和组合的方法等。

本公开提供了对指定4×4RST的变换索引进行编码的方法。

本公开提供了通过在应用4×4RST时检查不可接受区域中是否存在非零变换系数来对相应变换索引进行有条件编码的方法。

本公开提供了在对最后一个非零变换系数位置进行编码之后对相应变换索引进行有条件编码然后省略对不被接受的位置的相关残差编码的方法。

本公开提供了在应用4×4RST时对亮度块和色度块应用不同的变换索引编码和残差编码的方法。

在本公开中将更详细地描述其具体实施方式。

量化单元130可以对变换系数进行量化，并且将量化后的变换系数发送到熵编码单元190，并且熵编码单元190可以对量化后的信号进行熵编码，并且将熵编码后的量化信号作为比特流输出。

尽管变换单元120和量化单元130被描述为分开的功能单元，但是本公开不限于此，它们可以被组合成一个功能单元。反量化单元140和逆变换单元150也可以被类似地组合成一个功能单元。

从量化单元130输出的量化信号可以被用于生成预测信号。例如，通过反量化单元140和逆变换单元150循环地对量化后的信号应用反量化和逆变换以重构残差信号。重构后的残差信号被与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号。

此外，由于在这种压缩处理期间出现的量化误差，可能出现示出块边界的劣化。这种现象被称为块效应(blocking artifact)，这是评估图像质量的关键要素之一。为了减少劣化，可以执行滤波处理。通过滤波处理，消除了块效应并且减少了当前图片的错误，以增强图像质量。

滤波单元160对重构信号应用滤波，并且将所应用的重构信号输出到再现装置，或者将输出的重构信号发送到解码图片缓冲器170。帧间预测单元180可以使用发送到解码图片缓冲器170的滤波后的信号作为参考图片。如此，在图片间预测模式下，使用滤波后的图片用作参考图片，以增强图像质量和编码效率。

解码图片缓冲器170可以存储滤波后的图片，以便使用滤波后的图片作为帧间预测单元180中的参考图片。

帧间预测单元180执行时间预测和/或空间预测，以便通过参考重构图片来去除时间冗余和/或空间冗余。这里，由于用于预测的参考图片是在先前时间进行编码/解码时以块为单位量化和反量化的变换信号，因此可能存在块效应或振铃效应。

因此，帧间预测单元180可以通过应用低通滤波器来以子像素为单位在像素之间内插信号，以便解决由于此信号的不连续或量化而导致的性能下降。这里，子像素意指通过应用内插滤波器生成的虚拟像素，并且整数像素意指存在于重构图片中的实际像素。作为内插方法，可以采用线性内插、双线性内插、维纳滤波器等。

向重构图片应用内插滤波器，以增强预测精度。例如，帧间预测单元180向整数像素应用内插滤波器以生成内插像素，并且可以通过使用由内插像素构成的内插块作为预测块来执行预测。

此外，帧内预测单元185可以通过参考将经历当前编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下处理，以便执行帧内预测。首先，可以准备参考样本，这是生成预测信号所需要的。另外，可以通过使用准备的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可以通过参考样本补零和/或参考样本滤波来准备参考样品。由于参考样本经历了预测和重构处理，因此可能存在量化误差。因此，可以针对用于帧内预测的每种预测模式执行参考样本滤波处理，以便减小此误差。

通过帧间预测单元180或帧内预测单元185生成的预测信号可以被用于生成重构信号或者被用于生成残差信号。

参照图2，解码器200可以被配置为包括解析单元(未例示)、熵解码单元210、反量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。

另外，可以通过再现装置再现通过解码器输出的重构视频信号。

解码器200可以接收从图1的编码器100输出的信号，并且可以通过熵解码单元210对接收到的信号进行熵解码。

反量化单元220通过使用量化步长信息从熵解码后的信号获取变换系数。

逆变换单元230对变换系数进行逆变换，以获取残差信号。

这里，本公开提供了针对按预测模式、块大小或块形状中的至少一种划分的每个变换配置组来配置变换组合的方法，并且逆变换单元230可以基于通过本公开配置的变换组合来执行逆变换。另外，可以应用本公开中描述的实施方式。

逆变换单元230可以执行以下实施方式。

本公开提供了基于简化二次变换来重构视频信号的方法。

逆变换单元230可以推导与二次变换索引对应的二次变换，通过使用二次变换对变换系数块执行逆二次变换，并且对其中执行逆二次变换的块执行逆初级变换。这里，二次变换是指简化二次变换，并且简化二次变换表示输入N个残差数据(N×1残差矢量)以输出L(L＜N)个变换系数数据(L×1变换系数矢量)的变换。

本公开的特征在于，向当前块的特定区域应用简化二次变换，并且该特定区域是当前块中的左上M×M(M≤N)。

本公开的特征在于，当执行逆二次变换时，向当前块中划分的4×4块中的每一个应用4×4简化二次变换。

本公开的特征在于，基于变换系数块中的最后一个非零变换系数的位置来确定是否获得了二次变换索引。

本公开的特征在于，当最后一个非零变换系数未处于特定区域中时，获得二次变换索引，并且特定区域指示当在应用简化二次变换的情况下根据扫描顺序布置变换系数时除了可能存在非零变换系数的位置之外的其余区域。

逆变换单元230可以推导与初级变换索引对应的变换组合，并且通过使用变换组合来执行逆初级变换。这里，初级变换索引对应于由DST7和/或DCT8的组合构成的多个变换组合中的任一个，并且该变换组合包括水平变换和垂直变换。在这种情况下，水平变换和垂直变换对应于DST7或DCT8。

尽管反量化单元220和逆变换单元230被描述为分开的功能单元，但是本公开不限于此，它们可以被组合成一个功能单元。

所获得的残差信号被与从帧间预测单元260或帧内预测单元265输出的预测信号相加，以生成重构信号。

滤波单元240对重构信号应用滤波，并且将所应用的重构信号输出到生成装置，或者将输出的重构信号发送到解码图片缓冲器单元250。帧间预测单元260可以使用发送到解码图片缓冲器单元250的滤波后的信号作为参考图片。

在本公开中，在变换单元120和编码器100的各个功能单元中描述的实施方式可以分别等同地应用于逆变换单元230和解码器的对应功能单元。

在视频编码时，可以基于四叉树(QT)划分一个块。另外，可以使用QT进一步递归地划分按QT划分的一个子块。可以通过二叉树(BT)、三叉树(TT)和不对称树(AT)中的至少一种方案划分不再被QT划分的叶块。BT可以具有两种划分类型：水平BT(2N×N，2N×N)和垂直BT(N×2N，N×2N)。TT可以具有两种划分类型：水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)。AT可以具有四种划分类型：水平-上AT(2N×1/2N、2N×3/2N)、水平-下AT(2N×3/2N、2N×1/2N)、垂直-左AT(1/2N×2N、3/2N×2N)、垂直-右AT(3/2N×2N、1/2N×2N)。可以通过使用BT、TT和AT进一步递归地划分BT、TT和AT中的每一个。

图3a例示了QT划分的示例。块A可以按QT被划分成四个子块A0、A1、A2和A3。子块A1可以再次按QT被划分成四个子块B0、B1、B2、B3。

图3b例示了BT划分的示例。不再按QT划分的块B3可以被划分成垂直BT(C0,C1)或水平BT(D0,D1)。如同块C0一样，每个子块可以以水平BT(E0,E1)或垂直BT(F0,F1)的形式进一步被递归地划分。

图3c例示了TT划分的示例。不再按QT划分的块B3可以被划分成垂直TT(C0,C1,C2)或水平TT(D0,D1,D2)。如同块C1一样，每个子块可以以水平TT(E0,E1,E2)或垂直TT(F0,F1,F2)的形式进一步被递归地划分。

图3d例示了AT划分的示例。不再按QT划分的块B3可以被划分成垂直AT(C0,C1)或水平AT(D0,D1)。如同块C1一样，每个子块可以以水平AT(E0,E1)或垂直TT(F0,F1)的形式进一步被递归地划分。

此外，BT、TT和AT划分可以被一起使用和进行。例如，按BT划分的子块可以按TT或AT被划分。另外，按TT划分的子块可以按BT或AT被划分。另外，按AT划分的子块可以按BT或TT被划分。例如，在水平BT划分之后，每个子块可以被划分成垂直BT，或者在垂直BT划分之后，每个子块可以被划分成水平BT。两种类型的划分方法在划分顺序方面彼此不同，但是在最终划分形状方面彼此相同。

另外，当块被划分时，可以以各种方式定义搜索该块的顺序。通常，可以从左到右和从上到下地执行搜索，并且对块的搜索可以意味着决定是否进一步划分每个划分的子块的顺序，意味着当每个子块不再被划分时每个子块的编码顺序，或者意味着当参照子块中的另一邻近块的信息时的搜索顺序。

图4和图5例示了应用本公开的实施方式，图4是编码器中的变换单元120和量化单元130以及反量化单元140和逆变换单元150的示意性框图，并且图5是解码器中的反量化单元220和逆变换单元230的示意性框图。

参照图4，变换单元120和量化单元130可以包括初级变换单元121、二次变换单元122和量化单元130。反量化单元140和逆变换单元150可以包括反量化单元140、逆二次变换单元151和逆初级变换单元152。

参照图5，反量化单元220和逆变换单元230可以包括反量化单元220、逆二次变换单元231和逆初级变换单元232。

在本公开中，当执行变换时，可以通过多个步骤执行变换。例如，可以如图4中例示地应用初级变换和二次变换这两个步骤，或者可以根据算法使用更多变换步骤。这里，初级变换也可以被称为核心变换。

初级变换单元121可以向残差信号应用初级变换，并且这里，可以在编码器和/或解码器的表中定义初级变换。

初级变换可以采用离散余弦变换类型2(下文中，被称为“DCT2”)。

另选地，仅在特定情况下，可以采用离散正弦变换类型7(下文中，被称为“DST7”)。例如，DST7可以在帧内预测模式中被应用于4×4块。

另外，初级变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可以采用图6。

二次变换单元122可以向初级变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中定义二次变换。

作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为“NSST”)。例如，NSST可以仅被应用于帧内预测块，并且可以具有适于每个预测模式组的变换集。

这里，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16是基于预测模式34(对角方向)对称的，因此可以通过形成一个组来应用相同的变换集。在这种情况下，当应用针对预测模式52的变换时，因为预测模式52具有与预测模式16相同的变换集，所以对输入数据进行转置，然后应用它。

此外，由于在平面模式和DC模式的情况下不存在方向的对称性，因此每种模式具有不同的变换集，并且对应的变换集可以由两个变换构成。相对于其余方向模式，每个变换集可以由三个变换构成。

作为另一实施方式，二次变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT8、DST 1和DCT 5的组合。例如，可以采用图6。

作为另一实施方式，可以向二次变换应用DST 7。

作为另一实施方式，可以不向整个初级变换块而是可以仅向左上特定区域应用二次变换。例如，当块大小为8×8或更大时，应用8×8NSST，而当块大小小于8×8时，可以应用4×4二次变换。在这种情况下，该块可以被划分成4×4块，然后可以向每个划分的块应用4×4二次变换。

作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4二次变换。

将参照图12至图15和说明书中的其它实施方式更详细地描述二次变换(例如，NSST)、4×4二次变换和8×8二次变换。

量化单元130可以对二次变换后的信号执行量化。

反量化单元140和逆变换单元150相反地执行上述处理，并且将省略对其的冗余描述。

图5是解码器中的反量化单元220和逆变换单元230的示意性框图。

逆二次变换单元231对变换系数执行逆二次变换。这里，逆二次变换表示在图4中描述的二次变换的逆变换。

逆初级变换单元232对逆二次变换后的信号(或块)执行逆初级变换，并且获得残差信号。这里，逆初级变换表示在图4中描述的初级变换的逆变换。

作为实施方式，初级变换可以采用多重变换选择(MTS)的各种变换DST 7、DCT 8、DST 1和DCT 5的组合。例如，可以采用图6。

作为本公开的实施方式，可以向初级变换应用DST 7。

作为本公开的实施方式，可以向初级变换应用DST 8。

本公开提供了针对按预测模式、块大小或块形状中的至少一种划分的每个变换配置组来配置变换组合的方法，并且逆初级变换单元232可以基于通过本公开配置的变换组合来执行逆变换。另外，可以应用本公开中描述的实施方式。

应用多重变换选择(MTS)的变换配置组

在本公开中，用于变换配置组G_i的第j个变换组合候选由下式1中示出的对表示。

[式1]

(H(G_i,j),V(G_i,j))

这里，H(Gi,j)指示第j个候选的水平变换，并且V(Gi,j)指示第j个候选的垂直变换。例如，在图6中，可以表示H(G₃,2)＝DST7、V(G₃,2)＝DCT8。根据上下文，指派给H(G_i,j)或V(G_i,j)的值可以如以上示例中一样是标称值以区分变换，或者可以是指示变换的索引值，或者可以是用于变换的二维(D)矩阵。

另外，在本公开中，可以如下式2和式3中所示地表示DCT和DST的2D矩阵值。

[式2]

DCT类型2：

DCT类型8：/>

[式3]

DST类型7：

DST类型4:/>

这里，无论DST或DCT是用S还是C表示，类型编号都以罗马数字形式在上标中表示，而下标中的N表示N×N变换。另外，诸如

和/>

这样的2D矩阵假定列矢量形成变换基。

参照图6，可以基于预测模式来确定变换配置组，并且组的数目可以是总共六个组G0至G5。另外，G0至G4对应于应用帧内预测的情况，并且G5表示应用于通过帧间预测生成的残差块的变换组合(或变换集和变换组合集)。

一个变换组合可以由应用于对应2D块的行的水平变换(或行变换)和应用于列的垂直变换(或列变换)构成。

这里，所有变换配置组中的每一个可以具有四个变换组合候选。可以通过变换组合索引0至3来选择或确定四个变换组合，并且通过对变换组合索引进行编码来将其从编码器发送到解码器。

作为实施方式，根据帧内预测模式，通过帧内预测获得的残差数据(或残差信号)可以具有不同的统计特性。因此，如图6中例示的，可以向每种帧内预测模式应用除了一般余弦变换之外的变换。

参照图6，例示了使用35种帧内预测模式的情况和使用67种帧内预测模式的情况。可以向在每个帧内预测模式列中划分的每个变换配置组应用多个变换组合。例如，这多个变换组合可以由四个(行方向变换和列方向变换)组合构成。作为特定示例，可以在组0中的行(水平)方向和列(垂直)方向上应用DST-7和DST-5，结果，总共有四个组合可用。

由于总共四个变换内核组合可以应用于每种帧内预测模式，因此可以每个变换单元发送用于选择变换内核组合之一的变换组合索引。在本公开中，变换组合索引可以被称为MTS索引并被表示为mts_idx。

另外，除了上图6中表示的变换内核之外，也可能出现由于残差信号的特性导致DCT2对于行方向和列方向二者都是最佳的情况。因此，针对每个编码单元定义MTS标志，以自适应地执行变换。这里，当MTS标志为0时，DCT 2可以被应用于行方向和列方向二者，并且当MTS标志为1时，可以通过MTS索引来选择或确定四个组合中的一个。

作为实施方式，当MTS标志为1时，如果用于一个变换单元的非零变换系数的数目不大于阈值，则可以在不应用图6的变换内核的情况下在行方向和列方向二者上都应用DST-7。例如，阈值可以被设置为2，可以基于块大小或变换单元的大小不同地设置该阈值。这也适用于说明书中的其它实施方式。

作为实施方式，如果非零变换系数的数目不大于阈值，则通过首先解析变换系数值，可以在不解析MTS索引的情况下通过应用DST-7来减少附加信息传输的量。

作为实施方式，当MTS标志为1时，如果非零变换系数的数目大于一个变换单元的阈值，则可以解析MTS索引，并且可以基于MTS索引来确定水平变换和垂直变换。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用MTS。

作为实施方式，可以通过离线训练来预先配置图6。

作为实施方式，MTS索引可以被定义为可以同时指示水平变换和垂直变换的一个索引。另选地，MTS索引可以被分别定义为水平变换索引和垂直变换索引。

作为实施方式，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。例如，可以以序列参数集(SPS)、编码单元或变换单元中的至少一个级别定义MTS标志或MTS索引。另外，作为示例，可以以序列参数集(SPS)、图片参数集(PPS)或切片头中的至少一个级别定义用于启用/禁用MTS的语法标志。

作为另一实施方式，可以在不依赖于MTS标志、预测模式和/或块形状的情况下配置与变换索引对应的变换组合(水平变换或垂直变换)。例如，变换组合可以由DCT2、DST7和/或DCT8中的至少一个构成。作为特定示例，当变换索引为0、1、2、3或4时，每个变换组合可以是(DCT2，DCT2)、(DST7，DST7)、(DCT8，DST7)、(DST7，DCT8)或(DCT8，DCT8)。

在本公开中，基本描述了其中向水平方向和垂直方向分别应用变换的实施方式，但是变换组合可以被配置为不可分变换。

另选地，变换组合可以由可分变换与不可分变换的混合构成。在这种情况下，当使用不可分变换时，可以不需要行/列变换选择或水平/垂直方向选择，并且只有当选择可分变换时，才可以使用图6的变换组合。

另外，可以应用通过本公开提出的方案，而不管是初级变换还是二次变换。即，不存在应该将方案仅应用于初级变换和二次变换二者中的任一者的限制并且可以将方案应用于初级变换和二次变换二者。这里，初级变换可以意指用于首先对残差块进行变换的变换，而二次变换可以意指用于向作为初级变换的结果生成的块应用变换的变换。

首先，编码器可以确定与当前块对应的变换配置组。这里，变换配置组可以意指图6的变换配置组，本公开不限于此，并且变换配置组可以由其它变换组合构成。

编码器可以对变换配置组中可使用的候选变换组合执行变换(S720)。

作为执行变换的结果，编码器可以确定或选择具有最小速率失真(RD)代价的变换组合(S730)。

编码器可以对与所选择的变换组合对应的变换组合索引进行编码(S740)。

首先，解码器可以确定当前块的变换配置组(S810)。

解码器可以从视频信号中解析(或获取)变换组合索引，并且这里，变换组合索引可以对应于变换配置组中的多个变换组合中的任一个(S820)。例如，变换配置组可以包括离散正弦变换类型(DST)7和离散余弦变换类型(DST)8。变换组合索引可以被称为MTS索引。

作为实施方式，可以基于当前块的预测模式、块大小或块形状中的至少一个来配置变换配置组。

解码器可以推导与变换组合索引对应的变换组合(S830)。这里，变换组合可以由水平变换和垂直变换构成，并且可以包括DST-7或DCT-8中的至少一个。

另外，变换组合可以意指表6中描述的变换组合，但是本公开不限于此。即，取决于本公开中的其它实施方式，变换组合可以由其它变换组合构成。

解码器可以基于变换组合对当前块执行逆变换(S840)。当变换组合由行(水平)变换和列(垂直)变换构成时，可以在首先应用行(水平)变换之后应用列(垂直)变换。然而，本公开不限于此，并且可以颠倒变换顺序，或者当变换组合由不可分变换构成时，可以立即应用不可分变换。

作为实施方式，当垂直变换或水平变换为DST-7或DCT-8时，可以向每列应用然后向每列应用DST-7的逆变换或DCT-8的逆变换。

作为实施方式，针对垂直变换或水平变换，可以向每行和/或每列应用不同的变换。

作为实施方式，可以基于指示是否执行MTS的MTS标志来获取变换组合索引。即，当根据MTS标志执行MTS时，可以获得变换组合索引。

作为实施方式，解码器可以检查非零变换系数的数目是否大于阈值。在这种情况下，当非零变换系数的数目大于阈值时可以获得变换。

作为实施方式，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用逆变换。

另一方面，作为另一实施方式，可以同时执行确定变换配置组的处理和解析变换组合索引的处理。另选地，步骤S810可以被预先配置并在编码器和/或解码器中省略。

编码器可以确定是否向当前块应用多重变换选择(MTS)(S910)。

当应用多重变换选择(MTS)时，编码器可以编码MTS标志＝1(S920)。

另外，编码器可以基于当前块的预测模式、水平变换和垂直变换中的至少一者来确定MTS索引(S930)。这里，MTS索引可以意指指示用于每种帧内预测模式的多个变换组合中的任一个的索引，并且可以针对每个变换单元发送MTS索引。

当确定了MTS索引时，编码器可以对MTS索引进行编码(S940)。

另一方面，当不应用多重变换选择(MTS)时，编码器可以编码MTS标志＝0(S920)。

解码器可以从比特流中解析MTS标志(S1010)。这里，MTS标志可以指示是否向当前块应用多重变换选择(MTS)。

解码器可以基于MTS标志来确定是否向当前块应用多重变换选择(MTS)(S1020)。例如，可以检查MTS标志是否为1。

当MTS标志为1时，解码器可以检查非零变换系数的数目是否大于(或等于或大于)阈值(S1030)。例如，阈值可以被设置为2，可以基于块大小或变换单元的大小不同地设置该阈值。

当非零变换系数的数目大于阈值时，解码器可以解析MTS索引(S1040)。这里，MTS索引可以意指用于每种帧内预测模式的多个变换组合中的任一个，并且可以针对每个变换单元发送MTS索引。另选地，MTS索引可以意指指示在预先配置的变换组合表中定义的任一个变换组合的索引，并且这里，预先配置的变换组合表可以意指图6，但是本公开不限于此。

解码器可以基于MTS索引和预测模式中的至少一个来推导或确定水平变换和垂直变换(S1050)。

另选地，解码器可以推导对应于MTS索引的变换组合。例如，解码器可以推导或确定对应于MTS索引的水平变换和垂直变换。

当非零变换系数的数目不大于阈值时，解码器可以应用预先配置的垂直逆变换(S1060)。例如，垂直逆变换可以是DST7的逆变换。

另外，解码器可以对每行应用预先配置的水平逆变换(S1070)。例如，水平逆变换可以是DST7的逆变换。即，当非零变换系数的数目不大于阈值时，可以使用由编码器或解码器预先配置的变换内核。例如，可以使用在图6中例示的变换组合表中未定义但被广泛使用的变换内核(例如，DCT-2、DST-7或DCT-8)。

此外，当MTS标志为0时，解码器可以对每列应用预先配置的垂直逆变换(S1080)。例如，垂直逆变换可以是DCT2的逆变换。

另外，解码器可以对每行应用预先配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT2的逆变换。即，当MTS标志为0时，可以使用由编码器或解码器预先配置的变换内核。例如，可以使用在图6中例示的变换组合表中未定义但被广泛使用的变换内核。

应用了本公开的解码器可以获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。这里，sps_mts_intra_enabled_flag指示在帧内编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中存在tu_mts_flag。另外，sps_mts_inter_enabled_flag指示在帧间编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中存在tu_mts_flag。

解码器可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器可以获得tu_mts_flag。这里，tu_mts_flag指示是否向亮度变换块的残差样本应用多重变换选择(下文中，被称为“MTS”)。例如，当tu_mts_flag＝0时，不向亮度变换块的残差样本应用MTS，并且当tu_mts_flag＝1时，向亮度变换块的残差样本应用MTS。

作为另一示例，本文献的实施方式中的至少一个可以应用于tu_mts_flag。

解码器可以基于tu_mts_flag获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可以获得mts_idx。这里，mts_idx指示哪个变换内核被沿当前变换块的水平和/或垂直方向应用于亮度残差样本。

例如，本文献的实施方式中的至少一个可以应用于mts_idx。作为特定示例，可以应用图6的实施方式中的至少一个。

解码器可以推导与mts_idx对应的变换内核(S1140)。例如，可以通过将与mts_idx对应的变换内核划分成水平变换和垂直变换来定义它。

作为另一示例，可以向水平变换和垂直变换应用不同的变换内核。然而，本公开不限于此，并且可以向水平变换和垂直变换应用相同的变换内核。

作为实施方式，可以如下表1中所示地定义mts_idx。

[表1]

mts_idx[x0][y0]	trTypeHor	trTypeVer
			0	0	0
1	1	1
			2	2	1
3	1	2
			4	2	2

另外，解码器可以基于变换内核来执行逆变换(S1150)。

在上图11中，主要描述了以下的实施方式：获得tu_mts_flag，以确定是否应用MTS，并且根据随后获得的tu_mts_flag值来获得mts_idx，以确定变换内核，但是本公开不限于此。作为示例，解码器直接解析mts_idx而不解析tu_mts_flag来确定变换内核。在这种情况下，可以使用上述表1。即，当mts_idx值指示0时，可以在水平/垂直方向上应用DCT-2，并且当mts_idx值指示除了0之外的值时，可以根据mts_idx值来应用DST-7和/或DCT-8。

作为本公开的另一实施方式，描述了执行变换处理的解码处理。

解码器可以检查变换大小nTbS(S10)。这里，变换大小nTbS可以是表示缩放后的变换系数的水平样本大小的变量。

解码器可以检查变换内核类型trType(S20)。这里，变换内核类型trType可以是表示变换内核类型的变量，并且可以应用本文献的各种实施方式。变换内核类型trType可以包括水平变换内核类型trTypeHor和垂直变换内核类型trTypeVer。

参照表1，当变换内核类型trType为0时，变换内核类型可以表示DCT2，当变换内核类型trType为1时，变换内核类型可以表示DST7，并且当变换内核类型trType为2时，变换内核类型可以表示DCT8。

解码器可以基于变换大小nTbS或变换内核类型中的至少一个来执行变换矩阵乘法(S30)。

作为另一示例，当变换内核类型为1并且变换大小为4时，在执行变换矩阵乘法时可以应用预定的变换矩阵1。

作为另一示例，当变换内核类型为1并且变换大小为8时，在执行变换矩阵乘法时可以应用预定的变换矩阵2。

作为另一示例，当变换内核类型为1并且变换大小为16时，在执行变换矩阵乘法时可以应用预定的变换矩阵3。

作为另一示例，当变换内核类型为1并且变换大小为32时，在执行变换矩阵乘法时可以应用预定义的变换矩阵4。

类似地，当变换内核类型为2且变换大小为4、8、16或32时，可以分别应用预定义的变换矩阵5、6、7和8。

这里，预定义的变换矩阵1至8中的每一个可以对应于各种类型的变换矩阵中的任一种。作为示例，可以应用图6中例示的类型的变换矩阵。

解码器可以基于变换矩阵乘法来推导变换样本(或变换系数)(S40)。

可以使用以上实施方式中的每一个，但是本公开不限于此，并且可以与以上实施方式和本公开的其它实施方式结合地使用。

不可分二次变换(NSST)

二次变换单元可以向初级变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中定义二次变换。

这里，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16是基于预测模式34(对角方向)对称的，因此可以通过形成一个组来应用相同的变换集。在这样的情况下，当应用针对预测模式52的变换时，因为预测模式52具有与预测模式16相同的变换集，所以对输入数据进行转置，然后应用它。

此外，由于在平面模式和DC模式的情况下不存在方向的对称性，因此每种模式具有不同的变换集，并且对应的变换集可以由两个变换构成。相对于其余方向模式，每个变换集可以由三个变换构成。然而，本公开不限于此，每个变换集可以由多个变换构成。

在实施方式中，可以定义除了图12中例示的变换集表之外的变换集表。例如，如下表2中所示，可以根据帧内预测模式(或帧内预测模式组)从预定义的表中确定变换集。可以从编码器向解码器发信号通知指示根据帧内预测模式确定的变换集中的特定变换的语法。

[表2]

IntraPredMode	变换集索引
		IntraPredMode<0	1
0<＝IntraPredMode<＝1	0
		2<＝IntraPredMode<＝12	1
13<＝IntraPredMode<＝23	2
		24<＝IntraPredMode<＝44	3
45<＝IntraPredMode<＝55	2
		56<＝IntraPredMode	1

参照表2，预定义的变换集可以被分配给成组的帧内预测模式(或帧内预测模式组)。这里，IntraPredMode值可以是考虑到广角帧内预测(WAIP)而变换的模式值。

作为另一实施方式，可以不向整个初级变换块而是可以仅向左上8×8区域应用二次变换。例如，当块大小为8×8或更大时，应用8×8NSST，并且当块大小小于8×8时，应用4×4NSST，并且在这种情况下，块被划分成4×4块，然后向划分的块中的每一个应用4×4NSST。

作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。

由于8×8NSST和4×4NSST二者遵循本文献中描述的变换组合配置并且是不可分变换，因此8×8NSST接收64个数据并输出64个数据并且4×4NSST具有16个输入和16个输出。

8×8NSST和4×4NSST二者由吉文斯旋转的分层组合配置。在式4中示出对应于一个吉文斯旋转的矩阵，并且在下式5中示出矩阵乘积。

[式4]

[式5]

t_m＝x_mcosθ-x_nSinθ

t_n＝x_msinθ+x_ncosθ

如图13中例示的，由于一个吉文斯旋转使两个数据旋转，因此为了处理64个数据(对于8×8NSST)或16个数据(对于4×4NSST)，总共需要32或8个吉文斯旋转。

因此，32或8个的束被用于形成吉文斯旋转层。通过所确定的置换将一个吉文斯旋转层的输出数据被作为下一个吉文斯旋转层的输入数据进行传送。

参照图14，例示了在4×4NSST的情况下依次处理四个吉文斯旋转层。如图14中例示的，通过所确定的置换(或混排)将一个吉文斯旋转层的输出数据作为下一个吉文斯旋转层的输入数据进行传送。

如图14中例示的，有规律地确定待置换的模式，并且在4×4NSST的情况下，四个吉文斯旋转层及其对应的置换被组合，以形成一轮。

在8×8NSST的情况下，六个吉文斯旋转层和对应的置换形成一轮。4×4NSST经过两轮，并且8×8NSST经过四轮。不同的轮使用相同的置换模式，但所应用的吉文斯旋转角度是不同的。因此，需要存储构成每个变换的所有吉文斯旋转的角度数据。

作为最后一个步骤，最终进一步对通过吉文斯旋转层输出的数据执行一个置换，并且针对每个变换分别存储对应的置换信息。在正向NSST中，最后执行对应的置换，而与其相反，在反向NSST中，首先应用对应的反向置换。

在反向NSST的情况下，吉文斯旋转层和应用于正向NSST的置换以相反顺序执行，并且每个吉文斯旋转的角度甚至通过取负值来进行旋转。

简化二次变换(RST)

当假定表示一个变换的正交矩阵具有N×N形式时，在N个变换基矢量(R＜N)当中，简化变换(下文中，被称为“RT”)仅留下R个变换基矢量。通过下式6给出生成变换系数的正向RT的矩阵。

[式6]

由于反向RT的矩阵成为正向RT矩阵的转置矩阵，因此正向RT和反向RT的应用被如图15中例示地例示。这里，简化因子被定义为R/N(R<N)。

简化变换的元素的数目为R×N，小于整个矩阵的大小(N×N)。换句话说，所需的矩阵是整个矩阵的R/N。另外，所需的乘法数目为R×N，比原始N×N低R/N。当应用简化变换时，提供R个系数，结果，只能发送R个系数值而非N个系数。

假定向经过初级变换的变换块的左上8×8块应用RT的情况，该RT可以被称为8×8简化二次变换(8×8RST)。

当上式6的R值为16时，正向8×8RST具有16×64矩阵形式，并且反向8×8RST具有64×16矩阵形式。

另外，与图12所中例示的变换集配置相同的变换集配置甚至可以被应用于8×8RST。即，可以根据图12中的变换集应用对应的8×8RST。

作为实施方式，当根据图12中的帧内预测模式由两个或三个变换构成一个变换集时，可以被配置为选择包括不应用二次变换的情况的最多4个变换之一。这里，一个变换可以被视为单位矩阵。

当分别将索引0、1、2和3指派给四个变换时，可以针对每个变换块发信号通知被称为NSST索引的语法元素，由此指定对应的变换。即，在NSST的情况下，可以通过NSST索引针对8×8左上块指定8×8NSST，并且可以在RST配置中指定8×8RST。另外，在这种情况下，可以将索引0分配给不应用单位矩阵即二次变换的情况。

当应用式6中示出的正向8×8RST时，生成16个有效变换系数，结果，可以认为构成8×8区域的64个输入数据被简化为16个输出数据。从二维区域的角度来看，只有四分之一的区域被填充有有效变换系数。因此，图16中的4×4左上区域可以被填充有通过应用正向8×8RST而获得的16个输出数据。

图16是例示了作为应用本公开的实施方式的根据后向扫描顺序从第64至第17执行后向扫描的处理的示图。

图16例示了当正向扫描顺序从1开始时(以正向扫描顺序)从第17个系数至第64个系数的扫描。然而，图16例示了后向扫描，并且其例示了从第64个系数至第17个系数执行后向扫描。

参照图16，左上4×4区域是所关注的区域(ROI)，有效变换系数被分配给ROI，而其余区域为空。即，默认地可以将值0分配给其余区域。

如果在图16的除了ROI区域之外的区域中存在除了0之外的有效变换系数，则这意味着未应用8x 8RST，结果，在这种情况下，可以省略与其对应的NSST索引编码。

相反，如果在图16的ROI区域之外不存在非零变换系数(如果应用8×8RST，当将0分配给除了ROI之外的区域时)，则有可能将应用8×8RST，结果，可以对NSST索引进行编码。

如此，因为必须检查非零变换系数的存在，所以可以在残差编码处理之后执行有条件的NSST索引编码。

本公开提供了可以被应用于来自RST结构的4×4块的RST设计方法以及关联的优化方法。除了4×4RST之外，本公开中公开的实施方式还可以应用于的8×8RST或另一类型的变换。

实施方式1：适用于4×4块的RST

可以应用于一个4×4块的不可分变换是16×16变换。即，当构成4×4块的数据元素以行优先或列优先的顺序排列时，使用16×1矢量来应用不可分变换。

正向16×16变换由16个行方向变换基矢量构成，并且当将内积被应用于16×1矢量和每个变换基矢量时，获得针对变换基矢量的变换系数。获得与所有16个变换基矢量对应的变换系数的处理等同于将16×16不可分变换矩阵乘以输入的16×1矢量。

通过矩阵乘积而获得的变换系数具有16×1矢量形式，并且对于每个变换系数的而言，统计特性可能不同。例如，当16×1变换系数矢量由第0个元素至第15个元素构成时，第0个元素的方差可以大于第15个元素的方差。换句话说，随着元素位置靠前，元素的对应方差值更大，使得元素可以具有更大的能量值。

当从16×1变换系数应用逆16×16不可分变换时，可以恢复原始的4×4块信号。当正向16×16不可分变换是正交变换时，可以通过用于正向16×16变换的转置矩阵来获得对应的逆16×16变换。

当16×1变换系数矢量乘以逆16×16不可分变换矩阵时，可以获得16×1矢量形式的数据，并且当所获得的数据按首先应用的行优先或列优先排列时，可以恢复4×4块信号。

如上所述，构成16×1变换系数矢量的元素可以具有不同的统计特性。

如果排列在较前侧(接近第0个元素)的变换系数具有较大的能量，则甚至通过在不使用所有变换系数的情况下向首先出现的一些变换系数应用逆变换，也可以恢复十分接近原始信号的信号。例如，当逆16×16不可分变换由16个列基矢量构成时，仅留下L个列基矢量以形成16×L矩阵。另外，当在变换系数(L×1矢量)当中仅留下L个重要变换系数之后将16×L矩阵和L×1彼此相乘时，可以恢复与原始输入的16×1矢量数据的误差小的16×1矢量。

结果，由于仅L个系数用于数据恢复，因此在获得变换系数时，获得L×1变换系数矢量而非16×1变换系数矢量。即，当通过在正向16×16不可分变换矩阵中选择L个对应行方向矢量来配置L×16变换并且将所配置的L×16变换乘以16×1输入矢量时，可以获得L个重要的变换系数。

L值的范围为1≤L＜16，并且通常，可以通过任意方法在16个变换基矢量当中选择L个矢量，但是从编码和解码的角度看选择在信号能量方面重要性高的变换基矢量在编码效率方面可以是有利的。

实施方式2：4×4RST的应用区域的配置和变换系数的排列

4×4RST可以被作为二次变换应用，并且可以被辅助应用于被应用诸如DCT类型2这样的初级变换的块。当应用初级变换的块的大小为N×N时，被应用初级变换的块的大小通常大于4×4。因此，当向N×N块应用4×4RST时，可以有如下两种方法。

实施方式2-1)4×4RST未应用于所有N×N区域，而是可以仅应用于某些区域。例如，可以仅向左上M×M区域(M≤N)应用4×4RST。

实施方式2-2)要应用二次变换的区域可以被划分成4×4块，然后可以向每个划分的块应用4×4RST。

作为实施方式，可以混合并应用实施方式2-1)和2-2)。例如，仅左上M×M区域可以被划分成4×4块，然后可以应用4×4RST。

作为实施方式，可以仅向左上8×8区域应用二次变换，并且当N×N块等于或大于8×8时，可以应用8×8RST，并且当N×N块小于8×8(4×4、8×4和4×8)时，N×N块可以被划分成4×4块，然后可以向4×4块中的每一个应用4×4RST，如实施方式2-2中一样。另外，甚至在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。

当在应用4×4RST之后生成L(1≤L<16)个变换系数时，生成关于如何排列L个变换系数的自由度。然而，由于当在残差编码步骤中处理变换系数时将存在预定顺序，因此编码性能可能根据L个变换系数在2D块中的排列方式而变化。

例如，在HEVC的残差编码的情况下，编码从距DC位置最远的位置开始。这是为了通过利用量化系数值随着背离DC位置移动而变为零或接近零的事实来增强编码性能。

因此，在编码性能方面，为L个变换系数布置具有高能量的更重要系数以便随后以残差编码的顺序对L个变换系数进行编码可能是有利的。

图17例示了HEVC中应用的以4×4变换块(系数组(CG))为单位的三个正向扫描顺序。残差编码遵循图17的扫描顺序的相反顺序(即，以16至1的顺序执行编码)。

由于根据帧内预测模式选择图17中呈现的三个扫描顺序，因此本公开可以被配置为甚至对于L个变换系数也类似地根据帧内预测模式确定扫描顺序。

图18例示了作为应用本公开的实施方式的当应用对角扫描并且在左上4×8块中应用4×4RST时4×4块中的每一个的有效变换系数的位置和正向扫描顺序。

当遵循图17中的对角扫描顺序并且将左上4×8块划分成4×4块并将4×4RST应用于每个4×4块时，如果L值为8(即，如果只留下16个变换系数当中的8个变换系数)，则可以如图18中地设置变换系数。

各个4×4块中只有一半可以具有变换系数，并且默认地可以向标记X的位置应用值0。

因此，通过根据图17中例示的扫描顺序针对每个4×4块布置L个变换系数并且假定每个4×4块的(16–L)个其余位置被填充有零来执行残差编码。

参照图19，布置在两个4×4块中的L个变换系数可以被组合成一个。具体地，当L值为8时，由于两个4×4块的变换系数被组合同时完全填充一个4×4块，因此在另一个4×4块中没有留下变换系数。

因此，由于大多数残差编码对于空的4×4块而言是不需要的，因此对应的coded_sub_block_flag可以被编码为0。

另外，作为本公开的实施方式，甚至可以将各种方案应用于如何混合两个4×4块的变换系数。可以根据随机顺序来组合变换系数，但是本公开可以提供以下方法。

1)两个4×4块的变换系数按扫描顺序被交替地混合。即，在图18中，当顶部块的变换系数为

和/>

并且底部块的变换系数为/>

和/>

时，变换系数可以像/>

和/>

一样被逐一交替混合。另选地，可以改变/>

和/>

的顺序。换句话说，顺序可以被配置为使得/>

首先出现。

2)可以首先布置用于第一个4×4块的变换系数，然后可以布置第二个4×4块的变换系数。换句话说，变换系数可以如同

和/>

一样地连接和布置。另选地，该顺序可以如同/>

和/>

一样地改变。

实施方式3：对用于4×4RST的NSST索引进行编码的方法

当如图18中例示地应用4×4RST时，可以根据每个4×4块的变换系数扫描顺序，用0值填充第L+1至第16。

因此，当即使在两个4×4块中的一个中在第L+1个至第16个位置生成非零值时，可以得知这种情况是不应用4×4RST的情况。

当4×4RST也具有其中选择并应用了作为NSST准备的变换集之一的结构时，可以发信号通知要对其应用变换的变换索引(在该实施方式中，可以被称为NSST索引)。

假定任何解码器都可以通过比特流解析来得知NSST索引，并且解析是在残差解码之后执行的。

当执行残差解码并且确认在第L+1至第16之间存在至少一个非零变换系数时，不应用4×4RST，因此NSST索引可以被配置为不被解析。

因此，只有当需要降低信令成本时，才选择性地解析NSST索引。

如果如图18中例示地，将4×4RST应用于特定区域中的多个4×4块(例如，同一4×4RST可以应用于多个4×4块中的全部，或者可以应用不同的4×4RST)时，可以通过一个NSST索引指定应用于所有4×4块的4×4RST。在这种情况下，可以指定同一4×4RST，或者可以指定应用于所有4×4块中的每一个的4×4RST。

由于通过一个NSST索引确定是否对所有4×4块应用4×4RST，因此可以在残差解码处理期间检查在所有4×4块的第L+1个位置至第16个位置处是否存在非零变换系数。作为检查的结果，当非零变换系数存在于即使在一个4×4块中也不被接受的位置(第L+1个位置至第16个位置)处时，NSST索引可以被配置为不被编码。

可以针对亮度块和色度块分别发信号通知NSST索引，并且在色度块的情况下，可以针对Cb和Cr发信号通知分开的NSST索引，并且可以共享一个NSST索引。

当Cb和Cr共享一个NSST索引时，可以应用由同一NSST索引指定的4×4RST。在这种情况下，针对Cb和Cr的4×4RST可以相同，或者NSST索引可以相同，但是可以提供分开的4×4RST。

为了将有条件信令应用于共享的NSST索引，检查Cb和Cr的所有4×4块的第L+1个位置至第16个位置处是否存在非零变换系数，并且当存在非零变换系数时，NSST索引可以被配置为不被发信号通知。

如图19中例示的，即使对于两个4×4块的变换系数被组合的情况，当应用4×4RST时，检查在不存在有效变换系数的位置处是否存在非零变换系数，然后可以确定是否发信号通知NSST。

例如，如图19的(b)中例示的，当L值为8并且在应用4×4RST时一个4×4块(标记有X的块)不存在有效的变换系数时，可以检查其中不存在有效变换系数的块的coded_sub_block_flag。在这种情况下，当coded_sub_block_flag为1时，NSST索引可以被配置为不被发信号通知。

实施方式4：针对在残差编码之前执行对NSST索引的编码的情况的优化方法

当在残差编码之前执行对NSST索引的编码时，是否应用4×4RST是预定的，结果，对于是否将0分配给变换系数的位置，可以省略残差编码。

这里，是否应用4×4RST可以被配置为通过NSST索引知晓。例如，当NSST索引为0时，不应用4×4RST。

另选地，可以通过单独的语法元素(例如，NSST标志)发信号通知NSST索引。例如，如果单独的语法元素被称为NSST标志，则首先解析NSST标志，以确定是否应用4×4RST，并且如果NSST标志值为1，则对于不可能存在有效变换系数的位置，可以省略残差编码。

作为实施方式，当执行残差编码时，首先对TU上的最后一个非零变换系数位置进行编码。当在对最后一个非零变换系数位置进行编码之后执行对NSST索引的编码并且假定向最后一个非零变换系数的位置应用4×4RST时，如果最后一个非零变换系数位置被确定为不能生成非零变换系数的位置，则4×4RST可以被配置为在不对NSST索引进行编码的情况下不应用于最后一个非零变换系数位置。

例如，由于在图18中标记有X的位置的情况下，当应用4×4RST时未设置有效变换系数(例如，这些位置可以被填充有零值)，因此当最后一个非零变换系数处于标记有X的区域中时，可以省略对NSST索引的编码。当最后一个非零变换系数不处于标记有X的区域中时，可以执行NSST索引的编码。

作为实施方式，当通过在对最后一个非零变换系数位置进行编码之后对NSST索引进行有条件编码来检查是否应用4×4RST时，可以通过以下两种方案来处理其余残差编码部分。

1)在不应用4×4RST的情况下，一般残差编码被原样地保持。即，在假定在从非零变换系数位置到DC的任何位置处可能存在非零变换系数的情况下执行编码。

2)当应用4×4RST时，由于特定位置或特定4×4块(例如，图18的X位置，默认情况下可以填充有0)不存在变换系数，因此可以不执行对相应位置或块的残差。

例如，在到达图18中标记有X的位置的情况下，可以省略对sig_coeff_flag的编码。这里，sig_coeff_flag意指在对应位置处是否存在非零变换系数的标志。

当如图19中例示地两个块的变换系数被组合时，对于分配给0的4×4块可以省略对coded_sub_block_flag的编码，并且对应值可以被推导为0，并且所有对应4×4块可以在不进行单独编码的情况下被推导为0值。

在对非零变换系数位置进行编码之后对NSST索引进行编码的情况下，当最后一个非零变换系数的x位置P_x和y位置P_y分别小于T_x和T_y时，可以省略NSST索引编码并且可以不应用4×4RST。

例如，T_x＝1并且T_y＝1的情况意味着，对于在DC位置处存在非零变换系数的情况，省略NSST索引编码。

通过与阈值比较确定是否对NSST索引进行编码的方案可以被不同地应用于亮度和色度。例如，可以向亮度和色度应用不同的T_x和T_y，并且可以向亮度应用而不向色度应用阈值。或者，反之亦然。

可以同时应用上述两种方法，即，当非零变换系数位于不存在有效变换系数的区域中时省略NSST索引编码的第一种方法以及当非零变换系数的X坐标和Y坐标中的每一个小于预定阈值时省略NSST索引编码的第二种方法。

例如，可以首先检查最后一个非零变换系数的位置坐标的阈值，然后可以检查最后一个非零变换系数是否位于其中不存在有效变换系数的区域中。另选地，可以改变顺序。

实施方式4中提出的方法甚至可以应用于8×8RST。也就是说，当最后一个非零变换系数位于左上角8×8区域中的除了左上4×4之外的区域中时，可以省略对NSST索引的编码，如若不然，可以执行NSST索引编码。

另外，当用于非零变换系数的X和Y坐标值二者小于阈值时，可以省略对NSST索引的编码。另选地，可以将两种方法一起应用。

实施方式5：应用RST时将不同的NSST索引编码和残差编码方案应用于亮度和色度

可以分别向亮度和色度不同地应用实施方式3和4中描述的方案。即，可以不同地应用针对亮度和色度的NSST索引编码和残差编码方案。

例如，亮度可以采用实施方式4的方案并且色度可以采用实施方式3的方案。另选地，亮度可以采用实施方式3或4中提出的有条件的NSST索引编码，并且色度可以不采用有条件的NSST索引编码。或者，反之亦然。

编码器可以基于当前块的预测模式、块形状和/或块大小中的至少一个来确定(或选择)正向二次变换(S2010)。在这种情况下，正向二次变换的候选可以包括图6和/或图12的实施方式中的至少一个。

编码器可以通过速率失真优化来确定最佳正向二次变换。最佳正向二次变换可以对应于多个变换组合中的一个，并且可以通过变换索引来定义这多个变换组合。例如，对于RD优化，可以针对各个候选比较执行正向二次变换、量化、残差编码等中的全部的结果。在这种情况下，可以使用诸如成本＝速率+λ·失真或成本＝失真+λ·速率的公式，但是本公开不限于此。

编码器可以发信号通知与最佳正向二次变换对应的二次变换索引(S2020)。这里，二次变换索引可以采用本公开中描述的其它实施方式。

例如，二次变换索引可以采用图12的变换集配置。由于根据帧内预测模式，一个变换集由两个或三个变换构成，因此除了不应用二次变换的情况之外，还有最多四个变换中的一个可以被配置为被选择。当将索引0、1、2和3分别指派给四个变换时，可以通过发信号通知每个变换系数块的二次变换索引来指定所应用的变换。在这种情况下，可以将索引0分配给不应用单位矩阵即二次变换的情况。

作为另一实施方式，可以在以下任一个步骤中执行二次变换索引的信令：1)在残差编码之前；2)在残差编码中途(在对非零变换系数位置进行编码之后)；或3)在残差编码之后。以下，将详细地描述实施方式。

1)在残差编码之前发信号通知二次变换索引的方法

编码器可以确定正向二次变换。

编码器可以发信号通知与正向二次变换对应的二次变换索引。

编码器可以对最后一个非零变换系数的位置进行编码。

编码器可以对除了最后一个非零变换系数的位置之外的语法元素执行残差编码。

2)在残差编码中途发信号通知二次变换索引的方法

编码器可以确定正向二次变换。

编码器可以对最后一个非零变换系数的位置进行编码。

当非零变换系数不位于特定区域中时，编码器可以对与正向二次变换对应的二次变换索引进行编码。这里，在应用简化二次变换的情况下，当根据扫描顺序布置变换系数时，特定区域表示除了可能存在非零变换系数的位置之外的其余区域。然而，本公开不限于此。

3)在残差编码之前发信号通知二次变换索引的方法

编码器可以确定正向二次变换。

编码器可以对最后一个非零变换系数的位置进行编码。

当非零变换系数不位于特定区域中时，编码器可以对除了最后一个非零变换系数的位置之外的语法元素执行残差编码。这里，在应用简化二次变换的情况下，当根据扫描顺序布置变换系数时，特定区域表示除了可能存在非零变换系数的位置之外的其余区域。然而，本公开不限于此。

编码器可以对与正向二次变换对应的二次变换索引进行编码。

此外，编码器可以对当前块(残差块)执行正向初级变换(S2030)。这里，步骤S2010和/或步骤S2020可以类似地应用于正向初级变换。

编码器可以通过使用最佳正向二次变换对当前块执行正向二次变换(S2040)。例如，最佳正向二次变换可以是简化二次变换。简化二次变换是指输入N个残差数据(N×1残差矢量)并输出L(L＜N)个变换系数数据(L×1变换系数矢量)的变换。

作为实施方式，可以向当前块的特定区域应用简化二次变换。例如，当当前块为N×N时，特定区域可以意指左上N/2×N/2区域。然而，本公开不限于此，并且可以根据预测模式、块形状或块大小中的至少一个进行不同的配置。例如，当当前块为N×N时，特定区域可以意指左上M×M区域(M≤N)。

此外，编码器对当前块执行量化，以生成变换系数块(S2050)。

编码器对变换系数块执行熵编码，以生成比特流。

解码器可以从比特流获得二次变换索引(S2110)。这里，二次变换索引可以采用本公开中描述的其它实施方式。例如，二次变换索引可以包括图6和/或图12的实施方式中的至少一个。

作为另一实施方式，可以在以下任一个步骤中执行二次变换索引的获得：1)在残差编码之前；2)在残差编码中途(对非零变换系数位置进行解码之后)；或者3)在残差编码之后。

解码器可以推导与二次变换索引对应的二次变换(S2120)。在这种情况下，正向二次变换的候选可以包括图6和/或图12的实施方式中的至少一个。

然而，步骤S2110和S2120是实施方式，本公开不限于此。例如，解码器不能获得二次变换索引，而是基于当前块的预测模式、块形状和/或块大小中的至少一个来推导二次变换。

此外，解码器可以通过对比特流进行熵解码来获得变换系数块，并且可以对变换系数块执行反量化(S2130)。

解码器可以对反量化后的变换系数块执行逆二次变换(S2140)。例如，逆二次变换可以是简化二次变换。简化二次变换是指输入N个残差数据(N×1残差矢量)并输出L(L＜N)个变换系数数据(L×1变换系数矢量)的变换。

作为实施方式，可以向当前块的特定区域应用简化二次变换。例如，当当前块为N×N时，特定区域可以意指左上N/2×N/2区域。然而，本公开不限于此，并且可以根据预测模式、块形状或块大小中的至少一个进行不同的配置。例如，当当前块为N×N时，特定区域可以意指左上M×M(M≤N)或M×L(M≤N,L≤N)区域。

另外，解码器可以对逆二次变换结果执行逆初级变换(S2150)。

解码器通过步骤S2150生成残差块，并且残差块和预测块被相加，以生成重构块。

实施方式6：配置混合二次变换集的方法

在实施方式中，提出了在应用二次变换时考虑各种条件来配置二次变换集的方法。

在本公开中，二次变换指示如上所述在编码器侧应用初级变换之后针对全部或一些初级变换系数执行的变换，并且二次变换可以被称为不可分二次变换(NSST)、低频不可分变换(LFNST)等。在向全部或一些反量化后的变换系数应用二次变换之后，解码器可以向全部或一些反量化后的变换系数应用初级变换。

另外，在本公开中，混合二次变换集表示适用于二次变换的变换集，本公开不限于这样的名称。例如，混合二次变换(或变换内核或变换类型)集可以被称为二次变换组、二次变换表、二次变换候选、二次变换候选列表、混合二次变换组、混合二次变换表、混合二次变换候选、混合二次变换候选列表等，并且混合二次变换集可以包括多个变换内核(或变换类型)。

可以在当前块中根据预定义的条件向左上侧的具有特定大小的子块应用二次变换。在常规的视频压缩技术中，根据所选择子块的大小使用4×4二次变换集或8×8二次变换集。在这种情况下，4×4二次变换集仅包括应用于4×4大小区域(或块)的变换内核(下文中，被称为4×4变换内核)，并且8×8二次变换集仅包括应用于8×8大小的区域(或块)的变换内核(下文中，被称为8×8变换内核)。换句话说，在常规的视频压缩技术中，根据应用二次变换的区域的大小，仅由具有有限大小的变换内核构成二次变换集。

因此，本公开提出了包括可以应用于具有各种大小的区域的变换内核的混合二次变换集。

作为实施方式，混合二次变换集中所包括的变换内核的大小(即，应用对应的变换内核的区域的大小)不是固定的，而是可以可变地确定(或设置)。例如，混合二次变换集可以包括4×4变换内核和8×8变换内核。

另外，在实施方式中，混合二次变换集中所包括的变换内核的数目不是固定的，而是可以可变地确定(或设置)。换句话说，混合二次变换集可以包括多个变换集，并且每个变换集可以包括不同数目的变换内核。例如，第一变换集可以包括三个变换内核，第二变换集可以包括四个变换内核。

另外，在实施方式中，混合二次变换集中所包括的变换内核之间的顺序(或优先级)不是固定的，而是可以可变地确定(或设置)。换句话说，混合二次变换集可以包括多个变换集，并且每个变换集中的变换内核之间的顺序可以被独立地定义。另外，可以在每个变换集内的变换内核之间映射(或分配)不同的索引。例如，假定第一变换集和第二变换集各自包括第一变换内核、第二变换内核和第三变换内核，则索引值1、2和3可以分别被映射到第一变换集内的第一变换内核、第二变换内核和第三变换内核，并且索引值3、2和1可以分别被映射到第二变换集内的第一变换内核、第二变换内核和第三变换内核。

下文中，将详细地描述用于确定混合二次变换集中的变换内核之间的优先级(或顺序)的方法。

当应用二次变换时，解码器可以根据预定义的条件确定(或选择)应用于当前处理块的二次变换集。二次变换集可以包括根据本公开的实施方式的混合二次变换集。另外，解码器可以使用从编码器发信号通知的二次变换索引来确定在所确定的二次变换集内的应用于当前处理块的二次变换的变换内核。二次变换索引可以指示所确定的二次变换集内的应用于当前处理块的二次变换的变换内核。在一个实施方式中，二次变换索引可以被称为NSST索引、LFNST索引等。

如上所述，由于从编码器向解码器发信号通知二次变换索引，因此在压缩效率方面合理的是，将较低的索引分配给相对更频繁出现的变换内核，以用较少的比特进行编码/解码。因此，下面将描述考虑优先级来配置二次变换集的各种实施方式。

在实施方式中，可以根据应用二次变换的区域(或子块)的大小来不同地确定二次变换集中的变换内核之间的优先级。例如，当当前处理块的大小等于或大于预定大小时，可能更频繁地使用8×8变换内核，结果，编码器/解码器可以向8×8变换内核分配比4×4变换内核相对更少的变换索引。作为示例，可以如下表3中地配置混合二次变换集。

[表3]

NSST索引	4×4NSST集	8×8NSST集	混合NSST集
				1	4×4第一内核	8×8第一内核	8×8第一内核
2	4×4第二内核	8×8第二内核	8×8第二内核
				3	4×4第三内核	8×8第三内核	4×4第一内核
...	...	...	...

在表3中，通过假定使用NSST作为二次变换来描述实施方式，但本公开不限于这样的名称。如上所述，根据本公开的实施方式的二次变换可以被称为不可分二次变换(NSST)、低频不可分变换(LFNST)等。参照表3，常规的视频压缩技术的二次变换集仅由应用二次变换的区域的大小的变换内核(即，表3中的4×4NSST集和8×8NSST集)构成。根据本公开的实施方式的混合二次变换集(即，混合NSST集)可以包括8×8变换内核和4×4变换内核。

在表3中，假定当前处理块的大小等于或大于预定大小。即，当当前块的宽度或高度的最小值等于或大于预定义的值(例如，8)时，可以使用如表3中例示的二次变换集。混合二次变换集可以包括8×8变换内核和4×4变换内核，并且很可能使用8×8变换内核，结果，可以向8×8变换内核分配低索引值。

另外，在实施方式中，可以基于二次变换内核的顺序(第一、第二和第三)来确定二次变换集中的变换内核之间的优先级。例如，第一4×4二次变换内核可以具有比第二4×4二次变换内核更高的优先级，并且可以向第一4×4二次变换内核分配较低的索引值。作为示例，可以如下表4中地配置混合二次变换集。

[表4]

在表4中，通过假定使用NSST作为二次变换来描述实施方式，但本公开不限于这样的名称。如上所述，根据本公开的实施方式的二次变换可以被称为NSST、LFNST等。

参照表4，根据本公开的实施方式的混合二次变换集(即，混合NSST集类型1、2和3)可以包括8×8变换内核和/或4×4变换内核。换句话说，如同混合NSST集类型2和3一样，混合二次变换集可以包括8×8变换内核和/或4×4变换内核，并且8×8变换内核之间的优先级和4×4变换内核之间的优先级可以基于相应的二次变换内核的顺序来配置。

实施方式7：配置混合二次变换集的方法

在本公开的实施方式中，提出了考虑各种条件来确定二次变换集的方法。具体地，提出了基于块的大小和/或帧内预测模式来确定二次变换集的方法。

编码器/解码器可以基于帧内预测模式来配置适合于当前块的二次变换的变换集。作为实施方式，所提出的方法可以与上述实施方式6一起应用。例如，编码器/解码器可以基于帧内预测模式来配置二次变换集，并使用每个二次变换集中所包括的各种大小的变换内核来执行二次变换。

在实施方式中，可以基于下表5根据帧内预测模式来确定二次变换集。

[表5]

帧内模式	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33
																																			混合类型	1	1	1	1	1	0	0	0	0	0	0	0	0	0	0	0	1	1	1	1	1	0	0	0	0	0	0	0	0	0	0	0	1	1
帧内模式	34	35	36	37	38	39	40	41	42	43	44	45	46	47	48	49	50	51	52	53	54	55	56	57	58	59	60	61	62	63	64	65	66	67
																																			混合类型	1	1	1	0	0	0	0	0	0	O	0	0	0	0	1	1	1	1	1	O	0	0	0	0	0	0	0	0	0	0	0	0	1	0

参照表5，编码器/解码器可以基于帧内预测模式来确定是否应用(或配置)以上实施方式6中描述的混合二次变换集。当不应用混合二次变换集时，编码器/解码器可以应用(或配置)以上图12至图14中描述的二次变换集。

具体地，在混合类型值被定义为1的帧内预测模式的情况下，可以根据以上实施方式6中描述的方法来配置混合二次变换集。另外，在混合类型值被定义为0的帧内预测模式的情况下，可以根据常规方法(即，以上图12至图14中描述的方法)来配置二次变换集。

表5示出了使用用于配置两种类型的变换集的方法的情况，但是本公开不限于此。即，可以配置(或定义)两种或更多种指示用于配置包括混合二次变换集的变换集的方法的混合类型。在这种情况下，混合类型信息可以被配置为各种即N种(N＞2)类型的值。

此外，在实施方式中，编码器/解码器可以通过考虑当前编码块(或变换块)的大小和帧内预测模式来确定适合于当前块的变换集是被配置为正常类型还是混合类型。这里，正常类型指示根据常规方法(即，以上图12至图14中描述的方法)配置的二次变换集。例如，当混合类型(或模式类型)值为0时，编码器/解码器可以通过应用图12至14中描述的方法来配置二次变换集，而当混合类型值为1时，编码器/解码器可以根据当前块的大小来配置包括各种大小的变换内核的混合二次变换集。

参照图22，解码器主要是为了便于描述而描述的，但是本公开不限于此，并且甚至可以对编码器基本上等同地应用通过确定变换类型来执行二次变换的方法。

解码器对量化后的变换块(或变换系数)执行反量化(S2201)。

解码器基于当前块的大小和/或帧内预测模式来确定(或选择)用于当前块的二次变换的二次变换集(或变换类型集)(S2202)。在这种情况下，可以预定义各种二次变换集，并且可以应用在该实施方式和/或实施方式6中描述的配置二次变换集的方法。

作为实施方式，解码器可以基于当前块的帧内预测模式来确定是否使用混合类型(或混合二次变换集)来配置二次变换集。当使用混合类型时，可以使用根据以上实施方式6中描述的方法的混合二次变换集。

解码器通过使用所确定的变换内核来对反量化的变换块(或变换系数)执行二次变换(S2203)。在这种情况下，解码器可以对指示在步骤S2202中确定的二次变换集内的用于当前块的二次变换的变换内核的二次变换索引进行解析。在这种情况下，解析二次变换索引的步骤可以被包括在步骤S2203中。

实施方式8：二次变换索引的编码方法

在实施方式中，提出了在基于编码块(或变换块)的大小和/或帧内预测模式配置二次变换集的情况下对从编码器发信号通知的二次变换索引进行高效编码/解码的方法。

如上所述，当应用二次变换时，编码器/解码器可以根据预先配置的条件确定(或选择)应用于当前编码块的二次变换集。另外，解码器可以使用从编码器发信号通知的二次变换索引来推导在所确定的二次变换集内的应用于当前编码块的变换内核。这里，二次变换索引表示指示二次变换集内的应用于当前块的二次变换的变换内核的语法元素。在本公开中，二次变换索引可以被称为NSST索引、LFNST索引等。

如以上在实施方式6中描述的，编码器/解码器可以通过使用各种大小的变换内核来配置二次变换集，并且二次变换集中所包括的变换内核的数目不是固定的，而是可以被可变地确定。

因此，由于对于每个二次变换集而言，可用变换内核的数目可以不同，因此编码器/解码器可以通过使用截断一元方法来对二次变换索引执行二值化，以便高效地二值化。作为实施方式，编码器/解码器可以通过使用下表6来根据每个二次变换集的二次变换索引的可用最大值执行截断一元二值化。

[表6]

在表6中，通过假定使用NSST作为二次变换来描述实施方式，但本公开不限于这样的名称。如上所述，根据本公开的实施方式的二次变换可以被称为不可分二次变换(NSST)、低频不可分变换(LFNST)等。

参照表6，可以通过截断一元二值化方法对NSST索引进行二值化。在这种情况下，可以根据二次变换集内的最大索引值来确定二值化长度。

在实施方式中，基于上下文对表6的二次变换索引进行编码/解码，并且在这种情况下，可以考虑以下变量来应用上下文建模。

-编码块(或变换块)的大小

-帧内预测模式

-混合类型值

-二次变换集的二次变换索引值

实施方式9：简化变换

在本公开的实施方式中，描述了图15至图22中提出的简化变换的各种实施方式，以便改善变换的复杂性问题。如上所述，可以应用本公开中提出的简化变换，而不管是初级变换(例如，DCT、DST)还是二次变换(例如，NSST、低频不可分变换(LFNST))。

图23是例示了作为应用本公开的实施方式的基于简化因子的简化变换结构的示图。

参照图23，解码器主要是为了方便描述而描述的，但是在实施方式中提出的简化变换可以等同地应用于编码器。

解码器可以对反量化后的变换系数应用逆简化变换。在这种情况下，解码器可以使用预定的(或预定义的)简化因子(例如，R或R/N)和/或变换内核，以便执行简化变换。

在一个实施方式中，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。当当前编码块是亮度块时，CIdx的值可以为0。如若不然(即，如果当前编码块是Cb或Cr块)，则CIdx可以具有诸如1这样的非零值。

图24是例示了作为可以应用本公开的实施方式的通过自适应地应用简化变换来执行解码的方法的示图。

参照图24，解码器主要是为了方便描述而描述的，但是在实施方式中提出的使用简化变换来执行变换的方法可以等同地应用于编码器。

解码器对当前块执行反量化(S2401)。

解码器检查是否向当前块应用(或者针对当前块使用)变换(S2402)。如果不向当前块应用变换，则解码器终止变换处理。

当向当前块应用变换时，解码器从视频信号解析指示应用于当前块的变换内核的变换索引(S2403)。

解码器检查是否满足简化逆变换条件(S2404)。如果不满足简化逆变换条件，则解码器对当前块执行正常逆变换(S2405)。如果满足简化逆变换条件，则解码器对当前块执行简化逆变换(S2407)。在这种情况下，解码器可以基于在步骤S2403中解析的变换索引来选择应用于当前块的变换内核(S2406)。作为实施方式，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。此外，当向当前块应用简化逆变换时，步骤S2406可以包括选择简化因子。

在实施方式中，可以向上述条件6)(例如，表3和表4)应用简化逆变换条件。换句话说，可以基于当前块(编码块或变换块)的大小和变换类型(或变换内核)来确定是否应用简化逆变换。

作为实施方式，当满足以下特定条件时，可以使用简化变换。换句话说，可以向满足以下特定条件的具有预定大小或更大大小(或大于预定大小)的块应用简化变换。

-宽度>TH&&高度>TH(其中，TH是表示特定阈值的预定义值(例如，4))

或

-宽度×高度>K&&MIN(宽度，高度)>TH(其中，K或TH为预定义值，并且表示特定阈值)

作为另一实施方式，当满足以下特定条件时，可以使用简化变换。换句话说，可以向满足以下特定条件的具有预定大小或更小大小(或小于预定大小)的块应用简化变换。

-宽度<＝TH&&高度<＝TH(其中，TH是表示特定阈值的预定义值(例如，8))

或

-宽度×高度<＝K&&MIN(宽度，高度)<＝TH(其中，K或TH为预定义值，并且表示特定阈值)

作为另一示例，可以仅向预定的块组应用简化变换。

-宽度＝＝TH&&高度＝＝TH

或

-宽度＝＝高度

作为实施方式，如果不满足简化变换的使用条件，则可以应用正常变换。具体地，普通变换可以是预定义的并且可用于编码器/解码器。以下示出了正常变换的示例。

-DCT2、DCT4、DCT5、DCT7、DCT8

或

-DST1、DST4、DST7

或

-不可分变换

或

-NSST(HyGT)

或

-LFNST(低频不可分变换)

可以基于逻辑运算符来解释以上条件，如下表7中所示。

[表7]

另外，如图24中例示的，简化变换条件可以取决于指示应用于当前块的变换的变换索引Transform_idx。作为示例，可以从编码器向解码器发送两次Transform_idx。一个可以是水平变换索引Transform_idx_h，而另一个可以是垂直变换索引Transform_idx_v。

图25是例示了作为可以应用本公开的实施方式的通过自适应地应用简化变换来执行解码的方法的示图。

参照图25，解码器主要是为了方便描述而描述的，但是在实施方式中提出的使用简化变换执行变换的方法可以等同地应用于编码器。

在本公开的实施方式中，上述简化变换可以用于二次变换。在这方面，将省略与图24中描述的方法重复的描述。

1)解码器对当前块执行反量化，然后检查在当前块中是否激活NSST。解码器可以使用预定义条件来确定是否有必要解析NSST索引。

2)如果NSST被激活，则解码器解析NSST索引并检查是否应用简化二次逆变换。

3)解码器检查是否满足简化逆变换条件。

4)如果不满足简化逆变换条件，则解码器对当前块执行正常逆变换。

5)如果满足简化二次逆变换条件，则解码器对当前块执行简化二次逆变换。

6)在这种情况下，解码器可以基于NSST索引来选择应用于当前块的变换内核。作为实施方式，可以基于诸如当前块(编码块或变换块)的大小(例如，宽度/高度)、帧内/帧间预测模式、CIdx等这样的可用信息来选择变换内核。另外，当向当前块应用简化二次逆变换时，解码器可以选择简化因子。

在实施方式中，可以基于当前块(编码块或变换块)的大小和变换类型(或变换内核)来确定是否应用简化逆变换。

实施方式10：作为具有不同块大小的二次变换的简化变换

在本公开的实施方式中，提出了考虑到用于二次变换/二次逆变换的各种块大小的简化变换。作为示例，可以定义用于二次变换/二次逆变换的4×4、8×8和16×16的不同块大小的简化变换。

图26和图27是例示了正向简化二次变换和反向简化二次变换以及用于推导它们的伪代码的示例的示图。

参照图27和28，示出了当应用二次变换的块是8×8块并且简化系数R为16时的简化二次变换和简化二次逆变换。可以通过使用图27中例示的伪代码来推导图26中例示的简化二次变换和简化二次逆变换。

实施方式11：作为具有非矩形形状的二次变换的简化变换

如上所述，由于应用不可分变换的二次变换的复杂度问题，在相关技术的图像压缩技术中，向编码块(或变换块)的左上4×4或8×8区域应用二次变换。

本公开的实施方式提出了除了4×4或8×8正方形区域之外还向各种非正方形图应用简化二次变换的方法。

参照图28，在实施方式中，可以向块中的仅一部分应用简化二次变换，如图29中例示的。

在图28中，每个正方形代表4×4区域。因此，编码器/解码器可以向10×4像素即160像素区域应用简化二次变换。在这种情况下，简化系数R＝16并且整个RST矩阵对应于16×160矩阵，由此降低了应用二次变换的计算复杂度。

实施方式12：简化因子

参照图29，如上所述，根据本公开的实施方式的简化变换可以通过简化因子来控制，如图29中例示的。

具体地，修改简化因子可以修改存储器复杂度和乘法运算的数目。如先前在图15和式6中作为简化因子R/N提到的，可以通过修改简化因子来减少存储器和乘法。例如，对于R＝16的8×8NSST，存储器和乘法可以减少1/4。

实施方式13：高层语法

本公开的实施方式提出了用于在高层控制简化变换的高层语法结构。

在实施方式中，如下表8的示例中所示，可以通过序列参数集(SPS)发送是否接受简化变换以及关于大小和/或简化因子的信息。然而，本公开不限于此，并且可以通过图片参数集(PPS)、切片头等来发信号通知语法。

[表8]

/>

参照表8，如果Reduced_transform_enabled_flag为1，则简化变换可以是可用的并且被应用。在Reduced_transform_enabled_flag为0的情况下，该情况可以指示简化变换不可用。如果Reduced_transform_enabled_flag不存在，则该值可以被估计为等于零。

Reduced_transform_factor表示指定用于简化变换的简化维度的数目的语法元素。

min_reduced_transform_size表示指定将应用简化变换的最小变换大小的语法元素。如果min_reduced_transform_size不存在，则该值可以被估计为等于零。

max_reduced_transform_size表示指定将应用简化变换的最大变换大小的语法元素。如果max_reduced_transform_size不存在，则该值可以被估计为等于零。

Reduced_transform_factor表示指定用于简化变换的简化维度的数目的语法元素。如果Reduced_transform_factor不存在，则该值可以被估计为等于零。

实施方式14：二次变换内核

本公开的实施方式提出了各种二次变换内核。

在实施方式中，可以如下表9中所示地定义用于DC模式的4×4NSST内核。

[表9]

/>

另外，在实施方式中，可以如下表10中所示地定义用于平面模式的4×4NSST内核。

[表10]

/>

另外，在实施方式中，可以如下表11中所示地定义用于DC模式的8×4NSST内核。

[表11]

/>

/>

/>

/>

/>

另外，在实施方式中，可以如下表12中所示地定义用于平面模式的8×8NSST内核。

[表12]

/>

/>

/>

/>

/>

上述表9至表12的变换内核可以被定义为用于简化变换的较小变换内核。

例如，对于DC模式和R＝8的8×8NSST，存储器和乘法可以减少1/2。因此，通过仅保持上表7的变换内核的上半部分的系数(8×16矩阵)，可以以如表13中示出的较小大小定义简化变换内核。

[表13]

例如，对于DC模式和R＝8的4×4NSST，存储器和乘法可以减少1/2。因此，通过仅保持上表7的变换内核的上半部分的系数(8×16矩阵)，可以以如表13中示出的较小大小定义简化变换内核。

[表14]

/>

/>

/>

/>

/>

在以上示例中，每个变换系数由9位表示(即，1位：负号；8位：0至255的绝对值)。在本公开的实施方式中，可以使用各种精度来表示变换系数。例如，可以使用8位代替9位来表示每个系数。在这种情况下，符号位不改变，但是绝对值的范围可以改变。

为了方便描述，已经分别描述了上述本公开的实施方式，但是本公开不限于此。即，上述实施方式1至14中描述的实施方式可以被独立地执行，并且可以组合并执行一个或更多个各种实施方式。

参照图30，解码器主要是为了方便描述而描述的，但是根据本公开的实施方式的基于二次变换集执行变换/逆变换的方法甚至可以基本上等同地应用于编码器。

解码器通过对当前块执行反量化来生成经反量化后的变换块(S3001)。

解码器获取当前块的帧内预测模式(S3002)。

解码器基于帧内预测模式确定多个二次变换集当中的应用于当前块的二次变换集(S3003)。

如上所述，多个二次变换集可以包括至少一个混合二次变换集。

此外，如上所述，混合二次变换集可以包括应用于8×8大小的区域的至少一个8×8变换内核和应用于4×4大小的区域的至少一个4×4变换内核。

另外，如上所述，当多个二次变换集包括多个混合二次变换集时，多个混合二次变换集可以分别包括不同数目的变换内核。

此外，如上所述，步骤S3003可以包括：基于帧内预测模式确定是否使用混合二次变换集；以及当确定使用混合二次变换集时，基于当前块的大小，确定包括至少一个混合二次变换集的多个二次变换集当中的应用于当前块的二次变换集；并且当确定不使用混合二次变换集时，基于当前块的大小，确定除了所述至少一个混合二次变换集之外的其余二次变换集当中的应用于当前块的二次变换集。

解码器推导所确定的二次变换集中的应用于当前块的变换内核(S3004)。

如上所述，步骤S3004还可以包括获取指示所确定的二次变换集中的应用于当前块的变换内核的二次变换索引。作为实施方式，可以基于所确定的二次变换集中的可用变换内核的最大数目通过截断一元方案对二次变换索引进行二值化。

解码器通过使用推导出的变换内核来对反量化后的变换块的左上特定区域执行二次变换(S3005)。

图31是例示了根据应用本公开的实施方式的反量化单元和逆变换单元的示图。

在图31中，为了方便描述，逆变换单元3100被例示为一个块，但是帧间预测单元可以被实现为编码器和/或解码器中所包括的部件。

参照图31，反量化单元3101和逆变换单元3100实现以上图4至图30中提出的功能、过程和/或方法。具体地，逆变换单元3100可以被配置为包括帧内预测模式获取单元3102、二次变换集确定单元3103、变换内核推导单元3104和二次逆变换单元3105。

反量化单元3101通过对当前块执行反量化来生成反量化后的变换块。

帧内预测模式获取单元3102获取当前块的帧内预测模式。

二次变换集确定单元基于帧内预测模式来确定多个二次变换集当中的应用于当前块的二次变换集。

此外，如上所述，二次变换集确定单元3103可以基于帧内预测模式确定是否使用混合二次变换集；以及当确定使用混合二次变换集时，基于当前块的大小，确定包括至少一个混合二次变换集的多个二次变换集当中的应用于当前块的二次变换集；并且当确定不使用混合二次变换集时，基于当前块的大小，确定除了所述至少一个混合二次变换集之外的其余二次变换集当中的应用于当前块的二次变换集。

变换内核推导单元3104推导所确定的二次变换集中的应用于当前块的变换内核。

如上所述，变换内核推导单元3104可以获取指示所确定的二次变换集中的应用于当前块的变换内核的二次变换索引。作为实施方式，可以基于所确定的二次变换集中的可用变换内核的最大数目通过截断一元方案对二次变换索引进行二值化。

二次逆变换单元3105通过使用推导出的变换内核来对反量化后的变换块的左上特定区域执行二次逆变换。

多个二次变换集包括至少一个混合二次变换集。

图32例示了应用本公开的视频编码系统。

视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输形式将编码后的视频/图像信息或数据传送到接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。

视频源可以通过视频/图像的捕获、合成或生成处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等来生成虚拟视频/图像，并且在这种情况下，可以通过生成相关数据的处理来替换视频/图像捕获处理。

编码设备可以对输入视频/图像进行编码。编码设备可以为了压缩和编码效率而执行包括预测、变换和量化等的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流形式输出。

发送器可以通过数字存储介质或网络以文件或流传输形式将以比特流形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络发送的元件。接收器可以提取比特流，并且将提取的该比特流发送到解码设备。

解码设备执行与编码设备的操作对应的包括反量化、逆变换、预测等的一系列过程，以对视频/图像进行解码。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

参照图33，应用本公开的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。

编码服务器将从包括智能手机、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以用于生成比特流并且将该比特流传输到流传输服务器。作为另一示例，当包括智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。

可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作将存在什么服务告知用户的中介。当用户向网络服务器请求所期望的服务时，网络服务器向流传输服务器传送所请求的服务，并且流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的各个装置之间的命令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当流传输服务器从编码服务器接收内容时，流传输服务器可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间，以便提供平稳的流传输服务。

用户装置的示例可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、触屏PC、平板PC、超级本、诸如智能手表、智能眼镜或头戴式显示器(HMD)等这样的可穿戴装置等。

内容流传输系统中的每个服务器都可以作为分布式服务器操作，在这种情况下，每个服务器接收到的数据可以被分布式处理。

如上所述，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每幅图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。

另外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供装置、(顶置)OTT视频装置、互联网流传输服务提供装置、三维(3d)视频装置、视频电话视频装置、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)、医疗视频装置等中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、蓝光播放器、互联网访问TV、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。

另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、柔性盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，互联网上的传输)的形式实现的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线/无线通信网络传输。

另外，本公开的实施方式可以通过程序代码被实现为计算机程序产品，程序代码可以通过本公开的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。

在上述实施方式中，本公开的部件和特征被以预定形式组合。除非另有明确说明，否则应该将每个部件或特征视为选择。每个部件或特征可以被实现为不与其它部件或特征关联。另外，可以通过关联一些部件和/或特征过来配置本公开的实施方式。可以改变本公开的实施方式中所描述的操作的顺序。任何实施方式的一些部件或特征可以被包括在另一实施方式中，或者被与另一实施方式对应的部件和特征替换。显而易见，通过在提交之后进行修改，组合权利要求书中没有被明确引用的权利要求以形成实施方式或者将其包括在新权利要求中。

本公开的实施方式可以通过硬件、固件、软件或其组合来实现。在由硬件实现的情况下，根据硬件实现方式，本文中描述的示例性实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。

在由固件或软件实现的情况下，本公开的实施方式可以以模块、过程、功能等形式来实现以执行上述功能或操作。软件代码可以被存储在存储器中，并且由处理器运行。存储器可以处于处理器的内部或外部，并且可以通过已知的各种手段向处理器发送数据/从处理器接收数据。

本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实施本公开。因此，以上提到的详细描述不应该被解释为在任何方面是限制性的，并且应该被示例性考虑。本公开的范围应该通过对所附权利要求的合理解释来确定，并且在本公开的等同范围内的所有修改形式被包括在本公开的范围内。

工业实用性

上文中，为了例示性目的，公开了本公开的优选实施方式，并且下文中，本领域的技术人员将在所附权利要求书中公开的本公开的技术精神和技术范围内进行各种其它实施方式的修改、改变、替代或添加。

Claims

1.一种对视频信号进行解码的方法，该方法包括以下步骤：

针对当前块生成反量化后的变换块；

确定所述当前块的帧内预测模式；

基于所述帧内预测模式确定多个二次变换集当中的应用于所述当前块的二次变换集，其中，成组的帧内预测模式组中的每一个被指派有所述多个二次变换集之一；

基于二次变换索引来推导所确定的所述二次变换集中的应用于所述当前块的变换内核；以及

基于推导出的所述变换内核来对反量化后的所述变换块的系数执行逆二次变换，并且

其中，被执行所述逆二次变换的系数的数目小于通过执行所述逆二次变换而获得的系数的数目，并且

其中，所述帧内预测模式是在67种帧内预测模式和广角帧内预测模式当中确定的，

第一二次变换集被指派给帧内预测模式0和1，

第二二次变换集被指派给小于0、大于等于2且小于等于12、以及大于等于56的帧内预测模式，

第三二次变换集被指派给大于等于13且小于等于23和大于等于45且小于等于55的帧内预测模式，并且

第四二次变换集被指派给大于等于24且小于等于44的帧内预测模式。

2.根据权利要求1所述的方法，其中，以基于所确定的所述二次变换集中的可用变换内核的数目的截断一元方案对所述二次变换索引进行二值化。

3.根据权利要求1所述的方法，其中，所述多个二次变换集包括包含应用于8×8大小区域的至少一个8×8变换内核和应用于4×4大小区域的至少一个4×4变换内核的至少一个混合二次变换集。

4.根据权利要求3所述的方法，其中，当所述多个二次变换集包括多个混合二次变换集时，所述多个混合二次变换集分别包括不同数目的变换内核。

5.根据权利要求4所述的方法，

其中，以基于所确定的所述二次变换集中的可用变换内核的最大数目的截断一元方案对所述二次变换索引进行二值化。

6.根据权利要求3所述的方法，其中，确定所述二次变换集的步骤包括：

基于所述帧内预测模式确定是否使用所述混合二次变换集，以及

当确定使用所述混合二次变换集时，基于所述当前块的大小，确定包括所述至少一个混合二次变换集的所述多个二次变换集当中的应用于所述当前块的二次变换集，并且当确定不使用所述混合二次变换集时，基于所述当前块的大小，确定除了所述至少一个混合二次变换集之外的其余二次变换集当中的应用于所述当前块的二次变换集。

7.一种对视频信号进行编码的方法，该方法包括以下步骤：

获得当前块的残差数据；

对所述残差数据执行初级变换以获得第一块；

对所述第一块的第一数目的系数执行二次变换以获得第二数目的变换系数；以及

对所述变换系数执行量化，

其中，执行二次变换的步骤包括：

基于应用于所述当前块的帧内预测模式来确定多个二次变换集当中的要应用于所述第一块的二次变换集；

推导所述二次变换集中的要应用于所述第一块的变换内核；

生成包括关于所述变换内核的信息的二次变换索引；以及

对所述第一块应用所述变换内核，并且

其中，所述第一数目大于所述第二数目，并且

第一二次变换集被指派给帧内预测模式0和1，

8.根据权利要求7所述的方法，该方法还包括以下步骤：

以基于所述二次变换集中的可用变换内核的数目的截断一元方案对所述二次变换索引进行二值化。

9.根据权利要求7所述的方法，其中，所述多个二次变换集包括包含应用于8×8大小区域的至少一个8×8变换内核和应用于4×4大小区域的至少一个4×4变换内核的至少一个混合二次变换集。

10.一种用于存储通过执行以下步骤生成的图片信息的非暂态计算机可读存储介质：

获得当前块的残差数据；

对所述残差数据执行初级变换以获得第一块；

对所述变换系数执行量化，

其中，执行二次变换的步骤包括以下步骤：

推导所述二次变换集中的要应用于所述第一块的变换内核；

生成包括关于所述变换内核的信息的二次变换索引；以及

对所述第一块应用所述变换内核，并且

其中，所述第一数目大于所述第二数目，并且

第一二次变换集被指派给帧内预测模式0和1，

第二二次变换集被指派给小于0、大于等于2且小于等于12和大于等于56的帧内预测模式，