CN116866577A

CN116866577A - 编码/解码设备和发送设备

Info

Publication number: CN116866577A
Application number: CN202311021721.6A
Authority: CN
Inventors: 具文模; M·萨勒海法尔; 金昇焕; 林宰显
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2018-08-08
Filing date: 2019-08-08
Publication date: 2023-10-10
Also published as: US11412242B2; US11863778B2; KR20210036397A; CN116866579A; KR20230037707A; CN116866578A; KR102509578B1; EP3836551A1; WO2020032632A1; CN112823524B; US20210329281A1; CN116866576A; US20220295085A1; US20240114159A1; CN112823524A; EP3836551A4

Abstract

本申请涉及编码/解码设备和发送设备。本发明涉及一种基于多重变换选择(MTS)的视频信号解码方法。该方法可以包括以下步骤：解析表示MTS是否应用于当前块的逆变换的第一语法元素，其中，MTS表示使用除了针对当前块预定义的默认变换类型之外的变换类型的变换模式；通过对当前块执行反量化，推导具有当前块的宽度和高度的反量化变换系数阵列；基于第一语法元素来确定应用于当前块的竖直方向的竖直变换类型和应用于当前块的水平方向的水平变换类型；以及通过使用竖直变换类型和水平变换类型对反量化变换系数阵列执行逆变换，推导具有当前块的宽度和高度的残差样本阵列。

Description

编码/解码设备和发送设备

本申请是原案申请号为201980066113.2的发明专利申请(国际申请号：PCT/KR2019/009990，申请日：2019年8月8日，发明名称：图像编码/解码方法和用于图像编码/解码方法的装置)的分案申请。

技术领域

本公开涉及用于对视频进行编码/解码的方法和设备，并且更具体地，涉及基于多重变换选择(MTS)执行变换/逆变换的技术。

背景技术

下一代视频内容将具有高空间分辨率、高帧频和高维度场景呈现的特性。为了处理这种内容，将显著增加诸如存储器存储、存储器访问速率和处理能力这样的技术。

因此，必须设计用于更高效地处理下一代视频内容的新编码工具。具体地，当应用变换时，就编码效率和复杂度而言，有必要设计更高效的变换。

发明内容

[技术问题]

本公开旨在提出针对用于视频压缩的变换核的低复杂度的操作算法。

本公开旨在提出设计具有低复杂度的离散正弦变换7(DST7)的方法。

本公开旨在提出将正向DST7和逆向DST7设计为离散傅里叶变换(DFT)的方法。

本公开旨在提出通过一维DFT或二维DFT实现DST7的方法。

本公开旨在提出通过应用各种缩放方法仅使用整数运算来实现DST7的方法。

本公开旨在提出通过使用DFT实现DST7的方法和仅使用整数运算实现DST7的方法来设计具有长度8、16或32的DST7的方法。

本公开旨在提出用于合并新的变换设计的编码器/解码器结构。

本公开旨在提出本公开中提出的根据实施方式的整体变换处理。

[技术方案]

在本公开的一方面，一种基于多重变换选择(MTS)来对视频信号进行解码的方法可以包括：解析指示是否将所述MTS应用于当前块的逆变换的第一语法元素，其中，所述MTS指示使用除了在所述当前块中预定义的默认变换类型之外的另一变换类型的变换模式；通过对所述当前块执行反量化来推导具有当前块的宽度和高度的反量化变换系数阵列；基于所述第一语法元素来确定应用于所述当前块的竖直方向的竖直变换类型和应用于所述当前块的水平方向的水平变换类型；以及通过使用所述竖直变换类型和所述水平变换类型对所述反量化变换系数阵列执行逆变换来推导具有所述当前块的宽度和高度的残差样本阵列。

优选地，默认变换类型可以被配置为DCT2，并且除了默认变换类型之外的其余变换类型可以被配置为DST7和DCT8。

优选地，如果第一语法元素指示MTS不被应用于当前块的逆变换，则竖直变换类型和水平变换类型可以被确定为DCT2。如果第一语法元素指示MTS被应用于当前块的逆变换，则竖直变换类型和水平变换类型中的每一者可以被确定为DST7和DCT8中的任一个。

优选地，该方法还包括解析指示MTS是否可用于帧内编码块的第二语法元素和指示MTS是否可用于帧间编码块的第三语法元素。当第二语法元素为1时，第一语法元素可以存在于针对帧内编码块的变换单元语法中，并且当第三语法元素为1时，第一语法元素可以存在于针对帧间编码块的变换单元语法中。

优选地，推导残差样本阵列的步骤可以包括使用竖直变换类型对反量化变换系数阵列的各列在竖直方向上执行一维变换处理，以及使用水平变换类型对通过针对各列的一维变换变换处理输出的中间样本阵列的各行在水平方向上执行一维变换处理。

优选地，在水平方向上执行一维变换处理的步骤还可以包括基于预定义系数的最小值和最大值，裁剪通过针对各列的一维变换处理输出的中间样本值。

在本公开的另一方面，一种基于多重变换选择(MTS)来对视频信号进行解码的设备可以包括：语法元素解析单元，该语法元素解析单元被配置为解析指示是否将所述MTS应用于当前块的逆变换的第一语法元素，其中，所述MTS指示使用除了在所述当前块中预定义的默认变换类型之外的另一变换类型的变换模式；反量化变换系数推导单元，该反量化变换系数推导单元被配置为通过对所述当前块执行反量化来推导具有所述当前块的宽度和高度的反量化变换系数阵列；变换类型确定单元，该变换类型确定单元被配置为基于所述第一语法元素来确定应用于所述当前块的竖直方向的竖直变换类型和应用于所述当前块的水平方向的水平变换类型；以及残差样本推导单元，该残差样本推导单元被配置为通过使用所述竖直变换类型和所述水平变换类型对所述反量化变换系数阵列执行逆变换来推导具有所述当前块的宽度和高度的残差样本阵列。

优选地，如果第一语法元素指示所述MTS不被应用于当前块的逆变换，则竖直变换类型和水平变换类型可以被确定为DCT2。如果第一语法元素指示所述MTS被应用于当前块的逆变换，则竖直变换类型和水平变换类型中的每一者可以被确定为DST7和DCT8中的任一个。

优选地，语法元素解析单元可以被配置为解析指示所述MTS是否可用于帧内编码块的第二语法元素和指示所述MTS是否可用于帧间编码块的第三语法元素。当第二语法元素为1时，第一语法元素可以存在于针对帧内编码块的变换单元语法中，并且当第三语法元素为1时，第一语法元素可以存在于针对帧间编码块的变换单元语法中。

优选地，残差样本推导单元可以被配置为使用竖直变换类型对反量化变换系数阵列的各列在竖直方向上执行一维变换处理，以及使用水平变换类型对通过针对各列的一维变换处理输出的中间样本阵列的各行在水平方向上执行一维变换处理。

优选地，残差样本推导单元可以被配置为基于预定义系数的最小值和最大值，裁剪通过针对各列的一维变换处理输出的中间样本值。

[有利效果]

本公开可以通过提供设计具有低复杂度的离散正弦变换7(DST7)的方法来减少存储器使用和操作复杂度。

此外，本公开可以通过在对静止图像或运动图像进行编码时将正向DST7和逆向DST7设计为DFT来通过FFT算法降低DST7的复杂度。

如上所述，通过复杂度低的新操作算法，可以降低操作复杂度并且可以提高编码效率。

附图说明

图1是例示了根据本公开的实施方式的用于对视频信号进行编码的编码器的配置的框图。

图2是例示了根据本公开的实施方式的用于对视频信号进行解码的解码器的配置的框图。

图3A至图3D例示了可以应用本公开的实施方式，图3A是用于描述基于四叉树(下文中被称为“QT”)的块分割结构的示图，图3B是用于描述基于二叉树(下文中被称为“BT”)的块分割结构的示图，图3C是用于描述基于三叉树(下文中被称为“TT”)的块分割结构的示图，并且图3D是用于描述基于非对称树(下文中被称为“AT”)的块分割结构的示图。

图4是应用本公开的实施方式，并且例示了编码器内的变换和量化单元120/130以及反量化和逆变换单元140/150的示意性框图。

图5是应用本公开的实施方式，并且例示了解码器内的反量化和逆变换单元220/230的示意性框图。

图6是示出了作为应用本公开的实施方式的应用多重变换选择(MTS)的变换配置组的表。

图7是示出了作为应用本公开的实施方式的执行多重变换选择(MTS)的编码处理的流程图。

图8是示出了作为应用本公开的实施方式的执行多重变换选择(MTS)的解码处理的流程图。

图9是用于描述作为应用本公开的实施方式的对MTS标志和MTS索引进行编码的处理的流程图。

图10是用于描述作为应用本公开的实施方式的基于MTS标志和MTS索引向行或列应用水平变换或竖直变换的解码处理的流程图。

图11是作为应用本公开的实施方式的基于变换相关参数执行逆变换的流程图。

图12是示出了作为应用本公开的实施方式的在NSST中针对每种帧内预测模式分配变换集的表。

图13是作为应用本公开的实施方式的吉文斯旋转的计算流程图。

图14例示了作为应用本公开的实施方式的由吉文斯旋转层和置换构成的4×4NSST中的一轮配置。

图15是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度16的正向DST7的流程图。

图16是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度16的逆向DST7的流程图。

图17至图19是应用本公开的实施方式，并且例示了其中应用图15和图16的xDST7_FFT_B16函数的流程图。

图20是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度32的正向DST7的流程图。

图21是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度32的正向DST7的流程图。

图22至图24是应用本公开的实施方式，并且例示了其中应用图15和图16的xDST7_FFT_B16函数的流程图。

图25是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度8的正向DST7的流程图。

图26是应用本公开的实施方式，并且例示了其中使用离散傅里叶变换(DFT)设计具有长度8的逆向DST7的流程图。

图27是应用本公开的实施方式，并且例示了已经应用33点DFT的16×16DST7的框图。

图28是应用本公开的实施方式，并且例示了已经应用65点DFT的32×32DST7的框图。

图29是应用本公开的实施方式，并且例示了其中正向离散正弦变换7(DST7)和正向离散余弦变换8(DCT8)被作为离散傅里叶变换(DTF)执行的编码流程图。

图30是应用本公开的实施方式，并且例示了其中逆向离散正弦变换7(DST7)和逆向离散余弦变换8(DCT8)被作为离散傅里叶变换(DTF)执行的解码流程图。

图31是例示了根据应用本公开的实施方式的基于多重变换选择(MTS)对视频信号进行解码的方法的流程图。

图32是例示了根据应用本公开的实施方式的基于多重变换选择(MTS)对视频信号进行解码的设备的示图。

图33例示了应用本公开的视频编码系统。

图34是应用本公开的实施方式，并且例示了内容流传输系统的结构示图。

具体实施方式

下文中，将参考附图详细描述本公开的实施方式的配置和操作，参考附图描述的本公开的配置和操作被作为实施方式描述，并且本公开的范围、核心配置和操作不限于此。

另外，本公开中使用的术语选自当前广泛使用的通用术语，但在特定情况下，使用申请人随机选择的术语。在这种情况下，在对相应部分的详细描述中，因为清楚描述了术语的含义，所以不应该仅利用在本公开的描述中使用的术语的名称来解释术语，并且应该理解和解释对应术语的含义。

此外，当存在为了描述本公开而选择的常见术语或具有相似含义的另一术语时，本公开中使用的术语可以被替换为更适当的解释。例如，在每个编码处理中，可以适当地替换和解释信号、数据、样本、图片、帧和块。另外，在每个编码处理中，可以适当地替换和解释分割、分解、分离和划分。

在本公开中，多重变换选择(MTS)可以是指用于使用至少两个变换类型执行变换的方法。这也可以被表示为自适应多重变换(AMT)或显式多重变换(EMT)，同样地，mts_idx也可以被表示为AMT_idx、EMT_idx、tu_mts_idx、AMT_TU_idx、EMT_TU_idx、变换索引、变换组合索引，并且本公开不限于这些表述。

图1是作为应用本公开的实施方式的执行视频信号编码的编码器的示意性框图。

参照图1，编码器100可以被配置为包括图像划分单元110、变换单元120、量化单元130、反量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。

图像划分单元110将输入到编码器100中的输入图像(或图片或帧)划分成一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。

然而，这些术语仅是为了方便描述本公开，并且本公开不限于这些术语的定义。另外，在本公开中，为了方便描述，术语“编码单元”被用作在对视频信号进行编码或解码时使用的单元，但本公开不限于此，并且可以根据本公开适当地做出解释。

编码器100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块)以生成残差信号(或残差块)，并且所生成的残差信号被发送到变换单元120。

变换单元120可以通过向残差信号应用变换技术来生成变换系数。可以向四叉树结构正方形块和按二叉树结构、三叉树结构或非对称树结构划分的块(正方形或矩形)应用变换处理。

变换单元120可以基于多个变换(或变换组合)来执行变换，并且变换方案可以被称为多重变换选择(MTS)。MTS也可以被称为自适应多重变换(AMT)或增强型多重变换(EMT)。

MTS(或AMT或EMT)可以是指基于从多个变换(或变换组合)中自适应地选择的变换(或变换组合)来执行的变换方案。

所述多个变换(或变换组合)可以包括参考本公开的图6描述的变换(或变换组合)。在本公开中，变换或变换类型可以例如被书写如DCT类型2、DCT-II、DCT2或DCT-2。

变换单元120可以执行以下实施方式。

本公开提供了将正向DST7和逆向DST7设计为离散傅里叶变换(DFT)的方法。

变换单元120可以通过一维DFT或二维DFT实现DST7。

此外，变换单元120可以通过应用各种缩放方法仅使用整数运算来实现DST7。

此外，变换单元120可以通过使用DFT实现DST7的方法和仅使用整数运算实现DST7的方法来设计具有长度8、16或32的DST7。

在本公开中将更详细地描述其详细实施方式。

量化单元130可以对变换系数进行量化，并且将量化变换系数发送到熵编码单元190，并且熵编码单元190可以对量化信号进行熵编码，并且将熵编码后的量化信号作为比特流输出。

尽管变换单元120和量化单元130被描述为分开的功能单元，但本公开不限于此，它们可以被组合成一个功能单元。反量化单元140和逆变换单元150也可以被类似地组合成一个功能单元。

从量化单元130输出的量化信号可以被用于生成预测信号。例如，通过循环地通过反量化单元140和逆变换单元150对量化信号应用反量化和逆变换来重构残差信号。重构的残差信号被与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号。

此外，由于在这种压缩处理期间出现量化误差，因此可能出现示出块边界的劣化。这种现象被称为块伪影(blocking artifact)，并且是评估图像质量的关键要素之一。为了减少劣化，可以执行滤波处理。通过滤波处理消除块劣化并减少当前图片的错误，以增强图像质量。

滤波单元160对重构信号应用滤波，并且将所应用的重构信号输出到再现装置，或者将输出的重构信号发送到解码图片缓冲器170。帧间预测单元180可以使用从解码图片缓冲器170发送的滤波后的信号作为参考图片。如此，在帧间预测模式下，使用滤波后的图片作为参考图片，以增强图像质量和编码效率。

解码图片缓冲器170可以存储滤波后的图片，以便在帧间预测单元180中使用滤波后的图片作为参考图片。

帧间预测单元180执行时间预测和/或空间预测，以便通过参考重构图片来去除时间冗余和/或空间冗余。在这种情况下，由于用于预测的参考图片是在先前时间进行编码/解码时以块为单位量化和反量化的变换信号，因此可能存在块伪影或振铃伪影。

因此，帧间预测单元180可以通过应用低通滤波器来以子像素为单位在像素之间对信号进行插值，以便解决由于该信号的不连续或量化而导致的性能下降。在这种情况下，子像素意指通过应用插值滤波器生成的虚拟像素，并且整数像素意指存在于重构图片中的实际像素。作为插值方法，可以采用线性插值、双线性插值、维纳滤波器等。

向重构图片应用插值滤波器，以增强预测精度。例如，帧间预测单元180向整数像素应用插值滤波器以生成插值像素，并且可以通过使用由插值像素构成的插值块作为预测块来执行预测。

此外，帧内预测单元185可以通过参考将经历当前编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下处理，以便执行帧内预测。首先，可以准备参考样本，这是生成预测信号所需要的。另外，可以通过使用准备的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可以通过参考样本补零和/或参考样本滤波来准备参考样品。由于参考样本经历了预测和重构处理，因此可能存在量化误差。因此，可以针对用于帧内预测的每个预测模式执行参考样本滤波处理，以便减小此误差。

通过帧间预测单元180或帧内预测单元185生成的预测信号可以被用于生成重构信号或者被用于生成残差信号。

图2是作为应用本公开的实施方式的执行视频信号解码的解码器的示意性框图。

参照图2，解码器200可以被配置为包括解析单元(未例示)、熵解码单元210、反量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。

另外，可以通过再现装置再现通过解码器200输出的重构视频信号。

解码器200可以接收从图1的编码器100输出的信号，并且可以通过熵解码单元210对接收到的信号进行熵解码。

反量化单元220通过使用量化步长信息从熵解码后的信号获得变换系数。

逆变换单元230对变换系数进行逆变换，以获得残差信号。

在这种情况下，本公开提供了针对按预测模式、块大小或块形状中的至少一者划分的每个变换配置组来配置变换组合的方法，并且逆变换单元230可以基于通过本公开配置的变换组合来执行逆变换。另外，可以应用本公开中描述的实施方式。

逆变换单元230可以执行以下实施方式。

逆变换单元230可以通过一维DFT或二维DFT实现DST7。

此外，逆变换单元230可以通过应用各种缩放方法仅使用整数运算来实现DST7。

此外，逆变换单元230可以通过使用DFT实现DST7的方法和仅使用整数运算实现DST7的方法来设计具有长度8、16或32的DST7。

在实施方式中，逆变换单元230可以推导与变换索引对应的变换组合，并且可以使用DST7或DCT8在竖直或水平方向上对当前块执行逆变换。在这种情况下，变换组合可以由水平变换和竖直变换构成，并且水平变换和竖直变换可以对应于DST7或DCT8中的任一个。

在实施方式中，当向DST7应用33点离散傅里叶变换(DFT)时，可以包括将DST7的一行或一列划分为两个部分矢量信号的步骤；以及向两个部分矢量信号应用11点DFT类型1或11点DFT类型2的步骤。

在实施方式中，当DST7的一行或一列被表示为src[0…15]时，两个部分矢量信号可以被划分为src[0…4]和src[5…15]。

在实施方式中，当向DST7应用65点离散傅里叶变换(DFT)时，可以包括将DST7的一行或一列划分为三个部分矢量信号的步骤；并且可以包括向三个部分矢量信号应用13点DFT类型1或13点DFT类型2的步骤。

在实施方式中，当DST7的一行或一列被表示为src[0…31]时，三个部分矢量信号可以被划分为src[0…5]、src[6…18]和src[19…31]。

在实施方式中，在三个部分矢量信号当中，可以向src[0…5]应用13点DFT类型1，并且可以向src[6…18]和src[19…31]应用13点DFT类型2。

此外，逆变换单元230可以使用竖直主变换在竖直方向上对变换系数块执行逆主变换，并且可以使用水平主变换在水平方向上对变换系数块执行逆主变换。

此外，在本实施方式中，在竖直变换之后，应用水平变换，但本公开不限于此。即，在应用水平变换之后，可以应用竖直变换。

在实施方式中，水平变换与竖直变换的组合可以包括图6的实施方式中的至少一个。

尽管反量化单元220和逆变换单元230被描述为分开的功能单元，但本公开不限于此，它们可以被组合成一个功能单元。

所获得的残差信号被与从帧间预测单元260或帧内预测单元265输出的预测信号相加，以生成重构信号。

滤波单元240对重构信号应用滤波，并且将所应用的重构信号输出到生成装置，或者将输出的重构信号发送到解码图片缓冲器单元250。帧间预测单元260可以使用从解码图片缓冲器单元250发送的滤波后的信号作为参考图片。

在本公开中，在变换单元120和编码器100的相应功能单元中描述的实施方式可以分别等同地应用于逆变换单元230和解码器的对应功能单元。

在视频编码时，可以基于四叉树(QT)分割一个块。此外，可以使用QT进一步递归地分割按QT分割的一个子块。可以使用二叉树(BT)、三叉树(TT)或非对称树(AT)中的至少一种方法来分割不再被QT分割的叶块。BT可以具有水平BT(2N×N,2N×N)和竖直BT(N×2N,N×2N)这两种类型的分割。TT可以具有水平TT(2N×1/2N,2N×N,2N×1/2N)和竖直TT(1/2N×2N,N×2N,1/2N×2N)这两种类型的分割。AT可以具有水平上AT(2N×1/2N,2N×3/2N)、水平下AT(2N×3/2N,2N×1/2N)、竖直左AT(1/2N×2N,3/2N×2N)和竖直右AT(3/2N×2N,1/2N×2N)这四种类型的分割。可以使用BT、TT或AT进一步递归地分割BT、TT或AT中的每一个。

图3A示出了QT分割的示例。块A可以按QT被分割成四个子块A0、A1、A2和A3。子块A1可以按QT被分割成四个子块B0、B1、B2和B3。

图3B示出了BT分割的示例。不再按QT分割的块B3可以被分割成竖直BT C0和C1或水平BT D0和D1。如块C0中一样，每个子块可以如同水平BT E0和E1或竖直BT F0和F1的形式进一步被递归地分割。

图3C示出了TT分割的示例。不再按QT分割的块B3可以被分割成竖直TT C0、C1和C2或水平TT D0、D1和D2。如块C1中一样，每个子块可以如同水平TT E0、E1和E2或竖直TT F0、F1和F2的形式进一步被递归地分割。

图3D示出了AT分割的示例。不再按QT分割的块B3可以被分割成竖直AT C0和C1或水平AT D0和D1。如块C1中一样，每个子块可以如同水平AT E0和E1或竖直TT F0和F1的形式进一步被递归地分割。

此外，BT、TT和AT分割可以被一起分割。例如，按BT分割的子块可以按TT或AT被分割。此外，按TT分割的子块可以按BT或AT被分割。按AT分割的子块可以按BT或TT被分割。例如，在水平BT分割之后，每个子块可以被分割成竖直BT，或者在竖直BT分割之后，每个子块可以被分割成水平BT。两种类型的分割方法的分割顺序不同，但最终分割形状相同。

此外，如果块被分割，则可以按各种方式定义搜索块的顺序。通常，从左到右或从上到下地执行搜索。搜索块可以意味着确定是否分割每个分割子块的附加块的顺序，或者可以意味着在块不再被分割的情况下每个子块的编码顺序，或者可以意味着当在子块中参考另一邻近块的信息时的搜索顺序。

图4和图5是应用本公开的实施方式。图4例示了编码器内的变换和量化单元120/130以及反量化和逆变换单元140/150的示意性框图，并且图5例示了解码器内的反量化和逆变换单元220/230的示意性框图。

参照图4，变换和量化单元120/130可以包括主变换单元121、二次变换单元122和量化单元130。反量化和逆变换单元140/150可以包括反量化单元140、逆二次变换单元151和逆主变换单元152。

参照图5，反量化和逆变换单元220/230可以包括反量化单元220、逆二次变换单元231和逆主变换单元232。

在本公开中，当执行变换时，可以通过多个步骤执行变换。例如，如图4中，可以应用主变换和二次变换这两个步骤，或者可以根据算法使用更多的变换步骤。在这种情况下，主变换可以被称为核心变换。

主变换单元121可以对残差信号应用主变换。在这种情况下，主变换可以被预定义为编码器和/或解码器中的表形式。

离散余弦变换类型2(下文中，“DCT2”)可以被应用于主变换。

另选地，离散正弦变换类型7(下文中被称为“DST7”)可以被应用于特定情况。例如，在帧内预测模式下，DST7可以被应用于4×4块。

另外，主变换可以采用多重变换选择(MTS)的各种变换DST7、DCT8、DST1和DCT5的组合。例如，可以采用图6。

二次变换单元122可以向主变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中预定义二次变换。

作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为“NSST”)。例如，NSST可以仅被应用于帧内预测块，并可以具有适于每个预测模式组的变换集。

在这种情况下，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角方向)对称，因此可以通过形成一个组来应用相同的变换集。在这种情况下，当应用针对预测模式52的变换时，因为预测模式52具有与预测模式16相同的变换集，所以对输入数据进行转置，然后应用它。

此外，由于在平面模式和DC模式的情况下不存在针对方向的对称性，因此每个模式具有不同的变换集，并且对应的变换集可以包括两个变换。对于其余方向模式，每个变换集可以包括三个变换。

作为另一实施方式，二次变换可以采用多重变换选择(MTS)的各种变换DST7、DCT8、DST1和DCT5的组合。例如，可以采用图6。

在另一实施方式中，DST7可以被作为主变换应用。

在另一实施方式中，DCT8可以被作为主变换应用。

作为另一实施方式，可以不向整个主变换块而是可以仅向左上8×8区域应用NSST。例如，当块大小为8×8或更大时，应用8×8NSST，并且当块大小小于8×8时，应用4×4NSST，并且在这种情况下，块被划分成4×4块，然后向划分的块中的每一个应用4×4NSST。

作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。

通过图12至图15和本公开内的其它实施方式更具体地描述NSST、4×4NSST和8×8NSST。

量化单元130可以对二次变换后的信号执行量化。

反量化单元140和逆变换单元150相反地执行上述处理，并且将省略对其的冗余描述。

图5是解码器中的反量化单元220和逆变换单元230的示意性框图。

参照以上的图5，反量化单元220和逆变换单元230可以包括反量化单元220、逆二次变换单元231和逆主变换单元232。

逆二次变换单元231对变换系数执行逆二次变换。在这种情况下，逆二次变换表示参考以上图4描述的二次变换的逆变换。

逆主变换单元232对逆二次变换后的信号(或块)执行逆主变换，并且获得残差信号。在这种情况下，逆主变换表示参考以上图4描述的主变换的逆变换。

作为实施方式，主变换可以采用多重变换选择(MTS)的各种变换DST7、DCT8、DST1和DCT5的组合。例如，可以采用图6。

作为本公开的实施方式，可以向主变换应用DST7。

作为本公开的实施方式，可以向主变换应用DCT8。

本公开可以提供针对通过预测模式、块大小或块形状中的至少一者划分的每个变换配置组来配置变换组合的方法，并且逆主变换单元232可以基于通过本公开配置的变换组合来执行逆变换。另外，可以应用本公开中描述的实施方式。

应用多重变换选择(MTS)的变换配置组

在本公开中，用于变换配置组G_i的第j个变换组合候选由下式1中示出的对表示。

[式1]

(H(G_i,j),V(G_i,j))

其中，H(G_i,j)指示第j个候选的水平变换，并且V(G_i,j)指示第j个候选的竖直变换。例如，在图6中，可以表示H(G₃,2)＝DST7、V(G₃,2)＝DCT8。根据上下文，指派给H(G_i,j)或V(G_i,j)的值可以是如以上示例中的用于区分变换的标称值，或者可以是指示变换的索引值，或者可以是用于变换的二维(D)矩阵。

另外，在本公开中，可以如下式2和式3中所示地表示DCT和DST的2D矩阵值。

[式2]

DCT类型2：DCT类型8：/>

[式3]

DCT类型7：DST类型4:/>

其中，变换是DST还是DCT由S或C表示，类型编号被表示为罗马数字形式的上标，而下标的N指示变换是N×N变换。另外，在诸如和/>这样的2D矩阵中，假定列矢量形成了变换基。

参照图6，可以基于预测模式来确定变换配置组，并且组的数目可以是总共六个组G0至G5。另外，G0至G4对应于应用帧内预测的情况，并且G5表示应用于通过帧间预测生成的残差块的变换组合(或变换集和变换组合集)。

一个变换组合可以包括应用于对应2D块的行的水平变换(或行变换)和应用于列的竖直变换(或列变换)。

在这种情况下，所有变换配置组中的每一个可以具有四个变换组合候选。可以通过变换组合索引0至3来选择或确定四个变换组合，并且可以对变换组合索引进行编码并将其从编码器发送到解码器。

作为实施方式，根据帧内预测模式，通过帧内预测获得的残差数据(或残差信号)可以具有不同的统计特性。因此，如以上图6中，可以向每种帧内预测模式应用除了一般余弦变换(例如，DCT2)之外的变换。

参照以上图6，例示了使用35种帧内预测模式的情况和使用67种帧内预测模式的情况。可以向每个帧内预测模式列中划分的每个变换配置组应用多个变换组合。例如，这多个变换组合可以包括四个(行方向变换和列方向变换)组合。作为特定示例，可以在组0的行(水平)方向和列(竖直)方向上应用DST-7和DST-5，结果，总共有四个组合可用。

由于总共四个变换核组合可以应用于每个帧内预测模式，因此可以每个变换单元发送用于选择变换核组合之一的变换组合索引。在本公开中，变换组合索引可以被称为MTS索引并被表示为mts_idx。

另外，除了上图6中表示的变换核之外，也可能出现由于残差信号的特性导致DCT2对于行方向和列方向二者都是最佳的情况。因此，针对每个编码单元定义MTS标志，以自适应地执行变换。在这种情况下，当MTS标志为0时，DCT-2可以被应用于行方向和列方向二者，并且当MTS标志为1时，可以通过MTS索引来选择或确定四个组合中的一个。

作为实施方式，当MTS标志为1时，如果用于一个变换单元的非零变换系数的数目不大于阈值，则可以在不应用以上图6的变换核的情况下在行方向和列方向二者上都应用DST-7。例如，阈值可以被配置为2，可以基于块大小或变换单元的大小不同地配置该阈值。这也适用于本公开中的其它实施方式。

作为实施方式，如果通过首先解析变换系数值，非零变换系数的数目不大于阈值，则可以通过在不解析MTS索引的情况下应用DST-7来减少附加信息传输量。

作为实施方式，当MTS标志为1时，如果非零变换系数的数目大于一个变换单元的阈值，则可以解析MTS索引，并且可以基于MTS索引来确定水平变换和竖直变换。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用MTS。

作为实施方式，可以通过离线训练来预先配置以上图6。

作为实施方式，MTS索引可以被定义为可以同时指示水平变换和竖直变换的一个索引。另选地，MTS索引可以分别定义水平变换索引和竖直变换索引。

在实施方式中，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。例如，可以以编码单元或变换单元中的至少一个级别定义MTS标志或MTS索引。

在本公开中，基本描述了其中向水平方向和竖直方向分别应用变换的实施方式，但变换组合甚至可以由不可分变换构成。

另选地，变换组合可以由可分变换与不可分变换的混合配置。在这种情况下，当使用不可分变换时，可以不需要行/列变换选择或水平/竖直方向选择，并且可以仅当选择可分变换时，才使用以上图6的变换组合。

另外，可以应用通过本公开提出的方案，而不管是主变换还是二次变换。即，不存在应该将方案仅应用于主变换和二次变换二者中的任一者的限制并且可以将方案应用于主变换和二次变换二者。在这种情况下，主变换可以意指用于首先对残差块进行变换的变换，而二次变换可以意指用于向作为主变换的结果生成的块应用变换的变换。

首先，编码器可以确定与当前块对应的变换配置组(S710)。在这种情况下，变换配置组可以意指以上图6的变换配置组，本公开不限于此，并且变换配置组可以包括其它变换组合。

编码器可以对可用于变换配置组的候选变换组合执行变换(S720)。

执行变换的结果是，编码器100可以确定或选择具有最小速率失真(RD)代价的变换组合(S730)。

编码器可以对与所选择的变换组合对应的变换组合索引进行编码(S740)。

首先，解码器可以针对当前块确定变换配置组(S810)。

解码器可以从视频信号中解析(或获得)变换组合索引，并且这里，变换组合索引可以对应于变换配置组中的多个变换组合中的任一个(S820)。例如，变换配置组可以包括离散正弦变换类型(DST)7和离散余弦变换类型(DST)8。变换组合索引可以被称为MTS索引。

作为实施方式，可以基于当前块的预测模式、块大小或块形状中的至少一个来配置变换配置组。

解码器可以推导与变换组合索引对应的变换组合(S830)。在这种情况下，变换组合可以包括水平变换和竖直变换，并可以包括DST-7或DCT-8中的至少一个。

另外，变换组合可以意指参考以上表6描述的变换组合，但本公开不限于此。即，取决于本公开中的其它实施方式，可以通过其它变换组合来配置变换组合。

解码器可以基于变换组合对当前块执行逆变换(S840)。当变换组合包括行(水平)变换和列(竖直)变换时，可以在首先应用行(水平)变换之后应用列(竖直)变换。然而，本公开不限于此，并且可以颠倒变换顺序，或者当变换组合包括不可分变换时，可以立即应用不可分变换。

作为实施方式，当竖直变换或水平变换为DST-7或DCT-8时，可以向每列应用然后向每行应用DST-7的逆变换或DCT-8的逆变换。

作为实施方式，对于竖直变换或水平变换，可以向每行和/或每列应用不同的变换。

作为实施方式，可以基于指示是否执行MTS的MTS标志来获得变换组合索引。即，当根据MTS标志执行MTS时，可以获得变换组合索引。

作为实施方式，解码器可以检查非零变换系数的数目是否大于阈值。在这种情况下，当非零变换系数的数目大于阈值时可以获得变换组合索引。

作为实施方式，可以以序列、图片、切片、块、编码单元、变换单元或预测单元中的至少一个级别定义MTS标志或MTS索引。

作为实施方式，只有当变换单元的宽度和高度二者等于或小于32时，才可以应用逆变换。

另一方面，作为另一实施方式，可以同时执行确定变换配置组的处理和解析变换组合索引的处理。另选地，可以在编码器和/或解码器中预先配置和省略以上步骤S810。

编码器可以确定是否向当前块应用多重变换选择(MTS)(S910)。

当应用多重变换选择(MTS)时，编码器可以将MTS标志编码为等于1(S920)。

另外，编码器可以基于当前块的预测模式、水平变换和竖直变换中的至少一者来确定MTS索引(S930)。在这种情况下，MTS索引可以意指指示用于每种帧内预测模式的多个变换组合中的任一个的索引，并且可以针对每个变换单元发送MTS索引。

当确定了MTS索引时，编码器可以对MTS索引进行编码(S940)。

另一方面，当未应用多重变换选择(MTS)时，编码器可以将MTS标志编码为等于0(S950)。

解码器可以从比特流中解析MTS标志(S1010)。在这种情况下，MTS标志可以指示是否向当前块应用多重变换选择(MTS)。

解码器可以基于MTS标志来确定是否向当前块应用多重变换选择(MTS)(S1020)。例如，可以检查MTS标志是否为1。

当MTS标志为1时，解码器可以检查非零变换系数的数目是否大于(或等于或大于)阈值(S1030)。例如，阈值可以被配置为2，可以基于块大小或变换单元的大小不同地配置该阈值。

当非零变换系数的数目大于阈值时，解码器可以解析MTS索引(S1040)。在这种情况下，MTS索引可以意指用于每种帧内预测模式或帧间预测模式的多个变换组合中的任一个，并且可以针对各变换单元发送MTS索引。另选地，MTS索引可以意指指示在预先配置的变换组合表中定义的任一个变换组合的索引，并且这里，预先配置的变换组合表可以意指以上图6，但本公开不限于此。

解码器可以基于MTS索引和预测模式中的至少一个来推导或确定水平变换和竖直变换(S1050)。

另选地，解码器可以推导对应于MTS索引的变换组合。例如，解码器可以推导或确定对应于MTS索引的水平变换和竖直变换。

此外，当非零变换系数的数目不大于阈值时，解码器可以针对各列应用预先配置的竖直逆变换(S1060)。例如，竖直逆变换可以是DST7的逆变换。

另外，解码器可以对各行应用预先配置的水平逆变换(S1070)。例如，水平逆变换可以是DST7的逆变换。即，当非零变换系数的数目不大于阈值时，可以使用由编码器或解码器预先配置的变换核。例如，可以使用在以上图6中例示的变换组合表中未定义但被广泛使用的变换核(例如，DCT-2)。

此外，当MTS标志为0时，解码器可以对每列应用预先配置的竖直逆变换(S1080)。例如，竖直逆变换可以是DCT2的逆变换。

另外，解码器可以针对各行应用预先配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT2的逆变换。即，当MTS标志为0时，可以使用在编码器或解码器中预先配置的变换核。例如，可以使用在以上图6中例示的变换组合表中未定义但被广泛使用的变换核。

应用了本公开的解码器可以获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。在这种情况下，sps_mts_intra_enabled_flag指示在帧内编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_intra_enabled_flag＝1时，在帧内编码单元的残差编码语法中存在tu_mts_flag。另外，sps_mts_inter_enabled_flag指示在帧间编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中不存在tu_mts_flag，并且当sps_mts_inter_enabled_flag＝1时，在帧间编码单元的残差编码语法中存在tu_mts_flag。

解码器可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器可以获得tu_mts_flag。在这种情况下，tu_mts_flag指示是否向亮度变换块的残差样本应用多重变换选择(下文中，被称为“MTS”)。例如，当tu_mts_flag＝0时，不向亮度变换块的残差样本应用MTS，并且当tu_mts_flag＝1时，向亮度变换块的残差样本应用MTS。

作为另一示例，本公开的实施方式中的至少一个可以应用于tu_mts_flag。

解码器可以基于tu_mts_flag获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可以获得mts_idx。在这种情况下，mts_idx指示哪个变换核沿着当前变换块的水平和/或竖直方向应用于亮度残差样本。

例如，本公开的实施方式中的至少一个可以应用于mts_idx。作为特定示例，可以应用以上图6的实施方式中的至少一个。

解码器可以推导与mts_idx对应的变换核(S1140)。例如，可以通过将与mts_idx对应的变换核划分成水平变换和竖直变换来定义它。

作为另一示例，可以对水平变换和竖直变换应用不同的变换核。然而，本公开不限于此，并且可以向水平变换和竖直变换应用相同的变换核。

作为实施方式，可以如下表1中所示地定义mts_idx。

[表1]

mts_idx[x0][y0]	trTypeHor	trTypeVer
			0	0	0
1	1	1
			2	2	1
3	1	2
			4	2	2

另外，解码器可以基于变换核来执行逆变换(S1150)。

在图11中，主要描述为了确定是否应用MTS而通过获得tu_mts_flag然后基于获得的tu_mts_flag的值获得mts_idx来确定变换核的实施方式，但本公开不限于此。例如，解码器可以通过直接解析mts_idx而不进行tu_mts_flag解析来确定变换核。在这种情况下，可以使用表1。即，当mts_idx值指示0时，可以在水平/竖直方向上应用DCT-2。当mts_idx值指示非0的值时，可以基于mts_idx值应用DST-7和/或DCT-8。

作为本公开的另一实施方式，描述了执行变换处理的解码处理。

解码器可以检查变换大小nTbS(S10)。在这种情况下，变换大小nTbS可以是表示缩放后的变换系数的水平样本大小的变量。

解码器可以检查变换核类型trType(S20)。在这种情况下，变换核类型trType可以是表示变换核类型的变量，并且可以应用本公开的各种实施方式。变换核类型trType可以包括水平变换核类型trTypeHor和竖直变换核类型trTypeVer。

参照以上表1，当变换核类型trType为0时，变换核类型可以表示DCT2，当变换核类型trType为1时，变换核类型可以表示DST7，并且当变换核类型trType为2时，变换核类型可以表示DCT8。

解码器可以基于变换大小nTbS或变换核类型中的至少一个来执行变换矩阵乘法(S30)。

作为另一示例，当变换核类型为1并且变换大小为4时，在执行变换矩阵乘法时可以应用预定的变换矩阵1。

作为另一示例，当变换核类型为1并且变换大小为8时，在执行变换矩阵乘法时可以应用预定的变换矩阵2。

作为另一示例，当变换核类型为1并且变换大小为16时，在执行变换矩阵乘法时可以应用预定的变换矩阵3。

作为另一示例，当变换核类型为1并且变换大小为32时，在执行变换矩阵乘法时可以应用预定义的变换矩阵4。

类似地，当变换核类型为2且变换大小为4、8、16或32时，可以分别应用预定义的变换矩阵5、6、7和8。

在这种情况下，预定义的变换矩阵1至8中的每一个可以对应于各种类型的变换矩阵中的任一种。作为示例，可以应用以上图6中例示的类型的变换矩阵。

解码器可以基于变换矩阵乘法来推导变换样本(S40)。

可以使用实施方式，但本公开不限于此。本公开的以上实施方式和其它实施方式可以被组合和使用。

不可分二次变换(NSST)

二次变换单元可以向主变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中定义二次变换。

作为实施方式，二次变换可以有条件地采用不可分二次变换(下文中，被称为“NSST”)。例如，NSST可以仅被应用于帧内预测块，并可以具有适于各预测模式组的变换集。

此外，由于在平面模式和DC模式的情况下不存在针对方向的对称性，因此每种模式可以具有不同的变换集，并且对应的变换集可以包括两个变换。对于其余方向模式，各变换集可以包括三个变换。然而，本公开不限于此，各变换集可以包括多个变换。

由于8×8NSST和4×4NSST二者遵循本公开中描述的变换组合配置并且是不可分变换，因此8×8NSST接收64个数据并输出64个数据并且4×4NSST具有16个输入和16个输出。

8×8NSST和4×4NSST二者由吉文斯旋转的层次组合构成。在式4中示出对应于一个吉文斯旋转的矩阵，并且在下式5中示出矩阵乘积。

[式4]

[式5]

t_m＝x_m cosθ-x_n sinθ

t_n＝x_m sinθ+x_n cosθ

如以上图13中例示的，由于一个吉文斯旋转使两个数据旋转，因此为了处理64个数据(对于8×8NSST)或16个数据(对于4×4NSST)，总共需要32或8个吉文斯旋转。

因此，32或8的一批用于形成吉文斯旋转层。通过所确定的置换将一个吉文斯旋转层的输出数据作为下一个吉文斯旋转层的输入数据来传送。

参照以上图14，例示了在4×4NSST的情况下依次处理四个吉文斯旋转层。如以上图14中例示的，通过所确定的置换(即混排)将一个吉文斯旋转层的输出数据作为下一个吉文斯旋转层的输入数据来传送。

如以上图14中例示的，有规律地确定待置换的模式，并且在4×4NSST的情况下，四个吉文斯旋转层及其对应的置换被组合以形成一轮。

在8×8NSST的情况下，六个吉文斯旋转层和对应的置换形成一轮。4×4NSST经过两轮，并且8×8NSST经过四轮。不同的轮使用相同的置换模式，但所应用的吉文斯旋转角度是不同的。因此，需要存储构成每个变换的所有吉文斯旋转的角度数据。

作为最后一个步骤，最后进一步对通过吉文斯旋转层输出的数据执行一个置换，并且针对每个变换分别存储对应的置换信息。在正向NSST中，最后执行对应的置换，而在逆向NSST中，与之相反，首先应用对应的逆置换。

在逆向NSST的情况下，应用于正向NSST的置换和吉文斯旋转层以相反顺序执行，并且甚至对于每个吉文斯旋转角度也采用负值进行旋转。

实施方式1：具有长度16的DST7的设计和实现方式

本公开提供了其中使用DFT设计DST7的详细实施方式。本公开的实施方式还可以用于DCT8设计，并且还可以应用于MTS配置。

在图15的流程图中示出的块之间传送的信号(信息)可以是标量值并可以具有矢量形式。例如，矢量可以被写得如同x[0…N-1]。这例示了由如同x[0…N-1]＝[x[0]x[1]…x[N-2]x[N-1]]的N个元素组成的信号(信息)。矢量x[0…N-1]的部分信号可以被指示为如同x[i…j]。例如，部分信号可以被指示为如同作为x[0…15]的一部分的x[5…10]＝[x[5]x[6]x[7]x[8]x[9]x[10]]。

图15例示了其中针对长度16的一行或一列实现DST7的流程图。在这种情况下，具有长度16的DST7被写为DST7_B16。正向DST7被写为正向DST7_B16。逆向DST7被写为逆向DST7_B16。

此外，输入数据为x[0…15]，并且最终输出数据可以被写为y[0…15]。

当输入了输入数据x[0…15]时，编码器对具有长度16的正向DST7执行预处理(S1510)。

编码器可以向步骤S1510的输出w[0…15]应用DFT(S1520)。在这种情况下，参考图17至图19具体地描述应用DFT的步骤S1520。

编码器可以对步骤S1520的输出z[0…15]执行后处理，并可以输出最终输出数据y[0…15](S1530)。

图16例示了其中针对长度16的一行或一列实现逆向DST7的流程图。在这种情况下，输入数据为x[0…15]，并且最终输出数据可以被写为y[0…15]。

当输入了输入数据x[0…15]时，解码器对具有长度16的逆向DST7执行预处理(S1610)。

解码器可以向步骤S1610的输出应用DFT(S1620)。在这种情况下，参考图17至图19具体地描述应用DFT的步骤S1620。

解码器可以对步骤S1620的输出执行后处理，并可以输出最终输出数据y[0…15](S1630)。

参考图17，src[0…15]被输入到xDST7_FFT3块，并输出src_FFT11[0…15](S1710)。输出的src_FFT11[0…15]可以被划分为两个部分信号并发送。

例如，src_FFT11[0…4]可以被发送到xDST7_FFT11_type1块。src_FFT11[5…15]可以被发送到xDST7_FFT11_type2块。

xDST7_FFT11_type1块可以接收src_FFT11[0…4]，并输出dst[0…4](S1720)。

xDST7_FFT11_type2块接收src_FFT11[5…15]，并输出dst[5…15](S1730)。

在这种情况下，参考图18具体地描述xDST7_FFT11_type1块的实现方式，并且参考图19具体地描述xDST7_FFT11_type2块的实现方式。

参考图18，src[0…4]被输入到xDST7_FFT11_half1块，并输出dst_half1[0…4](S1810)。

输出的dst_half1[0…4]被输入到xDST7_FFT11_type1块，并输出dst[0…4](S1820)。

参照图19，src[0…10]可以被划分为两个部分信号并发送。例如，src[0…4]可以被发送到xDST7_FFT11_half1块。src[5…10]可以被发送到xDST7_FFT11_half2块。

xDST7_FFT11_half1块接收src[0…4]，并输出dst_half1[0…4](S1910)。

xDST7_FFT11_half2块接收src[5…10]，并输出dst_half2[0…5](S1920)。

编码器/解码器可以通过xDST7_FFT11_type2_Post_Processing块对步骤S1920的输出执行后处理，并可以输出最终输出数据dst[0…10](S1930)。

图17的src_FFT11[5…15]对应于图19的src[0…10]。即，执行如同src[0]＝src_FFT11[5]、src[1]＝src_FFT11[6]、…、src[10]＝src_FFT11[15]的指派。

此外，在图19的xDST7_FFT11_type2_Post_Processing块中，从左起依次输入dst_half1[0…4]和dst_half2[0…5]。它们分别对应于输入参数src_half1[0…4]、src_half2[0…5]。这将在指示各块的操作的表中具体描述。

如上所述，图15和图16的框图可以连接到图17至图19的框图并被解释。

可以通过表2至表10描述图15至图19的函数的详细操作。

【表2】Forward_DST7_Pre_Processing_B16函数的操作

【表3】Forward_DST7_Post_Processing_B16函数的操作

在表3中，可以使用rnd_factor＝1<<(final_shift–1)值。此外，在图15和图16中，当使用用于将DST7应用于一个块的所有行或列的函数时，如果已经通过参数传输了被称为“shift”的值，则可以使用final_shift＝shift–1值。

【表4】Inverse_DST7_Pre_Processing_B16函数的操作

【表5】Inverse_DST7_Post_Processing_B16函数的操作

在表5中，可以使用rnd_factor＝1<<(final_shift–1)值。此外，在图15和图16中，当使用用于将DST7应用于一个块的所有行或列的函数时，如果已经通过参数传输了被称为“shift”的值，则可以使用final_shift＝shift–1值。

在表5中，outputMinimum和outputMaximum分别指示可以被包括在输出值中的最小值和最大值。Clip3函数执行Clip3(A,B,C)＝(C<A)？A：(C>B)？B：C的操作。即，Clip3函数裁剪C值，使得C值必须存在于从A到B的范围内。

【表6】xDST7_FFT3函数的操作

在表6中，C3值意指值，并例示了乘法系数已经按2⁹缩放。在表6中，由于shift＝10，应用rnd_factor＝1<<(shift–1)＝2⁹，因此可以如同式6地计算dst[i]和dst[5+i]。

[式6]

dst[i]＝(src[3*i+1]+src[3*i+2]+src[3*i+3]+1)>>1

dst[5+i]＝((src[3*i+1]<<1)-src[3*i+2]-src[3*i+3]+2)>>2

【表7】xDST7_FFT11_half1函数的操作

在表7中，阵列C11R例示了通过计算的值。

【表8】xDST7_FFT11_half2函数的操作

在表8中，阵列C11R例示了通过计算的值。

【表9】xDST7_FFT11_type1_Post_Processing函数的操作

名称	xDST7_FFT11_type1_Post_Processing
		输入	src[0…4]
输出	dst[0…4]
		操作	dst[0]＝src[4]；dst[1]＝-src[0]；dst[2]＝src[1]；dst[3]＝src[2]；dst[4]＝src[3]；

【表10】xDST7_FFT11_type2_Post_Processing函数的操作

如果在水平方向(或竖直方向)上向16×16二维块应用DST7，则图15和图16的流程图可以被用于16行(或列)。

实施方式2：具有长度32的DST7的设计和实现方式

图20例示了其中针对长度32的一行或一列实现DST7的流程图。在这种情况下，具有长度32的DST7被写为DST7_B32，正向DST7被写为正向DST7_B32，并且逆向DST7被写为逆向DST7_B32。

此外，输入数据为x[0…31]，并且最终输出数据可以被写为y[0…31]。

当输入了输入数据x[0…31]时，编码器对具有长度32的正向DST7执行预处理(S2010)。

编码器可以向步骤S2010的输出w[0…31]应用DFT(S2020)。在这种情况下，参考图22至图24具体地描述应用DFT的步骤S2020。

编码器可以对步骤S2020的输出z[0…31]执行后处理，并可以输出最终输出数据y[0…31](S2030)。

图21例示了其中针对长度32的一行或一列实现逆向DST7的流程图。在这种情况下，输入数据为x[0…31]，并且最终输出数据可以被写为y[0…31]。

当输入了输入数据x[0…31]时，解码器对具有长度32的正向DST7执行预处理(S2110)。

解码器可以向步骤S2110的输出w[0…31]应用DFT(S2120)。在这种情况下，参考图22至图24具体地描述应用DFT的步骤S2120。

解码器可以对步骤S2120的输出z[0…31]执行后处理，并可以输出最终输出数据y[0…31](S2130)。

参考图22，src[0…31]被输入到xDST7_FFT5块，并输出src_FFT13[0…31](S2210)。输出的src_FFT13[0…31]可以被划分为三个部分信号并发送。

例如，src_FFT13[0…5]可以被发送到xDST7_FFT13_type1块，src_FFT13[6…18]可以被发送到xDST7_FFT13_type2块，并且src_FFT13[19…31]可以被发送到另一xDST7_FFT13_type2块。

xDST7_FFT13_type1块接收src_FFT13[0…5]，并输出dst[0…5](S2220)。

xDST7_FFT11_type2块接收src_FFT13[6…18]，并输出dst[6…18](S2230)。

xDST7_FFT11_type2块接收src_FFT13[19…31]，并输出dst[19…31](S2240)。

在这种情况下，参考图23具体地描述xDST7_FFT13_type1块的实现方式，并且参考图24具体地描述xDST7_FFT13_type2块的实现方式。

参考图23，src[0…5]被输入到xDST7_FFT13_half1块，并输出dst_half1[0…5](S2310)。

输出的dst_half1[0…5]被输入到xDST7_FFT13_type1_Post_Processing块，xDST7_FFT13_type1_Post_Processing块输出dst[0…5](S2320)。

参照图24，src[0…12]可以被划分为两个部分信号并发送。例如，src[0…5]可以被发送到xDST7_FFT13_half1块，并且src[6…12]可以被发送到xDST7_FFT13_half2块。

xDST7_FFT13_half1块接收src[0…5]，并输出dst_half1[0…5](S2410)。

xDST7_FFT13_half2块接收src[6…12]，并输出dst_half2[0…6](S2420)。

编码器/解码器可以通过xDST7_FFT13_type2_Post_Processing块对步骤S2410和S2420的输出执行后处理，并可以输出最终输出数据dst[0…12](S1930)。

图22的src_FFT13[0…5]对应于图23的src[0…5]。即，执行如同src[0]＝src_FFT13[0]、src[1]＝src_FFT13[1]、…、src[5]＝src_FFT13[5]的指派。

此外，图22的src_FFT13[6…18]或src_FFT13[19…31]对应于图24的src[0…12]。例如，执行如同src[0]＝src_FFT13[6]、src[1]＝src_FFT13[7]、…、src[12]＝src_FFT13[18]的指派。

此外，在图24的xDST7_FFT13_type2_Post_Processing块中，从左起依次输入dst_half1[0…5]和dst_half2[0…6]。它们分别对应于输入参数src_half1[0…5]、src_half2[0…6]。这将在指示各块的操作的表中具体描述。

如上所述，图20和图21的框图可以连接到图22至图24的框图并进行解释。

可以通过以下表11至表18描述图20至图24的函数的详细操作。

【表11】Forward_DST7_Pre_Processing_B32函数的操作

【表12】Forward_DST7_Post_Processing_B32函数的操作

在表12中，可以使用rnd_factor＝1<<(final_shift–1)值。此外，在图20和图21中，当使用用于将DST7应用于一个块的所有行或列的函数时，如果已经通过参数传输了被称为“shift”的值，则可以使用final_shift＝shift–1值。

【表13】Inverse_DST7_Pre_Processing_B32函数的操作

【表14】Inverse_DST7_Post_Processing_B32函数的操作

在表14中，可以使用rnd_factor＝1<<(final_shift–1)值。此外，在图20和图21中，当使用用于将DST7应用于一个块的所有行或列的函数时，如果已经通过参数传输了被称为“shift”的值，则可以使用final_shift＝shift–1值。

在表14中，outputMinimum和outputMaximum分别指示可以被包括在输出值中的最小值和最大值。Clip3函数执行Clip3(A,B,C)＝(C<A)？A：(C>B)？B：C的操作。即，Clip3函数裁剪C值，使得C值必须存在于从A到B的范围内。

【表15】xDST7_FFT13_half1函数的操作

在表15中，阵列C13R例示了通过计算的值。

【表16】xDST7_FFT13_half2函数的操作

在表16中，阵列C13I例示了通过计算的值。

【表17】xDST7_FFT13_type1_Post_Processing函数的操作

【表18】xDST7_FFT13_type2_Post_Processing函数的操作

如果在水平方向(或竖直方向)上向一个32×32二维块应用DST7，则图20和图21的流程图可以被用于32行(或列)。

实施方式3：具有长度8的DST7的设计和实现方式

图25例示了其中针对长度8的一行或一列实现DST7的流程图。在这种情况下，具有长度8的DST7被写为DST7_B8，正向DST7被写为正向DST7_B8，并且逆向DST7被写为逆向DST7_B8。

此外，输入数据为x[0…7]，并且最终输出数据可以被写为y[0…7]。

当输入了输入数据x[0…7]时，编码器对具有长度8的正向DST7执行预处理(S2510)。

编码器可以向步骤S2510的输出w[0…7]应用DFT(S2520)。在这种情况下，参考图27和图28具体地描述应用DFT的步骤S2520。

编码器可以对步骤S2520的输出z[0…7]执行后处理，并可以输出最终输出数据y[0…7](S2530)。

图26例示了其中针对长度8的一行或一列实现逆向DST7的流程图。在这种情况下，输入数据为x[0…7]，并且最终输出数据可以被写为y[0…7]。

当输入了输入数据x[0…7]时，解码器对具有长度8的逆向DST7执行预处理(S2610)。

解码器可以向步骤S2610的输出w[0…7]应用DFT(S2620)。在这种情况下，参考图27和图28具体地描述应用DFT的步骤S2620。

解码器可以对步骤S2620的输出z[0…7]执行后处理，并可以输出最终输出数据y[0…7](S2630)。

可以通过以下表19至表23描述图25和图26的函数的详细操作。

【表19】Forward_DST7_Pre_Processing_B8函数的操作

【表20】Forward_DST7_Post_Processing_B8函数的操作

/>

在表20中，可以使用rnd_factor＝1<<(shift–1)值。在这种情况下，移位值是在使用用于将DST7应用于一个块的所有行或列的函数时通过参数传送的值。

【表21】Inverse_DST7_Pre_Processing_B8函数的操作

【表22】Inverse_DST7_Post_Processing_B8函数的操作

在表22中，可以使用rnd_factor＝1<<(shift–1)值。在这种情况下，移位值是在使用用于将DST7应用于一个块的所有行或列的函数时通过参数传送的值。

【表23】xDST7_FFT_B8函数的操作

/>

在表23中，阵列C8例示了通过计算的值。

如果在水平方向(或竖直方向)上向8×8二维块应用DST7，则图25和图26的流程图可以被用于8行(或列)。

实施方式4：部分应用实施方式1-3中提出的DST7实现方式的方法

实施方式1和实施方式2中提出的DST7实现方式可以应用于具有长度16的DST7和具有长度32的DST7。实施方式3中提出的DST7实现方式可以应用于具有长度8的DST7，但本公开不限于此，并且可以不同地应用。例如，如果不应用实施方式3中提出的DST7实现方式，则可以应用具有公共矩阵乘法形式的DST7实现方式。

实施方式5：使用离散傅里叶变换(DFT)的DST7实现方式

N×N DST7的矩阵形式可以如同式7地表示。

[式7]

在这种情况下，如果n是从0至N-1的行索引并且k是从0至N-1的列索引，则式7的矩阵与被乘以变换系数后的逆向DST7矩阵匹配，以便重构原始输入。

因此，式7的转置矩阵是前向DST7矩阵。此外，正向DST7矩阵与逆向DST7矩阵彼此正交，并且其默认矢量中的每一个具有范数1。

可以基于式7如同式8地表示DST7与DFT之间的关系。

[式8]

其中，

且/>

在式8中，R是N×(2N+1)矩阵(行数×列数)，Q是(2N+1)×N矩阵，并且P是N×N矩阵。I_N指示N×N单位矩阵，并且J_N指示/>

在式8中，意味着在执行具有长度(2N+1)的DFT之后仅取DFT结果的虚部。只有当N为偶数时，式8才成立。更具体地，/>意味着当作为正向DST7输入的x为N×1矢量时，如果计算出z＝QPx，则输出(2N+1)×1矢量(z)，并且在使用矢量(z)作为输入执行具有2N+1长度的DFT之后仅取虚部。

如式8中，对矩阵P、Q和R执行N个输入的重排和其符号(+/-)的指派，使得主要的计算部分在正向DST7中变为2N+1长度DF。

本公开使用具有2n×2n(N＝2n)大小的DST7。因此，当N＝4、8、16、32时，可以分别应用9点DFT、17点DFT、33点DFT和65点DFT。

本公开主要描述了N＝8、16、32的情况，并且提供了以等效的多维DFT的形式引入对应DFT的设计并集成DFT以便获得低复杂度的DST7的方法。

与正向DST6匹配的逆向N×N DST7可以如式9中地被表示为2N+1长度DFT：

[式9]

其中，

且/>

在这种情况下，R是N×(2N+1)矩阵(行数×列数)，Q是(2N+1)×N矩阵，并且I_N指示N×N单位矩阵。J_N的定义与式8中的定义相同。

意味着当作为正向DST7输入的x为N×1矢量时，如果计算出z＝Qx，则输出(2N+1)×1矢量(z)，并且在使用矢量(z)作为输入执行具有2N+1长度的DFT之后仅取虚部。即，式9中/>的含义与式8中的定义相同，不同的是计算出z＝QPx。

在式9中，N是偶数。此外，在逆向DST7中可以使用与前向DST7中相同的2N+1长度DFT。

具有偶数长度的三角变换可以应用于应用本公开的编解码器系统。例如，对于分别具有长度8、16、32和64的DST7，根据式8具有长度17、33、65和129的DFT是必需的。如式10和式11中，可以应用于具有长度8和16的DST7的33点DFT和65点DFT可以被表示为一维DFT。式12例示了针对公共长度N的DFT公式。

[式10]

[式11]

[式12]

对于N×N DST7实现方式，已经描述了应用具有长度2N+1的DFT的处理。然而，为了方便书写，长度N而非长度2N+1可以用于包括式10和式11的内容。因此，如果通过式8和式9应用DFT，则需要在正确书写时进行变换。

此外，一维33点DFT和一维65点DFT也通过简单的输入/输出数据变换被表示为等效的二维DFT，并且其对应的公式与式13和式14相同。

[式13]

[式14]

其中，n指示输入数据的索引，并且k指示变换系数的索引。

下文中，数字的余数被写为<x>_N＝xmodN。此外，引入了四个索引变量n₁、n₂、k₁和k₂，并且可以如同式15和式16地指示33点DFT与65点DFT之间的关系。

[式15]

n＝<22n₁+12n₂>₃₃

k＝<11k₁+3k₂>₃₃

[式16]

n＝<26n₁+40n₂>₆₅

k＝<13k₁+5k₂>₆₅

其中，n指示输入数据的索引，并且k指示变换系数的索引。式15指示映射到33点DFT的索引，并且式16指示映射到65点DFT的索引。

如同式17和式18一样给出了根据式15和式16的一维DFT与二维DFT之间的输入/输出数据映射。在本公开中，根据式15和式16，可以如同式17和式18一样将新输入/输出变量定义为两个索引自变量和/>

[式17]

[式18]

/>

其中，<x>_N＝xmodN。

实施方式5-1：构成DST7的二维DFT的编索引方法

式15和式17已经启用了二维DFT，但本公开不限于此。即，如果满足了式19，则可以形成诸如式13和式14这样的二维DFT。

[式19]

N＝N₁N₂

n＝<K₁n₁+K₂n₂>_N

k＝<K₃k₁+K₄k₂>_N

<K₁K₃>_N＝N₂

<K₂K₄>_N＝N₁

<K₁K₄>_N＝<K₂K₃>_N＝0

其中，N₁和N₂指示互质因子。此外，<x>_N＝x mod N。

33点一维DFT对应于(N₁，N₂)＝(3，11)，并且65点一维DFT对应于(N₁，N₂)＝(5，13)。在这两种情况下，由于N₁和N₂二者都是互质因子，因此可以应用式19。如果K₁、K₂、K₃和K₄满足式20，则在式19中，满足<K₁K₄>_N＝<K₂K₃>_N＝0条件。

[式20]

K₁＝αN₂,K₂＝βN₁,K₃＝γN₂,K₄＝δN₁

此外，为了满足式19的其它条件，需要满足式21的关系式。

[式21]

因此，满足式21的所有α,β,γ,δ都可以从式20推导满足式19的K₁、K₂、K₃和K₄，从而使得能够构造等效的二维DFT。α,β,γ,δ的可能实施方式如下。

1)(α,β,γ,δ)＝(2,4,1,1)

这对应于式15，并且是(N₁，N₂)＝(3，11)的情况。

2)(α,β,γ,δ)＝(2,8,1,1)

这对应于式16，并且是(N₁，N₂)＝(5，13)的情况。

3)(α,β,γ,δ)＝(1,1,2,4)

这是(N₁，N₂)＝(3，11)的情况。

4)(α,β,γ,δ)＝(1,1,2,8)

这是(N₁，N₂)＝(5，13)的情况。

如果由从满足式21的α,β,γ,δ推导出的K₁、K₂、K₃和K₄配置对应的二维DFT，则在计算二维DFT的处理中，可能出现诸如这些等式中的对称性这样的输入/输出数据与中间结果值之间的对称性。

因此，即使在具有与实施方式的索引不同的索引(即，具有不同的α,β,γ,δ值)的二维DFT的情况下，结果，通过应用实施方式中提出的方法和结构，可以显著降低执行DST7所必需的复杂度。

总之，长度N的DFT(N＝N₁N₂、N₁和N₂是互质因子)可以通过满足式19至式21的索引变换(即，一维索引与二维索引之间的变换)被计算为诸如式22这样的二维DFT。

[式22]

如果使用诸如式22这样的二维DFT形式，则二维DFT可以被分解为具有短长度的DFT并操作。因此，与等效的一维DFT相比，可以显著降低计算负荷。

实施方式5-2：针对低复杂度DST7设计的优化

根据式13和式14，本公开对给定的n₂执行的3点DFT和的5点DFT。

本公开可以针对在执行式13、式14的内部DFT循环之后产生的来定义如同式23一样的/>的实部和虚部。

[式23]

其中，指示实部，并且/>指示虚部。

同样，输入和输出/>可以分别被分解为实部和虚部。

[式24]

其中，输入可以是预计将应用指定的变换的像素或残差数据。因此，可以假定实际/>具有a0值。

在这样的假定下，本公开可以检查通过赋予第一步DFT(即，在33点DFT的情况下是3点DFT，并且在65点DFT的情况下是5点DFT)的输入对称性而输出的第一变换数据之间的关系。这种对称性由式8或式9的P和Q矩阵提供，并在式25和式26中进行了描述。

[式25]

情况1)

x(0，n₂)＝0，x(2，n₂)＝-x(1，n₂)

情况2)

x(0，n₂)＝-x(0，n′₂)＝-x(1，n₂)＝-x(1，n′₂)：x(2，n′₂)对于某些n′₂

[式26]

情况1)

x(0，n₂)＝0，x(3，n₂)＝-x(2，n₂)，x(4，n₂)＝-x(1，n₂)

情况2)

x(0，n₂)＝-x(0，n′₂)＝-x(1，n₂)＝-x(1，n′₂)：x(2，n′₂)＝-x(3，n′₂)

x(3，n₂)＝-x(2，n′₂)，x(4，n₂)＝-x(1，n′₂)(对于某些n′₂)

此外，在中，第一步输出关系与式27和式28相同。

[式27]

[式28]

式25和式27指示属于33点DFT的3点FFT中的关系。式26和式28指示属于65点DFT的5点FFT中的关系。

例如，在式25和式26中，当n₂＝0时出现情况1，当n₂＝11-n′₂,n′₂＝1,2,...,10(n₂＝13-n′₂,n′₂＝1,2,...,12)时出现情况2。对于情况1输入，来自3点FFT(5点FFT)的所有输出的实部变为0。因为可以根据式27和式28来恢复剩余的一个输出(两个输出)，所以本公开需要保持一个(两个)虚部输出。

在式25和式26中，由于情况2的输入模式，本公开具有如式29中的与之间的关系。

[式29]

在式29的情况下，也同样地应用11点FFT(13点FFT)的索引n₂＝11-n′₂,n′₂＝1,2,...,10(n₂＝13-n′₂,n′₂＝1,2,...,12)之间的关系。

因此，由于式29，本公开仅当n₂在[0，5]([0，6])的范围内时才执行3点FFT(5点FFT)，因此可以减少关联的计算负荷。

此外，在[1，5]([1，6])范围内的每个3点FFT(5点FFT)计算中，可以根据式21恢复输出的其它部分。因此，仅计算某些输出，即，两个(三个)实部输出和一个(两个)虚部输出。

由于第一步输出(式29)中存在对称性，因此从式13、式14中的外部循环(第二步FFT)计算出的输出被对称排列。这可以减少计算负荷。外部循环(第二步FFT)的输入模式与式30至式33相同。

[式30]

1)实部

[式31]

1)实部

[式32]

2)虚部

/>

[式33]

2)虚部

式30、式32指示属于33点FFT的11点FFT中遇到的输入对称性。

式31、式33指示属于65点FFT的13点FFT中遇到的输入对称性。根据外部环路迭代，在11点FFT(13点FFT)的输入集当中还遇到其它对称性。这使得从先前迭代之一进行迭代的输出恢复成为可能。

在本公开中，如果的矢量被表示为/>则在迭代处理中存在的输入对称性可以如同式34地表示：

[式34]

情况1：

情况2：

在诸如33点FFT(65点FFT)这样的二维DFT中，k1具有[0，2]([0，4])的范围。

在式34中，只有当k₁＝0时才出现情况1。在式34中，只有当k₁＝3-k′₁,k′₁＝1,2(k₁＝5-k′₁,k′₁＝1,2,3,4)时才出现情况2。

根据式34中的对称性，所省略的迭代的输出可以从其先前的迭代之一推导出。因此，33点FFT(65点FFT)中的11点FFT(15点FFT)的有效迭代次数可以从3(5)减少至2(3)。

此外，根据式8和式9，本公开可以仅取来自33点FFT(65点FFT)的输出的虚部。因此，在式34中，可以如同式35至式38地表示相应情况的输出模式。

[式35]

情况1：

[式36]

情况1：

[式37]

情况2：

[式38]

情况2：

式35、式37指示属于33点FFT的11点FFT中的输出对称性。式36、式38指示属于65点FFT的13点FFT中的输出对称性。

由于诸如式35至式38这样的对称性，因此在二维DFT中，外部循环之后的迭代变得不必要。在式8中，根据正向DST7与DFT之间的关系，最终输出的k个索引为k＝2m+1。在这种情况下，对于16x16 DST7(32×32DST7)，m的范围是[0，15]([0，31])。

图27和图28是应用本公开的实施方式，图27例示了已经应用33点DFT的16×16DST7的框图，并且图28例示了已经应用65点DFT的32×32DST7的框图。

实施方式5-3：用简化的DFT块取代Wingrad′FFT块的配置

本实施方式提出了使用一般的DFT替代Winograd FFT的结构。

分别针对33点DFT和65点DFT，如同式7和式8一样给出用于一般的一维DFT的公式。此外，分别如同式13和式14地给出与33点一维DFT和65点一维DFT对应的用于一般的二维DFT的公式。

在图27至图28中，第一步DFT是3点DFT或5点DFT。用于第一步DFT的一般DFT公式如下。

[式39]

在式39中，当N₁＝3时获得3点DFT，而当N₁＝5时获得5点DFT。根据式21中提出的对称性，只需要针对式34中的范围(即，n₂为0～(N2-1)/2)计算对应的DFT。即，当N₁＝3时，N₂＝11，而当N₁＝5时，N₂＝13。

式25和26中的情况1对应于图27的简化的3点DFT类型1和图28的简化的5点DFT类型1。这对应于n₂＝0的情况。

如同式40一样给出简化的3点DFT类型1。

[式40]

在式40中，仅需一个乘法，因为仅针对k₁＝1才需要计算。使用相同的方法如同式41那样计算针对简化的5点DFT类型1的公式。

[式41]

在式41中，仅需两个乘法，因为仅针对情况k₁＝1、2才需要计算。此外，从式40、式41输出的乘法2不能算作乘法，因为它可以通过左移运算来处理。

式25和式26中的情况2分别对应于图27的简化的3点DFT类型2和图28的简化的5点DFT类型2，并分别对应于n₂＝1～5和n₂＝1～6的情况。

通过式39实现简化的3点DFT类型2。在这种情况下，如果使用式27的对称性，则只有当k₁＝0、1时才需要计算并且只有当k₁＝1时才需要计算/>

同样地，可以通过式39实现简化的5点DFT类型2。同样地，如果使用式28的对称性，则只有当k₁＝0、1、2时才需要计算并且只有当k₁＝1、2时才需要计算/>

在图27和图28中，第二步DFT是11点DFT或13点DFT。用于第二步DFT的一般DFT公式与式42相同。

[式42]

在式42中，当N₂＝11时获得11点DFT，而当N₂＝13时获得13点DFT。由于在式36至式38中提出的对称性，仅需要针对式42中的k₁为的范围计算对应的DFT。当N₂＝11时，N₁＝3，而当N₂＝13时，N₁＝5。

式34和式35中的情况1对应于图27的简化的11点DFT类型1。此外，式34和式36的情况1对应于图28的简化的13点DFT类型1。

如果使用式30至式33中提出的对称性，则如式43中那样计算简化的11点DFT类型1和简化的13点DFT类型1。即，这对应于k₁＝0的情况。

[式43]

根据式43，简化的11点DFT类型1的情况需要五个乘法，而简化的13点DFT类型1的情况需要六个乘法。

同样地，如果使用式30至式33中提出的对称性，则如同式44那样获得简化的11点DFT类型2和简化的13点DFT类型2。在这种情况下，当k₁＝1时，执行简化的11点DFT类型2，并且当k₁＝1、2时，执行简化的13点DFT类型2。

[式44]

根据式44，简化的11点DFT类型2需要十个乘法，而简化的13点DFT类型2需要十二个乘法。

在式40至式44中出现的乘法中，余弦值和正弦值被作为DFT核系数相乘。由于可能的N₁值和N₂值为3、5、11、13，因此在对应的乘法中出现如式45中的系数值。在这种情况下，因为对应的余弦或正弦值具有0或1，所以排除了i＝0的情况。

[式45]

在式43和式44中，由于n₂索引仅增加直至(N₂-1)/2，因此在式45的最后两种情况下，i值限于(N₂-1)/2。

式45中出现的所有系数的数目变为2×(2+4+5+6)＝34，33点DFT的所有系数的数目为2×(2+5)＝14，并且65点DFT的所有系数的数目为2×(4+6)＝20。各系数可以通过缩放和四舍五入以整数形式近似。DST7的输入数据是具有整数形式的残差数据，因此所有关联的计算都可以作为整数运算执行。当然，由于中间结果值也将是缩放的值，因此在每个计算步骤或每个输出步骤中需要适当地缩小比例。

此外，参考余弦值和正弦值的形式是系数值的参考顺序可以根据k₁值和k₂值而不同。

因此，可以通过产生以值k₁和k₂为地址的序列表来以表查找的形式获得根据n₁和n₂的参考顺序。例如，如果N₂＝11，k₂＝3，则可以成为对应的表条目。可以配置针对所有可能的k₂值的对应表条目。

在图27和图28中，具有被指示为16和32的长形状的矩形对数据执行置换和符号变换。通过式15和式16中提出的索引变换以及式25和式26中提出的输入数据的对称性，图27和图28中的简化的3点DFT类型1、简化的3点DFT类型2、简化的5点DFT类型1和简化的5点DFT类型2中的每一个可以接收对应的数据。由于式25和式26的对称性，某个数据的符号被转换并输入。

实施方式6：通过多种缩放方法实现DST7

通过式39计算图27的简化的3点DFT类型2和图28的简化的5点DFT类型2。更具体地，在式39中，出现n₂≠0的情况，并且和/>包括取决于值n₁的变化的绝对值相同的许多情况。因此，如在式39中一样，尽管值n₁从0增大至N₁-1，但不需要N₁个乘法。在式39中，当n₂≠0时(即，图27的简化的3点DFT类型2和图28的简化的5点DFT类型2)，假定如同式46地缩放A/B值。

[式46]

/>

如在46中，值或/>是具有等于或小于1的绝对值的浮点数。因此，如果值A被适当地相乘，则可以生成具有足够精度的整数值或浮点数。在式46中，可以仅基于取决于值B的移位运算来计算被最终相乘的1/B。参考实施方式7描述相关的更详细内容。

在式40和式41中，如果乘以A/2B而非A/B，则获得式47和式48。

[式47]

[式48]

即使在式47和式48中，也可以通过将或/>乘以值A来产生具有足够精度的整数值或浮点数。可以仅通过基于值B的移位运算来计算最终相乘的1/B。参考实施方式7描述相关的更详细内容。

简化的11点DFT类型1和简化的13点DFT类型1执行式43中描述的操作(对应于k₁＝0)。可以通过乘以作为缩放值的值C/2D来获得式49。

[式49]

如在式49中，可以乘以值C。可以应用整数或定点运算。如果如在式49中一样考虑A/B(即，在式46中相乘的缩放值)，则乘入/>的总缩放值(即，最终结果数据之一)变为/>此外，从式46计算出的值/>可以被直接应用为输入，如式49中那样。

简化的11点DFT类型2和简化的13点DFT类型2是通过式44计算出的(当k₁＝1时执行简化的11点DFT类型2，而当k₁＝1、2时执行简化的13点DFT类型2)。如在式49中，如果将C/2D作为缩放值相乘，则获得式50。

[式50]

/>

其中，

即使在式50中，如在式49中一样，可以看到和/>已经与值C相乘。因此，可以使用整数或浮点运算来将余弦值与正弦值相乘。如在式49中那样，如果考虑了在式46中相乘的值A/B和在式47和式48中相乘的值A/2B二者，则其结果与式50中的第二个公式中一样。如果如在式50中那样定义/>则通过式46至式48获得的值可以被用作式50的输入数据。

在式50中，可能的k₂值在简化的11点DFT类型2的情况下是从0至10，而在简化的13点DFT类型2的情况下是从0至12。由于基本存在于余弦值和正弦值中的对称性，因此建立了诸如式51这样的关系式。

[式51]

在式51中，简化的11点DFT类型2的N₂值为11，并且简化的13点DFT类型2的N₂值为13。在式51中出现的所有标识符的定义与式50中的定义相同。

因此，如在式51中那样，仅需针对f(k₁,k₂)计算的范围，并且仅需针对g(k₁,k₂)计算/>的范围。根据相同的原理，即使在式49中，也仅需基于k₂的对称性来计算/>的范围。

实施方式7：通过调整缩放值仅基于整数或浮点运算来实现DST7

实施方式6中出现的所有缩放值都具有A/B形式。或/>先与A相乘以启用整数运算，然后再乘以1/B。此外，如式45中，在所有公式中出现的余弦值和正弦值的数目受到限制。因此，对应的余弦值和正弦值可以预先乘以值A并被存储在阵列或ROM中，并且可以被用作表查找方法。式46可以如同式52那样表示。

[式52]

其中，在或/>中，如果将足够大的值作为值A相乘，然后进行舍入，则可以将余弦或正弦值修改为缩放的整数值，并且还可以充分地保持该值的精度。通常，可以使用2的幂形式(2ⁿ)的值作为值A。例如，可以使用诸如式53这样的方法来近似/>或

[式53]

在式53中，四舍五入指示四舍五入运算符。用于取整数的任何四舍五入方法都可以，但可以使用基于0.5的常见舍入方法。

在式52中，如果B是2的幂形式，则可以使用右移运算来实现乘以1/B(即，除以B)。假定B＝2^m，则如在式54中那样，可以对乘以1/B进行近似。此时，如在式54中，可以考虑四舍五入，但本公开不限于此。

[式54]

此外，如式53中那样相乘的值A不需要必须是2的幂形式。特别地，如果必须额外地乘以形式的缩放因子，则这需要被合并到值A中。

例如，在式49至式51中，作为分子相乘的值为A和C。如果可以在A或C的一侧乘以并且/>则可以在A侧乘以α，并且可以在C侧乘以β。A不是幂形式。对于另一示例，可以额外乘以诸如/>这样的值。这样做的原因是，在应用本公开的编解码器系统中，可以额外乘以/>以便针对具有所有大小的变换相同地维持核系数值的范围。

作为类似的方法，可以仅分别通过式55至式58的简单运算来适当地近似式40、式41、式43和式44。

[式55]

/>

[式56]

[式57]

[式58]

，其中，

其中，由于对称性，可以仅在部分范围(分别地，和/>)中计算f(k₁,k₂)和g(k₁,k₂)。因此，复杂度可以大幅降低。

此外，用于乘以A的近似方法和用于乘以1/B的近似方法也可以应用于式47至式51。

在具有长度8、16或32的DST7中，缩放因子乘法的取近似实现方式示例与表24相同。在表24中出现的A、B、C和D与式46至式51中出现的A、B、C和D相同。shift是作为因子引入DST7函数中的值，并且可以是基于在变换之后(或在逆变换之前)执行量化(或反量化)的方法而确定的值。

【表24】

表25是其中应用与表24的缩放值不同的缩放值的示例。即，使用通过将表24中的缩放乘以1/4而获得的缩放值。

【表25】

/>

图29是应用本公开的实施方式，并且例示了其中正向离散正弦变换-7(DST7)和正向离散余弦变换-8(DCT8)被作为离散傅里叶变换(DTF)执行的编码流程图。

编码器可以基于当前块的预测模式、块形状和/或块大小中的至少一个来确定(或选择)水平变换和/或竖直变换(S2910)。在这种情况下，水平变换和/或竖直变换的候选可以包括图6的实施方式中的至少一个。

编码器可以通过速率失真(RD)优化来确定最佳水平变换和/或最佳竖直变换。最佳水平变换和/或最佳竖直变换可以对应于多个变换组合中的一个，并且多个变换组合可以由变换索引限定。

编码器可以发信号通知与最佳水平变换和/或最佳竖直变换对应的变换索引(S2920)。在这种情况下，本公开中描述的其它实施方式可以应用于变换索引。例如，可以包括图6的实施方式中的至少一个。

对于另一示例，可以独立地发信号通知最佳水平变换的水平变换索引和最佳竖直变换的竖直变换索引。

编码器可以使用最佳水平变换在水平方向上对当前块执行正向变换(S2930)。在这种情况下，当前块可以意指变换块，并且最佳水平变换可以是正向DCT8。

此外，编码器可以使用最佳竖直变换在竖直方向上对当前块执行正向变换(S2940)。在这种情况下，最佳竖直变换可以是正向DST7，并且正向DST7可以被设计为DFT。

在本实施方式中，在执行水平变换之后，执行竖直变换，但本公开不限于此。即，在执行竖直变换之后，可以执行水平变换。

此外，编码器可以通过对当前块执行量化来生成变换系数块(S2950)。

编码器可以通过对变换系数块执行熵编码来生成比特流。

解码器可以从比特流中获得变换索引(S3010)。在这种情况下，本公开中描述的其它实施方式可以应用于变换索引。例如，可以包括图6的实施方式中的至少一个。

解码器可以推导与变换索引对应的水平变换和竖直变换(S3020)。在这种情况下，水平变换和/或竖直变换的候选可以包括图6的实施方式中的至少一个。

在这种情况下，步骤S3010和S3020是实施方式，并且本公开不限于此。例如，解码器可以基于当前块的预测模式、块形状和/或块大小中的至少一者来推导水平变换和竖直变换。对于另一示例，变换索引可以包括与水平变换对应的水平变换索引和与竖直变换对应的竖直变换索引。

此外，解码器可以通过对比特流进行熵解码来获得变换系数块，并且可以对变换系数块执行反量化(S3030)。

解码器可以使用竖直变换在竖直方向上对反量化的变换系数块执行逆变换(S3040)。在这种情况下，竖直变换可以对应于DST7。即，解码器可以对反量化变换系数块应用逆向DST7。

本公开提供了将正向DST7和/或逆向DST7设计为离散傅里叶变换(DFT)的方法。

解码器可以通过一维DFT或二维DFT实现DST7。

此外，解码器可以通过应用各种缩放方法仅使用整数运算来实现DST7。

此外，解码器可以通过使用DFT实现DST7的方法和仅使用整数运算实现DST7的方法来设计具有长度8、16或32的DST7。

在一个实施方式中，解码器可以推导与变换索引对应的变换组合，并且可以使用DST7或DCT8在竖直或水平方向上对当前块执行逆变换。在这种情况下，变换组合可以由水平变换和竖直变换构成。水平变换和竖直变换可以对应于DST7或DCT8中的任一个。

在实施方式中，当向DST7应用33点离散傅里叶变换(DFT)时，可以包括将DST7的一行或一列划分为两个部分矢量信号的步骤以及向两个部分矢量信号应用11点DFT类型1或11点DFT类型2的步骤。

在实施方式中，当向DST7应用65点离散傅里叶变换(DFT)时，可以包括将DST7的一行或一列划分为三个部分矢量信号的步骤以及向三个部分矢量信号应用13点DFT类型1或13点DFT类型2的步骤。

在实施方式中，可以向三个部分矢量信号中的src[0…5]应用13点DFT类型1，并且可以向其中的src[6…18]和src[19…31]应用13点DFT类型2。

在实施方式中，16×16DST7所需的一维33点DFT和32×32DST7所需的一维65点DFT可以被分解为具有较短DFT的等效二维DFT。如上所述，可以通过利用DFT执行DST7来去除冗余计算并且可以设计低复杂度DST7。

此外，解码器可以使用水平变换在水平方向上执行逆变换(S3050)。在这种情况下，水平变换可以对应于DCT8。即，解码器可以对反量化变换系数块应用逆向DCT8。

在本实施方式中，在应用竖直变换之后，应用水平变换，但本公开不限于此。即，在应用水平变换之后，可以应用竖直变换。

解码器通过步骤S3050生成残差块，并通过将残差块与预测块相加来生成重构块。

下文中，描述了根据本公开提出的实施方式的整体变换处理。即，参考图1至图30描述的实施方式可以应用于下文中描述的变换处理。

在本公开的实施方式中，解码器可以通过执行变换处理来推导当前变换块的残差样本(或残差样本阵列)。为了描述的方便，基本上描述了解码器，但本公开不限于此。根据本公开的实施方式的变换处理可以基本上相同地应用于编码器。

在本公开的实施方式中，变换处理可以接收以下变量(或标记或参数)中的至少一个。

-基于当前图片的左上亮度样本的指示当前亮度变换块的左上亮度样本(或左上亮度样本的位置、坐标)的亮度位置(xTbY，yTbY)。

在这种情况下，xTbY指示当前亮度变换块的左上亮度样本的水平方向坐标，并且yTbY指示当前亮度变换块的左上亮度样本的竖直方向坐标。

-指示当前变换块的水平大小(或宽度)的变量hTbS

-指示当前变换块的竖直大小(或高度)的变量vTbS

-指示当前块的颜色分量的变量cIdx

-具有元素d[x][y]的(hTbS)×(vTbS)反量化变换系数阵列

此外，变换处理可以输出具有元素r[x][y]的(hTbS)×(vTbS)残差样本阵列。

如果cIdx值为0，则变换系数的最小值coeffMin可以被设置为亮度分量系数的最小值CoeffMinY，并且变换系数的最大值CoeffMax可以被设置为亮度分量系数的最大值CoeffMaxY。如若不然，则变换系数的最小值可以被设置为色度分量系数的最小值CoeffMinC，并且变换系数的最大值可以被设置为色度分量系数的最大值CoeffMaxC。

在本公开的实施方式中，编码器/解码器可以基于指示是否向当前变换块应用MTS的MTS语法(或语法元素)来推导用于当前变换块的主变换(或核心变换)的水平方向和/或竖直方向上的变换类型(或变换核)。例如，可以使用当前变换块的预测模式、当前变换块的宽度/高度、MTS语法或cIdx中的至少一者来推导所推导的变换类型。

在本公开中，划分并描述应用MTS的情况和不应用MTS的情况，但本公开不限于这种表述。例如，是否应用MTS可以与是否使用除了预定义的特定变换类型(可以被表示为基本变换类型或默认变换类型)之外的另一变换类型相同的含义。如果应用了MTS，则可以将除了默认变换类型之外的另一变换类型(例如，多种变换类型或两种或更多种组合的变换类型中的任一种)用于变换。如果不应用MTS，则可以将默认变换类型用于变换。在实施方式中，默认变换类型可以被配置(或定义)为DCT2。

例如，指示是否向当前变换块应用MTS的MTS标志语法和指示在应用了MTS的情况下应用于当前块的变换类型的MTS索引语法可以各自被从编码器发送到解码器。又例如，包括是否向当前变换块应用MTS和在应用了MTS的情况下应用于当前块的变换类型二者的语法(例如，MTS索引)可以被从编码器发送到解码器。即，在后一实施方式中，指示包括默认变换类型的整个变换类型组(或变换类型集)内的应用于当前变换块(或单元)的变换类型的语法(或语法元素)可以被从编码器发送到解码器。因此，尽管有这样的表述，但指示应用于当前变换块的变换类型的语法(MTS索引)可以包括关于是否应用MTS的信息。换句话说，在后一实施方式中，可以在没有MTS标志的情况下仅发信号通知MTS索引。在这种情况下，DCT2可以被解释为被包括在MTS中。然而，下文中，在本公开中，应用DCT2的情况被描述为不应用MTS。即便如此，MTS的技术范围也不限于对应的定义内容。

此外，如上所述，MTS可以使用至少两种变换类型。在本公开的实施方式中，基本描述了总共使用DCT2、DST7和DCT8这三种变换类型的情况，但本公开不限于此。在实施方式中，为了指示变换类型，可以指派索引0(DCT2)、1(DST7)或2(DCT8)。

在实施方式中，当指示是否向当前变换块应用MTS的MTS语法值为0时，变换类型可以被设置为0。否则，则可以根据以下表26来推导变换类型。换句话说，当MTS语法值为0时，变换类型被设置为0。否则，则可以针对水平/竖直方向中的每一个将变换类型设置为1或2。

【表26】

参照表26，在实施方式中，可以首先解析指示是否应用MTS的语法(即，MTS标志)。如果不应用MTS，则当前变换块的变换类型可以被确定为0。如果应用MTS，则可以针对水平/竖直方向来解析指示变换类型(TrType)的语法(或语法元素)。如果应用MTS，则应用于水平/竖直方向的变换类型可以被确定为1或2。

在另一实施方式中，如上所述，可以发送指示包括默认变换类型的整个变换类型组内的应用于当前变换块的变换类型的语法(即，MTS索引)。在这种情况下，与表26中不同，可以在不进行MTS标志解析的情况下基于MTS索引如在表27中那样确定当应用MTS时的变换类型和当不应用MTS时的变换类型。

【表27】

MTS索引	0	1	2	3	4
						trTypeHor	0	1	2	1	2
trTypeVer	0	1	1	2	2

参照表27，当MTS索引为0时，不可以应用MTS。在这种情况下，应用于水平/竖直方向的变换类型可以被确定(或设置)为0。此外，当MTS索引不为0时，可以应用MTS。在这种情况下，如在表27中，可以基于MTS索引值将应用于水平/竖直方向的变换类型确定(或设置)为1或2。

当根据以上提到的方法确定水平/竖直方向上的变换类型时，可以根据以下方法来推导残差样本的(hTbS)×(vTbS)阵列。

第一，通过针对各列调用一维变换处理，反量化变换系数d[x][y](其中，x＝0..hTbS-1,y＝0..vTbS–1)的各列(即，竖直方向)可以被(逆)变换为e[x][y](其中，x＝0..hTbS-1,y＝0..vTbS–1)。e[x][y]指示在竖直方向上逆变换的系数(或列表)。一维变换处理可以接收当前变换块的高度、反量化变换系数的列(或列表)d[x][y]和竖直方向变换类型作为输入，并可以输出e[x][y](y＝0..vTbS–1)。

第二，可以使用式59来推导中间样本值g[x][y](其中x＝0..hTbS-1，y＝0..vTbS–1)。

[式59]

g[x][y]＝Clip3(coeffMin,coeffMax,(e[x][y]+64)>>7)

参照式59，已经在竖直方向上执行逆变换之后的中间样本值(或中间变换系数值)可以被确定为从预定义的系数的最小值coeffMin与该系数的最大值coeffMax之间的缩放后的e[x][y]值中裁剪的值。

第三，所得阵列(即，中间样本)g[x][y]的各行(即，水平方向)(其中，x＝0..hTbS-1，y＝0..vTbS–1)可以通过针对各行调用一维变换处理而(逆)变换为r[x][y](其中，x＝0..hTbS-1,y＝0..vTbS–1)。r[x][y]指示在水平方向上逆变换的系数(或列表)。一维变换处理可以接收当前变换块的宽度、中间样本阵列的行(或列表)g[x][y]和水平方向变换类型作为输入，并可以输出r[x][y](x＝0..hTbS-1)。

下文中，描述了在水平或竖直方向上应用的一维变换处理。

根据本公开的实施方式的一维变换处理可以在水平或竖直方向上应用。

如果调用了针对列(即，竖直方向)的一维处理，则一维变换处理可以接收以下变量(或标记或参数)作为输入。

-指示缩放(或反量化)后的变换系数(或变换块)的竖直大小(或高度)的变量vTbS

-具有元素x[j](j＝0..nTbs–1)的缩放后的变换系数x的列表

-变换类型变量trType

此外，针对列的一维变换处理可以输出具有元素y[i](i＝0..nTbs–1)的逆变换后的样本的列表。

相比之下，当调用了针对行(即，竖直方向)的一维处理时，一维变换处理可以接收以下变量(或标记或参数)作为输入。

-指示缩放(或反量化)后的变换系数(或变换块)的水平大小(或宽度)的变量hTbS

-具有元素x[j](j＝0..nTbs–1)的缩放后的变换系数x的列表

-变换类型变量trType

此外，针对行的一维变换处理可以输出具有元素y[i](i＝0..nTbs–1)的逆变换后的样本的列表。

在实施方式中，可以基于变换类型的值如下地应用变换矩阵。

如果变换类型为0，则可以将式60应用于缩放后的变换系数列表。

[式60]

参照式60，如果应用于当前变换块的变换类型为0，则可以应用预定义的变换矩阵。例如，如果变换类型为0，则可以如同以下表28那样定义变换矩阵。

【表28】

/>

如果变换类型不为0，则可以将式61应用于缩放后的变换系数列表。

[式61]

参照式61，如果应用于当前变换块的变换类型不为0(即，1或2)，则可以应用预定义的变换矩阵。

例如，如果变换类型为1，则可以如以下表29地定义4×4变换矩阵。

【表29】

此外，例如，如果变换类型为1，则可以如以下表30地定义8×8变换矩阵。

【表30】

此外，例如，如果变换类型为1，则可以如以下表31地定义16×16变换矩阵。

【表31】

/>

此外，例如，如果变换类型为2，则可以如以下表32地定义32×32变换矩阵。

【表32】

/>

此外，例如，如果变换类型为2，则可以如以下表33地定义4×4变换矩阵。

【表33】

此外，例如，如果变换类型为2，则可以如以下表34地定义8×8变换矩阵。

【表34】

此外，例如，如果变换类型为2，则可以如以下表35地定义16×16变换矩阵。

【表35】

/>

此外，例如，如果变换类型为2，则可以如以下表36地定义32×32变换矩阵。

【表36】

/>

下文中，可以应用以上提出的方法的语法结构被作为示例描述。在实施方式中，可以定义诸如以下表37这样的更高级语法结构。

【表37】

表37例示了序列参数集语法。编码器可以通过语法参数集发信号通知指示是否可以使用MTS的语法元素。序列参数集是示例，本公开不限于此。可以通过视频参数集、图片参数集、切片头等来发信号通知语法元素。

具体地，当mts_intra_enabled_flag为1时，可以指示在针对帧内块的残差编码语法或变换编码语法中可能存在指示是否应用MTS的语法元素(例如，mts_cu_flag、mts_tu_idx、mts_cu_idx)。当mts_intra_enabled_flag为0时，可以指示在针对帧内块的残差编码语法或变换编码语法中不存在指示是否应用MTS的语法元素。

当mts_inter_enabled_flag为1时，可以指示在针对帧间块的残差编码语法或变换编码语法中可能存在指示是否应用MTS的语法元素。当mts_inter_enabled_flag为0时，可以指示在针对帧间块的残差编码语法或变换编码语法中不存在指示是否应用MTS的语法元素。

在实施方式中，可以定义诸如以下表38这样的变换单元语法结构。

【表38】

参照表38，如果MTS可以用于当前变换块并且当前变换块的宽度和高度小于或等于预定义的最大大小，则解析mts_cu_flag语法元素。mts_cu_flag指示是否向关联的变换块应用MTS。当mts_cu_flag为1时，指示向当前变换单元的残差样本应用MTS。当mts_cu_flag为0时，指示不向当前变换单元的残差样本应用MTS。maxSizeMts变量指示应用了MTS的变换块的最大大小。

在实施方式中，可以定义诸如以下表39这样的残差编码语法结构。

【表39】

参照表39，mts_hor_mode指示在当前变换单元的水平方向上应用于残差样本的变换类型(或变换核)。当mts_hor_mode为0时，指示在当前变换单元的水平方向上向残差样本应用DST7变换核。当mts_hor_mode为1时，指示在当前变换单元的水平方向上向残差样本应用DCT8变换核。

mts_ver_mode指示在当前变换单元的竖直方向上应用于残差样本的变换类型(或变换核)。当mts_ver_mode为0时，指示在当前变换单元的竖直方向上向残差样本应用DST7变换核。当mts_ver_mode为1时，指示在当前变换单元的竖直方向上向残差样本应用DCT8变换核。

针对x＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight–1，可以从以下表40中定义的mts_hor_mode和mts_ver_mode推导指示针对水平和竖直方向的变换类型(或变换核)的变量MtsMode[x][y]。

【表40】

为了便于描述，已经划分和描述了本公开的以上提到的实施方式，但本公开不限于此。即，以上提到的实施方式可以被独立地执行，或者可以组合并执行一个或更多个实施方式。

参照图31，解码器解析指示是否对当前块的逆变换应用MTS的第一语法元素(S3101)。在这种情况下，MTS指示使用除了当前块中预定义的默认变换类型之外的另一变换类型的变换模式。

解码器通过对当前块执行反量化来推导具有当前块的宽度和高度的反量化变换系数阵列(S3102)。

解码器基于第一语法元素来确定应用于当前块的竖直方向的竖直变换类型和应用于当前块的水平方向的水平变换类型(S3103)。

解码器通过使用竖直变换类型和水平变换类型对反量化变换系数阵列执行逆变换来推导具有当前块的宽度和高度的残差样本阵列(S3104)。

在实施方式中，默认变换类型可以被配置为DCT2，并且除了默认变换类型之外的其余变换类型可以被配置为DST7和DCT8。

在实施方式中，如果第一语法元素指示MTS不被应用于当前块的逆变换，则竖直变换类型和水平变换类型可以被确定为DCT2。如果第一语法元素指示MTS被应用于当前块的逆变换，则竖直变换类型和水平变换类型中的每一者可以被确定为DST7和DCT8中的任一个。

在实施方式中，还包括解析指示MTS是否可用于帧内编码块的第二语法元素和指示MTS是否可用于帧间编码块的第三语法元素的步骤。当第二语法元素为1时，第一语法元素可以存在于针对帧内编码块的变换单元语法中。当第三语法元素为1时，第一语法元素可以存在于针对帧间编码块的变换单元语法中。

在实施方式中，推导残差样本阵列的步骤还可以包括以下步骤：使用竖直变换类型对反量化变换系数阵列的各列在竖直方向上执行一维变换处理；以及使用水平变换类型对通过针对各列的一维变换处理输出的中间样本阵列的各行在水平方向上执行一维变换处理。

在实施方式中，在水平方向上执行一维变换处理的步骤还可以包括以下步骤：基于预定义系数的最小值和最大值，裁剪通过针对各列的一维变换处理输出的中间样本值。

参照图32，对视频信号进行解码的设备实现在图4至图31中提出的功能、处理和/或方法。具体地，该设备可以被配置为包括语法元素解析单元3201、反量化变换系数推导单元3202、变换类型确定单元3203和残差样本推导单元3204。

语法元素解析单元3201解析指示是否将MTS应用于当前块的逆变换的第一语法元素。在这种情况下，MTS指示使用除了当前块中预定义的默认变换类型之外的另一变换类型的变换模式。

反量化变换系数推导单元3202通过对当前块执行反量化来推导具有当前块的宽度和高度的反量化变换系数阵列。

变换类型确定单元3203基于第一语法元素来确定应用于当前块的竖直方向的竖直变换类型和应用于当前块的水平方向的水平变换类型。

残差样本推导单元3204通过使用竖直变换类型和水平变换类型对反量化变换系数阵列执行逆变换来推导具有当前块的宽度和高度的残差样本阵列。

在实施方式中，如果第一语法元素指示MTS不被应用于当前块的逆变换，则竖直变换类型和水平变换类型可以被确定为DCT2。如果第一语法元素指示向当前块的逆变换应用MTS，则竖直变换类型和水平变换类型中的每一者可以被确定为DST7和DCT8中的任一个。

在实施方式中，语法元素解析单元解析指示MTS是否可用于帧内编码块的第二语法元素和指示MTS是否可用于帧间编码块的第三语法元素。当第二语法元素为1时，第一语法元素可以存在于针对帧内编码块的变换单元语法中。当第三语法元素为1时，第一语法元素可以存在于针对帧间编码块的变换单元语法中。

在实施方式中，残差样本推导单元3204可以使用竖直变换类型对反量化变换系数阵列的各列在竖直方向上执行一维变换处理，并且可以使用水平变换类型对通过针对各列的一维变换处理输出的中间样本阵列的各行在水平方向上执行一维变换处理。

在实施方式中，残差样本推导单元3204可以基于预定义系数的最小值和最大值，裁剪通过针对各列的一维变换处理输出的中间样本值。

图33例示了应用本公开的视频编码系统。

视频编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或通过网络以文件或流传输形式向接收装置发送编码后的视频/图像信息或数据。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备。解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器。可以针对每个装置或外部部件配置显示器。

视频源可以通过视频/图像的捕获、合成或生成处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一台或更多台相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机生成虚拟视频/图像。在这种情况下，可以用视频/图像捕获处理取代生成相关数据的处理。

编码设备可以对输入视频/图像进行编码。编码设备可以针对压缩和编码效率执行诸如预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流形式输出。

发送器可以通过数字存储介质或通过网络以文件或流传输形式向接收装置的接收器发送以比特流形式输出的编码后的视频/图像信息或数据。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD这样的各种存储介质。发送器可以包括用于通过预定义文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以提取比特流，并且将它发送到解码设备。

解码设备可以通过执行与编码设备的操作对应的诸如反量化、逆变换和预测这样的一系列过程来对视频/图像进行解码。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

图34例示了应用本公开的内容流传输系统。

参照图34，应用本公开的内容流传输系统可以基本上包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。

编码服务器基本上用于通过将从诸如智能电话、相机和摄录机这样的多媒体输入装置输入的内容压缩成数字数据来生成比特流，并且将比特流发送到流传输服务器。又例如，如果诸如智能电话、相机和摄录机这样的多媒体输入装置直接生成比特流，则可以省去编码服务器。

可以通过应用本公开的编码方法或比特流生成方法来生成比特流。流传输服务器可以在发送或接收比特流的处理中临时存储比特流。

流传输服务器通过网络服务器基于用户请求将多媒体数据发送到用户设备。网络服务器充当通知用户提供了什么服务的媒介。当用户向网络服务器请求所期望的服务时，网络服务器将请求发送到流传输服务器。流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统内的设备之间的指令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，如果从编码服务器接收到内容，则流传输服务器可以实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以将比特流存储给定时间。

用户设备的示例可以包括移动电话、智能电话、便携式计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航器、触屏平板PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)和头戴式显示器(HMD))、数字TV、台式计算机和数字标牌。

内容流传输系统内的服务器可以用作分布式服务器。在这种情况下，可以分发和处理从服务器接收到的数据。

如上所述，本公开描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。

此外，应用本公开的解码器和编码器可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频对话装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏控制台、Blu-ray(蓝光)播放器、互联网接入TV、家庭影院系统、智能电话、平板PC和数字录像机(DVR)。

此外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储了计算机可读数据的所有种类的存储装置。计算机可读记录介质可以包括例如Blue-ray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网进行传输)的形式实现的介质。此外，使用编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。

此外，本公开的实施方式可以使用程序代码被实现为计算机程序产品。可以由根据本公开的实施方式的计算机执行程序代码。程序代码可以被存储在可供计算机读取的载体上。

在以上提到的实施方式中，本公开的元件和特征已经按特定形式进行了组合。这些元件或特征中的每一个都可以被认为是可选的，除非另有明确描述。这些元件或特征中的每一个都可以按不与其它元件或特征组合的形式来实现。此外，这些元件和/或特征中的一些可以被组合，以形成本公开的实施方式。可以改变本公开的实施方式中描述的操作的顺序。实施方式的一些元件或特征可以被包含在另一个实施方式中，或者可以被另一个实施方式的对应元件或特征替换。显而易见，实施方式可以通过将在权利要求书中没有明确引用关系的权利要求组合来构造或者可以在提交申请之后通过修改被包括作为新权利要求。

根据本公开的实施方式可以通过各种装置(例如，硬件、固件、软件或它们的组合)来实现。在由硬件实现的情况下，本公开的实施方式可以使用一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。

在由固件或软件实现的情况下，本公开的实施方式可以按执行以上提到的功能或操作的模块、过程或功能的形式来实现。软件代码可以被存储在存储器中并且由处理器驱动。存储器可以位于处理器的内部或外部并且可以利用各种已知手段与处理器交换数据。

本领域的技术人员显而易见的是，可以在不脱离本公开的必要特性的情况下按其它特定形式来实现本公开。因此，具体实施方式不应该被解释为限制性的，而是应该被解释为从所有方面来说都是例示性的。本公开的范围应该通过对所附权利要求的合理分析来确定，并且在本公开的等同范围内的所有修改被包括在本公开的范围内。

工业实用性

为了例示性目的已经公开了本公开的以上提到的优选实施方式，并且本领域的技术人员在不脱离所附权利要求书中公开的本公开的技术精神和范围的情况下，能改进、改变、替代或添加各种其它实施方式。

Claims

1.一种基于多重变换选择MTS来对视频信号进行解码的解码设备，该解码设备被配置为：

从所述视频信号获得序列参数集，其中，所述序列参数集包括指示用于帧内编码单元的语法中是否能够存在MTS索引的MTS帧内使能标志以及指示用于帧间编码单元的语法中是否能够存在所述MTS索引的MTS帧间使能标志；

基于所述MTS帧内使能标志或所述MTS帧间使能标志来从所述视频信号获得所述MTS索引，其中，所述MTS索引与变换配置组内的多个变换组合中的任一个相对应，并且其中，所述MTS指示基于从所述多个变换组合中自适应地选择的变换组合的变换方法；

通过对当前块执行反量化来推导具有所述当前块的宽度和高度的反量化变换系数阵列；

基于所述MTS索引来确定应用于所述当前块的竖直方向的竖直变换类型和应用于所述当前块的水平方向的水平变换类型；以及

基于所述竖直变换类型和所述水平变换类型对所述反量化变换系数阵列执行逆变换来推导具有所述当前块的所述宽度和所述高度的残差样本阵列，

其中，基于所述竖直变换类型对所述反量化变换系数阵列的各列在所述竖直方向上执行一维变换处理以输出中间样本阵列，

其中，基于所述水平变换类型对所述中间样本阵列的各行在所述水平方向上执行一维变换处理，并且

其中，基于预定义系数的最小值和最大值来裁剪所述中间样本阵列的中间样本值。

2.根据权利要求1所述的解码设备，

其中，所述多个变换组合包括离散余弦变换类型2DCT2、离散正弦变换类型7DST7和离散余弦变换类型8DCT8中的至少一个。

3.根据权利要求1所述的解码设备，

其中，当所述MTS索引具有为零的值时，所述竖直变换类型和所述水平变换类型被确定为DCT2，并且

其中，当所述MTS索引具有为非零的值时，所述竖直变换类型和所述水平变换类型中的每一者被确定为DST7和DCT8中的任一个。

4.一种基于多重变换选择MTS来对视频信号进行编码的编码设备，该编码设备被配置为：

生成残差样本阵列；

确定应用于当前块的竖直方向的竖直变换类型和应用于所述当前块的水平方向的水平变换类型；

基于所述竖直变换类型和所述水平变换类型对所述当前块执行变换；

生成MTS索引，所述MTS索引与变换配置组内的多个变换组合中的一个变换组合相对应，其中，所述多个变换组合中的所述一个变换组合包括所述竖直变换类型和所述水平变换类型，并且其中，所述MTS指示基于从所述多个变换组合中自适应地选择的变换组合的变换方法；

通过对所述当前块执行量化来推导具有所述当前块的宽度和高度的量化变换系数阵列；以及

对所述当前块执行熵编码以生成比特流，

其中，所述比特流中的序列参数集包括指示用于帧内编码单元的语法中是否能够存在所述MTS索引的MTS帧内使能标志以及指示用于帧间编码单元的语法中是否能够存在所述MTS索引的MTS帧间使能标志，

其中，基于所述MTS帧内使能标志或所述MTS帧间使能标志来将所述MTS索引编码到所述比特流中，

其中，基于所述水平变换类型对所述残差样本阵列的各行在所述水平方向上执行一维变换处理以输出中间样本阵列，并且

其中，基于所述竖直变换类型对所述中间样本阵列的各列在所述竖直方向上执行一维变换处理。

5.一种发送用于图像的比特流的发送设备，所述图像是基于多重变换选择MTS来编码的，所述发送设备包括：

处理器，所述处理器被配置为获得用于所述图像的所述比特流，其中，所述比特流是通过以下操作生成的：生成残差样本阵列；确定应用于当前块的竖直方向的竖直变换类型和应用于所述当前块的水平方向的水平变换类型；基于所述竖直变换类型和所述水平变换类型对所述当前块执行变换；生成MTS索引，所述MTS索引与变换配置组内的多个变换组合中的一个变换组合相对应，所述多个变换组合中的所述一个变换组合包括所述竖直变换类型和所述水平变换类型，并且所述MTS指示基于从所述多个变换组合中自适应地选择的变换组合的变换方法；通过对所述当前块执行量化来推导具有所述当前块的宽度和高度的量化变换系数阵列；并且对所述当前块执行熵编码；以及

发送器，所述发送器被配置为发送用于所述图像的所述比特流，