CN109417636B - 用于基于变换的图像编码/解码的方法和设备 - Google Patents

Abstract

本发明涉及一种用于基于变换的图像编码/解码的方法和设备。根据本发明的图像解码方法包括：确定当前块的变换模式的步骤；根据当前块的变换模式对当前块的残差数据进行逆变换的步骤；以及根据当前块的变换模式对当前块的经逆变换的当前块的残差数据进行重新布置的步骤，其中，所述变换模式包括重排离散正弦变换(SDST)、重排离散余弦变换(SDCT)、离散正弦变换(DST)和离散余弦变换(DCT)中的至少一个。

Description

用于基于变换的图像编码/解码的方法和设备

技术领域

本发明涉及一种用于对图像进行编码和解码的方法和设备。更具体地讲，本发明涉及一种用于基于变换对视频图像进行编码和解码的方法和设备。

背景技术

近来，对诸如高清(HD)图像和超高清(UHD)图像的高分辨率和高质量图像的需求在各个应用领域已获得增长。然而，与传统的图像数据相比，更高分辨率和质量的图像数据的数据量有所增加。因此，当通过使用诸如传统的有线宽带网络和无线宽带网络的介质发送图像数据时，或者当通过使用传统的存储介质存储图像数据时，发送和存储的成本增加。为了解决这些随着图像数据的分辨率和质量的提高而出现的问题，对于更高分辨率和更高质量的图像，需要高效图像编码/解码技术。

图像压缩技术包括各种技术，包括：从当前画面的先前画面或后续画面预测包括在当前画面中的像素值的帧间预测技术；通过使用当前画面中的像素信息来预测包括在当前画面中的像素值的帧内预测技术；用于压缩残差信号的能量的变换和量化技术；向高出现频率的值分配短码并且向低出现频率的值分配长码的熵编码技术；等等。通过使用这样的图像压缩技术，图像数据可被有效压缩，并且可被发送或存储。

发明内容

技术问题

本发明的一个目的是提供一种用于基于变换对视频图像进行编码和解码以提高图像的编码/解码效率的方法和设备。

本发明的另一个目的是提供一种用于基于变换对视频图像进行编码和解码以提高图像的变换效率的方法和设备。

解决方案

一种根据本发明的用于对视频进行解码的方法包括：确定当前块的变换模式；根据当前块的变换模式对当前块的残差数据进行逆变换；并且根据当前块的变换模式对当前块的经逆变换的残差数据进行重新布置，其中，所述变换模式包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)和DCT(离散余弦变换)中的至少一个。

在根据本发明的用于对视频进行解码的方法中，仅在当前块的变换模式是SDST和SDCT之一时，才可执行所述重新布置。

在根据本发明的用于对视频进行解码的方法中，确定当前块的变换模式的步骤可包括：从比特流获得当前块的变换模式信息；并且基于变换模式信息来确定当前块的变换模式。

在根据本发明的用于对视频进行解码的方法中，可基于以下项中的至少一个来执行确定当前块的变换模式的步骤：当前块的预测模式、当前块的深度信息、当前块的大小以及当前块的形状。

在根据本发明的用于对视频进行解码的方法中，在当前块的预测模式是帧间预测模式时，当前块的变换模式可被确定为SDST和SDCT之一。

在根据本发明的用于对视频进行解码的方法中，所述重新布置可包括：沿第一方向对布置在当前块中的经逆变换的残差数据进行扫描；并且沿第二方向将沿第一方向扫描的经逆变换的残差数据重新布置在当前块中。

在根据本发明的用于对视频进行解码的方法中，可对当前块中的每个子块执行所述重新布置。

在根据本发明的用于对视频进行解码的方法中，所述重新布置可以是基于当前块中的子块的位置对所述残差数据进行重新布置。

在根据本发明的用于对视频进行解码的方法中，通过以预定义的角度对布置在当前块中的经逆变换的残差数据进行旋转来执行所述重新布置。

一种根据本发明的用于对视频进行编码的方法包括：确定当前块的变换模式；根据当前块的变换模式对当前块的残差数据进行重新布置；并且根据当前块的变换模式对当前块的经重新布置的残差数据进行变换，其中，所述变换模式包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)和DCT(离散余弦变换)中的至少一个。

在根据本发明的用于对视频进行编码的方法中，仅在当前块的变换模式是SDST和SDCT之一时，才可执行所述重新布置。

在根据本发明的用于对视频进行编码的方法中，可基于以下项中的至少一个来执行确定当前块的变换模式的步骤：当前块的预测模式、当前块的深度信息、当前块的大小以及当前块的形状。

在根据本发明的用于对视频进行编码的方法中，在当前块的预测模式是帧间预测模式时，当前块的变换模式可被确定为SDST和SDCT之一。

在根据本发明的用于对视频进行编码的方法中，所述重新布置可包括：沿第一方向对布置在当前块中的残差数据进行扫描；并且沿第二方向将沿第一方向扫描的残差数据重新布置在当前块中。

在根据本发明的用于对视频进行编码的方法中，可对当前块中的每个子块执行所述重新布置。

在根据本发明的用于对视频进行编码的方法中，所述重新布置可以是基于当前块中的子块的位置对所述残差数据进行重新布置。

在根据本发明的用于对视频进行编码的方法中，可通过以预定义的角度对布置在当前块中的所述残差数据进行旋转来执行所述重新布置。

一种根据本发明的用于对视频进行解码的设备包括逆变换单元，逆变换单元确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行逆变换，并根据当前块的变换模式对当前块的经逆变换的残差数据进行重新布置，其中，所述变换模式包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)和DCT(离散余弦变换)中的至少一个。

一种根据本发明的用于对视频进行编码的设备包括变换单元，变换单元确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行重新布置，并根据当前块的变换模式对当前块的经重新布置的残差数据进行变换，其中，所述变换模式包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)和DCT(离散余弦变换)中的至少一个。

一种根据本发明的记录介质存储比特流，所述比特流通过用于对视频进行编码的方法被形成，所述方法包括：确定当前块的变换模式；根据当前块的变换模式对当前块的残差数据进行重新布置；并且根据当前块的变换模式对当前块的经重新布置的残差数据进行变换，其中，所述变换模式包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)和DCT(离散余弦变换)中的至少一个。

有益效果

根据本发明，可提高图像的编码/解码效率。

根据本发明，可提高图像的变换效率。

附图说明

图1是示出根据本发明的实施例的编码设备的配置的框图。

图2是示出根据本发明的实施例的解码设备的配置的框图。

图3是示意性地示出当对图像进行编码和解码时的图像的分区结构的示图。

图4是示出可被包括在编码单元(CU)中的预测单元(PU)的形式的示图。

图5是示出可被包括在编码单元(CU)中的变换单元(TU)的形式的示图。

图6是用于解释帧内预测的处理的实施例的示图。

图7是用于解释帧间预测的处理的实施例的示图。

图8是用于解释根据帧内预测模式的变换集的示图。

图9是用于解释变换的处理的示图。

图10是用于解释对量化的变换系数进行扫描的示图。

图11是用于解释块分区的示图。

图12是示出根据本发明的DCT-2频域中的基矢量的示图。

图13是示出根据本发明的DST-7频域中的基矢量的示图。

图14是示出根据本发明的根据Cactus序列的在帧间模式下预测出的8×8编码单元(CU)的2N×2N预测单元(PU)中的位置的平均残差值的分布的示图。

图15是示出根据本发明的在帧间预测模式(帧间模式)下预测出的8×8编码单元(CU)的2N×2N预测单元(PU)中的残差值的分布特性的三维图。

图16是示出根据本发明的编码单元(CU)的2N×2N预测单元(PU)模式中的残差信号的分布特性的示图。

图17是示出根据本发明的2N×2N预测单元(PU)的在重排之前和之后的残差信号的分布特性的示图。

图18是示出根据本发明的子块的4×4残差数据的重新布置的示例的示图。

图19a和图19b是示出根据本发明的根据编码单元(CU)的预测单元(PU)模式和变换单元(TU)的重排方法的变换单元(TU)的分区结构的示图。

图20是示出根据本发明的基于2N×2N预测单元(PU)的残差信号分布执行DCT-2和SDST的结果的示图。

图21是示出根据本发明的SDST处理的示图。

图22是示出根据本发明的基于帧间预测的编码单元(CU)的预测单元(PU)分区模式的残差绝对值和变换单元(TU)分区的分布特性的示图。

图23a、图23b和图23c是示出根据本发明的用于预测单元(PU)中具有深度零的变换单元(TU)的残差信号的扫描顺序和重新布置顺序的示图。

图24是示出根据本发明的通过率失真优化(RDO)选择DCT-2或SDST的编码处理的流程图。

图25是示出根据本发明的选择DCT-2或SDST的解码处理的流程图。

图26是示出根据本发明的使用SDST的解码处理的流程图。

图27和图28是示出根据本发明的在编码器和解码器中执行残差信号重新布置(残差重新布置)的位置的示图。

图29是示出根据本发明的使用SDST方法的解码方法的流程图。

图30是示出根据本发明的使用SDST方法的编码方法的流程图。

具体实施方式

可对本发明做出各种修改，并且存在本发明的各种实施例，其中，现在将参照附图提供所述各种实施例的示例并且将详细描述所述各种实施例的示例。然而，本发明不限于此，尽管示例性实施例可被解释为包括本发明的技术构思和技术范围内的所有修改、等同形式或替换形式。相似的参考标号指在各方面相同或相似的功能。在附图中，为了清楚起见，元件的形状和尺寸可被夸大。在本发明的以下详细描述中，对通过图示的方式示出可对本发明进行实施的具体实施例的附图进行参照。这些实施例被足够详细地描述以使本领域技术人员能够实施本公开。应该理解，本公开的各种实施例尽管不同，但不必是相互排他的。例如，在不脱离本公开的精神和范围的情况下，这里描述的与一个实施例关联的特定特征、结构和特性可在其它实施例中被实施。此外，应该理解，在不脱离本公开的精神和范围的情况下，每个公开的实施例内的各个元件的位置或布置可被修改。因此，以下详细描述并不用以限制的含义，本公开的范围经由所附权利要求(在合适的解释的情况下，还连同权利要求所要求保护的等同物的全部范围)来限定。

在说明书中使用的术语“第一”、“第二”等可被用于描述各种组件，但这些组件并不被解释为限制所述术语。所述术语仅被用于将一个组件与另一组件区分开。例如，在不脱离本发明的范围的情况下，“第一”组件可被称为“第二”组件，并且“第二”组件也可被类似地称为“第一”组件。术语“和/或”包括多个项的组合或者是多个项中的任意一项。

将理解的是，在本说明书中，当元件被简单地称为“连接到”或“结合到”另一元件而不是“直接连接到”或“直接结合到”另一元件时，它可以“直接连接到”或“直接结合到”另一元件，或者是在其间插入其它元件的情况下连接到或结合到另一元件。相反，应该理解，当元件被称为“直接结合”或“直接连接”到另一元件时，不存在中间元件。

此外，在本发明的实施例中示出的组成部件被独立地示出，以便呈现彼此不同的特性功能。因此，这并不意味着每个组成部件以单独的硬件或软件的组成单元被组成。换句话说，为了方便，每个组成部件包括枚举的组成部件中的每一个。因此，每个组成部件中的至少两个组成部件可被组合形成一个组成部件，或者一个组成部件可被划分为多个组成部件以执行每个功能。在没有脱离本发明的本质的情况下，每个组成部件被组合的实施例以及一个组成部件被划分的实施例也被包括在本发明的范围中。

在本说明书中使用的术语仅用于描述具体实施例，而不旨在限制本发明。以单数使用的表达包括复数表达，除非它在上下文中具有明显不同的含义。在本说明书中，将理解，诸如“包括...的”、“具有...的”等的术语旨在指明说明书中所公开的特征、数量、步骤、行为、元件、部件、或其组合的存在，而并不旨在排除一个或更多个其它特征、数量、步骤、行为、元件、部件、或其组合可能存在或者可能被添加的可能性。换句话说，当特定元件被称为“被包括”时，除相应元件以外的元件并不被排除，而是，另外的元件可被包括在本发明的实施例中或者是本发明的范围中。

此外，一些组成元件可能不是执行本发明的必要功能的不可缺的组成元件，而是仅提升其性能的可选组成元件。可通过仅包括用于实施本发明的实质的不可缺的组成部件而排除在提升性能时使用的组成元件来实施本发明。仅包括所述不可缺的组成元件而排除在仅提升性能时使用的可选组成元件的结构也被包括在本发明的范围中。

在下文中，将参照附图详细描述本发明的实施例。在描述本发明的示例性实施例时，将不详细描述公知功能或结构，这是因为它们会不必要地模糊对本发明的理解。附图中的相同的组成元件通过相同的参考标号来表示，并且对相同元件的重复描述将被省略。

此外，在下文中，图像可意为构成视频的画面，或者可意为视频本身。例如，“对图像进行编码或解码或者进行两者”可意为“对视频进行编码或解码或者进行两者”，并且可意为“对视频的多个图像之中的一个图像进行编码或解码或者进行两者”。这里，画面和图像可具有相同的含义。

术语描述

编码器：可意为执行编码的设备。

解码器：可意为执行解码的设备。

解析：可意为通过执行熵解码来确定语法元素的值，或者可意为熵解码本身。

块：可意为M×N矩阵的样点。这里，M和N是正整数，并且块可意为二维形式的样点矩阵。

样点：是块的基本单元，并且可指示依据比特深度(Bd)而范围为0至2^Bd-1的值。样点在本发明中可意为像素。

单元：可意为对图像进行编码和解码的单元。在对图像进行编码和解码时，单元可以是通过对一个图像进行分区而产生的区域。此外，单元可意为在编码或解码期间当一个图像被分区为多个子划分单元时的子划分单元。在对图像进行编码和解码时，可执行针对每个单元的预定处理。一个单元可被分区为大小比该单元的大小更小的子单元。依据功能，单元可意为块、宏块、编码树单元、编码树块、编码单元、编码块、预测单元、预测块、变换单元、变换块等。此外，为了将单元与块区分开，单元可包括亮度分量块、亮度分量块的色度分量块、以及每个颜色分量块的语法元素。单元可具有各种大小和形状，具体而言，单元的形状可以是二维几何图形，诸如矩形、正方形、梯形、三角形、五边形等。此外，单元信息可包括单元类型(指示编码单元、预测单元、变换单元等)、单元大小、单元深度、对单元进行编码和解码的顺序等中的至少一个。

重建邻近单元：可意为在空间上/时间上被在先编码或解码的重建单元，并且重建单元与编码/解码目标单元相邻。这里，重建邻近单元可意为重建邻近块。

邻近块：可意为与编码/解码目标块相邻的块。与编码/解码目标块相邻的块可意为具有与编码/解码目标块接触的边界的块。邻近块可意为位于编码/解码目标块的相邻顶点的块。邻近块可意为重建邻近块。

单元深度：可意为单元的被分区程度。在树结构中，根节点可以是最高节点，叶节点可以是最低节点。

符号：可意为编码/解码目标单元的语法元素、编码参数、变换系数的值等。

参数集：可意为比特流的结构中的头信息。参数集可包括视频参数集、序列参数集、画面参数集或自适应参数集中的至少一个参数集。此外，参数集可意为条带头信息和并行块(tile)头信息等。

比特流：可意为包括编码图像信息的比特串。

预测单元：可意为当执行帧间预测或帧内预测以及针对预测的补偿时的基本单元。一个预测单元可被分区为多个分区。在这种情况下，多个分区中的每个分区可以是在执行预测和补偿时的基本单元，并且从预测单元分区获得的每个分区可以是预测单元。此外，一个预测单元可以被分区为多个小预测单元。预测单元可具有各种大小和形状，并且具体来说，预测单元的形状可以是二维几何图形，诸如矩形、正方形、梯形、三角形和五边形等。

预测单元分区：可意为分区出的预测单元的形状。

参考画面列表：可意为包括至少一个参考画面的列表，其中，所述至少一个参考画面被用于帧间预测或运动补偿。参考画面列表的类型可以是List Combined(LC)、List 0(L0)、List 1(L1)、List 2(L2)、List 3(L3)等。至少一个参考画面列表可被用于帧间预测。

帧间预测指示符：可意为以下之一：帧间预测情况下的编码/解码目标块的帧间预测方向(单向预测、双向预测等)、用于通过所述编码/解码目标块产生预测块的参考画面的数量、以及用于通过所述编码/解码目标块执行帧间预测或运动补偿的参考块的数量。

参考画面索引：可意为参考画面列表中的特定参考画面的索引。

参考画面：可意为特定单元为了帧间预测或运动补偿所参考的画面。参考图像可被称为参考画面。

运动矢量：是用于帧间预测或运动补偿的二维矢量，并且可意为编码/解码目标画面与参考画面之间的偏移。例如，(mvX,mvY)可指示运动矢量，mvX可指示水平分量，mvY可指示垂直分量。

运动矢量候选：可意为当预测运动矢量时成为预测候选的单元，或者可意为该单元的运动矢量。

运动矢量候选列表：可意为通过使用运动矢量候选而配置的列表。

运动矢量候选索引：可意为指示运动矢量候选列表中的运动矢量候选的指示符。运动矢量候选索引可被称为运动矢量预测因子的索引。

运动信息：可意为运动矢量、参考画面索引和帧间预测指示符，以及包括参考画面列表信息、参考画面、运动矢量候选、运动矢量候选索引等中的至少一个的信息。

合并候选列表：可意为通过使用合并候选而配置的列表。

合并候选：可包括空间合并候选、时间合并候选、组合合并候选、组合双向预测合并候选、零合并候选等。合并候选可包括诸如预测类型信息的运动信息、用于每个列表的参考画面索引、运动矢量等。

合并索引：可意为指示合并候选列表中的合并候选的信息。此外，合并索引可指示与当前块在空间上/时间上相邻的重建块之中的推导合并候选的块。此外，合并索引可指示合并候选的多条运动信息中的至少一条。

变换单元：可意为当对残差信号执行与变换、逆变换、量化、反量化以及变换系数编码/解码类似的编码/解码时的基本单元。一个变换单元可被分区为多个小变换单元。变换单元可具有各种大小和形状。具体而言，变换单元的形状可以是二维几何图形，诸如矩形、正方形、梯形、三角形、五边形等。

缩放：可意为将一因子与变换系数等级相乘的处理，其结果是，变换系数可被产生。缩放还可被称为反量化。

量化参数：可意为在量化和反量化期间在对变换系数等级进行缩放时使用的值。这里，量化参数可以是被映射到量化的步长大小的值。

变量增量(Delta)量化参数：可意为在编码/解码目标单元的量化参数与预测出的量化参数之间的差值。

扫描：可意为对块或矩阵内的系数顺序进行排序的方法。例如，将二维矩阵排序为一维矩阵的操作可被称为扫描，并且将一维矩阵排序为二维矩阵的操作可被称为扫描或逆扫描。

变换系数：可意为在执行变换之后产生的系数值。在本发明中，量化的变换系数等级(即被应用了量化的变换系数)可被称为变换系数。

非零变换系数：可意为值不为0的变换系数，或者可意为值不为0的变换系数等级。

量化矩阵：可意为在量化和反量化中使用以便提高图像的主体质量(subjectquality)或对象质量(object quality)的矩阵。量化矩阵可被称为缩放列表。

量化矩阵系数：可意为量化矩阵的每个元素。量化矩阵系数可被称为矩阵系数。

默认矩阵：可意为在编码器和解码器中被预先定义的预定量化矩阵。

非默认矩阵：可意为在编码器和解码器中未被预先定义的情况下由用户发送/接收的量化矩阵。

编码树单元：可由一个亮度分量(Y)编码树单元以及相关的两个色度分量(Cb，Cr)编码树单元构成。每个编码树单元可通过使用至少一种分区方法(诸如四叉树、二叉树等)被分区，以构成诸如编码单元、预测单元、变换单元等的子单元。编码树单元可被用作用于指示像素块(即在图像的解码/编码处理中的处理单元，如输入图像的分区)的术语。

编码树块：可用作用于指示Y编码树单元、Cb编码树单元和Cr编码树单元之一的术语。

图1是示出根据本发明的实施例的编码设备的配置的框图。

编码设备100可以是视频编码设备或图像编码设备。视频可包括一个或更多个图像。编码设备100可按照时间顺序对视频的一个或更多个图像进行编码。

参照图1，编码设备100可包括运动预测单元111、运动补偿单元112、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、反量化单元160、逆变换单元170、加法器175、滤波器单元180以及参考画面缓冲器190。

编码设备100可按照帧内模式或帧间模式或者是帧内模式和帧间模式两者来对输入画面进行编码。此外，编码设备100可通过对输入画面进行编码来产生比特流，并可输出产生的比特流。当帧内模式被用作预测模式时，切换器115可切换到帧内。当帧间模式被用作预测模式时，切换器115可切换到帧间。这里，帧内模式可被称为帧内预测模式，帧间模式可被称为帧间预测模式。编码设备100可产生输入画面的输入块的预测块。此外，在产生预测块之后，编码设备100可对输入块和预测块之间的残差进行编码。输入画面可被称为作为当前编码的目标的当前图像。输入块可被称为当前块或者可被称为作为当前编码的目标的编码目标块。

当预测模式是帧内模式时，帧内预测单元120可使用与当前块相邻的先前编码块的像素值作为参考像素。帧内预测单元120可通过使用参考像素来执行空间预测，并可通过使用空间预测来产生输入块的预测样点。这里，帧内预测可意为帧内帧预测。

当预测模式是帧间模式时，运动预测单元111可在运动预测处理中从参考画面搜索与输入块最优匹配的区域，并可通过使用搜索到的区域推导运动矢量。参考画面可被存储在参考画面缓冲器190中。

运动补偿单元112可通过使用运动矢量执行运动补偿来产生预测块。这里，运动矢量可以是用于帧间预测的二维矢量。此外，运动矢量可指示当前画面和参考画面之间的偏移。这里，帧间预测可意为帧间帧预测。

当运动矢量的值不为整数时，运动预测单元111和运动补偿单元112可通过对参考画面中的部分区域应用插值滤波器来产生预测块。为了基于编码单元执行帧间预测或运动补偿，可在跳过模式、合并模式、AMVP模式和当前画面参考模式之中确定编码单元中的预测单元的运动预测和补偿方法使用哪些方法。可根据每种模式执行帧间预测或运动补偿。这里，当前画面参考模式可意为使用具有编码目标块的当前画面的预先重建的区域的预测模式。为了指明所述预先重建的区域，可定义针对当前画面参考模式的运动矢量。是否按照当前画面参考模式对编码目标块进行编码可通过使用编码目标块的参考画面索引而被编码。

减法器125可通过使用输入块和预测块之间的残差来产生残差块。残差块可被称为残差信号。

变换单元130可通过对残差块进行变换来产生变换系数，并可输出变换系数。这里，变换系数可以是通过对残差块进行变换而产生的系数值。在变换跳过模式中，变换单元130可跳过对残差块的变换。

可通过对变换系数应用量化来产生量化的变换系数等级。在下文中，在本发明的实施例中，量化的变换系数等级可被称为变换系数。

量化单元140可通过依据量化参数对变换系数进行量化来产生量化的变换系数等级，并可输出量化的变换系数等级。这里，量化单元140可通过使用量化矩阵来对变换系数进行量化。

熵编码单元150可通过根据概率分布对由量化单元140计算出的值或对在编码处理中计算出的编码参数值等执行熵编码来产生比特流，并可输出产生的比特流。熵编码单元150可对用于对图像进行解码的信息执行熵编码，并对图像的像素的信息执行熵编码。例如，用于对图像进行解码的信息可包括语法元素等。

当熵编码被应用时，通过对具有高出现概率的符号分配少量比特并对具有低出现概率的符号分配大量比特来表示符号，从而减少对目标符号进行编码的比特流的大小。因此，通过熵编码，可提高图像编码的压缩性能。对于熵编码，熵编码单元150可使用诸如指数哥伦布、上下文自适应变长编码(CAVLC)以及上下文自适应二进制算术编码(CABAC)的编码方法。例如，熵编码单元150可通过使用变长编码/码(VLC)表来执行熵编码。此外，熵编码单元150可推导目标符号的二进制化方法以及目标符号/二进制位的概率模型，并且随后可通过使用推导出的二进制化方法或推导出的概率模型来执行算术编码。

为了对变换系数等级进行编码，熵编码单元150可通过使用变换系数扫描方法将二维块形式的系数改变为一维矢量形式。例如，通过用右上扫描来扫描块的系数，二维形式的系数可被改变为一维矢量形式。根据变换单元的大小以及帧内预测模式，可使用用于沿列方向扫描二维块形式的系数的垂直方向扫描以及用于沿行方向扫描二维块形式的系数的水平方向扫描，而不是使用右上扫描。也就是说，依据变换单元的大小以及帧内预测模式，可确定右上扫描、垂直方向扫描和水平方向扫描之中的哪种扫描方法将被使用。

编码参数可包括由编码器编码并被发送到解码器的诸如语法元素的信息，并可包括可在编码或解码处理中推导出的信息。编码参数可意为对图像进行编码或解码所必要的信息。例如，编码参数可包括以下项中的至少一个值或组合形式：块大小、块深度、块分区信息、单元大小、单元深度、单元分区信息、四叉树形式的分区标志、二叉树形式的分区标志、二叉树形式的分区方向、帧内预测模式、帧内预测方向、参考样点滤波方法、预测块边界滤波方法、滤波器抽头、滤波器系数、帧间预测模式、运动信息、运动矢量、参考画面索引、帧间预测方向、帧间预测指示符、参考画面列表、运动矢量预测因子、运动矢量候选列表、关于运动合并模式是否被使用的信息、运动合并候选、运动合并候选列表、关于跳过模式是否被使用的信息、插值滤波器类型、运动矢量大小、运动矢量表示的精确度、变换类型、变换大小、关于附加(二次)变换是否被使用的信息、关于残差信号是否存在的信息、编码块样式、编码块标志、量化参数、量化矩阵、环路内的滤波器信息、关于滤波器是否在环路内被应用的信息、环路内的滤波器系数、二值化/反二值化方法、上下文模型、上下文二进制位、旁通二进制位、变换系数、变换系数等级、变换系数等级扫描方法、图像显示/输出顺序、条带识别信息、条带类型、条带分区信息、并行块识别信息、并行块类型、并行块分区信息、画面类型、比特深度、以及亮度信号或色度信号的信息。

残差信号可意为原始信号与预测信号之间的差。可选择地，残差信号可以是通过对原始信号和预测信号之间的差进行变换而产生的信号。可选择地，残差信号可以是通过对原始信号和预测信号之间的差进行变换和量化而产生的信号。残差块可以是块单元的残差信号。

当编码设备100通过使用帧间预测执行编码时。编码的当前画面可被用作针对将被随后处理的另一图像的参考画面。因此，编码设备100可对编码的当前画面进行解码，并可将解码的图像存储为参考画面。为了执行解码，可对编码的当前画面执行反量化和逆变换。

量化的系数可通过反量化单元160被反量化，并可通过逆变换单元170被逆变换。可由加法器175将经过反量化和逆变换的系数与预测块相加，由此可产生重建块。

重建块可通过滤波器单元180。滤波器单元180可向重建块或重建画面应用去块滤波器、样点自适应偏移(SAO)以及自适应环路滤波器(ALF)中的至少一个。滤波器单元180可被称为环路滤波器。

去块滤波器可去除在块之间的边界处出现的块失真。为了确定去块滤波器是否被运行，可基于包括在块中的若干行或列中的像素来确定去块滤波器是否被应用于当前块。当去块滤波器被应用于块时，可依据所需的去块滤波器强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，可并行处理水平方向滤波和垂直方向滤波。

样点自适应偏移可将最优偏移值添加到像素值以便对编码误差进行补偿。样点自适应偏移可针对每个像素对经过去块滤波的图像和原始画面之间的偏移进行校正。为了对特定画面执行偏移校正，可使用考虑每个像素的边缘信息来应用偏移的方法，或使用以下方法：将图像的像素分区为预定数量的区域，确定将被执行偏移校正的区域，并对所确定区域应用偏移校正。

自适应环路滤波器可基于通过将重建画面与原始画面进行比较而获得的值来执行滤波。图像的像素可被分区为预定组，被应用于每个组的一个滤波器被确定，并且不同的滤波可在每个组被执行。关于自适应环路滤波器是否被应用于亮度信号的信息可针对每个编码单元(CU)被发送。被应用于每个块的自适应环路滤波器的形状和滤波器系数可变化。此外，具有相同形式(固定形式)的自适应环路滤波器可在不考虑目标块的特性的情况下被应用。

经过滤波器单元180的重建块可被存储在参考画面缓冲器190中。

图2是示出根据本发明的实施例的解码设备的配置的框图。

解码设备200可以是视频解码设备或图像解码设备。

参照图2，解码设备200可包括熵解码单元210、反量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波器单元260以及参考画面缓冲器270。

解码设备200可接收从编码设备100输出的比特流。解码设备200可按照帧内模式或帧间模式对比特流进行解码。此外，解码设备100可通过执行解码来产生重建画面，并可输出重建画面。

当在解码中使用的预测模式是帧内模式时，切换器可切换到帧内。当在解码中使用的预测模式是帧间模式时，切换器可切换到帧间。

解码设备200可从输入的比特流获得重建残差块，并可产生预测块。当重建残差块和预测块被获得时，解码设备200可通过将重建残差块与预测块相加来产生作为解码目标块的重建块。解码目标块可被称为当前块。

熵解码单元210可通过根据概率分布对比特流执行熵解码来产生符号。产生的符号可包括具有量化的变换系数等级的符号。这里，熵解码的方法可与上述熵编码的方法类似。例如，熵解码的方法可以是上述熵编码的方法的逆处理。

为了对变换系数等级进行解码，熵解码单元210可执行变换系数扫描，由此，一维矢量形式的系数可被改变为二维块形式。例如，通过用右上扫描来扫描块的系数，一维矢量形式的系数可被改变为二维块形式。根据变换单元的大小以及帧内预测模式，可使用垂直方向扫描以及水平方向扫描，而不是使用右上扫描。也就是说，依据变换单元的大小以及帧内预测模式，可确定在右上扫描、垂直方向扫描和水平方向扫描之中的哪种扫描方法被使用。

量化的变换系数等级可通过反量化单元220被反量化，并可通过逆变换单元230被逆变换。量化的变换系数等级被反量化并被逆变换以便产生重建残差块。这里，反量化单元220可对量化的变换系数等级应用量化矩阵。

当帧内模式被使用时，帧内预测单元240可通过执行空间预测来产生预测块，其中，空间预测使用与解码目标块相邻的先前解码块的像素值。

当帧间模式被使用时，运动补偿单元250可通过执行运动补偿来产生预测块，其中，运动补偿使用存储在参考画面缓冲器270中的参考画面以及运动矢量两者。当运动矢量的值不是整数时，运动补偿单元250可通过对参考画面中的部分区域应用插值滤波器来产生预测块。为了执行运动补偿，基于编码单元，可在跳过模式、合并模式、AMVP模式和当前画面参考模式之中确定编码单元中的预测单元的运动补偿方法使用哪种方法。此外，可依据所述模式执行运动补偿。这里，当前画面参考模式可意为使用具有解码目标块的当前画面内的先前重建区域的预测模式。先前重建区域可不与解码目标块相邻。为了指明先前重建区域，可针对当前画面参考模式使用固定矢量。此外，指示解码目标块是否是按照当前画面参考模式被解码的块的标志或索引可被用信号发送，并可通过使用解码目标块的参考画面索引而被推导出。针对当前画面参考模式的当前画面可存在于针对解码目标块的参考画面列表内的固定位置(例如，参考画面索引为0的位置或最后的位置)。此外，当前画面可以可变地位于参考画面列表内，为此，可用信号发送指示当前画面的位置的参考画面索引。这里，用信号发送标志或索引可意为编码器对相应的标志或索引进行熵编码并且将相应的标志或索引包括到比特流中以及解码器从该比特流对相应的标志或索引进行熵解码。

可通过加法器255将重建残差块与预测块相加。通过将重建残差块和预测块相加而产生的块可经过滤波器单元260。滤波器单元260可对重建块或重建画面应用去块滤波器、样点自适应偏移和自适应环路滤波器中的至少一个。滤波器单元260可输出重建画面。重建画面可被存储在参考画面缓冲器270中，并可被用于帧间预测。

图3是示意性地示出当对图像进行编码和解码时的图像的分区结构的示图。图3示意性地示出将一个单元分区为多个子单元的实施例。

为了对图像进行有效分区，编码单元(CU)可在编码和解码中被使用。这里，编码单元可意为进行编码的单元。单元可以是1)语法元素和2)包括图像样点的块的组合。例如，“单元的分区”可意为“与单元相关的块的分区”。块分区信息可包括关于单元深度的信息。深度信息可指示单元被分区的次数或单元被分区的程度或两者。

参照图3，图像300针对每个最大编码单元(LCU)被顺序分区，并且分区结构针对每个LCU被确定。这里，LCU和编码树单元(CTU)具有相同的含义。一个单元可具有基于树结构的深度信息，并可被分层分区。每个分区出的子单元可具有深度信息。深度信息指示单元被分区的次数或单元被分区的程度或两者，因此，深度信息可包括关于子单元的大小的信息。

分区结构可意为LCU 310中的编码单元(CU)的分布。CU可以是用于对图像进行有效编码/解码的单元。所述分布可基于一个CU是否将被多次(即等于或大于2的正整数，包括2、4、8、16等)分区而被确定。分区出的CU的宽度大小和高度大小可分别为原始CU的一半宽度大小和一半高度大小。可选择地，根据分区的次数，分区出的CU的宽度大小和高度大小可分别小于原始CU的宽度大小和高度大小。分区出的CU可被递归地分区为多个进一步分区出的CU，其中，按照相同的分区方法，所述进一步分区出的CU具有比所述分区出的CU的宽度大小和高度大小更小的宽度大小和高度大小。

这里，CU的分区可被递归地执行直到预定深度。深度信息可以是指示CU的大小的信息，并且可被存储在每个CU中。例如，LCU的深度可以是0，并且最小编码单元(SCU)的深度可以是预定最大深度。这里，LCU可以是具有上述最大大小的编码单元，并且SCU可以是具有最小大小的编码单元。

每当LCU 310开始被分区，并且CU的宽度大小和高度大小通过分区操作而减小时，CU的深度增加1。在CU不能被分区的情况下，CU针对每个深度可具有2N×2N大小。在CU能够被分区的情况下，具有2N×2N大小的CU可被分区为多个N×N大小的CU。每当深度增加1时，N的大小减半。

例如，当一个编码单元被分区为四个子编码单元时，所述四个子编码单元之一的宽度大小和高度大小可分别为原始编码单元的一半宽度大小和一半高度大小。例如，当32×32大小的编码单元被分区为四个子编码单元时，所述四个子编码单元中的每一个可具有16×16大小。当一个编码单元被分区为四个子编码单元时，编码单元可按照四叉树形式被分区。

例如，当一个编码单元被分区为两个子编码单元时，所述两个子编码单元之一的宽度大小或高度大小可分别为原始编码单元的一半宽度大小或一半高度大小。例如，当32×32大小的编码单元被垂直分区为两个子编码单元时，所述两个子编码单元中的每一个可具有16×32大小。例如，当32×32大小的编码单元被水平分区为两个子编码单元时，所述两个子编码单元中的每一个可具有32×16大小。当一个编码单元被分区为两个子编码单元时，编码单元可按照二叉树形式被分区。

参照图3，具有最小深度0的LCU的大小可以是64×64像素，并且具有最大深度3的SCU的大小可以是8×8像素。这里，可由深度0来表示具有64×64像素的CU(即，LCU)，可由深度1来表示具有32×32像素的CU，可由深度2来表示具有16×16像素的CU，并且可由深度3来表示具有8×8像素的CU(即，SCU)。

此外，可通过CU的分区信息来表示关于CU是否将被分区的信息。分区信息可以是1比特信息。分区信息可被包括在除SCU的所有CU中。例如，当分区信息的值为0时，CU可不被分区，当分区信息的值为1时，CU可被分区。

图4是示出可被包括在编码单元(CU)中的预测单元(PU)的形式的示图。

从LCU分区出的多个CU之中的不再被分区的CU可被分区为至少一个预测单元(PU)。该处理也可被称为分区。

PU可以是用于预测的基本单元。PU可按照跳过模式、帧间模式和帧内模式中的任一模式而被编码和解码。PU可依据所述模式按照各种形式被分区。

此外，编码单元可不被分区为多个预测单元，并且编码单元和预测单元可具有相同的大小。

如图4所示，在跳过模式中，CU可不被分区。在跳过模式中，可支持与不经分区的CU具有相同大小的2N×2N模式410。

在帧间模式中，在CU中可支持8个分区模式。例如，在帧间模式中，可支持2N×2N模式410、2N×N模式415、N×2N模式420、N×N模式425、2N×nU模式430、2N×nD模式435、nL×2N模式440以及nR×2N模式445。在帧内模式中，可支持2N×2N模式410和N×N模式425。

一个编码单元可被分区为一个或更多个预测单元。一个预测单元可被分区为一个或更多个子预测单元。

例如，当一个预测单元被分区为四个子预测单元时，所述四个子预测单元之一的宽度大小和高度大小可为原始预测单元的一半宽度大小和一半高度大小。例如，当32×32大小的预测单元被分区为四个子预测单元时，所述四个子预测单元中的每一个可具有16×16大小。当一个预测单元被分区为四个子预测单元时，预测单元可按照四叉树形式被分区。

例如，当一个预测单元被分区为两个子预测单元时，所述两个子预测单元之一的宽度大小或高度大小可为原始预测单元的一半宽度大小或一半高度大小。例如，当32×32大小的预测单元被垂直分区为两个子预测单元时，所述两个子预测单元中的每一个可具有16×32大小。例如，当32×32大小的预测单元被水平分区为两个子预测单元时，所述两个子预测单元中的每一个可具有32×16大小。当一个预测单元被分区为两个子预测单元时，预测单元可按照二叉树形式被分区。

图5是示出可被包括在编码单元(CU)中的变换单元(TU)的形式的示图。

变换单元(TU)可以是CU内的用于变换、量化、逆变换和反量化的基本单元。TU可具有正方形形状或矩形形状等。TU可按照CU的大小或CU的形式或两者而被独立确定。

从LCU分区出的CU之中的不再被分区的CU可被分区为至少一个TU。这里，TU的分区结构可以是四叉树结构。例如，如图5所示，一个CU 510可依据四叉树结构而被分区一次或更多次。一个CU被分区至少一次的情况可被称为递归分区。通过进行分区，一个CU 510可由具有不同大小的TU形成。可选择地，CU可依据对CU进行分区的垂直线的数量或对CU进行分区的水平线的数量或两者而被分区为至少一个TU。CU可被分区为彼此对称的TU，或者可被分区为彼此不对称的TU。为了将CU分区为彼此对称的TU，TU的大小/形状的信息可被用信号发送，并可从CU的大小/形状的信息被推导出。

此外，编码单元可不被分区为变换单元，并且编码单元和变换单元可具有相同的大小。

一个编码单元可被分区为至少一个变换单元，并且一个变换单元可被分区为至少一个子变换单元。

例如，当一个变换单元被分区为四个子变换单元时，所述四个子变换单元之一的宽度大小和高度大小可分别为原始变换单元的一半宽度大小和一半高度大小。例如，当32×32大小的变换单元被分区为四个子变换单元时，所述四个子变换单元中的每一个可具有16×16大小。当一个变换单元被分区为四个子变换单元时，变换单元可按照四叉树形式被分区。

例如，当一个变换单元被分区为两个子变换单元时，所述两个子变换单元之一的宽度大小或高度大小可分别为原始变换单元的一半宽度大小或一半高度大小。例如，当32×32大小的变换单元被垂直分区为两个子变换单元时，所述两个子变换单元中的每一个可具有16×32大小。例如，当32×32大小的变换单元被水平分区为两个子变换单元时，所述两个子变换单元中的每一个可具有32×16大小。当一个变换单元被分区为两个子变换单元时，变换单元可按照二叉树形式被分区。

当执行变换时，可通过使用预定变换方法中的至少一种变换方法对残差块进行变换。例如，所述预定变换方法可包括离散余弦变换(DCT)、离散正弦变换(DST)、KLT等。可通过使用以下项中的至少一个来确定哪种变换方法被应用于对残差块进行变换：预测单元的帧间预测模式信息、预测单元的帧内预测模式信息以及变换块的大小/形状。指示变换方法的信息可被用信号发送。

图6是用于解释帧内预测的处理的实施例的示图。

帧内预测模式可以是非方向模式或方向模式。非方向模式可以是DC模式或平面模式。方向模式可以是具有特定方向或角度的预测模式，并且方向模式的数量可以是等于或大于1的M。方向模式可被指示为模式编号、模式值和模式角度中的至少一个。

帧内预测模式的数量可以是等于或大于1的N，包括非方向模式和方向模式。

帧内预测模式的数量可依据块的大小而变化。例如，当块的大小为4×4或8×8时，帧内预测模式的数量可以是67，当块的大小是16×16时，帧内预测模式的数量可以是35，当块的大小是32×32时，帧内预测模式的数量可以是19，当块的大小是64×64时，帧内预测模式的数量可以是7。

帧内预测模式的数量可被固定为N，而不管块的大小如何。例如，帧内预测模式的数量可被固定为35或67中的至少一个，而不管块的大小如何。

帧内预测模式的数量可依据颜色分量的类型而变化。例如，预测模式的数量可依据颜色分量是亮度信号还是色度信号而变化。

可通过使用重建邻近块中所包括的样点值或编码参数来执行帧内编码和/或解码。

为了按照帧内预测对当前块进行编码/解码，可识别包括在重建邻近块中的样点是否可用作编码/解码目标块的参考样点。当存在不能用作编码/解码目标块的参考样点的样点时，通过使用包括在重建邻近块中的样点中的至少一个样点，样点值被复制和/或插值到不能用作参考样点的样点，由此，不能用作参考样点的样点可被用作编码/解码目标块的参考样点。

在帧内预测中，基于帧内预测模式以及编码/解码目标块的大小中的至少一个，滤波器可被应用于参考样点或预测样点中的至少一个。这里，编码/解码目标块可意为当前块，并且可意为编码块、预测块和变换块中的至少一个。被应用于参考样点或预测样点的滤波器的类型可依据帧内预测模式或当前块的大小/形状中的至少一个而变化。滤波器的类型可依据滤波器抽头的数量、滤波器系数值或滤波器强度中的至少一个而变化。

在帧内预测模式之中的非方向平面模式中，当产生编码/解码目标块的预测块时，可根据样点位置通过使用当前样点的上参考样点、当前样点的左参考样点、当前块的右上参考样点、以及当前块的左下参考样点的加权和来产生预测块中的样点值。

在帧内预测模式之中的非方向DC模式中，当产生编码/解码目标块的预测块时，可通过当前块的上参考样点和当前块的左参考样点的均值来产生预测块。此外，可通过使用参考样点值对编码/解码块中与参考样点相邻的一个或更多个上方行以及一个或更多个左侧列执行滤波。

在帧内预测模式之中的多个方向模式(角度模式)的情况下，可通过使用右上参考样点和/或左下参考样点来产生预测块，并且所述多个方向模式可具有不同的方向。为了产生预测样点值，可执行实数单元的插值。

为了执行帧内预测方法，可从与当前预测块相邻的邻近预测块的帧内预测模式来预测当前预测块的帧内预测模式。在通过使用从邻近帧内预测模式预测出的模式信息来预测当前预测块的帧内预测模式的情况下，在当前预测块和邻近预测块具有相同的帧内预测模式时，当前预测块和邻近预测块具有相同的帧内预测模式的信息可通过使用预定标志信息被发送。在当前预测块的帧内预测模式不同于邻近预测块的帧内预测模式时，可通过执行熵编码来对编码/解码目标块的帧内预测模式信息进行编码。

图7是用于解释帧间预测的处理的实施例的示图。

图7中示出的四角形可指示图像(或画面)。此外，图7的箭头可指示预测方向。也就是说，图像可根据预测方向被编码或解码或者被编码和解码。根据编码类型，每个图像可被分类为I画面(帧内画面)、P画面(单向预测画面)、B画面(双向预测画面)等。每个画面可依据每个画面的编码类型而被编码和解码。

当作为编码目标的图像是I画面时，画面本身可在无需帧间预测的情况下被帧内编码。当作为编码目标的图像是P画面时，可通过使用仅在前向的参考画面进行帧间预测或运动补偿来对图像进行编码。当作为编码目标的图像是B画面时，可通过使用在前向和逆向两者的参考画面进行帧间预测或运动补偿来对图像进行编码。可选择地，可通过使用在前向和逆向之一的参考画面进行帧间预测或运动补偿来对图像进行编码。这里，当帧间预测模式被使用时，编码器可执行帧间预测或运动补偿，并且解码器可响应于编码器执行运动补偿。通过使用参考画面被编码或解码或者被编码和解码的P画面和B画面的图像可被视为用于帧间预测的图像。

在下文中，将详细描述根据实施例的帧间预测。

可通过使用参考画面和运动信息两者来执行帧间预测或运动补偿。此外，帧间预测可使用上述跳过模式。

参考画面可以是当前画面的先前画面和后续画面中的至少一个。这里，帧间预测可依据参考画面来预测当前画面的块。这里，参考画面可意为在对块进行预测时使用的图像。这里，参考画面内的区域可通过使用指示参考画面的参考画面索引(refIdx)、运动矢量等来指明。

帧间预测可选择参考画面和参考画面内与当前块相关的参考块。可通过使用选择的参考块来产生当前块的预测块。当前块可以是当前画面的块之中的作为当前编码目标或当前解码目标的块。

可由编码设备100和解码设备200从帧间预测的处理推导运动信息。此外，推导出的运动信息可在执行帧间预测时被使用。这里，编码设备100和解码设备200可通过使用重建邻近块的运动信息或同位块(col块)的运动信息或两者的运动信息来提高编码效率或解码效率或两者。col块可以是先前被重建的同位画面(col画面)内的与编码/解码目标块的空间位置相关的块。重建邻近块可以是当前画面内的块、以及通过编码或解码或者编码或解码两者先前被重建的块。此外，重建块可以是与编码/解码目标块相邻的块，或者是位于编码/解码目标块的外部拐角处的块，或者是两者。这里，位于编码/解码目标块的外部拐角处的块可以是与水平相邻于编码/解码目标块的邻近块垂直相邻的块。可选择地，位于编码/解码目标块的外部拐角处的块可以是与垂直相邻于编码/解码目标块的邻近块水平相邻的块。

编码设备100和解码设备200可分别确定存在于col画面内的与编码/解码目标块空间相关的位置处的块，并可基于确定的块来确定预定义的相对位置。所述预定义的相对位置可以是存在于与编码/解码目标块空间相关的位置处的块的内部位置或外部位置或者是内部位置和外部位置两者。此外，编码设备100和解码设备200可基于所确定的所述预定义的相对位置来分别推导col块。这里，col画面可以是在参考画面列表中包括的至少一个参考画面中的一个画面。

推导运动信息的方法可根据编码/解码目标块的预测模式而变化。例如，被应用于帧间预测的预测模式可包括高级运动矢量预测(AMVP)、合并模式等。这里，合并模式可被称为运动合并模式。

例如，当AMVP作为预测模式被应用时，编码设备100和解码设备200可分别通过使用重建邻近块的运动矢量或col块的运动矢量或两者来产生运动矢量候选列表。重建邻近块的运动矢量或col块的运动矢量或者两者可被用作运动矢量候选。这里，col块的运动矢量可被称为时间运动矢量候选，重建邻近块的运动矢量可被称为空间运动矢量候选。

编码设备100可产生比特流，比特流可包括运动矢量候选索引。也就是说，编码设备100可通过对运动矢量候选索引进行熵编码来产生比特流。运动矢量候选索引可指示从包括在运动矢量候选列表中的运动矢量候选中选择出的最优运动矢量候选。运动矢量候选索引可通过比特流从编码设备100被发送到解码设备200。

解码设备200可从比特流对运动矢量候选索引进行熵解码，并可通过使用经过熵解码的运动矢量候选索引在运动矢量候选列表中所包括的运动矢量候选之中选择解码目标块的运动矢量候选。

编码设备100可计算解码目标块的运动矢量和运动矢量候选之间的运动矢量差(MVD)，并可对MVD进行熵编码。比特流可包括经过熵编码的MVD。MVD可通过比特流从编码设备100被发送到解码设备200。这里，解码设备200可对从比特流接收到的MVD进行熵解码。解码设备200可通过解码的MVD与运动矢量候选之和来推导解码目标块的运动矢量。

比特流可包括指示参考画面的参考画面索引等，并且参考画面索引可被熵编码并通过比特流从编码设备100被发送到解码设备200。解码设备200可通过使用邻近块的运动信息来预测解码目标块的运动矢量，并可通过使用预测出的运动矢量以及运动矢量差来推导解码目标块的运动矢量。解码设备200可基于推导出的运动矢量和参考画面索引信息来产生解码目标块的预测块。

作为推导运动信息的另一方法，合并模式被使用。合并模式可意为多个块的运动的合并。合并模式可意为一个块的运动信息被应用于另一个块。当合并模式被应用时，编码设备100和解码设备200可分别通过使用重建邻近块的运动信息或col块的运动信息或两者来产生合并候选列表。运动信息可包括以下项中的至少一个：1)运动矢量、2)参考画面索引、以及3)帧间预测指示符。预测指示符可指示单向(L0预测、L1预测)或双向。

这里，合并模式可被应用于每个CU或每个PU。当合并模式在每个CU或每个PU被执行时，编码设备100可通过对预定义的信息进行熵解码来产生比特流，并可将比特流发送到解码设备200。比特流可包括所述预定义的信息。所述预定义的信息可包括：1)作为指示合并模式是否针对每个块分区被执行的信息的合并标志、2)作为指示与编码目标块相邻的邻近块之中的哪个块被合并的信息的合并索引。例如，与编码目标块相邻的邻近块可包括编码目标块的左邻近块、编码目标块的上邻近块、编码目标块的时间邻近块等。

合并候选列表可指示存储运动信息的列表。此外，合并候选列表可在执行合并模式之前被产生。存储在合并候选列表中的运动信息可以是以下运动信息中的至少一个：与编码/解码目标块相邻的邻近块的运动信息、参考画面中与编码/解码目标块相关的同位块的运动信息、通过对运动候选列表中存在的运动信息的预先组合而新产生的运动信息、以及零合并候选。这里，与编码/解码目标块相邻的邻近块的运动信息可被称为空间合并候选。参考画面中与编码/解码目标块相关的同位块的运动信息可被称为时间合并候选。

跳过模式可以是将邻近块本身的模式信息应用于编码/解码目标块的模式。跳过模式可以是用于帧间预测的模式之一。当跳过模式被使用时，编码设备100可对关于哪个块的运动信息被用作编码目标块的运动信息的信息进行熵编码，并可通过比特流将该信息发送到解码设备200。编码设备100可不将其它信息(例如，语法元素信息)发送到解码设备200。语法元素信息可包括运动矢量差信息、编码块标志以及变换系数等级中的至少一个。

在帧内预测或帧间预测之后产生的残差信号可通过作为量化处理的一部分的变换处理被变换到频域。这里，首次变换可使用DCT类型2(DCT-II)以及各种DCT、DST核。这些变换核可对残差信号执行沿水平和/或垂直方向执行1D变换的可分离变换，或者可对残差信号执行2D不可分离变换。

例如，在1D变换的情况下，在变换中使用的DCT和DST类型可使用如下表中所示的DCT-II、DCT-V、DCT-VIII、DST-I以及DST-VII。例如，如表1和表2中所示，可推导通过合成变换集而在变换中使用的DCT或DST类型。

[表1]

变换集	变换
		0	DST_VII、DCT-VIII
1	DST-VII、DST-I
		2	DST-VII、DCT-V

[表2]

变换集	变换
		0	DST_VII、DCT-VIII、DST-I
1	DST-VII、DST-I、DCT-VIII
		2	DST-VII、DCT-V、DST-I

例如，如图8所示，根据帧内预测模式，不同的变换集针对水平方向和垂直方向被定义。接下来，编码器/解码器可通过使用当前编码/解码目标块的帧内预测模式和相关变换集的变换来执行变换和/或逆变换。在这种情况下，不对变换集执行熵编码/解码，并且编码器/解码器可根据相同的规则来定义变换集。在这种情况下，指示变换集的变换之中的哪种变换被使用的熵编码/解码可被执行。例如，当块的大小等于或小于64×64时，根据帧内预测模式，如表2中所示三个变换集被合成，并且三个变换被用于每个水平方向变换和垂直方向变换以组合并执行总共九个多变换方法。接下来，通过使用最优变换方法来对残差信号进行编码/解码，由此，编码效率可被提高。这里，为了对关于一个变换集中的三个变换之中哪个变换方法被使用的信息进行熵编码/解码，可使用截断一元二值化。这里，为了进行垂直变换和水平变换中的至少一个，可对指示变换集的变换中的哪个变换被使用的信息执行熵编码/解码。

在完成上述首次变换之后，如图9中所示，编码器可针对变换系数执行二次变换以提高能量集中度。二次变换可执行用于沿水平和/或垂直方向执行1D变换的可分离变换，或者可执行2D不可分离变换。所使用的变换信息可被发送，或者可由编码器/解码器根据当前编码信息和邻近编码信息而推导出。例如，如1D变换，用于二次变换的变换集可被定义。不对该变换集执行熵编码/解码，并且编码器/解码器可根据相同的规则定义该变换集。在这种情况下，指示变换集的变换之中的哪个变换被使用的信息可被发送，并且该信息可通过帧内预测或帧间预测被应用于至少一个残差信号。

变换候选的数量或类型中的至少一个针对每个变换集而不同。变换候选的数量或类型中的至少一个可基于以下项中的至少一个而被不同地确定：块(CU、PU、TU等)的位置、大小、分区形式、以及预测模式(帧内/帧间模式)或帧内预测模式的方向/非方向。

解码器可依据二次逆变换是否被执行来执行二次逆变换，并可从二次逆变换的结果依据首次逆变换是否被执行来执行首次逆变换。

上述首次变换和二次变换可被应用于亮度/色度分量中的至少一个信号分量，或者可根据任意编码块的大小/形状被应用。可对指示首次变换/二次变换是否被使用以及任意编码块中的所使用的首次变换/二次变换两者的索引执行熵编码/解码。可选择地，所述索引可由编码器/解码器根据至少一条当前/邻近编码信息而被默认推导。

在帧内预测或帧间预测之后产生的残差信号在经过首次变换和/或二次变换之后经过量化处理，并且量化的变换系数经过熵编码处理。这里，如图10中所示，量化的变换系数可基于帧内预测模式或最小块的大小/形状中的至少一个，按照对角方向、垂直方向和水平方向被扫描。

此外，执行了熵解码的量化的变换系数可通过被逆扫描而按照块形式被布置，并且可对相关块执行反量化或逆变换中的至少一个。这里，作为逆扫描的方法，对角方向扫描、水平方向扫描和垂直方向扫描中的至少一个可被执行。

例如，在当前编码块的大小为8×8时，可对针对8×8的块的残差信号执行首次变换、二次变换以及量化，接下来，可根据图10中示出的三种扫描顺序方法中的至少一种针对四个4×4的子块中的每一个对量化的变换系数执行扫描和熵编码。此外，可通过执行熵解码来对量化的变换系数执行逆扫描。执行了逆扫描的量化的变换系数在经过反量化之后成为变换系数，并且二次逆变换或首次逆变换中的至少一个被执行，由此，重建残差信号可被产生。

在视频编码处理中，一个块可如图11所示被分区，并且与分区信息相应的指示符可被用信号发送。这里，分区信息可以是以下项中的至少一个：分区标志(split_flag)、四叉/二叉树标志(QB_flag)、四叉树分区标志(quadtree_flag)、二叉树分区标志(binarytree_flag)以及二叉树分区类型标志(Btype_flag)。这里，split_flag是指示块是否被分区的标志，QB_flag是指示块是按照四叉树形式还是按照二叉树形式被分区的标志，quadtree_flag是指示块是否按照四叉树形式被分区的标志，binarytree_flag是指示块是否按照二叉树形式被分区的标志，Btype_flag是指示在二叉树形式的分区的情况下块是被垂直分区还是被水平分区的标志。

当分区标志为1时，它可指示分区被执行，当分区标志为0时，它可指示分区未被执行。在四叉/二叉树标志的情况下，0可指示四叉树分区，并且1可指示二叉树分区。可选择地，0可指示二叉树分区，1可指示四叉树分区。在二叉树分区类型标志的情况下，0可指示水平方向分区，1可指示垂直方向分区。可选择地，0可指示垂直方向分区，1可指示水平方向分区。

例如，可通过将如表3中示出的quadtree_flag、binarytree_flag和Btype_flag中的至少一个用信号发送来推导图11的分区信息。

[表3]

例如，可通过将如表4中示出的split_flag、QB_flag和Btype_flag中的至少一个用信号发送来推导图11的分区信息。

[表4]

可根据块的大小/形状仅按照四叉树形式或仅按照二叉树形式来执行分区方法。在这种情况下，split_flag可意为指示是按照四叉树形式还是按照二叉树形式执行分区的标志。块的大小/形状可根据块的深度信息来推导，并且深度信息可被用信号发送。

当块的大小在预定范围中时，可仅按照四叉树形式执行分区。这里，所述预定范围可被定义为仅能够按照四叉树形式被分区的最大块的大小或最小块的大小中的至少一个。可通过比特流用信号发送指示允许四叉树形式的分区的最大块/最小块的大小的信息，并且可以以序列、画面参数或条带(分段)中的至少一个为单位用信号发送该信息。可选择地，最大块/最小块的大小可以是在编码器/解码器中预设的固定大小。例如，当块的大小的范围是256x256至64x64时，可仅按照四叉树形式执行分区。在这种情况下，split_flag可以是指示是否按照四叉树形式执行分区的标志。

当块的大小在预定范围中时，可仅按照二叉树形式执行分区。这里，所述预定范围可被定义为仅能够按照二叉树形式被分区的最大块的大小或最小块的大小中的至少一个。可通过比特流用信号发送指示允许二叉树形式的分区的最大块/最小块的大小的信息，并且可以以序列、画面参数或条带(分段)中的至少一个为单位而用信号发送该信息。可选择地，最大块/最小块的大小可以是在编码器/解码器中预设的固定大小。例如，当块的大小的范围是16x16至8x8时，可仅按照二叉树形式执行分区。在这种情况下，split_flag可以是指示是否按照二叉树形式执行分区的标志。

在按照二叉树形式对一个块进行分区之后，当分区出的块被进一步分区时，可仅按照二叉树形式执行分区。

当分区出的块的宽度大小或长度大小不能被进一步分区时，至少一个指示符可不被用信号发送。

除了基于四叉树的二叉树分区以外，基于四叉树的分区可在二叉树分区以后被执行。

在下文中，将描述通过作为视频编码处理的一部分的变换方法来提高视频压缩效率的方法。更具体地，传统视频编码的编码过程包括以下步骤：对作为当前原始图像的一部分的原始块进行预测的帧内/帧间预测步骤；对作为预测出的预测块和原始块之间的差的残差块的变换和量化步骤；熵编码，即用于从先前阶段获得的压缩信息和经变换和量化的块的系数的基于概率的无损压缩方法。通过进行编码，形成作为原始图像的压缩形式的比特流，并且将比特流发送到解码器或存储在记录介质中。这里描述的重排和离散正弦变换(以下称为SDST)用于提高变换方法的效率，从而可提高压缩效率。

根据本发明的SDST方法使用离散正弦变换类型7或DST-VII(以下称为DST-7)而不使用作为在视频编码中广泛使用的变换核的离散余弦变换类型2或DCT-II(以下称为DCT-2)，从而可更好地应用图像的共有频率特性。

通过根据本发明的变换方法，可按照相对于传统视频编码方法的比特率更低的比特率来获得客观上的高清视频。

可将DST-7应用于残差块的数据。可基于与残差块相应的预测模式来执行将DST-7应用于残差块的操作。例如，可将DST-7应用于在帧间模式下被编码的残差块。根据本发明的实施例，在重新布置或重排之后可将DST-7应用于残差块的数据。这里，重排意指图像数据的重新布置，并且可被称为残差信号重新布置。这里，残差块可具有与残差、残差信号和残差数据相同的含义。此外，残差块可具有与重建残差、重建残差块、重建残差信号和重建残差数据相同的含义，重建残差、重建残差块、重建残差信号和重建残差数据是由编码器和解码器对残差块重建后的形式。

根据本发明的实施例，SDST可使用DST-7作为变换核。这里，SDST的变换核不限于DST-7，并且可以是各种类型的DST(诸如离散正弦变换类型1(DST-1)、离散正弦变换类型2(DST-2)、离散正弦变换类型3(DST-3)、...、离散正弦变换类型n(DST-n)等(这里，n是等于或大于1的正整数))中的至少一种。

根据本发明的实施例的执行一维DCT-2的方法可被表示为如下公式1。这里，块大小被指定为N，频率分量位置被指定为k，空间域中的第n系数的值被指定为x_n。

【公式1】

通过经由公式1对残差块执行水平变换和垂直变换，二维域的DCT-2是可能的。

DCT-2变换核可被定义为如下公式2。这里，根据频域中的位置的基矢量可以被指定为X_k，频域的大小可被指定为N。

【公式2】

同时，图12是示出根据本发明的DCT-2频域中的基矢量的示图。图12示出了频域中DCT-2的频率特性。这里，通过DCT-2的X₀基矢量计算的值可意为DC分量。

DCT-2可被用于针对大小为4×4、8×8、16×16、32×32等的残差块的变换处理中。

同时，可基于残差块大小、残差块的颜色分量(例如，亮度分量和色度分量)或者与残差块相应的预测模式中的至少一个来选择性地使用DCT-2。例如，当在帧内模式下被编码的4×4大小的残差块的分量是亮度分量时，可不使用DCT-2。这里，预测模式可意为帧间预测或帧内预测。此外，在帧内预测的情况下，预测模式可意为帧内预测模式或帧内预测方向。

通过DCT-2变换核的变换可在具有邻近像素之间的变化小的特性的块(诸如图像中的背景)中具有高压缩效率。然而，DCT-2变换核可能不适合作为用于具有复杂图案(诸如图像中的纹理)的区域的变换核。当邻近像素之间具有低相关性的块通过DCT-2被变换时，大量的变换系数可能出现在频域的高频分量中。在视频压缩中，在高频区域中频繁出现变换系数可能会降低压缩效率。为了提高压缩效率，系数被期望是低频分量附近的大的值，并且系数被期望在高频分量中接近零。

根据本发明的实施例的执行一维DST-7的方法可被表示为如下公式3。这里，块大小被指定为N，频率分量位置被指定为k，空间域中的第n系数的值被指定为x_n。

【公式3】

通过经由公式3对残差块执行水平变换和垂直变换，二维域中的DST-7是可能的。

DST-7变换核可以被定义为如下公式4。这里，DST-7的第K基矢量被指定为X_k，频域中的位置被指定为i，频域的大小被指定为N。

【公式4】

DST-7可被用于针对大小为2x2、4x4、8x8、16x16、32x32、64x64、128x128等中的至少一个的残差块的变换处理中。

同时，DST-7可被应用于矩形块而不是方形块。例如，DST-7可被应用于具有不同宽度大小和高度大小(例如，8×4、16×8、32×4、64×16等)的矩形块的垂直变换和水平变换中的至少一个。

此外，可基于残差块大小、残差块的颜色分量(例如，亮度分量和色度分量)或与残差块相应的预测模式中的至少一个来选择性地使用DST-7。例如，当在帧内模式下被编码的4×4大小的残差块的分量是亮度分量时，可使用DST-7。这里，预测模式可意为帧间预测或帧内预测。此外，在帧内预测的情况下，预测模式可意为帧内预测模式或帧内预测方向。

同时，图13是示出根据本发明的DST-7频域中的基矢量的示图。参照图13，DST-7的第一基矢量(x0)具有曲线形状。因此，与DCT-2相比，DST-7可为图像中具有大的空间变化的块提供更高的变换性能。

当对帧内预测的编码单元(CU)中的4×4变换单元(TU)执行变换时，可使用DST-7。由于帧内预测特性，误差率随着远离参考样点而增加，但是这适合于DST-7，由此DST-7可提供更高的变换效率。也就是说，在空间域中，当块具有随着远离块中的(0，0)位置而增加的残差信号时，可通过使用DST-7来有效地压缩块。

如上所述，为了提高变换效率，使用适合于图像的频率特性的变换核是重要的。具体地，对针对原始块的残差块执行变换，因此可通过识别CU或PU或TU中的残差信号的分布特性来识别DST-7和DCT-2的变换效率。

图14是示出根据在8x8编码单元(CU)的2Nx2N预测单元(PU)中的位置的平均残差值的分布的示图，2Nx2N预测单元(PU)是在通过在低延迟P配置文件环境中对“Cactus”序列进行试验而获得的在帧间模式下被预测出的。

参照图14，图14的左侧示出了块中的平均残差信号值之中相对大的前30％的值，图14的右侧示出了与左侧相同的块中的平均残差信号值之中相对大的前70％的值。

在图14中，在帧间模式下预测出的8×8CU的2Nx2N PU中的残差信号分布示出了以下特征：小的残差信号值主要集中在块的中心附近并且残差信号值随着远离块的中心而变大。也就是说，残差信号值在块边界处更大。残差信号的这种分布特性是PU中的残差信号的共有特征，而不管CU大小和使CU能够在帧间模式中被预测的PU分区模式(2Nx2N、2NxN、Nx2N、NxN、nRx2N、nLx2N、2NxnU、2NxnD)如何。

图15是示出根据本发明的在帧间预测模式(帧间模式)下预测出的8×8编码单元(CU)的2N×2N预测单元(PU)中的残差信号的分布特性的三维图。

参照图15，小的残差信号值集中在块的中心附近，并且残差信号值随着靠近块边界相对更大。

基于图14和图15中的残差信号的分布特性，通过使用DST-7而不是DCT-2，对帧间模式下预测出的CU的PU中的残差信号的变换可以更有效。

在下文中，将描述作为使用DST-7作为变换核的变换方法之一的SDST。

根据本发明的SDST可以分两步执行。第一步是对在帧间模式或帧内模式下预测出的CU的PU中的残差信号进行重排。第二步是将DST-7应用于块中的经重排的残差信号。

布置在当前块(例如，CU、PU或TU)中的残差信号可沿第一方向被扫描，并且可沿第二方向被重新布置。也就是说，在当前块中布置的残差信号可沿第一方向被扫描，并且可沿第二方向被重新布置，从而可执行重排操作。这里，残差信号可意为指示原始信号和预测信号之间的残差信号的信号。也就是说，残差信号可意为在执行变换和量化中的至少一个之前的信号。可选择地，残差信号可意为执行了变换和量化中的至少一个的信号。

此外，残差信号可意为重建残差信号。也就是说，残差信号可意为执行了逆变换和反量化中的至少一个的信号。此外，残差信号可意为在执行逆变换和反量化中的至少一个之前的信号。

同时，第一方向(或扫描方向)可以是光栅扫描顺序、右上对角扫描顺序、水平扫描顺序和垂直扫描顺序之一。此外，第一方向可被定义如下。

(1)从顶行扫描到底行，并且在一行中从左侧扫描到右侧

(2)从顶行扫描到底行，并且在一行中从右侧扫描到左侧

(3)从底行扫描到顶行，并且在一行中从左侧扫描到右侧

(4)从底行扫描到顶行，并且在一行中从右侧扫描到左侧

(5)从左侧列扫描到右侧列，并且在一列中从顶部扫描到底部

(6)从左侧列扫描到右侧列，并且在一列中从底部扫描到顶部

(7)从右侧列扫描到左侧列，并且在一列中从顶部扫描到底部

(8)从右侧列扫描到左侧列，并且在一列中从底部扫描到顶部

(9)以螺旋形状扫描：从块的内部(或外部)扫描到块的外部(或内部)，并且沿顺时针/逆时针方向扫描

(10)对角扫描：从块中的一个角对角扫描到左上、右上、左下或右下

同时，可选择性地使用上述扫描方向之一作为第二方向(或重新布置方向)。第一方向和第二方向可以相同，或者可以彼此不同。

可对每个当前块执行针对残差信号的扫描和重新布置处理。

这里，重新布置可以意为将沿第一方向在块中扫描的残差信号沿第二方向布置在相同大小的块中。此外，沿第一方向被扫描的块的大小可与沿第二方向被重新布置的块的大小不同。

此外，这里，分别根据第一方向和第二方向单独地执行扫描和重新布置，但是扫描和重新布置可被执行为相对于第一方向的一个处理。例如，从顶行到底行对块中的残差信号进行扫描，但是在一行中，从右侧到左侧对残差信号进行扫描，并且可将残差信号存储(重新布置)在块中。

同时，可对当前块中的每个预定子块执行针对残差信号的扫描和重新布置处理。这里，子块可以是大小等于或小于当前块的块。

子块可具有固定的大小/形状(例如，4x4、4x8、8x8、...、NxM，这里，N和M是正整数)。此外，可不同地获得子块的大小和/或形状。例如，可依据当前块的大小、形状和/或预测模式(帧间、帧内)来确定子块的大小和/或形状。

可依据子块的位置自适应地确定扫描方向和/或重新布置方向。在这种情况下，每个子块可使用不同的扫描方向和/或不同的重新布置方向。可选择地，当前块中的全部或部分子块可使用相同的扫描方向和/或相同的重新布置方向。

图16是示出根据本发明的编码单元(CU)的2N×2N预测单元(PU)模式中的残差信号的分布特性的示图。

参照图16，PU以四叉树结构被分区为四个子块，并且每个子块的箭头方向指示残差信号的分布特性。具体地，每个子块的箭头方向指示残差信号增大的方向。不管PU分区模式如何，PU中的残差信号都具有共有的分布特性。因此，为了具有适合于DST-7变换的分布特性，可执行重排以重新布置每个子块的残差信号。

图17是示出根据本发明的在对2N×2N预测单元(PU)进行重排之前和之后的残差信号的分布特性的示图。

参照图17，上方块示出了对在帧间模式下预测出的8×8CU的2N×2NPU中的残差信号进行重排之前的分布。下面的公式5指示根据图17的上方块中的每个残差信号的位置的值。

【公式5】

由于在帧间模式下预测出的CU的PU中的残差信号的分布特性，因此具有相对小的值的残差信号基本上被分布在图17的上方块中的中心区域中。具有大的值的残差信号基本上被分布在上方块的边界处。

在图17中，下方块示出了在重排之后的2N×2N PU中的残差信号的分布。这示出了针对执行了重排的PU的每个子块的残差信号分布是适合于DST-7的第一基矢量的残差信号分布。也就是说，每个子块中的残差信号在远离(0，0)位置时具有大的值。因此，当执行变换时，通过DST-7进行频率变换的变换系数值可同心地出现在低频区域中。

下面的公式6指示根据PU中的每个子块的位置的重排方法，其中，PU以四叉树结构被分区为四个子块。

【公式6】

0≤x≤W_k，0≤y≤H_k，k∈{blk0，blk1，blk2，blk3}

这里，PU中的第k子块(k∈{blk0、blk1、blk2、blk3})的宽度和高度被指定为Wk和Hk，并且以四叉树结构从PU被分区出的子块被指定为blk0至blk3。此外，每个子块中的水平位置和垂直位置被指定为x和y。重排之前的残差信号的位置被指定为如图17的上方块中所示的a(x，y)、b(x，y)、c(x，y)和d(x，y)。通过重排的残差信号的改变后的位置被指定为如图17的下方块中所示的a'(x，y)、b'(x，y)、c'(x，y)和d'(x，y)。

图18是示出根据本发明的子块的4×4残差数据的重新布置的示例的示图。

参照图18，子块可意为8×8预测块中的若干子块中的一个。图18(a)示出了重新布置之前的原始残差数据的位置，并且图18(b)示出了残差数据的重新布置的位置。

参照图18(c)，残差数据的值从(0，0)位置逐渐增大到(3，3)位置。这里，每个子块中的水平和/或垂直一维残差数据可具有图13中所示的基矢量的类型中的数据分布。

也就是说，根据本发明的重排可对每个子块的残差数据进行重新布置，使得残差数据分布适合于DST-7基矢量的类型。

在针对每个子块进行重排之后，可将DST-7变换应用于针对每个子块被重新布置的数据。

同时，基于TU的深度，可以以四叉树结构对子块进行分区，或者可选择性地执行重新布置处理。例如，当TU的深度为2时，2Nx2N PU中的N×N子块可被分区为N/2×N/2块，并且重新布置处理可被应用于每个N/2×N/2块。这里，可连续地执行基于四叉树的TU分区，直到成为最小的TU大小。

此外，当TU的深度为零时，可将DCT-2变换应用于2N×2N块。这里，可不执行对残差数据的重新布置。

同时，根据本发明的SDST方法使用PU块中的残差信号的分布特性，使得执行SDST的TU的分区结构可被定义为基于PU以四叉树结构进行分区。

图19a和图19b是示出根据本发明的根据编码单元(CU)的预测单元(PU)模式以及变换单元(TU)的重排方法的变换单元(TU)的分区结构的示图。图19a和图19b示出了针对帧间预测出的PU的不对称分区模式(2NxnU、2NxnD、nRx2N、nLx2N)中的每一个根据TU的深度的TU的四叉树分区结构。

参照图19a和图19b，每个块的粗线指示CU中的PU，细线指示TU。此外，TU中的S0、S1、S2和S3指示在公式中定义的TU中的残差信号的重排方法。

同时，在图19a和图19b中，每个PU中具有深度零的TU具有与PU相同的块大小(例如，在2Nx2N PU中，具有深度零的TU的大小与PU的大小相同)。这里，将参照图23a、图23b和图23c公开针对具有深度零的TU中的残差信号的重排操作。

此外，当CU、PU和TU中的至少一个具有矩形形状(例如，2NxnU、2NxnD、nRx2N和nLx2N)时，在重新布置残差信号之前将CU、PU和TU中的至少一个分区为N个子块(诸如2、4、6、8、16个子块等)，并且可将残差信号的重新布置应用于分区出的子块。

此外，当CU、PU和TU中的至少一个具有方形形状(例如，2Nx2N和NxN)时，在重新布置残差信号之前将CU、PU和TU中的至少一个分区为N个子块(诸如4、8、16个子块等)，并且可将残差信号的重新布置应用于分区出的子块。

此外，当TU从CU或PU被分区出并且TU具有最高深度(不能被分区)时，可将TU分区为N个子块，诸如2、4、6、8、16个子块等，并且可将残差信号的重新布置应用于分区出的子块。

以上示例示出了当CU、PU和TU具有不同的形状或大小时执行残差信号的重新布置。然而，即使当CU、PU和TU中的至少两个具有相同的形状或大小时，也可应用残差信号的重新布置。

同时，图19a和图19b示出了帧间预测出的PU的不对称分区模式，但是不对称分区模式不限于此。TU的分区和重排操作可被应用于PU的对称分区模式(2NxN和Nx2N)。

可对执行了重排的PU中的每个TU执行DST-7变换。这里，当CU、PU和TU具有相同的大小和形状时，可对一个块执行DST-7变换。

在考虑帧间预测出的PU块的残差信号的分布特性时，在进行重排之后执行DST-7变换是更有效的变换方法，而非不管CU的大小和PU分区模式如何就执行DCT-2变换。

在变换之后，变换系数基本上分布在低频分量(尤其是DC分量)附近的事实意为：与残差信号分布的相反情况相比，i)使量化后的能量损失最小化，以及ⅱ)在比特使用量减少方面，在熵编码处理中具有更高的压缩效率。

图20是示出根据本发明的基于2N×2N预测单元(PU)的残差信号分布执行DCT-2变换和SDST变换的结果的示图。

图20的左侧示出了当CU的PU分区模式是2N×2N时残差信号从中心增大到边界的分布。此外，图20的中间示出了对PU中具有深度1的TU执行了DCT-2变换的残差信号的分布。图20的右侧示出了在进行重排之后对PU中具有深度1的TU执行了DST-7变换(SDST)的残差信号的分布。

参照图20，当对具有残差信号的分布特性的PU的TU执行SDST时，与执行DCT-2相比，更大量的系数集中在低频分量附近。较小的系数值出现在高频分量侧。当基于这样的变换特性对帧间预测出的PU的残差信号进行变换时，可通过执行SDST而不是DCT-2来获得更高的压缩效率。

对块执行SDST，所述块是在PU中被定义的被执行DST-7变换的TU。TU的分区结构是如图19a和图19b所示的从PU大小直到最大深度的四叉树结构或二叉树结构。这意味着在进行重排之后可对方形块执行DST-7变换，也可对矩形块执行DST-7变换。

图21是示出根据本发明的SDST处理的示图。首先，在步骤S2110对TU中的残差信号进行变换时，在步骤S2120可对预测模式是帧间模式的PU中的分区出的TU执行重排。接下来，在步骤S2130对经重排的TU执行DST-7变换，并且在步骤S2140可执行量化，并且可执行一系列后续步骤。

同时，可对预测模式处于帧内模式的块执行重排和DST-7变换。

在下文中，将公开以下方法作为用于在编码器中实现SDST的实施例：i)对帧间预测出的PU中的所有TU执行SDST的方法，以及ii)通过率失真优化选择性地执行SDST或DCT-2的方法。针对帧间预测块描述了下面的方法，但是不限于此，可将下面的方法应用于帧内预测块。

图22是示出根据本发明的基于帧间预测的编码单元(CU)的预测单元(PU)分区模式的残差绝对值和变换单元(TU)分区的分布特性的示图。

参照图22，在帧间预测模式中，CU可以以四叉树结构或二叉树结构被分区为TU直到最大深度，并且PU的分区模式的数量可以是K。这里，K是正整数，并且图22中的K为8。

根据本发明的SDST使用如图15中所描述的帧间预测的CU中的PU的残差信号的分布特性。此外，PU可以以四叉树结构或二叉树结构被分区为TU。具有深度零的TU可与PU相应，并且具有深度1的TU可与从PU以四叉树结构或二叉树结构被分区出的每个子块相应。

图22的每个块根据帧间预测的CU的每个PU分区模式被分区为具有深度2的TU。这里，粗线指示PU，细线指示TU。每个TU的箭头方向指示TU中的残差信号的值增大的方向。可根据PU中的每个TU的位置对每个TU执行重排。

具体地，当TU具有深度零时，除了上述用于重排的方法之外，还可以以各种方法执行重排。

所述方法之一是：从PU的中心处的残差信号开始进行扫描、以螺旋方向扫描邻近残差信号、以及以Z字形扫描顺序从PU的(0，0)位置开始对扫描的残差信号进行重新布置。

图23a、图23b和图23c是示出用于预测单元(PU)中具有深度零的变换单元(TU)的残差信号的扫描顺序和重新布置顺序的示图。

图23a和图23b示出了用于重排的扫描顺序，以及图23c示出了用于SDST的重新布置顺序。

对每个TU中的经重排的残差信号执行DST-7变换，并且可对其执行量化和熵编码等。这种重排方法根据PU分区模式使用TU中的残差信号的分布特性。重排方法可优化残差信号的分布，以便提高作为后续步骤的DST-7变换的效率。

在编码器中，可根据图21中的SDST处理来执行对帧间预测出的PU中的所有TU的SDST。根据帧间预测的CU的PU分区模式，如图22所示，PU可以被分区为TU直到最大深度2。可通过使用图22中的TU中的残差信号的分布特性对每个TU中的残差信号执行重排。接下来，可在使用DST-7变换核进行变换之后执行量化和熵编码等。

在解码器中，当重建帧间预测出的PU中的TU的残差信号时，对帧间预测出的PU的每个TU执行DST-7逆变换。可通过对重建的残差信号进行逆重排来获得重建的残差信号。根据该SDST方法，SDST被应用于帧间预测出的PU中的所有TU的变换方法，使得不存在将被发送到解码器的标志或信息。也就是说，可在无需用信号发送用于SDST方法的情况下执行SDST方法。

同时，即使当对在帧间预测出的PU中的所有TU执行SDST时，编码器也将关于重排操作的上述残差信号重新布置方法的一部分确定为最优重新布置方法。可将关于确定的重新布置方法的信息发送到解码器。

作为用于实现SDST的另一实施例，将公开通过经由RDO使用DCT-2和SDST之一来应用PU的变换方法。与对帧间预测出的PU中的所有TU执行SDST的先前实施例相比，根据该方法会增加编码器的计算量。然而，从DCT-2和SDST中选择更有效的变换方法，使得可获得比先前实施例更高的压缩效率。

图24是示出根据本发明的通过率失真优化(RDO)选择DCT-2或SDST的编码处理的流程图。

参照图24，在步骤S2410对TU的残差信号进行变换，将在步骤S2420通过对在帧间模式下执行预测的PU中的每个TU执行DCT-2所获得的TU的代价与在步骤S2430和S2440通过执行SDST所获得的TU的代价进行比较，并且在步骤S2450可根据率失真来确定TU的最优变换模式(DCT-7或SDST)。接下来，在步骤S2460，可根据确定的变换模式对经变换的TU执行量化和熵编码等。

同时，仅当应用SDST或DCT-2的TU满足以下条件之一时，可通过RDO选择最优变换模式。

i)不管PU分区模式如何，执行DCT-2和SDST的TU基于CU以四叉树结构或二叉树结构或CU大小被分区。

ii)执行DCT-2和SDST的TU根据PU分区模式以四叉树结构或二叉树结构或PU大小从PU被分区。

iii)不管PU分区模式如何，执行DCT-2和SDST的TU不基于CU被分区。

条件i)是这样的方法：根据率失真优化选择DCT-2或SDST作为针对以四叉树结构或二叉树结构或CU大小从CU分区出的TU的变换模式，而不管PU分区模式如何。

条件ii)是：根据在用于对帧间预测出的PU中的所有TU执行SDST的实施例中描述的PU分区模式，对以四叉树结构或以二叉树结构或以PU大小被分区的TU执行DCT-2和SDST，并且通过使用代价来确定TU的变换模式。

条件iii)是：不管PU分区模式如何，在不对CU进行分区或TU具有与CU相同大小的情况下，执行DCT-2和SDST，并且确定TU的变换模式。

当将针对在特定PU分区模式中具有深度零的TU的RD代价进行比较时，将对具有深度零的TU执行SDST的结果的代价与对具有深度零的TU执行DCT-2的结果的代价进行比较。具有深度零的TU的变换模式可被选择。

图25是示出根据本发明的选择DCT-2或SDST的解码处理的流程图。

参照图25，在步骤S2510，可针对每个TU参照所发送的SDST标志。这里，SDST标志可以是指示SDST是否被用作变换模式的标志。

当SDST标志为真(即在步骤S2520为“是”)时，在步骤S2530，将SDST模式确定为TU的变换模式，并对TU中的残差信号执行DST-7逆变换。在步骤S2540，对执行了DST-7逆变换的TU中的残差信号执行根据PU中的TU的位置的使用上述公式6的逆重排，并且因此，在步骤S2560，可获得重建残差信号。

同时，当SDST标志为假(即在步骤S2520为“否”)时，在步骤S2550，将DCT-2模式确定为TU的变换模式，并对TU中的残差信号执行DCT-2逆变换，并且因此，在步骤S2560，可获得重建残差信号。

当使用SDST方法时，可重新布置残差数据。这里，该残差数据可意为与帧间预测出的PU相应的残差数据。通过使用可分离性质从DST-7导出的整数变换可以被用作SDST方法。

同时，可用信号发送sdst_flag以选择性地使用DCT-2或DST-7。可针对每个TU用信号发送sdst_flag。sdst_flag用于识别SDST是否被执行。

图26是示出根据本发明的使用SDST的解码处理的流程图。

参照图26，在步骤S2610，针对每个TU，可用信号发送sdst_flag，并且可对sdst_flag进行熵解码。

首先，当TU的深度为零(在步骤S2620为“是”)时，在步骤S2670和S2680，可通过使用DCT-2而不是使用SDST来重建TU。可对具有深度从1直到最大的TU执行SDST。

此外，即使TU的深度不为零(在步骤S2620为“否”)，当TU的变换模式是变换跳过模式时和/或当TU的编码的块标志(cbf)的值为零时(在步骤S2630为“是”)，在步骤S2680可在不执行逆变换的情况下重建TU。

同时，当TU的深度不为零(在步骤S2620为“否”)并且TU的变换模式不是变换跳过模式以及TU的cbf的值不为零(在步骤S2630为“否”)时，在步骤S2640，可识别sdst_flag的值。

这里，当sdst_flag的值为1(在步骤S2640为“是”)时，在步骤S2650可执行基于DST-7的逆变换，并且在步骤S2660对TU的残差数据执行逆重排，并且在步骤S2680可重建TU。相反地，当sdst_flag的值不为1(在步骤S2640为“否”)时，在步骤S2670可执行基于DCT-2的逆变换，并且在步骤S2680可重建TU。

这里，重排或重新布置的目标信号可以是以下项中的至少一个：逆变换之前的残差信号、反量化之前的残差信号、逆变换之后的残差信号、反量化之后的残差信号、重建残差信号和重建块信号。

同时，在图26中，sdst_flag针对每个TU被用信号发送，但是，sdst_flag可基于TU的变换模式或TU的cbf的值中的至少一个来选择性地被用信号发送。例如，当TU的变换模式是变换跳过模式时和/或当TU的cbf的值为零时，sdst_flag可不被用信号发送。此外，当TU的深度为零时，sdst_flag可不被用信号发送。

同时，sdst_flag针对每个TU被用信号发送，但sdst_flag也可针对预定单元被用信号发送。例如，sdst_flag可针对以下项中的至少一个被用信号发送：视频、序列、画面、条带、并行块、编码树单元、编码单元、预测单元和变换单元。

如在图25的SDST标志和图25的sdst_flag的实施例中那样，可通过n比特标志(n是等于或大于1的正整数)针对每个TU对选择的变换模式信息进行熵编码/解码。变换模式信息可指示以下项中的至少一个：是通过DCT-2，还是通过SDST，还是通过DST-7等对TU执行变换。

仅在帧间预测出的PU中的TU的情况下，可以在旁通模式中对变换模式信息进行熵编码/解码。此外，当变换模式是变换跳过模式、RDPCM(残差差分PCM)模式或无损模式中的至少一个时，变换模式信息可不被熵编码/解码并且可不被用信号发送。

此外，当块的编码的块标志的值为零时，变换模式信息可不被熵编码/解码并且可不被用信号发送。当编码的块标志的值为零时，在解码器中省略逆变换处理。因此，即使变换模式信息不存在于解码器中，也可重建所述块。

然而，变换模式信息不限于通过标志来指示变换模式，并且可被实现为预定义的表和索引。这里，可将针对每个索引可用的变换模式定义为所述预定义的表。

此外，DCT或SDST可分别沿水平方向和垂直方向被执行。可沿水平方向和垂直方向使用相同的变换模式，或者可使用不同的变换模式。

此外，可分别对关于DCT-2、SDST和DST-7是否沿水平方向和垂直方向被使用的变换模式信息进行熵编码/解码。

此外，可在CU、PU和TU中的至少一个中对变换模式信息进行熵编码/解码。

此外，可根据亮度分量或色度分量来发送变换模式信息。也就是说，可根据Y分量或Cb分量或Cr分量来发送变换模式信息。例如，当用信号发送关于是对Y分量执行DCT-2还是对Y分量执行SDST的变换模式信息时，可将在不在Cb分量和Cr分量中的至少一个中用信号发送变换模式信息的情况下在Y分量中用信号发送的变换模式信息用作块的变换模式。

这里，可使用上下文模型通过算术编码方法对变换模式信息进行熵编码/解码。当变换模式信息被实现为预定义的表和索引时，可使用上下文模型通过算术编码方法对若干个二进制位的全部或一部分进行熵编码/解码。

此外，可根据块大小选择性地对变换模式信息进行熵编码/解码。例如，在当前块的大小等于或大于64×64时，可不对变换模式信息进行熵编码/解码。在当前块的大小等于或小于32×32时，可对变换模式信息进行熵编码/解码。

此外，当在当前块中存在非零的一个变换系数或一个量化等级时，可不对变换模式信息进行熵编码/解码，并且可对变换模式信息执行DCT-2或DST-7或SDST中的至少一种方法。这里，不管块中的针对非零的变换系数或量化等级的位置如何，都可不对变换模式信息进行熵编码/解码。此外，仅当在块的左上方存在非零的变换系数或量化等级时，才可不对变换模式信息进行熵编码/解码。

此外，当在当前块中存在非零的J个或更多个变换系数或量化等级时，可对变换模式信息进行熵编码/解码。这里，J是正整数。

此外，变换模式信息可由于一些变换模式根据同位块的变换模式被限制性使用而变化，或者可由于用于将同位块的变换模式指示为更少比特的变换信息的二值化方法而变化。

可基于当前块的预测模式、TU的深度、大小、形状中的至少一个来限制性地使用SDST。

例如，当在帧间模式下对当前块进行编码时，可使用SDST。

可对用于允许SDST的最小/最大深度进行定义。在这种情况下，在当前块的深度等于或大于最小深度时，可使用SDST。可选择地，在当前块的深度等于或大于最大深度时，可使用SDST。这里，最小/最大深度可以是固定值，或者可基于指示最小/最大深度的信息被不同地确定。指示最小/最大深度的信息可从编码器被用信号发送，并且可通过解码器基于当前块/邻近块的属性(例如，大小、深度和/或形状)被推导出。

可对用于允许SDST的最小/最大尺寸进行定义。类似地，在当前块的大小等于或大于最小尺寸时，可使用SDST。可选择地，在当前块的大小等于或大于最大尺寸时，可使用SDST。这里，最小/最大尺寸可以是固定值，或者可基于指示最小/最大尺寸的信息被不同地确定。指示最小/最大尺寸的信息可从编码器被用信号发送，并且可通过解码器基于当前块/邻近块的属性(例如，大小、深度和/或形状)被推导出。例如，在当前块的大小是4×4时，可将DCT-2用作变换方法，并且关于是使用DCT-2还是使用SDST的变换模式信息可不被熵编码/解码。

可对用于允许SDST的块的形状进行定义。在这种情况下，在当前块的形状是块的定义形状时，可使用SDST。可选择地，可对用于不允许SDST的块的形状进行定义。在这种情况下，在当前块的形状是块的定义形状时，可不使用SDST。用于允许或不允许SDST的块的形状可以是固定的，并且用于允许或不允许SDST的块的形状的信息可从编码器被用信号发送。可选择地，可通过解码器基于当前块/相邻块的属性(例如，大小、深度和/或形状)来推导出当前块的形状的信息。用于允许或不允许SDST的块的形状可意为例如MxN块中的M、N和/或M与N的比率。

此外，当TU的深度为零时，可将DCT-2或DST-7用作变换方法，并且可对关于哪个变换方法被使用的变换模式信息进行熵编码/解码。当将DST-7用作变换方法时，可执行对残差信号的重新布置。此外，当TU的深度等于或大于1时，可将DCT-2或SDST用作变换方法，并且可对关于哪个变换方法被使用的变换模式信息进行熵编码/解码。

此外，可以根据CU和PU的分区形状或当前块的形状来选择性地使用变换方法。

根据实施例，当CU和PU的分区形状或当前块的形状是2Nx2N时，可使用DCT-2并且可针对剩余的分区和块形状来选择性地使用DCT-2或SDST。

此外，当CU和PU的分区形状或当前块的形状是2NxN或Nx2N时，可使用DCT-2并且可针对剩余的分区和块形状来选择性地使用DCT-2或SDST。

此外，当CU和PU的分区形状或当前块的形状是nRx2N或nLx2N或2NxnU或2NxnD时，可使用DCT-2并且可针对剩余的分区和块形状来选择性地使用DCT-2或SDST。

同时，对从当前块分区出的每个块执行SDST或DST-7，可对每个分区出的块执行针对变换系数(量化等级)的扫描和逆扫描。此外，对从当前块分区出的每个块执行SDST或DST-7，可对每个未分区的当前块执行针对变换系数(量化等级)的扫描和逆扫描。

此外，可根据当前块的帧内预测模式(方向)、当前块的大小和当前块的分量(亮度分量或色度分量)中的至少一个来执行使用SDST或DST-7的变换/逆变换。

此外，当使用SDST或DST-7执行变换/逆变换时，可以使用DST-1代替DST-7。此外，当使用SDST或DST-7执行变换/逆变换时，可使用DCT-4代替DST-7。

此外，当使用DCT-2执行变换/逆变换时，可应用在布置SDST或DST-7的残差信号时使用的布置方法。也就是说，即使在使用DCT-2时，也可执行残差信号的重新布置或者使用预定角度对残差信号的旋转。

在下文中，将公开针对重排方法和信号发送方法的各种修改和实施例。

本发明的SDST用于通过变换方法的改变来提高图像压缩效率。通过对残差信号进行重排，在执行DST-7时有效地应用PU中的残差信号的分布特性，因此可获得高压缩效率。

在以上对重排的描述中，已公开了残差信号的重新布置方法。在下文中，除了重排操作之外，还将公开针对残差信号的重新布置方法的其他实施方式。

为了使用于重新布置残差信号的硬件复杂度最小化，可通过水平翻转和垂直翻转方法来实现残差信号的重新布置方法。残差信号的重新布置方法(1)至(4)可通过如下的翻转操作来实现。

(1)：r'(x，y)＝r(x，y)；不执行翻转(无翻转)

(2)：r'(x，y)＝r(w-1-x，y)；水平方向翻转

(3)：r'(x，y)＝r(x，h-1-y)；垂直方向翻转

(4)：r'(x，y)＝r(w-1-x，h-1-y)；水平方向和垂直方向翻转

r'(x，y)是在重新布置之后的残差信号，以及r(x，y)是在重新布置之前的残差信号。块的宽度和高度分别被指定为w和h。块中的残差信号的位置被指定为x，y。使用翻转的重新布置方法的逆重新布置方法可在重新布置方法的相同处理中被执行。也就是说，通过使用水平方向翻转的被重新布置的残差信号被进一步进行水平方向翻转，因此，可重建残差信号的原始布置。在编码器中执行的重新布置方法和在解码器中执行的逆重新布置方法可使用相同的翻转方法。

使用翻转操作的残差信号重排/重新布置方法可在无需进行分区的情况下使用当前块。也就是说，在SDST方法中，当前块(TU等)被分区为子块并且DST-7被用于每个子块。然而，在使用翻转操作的残差信号重排/重新布置方法中，可在不将当前块分区为子块的情况下对当前块的全部或一部分执行翻转，然后可使用DST-7。

可通过使用变换模式信息对关于是否使用利用翻转操作的残差信号重排/重新布置方法的信息进行熵编码/解码。例如，当指示变换模式信息的标志位具有第一值时，使用翻转操作的残差信号重排/重新布置方法和DST-7可被用作变换/逆变换方法。当标志位具有第二值时，可使用另一种变换/逆变换方法而不是使用利用翻转操作的残差信号重排/重新布置方法。这里，可针对每个块对变换模式信息进行熵编码/解码。

此外，可通过使用翻转方法信息将四种翻转方法(无翻转、水平方向翻转、垂直方向翻转、水平方向和垂直方向翻转)中的至少一种熵编码/解码为标志或索引。也就是说，可在解码器中执行通过用信号发送翻转方法信息的在编码器中执行的翻转方法。变换模式信息可包括翻转方法信息。

此外，残差信号的重新布置方法不限于先前描述的残差信号的重新布置，并且可通过以预定角度对块中的残差信号进行旋转来实现重排操作。这里，预定角度可意为零度、90度、180度、-90度、-180度、270度、-270度、45度、-45度、135度、-135度等。这里，关于角度的信息可被熵编码/解码为标志或索引，并且可与用于变换模式信息(变换模式)的信号发送方法类似地被执行。

此外，当进行熵编码/解码时，可从与当前块相邻的重建块的角度信息对角度信息进行预测编码/解码。当通过使用角度信息执行重新布置时，可在对当前块分区之后执行SDST或DST-7。可选地，可在不对当前块进行分区的情况下对每个当前块执行SDST或DST-7。

可根据子块的位置不同地确定预定角度。可限制性地使用仅旋转多个子块之中的特定位置的一个子块(例如，第一子块)的重新布置方法。此外，使用预定角度的重新布置可被应用于整个当前块。这里，重新布置的目标当前块可以是以下项中的至少一个：逆变换之前的残差块、去量化之前的残差块、逆变换之后的残差块、去量化之后的残差块、重建残差块和重建块。

同时，为了获得与残差信号重新布置或旋转相同的效果，可重新布置或旋转用于变换的变换矩阵的系数，并且将系数应用于预先布置的残差信号，从而执行变换。也就是说，通过使用变换矩阵的重新布置代替残差信号的重新布置来执行变换，从而可获得与执行残差信号重新布置和变换的方法相同的效果。这里，可以以与残差信号重新布置方法相同的方式来执行变换矩阵的系数的重新布置。因此，可以以与用于残差信号重新布置方法的信息的信号发送方法相同的方式来执行用于变换矩阵的系数的重新布置的信息的信号发送方法。

同时，编码器可将在上述重排操作描述中描述的残差信号重新布置方法的一部分确定为最优重新布置方法，并且可将关于确定的重新布置方法的信息发送到解码器。例如，当使用四种重新布置方法时，编码器可将关于残差信号重新布置方法的信息以2比特发送到解码器。

此外，当重新布置方法具有不同的出现概率时，可通过使用少量比特对具有高出现概率的重新布置方法进行编码，并且可通过使用相对大量的比特对具有低出现概率的重新布置方法进行编码。例如，可按照较高出现概率的顺序将四种重新布置方法编码为截断一元码(0、10、110、111)。

此外，根据编码参数(诸如当前CU的预测模式、PU的帧内预测模式(方向)、邻近块的运动矢量等)，可改变重新布置方法的出现概率。因此，可根据编码参数不同地使用关于重新布置方法的信息的编码方法。例如，重新布置方法的出现概率可根据帧内预测的预测模式而变化。因此，针对每个帧内模式，将少量比特分配给具有高出现概率的重新布置方法，并且将大量比特分配给具有低出现概率的重新布置方法。在一些情况下，可不使用具有极低出现概率的重新布置方法，并且可不给具有极低出现概率的重新布置方法分配比特。

下表5示出了根据CU的预测模式和PU的帧内预测模式(方向)对残差信号重新布置方法进行编码的示例。

[表5]

表5中的残差信号重新布置方法(1)至(4)可指定残差信号重新布置方法，诸如用于重新布置残差信号的扫描/重新布置顺序的索引、用于预定角度值的索引、用于预定翻转方法的索引等。

如表5所示，在当前块与预测模式和帧内预测模式(方向)中的至少一个相关时，可在编码器和解码器中使用至少一种重新布置方法。

例如，在当前块处于帧内模式并且帧内预测方向是偶数时，可使用无翻转方法、水平方向翻转方法和垂直方向翻转方法中的至少一种作为残差信号重新布置方法。此外，在当前块处于帧内模式并且帧内预测方向是奇数时，可使用无翻转方法、垂直方向翻转方法以及水平方向和垂直方向翻转方法中的至少一种作为残差信号重新布置方法。

在帧内预测的平面/DC预测的情况下，可基于四种重新布置方法的出现频率将关于四种重新布置方法的信息熵编码/解码为截断一元码。

当帧内预测方向是水平方向或接近水平方向模式时，重新布置方法(1)和(3)的概率可能较高。在这种情况下，对于两种重新布置方法中的每一种使用1比特，并且可对关于重新布置方法的信息进行熵编码/解码。

当帧内预测方向是垂直方向或接近垂直方向模式时，重新布置方法(1)和(2)的概率可能较高。在这种情况下，对于两种重新布置方法中的每一种使用1比特，并且可对关于重新布置方法的信息进行熵编码/解码。

当帧内预测方向是偶数时，可将关于重新布置方法(1)、(2)和(3)的信息熵编码/解码为截断一元码。

当帧内预测方向是奇数时，可将关于重新布置方法(1)、(3)和(4)的信息熵编码/解码为截断一元码。

在其他帧内预测方向中，重新布置方法(4)的出现概率可能较低。因此，可将关于重新布置方法(1)、(2)和(3)的信息熵编码/解码为截断一元码。

在帧间预测的情况下，重新布置方法(1)至(4)具有相同的出现概率，并且可将关于重新布置方法的信息熵编码/解码为2比特固定长度码。

这里，每个编码比特位值可使用算术编码/解码。此外，可在不使用算术编码的情况下在旁通中对每个编码比特位值进行熵编码/解码。

图27和图28是示出在根据本发明的在编码器和解码器中执行残差信号重新布置(残差重新布置)的位置的示图。

参照图27，在编码器中，可在DST-7变换之前执行残差信号重新布置。在图27中未示出，在编码器中，可在变换和量化之间执行残差信号重新布置，并且可在量化之后执行残差信号重新布置。

参照图28，在解码器中，可在DST-7逆变换之后执行残差信号重新布置。在图28中未示出，在解码器中，可在去量化和逆变换之间执行残差信号重新布置，并且可在去量化之前执行残差信号重新布置。

上面已经参照图12至图28描述了根据本发明的SDST方法。在下文中，将参照图29和图30详细描述根据本发明的应用了SDST方法的解码方法、编码方法、解码器、编码器和比特流。

图29是示出根据本发明的使用SDST方法的解码方法的示图。

参照图29，首先，在步骤S2910，可确定当前块的变换模式。在步骤S2920，可根据当前块的变换模式对当前块的残差数据进行逆变换。

此外，在步骤S2930，可根据当前块的变换模式对当前块的经逆变换的残差数据进行重新布置。

这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

在SDST模式中，可在DST-7变换模式下执行逆变换，并且可命令用于对经逆变换的残差数据执行重新布置的模式。

在SDCT模式中，可在DCT-2变换模式下执行逆变换，并且可命令用于对经逆变换的残差数据执行重新布置的模式。

在DST模式中，可在DST-7变换模式下执行逆变换，并且可命令用于不对经逆变换的残差数据执行重新布置的模式。

在DCT模式中，可在DCT-2变换模式下执行逆变换，并且可命令用于不对经逆变换的残差数据执行重新布置的模式。

因此，仅在当前块的变换模式是SDST和SDCT之一时，才可执行对残差数据的重新布置。

对于SDST模式和DST模式，可在DST-7变换模式下执行逆变换，但是可使用基于诸如DST-1、DST-2等的另一DST的变换模式。

同时，在步骤S2910确定当前块的变换模式的步骤可包括：从比特流获得当前块的变换模式信息；以及基于变换模式信息确定当前块的变换模式。

此外，可基于当前块的预测模式、当前块的深度信息、当前块的大小和当前块的形状中的至少一个来执行在步骤S2910确定当前块的变换模式的步骤。

具体地，在当前块的预测模式是帧间预测模式时，可将当前块的变换模式确定为SDST和SDCT之一。

同时，在步骤S2930对当前块的经逆变换的残差数据进行重新布置的步骤可包括：以第一方向顺序对布置在当前块中的经逆变换的残差数据进行扫描；以及以第二方向顺序在当前块中对沿第一方向扫描的残差数据进行重新布置。这里，第一方向顺序可以是光栅扫描顺序、右上对角扫描顺序、水平扫描顺序和垂直扫描顺序中的一个。此外，第一方向顺序可被定义如下。

(1)从顶行扫描到底行，并且在一行中从左侧扫描到右侧

(2)从顶行扫描到底行，并且在一行中从右侧扫描到左侧

(3)从底行扫描到顶行，并且在一行中从左侧扫描到右侧

(4)从底行扫描到顶行，并且在一行中从右侧扫描到左侧

(5)从左侧列扫描到右侧列，并且在一列中从顶部扫描到底部

(6)从左侧列扫描到右侧列，并且在一列中从底部扫描到顶部

(7)从右侧列扫描到左侧列，并且在一列中从顶部扫描到底部

(8)从右侧列扫描到左侧列，并且在一列中从底部扫描到顶部

(9)以螺旋形状扫描：沿顺时针/逆时针方向从块的内部(或外部)扫描到块的外部(或内部)

同时，可选择性地使用上述方向之一作为第二方向。第一方向和第二方向可以相同，或者可以彼此不同。

此外，可对当前块中的每个子块执行在步骤S2930对当前块的经逆变换的残差数据进行重新布置的操作。在这种情况下，可以基于当前块中的子块的位置对残差数据进行重新布置。已经在公式6中描述了基于子块的位置对残差数据进行重新布置的操作，因此，将省略其重复描述。

此外，可通过以预定角度对布置在当前块中的逆变换残差数据进行旋转来执行在步骤S2930对当前块的经逆变换的残差数据进行重新布置的操作。

此外，可通过根据翻转方法对布置在当前块中的逆变换残差数据进行翻转来执行在步骤S2930对当前块的经逆变换的残差数据进行重新布置的操作。在这种情况下，在步骤S2910确定当前块的变换模式的步骤可包括：从比特流获得翻转方法信息；以及基于翻转方法信息确定当前块的翻转方法。

图30是示出根据本发明的使用SDST方法的编码方法的示图。

参照图30，在步骤S3010，可确定当前块的变换模式。

此外，在步骤S3020，可根据当前块的变换模式对当前块的残差数据进行重新布置。

此外，在步骤S3030，可根据当前块的变换模式对当前块的经重新布置的残差数据进行变换。

这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。已经参照图29描述了SDST、SDCT、DST和DCT模式，因此，将省略其重复描述。

同时，仅在当前块的变换模式是SDST和SDCT之一时，才可执行对残差数据的重新布置。

此外，可基于当前块的预测模式、当前块的深度信息、当前块的大小和当前块的形状中的至少一个来执行在步骤S3010确定当前块的变换模式的操作。

这里，在当前块的预测模式是帧间预测模式时，可将当前块的变换模式确定为SDST和SDCT之一。

同时，在步骤S3020对当前块的残差数据进行重新布置的操作可包括：以第一方向顺序对当前块中布置的残差数据进行扫描；并以第二方向顺序在当前块中对沿第一方向扫描的残差数据进行重新布置。

此外，可对当前块中的每个子块执行在步骤S3020对当前块的残差数据进行重新布置的操作。

在这种情况下，可基于当前块中的子块的位置来执行在步骤S3020对当前块的残差数据进行重新布置的操作。

同时，可通过以预定角度对布置在当前块中的残差数据进行旋转来执行在步骤S3020对当前块的残差数据进行重新布置的操作。

同时，可通过根据翻转方法对布置在当前块中的残差数据进行翻转来执行在步骤S3020对当前块的残差数据进行重新布置的操作。

根据本发明的一种用于通过使用SDST方法对视频进行解码的设备可包括：逆变换单元，确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行逆变换，并且根据当前块的变换模式对当前块的经逆变换的残差数据进行重新布置。这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

根据本发明的一种用于通过使用SDST方法对视频进行解码的设备可包括：逆变换单元，确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行重新布置，并且根据当前块的变换模式对当前块的经重新布置的残差数据进行逆变换。这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

根据本发明的一种通过使用SDST方法对视频进行编码的设备可包括：变换单元，确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行重新布置，并且根据当前块的变换模式对当前块的经重新布置的残差数据进行变换。这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

根据本发明的一种用于通过使用SDST方法对视频进行编码的设备可包括：变换单元，确定当前块的变换模式，根据当前块的变换模式对当前块的残差数据进行变换，根据当前块的变换模式对当前块的经变换的残差数据进行重新布置。这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

通过根据本发明的用于经由使用SDST方法对视图进行编码的方法来形成比特流。该方法可包括：确定当前块的变换模式；根据当前块的变换模式对当前块的残差数据进行重新布置；根据当前块的变换模式对当前块的经重新布置的残差数据进行变换。这里，变换模式可包括SDST(重排离散正弦变换)、SDCT(重排离散余弦变换)、DST(离散正弦变换)或DCT(离散余弦变换)中的至少一个。

可针对亮度信号和色度信号中的每一个来执行帧间编码/解码处理。例如，在帧间编码/解码处理中，获得帧间预测指示符、产生运动矢量候选列表、推导运动矢量以及执行运动补偿中的至少一个方法可被不同地应用于亮度信号和色度信号。

可针对亮度信号和色度信号同样地执行帧间编码/解码处理。例如，在针对亮度信号应用的帧间编码/解码处理中，帧间预测指示符、运动矢量候选列表、运动矢量候选、运动矢量和参考画面中的至少一个可被应用于色度信号。

所述方法可按照相同的方式在编码器和解码器中被执行。例如，在帧间编码/解码处理中，推导运动矢量候选列表、推导运动矢量候选、推导运动矢量以及执行运动补偿中的至少一个方法可被等同地应用在编码器和解码器中。此外，应用所述方法的顺序在编码器和解码器中可不同。

本发明的实施例可根据编码块、预测块、块和单元中的至少一个的大小而被应用。这里，所述大小可被定义为最小尺寸和/或最大尺寸以便应用实施例，并且可被定义为应用了实施例的固定尺寸。此外，第一实施例可按照第一尺寸被应用，并且第二实施例可按照第二尺寸被应用。也就是说，实施例可根据所述大小而被多次应用。此外，本发明的实施例可仅在所述大小等于或大于最小尺寸并且等于或小于最大尺寸时被应用。也就是说，实施例可仅在块大小在预定范围中时被应用。

例如，仅当编码/解码目标块的大小等于或大于8×8时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于16×16时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于32×32时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于64×64时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于128×128时，实施例才可被应用。例如，仅当编码/解码目标块的大小为4×4时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或小于8×8时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于16×16时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于8×8且等于或小于16×16时，实施例才可被应用。例如，仅当编码/解码目标块的大小等于或大于16×16且等于或小于64×64时，实施例才可被应用。

本发明的实施例可根据时间层而被应用。用于标识可被应用实施例的时间层的标识符可用信号发送，并且可针对由所述指示符指明的时间层应用实施例。这里，所述标识符可被定义为指示可被应用实施例的最小层和/或最大层，并且可被定义为指示可被应用实施例的特定层。

例如，仅在当前画面的时间层为最底层时，实施例才可被应用。例如，仅在当前画面的时间层标识符为0时，实施例才可被应用。例如，仅在当前画面的时间层标识符等于或大于1时，实施例才可被应用。例如，仅在当前画面的时间层为最高层时，实施例才可被应用。

如在本发明的实施例中所描述的，在参考画面列表构建和参考画面列表修改的处理中使用的参考画面集可使用参考画面列表L0、L1、L2和L3中的至少一个。

根据本发明的实施例，当去块滤波器计算边界强度时，可使用编码/解码目标块的至少一个至最多N个运动矢量。这里，N指示等于或大于1的正整数，诸如2、3、4等。

在运动矢量预测中，当运动矢量具有以下单位中的至少一个时，可应用本发明的实施例：16-像素(16-pel)单位、8-像素(8-pel)单位、4-像素(4-pel)单位、整数-像素(整数-pel)单位、1/2-像素(1/2-pel)单位、1/4-像素(1/4-pel)单位、1/8-像素(1/8-pel)单位、1/16-像素(1/16-pel)单位、1/32-像素(1/32-pel)单位以及1/64-像素(1/64-pel)单位。此外，在执行运动矢量预测时，可针对每个像素单位可选地使用运动矢量。

可定义应用本发明的实施例的条带类型并且可根据条带类型应用本发明的实施例。

例如，当条带类型是T(三向预测)-条带时，预测块可通过使用至少三个运动矢量来产生，并且可通过计算至少三个预测块的加权和而被用作编码/解码目标块的最终预测块。例如，当条带类型是Q(四向预测)-条带时，预测块可通过使用至少四个运动矢量来产生，并且可通过计算至少四个预测块的加权和而被用作编码/解码目标块的最终预测块。

本发明的实施例可被应用于使用运动矢量预测的帧间预测和运动补偿方法以及使用跳过模式、合并模式等的帧间预测和运动补偿方法。

应用了本发明的实施例的块的形状可具有正方形形状或非正方形形状。

在上述实施例中，基于具有一系列步骤或单元的流程图描述了所述方法，但本发明不限于所述步骤的顺序，而是，一些步骤可与其它步骤被同时执行，或者可与其它步骤按照不同顺序被执行。此外，本领域普通技术人员应该理解，流程图中的步骤不彼此相斥，并且在不影响本发明的范围的情况下，其它步骤可被添加到流程图中，或者一些步骤可从流程图被删除。

实施例包括示例的各种方面。针对各个方面的所有可能组合可不被描述，但本领域技术人员将能够认识到不同组合。因此，本发明可包括权利要求范围内的所有替换形式、修改形式和改变。

本发明的实施例可按照程序指令的形式来实施，其中，所述程序指令可由各种计算机组件来执行，并被记录在计算机可读记录介质上。计算机可读记录介质可包括单独的程序指令、数据文件、数据结构等，或者是程序指令、数据文件、数据结构等的组合。记录在计算机可读记录介质中的程序指令可被特别设计和构造用于本发明，或者对于计算机软件技术领域的普通技术人员而言是已知的。计算机可读记录介质的示例包括：磁记录介质(诸如硬盘、软盘和磁带)；光学数据存储介质(诸如CD-ROM或DVD-ROM)；磁光介质(诸如软光盘)；以及被特别构造用于存储和实施程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器等)。程序指令的示例不仅包括由编译器形成的机器语言代码，还包括可由计算机使用解释器实施的高级语言代码。硬件装置可被配置为由一个或更多个软件模块操作以进行根据本发明的处理，反之亦可。

虽然已根据特定术语(诸如详细元件)以及有限实施例和附图描述了本发明，但它们仅被提供用于帮助更通俗地理解本发明，并且本发明不限于上述实施例。本发明所属领域的技术人员将理解，可从上述描述做出各种修改和改变。

因此，本发明的精神不应受限于上述实施例，并且所附权利要求及其等同物的全部范围将落入本发明的范围和精神之内。

Claims (13)

1.一种用于对视频进行解码的方法，所述方法包括：

从比特流获得当前块的变换模式信息；

基于所述变换模式信息来确定当前块的变换核；并且

根据当前块的变换核对当前块的残差数据进行逆变换，

其中，所述变换模式信息是用于指示预定义的变换核之中的当前块的变换核的索引信息，并且

其中，所述预定义的变换核包括DCT-2、DST-7和DCT-8。

2.如权利要求1所述的方法，其中，所述变换模式信息是在非零变换系数存在于当前块中时获得的。

3.如权利要求1所述的方法，其中，所述变换模式信息是在变换跳过未在当前块中被执行时获得的。

4.如权利要求1所述的方法，其中，所述变换模式信息是指示针对水平方向和垂直方向中的每一个的变换核的信息。

5.如权利要求1所述的方法，其中，所述变换模式信息是仅在当前块为亮度分量时获得的。

6.如权利要求1所述的方法，其中，所述变换模式信息是仅在当前块的尺寸小于或等于预定尺寸时获得的。

7.一种用于对视频进行编码的方法，所述方法包括：

确定当前块的变换核；

根据所述变换核对当前块的残差数据进行变换；并且

对指示当前块的变换核的变换模式信息进行编码，

其中，所述变换模式信息是用于指示预定义的变换核之中的当前块的变换核的索引信息，并且

其中，所述预定义的变换核包括DCT-2、DST-7和DCT-8。

8.如权利要求7所述的方法，其中，所述变换模式信息在非零变换系数存在于当前块中时被编码。

9.如权利要求7所述的方法，其中，所述变换模式信息在变换跳过未在当前块中被执行时被编码。

10.如权利要求7所述的方法，其中，所述变换模式信息是指示针对水平方向和垂直方向中的每一个的变换核的信息。

11.如权利要求7所述的方法，其中，所述变换模式信息仅在当前块为亮度分量时被编码。

12.如权利要求7所述的方法，其中，所述变换模式信息仅在当前块的尺寸小于或等于预定尺寸时被编码。

13.一种包括比特流的非暂时性计算机可读记录介质，其中，所述比特流通过编码方法生成，所述编码方法包括：

确定当前块的变换核；

根据所述变换核对当前块的残差数据进行变换；并且

对指示当前块的变换核的变换模式信息进行编码，

其中，所述变换模式信息是用于指示预定义的变换核之中的当前块的变换核的索引信息，并且

其中，所述预定义的变换核包括DCT-2、DST-7和DCT-8。

Images