CN106454380B - 对视频进行解码的方法 - Google Patents

Abstract

一种对视频进行解码的方法。一种使用可变分区的视频编码方法，其中，通过使用基于第一分区模式和分区等级确定的多个分区，以作为用于对画面进行编码的数据单元的编码单元为单位执行预测编码，以便从确定的多个分区中选择将输出编码结果的分区，对表示选择的分区的第一分区模式和分区等级的分区信息进行编码和输出。所述第一分区模式表示作为用于对所述编码单元执行预测编码的数据单元的分区的形状和方向性，所述分区等级表示所述编码单元被划分为用于详细的运动预测的多个分区的程度。

Description

对视频进行解码的方法

本申请是申请日为2011年1月14日、申请号为201180014086.8、题为“用于预测编码的使用可变分区的视频编码的方法和设备以及用于预测编码的使用可变分区的视频解码的方法和设备”的专利申请的分案申请。

技术领域

本发明涉及对视频进行编码和解码。

背景技术

随着用于再现和存储高清晰度或高质量视频内容的硬件的发展和供应，对有效地对高清晰度或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。在现有视频编解码器中，基于具有预定尺寸的宏块根据有限的编码方法来对视频进行编码。

视频压缩使用空间相关性和时间相关性。一般来说，以特定尺寸数据的单元(例如，16×16宏块)执行帧间预测。当具有特定尺寸的宏块被划分为两个、四个或更多个运动区域并且随后对每个运动区域执行帧间预测时，会发生与原始图像相关的恢复的图像的失真，并且会产生用于发送帧间预测的结果的开销。当用于帧间预测的运动区域被精细划分时，与原始图像相关的恢复的图像的失真减少，但开销增加。因此，在帧间预测中，存在与原始图像相关的恢复的图像的失真和用于发送帧间预测结果的开销之间的权衡关系。

发明内容

技术问题

本发明提供使用用于预测编码的具有可变形状和可变尺寸的分区的视频编码和视频解码。

解决方案

根据本发明的一方面，提供了一种使用可变分区的视频编码方法，实施视频编码方法包括：通过使用基于第一分区模式和分区等级确定的分区，以作为用于对画面进行编码的数据单元的编码单元为单位执行预测编码，以便从确定的分区中选择将输出编码结果的分区，其中，第一编码模式表示作为用于对编码单元执行预测编码的数据单元的分区的形状和方向性，并且分区等级表示编码单元被划分为用于详细的运动预测的分区的程度；以及对表示选择的分区的第一分区模式和分区等级的分区信息进行编码和输出。

有益效果

不仅可确定具有与现有宏块相同的尺寸的分区、具有现有宏块的一半尺寸的分区和具有现有宏块的四分之一尺寸的分区，还可确定能够预测纹理的方向性和位置的改变以及详细的运动的分区。由于可基于编码单元的尺寸对允许分区的详细运动被预测的分区的形状和方向进行调整，因此可充分考虑图像特性来执行预测编码和预测解码。

附图说明

图1是根据本发明的实施例的使用可变分区的视频编码设备的框图；

图2是根据本发明的实施例的使用可变分区的视频解码设备的框图；

图3是示出根据本发明的实施例的具有分层结构的编码单元的示图；

图4示出根据本发明的实施例的由第一分区模式和分区等级定义的具有树形结构的分区；

图5示出根据本发明的实施例的第一分区模式、分区等级和第二分区模式之间的关系；

图6是根据本发明的实施例的使用可变分区的视频编码方法的流程图；

图7是根据本发明的实施例的使用可变分区的视频解码方法的流程图；

图8是根据本发明的实施例的使用基于具有树形结构的编码单元进行预测编码的可变分区的视频编码设备的框图；

图9是根据本发明的实施例的使用基于具有树形结构的编码单元进行预测编码的可变分区的视频解码设备的框图；

图10是用于描述根据本发明的实施例的编码单元的概念的示图；

图11是根据本发明的实施例的基于编码单元的图像编码器的框图；

图12是根据本发明的实施例的基于编码单元的图像解码器的框图；

图13是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图；

图14是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；

图15是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；

图16是根据本发明的实施例的根据深度的较深层编码单元的示图；

图17、图18和图19是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；

图20是用于描述根据表2的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图；

图21是根据本发明的实施例的使用基于具有树形结构的编码单元的可变分区的视频编码方法的流程图；

图22是根据本发明的实施例的使用基于具有树形结构的编码单元的可变分区的视频解码方法的流程图。

具体实施方式

最佳模式

一种根据本发明的实施例的使用可变分区的视频编码方法包括：通过使用基于第一分区模式和分区等级确定的多个分区，以作为用于对画面进行编码的数据单元的编码单元为单位执行预测编码，以便从确定的多个分区中选择将输出编码结果的分区，其中，所述第一分区模式表示作为用于对所述编码单元执行预测编码的数据单元的分区的形状和方向性，所述分区等级表示所述编码单元被划分为用于详细的运动预测的多个分区的程度；对表示选择的分区的第一分区模式和分区等级的分区信息进行编码和输出。

一种根据本发明的实施例的使用可变分区的视频解码方法包括：从接收到的比特流提取包括第一分区模式和分区等级的分区信息，其中，所述提取以作为用于对画面进行编码的数据单元的编码单元为单位被执行，第一分区模式表示作为用于对编码单元执行预测解码的数据单元的分区的形状和方向性，分区等级表示编码单元被划分为用于详细的运动预测的多个分区的程度；通过使用基于提取的分区信息的第一分区模式和分区等级确定的多个分区执行预测解码来恢复所述画面。

一种根据本发明的实施例的使用可变分区的视频编码设备包括：编码器，通过使用基于第一分区模式和分区等级确定的多个分区，以作为用于对画面进行编码的数据单元的编码单元为单位执行预测编码，以便从确定的多个分区中选择将输出编码结果的分区，并对所述画面进行编码以便确定编码单元的编码模式，其中，第一分区模式表示作为用于对编码单元执行预测编码的数据单元的分区的形状和方向性，分区等级表示编码单元被划分为用于详细的运动预测的多个分区的程度；输出单元，对表示选择的分区的第一分区模式和分区等级的分区信息、关于选择的分区的预测模式的信息以及包括关于编码模式的信息的编码信息进行编码和输出，并对选择的分区的运动矢量和残差数据进行编码和输出。

一种根据本发明的实施例的使用可变分区的视频解码设备包括：提取器，从接收到的比特流提取包括第一分区模式和分区等级的分区信息、关于分区的预测模式的信息、包括关于编码模式的信息的编码信息以及分区的运动矢量和残差数据，其中，所述第一分区模式表示作为用于对作为用于对画面进行编码的数据单元的编码单元执行预测编码的数据单元的分区的形状和方向性，分区等级表示编码单元被划分为用于详细的运动预测的多个分区的程度，其中，所述提取针对每个编码单元被执行；解码器，根据基于提取的分区信息的第一分区模式和分区等级确定的多个分区的预测模式，对所述确定的多个分区执行预测解码，并根据编码模式恢复所述画面。

本发明包括一种记录有用于执行所述视频编码方法的程序的计算机可读记录介质。

本发明包括一种记录有用于执行所述视频解码方法的程序的计算机可读记录介质。

本发明的模式

以下，“图像”可表示视频的静止图像或运动图像(即，视频本身)。以下，“数据单元”可表示构成视频的多份数据中落入预定范围之内的多份数据的集。

现将参照图1至图7描述根据本发明的实施例的使用用于预测编码的可变分区的视频的编码和解码。稍后将参照图8至图22描述根据本发明的实施例的使用基于具有树形结构的编码单元进行预测编码的可变分区的视频的编码和解码。

图1是根据本发明的实施例的使用用于预测编码的可变分区的视频编码设备10的框图。

参照图1，使用可变分区的视频编码设备10包括编码器11和输出单元12。为便于解释，以下使用可变分区的视频编码设备10将被简称为视频编码设备10。

视频编码设备10接收视频的画面序列，通过对所述画面序列的每个画面执行帧间预测、帧内预测、变换、量化和熵编码来对所述画面序列进行编码，并输出编码的视频数据(即，编码的结果)以及包括关于编码模式的信息的编码信息。

视频编码设备10可将当前画面划分为多个数据单元(每个数据单元均具有预定尺寸)，并可对每个数据单元执行编码，以有效地对当前画面进行编码。以下，用于对画面进行编码的数据单元被称为“编码单元”。编码器11可确定编码单元和将对每个编码单元执行的编码方法。针对每个编码单元确定的编码方法被称为编码模式。

数据冗余会发生在视频的时间连续的多个图像中，或发生在视频的图像的空间相邻区域中。在视频压缩编码期间，参考空间/时间相邻数据区域执行编码的预测编码技术被执行，以去除空间/时间相邻的数据区域中的数据冗余而减少编码数据的尺寸。

在预测编码技术中，基于具有预定尺寸和预定形状的数据单元搜索具有冗余数据的相邻数据区域，因此可对搜索的冗余数据单元之间的差距(即，运动)以及原始数据和搜索的冗余数据单元的冗余数据之间的差值(即，残差数据)进行编码。

编码器11可确定作为将与相邻数据的运动进行比较的数据单元的分区，以对每个编码单元执行预测编码。分区的尺寸可小于或等于编码单元的尺寸。编码器11可根据使用确定的分区的预测编码输出通过从每个分区去除冗余数据而获得的残差数据。

编码器11通过使用基于第一分区模式和分区等级确定的分区执行预测编码，来选择用于输出编码结果的分区。

编码器11可通过使用具有多种形状、方向性和尺寸的分区对每个编码单元执行预测编码，并从多个分区中选择一分区，残差数据最终将通过该分区被输出。分区的方向性表示所述分区从编码单元被划分的方向。编码器11可通过根据多种分区确定并比较编码效率来选择产生最高编码效率的用于预测编码的分区。

可考虑原始数据和恢复的数据之间的误差、在解码之后产生的开销等来确定编码效率。可使用基于拉格朗日乘子(Lagrangian multipliers)的率失真最优化来测量根据预测编码的编码效率。

可基于第一分区模式和分区等级定义根据本发明的实施例的分区。根据本发明的实施例的第一分区模式指示分区的形状和方向性。

例如，可根据第一分区模式的类型定义分区类型(矩形分区、正方形分区、非矩形分区等)。例如，可定义根据第一编码模式的划分编码单元的方向性，其中，编码单元被划分的示例包括：i)编码单元被垂直地，水平地，垂直并水平地均分为多个分区，或对角地划分为多个分区；ii)编码单元沿着偏向编码单元的左端、右端、上端或下端的划分线被划分为多个分区；或iii)通过从宽度到对面宽度，从高度到对面高度，从宽度到相邻高度，和从高度到相邻宽度对编码单元进行划分而获得多个分区。

根据本发明的实施例的分区等级表示为了精细运动预测将编码单元划分为多个分区的程度。可根据分区等级的值确定分区的宽度(高度)相对于编码单元的宽度(高度)的划分比率。

例如，随着根据实施例的划分等级增加，可确定通过对编码单元的宽度和高度进行精细划分而获得的多个分区。例如，可基于编码单元的宽度或高度变为n等份的划分确定以1:(n-1)、2:(n-2)、…、(n-2):2和(n-1):1对编码单元的宽度或高度进行划分而获得的多个分区。

然而，根据实施例的分区的最小尺寸是有限的，也就是说，编码单元无法被无限划分。因此，可基于根据分层树形结构确定的当前编码单元的尺寸确定分区的分区等级的上限、下限、或上限和下限两者。可由系统设置或用户设置来限制分区等级的值。

分区的宽度和高度可增加或减少，其中，所述分区的形状和方向基于根据实施例的第一分区模式被确定。可根据第二分区模式定义分区的宽度和高度，其中，所述分区的形状和方向基于第一分区模式被确定。换句话说，第二分区模式可从根据第一分区模式的允许的多个分区中确定详细的分区类型。

第一分区模式的多个分区的形状和方向根据第一分区模式被确定，并且分区的宽度、高度、或宽度或高度两者增加或减少为根据分区等级确定的分区的最小宽度或最小高度的一倍或多倍。因此，第二分区模式可被定义，以便指示第一分区模式的多个分区中的每个。

例如，当分区的最小宽度和最小高度根据分区等级被确定为编码单元的宽度和高度的1/n，第二分区模式指示所述编码单元的宽度或高度以1:(n-1)、2:(n-2)、…、(n-2):2和(n-1):1被划分的多个分区中的每个。

因此，编码器11还可根据第一分区模式确定第二分区模式，并且第二分区模式的类型或数量可根据第一分区模式和分区等级被确定。

输出单元12可对表示由编码器11选择的分区的第一分区模式和分区等级的模式信息进行编码和输出。分区信息还可根据第一分区模式包括第二分区模式。分区信息可包括用于确定分区等级的下限或上限的分区等级限制信息。

输出单元12可输出分区的运动矢量和残差数据，其中，已通过使用由编码器11确定的分区进行预测编码产生所述分区。输出单元12还可对关于预测模式的信息以及包括关于编码模式的信息的编码信息进行编码和输出，其中，所述预测模式表示使用由编码器11确定的分区的预测编码方法。根据本发明的实施例的编码信息可被插入到序列参数集(SPS)。根据实施例的编码信息可以以数据单元(诸如，序列、画面、帧、像条、最大编码单元等)的每个单位被编码并被插入输出比特流。

图2是根据本发明的实施例的使用用于预测编码的可变分区的视频解码设备20的框图。

参照图2，使用用于预测编码的可变分区的视频解码设备20包括提取器21和解码器22。为便于解释，使用用于预测编码的可变分区的视频解码设备20以下将被简称为视频解码设备20。

视频解码设备20可接收比特流(其中，视频的画面序列已被编码为比特流)，并通过相对于每个编码的画面数据的熵解码、反量化、逆变换、帧间预测/补偿和帧内预测，从而恢复画面。

提取器21可对接收到的比特流进行解析以提取编码的画面数据和运动矢量。提取器21可对接收到的比特流进行解析以提取编码的残差数据。

提取器21可对接收到的比特流进行以提取编码信息。提取器21可从编码信息读取关于编码模式的信息、分区信息和关于预测模式的信息。可从分区信息读取编码单元的分区的第一分区模式和分区等级。

由提取器21提取的分区信息可包括关于分区的形状和方向的信息，所述分区是具有由第一分区模式和分区等级形成的分层树形结构的分区中提供最高编码效率的分区。

解码器22可基于由提取器21提取并读取的分区信息确定用于针对画面进行预测编码的分区。解码器22可通过使用由提取器21提取的预测模式和运动矢量对编码的残差数据进行预测解码。

解码器22可基于分区信息确定每个编码单元的分区。解码器22可基于包括在分区信息中的第一分区模式确定分区的形状和编码单元被划分为多个分区的方向性。解码器22可基于包括在分区信息中的分区等级确定编码单元被精细地划分为多个分区的程度。

例如，解码器22可根据第一分区模式的类型确定分区类型(诸如，矩形分区、正方形分区、非矩形分区等)。解码器22可基于包括在分区信息中的第一分区模式确定编码单元被划分为多个分区的方向性。例如，根据第一分区模式的多个分区可包括：i)编码单元被垂直地，水平地，垂直并水平地，或对角地划分的分区；ii)位于编码单元的左端、右端、上端或下端的分区；或iii)通过从宽度到对面宽度，从高度到对面高度，从宽度到相邻高度，和从高度到相邻宽度对编码单元进行划分而获得的分区。

解码器22可基于分区等级确定编码单元的宽度和高度被划分的划分比。随着分区等级增加，通过对编码单元的宽度和高度进行精细划分而获得的多个分区可被确定。例如，当编码单元的宽度和高度之一或宽度和高度两者以1:(n-1)、2:(n-2)、…、(n-2):2和(n-1):1被划分的多个分区被确定时，n可随着分区等级的增加而增加。

可基于根据分层树形结构确定的当前编码单元的尺寸，确定分区的分区等级的上限、下限、或上限和下限两者。可从接收到的比特流提取关于系统或用户设置中的分区等级的限制值的信息。

提取器21还可从分区信息提取第二分区模式，其中，所述第二分区模式表示具有基于第一分区模式确定的形状和方向的多个分区中的具有预定宽度和预定高度的分区。解码器22可基于包括在分区信息中的第一分区模式信息、分区等级和第二分区模式确定每个编码单元的分区。

解码器22可根据第二分区模式增加或减少具有基于第一分区模式确定的形状和方向的分区的宽度和高度。

由于第一分区模式可确定分区的形状和方向性，因此分区等级可确定所述分区的最小宽度或最小高度，并且第二分区模式可指示根据第一分区模式和分区等级的每个分区，分区的宽度或高度可被确定为所述分区的最小宽度或最小高度的一倍或多倍。

例如，分区的最小宽度和最小高度可根据分区等级被确定为编码单元的宽度和高度的1/n。解码器22可基于第二分区模式确定通过对编码单元的宽度或高度以1:(n-1)、2:(n-2)、…、(n-2):2和(n-1):1进行划分而获得的分区。

解码器22可根据预测模式对基于分区信息确定的分区执行预测解码，并根据编码模式恢复画面。

视频编码设备10和视频解码设备20不仅可确定尺寸与现有宏块相同的分区、尺寸为现有宏块的尺寸的一半的分区和尺寸为现有宏块的尺寸的四分之一的分区，还可确定能够预测分区的纹理和精细运动的方向性和位置的改变的分区。由于可基于编码单元的尺寸调整允许分区的详细运动被预测的分区的形状和方向，因此可充分考虑图像特性执行预测编码和解码。

图3是示出根据本发明的实施例的具有分层结构30的编码单元31、32和33的示图。

根据编码单元31、32和33的分层结构30，编码单元31、32和33可随着编码单元等级从0经过1增加到2而依次变小。随着编码单元31、32、33的尺寸依次变大，更多种形状和方向的纹理分量可被包括在编码单元31、32和33。单个编码单元可包括视频序列中的与随着时间发生的不同运动相应的不同的运动区域。因此，为了对编码单元进行更详细和精确的预测编码，包括在编码单元中的分区的形状、方向和尺寸需要根据编码单元的尺寸变化。

图4示出根据本发明的实施例的由第一分区模式和分区等级定义的具有树形结构50的分区。

树形结构50可包括由第一分区模式和分区等级定义的多个分区。视频编码设备10的编码器11可通过使用树形结构50的的所有分区来对每个编码单元执行预测编码，并随后确定具有最高编码效率的分区，并且输出单元12可对确定的分区的残差数据进行编码和输出。

第一分区模式可表示分区的形状和方向性，分区等级可表示编码单元被划分为用于详细的运动预测的多个分区的程度。可由第一分区模式和分区等级的组合定义多个分区。

分区等级为0的分区组49包括：第一分区模式0的分区集合40、第一分区模式1的分区集合41、第一分区模式2的分区集合42、第一分区模式3的分区集合43、第一分区模式4的分区集合44、第一分区模式5的分区集合45、第一分区模式6的分区集合46和第一分区模式7的分区集合47。

分区等级为0的第一分区模式0的分区集合40包括具有与编码单元相同的尺寸的分区0。

分区等级为0的第一分区模式1的分区集合41可包括编码单元被水平地两等分的矩形分区0和1。分区等级为0的第一分区模式2的分区集合42可包括编码单元被垂直地两等分的矩形分区0和1。

分区等级为0的第一分区模式3的分区集合43可包括编码单元被水平和垂直地两等分的(即，被四等分)的矩形分区0、1、2和3。

分区等级为0的第一分区模式4的分区集合44可包括矩形分区0，以及与编码单元的其余部分相应的非矩形分区1，其中，所述矩形分区0位于编码单元的左上端并通过将编码单元的左边和上边两等分而被获得。

分区等级为0的第一分区模式5的分区集合45可包括矩形分区1以及与编码单元的其余部分相应的非矩形分区0，其中，所述矩形分区1位于编码单元的右上端并通过将编码单元的右边和上边两等分而被获得。

分区等级为0的第一分区模式6的分区集合46可包括矩形分区0以及与编码单元的其余部分相应的非矩形分区1，其中，所述矩形分区0位于编码单元的左下端并通过将编码单元的左边和下边两等分而被获得。

分区等级为0的第一分区模式7的分区集合47可包括矩形分区1以及与编码单元的其余部分相应的非矩形分区0，其中，所述矩形分区1位于编码单元的右下端并通过将编码单元的右边和下边两等分而被获得。

第一分区模式1和2可定义这样的分区，其中，所述分区在编码单元的上下区域或左右区域发生不同运动时允许准确的预测编码被执行。第一分区模式3可定义这样的分区，其中，所述分区在编码单元之内存在多个对象或多个区域并且编码单元具有复杂运动时允许精细的预测编码被执行。

第一分区模式4、5、6和7可定义这样的分区，其中，所述分区在编码单元之内存在对角边时允许针对由编码单元的对角边定义的区域执行准确的预测编码。然而，当第一分区模式3、4、5、6和7被使用时，可以进行准确的运动预测但开销会增加。因此，需要考虑编码效率和开销之间的权衡来使用第一分区模式3、4、5、6和7。

由于分区等级表示编码单元被划分为多个分区以实现详细的运动预测的程度，因此分区的最小高度和最小宽度可随着分区等级的增加而减少。

在分区的树形结构50中，通过将编码单元的宽度(高度)除以2的幂数来获得分区的最小宽度(最小高度)，并且2的幂数随着分区等级的增加而增加。

如上所述，当分区等级为0时，编码单元的高度(宽度)不被划分或两等分。当分区等级增加到1时，分区的最小高度(最小宽度)可以是编码单元的高度(宽度)的四分之一。当分区等级增加到2时，分区的最小高度(最小宽度)可以是编码单元的高度(宽度)的八分之一。

无论多个分区的树形结构50中的分区等级的值如何，编码单元的尺寸都不改变。分区等级为1的分区组59具有的精度为分区等级为0的精度的两倍。根据实施例，分区等级为0的第一分区模式1定义编码单元的高度以1/2的精度被划分的多个分区，分区等级为1的第一分区模式1定义编码单元的高度以1/4的精度被划分的多个分区。分区等级为2的第一分区模式1定义编码单元的高度以1/8的精度被划分的多个分区。

在单个第一分区模式下，可在多个分区等级之间重复相同形状的多个分区。例如，在第一分区模式3、4、5、6和7下，分区等级为0的分区集合43、44、45、46和47分别具有与分区等级为1的分区集合53e、54e、55e、56e和57e相同的形状。在第一分区模式1和2下，分区等级为1的分区集合51a和51b分别具有与分区等级为2的分区集合61b和61e相同的形状，分区等级为1的分区集合52a和52b分别具有与分区等级为2的分区集合62b和62e相同的形状。

当基于相同的第一分区模式和不同的分区等级确定的多个分区具有相同的形状时，在预测编码期间可仅使用确定的多个分区中的更低分区等级的分区。例如，在第一分区模式3下，由于分区等级为1的分区集合53e具有与分区等级为0的分区集合43相同的形状，因此在实际预测编码期间可仅使用分区等级为0(低于分区等级1)的第一分区模式3的分区集合43，并且可仅对表示分区集合43的分区信息进行编码。在这种情况下，不定义用于表示分区集合53e的分区信息。

分区等级为1的第一分区模式1的分区集合51a和51b可包括编码单元分别以1:3和3:1水平地被划分的矩形分区0和1。分区等级为1的第一分区模式2的分区集合52a和52b可包括编码单元分别以1:3和3:1被垂直地划分的矩形分区0和1。

分区等级为1的第一分区模式3的分区集合53a、53b、53c、53d、53e、53f、53g、53h、53i中的每个可包括编码单元被水平和垂直地划分的4个矩形分区0、1、2、3，从而水平划分和垂直划分中的至少一个以1:3、2:2或3:1被执行。然而，在第一分区模式3下，分区等级为1的分区集合53e与分区等级为0的分区集合43重复，因此在预测编码期间可不被使用。可不定义表示分区等级为1的第一分区模式3的分区集合53e的分区信息。

分区等级为1的第一分区模式4的分区集合54a、54b、54c、54d、54e、54f、54g、54h、54i中的每个可包括矩形分区0以及编码单元的其余部分的非矩形分区1，其中，所述矩形分区0位于编码单元的左上端并通过以1:3、2:2或3:1对编码单元的左边和上边中的至少一个进行划分而被获得。然而，在第一分区模式4下，分区等级为1的分区集合54e与分区等级为0的分区集合44重复，因此在预测编码期间可不被使用。在分区等级1中，可不定义表示第一分区模式4的分区集合54e的分区信息。

分区等级为1的第一分区模式5的分区集合55a、55b、55c、55d、55e、55f、55g、55h、55i中的每个可包括矩形分区1以及编码单元的其余部分的非矩形分区0，其中，所述矩形分区1位于编码单元的右上端并通过以1:3、2:2或3:1对编码单元的右边和上边中的至少一个进行划分而被获得。然而，在第一分区模式5下，分区等级为1的分区集合55e与分区等级为0的分区集合45重复，因此在预测编码期间可不被使用。在分区等级1中，可不定义表示第一分区模式5的分区集合55e的分区信息。

分区等级为1的第一分区模式6的分区集合56a、56b、56c、56d、56e、56f、56g、56h、56i中的每个可包括矩形分区0以及编码单元的其余部分的非矩形分区1，其中，所述矩形分区0位于编码单元的左下端并通过以1:3、2:2或3:1对编码单元的左边和下边中的至少一个进行划分而被获得。然而，在第一分区模式6下，分区等级为1的分区集合56e与分区等级为0的分区集合46重复，因此在预测编码期间可不被使用。在分区等级1中，可不定义表示第一分区模式6的分区集合56e的分区信息。

分区等级为1的第一分区模式7的分区集合57a、57b、57c、57d、57e、57f、57g、57h、57i中的每个可包括矩形分区1以及编码单元的其余部分的非矩形分区0，其中，所述矩形分区1位于编码单元的右下端并通过以1:3、2:2或3:1对编码单元的右边和下边中的至少一个进行划分而被获得。然而，在第一分区模式7下，分区等级为1的分区集合57e与分区等级为0的分区集合47重复，因此在预测编码期间可不被使用。在分区等级1中，可不定义表示第一分区模式7的分区集合57e的分区信息。

类似地，分区等级为2的第一分区模式1的分区集合61a、61b、61c、61d、61e、61f可包括编码单元分别以1:7、2:6、3:5、5:3、6:2和7:1被水平地划分的矩形分区0和1。然而，在第一分区模式1下，由于分区等级为2的分区集合61b和61e分别与分区等级为1的分区集合51a和51b重复，因此可不定义表示分区等级为2的第一分区模式1的分区集合61b和61e的信息。分区等级为2的第一分区模式2的分区集合62a、62b、62c、62d、62e、62f可包括编码单元分别以1:7、2:6、3:5、5:3、6:2和7:1被垂直地划分的矩形分区0和1。然而，在第一分区模式1下，由于分区等级为2的分区集合62b和62e分别与分区等级为1的分区集合52a和52b重复，因此可不定义表示分区等级为2的第一分区模式2的分区集合62b和62e的信息。

虽然考虑到空间问题在图4中未示出分区等级为2的第一分区模式3、4、5、6和7的多个分区，但可在分区等级为2的第一分区模式3下定义4个矩形分区，其中，编码单元被水平和垂直地划分为所述4个分区，从而以1:7、2:6、3:5、4:4、5:3、6:2和7:1执行水平划分和垂直划分中的至少一个。

在分区等级为2的第一分区模式4下，可定义矩形分区和与编码单元的其它部分相应的非矩形分区，其中，所述矩形分区位于编码单元的左上端并通过以1:7、2:6、3:5、5:3、6:2和7:1对编码单元的左边和上边中的至少一个进行划分而被获得。

在分区等级为2的第一分区模式5下，可定义矩形分区和与编码单元的其它部分相应的非矩形分区，其中，所述矩形分区位于编码单元的右上端并通过以1:7、2:6、3:5、4:4、5:3、6:2和7:1对编码单元的右边和上边中的至少一个进行划分而被获得。

在分区等级为2的第一分区模式6下，可定义矩形分区和与编码单元的其它部分相应的非矩形分区，其中，所述矩形分区位于编码单元的左下端并通过以1:7、2:6、3:5、4:4、5:3、6:2和7:1对编码单元的左边和下边中的至少一个进行划分而被获得。

在分区等级为2的第一分区模式7下，可定义矩形分区和与编码单元的其它部分相应的非矩形分区，其中，所述矩形分区位于编码单元的右下端并通过以1:7、2:6、3:5、4:4、5:3、6:2和7:1对编码单元的右边和下边中的至少一个进行划分而被获得。

当将被编码的编码单元的尺寸足够大时，分区集合可被扩大到分区等级3和4。

因此，在分区的树形结构50中，可基于第一分区模式确定分区的形状和方向性，可基于分区等级确定最小宽度和最小高度。基于第一分区模式和分区等级确定的矩形分区可包括均具有两倍于最小宽度的分区宽度以及两倍于最小高度的分区高度的多个分区。在这种情况下，第二分区模式可指示基于第一分区模式和分区等级确定的多个分区中具有预定的宽度或预定的高度的分区。

当单个编码单元包括两个或更多分区并且分区0的宽度或高度被确定时，其余分区的宽度或高度基于分区0的宽度或高度被确定。因此，为便于解释，现将仅讨论分区0的宽度或高度。

例如，分区的树形结构50，分区等级为1的第一分区模式1的分区51a和51b均被确定为具有编码单元的高度的四分之一的最小高度。分区等级为1的第一分区模式1的分区51a和51b的高度分别是分区51a和51b中的每个的最小高度的三倍。在这种情况下，第二分区模式可被定义，以便指示分区等级为1的第一分区模式1的分区51a和51b中的每个。

类似地，在分区等级为1的第一分区模式4下，矩形分区的最小宽度和最小高度可被确定为编码单元的宽度和高度的1/4，并且可形成位于编码单元的左上端的矩形分区0以及与编码单元的其余部分相应的非矩形分区1两者。可定义分区等级为1的第一分区模式4的第二分区模式以指示分区54a、54b、54c、54d、54f、54g、54h和54i中的每个分区，其中，所述分区54a、54b、54c、54d、54f、54g、54h和54i被确定具有一倍、两倍或三倍于分区的最小值的分区的宽度和高度中的至少一个的变化。如上所述，在第一分区模式4下，分区等级为1的分区54e可不被使用。

然而，在分区等级0处第二分区模式不需被单独地定义。随着根据第一分区模式或分区等级可能存在的分区类型改变，第二分区模式的数量及其范围等可能变化。

视频编码设备10可通过确定构成树形结构50的多个分区中的一个分区来基于多个分区的多种形状、方向和尺寸执行预测编码。在视频编码设备10中预测编码的准确度和计算速度之间的权衡中，当计算速度比准确度更重要时，视频编码设备10可限制包括在树形结构50中的多个分区的第一分区模式、分区等级或第二分区模式的选择范围。

视频编码设备10可在对每个分区的预测模式信息、运动矢量和残差信息进行编码的同时对分区信息(诸如，每个分区的第一分区模式、分区等级和第二分区模式)进行编码。因此，视频解码设备20可根据提取的分区信息确定分区，并通过使用确定的分区执行预测解码。

根据本发明的实施例的分区的最小尺寸可以是最小编码单元被四等分的分区。虽然根据本发明的实施例的分区的尺寸可基于分区等级被确定，但所述尺寸需要等于或大于分区的最小尺寸并小于或等于编码单元。因此，分区的尺寸取决于编码单元的尺寸。因此，分区等级还可取决于编码单元的尺寸。

尺寸较小的编码单元的区域需要用于预测编码单元的小区域的运动的分区。然而，随着编码单元变大，编码单元的大区域的运动还有其小区域的运动可发生在编码单元的区域之内。因此尺寸较大的编码单元需要经过的预测编码不仅使用大分区，还使用小分区。因此，分区等级还可基于编码单元的尺寸被确定。

因此，根据实施例的编码单元的尺寸和可定义的分区等级之间的关系被表达在下面的表1中。

【表1】

因此，只有具有作为最低等级的0的分区等级的分区可被确定用于8×8编码单元。具有0和1的分区等级的分区可被确定用于16×16编码单元。具有分区等级0到2的分区、具有分区等级0到3的分区和具有分区等级0到4的分区可被分别确定用于32×32、64×64、128×128编码单元。因此，可基于编码单元的尺寸可变地允许分区等级。

图5示出根据本发明的实施例的第一分区模式、分区等级和第二分区模式之间的关系。换句话说，可使用在图5中示出的编码单元71、72和73之内存在的多个点来确定根据分区等级可定义的第一分区模式和第二分区模式的形状。

图5中，在编码单元71、72和73之内的多条线可用作包括在编码单元71、72和73中多个分区的高度边和宽度边，在编码单元71、72和73之内的多个点可表示分区的宽度边和高度边相交的交点。例如，当沿着编码单元71、72和73之内的多条线从编码单元71、72和73之内的预定的交点向编码单元71、72和73的宽度边和高度边画出多条直线时，可形成编码单元71、72和73被划分的多个分区。

例如，在分区等级0，编码单元71之内的多条线是将编码单元71的宽度边或高度边两等分的多条线。可通过在编码单元71之内的多条线相互交叉而形成单个交点，可确定由从所述交点延长到编码单元71的左边、右边、上边和下边中两边的直线所围绕的多个分区。换句话说，编码单元71之内的多条线的交点可以是确定的分区中的每个的顶点。因此，分区等级为0的每个第一分区模式下，编码单元71之内可仅定义多个分区的一个集合。由于针对每个第一分区模式仅定义多个分区的一个集合，因此可不设置第二分区模式。

在分区等级为1的情况下，编码单元72之内的多条线是将编码单元72的宽度边或高度边四等分的多条线。虽然可通过编码单元72之内的多条线相互交叉产生9个分区顶点，但可基于8个顶点产生多个分区，其中，所述8个顶点是除与分区等级为0的交点重叠的中心交点(白色交点)以外的8个顶点。因此，在分区等级为1的每个第一分区模式下，在编码单元72之内可定义8个分区集合。

类似地，在分区等级为2的情况下，编码单元73之内的多条线是将编码单元73的宽度边或高度边划分为8个部分的多条线。虽然可通过编码单元73之内的多条线相互交叉产生49个分区顶点，但可基于40个顶点产生多个分区，其中，所述40个顶点是除与分区等级为0和1的交点重叠的9个交点(白色交点)以外的40个顶点。因此，在分区等级为2的每个第一分区模式下，在编码单元72中可定义40个分区集合。

因此，根据分区等级的值，包括在单个第一分区模式中的第二分区模式的数量可相应于顶点的数量。

图6是根据本发明的实施例的使用用于预测编码的可变分区的视频编码方法的流程图。

在操作81，通过使用基于第一分区模式和分区等级定义的多个分区来对每个编码单元执行预测编码，从而确定编码结果被输出的分区，其中，所述编码单元是用于对画面进行编码的数据单元。

可基于第一分区模式确定分区的形状和划分方向性，可基于分区等级确定分区的最小宽度或最小高度。通过对针对定义的分区进行预测编码的编码结果进行相互比较，可从定义的多个分区确定具有最高编码效率的分区，并且可对确定的分区的残差数据进行编码。

可基于编码单元的尺寸确定分区等级的允许的范围。还可根据第一分区模式确定用于指示具有预定宽度和预定高度的分区的第二分区模式。可基于第一分区模式和分区等级确定第二分区模式的数量的允许的范围。

在操作82，表示在操作81确定的分区的第一分区模式和分区等级的分区信息被编码和输出。根据第一分区模式，分区信息还可包括第二分区模式。每个分区的运动矢量和残差数据可被编码和输出。包括分区信息以及关于预测模式和编码模式的信息的编码信息可被编码和输出。

图7是根据本发明的实施例的使用用于预测编码的可变分区的视频解码方法的流程图

在操作91，从接收到的比特流提取表示每个编码单元的分区的第一分区模式和分区等级的分区信息。可通过对接收到的比特流进行解析来提取每个分区的运动矢量和残差数据。可通过对接收到的比特流进行解析来提取包括分区信息以及关于预测模式和编码模式的信息的编码信息。

在操作92，使用基于在操作91提取的分区信息的第一分区模式和分区等级确定的分区执行预测解码，从而恢复画面。可从分区信息读取第一分区模式和分区等级，并可根据第一分区模式读取第二分区模式。可基于第一分区模式确定分区的形状和划分方向性，并可基于分区等级确定与编码单元的宽度或高度相关的分区的宽度或高度。可对每个分区的残差数据进行解码以恢复画面。

稍后将参照图8到图22，描述根据本发明的实施例的使用用于基于具有树形结构的编码单元进行预测编码的可变分区的视频的编码和解码。

图8是根据本发明的实施例的使用用于基于具有树形结构的编码单元进行预测编码的视频编码设备的框图。

根据本发明的实施例的使用基于具有树形结构的编码单元的数据单元的组合的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。为便于解释，使用基于具有树形结构的编码单元的数据单元的组合的视频编码设备100以下将简称为视频编码设备100。

最大编码单元划分器110可基于图像的当前画面的最大编码单元来划分所述当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是具有尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。

根据本发明的实施例的编码单元可由最大尺寸和深度来表征。深度表示从最大编码单元空间划分编码单元的次数，并且随着深度的加深，可将根据深度的较深层编码单元从最大编码单元划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此，与更高的深度相应的编码单元可包括多个与更低的深度相应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且最大编码单元中的每个可包括根据深度被划分的较深层编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大尺寸，其中，编码单元的最大深度和最大尺寸限制最大编码单元的高度和宽度可被分层地划分的总次数。

编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出编码图像数据的深度。换句话说，编码单元确定器120通过基于当前画面的最大编码单元对根据深度的较深层编码单元中的图像数据进行编码并选择具有最小编码误差的深度来确定编码深度。因此，与确定的编码深度相应的编码单元的已编码的图像数据被最终输出。另外，与编码深度相应的编码单元可被看作已编码的编码单元。

确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并且基于较深层编码单元中的每个对针对图像数据进行编码的结果进行比较。在将较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度被分层地划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每一个划分至更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也根据多个深度被划分为多个区域，在一个最大编码单元中编码误差可根据区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。

因此，编码单元确定器120可确定包括在最大编码单元中的具有树形结构的编码单元。根据本发明的实施例的“具有树形结构的编码单元”包括最大编码单元中所包括的所有较深层编码单元中与确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，一编码深度的编码单元可根据深度被分层地确定，在不同的区域中，该编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。

根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元被划分的次数相关的索引。根据本发明的实施例的第一最大深度可表示图像数据从最大编码单元到最小编码单元的被划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的多个深度的较深层编码单元来执行预测编码和变换。针对根据实施例的视频编码执行的变换的示例可包括频率变换、正交变换或整数变换等。

由于每当最大编码单元根据深度被划分时，较深层编码单元的数量增加，因此对由于深度的加深而产生的所有的较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现将在最大编码单元中基于当前深度的编码单元来描述预测编码和变换。

视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行多个操作(诸如，预测编码、变换和熵编码)，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的多个编码单元的编码单元)执行预测编码。以下，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括：通过划分预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并且变为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行不对称划分(诸如，1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区以及具有任意形状的分区。

根据实施例的预测单元可包括以上参照图1至图7描述的分区。换句话说，可基于实施例的第一分区模式确定预测单元的形状和划分方向性，可基于分区等级的值确定预测单元的尺寸相对于编码单元的尺寸的比率。可根据编码单元的尺寸确定分区等级的允许的范围(即，分区等级的上限或下限)。

可根据第一分区模式确定用于表示详细分区的类型的第二分区模式。

视频编码设备100可通过使用具有树形结构的预测单元基于第一分区模式之间和分区等级之间的分层关系执行预测编码，并对预测编码的结果进行相互比较，从而确定具有最高编码效率的的分区。视频编码设备100可针对每个编码单元确定提供最高编码效率的第一分区模式和分区等级的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100还可基于用于对图像数据进行编码的编码单元以及基于与该编码单元不同的数据单元，对编码单元中的图像数据执行变换。

为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例如，所述变换单元可包括用于帧内模式的变换单元以及用于帧间模式的变换单元。

与基于根据实施例的树形结构编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域，因此编码单元中的残差数据可根据具有根据变换深度的树形结构的变换被划分。

还可在变换单元中设置指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸也是2N×2N时，变换深度可以是0，在当前编码单元的高度和深度中的每一个被划分为两等份(总共被划分为4¹个变换单元)时，变换深度可以是1，并且变换单元的尺寸因此是N×N，在当前编码单元的高度和深度中的每一个被划分为四等份(总共被划分为4²个变换单元)时，变换深度可以是2，并且变换单元的尺寸因此是N/2×N/2。例如，可根据分层树形结构来设置变换单元，在分层树形结构中，更高变换深度的变换单元根据变换深度的分层特性被划分为更低变换深度的四个变换单元。

与编码单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的区域，从而可以以区域为单位独立地确定变换单元。因此，可根据具有根据变换深度的树形结构的变换，来划分编码单元中的残差数据。

根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参照图11至图12来详细地描述根据本发明的实施例的最大编码单元中的根据树形结构的编码单元以及确定分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真优化来测量根据深度的更深的编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。

可通过对图像的残差数据进行编码来获得编码图像数据。

关于根据编码深度的编码模式的信息可包括关于以下内容的信息：编码深度、预测单元中的分区类型、预测模式以及变换单元的尺寸。

可通过使用根据深度的划分信息来定义关于编码深度的信息，划分信息指示是否针对更低深度而非当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此划分信息可被定义为不将当前编码单元划分为更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。

如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，对更低深度的每个编码单元重复地执行编码，因此可对具有相同深度的编码单元递归地执行编码。

由于对一个最大编码单元确定具有树形结构的编码单元，并且对编码深度的编码单元确定关于至少一个编码模式的信息，因此可对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度被分层地划分，最大编码单元的图像数据的编码深度可根据位置而不同，因此可对图像数据设置关于编码深度以及编码模式的信息。

因此，输出单元130可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据本发明的实施例的最小单元是对组成最低深度的最小编码单元进行划分4次而获得的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，最大矩形数据单元可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中。

例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于以下内容的信息：帧间模式的估计方向、帧间模式的参考图像索引、运动矢量、帧内模式的色度分量以及帧内模式的插值方法。另外，关于根据画面、像条或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头。

当基于以上参照图1至图7描述的第一分区模式、分区等级等确定预测单元时，输出单元130可对包括分区的第一分区模式和分区等级的分区信息进行编码和输出以用作编码信息。输出单元130还可以以预测单元为单位对运动矢量和残差数据进行编码，并输出编码的结果。

在视频编码设备100中，较深层编码单元可以是通过将作为上一层的更高深度的编码单元的高度或宽度划分两个而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可包括最多4个更低深度的编码单元。

因此，视频编码设备100可通过基于考虑当前画面的特性所确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树形结构的编码单元。另外，由于通过使用各种预测模式和变换中的任何一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

另外，由于编码单元被划分的预测单元和分区的类型可基于编码单元的多种尺寸而变化，还可基于第一分区模式、分区等级、第二分区模式等而变化，因此可执行基于包括在编码单元中的图像特性的预测编码。

图9是根据本发明的实施例的使用用于基于具有树形结构的编码单元进行视频编码的可变分区的视频解码设备200的框图。

根据本发明的实施例的使用基于具有树形结构的编码单元的数据单元的组合的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。为便于解释，使用基于具有树形结构的编码单元的数据单元的组合的视频解码设备200以下将被简称为视频解码设备200。

用于视频解码设备200的各种操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与以上参照图8和视频编码设备100描述的那些定义和信息类似。

接收器210接收编码视频的比特流并对该比特流进行解析。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码图像数据，其中，编码单元具有根据每个最大编码单元的树形结构，并且将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面的头或者SPS提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从解析的比特流提取关于根据每个最大编码单元的用于具有树形结构的编码单元的编码深度以及编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。

可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于以下内容中的信息：与编码深度相应的相应编码单元的分区类型、预测模式以及变换单元的尺寸。另外，根据实施例的关于编码深度和编码模式的编码信息还可包括关于当前预测单元或当前分区的与组合相关的信息。

由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息：所述编码深度和编码模式被确定用于当编码器(诸如，视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。

由于关于编码深度和编码模式的编码信息可被分配给来自相应编码单元、预测单元以及最小单元中的预定数据单元，因此，图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。被分配有相同的关于编码深度和编码模式的信息的预定数据单元可指的是包括在相同的最大编码单元中的数据单元。

根据实施例的关于编码模式的信息可包括分区信息，所述分区信息包括第一分区模式和分区等级。

图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换句话说，图像数据解码器230可基于提取的关于来自包括在每个最大编码单元中的具有树形结构的编码单元的每个编码单元的分区类型、预测模式和变换单元的信息来对编码图像数据进行解码。解码处理可包括预测(所述预测包括帧内预测和运动补偿)和反变换。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型以及预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。

图像数据解码器230可从关于编码模式的信息中读取分区信息，并从分区信息中确定基于第一分区模式和分区等级定义的分区。图像数据解码器230可基于根据实施例的第一分区模式确定预测单元的形状和划分方向性，并基于分区等级的值确定预测单元的尺寸相对于编码单元的尺寸的比率。根据第一分区模式，图像数据解码器230可考虑用于表示详细的分区的类型的第二分区模式来确定分区。

根据实施例的第一分区模式、分区等级和第二分区模式可定义这样的分区，其中，通过在编码处理期间使用具有基于第一分区模式之间和分区等级之间的分层关系的树形结构的预测单元，执行预测编码来确定具有最高编码效率的分区。图像数据解码器230可通过使用提供最高编码效率的第一分区模式和分区等级的分区来针对每个编码单元执行预测解码。

另外，图像数据解码器230可读取关于基于树形结构的变换单元的信息，其中，所述信息包括关于根据编码深度的编码单元的变换单元的尺寸的信息，图像数据解码器230根据编码单元为单位执行基于变换单元的反变换，从而根据最大编码单元执行反变换。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的关于预测单元的分区类型、预测模式以及变换单元的尺寸的信息，来对当前最大编码单元中与每个编码深度相应的至少一个编码单元的编码数据进行解码，并且输出当前最大编码单元的图像数据。

换句话说，可通过观察为来自编码单元、预测单元和最小单元的针对预定数据单元分配的编码信息集，来收集包括包含相同划分信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器以相同的编码模式进行解码的一个数据单元。

视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。换句话说，可对每个最大编码单元中被确定为最佳编码单元的具有树形结构的编码单元进行解码。

视频解码设备200提取并读取关于确定分区的方法的分区信息，其中，所述方法通过针对具有树形结构的多个预测单元的预测编码的结果之间的比较来确定分区，视频解码设备200通过使用所述分区信息执行预测解码，从而能够进行准确的解码。

现在将参照图10至图20对根据本发明的实施例的确定具有树形结构的编码单元、预测单元和变换单元的方法进行描述。

图10是用于描述根据本发明的实施例的编码单元的概念的示图。

编码单元的尺寸可按照宽度×高度来表达，并可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图3中示出的最大深度表示从最大编码单元到最小编码单元的划分总数。

如果分辨率高或者数据量大，则编码单元的最大尺寸可以很大以便增加编码效率并且准确地反映图像的特性。因此，视频数据310和视频数据320的编码单元的最大尺寸可以是64，其中，视频数据310和视频数据320具有的分辨率高于视频数据330的分辨率。

因为由于视频数据310的最大深度是2而通过划分最大编码单元两次深度被加深到两层，所以视频数据310的编码单元315可包括具有长轴尺寸64的最大编码单元以及具有长轴尺寸32和16的编码单元。同时，因为由于视频数据330的最大深度是1而通过划分最大编码单元一次深度被加深到一层，因此视频数据330的编码单元335可包括具有长轴尺寸16的最大编码单元以及具有长轴尺寸8的编码单元。

因为由于视频数据320的最大深度是3而通过划分最大编码单元三次深度被加深到3层，因此视频数据320的编码单元325可包括具有长轴尺寸64的最大编码单元以及具有长轴尺寸32、16和8的编码单元。随着深度的加深，可精确地表达详细的信息。

图11是根据本发明的实施例的基于编码单元的图像编码器400的框图。

图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。换句话说，帧内预测器410在帧内模式下对当前帧405中的编码单元执行帧内预测，运动估计器420和运动补偿器425在帧间模式下通过使用当前帧405和参考帧495对当前帧405中的编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单元490被后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了使得图像编码器400被应用到视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树形结构的多个编码单元中的每个编码单元执行操作。

具体地讲，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树形结构的多个编码单元中的每个编码单元的分区和预测模式，并且变换器430确定具有树形结构的多个编码单元的每个编码单元中的变换单元的尺寸。

图12是根据本发明的实施例的基于编码单元的图像解码器500的框图。

解析器510对来自比特流505的将被解码的编码的图像数据以及解码所需的关于编码的信息进行解析。编码的图像数据通过熵解码器520和反量化器530作为反量化的数据被输出，并且反量化的数据通过反变换器540被恢复为空间域中的图像数据。

帧内预测器550对于空间域中的图像数据在帧内模式下对多个编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对多个编码单元执行运动补偿。

经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580被后处理之后被输出为恢复的帧595。另外，经过去块单元570和环路滤波单元580被后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了使得图像解码器500被应用到视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)对于每个最大编码单元基于具有树形结构的多个编码单元执行操作。

具体地讲，帧内预测器550和运动补偿器560基于针对具有树形结构的多个编码单元中的每个编码单元的分区和预测模式来执行操作，并且反变换器540基于针对每个编码单元的变换单元的尺寸来执行操作。

图13是示出根据本发明的实施例的根据多个深度的多个较深层编码单元和多个分区的示图。

视频编码设备100和视频解码设备200使用多个分层的编码单元以考虑图像的特性。多个编码单元的最大高度、最大宽度和最大深度可根据图像的特性被自适应地确定，或者可由用户不同地设置。根据多个深度的多个较深层编码单元的尺寸可根据编码单元的预定最大尺寸被确定。

在根据本发明的实施例的多个编码单元的分层结构600中，多个编码单元的最大高度和最大宽度都是64，并且最大深度是4。最大深度表示从最大编码单元到最小编码单元的划分总数。由于深度沿着分层结构600的纵轴加深，因此较深层编码单元的高度和宽度都被划分。另外，作为用于每个较深层编码单元的预测编码的基础的预测单元和多个分区沿分层结构600的横轴被显示。

换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸(即，高度乘宽度)是64×64。深度沿纵轴加深，并且存在具有尺寸32×32和深度1的编码单元620、具有尺寸16×16和深度2的编码单元630、具有尺寸8×8和深度3的编码单元640以及具有尺寸4×4和深度4的编码单元650。具有尺寸4×4和深度4的编码单元650是最小编码单元。

编码单元的预测单元和多个分区根据每个深度沿横轴排列。换句话说，如果具有尺寸64×64和深度0的编码单元610是预测单元，则该预测单元可被划分为包括在编码单元610中的多个分区(即，具有尺寸64×64的分区610、具有尺寸64×32的多个分区612、具有尺寸32×64的多个分区614、或者具有尺寸32×32的多个分区616)。

类似地，具有尺寸32×32和深度1的编码单元620的预测单元可被划分为包括在编码单元620中的多个分区(即，具有尺寸32×32的分区620、具有尺寸32×16的多个分区622、具有尺寸16×32的多个分区624以及具有尺寸16×16的多个分区626)。

类似地，具有尺寸16×16和深度2的编码单元630的预测单元可被划分为包括在编码单元630中的多个分区(即，包括在编码单元630中的具有尺寸16×16的分区、具有尺寸16×8的多个分区632、具有尺寸8×16的多个分区634以及具有尺寸8×8的多个分区636)。

类似地，具有尺寸8×8和深度3的编码单元640的预测单元可被划分为包括在编码单元640中的多个分区(即，包括在编码单元640中的具有尺寸8×8的分区、具有尺寸8×4的多个分区642、具有尺寸4×8的多个分区644以及具有尺寸4×4的多个分区646)。

具有尺寸4×4和深度4的编码单元650是最小编码单元以及最低深度的编码单元。编码单元650的预测单元仅被分配给具有尺寸4×4的分区。还可使用具有尺寸4×2的多个分区652、具有尺寸2×4的多个分区654以及具有尺寸2×2的多个分区656。

由于在图13中示出的多个分区具有通过将与所述多个分区相应的编码单元的高度和宽度中的至少一个两等分而获得的形状，因此图13的多个分区可相应于以上参照图1至图7描述的分区等级为0的第一编码模式0、1、2和3的分区集合40、41、42和43。例如，分区610、620、630、640和650可相应于分区等级为0的第一分区模式0的分区集合40，并且分区612、622、632、642和652可相应于分区等级为0的第一分区模式1的分区集合41。分区614、624、634、644和654可相应于分区等级为0的第一分区模式2的分区集合42，并且分区616、626、636、646和656可相应于分区等级为0的第一分区模式3的分区集合43。

为了确定构成最大编码单元610的多个编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

随着深度的加深，包括相同范围中并且相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元以覆盖包括在一个与深度1相应的编码单元中的数据。因此，为了根据深度对相同数据的多个编码结果进行比较，与深度1相应的编码单元以及与深度2相应的四个编码单元都被编码。

为了对多个深度中的当前深度执行编码，沿分层结构600的横轴，通过对与当前深度相应的多个编码单元中的每个预测单元执行编码来对当前深度选择最小编码误差。可选择地，可通过随着深度沿分层结构600的纵轴加深，对每个深度执行编码，根据深度比较最小编码误差，来搜索最小编码误差。在编码单元610中的具有最小编码误差的深度和分区可被选作为编码单元610的编码深度和分区类型。

图14是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。

视频编码设备100或视频解码设备200针对每个最大编码单元根据具有尺寸小于或等于最大编码单元的多个编码单元来对图像进行编码或解码。可基于不大于相应编码单元的多个数据单元来选择在编码期间用于变换的多个变换单元的多个尺寸。

例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用具有尺寸32×32的多个变换单元720来执行变换。

另外，可通过对具有尺寸小于64×64的尺寸32×32、16×16、8×8和4×4的每个变换单元执行变换，来对具有尺寸64×64的编码单元710的数据进行编码，并且随后具有最小编码误差的变换单元可被选择。

图15是用于描述根据本发明的实施例的与编码深度相应的多个编码单元的编码信息的示图。

视频编码设备100的输出单元130可将如下信息作为关于编码模式的信息进行编码和发送：关于分区类型的信息800、关于预测模式的信息810以及关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820。

信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，具有尺寸2N×2N的当前编码单元CU_0可被划分为如下分区中的任何一个：具有尺寸2N×2N的分区802、具有尺寸2N×N的分区804、具有尺寸N×2N的分区806以及具有尺寸N×N的分区808。

信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式(即，帧内模式812、帧间模式814或跳过模式816)。

信息820指示当对当前编码单元执行变换时将被基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元来提取并使用用于解码的信息800、810和820。

信息800可包括如关于根据实施例的编码模式的信息的分区信息。例如，信息800可包括基于第一分区模式信息、分区等级和第二分区模式信息确定的分区类型。

图16是根据本发明的实施例的根据深度的较深层编码单元的示图。

划分信息可用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的多个编码单元。

用于对深度0和尺寸2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的多个分区：具有尺寸2N_0×2N_0的分区类型912、具有尺寸2N_0×N_0的分区类型914、具有尺寸N_0×2N_0的分区类型916以及具有尺寸N_0×N_0的分区类型918。尽管图16仅示出通过对预测单元910对称划分而获得的分区类型912至918，但是应该理解分区类型不限于此，并且预测单元910的多个分区可包括多个不对称分区、具有预定形状的多个分区以及具有几何形状的多个分区。

根据每个分区类型对如下分区重复地执行预测编码：具有尺寸2N_0×2N_0的一个分区、具有尺寸2N_0×N_0的两个分区、具有尺寸N_0×2N_0的两个分区以及具有尺寸N_0×N_0的四个分区。可对具有尺寸2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的多个分区执行帧内模式和帧间模式的预测编码。仅对具有尺寸2N_0×2N_0的分区执行跳过模式的预测编码。

包括以分区类型912至918的预测编码的编码误差被比较，并且在多个分区类型中确定最小编码误差。如果一编码误差在分区类型912至916之一中最小，则预测单元910可不被划分为更低深度。

如果该编码误差在分区类型918中最小，则在操作920，深度从0改变为1以划分分区类型918，并且对具有深度2和尺寸N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。

用于对具有深度1和尺寸2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的多个分区：具有尺寸2N_1×2N_1的分区类型942、具有尺寸2N_1×N_1的分区类型944、具有尺寸N_1×2N_1的分区类型946以及具有尺寸N_1×N_1的分区类型948。

如果编码误差在分区类型948中最小，则在操作950，深度从1改变为2以划分分区类型948，并且对具有深度2和尺寸N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。

当最大深度是d时，可执行根据每个深度的划分操作直到当深度变为d-1，并且划分信息可被编码直到当深度是0至d-2之一。换句话说，当执行编码直到在操作970与深度d-2相应的编码单元被划分之后深度是d-1时，用于对具有深度d-1和尺寸2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的多个分区：具有尺寸2N_(d-1)×2N_(d-1)的分区类型992、具有尺寸2N_(d-1)×N_(d-1)的分区类型994、具有尺寸N_(d-1)×2N_(d-1)的分区类型996以及具有尺寸N_(d-1)×N_(d-1)的分区类型998。

可对如下分区重复地执行预测编码：分区类型992至998中的具有尺寸2N_(d-1)×2N_(d-1)的一个分区、具有尺寸2N_(d-1)×N_(d-1)的两个分区、具有尺寸N_(d-1)×2N_(d-1)的两个分区、具有尺寸N_(d-1)×N_(d-1)的四个分区，以搜索具有最小编码误差的分区类型。

即使在分区类型998具有最小编码误差时，由于最大深度是d，因此具有深度d-1的编码单元CU_(d-1)不再被划分到更低深度，并且构成当前最大编码单元900的多个编码单元的编码深度被确定为d-1并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。另外，由于最大深度是d并且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此最小编码单元980的划分信息不被设置。

数据单元999可以是当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过按照4划分最小编码单元980而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过根据编码单元900的多个深度来比较多个编码误差来选择具有最小编码误差的深度以确定编码深度，并且将相应分区类型以及预测模式设置为编码深度的编码模式。

同样地，根据多个深度的多个最小编码误差在所有的深度1至d中被比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度0到编码深度被划分，因此仅该编码深度的划分信息被设置0，除了编码深度之外的多个深度的划分信息被设置为1。

视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据多个深度的划分信息来将划分信息是0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息用于解码。

图17至图19是用于描述根据本发明的实施例的多个编码单元1010、多个预测单元1060和多个变换单元1070之间的关系的示图。

多个编码单元1010是最大编码单元中的与视频编码设备100确定的多个编码深度相应的具有树形结构的多个编码单元。多个预测单元1060是多个编码单元1010的每个的多个预测单元的多个分区，多个变换单元1070是多个编码单元1010的每个的多个变换单元。

当在多个编码单元1010中最大编码单元的深度是0时，多个编码单元1012和1054的深度是1，多个编码单元1014、1016、1018、1028、1050和1052的深度是2，多个编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，多个编码单元1040、1042、1044和1046的深度是4。

在多个预测单元1060中，一些编码单元1014、1046、1022、1032、1048、1050、1052和1054通过划分多个编码单元1010的编码单元而获得。换句话说，多个编码单元1014、1022、1050和1054中的多个分区类型具有尺寸2N×N，多个编码单元1016、1048和1052中的多个分区类型具有尺寸N×2N，编码单元1032的分区类型具有尺寸N×N。编码单元1010的多个预测单元和多个分区小于或等于每个编码单元。

以小于编码单元1052的数据单元对多个变换单元1070中的编码单元1052的图像数据执行变换或反变换。另外，多个变换单元1070的多个编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状上与多个预测单元1060的多个编码单元1014、1016、1022、1032、1048、1050和1052不同。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和反变换。

因此，对最大编码单元的每个区域中的具有分层结构的多个编码单元中的每个执行递归编码，以确定最佳编码单元，因此可获得具有递归树形结构的多个编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表2显示可由视频编码设备100和视频解码设备200设置的编码信息。

表2

视频编码设备100的输出单元130可输出关于具有树形结构的多个编码单元的编码信息，并且视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树形结构的多个编码单元的编码信息。

划分信息指示当前编码单元是否被划分为更低深度的多个编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分为更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式以及变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型中定义帧内模式和帧间模式，并且可在仅具有尺寸2N×2N的分区类型定义跳过模式。

关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的具有尺寸2N×2N、2N×N、N×2N和N×N的多个对称分区类型、以及通过不对称地划分预测单元的高度或宽度而获得的具有尺寸2N×nU、2N×nD、nL×2N和nR×2N的多个不对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别地获得具有尺寸2N×nU和2N×nD的多个不对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别地获得具有尺寸nL×2N和nR×2N的多个不对称分区类型。

参照图4的具有树形结构的多个分区，具有尺寸2N×nU和2N×nD的不对称分区类型可相应于分区等级为1的第一分区模式1的分区集合51a和51b，并且具有尺寸nL×2N和nR×2N的不对称分区类型可相应于分区等级为1的第一分区模式2的分区集合52a和52b。变换单元的尺寸可被设置为帧内模式中的两种类型以及帧间模式中的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得多个变换单元。另外，如果具有尺寸2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是不对称分区类型，则变换单元的尺寸可以是N/2×N/2。

关于具有树形结构的多个编码单元的编码信息可包括以下与编码深度相应的编码单元、预测单元以及最小单元中的至少一个。与编码深度相应的编码单元可包括：包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过对多个相邻数据单元的编码单元进行比较，来确定多个相邻单元是否被包括在与编码深度相应的相同的编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，因此最大编码单元中的多个编码深度的分布可被确定。

因此，如果基于多个相邻数据单元的编码信息预测当前编码单元，则与当前编码单元相邻的多个较深层编码单元中的多个数据单元的编码信息可被直接参考和使用。

可选择地，如果基于多个相邻数据单元的编码信息来预测当前编码单元，则使用多个数据单元的编码信息来搜索与当前编码单元相邻的多个数据单元，并且搜索到的多个相邻编码单元可被参考以用于预测当前编码单元。

图20是用于描述根据表2的编码模式信息的编码单元、预测单元或分区、和变换单元之间的关系的示图。

最大编码单元1300包括多个编码深度的多个编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于尺寸2N×2N的编码单元1318的分区类型的信息可被设置为以下分区类型之一：具有尺寸2N×2N的分区类型1322、具有尺寸2N×N的分区类型1324、具有尺寸N×2N的分区类型1326、具有尺寸N×N的分区类型1328、具有尺寸2N×nU的分区类型1332、具有尺寸2N×nD的分区类型1334、具有尺寸nL×2N的分区类型1336和具有尺寸nR×2N的分区类型1338。

这样的分区类型可相应于图4中示出的某些分区。例如，尺寸为2N×2N的分区类型1322可相应于分区集合1324(分区等级为0的第一分区模式0)。具有尺寸为2N×N的分区类型1324和具有尺寸N×2N的分区类型1326可分别相应于分区集合41和42(分别为分区等级为0的第一分区模式1和2)。具有尺寸N×N的分区类型1328可相应于分区集合43(分区等级为0的第一分区模式3)。具有尺寸2N×nU的分区类型1332和具有尺寸为2N×nD的分区类型1334可分别相应于分区集合51a和51b(两者为分区等级为1的第一分区模式1)。具有尺寸为nL×2N的分区类型1336和具有尺寸为nR×2N的分区类型1338可分别相应于分区集合52a和52b(两者为分区等级为1的第一分区模式2)。变换单元的划分信息(TU尺寸标志)是变换索引之一，并且与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或编码单元的分区类型变化。

例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的TU尺寸标志为0，则设置具有尺寸2N×2N的变换单元1342，如果TU尺寸标志为1，则设置具有尺寸N×N的变换单元1344。

当分区类型被设置为不对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标志为0，则设置具有尺寸2N×2N的变换单元1352，如果TU尺寸标志为1，则设置具有尺寸N/2×N/2的变换单元1354。

以上参照图18描述的TU尺寸标志是具有值0或1的标志，但TU尺寸标志不限于1比特，并且在TU尺寸标志从0增加的同时，变换单元可被分层划分为具有树形结构。变换单元的尺寸标志可被用为变换索引的实施例。

在这种情况下，根据本发明的实施例，可通过使用变换单元的TU尺寸标志以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。根据本发明的实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码的结果可被插入SPS。根据本发明的实施例，视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志来对视频进行解码。

例如，如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则当TU尺寸标志为0时，变换单元的尺寸可以是32×32，当TU尺寸标志为1时，变换单元的尺寸可以是16×16，当TU尺寸标志为2时，变换单元的尺寸可以是8×8。

作为另一示例，如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则当TU尺寸标志为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标志不能够被设置为除了0以外的值。

作为另一示例，如果当前编码单元的尺寸是64×64并且最大TU尺寸标志为1，则TU尺寸标志可以是0或1。这里，TU尺寸标志不能被设置为除了0或1以外的值。

因此，如果定义在TU尺寸标志为0时最大TU尺寸标志为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，并且变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：

CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2∧MaxTransformSizeIndex))……(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可表示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2∧MaxTransformSizeIndex)”表示当TU尺寸标志为0时，变换单元尺寸“RootTuSize”被划分了与最大TU尺寸标志相应的次数时的变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2∧MaxTransformSizeIndex)”和“MinTransformSize“中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据本发明的实施例，最大变换单元尺寸“RootTuSize”可根据预测模式的类型而改变。

例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize)……(2)

也就是说，如果当前预测模式是帧间模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。

如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)

也就是说，如果当前预测模式是帧内模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸中较小的值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是示例，并且本发明不限于此。

以上参照图10至图20描述的预测单元或分区仅被用作图4的多个分区的树形结构50中的分区等级为0的分区模式0、1、2和3的多个分区和分区等级为1的第一分区模式1和2的多个分区。根据系统环境和设置，分区等级和第一分区模式的上限可被选择性地限制。因为在图10至图20示出的分区等级和第一分区模式仅是一个实施例，所以本发明的构思不限于此。

图21是根据本发明的实施例的使用用于基于具有树形结构的编码单元进行预测编码的可变分区的视频编码方法的流程图。

在操作1210，视频的当前画面可被划分为多个最大编码单元。在操作1220，以较深层编码单元为单位对当前画面的每个最大编码单元的图像数据进行编码。可按照编码单元为单位执行预测编码，因此可确定具有最高预测编码效率的分区或预测单元，其中，所述预测编码使用基于第一分区模式和分区等级的具有树形结构的分区。在包括预测误差的同时具有最高编码效率的深度可被选择为编码深度，具有被确定为编码深度并具有树形结构的编码单元可被确定。

在操作1230，每个最大编码单元的残差数据和运动矢量可基于具有树形结构、预测单元或分区的编码单元被编码。用于确定预测单元的包括第一分区模式、分区等级等的分区信息可与关于编码深度、预测模式和编码模式一起被编码，并可被输出为编码信息。

图22是根据本发明的实施例的使用用于基于具有树形结构的编码单元进行预测编码的可变分区的视频解码方法的流程图。

在操作1310，编码的视频的比特流被接收和解析。在操作1320，根据具有树形结构的编码单元从解析的比特流提取关于每个最大编码单元的编码深度和编码模式的信息。可提取关于编码深度和编码模式的信息中的根据实施例的分区信息。所述分区信息可包括第一分区模式和分区等级，并还可包括根据第一分区模式的第二分区模式。可以以预测单元为单位提取编码的残差数据和运动矢量。

在操作1330，可以以最大编码单元为单位基于关于编码深度和编码模式的信息确定具有树形结构的编码单元，可基于分区信息确定预测单元和分区，并且可对预测单元和分区执行预测编码。可基于包括在分区信息中的第一分区信息和分区等级确定预测单元和分区的形状、划分方向性和尺寸，其中，编码单元被划分为所述预测单元和分区。可通过使用预测模式信息和运动矢量对每个预测单元的残差数据和每个分区进行解码来恢复画面。

视频编码设备100可基于具有树形结构编码单元的可变尺寸对具有树形结构的多种尺寸、多种形状和多种预测模式的预测单元(分区)执行预测编码，对预测编码的结果进行相互比较，从而确定具有最高编码效率的预测单元(分区)。因此，考虑根据编码单元的尺寸变化的编码单元之内的图像的特性进行预测编码是可能的。

另外，由于关于确定用于预测编码的预测单元的因素的信息被编码和发送，因此视频解码设备200可保证准确的恢复。

本发明的实施例可被写成计算机程序并可被实施在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁性存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。

虽然已参照本发明的优选实施例特别地示出并描述了本发明，但本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对本发明在形式和细节上做出各种改变。优选实施例应被视为仅是描述性的，而不是为了限制。因此，本发明的范围由权利要求限定而不由本发明的详细描述限定，并且在所述范围之内的所有不同应被理解为被包括在本发明中。

Claims (3)

1.一种对视频进行解码的方法，所述方法包括：

接收包括画面的数据、关于最大编码单元的尺寸的信息和划分信息的比特流；

使用关于最大编码单元的尺寸的信息将画面划分为多个最大编码单元；

基于划分信息将多个最大编码单元中的最大编码单元分层划分为多个编码单元，其中，划分信息指示深度k的编码单元是否被划分为深度k+1的编码单元，其中，k是整数；

使用分区类型信息确定多个编码单元中的编码单元中的一个或更多个预测单元；

对所述编码单元中的所述一个或更多个预测单元中的预测单元执行预测以产生重建的编码单元，

其中，分区类型信息指示当编码单元的尺寸大于预定尺寸时的对称类型和非对称类型之一。

2.如权利要求1所述的方法，其中，分层划分最大编码单元的步骤包括：

根据划分信息将最大编码单元分层划分为包括当前深度和更低深度中的至少一个深度的深度的多个编码单元。

3.如权利要求1所述的方法，当划分信息指示对当前深度进行划分时，当前深度的编码单元独立于邻近编码单元而被划分为更低深度的四个矩形编码单元，当划分信息指示不对当前深度进行划分时，所述一个或更多个预测单元从当前深度的编码单元而被获得。