CN102474614A - 基于分层编码块样式信息的视频编码方法和设备以及视频解码方法和设备 - Google Patents

Abstract

提供了一种用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备。所述用于对视频进行解码的方法包括：接收并解析编码视频的比特流；基于关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

Description

基于分层编码块样式信息的视频编码方法和设备以及视频解码方法和设备

技术领域

示例性实施例涉及对视频的编码和解码。

背景技术

随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对用于对高分辨率或高质量视频内容进行有效地编码或解码的视频编解码器的需求正在增加。在现有技术的视频编解码器中，基于具有预定大小的宏块根据受限的编码方法对视频进行编码。此外，在现有技术视频编码器中，以宏块为单位对编码块样式信息进行编码。

发明内容

技术问题

与示例性实施例一致的设备和方法提供了通过使用指示编码单元的纹理信息是否已被编码的信息并考虑分层深度来对视频进行的编码和解码。

技术方案

根据示例性实施例的一方面，提供了一种对视频进行解码的方法，所述方法包括：接收并解析编码视频的比特流；从所述比特流提取被分配给当前画面的最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息、关于编码模式的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；基于关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

有益效果

使用基于分层构造的编码单元和变换单元的编码单元样式信息。因此，可以以大于宏块的编码单元或作为不同大小的数据单元的编码单元对编码单元样式信息进行编码。此外，可按照整体方式以下述编码单元对编码单元样式信息进行编码，其中，所述编码单元包括根据树结构的多个分层构造的变换单元。因此，可提高对编码单元样式信息进行编码/解码以及发送编码单元样式信息的效率。

附图说明

通过结合附图详细描述本发明的示例性实施例，以上和/或其它方面将变得更清楚，其中：

图1是根据示例性实施例的视频编码设备的框图；

图2是根据示例性实施例的视频解码设备的框图；

图3是用于描述根据示例性实施例的编码单元的构思的示图；

图4是根据示例性实施例的基于编码单元的图像编码器的框图；

图5是根据示例性实施例的基于编码单元的图像解码器的框图；

图6是示出根据示例性实施例的根据深度的较深层编码单元以及分区的示图；

图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；

图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示图；

图9是根据示例性实施例的根据深度的较深层编码单元的示图；

图10至图12是用于描述根据示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；

图13是用于描述根据示例性实施例的根据编码模式信息的编码单元、预测单元或分区以及变换单元之间的关系的示图；

图14是示出根据示例性实施例的对视频进行编码的方法的流程图；

图15是示出根据示例性实施例的对视频进行解码的方法的流程图；

图16是根据示例性实施例的使用编码单元样式信息的视频编码设备的框图；

图17是根据示例性实施例的使用编码单元样式信息的视频解码设备的框图；

图18至图20是示出根据示例性实施例的当与编码深度相应的编码单元包括一个变换单元时与编码深度相应的编码单元样式信息的框图；

图21至图23示出根据示例性实施例的当与编码深度相应的编码单元包括四个变换单元时与编码深度相应的编码单元样式信息；

图24至图26示出根据示例性实施例的当与编码深度相应的编码单元包括多个变换单元时与编码深度相应的编码单元样式信息；

图27是示出根据示例性实施例的分层编码单元样式信息的示图；

图28是示出根据示例性实施例的通过使用编码单元样式信息来对视频进行编码的方法的流程图；

图29是示出根据示例性实施例的通过使用编码单元样式信息来对视频进行解码的方法的流程图。

最佳实施方式

根据示例性实施例的一方面，提供一种对视频进行解码的方法，所述方法包括：接收并解析编码视频的比特流；从比特流提取被分配给当前画面的最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息、关于编码模式的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；基于关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

编码单元可由最大大小以及深度来表征。

深度可指示编码单元被分层划分的次数，并且随着深度加深，根据深度的较深层编码单元可被从最大编码单元划分以获得最小编码单元。

从上层深度到下层深度，深度可被加深。

随着深度加深，最大编码单元被划分的次数可增加，最大编码单元被划分的可能的总次数可相应于最大深度。

编码单元的最大大小和最大深度可被预定。

关于最大编码单元的编码单元样式信息可包括与编码深度相应的编码单元样式信息和根据变换深度的分层编码单元样式信息中的至少一个，其中，针对与编码深度相应的编码单元设置与编码深度相应的编码单元样式信息，与变换深度相应的分层编码单元样式信息指示关于下层深度的分层编码单元样式信息是否已被编码。

如果根据编码深度的关于编码单元的编码单元样式信息指示最大编码单元的纹理信息已被编码，则对编码图像数据进行解码的步骤可包括：提取指示包括在与编码深度相应的编码单元中的至少一个变换单元的纹理信息是否已被编码的变换单元样式信息。

如果变换单元样式信息指示变换单元的纹理信息已被编码，则对编码图像数据进行解码的步骤可包括对编码纹理信息进行解码。

如果变换单元样式信息指示变换单元的纹理信息尚未被编码，则对编码图像数据进行解码的步骤可包括通过使用关于与变换单元邻近的变换单元的信息来对变换单元进行解码。

可根据图像数据的彩色分量来提取与编码深度相应的编码单元样式信息。

如果与编码深度相应的编码单元包括至少四个变换单元，则第一组可被划分为四个下层组，并且还可针对所述四个下层组的每个提取预定比特的与编码深度相应的编码单元样式信息。

根据另一示例性实施例的一方面，提供一种对视频进行编码的方法，所述方法包括：将视频的当前画面划分为最大编码单元；基于与最大编码单元的区域被划分的次数成比例地加深的深度，通过对至少一个划分的区域进行编码来确定用于输出根据所述至少一个划分的区域的最终编码结果的编码深度，其中，通过根据深度对最大编码单元的区域进行划分来获得所述至少一个划分的区域；输出作为根据所述至少一个划分的区域的最终编码结果的图像数据，对关于最大编码单元的编码深度和预测模式的信息以及编码单元样式信息进行编码和输出，其中，编码单元样式信息指示最大编码单元的纹理信息是否已被编码。

输出图像数据的步骤可包括：基于最大编码单元的纹理信息的所有变换系数是否是0，来设置编码单元样式信息和对所述编码单元样式信息进行编码。

输出图像数据的步骤可包括：基于与编码深度相应的编码单元的的所有变换系数是否是0，根据最大编码单元的编码深度，来设置与编码深度相应的编码单元样式信息和对所述编码单元样式信息进行编码。

如果关于与当前深度的上层深度相应的编码单元的分层编码单元样式信息和纹理信息未被编码，则输出图像数据的步骤可包括：设置从最上层深度到当前深度的分层编码单元样式信息和对所述编码单元样式信息进行编码。

所述方法还可包括：确定对于当前画面、像条和最大编码单元中的至少一个是否将使用针对所述至少一个变换深度中的每个变换深度的与编码深度相应的编码单元样式信息以及分层编码单元样式信息中的至少一个。

输出编码单元样式信息的步骤可包括：基于关于最大编码单元的编码单元样式信息，确定是否将针对包括在与编码深度相应的编码单元中的变换单元设置变换单元模式信息，其中，变换单元样式信息指示变换单元的纹理信息是否已被编码。

根据另一示例性实施例的一方面，提供一种用于对视频进行解码的设备，所述设备包括：接收器，接收并解析编码视频的比特流；提取器，从比特流提取被分配给最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息、关于编码模式的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；图像数据解码器，基于关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元中的编码图像数据进行解码。

根据另一示例性实施例的一方面，提供一种用于对视频进行编码的设备，所述设备包括：最大编码单元划分器，将当前画面划分为最大编码单元；编码单元确定器，基于与最大编码单元的区域被划分的次数成比例地加深的深度，通过对至少一个划分的区域进行编码来确定用于输出根据所述至少一个划分的区域的最终编码结果的编码深度，其中，通过根据深度对每个最大编码单元的区域进行划分来获得所述至少一个划分的区域；输出单元，输出作为根据所述至少一个划分的区域的最终编码结果的图像数据，对关于最大编码单元的编码深度和编码模式的信息以及编码单元样式信息进行编码和输出，其中，编码单元样式信息指示所述至少一个最大编码单元中的每一个最大编码单元的纹理信息是否已被编码。

根据另一示例性实施例的一方面，提供一种记录有用于执行对视频进行解码的上述方法的计算机程序的计算机可读记录介质。

根据另一示例性实施例的一方面，提供一种记录有用于执行对视频进行编码的上述方法的计算机程序的计算机可读记录介质。

根据另一示例性实施例的一方面，提供一种对视频进行解码的方法，所述方法包括：从编码视频的比特流提取被分配给当前画面的最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；基于提取的关于最大编码单元的编码深度的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

具体实施方式

以下，将参照附图描述根据一个或多个示例性实施例的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备。具体地，将参照图1至图15描述根据一个或多个示例性实施例的基于根据包括空间独立的分层数据单元的树结构的编码单元来执行的视频编码和解码。此外，将参照图16至图29具体描述根据一个或多个示例性实施例的使用关于根据这样的树结构的编码单元的编码单元样式信息来执行的视频编码和解码。在本说明书中，将理解当诸如“…中的至少一个”的措辞位于一列元件之后时，所述措辞修饰的是整列元件而不是修饰列表中的个别元件。

在本说明书中，根据示例性实施例，编码单元是进行编码的数据单元以及被编码后的数据单元，其中，按照所述进行编码的数据单元，图像数据在编码器端被编码，按照所述被编码后的数据单元，编码图像数据在解码器端被解码。此外，编码深度指示编码单元被编码的深度。

在本说明书中，“图像”可表示视频的静止图像或运动图像(即，视频本身)。

将参照图1至图15描述根据一个或多个示例性实施例的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备。

图1是根据示例性实施例的视频编码设备100的框图。参照图1，视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。

最大编码单元划分器110可基于图像的当前画面的最大编码单元对当前画面进行划分。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等大小的数据单元，其中，数据单元的形状是宽和高为2的平方的方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。

根据示例性实施例的编码单元可由最大大小以及深度来表征。深度表示编码单元从最大编码单元被空间划分的次数。因此，随着深度加深，根据深度的较深层编码单元可被从最大编码单元划分为最小编码单元。最大编码单元的深度是最上层深度，最小编码单元的深度是最下层深度。由于与每个深度相应的编码单元的大小随着最大编码单元的深度加深而减小，因此，与上层深度相应的编码单元可包括多个与下层深度相应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大大小而被划分为一个或多个最大编码单元，所述最大编码单元中的每一个可包括根据深度被划分的较深层编码单元。由于根据示例性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层划分。

可预定编码单元的最大深度和最大大小，所述最大深度和最大大小限定最大编码单元的高和宽被分层划分的总次数。

编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分的区域进行编码，并根据所述至少一个划分的区域确定用于输出最终编码的图像数据的深度。例如，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。因此，编码单元确定器120输出与确定的编码深度相应的编码单元的编码图像数据。此外，与编码深度相应的编码单元可被视为被编码的编码单元。

确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，基于较深层编码单元中的每一个来比较对图像数据进行编码的结果。在比较较深层编码单元的编码误差之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。

随着编码单元根据深度而被分层划分，并且随着编码单元的数量增加，最大编码单元的大小被划分。此外，即使在一个最大编码单元中编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每一个划分到下层深度。因此，即使图像数据被包括在一个最大编码单元中，图像数据也根据深度被划分为区域，并且在所述一个最大编码单元中，编码误差可根据区域而不同。因此，编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。

因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据示例性实施例的具有树结构的编码单元包括在最大编码单元中包括的所有较深层编码单元中与被确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层确定，在不同的区域中，编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。

根据示例性实施例的最大深度是关于从最大编码单元到最小编码单元的划分次数的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度为0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4这5个深度级。在这种情况下，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。

由于每当最大编码单元根据深度被划分时较深层编码单元的数量增加，因此可针对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元来描述预测编码和变换。

视频编码设备100可变化地选择用于对图像数据进行编码的数据单元的大小或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择与编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与下层深度相应的编码单元的编码单元)执行预测编码。以下，不再被划分并且变成用于预测编码的基本单元的编码单元将被称为预测单元。通过对预测单元进行划分所获得的分区(partition)可包括通过对预测单元的高和宽中的至少一个进行划分所获得的预测单元或数据单元。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分，并且变成2N×2N的预测单元时，分区的大小可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高或宽进行对称划分所获得的对称分区、通过对预测单元的高或宽进行不对称划分(诸如1:n或n:1)所获得的分区、通过对预测单元进行几何划分所获得的分区以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可针对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。此外，可仅针对2N×2N的分区执行跳过模式。针对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元，还基于不同于编码单元的数据单元，对编码单元中的图像数据执行变换。

为了在编码单元中执行变换，可基于具有小于或等编码单元的大小的数据单元来执行变换。例如，用于变换的数据单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。

用作变换的基础的数据单元将在以下被称为变换单元。还可针对变换单元设置指示通过对编码单元的高和宽进行划分来达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的大小也为2N×2N时，变换深度可以是0，当所述当前编码单元的高和宽中的每一个被划分为两等份，总共被划分为4^1个变换单元，从而变换单元的大小是N×N时，变换深度可以是1，当所述当前编码单元的高和宽的每一个被划分为四等份，总共被划分为4^2个变换单元，从而变换单元的大小是N/2×N/2时，变换深度可以是2。例如，可根据分层树结构来设置变换单元，其中，根据变换深度的分层特性，上层变换深度的变换单元被划分为下层变换深度的四个变换单元。

与编码单元类似，编码单元中的变换单元可被递归地划分为大小更小的区域，从而可以以区域为单位独立地确定变换单元。因此，可根据具有根据变换深度的树结构的变换，来划分编码单元中的残差数据。

根据与编码深度相应的编码单元的编码信息不仅使用关于编码深度的信息，还使用关于与预测编码和变换有关的信息的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换的变换单元的大小。

稍后将参照图3至图12详细描述根据一个或多个示例性实施例的根据最大编码单元中的树结构的编码单元以及确定分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的较深层编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。通过对图像的残差数据进行编码来获得编码图像数据。关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型的信息、预测模式和变换单元的大小中的至少一个。

可通过使用根据深度的划分信息来定义关于编码深度的信息，关于编码深度的信息指示是否针对下层深度而不是当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码并被输出，因此划分信息可被定义为不将当前编码单元划分到下层深度。可选地，如果当前编码单元的当前深度不是编码深度，则针对下层深度的编码单元来执行编码。因此，划分信息可被定义为划分当前编码单元以获得下层深度的编码单元。

如果当前深度不是编码深度，则针对被划分为下层深度的编码单元的编码单元来执行编码。由于在当前深度的一个编码单元中存在下层深度的至少一个编码单元，因此针对下层深度的每个编码单元重复执行编码。因此，可针对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此，可针对一个最大编码单元确定关于至少一个编码模式的信息。此外，由于图像数据根据深度被分层划分，因此，最大编码单元的图像数据的编码深度可根据位置而不同。因此，可针对图像数据设置关于编码深度和编码模式的信息。

因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。

根据示例性实施例的最小单元可以是通过将具有最低深度的最小编码单元划分4次所获得的矩形数据单元。可选地，最小单元可以是最大矩形数据单元，所述最大矩形数据单元可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中。

例如，通过输出单元130输出的编码信息可被分为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息和关于分区大小的信息中的至少一个。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息中的至少一个。此外，关于根据画面、像条或图像组(GOP)定义的编码单元的最大大小的信息以及关于最大深度的信息可被插入比特流的序列参数集(SPS)或头中。

在视频编码设备100中，较深层编码单元可以是通过将作为上一层的上层深度的编码单元的高和宽的至少一个划分两次所获得的编码单元。换句话说，当当前深度的编码单元的大小为2N×2N时，下层深度的编码单元的大小可以是N×N。此外，大小为2N×2N的当前深度的编码单元可包括下层深度的4个编码单元。

因此，视频编码设备100可通过基于考虑当前画面的特征所确定的最大编码单元的大小和最大深度，针对每个最大编码单元确定具有最佳形状和最佳大小的编码单元，来形成具有树结构的编码单元。此外，由于可通过使用任意各种预测模式和变换来针对每个最大编码单元执行编码，因此可考虑各种图像大小的编码单元的特征来确定最佳编码模式。

因此，如果以现有技术的宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩信息，数据压缩效率降低。然而，通过使用根据示例性实施例的视频编码设备100，由于在考虑图像大小的同时增加编码单元的最大大小，同时在考虑图像特征的同时调整编码单元，因此可提高图像压缩效率。

图2是根据示例性实施例的视频解码设备200的框图。参照图2，视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与以上参照图1和视频编码设备100描述的那些术语相同或相似。

接收器210接收并解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的编码图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从与当前画面相应的头或SPS提取关于当前画面的编码单元的最大大小的信息。

此外，图像数据和编码信息提取器220从解析的比特流提取关于具有根据每个最大编码单元的树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。因此，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230对每个最大编码单元的图像数据进行解码。

可针对关于与编码深度相应的至少一个编码单元的信息，来设置关于根据最大编码单元的编码深度和编码模式的信息。此外，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和变换单元的大小中的至少一个。此外，根据深度的划分信息可被提取作为关于编码深度的信息。

由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于编码深度和编码模式的信息，其中，所述编码深度和编码模式被确定为用于当编码器(诸如视频编码设备100)根据每个最大编码单元针对每个根据深度的较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。

由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元和最小单元中的特定数据单元，因此图像数据和编码信息提取器220可提取关于根据预定数据单元的编码深度和编码模式的信息。被分配关于编码深度和编码模式的相同信息的预定数据单元可被推断为包括在相同最大编码单元中的数据单元。

图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元的信息，来对编码图像数据进行解码。解码处理可包括预测(包括帧内预测和运动补偿)和反变换中的至少一个。可根据反正交变换或反整数变换的方法来执行反变换。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

此外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的大小的信息，根据编码单元中的每个变换单元执行反变换，从而根据最大编码单元执行反变换。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度下不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用与编码深度相应的每个编码单元的关于预测单元的分区类型、预测模式和变换单元大小的信息，对当前最大编码单元中与每个编码深度相应的至少一个编码单元的编码数据进行解码，并输出当前最大编码单元的图像数据。

换句话说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集来收集包括编码信息(包括相同划分信息)的数据单元。此外，收集的数据单元可被视为将由图像数据解码器230以相同的编码模式进行解码的一个数据单元。

视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。换句话说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此外，可考虑分辨率和图像数据量来确定编码单元的最大大小。

因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的大小和编码模式来对图像数据进行有效地解码和恢复，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特征来适应性地确定所述编码单元的大小和所述编码模式。

现在将参照图3至图13描述根据一个或多个示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。

图3是用于描述根据示例性实施例的编码单元的构思的示图。编码单元的大小可被表示为宽×高，可以是64×64、32×32、16×16和8×8，但是应理解另外的示例性实施例不限于此。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

参照图3，第一视频数据310具有分辨率1920×1080、编码单元的最大大小64和最大深度2。第二视频数据320具有分辨率1920×1080、编码单元的最大大小64和最大深度3。第三视频数据330具有分辨率352×288、编码单元的最大大小16和最大深度1。图3中示出的最大深度指示从最大编码单元到最小解码单元的总划分次数。

如果分辨率高或数据量大，则编码单元的最大大小可较大，从而不仅提高了编码效率还精确地反映出图像的特征。因此，分辨率高于第三视频数据330的第一视频数据310和第二视频数据320的编码单元的最大大小可以是64。

由于第一视频数据310的最大深度是2，因此，由于通过将最大编码单元划分两次，深度被加深两层，因此第一视频数据310的编码单元315可包括长轴大小为64的最大编码单元以及长轴大小为32和16的编码单元。同时，由于第三视频数据330的最大深度是1，因此，由于通过将最大编码单元划分一次，深度被加深一层，因此第三视频数据330的编码单元335可包括长轴大小为16的最大编码单元以及长轴大小为8的编码单元。

由于第二视频数据320的最大深度为3，因此，由于通过将最大编码单元划分三次，深度被加深3层，因此第二视频数据320的编码单元325可包括长轴大小为64的最大编码单元以及长轴大小为32、16和8的编码单元。随着深度加深(即，增加)，可精确地表示详细信息。

图4是根据示例性实施例的基于编码单元的图像编码器400的框图。参照图4，图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。例如，帧内预测器410在帧内模式下对当前帧405中的编码单元执行帧内预测，运动估计器420和运动补偿器425在帧间模式下通过使用当前帧405和参考帧495，对当前帧405中的编码单元分别执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出作为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被恢复为空间域中的数据。恢复的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了将图像编码器400应用在视频编码设备100中，图像编码器400的元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元来执行操作。

具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大大小和最大深度的同时确定具有树结构的编码单元中的每个编码单元的分区和预测模式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的大小。

图5是根据示例性实施例的基于编码单元的图像解码器500的框图。参照图5，解析器510从比特流505中解析将被解码的编码图像数据以及用于解码的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过反变换器540被恢复为空间域中的图像数据。

帧内预测器550针对空间域中的图像数据，在帧内模式下对编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。

通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波器单元580进行后处理之后被输出为恢复帧595。此外，通过去块单元570和环路滤波器单元580进行后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了将图像解码器500应用在视频解码设备200中，图像解码器500的元件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)针对每个最大编码单元基于具有树结构的编码单元执行操作。

具体地，帧内预测器550和运动补偿器560基于每个具有树结构的编码单元的分区和预测模式执行操作，反变换器540基于每个编码单元的变换单元的大小执行操作。

图6是示出根据示例性实施例的根据深度的较深层编码单元以及分区的示图。根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大大小来确定根据深度的较深层编码单元的大小。

参照图6，在根据示例性实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，最大深度为4。由于深度沿分层结构600的纵轴加深(即，增加)，因此较深层编码单元的高度和宽度均被划分。此外，沿分层结构600的横轴示出作为每个较深层编码单元的预测编码的基础的预测单元和分区。

例如，第一编码单元610是分层结构600中的最大编码单元，其中，所述第一编码单元610的深度为0，大小(即，高度乘宽度)为64×64。深度沿纵轴加深，从而分层结构600包括大小为32×32且深度为1的第二编码单元620、大小为16×16且深度为2的第三编码单元630、大小为8×8且深度为3的第四编码单元640以及大小为4×4且深度为4的第五编码单元650。大小为4×4且深度为4的第五编码单元650是最小编码单元。

编码单元610、620、630、640和650的预测单元和分区根据每个深度沿横轴排列。换句话说，如果大小为64×64且深度为0的第一编码单元610是预测单元，则预测单元可被划分为包括在第一编码单元610中的分区，即，大小为64×64的分区610、大小为64×32的分区612、大小为32×64的分区614或大小为32×32的分区616。

类似地，大小为32×32且深度为1的第二编码单元620的预测单元可被划分为包括在第二编码单元620中的分区，即，大小为32×32的分区620、大小为32×16的分区622、大小为16×32的分区624和大小为16×16的分区626。

类似地，大小为16×16且深度为2的第三编码单元630的预测单元可被划分为包括在第三编码单元630中的分区，即，包括在第三编码单元630中的大小为16×16的分区630、大小为16×8的分区632、大小为8×16的分区634和大小为8×8的分区636。

类似地，大小为8×8且深度为3的第四编码单元640的预测单元可被划分为包括在第四编码单元640中的分区，即，包括在第四编码单元640中的大小为8×8的分区640、大小为8×4的分区642、大小为4×8的分区644或大小为4×4的分区646。

大小为4×4且深度为4的第五编码单元650是最小编码单元和最下层深度的编码单元。第五编码单元650的预测单元被分配给大小为4×4的分区。

为了确定最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

随着深度加深，以相同范围和相同大小包括数据的根据深度的较深层编码单元的数量增加。例如，覆盖包括在与深度1相应的一个编码单元中的数据需要四个与深度2相应的编码单元。因此，为了比较相同数据根据深度的编码结果，与深度1相应的编码单元和四个与深度2相应的编码单元各自被编码。

为了针对深度中的当前深度执行编码，可通过沿分层结构600的横轴，针对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。可选地，可通过随着深度沿分层结构600的纵轴加深针对每个深度执行编码来比较根据深度的最小编码误差，从而搜索最小编码误差。第一编码单元610中具有最小编码误差的深度和分区可被选为第一编码单元610的编码深度和分区类型。

图7是用于描述根据示例性实施例的编码单元710和变换单元720之间的关系的示图。根据示例性实施例的视频编码设备100和根据示例性实施例的视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的大小的编码单元来分别对图像进行编码和解码。可基于不大于相应编码单元的数据单元来选择编码期间用于变换的变换单元的大小。

参照图7，例如，在视频编码设备100中，如果编码单元710的大小是64×64，则可通过使用大小为32×32的变换单元720来执行变换。

此外，可通过对小于64×64的大小为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换，来对大小为64×64的编码单元710的数据进行编码，随后可选择具有最小编码误差的变换单元。

图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示图。参照图8，根据示例性实施例的视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的第一信息800、关于预测模式的第二信息810和关于变换单元的大小的第三信息820进行编码和发送，以作为关于编码模式的信息。

第一信息800指示关于通过对当前编码单元的预测单元进行划分而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，大小为2N×2N的当前编码单元CU_0可被划分为大小为2N×2N的分区802、大小为2N×N的分区804、大小为N×2N的分区806和大小为N×N的分区808中的任意一个。这里，关于分区类型的第一信息800被设置为指示大小为2N×N的分区804、大小为N×2N的分区806和大小为N×N的大小的分区808之一。

第二信息810指示每个分区的预测模式。例如，第二信息810可指示对由第一信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

第三信息820指示当针对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元提取和使用用于解码的信息800、810和820。

图9是根据示例性实施例的根据深度的较深层编码单元的示图。划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为下层深度的编码单元。

参照图9，用于对深度为0且大小为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：大小为2N_0×2N_0的分区类型912、大小为2N_0×N_0的分区类型914、大小为N_0×2N_0的分区类型916、大小为N_0×N_0的分区类型918。图9仅示出通过对预测单元910进行对称划分而获得的分区类型910至918，但应理解在另外的示例性实施例中分区类型不限于此。例如，根据另一示例性实施例，预测单元910的分区可包括不对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，对一个大小为2N_0×2N_0的分区、两个大小为2N_0×N_0的分区、两个大小为N_0×2N_0的分区和四个大小为N_0×N_0的分区重复执行预测编码。可对大小为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对大小为2N_0×2N_0的分区执行跳过模式下的预测编码。

比较包括分区类型912至918中的预测编码的编码的误差，在分区类型中确定最小编码误差。如果在分区类型912至916之一中编码误差最小，则预测单元910可不被划分到下层深度。

如果在分区类型918中编码误差最小，则深度从0改变到1以在操作920对分区类型918进行划分，对深度为2且大小为N_0×N_0的编码单元930重复执行编码，以搜索最小编码误差。

用于对深度为1且大小为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：大小为2N_1×2N_1的分区类型942、大小为2N_1×N_1的分区类型944、大小为N_1×2N_1的分区类型946、大小为N_1×N_1的分区类型948。

如果在分区类型948中编码误差最小，则深度从1改变到2以在操作950对分区类型948进行划分，对深度为2且大小为N_2×N_2的编码单元960重复执行编码，以搜索最小编码误差。

当最大深度为d时，可执行根据每个深度的划分操作，直到深度变为d-1，划分信息可被编码直到深度为0到d-2中的一个。例如，当编码被执行直到在操作970与深度d-2相应的编码单元被划分之后深度为d-1时，用于对深度为d-1且大小为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：大小为2N_(d-1)×2N_(d-1)的分区类型992、大小为2N_(d-1)×N_(d-1)的分区类型994、大小为N_(d-1)×2N_(d-1)的分区类型996、大小为N_(d-1)×N_(d-1)的分区类型998。

可在分区类型992至998中对一个大小为2N_(d-1)×2N_(d-1)的分区、两个大小为2N_(d-1)×N_(d-1)的分区、两个大小为N_(d-1)×2N_(d-1)的分区、四个大小为N_(d-1)×N_(d-1)的分区重复执行预测编码，以搜索具有最小编码误差的分区类型。

即使分区类型998具有最小编码误差，但由于最大深度为d，因此深度为d-1的编码单元CU_(d-1)不再被划分到下层深度，用于当前最大编码单元900的编码单元的编码深度被确定为d-1，当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，具有最下层深度d-1的最小编码单元980不再被划分到下层深度，因此不设置最小编码单元980的划分信息。

数据单元999可被视为当前最大编码单元的最小单元。根据示例性实施例的最小单元可以是通过对最小编码单元980划分4次而获得的矩形数据单元。通过重复执行编码，根据示例性实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，将相应的分区类型和预测模式设置为编码深度的编码模式。

这样，在1至d的所有深度中比较根据深度的最小编码误差，具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式中的至少一个可被编码和发送，以作为关于编码模式的信息。此外，由于编码单元被从深度0划分到编码深度，因此仅编码深度的划分信息被设置为0，除了编码深度之外的深度的划分信息被设置为1。

根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并使用关于相应深度的编码模式的信息以进行解码。

图10至图12是用于描述根据示例性实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

参照图10至图12，编码单元1010是最大编码单元中与由根据示例性实施例的视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是编码单元1010中的每一个的预测单元的分区，变换单元1070是编码单元1010中的每一个的变换单元。

当编码单元1010中的最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，通过对编码单元1010的编码单元进行划分来获得某些编码单元1014、1016、1022、1032、1048、1050、1052和1054。例如，编码单元1014、1022、1050和1054中的分区类型具有2N×N的大小，编码单元1016、1048和1052中的分区类型具有N×2N的大小，编码单元1032的分区类型具有N×N的大小。编码单元1010的预测单元和分区小于或等于每个编码单元。

对小于编码单元1052的数据单元中的变换单元1070中的编码单元1052的图像数据执行变换或反变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在大小和形状方面与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052不同。例如，根据示例性实施例的视频编码设备100和视频解码设备200可对相同编码单元中的数据单元分别执行帧内预测、运动估计、运动补偿、变换和反变换。

因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每一个递归地执行编码，以确定最佳编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的大小的信息中的至少一个。表1示出可由视频编码设备100和视频解码设备200设置的示例性编码信息。

表1

视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示当前编码单元是否被划分为下层深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分到下层深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式和变换单元的大小的信息。如果当前编码单元根据划分信息被进一步划分，则对下层深度的四个划分的编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型下定义帧内模式和帧间模式，仅在大小为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过对预测单元的高和宽中的至少一个进行对称划分而获得的大小为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过对预测单元的高和宽中的至少一个进行不对称划分而获得的大小为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区类型。可通过按照1:3和3:1对预测单元的高进行划分来分别获得大小为2N×nU和2N×nD的不对称分区类型，可通过按照1:3和3:1对预测单元的宽进行划分来分别获得大小为nL×2N和nR×2N的不对称分区类型。

变换单元的大小可被设置为帧内模式下的两种类型和帧间模式下的两种类型。例如，如果变换单元的划分信息是0，则变换单元的大小可以是2N×2N，这是当前编码单元的大小。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。此外，如果大小为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的大小可以是N×N，如果当前编码单元的分区类型是不对称分区类型，则变换单元的大小可以是N/2×N/2。

关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括：包括相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，从而可确定最大编码单元中的编码深度的分布。

因此，如果基于邻近数据单元的编码信息来预测当前编码单元，则可直接参考和使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。

可选地，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，可参考搜索到的邻近编码单元来预测当前编码单元。

图13是用于描述根据示例性实施例的根据表1的编码模式信息描述编码单元、预测单元或分区、变换单元之间的关系的示图。参照图13，最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于大小为2N×2N的编码单元1318的分区类型的信息可被设置为以下分区类型之一：大小为2N×2N的分区类型1322、大小为2N×N的分区类型1324、大小为N×2N的分区类型1326、大小为N×N的分区类型1328、大小为2N×nU的分区类型1332、大小为2N×nD的分区类型1334、大小为nL×2N的分区类型1336和大小为nR×2N的分区类型1338。

当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的划分信息(TU大小标记)为0，则设置大小为2N×2N的变换单元1342，如果TU大小标记为1，则设置大小为N×N的变换单元1344。

当分区类型被设置为不对称(即，分区类型1332、1334、1336或1338)时，如果TU大小标记为0，则设置大小为2N×2N的变换单元1352，如果TU大小标记为1，则设置大小为N/2×N/2的变换单元1354。

参照图13，TU大小标记是具有值0或1的标记，但是将理解另外的示例性实施例不限于1比特标记。例如，在另一示例性实施例中，在TU大小标记从0增加的同时，变换单元可被分层划分以具有树结构。

在这种情况下，根据示例性实施例，可通过使用变换单元的TU大小标记以及变换单元的最大大小和最小大小来表示实际上已使用的变换单元的大小。根据示例性实施例，视频编码设备100可对最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记进行编码。对最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记进行编码的结果可被插入SPS。根据示例性实施例，视频解码设备200可通过使用最大变换单元大小信息、最小变换单元大小信息和最大TU大小标记来对视频进行解码。

例如，如果当前编码单元的大小是64×64并且最大变换单元大小是32×32，则当TU大小标记为0时，变换单元的大小可以是32×32，当TU大小标记为1时，变换单元的大小可以是16×16，当TU大小标记为2时，变换单元的大小可以是8×8。

作为另一示例，如果当前编码单元的大小是32×32并且最小变换单元大小是32×32，则当TU大小标记为0时，变换单元的大小可以是32×32。这里，由于变换单元的大小不能够小于32×32，因此TU大小标记不能够被设置为除了0以外的值。

作为另一示例，如果当前编码单元的大小是64×64并且最大TU大小标记为1，则TU大小标记可以是0或1。这里，TU大小标记不能够被设置为除了0或1以外的值。

因此，如果定义当TU大小标记为0时最大TU大小标记为MaxTransformSizeIndex，最小变换单元大小为MinTransformSize，变换单元大小为RootTuSize，则随后可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize：

CurrMinTuSize＝max(MinTransformSize，RootTuSize/(2^MaxTransformSizeIndex))…(1)。

与可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize相比，当TU大小标记为0时，变换单元大小RootTuSize可指示可在系统中选择的最大变换单元大小。在等式(1)中，RootTuSize/(2^MaxTransformSizeIndex)指示当TU大小标记为0时，变换单元大小RootTuSize被划分了与最大TU大小相应的次数时的变换单元大小，MinTransformSize指示最小变换大小。因此，RootTuSize/(2^MaxTransformSizeIndex)和MinTransformSize中较小的值可以是可在当前编码单元中确定的当前最小变换单元大小CurrMinTuSize。

根据示例性实施例，最大变换单元大小RootTuSize可根据预测模式的类型而改变。例如，如果当前预测模式是帧间模式，则随后可通过使用以下的等式(2)来确定RootTuSize。在等式(2)中，MaxTransformSize指示最大变换单元大小，PUSize指示当前预测单元大小：

RootTuSize＝min(MaxTransformSize，PUSize)……(2)。

也就是说，如果当前预测模式是帧间模式，则当TU大小标记为0时的变换单元大小RootTuSize可以是最大变换单元大小和当前预测单元大小中较小的值。

如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定RootTuSize。在等式(3)中，PartitionSize指示当前分区单元的大小：

RootTuSize＝min(MaxTransformSize，PartitionSize)……(3)

也就是说，如果当前预测模式是帧内模式，则当TU大小标记为0时的变换单元大小RootTuSize可以是最大变换单元大小和当前分区单元的大小之中较小的值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元大小RootTuSize仅是示例，将理解另外的示例性实施例不限于此。

图14是示出根据示例性实施例的对视频进行编码的方法的流程图。参照图14，在操作1210中，当前图像被划分为至少一个最大编码单元。指示可能的划分总次数的最大深度可被预定。

在操作1220中，通过对至少一个划分区域进行编码来确定用于根据所述至少一个划分区域输出最终编码结果的编码深度，并确定根据树结构的编码单元，其中，通过对根据深度的每个最大编码单元的区域进行划分来获得所述至少一个划分区域。

每当深度加深时，最大编码单元被空间划分，从而最大编码单元被划分为下层深度的编码单元。每个编码单元可通过与邻近编码单元在空间上独立划分而被划分为另一下层深度的编码单元。对每个根据深度的编码单元重复执行编码。

此外，针对每个较深层编码单元确定根据具有最小编码误差的分区类型的变换单元。为了确定每个最大编码单元中具有最小编码误差的编码深度，可在所有根据深度的较深层编码单元中测量和比较编码误差。

在操作1230，针对每个最大编码单元输出与根据编码深度的最终编码结果相应的编码图像数据以及关于编码深度和编码模式的信息。关于编码模式的信息可包括关于编码深度或划分信息的信息、关于预测单元的分区类型的信息、预测模式和变换单元的大小中的至少一个。关于编码模式的编码信息以及编码图像数据可被发送到解码器。

图15是示出根据示例性实施例的对视频进行解码的方法的流程图。参照图15，在操作1310，接收并解析编码视频的比特流。

在操作1320，从解析的比特流提取被分配给最大编码单元的当前画面的编码图像数据以及关于根据最大编码单元的编码深度和编码模式的信息。每个最大编码单元的编码深度是每个最大编码单元中具有最小编码误差的深度。在对每个最大编码单元进行编码时，基于通过对根据深度的最大编码单元进行分层划分而获得的至少一个数据单元来对图像数据进行编码。

根据关于编码深度和编码模式的信息，最大编码单元可被划分为具有树结构的编码单元。具有树结构的编码单元中的每一个被确定为与编码深度相应的编码单元，可被最佳编码以输出最少编码误差。因此，可通过在确定根据编码单元的至少一个编码深度之后对编码单元中的每条编码图像数据进行解码来提高图像的编码和解码效率。

在操作1330，基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元的图像数据进行解码。例如，解码图像数据可通过再现设备被再现，可被存储在存储介质中，或可通过网络被发送。

现在，将参照图16至图29详细描述根据另一示例性实施例的使用关于根据树结构的编码单元的编码单元样式信息来执行的视频编码和解码。

图16是根据示例性实施例的使用编码单元样式信息的视频编码设备1400的框图。参照图16，视频编码设备1400包括最大编码单元划分器1410、编码单元确定器1420和输出单元1460。输出单元1460包括编码图像数据输出单元1430、编码信息输出单元1440和编码单元样式信息输出单元1450。

最大编码单元划分器1410和编码单元确定器1420分别相应于包括在图1中示出的视频编码设备100中的最大编码单元划分器110和编码单元确定器120。编码图像数据输出单元1430和编码信息输出单元1440的操作可与包括在图1的视频编码设备100中的输出单元130的操作中的至少一些操作相同或相似。现在将描述编码单元样式信息输出单元1450对编码单元样式信息进行编码的示例性实施例。

在当前示例性实施例中，最大编码单元划分器1410基于当前画面的最大编码单元对图像的当前画面进行划分。编码单元确定器1420通过对每个最大编码单元中的根据深度的编码单元中的图像数据进行编码并选择具有最小编码误差的深度，来确定至少一个编码深度。因此，编码单元确定器1420可确定包括在每个最大编码单元中的具有树结构的编码单元。

编码图像数据输出单元1430输出每个最大编码单元中根据编码深度进行编码的图像数据的比特流。编码信息输出单元1440对关于根据每个最大编码单元中的编码深度的编码模式的信息进行编码并输出该信息。

编码单元样式信息输出单元1450对指示每个最大编码单元的纹理信息是否已被编码的编码单元样式信息进行编码并输出所述编码单元样式信息。纹理信息包括例如数据单元的量化参数、变换系数和变换索引中的至少一个。

如果根据当前示例性实施例的视频编码设备1400相应于图4的图像编码器400，则随后通过使用图4的帧内预测器410、运动估计器420和运动补偿器425从与当前编码单元相应的图像数据产生运动估计/补偿的数据。运动估计/补偿的数据通过变换器430被变换，并随后通过量化器440被量化，从而产生当前编码单元的变换系数。

可基于当前编码单元的所有变换系数是否是0来设置关于当前编码单元的编码单元样式信息。根据编码单元样式信息被设置为将被编码的当前编码单元的变换系数可被输入到熵编码器450以在比特流中被输出。

使用编码单元样式信息以确定当在编码单元中纹理信息将不被编码时或当在编码单元中纹理信息将被编码时，编码的纹理是否将被发送。例如，如果编码单元中的所有变换系数是0，则编码单元样式信息被设置以指示纹理信息将不被编码。然而，如果编码单元中的变换系数中的任何一个不是0，则编码单元样式信息被设置以指示纹理信息已被编码。

根据示例性实施例，编码单元样式信息的示例包括与编码深度相应的编码单元样式信息以及分层编码单元样式信息。

针对最大编码单元中与至少一个编码深度相应的编码单元来设置与编码深度相应的编码单元样式信息，该编码单元样式信息指示与编码深度相应的编码单元的纹理信息是否已被编码。例如，与编码深度相应的编码单元样式信息可指示根据直到编码深度的各深度的编码单元种的所有变换系数是否为0。

分别针对至少一个变换深度设置分层编码单元样式信息。最大变换单元的变换深度是最上层变换深度，随着变换深度变得更深，变换单元进行划分。此外，当前变换深度的变换单元可包括四个深度比当前变换深度更低一层的变换单元。

与当前变换深度相应的分层编码单元样式信息指示关于更低一层的深度的变换单元的分层编码单元样式信息是否已被编码。编码单元样式信息输出单元1450针对从最上层变换深度到最下层变换深度或者从最上层变换深度到预定深度的变换深度中的每一个，设置分层编码单元样式信息并对所述分层编码单元样式信息进行编码。

例如，可针对变换深度中的每一个设置分层编码单元样式信息，可对与最下层变换深度相应的变换单元的纹理信息进行编码。

变换单元的变换深度可链接到相应编码单元的深度和编码深度。例如，变换深度可被设置为固定地与编码单元的深度相等或者比编码单元的深度更低一层。另外，变换深度可被设置为与编码单元深度不同。

根据示例性实施例，在视频编码设备1400中，可在从GOP、画面、像条和最大编码单元中选择的至少一个数据单元中选择性地设置：将仅对与编码深度相应的编码单元样式信息和分层编码单元样式信息中的一个进行编码还是对这两者进行编码。

例如，如果使用与编码深度相应的编码单元样式信息和分层编码单元样式信息两者，则编码单元样式信息输出单元1450可针对从最上层深度到当前编码深度的每个深度设置分层编码单元样式信息，并且可针对与当前编码深度相应的编码单元设置与编码深度相应的编码单元样式信息并对所述编码单元样式信息进行编码。

与编码深度相应的编码单元可包括至少一个变换单元。可分别针对所述至少一个变换单元设置指示纹理信息是否已被编码的变换单元样式信息。例如，变换单元样式信息指示当前变换单元是否包括除了0以外的变换系数。

当变换单元的纹理信息将被编码时，编码单元样式信息输出单元1450可针对每个变换单元设置变换单元样式信息，并且可设置与包括变换单元的编码单元的编码深度相应的编码单元样式信息并对所述编码单元样式信息进行编码。

如果编码深度的编码单元中的所有变换系数不为0，则编码图像数据输出单元1430可不输出编码纹理信息。根据示例性实施例，如果属于与编码深度相应的编码单元的所有变换单元不包括除了0以外的变换系数，则编码单元样式信息输出单元1450不对与编码深度相应的编码单元的变换单元样式信息进行编码。相反，编码单元样式信息输出单元1450可针对与编码深度相应的编码单元设置与编码深度相应的编码单元样式信息并对所述编码单元样式信息进行编码，其中，与编码深度相应的编码单元样式信息指示与编码深度相应的编码单元的纹理信息将不被编码。

可根据图像数据的彩色分量设置与编码深度相应的编码单元样式信息。例如，可针对亮度分量和色度分量两者设置与编码深度相应的编码单元样式信息，或者可针对亮度分量、色度分量、第一色度分量和第二色度分量(更详细的描述见图18至图26)中的每一个来设置与编码深度相应的编码单元样式信息。

可在每个最大编码单元的根据深度的编码单元和变换单元之一中设置被分配了一个或多个比特的编码单元样式信息。

图17是根据示例性实施例的使用编码单元样式信息的视频解码设备1500的框图。参照图17，视频解码设备1500包括接收器1501、提取器1505和图像数据解码器1540。提取器1505包括图像数据获得单元1510、编码信息提取器1520和编码单元样式信息提取器1530。

接收器1501和图像数据解码器1540分别相应于包括在图2的视频解码设备200中的接收器210和图像数据解码器230。图像数据获得单元1510、编码信息提取器1520和图像数据解码器1540的操作与图2的视频解码设备200的图像数据和编码信息提取器220的至少一些操作相同或相似。现在将参照图17描述根据示例性实施例的通过使用由编码单元样式信息提取器1530提取的编码单元样式信息来执行解码的方法。

接收器1501接收并解析编码视频的比特流。提取器1505从解析比特流的结果提取各种类型的编码信息。图像数据获得单元1510可从解析比特流的结果获得已经以最大编码单元为单位被编码的图像数据。编码信息提取器1520解析比特流，随后从当前画面的头提取关于每个最大编码单元的编码深度和编码模式的信息。

编码单元样式信息提取器1530针对每个最大编码单元提取指示最大编码单元的纹理信息是否已被编码的编码单元样式信息。编码单元样式信息提取器1530可提取与编码深度相应的编码单元样式信息和关于当前最大编码单元的分层编码单元样式信息，作为编码单元样式信息。

可以以GOP、画面、像条或最大编码单元为单位来设置：将仅提取与编码深度相应的编码单元样式信息和分层编码单元样式信息中的一个还是提取这两者。

例如，可针对一个根据编码深度的编码单元提取一个单位的与编码深度相应的编码单元样式信息，或者可针对从最上层深度到编码深度的每个深度提取一个单位的分层编码单元样式信息。一个单位的编码单元样式信息可以是预定比特。针对每个最大编码单元，可在根据深度的编码单元或在变换单元中设置一个或多个比特的编码单元样式信息。例如，如果编码单元样式信息具有标记的形式，则一个单位的编码单元样式信息可以是一个比特。

图像数据解码器1540通过基于关于最大编码单元的编码深度和编码模式的信息以及编码单元样式信息对已经以最大编码单元为单位被编码的图像数据进行解码，来重建当前画面。

根据示例性实施例，图像数据解码器1540可基于关于最大编码单元的编码深度和编码模式的信息，检查当前最大编码单元的至少一个编码深度，并可检测包括在当前最大编码单元中的根据树结构的深度的编码单元的分层结构。

此外，图像数据解码器1540还可通过基于关于最大编码单元的编码单元样式信息，对包括在由编码单元样式信息提取器1530提取的最大编码单元的纹理信息中的变换系数执行反变换，来对编码图像数据进行解码。

如果图像数据解码器1540相应于图5的图像解码器500，则包括在编码单元的纹理信息中的变换系数可通过反量化器530和反变换器540被反变换为时域数据。

也就是说，如果编码单元样式信息指示当前编码单元的纹理信息已根据编码单元样式信息被编码，则图像数据解码器1540可接收已从图5的图像解码器500的熵解码器520被熵解码的变换系数，并可对变换系数执行反变换以获得空间域数据。可通过使用图5的图像解码器500的帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580来将时域数据重建为重建帧。

编码单元样式信息提取器1530可检测编码深度的编码样式信息和分层编码样式信息中的至少一个，作为关于当前最大编码单元的根据编码深度的编码单元的编码单元样式信息。

如果根据编码深度的编码样式信息被检测到，则图像数据解码器1540可基于检测到的根据编码深度的编码样式信息来确定对与当前编码深度相应的编码单元进行解码的方法。

例如，如果基于检测到的根据编码深度的编码样式信息确定与当前编码深度相应的编码单元的纹理信息尚未被编码，则图像数据解码器1540可通过参考关于与相应于当前编码深度的编码单元邻近的数据单元的信息，来对与当前编码深度相应的编码单元进行解码。

此外，如果基于检测到的根据编码深度的编码样式信息确定与当前编码深度相应的编码单元的纹理信息已被编码，则图像数据解码器1540可通过对包括在与当前编码深度相应的编码单元的编码纹理信息中的变换系数执行反变换，对与当前编码深度相应的编码单元进行解码。

此外，如果分层编码样式信息被检测到，则图像数据解码器1540可基于检测到的分层编码单元样式信息，确定关于当前变换深度的下层变换深度的分层编码样式信息是否存在，并确定对与当前变换深度相应的变换单元进行解码的方法。

例如，如果基于检测到的与相应于变换深度的当前变换单元相应的分层编码单元样式信息确定关于当前变换深度的下层深度的分层编码样式信息存在，则图像数据解码器1540可检查关于下层变换深度的分层编码样式信息。然而，如果基于检测到的与当前变换单元相应的分层编码单元样式信息确定关于当前变换深度的下层深度的分层编码样式信息不存在，则图像数据解码器1540可对与当前变换深度相应的当前变换单元进行解码。

如果与编码深度相应的编码单元样式信息和分层编码单元样式信息两者被检测到，则图像数据解码器1540可基于关于当前变换深度的分层编码单元样式信息，检查关于当前变换深度的下层变换深度的分层编码样式信息是否已被编码。

如果确定关于下层变换深度的分层编码样式信息存在，则关于下层变换深度的分层编码样式信息可被检查。如果基于与当前变换深度相应的分层编码单元样式信息确定关于下层变换深度的分层编码样式信息不存在，则图像数据解码器1540可基于关于与当前变换深度相应的变换单元的编码单元样式信息，对与当前变换深度相应的变换单元进行解码。

此外，如果当前变换深度是最下层深度或预设最终深度，则可将与当前变换深度相应的变换单元设置为将不管根据变换深度的分层编码样式信息而被解码。如果与当前变换深度相应的变换单元被解码，则纹理信息(例如，量化参数、变换系数、变换索引等)可被解码。

与编码深度相应的编码单元可包括至少一个变换单元，并可通过基于在所述至少一个变换单元中的每一个中设置的变换单元样式信息执行反变换而被解码。也就是说，可基于变换单元样式信息来确定期望的变换单元的纹理信息是否已被编码。

因此，如果基于与编码深度相应的编码单元样式信息确定编码单元已对纹理信息编码，则图像数据解码器1540检查编码单元的每个变换单元的变换单元样式信息。

如果基于变换单元样式信息确定期望的变换单元已对纹理信息编码，则图像数据解码器1540可对期望的变换单元的变换系数执行反变换。如果基于变换单元样式信息确定期望的变换单元没对纹理信息编码，则图像数据解码器1540可通过使用关于与期望的变换单元邻近的变换单元的信息来对期望的变换单元的编码图像数据进行解码。

如果基于与编码深度相应的编码单元模式信息确定期望的变换单元没对纹理信息编码，则关于期望的编码单元的所有变换单元的变换单元样式信息尚未被编码。在这种情况下，图像数据解码器1540可不针对期望的编码单元的每个变换单元检测变换单元样式信息。

在根据示例性实施例的视频编码设备1400和视频解码设备1500中，可使用已基于根据树结构的编码单元以及变换单元被编码的编码单元样式信息或变换单元样式信息。因此，可基于针对具有多个变换单元组的编码单元设置的编码单元样式信息来确定每个变换单元的变换单元样式信息是否已被编码。由于编码单元的数量小于变换单元的数量，因此与针对所有变换单元中的每一个执行变换单元样式信息时相比，针对编码单元中的每一个设置编码单元样式信息减少了数据量，从而提高了比特传输效率。

现在将参照图18至图26描述根据示例性实施例的根据图像数据的彩色分量设置的与编码深度相应的编码单元样式信息。假设在接下来的示例性实施例中，一个单位的编码单元样式信息是1比特，但应该理解另外的示例性实施例不限于此。

图18至图20是示出根据一个或多个示例性实施例的当与编码深度相应的编码单元包括一个变换单元时与编码深度相应的编码单元样式信息的框图。

参照图18至图20，根据YCbCr彩色标准的彩色图像数据的第一编码单元包括亮度分量编码单元1600、第一色度分量编码单元1610和具有第二色度分量的第二色度分量编码单元1620。

如果第一编码单元的变换单元在大小上等于第一编码单元，则第一编码单元仅包括一个变换单元。因此，第一编码单元的变换单元包括亮度分量变换单元1605、第一色度分量变换单元1615和第二色度分量变换单元1625。可针对亮度分量变换单元1605、第一色度分量变换单元1615和第二色度分量变换单元1625中的每一个设置变换单元样式信息。

参照图18，不针对第一编码单元额外对与编码深度相应的编码单元样式信息进行编码。在这种情况下，图16的编码单元样式信息输出单元1450不输出第一编码单元的与编码深度相应的编码单元样式信息。图17的图像数据解码器1540可仅检查亮度分量变换单元1605、第一色度分量变换单元1615和第二色度分量变换单元1625中的每一个的变换单元样式信息，并基于检查结果，在不检查第一编码单元的与编码深度相应的编码单元样式信息的情况下，对亮度分量变换单元1605、第一色度分量变换单元1615和第二色度分量变换单元1625的变换系数执行反变换。

参照图19，针对第一编码单元的亮度分量变换单元1600、第一色度分量变换单元1610和第二色度分量变换单元1620所属的组1630，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450输出第一编码单元的1比特的与编码深度相应的编码单元样式信息。

参照图20，针对第一编码单元的亮度分量编码单元1600所属的组1640以及第一编码单元的第一色度分量编码单元1610和第二色度分量编码单元1620所属的组1650中的每一个，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450输出第一编码单元的2比特的与编码深度相应的编码单元样式信息。

根据示例性实施例，图17的图像数据解码器1540可通过针对第一编码单元检查图19的1比特的与编码深度相应的编码单元样式信息或图20的2比特的与编码深度相应的编码单元样式信息，来确定期望的编码单元是否包括编码的纹理信息。如果期望的编码单元包括编码纹理信息，则图17的图像数据解码器1540可检查相应变换单元的变换单元样式信息，并且基于检查结果对相应变换系数执行反变换。

图21至图23示出根据示例性实施例的当与编码深度相应的编码单元包括四个变换单元时与编码深度相应的编码单元样式信息。参照图21至图23，根据YCbCr彩色标准的彩色图像数据的第二编码单元包括亮度分量编码单元1700、第一色度分量编码单元1710和第二色度分量编码单元1720。

如果第二编码单元包括四个变换单元，则第二编码单元的根据彩色分量分类的每个编码单元也包括四个变换单元。也就是说，亮度分量编码单元1700包括四个亮度分量变换单元1702、1704、1706和1708，第一色度分量编码单元1710包括四个第一色度分量变换单元1712、1714、1716和1718，第二色度分量编码单元1720包括四个第二色度分量变换单元1722、1724、1726和1728。

参照图21，针对仅第二编码单元的亮度分量编码单元1700所属的组1730，设置1比特的与编码深度相应的编码单元样式信息。然而，不针对第一色度分量编码单元1710和第二色度分量编码单元1720设置与编码深度相应的编码单元样式信息。

在这种情况下，图16的编码单元样式信息输出单元1450输出关于亮度分量编码单元1700的1比特的与编码深度相应的编码单元样式信息。因此，图17的图像数据解码器1540检查关于亮度分量编码单元1700的1比特的与编码深度相应的编码单元样式信息，并确定在亮度分量编码单元1700中是否存在编码纹理信息。如果确定编码纹理信息存在，则图像数据解码器1540可检查亮度分量变换单元1702、1702、1706和1708的变换单元样式信息，并基于检查结果对变换单元1702、1704、1706和1708的变换系数执行反变换。

可选地，图像数据解码器1540可仅检查第一色度分量变换单元1712、1714、1716和1718以及第二色度分量变换单元1722、1724、1726和1728的变换单元样式信息，并且可基于检查结果，在不检查第二编码单元的第一色度分量1710和第二色度分量1720的与编码深度相应的编码单元样式信息的情况下，对变换单元1712、1714、1716、1718、1722、1724、1726和1728的变换系数执行反变换。

参照图22，针对第二编码单元的亮度分量编码单元1700、第一色度分量编码单元1710和第二色度分量编码单元1720所属的组1740，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450输出第二编码单元的1比特的与编码深度相应的编码单元样式信息。

参照图23，针对第二编码单元的亮度分量编码单元1700所属的组1750、第二编码单元的第一色度分量编码单元1710所属的组1760以及第二编码单元的第二色度分量编码单元1720所属的组1770中的每一个，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450输出第二编码单元的3比特的与编码深度相应的编码单元样式信息。

图17的图像数据解码器1540可通过针对第二编码单元检查1比特的与编码深度相应的编码单元样式信息(见图22)或3比特的与编码深度相应的编码单元样式信息(见图23)，来确定在编码单元中是否存在编码纹理信息。如果确定编码纹理信息存在，则图像数据解码器1540可检查与编码单元相应的变换单元的变换单元样式信息，并基于检查结果对变换单元的变换系数执行反变换。

图24至图26示出根据示例性实施例的当与编码深度相应的编码单元包括多个变换单元时与编码深度相应的编码单元样式信息。参照图24至图26，根据YCbCr标准的彩色图像数据的第三编码单元包括亮度分量编码单元1800、第一色度分量编码单元1820和第二色度分量编码单元1830。

如果第三编码单元包括至少四个变换单元，则第三编码单元的亮度分量编码单元1800也包括至少四个变换单元。也就是说，亮度分量编码单元1800的变换单元的数量等于第三编码单元的变换单元的数量。例如，如果第三编码单元包括十六个变换单元，则亮度分量编码单元1800也包括十六个亮度分量变换单元1801、1802、1803、1804、1805、1806、1807、1808、1809、1810、1811、1812、1813、1814、1815和1816。

第一色度分量编码单元1820和第二色度分量编码单元1830中的每一个可包括四个变换单元。也就是说，第一色度分量编码单元1810可包括四个第一色度分量变换单元1822、1824、1826和1828，第二色度分量编码单元1830可包括四个第二色度分量变换单元1832、1834、1836和1838。

可针对预定数量的亮度分量变换单元所属的组，将一个单位的与编码深度相应的编码单元样式信息设置为与亮度分量编码单元1800的一部分的编码深度相应的编码单元样式信息。例如，可针对亮度分量编码单元800的四个亮度分量变换单元所属的组中的每一个，设置与编码深度相应的编码单元样式信息。也就是说，在亮度分量编码单元1800中，可针对四个变换单元1801、1802、1803和1804所属的组1840、四个变换单元1805、1806、1807和1808所属的组1850、四个变换单元1809、1810、1811和1812所属的组1860和四个变换单元1813、1814、1815和1816所属的组1870中的每一个，设置1比特的编码单元样式信息。

参照图24，不针对第一色度分量编码单元1820和第二色度分量编码单元1830设置与编码深度相应的编码单元样式信息。

在这种情况下，图16的编码单元样式信息输出单元1450针对亮度分量编码单元1800的组1840、1850、1860和1870输出4比特的与编码深度相应的编码样式信息。图17的图像数据解码器1540检查4比特的与编码深度相应的编码样式信息，并确定组1840、1850、1860和1870中的每一个是否存在编码纹理信息。

可选地，图像数据解码器1540可检查第一色度分量变换单元1822、1824、1826和1828以及第二色度分量变换单元1832、1834、1836和1838的变换单元样式信息，而不针对第一色度分量1820和第二色度分量编码单元1830检查与编码深度相应的样式信息。

参照图25，在第三编码单元中，针对多个亮度分量编码单元组1840、1850、1860和1870、第一色度分量编码单元1820所属的组1880以及第二色度分量编码单元1830所属的组1885中的每一个，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450针对第三编码单元输出6比特的与编码深度相应的编码单元样式信息。

参照图26，在第三编码单元中，针对多个亮度分量编码单元组1840、1850、1860和1870、第一色度分量编码单元1820和第二色度分量编码单元1830所属的组1890中的每一个，设置1比特的与编码深度相应的编码单元样式信息。在这种情况下，图16的编码单元样式信息输出单元1450针对第三编码单元输出5比特的与编码深度相应的编码单元样式信息。

图17的图像数据解码器1540通过针对第三编码单元检查6比特的与编码深度相应的编码单元样式信息(见图25)或5比特的与编码深度相应的编码单元样式信息(见图26)，来确定该编码单元是否存在编码纹理信息。如果确定编码纹理信息存在，则图像数据解码器1540可检查包括在编码单元中的变换单元的变换单元样式信息，并基于检查结果对变换单元的变换系数执行反变换。

如上所述，根据一个或多个示例性实施例，可针对彩色分量中的每一个设置编码单元样式信息，并且对相同编码单元的根据彩色分量分类的多条编码单元样式信息进行合并和编码。

在根据示例性实施例的视频编码设备100和视频解码设备200中，可基于关于相同编码单元的亮度分量、第一色度分量和第二色度分量的编码单元样式信息之间的关系以及关于邻近编码单元的相同彩色分量的编码单元样式信息之间的关系，以整体方式对根据彩色分量分类的多条编码单元样式信息进行编码或解码。

例如，对于当前编码单元的可变长编码(VLC)，可使用一个码字来合并关于亮度分量的编码单元样式信息、关于第一色度分量的编码单元样式信息和关于第二色度分量的编码单元样式信息并对其进行编码。

此外，以示例的方式，可以以这样的方式设置VLC表：不同的一元码字分别相应于根据彩色分量分类的多条编码单元样式信息的组合。因此，可以以整体方式对所述多条编码单元样式信息进行编码。可以以这样的方式选择VLC表：一元码字越短，所述多条编码单元样式信息的组合的概率越高。

如上所述，可通过基于相同编码单元的根据彩色分量分类的多条编码单元样式信息之间的关系以及邻近编码单元的相同彩色分量的多条编码单元样式信息之间的关系，以整体方式对根据彩色分量分类的多个编码单元样式信息进行编码或解码，来提高编码效率。

根据示例性实施例，在与编码深度相应的编码单元中设置与编码深度相应的编码单元样式信息，在从与编码深度相应的编码单元中划分的根据变换深度的变换单元中设置分层编码单元样式信息，在最终变换单元中设置变换单元样式信息。

因此，可基于根据示例性实施例的编码单元和变换单元的分层结构，相继定义与编码深度相应的编码单元样式信息、分层编码单元样式信息和变换单元样式信息。

因此，在根据示例性实施例的视频编码设备100和视频解码设备200中，可通过使用根据变换深度分层设置的一条数据单元样式信息，在不对与编码深度相应的编码单元样式信息、分层编码单元样式信息和变换单元样式信息相互区分的情况下，确定从编码单元到变换单元所包括的纹理分量是否已被编码，其中，所述纹理分量不为0。

图27是示出根据示例性实施例的分层编码单元样式信息的示图。参照图27，针对最大编码单元1900设置变换单元1912、1914、1916、1918、1920、1930、1942、1944、1946、9148、1954、1956和1958，其中，所述变换单元1912、1914、1916、1918、1920、1930、1942、1946、9148、1954、1956和1958的大小分别根据相应的变换深度被确定。

例如，与变换深度0相应的变换单元在大小上等于最大编码单元1900，虽然图27中示出的最大编码单元1900不包括与变换深度0相应的变换单元。

变换单元1920和1930等于将与变换深度0相应的变换单元的高和宽划分为两等份的结果，并相应于变换深度1。类似地，变换单元1912、1914、1916、1918、1954、1956和1958相应于变换深度2，变换单元1942、1944、1946和1948相应于变换深度3。

分层编码单元样式信息指示关于下层变换深度的分层编码单元样式信息是否将被编码。此外，分层编码单元样式信息可显示出下层变换深度的纹理信息是否已被编码。

最大编码单元1900不包括与变换深度0相应的变换单元，并且使用与比变换深度0更低的变换深度1相应的变换单元的纹理信息。因此，针对变换深度0设置1比特的分层编码单元样式信息1960。

关于变换深度1，以变换深度1对变换单元1920和1930进行解码，因此，可不对与比变换深度1更低的变换深度2相应的变换单元的纹理信息进行编码。此外，可不设置关于变换深度2的分层编码单元样式信息。因此，针对变换单元1920和1930中的每一个提供1比特的关于变换深度1的分层编码单元样式信息，所述1比特的关于变换深度1的分层编码单元样式信息指示关于变换深度2的分层编码单元样式信息的纹理信息是否可被编码。

然而，针对与变换深度2相应的变换单元1912、1914、1916和1918所属的与变换深度1相应的组以及变换单元1942、1944、1946、1948、1954、1956和1958所属的与变换深度1相应的组中的每一个，将对与比变换深度1更低的变换深度2相应的变换单元的纹理信息进行编码。因此，针对所述组中的每一个，可对关于变换深度2的编码单元样式信息进行编码，并设置1比特的关于变换深度1的分层编码单元样式信息，从而指示这个事实。

因此，针对变换深度1设置总共4比特的分层编码单元样式信息1970。

关于变换深度2，可以以变换深度2对变换单元1912、1914、1916、1918、1954、1956和1958进行解码。为此，可不对与比变换深度2更低的变换深度3相应的变换单元的纹理信息进行编码，因此，可不设置关于变换深度3的分层编码单元样式信息。因此，可针对变换单元1912、1914、1916、1918、1954、1956和1958中的每一个设置1比特的关于变换深度2的分层编码单元样式信息，以指示可不对关于变换深度3的分层编码单元样式信息进行编码。

然而，可针对变换单元1942、1944、1946和1948所属的与变换深度2相应的组，对与变换深度3相应的变换单元的信息进行编码。因此，可对关于变换深度3的编码单元样式信息进行编码，并可设置1比特的关于变换深度2的分层编码单元样式信息，从而指示这个事实。

因此，可针对变换深度2，设置总共8比特的分层编码单元样式信息1980。

变换深度3是最终变换深度，因此，可针对变换单元1942、1944、1946和1948中的每一个，可设置1比特的关于变换深度3的分层编码单元样式信息，以指示可不对关于下层变换深度的分层编码单元样式信息进行编码。因此，可针对变换深度3设置总共4比特的分层编码单元样式信息1990。

图28是示出根据示例性实施例的通过使用编码单元样式信息来对视频数据进行编码的方法的流程图。参照图28，在操作2010，当前画面被划分为至少一个最大编码单元。在操作2020，通过对至少一个划分的区域进行编码确定用于输出根据所述至少一个划分的区域的最终编码结果的编码深度，其中，所述至少一个划分的区域通过根据深度对所述至少一个最大编码单元中的每一个的区域进行划分而获得，此外，根据树结构的编码单元被确定。

在操作2030，输出针对所述至少一个最大编码单元中的每一个根据一个编码深度对图像数据进行编码的结果以及对关于编码深度和编码模式的信息进行编码的结果。

与编码深度相应的编码单元样式信息可被编码为所述至少一个最大编码单元的编码单元样式信息，其中，与编码深度相应的编码单元样式信息指示所述至少一个最大编码单元的根据编码深度的编码单元的纹理信息是否已被编码。如果分层编码单元样式信息根据变换深度被分层编码，则多条与变换深度相应的分层编码单元样式信息中的每一条指示关于比相应变换深度更低的变换深度的分层编码单元样式信息是否已被编码。

图29是示出根据示例性实施例的通过使用编码单元样式信息对视频数据进行解码的方法的流程图。参照图29，在操作2110，接收并解析编码视频的比特流。

在操作2120，从解析的比特流提取被分配给至少一个最大编码单元的当前画面的图像数据、关于所述至少一个最大编码单元的每一个的根据树结构的编码单元的编码深度的信息以及关于编码模式的信息。此外，基于所述至少一个最大编码单元提取指示最大编码单元的纹理信息是否已被编码的编码单元样式信息。关于每个最大编码单元的根据编码深度的编码单元的与编码深度相应的编码单元样式信息以及分层编码单元样式信息可被提取作为所述至少一个最大编码单元的编码单元样式信息。

在操作2130，基于所述至少一个最大编码单元的编码深度、关于编码模式的信息以及关于编码单元样式信息的信息，对与所述至少一个最大编码单元相应的编码图像数据进行解码，从而重建所述图像数据。可基于与编码深度相应的编码单元样式信息确定与编码深度相应的编码单元的纹理信息是否已被编码。此外，可基于关于每个变换深度的分层编码单元样式信息确定关于下层变换深度的分层编码单元样式信息是否已被编码。

在与编码深度相应的编码单元中，可通过基于变换单元的变换单元样式信息对变换系数执行反变换对在变换单元中编码的数据进行解码。

通常，在现有技术的视频编码/解码方法中，当对图像数据执行变换或反变换时，16×16或8×8的宏块被用作变换单元。在编码处理期间，编码块样式信息以宏块为基础被编码和发送，并被用于解码处理。

相反，根据上述的示例性实施例，使用基于分层构造的编码单元和变换单元的编码单元样式信息。因此，可以以大于宏块的编码单元或作为不同大小的数据单元的编码单元对编码单元样式信息进行编码。此外，可按照整体方式以下述编码单元对编码单元样式信息进行编码，其中所述编码单元包括根据树结构的多个分层构造的变换单元。因此，可提高对编码单元样式信息进行编码/解码以及发送编码单元样式信息的效率。

一个或多个示例性实施例可被实现为计算机程序。计算机程序可被存储在计算机可读记录介质，并使用通用数字计算机被执行。计算机可读介质的示例包括磁记录介质(ROM、软盘、硬盘等)和光记录介质(CD-ROM、DVD等)。

虽然已具体示出并描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离权利要求限定的本发明构思的精神和范围的情况下，可对其进行形式和细节上的各种改变。示例性实施例应被视为仅是说明的意义，而不是为了限制的目的。因此，本发明构思的范围不是由示例性实施例的详细的描述所限定，而是由权利要求限定，并且在所述范围内的所有变化将被解释为包括在本发明构思中。

Claims (15)

1.一种对视频进行解码的方法，所述方法包括：

接收并解析编码视频的比特流；

从比特流提取被分配给当前画面的最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息、关于编码模式的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；

基于提取的关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

2.如权利要求1所述的方法，其中，对编码图像数据进行解码的步骤包括：根据编码单元样式信息指示最大编码单元的纹理信息是否已被编码，通过从编码纹理信息提取变换系数信息来执行反变换。

3.如权利要求1所述的方法，其中：

编码单元样式信息包括针对与最大编码单元的编码深度相应的编码单元设置的与编码深度相应的编码单元样式信息；对编码图像数据进行解码的步骤包括：基于与编码深度相应的编码单元样式信息，对与编码深度相应的编码单元进行解码。

4.如权利要求1所述的方法，其中：

最大编码单元包括用于对最大编码单元执行变换的变换单元；

变换单元根据至少一个变换深度被分层划分；

编码单元样式信息包括当与第一深度相应的变换单元被划分为四个比第一深度更低的第二深度的变换单元时针对所述至少一个变换深度设置的分层编码单元样式信息；

关于第一深度的第一分层编码单元样式信息指示关于第二深度的第二分层编码单元样式信息是否已被编码。

5.如权利要求4所述的方法，其中，对与第一变换深度相应的变换单元进行解码的步骤包括：根据第一分层编码单元样式信息指示关于第二深度的第二分层编码样式信息是否存在，基于关于与编码深度相应的编码单元的编码单元样式信息，对与第一变换深度相应的变换单元进行解码。

6.如权利要求1所述的方法，其中，对编码图像数据进行解码的步骤包括：根据编码单元样式信息指示最大编码单元的纹理信息是否已被编码，提取指示包括在与编码深度相应的编码单元中的变换单元的纹理信息是否已被编码的变换单元样式信息，并对变换单元进行解码。

7.一种对视频进行编码的方法，所述方法包括：

将视频的当前画面划分为最大编码单元；

基于与最大编码单元的区域被划分的次数成比例地加深的深度，通过对至少一个划分的区域进行编码来确定用于输出根据所述至少一个划分的区域的最终编码结果的编码深度，其中，通过根据深度对最大编码单元的区域进行划分来获得所述至少一个划分的区域；

输出作为根据所述至少一个划分的区域的最终编码结果的图像数据，对关于最大编码单元的编码深度和编码模式的信息以及编码单元样式信息进行编码和输出，

其中，编码单元样式信息指示最大编码单元的纹理信息是否已被编码。

8.如权利要求7所述的方法，其中，输出图像数据的步骤包括：基于最大编码单元的纹理信息的所有变换系数是否是0，来设置编码单元样式信息并对所述编码单元样式信息进行编码。

9.如权利要求7所述的方法，其中，输出图像数据的步骤包括：基于与编码深度相应的编码单元的的所有变换系数是否是0，来设置与编码深度相应的编码单元样式信息并对编码单元样式信息进行编码。

10.如权利要求7所述的方法，其中：

最大编码单元包括用于对最大编码单元执行变换的变换单元；

变换单元根据至少一个变换深度被分层划分；

输出图像数据的步骤包括：当与第一深度相应的变换单元包括四个比第一深度更低的第二深度的变换单元时，针对所述至少一个变换深度设置中的每一个对分层编码单元样式信息进行编码；

关于第一深度的第一分层编码单元样式信息指示关于第二深度的第二分层编码单元样式信息是否已被编码。

11.如权利要求7所述的方法，其中，输出编码单元样式信息的步骤包括：设置用于对与编码深度相应的编码单元的纹理信息编码或者不编码的编码单元样式信息，并根据与编码深度相应的编码单元的所有变换系数是否是0，来确定将设置或不设置变换单元样式信息。

12.一种用于对视频进行解码的设备，所述设备包括：

接收器，接收并解析编码视频的比特流；

提取器，从比特流提取被分配给当前画面的最大编码单元的当前画面的编码图像数据、关于最大编码单元的编码深度的信息、关于编码模式的信息以及指示最大编码单元的纹理信息是否已被编码的编码单元样式信息；

图像数据解码器，基于提取的关于最大编码单元的编码深度的信息、关于编码模式的信息以及编码单元样式信息，对最大编码单元的编码图像数据进行解码。

13.一种用于对视频进行编码的设备，所述设备包括：

最大编码单元划分器，将视频的当前画面划分为最大编码单元；

视频单元确定器，基于与最大编码单元的区域被划分的次数成比例地加深的深度，通过对至少一个划分的区域进行编码来确定用于输出根据所述至少一个划分的区域的最终编码结果的编码深度，其中，通过根据深度对最大编码单元的区域进行划分来获得所述至少一个划分的区域；

输出单元，输出作为根据所述至少一个划分的区域的最终编码结果的图像数据，对关于最大编码单元的编码深度和编码模式的信息以及编码单元样式信息进行编码和输出，

其中，编码单元样式信息指示最大编码单元的纹理信息是否已被编码。

14.一种计算机可读记录介质，所述计算机可读记录介质记录有用于执行根据权利要求1的对视频进行解码的方法的计算机程序。

15.一种计算机可读记录介质，所述计算机可读记录介质记录有用于执行根据权利要求7的对视频进行编码的方法的计算机程序。

Images