CN104469364B - 对图像编码的方法和设备及对图像解码的方法和设备 - Google Patents

Abstract

提供了一种对图像编码的方法和设备及对图像解码的方法和设备。对图像进行编码的方法，所述方法包括：将当前画面划分为至少一个最大编码单位；通过基于根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式和分块；根据每个编码单位设置跳过信息和关于包括每个编码单位的上级深度的编码单位的划分的划分信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。

Description

对图像编码的方法和设备及对图像解码的方法和设备

本申请是申请日为2010年07月23日，申请号为“201080034035.7”，标题为“对图像编码的方法和设备及对图像解码的方法和设备”的发明专利申请的分案申请。

技术领域

本发明涉及对图像进行编码和解码。

背景技术

图像预测编码方法的示例包括帧内预测方法和帧间预测方法。帧内预测方法是一种基于单个帧中的相邻像素的相关性的预测方法。帧间预测方法是一种经由运动预测和补偿来预测与从相邻帧编码的数据相似的区域的方法。

通常，一个块的运动矢量与相邻块的运动矢量具有紧密相关性。因此，通过从相邻块预测当前块的运动矢量，并仅对当前块的运动矢量与预测运动矢量之间的差别运动矢量进行编码，可减少在编码期间产生的比特量。

跳过模式是在宏块的运动矢量与通过使用相邻块的运动矢量预测的预测运动矢量相同时并且预测错误足够小时选择的模式。当跳过模式被选择作为宏块的预测模式时，编码器仅发送关于宏块的跳过模式的信息，且不发送残差数据。解码器可通过使用从与宏块相邻的块预测的预测运动矢量对以跳过模式编码的宏块执行运动补偿来恢复所述宏块。

技术问题

本发明所要解决的技术问题是提供一种用于对图像进行编码和解码的方法和设备，其中，所述方法和设备有效地发送关于基于不同大小的分层编码单位而编码的图像的划分结构的信息以及关于每个编码单位的跳过模式的信息。

技术方案

本发明提供了一种用于对图像进行编码和解码的方法和设备，其中，所述方法和设备有效地发送关于基于不同大小的分层编码单位而编码的图像的划分结构的信息以及关于每个编码单位的跳过模式的信息。

有益效果

本发明可提供用于对图像进行编码和解码的方法和设备，其中，所述方法和设备有效地发送关于基于不同大小的分层编码单位而编码的图像的划分结构的信息以及关于每个编码单位的跳过模式的信息。

附图说明

图1是根据本发明的实施例的用于对图像编码的设备的框图；

图2是根据本发明的实施例的用于对图像解码的设备的框图；

图3是用于描述根据本发明的实施例的分层编码单位的概念的示图；

图4是根据本发明的实施例的基于编码单位的图像编码器的框图；

图5是根据本发明的实施例的基于编码单位的图像解码器的框图；

图6是示出根据本发明的实施例的根据深度的较深编码单位以及预测单位的示图；

图7是用于描述根据本发明的实施例的编码单位和变换单位之间的关系的示图；

图8是用于描述根据本发明的实施例的与编码深度相应的编码单位的编码信息的示图；

图9是根据本发明的实施例的根据深度的较深编码单位的示图；

图10至图12是用于描述根据本发明的实施例的编码单位、预测单位和频率变换单位之间的关系的示图；

图13是用于描述根据本发明的实施例的在编码单位、预测单位或分块与变换单位之间的关系的示图；

图14是根据本发明的实施例的基于较深编码单位而确定的最大编码单位的划分结构的示图；

图15是用于描述图14的具有深度2的编码单位的划分信息的示图；

图16是用于描述图14的具有深度3的编码单位的划分信息的示图；

图17是用于描述根据本发明的实施例的编码单位的处理顺序的示图；

图18是示出根据本发明的实施例的对图像进行编码的方法的流程图；

图19是示出根据本发明的另一实施例的对图像进行编码的方法的流程图；

图20是示出根据本发明的实施例的对图像进行解码的方法的流程图；

图21是示出根据本发明的实施例的根据对图像进行解码的方法，对最大解码单位进行划分的处理以及对跳跃信息进行解码的处理的流程图；

图22是示出根据本发明的另一实施例的对图像进行解码的方法的流程图；

图23是示出根据本发明的另一实施例的根据对图像进行解码的方法，对最大解码单位进行划分的处理以及对跳跃信息进行解码的处理的流程图。

最佳方式

根据本发明的一方面，提供了一种对图像进行编码的方法，所述方法包括：将当前画面划分为至少一个最大编码单位；通过基于随着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式；根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息；根据每个编码单位设置表示确定的预测信息是否是跳过模式的跳过信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。

根据本发明的另一方面，提供了一种对图像进行编码的方法，所述方法包括：将当前画面划分为至少一个最大编码单位；通过基于随着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，来确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式；根据每个编码单位设置表示每个编码单位的预测模式和包括每个编码单位的上级深度的预测模式中的每一个是否是跳过模式的跳过信息；根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息；对根据每个编码单位设置的划分信息和跳过信息进行编码。

根据本发明的另一方面，提供了一种对图像进行解码的方法，所述方法包括：从图像数据提取关于包括将被解码的当前解码单位的上级深度的解码单位的划分的划分信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；从图像数据提取表示当前解码单位的预测模式是否是跳过模式的跳过信息；根据划分信息确定包括当前解码单位的最大解码单位的划分结构；根据跳过信息确定当前解码单位的预测模式是否是跳过模式。

根据本发明的另一方面，提供了一种对图像进行解码的方法，所述方法包括：从图像数据提取表示将被解码的当前解码单位的预测模式和包括当前解码单位的上级深度的解码单位的预测模式中的每一个是否是跳过模式的跳过信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；提取关于包括当前解码单位的上级深度的解码单位的划分的划分信息；根据提取的跳过信息确定当前解码单位的预测模式和上级深度的解码单位的预测模式中的每一个是否是跳过模式；根据划分信息确定包括当前解码单位的最大解码单位的划分结构。

根据本发明的另一方面，提供了一种对图像进行编码的设备，所述设备包括：最大编码单位划分器，将当前画面划分为至少一个最大编码单位；编码深度确定器，通过基于随着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式；编码信息编码单元，根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息，根据每个编码单位设置表示确定的预测信息是否是跳过模式的跳过信息，并对设置的划分信息和跳过信息进行编码。

根据本发明的另一方面，提供了一种对图像进行编码的设备，所述设备包括：最大编码单位划分器，将当前画面划分为至少一个最大编码单位；编码深度确定器，通过基于随着深度加深而分层划分的根据深度的较深编码单位对所述至少一个最大编码单位的图像数据进行编码，来确定所述至少一个最大编码单位的划分结构和每个编码单位的预测模式；编码信息编码单元，根据每个编码单位设置表示每个编码单位的预测模式和包括每个编码单位的上级深度的预测模式中的每一个是否是跳过模式的跳过信息；根据每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息；对设置的划分信息和跳过信息进行编码。

根据本发明的另一方面，提供了一种对图像进行解码的设备，所述设备包括：编码信息提取器，从图像数据提取关于包括将被解码的当前解码单位的上级深度的解码单位的划分的划分信息和表示当前解码单位的预测模式是否是跳过模式的跳过信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；解码单元，根据划分信息确定包括当前解码单位的最大解码单位的划分结构并根据跳过信息确定当前解码单位的预测模式是否是跳过模式。

根据本发明的另一方面，提供了一种对图像进行解码的设备，所述设备包括：编码信息提取器，从图像数据提取表示将被解码的当前解码单位的预测模式和包括当前解码单位的上级深度的解码单位的预测模式中的每一个是否是跳过模式的跳过信息和关于包括当前解码单位的上级深度的解码单位的划分的划分信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位对所述图像数据进行编码；解码单元，根据提取的跳过信息确定当前解码单位的预测模式和上级深度的解码单位的预测模式中的每一个是否是跳过模式，并根据划分信息确定包括当前解码单位的最大解码单位的划分结构。

具体实施方式

在下文中，将参照附图更充分地描述本发明，在附图中示出本发明的示例性实施例。

图1是根据本发明的实施例的图像编码设备100的框图。

参照图1，根据当前实施例的图像编码设备100包括最大编码单位划分器110、编码深度确定器120、图像数据编码单元130和编码信息编码单元140。

最大编码单位划分器110可基于最大编码单位对当前画面(picture)或当前像条(slice)进行划分。当前画面或当前像条被划分为至少一个最大编码单位。根据本发明的实施例的最大编码单位可以是具有32×32、64×64、128×128、256×256等的大小的数据单位，其中，所述数据单位的结构是具有2的平方的宽度和长度的正方形，所述宽度和长度大于8。根据至少一个最大编码单位，图像数据可被输出到编码深度确定器120。

根据本发明的实施例的编码单位可由最大编码单位和深度来表现。最大编码单位表示当前画面的编码单位中具有最大大小的编码单位，所述深度表示从最大编码单位空间划分编码单位的次数。随着深度加深，根据深度的较深编码单位(deeper coding unit)可从最大编码单位被划分为最小编码单位。最大编码单位的深度是最上的深度，最小编码单位的深度是最下的深度。由于与每个深度相应的编码单位的大小随着最大编码单位的深度的加深而减小，因此与上级深度相应的编码单位可包括与下级深度相应的多个编码单位。

如上所述，当前画面的图像数据根据编码单位的最大大小被划分为最大编码单位，最大编码单位的每一个可包括根据深度而划分的较深编码单位。由于根据本发明的实施例的最大编码单位根据深度被划分，因此可根据深度对包括在最大编码单位中的空域的图像数据分层地分类。

限制最大编码单位的高度和宽度被分层划分的总次数的编码单位的最大深度和最大大小可被预先确定。这样的最大编码单位和最大深度可以以画面或像条单位被设置。换句话说，可针对每个画面或像条设置不同的最大编码单位和不同的编码深度，并且包括在最大编码单位中的最小编码单位的大小可根据最大深度而被不同的设置。这样，通过根据画面或像条不同地设置最大编码单位和最大深度，可通过使用最大编码单位对平坦区域的图像进行编码来提高编码效率，并且可通过使用具有比最大编码单位更小的大小的编码单位对具有高复杂度的图像进行编码来提高图像的压缩效率。

编码单位确定器120根据最大编码单位确定深度。可基于率失真(R-D)成本计算来确定所述深度。详细地，编码深度确定器120对通过根据深度对最大编码单位的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换句话说，编码深度确定器120通过根据当前画面的最大编码单位，对根据深度的较深编码单位中的图像数据进行编码，并选择具有最小编码错误的深度来确定编码深度。确定的最大深度被输出到编码信息编码单元140，并且根据最大编码单位的图像数据被输出到图像数据编码单元130。

基于与等于或小于最大深度的至少一个深度相应的较深编码单位来对最大编码单位中的图像数据进行编码，并基于较深编码单位中的每一个来比较对图像数据进行编码的结果。在对较深编码单位的编码错误进行比较之后可选择具有最小编码错误的深度。可针对每个最大编码单位选择至少一个编码深度。

随着编码单位根据深度被分层划分并且随着编码单位的数量增加，最大编码单位的大小被划分。另外，通过单独测量图像数据的编码错误，一个最大编码单位中与相同深度相应的编码单位可被划分为下级深度的编码单位。因此，即使图像数据被包括在一个最大编码单位中，编码错误也会根据所述一个最大编码单位中的区域而不同，因此编码深度会根据图像数据中的区域而不同。换句话说，最大编码单位可被划分为根据不同深度具有不同大小的编码单位。因此，在一个最大编码单位中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单位来划分最大编码单位的图像数据。

因此，根据本发明的实施例的编码单位确定器120可确定包括在最大编码单位中的具有树形结构的编码单位。根据本发明的实施例的“具有树形结构的编码单位”包括所述最大编码单位中所包括的所有较深编码单位中与被确定为编码深度的深度相应的编码单位。可在最大编码单位的相同区域中根据深度来分层确定编码深度的编码单位，并且可在不同区域中独立确定编码深度的编码单位。类似地，当前区域中的编码深度可与另一区域中的编码深度被相互独立地确定。

根据本发明的实施例的最大深度是与从最大编码单位到最小编码单位的划分次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单位到最小编码单位的总划分次数。根据本发明的实施例的第二最大深度可表示从最大编码单位到最小编码单位的深度级(depth level)的总数。例如，当最大编码单位的深度为0时，最大编码单位被划分一次的编码单位的深度可被设置为1，并且最大编码单位被划分两次的编码单位的深度可被设置为2。这里，如果最小编码单位是最大编码单位被划分四次的编码单位，则存在深度0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

还可根据最大编码单位，基于根据等于或小于最大深度的深度的较深编码单位来执行最大编码单位的预测编码和频率变换。换句话说，图像编码设备100可不同地选择用于对图像数据进行编码的数据单位的大小和结构。为了对图像数据进行编码，执行诸如预测、频率变换和熵编码的操作，并且同时可针对所有操作使用相同的数据单位或者针对每个操作使用不同的数据单位。

例如，图像编码设备100可选择与编码单位不同的数据单位，以预测编码单位。为了以最大编码单位执行预测编码，可基于与编码深度相应的编码单位(即，基于不再被划分为与下级深度相应的编码单位的编码单位)来执行预测编码。在下文中，变为用于预测的基本单位的编码单位现在将被称为“预测单位”。通过对预测单位进行划分获得的分块(partition)可包括通过对预测单位的高度和宽度中的至少一个进行划分而获得的预测单位或数据单位。

例如，当2N×2N的编码单位(其中N是正整数)不再被划分并变为2N×2N的预测单位时，分块的大小可以是2N×2N、2N×N、N×2N或N×N。分块类型的示例可包括：通过对预测单位的高度或宽度进行对称划分而获得的对称分块、通过对预测单位的高度或宽度进行非对称划分(诸如1:n或n:1)而获得的分块、通过对预测单位进行几何划分而获得的分块、以及具有任意结构的分块。

预测单位的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分块执行帧内模式或帧间模式。另外，可仅对2N×2N的预测单位执行跳过模式。如果编码单位包括多个预测单位，则对编码单位中的每个预测单位独立地执行编码，从而选择具有最小编码错误的预测模式。

可选择地，图像编码设备100可基于具有与编码单位不同大小的数据单位来频率变换图像数据。为了频率变换编码单位，可基于具有小于或等于编码单位的大小的数据单位来执行频率变换。在下文中，用作频率变换的基的数据单位现在将被称为“变换单位”。与编码单位相似，编码单位中的变换单位可被递归地划分为较小大小的变换单位，因此，可根据具有根据变换深度的树形结构的变换来对编码单位中的残差数据进行划分。

还可在变换单位中设置根据本发明的实施例的变换深度，其中，所述变换深度指示通过对编码单位的高度和宽度进行划分以达到变换单位的划分次数。例如，在当前的2N×2N的编码单位中，当变换单位的大小也是2N×2N时，变换深度可以是0；当变换单位的大小是N×N时，变换深度可以是1；当变换单位的大小是N/2×N/2时，变换深度可以是2。换句话说，具有根据变换深度的树形结构的变换单位可被设置。根据编码深度的编码信息不仅需要关于编码深度的信息、还需要关于与预测编码和频率变换相关的信息的信息。因此，编码深度确定器120不仅确定具有最小编码错误的编码深度，还确定用于将预测单位划分到分块的分块类型、根据预测单位的预测模式以及用于频率变换的变换单位的大小。

编码深度确定器120可通过使用基于拉格朗日乘法(Lagrangian multiplier)的率失真最优化，测量根据深度的较深编码单位的编码错误，以确定具有最优编码错误的最大编码单位的划分结构。换句话说，编码深度确定器120可确定将从最大编码单位划分的编码单位的结构，其中，编码单位的大小根据深度而不同。

图像数据编码单元130以比特流输出最大编码单位的图像数据，其中，基于由编码深度确定器120确定的至少一个编码深度对最大编码单元的图像数据进行编码。由于已通过编码深度确定器120执行了编码来测量最小编码错误，因此可通过使用最小编码错误来输出编码的数据流。

编码信息编码单元140以比特流输出关于根据编码深度的编码模式的信息，其中，基于由编码深度确定器120确定的至少一个编码深度对根据编码深度的编码模式的信息进行编码。关于根据编码深度的编码模式的信息可包括关于编码模式的信息、关于用于将预测单位划分至分块的分块类型的信息、根据预测单位的预测模式以及变换单位的大小。

可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，所述根据深度的划分信息指示是否对下级深度而非当前深度的编码单位执行编码。如果当前编码单位的当前深度是编码深度，则当前编码单位中的图像数据被编码并被输出，因此划分信息可被定义为不将当前编码单位划分到下级深度。可选择地，如果当前编码单位的当前深度不是编码深度，则对下级深度的编码单位执行编码，因此划分信息可被定义为将当前编码单位划分至下级深度的编码单位。

如果当前深度不是编码深度，则对被划分为下级深度的编码单位的编码单位执行编码。由于在当前深度的一个编码单位中存在至少一个下级深度的编码单位，因此对下级深度的每个编码单位重复执行编码，从而可对具有相同深度的编码单位递归地执行编码。

由于具有树形结构的编码单位被确定用于一个最大编码单位，并且关于至少一个编码模式的信息被确定用于编码深度的编码单位，因此关于至少一个编码模式的信息可被确定用于一个最大编码单位。另外，最大编码单位的图像数据的编码深度可根据位置而不同，这是因为根据深度对图像数据进行分层划分，从而关于编码深度以及编码模式的信息可被设置用于图像数据。

因此，根据本发明的实施例的编码信息编码单元140可将关于相应的编码深度和编码模式的编码信息分配给最大编码单位所包括的编码单位、预测单位和最小单位中的至少一个。

根据本发明的实施例的最小单位是通过将组成最低深度的最小编码单位划分为4份而获得的矩形数据单位。可选择地，最小单位可以是可包括在最大编码单位所包括的所有编码单位、预测单位、分块单位和变换单位中的最大矩形数据单位。例如，通过编码信息编码单元140输出的编码信息可被分类为根据编码单位的编码信息和根据预测单位的编码信息。根据编码单位的编码信息可包括关于预测模式的信息以及关于分块的大小的信息。根据预测单位的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。另外，关于根据画面、像条或GOP定义的编码单位的最大大小的信息以及关于最大深度的信息可被插入SPS(序列参数集合)或比特流的头。

在图像编码设备100中，较深编码单位可以是通过将上级深度的编码单位(上一层)的高度或宽度除以2获得的编码单位。换句话说，在当前深度k的编码单位的大小是2N×2N时，下级深度k+1的编码单位的大小是N×N。因此，当前深度的具有2N×2N的大小的编码单位可包括最多4个N×N的下级深度的编码单位。

因此，根据本发明的实施例的图像编码设备100可基于考虑当前画面的特性而确定的最大编码单位的大小和最大深度，通过针对每个最大编码单位确定具有最优解构和最优大小的编码单位，来形成具有树形结构的编码单位。另外，由于可通过使用各种预测模式和频率变换中的任意一个来对每个最大编码单位执行编码，因此可考虑各种图像大小的编码单位的特性来确定最优编码模式。

如果在具有16×16的大小的传统宏块中对具有高分辨率或大数据量的图像进行编码，则每幅画面的宏块的数量急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率降低。然而，通过使用图像编码设备100，由于在考虑图像的大小的情况下增加编码单位的最大大小的同时，考虑图像的特性来调整编码单位，因此图像压缩效率会增加。

图2是根据本发明的实施例的图像解码设备200的框图。

参照图2，图像解码设备200包括图像数据获得器210、编码信息提取器220和图像数据解码单元230。针对图像解码设备200的各种操作的各种术语(诸如编码单位、深度、预测单位、变换单位和关于各种编码模式的信息)的定义与参照图1和图像编码设备100所描述的那些相同。图像数据获得器210接收由图像解码设备200接收的比特流并对所述比特流进行解析来获得根据最大编码单位的图像数据，并将所述图像数据输出到图像数据解码单元230。图像数据获得器210可从关于当前画面或像条的头提取关于当前画面或像条的最大编码单位的信息。根据本发明的实施例的图像解码设备200根据最大编码单位对图像数据解码。

另外，编码信息提取器220通过对由图像解码设备200接收的比特流进行解析，提取关于根据每个最大编码单位的，用于具有树形结构的编码单位的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码单元230。

关于根据最大编码单位的编码深度和编码模式的信息可被设置用于关于与编码深度相应的至少一个编码单位的信息，并且关于编码模式的信息可包括：关于与编码深度相应的相应编码单位的分块类型的信息、关于预测模式的信息以及变换单位的大小。另外，根据深度的划分信息可被提取作为关于编码深度的信息。

由编码信息提取器220提取的关于根据每个最大编码单位的编码深度和编码模式的信息是关于被确定为当编码器(诸如图像编码设备100)根据每个最大编码单位针对根据深度的每个较深编码单位重复执行编码时产生最小编码错误的编码深度和编码模式的信息。因此，图像解码设备200可通过根据产生最小编码错误的编码模式对图像数据进行解码，来恢复图像。

由于关于编码深度和编码模式的编码信息可被分配给相应编码单位、预测单位和最小单位中的预定数据单位，因此编码信息提取器220可根据所述预定数据单位提取关于编码深度和编码模式的信息。如果根据预定数据单位记录关于相应最大编码单位的编码深度和编码模式的信息，则分配有相同的关于编码深度和编码模式的信息的预定数据单位可被推断为是包括在同一最大编码单位中的数据单位。

图像数据解码单元230通过基于由编码信息提取器220提取的关于根据最大编码单位的编码深度和编码模式的信息对每个最大编码单位中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码单元230可基于所提取的针对每个最大编码单位中所包括的具有树形结构的编码单位中的每个编码单位的关于分块类型、预测模式以及变换单位的信息，对已编码的图像数据进行解码。解码处理可包括帧内预测处理、包括运动补偿的运动预测处理以及逆变换处理。

图像数据解码单元230可基于关于根据编码深度的编码单位的预测单位的预测模式和分块类型的信息，根据每个编码单位的分块和预测模式执行帧内预测或运动补偿。另外，图像数据解码单元230可基于关于根据编码深度的编码单位的变换单位的大小的信息，根据编码单位中的每个变换单位来执行逆变换，以根据最大编码单位执行逆变换。

图像数据解码单元230可通过使用根据深度的划分信息，确定当前最大编码单位的编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因此，图像数据解码单元230可通过使用关于预测单位的分块类型、预测模式和变换单位的大小的信息，对当前最大编码单位中的已编码的数据的当前深度的编码单位进行解码。换句话说，可通过观测为编码单位、预测单位和最小单位中的预定数据单位分配的编码信息集合来收集包含编码信息的数据单位，其中，所述编码信息包括相同的划分信息，收集的数据单位可被认为是将由图像数据解码单元230以相同的编码模式解码的一个数据单位。

图像解码设备200可获得关于当对每个最大编码单位递归执行编码时产生最小编码单位错误的编码单位的信息，并且可使用所述信息以对当前画面进行解码。换句话说，被确定为每个最大编码单位中的最优编码单位的具有树形结构的编码单位可被解码。因此，即使图像数据具有高分辨率和大量数据，也可通过使用编码单位的大小和编码模式来对所述图像数据进行有效解码，其中，通过使用从编码器接收的关于最优编码模式的信息，根据图像数据的特性来自适应地确定编码单位的大小和编码模式。

图3是用于描述根据本发明的实施例的分层编码单位的概念的示图。

参照图3，可以以宽度×高度来表现编码单位的大小，并且编码单位的大小可以是64×64、32×32、16×16和8×8。64×64的编码单位可被划分为64×64、64×32、32×64或32×32的分块，32×32的编码单位可被划分为32×32、32×16、16×32或16×16的分块，16×16的编码单位可被划分为16×16、16×8、8×16或8×8的分块，8×8的编码单位可被划分为8×8、8×4、4×8或4×4的分块。

在视频数据310中，分辨率是1920×1080，编码单位的最大大小是64并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单位的最大大小是64并且最大深度是3。在视频数据330中，分辨率是352×288，编码单位的最大大小是16并且编码深度是1。图3中示出的最大深度是从最大编码单位到最小编码单位的划分总次数。

如果分辨率高或者数据量大，则编码单位的最大大小可以较大，从而不仅提高编码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单位的最大大小可以是64。

由于视频数据310的最大深度是2，因此视频数据310的编码单位315可包括具有64的纵轴大小的最大编码单位以及具有32和16的纵轴大小的编码单位(这是因为通过对最大编码单位划分两次，深度被加深至两层)。同时，由于视频数据330的最大深度是1，因此视频数据330的编码单位335可包括具有16的纵轴大小的最大编码单位以及具有8的纵轴大小的编码单位(这是因为通过对最大编码单位划分一次，深度被加深至一层)。

由于视频数据320的最大深度是3，因此视频数据320的编码单位325可包括具有64的纵轴大小的最大编码单位以及具有32、16和8的纵轴大小的编码单位(这是因为通过对最大编码单位划分三次，深度被加深至3层)。随着深度加深，可精确地表现出详细的信息。

图4是根据本发明实施例的基于编码单位的图像编码器400的框图。

根据本发明实施例的图像编码器400执行图像编码设备100的编码深度确定器120的操作，以编码图像数据。

参照图4，帧内预测器410对当前帧405中的帧内模式的预测单位执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405以及参考帧495对帧间模式的预测单位执行帧间估计和运动补偿。

基于从帧内预测器410、运动估计器420和运动补偿器425输出的预测单位产生残差值，产生的残差值经由频率变换器430和量化器440作为量化的变换系数而输出。

通过逆量化器460和频率逆变换器470将量化的变换系数恢复为残差值，恢复的残差值在通过解块单元480和环路滤波单元490被后处理后被输出作为参考帧495。可通过熵编码器450输出量化的变换系数作为比特流455。

为了根据依照本发明实施例的图像编码方法执行编码，图像编码器400的所有部件(即，帧内预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、熵编码器450、逆量化器460、频率逆变换器470、解块单元480和环路滤波单元490)在考虑每个最大编码单位的最大深度的同时基于具有树结构的编码单位中的每个编码单位执行图像编码操作。具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单位的最大大小和最大深度的同时确定具有树结构的编码单位中的每个编码单位的预测模式以及分块，频率变换器430确定具有树结构的编码单位中的每个编码单位中的变换单位的大小。

图5是根据本发明实施例的基于编码单位的图像解码器500的框图。

参照图5，解析器510从比特流解析将被解码的图像数据以及关于解码所需的编码的信息。编码的图像数据经由熵解码器520和逆量化器530作为逆量化的数据而输出，逆量化的数据通过频率逆变换器540被恢复为残差值。通过将残差值与帧内预测器550的帧内预测结果或运动补偿器560的运动补偿结果相加，来根据编码单位恢复残差值。恢复的残差值通过解块单元570和环路滤波单元580以用于预测随后的编码单位或画面。

为了根据依照本发明实施例的图像解码方法执行解码，图像解码器500的所有部件(即，解析器510、熵解码器520、逆量化器530、频率逆变换器540、帧内预测器550、运动补偿器560、解块单元570和环路滤波单元580)基于最大编码单位、根据深度的编码单位、预测单位以及变换单位来执行图像解码处理。具体地，帧内预测器550和运动补偿器560通过考虑编码单位的最大大小和深度来确定编码单位的预测单位和预测模式，并且频率逆变换器540通过考虑编码单位的最大大小和深度来确定变换单位的大小。

图6是根据本发明实施例的根据深度的较深编码单位以及预测单位的框图。

图像编码设备100和图像解码设备200使用分层编码单位，以考虑图像的特性。编码单位的最大高度、最大宽度和最大深度可根据图像的特性被适应性地确定，或可被用户不同地设置。根据深度的较深编码单位的大小可根据编码单位的预定最大大小被确定。

在根据本发明实施例的编码单位的分层结构600中，编码单位的最大高度和最大宽度均为64，最大深度为4。由于深度沿着分层结构600的竖直轴加深，所以较深编码单位的高度和宽度均被划分。另外，沿着分层结构600的水平轴示出了预测单位和分块，预测单位和分块是每个较深编码单位的预测编码的基础。

编码单位610是分层结构600中的最大编码单位，其中，深度为0，大小(即高度乘以宽度)为64×64。深度沿着竖直轴加深，存在大小为32×32且深度为1的编码单位620、大小为16×16且深度为2的编码单位630、大小为8×8且深度为3的编码单位640以及大小为4×4且深度为4的编码单位650。大小为4×4且深度为4的编码单位650是最小编码单位。

此外，参照图6，根据每个深度沿着水平轴布置编码单位的预测单位和分块。换句话说，如果大小为64×64且深度为0的编码单位610是预测单位，则预测单位可被划分为包括在编码单位610中的分块，即，大小为64×64的分块610、大小为64×32的分块612、大小为32×64的分块614以及大小为32×32的分块616。

类似地，大小为32×32且深度为1的编码单位620的预测单位可被划分为包括在编码单位620中的分块，即，大小为32×32的分块620、大小为32×16的分块622、大小为16×32的分块624以及大小为16×16的分块626。

大小为16×16且深度为2的编码单位630的预测单位可被划分为包括在编码单位630中的分块，即，包括在编码单位630中的大小为16×16的分块630、大小为16×8的分块632、大小为8×16的分块634以及大小为8×8的分块636。

大小为8×8且深度为3的编码单位640的预测单位可被划分为包括在编码单位640中的分块，即，包括在编码单位640中的大小为8×8的分块640、大小为8×4的分块642、大小为4×8的分块644以及大小为4×4的分块646。

大小为4×4且深度为4的编码单位650是最小编码单位，并且是最下级深度(thelowermost depth)的编码单位。编码单位650的预测单位仅被分配给大小为4×4的分块。

为了确定构成最大编码单位610的编码单位的至少一个编码深度，图像编码设备100的编码深度确定器120对于与包括在最大编码单位610中的每个深度对应的编码单位执行编码。

包括相同范围和相同大小的数据的根据深度的较深编码单位的数量随着深度加深而增大。例如，需要与深度2对应的四个编码单位来覆盖包括在与深度1对应的一个编码单位中的数据。因此，为了根据深度比较相同数据的编码结果，与深度1对应的编码单位以及与深度2对应的四个编码单位均被编码。

为了对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴对于与当前深度对应的编码单位中的每个预测单位执行编码，来为当前深度选择最小编码错误。或者，可通过随着深度沿分层结构600的竖直轴加深而对每个深度执行编码，通过根据深度比较最小编码错误，来搜索最小编码错误。可选择编码单位610中的具有最小编码错误的深度和分块作为编码单位610的编码深度和分块类型。

图7是描述根据本发明实施例的编码单位710和变换单位720之间的关系的示图。

图像编码设备100或图像解码设备200对于每个最大编码单位根据具有小于或等于最大编码单位的编码单位对图像编码或解码，所述编码单位的大小小于或等于最大编码单位的大小。可基于不大于相应编码单位的数据单位来选择用于编码期间的频率变换的变换单位的大小。例如，如果编码单位710的大小为64×64，则可使用大小为32×32的变换单位720执行频率变换。另外，可通过对具有32×32、16×16、8×8以及4×4大小的每个变换单位执行频率变换来对具有64×64大小的编码单位710的数据执行编码(大小32×32、16×16、8×8以及4×4小于64×64)，然后可选择具有最小编码错误的变换单位。

图8是描述根据本发明实施例的与编码深度对应的编码单位的编码信息的示图。

根据本发明实施例的图像编码设备100的图像数据编码单位130可针对与编码深度对应的每个编码单位将关于分块类型的信息800、关于预测模式的信息810以及关于变换单位的大小的信息820编码为关于编码模式的信息，并将其发送。

信息800指示关于通过划分当前编码单位的预测单位而获得的分块结构的信息，其中，分块是用于对当前编码单位进行预测编码的数据单位。例如，大小为2N×2N的当前编码单位CU_0可被划分为大小为2N×2N的分块802、大小为2N×N的分块804、大小为N×2N的分块806以及大小为N×N的分块808中的任何一个。这里，关于分块类型的信息800被设置为指示大小为2N×2N的分块802、大小为2N×N的分块804、大小为N×2N的分块806以及大小为N×N的分块808中的一个。

信息810指示每个分块的预测模式。例如，信息810可指示对由信息800所指示的分块执行预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

信息820指示当对当前编码单位执行频率变换时所基于的变换单位的大小。例如，变换单位可以是第一帧内变换单位822、第二帧内变换单位824、第一帧间变换单位826或第二帧间变换单位828。

图像解码设备200的编码信息提取器220可根据每个较深编码单位提取并使用用于解码的信息800、810和820。

图9是根据本发明实施例的根据深度的较深编码单位的示图。

划分信息可用于指示深度的变化。划分信息指示当前深度的编码单位是否被划分为下级深度的编码单位。

用于对深度为0且大小为2N_0×2N_0的编码单位900进行预测编码的预测单位910可包括大小为2N_0×2N_0的分块类型912、大小为2N_0×N_0的分块类型914、大小为N_0×2N_0的分块类型916以及大小为N_0×N_0的分块类型918的分块。图9仅示出了通过对称地划分预测单位910而获得的分块类型912至918，但是分块类型不限于此，预测单位910的分块可包括非对称分块、具有预定结构的分块以及具有几何结构的分块。

根据每个分块类型，对大小为2N_0×2N_0的一个分块、大小为2N_0×N_0的两个分块、大小为N_0×2N_0的两个分块以及大小为N_0×N_0的四个分块重复执行预测编码。可对大小为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分块执行帧内模式和帧间模式的预测编码。仅对大小为2N_0×2N_0的分块执行跳过模式的预测编码。如果在分块类型912至916中的一个中编码错误最小，则可不将预测单位910划分为下级深度。

如果在分块类型918中编码错误最小，则在操作920中深度从0变为1以划分分块类型918，并且对深度为2且大小为N_0×N_0的编码单位930重复执行编码，以搜索最小编码错误。

用于对深度为1且大小为2N_1×2N_1(＝N_0×N_0)的编码单位930进行预测编码的预测单位940可包括大小为2N_1×2N_1的分块类型942、大小为2N_1×N_1的分块类型944、大小为N_1×2N_1的分块类型946以及大小为N_1×N_1的分块类型948的分块。

如果在分块类型948中编码错误最小，则在操作950中深度从1变为2以划分分块类型948，并且对深度为2且大小为N_2×N_2的编码单位960重复执行编码，以搜索最小编码错误。

当最大深度为d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且划分信息可被编码直到深度为0至d-2中的一个。换句话说，在操作970将与深度d-2对应的编码单位划分之后，当执行编码直到深度为d-1时，用于对深度为d-1且大小为2N_(d-1)×2N_(d-1)的编码单位980进行预测编码的预测单位990可包括大小为2N_(d-1)×2N_(d-1)的分块类型992、大小为2N_(d-1)×N_(d-1)的分块类型994、大小为N_(d-1)×2N_(d-1)的分块类型996以及大小为N_(d-1)×N_(d-1)的分块类型998的分块。

可对分块类型992至998中的大小为2N_(d-1)×2N_(d-1)的一个分块、大小为2N_(d-1)×N_(d-1)的两个分块、大小为N_(d-1)×2N_(d-1)的两个分块、大小为N_(d-1)×N_(d-1)的四个分块重复执行预测编码，以搜索具有最小编码错误的分块类型。即使当分块类型998具有最小编码错误时，由于最大深度为d，所以深度为d-1的编码单位CU_(d-1)不再被划分为下级深度，构成当前最大编码单位900的编码单位的编码深度被确定为d-1，并且最大编码单位900的分块类型被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，并且最低深度为d-1的最小编码单位980不再被划分为下级深度，所以不设置最小编码单位980的划分信息。

数据单位999可以是用于当前最大编码单位的“最小单位”。根据本发明实施例的最小单位可以是通过将最小编码单位980划分为4部分而获得的矩形数据单位。通过重复地执行编码，图像编码设备100可通过比较根据编码单位900的深度的编码错误来选择具有最小编码错误的深度以确定编码深度，并且可将相应的分块类型和预测模式设置为编码深度的编码模式。

因此，在所有深度1至d中比较根据深度的最小编码错误，并且具有最小编码错误的深度可被确定为编码深度。预测单位的分块类型、编码深度和预测模式可作为关于编码模式的信息被编码和发送。此外，由于从深度0至编码深度来划分编码单位，所以只有编码深度的划分信息被设置为0，并且除了编码深度之外的深度的划分信息被设置为1。

根据本发明实施例的图像解码设备200的编码信息提取器220可提取并使用关于编码单位900的编码深度以及预测单位的信息，以对编码单位900解码。根据本发明实施例的图像解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的信息进行解码。

图10至图12是描述根据本发明实施例的编码单位1010、预测单位1060和频率变换单位1070之间的关系的示图。

编码单位1010是最大编码单位中的与由图像编码设备100确定的编码深度对应的编码单位。预测单位1060是每个编码单位1010的预测单位的分块，变换单位1070是每个编码单位1010的变换单位。

当最大编码单位的深度为0时，编码单位1012和1054的深度为1，编码单位1014、1016、1018、1028、1050和1052的深度为2，编码单位1020、1022、1024、1026、1030、1032和1048的深度为3，编码单位1040、1042、1044和1046的深度为4。

在预测单位1060中，通过在编码单位1010中划分编码单位来获得一些编码单位1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编码单位1014、1022、1050和1054中的分块类型的大小为2N×N，编码单位1016、1048和1052的分块类型的大小为N×2N，编码单位1032的分块类型的大小为N×N。编码单位1010的预测单位和分块小于或等于每个编码单位。

以小于编码单位1052和1054的数据单位对变换单位1070中的编码单位1052和1054的图像数据执行频率变换和频率逆变换。另外，变换单位1070中的编码单位1014、1016、1022、1032、1048、1050、1052和1054与预测单位1060中的编码单位1014、1016、1022、1032、1048、1050、1052和1054在大小和结构上不同。换句话说，视频编码设备100和视频解码设备200可基于各个数据单位对相同的编码单位执行预测、频率变换和频率逆变换。因此，对每个编码单位递归地执行编码以确定最佳编码单位，因此可获得具有递归树结构的编码单位。

编码信息可包括关于编码单位的信息、关于分块类型的信息、关于预测模式的信息以及关于变换单位的大小的信息。表1示出了可由图像编码设备100和图像解码设备200设置的编码信息。

[表1]

根据本发明实施例的图像编码设备100的图像数据编码单元130可输出关于具有树结构的编码单位编码的信息，根据本发明实施例的图像解码设备200的编码信息提取器220可从接收的比特流提取关于具有树结构的编码单位的编码信息。

划分信息指示当前编码单位是否被划分为下级深度的编码单位。如果当前深度d的划分信息为0，则当前编码单位不再被划分为下级深度的深度是编码深度，因此可对编码深度定义关于变换单位的大小、分块类型、预测模式的信息。如果根据划分信息将当前编码单位进一步划分，则对下级深度的四个划分的编码单位独立执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分块类型中定义帧内模式和帧间模式，仅在大小为2N×2N的分块类型中定义跳过模式。

关于分块类型的信息可指示通过对称划分预测单位的高度或宽度获得的大小为2N×2N、2N×N、N×2N和N×N的对称分块类型以及通过非对称划分预测单位的高度或宽度获得的大小为2N×nU、2N×nD、nL×2N和nR×2N的非对称分块类型。可通过以1:3和3:1划分预测单位的高度来分别获得大小为2N×nU和2N×nD的非对称分块类型，可通过以1:3和3:1划分预测单位的宽度来分别获得大小为nL×2N和nR×2N的非对称分块类型。

变换单位的大小可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。换句话说，如果变换单位的划分信息为0，则变换单位的大小可以是2N×2N(2N×2N是当前编码单位的大小)。如果变换单位的划分信息为1，则可通过划分当前编码单位来获得变换单位。另外，如果大小为2N×2N的当前编码单位的分块类型是对称分块类型，则变换单位的大小可以是N×N，如果当前编码单位的分块类型是非对称分块类型，则变换单位的大小可以是N/2×N/2。

关于具有树结构的编码单位的编码信息可包括与编码深度对应的编码单位、预测单位以及变换单位中的至少一个。与编码深度对应的编码单位可包括包含相同编码信息的最小单位和预测单位中的至少一个。

因此，通过比较相邻数据单位的编码信息，来确定相邻数据单位是否包括在与编码深度对应的相同编码单位中。另外，通过使用数据单位的编码信息来确定与编码深度对应的相应编码单位，因此可确定最大编码单位中的编码深度的分布。

因此，如果基于相邻数据单位的编码信息来预测当前编码单位，则可直接参照和使用与当前编码单位相邻的较深编码单位中的数据单位的编码信息。

或者，如果基于相邻数据单位的编码信息来预测当前编码单位，则使用所述数据单位的编码信息来搜索与当前编码单位相邻的数据单位，并且可参照搜索到的相邻的数据单位来预测当前编码单位。

图13是描述根据表1的编码模式信息的编码单位、预测单位或分块、变换单位之间的关系的示图。

最大编码单位1300包括编码单位1302、1304、1306、1312、1314以及编码深度的编码单位1318。这里，由于编码单位1318是编码深度的编码单位，所以划分信息可被设置为0。关于大小为2N×2N的编码单位1318的分块类型可被设置为大小为2N×2N的分块类型1322、大小为2N×N的分块类型1324、大小为N×2N的分块类型1326、大小为N×N的分块类型1328、大小为2N×nU的分块类型1332、大小为2N×nD的分块类型1334、大小为nL×2N的分块类型1336以及大小为nR×2N的分块类型1338中的一个。

当分块类型被设置为对称(即，分块类型1322、1324、1326或1328)时，如果变换单位的划分信息(TU大小标志)为0，则大小为2N×2N的变换单位1342被设置，如果TU大小标志为1，则大小为N×N的变换单位1344被设置。

当分块类型被设置为非对称(即，分块类型1332、1334、1336或1338)时，如果TU大小标志为0，则大小为2N×2N的变换单位1352被设置，如果TU大小标志为1，则大小为N/2×N/2的变换单位1354被设置。

在下文中，将详细描述根据本发明实施例的对划分信息(划分标志)和跳过信息分层编码的方法，划分信息指示基于根据深度的编码单位编码的最大编码单位的划分结构，跳过信息指示包括在最大编码单位中的每个编码单位的预测模式是否是跳过模式。在下面的描述中，编码单位是在图形编码过程中使用的术语，解码单位是针对图形解码用于编码单位的术语。换句话说，编码单位和解码单位的不同之处仅在于，在编码过程中使用编码单位，在解码过程中使用解码单位。为了术语的一致性，除了特殊情况之外，编码单位和解码单位表示编码过程和解码过程两者中的编码单位

图18是根据本发明实施例的对图形编码的方法的流程图。

参照图1和图18，在操作1610，最大编码单位划分器110将当前画面划分为至少一个最大编码单位。

在操作1620，编码深度确定器120通过基于随深度加深而分层划分的编码单位对最大编码单位的图像数据编码，来确定最大编码单位的划分结构以及每个编码单位的预测模式。如上所述，编码深度确定器120通过针对当前画面的最大编码单位基于根据深度的编码单位对图像数据编码，并且选择具有最小编码错误的深度，来确定编码深度。具体地，编码深度确定器120基于与等于或小于最大深度的至少一个深度对应的较深编码单位对最大编码单位中的图像数据编码，并且将基于每个较深编码单位对图像数据编码的结果进行比较，以选择具有最小编码错误的深度。另外，即使编码单位与一个最大编码单位中的相同深度对应，编码深度确定器120也通过分别测量每个编码单位的图像数据的编码错误，来确定与所述相同深度对应的每个编码单位的下级深度的划分。

在操作1630，编码信息编码单元140对每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的划分信息。下面将参照图14至图16描述设置划分信息的过程。

在操作1640，编码信息编码单元140设置跳过信息，跳过信息指示根据编码单位确定的预测模式是否是跳过模式。在操作1650，根据编码单位设置的划分信息和跳过信息被编码。

图14是根据本发明实施例的基于较深编码单位确定的最大编码单位的划分结构的示图。

在图14中，由标号1200表示的最大块是最大编码单位，假设最大编码单位1200具有最大深度3。换句话说，当最大编码单位1200的大小为2N×2N时，最大编码单位1200可被划分为大小为N×N且深度为1的编码单位1210、大小为N/2×N/2且深度为2的编码单位1220以及大小为N/4×N/4且深度为3的编码单位1230。为了发送图14所示的最大编码单位1200的划分结构，根据本发明实施例的编码信息编码单元140对每个编码单位设置划分信息，划分信息指示包括每个编码单位的上级深度的编码单位的划分。例如，大小为N×N且深度为1的编码单位1210包括1比特的划分信息，所述划分信息指示上级编码单位(即，深度为0的最大编码单位1200)的划分。如果当每比特的划分信息具有值“1”时相应深度的编码单位被划分，并且当每比特的划分信息具有值“0”时相应深度的编码单位不被划分，则深度为1的编码单位1210具有这样的划分信息，所述划分信息具有值“1”，以具有图4所示的划分结构。

图15是描述图14中的深度为2的编码单位1220的划分信息的示图。图15中的标号1320与图14中的深度为2的编码单位1220对应。

参照图15，编码信息编码单元140将2比特的划分信息设置为深度为2的编码单位1320的划分信息，所述2比特的划分信息指示深度为1的编码单位1310的划分以及深度为0的最大编码单位1300的划分，深度为1的编码单位1310包括深度为2的编码单位1320。如果当划分信息的每个比特具有值“1”时相应深度的编码单位被划分，并且当划分信息的每个比特具有值“0”时相应深度的编码单位不被划分，则由于当编码单位1310和最大编码单位1300两者被划分时产生编码单位1320，所以编码单位1320具有值为“11”的2比特的划分信息。

图16是描述图14中的深度为3的编码单位1230的划分信息的示图。图16中的标号1430与图14中的深度为3的编码单位1230对应。

参照图16，编码信息编码单元140将3比特的划分信息设置为深度为3的编码单位1430的划分信息，所述3比特的划分信息指示深度为2的编码单位1420的划分、深度为1的编码单位1410的划分以及最大编码单位1400的划分，深度为2的编码单位1420包括深度为3的编码单位1430。如果当划分信息的每个比特具有值“1”时相应深度的编码单位被划分，并且当划分信息的每个比特具有值“0”时相应深度的编码单位不被划分，则由于当编码单位1420、编码单位1410和最大编码单位1400全部被划分时产生编码单位1430，所以编码单位1430具有值为“111”的3比特的划分信息。

因此，当d表示用于指示当前编码单位从最大编码单位到最小编码单位的分层划分次数的最大深度，并且n表示当前编码单位的深度时(其中，d和n分别是整数，并且0≤n≤(d-1))，则可使用n比特的划分信息来设置包括当前编码单位的上级深度的编码单位的划分。设置n比特的划分信息的每个比特，以从深度0至深度(n-1)指示当前编码单位的上级深度的编码单位的划分。这里，可根据场合命令来改变从最高有效位(MSB)开始或从最低有效位(LSB)开始的指示具有上级深度的编码单位的划分的n比特的划分信息的顺序。

同时，如果对每个编码单位设置指示包括当前编码单位的上级深度的编码单位的划分的划分信息，则当编码器或解码器按照相同处理顺序处理编码单位时，可基于划分信息容易地确定最大编码单位中的每个编码单位的位置。例如，如图17所示，当根据本发明实施例的最大编码单位1500中的具有相同深度的编码单位以Z字形扫描顺序被处理，并且具有相同深度的解码单位在解码期间以相同的Z字形扫描顺序被处理时，可从指示包括每个编码单位的上级深度的编码单位的划分的划分信息恢复在解码期间确定的最大编码单位的划分结构。当根据本发明实施例的块处理顺序可被不同地设置以包括Z字形扫描顺序，但是编码单位的处理顺序在编码和解码期间可相同，从而在解码期间确定最大编码单位的划分结构。

编码信息编码单元140通过将1比特分配给每个编码单位，来设置指示每个编码单位的预测模式是否是跳过模式的跳过信息。例如，当跳过信息的比特具有值“1”时，相应的编码单位的预测模式是跳过模式，当跳过信息的比特具有值“0”时，根据除了跳过模式之外的预测模式预测相应的编码单位。因为在不使用单独预测处理的情况下从相邻编码单位的运动信息恢复跳过模式下的编码单位，并且在解码期间不对跳过模式下的编码单位执行单独预测处理，所以对每个编码单位设置跳过信息，由此提高图像的压缩效率和处理性能。

图19是根据本发明另一实施例的对图像编码的方法的流程图。

参照图19，在操作1710，最大编码单位划分器110将当前画面划分为至少一个最大编码单位。

在操作1720，编码深度确定器120通过基于随深度加深而分层划分的较深编码单位对最大编码单位的图像数据编码，来确定最大编码单位的划分结构以及每个编码单位的预测模式。如上所述，编码深度确定器120通过根据当前画面的最大编码单位对根据深度的较深编码单位中的图像数据编码，并且选择具有最小编码错误的深度，来确定编码深度。

在操作1730，编码信息编码单元140对每个编码单位设置跳过信息，所述跳过信息指示包括每个编码单位的上级深度的每个编码单位和解码单位的预测模式是否是跳过模式。换句话说，根据本发明的另一实施例，每个编码单位的跳过信息不仅可包括当前编码单位的跳过模式，而且可包括包含当前编码单位的上级深度的编码单位的跳过模式。具体地，当d表示用于指示当前编码单位从最大编码单位到最小编码单位的分层划分次数的最大深度，并且n表示当前编码单位的深度时(其中，d和n分别是整数，并且0≤n≤(d-1))，则编码信息编码单元140可设置n比特的划分信息，所述n比特的划分信息指示当前编码单位的预测模式以及上级深度的(n-1)个编码单位的预测模式是否均是跳过模式。当n＝1时，即，当当前编码单位的深度为1时，具有紧接的上级深度的编码单位是最大编码单位，因此仅有指示当前编码单位的预测模式是否是跳过模式的1比特的跳过信息被设置。例如，图14中的深度为1的编码单位1210具有指示其预测模式是否是跳过信息的1比特的跳过信息。

或者，参照图15，编码信息编码单元140设置总共2比特的跳过信息作为编码单位1320的跳过信息，其中，1比特指示深度为2的编码单位1320的跳过信息，1比特指示深度为1且包括编码单位1320的编码单位1310的跳过信息。或者，参照图16，编码信息编码单元140可设置总共3比特的跳过信息作为编码单位1430的跳过信息，所述3比特的跳过信息包括深度为3的编码单位1430的跳过信息、深度为2且包括编码单位1430的编码单位1420的跳过信息以及深度为1的编码单位1410的跳过信息。

返回参照图19，在操作1740，对于每个编码单位设置关于包括每个编码单位的上级深度的编码单位的划分的信息。由于操作1740中的划分信息的设置与上面描述的设置相同，所以不重复对其的详细描述。

在操作1750，根据编码单位设置的划分信息和跳过信息被编码。

图20是示出根据本发明实施例的对图像进行解码的方法的流程图。根据当前实施例的方法对根据图18的方法进行编码的比特流进行解码。

参照图2和图20，在操作1810，编码信息提取器220从图像数据提取表示包括将被解码的当前解码单位的上级深度的解码单位的划分的划分信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位来对所述图像数据进行编码。

在操作1820，编码信息提取器220从图像数据提取表示当前解码单位的预测模式是否是跳过模式的跳过信息。

在操作1830，图像数据解码单元230根据划分信息确定包括当前解码单位的最大解码单位的划分结构。如上所述，由于表示包括当前解码单位的上级深度的解码单位的划分的划分信息占n比特，所以可使用划分信息将最大解码单位划分为具有当前解码单位的深度的编码单位。

在操作1840，图像数据解码单元230根据跳过信息确定当前解码单位的预测模式是否是跳过模式。如果当前解码单位是跳过模式，则停止划分处理并对包括在编码信息中的其他信息进行解码。

图21是示出根据本发明实施例的根据对图像进行解码的方法划分最大解码单位的处理和对跳过信息进行解码的处理的流程图。

参照图21，在操作1910，提取包括在最大编码单位中的编码单位的编码信息。如上所述，编码信息包括划分信息和跳过信息。

在操作1920，对划分信息进行解码，并在操作1930，确定是否根据基于解码的划分信息设置的深度将最大解码单位划分为具有该深度的当前解码单位。例如，如上所述，如果当前解码单位是具有深度2并且划分信息“11”的解码单位，则当前解码单位应该被包括在通过对最大解码单位进行两次划分获得的编码单位中。

如果在操作1930中确定最大解码单位没有被划分到当前解码单位的深度，则在操作1935，深度增加1。

如果在操作1930中确定最大解码单位被划分到当前解码单位的深度，则在操作1940，对跳过信息进行解码。在操作1950，确定当前解码单位的预测模式是否是跳过模式，如果是跳过模式，则在操作1960，确定当前解码单位是否是最后解码单位以在操作1970中对下面的最大解码单位进行解码，否则通过在操作1980中将解码单位的索引值增加1以对下面的解码单位进行解码。

如果在操作1950中确定当前解码单位的预测模式不是跳过模式，则在操作1955，对除划分信息和跳过信息之外的关于图像数据的信息进行解码。

图22是示出根据本发明另一实施例的对图像进行解码的方法的流程图。根据当前实施例的方法对根据图19的方法编码的比特流进行解码。

参照图2和图22，在操作2010，编码信息提取器220从图像数据提取表示将被解码的当前解码单位的预测模式和包括当前解码单位的上级深度的解码单位的预测模式中的每一个是否是跳过模式的跳过信息，其中，基于随着深度加深而分层划分的根据深度的较深编码单位，根据最大编码单位来对所述图像数据来对所述图像数据进行编码。

在操作2020，编码信息提取器220从图像数据提取关于包括当前解码单位的上级深度的解码单位的划分的划分信息。

在操作2030，图像数据解码单元230基于提取的跳过信息确定当前解码单位的预测模式和上级深度的解码单位的预测模式中的每一个是否是跳过模式。这样，根据当前实施例，当在对划分信息进行解码之前对跳过信息进行解码时，由于可不划分被确定为是跳过模式的解码单位，所以可提高图像的处理能力。

在操作2040，针对解码单位不是跳过模式的解码单位，基于划分信息来确定包括当前解码单位的最大解码单位的划分结构。

图23是示出根据本发明另一实施例的根据对图像进行解码的方法划分最大解码单位的处理和对跳过信息进行解码的处理的流程图。

参照图23，在操作2110，提取包括在最大编码单位中的编码单位的编码信息。如上所述，编码信息包括划分信息和跳过信息。

在操作2120，对跳过信息进行解码，并在操作2130，根据解码的跳过信息确定当前解码单位的预测模式是否是跳过模式。如果当前解码单位的预测模式是跳过模式，则在操作2135，确定当前解码单位是否是最后解码单位。如果是最后解码单位，则在操作2140，对下面的最大解码单位进行解码；如果不是最后解码单位，则在操作2145，通过将解码单位的索引增加1来对下面的解码单位进行解码。如果当前解码单位的预测模式不是跳过模式，则在操作2150，对当前解码单位的划分信息进行解码。

在操作2160，确定最大解码单位是否根据基于解码的划分信息设置的深度被划分为具有该深度的当前解码单位。例如，如上所述，如果当前解码单位是具有深度2和划分信息“11”的解码单位，则当前解码单位应该是通过将最大解码单位划分两次而获得的编码单位。

如果在操作2160中确定最大解码单位没有被划分到当前解码单位的深度，则在操作2180，将深度增加1；如果在操作2160确定最大解码单位被划分到当前解码单位的深度，则在操作2170对除划分信息和跳过信息之外的关于图像数据的信息进行解码。

根据本发明，提供了用于对图像进行编码和解码的方法和设备，所述方法和设备可有效地发送关于基于各种大小的分层的编码单位编码的图像的划分结构的信息和关于每个编码单位的跳过模式的信息。

本发明还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是可存储稍后能被计算机系统读出的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布在网络连接的计算机系统上，从而以分布式方式来存储和执行计算机可读代码。

尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，在这里可进行形式和细节上的各种改变。示例性实施例只应该被认为是描述的意义而不作为限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求限定，并且在该范围内的所有不同都应该被解释为被包括在本发明中。

Claims (1)

1.一种对图像进行解码的设备，所述设备包括：

编码信息提取器，提取指示是否将上级深度的编码单位划分为较深深度的编码单位的划分信息以及指示当前编码单位的预测模式是否是跳过模式的跳过信息；

解码单元，根据划分信息确定最大编码单位的划分结构，当跳过信息指示当前编码单位的预测模式是跳过模式并且当前编码单位的大小是2N×2N时，使用与当前编码单位具有相同的大小2N×2N的一预测单位对当前编码单位执行预测解码，当跳过信息指示当前编码单位的预测模式不是跳过模式时，使用基于当前编码单位的分块类型从当前编码单位获得的一个或更多个预测单位对当前编码单位执行预测解码，其中，N是整数，

其中，当划分信息指示对具有当前深度k和2N×2N的大小的当前编码单位的划分时，解码单元通过对当前深度k的当前编码单位进行划分来获得具有深度k+1和N×N的大小的四个编码单位，其中，k是整数。