CN105637868B - 用于确定合并模式的方法和装置 - Google Patents

Abstract

公开了一种用于通过使用之前预测单元的运动信息来确定合并模式的方法和装置。用于确定合并模式的方法包括：基于较高深度编码单元的合并模式成本来获得较低深度编码单元的合并模式成本，所述较高深度编码单元的合并模式成本是使用与较低深度编码单元的合并模式相对应的较高深度编码单元的合并模式的运动信息所获得的。

Description

用于确定合并模式的方法和装置

技术领域

本发明构思涉及视频编码和视频解码。

背景技术

能够播放和存储高分辨率或高图像质量视频内容的硬件的发展和分发(distribution)已经导致了用于对高分辨率或高图像质量视频内容有效地进行编码或解码的视频编解码器的必要性的增加。根据现存视频编解码器，基于具有预先确定的尺寸的宏块、使用有限的编码方法来对视频进行编码。

在相互(inter)预测中，运动预测和补偿被用于通过去除画面之间的时间冗余来对图像进行压缩。在运动预测中，通过使用至少一个参考画面来预测当前画面的块。视频编解码器通过使用可用的预测模式来计算每个预测模式的成本，并且确定最佳预测模式。

发明内容

技术问题

发明构思提供了一种从树形结构的层级编码单元(unit)的预测模式之中确定使用之前块的运动信息的合并模式的更加快速的操作。

技术方案

根据一个或多个实施例，基于通过使用较高深度(upper depth)的编码单元的合并候选的运动信息所获得的较高深度的编码单元的合并模式成本，来获得较低深度的编码单元的合并模式成本，所述较高深度的编码单元的合并候选与较低深度的编码单元的合并候选一致。

有利效果

根据一个或多个实施例，在确定合并模式的操作中，通过在获得较低深度的编码单元的合并模式成本的操作中使用关于较高深度的编码单元所获得的合并模式成本并且跳过计算较低深度的编码单元的合并模式成本的操作，可以提高确定合并模式的操作的速度，并且可以降低确定合并模式所需要的计算量。

附图说明

图1是根据本发明构思的实施例的视频编码装置的框图；

图2是根据本发明构思的实施例的视频解码装置的框图；

图3是用于描述根据本发明构思的实施例的编码单元的构思的图；

图4是根据本发明构思的实施例、基于编码单元的图像编码器的框图；

图5是根据本发明构思的实施例、基于编码单元的图像解码器的框图；

图6是根据本发明构思的实施例、示出了根据深度和分区(partition)的编码单元的图；

图7是根据本发明构思的实施例、用于描述编码单元与变换(transformation)单元之间的关系的图；

图8是根据本发明构思的实施例、用于描述根据深度的编码单元的编码信息的图；

图9是根据本发明构思的实施例、根据深度的编码单元的图；

图10至图12是根据本发明构思的实施例、用于描述编码单元、预测单元以及变换单元之间的关系的图；

图13是根据表1的编码模式信息、用于描述编码单元、预测单元以及变换单元之间的关系的图；

图14是示出了根据实施例的合并模式确定装置的结构的框图；

图15示出了根据实施例的块合并的示例；

图16示出了根据实施例在合并模式中所使用的空间合并候选；

图17示出了根据实施例在合并模式中所使用的时间合并候选；

图18示出了在用于并行合并模式处理的并行合并编码单元中所包括的编码单元；

图19A是用于解释根据第一深度的编码单元的合并模式来确定合并模式成本的操作的参考图；

图19B和图19C是用于解释根据第二深度的编码单元的合并模式来确定合并模式成本的操作的参考图；

图20是用于解释通过使用较高深度的编码单元的合并模式成本来获得较低深度的编码单元的合并模式成本的操作的参考图；

图21示出了当未使用根据实施例的确定合并模式的方法时，计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作；

图22示出了根据实施例计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作；

图23示出了根据另一个实施例计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作；以及

图24是根据实施例确定合并模式的方法的流程图。

具体实施方式

最佳方式

根据一个或多个实施例，提供了一种确定合并模式的方法，所述方法包括：从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在第一深度的编码单元的合并模式中要被使用的至少一个合并候选；通过使用第一合并候选的运动信息来获得第一深度的编码单元的合并模式成本；通过分割第一深度的编码单元来获得第二深度的编码单元；从与第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在第二深度的编码单元之一的合并模式中要被使用的至少一个第二合并候选；以及通过使用第二合并候选来获得第二深度的编码单元的合并模式成本，第二合并候选基于通过使用与第二合并候选相对应的第一合并候选的运动信息之前所获得的第一深度的编码单元的合并模式成本。

根据一个或多个实施例，提供了一种合并模式确定装置，包括：合并候选确定器，被配置为：从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在第一深度的编码单元的合并模式中要被使用的至少一个合并候选，并且从与第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在第二深度的编码单元之一的合并模式中要被使用的至少一个第二合并候选；以及合并模式确定器，被配置为：通过使用第一合并候选的运动信息来获得第一深度的编码单元的合并模式成本，并且通过使用第二合并候选来获得第二深度的编码单元的合并模式成本，第二合并候选基于通过使用与第二合并候选相对应的第一合并候选的运动信息之前所获得的第一深度的编码单元的合并模式成本。

发明的具体方式

现在将参考在其中示出了实施例的附图来更加全面地描述本发明构思。

图1是根据本发明构思的实施例的视频编码装置的框图。

根据实施例的视频编码装置100包括最大编码单元分割器110、编码单元确定器120以及输出器130。

最大编码单元分割器110可以基于最大编码单元来分割当前画面，最大编码单元是用于图像的当前画面的、具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则当前画面的图像数据可以被分割为至少一个最大编码单元。根据实施例的最大编码单元可以是具有32×32、64×64、128×128或256×256的尺寸的数据单元，其中，数据单元的形状是具有大于8且为2的平方的宽度和长度的正方形。根据至少一个最大编码单元，图像数据可以被输出到编码单元确定器120。

根据实施例的编码单元可以通过最大尺寸和深度被表征。深度指示从最大编码单元在空间上分割出编码单元的次数，并且随着深度增加，从最大编码单元到最小编码单元可以分割出根据深度的较深的编码单元。最大编码单元的深度是最高深度并且最小编码单元的深度是最低深度。因为随着最大编码单元的深度增加与每个深度相对应的编码单元的尺寸减小，所以与较高深度相对应的编码单元的可以包括与较低深度相对应的多个编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被分割为最大编码单元，并且最大编码单元中的每个可以包括根据深度被分割的较深编码单元。因为根据实施例的最大编码单元根据深度被分割，所以在最大编码单元中所包括的空间域的图像数据可以根据深度分层级地来分类。

可以预先设定编码单元的最大深度和最大尺寸，其限制了最大编码单元的高度和宽度分层级地分割的总次数。

编码单元确定器120对通过根据深度分割最大编码单元的区域所获得的至少一个分割出的区域进行编码，并且根据至少一个分割出的区域来确定输出最终编码结果的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元、对根据深度的较深编码单元中的图像数据进行编码并且选择具有最小编码误差的深度，来确定编码的深度。根据最大编码单元所确定的编码的深度和图像数据被输出到输出器130。

基于与等于或小于最大深度的至少一个深度相对应的较深编码单元，对最大编码单元中的图像数据进行编码，并且基于较深编码单元中的每个，对编码结果进行比较。在对较深编码单元的编码误差进行比较之后，可以选择具有最小编码误差的深度。针对每个最大编码单元，可以选择至少一个编码的深度。

随着根据深度分层级地分割出编码单元，最大编码单元的尺寸被分割，并且编码单元的数量增加。另外，即使一个最大编码单元中，编码单元与同一深度相对应，也要通过单独地测量每个编码单元的数据的编码误差来确定是否将与同一深度相对应的编码单元中的每个分割为较低深度。因此，即使数据被包括在一个最大编码单元中，根据深度的编码误差也可能根据区域而不同，并且因此编码的深度可能根据区域而不同。因此，针对一个最大编码单元可以设定一个或多个编码的深度，并且可以根据一个或多个编码的深度的编码单元来划分最大编码单元的数据。

因此，根据实施例的编码单元确定器120可以确定在当前最大编码单元中所包括的具有树形结构的编码单元。根据本发明构思的实施例的“具有树形结构的编码单元”包括：在最大编码单元中所包括的与深度相对应的所有编码单元之中、与被确定为编码的深度的深度相对应的编码单元。编码的深度的编码单元可以在最大编码单元的同一区域中根据深度分层级地确定，并且可以在不同的区域中独立地被确定。类似地，当前区域中的编码的深度可以独立于在另一个区域中的编码的深度被确定。

根据实施例的最大深度是与从最大编码单元到最小编码单元所执行的分割的次数相关联的索引。根据实施例的第一最大深度可以指示从最大编码单元到最小编码单元所执行的分割的总次数。根据实施例的第二最大深度可以指示从最大编码单元到最小编码单元的深度等级的总数量。例如，当最大编码单元的深度为0时，其中最大编码单元被分割一次的编码单元的深度可以被设定为1，并且其中最大编码单元被分割两次的编码单元的深度可以被设定为2。在这种情况下，如果最小编码单元是通过将最大编码单元分割四次所获得的编码单元，则存在深度0、1、2、3和4的5个深度等级，并且因此，第一最大深度可以被设定为4而第二最大深度可以被设定为5。

可以针对最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深编码单元来执行预测编码和变换。

因为每当根据深度分割最大编码单元时较深编码单元的数量增加，所以需要对随着深度增加而生成的较深编码单元的全部来执行包括所述预测编码和所述频率变换的编码。为了描述的方便，现在将基于至少一个最大编码单元之中的当前深度的编码单元来描述预测编码和频率变换。

根据实施例的视频编码装置100可以不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换以及熵编码的操作，并且此时，针对所有操作可以使用相同的数据单元或者针对每个操作可以使用不同的数据单元。

例如，视频编码装置100不仅可以选择用于对图像数据进行编码的编码单元，并且还可以选择与编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可以基于与编码的深度相对应的编码单元，即，基于不再被分割为与较低深度相对应的编码单元的编码单元，来执行预测编码。在下文中，不再被分割的并且变为用于预测编码的基础单元的编码单元现在将被称为“预测单元”。通过分割预测单元所获得的分区可以包括预测单元和通过分割预测单元的高度和宽度中的至少一个所获得的数据单元。

例如，当2N×2N(其中，N为正整数)的编码单元不再被分割时，编码单元可以变为2N×2N的预测单元，并且分区的尺寸可以为2N×2N、2N×N、N×2N或N×N。分区类型的示例包括：通过对称分割预测单元的高度或宽度所获得的对称分区、通过诸如1：n或n：1地不对称分割预测单元的高度或宽度所获得的分区、通过几何地分割预测单元所获得的分区、以及具有任意形状的分区。

预测单元的预测模式可以为内部模式(intra mode)、相互模式(inter mode)和跳过模式(skip mode)中的至少一个。例如，可以对2N×2N、2N×N、N×2N或N×N的分区执行内部模式或相互模式。另外，可以仅对2N×2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小的编码误差的预测模式。

根据实施例的视频编码装置100也可以不仅基于用于对图像数据进行编码的编码单元并且还基于与该编码单元不同的数据单元，来对该编码单元中的图像数据执行变换。

为了在该编码单元中执行频率变换，可以基于具有小于或等于该编码单元的尺寸的数据单元来执行频率变换。例如，用于频率变换的数据单元可以包括用于内部模式的数据单元和用于相互模式的数据单元。

在下文中，作为用于频率变换的基础的数据单元可以被称为“变换单元”。类似于编码单元，编码单元中的变换单元可以递归地被分割为更小尺寸的变换单元，并且因此，编码单元中的剩余数据可以根据具有根据变换深度的树形结构的变换单元被划分。

还可以在根据实施例的变换单元中设定变换深度，其指示通过分割编码单元的高度和宽度以达到变换单元所执行的分割的次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸为2N×2N时，变换深度可以为0；当变换单元的尺寸为N×N时，变换深度可以为1；以及当变换单元的尺寸为N/2×N/2时，变换深度可以为2。即，还可以根据变换深度来设定具有树形结构的变换单元。

根据与编码的深度相对应的编码单元的编码信息不仅需要关于编码的深度的信息并且还需要关于与预测和变换相关联的信息的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码的深度并且还确定预测单元中的划分类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参考图3至图12详细地描述根据实施例的、最大编码单元中具有树形结构的编码单元以及确定编码单元和分区的方法。

编码单元确定器120可以通过使用基于拉格朗日(Lagrangian)乘子的失真率(Rate-Distortion,RD)优化来测量根据深度的较深编码单元的编码误差。

输出器130以比特流输出，基于由编码单元确定器120所确定的至少一个编码的深度被编码的最大编码单元的图像数据，和关于根据该编码的深度的编码模式的信息。

可以通过对图像的剩余数据进行编码来获得编码的图像数据。

关于根据编码的深度的编码模式的信息可以包括关于编码的深度的信息、预测单元中的分区类型、预测模式以及变换单元的尺寸。

可以通过使用根据深度的分割信息来定义关于编码的深度的信息，其指示是否对较低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码的深度，则对当前深度的当前编码单元执行编码，并且因此分割信息可以被限定为不将当前编码单元分割为较低深度。可替换地，如果当前编码单元的当前深度不是编码的深度，则对较低深度的编码单元执行编码，并且因此，当前深度的分割信息可以被定义为对当前编码单元进行分割以获得较低深度的编码单元。

如果当前深度不是编码的深度，则对被分割为较低深度的编码单元的编码单元执行编码。因为在当前深度的一个编码单元中存在较低深度的至少一个编码单元，所以对较低深度的每个编码单元重复地执行编码，并且因此针对具有相同深度的编码单元可以递归地执行编码。

因为针对一个最大编码单元确定具有树形结构的编码单元，并且针对编码的深度的编码单元确定关于至少一个编码模式的信息，所以可以针对一个最大编码单元来确定关于至少一个编码模式的信息。另外，因为数据根据深度分层级地分割，所以最大编码单元的数据的编码的深度可以根据位置而不同，并且因此可以针对数据来设定关于编码的深度和编码模式的信息。

因此，根据实施例的输出器130可以向最大编码单元中所包括的编码单元、预测单元以及最小单元中的至少一个指派(assign)关于相对应的编码的深度和编码模式的编码信息。

根据实施例的最小单元是通过将构成最低深度的最小编码单元分割为4个所获得的矩形数据单元。可替换地，最小单元可以是在最大编码单元中包括的编码单元、预测单元、分区单元以及变换单元的全部中可以包括的最大矩形数据单元。

例如，通过输出器130所输出的编码信息可以被分类为：依据根据深度的较深编码单元的编码信息以及根据预测单元的编码信息。依据根据深度的较深编码单元的编码信息可以包括关于预测模式和关于分区的尺寸的信息。根据预测单元的编码信息可以包括关于相互模式的估计方向、关于相互模式的参考图像索引、关于运动向量、关于内部模式的色度分量以及关于内部模式的插值方法的信息。另外，关于针对每个画面、切片或画面组(GOP)所定义的编码单元的最大尺寸的信息、以及关于最大深度的信息可以被插入到比特流的报头(header)。

在根据最简单的实施例的视频编码装置100中，较深的编码单元是通过将作为其上一层的较高深度的编码单元的高度或宽度除以2所获得的编码单元。换言之，在当前深度的编码单元的尺寸为2N×2N时，该较低深度的编码单元的尺寸为N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可以包括最大数量为4的该较低深度的编码单元。

因此，根据实施例的视频编码装置100可以通过基于考虑到当前画面的特性所确定的最大编码单元的尺寸和最大深度、针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树形结构的编码单元。另外，因为通过使用各种预测模式和变换中的任何一个来对每个最大编码单元执行编码，所以可以考虑到各种图像尺寸的编码单元的图像特性来确定最佳编码模式。

因此，如果在传统的宏块中对具有高分辨率或大数据量的图像进行编码，所以每画面的宏块的数量过度地增加。因此，针对每个宏块所生成的压缩信息的数量增加，并且因此，难以传送压缩的信息并且数据压缩效率降低。然而，通过使用根据实施例的视频编码装置，图像压缩效率可以提高，这是因为在考虑到图像的尺寸增加编码单元的最大尺寸的同时，考虑到图像的特性来调整编码单元。

图2是根据本发明构思的实施例的视频解码装置的框图。

根据实施例的视频解码装置200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。在下文中，诸如用于各种处理的编码单元、深度、预测单元、变换单元、关于各种编码模式的信息的定义与参考图1和视频编码装置100所描述的那些相同。

接收器210接收并且解析编码视频的比特流。图像数据和编码信息提取器220从被解析的比特流中提取用于每个编码单元的编码图像数据，其中，编码单元具有根据每个最大编码单元的树形结构，并且图像数据和编码信息提取器220向图像数据解码器230输出所提取的图像数据。图像数据和编码信息提取器220可以从关于当前画面的报头中提取关于当前画面的编码单元的最大尺寸的信息。

另外，图像数据和编码信息提取器220从被解析的比特流中提取关于用于具有根据每个最大编码单元的树形结构的编码单元的编码的深度和编码模式的信息。所提取的关于编码的深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被分割为最大编码单元，以便图像数据解码器230针对每个最大编码单元对图像数据进行解码。

关于根据最大编码单元的编码的深度和编码模式的信息可以针对关于至少一个编码的深度的信息被设定，并且关于根据每个编码的深度的编码模式的信息可以包括关于相对应的编码单元的分区类型、预测模式以及变换单元的尺寸的信息。另外，根据深度的分割信息可以被提取，作为关于编码的深度的信息。

由图像数据和编码信息提取器220所提取的、关于根据每个最大编码单元的编码的深度和编码模式的信息是关于被确定为当诸如视频编码装置100的编码器针对依据根据每个最大编码单元的深度的每个较深编码单元重复地执行编码时生成最小编码误差的编码的深度和编码模式的信息。因此，视频解码装置200可以通过根据生成最小编码误差的编码模式对数据进行解码来重构图像。

因为根据实施例关于编码的深度和编码模式的编码信息可以被指派给相对应的编码单元、预测单元以及最小单元之中的预先确定的数据单元，所以图像数据和编码信息提取器220可以提取关于根据预先确定的数据单元的编码的深度和编码模式的信息。当关于相对应的最大编码单元的编码的深度和编码模式的信息根据预先确定的数据单元被记录时，具有关于编码的深度和编码模式的相同信息的预先确定的数据单元可以被推断为在同一最大编码单元中所包括的数据单元。

图像数据解码器230通过基于关于根据最大编码单元的编码的深度和编码模式的信息对每个最大编码单元中的图像数据进行解码，来重构当前画面。换言之，图像数据解码器230可以基于所提取的关于用于在每个最大编码单元中所包括的具有树形结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元的信息，来对编码图像数据进行解码。解码处理可以包括包含内部预测和运动补偿的预测，以及逆变换。

图像数据解码器230可以基于关于根据编码的深度的编码单元的分区类型和预测单元的预测模式的信息，根据每个编码单元的分区和预测模式来执行内部预测或运动补偿。

另外，图像数据解码器230可以基于编码单元中的每个变换单元来执行逆频率变换，以便根据最大编码单元执行逆频率变换。

图像数据解码器230可以通过使用根据深度的分割信息来确定当前最大编码单元的编码的深度。如果分割信息指示在当前深度中图像数据不再被分割，则当前深度是编码的深度。因此，图像数据解码器230可以通过使用关于用于当前最大编码单元的图像数据的预测单元的分区类型、预测模式以及变换单元的尺寸的信息，来对当前深度的编码数据进行解码。

换言之，通过观察针对编码单元、预测单元以及最小单元之中的预先确定的数据单元所指派的编码信息集，包括包含相同分割信息的编码信息的数据单元可以被聚集，并且所聚集的数据单元可以被认为是要由图像数据解码器230在同一编码模式中解码的一个数据单元。

根据实施例的视频解码装置200可以获得关于当针对每个最大编码单元递归地执行编码时生成最小的编码误差的编码单元的信息，并且可以使用该信息来对当前画面进行解码。换言之，可以对被确定为每个最大编码单元中的最佳编码单元的、具有树形结构的编码单元的编码图像数据进行解码。

因此，即使图像数据具有高分辨率和大的数据量，也可以通过使用从编码器所接收的关于最佳编码模式的信息、依据根据图像的特性自适应地确定的编码单元的尺寸和编码模式，有效地解码和重构图像数据。

在下文中，将参考图3至图13描述根据本发明构思的实施例、确定具有树形结构的编码单元、预测单元和变换单元的方法。

图3是用于描述层级编码单元的构思的图。

编码单元的尺寸可以被表示为宽度×高度，并且编码单元的尺寸的示例可以包括64×64、32×32、16×16以及8×8。64×64的编码单元可以被分割为64×64、64×32、32×64或32×32的分区，并且32×32的编码单元可以被分割为32×32、32×16、16×32或16×16的分区；16×16的编码单元可以被分割为16×16、16×8、8×16或8×8的分区，并且8×8的编码单元可以被分割为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率被设定为1920×1080，编码单元的最大尺寸被设定为64以及最大深度被设定为2。在视频数据320中，分辨率被设定为1920×1080，编码单元的最大尺寸被设定为64以及最大深度被设定为3。在视频数据330中，分辨率被设定为352×288，编码单元的最大尺寸被设定为16以及最大深度被设定为1。在图3中所示的最大深度指示从最大编码单元到最小解码单元的分割的总数量。

如果分辨率高或数据量大，那么编码单元的最大尺寸可以大，以便不仅提高编码效率并且还精确地反映图像的特性。因此，具有比视频数据330的分辨率更高的分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

因为视频数据310的最大深度为2，所以视频数据310的编码单元315可以包括具有为64的长轴尺寸的最大编码单元，以及具有为32和16的长轴尺寸的编码单元，这是因为通过将最大编码单元分割两次可以使深度增加到两层。同时，因为视频数据330的最大深度为1，所以视频数据330的编码单元335可以包括具有为16的长轴尺寸的最大编码单元，以及具有为8的长轴尺寸的编码单元，这是因为通过将最大编码单元分割一次可以使深度增加到一层。

因为视频数据320的最大深度为3，所以视频数据320的编码单元325可以包括具有为64的长轴尺寸的最大编码单元，以及具有为32、16和8的长轴尺寸的编码单元，这是因为通过将最大编码单元分割三次可以使深度增加到三层。随着深度增加，可以更精准地表示详细信息。

图4是根据本发明构思的实施例、基于编码单元的图像编码器的框图。

根据实施例的图像编码器400执行视频编码装置100的编码单元确定器120的操作以对图像数据进行编码。换言之，内部预测器410在内部模式中对当前帧405之中的编码单元执行内部预测，而运动估计器420和运动补偿器425通过使用当前帧405和参考帧495在相互模式中对当前帧405之中的编码单元执行相互估计和运动补偿。合并模式预测器402根据下述合并模式来执行预测：该合并模式使用从与当前编码单元在时间上和空间上相关联的合并模式候选块之中所选择的一个预测单元的运动信息，作为当前编码单元的运动信息。

从合并模式预测器402、内部预测器410、运动估计器420以及运动补偿器425所输出的数据通过频率变换器430和量化器440被输出为量化变换系数。量化变换系数可以通过逆量化器460和逆频率变换器470被重构为空间域的数据，以及空间域的重构数据通过去块器(deblocker)480和环路滤波单元490以被后处理，并且被输出作为参考帧495。量化变换系数可以通过熵编码器450以被输出为比特流。

为了将图像编码器400应用于根据实施例的视频编码装置100，图像编码器400的所有元件，即，合并模式预测器402、内部预测器410、运动估计器420、运动补偿器425、频率变换器430、量化器440、熵编码器450、逆量化器460、逆频率变换器470、去块器480以及环路滤波单元490，需要在考虑到每个最大编码单元的最大深度的同时基于具有树形结构的编码单元之中的每个编码单元来执行操作。

合并模式预测器402、内部预测器410、运动估计器420以及运动补偿器425在考虑到当前最大编码单元的最大尺寸和最大深度的同时，确定具有树形结构的编码单元之中的每个编码单元的分区和预测模式；而频率变换器430确定具有树形结构的编码单元之中的每个编码单元中的变换单元的尺寸。

图5是根据本发明构思的实施例、基于编码单元的图像解码器的框图。

解析器510对来自比特流505的、要被解码的编码图像数据和针对解码所需要的关于编码的信息进行解析。编码图像数据通过熵解码器520和逆量化器530被输出为逆量化数据，并且逆量化数据通过逆频率变换器540被重构为空间域中的图像数据。

内部预测器550对于空间域中的图像数据在内部模式中对编码单元执行内部预测，并且运动补偿器560通过使用参考帧585在相互模式中对编码单元执行运动补偿。合并模式预测器590根据下述合并模式来执行预测：该合并模式通过使用从关于合并模式的编码单元、与当前编码单元在时间上和空间上相关联的合并模式候选块之中所选择的一个编码单元的运动信息来生成当前编码单元的预测值作为当前编码单元的运动信息。

通过了内部预测器550、运动补偿器560和合并模式预测器590的空间域中的数据可以在通过去块器570和环路滤波单元580被后处理之后被输出为重构的帧595。另外，通过去块器570和环路滤波单元580被后处理的数据可以被输出为参考帧585。

为了在视频解码装置200的图像数据解码器230中对图像数据进行解码，图像解码器500可以执行在解析器510的操作被执行之后所执行的操作。

为了将图像解码器500应用于根据实施例的视频解码装置200，图像编码器500的所有元件，即，解析器510、熵解码器520、逆量化器530、逆频率变换器540、内部预测器550、运动补偿器560、去块器570、环路滤波单元580和合并模式预测器590，需要基于针对每个最大编码单元的具有树形结构的编码单元来执行操作。

具体地，内部预测器550、运动补偿器560和合并模式预测器590需要针对具有树形结构的编码单元中的每个来确定分区和预测模式，并且逆频率变换器540需要针对每个编码单元来确定变换单元的尺寸。

图6是根据本发明构思的实施例、示出了根据深度和分区的编码单元的图。

根据实施例的视频编码装置100和根据实施例的视频解码装置200使用层级编码单元，以便考虑到图像的特性。编码单元的最大高度、最大宽度以及最大深度可以根据图像的特性自适应地被确定，或者可以由用户不同地设定。根据深度的较深编码单元的尺寸可以根据之前所设定的编码单元的最大尺寸而被确定。

在根据实施例的编码单元的层级结构600中，编码单元的最大高度和最大宽度各自被设定为64，并且最大深度为4。因为根据实施例深度沿着编码单元的层级结构600的垂直轴增加，所以较深编码单元的高度和宽度各自被分割。沿着编码单元的层级结构600的水平轴示出了作为针对每个较深编码单元的预测编码的基础的预测单元和分区。

换言之，编码单元610是编码单元的层级结构600中的最大编码单元，其中，深度为0并且尺寸——即，高度乘宽度——为64×64。深度沿着垂直轴增加，并且存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640以及尺寸为4×4和深度为4的编码单元650。尺寸为4×4和深度为4的编码单元650是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则该预测单元可以被分割为在编码单元610中所包括的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，尺寸为32×32和深度为1的编码单元620的预测单元可以被分割为在编码单元620中所包括的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624以及尺寸为16×16的分区626。

类似地，尺寸为16×16和深度为2的编码单元630的预测单元可以被分割为在编码单元630中所包括的分区，即，在编码单元630中所包括的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636。

类似地，尺寸为8×8和深度为3的编码单元640的预测单元可以被分割为在编码单元640中所包括的分区，即，在编码单元640中所包括的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。

最终，尺寸为4×4和深度为4的编码单元650是最小的编码单元和最低深度的编码单元，并且其预测单元还可以仅被设定为尺寸为4×4的分区650。

为了确定最大编码单元610的编码的深度，根据实施例的视频编码装置100的编码单元确定器120需要针对在最大编码单元610中所包括的与每个深度相对应的编码单元执行编码。

随着深度增加，根据深度的包括相同范围和相同尺寸的数据的较深编码单元的数量增加。例如，需要与深度2相对应的四个编码单元来覆盖在与深度1相对应的一个编码单元中所包括的数据。因此，为了对根据深度的相同数据的编码结果进行比较，与深度1相对应的编码单元和与深度2相对应的四个编码单元需要各自被编码。

为了根据每个深度执行编码，可以通过沿着编码单元的层级结构600的水平轴、针对较深的编码单元中的每个预测单元执行编码，来选择作为在相对应的深度中的最小编码误差的代表性编码误差。可替换地，当深度沿着编码单元的层级结构600的垂直轴增加时，通过针对每个深度执行编码来对根据深度的代表性编码误差进行比较，可以搜索到最小编码误差。在最大编码单元610中具有最小编码误差的深度和分区可以被选择作为最大编码单元610的编码的深度和分区类型。

图7是根据本发明构思的实施例、用于描述编码单元与变换单元之间的关系的图。

根据实施例的视频编码装置100或根据实施例的视频解码装置200针对每个最大编码单元、根据具有小于或等于最大编码单元的尺寸的编码单元来对图像执行编码或解码。可以基于不大于相对应的编码单元的数据单元，来选择在编码期间用于频率变换的变换单元的尺寸。

例如，在根据实施例的视频编码装置100或根据实施例的视频解码装置200中，如果当前编码单元710的尺寸为64×64，则可以通过使用具有32×32的尺寸的变换单元720来执行频率变换。

另外，可以通过对具有小于64×64的32×32、16×16、8×8以及4×4的尺寸的变换单元中的每个执行频率变换可以对具有64×64的尺寸的编码单元710的数据进行编码，并且然后，可以选择关于原始值(original)具有最小误差的变换单元。

图8是根据本发明构思的实施例、用于描述根据深度的编码单元的编码信息的图。

根据实施例的视频编码装置100的输出器130可以对作为关于编码模式的信息的、针对与编码的深度相对应的每个编码单元的下述信息进行编码和传送：关于分区类型的信息800、关于预测模式的信息810以及关于变换单元的尺寸的信息820。

关于分区类型的信息800指示关于通过分割当前编码单元的预测单元所获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，具有2N×2N的尺寸的当前编码单元CU_0可以被分割为具有2N×2N的尺寸的分区802、具有2N×N的尺寸的分区804、具有N×2N的尺寸的分区806以及具有N×N的尺寸的分区808中的任何一个。这里，关于当前编码单元的分区类型的信息800被设定为指示具有2N×N的尺寸的分区804、具有N×2N的尺寸的分区806以及具有N×N的尺寸的分区808中的一个。

关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模式的信息810可以指示对由信息800所指示的分区所执行的预测编码的模式，即，内部模式812、相互模式814或跳过模式816.

另外，关于变换单元的尺寸的信息820指示当对当前编码单元执行频率变换时要基于的变换单元。例如，变换单元可以是第一内部变换单元822、第二内部变换单元824、第一相互变换单元826或第二相互变换单元828。

根据实施例的视频解码装置200的图像数据和编码信息提取器210可以提取并且使用关于分区类型的信息800、关于预测模式的信息810以及关于变换单元的尺寸的信息820，以用于根据每个较深的编码单元进行解码。

图9是根据本发明构思的实施例、根据深度的编码单元的图。

分割信息可以被用于指示深度的改变。分割信息指示当前深度的编码单元是否被分割为较低深度的编码单元。

用于具有0的深度和2N_0×2N_0的尺寸的编码单元900的预测编码的预测单元910可以包括下述分区类型的分区：具有2N_0×2N_0的尺寸的分区类型912、具有2N_0×N_0的尺寸的分区类型914、具有N_0×2N_0的尺寸的分区类型916以及具有N_0×N_0的尺寸的分区类型918。图9仅示出了通过对称分割预测单元910所获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可以包括不对称分区，具有预先确定的形状的分区以及具有几何形状的分区。

根据每个分区类型，需要对具有2N_0×2N_0的尺寸的一个分区、具有2N_0×N_0的尺寸的两个分区、具有N_0×2N_0的尺寸的两个分区以及具有N_0×N_0的尺寸的四个分区重复地执行预测编码。可以对具有2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的尺寸的分区执行采用内部模式和相互模式的预测编码。可以仅对具有2N_0×2N_0的尺寸的分区执行采用跳过模式的预测编码。

如果在具有2N_0×2N_0、2N_0×N_0以及N_0×2N_0的尺寸的分区类型912至916中的一个中编码误差最小，则预测单元910可以不再被分割为较低深度。

如果在具有N_0×N_0的尺寸的分区类型918中编码误差最小，则在操作920中，深度可以从0被改变到1以分割分区类型918，并且可以对具有2的深度和N_0×N_0的尺寸的编码单元930重复地执行编码以搜索最小编码误差。

用于对具有1的深度和2N_1×2N_1(＝N_0×N_0)的尺寸的编码单元930进行预测编码的预测单元940可以包括下述分区类型的分区：具有2N_1×2N_1的尺寸的分区类型942、具有2N_1×N_1的尺寸的分区类型944、具有N_1×2N_1的尺寸的分区类型946以及具有N_1×N_1的尺寸的分区类型948。

如果在具有N_1×N_1的尺寸的分区类型948中编码误差最小，则在操作950中，深度可以从1被改变到2以分割分区类型948，并且可以对具有2的深度和N_2×N_2的尺寸的编码单元960重复地执行编码以搜索最小编码误差。

当最大深度为d时，根据每个深度的分割信息可以被设定直到深度变为d-1为止，并且分割信息可以被设定直到深度变为d-2为止。换言之，当在操作970中与d-2的深度相对应的编码单元被分割之后直到深度为d-1为止执行编码时，用于对具有d-1的深度和2N_(d-1)×2N_(d-1)的尺寸的编码单元980进行预测编码的预测单元990可以包括下述分区类型的分区：具有2N_(d-1)×2N_(d-1)的尺寸的分区类型992、具有2N_(d-1)×N_(d-1)的尺寸的分区类型994、具有N_(d-1)×2N_(d-1)的尺寸的分区类型996以及具有N_(d-1)×N_(d-1)的尺寸的分区类型998。

可以对分区类型之中的、具有2N_(d-1)×2N_(d-1)的尺寸的一个分区、具有2N_(d-1)×N_(d-1)的尺寸的两个分区、具有N_(d-1)×2N_(d-1)的尺寸的两个分区以及具有N_(d-1)×N_(d-1)的尺寸的四个分区重复地执行预测编码。

即使当具有N_(d-1)×N_(d-1)的尺寸的分区类型998具有最小编码误差时，因为最大深度为d，所以具有d-1的深度的编码单元CU_(d-1)可以不再被分割为较低深度，用于当前最大编码单元900的编码的深度可以被确定为d-1，并且当前最大编码单元900的分区类型可以被确定为N_(d-1)×N_(d-1)。另外，因为最大深度为d，所以用于具有d-1的深度的编码单元952的分割信息不被设定。

数据单元999可以被称为当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码的深度的最小编码单元分割为4个所获得的矩形数据单元。通过重复地执行编码，根据实施例的视频编码装置100可以通过将编码单元900的根据深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码的深度，并且可以将相对应的分区类型和预测模式设定为该编码的深度的编码模式。

这样，在深度0、1、……、d的所有中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可以被确定为编码的深度。编码的深度、预测单元的分区类型、以及预测模式可以作为关于编码模式的信息被编码并且被传送。另外，因为编码单元需要从深度0被分割到该编码的深度，所以仅该编码的深度的分割信息需要被设定为0，并且除了该编码的深度之外的深度的分割信息需要被设定为1。

根据实施例的视频解码装置200的图像数据和编码信息提取器220可以提取并且使用关于编码单元900的编码的深度和预测单元的信息以对编码单元912进行解码。根据实施例的视频解码装置200通过使用根据深度的分割信息可以将在其中分割信息为0的深度确定为编码的深度，并且可以使用关于相对应的深度的编码模式的信息以用于解码。

图10至图12是根据本发明构思的实施例、用于描述编码单元、预测单元以及变换单元之间的关系的图。

编码单元1010是在最大编码单元中、与由根据实施例的视频编码装置100所确定的编码的深度相对应的编码单元。预测单元1060是编码单元1010中的每个的预测单元的分区，并且变换单元1070是编码单元中的每个的变换单元。

当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050以及1052的深度为2，编码单元1020、1022、1024、1026、1030、1032以及1048的深度为3，以及编码单元1040、1042、1044以及1046的深度为4。

在预测单元1060中，通过分割编码单元来获得一些分区1014、1016、1022、1032、1048、1050、1052以及1054。换言之，分区1014、1022、1050以及1054中的分区类型具有2N×N的尺寸，分区1016、1048以及1052中的分区类型具有N×2N的尺寸，以及分区1032的分区类型具有N×N的尺寸。编码单元1010的预测单元和分区小于或等于每个编码单元。

在小于变换单元1070中的变换单元1052的数据单元中，对变换单元1052的图像数据执行频率变换或逆频率变换。另外，变换单元1014、1016、1022、1032、1048、1050、1052以及1054就尺寸或形状而言与预测单元1060中的那些单元不同。换言之，根据实施例的视频编码装置100和根据实施例的视频解码装置200可以对甚至在同一编码单元中的数据单元单独地执行内部预测/运动估计/运动补偿以及频率变换/逆频率变换。

因此，对最大编码单元的每个区域中具有层级结构的编码单元中的每个可以递归地执行编码以确定最佳编码单元，并且因此可以获得具有递归树形结构的编码单元。编码信息可以包括关于编码单元的分割信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可以由根据实施例的视频编码装置100和根据实施例的视频解码装置200所设定的编码信息。

[表1]

根据实施例的视频编码装置100的输出器130可以输出关于具有树形结构的编码单元的编码信息，并且根据实施例的视频解码装置200的图像数据和编码信息提取器220可以从所接收的比特流中提取关于具有树形结构的编码单元的编码信息。

分割信息指示当前编码单元是否被分割为较低深度的编码单元。如果当前深度d的分割信息为0，则其中当前编码单元不再被分割为较低深度的深度为编码的深度，并且因此可以针对该编码的深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据分割信息进一步被分割，则需要对较低深度的四个分割的编码单元独立地执行编码。

预测模式可以是内部模式、相互模式以及跳过模式之一。可以在所有分区类型中定义内部模式和相互模式，并且仅可以在具有2N×2N的尺寸的分区类型中定义跳过模式。

关于分区类型的信息可以指示对称分区类型——通过对称分割预测单元的高度或宽度所获得的、具有2N×2N、2N×N、N×2N以及N×N的尺寸；以及不对称分区类型——通过不对称分割预测单元的高度或宽度所获得的、具有2N×nU、2N×nD、nL×2N以及nR×2N的尺寸。通过以1:3和3:1对预测单元的高度进行分割来分别地获得具有2N×nU和2N×nD的尺寸的不对称分区类型，以及通过以1:3和3:1对预测单元的宽度进行分割来分别地获得具有nL×2N和nR×2N的尺寸的不对称分区类型。

变换单元的尺寸可以被设定为内部模式中的两个类型和相互模式中的两个类型。换言之，如果变换单元的分割信息为0，则变换单元的尺寸被设定为2N×2N，其为当前编码单元的尺寸。如果变换单元的分割信息为1，则可以通过对当前编码单元进行分割来获得变换单元。另外，如果具有2N×2N的尺寸的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以被设定为N×N，并且如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以被设定为N/2×N/2。

根据实施例，关于具有树形结构的编码单元的编码信息可以被指派给与编码的深度相对应的编码单元、预测单元以及最小单元中的至少一个。与编码的深度相对应的编码单元可以包括包含相同的编码信息的预测单元和最小单元中的至少一个。

因此，通过对相邻数据单元的编码信息进行比较来确定相邻数据单元是否被包括在与编码的深度相对应的相同的编码单元中。另外，可以通过使用数据单元的编码信息来确定与编码的深度相对应的相应编码单元，并且因此，可以确定最大编码单元中的编码的深度的分布。

因此，如果通过参考相邻数据单元来预测当前编码单元，则可以直接地参考并且使用在与当前编码单元相邻的较深编码单元中的数据单元的编码信息。

可替换地，如果当前编码单元是通过参考邻居数据单元所编码的预测，则可以通过使用数据单元的编码信息来搜索在较深的编码单元中与当前编码单元相邻的数据单元，并且可以参考所搜索到的相邻编码单元以用于对当前编码单元进行预测编码。

图13是根据表1的编码模式信息、用于描述编码单元、预测单元以及变换单元之间的关系的图。

最大编码单元1300包括编码的深度的编码单元1302、1304、1306、1312、1314、1316以及1318。这里，因为编码单元1318是编码的深度的编码单元，所以分割信息可以被设定为0。关于具有2N×2N的尺寸的编码单元1318的分区类型的信息可以被设定为下述分区类型中的一个：具有2N×2N的尺寸的分区类型1322、具有2N×N的尺寸的分区类型1324、具有N×2N的尺寸的分区类型1326、具有N×N的尺寸的分区类型1328、具有2N×nU的尺寸的分区类型1332、具有2N×nD的尺寸的分区类型1334、具有nL×2N的尺寸的分区类型1336以及具有nR×2N的尺寸的分区类型1338。

例如，当分区类型被设定为对称，即，分区类型1322、1324、1326或1328时，如果变换单元的分割信息(TU尺寸标志)为0，则可以设定具有2N×2N的尺寸的变换单元1342，并且如果TU尺寸标志为1，则可以设定具有N×N的尺寸的变换单元1344。

当分区类型被设定为不对称，即，分区类型1332、1334、1336或1338时，如果TU尺寸标志为0，则设定具有2N×2N的尺寸的变换单元1352，并且如果TU尺寸标志为1，则设定具有N/2×N/2的尺寸的变换单元1354。

在下文中，将描述由根据实施例的图像编码装置400的合并模式预测器402所执行的确定合并模式的操作。这里，以上所述的层级编码单元、预测单元以及预测单元的分区将被称为块。

当在相互预测中执行运动预测和补偿之后，被相互预测的块的运动信息被传送到解码器。在下文中，为了描述的方便，运动向量、参考画面信息以及残余信息将被定义为运动信息。

根据传统H.264/AVC，为了提高编码效率引入跳过模式。关于在跳过模式中所预测的块，仅指示跳过模式的标志被传送，并且其他运动信息不被传送。根据实施例，除了跳过模式之外，合并模式被用作新的预测模式。

在合并模式中，当前块和与其相邻的块被组合，使得不每次都传送每个块的运动信息，而是一次性地传送所有合并的块的运动信息，以提高编码效率。不同于在跳过模式中所预测的块，关于在合并模式中所预测的块，指示合并模式的标志信息和残余信息一起被传送。合并候选的运动向量信息和参考画面信息被用作在合并模式中所预测的块的运动向量信息和参考画面信息。

图15示出了根据实施例的块合并的示例。

在图15中，当前块为X1510，并且阴影区域指示在当前块X1510之前已经对其执行了编码的块。在合并模式中，在当前块X1510之前对其执行了编码的块之中的可用合并候选可以与当前块X1510合并。例如，当前块X1510可以与块A 1530或块B 1520合并。如同块A1530或块B 1520、在合并模式中可以与当前块X1510合并的块被定义为合并候选。合并意味着当前块和合并候选共享除了残余信息之外的运动信息，并且不意味着它们物理上被合并。即，当前块X1510仅共享块A 1530或块B 1520这两个块的运动信息作为其自己的运动信息。

在合并模式中，当所传送的运动信息的数据量降低时，可以提高编码效率。当不存在对于合并模式可用的块时，不执行根据合并模式的预测。仅相互预测块可以是可用块。在合并模式中所使用的合并候选是作为位于当前块的周围的块的空间合并候选，以及作为被包括在包括当前块的画面之前所处理的其他画面中的块的时间合并候选。

在合并模式中，在当前块共享之前所处理的块的运动信息时，在对当前块的处理之前应当完成在合并候选中所包括的块的预测模式的确定。换言之，在合并模式中，在当前块与在合并候选中所包括的之前块之间存在数据依赖性。如果存在数据依赖性，则应当顺序地处理当前块和在合并候选中所包括的之前块。即，在当前块使用在合并候选中所包括的块的运动信息时，仅可以在被包括在合并候选中的块之后处理当前块。这样的顺序的块处理是对于并行执行合并模式预测的妨碍，并且增加了执行合并模式预测所需要的处理时间。为了解决该问题，可以设定指示下述编码单元的尺寸的并行合并等级：对于该编码单元可以并行地确定合并模式；并且根据所设定的并行合并等级、针对在预先确定的尺寸的编码单元中所包括的编码单元可以并行地确定合并模式，使得对于一些编码单元并行合并模式确定操作是可能的。

并行合并等级指示对于其可以并行地确定合并候选的编码单元的一侧的长度。并行合并等级可以被定义为ParMrgLevel。例如，当ParMrgLevel被设定为32时，在32×32的编码单元中所包括的预测单元或编码单元的合并候选可以并行地处理。并行合并等级通过使用Log2_parallel_merge_level_minus2被传送到解码器，Log2_parallel_merge_level_minus2是具有(log2ParMrgLevel-2)的值的语法。如上所述，当ParMrgLevel为32时，log2ParMrgLevel的值为5，并且因此，语法(Log2_parallel_merge_level_minus2)具有3的值。语法(Log2_parallel_merge_level_minus2)可以被包括在序列参数集(SPS)、画面参数集(PPS)或切片报头中以被传送。

为了确定关于树形结构的层级编码单元的最佳合并模式，编码器应当通过计算编码成本来确定各种尺寸的编码单元中的每个的最佳合并候选。因此，需要大量处理时间来确定用于具有各种尺寸的层级编码单元的最佳合并模式。例如，为了确定是否在合并模式中预测具有16×16的尺寸的编码单元，或者是否将具有16×16的尺寸的编码单元分割为较低深度的具有8×8的尺寸的编码单元并且然后确定用于具有8×8的尺寸的每个编码单元的合并模式，要将根据具有16×16的尺寸的编码单元的合并模式的编码成本与根据具有8×8的尺寸的编码单元的合并模式的编码成本进行比较。

如稍后将描述地，在根据较高深度的编码单元的合并模式来确定编码成本的操作中所执行的计算可能关于在根据通过分割较高深度的编码单元所获得的较低深度的编码单元的合并模式来确定编码成本的操作中所执行的计算是冗余的。因此，根据较高深度的编码单元的合并模式的编码成本可以包括根据较低深度的编码单元的合并模式的编码成本。计算编码成本的冗余操作可能增加编码处理时间。因此，根据实施例的确定合并模式的方法，通过使用根据较高深度的编码单元的合并模式的编码成本，可以获得根据较低深度的编码单元的合并模式的编码成本，并且可以跳过计算根据较低深度的编码单元的合并模式的编码成本的操作。另外，根据另一个实施例的确定合并模式的方法，当确定根据较低深度的编码单元的合并模式的编码成本时，仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选的成本。通过仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选的成本，可以跳过关于较低深度的编码单元来计算根据合并模式的编码成本的操作。

在下文中，将详细地描述根据实施例确定合并模式的操作。

图14是示出了根据实施例的合并模式确定装置1400的结构的框图。图14的合并模式确定装置1400与图4的图像编码装置400的合并模式预测器402相对应。

参考图14，合并模式确定装置1400包括合并候选确定器1410和合并模式确定器1420。

合并候选确定器1410针对在合并模式中要被预测的层级结构的每个编码单元来确定合并候选。具体地，合并候选确定器1410从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在第一深度的编码单元的合并模式中要被使用的至少一个第一合并候选。另外，合并候选确定器1410从与第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在通过分割第一深度的编码单元所获得的第二深度的编码单元之一的合并模式中要被使用的至少一个第二合并候选。例如，合并候选确定器1410针对具有2N×2N(n是整数)的尺寸的最大编码单元确定合并候选。另外，合并候选确定器1410针对通过分割最大编码单元n次(n是整数)所获得的具有(2N/(2^n)×2N/(2^n))的尺寸和第n深度的编码单元来确定合并候选。稍后将描述确定合并候选的方法。

合并模式确定器1420通过使用作为较高深度的第一深度的编码单元的第一合并候选的运动信息，来获得第一深度的编码单元的合并模式成本。另外，合并模式确定器1420基于之前通过使用与作为较低深度的第二深度的编码单元的第二合并候选相对应的第一合并候选的运动信息所获得的第一深度的编码单元的合并模式成本，通过使用第二合并候选，来获得第二深度的编码单元的合并模式成本。例如，当第一深度的编码单元的尺寸为16×16时，合并模式确定器1420通过使用具有16×16的尺寸的编码单元的合并候选的运动信息，来获得具有16×16的尺寸的编码单元的合并模式成本。另外，在具有通过分割具有16×16的尺寸的编码单元所获得的具有8×8的尺寸的较低深度的编码单元的合并候选之中，当存在与在具有16×16的尺寸的编码单元的合并模式中所使用的合并候选相对应的合并候选时，合并模式确定器1420可以跳过关于相对应的合并候选计算合并模式成本的操作，并且通过使用之前在计算具有16×16的尺寸的编码单元的合并模式成本的操作中所获得的合并模式成本，来获得关于具有8×8的尺寸的编码单元的合并模式成本。

合并模式确定器1420可以通过仅使用与第一合并候选相对应的第二合并候选，来获得第二深度的编码单元的合并编码成本。具体地，在被用于第一深度的编码单元的合并模式中的第一合并候选之中，当存在与被用于第二深度的编码单元的合并模式中的第二合并候选相对应的合并候选时，合并模式确定器1420可以仅将相对应的合并候选确定为在确定第二深度的编码单元的合并模式中被使用的合并候选，并且通过使用在确定第一深度的编码单元的合并模式的之前操作中使用相对应的合并候选所获得的合并模式成本，可以获得第二深度的编码单元的合并模式成本。

如上所述，在合并模式中所使用的合并候选包括作为位于当前块的周围的块的空间合并候选以及作为被包括在包括当前块的画面之前所处理的其他画面中的块的时间合并候选。

图16示出了根据实施例在合并模式中所使用的空间合并候选。

参考图16，合并候选确定器1410可以从当前块1610的周围块之中，将包括被布置在当前块1610的左侧并且与当前块1610的最左下的像素1612相邻的周围像素1621的块A1620；包括被布置在当前块1610的上侧并且与当前块1610的最右上的像素1611相邻的周围像素1631的块B 1630；与块B 1630的右侧相邻且包括右上角的像素1641的块C 1640；与块A1620下侧相邻且包括左下角的像素1651的块D 1650；以及被布置在当前块1610的左上角并且包括最左上角的像素1661的块E 1660，确定为在合并模式中所使用的空间合并候选。在确定空间合并候选中所使用的块可以是编码单元或预测单元。

合并候选确定器1410可以包括块A 1620、块B 1630、块C 1640、块D 1650以及块E1660之中的、仅具有运动信息的块，即，仅是合并候选中的相互预测块，并且从合并候选中排除不具有运动信息的块。合并候选确定器1410可以从合并候选中排除具有冗余运动信息的块。

另外，合并候选确定器1410可以按照块A 1620、块B 1630、块C 1640、块D 1650以及块E 1660的顺序来搜索在合并候选中所包括的周围块，并且可以按照块被发现的顺序来分配合并模式索引merge_idx。当块A 1620、块B 1630、块C 1640、块D 1650以及块E 1660均为相互预测的块，并且不具有彼此冗余的运动时，块A 1620的合并模式索引(merge_idx)可以为0、块B 1630的合并模式索引(merge_idx)可以为1、块C 1640的合并模式索引(merge_idx)可以为2、块D 1650的合并模式索引(merge_idx)可以为3以及块E 1660的合并模式索引(merge_idx)可以为4。当在合并模式中预测当前块1610时，除了指示在合并模式中预测当前块1610的合并模式标志(merge_flag)之外，合并模式索引(merge_idx)也被传送到解码器，以便可以确定可以带来在当前块1610的合并模式预测操作中要使用的运动信息的合并候选。可以被包括在空间合并候选中的周围块的位置(location)和地点(position)不限于以上示例，而是可以变化。

图17示出了根据实施例在合并模式中所使用的时间合并候选。

参考图17，根据合并模式、对于在当前画面1710中所包括的当前块1720的预测，合并候选确定器1410可以将同位(co-located)块1740和同位块1740周围的块包括在时间合并候选中，同位块1740被包括在参考画面1730中并且与当前块1720处于相同位置处。例如，同位块1740的右下方的块1750可以被包括在时间合并候选中。在确定时间合并候选中所使用的块可以是编码单元或预测单元。

图18示出了在用于并行合并模式处理的并行合并编码单元中所包括的编码单元。

如上所述，可以设定指示下述编码单元的尺寸的并行合并等级：对于该编码单元可以并行地确定合并模式；并且根据所设定的并行合并等级、关于在预先确定的尺寸的编码单元中所包括的编码单元可以并行地确定合并模式。可以根据并行合并等级并行地处理的编码单元的组，被定义为并行合并编码单元1800。

在并行合并编码单元1800中所包括的编码单元CU0 1810、CU1 1820、CU2 1830以及CU3 1840是对于其可以并行地确定合并模式的块。为了关于编码单元CU0 1810、CU11820、CU2 1830以及CU3 1840并行地确定合并模式，在同一个并行合并编码单元1800中所包括的编码单元应当从合并候选中排除。例如，如参考图16所描述的实施例，位于编码单元CU1 1820的左侧的编码单元CU0 1810被包括在编码单元CU1 1820的空间合并候选中。然而，为了并行地处理编码单元CU0 1810和CU1 1820，在编码单元CU0 1810与编码单元CU11820之间不应当存在数据依赖性。因此，当针对在一个并行合并编码单元1800中所包括的每个编码单元确定合并候选时，在同一并行合并编码单元1800中所包括的编码单元从合并候选中被排除。

编码单元CU1 1820的空间合并候选可以包括编码单元CU1 1820上方的编码单元1851、1852以及1853之中的相互预测的编码单元。另外，编码单元CU1 1820的左侧空间合并候选可以包括除了编码单元CU0 1810和编码单元CU2 1830之外的、在并行合并候选编码单元1800外部的编码单元1854和1855之中的相互预测的编码单元。编码单元CU2 1820的空间合并候选可以包括在左侧的编码单元1854、1855和1856之中的相互预测的编码单元。另外，编码单元CU2 1830上方的空间合并候选可以包括除了与编码单元CU2 1830相邻的编码单元CU0 1810和CU1 1820之外的、并行合并编码单元1800上方的编码单元1851、1852和1853之中的相互预测的编码单元。编码单元CU3 1840的左侧空间合并候选可以包括除了与编码单元CU3 1840相邻的编码单元CU0 1810和编码单元CU2 1830之外的、在并行合并编码单元1800外部的编码单元1854和1855之中的相互预测的编码单元。另外，编码单元CU3 1840上方的空间合并候选可以包括除了与编码单元CU3 1840相邻的编码单元CU0 1810和CU11820之外的、并行合并编码单元1800上方的编码单元1851、1852和1853之中的相互预测的编码单元。编码单元CU0 1810的空间合并候选可以如上所述地如图16中所示地确定。用于在并行合并候选编码单元1800中所包括的编码单元的合并模式预测的合并候选的位置和数量不限于上述的位置和数量，而是可以变化。然而，在同一并行合并候选编码单元1800中所包括的其他编码单元应当从用于在同一并行合并候选编码单元1800中所包括的编码单元的合并模式预测的合并候选中排除。

在下文中，将描述根据实施例的确定合并模式的方法、通过使用较高深度的编码单元的合并模式成本，来确定关于较低深度的编码单元的合并模式成本的操作。

图19A是用于解释根据第一深度的编码单元的合并模式来确定合并模式成本的操作的参考图。

参考图19A，第一深度的编码单元1910的尺寸被假定为16×16。另外，第一深度的编码单元1910的合并候选被假定为预测单元A 1911、预测单元B 1912、预测单元C 1913、预测单元D 1914以及预测单元E 1915。

合并模式确定器1420通过使用每个合并候选的运动信息来计算合并模式成本。具体地，合并模式确定器1420将预测单元A 1910的运动向量MV_A和参考画面A确定为第一深度的编码单元1910的运动向量和参考画面。合并模式确定器1420获得由运动向量MV_A所指示的参考画面A的相对应区域，作为预测值。当第一深度的编码单元1910的像素位置为(i，j)(i和j是整数)并且MV_A ＝(MV_A_X，MV_A_Y)时，合并模式确定器1420以与运动补偿处理相似的方式，将参考画面A的像素之中在位置(i+MV_A_X，j+MV_A_Y)处的像素确定为在(i，j)处的像素的预测值。根据以上所述的处理，合并模式确定器1420可以获得第一深度的编码单元1910的预测值。另外，合并模式确定器1420可以计算通过使用预测单元A 1911的运动信息所获得的预测值与第一深度的编码单元1910之间的绝对差之和(SAD)或者绝对变换差之和(SATD)，以获得合并模式成本。在下文中，通过使用关于具有M×N(M和N是整数)的尺寸的编码单元的预测单元X的运动信息所获得的合并模式成本被定义为“M×N cand_X”。在以上示例中，通过使用关于具有16×16的尺寸的编码单元的预测单元A的运动信息所获得的合并模式成本被定义为“16×16cand_A”。

类似于以上所述的通过使用预测单元A 1910的运动信息获得合并模式成本16×16cand_A的操作，合并模式确定器1420通过使用在合并候选中所包括的预测单元B 1912、预测单元C 1913、预测单元D 1914以及预测单元E1915的运动信息来分别地获得合并模式成本16×16cand_B、合并模式成本16×16cand_C、合并模式成本16×16cand_D以及合并模式成本16×16cand_E。另外，合并模式确定器1420确定具有最小值的合并模式成本，并且将被用于获得最小合并模式成本的合并模式索引(merge_idx)确定为具有16×16的尺寸的第一深度的编码单元1910的合并模式信息。

图19B和图19C是用于解释根据第二深度的编码单元的合并模式来确定合并模式成本的操作的参考图。第二深度的编码单元被假定为通过分割图19A的16×16的尺寸的第一深度的编码单元所获得的具有8×8尺寸的编码单元。

参考图19B，合并候选确定器1410确定用于第二深度的编码单元CU0 1921、CU11922、CU2 1923以及CU3 1924中的每个的合并模式预测的合并候选。合并模式确定器1420通过使用关于第二深度的编码单元CU0 1921、CU1 1922、CU2 1923以及CU3 1924中的每个所确定的合并候选，来确定第二深度的编码单元CU0 1921、CU1 1922、CU2 1923以及CU31924中的每个的合并模式成本。

编码单元CU0 1921的合并候选被假定为预测单元A’1925、预测单元B’1926、预测单元C’1927、预测单元D’1928以及预测单元E’1929。如上所述，合并模式确定器1420通过使用每个合并候选的运动信息来计算合并模式成本。具体地，合并模式确定器1420将预测单元A’1925的运动向量MV_A’和参考画面A’确定为第二深度的编码单元CU0 1921的运动向量和参考画面。合并模式确定器1420获得由运动向量MV_A’所指示的参考画面A’的相应区域，作为预测值。当编码单元CU0 1921的像素位置为(i’，j’)(i’和j’是整数)并且MV_A’＝(MV_A_X’，MV_A_Y’)时，合并模式确定器1420以与使用运动向量的运动补偿操作相似的方式，将参考画面A’的像素之中在位置(i’+MV_A_X’，j’+MV_A_Y’)处的像素确定为在(i’，j’)处的像素的预测值。根据以上所述的操作，合并模式确定器1420可以获得编码单元CU0 1921的预测值。另外，合并模式确定器1420可以计算通过使用预测单元A’1925的运动信息所获得的预测值与编码单元CU0 1921之间的SAD或SATD，以获得合并模式成本8×8cand_A’。

类似于以上所述的通过使用预测单元A’1910的运动信息获得合并模式成本8×8cand_A’的操作，合并模式确定器1420通过使用在合并候选中所包括的预测单元B’1926、预测单元C’1927、预测单元D’1928以及预测单元E’1929的运动信息分别地获得合并模式成本8×8cand_B’、合并模式成本8×8cand_C’、合并模式成本8×8cand_D’以及合并模式成本8×8cand_E’。

另外，合并模式确定器1420确定具有最小值的合并模式成本，并且将被用于获得最小合并模式成本的合并模式索引(merge_idx)确定为具有8×8的尺寸的第二深度的编码单元CU0 1921的合并模式信息。

将参考图19C来描述获得第二深度的编码单元CU1 1922的合并模式成本的操作。参考图19C，编码单元CU1 1922的合并候选被假定为预测单元E”1931、预测单元B”1932以及预测单元C”1933。

如上所述，合并模式确定器1420通过使用每个合并候选的运动信息来计算合并模式成本。具体地，合并模式确定器1420将预测单元E”1931的运动向量MV_E”和参考画面E”确定为第二深度的编码单元1922的运动向量和参考画面。合并模式确定器1420获得由运动向量MV_E”所指示的参考画面E”的相应区域作为预测值。当编码单元CU1 1922的像素位置为(i”，j”)(i”和j”是整数)并且MV_E”＝(MV_E_X”，MV_E_Y”)时，合并模式确定器1420以与使用运动向量的运动补偿操作相似的方式，将参考画面E”的像素之中在位置(i”+MV_E_X”，j”+MV_E_Y”)处的像素确定为该像素在(i”，j”)处的预测值。根据以上所述的操作，合并模式确定器1420可以获得第一深度的编码单元1910的预测值。另外，合并模式确定器1420可以计算通过使用预测单元E”1931的运动信息所获得的预测值与编码单元CU1 1922之间的SAD或SATD，以获得合并模式成本8×8cand_E”。

类似于以上所述的通过使用预测单元E”1931的运动信息获得合并模式成本8×8cand_E”的操作，合并模式确定器1420通过使用在合并候选中所包括的预测单元B”1932和预测单元C”1933的运动信息分别地获得合并模式成本8×8cand_B”和合并模式成本8×8cand_C”。

另外，合并模式确定器1420确定具有最小值的合并模式成本，并且将被用于获得最小合并模式成本的合并模式索引(merge_idx)确定为具有8×8的尺寸的第二深度的编码单元CU 1922的合并模式信息。

合并模式确定器1420将第一深度的编码单元的合并模式成本与第二深度的编码单元的合并模式成本之和进行比较，以确定使用第一深度的编码单元的合并模式和使用第二深度的编码单元的合并模式之一。具体地，合并模式确定器1420将16×16的尺寸的第一深度的编码单元1910与16×16的尺寸的第二深度的编码单元1921、1922、1923以及1924的合并模式成本之和进行比较，并且当第一深度的编码单元1910的合并模式成本较小时，合并模式确定器1420将16×16的尺寸的第一深度的编码单元确定为用于合并模式的最佳编码单元。当第二深度的编码单元1921、1922、1923以及1924的合并模式成本之和小于第一深度的编码单元1910的合并模式成本时，合并模式确定器1420将第二深度的编码单元确定为用于合并模式的最佳编码单元。

类似于以上所述的、确定第一深度的编码单元与第二深度的编码单元之间的最佳合并模式的操作，合并模式确定器1420可以将第二深度的编码单元分割为作为进一步较低深度的第三深度的编码单元，并且可以基于第三深度的编码单元而不是第二深度的编码单元来确定是否执行合并模式。即，可以对进一步较低深度的编码单元重复以上所描述的基于较高深度的编码单元和较低深度的编码单元来确定最佳合并模式的操作。

用于较高深度的编码单元的合并候选与用于较低深度的编码单元的合并候选可能是冗余的。因此，在根据较高深度的编码单元的合并模式来确定编码成本的操作中所执行的计算可能关于在根据通过划分较高深度的编码单元所获得的较低深度的编码单元的合并模式来确定编码成本的操作中所执行的计算是冗余的。

参考图19A和图19B，第一深度的编码单元1910的合并候选之中的预测单元A 1911与第二深度的编码单元CU0 1921的合并候选之中的预测单元D’1928相同。另外，第一深度的编码单元1910的合并候选之中的预测单元B 1913与第二深度的编码单元CU0 1921的合并候选之中的预测单元C’1927相同。另外，第一深度的编码单元1910的合并候选之中的预测单元E 1915与第二深度的编码单元CU0 1921的合并候选之中的预测单元E’1929相同。因此，合并模式确定器1420可以通过使用根据作为较高深度的第一深度的编码单元1910的合并模式的编码成本，来获得根据作为较低深度的第二深度的编码单元CU0 1921的合并模式的编码成本。

图20是用于解释通过使用较高深度的编码单元的合并模式成本来获得较低深度的编码单元的合并模式成本的操作的参考图。

当假定较高深度的编码单元和较低深度的编码单元具有相同的运动信息时，较高深度的编码单元的合并模式成本包括较低深度的编码单元的合并模式成本。

如上所述，通过计算根据由合并候选的运动向量所指示的参考画面所获得的预测值与当前编码单元之间的SAD或SATD，来获得合并模式成本。获得SAD或SATD的操作是基于像素的计算。因此，当基于相同的运动信息、在合并模式中预测较高深度的编码单元和较低深度的编码单元时，获得较高深度的编码单元的合并模式成本的基于像素的计算操作包括：获得较低深度的编码单元的合并模式成本的基于像素的计算操作。参考图20，16×16的尺寸的第一深度的编码单元2000的合并模式成本包括8×8的尺寸的第二深度的编码单元的合并模式成本、Merge_cost0 2010、Merge_cost1 2020、Merge_cost2 2030、Merge_cost32040。

再次参考图19A和图19B，第一深度的编码单元1910的合并候选之中的预测单元A1911与第二深度的编码单元CU0 1921的合并候选之中的预测单元D’1928相同。因此，计算合并模式成本16×16cand_A的操作包括计算合并模式成本8×8cand_D’的操作。因此，合并模式确定器1420可以跳过计算合并模式成本8×8cand_D’的操作，并且可以通过使用合并模式成本16×16cand_A的、与通过分割第一深度的编码单元1910所获得的四个区域之中的左上部区域的数据相对应的一些成本，来获得合并模式成本8×8cand_D’。

换言之，合并模式成本16×16cand_A包括分别地使用通过分割第一深度的编码单元1910所获得的四个区域的成本。即，合并模式成本16×16cand_A等于(使用四个区域的左上部区域的成本)+(使用四个区域的右上部区域的成本)+(使用四个区域的左下部区域的成本)+(使用四个区域的右下部区域的成本)。因此，当通过使用相同的合并候选、根据合并模式来预测较高深度的编码单元和较低深度的编码单元时，可以从关于较高深度的编码单元所获得的合并模式成本获得较低深度的编码单元的合并模式成本。

另外，当确定根据较低深度的编码单元的合并模式的编码成本时，根据另一个实施例的合并模式确定器1420可以仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选的成本。

参考图19A和图19B，编码单元CU0 1921的合并候选被假定为预测单元A’1925、预测单元B’1926、预测单元C’1927、预测单元D’1928以及预测单元E’1929。编码单元CU0 1921的合并候选之中的预测单元D’1928与第一深度的编码单元1910的合并候选之中的预测单元A 1911相同。另外，编码单元CU0 1921的合并候选之中的预测单元C’1927与第一深度的编码单元1910的合并候选之中的预测单元B 1913相同。编码单元CU0 1921的合并候选之中的预测单元E’1929与第一深度的编码单元1910的合并候选之中的预测单元E 1915相同。因此，为了确定第二深度的编码单元CU0 1921的合并模式，根据另一个实施例的合并模式确定器1420通过仅使用除了不与第一深度的编码单元1910的合并候选相对应的那些合并候选之外的、与第一深度的编码单元1910的合并候选相对应的预测单元D’1928、预测单元C’1927以及预测单元E’1929，来确定合并模式。当如上所述仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选时，合并模式确定器1420，如在上述实施例中那样，可以通过使用关于第一深度的编码单元已经确定的合并模式成本来获得第二深度的编码单元的合并模式成本，并且可以跳过通过使用与第一深度的编码单元的合并候选冗余的第二深度的编码单元的合并候选来获得合并模式成本的计算操作。

图21示出了当未使用根据实施例的确定合并模式的方法时，计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作。

参考图19A和图21，合并模式确定器1420通过分别地使用在合并候选中所包括的预测单元A 1911、预测单元B 1912、预测单元C 1913、预测单元D 1914以及预测单元E 1915的运动信息来顺序地获得合并模式成本16×16cand_A、合并模式成本16×16cand_B、合并模式成本16×16cand_C、合并模式成本16×16cand_D以及合并模式成本16×16cand_E。

参考图19B和图21，在获得了第一深度的编码单元的合并模式成本之后，合并模式确定器1420获得第二深度的编码单元的合并模式成本。编码单元CU0 1921的合并候选被假定为预测单元A’1925、预测单元B’1926、预测单元C’1927、预测单元D’1928和预测单元E’1929；以及编码单元CU1 1922的合并候选被假定为预测单元E”1931、预测单元B”1932和预测单元C”1933；以及编码单元CU2 1923的合并候选被假定为预定预测单元A”’和预定预测单元B”’。另外，由附图中的箭头所指示的合并模式成本被假定为通过使用相同的合并候选所获得。例如，预测单元A1911和预测单元D’1928是基本上相同的预测单元，并且假定通过使用预测单元A1911来计算合并模式成本16×16cand_A的操作包括通过使用预测单元D’1928来计算合并模式成本8×8cand_D’的操作。

图22示出了根据实施例计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作。

如上所述，根据实施例的合并模式确定器1420可以跳过用于获得较低深度的编码单元的合并模式成本的计算操作，并且可以通过使用下述合并模式成本来获得较低深度的合并模式成本：该合并模式成本是通过使用与较低深度的合并候选相同的合并候选、关于较高深度的编码单元所获得的。

参考图21和图22，在较低编码单元的合并模式成本之中，可以从根据较高深度的编码单元所获得的合并模式成本16×16cand_B来获得合并模式成本8×8_PU0cand_C’；以及可以从根据较高深度的编码单元所获得的合并模式成本16×16cand_A来获得合并模式成本8×8_PU0cand_D’；以及可以从根据较高深度的编码单元所获得的合并模式成本16×16cand_E来获得合并模式成本8×8_PU0cand_E’。因此，合并模式确定器1420可以跳过计算可以根据较高深度的编码单元的合并模式成本所获得的、合并模式成本8×8_PU0cand_C’、合并模式成本8×8_PU0cand_D’以及合并模式成本8×8_PU0cand_E’的操作。

图23示出了根据另一个实施例计算用于确定图19A和图19B中所示的编码单元的合并模式的合并模式成本的操作。

如上所述，根据另一个示例性实施例的合并模式确定器1420可以仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选的成本，以便跳过计算根据较低深度的编码单元的合并模式的编码成本的操作。

参考图23，合并模式确定器1420可以关于较高深度的编码单元来获得合并模式成本16×16cand_A、合并模式成本16×16cand_B、合并模式成本16×16cand_C、合并模式成本16×16cand_D以及合并模式成本16×16cand_E；并且关于较低深度的编码单元，合并模式确定器1420可以通过仅使用关于较高深度的编码单元的合并候选的冗余合并候选来获得合并模式成本。如果不存在与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选，则合并模式不被应用到较低深度的编码单元。

图24是根据实施例确定合并模式的方法的流程图。

参考图14和图24，在操作2410中，合并候选确定器1410从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中、确定要被用于第一深度的编码单元的合并模式中的至少一个第一合并候选。如以上参考图16所描述地，合并候选确定器1410可以包括下述预测单元之中的具有运动信息的相互预测的单元：第一预测单元，包括被布置在第一深度的编码单元的左侧并且与第一深度的编码单元的最左下部像素相邻的周围像素；第二预测单元，包括被布置在第一深度的编码单元的上方并且与第一深度的编码单元的最右上部像素相邻的周围像素；第三预测单元，与第二预测单元的右侧相邻；第四预测单元，与第一预测单元下侧相邻；第五预测单元，被布置在第一深度的编码单元的左上角处并且包括与第一深度的编码单元的最左上角相邻的周围像素；以及第六预测单元，其为关于参考画面中的第一深度的编码单元的同位块，或者为该同位块的周围块。

在操作2420中，合并模式确定器1420通过使用第一合并候选的运动信息来获得第一深度的编码单元的合并模式成本。

在操作2430中，合并候选确定器1410通过分割第一深度的编码单元来获得第二深度的编码单元。

在操作2440中，合并候选确定器1410从与第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在第二深度的编码单元之一的合并模式中要被使用的至少一个第二合并候选。第二合并候选可以包括下述预测单元之中具有运动信息的预测单元：第七预测单元，包括被布置在第二深度的编码单元的左侧并且与第二深度的编码单元的最左下部像素相邻的周围像素；第八预测单元，包括被布置在第二深度的编码单元的上方并且与第二深度的编码单元的最右上部像素相邻的周围像素；第九预测单元，与第八预测单元的右侧相邻；第十预测单元，与第七预测单元下侧相邻；第十一预测单元，被布置在第二深度的编码单元的左上角并且包括与第二深度的编码单元的最左上角相邻的周围像素；以及第十二预测单元，其为关于参考画面中的第二深度的编码单元的同位块，或者为该同位块的周围块。

在操作2450中，合并模式确定器1420基于之前通过使用与第二合并候选相对应的第一合并候选的运动信息所获得的第一深度的编码单元的合并模式成本，通过使用第二合并候选，来获得第二深度的编码单元的合并模式成本。如上所述，根据实施例的合并模式确定器1420可以跳过用于获得较低深度的编码单元的合并模式成本的计算操作，并且可以通过使用下述合并模式成本来获得较低深度的合并模式成本：该合并模式成本是通过使用与较低深度的合并候选相同的合并候选、关于较高深度的编码单元所获得的。另外，通过仅使用与较高深度的编码单元的合并候选相对应的较低深度的编码单元的合并候选的成本，根据另一个示例性实施例的合并模式确定器1420可以跳过计算根据关于较低深度的编码单元的合并模式的编码成本的操作。

根据本发明构思的实施例，在确定合并模式的操作中，通过在获得较低深度的编码单元的合并模式成本的操作中使用关于较高深度的编码单元所获得的合并模式成本并且跳过计算较低深度的编码单元的合并模式成本的操作，可以提高确定合并模式的操作的速度，并且可以降低确定合并模式所需要的计算量。

实施例可以被编写为计算机程序并且可以被实现在使用计算机可读记录介质来执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。

虽然参考本发明构思的实施例具体地示出了并且描述了本发明构思，但是本领域普通技术人员将理解，其中可以在形式上和细节上进行各种改变而不背离由所附的权利要求书所定义的本发明的精神和范围。实施例应当被认为仅是描述性的意义(sense)而不是出于限制的目的。因此，本发明的范围不由本发明的详细的描述而是由所附的权利要求书所定义，并且在范围内的所有差异将被解释为被包括在发明构思中。

Claims (13)

1.一种确定合并模式的方法，所述方法包括：

从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在所述第一深度的编码单元的第一合并模式中要被使用的至少一个第一合并候选；

通过使用第一合并候选的运动信息来获得所述第一深度的编码单元的第一合并模式的第一成本；

通过分割所述第一深度的编码单元来获得第二深度的编码单元；

从与所述第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在所述第二深度的编码单元之一的第二合并模式中要被使用的至少一个第二合并候选；

通过使用所述第二合并候选，基于通过使用与所述第二合并候选相对应的第一合并候选的运动信息所获得的第一成本的部分成本，来获得所述第二深度的编码单元之一的第二合并模式的第二成本，而同时跳过计算与第一合并候选对应的第二合并候选的第二成本的操作；

将第一成本与第二成本之和进行比较；并且

确定第一合并模式和第二合并模式当中具有较小成本的合并模式。

2.根据权利要求1所述的方法，其中，获得第二合并模式的第二成本包括：

通过使用所述第一深度的编码单元的与所述第二深度的编码单元相对应的区域来获得第一成本的部分成本；以及

将所述第一成本的部分成本确定为所述第二深度的编码单元的第二合并模式的第二成本，而同时跳过通过使用所述第二合并候选的运动信息来计算所述第二深度的编码单元的第二合并模式的第二成本的操作。

3.根据权利要求1所述的方法，其中，获得第二合并模式的第二成本包括：通过仅使用与所述第一合并候选相对应的所述第二合并候选来获得所述第二深度的编码单元的第二合并模式成本。

4.根据权利要求3所述的方法，其中，当存在与所述第一合并候选相对应的多个第二合并候选时，对与所述第一合并候选相对应的多个第二合并候选的合并模式成本进行比较，以确定所述第二深度的编码单元的第二合并模式。

5.根据权利要求1所述的方法，其中，所述第一合并候选包括下述各项之中具有运动信息的预测单元：第一预测单元，包括被布置在所述第一深度的编码单元的左侧并且与所述第一深度的编码单元的最左下部像素相邻的周围像素；第二预测单元，包括被布置在所述第一深度的编码单元的上侧并且与所述第一深度的编码单元的最右上部像素相邻的周围像素；第三预测单元，与所述第二预测单元的右侧相邻；第四预测单元，与所述第一预测单元下侧相邻；第五预测单元，被布置在所述第一深度的编码单元的左上角并且包括与所述第一深度的编码单元的最左上角相邻的周围像素；以及第六预测单元，其为关于参考画面中的所述第一深度的编码单元的同位块，或者为所述同位块的周围块，

其中，所述第二合并候选包括下述各项之中具有运动信息的预测单元：第七预测单元，包括被布置在所述第二深度的编码单元的左侧并且与所述第二深度的编码单元的最左下部像素相邻的周围像素；第八预测单元，包括被布置在所述第二深度的编码单元的上侧并且与所述第二深度的编码单元的最右上部像素相邻的周围像素；第九预测单元，与所述第八预测单元的右侧相邻；第十预测单元，与所述第七预测单元下侧相邻；第十一预测单元，被布置在所述第二深度的编码单元的左上角并且包括与所述第二深度的编码单元的最左上角相邻的周围像素；以及第十二预测单元，其为关于参考画面中的所述第二深度的编码单元的同位块，或者为所述同位块的周围块。

6.根据权利要求5所述的方法，其中，在所述第一预测单元至所述第六预测单元之中，与所述第一深度的编码单元被包括在同一并行合并编码单元中并且要被与所述第一深度的编码单元并行地处理的预测单元被从所述第一合并候选中排除，以及

在所述第七预测单元至所述第十二预测单元之中，与所述第二深度的编码单元被包括在同一并行合并编码单元中并且要被与所述第二深度的编码单元并行地处理的预测单元被从所述第二合并候选中排除。

7.根据权利要求1所述的方法，其中，所述第一深度的编码单元的第一合并模式成本是通过使用所述第一合并候选的运动向量和参考画面信息所获得的预测值与所述第一深度的编码单元之间的绝对差之和(SAD)或者绝对变换差之和(SATD)，以及

所述第二深度的编码单元的第二合并模式成本是通过使用所述第二合并候选的运动向量和参考画面信息所获得的预测值与所述第二深度的编码单元之间的SAD或者SATD。

8.一种合并模式确定装置，包括：

合并候选确定器，被配置为：从与第一深度的编码单元在空间上和时间上相关联的之前预测单元之中，确定在所述第一深度的编码单元的第一合并模式中要被使用的至少一个第一合并候选，通过分割所述第一深度的编码单元来获得第二深度的编码单元，并且从与所述第二深度的编码单元之一在空间上和时间上相关联的之前预测单元之中，确定在所述第二深度的编码单元之一的第二合并模式中要被使用的至少一个第二合并候选；以及

合并模式确定器，被配置为：通过使用第一合并候选的运动信息来获得所述第一深度的编码单元的第一合并模式的第一成本，并且通过使用所述第二合并候选，基于通过使用与所述第二合并候选相对应的第一合并候选的运动信息所获得的第一成本的部分成本，来获得所述第二深度的编码单元之一的第二合并模式的第二成本，而同时跳过计算与第一合并候选对应的第二合并候选的第二成本的操作，将第一成本与第二成本之和进行比较，并且确定第一合并模式和第二合并模式当中具有较小成本的合并模式。

9.根据权利要求8所述的合并模式确定装置，其中，所述合并模式确定器通过使用所述第一深度的编码单元的与所述第二深度的编码单元相对应的区域来确定第一成本的部分成本；并且将所述第一成本的部分成本确定为所述第二深度的编码单元的第二成本，而同时跳过通过使用所述第二合并候选的运动信息来计算所述第二深度的编码单元的第二合并模式的第二成本的操作。

10.根据权利要求8所述的合并模式确定装置，其中，所述合并模式确定器通过仅使用与所述第一合并候选相对应的所述第二合并候选来获得所述第二深度的编码单元的第二合并模式的第二成本。

11.根据权利要求10所述的合并模式确定装置，其中，当存在与所述第一合并候选相对应的多个第二合并候选时，所述合并模式确定器对与所述第一合并候选相对应的多个第二合并候选的合并模式成本进行比较，以确定所述第二深度的编码单元的第二合并模式。

12.根据权利要求8所述的合并模式确定装置，其中，所述第一合并候选包括下述各项之中具有运动信息的预测单元：第一预测单元，包括被布置在所述第一深度的编码单元的左侧并且与所述第一深度的编码单元的最左下部像素相邻的周围像素；第二预测单元，包括被布置在所述第一深度的编码单元的上侧并且与所述第一深度的编码单元的最右上部像素相邻的周围像素；第三预测单元，与所述第二预测单元的右侧相邻；第四预测单元，与所述第一预测单元下侧相邻；第五预测单元，被布置在所述第一深度的编码单元的左上角并且包括与所述第一深度的编码单元的最左上角相邻的周围像素；以及第六预测单元，其为关于参考画面中的所述第一深度的编码单元的同位块，或者为所述同位块的周围块，

其中，所述第二合并候选包括下述各项之中具有运动信息的预测单元：第七预测单元，包括被布置在所述第二深度的编码单元的左侧并且与所述第二深度的编码单元的最左下部像素相邻的周围像素；第八预测单元，包括被布置在所述第二深度的编码单元的上侧并且与所述第二深度的编码单元的最右上部像素相邻的周围像素；第九预测单元，与所述第八预测单元的右侧相邻；第十预测单元，与所述第七预测单元下侧相邻；第十一预测单元，被布置在所述第二深度的编码单元的左上角并且包括与所述第二深度的编码单元的最左上角相邻的周围像素；以及第十二预测单元，其为关于参考画面中的所述第二深度的编码单元的同位块，或者为所述同位块的周围块。

13.根据权利要求12所述的合并模式确定装置，其中，在所述第一预测单元至所述第六预测单元之中，与所述第一深度的编码单元被包括在同一并行合并编码单元中并且要被与所述第一深度的编码单元并行地处理的预测单元被从所述第一合并候选中排除，以及

在所述第七预测单元至所述第十二预测单元之中，与所述第二深度的编码单元被包括在同一并行合并编码单元中并且要被与所述第二深度的编码单元并行地处理的预测单元被从所述第二合并候选中排除。