CN106416256B - 用于对深度图像进行编码或解码的方法和设备 - Google Patents

Abstract

根据本发明的一实施例，提供了一种用于对深度图像进行解码的方法，所述方法包括：从比特流获得第一标记的步骤，其中，第一标记是和与深度图像的屏幕中的预测相关的帧内轮廓模式的使用有关的信息；基于第一标记来确定是否在深度图像的预测单元中执行帧内轮廓预测的步骤；在确定在深度图像的预测单元中执行帧内轮廓预测时，在深度图像的预测单元中执行帧内轮廓预测的步骤；以及基于执行预测的结果来对深度图像进行解码的步骤。

Description

用于对深度图像进行编码或解码的方法和设备

技术领域

本发明涉及一种用于对标记和新帧内条带类型进行定义以便允许与深度 图像相关的深度帧内条带参考与三维(3D)视频中的彩色图像相关的彩色帧 内条带的方法和设备。

背景技术

由于数字视频处理和计算机图形技术的发展，正积极进行对用于再现真 实世界并允许用户体验真实世界的3D和多视点视频技术的研究。使用多视 点视频的三维(3D)电视能够提供通过重构真实世界所获得的内容，以向用 户提供真实的感觉，并且因此作为下一代广播技术吸引了许多关注。3D视频 编码系统支持用户在各种视点自由观看的多视点视频，或者支持多视点视频 能够在各种3D再现设备中再现。在多视点视频中使用的深度图像可参考包 括在与深度图像相应的彩色图像中的信息来产生。

发明内容

技术问题

本发明定义了一种指示深度帧内条带参考彩色帧内条带的标记，并提供 了一种用于定义能够参考彩色帧内条带的深度帧内条带的条带类型。

技术方案

根据本发明的一方面，一种深度图像解码方法包括：从比特流获得第一 标记，其中，第一标记包括和与深度图像的帧内预测有关的帧内轮廓模式的 使用相关的信息；基于第一标记来确定是否对深度图像的预测单元执行帧内 轮廓模式下的预测；在确定对深度图像的预测单元执行帧内轮廓模式下的预 测时，对深度图像的预测单元执行帧内轮廓模式下的预测；以及基于执行预 测的结果来对深度图像进行解码。

有益效果

当深度图像被解码或编码时，可基于与帧内轮廓预测相关的标记来确定 是否对深度图像的预测单元执行用于参考彩色图像的帧内轮廓预测，其中， 所述标记包括在与深度图像相关的条带参数序列中。

附图说明

图1是根据实施例的多视点视频系统的框图。

图2是示出多视点视频的纹理画面和深度画面的示图。

图3a是深度图像解码设备的框图。

图3b是根据实施例的深度图像解码方法的流程图。

图4a是深度图像编码设备的框图。

图4b是根据实施例的深度图像编码方法的流程图。

图5是示出三维(3D)高效视频编码(HEVC)中所支持的条带类型的 表。

图6a是示出根据实施例的用于通过确定将对当前编码单元的预测单元 执行的预测模式来执行编码的语法的表。

图6b是示出根据实施例的包括intra_contour_flag[d]的sps_3d_extension()的表。

图6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下从比特流获 得第三标记[x0][y0]和第二标记[x0][y0]的操作的语法的表。

图7是根据实施例的基于根据树结构的编码单元的视频编码设备的框 图。

图8是根据实施例的基于根据树结构的编码单元的视频解码设备的框 图。

图9是用于描述根据实施例的编码单元的概念的示图。

图10是根据实施例的基于编码单元的图像编码器的框图。

图11是根据实施例的基于编码单元的图像解码器的框图。

图12是示出根据实施例的根据深度的编码单元以及分区的示图。

图13是用于描述根据实施例的编码单元与变换单元之间的关系的示图。

图14示出根据实施例的多条根据深度的编码信息。

图15是根据实施例的根据深度的编码单元的示图。

图16、图17和图18是用于描述根据实施例的编码单元、预测单元和变 换单元之间的关系的示图。

图19是用于描述根据表1的编码模式信息的编码单元、预测单元、和变 换单元之间的关系的示图。

图20是根据实施例的存储程序的盘的物理结构的示图。

图21是通过使用盘来记录和读取程序的盘驱动器的示图。

图22是提供内容分发服务的内容供应系统的整体结构的示图。

图23和图24分别是根据实施例的应用了本公开的视频编码方法和视频 解码方法的移动电话的外部结构和内部结构的示图。

图25是应用了根据本公开的通信系统的数字广播系统的示图。

图26示出使用根据实施例的视频编码设备和视频解码设备的云计算系 统的网络结构。

最佳模式

根据本发明的一方面，一种深度图像解码方法包括：从比特流获得第一 标记，其中，第一标记包括和与深度图像的帧内预测有关的帧内轮廓模式的 使用有关的信息；基于第一标记来确定是否对深度图像的预测单元执行帧内 轮廓模式下的预测；在确定对深度图像的预测单元执行帧内轮廓模式下的预 测时，对深度图像的预测单元执行帧内轮廓模式下的预测；以及基于执行预 测的结果来对深度图像进行解码。

第一标记可包括在序列参数集扩展中，其中，序列参数集扩展包括用于 对深度图像进行解码的附加信息。

所述深度图像解码方法还可包括：基于从比特流获得的彩色图像的编码 信息，重建彩色图像；基于深度图像的划分信息，将深度图像的最大编码单 元划分为至少一个编码单元；确定是否对编码单元执行帧内预测；以及将编 码单元划分为用于预测解码的预测单元。确定是否对深度图像的预测单元执 行帧内轮廓模式下的预测的步骤可包括：确定与编码单元相应的条带类型是 否指示帧内条带，由条带类型所指示的帧内条带可包括允许参考彩色图像对 深度图像进行预测的增强帧内条带。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：参考 包括在与深度图像相同的访问单元中的彩色图像的块，对包括在增强帧内条 带中的预测单元执行预测。

确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包 括：从比特流获得第三标记，其中，第三标记包括用于确定是否获得第二标 记的信息，第二标记包括关于深度帧内模式的使用的信息；如果第三标记的 值为0，则确定执行深度帧内模式下的预测。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：如果 第三标记的值为0，则从比特流获得第二标记；确定第二标记是否包括关于 帧内轮廓模式的信息；如果第二标记包括关于帧内轮廓模式的信息，则对深 度图像的预测单元执行帧内轮廓模式下的预测。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：参考 包括在与深度图像相同的访问单元中的彩色图像的在与深度图像的预测单元 的位置相应的位置所提供的块；基于参考步骤的结果来对深度图像的预测单 元执行帧内轮廓模式下的预测。

根据本发明的另一方面，一种深度图像编码方法包括：产生第一标记， 其中，第一标记包括和帧内预测模式之中的与深度图像的帧内预测相关的帧 内轮廓模式的使用有关的信息；基于第一标记来确定是否对深度图像的预测 单元执行帧内轮廓模式下的预测；在确定对深度图像的预测单元执行帧内轮 廓模式下的预测时，对深度图像的预测单元执行帧内轮廓模式下的预测；以 及基于执行预测的结果来对深度图像进行编码。

第一标记可包括在序列参数集扩展中，其中，序列参数集扩展包括用于 对深度图像进行解码的附加信息。

所述深度图像编码方法还可包括：产生比特流，其中，比特流包括通过 对彩色图像进行编码而产生的编码信息；将深度图像的最大编码单元划分为 至少一个编码单元；确定是否对编码单元执行帧内预测；以及将编码单元划 分为用于预测解码的预测单元。确定是否执行帧内轮廓模式下的预测的步骤 可包括：确定与预测单元相应的条带类型是否指示帧内条带，并且由条带类 型所指示的帧内条带可包括允许参考彩色图像进行预测的增强帧内条带。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：参考 包括在与深度图像相同的访问单元中的彩色图像的块，对包括在增强帧内条 带中的深度图像的预测单元执行预测。

确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包 括：产生包括第三标记的比特流，其中，第三标记包括用于确定是否获得第 二标记的信息，第二标记包括关于深度帧内轮廓预测模式的使用的信息；如 果第三标记的值为0，则确定执行深度帧内轮廓预测模式下的预测。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：如果 第三标记的值为0，则产生包括第二标记的比特流；确定第二标记是否包括 关于帧内轮廓模式的信息；如果第二标记包括关于帧内轮廓模式的信息，则 对深度图像的预测单元执行帧内轮廓模式下的预测。

对深度图像的预测单元执行帧内轮廓模式下的预测的步骤可包括：参考 包括在与深度图像相同的访问单元中的彩色图像的在与深度图像的预测单元 的位置相应的位置所提供的块；基于参考步骤的结果来对深度图像的预测单 元执行帧内轮廓模式下的预测。

根据本发明的另一方面，一种深度图像解码设备包括：深度图像预测模 式确定器，用于从比特流获得第一标记，并基于第一标记来确定是否对深度 图像的预测单元执行帧内轮廓模式下的预测，其中，第一标记包括和与深度 图像的帧内预测相关的帧内轮廓模式的使用有关的信息；深度图像解码器， 用于在确定对深度图像的预测单元执行帧内轮廓模式下的预测时，对深度图 像执行帧内轮廓模式下的预测，并基于执行预测的结果来对深度图像进行解 码。

根据本发明的另一方面，一种深度图像编码设备包括：深度图像预测模 式确定器，用于产生第一标记，并基于第一标记来确定是否对预测单元执行 帧内轮廓模式下的预测，其中，第一标记包括和与深度图像的帧内预测相关 的帧内轮廓模式的使用有关的信息；深度图像编码器，用于在确定对所述预 测单元执行帧内轮廓模式下的预测时，对所述预测单元执行帧内轮廓模式下 的预测，并基于执行预测的结果来对深度图像进行编码。

根据本发明的另一方面，一种非暂时性计算机可读记录介质记录有上述 深度图像解码方法。

根据本发明的另一方面，一种非暂时性计算机可读记录介质记录有上述 深度图像编码方法。

具体实施方式

在下文中，将参照图1至图6c描述根据实施例的深度图像解码方法和深 度图像编码方法。此外，将参照图7至图19描述适用于上述深度图像解码方 法和深度图像编码方法的根据实施例的基于具有树结构的编码单元的视频编 码方法和视频解码方法。此外，将参照图20至图26描述适用于上述视频编 码方法和视频解码方法的各种实施例。

在以下描述中，术语“图像”可指视频的静止图像或运动图像(即，视 频本身)。

术语“样点”指被分配给图像的采样位置的数据以及将被处理的数据。 例如，空间域中的图像的像素可以是样点。

术语“层图像”指特定视点图像或特定类型的图像。在多视点视频中， 层图像指示在特定视点输入的彩色图像或深度图像。

图1是根据实施例的多视点视频系统10的框图。

多视点视频系统10包括多视点视频编码设备12以及多视点视频解码设 备13，其中，多视点视频编码设备12用于通过对使用两个或更多个多视点 相机11获得的多视点视频、使用深度相机14获得的与多视点视频相应的深 度图像以及与多视点相机11相关的相机参数进行编码来产生比特流，所述多 视点视频解码设备13用于对比特流进行解码并根据观看者的请求以各种形 式提供解码的多视点视频帧。

多视点相机11包括不同视点的多个相机并按帧提供多视点画面。在以下 描述中，根据预定彩色格式(例如，YUV或YCbCr)按照视点获得的彩色图 像可被称为纹理图像。

深度相机14提供表现场景的深度信息的深度图像作为256级8比特的图 像。用于表现深度图像的像素的比特数量不限于8，并可改变。深度相机14 可提供具有与深度相机14与对象或背景间的距离成正比或反比的值的深度 图像，其中，所述距离是使用红外光等测量的。如上所述，单视点视频包括 纹理图像和深度图像。

当多视点视频编码设备12对多视点纹理图像和与多视点纹理图像相应 的深度图像进行编码和发送时，多视点视频解码设备13使用包括在比特流中 的多视点纹理图像和深度图像，可不仅提供具有三维效果的立体视频或三维 (3D)视频，还提供用户想要的预定视点的3D视频。多视点视频数据的比 特流的头可包括指示关于深度图像的信息是否被包括在数据包中的信息，或 关于指示每个数据包是针对纹理图像还是深度图像的图像类型的信息。依据 接收器的硬件性能，如果深度图像被用于构建多视点视频，则多视点视频解码设备13可通过使用接收到的深度图像对多视点视频进行解码。如果接收器 的硬件不支持多视点视频，并且因此深度图像不可用，则多视点视频解码设 备13可丢弃与深度图像关联接收到的数据包。如上所述，如果接收器的多视 点视频解码设备13不能显示多视点视频，则可将多视点视频中的任意单视点 视频显示为二维(2D)视频。

由于将被编码的数据量与多视点视频数据的视点的数量成比例地增加， 并且深度图像也需要被编码以提供三维效果，因此，大量的多视点视频数据 应被有效压缩以实现图1中示出的多视点视频系统10。

图2是示出多视点视频的纹理画面和深度画面的示图。

图2示出第一视点(例如，视点0)的纹理画面v0；21、与视点0的纹 理画面v0；21相应的深度画面d0；24、第二视点(例如，视点1)的纹理画 面v1；22、与视点1的纹理画面v1；22相应的深度画面d1；25、第三视点 (例如，视点2)的纹理画面v2；23、与视点2的纹理画面v2；23相应的深 度画面d2；26。尽管三个视点(例如，视点0、视点1和视点2)的多视点 纹理画面v0、v1和v2；21、22和23以及与其相应的深度画面d0、d1和d2； 24、25、26在图2中被示出，但视点的数量不限于此并可改变。多视点纹理 画面v0、v1和v2；21、22和23以及与其相应的深度画面d0、d1和d2；24、 25、26是按照相同的时序被获得的，因此具有相同的画面顺序计数(POC)。 在以下描述中，具有相同的POC值n(其中，n是整数)的一组画面(GOP) 1500(如多视点纹理画面v0、v1和v2；21、22和23以及与其相应的深度画 面d0、d1和d2；24、25、26)可被称为第n GOP。具有相同POC的GOP 可配置访问单元。访问单元的编码顺序不总是需要与其捕捉顺序(获得顺序) 或显示顺序相同，并可考虑参考关系而彼此不同。

为了指定每个纹理画面的视点以及与其相应的深度画面，可使用作为视 点顺序索引的视点标识符(例如，ViewId)。同一视点的纹理画面和深度画面 具有相同的视点标识符。视点标识符可被用于确定编码顺序。例如，多视点 视频编码设备12可按照从视点标识符的较小值到较大值的顺序对多视点视 频进行编码。也就是说，多视点视频编码设备12可对ViewId为0的纹理画 面和深度画面进行编码，随后对ViewId为1的纹理画面和深度画面进行编码。 如果基于视点标识符确定了编码顺序，则在易于产生错误的环境中接收到的错误数据可使用视点标识符来识别。然而，每个视点的画面的编码顺序或解 码顺序可不管其视点标识符的顺序而改变。

图3a是深度图像解码设备30的框图。图3a的深度图像解码设备30可 与图1的多视点视频解码设备10相应。

参照图3a，深度图像解码器36基于从比特流获得的深度图像的划分信 息将深度图像的最大编码单元划分为至少一个编码单元。深度图像解码器36 将编码单元划分为用于预测解码的至少一个预测单元。深度图像解码器36基 于当前预测单元是否被划分为分区以及差信息是否被使用，通过使用差信息 来对当前预测单元进行解码。在这种情况下，深度图像解码器36通过使用所 述差信息对当前预测单元进行帧内预测解码。

深度图像解码器36可从比特流获得所述差信息，并通过使用差信息来对 深度图像进行解码。在确定不使用用于解码的差信息时，深度图像解码器36 可在不从比特流获得差信息的情况下对当前预测单元进行解码。

深度图像预测模式确定器34从比特流获得指示当前预测单元是否被划 分为分区的信息，并确定是否将当前预测单元划分为至少一个分区以对当前 预测单元进行解码。在确定将当前预测单元划分为分区以对当前预测单元进 行解码时，深度图像预测模式确定器34从比特流获得预测单元的预测信息， 获得与原始深度图像相应的分区的深度值以及当前预测单元的预测信息，并 通过使用指示与和深度图像相应的分区的深度值的差的差信息来确定是否执 行解码。当前预测单元的预测信息可包括指示是否通过使用包括在比特流中 的差信息执行解码的标记，并且深度图像预测模式确定器34可基于包括在比 特流中的标记，确定是否通过使用所述差信息来执行解码。

指示是否将当前预测单元划分为分区的信息可包括指示当前预测单元是 否处于用于将当前预测单元划分为至少一个分区以对当前预测单元进行解码 的预定帧内预测模式的标记，并且深度图像预测模式确定器34可基于所述标 记来确定是否将当前预测单元划分为至少一个分区以对当前预测单元进行解 码。在这种情况下，预定帧内预测模式可包括深度建模模块(DMM)。DMM 是深度帧内模式，并且是基于对象和深度图像的背景之间的边界被清楚限定 的事实以及对象内部的数据值的变化较小的事实来对深度图像进行帧内预测 编码的技术。也就是说，深度帧内模式可指示深度图像的帧内预测模式。基 于根据实施例的深度图像解码方法，除了传统的视频解码所支持的35种帧内 预测模式以及预测单元划分结构以外，还可通过使用直线的契波(wedgelet) 或曲线的轮廓来对块进行划分。在深度帧内模式下，通过基于任意均值限定 使用契波或轮廓划分的区域中所包括的数据来执行预测。

深度帧内模式支持取决于契波或轮廓设置方案的两种模式(例如，用于 对契波进行编码的模式1和用于对轮廓进行编码的模式4)。具体地，与模式 1不同，模式4(即，DMM4)是一种用于预测曲线的方案。例如，在DMM4 中，在与当前将被编码的深度图像的块相应的位置处提供的彩色图像的块的 平均亮度值可被计算，所述彩色图像可基于计算出的值而被划分为多个分区 以获得划分信息，并且深度图像可基于划分信息被划分。

当深度图像在深度帧内模式(诸如DMM4)下被帧内预测时，根据实施 例的深度图像解码设备30可参照与深度图像的块相应的彩色图像的块。深度 帧内模式可以是通过使用关于深度图像的信息以及关于彩色图像的信息执行 预测的模式。深度图像解码设备30可从比特流获得关于包括深度图像的块的 条带的类型的信息(例如，slice_type)。slice_type可被包括在 slice_segment_header中。I类型、P类型和B类型的条带类型可在传统的视频 解码方法中被提供。关于包括在条带类型为I类型的条带中的块，可参考同 一帧中的被编码并被随后解码的块来执行帧内预测。关于与P类型或B类型 相应的块，可通过使用与当前将被解码的块相应的帧与和另一POC相应的帧 的块之间的运动信息来执行帧间预测。也就是说，如果与将被解码的块相关 的slice_type是I类型，则与当前将被解码的块相关的图像可不被参考，并且 可通过使用与包括当前将被解码的块的帧中的另一个块相关的预测信息来仅 执行帧间预测。然而，根据实施例的深度图像解码方法支持深度图像，并且彩色图像和与彩色图像具有相同POC的深度图像可被包括在访问单元中。深 度图像也被解码。深度图像解码设备30检查包括在深度图像中的块的 slice_type，并在块与I类型相应的的情况下对深度图像的预测单元执行帧内 预测。

此外，根据实施例的深度图像解码方法支持深度帧内模式。因此，可提 供即使是在与将被解码的块相关的条带类型是I类型时也能够参考包括在与 深度图像相同的访问单元中所包括的另一帧的彩色图像中的条带以对深度图 像进行解码的条带的类型。图5是示出根据实施例的由深度图像解码方法所 支持的slice_type的表。参照图5，与slice_type为2相应的I类型条带50可 包括增强帧内(EI)条带52以及基于传统的视频解码方法而仅允许帧内预测 的I条带。EI条带52不仅允许对将被解码的预测单元进行帧内预测，还允许 对将被解码的预测单元进行视点内预测。视点内预测可以是基于与当前画面 具有相同的视点并被包括在与当前画面相同的访问单元中的画面的数据元素 的预测。基于视点内预测，特定视点的深度图像的的预测单元可参考包括在 与深度图像相同的访问单元中的特定视点的彩色图像的块。该预测方案可与 深度帧内模式之中的帧内轮廓模式(INTRA_CONTOUR)相应。深度帧内模 式可表示对深度图像的预测单元执行的帧内预测模式。深度帧内模式可以是 与对彩色图像执行的帧内预测模式不同的特定帧内预测模式。帧内轮廓模式 可以是与深度图像的帧内预测相关的预测模式，并且深度图像解码器36可通 过使用关于在与深度图像的块相应的位置提供的彩色图像的块的信息，将深 度图像的所述块划分为至少一个分区。因此，深度图像预测模式确定器34可 参考包括在与预测单元相关的条带的slice_sequence_header()中的slice_type 来确定是否可对预测单元执行深度帧内预测。

根据实施例的深度图像解码设备30可还包括用于基于彩色图像的编码 信息来重建与深度图像相应的彩色图像的彩色图像解码器(未示出)。为了允 许深度图像的当前将被解码的块参考包括在与深度图像相同的访问单元中的 彩色图像的块，所述彩色图像应在深度图像之前被解码。根据实施例的深度 图像解码设备30可还包括用于基于从比特流获得的彩色图像的编码信息对 彩色图像进行重建的彩色图像解码器(未示出)。此外，根据实施例的深度图 像解码器36可接收包括深度图像的编码信息、与深度图像相应的彩色图像的 深度信息、以及彩色图像和深度图像之间的相关信息的比特流。这样，深度 图像解码设备30可从比特流重建彩色图像，并且深度图像解码设备36可通 过使用编码并随后被重建的彩色图像来对与彩色图像相应的深度图像进行解 码。具体地讲，根据实施例的深度图像解码器36考虑深度图像和与深度图像 相应的彩色图像之间的相关性来对深度图像进行解码。深度图像解码器36可 基于像素值将先前编码并随后被重建的彩色图像的块划分为分区以确定所述 相关性，考虑邻近像素之间的相关性来按分区确定用于定义彩色图像和深度 图像之间的相关性的参数，并通过使用所确定的参数来预测深度图像的块的 与先前编码并随后重建的彩色图像的块的被划分出的分区相应的分区。

根据实施例的深度图像解码器36可基于从比特流获得的深度图像的划 分信息将深度图像的最大编码单元划分为至少一个编码单元。可按照如上所 述划分出的编码单元来确定帧内预测模式或帧间预测模式。

根据实施例的深度图像解码器36可将编码单元划分为用于预测解码的 至少一个预测单元。深度图像预测模式确定器34可确定是否对确定的编码单 元执行帧内预测。也就是说，如果从编码单元划分出预测单元并且确定对编 码单元执行帧内预测，则可对从编码单元划分出的预测单元执行帧内预测。 在这一点上，图6a是示出根据实施例的用于通过确定将对当前编码单元的预 测单元执行的预测模式来执行解码的语法的表。参照图6a，针对当前编码单 元的coding_unit()语法60可包括用于确定深度图像的预测单元的帧内预测模式的条件语句和迭代语句。深度图像预测模式确定器34可基于当前编码单 元的预测模式信息(例如，CuPredMode[x0][y0])是否指示MODE_INTRA来 确定预测模式。这里，x0和y0可以是关于当前编码单元的左上坐标的信息。 如果与当前深度图像的编码单元相关的条带的slice_type不是I类型，则不满 足条件语句62，并且因此未从比特流获得cu_skip_flag[x0][y0]。如果未从比 特流获得cu_skip_flag[x0][y0]，则cu_skip_flag[x0][y0]与值0相应并且因此满 足条件语句63。此外，如果与当前深度图像的编码单元相关的条带的slice_type不是I类型，则不满足条件语句64，并且因此未从比特流获得 pred_mode_flag。在这种情况下，由于CuPredMode[x0][y0]可被视为 MODE_INTRA，因此满足了条件语句65并且因此可执行条件语句66。

现在参照图3b给出深度图像解码设备30的操作的详细描述。

图3b是根据实施例的深度图像解码方法的流程图。

在操作301，深度图像解码设备30可从比特流获得第一标记，其中，第 一标记包括和与深度图像的帧内预测相关的帧内轮廓模式的使用相关的信 息。根据实施例，从比特流获得的第一标记可包括可用于确定是否执行帧内 轮廓模式的信息，并可包括intra_contour_flag[d]。在以下描述中，为便于解 释，假设第一标记是intra_contour_flag[d]。

在操作302，深度图像解码设备30可基于第一标记来确定是否对预测单 元执行帧内轮廓模式下的预测。图6b是示出根据实施例的包括 intra_contour_flag[d]的序列参数集扩展的表。序列参数集扩展是相较于传统的 序列参数集进一步包括附加信息的序列参数集。根据实施例的序列参数集扩 展可以是进一步包括用于对深度图像进行解码的信息的序列参数集，并且可 与sps_3d_extension()61相应。在以下描述中，为便于解释，假设序列参数集 扩展是sps_3d_extension()61。

根据实施例，指示是否使用帧内轮廓模式的信息可以是包括在 sps_3d_extension()61中的intra_contour_flag[d]67，并且d可表示关于当前视 点是否包括深度信息的信息的DeptFlag。深度图像解码设备30可按照包括在 当前编码单元中的预测单元来确定条件语句66是否被满足。如果可对当前编 码单元执行深度帧内模式，则条件语句66被满足。也就是说，深度图像预测 模式确定器34可基于是否从比特流获得了包括在与编码单元相关的 sps_3d_extension()61中的intra_contour_flag[d]67来确定是否可对预测单元 执行帧内轮廓模式。根据实施例，深度图像预测模式确定器34可从比特流获 得intra_contour_flag[d]67，其中，intra_contour_flag[d]67包括关于是否执行 与深度帧内模式之中的帧内轮廓模式(INTRA_DEP_CONTOUR)相应的 DMM4的信息。参照等式1，当intra_contour_flag[d]67具有值1时，如果另 一预定条件被满足(如果nuh_layer_id>0并且textOfCurViewAvailFlag≠0)， 则关于帧内轮廓模式的信息的值可以是1。关于帧内轮廓模式的信息可以是 指示将对深度图像的预测单元执行的深度帧内模式之中的帧内轮廓模式的任 意信息，并可包括IntraContourFlag。在以下描述中，为便于解释，假设关于 帧内轮廓模式的信息是IntraContourFlag。

[等式1]

IntraContourFlag＝(nuh_layer_id>0)&&intra_contour_flag[DepthFlag]&&textOfCurViewAvailFlag

这里，nuh_layer_id是包括在网络抽象层(NAL)单元头中的语法元素， 并且可以是在相较于传统视频解码或编码方法而包括进一步扩展的信息的解 码或编码方法中使用的语法元素。因此，与传统视频编码或解码方法不同， nuh_layer_id在根据实施例的深度图像解码方法中可以不是值0。此外， textOfCurViewAvailFlag可包括关于当前视点的彩色图像是否可用的信息。也 就是说，根据实施例，如果nuh_layer_id大于值0，如果彩色图像在当前视点 (或层)可用，并且如果包括指示对与nuh_layer_id相应的视点(或层)的 预测单元执行帧内轮廓模式的信息的intra_contour_flag[DepthFlag]具有值1， 则包括关于帧内轮廓模式的信息的IntraContourFlag可具有值1，并且在这种 情况下，条件语句66被满足。因此，深度图像预测模式确定器34可基于 intra_contour_flag[d]确定是否执行深度帧内模式下的预测，并且深度帧内模式 可以是帧内轮廓模式。

根据实施例，如果条件语句66被满足，则深度图像预测模式确定器34 可执行用于对包括在当前编码单元中的预测单元执行深度帧内预测的功能。 为了对深度图像执行深度帧内预测，用于执行与传统的帧内预测模式不同的 扩展预测模式的功能是必要的。根据实施例的深度图像预测模式确定器34可 使用intra_mode_ext(x0,y0,log2PbSize)作为用于对包括在当前编码单元中的 预测单元执行深度帧内预测的语法元素。深度图像预测模式确定器34可使用 intra_mode_ext(x0,y0,log2PbSize)来获得关于是否对深度图像的处于当前位 置的预测单元执行深度帧内预测的信息、以及关于深度帧内预测的类型的信息。图6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下从比特流获 得第三标记和第二标记的操作的语法的表。这里，第三标记可包括关于是否 对预测单元执行深度帧内预测的信息，并且第二标记可包括关于深度帧内模 式的类型的信息。也就是说，第三标记可被用于确定是否对深度图像的预测 单元执行深度帧内预测的信息，第二标记可被用于确定深度图像的帧内预测 模式之中的深度帧内模式的类型。根据实施例，第二标记可以是 depth_intra_mode_flag，第三标记可以是dim_not_present_flag。在以下描述中， 为了便于解释，假设第二标记是depth_intra_mode_flag，第三标记是 dim_not_present_flag。表1示出基于DepthIntraMode的值而被分类的深度帧 内模式的类型。

[表1]

DepthIntraMode	关联名称
		-1	INTRA_DEP_NONE
0	INTRA_DEP_WEDGE
		1	INTRA_DEP_CONTOUR

这里，DepthIntraMode[x0][y0]为DepthIntraMode[x0][y0]＝ dim_not_present_flag[x0][y0]？-1:depth_intra_mode_flag[x0][y0]。也就是 说，如果depth_intra_mode_flag[x0][y0]具有值0或1则执行深度帧内预测， 但是如果depth_intra_mode_flag[x0][y0]具有值-1则不执行深度帧内预测。深 度图像预测模式确定器34可通过使用直线(契波)来对深度图像的块进行划 分，并且如果depth_intra_mode_flag[x0][y0]具有值0则将 INTRA_DEP_WEDGE模式确定为其预测模式，或者可通过使用曲线(轮廓) 来对深度图像的块进行划分，并且如果depth_intra_mode_flag[x0][y0]具有值1 则将INTRA_DEP_CONTOUR模式确定为其预测模式。也就是说，根据实施 例的深度图像预测模式确定器34可通过在条件语句66在 intra_controur_flag[d]具有值1时被满足的情况下执行intra_mode_ext(x0+i, y0+j,log2PbSize)，并确定从比特流获得的dim_not_present_flag[x0][y0]在所执 行的intra_mode_ext(x0+i,y0+j,log2PbSize)中是否具有值0，来确定是否在帧 内轮廓模式下对预测单元执行预测。如果dim_not_present_flag[x0][y0]具有值 0,则深度图像预测模式确定器34可从比特流获得 depth_intra_mode_flag[x0][y0]并确定该标记是否具有与 INTRA_DEP_CONTOUR相应的值。在确定depth_intra_mode_flag[x0][y0]具 有与INTRA_DEP_CONTOUR相应的值时，深度图像预测模式确定器34可 确定对预测单元执行帧内轮廓模式。

当在操作302确定对预测单元执行帧内轮廓预测时，深度图像解码设备 30可对深度图像执行帧内轮廓预测。即使当在帧内轮廓模式下与深度图像的 当前预测单元相关的条带类型是I类型时，深度图像解码设备30也可参照包 括在与深度图像相同的访问单元中的彩色图像来执行预测。

在操作304，深度图像解码设备30可基于在操作303对预测单元执行帧 内轮廓预测的结果来对深度图像进行解码。

现在给出根据其他实施例的深度图像编码设备40和深度图像编码方法 的描述。深度图像编码设备40和深度图像编码方法可与上述深度图像解码设 备30和其操作逆向相应，并且其实施例可被本领域普通技术人员容易地理 解。

根据实施例的深度图像解码设备30和深度图像解码方法可按照用于将 深度图像信息配置为亮度信息的4:0:0格式，或者按照用于将视差信息配置为 亮度信息的4:0:0格式来执行解码。此外，深度图像解码设备30和深度图像 解码方法可使用按照4:0:0格式解码的亮度信息来实现3D图像。

图4a是深度图像编码设备40的框图。图4a的深度图像编码设备40可 与图1的多视点视频编码设备12相应。

参照图4a，深度图像编码器46将深度图像的最大编码单元划分为至少 一个编码单元。深度图像编码器46将编码单元划分为用于预测编码的至少一 个预测单元。深度图像编码器46基于当前预测单元是否被划分为分区以及差 信息是否被使用，通过使用差信息来对当前预测单元进行编码。在这种情况 下，深度图像编码器46通过使用所述差信息对当前预测单元进行帧内预测编 码。

深度图像编码器46可从比特流获得所述差信息，并通过使用所述差信息 来对深度图像进行编码。在确定不使用用于编码的差信息时，深度图像编码 器46可在不从比特流获得差信息的情况下对当前预测单元进行编码。

深度图像预测模式确定器44从比特流获得指示当前预测单元是否被划 分为分区的信息，并确定是否将当前预测单元划分为至少一个分区以对当前 预测单元进行编码。在确定将当前预测单元划分为分区以对当前预测单元进 行编码时，深度图像预测模式确定器44从比特流获得预测单元的预测信息， 获得与原始深度图像相应的分区的深度值以及当前预测单元的预测信息，并 通过使用指示与和深度图像相应的分区的深度值的差的差信息来确定是否执 行编码。当前预测单元的预测信息可包括指示是否通过使用包括在比特流中 的差信息执行编码的标记，并且深度图像预测模式确定器44可基于包括在比 特流中的标记，确定是否通过使用所述差信息来执行编码。

指示是否将当前预测单元划分为分区的信息可包括指示当前预测单元是 否处于用于将当前预测单元划分为至少一个分区以对当前预测单元进行编码 的预定帧内预测模式的标记，并且深度图像预测模式确定器44可基于所述标 记来确定是否将当前预测单元划分为至少一个分区以对当前预测单元进行编 码。在这种情况下，所述预定帧内预测模式可包括深度建模模式(DMM)。 所述DMM是深度帧内模式，并且是基于对象和深度图像的背景之间的边界 被清楚限定的事实以及对象内部的数据值的变化较小的事实来对深度图像进行帧内预测编码的技术。也就是说，深度帧内模式可指示深度图像的帧内预 测模式。基于根据实施例的深度图像编码方法，除了传统的视频编码所支持 的35种帧内预测模式以及预测单元划分结构以外，还可通过使用直线的契波 或曲线的轮廓来对块进行划分。在深度帧内模式下，基于任意均值，通过限 定使用契波或轮廓划分的区域中所包括的数据来执行预测。

深度帧内模式支持取决于契波或轮廓设置方案的两种模式(例如，用于 对契波进行编码的模式1和用于对轮廓进行编码的模式4)。具体地讲，与模 式1不同，模式4(即，DMM4)是一种用于预测曲线的方案。例如，在DMM4 中，在与当前将被编码的深度图像的块相应的位置处提供的彩色图像的块的 平均亮度值可被计算，所述彩色图像可基于计算出的值而被划分为多个分区 以获得划分信息，并且深度图像可基于划分信息被划分。

当深度图像在深度帧内模式(诸如DMM4)下被帧内预测时，根据实施 例的深度图像编码设备40可参照与深度图像的块相应的彩色图像的块。深度 帧内模式可以是通过使用关于深度图像的信息以及关于彩色图像的信息执行 预测的模式。深度图像编码设备40可产生比特流，其中，所述比特流包括关 于包括深度图像的块的条带的类型的信息(例如，slice_type)。slice_type可 被包括在slice_segment_header中。I类型、P类型和B类型的条带类型可在 传统的视频编码方法中被提供。关于包括在条带类型为I类型的条带中的块， 可执行编码并可参考同一图像中的被编码的块来执行帧内预测。关于与P类 型或B类型相应的块，可通过使用与当前将被编码的块相应的图像与和另一 POC相应的图像的块之间的运动信息来执行帧间预测。也就是说，如果与将 被编码的相关的slice_type是I类型，则与当前将被编码的块相关的图像可不 被参考，并且可通过使用与包括当前将被编码的块的图像中的另一个块相关 的预测信息来仅执行帧间预测。然而，根据实施例的深度图像编码方法支持 深度图像，并且彩色图像和与彩色图像具有相同POC的深度图像可被包括在访问单元中。深度图像也被编码。深度图像编码设备40检查包括在深度图像 中的块的slice_type，并在块与I类型相应的情况下对深度图像的预测单元执 行帧内预测。

此外，根据实施例的深度图像编码方法支持深度帧内模式。因此，可提 供即使是在与将被编码的块的条带类型是I类型时也能够参考包括在与深度 图像相同的访问单元中所包括的另一帧的彩色图像中的条带以对深度图像进 行编码的条带的类型。图5是示出根据实施例的由深度图像编码方法所支持 的slice_type的表。参照图5，与slice_type为2相应的I类型条带50可包括 增强帧内(EI)条带52以及基于传统的视频编码方法而仅允许帧内预测的I 条带。EI条带52不仅允许对将被编码的预测单元进行帧内预测，还允许对将被编码的预测单元进行视点内预测。视点内预测可以是基于与当前画面具有 相同的视点并被包括在与当前画面相同的访问单元中的画面的数据元素的预 测。基于视点内预测，特定视点的深度图像的的预测单元可参考包括在与深 度图像相同的访问单元中的特定视点的彩色图像的块。该预测方案可与深度 帧内模式之中的帧内轮廓模式(INTRA_CONTOUR)相应。深度帧内模式可 表示对深度图像的预测单元执行的帧内预测模式。深度帧内模式可以是与对 彩色图像执行的帧内预测模式不同的特定帧内预测模式。帧内轮廓模式可以 是与深度图像的帧内预测相关的预测模式，并且深度图像解码器36可通过使 用关于在与深度图像的块相应的位置提供的彩色图像的块的信息，将深度图 像的所述块划分为至少一个分区。因此，深度图像预测模式确定器34可参考 包括在与预测单元相关的条带的slice_sequence_header()中的slice_type来确 定是否可对预测单元执行深度帧内预测。

根据实施例的深度图像编码设备40可还包括用于基于彩色图像的编码 信息来对与深度图像相应的彩色图像进行解码的彩色图像解码器(未示出)。 深度图像编码器46可产生包括深度图像的编码信息、与深度图像相应的彩色 图像的编码信息以及彩色图像和深度图像之间的相关信息的比特流。这样， 深度图像编码设备40可对彩色图像进行编码，并且深度图像编码器46可通 过使用编码并随后被重建的彩色图像来对与彩色图像相应的深度图像进行编 码。具体地讲，根据实施例的深度图像编码器46考虑深度图像和与深度图像 相应的彩色图像之间的相关性来对深度图像进行编码。深度图像编码器46可 基于像素值将先前编码并随后被重建的彩色图像的块划分为分区以确定所述 相关性，考虑邻近像素之间的关系来按分区确定用于定义彩色图像和深度图 像之间的关系的参数，并通过使用所确定的参数来预测深度图像的块的与先 前编码并随后重建的彩色图像的块的被划分出的分区相应的至少一个分区。

根据实施例的深度图像编码器46可将深度图像的最大编码单元划分为 至少一个编码单元。可按照如上所述划分出的编码单元来确定帧内预测模式 或帧间预测模式。

根据实施例的深度图像编码器46可将编码单元划分为用于预测编码的 至少一个预测单元。深度图像预测模式确定器44可确定是否对确定的编码单 元执行帧内预测。也就是说，如果从编码单元划分出预测单元并且确定对编 码单元执行帧内预测，则可对从编码单元划分出的预测单元执行帧内预测。 在这一点上，图6a是示出根据实施例的用于通过确定将对当前编码单元的预 测单元执行的预测模式来执行编码的语法的表。参照图6a，针对当前编码单 元的coding_unit()语法60可包括用于确定深度图像的预测单元的帧内预测模式的条件语句和迭代语句。深度图像预测模式确定器44可基于当前编码单 元的预测模式信息(例如，CuPredMode[x0][y0])是否指示MODE_INTRA来 确定预测模式。这里，x0和y0可以是关于当前编码单元的左上坐标的信息。 如果与当前深度图像的编码单元相关的条带的slice_type不是I类型，则不满 足条件语句62，并且因此不产生cu_skip_flag[x0][y0]。如果cu_skip_flag[x0][y0] 未被产生，则cu_skip_flag[x0][y0]与值0相应并且因此满足条件语句63。此 外，如果与当前深度图像的编码单元相关的条带的slice_type不是I类型，则 不满足条件语句64，并且因此不产生pred_mode_flag。在这种情况下，由于CuPredMode[x0][y0]可被视为MODE_INTRA，因此满足了条件语句65并且 因此可执行条件语句66。

现在参照图4b给出深度图像编码设备40的操作的详细描述。

图4b是根据实施例的深度图像编码方法的流程图。

在操作401，深度图像编码设备40可产生第一标记，其中，第一标记包 括和与深度图像的帧内预测相关的帧内轮廓模式的使用有关的信息。根据实 施例，第一标记可包括可用于确定是否执行帧内轮廓模式的信息，并可包括 intra_contour_flag[d]。在以下描述中，为便于解释，假设第一标记是 intra_contour_flag[d]。

在操作402，深度图像编码设备40可基于第一标记确定是否对预测单元 执行帧内轮廓模式下的预测。图6b是示出根据实施例的包括 intra_contour_flag[d]的序列参数集扩展的表。序列参数集扩展是相较于传统的 序列参数集进一步包括附加信息的序列参数集。根据实施例的序列参数集扩 展可以是进一步包括用于对深度图像进行解码的信息的序列参数集，并且可 与sps_3d_extension()61相应。在以下描述中，为便于解释，假设序列参数集 扩展是sps_3d_extension()61。

根据实施例，指示是否使用帧内轮廓模式的信息可以是包括在 sps_3d_extension()61中的intra_contour_flag[d]67，并且d可表示包括关于当 前视点是否包括深度信息的信息的DeptFlag。深度图像编码设备40可按照包 括在当前编码单元中的预测单元来确定条件语句66是否被满足。如果可对当 前编码单元执行深度帧内模式，则条件语句66被满足。也就是说，深度图像 预测模式确定器44可基于是否产生了包括在与编码单元相关的 sps_3d_extension()61中的intra_contour_flag[d]67来确定是否可对预测单元 执行帧内轮廓模式。根据实施例，深度图像预测模式确定器44可产生 intra_contour_flag[d]67，其中，intra_contour_flag[d]67包括关于是否执行与 深度帧内模式之中的帧内轮廓模式(INTRA_DEP_CONTOUR)相应的DMM4 的信息。在深度图像编码方法中，关于是否执行帧内轮廓预测的信息也可通 过使用等式1来产生。参照等式1，当intra_contour_flag[d]67具有值1时， 如果另一预定条件被满足(如果nuh_layer_id>0并且textOfCurViewAvailFlag≠0)，则关于帧内轮廓模式的信息的值可以是1。关于 帧内轮廓模式的信息可以是指示将对深度图像的预测单元执行的深度帧内模 式之中的帧内轮廓模式的任意信息，并可包括IntraContourFlag。在以下描述 中，为便于解释，假设关于帧内轮廓模式的信息是IntraContourFlag。这里， nuh_layer_id是包括在网络抽象层(NAL)单元头中的语法元素，并且可以是 在相较于传统视频解码或编码方法而包括进一步的扩展信息的解码或编码方 法中使用的语法元素。因此，与传统视频编码或解码方法不同，在根据实施 例的深度图像编码方法中nuh_layer_id可以不是值0。此外，textOfCurViewAvailFlag可以是关于当前视点的彩色图像是否可用的信息。也 就是说，当深度图像编码设备40对深度图像进行编码时，如果当前视点(或 层)中的深度图像的nuh_layer_id大于值0，如果彩色图像在所述视点可用， 并且如果包括指示对与nuh_layer_id相应的视点的预测单元执行帧内轮廓模 式的信息的intra_contour_flag[DepthFlag]具有值1，则包括关于帧内轮廓模式 的信息的IntraContourFlag可具有值1，在这种情况下，条件语句66被满足。 因此，深度图像预测模式确定器44可基于intra_contour_flag[d]确定是否执行 深度帧内模式下的预测，并且深度帧内模式可以是帧内轮廓模式。

根据实施例，如果条件语句66被满足，则深度图像预测模式确定器44 可执行用于对包括在当前编码单元中的预测单元执行深度帧内预测的功能。 为了对深度图像执行深度帧内预测，用于执行与传统的帧内预测模式不同的 扩展预测模式的功能是必要的。根据实施例的深度图像预测模式确定器44可 使用intra_mode_ext(x0,y0,log2PbSize)作为用于对包括在当前编码单元中的 预测单元执行深度帧内预测的语法元素。深度图像预测模式确定器44可使用 intra_mode_ext(x0,y0,log2PbSize)来产生关于是否对深度图像的处于当前位 置的预测单元执行深度帧内预测的信息、以及关于深度帧内预测的类型的信息。图6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下从比特流获 得第三标记和第二标记的操作的语法的表。第三标记可包括关于是否对当前 预测单元执行深度帧内预测的信息，并且第二标记可包括关于深度帧内模式 的类型的信息。也就是说，第三标记可被用于确定是否对深度图像的预测单 元执行深度帧内预测，第二标记可被用于确定深度图像的帧内预测模式之中 的深度帧内模式的类型。根据实施例，第二标记可以是depth_intra_mode_flag， 第三标记可以是dim_not_present_flag。在以下描述中，为了便于解释，假设 第二标记是depth_intra_mode_flag，第三标记是dim_not_present_flag。参照表 1，可基于DepthIntraMode的值对深度帧内模式的类型进行分类。这里，DepthIntraMode[x0][y0]为DepthIntraMode[x0][y0]＝ dim_not_present_flag[x0][y0]？-1:depth_intra_mode_flag[x0][y0]。也就是 说，如果depth_intra_mode_flag[x0][y0]具有值0或1则执行深度帧内预测， 但是如果depth_intra_mode_flag[x0][y0]具有值-1则不执行深度帧内预测。深 度图像预测模式确定器44可通过使用直线(契波)来对深度图像的块进行划 分，并且如果depth_intra_mode_flag[x0][y0]具有值0则将 INTRA_DEP_WEDGE模式确定为其预测模式，或者可通过使用曲线(轮廓) 来对深度图像的块进行划分，并且如果depth_intra_mode_flag[x0][y0]具有值1 则将INTRA_DEP_CONTOUR模式确定为其预测模式。也就是说，根据实施 例的深度图像预测模式确定器44可通过在条件语句66在 intra_controur_flag[d]具有值1时被满足的情况下执行intra_mode_ext(x0+i, y0+j,log2PbSize)，并确定从比特流获得的dim_not_present_flag[x0][y0]在所执 行的intra_mode_ext(x0+i,y0+j,log2PbSize)中是否具有值0，来确定是否在帧 内轮廓模式下对预测单元执行预测。如果dim_not_present_flag[x0][y0]具有值 0,则深度图像预测模式确定器44可产生depth_intra_mode_flag[x0][y0]并确 定该标记是否具有与INTRA_DEP_CONTOUR相应的值。在确定 depth_intra_mode_flag[x0][y0]具有与INTRA_DEP_CONTOUR相应的值时， 深度图像预测模式确定器44可确定对预测单元执行帧内轮廓模式。

当在操作402确定对预测单元执行帧内轮廓预测时，在操作403，深度 图像编码设备40可对深度图像执行帧内轮廓预测。即使当在帧内轮廓模式下 与深度图像的预测单元相关的条带类型是I类型时，深度图像解码设备40也 可参照包括在与深度图像相同的访问单元中的彩色图像来执行预测。

在操作404，深度图像编码设备40可基于在操作403对预测单元执行帧 内轮廓预测的结果来对深度图像进行编码。

根据实施例的深度图像编码设备40和深度图像解码方法可按照用于将 深度图像信息配置为亮度信息的4:0:0格式，或者按照用于将视差信息配置为 亮度信息的4:0:0格式来执行解码。此外，深度图像编码设备40和深度图像 解码方法可使用按照4:0:0格式编码的亮度信息来实现3D图像。

图7是根据实施例的基于根据树结构的编码单元的视频编码设备100的 框图。

根据实施例的涉及基于树结构的编码单元的视频预测的视频编码设备 100包括编码单元确定器120和输出单元130。在下文中，为便于描述，根据 实施例的涉及基于树结构的编码单元的视频预测的视频编码设备100将被简 称为“视频编码设备100”。

编码单元确定器120可基于图像的当前画面的最大编码单元来划分当前 画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于 最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。 根据实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256 等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方 形。

根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从 最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编 码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度为最 高深度，最小编码单元的深度为最低深度。由于随着最大编码单元的深度加 深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单 元可包括多个与更低深度相应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大 编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。 由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包 括在最大编码单元中的空间域的图像数据进行分层分类。

可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最 大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而 获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定 用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过 根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行 编码，并选择具有最小编码误差的深度，来确定最终深度。将确定的最终深 度和根据确定的编码深度的编码的图像数据输出到输出单元130。

基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对 最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对 图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后， 可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个最 终深度。

随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加， 最大编码单元的尺寸被划分。此外，即使在一个最大编码单元中编码单元与 同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定 是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像 数据被包括在一个最大编码单元中时，编码误差仍可根据所述一个最大编码 单元中的区域而不同，因此最终深度可根据图像数据中的区域而不同。因此， 可在一个最大编码单元中确定至少一个最终深度，并且可根据所述至少一个 最终深度的编码单元来对最大编码单元的图像数据进行划分。

因此，根据实施例的编码单元确定器120可确定包括在最大编码单元中 的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括最 大编码单元中包括的所有较深层编码单元之中的与确定为最终深度的深度相 应的编码单元。可根据最大编码单元的同一区域中的深度来分层地确定最终 深度的编码单元，并可在不同区域中独立地确定最终深度的编码单元。类似 地，可与另一区域中的最终深度独立地确定当前区域中的最终深度。

根据实施例的最大深度是与从最大编码单元到最小编码单元的划分次数 相关的索引。根据实施例的第一最大深度可表示从最大编码单元到最小编码 单元的总划分次数。根据实施例的第二最大深度可表示从最大编码单元到最 小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最 大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分 两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码 单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度等级，并且 因此第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于 根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。

由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量 增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码 和变换的编码。为了便于描述，在最大编码单元中，现在将基于当前深度的 编码单元来描述预测编码和变换。

根据实施例的视频编码设备100可不同地选择用于对图像数据进行编码 的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、 变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可 针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单 元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执 行预测编码。

为了在最大编码单元中执行预测编码，可基于根据实施例的与最终深度 相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码 单元)来执行预测编码。通过划分编码单元而获得的分区可包括编码单元和 通过对编码单元的高度和宽度中的至少一个进行划分而获得的数据单元。分 区可包括编码单元被划分的数据单元以及与编码单元具有相同尺寸的数据单 元。成为用于预测的基本单元的分区现在将被称为“预测单元”。

例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并成为 2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。 根据实施例的分区模式的示例包括通过对预测单元的高度或宽度对称地进行 划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸 如，1：n或n:1)而获得的分区、通过对预测单元几何地进行划分而获得的 分区、或具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一 个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式和帧间 模式。此外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预 测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

根据实施例的视频编码设备100不仅可不仅基于用于对图像数据进行编 码的编码单元来对编码单元中的图像数据执行变换，还可基于与编码单元不 同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执 行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变换。例 如，变换单元可包括帧内模式的数据单元和帧间模式的变换单元。

根据实施例，以与编码单元根据树结构被划分的方式类似的方式，编码 单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变 换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。

还可在根据实施例的变换单元中设置变换深度，其中，变换深度指示通 过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在 2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以 是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸 是N/2×N/2时，变换深度可以是2。也就是说，还可根据变换深度设置具有 树结构的变换单元。

根据深度的划分信息不仅需要关于深度的信息，还需要关于与预测编码 和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差 的深度，还确定将预测单元划分为分区的分区模式、根据预测单元的预测模 式以及用于变换的变换单元的尺寸。

稍后将参照图9至图19详细描述根据实施例的最大编码单元中的根据树 结构的编码单元以及确定预测单元/分区和变换单元的方法。

编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化来测量 根据深度的较深层编码单元的编码误差。

输出单元130在比特流中输出最大编码单元的图像数据和根据深度的划 分信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确 定的至少一个深度而被编码。

可通过对图像的残差数据进行编码来获得编码的图像数据。

根据深度的划分信息可包括关于深度的信息、关于预测单元中的分区模 式的信息、关于预测模式的信息和关于变换单元的划分的信息。

可通过使用根据深度的划分信息来定义关于最终深度的信息，其中，根 据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编 码。如果当前编码单元的当前深度是最终深度，则对当前编码单元进行编码， 因此可将划分信息定义为不将当前编码单元划分到更低深度。可选择地，如 果当前编码单元的当前深度不是最终深度，则对更低深度的编码单元执行编 码，并因此可将划分信息定义为对当前编码单元进行划分以获得更低深度的 编码单元。

如果当前深度不是最终深度，则对被划分到更低深度的编码单元的编码 单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编 码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有 相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，并且针对具有 深度的编码单元确定划分信息，因此可针对一个最大编码单元确定至少一条 划分信息。此外，由于根据深度对最大编码单元的图像数据进行分层划分， 因此最大编码单元的图像数据的深度可根据位置而不同，因此可针对图像数 据设置深度和划分信息。

因此，根据实施例的输出单元130可将相应深度和关于编码模式的编码 信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至 少一个。

根据实施例的最小单元是通过将构成最低深度的最小编码单元划分为4 份而获得的正方形数据单元。可选择地，根据实施例的最小单元可以是可包 括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单 元中的最大正方形数据单元。

例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单 元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息 可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信 息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的 信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧 内模式的插值方法的信息。

根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最 大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。

还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视 频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。 输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编 码和输出。

在根据最简单的实施例的视频编码设备100中，较深层编码单元可以是 通过将更高深度(更高一层)的编码单元的高度或宽度划分成两份而获得的 编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，更低深度 的编码单元的尺寸是N×N。此外，尺寸为2N×2N的具有当前深度的编码单 元可包括最多4个具有更低深度的编码单元。

因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码 单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最 优尺寸的编码单元来形成具有树结构的编码单元。此外，由于可通过使用各 种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑 各种图像尺寸的编码单元的特征来确定最优编码模式。

因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则 每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条 数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使 用根据实施例的视频编码设备100，由于在考虑图像的尺寸的同时增加编码 单元的最大尺寸，并且在考虑图像的特征的同时调整编码单元，因此可提高 图像压缩效率。

以上参照图4a描述的深度图像编码设备10可包括与层数一样多的视频 编码设备100，以便根据多层视频中的层对单层图像进行编码。例如，第一 层编码器12可包括一个视频编码设备100，深度图像编码器14可包括第二 层的数量一样多的视频编码设备100。

当视频编码设备100对第一层图像进行编码时，编码单元确定器120可 针对每个最大编码单元根据具有树结构的编码单元确定用于帧间预测的预测 单元，并可根据预测单元执行帧间预测。

即使在视频编码设备100对第二层图像进行编码时，编码单元确定器120 可针对每个最大编码单元确定具有树结构的编码单元和预测单元，并可根据 预测单元执行帧间预测。

视频编码设备100可对第一层图像和第二层图像之间的亮度差进行编 码，以便补偿亮度差。然而，可根据编码单元的编码模式确定是否执行亮度 补偿。例如，可仅对尺寸为2Nx2N的预测单元执行亮度补偿。

图8是根据各种实施例的基于根据树结构的编码单元的视频解码设备 200的框图。

根据实施例的涉及基于根据树结构的编码单元的视频预测的视频解码设 备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码 器230。为了便于描述，根据实施例的涉及基于根据树结构的编码单元的视 频预测的视频解码设备200将被简称为“视频编码设备200”。

用于根据实施例的视频解码设备200的解码操作的各种术语(诸如编码 单元、深度、预测单元、变换单元和各种划分信息)的定义与参照图7和视 频编码设备100描述的定义相同。

接收器210接收并解析编码的视频的比特流。图像数据和编码信息提取 器220从解析的比特流针对每个编码单元提取编码的图像数据，并将提取的 图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编 码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、 序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

此外，图像数据和编码信息提取器220从解析的比特流根据每个最大编 码单元提取具有树结构的编码单元的最终深度和划分信息。提取的最终深度 和划分信息被输出到图像数据解码器230。换句话说，比特流中的图像数据 被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对 图像数据进行解码。

可针对至少一条深度信息设置根据最大编码单元的深度和划分信息，所 述划分信息可包括关于相应编码单元的分区模式的信息、关于预测模式的信 息和关于变换单元的划分的信息。此外，根据深度的划分信息可被提取为关 于深度的信息。

由图像数据和编码信息提取器220提取的根据每个最大编码单元的深度 和划分信息是这样的深度和划分信息：所述深度和划分信息被确定为在编码 器(诸如，根据实施例的视频编码设备100)根据每个最大编码单元对根据 深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视 频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像 数据进行解码来重建图像。

由于根据实施例的关于深度和编码模式的编码信息可被分配给相应的编 码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信 息提取器220可根据预定数据单元提取深度和划分信息。如果相应最大编码 单元的深度和划分信息根据预定数据单元被记录，则可将被分配相同的深度 和相同划分信息的预定数据单元推断为是包括在同一最大编码单元中的数据 单元。

图像数据解码器230可基于根据最大编码单元的深度和划分信息，通过 对每个最大编码单元中的图像数据进行解码来重建当前画面。也就是说，图 像数据解码器230可基于提取出的关于包括在每个最大编码单元中的具有树 结构的编码单元之中的每个编码单元的分区模式、预测模式和变换单元的信 息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运 动补偿)和逆变换。

图像数据解码器230可基于关于根据深度的编码单元的预测单元的分区 模式和预测模式的信息，根据每个编码单元的分区和预测模式执行帧内预测 或运动补偿。

此外，图像数据解码器230可针对每个编码单元读取关于根据树结构的 变换单元的信息，以便基于每个编码单元的变换单元执行逆变换，以针对每 个最大编码单元来进行逆变换。经过逆变换，可重建编码单元的空间域的像 素值。

图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编 码单元的深度。如果划分信息指示图像数据在当前深度中不再被划分，则当 前深度是深度。因此，图像数据解码器230可通过使用关于预测单元的分区 模式的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前最 大编码单元中的编码的数据进行解码。

也就是说，可通过观察被分配用于编码单元、预测单元和最小单元之中 的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数 据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编 码模式进行解码的一个数据单元。因此，可通过获得关于每个编码单元的编 码模式的信息来对当前编码单元进行解码。

以上参照图3描述的深度图像解码设备30可包括与视点数一样多的视频 解码设备200，以便通过对接收的第一层图像流和接收的第二层图像流进行 解码来重建第一层图像和第二层图像。

当第一层图像流被接收时，视频解码设备200的图像数据解码器230可 将由图像数据和编码信息提取器220从第一层图像流提取的第一层图像的样 点划分为具有树结构的编码单元。图像数据解码器230可通过对通过划分第 一层图像的样点而获得的具有树结构的编码单元执行用于帧间预测的根据预 测单元的运动补偿，重建第一层图像。

当第二层图像流被接收时，视频解码设备200的图像数据解码器230可 将由图像数据和编码信息提取器220从第二层图像流提取的第二层图像的样 点划分为具有据树结构的编码单元。图像数据解码器230可通过对通过划分 第二层图像的样点而获得的编码单元执行用于帧间预测的根据预测单元的运 动补偿，重建第二层图像。

提取器220可从比特流获得与亮度误差相关的信息，以便补偿第一视层 图像和第二层图像之间的亮度差。然而，可根据编码单元的编码模式确定是 否执行亮度补偿。例如，可仅对尺寸为2Nx2N的预测单元执行亮度补偿。

因此，视频解码设备200可获得与在对每个最大编码单元递归地执行编 码时产生最小编码误差的至少一个编码单元有关的信息，并可使用所述信息 来对当前画面进行解码。也就是说，可对每个最大编码单元中的被确定为最 优编码单元的具有树结构的编码单元进行解码。

因此，即使图像具有高分辨率或具有极大的数据量，也可通过使用编码 单元的尺寸和编码模式来有效地对图像进行解码和重建，其中，所述编码单 元的尺寸和编码模式是通过使用从编码器接收的最优划分信息，根据图像数 据的特性而被自适应地确定的。

图9是用于描述根据各种实施例的编码单元的构思的示图。

编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16 和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分 区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区， 16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编 码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率为1920×1080，编码单元的最大尺寸为64， 最大深度为2。在视频数据320中，分辨率为1920×1080，编码单元的最大尺 寸为64，最大深度为3。在视频数据330中，分辨率为352×288，编码单元 的最大尺寸为16，最大深度为1。图10中示出的最大深度表示从最大编码单 元到最小编码单元的划分总次数。

如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅 提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更 高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分 两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸 为64的最大编码单元和长轴尺寸为32和16的编码单元。由于视频数据330 的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层， 因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长 轴尺寸为8的编码单元。

由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分 三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸 为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深， 可准确地表达详细信息。

图10是根据各种实施例的基于编码单元的图像编码器400的框图。

根据实施例的图像编码器400执行视频编码设备100的编码单元确定器 120对图像数据进行编码的操作。换句话说，帧内预测器420在当前帧405 中根据每个预测单元对帧内模式下的编码单元执行帧内预测，帧间预测器415 根据每个预测单元通过使用当前图像405和由重建画面缓冲器410获得的参 考图像对帧间模式下的编码单元执行帧间预测。当前画面405可被划分为最 大编码单元，然后最大编码单元可被顺序编码。这里，可对从最大编码单元 按照树结构划分的编码单元执行编码。

通过从与将被编码的当前图像405的数据减去从帧内预测器420或帧间 预测器415输出的每个模式的编码单元的预测数据来产生残差数据，并且所 述残差数据根据每个变换单元通过变换器425和量化器430被输出为量化后 的变换系数。量化后的变换系数通过反量化器445和逆变换器450被重建为 空间域中的残差数据。空间域中的残差数据与从帧内预测器420或帧间预测 器415输出的每个模式的编码单元的预测数据相加，从而被重建为当前图像 405的编码单元的空间域中的数据。空间域中的数据通过去块器455和样点自适应偏移(SAO)执行器460，因此重建的图像被产生。重建的图像被存 储在重建画面缓冲器410中。重建画面缓冲器410中存储的重建的图像可被 用作用于另一图像的帧间预测的参考图像。通过变换器425和量化器430获 得的量化的变换系数可通过熵编码器435被输出为比特流440。

为了将根据实施例的图像编码器400应用于视频编码设备100，图像编 码器400的组件(即，帧间预测器415、帧内预测器420、变换器425、量化 器430、熵编码器435、反量化器445、逆变换器450、去块单元455和SAO 执行器460)根据每个最大编码单元基于具有树结构的编码单元之中的每个 编码单元执行操作。

具体地，帧内预测器420和帧间预测器415可在考虑当前最大编码单元 的最大尺寸和最大深度的同时确定具有树结构的编码单元之中的每个编码单 元的分区和预测模式，变换器425可确定是否在具有树结构的编码单元之中 的每个编码单元中根据四叉树划分变换单元。

图11是根据各种实施例的基于编码单元的图像解码器500的框图。

熵解码器515从比特流505解析将被解码的编码图像数据和解码所需的 编码信息。编码图像数据是量化后的变换系数，并且反量化器520和逆变换 器525从所述量化后的变换系数重建残差数据。

帧内预测器540根据预测单元对帧内模式下的编码单元执行帧内预测。 帧间预测器通过使用由重建画面缓冲器530获得的参考图像，根据预测单元 对来自当前图像的帧间模式下的编码单元执行帧间预测。

通过经由帧内预测器540或帧间预测器535将残差数据和每个模式的编 码单元的预测数据相加，当前图像的编码单元的空间域中的数据被重建，并 且空间域中的数据可通过去块单元545和SAO执行器550被输出为重建的图 像。重建画面缓冲器530中存储的重建的图像可被输出为参考图像。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码， 可执行根据各种实施例的图像解码器500的熵解码器515之后的操作。

为了将图像解码器500应用于根据实施例的视频解码设备200，图像解 码器500的组件(即，熵解码器515、反量化器520、逆变换器525、帧内预 测器540、帧间预测器535、去块单元545和SAO执行器550)可针对每个 最大编码单元基于具有树结构的编码单元执行操作。

具体地，帧内预测器540和帧间预测器535根据具有树结构的编码单元 中的每个编码单元确定分区模式和预测模式，逆变换器525可针对每个编码 单元确定是否根据四叉树结构划分变换单元。

图10的编码操作和图11的解码操作分别是单层中的视频流编码操作和 视频流解码操作。因此，当图3a的编码器12对至少两层的视频流进行编码 时，图4a的视频编码设备10可包括与层数一样多的图像编码器400。类似地， 当图3a的解码器36对至少两层的视频流进行解码时，图3a的视频解码设备 30可包括与层数一样多的图像解码器500。

图12是示出根据各种实施例的根据深度编码单元以及分区的示图。

根据实施例的视频编码设备100和根据实施例的视频解码设备200使用 分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元 的最大高度、最大宽度和最大深度，或可由用户要求不同地设置编码单元的 最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根 据深度的较深层编码单元的尺寸。

在根据实施例的编码单元的分层结构600中，编码单元的最大高度和最 大宽度均是64，最大深度是3。在此情况下，最大深度是指编码单元从最大 编码单元到最小编码单元被划分的总次数。由于深度沿着根据各种实施例的 编码单元的分层结构600的垂直轴加深，因此较深层编码单元的高度和宽度 均被划分。此外，预测单元和分区沿着分层结构600的水平轴被示出，其中， 所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。

换句话说，编码单元610是分层结构600中的最大编码单元，其中，深 度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸 为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元 630、尺寸为8×8且深度为3的编码单元640。尺寸为8×8和深度为3的编码 单元640是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换句话说， 如果尺寸为64×64且深度为0的编码单元610是预测单元，则可将预测单元 划分成包括在尺寸为64×64的编码单元610中的分区，即，尺寸为64×64的 分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32 的分区616。

同样，可将尺寸为32×32且深度为1的编码单元620的预测单元划分成 包括在尺寸为32×32的编码单元620中的分区，即，尺寸为32×32的分区620、 尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区 626。

同样，可将尺寸为16×16且深度为2的编码单元630的预测单元划分成 包括在尺寸为16×16的编码单元630中的分区，即，包括在编码度单元630 中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634 和尺寸为8×8的分区636。

同样，可将尺寸为8×8且深度为3的编码单元640的预测单元划分成包 括在尺寸为8×8的编码单元640中的分区，即，包括在编码单元640中的尺 寸为8×8的分区640、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸 为4×4的分区646。

为了确定最大编码单元610的深度，根据实施例的视频编码设备100的 编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码 单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编 码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在 与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数 据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编码单 元均被编码。

为了针对多个深度之中的当前深度执行编码，可沿着分层结构600的水 平轴，通过对与当前深度相应的编码单元中的每个预测单元执行编码，来针 对当前深度选择最小编码误差。可选择地，随着深度沿着分层结构600的垂 直轴加深，可通过针对每个深度执行编码来比较根据深度的最小编码误差， 以搜索最小编码误差。最大编码单元610中的具有最小编码误差的深度和分 区可被选为最大编码单元610的深度和分区模式。

图13是用于描述根据各种实施例的编码单元和变换单元之间的关系的 示图。

根据实施例的视频编码设备100或根据实施例的视频解码设备200针对 每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元对 图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择用于在 编码期间进行变换的变换单元的尺寸。

例如，在根据实施例的视频编码设备100或根据实施例的视频解码设备 200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变 换单元720来执行变换。

此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换 单元中的每一个执行变换，来对尺寸为64×64的编码单元710的数据进行编 码，然后可选择具有最小编码误差的变换单元。

图14示出根据各种实施例的根据深度的多条编码信息。

根据实施例的视频编码设备100的输出单元130可对与深度相应的每个 编码单元的关于分区模式的信息800、关于预测模式的信息810以及关于变 换单元的尺寸的信息820进行编码，并将信息800、信息810以及信息820 作为划分信息来发送。

信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形 状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例 如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个： 尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区 806和尺寸为N×N的分区808。这里，关于分区类型的信息800被设置为指 示以下分区之一：尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808。

信息810指示每个分区的预测模式。例如，信息810可指示对由信息800 指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳 过模式816。

信息820指示当对当前编码单元执行变换时所基于的变换单元。例如， 变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变 换单元826或第二帧间变换单元828。

根据实施例的视频解码设备200的图像数据和编码信息提取器220可根 据每个较深层编码单元，提取并使用用于解码的信息800、信息810和信息 820。

图15是根据各种实施例的根据深度的较深层编码单元的示图。

划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是 否被划分成更低深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预 测单元910可包括以下分区模式的分区：尺寸为2N_0×2N_0的分区模式912、 尺寸为2N_0×N_0的分区模式914、尺寸为N_0×2N_0的分区模式916和尺 寸为N_0×N_0的分区模式918。图16仅示出了通过对称地划分预测单元而 获得的分区912至918，但是分区模式不限于此，并且预测单元的分区可包 括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每种分区模式，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0 的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重 复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和 N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为 2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在分区模式912、914和916中的一个分区模式中编码误差最小，则 可不将预测单元910划分到更低深度。

如果在分区模式918中编码误差最小，则深度从0改变到1以在操作920 中对分区模式918进行划分，并对深度为2且尺寸为N_0×N_0的编码单元 930重复地执行编码来搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进 行预测编码的预测单元940可包括以下分区模式的分区：尺寸为2N_1×2N_1 的分区模式942、尺寸为2N_1×N_1的分区模式944、尺寸为N_1×2N_1的分 区模式946以及尺寸为N_1×N_1的分区模式948。

如果在分区模式948中编码误差最小，则深度从1改变到2以在操作950 中对分区模式948进行划分，并对深度为2且尺寸为N_2×N_2的编码单元 960重复执行编码来搜索最小编码误差。

当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成d-1 时，并且划分信息可被编码直到深度是0到d-2之一时。也就是说，当编码 被执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是 d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预 测编码的预测单元990可包括以下分区模式的分区：尺寸为2N_(d-1)×2N_(d-1) 的分区模式992、尺寸为2N_(d-1)×N_(d-1)的分区模式994、尺寸为 N_(d-1)×2N_(d-1)的分区模式996和尺寸为N_(d-1)×N_(d-1)的分区模式998。

可对分区模式之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为 2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为 N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差 的分区模式。

即使当分区模式998具有最小编码误差时，由于最大深度是d，因此深 度为d-1的编码单元CU_(d-1)不再被划分到更低深度，用于构成当前最大编 码单元900的编码单元的深度被确定为d-1，并且当前最大编码单元900的分 区模式可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不设置 针对深度为d-1的编码单元952的划分信息。

数据单元999可以是用于当前最大编码单元的“最小单元”。根据实施例 的最小单元可以是通过将具有最低深度的最小编码单元划分成4份而获得的 正方形数据单元。通过重复地执行编码，根据实施例的视频编码设备100可 通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深 度以确定深度，并将相应分区模式和预测模式设置为该深度的编码模式。

这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且 具有最小编码误差的深度可被确定为深度。该深度、预测单元的分区模式和 预测模式可作为划分信息被编码并被发送。此外，由于编码单元从0的深度 被划分到深度，因此仅将该深度的划分信息设置为0，并且将除了该深度以 外的深度的划分信息设置为1。

根据实施例的视频解码设备200的图像数据和编码信息提取器220可提 取并使用关于编码单元900的深度和预测单元的信息，以对分区912进行解 码。根据实施例的视频解码设备200可通过使用根据深度的划分信息，将划 分信息为0的深度确定为深度，并且使用相应深度的划分信息来进行解码。

图16、图17和图18是用于描述根据各种实施例的在编码单元、预测单 元和变换单元之间的关系的示图。

编码单元1010是最大编码单元中的根据由根据实施例的视频编码设备 100确定的深度的具有树结构的编码单元。预测单元1060是根据深度的每个 编码单元的预测单元的分区，变换单元1070是根据深度的每个编码单元的变 换单元。

当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054 的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2， 编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码 单元1040、1042、1044和1046的深度是4。

在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些 编码单元1014、1016、1022、1032、1048、1050、1052和1054。也就是说， 编码单元1014、1022、1050和1054中的分区模式的尺寸是2N×N，编码单 元1016、1048和1052中的分区模式的尺寸是N×2N，编码单元1032的分区 模式的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码 单元。

在小于编码单元1052的数据单元中的变换单元1070中，对编码单元 1052的图像数据执行变换或逆变换。此外，在尺寸和形状方面，变换单元1070 中的编码单元1014、1016、1022、1032、1048、1050和1052是不同于预测 单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052的数 据单元。也就是说，根据实施例的视频编码设备100和视频解码设备200可 对同一编码单元中的各个数据单元执行帧内预测、运动估计、运动补偿、变 换和逆变换。

因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递 归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。 编码信息可包括关于编码单元的划分信息、关于分区模式的信息、关于预测 模式的信息和关于变换单元的尺寸的信息。表1示出可由根据各种实施例的 视频编码设备100和视频解码设备200设置的编码信息。

[表1]

根据实施例的视频编码设备100的输出单元130可输出关于具有树结构 的编码单元的编码信息，根据实施例的视频解码设备200的图像数据和编码 信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码 信息。

划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当 前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是 深度，从而可针对深度来定义关于分区模式、预测模式和变换单元的尺寸的 信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个 划分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分 区模式中定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区模式中定义 跳过模式。

关于分区模式的信息可指示通过对称地划分预测单元的高度或宽度而获 得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区模式、以及通过非对 称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和 nR×2N的非对称分区模式。可通过按1:3和3:1来划分预测单元的高度来分 别获得尺寸为2N×nU和2N×nD的非对称分区模式，可通过按1:3和3:1来划 分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区模式。

可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种 类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是 2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过 对当前编码单元进行划分来获得变换单元。此外，如果尺寸为2N×2N的当前 编码单元的分区模式是对称分区模式，则变换单元的尺寸可以是N×N，如果 当前编码单元的分区类型是非对称分区模式，则变换单元的尺寸可以是 N/2×N/2。

根据实施例，关于具有树结构的编码单元的编码信息可包括与深度相应 的编码单元、预测单元和最小单元中的至少一个。与深度相应的编码单元可 包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包 括在与深度相应的同一编码单元中。此外，通过使用数据单元的编码信息来 确定与深度相应的相应编码单元，并因此可确定最大编码单元中的深度的分 布。

因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测， 则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的 编码信息。

作为另一示例，如果基于邻近数据单元的编码信息来对当前编码单元进 行预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元， 并可参考搜索到的邻近编码单元来对当前编码单元进行预测。

图19是用于描述根据表1的编码模式信息的编码单元、预测单元和变换 单元之间的关系的示图。

最大编码单元1300包括多个深度的编码单元1302、1304、1306、1312、 1314、1316和1318。这里，由于编码单元1318是具有深度的编码单元，因 此划分信息可被设置成0。可将关于尺寸为2N×2N的编码单元1318的分区 模式的信息设置成以下分区模式中的一种：尺寸为2N×2N的分区模式1322、 尺寸为2N×N的分区模式1324、尺寸为N×2N的分区模式1326、尺寸为N×N 的分区模式1328、尺寸为2N×nU的分区模式1332、尺寸为2N×nD的分区模 式1334、尺寸为nL×2N的分区模式1336和尺寸为nR×2N的分区模式1338。

变换单元的划分信息(TU尺寸标记)是一种类型的变换索引。与变换 索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区模式而改 变。

例如，当分区模式被设置为对称(即，分区模式1322、1324、1326或 1328)时，如果变换单元的TU尺寸标记是0，则设置尺寸为2N×2N的变换 单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。

当分区模式被设置成非对称(即，分区模式1332、1334、1336或1338) 时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU 尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。

参照图19，TU尺寸标记是具有值0或1的标记，但是根据实施例的TU 尺寸标记不限于1比特，并且变换单元可在TU尺寸标记从0增加时被分层 划分为具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的 示例。

在这种情况下，可通过使用根据各种实施例的变换单元的TU尺寸标记 以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺 寸。根据实施例的视频编码设备100能够对最大变换单元尺寸信息、最小变 换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、 最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。 根据实施例的视频解码设备200可通过使用最大变换单元尺寸信息、最小变 换单元尺寸信息和最大TU尺寸标记来对视频进行解码。

例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是 32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2) 当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标 记为2时，变换单元的尺寸可以是8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单 元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是 32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不 能够被设置为除了0以外的值。

作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺 寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设 置为除了0或1以外的值。

因此，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变 换单元尺寸为“MinTransformSize”，并且当TU尺寸标记为0时的变换单元 尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定 的当前最小变换单元尺寸“CurrMinTuSize”：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))

…(1)

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize” 相比，当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可指示可在系统 中选择的最大变换单元尺寸。在等式(1)中， “RootTuSize/(2^MaxTransformSizeIndex)”指示当TU尺寸标记为0时，变换单元 尺寸“RootTuSize”被划分了与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此， “RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可 以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改 变。

例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来 确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单 元尺寸，“PUSize”指示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize)……(2)

也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的 变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸 中较小的值。

如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3) 来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的 尺寸：

RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)

也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的 变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺 寸之中较小的值。

然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺 寸“RootTuSize”仅是示例，并且本公开不限于此。

根据参照图7至图19描述的基于具有树结构的编码单元的视频编码方 法，可针对树结构的每个编码单元对空间域的图像数据进行编码。根据基于 具有树结构的编码单元的视频解码方法，对每个最大编码单元执行解码来重 建空间域的图像数据。因此，画面和作为画面序列的视频可被重建。重建的 视频可由再现设备来再现，可存储在存储介质中，或可通过网络来发送。

根据本公开的实施例可被编写为计算机程序，并可实现在使用计算机可 读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括 磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM 或DVD)等。

为便于描述，以上参照图1至图19描述的层间视频编码方法和/或视频 编码方法将被统称为“本公开的视频编码方法”。此外，以上参照图1至图 19描述的层间视频解码方法和/或视频解码方法将被称为“本公开的视频解码 方法”。

此外，已参照图1至图19描述的包括深度图像编码设备40、视频编码 设备100或图像编码器400的视频编码设备将被称为“本公开的视频编码设 备”。此外，已参照图1至图19描述的包括深度图像解码设备30、视频解码 设备200或图像解码器500的视频解码设备将被统称为“本公开的视频解码 设备”。

现在将详细描述根据实施例的存储程序的计算机可读记录介质(例如， 盘26000)。

图20是根据各种实施例的存储程序的盘26000的物理结构的示图。作为 存储介质的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、 蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个同心 磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在根据实施例的 盘26000的特定区域中，可分配并存储执行以上所描述的量化参数确定方法、 视频编码方法和视频解码方法的程序。

现在将参照图22来描述使用存储用于执行如上所述的视频编码方法和 视频解码方法的程序的存储介质来实现的计算机系统。

图21是通过使用盘26000来记录并读取程序的盘驱动器26800的示图。 计算机系统27000可经由盘驱动器26800将执行本公开的视频编码方法和视 频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统27000 中运行存储在盘26000中的程序，可通过使用盘驱动器27000从盘26000读 取程序并将程序发送到计算机系统26700。

执行本公开的视频编码方法和视频解码方法中的至少一个的程序不仅可 被存储在图20或图21中示出的盘26000中，还可被存储在存储卡、ROM卡 带或固态驱动器(SSD)中。

以下将描述应用以上所描述的视频编码方法和视频解码方法的系统。

图22是用于提供内容分发服务的内容供应系统11000的整体结构的示 图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、 11800、11900和12000分别安装在这些小区中。

内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个 人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装 置经由互联网服务提供器11200、通信网络11400和无线基站11700、11800、 11900和12000连接到互联网11100。

然而，内容供应系统11000不限于如图24中所示的结构，并且装置可选 择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、 11800、11900和12000而直接连接到通信网络11400。

视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。 移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址 (CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人 手持电话系统(PHS))中的至少一种通信方法。

视频相机12300可经由无线基站11900和通信网络11400连接到流服务 器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由 实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相 机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可 经由计算机12100被发送到流服务器11300。

通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服 务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像 两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉 到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算 机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动 器、SSD或存储卡)中。

如果视频数据通过内置在移动电话12500中的相机被捕捉到，则可从移 动电话12500接收视频数据。

还可通过安装在视频相机12300、移动电话12500或相机12600中的大 规模集成电路(LSI)系统来对视频数据进行编码。

根据实施例的内容供应系统11000可对由用户使用视频相机12300、相 机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音 乐会期间记录的内容)进行编码，并可将编码后的内容数据发送到流服务器 11300。流服务器11300可将流传输内容的类型的编码后的内容数据发送到请 求内容数据的其它客户端。

客户端是能够对编码后的内容数据进行解码的装置，例如，计算机 12100、PDA12200、视频相机12300或移动电话12500。因此，内容供应系 统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统 11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解 码和再现，从而能够进行个人广播。

本公开的视频编码设备和视频解码设备可被应用于包括在内容供应系统 11000中的多个独立装置的编码和解码操作。

参照图23和图24，现在将更加详细地描述包括在根据实施例的内容供 应系统11000中的移动电话12500。

图23示出根据各种实施例的应用本公开的视频编码方法和视频解码方 法的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智 能电话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。

移动电话12500包括可与图21的无线基站12000交换射频(RF)信号 的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线 12510接收到的并被解码的图像的显示屏12520(例如，液晶显示器(LCD) 或有机发光二极管(OLED)屏幕)。移动电话12500包括包含有控制按钮和 触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540 还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元、以及用于输入语音和声音 的麦克风12550或另一类型的声音输入单元。移动电话12500还包括用于捕 捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电 话12500还可包括：存储介质12570，用于存储通过相机12530捕捉到的、 经由电子邮件接收到的、或根据各种方式获得的编码/解码数据(例如，视频 或静止图像)；插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字 (SD)卡或电可擦除可编程只读存储器(EEPROM)。

图24示出移动电话12500的内部结构。为了系统地控制包括显示屏 12520和操作面板12540的移动电话12500的部件，供电电路12700、操作输 入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、 图像解码器12690、复用器/解复用器12680、记录/读取单元12670、调制/解 调单元12660和声音处理器12650经由同步总线12730被连接到中央控制器 12710。

如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状 态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将 移动电话12500设置为处于操作模式。

中央控制器12710包括中央处理器(CPU)、ROM和RAM。

在移动电话12500将通信数据发送到外部的同时，在中央控制器12710 的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产 生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本 数据可经由操作面板12540和操作输入控制器12640被产生。当数字信号在 中央控制器12710的控制下被发送到调制/解调单元12660时，调制/解调单元 12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数 字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发 送信号可经由天线12510被发送到语音通信基站或无线基站12000。

例如，当移动电话12500处于通话模式时，在中央控制器12710的控制 下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字 声音信号。数字声音信号可经由调制/解调单元12660和通信电路12610被变 换成变换信号，并可经由天线12510被发送。

当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息 的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发 送到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制/ 解调单元12660和通信电路12610被变换成发送信号，并经由天线12510被 发送到无线基站12000。

为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据 经由相机接口12630被提供给图像编码单元12720。捕捉到的图像数据可经 由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。

图像编码器12720的结构可与上述视频编码设备100的结构相应。图像 编码器12720可根据上述视频编码方法，将从相机12530接收到的图像数据 变换为压缩和编码后的图像数据，并随后将编码后的图像数据输出到复用器/ 解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克 风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据， 并且数字声音数据可被发送到复用器/解复用器12680。

复用器/解复用器12680对从图像编码单元12720接收到的编码后的图像 数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复 用的结果可经由调制/解调单元12660和通信电路12610被变换成发送信号， 然后可经由天线12510被发送。

当移动电话12500从外部接收到通信数据时，可对经由天线12510接收 到的信号执行频率恢复和ADC以将信号变换成数字信号。调制/解调单元 12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型，将 所述数字信号发送到视频解码单元12690、声音处理器12650或LCD控制器 12620。

在通话模式下，移动电话12500对经由天线12510接收到的信号进行放 大，并通过对放大后的信号执行频率转换和ADC来获得数字声音信号。在中 央控制器12710的控制下，接收到的数字声音信号经由调制/解调单元12660 和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器 12580被输出。

当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据， 经由调制/解调单元12660将经由天线12510从无线基站12000接收到的信号 输出为复用数据，并将复用数据发送到复用器/解复用器12680。

为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器 12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经 由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供 给视频解码单元12690和声音处理器12650。

图像解码器12690的结构可与上述视频解码设备200的结构相应。图像 解码器12690可根据由上述视频解码设备200或图像解码器500采用的视频 解码方法，对编码后的视频数据进行解码来获得重建的视频数据，并经由LCD 控制器12620将重建的视频数据提供给显示屏12520。

因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520 上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟 声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网 网站上访问的视频文件中包含的音频数据。

移动电话12500或另一类型的通信终端可以是包括本公开的视频编码设 备和视频解码设备两者的收发终端，可以是仅包括本公开的视频编码设备的 收发终端，或者可以是仅包括本公开的视频解码设备的收发终端。

根据本公开的通信系统不限于以上参照图22描述的通信系统。例如，图 25示出根据各种实施例的采用通信系统的数字广播系统。根据实施例的图25 的数字广播系统可通过使用本公开的视频编码设备和视频解码设备来接收经 由卫星或地面网络发送的数字广播。

具体地，广播站12890通过使用无线电波将视频数据流发送到通信卫星 或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线 12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、 机顶盒12870或其它装置对编码后的视频流进行解码和再现。

当本公开的视频解码设备被实现在再现设备12830中时，再现设备12830 可对记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解 析和解码，以重建数字信号。因此，可在例如监视器12840上再现重建的视 频信号。

在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV) 广播的有线天线12850的机顶盒12870中，可安装本公开的视频解码设备。 从机顶盒12870输出的数据也可被再现在TV监视器12880上。

作为另一示例，可将本公开的视频解码设备安装在TV接收器12810中， 而不是机顶盒12870中。

具有合适的天线12910的汽车12920可接收从卫星12900或无线基站 11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示 屏上再现解码后的视频。

视频信号可由本公开的视频编码设备来编码，然后可被记录并存储在存 储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960中， 或可由硬盘记录器12950将图像信号存储在硬盘中。作为另一示例，可将视 频信号存储在SD卡12970中。如果硬盘记录器12950包括根据实施例的本 公开的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介 质上的视频信号可在TV监视器12880上被再现。

汽车导航系统12930可不包括图26的相机12530、相机接口12630和图 像编码单元12720。例如，计算机12100和TV接收器12810可不包括图26 的相机12530、相机接口12630和图像编码单元12720。

图26是示出根据各种实施例的使用视频编码设备和视频解码设备的云 计算系统的网络结构的示图。

云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多 个计算资源14200和用户终端。

响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互 联网)提供多个计算资源14200的点播外包服务。在云计算环境下，服务提 供商通过使用虚拟化技术组合位于不同的物理位置的数据中心处的计算资 源，为用户提供想要的服务。服务用户不必将计算资源(例如，应用、存储 器、操作系统(OS)和安全软件)安装在他/她自己的终端中以使用它们，但 可在想要的时间点在通过虚拟化技术产生的虚拟空间中从服务中选择和使用 想要的服务。

指定的服务用户的用户终端经由包括互联网和移动电信网络的数据通信 网络被连接到云计算服务器14000。可从云计算服务器14000向用户终端提 供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联网 的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电话 14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。

云计算服务器14000可组合分布在云网络中的多个计算资源14200，并 向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务， 并可包括从用户终端上传的数据。如上所述，云计算服务器14000可通过根 据虚拟化技术组合分布在不同区域中的视频数据库来向用户终端提供想要的 服务。

将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。 用户信息可包括用户的登陆信息、地址、姓名和个人信用信息。用户信息还 可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在 被再现的视频的列表、之前正在被再现的视频的暂停点等。

可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例 如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算 机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话 14500接收到用于再现此视频服务的请求时，云计算服务器14000基于用户 DB 14100搜索并再现此视频服务。当智能电话14500从云计算服务器14000 接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上 参照图24描述的移动电话12500的操作类似。

云计算服务器14000可参考存储在用户DB 14100中的想要的视频服务 的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用 户DB 14100中的视频的请求。如果此视频被再现过，则由云计算服务器14000 执行的对此视频进行流传输的方法可根据来自用户终端的请求(即，根据是 将从视频的起点还是从视频的暂停点开始再现视频)而不同。例如，如果用 户终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的 第一帧开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视 频的流数据发送到用户终端。

在此情况下，用户终端可包括以上参照图1至图19描述的本公开的视频 解码设备。作为另一示例，用户终端可包括以上参照图1至图19描述的本公 开的视频编码设备。可选择地，用户终端可包括以上参照图1至图19描述的 本公开的视频解码设备和视频编码设备两者。

以上参照图20至图26描述了以上参照图1至图19描述的根据各种实施 例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应 用。然而，以上参照图1至图19描述的根据各种实施例的将视频编码方法和 视频解码方法存储在存储介质中的方法或者将视频编码设备和视频解码设备 实现在装置中的方法不限于以上参照图20至图26描述的实施例。

本领域的普通技术人员将理解，在不脱离由权利要求限定的本公开的精 神和范围的情况下，可作出形式和细节上的各种改变。实施例应仅被看作描 述性意义，而不是限制的目的。因此，本发明的范围不由本公开的详细描述 来限定，而由权利要求来限定，在所述范围内的所有不同将被解释为包括在 本公开中。

Claims (16)

1.一种深度图像解码方法， 包括：

从比特流获得指示是否执行深度帧内模式之中的帧内轮廓模式的第一标记；

基于第一标记来确定是否对深度图像的预测单元执行帧内轮廓模式下的预测；

在确定对深度图像的预测单元执行帧内轮廓模式下的预测时，参考包括在与深度图像相同的视点和相同的访问单元中的彩色图像的块，对深度图像的预测单元执行帧内轮廓模式下的预测；以及

基于执行预测的结果来对深度图像进行解码。

2.如权利要求1所述的深度图像解码方法，其中，第一标记包括在序列参数集扩展中，其中，序列参数集扩展包括用于对深度图像进行解码的附加信息。

3.如权利要求1所述的深度图像解码方法，还包括：

基于从比特流获得的彩色图像的编码信息，重建彩色图像；

基于深度图像的划分信息，将深度图像的最大编码单元划分为至少一个编码单元；

确定是否对编码单元执行帧内预测；以及

将编码单元划分为用于预测解码的预测单元，

其中，确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：确定与编码单元相应的条带类型是否指示帧内条带，

其中，由条带类型所指示的帧内条带包括允许参考彩色图像对深度图像进行预测的增强帧内条带。

4.如权利要求1所述的深度图像解码方法，其中，确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

从比特流获得第三标记，其中，第三标记包括用于确定是否获得第二标记的信息，第二标记包括关于深度帧内模式的使用的信息；

如果第三标记的值为0，则确定执行深度帧内模式下的预测。

5.如权利要求4所述的深度图像解码方法，其中，对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

如果第三标记的值为0，则从比特流获得第二标记；

确定第二标记是否包括关于帧内轮廓模式的信息；

如果第二标记包括关于帧内轮廓模式的信息，则对深度图像的预测单元执行帧内轮廓模式下的预测。

6.如权利要求5所述的深度图像解码方法，其中，对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

参考包括在与深度图像相同的访问单元中的彩色图像的在与深度图像的预测单元的位置相应的位置所提供的块；

基于参考步骤的结果来对深度图像的预测单元执行帧内轮廓模式下的预测。

7.一种深度图像编码方法，包括：

产生指示是否执行深度帧内模式之中的帧内轮廓模式的第一标记；

基于第一标记来确定是否对深度图像的预测单元执行帧内轮廓模式下的预测；

在确定对深度图像的预测单元执行帧内轮廓模式下的预测时，参考包括在与深度图像相同的视点和相同的访问单元中的彩色图像的块，对深度图像的预测单元执行帧内轮廓模式下的预测；以及

基于执行预测的结果来对深度图像进行编码。

8.如权利要求7所述的深度图像编码方法，其中，第一标记包括在序列参数集扩展中，其中，序列参数集扩展包括用于对深度图像进行解码的附加信息。

9.如权利要求7所述的深度图像编码方法，还包括：

产生比特流，其中，比特流包括通过对彩色图像进行编码而产生的编码信息；

将深度图像的最大编码单元划分为至少一个编码单元；

确定是否对编码单元执行帧内预测；以及

将编码单元划分为用于预测解码的预测单元，

其中，确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：确定与预测单元相应的条带类型是否指示帧内条带，

其中，由条带类型所指示的帧内条带包括允许参考彩色图像进行预测的增强帧内条带。

10.如权利要求7所述的深度图像编码方法，其中，确定是否对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

产生包括第三标记的比特流，其中，第三标记包括用于确定是否获得第二标记的信息，第二标记包括关于深度帧内轮廓预测模式的使用的信息；

如果第三标记的值为0，则确定执行深度帧内轮廓预测模式下的预测。

11.如权利要求10所述的深度图像编码方法，其中，对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

如果第三标记的值为0，则产生包括第二标记的比特流；

确定第二标记是否包括关于帧内轮廓模式的信息；

如果第二标记包括关于帧内轮廓模式的信息，则对深度图像的预测单元执行帧内轮廓模式下的预测。

12.如权利要求11所述的深度图像编码方法，其中，对深度图像的预测单元执行帧内轮廓模式下的预测的步骤包括：

参考包括在与深度图像相同的访问单元中的彩色图像的在与深度图像的预测单元的位置相应的位置所提供的块；

基于参考步骤的结果来对深度图像的预测单元执行帧内轮廓模式下的预测。

13.一种深度图像解码设备，包括：

深度图像预测模式确定器，用于从比特流获得指示是否执行深度帧内模式之中的帧内轮廓模式的第一标记，并基于第一标记来确定是否对深度图像的预测单元执行帧内轮廓模式下的预测；

深度图像解码器，用于在确定对深度图像的预测单元执行帧内轮廓模式下的预测时，参考包括在与深度图像相同的视点和相同的访问单元中的彩色图像的块，对深度图像执行帧内轮廓模式下的预测，并基于执行预测的结果来对深度图像进行解码。

14.一种深度图像编码设备，包括：

深度图像预测模式确定器，用于产生指示是否执行深度帧内模式之中的帧内轮廓模式的第一标记，并基于第一标记来确定是否对预测单元执行帧内轮廓模式下的预测；

深度图像编码器，用于在确定对所述预测单元执行帧内轮廓模式下的预测时，参考包括在与深度图像相同的视点和相同的访问单元中的彩色图像的块，对所述预测单元执行帧内轮廓模式下的预测，并基于执行预测的结果来对深度图像进行编码。

15.一种记录有如权利要求1至6中的任意一项权利要求所述的深度图像解码方法的非暂时性计算机可读记录介质。

16.一种记录有如权利要求7至12中的任意一项权利要求所述的深度图像编码方法的非暂时性计算机可读记录介质。