CN103283228B - 图像处理装置和方法 - Google Patents

Abstract

本技术提供有：设置单元，用于在以具有层级结构的编码单位对图像数据进行编码时，以小于高级别单位的低级别单位来设置高级别单位的图像数据的边界位置；编码单元，用于根据由设置单元设置的边界位置来对图像数据进行编码以生成编码数据；添加单元，用于将与高级别单位的图像数据有关信息添加在中间级别单位的编码数据前面，中间级别单位小于高级别单位，大于低级别单位，并且包括由设置单元设置的边界。本技术例如可以应用于图像处理器。

Description

图像处理装置和方法

技术领域

本发明涉及一种图像处理装置和方法，并且具体涉及下述图像处理装置和方法：所述图像处理装置和方法针对具有层级结构的数据，甚至在低层级中的数据的控制准确度退化时，也能够抑制上层级中的数据的控制准确度的退化，同时抑制数据便利性的退化。

背景技术

近年来，处理数字图像信息的装置的目的是在这样的情况下高效地发送并累积信息，并基于MPEG（运动图片专家组）等的格式，用于利用对图像信息唯一的冗余、使用正交变换（诸如离散余弦变换和运动补偿）压缩信息，上述装置已经广泛普及到诸如广播站的信息链分发和由通常家庭对信息的接收的两侧。

具体地，MPEG2（ISO（国际标准化组织）/IEC（国际电子技术委员会）13818-2）被定义为通用图像编码格式，并且当前在专业和消费者应用的宽广范围中广泛用作包含性地应用于隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清晰度图像的标准。通过使用MPEG2压缩格式，4至8Mbps的代码量（比特率）被分配到例如像素为720×480的标准分辨率的隔行扫描图像，18至22Mbps的代码量被分配到像素为1920×1088的高分辨率的隔行扫描图像，从而可以实现高压缩率和满意的图像质量。

MPEG2的主要目的是以适合于广播的高图像质量进行编码，但是不适合于比MPEG1的代码量低的代码量（比特率），换言之，其无法满足高压缩率的编码格式。随着提供了移动终端，认为对这样的编码格式的需要增加了，并且响应于该需要，MPEG4编码格式已经被标准化。关于图像编码格式，在1998年12月该标准被批准为编号为ISO/IEC 14496-2的国际标准。

此外，近年来，为了视频会议的图像编码的最初目的，已经进行了H.26L(ITU-T(国际电信联盟电信标准化部)Q6/16 VCEG(视频编码专家组))的标准化。已知H.26L用于实现更高的编码效率，而它由于编码和解码，相比于诸如MPEG2或MPEG4的现有编码格式需要更大量的算术运算。此外，目前，作为MPEG4的作用的一部分，用于通过将H.26L不支持的功能合并到作为基础的H.26L实现甚至更高的编码效率的标准化已经被实施为增强的压缩视频编码的联合模型。

在标准化的进程中，在2003年3月以H.264和MPEG-4第10部分（高级视频编码，下文中被称作AVC）的名字在国际上实现了标准化。

此外，作为格式扩展，包括在MPEG-2中定义的诸如RGB、4:2:2或4:4:4采样格式、8×8DCT(离散余弦变换)中商用的编码工具的FRExt(保真度范围扩展)已经在2005年2月被标准化，因此，标准化开始用作在宽范围应用（诸如蓝光盘）中使用的手段，作为可以使用AVC满意地表现视频中包括的均匀的胶片噪声（even film noise）的编码格式。

然而，近年来，对于以更高压缩率进行编码的需要（诸如期望压缩具有大约4000×2000像素的图像，这比高视觉图像大四倍，或期望在诸如因特网的有限传输能力的环境中分发高视觉图像）骤然上升。由于此原因，在ITU-T下的VCEG（视频编码专家组）继续讨论编码效率的提高。

同时，目前，为了进一步提高比AVC更高的编码效率的目的，作为通过ISO和IEC建立的标准组的ITU-T和JCTVC（联合协作团队-视频编码）促进了被称作HEVC（高效视频编码）的编码格式的标准化（例如，参考非专利文献1）。

在HEVC格式中，编码单位（CU（编码单位）被定义为处理单位，其与AVC中的宏块相同。不同于AVC的宏块，CU不具有固定到16×16像素的尺寸，但是在各个序列中的图像压缩信息中指定尺寸。

CU由作为最大单位的LCU（最大编码单位）和作为最小单位的SCU（最小编码单位）分层级地构成。换言之，可以考虑，广义上，LCU对应于AVC的宏块，处于比LCU更低的层级的CU（小于LCU的CU）对应于AVC的子宏块。

同时，为了缩短以AVC编码的处理时间（换言之，为了通过提高处理速度来减小处理时间），例如，存在将编码处理分割成并行执行处理的多个管路处理（下文中，被称作并行化）的方法。例如，为了对一个图片的编码处理并行化，该一个图片可以被分割成多个片。在AVC中，如上将图片分割成片可以以宏块为单位执行。换言之，一个片被设计成包括一个或多个宏块。由于此原因，在语法上，形成了上级规格完全包括下级规格的所谓的洋葱圈结构。

因此，由于代码流具有VCL（视频编码层）-NAL（网络提取层）的层级结构，所以可以实现随机存取或耐错性的改进。

同时，已经提出了下述其他方法：该方法仅针对帧内预测的处理对片（AVC中的所谓的片等）进行无损编码、或对无损编码之外的运动向量进行编码单独地设置熵片（例如，参考非专利文献2）。

在这种情况下，不允许对熵片执行诸如CABAC或CAVLC的无损编码处理，但是可以对熵片执行诸如帧内预测或无损编码之外的运动向量编码的这种处理。

引用列表

非专利文献

NPL1:"Test Model under Consideration",JCTVC-B205,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 andISO/IEC JTC1/SC29/WG112nd Meeting,Geneva,CH,21-28,July2010

NPL2:"New Results using Entropy Slices for Parallel Decoding"byJie Zhao,Andrew Segall,VCEG-AI32,ITU-TelecommunicationsStandardization SectorSTUDY GROUP 16 Question 6Video CodingExperts Group(VCEG)35^th Meeting,Berlin,Germany,16-18,July,2008

发明内容

技术问题

然而，随着单个图片的清晰度提高，如上所述，LCU的尺寸要求开始增加。为此，如果以与宏块相同的方式，片分割可以以LCU为单位来控制以在语法上维持洋葱圈结构，则担心片分割的控制准确度将会随着LCU的尺寸增加而降低。由于编码处理的并行化的准确度随着片分割的控制准确度降低而降低，所以担心难以实现具有更高准确度的并行化和高处理速度的提高。

此外，如果例如在语法上洋葱圈结构坍塌，则担心编码数据的便利性退化，该方式使得难以实现编码数据的随机存取，或降低耐错性。

注意，甚至在非专利文献2中描述的熵片的情况下，也会有同样的担心。

当关于具有层级结构的总体数据，上层级的数据包括下层级的数据时，担心上层级的数据的控制准确度会由于下层级的数据的控制准确度降低而被降低到超出容许范围的程度，这不限于图像编码。此外，如果层级结构坍塌，则担心数据的便利性显著退化。

本公开内容考虑到上述情况，并且目的在于：针对具有层级结构的数据，甚至在下层级的数据的控制准确度降低时，也抑制上层级的数据的控制准确度退化，同时抑制数据的便利性退化。具体地，本公开内容目的在于甚至在LCU的尺寸在图像编码时被设置为大，也抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

问题的解决方案

根据本公开内容的一个方面，提供了一种图像处理装置，该装置包括：设置单元，当以具有层级结构的编码单位对图像数据进行编码时，设置单元按比上层级单位低的下层级单位设置上层级单位的图像数据的边界位置；编码单元，所述编码单元通过根据由设置单元设置的边界位置对图像数据进行编码，来生成编码数据；添加单元，所述添加单元将关于上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括由设置单元设置的边界，比上层级单位低，且比下层级单位高。

上层级单位可以是片，中间层级单位可以是LCU（最大编码单位），并且下层级单位可以是CU（编码单位）。

关于上层级单位的图像数据的信息可以是编码数据的片头。

还可以包括计算单元和生成单元，计算单元计算指示由设置单元设置的边界位置的片边界地址，生成单元生成包括由计算单元计算的片边界地址的片头，其中，添加单元可以将由生成单元生成的片头添加在包括边界的LCU前面。

当由设置单元在一个LCU中设置多个片边界时，添加单元可以将其边界用作头的片的片头添加在LCU前面。

片边界地址可以是以LCU内的SCU（最小编码单位）为单位按照数据处理顺序指示边界位置的信息。

片边界地址可以是以LCU内的在水平方向和竖直方向上的SCU（最小编码单位）为单位用坐标指示边界位置的信息。

片边界地址可以是以LCU内的CU为单位按照数据处理顺序指示边界位置的信息。

上层级单位可以是熵片，中间层级单位可以是LCU（最大编码单位）、并且下层级单位可以是CU（编码单位）。

根据本公开内容的另一方面，提供了一种图像处理装置的图像处理方法，该方法包括：通过设置单元，当以具有层级结构的编码单位对图像数据进行编码时，按比上层级单位低的下层级单位设置上层级单位的图像数据的边界位置；通过编码单元，经由根据所设置的边界位置对图像数据进行编码，来生成编码数据；通过添加单元，将关于上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括所设置的边界，比上层级单位低，且比下层级单位高。

根据本公开内容的又一方面，提供了一种图像处理装置，该装置包括：提取单元，所述提取单元从以具有层级结构的编码单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，所述中间层级单位包括按比上层级单位低的下层级单位设置的、上层级单位的图像数据的边界，比上层级单位低，并且比下层级单位高；决定单元，所述决定单元基于由提取单元提取的关于上层级单位的图像数据的信息，来决定上层级单位的图像数据的边界位置；以及解码单元，所述解码单元根据由决定单元决定的上层级单位的图像数据的边界位置，来对编码数据进行解码。

上层级单位可以是片，中间层级单位可以是LCU（最大编码单位），并且下层级单位可以是CU（编码单位）。

关于上层级单位的图像数据的信息可以是编码数据的片头。

还可以包括地址解码单元，所述地址解码单元对片边界地址的编码数据进行解码，所述片边界地址指示包括在提取单元提取的片头中的片的边界位置，其中，决定单元基于从地址解码单元的解码获得的片边界地址来决定用作片的边界的CU。

片边界地址可以是以LCU内的SCU（最小编码单位）为单位按照数据处理顺序指示边界位置的信息。

片边界地址可以是以LCU内的在水平方向和竖直方向上的SCU（最小编码单位）为单位用坐标指示边界位置的信息。

片边界地址可以是以LCU内的CU为单位按照数据处理顺序指示边界位置的信息。

当一个LCU包括多个片边界并且多个片头被添加在LCU前面时，提取单元提取添加在LCU前面的每个片头，并且决定单元可以基于每个片头来决定每个片的边界位置。

上层级单位可以是熵片，中间层级单位可以是LCU（最大编码单位）、并且下层级单位可以是CU（编码单位）。

根据本公开内容的又一方面，提供了一种图像处理装置的图像处理方法，包括：通过提取单元，从以具有层级结构的编码单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，所述中间层级单位包括按比上层级单位低的下层级单位设置的、上层级单位的图像数据的边界，比上层级单位低，并且比下层级单位高；通过决定单元，基于所提取的关于上层级单位的图像数据的信息，来决定上层级单位的图像数据的边界位置；以及通过解码单元，根据所决定的上层级单位的图像数据的边界位置，来对编码数据进行解码。

根据本公开内容的方面，当以具有层级结构的编码单位对图像数据进行编码时，按比上层级单位低的下层级单位设置上层级单位的图像数据的边界位置；编码单元经由根据设置单元设置的边界位置对图像数据进行编码，来生成编码数据，将关于上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，中间层级单位包括所设置的边界，比上层级单位低，且比下层级单位高。

根据本公开内容的另一方面，从对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，所述中间层级单位包括按比上层级单位低的下层级单位设置的、上层级单位的图像数据的边界，中间层级单位比上层级单位低，且比下层级单位高，基于提取的关于上层级单位的图像数据的信息，来决定上层级单位的图像数据的边界位置，根据决定的上层级单位的图像数据的边界位置，来对编码数据进行解码。

发明的有利效果

根据本公开内容，可以对图像进行处理。具体地，在具有层级结构的数据中，甚至在低层级中的数据的控制准确度降低时，也能够抑制上层级中的数据的控制准确度的退化，同时抑制数据的便利性的退化。例如，甚至在LCU的尺寸在图像编码时被设置为大时，也能够抑制片分割的控制准确度的退化，同时抑制编码数据的便利性的退化。

附图说明

[图1]图1是示出了基于AVC编码格式输出图像压缩信息的图像编码装置的框图。

[图2]图2是示出了基于AVC编码格式输出图像压缩信息的图像解码装置的框图。

[图3]图3是示出了以AVC编码格式定义的片分割的示例的图。

[图4]图4是示出了以AVC编码格式定义的片类型的示例的图。

[图5]图5是描述了编码单元的配置示例的图。

[图6]图6是描述了片头和片分割的示例的图。

[图7]图7是示出了图像编码装置的主要配置示例的框图。

[图8]图8是示出了图7的片头编码单元和无损编码单元的主要配置示例的框图。

[图9]图9是描述了片头和片分割的另一示例的图。

[图10]图10是描述了用于指定片边界地址的方法的示例的图。

[图11]图11是描述了用于指定片边界地址的方法的另一示例的图。

[图12]图12是描述了用于指定片边界地址的方法的又一示例的图。

[图13]图13是描述了片头和片分割的又一示例的图。

[图14]图14是描述了没有片分割的示例的图。

[图15]图15是描述了编码处理的流程的示例的流程图。

[图16]图16是描述了无损编码处理的流程的示例的流程图。

[图17]图17是示出了图像解码装置的主要配置示例的框图。

[图18]图18是示出了片头解码单元和无损解码单元的主要配置示例的框图。

[图19]图19是描述了解码处理的流程的示例的流程图。

[图20]图20是描述了无损解码处理的流程的示例的流程图。

[图21]图21是示出了个人计算机的主要配置示例的框图。

[图22]图22是示出了电视接收机的主要配置示例的框图。

[图23]图23是示出了移动电话的主要配置示例的框图。

[图24]图24是示出了硬盘记录器的主要配置示例的框图。

[图25]图25是示出了摄像机的主要配置示例的框图。

具体实施方式

下文中，将描述用于实施本技术的优先实施例（下文中，被称作实施例）。注意，将按以下顺序提供描述。

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（个人计算机）

4.第四实施例（电视机）

5.第五实施例（移动电话）

6.第六实施例（硬盘记录器）

7.第七实施例（摄像机）

<1.第一实施例>

[AVC编码格式的图像编码装置]

图1示出了图像编码装置的实施例的配置，该图像编码装置以H.264和MPEG（运动图像专家组）4第10部分（AVC（高级视频编码））的编码格式对图像进行编码。

图1所示的图像编码装置100是以基于AVC标准的编码格式对图像进行编码并输出的装置。如图1所示，图像编码装置100具有A/D转换器101、屏幕重排缓冲器102、算术运算单元103、正交变换单元104、量化单元105、无损编码单元106、以及累积缓冲器107。此外，图像编码装置100具有逆量化单元108、逆正交变换单元109、算术运算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116、以及率控制单元117。

A/D转换器101对输入图像数据执行A/D转换，将结果输出到屏幕重排缓冲器102，以便被存储。屏幕重排缓冲器102根据GOP（图像组）结构将所存储的具有显示顺序的帧的图像重排成用于编码的帧的顺序。屏幕重排缓冲器102将帧顺序被重排的图像提供给算术运算单元103。此外，屏幕重排缓冲器102还将帧顺序被重排的图像提供给帧内预测单元114和运动预测/补偿单元115。

算术运算单元103从自屏幕重排缓冲器102读出的图像中减去经由选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像，并且然后将其差信息输出到正交变换单元104。

在对其执行帧内编码的图像的情况下，例如，算术运算单元103从自屏幕重排缓冲器102读出的图像中减去从帧内预测单元114提供的预测图像。此外，在对其执行帧间编码的图像的情况下，例如，算术运算单元103从自屏幕重排缓冲器102读出的图像中减去运动预测/补偿单元115提供的预测图像。

正交变换单元104对从算术运算单元103提供的差信息执行诸如离散余弦变换或卡洛（Karhunen-Loeve）变换的正交变换，并将变换系数提供给量化单元105。

量化单元105对由正交变换单元104输出的变换系数进行量化。量化单元105基于关于从率控制单元117提供的代码量的目标值的信息来设置量化参数，并执行量化。量化单元105将经量化的变换系数提供给无损编码单元106。

无损编码单元106对经量化的变换系数执行无损编码，诸如可变长度编码或算术编码。由于在率控制单元117的控制下对系数数据进行量化，所以代码量是由率控制单元117设置的目标值（或接近目标值）。

无损编码单元106从帧内预测单元114获取指示帧内预测的信息，并且从运动预测/补偿单元115获取指示帧内预测模式的信息、运动向量信息等。注意，在下文中，指示帧内预测（屏幕内预测）的信息也被称作帧内预测模式信息。此外，在下文中，表示指示帧间预测（屏幕间预测）的信息模式的信息也被称作帧间预测模式信息。

无损编码单元106对经量化的变换系数进行编码，并且将各种信息（包括滤波器系数、帧内预测模式信息、帧间预测模式信息、量化参数）设置成编码数据的头信息的一部分（复用）。无损编码单元106将根据编码获得的编码数据提供给累积缓冲器107，以便被累积。

例如，无损编码单元106执行无损编码处理，诸如可变长度编码或算术编码。作为可变长度编码，例举了以H.264/AVC格式定义的CAVLC（上下文自适应的可变长度编码）等。作为算术编码，例举了CABAC（上下文自适应的二进制算术编码）等。

累积缓冲器107临时存储从无损编码单元106提供的编码数据，并且在预定定时处将该数据输出到例如在附图的后续部分未示出的记录装置、发送路径等，作为以H.264/AVC格式被编码的编码图像。

此外，在量化单元105中量化的变换系数还被提供给逆量化单元108。逆量化单元108以对应于量化单元105的量化的方法对经量化的变换系数进行逆量化。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109以对应于正交变换单元104进行的正交变换处理的方法对所提供的变换系数执行逆正交变换。逆正交变换的输出（恢复的差信息）被提供给算术运算单元110。

算术运算单元110将经由选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像相加到从逆正交变换单元109提供的逆正交变换的结果（即，恢复的差信息），并获得被部分解码的图像（解码图像）。

当差信息对应于对其执行帧内编码的图像时，例如，算术运算单元110将从帧内预测单元114提供的预测图像相加到差信息。此外，当差信息对应于对其执行帧间编码的图像时，例如，算术运算单元110将从运动预测/补偿单元115提供的预测图像相加到差信息。

相加结果被提供给去块滤波器111或帧存储器112。

去块滤波器111通过适当地执行去块滤波处理来去除解码图像的块失真。去块滤波器111将滤波处理的结果提供给帧存储器112。注意，从算术运算单元110输出的解码图像可以被提供给帧存储器112，而不经过去块滤波器111。换言之，可以省略去块滤波器111进行的去块滤波处理。

帧存储器112存储所提供的解码图像，并在预定定时处经由选择单元113将所存储的解码图像作为参考图像，输出到帧内预测单元114或运动预测/补偿单元115。

当图像是对其执行帧内编码的图像时，例如，帧存储器112经由选择单元113将参考图像提供给帧内预测单元114。此外，当图像是对其执行帧间编码的图像时，例如，帧存储器112经由选择单元113将参考图像提供给运动预测/补偿单元115。

当从帧存储器112提供的参考图像是对其执行帧内编码的图像时，选择单元113将参考图像提供给帧内预测单元114。此外，当从帧存储器112提供的参考图像是对其执行帧间编码的图像时，选择单元113将参考图像提供给运动预测/补偿单元115。

帧内预测单元114使用经由选择单元113从帧存储器112提供的要处理的图片中的像素值，来执行用于生成预测图像的帧内预测（屏幕内预测）。帧内预测单元114以预先准备的多种模式（帧内预测模式）执行帧内预测。

H.264图像信息编码格式可以针对亮度信号定义帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式，并且可以独立于亮度信号而针对色差信号来定义每个宏块的预测模式。针对帧内4×4预测模式下的各个4×4亮度块以及针对帧内8×8预测模式下的各个8×8亮度块，来定义一个帧内预测模式。分别针对帧内16×16预测模式下的一个宏块和色差信号定义一个预测模式。

帧内预测单元114在所有候选帧内预测模式下生成预测图像，使用从屏幕重排缓冲器102提供的输入图像来评估每个预测图像的成本函数值，并且然后选择最优模式。当选择最优帧内预测模式时，帧内预测单元114经由选择单元116将在最优模式下生成的预测图像提供给算术运算单元103和110。

此外，如上所述，帧内预测单元114适当地将诸如指示采用的帧内预测模式的帧内预测模式信息的信息提供给无损编码单元106。

运动预测/补偿单元115使用从屏幕重排缓冲器102提供的输入图像和经由选择单元113从帧存储器112提供的参考图像对执行帧间编码的图像执行运动预测（帧间预测），根据检测到的运动向量执行运动补偿处理，从而生成预测图像（帧间预测图像信息）。运动预测/补偿单元115在预先准备的多种模式（帧间预测模式）下执行这样的帧间预测。

运动预测/补偿单元115在所有候选帧间预测模式下生成预测图像，评估每个预测图像的成本函数值，并且然后选择最优模式。运动预测/补偿单元115经由选择单元116将生成的预测图像提供给算术运算单元103和110。

此外，运动预测/补偿单元115将指示所采用的帧间预测模式的帧间预测模式信息和指示计算的运动向量的运动向量信息提供给无损编码单元106。

选择单元116在执行帧内编码的图像的情况下，将帧内预测单元114的输出提供给算术运算单元103和110，并且在执行帧间编码的图像的情况下，将运动预测/补偿单元115的输出提供给算术运算单元103和110。

率控制单元117基于在累积缓冲器107中累积的压缩图像来控制量化单元105的量化操作的率，以使得不会溢出或下溢。

[AVC编码格式的图像解码装置]

图2是示出了实现使用诸如离散余弦变换或卡洛变换的正交变换的图像压缩和运动补偿的图像解码装置的主要配置示例的框图。图2所示的图像解码装置200是与图1的图像编码装置100对应的解码装置。

由图像编码装置100编码的编码数据经由任意路径（例如发送路径、记录介质等）被提供给对应于图像编码装置100的图像解码装置200，并且然后被解码。

如图2所示，图像解码装置200具有累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术运算单元205、去块滤波器206、屏幕重排缓冲器207、以及D/A转换器208。此外，图像解码装置200具有帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212、以及选择单元213。

累积缓冲器201对发送的编码数据进行累积。该编码数据被图像编码装置100编码。无损解码单元202在预定定时处以对应于图1的无损编码单元106的编码格式的格式对从累积缓冲器201读出的编码数据进行解码。

此外，当相应帧被帧内编码时，编码数据的头部分存储帧内预测模式信息。无损解码单元202还对帧内预测模式信息进行解码，并且将该信息提供给帧内预测单元211。另一方面，当相应帧被帧间编码时，编码数据的头部分存储运动向量信息。无损解码单元202还对运动向量信息进行解码，并且将该信息提供给运动预测/补偿单元212。

逆量化单元203以对应于图1的量化单元105的量化方案的方案对根据无损解码单元202的解码获得的系数数据（量化系数）进行逆量化。换言之，逆量化单元203以与图1的逆量化单元108相同的方法来执行对量化系数的逆量化。

逆量化单元203将经逆量化的系数数据（即，正交变换系数）提供给逆正交变换单元204。逆正交变换单元204以对应于图1的正交变换单元104的正交变换方案的方案（与图1的逆正交变换单元109的方案相同的方案）来对正交变换系数执行逆正交变换，并获取对应于在图像编码装置100中未被正交变换的残余数据的解码残余数据。例如，执行四元逆正交变换。

根据逆正交变换获得的解码残余数据被提供给算术运算单元205。此外，经由选择单元213从帧内预测单元211或运动预测/补偿单元212向算术运算单元205提供预测图像。

算术运算单元205将解码残余数据和预测图像相加到一起，并且获得对应于通过图像编码装置100的算术运算单元103未从其减去预测图像的图像数据的解码图像数据。算术运算单元205将解码图像数据提供给去块滤波器206。

去块滤波器206去除所提供的解码图像的块失真，并且然后将该图像提供给屏幕重排缓冲器207。

屏幕重排缓冲器207对图像执行重排。换言之，由图1的屏幕重排缓冲器102按照编码顺序重排的帧的顺序被重排成原始显示顺序。D/A转换器208对从屏幕重排缓冲器207提供的图像执行D/A转换，将该图像输出到附图中未示出的显示器，以使得图像被显示。

去块滤波器206的输出还被提供给帧存储器209。

帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213分别对应于图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115和选择单元116。

选择单元210从帧存储器209读出已经进行帧间处理的图像和要参考的图像，并且将图像提供给运动预测/补偿单元212。此外，选择单元210从帧存储器209读出要在帧内预测中使用的图像，并且将该图像提供给帧内预测单元211。

无损解码单元202适当地将指示通过对头信息进行解码而获得的帧内预测模式的信息等提供给帧内预测单元211。帧内预测单元211基于该信息根据从帧存储器209获取的参考图像来生成预测图像，并将所生成的预测图像提供给选择单元213。

运动预测/补偿单元212从无损解码单元202获取通过对头信息进行解码而获得的信息（预测模式信息、运动向量信息、参考帧信息、标志和各种参数等）。

运动预测/补偿单元212基于从无损解码单元202提供的这种信息根据从帧存储器209获取的参考图像来生成预测图像，并将所生成的预测图像提供给选择单元213。

选择单元213选择由运动预测/补偿单元212或帧内预测单元211生成的预测图像，并将该图像提供给算术运算单元205。

[AVC的片]

在诸如MPEG2或AVC的图像编码格式中，一个图片可以被分割成多个片，并且可以并行处理每个片。

在MPEG2的情况下，片的最大尺寸是一个宏块行，并且构成图片B的片应当是图3中的A所示出的B个片。

另一方面，在AVC的情况下，片可以大于一个宏块行，并且片的边界可以不在宏块行的右端（屏幕的右端），并且单个图片可以由如图3的B所示出的不同类型的片来构成。

在AVC的情况下，定义了具有例如在图4中示出的类型的片。

注意，在AVC的情况下，可以对片边界执行去块滤波处理。然而，对片边界无法执行使用相邻信息的处理，诸如帧内预测、CABAC、CAVLC和运动向量预测。

换言之，由于可以彼此独立地执行每个片的编码处理，一个图片可以被分割成多个片，并且可以并行地对每个片进行编码。归根结底，利用这样的片分割，可以实现编码处理时间的减少（加快编码处理）。

[成本函数]

同时，选择适合的预测模式对于以AVC编码格式获得甚至更高的编码效率是重要的。

作为这种选择方案的示例，可以例举在http://iphome.hhi.de/suehring/tml/index.htm中公开的被称作JM（联合模型）的H.264/MPEG-4AVC的参考软件中加载的方法。

在JM中，可以选择下面要描述的高复杂度模式和低复杂度模式的两种模式确定方法。在这种方法中，计算每个预测模式的成本函数值，并且使计算值作为最小值的预测模式被选择为相应块和宏块的最优模式。

在下面的公式（1）所示出的是高复杂度模式下的成本函数。

Cost(Mode∈Ω)=D+λ*R…(1)

其中，Ω是对块和宏块进行编码的候选模式的全集，D是在对应的预测模式下执行编码时的解码图像与输入图像之间的差分能量。λ是作为量化参数的函数给出的拉格朗日待定乘数。R是在对应的模式Mode下执行编码时包括正交变换系数的总代码量。

归根结底，为了计算用于在高复杂度模式下进行编码的参数D和R，需要一次在所有候选模式（Mode）下执行临时编码处理，这需要更大量的算术运算。

在下面的公式（2）中示出的是在低复杂度模式下的成本函数。

Cost(Mode∈Ω)=D+QP2Quant(QP)*HeaderBit…(2)

其中，不同于高复杂度模式的情况，D是预测图像与输入图像的差分能量。QP2Quant(QP)作为量化参数QP的函数而给出，并且HeaderBit是属于诸如运动向量或模式的头的信息的代码量，这不包括正交变换系数。

换言之，在低复杂度模式下，需要在每个候选模式（Mode）下执行预测处理，但是不需要甚至执行编码处理，因为不需要解码图像。由于此原因，可以实现比高复杂度模式更小量的算术运算。

[编码单位]

下文中，首先将描述在HEVC编码格式中定义的编码单位（CodingUnit）。

编码单位（CU）还被称作编码树块（CTB），并且是起到与AVC中的宏块相同作用的图片单位的图像的局部区域。然而，后者具有16×16像素的固定尺寸，而前者不具有固定尺寸，并具有基于每个序列中的图像压缩信息的指定尺寸。

具体地，具有最大尺寸的CU被称作LCU（最大编码单位），并且具有最小尺寸的CU被称作SCU（最小编码单位）。例如，在包括在图像压缩信息中的序列参数集（SPS）中，指定单元的区域的尺寸，但是它们是方形的，并且限于通过二的幂数表示的尺寸。

图5示出了在HEVC中定义的编码单位（Coding Unit）的示例。在图5的示例中，LCU的尺寸是128，并且最大层级深度是5。当split_flag的值是“1”时，具有2N×2N的尺寸的CU被分割成具有更低一级的层级的具有N×N的尺寸的CU。

此外，CU被分割成预测单位（Prediction Unit（PU）），其是用作帧内预测或帧间预测的处理单位的区域（以图片为单位的图像的部分区域）；或CU被分割成变换单位（Transform Unit（TU）），其是用作正交变换的处理单位的区域（以图片为单位的图像的部分区域）。当前在HEVC中，除了4×4和8×8之外，还可以使用16×16和32×32正交变换。

[编码处理的并行化]

当如上面那样以编码单位（CU）为单位执行处理时，需要将片头部布置在LCU之间，以便在语法上形成所谓的洋葱圈结构，其中高规格完全包括低规格。因此，已经建议将LCU设置为片分割的控制单位。

然而，当一个图片的分辨率提高时，如上所述，担心LCU的尺寸也增加并且控制片分割的准确度退化。归根结底，担心会仅以更大的单位定义片的分割位置。

当例如基于数据量执行片分割以使得每个片的数据量基本相等时，如果片分割的单位增加，每个片的数据量的调节准确度退化，因此，担心难以调节片之间的数据量。

因此，在本实施例中，控制片分割的单位被设置成小于LCU的尺寸的CU。通过这样做，处理单位变得更小，由此可以抑制通过图像的分辨率的增加等而导致的片分割的控制准确度的降低。

然而，如果在LCU内的CU之间执行片分割，以使得片边界位于LCU中且片头位于LCU中，则LCU未包括在片中，因此语法的洋葱圈结构坍塌。

例如图6的A中示出的，假设在由7个CU（CU0至CU6）构成的LCU中的CU3中分割片。在这种情况下，CU0至CU2被包括在如虚线箭头指示的“片1”中，并且CU3至CU6被包括在如由实线箭头指示的“片2”中。

因此，如图6的B中示出的，片2的头（SliceHeader2）被设置在片1与片2之间，换言之，在CU2与CU3之间。如果代码流被设置为具有该结构，作为NAL的片头被夹在作为VCL的CU数据之间，由此担心无法在语法上建立洋葱圈结构。

如果洋葱圈结构以该方式在语法上坍塌，则担心在洋葱圈结构的前提下的控制是难的。例如，担心难以实现代码流的随机访问。此外，担心难以补偿代码流发送中的包丢失等，并且由此降低了代码流的耐错性。以这种方式，担心代码流的便利性退化。

当数据通常具有如上的上层级包括下层级的层级结构时，如果下层级的数据的控制准确度降低，则上层级的数据的控制准确度也降低，这不限于图像编码。担心在数据具有更高层级时这样的影响会变得很深，并且控制准确度被进一步降低至超出容许范围的程度。

因此，在本实施例中，通过在具有层级结构的数据中维持上层级包括下层级的数据管理结构的包含关系的情况下、提高上层级的数据的控制准确度，可以抑制上层级中的数据的控制准确度的降低，同时抑制数据的便利性的退化，即使在下层级的数据的控制准确度降低时，也是如此。具体地，在图像编码中，通过在语法上维持洋葱圈结构同时以CU为单位设置片分割的控制准确度，可以抑制片分割的控制准确度的降低，同时抑制编码数据的便利性退化。

[熵片]

同时，如上所述需要将一个图片分割成多个片来执行AVC中的并行化。然而，由于在编码处理中不能使用片之间的相邻信息，所以担心编码效率降低。

因此，上面描述的非专利文献2已经提出与通常片分开地设置熵片。熵片是用于编码处理的片。换言之，不应对熵片执行诸如CABAC、CAVLC等的无损编码处理，但是可以对熵片执行除了无损编码之外的、诸如帧内预测或编码运动向量的处理。

相比于将一个图片分割成多个片，以这种方式设置熵片并在编码处理中使用熵片可以进一步抑制编码效率的降低。

下面描述的方法也可以应用于这样的熵片。

[图像编码装置]

图7是示出了图像编码装置的主要配置示例的框图。

图7所示的图像编码装置300基本上是与图1的图像编码装置100相同的装置，对图像数据进行编码。如图7所示，图像编码装置300具有A/D转换器301、屏幕重排缓冲器302、算术运算单元303、正交变换单元304、量化单元305、无损编码单元306、以及累积缓冲器307。此外，图像编码装置300具有逆量化单元308、逆正交变换单元309、算术运算单元310、环路滤波器311、帧存储器312、选择单元313、帧内预测单元314、运动预测/补偿单元315、选择单元316、以及率控制单元317。

图像编码装置300还具有片头编码单元321。

以与A/D转换器101相同的方式，A/D转换器301对输入图像数据执行A/D转换。A/D转换器301将转换后图像数据（数字数据）提供给屏幕重排缓冲器302，以便被存储。以与屏幕重排缓冲器102相同的方式，屏幕重排缓冲器302将所存储的具有显示顺序的帧的图像重排成用于根据GOP（图像组）结构进行编码的帧顺序。屏幕重排缓冲器302将帧顺序被重排的图像提供给算术运算单元303。此外，屏幕重排缓冲器302还将帧顺序被重排的图像提供给帧内预测单元314和运动预测/补偿单元315。

以与算术运算单元103相同的方式，算术运算单元303从自屏幕重排缓冲器302读出的图像中减去经由选择单元316从帧内预测单元314或运动预测/补偿单元315提供的预测图像。算术运算单元303将其差信息输出到正交变换单元304。

在对其执行帧内编码的图像的情况下，例如，算术运算单元303从自屏幕重排缓冲器302读出的图像中减去从帧内预测单元314提供的预测图像。此外，在对其执行帧间编码的图像的情况下，例如，算术运算单元303从自屏幕重排缓冲器302读出的图像中减去运动预测/补偿单元315提供的预测图像。

以与正交变换单元104相同的方式，正交变换单元304对从算术运算单元303提供的差信息执行诸如离散余弦变换或卡洛变换的正交变换。应注意，可以使用用于正交变换的任意方法。正交变换单元304将变换系数提供给量化单元305。

以与量化单元105相同的方式，量化单元305对从正交变换单元304提供的变换系数进行量化。量化单元305基于关于从率控制单元317提供的代码量的目标值的信息来设置量化参数，并执行量化。应注意，可以使用任意量化方法。量化单元305将经量化的变换系数提供给无损编码单元306。

以与无损编码单元106相同的方式，无损编码单元306对在量化单元305中量化的变换系数执行无损编码，诸如可变长度编码或算术编码。由于在率控制单元317的控制下对系数数据进行量化，所以该代码量是由率控制单元317设置的目标值（或接近目标值）。

此外，无损编码单元306从帧内预测单元314获取指示帧内预测模式的信息等，并且从运动预测/补偿单元315获取指示帧间预测模式的运动向量信息等。此外，无损编码单元306获取在环路滤波器311中使用的滤波器系数。

以与无损编码单元106相同的方式，无损编码单元306对诸如滤波器系数、指示帧内预测模式和帧间预测模式的信息和量化参数的各种信息进行编码，以成为编码数据的头信息的一部分（复用）。无损编码单元306将根据编码获得的编码数据提供给累积缓冲器307，以便被累积。

例如，以与无损编码单元106相同的方式，无损编码单元306执行无损编码处理，诸如可变长度编码或算术编码。作为可变长度编码，例举了在H.264/AVC格式中定义的CAVLC（上下文自适应的可变长度编码）等。作为算术编码，例举了CABAC（上下文自适应的二进制算术编码）等。当然，无损编码单元306可以被设置为在编码时使用除了上述方法之外的方法。

以与累积缓冲器107相同的方式，累积缓冲器307临时保存从无损编码单元306提供的编码数据。并且累积缓冲器307在预定定时处将所保存的编码数据输出到例如在附图的后续部分未示出的记录装置（记录介质）、发送路径等。

此外，在量化单元305中量化的变换系数还被提供给逆量化单元308。以与逆量化单元308相同的方式，逆量化单元308以对应于量化单元305的量化的方法对经量化的变换系数进行逆量化。对应于量化单元305的量化处理的任何方法可以用作该逆量化方法。逆量化单元308将所获得的变换系数提供给逆正交变换单元309。

以与逆正交变换单元109相同的方式，逆正交变换单元309以对应于正交变换单元304进行的正交变换处理的方法，对从逆量化单元308提供的变换系数执行逆正交变换。对应于正交变换单元304进行的正交变换处理的任何方法可以用作逆正交变换方法。逆正交变换的输出（恢复的差信息）被提供给算术运算单元310。

以与算术运算单元110相同的方式，算术运算单元310将经由选择单元316从帧内预测单元314或运动预测/补偿单元315提供的预测图像相加到从逆正交变换单元309提供的逆正交变换的结果（即，恢复的差信息），并获得被部分解码的图像（解码图像）。

当差信息对应于对其执行帧内编码的图像时，例如，算术运算单元310将从帧内预测单元314提供的预测图像相加到差信息。此外，当差信息对应于对其执行帧间编码的图像时，例如，算术运算单元310将从运动预测/补偿单元315提供的预测图像相加到差信息。

相加结果（解码图像）被提供给环路滤波器311或帧存储器312。

环路滤波器311包括去块滤波器111或自适应环路滤波器，并对从算术运算单元310提供的解码图像适当地执行滤波处理。例如，环路滤波器311通过对解码图像执行与去块滤波器111相同的去块滤波处理来去除解码图像的块失真。此外，环路滤波器311通过使用维纳滤波器（WienerFilter）对例如去块滤波处理的结果（块失真被去除的解码图像）执行环路滤波处理，来增强图像质量。

注意，环路滤波器311可以被设置为对解码图像执行任意滤波处理。此外，若需要，环路滤波器311可以将在滤波处理中使用的滤波器系数提供给无损编码单元306以便被编码。

环路滤波器311将滤波处理的结果（滤波处理后的解码图像）提供给帧存储器312。应注意，如上所述，从算术运算单元310输出的解码图像可以被提供给帧存储器312，而不经过环路滤波器311。换言之，可以省略环路滤波器311进行的滤波处理。

以与帧存储器112相同的方式，帧存储器312存储所提供的解码图像，并在预定定时处经由选择单元313将所存储的解码图像作为参考图像输出到帧内预测单元314或运动预测/补偿单元315。

当图像是对其执行帧内编码的图像时，例如，帧存储器312经由选择单元313将参考图像提供给帧内预测单元314。此外，当图像是对其执行帧间编码的图像时，例如，帧存储器312经由选择单元313将参考图像提供给运动预测/补偿单元315。

当从帧存储器312提供的参考图像是对其执行帧内编码的图像时，以与选择单元113相同的方式，选择单元313将参考图像提供给帧内预测单元314。此外，当从帧存储器312提供的参考图像是对其执行帧间编码的图像时，以与选择单元113相同的方式，选择单元313将参考图像提供给运动预测/补偿单元315。

帧内预测单元314使用经由选择单元313从帧存储器312提供的要处理的图片中的像素值，来执行用于生成预测图像的帧内预测（屏幕内预测）。帧内预测单元314以预先准备的多种模式（帧内预测模式）执行帧内预测。帧内预测单元314可以用除了AVC编码格式中定义的模式之外的任意模式来执行帧内预测。

帧内预测单元314在所有候选帧内预测模式下生成预测图像，使用从屏幕重排缓冲器102提供的输入图像来评估每个预测图像的成本函数值，并且然后选择最优模式。当选择最优帧内预测模式时，帧内预测单元314经由选择单元316将在最优模式下生成的预测图像提供给算术运算单元303和310。

此外，如上所述，帧内预测单元314适当地将诸如指示采用的帧内预测模式的帧内预测模式信息的信息提供给无损编码单元306，以便被编码。

运动预测/补偿单元315使用从屏幕重排缓冲器302提供的输入图像和经由选择单元313从帧存储器312提供的参考图像对执行帧间编码的图像执行运动预测（帧间预测），根据检测到的运动向量执行运动补偿处理，从而生成预测图像（帧间预测图像信息）。运动预测/补偿单元315在预先准备的多种模式（帧间预测模式）下执行这样的帧间预测。运动预测/补偿单元315可以用除了AVC编码格式中定义的模式之外的任意模式来执行帧间预测。

运动预测/补偿单元315在所有候选帧间预测模式下生成预测图像，评估每个预测图像的成本函数值，并且然后选择最优模式。当选择最优帧间预测模式时，运动预测/补偿单元315经由选择单元316将在最优模式下生成的预测图像提供给算术运算单元303和310。

此外，运动预测/补偿单元315将指示所采用的帧间预测模式的帧间预测模式信息和指示计算的运动向量的运动向量信息提供给无损编码单元306，以便被编码。

以与选择单元116相同的方式，选择单元316在执行帧内编码的图像的情况下，将帧内预测单元314的输出提供给算术运算单元303和310，并且在执行帧间编码的图像的情况下，将运动预测/补偿单元315的输出提供给算术运算单元303和310。

率控制单元317基于在累积缓冲器307中累积的编码数据的编码量来控制量化单元305的量化操作的率，以使得不会产生溢出或下溢。

此外，率控制单元317将在累积缓冲器307中累积的编码数据的代码量（生成代码量）提供给无损编码单元306。无损编码单元306可以基于所提供的生成代码量来执行片分割。

片头编码单元321生成在无损编码单元306中编码的图像数据（差信息）的片头。片头编码单元321根据无损编码单元306指派的片结构来指定片边界位置（片边界地址），生成包括片边界地址的片头信息，并且然后将信息返回给无损编码单元306。

无损编码单元306根据用户的指示、规定、生成代码量等设置片结构，基于片结构对差信息（图片）执行片分割，或对从片头编码单元321提供的片头信息进行编码。

[无损编码单元和片头编码单元]

图8是示出了图7的无损编码单元306和片头编码单元321的主要配置示例的框图。

如图8所示，无损编码单元306具有片设置单元331、片结构编码单元332、以及CU数据编码单元333。

片设置单元331基于例如经由图中未示出的用户接口输入的用户指示、预先决定的设置（规定）、从率控制单元317提供的生成代码量等，来设置指示图片应如何分割成片的片结构。例如，片设置单元331基于用户指示、规定等针对每预定数目的CU执行片分割。此外，例如，片设置单元331基于生成代码量针对每预定代码量执行片分割。当然，片设置单元331可以基于除了上述信息之外的信息来执行片分割。

片设置单元331以CU为单位控制片边界（片末端）的位置。也就是说，片设置单元331将任何CU边界（CU的末端）设置为片边界。也就是，每个片由一个或多个CU构成。换言之，每个CU属于任何一个片。

如将更详细描述的，由于片设置单元331如上所示设置片边界，所以存在片边界位于LCU内的情况。

如果在以这种方式设置片边界时执行片分割，则片设置单元331将作为指示片分割的状态的信息的片结构提供给片头编码单元321。

指示图片应如何分割成片的任何类型的信息可以用于片结构。例如，每个序列的信息集、每个图片的信息集、每个片的信息集、或具有其他数据单位的信息集会是可能的。片结构的内容至少可以包括直接或间接指示每个片边界的位置的信息。

注意，片设置单元331还将片结构提供给CU数据编码单元333。

片结构编码单元332对片头编码单元321生成的片头信息进行编码，作为片头中包括的信息。片结构编码单元332将编码的片头信息提供给累积缓冲器307，以便被累积。此时，片结构编码单元332将片头添加在包括片的头部的LCU前面。也就是说，片结构编码单元332控制编码片头信息的供给，以使得片头被添加在包括片的头部的LCU前面。

CU数据编码单元333针对每个CU对诸如从量化单元305提供的运动信息或正交变换系数（差信息）的VCL（视频编码层）进行编码。在该编码（例如，CAVAC、CAVLC等）中可以使用任意方法。CU数据编码单元333将每个编码CU的编码数据（CU数据）提供给累积缓冲器307。

此时，CU数据编码单元333基于从片设置单元331提供的片结构，针对每个片并行地执行对每个CU的编码。因此，相比于在一个流水线处理（pipeline processing）中串联地对每个CU编码的情况，CU数据编码单元333可以进一步降低编码处理时间（进一步加速编码处理）。

应注意，可以按任何路径设置由CU数据编码单元333使用的片结构。例如，片结构编码单元332可以基于从片头编码单元321提供的片头信息（例如，片头信息中包括的片边界地址）来生成片结构，并且然后将片结构提供给CU数据编码单元333。此外，例如，由片设置单元331向片头编码单元321提供的片结构可以与片头信息一起从片头编码单元321被提供给片结构编码单元332，或片结构编码单元332可以将片结构提供给CU数据编码单元333。

如图8所示，片头编码单元321具有片边界地址计算单元341和片头生成单元342。

片边界地址计算单元341基于从无损编码单元306提供的片结构指定片边界的位置，并且然后计算指示片边界的位置的片边界地址。如上所述，片边界被设置在CU边界中。片边界地址计算单元341指定片从哪个CU改变，并且然后计算指示该CU的信息作为片边界地址。

片边界地址计算单元341将计算的片边界地址提供给片头生成单元342。

片头生成单元342使用关于包括片边界地址的片的信息来生成片头信息。片头生成单元342将片头信息提供给片结构编码单元332。

总之，片边界地址被包括在片头中并且在解码侧被提供。

[片边界和片头]

接着，将更详细地描述片边界和片头。

如上所述，由于控制片边界的位置的单位是CU，所以存在片边界位于LCU内的情况。然而，在代码流中，片头始终被添加在LCU前面。更具体地，片头被添加在包括片的头部（片边界）的LCU前面。因此，控制片头的位置的单位是LCU。

例如，如图9中的A所示，在由CU0至CU6构成的、且按照从CU0至CU6的顺序处理的LCU中，CU0至CU2属于片1，CU3至CU6属于紧接的片2。如图9的B所示，片2的头（SliceHeader2）被添加至包括片2的头部（CU3）的LCU的头部（在CU0前面）。然后，在片2的头（SliceHeader2）中，指示片2的头部（CU3）的位置的信息（片2的第一个CU的地址信息）被描述为将头和数据链接。

以这种方式，由于以CU为单位控制片的位置，因此，还可以在LCU内将片分隔，但是通过在LCU之间添加片头，可以在语法上维持洋葱圈结构。因此，在代码流中，可以确保诸如VCL-NAL的层级结构，并且可以保证随机存取和耐错性。

以这种方式，图像编码装置300能够以高准确度满意地执行片分割，同时在语法上维持洋葱圈结构。换言之，图像编码装置300可以抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

[片边界地址]

如上所述，片边界地址是指示用作片的头部的CU的信息，但是可以在指定CU时使用任意方法。

如图10中的虚线所指出的，例如，可以以SCU为单位分割LCU，并且可以以SCU为单位指定用作片2的头部的CU。在图10的示例中，LCU可以被分割成16个SCU（SCU0至SCU15）。按照从SCU0至SCU15的顺序来处理每个SCU。可以以SCU为单位指定LCU中的每个CU。换言之，SCU的编号可以被设置为片2的头部地址（片边界地址）。

例如，如果如图9所示片2的头部被设置为CU3，则CU3对应于SCU9（以第10次序处理的SCU），如图10所示。因此，片2的头部地址（片边界地址）为9。

此外，如图11所示，可以使用二维信息指示SCU9的位置。在图11的示例中，LCU被分割成水平方向上的4个SCU×竖直方向上的4个SCU。也就是，可以在水平方向上的0至3以及竖直方向上的0至3的范围内指定CU的位置。在图11的示例中，作为片2的头部的CU3的位置对应于水平方向上从左侧开始第2个（坐标1）和竖直方向上从顶部开始第3个（坐标2）的SCU。因此，片2的头部地址（片边界地址）是(1,2)。

此外，如图12所示，可以以CU为单位指定用作片2的头部（CU3）的CU。换言之，在这种情况下，片2的头部地址（片边界地址）是3。

在如参考图10（第一方法）所述按照SCU的处理顺序来表示片边界地址的方法中，分辨率是高的，因此有可能片边界地址的信息量变大。例如，当片2的头部是CU0时，片边界地址是0，从而信息量小，然而当片2的头部是CU15时，片边界地址是15，从而信息量大。随着LCU中包括的SCU的数目增加，片边界地址的信息量的最大值增加。

在如参考图11（第二方法）所述使用以SCU为单位的二维位置信息来表示片边界地址的方法中，片边界地址的信息量的不均匀性相比于按照SCU的处理顺序来表示片边界地址的方法是更小的，但是需要在水平方向和竖直方向上的两个地址。

因此，例如，当片2的头部是SCU0时，片边界地址为(0,0)，并且信息量相应大于第一方法中的信息量。此外，例如，当片2的头部是CU15时，片边界地址为(3,3)，并且信息量相应小于第一方法中的信息量。

由于片边界地址的信息量更小，所以片头信息的代码量减小，并且编码效率提高，这是优选的。第一和第二方法之间的哪种方法是优选的取决于图像的内容。然而，通常，由于片边界信息的信息量在第二方法中是稳定的，因此，很有可能的是，生成代码量是稳定的并且率控制是容易的。

在如参考图12（第三方法）所述按照CU的处理顺序来表示片边界地址的方法中，片边界地址的最大值是6，由此片边界地址的信息量相比于第一方法中的信息量基本上可以进一步降低。因此，很有可能的是，实际上取决于图像的内容和CU的结构的编码效率相比于第一和第二方法中的编码效率可以被进一步提高。

然而，在第三方法中，在解码时会确定CU的结构。也就是说，为了准确地掌握片边界地址指示哪个CU，解码器可以通过对所有split_flag（分裂_标志）进行解码来确定LCU中的CU的整体结构。

另一方面，在第一和第二方法中，由于以SCU为单位指定片边界地址，所以解码器可以仅根据片头的片边界地址而容易地确定片边界的位置。

在第三方法中，由于需要相继对split-flag执行解码处理，所以可能处理量增加那么多。

注意，可以在指定将用作片的头部的CU时使用任意方法，并且该任意方法可以不同于上面描述的第一至第三方法。

例如，在第三方法中，关于LCU被如何分割的信息可以被添加至LCU的头部。通过这样做，不需要相继对split-flag执行解码处理，但是可能代码量增加那么多。

此外，例如，片设置单元331可以根据例如图像的内容等，针对每个片边界在预先准备的多个方法之中适应性地选择一个方法。在这种情况下，直接或间接指示已经使用什么方法的信息可以包括在片头中，并且然后在解码器侧被提供。

[LCU]

注意，上文中已经描述了在LCU中生成片边界的情况，但是多个片边界可以存在于一个LCU中。

例如，如图13的A所示，假设CU0至CU2属于片1，CU3和CU4属于片2，CU5和CU6属于片3。换言之，CU3和CU5的两个片边界存在于一个LCU中。

在这样的情况下，例如，片2的头（SH2）和片3的头（SH3）两者可以被添加在LCU前面，如图13的图B所示。在每个片头中，包括用作片的头部的CU的地址信息（片边界地址）。

如上所述，多个片头可以添加到一个LCU。

应注意，例如，当如图14的A所示LCU中不存在片边界地址时，换言之，当CU0至CU6全部属于片1时，在LCU的代码流中不包括片头，如图14的B所示。

总之，片头被添加到用作片头的头部的CU所属的LCU前面。

[编码处理的流程]

接着，将描述如上所述的图像编码装置300执行的每个处理的流程。首先，将参照图15的流程图描述编码处理的流程的示例。

在步骤S301中，A/D转换器301对输入图像执行A/D转换。在步骤S302中，屏幕重排缓冲器302存储A/D转换后的图像，并且将图像从显示每个图片的顺序重排成编码的顺序。

在步骤S303中，帧内预测单元314以帧内预测模式执行帧内预测处理。在步骤S304中，运动预测/补偿单元315以帧间预测模式执行帧间运动预测处理，以执行运动预测和运动补偿。

在步骤S305中，选择单元316基于从帧内预测单元314和运动预测/补偿单元315输出的每个成本函数值来决定最优模式。换言之，选择单元316选择由帧内预测单元314生成的预测图像或由运动预测/补偿单元315生成的预测图像。

此外，指示已经选择该任一预测图像的选择信息被提供给预测图像已被选择的帧内预测单元314或由运动预测/补偿单元315。当最优帧内预测模式下的预测图像被选择时，帧内预测单元314将指示最优帧内预测模式的帧内预测模式信息等提供给无损编码单元306。当最优帧间预测模式下的预测图像被选择时，运动预测/补偿单元315将指示最优帧间预测模式的信息等、以及若需要的话还有根据最优帧间预测模式的信息输出给无损编码单元306。作为根据最优帧间预测模式的信息，例举了运动向量信息、标志信息、参考帧信息等。

在步骤S306中，算术运算单元303计算在步骤S302的处理中重排的图像与在步骤S305的处理中选择的预测图像之间的差。当执行帧间预测时，经由选择单元316从运动预测/补偿单元315将预测图像提供给算术运算单元303，或者当执行帧内预测时，经由选择单元316从帧内预测单元314将预测图像提供给算术运算单元303。

与原始图像数据相比，降低了差数据的量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。

在步骤S307中，正交变换单元304对在步骤S306的处理中生成的差信息进行正交变换。更具体地，执行诸如离散余弦变换、卡洛变换等的正交变换，并且输出变换系数。

在步骤S308中，量化单元305对在步骤S307的处理中获得的正交变换系数进行量化。

如下对在步骤S308的处理中量化的差信息局部地解码。也就是，在步骤S309中，逆量化单元308使用与量化单元305的特征对应的特征，对在步骤S308的处理中生成并量化的正交变换系数（也被称作量化系数）进行逆量化。在步骤S310中，逆正交变换单元309使用与正交变换单元304的特征对应的特征，对在步骤S307的处理中获得的正交变换系数进行逆正交变换。

在步骤S311中，算术运算单元310将预测图像相加到已被局部解码的差信息，从而生成局部解码的图像（对应于到算术运算单元303的输入的图像）。在步骤S312中，环路滤波器311对在步骤S311的处理中获得的局部解码的图像适当地执行环路滤波处理，诸如去块滤波处理、自适应环路滤波处理等。

在步骤S313中，帧存储器312存储针对其在步骤S312的处理中执行了环路滤波处理的解码图像。注意，针对其环路滤波器311未执行滤波处理的图像还从算术运算单元310被提供给帧存储器312，并且被存储在帧存储器312中。

在步骤S314中，无损编码单元306对在步骤S308的处理中量化的变换系数进行编码。换言之，对差图像执行诸如可变长度编码、算术编码等的无损编码。

应注意，无损编码单元306对在步骤S308中计算的量化参数进行编码并且将该参数相加到编码数据。此外，无损编码单元306对关于在步骤S305的处理中选择的预测图像的模式的信息进行编码，并且将差图像相加到根据编码获得的编码数据。换言之，无损编码单元306对从帧内预测单元314提供的最优帧内预测模式信息或从运动预测/补偿单元315提供的最优帧间预测模式等进行编码，并且将该信息相加到编码数据。

此外，无损编码单元306设置片结构，在片头编码单元321中生成包括片边界地址的片头信息，或对片头信息进行编码，以便相加到编码数据（CU数据）。

在步骤S315中，累积缓冲器307对从无损编码单元306输出的编码数据进行累积。在累积缓冲器307中累积的编码数据被适当地读出，并在解码侧经由发送路径或记录介质被发送。

在步骤S316中，率控制单元317基于在步骤S315的处理中在累积缓冲器317中累积的编码数据的代码量（生成代码量）来控制量化单元305的量化操作的率，以便不会导致溢出或下溢。此外，率控制单元317将生成代码量提供给无损编码单元306。

当步骤S316的处理结束时，编码处理结束。

[无损编码处理的流程]

接着，将参照图16的流程图来描述在图15的步骤S314中执行的无损编码处理的流程的示例。

当无损编码处理开始时，在步骤S331中，片设置单元331根据用户指示、规定、生成代码量等来设置片结构。此时，片设置单元331以CU为单位设置每个片边界的位置。

通过确定每个片，其间插入有片头的LCU边界也被确定。换言之，片设置单元331以LCU为单位设置每个片头的位置。

在步骤S332中，片边界地址计算单元341基于在步骤S331中设置的片结构来计算每个片边界地址。

在步骤S333中，片头生成单元342使用关于包括在步骤S332中计算的片边界地址的片的信息来生成每个片的片头信息。

在步骤S334中，片结构编码单元332对片头信息进行编码。

在步骤S335中，CU数据编码单元333基于在步骤S331中设置的片结构对CU数据进行编码。CU数据编码单元333将编码的CU数据提供给累积缓冲器307，以便被存储在其中。片结构编码单元332将在步骤S334中编码的片头信息提供给累积缓冲器307，并且将该信息相加到在步骤S331中决定的位置（LCU边界）。

当步骤S335的处理结束时，CU数据编码单元333完成无损编码处理，并且该处理返回到图15的步骤S314，以使得执行步骤S315以及之后的处理。

如上所述，通过执行每个处理，图像编码装置300可以以CU为单位设置片分割的控制准确度，同时在语法上维持洋葱圈结构，甚至当LCU的尺寸在图像编码时被设置为很大，也是如此，因此可以抑制片分割的控制准确度降低，同时抑制编码数据的便利性退化。

注意，上文中已经描述了片边界的位置的控制，但是本公开不限于此，并且上述方法可以应用于例如在非专利文献2中公开的熵片的设置。

换言之，在熵片设置（将图片分割成熵片）期间，如上所述，图像编码装置300可以以CU为单位控制熵片边界的位置，并且将熵片的头添加在LCU前面。

通过这样做，图像编码装置300可以按照与上面描述的相同的方式以CU为单位设置熵片分割的控制准确度，同时在语法上维持洋葱圈结构，因此，可以抑制熵片分割的控制准确度退化，同时抑制编码数据的便利性退化。

当然，该方法还可以应用于除了上述图像编码之外的数据结构。例如，在具有通常的层级结构的数据中，可以增强上层级中的数据的控制准确度，同时维持数据管理结构中的高级别包括低级别的包含关系。换言之，在具有层级结构的数据中，可以以比高层级单位小的单位来设置高层级单位的数据的边界位置，并且关于高层级单位的数据的信息可以被添加在中间层级单位的数据前面，中间层级单位包括高层级单位的数据并且小于高层级单位且大于低层级单位。通过这样做，甚至当位于低于上层级的中间层级中的数据的控制准确度退化时，可以抑制上层级中的数据的控制准确度降低，同时抑制数据的便利性退化。

<2.第二实施例>

[图像解码装置]

图17是示出了图像解码装置的主要配置示例的框图。图17中示出的图像解码装置400基本上是与图2的图像解码装置200相同的装置，并且对通过对图像数据编码而获得的编码数据进行解码。

图17中示出的图像解码装置400是对应于图7的图像编码装置300的解码装置。由图像编码装置300进行编码的编码数据经由任意路径（例如，发送路径、记录介质等）被提供给图像解码装置400，并且然后被解码。

如图17所示，图像解码装置400具有累积缓冲器401、无损解码单元402、逆量化单元403、逆正交变换单元404、算术运算单元405、环路滤波器406、屏幕重排缓冲器407、以及D/A转换器408。此外，图像解码装置400具有帧存储器409、选择单元410、帧内预测单元411、运动预测/补偿单元412、以及选择单元413。

图像解码装置400还具有片头解码单元421。

以与累积缓冲器201相同的方式，累积缓冲器401累积发送的编码数据。该编码数据已经由图像编码装置300编码。以与无损解码单元202相同的方式，无损解码单元402在预定定时处从累积缓冲器401读出编码数据，并且以对应于图7的无损编码单元306的编码格式的格式进行解码。

此外，当相应帧被帧内编码时，帧内预测模式信息被存储在编码数据的头部分中。以与无损解码单元202相同的方式，无损解码单元402还对帧内预测模式信息进行解码，并且将该信息提供给帧内预测单元411。另一方面，当帧被帧间编码时，运动向量信息和帧间预测模式信息被存储在编码数据的头部分中。以与无损解码单元202相同的方式，无损解码单元402还对运动向量信息和帧间预测模式信息进行解码，并且将该信息提供给运动预测/补偿单元412。

以与逆量化单元203相同的方式，逆量化单元403以对应于图7的量化单元305的量化方案的方案对通过无损解码单元402的解码获得的系数数据（量化系数）进行逆量化。换言之，逆量化单元403以与图7的逆量化单元308相同的方式来执行对量化系数的逆量化。

逆量化单元403将经逆量化的系数数据（即，正交变换系数）提供给逆正交变换单元404。以与逆正交变换单元204相同的方式，逆正交变换单元404以对应于图7的正交变换单元304的正交变换方案的方案（与图7的逆正交变换单元309的方案相同的方案），对正交变换系数执行逆正交变换。逆正交变换单元404根据逆正交变换处理获得对应于在图像编码装置300中未被正交变换的残余数据的解码残余数据。例如，执行四元逆正交变换。

根据逆正交变换获得的解码残余数据被提供给算术运算单元405。此外，经由选择单元413从帧内预测单元411或运动预测/补偿单元412向算术运算单元405提供预测图像。

以与算术运算单元205相同的方式，算术运算单元405将编码残余数据相加到预测图像，并且获得对应于通过图像编码装置300的算术运算单元303未从其减去预测图像的图像数据的解码图像数据。算术运算单元405将该解码图像数据提供给环路滤波器406。

环路滤波器406对提供的解码图像适当地执行环路滤波处理（包括去块滤波处理、自适应环路滤波处理等），并且将该数据提供给屏幕重排缓冲器407。

环路滤波器406包括去块滤波器206、自适应环路滤波器等，并且对从算术运算单元405提供的解码图像数据适当地执行滤波处理。例如，以与去块滤波器206相同的方式，环路滤波器406通过对解码图像执行去块滤波处理来去除解码图像的块失真。此外，例如，环路滤波器406通过使用维纳滤波器（Wiener Filter）对去块滤波处理的结果（块失真被去除的解码图像）执行环路滤波处理，来提高图像质量。

注意，环路滤波器406可以被设置为对解码图像执行任意滤波处理。此外，环路滤波器406可以被设置为使用从图7的图像编码装置300提供的滤波器系数来执行滤波处理。

环路滤波器406将滤波处理的结果（经过滤波处理的解码图像）提供给屏幕重排缓冲器407和帧存储器409。注意，从算术运算单元405输出的解码图像可以被提供给屏幕重排缓冲器407和帧存储器409，而不经过环路滤波器406。换言之，可以省略环路滤波器406进行的滤波处理。

以与屏幕重排缓冲器207相同的方式，屏幕重排缓冲器407对图像执行重排。换言之，由图7的屏幕重排缓冲器302按照编码顺序重排的帧的顺序被重排成原始显示顺序。以与D/A转换器208相同的方式，D/A转换器408对从屏幕重排缓冲器407提供的图像执行D/A转换，并输出到附图中未示出的显示器，以便被显示。

以与帧存储器209相同的方式，帧存储器409存储所提供的解码图像，并在预定定时处经由选择单元410将所存储的解码图像作为参考图像输出到帧内预测单元411或运动预测/补偿单元412。

当图像是帧内编码的图像时，例如，帧存储器409经由选择单元410将参考图像提供给帧内预测单元411。此外，当图像是帧间编码的图像时，例如，帧存储器409经由选择单元410将参考图像提供给运动预测/补偿单元412。

当帧内编码的图像被解码时，以与选择单元210相同的方式，选择单元410将从帧存储器409提供的参考图像提供给帧内预测单元411。此外，当帧间编码的图像被解码时，以与选择单元210相同的方式，选择单元410将从帧存储器409提供的参考图像提供给运动预测/补偿单元412。

无损解码单元402适当地将指示通过解码头信息获得的帧内预测模式的信息等提供给帧内预测单元411。以与帧内预测单元211相同的方式，帧内预测单元411在帧内预测单元314中使用的帧内预测模式下，使用从帧存储器409获取的参考图像来执行帧内预测，以生成预测图像。换言之，以与帧内预测单元314相同的方式，帧内预测单元411可以在除了AVC编码格式中定义的模式之外的任意模式下执行帧内预测。

帧内预测单元411将生成的预测图像提供给选择单元413。

以与运动预测/补偿单元212相同的方式，运动预测/补偿单元412从无损解码单元402获取通过对头信息解码获得的信息（预测模式信息、运动向量信息、参考帧信息、标志、各种参数等）。

以与运动预测/补偿单元212相同的方式，运动预测/补偿单元412在运动预测/补偿单元315中使用的帧间预测模式下，使用从帧存储器409获取的参考图像来执行帧间预测，以生成预测图像。换言之，以与运动预测/补偿单元315相同的方式，运动预测/补偿单元412可以在除了AVC编码格式中定义的模式之外的任意模式下执行帧内预测。

以与运动预测/补偿单元212相同的方式，运动预测/补偿单元412将生成的预测图像提供给选择单元413。

以与选择单元213相同的方式，选择单元413选择由运动预测/补偿单元412或帧内预测单元411生成的预测图像，然后将该图像提供给算术运算单元405。

[无损解码单元和片头解码单元]

图18是示出了图17的无损解码单元402和片头解码单元421的主要配置示例的框图。

如图18所示，无损解码单元402具有NAL数据缓冲器431、片头缓冲器432、片结构决定单元433、以及CU数据解码单元434。

NAL数据缓冲器431获取并存储从累积缓冲器401提供的且从代码流提取的、除了片头信息之外的NAL数据，诸如序列参数集（SPS）或图片参数集（PPS）。NAL数据缓冲器431对存储的NAL数据进行解码，并且在预定定时处将解码结果作为NAL信息提供给CU数据解码单元434。

片头缓冲器432获取并存储从累积缓冲器401提供的且从代码流提取的片头信息。片头缓冲器432对存储的片头信息进行解码。片头缓冲器432提取包括在片头信息中的片边界地址信息，并在预定定时处将该信息提供给片头解码单元421。

此外，当从片结构决定单元433提供的片结构被获取时，片头缓冲器432在预定定时处将该结构提供给CU数据解码单元434。此外，若需要的话，片头缓冲器432将诸如直接模式的信息作为片数据提供给CU数据解码单元434。

当从片头解码单元421提供的片边界地址被获取时，片结构决定单元433根据片边界地址重建在图像编码装置300中设置的片结构。片结构决定单元433将该片结构提供给片头缓冲器432。

CU数据解码单元434基于从NAL数据缓冲器431提供的NAL信息和从片头缓冲器432提供的片结构，来对从累积缓冲器401提供的CU数据（编码数据）进行解码。CU数据解码单元434使得每个CU数据的解码被流水化，以便彼此并行地执行。换言之，CU数据解码单元434根据片结构将CU数据的解码处理并行化。因此，相比于所有CU数据被顺序地解码（串行地解码）的情况，CU数据解码单元434可以进一步减少处理时间（可以更快地执行解码处理）。

注意，当从片头缓冲器432提供诸如直接模式等的信息作为片数据时，CU数据解码单元434使用该信息执行解码处理。

CU数据解码单元434将根据解码获得的诸如正交变换系数、运动信息等的信息提供给逆量化单元403、运动预测/补偿单元412、帧内预测单元411等。

在图18中，片头解码单元421具有片边界地址缓冲器441和片边界解码单元442。片边界地址缓冲器441获取并存储从无损解码单元402提供的片边界地址。片边界地址缓冲器441将存储的片边界地址信息提供给片边界解码单元442。

当从片边界地址缓冲器441提供的片边界地址信息（编码数据）被获取时，片边界解码单元442对该信息进行解码。片边界解码单元442将根据解码获得的片边界地址提供给无损解码单元402。

如上所述，无损解码单元402从自编码侧的装置提供的片头信息中提取片边界地址信息，并且使得该信息在片头解码单元421中被解码。无损解码单元402使用根据片头解码单元421进行的解码获得的片边界地址来对CU数据进行解码。

以这种方式，图像解码装置400可以使用包括在片头中的片边界地址，以适当的方式重建由图像编码装置300设置的片结构。因此，图像解码装置400可以适当地根据片结构对图像编码装置300（对图像数据进行编码）生成的编码数据进行解码，并且由此获得解码图像。总之，图像解码装置400可以实现下述方法：用于通过以CU为单位设置片分割的控制准确度同时在语法上维持洋葱圈结构，来控制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

[解码处理的流程]

接着，将描述如上所述的图像解码装置400执行的每个处理的流程。首先，将参照图19的流程图描述解码处理的流程的示例。

当解码处理开始时，在步骤S401中，累积缓冲器401对已经发送的编码数据进行累积。在步骤S402中，无损解码单元402对从累积缓冲器401提供的编码数据（通过对图像数据进行编码，从图像编码装置300获得的编码数据）进行解码。

在步骤S403中，逆量化单元403以对应于图7的量化单元305的量化处理的方法，对根据无损解码单元402的解码获得的经量化的正交变换系数执行逆量化。在步骤S404中，逆量化单元404以对应于图7的正交变换单元304的正交变换处理的方法，对根据逆量化单元403中的逆量化获得的正交变换系数执行逆量化变换。因此，对应于图7的正交变换单元304的输入（算术运算单元303的输出）的差信息被解码。

在步骤S405中，算术运算单元405将预测图像相加到根据步骤S404的处理获得的差信息。因此，原始图像数据被解码。

在步骤S406中，环路滤波器406对根据步骤S405的处理获得的解码图像适当地滤波。

在步骤S407中，帧存储器409存储经滤波的解码图像。

在步骤S408中，帧内预测单元411和运动预测/补偿单元412执行预测处理以生成预测图像。

在步骤S409中，选择单元413选择在步骤S408的处理中生成的预测图像之一。换言之，由帧内预测单元411生成的预测图像或由运动预测/补偿单元412生成的预测图像被提供给选择单元413。选择单元413选择从其提供预测图像的一侧，并将该预测图像提供给算术运算单元405。在步骤S405的处理中，该预测图像被相加到差信息。

在步骤S410中，屏幕重排缓冲器407对解码图像数据的帧重排。换言之，由图像编码装置300的（图7的）屏幕重排缓冲器302已经重排用于编码的、解码图像数据的帧的顺序被重排成原始显示顺序。

在步骤S411中，D/A转换器408对帧在屏幕重排缓冲器407中被重排的解码图像数据执行D/A转换。该解码图像数据被输出到附图中未示出的显示器，以使得图像被显示。

[无损解码处理的流程]

接着，将参照图20的流程图描述在图19的步骤S402中执行的无损解码处理的流程的示例。

当无损解码处理开始时，在步骤S431中，片头缓冲器432从保存在累积缓冲器401中的编码数据提取并获取片头信息。

在步骤S432中，片边界地址缓冲器441从在步骤S431中提取的片头信息中提取片边界地址信息。

在步骤S433中，片边界解码单元442对在步骤S432中提取的片边界地址信息进行解码。

在步骤S434中，片结构决定单元433基于在步骤S433中解码的片边界地址来决定片边界的位置，并且然后生成片结构。

在步骤S435中，CU数据解码单元434基于在步骤S434中决定的片边界的位置（片结构）来对CU数据进行解码，同时适当地执行并行化。

当步骤S435的处理结束时，CU数据解码单元434使得该处理返回到图19的步骤S402，从而执行步骤S403和以下步骤的处理。

通过如上所述执行每个处理，图像解码装置400可以实现下述方法：用于通过以CU为单位设置片分割的控制准确度同时在语法上维持洋葱圈结构，来抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

应注意，在以上描述中，片边界地址已经被描述为包括在片头中，但是除了以片头之外，可以例如以序列参数集（SPS）、图片参数集（PPS）等存储指示片边界的信息。此外，例如，可以以诸如SEI（补充增强信息）的参数集等（例如，序列或图片的头等）存储指示片边界的信息。

此外，可以与编码数据分开地、在解码侧发送指示片边界的信息。在这种情况下，需要说明指示片边界的信息与编码数据之间的对应关系（以便于解码侧掌握该关系），但是该方法是任意的。例如，指示对应关系的表格信息可以被单独地创建，或者在各数据侧存储指示要对应的数据的链接信息。

此外，在图像编码装置300与图像解码装置400之间可以预先共享用于设置片结构的方法。在这种情况下，存在可以省略指示片边界的信息的发送的情况。

<3.第三实施例>

[个人计算机]

上述系列处理可以由硬件或软件执行。在这样的情况下，例如，可以配置如图21所示的个人计算机。

在图21中，个人计算机500的CPU（中央处理单元）501根据存储在ROM（只读存储器）502中的程序或从存储单元513加载到RAM（随机存取存储器）503上的程序，来执行各种处理。RAM503适当地存储CPU501执行各种处理所需要的数据等。

CPU501、ROM502和RAM503经由总线504而彼此相连。输入和输出接口510也连接到总线504。

输入和输出接口510连接到输入单元511（包括键盘、鼠标等）、输出单元512（包括诸如CRT（阴极射线管）、LCD（液晶显示器）等的显示器、扬声器等）、存储单元513（包括硬盘等）、以及通信单元514（包括调制解调器等）。通信单元514经由包括因特网的网络执行通信处理。

输入和输出接口510还连接到驱动器515，若需要的话，可移动介质521（诸如磁盘、光盘、磁光盘、半导体存储器等）被适当地加载到其上，并且若需要的话，从介质读出的计算机程序被安装在存储单元513上。

当上述系列处理由软件执行时，从网络或记录介质安装构成软件的程序。

如图21所示，例如，该记录介质不仅包括其上记录有程序并与装置的主体分开且被分配用于为用户递送程序的可移动介质521，而且包括其上记录有程序并在结合到装置的主体中的情况下为用户递送程序的存储单元513或ROM502中包括的硬盘，可移动介质521诸如为磁盘（包括软盘）、光盘（包括CD-ROM（致密盘-只读存储器）、或DVD（数字多功能盘）、磁光盘（包括MD（微型盘））、半导体存储器等。

应注意，由计算机执行的程序可以是按本说明书中描述的顺序以时间序列的方式执行处理的程序，或可以是诸如以并行方式在需要的定时处或在存在调用时执行处理的程序。

此外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按公开的顺序以时间序列执行的处理，而且包括并行地或单独地执行的处理，不必是以时间序列执行的处理。

此外，在本说明书中，系统是指由多个装置（单元）构成的整个设备。

此外，在以上的描述中，被描述为一个装置（或处理单元）的配置可以被分割，以配置多个装置（或处理单元）。相反地，在以上的描述中，被描述为多个装置（或处理单元）的配置可以被集成，以便配置一个装置（或处理单元）。此外，除了上述配置之外的配置可以被添加到每个装置（或处理单元）的配置。此外，只要整个系统的配置或操作基本相同，装置（或处理单元）的配置的一部分就可以包括在其他装置（或其他处理单元）的配置中。换言之，本技术的实施例不限于上述实施例，并且可以在不背离本技术的主旨的范围内进行各种改变。

例如，图8所示的无损编码单元306和片头编码单元321可以被分别配置为独立的装置。此外，图8所示的片设置单元331、片结构编码单元332、CU数据编码单元333、片边界地址计算单元341、以及片头生成单元342可以被分别配置为独立的装置。此外，各个处理单元可以被任意组合，或被配置成独立的装置。当然，它们可以与图7所示的任意处理单元组合，或可以与附图中未示出的处理单元组合。

此外，例如，上面描述的图像编码装置和图像解码装置可以被应用于任意电子设备。下文中，将描述其示例。

<4.第四实施例>

[电视接收机]

图22是示出了使用图像解码装置400的电视接收机的主要配置示例的框图。

图22所示的电视接收机1000具有地面波调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020、以及显示面板1021。

地面波调谐器1013经由天线接收地面模拟广播的广播波信号，对信号进行调制以获取视频信号，并且然后将信号提供给视频解码器1015。视频解码器1015对从地面波调谐器1013提供的视频信号执行解码处理，并将所获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015提供的视频数据执行诸如噪声消除等的预定处理，并且将所获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成要显示在显示面板1021上的节目的视频数据或根据基于经由网络等提供的应用的处理的图像数据，并将生成的视频数据或图像数据提供给面板驱动电路1020。此外，图形生成电路1019生成用于显示用户通过项目的选择等使用的屏幕的视频数据（图形），并且还适当地执行下述处理：将通过把在前的视频数据叠加在节目的视频数据上获得的视频数据提供给面板驱动电路1020。

面板驱动电路1020基于从图形生成电路1019提供的数据来驱动显示面板1021，并使得节目的视频或上述各种屏幕显示在显示面板1021上。

显示面板1021包括LCD（液晶显示器）等，并根据面板驱动电路1020的控制来显示节目的视频等。

此外，电视接收机1000还具有音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大电路1024、以及扬声器1025。

地面波调谐器1013通过对接收的广播波信号进行解调来获取音频信号以及视频信号。地面波调谐器1013将获取的音频信号提供给音频A/D转换电路1014。

音频A/D转换电路1014对从地面波调谐器1013提供的音频信号执行A/D转换处理，并将所获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据执行诸如噪声去除等的预定处理，然后将获得的音频数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供给音频放大电路1024。

音频放大电路1024对从回声消除/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，将音频声音水平调节至预定音量，然后使得声音从扬声器1025输出。

此外，电视接收机1000还具有数字调谐器1016和MPEG解码器1017。

数字调谐器1016经由天线接收数字广播（地面数字广播、或BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，对信号进行解调以获取MPEG-TS（运动图片专家组-传输流），然后将数据提供给MPEG解码器1017。

MPEG解码器1017对从数字调谐器1016提供的MPEG-TS进行解扰，并从其提取包括要再现（要观看）的节目的数据的流。MPEG解码器1017对构成所提取的流的音频分组进行解码，将所获得的音频数据提供给音频信号处理电路1022，对构成流的音频分组进行解码，并且将所获得的音频数据提供给视频信号处理电路1018。此外，MPEG解码器1017经由图中未示出的路径将从MPEG-TS提取的EPG（电子节目指南）数据提供给CPU1032。

电视接收机1000使用上述图像解码装置400作为如上对视频分组进行解码的MPEG解码器1017。应注意，从广播站等发送的MPEG-TS被图像编码装置300编码。

以与图像解码装置400相同的方式，MPEG解码器1017重建在编码侧设置的片结构，并使用添加在包括编码数据的片边界的LCU前面的片头中包括的片边界地址、根据片结构对编码数据进行解码。因此，MPEG解码器1017可以针对具有层级结构的数据实现上层级中的数据的控制准确度的改进，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，MPEG解码器1017可以实现下述方法：用于抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

以与从视频解码器1015提供的视频数据相同的方式，从MPEG解码器1017提供的视频数据在视频信号处理电路1018中经受预定处理，在图形生成电路1019中被适当地叠加在生成的视频数据等上，并经由面板驱动电路1020被提供给显示面板1021，并且然后显示其图像。

以与从音频A/D转换电路1014提供的音频数据相同的方式，从MPEG解码器1017提供的音频数据在音频信号处理电路1022中经受预定处理，经由回声消除/音频合成电路1023提供给音频放大电路1024，并且经受D/A转换处理和放大处理。结果，从扬声器1025输出被调节至预定音量的声音。

此外，电视接收机1000还具有麦克风1026、以及A/D转换电路1027。

A/D转换电路1027接收由设置在电视接收机1000中的麦克风1026针对对话收集的用户的音频信号，对接收的音频信号执行A/D转换处理，然后将获得的数字音频数据提供给回声消除/音频合成电路1023。

当从A/D转换电路1027提供电视接收机1000的用户（用户A）的音频数据时，回声消除/音频合成电路1023对用户A的音频数据执行回声消除，并使得通过将数据与其他音频数据等合成而获得的音频数据经由音频放大电路1024从扬声器1025输出。

此外，电视接收机1000还具有音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪存1031、CPU1032、USB（通用串行总线）接口1033、以及网络接口1034。

A/D转换电路1027接收由设置在电视接收机1000中的麦克风1026针对对话收集的用户的音频信号，对接收的音频信号执行A/D转换处理，然后将获得的数字音频数据提供给音频编解码器1028。

音频编解码器1028将从A/D转换电路1027提供的音频数据转换成预定格式的数据以便经由网络发送，并经由内部总线1029将该数据提供给网络接口1034。

网络接口1034经由安装在网络终端1035中的线缆连接到网络。网络接口1034将从音频编解码器1028提供的音频数据发送到例如与网络相连的其他装置。此外，网络接口1034经由网络终端1035接收例如从经由网络连接的其他装置发送的音频数据，并经由内部总线1029将数据提供给音频编解码器1028。

音频编解码器1028将从网络接口1034提供的音频数据转换成预定格式的数据，并将数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023对从音频编解码器1028提供的音频数据执行回声消除，并使得通过将在前的数据与其他音频数据等合成而获得的音频数据经由音频放大电路1024从扬声器1025输出。

SDRAM1030存储CPU1032执行处理所需要的各种类型的数据。

闪存1031存储由CPU1032执行的程序。在预定定时处（诸如在开启电视接收机1000时）CPU1032读取存储在闪存1031中的程序。在闪存1031中，还存储有经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据等。

在闪存1031中，例如，存储有包括通过CPU1032的控制经由网络从预定服务器获取的内容数据的MPEG-TS。例如在CPU1032的控制下，闪存1031经由内部总线1029将MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017以与从数字调谐器1016提供的MPEG-TS相同的方式处理MPEG-TS。以这种方式，电视接收机1000可以经由网络接收包括视频、声音等的内容数据，使用MPEG解码器1017对数据进行解码，并且使得视频被显示或声音被输出。

此外，电视接收机1000还具有光接收单元1037，光接收单元1037接收从远程控制器1051发送的红外信号的光。

光接收单元1037从远程控制器1051接收红外线的光，并将通过解调获得的指示用户操作的内容的控制代码输出到CPU1032。

CPU1032执行存储在闪存1031中的程序，并根据从光接收单元1037提供的控制代码等控制电视接收机1000的所有操作。CPU1032和电视接收机1000的每个单元经由未示出的路由而相连。

USB接口1033经由设置在USB端子1036中的USB线缆，在与之连接的电视接收机1000的外部装置之间发送和接收数据。网络接口1034经由设置在网络终端1035中的线缆而连接到网络，并且还向和从连接到网络的各种装置发送和接收除了音频数据之外的数据。

电视接收机1000可以使用图像解码装置400作为MPEG解码器1017，来抑制片分割的控制准确度退化，同时抑制经由网络获取的内容数据和经由天线接收的广播波信号的便利性退化。

<5.第五实施例>

[移动电话]

图23是示出了使用图像编码装置300和图像解码装置400的移动电话的主要配置示例的框图。

图23所示的移动电话1100具有对每个单元执行整体控制的主控单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、摄像机接口单元1154、LCD控制单元1155、图像解码器1156、复用和分离单元1157、记录和再现单元1162、调制和解调电路单元1158、以及音频编解码器1159。它们经由总线1160而彼此相连。

此外，移动电话1100具有操作键1119、CCD（电荷耦合器件）摄像机1116、液晶显示器1118、存储单元1123、发送和接收电路单元1163、天线1114、麦克风（麦克）1121、以及扬声器1117。

当完成呼叫并且通过用户的操作开启电源键时，电源电路单元1151通过从电池组向每个单元供电，而启动移动电话1110以处于可操作状态。

移动电话1110基于包括CPU、ROM、RAM等的主控单元1150的控制，以各种模式（诸如语音呼叫模式、数据通信模式等）执行各种操作，诸如发送和接收音频信号、发送和接收电子邮件和图像数据、图像拍摄、数据记录等。

例如，在语音呼叫模式下，移动电话1110使用音频编解码器1159将在麦克风（麦克）1121中收集的音频信号转换成数字音频数据，使用调制和解调电路单元11158对数据执行扩展频谱处理，并且然后使用发送和接收电路单元1163对数据执行数字-模拟转换处理和频率转换处理。移动电话1110经由天线1114将根据转换处理获得的用于发送的信号发送到未示出的基站。经由公共电话网络，将传送到基站的用于发送的信号（音频信号）提供给对方的移动电话。

此外，在语音呼叫模式下，例如，移动电话1100使用发送和接收电路单元1163对从天线1114接收的接收信号进行放大，进一步对信号执行频率转换处理和模拟/数字转换处理，使用调制和解调电路单元1158执行解扩展频谱处理，然后使用音频编解码器1159将数据转换成模拟音频信号。移动电话1100从扬声器1117输出根据转换获得的模拟音频信号。

此外，当以数据通信模式发送电子邮件时，例如，移动电话1110在操作输入控制单元1152中接收通过操作键1119的操作输入的电子邮件的文本数据。移动电话1100在主控单元1150中处理文本数据，并经由LCD控制单元1155使得数据作为图像被显示在液晶显示器1118中。

此外，移动电话1100在主控单元1150中基于操作输入控制单元1152接收的文本数据、用户指示等生成电子邮件。移动电话1100使用调制和解调电路单元1158对电子邮件数据执行扩展频谱处理，并且然后使用发送和接收电路单元1163对数据执行数字/模拟转换处理和频率转换处理。移动电话1100经由天线1114将根据转换处理获得的用于发送的信号发送到未示出的基站。经由网络、邮件服务器等，将传送到基站的用于发送的信号（电子邮件）提供给预定接收方。

此外，当以数据通信模式接收电子邮件时，例如，移动电话1100经由天线1114在发送和接收电路单元1163中接收从基站发送的信号，放大信号，并且进一步对其执行频率转换处理和模拟/数字转换处理。移动电话1100通过使用调制和解调电路单元1158对接收信号执行解扩展频谱处理来恢复原始电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。

应注意，移动电话1100还可以经由记录和再现单元1162将接收的电子邮件数据记录（存储）在存储单元1123中。

存储单元1123是任意可重写的存储介质。存储单元1123可以是半导体存储器（例如，RAM、嵌入式闪存等），可以是硬盘，或者可以是可移动介质（诸如磁盘、磁光盘、光盘、USB存储器、或存储卡）。当然，其他介质也是可以的。

此外，当以数据通信模式发送图像数据时，例如，移动电话1100通过成像使用CCD摄像机1116来生成图像数据。CCD摄像机1116具有诸如透镜、光圈和作为光电转换元件的CCD的光学器件，将对象成像，将接收光的强度转换成电信号，并且生成对象的图像的图像数据。CCD摄像机1116经由摄像机接口1154使用图像编码器1153对图像数据进行编码，以将数据转换成编码图像数据。

移动电话1100使用上述图像编码装置300，作为如上执行处理的图像编码器1153。以与图像编码装置300相同的方式，图像编码器1153以CU为单位控制片边界的位置，在片头中包括指示片边界的位置的片边界地址，并且将片头添加到包括片边界的LCU前面。换言之，图像编码器1153可以以CU为单位设置片分割的控制准确度，同时在语法上维持洋葱圈结构。换言之，图像编码器1153可以针对具有层级结构的数据提高上层级中的数据的控制准确度，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，图像编码器1153可以控制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

注意，同时，移动电话1100在由CCD摄像机1116进行成像的期间在音频编解码器1159中对从麦克风（麦克）1121收集的声音执行模拟-数字转换，并且还执行编码。

移动电话1100在复用和分离单元1157中以预定格式将从图像编码器1153提供的编码图像数据和从音频编解码器1159提供的数字音频数据复用。移动电话1100使用调制和解调电路单元1158对根据结果获得的复用数据执行扩展频谱处理，并且使用发送和接收电路单元1163对数据执行数字-模拟转换处理和频率转换处理。移动电话1100经由天线1114将根据转换处理获得的用于发送的信号发送到未示出的基站。经由网络等，将传送到基站的用于发送的信号（图像数据）提供给对方。

应注意，当图像数据未被发送时，移动电话1100还可以经由LCD控制单元1155，而不经由图像编码器1153，在液晶显示器1118上显示由CCD摄像机1116生成的图像数据。

此外，当在数据通信模式下接收链接到简单主页的运动图像文件的数据等时，例如，移动电话1100经由天线1114使用发送和接收电路单元1163接收从基站发送的信号，放大信号，并且进一步对其执行频率转换处理和模拟/数字转换处理。移动电话1100使用调制和解调电路单元1158对接收信号执行解扩展频谱处理，以便恢复原始复用数据。移动电话1100在复用和分离单元1157中分离该复用数据，以将数据分割成编码图像数据和音频数据。

移动电话1100通过在图像解码器1156中对编码图像数据进行解码而生成再现的运动图像数据，并经由LCD控制单元1155使得数据显示在液晶显示器1118上。因此，例如，链接到简单主页的运动图像文件中包括的运动图像数据被显示在液晶显示器1118上。

移动电话1100使用上述图像解码装置400作为如上执行处理的图像解码器1156。换言之，以与图像解码装置400相同的方式，图像解码器1156使用被添加在包括边界数据的片边界的LCU前面的片头中包括的片边界地址来重建在编码侧设置的片结构，并且根据片结构对编码数据进行解码。因此，图像解码器1156可以针对具有层级结构的数据实现上层级中的数据的控制准确度的提高，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，图像解码器1156可以实现下述方法：用于抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

在这种情况下，同时，移动电话1100使用音频编解码器1159将数字音频数据转换成模拟音频信号，并从扬声器1117输出信号。因此，例如链接到简单主页的运动图像文件中包括的音频数据被再现。

应注意，以与电子邮件的情况相同的方式，移动电话1100还可以经由记录和再现单元1162将链接到简单主页的接收数据等记录（存储）在存储单元1123中。

此外，移动电话1100可以在主控单元1150中分析根据CCD摄像机成像获得的二维码，从而获取以二维码记录的信息。

此外，移动电话1100可以在红外通信单元1181中使用红外线与外部装置进行通信。

当例如在CCD摄像机1116中生成的图像数据被编码并且然后被传送时，移动电话1100可以通过使用图像编码装置300作为图像编码器1153，来抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

此外，移动电话1100可以通过使用图像解码装置400作为图像解码器1156，来抑制片分割的控制准确度退化，同时抑制例如链接到简单主页的运动图像文件（编码数据）等的数据的便利性退化。

注意，在上述描述中，移动电话1100已经被描述为使用CCD摄像机1116，但是也可以使用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器），来替代CCD摄像机1116。还在这种情况下，移动电话1100可以按照与使用CCD摄像机1116时相同的方式将对象成像，并生成对象的图像的图像数据。

此外，上文中已经描述了移动电话1100，但是任何设备可以按照与移动电话1100相同的方式应用图像编码装置300和图像解码装置400，只要该设备具有与移动电话1100相同的成像功能和通信功能即可，所述设备例如为PDA（个人数字助理）、智能电话、UMPC（超移动个人计算机）、上网本、笔记本型个人计算机等。

<6.第六实施例>

[硬盘记录器]

图24是示出了使用图像编码装置300和图像解码装置400的硬盘记录器的主要配置示例的框图。

图24所示的硬盘记录器（HDD记录器）1200是下述装置：其存储由嵌入式硬盘中的调谐器接收的、从卫星和地面天线等发送的广播波信号（电视信号）中包括的广播节目的音频数据和视频数据，根据用户指示在某一定时处将存储的数据提供给用户。

硬盘记录器1200可以从例如广播波信号提取音频数据和视频数据，适当地对信号进行解码，并将它们存储在嵌入式硬盘中。此外，硬盘记录器1200还可以经由网络从例如其他装置获取音频数据和视频数据，适当地对数据进行解码，并将数据存储在嵌入式硬盘中。

此外，硬盘记录器1200可以对记录在例如嵌入式硬盘上的音频数据和视频数据进行解码以被提供给监视器1260，使得其图像被显示在监视器1260的屏幕上，并使得其声音从监视器1260的扬声器输出。此外，硬盘记录器1200还可以对例如从经由调谐器获取的广播波信号提取的音频数据和视频数据、或经由网络从其他装置获取的音频数据和视频数据以提供给监视器1260，使得其图像被显示在监视器1260的屏幕上，并且使得其声音从监视器1260的扬声器输出。

当然，其他操作也是可以的。

如图24所示，硬盘记录器1200具有接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225、以及记录器控制单元1226。硬盘记录器1200还具有EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（屏幕上显示）控制单元1231、显示控制单元1232、记录和再现单元1233、D/A转换器1234、以及通信单元1235。

此外，显示转换器1230具有视频编码器1241。记录和再现单元1233具有编码器1251和解码器1252。

接收单元1221从远程控制器（未示出）接收红外信号，并将信号转换成电信号，然后将信号输出到记录器控制单元1226。记录器控制单元1226包括例如微处理器等，并根据存储在程序存储器1228中的程序来执行各种处理。在这种情况下，若需要的话，记录器控制单元1226使用工作存储器1229。

通信单元1235连接到网络，并经由网络执行与其他装置的通信处理。例如，通信单元1235由记录器控制单元1226控制，与调谐器（未示出）通信，并主要向调谐器输出调谐控制信号。

解调单元1222对从调谐器提供的信号进行解调，并将数据输出到解复用器1223。解复用器1223将从解调单元1222提供的数据分离成音频数据、视频数据和EPG数据，并分别将数据输出到音频解码器1224、视频解码器1225、或记录器控制单元1226。

音频解码器1224对输入的音频数据进行解码，并将数据输出到记录和再现单元1233。视频解码器1225对输入的视频数据进行解码，并将数据输出到显示转换器1230。记录器控制单元1226将输入的EPG数据提供给EPG数据存储器1227以便被存储。

显示转换器1230使用视频编码器1241对从视频解码器1225或记录器控制单元1226提供的视频数据进行编码，以成为例如NTSC（国家电视标准委员会）格式的视频数据，并将数据输出到记录和再现单元1233。此外，显示转换器1230将从视频解码器1225或记录器控制单元1226提供的视频数据的屏幕尺寸转换为与监视器1260的尺寸对应的尺寸，使用视频编码器1241将数据转换成NTSC格式的视频数据，将数据输入模拟信号转换，然后将数据输出到显示控制单元1232。

显示控制单元1232基于记录器控制单元1226的控制，将由OSD（屏幕上显示）控制单元1231输出的OSD信号叠加在由显示转换器1230输入的视频信号上，将数据输出到监视器1260的显示器以便被显示。

此外，由音频解码器1224输出的音频数据被D/A转换器1234转换成模拟信号，并提供给监视器1260。监视器1260将音频信号从嵌入式扬声器输出。

记录和再现单元1233具有硬盘，作为其上记录有视频数据、音频数据等的存储介质。

记录和再现单元1233使用编码器1251对例如从音频解码器1224提供的音频数据进行编码。此外，记录和再现单元1233使用编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录和再现单元1233使用复用器将音频数据的编码数据和视频数据的编码数据合成。记录和再现单元1233通过执行信道编码将合成数据放大，并经由记录头将数据写入硬盘。

记录和再现单元1233经由再现头再现记录在硬盘上的数据，放大数据，并使用解复用器将数据分离成音频数据和视频数据。记录和再现单元1233使用解码器1252对音频数据和视频数据进行解码。记录和再现单元1233对解码的音频数据执行D/A转换，并将数据输出到监视器1260的扬声器。此外，记录和再现单元1233对解码的视频数据执行D/A转换，并将数据输出到监视器1260的显示器。

记录器控制单元1226基于经由接收单元1221接收的来自远程控制器的红外信号中表示的用户指示，从EPG数据存储器1227读取最后一个EPG数据，并将数据提供给OSD控制单元1231。OSD控制单元1231生成对应于输入的EPG数据的图像数据，并将数据输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器以便被显示。因此，监视器1260的显示器显示EPG（电子节目指南）。

此外，硬盘记录器1200可以经由诸如因特网的网络获取从其他装置提供的诸如视频数据、音频数据、EPG数据等的各种类型的数据。

通信单元1235由记录器控制单元1226控制，经由网络获取从其他装置发送的诸如视频数据、音频数据、EPG数据等的编码数据，并将数据提供给记录器控制单元1226。记录器控制单元1226将编码数据（例如，所获取的视频数据和音频数据）提供给记录和再现单元1233，以便被存储在硬盘中。在这种情况下，若需要的话，记录器控制单元1226以及记录和再现单元1233可以再次执行编码处理等。

此外，记录器控制单元1226对所获取的视频数据和音频数据的编码数据进行解码，并将获得的视频数据提供给显示转换器1230。显示转换器1230以与从视频解码器1225提供的视频数据相同的方式，处理从记录器控制单元1226提供的视频数据，经由显示控制单元1232将数据提供给监视器1260，以使得器图像被显示。

此外，根据图像显示，记录器控制单元1226可以经由D/A转换器1234将解码的音频数据提供给监视器1260，使得从扬声器输出其声音。

此外，记录器控制单元1226对所获取的EPG数据的编码数据进行解码，并将解码的EPG数据提供给EPG数据存储器1227。

如上所述，硬盘记录器1200使用图像解码装置400作为视频解码器1225、解码器1252、以及嵌入在记录器控制单元1226中的解码器。换言之，以与图像解码装置400相同的方式，视频解码器1225、解码器1252和嵌入在记录器控制单元1226中的解码器使用被添加在包括编码数据的片边界的片边界地址，重建在编码侧设置的片结构。因此，视频解码器1225、解码器1252和嵌入在记录器控制单元1226中的解码器可以针对具有层级结构的数据实现上层级中的数据的控制准确度的增强，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，视频解码器1225、解码器1252和嵌入在记录器控制单元1226中的解码器可以实现下述方法：用于抑制片分割的控制准确度退化，同时维持编码数据的便利性退化。

因此，硬盘记录器1200可以抑制片分割的控制准确度退化，同时抑制例如调谐器和通信单元1235接收的视频数据（编码数据）以及记录和再现单元1233再现的视频数据（编码数据）的便利性退化。

此外，硬盘记录器1200使用图像编码装置300作为编码器1251。因此，以与图像编码装置300相同的方式，编码器1251以CU为单位控制片边界的位置，使得指示片边界的位置的片边界地址被包括在片头中，并将片头添加在包括片边界的LCU前面。换言之，编码器1251可以以CU为单位设置片分割的控制准确度，同时在语法上维持洋葱圈结构。换言之，编码器1251可以针对具有层级结构的数据提高上层级中的数据的控制准确度，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，编码器1251可以抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

因此，硬盘记录器1200可以抑制片分割的控制准确度退化，同时抑制例如记录在硬盘中的编码数据的便利性退化。

注意，上文中，将视频数据音频数据记录在硬盘上的硬盘记录器1200也是可以的。以与上述硬盘记录器1200相同的方式，除了硬盘之外的诸如闪存、光盘、视频带等的记录介质所应用的任何记录器可以应用图像编码装置300和图像解码装置400。

<7.第七实施例>

[摄像机]

图25是示出了使用图像编码装置300和图像解码装置400的摄像机的主要配置示例的框图。

图25所示的摄像机1300将对象成像，在LCD1316上显示对象的图像，或将图像作为图像数据记录在记录介质1333上。

透镜块1311使得光（换言之，对象的视频）入射到CCD/CMOS1312。CCD/CMOS1312是使用CCD或CMOS的图像传感器，将接收光的强度转换成电信号，并将信号提供给摄像机信号处理单元1313。

摄像机信号处理单元1313将从CCD/CMOS1312提供的电信号转换成Y、Cr和Cb色差信号，并将信号提供给图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下，对从摄像机信号处理单元1313提供的图像信号执行预定图像处理，或使用编码器1341对图像信号进行编码。图像信号处理单元1314将通过对图像信号进行编码而生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获取在屏幕上（OSD）1320中生成的用于显示的数据，然后将数据提供给解码器1315。

在以上处理中，摄像机信号处理单元1313适当地使用经由总线1317连接的DRAM（动态随机存取存储器）1318，以根据需要将图像数据、通过对图像数据进行编码而获得的编码数据等保存在DRAM1318中。

解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并将获得的图像数据（解码图像数据）提供给LCD1316。此外，解码器1315将从图像信号处理单元1314提供的用于显示的数据提供给LCD1316。LCD1316适当地将从解码器1315提供的解码图像数据的图像和用于显示的数据的图像合成，然后在其上显示合成的图像。

屏幕上显示1320在控制器1321的控制下经由总线1317向图像信号处理单元1314输出包括符号、字符或数字的诸如菜单屏幕、图标等的用于显示的数据。

控制器1321基于指示用户使用操作单元1322所指示的内容，经由总线1317执行各种处理并控制图像信号处理单元1314、DRAM1318、外部接口1319、屏幕上显示1320、介质驱动器1323等。闪速ROM1324存储控制器1321执行各种处理所需要的程序、数据等。

例如，控制器1321可以对存储在DRAM1318中的图像数据进行编码，或对存储在DRAM1318中的编码数据进行解码，来替代图像信号处理单元1314或解码器1315。在这种情况下，控制器1321可以按照与图像信号处理单元1314或解码器1315相同的格式执行编码和解码处理，或可以按照不与图像信号处理单元1314或解码器1315的格式对应的格式执行编码和解码处理。

此外，当从操作单元1322指示图像打印开始时，例如，控制器1321从DRAM1318读取图像数据，并经由总线1317将数据提供给连接到外部接口1319的打印机1334，以便被打印。

此外，当从操作单元1322指示图像记录时，例如，控制器1321从DRAM1318读取编码数据，并经由总线1317将数据提供给加载在介质驱动器1323上的记录介质1333以便被存储。

记录介质1333是任意可读可写的可移除介质，例如，磁盘、磁光盘、光盘、半导体存储器等。当然，可移除介质1333的类型也是任意的，带装置是可以的、盘也是可以的，并且存储卡也是可以的。当然，非接触型IC卡等也是可以的。

此外，介质驱动器1323可以与记录介质1333集成，以被配置为非便携式存储介质，例如，嵌入式硬盘驱动器、SSD（固态驱动器）等。

外部接口1319被配置为例如USB输入和输出端子等，并在打印图像时连接到打印机1334。此外，驱动器1331根据需要连接到外部接口1319，并且诸如磁盘、光盘、磁光盘等的可移除介质1332被适当地加载在其中，从介质读取的计算机程序根据需要被安装在闪速ROM1324中。

此外，外部接口1319具有连接到预定网络（诸如LAN、因特网等）的网络接口。控制器1321可以根据例如来自操作单元1322的指示，从DRAM1318读出编码数据，并将数据提供给经由网络从外部接口1319连接的其他装置。此外，控制器1321可以通过外部接口1319获取经由网络从其他装置提供的编码数据和图像数据，然后将数据保存在DRAM1318中，或向图像信号处理单元1314提供数据。

如上所述的摄像机1300使用图像解码装置400作为解码器1315。换言之，解码器1315以与图像解码装置400相同的方式，使用被添加在包括编码数据的片边界的LCU前面的片头中包括的片边界地址，根据片结构来重建在编码侧设置的片结构并对编码数据进行解码。因此，解码器1315可以针对具有层级结构的数据实现上层级中的数据的控制准确度的增强，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，解码器1315可以实现下述方法：用于抑制片分割的控制准确度的退化，同时抑制编码数据的便利性退化。

因此，摄像机1300可以抑制片分割的控制准确度退化，同时抑制例如在CCD/CMOS1312中生成的图像数据、从DRAM1318或记录介质1333读取的视频数据的编码数据和经由网络获取的视频数据的编码数据的便利性退化。

此外，摄像机1300使用图像编码装置300作为编码器1341。以与图像编码装置300相同的方式，编码器1341以CU为单位控制片边界的位置，使得指示片边界的位置的片边界地址包括在片头中，并将片头添加在包括片边界的LCU前面。

换言之，编码器1341能够以CU为单位设置片分割的控制准确度，同时在语法上维持洋葱圈结构。换言之，编码器1341能够针对具有层级结构的数据增强上层级中的数据的控制准确度，同时维持在数据管理结构中高级别包括低级别的包含关系。因此，编码器1341可以抑制片分割的控制准确度退化，同时抑制编码数据的便利性退化。

因此，摄像机1300可以抑制片分割的控制准确度退化，同时抑制记录在例如DRAM1318和记录介质1333上的编码数据和向其他装置提供的编码数据的便利性退化。

应指出，图像解码装置400的解码方法可以应用于控制器1321执行的解码处理。以相同的方式，图像编码装置300的编码方法可以应用于控制器1321执行的编码处理。

此外，摄像机1300成像的成像数据可以是运动图像，或可以是静止图像。

当然，图像编码装置300和图像解码装置400还可以应用于除了上述设置之外的设备和系统。

本技术可以应用于在使用例如MPEG、H.26x等的正交变换（诸如离散余弦变换和运动补偿）压缩的图像信息（比特流）经由网络介质（诸如卫星广播、有线电视、因特网、或移动电话）被接收或在存储介质（诸如光盘和磁盘、以及闪存）上被处理时使用的图像编码装置和图像解码装置。

注意，本技术还可以采取一些配置。

（1）一种图像处理装置，包括：

设置单元，当以具有层级结构的编码单位对图像数据进行编码时，所述设置单元按比所述上层级单位低的下层级单位设置上层级单位的图像数据的边界位置；

编码单元，所述编码单元通过根据由所述设置单元设置的所述边界位置对所述图像数据进行编码，来生成编码数据；

添加单元，所述添加单元将关于所述上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括由所述设置单元设置的边界，比所述上层级单位低，且比所述下层级单位高。

（2）根据上面的（1）所述的图像处理装置，其中，所述上层级单位是片，所述中间层级单位是LCU（最大编码单位），并且所述下层级单位是CU（编码单位）。

（3）根据上面的（2）所述的图像处理装置，其中，关于所述上层级单位的图像数据的信息是所述编码数据的片头。

（4）根据上面的（3）所述的图像处理装置，还包括：

计算单元，所述计算单元计算指示由所述设置单元设置的边界位置的片边界地址；以及

生成单元，所述生成单元生成包括由所述计算单元计算的所述片边界地址的所述片头，

其中，所述添加单元将由所述生成单元生成的所述片头添加在包括所述边界的LCU前面。

（5）根据上面的（4）所述的图像处理装置，其中，当由所述设置单元在一个LCU中设置多个片边界时，所述添加单元将其边界用作头的片的片头添加在所述LCU前面。

（6）根据上面的（4）或（5）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的SCU（最小编码单位）为单位按照数据处理顺序指示所述边界位置的信息。

（7）根据上面的（4）或（5）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的在水平方向和竖直方向上的SCU（最小编码单位）为单位用坐标指示所述边界位置的信息。

（8）根据上面的（4）或（5）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的CU为单位按照数据处理顺序指示所述边界位置的信息。

（9）根据上面的（1）至（8）中任一项所述的图像处理装置，其中，所述上层级单位是熵片，所述中间层级单位是LCU（最大编码单位）、并且所述下层级单位是CU（编码单位）。

（10）一种图像处理装置的图像处理方法，包括：

通过设置单元，当以具有层级结构的编码单位对图像数据进行编码时，按比所述上层级单位低的下层级单位设置上层级单位的图像数据的边界位置；

通过编码单元，经由根据所设置的边界位置对所述图像数据进行编码，来生成编码数据；

通过添加单元，将关于所述上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括所设置的边界，比所述上层级单位低，且比所述下层级单位高。

（11）一种图像处理装置，包括：

提取单元，所述提取单元从以具有层级结构的编码单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，所述中间层级单位包括按比所述上层级单位低的下层级单位设置的、所述上层级单位的图像数据的边界，比所述上层级单位低，并且比所述下层级单位高；

决定单元，所述决定单元基于由所述提取单元提取的关于所述上层级单位的图像数据的信息，来决定所述上层级单位的图像数据的边界位置；以及

解码单元，所述解码单元根据由所述决定单元决定的所述上层级单位的图像数据的边界位置，来对所述编码数据进行解码。

（12）根据上面的（11）所述的图像处理装置，其中，所述上层级单位是片，所述中间层级单位是LCU（最大编码单位），并且所述下层级单位是CU（编码单位）。

（13）根据上面的（12）所述的图像处理装置，其中，关于所述上层级单位的图像数据的信息是所述编码数据的片头。

（14）根据（13）所述的图像处理装置，还包括：

地址解码单元，所述地址解码单元对片边界地址的编码数据进行解码，所述片边界地址指示包括在所述提取单元提取的片头中的片的边界位置，

其中，所述决定单元基于从所述地址解码单元的解码获得的所述片边界地址来决定用作所述片的边界的CU。

（15）根据上面的（14）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的SCU（最小编码单位）为单位按照数据处理顺序指示所述边界位置的信息。

（16）根据上面的（14）或（15）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的在水平方向和竖直方向上的SCU（最小编码单位）为单位用坐标指示所述边界位置的信息。

（17）根据上面的（14）或（15）所述的图像处理装置，其中，所述片边界地址是以所述LCU内的CU为单位按照数据处理顺序指示所述边界位置的信息。

（18）根据上面的（14）至（17）中任一项所述的图像处理装置，其中，当一个LCU包括多个片边界并且多个片头被添加在所述LCU前面时，所述提取单元提取添加在所述LCU前面的每个片头；并且所述决定单元基于每个片头来决定每个片的边界位置。

（19）根据上面的（11）至（18）中任一项所述的图像处理装置，其中，所述上层级单位是熵片，所述中间层级单位是LCU（最大编码单位）、并且下层级单位是CU（编码单位）。

（20）一种图像处理装置的图像处理方法，包括：

通过提取单元，从以具有层级结构的编码单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，所述中间层级单位包括按比所述上层级单位低的下层级单位设置的、所述上层级单位的图像数据的边界，比所述上层级单位低，并且比所述下层级单位高；

通过决定单元，基于所提取的关于所述上层级单位的图像数据的信息，来决定所述上层级单位的图像数据的边界位置；以及

通过解码单元，根据所决定的所述上层级单位的图像数据的边界位置，来对所述编码数据进行解码。

300 图像编码装置

306 无损编码单元

321 片头编码单元

331 片设置单元

332 片结构编码单元

333CU 数据编码单元

341 片边界地址计算单元

342 片头生成单元

400 图像编码装置

402 无损解码单元

421 片头解码单元

431NAL 数据缓冲器

432 片头缓冲器

433 片结构决定单元

434CU 数据解码单元

441 片边界地址缓冲器

442 片边界解码单元

Claims (14)

1.一种图像处理装置，包括：

设置单元，当以具有层级结构的单位对图像数据进行编码时，所述设置单元按比上层级单位低的下层级单位设置所述上层级单位的图像数据的边界位置；

编码单元，所述编码单元通过根据由所述设置单元设置的所述边界位置对所述图像数据进行编码，来生成编码数据；以及

添加单元，所述添加单元将关于所述上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括由所述设置单元设置的边界，比所述上层级单位低，且比所述下层级单位高；

其中，所述上层级单位是片，所述中间层级单位是作为具有最大尺寸的编码单位的最大编码单位，并且所述下层级单位是作为编码的单位的编码单位；所述添加单元将关于所述上层级单位的图像数据的信息设置为所述编码数据的片头；所述添加单元将指示由所述设置单元设置的边界位置的片边界地址设置为所述片头，并将所设置的片头添加在包括所述边界的最大编码单位前面。

2.根据权利要求1所述的图像处理装置，其中，当由所述设置单元在一个最大编码单位中设置多个片边界时，所述添加单元将多个片边界地址作为片头，组织并布置在所述最大编码单位前面。

3.根据权利要求1所述的图像处理装置，其中，当由所述设置单元在一个最大编码单位中设置多个片边界时，所述添加单元将指示位于片的头中的编码单位的位置的编码单位地址作为片头，组织并布置在所述最大编码单位前面。

4.根据权利要求1所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的最小编码单位为单位按照数据处理顺序指示所述边界位置的信息。

5.根据权利要求1所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的在水平方向和竖直方向上的最小编码单位为单位用坐标指示所述边界位置的信息。

6.根据权利要求1所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的编码单位为单位按照数据处理顺序指示所述边界位置的信息。

7.一种图像处理装置的图像处理方法，包括：

通过设置单元，当以具有层级结构的单位对图像数据进行编码时，按比上层级单位低的下层级单位设置所述上层级单位的图像数据的边界位置；

通过编码单元，经由根据所设置的边界位置对所述图像数据进行编码，来生成编码数据；以及

通过添加单元，将关于所述上层级单位的图像数据的信息添加在中间层级单位的编码数据前面，所述中间层级单位包括所设置的边界，比所述上层级单位低，且比所述下层级单位高；

其中，所述上层级单位是片，所述中间层级单位是作为具有最大尺寸的编码单位的最大编码单位，并且所述下层级单位是作为编码的单位的编码单位；通过所述添加单元将关于所述上层级单位的图像数据的信息设置为所述编码数据的片头；通过所述添加单元将指示由所述设置单元设置的边界位置的片边界地址设置为所述片头，并将所设置的片头添加在包括所述边界的最大编码单位前面。

8.一种图像处理装置，包括：

提取单元，所述提取单元从以具有层级结构的单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，其中，所述中间层级单位包括按比所述上层级单位低的下层级单位设置的、所述上层级单位的图像数据的边界，比所述上层级单位低，并且比所述下层级单位高，所述上层级单位是片，所述中间层级单位是作为具有最大尺寸的编码单位的最大编码单位，并且所述下层级单位是作为编码的单位的编码单位，所述提取单元从所述编码数据的片头提取关于所述上层级单位的图像数据的信息；

决定单元，所述决定单元基于由所述提取单元提取的关于所述上层级单位的图像数据的信息，来决定所述上层级单位的图像数据的边界位置；以及

解码单元，所述解码单元根据由所述决定单元决定的所述上层级单位的图像数据的边界位置，来对所述编码数据进行解码；以及

地址解码单元，所述地址解码单元对片边界地址的编码数据进行解 码，所述片边界地址指示在所述提取单元从片头中提取的关于所述上层级单位的图像数据的信息中包括的片的边界位置；

其中，所述决定单元基于从所述地址解码单元的解码获得的所述片边界地址来决定用作所述片的边界的编码单位。

9.根据权利要求8所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的最小编码单位为单位按照数据处理顺序指示所述边界位置的信息。

10.根据权利要求8所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的在水平方向和竖直方向上的最小编码单位为单位用坐标指示所述边界位置的信息。

11.根据权利要求8所述的图像处理装置，其中，所述片边界地址是以所述最大编码单位内的编码单位为单位按照数据处理顺序指示所述边界位置的信息。

12.根据权利要求8所述的图像处理装置，其中，当一个最大编码单位包括多个片边界并且多个片边界地址被组织且布置在所述最大编码单位前面作为片头时，所述提取单元从添加在所述最大编码单位前面的片头提取多个片边界地址，并且所述决定单元基于所提取的多个片边界地址来决定每个片的边界位置。

13.根据权利要求8所述的图像处理装置，其中，当一个最大编码单位包括多个片边界并且指示位于所述片的头中的编码单位的位置的多个编码单位地址作为片头被组织并布置在所述最大编码单位前面时，所述提取单元从添加在所述最大编码单位前面的片头提取所述多个编码单位地址，并且所述决定单元基于所提取的多个编码单位地址来决定每个片的边界位置。

14.一种图像处理装置的图像处理方法，包括：

通过提取单元，从以具有层级结构的单位对图像数据进行编码而获得的编码数据，提取添加在中间层级单位的编码数据前面的关于上层级单位的图像数据的信息，以及从所述编码数据的片头提取关于所述上层级单位的图像数据的信息，其中，所述中间层级单位包括按比所述上层级单位低的下层级单位设置的、所述上层级单位的图像数据的边界，比所述上层级单位低，并且比所述下层级单位高，所述上层级单位是片，所述中间层级单位是作为具有最大尺寸的编码单位的最大编码单位，并且所述下层级单 位是作为编码的单位的编码单位；

通过决定单元，基于所提取的关于所述上层级单位的图像数据的信息，来决定所述上层级单位的图像数据的边界位置；以及

通过解码单元，根据所决定的所述上层级单位的图像数据的边界位置，来对所述编码数据进行解码；以及

通过地址解码单元，对片边界地址的编码数据进行解码，所述片边界地址指示在所述提取单元从片头中提取的关于所述上层级单位的图像数据的信息中包括的片的边界位置；

其中，所述决定单元基于从所述地址解码单元的解码获得的所述片边界地址来决定用作所述片的边界的编码单位。