CN106210746B - 图像解码装置和方法 - Google Patents

Abstract

本公开涉及图像编码装置和方法。对图像编码，并且设定指示图像的部分区域的尺寸的信息和指示部分区域的解码处理的负荷的等级。本公开可以应用于图像处理装置，诸如例如，对图像数据进行可分级编码的图像编码装置和对通过图像数据的可分级编码获得的编码数据进行解码的图像解码装置。

Description

图像解码装置和方法

本发明申请是申请日期为2014年7月9日、申请号为“201480038636.3”、发明名称为“图像解码装置和方法”的发明专利申请的分案申请。

技术领域

本公开涉及图像解码装置和方法，更具体地，涉及能够更准确地识别解码所需的性能的图像解码装置和方法。

背景技术

近年来，为了进一步提高MPEG-4Part10(高级视频编码，以下称为“AVC”)的编码效率，作为国际通讯联合会的通讯标准化部门(ITU-T) 和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化组织的联合协作团队-视频编码(JCTVC)已进行被称为高效视频编码(HEVC)的编码方案的标准化(例如，参见非专利文献1)。

在HEVC中，通过使用码片结构的应用可以仅对需要解码的区域进行解码。为了指示码片区域可被独立解码的事实，由运动约束码片集合 SEI支持HEVC的第二和以后的版本(包括MV-HEVC、SHVC、Range Ext.等)。

引用文献列表

专利文献

非专利文献

[非专利文献1]Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm, GaryJ.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS&Last Call)”, JCTVC-L1003_v34,JointCollaborative Team on Video Coding(JCT-VC) of ITU-T SG 16 WP 3 and ISO/IECJTC 1/SC 29/WG 11 12th Meeting: Geneva,CH,14-23Jan.2013

发明内容

技术问题

然而，作为关于用作确定解码器是否能够对流解码的基准的等级的信息和缓冲器容量，仅限定了完整流的值或层单元的值。

因此，即使在仅对完整图像的一部分解码的应用中，通过假设在对完整画面解码时的负荷来执行是否可以解码的确定。因此，存在需要不必要地高等级解码器的问题。此外，存在据此要递送的应用不必要地受到限制的问题。

考虑以上提及的问题作出了本公开并且本公开可以更准确地识别解码所需的性能。

对问题的解决方案

本技术的一个方面是一种图像解码装置，其包括：获取单元，被配置成获取图像数据的编码数据和用于定义图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；控制单元，被配置成基于获取单元获取的解码负荷定义信息来控制获取单元获取的编码数据的解码；以及解码单元，被配置成在控制单元的控制下对获取单元获取的编码数据进行解码。

部分区域可以被独立解码。

解码负荷定义信息可以包括用于根据指示部分区域的解码处理的负荷的量值的等级来定义解码处理的负荷的量值的信息。

解码负荷定义信息可以包括用于根据指示部分区域的尺寸的信息来定义部分区域的解码处理的负荷的量值的信息。

解码负荷定义信息可以包括用于根据指示部分区域在竖直方向上的长度的信息和指示部分区域在水平方向上的长度的信息来定义部分区域的解码处理的负荷的量值的信息。

解码负荷定义信息可以包括在能够被独立解码的部分区域的补充增强信息(SEI)中。

图像数据可以包括多个层，并且多个层的解码负荷定义信息可以包括在SEI中。

解码负荷定义信息可以包括指示用作基准的部分区域的尺寸的信息以及指示部分区域的解码处理的负荷的量值的等级。

部分区域可以是码片。

部分区域可以是多个码片的集合。

解码负荷定义信息可以包括用于根据指示解码处理的负荷的量值的等级来定义图像数据的图片中包括的多个部分区域中的解码处理的负荷的最大量值的信息。

解码负荷定义信息可以包括用于根据指示解码处理的负荷的量值的等级来定义图像数据的图片中包括的多个部分区域中的共同的负荷的量值的信息。

当图片中包括的多个部分区域具有L形时，可以定义包括L形的矩形区域的负荷的量值。

获取单元可以进一步获取指示解码负荷定义信息是否被设定的信息，并且当所获取的信息指示解码负荷定义信息被设定时，获取解码负荷定义信息。

本技术的一个方面是一种图像解码方法，其包括：获取图像数据的编码数据和用于定义图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；基于所获取的解码负荷定义信息来控制所获取的编码数据的解码；以及根据控制对所获取的编码数据进行解码。

在根据本技术的方面中，获取图像数据的编码数据和用于定义图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；基于所获取的解码负荷定义信息来控制所获取的编码数据的解码；以及根据控制对所获取的编码数据进行解码。

本技术的一个方面是一种图像编码装置，其包括：编码单元，被配置成对图像编码；以及设定单元，被配置成设定指示图像的部分区域的尺寸的信息和指示部分区域的解码处理的负荷的等级。

本技术的一个方面是一种图像编码方法，其包括：对图像编码；以及设定指示图像的部分区域的尺寸的信息和指示部分区域的解码处理的负荷的等级。

本发明的有利效果

根据本公开，可以对图像编码和解码。特别地，可以更准确地识别解码所需的性能。

附图说明

图1是描述编码单元的示例性配置的示图。

图2是图示分层图像编码方案的示例的视图。

图3是用于描述空间可分级编码的示例的示图。

图4是用于描述时间可分级编码的示例的示图。

图5是用于描述信噪比的可分级编码的示例的示图。

图6是描述执行部分显示的示例性应用的示图。

图7是描述执行部分显示的另一示例性应用的示图。

图8是描述被应用本技术的定义解码负荷的示例性方法的示图。

图9是图示MCTS SEL的扩展示例的示图。

图10是描述MCTS SEL的概况的示图。

图11是描述MCTS SEL的概况的示图。

图12是描述MCTS SEL的概况的示图。

图13是描述MCTS SEL的概况的示图。

图14是描述MCTS SEL的概况的示图。

图15是描述MCTS SEL的概况的示图。

图16是描述MCTS SEL的概况的示图。

图17是描述MCTS SEL的概况的示图。

图18是图示关于每个ROI的语法的示例性传送的示图。

图19是图示MCTS SEL的扩展示例的示图。

图20是图示MCTS SEL的示例性语法的示图。

图21是图示MCTS SEL的扩展示例的示图。

图22是描述参数映射的状态的示图。

图23是描述语法元素的示图。

图24是图示MCTS SEL的扩展示例的示图。

图25是描述参数映射的状态的示图。

图26是描述语法元素的示图。

图27是图示图像编码装置的主要配置示例的框图。

图28是图示基层图像编码单元的主要配置示例的框图。

图29是图示增强层图像编码单元的主要配置示例的框图。

图30是图示报头信息生成单元的主要配置示例的框图。

图31是描述图像编码处理的示例性流程的流程图。

图32是描述基层编码处理的示例性流程的流程图。

图33是描述增强层编码处理的示例性流程的流程图。

图34是描述报头信息生成处理的示例性流程的流程图。

图35是图示图像解码装置的主要配置示例的框图。

图36是图示基层图像解码单元的主要配置示例的框图。

图37是图示增强层图像解码单元的主要配置示例的框图。

图38是图示报头信息分析单元的示例性配置的框图。

图39是用于描述图像解码处理的示例性流程的流程图。

图40是用于描述报头信息分析处理的示例性流程的流程图。

图41是描述基层解码处理的示例性流程的流程图。

图42是用于增强层解码处理的示例性流程的流程图。

图43是图示多视图图像编码方案的示例的示图。

图44是图示被应用本技术的多视图图像编码装置的主要配置示例的示图。

图45是图示被应用本技术的多视图图像解码装置的主要配置示例的示图。

图46是图示计算机的主要配置示例的框图。

图47是图示电视装置的示意性配置的示例的框图。

图48是图示移动电话的示意性配置的示例的框图。

图49是图示记录和再现装置的示例性示意性配置的框图。

图50是图示成像装置的示例性示意性配置的框图。

图51是图示使用可分级编码的示例的框图。

图52是图示使用可分级编码的另一示例的框图。

图53是图示使用可分级编码的另一示例的框图。

图54是图示视频设备的示意性配置的示例的框图。

图55是图示视频处理器的示意性配置的示例的框图。

图56是图示视频处理器的示意性配置的另一示例的框图。

具体实施方式

在下文中将描述用于实现本公开的方面(以下称为“实施例”)。描述将以如下顺序进行。

1.第一实施例(部分图像的解码负荷定义)

2.第二实施例(图像编码装置)

3.第三实施例(图像解码装置)

4.第四实施例(多视图图像编码装置和多视图图像解码装置)

5.第五实施例(计算机)

6.第六实施例(应用示例)

7.第七实施例(可分级编码的应用示例)

8.第八实施例(设备、单元、模块和处理器)

<1.第一实施例>

<标准化图像编码的流程>

近年来，如下装置激增，其中以数字方式处置图像信息，并且在该情况下，为了高效率地传送和积累信息，使用图像信息特定冗余，并且采用编码方案对图像进行压缩编码，其中使用诸如离散余弦变换的正交变换和运动补偿用于补偿。作为编码方案，例示了移动图片专家组(MPEG)。

具体地，MPEG-2(ISO/IEC 13818-2)是被定义为通用图像编码方案的标准，并且通常支持隔行扫描图像和逐行扫描图像二者以及标准分辨率图像和高清晰度图像二者。例如，MPEG-2当前被广泛地用于范围广泛的应用，包括专业应用和消费者应用。当使用MPEG2压缩方案时，例如，具有720×480个像素的标准分辨率的隔行扫描图像可以被分配4至8Mbps的码量(位率)。此外，当使用MPEG2压缩方案时，例如，具有 1920×1088个像素的高分辨率的隔行扫描图像可以被分配18至22Mbps 的码量(位率)。因此，可以实现高压缩率和良好的图像质量。

MPEG-2主要被设计用于适于广播的高图像质量编码，但是不对应于比MPEG-1低的码量(位率)，即更高压缩率的编码方案。随着移动终端的普及，设想对于该编码方案的需要将在未来增加。因此，MPEG-4 编码方案已被标准化。图像编码方案的标准在1998年12月被批准作为国际标准ISO/IEC14496-2。

另外，近年来，出于用于电视会议的图像编码的最初目的，称为 H.26L(ITU-T(国际电信联盟远程通信标准化组织)Q6/16VCEG(视频编码专家组))的标准已被标准化。与诸如MPEG-2和MPEG-4的相关技术的编码方案相比，已知H.26L请求更大的压缩量用于编码和解码，但是具有更高的编码效率。此外，目前，作为MPEG4行动的一部分，基于H.26L，H.26L中不支持的功能也被并入以实现更高的编码效率的标准化正在进行，作为增强压缩视频编码的联合模型。

作为标准化进度表，H.264和MPEG-4Part 10(高级视频编码，以下称为“AVC”)在2003年3月变为国际标准。

此外，作为H.264/AVC的扩展，在2005年2月完成了保真度范围扩展(FRExt)的标准化，其包括诸如RGB、4:2:2或4:4:4的专业使用所需的编码工具以及在MPEG-2中定义的8×8DCT或量化矩阵。因此，当使用H.264/AVC时，该编码方案还能够适当地表示电影中包括的影片噪声，并且用于广泛的应用，诸如蓝光盘(注册商标)。

然而，近年来，对更高压缩率编码的需要正在增加，包括约4000 ×2000个像素的图像的压缩，这是高清晰度图像的像素数目的四倍，或者在诸如互联网的具有有限的传送容量的环境中递送高清晰度图像。因此，在前面描述的ITU-T下的VCEG中，继续进行关于提高编码效率的研究。

因此，当前，为了较之AVC进一步提高编码效率，作为ITU-T和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化组织的视频编码联合合作小组(JCTVC)进行被称为高效视频编码(HEVC)的编码格式的标准化(例如，参见非专利文献1)。作为HEVC的标准，在2013 年1月发布了作为规范草案的委员会草案(例如，参见非专利文献1)

<编码方案>

在下文中，将通过高效率视频编码(HEVC)方案的图像编码和解码的应用示例来描述本技术。

<编码单位>

在高级视频编码(AVC)方案中，定义了宏块和子宏块的分层结构。然而，16×16个像素的宏块对于在下一代编码方案，即超高清晰度(UHD， 4000×2000个像素)中提供的大图像帧而言不是最优的。

另一方面，在HEVC方案中，如图1中所示，编码单位(CU)被定义。

CU也被称为树形编码块(CTB)，并且与AVC方案中的宏块相似地用作图片单位的图像的部分区域。后者被固定为16×16个像素的尺寸。另一方面，前者没有固定尺寸，而是在各个序列中在图像压缩信息中指定。

例如，在要输出的编码数据中包括的序列参数集合(SPS)中定义 CU的最大尺寸(最大编码单位(LCU))和最小尺寸(最小编码单位 (SCU))。

在每个LCU中，在等于或大于SCU的尺寸的范围内，当设定分割标志(split-flag)＝1时，该单位可以被分成具有更小尺寸的CU。在图1 的示例中，LCU的尺寸是128，并且最大等级深度是5。当分割标志被设定为“1”时，2N×2N尺寸的CU被分成具有N×N尺寸的CU的低一级的等级。

此外，CU被分成预测单位(PU)，预测单位是用作帧内预测或帧间预测的处理单位的区域(图片单位的图像的部分区域)，并且CU被分成变换单位(TU)，变换单位是用作正交变换的处理单位的区域(图片单位的图像的部分区域)。当前，在HEVC方案中，除了4×4和8×8之外，可以使用16×16和32×32的正交变换。

如上述HEVC方案中的那样，在其中定义CU并且以CU为单位执行各种处理的编码方案中，AVC方案中的宏块可以被视为对应于LCU，并且块(子块)可以被视为对应于CU。此外，AVC方案中的运动补偿块可以被视为对应于PU。然而，由于CU具有分层结构，因此最顶层的LCU 的尺寸通常被设定为大于AVC方案的宏块，例如128×128个像素。

因此，在下文中，LCU可以包括AVC方案中的宏块，并且CU可以包括AVC方案中的块(子块)。就是说，以下描述中使用的“块”指的是图片中的任意部分区域，并且其尺寸、形状和特性等不受限制。换言之，“块”包括任意区域(处理单位)，例如TU、PU、SCU、CU、LCU、子块、宏块或切片。毋庸赘言，还包括其他部分区域(处理单位)。在有必要限制尺寸、处理单位等时，将作适当地描述。

此外，在本说明书中，树形编码单位(CTU)是包括当在LCU(CU 的最大数目)的树形编码块(CTB)中执行处理时的参数以及其LCU基 (等级)的单位。此外，CTU的编码单位(CU)是包括当在编码块(CB) 中执行处理时的参数以及其CU基(等级)的单位。

<模式选择>

同时，在AVC和HEVC编码方案中，为了实现更高编码效率，重要的是选择适当的预测模式。

作为该选择方案的示例，可以例示在称为联合模型(JM)的 H.264/MPEG-4AVC的参照软件中实现的方法(在http://iphome.hhi.de/suehring/tml/index.htm中公开)。

在如后面将描述的，在JM中，可以选择确定两个模式的方法，即高复杂度模式和低复杂度模式。在这两个模式中，计算关于每个预测模式 Mode的成本函数值，并且选择值最小的预测模式作为关于块或宏块的最优模式。

高复杂度模式中的成本函数被表示为下式(1)：

[数学式1]

Cost(Mode∈Ω)＝D+λ*R…(1)

这里，Ω指示用于对块或宏块编码的候选模式的全体集合，并且D 指示当在预测模式中执行编码时在解码图像和输入图像之间的差能量。λ指示作为量化参数的函数提供的拉格朗日(Lagrange)未确定乘数。R指示在模式中执行编码时包括正交变换系数的总编码量。

就是说，当在高复杂度模式中执行编码时，有必要在所有候选模式中执行一次临时编码处理以便计算参数D和R。因此需要较高的计算量。

低复杂度模式中的成本函数被表示为下式(2)：

[数学式2]

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit···(2)

这里，不同于高复杂度模式，D指示预测图像与输入图像之间的差能量。QP2Quant(QP)是作为量化参数QP的函数而提供的。HeaderBit 指示在不具有正交变换系数的运动向量或模式中属于报头的信息的码量。

就是说，在低复杂度模式中，有必要在各个候选模式中执行预测处理，但是对于解码图像不是必需的。因此不必执行编码处理。出于该原因，较之高复杂度模式，可以实现较低的计算量。

<分层编码>

顺便提及，上述诸如MPEG-2和AVC的图像编码方案具有可分级功能。可分级编码(分层编码)指的是将图像分成多个层(分层)并且针对每个层执行编码的方案。图2是图示分层图像编码方案的示例的示图。

如图2中所示，在图像的分层中，使用具有可分级功能的预定参数作为基准，将一个图像分成多个层。换言之，分层图像(分级图像)包括预定参数值彼此不同的多个层的图像。分层图像的多个层包括基层和非基层(还被称为“增强层”)，在基层中仅使用其自身层的图像而不使用另一层的图像来执行编码和解码，而在非基层上使用另一层的图像来执行编码和解码。非基层可以使用基层的图像，或者使用另一非基层的图像。

通常，非基层包括其自身的图像和另一层的图像之间的差图像的数据(差数据)使得降低冗余。例如，当一个图像被分成两个层，即基层和非基层(还被称为“增强层”)时，仅使用基层的数据可以获得质量比原始图像低的图像。因此，在将基层的数据与增强层的数据合成时，可以获得原始图像(即高质量图像)。

当图像以该方式被分层时，可以根据情况获得多种质量级别的图像。例如，在诸如移动电话的具有低处理能力的终端中，仅传送基层的图像压缩信息，并且播放具有低空间和时间分辨率或具有低图像质量的移动图像，并且在诸如电视或个人计算机的具有高处理能力的终端中，除了基层之外，传送增强层的图像压缩信息，并且播放具有高空间和时间分辨率或高图像质量的移动图像，使得根据终端或网络的能力，在不执行代码转换处理并且可以从服务器传送图像压缩信息。

<可分级参数>

在该分层图像编码和分层图像解码(可分级编码和可分级解码)中，具有可分级功能的参数是任意的。例如，如图3中所示的空间分辨率可以用作其参数(空间可分级性)。在空间可分级性中，每个层的图像分辨率不同。就是说，如图3中所示，每个图片被分成两个层，即空间分辨率低于原始图像的基层以及与基层图像合成并且可以获得原始图像(原始空间分辨率)的增强层。毋庸赘言，等级数目仅是示例，并且图像可以被分层成任意数目的等级。

此外，作为实现可分级性质的参数，如图4中所示，还可以应用另一示例，例如时间分辨率(时间可分级性)。在时间可分级性中，每个层的帧速率不同。换言之，在该情况下，如图4中所示，图像被分成具有不同的帧速率的层，并且在将具有高帧速率的层添加到具有低帧速率的层时，可以获得具有较高帧速率的移动图像，并且当所有层被添加时，可以获得原始移动图像(原始帧速率)。等级数目仅是示例，并且图像可以分层成任意数目的等级。

此外，作为实现该可分级性质的参数，如图5中所示，在另一示例中，可以应用例如信噪比(SNR)(SNR可分级性)。在SNR可分级性中，每个层的SNR不同。就是说，在该情况下，如图5中所示，每个图片被分层成两个层，即SNR低于原始图像的基层和可以与基层的图像合成以获得原始图像(原始SNR)的增强层。就是说，在基层图像压缩信息中，传送关于低PSNR的图像的信息，并且将增强层图像压缩信息添加到关于低PSNR的图像的信息。因此，可以重构高PSNR图像。毋庸赘言，等级数目仅是示例，并且图像可以分层成任意数目的层。

毋庸赘言，实现该可分级性质的参数可以是除了上述示例以外的参数。例如，在位深度可分级性中，基层是8位图像，将增强层添加到基层，因而获得10位图像。

此外，在色度可分级性中，基层是4:2:0格式的分量图像，将增强层添加到基层，因而获得4:2:2格式的分量图像。

<码片结构和层的定义>

在HEVC中，可以通过使用码片结构的应用仅对需要解码的区域进行解码。为了指示码片区域能够被独立解码的事实，HEVC的第二版和之后的版本(包括MV-HEVC、SHVC、Range Ext.等)由运动约束码片集合SEI支持。

<应用示例>

将描述被应用本技术的应用示例。

在被配置成将图像从服务器递送到终端的系统中，例如，如图6中所例示的，存在如下应用，其中单个画面被分成多个画面并且在切换显示区域的同时执行递送。此外，例如，如图7中所例示的，存在如下应用，其中选择要显示(递送)的部分区域以便选择图像的高宽比或分辨率。

在图6的应用中，在图像的编码和解码中使用码片作为单位从完整图像分割部分图像，并且将其递送到终端。分割的部分图像在完整图像中的位置可以由例如终端的用户指定。因此，在该终端中，可以显示完整图像的期望位置的部分图像。例如，在诸如体育广播的服务中，在从服务器等提供并且通过捕获完整比赛地点、完整场地等的图像获得的宽角度图像中，集中于用户的期望部分(例如，喜爱的运动员、教练、球门前、替补席和观众席)，部分图像可以被分割和下载(或流式传输)，并且显示在终端上。就是说，终端用户可以集中于完整图像的期望部分。

在图7的应用中，通过简单地选择码片，可以将显示图像的分辨率设定为HD或影院尺寸。

然而，作为关于用作确定解码器是否能够对流解码的基准的等级以及缓冲器容量的信息，仅定义整个流的值或者层单位的值。

因此，即使在仅对完整图像的一部分解码的应用中，也要假设在对完整画面解码时的负荷来执行是否可以解码的确定。因此，存在需要不必要地高等级解码器的问题。此外，存在因此要递送的应用不必要地受到限制的问题。

因此，设定用于定义图像数据的图像的能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，并且传送解码负荷定义信息。例如，从编码侧向解码侧连同图像数据的编码数据一起传送解码负荷定义信息。

通过这种方式，解码器可以根据解码负荷定义信息识别对部分区域解码所需的性能，并且确定是否可以解码。就是说，可以更准确地识别解码所需的性能。因此，可以为图像数据选择具有适当性能的解码器。因此，可以抑制出现应用相对于图像数据的解码负荷具有不必要地高等级的解码器的情况。此外，可以抑制因此要递送的应用不必要地受到限制的情况。

<解码负荷定义信息的设定>

例如根据图8定义解码负荷定义信息。例如，如图8的A中例示的，可以针对单个层的能够被独立解码的部分区域设定用于定义部分区域的解码处理的负荷的量值的解码负荷定义信息。在图8的A的示例中，等级4.0被设定为对单个层的完整图像解码，并且等级2.0被设定为对图像的能够被独立解码的码片(部分区域)。

此外，例如，如图8的B中所例示的，可以针对包括多个层的图像的每个层的能够被独立解码的部分区域设定解码负荷定义信息。在图8 的B的示例中，设定用于对所有层的图像解码的等级5.0，并且设定用于对基层(层0)的完整图像解码的等级4.0。此外，设定用于对基层(层0) 的图像的能够被独立解码的码片(部分区域)解码的等级2.0。此外，设定用于对仅参考增强层(层1)的图像的基层(0)的图像的能够被独立解码的码片的码片进行解码(即，对要被参考的基层(层0)的码片以及参考其的增强层(层1)的码片解码)的等级4.0。

此外，例如，如图8的C中所例示的，可以针对仅参考能够被独立解码的部分区域的层的完整图像和被参考的部分区域设定解码负荷定义信息。就是说，参考能够被独立解码的码片(部分区域)的一侧可以是完整图像而非部分区域。在图8的C的示例中，基本上设定与图8的B的示例相同的等级。然而，在图8的B的示例中，设定用于对仅参考增强层(层1)的图像中的基层(0)的图像的能够被独立解码的码片的码片进行解码的等级。然而，替选地，在图8的C的示例中，设定用于对仅参考基层(0)的图像的能够被独立解码的码片的增强层(层1)的完整图像进行解码(即，对要被参考的基层(层0)的码片以及参考其的增强层(层1)的完整图像解码)的等级4.0。

再者，在该情况下，为了识别增强层(层1)的完整图像参考的部分区域(码片)(其位置)，用作参考源的基层(层0)的码片的位置信息可以与用作参考源的增强层(层1)的完整图像相关联(映射)。在图8 的C的示例中，基层(层0)的码片中的相同位置的坐标映射到增强层(层 1)的完整图像的左上角的坐标。

<等级定义的参数>

注意，等级定义的参数包括最大像素数目(MaxLumaPs)、最大缓冲器容量(MaxCPBSize)、图像每秒的最大像素数目(MaxLumaSr)、图像的最大位率(MaxBR)等。

<解码负荷定义信息>

通过扩展例如运动约束码片集合补充增强信息(MCTS SEI)来执行对解码所需的负荷的量值的定义。

例如，如图9的所描述的语法A中的那样，在MCTS SEI中，作为用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，可以设定指示部分区域的解码处理的负荷的量值的等级 (mcts_level_idc[i])。这里，“i”表示集合(还被称为“码片集合”)，其是由单个码片或多个码片组成的部分区域。就是说，在图9的A的示例中，针对每个集合设定解码所需的等级信息(mcts_level_idc)的值。在该情况下，语义可以是例如图9的B中所描述的那样。

在MCTS SEI中，针对每个矩形集合设定能够被独立解码的部分区域。例如，当图10的A的左上阴影部分是能够被独立解码的部分区域时，在MCTS SEI中针对每个集合设定部分区域，如图10的B中所示的那样。再者，如图10的C中所例示的，集合中包括的码片可以与另一集合交叠。部分区域的像素数目可以根据每个集合的像素数目来计算，例如图10的 D中所例示的那样。

此外，例如，如图11的所描述的语法A中的那样，在MCTS SEI 中，作为用于定义多个层的能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，可以设定指示每个层的部分区域的解码处理的负荷的量值的等级(mcts_level_idc[i][j])。这里，“i”表示集合，并且“j”表示层。就是说，在图11的A的示例中，针对每个集合以及针对每个层设定解码所需的等级信息(mcts_level_idc)的值。在该情况下，语义可以是例如图11的B中所描述的那样。

此外，例如，如图12的所描述的语法A中的那样，在MCTS SEI 中，作为用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，可以设定指示部分区域的尺寸的信息(maxLumaP S_in_set[i])。这里，“i”表示集合。就是说，在图12的A的示例中，针对每个集合设定指示集合(部分区域)的尺寸的信息(maxLumaP S_in_set)的值。在该情况下，语义可以是例如图12的B中所描述的那样。

此外，例如，如图13的所描述的语法A中的那样，在MCTS SEI 中，作为用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，可以设定指示部分区域的竖直方向上的长度的信息 (mcts_height_in_luma_samples[i])和指示部分区域的水平方向上的长度的信息(mcts_width_in_luma_samples[i])。这里“i”表示集合。就是说，在图13的A的示例中，针对每个集合设定指示集合(部分区域)的竖直方向上的长度的信息(mcts_height_in_luma_samples)的值和指示集合(部分区域)的水平方向上的长度的信息(mcts_width_in_luma_samples)。在该情况下，语义可以是例如图13的B中所描述的那样。

此外，例如，如图14的所描述的语法A中的那样，在MCTS SEI 中，作为用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息，可以设定被配置成对部分区域解码的虚拟参考解码器的参数(mcts_hrd_parameters())。

在该情况下，例如，如图15的所描述的语法A中的那样，作为虚拟参考解码器的参数(mcts_hrd_parameters())，可以设定最大输入位率 (mcts_bit_rate_value_minus1)和缓冲器容量 (mcts_cpb_size_value_minus1)。在该情况下，语义可以是例如图15的 B中所描述的那样。

此外，例如，如图16的A中所示，除了上述MCTS SEI的扩展之外，在序列参数集合(SPS)中，可以设定指示是否设定上述解码负荷定义信息的信息(mcts_present_flag)。在该情况下，语义可以是例如图16 的B中所描述的那样。

此外，例如，如图17的A中所示，在序列参数集合(SPS)中，不同于指示是否设定上述解码负荷定义信息的信息，可以设定与在MCTS SEI中设定的解码负荷定义信息相同的解码负荷定义信息。在该情况下，语义可以是例如图17的B中所描述的那样。

再者，在序列参数集合(SPS)中设定的信息可以在视频参数集合 (VPS)而非序列参数集合(SPS)中设定。

毋庸赘言，设定解码负荷定义信息的方法是任意的，并且不限于上述示例。此外，上述多种方法可以组合。此外，上述方法可以与其他方法组合。

如上文所述，当设定用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息时，可以基于解码负荷定义信息更准确地识别解码所需的性能。此外，在将解码负荷定义信息传送到解码侧时，甚至可以在解码侧更准确地识别解码所需的性能。

<针对DASH的调整>

例如，在如图6中所示的DASH(动态自适应流式传输)的使用情况下，优选的是移动并再现特定数目的码片区域。然而，当待再现的所有部分图像(码片组合)被登记为码片集合(tile_set)，并且设定其解码负荷定义信息时，在码片集合数目大时可能增加信息量。

例如，如图18中例示的，当再现(显示)2×2个码片的部分图像 (码片集合)时，如果(当完整图像中的要显示的部分改变时)部分图像的位置移动，则在其移动期间显示(再现)所有部分图像(码片集合)。如图右侧的等式中所示，这种部分图像的数目可能变得极大。因此，当针对所有这种部分图像设定解码负荷定义信息时，信息量可能不切实际地增加。此外，该情况下的每个码片集合的解码负荷信息的冗余可能变得极高。就是说，不需要的信息量可能增加。

这里，例如，扩展MCTS SEI，并且作为解码负荷信息，设定指示用作基准的部分图像的尺寸的信息以及指示部分图像的解码处理的负荷的量值的等级。就是说，可以根据部分图像的尺寸估计解码处理的负荷的量值的信息存储在MCTS SEI中。

因此，例如，当参考该信息时(当要解码的区域的尺寸与用作其基准的部分图像的尺寸比较时)，可以更准确地识别区域的解码处理的负荷的量值。

这里，用作基准的部分图像的尺寸可以由任何信息来指示，并且可以例如以通过均匀划分完整图像而获得的码片为单位被指示。此外，用作其基准的尺寸的数目可以是任意的，但是优选的是，尺寸的数目是多个以便更准确地识别解码处理的负荷的量值。此外，解码处理的负荷的量值可以由任何信息指示，并且可以由例如等级信息(等级)来指示。

顺便提及，在现有的ROI中，假设应用可以指定任何位置，或者换言之，定义一些区域(ROI)是绝对必要的。

然而，诸如DASH的码片式流式传输的应用具有分割并显示用户选择的区域的概念(还包括切换到具有不同分辨率的流)。就是说，由于用户可以任意确定要选择的区域，因此假设所有码片是能够被独立解码的码片并且被进一步均匀划分，并且假设根据要再现的装置的能力(等级)而不同的要选择的码片数目对应于最常见服务的操作。

因此，关于现有的ROI的应用的假设以及关于DASH的码片式流式传输的应用的假设具有略微不同的方向。

因此，引入应用模式，使得可以定义通过应用解码的区域(码片) 单位的等级，同时在一个SEI中满足这两个假设，并且可以针对每个模式改变要定义的信息用于扩展。

例如，针对每个应用定义模式的概念以按照需要改变要定义的信息。例如，设定DASH模式。因此，定义DASH模式＝＝“所有码片的均匀划分和独立”。就是说，在DASH模式中，假设画面被均匀地分成码片 (uniform_spacing_flag＝1@PPS)。此外，假设各个码片能够被独立解码。

因此，在DASH模式中，描述(定义)每次要解码的码片的数目以及与之对应的等级信息。例如，在图19中，作为每次要解码的码片的数目，设定三种情况4、12和30。针对三种情况中的每种情况设定等级信息(解码负荷信息)。

通过这种方式，可以针对以上描述的两个应用更适当地设定解码负荷信息。

图20图示了该情况下的MCTS SEI的扩展示例(示例性语法)。在图20的示例中，在从顶部起的第2行中设定应用的模式(mcts_mode)。因此，如从顶部起的第4行中描述的，当模式是关于现有ROI的应用的模式(关于当前ROI应用的模式)时(mcts_mode＝＝0)，与上述示例相似，针对每个能够被独立解码的部分图像设定解码负荷信息。例如，在从顶部起的第13行中设定解码所需的等级信息(mcts_level_idc[i])。

此外，当应用的模式是DASH模式(关于DASH应用的模式)时 (mcts_mode＝＝1)，设定每次要解码的区域的码片数目和与之对应的等级信息。例如，在从顶部起的第17行中，设定区域的识别信息(mcts_id[i])。在下一行中，设定指示识别信息指示的区域中包括的码片数目的信息 (num_of_tiles_minus1[i])。此外，在下一行中，设定对该区域解码所需的等级信息(mcts_level_idc[i])。

这里，“i”表示集合。就是说，在图20的示例中，针对每个集合设定解码所需的等级信息(mcts_level_idc)的值、识别信息(mcts_id)的值、以及指示识别信息指示的区域中包括的码片数目的信息 (num_of_tiles_minus1)的值。

当如上文所述设定解码负荷信息时，可以基于解码负荷信息根据要解码的区域的尺寸(码片数目)更准确地识别解码所需的性能。此外，当解码负荷定义信息被传送到解码侧时，即使在解码侧也可以根据要解码的区域的尺寸(码片的数目)更准确地识别解码所需的性能。

<设定解码负荷定义信息的其他示例1>

上文描述了矩形码片。在该情况下，例如，当假设MCTS(能够被独立解码的码片组(部分区域))具有“L”形状时，有必要定义两个集合，即将指示字母“L”的竖直线部分的竖直方向定义为纵向的码片集合，以及将指示字母“L”的水平线部分的水平方向定义为横向的码片集合。

此外，上文已描述了，作为解码负荷定义信息，针对每个矩形集合设定指示部分区域的解码处理的负荷的量值的信息(mcts_level_idc[i]) 的值。就是说，在该情况下，在L形部分区域中，需要设定指示解码所需的等级的两条信息(mcts_level_idc[i])。毋庸赘言，可以处置对集合解码所需的等级以这种方式不同的情况。然而，当对集合解码所需的等级相同时，变得冗余并且编码效率可能降低。

因此，可以针对能够被独立解码的部分区域而非针对每个集合设定一个等级。能够被独立解码的集合可以是能够被独立解码的部分区域。就是说，可以针对多个能够被独立解码的部分区域定义共同等级。图21的 A中描述了该情况下的示例性语法。此外，在图21的B中描述了该情况下的语义的示例。

在图21的A的示例中，在从顶部起的第3行中，设定指示所有码片是否形成能够被独立解码的集合的信息(each_tile_one_tile_set_flag)。在从顶部起的第4行中，在SEI消息中的运动约束码片集合中设定指示是否包括指示解码所需的等级的信息(mcts_level_idc)的信息(mcts_level _idc_present_flag)。

因此，在从顶部起的第5行中，当确定所有码片不形成唯一能够被解码的集合时(！each_tile_one_tile_set_flag)，在从顶部起的第7行至第 16行的循环中，针对每个集合执行设定，并且在从顶部而非循环起的第 18行中设定解码所需的等级(mcts_level_idc)。

就是说，如图22中例示的，当所有码片能够被独立解码时，被分配第“0”个识别信息(mcts_id[0])的集合和被分配第“1”个识别信息 (mcts_id[1])的集合彼此相邻，并且对集合解码所需的等级相同，没有对每个集合设定等级信息(mcts_level_idc[i])，而是可以设定对于这两个集合共同的等级信息(mcts_level_idc)。

通过这种方式，可以针对多个能够被独立解码的部分区域(例如，需要由多个集合表示的部分区域)设定仅一条(共同的)等级信息。因此，可以减少冗余并且提高编码效率。

再者，在非专利文献1中描述的HEVC中，假设以完整图像(图片)单位定义等级，并且还以完整图像(图片)单位执行等级的参数定义。因此，当以上文所述的部分区域单位定义等级时，还执行关于该部分区域的等级的参数定义，并且可以将该定义分配给(执行参数映射)完整图像 (图片)单位的等级的定义。

例如，当能够被独立解码的部分区域具有矩形形状时，定义关于部分区域的等级的参数。完整图像(图片)单位的等级的定义可以被该定义替换。此外，例如，当能够被独立解码的部分区域具有“L”形状时，设定包括L形部分区域的矩形，定义关于该矩形区域的等级的参数，并且完整图像(图片)单位的等级的定义可以被该定义替换。

例如，在图22中，当能够被独立解码的部分区域包括识别信息 (mcts_id[0])的集合和识别信息(mcts_id[1])的集合时，设定包括这两个集合的矩形区域，并且将其分配给图片(等级的参数定义单位)。就是说，该矩形区域在水平方向上的尺寸W被估计为 pic_width_in_luma_samples，该矩形区域在竖直方向上的尺寸H被估计为pic_height_in_luma_samples，该矩形区域的尺寸W×H被估计为 PicSizeInSamplesY，并且可以定义关于该矩形区域的等级的参数。

通过这种方式，针对矩形区域定义的参数的值可以映射到以图片单位定义的参数。因此，当执行这种参数映射时，可以对能够被独立解码的部分区域采用更适当的定义。

顺便提及，当所有码片能够被独立解码时，可以根据部分区域的尺寸设定对该部分区域解码所需的等级(mcts_level_idc[i])。在该情况下，部分区域的尺寸可以由该部分区域的竖直方向上的码片的数目(行的数目)和水平方向上的码片的数目(列的数目)表示。这里“i”表示部分区域的尺寸和等级之间的对应关系的数目。

在图21的A的示例中，在从顶部起的第20行至28行的循环中，部分区域的尺寸和等级被关联。在该循环中，设定(从顶部起的第24行) 指示部分区域在竖直方向上的码片的数目的信息 (num_mc_tile_columns_minus1[i])，并且设定(从顶部起的第25行)指示部分区域在水平方向上的码片的数目的信息 (num_mc_tile_rows_minus1[i])。

例如，在图23中，在其中设定识别信息(mcts_level_id[0])的第“0”个对应关系中，2×2个码片的部分区域与等级(meta_level_idc[0]) 相关联。就是说，在该对应关系中，指示部分区域在竖直方向上的码片的数目的信息(num_mc_tile_columns_minus1[0])的值被设定为“1”，并且指示部分区域在水平方向上的码片的数目的信息 (num_mc_tile_rows_minus1[0])被设定为“1”。当这些信息被设定时，除了与等级(meta_level_idc[0])对应的部分区域的码片的数目是4的事实之外，还示出了部分区域的形状(两个竖直码片×两个水平码片的矩形)。

例如，在图23中，在其中设定识别信息(mcts_level_id[1])的第“1”个对应关系中，4×4个码片的部分区域与等级(meta_level_idc[1]) 相关联。就是说，在该对应关系中，指示部分区域在竖直方向上的码片的数目的信息(num_mc_tile_columns_minus1[1])的值被设定为“3”，并且指示部分区域在水平方向上的码片的数目的信息 (num_mc_tile_rows_minus1[1])被设定为“3”。当这些信息被设定时，除了与等级(meta_level_idc[1])对应的部分区域的码片的数目是16的事实之外，还示出了部分区域的形状(四个竖直码片×四个水平码片的矩形)。

通过这种方式，可以增加用于使部分区域与等级相关联的信息的便利。例如，被配置成获取并显示其部分图像的终端基于该信息确定该部分区域在水平方向上是否是长的。当该部分区域在水平方向上长时，可以更容易地调整显示图像的高宽比，诸如通过在顶部和底部插入黑色带进行显示。

<设定解码负荷定义信息的其他示例2>

当所有码片能够被独立解码时，可以设定图片中的码片单位的等级的最大值(max_level_idc)。就是说，一个码片被设定为一个集合，可以设定关于每个集合的等级集合的图片中的最大值。在图24的A中描述了该情况下的示例性语法。此外，在图24的B中描述了该情况下的语义的示例。

在图24的A的示例中，在从顶部起的第21行中，设定图片中的等级的最大值(max_level_idc)。如图26中所例示的，该等级是针对由一个码片组成的集合设定的等级。例如，在图26中，针对总共包括6个竖直集合(6个码片)×10个水平集合(10个码片)的60个集合(60个码片)中的每个集合设定的等级的最大值被设定为max_level_idc。

通过应用确定从完整图像分割的码片的数目。尽管没有完整定义与每个等级对应的码片的数目，但是应用可以基于等级的最大值(max_level _idc)充分准确地确定能够被分割的码片的数目(可以执行诸如解码的处理)。

就是说，不同于完整地定义与每个等级对应的码片的数目，当在图片中仅设定针对由一个码片组成的每个集合(即针对每个码片)设定的等级的最大值(max_level_idc)时，应用可以基于设定控制被分割的码片的数目，使得诸如解码的处理不会失败。

因此，通过这种方式，较之完整地定义对应于每个等级的码片的数目的情况，可以简化所有码片的语法并且可以降低处理的负荷。此外，较之完整地定义对应于每个等级的码片的数目的情况，可以减少要传送的信息量并且可以提高编码效率。

再者，如图24的A中所例示的，在从顶部起的第17行中，设定关于每个部分区域的等级(mcts_level_idc[i])。就是说，如图25的A中所例示的，当存在两个能够被独立解码的集合，即被分配识别信息 (mcts_id[0])的集合和被分配识别信息(mcts_id[1])的集合时，可以设定每个集合的等级(mcts_level_idc[i])。

在该情况下，针对每个集合设定包括该集合的矩形区域，并且可以将其分配给每个图片(定义等级的参数的单位)。例如，在图25的A中，设定包括识别信息(mcts_id[0])的集合的矩形区域，该矩形区域在水平方向上的尺寸W被估计为pic_width_in_luma_samples，该矩形区域在竖直方向上的尺寸H被估计为pic_height_in_luma_samples，该矩形区域的尺寸W×H被估计为PicSizeInSamplesY，并且可以定义关于矩形区域的等级的参数。相似地，设定包括识别信息(mcts_id[1])的集合的矩形区域，该矩形区域在水平方向上的尺寸W被估计为 pic_width_in_luma_samples，该矩形区域在竖直方向上的尺寸H被估计为pic_height_in_luma_samples，该矩形区域的尺寸W×H被估计为 PicSizeInSamplesY，并且可以定义关于矩形区域的等级的参数。

通过这种方式，针对每个矩形区域定义的参数的值可以映射到以图片单位定义的参数。因此，当执行这种参数映射时，可以对能够被独立解码的部分区域采用更适当的定义。

再者，当能够被独立解码的部分区域由多个矩形区域形成时，可以设定包括所有这些矩形区域的矩形。例如，在图25的B中，识别信息 (mcts_id[0])的集合包括两个矩形区域，设定包括所有集合的矩形区域，该矩形区域在水平方向上的尺寸W被估计为 pic_width_in_luma_samples，该矩形区域在竖直方向上的尺寸H被估计为pic_height_in_luma_samples，该矩形区域的尺寸W×H被估计为 PicSizeInSamplesY，并且可以定义关于矩形区域的等级的参数。

通过这种方式，即使当能够被独立解码的部分区域由多个矩形区域形成时，针对矩形区域定义的参数的值仍可以映射到以图片单位定义的参数。因此，当执行这种参数映射时，即使在能够被独立解码的部分区域由多个矩形区域形成时，仍可以采用部分区域的更适当的定义。

<2.第二实施例>

<图像编码装置>

接下来，将描述被配置成实现上文所述的本技术的装置及其方法。图27是图示作为被应用本技术的图像处理装置的一个方面的图像编码装置的示图。图27中所示的图像编码装置100是被配置成执行分层图像编码(可分级编码)的装置。如图27中所示，图像编码装置100包括基层图像编码单元101、增强层图像编码单元102、复用单元103和控制单元 104。

基层图像编码单元101对基层图像编码，并且生成基层图像编码流。增强层图像编码单元102对增强层图像编码，并且生成增强层图像编码流。复用单元103对在基层图像编码单元101中生成的基层图像编码流和在增强层图像编码单元102中生成的增强层图像编码流进行复用，并且生成分层图像编码流。复用单元103将所生成的分层图像编码流传送到解码侧。

控制单元104执行与所有图像数据相关的设定，基于设定控制基层图像编码单元101和增强层图像编码单元102，并且因而控制每个层的编码。此外，控制单元104使用设定生成视频参数集合(VPS)，将参数提供给复用单元103，并且将参数传送到解码侧。在该情况下，视频参数集合可以包括在分层图像编码流中传送或者可以作为与分层图像编码流分离的数据传送。

此外，当在视频参数集合(VPS)中设定解码负荷定义信息或者指示是否设定解码负荷定义信息的信息时，控制单元104从基层图像编码单元101和增强层图像编码单元102收集解码负荷定义信息等，并且基于该信息在视频参数集合(VPS)中设定解码负荷定义信息或者指示是否设定解码负荷定义信息的信息。

此外，基层图像编码单元101和增强层图像编码单元102可以彼此交换解码负荷相关信息，其是关于解码处理的负荷的量值的信息。例如，如图11中所例示的，当设定多个层的解码负荷定义信息时，层的编码单位收集其他层的解码负荷相关信息。

<基层图像编码单元>

图28是图示图27的基层图像编码单元101的主要配置示例的框图。如图28中所示，基层图像编码单元101包括A/D转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、可逆编码单元116、积累缓冲器117、逆量化单元118和逆正交变换单元119。此外，基层图像编码单元101包括计算单元120、环路滤波器121、帧存储器122、选择单元123、帧内预测单元124、帧间预测单元125、预测图像选择单元126和速率控制单元127。

A/D转换单元111对输入图像数据(基层图像信息)执行A/D转换，并且提供经转换的图像数据(数字数据)以存储在画面重排缓冲器112中。画面重排缓冲器112根据图片组(GOP)将按显示顺序存储的帧的图像根据用于编码的帧顺序进行重排，并且将帧顺序被重排的图像提供给计算单元113。此外，画面重排缓冲器112将帧顺序被重排的图像提供给帧内预测单元124和帧间预测单元125。

计算单元113从读取自画面重排缓冲器112的图像中减去经由预测图像选择单元126从帧内预测单元124或帧间预测单元125提供的预测图像，并且向正交变换单元114输出其差信息。例如，在被执行帧内编码的图像中，计算单元113从读取自画面重排缓冲器112的图像中减去从帧内预测单元124提供的预测图像。此外，例如，在被执行帧间编码的图像中，计算单元113从读取自画面重排缓冲器112的图像中减去从帧间预测单元 125提供的预测图像。

正交变换单元114对从计算单元113提供的差信息执行诸如离散余弦变换或Karhunen-Loève变换的正交变换。正交变换单元114将其变换系数提供给量化单元115。

量化单元115对从正交变换单元114提供的变换系数进行量化。量化单元115基于与从速率控制单元127提供的编码量的目标值相关的信息设定量化参数，并且执行其量化。量化单元115将经量化的变换系数提供给可逆编码单元116。

可逆编码单元116根据任意编码方案对在量化单元115中量化的变换系数进行编码。由于系数数据在速率控制单元127的控制下被量化，因此编码量变为速率控制单元127设定的目标值(或接近目标值)。

此外，可逆编码单元116从帧内预测单元124获取指示帧内预测模式的信息，并且从帧间预测单元125获取指示帧间预测模式的信息或者差运动向量信息。此外，可逆编码单元116适当地生成基层的网络抽象层 (NAL)单位，包括序列参数集合(SPS)、图片参数集合(PPS)等。

可逆编码单元116使用任意编码方案对各种信息编码，并且将该信息设定(复用)为编码数据(还被称为“编码流”)的一部分。可逆编码单元116向积累缓冲器117提供通过编码获得的编码数据并且积累。

可逆编码单元116的编码方案的示例包括可变长度编码和算术编码。可变长度编码的示例包括在H.264方案或者AVC方案中定义的上下文自适应可变长度编码(CAVLC)。算术编码的示例包括上下文自适应二进制算术编码(CABAC)。

积累缓冲器117临时保存从可逆编码单元116提供的编码流(基层编码流)。积累缓冲器117在预定定时将所保存的基层编码流输出到复用单元103。就是说，积累缓冲器117还用作被配置成传送基层编码流的传送单元。

此外，在量化单元115中量化的变换系数也被提供给逆量化单元 118。逆量化单元118使用与量化单元115的量化对应的方法对经量化的变换系数进行逆量化。逆量化单元118将获得的变换系数提供给逆正交变换单元119。

逆正交变换单元119使用与正交变换单元114的正交变换处理对应的方法，对从逆量化单元118提供的变换系数执行逆正交变换。经历逆正交变换的输出(恢复的差信息)被提供给计算单元120。

计算单元120使通过预测图像选择单元126来自帧内预测单元124 或帧间预测单元125的预测图像与用作从逆正交变换单元119提供的逆正交变换结果的恢复的差信息相加，并且获得局部解码的图像(解码图像)。该解码图像被提供给环路滤波器121或帧存储器122。

环路滤波器121包括解块滤波器、自适应环路滤波器等，并且对从计算单元120提供的重构图像执行适当的滤波处理。例如，环路滤波器 121对重构图像执行解块滤波处理，并且因而去除重构图像的块失真。此外，例如，环路滤波器121使用Wiener滤波器对解块滤波处理结果(已被去除块失真的重构图像)执行环路滤波处理来提高图像质量。环路滤波器121将滤波处理结果(以下称为“解码图像”)提供给帧存储器122。

再者，环路滤波器121可以进一步对重构图像执行任何其他的滤波处理。此外，环路滤波器121可以按照需要将关于滤波系数等的在滤波处理中使用的信息提供给可逆编码单元116，并且对信息编码。

帧存储器122存储所提供的解码图像，并且在预定定时将存储的解码图像提供给选择单元123作为基准图像。

更具体地，帧存储器122存储从计算单元120提供的重构图像和从环路滤波器121提供的解码图像。帧存储器122在预定定时或者基于来自诸如帧内预测单元124的外部的请求经由选择单元123将所存储的重构图像提供给帧内预测单元124。此外，帧存储器122在预定定时或者基于来自诸如帧间预测单元125的外部的请求经由选择单元123将所存储的解码图像提供给帧间预测单元125。

选择单元123选择从帧存储器122提供的基准图像的提供目标。例如，在帧内预测中，选择单元123将从帧存储器122提供的基准图像(当前图片中的像素值或者基层解码图像)提供给帧内预测单元124。此外，例如，在帧间预测中，选择单元123将从帧存储器122提供的基准图像(除了增强层或基层解码图像的当前图片以外的解码图像)提供给帧间预测单元125。

帧内预测单元124对作为处理对象的帧的图像的当前图片执行预测处理，并且生成预测图像。帧内预测单元124针对每个预定块(使用块作为处理单位)执行预测处理。就是说，帧内预测单元124生成作为当前图片的处理对象的当前块的预测图像。在该情况下，帧内预测单元124使用经由选择单元123从帧存储器122提供的作为基准图像的重构图像来执行预测处理(画面内预测(还被称为“帧内预测”))。就是说，帧内预测单元124使用重构图像中包括的当前块周围的像素值来生成预测图像。用于帧内预测的周围像素值是当前图片中已被处理的像素的像素值。在帧内预测中(即在生成预测图像的方法中)，预先准备多种方法(还被称为“帧内预测模式”)作为候选。帧内预测单元124在预先准备的多个帧内预测模式下执行帧内预测。

帧内预测单元124在用作候选的所有帧内预测模式下生成预测图像，使用从画面重排缓冲器112提供的输入图像来评估每个预测图像的成本函数值，并且选择最优模式。在选择了最优帧内预测模式时，帧内预测单元124将以最优模式生成的预测图像提供给预测图像选择单元126。

此外，如上文所述，帧内预测单元124适当地将指示所采用的帧内预测模式等的帧内预测模式信息提供给可逆编码单元116，并且对其编码。

帧间预测单元125对当前图片执行预测处理，并且生成预测图像。帧间预测单元125针对每个预定块(使用块作为处理单位)执行预测处理。就是说，帧间预测单元125生成用作当前图片的处理对象的当前块的预测图像。在该情况下，帧间预测单元125使用从画面重排缓冲器112提供的输入图像的图像数据以及从帧存储器122提供的作为基准图像的解码图像的图像数据来执行预测处理。解码图像是在当前图片之前被处理的帧的图像(不同于当前图片的图片)。就是说，帧间预测单元125执行使用另一图片的图像生成预测图像的预测处理(画面间预测(还被称为“帧间预测”))。

帧间预测通过运动预测和运动补偿来执行。更具体地，帧间预测单元125使用输入图像和基准图像，对当前块执行运动预测，并且检测运动向量。因此，帧间预测单元125使用基准图像，根据检测到的运动向量执行运动补偿处理，并且生成当前块的预测图像(帧间预测图像信息)。在帧间预测中(即在生成预测图像的方法中)，预先准备多种方法(还被称为“帧间预测模式”)作为候选。帧间预测单元125在预先准备的多个帧间预测模式下执行这种帧间预测。

帧间预测单元125在用作候选的所有帧间预测模式下生成预测图像。帧间预测单元125使用从画面重排缓冲器112提供的输入图像以及所生成的差运动向量的信息，评估每个预测图像的成本函数值，并且选择最优模式。在选择了最优帧间预测模式时，帧间预测单元125将以最优模式生成的预测图像提供给预测图像选择单元126。

当指示所采用的帧间预测模式的信息或者编码数据被解码时，帧间预测单元125将在帧间预测模式下执行处理所需的信息等提供给可逆编码单元126，并且对其编码。例如，作为必要的信息，例示了所生成的差运动向量的信息或者指示预测运动向量的索引的标志，作为预测运动向量信息。

预测图像选择单元126选择要被提供给计算单元113或计算单元 120的预测图像的提供源。例如，在帧内编码中，预测图像选择单元126 选择帧内预测单元124作为预测图像的提供源，并且将从帧内预测单元 124提供的预测图像提供给计算单元113或计算单元120。此外，例如，在帧间编码中，预测图像选择单元126选择帧间预测单元125作为预测图像的提供源，并且将从帧间预测单元125提供的预测图像提供给计算单元 113或计算单元120。

速率控制单元127基于在积累缓冲器117中积累的编码数据的编码量来控制量化单元115的量化操作的速率，使得不会发生上溢或下溢。

此外，帧存储器122将所存储的基层的解码图像提供给增强层图像编码单元102。

此外，如图28中所示，基层图像编码单元101进一步包括报头信息生成单元128。

报头信息生成单元128生成报头信息，诸如序列参数集合(SPS) 或MCTS SEI。在该情况下，如第一实施例中所述，报头信息生成单元 128执行设定用于定义能够被独立解码的部分区域的解码处理的负荷的量值的解码负荷定义信息的处理。例如，报头信息生成单元128可以从可逆编码单元116获取基层的解码负荷相关信息，并且基于解码负荷相关信息生成基层的能够被独立解码的部分区域的解码负荷定义信息。此外，报头信息生成单元128可以从增强层图像编码单元102获取例如增强层的解码负荷相关信息，并且基于解码负荷相关信息生成增强层的能够被独立解码的部分区域的解码负荷定义信息。

此外，报头信息生成单元128可以将解码负荷定义信息等提供给控制单元104，并且使得能够在视频参数集合中执行关于解码负荷定义信息的设定。

<增强层图像编码单元>

图29是图示图27的增强层图像编码单元102的主要配置示例的框图。如图29中所示，增强层图像编码单元102具有与图28的基层图像编码单元101基本上相同的配置。

就是说，如图29所示，增强层图像编码单元102包括A/D转换单元131、画面重排缓冲器132、计算单元133、正交变换单元134、量化单元135、可逆编码单元136、积累缓冲器137、逆量化单元138和逆正交变换单元139。此外，增强层图像编码单元102包括计算单元140、环路滤波器141、帧存储器142、选择单元143、帧内预测单元144、帧间预测单元145、预测图像选择单元146和速率控制单元147。

A/D转换单元131至速率控制单元147与图28的A/D转换单元111 至速率控制单元127对应。然而，增强层图像编码单元102的各个单元除了基层之外还执行对增强层图像信息编码的处理。因此，当描述A/D转换单元131至速率控制单元147的处理时，可以应用以上对图28的A/D 转换单元111至速率控制单元127的描述。然而，在该情况下，需要处理的数据需要是增强层的数据而非基层的数据。此外，有必要适当地将数据的输入源和输出目标的处理单元替换为A/D转换单元131至速率控制单元147中的相应的处理单元并且将其读取。

增强层图像编码单元102进一步包括报头信息生成单元148。

报头信息生成单元148与图28的报头信息生成单元128对应并且执行与报头信息生成单元128相同的处理。然而，报头信息生成单元148 执行增强层而非基层的处理。

替选地，当在基层的报头信息生成单元128中还创建增强层的解码负荷定义信息时，可以省略增强层的报头信息生成单元148。

<报头信息生成单元>

图30是图示图28的报头信息生成单元128的功能块的示例性配置的示图。在报头信息生成单元128中，例如，当使用RAM执行CPU从 ROM等读取的程序时，执行上述处理并且因此实现图30中所示的各种功能块。

如图30中所示，报头信息生成单元128包括解码负荷相关信息获取单元151、MCTSSEI生成单元152和SPS生成单元153。

解码负荷相关信息获取单元151获取关于解码处理的负荷的信息，其用于生成能够被独立解码的部分区域的解码负荷定义信息。只要其用于生成解码负荷定义信息，可以使用关于解码处理的负荷的信息的任何内容。

如第一实施例中所述，MCTS SEI生成单元152生成包括能够被独立解码的部分区域的解码负荷定义信息的MCTS SEI。就是说，MCTS SEI 生成单元152在MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息。解码负荷定义信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。再者，当以部分区域单位定义等级时，如第一实施例中描述的，MCTSSEI生成单元152还定义关于部分区域的等级的参数。定义可以被分配给(执行参数映射)完整图像(图片)单位的等级的定义。

如第一实施例中描述的，SPS生成单元153生成包括能够被独立解码的部分区域的解码负荷定义信息或者指示在MCTS SEI中是否设定能够被独立解码的部分区域的解码负荷定义信息的信息(还被共同称为“关于解码负荷的定义的信息”)的序列参数集合(SPS)。就是说，SPS生成单元153在序列参数集合(SPS)中设定能够被独立解码的部分区域的关于解码负荷的定义的信息。关于解码负荷的定义的信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。

再者，如第一实施例中所述的，仅在MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息，并且可以不在序列参数集合(SPS) 中设定该信息。在该情况下，SPS生成单元153可被省略。

<图像编码处理的流程>

接下来，将描述上述图像编码装置100执行的处理的流程。首先，将参照图31的流程图描述图像编码处理的示例性流程。

当图像编码处理开始时，在步骤S101中，图像编码装置100的控制单元104执行完整可分级编码的设定。

在步骤S102中，控制单元104根据在步骤S101中执行的设定控制从基层图像编码单元101到复用单元103的各个单元。

在步骤S103中，控制单元104通过应用在步骤S101中执行的设定来生成视频参数集合(VPS)。

在步骤S104中，基层图像编码单元101对基层的图像数据编码。

在步骤S105中，增强层图像编码单元102对增强层的图像数据编码。

在步骤S106中，复用单元103对在步骤S104中生成的基层图像编码流和在步骤S105中生成的增强层图像编码流(即各层的位流)进行复用，并且生成一个系统的分层图像编码流。再者，复用单元103按照需要在分层图像编码流中包括在步骤S103中生成的视频参数集合(VPS)。复用单元103输出分层图像编码流并且将该流传送到解码侧。

当步骤S106的处理结束时，图像编码装置100结束图像编码处理。通过该图像编码处理对一个图片进行处理。因此，图像编码装置100对分层移动图像数据的每个图片重复地执行该图像编码处理。然而，不一定针对每个图片执行处理，例如，适当地省略步骤S101至S103的处理。

<基层编码处理的流程>

接下来，将参照图32的流程图描述在图31的步骤S104中由基层图像编码单元101执行的基层编码处理的示例性流程。

当基层编码处理开始时，在步骤S121中，基层图像编码单元101 的A/D转换单元111对输入移动图像的帧(图片)的图像执行A/D转换。

在步骤S122中，画面重排缓冲器112存储在步骤S121中被执行 A/D转换的图像，并且从图片的显示顺序根据编码顺序执行重排。

在步骤S123中，帧内预测单元124在帧内预测模式中执行帧内预测处理。

在步骤S124中，帧间预测单元125在帧间预测模式中执行帧间预测处理，其中执行运动预测或运动补偿。

在步骤S125中，预测图像选择单元126基于成本函数值等选择预测图像。就是说，预测图像选择单元126选择步骤S123的帧内预测生成的预测图像和步骤S124的帧间预测生成的预测图像中的任何预测图像。

在步骤S126中，计算单元113计算在步骤S122的处理中重排帧顺序的输入图像和在步骤S125的处理中选择的预测图像之间的差。就是说，计算单元113生成输入图像和预测图像之间的差图像的图像数据。以这种方式获得的差图像的图像数据的数据量小于原始图像数据的数据量。因此，与图像被直接编码的情况相比，可以压缩数据量。

在步骤S127中，正交变换单元114对在步骤S126的处理中生成的差图像的图像数据执行正交变换。

在步骤S128中，量化单元115使用速率控制单元127计算的量化参数并且对在步骤S127的处理中获得的正交变换系数进行量化。

在步骤S129中，逆量化单元118使用与量化单元115的特性对应的特性，对在步骤S128的处理中生成并量化的系数(还被称为“量化系数”)进行逆量化。

在步骤S130中，逆正交变换单元119对在步骤S129的处理中获得的正交变换系数执行逆正交变换。

在步骤S131中，计算单元120使在步骤S125的处理中选择的预测图像与在步骤S130的处理中恢复的差图像相加，并且因而生成重构图像的图像数据。

在步骤S132中，环路滤波器121对在步骤S131的处理中生成的重构图像的图像数据执行环路滤波处理。结果，去除了重构图像的块失真等。

在步骤S133中，帧存储器122存储诸如在步骤S132的处理中获得的解码图像(基层解码图像)或者在步骤S131的处理中获得的重构图像的数据。

在步骤S134中，可逆编码单元116对在步骤S128的处理中获得并量化的参数进行编码。就是说，对与差图像对应的数据执行诸如可变长度编码或算术编码的可逆编码。

此外，在该情况下，可逆编码单元116对与在步骤S125的处理中选择的预测图像的预测模式相关的信息进行编码，并且将编码信息添加到通过编码而获得的编码数据。就是说，可逆编码单元116还对从帧内预测单元124提供的最优帧内预测模式信息或者与从帧间预测单元125提供的最优帧间预测模式对应的信息进行编码，并且将结果添加到编码数据。

在步骤S135中，报头信息生成单元128生成各种空单位等的报头信息。所生成的报头信息被提供给可逆编码单元116并且添加到编码数据。

在步骤S136中，积累缓冲器117对在步骤S134的处理中获得的编码数据(基层图像编码流)进行累积。积累缓冲器117中积累的基层图像编码流被适当地读取，提供给复用单元103，与增强层图像编码流复用，并且随后经由传送路径或记录介质被传送到解码侧。

在步骤S137中，速率控制单元127基于在步骤S136的处理中在积累缓冲器117中累积的编码数据的编码量(生成的码量)来控制量化单元 115的量化操作的速率，使得不会发生上溢或下溢。此外，速率控制单元 127将与量化参数相关的信息提供给量化单元115

当步骤S137的处理结束时，基层编码处理结束，并且处理返回图 31。

<增强层编码处理的流程>

接下来，将参照图33的流程图描述在图31的步骤S105中由增强层图像编码单元102执行的增强层编码处理的示例性流程。

增强层编码处理的各个处理(步骤S141至S157)对应于基层编码处理的各个处理(步骤S121至S137)，并且基本上通过与这些处理相同的方式被执行。尽管在基层上执行基层编码处理的处理，但是在增强层上执行增强层编码处理的各个处理(步骤S141至S157)。

此外，当仅在基层中设定能够被独立解码的部分区域的解码负荷定义信息时，在步骤S155中可以省略解码负荷定义信息的设定。

当步骤S157的处理结束时，增强层编码处理结束，并且处理返回图31。

<报头生成处理的流程>

接下来，将参照图34的流程图描述在图32的步骤S135中执行的报头生成处理的示例性流程。

当报头生成处理开始时，在步骤S161中，报头信息生成单元128 生成各种报头信息，例如，序列参数集合(SPS)、SEI、图片参数集合(PPS) 和切片报头(SliceHeader)。

在步骤S162中，解码负荷相关信息获取单元151获取生成能够被独立解码的部分区域的解码负荷定义信息所需的解码负荷定义信息，其是关于部分区域的解码处理的负荷的信息。此外，在设定了增强层的解码负荷定义信息时，还从增强层获取解码负荷相关信息。只要用于生成解码负荷定义信息，则可以使用解码负荷相关信息的任何内容。

在步骤S163中，MCTS SEI生成单元152在步骤S161中生成的能够被独立解码的部分区域的MCTS SEI中设定部分区域的解码负荷定义信息。例如，MCTS SEI生成单元152如在第一实施例中参照图9至26 的语法描述的那样设定解码负荷定义信息。

例如，如图10中所示，当能够被独立解码的部分区域包括多个集合(多个码片)时，MCTS SEI生成单元152使用每个码片的解码负荷相关信息，并且设定关于每个集合的解码负荷相关信息。此外，MCTS SEI 生成单元152可以使用每个码片的解码负荷相关信息并且设定整个部分区域的解码负荷定义信息。

再者，当存在多个能够被独立解码的部分区域时，MCTS SEI生成单元152可以设定每个部分区域的解码负荷定义信息。解码负荷定义信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。

在步骤S164中，SPS生成单元153设定能够被独立解码的部分区域的解码负荷定义信息，或者指示在步骤S161中生成的序列参数集合 (SPS)中的MCTS SEI中是否设定部分区域的解码负荷定义信息的信息 (还被称为“关于解码负荷的定义的信息”)。关于解码负荷的定义的信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。

当步骤S164的处理结束时，报头信息生成处理结束并且处理返回图32。

再者，如第一实施例中描述的，仅在MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息，并且该信息不能在序列参数集合 (SPS)中被设定。在该情况下，可以省略步骤S164的处理。

此外，在步骤S163中，当以部分区域单位定义等级时，如第一实施例中描述的，MCTS SEI生成单元152还定义部分区域的等级的参数。该定义可以被分配给完整图像(图片)单位的等级的定义(执行参数映射)。

如上文所述的报头信息被提供给可逆编码单元116并且包括在编码数据中。

当以该方式执行各个处理时，图像编码装置100可以更准确地识别解码所需的性能。

再者，当在增强层中设定能够被独立解码的部分区域的解码负荷定义信息时，可以如参照图34的流程图描述的那样执行报头信息生成单元 148。另一方面，当没有设定解码负荷定义信息时，可以仅执行图34的步骤S161的处理。

<3.第三实施例>

<图像解码装置>

接下来，将描述对如上文所述编码的编码数据的解码。图35是图示作为被应用本技术的图像处理装置的一个方面的、与图像编码装置100 对应的图像解码装置的主要配置示例的框图。图35中所示的图像解码装置200使用与编码方法对应的解码方法对图像编码装置100生成的编码数据进行解码(就是说，对被分级编码的编码数据进行分级解码)。如图35 中所示，图像解码装置200包括解复用单元201、基层图像解码单元202、增强层图像解码单元203和控制单元204。

解复用单元201接收其中从编码侧传送的基层图像编码流和增强层图像编码流被复用的分层图像编码流，对接收到的流解复用，并且提取基层图像编码流和增强层图像编码流。基层图像解码单元202对解复用单元 201提取的基层图像编码流解码，并且获得基层图像。增强层图像解码单元203对解复用单元201提取的增强层图像编码流解码，并且获得增强层图像。

控制单元204分析从解复用单元201提供的视频参数集合(VPS)，并且基于该信息控制基层图像解码单元202和增强层图像解码单元203 (控制每个层的编码)。

此外，控制单元204从基层图像解码单元202和增强层图像解码单元203获取报头信息的解码负荷定义信息的分析结果，并且根据分析结果控制图像解码装置200的各个处理单元的操作。

<基层图像解码单元>

图36是图示图35的基层图像解码单元202的主要配置示例的框图。如图36中所示，基层图像解码单元202包括积累缓冲器211、可逆解码单元212、逆量化单元213、逆正交变换单元214、计算单元215、环路滤波器216、画面重排缓冲器217和D/A转换单元218。此外，基层图像解码单元202包括帧存储器219、选择单元220、帧内预测单元221、帧间预测单元222和选择单元223。

积累缓冲器211还用作被配置成接收所传送的编码数据(从解复用单元201提供的基层图像编码流)的接收单元。积累缓冲器211接收并积累所传送的编码数据，并且在预定定时将编码数据提供给可逆解码单元 212。诸如预测模式信息的解码所需的信息被添加到编码数据。

可逆解码单元212使用与编码方案对应的解码方案对从积累缓冲器 211提供并且由可逆编码单元116编码的信息进行解码。可逆解码单元212 将通过解码获得的差图像的量化系数数据提供给逆量化单元213。

此外，可逆解码单元212确定选择帧内预测模式还是选择帧间预测模式作为最优预测模式，并且将关于最优预测模式的信息提供给在帧内预测单元221和帧间预测单元222之间被确定要选择的模式。就是说，例如，在编码侧选择帧内预测模式作为最优预测模式时，关于最优预测模式(帧内预测模式信息)的信息被提供给帧内预测单元221。此外，例如，在编码侧选择帧间预测模式作为最优预测模式时，关于最优预测模式(帧间预测模式信息)的信息被提供给帧间预测单元222。

此外，可逆解码单元212从编码数据提取例如量化矩阵或量化参数的逆量化所需的信息，并且将该信息提供给逆量化单元213。

逆量化单元213使用与量化单元115的量化方案对应的方案，对通过可逆解码单元212的解码获得的量化系数数据执行逆量化。再者，逆量化单元213是与逆量化单元118相同的处理单元。逆量化单元213将获得的系数数据(正交变换系数)提供给逆正交变换单元214。

逆正交变换单元214按照需要使用与正交变换单元114的正交变换方案对应的方案，对从逆量化单元213提供的正交变换系数执行逆正交变换。再者，逆正交变换单元214是与逆正交变换单元119相同的处理单元。

根据逆正交变换处理，恢复差图像的图像数据。恢复的差图像的图像数据对应于在编码侧执行正交变换之前的差图像的图像数据。在下文中，通过逆正交变换单元214的逆正交变换处理获得的恢复的差图像的图像数据还被称为“解码残差数据”。逆正交变换单元214将解码残差数据提供给计算单元215。此外，来自帧内预测单元221或帧间预测单元222的预测图像的图像数据经由预测图像选择单元223被提供给计算单元 215。

计算单元215使用解码残差数据和预测图像的图像数据，并且获得其中差图像和预测图像相加的重构图像的图像数据。重构图像对应于计算单元113减去预测图像之前的输入图像。计算单元215将重构图像提供给环路滤波器216。

环路滤波器216对所提供的重构图像适当地执行环路滤波处理，包括解块滤波处理或自适应环路滤波处理，并且生成解码图像。例如，环路滤波器216对重构图像执行解块滤波处理并且从而去除块失真。此外，例如，环路滤波器216使用Wiener滤波器对解块滤波处理结果(被去除块失真的重构图像)执行环路滤波处理来提高图像质量。

再者，环路滤波器216执行的滤波处理的类型是任意的，并且可以执行除了上述滤波处理之外的处理。此外，环路滤波器216可以使用从图像编码装置提供的滤波系数来执行滤波处理。此外，环路滤波器216可以省略该滤波处理并且可以在不执行滤波处理的情况下输出输入数据。

环路滤波器216将作为滤波处理结果的解码图像(或重构图像)提供给画面重排缓冲器217和帧存储器219。

画面重排缓冲器217对解码图像执行帧顺序的重排。就是说，画面重排缓冲器217根据原始显示顺序对画面重排缓冲器112重排成编码顺序的各帧的图像进行重排。就是说，画面重排缓冲器217按该顺序存储以编码顺序提供的各帧的解码图像的图像数据，读取以编码顺序存储的各帧的解码图像的图像数据，并且将结果提供给D/A转换单元218。D/A转换单元218对从画面重排缓冲器217提供的各帧的解码图像(数字数据)执行 D/A转换，并且输出并且在显示器(未示出)上显示模拟数据。

帧存储器219存储所提供的解码图像，并且在预定定时或基于来自诸如帧内预测单元221或帧间预测单元222的外部的请求，经由选择单元 220将所存储的解码图像提供给帧内预测单元221或帧间预测单元222作为基准图像。

帧内预测模式信息等被适当地从可逆解码单元212提供给帧内预测单元221。帧内预测单元221在帧内预测单元124中使用的帧内预测模式 (最优帧内预测模式)下执行帧内预测，并且生成预测图像。在该情况下，帧内预测单元221使用经由选择单元220从帧存储器219提供的重构图像的图像数据来执行帧内预测。就是说，帧内预测单元221使用重构图像作为基准图像(周围像素)。帧内预测单元221将所生成的预测图像提供给预测图像选择单元223。

最优预测模式信息、运动信息等被适当地从可逆解码单元212提供给帧间预测单元222。帧间预测单元222在从可逆解码单元212获取的最优预测模式信息指示的帧间预测模式(最优帧间预测模式)下使用从帧存储器219获取的解码图像(基准图像)来执行帧间预测。

预测图像选择单元223将从帧内预测单元221提供的预测图像或者从帧间预测单元222提供的预测图像提供给计算单元215。因此，在计算单元215中，来自逆正交变换单元214的预测图像和解码残差数据(差图像信息)被添加以获得重构图像。

此外，帧存储器219将所存储的基层的解码图像提供给增强层图像解码单元203。

基层图像解码单元202进一步包括报头信息分析单元224。报头信息分析单元224获取可逆解码单元212从编码流提取的报头信息，并且分析该信息。例如，报头信息分析单元224分析报头信息中包括的解码负荷定义信息。报头信息分析单元224将指示分析结果的信息提供给控制单元 204。

<增强层图像解码单元>

图37是图示图35的增强层图像解码单元203的主要配置示例的框图。如图37中所示，增强层图像解码单元203包括与图36的基层图像解码单元202基本上相同的配置。

就是说，如图37中所示，增强层图像解码单元203包括积累缓冲器231、可逆解码单元232、逆量化单元233、逆正交变换单元234、计算单元235、环路滤波器236、画面重排缓冲器237和D/A转换单元238。此外，增强层图像解码单元203包括帧存储器239、选择单元240、帧内预测单元241、帧间预测单元242和预测图像选择单元243。

积累缓冲器231至预测图像选择单元243与图36的积累缓冲器211 至预测图像选择单元223对应，并且执行相同的处理。然而，增强层图像解码单元203的各个单元除了基层之外还执行对增强层图像信息解码的处理。因此，在描述积累缓冲器231至预测图像选择单元243的处理时，可以应用上文对图36的积累缓冲器211至预测图像选择单元223的描述。然而，在该情况下，待处理数据需要是增强层的数据而非基层的数据。此外，有必要适当地将数据的输入源和输出目标的处理单元替换为增强层图像解码单元203的相应处理单元并且将其读取。

再者，帧存储器239获取从基层图像解码单元202提供的基层解码图像并且将该图像存储为例如长期基准帧。基层解码图像被用作例如帧内预测单元241或帧间预测单元242的预测处理中的层间预测的基准图像。

增强层图像解码单元203还包括报头信息分析单元244。

可逆解码单元232从增强层图像编码流获取诸如序列参数集合 (SPS)或MCTS SEI的报头信息。能够被独立解码的部分区域的解码负荷定义信息可能包括在报头信息中。可逆解码单元232将报头信息提供给报头信息分析单元244。

报头信息分析单元244对所提供的报头信息中包括的能够被独立解码的部分区域的解码负荷定义信息进行分析，并且将分析结果提供给控制单元204。

再者，当仅在基层中设定解码负荷定义信息时，可以省略增强层的报头信息分析单元244。

<报头信息分析单元>

图38是图示图36的报头信息分析单元244的功能块的示例性配置的示图。在报头信息分析单元224中，例如，当使用RAM执行CPU从 ROM等读取的程序时，执行上述处理并且因此实现图38中所示的各种功能块。

如图38中所示，报头信息分析单元224包括报头信息获取单元251、 SPS分析单元252、MCTS SEI分析单元253、等级指定单元254和提供单元255。

报头信息获取单元251获取从可逆解码单元212提供的各条报头信息。SPS分析单元252分析报头信息获取单元251作为报头信息获取的序列参数集合(SPS)。如第一实施例中所述，在序列参数集合(SPS)中包括关于能够被独立解码的部分区域的解码负荷的定义的信息。关于解码负荷的定义的信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。

MCTS SEI分析单元253分析报头信息获取单元251作为报头信息获取的MCTS SEI。如第一实施例中所述，MCTS SEI包括能够被独立解码的部分区域的解码负荷定义信息。解码负荷定义信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。

等级指定单元254基于SPS分析单元252的分析结果和MCTS SEI 指定对能够被独立解码的部分区域解码所需的等级。提供单元255将等级指定单元254指定的等级或者与该等级对应的关于解码处理的负荷的信息提供给控制单元104。

再者，如第一实施例中所述，当在包括部分区域的预定区域中定义的参数映射到完整图像(图片)单位的等级的定义时，在指定等级或者解释等级时，等级指定单元254或提供单元255可以采用映射参数。

再者，如第一实施例中所述，仅在MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息，并且可以不在序列参数集合(SPS) 中设定该信息。在该情况下，SPS分析单元252可被省略。

<图像解码处理的流程>

接下来，将描述图像解码装置200执行的处理的流程。首先，将参照图39的流程图描述图像解码处理的示例性流程。

当图像解码处理开始时，在步骤S201中，图像解码装置200的解复用单元201针对每个层对从编码侧传送的分层图像编码流执行解复用。

在步骤S202中，可逆解码单元212从在步骤S201的处理中提取的基层图像编码流提取包括解码负荷定义信息的报头信息。

替选地，例如，当解码负荷定义信息也包括在增强层中时，可逆解码单元232相似地执行处理，并且提取增强层的报头信息。

在步骤S203中，报头信息分析单元224分析在步骤S202中提取的报头信息，并且从解码负荷定义信息指定解码所需的等级。

在步骤S204中，控制单元204基于步骤S203的分析结果确定编码流是否能够被解码。当确定编码流能够被解码时，处理前往步骤S205。

在步骤S205中，基层图像解码单元202对基层图像编码流解码。在步骤S206中，增强层图像解码单元203对增强层图像编码流解码。

当步骤S206的处理结束时，图像解码处理结束。

另一方面，在步骤S204中，当确定编码流不能被解码时，处理前往步骤S207。在该情况下，在步骤S207中，控制单元204执行错误处理，其是当不能执行正常解码时的预定处理。

错误处理可以是任何处理。例如，可以强制终止(包括挂起或暂停) 解码，或者可以向用户提供诸如图像或音频的警报。此外，例如，可以获取具有较低等级的另一编码流并且可以重新开始解码。此外，例如，可以允许出现解码图像中的顺序错乱并且可以强制对编码流解码。

当步骤S207的处理结束时，图像解码处理结束。

<报头信息分析处理的流程>

接下来，将参照图40的流程图描述在图39的步骤S203中执行的报头信息分析处理的示例性流程。

当报头信息分析处理开始时，在步骤S211中SPS分析单元252确定是否参考序列参数集合(SPS)。当在作为报头信息获取的序列参数集合(SPS)中包括关于能够被独立解码的部分区域的解码负荷的定义的信息并且确定参考序列参数集合(SPS)时，处理前往步骤S212。

在步骤S212中，SPS分析单元252分析序列参数集合(SPS)中包括的关于能够被独立解码的部分区域的解码负荷的定义的信息。关于解码负荷的定义的信息的内容是任意的。例如，在第一实施例中，参照图9 至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。当分析结束时，处理前往步骤S213。另一方面，在步骤S211中，当在序列参数集合(SPS)中不包括关于能够被独立解码的部分区域的解码负荷的定义的信息并且确定不参考序列参数集合(SPS)时，处理前往步骤S213。

在步骤S213中，MCTS SEI分析单元253确定是否参考MCTS SEI。当在作为报头信息获取的MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息并且确定参考MCTS SEI时，处理前往步骤S214。

在步骤S214中，MCTS SEI分析单元253分析MCTS SEI中包括的能够被独立解码的部分区域的解码负荷定义信息。解码负荷定义信息的内容是任意的。例如，在第一实施例中，参照图9至26描述的多条信息中的任何一条或更多条信息可以包括在解码负荷定义信息中。当分析结束时，处理前往步骤S215。另一方面，在步骤S213中，当在MCTS SEI 中没有设定能够被独立解码的部分区域的解码负荷定义信息并且确定没有参考MCTS SEI时，处理前往步骤S215。

在步骤S215中，等级指定单元254基于步骤S212和S214的分析结果指定解码所需的等级。

在步骤S216中，提供单元255向控制单元104提供指示在步骤S215 中指定的解码所需的等级的信息。

当步骤S216的处理结束时，报头信息分析处理结束并且处理返回图39。

再者，如第一实施例中所述，当在包括部分区域的预定区域中定义的参数映射到完整图像(图片)单位的等级的定义时，在步骤S215或步骤S216的处理中等级指定单元254或提供单元255可以采用映射参数。

再者，如第一实施例中所述，仅在MCTS SEI中设定能够被独立解码的部分区域的解码负荷定义信息，并且可以不在序列参数集合(SPS) 中设定该信息。在该情况下，步骤S211和步骤S212的处理可被省略。

<基层解码处理的流程>

当基于上文所述的解码负荷定义信息根据是否可以解码的确定结果确定可以解码时，在图39的步骤S205中执行基层解码处理。将参照图 41的流程图描述基层解码处理的示例性流程。

当基层解码处理开始时，在步骤S221中，基层图像解码单元202 的积累缓冲器211积累所传送的基层编码流。在步骤S222中，可逆解码单元212对从积累缓冲器211提供的基层编码流进行解码。就是说，对被可逆编码单元116编码的诸如I切片、P切片和B切片的图像数据进行解码。在该情况下，除了诸如报头信息的位流中包括的图像数据之外，还对各种信息解码。

在步骤S223中，逆量化单元213对在步骤S222的处理中获得的经量化的系数进行逆量化。

在步骤S224中，逆正交变换器214对在步骤S223中被逆量化的系数执行逆正交变换。

在步骤S225中，帧内预测单元221和帧间预测单元222执行预测处理，并且生成预测图像。就是说，在执行编码时应用的在可逆解码单元 212中确定的预测模式下执行预测处理。更具体地，例如，如果在执行编码时应用帧内预测，则帧内预测单元221在执行编码时设定为最优的帧内预测模式下生成预测图像。此外，例如，如果在执行编码时应用帧间预测，则帧间预测单元222在执行编码时设定为最优的帧间预测模式下生成预测图像。

在步骤S226中，计算单元215使通过步骤S225中的逆正交变换获得的差图像与在步骤S226中生成的预测图像相加。因此，获得了重构图像的图像数据。

在步骤S227中，环路滤波器216对在步骤S227的处理中获得的重构图像的图像数据适当地执行环路滤波处理，包括解块滤波处理或自适应环路滤波处理。

在步骤S228中，画面重排缓冲器217重排被执行步骤S227中的滤波处理的重构图像的各帧。就是说，在执行编码时被重排的帧的顺序被重排为原始显示顺序。

在步骤S229中，D/A转换单元218对帧顺序在步骤S228中被重排的图像执行D/A转换。图像被输出至显示器(未示出)，并且显示该图像。

在步骤S230中，帧存储器219存储诸如在步骤S227的处理中获得的解码图像或者在步骤S226的处理中获得的重构图像的数据。

当步骤S230的处理结束时，基层解码处理结束，并且处理返回图 39。

<增强层解码处理的流程>

与基层解码处理相似，当基于上文所述的解码负荷定义信息根据是否可以解码的确定结果确定可以解码时，在图39的步骤S206中执行增强层解码处理。将参照图42的流程图描述增强层解码处理的示例性流程。

增强层解码处理的各个处理(步骤S241至S250)对应于图41的基层解码处理的各个处理(步骤S221至S230)，并且基本上以与这些处理相同的方式执行。在基层上执行基层解码处理的各个处理(步骤S221 至S230)的同时，在增强层上执行增强层解码处理的各个处理(步骤S241 至S250)。

当步骤S250的处理结束时，增强层解码处理结束，并且处理返回图39。

当以这种方式执行各个处理时，如果图像解码装置200使用能够被独立解码的部分区域的解码负荷定义信息，则可以更准确地识别解码所需的性能。

本技术的应用范围包括针对能够对部分图像编码和解码的所有图像编码装置和图像解码装置。

此外，本技术可以应用于通过卫星广播、有线电视、互联网或诸如移动电话的网络介质接收与例如MPEG或H.264相似的通过运动补偿和诸如离散余弦变换的正交变换压缩的图像信息(位流)的图像编码装置和图像解码装置。此外，本技术可以应用于在诸如光盘、磁盘和闪速存储器的存储介质上执行处理的图像编码装置和图像解码装置。

<4.第四实施例>

<对多视图图像编码和多视图图像解码的应用>

上述系列处理可以应用于多视图图像编码和多视图图像解码。图43 图示了多视图图像编码方案的示例。

如图43中所示，多视图图像包括具有多个视图的图像。多视图图像的多个视图包括仅使用其自身视图的图像而不使用其他视图的信息执行编码/解码的基视图以及其中使用其他视图的信息执行编码/解码的非基视图。在非基视图的编码/解码中，可以使用基视图的信息，并且可以使用其他非基视图的信息。

就是说，多视图图像编码和解码中的视图之间的参考关系与分层图像编码和解码中的层之间的参考关系相似。因此，在图43中的多视图图像的编码和解码中，可以应用上述方法。通过这种方式，与多视图图像相似，可以更准确地识别解码所需的性能。

<多视图图像编码设备>

图44是图示执行上述多视图图像编码的多视图图像编码装置的示图。如图44中所示，多视图图像编码装置600具有编码单元601、编码单元602和复用单元603。

编码单元601对基视图图像编码以生成基视图图像编码流。编码单元602对非基视图图像编码以生成非基视图图像编码流。复用单元603 复用编码单元601生成的基视图图像编码流和编码单元602生成的非基视图图像编码流，以生成多视图图像编码流。

基层图像编码单元101可被应用为多视图图像编码装置600的编码单元601，并且增强层图像编码单元102可被应用为编码单元602。通过这种方式，可以更准确地识别解码所需的性能。

<多视图图像解码装置>

图45是图示执行上述多视图图像解码的多视图图像解码装置的示图。如图45中所示，多视图图像解码装置610具有解复用单元611、解码单元612和解码单元613。

解复用单元611对通过复用基视图图像编码流和非基视图图像编码流而获得的多视图图像编码流进行解复用，以提取基视图图像编码流和非基视图图像编码流。解码单元612对解复用单元611提取的基视图图像编码流进行解码以获得基视图图像。解码单元613对解复用单元611提取的非基视图图像编码流进行解码以获得非基视图图像。

基层图像解码单元202可被应用为多视图图像解码装置610的解码单元612，并且增强层图像解码单元203可被应用为解码单元613。通过这种方式，可以更准确地识别解码所需的性能。

<5.第五实施例>

<计算机>

上述系列处理可以通过硬件执行并且还可以通过软件执行。当要通过软件执行该系列处理时，软件的程序被安装到计算机中。这里，计算机包括嵌入到专用硬件中的计算机，以及例如能够通过安装各种程序来执行各种功能的通用个人计算机。

图46是图示根据程序执行上述系列处理的计算机的硬件配置示例的框图。

在图46中所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804相互连接。

总线804还连接到输入和输出接口810。输入和输出接口810连接到输入单元811、输出单元812、存储单元813、通信单元814和驱动器 815。

输入单元811通过例如键盘、鼠标、麦克风、触摸面板或者输入终端形成。输出单元812通过例如显示器、扬声器或者输出终端形成。存储单元813通过例如硬盘、RAM盘或非易失性存储器形成。通信单元814 通过例如网络接口形成。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。

在具有上文所述配置的计算机中，例如，CPU 801通过经由输入和输出接口810以及总线804将存储单元813中存储的程序加载到RAM 803 并且执行程序，来执行上述处理。RAM 803还适当地存储CPU 801执行各种处理所需的数据。

例如，计算机(CPU 801)执行的程序可以记录在诸如套装介质的要应用的可移动介质821中。此外，通过将可移动介质821安装在驱动器 815上，可以经由输入和输出接口810将程序安装到存储单元813中。

程序还可以通过诸如局域网、互联网或数字广播的有线或无线传送介质来提供。在该情况下，还可以通过通信单元814接收程序并且将其安装在存储单元813中。

此外，程序也可以预先安装在ROM 802或存储单元813中。

计算机执行的程序可以是按照本说明书中描述的顺序按时间进行处理的程序，或者可以是例如并行地或者在被调用时的必要定时进行处理的程序。

在本说明书中，描述记录在记录介质上的程序的步骤不仅可以包括按照描述的顺序按时间序列执行的处理，而且可以包括并非按时间序列而是并行地或者单独地执行的处理。

在本说明书中，系统指的是多个构成元件(装置、模块(部件)等) 的集合，并且所有构成元件可以包括在同一壳体中或者可以不包括在同一壳体中。因此，容纳在分立壳体中并且经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置均是系统。

以上描述为单个装置(或处理单元)的配置可以被划分和配置为多个装置(或处理单元)。相反，以上描述为多个装置(或处理单元)的配置可以集中并且配置为单个装置(或处理单元)。当然，除了上述配置之外的配置可以被添加到各装置(或处理单元)的配置。此外，只要在整体系统中配置或操作基本上相同，则特定装置(或处理单元)的配置的一部分可以包括在其他装置(或其他处理单元)的配置中。

上文参照附图描述了本公开的优选实施例，然而本公开显然不限于以上示例。本领域技术人员在所附权利要求的范围内可以找到各种变更和修改，并且应理解，它们在本质上也落在本公开的技术范围内。

例如，在本技术中，可以实现云计算的配置，其中经由网络通过多个装置联合地共享和处理单个功能。

上述流程图中描述的每个步骤可以由单个装置执行或者也可以通过多个装置共享并执行。

当在单个步骤中包括多个处理时，该单个步骤中包括的多个处理可以由单个装置执行或者也可以通过多个装置共享并执行。

根据上述实施例的图像编码装置和图像解码装置可应用于各种电子装置，诸如卫星广播、诸如有线电视的有线广播或者互联网的递送以及通过蜂窝通信针对终端的递送中的传送器和接收器，将图像记录在诸如光盘、磁盘或者闪速存储器的介质中的记录装置，或者从存储介质再现图像的再现装置。下文将描述四个应用。

<6.第六实施例>

<第一应用示例：电视接收器>

图47是图示被应用上述实施例的电视装置的示意性配置的示例的框图。电视装置900包括天线901、调谐器902、解复用器903、解码器 904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911以及总线912。

调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。调谐器902随后将通过解调获得的经编码的位流输出至解复用器903。就是说，调谐器902用作电视装置900 中的被配置成接收编码图像的编码流的传送单元。

解复用器903从编码位流解复用观看对象节目的视频流和音频流，并且将解复用的各个流输出至解码器904。解复用器903还从编码位流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供给控制单元910。此外，当编码位流被加扰时，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。解码器904将通过解码处理生成的音频数据输出至音频信号处理单元 907。

视频信号处理单元905再现从解码器904输入的视频数据，并且使视频显示在显示单元906上。此外，视频信号处理单元905可以使经由网络提供的应用画面显示在显示单元906上。此外，视频信号处理单元905 可以根据设定对视频数据执行例如去噪的附加处理。此外，视频信号处理单元905可以生成例如菜单、按键或光标的图形用户接口(GUI)的图像，并且将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号进行驱动，并且将视频或图像显示在显示装置(例如，液晶显示器、等离子体显示器或有机致电发光显示器(OELD)(有机EL显示器))的视频平面上。

音频信号处理单元907对从解码器904输入的音频数据执行诸如 D/A转换和放大的再现处理，并且使音频从扬声器908输出。此外，音频信号处理单元907可以对音频数据执行诸如去噪的附加处理。

外部接口单元909是将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对经由外部接口单元909接收的视频流或音频流进行解码。就是说，在电视装置900中，外部接口单元909用作接收编码图像的编码流的传送单元。

控制单元910包括诸如CPU的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在电视装置 900启动时，CPU读取并执行存储在存储器中的程序。CPU通过执行程序来根据例如从用户接口单元911输入的操作信号来控制电视装置900的操作。

用户接口单元911连接至控制单元910。用户接口单元911包括例如用于用户操作电视装置900的按键和开关以及遥控信号的接收单元。用户接口单元911检测用户经由这种部件的操作，生成操作信号，并且将所生成的操作信号输出至控制单元910。

总线912使调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910 彼此连接。

在以该方式配置的电视装置900中，解码器904具有根据上述实施例的图像解码装置200的功能。因此，在电视装置900中可以更准确地识别对图像解码所需的性能。

<第二应用示例：移动电话>

图48图示了被应用上述实施例的移动电话的示例性示意性配置。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器 924、麦克风925、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921被连接至通信单元922。扬声器924和麦克风925被连接至音频编解码器923。操作单元932被连接至控制单元931。总线933使通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930和控制单元931彼此连接。

移动电话920在诸如音频呼叫模式、数据通信模式、拍摄模式以及视频电话模式的各种操作模式中执行诸如传送和接收音频信号，传送和接收电子邮件或图像数据，图像捕获以及记录数据的操作。

在音频呼叫模式中，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并且对使经转换的音频数据执行A/D转换和压缩。随后，音频编解码器 923将压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制，并且生成传送信号。因此，通信单元922将所生成的传送信号经由天线921传送至基站(未示出)。此外，通信单元922对经由天线921接收的无线信号进行放大，对其执行频率转换，并且获取接收信号。因此，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行扩展，对其执行D/A转换，并且生成模拟音频信号。因此，音频编解码器923将所生成的音频信号提供给扬声器924以输出声音。

此外，在数据通信模式中，例如，控制单元931根据用户经由操作单元932进行的操作生成电子邮件的文本数据。此外，控制单元931使显示单元930显示文本。此外，控制单元931根据经由操作单元932的用户的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成传送信号。因此，通信单元922将所生成的传送信号经由天线921传送至基站 (未示出)。此外，通信单元922对经由天线921接收的无线信号进行放大，对其执行频率转换，并且获取接收信号。因此，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，将电子邮件数据提供给记录和再现单元929，并且使数据写入在存储介质中。

记录和再现单元929包括任意的可读和可写存储介质。例如，存储介质可以是诸如RAM或闪速存储器的内建存储介质，或者是诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡的外部安装类型的存储介质。

此外，在拍摄模式中，例如，相机单元926捕获物体的图像，生成图像数据，并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，将编码流提供给记录和再现单元929，并且使流写入在存储介质中。

此外，在图像显示模式中，记录和再现单元929读取存储介质中记录的编码流并且将读取的流输出到图像处理单元927。图像处理单元927 对从记录和再现单元929输入的编码流解码，将图像数据提供给显示单元 930并且使图像被显示。

此外，在电视电话模式中，例如，解复用单元928对图像处理单元 927编码的视频流以及从音频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信单元922。通信单元922对该流进行编码和调制，并且生成传送信号。因此，通信单元922将所生成的传送信号经由天线 921传送至基站(未示出)。此外，通信单元922对经由天线921接收到的无线信号进行放大，对其执行频率转换，并且获取接收信号。这些传送信号和接收信号可以包括编码位流。因此，通信单元922对接收信号进行解调和解码，恢复该流，并且将恢复的流输出至解复用单元928。解复用单元928从输入的流分离视频流和音频流，并且将视频流输出至图像处理单元927并将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码，并且生成视频数据。视频数据被提供给显示单元930，并且在显示单元930上显示图像序列。音频编解码器923对音频流进行扩展，对其执行D/A转换，并且生成模拟音频信号。因此，音频编解码器923 将所生成的音频信号提供给扬声器924，并且使音频输出。

在以该方式配置的移动电话920中，图像处理单元927具有根据上述实施例的图像编码装置100或图像解码装置200的功能。因此，在移动电话920中可以更准确地识别解码所需的性能。

<第三应用示例：记录和再现装置>

图49图示了被应用上述实施例的记录和再现装置的示例性示意性配置。记录和再现装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并且将结果记录在记录介质中。此外，记录和再现装置940 可以对从例如另一装置获取的音频数据和视频数据进行编码，并且将结果记录在记录介质中。此外，例如，根据用户的指令，记录和再现装置940 通过监视器和扬声器再现记录在记录介质中的数据。在该情况下，记录和再现装置940对音频数据和视频数据进行解码。

记录和再现装置940包括调谐器941、外部接口(I/F)单元942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、同屏显示(OSD)948、控制单元949以及用户接口(I/F)单元 950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望频道的信号，并对所提取的信号进行解调。因此，调谐器941将通过解调获得的编码位流输出至选择器946。就是说，调谐器941用作记录和再现装置940中的传送单元。

外部接口单元942是将记录和再现装置940与外部装置或网络连接的接口。例如，外部接口单元942可以是电气与电子工程师学会(IEEE) 1394接口、网络接口、USB接口或者闪速存储器接口。例如，经由外部接口单元942接收到的视频数据和音频数据被输入至编码器943。就是说，外部接口单元942用作记录和再现装置940中的传送单元。

在从外部接口单元942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。因此，编码器943将编码位流输出至选择器946。

HDD 944将其中诸如视频和声音的内容数据被压缩的编码位流、各种程序以及其他数据记录在内部硬盘中。当再现视频或声音时，HDD 944 还从硬盘读取该数据。

盘驱动器945将数据记录在所安装的记录介质中并且在其中读出数据。安装在盘驱动器945中的记录介质可以是例如数字多用途盘(DVD) 盘(诸如DVD-视频(DVD-Video)、DVD-随机存取存储器(DVD-RAM)、 DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R) 和DVD+可重写(DVD+RW))或者Blu-ray(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943 输入的编码位流，并且将所选择的编码位流输出至HDD 944或盘驱动器 945。此外，当再现视频和音频时，选择器946将从HDD 944或盘驱动器 945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码，并且生成视频数据和音频数据。因此，解码器947将所生成的视频数据输出至OSD 948。此外，解码器947将所生成的音频数据输出至外部扬声器。

OSD 948对从解码器947输入的视频数据进行再现，并且显示视频。此外，OSD 948可以将例如菜单、按键或光标的GUI的图像叠加在要显示的视频上。

控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，当记录和再现装置940激活时，存储在存储器中的程序被CPU读出并执行。CPU通过执行程序根据例如从用户接口单元950输入的操作信号来控制记录和再现装置940的操作。

用户接口单元950连接至控制单元949。例如，用户接口单元950 包括用于用户操作记录和再现装置940的按键和开关，以及遥控信号的接收单元。用户接口单元950检测用户经由这种部件进行的操作，生成操作信号，并且将所生成的操作信号输出至控制单元949。

在以该方式配置的记录和再现装置940中，编码器943具有根据上述实施例的图像编码装置100的功能。此外，解码器947具有根据上述实施例的图像解码装置200的功能。因此，在记录和再现装置940中，可以更准确地识别对图像解码所需的性能。

<第四应用示例：成像装置>

图50图示了被应用上述实施例的成像装置的示例性示意性配置。成像装置960生成捕获的物体的图像，对图像数据进行编码，并且将编码数据记录在记录介质中。

成像装置960包括光学模块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD 969、控制单元970、用户接口(I/F)单元971以及总线972。

光学模块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972使图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD 969以及控制单元970彼此连接。

光学模块961包括聚焦透镜和光圈机构。光学模块961在成像单元 962的成像平面上形成物体的光学图像。成像单元962包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将在成像平面上形成的光学图像转换成作为电信号的图像信号。因此，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理单元963 将相机信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。因此，图像处理单元964将所生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。因此，图像处理单元964将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出并且使图像显示在显示单元965上。此外，图像处理单元964可以将输出至显示单元965的图像叠加在从OSD 969获取的显示数据上。

OSD 969生成例如菜单、按键或光标的GUI的图像并且将所生成的图像输出至图像处理单元964。

外部接口单元966被配置为例如USB输入和输出端子。例如，当打印图像时，外部接口单元966将成像装置960与打印机连接。此外，在必要时，驱动器连接至外部接口单元966。例如磁盘或光盘的可移动介质安装在驱动器中，并且从可移动介质读取的程序可以安装在成像装置960 中。此外，外部接口单元966可以被配置成连接至诸如LAN或互联网的网络的网络接口。就是说，外部接口单元966用作成像装置960中的传送单元。

安装在介质驱动器968中的记录介质可以是任何可读和可写的可移动介质，例如磁盘、磁光盘、光盘或者半导体存储器。此外，记录介质可以固定地安装在介质驱动器968中，并且可以配置例如内建硬盘驱动器或固态驱动器(SSD)的非便携式存储单元。

控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，在成像装置 960激活时，CPU读出并执行存储在存储器中的程序。CPU通过执行程序根据例如从用户接口单元971输入的操作信号来控制成像装置960的操作。

用户接口单元971与控制单元970连接。用户接口单元971包括例如，用于用户操作成像装置960的按键和开关等。用户接口单元971检测用户经由这种部件进行的操作，生成操作信号，并且将所生成的操作信号输出至控制单元970。

在以该方式配置的成像装置960中，图像处理单元964具有根据上述实施例的图像编码装置100和图像解码装置200的功能。因此，在成像装置960中，可以更准确地识别解码所需的性能。

<7.第七实施例>

<可分级编码的应用示例：第一系统>

接下来，将描述被执行可分级编码(分层(图像)编码)的可分级编码数据的详细使用示例。例如，如图51中所例示的，可分级编码用于选择要传送的数据。

在图51中所示的数据传送系统1000中，递送服务器1002读取可分级编码数据存储单元1001中存储的可分级编码数据，并且将该数据经由网络1003递送到诸如个人计算机1004、AV设备1005、平板装置1006 或移动电话1007的终端装置。

在该情况下，递送服务器1002根据终端装置的能力、通信环境等选择并传送具有适当质量的编码数据。即使在递送服务器1002不必要地传送高质量数据时，不仅在终端装置中可能不能获得高图像质量的图像，而且可能引起延迟或上溢。此外，存在不必要地占用通信频带，并且终端装置上的负荷不必要地增加的问题。另一方面，即使在递送服务器1002不必要地传送了低质量数据时，存在在终端装置中不能获得具有充分图像质量的图像的问题。因此，递送服务器1002根据终端装置的能力、通信环境等适当地读取并传送可分级编码数据存储单元1001中存储的可分级编码数据，作为具有适当质量的编码数据。

例如，可分级编码数据存储单元1001存储被执行可分级编码的可分级编码数据(BL+EL)1011。可分级编码数据(BL+EL)1011是包括基层和增强层两者的编码数据，并且是能够通过执行解码从其获得基层图像和增强层图像的数据。

递送服务器1002根据配置成传送数据的终端装置的能力、通信环境等来选择适当的层，并且读取该层的数据。例如，对于具有高处理能力的个人计算机1004或平板装置1006，递送服务器1002从可分级编码数据存储单元1001读取高质量的可分级编码数据(BL+EL)1011，并且不变地传送该数据。另一方面，例如，对于具有低处理能力的AV设备1005 或移动电话1007，递送服务器1002从可分级编码数据(BL+EL)1011 中提取基层数据，并且传送该数据作为可分级编码数据(BL)1012，其是具有与可分级编码数据(BL+EL)1011相同的内容，但是具有比可分级编码数据(BL+EL)1011低的质量的数据。

当使用这种可分级编码数据时，由于可以容易地调整数据量，因此可以抑制延迟或上溢的发生，并且可以抑制终端装置或通信介质上的负荷的不必要的增加。此外，由于减少了层之间的冗余，因此较之每个层的编码数据被设定为分立数据的情况，可以减少可分级编码数据(BL+EL) 1011中的数据量。因此，可以更高效地使用可分级编码数据存储单元1001 的存储区域。

再者，与个人计算机1004到移动电话1007相似，由于可以将各种装置应用于终端装置，因此终端装置的硬件性能根据装置而不同。此外，由于存在由终端装置执行的各种应用，因此其软件能力不同。此外，作为用作通信介质的网络1003，可以应用包括有线网络通信和无线通信二者或者之一的任何通信通道网络，例如互联网或局域网(LAN)，并且其数据传送能力不同。此外，能力会根据其他通信等而变化。

因此，在开始数据传送之前，递送服务器1002可以执行与用作数据传送目标的终端装置的通信，并且获得诸如终端装置的硬件性能或者由终端装置执行的应用(软件)的性能的、关于终端装置能力的信息，以及关于诸如网络1003的可用带宽的通信环境的信息。因此，递送服务器1002 可以基于这里获得的信息选择适当的层。

再者，层的提取可以在终端装置中执行。例如，个人计算机1004 可以对所传送的可分级编码数据(BL+EL)1011进行解码，显示基层图像或者显示增强层图像。此外，例如，在从所传送的可分级编码数据 (BL+EL)1011中提取基层的可分级编码数据(BL)1012之后，个人计算机1004可以存储所提取的基层的可分级编码数据(BL)1012，将其传送到另一装置，对其解码，并且显示基层图像。

毋庸赘言，可分级编码数据存储单元1001、递送服务器1002、网络1003和终端装置的数目是任意的。此外，尽管上文描述了递送服务器 1002将数据传送到终端装置的示例，但是使用示例不限于此。数据传送系统1000可应用于任何系统，只要在将可分级编码的编码数据传送到终端装置时，该系统根据终端装置的能力、通信环境等选择并传送适当的层即可。

因此，与上文参照图1至42描述的对分层编码和分层解码的应用相似，在将本技术应用于图51中的数据传送系统1000时，可以获得与参照图1至42描述的效果相同的效果。

<可分级编码的应用示例：第二系统>

此外，可分级编码用于例如如图52中所例示的经由多个通信介质的传送。

在图52中所示的数据传送系统1100中，广播站1101通过地面广播1111传送基层的可分级编码数据(BL)1121。此外，广播站1101经由有线通信网络和无线通信网络二者或者之一形成的任何网络1112传送增强层的可分级编码数据(EL)1122(例如，数据被分组并传送)。

终端装置1102包括接收从广播站1101广播的地面广播1111的功能，并且接收经由地面广播1111传送的基层的可分级编码数据(BL)1121。此外，终端装置1102进一步包括经由网络1112执行通信的通信功能，并且接收经由网络1112传送的增强层的可分级编码数据(EL)1122。

例如根据用户的指令，终端装置1102对经由地面广播1111获取的基层的可分级编码数据(BL)1121进行解码，获得并存储基层图像，并且将结果传送到其他装置。

此外，例如根据用户的指令，终端装置1102将经由地面广播1111 获取的基层的可分级编码数据(BL)1121与经由网络1112获取的增强层的可分级编码数据(EL)1122合成，获得可分级编码数据(BL+EL)，对该数据解码，获得并存储增强层图像，并且将结果传送到其他装置。

如上文所述，例如，可分级编码数据可以经由对于每个层不同的通信介质来传送。因此，可以分散负荷，并且抑制延迟或上溢的发生。

此外，根据环境，可以针对每个层选择用于传送的通信介质。例如，数据量相对大的基层的可分级编码数据(BL)1121可以经由具有宽带宽的通信介质传送，并且数据量相对小的增强层可分级编码数据(EL)1122 可以经由具有窄带宽的通信介质传送。此外，例如，传送增强层的可分级编码数据(EL)1122的通信介质可以根据网络1112的可用带宽切换到网络1112或者地面广播1111。当然，这对于任何层的数据是相似的。

以这种方式进行控制，可以进一步抑制数据传送的负荷增加。

当然，层的数目是任意的，并且用于传送的通信介质的数目也是任意的。此外，用作数据递送目标的终端装置1102的数目也是任意的。此外，尽管上文描述了从广播站1101广播的示例，但是使用示例不限于此。数据传送系统1100可应用于任何系统，只要该系统使用层作为单位将可分级编码的编码数据分成多条数据，并且经由多条线路传送该数据即可。

因此，与上文参照图1至42描述的对分层编码和分层解码的应用相似，在将本技术应用于上述图52中的数据传送系统1100时，可以获得与参照图1至42描述的效果相同的效果。

<可分级编码的应用示例：第三系统>

此外，例如，如图53中例示的，可分级编码用于存储编码数据。

在图53中所示的成像系统1200中，成像装置1201对通过捕获物体1211的图像而获得的图像数据进行可分级编码，并且将结果作为可分级编码数据(BL+EL)1221提供给可分级编码数据存储装置1202。

可分级编码数据存储装置1202根据环境按照质量存储从成像装置 1201提供的可分级编码数据(BL+EL)1221。例如，在正常时间，可分级编码数据存储装置1202从可分级编码数据(BL+EL)1221提取基层数据，并且将其存储为具有低质量的小数据量的基层可分级编码数据(BL) 1222。另一方面，例如，在显著时间，可分级编码数据存储装置1202直接存储具有高质量的大数据量的可分级编码数据(BL+EL)1221。

通过这种方式，由于可分级编码数据存储装置1202可以仅在必要情况下保存高图像质量的图像，因此可以抑制数据量的增加，并且可以抑制由于图像质量劣化引起的图像值的减少，同时可以提高存储区域的使用效率。

例如，成像装置1201是监控相机。当在捕获图像中不存在监控对象(例如，侵犯者)时(在正常时间)，由于捕获图像的内容不太可能是重要的，因此优先减少数据量，并且以低质量存储图像数据(可分级编码数据)。另一方面，当在捕获图像中呈现作为物体1211的监控对象时(在显著时间)，由于捕获图像的内容很可能是重要的，因此图像质量优先，并且以高质量存储图像数据(可分级编码数据)。

再者，可分级编码数据存储装置1202可以通过例如分析图像来确定正常时间和显著时间。替选地，成像装置1201可以进行确定并且将确定结果传送到可分级编码数据存储装置1202。

再者，用于确定正常时间和显著时间的基准是任意的，并且用作确定基准的图像的内容是任意的。当然，除了图像的内容以外的条件可以被设定为确定基准。例如，可以根据所记录的音频的幅度、波形等切换确定基准，按照预定的时间间隔切换确定基准，或者根据诸如用户的指令的来自外部的指令来切换确定基准。

此外，尽管上文描述了切换正常时间和显著时间这两个状态的示例，但是状态的数目是任意的。例如，可以在三个或更多个状态，诸如正常时间、略微显著时间、显著时间和强烈显著时间中执行切换。然而，所切换的状态的最大数目取决于可分级编码数据的层的数目。

此外，成像装置1201可以根据状态确定可分级编码的层的数目。例如，在正常时间，成像装置1201可以生成具有低质量的小数据量的基层可分级编码数据(BL)1222，并且将所生成的数据提供给可分级编码数据存储装置1202。此外，例如，在显著时间，成像装置1201可以生成具有高质量的大数据量的基层可分级编码数据(BL+EL)1221，并且将所生成的数据提供给可分级编码数据存储装置1202。

尽管上文例示监控相机，但是成像系统1200的应用是任意的并且不限于监控相机。

因此，与上文参照图1至42描述的对分层编码和分层解码的应用相似，在将本技术应用于图53中的成像系统1200时，可以获得与参照图 1至42描述的效果相同的效果。

再者，本技术可以应用于例如诸如MPEG DASH的HTTP流式传输，籍其按片段单位从具有不同分辨率的之前准备的多条编码数据中选择适当的数据并且使用该数据。就是说，关于编码或解码的信息可以在多条编码数据之间共享。

<8.第八实施例>

<其他示例>

尽管上文描述了被应用本技术的装置、系统等的示例，但是本技术不限于以上示例并且可以实现为安装在装置或构成系统的装置中的任何配置，例如具有系统大规模集成(LSI)的形式的处理器、使用多个处理器等的模块、使用多个模块的单元、向单元进一步添加其他功能而获得的设备(即装置的部分配置)等。

<视频设备>

将参照图54描述其中本技术被实现为设备的示例。图54图示了被应用本技术的视频设备的示意性配置的示例。

近年来，电子设备的功能逐渐变得多功能化，当在开发和制造阶段中准备每个设备的一些配置用于销售、供应等时，不仅存在该设备被配置成具有一个功能的情况，而且还存在具有相关功能的多个配置被组合并且实现为具有多个功能的一个设备的许多情况。

如上文所述，通过将具有图像编码和图像解码(可以具有这两个功能二者或之一)的功能的装置与具有与前述功能相关的其他功能的装置组合，图54中所示的视频设备1300被配置成多功能化。

如图54中所示，视频设备1300具有包括视频模块1311、外部存储器1312、功率管理模块1313、前端模块1314等的模块组，以及具有诸如连接1321、相机1322、传感器1323等的相关功能的装置。

模块是其中集成若干个相关部分功能以提供聚合功能的部件形式。具体物理配置是任意的；然而，其被视为其中例如均具有各个功能的多个处理、诸如电阻器和电容器的电子电路元件以及其他装置布置在电路板上的集成。此外，还考虑通过将模块与另一模块、处理器等组合来实现新的模块。

在图54的示例中，视频模块1311是具有与图像处理相关的功能的配置的组合，并且具有应用处理器、视频处理器、宽带调制解调器1333 和射频(RF)模块1334。

处理器是使用芯片上系统(SoC)与具有预定功能的配置集成的半导体芯片，并且还被称为例如系统大规模集成(LSI)等。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM、使用这些元件执行的程序(软件配置)，或者可以是这两种配置的组合。例如，处理器可以具有逻辑电路、CPU、ROM、RAM等，并且可以通过逻辑电路(硬件配置)实现一些功能，或者可以通过CPU执行的程序(软件配置)实现其他功能。

图54的应用处理器1331是执行与图像处理相关的应用的处理器。应用处理器1331执行的应用可以不仅执行算术处理，而且还可以在需要时控制例如视频处理器1332的视频模块1311内部和外部的配置以便实现预定功能。

视频处理器1332是具有与图像编码和/或图像解码相关的功能的处理器。

宽带调制解调器1333是执行与经由诸如互联网或公共电话线路网络的宽带线路执行的有线和/或无线宽带通信相关的处理的处理器(或调制解调器)。例如，宽带调制解调器1333对要传送的数据(数字信号)执行数字调制并且将数据转换成模拟信号，或者对接收到的模拟信号执行解调并且将模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333 可以对诸如视频处理器1332处理的图像数据、包括编码图像数据的流、应用程序或设定数据的任意信息执行数字调制和解调。

RF模块1334是对通过天线传送和接收的RF信号执行频率变换处理、调制/解调处理、放大处理、滤波处理等的模块。例如，RF模块1334 对宽带调制解调器1333生成的基带信号执行例如频率变换，并且生成RF 信号。此外，例如，RF模块1334对通过前端模块1314接收到的RF信号执行例如频率变换，并且生成基带信号。

此外，如图54中的虚线1341所示，应用处理器1331和视频处理器1332可以集成到单个处理器。

外部存储器1312是安装在视频模块1311外部的模块并且具有视频模块1311使用的存储装置。外部存储器1312的存储装置可以通过任何物理配置实现，但是通常用于存储大容量数据，诸如以帧为单位的图像数据，并且因此期望使用诸如动态随机存取存储器(DRAM)的相对廉价的大容量半导体存储器来实现外部存储器1312的存储装置。

功率管理模块1313管理和控制针对视频模块1311的电力供给(视频模块1311内部的每个构成元件)。

前端模块1314是向RF模块1334提供前端功能(用作天线侧的传送和接收端的电路)的模块。如图54中所示，前端模块1314具有例如天线单元1351、滤波器1352和放大单元1353

天线单元1351配置有传送和接收无线电信号的天线及其外围。天线单元1351传送作为无线电信号的从放大单元1353提供的信号，并且将接收到的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器 1352对通过天线单元1351接收到的RF信号执行滤波处理等，并且将经处理的RF信号提供给RF模块1334。放大单元1353对从RF模块1334 提供的RF信号进行放大，并且将该信号提供给天线单元1351。

连接1321是具有与外部的连接相关的功能的模块。连接1321的物理配置是任意的。例如，连接1321包括具有除了宽带调制解调器1333对应的通信标准、外部输入和输出端子等的通信功能以外的通信功能的配置。

例如，连接1321可以具有基于诸如Bluetooth(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)或者红外数据关联(IrDA)的无线通信标准的通信功能，基于该标准传送和接收信号的天线等。此外，例如，连接1321可以包括具有基于诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的有线通信标准的通信功能的模块或者基于该标准的端子。此外，例如，连接 1321可以具有模拟输入和输出端子等的其他数据(信号)传送功能。

注意，连接1321可以被设定为包括用作数据(信号)的传送目标的装置。例如，连接1321可以被设定为具有驱动器(不仅包括可移动介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络附接存储(NAS) 等的驱动器)，其针对诸如磁盘、光盘、磁光盘或半导体存储器的记录介质读取和写入数据。此外，连接1321可以被设定为具有图像或音频输出装置(监视器、扬声器等)。

相机1322是具有拍摄物体并且获得物体的图像数据的功能的模块。例如，通过相机1322拍摄获得的图像数据被提供给视频处理器1332并且被其编码。

传感器1323是具有任意传感器功能的模块，例如声音传感器、超声传感器、光传感器、亮度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、振动传感器、温度传感器等。例如，传感器1323检测到的数据被提供给应用处理器1331并且由应用等处理。

以上描述为模块的配置可以被实现为处理器，或者相反，描述为处理器的配置可以被实现为模块。

在具有以上配置的视频设备1300中，本技术可以应用于后面将描述的视频处理器1332。因此，视频设备1300可以被实现为被应用本技术的设备。

<视频处理器的示例性配置>

图55图示了被应用本技术的视频处理器1332(图54)的示意性配置的示例。

在图55的示例中，视频处理器1332具有接收视频信号和音频信号的输入并且使用预定方案对输入编码的功能，以及对编码的视频数据和音频数据解码并且再现和输出视频信号和音频信号的功能。

如图55中所示，视频处理器1332具有视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332具有编码/解码引擎1407、视频元素流(ES)缓冲器1408A和1408B 以及音频ES缓冲器1409A和1409B。此外，视频处理器1332具有音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX) 1413和流缓冲器1414。

视频输入处理单元1401获取从例如连接1321(图54)输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大和缩小单元 1402对图像数据执行格式转换、图像放大或缩小处理等。第二图像放大和缩小单元1403根据通过视频输出处理单元1404输出数据的目标格式对图像数据执行图像放大或缩小处理，或者通过与第一图像放大和缩小单元1402相同的方式执行格式转换、图像放大或缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号等，并且将数据作为再现视频信号输出到例如连接1321。

帧存储器1405是由视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据存储器。帧存储器1405被实现为例如 DRAM等的半导体存储器。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写入在访问管理表格1406A中的关于帧存储器1405的访问进度表来控制对帧存储器1405的写入和读取访问。访问管理表格1406A根据编码/ 解码引擎1407、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403等执行的处理通过存储器控制单元1406进行更新。

编码/解码引擎1407执行图像数据的编码处理以及作为通过对图像数据编码获得的数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据编码，并且将该数据作为视频流依次写入视频ES缓冲器1408A。此外，例如，编码/解码引擎1407从视频ES 缓冲器1408B依次读取视频流，并且依次将该数据作为图像数据写入帧存储器1405。对于这种编码和解码，编码/解码引擎1407使用帧存储器 1405作为工作区域。此外，例如在对每个宏块的处理开始的定时，编码/ 解码引擎1407将同步信号输出到存储器控制单元1406。

视频ES缓冲器1408A缓冲编码/解码引擎1407生成的视频流，并且将该流提供给复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX)1413提供的视频流，并且将该流提供给编码/解码引擎 1407。

音频ES缓冲器1409A缓冲音频编码器1410生成的音频流，并且将该流提供给复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413提供的音频流，并且将该流提供给音频解码器1411。

例如，音频编码器1410对从例如连接1321等输入的音频信号进行数字转换，并且按照例如MPEG音频方案、AudioCode编号3(AC3) 方案等的预定方案对该信号编码。音频编码器1410依次将作为通过对音频信号编码获得的数据的音频流写入音频ES缓冲器1409A。音频解码器 1411对从音频ES缓冲器1409A提供的音频流解码，执行例如对模拟信号的转换，并且将该信号作为再现的音频信号提供给例如连接1321等。

复用器(MUX)1412复用视频流和音频流。该复用的方法(即，通过复用生成的位流的格式)是任意的。此外，在复用期间，复用器(MUX) 1412还可以将预定报头信息等添加到位流。换言之，复用器(MUX)1412 可以通过复用对流格式进行转换。例如，复用器(MUX)1412对视频流和音频流进行复用以使其转换成作为具有输送格式的位流的输送流。此外，例如，复用器(MUX)1412对视频流和音频流进行复用以使其转换成具有用于记录的文件格式的数据(文件数据)。

解复用器(DMUX)1413使用与复用器(MUX)1412执行的复用对应的方法对通过对视频流和音频流进行复用而获得的位流解复用。换言之，解复用器(DMUX)1413从读取自流缓冲器1414的位流中提取视频流和音频流(分离视频流和音频流)。解复用器(DMUX)1413可以通过解复用执行流格式的转换(复用器(MUX)1412执行的转换的逆转换)。例如，解复用器(DMUX)1413可以通过流缓冲器1414获取从例如连接 1321、宽带调制解调器1333等提供的输送流，并且通过解复用将输送流转换成视频流和音频流。此外，例如，解复用器(DMUX)1413可以通过流缓冲器1414获取通过例如连接1321从各种记录介质读取的文件数据，并且通过解复用将文件数据转换成视频流和音频流。

流缓冲器1414对位流进行缓冲。例如，流缓冲器1414缓冲从复用器(MUX)1412提供的输送流，并且在预定定时或者基于外部请求等将该流提供给例如连接1321、宽带调制解调器1333等。

此外，例如，流缓冲器1414缓冲从复用器(MUX)1412提供的文件数据，并且在预定定时或者基于外部请求等将文件数据提供给例如连接 1321等，以使文件数据被记录在各种记录介质中的任何记录介质中。

此外，流缓冲器1414缓冲通过例如连接1321或宽带调制解调器 1333等获取的输送流，并且在预定定时或者基于外部请求等将输送流提供给解复用器(DMUX)1413。

此外，流缓冲器1414缓冲通过例如连接1321等中从各种记录介质中的任何记录介质读取的文件数据，并且在预定定时或者基于外部请求等将文件数据提供给解复用器(DMUX)1413。

接下来，将描述具有该配置的视频处理器1332的操作的示例。例如，从连接1321等输入到视频处理器1332的视频信号在视频输入处理单元1401中根据诸如4:2:2Y/Cb/Cr格式的预定格式被转换成数字图像数据，并且被依次写入在帧存储器1405中。该数字图像数据被第一图像放大和缩小单元1402或第二图像放大和缩小单元1403读取，经历诸如4:2:0Y/Cb/Cr格式的预定格式的格式转换处理以及放大或缩小处理，并且随后被再次写入帧存储器1405。该图像数据被编码/解码引擎1407编码，并且作为视频流被写入视频ES缓冲器1408A。

此外，从连接1321输入到视频处理器1332的音频信号被音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被复用器(MUX)1412读取并且被复用，以被转换成输送流、文件数据等。复用器(MUX)1412生成的输送流在流缓冲器1414中缓冲，并且随后通过例如连接1321、宽带调制解调器1333等输出到外部网络。此外，复用器(MUX)1412生成的文件数据在流缓冲器1414中缓冲，并且输出到例如连接1321(图29)以记录在各种记录介质中的任何记录介质中。

此外，通过例如连接1321、宽带调制解调器1333等从外部网络输入到视频处理器1332的输送流在流缓冲器1414中缓冲，并且随后被解复用器(DMUX)1413解复用。此外，例如通过连接1321从各种记录介质中的任何记录介质读取并且输入到视频处理器1332的文件数据在流缓冲器1414中缓冲，并且随后被解复用器(DMUX)1413解复用。换言之，输入到视频处理器1332的输送流或文件数据通过解复用器(DMUX)1413 被解复用为视频流和音频流。

音频流通过音频ES缓冲器1409B被提供给音频解码器1411以被解码，并且音频信号被再现。此外，视频流被写入视频ES缓冲器1408B，随后被编码/解码引擎1407依次读取以被解码，并且写入在帧存储器1405 中。解码的图像数据经历第二图像放大和缩小单元1403执行的放大和缩小处理，并且被写入帧存储器1405。随后，解码的图像数据被视频输出处理单元1404读取，经历诸如4:2:2Y/Cb/Cr格式的预定格式的格式转换，并且被进一步转换成模拟信号，并且视频信号被再现以被输出。

当本技术应用于以该方式配置的视频处理器1332时，可以将根据每个上述实施例的本技术应用于编码/解码引擎1407。就是说，例如，编码/解码引擎1407可以具有根据上述实施例的图像编码装置100和图像解码装置的功能。通过这种方式，视频处理器1332可以获得与上文参照图 1至42描述的效果相同的效果。

此外，在编码/解码引擎1407中，本技术(即，根据每个上述实施例的图像编码装置和图像解码装置的功能)可以通过诸如逻辑电路的硬件和诸如嵌入程序的软件中的任一者或二者实现。

<视频处理器的配置的其他示例>

图56图示了被应用本技术的视频处理器1332的示意性配置的另一示例。在图56的示例的情况下，视频处理器1332具有根据预定方案对视频数据编码和解码的功能。

更具体地，如图56中所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332包括编解码器引擎1516、存储器接口1517、复用和解复用单元(MUX/DMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的每个处理单元的操作。

如图56中所示，控制单元1511包括主CPU 1531、子CPU 1532 和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的每个处理单元的操作的程序等。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给每个处理单元(就是说，控制每个处理单元的操作)。子CPU 1532用作主CPU 1531的补充角色。例如，子CPU 1532执行主 CPU 1531执行的程序的子处理或子例程等。系统控制器1533控制主CPU 1531和子CPU 1532的操作，例如，指定由主CPU 1531和子CPU 1532 执行的程序。

显示接口1512在控制单元1511的控制下将图像数据输出到例如连接1321。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将作为再现视频信号的图像数据或者数字数据的图像数据输出到连接1321的监视装置等。

显示引擎1513在控制单元1511的控制下对图像数据执行诸如格式转换、尺寸转换和色域转换的各种转换处理以匹配显示图像的监视装置的硬件规格等。

图像处理引擎1514在控制单元1511的控制下对图像数据执行诸如滤波处理的预定图像处理以例如用提高图像质量。

内部存储器1515是被显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的存储器并且设置在视频处理器1332内部。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码器引擎 1516之间传送和接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且按照需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何存储装置实现，但是在许多情况下内部存储器1515通常用于诸如以块为单位的图像数据或参数的小容量数据的存储。因此，优选地通过例如，诸如静态随机存取存储器 (SRAM)的半导体存储器实现内部存储器1515，半导体存储器容量相对小(例如，较之外部存储器1312)并且响应速度快。

编解码器引擎1516执行与图像数据的编码或解码相关的处理。可以使用编解码器引擎1516对应的任何编码和解码方案，并且方案的数目可以是单个或多个。例如，编解码器引擎1516可以包括多个编码和解码方案的编解码器功能，并且可以使用从中选择的编解码器功能对图像数据编码并且对编码数据解码。

在图56中所示的示例中，作为与编解码器相关的处理的功能块，编解码器引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、 HEVC/H.2651543、HEVC/H.265(可分级)1544、HEVC/H.265(多视图)1545并且包括MPEG-DASH 1551。

MPEG-2视频1541是根据MPEG-2方案对图像数据编码或解码的功能块。AVC/H.2641542是根据AVC方案对图像数据编码或解码的功能块。HEVC/H.2651543是根据HEVC方案对图像数据编码或解码的功能块。HEVC/H.265(可分级)1544是根据HEVC方案对图像数据执行可分级编码或可分级解码的功能块。HEVC/H.265(多视图)1545是根据 HEVC方案对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是使用通过HTTP的MPEG动态自适应流式传输(MPEG-DASH)来传送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)流式传输视频的技术，并且具有以片段为单位从先前准备的分辨率不同的多条编码数据中选择适当的数据并且传送该数据的特性。MPEG-DASH 1551生成符合标准的流，控制流的传送等，并且使用上文所述的用于对图像数据编码和解码的MPEG-2视频 1541至HEVC/H.265(多视图)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎 1514或编解码器引擎1516提供的数据通过存储器接口1517被提供给外部存储器1312。此外，从外部存储器1312读取的数据通过存储器接口1517 被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用和解复用单元(MUX/DMUX)1518对诸如图像数据、视频信号和编码数据的位流的与图像相关的各种类型的数据进行复用或解复用。可以使用任何复用和解复用方法。例如，在复用时，复用和解复用单元 (MUX/DMUX)1518可以将多条数据组合成一条数据，还可以将预定的报头信息等添加到数据。在解复用时，复用和解复用单元(MUX/DMUX) 1518将一条数据分成多条数据，还可以将预定的报头信息添加到划分的每条数据。就是说，复用和解复用单元(MUX/DMUX)1518可以通过复用和解复用转换数据格式。例如，复用和解复用单元(MUX/DMUX)1518 可以通过对位流进行复用来将数据转换成作为具有传输格式的位流的输送流或者具有用于记录的文件格式的数据(文件数据)。当然，还可以通过解复用执行逆转换。

网络接口1519是例如用于宽带调制解调器1333、连接1321等的接口。视频接口1520是例如用于连接1321、相机1322等的接口。

接下来，将描述视频处理器1332的操作的示例。例如，当通过连接1321、宽带调制解调器1333等从外部网络接收输送流时，输送流通过网络接口1519被提供给复用和解复用单元(MUX/DMUX)1518以被解复用，并且随后由编解码器引擎1516解码。例如，通过编解码器引擎1516 的解码获得的图像数据经历由例如图像处理引擎1514执行的预定图像处理，经历由显示引擎1513执行的预定转换，并且通过显示接口1512提供给例如连接1321，并且随后将图像显示在监视器上。例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516重新编码，被复用和解复用单元(MUX/DMUX)1518复用以被转换成文件数据，并且通过视频接口1520输出到例如连接1321，并且被记录在各种记录介质中。

此外，例如，经由连接1321等从记录介质(未示出)读取并且通过对图像数据编码获得的编码数据的文件数据通过视频接口1520被提供给复用和解复用单元(MUX/DMUX)1518以被解复用，并且随后由编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据经历图像处理引擎1514执行的预定图像处理，经历显示引擎1513执行的预定转换，并且通过显示接口1512被提供给例如连接1321，并且随后将图像显示在监视器上。例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516重新编码，被复用和解复用单元(MUX/DMUX) 1518复用以被转换成输送流，通过网络接口1519被提供给例如连接1321 或宽带调制解调器1333，并且被传送到另一装置(未示出)。

例如使用内部存储器1515或外部存储器1516执行视频处理器1332 中的处理单元之间的图像数据或其他数据的传送和接收。功率管理模块 1313控制例如对控制单元1511的电力供给。

当本技术应用于以该方式配置的视频处理器1332时，可以将根据每个上述实施例的本技术应用于编解码器引擎1516。就是说，例如，编解码器引擎1516可以具有实现根据上述实施例的图像编码装置100和图像解码装置的功能块。通过这种方式，视频处理器1332可以获得与上文参照图1至42描述的效果相同的效果。

此外，在编解码器引擎1516中，本技术(即，根据每个上述实施例的图像编码装置或图像解码装置的功能)可以通过诸如逻辑电路的硬件和诸如嵌入程序的软件中的任一者或二者实现。

已例示了视频处理器1332的两个配置，但是视频处理器1332的配置是任意的并且可以是除了上述两个配置之外的配置。视频处理器1332 可以配置为单个半导体芯片或者可以配置为多个半导体芯片。例如，可以使用其中堆叠多个半导体的三维层叠LSI。视频处理器1332可以由多个 LSI实现。

<对装置的应用示例>

视频设备1300可以嵌入到处理图像数据的各种装置中。例如，视频设备1300可以嵌入到电视装置900(图47)、移动电话920(图48)、再现和记录装置940(图49)、成像装置960(图50)等中。通过嵌入视频设备1300，这些装置可以获得与上文参照图1至42描述的优点相同的优点。

此外，视频设备1300还可以嵌入到例如，诸如图51的数据传送系统1000中的个人计算机1004、AV设备1005、平板装置1006和移动电话 1007，图52的数据传送系统1100中的广播站1101或终端装置1102，以及图53的成像系统1200中的成像装置1201或可分级编码数据存储装置 1202的终端装置中。当嵌入视频设备1300时，这些装置可以获得与上文参照图1至42描述的效果相同的效果。

上述视频设备1300的每个配置的一部分也可以实现为被应用本技术的配置，只要配置的该部分包括视频处理器1332即可。例如，仅视频处理器1332可被实现为被应用本技术的视频处理器。此外，如上文所述，由虚线1341指示的视频模块1331或处理器可以被实现为被应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314可以组合以被实现为被应用本技术的视频单元1361。不论采用什么配置，可以获得与上文参照图1至42描述的优点相同的优点。

就是说，如视频设备1300的情况中的那样，任何配置可以嵌入到处理图像数据的各种装置中，只要该配置包括视频处理器1332即可。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以被嵌入到电视装置900(图47)，移动电话920(图48)，再现和记录装置940(图49)，成像装置960(图50)，诸如图51的数据传送系统1000中的个人计算机1004、AV设备1005、平板装置1006或移动电话1007，图52的数据传送系统1100中的广播站1101或终端装置 1102，图53的成像系统1200中的成像装置1201或可分级编码数据存储装置1202的终端装置中。通过嵌入被应用本技术的配置，与视频设备1300相似，这些装置可以获得与上文参照图1至42描述的优点相同的优点。

在本说明书中，描述了其中各种信息在编码流中被复用并且从编码侧传送到解码侧的示例。然而，传送信息的方法不限于这些示例。例如，信息可以被传送或记录作为与编码位流相关联的分立的数据，而不再编码位流中被复用。这里，术语“关联”意味着位流中包括的图像(可以是图像的一部分，诸如切片或块)以及与该图像对应的信息可以在解码时被链接。就是说，信息可以沿不同于图像(或位流)的传送路径被传送。信息可以被记录在与图像(或位流)不同的记录介质(或同一记录介质的不同记录区域)中。此外，信息和图像(或位流)可以例如按任何单位相互关联，诸如多个帧、单个帧或者帧的一部分。

此外，本技术还可以如下配置。

(1)一种图像编码装置，包括：

编码单元，被配置成对图像数据编码；

解码负荷定义信息设定单元，被配置成设定解码负荷定义信息，其用于定义所述图像数据的图像的能够被独立解码的部分区域的解码处理的负荷的量值；以及

传送单元，被配置成传送由所述编码单元生成的所述图像数据的编码数据以及所述解码负荷定义信息设定单元设定的解码负荷定义信息。

(2)根据(1)以及(3)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息。

(3)根据(1)、(2)以及(4)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示部分区域的尺寸的信息来定义部分区域的解码处理的负荷的量值的信息。

(4)根据(1)至(3)以及(5)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示部分区域的竖直方向上的长度的信息以及指示部分区域的水平方向上的长度的信息来定义部分区域的解码处理的负荷的量值的信息。

(5)根据(1)至(4)以及(6)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示被配置成对部分区域解码的虚拟基准解码器的最大输入位率和缓冲器容量的信息来定义部分区域的解码处理的负荷的量值的信息。

(6)根据(1)至(5)以及(7)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示多个部分区域中共同的解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息。

(7)根据(1)至(6)以及(8)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于定义与指示解码处理的负荷的量值的每个等级对应的部分区域的竖直方向上的尺寸和水平方向上的尺寸的信息。

(8)根据(1)至(7)以及(9)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于定义指示图像中的解码处理的负荷的量值的等级的最大值的信息。

(9)根据(1)至(8)以及(10)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息，以及

其中所述解码负荷定义信息设定单元定义关于包括所述部分区域的预定区域的等级的参数并且将其分配给图像单位的定义。

(10)根据(1)至(9)以及(11)至(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息设定单元在能够被独立解码的部分区域的补充增强信息(SEI)中设定关于每个部分区域的解码负荷定义信息。

(11)根据(1)至(10)以及(12)和(13)中任一项所述的图像编码装置，

其中所述图像数据包括多个层，以及

其中所述解码负荷定义信息设定单元在所述SEI中设定所述多个层的解码负荷定义信息。

(12)根据(1)至(11)以及(13)中任一项所述的图像编码装置，

其中所述解码负荷定义信息设定单元进一步设定指示在所述SEI中是否设定解码负荷定义信息的信息或者与在序列参数集合(SPS)中的SEI 中设定的解码负荷定义信息相同的解码负荷定义信息。

(13)根据(1)至(12)中任一项所述的图像编码装置，

其中所述解码负荷定义信息包括指示用作基准的部分区域的尺寸的信息，以及指示部分区域的解码处理的负荷的量值的等级。

(14)一种图像编码方法，包括：

对图像数据编码；

设定解码负荷定义信息，其用于定义所述图像数据的图像的能够被独立解码的部分区域的解码处理的负荷的量值；以及

传送所生成的图像数据的编码数据以及所设定的解码负荷定义信息。

(15)一种图像解码装置，包括：

获取单元，被配置成获取图像数据的编码数据和解码负荷定义信息，所述解码负荷定义信息用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值，所述部分区域能够被独立解码；

分析单元，被配置成分析所述获取单元获取的解码负荷定义信息；

控制单元，被配置成基于所述分析单元的解码负荷定义信息的分析结果来控制所述获取单元获取的编码数据的解码；以及

解码单元，被配置成在所述控制单元的控制下对所述获取单元获取的编码数据解码。

(16)根据(15)以及(17)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息。

(17)根据(15)、(16)以及(18)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示部分区域的尺寸的信息来定义部分区域的解码处理的负荷的量值的信息。

(18)根据(15)至(17)以及(19)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示部分区域的竖直方向上的长度的信息以及指示部分区域的水平方向上的长度的信息来定义部分区域的解码处理的负荷的量值的信息。

(19)根据(15)至(18)以及(20)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示被配置成对部分区域解码的虚拟基准解码器的最大输入位率和缓冲器容量的信息来定义部分区域的解码处理的负荷的量值的信息。

(20)根据(15)至(19)以及(21)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示多个部分区域中共同的解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息。

(21)根据(15)至(20)以及(22)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于定义与指示解码处理的负荷的量值的每个等级对应的部分区域的竖直方向上的尺寸和水平方向上的尺寸的信息。

(22)根据(15)至(21)以及(23)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于定义指示图像中的解码处理的负荷的量值的等级的最大值的信息。

(23)根据(15)至(22)以及(24)至(27)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义部分区域的解码处理的负荷的量值的信息，以及

其中所述控制单元使用针对包括所述部分区域的预定区域定义并且分配给图像单位的定义的等级的参数来控制所述编码数据的解码。

(24)根据(15)至(23)以及(25)至(27)中任一项所述的图像解码装置，

其中所述分析单元分析能够被独立解码的部分区域的补充增强信息 (SEI)中的针对每个部分区域设定的解码负荷定义信息。

(25)根据(15)至(24)以及(26)和(27)中任一项所述的图像解码装置，

其中所述图像数据包括多个层，以及

其中所述分析单元分析在所述SEI中设定的所述多个层的解码负荷定义信息。

(26)根据(15)至(25)中任一项所述的图像解码装置，

其中所述分析单元进一步分析指示在所述SEI中是否设定解码负荷定义信息的信息或者与在序列参数集合(SPS)中设定的SEI中设定的解码负荷定义信息相同的解码负荷定义信息。

(27)根据(15)至(26)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括指示用作基准的部分区域的尺寸的信息，以及指示部分区域的解码处理的负荷的量值的等级。

(28)一种图像解码方法，包括：

获取图像数据的编码数据和解码负荷定义信息，所述解码负荷定义信息用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值；

基于所获取的解码负荷定义信息来控制所获取的编码数据的解码；以及

根据控制对所获取的编码数据解码。

(31)一种图像解码装置，包括：

获取单元，被配置成获取图像数据的编码数据和用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；

控制单元，被配置成基于所述获取单元获取的所述解码负荷定义信息来控制所述获取单元获取的编码数据的解码；以及

解码单元，被配置成在所述控制单元的控制下对所述获取单元获取的编码数据进行解码。

(32)根据(31)所述的图像解码装置，

其中所述部分区域能够被独立解码。

(33)根据(31)或(32)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域的解码处理的负荷的量值的等级来定义解码处理的负荷的量值的信息。

(34)根据(31)至(33)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域的尺寸的信息来定义所述部分区域的解码处理的负荷的量值的信息。

(35)根据(31)至(34)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域在竖直方向上的长度的信息和指示所述部分区域在水平方向上的长度的信息来定义所述部分区域的解码处理的负荷的量值的信息。

(36)根据(31)至(35)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括在能够被独立解码的部分区域的补充增强信息SEI中。

(37)根据(31)至(36)中任一项所述的图像解码装置，

其中所述图像数据包括多个层，以及

其中所述多个层的解码负荷定义信息包括在所述SEI中。

(38)根据(31)至(37)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括指示用作基准的所述部分区域的尺寸的信息以及指示所述部分区域的解码处理的负荷的量值的等级。

(39)根据(31)至(38)中任一项所述的图像解码装置，

其中所述部分区域是码片。

(40)根据(31)至(39)中任一项所述的图像解码装置，

其中所述部分区域是多个码片的集合。

(41)根据(31)至(40)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义所述图像数据的图片中包括的多个部分区域中的解码处理的负荷的最大量值的信息。

(42)根据(31)至(41)中任一项所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义所述图像数据的图片中包括的多个部分区域中的共同的负荷的量值的信息。

(43)根据(31)至(42)中任一项所述的图像解码装置，

其中，当所述图片中包括的多个部分区域具有L形时，定义包括所述L形的矩形区域的负荷的量值。

(44)根据(31)至(43)中任一项所述的图像解码装置，

其中所述获取单元进一步获取指示所述解码负荷定义信息是否被设定的信息，并且当所获取的信息指示所述解码负荷定义信息被设定时，获取所述解码负荷定义信息。

(45)一种图像解码方法，包括：

获取图像数据的编码数据和用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；

基于所获取的解码负荷定义信息来控制所获取的编码数据的解码；以及

根据所述控制对所获取的编码数据进行解码。

此外，本技术还可以如下配置。

(1)一种图像解码装置，包括：

获取单元，被配置成获取图像数据的编码数据和用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；

控制单元，被配置成基于所述获取单元获取的所述解码负荷定义信息来控制所述获取单元获取的编码数据的解码；以及

解码单元，被配置成在所述控制单元的控制下对所述获取单元获取的编码数据进行解码。

(2)根据(1)所述的图像解码装置，

其中所述部分区域能够被独立解码。

(3)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域的解码处理的负荷的量值的等级来定义解码处理的负荷的量值的信息。

(4)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域的尺寸的信息来定义所述部分区域的解码处理的负荷的量值的信息。

(5)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示所述部分区域在竖直方向上的长度的信息和指示所述部分区域在水平方向上的长度的信息来定义所述部分区域的解码处理的负荷的量值的信息。

(6)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括在能够被独立解码的部分区域的补充增强信息SEI中。

(7)根据(6)所述的图像解码装置，

其中所述图像数据包括多个层，以及

其中所述多个层的解码负荷定义信息包括在所述SEI中。

(8)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括指示用作基准的所述部分区域的尺寸的信息以及指示所述部分区域的解码处理的负荷的量值的等级。

(9)根据(1)所述的图像解码装置，

其中所述部分区域是码片。

(10)根据(1)所述的图像解码装置，

其中所述部分区域是多个码片的集合。

(11)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义所述图像数据的图片中包括的多个部分区域中的解码处理的负荷的最大量值的信息。

(12)根据(1)所述的图像解码装置，

其中所述解码负荷定义信息包括用于根据指示解码处理的负荷的量值的等级来定义所述图像数据的图片中包括的多个部分区域中的共同的负荷的量值的信息。

(13)根据(12)所述的图像解码装置，

其中，当所述图片中包括的多个部分区域具有L形时，定义包括所述L形的矩形区域的负荷的量值。

(14)根据(1)所述的图像解码装置，

其中所述获取单元进一步获取指示所述解码负荷定义信息是否被设定的信息，并且当所获取的信息指示所述解码负荷定义信息被设定时，获取所述解码负荷定义信息。

(15)一种图像解码方法，包括：

获取图像数据的编码数据和用于定义所述图像数据的图像的部分区域的解码处理的负荷的量值的解码负荷定义信息；

基于所获取的解码负荷定义信息来控制所获取的编码数据的解码；以及

根据所述控制对所获取的编码数据进行解码。

此外，本技术还可以如下配置。

(1)一种图像解码装置，包括：

控制单元，被配置成基于指示用作图像的基准的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级来控制其中图像被编码的编码数据的解码；以及

解码单元，被配置成在所述控制单元的控制下对所述编码数据进行解码。

(2)根据(1)所述的图像解码装置，

其中所述部分区域能够被独立解码。

(3)根据(1)所述的图像解码装置，

其中所述控制单元根据指示所述部分区域的解码处理的负荷的量值的等级，使用用于定义解码处理的负荷的量值的信息来控制对所述编码数据的解码。

(4)根据(1)所述的图像解码装置，

其中所述控制单元根据指示所述部分区域的尺寸的信息，使用用于定义所述部分区域的解码处理的负荷的量值的信息来控制对所述编码数据的解码。

(5)根据(1)所述的图像解码装置，

其中所述控制单元根据指示所述部分区域在竖直方向上的长度的信息和指示所述部分区域在水平方向上的长度的信息，使用用于定义所述部分区域的解码处理的负荷的量值的信息来控制对所述编码数据的解码。

(6)根据(1)所述的图像解码装置，进一步包括：

获取单元，被配置成获取指示所述部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级，作为指示所述部分区域的解码处理的负荷的量值的解码负荷定义信息，

其中所述控制单元使用所述获取单元获取的所述解码负荷定义信息来控制所述编码数据的解码。

(7)根据(6)所述的图像解码装置，

其中所述获取单元获取所述解码负荷定义信息作为所述编码数据的辅助信息。

(8)根据(7)所述的图像解码装置，

其中所述获取单元获取所述解码负荷定义信息作为能够被独立解码的部分区域的补充增强信息SEI。

(9)根据(8)所述的图像解码装置，

其中所述图像数据包括多个层，以及

其中所述获取单元获取所述多个层的解码负荷定义信息作为所述 SEI。

(10)根据(1)所述的图像解码装置，

其中所述部分区域是码块。

(11)根据(1)所述的图像解码装置，

其中所述部分区域是多个码块的集合。

(12)根据(1)所述的图像解码装置，

其中所述控制单元根据指示解码处理的负荷的量值的等级，使用用于定义所述图像数据的图片中包括的多个部分区域中的解码处理的负荷的最大量值的信息来控制所述编码数据的解码。

(13)根据(1)所述的图像解码装置，

其中所述控制单元根据指示解码处理的负荷的量值的等级，使用用于定义所述图像数据的图片中包括的多个部分区域中的共同的负荷的量值的信息来控制所述编码数据的解码。

(14)根据(13)所述的图像解码装置，

其中，当所述图片中包括的多个部分区域具有L形时，所述控制单元使用用于定义包括所述L形的矩形区域的负荷的量值的信息来控制所述编码数据的解码。

(15)根据(1)所述的图像解码装置，

其中所述控制单元使用指示所述解码负荷定义信息是否被设定的信息来控制所述编码数据的解码。

(16)一种图像解码方法，包括：

基于指示用作图像的基准的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级来控制其中图像被编码的编码数据的解码；以及

根据所述控制对所述编码数据进行解码。

(17)一种图像编码装置，包括：

编码单元，被配置成对图像编码；以及

设定单元，被配置成设定指示用作图像的基准的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级。

(18)根据(17)所述的图像编码装置，

其中所述部分区域能够被独立解码。

(19)根据(17)所述的图像编码装置，

其中所述设定单元根据指示所述部分区域的解码处理的负荷的量值的等级来生成用于定义解码处理的负荷的量值的信息。

(20)根据(17)所述的图像编码装置，

其中所述设定单元根据指示所述部分区域的尺寸的信息来生成用于定义所述部分区域的解码处理的负荷的量值的信息。

(21)根据(17)所述的图像编码装置，

其中所述设定单元根据指示所述部分区域在竖直方向上的长度的信息和指示所述部分区域在水平方向上的长度的信息来生成用于定义所述部分区域的解码处理的负荷的量值的信息。

(22)根据(17)所述的图像编码装置，进一步包括：

传送单元，被配置成传送指示所述部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级，作为指示所述部分区域的解码处理的负荷的量值的解码负荷定义信息。

(23)根据(22)所述的图像编码装置，

其中所述传送单元传送所述解码负荷定义信息作为其中所述编码单元获得的图像被编码的编码数据的辅助信息。

(24)根据(23)所述的图像编码装置，

其中所述传送单元传送所述解码负荷定义信息作为能够被独立解码的部分区域的补充增强信息SEI。

(25)根据(24)所述的图像编码装置，

其中所述图像数据包括多个层，以及

其中所述传送单元传送所述多个层的解码负荷定义信息作为所述 SEI。

(26)根据(17)所述的图像编码装置，

其中所述部分区域是码块。

(27)根据(17)所述的图像编码装置，

其中所述部分区域是多个码块的集合。

(28)根据(17)所述的图像编码装置，

其中所述设定单元根据指示解码处理的负荷的量值的等级来生成用于定义所述图像数据的图片中包括的多个部分区域中的解码处理的负荷的最大量值的信息。

(29)根据(17)所述的图像编码装置，

其中所述设定单元根据指示解码处理的负荷的量值的等级来生成用于定义所述图像数据的图片中包括的多个部分区域中的共同的负荷的量值的信息。

(30)根据(29)所述的图像编码装置，

其中，当所述图片中包括的多个部分区域具有L形时，所述设定单元生成用于定义包括所述L形的矩形区域的负荷的量值的信息。

(31)根据(17)所述的图像编码装置，

其中所述设定单元生成指示所述解码负荷定义信息是否被设定的信息

(32)一种图像编码方法，包括：

对图像编码；以及

设定指示用作图像的基准的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的量值的等级。

附图标记列表

100 图像编码装置

101 基层图像编码单元

102 增强层图像编码单元

103 复用单元

104 控制单元

128 报头信息生成单元

148 报头信息生成单元

151 解码负荷相关信息获取单元

152 MCTS SEI生成单元

153 SPS生成单元

200 图像解码装置

201 解复用单元

202 基层图像解码单元

203 增强层图像解码单元

204 控制单元

224 报头信息分析单元

244 报头信息分析单元

251 报头信息获取单元

252 SPS分析单元

253 MCTS SEI分析单元

254 等级指定单元

255 提供单元

Claims (15)

1.一种图像编码装置，包括：

编码单元，被配置成对图像编码；以及

设定单元，被配置成设定指示所述图像的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的等级，用于控制从所述图像编码装置发送到图像解码装置的其中所述图像被编码的编码数据的解码，指示所述图像的部分区域的尺寸的所述信息和指示所述部分区域的解码处理的负荷的所述等级两者也连同所述编码数据一起从所述图像编码装置发送到所述图像解码装置，

其中，所述部分区域是小于完整的所述图像的、所述图像中的能够被独立解码的区域，并且完整的所述图像具有与其相关联的设置用于解码的相应等级，所述相应等级不同于指示所述部分区域的解码处理的负荷的所述等级。

2.根据权利要求1所述的图像编码装置，

其中所述设定单元根据指示所述部分区域的解码处理的负荷的等级来生成用于定义所述部分区域的解码处理的负荷的信息。

3.根据权利要求1所述的图像编码装置，

其中所述设定单元根据指示所述部分区域的尺寸的信息来生成用于定义所述部分区域的解码处理的负荷的信息。

4.根据权利要求1所述的图像编码装置，

其中所述设定单元根据指示所述部分区域在竖直方向上的长度的信息和指示所述部分区域在水平方向上的长度的信息来生成用于定义所述部分区域的解码处理的负荷的信息。

5.根据权利要求1所述的图像编码装置，进一步包括：

传送单元，被配置成传送指示所述部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的等级，作为指示所述部分区域的解码处理的负荷的解码负荷定义信息。

6.根据权利要求5所述的图像编码装置，

其中所述传送单元传送所述解码负荷定义信息作为其中所述编码单元获得的图像被编码的编码数据的辅助信息。

7.根据权利要求6所述的图像编码装置，

其中所述传送单元传送所述解码负荷定义信息作为能够被独立解码的部分区域的补充增强信息。

8.根据权利要求7所述的图像编码装置，

其中所述编码数据包括多个层的图像数据，以及

其中所述传送单元传送所述多个层的解码负荷定义信息作为所述补充增强信息。

9.根据权利要求1所述的图像编码装置，

其中所述部分区域是码块。

10.根据权利要求1所述的图像编码装置，

其中所述部分区域是多个码块的集合。

11.根据权利要求1所述的图像编码装置，

其中所述设定单元根据指示解码处理的负荷的等级来生成用于定义包括在所述编码数据中的图像数据的图片中包括的多个部分区域中的解码处理的最大负荷的信息。

12.根据权利要求1所述的图像编码装置，

其中所述设定单元根据指示解码处理的负荷的等级来生成用于定义包括在所述编码数据中的图像数据的图片中包括的多个部分区域中的共同的负荷的信息。

13.根据权利要求12所述的图像编码装置，

其中，当所述图片中包括的多个部分区域具有L形时，所述设定单元生成用于定义包括所述L形的矩形区域的负荷的信息。

14.根据权利要求1所述的图像编码装置，

其中所述设定单元生成指示所述解码负荷定义信息是否被设定的信息。

15.一种图像编码方法，包括：

对图像编码；以及

设定指示所述图像的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的等级，用于控制从图像编码装置发送到图像解码装置的其中所述图像被编码的编码数据的解码，指示所述图像的部分区域的尺寸的信息和指示所述部分区域的解码处理的负荷的等级两者也连同所述编码数据一起从所述图像编码装置发送到所述图像解码装置，

其中，所述部分区域是小于完整的所述图像的、所述图像中的能够被独立解码的区域，并且完整的所述图像具有与其相关联的设置用于解码的相应等级，所述相应等级不同于指示所述部分区域的解码处理的负荷的所述等级。