CN110177273B - 图像编码装置和方法 - Google Patents

Abstract

本公开涉及用于对图像编码的装置和方法，其能够抑制编码负荷的增加。该图像编码装置包括：生成部，其被配置成生成控制信息，该控制信息针对增强层的码块指定基层中的许可参考区域，其中基层和增强层中的每个包括一个或更多个码块，其中对于基层和增强层中的每个，图像数据的图片被划分成能够被独立解码的码块；编码部，其被配置成根据生成部生成的控制信息，参照基层的许可参考区域的编码相关信息，对包括基层和增强层的图像数据的增强层的码块进行编码；以及传送部，其被配置成传送编码部生成的图像数据的编码数据以及生成部生成的控制信息。本公开可应用于例如图像处理装置，诸如可升级地对图像数据编码的图像编码装置。

Description

图像编码装置和方法

本发明申请是申请日期为2014年3月11日、申请号为“201480015390.8”、发明名称为“图像编码装置和方法以及图像解码装置和方法”的发明专利申请的分案申请。

技术领域

本公开涉及图像编码装置和方法以及图像解码装置和方法，更具体地，涉及能够抑制编码或解码工作负荷的增加的图像编码装置和方法以及图像解码装置和方法。

背景技术

近来，出于在数字处理图像信息时高效率地传送和积累信息的目的，采用数字处理图像信息并且通过诸如离散余弦变换的正交变换执行补偿以及使用图像信息特定冗余的运动补偿的编码方案对图像进行压缩和编码的装置已变得普遍。移动图片专家组(MPEG)等是这样的编码方案的示例。

具体地，MPEG 2(ISO/IEC 13818-2)是被限定为通用图像编码方案的标准，并且涵盖隔行扫描图像、逐行扫描图像、标准分辨率图像和高清晰度图像。例如，MPEG 2现在被广泛用在诸如专业使用和消费者使用的广泛应用中。使用MPEG 2压缩方案，例如在具有720×480个像素的标准分辨率的隔行扫描图像的情况下，分配4Mbps至8Mbps的编码量(比特率)。此外，使用MPEG2压缩方案，例如在具有1920×1088个像素的高分辨率的隔行扫描图像的情况下，分配18Mbps至22Mbps的编码量(比特率)。因此，可以实现高压缩率以及更好的图像质量。

MPEG 2主要针对适用于广播的高清晰度编码，但是不支持具有低于MPEG 1的编码量(比特率)的编码方案，即高压缩率的编码方案。随着移动终端的普及，认为对这样的编码方案的需要将在未来增加，并且因此MPEG 4编码方案被标准化。关于图像编码方案的国际标准在1998年12月被批准为ISO/IEC 14496-2。

此外，近年来，出于视频会议的图像编码的目的的诸如H.26L(国际电信联盟电信标准化组织Q6/16视频编码专家组(ITU-T Q6/16 VCEG))的标准已被标准化。较之诸如MPEG2或MPEG 4的现有的编码方案，H.26L需要用于编码和解码的较大的计算量，但是已知实现高编码效率。此外，目前，作为MPEG 4的一个活动，并入甚至H.26L中不支持的功能并且基于H.26L实现高编码效率的标准化已被执行，作为增强压缩视频编码的联合模型。

作为标准化进度表，被称为H.264和MPEG-4 Part10(高级视频编码(以下称为“AVC”))的国际标准在2003年3月被建立。

此外，作为H.264/AVC的扩展，包括诸如RGB或4:2:2或4:4:4或8×8DCT的专业使用所需的编码工具以及在MPEG-2中指定的量化矩阵的保真度扩展(FRExt)在2005年2月被标准化。结果，H.264/AVC变为还能够良好地表示电影中包括的影片噪声的编码方案，并且用在诸如蓝光碟(注册商标)的广泛的应用中。

然而，近年来，对能够压缩约4000×2000个像素(这是高清晰度图像的4倍)的图像或者在诸如互联网的有限传送容量环境中递送高清晰度图像的高压缩率编码的需要增加。为此，视频编码专家组(VCEG)已在ITU-T下持续研究提高编码效率。

在这一点上，目前，为了进一步提高编码效率以高于AVC的编码效率，作为ITU-T和ISO/IEC的联合标准化组织的联合协作团队-视频编码(JCTVC)正在对称为高效率视频编码(HEVC)的编码方案进行标准化。作为关于HEVC标准的草案规范的委员会草案在2013年1月被颁布(参见非专利文献1)。

在HEVC中，除了也在AVC中定义的码片之外，可以执行基于码块的并行处理或者波阵面并行处理。

此外，诸如MPEG-2和AVC的现有的图像编码方案具有将图像分成多个层并且对多个层编码的可分级功能。

换言之，例如，对于诸如移动电话的具有低处理能力的终端，仅传送基层的图像压缩信息，并且再现具有低空间和时间分辨率或低质量的移动图像，并且对于诸如电视或个人计算机的具有高处理能力的终端，传送增强层以及基层的图像压缩信息，并且再现具有高空间和时间分辨率或高质量的移动图像。就是说，根据终端或网络的能力可以在不执行代码转换处理的情况下从服务器传送图像压缩信息。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Gary J.Sullivan,Jens-RainerOhm,Gary J.Sullivan,Ye-Kui Wang,Thomas Wiegand,"High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Consent),"JCTVC-L1003_v4,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 1112th Meeting:Geneva,CH,14-23Jan.2013

发明内容

技术问题

然而，在现有技术的方法中，当在增强层的编码和解码中参照诸如解码图像信息或运动信息的基层的编码相关信息时，基层的整个图片是参照对象。

出于该原因，例如在增强层的编码和解码时工作负荷很可能增加，用于参照基层的编码相关信息的存储器访问次数增加。

考虑到前文作出了本公开，并且期望抑制编码或解码工作负荷的增加。

对问题的解决方案

根据本技术的一个实施例，提供了一种图像编码装置，其包括：生成部，其被配置成针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；编码部，其被配置成根据生成部生成的控制信息的控制，参照其他层的一些区域的编码相关信息对图像数据的当前层进行编码；以及传送部，其被配置成传送编码部生成的图像数据的编码数据以及生成部生成的控制信息。

控制信息可以是通过指定其中许可对其他层的编码相关信息的参照的区域、指定其中禁止对编码相关信息的参照的区域、或者指定其中参照编码相关信息的区域来限制其中参照编码相关信息的区域的信息。

控制信息可以使用按照光栅扫描顺序分配的识别编号、指示区域在图片中的竖直方向和水平方向上的位置的信息、或者指示区域在编码数据中的数据位置的信息来指定区域。

传送部可以进一步传送指示是否控制其中参照编码相关信息的区域的信息。

编码相关信息可以是用于生成图像数据的编码中使用的预测图像的信息。

用于生成预测图像的信息可以包括用于图像数据的纹理预测的信息和用于图像数据的语法预测的信息。控制信息可以是用于独立地控制其中参照用于纹理预测的信息的区域以及其中参照用于语法预测的信息的区域的信息。

生成部可以生成关于通过划分图像数据的当前层的图片而获得的多个特定区域中的每个特定区域的控制信息。编码部可以根据生成部生成的每个区域的控制信息的控制，参照关于每个区域的其他层的一些区域的编码相关信息来对图像数据的当前层进行编码。

传送部可以进一步传送指示当前层的区域划分是否与其他层的区域划分相似的信息。

区域可以是图像数据的切片(slice)或码片(tile)。

根据本技术的一个实施例，提供了一种图像编码方法，其包括：针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；根据所生成的控制信息的控制，参照其他层的一些区域的编码相关信息对图像数据的当前层进行编码；以及传送通过对图像数据进行编码而生成的编码数据以及所生成的控制信息。

根据本技术的另一实施例，提供了一种图像解码装置，其包括：接收部，其被配置成接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在特定区域中参照针对通过划分图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及解码部，其被配置成根据接收部接收到的控制信息的控制，参照其他层的一些区域的编码相关信息对编码数据进行解码。

控制信息可以是通过指定其中许可对其他层的编码相关信息的参照的区域、指定其中禁止对编码相关信息的参照的区域、或者指定其中参照编码相关信息的区域来限制其中参照编码相关信息的区域的信息。

控制信息可以使用按照光栅扫描顺序分配的识别编号、指示区域在图片中的竖直方向和水平方向上的位置的信息、或者指示区域在编码数据中的数据位置的信息来指定区域。

接收部可以进一步接收指示是否控制其中参照编码相关信息的区域的信息。

编码相关信息可以是用于生成图像数据的解码中使用的预测图像的信息。

用于生成预测图像的信息可以包括用于图像数据的纹理预测的信息和用于图像数据的语法预测的信息。控制信息可以是用于独立地控制其中参照用于纹理预测的信息的区域以及其中参照用于语法预测的信息的区域的信息。

接收部可以接收针对通过划分图像数据的当前层的图片而获得的多个特定区域中的每个特定区域进行编码的编码数据以及每个区域的控制信息。解码部可以根据每个区域的控制信息的控制，参照关于每个区域的其他层的一些区域的编码相关信息来对接收部接收到的编码数据进行解码。

接收部可以进一步接收指示当前层的区域划分是否与其他层的区域划分相似的信息。

区域可以是图像数据的切片或码片。

根据本技术的另一实施例，提供了一种图像解码方法，其包括：接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在特定区域中参照针对通过划分图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及根据接收到的控制信息的控制，参照其他层的一些区域的编码相关信息对编码数据进行解码。

根据本技术的另一实施例，提供了一种图像编码装置，其包括：生成部，其被配置成生成控制信息，控制信息针对增强层的码块指定基层中的许可参考区域，其中基层和至少一个增强层中的每个包括一个或更多个码块，其中对于基层和至少一个增强层中的每个，图像数据的图片被划分成能够被独立解码的码块；编码部，其被配置成根据生成部生成的控制信息，参照基层的许可参考区域的编码相关信息，对包括基层和至少一个增强层的图像数据的增强层的码块进行编码；以及传送部，其被配置成传送编码部生成的图像数据的编码数据以及生成部生成的控制信息。

根据本技术的另一实施例，提供了一种图像编码方法，包括：生成控制信息，控制信息针对增强层的码块指定基层中的许可的参考区域，其中基层和至少一个增强层中的每个包括一个或更多个码块，其中对于基层和至少一个增强层中的每个，图像数据的图片被划分成能够被独立解码的码块；根据所生成的控制信息，参照基层的许可参考区域的编码相关信息，对包括基层和至少一个增强层的图像数据的增强层的码块进行编码；以及传送所生成的图像数据的编码数据以及所生成的控制信息。

根据本技术的一个方面，针对包括多个层的图像数据的当前层生成用于控制如下区域的控制信息，在该区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息，根据所生成的控制信息的控制，参照其他层的一些区域的编码相关信息对图像数据的当前层进行编码，并且传送通过对图像数据进行编码而生成的编码数据以及所生成的控制信息。

根据本技术的另一方面，接收包括多个层的图像数据的当前层的编码数据以及用于控制区域的控制信息，在该区域中参照针对通过划分图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息，并且根据接收到的控制信息的控制，参照其他层的一些区域的编码相关信息对编码数据进行解码。

发明的有利益处

根据本公开，可以对图像编码和解码。具体地，可以抑制编码或解码工作负荷的增加。

附图说明

图1是用于描述编码单位的配置示例的示图。

图2是图示可分级分层图像编码方案的示例的示图。

图3是用于描述空间可分级编码的示例的示图。

图4是用于描述时间可分级编码的示例的示图。

图5是用于描述信噪比的可分级编码的示例的示图。

图6是用于描述切片的示例的示图。

图7是用于描述码片的示例的示图。

图8是用于描述基层参照控制的示例的示图。

图9是用于描述码片设定的示例的示图。

图10是用于描述基层参照控制的另一示例的示图。

图11是用于描述并行处理的示例的示图。

图12是用于描述分配码片的识别编号的方法的示例的示图。

图13是用于描述图片参数集合的语法的示例的示图。

图14是用于描述图片参数集合的语法的示例的图13的接续图。

图15是用于描述切片报头的语法的示例的示图。

图16是用于描述切片报头的语法的示例的图15的接续图。

图17是用于描述切片报头的语法的示例的图16的接续图。

图18是图示图像编码装置的主要配置的示例的框图。

图19是图示基层图像编码部的主要配置的示例的框图。

图20是图示增强层图像编码部的主要配置的示例的框图。

图21是图示区域同步部的主要配置的示例的框图。

图22是用于描述图像编码处理的流程的示例的流程图。

图23是用于描述基层编码处理的流程的示例的流程图。

图24是用于描述增强层编码处理的流程的示例的流程图。

图25是用于描述接续图24的增强层编码处理的流程的示例的流程图。

图26是图示图像解码装置的主要配置的示例的框图。

图27是图示基层图像解码部的主要配置的示例的框图。

图28是图示增强层图像解码部的主要配置的示例的框图。

图29是图示区域同步部的主要配置的示例的框图。

图30是用于描述图像解码处理的流程的示例的流程图。

图31是用于描述基层解码处理的流程的示例的流程图。

图32是用于描述增强层解码处理的流程的示例的流程图。

图33是用于描述接续图32的增强层解码处理的流程的示例的流程图。

图34是图示多视图图像编码方案的示例的示图。

图35是图示被应用本公开的多视图图像编码装置的主要配置的示例的示图。

图36是图示被应用本公开的多视图图像解码装置的主要配置的示例的示图。

图37是图示计算机的主要配置的示例的框图。

图38是图示电视装置的示意性配置的示例的框图。

图39是图示移动电话的示意性配置的示例的框图。

图40是图示记录/再现装置的示意性配置的示例的框图。

图41是图示图像捕获装置的示意性配置的示例的框图。

图42是图示使用可分级编码的示例的框图。

图43是图示使用可分级编码的另一示例的框图。

图44是图示使用可分级编码的另一示例的框图。

图45是图示视频设备的示意性配置的示例的框图。

图46是图示视频处理器的示意性配置的示例的框图。

图47是图示视频处理器的示意性配置的另一示例的框图。

图48是图示内容再现系统的配置的说明图。

图49是图示内容再现系统中的数据流的说明图。

图50是图示MPD的具体示例的说明图。

图51是图示内容再现系统的内容服务器的配置的功能框图。

图52是图示内容再现系统的内容再现装置的配置的功能框图。

图53是图示内容再现系统的内容服务器的配置的功能框图。

图54是图示无线通信系统的各个装置的通信处理示例的序列图。

图55是图示无线通信系统的各个装置的通信处理示例的序列图。

图56是示意性图示在无线通信系统的各个装置的通信处理中传送和接收的帧格式的配置的示例的示图。

图57是图示无线通信系统的各个装置的通信处理示例的序列图。

具体实施方式

在下文中将描述实施本公开的模式(以下称为“实施例”)。描述将以如下顺序进行。

1.本技术的主要描述

2.第一实施例(图像编码装置)

3.第二实施例(图像解码装置)

4.第三实施例(多视图图像编码装置和多视图图像解码装置)

5.第四实施例(计算机)

6.应用示例

7.可分级编码的应用示例

8.第五实施例(设备、单元、模块和处理器)

9.MPEG-DASH的内容再现系统的应用示例

10.Wi-Fi标准的无线通信系统的应用示例

<1.本技术的主要描述>

<概述>

[编码方案]

在下文中，将结合对高效率视频编码(HEVC)方案的图像编码和解码的应用来描述本技术。

<编码单位>

在高级视频编码(AVC)方案中，定义了基于宏块和子宏块的分层结构。然而，16×16个像素的宏块对于用作下一代编码方案的对象的超高清晰度(UHD)(4000×2000个像素)的大图像帧而言不是最优的。

另一方面，在HEVC方案中，编码单位(CU)如图1中所示被定义。

CU也被称为树形编码块(CTB)，并且用作承担与AVC方案中的宏块相似的任务的图片单位的图像的部分区域。后者被固定为16×16个像素的尺寸，但是前者没有被固定为特定尺寸，而是在每个序列中在图像压缩信息中指定。

例如，在要输出的编码数据中包括的序列参数集合(SPS)中指定CU的最大编码单位(LCU)和最小编码单位(SCU)。

在每个LCU不小于SCU的范围内设定分割标志(split-flag)＝1时，编码单位可以被分成具有更小尺寸的CU。在图1的示例中，LCU的尺寸是128，并且最大可分级深度是5。2N×2N尺寸的CU被称为具有N×N尺寸的CU，用作比分割标志值为1时低一级的层。

此外，CU被分成预测单位(PU)，预测单位是用作帧内预测或帧间预测的处理单位的区域(图片单位的图像的部分区域)，并且CU被分成变换单位(TU)，变换单位是用作正交变换的处理单位的区域(图片单位的图像的部分区域)。当前，在HEVC方案中，除了4×4和8×8之外，可以使用16×16和32×32的正交变换。

如HEVC方案中那样，在其中定义CU并且以CU为单位执行各种处理的编码方案的情况下，在AVC方案中，宏块可以被视为对应于LCU，并且块(子块)可以被视为对应于CU。此外，在AVC方案中，运动补偿块可以被视为对应于PU。然而，由于CU具有分层结构，因此最顶层的LCU的尺寸通常被设定为大于AVC方案中的宏块，例如诸如128×128个像素。

因此，在下文中，假设LCU包括AVC方案中的宏块，并且假设CU包括AVC方案中的块(子块)。换言之，以下描述中使用的“块”指示图片中的任意部分区域，并且例如其尺寸、形状和特性不受限制。换言之，“块”包括任意区域(处理单位)，诸如TU、PU、SCU、CU、LCU、子块、宏块或码片。当然，“块”也包括其他部分区域(处理单位)。在有必要限制尺寸、处理单位等时，将作适当地描述。

<模式选择>

此外，在AVC和HEVC编码方案中，为了实现高编码效率，重要的是选择适当的预测模式。

作为该选择方法的示例，存在在称为联合模型(JM)的H.264/MPEG-4AVC的参照软件(在http://iphome.hhi.de/suehring/tml/index.htm处找到)中实现的方法。

在如后面将描述的JM中，可以选择两个模式确定方法，即高复杂度模式和低复杂度模式。在这两个模式中，计算与各个预测模式相关的成本函数值，并且选择具有较小的成本函数值的预测模式作为关于相应的块或宏块的最优模式。

高复杂度模式中的成本函数被表示为下式(1)：

[数学式1]

这里，Ω指示用于对相应块或宏块编码的候选模式的全体集合，并且D指示当在相应的预测模式中执行编码时在解码图像和输入图像之间的差能量。λ指示作为量化参数的函数给出的拉格朗日(Lagrange)未确定乘数。R指示在相应模式中执行编码时包括正交变换系数的总编码量。

换言之，为了执行在高复杂度模式中执行编码，有必要通过所有候选模式执行一次临时编码处理以便计算参数D和R，并且因此需要大计算量。

低复杂度模式中的成本函数被表示为下式(2)：

[数学式2]

这里，不同于高复杂度模式的情况，D指示预测图像与输入图像之间的差能量。QP2Quant(QP)是作为量化参数QP的函数而给出的，而HeaderBit指示与属于报头的诸如运动向量或模式且不包括正交变换系数的信息相关的编码量。

换言之，在低复杂度模式中，有必要针对各个候选模式执行预测处理，但是由于解码图像不是必需的，因此不必执行编码处理。因此，较之高复杂度模式，可以实现较小的计算量。

<可分级编码>

此外，诸如MPEG2和AVC的现有的图像编码方案具有可分级功能。可分级编码指的是将图像分成多个层(分层)并且针对每个层执行编码的方案。图2是图示分层图像编码方案的示例的示图。

如图2中所示，在图像的分层中，基于具有可分级功能的特定参数将一个图像分成多个层。换言之，分层图像包括特定参数值不同的多个层。分层图像的多个层配置有基层和非基层(还被称为“增强层”)，在基层上仅使用其自身层的图像而不使用另一层的图像来执行编码和解码，而在非基层上使用另一层的图像来执行编码和解码。对于非基层，可以使用基层的图像，并且可以使用另一非基层的图像。

通常，为了降低冗余，非基层配置有其自身的图像和另一层的图像之间的差图像的数据(差数据)。例如，当一个图像被分层成两个层，即基层和非基层(还被称为“增强层”)时，仅使用基层的数据获得质量比原始图像低的图像，并且通过将基层的数据与增强层的数据组合来获得原始图像(即高质量图像)。

由于图像如上所述被分层，因此可以根据情况获得各种质量的图像。例如，对于诸如移动电话的具有低处理能力的终端，仅传送基层的图像压缩信息，并且再现具有低空间和时间分辨率或低质量的移动图像，并且对于诸如电视或个人计算机的具有高处理能力的终端，传送增强层以及基层的图像压缩信息，并且再现具有高空间和时间分辨率或高质量的移动图像。换言之，根据终端或网络的能力可以在不执行代码转换处理的情况下从服务器传送图像压缩信息。

<可分级参数>

在该分层图像编码和分层图像解码(可分级编码和可分级解码)中，具有可分级功能的参数是任意的。例如，如图3中所示的空间分辨率可以是其参数(空间可分级性)。当空间可分级性不同时，各个层具有不同的图像分辨率。换言之，每个图片被分层成两个层，即如图3中所示的空间分辨率低于原始图像的基层以及与基层图像组合以获得原始图像(原始空间分辨率)的增强层。当然，层数目是示例，并且每个图片可以被分层成任意数目的层。

作为具有该可分级性的另一参数，例如，可以应用如图4中所示的时间分辨率(时间可分级性)。在时间可分级性的情况下，各个层具有不同的帧速率。换言之，在该情况下，每个图片分层成具有不同的帧速率的层，可以通过将具有高帧速率的层与具有低帧速率的层组合来获得具有高帧速率的移动图像，并且可以通过组合图4中所示的所有层来获得原始移动图像(原始帧速率)。层数目是示例，并且每个图片可以分层成任意数目的层。

此外，作为具有该可分级性的另一参数，例如，存在信噪比(SNR)(SNR可分级性)。在SNR可分级性的情况下，各个层具有不同的SNR。换言之，在该情况下，如图5中所示，每个图片被分层成两个层，即SNR低于原始图像的基层和与基层组合以获得原始SNR的增强层。换言之，对于基层图像压缩信息，传送与具有低PSNR的图像相关的信息，并且可以通过将该信息与增强层图像压缩信息组合来重构高PSNR图像。当然，层数目是示例，并且每个图片可以分层成任意数目的层。

除了上述示例以外的参数可以应用为具有可分级性的参数。例如，存在位深度可分级性，其中基层包括8位图像，并且可以通过将增强层添加到基层来获得10位图像。

此外，存在色度可分级性，其中基层包括4:2:0格式的分量图像，并且可以通过将增强层添加到基层来获得4:2:2格式的分量图像。

<区域划分>

此外，在HEVC中，除了在AVC中也定义的切片之外，还可以基于码片或波阵面并行处理来执行并行处理。

图6是图示HEVC中定义的切片的示例的示图。如图6中所示，与AVC的切片相似，切片是其中以光栅扫描顺序执行编码处理的单位，并且包括通过划分图片获得的多个区域。这里，在HEVC中，切片划分可以仅以LCU为单位来执行。在图6中，整个方形指示图片，并且小的方形指示LCU。此外，具有不同图案的LCU的组指示切片。例如，由阴影图案指示的包括从顶部起的第一行和第二行的LCU的切片是图片的第一切片(切片#1)。由白色背景指示的包括从顶部起的第三行和第四行的LCU的切片是图片的第二切片(切片#2)。由灰色背景指示的包括从顶部起的第五行和第六行的LCU的切片是图片的第三切片(切片#3)。由网格图案指示的包括从顶部起的第七行和第八行的LCU的切片是图片的第四切片(切片#4)。当然，在图片中形成的LCU或切片的数目以及切片划分方法是任意的，并且不限于图6的示例。

图7图示了在HEVC中定义的码片的示例。与切片相似，码片是通过以LCU为单位划分图片而获得的区域。然而，如图7中所示，切片是通过划分图片使得以光栅扫描顺序处理LCU而获得的区域，而码片是通过将图片划分成任意矩形而获得的区域。

在图7中，整个方形指示图片，并且小的方形指示LCU。此外，具有不同图案的LCU的组指示码片。例如，由阴影图案指示的包括左上的4×4个LCU的码片是图片的第一码片(码片#1)。由白色背景指示的包括右上的4×4个LCU的码片是图片的第二码片(码片#2)。由灰色背景指示的包括左下的4×4个LCU的码片是图片的第三码片(码片#3)。由网格图案指示的包括右下的4×4个LCU的码片是图片的第四码片(码片#4)。当然，在图片中形成的LCU或码片的数目以及码片划分方法是任意的，并且不限于图7的示例。

在如上所述形成的每个码片中，以光栅扫描顺序处理LCU。由于码片具有比切片短的边界长度，因此码片具有如下特性：因画面划分引起的编码效率的下降是小的。

如上所述划分的切片或码片可以彼此独立地被处理，因为在编码或解码中不存在预测、CABAC等的依赖关系。换言之，例如，可以使用不同的中央处理单元(CPU)(或不同的核心)来并行地处理切片(或码片)的数据。

<可分级编码中的区域划分>

此外，在可分级编码中，在增强层的编码中可以使用基层的编码相关信息。编码相关信息的内容是任意的，但是包括例如，诸如解码图像的纹理信息、诸如运动信息或帧内预测模式信息的语法信息等。

在可分级编码中，在对基层的图片编码之后，与图片对应的增强层的图片参照基层的编码相关信息进行编码。换言之，在对基层编码之后，提供所获得的基层的编码相关信息并且将其适当地用于增强层的编码。还在相似的进程中执行解码。

然而，在现有技术的方法中，不存在控制用作如上文所述的增强层的编码和解码中的编码相关信息的参照目标的区域的方法。换言之，例如，即使在编码相关信息按区域不同时，基层的整个图片仍始终用作参照对象。出于该原因，由于基层的图片中明显不需要用作参照目标的区域仍用作参照对象，因此存储器访问次数等不必要地增加，并且因而增强层的编码和解码的工作负荷很可能不必要地增加。

此外，在可分级编码中，通过移除如上文所述的诸如切片或码片的区域之间的处理依赖关系，可以独立地执行每个区域的处理，并且因此并行地执行区域的处理。换言之，在该情况下，可以针对每个区域依次执行基层的编码和解码以及增强层的编码和解码。

然而，当在增强层的编码和解码中参照基层的编码相关信息时，在现有技术的方法中，整个图片用作参照对象，并且因此出现与另一区域的依赖关系。因此，很可能难于并行执行区域的处理。

<参照对象的限制>

在这一点上，在增强层的编码和解码中，控制用作另一层(例如，基层或另一增强层)的编码相关信息的参照对象的区域。例如，其中参照编码相关信息的区域限于另一层的图片的一些区域。

图8是图示限制参照对象的方面的示例的示图。在图8的情况下，仅基层的网格图案指示的码片被指定为编码相关信息的参照对象。在该情况下，对于增强层的编码和解码，其他区域的编码相关信息(白色背景的区域)既没有被包括作为参照对象也没有从存储器读取。因此，相应地抑制了增强层的编码和解码的工作负荷的增加。

限制方法是任意的，但是可以指定其中许可对另一层的编码相关信息的参照的区域。此外，例如，可以指定其中禁止对另一层的编码相关信息的参照的区域。此外，例如，可以指定其中参照另一层的编码相关信息的区域。

由于诸如码片或切片的用作编码或解码的处理单位的区域被用作编码相关信息的参照对象控制单位，因此可以减少区域之间的依赖关系，并且因此可以更容易地独立地执行并行处理。

<区域控制的具体示例>

将描述这种控制的更具体的示例。

例如，如图8的示例中的那样，在对基层编码的事件中，图片被分成码片，并且执行控制使得仅在少数码片中可以参照编码相关信息。在该情况下，例如，对于这些少数码片许可对编码相关信息的参照。例如，在基层的编码中，生成并且提供指定其中许可对编码相关信息的参照的控制信息用于增强层的编码。

根据控制信息执行增强层的编码。换言之，对于增强层的编码，可以仅参照控制信息许可的码片的编码相关信息。

此外，对于基层的编码，设定其中许可对编码相关信息的参照的区域的设定方法是任意的。例如，用户、应用等可以指定其中许可对编码相关信息的参照的区域，或者可以预先决定其中许可对编码相关信息的参照的区域。

例如，当存在其中参照是明显不必要的区域，诸如移动图像的图片的共同位置处的黑边(letter box)时，可以从“其中许可对编码相关信息的参照的区域”排除该区域，就是说，其他区域可以在对移动图像数据的图片编码之前被预先指定为“其中许可对编码相关信息的参照的区域”。

此外，例如，用户可以指定每个图片的“其中许可对编码相关信息的参照的区域”，或者用户可以指定图像的特征，并且应用等可以将每个图片中的具有指定特征的区域指定为“其中许可对编码相关信息的参照的区域”。此外，应用等可以执行区域划分(例如，码片划分、切片划分等)，使得在每个图片中形成包括特定特征(或用户指定特征)的区域。

例如，在基层的编码中，假设输入图像是包括人的图像(图9的A)。应用对图像执行面部识别处理，并且检测到包括人脸的部分区域(图9的B)。随后，应用对图片执行码片划分，使得该部分区域被设定为一个码片(图9的C)。随后，应用将包括人脸的码片(即检测到的部分区域)指定为“其中许可对编码相关信息的参照的区域”(图9的D中网格图案的码片)。

如上文所述，可以在认识到编码相关信息要被增强层的编码参照的状态下执行区域划分(形成码片或切片)。结果，“其中许可对编码相关信息的参照的区域的数目”可以减少。换言之，在增强层的编码中，由于可以进一步缩窄要参照的基层的范围，因此可以抑制工作负荷的增加。

此外，其中参照编码相关信息的区域的控制可以以至少大于上述区域(码片、切片等)的单位来执行。例如，可以以图片为单位来执行控制。此外，例如，可以以序列为单位来执行控制。此外，可以以移动图像数据为单位来执行控制。此外，可以预先准备控制信息。

上文描述了指定“其中许可对编码相关信息的参照的区域”的示例，但是控制方法不限于该示例，并且例如，可以相反地指定“其中禁止对编码相关信息的参照的区域”。在该情况下，除了其中禁止参照的少数码片之外的码片被用作参照对象。

在该情况下，例如，在基层的编码中，期望生成指定其中禁止对编码相关信息的参照的码片的控制信息并且提供该控制信息用于增强层的编码。

与许可参照的情况相似，根据控制信息执行增强层的编码。换言之，对于增强层的编码，仅可以参照除了被控制信息禁止的码片之外的码片的编码相关信息。

当然，在该情况下，与许可参照的情况相似，设定方法是任意的。此外，其中许可(或禁止)对基层的编码相关信息的参照的区域的数目可以是一个或若干个。

如上文所述，与许可还是禁止对编码相关信息的参照无关，在增强层的编码中，图片是否被分成码片(或切片)是任意的。此外，如何执行划分也是任意的。即便以诸如码片或切片的区域为单位对增强层编码，仍基于控制信息执行每个区域的编码。换言之，在所有区域的编码中可以仅参照控制信息许可的(除了禁止的码片(或切片)之外的)码片(或切片)的编码相关信息。

如上文所述，当以诸如码片或切片的区域为单位对增强层编码时，可以针对增强层的每个区域设定其中许可(或禁止)对编码相关信息的参照的区域。换言之，其中许可(或禁止)对基层的编码相关信息的参照的区域在增强层的每个区域中可以不同。

例如，控制信息可以是其中增强层的区域和基层的区域相关联(同步)的信息(例如，对应表格)。在该情况下，在增强层的区域的编码中仅可以参照对应表格所关联的基层的区域的编码相关信息。

通过如上文所述针对增强层的每个区域控制编码相关信息的参照目标，可以执行更适当的控制。因此，可以抑制编码或解码工作负荷的增加。此外，可以减少区域之间的依赖关系。

例如，如图10中所示，可以许可增强层的区域参照基层的不同区域的编码相关信息。在图10的示例的情况下，增强层的码片E₀的编码中的基层的编码相关信息的参照目标限于基层的码片B₀。增强层的码片E₁的编码中的基层的编码相关信息的参照目标限于基层的码片B₁。增强层的码片E₂的编码中的基层的编码相关信息的参照目标限于基层的码片B₂。增强层的码片E₃的编码中的基层的编码相关信息的参照目标限于基层的码片B₃。

由于如图10中所示许可增强层的区域参照基层的不同区域的编码相关信息，因此如图11中所示，可以减少区域之间的依赖关系并且更容易地执行并行处理。

在图11的示例的情况下，第一CPU#0按照帧#0的基层的码片#0(B₀_0)、帧#0的增强层的码片#0(E₀_0)、帧#1的基层的码片#0(B₀_1)、帧#1的增强层的码片#0(E₀_1)、帧#2的基层的码片#0(B₀_2)和帧#2的增强层的码片#0(E₀_2)的顺序对各个帧的码片#0执行编码。

与此并行，第二CPU#1按照帧#0的基层的码片#1(B₁_0)、帧#0的增强层的码片#1(E₁_0)、帧#1的基层的码片#1(B₁_1)、帧#1的增强层的码片#1(E₁_1)、帧#2的基层的码片#1(B₁_2)和帧#2的增强层的码片#1(E₁_2)的顺序对各个帧的码片#1执行编码。

此外，与此并行，第三CPU#2按照帧#0的基层的码片#2(B₂_0)、帧#0的增强层的码片#2(E₂_0)、帧#1的基层的码片#2(B₂_1)、帧#1的增强层的码片#2(E₂_1)、帧#2的基层的码片#2(B₂_2)和帧#2的增强层的码片#2(E₂_2)的顺序对各个帧的码片#2执行编码。

此外，与此并行，第四CPU#3按照帧#0的基层的码片#3(B₃_0)、帧#0的增强层的码片#3(E₃_0)、帧#1的基层的码片#3(B₃_1)、帧#1的增强层的码片#3(E₃_1)、帧#2的基层的码片#3(B₃_2)和帧#2的增强层的码片#3(E₃_2)的顺序对各个帧的码片#2执行编码。

控制信息中的基层的区域(码片、切片等)的指定可以基于编码数据(位流)中包括的每个区域的数据的位置(例如，相对头部的偏移值)来执行，或者可以基于分配给基层的每个区域的识别编号来执行。

例如，如图12中所示，可以按照光栅扫描顺序将识别编号分配给每个区域，并且可以使用识别编号来指定其中许可或禁止对编码相关信息的参照的区域。当然，分配识别编号的方法是任意的，并且光栅扫描顺序是示例。

结合编码的情况描述了以上示例，但是其相似地应用于解码的情况。

<控制信息的传送>

用于控制对编码相关信息的参照的控制信息可以从编码侧传送到解码侧。由于控制信息被传送到解码侧，因此可以在解码中使用控制信息。换言之，与编码的情况相似，可以减少解码工作负荷。在该情况下，可以指定控制信息，例如图片参数集合(PPS)或切片报头。当然，可以通过任意方法传送控制信息。例如，可以在序列参数集合、视频参数集合等中指定控制信息。此外，控制信息可以作为分立于图像数据的编码数据的数据而被传送。

图13和14图示了当通过图片参数集合传送控制信息时的增强层的图片参数集合的语法的示例。

在该情况的示例中，如图13中所示，传送tile_setting_from_ref_layer_flag(来自参照层码片设定标志)作为指示用作处理对象的当前层(即增强层)的区域划分是否与另一层(即基层)的区域划分相似。当其值是1时，指示增强层中的区域划分(例如，码片划分)方法与基层的区域划分方法相似。

例如，当增强层的区域划分与基层的区域划分相似时，可以在增强层的解码中参照基层的区域划分信息来检测增强层的区域划分，并且因此没有必要传送与增强层的区域划分相关的信息(例如，图13中的num_tile_columns_minus1(码片列数减1)、num_tile_rows_minus1(码片行数减1)、uniform_spacing_flag(均匀间隔标志))。因此，可以抑制编码效率的降低。

此外，如图14中所示，传送inter_layer_tile_prediction_restriction_flag(层间码片预测限制标志)作为指示是否控制其中参照编码相关信息的区域的信息。当其值是1时，传送用于控制对编码相关信息的参照的控制信息(从图14中的顶部起低二至第九行)。在图14的示例的情况下，以区域为单位对增强层编码，并且针对增强层的每个区域传送用于控制其中参照编码相关信息的基层的区域的控制信息。

由于如上文所述传送指示是否控制其中参照编码相关信息的区域的信息，因此当没有控制其中参照编码相关信息的区域时，可以省略控制信息的传送(可以仅在控制其中参照编码相关信息的区域时传送控制信息)。因此，可以抑制编码效率的下降。

在图14的示例的情况下，通过区域阵列中的水平方向和竖直方向上的位置(i,j)指定用作增强层的处理对象的当前层。此外，针对每个区域指定用作参照目标及其区域的基层的区域的数目(num_ref_tiles_minus1)。此外，用于参照目标的基层的区域由识别编号(ref_tile[k])指定。如图12中的示例中的那样按照光栅扫描顺序将识别编号分配给基层的每个区域。

可以通过除了上述方法之外的任意方法指定增强层的当前区域和用于参照目标的基层的区域。例如，可以使用识别编号指定增强层的当前区域。例如，可以通过区域阵列中的水平方向和竖直方向上的位置(i,j)指定用作参照目标的基层的区域，或者可以通过指示区域数据在编码数据中的位置的信息(例如，相对于顶部的偏移值)指定用作参照目标的基层的区域。

图15至17图示了当通过切片报头传送控制信息时的增强层的切片报头的语法的示例。如图15至17中所示，在切片报头的情况下，通过与参照图13和14描述的图片参数集合的情况中的方法相似的方法传送控制信息。

在图13至17的示例中，描述了用作区域的码片，但是以上描述可以相似地应用于用作区域的切片。

此外，如上文所述，编码相关信息包括例如诸如解码图像的纹理信息或者诸如运动信息或帧内预测模式信息的语法信息。换言之，例如，作为其中参照另一层的信息执行预测的层间预测，存在层间纹理预测，其中诸如基层的解码图像信息的纹理信息用于预测；以及层间语法预测，其中诸如基层的运动信息和帧内预测模式信息的语法信息用于预测。在本技术中，可以在每个预测处理中独立地执行编码相关信息的参照目标的控制。换言之，例如，可以独立地指定纹理信息的参照目标区域和语法信息的参照目标区域。

<2.第一实施例>

<图像编码装置>

接下来，将描述实现本技术及其方法的装置。图18是图示作为被应用本技术的图像处理装置的示例的图像编码装置的示图。图18中所示的图像编码装置100是执行分层图像编码的装置。如图18中所示，图像编码装置100包括基层图像编码部101、增强层图像编码部102和复用单元103。

基层图像编码部101对基层图像编码，并且生成基层图像编码流。增强层图像编码部102对增强层图像编码，并且生成增强层图像编码流。复用单元103对在基层图像编码部101中生成的基层图像编码流和在增强层图像编码部102中生成的增强层图像编码流进行复用，并且生成分层图像编码流。复用单元103将所生成的分层图像编码流传送到解码侧。

在基层图像的编码中，基层图像编码部101对当前图片执行诸如码片划分或切片划分的区域划分，并且对每个区域(码片、切片等)执行编码。基层图像编码部101将在编码中获得的基层的编码相关信息提供给增强层图像编码部102。

在增强层图像的编码中，增强层图像编码部102对当前图片执行诸如码片划分或切片划分的区域划分，并且对每个区域(码片、切片等)执行编码。在该情况下，增强层图像编码部102控制用作基层的编码相关信息的参照目标的区域。更具体地，增强层图像编码部102使增强层的区域与用作编码相关信息的参照目标的基层的区域相关联，并且生成指示其对应关系的控制信息。

增强层图像编码部102根据控制信息的控制适当地参照基层的编码相关信息，并且对增强层图像编码。增强层图像编码部102通过复用单元103向解码侧传送控制信息(作为分层图像编码流)。

<基层图像编码部>

图19是图示图18的基层图像编码部101的主要配置的示例的框图。如图19中所示，基层图像编码部101具有A/D转换部111、画面重排缓冲器112、运算部113、正交变换部114、量化部115、无损编码部116、积累缓冲器117、逆量化部118和逆正交变换部119。此外，基层图像编码部101具有运算部120、环路滤波器121、帧存储器122、选择部123、帧内预测部124、帧间预测部125、预测图像选择部126和速率控制部127。此外，基层图像编码部101具有基层区域划分设定部。

A/D转换部111对输入图像数据(基层图像信息)执行A/D转换，并且提供经转换的图像数据(数字数据)以存储在画面重排缓冲器112中。画面重排缓冲器112根据图片组(GOP)将按显示顺序存储的帧的图像重排为用于编码的帧顺序，并且将帧顺序被重排的图像提供给运算部113。画面重排缓冲器112还将帧顺序被重排的图像提供给帧内预测部124和帧间预测部125。

运算部113从读取自画面重排缓冲器112的图像中减去经由预测图像选择部126从帧内预测部124或帧间预测部125提供的预测图像，并且向正交变换部114输出其差信息。例如，在图像已经历帧内编码的情况下，运算部113从读取自画面重排缓冲器112的图像中减去从帧内预测部124提供的预测图像。此外，例如，在图像已经历帧间编码的情况下，运算部113从读取自画面重排缓冲器112的图像中减去从帧间预测部125提供的预测图像。

正交变换部114对从运算部113提供的差信息执行诸如离散余弦变换或Karhunen-Loève变换的正交变换。正交变换部114将变换系数提供给量化部115。

量化部115对从正交变换部114提供的变换系数进行量化。量化部115基于与从速率控制部127提供的编码量的目标值相关的信息设定量化参数，并且执行量化。量化部115将经量化的变换系数提供给无损编码部16。

无损编码部116根据任意编码方案对在量化部115中量化的变换系数进行编码。由于系数数据在速率控制部127的控制下被量化，因此编码量变为速率控制部127设定的目标值(或接近目标值)。

无损编码部116从帧内预测部124获取指示帧内预测模式等的信息，并且从帧间预测部125获取指示帧间预测模式、差运动向量信息等的信息。此外，无损编码部116适当地生成基层的NAL单位，包括序列参数集合(SPS)、图片参数集合(PPS)等。

无损编码部116对与基层区域划分设定部设定的基层的区域(例如，码片、切片等)划分相关的信息(还被称为“基层区域划分信息”)进行编码。

无损编码部116根据任意编码方案对各种信息编码，并且将编码信息设定(复用)为编码数据(还被称为“编码流”)的一部分。无损编码部116提供通过编码获得的编码数据以在积累缓冲器117中积累。

无损编码部116的编码方案的示例包括可变长度编码和算术编码。作为可变长度编码，例如，存在在H.264/AVC方案中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。

积累缓冲器117临时保存从无损编码部116提供的编码数据(基层编码数据)。积累缓冲器17在特定定时在后继阶段将所保存的基层编码数据输出到记录装置(记录介质)、传送路径等(未示出)。换言之，积累缓冲器117还用作传送编码数据的传送部。

通过量化部115量化的变换系数也被提供给逆量化部118。逆量化部118根据与量化部115执行的量化对应的方法对经量化的变换系数进行逆量化。逆量化部118将获得的变换系数提供给逆正交变换部119。

逆正交变换部119根据与正交变换部114执行的正交变换处理对应的方法，对从逆量化部118提供的变换系数执行逆正交变换。经历逆正交变换的输出(恢复的差信息)被提供给运算部120。

运算部120通过使经由预测图像选择部126从帧内预测部124或帧间预测部125提供的预测图像与用作从逆正交变换部119提供的逆正交变换结果的恢复的差信息相加，来获得局部解码的图像(解码图像)。该解码图像被提供给环路滤波器121或帧存储器122。

环路滤波器121包括解块滤波器、自适应环路滤波器等，并且适当地对从运算部120提供的重构图像执行滤波处理。例如，环路滤波器121对重构图像执行解块滤波处理，并且从重构图像中去除块失真。此外，例如，环路滤波器121通过使用Wiener滤波器对解块滤波处理结果(已被被去除块失真的重构图像)执行环路滤波处理来提高图像质量。环路滤波器121将滤波处理结果(以下称为“解码图像”)提供给帧存储器122。

环路滤波器121可以进一步对重构图像执行任何其他的任意滤波处理。环路滤波器121可以按照需要将诸如滤波系数的在滤波处理中使用的信息提供给无损编码部116，使得可以对信息编码。

帧存储器122存储所提供的解码图像，并且在特定定时将存储的解码图像提供给选择部123作为参照图像。

更具体地，帧存储器122存储从运算部120提供的重构图像和从环路滤波器121提供的解码图像。帧存储器122在特定定时或者基于例如来自帧内预测部124的外部请求经由选择部123将所存储的重构图像提供给帧内预测部124。此外，帧存储器122在特定定时或者基于例如来自帧间预测部125的外部请求经由选择部123将所存储的解码图像提供给帧间预测部125。

选择部123选择从帧存储器122提供的参照图像的提供目标。例如，在帧内预测的情况下，选择部123将从帧存储器122提供的参照图像(当前图片的像素值)提供给帧内预测部124。此外，例如，在帧间预测的情况下，选择部123将从帧存储器122提供的参照图像提供给帧间预测部125。

帧内预测部124对作为处理对象帧的图像的当前图片执行预测处理，并且生成预测图像。帧内预测部124以特定块为单位(使用块作为处理单位)执行预测处理。换言之，帧内预测部124生成用作当前图片中的处理对象的当前块的预测图像。在该情况下，帧内预测部124使用经由选择部123从帧存储器122提供的作为参照图像的重构图像来执行预测处理(画面内预测(还被称为“帧内预测”))。换言之，帧内预测部124使用重构图像中包括的与当前块相邻的像素值来生成预测图像。用于帧内预测的相邻像素值是当前图片中先前已被处理的像素的像素值。作为帧内预测(即生成预测图像的方法)，预先准备多个方法(还被称为“帧内预测方法”)作为候选。帧内预测部124在预先准备的多个帧内预测模式下执行帧内预测。

帧内预测部124在用作候选的所有帧内预测模式下生成预测图像，使用从画面重排缓冲器112提供的输入图像来评估预测图像的成本函数值，并且选择最优模式。在选择了最优帧内预测模式时，帧内预测部124将以最优模式生成的预测图像提供给预测图像选择部126。

此外，如上文所述，帧内预测部124适当地将例如指示所采用的帧内预测模式的帧内预测模式信息提供给无损编码部116，使得该信息被编码。

帧间预测部125对当前图片执行预测处理，并且生成预测图像。帧间预测部125以特定块为单位(使用块作为处理单位)执行预测处理。换言之，帧间预测部125生成用作当前图片中的处理对象的当前块的预测图像。在该情况下，帧间预测部125使用从画面重排缓冲器112提供的输入图像的图像数据以及从帧存储器122提供的作为参照图像的解码图像的图像数据来执行预测处理。解码图像是在当前图片之前已被处理的帧的图像(并非当前图片的另一图片)。换言之，帧间预测部125执行使用另一图片的图像生成预测图像的预测处理(画面间预测(还被称为“帧间预测”))。

帧间预测包括运动预测和运动补偿。更具体地，帧间预测部125使用输入图像和参照图像对当前块执行运动预测，并且检测运动向量。随后，帧间预测部125根据检测到的运动向量使用参照图像执行运动补偿处理，并且生成当前块的预测图像(帧间预测图像信息)。作为帧间预测(即生成预测图像的方法)，预先准备多个方法(还被称为“帧间预测方法”)作为候选。帧间预测部125在预先准备的多个帧间预测模式下执行帧间预测。

帧间预测部125在用作候选的所有帧间预测模式下生成预测图像。帧间预测部125使用从画面重排缓冲器112提供的输入图像、所生成的差运动向量的信息等来评估预测图像的成本函数值，并且选择最优模式。在选择了最优帧间预测模式时，帧间预测部125将以最优模式生成的预测图像提供给预测图像选择部126。

帧间预测部125将指示所采用的帧间预测模式的信息、在对编码数据进行解码时在帧间预测模式下执行处理所需的信息等，提供给无损编码部126，使得该信息被编码。例如，作为必要的信息，存在所生成的差运动向量的信息，并且作为预测运动向量信息，存在指示预测运动向量的索引的标志。

预测图像选择部126选择要被提供给运算部113或运算部120的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择部126选择帧内预测部124作为预测图像的提供源，并且将从帧内预测部124提供的预测图像提供给运算部113或运算部120。此外，例如，在帧间编码的情况下，预测图像选择部126选择帧间预测部125作为预测图像的提供源，并且将从帧间预测部125提供的预测图像提供给运算部113或运算部120。

速率控制部127基于在积累缓冲器117中积累的编码数据的编码量来控制量化部115的量化操作的速率，使得不会发生上溢或下溢。

基层区域划分设定部128设定针对基层的图片的区域划分(例如，码片、切片等)。基层区域划分设定部128将该设定作为基层区域划分信息提供给基层图像编码部101的各个部。基层图像编码部101的各个部对基层区域划分信息指示的每个区域执行处理。独立地处理每个区域的编码。因此，例如，可以使用多个CPU并行地处理区域的编码。

基层图像编码部101在不参照另一层的情况下执行编码。换言之，帧内预测部124和帧间预测部125不参照其他的编码相关信息。

帧存储器122将其中存储的基层的解码图像的图像数据作为基层的编码相关信息提供给增强层图像编码部102。

相似地，帧内预测部124将帧内预测模式信息等作为基层的编码相关信息提供给增强层图像编码部102。

相似地，帧间预测部125将帧间预测模式信息等作为基层的编码相关信息提供给增强层图像编码部102。

此外，基层区域划分设定部128还将基层区域划分信息提供给增强层图像编码部102。

<增强层图像编码部>

图20是图示图18的增强层图像编码部102的主要配置的示例的框图。如图20中所示，增强层图像编码部102具有与图19的基层图像编码部101基本上相似的配置。

换言之，如图20所示，增强层图像编码部102包括A/D转换部131、画面重排缓冲器132、运算部133、正交变换部134、量化部135、无损编码部136、积累缓冲器137、逆量化部138和逆正交变换部139。增强层图像编码部102还包括运算部140、环路滤波器141、帧存储器142、选择部143、帧内预测部144、帧间预测部145、预测图像选择部146和速率控制部147。

A/D转换部131至速率控制部147与图19的A/D转换部111至速率控制部127对应，并且执行与相应的处理部执行的处理相似的处理。然而，增强层图像编码部102的各个部除了基层之外还执行对增强层图像信息编码的处理。因此，图19的A/D转换部111至速率控制部127的描述可以被应用为A/D转换部131至速率控制部147的处理的描述，但是在该情况下，有必要将增强层的数据而非基层的数据设定为待处理数据。此外，有必要适当地将数据输入源和输出输出目标的处理部解释为A/D转换部131至速率控制部147的各个处理部。

此外，增强层图像编码部102不包括基层区域划分设定部128而是包括区域同步部148和上采样部149。

区域同步部148设定对增强层的图片的区域划分(例如，码片、切片等)。区域同步部148将该设定作为增强层区域划分信息提供给增强层图像编码部102的各个部。

此外，对于增强层的编码，区域同步部148控制其中参照基层的编码相关信息的区域。例如，区域同步部148生成用于控制其中参照基层的编码相关信息的区域的控制信息，并且根据该控制信息控制帧内预测部144或帧间预测部145。换言之，当帧内预测部144或帧间预测部145执行层间预测时，区域同步部148控制其中参照基层的编码相关信息的基层的区域。

此外，区域同步部148将控制信息提供给无损编码部136，使得该控制信息被编码并且传送到解码侧。

增强层图像编码部102参照另一层(例如，基层)的编码相关信息执行编码。

区域同步部148获取从基层图像编码部101提供的基层区域划分信息。区域同步部148使用基层区域划分信息生成控制信息。

上采样部149获取从基层图像编码部101提供的基层的编码相关信息。例如，上采样部149获取基层的诸如解码图像(还被称为“解码基层图像”)的纹理信息作为编码相关信息。例如，当执行层间语法预测处理(层间预测)时，上采样部149还获取基层的诸如运动信息和帧内预测模式信息的语法信息作为编码相关信息。

上采样部149对所获取的基层的编码相关信息执行上采样。在可分级编码中，层的特定参数值(例如，分辨率等)因可分级功能而不同。出于该原因，上采样部149对基层的编码相关信息执行上采样处理(执行可分级参数转换处理)，使得基于增强层对参数值进行转换。在如上文所述执行上采样处理时，可以在增强层的编码中使用基层的编码相关信息。

上采样部139提供已经历上采样处理的基层的编码相关信息以存储在帧存储器142中。例如，基层的编码相关信息作为参照图像被提供给帧内预测部144或帧间预测部145。语法信息被相似地提供给帧内预测部144或帧间预测部145。

<区域同步部>

图21是图示图20的区域同步部148的主要配置的示例的框图。

如图21中所示，区域同步部148包括基层区域划分信息缓冲器171、增强层区域划分设定部172和区域同步设定部173。

基层区域划分信息缓冲器171获取并保存从基层图像编码部101提供的基层区域划分信息。基层区域划分信息缓冲器171在特定定时或者根据来自区域同步设定部173的外部请求等将其中保存的基层区域划分信息提供给区域同步设定部173。

增强层区域划分设定部172设定增强层的图片的区域划分(例如，码片、切片等)。区域划分设定方法是任意的。例如，区域划分可以被用户、应用等设定，或者可以被预先决定。增强层的区域划分可以与基层的区域划分相似或不同。

增强层区域划分设定部172将该设定作为增强层区域划分信息提供给增强层图像编码部102的各个部。增强层图像编码部102的各个部对增强层区域划分信息指示的每个区域执行处理。独立地处理每个区域的编码。因此，例如，可以使用多个CPU并行地处理区域的编码。

增强层区域划分设定部172还将所生成的增强层区域划分信息提供给区域同步设定部172

此外，增强层区域划分设定部172将所生成的增强层区域划分信息提供给无损编码部136，使得增强层区域划分信息被编码并且传送到解码侧。结果，由于解码侧可以参照该信息执行解码，因此可以降低解码工作负荷。

区域同步设定部173使用所提供的基层区域划分信息和增强层区域划分信息来执行层之间的区域关联。换言之，区域同步设定部173在对增强层的每个区域编码的情况下，设定其中参照基层的编码相关信息的区域。

区域同步设定部173生成指示该设定的同步区域信息。任何规范的信息可以用作同步区域信息，只要该信息用于控制用作编码相关信息的参照目标的基层的区域。例如，可以使用用于使用作编码相关信息的参照目标的基层的区域与增强层的每个区域相关联的信息。例如，可以使用在<1.本技术的主要模式>中描述的语法的信息。

设定方法是任意的。换言之，在帧内预测部144或帧间预测部145中被参照的区域通过任意方法决定。例如，区域可以被用户、应用等设定，或者可以被预先决定。

区域同步设定部173使用所生成的同步区域信息执行在用作处理对象的当前区域中用作编码相关信息的参照目标的基层的区域，生成指示该区域的数据在已经历上采样处理并且存储在帧存储器142中的编码相关信息(例如，诸如参照图像的纹理信息或者诸如运动信息或帧内预测模式信息的语法信息)的数据中的位置的同步地址信息，并且将同步地址信息提供给帧内预测部144或帧间预测部145。

帧内预测部144或帧间预测部145根据同步地址信息执行层间预测，并且因此可以仅将基层的图片的一些区域设定为参照目标，并且可以抑制对帧存储器142的访问的次数的增加。换言之，由于区域同步设定部173执行该处理，可以抑制编码工作负荷的增加。

此外，区域同步设定部173将所生成的同步区域信息提供给无损编码部136，使得同步区域信息被编码并且传送到解码侧。结果，解码侧可以参照同步区域信息执行解码，并且因此，对于解码，相似地可以抑制对存储器访问次数的增加，并且可以降低解码工作负荷。

<图像编码处理的流程>

接下来，将描述图像编码装置100执行的每个处理的流程。首先，将参照图22的流程图描述图像编码处理的流程的示例。

当图像编码处理开始时，在步骤S101中，图像编码装置100的基层图像编码部101对基层的图像数据编码。

在步骤S102中，增强层图像编码部102对增强层的图像数据编码。

在步骤S103中，复用单元103对在步骤S101的处理中生成的基层图像编码流和在步骤S102的处理中生成的增强层图像编码流(即各个层的位流)进行复用，并且生成一个系统的分层图像编码流。

当步骤S103的处理结束时，图像编码装置100结束图像编码处理。通过图像编码处理对一个图片进行处理。因此，图像编码装置100对分层移动图像数据的图片重复地执行图像编码处理。

<基层编码处理的流程>

接下来，将参照图23描述在图22的步骤S101中由基层图像编码部101执行的基层编码处理的流程的示例。

当基层编码处理开始时，在步骤S121中，基层图像编码部101的基层区域划分设定部128通过特定方法决定基层的区域划分，并且生成基层区域划分信息。此外，基层区域划分设定部128将基层区域划分信息提供给基层图像编码部101的各个部。

在步骤S122中，基层区域划分信息128将在步骤S121中生成的基层区域划分信息提供给无损编码部116，使得传送基层区域划分信息。

对于在步骤S121中设定的区域中的每个区域执行下面的处理。换言之，使用该区域或者小于该区域的特定单位作为处理单位来执行每个处理。

在步骤S123中，A/D转换部111对输入移动图像的每个帧(图片)的图像执行A/D转换。

在步骤S124中，画面重排缓冲器112存储在步骤S123中已经历A/D转换的图像，并且对每个图片执行从显示顺序到编码顺序的重排。

在步骤S125中，帧内预测部124在帧内预测模式中执行帧内预测处理。

在步骤S126中，帧间预测部125在帧间预测模式中执行帧间预测处理，其中执行运动预测、运动补偿等。

在步骤S127中，预测图像选择部126基于成本函数值等选择预测图像。换言之，预测图像选择部126选择帧内预测部124生成的预测图像和帧间预测部125生成的预测图像中的任一个。

在步骤S128中，运算部113计算在步骤S124的处理中重排帧顺序的输入图像和在步骤S127的处理中选择的预测图像之间的差。换言之，运算部113生成输入图像和预测图像之间的差图像的图像数据。所获得的差图像的图像数据的数据量减少至小于原始图像数据的数据量。因此，与图像不变地被编码的情况相比，可以将数据量压缩到较小。

在步骤S129中，正交变换部114对在步骤S128的处理中生成的差图像的图像数据执行正交变换。

在步骤S130中，量化部115使用速率控制部127计算的量化参数对在步骤S129的处理中获得的正交变换系数进行量化。

在步骤S131中，逆量化部118根据与量化部115的特性对应的特性，对在步骤S130的处理中生成的经量化的系数(还被称为“量化系数”)进行逆量化。

在步骤S132中，逆正交变换部119对在步骤S131的处理中获得的正交变换系数执行逆正交变换。

在步骤S133中，运算部120通过使在步骤S127的处理中选择的预测图像与在步骤S132的处理中恢复的差图像相加来生成重构图像的图像数据。

在步骤S134中，环路滤波器121对在步骤S133的处理中生成的重构图像的图像数据执行环路滤波处理。结果，例如，去除了重构图像的块失真。

在步骤S135中，帧存储器122存储诸如在步骤S134的处理中获得的解码图像、在步骤S133的处理中获得的重构图像等的数据。

在步骤S136中，无损编码部116对在步骤S130的处理中获得的经量化的参数进行编码。换言之，对与差图像对应的数据执行诸如可变长度编码或算术编码的无损编码。

此时，无损编码部116对与在步骤S127的处理中选择的预测图像的预测模式相关的信息进行编码，并且将编码信息添加到通过对差图像编码而获得的编码数据。换言之，无损编码部116还对例如根据从帧内预测部124提供的最优帧内预测模式信息或者从帧间预测部125提供的最优帧间预测模式的信息等进行编码，并且将编码信息添加到编码数据。

此外，无损编码部116设定诸如各种空单元的语法元素并且对其编码，并且将编码的语法元素添加到编码数据。

在步骤S137中，积累缓冲器117对在步骤S136的处理中获得的编码数据进行累积。积累缓冲器117中积累的编码数据被适当地读取并且经由传送路径或记录介质被传送到解码侧。

在步骤S138中，速率控制部127基于在步骤S127的处理中在积累缓冲器117中累积的编码数据的编码量(生成的编码量)来控制量化部115的量化操作，使得不会发生上溢或下溢。此外，速率控制部127将与量化参数相关的信息提供给量化部115

在步骤S139中，帧存储器122、帧内预测部124、帧间预测部125和基层区域划分设定部128提供在以上基层编码处理中获得的基层的编码相关信息用于增强层的编码处理。

当步骤S139的处理结束时，基层编码处理结束，并且处理返回图2。

<增强层编码处理的流程>

接下来，将参照图24和25的流程图描述在图22的步骤S102中由增强层图像编码部102执行的增强层编码处理的流程的示例。

当增强层编码处理开始时，在步骤S151中，增强层图像编码部102的基层区域划分信息缓冲器171获取在基层编码处理中生成并提供的基层区域划分信息。

在步骤S152中，上采样部149获取在基层编码处理中生成并提供的作为编码相关信息的解码基层图像(即纹理信息)。当执行层间语法预测时，上采样部149还获取在基层编码处理中生成并提供的作为编码相关信息的语法信息。

在步骤S153中，上采样部149对在步骤S152中获取的基层的编码相关信息(例如，解码基层图像)执行上采样处理。

在步骤S154中，帧存储器142存储通过步骤S153的处理已经历上采样处理的基层的编码相关信息(例如，解码基层图像)。

在步骤S155中，增强层区域划分设定部172提供特定方法决定增强层的区域划分，并且生成增强层区域划分信息。此外，增强层区域划分设定部172将增强层区域划分信息提供给增强层图像编码部102的各个部。

在步骤S156中，区域同步设定部173使用在步骤S151中获取的基层区域划分信息和在步骤S155中生成的增强层区域划分信息通过特定方法来生成同步区域信息。换言之，区域同步设定部173针对增强层的每个区域设定用作编码相关信息的参照目标的基层的区域。

在步骤S157中，区域同步设定部173使用在步骤S156的处理中生成的同步区域信息来生成指示用作编码相关信息的参照目标的基层的区域的数据的同步地址信息

在步骤S158中，区域同步设定部173将在步骤S156的处理中生成的同步区域信息提供给无损编码部136，使得传送同步区域信息。此外，区域同步设定部173将在步骤S155的处理中生成的增强层区域划分信息提供给无损编码部136，使得传送增强层区域划分信息。

当步骤S158的处理结束时，处理前往图25的步骤S161。

对于在步骤S155中设定的区域中的每个区域执行下面的处理。换言之，使用该区域或者小于该区域的特定单位作为处理单位来执行每个处理。

图25的步骤S161至步骤S176的处理与图23的步骤S123至步骤S138的处理对应并且被相似地执行。

当步骤S176的处理结束时，增强层编码处理结束，并且处理返回图22。

通过执行如上文所述的各个处理，图像编码装置100可以在层间预测中减少用于参照另一层的编码相关信息的存储器访问的次数，并且因此抑制了编码和解码工作负荷的增加。

<3.第二实施例>

<图像解码装置>

接下来，将描述对如上文所述编码的编码数据的解码。图26是图示作为被应用本技术的图像处理装置的示例的、与图18的图像编码装置100对应的图像解码装置的主要配置的示例的框图。

图26中所示的图像解码装置200通过与图像编码装置100的编码方法对应的解码方法对图像编码装置100生成的编码数据进行解码(就是说，对已经历可分级编码的编码数据执行可分级解码)。

如图26中所示，图像解码装置200包括解复用单元201、基层图像解码部202和增强层图像解码部203。

解复用单元201接收从编码侧传送的其中基层图像编码流和增强层图像编码流被复用的分层图像编码流，对可分级图像编码流解复用，并且提取基层图像编码流和增强层图像编码流。

基层图像解码部202对解复用单元201提取的基层图像编码流解码，并且获得基层图像。在该情况下，基层图像解码部202基于从编码侧提供的基层区域划分信息对在编码侧设定的每个区域(码片、切片等)执行解码。

增强层图像解码部203对解复用单元201提取的增强层图像编码流解码，并且获得增强层图像。在该情况下，增强层图像解码部203基于从编码侧提供的增强层区域划分信息对在编码侧设定的每个区域(码片、切片等)执行解码。

此外，增强层图像解码部203使用用作从编码侧提供并且用于控制用作增强层的每个区域的编码相关信息的参照目标的基层的区域的控制信息的同步区域信息来执行层间预测。换言之，当在增强层的解码中执行层间预测时，增强层图像解码部203参照同步区域信息指定的基层的区域的编码相关信息。

<基层图像解码部>

图27是图示图26的基层图像解码部202的主要配置的示例的框图。如图27中所示，基层图像解码部202包括积累缓冲器211、无损解码部212、逆量化部213、逆正交变换部214、运算部215、环路滤波器216、画面重排缓冲器217和D/A转换部218。基层图像解码部202还包括帧存储器219、选择部220、帧内预测部221、帧间预测部222和选择部223。

积累缓冲器211是接收所传送的编码数据的接收部。积累缓冲器211接收并积累所传送的编码数据，并且在特定定时将编码数据提供给无损解码部212。诸如预测模式信息的解码所需的信息被添加到编码数据。无损解码部212根据与编码方案对应的解码方案对从积累缓冲器211提供并且由无损编码部106编码的信息进行解码。无损解码部212将通过解码获得的差图像的量化系数数据提供给逆量化部213。

此外，无损解码部212确定选择帧内预测模式还是选择帧间预测模式作为最优预测模式，并且将关于最优预测模式的信息提供给被确定要选择的模式，即帧内预测部221或帧间预测部222。换言之，例如，在编码侧选择帧内预测模式作为最优预测模式的情况下，关于最优预测模式的信息被提供给帧内预测部221。此外，例如，在编码侧选择帧间预测模式作为最优预测模式的情况下，关于最优预测模式的信息被提供给帧间预测部222。

此外，无损解码部212例如将诸如量化矩阵或量化参数的逆量化所需的信息提供给逆量化部213。

此外，无损解码部212将从编码侧提供的基层区域划分信息提供给基层图像解码部202的各个处理部。基层图像解码部202的各个部对基层区域划分信息指示的每个区域执行处理。独立地处理每个区域的解码。因此，例如，可以使用多个CPU并行执行各个区域的解码。

逆量化部213根据与量化部115的量化方案对应的方案，对通过无损解码部212执行的解码获得的量化系数数据执行逆量化。逆量化部213是与逆量化部118相似的处理部。换言之，逆量化部213的描述也可以应用于逆量化部118。然而，有必要解释作为基层图像解码部202的每个处理部的数据输入源、数据输出目标等。

逆量化部213将获得的系数数据提供给逆正交变换部214。

如果需要，逆正交变换部214根据与正交变换部114的正交变换方案对应的方案，对从逆量化部213提供的正交变换系数执行逆正交变换。逆正交变换部214是与逆正交变换部119相似的处理部。换言之，逆正交变换部214的描述也可以应用于逆正交变换部119。然而，有必要解释作为基层图像解码部202的每个处理部的数据输入源、数据输出目标等。

通过逆正交变换处理恢复差图像的图像数据。恢复的差图像的图像数据对应于在图像编码装置中执行正交变换之前的差图像的图像数据。在下文中，通过逆正交变换部214的逆正交变换处理获得的恢复的差图像的图像数据被称为“解码残差数据”。逆正交变换部214将解码残差数据提供给运算部215。此外，来自帧内预测部221或帧间预测部222的预测图像的图像数据经由选择部223被提供给运算部215。

运算部215使用解码残差数据和预测图像的图像数据获得重构图像的图像数据，其中差图像和预测图像相加。重构图像对应于运算部113减去预测图像之前的输入图像。操作部215将重建图像提供给环路滤波器216。

环路滤波器216通过对所提供的重构图像适当地执行环路滤波处理，包括解块滤波处理、自适应环路滤波处理等，来生成解码图像。例如，环路滤波器216通过对重构图像执行解块滤波处理来去除块失真。此外，例如，环路滤波器216通过使用Wiener滤波器对解块滤波处理结果(已被去除块失真的重构图像)执行环路滤波处理来提高图像质量。

环路滤波器216执行的滤波处理的类型是任意的，并且可以执行除了上述滤波处理之外的处理。此外，环路滤波器216可以使用从图像编码装置提供的滤波系数来执行滤波处理。此外，环路滤波器216可以省略滤波处理并且可以在不执行滤波处理的情况下输出输入数据。

环路滤波器216将用作滤波结果的解码图像(或重构图像)提供给画面重排缓冲器217和帧存储器219。

画面重排缓冲器217对解码图像执行帧顺序的重排。换言之，画面重排缓冲器217将画面重排缓冲器112重排成编码顺序的各个帧的图像重排成原始显示顺序。换言之，画面重排缓冲器217使以编码顺序提供的各个帧的解码图像的图像数据按该顺序存储，按显示顺序读取以编码顺序存储的各个帧的解码图像的图像数据，并且将其提供给D/A转换部218。D/A转换部218对从画面重排缓冲器217提供的各个帧的解码图像(数字数据)执行D/A转换，并且输出要在显示器(未示出)上显示的模拟数据。

帧存储器219存储所提供的解码图像，并且在预定定时或基于来自帧内预测部221、帧间预测部222等的外部请求，经由选择部220将所存储的解码图像提供给帧内预测部221或帧间预测部222作为参照图像。

帧内预测模式信息等被适当地从无损解码部212提供给帧内预测部221。帧内预测部221在帧内预测部124中使用的帧内预测模式(最优帧内预测模式)下执行帧内预测，并且生成预测图像。在该情况下，帧内预测部221使用经由选择部220从帧存储器219提供的重构图像的图像数据来执行帧内预测。换言之，帧内预测部221使用重构图像作为参照图像(相邻像素)。帧内预测部221将所生成的预测图像提供给预测图像选择部223。

最优预测模式信息、运动信息等被适当地从无损解码部212提供给帧间预测部222。帧间预测部222在从无损解码部212获取的最优预测模式信息指示的帧间预测模式(最优帧间预测模式)下使用从帧存储器219获取的解码图像(参照图像)来执行帧间预测。

选择部213将从帧内预测部221提供的预测图像或者从帧间预测部222提供的预测图像提供给运算部215。随后，运算部215从逆正交变换部214获得重构图像，其中预测图像与解码残差数据(差图像信息)相加。

此外，基层图像解码部202在不参照另一层的情况下执行解码。换言之，帧内预测部221和帧间预测部222不参照另一层的编码相关信息。

此外，帧存储器219将所存储的基层的解码图像的图像数据作为基层的编码相关信息提供给增强层图像解码部203。

相似地，帧内预测部221将帧内预测模式信息等作为基层的编码相关信息提供给增强层图像解码部203。

相似地，帧间预测部222将运动信息等作为基层的编码相关信息提供给增强层图像解码部203。

此外，帧内预测部221或帧间预测部222(诸如无损解码部212的基层图像解码部202的任意处理部)将基层区域划分信息提供给增强层图像解码部203。

<增强层图像解码部>

图28是图示图26的增强层图像解码部203的主要配置的示例的框图。如图28中所示，增强层图像解码部203具有与图27的基层图像解码部202基本上相似的配置。

换言之，如图28中所示，增强层图像解码部203包括积累缓冲器231、无损解码部232、逆量化部233、逆正交变换部234、运算部235、环路滤波器236、画面重排缓冲器237和D/A转换部238。增强层图像解码部203还包括帧存储器239、选择部240、帧内预测部241、帧间预测部242和选择部243。

积累缓冲器231至预测图像选择部243与图27的积累缓冲器211至预测图像选择部223对应，并且执行与相应的处理部执行的处理相似的处理。然而，增强层图像解码部203的各个部除了基层之外还执行对增强层图像信息解码的处理。因此，图27的积累缓冲器211至预测图像选择部223的描述可以被应用为积累缓冲器231至预测图像选择部243的处理的描述，但是在该情况下，待处理数据需要是增强层的数据而非基层的数据。此外，有必要适当地将数据输入源和输出输出目标的处理部解释为增强层图像解码部203的相应处理部。

增强层图像解码部203还包括区域同步部244和上采样部245。

区域同步部244获取从无损解码部232提供的同步区域信息和增强层区域划分信息。该信息在解码侧生成并且从解码侧传送。此外，区域同步部244获取从基层图像解码部202提供的基层区域划分信息。

区域同步部244在使用该信息的增强层的解码中控制其中参照基层的编码相关信息的区域。例如，当帧内预测部241或帧间预测部242使用该信息执行层间预测时，区域同步部244控制其中参照编码相关信息的基层的区域。结果，与编码时相似，区域同步部244可以在增强层的解码中控制其中参照基层的编码相关信息的区域。因此，区域同步部244可以减少存储器访问次数并且抑制解码工作负荷的增加。

增强层图像解码部203参照另一层(例如，基层)的编码相关信息执行编码。

上采样部245获取从基层图像解码部202提供的基层的编码相关信息。例如，上采样部245获取基层的诸如解码图像(还被称为“解码基层图像”)的纹理信息作为编码相关信息。此外，例如，当执行层间语法预测处理(层间预测)时，上采样部245还获取基层的诸如运动信息和帧内预测模式信息的语法信息作为编码相关信息。

上采样部245对所获取的基层的编码相关信息执行上采样处理。在可分级编码中，具有可分级功能的不同的层的特定参数值(例如，分辨率等)不同。因此，上采样部245对基层的编码相关信息执行上采样处理(执行可分级参数转换处理)，使得基于增强层对参数值进行转换。在如上文所述执行上采样处理时，可以在增强层的解码中使用基层的编码相关信息。

上采样部149提供已经历上采样处理的基层的编码相关信息以存储在帧存储器239中。例如，基层的编码相关信息作为参照图像被提供给帧内预测部241或帧间预测部242。相似地，语法信息被提供给帧内预测部241或帧间预测部242。

<区域同步部>

图29是图示图28的区域同步部244的主要配置的示例的框图。

如图29中所示，区域同步部244包括基层区域划分信息缓冲器271、增强层区域划分设定部272和同步区域信息解码部273。

基层区域划分信息缓冲器271获取从基层图像解码部202提供的基层区域划分信息，即从编码侧提供的基层区域划分信息，并且保存所获取的基层区域划分信息。基层区域划分信息缓冲器271在特定定时或者根据来自同步区域信息解码部273的外部请求等将保存的基层区域划分信息提供给同步区域信息解码部273。

增强层区域划分设定部272获取从增强层图像解码部203提供的增强层区域划分信息，即从编码侧提供的增强层区域划分信息，并且保存所获取的增强层区域划分信息。增强层区域划分信息缓冲器272在特定定时或者根据来自同步区域信息解码部273的外部请求等将保存的增强层区域划分信息提供给同步区域信息解码部273。

同步区域信息解码部273从基层区域划分信息缓冲器271获取基层区域划分信息，并且从增强层区域划分设定部272获取增强层区域划分信息。此外，同步区域信息解码部273获取从无损解码部232提供的同步区域信息，即获取从编码侧提供的同步区域信息，并且保存所获取的同步区域信息。

同步区域信息是用于控制用作增强层的每个区域的编码相关信息的参照目标的基层的区域的信息。同步区域信息解码部273使用基层区域划分信息和增强层区域划分信息对同步区域信息解码。换言之，同步区域信息解码部273使用基层区域划分信息和增强层区域划分信息来检测层的区域之间的位置关系，并且根据该位置关系分析同步区域信息指示的层的区域之间的对应关系。

更具体地，同步区域信息解码部273指定关于用作增强层的处理对象的当前区域的用作编码相关信息的参照目标的基层的区域的数据在诸如从帧存储器239提供的参照图像的编码相关信息中的位置。同步区域信息解码部273生成用作该数据的位置指示的信息的同步地址信息，并且将同步地址信息提供给帧内预测部241或帧间预测部242。

结果，由于同步区域信息解码部273使用的所有信息是从编码侧提供的信息，因此同步区域信息解码部273可以生成与区域同步设定部173生成的同步地址信息相似的同步地址信息。换言之，同步区域信息解码部273可以执行与区域同步设定部173执行的控制相似的控制。

由于帧内预测部241或帧间预测部242根据同步地址信息执行帧间预测，因此仅基层的图片的一些区域可以被设定为参照目标，并且可以抑制对帧存储器239的访问的次数。换言之，同步区域信息解码部273可以通过执行上述处理减少存储器访问次数并且抑制解码工作负荷的增加。

<图像解码处理的流程>

接下来，将描述图像解码装置200执行的每个处理的流程。首先，将参照图30的流程图描述图像解码处理的流程的示例。

当图像解码处理开始时，在步骤S201中，图像解码装置200的解复用单元201针对每个层对从编码侧传送的分层图像编码流执行解复用。

在步骤S202中，基层图像解码部202对在步骤S201的处理中提取的基层图像编码流解码。基层图像解码部202输出通过解码生成的基层图像的数据。

在步骤S203中，增强层图像解码部203对在步骤S201的处理中提取的增强层图像编码流解码。增强层图像解码部203输出通过解码生成的增强层图像的数据。

当步骤S203的处理结束时，图像解码装置200结束图像解码处理。在该图像解码处理中处理一个图片。因此，图像解码装置200对分层移动图像数据的每个图片重复地执行图像解码处理。

<基层解码处理的流程>

接下来，将参照图31的流程图描述在图30的步骤S202中由基层图像解码部202执行的基层解码处理的流程的示例。

当基层解码处理开始时，在步骤S221中，基层图像解码部202的无损解码部212对通过积累缓冲器211获取的编码数据进行解码，并且获取从编码侧提供的基层区域划分信息。此外，无损解码部212将基层区域划分信息提供给基层图像解码部202的各个部。

对于在步骤S221中设定的区域中的每个区域执行下面的处理。换言之，使用该区域或者小于该区域的特定单位作为处理单位来执行每个处理。

在步骤S222中，积累缓冲器211积累所传送的位流(编码数据)。在步骤S223中，无损解码部212对从积累缓冲器211提供的位流(编码数据)进行解码。换言之，对已被无损编码部116编码的诸如I图片、P图片和B图片的图像数据进行解码。此时，除了诸如报头信息的位流中包括的图像数据之外，对各种信息解码。

在步骤S224中，逆量化部213对在步骤S202的处理中获得的经量化的系数进行逆量化。

在步骤S225中，逆正交变换器214对在步骤S224中被逆量化的系数执行逆正交变换。

在步骤S226中，帧内预测部221或帧间预测部222执行预测处理，并且生成预测图像。换言之，在被确定为已在无损解码部212中的编码的情况下应用的预测模式下执行预测处理。更具体地，例如，当在编码的情况下应用帧内预测时，帧内预测部221在编码的情况下识别为最优的帧内预测模式下生成预测图像。此外，例如，当在编码的情况下应用帧间预测时，帧间预测部222在编码的情况下识别为最优的帧间预测模式下生成预测图像。

在步骤S227中，运算部215使通过执行步骤S225中的逆正交变换获得的差图像与在步骤S226中生成的预测图像相加。结果，获得了重构图像的图像数据。

在步骤S228中，环路滤波器216对在步骤S227的处理中获得的重构图像的图像数据适当地执行环路滤波处理，包括解块滤波处理、自适应环路滤波处理等。

在步骤S229中，画面重排缓冲器217重排经历步骤S228中的滤波处理的重构图像的各个帧。换言之，在编码情况下被重排的帧的顺序变为原始显示顺序。

在步骤S230中，D/A转换部218对帧顺序在步骤S229中被重排的图像执行D/A转换。图像被输出至显示器(未示出)，并且显示该图像。

在步骤S231中，帧存储器219存储诸如在步骤S228的处理中获得的解码图像、在步骤S227的处理中获得的重构图像等的数据。

在步骤S232中，帧存储器219、帧内预测部221和帧间预测部222提供从编码侧提供的基层的编码相关信息，用于增强层的解码处理。

当步骤S232的处理结束时，基层解码处理结束，并且处理返回图30。

<增强层解码处理的流程>

接下来，将参照图32和33的流程图描述在图30的步骤S203中由增强层图像解码部203执行的增强层解码处理的流程的示例。

当增强层解码处理开始时，在步骤S251中，增强层图像解码部203的基层区域划分信息缓冲器271获取在基层解码处理中从基层图像解码部202提供的基层区域划分信息。基层区域划分信息是从编码侧提供的信息。

在步骤S252中，上采样部245获取在基层解码处理中从基层图像解码部202提供的解码基层图像(即纹理信息)作为编码相关信息。此外，当执行层间语法预测时，上采样部245还获取在基层解码处理中从基层图像解码部202提供的语法信息作为编码相关信息。编码相关信息是从编码侧提供的信息或者基于从编码侧提供的信息恢复的信息。

在步骤S253中，上采样部245对在步骤S252中获取的基层的编码相关信息(例如，解码基层图像)执行上采样处理。帧存储器239存储通过步骤S253的处理已经历上采样处理的基层(例如，解码基层图像)的编码相关信息。

在步骤S254中，增强层区域划分信息缓冲器272获取从无损解码部232提供的增强层区域划分信息。增强层区域划分信息是从编码侧提供的信息。

在步骤S255中，同步区域信息解码部273获取从无损解码部232提供的同步区域信息。同步区域信息是从编码侧提供的信息。

在步骤S256中，同步区域信息解码部273使用在步骤S251中获取的基层区域划分信息和在步骤S254中获取的增强层区域划分信息来分析在步骤S255中获取的同步区域信息，设定用作参照目标的基层的区域的数据的位置(同步地址)，并且生成指示同步地址的同步地址信息。同步区域信息解码部273将所生成的同步地址信息提供给帧内预测部241或帧间预测部242。已被提供同步地址信息的帧内预测部241或帧间预测部242使用同步地址信息执行层间预测。

当步骤S256的处理结束时，处理前往图33的步骤S261。

对于增强层区域划分信息指示的区域中的每个区域执行下面的处理。换言之，使用该区域或者小于该区域的特定单位作为处理单位来执行每个处理。

图33的步骤S261至步骤S270的处理与图31的步骤S222至步骤S231的处理对应并且被相似地执行。

然而，当执行层间预测时，在步骤S265中，帧内预测部241和帧间预测部242根据在图32的步骤S256中生成的同步地址信息执行处理。换言之，帧内预测部241和帧间预测部242仅参照同步地址信息指定的基层的区域的编码相关信息来执行层间预测。

当步骤S270的处理结束时，增强层解码处理结束，并且处理返回图30。

由于上文所述执行处理，因此图像解码装置200可以减少在层间预测中用于参照另一层的编码相关信息的存储器访问的次数并且抑制解码工作负荷的增加。

在以上示例中，图像数据通过可分级编码被分层并且被划分成多个层，但是层的数目是任意的。此外，在以上示例中，对于编码和解码，参照基层来处理增强层，但是本公开不限于该示例，并且可以参照已被处理的另一增强层来处理增强层。

例如，在图18的图像编码装置100的情况下，其中参照编码相关信息的增强层的增强层图像编码部102的帧存储器142、帧内预测部144和帧间预测部145(图20)可以将增强层的编码相关信息提供给其中参照编码相关信息的另一增强层的增强层图像编码部102，相似地提供给帧存储器122、帧内预测部124和帧间预测部125(图19)。

此外，例如，在图26的图像解码装置200的情况下，其中参照编码相关信息的增强层的增强层图像解码部203的帧存储器239、帧内预测部241和帧间预测部242(图28)可以将增强层的编码相关信息提供给其中参照增强层的编码相关信息的另一增强层的增强层图像解码部203，相似地提供给帧存储器219、帧内预测部221和帧间预测部222(图27)。

本技术可以应用于所谓的基于可分级编码/解码方案的图像编码装置和图像解码装置。

例如，本技术可以应用于当经由诸如卫星广播、有线电视、互联网或移动电话的网络介质接收如MPEG和H.264中的通过诸如离散余弦变换和运动补偿的正交变换压缩的图像信息(位流)时使用的图像编码装置和图像解码装置。此外，本技术可以应用于当在诸如光盘、磁盘或闪速存储器的存储介质上执行处理时使用的图像编码装置和图像解码装置。

<4.第三实施例>

<对多视图图像编码/多视图图像解码的应用>

上述系列处理可以应用于多视图图像编码和多视图图像解码。图34图示了示例性多视图图像编码方案。

如图34中所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括其中仅使用其自身视图的图像而不使用另一视图的信息执行编码和解码的基视图以及其中使用另一视图的信息执行编码和解码的非基视图。可以使用基视图的信息或者使用另一非基视图的信息执行非基视图的编码和解码。

换言之，多视图图像编码和解码中的视图之间的参照关系与可分级图像编码和解码中的层之间的参照关系相似。因此，上述方法可以应用于图34中所示的多视图图像的编码和解码。换言之，在非基视图的编码和解码中，可以控制其中参照编码相关信息的基视图(或另一非基视图)的区域。结果，即便在多视图图像的情况下，相似地，可以抑制编码或解码工作负荷的增加。

<多视图图像编码设备>

图35是图示执行多视图图像编码的多视图图像编码装置的示图。如图35中所示，多视图图像编码装置600包括编码部601、编码部602和复用单元603。

编码部601对基视图图像编码并且生成基视图图像编码流。编码部602对非基视图图像编码并且生成非基视图图像编码流。复用单元603复用在编码部601中生成的基视图图像编码流和在编码部602中生成的非基视图图像编码流，并且生成多视图图像编码流。

基层图像编码部101(图19)可被应用为多视图图像编码装置600的编码部601，并且增强层图像编码部102(图20)可被应用为编码部602。换言之，在非基视图的编码中，可以控制其中参照编码相关信息的基视图(或另一非基视图)的区域。结果，相似地，即便在多视图图像的情况下，仍可以抑制编码工作负荷的增加。此外，即便在多视图图像编码的情况下，仍可以通过向解码侧传送用于控制其中参照编码相关信息的区域的控制信息来抑制解码工作负荷的增加。

<多视图图像解码装置>

图36是图示执行多视图图像解码的多视图图像解码装置的示图。如图36中所示，多视图图像解码装置610包括解复用单元611、解码部612和解码部613。

解复用单元611对其中复用基视图图像编码流和非基视图图像编码流的多视图图像编码流进行解复用，并且提取基视图图像编码流和非基视图图像编码流。解码部612对解复用单元611提取的基视图图像编码流进行解码并且获得基视图图像。解码部613对解复用单元611提取的非基视图图像编码流进行解码并且获得非基视图图像。

基层图像解码部202(图27)可被应用为多视图图像解码装置610的解码部612，并且增强层图像解码部203(图28)可被应用为解码部613。换言之，在非基视图的解码中，可以控制其中参照编码相关信息的基视图(或另一非基视图)的区域。结果，相似地，即便在多视图图像的情况下，仍可以抑制解码工作负荷的增加。

<4.第四实施例>

<计算机>

上述系列处理可以被硬件执行或者可以被软件执行。当要通过软件执行该系列处理时，形成软件的程序被安装到计算机中。这里，计算机包括例如并入到专用硬件中的计算机，或者可以通过将各种程序安装到计算机中来执行各种功能的通用个人计算机(PC)。

图37是图示用于通过程序执行上述系列处理的计算机的硬件的配置示例的框图。

在图37中的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804彼此连接。

总线804还连接到输入和输出接口810。输入和输出接口810连接到输入部811、输出部812、存储部513、通信部514和驱动器815。

输入部811通过键盘、鼠标、麦克风、触摸面板、输入终端等形成。输出部812通过显示器、扬声器、输出终端等形成。存储部813通过硬盘、RAM盘、非易失性存储器等形成。通信部814通过网络接口等形成。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。

在如上文所述配置的计算机中，CPU 801经由输入和输出接口810以及总线804将存储部813中存储的程序加载到RAM 803，并且执行程序，使得执行上述系列处理。RAM 803还存储CPU 801执行各种处理所需的数据。

计算机800(CPU 801)执行的程序可以通过记录在作为套装介质等的可移动介质821上来提供。此外，通过将可移动介质821加载到驱动器815中，可以经由输入和输出接口810将程序安装到存储部813中。

此外，程序可以通过诸如局域网、互联网或数字广播的有线或无线传送介质来提供。在该情况下，还可以使用通信部814从有线或无线传输介质接收程序并且将程序安装在存储部813中。

此外，程序也可以预先安装到ROM 802或存储部813中。

应当注意，计算机执行的程序可以是根据所描述的顺序按时间序列进行处理的程序，或者可以是并行地或者在诸如调用时的必要定时进行处理的程序。

在本公开中，描述记录在记录介质上的程序的步骤可以包括根据描述的顺序按时间序列执行的处理，以及并非按时间序列而是并行地或者单独地执行的处理。

此外，在本公开中，系统指的是多个构成元件(装置、模块(部分)等)的集合，不论所有构成元件是否布置在同一壳体中。因此，容纳在分立壳体中并且经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置二者是系统。

此外，以上描述为单个装置(或处理单元)的构成元件可以被划分和配置为多个装置(或处理单元)。相反，以上描述为多个装置(或处理单元)的构成元件可以共同地配置为单个装置(或处理单元)。此外，除了上述之外的构成元件可以被添加到每个装置(或处理单元)。此外，给定装置(或处理单元)的构成元件的一部分可以包括在另一装置(或另一处理单元)的构成元件中，只要作为整体的系统的配置和操作基本上相同即可。

上文参照附图描述了本公开的优选实施例，然而本发明显然不限于以上示例。本领域技术人员在所附权利要求的范围内可以找到各种变更和修改，并且应理解，它们在本质上也落在本公开的技术范围内。

例如，本公开可以采用云计算的配置，其通过网络利用多个设备分配和连接一个功能来进行处理。

此外，以上提及的流程图描述的每个步骤可以由一个设备执行或者通过分配多个设备来执行。

此外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理可以由一个设备执行或者通过分配多个设备来执行。

根据实施例的图像编码装置和图像解码装置可应用于各种电子装置，诸如用于卫星广播、诸如有线电视的有线广播、互联网上的分送、经由蜂窝通信等针对终端的分送的发射器和接收器，将图像记录在诸如光盘、磁盘和闪速存储器的介质中的记录装置，以及从这些存储介质再现图像的再现装置。下文将描述四个应用。

<6.应用>

<第一应用：电视接收器>

图38图示了被应用实施例的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口部909、控制部910、用户接口911以及总线912。

调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。调谐器902将通过解调获得的经编码的位流输出至解复用器903。就是说，调谐器902用作电视装置900中的用于接收编码图像的编码流的传送单元。

解复用器903对编码位流解复用以获得要观看的节目的视频流和音频流，并且将通过解复用获得的每个流输出至解码器904。解复用器903还从编码位流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供给控制部910。此外，当编码位流被加扰时，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904随后将在解码处理中生成的视频数据输出至视频信号处理部905。解码器904还将在解码处理中生成的音频数据输出至音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并且使显示部906显示图像。视频信号处理部905还可以使显示部906显示经由网络提供的应用画面。此外，视频信号处理部905可以根据设定对视频数据执行诸如去噪的附加处理。此外，视频信号处理部905可以生成诸如菜单、按键和光标的图形用户接口(GUI)的图像，并且将所生成的图像叠加在输出图像上。

显示部906由从视频信号处理部905提供的驱动信号进行驱动，并且将视频或图像显示在显示装置(例如，液晶显示器、等离子体显示器、有机致电发光显示器(OELD)等)的视频屏幕上。

音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出声音。音频信号处理部907还可以对音频数据执行诸如去噪的附加处理。

外部接口部909是用于将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对经由外部接口部909接收的视频流或音频流进行解码。就是说，外部接口909还用作电视装置900中的用于接收编码图像的编码流的传送单元。

控制部910包括诸如中央处理单元(CPU)的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在电视装置900启动时，CPU读出并执行存储在存储器中的程序。CPU通过执行程序来根据例如从用户接口部911输入的操作信号来控制电视装置900的操作。

用户接口部911连接至控制部910。用户接口部911包括例如用于用户操作电视装置900的按键和开关以及遥控信号的接收部。用户接口部911检测用户经由这些构成元件的操作，生成操作信号，并且将所生成的操作信号输出至控制部910。

总线912使调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口部909以及控制部910彼此连接。

在以该方式配置的电视装置900中，解码器904具有根据实施例的图像解码装置200的功能。因此，在电视装置900中对图像解码时，可以抑制解码工作负荷的增加。

<第二应用：移动电话>

图39图示了被应用实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932以及总线933。

天线921被连接至通信部922。扬声器924和麦克风925被连接至音频编解码器923。操作部932被连接至控制部931。总线933使通信部922、音频编解码器923、相机部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931彼此连接。

移动电话920在包括音频呼叫模式、数据通信模式、图像捕获模式以及视频电话模式的各种操作模式中执行诸如传送和接收音频信号，传送和接收电子邮件或图像数据，图像捕获以及记录数据的操作。

在音频呼叫模式中，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，使经转换的音频数据经历A/D转换，并且压缩经转换的数据。随后，音频编解码器923将压缩的音频数据输出至通信部922。通信部922对音频数据进行编码和调制，并且生成传送信号。随后，通信部922将所生成的传送信号经由天线921传送至基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大并且对无线信号的频率进行转换以获取接收信号。随后，通信部922对接收信号进行解调和解码，生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行扩展，使音频数据经历D/A转换，并且生成模拟音频信号。随后，音频编解码器923将所生成的音频信号提供给扬声器924以输出声音。

例如，控制部931根据用户经由操作部932进行的操作生成构成电子邮件的文本数据。此外，控制部931使显示部930显示文本。此外，控制部931根据经由操作部932来自用户的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出至通信部922。通信部922对电子邮件数据进行编码和调制，并且生成传送信号。随后，通信部922将所生成的传送信号经由天线921传送至基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大并且对无线信号的频率进行转换以获取接收信号。随后，通信部922对接收信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制部931。控制部931使显示部930显示电子邮件的内容，并且使记录/再现部929的存储介质存储电子邮件数据。

记录/再现部929包括可读和可写存储介质。例如，存储介质可以是诸如RAM或闪速存储器的内建存储介质，或者是诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡的外部安装的存储介质。

此外，在图像捕获模式中，例如，相机部926捕获物体的图像以生成图像数据，并且将生成的图像数据输出至图像处理部927。图像处理部927对从相机部926输入的图像数据进行编码，并且使记录/再现部929的存储介质存储经编码的流。

此外，在视频电话模式中，例如，解复用部928对图像处理部927编码的视频流以及从音频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信部922。通信部922对该流进行编码和调制，并且生成传送信号。随后，通信部922将所生成的传送信号经由天线921传送至基站(未示出)。通信部922还对经由天线921接收到的无线信号进行放大并且对无线信号的频率进行转换以获取接收信号。这些传送信号和接收信号可以包括编码位流。随后，通信部922对接收信号进行解调和解码以恢复该流，并且将恢复的流输出至解复用部928。解复用部928对输入的流解复用以获得视频流和音频流，并且将视频流输出至图像处理部927并将音频流输出至音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被提供给显示部930，并且显示部930显示图像序列。音频编解码器923对音频流进行扩展，使音频流经历D/A转换，并且生成模拟音频信号。随后，音频编解码器923将所生成的音频信号提供给扬声器924，并且输出声音。

在具有以上配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置100(图18)和图像解码装置200(图26)的功能。因此，在移动电话920对图像编码和解码时，可以抑制工作负荷的增加。

<第三应用：记录/再现装置>

图40是被应用实施例的记录/再现装置的示意性配置的示例。记录/再现装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并且将编码的音频数据和编码的视频数据记录在记录介质中。例如，记录/再现装置940还可以对从其他装置获取的音频数据和视频数据进行编码，并且将编码的音频数据和编码的视频数据记录在记录介质中。此外，例如，根据用户的指令，记录/再现装置940使用监视器或扬声器再现记录在记录介质上的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口部942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、同屏显示(OSD)948、控制部949以及用户接口部950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望频道的信号，并对所提取的信号进行解调。随后，调谐器941将通过解调获得的编码位流输出至选择器946。就是说，调谐器941用作记录/再现装置940中的传送单元。

外部接口部942是将记录/再现装置940与外部装置或网络连接的接口。例如，外部接口部942可以是IEEE 1394接口、网络接口、USB接口、闪速存储器接口等。例如，经由外部接口部942接收到的视频数据和音频数据被输入至编码器943。换言之，外部接口部942用作记录/再现装置940中的传送单元。

在从外部接口部942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。随后，编码器943将编码位流输出至选择器946。

HDD 944将其中视频和声音的内容数据被压缩的编码位流、各种程序以及其他数据记录在内部硬盘中。当再现视频或声音时，HDD 944还从硬盘读出该数据。

盘驱动器945将数据记录在所安装的记录介质中并且在其中读出数据。安装在盘驱动器945中的记录介质可以是例如DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)，Blu-ray(注册商标)盘等。

当记录视频和声音时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出至HDD 944或盘驱动器945。当再现视频和声音时，选择器946将从HDD 944或盘驱动器945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码，并且生成视频数据和音频数据。此外，解码器904将所生成的视频数据输出至OSD 948。解码器904还将所生成的音频数据输出至外部扬声器。

OSD 948对从解码器947输入的视频数据进行再现，并且显示图像。OSD 948还可以将诸如例如菜单、按键或光标的GUI的图像叠加在显示的视频上。

控制部949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，当记录/再现装置940激活时，存储在存储器中的程序被CPU读出并执行。CPU通过执行程序根据例如从用户接口部950输入的操作信号来控制记录/再现装置940的操作。

用户接口部950连接至控制部949。例如，用户接口部950包括用于用户操作记录/再现装置940的按键和开关，以及遥控信号的接收部。用户接口部950检测用户经由这些构成元件进行的操作，生成操作信号，并且将所生成的操作信号输出至控制部949。

在具有以上配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置100(图18)的功能。解码器947具有根据上述实施例的图像解码装置200(图26)的功能。因此，在记录/再现装置940中对图像编码和解码时，可以抑制工作负荷的增加。

<第四应用：图像捕获装置>

图41图示了被应用实施例的图像捕获装置的示意性配置的示例。图像捕获装置960捕获物体的图像以生成图像，对图像数据进行编码，并且将编码数据记录在记录介质上。

图像捕获装置960包括光学模块961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部接口部966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口部971以及总线972。

光学模块961连接至图像捕获部962。图像捕获部962连接至信号处理部963。显示部965连接至图像处理部964。用户接口部971连接至控制部970。总线972使图像处理部964、外部接口部966、存储器967、介质驱动器968、OSD 969以及控制部970彼此连接。

光学模块961包括聚焦透镜、孔径光阑机构等。光学模块961在图像捕获部962的图像捕获表面上形成物体的光学图像。图像捕获部962包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将在图像捕获表面上形成的光学图像转换成作为电信号的图像信号。图像捕获部962随后将图像信号输出至信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理部963将经历相机信号处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。随后，图像处理部964将所生成的编码数据输出至外部接口部966或介质驱动器968。图像处理部964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。随后，图像处理部964将所生成的图像数据输出至显示部965。图像处理部964还可以将从信号处理部963输入的图像数据输出至显示部965，并且显示图像。此外，图像处理部964可以将从OSD 969获取的显示数据叠加在输出至显示部965的图像上。

OSD 969生成诸如例如菜单、按键或光标的GUI的图像并且将所生成的图像输出至图像处理部964。

外部接口部966被配置为例如USB输入/输出端子。例如，当打印图像时，外部接口部966将图像捕获装置960与打印机连接。此外，在必要时，驱动器连接至外部接口部966。诸如磁盘或光盘的可移动介质安装在驱动器上，并且从可移动介质读取的程序可以安装在图像捕获装置960中。此外，外部接口部966可以被配置成连接至诸如LAN和互联网的网络的网络接口。就是说，外部接口部966用作图像捕获装置960中的传送单元。

安装在介质驱动器968上的记录介质可以是可读/可写的可移动介质，诸如磁盘、磁光盘、光盘和半导体存储器。记录介质还可以以固定方式安装在介质驱动器968上，配置诸如内建硬盘驱动器或固态驱动器(SSD)的非便携式存储部。

控制部970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，在图像捕获装置960激活时，CPU读出并执行存储在存储器中的程序。CPU通过执行程序根据例如从用户接口部971输入的操作信号来控制图像捕获装置960的操作。

用户接口部971与控制部970连接。用户接口部971包括例如，用于用户操作图像捕获装置960的按键和开关等。用户接口部971检测用户经由这些构成元件进行的操作，生成操作信号，并且将所生成的操作信号输出至控制部970。

在具有以上配置的图像捕获装置960中，图像处理部964具有根据上述实施例的图像编码装置100(图18)和图像解码装置200(图26)的功能。因此，在图像捕获装置960中对图像编码和解码时，可以抑制工作负荷的增加。

<7.可分级编码的应用示例>

<第一系统>

接下来，将描述其中执行可分级编码(图像编码)的使用可分级编码数据的具体示例。例如，如图42中所示的示例中的那样，可分级编码用于例如选择要传送的数据。

在图42中所示的数据传送系统1000中，分送服务器1002读取可分级编码数据存储部1001中存储的可分级编码数据，并且将可分级编码数据经由网络1003分送到诸如个人计算机1004、AV装置1005、平板装置1006或移动电话1007的终端装置。

在该情况下，分送服务器1002根据终端装置的能力、通信环境等选择并传送具有适当质量的编码数据。即使在分送服务器1002不必要地传送高质量数据时，在终端装置中不一定能够获得高质量图像并且其可能是出现延迟或上溢的起因。此外，可能不必要地占用了通信频带，并且可能不必要地增加了终端装置的工作负荷。相反，即使在分送服务器1002不必要地传送了低质量数据时，可能不能获得具有充分质量的图像。因此，分送服务器1002根据终端装置的能力、通信环境等适当地读取并传送可分级编码数据存储部1001中存储的可分级编码数据，作为具有适当质量的编码数据。

例如，可分级编码数据存储部1001被配置成存储其中执行可分级编码的可分级编码数据(BL+EL)1011。可分级编码数据(BL+EL)1011是包括基层和增强层两者的编码数据，并且是能够通过执行解码从其获得基层图像和增强层图像的数据。

分送服务器1002根据用于传送数据的终端装置的能力、通信环境等来选择适当的层，并且读取所选择的层的数据。例如，对于具有高处理能力的个人计算机1004或平板装置1006，分送服务器1002从可分级编码数据存储部1001读取可分级编码数据(BL+EL)1011，并且不变地传送可分级编码数据(BL+EL)1011。另一方面，例如，对于具有低处理能力的AV装置1005或移动电话1007，分送服务器1002从可分级编码数据(BL+EL)1011中提取基层数据，并且传送所提取的基层数据作为低质量可分级编码数据(BL)1012，其是具有与可分级编码数据(BL+EL)1011相同的内容，但是具有比可分级编码数据(BL+EL)1011低的质量的数据。

由于通过采用可分级编码数据可以容易地调整数据量，因此可以抑制延迟或上溢的出现或者可以抑制终端装置或通信介质的工作负荷的不必要的增加。此外，由于在可分级编码数据(BL+EL)1011中减少了层之间的冗余，因此较之每个层的编码数据被视为独立数据的情况，可以进一步减少数据量。因此，可以更高效地使用可分级编码数据存储部1001的存储区域。

由于可以应用从诸如个人计算机1004到移动电话1007的各种装置作为终端装置，因此终端装置的硬件性能根据装置而不同。此外，由于存在由终端装置执行的各种应用，因此其软件性能也变化。此外，由于包括有线网络、无线网络或者这两种网络的所有通信线路网络，诸如互联网或局域网(LAN)，可被应用为用作通信介质的网络1003，因此其数据传送性能变化。此外，数据传送性能会根据其他通信等而变化。

因此，在开始数据传送之前，分送服务器1002可以执行与作为数据的传送目标的终端装置的通信，并且随后获得诸如终端装置的硬件性能或者由终端装置执行的应用(软件)的性能的、关于终端装置性能的信息，以及关于诸如网络1003的可用带宽的通信环境的信息。此外，分送服务器1002可以基于所获得的信息选择适当的层。

此外，层的提取可以在终端装置中执行。例如，个人计算机1004可以对所传送的可分级编码数据(BL+EL)1011进行解码并且显示基层图像或显示增强层图像。此外，例如，个人计算机1004可以被配置成从所传送的可分级编码数据(BL+EL)1011中提取基层的可分级编码数据(BL)1012，存储所提取的基层的可分级编码数据(BL)1012，传送到另一装置，或者对该基层图像解码并显示。

当然，可分级编码数据存储部1001的数目、分送服务器1002的数目、网络1003的数目和终端装置的数目全是任意的。此外，尽管上文描述了分送服务器1002将数据传送到终端装置的示例，但是使用示例不限于此。数据传送系统1000可应用于如下任何系统：在可分级编码数据被传送到终端装置时，该系统根据终端装置的能力、通信环境等选择并传送适当的层。

此外，通过以参照图1至33说明的应用于层编码和层解码相似的方式将本技术应用于诸如上述图42的数据传送系统1000，可以获得与参照图1至33描述的有利益处相似的有利益处。

<第二系统>

此外，可分级编码用于例如如图43中所示的示例中的经由多个通信介质的传送。

在图43中所示的数据传送系统1100中，广播站1101通过地面广播1111传送基层的可分级编码数据(BL)1121。此外，广播站1101经由作为有线网络、无线网络或这两种网络的通信网络形成的任何任意网络1112传送增强层的可分级编码数据(EL)1122(例如，数据被分组并传送)。

终端装置1102具有接收由广播站1101广播的地面广播1111的功能，并且接收经由地面广播1111传送的基层的可分级编码数据(BL)1121。此外，终端装置1102进一步具有经由网络1112执行通信的通信功能，并且接收经由网络1112传送的增强层的可分级编码数据(EL)1122。

例如，根据用户的指令等，终端装置1102对经由地面广播1111获取的基层的可分级编码数据(BL)1121进行解码，从而获得或存储基层图像或者将基层图像传送到其他装置。

此外，例如，根据用户的指令，终端装置1102将经由地面广播1111获取的基层的可分级编码数据(BL)1121与经由网络1112获取的增强层的可分级编码数据(EL)1122组合，从而获得可分级编码数据(BL+EL)，通过对可分级编码数据(BL+EL)解码来获得或存储增强层图像，或者将增强层图像传送到其他装置。

如上文所述，例如，可分级编码数据可以经由对于每个层不同的通信介质来传送。因此，可以分散工作负荷，并且抑制延迟或上溢的出现。

此外，根据情况，可以配置成针对每个层选择用于传送的通信介质。例如，其中数据量相对大的基层的可分级编码数据(BL)1121可以经由具有宽带宽的通信介质传送，并且其中数据量相对小的增强层可分级编码数据(EL)1122可以经由具有窄带宽的通信介质传送。此外，例如，传送增强层的可分级编码数据(EL)1122的通信介质是网络1112还是地面广播1111可以根据网络1112的可用带宽来切换。当然，上文所述可以相似地应用于任意层的数据。

以这种方式进行控制，可以进一步抑制数据传送中的工作负荷。

当然，层的数目是任意的，并且传送中使用的通信介质的数目也是任意的。此外，作为数据分送目标的终端装置1102的数目也是任意的。此外，上文描述了从广播站1101广播的示例，但是使用示例不限于此。数据传送系统1100可应用于如下任何系统：该系统使用层作为单位对可分级编码数据进行划分并且经由多条链路传送可分级编码数据。

此外，通过以参照图1至33描述的应用于层编码和层解码相似的方式将本技术应用于诸如上述图43的数据传送系统1100，可以获得与参照图1至33描述的有利益处相似的有利益处。

<第三系统>

此外，如图44中所示的示例那样，可分级编码用于编码数据的存储。

在图44中所示的图像捕获系统1200中，图像捕获装置1201对通过捕获物体1211的图像而获得的图像数据执行可分级编码，并且将可分级编码结果作为可分级编码数据(BL+EL)1221提供给可分级编码数据存储装置1202。

可分级编码数据存储装置1202按照根据情况的质量存储从图像捕获装置1201提供的可分级编码数据(BL+EL)1221。例如，在正常环境的情况下，可分级编码数据存储装置1202从可分级编码数据(BL+EL)1221提取基层数据，并且存储所提取的数据作为具有低质量的小数据量的基层可分级编码数据(BL)1222。另一方面，例如，在显著环境的情况下，可分级编码数据存储装置1202不变地存储具有高质量的大数据量的可分级编码数据(BL+EL)1221。

通过这种方式，由于可分级编码数据存储装置1202可以仅在必要情况下保存高质量的图像，因此可以抑制由于图像质量劣化引起的图像值的减少并且抑制数据量的增加，并且可以提高存储区域的使用效率。

例如，假设图像捕获装置1201是监控相机。由于在捕获图像中未示出监控物体(例如，侵犯者)时(在正常环境的情况下)，捕获图像的内容不太可能是重要的，因此优先减少数据量，并且以低质量存储图像数据(可分级编码数据)。另一方面，由于在捕获图像中示出了作为物体1211的监控对象时(在显著环境的情况下)，拍摄图像的内容很可能是重要的，因此图像质量优先，并且以高质量存储图像数据(可分级编码数据)。

例如，情况是正常环境的情况还是显著环境的情况可以由可分级编码数据存储装置1202通过分析图像来确定。此外，图像捕获装置1201可以被配置成进行确定并且将确定结果传送到可分级编码数据存储装置1202。

情况是正常环境的情况还是显著环境的情况的确定标准是任意的，并且作为确定标准的图像的内容是任意的。当然，除了图像的内容以外的条件可以被指定为确定标准。例如，可以配置成根据所记录的声音的幅度或波形、按照预定的时间间隔、或者通过诸如用户的指令的外部指令来执行切换。

此外，尽管上文描述了正常环境和显著环境的两个状态，但是状态的数目是任意的，并且例如，可以配置成在三个或更多个状态，诸如正常环境、略微显著环境、显著环境和强烈显著环境中执行切换。然而，所切换的状态的数目的上限取决于可分级编码数据的层的数目。

此外，图像捕获装置1201可以根据状态确定可分级编码的层的数目。例如，在正常环境的情况下，图像捕获装置1201可以生成具有低质量的小数据量的基层可分级编码数据(BL)1222，并且将该数据提供给可分级编码数据存储装置1202。此外，例如，在显著环境的情况下，图像捕获装置1201可以生成具有高质量的大数据量的基层可分级编码数据(BL+EL)1221，并且将该数据提供给可分级编码数据存储装置1202。

尽管上文描述了作为示例的监控相机，但是图像捕获系统1200的使用是任意的并且不限于监控相机。

此外，通过以参照图1至33描述的应用于层编码和层解码相似的方式将本技术应用于诸如上述图44的图像捕获系统1200，可以获得与参照图1至33描述的有利益处相似的有利益处。

<8.第五实施例>

<其他实施例>

结合被应用本技术的装置、系统等的示例描述了以上实施例，但是本技术不限于以上示例并且可以实现为安装在装置或构成系统的装置中的任何构成元件，例如用作系统(大规模集成)LSI等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中向单元进一步添加任何其他功能的设备(即装置的一些构成元件)等。

<视频设备>

将参照图45描述其中本技术被实现为设备的示例。图45图示了被应用本技术的视频设备的示意性配置的示例。

近年来，电子装置的功能已变得多样化，并且在其开发或制造中，存在具有相关功能的多个构成元件被组合并且实现为具有多个功能的设备的许多情况以及其中一些构成元件通过销售、供应等实现或者提供的情况或者其中实现为具有单个功能的构成元件的情况。

图45中所示的视频设备1300是多功能化配置，其中具有与图像编码和/或图像解码相关的功能的装置与具有与该功能相关的任何其他功能的装置组合。

如图45中所示，视频设备1300包括诸如视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314的模块组以及具有诸如连接1321、相机1322和传感器1323的相关功能的装置。

模块是具有其中相互集成若干个相关部分功能的一组功能的部分。具体物理配置是任意的，但是例如，其被配置成使得具有各个功能的多个处理、诸如电阻器和电容器的电子电路元件以及其他装置布置和集成在配线基板上。此外，通过将另一模块或处理器与模块组合可以获得新模块。

在图45的示例的情况下，视频模块1311是具有与图像处理相关的功能的配置组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和射频(RF)模块1334。

处理器是其中具有特定功能的配置通过芯片上系统(SoC)被集成到半导体芯片中的处理器，并且还指示例如系统LSI等。具有特定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM和使用CPU、ROM和RAM执行的程序(软件配置)，并且可以是硬件配置和软件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM，并且可以是硬件配置和软件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，一些功能可以通过逻辑电路(硬件配置)实现，并且其他功能可以通过CPU执行的程序(软件配置)实现。

图45的应用处理器1331是执行与图像处理相关的应用的处理器。应用处理器1331执行的应用可以不仅执行计算处理，而且还可以在需要时控制诸如视频处理器1332的视频模块1311内部和外部的构成元件以便实现特定功能。

视频处理器1332是具有与图像编码和/或图像解码相关的功能的处理器。

宽带调制解调器1333是执行与经由诸如互联网或公共电话线路网络的宽带线路执行的有线和/或无线宽带通信相关的处理的处理器(或调制解调器)。例如，宽带调制解调器1333对要传送的数据(数字信号)执行数字调制并且将数据转换成模拟信号，或者对接收到的模拟信号执行解调并且将模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对诸如视频处理器1332处理的图像数据、包括编码图像数据的流、应用程序或设定数据的任意信息执行数字调制和解调。

RF模块1334是对通过天线传送和接收的RF信号执行频率变换处理、调制/解调处理、放大处理、滤波处理等的模块。例如，RF模块1334对宽带调制解调器1333生成的基带信号执行例如频率变换，并且生成RF信号。此外，例如，RF模块1334对通过前端模块1314接收到的RF信号执行例如频率变换，并且生成基带信号。

此外，如图45中的虚线1341所示，应用处理器1331和视频处理器1332可以集成到单个处理器。

外部存储器1312是安装在视频模块1311外部的模块并且具有视频模块1311使用的存储装置。外部存储器1312的存储装置可以通过任何物理配置实现，但是通常用于存储大容量数据，诸如以帧为单位的图像数据，并且因此期望使用诸如动态随机存取存储器(DRAM)的相对廉价的大容量半导体存储器来实现外部存储器1312的存储装置。

功率管理模块1313管理和控制针对视频模块1311的电力供应(视频模块1311中的各个构成元件)。

前端模块1314是向RF模块1334提供前端功能(天线侧的传送和接收端的电路)的模块。如图45中所示，前端模块1314包括例如天线部2351、滤波器1352和放大部1353

天线部1351包括传送和接收无线电信号和外围配置的天线。天线部1351传送作为无线电信号的从放大部1353提供的信号，并且将接收到的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线部1351接收到的RF信号执行例如滤波处理，并且将经处理的RF信号提供给RF模块1334。放大部1353对从RF模块1334提供的RF信号进行放大，并且将经放大的RF信号提供给天线部1351。

连接1321是具有与外部的连接相关的功能的模块。连接1321的物理配置是任意的。例如，连接1321包括具有除了宽带调制解调器1333、外部I/O终端等支持的通信标准的通信功能以外的通信功能的配置。

例如，连接1321可以包括具有基于诸如Bluetooth(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)、红外数据关联(IrDA)的无线通信标准的通信功能的模块；传送和接收满足标准的信号的天线等。此外，例如，连接1321可以包括具有基于诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的有线通信标准的通信功能的模块或者满足标准的端子。此外，例如，连接1321可以包括诸如模拟I/O端子的任何其他数据(信号)传送功能等。

此外，连接1321可以包括数据(信号)的传送目标的装置。例如，连接1321可以包括驱动器(包括硬盘、固态驱动器(SSD)、网络附接存储(NAS)等以及可移动介质的驱动器)，其从/在诸如磁盘、光盘、磁光盘或半导体存储器的记录介质读取/写入数据。此外，连接1321可以包括输出装置(监视器、扬声器等)，其输出图像或声音。

相机1322是具有拍摄物体并且获得物体的图像数据的功能的模块。例如，来自相机1322的通过图像捕获获得的图像数据被提供给视频处理器1332并且被其编码。

传感器1323是具有任意传感器功能的模块，诸如声音传感器、超声传感器、光学传感器、亮度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、振动传感器或温度传感器。例如，传感器1323检测到的数据被提供给应用处理器1331并且由应用等处理。

以上描述为模块的配置可以被实现为处理器，并且描述为处理器的配置可以被实现为模块。

在具有以上配置的视频设备1300中，本技术可以应用于后面将描述的视频处理器1332。因此，视频设备1300可以被实现为被应用本技术的设备。

<视频处理器的示例性配置>

图46图示了被应用本技术的视频处理器1332(图45)的示意性配置的示例。

在图46的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且根据特定方案对视频信号和音频信号编码的功能以及对编码的视频信号和音频信号解码并且再现和输出视频信号和音频信号的功能。

如图46中所示，视频处理器1332包括视频输入处理部1401、第一图像放大/缩小部1402、第二图像放大/缩小部1403、视频输出处理部1404、帧存储器1405和存储器控制部1406。视频处理器1332还包括编码/解码引擎1407、视频元素流(ES)缓冲器1408A和1408B、音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用器(复用器(MUX))1412、解复用器(解复用器(DMUX))1413和流缓冲器1414。

例如，视频输出处理部1401获取从连接1321(图45)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小部1402对图像数据执行例如格式转换处理和图像放大/缩小处理。第二图像放大/缩小部1403根据通过视频输出处理部1404输出图像数据的目标的格式对图像数据执行图像放大/缩小处理或者对图像数据执行与第一图像放大/缩小部1402相似的格式转换处理和图像放大/缩小处理。视频输出处理部1404对图像数据执行格式转换以及对模拟信号的转换，并且将再现视频信号输出到例如连接1321(图45)等。

帧存储器1405是由视频输入处理部1401、第一图像放大/缩小部1402、第二图像放大/缩小部1403、视频输出处理部1404和编码/解码引擎1407共享的图像数据存储器。帧存储器1405被实现为例如诸如DRAM的半导体存储器。

存储器控制部1406从编码/解码引擎1407接收同步信号，并且根据关于写入在访问管理表格1406A中的关于帧存储器1405的访问进度表来控制对帧存储器1405的写入/读取访问。访问管理表格1406A根据编码/解码引擎1407、第一图像放大/缩小部1402、第二图像放大/缩小部1403等执行的处理通过存储器控制部1406进行更新。

编码/解码引擎1407执行对图像数据编码的编码处理以及对作为通过对图像数据编码获得的数据的视频流解码的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据编码，并且将编码图像数据作为视频流依次写入视频ES缓冲器1408A。此外，例如，编码/解码引擎1407从视频ES缓冲器1408B依次读取视频流，依次对视频流解码并且依次将解码图像数据写入帧存储器1405。对于编码或解码，编码/解码引擎1407使用帧存储器1405作为工作区域。此外，例如在每个宏块的处理开始的定时，编码/解码引擎1407将同步信号输出到存储器控制部1406。

视频ES缓冲器1408A缓冲编码/解码引擎1407生成的视频流，并且随后将视频流提供给复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX)1413提供的视频流，并且随后将视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲音频编码器1410生成的音频流，并且随后将音频流提供给复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413提供的音频流，并且随后将音频流提供给音频解码器1411。

例如，音频编码器1410将从例如连接1321(图45)等输入的音频信号转换成数字信号，并且根据诸如MPEG音频方案或AudioCode编号3(AC3)方案的特定方案对数字信号编码。音频编码器1410依次将作为通过对音频信号编码获得的数据的音频流写入音频ES缓冲器1409A，执行例如对模拟信号的转换，并且将再现的音频信号提供给例如连接1321(图45)等。

复用器(MUX)1412执行视频流和音频流的复用。复用方法(即，通过复用生成的位流的格式)是任意的。此外，在复用的情况下，复用器(MUX)1412可以将特定报头信息等添加到位流。换言之，复用器(MUX)1412可以通过复用对流格式进行转换。例如，复用器(MUX)1412对视频流和音频流进行复用以使其转换成作为具有传输格式的位流的输送流。此外，例如，复用器(MUX)1412对视频流和音频流进行复用以使其转换成具有记录文件格式的数据(文件数据)。

解复用器(DMUX)1413通过与复用器(MUX)1412执行的复用对应的方法对通过对视频流和音频流进行复用而获得的位流解复用。换言之，解复用器(DMUX)1413从读取自流缓冲器1414的位流中提取视频流和音频流(分离视频流和音频流)。换言之，解复用器(DMUX)1413可以通过解复用执行流格式的转换(复用器(MUX)1412执行的转换的逆转换)。例如，解复用器(DMUX)1413可以通过流缓冲器1414获取从例如连接1321或宽带调制解调器1333(二者在图45中)提供的输送流，并且通过解复用将输送流转换成视频流和音频流。此外，例如，解复用器(DMUX)1413可以通过流缓冲器1414获取通过例如连接1321(图45)从各种记录介质读取的文件数据，并且通过解复用将文件数据转换成视频流和音频流。

流缓冲器1414对位流进行缓冲。例如，流缓冲器1414缓冲从复用器(MUX)1412提供的输送流，并且在特定定时或者基于外部请求等将输送流提供给例如连接1321或宽带调制解调器1333(二者在图45中)。

此外，例如，流缓冲器1414缓冲从复用器(MUX)1412提供的文件数据，在特定定时或者基于外部请求等将文件数据提供给例如连接1321(图45)等，并且使文件数据被记录在各种记录介质中。

此外，流缓冲器1414缓冲通过例如连接1321或宽带调制解调器1333(二者在图45中)获取的输送流，并且在特定定时或者基于外部请求等将输送流提供给解复用器(DMUX)1413。

此外，流缓冲器1414缓冲在例如连接1321(图45)等中从各种记录介质读取的文件数据，并且在特定定时或者基于外部请求等将文件数据提供给解复用器(DMUX)1413。

接下来，将描述具有以上配置的视频处理器1332的操作。例如从连接1321(图45)等输入到视频处理器1332的视频信号在视频输入处理部1401中根据诸如4:2:2Y/Cb/Cr方案的特定方案被转换成数字图像数据并且被依次写入在帧存储器1405中。数字图像数据被读出到第一图像放大/缩小部1402或第二图像放大/缩小部1403，经历执行针对诸如4:2:0Y/Cb/Cr方案的特定方案的格式转换的格式转换处理以及放大/缩小处理，并且被再次写入帧存储器1405。图像数据被编码/解码引擎1407编码，并且作为视频流被写入视频ES缓冲器1408A。

此外，从连接1321(图45)等输入到视频处理器1332的音频信号被音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读出到复用器(MUX)1412并且被其复用，并且被转换成输送流、文件数据等。复用器(MUX)1412生成的输送流在流缓冲器1414中缓冲，并且随后通过例如连接1321或宽带调制解调器1333(二者在图45中)输出到外部网络。此外，复用器(MUX)1412生成的文件数据在流缓冲器1414中缓冲，随后输出到例如连接1321(图45)等，并且记录在各种记录介质中。

此外，通过例如连接1321或宽带调制解调器1333(二者在图45中)从外部网络输入到视频处理器1332的输送流在流缓冲器1414中缓冲，并且随后被解复用器(DMUX)1413解复用。此外，在例如连接1321(图45)等中从各种记录介质读取并且随后输入到视频处理器1332的文件数据在流缓冲器1414中缓冲，并且随后被解复用器(DMUX)1413解复用。换言之，输入到视频处理器1332的输送流或文件数据通过解复用器(DMUX)1413被解复用为视频流和音频流。

音频流通过音频ES缓冲器1409B被提供给音频解码器1411并且被解码，并且音频信号被再现。此外，视频流被写入视频ES缓冲器1408B，依次读出到编码/解码引擎1407并且被其解码，并且写入在帧存储器1405中。解码的图像数据经历第二图像放大/缩小部1403执行的放大/缩小处理，并且被写入帧存储器1405。随后，解码的图像数据被读出到视频输出处理部1404，经历执行对诸如4:2:2Y/Cb/Cr方案的特定方案的格式转换的格式转换处理，并且被转换成模拟信号，并且视频信号被再现。

当本技术应用于具有以上配置的视频处理器1332时，优选的是将本技术的以上实施例应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407优选地具有根据以上实施例的图像编码装置100(图18)和图像解码装置(图26)的功能。因此，视频处理器1332可以获得与上文参照图1至33描述的有利益处相似的有利益处。

此外，在编码/解码引擎1407中，本技术(即，根据以上实施例的图像编码装置或图像解码装置的功能)可以通过诸如逻辑电路的硬件和诸如嵌入程序的软件中的任一者或二者实现。

<视频处理器的其他示例性配置>

图47图示了被应用本技术的视频处理器1332(图45)的示意性配置的另一示例。在图47的示例的情况下，视频处理器1332具有根据特定方案对视频数据编码和解码的功能。

更具体地，如图47中所示，视频处理器1332包括控制部1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332进一步包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX/DMUX)1518、网络接口1519和视频接口1520。

控制部1511控制视频处理器1332中的诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的每个处理部的操作。

如图47中所示，控制部1511包括例如主CPU 1531、子CPU 1532和系统控制器1533。主CPU 1531执行例如用于控制视频处理器1332中的每个处理部的操作的程序。主CPU 1531根据程序生成例如控制信号，并且将控制信号提供给每个处理部(就是说，控制每个处理部的操作)。子CPU 1532执行主CPU 1531的补充任务。例如，子CPU 1532执行主CPU 1531执行的程序的子处理或子例程。系统控制器1533控制主CPU 1531和子CPU 1532的操作，例如，指定由主CPU 1531和子CPU 1532执行的程序。

显示接口1512在控制部1511的控制下将图像数据输出到例如连接1321(图45)等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并且将模拟信号作为再现视频信号输出到例如连接1321(图45)的监视装置或者将数字数据的图像数据输出到例如连接1321(图45)的监视装置。

显示引擎1513根据例如显示图像的监视装置的硬件规格，在控制部1511的控制下对图像数据执行诸如格式转换处理、大小转换处理和色域转换处理的各种转换处理。

图像处理引擎1514在控制部1511的控制下对图像数据执行用于提高图像质量的诸如滤波处理的特定图像处理。

内部存储器1515是安装在视频处理器1332中的存储器并且被显示引擎1513、图像处理引擎1514和编解码器引擎1516共享。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码器引擎1516之间执行的数据传输。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且按照需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何存储装置实现，但是由于内部存储器1515主要用于诸如以块为单位的图像数据或参数的小容量数据的存储，因此期望使用诸如静态随机存取存储器(SRAM)的半导体存储器实现内部存储器1515，半导体存储器容量相对小(例如，较之外部存储器1312)并且响应速度快。

编解码器引擎1516执行与图像数据的编码和解码相关的处理。编解码器引擎1516支持的编码/解码方案是任意的，并且编解码器引擎1516可以支持一个或更多个方案。例如，编解码器引擎1516可以具有支持多个编码/解码方案的编解码器功能并且使用从这些方案中选择的方案执行图像数据的编码或者编码数据的解码。

在图47中所示的示例中，编解码器引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可分级)1544、HEVC/H.265(多视图)1545和MPEG-DASH 1551，作为与编解码器相关的处理的功能块。

MPEG-2视频1541是用于根据MPEG-2方案对图像数据编码或解码的功能块。AVC/H.2641542是根据AVC方案对图像数据编码或解码的功能块。HEVC/H.2651543是根据HEVC方案对图像数据编码或解码的功能块。HEVC/H.265(可分级)1544是用于根据HEVC方案对图像数据执行可分级编码或可分级解码的功能块。HEVC/H.265(多视图)1545是用于根据HEVC方案对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是用于根据通过HTTP的MPEG动态自适应流式传输(MPEG-DASH)来传送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)流式传输视频的技术，并且具有以片段为单位从先前准备的分辨率等不同的多条编码数据中选择适当的一条编码数据并且传送器选择的编码数据的特征。MPEG-DASH 1551执行符合标准、流的传送控制等的流的生成，并且使用用于对图像数据编码和解码的MPEG-2视频1541至HEVC/H.265(多视图)1545。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517被提供给外部存储器1312。此外，从外部存储器1312读取的数据通过存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用器/解复用器(MUX/DMUX)1518执行与诸如编码数据、图像数据和视频信号的位流的图像相关的各种类型的数据的复用和解复用。复用/解复用方法是任意的。例如，在复用的情况下，复用器/解复用器(MUX/DMUX)1518不仅可以将多条数据组合成一条数据，而且可以将特定的报头信息等添加到数据。此外，在解复用的情况下，复用器/解复用器(MUX/DMUX)1518不仅可以将一条数据分成多条数据，而且可以将特定的报头信息添加到划分的每条数据。换言之，复用器/解复用器(MUX/DMUX)1518可以通过复用和解复用转换数据格式。例如，复用器/解复用器(MUX/DMUX)1518可以对位流进行复用以使其被转换成用作传输格式的位流的输送流或者记录文件格式的数据(文件数据)。当然，还可以通过解复用执行逆变换。

网络接口1519是用于例如宽带调制解调器1333或连接1321(二者在图45中)的接口。视频接口1520是用于例如连接1321或相机1322(二者在图45中)的接口。

接下来，将描述视频处理器1332的示例性操作。例如，当通过例如连接1321或宽带调制解调器1333(二者在图45中)从外部网络接收输送流时，输送流通过网络接口1519被提供给复用器/解复用器(MUX/DMUX)1518，被解复用，并且随后由编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据经历由例如图像处理引擎1514执行的特定图像处理，经历由显示引擎1513执行的特定转换，并且通过显示接口1512提供给例如连接1321(图45)等，并且图像显示在监视器上。此外，例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516再次编码，被复用器/解复用器(MUX/DMUX)1518复用以被转换成文件数据，通过视频接口1520输出到例如连接1321(图45)等，并且随后记录在各种记录介质中。

此外，例如，通过对经由连接1321(图45)等从记录介质(未示出)读取的图像数据编码而获得的编码数据的文件数据通过视频接口1520被提供给复用器/解复用器(MUX/DMUX)1518，并且被解复用，并且由编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据经历图像处理引擎1514执行的特定图像处理，经历显示引擎1513执行的特定转换，并且通过显示接口1512被提供给例如连接1321(图45)等，并且图像显示在监视器上。此外，例如，通过编解码器引擎1516的解码获得的图像数据被编解码器引擎1516再次编码，被复用器/解复用器(MUX/DMUX)1518复用以被转换成输送流，通过网络接口1519被提供给例如连接1321或宽带调制解调器1333(二者在图45中)，并且被传送到另一装置(未示出)。

此外，例如使用内部存储器1515或外部存储器1516执行视频处理器1332中的处理部之间的图像数据或其他数据的传输。此外，功率管理模块1313控制例如对控制部1511的电力供给。

当本技术应用于具有以上配置的视频处理器1332时，期望将本技术的以上实施例应用于编解码器引擎1516。换言之，例如，编解码器引擎1516优选地具有用于实现根据以上实施例的图像编码装置100(图18)和图像解码装置(图26)的功能块。此外，例如，视频处理器1332可以具有与上文参照图1至43描述的有利益处相似的有利益处。

此外，在编解码器引擎1516中，本技术(即，根据以上实施例的图像编码装置或图像解码装置的功能)可以通过诸如逻辑电路的硬件和诸如嵌入程序的软件中的任一者或二者实现。

上文描述了视频处理器1332的两个示例性配置，但是视频处理器1332的配置是任意的并且可以是除了以上两个示例性配置之外的任何配置。此外，视频处理器1332可以配置有单个半导体芯片或者可以配置有多个半导体芯片。例如，视频处理器1332可以配置有三维堆叠的LSI，其中堆叠多个半导体。此外，视频处理器1332可以由多个LSI实现。

<对装置的应用示例>

视频设备1300可以并入到处理图像数据的各种类型的装置中。例如，视频设备1300可以并入到电视装置900(图38)、移动电话920(图39)、再现/记录装置940(图40)、成像装置960(图41)等中。由于并入了视频设备1300，这些装置可以具有与上文参照图1至33描述的有利益处相似的有利益处。

此外，视频设备1300还可以并入到诸如图42的数据传送系统1000中的个人计算机1004、AV装置1005、平板装置1006或移动电话1007，图43数据传送系统1100中的广播站1101或终端装置1102，或者图44的成像系统1200中的成像装置1201或可分级编码数据存储装置1202的终端装置中。由于并入了视频设备1300，这些装置可以具有与上文参照图1至33描述的有利益处相似的有利益处。此外，视频设备1300可以斌入到图48的内容再现系统或图54的无线通信系统中。

此外，只要包括视频处理器1332，上述视频设备1300的每个构成元件可以实现为被应用本技术的配置。例如，视频处理器1332单独可被实现为被应用本技术的视频处理器。此外，例如，上文所述由虚线1341指示的处理器、视频模块1311等可以被实现为例如被应用本技术的处理器或模块。此外，例如，视频模块1311、外部存储器1312、功率管理模块1313和前端模块1314的组合可以被实现为被应用本技术的视频单元1361。这些配置可以具有与上文参照图1至33描述的有利益处相似的有利益处。

换言之，与视频设备1300的情况相似，包括视频处理器1332的配置可以并入到处理图像数据的各种类型的装置中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以被并入到电视装置900(图38)，移动电话920(图39)，再现/记录装置940(图40)，成像装置960(图41)，诸如图42的数据传送系统1000中的个人计算机1004、AV装置1005、平板装置1006或移动电话1007，图43数据传送系统1100中的广播站1101或终端装置1102，图44的成像系统1200中的成像装置1201或可分级编码数据存储装置1202等的终端装置中。此外，包括视频处理器1332的配置可以并入到图48的内容再现系统或图54的无线通信系统中。此外，通过并入被应用本技术的配置，与视频设备1300相似，这些装置可以具有与上文参照图1至33描述的有利益处相似的有利益处。

本技术还可以应用于从以片段为单位预先准备的具有不同分辨率的多条编码数据中选择适当的数据并且使用所选择的数据的系统，例如HTTP流式传输的内容再现系统或者后面将描述的诸如MPEG DASH的Wi-Fi标准的无线通信系统。

<9.MPEG-DASH的应用示例>

<内容再现系统的概述>

首先，将参照图48至50示意性地描述可应用本技术的内容再现系统。

下文将参照图48和49描述在实施例中共同的基本配置。

图48是内容再现系统的配置的说明图。如图48中所示，内容再现系统包括内容服务器1610和1611、网络1612和内容再现装置1620(客户端装置)。

内容服务器1610和1611经由网络1612与内容再现装置1620连接。网络1612是从连接到网络1612的装置传送的信息的有线或无线传送路径。

例如，网络1612可以包括诸如互联网、电话线路网络或卫星通信网络的公共线路网络，诸如以太网(注册商标)的各种LAN、广域网(WAN)等。此外，网络1612可以包括专用线路网络，诸如互联网协议虚拟私有网络(IP-VPN)。

内容服务器1610对内容数据编码，并且生成并存储包括编码数据的元信息和编码数据的数据文件。当内容服务器1610生成MP4格式的数据文件时，编码数据对应于“mdat”，并且元信息对应于“moov”。

此外，内容数据可以是诸如音乐、演讲或无线电节目的音乐数据，诸如电影、电视节目、视频节目、照片、文档、绘画或图形的视频数据，游戏，软件等。

这里，内容服务器1610以不同比特率针对同一内容生成多个数据文件。此外，响应于从内容再现装置1620接收到的内容再现请求，内容服务器1611包括通过内容再现装置1620添加到内容服务器1610的URL信息中的相应的URL的参数的信息，并且将得到的信息传送到内容再现装置1620。下文将参照图49描述这些细节。

图49是图48的内容再现系统中的数据流的说明图。如图49中所示，内容服务器1610以不同的比特率对同一内容数据编码，并且生成例如2Mbps的文件A、1.5Mbps的文件B和1Mbps的文件C。相对地，文件A具有高比特率，文件B具有标准比特率，而文件C具有低比特率。

此外，如图49中所示，每个文件的编码数据被分成多个片段。例如，文件A的编码数据被分成诸如“A1”、“A2”、“A3”、…和“An”的片段，文件B的编码数据被分成诸如“B1”、“B2”、“B3”、…和“Bn”的片段，并且文件C的编码数据被分成诸如“C1”、“C2”、“C3”、…和“Cn”的片段。

此外，每个片段可以配置有配置样本而非从MP4的槽样本(sink sample)开始(例如，AVC/H.264的视频编码中的IDR图片)并且可独立再现的一条或更多条编码视频数据和编码音频数据。例如，当通过具有15帧的固定长度的GOP对30帧每秒的视频数据编码时，每个片段可以是对应于4个GOP的2秒的编码视频和音频数据或者可以是对应于20个GOP的10秒的编码视频和音频数据。

此外，在每个文件中布置顺序相同的片段具有相同的再现范围(从内容的头部起的时间位置的范围)。例如，片段“A2”、片段“B2”和片段“C2”的再现范围是相同的，并且当每个片段是2秒的编码数据时，片段“A2”、片段“B2”和片段“C2”的再现范围是内容的2至4秒。

当配置有多个片段的文件A至文件C被生成时，内容服务器1610存储文件A至文件C。此外，如图49中所示，内容服务器1610将配置不同文件的片段依次传送到内容再现装置1620，并且内容再现装置1620对接收到的片段执行流式传输再现。

这里，根据本实施例的内容服务器1610将包括每条编码数据的比特率信息和访问信息的播放列表文件(以下称为“媒体呈现描述(MPD)”)传送到内容再现装置1620，并且内容再现装置1620基于MPD选择多个比特率中的任何比特率，并且请求内容服务器1610传送与所选择的比特率对应的片段。

图48仅图示了内容服务器1610，但是本公开不限于该示例。

图50是图示MPD的具体示例的说明图。如图50中所示，MPD包括具有不同比特率(带宽)的多条编码数据的访问信息。例如，图50中所示的MPD指示存在256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps的编码数据、1.536Mbps的编码数据和2.048Mbps的编码数据，并且包括与每条编码数据相关的访问信息。内容再现装置1620可以基于MPD动态地改变经历流式传输再现的编码数据的比特率。

此外，图48图示了作为内容再现装置1620的示例的移动终端，但是内容再现装置1620不限于该示例。例如，内容再现装置1620可以是诸如个人计算机(PC)、家庭视频处理装置(DVD录像机、视频卡带录像机(VCR))、个人数字助理(PDA)、家用游戏机或家用电器的信息处理装置。此外，内容再现装置1620可以是诸如移动电话、个人手持电话系统(PHS)、便携式音乐播放器、便携式视频处理装置或便携式游戏机的信息处理装置。

<内容服务器1610的配置>

上文参照图48至50描述了内容再现系统的概述。接下来，将参照图51描述内容服务器1610的配置。

图51是图示内容服务器1610的配置的功能框图。如图51中所示，内容服务器1610包括文件生成部1631、存储部1632和通信部1633。

文件生成部1631包括对内容数据编码的编码器1641，并且针对同一内容和MPD生成具有不同比特率的多条编码数据。例如，在生成256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps的编码数据、1.536Mbps的编码数据和2.048Mbps的编码数据时，文件生成部1631生成图50中所示的MPD。

存储部1632存储由文件生成部1631生成的MPD和具有不同比特率的多条编码数据。存储部1632可以是诸如非易失性存储器、磁盘、光盘或磁光(MO)盘的存储介质。非易失性存储器的示例包括电可擦除可编程只读存储器(EEPROM)和可擦除可编程ROM(EPROM)。作为磁盘，存在硬盘、盘型磁盘等。此外，作为光盘，存在致密盘(CD)(可记录数字多用途盘(DVD-R)、Blu-ray Disc(BD)(注册商标))等。

通信部1633是与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620通信。更详细地，通信部1633具有根据HTTP与内容再现装置1620通信的作为HTTP服务器的功能。例如，通信部1633向内容再现装置1620传送MPD，从存储部1632提取根据HTTP从内容再现装置1620基于MPD请求的编码数据，并且将编码数据作为HTTP响应传送到内容再现装置1620。

<内容再现装置1620的配置>

上文描述了根据本实施例的内容服务器1610的配置。接下来，将参照图52描述内容再现装置1620的配置。

图52是内容再现装置1620的配置的功能框图。如图52中所示，内容再现装置1620包括通信部1651、存储部1652、再现部1653、选择部1654和当前位置获取部1656。

通信部1651是与内容服务器1610的接口，请求内容服务器1610传送数据，并且从内容服务器1610获取数据。更详细地，通信部1651具有根据HTTP与内容再现装置1620通信的作为HTTP客户端的功能。例如，通信部1651可以使用HTTP漫游从内容服务器1610有选择地获取编码数据的MPD和片段。

存储部1652存储与内容再现相关的各种类型的信息。例如，依次缓冲通信部1651从内容服务器1610获取的片段。在存储部1652中缓冲的编码数据的片段以先入先出(FIFO)方式被依次提供给再现部1653。

此外，存储部1652基于指令通过通信部1651将参数添加到URL以将参数添加到在MPD中描述并且从内容服务器1611请求的内容的URL(下文将描述)，并且存储用于访问URL的定义。

再现部1653依次再现从存储部1652提供的片段。具体地，再现部1653执行片段解码、DA转换、渲染等。

选择部1654依次从同一内容中的MPD中包括的比特率中选择要获取的编码数据的片段对应的比特率。例如，如图49中所示，当选择部1654根据网络1612的频带频率依次选择片段“A1”、“B2”和“A3”时，通信部1651从内容服务器1610依次获取片段“A1”、“B2”和“A3”。

当前位置获取部1656可以配置有获取内容再现装置1620的当前位置，例如获取全球定位系统(GPS)接收器等的当前位置的模块。此外，当前位置获取部1656可以使用无线网络获取内容再现装置1620的当前位置。

<内容服务器1611>

图53是用于描述内容服务器1611的示例性配置的示图。如图53中所示，内容服务器1611包括存储部1671和通信部1672。

存储部1671存储MPD的URL信息。MPD的URL信息根据从请求内容再现的内容再现装置1620接收到的请求被从内容服务器1611传送到内容再现装置1620。此外，当MPD的URL信息被提供给内容再现装置1620时，存储部1671存储当内容再现装置1620将参数添加到MPD中描述的URL时使用的定义信息。

通信部1672是与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620通信。换言之，通信部1672从请求内容再现的内容再现装置1620接收用于请求MPD的URL信息的请求，并且将MPD的URL信息传送到内容再现装置1620。从通信部1672传送的MPD的URL包括通过内容再现装置1620被添加参数的信息。

可以基于内容服务器1611和内容再现装置1620共享的定义信息通过内容再现装置1620对要添加到MPD的URL的参数执行各种设定。例如，诸如内容再现装置1620的当前位置、使用内容再现装置1620的用户的用户ID、内容再现装置1620的存储器大小和内容再现装置1620的存储容量的信息可以通过内容再现装置1620被添加到MPD的URL。

在具有以上配置的内容再现系统中，由于应用了上文参照图1至33描述的本技术，因此可以获得与上文参照图1至33描述的有利益处相似的有利益处。

换言之，内容服务器1610的编码器1641具有根据以上实施例的图像编码装置100(图18)的功能。此外，内容再现装置1620的再现部1653具有根据以上实施例的图像解码装置200(图26)的功能。因此，可以在图像编码和解码的情况下抑制工作负荷的增加。

此外，在内容再现系统中，由于传送和接收根据本技术编码的数据，因此可以抑制编码效率的降低。

<10.WiFi标准的无线通信系统的应用示例>

<无线通信装置的基本操作示例>

将描述可应用本技术的无线通信系统中的无线通信装置的基本操作示例。

首先，传送和接收无线分组直至建立点对点(P2P)连接，并且操作具体应用。

随后，在通过第二层建立连接之前，传送和接收无线分组直至要使用的具体应用被指定，随后建立P2P连接，并且操作具体应用。随后，在通过第二层建立连接之后，传送和接收用于激活具体应用的无线分组。

<当具体应用的操作开始时的通信示例>

图54和55是图示作为传送和接收无线分组直至建立P2P连接并且操作具体应用的示例的用作无线通信的基础的装置的示例性通信处理的序列图。具体地，图示了在Wi-Fi联盟标准化的Wi-Fi Direct标准(还被称为“Wi-Fi P2P”)下建立连接的示例性直接连接建立处理。

这里，在Wi-Fi Direct中，多个无线通信装置检测到存在另一方的无线通信装置(装置发现和服务发现)。此外，当执行连接装置选择时，通过Wi-Fi保护设置(WPS)在所选择的装置之间执行装置认证，并且随后建立直接连接。在Wi-Fi Direct中，多个无线通信装置决定成为主装置(群组所有者)还是从装置(客户端)，并且形成通信群组。

然而，在该示例性通信处理中，未图示一些分组的传送和接收。例如，在首次连接时，如上文所述不需要使用WPS的分组交换，并且在认证请求/响应等的交换中还需要分组交换。然而，在图54和55中，未示出这样的分组交换，并且仅示出了第二连接和后面的连接。

此外，在图54和55中，图示了第一无线通信装置1701和第二无线通信装置1702之间的示例性通信处理，但是上文描述的内容可以相似地应用于其他无线通信装置之间的通信处理。

首先，在第一无线通信装置1701和第二无线通信装置1702之间执行装置发现(1711)。例如，第一无线通信装置1701传送探测请求(响应请求信号)，并且从第二无线通信装置1702接收到对探测请求的探测响应(响应信号)。因而，第一无线通信装置1701和第二无线通信装置1702可以发现另一方的存在。此外，通过装置发现，可以获取另一方的装置名称或类型(TV、PC、智能电话等)。

随后，在第一无线通信装置1701和第二无线通信装置1702之间执行服务发现(1712)。例如，第一无线通信装置1701传送询问通过装置发现而发现的第二无线通信装置1702支持的服务的服务发现询问。随后，第一无线通信装置1701可以通过从第二无线通信装置1702接收服务发现响应来获取第二无线通信装置1702支持的服务。换言之，通过服务发现，可以获取例如另一方能够执行的服务。例如，另一方能够执行的服务是服务或协议(数字生活网络联盟(DLNA)、数字媒体渲染器(DMR)等)。

随后，用户执行选择连接伙伴的操作(连接伙伴选择操作)(1713)。连接伙伴选择操作可以仅在第一无线通信装置1701和第二无线通信装置1702中的一个中执行。例如，连接伙伴选择画面显示在第一无线通信装置1701的显示部上，并且根据用户操作在连接伙伴选择画面上选择第二无线通信装置1702作为连接伙伴。

当用户执行了连接伙伴选择操作时(1713)，在第一无线通信装置1701和第二无线通信装置1702之间执行群组所有者协商(1714)。在图54和55中所示的示例中，作为群组所有者协商的结果，第一无线通信装置1701变为群组所有者1715，而第二无线通信装置1702变为客户端1716。

随后，在第一无线通信装置1701和第二无线通信装置1702之间执行处理(1717至1720)，并且因此建立直接连接。换言之，依次执行关联(L2(第二层)链路建立)(1717)和安全链路建立(1718)。此外，通过简单服务发现协议(SSDP)在L3上依次执行IP地址分配(1719)和L4设置(1720)。此外，L2(层2)指示第二层(数据链路层)，L3(层3)指示第三层(网络层)，而L4(层4)指示第四层(输送层)。

随后，用户执行具体应用指定操作或激活操作(应用指定/激活操作)(1721)。应用指定/激活操作可以仅在第一无线通信装置1701和第二无线通信装置1702中的一个中执行。例如，应用指定/激活操作画面显示在第一无线通信装置1701的显示部上，并且根据用户操作在应用指定/激活操作画面上选择具体应用。

当用户执行了应用指定/激活操作时(1721)，在第一无线通信装置1701和第二无线通信装置1702之间执行与应用指定/激活操作对应的具体应用(1722)。

这里，连接被视为在比Wi-Fi Direct标准旧的规范(在IEEE 802.11中标准化的规划)的范围内在接入点站(AP-STA)之间执行。在该情况下，难于在通过第二层建立连接之前(在IEEE 802.11的术语中，在执行“关联”之前)预先检测要连接的装置。

另一方面，如图54和55中所示，在Wi-Fi Direct中，当通过装置发现或服务发现(可选)搜索连接伙伴候选时，可以获取连接伙伴的信息。连接伙伴的信息的示例包括基本装置的类型和所支持的具体应用。此外，可以允许用户基于所获取的连接伙伴的信息选择连接伙伴。

通过扩展该规范，还可以实现如下无线通信系统：其中在通过第二层建立连接之前指定具体应用，选择连接伙伴，并且在选择之后自动地激活具体应用。在图57中图示了在该情况下建立连接的序列的示例。此外，在图56中图示了在通信处理中传送和接收的帧格式的示例性配置。

<帧格式的示例性配置>

图56是示意性图示用作本技术的基础的在由装置执行的通信处理中传送和接收的帧格式的示例性配置的示图。换言之，图56图示了用于通过第二层建立连接的MAC帧的示例性配置。具体地，图示了用于实现图57中所示的序列的关联请求/响应(1787)的帧格式的示例。

从帧控制(1751)至序列控制(1756)的部分用作MAC报头。此外，当传送关联请求时，在帧控制(1751)中设定B3B2＝“0b00”和B7B6B5B4＝“0b0000”。此外，当封装关联响应时，在帧控制(1751)中设定B3B2＝“0b00”和B7B6B5B4＝“0b0001”。此外，“0b00”是二进制符号的“00”，“0b0000”是二进制符号的“0000”，而“0b0001”是二进制符号的“0001”。

这里，图56中所示的MAC帧基本上是IEEE 802.11-2007规范的章节7.2.3.4和7.2.3.5中描述的关联请求/响应格式。然而，不同在于，除了IEEE 802.11规范中定义的信息元素(以下简称为“IE”)之外，还包括独立扩展的IE。

此外，为了指示销售商特定IE(1760)，十进制数127被设定为IE类型(信息元素ID(1761))。在该情况下，通过IEEE 802.11-2007规范的章节7.3.2.26，随后是长度字段(1762)和OUI字段(1763)，并且随后布置销售商特定内容(1764)。

作为销售商特定内容(1764)，首先设定指示销售商特定IE的类型的字段(IE类型(1765))。随后，可以考虑能够存储多个子元素(1766)的配置。

作为子元素(1766)的内容，可以包括要使用的具体应用的名称(1767)和装置任务(1768)。此外，可以包括具体应用、用于其控制的端口编号等的信息(L4设置信息)(1769)以及与具体应用中的能力相关的信息(能力信息)。这里，例如，当指定的具体应用是DLNA时，能力信息是用于指定知否支持音频传送/接收、是否支持视频传送/接收等的信息。

在具有以上配置的无线通信系统中，由于应用了上文参照图1至33描述的本技术，因此可以获得与上文参照图1至33描述的有利益处相似的有利益处。换言之，可以在图像编码和解码的情况下抑制工作负荷的增加。此外，在无线通信系统中，由于执行根据本技术编码的数据的传送和接收，因此可以抑制编码效率的降低。

此外，在本说明书中，描述了其中将各种信息复用为编码流并且从编码侧传送到解码侧的示例。然而，传送信息的技术不限于该示例。例如，信息可以被传送或记录为与编码位流相关联的单独数据，而不在编码流中复用。这里，术语“关联”指的是位流中包括的图像(可以是诸如切片或块的图像的一部分)和与该图像对应的信息被配置成在解码时链接。就是说，信息可以在分立于图像(或位流)的传送路径上传送。此外，信息可以被记录在分立于图像(或位流)的记录介质(或者同一记录介质的分立的记录区域)上。此外，例如，信息和图像(或位流)可以按任意单位彼此关联，诸如多个帧、一个帧或者帧内的一部分。

上文已参照附图详细描述了本公开的优选实施例，但是本发明显然不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种修改或变更，并且应理解，它们在本质上也落在本公开的技术范围内。

此外，本技术还可以如下配置。

(1)一种图像编码装置，包括：

生成部，其被配置成针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；

编码部，其被配置成根据所述生成部生成的所述控制信息的控制，参照所述其他层的一些区域的编码相关信息对所述图像数据的当前层进行编码；以及

传送部，其被配置成传送所述编码部生成的所述图像数据的编码数据以及所述生成部生成的所述控制信息。

(2)根据(1)、(3)至(9)中任一项所述的图像编码装置，

其中所述控制信息是通过指定其中许可对所述其他层的所述编码相关信息的参照的区域、指定其中禁止对所述编码相关信息的参照的区域、或者指定其中参照所述编码相关信息的区域来限制其中参照所述编码相关信息的区域的信息。

(3)根据(1)、(2)、(4)至(9)中任一项所述的图像编码装置，

其中所述控制信息使用按照光栅扫描顺序分配的识别编号、指示所述区域在图片中的竖直方向和水平方向上的位置的信息、或者指示所述区域在所述编码数据中的数据位置的信息来指定所述区域。

(4)根据(1)至(3)和(5)至(9)中任一项所述的图像编码装置，

其中所述传送部进一步传送指示是否控制其中参照所述编码相关信息的区域的信息。

(5)根据(1)至(4)和(6)至(9)中任一项所述的图像编码装置，

其中所述编码相关信息是用于生成所述图像数据的编码中使用的预测图像的信息。

(6)根据(1)至(5)和(7)至(9)中任一项所述的图像编码装置，

其中用于生成所述预测图像的信息包括用于所述图像数据的纹理预测的信息和用于所述图像数据的语法预测的信息，以及

所述控制信息是用于独立地控制其中参照用于所述纹理预测的信息的区域以及其中参照用于所述语法预测的信息的区域的信息。

(7)根据(1)至(6)、(8)和(9)中任一项所述的图像编码装置，

其中所述生成部生成关于通过划分所述图像数据的当前层的图片而获得的多个特定区域中的每个特定区域的控制信息，以及

所述编码部根据所述生成部生成的每个区域的所述控制信息的控制，参照关于每个区域的所述其他层的一些区域的所述编码相关信息来对所述图像数据的当前层进行编码。

(8)根据(1)至(7)和(9)中任一项所述的图像编码装置，

其中所述传送部进一步传送指示所述当前层的区域划分是否与所述其他层的区域划分相似的信息。

(9)根据(1)至(8)中任一项所述的图像编码装置，

其中所述区域是所述图像数据的切片或码片。

(10)一种图像编码方法，包括：

针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；

根据所生成的控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述图像数据的当前层进行编码；以及

传送通过对所述图像数据进行编码而生成的编码数据以及所生成的控制信息。

(11)一种图像解码装置，包括：

接收部，其被配置成接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分所述图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及

解码部，其被配置成根据所述接收部接收到的所述控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述编码数据进行解码。

(12)根据(11)、(13)至(19)中任一项所述的图像解码装置，

其中所述控制信息是通过指定其中许可对所述其他层的所述编码相关信息的参照的区域、指定其中禁止对所述编码相关信息的参照的区域、或者指定其中参照所述编码相关信息的区域来限制其中参照所述编码相关信息的区域的信息。

(13)根据(11)、(12)和(14)至(19)中任一项所述的图像解码装置，

其中所述控制信息使用按照光栅扫描顺序分配的识别编号、指示所述区域在图片中的竖直方向和水平方向上的位置的信息、或者指示所述区域在所述编码数据中的数据位置的信息来指定所述区域。

(14)根据(11)至(13)和(15)至(19)中任一项所述的图像解码装置，

其中所述接收部进一步接收指示是否控制其中参照所述编码相关信息的区域的信息。

(15)根据(11)至(14)和(16)至(19)中任一项所述的图像解码装置，

其中所述编码相关信息是用于生成所述图像数据的解码中使用的预测图像的信息。

(16)根据(11)至(15)和(17)至(19)中任一项所述的图像解码装置，

其中用于生成所述预测图像的信息包括用于所述图像数据的纹理预测的信息和用于所述图像数据的语法预测的信息，以及

所述控制信息是用于独立地控制其中参照用于所述纹理预测的信息的区域以及其中参照用于所述语法预测的信息的区域的信息。

(17)根据(11)至(16)、(18)和(19)中任一项所述的图像解码装置，

其中所述接收部接收针对通过划分所述图像数据的当前层的图片而获得的多个特定区域中的每个特定区域进行编码的编码数据以及每个区域的所述控制信息，以及

所述解码部根据每个区域的所述控制信息的控制，参照关于每个区域的所述其他层的一些区域的所述编码相关信息来对所述接收部接收到的编码数据进行解码。

(18)根据(11)至(17)和(19)中任一项所述的图像解码装置，

其中所述接收部进一步接收指示所述当前层的区域划分是否与所述其他层的区域划分相似的信息。

(19)根据(11)至(18)中任一项所述的图像解码装置，

其中所述区域是所述图像数据的切片或码片。

(20)一种图像解码方法，包括：

接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分所述图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及

根据接收到的控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述编码数据进行解码。

此外，本技术还可以如下配置。

(1)一种图像编码装置，包括：

生成部，其被配置成针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；

编码部，其被配置成根据所述生成部生成的所述控制信息的控制，参照所述其他层的一些区域的编码相关信息对所述图像数据的当前层进行编码；以及

传送部，其被配置成传送所述编码部生成的所述图像数据的编码数据以及所述生成部生成的所述控制信息。

(2)根据(1)所述的图像编码装置，

其中所述控制信息指定其中许可对所述其他层的所述编码相关信息的参照的区域。

(3)根据(1)所述的图像编码装置，

其中所述控制信息指定其中禁止对所述其他层的所述编码相关信息的参照的区域。

(4)根据(1)所述的图像编码装置，

其中所述控制信息指定其中参照所述其他层的所述编码相关信息的区域。

(5)根据(2)至(4)中任一项所述的图像编码装置，

其中所述控制信息使用按照光栅扫描顺序分配的识别编号来指定所述区域。

(6)根据(2)至(4)中任一项所述的图像编码装置，

其中所述控制信息使用指示所述区域在图片中的位置的信息来指定所述区域。

(7)根据(1)所述的图像编码装置，

其中所述生成部进一步生成指示所述当前层的区域划分是否与所述其他层的区域划分相似的信息。

(8)根据(1)所述的图像编码装置，

其中所述生成部生成用作用于控制是否传送控制信息的控制信息确定信息，并且基于所述控制信息确定信息生成所述控制信息。

(9)根据(1)所述的图像编码装置，

其中所述传送部进一步传送指示是否控制其中参照所述编码相关信息的区域的信息。

(10)根据(1)所述的图像编码装置，

其中所述编码相关信息是用于生成所述图像数据的编码中使用的预测图像的信息。

(11)根据(10)所述的图像编码装置，

其中用于生成所述预测图像的信息包括用于所述图像数据的纹理预测的信息和用于所述图像数据的语法预测的信息，以及

所述控制信息是用于独立地控制其中参照用于所述纹理预测的信息的区域以及其中参照用于所述语法预测的信息的区域的信息。

(12)根据(1)所述的图像编码装置，

其中所述生成部生成关于通过划分所述图像数据的当前层的图片而获得的多个特定区域中的每个特定区域的控制信息，以及

所述编码部根据所述生成部生成的每个区域的所述控制信息的控制，参照关于每个区域的所述其他层的一些区域的所述编码相关信息来对所述图像数据的当前层进行编码。

(13)根据(1)所述的图像编码装置，

其中所述区域是所述图像数据的切片或码片。

(14)一种图像编码方法，包括：

针对包括多个层的图像数据的当前层生成用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；

根据所生成的控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述图像数据的当前层进行编码；以及

传送通过对所述图像数据进行编码而生成的编码数据以及所生成的控制信息。

(15)一种图像解码装置，包括：

接收部，其被配置成接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分所述图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及

解码部，其被配置成根据所述接收部接收到的所述控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述编码数据进行解码。

(16)根据(15)所述的图像解码装置，

其中所述控制信息指定其中许可对所述其他层的所述编码相关信息的参照的区域。

(17)根据(15)所述的图像解码装置，

其中所述控制信息指定其中禁止对所述其他层的所述编码相关信息的参照的区域。

(18)根据(15)所述的图像解码装置，

其中所述控制信息指定其中参照所述其他层的所述编码相关信息的区域。

(19)根据(16)至(18)中任一项所述的图像解码装置，

其中所述控制信息使用按照光栅扫描顺序分配的识别编号来指定所述区域。

(20)根据(16)至(18)中任一项所述的图像解码装置，

其中所述控制信息使用指示所述区域在图片中的位置的信息来指定所述区域。

(21)根据(15)所述的图像解码装置，

其中所述接收部进一步接收指示所述当前层的区域划分是否与所述其他层的区域划分相似的信息。

(22)根据(15)所述的图像解码装置，

其中所述接收部接收用作用于控制是否传送控制信息的控制信息确定信息，并且接收基于所述控制信息确定信息的所述控制信息。

(23)根据(15)所述的图像解码装置，

其中所述接收部进一步接收指示是否控制其中参照所述编码相关信息的区域的信息。

(24)根据(15)所述的图像解码装置，

其中所述编码相关信息是用于生成所述图像数据的解码中使用的预测图像的信息。

(25)根据(24)所述的图像解码装置，

其中用于生成所述预测图像的信息包括用于所述图像数据的纹理预测的信息和用于所述图像数据的语法预测的信息，以及

所述控制信息是用于独立地控制其中参照用于所述纹理预测的信息的区域以及其中参照用于所述语法预测的信息的区域的信息。

(26)根据(15)所述的图像解码装置，

其中所述接收部接收针对通过划分所述图像数据的当前层的图片而获得的多个特定区域中的每个特定区域进行编码的编码数据以及每个区域的所述控制信息，以及

所述解码部根据每个区域的所述控制信息的控制，参照关于每个区域的所述其他层的一些区域的所述编码相关信息来对所述接收部接收到的编码数据进行解码。

(27)根据(15)所述的图像解码装置，

其中所述区域是所述图像数据的切片或码片。

(28)一种图像解码方法，包括：

接收包括多个层的图像数据的当前层的编码数据以及用于控制特定区域的控制信息，在所述特定区域中参照针对通过划分所述图像数据的图片获得的多个特定区域中的每个特定区域进行编码的其他层的编码相关信息；以及

根据接收到的控制信息的控制，参照所述其他层的一些区域的所述编码相关信息对所述编码数据进行解码。

附图标记列表

100 图像编码装置

101 基层图像编码部

102 增强层图像编码部

103 复用单元

116 无损编码部

117 积累缓冲器

122 帧存储器

124 帧内预测部

125 帧间预测部

136 无损编码部

137 积累缓冲器

142 帧存储器

144 帧内预测部

145 帧间预测部

148 区域同步部

149 上采样部

171 基层区域划分信息缓冲器

172 增强层区域划分信息缓冲器

173 区域同步设定部

200 图像解码装置

201 解复用单元

202 基层图像解码部

203 增强层图像解码部

211 积累缓冲器

212 无损解码部

219 帧存储器

221 帧内预测部

222 帧间预测部

231 积累缓冲器

232 无损解码部

239 帧存储器

241 帧内预测部

242 帧间预测部

244 区域同步部

245 上采样部

271 基层区域划分信息缓冲器

272 增强层区域划分信息缓冲器

273 同步区域信息解码部

Claims (9)

1.一种图像编码装置，包括：

生成部，其被配置成生成控制信息，所述控制信息针对增强层的码块指定基层中的许可参考区域，其中所述基层、至少一个增强层以及所述许可参考区域中的每个包括一个或更多个码块，其中对于所述基层和所述至少一个增强层中的每个，图像数据的图片被划分成能够被独立解码的码块；

编码部，其被配置成根据所述生成部生成的所述控制信息，参照所述基层的所述许可参考区域的编码相关信息，对包括所述基层和所述至少一个增强层的所述图像数据的增强层的码块进行编码；以及

传送部，其被配置成传送所述编码部生成的所述图像数据的编码数据以及所述生成部生成的所述控制信息。

2.根据权利要求1所述的图像编码装置，

其中所述控制信息使用按照光栅扫描顺序分配的识别编号来指定所述许可参考区域的所述码块。

3.根据前述权利要求中任一项所述的图像编码装置，

其中所述控制信息使用指示所述码块在图片中的位置的信息来指定所述许可参考区域的所述码块。

4.根据权利要求1所述的图像编码装置，

其中所述生成部还生成指示当前层的码块划分是否与其他层的码块划分相似的信息。

5.根据权利要求1所述的图像编码装置，

其中所述生成部生成用作用于控制是否传送控制信息的信息的控制信息确定信息，并且基于所述控制信息确定信息生成所述控制信息。

6.根据权利要求1所述的图像编码装置，

其中所述传送部还传送指示是否控制其中参照所述编码相关信息的码块的信息。

7.根据权利要求1所述的图像编码装置，

其中所述编码相关信息是用于生成所述图像数据的编码中使用的预测图像的信息。

8.根据权利要求7所述的图像编码装置，

其中用于生成所述预测图像的信息包括用于所述图像数据的纹理预测的信息和用于所述图像数据的语法预测的信息，以及

所述控制信息是用于独立地控制其中参照用于所述纹理预测的信息的码块以及其中参照用于所述语法预测的信息的码块的信息。

9.一种图像编码方法，包括：

生成控制信息，所述控制信息针对增强层的码块指定基层中的许可参考区域，其中所述基层、至少一个增强层以及所述许可参考区域中的每个包括一个或更多个码块，其中对于所述基层和所述至少一个增强层中的每个，图像数据的图片被划分成能够被独立解码的码块；

根据生成部生成的所述控制信息，参照所述基层的所述许可参考区域的编码相关信息，对包括所述基层和所述至少一个增强层的所述图像数据的增强层的码块进行编码；以及

传送编码部生成的所述图像数据的编码数据以及生成部生成的所述控制信息。

Images