CN106105226B - 图像编码装置及方法 - Google Patents

Abstract

提供了一种图像编码装置，包括：电路，该电路被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

Description

图像编码装置及方法

技术领域

本公开内容涉及图像编码装置及方法和图像解码装置及方法，更具体地，涉及用于改善增强层与分辨率信息之间的默认映射的图像编码装置及方法和图像解码装置及方法。

<相关申请的交叉引用>

本申请要求于2014年3月24日提交的日本优先专利申请JP 2014-060644的权益，其全部内容通过引用并入到本文中。

背景技术

近年来，将图像信息处理为数字信息的装置已经变得普遍，在这样的情况下，为了高效地传输和存储信息，通过使用特定于图像信息的冗余以及应用通过正交变换(例如离散余弦变换)和运动补偿来执行压缩的编码方案对图像进行压缩编码。作为编码方案，例如，存在运动图像专家组 (MPEG)或H.264、MPEG-4Part 10(高级视频编码，在下文中称为AVC)等。

因此，为了将编码效率提高至比H.264/AVC的编码效率高的目的，被称为高效视频编码(HEVC)的编码方案当前处于标准化的过程中，该标准化过程由视频编码联合协作团队(JCTVC)进行，JCTVC是与ITU-T 和ISO/IEC协作工作的标准化团体。

附带地，图像编码方案例如MPEG-2或AVC具有下述可伸缩性功能：图像被分层次地划分成多个层以及对多层图像进行编码。

在可伸缩扩展(SHVC)或与这样的HEVC关联的MV-HEVC中，因为可以仅在VPS中理解比特流的概要，则提供了在VPS_EXT中描述每个增强层的分辨率信息(rep_format)的结构。

例如，如下为将增强层和分辨率信息映射到彼此上的两种方法。也就是说，第一种是指定针对具有VPS_EXT的每一层的值的方法。第二种是用VPS_EXT指向增强层的SPS中的传输完成的rep_format信息，以及重写VPS信息的方法。NPL 1是本公开内容的相关技术。

引用列表

非专利文献

NPL 1：J.Chen、J.Boyce、Y.Ye、M.M.Hannuksela、G.J.Sullivan、 Y.-K.Wang(editors)，“High efficiency video coding(HEVC)scalable extension Draft 5”，JCTVC-P1008_v4，2014年1月。

发明内容

本发明技术问题

然而，针对上述关于增强层与分辨率信息之间的默认映射的信息，使用作为分辨率信息的条数与层的数量之间的关系的标记如 rep_format_idx_present_flag等，但是这些是不够的，因此存在改善的空间。

期望的是改善增强层与分辨率信息之间的默认映射。

问题的解决方案

根据本公开内容的一个实施方式，提供了一种图像编码装置，包括：电路，该电路被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

根据本公开内容的另一实施方式，提供了一种图像编码方法，包括：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

根据本公开内容的另一实施方式，提供了一种图像解码装置，包括：电路，该电路被配置成：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，对应信息在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下被设置；以及使用所提取的与分辨率信息和增强层之间的对应关系有关的信息来对比特流进行解码。

根据本公开内容的另一实施方式，提供了一种图像解码方法，包括：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置对应信息；以及使用所提取的与分辨率信息和增强层之间的对应关系有关的信息来对比特流进行解码。

根据本公开内容的另一实施方式，提供了一种具有程序的非暂态计算机可读介质，当所述程序由计算机执行时使计算机执行图像编码方法，该方法包括：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

根据本公开内容的另一实施方式，提供了一种其上嵌入有程序的非暂态计算机可读介质，当所述程序由计算机执行时使计算机执行图像解码方法，该方法包括：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置对应信息；以及使用所提取的与分辨率信息和增强层之间的对应关系有关的信息来对比特流进行解码。

根据本公开内容的另一实施方式，提供了一种图像编码装置，包括：设置单元，该设置单元被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；以及编码单元，该编码单元被配置成：对图像进行编码和生成包括与由设置单元设置的对应关系有关的信息的比特流。

根据本公开内容的另一实施方式，提供了一种图像编码装置，包括：电路，该电路被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系；自动地将所述层和所述多个候选映射到彼此上；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

根据本公开内容的另一实施方式，提供了一种图像编码装置，包括：电路，该电路被配置成：在关于图像的层上的Rep_formats的数量比层的数量少的情况下，设置Rep_formats与增强层之间的对应关系；以及对图像进行编码和生成包括与所设置的对应关系有关的信息的比特流，其中，在Rep_formats的数量比层的数量少的情况下，以在先候选开始设置 Rep_formats与增强层之间的对应关系，以及在Rep_formats与层之间执行自动映射。

根据本公开内容的另一实施方式，提供了一种图像编码装置，包括：设置单元，该设置单元在存在针对关于图像的层的分辨率信息的多个候选，并且层的数量比候选的数量多的情况下，设置分辨率信息与增强层之间的关系；编码单元，该编码单元对图像信息进行编码和生成比特流；以及传输单元，该传输单元对与由设置单元设置的对应关系有关的信息和由编码单元生成的比特流进行传输。

在候选的数量比层的数量多的情况下，设置单元可以以在先候选开始设置分辨率信息与增强层之间的对应关系。

在存在多个候选的情况下，设置单元可以将所述信息设置为指示分辨率信息与增强层之间是否存在对应关系的信息。

在候选的数量是1的情况下，设置单元可以禁止序列参数集中分辨率信息与增强层之间的对应关系的更新。

根据本公开内容的另一实施方式，提供了一种图像编码方法，该图像编码方法使图像编码装置执行：在存在针对关于图像的层的分辨率信息的多个候选，并且层的数量比候选的数量多的情况下，设置分辨率信息与增强层之间的关系；对图像进行编码和生成比特流；以及对与设置的对应关系有关的信息和所生成的比特流进行传输。

根据本公开内容的又一实施方式，提供了一种图像解码装置，包括：接收单元，该接收单元接收由对图像进行编码生成的比特流；提取单元，该提取单元从由接收单元接收的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，所述信息在存在针对关于图像的层的分辨率信息的多个候选并且层的数量比候选的数量多的情况下被设置；以及解码单元，该解码单元使用与由提取单元提取的分辨率信息和增强层之间的对应关系有关的信息来对由接收单元接收的比特流进行解码，以及生成图像。

在候选的数量比层的数量多的情况下，可以以在先候选开始设置分辨率信息与增强层之间的对应关系。

在存在多个候选的情况下，可以对指示分辨率信息与增强层之间是否存在对应关系的信息进行设置。

在候选的数量是1的情况下，可以禁止序列参数集中分辨率信息与增强层之间的对应关系的更新。

根据本公开内容的再一实施方式，提供了一种图像解码方法，该图像解码方法使图像解码装置执行：接收由对图像进行编码生成的比特流；从由接收单元接收的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，所述信息在存在针对关于图像的层的分辨率信息的多个候选并且层的数量比候选的数量多的情况下被设置；使用所提取的与分辨率信息和增强层之间的对应关系有关的信息来对比特流进行解码，以及生成图像。

根据本公开内容的一个实施方式，在存在针对关于图像的层的分辨率信息的多个候选，并且层的数量比候选的数量多的情况下，设置分辨率信息与增强层之间的对应关系。然后，对图像进行编码，生成比特流，设置与对应关系有关的信息，以及传输所生成的比特流。

根据本公开内容的又一实施方式，对图像进行编码，接收所生成的比特流，从所接收的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，所述信息在针对关于图像的层的分辨率信息存在多个候选并且层的数量比候选的数量多的情况下被设置。然后，使用所提取的与分辨率信息和增强层之间的对应关系有关的信息对比特流进行解码，生成图像。

此外，上述图像编码装置和图像解码装置可以是独立的图像处理装置，以及也可以是组成一个图像编码装置或图像解码装置的内部块。

发明的有益效果

根据本公开内容的又一实施方式，可以对图像进行编码。特别地，可以改善增强层与分辨率信息之间的默认映射。

根据本公开内容的一个实施方式，可以对图像进行解码。特别地，可以改善增强层与分辨率信息之间的默认映射。

此外，这些效果不一定是限制性的，本公开内容中描述的任何效果都是可以的。

附图说明

[图1]图1是用于描述编码单元的配置示例的图；

[图2]图2是示出了VPS_EXT的语法的示例的图；

[图3]图3是示出了与RBSP关联的SPS的语法的示例的图；

[图4]图4是示出了语义的示例的图；

[图5]图5是用于描述在图2的语法的情况下指示的图；

[图6]图6是用于描述在图2的语法的情况下指示的图；

[图7]图7是用于描述在图2的语法的情况下指示的图；

[图8]图8是用于描述在根据本技术的语法的情况下指示的图；

[图9]图9是用于描述在根据本技术的语法的情况下指示的图；

[图10]图10是用于描述在根据本技术的语法的情况下指示的图；

[图11]图11是用于描述在根据本技术的语法的情况下指示的图；

[图12]图12是示出了根据本技术的语法的示例的图；

[图13]图13是示出了根据本技术的语法的示例的图；

[图14]图14是示出了根据本技术的语义的示例的图；

[图15]图15是示出了特定示例的图；

[图16]图16是示出了特定示例的图；

[图17]图17是示出了特定示例的图；

[图18]图18是示出了根据应用本公开内容的第一实施方式的编码装置的配置示例的框图；

[图19]图19是示出了图18中的编码单元的配置示例的框图；

[图20]图20是用于描述流生成处理的流程图；

[图21]图21是用于描述参数集设置处理的流程图；

[图22]图22是用于详细地描述图20中的编码处理的流程图；

[图23]图23是用于详细地描述图20中的编码处理的流程图；

[图24]图24是示出了根据应用本公开内容的第一实施方式的解码装置的配置示例的框图；

[图25]图25是示出了图24中的解码单元的配置示例的框图；

[图26]图26是用于描述通过图24中的解码装置进行的图像生成处理的流程图；

[图27]图27是用于描述通过图26中的解码装置进行的参数集提取处理的流程图；

[图28]图28是用于详细地描述图26中的解码处理的流程图；

[图29]图29是示出了计算机的硬件配置的示例的框图；

[图30]图30是示出了多视图图像编码方案的示例的图；

[图31]图31是示出了应用本公开内容的多视图图像编码装置的配置示例的图；

[图32]图32是示出了应用本公开内容的多视图图像解码装置的配置示例的图；

[图33]图33是示出了分层图像编码方案的示例的图；

[图34]图34是用于描述特定可伸缩编码的示例的图；

[图35]图35是用于描述时间可伸缩编码的示例的图；

[图36]图36是用于描述具有信噪比的可伸缩编码的示例的图；

[图37]图37是示出了应用本公开内容的分层图像编码装置的配置示例的图；

[图38]图38是示出了应用本公开内容的分层图像解码装置的配置示例的图；

[图39]图39是示出了应用本公开内容的电视装置的示意性配置示例的图；

[图40]图40是示出了应用本公开内容的便携式电话的示意性配置示例的图；

[图41]图41是示出了应用本公开内容的记录与再现装置的示意性配置示例的图；

[图42]图42是示出了应用本公开内容的成像装置的示意性配置示例的图；

[图43]图43是示出了可伸缩编码的应用的一个示例的框图；

[图44]图44是示出了可伸缩编码的应用的另一示例的框图；

[图45]图45是示出了可伸缩编码的应用的又一示例的框图；

[图46]图46是示出了应用本公开内容的视频设备的示意性配置的一个示例的图；

[图47]图47是示出了应用本公开内容的视频处理器的示意性配置的一个示例的图；

[图48]图48是示出了应用本公开内容的视频处理器的示意性配置的另一示例的图。

具体实施方式

以下描述了根据本公开内容的实施方式(在下文中称为实施方式)。如下地提供了描述的顺序。

0.概要

1.第一实施方式(编码装置或解码装置)

2.第二实施方式(计算机)

3.第三实施方式(多视图图像编码装置或多视图图像解码装置)

4.第四实施方式(分层图像编码装置或分层图像解码装置)

5.第五实施方式(电视装置)

6.第六实施方式(便携式电话)

7.第七实施方式(记录与再现装置)

8.第八实施方式(成像装置)

9.可伸缩编码的应用示例

10.其他示例

<0.概要>

(编码方案)

以下在将本技术应用到根据高效视频编码(HEVC)方案的图像编码 /解码的示例的情况下描述了本技术。

(编码单元的描述)

图1是用于描述HEVC方案中的编码单元(CU)的图。

因为HEVC方案还针对大尺寸图片帧的图像例如具有超高清(UHD) 4,000*2,000像素的图像，因此HEVC方案对于将编码单元的尺寸固定在 16*16像素不是最优的。因此，在HEVC方案中，CU被定义为编码单元。

CU与宏块在AVC方案中起相同的作用。特别地，CU被划分成PU' 或被划分成TU'。

然而，CU的尺寸是方形的，该方形由针对每个序列可变的像素的2 的幂的数量来表示。特别地，通过以作为最大尺寸CU的LCU不变得比作为最小尺寸CU的最小编码单元(SCU)小的方式，在水平方向和竖直方向上将作为最大尺寸CU的LCU划分成2的任意数量的倍数来设置 CU。也就是说，CU的尺寸是以较高层级的尺寸是较低层级的尺寸的1/4 的方式在执行分层直到LCU变成SCU为止时产生的任意层级处的尺寸。

例如，在图1中，LCU的尺寸是128，以及SCU的尺寸是8。因此， LCU的层级深度是0至4，以及层级深度的数量是5。也就是说，与CU 对应的划分次数是0至4。

此外，指定LCU的尺寸和SCU的尺寸的信息包括在SPS中。此外，由指示是否进一步在层级的每一层处执行划分的split_flag(划分标记) 来指定与CU对应的划分次数。在NPL1中详细地描述了CU。

在CU的情况下可以使用split_transmform_flag与split_flag一样来指定TU的尺寸。由SPC如max_transform_hierarchy_depth_inter和 max_transform_hierarchy_depth_intra相应地指定在帧间预测时TU的最大划分次数和在帧内预测时TU的最大划分次数。

此外，在本说明书中，编码树单元(CTU)被设置成包括LCU的编码树块和在LCU基部(层)执行处理时使用的参数。此外，构成CTU 的CU被设置成包括编码块(CB)和在CU基部(层)执行处理时使用的参数。

(模式的选择)

顺便说及地，在AVC编码方案和HEVC编码方案中适当的预测模式的选择对于实现较高的编码效率是重要的。

包含在参考软件(在公共域名 http://iphome.hhi.de/suehring/tml/index.htm处可得到)中的针对被称为联合模型(JM)的H.264/MPEC-4AVC的方法可以被称为这样的选择方法的示例。

在JM中，可以选择两种类型的模式确定方法，即以下要描述的高复杂度模式和低复杂度模式。两种类型中的任一种类型计算与每种类型的预测模式关联的代价函数值，以及选择其中使所计算的代价函数值最小化的预测模式作为针对块和宏块的最优模式。

由以下等式(1)表示高复杂度模式下的代价函数。

[数学式.1]

Cost(Mode∈Ω)＝D+λ*R …(1)

在此，欧米伽是用于对块和宏块进行编码的候选模式的全集，以及D 是在预测模式编码的情况下经解码的图像与输入图像之间的能量的差。拉姆达是以量化参数的函数给定的拉格朗日不定乘子。R是在该模式中执行编码的总量，R包括正交变换系数。

换言之，如果在高复杂度模式下执行编码，因为已经计算了参数D 和R，则在所有候选模式下需要执行一次暂时编码处理，从而需要更大的计算量。

由下面的等式(2)表示在低复杂度模式下的代价函数。

[数学式.2]

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit …(2)

在此，与在高复杂度模式下的情况不同，D是预测图像与输入图像之间的能量的差。QP2Quant(QP)是作为量化参数QP给出的函数，以及 HeaderBit是与属于头部的信息(例如运动矢量或模式)相关联的编码的总量。headerBit不包括正交变换系数。

也就是说，在低复杂度模式下，必须执行每个候选模式中的预测处理，但是因为不必执行对解码图像的预测处理，则也不必执行编码处理。因此，可以实现比高复杂度模式下的计算量少的计算量。

(rep_format的传输)

顺便说及地，图像编码方案例如MPEG-2或AVC具有下述可伸缩性功能：图像被分层地划分成多个层以及对多个经分层的图像进行编码。

也就是说，例如，可以向具有受限的处理性能的终端例如便携式电话传输图像传输仅基本层的图像压缩信息。可替选地，可以向具有较高处理性能的终端例如电视机或个人计算机传输除了基本层的图像压缩信息之外的增强层的图像压缩信息，电视机或个人计算机对具有较低空间分辨率和时间分辨率或具有较低质量的动态图像进行再现。可替选地，可以传输来自服务器的取决于终端或网络的性能的图像压缩信息，如在不执行转码处理的情况下对具有较高空间分辨率和时间分辨率或具有较高质量的动态图像进行再现的情况。

在可伸缩扩展(SHVC)或与这样的HEVC关联的MV-HEVC中，因为可以仅在VPS中理解比特流的概要，则提供了在VPS_EXT(视频_ 参数集扩展句法)中描述每个增强层的分辨率信息(rep_format)的结构。

例如，如下为将增强层和分辨率信息映射到彼此上的两种方法。也就是说，第一种是指定针对具有VPS_EXT的每一层的值的方法。第二种是用VPS_EXT指向具有增强层的序列参数集(SPS)的传输完成rep_format 信息，以及重写VPS信息的方法。以下描述了NPL 1情况下的示例。

(VPS_EXT的语法的示例)

图2是示出了VPS_EXT的语法的示例的图。在图2的示例中，如果在第一行中的rep_format_idx_present_flag的值是1，则接下来，待发送的rep_format的数量被设定为vps_num_rep_formats_minus1。也就是说， rep_format_idx_present_flag是指示分辨率信息与增强层之间是否存在对应关系的信息。

在第四行的循环中，设置了与由vps_num_rep_formats_minus1指示的数量一样多的rep_format，在接下来的第七行的循环中，设定了指示哪一层使用哪一rep_format的下标的vps_rep_format_idx[i]。

(SPS的语法的示例)

图3是示出了与RBSP关联的SPC的语法的示例的图。在图3的示例中，在所有增强层中，如果在第二行中的update_rep_format_flag是1，则该下标指示：通过第四行的sps_rep_format_idx在VPS中设置的下标可以改变。

(VPS和SPS中每个的语义)

图4是示出了图2中的VPS的语义和图3中SPS的语义的图。

总之，在针对上述语法和语义的规范中，如图5中所示，在 rep_format_idx_present_flag是0的情况下，Rep_format的数量必须与层的数量相同。此外，省略了针对每层的下标传输。也就是说，如果层的数量是3，则必须传输三个Rep_format。

另一方面，当在SPS中，update_rep_format_flag＝1时，可以重写对应关系。

此时，如果在VPS中限定了该关系，则当层>0时，要注意的是，可以在SPS中更新待参考的Rep_format。换言之，在VPS中，可以仅限定默认关系。

接下来，如在图6中所示，在rep_format_idx_present_flag为1并且Rep_format的数量为2或更大的情况下，针对每个增强层传输下标。层 0(基本层)被固定至第0个Rep_format。此外，不限制Rep_format的数量(最大值是256)。

尽管重复地进行，但是在VPS之后，限定了该关系，当层>0时，可以在SPS中更新Rep_format。

此外，如在图7中所示，在rep_format_idx_present_flag为1并且 Rep_format的数量仅为1的情况下，省略了针对每层的下标传输。也就是说，所有层被固定至第0个Rep_format。在这种情况下，不意图对 rep_format_idx_present_flag进行编码，以及rep_format_idx_present_flag 的期望的传输是多余的。

(本技术的概要)

迄今为止，所描述的Rep_format的数量与层的数量之间的关系是一对一的对应关系。反之，根据本技术，如在图8中所示，在Rep_format 的数量比层的数量多的情况下，以在先Rep_format开始Rep_format与层之间的对应关系的限定。

此外，如在图9中所示，尽管Rep_format的数量少于层的数量，但是也以在先Rep_format开始Rep_format与层之间的对应关系的限定。此外，在存在多个候选并且层的数量等于或多于多个候选的数量的情况下，存在候选与层之间的自动映射。

例如，示出了层0参考Rep_format 0、层1参考Rep_format1和层2 参考Rep_format1的示例。然而，层0和层1可以被设置成参考 Rep_format 0，以及层2可以被设置成参考Rep_format 1。此外，如果层与Rep_format以上升的层数的顺序彼此对应，则任何对应都会是可以的。

如上所述，在Rep_format_idx_present_flag＝＝0的情况下，没有限制Rep_format的数量与层的数量必须相同。因此，增加了映射 Rep_format的数量和层的数量的自由度。

此外，在VPS中没有限定的分辨率难以在中间的序列中改变。VPS 必须被再发送一次。因此，必须设置VPS的所有分辨率。在这样的情况下，如上所述，当候选和层自动地映射到彼此上时，这是有效的。

接下来，在Rep_format的数量仅是1的情况下，因为 Rep_format_idx_present_flag的传输是多余的，则改变了传输顺序和传输条件。特别地，如在图10中所示，使vps_num_rep_formats_minus 1的传输是强制性的，用于映射的下标被设置成仅在更需要时传输。

也就是说，如在图10的下侧的语法中所示，使 vps_num_rep_formats_minus 1的传输是强制性的，以及存在于图2中的 VPS的前方的rep_format_idx_present_flag被置于if句子 vps_num_rep_formats_minus 1>0之后。

此外，如在图11中所示，在Rep_format的数量仅是1的情况下，禁止SPS的更新。特别地，update_rep_format_flag＝0的限制被输入到 SPS中。

(根据本技术的VPS语法的示例)

图12是示出了根据本技术的VPS语法的示例的图。如参照图10所描述的，vps_num_rep_formats_minus 1被布置在VPS的顶部，使vps_num_rep_formats_minus 1的传输是强制性的，以及存在于图2中的 VPS的前方的rep_format_idx_present_flag被置于if句子vps_num_rep_formats_minus 1>0之后。

(根据本技术的SPS语法的示例)

图13是示出了根据本技术的SPS语法的图。在Rep_format的数量仅是1的情况下，特别地相对于SPS不存在不同点。此外，参照图11，如图所示，在Rep_format的数量仅是1的情况下，update_rep_format_flag ＝0的限制被输入SPS。

(根据本技术的语义的示例)

图14是示出了根据本技术的VPS和SPS中的每个的语义的示例的图。在图14的示例中，语义与图4的示例中的语义的不同之处在于：存在的着色背景中的白色字符是根据本技术的要点。也就是说，当不发送映射信息时，根据所述要点清楚地陈述了解码器侧怎样进行估计。

也就是说，VPS的vps_num_rep_formats_minus 1与图4中的示例相同。图14中的示例与图4中的示例的不同之处在于：当不存在 rep_format_idx_present_flag时，rep_format_idx_present_flag的值等于 0。

图14中的示例与图4中的示例的不同之处在于：当 rep_format_idx_present_flag是1时，如果不存在vps_rep_format_idx[i]，则vps_rep_format_idx[i]的值是0，以及当rep_format_idx_present_flag 是0时，i小于vps_num_rep_formats_minus 1。

图14中的示例与图4中的示例的不同之处在于：对于SPS中的 update_rep_format_flag，如果VPS中的作为处理目标的 vps_num_rep_formats_minus 1的值是0，则update_rep_format_flag的值是0。

接下来，参照图15至图17来描述特定示例。

在图15的示例中，在SNR可伸缩性和视图可伸缩性的情况下，所有层(3层)基本上具有相同的分辨率。此外，在图15至图17的示例中，方法3表示根据本技术的方法。

在方法1的情况下，当rep_format_idx_present_flag是1时， vps_num_rep_formats_minus 1的值是0，一条信息是W*H。此时，解码侧对层1和层2也使用第0条信息进行估计。

在方法2的情况下，当rep_format_idx_present_flag是0时，因为关于要发送多少条信息的信息是层的数量，因此该信息是 MaxLayersMinus 1＝3-1＝2。然后，导出每个值(W*H)以便可以确定每一层参考什么。

反之，在方法3(本技术)的情况下，因为仅存在一条分辨率信息，则vps_num_rep_formats_minus 1的值是0。此外，当 vps_num_rep_formats_minus 1的值是0时，不必传输rep_format_idx_present_flag。也就是说，因为不需要发送 rep_format_idx_present_flag，则不必发送这一个比特。

在图16的示例中，层1和层2是针对SNR可伸缩性以及具有2W*2H 的相同分辨率，相对于层1和层2，层0是针对空间可伸缩性以及具有w *H的分辨率。

在方法1的情况下，发送两条信息(W*H和2W*2H)。因为 vps_rep_format_idx[0]与第0个rep_format相同，则什么也不发送，以及vps_rep_format_idx[1]和vps_rep_format_idx[2]被用信号发送为1。

在方法2的情况下，vps_num_rep_formats_minus 1的值是0。尽管信息是冗余的，但是信息必须被发送三次，也就是说，发送三条信息w* H和2W*2H*2。然而，可以不发送映射信息。

在方法3(本技术)的情况下，因为存在2条要发送的信息， vps_num_rep_formats_minus1的值被设置成1。因为可以估计映射信息，则映射信息可以被设置成0。因此，减少了传输的次数。

在图17的示例中，两个层是针对空间可伸缩性。层0具有w*H的分辨率，以及层1具有2w*2H的分辨率。此外，在图17的示例的情况下，除了两种分辨率之外，具有随着时间的推移而改变的可能性的3w*3H 的分辨率是可利用的。

在方法1中，rep_format_idx_present_flag必须被设置成1。如在方法2中，当rep_format_idx_present_flag＝0时，因为三条分辨率信息是可用的，但是这样仅两个层是可用的，没有建立对应。

在方法3(本技术)中，当然，在rep_format_idx_present_flag＝1 的情况下执行传输。然而，因为可以存在更多条分辨率信息，则可以在 rep_format_idx_present_flag被设置成0的情况下执行传输。

如上所述，可以改善增强层与分辨率信息之间的默认映射。因此，可以用灵活的方式设置增强层与分辨率信息之间的映射，以及对应用的有效的适应性是可以的。

也就是说，因为VPS包括对于电视通信最需要的信息，例如分辨率或位深度信息，则在会话协商中使用VPS。

具有不同性能的解码器彼此交换关于处理性能的各条信息，以在彼此进行通信时以适当的格式进行通信。这种各条信息的交换被称为会话协商。通常，包括在通信期间的会话协商的会话协商在多个装置之间进行多次。在通信期间进行会话协商以同样地考虑传输频带的波动等。

当参数的数量按照VPS+SPS等时的情况增加时，每一次协商需要的比特的数量增加，这对处理和频带具有很大影响。

针对上述内容，根据本技术可以有效地降低VPS中要发送的信息的条数。

接下来，描述上述的本技术应用于特定装置的示例。

<第一实施方式>

(根据第一实施方式的编码装置的配置示例)

图18是示出了根据应用本公开内容的第一实施方式的编码装置的配置示例的框图。

图18中的编码装置10由设置单元11、编码单元12和传输单元13 配置，以及编码装置10使用根据HEVC方案的方案来对图像进行编码。

特别地，编码装置10的设置单元11对VPS、SPS等进行设置。设置单元11向编码单元12提供被设置的参数集，例如VPS、SPS、PPS、VUI、 SEI等。

以帧为单位的图像被输入到编码单元12。编码单元12参考从设置单元11提供的参数集使用根据HEVC方案的方案来对被输入的图像进行编码。编码单元12根据所获得的作为编码结果的编码数据和参数集来生成码流，以及将所生成的码流提供至传输单元13。

传输单元13将从编码单元12提供的码流传输至下述解码装置。

(编码单元的配置示例)

图19是示出了图18中的编码单元12的配置示例的框图。

图19中的编码单元12具有：A/D转换单元31、画面重排缓冲器32、算术运算单元33、正交变换单元34、量化单元35、可逆编码单元36、积累缓冲器37、逆量化单元38、逆正交变换单元39以及加法单元40。此外，编码单元12具有：去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48以及速率控制单元49。

编码单元12的A/D转换单元31将被输入的以帧为单位的图像A/D 转换为待编码的目标。A/D转换单元31将转换后的数字信号的图像输出至画面重排缓冲器32以存储。

画面重排缓冲器32将所存储的以显示顺序的以帧为单位的图像根据 GOP结构以编码顺序进行重排。画面重排缓冲器32将重排后的图像输出至算术运算单元33、帧内预测单元46以及运动预测/补偿单元47。

算术运算单元33通过从由画面重排缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像来进行编码。算术运算单元33将获得的作为编码的结果的图像作为关于残差(差)的信息输出至正交变换单元 34。此外，在没有从预测图像选择单元48提供预测图像的情况下，算术运算单元33将从画面重排缓冲器32读取的图像作为关于残差的信息输出至正交变换单元34。

正交变换单元34以TU'为单位对来自算术运算单元33的关于残差的信息执行正交变换处理。在正交变换处理之后，正交变换单元34将正交变换处理的结果输出至量化单元35。

量化单元35对从正交变换单元34提供的正交变换处理的结果进行量化。量化单元35将获得的作为量化的结果的量化值提供至可逆编码单元 36。

可逆编码单元36从帧内预测单元46获得指示最优模式的信息(在下文中称为帧内预测模式信息)。此外，可逆编码单元36从运动预测/补偿单元47获得：对指示最优帧间预测模式的信息(在下文中被称为帧间预测模式信息)、运动矢量以及参考图像等进行指定的信息。

此外，可逆编码单元36从自适应偏移滤波器42获得与偏移滤波有关的偏移滤波信息，以及从自适应环路滤波器43获得滤波系数。

可逆编码单元36对从量化单元35提供的量化值执行可逆编码，例如可变长度编码(例如，上下文自适应可变长度编码(CAVLC))、以及二进制算术编码(例如，上下文自适应二进制算术编码(CABAC)等)。

此外，可逆编码单元36将指定帧内预测模式信息或帧间预测模式信息、运动矢量、以及参考图像、偏移滤波信息以及滤波系数的信息可逆地编码为与该编码有关的编码信息。可逆编码单元36将编码信息和经可逆编码的量化值作为编码数据提供至积累缓冲器37以积累。

此外，经可逆编码的编码信息可以被设置成经可逆编码的量化值的头部信息(例如，片头部)。

积累缓冲器37暂时地存储从可逆编码单元36提供的编码数据。此外，积累缓冲器37将所存储的编码数据作为码流与从图18中的设置单元11 提供的参数集一起提供至传输单元13。

此外，从量化单元35输出的量化值还被输入至逆量化单元38。逆量化单元38可逆地对量化值进行量化。逆量化单元38将作为逆量化的结果的正交变换处理的结果提供至逆正交变换单元39。

逆正交变换单元39以TU'为单位对从逆量化单元38提供的正交变换处理的结果执行逆正交变换处理。作为逆正交变换方案，存在例如逆离散余弦变换(IDCT)和逆离散正弦变换(IDST)。逆正交变换单元39将获得的作为逆正交变换处理的结果的关于残差的信息提供至加法单元40。

加法单元40将从逆正交变换单元39提供的关于残差的信息和从预测图像选择单元49提供的预测图像相加在一起，以及执行解码。加法单元 40将经解码的图像提供至去块滤波器41和帧存储器44。

去块滤波器41对从加法单元40提供的经解码的图像执行移除块失真的自适应去块滤波处理，以及将获得的作为自适应去块滤波处理的结果的图像提供至自适应偏移滤波器42。

自适应偏移滤波器42对已经由去块滤波器41执行了自适应去块滤波处理的图像执行主要移除图像的振铃的自适应偏移滤波(采样自适应偏移 (SAO))处理。

特别地，自适应偏移滤波器42针对每个最大编码单元(LCU)确定自适应偏移滤波处理的类型，以及获得在自适应偏移滤波处理中使用的偏移。自适应偏移滤波器42使用所获得的偏移来对已经执行了自适应去块滤波处理的图像执行所确定的类型的自适应偏移滤波处理。

自适应偏移滤波器42将已经执行了自适应偏移滤波处理的图像提供至自适应环路滤波器43。此外，自适应偏移滤波器42将执行自适应偏移滤波处理的类型和指示偏移的信息作为偏移滤波信息提供至可逆编码单元36。

例如，自适应环路滤波器43配置有二维维纳滤波器。针对每个LCU，例如，自适应环路滤波器43对从自适应偏移滤波器42提供的、已经执行了自适应偏移滤波处理的图像执行自适应环路滤波(ALF)处理。

特别地，针对每个LCU，自适应环路滤波器43以下述方式来计算在自适应环路滤波处理中使用的滤波系数：使从画面重排缓冲器32输出的图像的原始图像与已经执行了自适应环路滤波处理的图像之间的残差最小化。然后，针对每个LCU，自适应环路滤波器43使用所计算的滤波系数对已经执行了自适应偏移滤波处理的图像执行自适应环路滤波处理。

自适应环路滤波器43将已经执行了自适应环路滤波处理的图像提供至帧存储器44。此外，自适应环路滤波器43将在自适应环路滤波器中使用的滤波系数提供至可逆编码单元36。

此外，在此，自适应环路滤波处理被设置成针对每个LCU来执行，但是自适应环路滤波处理的处理单元不限于LCU。然而，可以通过将自适应偏移滤波器42的处理单元和自适应环路滤波器43的处理单元进行组合来高效地执行处理。

帧存储器44积累从自适应环路滤波器43提供的图像和从加法单元 40提供的图像。在帧存储器44中积累的图像中与没有执行滤波处理的预测单元(PU)相邻的图像被作为相邻图像通过开关45提供至帧内预测单元46。另一方面，在帧存储器44中积累的执行了滤波处理的图像被作为参考图像通过开关45输出至运动预测/补偿单元47。

帧内预测单元46在作为候选的所有帧内预测模式下，使用通过开关 45从帧存储器44读取的相邻图像以PU'为单元执行帧内预测处理。

此外，帧内预测单元46基于从画面重排缓冲器32读取的图像和生成作为帧内预测处理的结果的预测图像来相对于作为候选的所有帧内预测模式计算代价函数值(以下描述代价函数值的细节)。然后，帧内预测单元46将使代价函数值最小化的帧内预测模式确定为最优帧内预测模式。

帧内预测单元46将在最优帧内预测模式下生成的预测图像和对应的代价函数值提供至预测图像选择单元48。在预测图像选择单元48通知最优帧内预测模式下生成的的预测图像被选择的情况下，帧内预测单元46 将帧内预测模式信息提供至可逆编码单元36。此外，帧内预测模式是指示了PU的尺寸、预测方向等的模式。

运动预测/补偿单元47在作为候选的所有帧间预测模式下以PU'为单位执行运动预测/补偿处理。特别地，运动预测/补偿单元47在作为候选的所有帧间预测模式下，基于从画面重排缓冲器32提供的图像和通过开关 45从帧存储器44中读取的参考图像来以PU'为单位对运动矢量进行检测。然后，运动预测/补偿单元47基于运动矢量，以PU'为单位对参考图像执行补偿处理，以及生成预测图像。

此时，运动预测/补偿单元47基于从画面重排缓冲器32提供的图像和预测图像计算相对于作为候选的所有帧间预测模式的代价函数值，以及将使代价函数值最小化的帧间预测模式确定为最优帧间预测模式。然后，运动预测/补偿单元47将具有帧间预测模式的代价函数值和对应的预测图像提供至预测图像选择单元48。此外，在预测图像选择单元48通知在最优帧间预测模式下生成的预测图像被选择的情况下，运动预测/补偿单元 47将指定帧间预测模式信息、对应的运动矢量以及参考图像等的信息输出至可逆编码单元36。此外，帧间预测模式是指示了PU的尺寸等的模式。

预测图像选择单元48基于从帧内预测单元46提供的代价函数值和从运动预测/补偿单元47提供的代价函数值，将在最优帧内预测模式和最优帧间预测模式中对应的代价函数值较小的模式确定为最优预测模式。然后，预测图像选择单元48将最优预测模式下的预测图像提供至算术运算单元33和加法单元40。此外，预测图像选择单元48向帧内预测单元46 或运动预测/补偿单元47通知最优预测模式下的预测图像的选择。

速率控制单元49基于在积累缓冲器37中积累的编码数据来以不发生上溢或下溢的方式来控制量化单元35执行量化操作的速率。

(通过编码装置进行的处理的描述)

图20是用于描述通过图18中的编码装置10进行的流生成处理的流程图。

在图20的步骤S11中，编码装置10的设置单元11设置参数集例如 VPS或SPS。设置单元11将所设置的参数集提供至编码单元12。参照随后的图21来详细地描述该设置处理。

在步骤S12中，编码单元12根据HEVC方案执行下述编码处理，所述编码处理对从外部输入的以帧为单位的图像进行编码。参照随后的图 22和图33来详细地描述所述编码处理。

在步骤S13中，编码单元12的积累缓冲器37(图19中)根据从设置单元11提供的参数集和积累的编码数据生成码流，以及将所生成的码流提供至传输单元13。

在步骤S14中，传输单元13将从设置单元11提供的码流传输至下述的解码装置110，以及结束处理。

接下来，参照图21详细地描述图20中的步骤S11中设置参数的处理。

在步骤S31中，图18中的设置单元11设置 vps_num_rep_formats_minus 1。在步骤S32中，设置单元11以i＝0的方式执行设置，以及在步骤S33中，确定i是否等于或小于 vps_num_rep_formats_minus 1。在步骤S33中确定i等于或小于 vps_num_rep_formats_minus1的情况下，处理进行至步骤S34。

在步骤S34中，设置单元11设置第i个rep_format()，以及在步骤 S35中执行i++。之后，处理返回至步骤S33以及重复步骤S33和后续步骤。

在步骤S33中确定i大于vps_num_rep_formats_minus 1的情况下，处理进行至步骤S36。

在步骤S36中，设置单元11确定vps_num_rep_formats_minus 1是否大于0。在步骤S36中确定vps_num_rep_formats_minus 1大于0的情况下，在步骤S37中，设置单元11将rep_format_idx_present_flag设置为1。

在步骤S36中确定vps_num_rep_formats_minus 1等于或小于0的情况下，略过步骤S37中的处理。

在步骤S38中，设置单元11确定rep_format_idx_present_flag是否是1。在步骤S38中确定rep_format_idx_present_flag是1的情况下，在步骤S39中，设置单元11以i＝1的方式执行设置。

在步骤S40中，确定i是否等于或小于MaxLayersMinus 1。在步骤 S40中确定i等于或小于MaxLayersMinus 1的情况下，在步骤S41中，设置单元11设置vps_rep_format_idx[i]。在步骤S40中确定i等于或小于 MaxLayersMinus 1的情况下，在步骤S42中，设置单元11以i++的方式执行设置，以及处理返回至步骤S40，以及重复步骤S40和后续步骤。

另一方面，在步骤S38中确定rep_format_idx_present_flag不是1 的情况下，并且在步骤S40中确定i大于MaxLayersMinus 1的情况下，参数集设置处理结束，以及处理返回至图20的步骤S11。

接下来，图22和图23是用于详细地描述图20的步骤S12中的编码处理的流程图。

在图20的步骤S61中，编码单元12的A/D转换单元31(图19中) 将输入的以帧为单位的图像转换为待编码的目标。A/D转换单元31将作为转换后的数字信号的图像输出至画面重排缓冲器32以存储。

在步骤S62中，画面重排缓冲器32根据GOP结构以编码顺序对所存储的以帧为单元以显示顺序排列的图像进行重排。画面重排缓冲器32 将重排后的以帧为单元的图像提供至算术运算单元33、帧内预测单元46 以及运动预测/补偿单元47。

在步骤S63中，帧内预测单元46以PU'为单位执行作为候选的所有帧内预测模式的帧内预测处理。此外，帧内预测单元46基于从画面重排缓冲器32读取的图像和生成作为帧内预测处理的结果的预测图像来相对于作为候选的所有帧内预测模式计算代价函数值。然后，帧内预测单元 46将使代价函数值最小化的帧内预测模式确定为最优帧内预测模式。帧内预测单元46将在最优帧内预测模式下生成的预测图像和对应的代价函数值提供至预测图像选择单元48。

此外，运动预测/补偿单元47在作为候选的所有帧间预测模式下以 PU'为单位执行运动预测/补偿处理。此外，运动预测/补偿单元47基于从画面重排缓冲器32提供的图像和预测图像计算相对于作为候选的所有帧间预测模式的代价函数值，以及将使代价函数值最小化的帧间预测模式确定为最优帧间预测模式。然后，运动预测/补偿单元47将最优帧间预测模式的代价函数值和对应的预测图像提供至预测图像选择单元48。

在步骤S64中，预测图像选择单元48基于作为步骤S63中处理的结果的从帧内预测单元46提供的代价函数值和从运动预测/补偿单元47提供的代价函数值，将在最优帧内预测模式和最优帧间预测模式中的使代价函数值最小化的模式确定为最优预测模式。然后，预测图像选择单元48 将最优预测模式下的预测图像提供至算术运算单元33和加法单元40。

在步骤S65中，预测图像选择单元48确定最优预测模式是否是最优帧间预测模式。在步骤S65中确定最优预测模式是最优帧间预测模式的情况下，预测图像选择单元48向运动预测/补偿单元47通知在最优帧间预测模式下生成的预测图像被选择。

然后，在步骤S66中，运动预测/补偿单元47将指定帧间预测模式信息、运动矢量以及参考图像的信息提供至可逆编码单元36，以及处理进行至步骤S68。

另一方面，在步骤S65中确定最优预测模式不是最优帧间预测模式的情况下，也就是说，在最优预测模式是最优帧内预测模式的情况下，预测图像选择单元48向帧内预测单元46通知在最优帧内预测模式下生成的预测图像被选择。然后，在步骤S67中，帧内预测单元46将帧内预测模式信息提供至可逆编码单元36，以及处理进行至步骤S68。

在步骤S68中，算术运算单元33通过从由画面重排缓冲器32提供的图像中减去由预测图像选择单元48提供的预测图像来执行编码。算术运算单元33将获得的作为编码结果的图像作为关于残差的信息输出至正交变换单元34。

在步骤S69中，正交变换单元34以TU'为单位对关于残差的信息执行正交变换处理。在正交变换处理之后，正交变换单元34将正交变换处理的结果输出至量化单元35。

在步骤S70中，量化单元35对从正交变换单元34提供的正交变换处理的结果进行量化。量化单元将获得的作为量化结果的量化值提供至可逆编码单元36和可逆量化单元38。

在步骤S71中，逆量化单元38对来自量化单元35的量化值执行逆量化。逆量化单元38将作为逆量化的结果的正交转换处理的结果提供至逆正交变换单元39。

在步骤S72中，逆正交变换单元39以TU'为单位对从逆量化单元38 提供的正交变换处理的结果执行逆正交变换处理。逆正交变换单元39将获得的作为逆正交变换处理的结果的关于残差的信息提供至加法单元 40。

在步骤S73中，加法单元40将从逆正交变换单元39提供的关于残差的信息和从预测图像选择单元49提供的预测图像相加在一起，以及执行解码。加法单元40将经解码的图像提供至去块滤波器41和帧存储器44。

在步骤S74中，去块滤波器41对从加法单元40提供的经解码的图像执行去块滤波处理。去块滤波器41将获得的作为去块滤波处理结果的图像提供至自适应偏移滤波器42。

在步骤S75中，针对每个LCU，自适应偏移滤波器42对从去块滤波器41提供的图像执行自适应偏移滤波处理。自适应偏移滤波器42将所获得的作为自适应偏移滤波处理结果的图像提供至自适应环路滤波器43。此外，针对每个LCU，自适应偏移滤波器42将偏移滤波信息提供至可逆编码单元36。

在步骤S76中，针对每个LCU，自适应环路滤波器43对从自适应偏移滤波器42提供的图像执行自适应环路滤波处理。自适应环路滤波器43 将获得的作为自适应环路滤波处理结果的图像提供至帧存储器44。此外，自适应环路滤波器43将在自适应环路滤波处理中使用的滤波系数提供至可逆编码单元36。

在步骤S77中，帧存储器44积累从自适应环路滤波器43提供的图像和从加法单元40提供的图像。在帧存储器44中积累的图像中与没有执行滤波处理的PU相邻的图像被作为相邻图像通过开关45提供至帧内预测单元46。另一方面，在帧存储器44中积累的执行了滤波处理的图像被作为参考图像通过开关45输出至运动预测/补偿单元47。

在步骤S78中，可逆编码单元36将指定帧内预测模式信息或帧间预测模式信息、运动矢量、以及参考图像、偏移滤波信息以及偏移系数的信息可逆地编码为编码信息。

在步骤S79中，可逆编码单元36对从量化单元35提供的量化值进行可逆地编码。然后，可逆编码单元36根据在步骤S78中可逆地编码的编码信息和量化值来生成编码数据，以及将所生成的编码数据提供至积累缓冲器37。

在步骤S80中，积累缓冲器37暂时地存储从可逆编码单元36提供的编码数据。

在步骤81中，速率控制单元49基于在积累缓冲器37中积累的编码数据以不发生上溢或下溢的方式来控制量化单元35执行量化操作的速率。此外，速率控制单元49将亮度信号量化参数和色差信号量化参数以及ChromaQPOffset提供至色差信号量化单元50。然后，处理返回至图 20的步骤S12，以及进行至步骤S13。

此外，为了简单起见，帧内预测处理和运动预测/补偿处理被描述为通常以图22和图23中的编码处理的方式执行，但是在一些情况下，仅帧内预测处理或运动预测/补偿处理两者中的一个实际上取决于图片类型等来执行。

(根据一个实施方式的解码装置的配置示例)

图24是示出了根据一个实施方式的应用本公开内容的解码装置的配置示例的框图，该解码装置对从图20中的编码装置10传输的码流进行解码。

图24中的解码装置110配置有接收单元111、提取单元112以及解码单元113。

解码装置110的接收单元11接收从图20中的编码装置10传输的码流，以及将所接收的码流提供至提取单元112。

提取单元112从由接收单元111提供的码流中提取参数集例如VPS 或SPS以及编码数据，以及将提取的结果提供至解码单元113。

解码单元113使用根据HEVC方案的方案来对从提取单元112提供的编码数据进行解码。此时，解码单元113还在需要时参考从提取单元 112提供的参数集。解码单元113输出获得的作为解码结果的图像。

(解码单元的配置示例)

图25是示出了图24中的解码单元113的配置示例的框图。

图25中的解码单元113具有：积累缓冲器131、可逆解码单元132、可逆量化单元133、可逆正交变换单元134、加法单元135、去块滤波器 136、自适应偏移滤波器137、自适应环路滤波器138以及画面重排缓冲器139。此外，解码单元113具有：D/A转换单元140、帧存储器141、开关142、帧内预测单元143、运动补偿单元144以及开关145。

解码单元113的积累缓冲器131从图24中的提取单元112接收编码数据以积累。积累缓冲器131将所积累的编码数据提供至可逆解码单元 132。

可逆解码单元132通过对来自积累缓冲器131的编码数据执行可变长度解码或可逆解码例如算术解码来获得量化值和编码信息。可逆解码单元 132将量化值提供至可逆量化单元133。此外，可逆解码单元132将帧内预测模式信息等作为编码信息提供至帧内预测单元143。可逆解码单元 132将指定运动矢量、帧间预测模式信息以及参考图像等的信息提供至运动补偿单元144。

此外，可逆解码单元132将帧内预测模式信息或帧间预测模式信息作为编码信息提供至开关145。可逆解码单元132将偏移滤波信息作为编码信息提供至自适应偏移滤波器137。可逆解码单元132将滤波系数作为编码信息提供至自适应环路滤波器138。

逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器 136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元143以及运动预测单元144与在图19中所示的逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46以及运动预测/补偿单元47相应地执行相同的处理任务，从而对图像进行解码。

特别地，逆量化单元133与图19中的逆量化单元38具有相同的配置。逆量化单元133以TU'为单位对来自可逆解码单元132的量化值执行逆量化。逆量化单元133将作为逆量化的结果的正交变换处理的结果提供至逆正交变换单元134。

逆正交变换单元134被以与图19中的逆正交变换单元19相同的方式来配置。逆正交编码单元134使用从色差信号逆量化单元51提供的用于亮度信号量化的参数和用于色差信号量化的参数，对从逆量化单元133 提供的正交变换处理的结果执行逆正交变换处理。逆正交变换单元134 将获得的作为逆正交变换处理的结果的关于残差的信息提供至加法单元 135。

加法单元135通过将从逆正交变换单元134提供的关于残差的信息和从开关145提供的预测图像相加在一起来执行解码。加法单元135将经解码的图像提供至去块滤波器136和帧存储器141。

去块滤波器136对从加法单元135提供的图像执行自适应去块滤波处理，以及将获得的作为自适应去块滤波处理的结果的图像提供至自适应偏移滤波器137。

针对每个LCU，自适应偏移滤波器137使用由来自可逆解码单元132 的偏移滤波信息指示的偏移来对已经执行自适应去块滤波处理的图执行执行由偏移滤波信息指示的类型的自适应偏移滤波处理。自适应偏移滤波器137将已经执行了自适应偏移滤波处理的图像提供至自适应环路滤波器138。

针对每个LCU，自适应环路滤波器138使用从可逆解码单元132提供的滤波系数来对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将获得的作为自适应环路滤波处理结果的图像提供至帧存储器141和画面重排缓冲器139。

画面重排缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像。画面重排缓冲器139以原始显示顺序对所存储的以帧为单位以编码顺序排列的图像进行重排，以及将经重排的图像提供至D/A转换单元140。

D/A转换单元140对从画面重排缓冲器139提供的以帧为单位的图像进行D/A转换并且进行输出。

帧存储器141积累从自适应环路滤波器138提供的图像和从加法单元 135提供的图像。在帧存储器141中积累的图像中与没有执行滤波处理的 PU相邻的图像被作为相邻图像通过开关142提供至帧内预测单元143。另一方面，在帧存储器141中积累的执行了滤波处理的图像被作为参考图像通过开关142提供至运动补偿单元144。

帧内预测单元143使用通过开关142从帧存储器141读取的相邻图像来在由从可逆解码单元132提供的帧内预测模式信息指示的最优帧内预测模式下执行帧内预测处理。帧内预测单元143将生成的作为帧内预测处理结果的预测图像提供至开关145。

运动补偿单元144通过开关142从帧存储器141中读取由从可逆解码单元132提供的指定参考图像的信息指定的参考图像。运动补偿单元144 使用从可逆解码单元132提供的运动矢量和参考图像在由从可逆解码单元132提供的帧间预测模式信息指示的最优帧间预测模式下执行运动补偿处理。运动补偿单元144将生成的作为运动补偿处理结果的预测图像提供至开关145。

在从可逆解码单元132提供帧内预测模式信息的情况下，开关145 将从帧内预测单元143提供的预测图像提供至加法单元135。另一方面，在从可逆解码单元132提供帧间预测模式信息的情况下，开关145将从运动补偿单元144提供的预测图像提供至加法单元135。

(由解码装置进行的处理的描述)

图26是用于描述通过图24中的解码装置110进行的图像生成处理的流程图。

在图26的步骤S111中，解码装置110的接收单元111接收从图18 中的编码装置10传输的码流，以及将所接收的码流提供至提取单元112。

在步骤S112中，提取单元112从由接收单元111提供的码流中提取编码数据，以及将所提取的编码数据提供至解码单元113。

在步骤S113中，提取单元112从由接收单元111提供的码流中提取参数集例如VPD、SPS等，以及将所提取的参数集提供至解码单元113。参照图27来详细地描述该提取处理。

在步骤S114中，解码单元113在需要时使用根据HEVC方案的方案、使用从提取单元112提供的参数集来执行对从提取单元112提供的编码数据进行解码的解码处理。参照图28来详细地描述该解码处理。然后，处理结束。

接下来，参照图27来详细地描述图26的步骤S113中的参数提取处理。

在步骤S131中，提取单元112从码流中读取 vps_num_rep_formats_minus 1。在步骤S132中，提取单元112以i＝0 的方式执行设置。

在步骤S133中，确定vps_num_rep_formats_minus 1是否等于或小于1。在步骤S133中确定vps_num_rep_formats_minus 1等于或小于1 的情况下，处理进行至步骤S134。

在步骤S134中，提取单元112从比特流中提取第i个rep_format()，以及在步骤S135中执行i++。之后，处理返回至步骤S133以及重复步骤 S133和后续步骤。

在步骤S133中确定i大于vps_num_rep_formats_minus 1的情况下，处理进行至步骤S136。

在步骤S136中，提取单元112确定vps_num_rep_formats_minus 1 是否大于0。在步骤S136中确定vps_num_rep_formats_minus 1大于0 的情况下，在步骤S137中，提取单元112从比特流中读取 rep_format_idx_present_flag 1。

在步骤S136中确定vps_num_rep_formats_minus 1等于或小于0的情况下，略过步骤S137中的处理。

在步骤S138中，提取单元112确定vps_num_rep_formats_minus 1 是否是1。在步骤S138中确定vps_num_rep_formats_minus 1是1的情况下，在步骤S139中，提取单元112以i＝1的方式执行设置。

在步骤S140中，确定i是否等于或小于MaxLayersMinus 1。在步骤 S140中确定i等于或小于MaxLayersMinus 1的情况下，在步骤S141中，提取单元112确定vps_rep_format_idx[i]是否被传输。

在步骤S141中确定vps_rep_format_idx[i]被传输的情况下，在步骤 S141中，提取单元112从比特流中读取vps_rep_format_idx[i]。

在步骤S141中确定vps_rep_format_idx[i]没有被传输的情况下，在步骤S143中，提取单元112设置vps_rep_format_idx[i]的值。特别地， vps_rep_format_idx[i]的值被设置为rep_format_idx_present_flag？0:Min (i，vps_num_rep_formats_minus1)，也就是说，以在 rep_format_idx_present_flag是0时，i小于vps_num_rep_formats_minus 1的方式被设置。

之后，在步骤S144中，提取单元112以i++的方式执行设置，处理返回至步骤S140，以及重复S140和后续步骤。

另一方面，在步骤S138中确定vps_num_rep_formats_minus 1不是 1的情况下，或者在步骤S140中确定等于或小于MaxLayersMinus 1的i 比1小的情况下，参数集提取处理结束，以及处理返回至图26的步骤S113。

接下来，参照图28来详细地描述图26中的步骤S113中的解码处理。

在图28的步骤S161中，解码单元113的积累缓冲器131(图25中) 从图24中的提取单元112接收以帧为单位的编码数据以积累。积累缓冲器131将所积累的编码数据提供至可逆解码单元132。

在步骤S162中，可逆解码单元132对来自积累缓冲器131的编码数据进行可逆地解码，以及获得量化值和编码信息。可逆解码单元132将量化值提供至可逆量化单元133。

此外，可逆解码单元132将帧内预测模式信息等作为编码信息提供至帧内预测单元143。可逆解码单元132将指定运动矢量、帧间预测模式信息以及参考图像等的信息提供至运动补偿单元144。

此外，可逆解码单元132将帧内预测模式信息或帧间预测模式信息作为编码信息提供至开关145。可逆解码单元132将偏移滤信息作为编码信息提供至自适应偏移滤波器137，以及将滤波系数提供至自适应环路滤波器138。

在步骤S163中，可逆量化单元133对从可逆解码单元132提供的量化值进行可逆地量化。逆量化单元133将作为逆量化的结果的正交变换处理的结果提供至逆正交变换单元134。

在步骤S164中，逆正交变换单元134对来自逆量化单元133的正交变换处理的结果执行逆正交变换处理。

在步骤S165中，运动补偿单元144确定是否从可逆解码单元132提供了帧间预测模式信息。在步骤S165中确定提供了帧间预测模式信息的情况下，处理进行至步骤S166。

在步骤S166中，运动补偿单元144基于从可逆解码单元132提供的指定参考图像的信息来读取参考图像，以及使用运动矢量和参考图像在由帧间预测模式信息指示的最优帧间预测模式下执行运动补偿处理。运动补偿单元144将获得的作为运动补偿处理结果的预测图像通过开关145提供至加法单元135，以及处理进行至步骤S168。

另一方面，在步骤S165中确定没有提供帧间预测模式信息的情况下，也就是说，在帧内预测模式信息被提供至帧内预测单元143的情况下，处理进行至步骤S167。

在步骤S167中，帧内预测单元143使用通过开关142从帧存储器141 中读取的相邻图像来在由帧内预测模式信息指示的帧内预测模式下执行帧内预测处理。帧内预测单元143将获得的作为帧内预测处理结果的预测图像通过开关145提供至加法单元135，以及处理进行至步骤S168。

在步骤S168中，加法单元135通过将从逆正交变换单元134提供的关于残差的信息与从开关145提供的预测图像相加在一起来执行解码。加法单元135将经解码的图像提供至去块滤波器136和帧存储器141。

在步骤S169中，去块滤波器136对从加法单元135提供的图像执行去块滤波处理，以及移除块失真。去块滤波器136将获得的作为去块滤波处理结果的图像提供至自适应偏移滤波器137。

在步骤S170中，针对每个LCU，自适应偏移滤波器137基于从可逆解码单元132提供的偏移滤波信息对已经由去块滤波器136执行了去块滤波处理的图像执行自适应偏移滤波处理。自适应偏移滤波器137将已经执行了自适应偏移滤波处理的图像提供至自适应环路滤波器138。

在步骤S171中，针对每个LCU，自适应环路滤波器138使用从可逆解码单元132提供的滤波系数来对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将获得的作为自适应环路滤波处理结果的图像提供至帧存储器141和画面重排缓冲器139。

在步骤S172中，帧存储器141积累从加法单元135提供的图像和从自适应环路滤波器138提供的图像。在帧存储器141中积累的图像中与没有执行滤波处理的PU相邻的图像被作为相邻图像通过开关142提供至帧内预测单元143。另一方面，在帧存储器141中积累的执行了滤波处理的图像被作为参考图像通过开关142提供至运动补偿单元144。

在步骤S173中，画面重排缓冲器139以帧为单元存储从自适应环路滤波器138提供的图像，以原始显示顺序对所存储的以帧为单位以编码顺序排列的图像来进行重排，以及将经重排的图像提供至D/A转换单元140。

在步骤S174中，D/A转换单元140对从画面重排缓冲器139提供的以帧为单位的图像进行D/A转换并且进行输出。然后，处理返回至图26 的步骤S113，以及处理结束。

如上所述，可以改善增强层与分辨率信息之间的默认映射。

以上描述了在使用的根据HEVC的编码方案。然而，本技术不限于此，以及可以使用其他编码方案/解码方案。

此外，本公开内容例如可以应用到下述图像编码装置和图像解码装置：在经由卫星广播、有线电视、因特网、或网络介质例如便携式电话接收以与HEVC方案等相同的方式通过正交变换如离散余弦变换以及通过运动补偿压缩的图像信息(比特流)的情况下使用的图像编码装置和图像解码装置。此外，本公开内容还可以应用于在存储介质例如光盘、磁盘或闪速存储器上执行处理信息情况下使用的图像编码装置和图像解码装置。

<第二实施方式>

(应用本公开内容的计算机的描述)

上述的处理序列可以以硬件的方式来执行，以及可以以软件的方式来执行。在以软件的方式执行该处理序列的情况下，组成软件的程序被安装在计算机上。在此，计算机包括包括内置于专用硬件的计算机、通用目的个人计算机例如能够通过安装各种程序来执行各种功能的计算机等。

图29是示出了使用程序执行上述处理序列的计算机的硬件配置的示例的框图。

在该计算机中，中央处理单元(CPU)201、只读存储器(ROM)202 以及随机存取存储器(RAM)203被通过总线204彼此连接。

此外，输入与输出接口205连接至总线204。输入单元206、输出单元207、存储单元208、通信单元209以及驱动器210连接至输入与输出接口205。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示装置、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元 209包括网络接口等。驱动器210驱动可移除介质211例如磁盘、光盘、磁光盘或半导体存储器。

在具有上述配置的计算机中，CPU 201例如通过将存储在存储单元 208中的程序经由输入与输出接口205和总线204加载到RAM 203上来执行上述处理的序列，从而执行程序。

由计算机(CPU 201)执行的程序可以记录在例如可移除介质211如包介质上，从而可以提供程序。此外，可以经由有线或无线传输介质例如局域网、因特网、数字卫星广播来提供程序。

在计算机中，可以通过将可移除介质211安装到驱动器210上来经由输入与输出接口205将程序安装到存储单元208中。此外，可以经由有线或无线传输介质用通信单元209接收程序，以及程序可以被安装在存储单元208中。此外，程序可以被预先安装在ROM 202上或存储单元208中。

此外，由计算机执行的程序可以是通过其以本说明书中描述的顺序中的时间序列执行的处理的程序，或者可以是通过其以并行的方式或按照需要的定时例如在请求执行处理时的方式执行处理的程序。

<第三实施方式>

(至多视图图像编码/多视图解码的应用)

上述处理序列可以应用至多视图图像编码/多视图图像解码。图30示出了多视图图像编码方案的一个示例。

如在图30中所示，多视图图像包括以多视图形式的图像。多视图图像的多个视图由基本视图和非基本视图组成，在不使任何其他视图的图像的情况下仅基本视图的图像被编码/解码，使用任何其他视图对非基本视图的图像进行编码/解码。针对非基本视图，可以使用基本视图的图像，并且可以使用任何其他非基本视图的图像。

在图22中示出的多视图图像被编码/解码的情况下，每个视图的图像都可以被编码/解码，但是根据上述第一实施方式的方法可以应用于针对每个视图进行编码/解码。当针对每个视图进行编码/解码时，可以改善增强层与分辨率信息之间的默认映射。因此，提高了编码效率。

此外，在针对每个视图进行编码/解码中，可以共享所描述的根据第一实施方式的方法中使用的参数。更具体地，例如，可以在针对每个视图进行编码/解码中共享作为编码信息的VPS、SPS等。当然，在针对每个视图进行编码/解码中还可以共享除了这些参数之外的信息。

当在针对每个视图进行编码/解码中共享参数时，可以减少冗余信息传输的次数，以及可以减少要传输的信息的量(编码的量)(换言之，可以抑制编码效率的降低)。

(多视图图像编码装置)

图31是示出了执行上述多视图图像编码的多视图图像编码装置的图。如在图31中所示，多视图图像编码装置600具有：编码单元601、编码单元602以及复用单元603。

编码单元601对基本视图图像进行编码，生成编码以及生成基本视图图像码流。编码单元602对非基本视图进行编码，以及生成非基本视图码流。复用单元603对在编码单元601中生成的基本视图码流和在编码单元 602中生成的非基本视图码流进行复用，以及生成多视图图像码流。

可以使用编码装置10(图18中)代替多视图图像编码装置600的编码单元601和编码单元602。换言之，在针对每个视图进行编码中，可以改善增强层与分辨率信息之间的默认映射。此外，因为编码单元601和编码单元602两者都可以使用相同的标记或参数(例如，与图像的处理关联的语法元素)来执行编码(也就是说，可以共享标记或参数)，则可以抑制编码效率的降低。

(多视图图像解码装置)

图32是示出了执行上述多视图图像解码的多视图图像解码装置的图。如在图32中所示，多视图图像解码装置610具有：解复用单元611、解码单元612以及解码单元613。

解复用单元611对基本视图图像码流和非基本视图图像码流被复用的多视图图像码流进行解复用，以及提取基本视图图像码流和非基本视图图像码流。解码单元612对由解复用单元611提取的基本视图码流进行解码，从而获取基本视图。解码单元613对由解复用单元611提取的非基本视图码流进行解码，以及获得非基本视图。

可以使用解码装置110(图24中)代替多视图图像解码装置610的解码单元612和解码单元613。换言之，可以改善增强层与分辨率信息之间的默认映射。此外，因为解码单元612和解码单元613可以使用相同的标记或参数(例如，与图像的处理关联的语法元素等)来执行解码(也就是说，可以共享标记或参数)，则可以抑制编码效率的降低。

<第四实施方式>

(至分层图像编码/分层图像解码的应用)

上述处理可以应用至分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)。图33示出了分层图像编码方案的一个示例。

分层图像编码以预测参数具有相对于图像数据的可伸缩功能的方式来将(层)图像分层地划分成多个层，以及对每一层进行编码。分层图像解码(可伸缩解码)是与分层图像编码对应的解码。

如在图33中所示，在图像的分层中，第一图像在具有可伸缩功能的预定参数用作参考的情况下被划分成多个图像(层)。换言之，分层地划分的图像(分层图像)包括预定参数的值彼此不同的多个图像(层)。分层图像的多个层由基本层和非基本层(也被称为增强层)构成，在不使用任何其他层的情况下仅对基本层的图像进行编码/解码，使用任何其他层中的图像对非基本层的图像进行编码/解码。针对非基本层，可以使用基本层的图像，并且可以使用任何其他非基本层的图像。

通常，非基本层以降低冗余的方式由非基本层自身的图像和非基本图像自身的图像与任何其他层的图像之间的差图像数据(差数据)构成。例如，在第一图像被分层地划分成两层的情况下：基本层和非基本层(也被称为增强层)，仅用基本层的数据获得具有相比原始图像而言较差的质量的图像，以及通过将基本层的数据和非基本层的数据进行组合来获得原始图像(也就是说，高质量图像)。

通过用这种方式对图像进行分层，可以取决于情况容易地获得具有各种质量等级的图像。也就是说，例如，可以向具有受限的处理性能的终端例如便携式电话传输图像传输仅基本层的图像压缩信息。可替选地，可以向具有较高处理性能的终端例如电视机或个人计算机传输除了基本层的图像压缩信息之外的增强层的图像压缩信息，电视机或个人计算机对具有较低空间分辨率和时间分辨率或具有较低质量的动态图像进行再现。可替选地，可以传输来自服务器的取决于网络的终端的性能的图像压缩信息，如在不执行转码处理的情况下对具有较高空间分辨率和时间分辨率或具有较高质量的动态图像进行再现的情况。

在如图33的示例中对分层图像进行编码/解码的情况下，每一层的图像被编码/解码，但是根据上述第一实施方式的方法可以应用于针对每一层的编码/解码。当针对每一层进行编码/解码时，可以改善增强层与分辨率信息之间的默认映射。因此，提高了编码效率。

此外，在针对每一层进行编码/解码时，可以共享所描述的根据第一实施方式的方法中使用的标记或参数。更具体地，例如，可以在针对每一层进行编码/解码时共享作为编码信息的VPS、SPS等。当然，在针对每一层进行编码/解码时还可以共享除了这些标记或参数之外的信息。

当在针对每个视图进行编码/解码中共享标记或参数时，可以减少冗余信息传输的次数，以及可以减少要传输的信息的量(编码的量)(换言之，可以抑制编码效率的降低)。

(可伸缩参数)

在分层图像编码/分层图像解码(可伸缩编码/可伸缩解码)中，具有可伸缩功能的参数是任意的。例如，图34中示出的空间分辨率可以被设置成这样的参数(空间可伸缩)。在空间可伸缩的情况下，图像的分辨率从从一层至另一层而改变。换言之，在这种情况下，如在图34中所示，每个图片被分层地划分成两层：具有相比原始图像而言较低的空间分辨率的基本层和通过结合基本层获得原始空间分辨率的增强层。当然，在这种情况下的层的数量是一个示例，以及图像可以被分层地划分层任意数量的层。

而且，此外，如在图35中所示，时间分辨率例如可以应用为具有这样的可伸缩性(时间可伸缩性)的参数。在时间可伸缩的情况下，帧率从一层至另一层而改变。换言之，在这种情况下，如在图35中所示，每个图片被分层地划分成两层：具有相比原始动态图像而言较低的帧率的基本层和通过结合基本层获得原始帧率的增强层。当然，在这种情况下的层的数量是一个示例，以及图像可以被分层地划分层任意数量的层。

此外，例如，信噪比(SNR)可以应用为具有这样的可伸缩性(SNR 伸缩性)的参数。在SNR可伸缩的情况下，SNR从一层至另一层而改变。换言之，在这种情况下，如在图36中所示，每个图片被分层地划分成两层：具有相比原始图像而言较低的SNR的基本层和通过结合基本层获得原始SNR的增强层。当然，在这种情况下的层的数量是一个示例，以及图像可以被分层地划分层任意数量的层。

当然，具有可伸缩性的参数可以是处理上述示例之外的参数。例如，位深度可以用作具有可伸缩性(位深度可伸缩性)的参数。在位深度可伸缩的情况下，位深度从一层至另一层而改变。在这种情况下，例如，基本层由8位图像组成，以及通过将增强层添加至8位图像，可以获得10位图像。

此外，色度格式也可以用作具有可伸缩性(色度可伸缩性)的参数。在色度可伸缩的情况下，色度格式从一层至另一层而改变。在这种情况下，例如，基本层由以4:2:0格式的分量图像构成，以及通过将增强层添加到以4:2:0格式的分量图像，可以获得以4:2:2格式的分量图像。

(分层图像编码装置)

图37是示出了执行上述分层图像编码方案的分层图像编码装置的图。如在图37中所示，分层图像编码装置620具有：编码单元621、编码单元622以及复用单元623。

编码单元621对基本层图像进行编码，以及生成基本层图像码流。编码单元622对非基本层图像进行编码，以及生成非基本层图像码流。复用单元623对在编码单元621中生成的基本层码流和在编码单元622中生成的非基本层码流进行复用，以及生成分层图像码流。

可以使用编码装置10(图18中)代替分层图像编码装置620的编码单元621和编码单元622。换言之，可以改善增强层与分辨率信息之间的默认映射。此外，因为编码单元621和编码单元622两者都可以使用相同的标记或参数(例如，与图像的处理关联的语法元素等)来执行控制例如针对帧内预测的滤波处理(也就是说，可以共享标记或参数)，则可以抑制编码效率的降低。

(分层图像解码装置)

图38是示出了执行上述分层图像解码的分层图像解码装置的图。如在图38中所示，分层图像解码装置630具有：解复用单元631、解码单元632以及解码单元633。

解复用单元631对基本层图像码流和非基本层图像码流被复用的分层图像码流进行解复用，以及提取基本层图像码流和非基本层图像码流。解码单元632对由解复用单元631提取的基本层图像码流进行解码，以及获取基本层图像。解码单元633对由解复用单元631提取的非基本层图像码流进行解码，以及获取非基本层图像。

可以使用解码装置110(图24中)代替分层图像解码装置630的解码单元632和解码单元633。换言之，可以改善增强层与分辨率信息之间的默认映射。此外，因为解码单元612和解码单元613两者都可以使用相同的标记或参数(例如，与图像的处理关联的语法元素等)来执行解码(也就是说，可以共享标记或参数)，则可以抑制编码效率的降低。

<第五实施方式>

(电视装置的配置示例)

图39是示出了应用本公开内容的电视装置的示意性配置。电视装置 900具有：天线901、调谐器902、解复用器903、解码器904、图像信号处理单元905、显示单元906、语音信号处理单元907、扬声器908以及外部接口单元909。此外，电视装置900具有控制单元910、用户接口单元911等。

调谐器902在扫描在天线901中接收的广播波信号时调谐至期望的信道，执行解码，以及将所获得的编码比特流输出至解复用器903。

解复用器903从编码比特流中提取观看目标的程序的图像包或语音包，以及将所提取的包中的数据输出至解码器904。此外，解复用器903 将数据的包例如电子节目指南(EPG)提供至控制单元910。此外，在执行扰码的情况下，在解复用器中执行对扰码的取消等。

解码器904对包执行解码处理，以及将通过解码处理生成的图像数据和语音数据相应地提供至图像信号处理单元905和语音信号处理单元 907。

图像信号处理单元905根据对图像数据的用户设置来执行噪声移除或图像处理等。图像信号处理单元905在程序上生成在显示单元906上显示的图像数据，基于经由网络等提供的应用来处理图像数据。此外，图像信号处理单元905生成用于显示菜单画面的图像数据等，以及将所生成的图像数据叠加到程序的图像数据上，根据菜单画面选择条目等。图像信号处理单元905基于用这种方式生成的图像数据来生成驱动信号，从而驱动显示单元906。

显示单元906基于来自图像信号处理单元905的驱动信号来驱动显示装置(例如，液晶显示装置等)，从而在程序上显示图像等。

语音信号处理单元907执行预定处理例如对语音数据的噪声移除，对处理后的语音数据执行D/A转换或放大处理，以及通过将结果提供至扬声器908来执行语音输出。

外部接口单元909是用于建立至外部装置或网络的连接的接口，以及执行对图像数据、语音数据等的数据传输和接收。

用户接口单元911被连接至控制单元910。用户接口单元911配置有操作开关、远程控制信号接收单元等，以及将根据用户操作的操作信号提供至控制单元910。

控制单元910配置有中央处理单元(CPU)、存储器等。存储器存储：由CPU执行的程序、或者针对由CPU执行处理需要的各条数据、EPG 数据、经由网络获得的数据等。由CPU以预定定时例如在电视装置900 开始操作时读取存储在存储器中的程序，从而执行所述程序。通过执行所述程序，CPU以电视装置900根据用户操作来操作的方式控制每个单元。

此外，电视装置900中设置有：用于将调谐器902、解复用器903、图像信号处理单元905、语音信号处理单元907、外部接口单元909等连接至控制单元910的总线912。

在用这种方式配置的电视装置中，解码器904配备有根据本申请的解码装置(解码方法)的功能。为此，在对码流的解码处理中，可以改善增强层与分辨率信息之间的默认映射。

<第六实施方式>

<便携式电话的配置示例>

图40示出了应用本公开内容的便携式电话的示意性配置。便携式电话920具有：通信单元922、语音编码解码器923、相机单元926、图像处理单元927、解复用单元928、记录与再现单元929、显示单元930以及控制单元931。这些单元彼此通过总线933连接。

此外，天线921连接至通信单元922，以及扬声器924和麦克风925 连接至语音编码解码器923。此外，操作单元932连接至控制单元931。

便携式电话920在各种模式下例如语音通信模式和数据图像模式下执行各种操作，例如对语音信号的传输和接收、对电子邮件或图像数据的传输和接收、图像捕获、以及数据记录。

在语音通信模式下，在语音编码解码器923中对在麦克风925中生成的语音信号执行至语音数据的转换或数据压缩，因此，所产生的语音信号被提供至通信单元922。通信单元922对语音数据等执行调制处理、频率转换处理，以及生成传输信号。此外，通信单元922将传输信号提供至天线921以传输至未示出的基站。此外，通信单元922对在天线921处接收的接收信号执行放大处理或频率转换处理，对所接收的信号执行解调处理等，以及将所获得的语音数据提供至语音编码解码器923。语音编码解码器923对语音数据执行数据解压缩或者将语音数据转换成模拟语音信号，以及将转换的结果输出至扬声器924。

此外，在数据通信模式下，执行邮件传输的情况下，控制单元931 接收通过对操作单元923进行操作输入的文本数据，从而在显示单元930 上显示被输入的文本。此外，控制单元931基于用户指令等在操作单元 932中生成邮件数据，以及将所生成的邮件数据提供至通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，从天线921传输所获得的传输信号。此外，通信单元922对在天线921中接收的接收信号执行放大处理或频率转换处理，对所接收的信号执行解调处理等，以及恢复邮件数据。邮件数据被提供至显示单元930，以及执行对邮件内容的显示。

此外，在便携式电话920中，可以在记录与再现单元929中的存储介质上存储所接收的邮件数据。存储介质是任意可重写存储介质。例如，存储介质是半导体存储器如RAM、嵌入式闪速存储器等；或可移除介质如硬盘、磁盘、光学磁盘、光盘、通用串行总线(USB)存储器、或存储器卡。

在数据传输模式下传输图像数据的情况下，在相机单元926中生成的图像数据被提供至图像处理单元927。图像处理单元927对图像数据执行编码处理，以及生成编码数据。

解复用单元928以预定方案对在图像处理单元927中生成的编码数据和从语音编码解码器923提供的语音数据进行复用，从而将复用的结果提供至通信单元922。通信单元922对经复用的数据执行调制处理或频率转换处理等，以及从天线921传输所获得的传输信号。此外，通信单元922 对在天线921中接收的接收信号执行放大处理或频率转换处理，对所接收的信号执行解调处理等，以及恢复经复用的数据。经复用的数据被提供至解复用单元928。解复用单元928对经复用的数据执行解复用，以及将编码数据和语音数据相应地提供至图像处理单元927和语音编码解码器 923。图像处理单元927对编码数据执行解码处理，以及生成图像数据。图像数据被提供至显示单元930，以及执行对所接收的图像的显示。语音编码解码器923将语音数据转换成模拟语音信号，将经转换的语音数据提供至扬声器924，以及输出所接收的语音。

在用这种方式配置的便携式电话装置中，图像处理单元927配备有根据本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以改善增强层与分辨率信息之间的默认映射。

<第七实施方式>

(记录与再现装置的配置示例)

图41示出了应用本公开内容的记录与再现装置的示意性配置。记录与再现装置940在记录介质上记录例如所接收的广播节目的音频数据和视频数据，以及将所记录的数据以根据用户指令的定时提供给用户。此外，例如，记录与再现装置940可以从不同的装置获得音频数据和视频数据，以及可以在记录介质上记录所获得的音频数据或视频数据。此外，记录与再现装置940通过对记录在记录介质上的音频数据或视频数据进行解码和输出来在显示器装置等上执行图像显示或语音输出。

记录与再现装置940具有：调谐器941、外部接口单元942、编码器 943、硬盘驱动(HDD)单元944、磁盘驱动器945、选择器946、解码器 947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。

调谐器941在对未示出的天线中接收的广播波信号进行扫描时调谐至期望的信道。调谐器941向选择器946输出通过对在期望的信道上所接收的信号进行解调获得的编码比特流。

外部接口单元942配置有IEEE 1394接口、网络接口单元、USB接口、闪速存储器、接口等中的至少之一。外部接口单元942是用于建立至外部装置或网络、存储器卡等的连接的接口，以及外部接口单元942执行对待记录的数据例如图像数据或语音数据的接收。

当没有对从外部接口单元942提供的图像数据或语音数据进行编码时，编码解码器943使用预定方案执行编码，以及将编码比特流输出至选择器946。

HDD单元944在内置式硬盘中记录内容数据例如图像或语音、各种程序或其他各条数据，以及在重现这些数据时从硬盘读取这些数据。

磁盘驱动器945对安装的光盘上的信号执行记录和再现。光盘例如包括：DVD磁盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、 DVD+RW等)、蓝光(注册商标)盘等。

当记录图像或声音时，选择器946从调谐器941和编码器943两者中任一个种选择码流，以及将所选择的编码比特流提供至HDD单元944和磁盘驱动器945中任一个。此外，当再现图像或声音时，选择器946将从 HDD单元944或磁盘驱动器945输出的编码比特流提供至解码器947。

解码器947对编码比特流执行解码处理。解码器947将通过执行解码处理生成的图像数据提供至OSD单元948。此外，解码器947输出通过执行解码处理生成的语音数据。

OSD单元948生成用于显示菜单画面的图像数据等，以及将所生成的图像数据叠加到从解码器947输出的图像数据上以输出，根据菜单画面来选择条目等。

用户接口单元950被连接至控制单元949。用户接口单元950配置有操作开关、远程控制信号接收单元等，以及将根据用户操作的操作信号提供至控制单元949。

控制单元949配置有CPU、存储器等。存储器存储由CPU执行的程序或针对CPU执行处理需要的各条数据。由CPU以预定定时例如在记录与再现装置940开始操作时读取存储在存储器中的程序，从而执行所述程序。通过执行所述程序，CPU以记录与再现装置940根据用户操作来操作的方式控制每个单元。

在用这种方式配置的记录与再现装置中，编码器943配备有根据本申请的编码装置(编码方法)的功能。因此，在对码流的编码中，可以改善增强层与分辨率信息之间的默认映射。此外，解码器947配备有根据本申请的解码装置(解码方法)的功能。因此，在对码流的解码处理中，可以改善增强层与分辨率信息之间的默认映射。

<第八实施方式>

(成像装置的配置示例)

图42示出了应用本公开内容的成像装置的示意性配置。成像装置960 对拍摄对象进行成像，在显示单元上显示拍摄对象的图像，以及在记录介质上将图像记录为图像数据。

成像装置960具有：光学块961、成像单元962、相机信号处理单元 963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。此外，用户接口单元971连接至控制单元970。此外，图像数据处理单元964或外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972彼此连接。

光学块961配置有聚焦透镜、孔机构等。光学块961使在成像单元 962的成像表面上形成拍摄对象的光学图像。成像单元962配置有CCD 或CMOS图像传感器，通过执行光的转换根据光学图像生成电信号，以及将所生成的电信号提供至相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理任务，例如拐点校正或伽玛校正以及颜色校正。相机信号处理单元963将已经执行了相机信号处理的图像数据提供至图像数据处理单元 964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据执行编码处理。相机数据处理单元将通过执行编码处理生成的编码数据提供至外部接口单元966或介质驱动器968。此外，图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理生成的图像数据提供至显示单元965。此外，图像数据处理单元964执行将从相机信号处理单元963提供的图像数据提供至显示单元965的处理，或者将从OSD单元969获得的显示数据叠加到图像数据上，以及将叠加的结果提供至显示单元965。

OSD单元969生成显示数据，例如由符号、字符、或图形构成的菜单画面或图标，以及将所生成的显示数据提供至图像数据处理单元964。

外部接口单元966例如配置有USB输入和输出端子等，以及在打印图像的情况下，外部接口单元966连接至打印机。此外，驱动器在需要时连接至外部接口单元966。可移除介质例如磁盘或光盘适当地安装在外部接口单元966中，以及在需要时安装从可移除介质读取的计算机程序。此外，外部接口单元966具有连接至预定网络例如LAN或因特网的网络接口。控制单元970例如可以根据来自用户接口单元971的指令从介质驱动器968读取编码数据，以及可以将从外部接口单元966读取的编码数据提供至通过网络连接至接口单元966的不同装置。此外，控制单元970可以通过外部接口单元966获得经由网络从不同装置提供的编码数据或图像数据，以及可以将所获得的编码数据或所获得的图像数据提供至图像数据处理单元964。

作为由介质驱动器968驱动的记录介质例如任意可读和可写可移除介质如磁盘、光学磁盘、光盘或半导体存储器被使用。此外，记录介质如可移除介质在类型上也是任意的，以及可以是磁带装置，可以是磁盘以及可以是存储卡。当然，记录介质可以是非接触式集成电路(IC)卡等。

此外，介质驱动器968和记录介质可以被结合成一体，以及记录介质可以配置有非便携式存储介质例如嵌入式硬盘驱动器或固态驱动器 (SSD)。

控制单元970可以配置有CPU。存储器单元967存储由控制单元970 执行的程序，针对控制单元970执行处理需要的各条数据等。由控制单元 970以预定定时例如在成像装置960开始操作时读取存储在存储器单元 967中的程序，从而执行所述程序。通过执行所述程序，控制单元970以成像装置960根据用户操作来操作的方式控制每个单元。

在用这种方式配置的成像装置中，图像数据处理单元964配备有根据本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，在对码流的编码或解码中，可以改善增强层与分辨率信息之间的默认映射。

<可伸缩编码的应用示例>

(第一系统)

接下来，描述了经可伸缩编码(层式编码)的编码数据的特定使用的示例。例如，可伸缩编码用于以与在图43中的示例相同的方式选择要传输的数据。

在图43中示出的数据传输系统1000中，分布服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，以及经由网络 1003将可伸缩编码数据分布至终端装置例如个人计算机1004、AV装置 1005、平板装置1006以及便携式电话1007。

在这样的情况下，分布服务器1002根据终端装置的性能和通信环境来选择用于传输的适当质量的编码数据。甚至在分布服务器1002不必要地传输高质量数据时，在终端装置中获得高质量图像的可能性也是较低的，存在的问题是：这将引起延迟或溢出的发生。此外，还存在的问题是：将不必要地占通信频带或将不必要地增加终端设备上的负载。反之，甚至在分布服务器1002不必要地传输低质量数据时，存在的问题是：用终端装置将不会获得足够的图像质量。因此，在适当的方式下，分布服务器 1002将存储在可伸缩编码存储单元1001中的可伸缩编码数据读取为具有适于终端装置的性能或通信环境的环境的编码数据，以及传输这样的编码数据。

例如，可伸缩编码数据存储单元1001被设置成存储经可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层的编码数据，以及是可以被解码成基本层的图像和增强层的图像的数据。

分布服务器1002根据要传输数据的终端设备的性能、通信环境等来选择适当的层，以及读取这样的层的数据。例如，针对具有增强的处理性能的个人计算机1004或平板装置1006，分布服务器1002从可伸缩编码数据存储单元1011读取高质量可伸缩编码数据(BL+EL)1011，以及按照编码数据被读取的方式来传输高质量可伸缩编码数据(BL+EL)1011。反之，例如，针对具有受限处理性能的AV装置1005或便携式电话1007，分布处理器1002从可伸缩编码数据(BL+EL)1011中提取基本层的数据，以及传输基本层的数据作为可伸缩编码数据(BL)1012，可伸缩编码数据(BL)1012具有与可伸缩编码数据(BL+EL)1011的内容数据相同的内容数据，但是具有比可伸缩编码数据(BL+EL)1011的质量低的质量。

因为以这种方式可以通过使用可伸缩编码数据容易地调整数据的量，则可以减少发生延迟或溢出的次数，或者可以抑制终端装置或通信介质上的负载的不必要的增加。此外，因为在可伸缩编码数据(BL+EL)1011 的情况下，降低了层之间的冗余，则可以比在每一层的编码数据被设置成单个数据的情况下减少更多的可伸缩编码数据(BL+EL)1011的量。因此，可以更高效地使用可伸缩编码数据存储单元1001的存储区域。

此外，因为各种装置例如个人计算机1004至便携式电话1007可以用作终端装置，则终端装置的硬件性能根据装置而改变。此外，因为终端装置还执行各种应用，则终端装置的软件性能相应地改变。此外，由于可以使用操作为通信介质的网络1003，例如有线或无线网络，如因特网或局域网(LAN)、或所谓的包括有线和无线网络的通信线路网络，则网络1003 的数据传输性能相应地改变。此外，存在的问题是：数据传输性能将同样地由于其他通信而改变。

然后，分布服务器1002可以在开始传输数据之前，以下述方式与数据被指定的终端装置进行通信：获得与终端装置的性能例如终端装置的硬件性能、由终端装置执行的应用程序(软件)等有关的信息以及与通信环境例如网络1003可用的带宽等有关的信息。然后，分布服务器1002可以基于用这种方式获得的信息来选择适当的层。

此外，可以在终端装置中执行层提取。例如，个人计算机1004可以对所传输的可伸缩编码数据(BL+EL)1011进行解码，以及可以显示基本层的图像和显示增强层的图像。此外，例如，个人计算机1004可以从所传输的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012，以及可以存储所提取的可伸缩编码数据(BL)1012，将所提取的可伸缩编码数据(BL)1012传输至不同的装置，或者对所提取的可伸缩编码数据(BL)1012进行解码以显示基本层的图像。

当然，所有的可伸缩编码数据存储单元1001、分布服务器1002、网络1003以及终端装置在数量上是任意的。此外，在上述示例中，分布服务器1002将数据传输至终端装置，但是使用的示例不限于此。在经可伸缩编码的编码数据被传输至终端装置的情况下，根据终端装置的性能、通信环境等选择和传输适当层的任何任意系统都可以用作数据传输系统1000。

(第二系统)

此外，可伸缩编码例如可以用于以与图44中的示例相同的方式通过多个通信介质传输。

在图44中所示的数据传输系统1100中，广播站1101通过地面广播 1111传输基本层的可伸缩编码数据(BL)1121。此外，广播站1101经由下述任意网络1112传输增强层的可伸缩编码数据(EL)1122(例如，可伸缩编码数据(EL)12被分组和传输)，所述任意网络1122配置有作为有线或无线的通信网络或有线和无线两者的通信网络。

终端装置1102具有接收通过广播站1101广播的地面广播1111的功能和接收通过地面广播1111传输的基本层的可伸缩编码数据(BL)1121 的功能。此外，终端装置1102还具有经由网络1112进行通信的功能，以及接收经由网络1112传输的增强层的可伸缩编码数据(EL)1122的功能。

终端装置1102例如根据用户指令等对通过地面广播1111获得的基本层的可伸缩编码数据(BL)1121进行解码，从而获得基本层的图像，存储基本层的图像，或者将基本层的图像传输至不同的装置。

此外，终端装置1102例如根据用户指令等将通过地面广播1111获得的基本层的可伸缩编码数据(BL)1121和经由网络1112获得的增强层的可伸缩编码数据(EL)1122进行组合，从而获得可伸缩编码数据(BL+ EL)，通过对可伸缩编码数据(BL+EL)获得增强层的图像，存储可伸缩编码数据(BL+EL)，或者将可伸缩编码数据(BL+EL)传输至不同的装置。

如上所述，可伸缩编码数据例如可以通过根据层不同的通信介质来传输。因此，可以分布负载，以及可以减少发生延迟或溢出的次数。

此外，可以根据情况针对每层来选择传输中使用的通信介质。例如，具有相对较大量的数据的基本层的可伸缩编码数据(BL)1121可以通过具有较宽带宽的通信介质来传输，以及具有相对较少量的数据的增强层的可伸缩编码数据(EL)1122可以通过具有较窄带宽的通信介质来传输。此外，例如，可以取决于针对网络1112可利用的带宽来以可切换的方式确定传输增强层的可伸缩编码数据(EL)1122的通信介质是否被设置成网络1112，或者是否被设置成地面广播1111。当然，这适用于任意层的数据。

通过用这种方式执行控制，还可以抑制针对数据传输的负载的增加。

当然，层的数量是任意的，以及在传输中使用的通信介质的数量也是任意的。此外，作为数据的分布目的地的终端装置1102的数量也是任意的。此外，上面描述了通过广播站1101进行广播的示例，但是使用示例不限于此。将经可伸缩编码的编码数据以层为单位划分成多条数据并且通过多个线路传输多条数据的任何任意系统都可以用作数据传输系统1100。

(第三系统)

此外，以与图45中的示例相同的方式在存储编码数据时使用可伸缩编码。

在图45中所示的成像系统1200中，成像装置1201对通过对拍摄对象1211进行成像获得的图像数据进行可伸缩地编码，以及将经可伸缩编码的图像数据作为可伸缩编码数据(BL+EL)1221提供至可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202将从成像装置1201提供的可伸缩编码数据(BL+EL)1221存储为具有根据情况而不同的质量的数据。例如，在正常操作下，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+ EL)1221中提取基本层的数据，以及以维持低质量的方式将所提取的数据存储为在具有较少量数据的层的可伸缩编码数据(BL)1222。反之，例如，在观察操作中，可伸缩编码数据存储装置1202以维持高质量的方式将可伸缩编码数据(BL+EL)1221存储为具有大量数据的可伸缩编码数据。

当可伸缩编码数据存储装置1202将从成像装置1201提供的可伸缩编码数据(BL+EL)1221存储为具有根据情况而不同的质量的数据时，因为可伸缩编码数据存储装置1202可以以仅在需要时维持高质量的方式来保持图像，则可以抑制数据量的增加同时抑制图像的值由于图像退化而降低，以及可以提高存储区域的使用效率。

例如，成像装置1201被设置成监测相机。在捕获的图像中不存在拍摄的监测目标(例如，侵入者)的情况下(在正常操作期间)，所捕获的图像的内容是不重要的可能性较高，需要优先考虑降低数据的量，以及以维持低质量的方式存储图像数据(可伸缩编码数据)。反之，在所捕获的图像中存在拍摄的监测目标如拍摄对象1211的情况下(在观察操作期间)，因为所捕获的图像的内容是重要的可能性较高，则需要优先考虑质量，以及以维持高质量的方式存储图像数据(可伸缩编码数据)。

此外，例如，通过分析图像数据，可伸缩编码数据存储装置1202可以确定成像装置1201是否处于正常操作或观察操作下。此外，成像装置 1201可以执行确定，以及可以将确定的结果传输至可伸缩编码数据存储装置1202。

此外，确定成像装置1201是否处于正常操作或处于观察操作所根据的基准是任意的，可以被设置成确定基准的图像的内容是任意的。当然，与图像的内容不同的条件可以被设置成确定基准。例如，成像装置1201 可以根据记录的语音的音量或波形以预定时间间隔在正常操作与观察操作之间进行切换，或者根据外部指令例如用户指令来在正常操作与观察操作之间进行切换。

此外，上面描述了成像装置1201在正常操作与观察操作之间切换的示例，但是操作数量是任意的。例如，成像装置1201可以在三个或更多个操作之间例如正常操作、低级观察操作、观察操作以及高级观察操作之间进行切换。然而，成像装置1201在其中切换的操作的上限数量取决于可伸缩编码数据的层的数量。

此外，成像装置1201可以根据情况确定可伸缩编码层的数量。例如，在正常操作期间，成像装置1201可以以维持低质量的方式生成具有较少量数据的基本层的可伸缩编码数据(BL)1222，以及可以将所生成的可伸缩编码数据(BL)1222提供至可伸缩编码数据存储装置1202。此外，例如，在观察操作期间，成像装置1201可以以维持高质量的方式生成具有较多量数据的基本层的可伸缩编码数据(BL+EL)1221，以及可以将所生成的可伸缩编码数据(BL+EL)1221提供至可伸缩编码数据存储装置1202。

作为成像系统1200的示例，上面描述了监测相机，但是成像系统1200 的使用是任意的，以及成像系统1200不限于监测相机。

<第九实施方式>

(其他示例)

上面描述了应用本公开内容的装置、系统等的示例，但是本公开内容不限于此。本公开内容可以被实现为用于安装在上述装置或构成系统的装置中的所有配置，例如处理器像大规模集成(LSI)等、使用多个处理器等的模块、使用多个模块等的单元、通过将其他功能添加至单元而获得的设备等(即，包括装置的一部分的配置)。

(视频设备的配置示例)

将参照图46来描述本技术被实现为设备的情况的示例。图46示出了应用本公开内容的视频设备的示意性配置的一个示例。

近年来，电子装置的多功能化已经有了进展。在开发或制造这样的装置时，装置的一部分的配置被实现时例如在配置被出售或提供的情况下，在大部分情况下，不仅以执行一个功能的方式实现配置，而且配置被实现为配备有可以作为在执行相关功能中的每个功能时组合多个配置的结果的多个功能的设备。

用这种方式，以视频设备1300被多功能化的方式配置在图46中示出的视频设备1300。视频设备1300是具有与对图像的编码或解码关联的功能(该功能可以与编码和解码中任一种关联)的装置和具有与编码或解码关联的功能关联的不同功能的装置的组合。

如在图46中所示，视频设备1300具有：包括视频模块1311的模块组、外部存储器1312、电力管理模块1313和前端模块1314等，以及其中每个均具有相关功能的装置例如连接部1321、相机1322以及传感器 1323。

模块被设置成具有源于对彼此关联的几个基于部件的功能进行分组的一致功能的部件。具体物理配置是任意的，但是作为具体物理配置的示例，考虑到均具有功能的多个处理器、电子电路元件例如电阻器和电容器以及其他器件可以被布置到布线衬底上以组合成一体。此外，还考虑到模块可以被设置成与不同的模块、处理器等进行组合以形成新的模块。

在图46的情况下，视频模块1311被以将与图像处理关联的功能进行组合方式来配置，以及视频模块1311具有应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

处理器是通过构造片上系统例如被称为大规模集成(LSI)等来将具有预定功能的配置集成到半导体芯片中产生的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是使用CPU、ROM、RAM等执行的程序(软件配置)，以及可以是逻辑电路和程序的组合。例如，处理器可以具有逻辑电路以及CPU、ROM、RAM等，以及可以通过逻辑电路 (硬件配置)来实现处理器的一些功能，以及可以通过程序(软件配置) 来实现其他功能。

图46中的应用处理器1331是执行与图像处理关联的应用的处理器。因为通过应用处理器1331执行的应用实现了预定功能，则应用可以不仅执行算术处理，而且还可以控制视频模块1311例如视频处理器1332内部和外部的配置。

视频处理器1332是具有与图像的编码/解码(编码和解码两者中的任一种)关联的功能的处理器。

宽带调制解调器1333是执行与有线或无线(或有线和无线)宽带通信关联的处理的处理器(或模块)，宽带通信通过宽带线路例如因特网或公共电话线路网来执行。例如，宽带调制解调器1333通过执行数字转换等来将要传输的数据(数字信号)转换成模拟信号，或者通过执行解调将所接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以数字地调制/解调任意信息，例如由视频处理器1332处理的图像数据或对图像数据、应用程序和设置数据进行编码产生的流。

RF模块1334是对通过天线接收和发射的射频(RF)信号执行频率转换、调制与解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。此外，例如，RF模块1334通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。

此外，如由图46中的虚线1341所示，应用处理器1331和视频处理器1332可以被配置成组合到一个处理器中。

外部处理器1312是具有在视频模块1311的外部设置的存储装置的模块并且由视频模块1311使用的模块。可以通过任何物理配置来实现外部存储器1312的存储装置。然而，因为总体上，在大部分情况下，在存储较大量数据例如以帧为单位的图像数据中使用存储装置，期望的是，可以通过相对低价的大容量半导体存储器例如动态随机存取存储器(DRAM) 来实现存储装置。

电力管理模块1313管理和控制至视频模块1311(在视频模块1311 内部的每个配置)的电力的供给。

前端模块1314是向RF模块1334提供前端功能(在天线侧的发射与接收端的电路)的模块。如在图38中所示，例如，前端模块1314具有：天线单元1351、滤波器1352以及放大单元1353。

天线单元1351具有发射和接收无线信号的天线和外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发射，以及将所接收的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352 对通过天线单元1351接收的RF信号执行滤波处理等，以及将处理后的 RF信号提供至RF模块1334。放大单元1353将从RF模块1334提供的 RF信号进行放大，以及将经放大的RF信号提供至天线单元1351。

连接部1321是具有与至外部的连接关联的功能的模块。连接部1321 的物理配置是任意的。例如，连接部1321具有下述配置：具有除了由宽带调制解调器1333支持的通信标准之外的通信功能、外部输入与输出端子等。

例如，连接部1321可以具有：具有与无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi，注册商标)、近场通信(NFC) 以及红外数据协会(IrDA))一致的通信功能的模块、根据这样的无线通信标准发射和接收信号的天线等。此外，例如，连接部1321可以具有：具有与有线通信标准例如通用串行总线(USB)以及高清多媒体接口(HDMI，注册商标)一致的通信功能的模块，或者根据这样的通信标准的端子。此外，例如，连接部1321可以具有其他数据(信号)传输功能，例如模拟输入与输出端子。

此外，连接部1321可以包括作为数据(信号)的传输目的地的装置。例如，连接部1321可以具有驱动器(不仅包括驱动可移除介质的驱动器而且包括硬盘、固态驱动器(SSD)、网络附接存储(NAS)等)，该驱动器对记录介质例如磁盘、光盘、光学磁盘或半导体存储器上的数据进行读取或写入。此外，连接部1321可以具有用于输出图像或语音的装置(监视器、扬声器等)。

相机1322是对拍摄对象进行成像的模块，以及具有获得关于拍摄对象的图像数据的功能。例如，在通过相机1322进行成像的情况下获得的图像数据被提供至视频处理器1332以进行编码。

传感器1323是具有下述任意传感器的功能的模块：例如语音传感器、超声传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾角传感器、磁性识别传感器、冲击传感器或温度传感器。例如，由传感器 1323检测到的数据被提供至应用处理器1331，以及由应用等使用。

以上描述为模块的配置可以被实现为处理器，反之，以上描述为处理器的配置可以被实现为模块。

在具有上述配置的视频设备1300中，本公开内容可以应用到以下描述的视频处理器1332。因此，视频设备1300可以被实现为应用本公开内容的装置。

(视频处理器的配置示例)

图47示出了应用本公开内容的视频处理器1332(图46中)的示意性配置的一个示例。

在图47中的示例的情况下，视频处理器1332具有：输出视频信号和音频信号以及使用预定方案对视频信号和音频信号进行编码的功能；以及对经编码的视频数据和经编码的音频数据进行解码和输出视频信号和音频信号以再现的功能。

如在图47中所示，视频处理器1332具有：视频输入处理单元1401、第一图像放大与缩小单元1402、第二图像放大与缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。此外，视频处理器1332具有：编码/解码引擎1407、视频基本流(ES)缓冲器1408A 和视频ES缓冲器1408B以及音频ES缓冲器1409A和音频ES缓冲器 1409B。此外，视频处理器1332具有：音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。

例如，视频输入处理单元1401获得从连接部1321(图46中)输入的视频信号，以及将所获得视频信号转换成数字图像数据。第一图像放大与缩小单元1402对图像数据执行格式转换或图像放大与缩小处理。第二图像放大与缩小单元1403根据通过视频输出处理单元1404输出的先前格式来对图像数据执行图像放大与缩小处理，或者以和第一图像放大与缩小单元1402相同的方式执行格式转换、图像放大缩小处理等。视频输出处理单元1404对图像数据执行格式转换、至模拟信号的转换等，以及将产生的图像数据作为经再现的视频信号输出至例如连接部1321(图46中)。

帧存储器1405是用于图像数据的存储器，图像数据由视频输入处理单元1401、第一图像放大与缩小单元1402、第二图像放大与缩小单元 1403、视频输出处理单元1404以及编码/解码引擎1407共享。帧存储器 1405被实现为半导体存储器例如DRAM。

存储器控制单元1406从编码/解码引擎1407接收同步信号，以及根据写入访问管理表1406A的用于访问帧存储器1405的计划表来控制至帧存储器1405的读取/写入的访问。由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大与缩小单元1402、第二图像放大与缩小单元 1403等执行的处理任务来更新访问管理表1406A。

编码/解码引擎1407对图像数据执行编码处理，以及对由对图像数据进行编码产生的数据的视频流执行解码处理。例如，编码/解码引擎1407 对从帧存储器1405读取的图像数据进行编码，以及将经编码的图像数据作为视频流顺序地写入视频ES缓冲器1408A。此外，例如，从视频ES 缓冲器1408B顺序地读取视频流以进行解码，以及视频流被作为图像数据顺序地写入帧存储器1405。在这样编码或编码下，编码/解码引擎1407 使用帧存储器1405作为工作区。此外，编码/解码引擎1407以用于开始处理每个宏块的定时来将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，以及将经缓冲的视频流提供至复用器(MUX)1412。视频ES缓冲器 1408B对从解复用器(DMUX)1413提供的视频流进行缓冲，以及将经缓冲的视频流提供至编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，以及将经缓冲的音频流提供至复用单元(MUX)1412。音频ES缓冲器 1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，以及将经缓冲的音频流提供至音频解码器1411。

例如，音频解码器1410对从例如连接部1321(图46中)等输入的音频信号执行数字转换，以及例如，使用预定方案如MPEG音频方案或音频编码号3(AC3)对转换的结果进行编码。音频编码器1410将由对音频信号编码产生的数据的音频流写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，例如执行至模拟信号的转换等，以及将产生的音频流作为所再现的音频信号提供至例如连接部1321(图46中)。

复用器(MUX)1412对视频流和音频流进行复用。该复用方法(即，通过复用生成的比特流的格式)是任意的。此外，在复用的情况下，复用器(MUX)1412可以将预定头部信息等添加至比特流。换言之，复用器 (MUX)1412可以通过复用来转换流格式。例如，复用器(MUX)1412 对视频流和音频流进行复用，从而将复用的结果转换成以传输格式的比特流的传输流。此外，例如，复用器(MUX)1412对视频流和音频流进行复用，从而将复用的结果转换成变为文件格式的数据(文件数据)。

解复用器(DMUX)1413使用与由复用器(MUX)1412进行复用对应的方案来对由复用视频流和音频流产生的比特流进行解复用。换言之，解复用器(DMUX)1413从自流缓冲器1414中读取的比特流中提取视频流和音频流(将视频流与音频流彼此分离)。换言之，解复用器(DMUX) 1413可以通过解复用来转换流的格式(可以对由复用器(MUX)1412进行的转换结果进行逆转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414获得从例如连接部1321、宽带调制解调器1333(两者都在图 46中)等提供的传输流，以及可以通过解复用将所获得的传输流转换成视频流和音频流。此外，例如，解复用器(DMUX)1413可以经由流缓冲器1414例如通过连接部(图46中)获得从各种记录介质中读取的文件数据，以及可以通过解复用将所获得的文件数据转换成视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器 (MUX)1412提供的传输流进行缓冲，以及以预定时间或基于来自外部的请求将经缓冲的传输流提供至例如连接部1321、宽带调制解调器1333 (两者都在图46中)等。

此外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，以及将经缓冲的文件数据以预定的时间或者基于来自外部的请求提供至例如连接部1321等(图46中)以记录在各种记录介质上。

此外，流缓冲器1414对通过例如连接部1321、宽带调制解调器1333 (两者都在图46中)等获得的传输流进行缓冲，以及将经缓冲的传输流以预定时间或基于来自外部的请求提供至解复用器(DMUX)1413。

此外，流缓冲器1414对从例如连接部1321(图46中)上的各种记录介质读取的文件数据进行缓冲，以及将经缓冲的文件数据以预定时间或基于来自外部的请求提供至解复用器(DMUX)1413。

接下来，描述具有该配置的视频处理器1332的操作的示例。例如，从连接部1321(图46 中)等输入至视频处理器133的视频信号被在视频输入处理单元1401中根据预定方案例如4:2:2Y/Cb/Cr方案转换成数字图像数据，以及被顺序地写入帧存储器1405。由第一图像放大与缩小单元 1402或第二图像放大与缩小单元1403读取数字图像数据，以及对数字图像数据执行至预定方案例如4:2:0Y/Cb/Cr方案的格式转换和放大与缩小处理，以及数字图像数据被再次写入帧存储器1405。由编码/解码引擎1407 对图像数据进行编码，以及图像数据被作为视频流写入视频ES缓冲器 1408A。

此外，由音频编码器1410对从连接部1321(图46中)等输入至视频处理器1332的音频信号进行编码，以及所述音频信号被作为音频流写入音频ES缓冲器1409A。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流由复用器(MUX)1412读取并且进行复用，以及被转换成传输流、文件数据等。由复用器(MUX)1412生成的传输流由流缓冲器1414进行缓冲，然后，所述传输流被例如通过连接部1321、宽带调制解调器1333 (两者都在图46中)等输出至外部网络。此外，由复用器(MUX)1412 生成的文件数据由流缓冲器1414进行缓冲，然后，所述文件数据被例如输出至连接部1321(图46中)等以及被记录在各种记录介质上。

此外，例如通过连接部1321或宽带调制解调器1333(两者都在图46 中)从外部网络输入至视频处理器1332的传输流由流缓冲器1414进行缓冲，然后，由解复用器(DMUX)1413对所述传输流进行复用。此外，从各种记录介质中例如在连接部1321(图46中)上等读取并且被输入至视频缓冲器1332的文件数据由流缓冲器1414进行缓冲，然后，由解复用器(DMUX)1413对所述文件数据进行复用。换言之，输入至视频处理器1332的传输流或文件数据被由解复用器(DMUX)1413分成视频流和音频流。

音频流被通过音频ES缓冲器1409B提供至音频解码器1411并且被解码，从而再现音频信号。此外，视频流被写入视频ES缓冲器1408B。在下文中，视频流被编码/解码引擎1407顺序地读取，被解码，以及被写入帧存储器1405。第二图像放大与缩小单元1403对经解码的图像数据执行放大与缩小处理，以及所产生的经解码的图像数据被写入帧存储器1405。然后，由视频输出处理单元1404读取的经解码的图像数据，经解码的图像数据被转换成根据预定方案例如4:2:2Y/Cb/Cr方案的格式，以及被转换成模拟信号。因此，视频信号被输出以再现。

在本公开内容被应用至具有这样配置的视频处理器1332的情况下，根据上述每个实施方式的本公开内容可以应用至编码/解码引擎1407。换言之，例如，编码/解码引擎1407可以具有根据第一实施方式的编码装置或解码装置的功能。当编码/解码引擎1407具有根据第一实施方式的编码装置或解码装置的功能时，视频处理器1332可以获得与以上根据图1至图28所述的视频处理器的效果相同的效果。

此外，在编码/解码引擎1407中，本公开内容(根据上述每个实施方式的图像编码装置或图像解码装置的功能)可以例如通过逻辑电路等以硬件方式实现，以及可以例如通过嵌入式程序等以软件方式实现，以及可以以硬件和软件两种方式来实现。

(视频处理器的其他配置示例)

图48示出了应用本公开内容的视频处理器1332(图46中)的示意性配置的其他示例。在图48中的示例的情况下，视频处理器1332具有使用预定方案对视频数据进行编码/解码的功能。

更具体地，如在图48中所示，视频处理器1332具有：控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332具有：编码解码引擎1516、存储器接口1517、复用器/解复用器(MUX/DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511对视频处理器1332内部的处理单元例如显示接口 1512、显示引擎1513、图像处理引擎1514以及编码解码引擎1516中每个单元的操作进行控制。

如在图48中所示，例如，控制单元1511具有：主CPU 1531、子 CPU1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器 1332内部的每个处理单元的操作的程序等。主CPU 1531根据程序等生成控制信号，以及将所生成的程序提供至每个处理单元(也就是说，控制每个处理单元的操作)。子CPU 1532起辅助CPU 1531处理的作用。例如，子CPU1532执行由主CPU 1531执行的程序的子进程或子例程等。系统控制器1533控制主CPU 1531和子CPU 1532中的每个的操作，例如指定由主CPU 1531和子CPU 1532执行的程序。

在控制单元1511的控制下，显示接口1512将图像数据例如输出至连接部1321(图46中)等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，以及将转换的结果作为再现视频信号或实际上为数字数据的图像数据输出至连接部1321(图46中)的显示器装置等。

在控制单元1511的控制下，显示引擎1513以符合对图像进行显示的显示器装置的硬件规范的方式对图像数据执行各种转换处理任务，例如格式转换、尺寸转换以及色域转换。

在控制单元1511的控制下，图像处理引擎1514对图像执行预定图像处理例如用于改善图像质量的文件处理。

内部存储器1515是由显示引擎1513、图像处理引擎1514以及编码解码引擎1516共享的存储器，以及被设置在视频处理器1332的内部。内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编码解码引擎1516之间执行的对数据的传输和接收。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编码解码引擎1516提供的数据，以及无论何时需要时(例如，响应于请求)将这样的数据提供至显示引擎 1513、图像处理引擎1514或编码解码引擎1516。可以通过任何存储装置实现内部存储器1515。然而，因为总体上，在大部分情况下，内部存储器1515用于存储少量的数据，例如以块为单位的图像数据或参数，期望的是，例如，可以通过具有相对较小容量(例如，与外部存储器1312相比时)但是具有较快响应速度的半导体存储器例如静态随机存取存储器 (SRAM)来实现内部存储器1515。

编码解码引擎1516执行与对图像数据的编码或解码关联的处理。由编码解码引擎1516支持的编码/解码方案是任意的，以及编码/解码方案的数量可以是1个或2个或更多个。例如，编码解码引擎1516可以包括根据编码/解码方案的多个编码解码功能，以及可以使用选自多个功能中的一个功能来对图像数据执行编码或对编码数据执行解码。

在图48的示例中，例如，编码解码引擎1516具有：MPEG-2视频 1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可缩放)1544、 HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为用于与编码解码关联的处理的功能块。

MPEG-2视频1541是使用MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.2641542是使用AVC方案对图像数据进行编码或解码的功能块。HEVC/H.2641543是使用HEVC方案对图像数据进行编码或解码的功能块。HEVC/265(可缩放)1544时使用HEVC方案对图像数据进行可伸缩编码或对图像数据进行可伸缩解码的功能块。HEVC/H.265 (多视图)1545是使用HEVC方案以多视图方式对图像数据进行编码或以多视图方式对图像数据进行解码的功能块。

MPEG-DASH 1551是通过HTTP(DASH)方案使用MPEG动态自适应流来传输和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)执行对视频的流化的技术，以及MPEG-DASH的一个特征是以段为单位从具有不同的预准备的分辨率等的多条编码数据中选择适当的一条编码数据，并且传输该条编码数据。MPEG-DASH 1551根据标准执行对流的生成的控制，对流的传输的控制等，以及使用上述 MPEG-2视频1541至HEVC/H.265(多视图)1545以对图像数据进行编码/解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎 1514或编码解码引擎1516提供的数据被通过存储器接口1517提供至外部存储器1312。此外，从外部存储器1312读取的数据被通过存储器接口 1517提供至视频处理器1332(图像处理引擎1514或编码解码引擎1516)。

复用器/解复用器(MUX/DMUX)1518对于图像关联的各条数据例如编码数据的比特流、图像数据、或视频信号执行复用或解复用。复用/ 解复用方法是任意的。例如，在复用的情况下，复用器/解复用器 (MUX/DMUX)1518不仅可以将多条数据布置成一条数据，而且可以将预定头部信息等附加至一条数据。此外，在解复用的情况下，复用器/解复用器(MUX/DMUX)1518可以不仅将一条数据划分成多条数据,而且可以将预定头部信息附加至由划分产生的每条数据。换言之，复用器/解复用器(MUX/DMUX)1518可以通过复用/解复用来转换数据格式。例如，通过对比特流进行复用，复用器/解复用器(MUX/DMUX)1518可以将比特流转换成以用于传输的格式的比特流的传输流，或者转换成以用于记录的文件格式的数据(文件数据)。当然，还可以通过解复用对比特流进行逆复用。

例如，网络接口1519是至宽带调制解调器1333、连接部1321(两者都在图46中)等的接口。例如，视频接口1520是至连接部1321、相机 1322(两者都在图38中)等的接口。

接下来，描述视频处理器1332的操作的示例。例如，当通过外部网络例如从连接部1321或宽带调制解调器1333(两者都在图38中)接收传输流时，传输流被通过网络接口1519提供至复用器/解复用器 (MUX/DMUX)1518，传输流被解复用器以及被通过编码解码引擎1516 解码。例如，图像处理引擎1514对通过由编码解码引擎1516进行解码获得的图像数据执行预定图像处理，显示引擎1513对产生的图像数据执行预定转换，以及产生的图像数据被通过显示接口1512提供至连接部1321 (图46中)等。因此，产生的图像数据的图像被显示在监视器上。此外，例如，通过由编码解码引擎1516进行解码获取的图像数据再次由编码解码引擎1516进行编码，以及由复用器/解复用器(MUX/DMUX)1518进行复用，被转换成文件数据，被通过视频接口1520输出至例如连接部1321 (图46中)，以及被记录在各种记录介质上。

此外，例如，通过连接部1321(图46中)等从未示出的记录介质中读取的、由对图像数据进行编码产生的编码数据的文件数据被通过视频接口1520提供至复用器/解复用器(MUX/DMUX)1518，被解复用，以及被由编码解码引擎1516解码。图像处理引擎1514对通过由编码解码引擎 1516进行解码获得的图像数据执行预定图像处理，显示引擎1513对产生的图像数据执行预定转换，以及产生的图像数据被通过显示接口1512提供至例如连接部1321(图46中)等。因此，产生的图像数据的图像被显示在监视器上。此外，例如，通过由编码解码引擎1516进行解码获取的图像数据再次由编码解码引擎1516编码，以及由复用器/解复用器 (MUX/DMUX)1518进行复用，被转换成传输流，被通过网络接口1519 输出至例如连接部1321、宽带调制解调器1333(两者都在图46中)等，以及被传输至未示出的不同装置。

此外，例如，使用内部存储器1515或外部存储器1312执行在视频处理器1332内部的每个处理单元之间的图像数据和其他条数据的传输和接收。此外，例如，电力管理模块1313控制至控制单元1511的电力供给。

在本公开内容被应用至具有这样配置的视频处理器1332的情况下，根据上述每个实施方式的本公开内容可以应用至编码解码引擎1516。换言之，例如，编码解码引擎1516可以具有实现根据第一实施方式的编码装置或解码装置的功能块。此外，例如，当编码解码引擎1516具有以这种方式实现根据第一实施方式的编码装置或解码装置的功能块时，视频处理器1332可以获得与参照图1至图28描述的视频处理器的效果相同的效果。

此外，在编码解码引擎1516中，本公开内容(根据上述每个实施方式的图像编码装置或图像解码装置的功能)可以例如通过逻辑电路等以硬件方式实现，以及可以例如通过嵌入式程序等以软件方式实现，以及可以以硬件和软件两种方式来实现。

以上示出了视频处理器1332的配置的两个示例，但是视频处理器 1332的配置是任意的，以及除了上述两个示例之外的示例也是可以的。此外，视频处理器1332可以配置有一个半导体芯片，但是也可以配置有多个半导体芯片。例如，视频处理器1332可以是由沉积多个半导体产生的三维分层LSI。此外，可以由多个LSI实现视频处理器1332。

<装置的应用示例>

视频设备1300可以嵌入到处理图像数据的各种装置中。例如，视频设备1300可以嵌入到电视装置900(图39中)、便携式电话920(图40 中)、记录/再现装置940(图41中)、成像装置960(图42中)等中。嵌入有视频设备1300的装置可以获得与以上参照图1至图28描述的装置的效果相同的效果。

此外，视频设备1300可以嵌入到例如图43中的数据传输系统1000 中的终端装置中，例如个人计算机1004、AV装置1005、平板装置1006、以及便携式电话1007、图44中的数据传输系统1100中的广播站1101和终端装置1102、以及在图45中的成像系统1200中的成像装置1201和可伸缩编码数据存储装置1202等。嵌入有视频设备1300的装置可以获得与以上参照图1至图28描述的装置的效果相同的效果。

此外，如果上述视频设备1300的每个配置的任意部分都包括视频处理器1332，则视频设备1300可以实现为应用本公开内容的配置。例如，仅视频处理器1332可以被实现为应用本公开内容的视频处理器。此外，例如，如上所示由虚线1341指示的处理器、视频模块1311等可以实现为应用本公开内容的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314的组合可以被实现为应用本公开内容的视频单元1361。甚至在任意配置的情况下，也可以获得与参照图1至图28描述的配置的效果相同的效果。

换言之，在包括视频处理器1332的任意配置中，视频处理器1332 可以与视频设备1300的情况一样被嵌入到处理图像数据的各种装置中。例如，由虚线1341指示的视频处理器1332、处理器、视频模块1311或视频单元1361可以被嵌入到电视装置900(图39中)、便携式电话920 (图40中)、记录与再现装置940(图41中)、成像装置960(图42中)、图43中的数据传输系统1000的中的终端装置(例如个人计算机1004、 AV装置1005、平板装置1006以及便携式电话1007)、图44中的数据传输系统1100中的广播站1101和终端装置1102、图45中的成像系统1200 中的成像装置1201和可伸缩编码数据存储装置1202等。然后，与视频设备1300的情况一样，嵌入有应用本公开内容的任何配置的装置可以获得与以上参照图1至图28描述的装置的效果相同的效果。

此外，在本说明书中，描述了下述示例：各条信息例如VPS和SPS 被复用到编码数据上以及被从编码侧传输至解码侧。然而，传输各条信息的技术不限于这样的示例。例如，在不被复用到编码数据上的情况下，各条信息可以被传输或记录为与编码数据关联的单条数据。在此，短语“与... 关联”意为包括在与图像对应的比特流和信息中的图像(其可以是图像的一部分例如片或块)可以在解码时彼此关联。也就是说，信息可以在独立于编码数据的传输路径上传输。此外，信息可以被记录在独立于编码数据的记录介质上(或者相同记录介质上的单独的记录区域)。此外，信息和编码数据例如可以以任意单位如以多个帧为单位、以一个帧为单位或者以帧的一部分为单位来彼此关联。

此外，在本说明书中，无论所有组成元素是否都在相同的壳体中，系统都意为多个组成元素(装置、模块(部件)等)的组装。因此，分别在不同壳体中并且经由网络彼此连接的多个装置是系统，以及多个模块包括在一个壳体中的一个装置也是系统。

本说明书中描述的效果仅是为了说明，因此，不限于该说明，并且可以存在其他效果。

根据本公开内容的实施方式不限于上述实施方式，以及可以在不偏离本公开内容的主旨的范围内进行各种修改。

例如，本公开内容还可以应用于使用除了HEVC方案之外的编码方案的编码装置或解码装置，所述编码装置或解码装置能够执行变换略过 (transformation skipping)。

此外，本公开内容可以应用到在通过网络介质例如卫星广播、有线 TV、因特网或便携式电话来接收码流的情况下使用的编码装置或解码装置，或者可以应用到在存储介质例如光盘、磁盘或闪速存储器上执行处理的情况下使用的编码装置或解码装置。

例如，根据本公开内容，可以采用经由网络在多个装置之间共享一个功能和通过多个装置共同处理一个功能的云计算配置。

此外，参照流程图描述的每个步骤除了由一个装置执行之外，可以在多个装置之间共享，以及可以由多个装置共同执行。

此外，在多个处理任务包括在一个步骤中的情况下，包括在一个步骤中的多个处理任务除了由一个装置执行之外，可以在多个装置中被共享，以及可以由多个装置共同执行。

以上参照附图详细地描述了根据本公开内容的适当的实施方式，但是本公开内容不限于这样的示例。对在每个权利要求的范围中描述的技术思想的范围内的各种改变示例或修改示例的构思对于与本公开内容相关的技术领域的普通技术人员是明显的，因此，这些改变示例或修改示例无可非议地被解释为落入本公开内容的技术范围中。

此外，根据本技术，可以采用以下配置。

(1)一种图像编码装置，包括：电路，所述电路被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；以及

对所述图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

(2)根据(1)所述的图像编码装置，其中，在所述候选的数量比所述层的数量多的情况下，以在先候选开始设置所述分辨率信息与所述增强层之间的所述对应关系。

(3)根据(1)或(2)所述的图像编码装置，其中，在存在多个候选的情况下，将所述信息设置为指示所述分辨率信息与所述增强层之间是否存在所述对应关系。

(4)根据(1)至(3)中任一项所述的图像编码装置，其中，在所述候选的数量是1的情况下，禁止序列参数集中所述分辨率信息与所述增强层之间的所述对应关系的更新。

(5)一种图像编码方法，包括：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；以及对所述图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

(6)一种图像解码装置，包括：电路，所述电路被配置成：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，所述对应信息在层的数量比针对关于所述图像的层的所述分辨率信息的多个候选的数量多的情况下被设置；以及使用所提取的与所述分辨率信息和所述增强层之间的所述对应关系有关的信息来对所述比特流进行解码。

(7)根据(6)所述的图像解码装置，其中，在所述候选的数量比所述层的数量多的情况下，以在先候选开始设置所述分辨率信息与所述增强层之间的所述对应关系。

(8)根据(6)或(7)所述的图像解码装置，其中，在存在多个候选的情况下，将所述信息设置为指示所述分辨率信息与所述增强层之间是否存在所述对应关系。

(9)根据(6)至(8)中任一项所述的图像解码装置，其中，在所述候选的数量是1的情况下，禁止序列参数集中所述分辨率信息与所述增强层之间的所述对应关系的更新。

(10)一种图像解码方法，包括：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，在层的数量比针对关于所述图像的层的所述分辨率信息的多个候选的数量多的情况下，设置所述对应信息；以及使用所提取的与所述分辨率信息和所述增强层之间的所述对应关系有关的信息来对所述比特流进行解码。

(11)一种其上嵌入有程序的非暂态计算机可读介质，当所述程序由计算机执行时使所述计算机执行图像编码方法，所述方法包括：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；以及对所述图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

(12)一种其上嵌入有程序的非暂态计算机可读介质，当所述程序由计算机执行时使所述计算机执行图像解码方法，所述方法包括：从通过对图像进行编码生成的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，其中，在层的数量比针对关于所述图像的层的所述分辨率信息的多个候选的数量多的情况下，设置所述对应信息；以及使用所提取的与所述分辨率信息和所述增强层之间的所述对应关系有关的信息来对所述比特流进行解码。

(13)一种图像编码装置，包括：设置单元，所述设置单元被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；以及编码单元，所述编码单元被配置成：对所述图像进行编码和生成包括与由所述设置单元设置的所述对应关系有关的信息的比特流。

(14)根据(13)所述的图像编码装置，其中，所述设置单元和所述编码单元中的每一个经由至少一个处理器来实现。

(15)根据(13)或(14)所述的图像编码装置，其中，在所述候选的数量比所述层的数量多的情况下，所述设置单元以在先候选开始设置所述分辨率信息与所述增强层之间的所述对应关系。

(16)根据(13)至(15)中任一项所述的图像编码装置，其中，在存在多个候选的情况下，所述设置单元将所述信息设置为指示所述分辨率信息与所述增强层之间是否存在所述对应关系。

(17)根据(13)至(16)中任一项所述的图像编码装置，其中，在所述候选的数量是1的情况下，所述设置单元禁止序列参数集中所述分辨率信息与所述增强层之间的所述对应关系的更新。

(18)一种图像编码装置，包括：电路，所述电路被配置成：在层的数量比针对关于图像的层的分辨率信息的多个候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；自动地将所述层和所述多个候选映射到彼此上；以及对所述图像进行编码和生成包括与所设置的对应关系有关的信息的比特流。

(19)一种图像编码装置，包括：电路，所述电路被配置成：在关于图像的层上的Rep_formats的数量比层的数量少的情况下，设置所述 Rep_formats与增强层之间的对应关系；以及对所述图像进行编码和生成包括与所设置的对应关系有关的信息的比特流，其中，在所述 Rep_formats的数量比所述层的数量少的情况下，以在先候选开始设置所述Rep_formats与所述增强层之间的所述对应关系，以及在所述 Rep_formats与所述层之间执行自动映射。

(20)一种图像编码装置，包括：设置单元，所述设置单元在存在针对关于图像的层的分辨率信息的多个候选，并且所述层的数量比所述候选的数量多的情况下，设置所述分辨率信息与增强层之间的对应关系；编码单元，所述编码单元对图像信息进行编码和生成比特流；以及传输单元，所述传输单元对与由所述设置单元设置的所述对应关系有关的信息和由所述编码单元生成的比特流进行传输。

(21)根据(20)所的图像编码装置，其中，在所述候选的数量比所述层的数量多的情况下，所述设置单元以在先候选开始设置所述分辨率信息与所述增强层之间的所述对应关系。

(22)根据(20)或(21)所述的编码装置，其中，在存在多个候选的情况下，所述设置单元将所述信息设置为指示所述分辨率信息与所述增强层之间是否存在所述对应关系。

(23)根据(20)至(22)中任一项所述的编码装置，其中，在所述候选的数量是1的情况下，所述设置单元禁止序列参数集中所述分辨率信息与所述增强层之间的所述对应关系的更新。

(24)一种图像编码方法，所述图像编码方法使图像编码装置执行：在存在针对关于图像的层的分辨率信息的多个候选，并且所述层的数量比所述候选的数量多的情况下，设置所述分辨率信息与增强层之间的关系；对图像进行编码和生成比特流；以及对与设置的所述对应关系有关的信息和所生成的比特流进行传输。

(25)一种图像解码装置，包括：接收单元，所述接收单元接收由对图像进行编码生成的比特流；提取单元，所述提取单元从由所述接收单元接收的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，所述信息在存在针对关于图像的层的分辨率信息的多个候选并且所述层的数量比所述候选的数量多的情况下被设置；以及解码单元，所述解码单元使用与由所述提取单元提取的、所述分辨率信息和所述增强层之间的所述对应关系有关的所述信息来对由所述接收单元接收的所述比特流进行解码，以及生成所述图像。

(26)根据(25)所述的图像解码装置，其中，在所述候选的数量比所述层的数量多的情况下，以在先候选开始设置所述分辨率信息与所述增强层之间的所述对应关系。

(27)根据(25)或(26)所述的图像解码装置，其中，在存在多个候选的情况下，将所述信息设置为指示所述分辨率信息与所述增强层之间是否存在所述对应关系。

(28)根据(25)至(27)中任一项所述的图像解码装置，其中，在所述候选的数量是1的情况下，禁止序列参数集中所述分辨率信息与所述增强层之间的所述对应关系的更新。

(29)一种图像解码方法，所述图像解码方法使图像解码装置执行：接收由对图像进行编码生成的比特流；从由所述接收单元接收的比特流中提取与分辨率信息和增强层之间的对应关系有关的信息，所述信息在存在针对关于图像的层的分辨率信息的多个候选并且所述层的数量比所述候选的数量多的情况下被设置；使用所提取的与所述分辨率信息和所述增强层之间的所述对应关系有关的信息来对所述比特流进行解码，以及生成所述图像。

本领域技术人员应该理解的是：在所述权利要求和其等同方式的范围内，取决于设计需要和其他因素，可以发生各种修改、组合、子组合和变化。

附图标记列表

10 CODING APPARATUS 10编码装置

11 SETTING UNIT 11设置单元

12 CODING UNIT 12编码单元

13 TRANSFER UNIT 13传输单元

110 DECODING APPARATUS 110解码装置

111 RECEIVING UNIT 111接收单元

112 EXTRACTION UNIT 112提取单元

113 DECODING UNIT 113解码单元

Claims (11)

1.一种图像编码装置，包括：

电路，所述电路被配置成：

设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；以及

对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流。

2.根据权利要求1所述的图像编码装置，其中，所述电路进一步被配置成在所设置的信息指示存在所述对应关系的情况下，设置所述对应关系。

3.根据权利要求1所述的图像编码装置，其中，在所述分辨率信息的数量是1的情况下，禁止序列参数集中所述对应关系的更新。

4.一种图像编码方法，包括：

设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；以及

对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流。

5.一种其上嵌入有程序的非暂态计算机可读介质，当所述程序由计算机执行时使所述计算机执行图像编码方法，所述方法包括：

设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；以及

对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流。

6.一种图像编码装置，包括：

设置单元，所述设置单元被配置成：设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；以及

编码单元，所述编码单元被配置成：对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流。

7.根据权利要求6所述的图像编码装置，其中，所述设置单元和所述编码单元中的每一个经由至少一个处理器来实现。

8.根据权利要求6所述的图像编码装置，其中，在所设置的信息指示存在所述对应关系的情况下，所述设置单元设置所述对应关系。

9.根据权利要求6所述的图像编码装置，其中，在所述分辨率信息的数量是1的情况下，所述设置单元禁止序列参数集中所述对应关系的更新。

10.一种图像编码装置，包括：

电路，所述电路被配置成：

设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；

自动地将所述层和所述分辨率信息映射到彼此上；以及

对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流。

11.一种图像编码装置，包括：

电路，所述电路被配置成：

设置在先传输的关于图像的层的分辨率信息的数量，在所设置的分辨率信息的数量大于1的情况下，设置在所述分辨率信息的数量之后传输的、指示所述分辨率信息与增强层之间是否存在对应关系的信息，并且在所设置的分辨率信息的数量是1的情况下，不传输指示所述分辨率信息与所述增强层之间是否存在所述对应关系的信息；以及

对所述图像进行编码以及生成包括所述分辨率信息的数量和与所述对应关系有关的信息的比特流，

其中，在所设置的信息指示存在所述对应关系的情况下，设置所述对应关系，以及在所述分辨率信息与所述层之间执行自动映射。