CN105075269B - 图像解码装置、图像编码装置及计算机可读取的记录介质 - Google Patents

Abstract

本发明提供一种图像解码装置以及图像编码装置。分层运动图像解码装置(1)具备：层间参考图像列表设定部(155)，其基于对象层的参数集，导出特定的对象层上的图形中利用的层间参考图像列表和层间参考图像集。

Description

图像解码装置、图像编码装置及计算机可读取的记录介质

技术领域

本发明涉及对图像经分层编码得到的分层编码数据进行解码的图像解码装置、以及通过对图像进行分层编码而生成分层编码数据的图像编码装置。

背景技术

图像或运动图像是由通信系统传输的信息、或者由存储装置记录的信息中的一种。以往，已知为了传输、存储这些图像(以下包括运动图像)而对图像进行编码的技术。

作为运动图像编码方式，已知AVC(H.264/MPEG-4 Advanced Video Coding(高级视频编码))、以及作为其后继编解码器的HEVC(High-Efficiency Video Coding，高效率视频编码)(非专利文献1)。

在这些运动图像编码方式中，通常，基于对输入图像进行编码/解码而得到的局部解码图像生成预测图像，对从输入图像(原图像)中减去该预测图像得到的预测残差(有时也称作“差分图像”或“残差图像”)进行编码。另外，作为预测图像的生成方法，可举出画面间预测(inter(帧间)预测)和画面内预测(intra(帧内)预测)。

在帧内预测中，基于同一图形(图像，picture)内的局部解码图像，依次生成该图形中的预测图像。

帧间预测利用图形间的运动补偿来生成预测图像。在大部分情况下，为了减少编码量，有关运动补偿的信息(运动补偿参数)不进行直接编码。因此，在帧间预测中，基于对象块周边的解码状况等，进行运动补偿参数的估计。

另外，近年来提出了按照所需的数据速率对图像进行分层编码的分层编码技术。作为一种代表性的分层编码方式，已知SHVC(Scalable HEVC(可伸缩HEVC))(非专利文献2)。

在SHVC中，支持空间可伸缩、时间可伸缩、SNR可伸缩。例如，在空间可伸缩的情况下，作为下级层，对从原图像降采样(down sampling)为期望分辨率的图像进行编码。接着，在上级层中，为了除去层间的冗余性而进行层间预测。

作为层间预测，有根据同时刻的下级层的信息预测有关运动预测的信息的层间运动信息预测、或者根据同时刻的下级层的解码图像生成预测图像的层间图像预测(层间纹理预测)。

在SHVC中，预测图像的生成能够利用帧间预测、帧内预测、层间图像预测中的任一种。

在SHVC的层间图像预测中，为了利用与解码对象图形同时刻的下级层的解码图像，下级层的解码图像保持在缓冲器中以便用于参考。

现有技术文献

非专利文献

非专利文献1：JCTVC-L1003_v24“High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS&Consent)”，Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting：Geneva，CH，14-23Jan.2013(2013年2月25日公开)

非专利文献2：JCTVC-L1007_v1“SHVC Test Model 1(SHM1)”，JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC1/SC 29/WG 11 12th Meeting：Geneva，CH，14-23Jan.2013(2013年2月15日公开)

发明内容

发明要解决的课题

但是，在作为现有技术举出的SHVC中，层间图像预测中可利用的下层解码图像限定于与解码对象图形同时刻的图像。因此存在着如下问题：在层间图像预测、或者参考下层解码图像的预测图像生成处理中，参考显示时刻与解码对象图形不同的下层解码图像的技术并未明确记载。通过参考显示时刻与解码对象图形不同的下级层的解码图像来生成预测图像，与仅参考显示时刻与解码对象图形相同的下级层的解码图像来生成预测图像的情况相比，能够生成与输入图像近似的预测图像，但在现有技术中，无法参考显示时刻不同的下级层的解码图像。

本发明鉴于上述问题而作，其目的在于提供一种机制，在分层编码方式中，使用显示时刻与解码对象图形不同的下级层的解码图像来生成预测图像。另外，目的在于通过上述方式，生成与现有技术相比与输入图像更近似的预测图像，由此实现对编码量少的编码数据进行编码/解码的图像编码装置和图像解码装置。

用于解决课题的手段

为了解决上述课题，本发明的图像解码装置是使用分层编码的编码数据中包含的上级层的编码数据，复原上级层的解码图像的图像解码装置，其特征在于，所述图像解码装置具备：可变长解码单元，其从上级层的编码数据中解码参数集；基础解码图像缓冲器，其与根据所述参数集导出的上级层的图形显示顺序对应地记录下级层的解码图像；基础控制单元，其读入由外部单元解码的图像作为基础解码序列并记录到所述基础解码图像缓冲器中；以及层间图像预测部，其从所述基础解码序列中包含的基础解码图像中选择基础参考图像，通过使用了所述基础参考图像的层间预测来生成预测图像。

为了解决上述课题，本发明的图像编码装置是根据输入图像生成上级层的编码数据的图像编码装置，其特征在于，所述图像编码装置具备：可变长编码单元，其对上级层的编码数据中包含的参数集进行编码；基础解码图像缓冲器，其与根据所述参数集导出的上级层的图形显示顺序对应地记录下级层的解码图像；基础控制单元，其读入由外部单元解码的图像作为基础解码序列并记录到所述基础解码图像缓冲器中；以及层间图像预测部，其从所述基础解码序列中包含的基础解码图像中选择基础参考图像，通过使用了所述基础参考图像的层间预测来生成预测图像。

为了解决上述课题，本发明的图像解码装置是对分层编码的编码数据中包含的上级层的编码数据进行解码，复原上级层的解码图像的图像解码装置，其特征在于具备：基础参考图像缓冲器，记录下级层的解码图像；层间参考图像列表设定单元，设定上级层图形的解码中使用的层间参考图像集；以及预测图像生成单元，使用所述层间参考图像集中包含的、记录在所述基础参考图像缓冲器中的基础参考图像，生成上级层图形的预测图像。

发明效果

本发明的图像解码装置具备导出层间参考图像集的层间参考图像列表设定部。因此，本发明的图像解码装置通过利用层间参考图像集，能够使用预测图像从以较少编码量进行了编码的编码数据中再生对象图形的解码图像，该预测图像是使用显示顺序与解码对象图形不同的参考层解码图像生成的。另外，通过利用层间参考图像集，能够确定参考层的解码图像在对象层的预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够减少存储器数量。

本发明的图像编码装置具备导出层间参考图像集的层间参考图像列表设定部。因此，本发明的图像编码装置中，通过利用层间参考图像集，能够使用预测图像以较少的编码量生成编码数据，该预测图像是使用显示顺序与解码对象图形不同的参考层解码图像生成的。另外，通过利用层间参考图像集，能够确定参考层的解码图像在对象层的预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够减少存储器数量。

附图说明

图1是例示本发明一实施方式的分层运动图像解码装置中包含的纹理复原部的结构的功能框图。

图2是用于说明本发明实施方式的分层编码数据的层结构的图，(a)表示分层运动图像编码装置侧，(b)表示分层运动图像解码装置侧。

图3是用于说明本发明实施方式的分层编码数据的结构的图，(a)表示规定序列SEQ的序列层，(b)表示规定图形PICT的图形层，(c)表示规定切片S的切片层，(d)表示规定编码树单元CTU的CTU层，(e)表示规定编码树单元CTU中包含的编码单位(Coding Unit：CU)的CU层。

图4是表示上述分层运动图像解码装置的概略结构的功能框图。

图5是例示上述分层运动图像解码装置中包含的基础解码部的结构的功能框图。

图6是表示参考图像集和参考图像列表的例子的图，(a)是按照显示顺序排列构成运动图像的图形的图，(b)是表示对象图形适用的RPS信息的例子的图，(c)是表示对象图形的POC为0的情况下，适用(b)例示的RPS信息时导出的当前RPS的例子的图，(d)及(e)是表示根据当前RPS包含的参考图形生成的参考图形列表的例子的图。

图7是表示参考图像列表修正的例子的图，(a)是表示修正前的L0参考图像列表的状态的图，(b)是表示参考图像列表修正信息的内容的图，(c)是表示修正后的L0参考图像列表的状态的图。

图8是示意性地表示上述分层运动图像解码装置的帧内层间预测的图，(a)是表示使用显示顺序相同的基础解码图像的层间图像预测的例子的图，(b)是表示使用显示顺序不同的基础解码图像的层间图像预测的例子的图。

图9是表示由2层构成的分层编码数据解码时的层间参考图像集、层间参考图像列表、扩展层与参考层的各参考图像集和参考图像列表的状态的例子的图。

图10是表示由2层构成的分层编码数据解码时的层间参考图像集、层间参考图像列表、扩展层与参考层的各参考图像集和参考图像列表的状态的其他例子的图。

图11是表示上述分层运动图像解码装置的可变长解码部在SPS解码时利用的语法表的一部分的图，该部分是与参考图像集和参考图像列表有关的部分。

图12是表示上述分层运动图像解码装置的可变长解码部在短期参考图像集信息的解码时利用的语法表的图。

图13是表示上述分层运动图像解码装置的可变长解码部在切片头解码时利用的语法表的一部分的图，该部分是与参考图像集有关的部分。

图14是表示上述分层运动图像解码装置的可变长解码部在切片头解码时利用的语法表的一部分的图，该部分是与参考图像列表有关的部分。

图15是表示上述分层运动图像解码装置的可变长解码部在参考图像列表修正信息的解码时利用的语法表的图。

图16是表示上述分层运动图像解码装置的可变长解码部在SPS解码时利用的语法表的一部分的图，该部分是与层间参考图像列表有关的部分。

图17是表示上述分层运动图像解码装置的可变长解码部在层间参考图像集信息的解码时利用的语法表的图。

图18是表示上述分层运动图像解码装置的可变长解码部在切片头解码时利用的语法表的一部分的图，该部分是与层间参考图像集有关的部分。

图19是表示上述分层运动图像解码装置的可变长解码部在切片头解码时利用的语法表的一部分的图，该部分是与层间参考图像集有关的部分的其他例子。

图20是表示上述分层运动图像解码装置的可变长解码部在切片头解码时利用的语法表的一部分的图，该部分是与层间参考图像列表有关的部分。

图21是表示上述分层运动图像解码装置的可变长解码部在层间参考图像列表修正信息的解码时利用的语法表的图。

图22是表示本发明一实施方式的分层运动图像编码装置的概略结构的功能框图。

图23是表示上述分层运动图像编码装置中包含的纹理信息生成部的概略结构的功能框图。

图24是表示本发明其他实施方式的分层运动图像解码装置的概略结构的功能框图。

图25是表示上述分层运动图像解码装置的可变长解码部在SPS解码时利用的语法表的一部分的图，该部分是与基础控制信息有关的部分。

图26是表示解码扩展层上的特定图形时上述分层运动图像解码装置的基础控制部中的基础解码图像设定处理的流程图。

图27是用于说明基础解码图像设定处理的具体例的图，(a)是表示具体例中扩展层与参考层的图形间的参考关系的图，(b)是表示解码扩展层的各图形时的参考图像集、层间参考图像集、基础解码图像缓冲器、基础解码图像读入的图。

图28是表示本发明其他实施方式的分层运动图像编码装置的概略结构的功能框图。

图29是表示搭载了上述分层运动图像编码装置的发送装置、以及搭载了上述分层运动图像解码装置的接收装置的结构的图。(a)表示搭载了分层运动图像编码装置的发送装置，(b)表示搭载了分层运动图像解码装置的接收装置。

图30是表示搭载了上述分层运动图像编码装置的记录装置、以及搭载了上述分层运动图像解码装置的再生装置的结构的图。(a)表示搭载了分层运动图像编码装置的记录装置，(b)表示搭载了分层运动图像解码装置的再生装置。

具体实施方式

基于图1～图23对本发明的一实施方式的分层运动图像解码装置1和分层运动图像编码装置2说明如下。

[概要]

本实施方式的分层运动图像解码装置(图像解码装置)1对由分层运动图像编码装置(图像编码装置)2进行了分层编码的编码数据进行解码。所谓分层编码，是指从低质量图像到高质量图像对运动图像进行分层编码的编码方式。分层编码例如在SVC、SHVC中进行标准化。此外，这里所说的运动图像的质量，广泛地指对主观及客观的运动图像的美观产生影响的要素。运动图像的质量中包括例如“分辨率”、“帧速”、“画质”、以及“像素的表现精度”。因此，下文中，当提到运动图像的质量不同时，例示地指“分辨率”等不同，但并不局限于此。例如，在通过不同的量化步骤进行了量化的运动图像的情况(也就是说，利用不同的编码噪声进行了编码的运动图像的情况)下，也可以称之为运动图像的质量相互不同。

另外，从进行分层的信息的种类的观点出发，分层编码技术有时分类为：(1)空间可伸缩，(2)时间可伸缩，以及(3)SNR(Signal to Noise Ratio，信噪比)可伸缩。空间可伸缩是指对分辨率、图像大小进行分层的技术。时间可伸缩是指对帧速(单位时间的帧数)进行分层的技术。另外，SNR可伸缩是对编码噪声进行分层的技术。

在详细说明本实施方式的分层运动图像编码装置2及分层运动图像解码装置1之前，首先，(1)说明由分层运动图像编码装置2生成并由分层运动图像解码装置1解码的分层编码数据的层结构，接着，(2)说明各层中能够采用的数据结构的具体例。

[分层编码数据的层结构]

这里，使用图2对分层编码数据的编码及解码说明如下。图2是示意性地表示利用下层L3、中间层L2、以及上层L1这三层对运动图像分层进行编码/解码的情况的图。即，在图2(a)及(b)所示的例子中，三个层中，上层L1是最上层，下层L3是最下层。

下面，将从分层编码数据解码获得的与特定质量对应的解码图像称为特定层的解码图像(或与特定层对应的解码图像)(例如上层L1的解码图像POUT#A)。

图2(a)表示对输入图像PIN#A～PIN#C分别分层编码以生成编码数据DATA#A～DATA#C的分层运动图像编码装置2#A～2#C。图2(b)表示对分层编码的编码数据DATA#A～DATA#C分别解码以生成解码图像POUT#A～POUT#C的分层运动图像解码装置1#A～1#C。

首先，使用图2(a)说明编码装置侧。作为编码装置侧输入的输入图像PIN#A、PIN#B、以及PIN#C与原图像相同，但图像的质量(分辨率、帧速、以及画质等)不同。图像的质量按照输入图像PIN#A、PIN#B、以及PIN#C的顺序逐渐降低。

下层L3的分层运动图像编码装置2#C对下层L3的输入图像PIN#C编码以生成下层L3的编码数据DATA#C。包含解码下层L3的解码图像POUT#C所需的基本信息(图2中用“C”表示)。下层L3是最下面的层，因此下层L3的编码数据DATA#C也称为基本编码数据。

另外，中间层L2的分层运动图像编码装置2#B参考下层的编码数据DATA#C对中间层L2的输入图像PIN#B进行编码，以生成中间层L2的编码数据DATA#B。中间层L2的编码数据DATA#B中，除了编码数据DATA#C中包含的基本信息“C”以外，还包含解码中间层的解码图像POUT#B所需的附加信息(图2中用“B”表示)。

另外，上层L1的分层运动图像编码装置2#A参考中间层L2的编码数据DATA#B对上层L1的输入图像PIN#A进行编码，以生成上层L1的编码数据DATA#A。上层L1的编码数据DATA#A中，除了解码下层L3的解码图像POUT#C所需的基本信息“C”和解码中间层L2的解码图像POUT#B所需的附加信息“B”以外，还包含解码上层的解码图像POUT#A所需的附加信息(图2中用“A”表示)。

这样，上层L1的编码数据DATA#A包含有关不同的多个质量的解码图像的信息。

接着，参考图2(b)对解码装置侧进行说明。在解码装置侧，与上层L1、中间层L2、以及下层L3分别对应的解码装置1#A、1#B、以及1#C解码编码数据DATA#A、DATA#B、以及DATA#C，并输出解码图像POUT#A、POUT#B、以及POUT#C。

此外，提取上面的分层编码数据的部分信息，在较下层的特定解码装置中对该提取出的信息进行解码，由此也能够再生特定质量的运动图像。

例如，中间层L2的分层解码装置1#B可以从上层L1的分层编码数据DATA#A中提取对解码图像POUT#B进行解码所需的信息(即，分层编码数据DATA#A中包含的“B”和“C”)，以对解码图像POUT#B进行解码。换言之，在解码装置侧，基于上层L1的分层编码数据DATA#A中包含的信息，能够对解码图像POUT#A、POUT#B、以及POUT#C进行解码。

此外，并不局限于以上的三层的分层编码数据，分层编码数据也可以按照两层进行分层编码，还可以按照多于三层的层数进行分层编码。

另外，也可以按照如下方式构成分层编码数据，即：与特定层的解码图像有关的编码数据的部分或全部与其他层独立地进行编码，在特定层解码时，可以不参考其他层的信息。例如，在使用图2(a)和(b)的上述例子中，说明了在解码图像POUT#B的解码中参考“C”和“B”，但并不局限于此。也可以将分层编码数据构成为能够仅使用“B”来对解码图像POUT#B进行解码。例如，还能够构成如下的分层运动图像解码装置：在解码图像POUT#B的解码时，将仅由“B”构成的分层编码数据、以及解码图像POUT#C作为输入。

此外，在实现SNR可伸缩的情况下，还可以使用同一原图像作为输入图像PIN#A、PIN#B、以及PIN#C，以解码图像POUT#A、POUT#B、以及POUT#C为不同画质的方式生成分层编码数据。在此情况下，下层的分层运动图像编码装置与上层的分层运动图像编码装置相比，使用更大的量化幅度对预测残差进行量化，从而生成分层编码数据。

本说明书中，为了方便，定义如下用语。如非特别说明，以下用语用于表示下述技术内容。

上级层：位于某层上级的层称为上级层。例如，图2中，下层L3的上级层是中间层L2和上层L1。另外，上级层的解码图像是指质量较高(例如分辨率高、帧速高、画质高等)的解码图像。

下级层：位于某层下级的层称为下级层。例如，图2中，上层L1的下级层是中间层L2和下层L3。另外，下级层的解码图像是指质量较低的解码图像。

对象层：指作为解码或编码的对象的层。

参考层(reference layer)：为了解码与对象层对应的解码图像而参考的特定的下级层称为参考层。

在图2(a)和(b)所示的例子中，上层L1的参考层是中间层L2和下层L3。但并不局限于此，也可以将分层编码数据构成为：在特定的上级层的解码中，可以不参考所有下级层。例如，也可以将分层编码数据构成为：上层L1的参考层是中间层L2和下层L3中的任一者。

基本层(base layer)：位于最下层的层称为基本层。基本层的解码图像是可从编码数据解码得到的质量最低的解码图像，称为基本解码图像。换言之，基本解码图像是与最下层对应的解码图像。基本解码图像的解码所需的分层编码数据的部分编码数据称为基本编码数据。例如，上层L1的分层编码数据DATA#A中包含的基本信息“C”为基本编码数据。

扩展层：基本层的上级层称为扩展层。

层标识符：层标识符是用于识别层的标识符，与层一一对应。分层编码数据中包含层标识符，该层标识符用于选择解码特定层的解码图像所需的部分编码数据。与对应于特定层的层标识符相关联的分层编码数据的部分集合也称为层表现。

一般而言，在特定层的解码图像的解码中，使用该层的层表现及/或与该层的下级层对应的层表现。也就是说，在对象层的解码图像的解码中，使用对象层的层表现及/或对象层的下级层中包含的一个以上层的层表现。

层间预测：层间预测是指，基于与对象层的层表现不同层(参考层)的层表现中包含的语法(syntax)元素值、从语法元素值导出的值、以及解码图像，预测对象层的语法元素值、对象层的解码所使用的编码参数等。根据参考层的信息来预测有关运动预测的信息的层间预测有时也称为运动信息预测。另外，根据下级层的解码图像进行预测的层间预测有时也称为层间图像预测(或者层间纹理预测)。此外，作为例示，层间预测使用的层是对象层的下级层。另外，不使用参考层而在对象层内进行预测有时也称为层内预测。

此外，以上用语仅仅是为了便于说明，也可以用其他用语来表示上述技术内容。

[分层编码数据的数据结构]

以下，作为生成各层编码数据的编码方式，例示使用HEVC及其扩展方式的情况。但并不局限于此，也可以利用MPEG-2、H.264/AVC等编码方式生成各层编码数据。

另外，下级层和上级层也可以用不同的编码方式进行编码。另外，各层编码数据既可以经由相互不同的传输路径提供给分层运动图像解码装置1，也可以经由同一传输路径提供给分层运动图像解码装置1。

例如，在利用基本层和一个扩展层对超高清影像(运动图像、4K影像数据)进行可扩展编码并传输的情况下，对于基本层，可以对4K影像数据进行缩小及交错化，利用MPEG-2或H.264/AVC对交错化后的影像数据进行编码并通过电视广播网传输，对于扩展层，可以利用HEVC对4K影像(渐进式)进行编码并通过因特网传输。

(基本层)

图3是例示基本层中能够采用的编码数据(在图2的例子中是分层编码数据DATA#C)的数据结构的图。作为例示，分层编码数据DATA#C包含序列(sequence)和构成序列的多个图形。

图3中示出分层编码数据DATA#C中的数据的分层结构。图3的(a)～(e)分别是表示如下层的图：规定序列SEQ的序列层、规定图形PICT的图形层、规定切片S的切片层、规定编码树单元(Coding Tree Unit：CTU)的CTU层、以及规定编码树单元CTU中包含的编码单位(Coding Unit：CU)的CU层。

(序列层)

在序列层中，规定分层运动图像解码装置1为了解码处理对象序列SEQ(以下也称为对象序列)而参考的数据的集合。如图3(a)所示，序列SEQ包含：视频参数集VPS(VideoParameter Set)、序列参数集SPS(Sequence Parameter Set)、图形参数集PPS(PictureParameter Set)、图形PICT1～PICTNP(NP是序列SEQ中包含的图形的总数)、以及附加扩展信息SEI(Supplemental Enhancement Information)。

视频参数集VPS中，规定编码数据中包含的层数、层间的依赖关系。

序列参数集SPS中，规定分层运动图像解码装置1为了解码对象层的对象序列而参考的编码参数的集合。SPS在编码数据内可以存在多个。在此情况下，对象层的每个对象序列的解码所使用的SPS从多个候选中进行选择。特定序列的解码所使用的SPS也称为有效(active)SPS。下面，除非特别说明，SPS均指对于对象层的对象序列的有效SPS。

图形参数集PPS中，规定分层运动图像解码装置1为了解码对象序列内的各图形而参考的编码参数的集合。此外，PPS在编码数据内可以存在多个。在此情况下，从对象序列内的各图形中选择多个PPS中的任一者。特定图形的解码所使用的PPS也称为有效(active)PPS。下面，除非特别说明，PPS均指对于对象图形的有效PPS。

(图形层)

在图形层中，规定分层运动图像解码装置1为了解码处理对象图形PICT(以下也称为对象图形)而参考的数据的集合。如图3(b)所示，图形PICT包含切片头SH₁～SH_Ns以及切片S₁～S_NS(NS是图形PICT中包含的切片的总数)。

此外，以下，在不需要区分各个切片头SH₁～SH_Ns、切片S₁～S_NS的情况下，有时省略符号的下标进行记述。另外，以下说明的分层编码数据DATA#C中包含的、附有下标的其他数据也是如此。

切片头S_HK中，包含分层运动图像解码装置1为了决定对应的切片S_K的解码方法而参考的编码参数群。例如，包含指定SPS的SPS标识符(seq_parameter_set_id)、指定PPS的PPS标识符(pic_parameter_set_id)。另外，指定切片类型的切片类型指定信息(slice_type)是切片头SH中包含的编码参数的一例。

作为可由切片类型指定信息指定的切片类型，可举出：(1)编码时仅使用帧内预测的I切片；(2)编码时使用单向预测或帧内预测的P切片；(3)编码时使用单向预测、双向预测、或者帧内预测的B切片等。

(切片层)

在切片层中，规定分层运动图像解码装置1为了解码处理对象切片S(也称为对象切片)而参考的数据的集合。如图3(c)所示，切片S包含编码树单元CTU₁～CTU_NC(NC是切片S中包含的CTU的总数)的序列。

(CTU层)

在CTU层中，规定分层运动图像解码装置1为了解码处理对象编码树单元CTU(以下也称为对象CTU)而参考的数据的集合。此外，编码树单元有时也称为编码树块(CTB：CodingTree block)或者最大编码单位(LCU：Largest Cording Unit)。

编码树单元CTU包含CTU头CTUH和编码单位信息CU₁～CU_NL(NL是CTU中包含的编码单位信息的总数)。这里，首先，对编码树单元CTU与编码单位信息CU的关系说明如下。

编码树单元CTU被分割为用于确定块大小的单位，该块大小用于进行帧内预测或帧间预测、以及变换的各种处理。

利用递归四叉树分割，来分割编码树单元CTU的上述单位。以下将利用该递归四叉树分割得到的树结构称为编码树(coding tree)。

以下，作为编码节点(coding node)，参考与编码树的末端节点即叶(leaf)对应的单位。另外，编码节点是编码处理的基本单位，因此以下也将编码节点称为编码单位(CU)。

即，编码单位信息(以下称为CU信息)CU₁～CU_NL是与对编码树单元CTU递归地进行四叉树分割而得的各编码节点(编码单位)对应的信息。

另外，编码树的根(root)与编码树单元CTU对应。换言之，编码树单元CTU对应于递归包含多个编码节点的四叉树分割的树结构的最上层节点。

此外，各编码节点的大小与作为该编码节点的父节点的编码节点(即该编码节点的上一层节点)相比，其高和宽均为后者的一半。

另外，编码树单元CTU的大小以及各编码单元可取的大小依赖于序列参数集SPS中包含的、最小编码节点的大小指定信息、以及最大编码节点与最小编码节点的层深度的差。例如，在最小编码节点的大小为8×8像素，最大编码节点与最小编码节点的层深度的差为3的情况下，编码树单元CTU的大小为64×64像素，编码节点的大小可以取4种大小，即64×64像素、32×32像素、16×16像素、以及8×8像素中的任一种。

(CTU头)

CTU头CTUH中，包含分层运动图像解码装置1为了决定对象CTU的解码方法而参考的编码参数。具体而言，如图3(d)所示，包含指定对于对象CTU的各CU的分割模式的CTU分割信息SP_CTU、以及指定量化步骤的大小的量化参数差△qp(qp_delta)。

CTU分割信息SP_CTU是表示用于分割CTU的编码树的信息，具体而言，是指定对象CTU中包含的各CU的形状、大小、以及在对象CTU内的位置的信息。

此外，CTU分割信息SP_CTU可以不明示地包含CU的形状、大小。例如，CTU分割信息SP_CTU可以是表示是否对于对象CTU整体或CTU的部分区域进行四分割的标志(flag)的集合。在此情况下，通过结合使用CTU的形状、大小，能够确定各CU的形状、大小。

另外，量化参数差△qp是对象CTU中的量化参数qp与在该对象CTU之前进行编码的CTU中的量化参数qp’的差qp-qp’。

(CU层)

在CU层中，规定分层运动图像解码装置1为了解码处理对象CU(以下也称为对象CU)而参考的数据的集合。

这里，在说明CU信息CU中包含的数据的具体内容之前，说明CU中包含的数据的树结构。编码节点是预测树(prediction tree：PT)和变换树(transform tree：TT)的根节点。对预测树和变换树说明如下。

在预测树中，编码节点分割为一个或多个预测块，规定各预测块的位置和大小。换言之，预测块是构成编码节点的一个或多个不重复的区域。另外，预测树包含通过上述分割得到的一个或多个预测块。

预测处理以该预测块为单位进行。以下，作为预测的单位的预测块也称为预测单位(prediction unit：PU)。

预测树中的分割(以下简称为PU分割)的种类大致有帧内预测和帧间预测两种情况。

在帧内预测的情况下，分割方法有2N×2N(与编码节点相同的大小)和N×N。

另外，在帧间预测的情况下，分割方法有2N×2N(与编码节点相同的大小)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、以及nR×2N等。

另外，在变换树中，编码节点分割为一个或多个变换块，规定各变换块的位置和大小。换言之，变换块是构成编码节点的一个或多个不重复的区域。另外，变换树包含通过上述分割得到的一个或多个变换块。

变换树中的分割有：将与编码节点相同大小的区域分派为变换块的分割，以及与上述树块的分割同样的、基于递归四叉树分割的分割。

变换处理以该变换块为单位进行。以下，作为变换的单位的变换块也称为变换单位(transform unit：TU)。

(CU信息的数据结构)

接着，参考图3(e)说明CU信息CU中包含的数据的具体内容。如图3(e)所示，CU信息CU具体包含：跳过标志SKIP、预测树信息(以下简称为PT信息)PTI、以及变换树信息(以下简称为TT信息)TTI。

跳过标志SKIP是表示对于对象PU是否适用跳过模式的标志，在跳过标志SKIP的值为1的情况下，也即对于对象CU适用跳过模式的情况下，省略该CU信息CU中的PT信息PTI的一部分和TT信息TTI。此外，跳过标志SKIP在I切片中省略。

[PT信息]

PT信息PTI是有关CU中包含的预测树(以下简称为PT)的信息。换言之，PT信息PTI是有关PT中包含的一个或多个PU的各自的信息的集合，在分层运动图像解码装置1生成预测图像时进行参考。如图3(e)所示，PT信息PTI包含预测类型信息PType和预测信息PInfo。

预测类型信息PType是指定关于对象PU的预测图像生成方法的信息。在基础层中，是指定使用帧内预测还是使用帧间预测的信息。

预测信息PInfo是由预测类型信息PType指定的预测方法中使用的预测信息。在基础层中，在帧内预测的情况下，包含帧内预测信息PP_Intra。另外，在帧间预测的情况下包含帧间预测信息PP_Inter。

帧间预测信息PP_Inter包含分层运动图像解码装置1通过帧间预测生成帧间预测图像时参考的预测信息。更具体而言，帧间预测信息PP_Inter包含：指定对于对象CU的各帧间PU的分割模式的帧间PU分割信息、以及关于各帧间PU的帧间预测参数(运动补偿参数)。作为帧间预测参数，例如包含：合并标志(merge_flag)、合并索引(merge_idx)、估计运动矢量索引(mvp_idx)、参考图像索引(ref_idx)、帧间预测标志(inter_pred_flag)、以及运动矢量残差(mvd)。

帧内预测信息PP_Intra包含分层运动图像解码装置1通过帧内预测生成帧内预测图像时参考的编码参数。更具体而言，帧内预测信息PP_Intra包含：指定对于对象CU的各帧内PU的分割模式的帧内PU分割信息、以及关于各帧内PU的帧内预测参数。帧内预测参数是用于指定关于各帧内PU的帧内预测方法(预测模式)的参数。

这里，帧内预测参数是用于复原关于各帧内PU的帧内预测(预测模式)的参数。用于复原预测模式的参数包含：有关MPM(Most Probable Mode(最可能模式)，下同)的标志mpm_flag、用于选择MPM的索引mpm_idx、以及用于指定MPM以外的预测模式的索引rem_idx。这里，MPM是指在对象分区中被选择的可能性大的估计预测模式。例如，MPM中可包含：基于对于对象分区的周边分区分派的预测模式估计的估计预测模式、发生概率一般较高的DC模式、平面(Planar)模式。

另外，以下，在简单地记作“预测模式”的情况下，除非特别说明，均指亮度预测模式。对于色差预测模式，记作“色差预测模式”，与亮度预测模式相区别。另外，复原预测模式的参数中包含用于指定色差预测模式的参数chroma_mode。

[TT信息]

TT信息TTI是有关CU中包含的变换树(以下简称为TT)的信息。换言之，PT信息PTI是有关PT中包含的一个或多个PU的各自的信息的集合，在分层运动图像解码装置1生成预测图像时进行参考。

如图3(e)所示，TT信息TTI包含：指定对于对象CU的各变换块的分割模式的TT分割信息SP_TT、以及量化预测残差QD₁～QD_NT(NT是对象CU中包含的块的总数)。

具体而言，TT分割信息SP_TT是用于决定对象CU中包含的各变换块的形状和在对象CU内的位置的信息。例如，TT分割信息SP_TT能够由表示是否进行对象节点分割的信息(split_transform_unit_flag)和表示该分割的深度的信息(trafoDepth)来实现。

另外，例如，在CU大小为64×64的情况下，通过分割得到的各变换块可以取32×32像素至4×4像素的大小。

各量化预测残差QD是分层运动图像编码装置2对处理对象变换块即对象块实施以下处理1～3而生成的编码数据。

处理1：对从编码对象图像中减去预测图像得到的预测残差进行频率变换(例如DCT变换(Discrete Cosine Transform，离散余弦变换)和DST变换(Discrete SineTransform，离散正弦变换)等)；

处理2：对通过处理1得到的变换系数进行量化；

处理3：对通过处理2量化后的变换系数进行可变长编码；

此外，上述量化参数qp表示分层运动图像编码装置2对变换系数进行量化时使用的量化步骤QP的大小(Qp＝2^qp/6)。

(PU分割信息)

若设对象CU的大小为2N×2N像素，则由PU分割信息指定的PU分割类型中有如下的共8种模式。即：2N×2N像素、2N×N像素、N×2N像素、以及N×N像素的4种对称分割(symmetric splittings)，和2N×nU像素、2N×nD像素、nL×2N像素、以及nR×2N像素的4种非对称分割(asymmetric splittings)。此外，N＝2^m(m是1以上的任意整数)。以下，将分割对象CU得到的预测单位称为预测块或分区。

(扩展层)

对于扩展层的层表现中包含的编码数据(以下称为扩展层编码数据)，例如也能够采用与图3所示的数据结构基本相同的数据结构。不过，在扩展层编码数据中，能够如下所述增加附加信息或者省略参数。

在切片层中，可以对空间可伸缩、时间可伸缩、以及SNR可伸缩、视图可伸缩的层的识别信息(分别为dependency_id、temporal_id、quality_id、以及view_id)进行编码。

另外，CU信息CU中包含的预测类型信息PType是指定关于对象CU的预测图像生成方法是帧内预测、帧间预测、或者层间图像预测中的哪一种的信息。预测类型信息PType中包含指定是否适用层间图像预测模式的标志(层间图像预测标志)。此外，层间图像预测标志有时也称为texture_rl_flag、inter_layer_pred_flag或base_mode_flag。

在扩展层中，可以指定对象CU的CU类型是帧内CU、层间CU、帧间CU、跳过CU中的哪一种。

帧内CU能够与基础层中的帧内CU同样地进行定义。在帧内CU中，层间图像预测标志设定为“0”，预测模式标志设定为“0”。

层间CU能够定义为将参考层的图形的解码图像用于预测图像生成的CU。在层间CU中，层间图像预测标志设定为“1”，预测模式标志设定为“0”。

跳过CU能够与上述HEVC方式的情况同样地进行定义。例如，在跳过CU中，对跳过标志设定“1”。

帧间CU可以定义为非跳过并且适用运动补偿(MC：Motion Compensation)的CU。在帧间CU中，例如，对跳过标志设定“0”，对预测模式标志设定“1”。

另外，如上所述，可以利用与下级层的编码方式不同的编码方式来生成扩展层的编码数据。也就是说，扩展层的编码、解码处理不依赖于下级层的编解码器的种类。

下级层例如可以通过MPEG-2、H.264/AVC方式进行编码。

在扩展层编码数据中，可以扩展VPS，包含表示层间的参考结构的参数。

另外，在扩展层编码数据中，可以扩展SPS、PPS、切片头，包含与层间图像预测中使用的参考层解码图像有关的信息(例如，用于直接或间接导出后述的层间参考图像集、层间参考图像列表、基础控制信息等的语法)。

此外，以上说明的参数既可以单独编码，也可以对多个参数进行复合编码。在对多个参数进行复合编码的情况下，对该参数值组合分配索引，对分配了的该索引进行编码。另外，如果参数能够从其他参数、已解码信息中导出，则能够省略该参数的编码。

[分层运动图像解码装置]

下面，参考图1～图21说明本实施方式的分层运动图像解码装置1的结构。

(分层运动图像解码装置的结构)

使用图4对分层运动图像解码装置1的概略结构说明如下。图4是表示分层运动图像解码装置1的概略结构的功能框图。分层运动图像解码装置1对由分层运动图像编码装置2提供的分层编码数据DATA进行解码，以生成对象层的解码图像POUT#T。此外，以下，按照对象层是扩展层进行说明。因此，对象层也是相对于参考层的上级层。相反，参考层也是相对于对象层的下级层。

如图4所示，分层运动图像解码装置1具备：NAL解复用部11、可变长解码部12、解码图像缓冲器13、预测参数复原部14、纹理复原部15、基础解码部16、以及基础解码图像缓冲器17。

NAL解复用部11对以NAL(Network Abstraction Layer，网络提取层)中的NAL单元为单位传输的分层编码数据DATA进行解复用。

NAL是为了对VCL(Video Coding Layer，视频编码层)与传输/存储编码数据的下级系统之间的通信进行抽象化而设计的层。

VCL是进行运动图像编码处理的层，在VCL中进行编码。另一方面，这里所说的下级系统对应于H.264/AVC和HEVC的文件格式、MPEG-2系统。

此外，在NAL中，由VCL生成的比特流按照NAL单元这一单位进行划分，并传输到作为发送目的地的下级系统。NAL单元中包含由VCL进行了编码的编码数据、以及用于将该编码数据正确送达发送目的地的下级系统的头。另外，各层中的编码数据通过存储为NAL单元而进行NAL复用，并传输到分层运动图像解码装置1。

NAL解复用部11对分层编码数据DATA进行解复用，取出对象层编码数据DATA#T和参考层编码数据DATA#R。另外，NAL解复用部11将对象层编码数据DATA#T提供给可变长解码部12，同时将参考层编码数据DATA#R提供给基础解码部16。

可变长解码部12从对象层编码数据DATA#T中包含的二进制数中解码各种语法值。解码后的语法值被分类并输出。语法值的分类中，包含相当于图3(e)的PTI的预测信息、相当于图3(e)的TTI的变换系数信息。

另外，可变长解码部12从编码数据DATA#T中解码CU信息。CU信息中包含用于确定CU的形状、大小、位置的信息。

另外，可变长解码部12从编码数据DATA#T中解码用于对象层的解码的参数集。参数集包含VPS、SPS、PPS、以及切片头。

可变长解码部12将解码后的预测信息和CU信息提供给预测参数复原部14。另外，可变长解码部12将解码后的变换系数信息、CU信息、以及参数集提供给纹理复原部15。

解码图像缓冲器13是记录由纹理复原部15复原了的对象层各图形的解码图像的纹理缓冲器。在解码图像缓冲器13中，对应于对象层各图形的解码图像与输出顺序(POC：Picture Order Count(图像序列号))相关联地进行记录。此外，以下也将解码图像缓冲器13称为DPB(Decoded Picture Buffer(解码图形缓冲器))。DPB记录对象层的解码图像。

基础解码部16从参考层编码数据DATA#R中解码基础解码图像，该基础解码图像是解码对应于对象层的解码图像时进行参考的参考层解码图像。基础解码部16将解码后的基础解码图像提供给纹理复原部15。

此外，基础解码部16也可以从参考层编码数据#R中解码基础预测参数，并提供给预测参数复原部14，上述基础预测参数相当于参考层中的预测参数。

基础解码图像缓冲器17是记录由基础解码部16复原了的参考层各图形的解码图像的图形缓冲器。在基础解码图像缓冲器17中，对应于参考层各图形的解码图像与输出顺序(POC)相关联地进行记录。此外，以下也将基础解码图像缓冲器17称为BASE_DPB(BaseDecoded Picture Buffer(基础解码图形缓冲器))。

预测参数复原部14使用CU信息和预测信息复原预测参数。预测参数复原部14将复原后的预测参数提供给纹理复原部15。

纹理复原部15使用CU信息、变换系数信息、基础解码图像、以及预测参数，生成解码图像POUT#T并输出到外部。此外，与纹理复原部15中复原了的解码图像有关的信息存储在解码图像缓冲器13中。

以下分别说明纹理复原部15、可变长解码部12、以及基础解码部16的详细情况。

(纹理复原部)

使用图1说明纹理复原部15的详细结构。图1是例示纹理复原部15的结构的功能框图。

如图1所示，纹理复原部15具备：逆正交变换/逆量化部151、纹理预测部152、加法器153、环路滤波器部154、参考图像列表设定部155、以及层间参考图像列表设定部156。纹理预测部152的内部具备：帧间预测部152T、帧内预测部152S、以及层间图像预测部152B。

逆正交变换/逆量化部151(1)对由可变长解码部12提供的变换系数信息中包含的量化预测残差QD进行逆量化，(2)对通过逆量化得到的DCT系数进行逆正交变换(例如DCT(Discrete Cosine Transform，离散余弦变换)变换)，(3)将通过逆正交变换得到的预测残差D提供给加法器153。此外，预测残差D的生成以变换块为单位进行。

纹理预测部152根据预测参数，参考基础解码图像缓冲器17中记录的基础解码图像(也称为基础参考图像)或者解码图像缓冲器13中记录的已解码的解码图像，生成预测图像。

纹理预测部152将帧间预测部152T、帧内预测部152S、或者层间图像预测部152B生成的预测图像提供给加法器153。

帧间预测部152T利用帧间预测生成各预测块的预测图像。具体而言，利用运动补偿预测生成预测图像，该运动补偿预测基于预测参数中包含的运动矢量所示的参考图像上的区域的像素值。参考图像是解码图像缓冲器13上记录的解码图像，由预测参数中包含的参考图像索引、与参考图像列表的组合确定。关于帧间预测部152T的基于帧间预测的预测图像生成处理，与参考图像列表设定部155的参考图像列表设定处理一起在后面进行详细描述。

帧内预测部152S利用帧内预测生成与各帧内预测分区有关的预测图像。具体而言，使用由帧内预测信息复原部144S作为预测参数提供的空间预测模式，利用参考对象PU的已解码的周边像素值的空间预测，生成预测图像。

层间图像预测部152B参考基础参考图像，利用层间图像预测生成预测图像。基础参考图像从基础解码图像缓冲器17中记录的解码图像中选择。更严格而言，从对象图形的层间参考图像集中包含的、表示对象图形能够进行参考的基础解码图像中，选择基础参考图像。在基础参考图像的选择中，使用预测参数中包含的基础参考图像索引。利用基础参考图像索引与层间参考图像列表的组合，决定作为参考图像利用哪一基础解码图像。关于层间图像预测部152B的基于层间图像预测的预测图像生成处理，与层间参考图像列表设定部156的层间参考图像列表设定处理一起在后面进行详细描述。

加法器153对由纹理预测部152提供的预测图像和由逆正交变换/逆量化部151提供的预测残差D进行相加，由此生成解码图像。

环路滤波器部154对由加法器153提供的解码图像，实施去块处理、基于自适应滤波器参数的滤波器处理。

参考图像列表设定部155基于参数集中包含的参考图像列表相关的语法，生成纹理预测部152内的帧间预测部152T的运动补偿预测所使用的参考图像列表。

层间参考图像列表设定部156基于参数集中包含的层间参考图像列表相关的语法，生成纹理预测部152内的层间图像预测部152B的层间图像预测所使用的层间参考图像列表。

<帧间预测与参考图像列表生成>

说明帧间预测部152T的基于帧间预测的预测图像生成处理、以及参考图像列表设定部155的参考图像列表设定处理的详细情况。

在帧间预测部152T的预测图像生成(运动补偿预测)中，作为参考图像，利用参考图像索引(refIdx)所示的参考图像列表上的位置中记录的解码图像。例如，在refIdx的值为0的情况下，参考图像列表的0的位置，即参考图像列表开头的解码图像，作为参考图像用于运动补偿预测。

参考图像列表(RPL：Reference Picture List)是适用运动补偿预测时可参考的参考图像的候选列表。可以存在2个以上参考图像列表。本实施方式中，假设使用L0参考图像列表(L0参考列表)和L1参考图像列表(L1参考列表)。RPL修正信息是参数集(SPS、切片头)中包含的信息，表示参考图像列表内的参考图像的顺序。

参考图像集(RPS：Reference Picture Set)表示有可能在对象图形、或者按照解码顺序位于对象图形之后的图形中用作参考图像的图形的集合。RPS信息是参数集(SPS、切片头)中包含的信息，用于各图形解码时设定的参考图像集的导出。

对特定图形的参考图像集中不包含的图形在按照解码顺序位于该特定图形以后的图形的解码中不被使用。因此，分层运动图像解码装置能够从解码图像缓冲器中删除参考图像集中不包含的图形。

关于参考图像列表，也可以从参考图像集包含的图形中选择有可能在对象图形中用作参考图像的图形，表示为带有顺序的列表。

在此，参考图6说明参考图像集和参考图像列表的例子。图6(a)按照显示顺序并列图示构成运动图像的图形，图中的数字表示与各图形对应的POC。按照输出顺序，以升序对各图形分配POC。表示为“curr”的POC为9的图形是当前的解码对象图形。

图6(b)表示对象图形适用的RPS信息的例子。对象图形中的参考图像集(当前RPS)基于该RPS信息导出。RPS信息中包含长期RPS信息和短期RPS信息。作为长期RPS信息，直接表示当前RPS中包含的图形的POC。在图6(b)所示的例子中，长期RPS信息表示当前RPS中包含POC＝1的图形。短期RPS信息中，以相对于对象图形的POC的差的方式，记录当前RPS中包含的图形。图中表示为“之前，dPOC＝1”的短期RPS信息表示：将POC相对于对象图形的POC小1的图形包含在当前RPS中。同样，图中的“之前，dPOC＝4”表示将POC小4的图形包含在当前RPS中，“之后，dPOC＝1”表示将POC大1的图形包含在当前RPS中。此外，“之前”表示对象图形前方的图形，即显示顺序早于对象图形的图形。另外，“之后”表示对象图形后方的图形，即显示顺序晚于对象图形的图形。

图6(c)表示对象图形的POC为0的情况下，适用图6(b)例示的RPS信息时导出的当前RPS的例子。包含长期RPS信息所示的POC＝1的图形。另外，包含短期RPS信息所示的、具有比对象图形(POC＝9)小1的POC的图形，即POC＝8的图形。同样，包含短期RPS信息所示的、POC＝5和POC＝10的图形。

图6(d)及(e)表示根据当前RPS中包含的参考图像生成的参考图像列表的例子。对参考图像列表的各元素赋予索引(参考图像索引)(图中记为idx)。图6(d)表示L0参考列表的例子。L0参考列表中，依次包含具有5、8、10、1的POC的、当前RPS中包含的参考图形。图6(e)表示L1参考列表的例子。L1参考列表中，依次包含具有10、5、8的POC的、当前RPS中包含的参考图形。此外，如L1参考列表的例子所示，参考图像列表中不需要包含当前RPS中包含的全部参考图像(可参考图形)。但是，参考图像列表的元素数最大是当前RPS中包含的参考图像的数量。换言之，参考图像列表的长度在当前图形中可参考的图形数以下。

接着，参考图7说明参考图形列表修正的例子。图7例示对特定参考图形列表(图7(a))适用RPL修正信息(图7(b))时得到的修正后参考图形列表(图7(c))。图7(a)所示的修正前L0参考列表与图6(d)说明的L0参考列表相同。图7(b)所示的RPL修正信息是以参考图像索引的值为元素的列表，从开头起依次存储值0、2、1、3。该RPL修正信息表示：将修正前参考列表中包含的、参考图像索引0、2、1、3所示的参考图像依次作为修正后L0参考列表的参考图像。图7(c)表示修正后L0参考列表，依次包含POC为5、10、8、1的图形。

<帧间预测(运动补偿预测)处理>

帧间预测部152T中的预测图像生成处理按照如下的步骤S101至S105执行。

(S101)将对象CU内的预测块依次设定为对象预测块，依次执行如下的S102至S105的各处理。

(S102)从预测参数中读出对象预测块的运动信息。

(S103)在对象预测块利用L0预测的情况下，将L0参考列表中L0参考索引所示位置的参考图像设定为对象预测块的参考图像。基于L0运动矢量所示的该参考图像的解码像素值，生成L0预测图像。

(S104)在对象预测块利用L1预测的情况下，将L1参考列表中L1参考索引所示位置的参考图像设定为对象预测块的参考图像。基于该参考图像上的L1运动矢量所示位置的像素值，生成L1预测图像。

(S105)在对象预测块仅利用L0预测的情况下，将L0预测图像作为对象预测块的预测图像。另一方面，在对象预测块仅利用L1预测的情况下，将L1预测图像作为对象预测块的预测图像。另一方面，在对象预测块利用L0预测和L1预测双方的情况(利用双预测的情况)下，将L0预测图像与L1预测图像的加权平均作为对象预测块的预测图像。

<层间图像预测与层间参考图像列表生成>

说明层间图像预测部152B的基于层间图像预测的预测图像生成处理、以及层间参考图像列表设定部156的层间参考图像列表设定处理的详细情况。

参考图8说明层间图像预测部152B的层间图像预测。图8是概略表示使用基础解码图像的层间图像预测的示意图。

如图8(a)所示，在层间图像预测中，对象层(扩展层)的对象块(指进行解码的预测块(下同))的预测图像能够基于参考块(指进行参考的预测块(下同))的解码图像生成，该参考块是在参考层中，在时间上与该对象块位于相同时刻的图形上的块，并且是在空间上配置在对应于该对象块的位置上的块。

另外，如图8(b)所示，在层间图像预测中，对象层(扩展层)的对象块的预测图像能够基于参考块的解码图像生成，该参考块是在参考层中，在时间上与该对象块位于不同时刻的图形，并且是在空间上配置在对应于该对象块的位置上的块。

此外，在对象块和参考块中像素数不同的情况下，可以采用进行升采样(upsample)的结构。另外，也可以采用如下结构：根据需要，对参考块的解码图像适用滤波(自适应采样偏移(Sample Adaptive Offset：SAO)、自适应环路滤波(Adaptive Loop Filter：ALF)、边缘增强、去噪、去交错等)而得到基础解码图像，参考该基础解码图像以生成帧内预测图像。

以下将基于层间图像预测生成预测图像时使用的参考层图形称为基础参考图像。从层间参考图像列表中选择基础参考图像。

层间参考图像列表(IL-RPL：Inter-Layer Reference Picture List)是适用层间图像预测时可参考的基础参考图像的候选列表。IL-RPL修正信息是参数集(SPS、切片头)中包含的信息，表示基础参考图像列表内的基础参考图像的顺序。

更一般而言，层间参考图像列表也可以说是对象层(扩展层)的预测图像生成时可参考的基础解码图像的候选列表。例如，在使用称为广义残差预测的方式的情况下，也能够使用层间参考图像列表。大体而言，广义残差预测是从参考层的多个解码图像中导出对象块的预测残差估计值，使用该预测残差估计值生成对象块的预测图像的预测方法。

层间参考图像集(IL-RPS：Inter-Layer Reference Picture Set)表示有可能在对象层(扩展层)上的对象图形、或者按照解码顺序位于对象图形之后的对象层(扩展层)上的图形中用作基础参考图像的参考层上的图形的集合。IL-RPS信息是参数集(SPS、切片头)中包含的信息，用于对象层(扩展层)上的各图形解码时设定的基础参考图像集的导出。

对对象层(扩展层)上的特定图形的层间参考图像集中不包含的参考层上的图形在按照解码顺序位于该特定图形以后的对象层(扩展层)上的图形的解码中不被使用。因此，如果该参考层上的图形在解码顺序为当前图形之后的参考层上的图形的解码中不被使用，则分层运动图形解码装置能够从基础解码图形缓冲器中删除参考图像集中不包含的图形。

<层间参考图像集的具体例1>

在此，参考图9说明参考图像集和层间参考图像集的具体例。图9是例示由2层构成的分层编码数据解码时的层间参考图像集、层间参考图像列表、扩展层与参考层的各参考图像集和参考图像列表的状态的图。

图9(a)表示参考层上的图形B1、B2、B3及对象层(扩展层)上的图形E1、E2、E3的显示顺序、以及基于帧间预测或层间图像预测的参考关系。图9(b)表示：上述各图形的解码顺序、各图形解码时的对象层(扩展层)的参考图像集(EL-RPS)、层间参考图像集(IL-RPS)、参考层的参考图像集(BL-RPS)、对象层(扩展层)或参考层的L0参考图像列表(L0-RPL)及L1参考图像列表(L1-RPL)、以及层间参考图像列表(IL-RPL)的状态。下面，按照解码顺序进行说明。

(1)B1解码时：B1是参考层的最初的图形，因此BL-RPS为空(图中为“{}”)。由于不使用帧间预测，所以L0-RPL和L1-RPL均不使用(图中为“-”)。另外，参考层也为基础层，因此无法利用层间图像预测，不使用IL-RPL(B2、B3解码时也是同样的)。

(2)E1解码时：E1是对象层(扩展层)的最初的图形，因此EL-RPS为空。在层间图像预测中能够参考B1的解码图像，即IL-RPS和IL-RPL中包含B1。

(3)B3解码时：B3能够通过帧间预测参考B1。即，BL-RPS中包含B1。另外，L0_RPL和L1_RPL中包含B1。

(4)E3解码时：E3能够通过帧间预测参考E1。即，EL-RPS中包含E1。另外，L0_RPL和L1_RPL中包含E1。另外，E3能够通过层间图像预测参考B3。即，IL-RPS和IL-RPL中包含B3。

(5)B2解码时：B2能够通过帧间预测参考B1和B3。即，BL-RPS中包含B1和B3。L0-RPL和L1-RPL中均包含B1和B3，但在L0-RPL中为B1、B3的顺序，在L1-RPL中为B3、B1的顺序。

(6)E2解码时：E2能够通过帧间预测参考E1和E3。即，EL-RPS中包含E1和E3。L0-RPL和L1-RPL中均包含E1和E3，但在L0-RPL中为E1、E3的顺序，在L1-RPL中为E3、E1的顺序。另外，E2能够通过层间图像预测参考B2。即，IL-RPS和IL-RPL中包含B2。

在上述例子中，E3解码时，IL-RPS中不包含B1。这意味着，对于解码顺序在E3之后的扩展层上的图形而言，B1在层间图像预测中不被使用。因此，分层运动图像解码装置能够在BL-RPS中不再包含B1的时刻，从基础解码图像缓冲器中删除B1的解码图像。此外，在不使用IL-RPS的情况下，即使BL-RPS中不再包含B1，也无法判定对象层(扩展层)上的图形是否有可能在层间图像预测中使用B1，因此无法从基础解码图像缓冲器中删除B1。因而，通过使用IL-RPS，能够确定帧间预测和层间图像预测中均不使用的参考层的解码图像，并从基础参考图像中将其删除，因此与不使用IL-RPS的情况相比能够减少存储器数量。

<层间参考图像集的具体例2>

接着，参考图10说明参考图像集和层间参考图像集的其他具体例。图10是表示由2层构成的分层编码数据解码时的层间参考图像集、层间参考图像列表、对象层(扩展层)与参考层的各参考图像集和参考图像列表的状态的其他例子的图。在图10所示的例子中，参考层的解码顺序与显示顺序的关系同对象层(扩展层)的显示顺序与解码顺序的关系不一致，这一点与图9说明的例子不同。

与图9(a)同样，图10(a)表示图形B1、B2、B3、E1、E2、E3的显示顺序、以及基于帧间预测或层间图像预测的参考关系。另外，与图9(b)同样，图10(b)表示上述各图形的解码顺序、各图形解码时的EL-RPS、IL-RPS、BL-RPS、L0-RPL、L1-RPL以及IL-RPL的状态。下面，按照解码顺序进行说明。

(1)B1解码时：B1是参考层的最初的图形，因此BL-RPS为空。另外，由于不使用帧间预测，所以L0-RPL和L1-RPL均不使用。另外，参考层也为基础层，因此无法利用层间图像预测，不使用IL-RPL(B2、B3解码时也是同样的)。

(2)B2解码时：B2能够通过帧间预测参考B1。即，BL-RPS中包含B1。另外，L0_RPL和L1_RPL中包含B1。

(3)B3解码时：B3能够通过帧间预测参考B1。即，BL-RPS中包含B1。另外，L0_RPL和L1_RPL中包含B1。

(4)E1解码时：E1是对象层(扩展层)的最初的图形，因此EL-RPS为空。在层间图像预测中能够参考B1的解码图像，即IL-RPS和IL-RPL中包含B1。

(5)E3解码时：E3能够通过帧间预测参考E1。即，EL-RPS中包含E1。另外，L0_RPL和L1_RPL中包含E1。另外，E3能够通过层间图像预测参考B3。即，IL-RPL中包含B3。此外，虽然在E3的层间图像预测中不参考B1，但在E3之后解码的E2中，在层间图像预测中参考B1。因此，IL-RPS中，除了B3以外还包含B1。

(6)E2解码时：E2能够通过帧间预测参考E1和E3。即，EL-RPS中包含E1和E3。L0-RPL和L1-RPL中均包含E1和E3，但在L0-RPL中为E1、E3的顺序，在L1-RPL中为E3、E1的顺序。另外，E2能够通过层间图像预测参考B1和B3。即，IL-RPS和IL-RPL中包含B1和B3。

在上述例子中，B3解码时的BL-RPS中不包含B2。因此，在B3解码时可知，在B3以后的参考层上的图形解码时不参考B2。E1解码时，IL-RPS中不包含B2。因此，在E1解码时可知，在E1以后的扩展层上的图形解码时不参考B2。因此，在E1解码时，能够从基础参考图像缓冲器中删除B2。

如上述两个例子所示，通过利用层间参考图像集，在运动图像解码装置中，能够确定参考层的解码图像在预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够减少存储器数量。在参考层和对象层(扩展层)的解码顺序以及生成各图形的预测图像时利用的参考层解码图像预先不确定的情况下，利用层间参考图像集的方式也是有效的。

(可变长解码部)

如前所述，可变长解码部12从输入的编码数据中解码预测信息、CU信息、参数集，并输出到合适的输出目的地。在此，关于与本发明关系密切的参考图像集、参考图像列表、层间参考图像集、以及层间参考图像列表相关的语法的解码，进行详细说明。另外，还说明从解码语法中导出参考图像集、参考图像列表、层间参考图像集、以及层间参考图像列表的处理。

<参考图像集解码处理>

RPS信息是为了构建参考图像集而从SPS或切片头中解码的信息。RPS信息中包含如下信息。

1、SPS短期RPS信息：SPS中包含的短期参考图像集信息

2、SPS长期RP信息：SPS中包含的长期参考图像信息

3、SH短期RPS信息：切片头中包含的短期参考图像集信息

4、SH长期RP信息：切片头中包含的长期参考图像信息

(1、SPS短期RPS信息)

SPS短期RPS信息包含参考SPS的各图形可利用的多个短期参考图像集的信息。此外，短期参考图像集是指可成为参考图像(短期参考图像)的图形的集合，该参考图像通过相对于对象图形的相对位置(例如与对象图形的POC差)来指定。

参考图11说明SPS短期RPS信息的解码。图11例示SPS解码时利用的SPS语法表的一部分。图11的部分(A)相当于SPS短期RPS信息。SPS短期RPS信息中包含：SPS中包含的短期参考图像集的数量(num_short_term_ref_pic_sets)以及各短期参考图像集的信息(short_term_ref_pic_set(i))。

参考图12说明短期参考图像集信息。图12例示SPS解码时以及切片头解码时利用的短期参考图像集的语法表。

短期参考图像集信息中包含：显示顺序早于对象图形的短期参考图像数(num_negative_pics)以及显示顺序晚于对象图形的短期参考图像数(num_positive_pics)。此外，下面将显示顺序早于对象图形的短期参考图像称为前方短期参考图像，将显示顺序晚于对象图形的短期参考图像称为后方短期参考图像。

另外，在短期参考图像集信息中，对于各前方短期参考图像，包含相对于对象图形的POC差的绝对值(delta_poc_s0_minus1[i])、以及用作对象图形的参考图像的可能性的有无(used_by_curr_pic_s0_flag[i])。此外，对于各后方短期参考图像，包含相对于对象图形的POC差的绝对值(delta_poc_s1_minus1[i])、以及用作对象图形的参考图像的可能性的有无(used_by_curr_pic_s1_flag[i])。

(2、SPS长期RP信息)

SPS长期RP信息包含参考SPS的各图形可利用的多个长期参考图像的信息。此外，长期参考图像是指通过序列内的绝对位置(例如POC)指定的图形。

再次参考图11说明SPS长期RP信息的解码。图11的部分(B)相当于SPS长期RP信息。SPS长期RP信息中包含：表示SPS中传输的长期参考图像的有无的信息(long_term_ref_pics_present_flag)、SPS中包含的长期参考图像的数量(num_long_term_ref_pics_sps)、以及各长期参考图像的信息。长期参考图像的信息中，包含参考图像的POC(lt_ref_pic_poc_lsb_sps[i])、以及用作对象图形的参考图像的可能性的有无(used_by_curr_pic_lt_sps_flag[i])。

此外，上述参考图像的POC既可以是与参考图像相关联的POC的值自身，也可以使用POC的LSB(Least Significant Bit，最低有效位)，即用POC除以既定的2的乘方后剩余的值。

(3、SH短期RPS信息)

SH短期RPS信息包含参考切片头的图形可利用的单一的短期参考图像集的信息。

参考图13说明SPS短期RPS信息的解码。图13例示切片头解码时利用的切片头语法表的一部分。图13的部分(A)相当于SH短期RPS信息。SH短期RPS信息包含表示如下含义的标志(short_term_ref_pic_set_sps_flag)：是从SPS中已解码的短期参考图像集中选择短期参考图像集，还是在切片头中明示地包含短期参考图像集。在从SPS中已解码的短期参考图像集中选择的情况下，包含选择一个已解码的短期参考图像集的标识符(short_term_ref_pic_set_idx)。在明示地包含在切片头中的情况下，在SPS短期RPS信息中包含前面所述的参考图12说明了的语法表(short_term_ref_pic_set(idx))。

(4、SH长期RP信息)

SH长期RP信息包含参考切片头的图形可利用的长期参考图像集的信息。

再次参考图13说明SH长期RP信息的解码。图13的部分(B)相当于SH长期RP信息。SH长期RP信息仅在对象图形可利用长期参考图像(long_term_ref_pic_present_flag)的情况下包含在切片头中。在SPS中已解码1个以上长期参考图像的情况下(num_long_term_ref_pics_sps＞0)，SPS中已解码的长期参考图像中对象图形可参考的参考图像的数量(num_long_term_sps)包含在SH长期RP信息中。另外，切片头中明示地传输的长期参考图像数(num_long_term_pics)包含在SH长期RP信息中。此外，从SPS中已传输的长期参考图像中选择数量为上述num_long_term_sps的长期参考图像的信息(lt_idx_sps[i])包含在SH长期RP信息中。此外，作为切片头中明示地包含的长期参考图像的信息，包含参考图像的POC(poc_lsb_lt[i])、以及用作对象图形的参考图像的可能性的有无(used_by_curr_pic_lt_flag[i])，它们的数量分别为上述num_long_term_pics。

<参考图像列表解码处理>

RPL修正信息是为了构建参考图像列表RPL而从SPS或切片头中解码的信息。RPL修正信息中包含SPS列表修正信息和SH列表修正信息。

(SPS列表修正信息)

SPS列表修正信息是SPS中包含的信息，是与参考图像列表修正的限制有关的信息。再次参考图11说明SPS列表修正信息。图11的部分(C)相当于SPS列表修正信息。SPS列表修正信息中，包含：表示参考图像列表在图形所包含的前切片中是否通用的标志(restricted_ref_pic_lists_flag)、以及表示切片头内是否存在与列表排序有关的信息的标志(lists_modification_present_flag)。

(SH列表修正信息)

SH列表修正信息是切片头中包含的信息，包含对象图形适用的参考图像列表的长度(参考列表长)的更新信息、以及参考图像列表的排序信息(参考列表排序信息)。参考图14说明SH列表修正信息。图14例示切片头解码时利用的切片头语法表的一部分。图14的部分(C)相当于SH列表修正信息。

作为参考列表长更新信息，包含表示列表长有无更新的标志(num_ref_idx_active_override_flag)。此外，还包含表示L0参考列表的变更后的参考列表长的信息(num_ref_idx_l0_active_minus1)、以及表示L1参考列表的变更后的参考列表长的信息(num_ref_idx_l1_active_minus1)。

参考图15说明作为参考列表排序信息包含在切片头中的信息。图15例示切片头解码时利用的参考列表排序信息的语法表。

参考列表排序信息中包含L0参考列表排序有无标志(ref_pic_list_modification_flag_l0)。在所述标志的值为1(有L0参考列表的排序的情况)并且NumPocTotalCurr大于2的情况下，L0参考列表排序顺序(list_entry_l0[i])包含在参考列表排序信息中。这里，NumPocTotalCurr是表示当前图形中可利用的参考图像的数量的变量。因此，仅在有L0参考列表的排序并且当前图形中可利用的参考图像数大于2的情况下，L0参考列表排序顺序包含在切片头中。

同样，在参考图像为B切片的情况下，即对象图形中可利用L1参考列表的情况下，L1参考列表排序有无标志(ref_pic_list_modification_flag_l1)包含在参考列表排序信息中。在所述标志的值为1并且NumPocTotalCurr大于2的情况下，L1参考列表排序顺序(list_entry_l1[i])包含在参考列表排序信息中。换言之，仅在有L1参考列表的排序并且当前图形中可利用的参考图像数大于2的情况下，L1参考列表排序顺序包含在切片头中。

<参考图像集构建处理>

说明基于上述各语法值的参考图像集导出处理的详细情况。此外，在本实施方式中，参考图像集导出处理由纹理复原部15内的参考图像列表设定部155执行。

基于RPS信息和解码图像缓冲器13中记录的信息，生成对象图形解码中使用的参考图像集RPS。参考图像集RPS是在对象图形、或者解码顺序位于对象图形之后的同一层上的图形中，解码时能够用作参考图像的图形(可参考图形)的集合。根据可参考图形的种类，参考图像集分为如下两个子集。

·当前图形可参考列表ListCurr：解码图像缓冲器上的图形中，对象图形可参考的图形的列表

·后续图形可参考列表ListFoll：虽然对象图形不进行参考，但解码顺序位于对象图形之后的图形可参考的、解码图像缓冲器上的图形的列表

此外，将当前图形可参考列表中包含的图形的数量称为当前图形可参考图形数NumCurrList。此外，上述的参考图15说明了的NumPocTotalCurr与NumCurrList相同。

当前图形可参考列表进一步由3个部分列表构成。

·当前图形长期可参考列表ListLtCurr：由SPS长期RP信息或SH长期RP信息指定的当前图形可参考图形

·当前图形短期前方可参考列表ListStCurrBefore：由SPS短期RPS信息或SH短期RPS信息指定的当前图形可参考图形，显示顺序早于对象图形

·当前图形短期后方可参考列表ListStCurrAfier：由SPS短期RPS信息或SH短期RPS信息指定的当前图形可参考图形，显示顺序早于对象图形

后续图形可参考列表进一步由2个部分列表构成。

·后续图形长期可参考列表ListLtFoll：由SPS长期RP信息或SH长期RP信息指定的后续图形可参考图形。

·后续图形短期可参考列表ListStFoll：由SPS短期RPS信息或SH短期RPS信息指定的当前图形可参考图形。

参考图像列表设定部155通过以下过程生成参考图像集RPS，即当前图形短期前方可参考列表ListStCurrBefore、当前图形短期后方可参考列表ListStCurrAfter、当前图形长期可参考列表ListLtCurr、后续图形短期可参考列表ListStFoll、以及后续图形长期可参考列表ListLtFoll。并且导出表示当前图形可参考图形数的变量NumPocTotalCurr。此外，假设上述各可参考列表在以下处理开始前设定为空。

(S201)基于SPS短期RPS信息和SH短期RPS信息，确定对象图形解码中使用的单一的短期参考图像集。具体而言，在SH短期RPS信息中包含的short_term_ref_pic_set_sps的值为0的情况下，选择SH短期RPS信息中包含的切片头明示传输的短期RPS。在除此以外(short_term_ref_pic_set_sps的值为1)的情况下，从SPS短期RPS信息中包含的多个短期RPS中，选择SH短期RPS信息中包含的short_term_ref_pic_set_idx所示的短期RPS。

(S202)导出所选择的短期RPS中包含的参考图像各自的POC的值，检测解码图像缓冲器13上与该POC值关联记录的局部解码图像的位置，作为参考图像在解码图像缓冲器上的记录位置进行导出。

在参考图像为前方短期参考图像的情况下，从对象图形的POC值中减去值“delta_poc_s0_minus1[i]+1”，以导出参考图像的POC值。另一方面，在参考图像为后方短期参考图像的情况下，在对象图形的POC值上加上值“delta_poc_s1_minus1[i]+1”，以导出参考图像的POC值。

(S203)按照传输顺序确认短期RPS中包含的前方参考图像，在关联的used_by_curr_pic_s0_flag[i]的值为1的情况下，将该前方参考图像追加到当前图形短期前方可参考列表ListStCurrBefore中。在除此以外(used_by_curr_pic_s0_flag[i]的值为0)的情况下，将该前方参考图像追加到后续图形短期可参考列表ListStFoll中。

(S204)按照传输顺序确认短期RPS中包含的后方参考图像，在关联的used_by_curr_pic_s1_flag[i]的值为1的情况下，将该后方参考图像追加到当前图形短期后方可参考列表ListStCurrAfter中。在除此以外(used_by_curr_pic_s1_flag[i]的值为0)的情况下，将该前方参考图像追加到后续图形短期可参考列表ListStFoll中。

(S205)基于SPS长期RP信息和SH长期RP信息，确定对象图形解码中使用的长期参考图像集。具体而言，从SPS长期RP信息中包含的参考图像中选择数目为num_long_term_sps的参考图像，并依次追加到长期参考图像集中。选择的参考图像是lt_idx_sps[i]所示的参考图像。接着，将SH长期RP信息中包含的、数目为num_long_term_pics的参考图像依次追加到长期参考图像集中。

(S206)导出长期参考图像集中包含的参考图像各自的POC的值，检测解码图像缓冲器13上与该POC值关联记录的局部解码图像的位置，作为参考图像在解码图像缓冲器上的记录位置进行导出。

长期参考图像的POC从关联解码的poc_lst_lt[i]或lt_ref_pic_poc_lsb_sps[i]的值中直接导出。

(S207)依次确认长期参考图像集中包含的参考图像，在关联的used_by_curr_pic_lt_flag[i]或used_by_curr_pic_lt_sps_fiag[i]的值为1的情况下，将该长期参考图像追加到当前图形长期可参考列表ListLtCurr中。在除此以外(used_by_curr_pic_lt_flag[i]或used_by_curr_pic_lt_sps_flag[i]的值为0)的情况下，将该长期参考图像追加到后续图形长期可参考列表ListLtFoll中。

(S208)将变量NumPocTotalCurr的值设定为当前图形可参考的参考图像的和。即，将变量NumPocTotalCurr的值设定为当前图形短期前方可参考列表ListStCurrBefore、当前图形短期后方可参考列表ListStCurrAfter、以及当前图形长期可参考列表ListLtCurr这三个列表的各元素数之和。

<参考图像列表构建处理>

说明参考图像列表构建处理的详细情况。参考图像列表导出部基于参考图像集RPS和RPL修正信息生成参考图像列表RPL。

参考图像列表由L0参考列表和L1参考列表这两个列表构成。首先说明L0参考列表的构建过程。通过以下的S301～S307所示的过程构建L0参考列表。

(S301)生成临时L0参考列表，并初始化为空列表。

(S302)对临时L0参考列表，依次追加当前图形短期前方可参考列表中包含的参考图像。

(S303)对临时L0参考列表，依次追加当前图形短期后方可参考列表中包含的参考图像。

(S304)对临时L0参考列表，依次追加当前图形长期可参考列表中包含的参考图像。

(S305)在修正参考图像列表的情况(RPL修正信息中包含的lists_modification_present_flag的值为1的情况)下，执行以下的S306a～S306b的处理。在其他情况(lists_modification_present_flag的值为0的情况)下，执行S307的处理。

(S306a)在L0参考图像的修正有效的情况(RPL修正信息中包含的ref_pic_list_modification_flag_l0的值为1的情况)并且当前图形可参考图形数NumCurrList等于2的情况下，执行S306b。在其他情况下，执行S306c。

(S306b)通过下式设定RPL修正信息中包含的列表排序顺序list_entry_l0[i]的值，然后执行S306c。

list_entry_l0[0]＝1

list_entry_l0[1]＝0

(S306c)基于参考列表排序顺序list_entry_l0[i]的值，对临时L0参考列表的元素进行排序，作为L0参考列表。与参考图像索引rIdx对应的L0参考列表的元素RefPicList0[rIdx]通过下式导出。这里，RefListTemp0[i]表示临时L0参考列表的第i个元素。

RefPicList0[rIdx]＝RefPicListTemp0[list_entry_l0[rIdx]]

根据上式，在参考列表排序顺序list_entry_l0[i]中，参考由参考图像索引rIdx所示的位置中记录的值，将临时L0参考列表中记录在上述值的位置处的参考图像，存储为L0参考列表的rIdx位置的参考图像。

(S307)将临时L0参考列表作为L0参考列表。

接着，构建L1参考列表。此外，L1参考列表也能够通过与上述L0参考列表相同的过程构建。可以在上述L0参考列表的构建过程(S301～S307)中，将L0参考图像、L0参考列表、临时L0参考列表、list_entry_l0分别置换为L1参考图像、L1参考列表、临时L1参考列表、list_entry_l1。

<层间参考图像集解码处理>

IL-RPS信息(层间参考图像集信息)是为了构建层间参考图像集而从SPS或切片头中解码的信息。此外，对象图形是对象层(扩展层)上的图形，因此以下说明中的SPS、切片头指对象层(扩展层)的图形解码时参考的SPS、切片头。图16是表示IL-RPS信息相关的SPS语法表(seq_parameter_set_rbsp)的一部分的图。SPS中，作为IL-RPS信息的语法元素，包含SPS层间RPS估计标志(sps_infer_inter_layer_rps_flag)和层间RPS数(num_inter_layer_ref_pic_sets)。另外，作为IL-RPS信息的语法结构，包含层间RPS(inter_layer_ref_pic_set(i))。

SPS层间RPS估计标志是表示在适用SPS的序列中是否估计层间参考图像集的标志。在SPS层间RPS估计标志的值为1的情况下，表示估计层间参考图像集，在该标志的值为0的情况下，表示从明示的编码数据中解码层间参考图像集。在估计层间参考图像集的情况下，例如，各图形的层间参考图像集能够通过复制输出顺序与该图形相等的参考层上的图形的参考图像集来实现。另外，例如，通过复制各图形的参考图像集，将复制的参考图像集中包含的扩展层上的图形的解码图像置换为输出顺序分别相等的参考层上的图形的解码图像，也能够实现。

层间RPS数表示SPS中包含的层间参考图像集信息的数量。SPS中包含个数与层间RPS数相等的层间参考图像集信息。

参考图17说明层间参考图像集信息。图17例示SPS解码时以及切片头解码时利用的层间参考图像集(inter_layer_ref_pic_set)的语法表。

层间参考图像集信息中包含：显示顺序早于对象图形的层间参考图像数(num_negative_il_pics)以及显示顺序晚于对象图形的层间参考图像数(num_positive_il_pics)此外，下面将显示顺序早于对象图形的层间参考图像称为前方层间参考图像，将显示顺序晚于对象图形的层间参考图像称为后方层间参考图像。

另外，在层间参考图像集信息中，对于各前方层间参考图像，包含相对于对象图形的POC差的绝对值(delta_poc_il_s0_minus1[i])、以及对象图形作为层间参考图像使用的可能性的有无(used_by_curr_pic_il_s0_flag[i])。num_negative_pics、delta_poc_il_s0_minus[i]、used_by_curr_pic_il_s0_flag[i]是表示层间参考图像集中包含的前方层间参考图像的层间参考图像集信息。

此外，对于各后方层间参考图像，包含相对于对象图形的POC差的绝对值(delta_poc_il_s1_minus1[i])、以及对象图形作为层间参考图像使用的可能性的有无(used_by_curr_pic_il_s1_flag[i])。num_positive_pics、delta_poc_il_s1_minus[i]、used_by_curr_pic_il_s1_flag[i]是表示层间参考图像集内的后方层间参考图像的层间参考图像集信息。

此外，层间参考图像集信息中，包含表示层间参考图像集中是否包含显示顺序(POC)与对象图形相等的参考层上的图形(同时刻层间参考图像)的标志(il_col_pic_in_rps_flag)。在层间参考图像集中包含同时刻层间参考图像的情况(il_col_pic_in_rps_flag为1的情况)下，包含同时刻层间参考图像作为对象图形的层间参考图像使用的可能性的有无(used_by_curr_pic_il_col_flag)。il_col_pic_in_rps_flag和used_by_curr_pic_il_col_flag是表示层间参考图像集内的同时刻层间参考图像的层间参考图像集信息。

上述参考图17说明的层间参考图像集信息的语法表具有如下特征。也就是说，层间参考图像集信息的前半部分(图中的部分A)中，包含与除层间同时刻图形以外的参考层图形有关的层间参考图形信息。此外，上述前半部分的语法结构与参考图12说明了的短期参考图像集的语法结构为相同结构。在此，相同结构是指能够通过同一分析处理来解码语法值。后半部分(图中的部分B)中包含与层间同时刻图形有关的层间参考图形信息。

通过使用上述层间参考图像语法结构，在前半部分的分析处理中能够利用短期参考图像集所使用的分析处理，因此具有能够简化分层运动图像解码装置的安装的优点。

此外，在上述语法结构例中，假定使用POC作为显示时刻的基准，但并不局限于此。例如，在显示时刻与每个图形直接关联的情况下，可以将显示时刻之差设定为表示POC差的语法值(delta_poc_il_s0_minusl和delta_poc_il_sl_minus)。

图18是表示IL-RPS信息相关的切片头语法表(seq_parameter_set_rbsp)的一部分的图。切片头内的IL-RPS信息包含参考切片头的图形可利用的单一的层间参考图像集的信息。

参考图18说明切片头内的IL-RPS信息(SH-IL-RPS信息)的解码。图18例示切片头解码时利用的切片头语法表的一部分。SH-IL-RPS信息在不估计层间参考图像集的情况(sps_infer_inter_layer_rps_fiag为0的情况)下进行解码。SH-IL-RPS信息包含表示如下含义的标志(il_ref_pic_set_sps_flag)：是从SPS中已解码的层间参考图像集中选择层间参考图像集，还是在切片头中明示地包含层间参考图像集。在从SPS中已解码的层间参考图像集中选择的情况下，SH-IL-RPS信息中包含从已解码的层间参考图像集中选择一个集合的标识符(il_ref_pic_set_idx)。在明示地包含在切片头中的情况下，在SH-IL-RPS信息中包含相当于上述参考图17说明了的语法表(inter_layer_ref_pic_set())的信息。

<层间参考图像列表解码处理>

层间参考图像列表修正信息(IL-RPL修正信息)是切片头中包含的信息，包含对象图形适用的层间参考图像列表的长度(层间参考列表长)的更新信息、以及参考图像列表的排序信息(层间参考列表排序信息)。参考图20说明IL-RPL修正信息。图20例示切片头解码时利用的切片头语法表中与层间参考图像列表信息有关的部分。

作为层间参考列表长更新信息，包含表示列表长有无更新的标志(num_il_ref_idx_active_override_flag)。此外，还包含表示层间参考列表的变更后的参考列表长的信息(num_il_ref_idx_active_minus1)。

参考图21说明作为层间参考列表排序信息包含在切片头中的信息。图21例示切片头解码时利用的层间参考列表排序信息的语法表。

层间参考列表排序信息中包含层间参考图像列表排序有无标志(il_ref_pic_list_modification_flag)。在所述标志的值为1(对层间参考图像列表进行排序)的情况下，层间参考图像列表排序顺序(list_entry_il[i])包含在参考图像列表排序信息中。

<层间参考图像集构建处理>

说明基于上述各语法值的层间参考图像集构建处理的详细情况。此外，在本实施方式中，参考图像集导出处理由纹理复原部15内的层间参考图像列表设定部156执行。

基于IL-RPS信息和基础解码图像缓冲器17中记录的信息，生成对象图形解码中使用的层间参考图像集ILRPS。层间参考图像集ILRPS是在对象图形、或者解码顺序位于对象图形之后的对象层上的图形中，解码时能够用作基础参考图像的参考层上的图形的集合(层间可参考图形的集合)。根据层间可参考图形的种类，层间参考图像集分为如下两个子集。

·当前层间可参考列表ListIlCurr：基础解码图像缓冲器上的图形中，对象图形可进行层间参考的图形的列表

·后续层间可参考列表ListIlFoll：虽然对象图形不进行参考，但解码顺序位于对象图形之后的扩展层上的图形可参考的、基础解码图像缓冲器上的图形的列表

此外，将当前层间可参考列表中包含的图形的数量称为当前层间可参考图形数NumIlCurrList。

当前层间可参考列表进一步由3个部分列表构成。

·当前层间前方可参考列表ListIlCurrBefore：由IL-RPS信息指定的当前层间可参考图形，显示顺序早于对象图形

·当前层间后方可参考列表ListIlCurrAfter：由IL-RPS信息指定的当前层间可参考图形，显示顺序早于对象图形

·当前层间同时刻可参考图形列表ListIlCurrCol：由IL-RPS信息指定的当前层间可参考图形，显示顺序与对象图形相同。

后续层间可参考列表定义如下。

·后续层间可参考列表(ListIlFoll)：由IL-RPS信息指定的后续层间可参考图形。

层间参考图像列表设定部156通过以下过程生成层间参考图像集ILRPS，即当前层间前方可参考列表ListIlCurrBefore、当前层间后方可参考列表ListIlCurrAfter、以及后续层间可参考列表ListIlFoll。并且导出表示当前层间可参考图形数的变量NumIlPocTotalCurr。此外，假设上述各层间可参考列表在以下处理开始前设定为空。

(S401)基于从SPS和切片头解码的IL-RPS信息，确定对象图形解码中使用的单一的层间参考图像集。具体而言，在切片头的IL-RPS信息中包含的il_ref_pic_set_sps_flag的值为0的情况下，选择切片头中明示传输的层间参考图像集。在除此以外(il_ref_pic_set_sps_flag的值为1)的情况下，从SPS中解码的IL-RPS信息中包含的多个层间参考图像集中，选择IL-RPS信息中包含的il_ref_pic_set_idx所示的层间参考图像集。

(S402)导出所选择的层间参考图像集中包含的层间参考图像各自的POC的值，检测基础解码图像缓冲器17上与该POC值关联记录的参考层解码图像的位置，作为层间参考图像在解码图像缓冲器上的记录位置进行导出。

在层间参考图像为前方层间参考图像的情况下，从对象图形的POC值中减去值“delta_poc_il_s0_minus1[i]+1”，以导出层间参考图像的POC值。另一方面，在层间参考图像为后方短期参考图像的情况下，在对象图形的POC值上加上值“delta_poc_il_s1_minus1[i]+1”，以导出层间参考图像的POC值。

(S403)按照传输顺序确认层间参考图像集中包含的前方层间参考图像，在关联的used_by_curr_pic_il_s0_flag[i]的值为1的情况下，将该前方层间参考图像追加到当前层间前方可参考列表ListIlCurrBefore中。在除此以外(used_by_curr_pic_il_s0_flag[i]的值为0)的情况下，将该前方层间参考图像追加到后续层间可参考列表ListIlFoll中。

(S404)按照传输顺序确认层间参考图像集中包含的后方层间参考图像，在关联的used_by_curr_pic_il_s1_flag[i]的值为1的情况下，将该后方层间参考图像追加到当前层间后方可参考列表ListIlCurrAfter中。在除此以外(used_by_curr_pic_il_s1_flag[i]的值为0)的情况下，将该前方层间参考图像追加到后续层间可参考列表ListIlFoll中。

(S405)确认层间参考图像集中包含的、显示顺序与对象图形同时刻的层间参考图像，在关联的used_by_curr_pic_il_col_flag的值为1的情况下，将该层间参考图像追加到当前层间同时刻可参考列表ListIlCurrCol中。在除此以外(used_by_curr_pic_il_col_flag的值为0)的情况下，将该层间参考图像追加到后续层间可参考列表ListIlFoll中。

(S406)将变量NumIlPocTotalCurr的值设定为当前图形可参考的层间参考图像的和。即，将变量NumIlPocTotalCurr的值设定为当前层间前方可参考列表ListIlCurrBefore、以及当前层间后方可参考列表ListIlCurrAfter的各元素数之和。

利用上述过程，基于由可变长解码部12解码了的层间参考图像集有关的语法，在层间参考图像列表设定部156中，能够构建对象图形解码中使用的层间参考图像集。此外，上述层间参考图像集有关的语法以及层间参考图像列表导出处理仅为例示，也可以利用其他语法和构建处理来导出层间参考图像列表。

通过上述过程构建的层间参考图像集包含有可能在对象图形、或者输出顺序位于对象图形之后的对象层上的图形的解码时使用的基础解码图像的集合(层间可参考图形的集合)。因此，基于层间参考图像集，能够确定在对象图形解码时应保持在基础解码图像缓冲器17中的参考层的解码图像(基础解码图像)。因此，通过使用层间参考图像集，在基础解码图像缓冲器17中仅留下所需最小限度的基础解码图像，由此能够减少基础解码图像缓冲器的存储器数量。

另外，通过上述过程构建的层间参考图像集包含有可能在对象图形解码中使用的基础解码图像的集合(当前层间可参考列表)。因此，在纹理复原部15中，能够从当前层间可参考列表中包含的基础解码图像中选择基础参考图像，以生成层间预测图像。因此，与仅将输出顺序与对象图形相同的基础解码图像作为基础参考图像以生成层间预测图像的情况相比，能够生成与输入图像近似的预测图像，因此能够减少预测残差的编码量，结果能够生成编码量少的对象层的分层编码数据。

<层间参考图像列表构建处理>

说明层间参考图像列表构建处理的详细情况。纹理复原部15内的层间参考图像列表设定部156基于层间参考图像集ILRPS和IL-RPL修正信息生成层间参考图像列表ILRPL。

通过以下的S501～S507所示的过程构建层间参考图像列表(IL参考列表)。

(S501)生成临时IL参考列表，并初始化为空列表。

(S502)对临时IL参考列表，依次追加当前层间同时刻可参考列表中包含的参考图像。

(S503)对临时IL参考列表，依次追加当前层间前方可参考列表中包含的参考图像。

(S504)对临时IL参考列表，依次追加当前层间后方可参考列表中包含的参考图像。

(S505)在修正层间参考图像列表的情况(RPL修正信息中包含的lists_modification_present_flag的值为1的情况)下，执行以下的S506的处理。在其他情况(lists_modification_present_flag的值为0的情况)下，执行S507的处理。

(S506)基于层间参考列表排序顺序list_entry_il[i]的值，对临时IL参考列表的元素进行排序，作为IL参考列表。与参考图像索引rIdx对应的IL参考列表的元素RefPicListIl[rIdx]通过下式导出。这里，RefListTempIl[i]表示临时IL参考列表的第i个元素。

RefPicListIl[rIdx]＝RefPicListTempIl[list_entry_il[rIdx]]

根据上式，在层间参考列表排序顺序list_entry_il[i]中，参考由参考图像索引rIdx所示的位置中记录的值，将临时IL参考列表中记录在上述值的位置处的层间参考图像，存储为IL参考列表的rIdx位置的层间参考图像。然后结束处理。

(S507)将临时IL参考列表作为IL参考列表。然后结束处理。

通过上述过程构建的层间参考图像列表是对基础解码图像进行允许重复的排序得到的列表，该基础解码图像包含在层间参考图像集中，并且包含在有可能在对象图形解码中使用的基础解码图像的集合(当前层间可参考列表)中。因此，通过以选择频率高的基础参考图像具有更高优先级的方式构建层间参考图像列表，并且对于选择层间参考图像列表上的高优先级的基础参考图像时的预测参数，与选择低优先级时的预测参数相比分配较短的编码，由此能够以较短编码的预测参数选择选择频率高的基础解码图像，因此能够减少分层编码数据的编码量。

使用图5说明基础解码部16的详细结构。图5是例示基础解码部16的结构的功能框图。

如图5所示，基础解码部16具备：可变长解码部161、基础预测参数复原部162、基础变换系数复原部163、以及基础纹理复原部164。

可变长解码部161从参考层编码数据DATA#R中包含的二进制数中解码各种语法值。

具体而言，可变长解码部161从编码数据DATA#R中解码预测信息和变换系数信息。可变长解码部161解码的预测信息和变换系数的语法与可变长解码部12相同，因而这里省略其详细说明。

可变长解码部161将解码后的预测信息提供给基础预测参数复原部162，同时将解码后的变换系数信息提供给基础变换系数复原部163。

基础预测参数复原部162基于从可变长解码部161提供的预测信息，复原基础预测参数。基础预测参数复原部162复原基础预测参数的方法与预测参数复原部14相同，因而这里省略其详细说明。基础预测参数复原部162将复原后的基础预测参数提供给基础纹理复原部164。

基础变换系数复原部163基于从可变长解码部161提供的变换系数信息复原变换系数。基础变换系数复原部163复原变换系数的方法与逆正交变换/逆量化部151相同，因而这里省略其详细说明。基础变换系数复原部163将复原后的基础变换系数提供给基础纹理复原部164。

基础纹理复原部164使用从基础预测参数复原部162提供的基础预测参数、以及从基础变换系数复原部163提供的基础变换系数，生成解码图像。具体而言，基础纹理复原部164基于基础预测参数，进行与纹理预测部152相同的纹理预测，以生成预测图像。另外，基础纹理复原部164基于基础变换系数生成预测残差，将生成的预测残差与通过纹理预测生成的预测图像相加，由此生成基础解码图像。

此外，基础纹理复原部164也可以对基础解码图像实施与环路滤波器部154相同的滤波器处理。另外，基础纹理复原部164可以具备用于存储已解码的基础解码图像的帧存储器，也可以在纹理预测中参考帧存储器中存储的已解码的基础解码图像。

(运动图像解码装置1的效果)

以上说明的本实施方式的分层运动图像解码装置1具备导出层间参考图像集的层间参考图像列表设定部。因此，分层运动图像解码装置1通过利用层间参考图像集，能够使用预测图像从以较少编码量进行了编码的编码数据中再生对象图形的解码图像，该预测图像是使用显示顺序与解码对象图形不同的参考层解码图像生成的。另外，通过利用层间参考图像集，能够确定参考层的解码图像在对象层的预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够减少存储器数量。

[变形例1：层间参考图像集解码处理2：通知与短期RPS的差]

在上述运动图像解码装置1的说明中，参考图16、图17、图18示出了与RPS信息(参考图像集信息)分开地通知IL-RPS信息的方法，但也可以将相当于参考图像集与层间参考图像集的差的信息作为IL-RPS信息。参考图19说明该例。图19例示切片头解码时利用的切片头语法表的一部分。SH-IL-RPS信息在不估计层间参考图像集的情况(sps_infer_inter_layer_rps_flag为0的情况)下进行解码。作为IL-RPS信息，对于对象切片适用的参考图像集的前方短期参考图像数(num_negative_pics)的各前方短期参考图像，对表示与该前方短期参考图像对应的参考层上的图形是否包含在层间参考图像集中的标志(pic_s0_in_il_rps_flag[i])进行解码。在包含的情况(pic_s0_in_il_rps_flag[i]为1的情况)下，对该前方短期参考图像作为层间参考图像用于对象图形解码的可能性的有无(used_by_curr_pic_il_s0_flag[i])进行解码。同样，对于对象切片适用的参考图像集的后方短期参考图像数(num_positive_pics)的各后方短期参考图像，对表示与该后方短期参考图像对应的参考层上的图形是否包含在层间参考图像集中的标志(pic_s1_in_il_rps_flag[i])进行解码。在包含的情况(pic_s1_in_il_rps_flag[i]为1的情况)下，对该后方短期参考图像作为层间参考图像用于对象图形解码的可能性的有无(used_by_curr_pic_il_s1_flag[i])进行解码。

上述IL-RPS信息的通知方法也能够概略地表示如下。即，对于对象图形的参考图像集中包含的各参考图像，对与该参考图像对应(显示顺序相同)的参考层图形是否包含在层间参考图像集中的标志进行解码。在包含的情况下，进一步对表示该参考层图形用于对象图形解码的可能性的有无的标志进行解码。

在通过该方法通知IL-RPS信息的情况下，层间参考图像集中可包含的参考层图形被限定为：显示时刻相同的扩展层图形包含在参考图像集中的参考层图形。换言之，在特定的扩展层图形不包含在参考图像集中的情况下，与该扩展层图形显示时刻相同的参考层图形不包含在层间参考图像集中，即使不从参数集中解码层间参考图像集信息也能够判别这一点。因此，分层运动图像解码装置能够在不从参数集中解码层间参考图像集信息的情况下，从层间参考图像缓冲器中删除部分参考层图形，因此能够简化解码处理。

[分层运动图像编码装置]

下面，参考图22～图23说明本实施方式的分层运动图像编码装置2的结构。

(分层运动图像编码装置的结构)

使用图22对分层运动图像编码装置2的概略结构说明如下。图22是表示分层运动图像编码装置2的概略结构的功能框图。分层运动图像编码装置2参考参考层编码数据DATA#R对对象层输入图像PIN#T进行编码，以生成对象层的分层编码数据DATA。此外，假设参考层编码数据DATA#R在与参考层对应的分层运动图像编码装置中已经进行了编码。

如图22所示，分层运动图像编码装置2具备：预测参数决定部21、预测信息生成部22、基础解码部23、纹理信息生成部24、可变长编码部25、NAL复用部26、解码图像缓冲器27、以及基础解码图像缓冲器28。

预测参数决定部21基于输入图像PIN#T，决定预测图像的预测中使用的预测参数和其他编码设定。

预测参数决定部21以如下方式进行预测参数等编码设定。

首先，预测参数决定部21将输入图像PIN#T依次分割为切片单位、CTU单位、CU单位，由此生成关于对象CU的CU图像。

另外，预测参数决定部21基于分割处理的结果生成编码信息(有时也称为头信息)。编码信息包含：(1)属于对象切片的CTU的大小、形状以及在对象切片内的位置的相关信息即CTU信息；以及(2)属于各CTU的CU的大小、形状、以及在对象树块内的位置的相关信息即CU信息。

此外，预测参数决定部21参考CU图像、CTU信息、以及CU信息，导出对象CU的CU预测类型、对于对象CU的PU的分割信息、以及预测参数(若对象CU是帧内CU，则是层间预测标志和空间预测模式，若对象CU是帧间CU，则是运动补偿参数)。

预测参数决定部21基于(1)对象CU的预测类型、(2)对于对象CU的各PU的可分割模式、以及(3)可对各PU分派的预测模式(例如层间预测标志、空间预测模式、跳过标志、运动补偿参数)的所有组合，计算成本，决定成本最低的预测类型、分割模式、以及预测模式。

另外，预测参数决定部21基于预先指定的信息导出参数集。参数集中包含由图形的编码顺序与显示顺序的关系、同一层内的图形的参考结构决定的参考图像集和参考图像列表。另外，参数集中包含由编码对象层和参考层的图形的编码顺序与显示顺序的关系、层间的图形的参考结构决定的层间参考图像集和层间参考图像列表。

预测参数决定部21将编码信息和预测参数提供给预测信息生成部22和纹理信息生成部24。此外，虽然为了便于说明而没有进行图示，但预测参数决定部21中决定的上述编码设定在分层运动图像编码装置2的各部分中能够进行参考。

预测信息生成部22基于从预测参数决定部21提供的预测参数，生成包含与预测参数有关的语法值的预测信息。预测信息生成部22将生成的预测信息提供给可变长编码部25。

基础解码部23与分层运动图像解码装置1的基础解码部16相同，因而这里省略其说明。从基础解码部23输出的参考层的解码图像记录到基础解码图像缓冲器28中。

纹理信息生成部24生成变换系数信息，其中包含对预测残差进行正交变换/量化得到的变换系数，该预测残差是从输入图像PIN#T中减去预测图像而得到的。纹理信息生成部24将生成的变换系数信息提供给可变长编码部25。另外，在纹理信息生成部24中，复原了的解码图像存储在解码图像缓冲器27中。

可变长编码部25对从预测信息生成部22提供的预测信息和参数集信息、以及从纹理信息生成部24提供的变换系数信息进行可变长编码，生成对象层编码数据DATA#T。可变长编码部25将生成的对象层编码数据DATA#T提供给NAL复用部26。

NAL复用部26生成通过将从可变长编码部25提供的对象层编码数据DATA#T和参考层编码数据DATA#R存储到NAL单元中而进行了NAL复用的分层运动图像编码数据DATA，并输出到外部。

(纹理信息生成部)

使用图23说明纹理信息生成部24的详细结构。图23是表示分层运动图像编码装置2的纹理信息生成部24的概略结构的功能框图。纹理信息生成部24具备加法器241和正交变换/量化部242。另外，纹理信息生成部24还具备与分层运动图像解码装置1的纹理复原部15共同的结构元素，即：逆正交变换/逆量化部151、纹理预测部152、加法器153、环路滤波器部154、参考图像列表设定部155、以及层间参考图像列表设定部156。对于与纹理复原部共同的结构元素，赋予相同的记号并省略说明。

加法器241从输入图像中减去从纹理预测部152提供的预测图像，由此生成预测残差D。

正交变换/量化部242(1)对从加法器241提供的预测残差D适用正交变换(例如DCT(Discrete Cosine Transform，离散余弦变换)变换)，(2)对通过正交变换得到的DCT系数适用量化，(3)将通过量化得到的已量化DCT系数作为变换系数信息输出到外部，同时提供给逆正交变换/逆量化部151。此外，以变换块为单位适用正交变换。

通过以下的S701～S708执行纹理信息生成部24中的、以对象层(扩展层)上的特定图形为对象图形的变换系数信息和解码图像生成处理的过程。

(S701)参考图像列表设定部155基于输入的预测参数中包含的参数集信息(参考图像集信息、参考图像列表修正信息)，生成对象图形的预测图像生成中使用的参考图像列表，并输出到纹理预测部152。此外，参考图像列表中，包含确定参考图像在解码图像缓冲器27上的位置的信息，该参考图像由纹理预测部152内的帧间预测部152T进行参考。

(S702)层间参考图像列表设定部156基于输入的预测参数中包含的参数集信息(层间参考图像集信息、层间参考图像列表修正信息)，生成对象图形的预测图像生成中使用的层间参考图像列表，并输出到纹理预测部152。此外，层间参考图像列表中，包含确定层间参考图像在层间解码图像缓冲器28上的位置的信息，该层间参考图像由纹理预测部152内的层间图像预测部152S进行参考。

(S703)纹理预测部152通过输入的预测参数所示的预测单位和预测方法，生成与输入图像的部分区域对应的预测图像，并输出到加法器241和加法器153中。根据预测类型，由帧间预测部152T、帧内预测部152S、以及层间图像预测部152B中的任一预测部生成预测图像。

(S704)加法器241从对应的输入图像的区域中减去从纹理预测部152输入的预测图像，由此生成预测残差D，并输出到正交变换/量化部242。

(S705)正交变换/量化部242将输入的预测残差D分割为变换块，对每个变换块适用正交变换和量化以生成已量化的变换系数，将其作为变换系数信息输出到外部，同时输出到逆正交变换/逆量化部151。

(S706)逆正交变换/逆量化部151以变换块为单位对输入的已量化的变换系数适用逆量化和逆正交变换，生成预测残差，并将其输出到加法器153。

(S707)加法器153对输入的预测图像和预测残差进行相加，将得到的环路滤波器适用前解码图像输出到环路滤波器部154。

(S708)环路滤波器部154对输入的环路滤波器适用前解码图像适用环路滤波器以生成解码图像，将其与对象图形的输出顺序(POC)相关联地记录到外部的解码图像缓冲器27中。

(运动图像编码装置2的效果)

以上说明的本实施方式的分层运动图像编码装置2具备导出层间参考图像集的层间参考图像列表设定部。分层运动图像编码装置2中，通过利用层间参考图像集，能够确定参考层的解码图像在预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够减少存储器数量。另外，运动图像编码装置中，在对应的运动图像解码装置的解码时，通过利用层间参考图像集，能够确定参考层的解码图像在预测图像生成中不再被使用的时机，并从基础解码图像缓冲器中将其删除，由此能够生成可减少存储器数量的编码数据。

[分层运动图像解码装置(第二实施方式)]

下面，参考图24～图27说明本实施方式的分层运动图像解码装置3。图24是表示分层运动图像解码装置3的概略结构的功能框图。分层运动图像解码装置3将对象层编码DATA#T和基础解码序列作为输入，解码对象层解码图像POUT#T。基础解码序列是参考层的解码图像的序列，包含多个与对象层图形对应的参考层图形的解码图像。另外，基础解码序列也可以包含对各图形的基础图形头。基础图形头包含表示解码图像的显示时刻(时间戳)的信息。

如图24所示，分层运动图像解码装置3具备：基础控制部31、可变长解码部32、解码图像缓冲器13、预测参数复原部14、纹理复原部15、以及基础解码图像缓冲器37。

分层运动图像解码装置3与将分层编码数据作为输入的分层运动图像解码装置1不同，内部不具备基础解码部，因此无法解码分层编码数据中包含的参考层编码数据。取而代之，输入通过外部单元进行解码后的图像，作为参考层解码图像(基础解码图像)使用。因此，分层运动图像解码装置3还可以用于如下用途：通过外部的解码装置对使用现有编解码器(例如AVC、MPEG-2)编码的编码数据进行解码，将输出的解码图像序列作为基础解码序列用于输入。

分层运动图像解码装置3的结构元素中，预测参数复原部14、纹理复原部15、解码图像缓冲器13与分层运动图像解码装置1的同名结构元素具有相同功能，因此赋予相同的符号并省略说明。

(基础解码图像缓冲器)

基础解码图像缓冲器37是用于与对象层(扩展层)中图形的显示顺序(POC)相关联地保持从外部输入的基础解码图像的缓冲器。基础解码图像缓冲器37中，需要至少记录在对象层中的对象图形解码时纹理复原部15中生成预测图像所使用的基础解码图像。从抑制存储器数量的观点来看，优选在基础解码图像缓冲器37中仅记录对象层(扩展层)解码所使用的基础解码图像。但是，基础解码图像缓冲器37中也可以记录预测图像生成中不使用的基础解码图像。

下面，假定基础解码图像缓冲器37中记录的基础解码图像与基础解码序列中包含的图形具有相同的图形大小进行说明。但是，也可以将变换为不同图形大小(例如对象层的图形大小)的图形作为基础解码图像记录在基础解码图像缓冲器37中。在此情况下，需要根据参考层与对象层的图形大小之比，对基础解码序列中包含的解码图像进行升采样处理。

(可变长解码部)

可变长解码部32与分层运动图像解码装置1的可变长解码部12具有基本相同的功能。也就是说，从输入的编码数据中解码预测信息、CU信息、参数集，并输出到合适的输出目的地。另外，可变长解码部32从对象层编码数据DATA#T中解码基础控制信息并输出。参数集中包含分层运动图像解码装置1中说明了的层间参考图像集。

以下，假设基础控制信息包含在作为参数集之一的SPS中来进行说明。另外，基础控制信息不需要一定包含在SPS中，也可以包含在其他参数集中。例如，也可以包含在作为参数集之一的VPS中。

基础控制信息包含表示基础解码序列的特性的信息。基础控制信息(BLI)中包含以下信息。

(BLI1)基础解码图像的大小：直接或间接表示基础解码图像的图形大小的量。作为直接表示图形大小的量，例如可举出基础解码图像的亮度成分的纵向及横向像素单位的长度、基础解码图像的色差成分的纵向及横向像素单位的长度。也可以使用纵向及横向长度的2的对数。另外，作为间接表示图形大小的量，可举出对象层(扩展层)图形大小与参考层图形大小之比。

(BLI2)基础解码图像的位深度：直接或间接表示基础解码图像的位深度的量。作为直接表示位深度的量，例如可举出基础解码图像的亮度和色差成分共同的像素值的位深度。另外，作为间接表示位深度的量，可举出对象层(扩展层)位深度与参考层位深度之差。

(BLI3)基础解码图像的颜色格式：直接或间接表示基础解码图像的颜色格式的量。例如，可以使用既定的颜色格式标识符。另外，也可以使用对象层(扩展层)的颜色格式与参考层的颜色格式是否相同的标志。

(BLI4)基础解码图像的帧速：直接或间接表示基础解码图像的帧速的量。作为直接表示帧速的量，可举出参考层解码图像的每秒的图形张数。另外，作为间接表示帧速的量，可举出对象层(扩展层)帧速与参考层帧速之比。另外，也可以将参考层帧速小于对象层(扩展层)帧速这一事实作为前提，使用参考层的每张图形对应对象层(扩展层)的多少张图形的信息。例如，在对象层(扩展层)为60fps，参考层为30fps的情况下，对于一张参考层图形，对应两张对象层(扩展层)图形，因此能够将“2”用作基础解码图像的帧速信息。

(BLI5)基础解码图像的场帧结构：直接或间接表示基础解码图像的场帧结构的量。例如，可举出基础解码图像是否为交错格式的标志。另外，在基础解码图像为交错格式的情况下，还可以包含表示奇数场和偶数场中的哪一者在先的标志。另外，即使输入的基础解码序列的各图形为帧结构，也可以包含表示该图形在参考层编码数据中是否交错编码的标志。此外，作为类似的概念，还可以包含：以立体图像的帧封装为代表的表示一张图形中包含多个图像的信息、与多个图像在图形内的配置有关的信息。

(BLI6)基础解码图像的原本的编解码器：确定与基础解码序列对应的参考层编码数据在生成时使用的编码方式的信息。例如，可举出表示基础解码序列从AVC编码数据中解码的标志、表示基础解码序列从MPEG-2编码数据中解码的标志。另外，还可以包含档次(profile)、级别(level)等表示编码方式子集的信息。此外，在编码方式由标准定义的情况下，表示编码方式子集的信息以与包含在利用该标准编码的编码数据的比特流中的形式相同的形式，包含在对象层编码数据中，这样做在通用性和安装性能方面是较为理想的。

(BLI7)基础解码图像的错误校验：可以包含与编码器(分层运动图像编码装置)打算实现的基础解码序列的性质有关的信息。例如，可以包含各基础解码图像的MD5等校验和。通过利用基础解码图像的校验和，能够在分层运动图像解码装置中判定参考层的正当性。

基础控制信息无须包含全部上述例示信息，至少包含部分信息即可。例如，在预先限制为对象层(扩展层)与参考层使用同一位深度的情况下，无须包含与位深度有关的信息。

参考图25说明基础控制信息的具体例。图25是例示作为可变长解码部32中解码扩展层SPS时参考的语法表(seq_parameter_set_rbsp)的一部分的、与基础控制信息对应的部分。

图25中，SPS包含表示是否为扩展层SPS的标志(sps_extension_flag)。在该标志为1的情况下，SPS还包含表示与参考层对应的SPS是否存在的标志(no_base_sps_flag)。在no_base_sps_flag的值为1的情况下，SPS还包含各种基础控制信息。此外，在no_base_sps_flag的值为0的情况下，由于存在与参考层对应的SPS，所以相当于基础控制信息的信息可以从与参考层对应的SPS中复制或导出。因此，通过使用表示是否为扩展层SPS的标志，在扩展层SPS存在的情况下能够省略基础控制信息，减少SPS的编码量。

图25中，SPS中包含的控制信息包含以下语法。

相当于BLI1的语法：表示基础解码图像的亮度图形的横向像素数的语法(base_recon_luma_width)、以及表示该亮度图形的纵向像素数的语法(base_recon_luma_height)。

相当于BLI2的语法：表示从对象层(扩展层)位深度中减去参考层位深度后的值的语法(base_delta_bitdepth)。

相当于BLI3的语法：参考层解码图像的颜色格式标识符(base_color_format_idc)。例如，标识符“0”与颜色格式4∶2∶0对应，标识符“1”与颜色格式4∶2∶2对应，标识符“2”与颜色格式4∶4∶4对应。

相当于BLI4的语法：与一张参考层图形对应的对象层(扩展层)解码图像的张数的2的对数(log2_base_framerate_factor_idc)。为了防止分层运动图像解码装置的复杂化，作为上级层的对象层的帧速优选与作为下级层的参考层的帧速相同，或者是下级层的帧速乘以2的幂得到的值。在此情况下，优选用对数表示上述以参考层图形为基准的扩展层图形的张数。

相当于BLI5的语法：表示参考层是否为帧结构的标志(base_frame_flag)。在base_frame_flag的值为1的情况下，表示基础解码图像为帧结构(非交错结构)，在值为0的情况下，表示为交错结构。

相当于BLI6的语法：表示参考层的编解码器的标识符(base_codec_idc)。例如，标识符“1”与HEVC对应，标识符“2”与AVC对应，标识符“3”与MPEG-2对应，标识符“0”与“不明编解码器”对应。此外，在参考层的编解码器为AVC的情况(base_codec_idc＝＝AVC_CODEC的情况)下，包含与AVC标准中的档次级别信息相同的语法结构avc_profile_level_info()。

下面，为了简化说明，作为使用图25所示的基础控制信息进行说明。

(基础控制部)

基础控制部31基于输入的基础控制信息和参数集，将输入的基础解码序列设定到基础解码图像缓冲器37的适当位置处。另外，在适当时机从基础解码图像缓冲器37中删除不再需要的基础解码图像。

下面，参考图26说明在解码对象层上的对象图形之前，基础控制部31在基础解码图像缓冲器37中设定基础解码图像的处理(基础解码图像设定处理)。图26是表示解码扩展层上的特定图形时基础控制部31中的基础解码图像设定处理的流程图。基础解码图像设定处理按照如下的过程S801～S807执行。

(S801)在对象图形为最初的解码图形的情况(例如IDR图形的情况)下，对表示基础解码图像的读入位置的变量currBaseSeekPoc(图形位置)，设定从对象层(扩展层)上的对象图形的POC值中减去指定值(后述的S806a的处理中所加的值)得到的值。

(S802)从参数集中导出对象图形的层间参考图像集。作为该层间参考图像集的导出方法，能够使用分层运动图像解码装置1中说明了的导出方法。

(S803)判定基础解码图像缓冲器37中记录的各基础解码图像是否包含在S802导出的对象图形的层间参考图像集中。在各基础解码图像的POC包含在层间参考图像集中包含的图形POC列表中的情况下，判定为包含在层间参考图像集中。从基础解码图像缓冲器37中删除基础解码图像缓冲器37中记录的基础解码图像中的、所述层间参考图像集中不包含的基础解码图像。此外，无须一定立即删除，可以记录需要删除的图像，在适当时机进行实际删除。

(S804)从上述对象图形的层间参考图像集中，确定有可能在解码扩展层上的对象图形时进行参考的、显示顺序最晚的参考层图形，将与该图形对应同一显示顺序的扩展层图形的显示顺序(POC)设定为变量maxBasePoc。

(S805)在图形位置currBaseSeekPoc的值小于变量maxBasePoc的情况下，反复执行S806a与S806b的处理，直到变量currBaseSeekPoc的值等于变量maxBasePoc的值为止。然后，转至S807的处理。

(S806a)对图形位置currBaseSeekPoc的值加上指定值。所加的指定值根据扩展层图形间的POC间隔、以及扩展层与参考层的帧速关系决定。若设扩展层图形间的POC间隔为Dep，语法base_framrate_factor_idc所示的与一张参考层图形对应的扩展层图形数为Ne，则所加的指定值Dbp设定为Ne与Dep的积。

(S806b)从基础解码序列中读出一张图形的基础解码图像，并记录到基础解码图像缓冲器37中。此外，此时，变量currBaseSeekPoc的值作为与该基础解码图像对应的POC的值，与该基础解码图像关联记录。此外，从基础解码序列中读出的数据的量基于基础控制信息(base_recon_luma_width、(base_recon_luma_height、base_delta_bitdepth、base_color_format_idc)决定。作为例子，根据上述基础控制信息，在基础解码图像的宽度为Wb(像素)，高度为Hb(像素)，位深度为BDb(位)，颜色格式为4∶2∶0的情况下，读出的数据量Rb可以通过下式计算：

Rb＝Wb×Hb×BDb×1.5(比特)。

(S807)结束基础解码图像设定处理。

此外，在上述处理中，S801的处理是用于处理开头图形的例外处理，也可以用其他方法代替。例如，可以省略S801的处理，在S806a的处理中，仅在对象图形不是最初的解码图形的情况下，进行对图形位置currBaseSeekPoc的值加上指定值的处理。

另外，在上述处理S806b中，从基础解码序列中读出一张图形的基础解码图像时，在基础控制信息(BLI)中包含的图像大小(BLI1)、位深度(BLI2)、基础解码图像的颜色格式(BLI3)与对象图形的图像大小、位深度、颜色格式不同的情况下，可以配合对象图形进行格式变换。具体而言，在基础控制信息中包含的图像大小小于对象图形的图像大小的情况下，优选进行升采样。

<基础解码图像设定处理的具体例>

接着，参考图27说明上述基础解码图像设定处理的具体例。图27是表示基础解码图像设定处理的具体例的图，(a)表示具体例中对象层(扩展层)与参考层的图形间的参考关系，(b)表示解码扩展层的各图形时的参考图像集、层间参考图像集、基础解码图像缓冲器、基础解码图像读入。

如图27(a)所示，扩展层中，以输出顺序包含图形E1、E2、E3。参考层中，以输出顺序包含图形B1、B2、B3。另外，E1参考B1，E2参考E1、E3和B2，E3参考E1和B3。此外，参考层的解码图像通过外部手段进行解码，以输出顺序包含在基础解码序列中。

参考图27(b)说明解码对象层(扩展层)的各图形时的基础解码图像设定处理。假设作为表示输出顺序的POC，对E1、E2、E3分别分配值6、8、10。

(1)初始：扩展层的解码开始之前，参考图像集(EL-RPS)、层间参考图像集(IL-RPS)、基础解码图像缓冲器全部为空。

(2)E1解码时：E1是扩展层最初的解码图形，对变量currBaseSeekPoc的值设定从E1的POC即6中减去指定值2而得到的4。指定值2是1(对一张对象层图形的扩展层图形的张数)与2(上级层(扩展层)图形的POC间隔)的积(S801)。E1的IL-RPS中包含B1(S802)。基础解码图像缓冲器此时为空，因此不用删除基础解码图像(S803)。IL-RPS中包含的显示顺序最晚的基础解码图像为B1，对变量maxBasePoc设定与B1显示顺序相同的扩展层图形E1的POC即6(S804)。变量currBaseSeekPoc的值为4，小于变量maxBasePoc的值6，因此读入基础解码图像(S805)。对变量currBaseSeekPoc的值加上指定值2，设定值6(S806a)。从基础解码序列中读入基础解码图像B1，将变量currBaseSeekPoc的值6作为对应的POC记录到基础解码图像缓冲器中(S806b)。由于变量currBaseSeekPoc的值6与变量maxBasePoc的值6相等(S805)，所以结束E1解码时的基础解码图像设定处理(S807)。

(3)E3解码时：E3的IL-RPS中包含B1和B3(S802)。基础解码图像缓冲器此时包含B1。B1包含在IL-RPS中，因此不从基础解码图像缓冲器中删除B1(S803)。IL-RPS中包含的显示顺序最晚的基础解码图像为B3，对变量maxBasePoc设定与B3显示顺序相同的对象层(扩展层)图形E3的POC即10(S804)。变量currBaseSeekPoc的值为6，小于变量maxBasePoc的值10，因此读入基础解码图像(S805)。对变量currBaseSeekPoc的值加上指定值2，设定值8(S806a)。从基础解码序列中读入基础解码图像B2，将变量currBaseSeekPoc的值8作为对应的POC记录到基础解码图像缓冲器中(S806b)。变量currBaseSeekPoc的值8小于变量maxBasePoc的值10，因此读入下一个基础解码图像(S805)。对变量currBaseSeekPoc的值加上指定值2，设定值10(S806a)。从基础解码序列中读入基础解码图像B3，将变量currBaseSeekPoc的值10作为对应的POC记录到基础解码图像缓冲器中(S806b)。由于变量currBaseSeekPoc的值10与变量maxBasePoc的值10相等(S805)，所以结束E3解码时的基础解码图像设定处理(S807)。

(4)E2解码时：E2的IL-RPS中包含B2(S802)。基础解码图像缓冲器包含B1、B2、B3，B1和B3不包含在IL-RPS中，因此从基础解码图像缓冲器中删除B1和B3(S803)。IL-RPS中包含的显示顺序最晚的基础解码图像为B2，对变量maxBasePoc设定与B2显示顺序相同的对象层(扩展层)图形E1的POC即8(S804)。由于变量currBaseSeekPoc的值为10，大于变量maxBasePoc的值8(S805)，所以结束E3解码时的基础解码图像设定处理(S807)。

根据上述基础解码图像设定处理，基础控制部31能够基于由可变长解码部32提供的对象层SPS中包含的基础控制信息和参数集，从基础解码序列中读入对象层(扩展层)上的对象图形的解码所需的基础解码图像，并记录到基础解码图像缓冲器37中。此外，在不使用基础控制信息、参数集的情况下，在解码对象层(扩展层)上的特定图形之前无法判定：作为基础解码图像应从基础解码序列中读入多少数据量并记录到基础解码图像缓冲器37中。

另外，根据上述过程，基础控制部31能够基于由可变长解码部32提供的基础控制信息和参数集，在适当时机从基础解码图像缓冲器37中删除解码顺序在对象图形之后的扩展层上的图形的解码不需要的基础解码图像。因此，不需要的基础解码图像不会留在基础解码图像缓冲器37中，因此能够减少基础解码图像缓冲器需要的缓冲器大小。

(运动图像解码装置3的效果)

以上说明的本实施方式的运动图像解码装置3具备基础控制部，该基础控制部基于对象层(扩展层)的SPS中包含的参数集和基础控制信息，将基础解码图像读入基础解码图像缓冲器中。由此，能够从输入的基础解码序列中读出适当数据量的基础解码图像，并记录到基础解码图像缓冲器中。

另外，根据上述过程，基础控制部31在从基础解码序列中读出基础解码图像并记录到基础解码图像缓冲器37中时，将基于对象层POC设定的图形位置currBaseSeekPoc设定为读出的基础解码图像的POC。通过基于扩展层图像的POC设定基础层解码图像的POC，在基础解码序列中包含的基础解码图像中没有表示输出顺序(显示顺序)的POC的情况下，也能够确定使用POC管理的参考图像集(层间参考图像集)中包含的基础解码图像。

另外，根据上述过程，基础控制部31按照基础控制信息(BLI)进行格式变换。具体而言，在基础控制信息所示的基础解码图像的图像大小小于对象图形的图像大小的情况下，进行升采样。通过参考对象层编码数据DATA#T中包含的基础控制信息(BLI)中包含的基础解码图像的信息，即使在内部不具备基础解码部，因而无法解码分层编码数据中包含的参考层编码数据(基础编码数据)的运动图像解码装置的情况下，也能够将基础解码图像变更为解码对象图形所需的图像格式。因此，即使在参考层(基础层)不作为编码数据输入的情况下，也能够得到基础解码图像的图像格式信息，能够在解码对象图形时作为基础参考图像利用适用了升采样等格式变换的参考层解码图像。在作为基础解码序列输入时，不需要进行格式变换，因此能够防止基础解码序列的大小随着升采样、位深度的扩大而增大。

[变形例2：不利用层间参考图像集的例子]

在上述分层运动图像解码装置3的说明中，基础控制部31的基础解码图像设定处理的说明中，记载了使用层间参考图形从基础参考序列中读入基础参考图像并记录到基础解码图像缓冲器中的处理，但并不一定必须利用层间参考集。具体而言，在基础解码图像设定处理的S804中，从上述对象图形的层间参考图像集中，确定有可能在解码扩展层上的对象图形时进行参考的、显示顺序最晚的参考层图形，将变量maxBasePoc设定为与该图形对应同一显示顺序的扩展层图形的显示顺序(POC)，但该信息也可以直接包含在与对象图形相关联的参数集(例如切片头、PPS)中。也就是说，可以在参数集中包含表示有可能在解码扩展层上的对象图形时进行参考的、显示顺序最晚的参考层图形的显示顺序的信息。在此，表示显示顺序的信息例如是显示顺序的绝对值、相对于对象图形的显示顺序的差、显示时刻。另外，参数集中也可以不包含与显示顺序有关的信息，而是直接包含应读入的基础解码图像的张数。

此外，如在分层运动图像解码装置1中所说明的，在指定层间图像预测有可能使用的基础参考图像的情况下层间参考图像集是有用的。因此，在层间图像预测中使用层间参考图像集的情况下，通过利用层间参考图像集执行基础解码图像设定处理，具有无须发送追加信息的优点。

[分层运动图像编码装置(第二实施方式)]

下面，参考图28说明本实施方式的分层运动图像编码装置4的结构。图28是表示分层运动图像编码装置4的概略结构的功能框图。分层运动图像编码装置4将对象层输入图像PIN#T和基础解码序列作为输入，输出对象层编码DATA#T。

如图28所示，分层运动图像编码装置4具备：基础控制部41、可变长编码部45、解码图像缓冲器27、预测参数决定部49、预测信息生成部22、纹理信息生成部24、以及基础解码图像缓冲器48。

由分层运动图像编码装置4生成的对象层编码数据DATA#T与生成时作为输入使用了的基础解码序列一起，输入到上述分层运动图像解码装置3中，由此能够再生对象层的解码图像。

分层运动图像编码装置4的结构元素中，预测信息生成部22、纹理信息生成部24、解码图像缓冲器27与分层运动图像编码装置2的同名结构元素具有相同功能，因此赋予相同的符号并省略说明。

基础解码图像缓冲器48是与分层运动图像解码装置3的基础解码图像缓冲器37对应的结构元素，是用于与扩展层中图形的显示顺序(POC)相关联地保持从外部输入的基础解码图像的缓冲器。基础解码图像缓冲器48中，需要至少记录在对象层中的对象图形编码时纹理生成部24中生成预测图像所使用的基础解码图像。

预测参数决定部49除了预测参数决定部21的功能以外，还具有导出基础控制信息的功能。基础控制信息能够利用与分层运动图像解码装置3的可变长解码部32的说明中记载了的基础控制信息相同的信息。基础控制信息作为编码的控制参数从外部(未图示)输入。

基础控制部41是与分层运动图像解码装置3的基础控制部31对应的结构元素，基于从预测参数决定部49输入的基础控制信息和参数集，将输入的基础解码序列设定到基础解码图像缓冲器48的适当位置处。另外，在适当时机从基础解码图像缓冲器48中删除不再需要的基础解码图像。

基础控制部41中，通过适用与分层运动图像解码装置3的基础控制部31中的基础解码图像设定处理相同的基础解码图像设定处理，能够执行对象层的特定图形编码时的基础解码图像向基础解码图像缓冲器的读入、以及基础解码图像从基础解码图像缓冲器中的删除。具体而言，对于使用图26说明了的分层运动图像解码装置3的基础控制部31中的基础解码图像设定处理，将“解码时”改为“编码时”，将“基础解码图像缓冲器37”改为“基础解码图像缓冲器48”并执行即可。

根据上述基础解码图像设定处理，基础控制部41能够基于由预测参数决定部49提供的对象层(扩展层)SPS中包含的基础控制信息和参数集，从基础解码序列中读入对象层(扩展层)上的对象图形的解码所需的基础解码图像，并记录到基础解码图像缓冲器48中。此外，在不使用基础控制信息、参数集的情况下，在编码对象层(扩展层)上的特定图形之前无法判定：作为基础解码图像应从基础解码序列中读入多少数据量并记录到基础解码图像缓冲器48中。

另外，根据上述过程，基础控制部41能够基于由预测参数决定部49提供的基础控制信息和参数集，在适当时机从基础解码图像缓冲器48中删除编码顺序在对象图形之后的扩展层上的图形的编码不需要的基础解码图像。因此，不需要的基础解码图像不会留在基础解码图像缓冲器48中，因此能够减少基础解码图像缓冲器需要的缓冲器大小。

(运动图像编码装置4的效果)

以上说明的本实施方式的运动图像编码装置4具备基础控制部，该基础控制部基于对象层(扩展层)的SPS中包含的参数集和基础控制信息，将基础解码图像读入基础解码图像缓冲器中。由此，能够从输入的基础解码序列中读出适当数据量的基础解码图像，并记录到基础解码图像缓冲器中。

[附注事项1：对层间图像预测以外的用途的适用]

在以上分层运动图像解码装置(分层运动图像解码装置1与分层运动图像解码装置3)和分层运动图像编码装置(分层运动图像编码装置2与分层运动图像编码装置4)的说明中，记载了将基础解码图像缓冲器中记录的基础解码图像用作层间图像预测中的基础参考图像，但基础解码图像的用途并不局限于此。本发明能够适用于在对象层(扩展层)上的图形的解码或编码中利用基础解码图像的情况。例如，在对象层中根据多个基础解码图像估计对象图形的预测残差的称为广义残差预测的方式中，为了确定有可能用作多个基础解码图像的基础解码图像，能够使用本发明中记载的层间参考图像集。另外，在根据多个基础解码图像估计对象图形的运动矢量的方式中，为了确定有可能用作多个基础解码图像的基础解码图像，能够使用本发明中记载的层间参考图像集。

[附注事项2：对2层以上的分层编码的适用]

在以上分层运动图像解码装置(分层运动图像解码装置1与分层运动图像解码装置3)和分层运动图像编码装置(分层运动图像编码装置2与分层运动图像编码装置4)的说明中，举出对象层与参考层(基础层)的2层的例子进行了说明，但本发明也能够适用于3层以上的情况。此外，在进行3层以上的分层编码的情况下，还设想对对象层设定2个以上参考层，使用各参考层的解码图像进行对象层的编码/解码的结构。在这种情况下，本发明记载的利用层间参考图像集的基础解码图像缓冲器控制也是有效的，对2个参考层分别设定层间参考图像集即可。

(对其他分层运动图像编码/解码系统的适用例)

上述分层运动图像编码装置2以及分层运动图像解码装置1能够搭载到进行运动图像的发送、接收、记录、再生的各种装置中加以利用。此外，运动图像既可以是由照相机等拍摄的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG和GUI)。

基于图29说明，能够在运动图像的发送和接收中利用上述分层运动图像编码装置2以及分层运动图像解码装置1。图29(a)是表示搭载了分层运动图像编码装置2的发送装置PROD_A的结构的框图。

如图29(a)所示，发送装置PROD_A具备：通过对运动图像进行编码得到编码数据的编码部PROD_A1、通过用编码部PROD_A1得到的编码数据调制传送波得到调制信号的调制部PROD_A2、以及发送调制部PROD_A2得到的调制信号的发送部PROD_A3。上述分层运动图像编码装置2作为该编码部PROD_A1进行利用。

作为输入到编码部PROD_A1的运动图像的提供源，发送装置PROD_A还可以具备：拍摄运动图像的照相机PROD_A4、记录了运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6、以及生成或加工图像的图像处理部A7。在图29(a)中，例示了发送装置PROD_A具备全部上述部件的结构，但也可以省略部分部件。

此外，记录介质PROD_A5既可以记录未编码的运动图像，也可以记录使用与传输用编码方式不同的记录用编码方式进行了编码的运动图像。在后者的情况下，记录介质PROD_A5与编码部PROD_A1之间可以存在有解码部(不图示)，该解码部按照记录用编码方式解码从记录介质PROD_A5读出的编码数据。

图29(b)是表示搭载了分层运动图像解码装置1的接收装置PROD_B的结构的框图。如图29(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过解调接收部PROD_B1接收的调制信号得到编码数据的解调部PROD_B2、以及通过解码解调部PROD_B2得到的编码数据得到运动图像的解码部PROD_B3。上述分层运动图像解码装置1作为该解码部PROD_B3进行利用。

作为解码部PROD_B3输出的运动图像的提供目的地，接收装置PROD_B还可以具备：显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5、以及用于将运动图像输出到外部的输出端子PROD_B6。在图29(b)中，例示了接收装置PROD_B具备全部上述部件的结构，但也可以省略部分部件。

此外，记录介质PROD_B5既可以用于记录未编码的运动图像，也可以记录使用与传输用编码方式不同的记录用编码方式进行了编码的运动图像。在后者的情况下，解码部PROD_B3与记录介质PROD_B5之间可以存在有编码部(不图示)，该编码部按照记录用编码方式编码从解码部PROD_B3取得的运动图像。

此外，传输调制信号的传输介质既可以是无线介质，也可以是有线介质。另外，传输调制信号的传输方式既可以是广播方式(这里指发送目的地不预先确定的发送方式)，也可以是通信方式(这里指发送目的地预先确定的发送方式)。也就是说，可以通过无线广播、有线广播、无线通信、以及有线通信中的任一种方式实现调制信号的传输。

例如，地上数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。另外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。

另外，使用因特网的VOD(Video On Demand，视频点播)服务、运动图像共享服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能电话等)是通过通信方式收发调制信号的发送装置PROD_A/接收装置PROD_B的一例(通常，LAN中使用无线或有线中的任一种作为传输介质，WAN中使用有线作为传输介质)。这里，个人计算机包括桌上型PC、膝上型PC、以及平板型PC。另外，智能电话还包括多功能移动电话终端。

此外，运动图像共享服务的客户端除了具有解码从服务器下载的编码数据并显示在显示器上的功能以外，还具有对照相机拍摄的运动图像进行编码并上传至服务器的功能。也就是说，运动图像共享服务的客户端作为发送装置PROD_A以及接收装置PROD_B双方起作用。

基于图30说明，能够在运动图像的记录和再生中利用上述分层运动图像编码装置2以及分层运动图像解码装置1。图30(a)是表示搭载了分层运动图像编码装置2的记录装置PROD_C的结构的框图。

如图30(a)所示，记录装置PROD_C具备：通过对运动图像进行编码得到编码数据的编码部PROD_C1、以及将编码部PROD_C1得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述分层运动图像编码装置2作为该编码部PROD_C1进行利用。

此外，记录介质PROD_M既可以是(1)HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)等内置于记录装置PROD_C的类型的记录介质，也可以是(2)SD存储卡、USB(Universal Serial Bus，通用串行总线)闪存等连接于记录装置PROD_C的类型的记录介质，还可以是(3)DVD(Digital Versatile Disc，数字多功能光盘)、BD(Blu-ray Disc(蓝光光盘)：注册商标)等装入内置于记录装置PROD_C的驱动器装置(不图示)中的记录介质。

另外，作为输入到编码部PROD_C1的运动图像的提供源，记录装置PROD_C还可以具备：拍摄运动图像的照相机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5、以及生成或加工图像的图像处理部C6。在图30(a)中，例示了记录装置PROD_C具备全部上述部件的结构，但也可以省略部分部件。

此外，接收部PROD_C5既可以接收未编码的运动图像，也可以接收使用与记录用编码方式不同的传输用编码方式进行了编码的编码数据。在后者的情况下，接收部PROD_C5与编码部PROD_C1之间可以存在有传输用解码部(不图示)，该传输用解码部解码使用传输用编码方式进行了编码的编码数据。

作为这种记录装置PROD_C，例如可举出DVD刻录机、BD刻录机、HDD(Hard DiskDrive，硬盘驱动器)刻录机等(在此情况下，输入端子PROD_C4或接收部PROD_C5是运动图像的主要提供源)。另外，摄录机(camcorder)(在此情况下，照相机PROD_C3是运动图像的主要提供源)、个人计算机(在此情况下，接收部PROD_C5或图像处理部C6是运动图像的主要提供源)、智能电话(在此情况下，照相机PROD_C3或接收部PROD_C5是运动图像的主要提供源)等也是这种记录装置PROD_C的一例。

图30(b)是表示搭载了上述分层运动图像解码装置1的再生装置PROD_D的结构的框图。如图30(b)所示，再生装置PROD_D具备：读出记录介质PROD_M中写入的编码数据的读出部PROD_D1、以及通过解码读出部PROD_D1读出的编码数据得到运动图像的解码部PROD_D2。上述分层运动图像解码装置1作为该解码部PROD_D2进行利用。

此外，记录介质PROD_M既可以是(1)HDD、SSD等内置于再生装置PROD_D的类型的记录介质，也可以是(2)SD存储卡、USB闪存等连接于再生装置PROD_D的类型的记录介质，还可以是(3)DVD、BD等装入内置于再生装置PROD_D的驱动器装置(不图示)中的记录介质。

另外，作为解码部PROD_D2输出的运动图像的提供目的地，再生装置PROD_D还可以具备：显示运动图像的显示器PROD_D3、用于将运动图像输出到外部的输出端子PROD_D4、以及发送运动图像的发送部PROD_D5。在图30(b)中，例示了再生装置PROD_D具备全部上述部件的结构，但也可以省略部分部件。

此外，发送部PROD_D5既可以发送未编码的运动图像，也可以发送使用与记录用编码方式不同的传输用编码方式进行了编码的编码数据。在后者的情况下，解码部PROD_D2与发送部PROD_D5之间可以存在有编码部(不图示)，该编码部使用传输用编码方式对运动图像进行编码。

作为这种再生装置PROD_D，例如可举出DVD播放机、BD播放机、HDD播放机等(在此情况下，连接电视接收机等的输出端子PROD_D4是运动图像的主要提供目的地)。另外，电视接收机(在此情况下，显示器PROD_D3是运动图像的主要的提供目的地)、数字广告系统(Digital Signage)(也称作电子看板、电子告示牌等，显示器PROD_D3或发送部PROD_D5是运动图像的主要的提供目的地)、桌上型PC(在此情况下，输出端子PROD_D4或发送部PROD_D5是运动图像的主要的提供目的地)、膝上型或干板型PC(在此情况下，显示器PROD_D3或发送部PROD_D5是运动图像的主要的提供目的地)、智能电话(在此情况下，显示器PROD_D3或发送部PROD_D5是运动图像的主要的提供目的地)等也是这种再生装置PROD_D的一例。

(关于硬件实现和软件实现)

最后，分层运动图像解码装置1、分层运动图像编码装置2的各模块既可以通过在集成电路(IC芯片)上形成的逻辑电路进行硬件实现，也可以使用CPU(Central ProcessingUnit，中央处理单元)进行软件实现。

在后者的情况下，上述各装置具备：执行实现各功能的控制程序的命令的CPU、存储上述程序的ROM(Read Only Memory，只读存储器)、展开上述程序的RAM(Random AccessMemory，随机存取存储器)、以及存储上述程序及各种数据的存储器等存储装置(记录介质)等。并且，通过如下处理能够实现本发明的目的：对上述各装置提供记录介质，该记录介质中以计算机可读取的方式记录有作为实现上述功能的软件的、上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)，上述各装置的计算机(或CPU、MPU(MicroProcessing Unit，微处理单元))读出并执行记录介质中记录的程序代码。

作为上述记录介质，例如能够使用：磁带或盒式磁带等带类、包括软(floppy，注册商标)盘/硬盘等磁盘或CD-ROM(Compact Disc Read-Only Memory，紧凑式光盘只读存储器)/MO(Magneto-Optical，磁光盘)/MD(Mini Disc，小型光盘)/DVD(Digital VersatileDisk，数字多功能盘)/CD-R(CD Recordable，可记录式CD)等光盘的盘类、IC卡(包括存储卡)/光卡等卡类、掩膜ROM/EPROM(Erasable Programmable Read-only Memory，可擦写可编程只读存储器)/EEPROM(注册商标)(Electrically Erasable Programmable Read-onlyMemory，电子可擦写可编程只读存储器)/闪存ROM等半导体存储器类、或者PLD(Programmable Logic Device，可编程逻辑器件)或FPGA(Field Programmable GateArray，现场可编程门阵列)等逻辑电路类等。

另外，也可以将上述各装置构成为能够与通信网络连接，经由通信网络提供上述程序代码。该通信网络只要能够传输程序代码即可，不作特别限定。例如，可以利用因特网、内部网、外部网、LAN(Local Area Network，局域网)、ISDN(Integrated Services DigitalNetwork，综合业务数字网)、VAN(Value-Added Network，增值网络)、CATV(CommunityAntenna Television，公用天线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外，构成该通信网络的传输介质也不限定为特定结构或种类的介质，只要是能够传输程序代码的介质即可。例如，既可以利用IEEE(Institute of Electrical and Electronic Engineers，电气和电子工程师学会)1394、USB、电力线传送、有线电视线路、电话线、ADSL(Asymmetric Digital Subscriber Line，非对称数字用户线路)线路等有线介质，也可以利用IrDA(Infrared Data Association，红外数据协会)或遥控器这种红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High DataRate，高数据速率)、NFC(Near Field Communication，近场通信)、DLNA(Digital LivingNetwork Alliance，数字生活网络联盟)、移动电话网、卫星线路、地面数字网络等无线介质。此外，也可以利用电子传输实现上述程序代码，以埋入载波中的计算机数据信号的方式实现本发明。

本发明并不限定于上述各实施方式，在权利要求所示的范围内可以进行各种变更，适当组合不同实施方式中分别公开的技术手段得到的实施方式也包含在本发明的技术范围内。

本发明能够较好地适用于对图像数据经分层编码得到的编码数据进行解码的分层图像解码装置、以及生成对图像数据进行分层编码而得到的编码数据的分层图像编码装置。另外，能够较好地适用于由分层图像编码装置生成并由分层图像解码装置参考的分层编码数据的数据结构。

符号说明

1、3 分层运动图像解码装置(图像解码装置)

11 NAL解复用部

12、32 可变长解码部(可变长解码单元)

13、27 解码图像缓冲器

14 预测参数复原部

15 纹理复原部

151 逆正交变换/逆量化部

152 纹理预测部(预测图像生成单元)

152T 帧间预测部

152S 帧内预测部

152B 层间图像预测部(层间图像预测单元)

154 环路滤波器部

155 参考图像列表设定部

156 层间参考图像列表设定部

16、23 基础解码部

161 可变长解码部

162 基础预测参数复原部

163 基础变换系数复原部

164 基础纹理复原部

17、28 基础解码图像缓冲器

2 分层运动图像编码装置(图像编码装置)

21 预测参数决定部(预测参数决定单元)

22 预测信息生成部

24 纹理信息生成部

25 可变长编码部

26 NAL复用部

31、41 基础控制部(基础控制单元)

37、48 基础解码图像缓冲器

Claims (10)

1.一种图像解码装置，其特征在于，使用分层编码的编码数据中包含的上级层的编码数据，复原所述上级层的解码图像，所述图像解码装置具备：

可变长解码单元，其从所述上级层的编码数据中解码参数集，并且解码表示下级层的序列信息的特性的基础控制信息；

基础解码图像缓冲器，其用于保持所述下级层的解码图像；

基础控制单元，其将由外部单元解码的图像输入到所述基础解码图像缓冲器中作为所述下级层的解码图像；以及

层间图像预测部，其通过使用了所述下级层的解码图像的层间预测来生成预测图像，

所述基础控制单元基于根据所述参数集导出的所述上级层的图像的图像序列号POC来设定所述下级层的解码图像的POC。

2.根据权利要求1所述的图像解码装置，其特征在于：所述基础控制信息包含直接或间接表示所述下级层的解码图像的大小的信息。

3.根据权利要求1所述的图像解码装置，其特征在于：所述基础控制信息包含档次级别信息。

4.根据权利要求1所述的图像解码装置，其特征在于：所述基础控制单元，在所述上级层的图形解码时，基于所述基础控制信息和所述参数集，删除所述基础解码图像缓冲器上的所述下级层的解码图像。

5.一种图像编码装置，其特征在于，根据输入图像生成上级层的编码数据，所述图像编码装置具备：

可变长编码单元，其对所述上级层的编码数据中包含的参数集进行编码，并且对表示下级层的序列信息的特性的基础控制信息进行编码；

基础解码图像缓冲器，其用于保持所述下级层的解码图像；

基础控制单元，其将由外部单元解码的图像输入到所述基础解码图像缓冲器中作为所述下级层的解码图像；以及

层间图像预测部，其通过使用了所述下级层的解码图像的层间预测来生成预测图像，

所述基础控制单元基于根据所述参数集导出的所述上级层的图像的图像序列号POC来设定所述下级层的解码图像的POC。

6.根据权利要求5所述的图像编码装置，其特征在于：所述基础控制信息包含直接或间接表示所述下级层的解码图像的大小的信息。

7.根据权利要求5所述的图像编码装置，其特征在于：所述基础控制信息包含档次级别信息。

8.根据权利要求5所述的图像编码装置，其特征在于：所述基础控制单元，在所述上级层的图形编码时，基于所述基础控制信息和所述参数集，删除所述基础解码图像缓冲器上的所述下级层的解码图像。

9.一种计算机可读取的记录介质，存储有使计算机执行的程序，通过使计算机执行所述程序，从而使用分层编码的编码数据中包含的上级层的编码数据，复原所述上级层的解码图像，并且使计算机执行如下处理：

从所述上级层的编码数据中解码参数集，并且解码表示下级层的序列信息的特性的基础控制信息；

保持所述下级层的解码图像；

将由外部单元解码的图像输入到基础解码图像缓冲器中作为所述下级层的解码图像；以及

通过使用了所述下级层的解码图像的层间预测来生成预测图像，

其中，基于根据所述参数集导出的所述上级层的图像的图像序列号POC来设定所述下级层的解码图像的POC。

10.一种计算机可读取的记录介质，存储有使计算机执行的程序，通过使计算机执行所述程序，从而根据输入图像生成上级层的编码数据，并且使计算机执行如下处理：

对所述上级层的编码数据中包含的参数集进行编码，并且对表示下级层的序列信息的特性的基础控制信息进行编码；

保持所述下级层的解码图像；

将由外部单元解码的图像输入到基础解码图像缓冲器中作为所述下级层的解码图像；以及

通过使用了所述下级层的解码图像的层间预测来生成预测图像，

其中，基于根据所述参数集导出的所述上级层的图像的图像序列号POC来设定所述下级层的解码图像的POC。