CN104620575A

CN104620575A - 图像解码装置

Info

Publication number: CN104620575A
Application number: CN201380047807.4A
Authority: CN
Inventors: 筑波健史; 山本智幸; 猪饲知宏; 八杉将伸; 萨琴·G·德希潘德
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-09-28
Filing date: 2013-09-12
Publication date: 2015-05-13
Also published as: US20150245046A1; WO2014050597A1; EP2903268A4; RU2015115467A; US9894373B2; US20180139465A1; HK1209548A1; JPWO2014050597A1; EP2903268A1; US10136151B2

Abstract

图像解码装置具备首部信息解码单元，该首部信息解码单元在对视频参数集中的被字节对齐的16比特的扩展用的信息(next_essential_info_byte_offset)进行了解码之后，对包含在视频参数集中的档次/等级信息进行解码。

Description

图像解码装置

技术领域

本发明涉及解码对图像进行分层编码而得到的分层编码数据的图像解码装置。

背景技术

作为在通信系统中传输的信息、或者在蓄存装置中记录的信息的一种而存在图像或者运动图像。以往，为了进行这些图像(在下面的说明中包括运动图像)的传输和蓄存，已知有对图像进行编码的技术。

作为运动图像编码方式，已知有H.264/MPEG-4.AVC、作为其后继编码器的HEVC(High-Efficiency Video Coding)(非专利文献1)。

在这样的运动图像编码方式中，对于构成运动图像的图像(图片)，利用通过对图像进行分割而得到的切片、通过对切片进行分割而得到的编码树块(以下称为CTB(Coding Tree Block))、通过对CTB递归地进行四叉树分割而得到的编码单位(有时也被称为编码单元(Coding Unit))所构成的分层结构来管理，并进行编码/解码。

另外，编码单位(以下称为CU)被进一步适当分割为：用于对变换系数的处理进行管理的变换单位、以及用于对预测图像的处理进行管理的预测单位。

并且，在这些运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为“差分图像”或者“残差图像”)进行正交变换和量化后进行编码。

作为上述的预测图像的生成方法，可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。

关于帧间预测，通过帧间的运动补偿来生成预测图像。另一方面，在帧内预测中，基于同一帧内的局部解码图像来依次生成该帧中的预测图像。

另外，在HEVC中，通过基于CU的分割和按每个CU进行通知的分割类型的组合来表现帧间预测中的运动补偿的预测单位尺寸。

另外，近年，提出了根据所需的数据率来对图像进行分层编码的分层编码技术。

作为分层编码的方式，作为ISO/IEC和ITU-T的标准而可列举H.264/AVC Annex G Scalable Video Coding(SVC)。

在SVC中，支持空间可适性、时间可适性、SNR可适性。例如在空间可适性的情况下，首先，将从原图像减采样至期望的分辨率而得到的图像作为下级层而利用H.264/AVC进行编码。此外，在成为解码的对象的对象层中参考的下级层也被称为参考层。然后，在对象层中，为了将层间的冗余性去除而进行层间预测。作为层间预测而有：根据同时刻的参考层的信息来预测与运动预测相关的信息的运动信息预测，或者根据对同时刻的参考层的解码图像进行增采样而得到的图像来预测的纹理预测(非专利文献2)。在上述运动信息预测中，将参考层的运动信息(运动向量等)作为估计值来编码运动信息。

另外，根据非专利文献1，为了表示图像解码装置(解码器)能够在何种图像的编码数据(或者分层编码数据)的范围内进行对应(能够进行解码)这样的功能或者参数，定义了以下的概念。

(1)设想特定的应用而定义了编码工具(要素技术)的组合的“档次”(profile)

(2)根据图像的尺寸等而对参数(设定信息)的限制进行规定的“等级”(level)

档次规定了为了对被编码后的图像的编码数据进行解码所需的编码工具(要素技术)的集合。通过预先规定档次，在各种应用中无需安装全体标准，仅安装适合的档次即可，具有能够降低解码器/编码器的复杂度的优点。

另外，等级用于规定解码器的能力、比特流的复杂度。例如，规定解码器对比特流进行解码的速度。另外，在等级中，还规定了对于各档次中规定的工具在何种范围内进行支持。因此，在上级的等级中，需要支持下级的等级。

例如，在非专利文献1中，由等级限制的各种参数如图28所示，可列举：最大亮度采样率(Max luma sample rate)、最大亮度图片尺寸(Maxluma picture size)、最大比特率(Max bitrate)、最大CPB尺寸(Max CPBsize)、最低压缩比率(Min compression Ratio)、每图片单位的最大切片数(Max slices per picture)等。此外，作为等级的子概念而有：表示与各等级对应的比特流(编码数据)的最大比特率、以及对比特流进行保存的最大CPB尺寸是在主级别(Main tier：消费者用)中被规定的值还是在高级别(High tier：业务用)中被规定的值的“级别”(tier)。

例如，在非专利文献1中，作为档次而定义了主档次。在主档次中，例如，规定了如图29(a)所示的编码工具的制约。另外，在主档次中，除了图28所示的等级所规定的限制之外，还规定了图29(b)所示的追加的等级限制。

另外，关于比特流是依据哪个档次的比特流，在非专利文献1中由图30所示的档次/等级信息profile_tier_level()上的档次标识符general_profile_idc(图30上的SYNZ103)指定。例如，在依据主档次的情况下general_profile_idc的值被设定为1。

另外，还有general_profile_compatibility_flag[i](图30上的SYNZ104)，用于表示通过依据由档次标识符general_profile_idc指定的档次以外的档次的解码器能否对当前比特流进行解码。例如，在与主档次兼容的情况下，设定为general_profile_compatibility_flag[1]＝1。

另外，关于表示比特流的复杂度、或者对比特流进行解码所需的解码器的能力的等级是依据图28的哪个等级，由档次/等级信息profile_tier_level()上的等级标识符general_level_idc(图30上的SYNZ106)指定。例如，在等级标识符general_level_idc的值表示“61”的情况下，表示对应于图28的等级6.1，在等级标识符general_level_idc的值为“10”的情况下，表示对应于图28的等级1。即，等级标识符general_level_idc所表示的值的十位(第二位)、个位(第一位)分别对应于图28上的等级的整数和小数点的值。

另外，在由等级标识符general_level_idc指定的等级中，有表示级别是主级别还是高级别的级别标记general_tier_flag(图30上的SYNZ102)。在级别标记general_tier_flag的值为0的情况下表示是主级别，在值为1的情况下表示是高级别。

另外，在图30所示的档次/等级信息profile_tier_level()中，关于与时间可适性相关的每层(以下也称为子层)的档次信息(以后称为子层档次信息，图30上的SYNZ111、SYNZ112、SYNZ110、SYNZ109、SYNZ113)、以及等级信息(以后称为子层等级信息，图30上的语法SYNZ114)，若子层档次提示标记sub_layer_profile_present_flag[i](图30上的SYNZ107)、子层等级提示标记sub_layer_level_present_flag[i](图30上的SYNZ108)分别为1，则能够显式地进行指定。

此外，关于档次/等级信息profile_tier_level()，在非专利文献1中，在图7(a)所示的视频参数集VPS(Video Parameter Set)和图7(b)所示的序列参数集SPS(Sequence Parameter Set)这两者的参数集中被进行通知。

在先技术文献

非专利文献

非专利文献1：“High efficiency video coding(HEVC)text specificationdraft 8(JCTVC-J1003_d7)”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11thMeeting：Stockholm，SE，11-20 July 2012(2012年7月28日公开)

非专利文献2：ITU-T H.264“Advanced video coding for genericaudiovisual services”(2007年11月公开)

发明内容

发明所要解决的课题

但是，关于现有技术中的档次/等级信息profile_tier_level()(图30)，存在如下课题。

(1)在图30所示的档次/等级信息profile_tier_level()所相关的语法的数据结构中，与第i个子层相关的子层档次提示标记、子层等级提示标记、和与子层相关的子层档次信息及子层等级信息，以各子层单位来表现。因此，为了获得与某特定的第j个子层相关的子层档次信息以及子层等级信息，需要对与第0个至第j-1个子层档次信息以及子层等级信息相关的语法进行解码。即，存在下述课题：不能容易地对与任意的子层相关的子层档次信息以及子层等级信息进行解码并提取。

(2)子层档次提示标记以及子层等级提示标记分别以1bit来表现。另外，子层档次信息(图30上的“SYNZ201”的部分(SYNZ109、SYNZ110、SYNZ111、SYNZ112、SYNZ113))以共计56bit(7byte)来表现，子层等级信息(图30上的SYN114)以8bit(1byte)来表现。因此，子层档次提示标记以及子层等级提示标记以后的语法，即子层档次信息以及子层等级信息未被字节对齐。因此，由于子层的子层档次信息以及子层等级信息要跨越字节边界，因此存在从存储器的读出/写出的次数增加的课题。

(3)在档次/等级信息profile_tier_level()中，在档次提示标记ProfilePresentFlag的值为0的情况下，与子层的子层档次提示标记的值无关地，子层档次信息不被进行通知。因此，在档次提示标记ProfilePresentFlag的值为0的情况下，存在子层的子层档次提示标记被冗余地进行通知的课题。

(4)在档次/等级信息profile_tier_level()中，依赖于档次提示标记ProfilePresentFlag的值，与等级信息相关联的级别标记general_tier_flag被进行通知。假设在ProfilePresentFlag的值为0的情况下，只有等级标识符general_level_idc被进行通知，存在解码器无法获得由等级标识符general_level_idc和级别标记general_tier_flag规定的等级的制约的课题。同样，在子层中也是依赖于档次提示标记和子层档次提示标记的值而与子层等级信息相关联的子层级别标记sub_layer_tier_flag[i]被进行通知。假设在档次提示标记或者子层档次提示标记的值为0、子层等级提示标记为1的情况下，只有子层等级标识符sub_layer_level_idc[i]被进行通知，存在解码器关于某子层无法获得由子层等级标识符sub_layer_level_idc[i]和子层级别标记sub_layer_tier_flag[i]规定的等级的制约的课题。

以上，根据(1)～(2)的内容，在档次/等级信息的数据结构中，与档次信息和等级信息的编码/解码相关的处理变得复杂，从编码器/解码器的安装的观点来看并不希望这样。另外，根据(3)的课题，子层档次提示标记的冗余性成为码量增加的原因。另外，根据(4)的课题，存在解码器在特定条件下无法获得与等级制约相关的一部分参数的课题。

本发明鉴于上述问题而提出，其目的在于实现如下图像解码装置等，其中，解码器能够改进与档次/等级信息相关联的语法以及数据结构，从而能够降低与档次信息以及等级信息的解码所涉及的处理量，所述档次/等级信息是为了判断能否将对图像进行编码而得到的编码数据(或者分层编码数据)进行解码所需的信息。

用于解决课题的手段

为了解决上述课题，本发明的一方式所涉及的图像解码装置对按每层而质量不同的图像所相关的图像信息被以分层方式进行编码所得到的分层编码数据进行解码，来复原成为解码的对象的对象层中的图像，所述图像解码装置的特征在于，具备：

档次信息解码单元，其在表示是否提示档次信息的档次提示标记(ProfilePresentFlag)表示提示对象层的档次信息的情况下，从编码数据解码对象层的档次信息，而在上述档次提示标记表示不提示对象层的档次信息的情况下，向对象层的档次信息设定给定的解码完成层的档次信息，所述档次信息表示上述对象层的编码数据能否由具备某档次的图像解码装置进行解码；

等级信息解码单元，其从编码数据解码等级信息，所述等级信息表示上述对象层的编码数据能否由具备某等级的图像解码装置进行解码；

子层档次提示标记解码单元，其从编码数据解码子层档次提示标记(sub_layer_profile_flag)，所述子层档次提示标记表示是否提示与上述对象层所包含的各子层相关的子层档次信息；

子层等级提示标记解码单元，其从编码数据解码子层等级提示标记(sub_layer_level_flag)，所述子层等级提示标记表示是否提示与上述对象层所包含的各子层相关的子层等级信息；

子层档次信息解码单元，其在与上述各子层相关的子层档次提示标记的解码后、上述子层档次提示标记表示提示子层档次信息的情况下，对上述对象层所包含的各子层的子层档次信息进行解码，而在上述子层档次提示标记表示不提示子层档次信息的情况下，向子层的子层档次信息设定上述对象层的档次信息；和

子层等级信息解码单元，其在与上述各子层相关的子层等级提示标记的解码后、上述子层等级提示标记表示提示子层等级信息的情况下，对上述对象层所包含的各子层的子层等级信息进行解码，而在上述子层等级提示标记表示不提示子层等级信息的情况下，向子层的子层等级信息设定上述对象层的等级信息。

另外，为了解决上述课题，本发明的一方式所涉及的图像解码装置对按每层而质量不同的图像所相关的图像信息被以分层方式进行编码所得到的分层编码数据进行解码，来复原成为解码的对象的对象层中的图像，所述图像解码装置的特征在于，具备：

档次信息解码单元，其在表示是否提示档次信息以及等级信息的档次等级提示标记(ProfileLevelPresentFlag)表示提示对象层的档次信息以及等级信息的情况下，从编码数据解码对象层的档次信息，而在上述档次等级提示标记表示不提示对象层的档次信息以及等级信息的情况下，向对象层的档次信息设定给定的解码完成层的档次信息，所述档次信息以及等级信息表示上述对象层的编码数据能否由具备某档次以及等级的图像解码装置进行解码；

等级信息解码单元，其在上述档次等级提示标记表示提示对象层的档次信息以及等级信息的情况下，从编码数据解码对象层的等级信息，而在上述档次等级提示标记表示不提示对象层的档次信息以及等级信息的情况下，向对象层的等级信息设定给定的解码完成层的等级信息；

子层档次等级提示标记解码单元，其从编码数据解码子层档次等级提示标记，所述子层档次等级提示标记表示是否提示与上述对象层所包含的各子层相关的子层档次信息以及子层等级信息；

子层档次信息解码单元，其在上述子层档次等级提示标记表示提示子层档次信息和子层等级信息的情况下，对对象层所包含的各子层的子层档次信息进行解码，而在上述子层档次等级提示标记表示不提示子层档次信息和子层等级信息的情况下，向子层的子层档次信息设定上述对象层的档次信息；和

子层等级信息解码单元，其在上述子层档次等级提示标记表示提示子层档次信息和子层等级信息的情况下，对对象层所包含的各子层的子层等级信息进行解码，而在上述子层档次等级提示标记表示不提示子层档次信息和子层等级信息的情况下，向子层的子层等级信息设定上述对象层的等级信息。

另外，本发明的一方式所涉及的图像解码装置解码对图像信息进行编码而得到的编码数据，所述图像解码装置具备：首部信息解码单元，其对首部信息进行解码，所述首部信息用于对包含在上述编码数据中的视频参数集进行解码，上述首部信息解码单元在对上述视频参数集中的扩展用的信息进行解码之后，对包含在上述视频参数集中的档次/等级信息进行解码。

发明效果

根据本发明的一个方式，图像解码装置能够降低档次/等级信息的解码所涉及的处理量，其中，所述档次/等级信息是为了判断能否将对图像进行编码而得到的编码数据(或者分层编码数据)进行解码所需的信息。

附图说明

图1是表示本发明的一实施方式所涉及的档次/等级信息解码部1211的概略构成的功能框图。

图2是用于说明本发明的一实施方式所涉及的分层编码数据的层结构的图，(a)对分层运动图像编码装置侧进行了表示，(b)对分层运动图像解码装置侧进行了表示。

图3是用于说明与时间可适性有关的子层的图。(a)是用于说明与时间可适性相关的子层的一例的图，(b)是用于说明与时间可适性相关的子层的另一例的图。

图4是用于说明本发明的一实施方式所涉及的分层编码数据的构成的图，(a)表示了对序列SEQ进行规定的序列层，(b)表示了对图片PICT进行规定的图片层，(c)表示了对切片S进行规定的切片层，(d)表示了对树块(Tree block)TBLK进行规定的树块层，(e)表示了对树块TBLK所包含的编码单位(Coding Unit；CU)进行规定的CU层。

图5是表示本发明的一实施方式所涉及的分层运动图像解码装置的概略构成的功能框图。

图6是表示本发明的一实施方式所涉及的可变长解码部12的概略构成的功能框图。

图7是表示分层编码数据所涉及的语法的例子的图。(a)是表示视频参数集VPS的语法例的图，(b)是表示序列参数集SPS的语法例的图，(c)是表示NAL单元首部的语法例的图。

图8是表示上述分层运动图像解码装置所具备的预测参数复原部的概略构成的功能框图。

图9是表示上述分层运动图像解码装置所具备的纹理复原部的概略构成的功能框图。

图10是表示上述分层运动图像解码装置所具备的基础解码部的概略构成的功能框图。

图11是实施例1所涉及的档次/等级信息的数据结构。

图12是表示实施例1所涉及的档次/等级信息解码部1211中的档次/等级信息的解码处理的动作的流程图。

图13是实施例1所涉及的档次/等级信息的另一例(变形例1)的数据结构。

图14是表示实施例1所涉及的档次/等级信息解码部1211中的档次/等级信息的解码处理的动作的另一例(变形例1)的流程图。

图15是实施例1所涉及的档次/等级信息的另一例(变形例2)的数据结构。

图16是实施例1所涉及的档次/等级信息的另一例(变形例2a)的数据结构。

图17是实施例1所涉及的档次/等级信息的另一例(变形例3)的数据结构。

图18是表示本发明的一实施方式所涉及的档次/等级信息解码部1211的另一概略构成的功能框图(变形例3)。

图19是表示实施例1所涉及的档次/等级信息解码部1211中的档次/等级信息的解码处理的动作的另一例(变形例3)的流程图。

图20是表示本发明的一实施方式所涉及的分层运动图像编码装置的概略构成的功能框图。

图21是表示本发明的一实施方式所涉及的可变长编码部22的概略构成的功能框图。

图22是表示上述分层运动图像编码装置所具备的预测信息生成部25的概略构成的功能框图。

图23是表示上述分层运动图像编码装置所具备的纹理信息生成部24的概略构成的功能框图。

图24是表示本发明的一实施方式所涉及的档次/等级信息编码部2211的概略构成的功能框图。

图25是表示本发明的一实施方式所涉及的档次/等级信息编码部2211的另一概略构成的功能框图(变形例3)。

图26是表示搭载有上述分层运动图像编码装置的发送装置、以及搭载有上述分层运动图像解码装置的接收装置的构成的图。(a)表示了搭载有分层运动图像编码装置的发送装置，(b)表示了搭载有分层运动图像解码装置的接收装置。

图27是表示搭载有上述分层运动图像编码装置的记录装置、以及搭载有上述分层运动图像解码装置的再现装置的构成的图。(a)表示了搭载有分层运动图像编码装置的记录装置，(b)表示了搭载有分层运动图像解码装置的再现装置。

图28表示非专利文献1中的与等级制约相关的各参数的限制值。

图29的(a)是非专利文献1中的与主档次相关的参数的制约的一例，(b)是非专利文献1中的与主档次相关的追加的等级制约的一例。

图30是非专利文献1所涉及的档次/等级信息的数据结构。

图31是用于说明视频参数集VPS的语法的另一例的图。

具体实施方式

基于图1～图27，对本发明的一实施方式所涉及的分层运动图像解码装置1以及分层运动图像编码装置2进行如下说明。

〔概要〕

本实施方式所涉及的分层运动图像解码装置(图像解码装置)1，解码由分层运动图像编码装置(图像编码装置)2进行了可伸缩影像编码(SVC；Scalable Video Coding)后的编码数据。可伸缩影像编码是指对运动图像从低质量的编码至高质量的编码而分层地进行编码的编码方式。可伸缩影像编码例如在H.264/AVC Annex G SVC中被标准化。此外，这里所说的运动图像的质量广泛指主观上以及客观上对运动图像的美观产生影响的要素。运动图像的质量包括例如“分辨率”、“帧频”、“画质”以及“像素的表现精度”。因此，下面如果说运动图像的质量不同，则例如是指“分辨率”等不同，但并不限定于此。例如，以不同的量化步长进行量化后的运动图像的情况(即，根据不同的编码噪声进行编码后的运动图像的情况)也可称为运动图像的质量彼此不同。

另外，从被分层化的信息的种类的观点出发，SVC有时被分类为(1)空间可适性、(2)时间可适性以及(3)SNR(Signal to Noise Ratio)可适性。空间可适性是指在分辨率、图像的尺寸中进行分层化的技术。时间可适性是指在帧频(单位时间的帧数)中进行分层化的技术。另外，SNR可适性是指在编码噪声中进行分层化的技术。

在本实施方式所涉及的分层运动图像编码装置2以及分层运动图像解码装置1的详细说明之前，首先(1)对由分层运动图像编码装置2生成、由分层运动图像解码装置1解码的分层编码数据的层结构进行说明，然后(2)对各层中可采用的数据结构的具体例进行说明。

〔分层编码数据的层结构〕

在此，利用图2对分层编码数据的编码以及解码进行如下说明。图2是示意性表示通过下级阶层L3、中级阶层L2以及上级阶层L1这3个阶层对运动图像进行分层编码/解码的情况的图。即，在图2(a)以及(b)所示的例子中，在3阶层中，上级阶层L1成为最上级层，下级阶层L3成为最下级层。

以下，从分层编码数据可解码出的特定的质量所对应的解码图像，被称为特定的阶层的解码图像(或者特定的阶层所对应的解码图像)(例如，上级阶层L1的解码图像POUT#A)。

图2(a)表示了对输入图像PIN#A～PIN#C分别进行分层编码而生成编码数据DATA#A～DATA#C的分层运动图像编码装置2#A～2#C。图2(b)表示了对经分层编码后的编码数据DATA#A～DATA#C分别进行解码而生成解码图像POUT#A～POUT#C的分层运动图像解码装置1#A～1#C。

首先，利用图2(a)对编码装置侧进行说明。关于成为编码装置侧的输入的输入图像PIN#A、PIN#B以及PIN#C，原图相同，但图像的质量(分辨率、帧频以及画质等)不同。图像的质量按照输入图像PIN#A、PIN#B以及PIN#C的顺序降低。

下级阶层L3的分层运动图像编码装置2#C对下级阶层L3的输入图像PIN#C进行编码来生产下级阶层L3的编码数据DATA#C。包含对下级阶层L3的解码图像POUT#C进行解码所需的基本信息(在图2中用“C”表示)。下级阶层L3是最下层的阶层，因此下级阶层L3的编码数据DATA#C也被称为基本编码数据。

另外，中级阶层L2的分层运动图像编码装置2#B在参照下级阶层的编码数据DATA#C的同时，对中级阶层L2的输入图像PIN#B进行编码来生成中级阶层L2的编码数据DATA#B。在中级阶层L2的编码数据DATA#B中，除了编码数据DATA#C所包含的基本信息“C”之外，还包含对中级阶层的解码图像POUT#B进行解码所需的附加的信息(在图2中用“B”表示)。

另外，上级阶层L1的分层运动图像编码装置2#A在参照中级阶层L2的编码数据DATA#B的同时，对上级阶层L1的输入图像PIN#A进行编码来生成上级阶层L1的编码数据DATA#A。在上级阶层L1的编码数据DATA#A中，除了对下级阶层L3的解码图像POUT#C进行解码所需的基本信息“C”以及对中级阶层L2的解码图像POUT#B进行解码所需的附加的信息“B”之外，还包含对上级阶层的解码图像POUT#A进行解码所需的附加的信息(在图2中用“A”表示)。

这样，上级阶层L1的编码数据DATA#A包括与不同的多个质量的解码图像相关的信息。

下面，参照图2(b)来对解码装置侧进行说明。在解码装置侧，与上级阶层L1、中级阶层L2以及下级阶层L3的各阶层相应的解码装置1#A、1#B以及1#C，对编码数据DATA#A、DATA#B以及DATA#C进行解码来输出解码图像POUT#A、POUT#B以及POUT#C。

此外，也可提取出上级的分层编码数据的一部分信息，在更下级的特定的解码装置中通过对该提取出的信息进行解码来再现特定的质量的运动图像。

例如，中级阶层L2的分层运动图像解码装置1#B可以从上级阶层L1的分层编码数据DATA#A中提取对解码图像POUT#B进行解码所需的信息(即，分层编码数据DATA#A所包含的“B”以及“C”)，来对解码图像POUT#B进行解码。换言之，在解码装置侧，能够基于上级阶层L1的分层编码数据DATA#A所包含的信息来对解码图像POUT#A、POUT#B以及POUT#C进行解码。

此外，并不限于以上的3阶层的分层编码数据，分层编码数据可以按2阶层被进行分层编码，也可按比3阶层更多的阶层数被进行分层编码。

另外，也可按下述方式构成分层编码数据：对特定的阶层的解码图像所相关的编码数据的一部分或者全部与其他阶层独立地进行编码，在进行特定的阶层的解码时，不参考其他阶层的信息。例如，在利用图2(a)以及(b)进行了上述说明的例子中，说明了在解码图像POUT#B的解码中参考“C”以及“B”，但并不限定于此。也能够按照解码图像POUT#B能仅利用“B”进行解码的方式来构成分层编码数据。

此外，在实现SNR可适性的情况下，也能够按照下述方式来生成分层编码数据：在作为输入图像PIN#A、PIN#B以及PIN#C而利用同一原图的基础上，使解码图像POUT#A、POUT#B以及POUT#C成为不同的画质。在该情况下，下级阶层的分层运动图像编码装置与上级阶层的分层运动图像编码装置相比，利用更大的量化幅度来对预测残差进行量化，由此生成分层编码数据。

在本说明书中，为了便于说明而如下那样对术语进行定义。以下的术语只要没有特别声明，则用于表征下述技术事项。

上级层：将位于比某阶层更上级的位置的阶层称为上级层。例如，在图2中，下级阶层L3的上级层是中级阶层L2以及上级阶层L1。另外，上级层的解码图像是指更高质量的(例如，分辨率高、画质高等)解码图像。

下级层：将位于比某阶层更下级的位置的阶层称为下级层。例如，在图2中，上级阶层L1的下级层是中级阶层L2以及下级阶层L3。另外，下级层的解码图像是指更低质量的解码图像。

对象层：是指成为解码或者编码的对象的阶层。

参考层(reference layer)：将解码与对象层对应的解码图像所参考的特定的下级层称为参考层。

在图2(a)以及(b)所示的例子中，上级阶层L1的参考层是中级阶层L2以及下级阶层L3。但是并不限定于此，也能够按照在特定的上述层的解码中可以不参考所有下级层的方式来构成分层编码数据。例如，可按照上级阶层L1的参考层为中级阶层L2以及下级阶层L3中的任一者的方式来构成分层编码数据。

基本层(base layer)：将位于最下层的阶层称为基本层。基本层的解码图像是可从编码数据解码出的最低质量的解码图像，也被称为基本解码图像。换言之，基本解码图像是与最下层的阶层对应的解码图像。基本解码图像的解码所需的分层编码数据的部分编码数据被称为基本编码数据。例如，上级阶层L1的分层编码数据DATA#A所包含的基本信息“C”是基本编码数据。

扩展层：基本层的上级层被称为扩展层。

层标识符：层标识符用于对阶层进行识别，与阶层一一对应。在分层编码数据中，包含为了对特定的阶层的解码图像的解码所需的部分编码数据进行选择而使用的阶层标识符。与特定的层对应的层标识符所关联对应的分层编码数据的子集也被称为层表现。

一般，在特定的阶层的解码图像的解码中，使用该阶层的层表现、以及/或者与该阶层的下级层对应的层表现。即，在对象层的解码图像的解码中，使用对象层的层表现、以及/或者对象层的下级层所包含的一个以上阶层的层表现。

层间预测：层间预测是指基于与对象层的层表现不同的阶层(参考层)的层表现所包含的语法要素值、从语法要素值导出的值、以及解码图像，来预测对象层的语法要素值、对象层的解码中使用的编码参数等。有时也将根据(同时刻的)参考层的信息来预测与运动预测相关的信息的层间预测称为运动信息预测。另外，有时也将根据对(同时刻的)下级层的解码图像进行增采样而得到的图像来进行预测的层间预测称为纹理预测(或者层间帧内预测)。此外，层间预测中使用的阶层例如是对象层的下级层。另外，有时将不使用参考层而在对象层内进行预测也称为层内预测。

时态标识符：时态标识符是用于识别与时间可适性相关的层(以后称为子层)的标识符。时态标识符用于对子层进行识别，与子层一一对应。在编码数据中，包含为了对特定的子层的解码图像的解码所需的部分编码数据进行选择而使用的时态标识符。

子层：子层是指根据时态标识符来确定的与时间可适性相关的层。为了与空间可适性、SNR可适性等其他可适性进行区别，以后称为子层(也称为时态层)。

此外，下面，设为时间可适性是通过基本层的编码数据、或者对某层进行解码所需的分层编码数据所包含的子层来实现的。

关于时间可适性，利用图3(a)来进行说明。在SVC、HEVC中，为了实现时间可适性，导入了以嵌套方式进行利用B图片的图片参考的阶层B图片。图3(a)表征了阶层B图片中的图片参考关系。在此，符号L#N表示某层N，符号SL#M表示属于某层N的时间可适性的子层(子阶层)M。在变更帧频来实现时间可适性的情况下，首先废弃未被其他图片参考的B图片的编码数据。在图3(a)的情况下，通过废弃属于子层SL#4的B图片(B2、B4、B6、B8)的编码数据，生成帧频变为1/2的子层SL#1～SL#3的编码数据。通过进一步废弃未被其他图片参考的B图片(在图3(a)中为属于子层SL#3的B图片(B3、B7))的编码数据，生成帧频变为1/4的子层SL#1～SL#2的编码数据。通过反复进行上述处理，能够分段地调整帧频。另外，作为对各子层进行识别的标识符，有时态标识符(temporalId；也称为tId、temporal_id)。在图3(a)中，表示了使各B图片的参考结构的级数与子层一一对应的例子，但并不限定于此。例如，可以将多个B图片的参考结构的级数与子层一一对应或以多对一的方式建立对应。例如，在图3(b)中，可以按照由图片11、B3、B5、B7、P9构成子层SL#1、由图片B2、B4、B6、B8构成子层SL#2的方式来建立对应。

此外，以上的术语只是为了便于说明而采用的术语，也可将上述的技术事项用其他术语来表现。

〔关于分层编码数据的数据结构〕

以下，作为生成各阶层的编码数据的编码方式，例示使用HEVC及其扩展方式的情况。但是并不限定于此，也可通过MPEG-2、H.264/AVC等编码方式来生成各阶层的编码数据。

另外，也可通过不同的编码方式对下级层和上级层进行编码。另外，各阶层的编码数据可以经由彼此不同的传输路径提供给分层运动图像解码装置1，也可经由同一传输路径提供给分层运动图像解码装置1。

例如，在通过基本层以及一个扩展层对超高清影像(运动图像，4K影像数据)进行可伸缩编码并传输的情况下，可以是：基本层将对4K影像数据进行缩小并进行交织化后的影像数据通过MPEG-2或者H.264/AVC来编码，并利用电视广播网进行传输，扩展层将4K影像(progressive)通过HEVC进行编码，并通过互联网进行传输。

(基本层)

图4是例示能够在基本层中采用的编码数据(在图2的例子中为分层编码数据DATA#C)的数据结构的图。分层编码数据DATA#C例如包含序列以及构成序列的多个图片。

将分层编码数据DATA#C中的数据的分层结构表示在图4中。图4(a)～(e)分别是：(a)是表示对序列SEQ进行规定的序列层的图，(b)是表示对图片PICT进行规定的图片层的图，(c)是表示对切片S进行规定的切片层的图，(d)是表示对树块(Tree block)TBLK进行规定的树块层的图，(e)是表示对树块TBLK所包含的编码单位(Coding Unit；CU)进行规定的CU层的图。

(序列层)

在序列层中，规定了为了对处理对象的序列SEQ(以下也称为对象序列)进行解码而分层运动图像解码装置1所参考的数据的集合。序列SEQ如图4(a)所示，包含：视频参数集VPS(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、自适应参数集APS(Adaptation Parameter Set)、图片PICT₁～PICT_NP(NP是序列SEQ所包含的图片的总数)以及附加扩展信息SEI(Supplemental Enhancement Information)。

在视频参数集VPS中，关于基本层以及扩展层，规定了用于对对象序列进行解码的分层运动图像解码装置1所参考的公共的编码参数的集合。VPS的详细内容在后面记述。

在序列参数集SPS中，规定了为了对对象序列进行解码而分层运动图像解码装置1所参考的编码参数的集合。SPS的详细内容在后面记述。

在图片参数集PPS中，规定了为了对对象序列内的各图片进行解码而分层运动图像解码装置1所参考的编码参数的集合。此外，PPS可以存在多个。在该情况下，根据对象序列内的各图片来选择多个PPS的任一个。

自适应参数集APS规定了为了对对象序列内的各切片进行解码而分层运动图像解码装置1所参考的编码参数的集合。APS可以存在多个。在该情况下，根据对象序列内的各切片来选择多个APS的任一个。

(图片层)

在图片层中，规定了为了对处理对象的图片PICT(以下也称为对象图片)进行解码而分层运动图像解码装置1所参考的数据的集合。图片PICT如图4(b)所示，包含图片首部PH以及切片S₁～S_NS(NS是图片PICT所包含的切片的总数)。

此外，以下，在不需要区分切片S₁～S_NS的各切片的情况下，有时会省略符号的下标来记述。另外，对于以下说明的分层编码数据DATA#C所包含的数据且标注了下标的其他数据也是同样的。

图片首部PH中包含为了决定对象图片的解码方法而分层运动图像解码装置1所参考的编码参数群。此外，编码参数群未必需要直接包含在图片首部PH内，例如也可通过包含向图片参数集PPS的参考而间接地进行包含。

(切片层)

在切片层中，规定了为了对处理对象的切片S(也称为对象切片)进行解码而分层运动图像解码装置1所参考的数据的集合。切片S如图4(c)所示，包含切片首部SH、以及树块TBLK₁～TBLK_NC(NC是切片S所包含的树块的总数)的序列。

切片首部SH中包含为了决定对象切片的解码方法而分层运动图像解码装置1所参考的编码参数群。对切片类型进行指定的切片类型指定信息(slice_type)是切片首部SH所包含的编码参数的一例。

作为可由切片类型指定信息指定的切片类型，可列举(1)编码时仅使用帧内预测的I切片、(2)编码时使用单向预测或者帧内预测的P切片、(3)编码时使用单向预测、双向预测或者帧内预测的B切片等。

此外，切片首部SH中也可包含：上述序列层所包含的向图片参数集PPS的参考(pic_parameter_set_id)、向自适应参数集APS的参考(aps_id)。

另外，切片首部SH中包含由分层运动图像解码装置1所具备的自适应滤波器参考的滤波器参数FP。滤波器参数FP包含滤波器系数群。滤波器系数群中包含：(1)对滤波器的抽头数进行指定的抽头数指定信息，(2)滤波器系数a₀～a_NT-1(NT是滤波器系数群所包含的滤波器系数的总数)，以及(3)偏移。

(树块层)

在树块层中，规定了为了对处理对象的树块TBLK(以下也称为对象树块)进行解码而分层运动图像解码装置1参考的数据的集合。此外，有时也将树块称为编码树块(CTB：Coding Tree block)、或者最大编码单位(LCU：Largest Cording Unit)。

树块TBLK包含树块首部TBLKH和编码单位信息CU₁～CU_NL(NL是树块TBLK所包含的编码单位信息的总数)。在此，首先，对树块TBLK与编码单位信息CU的关系进行如下说明。

树块TBLK被分割成用于确定帧内预测或者帧间预测以及变换的各处理用的块尺寸的分区。

树块TBLK的上述分区通过递归的四叉树分割而被分割。以下将通过该递归的四叉树分割而得到的树结构称为编码树(coding tree)。

以下，将作为编码树的末端的节点的叶(leaf)所对应的分区作为编码节点(coding node)来参考。另外，由于编码节点为编码处理的基本单位，因此以下将编码节点也称为编码单位(CU)。此外，编码节点有时也称为编码块(CB：Coding Block)。

即，编码单位信息(以下称为CU信息)CU₁～CU_NL是将树块TBLK递归地进行四叉树分割而得到的各编码节点(编码单位)所对应的信息。

另外，编码树的根(root)与树块TBLK建立对应。换言之，树块TBLK与递归地包含多个编码节点的四叉树分割的树结构的最上级节点建立对应。

此外，各编码节点的尺寸是该编码节点直接所属的编码节点(即，该编码节点的上1级阶层的节点的分区)的尺寸的纵横的各一半。

另外，树块TBLK的尺寸以及各编码节点可取的尺寸依赖于分层编码数据DATA#C的序列参数集SPS所包含的最小编码节点的尺寸指定信息、以及最大编码节点与最小编码节点的阶层深度的差分。例如，在最小编码节点的尺寸为8×8像素、最大编码节点与最小编码节点的阶层深度的差分为3的情况下，树块TBLK的尺寸为64×64像素，编码节点的尺寸可取4种尺寸即64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。

(树块首部)

树块首部TBLKH中包含为了决定对象树块的解码方法而分层运动图像解码装置1所参考的编码参数。具体而言，如图4(d)所示，包含：指定对象树块分割成各CU的分割图案的树块分割信息SP_TBLK、以及指定量化步长的大小的量化参数差分Δqp(qp_delta)。

树块分割信息SP_TBLK是表示用于对树块进行分割的编码树的信息，具体而言，是指定对象树块所包含的各CU的形状、尺寸以及指定在对象树块内的位置的信息。

另外，量化参数差分Δqp是对象树块中的量化参数qp与在该对象树块的近前被编码的树块中的量化参数qp’的差分qp-qp’。

(CU层)

在CU层中，规定了为了对处理对象的CU(以下也称为对象CU)进行解码而分层运动图像解码装置1所参考的数据的集合。

在此，在进行CU信息CU所包含的数据的具体内容的说明之前，对CU所包含的数据的树结构进行说明。编码节点成为预测树(predictiontree；PT)以及变换树(transform tree；TT)的根节点。关于预测树以及变换树进行如下说明。

在预测树中，编码节点被分割为1个或者多个预测块，各预测块的位置和尺寸被规定。以其他表现来说，预测块是构成编码节点的1个或者多个不重叠的区域。另外，预测树包含通过上述的分割而得到的1个或者多个预测块。

预测处理按每个该预测块来进行。以下，将作为预测的单位的预测块也称为预测单位(prediction unit；PU)。

另外，在变换树中，编码节点被分割成1个或者多个变换块，各变换块的位置和尺寸被规定。以其他表现来说，变换块是构成编码节点的1个或者多个不重叠的区域。另外，变换树包含通过上述的分割而得到的1个或者多个变换块。

变换处理按每个该变换块来进行。以下，将作为变换的单位的变换块也称为变换单位(transform unit；TU)。

(CU信息的数据结构)

下面，参考图4(e)来说明CU信息CU所包含的数据的具体的内容。如图4(e)所示，CU信息CU具体而言包含：跳过标记SKIP、预测树信息(以下简称为PT信息)PTI以及变换树信息(以下简称为TT信息)TTI。

[跳过标记]

跳过标记SKIP是表示对于对象的PU是否应用了跳过模式的标记，在跳过标记SKIP的值为1的情况下，即，在对象CU中应用了跳过模式的情况下，该CU信息CU中的PT信息PTI的一部分以及TT信息TTI被省略。此外，跳过标记SKIP在I切片中被省略。

[PT信息]

PT信息PTI是与CU所包含的预测树(以下简称为PT)相关的信息。换言之，PT信息PTI是与PT所包含的1个或者多个PU分别相关的信息的集合，在由分层运动图像解码装置1生成预测图像时被参考。PT信息PTI如图4(e)所示，包含预测类型信息PType以及预测信息PInfo。

预测类型信息PType是作为关于对象PU的预测图像生成方法而指定使用帧内预测或者使用帧间预测的信息。

预测信息PInfo根据预测类型信息PType指定了哪一个预测方法而包含帧内预测信息PP_Intra或者帧间预测信息PP_Inter。以下，将应用了帧内预测的PU也称为帧内PU，将应用了帧间预测的PU也称为帧间PU。

帧间预测信息PP_Inter包含分层运动图像解码装置1在通过帧间预测来生成帧间预测图像时所参考的编码参数。更具体而言，帧间预测信息PP_Inter包含：指定对象CU向各帧间PU分割的分割图案的帧间PU分割信息、以及关于各帧间PU的帧间预测参数。作为帧间预测参数，例如，可列举估计运动向量索引(mvp_idx)、参考图像索引(ref_idx)、帧间预测标记(inter_pred_flag)以及运动向量残差(mvd)。

帧内预测信息PP_Intra包含分层运动图像解码装置1在通过帧内预测来生成帧内预测图像时所参考的编码参数。更具体而言，帧内预测信息PP_Intra包含：指定对象CU向各帧内PU分割的分割图案的帧内PU分割信息、以及关于各帧内PU的帧内预测参数。帧内预测参数是用于指定关于各帧内PU的帧内预测方法(预测模式)的参数。作为帧内预测参数，例如可列举估计预测模式标记、估计预测模式索引以及残余预测模式索引。

另外，PU分割信息中也可包含指定对象PU的形状、尺寸以及位置的信息。在由PU分割信息指定的PU分割类型中，若将对象CU的尺寸设为2N×2N像素，则存在下面的合计8种图案。即，2N×2N像素、2N×N像素、N×2N像素以及N×N像素这4个对称的分割(symmetricsplittings)、以及2N×nU像素、2N×nD像素、nL×2N像素以及nR×2N像素这4个非对称的分割(asymmetric splittings)。其中，N＝2m(m是1以上的任意的整数)。以下，将分割对象CU而得到的区域也称为分区。

[TT信息]

TT信息TTI是与CU所包含的变换树(以下简称为TT)相关的信息。换言之，TT信息TTI是与TT所包含的1个或者多个TU分别相关的信息的集合，在通过分层运动图像解码装置1对残差数据进行解码时被参考。此外，以下，有时也将TU称为块。

TT信息TTI如图4(e)所示，包含对对象CU分割成各变换块的分割图案进行指定的TT分割信息SP_TT、以及量化预测残差QD₁～QD_NT(NT是对象CU所包含的块的总数)。

TT分割信息SP_TT具体而言是用于决定对象CU所包含的各TU的形状、尺寸、以及在对象CU内的位置的信息。例如，TT分割信息SP_TT能够由表示是否进行成为对象的节点的分割的信息(split_transform_unit_flag)、和表示该分割的深度的信息(trafoDepth)来实现。

另外，例如在CU的尺寸为64×64的情况下，通过分割而得到的各TU可取从32×32像素至4×4像素的尺寸。

各量化预测残差QD是分层运动图像编码装置2对作为处理对象的块的对象块实施以下的处理1～3而生成的编码数据。

处理1：对从编码对象图像中减去预测图像后的预测残差进行频率变换(例如DCT变换(Discrete Cosine Transform)以及DST变换(DiscreteSine Transform)等)；

处理2：对通过处理1得到的变换系数进行量化；

处理3：对通过处理2量化后的变换系数进行可变长编码；

此外，上述量化参数qp表示分层运动图像编码装置2对变换系数进行量化时使用的量化步长QP的大小(QP＝2^qp/6)。

(扩展层)

关于扩展层的编码数据，也可采用例如与图4所示的数据结构大致相同的数据结构。不过，在扩展层的编码数据中，可如以下那样追加附加的信息或将参数省略。

在VPS或者SPS中，可以编码有表示分层编码的信息。

另外，在切片层中，可以编码有空间可适性、时间可适性以及SNR可适性的阶层的识别信息(分别为dependency_id、temporal_id以及quality_id)。滤波器信息、滤波器的启用/禁用信息(后述)可在PPS、切片首部、树块首部TBLKH、编码单位信息CU等中进行编码。

另外，在CU信息CU中，可以编码有跳过标记(skip_flag)、基础模式标记(base_mode_flag)以及预测模式标记(pred_mode_flag)。

另外，可以通过这些标记来指定对象CU的CU类型是帧内CU、帧间CU、跳过CU以及基础跳过CU中的哪一个。

帧内CU以及跳过CU可与上述的HEVC方式的情况同样地进行定义。例如，在跳过CU中，对跳过标记设定“1”。在不是跳过CU的情况下，对跳过标记设定“0”。另外，在帧内CU中，对预测模式标记设定“0”。

另外，帧间CU可以被定义为非跳过且应用运动补偿(MC；MotionCompensation)的CU。在帧间CU中，例如，对跳过标记设定“0”，对预测模式标记设定“1”。

基础跳过CU是根据参考层来估计CU或者PU的信息的CU类型。另外，在基础跳过CU中，例如，对跳过标记设定“1”，对基础模式标记设定“1”。

另外，在PT信息PTI中，可以指定对象PU的PU类型是帧内PU、帧间PU中的哪一个。

帧内PU、帧间PU可与上述的HEVC方式的情况同样地进行定义。

此外，关于扩展层所包含的运动向量信息中的、能够根据下级层所包含的运动向量信息来导出的运动向量信息，能够采用从扩展层中进行省略的构成。通过采用这样的构成，能够削减扩展层的码量，因此编码効率提高。

另外，如上所述，可将扩展层的编码数据通过与下级层的编码方式不同的编码方式来生成。即，扩展层的编码/解码处理不依赖于下级层的编码器的种类。

下级层例如可通过MPEG-2、H.264/AVC方式来编码。

在对象层和参考层通过不同的编码方式被编码的情况下，通过将参考层的参数变换为对象层所对应的参数或者类似的参数，能够保持层间的相应的兼容性。例如，MPEG-2、H.264/AVC方式中的宏块可读为HEVC中的CTB来解释。

此外，以上说明的参数可以单独被编码，也可以是多个参数被复合地进行编码。在多个参数被复合地进行编码的情况下，对该参数的值的组合分配索引，并对分配的该索引进行编码。另外，若参数能够根据其他参数、解码完成的信息来导出，则能够省略该参数的编码。

〔分层运动图像解码装置〕

以下，参考图1～图19，对本实施方式所涉及的分层运动图像解码装置1的构成进行说明。

(分层运动图像解码装置的构成)

利用图5，对分层运动图像解码装置1的概略构成进行如下说明。图5是表示了分层运动图像解码装置1的概略构成的功能框图。分层运动图像解码装置1将从分层运动图像编码装置2提供的分层编码数据DATA通过HEVC方式进行解码，来生成对象层的解码图像POUT#T。

如图5所示，分层运动图像解码装置1具备：NAL逆复用部11、可变长解码部12、预测参数复原部14、纹理复原部15以及基础解码部16。

[NAL逆复用部11]

NAL逆复用部11对以NAL(Network Abstraction Layer)中的NAL单元为单位而传输的分层编码数据DATA进行逆复用。

NAL是为了将VCL(Video Coding Layer)与对编码数据进行传输和蓄存的下级系统之间的通信进行抽象化而设置的层。

VCL是进行运动图像编码处理的层，在VCL中进行编码。另一方面，这里所说的下级系统对应于H.264/AVC以及HEVC的文件格式、MPEG-2系统。在以下所示的例子中，下级系统对应于对象层以及参考层中的解码处理。

此外，在NAL中，在VCL中生成的比特流被以NAL单元这一单位进行划分，并向成为目的地的下级系统传输。在NAL单元中，包含在VCL中被编码的编码数据、以及用于使该编码数据适当地到达目的地的下级系统的首部(NAL单元首部：nal_unit_header())。此外，NAL单元首部例如由图7(c)所示的语法表征。在NAL单元首部中记述有：表征在NAL单元中保存的编码数据的种类的“nal_unit_type”、表征所保存的编码数据所属的子层的标识符(时态标识符)的“nuh_temporal_id_plusl”、表征所保存的编码数据所属的层的标识符(层标识符)的“nuh_layer_id”(或者nuh_reserved_zero_6bits)。

另外，各阶层中的编码数据通过进行NAL单元保存而进行NAL复用，并被传输给分层运动图像解码装置1。

NAL逆复用部11对分层编码数据DATA进行逆复用，取出对象层编码数据DATA#T以及参考层编码数据DATA#R(以下也仅称为编码数据DATA#R)。另外，NAL逆复用部11将对象层编码数据DATA#T(以下也仅称为编码数据DATA#T)提供给可变长解码部12，并且将参考层编码数据DATA#R提供给基础解码部16。

[可变长解码部12]

可变长解码部12进行根据对象层编码数据DATA#T所包含的二进制值对各种语法值进行解码用的信息的解码处理。

具体而言，可变长解码部12如图6所示，具备首部信息解码部121、预测信息解码部122、以及变换系数信息解码部123。进而，首部信息解码部121具备档次/等级信息解码部1211。

[首部信息解码部121]

首部信息解码部121以序列单位、图片单位或者切片单位将在解码中利用的参数所相关的首部信息从编码数据DATA#T中进行解码。

首部信息解码部121基于对编码数据DATA#T所包含的VPS以及SPS进行规定的语法定义，以序列单位对解码中利用的信息进行解码。

例如，从VPS解码出图7(a)所示的语法。各语法的含义如下。此外，图7(a)所示的语法是VPS的语法的一例，还包含图7(a)未示出的、用于以满足由按每层设定的等级信息(包含子层等级信息)所规定的解码器的能力(CPB、DPB的尺寸等)的方式使虚拟解码器动作的参数的集合HRD参数(hrd_parameters)、VPS的扩展标记、VPS的扩展数据等。

·“video_parameter_set_id”是用于识别各VPS的标识符。

·“vps_temporal_id_nesting_flag”是表征关于参考该VPS的图片中的帧间预测是否进行追加的制约的标记。

·“vps_resereved_zero_2bits”是用于在将来对HEVC进行扩展时预留的语法。

·“vps_reserved_zero_6bits”或者”vps_max_num_layers_minus1”是关于至少包含基本层的分层编码数据，为了算出除了时间可适性之外的其可适性所相关的层的数量的上限值MaxNumLayers而使用的语法。其中，层数的上限值MaxNumLayers由MaxNumLayers＝vps_max_num_layers_minus1+1来表征。在分层编码数据仅由基本层构成的情况下，vps_max_num_layers_minus1＝0。

·“vps_max_sub_layer_minus1”是为了算出与至少包含基本层的分层编码数据的时间可适性相关的层(子层)的数量的上限值MaxNumSubLayers而使用的语法。其中，子层数的上限值MaxNumSubLayers由MaxNumSubLayers＝vps_max_sub_layers_minus1+1来表征。

·“profile_tier_level(X，Y)”是表征与分层编码数据相关的档次信息以及等级信息的语法(以下也称为档次/等级信息)。其中，自变量X是档次信息提示标记ProfilePresentFlag的值，自变量Y是子层数的上限值-1的值，即MaxNumSubLayersMinus1。此外，关于自变量Y，也可代替子层数的上限值-1的值MaxNumSubLayersMinus1而设为MaxNumSubLayers的值。该情况下，将档次/等级信息profile_tier_level()上的MaxNumSubLayersMinus1解释为“MaxNumSubLayers-1”。以下，代替子层数的上限值-1的值MaxNumSubLayersMinus1而使用子层数的上限值MaxNumSubLayers来进行说明。此外，关于档次/等级信息profile_tier_level()在后面描述。此外，在此规定的档次/等级信息中，设定了解码器对所有层(包含基本层以及扩展层、各层所附带的子层)进行解码所需的最大的档次/等级信息。

此外，VPS所包含的档次/等级信息profile_tier_level()在后述的档次/等级信息解码部1211中被解码。

·“vps_reserved_zero_12bits”或者“next_essential_info_byte_offset”是表示从包含VPS的NAL单元的起始位置起至由VPS上的固定长码表征的下一重要语法为止是几字节的偏移值。

另外，从SPS解码出例如图7(b)所示的语法。各语法的含义如下。此外，图7(b)所示的语法是SPS的语法的一例，还包含图7(b)未示出的与图像尺寸相关的信息、与裁剪相关的信息、SPS的扩展标记、SPS的扩展数据等。

·“video_parameter_set”是为了对与后述的SPS标识符(seq_parameter_set_id)相应的SPS所参考的VPS进行确定的VPS标识符(video_parameter_set_id)。

·“sps_max_sub_layers_minus1”是为了算出与对象层的时间可适性相关的子层数的上限值MaxNumSubLayers而使用的语法。其中，子层数的上限值MaxNumSubLayers由MaxNumSubLayers＝sps_max_sub_layers_minus1+1来表征。

·“sps_reserved_zero_bit”是用于在将来对HEVC进行扩展时预留的语法。

·“profile_tier_level(X，Y)”是表征对象层的编码数据DATA#T所相关的档次信息以及等级信息的语法。此外，自变量X是档次信息提示标记ProfilePresentFlag的值，自变量Y是子层数的上限值-1的值，即MaxNumSubLayersMinus1。此外，在由SPS规定的档次/等级信息中，设定了解码器对对象层以及对象层所附带的子层进行解码所需要的档次/等级信息。此外，SPS所包含的档次/等级信息profile_tier_level()在后述的档次/等级信息解码部1211中被解码。

·”seq_parameter_set_id”是用于识别各SPS的标识符。

首部信息解码部121还具备对VPS、SPS所包含的档次/等级信息profile_tier_level()进行解码的档次/等级信息解码部1211。档次/等级信息解码部1211将档次提示标记ProfilePresentFlag以及子层数MaxNumSubLayers作为输入，根据编码数据DATA#T来解码档次/等级信息profile_tier_level()。详细情形在后面描述。

此外，关于在上述VPS上的起始处配置的语法，也可如图31所示那样，将带有符号SYNL101的语法“next_essensial_info_byte_offset”(“vps_reserved_zero_12bits”)配置在档次/等级信息profile_tier_level()的紧前面，按以下顺序对各语法进行解码/编码。

·video_parameter_set_id

·vps_temporal_id_nesting_flag

·vps_reserved_zero_2bits

·vps_reserved_zero_6bits

·vps_max_sub_layers_minus1

·next_essensial_info_byte_offset

·profile_tier_level(ProfilePresentFlag，vps_max_sub_layers_minus1)

...以下省略...

通过在VPS上将语法“next_essensial_info_byte_offset”配置在档次/等级信息的紧前面而具有下述效果：即使不对VPS上的档次/等级信息全部进行解码，也能对于处在由“next_essential_info_byte_offset”指定的字节偏移位置的重要信息尽早地进行直接访问并解码。进而，为了确保上述VPS的起始语法的字节对齐，优选将语法“next_essensial_info_byte_offset”的码长从12比特变更为16比特。另外，通过将语法“next_essensial_info_byte_offset”的码长扩展为16比特，能够扩展所能指定的字节偏移。

[预测信息解码部122]

预测信息解码部122将与各CU或者PU相关的预测信息从编码数据DATA#T进行解码。

预测信息中例如包含：指定CU类型或者PU类型的信息、以及用于确定CU的形状、尺寸、位置的信息。

在CU为帧间CU的情况下，预测信息解码部122将PU分割信息从编码DATA#T进行解码。而且，在各PU中，预测信息解码部122还将参考图像索引(refIdx)、估计运动向量索引(mvp_idx)、以及运动向量残差(mvd)等的运动信息、模式信息作为预测信息而从编码数据DATA#T进行解码。

另一方面，在CU为帧内CU的情况下，预测信息解码部122还将包含(1)指定预测单位的尺寸的尺寸指定信息、以及(2)指定预测索引的预测索引指定信息在内的帧内预测信息作为预测信息而从编码数据DATA#T进行解码。

另外，预测信息解码部122还将指定对象树块向各CU分割的分割图案的树块分割信息、即指定对象树块所包含的各CU的形状、尺寸以及在对象树块内的位置的信息(用于确定CU的形状、尺寸、位置的信息)从编码数据DATA#T进行解码。

另外，预测信息解码部122将解码出的预测信息提供给预测参数复原部14。

[变换系数信息解码部123]

变换系数信息解码部123将与各块相关的量化预测残差QD、以及与包含该块的树块相关的量化参数差分Δqp从编码数据DATA#T进行解码。变换系数信息解码部123将解码出的量化预测残差QD以及量化参数差分Δqp作为变换系数信息而提供给纹理复原部15。

[基础解码部16]

基础解码部16从参考层编码数据DATA#R解码基础解码信息，该基础解码信息是对与对象层对应的解码图像进行解码时参考的参考层所相关的信息。基础解码信息中包含基础预测参数、基础变换系数以及基础解码图像。基础解码部16将解码出的基础解码信息提供给预测参数复原部14以及纹理复原部15。

[预测参数复原部14]

预测参数复原部14利用预测信息以及基础解码信息来对预测参数进行复原。预测参数复原部14将复原后的预测参数提供给纹理复原部15。此外，预测参数复原部14在对预测参数进行复原时，可参考纹理复原部15所具备的帧存储器155(后述)中保存的帧间预测参数。

[纹理复原部15]

纹理复原部15利用变换系数信息、基础解码信息以及预测参数来生成解码图像POUT#T，并输出到外部。此外，在纹理复原部15中，与复原后的解码图像相关的信息被保存在内部具备的帧存储器155(后述)中。

以下，分别对基础解码部16、预测参数复原部14以及纹理复原部15的详细情形进行说明。

(预测参数复原部)

利用图8对预测参数复原部14的详细构成进行说明。图8是关于预测参数复原部14的构成进行例示的功能框图。

如图8所示，预测参数复原部14具备：预测类型选择部141、开关142、帧内预测参数复原部143、以及帧间预测参数复原部145。

预测类型选择部141根据CU类型或者PU类型而向开关142送出切换指示来控制预测参数的导出处理。具体内容如下。

在指定了帧内CU或者帧内PU的情况下，预测类型选择部141控制开关142，以使得能够利用帧内预测参数复原部143来导出预测参数。

在指定了帧间CU以及帧间PU中的任一者的情况下，预测类型选择部141控制开关142，以使得能够利用帧间预测参数复原部145来导出预测参数。

开关142根据预测类型选择部141的指示，将预测信息提供给帧内预测参数复原部143以及帧间预测参数复原部145中的任一者。在预测信息的提供目的地处导出预测参数。

帧内预测参数复原部143根据基础解码信息或者预测信息来导出预测模式。即，帧内预测参数复原部143作为预测参数而复原的是预测模式(帧内预测模式)。

此外，在帧内预测模式中有：“Intra_Planar(二维预测模式、平面预测模式)”、“Intra DC(帧内DC预测模式)”、“Intra Angular(方向预测)”、基于亮度的预测来进行色差的预测的“Intra From Luma”等。

帧间预测参数复原部145在对象CU(PU)为帧间CU(帧间PU)的情况下，根据预测信息、基础解码信息、以及帧存储器中保存的解码完成帧间预测参数来对帧间预测参数进行复原。更具体而言，帧间预测参数复原部145首先利用基础解码信息，通过层内运动估计处理或者层间运动估计处理来导出估计运动向量的候选。然后，获取运动向量残差(mvd)、估计运动向量索引(mvp_idx)、帧间预测标记(inter_pred_flag)以及参考图像索引(refIdx)。并且，基于帧间预测标记的值，分别对参考图像列表L0和参考图像列表L1决定参考图像列表利用标记。而后，在对应的参考图像列表利用标记表示了利用该参考图像的情况下，帧间预测参数复原部145基于估计运动向量索引的值来导出估计运动向量，并且基于运动向量残差和估计运动向量来导出运动向量。帧间预测参数复原部145将导出的运动向量与参考图像列表利用标记以及参考图像索引一起作为帧间预测参数进行输出。

(纹理复原部)

利用图9对纹理复原部15的详细构成进行说明。图9是对纹理复原部15的构成进行了例示的功能框图。

如图9所示，纹理复原部15具备：逆正交变换和逆量化部151、纹理预测部152、加法器153、环路滤波器部154以及帧存储器155。

逆正交变换和逆量化部151(1)对从可变长解码部12提供的变换系数信息所包含的量化预测残差QD进行逆量化，(2)对通过逆量化而得到的DCT系数进行逆正交变换(例如DCT(Discrete Cosine Transform)变换)，(3)将通过逆正交变换而得到的预测残差D提供给加法器153。此外，在对量化预测残差QD进行逆量化时，逆正交变换和逆量化部151根据变换系数信息所包含的量化参数差分Δqp来导出量化步长QP。量化参数qp可通过在前一个进行了逆量化/逆正交变换的树块所相关的量化参数qp’上加上量化参数差分Δqp来导出，量化步长QP可根据量化参数qp而通过QP＝2qp/6来导出。另外，逆正交变换和逆量化部151所执行的预测残差D的生成，以块(变换单位)为单位来进行。

纹理预测部152根据预测参数，参考基础解码信息所包含的基础解码图像或者帧存储器中保存的解码完成的解码图像来生成预测图像。

纹理预测部152更详细而言具备帧间预测部152A、层内帧内预测部152B以及层间帧内预测部152C。

帧间预测部152A通过帧间预测来生成与各帧间预测分区相关的预测图像。具体而言，帧间预测部152A利用从帧间预测参数复原部145作为预测参数而提供的帧间预测参数，根据参考图像来生成预测图像。

层内帧内预测部152B通过层内帧内预测来生成与各帧内预测分区相关的预测图像。具体而言，层内帧内预测部152B利用从帧内预测参数复原部143作为预测参数而提供的预测参数，在对象分区中根据解码完成的解码图像来生成预测图像。

层间帧内预测部152C通过层间帧内预测来生成与各帧内预测分区相关的预测图像。具体而言，层间帧内预测部152C利用从帧内预测参数复原部143作为预测参数而提供的帧内预测参数，基于基础解码信息所包含的基础解码图像来生成预测图像。基础解码图像也可与对象层的分辨率相匹配地适当被进行增采样。

纹理预测部152将由帧间预测部152A、层内帧内预测部152B或者层间帧内预测部152C生成的预测图像提供给加法器153。

加法器153通过将纹理预测部152预测图像与从逆正交变换和逆量化部151提供的预测残差D相加来生成解码图像。

环路滤波器部154用于对从加法器153提供的解码图像实施去块处理、基于自适应滤波器参数的滤波处理。

帧存储器155保存基于环路滤波器部154的滤波完成解码图像。

(基础解码部)

利用图10对基础解码部16的详细构成进行说明。图10是例示了基础解码部16的构成的功能框图。

如图10所示，基础解码部16具备：可变长解码部161、基础预测参数复原部162、基础变换系数复原部163以及基础纹理复原部164。

可变长解码部161进行根据参考层编码数据DATA#R所包含的二进制值对各种语法值进行解码用的信息的解码处理。

具体而言，可变长解码部161将首部信息、预测信息以及变换系数信息从编码数据DATA#R进行解码。可变长解码部161所解码的首部信息、预测信息以及变换系数的语法与可变长解码部12同样，因此这里省略其详细说明。

可变长解码部161将解码出的预测信息提供给基础预测参数复原部162，并且将解码出的变换系数信息提供给基础变换系数复原部163。

基础预测参数复原部162基于从可变长解码部161提供的预测信息来对基础预测参数进行复原。关于基础预测参数复原部162对基础预测参数进行复原的方法，由于与预测参数复原部14同样，因此这里省略其详细说明。基础预测参数复原部162将复原后的基础预测参数提供给基础纹理复原部164，并输出到外部。

基础变换系数复原部163基于从可变长解码部161提供的变换系数信息来对变换系数进行复原。关于基础变换系数复原部163对变换系数进行复原的方法，由于与逆正交变换和逆量化部151同样，因此这里省略其详细说明。基础变换系数复原部163将复原后的基础变换系数提供给基础纹理复原部164，并输出到外部。

基础纹理复原部164利用从基础预测参数复原部162提供的基础预测参数、从基础变换系数复原部163提供的基础变换系数，来生成解码图像。具体而言，基础纹理复原部164基于基础预测参数，进行与纹理预测部152同样的纹理预测来生成预测图像。另外，基础纹理复原部164基于基础变换系数来生成预测残差，并通过将生成的预测残差与通过纹理预测而生成的预测图像相加来生成基础解码图像。

此外，基础纹理复原部164也可对基础解码图像实施与环路滤波器部154同样的滤波处理。另外，基础纹理复原部164也可具备用于保存解码完成的基础解码图像的帧存储器，在纹理预测中可以参考在帧存储器中保存的解码完成的基础解码图像。

<<实施例1>>

<<档次/等级信息解码部1211的详细说明>>

下面，关于实施例1所涉及的档次/等级信息解码部1211的详细情况，利用图1、图11、图12来进行说明。

图1是例示了档次/等级信息解码部1211的构成的功能框图。

如图1所示，档次/等级信息解码部1211具备：档次信息解码部1221a、等级信息解码部1221b、子层档次提示标记解码部1221c、子层等级提示标记解码部1221d以及字节对齐数据解码部1221e。

[档次信息解码部1221a]

档次信息解码部1221a基于档次提示标记ProfilePresentFlag，从编码数据DATA#T解码对象层的档次信息并输出。具体而言，在档次提示标记ProfilePresentFlag为1的情况下，将对象层的档次信息从编码数据DATA#T进行解码。在档次提示标记ProfilePresentFlag为0的情况下，判断为档次信息与解码完成的VPS或者下级层(例如基本层)的档次信息相等，将解码完成的VPS或者下级层的档次信息作为对象层的档次信息来输出。此外，在多层中参考的VPS、基本层中的SPS中，档次信息一定在编码侧进行通知。

另外，档次信息解码部1221a基于档次提示标记ProfilePresentFlag、子层数MaxNumSubLayers、以及从子层档次提示标记解码部1221c提供的各子层的子层档次提示标记sub_layer_profile_present_flag[i]，从编码数据DATA#T对对象层所包含的各子层的子层档次信息进行解码并输出。具体而言，在档次提示标记为1、且子层i(temporalId＝i+1)的子层档次提示标记为1的情况下，判断为解码完成档次信息和子层档次信息不同，从编码数据DATA#T对子层i的子层档次信息进行解码。在除此之外的情况下，判断为子层i的子层档次信息与对象层的解码完成档次信息相同，将对象层的解码完成档次信息作为子层档次信息来输出。

[等级信息解码部1221b]

等级信息解码部1221b从编码数据DATA#T对对象层的等级信息进行解码并输出。另外，等级信息解码部1221b基于子层数MaxNumSubLayers、以及从子层等级提示标记解码部1221d提供的各子层的子层等级提示标记sub_layer_level_present_flag[i]，从编码数据DATA#T对对象层所包含的各子层的子层等级信息进行解码并输出。具体而言，在子层等级提示标记sub_layer_level_present_flag[i]为1的情况下，判断为子层i(temporalId＝i+1)的子层等级信息与对象层的解码完成等级信息不同，从编码数据DATA#T对子层i的子层等级信息进行解码并输出。除此之外的情况下(子层等级提示标记sub_layer_level_present_flag[i]为0)，判断为对象层的解码完成等级信息与子层i的子层等级信息相同，将对象层的解码完成等级信息作为子等级i的子层等级信息来输出。

[子层档次提示标记解码部1221c]

子层档次提示标记解码部1221c基于子层数MaxNumSubLayers，从编码数据DATA#T对对象层所包含的各子层的子层档次提示标记进行解码，并输出到档次信息解码部1221a以及外部。

[子层等级提示标记解码部1221d]

子层等级提示标记解码部1221d基于子层数MaxNumSubLayers，从编码数据DATA#T对对象层所包含的各子层的子层等级提示标记进行解码，并输出到等级信息解码部1221b以及外部。

[字节对齐数据解码部1221e]

字节对齐数据解码部1221e直至编码数据上的当前位置(比特单位)位于字节边界上、即位于编码数据上的当前位置的下一位置的比特成为字节的起始比特(最先被读出的比特)为止，以1比特为单位将字节对齐数据alignment_bit从编码数据中读出(进行解码)。

(档次/等级信息profile_tier_level()的解码处理的流程)

图11表示在档次/等级信息解码部1211中被解码的档次/等级信息profile_tier_level()的语法的数据结构，图12是表示图11所示的档次/等级信息profile_tier_level()的解码处理的流程图。以下，对档次/等级信息解码部1211的动作进行说明。此外，在图11中，将与图30相比实施了语法或者声明的追加以及删除之处分别用加阴影线、删除线示出。在以下的图15、16、17中是同样的。

(步骤SA101)档次信息解码部1221a判别档次提示标记ProfilePresentFlag是否为1。在档次提示标记ProfilePresentFlag为1的情况下(步骤SA101中为是的情况下)，前进到步骤SA102，在除此之外的情况下(步骤SA101中为否的情况下)，前进到步骤SA103。

(步骤SA102)

档次信息解码部1221a从编码数据DATA#T对图11所示的语法

·档次空间general_profile_space

·级别标记general_tier_flag

·档次标识符general_profile_idc

·档次兼容标记general_profile_compatibility_flag[i]

·档次预留语法general_reserved_zero_16bits

进行解码，并作为对象层的档次信息来输出。

(步骤SA103)

档次信息解码部1221a判断为对象层的档次信息与VPS或者下级层(例如基本层)的档次信息相等，将VPS或者下级层的档次信息设定为对象层的档次信息并输出。

(步骤SA104)

等级信息解码部1221从编码数据DATA#T对图11所示的语法

·等级标识符general_level_idc

进行解码，并作为对象层的等级信息来输出。

(步骤SA105)

该步骤是子层的子层档次提示标记以及子层等级提示标记的解码所相关的循环的开始。在循环开始前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SA106)

子层档次提示标记解码部1221c从编码数据DATA#T，对由变量i指定的子层所相关的子层档次提示标记sub_layer_profile_present_flag[i]进行解码并输出。

子层等级提示标记解码部1221d从编码数据DATA#T对由变量i指定的子层所相关的子层等级提示标记sub_layer_level_present_flag[i]进行解码并输出。

(步骤SA107)

该步骤是子层的子层档次提示标记以及子层等级提示标记的解码所相关的循环的结束端。

(步骤SA108)

字节对齐数据解码部1221e从编码数据中对字节对齐数据进行解码，使解码开始点向下一语法的解码开始点(起始比特)移动。更具体而言，直至编码数据上的当前位置(比特单位)位于字节边界上、即位于编码数据上的当前位置的下一位置的比特成为字节的起始比特(最先被读出的比特)为止，以1比特为单位将字节对齐数据alignment_bit从编码数据读出。此外，alignment_bit的值是0或者1，但希望统一为其中任一者。

若以伪码A表示则如下所示。在此，函数byte_aligned()是判定编码数据上的当前位置(比特单位)是否在字节边界上的处理，在编码数据上的当前位置为字节边界上的情况下判定为“真”，在除此之外的情况下判定为“假”。另外，函数read_bits(N)是从编码数据中对比特列进行由自变量N指定的比特数的读出的处理。

此外，也可以是：不进行实际的读出，通过运算来求取从编码数据上的当前位置起至接下来要解码的语法的解码开始点为止的偏移，移动由该偏移所示的比特数。偏移通过下式求出。

offset＝8-(2*(MaxNumSubLayers-1)％8)

具体而言，在步骤SA105～步骤SA107中，按每个子层进行解码的子层档次提示标记和子层等级提示标记的码量各为1比特，共计2比特，子层数为MaxNumSubLayers，因此在步骤SA105～步骤SA107中进行解码的码量的总和为2*(MaxNumSubLayers-1)。因此，偏移通过“8-(前述码量的总和除以8而得到的余数)”来确定。

(步骤SA109)

该步骤是子层的子层档次信息以及子层等级信息的解码所相关的循环的开始点。在循环的开始前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SA110)

档次信息解码部1221a判定档次提示标记ProfilePresentFlag和由变量i指定的子层的子层档次提示标记sub_layer_profile_present_flag[i]这两者是否均为1。在档次提示标记以及子层档次提示标记这两者是否均为1的情况下(步骤SA110中为是)，前进到步骤SA111，在除此之外的情况下(步骤SA110中为否)，前进到步骤SA112。

(步骤SA111)

档次信息解码部1221a从编码数据DATA#T，作为由变量i指定的子层的子层档次信息而对

·子层档次空间sub_layer_profile_space[i]

·子层级别标记sub_layer_tier_flag[i]

·子层档次标识符sub_layer_profile_idc[i]

·子层档次兼容标记sub_layer_profile_compatibility_flag[i][j]

·子层档次预留语法sub_layer_reserved_zero_16bits[i]

进行解码并输出。

(步骤SA112)

档次信息解码部1221a判断子层i的子层档次信息是否与对象层的档次信息相同，将子层档次信息设定为对象层的档次信息并输出。

(步骤SA113)

等级信息解码部1221b判定由变量i指定的子层的子层等级提示标记sub_layer_level_present_flag[i]是否为1。在子层等级提示标记为1的情况下(步骤SA113中为是)，前进到步骤SA114，在除此之外的情况下(步骤SA113中为否)，前进到步骤SA115。

(步骤SA114)

等级信息解码部1221b从编码数据DATA#T，作为由变量i指定的子层的子层等级信息而对

·子层等级标识符sub_layer_level_idc[i]

进行解码并输出。

(步骤S115)

等级信息解码部1221b判断子层i的子层等级信息是否与对象层的等级信息相同，将子层等级信息设定为对象层的等级信息并输出。

(步骤SA116)

该步骤是子层的子层档次信息以及子层等级信息的解码所相关的循环的结束端。

以上，对实施例1所涉及的档次/等级信息解码部1211的动作进行了说明，但并不限于上述步骤，可以在能够实施的范围内对步骤进行变更。

另外，图11所示的档次/等级信息的数据结构中具有以下的特征。

将图11所示的标注了符号SYNA102的语法部分即各子层所对应的子层档次提示标记和子层等级提示标记、与图11所示的标注了符号SYNA103的语法部分即各子层所对应的子层档次信息和子层等级信息分离开来进行通知，并在双方之间插入了用于进行字节对齐的数据(字节对齐数据)。因此，在图11上所示的标注了符号SYNA101的语法部分、标注了符号SYNA102的语法部分、标注了符号SYNA103的语法部分，均被字节对齐。

因此，与现有技术相比，能够降低对子层档次提示标记以及子层等级提示标记、子层档次信息、子层等级信息进行解码/编码时的读出/写出所相关的存储器访问的次数。具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

另外，从图11上的标注了符号SYNA104的位置起至与特定的子层X相关的子层档次信息以及子层等级信息(图11上的标注了符号SYN103的语法部分)的解码开始点为止的字节单位的偏移byte_offset，能够基于子层档次提示标记的值以及子层档次信息的码量(7字节(54比特))、子层等级提示标记的值以及子层档次信息的码量(1字节(8比特))而通过如下伪码B来算出。此外，也可代替字节单位的偏移而算出比特单位的偏移。

因此，即使不对子层X之前的子层的子层档次信息/子层档次信息进行解码，也能够通过计算而容易地确定子层X的子层档次信息/子层档次信息的解码开始点，从而能够容易地仅提取特定子层X的子层档次信息/子层等级信息。即，具有使子层档次信息/子层等级信息所涉及的解码所需的处理量降低的效果。

另外，在解码出对象层的档次信息、以及等级信息的时刻，若知晓解码器能够对对象层的编码数据进行解码，则即使不对属于对象层的各子层的档次信息/等级信息进行解码，也当然能够对各子层的编码数据进行解码。因此，在上述构成的情况下，能够容易地确定子层的档次信息/等级信息的码量，因此能够省略子层的档次信息/等级信息的解码。

<<档次/等级信息解码部1211的变形例1>>

下面，关于实施例1所涉及的档次/等级信息解码部1211的变形例1，利用图13、图14来进行说明。

变形例1所涉及的档次/等级信息解码部1211’具有与图1同样的构成，因此省略说明。

图13表示了在档次/等级信息解码部1211’中进行解码的档次/等级信息profile_tier_level()的语法的数据结构，图14是表示图13所示的语法的解码处理的流程图。变形例1所涉及的图13所示的档次/等级信息与实施例1所涉及的图11所示的档次/等级信息的数据结构的差异如下。

·如图13上的分别标注了符号SYNA201、SYNA202的部分所示，将子层档次提示标记与子层等级提示标记分离来进行通知。

·如图13上的标注了符号SYNA201的部分所示，仅在档次提示标记为1时对子层档次提示标记进行通知。

·如图13上的标注了符号SYNA201、SYN202的部分所示，在子层档次提示标记、子层等级提示标记之后分别插入字节对齐数据。

因此，与现有技术相比，在变形例1中，在档次提示标记ProfilePresentFlag为0的情况下，不对子层的子层档次提示标记进行通知，因此能够消除子层的子层档次提示标记被冗余地进行通知的问题。即，具有能够削减档次/等级信息的冗余性(码量)的效果。

另外，与实施例1同样，在变形例1中档次/等级信息也全部被字节对齐，因此能够降低对子层档次提示标记以及子层等级提示标记、子层档次信息、子层等级信息进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

另外，与实施例1同样，变形例1也能够容易地仅提取特定子层X的子层档次信息/子层等级信息。即，具有使子层档次信息/子层等级信息所涉及的解码所需的处理量降低的效果。

以下，利用图14来说明变形例1所涉及的档次/等级信息解码部1211’的动作。其中，由于档次信息/等级信息的解码处理与图12的步骤SA101～SA104是公共的，因此省略说明。另外，子层档次信息/子层等级信息的解码处理与图12的步骤SA108～步骤SA116是公共的，因此省略说明。

(步骤SA121)

子层档次提示标记解码部1221c判定档次提示标记是否为1。在档次提示标记为1的情况下(步骤SA121中为是)进行步骤SA122～SA125的处理。在除此之外的情况下(步骤SA121中为否)前进到步骤SA126。

(步骤SA122)

该步骤是子层的子层档次提示标记的解码所相关的循环的开始。在循环开始之前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SA123)

子层档次提示标记解码部1221c从编码数据DATA#T对由变量i指定的子层所相关的子层档次提示标记sub_layer_profile_present_flag[i]进行解码并输出。

(步骤SA124)

该步骤是子层的子层档次提示标记的解码所相关的循环的结束端。

(步骤SA125)

字节对齐数据解码部1221e从编码数据对字节对齐数据进行解码，使解码开始点向下一语法的解码开始点(起始比特)移动。

(步骤SA126)

在档次提示标记为0的情况下(步骤SA121中为否)，子层档次提示标记解码部1221c将各子层i的子层档次提示标记sub_layer_profile_present_flag[i]设定为0并输出。

(步骤SA127)

该步骤是子层的子层等级提示标记的解码所相关的循环的开始。在循环开始之前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SA128)

子层等级提示标记解码部1221d从编码数据DATA#T，对由变量i指定的子层所相关的子层等级提示标记sub_layer_level_present_flag[i]进行解码并输出。

(步骤SA129)

该步骤是子层等级提示标记的解码所相关的循环的结束端。

(步骤SA130)

字节对齐数据解码部1221e从编码数据对字节对齐数据进行解码，使解码开始点移动到下一语法的解码开始点(起始比特)。

<<档次/等级信息解码部1211的变形例2>>

下面，关于实施例1所涉及的档次/等级信息解码部1211的变形例2，利用图13、图14进行说明。

变形例2所涉及的档次/等级信息解码部1211”具有与图1同样的构成，因此省略说明。

图15表示了在档次/等级信息解码部1211”中被解码的档次/等级信息profile_tier_level()的语法的数据结构，图12是表示图15所示的语法的解码处理的流程图。变形例2所涉及的图15所示的档次/等级信息与实施例1所涉及的图11所示的档次/等级信息的数据结构的差异如下。

·如图15上的分别标注了符号SYNA302、SYNA304的部分所示，与等级信息相关联的语法、级别标记general_tier_flag/子层级别标记sub_layer_tier_flag[i]不依赖于档次提示标记ProfilePresentFlag/子层档次提示标记sub_layer_profile_present_flag[i]地被进行通知。具体而言，将级别标记general_tier_flag与等级标识符general_level_idc一起进行通知，并且将子层级别标记sub_layer_tier_flag[i]与子层等级标识符sub_layer_level_idc[i]一起进行通知。因此，与现有技术相比，解码器能够不依赖于档次提示标记ProfilePresentFlag的值地获取由等级标识符general_level_idc和级别标记general_tier_flag规定的等级的制约。同样，在子层中，解码器也能够不依赖于档次提示标记和子层档次提示标记的值地获取由子层等级标识符sub_layer_level_idc[i]和子层级别标记sub_layer_tier_flag[i]规定的等级的制约。另外，通过局部地将等级标识符与级别标记一起进行通知，能够容易地确定解码器能否对编码数据进行解码。

·关于档次/等级信息，为了全部进行字节对齐，将图15上的符号SYNA301所示的档次空间general_profile_space、以及符号SYNA303所示的子层档次空间sub_layer_profile_space[i]的码长从2比特变更为3比特，将图15上的符号SYNA305所示的等级标识符general_level_idc、以及符号SYNA306所示的子层等级标识符的码长从8比特变更为7比特。因此，与实施例1同样，在变形例2中，档次/等级信息也全部被字节对齐，因此能够降低对档次/等级信息的各语法进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。此外，即使将等级标识符/子层等级标识符的码长变更为7比特，也能取0～127的值，因此能够充分应对今后的等级数的扩展。另外，通过将档次空间的码长变更为3比特，能够取0～7的值，能够使今后的档次的扩展进一步具有灵活性。

另外，与实施例1同样，变形例2也能够容易地仅提取特定子层X的子层档次信息/子层等级信息。即，具有使子层档次信息/子层等级信息所涉及的解码所需的处理量降低的效果。

另外，与实施例1同样，变形例2也是在对对象层的档次信息以及等级信息进行了解码的时刻，若知晓解码器能够对对象层的编码数据进行解码，则能够容易地确定子层的档次信息/等级信息的码量，因此能够省略子层的档次信息/等级信息的解码。

(档次/等级信息profile_tier_level()的解码处理的流程)

以下，利用图12来说明变形例2所涉及的档次/等级信息解码部1211”的动作。此外，关于档次信息/等级信息的解码处理，仅说明图12中的动作不同的步骤SA102、SA104、SA111、SA114。除此之外的步骤是公共的，因此省略说明。即，在以下的说明中，将图12的步骤SA102、SA104、SA111、SA114分别换读为步骤SA102’、SA104’、SA111’、SA114’。

(步骤SA102’)

档次信息解码部1221a从编码数据DATA#T对图15所示的语法

·档次空间general_profile_space

·档次标识符general_profile_idc

·档次兼容标记general_profile_compatibility_flag[i]

·档次预留语法general_reserved_zero_16bits

进行解码，作为对象层的档次信息进行输出。

(步骤SA104’)

等级信息解码部1221从编码数据DATA#T对图15所示的语法

·等级标识符general_level_idc

·级别标记general_tier_flag

进行解码，作为对象层的等级信息进行输出。

(步骤SA111’)

·子层档次空间sub_layer_profile_space[i]

·子层档次标识符sub_layer_profile_idc[i]

·子层档次兼容标记sub_layer_profile_compatibility_flag[i][j]

·子层档次预留语法sub_layer_reserved_zero_16bits[i]

进行解码并输出。

(步骤SA114’)

·子层等级标识符sub_layer_level_idc[i]

·子层级别标记sub_layer_tier_flag[i]

进行解码并输出。

<<档次/等级信息解码部1211的变形例2a>>

此外，在变形例2中，为了确保档次/等级信息的字节对齐，将图15上的符号SYNA305、SYNA306所示的等级标识符/子层等级标识符的码长从8比特变更为了7比特，但并不限定于此。也可以将与级别tier相关的语法、级别标记general_tier_flag/sub_layer_tier_flag[i]分别如图16上的符号SYN302a、SYN304a所示，置换为从1比特扩展为8比特后的级别标识符general_tier_idc/sub_layer_tier_idc[i]。该情况下，关于级别，可取0～255的值，因此能够关于由等级标识符和级别规定的等级制约所相关的参数而具有扩展性。

<<档次/等级信息解码部1211的变形例3>>

在现有技术中，关于档次信息，能够根据档次提示标记来控制是否省略解码。但是，在利用多层时的情况下，由于有时在层间采用公共的等级，因此存在冗余地对等级信息进行通知的情况。所以，为了削减等级信息的信号的冗余性，将档次/等级信息profile_tier_level()的数据结构如图17所示，将档次提示标记ProfilePresentFlag置换为表征是否对档次信息和等级信息进行提示的档次等级提示标记ProfileLevelPresentFlag，同样，将子层档次提示标记、子层等级提示标记置换为表征是否对子层档次信息和子层等级信息进行提示的子层档次等级提示标记sub_layer__profile_level_present_flag。

以下，关于变形例3中的档次/等级信息解码部1211的构成，利用图18来进行说明。如图18所示，档次/等级信息解码部1211具备：档次信息解码部1221a、等级信息解码部1221b、子层档次等级提示标记解码部1221f以及字节对齐数据解码部1221e。此外，档次信息解码部1221a、等级信息解码部1221b、字节对齐数据解码部1221e与实施例1相同，因此省略说明。其中，设为将实施例1中的档次提示标记ProfilePresentFlag置换为档次等级提示标记ProfileLevelPresentFlag来解释，以及将子层档次提示标记/子层等级提示标记置换为子层档次等级提示标记来解释。

[子层档次等级提示标记解码部1221f]

子层档次等级提示标记解码部1221f基于档次等级提示标记ProfileLevelPresentFlag以及子层数MaxNumSubLayers，从编码数据DATA#T对对象层所包含的各子层的子层档次等级提示标记进行解码，并输出给档次信息解码部1221a、等级信息解码部1221b以及外部。

(档次/等级信息profile_tier_level()的解码处理的流程)

以下，利用图19来说明变形例3所涉及的档次/等级信息解码部1211的动作。

(步骤SC101)档次信息解码部1221a判别档次等级提示标记ProfilelevelPresentFlag是否为1。在档次等级提示标记ProfileLevelPresentFlag为1的情况下(步骤SC101中为是)的情况下，前进到步骤SC102，在除此之外的情况下(步骤SC101中为否)的情况下，前进到步骤SC103。

(步骤SC102)

档次信息解码部1221a从编码数据DATA#T对

·档次空间general_profile_space

·档次标识符general_profile_idc

·档次兼容标记general_profile_compatibility_flag[i]

·档次预留语法general_reserved_zero_16bits

进行解码，作为对象层的档次信息进行输出。

等级信息解码部1221b从编码数据DATA#T对

·等级标识符general_level_idc

·级别标记general_tier_flag

进行解码，作为对象层的等级信息进行输出。

(步骤SC103)

另外，等级信息解码部1221b判断为对象层的等级信息与VPS或者下级层(例如基本层)的等级信息相等，将VPS或者下级层的等级信息设定为对象层的等级信息并输出。

(步骤SC104)

该步骤是子层的子层档次等级提示标记的解码所相关的循环的开始。在循环开始之前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SC105)

子层档次等级提示标记解码部1221f从编码数据DATA#T对由变量i指定的子层所相关的子层档次等级提示标记sub_layer_profile_level_present_flag[i]进行解码并输出。

(步骤SC106)

该步骤是子层的子层档次等级提示标记的解码所相关的循环的结束端。

(步骤SC107)

(步骤SC108)

该步骤是子层的子层档次信息以及子层等级信息的解码所相关的循环的开始点。在循环开始之前，变量i被初始化为0。循环内的处理在变量i小于子层数-1、“MaxNumSubLayers-1”时被执行，每当循环内的处理被执行1次，变量i增加“1”。

(步骤SC109)

档次信息解码部1221a判定档次等级提示标记ProfileLevelPresentFlag、由变量i指定的子层的子层档次等级提示标记sub_layer_profile_level_present_flag[i]这两者是否均为1。在档次等级提示标记以及子层档次等级提示标记这两者均为1的情况下(步骤SC109中为是)，前进到步骤SC110，在除此之外的情况下，前进到步骤SC111。

(步骤SC110)

·子层档次空间sub_layer_profile_space[i]

·子层档次标识符sub_layer_profile_idc[i]

·子层档次兼容标记sub_layer_profile_compatibility_flag[i][j]

·子层档次预留语法sub_layer_reserved_zero_16bits[i]

进行解码并输出。

另外，等级信息解码部1221b从编码数据DATA#T，作为由变量i指定的子层的子层等级信息而对

·子层等级标识符sub_layer_level_idc[i]

·子层级别标记sub_layer_tier_flag[i]

进行解码并输出。

(步骤SC111)

档次信息解码部1221a判断为子层i的子层档次信息与对象层的档次信息相同，从而将子层档次信息设定为对象层的档次信息并输出。

另外，等级信息解码部1221b判断为子层i的子层等级信息与对象层的等级信息相同，从而将子层等级信息设定为对象层的档次信息并输出。

(步骤SC112)

该步骤是关于子层的子层档次信息以及子层等级信息的解码的循环的结束端。

以上，对变形例3所涉及的档次/等级信息解码部1211的动作进行了说明，但并不限定于上述步骤，可在能够实施的范围内对步骤进行变更。

以上，变形例3与实施例1同样，由于档次/等级信息的所有语法被字节对齐，因此能够降低对子层档次等级提示标记、子层档次信息、子层等级信息进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

另外，由于能够降低等级信息的冗余性，因此具有使档次/等级信息的解码所需的处理量降低的效果。

与实施例1同样，变形例3也是在解码出对象层的档次信息、以及等级信息的时刻，若能知晓解码器能够对对象层的编码数据进行解码，则能够容易地确定子层的档次信息/等级信息的码量，因此能够省略子层的档次信息/等级信息的解码。

〔分层运动图像编码装置〕

以下，关于本实施方式所涉及的分层运动图像编码装置2的构成，参考图20～图25来进行说明。

(分层运动图像编码装置的构成)

利用图20，对分层运动图像编码装置2的概略构成进行如下说明。图20是表示分层运动图像编码装置2的概略构成的功能框图。分层运动图像编码装置2对于对象层的输入图像PIN#T，在参考参考层编码数据DATA#R的同时进行编码，来生成对象层的分层编码数据DATA。其中，设为参考层编码数据DATA#R已在参考层所对应的分层运动图像编码装置中编码完成。

如图20所示，分层运动图像编码装置2具备：预测参数决定部21、预测信息生成部25、基础解码部23、纹理信息生成部24、可变长编码部22以及NAL复用部26。

[预测参数决定部21]

预测参数决定部21基于输入图像PIN#T来决定在预测图像的预测中使用的预测参数以及其他的编码的设定(首部信息)。

首先，预测参数决定部21基于输入图像PIN#T来生成VPS、SPS、PPS以及切片首部，并作为首部信息来输出。其中，在VPS、SPS中包含：对象层的编码/解码所需的与档次以及等级相关的档次/等级信息profile_tier_level()。

预测参数决定部21按如下方式进行以预测参数为首的编码的设定。

预测参数决定部21关于档次/等级信息而进行以下的处理。预测参数决定部21基于从外部提供的或者预先设定的下级层(例如基本层)、对象层以及属于对象层的各子层的档次信息以及等级信息(档次/等级/级别)，设定对象层的档次提示标记、子层的档次提示标记(子层提示标记)、子层的等级提示标记(子层等级提示标记)的值，并将所设定的档次提示标记以及各子层的档次提示标记/等级提示标记提供给首部信息编码部221。

此外，下级层的档次信息与对象层的档次信息、或者对象层的档次信息与子层的档次信息(子层档次信息)相等至少指以下情况。

·档次空间的值相等

·档次标识符的值相等

·档次兼容标记的值相等

另外，下级层的等级信息与对象层的等级信息、或者对象层的等级信息与子层的等级信息(子层等级信息)相等至少指以下情况。

·等级标识符的值相等

·级别标记的值相等

此外，级别标记也可包含在档次信息中。在该情况下，档次信息相等除了上述条件之外，还包含级别标记的值相等的情况。

按如下方式决定表示是否显式地对档次信息进行编码的ProfilePresentFlag。在下级层的档次信息和对象层的档次信息相等的情况下，根据给定层的档次来设定对象层的档次信息，因此将档次提示标记设定为0，在除此之外的情况下，为了显式地对对象层的档次信息进行编码，将档次提示标记设定为1。

然后，在档次提示标记为1的情况下，按如下方式决定各子层的档次提示标记(子层档次提示标记)。在对象层的档次信息与子层的子层档次信息相等的情况下，根据对象层的档次信息来设定子层的子层档次信息，因此将子层档次提示标记设定为0，在除此之外的情况下，为了显式地对子层的子层档次信息进行编码，将子层档次提示标记设定为1。

另外，按如下方式决定各子层的等级提示标记(子层等级提示标记)。在对象层的等级信息和子层的子层等级信息相等的情况下，根据对象层的等级信息来设定子层的子层等级信息，因此将子层等级提示标记设定为0，在除此之外的情况下，为了显式地对子层的子层档次信息进行编码，将子层等级提示标记设定为1。

此外，预测参数决定部21也可代替档次提示标记、子层档次提示标记、子层等级提示标记，而决定表示是否对档次信息和等级信息进行提示的档次等级提示标记、表示是否对子层档次信息和子层等级信息进行提示的子层档次等级提示标记，并提供给首部信息编码部221。

即，按如下方式决定表示是否显式地对档次信息和等级信息进行编码的ProfileLevelPresentFlag。在下级层的档次信息以及等级信息、与对象层的档次信息以及等级信息分别相等的情况下，由于根据给定层的档次信息以及等级信息来设定对象层的档次信息以及等级信息，因此将档次等级提示标记设定为0，在除此之外的情况下，为了显式地对对象层的档次信息以及等级信息进行编码，将档次等级提示标记设定为1。

然后，在档次等级提示标记为1的情况下，按如下方式决定各子层的档次等级提示标记(子层档次等级提示标记)。在对象层的档次信息以及等级信息与子层的子层档次信息以及子层等级信息分别相等的情况下，根据对象层的档次信息以及等级信息来设定子层的子层档次信息以及子层等级信息，因此将子层档次提示标记设定为0，在除此之外的情况下，为了显式地对子层的子层档次信息进行编码，将子层档次提示标记设定为1。

首先，预测参数决定部21将输入图像PIN#T依次分割为切片单位、树块单位、CU单位，由此生成关于对象CU的CU图像。

另外，预测参数决定部21基于分割处理的结果来生成编码信息(有时也称为首部信息)。编码信息包含：(1)关于属于对象切片的树块的尺寸、形状以及在对象切片内的位置的信息即树块信息，(2)关于属于各树块的CU的尺寸、形状以及在对象树块内的位置的信息即CU信息。

进而，预测参数决定部21参考CU图像、树块信息以及CU信息，导出对象CU的预测类型、对象CU向PU分割的分割信息、以及预测参数(若对象CU是帧内CU则为帧内预测模式，在是帧间CU的情况下为各PU中的运动补偿参数)。

预测参数决定部21针对(1)对象CU的预测类型、(2)对象CU能向各PU分割的分割图案、以及(3)能够对各PU分配的预测模式(若是帧内CU则为帧内预测模式，若是帧间CU则为运动补偿参数)的全部的组合，计算成本，来决定最低成本的预测类型、分割图案以及预测模式。

预测参数决定部21将首部信息以及预测参数提供给预测信息生成部25以及纹理信息生成部24。此外，为了便于说明而未进行图示，但关于在预测参数决定部21中决定的上述的编码的设定，设为在分层运动图像编码装置2的各部分中能够进行参考。

[预测信息生成部25]

预测信息生成部25基于从预测参数决定部21提供的预测参数、和参考层编码数据DATA#R，来生成包含与预测参数相关的语法值的预测信息。预测信息生成部25将所生成的预测信息提供给可变长编码部22。此外，预测信息生成部25在对预测参数进行复原时，能够参考在纹理信息生成部24所具备的帧存储器中保存的帧间预测参数。此外，关于预测信息生成部25的详细构成在后面描述。

[基础解码部23]

基础解码部23与分层运动图像解码装置1的基础解码部16同样，因此这里省略说明。

[纹理信息生成部24]

纹理信息生成部24生成包含对从输入图像PIN#T减去预测图像而得到的预测残差进行正交变换和量化后的变换系数在内的变换系数信息。纹理信息生成部24将生成的变换系数信息提供给可变长编码部22。此外，在纹理信息生成部24中，将复原后的解码图像所相关的信息保存到内部所具备的帧存储器中。

[可变长编码部22]

可变长编码部22对从预测参数决定部21提供的首部信息、从预测信息生成部25提供的预测信息以及从纹理信息生成部24提供的变换系数信息进行可变长编码，来生成对象层编码数据DATA#T。可变长编码部22将所生成的对象层编码数据DATA#T提供给NAL复用部26。

具体而言，可变长编码部22如图21所示，具备：首部信息编码部221、预测信息编码部222、以及变换系数信息编码部223。进而，首部信息编码部221具备档次/等级信息编码部2211。

[首部信息编码部221]

首部信息编码部221相当于首部信息解码部121的逆处理，首部信息编码部221以序列单位、图片单位或者切片单位对编码中利用的参数所相关的首部信息进行编码，并输出首部信息的编码数据。此外，关于首部信息编码部221所具备的档次/等级信息编码部2211的详细情形在后面叙述。

[预测信息编码部222]

预测信息编码部222相当于预测信息解码部122的逆处理，对各CU或者PU所相关的预测信息进行编码，并输出预测信息的编码数据。

预测信息中包含例如对CU类型或者PU类型进行指定的信息、用于确定CU的形状、尺寸、位置的信息。

[变换系数信息编码部223]

变换系数信息编码部223相当于变换系数信息解码部123的逆处理，对与各块相关的量化预测残差QD、以及与包含该块的树块相关的量化参数差分Δqp等的变换系数信息进行编码，并输出变换系数信息的编码数据。

[NAL复用部26]

NAL复用部26通过将从可变长编码部22提供的对象层编码数据DATA#T、参考层编码数据DATA#R保存到NAL单元中，来生成进行了NAL复用的分层运动图像编码数据DATA，并输出到外部。此外，在NAL单元中附加有：在VCL中被编码的编码数据、以及用于使该编码数据适当地到达目的地的下级系统的首部(NAL单元首部：nal_unit_header())。

以下，分别说明预测信息生成部25以及纹理信息生成部24的详细情况。

(预测信息生成部)

利用图22对预测信息生成部25的详细构成进行说明。图22是例示了预测信息生成部25的构成的功能框图。

如图22所示，预测信息生成部25具备：预测类型选择部251、开关252、帧内预测信息生成部253、以及帧间预测信息生成部255。

预测类型选择部251根据CU类型或者PU类型而向开关252送出切换指示来控制预测参数的导出处理。具体内容如下。

在指定了帧内CU或者帧内PU的情况下，预测类型选择部251控制开关252，以使得能够利用帧内预测信息生成部253来生成帧内预测信息(预测信息)。

在指定了帧间CU以及帧间PU中的任一者的情况下，预测类型选择部251控制开关252，以使得能够利用帧间预测信息生成部255来生成帧间预测信息。

开关252根据预测类型选择部251的指示，将预测参数提供给帧内预测信息生成部253以及帧间预测信息生成部255中的任一者。在预测参数的提供目的地处生成预测信息。

帧内预测信息生成部253导出与帧内预测模式相关的语法值。即，帧内预测信息生成部253作为预测信息而生成的是与预测模式相关的语法值。

帧间预测信息生成部255利用基础解码信息，并通过层内运动估计处理或者层间运动估计处理来导出估计运动向量的候选。然后，根据各PU中的帧间预测参数，导出作为对应的语法要素值的inter_pred_flag、mvd、mvp_idx以及refIdx，并作为帧间预测信息而输出。

(纹理信息生成部)

利用图23对纹理信息生成部24的详细构成进行说明。图23是例示了纹理信息生成部24的构成的功能框图。

如图23所示，纹理信息生成部24具备：纹理预测部241、减法器242、正交变换和量化部243、逆正交变换和逆量化部244、加法器245、环路滤波器部246以及帧存储器247。

减法器242通过从输入图像PIN#T中减去由纹理预测部241提供的预测图像来生成预测残差D。减法器242将所生成的预测残差D提供给正交变换和量化部243。

正交变换和量化部243对预测残差D进行正交变换以及量化来生成量化预测残差。此外，这里的正交变换是指从像素区域向频率区域的正交变换。另外，作为正交变换的例子，可列举DCT变换(Discrete CosineTransform)以及DST变换(Discrete Sine Transform)等。另外，关于具体的量化过程，如已经说明过的那样，因此这里省略其说明。正交变换和量化部243将包含所生成的量化预测残差的变换系数信息提供给逆正交变换和逆量化部244以及可变长编码部22。

纹理预测部241、逆正交变换和逆量化部244、加法器245、环路滤波器部246以及帧存储器247，分别与分层运动图像解码装置1所包含的纹理预测部152、逆正交变换和逆量化部151、加法器153、环路滤波器部154以及帧存储器155相同，因此这里省略其说明。不过，纹理预测部241不仅向加法器245提供预测图像，还向减法器242提供预测图像。

<<实施例1>>

<<档次/等级信息编码部2211的详细说明>>

下面，利用图24来说明相当于实施例1所涉及的档次/等级信息解码部1211的逆处理的、实施例1所涉及的档次/等级信息编码部2211的构成。

图24是例示了档次/等级信息编码部2211的构成的功能框图。如图24所示，具备：档次信息编码部2221a、等级信息编码部2221b、子层档次提示标记编码部2221c、子层等级提示标记编码部2221d、字节对齐数据编码部2221e。此外，实施例1所涉及的档次/等级信息编码部2211按照图11所示的档次/等级信息profile_tier_level()的语法定义，在各功能块中，对档次信息、等级信息、子层档次提示标记、子层等级提示标记、子层档次信息、子层等级信息以及字节对齐数据进行编码。

[档次信息编码部2221a]

档次信息编码部2221a基于档次提示标记ProfilePresentFlag，对从外部提供的对象层的档次信息进行编码，并输出该编码数据。具体而言，在档次提示标记ProfilePresentFlag为1的情况下，对对象层的档次信息进行编码。在档次提示标记ProfilePresentFlag为0的情况下，不对档次信息进行编码。

另外，档次信息编码部2221a基于档次提示标记ProfilePresentFlag、子层数MaxNumSubLayers以及各子层的子层档次提示标记sub_layer_profile_prenset_flag[i]，对从外部提供的各子层的子层档次信息进行编码。具体而言，在档次提示标记为1且子层i(temporalId＝i+1)的子层档次提示标记为1的情况下，对对应的子层档次信息进行编码。在除此之外的情况下，不对子层i的子层档次信息进行编码。

[等级信息编码部2221b]

等级信息编码部2221b对从外部提供的对象层的等级信息进行编码，并输出该编码数据。另外，等级信息编码部2221b基于子层数MaxNumSubLayers以及各子层的子层等级提示标记sub_layer_level_present_flag[i]，对从外部提供的各子层的子层等级信息进行编码并输出。具体而言，在子层等级提示标记sub_layer_level_present_flag[i]为1的情况下，对对应的子层i(temporalId＝i+1)的子层等级信息进行编码。在除此之外的情况下(子层等级提示标记sub_layer_level_present_flag[i]为0)，不对子层i的子层等级信息进行编码。

[子层档次提示标记编码部2221c]

子层档次提示标记编码部2221c基于子层数MaxNumSubLayers，对从外部提供的各子层的子层档次提示标记进行编码并输出。

[子层等级提示标记编码部2221d]

子层等级提示标记编码部2221d基于子层数MaxNumSubLayers，对从外部提供的各子层的子层等级提示标记进行编码并输出。

[字节对齐数据编码部2221e]

字节对齐数据编码部2221e直至编码数据上的当前位置(比特单位)位于字节边界上、即位于编码数据上的当前位置的下一位置的比特成为字节的起始比特为止，以1比特为单位而将字节对齐数据alignment_bit插入到编码数据中(进行编码)。

<<变形例1>>

以下，说明与实施例1所涉及的档次/等级信息解码部1211的变形例1相对应的档次/等级信息编码部2211的构成。

另外，档次/等级信息编码部2211不限于图11所示的档次/等级信息profile_tier_level()，例如，也可如图13所示，对按下述方式得到的档次/等级信息进行编码，

·如图13上的分别标注了符号SYNA201、SYNA202的部分所示，将子层档次提示标记和子层等级提示标记分离来进行通知，

·如图13上的标注了符号SYNA201的部分所示，仅在档次提示标记为1时对子层档次提示标记进行通知，

在该情况下，由于在档次提示标记ProfilePresentFlag为0的情况下不对子层的子层档次提示标记进行编码，因此，与现有技术相比，具有削减了档次/等级信息所涉及的码量的效果。

另外，由于档次/等级信息全部被字节对齐，因此能够降低对子层档次提示标记以及子层等级提示标记、子层档次信息、子层等级信息进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

<<变形例2>>

以下，对实施例1所涉及的档次/等级信息解码部1211的变形例2所对应的档次/等级信息编码部2211的构成进行说明。

另外，档次/等级信息编码部2211并不限于图11所示的档次/等级信息profile_tier_level()，也可如图15所示，对按下述方式得到的档次/等级信息进行编码，

·如图15上的分别标注了符号SYNA302、SYNA304的部分所示，按照与等级信息相关联的语法、级别标记general_tier_flag/子层级别标记sub_layer_tier_flag[i]的信号不依赖于档次提示标记ProfilePresentFlag/子层档次提示标记sub_layer_profile_oresent_flag[i]的方式，分别将级别标记general_tier_flag和等级标识符general_level_idc、子层级别标记sub_layer_tier_flag[i]和子层等级标识符sub_layer_level_idc[i]一起进行通知，

·关于档次/等级信息，为了全部进行字节对齐，将图15上的符号SYNA301所示的档次空间general_profile_space、以及符号SYNA303所示的子层档次空间sub_layer_profile_space[i]的码长从2比特变更为3比特，将图15上的符号SYNA305所示的等级标识符general_level_idc、以及符号SYNA306所示的子层等级标识符的码长从8比特变更为7比特。

该情况下，解码器能够不依赖于档次提示标记ProfilePresentFlag的值地获取由等级标识符general_level_idc和级别标记general_tier_flag规定的等级的制约。

同样，在子层中，解码器也能够不依赖于档次提示标记和子层档次提示标记的值地获取由子层等级标识符sub_layer_level_idc[i]和子层级别标记sub_layer_tier_flag[i]规定的等级的制约。即，能够对下述档次/等级信息进行编码，在该档次/等级信息中，通过局部地将等级标识符与级别标记一起进行通知，能够容易地确定解码器能否对编码数据进行解码。另外，由于档次/等级信息全部被字节对齐，因此能够降低对档次/等级信息的各语法进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

<<变形例2a>>

以下，说明实施例1所涉及的档次/等级信息解码部1211的变形例2a所对应的档次/等级信息编码部2211的构成。

另外，档次/等级信息编码部2211也可代替图15所示的档次/等级信息而对下述档次/等级信息进行编码，在该档次/等级信息中，将与级别tier相关的语法、级别标记general_tier_flag/sub_layer_tier_flag[i]分别置换成了如图16上的符号SYN302a、SYN304a所示那样从1比特扩展为8比特后的级别标识符general_tier_idc/sub_layer_idc[i]。该情况下，关于级别，取0～255的值，因此能够关于由等级标识符和级别规定的等级制约所相关的参数而具有扩展性。另外，由于档次/等级信息全部被字节对齐，因此能够降低对档次/等级信息的各语法进行解码/编码时的读出/写出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码/编码所需的处理量降低的效果。

<<变形例3>>

以下，说明实施例1所涉及的档次/等级信息解码部1211的变形例3所对应的档次/等级信息编码部2211的构成。

另外，档次/等级信息编码部2211为了削减等级信息的信号的冗余性，也可对下述档次/等级信息profile_tier_level()的语法进行编码，在该档次/等级信息中，如图17所示，将档次提示标记ProfilePresentFlag置换成了表征是否对档次信息和等级信息进行提示的档次等级提示标记ProfileLevelPresentFlag，同样将子层档次提示标记、子层等级提示标记置换成了表征是否对子层档次信息和子层等级信息进行提示的子层档次等级提示标记sub_layer_profile_level_present_fla。该情况下，档次/等级信息编码部2211如图25所示，具备：档次信息编码部2221a、等级信息编码部2221b、子层档次等级提示标记编码部2221f、以及字节对齐数据编码部2221e。此外，档次信息编码部2221a、等级信息编码部2221b、字节对齐数据编码部2221e与实施例1相同，因此省略说明。其中，设为将实施例1中的档次提示标记ProfilePresentFlag置换成档次等级提示标记ProfileLevelPresentFlag来解释，以及将子层档次提示标记/子层等级提示标记置换成子层档次等级提示标记来解释。

[子层档次等级提示标记解码部2221f]

子层档次等级提示标记编码部2221f基于档次等级提示标记ProfileLevelPresentFlag以及子层数MaxNumSubLayers来对各子层的子层档次等级提示标记进行编码，并输出该编码数据。

(付记事项)

此外，在现有技术(非专利文献1)中，由于在子层的子层档次信息以及子层等级信息(子层档次/子层等级/子层级别)、和为了对对象层进行解码而参考的档次信息以及等级信息(档次/等级/级别)之间不存在制约，因此存在图像解码装置的安装负荷高(图像解码装置的复杂度增大)的问题。例如，在图3(a)中，对象层L#N的档次以及对象层L#N所包含的子层SL#4～SL#1的各子层档次如下所示，

对象层L#N的档次：“high profile”，

子层SL#1的档次(子层档次)：“base profile”，

子层SL#2的档次(子层档次)：“high profile”，

子层SL#3的档次(子层档次)：“high profile”，

子层SL#4的档次(子层档次)：“main profile”，

假设成以3种档次的设定被编码。在此，设“high profile”是支持“mainprofile”的全部编码工具的上级的档次，“main profile”是支持“base profile”的全部编码工具的上级的档次。即，档次的关系成为“base profile”<“main profile”<“high profile”。

在上述例子的情况下，在支持档次“high profile”的图像解码装置中，能够直至对象层L#N内的子层SL#1～SL#4为止进行解码。即，能够对对象层L#N完全进行解码。然而，在支持档次“main profile”的图像解码装置中，由于下级子层(SL#2，SL#3)的档次不与上级子层(SL#4)的档次兼容，因此无法对子层SL#4的解码时所依赖的下级子层(SL#2，SL#3)以及上级子层SL#4进行解码，只能对作为下级档次“base profile”的最下级子层SL#1进行解码。即，在图像编码装置侧，有可能生成不连续地设定了下级子层的档次与上级子层的档次不兼容的档次这样的编码数据。因此，在图像解码装置侧，在对该编码数据进行解码时，无法对解码对象子层所依赖的下级子层进行解码，结果存在时间可适性的粒度变粗的课题。

另外，在图像解码装置侧，为了对如上述那样的编码数据灵活地实现可适性，需要按照支持多个档次的方式进行安装，存在图像解码装置的复杂度增大的课题。

因此，为了解决上述课题，优选关于对象层的档次和属于对象层的子层的档次(子层档次)设置以下的制约。

(1-1)将对象层的档次设定为与对象层所包含的最上级子层的档次相同。

(1-2)上级子层的档次设定为解码时所依赖的下级子层的档次以上。

通过在图像解码装置侧和图像编码装置侧预先设置上述档次的制约，具有防止生成不连续地设定了下级子层的档次和上级子层的档次不兼容的档次这样的的编码数据的效果。另外，由于能够将图像解码装置应该对应的档次抑制在所需的最小限度，所以具有能够降低图像解码装置的复杂度的效果。

另外，也可以将表征是否实施上述对象层的档次和属于对象层的子层的档次所相关的上述制约的语法(档次制约标记“profile_restrict_flag”)，在视频参数集VPS或者序列参数集SPS等的序列层中，按照在档次/等级信息profile_tier_level()的紧前面显式地通过首部信息解码部121以及首部信息编码部221来分别进行解码/编码。除了与上述同样的效果之外，还具有下述效果：图像解码装置能够在对档次/等级信息profile_tier_level()进行解码之前，在VPS或者SPS上尽早地且容易地判定各层中的档次制约的有无。

同样，关于等级/级别，由于对象层的等级/级别和属于对象层的子层的子层等级/子层级别之间没有制约，也会产生与上述没有档次制约的情况同样的问题。即，在图像编码装置侧，有可能生成不连续地设定了下级子层的等级以及级别与上级子层的等级以及级别不兼容的等级以及级别这样的编码数据，在图像解码装置侧，产生时间可适性的粒度变粗、灵活性受损的课题。

另外，在图像解码装置侧，为了对如上述那样的编码数据灵活地实现可适性，需要按照支持多个等级以及级别的方式进行安装，存在图像解码装置的复杂度增大的课题。

因此，为了解决上述课题，优选在对象层的等级/级别与属于对象层的子层的等级/级别(子层等级/子层级别)之间设置以下的制约。

与等级相关的制约是：

(2-1)将对象层的等级设定为与对象层所包含的最上级子层的等级相同。

(2-2)上级子层的等级设定为解码时所依赖的下级子层的等级以上。

与级别相关的制约是：

(3-1)将对象层的级别设定为与对象层所包含的最上级子层的级别相同。

(3-2)上级子层的级别设定为解码时所依赖的下级子层的级别以上。

通过在图像解码装置侧和图像编码装置侧预先设置上述等级/级别的制约，具有防止生成不连续地设定了下级子层的等级以及级别和上级子层的等级以及级别不兼容的等级这样的编码数据的效果。另外，由于能够将图像解码装置应该对应的等级以及级别抑制在所需的最小限度，因此具有能够降低图像解码装置的复杂度的效果。

另外，也可以将表征是否实施上述对象层的级别/等级和属于对象层的子层的级别/等级所相关的上述制约的语法(等级级别制约标记″level_tier_restrict_flag")，在视频参数集VPS或者序列参数集SPS等的序列层中，在档次/等级信息(profile_tier_level()的紧前面显式地通过首部信息解码部121以及首部信息编码部221来分别进行解码/编码。除了与上述同样的效果之外，还具有下述效果：能够在VPS或者SPS上尽早地且容易地判定各层中的等级/级别制约的有无。

另外，通过在图像解码装置侧和图像编码装置侧预先设置上述档次制约和等级/级别制约，具有防止生成不连续地设定了下级子层的档次、等级以及级别与上级子层的档次、等级以及级别不兼容的等级这样的编码数据的效果。另外，由于能够将图像解码装置应该对应的档次、等级以及级别抑制在所需的最小限度，因此具有降低图像解码装置的复杂度的效果。

另外，也可以将表征是否实施上述档次制约和等级/级别制约的语法(档次等级级别制约标记"profile_level_tier_restrict_flag")，在视频参数集VPS或者序列参数集SPS等的序列层中，在档次/等级信息(profile_tier_level()的紧前面显式地通过首部信息解码部121以及首部信息编码部221来分别进行解码/编码。除了与上述同样的效果之外，还具有下述效果：图像解码装置能够在对档次/等级信息profile_tier_level()进行解码之前，在VPS或者SPS上尽早地且容易地判定各层中的档次制约、等级/级别制约的有无。

(向其他分层运动图像编码/解码系统的应用例)

上述的分层运动图像编码装置2以及分层运动图像解码装置1能够搭载于进行运动图像的发送、接收、记录、再现的各种装置中加以利用。此外，运动图像可以是由照相机等拍摄的自然运动图像，也可以是由计算机等生成的人工运动图像(包含CG以及GUI)。

首先，参照图26来说明能够将上述的分层运动图像编码装置2以及分层运动图像解码装置1用于运动图像的发送以及接收的情况。

图26(a)是表示搭载有分层运动图像编码装置2的发送装置PROD_A的构成的框图。如图26(a)所示，发送装置PROD_A具备：通过对运动图像进行编码来获得编码数据的编码部PROD_A1；通过以编码部PROD_A1所获得的编码数据对载波进行调制来获得调制信号的调制部PROD_A2；和对调制部PROD_A2所获得的调制信号进行发送的发送部PROD_A3。上述的分层运动图像编码装置2被用作该编码部PROD_A1。

在发送装置PROD_A中，作为输入到编码部PROD_A1的运动图像的提供源，还可具备：拍摄运动图像的照相机PROD_A4；记录有运动图像的记录介质PROD_A5；用于从外部输入运动图像的输入端子PROD_A6以及对图像进行生成或者加工的图像处理部A7。在图26(a)中，例示了发送装置PROD_A具备这些部件的全部的构成，但也可省略一部分部件。

此外，记录介质PROD_A5可以是记录有未编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行了编码的运动图像的介质。在后者的情况下，在记录介质PROD_A5与编码部PROD_A1之间，设有将从记录介质PROD_A5读出的编码数据按照记录用的编码方式进行解码的解码部(未图示)即可。

图26(b)是表示搭载有分层运动图像解码装置1的接收装置PROD_B的构成的框图。如图26(b)所示，接收装置PROD_B具备：对调制信号进行接收的接收部PROD_B1；通过对接收部PROD_B1所接收到的调制信号进行解调来获得编码数据的解调部PROD_B2；以及通过对解调部PROD_B2所获得的编码数据进行解码来获得运动图像的解码部PROD_B3。上述的分层运动图像解码装置1被用作该解码部PROD_B3。

在接收装置PROD_B中，作为解码部PROD_B3所输出的运动图像的提供目的地，还可具备：对运动图像进行显示的显示器PROD_B4；用于对运动图像进行记录的记录介质PROD_B5以及用于将运动图像输出到外部的输出端子PROD_B6。在图26(b)中例示了接收装置PROD_B具备这些部件的全部的构成，但也可省略一部分部件。

此外，记录介质PROD_B5可以是用于记录未编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行了编码的结果的介质。在后者的情况下，在解码部PROD_B3与记录介质PROD_B5之间，设置将从解码部PROD_B3取得的运动图像按记录用的编码方式进行编码的编码部(未图示)即可。

此外，对调制信号进行传输的传输介质既可以是无线的也可以是有线的。另外，对调制信号进行传输的传输方式可以是广播(在此指没有预先确定发送目的地的发送方式)，也可以是通信(在此指预先确定了发送目的地的发送方式)。即，调制信号的传输可通过无线广播、有线广播、无线通信以及有线通信的任一种来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是以无线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。另外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例。

另外，利用了互联网的VOD(Video On Demand)服务、运动图像共享服务等的服务器(工作站等)/客户机(电视接收机、个人计算机、智能手机等)，是利用通信来收发调制信号的发送装置PROD_A/接收装置PROD_B的一例(通常，在LAN中作为传输介质而使用无线或者有线的任一种，在WAN中作为传输介质而使用有线)。在此，个人计算机包含桌上型PC、膝上型PC以及平板型PC。另外，智能手机也包括多功能移动电话终端。

此外，运动图像共享服务的客户机除了将从服务器下载的编码数据解码后显示在显示器上的功能之外，还具有对由照相机拍摄的运动图像进行编码后上传到服务器的功能。即，运动图像共享服务的客户机作为发送装置PROD_A以及接收装置PROD_B的双方而发挥功能。

下面，参考图27来说明能够将上述的分层运动图像编码装置2以及分层运动图像解码装置1在运动图像的记录以及再现中加以利用的情况。

图27(a)是表示了搭载有上述分层运动图像编码装置2的记录装置PROD_C的构成的框图。如图27(a)所示，记录装置PROD_C具备：通过对运动图像进行编码来获得编码数据的编码部PROD_C1；以及将编码部PROD_C1所获得的编码数据写入到记录介质PROD_M中的写入部PROD_C2。上述分层运动图像编码装置2被用作该编码部PROD_C1。

此外，记录介质PROD_M可以是：(1)如HDD(Hard Disk Drive)、SSD(Solid State Drive)等那样内置于记录装置PROD_C的类型的介质，(2)SD存储卡、USB(Universal Serial Bus)闪速存储器等那样与记录装置PROD_C连接的类型的介质，(3)如DVD(Digital Versatile Disc)、BD(Blu-ray Disc：注册商标)等那样装入内置于记录装置PROD_C中的驱动装置(未图示)中的介质。

另外，记录装置PROD_C作为向编码部PROD_C1输入的运动图像的提供源，还可具备：拍摄运动图像的照相机PROD_C3；用于从外部输入运动图像的输入端子PROD_C4；用于接收运动图像的接收部PROD_C5以及对图像进行生成或者加工的图像处理部C6。在图27(a)中，例示了记录装置PROD_C具备这些部件的全部的构成，但也可省略一部分部件。

此外，接收部PROD_C5可以接收未编码的运动图像，也可接收以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在后者的情况下，在接收部PROD_C5与编码部PROD_C1之间，设置对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)即可。

作为这样的记录装置PROD_C，例如可列举DVD刻录机、BD刻录机、HDD(Hard Disk Drive)刻录机等(该情况下，输入端子PROD_C4或者接收部PROD_C5成为运动图像的主要提供源)。另外，可携式摄像机(该情况下，照相机PROD_C3成为运动图像的主要提供源)、个人计算机(该情况下，接收部PROD_C5或者图像处理部C6成为运动图像的主要提供源)、智能手机(该情况下，照相机PROD_C3或者接收部PROD_C5成为运动图像的主要提供源)等也是这样的记录装置PROD_C的一例。

图27(b)是表示了搭载有上述的分层运动图像解码装置1的再现装置PROD_D的构成的框图。如图27(b)所示，再现装置PROD_D具备：将写入到记录介质PROD_M中的编码数据读出的读出部PROD_D1；以及通过对读出部PROD_D1所读出的编码数据进行解码来获得运动图像的解码部PROD_D2。上述的分层运动图像解码装置1被用作该码部PROD_D2。

此外，记录介质PROD_M可以是：(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的介质，(2)SD存储卡、USB闪速存储器等那样与再现装置PROD_D连接的类型的介质，(3)如DVD、BD等那样装入内置于再现装置PROD_D的驱动装置(未图示)中的介质。

另外，再现装置PROD_D作为解码部PROD_D2所输出的运动图像的提供目的地，还可具备：对运动图像进行显示的显示器PROD_D3；用于将运动图像输出到外部的输出端子PROD_D4以及对运动图像进行发送的发送部PROD_D5。在图27(b)中，例示了再现装置PROD_D具备这些部件的全部的构成，但也可省略一部分部件。

此外，发送部PROD_D5可以发送未编码的运动图像，也可发送以与记录用的编码方式不同的传输用的编码方式进行了编码的编码数据。在后者的情况下，在解码部PROD_D2与发送部PROD_D5之间，设置对运动图像以传输用的编码方式进行编码的编码部(未图示)即可。

作为这样的再现装置PROD_D，例如可列举DVD播放器、BD播放器、HDD播放器等(该情况下，电视接收机等连接的输出端子PROD_D4成为运动图像的主要的提供目的地)。另外，电视接收机(该情况下，显示器PROD_D3成为运动图像的主要的提供目的地)、数字标牌(也称为电子广告牌、电子布告栏等，显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地)、桌上型PC(该情况下，输出端子PROD_D4或者发送部PROD_D5成为运动图像的主要的提供目的地)、膝上型或者平板型PC(该情况下，显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地)、智能手机(该情况下，显示器PROD_D3或者发送部PROD_D5成为运动图像的主要的提供目的地)等也是这样的再现装置PROD_D的一例。

〔汇总〕

本发明的一方式所涉及的图像解码装置，对按每层而质量不同的图像所相关的图像信息被以分层方式进行编码所得到的分层编码数据进行解码，来复原成为解码的对象的对象层中的图像，所述图像解码装置具备：

档次信息解码单元(档次信息解码部1221a)，其在表示是否提示档次信息的档次提示标记(ProfilePresentFlag)表示提示对象层的档次信息的情况下，从编码数据解码对象层的档次信息，而在上述档次提示标记表示不提示对象层的档次信息的情况下，向对象层的档次信息设定给定的解码完成层的档次信息，所述档次信息表示上述对象层的编码数据能否由具备某档次的图像解码装置进行解码；

等级信息解码单元(等级信息解码部1221b)，其从编码数据解码等级信息，所述等级信息表示上述对象层的编码数据能否由具备某等级的图像解码装置进行解码；

子层档次提示标记解码单元(子层档次提示标记解码部1221c)，其从编码数据解码子层档次提示标记(sub_layer_profile_flag)，所述子层档次提示标记表示是否提示与上述对象层所包含的各子层相关的子层档次信息；

子层等级提示标记解码单元(子层等级提示标记解码部1221d)，其从编码数据解码子层等级提示标记(sub_layer_level_flag)，所述子层等级提示标记表示是否提示与上述对象层所包含的各子层相关的子层等级信息；

子层档次信息解码单元(档次信息解码部1221a)，其在与上述各子层相关的子层档次提示标记的解码后、上述子层档次提示标记表示提示子层档次信息的情况下，对上述对象层所包含的各子层的子层档次信息进行解码，而在上述子层档次提示标记表示不提示子层档次信息的情况下，向子层的子层档次信息设定上述对象层的档次信息；和

子层等级信息解码单元(等级信息解码部1221b)，其在与上述各子层相关的子层等级提示标记的解码后、上述子层等级提示标记表示提示子层等级信息的情况下，对上述对象层所包含的各子层的子层等级信息进行解码，而在上述子层等级提示标记表示不提示子层等级信息的情况下，向子层的子层等级信息设定上述对象层的等级信息。

以上，根据上述构成，在与上述各子层相关的子层档次提示标记以及/或者子层等级提示标记的解码后，对子层档次信息以及/或者子层等级信息进行解码或者设定。

即，根据上述构成，将与各子层对应的子层档次提示标记以及子层等级提示标记、和与各子层对应的子层档次信息以及子层等级信息进行分离来解码。

因此，能够基于子层档次提示标记的值以及子层档次信息的码量、子层等级提示标记的值以及子层等级信息的码量，来容易地确定直至与特定的子层相关的子层档次信息以及子层等级信息的解码开始点为止的比特单位的偏移。

因此，具有能够削减子层档次信息以及子层等级信息所涉及的解码所需的处理量的效果。

在本发明的一方式所涉及的图像解码装置中，可以还具备：字节对齐数据解码单元(字节对齐数据解码部1221e)，其在上述子层档次提示标记以及子层等级提示标记被解码后，从编码数据解码字节对齐数据，直至解码开始位置位于字节边界上为止。

根据上述构成，将与各子层对应的子层档次提示标记以及子层等级提示标记、和与各子层对应的子层档次信息以及子层等级信息进行分离来解码，进而对在双方之间(子层档次提示标记以及子层等级提示标记、与子层档次信息以及子层等级信息之间)为了进行字节对齐而插入的字节对齐数据进行解码。

因此，与现有技术相比，能够在档次/等级信息的所有语法被字节对齐的状态下进行解码。所以，能够降低对子层档次提示标记、子层等级提示标记、子层档次信息以及子层等级信息进行解码时的读出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码所需的处理量降低的效果。

在本发明的一方式所涉及的图像解码装置中，上述子层档次提示标记解码单元也可以在上述档次提示标记表示提示档次信息的情况下，从编码数据解码上述子层档次提示标记，而在上述档次提示标记表示不提示档次信息的情况下，对上述子层档次提示标记设定表示不提示子层档次信息的值。

根据上述构成，在档次提示标记表示不提示档次信息的情况下，估计为表示子层的子层档次提示标记不被提示，从而不显式对子层档次提示标记进行解码，因此，与现有技术相比，具有可降低子层档次提示标记的解码所涉及的处理量的效果。

在本发明的一方式所涉及的图像解码装置中，上述字节对齐数据解码单元也可以在上述档次提示标记表示提示档次信息的情况下，在上述子层档次提示标记的解码后，从编码数据解码字节对齐数据，直至解码开始位置位于字节边界上为止。

根据上述构成，将与子层对应的子层档次提示标记和子层等级提示标记进行分离来解码，在档次提示标记表示提示档次信息的情况下，进而对在双方之间为了进行字节对齐而插入的字节对齐数据进行解码。因此，与现有技术相比，能够在档次/等级信息的所有语法被字节对齐的状态下进行解码。所以，能够降低对子层档次提示标记、子层等级提示标记、子层档次信息以及子层等级信息进行解码时的读出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码所需的处理量降低的效果。

在本发明的一方式所涉及的图像解码装置中，也可以是：上述档次信息解码单元在档次提示标记表示提示档次信息的情况下，作为档次信息而至少对档次空间、档次标识符、档次兼容信息进行解码，

上述等级信息解码单元与档次提示标记的值无关地作为等级信息而对等级标识符以及级别标记进行解码。

根据上述构成，能够与档次提示标记无关地对等级标识符和级别标记进行解码。所以，与以往相比，即使在档次提示标记表示不提示档次信息的情况下，也能够获得由等级标识符和级别标记规定的等级的制约，具有能够容易地确定解码器能否对对象层的编码数据进行解码的效果。

在本发明的一方式所涉及的图像解码装置中，也可以是：上述子层档次信息解码单元在档次提示标记表示提示档次信息、且子层档次提示标记表示提示子层档次信息的情况下，作为子层档次信息而至少对子层档次空间、子层档次标识符、子层档次兼容信息进行解码，

上述子层等级信息解码单元与子层档次提示标记的值无关地作为子层等级信息而对子层等级标识符以及子层级别标记进行解码。

根据上述构成，能够与档次提示标记以及子层档次提示标记无关地对子层等级标识符和子层级别标记进行解码。所以，与以往相比，即使在档次提示标记或者子层档次提示标记表示不提示与子层相关的档次信息的情况下，也能够关于子层而获得由子层等级标识符和子层级别标记规定的等级的制约，具有能够容易地确定解码器能否对对象层所包含的子层的编码数据进行解码的效果。

在本发明的一方式所涉及的图像解码装置中，也可以具备：制约标记解码单元，其从编码数据解码表示是否应用档次制约或者等级制约或者级别制约的制约标记，

在上述制约标记表示应用上述档次制约的情况下，

上述档次信息解码单元判断为对象层所包含的最上级子层的档次与对象层的档次相同，并且判断为各子层的档次被设定为在解码时所依赖的下级子层的档次以上，

在上述制约标记表示应用上述等级制约的情况下，

上述等级信息解码单元构判断为对象层所包含的最上级子层的等级与对象层的等级相同，并且判断为各子层的等级被设定为在解码时所依赖的下级子层的等级以上，

进而，在上述制约标记表示应用上述级别制约的情况下，

上述等级信息解码单元判断为对象层所包含的最上级子层的级别与对象层的级别相同，并且判断为各子层的级别被设定为在解码时所依赖的下级子层的级别以上。

以上，根据上述构成，图像解码装置能够在对档次信息/等级信息进行解码之前容易地判定：是否为属于对象子层的各子层的档次、等级以及级别与上级子层的档次、等级以及级别不兼容的不连续地生成的编码数据。另外，在图像解码装置和图像编码装置之间，通过设定是否应用上述档次制约、等级制约、级别制约，具有防止不连续地设定了各子层的档次、等级以及级别与上级子层的档次、等级以及级别不兼容的档次/等级/级别这样的编码数据的效果。另外，能够将图像解码装置应该对应的档次、等级以及级别抑制在所需的最小限度，因此具有能够降低图像解码装置的复杂度的效果。

档次信息解码单元(档次信息解码部1221a)，其在表示是否提示档次信息以及等级信息的档次等级提示标记(ProfileLevelPresentFlag)表示提示对象层的档次信息以及等级信息的情况下，从编码数据解码对象层的档次信息，而在上述档次等级提示标记表示不提示对象层的档次信息以及等级信息的情况下，向对象层的档次信息设定给定的解码完成层的档次信息，所述档次信息以及等级信息表示上述对象层的编码数据能否由具备某档次以及等级的图像解码装置进行解码；

等级信息解码单元(等级信息解码部1221b)，其在上述档次等级提示标记表示提示对象层的档次信息以及等级信息的情况下，从编码数据解码对象层的等级信息，而在上述档次等级提示标记表示不提示对象层的档次信息以及等级信息的情况下，向对象层的等级信息设定给定的解码完成层的等级信息；

子层档次信息解码单元(档次信息解码部1221a)，其在上述子层档次等级提示标记表示提示子层档次信息和子层等级信息的情况下，对对象层所包含的各子层的子层档次信息进行解码，而在上述子层档次等级提示标记表示不提示子层档次信息和子层等级信息的情况下，向子层的子层档次信息设定上述对象层的档次信息；和

子层等级信息解码单元(等级信息解码部1221b)，其在上述子层档次等级提示标记表示提示子层档次信息和子层等级信息的情况下，对对象层所包含的各子层的子层等级信息进行解码，而在上述子层档次等级提示标记表示不提示子层档次信息和子层等级信息的情况下，向子层的子层等级信息设定上述对象层的等级信息。

以上，根据上述构成，在多层之间档次和等级是公共的情况下，能够省略对象层的档次信息和等级信息的提示。即，在档次等级提示标记表示不提示档次信息以及等级信息的情况下，关于档次信息以及等级信息，向对象层的档次信息和等级信息设定给定的解码完成层的档次信息和等级信息，从而不显式地对档次信息和等级信息进行解码，因此，与现有技术相比，具有能够削减对象层的档次信息以及等级信息的解码所涉及的处理量的效果。

另外，在对象层的档次和等级与对象层所包含的子层的子层档次和子层等级为公共的情况下，能够省略子层的子层档次信息和子层等级信息的提示。即，在子层档次等级提示标记表示不提示子层档次信息以及子层等级信息的情况下，向对象子层的子层档次信息和子层等级信息设定解码完成的对象层的档次信息以及等级信息，从而不显式地对子层档次信息和子层等级信息进行解码，因此，与现有技术相比，具有能够削减子层档次信息以及子层等级信息的解码所涉及的处理量的效果。

此外，上述图像解码装置也可以具备：字节对齐数据解码单元，其在上述子层档次等级提示标记被解码后，从编码数据解码字节对齐数据，直至解码开始位置位于字节边界上为止。

根据上述构成，与现有技术相比，能够在档次/等级信息的所有语法被字节对齐的状态下进行解码。所以，能够降低对子层档次提示标记、子层等级提示标记、子层档次信息以及子层等级信息进行解码时的读出所相关的存储器访问的次数。即，具有使档次/等级信息所涉及的解码所需的处理量降低的效果。

这样构成的图像编码装置也在本发明的范畴内，在该情况下也能获得与上述图像解码装置同样的作用和效果。

另外，在上述图像编码装置中被生成且在上述图像解码装置中被解码的分层编码数据的数据结构也在本发明的范畴内。

(关于硬件的实现以及软件的实现)

最后，分层运动图像解码装置1、分层运动图像编码装置2的各模块可通过集成电路(IC芯片)上形成的逻辑电路来以硬件方式实现，也可利用CPU(Central Processing Unit)来以软件方式实现。

在后者的情况下，上述各装置具备：执行用于实现各功能的控制程序的命令的CPU；保存了上述程序的ROM(Read Only Memory)；将上述程序展开的RAM(Random Access Memory)；保存上述程序以及各种数据的存储器等的存储装置(记录介质)等。并且，本发明的目的也可通过下述方式来实现：将以计算机可读取的方式记录有作为用于实现上述功能的软件的上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质，提供给上述各装置，该计算机(或CPU、MPU(Micro Processing Unit))将记录介质中记录的程序代码读出并加以执行。

作为上述记录介质，例如可使用：磁带、盒式磁带等带类，包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory)/MO(Magneto-Optical)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD-R(CD Recordable)等光盘的盘类，IC卡(包括存储卡)/光卡等的卡类，掩模ROM/EPROM(Erasable Programmable Read-only Memory)/EEPROM(注册商标)(Electrically Erasable and Programmable Read-onlyMemory)/闪速ROM等半导体存储器类，或者PLD(Programmable LogicDevice)、FPGA(Field Programmable Gate Array)等逻辑电路类等。

另外，也可将上述各装置构成为能够与通信网络连接，经由通信网络来提供上述程序代码。该通信网络只要能够传输程序代码即可，并不特别限定。例如，可利用互联网、内联网、外联网、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna Television)通信网、虚拟专用网(Virtual PrivateNetwork)、电话线路网、移动体通信网、卫星通信网等。另外，构成该通信网络的传输介质也只要是能够传输程序代码的介质即可，并不限定于特定的构成或者种类的介质。例如，可使用IEEE(Institute of Electrical andElectronic Engineers)1394、USB、电力线传输、有线TV线路、电话线、ADSL(Asymmetric Digital Subscriber Line)线路等的有线介质，也可使用如IrDA(Infrared Data Association)、遥控器的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate)、NFC(Near FieldCommunication)、DLNA(Digital Living Network Alliance，注册商标)、移动电话网、卫星线路、地面波数字网等的无线介质。此外，本发明也可通过以电子传输方式体现了上述程序代码的、嵌入于载波中的计算机数据信号的形式来实现。

(补充事项)

在本说明书中至少记载了以下的发明。

<1>

一种图像解码装置，对按每层而质量不同的图像所相关的图像信息被以分层方式进行编码所得到的分层编码数据进行解码，来复原成为解码的对象的对象层中的图像，所述图像解码装置的特征在于，具备：

<2>

在<1>所述的图像解码装置中，其特征在于，还具备：字节对齐数据解码单元，其在上述子层档次提示标记以及子层等级提示标记被解码后，从编码数据解码字节对齐数据，直至解码开始位置位于字节边界上为止。

<3>

在<1>或<2>所述的图像解码装置中，其特征在于，上述子层档次提示标记解码单元在上述档次提示标记表示提示档次信息的情况下，从编码数据解码上述子层档次提示标记，而在上述档次提示标记表示不提示档次信息的情况下，对上述子层档次提示标记设定表示不提示子层档次信息的值。

<4>

在<2>所述的图像解码装置中，其特征在于，上述字节对齐数据解码单元在上述档次提示标记表示提示档次信息的情况下，在上述子层档次提示标记的解码后从编码数据解码字节对齐数据，直至解码开始位置位于字节边界上为止。

<5>

在<1>或<2>所述的图像解码装置中，其特征在于，上述档次信息解码单元在档次提示标记表示提示档次信息的情况下，作为档次信息而至少对档次空间、档次标识符、档次兼容信息进行解码，

<6>

在<5>所述的图像解码装置中，其特征在于，上述子层档次信息解码单元在档次提示标记表示提示档次信息、且子层档次提示标记表示提示子层档次信息的情况下，作为子层档次信息而至少对子层档次空间、子层档次标识符、子层档次兼容信息进行解码，

<7>

在<1>所述的图像解码装置中，其特征在于，还具备：制约标记解码单元，其从编码数据解码表示是否应用档次制约或者等级制约或者级别制约的制约标记，

在上述制约标记表示应用上述档次制约的情况下，

在上述制约标记表示应用上述等级制约的情况下，

进而，在上述制约标记表示应用上述级别制约的情况下，

<8>

工业实用性

本发明适合应用于对以分层方式编码图像数据而得到的编码数据进行解码的分层运动图像解码装置、以及生成以分层方式编码图像数据而得到的编码数据的分层运动图像编码装置。另外，还适合应用于由分层运动图像编码装置生成且由分层运动图像解码装置参考的分层编码数据的数据结构。

符号说明

1 分层运动图像解码装置(图像解码装置)

11 NAL逆复用部

12 可变长解码部

121 首部信息解码部

1211 档次/等级信息解码部

1221a 档次信息解码部

1221b 等级信息解码部

1221c 子层档次提示标记解码部

1221d 子层等级提示标记解码部

1221e 字节对齐数据解码部

1221f 子层档次等级提示标记解码部

122 预测信息解码部

123 变换系数信息解码部

14 预测参数复原部

15 纹理复原部

16 基础解码部

2 分层运动图像编码装置(图像编码装置)

21 预测参数决定部

22 可变长编码部

221 首部信息编码部

2211 档次/等级信息编码部

2221a 档次信息编码部

2221b 等级信息编码部

2221c 子层档次提示标记编码部

2221d 子层等级提示标记编码部

2221e 字节对齐数据编码部

2221f 子层档次等级提示标记编码部

222 预测信息编码部

223 变换系数信息编码部

23 基础解码部

24 纹理信息生成部

25 预测信息生成部

26 NAL复用部

Claims

1.一种图像解码装置，解码对图像信息进行编码而得到的编码数据，其特征在于，

所述图像解码装置具备：首部信息解码单元，其对首部信息进行解码，该首部信息用于对包含在上述编码数据中的视频参数集进行解码，

上述首部信息解码单元在对上述视频参数集中的扩展用的信息进行了解码之后，对包含在上述视频参数集中的档次/等级信息进行解码。

2.根据权利要求1所述的图像解码装置，其特征在于，

上述扩展用的信息的码长为16比特。

3.根据权利要求1所述的图像解码装置，其特征在于，

上述扩展用的信息被字节对齐。

4.根据权利要求1所述的图像解码装置，其特征在于，

包含在上述视频参数集中的档次/等级信息被字节对齐。