CN112544084A - 图像编码装置、编码流提取装置以及图像解码装置 - Google Patents

Abstract

本发明从图片整体的编码数据容易地生成与一部分的区域对应的编码数据。具备根据输入编码数据生成输出编码数据的熵编码部(513)。输入编码数据中包括：对图片进行分割而得的每个子图片的图像数据；以及子图片报头，包括按每个子图片生成的子图片识别信息。输出编码数据包括：子图片参数集，包括一个或多个子图片识别信息；子图片报头；以及每个子图片的图像数据。

Description

图像编码装置、编码流提取装置以及图像解码装置

技术领域

本发明的实施方式涉及一种图像编码装置、编码流提取装置以及图像解码装置。

背景技术

为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置和通过对该编码数据进行解码而生成解码图像的运动图像解码装置。

作为具体的运动图像编码方式，例如可列举出在H.264/AVC、HEVC(High-Efficiency Video Coding：高效运动图像编码)中提出的方式等。

在这种运动图像编码方式中，构成运动图像的图像(图片)由包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的块即由预测单元(PU)、变换单元(TU)构成的分级结构来管理，并按每个CU进行编码/解码。

此外，在这种运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。

此外，作为近年来的动图像编码和解码的技术，可列举出专利文献1和非专利文献1。在专利文献1中，记载有按每个区块在时间方向上独立地进行编码的技术。在非专利文献1中，公开有H.265/HEVC的Tile等的相关技术。

现有技术文献

专利文献

专利文献1：日本专利公报《专利第6241504号公报(2016年12月6日发行)》

非专利文献

非专利文献1：ITU-T H.265，“High effeciency video coding”，SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual serices-Coding of moving video，ISO/IEC 23008-2，December 2016

发明内容

发明要解决的问题

然而，在像专利文献1和非专利文献1所记载的以往技术中，为了仅显示图片的特定的区域，从图像整体的编码数据中提取出一部分，在想要生成仅特定的区域的编码数据的情况下，需要大幅度重写切片数据等编码数据。此外，由于无法使编码数据仅与一个图片(视点)对应，因此无法从编码图片取出特定的图片(仅视点)进行解码。

本发明涉及一种使用能从图片整体的编码数据中容易地提取的与一部分的区域对应的编码数据来对图片进行解码的装置。此外，本发明设计一种能提取与一部分的区域对应的编码数据的对图片整体的编码数据进行编码的装置。此外，涉及一种从能容易地提取的编码数据提取与特定的区域对应的编码数据的流提取装置。

技术方案

为了解决上述课题，本发明的一方案的图像编码装置通过对图像数据进行编码来生成编码数据，具备编码数据生成部，所述编码数据生成部生成包括对图片进行分割而得的每个子图片的图像数据的编码数据，上述编码数据生成部按每个子图片生成包括用于识别上述子图片的子图片识别信息的子图片报头，将生成的子图片报头包括在上述编码数据中。

为了解决上述课题，本发明的一方案的编码流提取装置根据输入编码数据生成输出编码数据，具备编码部，所述编码部生成上述输出编码数据，上述输入编码数据中包括：对图片进行分割而得的每个子图片的图像数据；以及按每个子图片生成的子图片报头，所述子图片报头包括用于识别上述子图片的子图片识别信息，上述编码部生成编码数据，所述编码数据包括：子图片参数集，包括一个或多个子图片识别信息；以及每个上述子图片的图像数据。

为了解决上述课题，本发明的一方案的图像解码装置对编码数据进行解码，具备解码部，所述解码部通过对上述编码数据进行解码来生成解码图像，上述编码数据中包括：对图片进行分割而得的每个子图片的图像数据；按每个子图片生成的子图片报头，所述子图片报头包括用于识别上述子图片的子图片识别信息；以及子图片参数集，包括一个或多个子图片识别信息，上述解码部参考上述编码数据中包括的上述子图片参数集和上述子图片报头来生成解码图像。

有益效果

根据以上构成，能够不进行切片数据的重写地从图片整体的编码数据容易地生成与一部分的区域对应的编码数据。此外，能够对容易地生成的与一部分的区域对应的编码数据进行解码。

附图说明

图1是表示编码流的数据的分级结构的图。

图2是表示子图片序列的概念图。

图3是表示本实施方式的图像编码装置的构成的框图。

图4是表示以本实施方式的子图片为结构单元的图片的示例的图。

图5是表示本实施方式的图像编码装置中的子图片编码部的构成的框图。

图6是表示本实施方式的编码流的数据构造的一部分的一个示例的图。

图7是表示本实施方式的编码流提取装置的构成的一个示例的框图。

图8是表示本实施方式的图片整体中用户所选择的区域的一个示例的图。

图9是表示本实施方式的编码流的构成的一个示例的示意图。

图10是表示本实施方式的编码流提取装置生成编码流Te’的处理的流程的一个示例的流程图。

图11是表示本实施方式的编码流提取装置所生成的编码流的一个示例的图。

图12是表示本实施方式的图像解码装置的构成的框图。

图13是表示本实施方式的图像解码装置中的子图片解码部的构成的框图。

图14是表示搭载有本实施方式的图像编码装置的发送装置和搭载有图像解码装置的接收装置的构成的图。图14的(a)表示搭载有图像编码装置的发送装置，图14的(b)表示搭载有图像解码装置的接收装置。

图15是表示搭载有本实施方式的图像编码装置的记录装置和搭载有图像解码装置的再现装置的构成的图。图15的(a)表示搭载有图像编码装置的记录装置，图15的(b)表示搭载有图像解码装置的再现装置。

图16是表示本实施方式的图像传输系统的构成的概略图。

图17是表示本实施方式的编码流提取装置的构成的其它示例的框图。

图18是表示本实施方式的编码流提取装置的构成的其它示例的框图。

图19是表示本实施方式的编码流提取装置的构成的其它示例的框图。

具体实施方式

(图像传输系统1)

以下，参考附图对本发明的实施方式进行说明。图16是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1传输与该范围对应的图像的编码流(编码数据)，对所传输的编码进行解码并显示图像。图像传输系统1接收用户对显示的图像指定范围的信息。图像传输系统1构成为包括：图像编码装置(运动图像编码装置)11、网络21、图像解码装置(运动图像解码装置)31、图像显示装置41以及编码流提取装置51。

图像编码装置11中输入由单层或多层图像构成的图像T。层是指在存在一个以上构成某一时间的图片的情况下用于区分多张图片的概念。例如，当在画质、分辨率不同的多个层对同一图片进行编码时，为可伸缩编码(scalable coding)，当在多个层对不同视点的图片进行编码时，为视点可伸缩编码(view scalable coding)。当在多个层的图片间进行预测(层间预测、视点间预测)的情况下，编码效率大幅提高。此外，即使在不进行预测的情况(同时联播)的情况下，也能汇总编码流。

网络21将图像编码装置11所生成的编码流Te传输至图像解码装置31和编码流提取装置51。此外，网络21将编码流提取装置51所生成的编码流Te’传输至图像解码装置31。网络21是互联网(internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：LocalArea Network，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(DigitalVersatile Disc：数字通用光盘)、BD(Blue-ray Disc：蓝光光盘)等记录有编码流Te的存储介质代替。

图像解码装置31对网络21所传输的编码流Te或编码流Te’分别进行解码，生成分别解码后的一个或多个解码图像Td。

图像显示装置41显示图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。此外，在空间可伸缩编码、SNR可伸缩编码中，在图像解码装置31、图像显示装置41分别具有高处理能力的情况下显示画质高的扩展层图像，在仅具有较低处理能力的情况下显示不需要扩展层那么高的处理能力、显示能力的基本层图像。

编码流提取装置51可以在图像解码装置31或图像显示装置41中接收指定与用户的输入操作等相应的图片的显示区域信息。图片被分割为多个子图片。编码流提取装置51通过从编码流Te裁剪、结合由用户指定的编码流，生成包括与指定的显示区域对应的子图片的编码流Te’。此外，编码流提取装置51生成表示所生成的编码流Te’包括哪个子图片的编码数据的子图片参数集SPPS，将其包括在编码流Te’中。

<运算符>

以下记述在本说明书中使用的运算符。

>>为向右位移，<<为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符。

x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。

Clip3(a，b，c)是将c限幅于a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其它情况下返回c的函数(其中a<＝b)。

<编码流Te的结构>

在对本实施方式的图像编码装置11和图像解码装置31进行详细说明之前，对由图像编码装置11生成并被图像解码装置31解码的编码流Te的数据结构进行说明。

图1是表示编码流Te中的分级结构的图。编码流Te示例性地包括序列和构成序列的图片。图1的(a)～(g)分别是表示既定序列SEQ的编码序列、规定图片PICT的编码图片、规定子图片SPICT的编码子图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元(Coding Unit：CU)的图。需要说明的是，图1的(a)所示的编码序列、图1的(b)所示的编码图片以及图1的(c)所示的编码子图片表示为图4所示的图片1的编码流Te的分级结构。

(编码序列)

在编码序列中，规定有图像解码装置31为了对处理对象的序列SEQ进行解码而参考的数据的集合。序列SEQ如图1的(a)所示，包括序列参数集SPS(Sequence ParameterSet)、图片参数集PPS以及编码图片PICT。需要说明的是，本实施方式的编码序列也可以包括视频参数集VPS(Video Parameter Set)。

视频参数集VPS中，在由多个层构成的运动图像中，规定有多个运动图像共用的编码参数的集合以及运动图像中所包括的多个层和与各层关联的编码参数的集合。

在序列参数集SPS中，规定有图像解码装置31为了对对象序列进行解码而参考的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，在PPS中选择多个SPS中的任一个。

在图片参数集PPS中，规定有图像解码装置31为了对对象序列内的各图片进行解码而参考的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从各切片报头选择多个PPS中的任一个。

(编码图片)

在编码图片中，规定有运动图像解码装置31为了对对象图片PICT进行解码而参考的数据的集合。图片PICT如图1的(b)所示，包括一个或多个子图片报头SPH以及子图片SPICT(NSP为图片PICT中包括的子图片的总数)。

子图片报头SPH中包括对象子图片的唯一码以及子图片ID。子图片以及子图片报头SPH将在后文加以叙述。

(编码子图片)

在编码子图片中，规定有图像解码装置31为了对处理对象的子图片SPICT进行解码而参考的数据的集合。子图片SPICT如图1的(c)所示，包括一个或多个切片S₀～S_NS-1(NS为子图片SPICT中包括的切片的总数)。

子图片可以由根据配置文件、级别等规定的图像解码装置31的能力的限制来规定。

需要说明的是，以下，在无需对各切片S₀～S_NS-1进行区分的情况下，有时会省略代码的下标来进行记述。此外，以下所说明的编码流Te中所包括的且带有下标的其它数据也是同样的。

(编码切片)

在编码切片中，规定有图像解码装置31为了对处理对象的切片S进行解码而参考的数据的集合。切片S如图1的(d)所示，包括切片报头SH和切片数据SDATA。

切片标头SH中包括图像解码装置31用于确定对象切片的解码方法而参考的编码参数组。指定切片类型的切片类型的指定信息(slice_type)是切片报头SH中所包括的编码参数的一个示例。

作为可由切片类型指定信息指定的切片类型，可列举：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。

需要说明的是，切片报头SH中也可以包括上述编码视频序列中所包括的对图片参数集PPS的参考(pic_parameter_set_id)。

(编码切片数据)

在编码切片数据中，规定有图像解码装置31为了对处理对象的切片数据SDATA进行解码而参考的数据的集合。切片数据SDATA如图1的(e)所示，包括编码树单元(CTU：Coding Tree Unit)。CTU是构成切片的固定大小(例如64×64)的块，也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

如图1的(f)所示，规定有图像解码装置31为了对处理对象的编码树单元进行解码而参考的数据的集合。编码树单元通过递归的四叉树分割来进行分割。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(CN：Coding Node)。四叉树的中间节点为编码节点，编码树单元本身也被规定为最上层的编码节点。CTU包括分割标志(cu_split_flag)，在cu_split_flag为1的情况下，分割为四个编码节点CN。在cu_split_flag为0的情况下，编码节点CN具有一个编码单元(Coding Unit：CU)来作为节点而不被分割。编码单元CU是编码节点的末端节点，且不进行进一步分割。编码单元CU为编码处理的基本单位。

此外，在编码树单元CTU的大小为64×64像素的情况下，编码单元的大小可以取64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。

(编码单元)

如图1的(g)所示，规定有图像解码装置31为了对处理对象的编码单元进行解码而参考的数据的集合。具体而言，编码单元由预测树、变换树以及CU报头CUH构成。在CU报头中规定有预测模式、分割方法(PU分割模式)等。

在预测树中，规定有将编码单元分割为一个或多个而得到的各预测单元(PU)的预测信息(参考图片索引、运动矢量等)。如果换为其它表述，预测单元是构成编码单元的一个或多个不重复的区域。此外，预测树包括通过上述分割而得到的一个或多个预测单元。需要说明的是，以下将进一步分割预测单元而得到的预测单位称为“子块”。子块由多个像素构成。在预测单元与子块的大小相等的情况下，预测单元中的子块为一个。在预测单元的大小大于子块的大小的情况下，预测单元被分割成子块。例如在预测单元为8×8、子块为4×4的情况下，预测单元被分割成4个子块，包括水平分割的两部分和垂直分割的两部分。

预测处理可以按每个该预测单元(子块)进行。

预测树中的分割的种类大体来说有帧内预测的情况和帧间预测的情况这两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。

在帧内预测的情况下，分割方法有2N×2N(与编码单元相同大小)和N×N。

此外，在帧间预测的情况下，分割方法根据编码数据的PU分割模式(part_mode)进行编码，存在2N×2N(与编码单元相同尺寸)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N等。需要说明的是，2N×N、N×2N表示1∶1的对称分割，2N×nU、2N×nD以及nL×2N、nR×2N表示1∶3、3∶1的非对称分割。将CU中所包括的PU依次表示为PU0、PU1、PU2、PU3。

此外，在变换树中，编码单元被分割为一个或多个变换单元，并规定有各变换块的位置和大小。如果以其它表述来说，则变换单元是构成编码单元的一个或多个不重复的区域。此外，变换树包括通过上述分割而得到的一个或多个变换单元。

变换树的分割中有将与编码单元相同的大小的区域分配为变换单元的分割和与上述CU的分割相同地通过递归的四叉树分割进行的分割。

变换处理按每个该变换单元进行。

(子图片序列)

在此，使用图2对子图片序列进行说明。图2是表示子图片序列的概念图。如图2所示，序列由多个在时间方向上连续的图片PICT构成。子图片SPICT是对图片PICT分割而成的，更具体而言，是不允许彼此重叠地对图片PICT分割而成的。将这个在多个时间方向上连续的子图片称为子图片序列。

根据这样的构成，图像编码装置11以及图像解码装置31可以以子图片序列为单位高效地并行且独立地进行编码或解码。

(预测参数)

预测单元(Prediction Unit：PU)的预测图像通过与PU关联的预测参数来推导。预测参数中有帧内预测的预测参数或帧间预测的预测参数。以下，对帧间预测的预测参数(帧间预测参数)进行说明。帧间预测参数由预测列表利用标志predFlagL0、predFlagL1、参考图片索引refIdxL0、refIdxL1以及运动矢量mvL0、mvL1构成。预测列表利用标志predFlagL0、predFlagL1是表示是否使用各个被称为L0列表、L1列表的参考图片列表的标志，在值为1的情况下使用对应的参考图片列表。需要说明的是，在本说明书中记为“表示是否为××的标志”的情况下，将标志为0以外(例如1)设为是××的情况，将标志为0设为不是××的情况，在逻辑非、逻辑积等中将1视为真，将0视为假(以下同样)。但是，在实际的装置、方法中也可以使用其它值作为真值、假值。

用于导出编码数据中所包括的帧间预测参数的语法要素中，例如有PU分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。

(参考图片列表)

参考图片列表是由存储于参考图片存储器306的参考图片构成的列表。

(合并预测和AMVP预测)

预测参数的解码(编码)方法中有合并预测(merge)模式和AMVP(Adaptive MotionVector Prediction：自适应运动矢量预测)模式，合并标志merge_flag是用于识别它们的标志。合并预测模式是不将预测列表利用标志predFlagLX(或帧间预测标识符inter_pred_idc)、参考图片索引refIdxLX、运动矢量mvLX包括于编码数据而从已处理的附近PU的预测参数中导出的使用模式，AMVP模式是在编码数据中包括帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、运动矢量mvLX的模式。需要说明的是，运动矢量mvLX被编码为识别预测矢量mvpLX的预测矢量索引mvp_LX_idx和差分矢量mvdLX。

帧间预测标识符inter_pred_idc是表示参考图片的种类和数量的值，取PRED_L0、PRED_L1、PRED_BI中的任一值。PRED_L0、PRED_L1表示使用分别在L0列表、L1列表的参考图片列表中进行管理的参考图片，表示使用一张参考图片(单向预测)。PRED_BI表示使用两张参考图片(双向预测BiPred)，使用在L0列表和L1列表中进行管理的参考图片。预测矢量索引mvp_LX_idx是表示预测矢量的索引，参考图片索引refIdxLX是表示在参考图片列表中进行管理的参考图片的索引。需要说明的是，LX是在不对L0预测和L1预测进行区分的情况下使用的记述方法，通过将LX替换为L0、L1对针对L0列表的参数和针对L1列表的参数进行区分。

合并索引merge_idx是表示是否使用从已完成处理的PU推导出的预测参数候选(合并候选)中的任一个预测参数作为解码对象PU的预测参数的索引。

(运动矢量)

运动矢量mvLX表示不同的两张图片上的块间的偏移量。将与运动矢量mvLX有关的预测矢量、差分矢量分别称为预测矢量mvpLX、差分矢量mvdLX。

(图像编码装置的构成)

接着，对本实施方式的图像编码装置11的构成进行说明。图3是表示本实施方式的图像编码装置11的构成的框图。

图像编码装置11通过对图像数据进行编码来生成编码数据。图像编码装置11构成为包括：图片分割部12、子图片编码部13a～13n以及NAL生成部16。

图片分割部12将图像T(图片)分割为多个子图片，将该子图片传输至子图片编码部13a～13n。

此外，图片分割部12生成子图片信息，将该子图片信息传输至NAL生成部16。

子图片编码部13a～13n分别对子图片进行编码。需要说明的是，子图片编码部13a～13n可以以子图片序列为单位对子图片进行编码。这样，根据子图片编码部13a～13n，能够对高效地并行地对子图片进行编码处理。

在此，子图片编码部13a～13n将子图片作为一个独立的视频序列进行编码处理，子图片序列间的预测信息在进行编码处理时在时间上在空间上都不进行参考。即，子图片编码部13a～13n在对图片内的某个子图片进行编码的情况下，不参考图片内的其它子图片。此外，子图片编码部13a～13n在帧间预测中不参考属于不同子图片序列的子图片。就是说，即使在不同的时刻的图片中，也仅利用对象子图片所属的子图片序列中包括的子图片的信息来进行编码处理。

NAL生成部16生成包括对图片进行分割而得的每个子图片的图像数据的编码数据。详细而言，NAL生成部16根据从图片分割部12传输的子图片信息和子图片编码部13a～13n所编码的编码子图片来生成NAL单元单位的编码流Te。

此外，NAL生成部(编码数据生成部)16从子图片编码部13a～13n接收按每个子图片生成的包括用于识别子图片的子图片识别信息的子图片报头SPH，与编码子图片一并以NAL单元为单位进行编码，并将其包括在上述编码流Te中。子图片报头SPH中至少包括对象子图片的唯一码(0x0000xx)以及子图片ID。NAL单元的具体构成将在后文加以叙述。

根据上述构成，上述编码数据含有包括每个子图片的图像数据的编码数据以及用于识别子图片的子图片识别信息(子图片ID)。

因此，能使编码流提取装置51等容易地执行使用了上述编码数据的、通过以子图片的编码数据为单位的裁剪以及结合而进行的编码数据的生成。

(以子图片作为结构单元的图片)

图4是表示以子图片为结构单元的图片的示例的图。图4所示的图片1表示图片整体。图片1被分割为多个子图片(子图片0～7)。在此，0～7是子图片ID，是特定各子图片的识别信息(ID)。以子图片作为基本结构块规定多个「图片」。例如，如图4所示，图片整体(图片1)是由从子图片0到子图片7的所有子图片构成的图片。此外，作为图片整体的一部分的图片2是由子图片0、子图片1、子图片4以及子图片5构成的图片。此外，作为图片整体的一部分的图片3是由子图片3以及子图片7构成的图片。此外，如图4所示，子图片可以是有多个切片或者区块构成。

需要说明的是，在本实施方式中，图像编码装置11是图片整体(图片1)的编码数据，即，在图4所示的例中，生成包括子图片0至子图片7的编码数据的编码流Te。

如上所述，图1的(a)所示的编码序列、图1的(b)所示的编码图片以及图1的(c)所示的编码子图片表示为图4所示的图片1的编码流Te的分级结构。

(子图片编码部的构成)

接着，对子图片编码部13a～13n的构成进行说明。以下，作为一个示例，使用图5对子图片编码部13a的构成进行说明。图5是表示子图片编码部13a的构成的框图。需要说明的是，在本实施方式中，对图像编码装置11具备多个子图片编码部13a～13n的构成进行说明，但图像编码装置11也可以构成为具备一个子图片编码部。在该构成中，一个子图片编码部可以依次对各子图片进行编码。

子图片编码部13a～13n生成每个子图片的编码数据。更详细的说明如下所述。子图片编码部13a构成为包括：预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参考图片存储器(参考图像存储部、帧存储器)109、编码参数确定部110以及预测参数编码部111。预测参数编码部111构成为包括：帧间预测参数编码部112和帧内预测参数编码部113。

预测图像生成部101使用从预测参数编码部输入的参数，以从参考图片存储器中读出的参考块的像素值为基础来生成PU的预测图像P。由预测图像生成部101生成的预测图像被输出至减法部102、加法部106。

减法部102从图像T所对应的PU的像素值中减去从预测图像生成部101输入的PU的预测图像P的信号值，生成残差信号。减法部102将生成的残差信号输出至变换/量化部103。

变换/量化部103对从减法部102输入的残差信号进行频率变换，计算出变换系数。变换/量化部103对计算出的变换系数进行量化，求出量化系数。变换/量化部103将求出的量化系数输出至熵编码部104和逆量化/逆变换部105。

熵编码部104被从变换/量化部103输入量化系数，被从预测参数编码部111输入编码参数。在所输入的编码参数中，例如存在参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等代码。此外，熵编码部104对SPS、PPS、子图片报头SPH、切片报头SH等报头信息进行编码。

此外，熵编码部104生成切片报头SH。

详细而言，子图片编码部13a按每个子图片对包括在上述子图片中的表示各切片的第一个CTU地址的切片地址进行初始化。熵编码部104生成包括该切片地址的切片报头，将切片报头包括在每个上述子图片的编码数据中。

详细而言，子图片内的CTU按照光栅扫描顺序被扫描，子图片内的各CTU按照光栅扫描顺序被赋予CTU地址。各切片中被赋予切片的第一个CTU地址来作为切片地址SHaddr。如上所述，子图片中包括的切片的切片地址按每个子图片被初始化。即，子图片中包括的切片的第一个切片地址按每个子图片从O开始。换句话说，在各子图片中，第一个切片(切片开头)的第一个CTU地址为O。

图6是表示本实施方式的编码流Te’的数据构造的一部分的一个示例的图。编码流Te’包括多个编码子图片。此外，各编码子图片包括一个或多个编码切片。如图6所示，各编码子图片中的第一个编码切片的切片地址SHaddr为O。此外，在上述构成中，在相同时刻图片整体中存在同一切片地址。因此，具有同一切片地址的切片彼此可以基于各切片所属的子图片来进行区别。上述区别中例如可以使用子图片报头SPH所包括的信息。

根据上述构成，切片地址(切片的第一个CTU的地址)按每个子图片被初始化。即，切片地址按每个子图片从O开始。因此，属于不同子图片的切片不会被赋予序列号来作为切片地址。

因此，在编码流提取装置51等使用上述编码数据通过以子图片的编码数据为单位的裁剪以及结合而新生成编码数据的情况下，不需要重写子图片的切片地址。以往，在从构成图片的编码数据提取特定的区域时，需要将提取的区域的切片地址从与提取前的图片内位置对应的切片地址重写为与提取后的图片内位置对应的切片地址。在本构成中，不论是提取前还是提取后，各编码子图片中的第一个编码切片的切片地址SHaddr始终为0。因此，在提取后的编码子图片中，不需要进行切片地址的重写。此外，进一步地，即使新生成的编码数据不具备所有子图片的编码数据，也不会产生切片地址或CTU地址的缺失(跳跃)。因此，能够避免切片地址或CTU的地址的缺失(跳跃)能引起的图像解码装置31中的错误。

或者，在编码流提取装置51等将提取到的子图片组合而生成编码数据的情况下，不需要修正切片地址、CTU地址，能够以较小的处理负荷对子图片进行裁剪以及结合。

熵编码部104对被输入的量化系数和编码参数进行熵编码来生成编码流，并将生成的编码流Te输出至外部。

逆量化/逆变换部105对从变换/量化部103输入的量化系数进行逆量化，求出变换系数。逆量化/逆变换部105对求出的变换系数进行逆频率变换，计算出残差信号。逆量化/逆变换部105将计算出的残差信号输出至加法部106。

加法部106将从预测图像生成部101输入的PU的预测图像P的信号值和从逆量化/逆变换部105输入的残差信号的信号值与每个像素相加，生成解码图像。加法部106将生成的解码图像存储于参考图片存储器109。

环路滤波器107对加法部106所生成的解码图像施加去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)。

预测参数存储器108将编码参数确定部110所生成的预测参数按每个编码对象的图片和CU存储于预定的位置。

参考图片存储器109将环路滤波器107所生成的解码图像按编码对象的每个图片和CU存储于预定的位置。

编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是上述的预测参数、与该预测参数关联而生成的作为编码对象的参数。预测图像生成部101使用这些编码参数的每一个集合来生成PU的预测图像。

编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的成本值。成本值例如是代码量与平方误差乘以系数λ而得到的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是关于在减法部102中计算出的残差信号的残差值的平方值的像素间的总和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选出的编码参数的集合作为编码流Te输出至外部，而不输出未被选择的编码参数的集合。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。

预测参数编码部111根据从编码参数确定部110输入的参数，推导出用于编码的形式，并输出至熵编码部104。用于编码的形式的推导是指例如从运动矢量和预测矢量推导出差分矢量。此外，预测参数编码部111从由编码参数确定部110输入的参数中推导出生成预测图像所需的参数，并输出至预测图像生成部101。生成预测图像所需的参数是指例如以子块为单位的运动矢量。

帧间预测参数编码部112基于从编码参数确定部110输入的预测参数来推导出差分矢量那样的帧间预测参数。在帧间预测参数编码部112中，作为导出生成输出至预测图像生成部101的预测图像所需的参数的构成，包括一部分与后述的帧间预测参数解码部303(参考图13等)导出帧间预测参数的构成相同的构成。

帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode，推导出用于编码的形式(例如MPM_idx、rem_intra_luma_pred_mode等)。

(图像解码装置的构成)

接着，对本实施方式的图像解码装置31的构成进行说明。图12是表示本实施方式的图像解码装置31的构成的框图。图像解码装置31构成为包括：NAL解码部32、子图片解码部33a～33n以及图片合成部36。

NAL解码部32对从外部输入的以NAL(network abstraction layer：网络抽象层)单元为单位而编码的编码流Te或者编码流Te’进行解码。NAL解码部32将对编码流Te或编码流Te’进行解码而得的编码子图片传输至子图片解码部33a～33n。此外，NAL解码部32将子图片信息等传输至图片合成部36。

需要说明的是，子图片信息是指表示编码流Te或编码流Te’所包括的子图片、各子图片的大小和位置、由子图片构成的图片的大小等的信息。即，包括子图片参数集SPPS的信息等。

子图片解码部33a～33n分别对子图片报头SPH和编码子图片进行解码，将解码后的子图片传输至图片合成部36。

在此，子图片解码部33a～33n将子图片序列作为一个独立的视频序列来进行解码处理，因此，在进行解码处理时，无论在时间上还是在空间上都不参考子图片序列间的预测信息。即，子图片解码部33a～33n在对某个图片内的子图片进行解码的情况下，不参考另一子图片序列的子图片。

这样，子图片解码部33a～33n分别对子图片进行解码，因此，既能对多个子图片并行地进行解码处理，也能仅对一个子图片独立地进行解码。其结果为，根据子图片解码部33a～33n，能够高效地执行解码处理。

图片合成部36参考从NAL解码部32的传输的子图片信息和由子图片解码部33a～33n解码的子图片生成解码图像Td并输出。

换句话说，图像解码装置31具备：子图片解码部33a～33n，对编码流Te’中包括的子图片编码数据进行解码；以及图片合成部36，从解码的子图片合成解码图像。

编码流Te’中包括：对图片进行分割而得的每个子图片的图像数据、子图片报头SPH以及具有用于结合子图片获得图片(结合图片)的信息的子图片参数集SPPS(结合图片参数集)。子图片报头SPH包括用于识别子图片的子图片识别信息，其按每个子图片生成。此外，子图片参数集SPPS包括一个或多个子图片识别信息。子图片参数集SPPS的详细内容将在后文加以叙述。

图片合成部36参考编码流Te’中包括的子图片参数集SPPS和子图片的解码图来合成(生成)图片(结合图片)的解码图像。

根据上述构成，图像解码装置31能够参考由用户指定的、表示与图片的一部分的区域对应的子图片的组合的子图片参数集来合成与该一部分的区域对应的子图片。即，图像解码装置31能够生成用户所希望的图像。

此外，编码流Te’中包括切片报头。该切片报头中包括表示子图片中包括的切片的第一个CTU地址的切片地址。该切片地址按每个子图片被初始化。子图片解码部33a～33n参考编码数据中包括包含切片地址的切片报头来生成子图片的解码图像。

根据上述构成，子图片的切片地址按每个子图片被初始化。即，子图片中包括的切片地址(切片的第一个CTU地址)按每个子图片从O开始。因此，属于不同子图片的切片不会被赋予序列号作为切片地址。

因此，在编码流提取装置51等使用上述编码数据通过以子图片的编码数据为单位的裁剪以及结合而新生成了编码数据的情况下，切片报头以及切片数据如下所述。即，即使新生成的编码数据不具备所有子图片的编码数据，也不会产生切片地址(CTU地址)的缺失(跳跃)。因此，能够避免切片地址的缺失(跳跃)能引起的图像解码装置31中的错误。

(子图片解码部的构成)

对子图片解码部33a～33n的构成进行说明。以下，作为一个示例，使用图13对子图片解码部33a的构成进行说明。图13是表示子图片解码部33a的构成的框图。

子图片解码部33a构成为包括：熵解码部301、预测参数解码部302、环路滤波器305、参考图片存储器306、预测参数存储器307、预测图像生成部308、逆量化/逆变换部311以及加法部312。

此外，预测参数解码部302构成为包括：帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括：帧间预测图像生成部309和帧内预测图像生成部310。

熵解码部301对编码子图片进行熵解码，分离各个代码(语法要素)并进行解码。分离后的代码中，具有用于生成预测图像的预测信息和用于生成差分图像的残差信息等。

熵解码部301将分离后的编码的一部分输出至预测参数解码部302。分离后的代码的一部分例如是预测模式predMode、PU分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。基于预测参数解码部302的指示来进行对哪一个编码进行解码的控制。熵解码部301将量化系数输出至逆量化/逆变换部311。该量化系数是在编码处理中对残差信号进行DCT(Discrete Cosine Transform，离散余弦变换)、DST(DiscreteSine Transform，离散正弦变换)、KLT(Karyhnen Loeve Transform，卡胡南列夫变换)等频率变换并量化而得到的系数。

帧间预测参数解码部303基于从熵解码部301输入的编码，参考存储于预测参数存储器307的预测参数来对帧间预测参数进行解码。

帧间预测参数解码部303将解码后的帧间预测参数输出至预测图像生成部308，此外，存储于预测参数存储器307。

帧内预测参数解码部304基于从熵解码部301输入的编码，参考存储于预测参数存储器307的预测参数来对帧内预测参数进行解码。帧内预测参数是指在一张图片内对CU进行预测的处理中所使用的参数，例如是帧内预测模式IntraPredMode。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308，再存储于预测参数存储器307。

环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。

参考图片存储器306按每个编码对象的子图片和CU地将加法部312所生成的CU解码图像存储于预定的位置。

预测参数存储器307将预测参数按解码对象的每个图片和预测单元(或子块、固定尺寸块、像素)存储于预定的位置。具体而言，预测参数存储器307存储由帧间预测参数解码部303解码后的帧间预测参数、由帧内预测参数解码部304解码后的帧内预测参数以及由熵解码部301分离后的预测模式predMode。在所存储的帧间预测参数中，例如有预测列表利用标志predFlagLX(帧间预测标识符inter_pred_idc)、参考图片索引refIdxLX以及运动矢量mvLX。

预测图像生成部308被输入从熵解码部301输入的预测模式predMode，再被从预测参数解码部302输入预测参数。此外，预测图像生成部308从参考图片存储器306中读出参考图片。预测图像生成部308在预测模式predMode所指示的预测模式下，使用被输入的预测参数和读出的参考图片(参考图片块)来生成PU或子块的预测图像。

在此，在预测模式predMode指示帧间预测模式的情况下，帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和读出的参考图片(参考图片块)，通过帧间预测来生成PU或子块的预测图像。

帧间预测图像生成部309对预测列表利用标志predFlagLX为1的参考图片列表(L0列表或者L1列表)，根据参考图片索引refIdxLX所指示的参考图片，从参考图片存储器306中读出参考图片块，所述参考图片块位于以解码对象PU为基准的运动矢量mvLX所示的位置。帧间预测图像生成部309以读出的参考图片块为基础进行预测，生成PU的预测图像。帧间预测图像生成部309将生成的PU的预测图像输出至加法部312。在此，参考图片块是指参考图片上的像素的集合(通常为矩形因此称为块)，是为了生成PU或子块的预测图像而参考的区域。

在预测模式predMode指示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和读出的参考图片来进行帧内预测。

帧内预测图像生成部310将生成的PU的预测图像输出至加法部312。

逆量化/逆变换部311将从熵解码部301输入的量化系数逆量化来求出变换系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换，计算残差信号。逆量化/逆变换部311将计算出的残差信号输出至加法部312。

加法部312按每个像素将从帧间预测图像生成部309或帧内预测图像生成部310输入的PU的预测图像和从逆量化/逆变换部311输入的残差信号进行相加，生成PU的解码图像。加法部312将生成的PU的解码图像存储于参考图片存储器306，并向外部输出解码图像Td，该解码图像Td将生成的PU的解码图像按每张图片整合而得到。

(编码流提取装置的构成)

接着，对本实施方式的编码流提取装置51的构成进行说明。图7是表示编码流提取装置51的构成的框图。

编码流提取装置51根据图像编码装置11所生成的编码流Te(输入编码数据)生成编码流Te’(输出编码数据)。如图7所示，编码流提取装置51具备：子图片ID导出部511、熵解码部512以及熵编码部(编码部)513。

(子图片ID导出部511)

子图片ID导出部511接收表示由用户选择的图片整体中的一部分的区域的控制信息。例如，子图片ID导出部511可以构成为从图像解码装置31或图像显示装置41能够接收由用户的选择操作指定的该区域。图像解码装置31或者图像显示装置41将上述控制信息输出至子图片ID导出部511。子图片ID导出部511从上述控制信息导出包括该区域的子图片的ID。

使用图8具体地进行说明。图8是表示图片整体(图片1)中用户所选择的区域R1的一个示例的图。在图8所示的示例中，区域R1的左上坐标为P1(xReg，yReg)。此外，区域R1的宽度为wReg，区域R1的高度为hReg。控制信息表示区域R1的左上坐标P1(xReg，yReg)、区域R1的宽度wReg以及区域R1的高度hReg。

子图片ID导出部511基于从图像解码装置31或者图像显示装置41接收到的控制信息，导出包括由用户选择的区域的子图片ID。例如，在图8所示的示例中，用户所选择的区域R1被包括在子图片2以及图片3中。因此，子图片ID导出部511导出子图片2以及图片3的子图片ID。

子图片ID导出部511将导出的子图片ID输出至熵解码部512的编码流提取部5123以及熵编码部513的报头编码部5131。

需要说明的是，接收了用户的选择操作的图像解码装置31或图像显示装置41可以构成为导出包括由用户选择的区域的子图片的子图片ID。该情况下，图像解码装置31或者图像显示装置41将子图片ID发送至编码流提取装置51。因此，不需要子图片ID导出部511。

(熵解码部512)

熵解码部512对编码流Te中的一部分的编码数据进行解码。如图7所示，熵解码部512具备报头解码部5121以及编码流提取部5123。

报头解码部5121对从图像编码装置11输入的编码数据中子图片参数集SPPS的生成所需的一部分的报头信息(SPPS用报头信息)进行解码。报头解码部5121将SPS、PPS以及SPH以下的编码流输出至编码流提取部5123。此外，报头解码部5121将解码后的SPPS用报头信息输出至报头编码部5131。

编码流提取部5123提取与接收到的子图片ID对应的子图片的编码流(SPH以及SPH以下的编码数据)。或者，从编码流Te中删除不与子图片ID对应的子图片的编码流。编码流提取部5123将报头信息和提取出的子图片的编码流输出至熵编码部513的编码流结合部5133。

(熵编码部513)

熵编码部513对编码流Te’进行编码。如图7所示，熵编码部513具备报头编码部5131以及编码流结合部5133。

报头编码部5131(子图片参数集生成部)根据接收到的子图片ID生成子图片参数集SPPS。报头编码部5131对包括子图片ID的列表在内的子图片参数集SPPS进行编码。报头编码部5131将编码后的子图片参数集SPPS输出至编码流结合部5133。

编码流结合部5133生成含有包括一个或多个子图片识别信息(子图片ID)的子图片参数集SPPS和与上述子图片ID对应的每个子图片的图像数据的编码数据。详细而言，编码流结合部5133如下所述般生成编码流Te’。即，将从编码流提取部5123接收到的报头信息、各子图片的编码流、以及从报头编码部5131接收到的子图片参数集SPPS结合。

或者，可以将本实施方式的编码流提取装置51的构成设为图17所示的构成。图17是表示本实施方式的其它编码流提取装置51a的构成的示例的框图。图17所示的编码流提取装置51a可以被图7所示的编码流提取装置51替换。如图17所示，编码流提取装置51a包括子图片提取部514和SPPS生成部515。此外，编码流提取装置51a中输入有通过外部的设备从控制信息导出的子图片ID。子图片提取部514从编码流Te提取与接收到的子图片ID对应的子图片的编码流(SPH以及SPH以下的编码数据)。或者，从编码流Te中删除不与子图片ID对应的子图片的编码流。SPPS生成部515根据接收到的子图片ID生成子图片参数集SPPS。然后，SPPS生成部515将SPPS与由子图片提取部514提取的子图片的编码流结合，生成编码流Te’。

或者，可以将本实施方式的编码流提取装置51的构成设为图18所示的构成。图18是表示本实施方式的其它编码流提取装置51b的构成的示例的框图。图18所示的编码流提取装置51b可以被图7所示的编码流提取装置51替换。如图18所示，编码流提取装置51b包括SPPS提取部516和子图片提取部517。此外，编码流提取装置51b中输入有通过外部的设备从控制信息导出的子图片ID。此外，图7与图17所示的编码流提取装置不同，输入至图18所示的编码流提取装置51b的编码流Te中预先包括多个子图片参数集。SPPS提取部516从编码流Te提取与接收到的子图片ID对应的SPPS。或者，SPPS提取部516从编码流Te删除不与接收到的子图片ID对应的SPPS。子图片提取部517与子图片提取部514相同地提取与接收到的子图片ID对应的子图片的编码数据。而且，子图片提取部517将由SPPS提取部516输出的SPPS与提取到的子图片的编码数据结合，生成编码流Te’。

或者，可以将本实施方式的编码流提取装置51的构成设为图19所示的构成。图19是表示本实施方式的其它编码流提取装置51c的构成的示例的框图。图19所示的编码流提取装置51c可以被图7所示的编码流提取装置51替换。如图19所示，编码流提取装置51c包括子图片提取部514。子图片提取部514提取与接收到的子图片ID对应的子图片的编码流。或者，从编码流Te中删除不与子图片ID对应的子图片的编码流。然后生成编码流Te’。

(图片和子图片)

本实施方式的图片能够在编码数据中存在一个以上。图片包括一个以上的子图片。如上所述，图4是表示以本实施方式的子图片为结构单元的图片的示例的图。此外，图4表示本实施方式中的图片与子图片的关系。在图4中，示出了编码数据中存在图片1、图片2、图片3这三个图片的示例。图片1包括子图片0至子图片7，图片2包括子图片0、子图片1、子图片4、子图片5。此外，图片2包括子图片3和子图片7。

表示图片包括哪些子图片的信息由子图片参数集SPPS传输/蓄积。编码数据中能够存在一个以上的子图片参数集SPPS。由于按每个子图片参数集SPPS定义图片，因此，在编码数据中具有N个子图片参数集SPPS的情况下，定义N个图片。

子图片可以由一个切片构成，也可以如图4所示，由多个子区域(例如区块、切片)构成子图片。

(子图片参数集SPPS)

在此，对报头编码部5131所生成的子图片参数集SPPS进行说明。子图片参数集SPPS包括表示编码流Te’所包括的图片包括哪些子图片的信息。更具体而言，可以包括用于识别构成该图片的子图片的信息(子图片标识符)。例如，子图片参数集SPPS可以包括表示子图片的子图片标识符的列表included＿subpic＿id[]。而且，子图片参数集SPPS可以包括子图片的大小subpic＿size、由子图片构成的图片的大小pic＿size。NAL解码部32可以从编码流Te’中解码用于识别构成图片的子图片的信息(子图片标识符)、图片大小、子图片大小这些。此外，报头编码部5131可以编码用于识别构成图片的子图片的信息(子图片标识符)、图片大小、子图片大小。

在此，假设图4的图片1、图片2、图片3分别由子图片参数集SPPS1、SPPS2、SPPS3定义，以下，对子图片参数集SPPS进行说明。

与图4所示的图片1对应的子图片参数集SPPS1例如包括以下的信息。

pic＿size＝4096×2048

subpic＿size＝1024×1024

included＿subpic＿id[]＝{0，1，2，3，4，5，6，7}

在此，pic＿size表示图片1的大小。此外，subpic＿size表示子图片的大小。这些参考从报头解码部5121输出的SPPS用报头信息进行设定。需要说明的是，切片数据中可以不包括表示该切片所属的图片以及子图片的大小的信息。此外，图像解码装置31可以通过参考子图片参数集SPPS中包括的子图片大小和图片大小来对与上述一部分的区域对应的编码数据进行解码。需要说明的是，子图片大小可以限制为在所有子图片中相同。

included＿subpic＿id[]表示构成由编码流Te’传输的编码图片的子图片的子图片识别信息(子图片ID)的列表。该子图片ID可以由子图片ID导出部511输出。

在与图片1对应的子图片参数集SPPS1中，included＿subpic＿id[]＝{0，1，2，3，4，5，6，7}。因此，子图片参数集SPPS1指定与子图片识别信息0、1、2、3、4、5、6以及7对应的子图片。子图片的子图片识别信息可以由子图片报头指定。

与图4所示的图片2对应的子图片参数集SPPS2的构成为：

pic＿size＝2048×2048

subpic＿size＝1024×1024

included＿subpic＿id[]＝{0，1，4，5}。

如上所述，在与图片2对应的子图片参数集SPPS2中，included＿subpic＿id[]＝{0，1，4，5}。即，子图片参数集SPPS2指定子图片0、子图片1、子图片4以及子图片5。在图片2中，pic＿size＝2048×2048。

与图4所示的图片3对应的子图片参数集SPPS3的构成为：

pic＿size＝1024×2048

subpic＿size＝1024×1024

included＿subpic＿id[]＝{3，7}。

如上所述，在与图片3对应的子图片参数集SPPS3中，included＿subpic＿id[]＝{3，7}。即，子图片参数集SPPS3指定子图片3以及子图片7。在图片3中，pic＿size＝1024×2048。

图9是表示本实施方式的编码流Te’的构成的一个示例的示意图。如图9所示，切片报头SH包括对应的图片参数集PPS的PPS id。即，切片报头SH具有到对应的图片参数集PPS的链路。此外，图片参数集PPS包括对应的序列参数集SPS的SPS id。即，图片参数集PPS具有到对应的序列参数集SPS的链路。

另一方面，切片报头SH中可以不包括表示对应的子图片参数集SPPS的信息。因此，在需要变更切片与子图片参数集SPPS的关系时，不需要重写切片报头SH。即，起到即使在提取编码数据变更图片的定义的情况下，也不需要进行切片的重写的效果。

而且，一个切片能与多个子图片参数集SPPS相关联。由此，起到能通过定义多个图片(子图片参数集SPPS)而使某个区域(切片、子图片的集合)自由地与各图片建立对应的效果。

如上所述，子图片参数集SPPS指定对应的子图片报头SPH。即，子图片参数集SPPS具有到子图片的链路(上述included＿subpic＿id[])。该情况下，如果仅重写子图片参数集SPPS的链路、即included＿subpic＿id[]，则可以重写图片(子图片)的定义。当然，该情况下也不需要重写切片。然后，子图片报头SPH后续的切片成为属于由SPPS指定的子图片的切片。

例如，图片1中包括子图片0以及子图片3。因此，如图9所示，与图片1对应的子图片参数集SPPS1指定与子图片0对应的子图片报头SPH0以及与子图片3对应的子图片报头SPH3。

此外，图片2中包括子图片0，不包括子图片3。因此，如图9所示，与图片2对应的子图片参数集SPPS2指定与子图片0对应的子图片报头SPH0。此外，子图片参数集SPPS2不指定与子图片3对应的子图片报头SPH3。

此外，图片3中不包括子图片0，包括子图片3。因此，如图9所示，与图片3对应的子图片参数集SPPS3不指定与子图片0对应的子图片报头SPH0。此外，子图片参数集SPPS3指定与子图片3对应的子图片报头SPH3。(子图片参数集SPPS的发送)

子图片参数集SPPS可以构成为由NAL单元发送。例如，可以如下所述般对nal＿unit＿header()的nal＿unit＿type进行定义。

nal＿unit＿type＝41SPPS＿NUT subpicture parameter set

nal＿unit＿type＝42SPH＿NUT subpicture heder

在此，pic＿size以下的语法或子图片ID可以储存于rbsp＿byte。

根据上述构成，编码流提取装置51生成包括一个或多个子图片识别信息(子图片ID)的子图片参数集SPPS。即，编码流提取装置51可以生成表示编码流Te’中包括的子图片的组合的子图片参数集。因此，能够以较少的处理量新生成用户指定的与输入编码数据的一部分的区域对应的编码数据。而且，编码流提取装置51能够生成表示该与一部分的区域对应的子图片的组合的子图片参数集。

由此，在图像解码装置31中，能够仅对用户所希望的区域进行解码，将因传输以及处理引起的延迟较小的运动图像显示在图像显示装置41上。此外，编码流提取装置51发送所需的最小限度的编码数据，因此，能够将施加于传输线路的业务的负荷抑制到最小限度。

或者，在编码流提取装置51将提取到的子图片组合来生成编码数据的情况下，不需要修正切片地址、CTU地址，能够以较小的处理负荷对子图片进行裁剪以及结合。

(子图片参数集SPPS的改进例)

接着，对子图片参数集SPPS的改进例进行说明。本改进例的子图片参数集SPPS包括子图片配置文件以及级别中的至少一方。

换句话说，报头编码部5131将由编码工具的集合定义的配置文件包括在上述子图片参数集中而生成。此外，报头编码部5131将表示图像大小的级别包括在上述子图片参数集中而生成。这些的配置文件以及级别信息参考报头解码部5121输出的SPPS用报头信息等而进行设定。

例如，报头编码部5131可以在上述子图片参数集SPPS1至SPPS3中如下所述般地包括表示子图片级别以及配置文件的信息。

子图片参数集SPPS1

profile＝Main10，level＝4.1

pic＿size＝4096×2048

子图片参数集SPPS2

profile＝Main10，level＝3

pic＿size＝2048×2048

子图片参数集SPPS3

profile＝Main10，level＝2

pic＿size＝1024×2048

根据上述构成，能够对图像解码装置31示出由解码子图片所需的编码工具的集合定义的配置文件。

此外，根据上述构成，能够对图像解码装置31示出表示解码子图片所需的图像大小的级别。

例如，在解码能力比能对图片整体解码的图像解码装置小的图像解码装置中，能够通过参考上述配置文件以及级别来判断是否能够与图片或子图片的解码对应。

(编码流Te’的生成处理)

接着，对编码流提取装置51生成编码流Te’的处理进行说明。图10是表示生成编码流Te’的处理的流程的一个示例的流程图。

如图10所示，子图片ID导出部511从与用户指定的区域对应的控制信息导出包括由用户指定的区域的子图片的ID(S1)。具体而言，如下所述。图4所示图片3由子图片3以及子图片7构成。在图片3中包括的区域是由用户指定的情况下，子图片ID导出部511导出子图片3以及子图片7的子图片ID。

接着，编码流提取部5123从子图片ID导出部511提取与接收到的子图片ID对应的子图片编码数据(S2)。

与S2并行地，报头编码部5131根据接收到的子图片ID和SPPS用报头信息生成子图片参数集SPPS(S3)。

接着，编码流结合部5133将报头信息、各子图片的编码流以及子图片参数集SPPS结合，生成编码流Te’(S4)。

接着，编码流结合部5133将生成的编码流Te’输出至图像解码装置31(S5)。

图11是表示编码流提取装置51所生成的编码流Te’的一个示例的图。在图11中，在用户指定了图4所示的图片3中包括的区域的情况下，示出编码流提取装置51所生成的编码流Te’的示例。如图11所示，编码流Te’中包括：序列参数集SPS以及图片参数集PPS、与图片3对应的子图片参数集SPPS3、与子图片3对应的子图片报头SPH3、编码子图片3(SPICT3)、与子图片7对应的子图片报头SPH7以及子图片7(SPICT7)。

〔附记事项〕

需要说明的是，可以通过计算机实现上述的实施方式中的图像编码装置11、图像解码装置31的一部分，例如，熵解码部301、预测参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及预测参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于图像编码装置11、图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读取的记录介质”可以包括：像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的介质；像作为此情况下的服务器、客户端的计算机系统内部的易失性存储器那样在固定时间内保存程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。

此外，也可以将上述的实施方式中的图像编码装置11、图像解码装置31的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路来实现。图像编码装置11、图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

以上，参考附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

〔应用例〕

上述图像编码装置11和图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄到的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。

首先，参考图14对能将上述的图像编码装置11和图像解码装置31用于运动图像的发送和接收的情况进行说明。

图14的(a)是表示搭载有图像编码装置11的发送装置PROD_A的构成的框图。如图14的(a)所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的图像编码装置11被用作该编码部PROD_A1。

作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图14的(a)中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。

图14的(b)是表示搭载有图像解码装置31的接收装置PROD_B的构成的框图。如图14(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的图像解码装置31被用作该解码部PROD_B3。

接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图14的(b)中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。

需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。

此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一种作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。

需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。

接着，参考图15，对能将上述的图像编码装置11和图像解码装置31用于运动图像的记录和再现的情况进行说明。

图15的(a)是表示搭载有上述的图像编码装置11的记录装置PROD_C的构成的框图。如图15(a)所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的图像编码装置11被用作该编码部PROD_C1。

需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Disc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。

此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图15的(a)中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。

需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。

作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。

图15的(b)是表示搭载有上述的图像解码装置31的再现装置PROD_D的构成的框图。如图15的(b)所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的图像解码装置31被用作该解码部PROD_D2。

需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。

此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图15的(b)中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。

需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。

作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。

(硬件实现和软件实现)

此外，上述的图像解码装置31和图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central Processing Unit：中央处理器)而以软件方式实现。

在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。

作为上述记录介质，例如可以使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字多功能光盘)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩膜ROM/EPROM(Erasable ProgrammableRead-Only Memory：可擦可编程只读存储器)/EEPROM(Electrically Erasable andProgrammable Read-Only Memory：电可擦可编程只读存储器、注册商标)/闪速ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。

此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。

本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。

(关联申请的相互参考)

本申请基于2018年5月15日提出申请的日本专利申请：日本特愿2018-094031主张优先权的利益，并通过对其进行参考而将其全部内容包括到本说明书中。

工业上的可利用性

本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的图像解码装置和生成将图像数据编码而得到的编码数据的图像编码装置。此外，能优选地应用于由图像编码装置生成并被图像解码装置参考的编码数据的数据结构。

附图标记说明

11 图像编码装置

16 NAL生成部(编码数据生成部)

13a～13n 子图片编码部

51 编码流提取装置

513 熵编码部(编码部)

31 图像解码装置

33a～33n 子图片解码部(解码部)

36 图片合成部(解码部)

Claims (8)

1.一种图像编码装置，通过对图像数据进行编码来生成编码数据，其特征在于，

具备编码数据生成部，所述编码数据生成部生成包括对图片进行分割而得的每个子图片的图像数据的编码数据，

上述编码数据生成部：

按每个子图片生成包括用于识别上述子图片的子图片识别信息的子图片报头，将生成的子图片报头包括在上述编码数据中。

2.根据权利要求1所述的图像编码装置，其特征在于，

具备子图片编码部，所述子图片编码部生成每个上述子图片的编码数据，

上述子图片编码部：

按每个子图片对表示上述子图片中包括的切片的第一个CTU地址的切片地址进行初始化，

生成包括上述切片地址的切片报头，

将上述切片报头包括在每个上述子图片的编码数据中。

3.一种编码流提取装置，根据输入编码数据生成输出编码数据，其特征在于，

具备编码部，所述编码部生成上述输出编码数据，

上述输入编码数据中包括：

对图片进行分割而得的每个子图片的图像数据；以及

按每个子图片生成的子图片报头，所述子图片报头包括用于识别上述子图片的子图片识别信息，

上述编码部生成编码数据，所述编码数据包括：

子图片参数集，包括一个或多个子图片识别信息；以及

每个上述子图片的图像数据。

4.根据权利要求3所述的编码流提取装置，其特征在于，上述编码部将要解码的图片以及子图片的大小包括在上述子图片参数集中。

5.根据权利要求3或4所述的编码流提取装置，其特征在于，上述编码部将由编码工具的集合定义的配置文件包括在上述子图片参数集中。

6.根据权利要求3至5中的任一项所述的编码流提取装置，其特征在于，上述编码部将表示上述子图片的大小的级别包括在上述子图片参数集中。

7.一种图像解码装置，对编码数据进行解码，其特征在于，

具备解码部，所述解码部通过对上述编码数据进行解码来生成解码图像，

上述编码数据中包括：

对图片进行分割而得的每个子图片的图像数据；

按每个子图片生成的子图片报头，所述子图片报头包括用于识别上述子图片的子图片识别信息；以及

子图片参数集，包括一个或多个子图片识别信息，

上述解码部参考上述编码数据中包括的上述子图片参数集和上述子图片报头来生成解码图像。

8.根据权利要求7所述的图像解码装置，其特征在于，

上述编码数据中包括切片报头，所述切片报头包括按每个上述子图片被初始化的切片地址，

上述解码部参考上述编码数据中包括包含上述切片地址的切片报头来生成上述解码图像。

Images