CN103563385A - 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置 - Google Patents

Abstract

图像编码方法包括：决定步骤（S601），决定合并候选的最大数；第1导出步骤（S602），基于与编码对象块在空间或时间上邻接的各块，导出多个第1合并候选；判断步骤（S604），判断多个第1合并候选的数量是否比最大数小；第2导出步骤（S605），在判断为多个第1合并候选的数量比最大数小的情况下，将多个第1合并候选组合而导出双向预测的第2合并候选；选择步骤（S606），从多个第1合并候选及第2合并候选中，选择在编码对象块的编码中使用的合并候选；编码步骤（S607），使用所决定的最大数将用来确定所选择的合并候选的索引编码，将编码后的索引向比特流附加。

Description

图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置

技术领域

本发明涉及图像编码方法及图像解码方法。

背景技术

在运动图像编码处理中，一般利用运动图像具有的空间方向及时间方向的冗余性进行信息量的压缩。这里，一般作为利用空间方向的冗余性的方法而使用向频域的变换。此外，作为利用时间方向的冗余性的方法，使用图片间预测（以后称作“帧间(inter)预测”）编码处理。在帧间预测编码处理中，在将某个图片(picture)编码时，使用相对于编码对象图片在显示时间顺序上处于前方或后方的已编码的图片作为参照图片。并且，通过相对于该参照图片的编码对象图片的运动检测，导出运动矢量。并且，通过计算基于导出的运动矢量进行运动补偿而得到的预测图像数据与编码对象图片的图像数据之间的差分，将时间方向的冗余性去除（例如，参照非专利文献1）。这里，在运动检测中，计算编码图片内的编码对象块与参照图片内的块之间的差分值，决定差分值最小的参照图片内的块作为参照块。并且，使用编码对象块和参照块来检测运动矢量。

现有技术文献

非专利文献

非专利文献1：ITU－T Recommendation H.264“Advanced video codingfor generic audio visual services”，2010年3月

非专利文献2：JCT－VC，“WD3：Working Draft3of High－EfficiencyVideo Coding”，JCTVC－E603，March2011.

发明概要

发明要解决的问题

但是，在上述以往的技术中，在使用帧间预测的图像编码及解码中，希望使编码效率提高。

发明内容

所以，本发明的目的是提供一种在使用帧间预测的图像编码及解码中能够使编码效率提高的图像编码方法及图像解码方法。

用于解决问题的手段

有关本发明的一技术方案的图像编码方法，通过将图像按照每个块编码而生成比特流，其特征在于，包括：决定步骤，决定合并候选的最大数，该合并候选是在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选；第1导出步骤，基于在与上述编码对象块在空间或时间上邻接的各块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；第2导出步骤，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述多个第1合并候选组合，导出双向预测的第2合并候选；选择步骤，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述编码对象块的编码中使用的合并候选；以及编码步骤，使用所决定的上述最大数将用来确定所选择的上述合并候选的索引编码，将编码后的上述索引向上述比特流附加。

另外，这些全面的或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM（Compact Disc Read OnlyMemory）等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据本发明的一技术方案，能够使使用帧间预测的图像编码及解码的编码效率提高。

附图说明

图1A是用来说明B图片的参照图片列表的一例的图。

图1B是表示B图片的预测方向0的参照图片列表的一例的图。

图1C是表示B图片的预测方向1的参照图片列表的一例的图。

图2是用来说明时间预测运动矢量模式的运动矢量的图。

图3是表示在合并模式中使用的邻接块的运动矢量的一例的图。

图4是用来说明合并块候选列表的一例的图。

图5是表示合并块候选尺寸与向合并块索引分配的比特序列的关系的图。

图6是表示使用合并模式的情况下的编码处理的一例的流程图。

图7是表示使用合并模式的情况下的解码处理的流程图。

图8是表示使合并块索引附带在比特流中时的语法的图。

图9是表示有关实施方式1的图像编码装置的结构的框图。

图10是表示有关实施方式1的图像编码装置的处理动作的流程图。

图11是表示实施方式1的合并块候选列表的一例的图。

图12是表示实施方式1的合并块候选及合并块候选列表尺寸的计算处理的流程图。

图13是表示判断实施方式1的合并块候选是否是可合并候选、将可合并候选数更新的处理的流程图。

图14是表示实施方式1的combined合并块候选的追加处理的流程图。

图15是表示实施方式1的是否存在combined合并块候选的判断处理的流程图。

图16是表示实施方式1的关于合并块候选的选择的处理的流程图。

图17是表示有关实施方式2的图像编码装置的结构的框图。

图18是表示有关实施方式2的图像编码装置的处理动作的流程图。

图19是表示有关实施方式3的图像解码装置的结构的框图。

图20是表示有关实施方式3的图像解码装置的处理动作的流程图。

图21是表示有关实施方式4的图像解码装置的结构的框图。

图22是表示有关实施方式4的图像解码装置的处理动作的流程图。

图23是表示有关实施方式5的图像编码装置的结构的框图。

图24是表示有关实施方式5的图像编码装置的处理动作的流程图。

图25是表示实施方式5的合并块候选列表的一例的图。

图26是表示实施方式5的合并块候选及合并块候选列表尺寸的计算处理的流程图。

图27是表示实施方式5的可合并候选数的更新处理的流程图。

图28是表示实施方式5的新候选的追加处理的流程图。

图29是表示有关实施方式6的图像编码装置的结构的框图。

图30是表示有关实施方式6的图像编码装置的处理动作的流程图。

图31是表示有关实施方式7的图像解码装置的结构的框图。

图32是表示有关实施方式7的图像解码装置的处理动作的流程图。

图33是表示实施方式7的合并块候选列表尺寸的设定处理的流程图。

图34是表示实施方式7的合并块候选的计算处理的流程图。

图35是表示将合并块索引向比特流附加时的语法的一例的图。

图36是表示将合并块候选列表尺寸固定为合并块候选数的最大值的情况下的语法的一例的图。

图37是表示有关实施方式8的图像解码装置的结构的框图。

图38是表示有关实施方式8的图像解码装置的处理动作的流程图。

图39是实现内容分发服务的内容供给系统的整体结构图。

图40是数字广播用系统的整体结构图。

图41是表示电视机的结构例的模块图。

图42是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图43是表示作为光盘的记录介质的构造例的图。

图44A是表示便携电话的一例的图。

图44B是表示便携电话的结构例的模块图。

图45是表示复用数据的结构的图。

图46是示意地表示各流在复用数据中怎样被复用的图。

图47是更详细地表示在PES包序列中视频流怎样被保存的图。

图48是表示复用数据的TS包和源包的构造的图。

图49是表示PMT的数据结构的图。

图50是表示复用数据信息的内部结构的图。

图51是表示流属性信息的内部结构的图。

图52是表示识别影像数据的步骤的图。

图53是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。

图54是表示切换驱动频率的结构的图。

图55是表示识别影像数据、切换驱动频率的步骤的图。

图56是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图57A是表示将信号处理部的模块共用的结构的一例的图。

图57B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的认识）

已经标准化的称作H.264的运动图像编码方式中，为了信息量的压缩，使用I图片、P图片、B图片的3种图片类型。

I图片并不是通过帧间预测编码处理而被编码的。即，I图片是通过图片内预测（以后，称作“帧内(intra)预测”）编码处理而被编码的。P图片参照在显示时间顺序上处于编码对象图片的前方或后方的已经编码的1个图片进行帧间预测编码。B图片参照在显示时间顺序上处于编码对象图片的前方或后方的已经编码的两个图片进行帧间预测编码。

在帧间预测编码中，生成用来确定参照图片的参照图片列表。参照图片列表是对在帧间预测中参照的已编码的参照图片分配了参照图片索引的列表。例如，在B图片中，由于能够参照两个图片进行编码，所以生成两个参照图片列表（L0，L1）。

图1A是用来说明B图片的参照图片列表的一例的图。图1B表示双向预测的预测方向0的参照图片列表0（L0）的一例。这里，在参照图片列表0中，参照图片索引0的值0被分配给显示顺序2的参照图片0。此外，参照图片索引0的值1被分配给显示顺序1的参照图片1。此外，参照图片索引0的值2被分配给显示顺序0的参照图片2。即，相对于编码对象图片而言显示顺序在时间上越接近的参照图片，就被分配具有越小的值的参照图片索引。

另一方面，图1C表示双向预测中的预测方向1的参照图片列表1（L1）的一例。这里，在参照图片列表1中，参照图片索引1的值0被分配给显示顺序1的参照图片1。此外，参照图片索引1的值1被分配给显示顺序2的参照图片0。此外，参照图片索引2的值2被分配给显示顺序0的参照图片2。

这样，能够对各参照图片分配按照每个预测方向而不同的参照图片索引的值（图1A的参照图片0、1），或者分配相同的参照图片索引的值（图1A的参照图片2）。

此外，在称作H.264的运动图像编码方式（非专利文献1）中，作为B图片的各编码对象块的帧间预测的编码模式而使用运动矢量检测模式。在运动矢量检测模式中，将预测图像数据及编码对象块的图像数据的差分值、和在预测图像数据生成中使用的运动矢量编码。此外，在运动矢量检测模式中，作为预测方向而能够选择双向预测和单向预测。在双向预测中，参照处于编码对象图片的前方或后方的已经编码的两个图片而生成预测图像。在单向预测中，参照处于前方或后方的已经编码的1个图片而生成预测图像。

此外，在称作H.264的运动图像编码方式中，在B图片的编码中，在导出运动矢量时，能够选择称作时间预测运动矢量模式的编码模式。使用图2说明时间预测运动矢量模式中的帧间预测编码方法。图2是用来说明时间预测运动矢量模式的运动矢量的图。具体而言，图2表示将图片B2的块a用时间预测运动矢量模式编码的情况。

这里，利用在作为处于图片B2的后方的参照图片的图片P3内的、处于与块a相同位置的块b（以下，称作“co－located(相同位置)块”）的编码中使用的运动矢量vb。运动矢量vb是在参照图片P1将块b编码时使用的运动矢量。

使用与运动矢量vb平行的运动矢量，从作为前方参照图片的图片P1、和作为后方参照图片的图片P3，取得用于块a的两个参照块。并且，通过基于所取得的两个参照块进行双向预测，将块a编码。即，在将块a编码时使用的运动矢量对于图片P1是运动矢量va1，对于图片P3是运动矢量va2。

此外，作为B图片或P图片中的各编码对象块的帧间预测模式而研究了合并模式(merge mode)（非专利文献2）。在合并模式中，将在编码对象块的邻接块的编码中使用的预测方向、运动矢量及参照图片索引复制，进行编码对象块的编码。此时，使在复制中使用的邻接块的索引等附带到比特流中。由此，能够在解码侧选择在编码中使用的运动方向、运动矢量及参照图片索引。参照图3说明具体例。

图3是表示在合并模式中使用的邻接块的运动矢量的一例的图。在图3中，邻接块A是编码对象块的左邻接的已编码块。邻接块B是编码对象块的上邻接的已编码块。邻接块C是编码对象块的右上邻接的已编码块。邻接块D是编码对象块的左下邻接的已编码块。

此外，邻接块A是通过预测方向0的单向预测编码的块。邻接块A作为相对于预测方向0的参照图片索引RefL0_A所表示的参照图片的运动矢量，具有预测方向0的运动矢量MvL0_A。这里，所谓MvL0，表示对由参照图片列表0（L0）确定的参照图片进行参照的运动矢量。此外，所谓MvL1，表示对由参照图片列表1（L1）确定的参照图片进行参照的运动矢量。

此外，邻接块B是通过预测方向1的单向预测编码的块。邻接块B作为相对于预测方向1的参照图片索引RefL1_B表示的参照图片的运动矢量而具有预测方向1的运动矢量MvL1_B。

此外，邻接块C是通过帧内预测编码的块。

此外，邻接块D是通过预测方向0的单向预测编码的块。邻接块D作为相对于预测方向0的参照图片索引RefL0_D表示的参照图片的运动矢量而具有预测方向0的运动矢量MvL0_D。

在这样的情况下，例如从使用邻接块A～D的预测方向、运动矢量及参照图片索引及co－located块求出的时间预测运动矢量模式的预测方向、运动矢量及参照图片索引中，作为编码对象块的预测方向、运动矢量及参照图片索引而选择编码效率最好的。并且，使表示所选择的预测方向、运动矢量及参照图片索引的块的合并块索引附带到比特流中。

例如，在选择了邻接块A的情况下，将编码对象块使用预测方向0的运动矢量MvL0_A及参照图片索引RefL0_A编码。并且，仅使表示使用了图4所示那样的邻接块A的合并块索引的值0附带到比特流中。由此，能够削减预测方向、运动矢量及参照图片索引的信息量。

此外，如图4所示，在合并模式中，将不能在编码中使用的候选（以下，称作“不能合并候选”）或预测方向、运动矢量及参照图片索引的组合相互一致的候选（以下，称作“重复候选”）从合并块候选中删除。

这样，通过削减合并块候选数，将对合并块索引分配的代码量削减。这里，所谓不能合并，表示合并块候选（1）是通过帧内预测被编码的块、（2）是包括编码对象块的切片(slice)或图片边界外的块、或者（3）是还没有被编码的块等。

在图4的例子中，将邻接块C通过帧内预测编码。因此，合并块索引3的合并块候选是不能合并候选，被从合并块候选列表删除。此外，邻接块D的预测方向、运动矢量及参照图片索引与邻接块A一致。因此，合并块索引4的合并块候选被从合并块候选列表删除。结果，最终合并块候选数为3，合并块候选列表的列表尺寸被设定为3。

合并块索引对应于合并块候选列表尺寸的大小，如图5所示，被分配比特序列并被进行可变长编码。这样，在合并模式中，通过使对合并模式索引分配的比特序列根据合并块候选列表尺寸的大小而变化，削减了代码量。

图6是表示使用合并模式的情况下的编码处理的一例的流程图。在步骤S1001中，从邻接块及co－located块取得合并块候选的运动矢量、参照图片索引及预测方向。在步骤S1002中，从合并块候选中将重复候选及不能合并候选删除。在步骤S1003中，将删除处理后的合并块候选数设定为合并块候选列表尺寸。在步骤S1004中，决定在编码对象块的编码中使用的合并块索引。在步骤S1005中，将所决定的合并块索引使用由合并块候选列表尺寸决定的比特序列进行可变长编码。

图7是表示使用合并模式的情况下的解码处理的一例的流程图。在步骤S2001中，从邻接块及co－located块取得合并块候选的运动矢量、参照图片索引及预测方向。在步骤S2002中，从合并块候选中将重复候选及不能合并候选删除。在步骤S2003中，将删除处理后的合并块候选数设定为合并块候选列表尺寸。在步骤S2004中，根据比特流，将在解码对象块的解码中使用的合并块索引使用合并块候选列表尺寸解码。在步骤S2005中，使用解码后的合并块索引表示的合并块候选生成预测图像，进行解码处理。

图8表示将合并块索引向比特流附加时的语法。在图8中，merge_idx表示合并块索引。merge_flag表示合并标志。NumMergeCand表示合并块候选列表尺寸。在该NumMergeCand中，设定了从合并块候选中将不能合并候选及重复候选删除后的合并块候选数。

如以上这样，使用合并模式将图像编码或解码。

但是，在上述合并模式中，在将编码对象块编码时使用的预测方向依存于合并块候选的预测方向。因而，例如在全部的合并块候选是通过单向预测编码的块的情况下，在合并模式中，将编码对象块仅通过单向预测进行编码。即，即使是在与单向预测相比用双向预测编码能够更有效率地将编码对象块编码的情况下，也仅能够将编码对象块用单向预测进行编码，有编码效率下降的情况。

所以，有关本发明的一技术方案的图像编码方法，通过将图像按照每个块编码而生成比特流，其特征在于，包括：决定步骤，决定合并候选的最大数，该合并候选是在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选；第1导出步骤，基于在与上述编码对象块在空间或时间上邻接的各块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；第2导出步骤，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述多个第1合并候选组合，导出双向预测的第2合并候选；选择步骤，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述编码对象块的编码中使用的合并候选；以及编码步骤，使用所决定的上述最大数将用来确定所选择的上述合并候选的索引编码，将编码后的上述索引向上述比特流附加。

据此，能够将基于与编码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况下，也能够新导出双向预测的第2合并候选。结果，能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够使编码效率提高。

此外，在判断为第1合并候选比最大数小的情况下，能够导出第2合并候选。因而，能够在不超过最大数的范围内使合并候选的数量增加，能够使编码效率提高。

进而，能够将用来确定合并候选的索引使用所决定的最大数编码。即，能够不依存于实际导出的合并候选的数量而将索引编码。因而，即使是丢失了合并候选的导出所需要的信息（例如，co－located块等的信息）的情况，在解码侧也能够将索引解码，能够使容错性提高。此外，在解码侧，能够不依存于实际导出的合并候选的数量而将索引解码。即，在解码侧能够不等待合并候选的导出处理而进行索引的解码处理。即，能够生成能并行地进行合并候选的导出处理和索引的解码处理的比特流。

例如，也可以是，在上述第2导出步骤中，将上述多个第1合并候选中的一个第1合并候选中包含的第1预测方向的运动矢量及参照图片索引与另一个第1合并候选中包含的第2预测方向的运动矢量及参照图片索引组合，导出上述第2合并候选。

据此，能够将两个第1的合并候选中包含的互相不同的两个预测方向的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。

例如，也可以是，在上述第1导出步骤中，以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。

据此，能够以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。结果，能使第2合并候选的数量增加，能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加。因而，能够进一步使编码效率提高。

例如，也可以是，在上述第1导出步骤中，将在与上述编码对象块在空间上邻接的块中的除了通过帧内预测而编码后的块、位于包含上述编码对象块的切片或图片的边界外的块和还没有被编码的块以外的块的编码中使用的预测方向、运动矢量及参照图片索引，作为上述第1合并候选导出。

据此，能够从用于得到合并候选的适当的块导出第1合并候选。

例如，也可以是，在上述编码步骤中，还将表示所决定的上述最大数的信息向上述比特流附加。

据此，能够将表示所决定的最大数的信息附加于比特流。因而，能够以适当的单位切换最大数，能够提高编码效率。

例如，也可以是，上述图像编码方法还包括：切换步骤，将编码处理切换为依据第1标准的第1编码处理或依据第2标准的第2编码处理；附加步骤，将表示切换后的上述编码处理所依据的上述第1标准或上述第2标准的识别信息向上述比特流附加；在上述编码处理被切换为上述第1编码处理的情况下，作为上述第1编码处理，进行上述决定步骤、上述第1导出步骤、上述判断步骤、上述第2导出步骤、上述选择步骤和上述编码步骤。

据此，能够切换依据第1标准的第1编码处理和依据第2标准的第2编码处理。

此外，有关本发明的一技术方案的图像解码方法，将包含在比特流中的编码图像按照每个块解码，其特征在于，包括：决定步骤，决定合并候选的最大数，该合并候选是在解码对象块的解码中使用的预测方向、运动矢量及参照图片索引的候选；第1导出步骤，基于在与上述解码对象块在空间或时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；第2导出步骤，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述第1合并候选组合，导出双向预测的第2合并候选；解码步骤，使用所决定的上述最大数，将附加在上述比特流中的编码后的索引解码，该索引是用来确定合并候选的索引；以及选择步骤，基于解码后的上述索引，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述解码对象块的解码中使用的合并候选。

据此，能够将基于与解码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况下，也能够新导出双向预测的第2合并候选。结果，能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够将提高了编码效率的比特流适当地解码。

此外，在判断为第1合并候选比最大数小的情况下，能够导出第2合并候选。因而，能够在不超过最大数的范围内使合并候选的数量增加，能够将进一步提高了编码效率的比特流适当地解码。

进而，能够将用来确定合并候选的索引使用所决定的最大数解码。即，能够不依存于实际导出的合并候选的数量而将索引解码。因而，即使是丢失了合并候选的导出所需要的信息（例如，co－located块等的信息）的情况，也能够将索引解码，能够使容错性提高。此外，能够不依存于实际导出的合并候选的数量而将索引解码。即，能够不等待合并候选的导出处理而进行索引的解码处理。即，能够并行地进行合并候选的导出处理和索引的解码处理。

例如，也可以是，在上述第2导出步骤中，将上述多个第1合并候选中的一个第1合并候选中包含的第1预测方向的运动矢量及参照图片索引与另一个第1合并候选中包含的第2预测方向的运动矢量及参照图片索引组合，导出上述第2合并候选。

据此，能够将两个第1的合并候选中包含的互相不同的两个预测方向的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。

例如，也可以是，在上述第1导出步骤中，以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。

据此，能够以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。结果，能使第2合并候选的数量增加，能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加。因而，能够将进一步提高了编码效率的比特流适当地解码。

例如，也可以是，在上述第1导出步骤中，将在与上述解码对象块在空间上邻接的块中的除了通过帧内预测而解码后的块、位于包含上述解码对象块的切片或图片的边界外的块和还没有被解码的块以外的块的解码中使用的预测方向、运动矢量及参照图片索引，作为上述第1合并候选导出。

据此，能够从用于得到合并候选的适当的块导出第1合并候选。

例如，也可以是，在上述决定步骤中，基于附加在上述比特流中的表示最大数的信息，决定上述最大数。

据此，能够基于附加于比特流的信息决定最大数。因而，能够对以适当的单位切换最大数而编码的图像进行解码。

例如，也可以是，上述图像解码方法还包括切换步骤，该切换步骤根据附加在上述比特流中的表示第1标准或第2标准的识别信息，将解码处理切换为依据上述第1标准的第1解码处理或依据上述第2标准的第2解码处理；在上述解码处理被切换为第1解码处理的情况下，作为上述第1解码处理，进行上述决定步骤、上述第1导出步骤、上述判断步骤、上述第2导出步骤、上述解码步骤和上述选择步骤。

据此，能够切换依据第1标准的第1解码处理和依据第2标准的第2解码处理。

另外，这些全面的或具体的形态也可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过系统、装置、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图对有关本发明的一技术方案的图像编码装置及图像解码装置具体地说明。

另外，以下说明的实施方式都是表示本发明的一具体例的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。

此外，这里，所谓单向预测，是指仅参照第1参照图片列表（参照图片列表0）及第2参照图片列表（参照图片列表1）中的一个图片列表的预测。所谓双向预测（2方向预测），是指参照第1参照图片列表及第2参照图片列表双方的预测。

另外，双向预测并不需要是必定参照前方及后方的参照图片的预测。即，双向预测也可以是参照两个相同方向（前方或后方）的参照图片的预测。

（实施方式1）

图9是表示有关实施方式1的图像编码装置的结构的框图。图像编码装置100通过将图像按照每个块编码而生成比特流。

图像编码装置100如图9所示，具备减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、合并块候选计算部114、colPic存储器115和可变长编码部116。

减法部101通过按照每个块从包含在输入图像序列中的输入图像数据减去预测图像数据，生成预测误差数据。

正交变换部102对所生成的预测误差数据进行从图像域向频域的变换。

量化部103对变换为频域的预测误差数据进行量化处理。

逆量化部104对由量化部103量化处理后的预测误差数据进行逆量化处理。

逆正交变换部105对逆量化处理后的预测误差数据进行从频域向图像域的变换。

加法部106通过按照每个块将预测图像数据与由逆正交变换部105逆量化处理后的预测误差数据相加，生成重建图像数据。

在块存储器107中，以块单位保存重建图像数据。

在帧存储器108中，以帧单位保存重建图像数据。

图片类型决定部112决定以I图片、B图片及P图片的哪个图片类型将输入图像数据编码。并且，图片类型决定部112生成表示所决定的图片类型的图片类型信息。

帧内预测部109通过使用保存在块存储器107中的块单位的重建图像数据进行帧内预测，生成编码对象块的帧内预测图像数据。

帧间预测部110通过使用保存在帧存储器108中的帧单位的重建图像数据、和用运动检测等导出的运动矢量进行帧间预测，生成编码对象块的帧间预测图像数据。

开关113在将编码对象块进行帧内预测编码的情况下，将由帧内预测部109生成的帧内预测图像数据作为编码对象块的预测图像数据向减法部101及加法部106输出。另一方面，开关113在将编码对象块进行帧间预测编码的情况下，将由帧间预测部110生成的帧间预测图像数据作为编码对象块的预测图像数据向减法部101及加法部106输出。

合并块候选计算部114使用编码对象块的邻接块的运动矢量等及保存在colPic存储器115中的co－located块的运动矢量等（colPic信息），导出合并模式的合并块候选。进而，合并块候选计算部114将导出后的合并块候选追加到合并块候选列表中。

此外，合并块候选计算部114通过用后述的方法将导出的相互不同的合并块候选具有的、预测方向0的运动矢量及参照图片索引和预测方向1的运动矢量及参照图片索引组合起来，从而导出双向预测的合并块候选（以下，称作“combined合并块候选”）作为新候选。并且，合并块候选计算部114将所导出的combined合并块候选作为新的合并块候选向合并块候选列表追加。进而，合并块候选计算部114计算合并块候选数。

此外，合并块候选计算部114对导出的各合并块候选分配合并块索引的值。并且，合并块候选计算部114将合并块候选和合并块索引向帧间预测控制部111发送。此外，合并块候选计算部114将计算出的合并块候选数向可变长编码部116发送。

帧间预测控制部111选择使用由运动检测导出的运动矢量的预测模式（运动检测模式）、和使用从合并块候选导出的运动矢量的预测模式（合并模式）中的能得到最小的预测误差的预测模式。此外，帧间预测控制部111将表示预测模式是否是合并模式的合并标志向可变长编码部116发送。此外，在作为预测模式而选择了合并模式的情况下，帧间预测控制部111将与所决定的合并块候选对应的合并块索引向可变长编码部116发送。进而，帧间预测控制部111将包括编码对象块的运动矢量等的colPic信息向colPic存储器115转送。

可变长编码部116通过对量化处理后的预测误差数据和合并标志及图片类型信息进行可变长编码处理，生成比特流。此外，可变长编码部116将合并块候选数设定为合并块候选列表尺寸。并且，可变长编码部116对在编码中使用的合并块索引分配与合并块候选列表尺寸对应的比特序列，对所分配的比特序列进行可变长编码。

图10是表示有关实施方式1的图像编码装置100的处理动作的流程图。

在步骤S101中，合并块候选计算部114从编码对象块的邻接块及co－located块导出合并块候选。此外，合并块候选计算部114通过后述的方法计算合并块候选列表尺寸。

例如，在图3那样的情况下，合并块候选计算部114选择邻接块A～D作为合并块候选。进而，合并块候选计算部114计算具有根据co－located块的运动矢量通过时间预测模式计算出的运动矢量、参照图片索引及预测方向的co－located合并块，作为合并块候选。

合并块候选计算部114如图11（a）那样对各合并块候选分配合并块索引。并且，合并块候选计算部114通过用后述的方法进行不能合并候选及重复候选的删除、以及新combined合并块候选追加，由此计算图11（b）那样的合并块候选列表及合并块候选列表尺寸。

合并块索引的值越小则被分配越短的代码。即，在合并块索引的值较小的情况下合并块索引所需要的信息量变少。

另一方面，如果合并块索引的值变大，则合并块索引所需要的信息量变大。因而，如果对具有更高精度的运动矢量及参照图片索引的可能性较高的合并块候选分配值较小的合并块索引，则编码效率变高。

所以，合并块候选计算部114例如也可以将被选择为合并块的次数按照每个合并块候选进行计测，对该次数较多的块分配值较小的合并块索引。具体而言，可以考虑确定在邻接块中选择的合并块，在对象块的编码时使对于所确定的合并块的合并块索引的值变小。

另外，在合并块候选不具有运动矢量等的信息的情况下（是通过帧内预测编码的块的情况、是位于图片或切片的边界外等的块的情况、或者是还没有被编码的块的情况下等），不能在编码中使用。

在本实施方式中，将不能在编码中使用的合并块候选称作不能合并候选。此外，将能够在编码中使用的合并块候选称作可合并候选。此外，在多个合并块候选中，将运动矢量、参照图片索引及预测方向全部与其他某个合并块候选一致的候选称作重复候选。

在图3的情况下，由于邻接块C是通过帧内预测编码的块，所以为不能合并候选。此外，邻接块D由于运动矢量、参照图片索引及预测方向全部与邻接块A一致，所以为重复候选。

在步骤S102中，帧间预测控制部111将使用通过运动检测导出的运动矢量而生成的预测图像的预测误差、与使用从合并块候选得到的运动矢量而生成的预测图像的预测误差用后述的方法进行比较，并选择预测模式。这里，如果所选择的预测模式是合并模式，则帧间预测控制部111将合并标志设置为1，如果不是，则将合并标志设置为0。

在步骤S103中，判断合并标志是否是1（即，预测模式是否是合并模式）。

这里，如果步骤S103的判断结果是真（S103的“是”），则在步骤S104中，可变长编码部116将合并标志附加到比特流中。进而，在步骤S105中，可变长编码部116对在编码中使用的合并块候选的合并块索引分配与图5所示那样的合并块候选列表尺寸相对应的比特序列。并且，可变长编码部116对被分配的比特序列进行可变长编码。

另一方面，如果步骤S103的判断结果是伪（S103的“否”），则在步骤S106中，可变长编码部116将合并标志及运动检测矢量模式的信息附加到比特流中。

在本实施方式中，如图11（a）那样，作为与邻接块A对应的合并块索引的值而分配“0”。此外，作为与邻接块B对应的合并块索引的值而分配“1”。此外，作为与co－located合并块对应的合并块索引的值而分配“2”。此外，作为与邻接块C对应的合并块索引的值而分配“3”。此外，作为与邻接块D对应的合并块索引的值而分配“4”。

另外，合并块索引的值的分配方式并不限定于该例。例如，在使用后述的方法追加了新combined合并块候选的情况下等，可变长编码部116也可以对原来的合并块候选分配较小的值，对新combined合并块候选分配较大的值。即，可变长编码部116也可以对原来的合并块候选优先分配较小的值的合并块索引。

此外，合并块候选并不一定限定于邻接块A～D的位置。例如，也可以使用位于左下邻接块D之上的邻接块等作为合并块候选。此外，并不一定需要使用全部的邻接块作为合并块候选。例如，也可以仅使用邻接块A、B作为合并块候选。

此外，在本实施方式中，在图10的步骤S105中，可变长编码部116将合并块索引对比特流附加，但并不一定需要将合并块索引向比特流附加。例如，可变长编码部116在合并块候选列表尺寸是“1”的情况下，也可以不将合并块索引对比特流附加。由此，能够削减合并块索引的信息量。

图12是表示图10的步骤S101的详细的处理的流程图。具体而言，图12表示计算合并块候选及合并块候选列表尺寸的方法。以下，对图12进行说明。

在步骤S111中，合并块候选计算部114通过后述的方法判断合并块候选［N］是否是可合并候选。

这里，N是用来表示各合并块候选的索引值。在本实施方式中，N取0到4的值。具体而言，对合并块候选［0］分配图3的邻接块A。此外，对合并块候选［1］分配图3的邻接块B。此外，对合并块候选［2］分配co－located合并块。此外，对合并块候选［3］分配图3的邻接块C。此外，对合并块候选［4］分配图3的邻接块D。

在步骤S112中，合并块候选计算部114取得合并块候选［N］的运动矢量、参照图片索引及预测方向，追加到合并块候选列表中。

在步骤S113中，合并块候选计算部114如图11所示，从合并块候选列表中搜索不能合并候选及重复候选并删除。

在步骤S114中，合并块候选计算部114通过后述的方法向合并块候选列表追加新combined合并块候选。这里，在追加新combined合并块候选时，也可以进行合并块索引的值的再分配，以对原来就有的合并块候选优先分配较小的值的合并块索引。即，合并块候选计算部114也可以进行合并块索引的值的再分配，以对新combined合并块候选分配值较大的合并块索引。由此，能够削减合并块索引的代码量。

在步骤S115中，合并块候选计算部114将combined合并块追加后的合并块候选数设定为合并块候选列表尺寸。在图11的例子中，通过后述的方法将合并块候选数计算为“5”，对合并块候选列表尺寸设定“5”。

另外，步骤S114中的新combined合并块候选，是在通过后述的方法、合并块候选数没有达到最大合并块候选数的情况下对合并块候选新追加的候选。这样，在合并块候选数没有达到最大合并块候选数的情况下，图像编码装置100通过追加用于双向预测的新combined合并块候选，能够提高编码效率。

图13是表示图12的步骤S111的详细的处理的流程图。具体而言，图13表示判断合并块候选［N］是否是可合并候选、将可合并候选数更新的方法。以下，对图13进行说明。

在步骤S121中，合并块候选计算部114判断合并块候选［N］是否是（1）通过帧内预测编码的块、或（2）位于包含编码对象块的切片或图片的边界外的块、或（3）还没有被编码的块。

这里，如果步骤S121的判断结果是真（S121的“是”），则在步骤S122中，合并块候选计算部114将合并块候选［N］设定为不能合并候选。另一方面，如果步骤S121的判断结果是伪（S121的“否”），则在步骤S123中，合并块候选计算部114将合并块候选［N］设定为可合并候选。

图14是表示图12的步骤S114的详细的处理的流程图。具体而言，图14表示追加combined合并块候选的方法。以下，对图14进行说明。

在步骤S131中，合并块候选计算部114判断合并块候选数是否比最大合并块候选数小。即，合并块候选计算部114判断合并块候选数是否没有达到最大合并块候选数。

这里，如果步骤S131的判断结果为真（S131的“是”），则在步骤S132中，合并块候选计算部114通过后述的方法判断作为合并块候选是否存在能够向合并块候选列表追加的新combined合并块候选。这里，如果步骤S132的判断结果是真（S132的“是”），则在步骤S133中，合并块候选计算部114对新combined合并块候选分配合并块索引的值，对合并块候选列表追加新combined合并块候选。进而，在步骤S134中，合并块候选计算部114对合并块候选数加1。如果步骤S132的判断结果是伪（S132的“否”），则为了计算下个combined合并块候选而向步骤S131的处理返回。

另一方面，如果步骤S131的判断结果是伪（S131或S132的“否”），则结束新combined合并块候选追加处理。即，在合并块候选数达到了最大合并块候选数的情况下，结束新combined合并块候选追加处理。

图15是表示图14的步骤S132的详细的处理的流程图。具体而言，图15表示判断是否存在combined合并块候选的方法。以下，对图15进行说明。

在步骤S141中，合并块候选计算部114将合并块候选索引idx1、idx2更新。合并块候选索引idx1、idx2是为了判断是否能够将被分配了合并块索引idx1、idx2的合并块候选［idx1］及合并块候选［idx2］的运动矢量及参照图片索引组合并生成combined合并块候选而使用的索引。

例如，首先，合并块候选计算部114将合并块候选索引idx1、idx2更新为“0”、“1”。并且，合并块候选计算部114通过进行从步骤S142到步骤S149的处理，判断是否能够使用合并块候选列表中包含的合并块候选［0］的运动矢量及参照图片索引和合并块候选［1］的运动矢量及参照图片索引生成combined合并块候选，由此判断combined合并块候选的有无。

并且，接着在判断combined合并块候选的有无时，合并块候选计算部114将合并块候选索引idx1、idx2例如更新为“0”、“2”。并且，合并块候选计算部114通过进行步骤S142到步骤S149的处理，判断是否能够使用合并块候选列表中包含的合并块候选［0］的运动矢量及参照图片索引和合并块候选［2］的运动矢量及参照图片索引生成combined合并块候选，由此判断combined合并块候选的有无。

进而，在判断下个combined合并块候选的有无时，合并块候选计算部114将合并块候选索引idx1、idx2例如更新为“0”、“3”。

这样，每当判断combined合并块候选的有无时，合并块候选计算部114通过一边在步骤S141中将合并块索引idx1、idx2依次更新一边进行步骤S142到步骤S149的处理，判断combined合并块候选的有无。

另外，合并块索引idx1、idx2的更新步骤并不需要限定于上述步骤。即，只要是能够使用已经导出的合并块候选的全部的组合进行combined合并块候选的有无的判断的步骤，是怎样的步骤都可以。

接着，在步骤S142中，合并块候选计算部114判断是否（1）合并块索引idx1及idx2不是相同的值、并且（2）合并块候选［idx1］不是combined合并块候选、并且（3）合并块候选［idx2］不是combined合并块候选。

这里，如果步骤S142的判断结果是真（S142的“是”），则在步骤S143中，合并块候选计算部114判断是否（1）合并块候选［idx1］及合并块候选［idx2］的预测方向不同、或（2）合并块候选［idx1］及合并块候选［idx2］都是双向预测。这里，如果步骤S143的判断结果是真（S143的“是”），则在步骤S144中，合并块候选计算部114判断是否（1）合并块候选［idx1］是预测方向0或双向预测、并且（2）合并块候选［idx2］是预测方向1或双向预测。即，合并块候选计算部114判断是否合并块候选［idx1］至少具有预测方向0的运动矢量、并且合并块候选［idx2］至少具有预测方向1的运动矢量。

这里，如果步骤S144的判断结果是真（S144的“是”），则在步骤S145a中，合并块候选计算部114将合并块候选［idx1］的预测方向0的运动矢量及参照图片索引分配给combined合并块的预测方向0。进而，在步骤S146a中，合并块候选计算部114将合并块候选［idx2］的预测方向1的运动矢量及参照图片索引分配给combined合并块的预测方向1。由此，合并块候选计算部114计算双向预测的combined合并块。

另一方面，如果步骤S144的判断结果是伪（S144的“否”），则在步骤S145b中，合并块候选计算部114将合并块候选［idx2］的预测方向0的运动矢量及参照图片索引分配给combined合并块的预测方向0。进而，在步骤S146b中，合并块候选计算部114将合并块候选［idx1］的预测方向1的运动矢量及参照图片索引分配给combined合并块的预测方向1。由此，合并块候选计算部114计算双向预测的combined合并块。

在步骤S147中，合并块候选计算部114判断在合并块候选列表内是否已经存在具有与计算出的combined合并块相同的运动矢量、参照图片索引及预测方向的合并块候选。即，合并块候选计算部114判断combined合并块是否不是重复候选。

这里，如果步骤S147的判断结果是真（S147的“是”），则在步骤S148中，合并块候选计算部114判断为有combined合并块候选。

如果步骤S142、步骤S143及步骤S147的判断结果的某个是伪（S142，S143或S147的“否”），则在步骤S149中，合并块候选计算部114判断为没有combined合并块候选。

图16是表示图10的步骤S102的详细的处理的流程图。具体而言，图16表示关于合并块候选的选择的处理。以下，对图16进行说明。

在步骤S151中，帧间预测控制部111对合并块候选索引设置0，对最小预测误差设置运动矢量检测模式的预测误差（成本，cost），对合并标志设置0。这里，成本例如通过R－D最优化模型的以下的式子计算。

（式1）

Cost=D+λR

在式1中，D表示编码失真。例如可以使用用由某个运动矢量生成的预测图像对编码对象块进行编码及解码而得到的像素值与编码对象块的原来的像素值之间的差分绝对值和等，作为D。此外，R表示产生代码量。使用为了将在预测图像生成中使用的运动矢量编码而需要的代码量等作为R。此外，λ是拉格朗日的未定乘数。

在步骤S152中，帧间预测控制部111判断合并块候选索引的值是否比编码对象块的合并块候选数小。即，帧间预测控制部111判断是否存在还没有被进行以下的步骤S153～步骤S155的处理的合并块候选。

这里，如果步骤S152的判断结果是真（S152的“是”），则在步骤S153中，帧间预测控制部111计算被分配了合并块候选索引的合并块候选的成本。并且，在步骤S154中，帧间预测控制部111判断计算出的合并块候选的成本是否比最小预测误差小。

这里，如果步骤S154的判断结果是真（S154的“是”），则在步骤S155中，帧间预测控制部111将最小预测误差、合并块索引及合并标志的值更新。另一方面，如果步骤S154的判断结果是伪（S154的“否”），则帧间预测控制部111不将最小预测误差、合并块索引及合并标志的值更新。

在步骤S156中，帧间预测控制部111对合并块候选索引的值加1，重复进行步骤S152到步骤S156。

另一方面，如果步骤S152的判断结果是伪（S152的“否”），即如果不再有未处理的合并块候选，则在步骤S157中，帧间预测控制部111确定最终设定的合并标志及合并块索引的值。

这样，根据有关本实施方式的图像编码装置100，通过基于已经导出的合并块候选新计算双向预测的合并块候选，能够提高编码效率。更具体地讲，图像编码装置100通过基于根据邻接块及co－located块计算出的多个合并块候选将一个合并块候选的预测方向0的运动矢量及参照图片索引与另一个合并块候选的预测方向1的运动矢量及参照图片索引组合，能够计算双向预测的合并块候选（combined合并块候选）。并且，图像编码装置100通过将这样计算出的combined合并块候选追加到合并块候选列表中，能够提高编码效率。此外，图像编码装置100通过在将不能合并候选或重复候选从合并块候选列表删除后将combined合并块候选追加到合并块候选列表中，能够不增加最大合并块候选数而提高编码效率。

另外，在本实施方式中，表示了在合并模式中总是对比特流附加合并标志的例子，但并不一定限定于此。例如，也可以根据在编码对象块的帧间预测中使用的块形状等而强制地选择合并模式。在此情况下，也可以通过对比特流不附加合并标志来削减信息量。

另外，在本实施方式中，表示了使用从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引、进行编码对象块的编码的合并模式的例子，但并不一定限定于此。例如也可以使用跳过合并(skip merge)模式。在跳过合并模式中，使用如图11（b）那样制作出的合并块候选列表，与合并模式同样从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引，进行编码对象块的编码。结果，如果编码对象块的全部的预测误差数据是0，则将跳过标志设置为1，将跳过标志及合并块索引附加到比特流中。此外，如果预测误差数据不是0，则将跳过标志设置为0，将跳过标志、合并标志、合并块索引及预测误差数据附加到比特流中。

另外，在本实施方式中，表示了使用从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引，进行编码对象块的编码的合并模式的例子，但并不一定限定于此。例如，也可以使用如图11（b）那样制作出的合并块候选列表将运动矢量检测模式的运动矢量编码。即，通过从运动矢量检测模式的运动矢量减去由合并块索引指定的合并块候选的运动矢量求出差分。并且，也可以使求出的差分及合并块索引附带到比特流中。

此外，也可以使用运动检测模式的参照图片索引RefIdx_ME和合并块候选的参照图片索引RefIdx_Merge对合并块候选的运动矢量MV_Merge进行缩放(scaling)，通过从运动检测模式的运动矢量减去缩放后的合并块候选的运动矢量scaledMV_Merge来求出差分。并且，也可以将求出的差分及合并块索引附加到比特流中。以下表示缩放的式子的例子。

（式2）

scaledMV_Merge=MV_Merge×（POC（RefIdx_ME）－curPOC）/（POC（RefIdx_Merge）－curPOC）

这里，POC（RefIdx_ME）表示参照图片索引RefIdx_ME所表示的参照图片的显示顺序。POC（RefIdx_Merge）表示参照图片索引RefIdx_Merge所表示的参照图片的显示顺序。curPOC表示编码对象图片的显示顺序。

（实施方式2）

在上述实施方式1中，合并块候选计算部114在图15的步骤S145中判断combined合并块候选是否是重复候选，但并不一定需要这样判断。例如，步骤S145的判断也可以省略。由此，图像编码装置100能够削减合并块候选的导出的处理量。

此外，在上述实施方式1中，将combined合并块候选向合并块候选列表追加，直到合并块候选数达到最大合并块候选数，但并不一定限定于此。例如也可以是，在图14的步骤S131中，合并块候选计算部114判断合并块候选数是否达到了作为比最大合并块候选数小的阈值的预先设定的阈值。由此，图像编码装置100能够削减合并块候选列表导出的处理量。

此外，在上述实施方式1中，如果合并块候选数达到最大合并块候选数，则结束combined合并块候选的追加，但并不一定限定于此。例如也可以是，在图14的步骤S131中，合并块候选计算部114并不判断合并块候选数是否达到最大合并块候选数，而是向合并块候选列表追加combined合并块候选直到不再有新的combined合并块候选。由此，图像编码装置100能够扩大合并块候选的选择的幅度，能够提高编码效率。

将以上那样的有关实施方式1的图像编码装置的变形例作为有关实施方式2的图像编码装置，以下具体地说明。

图17是表示有关实施方式2的图像编码装置200的结构的框图。该图像编码装置200通过将图像按照每个块编码而生成比特流。图像编码装置200具备合并候选导出部210、预测控制部220和编码部230。

合并候选导出部210对应于上述实施方式1的合并块候选计算部114。合并候选导出部210导出合并候选。并且，合并候选导出部210生成例如将导出的各合并候选与用来确定该合并候选的索引（以下，称作“合并索引”）建立了对应的合并候选列表。

所谓合并候选，是在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选。即，合并候选至少包括1个预测方向、运动矢量及参照图片索引的集合。

另外，合并候选与实施方式1的合并块候选对应。合并候选列表与合并块候选列表相同。

如图17所示，合并候选导出部210具备第1导出部211和第2导出部212。

第1导出部211基于在与编码对象块在空间或时间上邻接的块的编码中使用的预测方向、运动矢量及参照图片索引导出第1合并候选。并且，第1导出部211例如将这样导出的第1合并候选与合并索引建立对应，向合并候选列表登记。

所谓在空间上邻接的块，是包括编码对象块的图片内的块，而且是与编码对象块邻接的块。具体而言，在空间上邻接的块例如是图3所示的邻接块A～D。

所谓在时间上邻接的块，是包含在与包括编码对象块的图片不同的图片中的块，而且是与编码对象块对应的块。具体而言，在时间上邻接的块例如是co－located块。

另外，在时间上邻接的块并不需要一定是与编码对象块相同位置的块（co－located块）。例如，在时间上邻接的块也可以是与co－located块邻接的块。

另外，第1导出部211例如也可以导出在与编码对象块在空间上邻接的块中的除了不能合并块以外的块的编码中使用的预测方向、运动矢量及参照图片索引作为第1合并候选。所谓不能合并块，是通过帧内预测编码的块、位于包括编码对象块的切片或图片的边界外的块、或者还没有编码的块。由此，第1导出部211能够为了得到合并候选而从适当的块导出第1合并候选。

第2导出部212将所导出的多个第1合并候选组合而导出双向预测的第2合并候选。具体而言，第2导出部212例如将在多个第1合并候选中的一个第1合并候选中包含的第1预测方向（预测方向0）的运动矢量及参照图片索引、与另一个第1合并候选中包含的第2预测方向（预测方向1）的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。更具体地讲，第2导出部212例如与实施方式1的combined合并块候选的导出（图15等）同样地，导出第2合并候选。

进而，第2导出部212例如将这样导出的第2合并候选与合并索引建立对应，登记到合并候选列表中。此时，第2导出部212与实施方式1同样，也可以将第2合并候选登记到合并候选列表中，以对第1合并候选分配比第2合并候选小的值的合并索引。由此，图像编码装置200在作为在编码中使用的合并候选而选择第1合并候选比第2合并候选的可能性高的情况下，能够削减代码量，能够使编码效率提高。

预测控制部220从导出的第1合并候选及第2合并候选中，选择在编码对象块的编码中使用的合并候选。即，预测控制部220从合并候选列表中选择在编码对象块的编码中使用的合并候选。

编码部230对比特流附加用来确定所选择的合并候选的索引（合并索引）。例如，编码部230使用导出的第1合并候选的数量与第2合并候选的数量之和（合并候选数）将合并索引编码，将编码后的合并索引附加到比特流中。

接着，对如以上那样构成的图像编码装置200的各种动作进行说明。

图18是表示有关实施方式2的图像编码装置200的处理动作的流程图。

首先，第1导出部211导出第1合并候选（S201）。接着，第2导出部212导出第2合并候选（S202）。

并且，预测控制部220从第1合并候选及第2合并候选中，选择在编码对象块的编码中使用的合并候选（S203）。例如，预测控制部220与实施方式1同样，从合并候选列表中选择式1所示的成本为最小的合并候选。

最后，编码部230将用来确定所选择的合并候选的索引向比特流附加（S204）。

如以上这样，根据有关本实施方式的图像编码装置200，能够将基于与编码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况下，图像编码装置200也能够新导出双向预测的第2合并候选。结果，图像编码装置200能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够使编码效率提高。

（实施方式3）

图19是表示有关实施方式3的图像解码装置300的结构的框图。该图像解码装置300是与有关实施方式1的图像编码装置100对应的装置。图像解码装置300例如将由有关实施方式1的图像编码装置100生成的比特流中包含的编码图像按照每个块解码。

图像解码装置300如图19所示，具备可变长解码部301、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、合并块候选计算部311和colPic存储器312。

可变长解码部301对输入的比特流进行可变长解码处理，生成图片类型信息、合并标志及量化系数。此外，可变长解码部301使用合并块候选计算部311计算出的合并块候选数进行合并块索引的可变长解码处理。

逆量化部302对通过可变长解码处理得到的量化系数进行逆量化处理。

逆正交变换部303通过将由逆量化处理得到的正交变换系数从频域向图像域变换，生成预测误差数据。

在块存储器305中，以块单位保存将预测误差数据与预测图像数据相加而生成的解码图像数据。

在帧存储器306中，以帧单位保存解码图像数据。

帧内预测部307通过使用保存在块存储器305中的块单位的解码图像数据进行帧内预测，生成解码对象块的预测图像数据。

帧间预测部308通过使用保存在帧存储器306中的帧单位的解码图像数据进行帧间预测，生成解码对象块的预测图像数据。

开关310在将解码对象块进行帧内预测解码的情况下，将由帧内预测部307生成的帧内预测图像数据作为解码对象块的预测图像数据向加法部304输出。另一方面，开关310在将解码对象块进行帧间预测解码的情况下，将通过帧间预测部308生成的帧间预测图像数据作为解码对象块的预测图像数据向加法部304输出。

合并块候选计算部311使用解码对象块的邻接块的运动矢量等及保存在colPic存储器312中的co－located块的运动矢量等（colPic信息）导出多个合并块候选。进而，合并块候选计算部311将导出的合并块候选向合并块候选列表追加。

此外，合并块候选计算部311通过用后述的方法将相互不同的合并块候选具有的预测方向0的运动矢量及参照图片索引与预测方向1的运动矢量及参照图片索引组合，由此导出combined合并块候选作为新候选。并且，合并块候选计算部311将所导出的combined合并块候选新向合并块候选列表追加。进而，合并块候选计算部311计算合并块候选数。

此外，合并块候选计算部311对各合并块候选分配合并块索引的值。并且，合并块候选计算部311将被分配了合并块索引的值的合并块候选向帧间预测控制部309发送。此外，合并块候选计算部311将计算出的合并块候选数向可变长解码部301发送。

如果解码后的合并标志是“0”，则帧间预测控制部309使用运动矢量检测模式的信息使帧间预测部308生成帧间预测图像。另一方面，如果合并标志是“1”，则帧间预测控制部309根据多个合并块候选，基于解码后的合并块索引，决定在帧间预测中使用的运动矢量、参照图片索引及预测方向。并且，帧间预测控制部309使用所决定的运动矢量、参照图片索引及预测方向，使帧间预测部308生成帧间预测图像。此外，帧间预测控制部309将包括解码对象块的运动矢量等的colPic信息向colPic存储器312转送。

最后，加法部304通过将预测图像数据与预测误差数据相加，生成解码图像数据。

图20是表示有关实施方式3的图像解码装置300的处理动作的流程图。

在步骤S301中，可变长解码部301将合并标志解码。

在步骤S302中，如果合并标志是“1”（S302的“是”），则在步骤S303中，合并块候选计算部311通过与图10的步骤S101同样的方法生成合并块候选。此外，合并块候选计算部311计算合并块候选数作为合并块候选列表尺寸。

在步骤S304中，可变长解码部301使用合并块候选列表尺寸对比特流中的合并块索引进行可变长解码。

在步骤S305中，帧间预测控制部309使用解码后的合并块索引表示的合并块候选的运动矢量、参照图片索引及预测方向，使帧间预测部308生成帧间预测图像。

在步骤S302中，如果合并标志是“0”（S302的“否”），则在步骤S306中，帧间预测部308使用由可变长解码部301解码后的运动矢量检测模式的信息生成帧间预测图像。

另外，在由步骤S303计算出的合并块候选列表尺寸是“1”的情况下，也可以不解码合并块索引而将其推测为“0”。

这样，根据有关实施方式3的图像解码装置300，通过基于已经导出的合并块候选新计算双向预测的合并块候选，能够将提高了编码效率的比特流适当地解码。更具体地讲，图像解码装置300通过基于根据邻接块及co－located块计算出的多个合并块候选将一个合并块候选的预测方向0的运动矢量及参照图片索引与另一个合并块候选的预测方向1的运动矢量及参照图片索引组合，能够计算双向预测的合并块候选（combined合并块候选）。并且，图像编码装置100通过将这样计算出的combined合并块候选追加到合并块候选列表中，能够将提高了编码效率的比特流适当地解码。

此外，图像编码装置100通过在将不能合并候选或重复候选从合并块候选列表删除后将combined合并块候选追加到合并块候选列表中，能够不增加最大合并块候选数而将提高了编码效率的比特流适当地解码。

（实施方式4）

上述有关实施方式3的图像解码装置具备图19所示那样的构成要素，但并不需要必定具备全部的构成要素。以下，作为有关实施方式3的图像解码装置的变形例，具体地说明有关实施方式4的图像解码装置。

图21是表示有关实施方式4的图像解码装置400的结构的框图。该图像解码装置400是与有关实施方式2的图像编码装置200对应的装置。图像解码装置400例如将在由有关实施方式2的图像编码装置200生成的比特流中包含的编码图像按照每个块解码。

如图21所示，图像解码装置400具备合并候选导出部410、解码部420和预测控制部430。

合并候选导出部410与上述实施方式3的合并块候选计算部311对应。合并候选导出部410导出合并候选。并且，合并候选导出部410例如生成将所导出的各合并候选与用来确定该合并候选的索引（合并索引）建立了对应的合并候选列表。

如图21所示，合并候选导出部410具备第1导出部411和第2导出部412。

第1导出部411与实施方式2的第1导出部211同样地导出第1合并候选。具体而言，第1导出部411基于与解码对象块在空间或在时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出第1合并候选。并且，第1导出部411例如将这样导出的第1合并候选与合并索引建立对应登记到合并候选列表中。

第2导出部412将所导出的多个第1合并候选组合，导出双向预测的第2合并候选。具体而言，第2导出部412与实施方式2的第2导出部212同样地导出第2合并候选。并且，第2导出部412例如将这样导出的第2合并候选与合并索引建立对应登记到合并候选列表中。

更具体地讲，第2导出部412例如将在多个第1合并候选中的一个第1合并候选中包含的第1预测方向（预测方向0）的运动矢量及参照图片索引与另一个第1合并候选中包含的第2预测方向（预测方向1）的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。

解码部420从比特流取得用来确定合并候选的索引。例如，解码部420通过使用所导出的第1合并候选的数与第2合并候选的数之和（合并候选数）将附加到比特流中的编码后的合并索引解码，取得合并索引。

预测控制部430基于所取得的索引，从导出的第1合并候选及第2合并候选中，选择在解码对象块的解码中使用的合并候选。即，预测控制部430从合并候选列表中选择在解码对象块的解码中使用的合并候选。

接着，对如以上那样构成的图像解码装置400的各种动作进行说明。

图22是表示有关实施方式4的图像解码装置400的处理动作的流程图。

首先，第1导出部411导出第1合并候选（S401）。接着，第2导出部412导出第2合并候选（S402）。并且，解码部420从比特流取得合并索引（S403）。

最后，预测控制部220基于所取得的索引，从第1合并候选及第2合并候选中，选择在解码对象块的解码中使用的合并候选（S404）。

如以上这样，根据有关本实施方式的图像解码装置400，能够将基于与解码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况下，图像解码装置400也能够新导出双向预测的第2合并候选。结果，图像解码装置400能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够将提高了编码效率的比特流适当地解码。

（实施方式5）

在实施方式5中，合并块候选列表尺寸的导出方法与实施方式1不同。对本实施方式的合并块候选列表尺寸的导出方法详细地说明。

在实施方式1的合并模式中，对在将合并块索引编码或解码时使用的合并块候选列表尺寸设定合并块候选数。该合并块候选数在使用包括co－located块等的参照图片信息将不能合并候选或重复候选删除后得到。

因此，在图像编码装置和图像解码装置中在合并块候选数上发生了不一致的情况下等，在对合并块索引分配的比特序列上，在图像编码装置和图像解码装置中发生不一致。结果，有图像解码装置不能将比特流正确地解码的情况。

例如，在因在传送路径等中发生的丢包等而丢失了作为co－located块而参照的参照图片的信息的情况下，co－located块的运动矢量或参照图片索引变为不明。因此，从co－located块生成的合并块候选的信息变为不明。在这样的情况下，在解码时不能从合并块候选将不能合并候选或重复候选正确地删除。结果，图像解码装置不能正确地求出合并块候选列表尺寸，不能将合并块索引正常地解码。

所以，有关本实施方式的图像编码装置通过不依存于包括co－located块等的参照图片信息的方法计算在将合并块索引编码或解码时使用的合并块候选列表尺寸。因此，图像编码装置能够提高容错性。

图23是表示有关实施方式5的图像编码装置500的结构的框图。另外，在图23中，对于与图9同样的构成要素赋予相同的标号而省略说明。

图像编码装置500如图23所示，具备减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、帧间预测控制部111、图片类型决定部112、开关113、合并块候选计算部514、colPic存储器115和可变长编码部516。

合并块候选计算部514使用编码对象块的邻接块的运动矢量等及保存在colPic存储器115中的co－located块的运动矢量等（colPic信息）导出合并模式的合并块候选。并且，合并块候选计算部514通过后述的方法计算可合并候选数。

此外，合并块候选计算部514对导出的合并块候选分配合并块索引的值。并且，合并块候选计算部514将合并块候选和合并块索引向帧间预测控制部111发送。此外，合并块候选计算部514将计算出的可合并候选数向可变长编码部116发送。

可变长编码部516通过对量化处理后的预测误差数据、合并标志及图片类型信息进行可变长编码处理，生成比特流。此外，可变长编码部516将可合并候选数设定为合并块候选列表尺寸。并且，可变长编码部516对在编码中使用的合并块索引分配与合并块候选列表尺寸对应的比特序列，进行可变长编码。

图24是表示有关实施方式5的图像编码装置500的处理动作的流程图。另外，在图24中，对于与图10同样的步骤赋予相同的标号而适当省略说明。

在步骤S501中，合并块候选计算部514从编码对象块的邻接块及co－located块导出合并块候选。此外，合并块候选计算部514通过后述的方法计算合并块候选列表尺寸。

例如，在图3那样的情况下，合并块候选计算部514选择邻接块A～D作为合并块候选。进而，合并块候选计算部514计算包括根据co－located块的运动矢量通过时间预测模式计算出的运动矢量等的co－located合并块作为合并块候选。

合并块候选计算部514如图25（a）那样，对各合并块候选分配合并块索引。并且，合并块候选计算部514通过用后述的方法进行不能合并候选及重复候选的删除、以及新候选追加，计算图25（b）那样的合并块候选列表及合并块候选列表尺寸。

合并块索引的值越小就被分配越短的代码。即，在合并块索引的值较小的情况下，合并块索引中需要的信息量变少。

另一方面，如果合并块索引的值变大，则在合并块索引中需要的信息量变大。因而，如果对具有精度更高的运动矢量及参照图片索引的可能性较高的合并块候选分配值较小的合并块索引，编码效率变高。

所以，合并块候选计算部514例如也可以将被选择为合并块的次数按照每个合并块候选计进行测，对于该次数较多的块分配值较小的合并块索引。具体而言，可以考虑确定在邻接块中选择的合并块，在对象块的编码时使对于所确定的合并块的合并块索引的值变小。

另外，在合并块候选不具有运动矢量等的信息的情况下（是通过帧内预测编码的块的情况下、是位于图片或切片的边界外等的块的情况下、或是还没有被编码的块的情况下等），该合并块候选不能在编码中使用。

在本实施方式中，将不能在编码中使用的合并块候选称作不能合并候选。此外，将能够在编码中使用的合并块候选称作可合并候选。此外，在多个合并块候选中，将运动矢量、参照图片索引及预测方向全部与其他某个合并块候选一致的候选称作重复候选。

在图3的情况下，由于邻接块C是通过帧内预测编码的块，所以为不能合并候选。此外，由于邻接块D的运动矢量、参照图片索引及预测方向全部与邻接块A一致，所以为重复候选。

在步骤S102中，帧间预测控制部111将使用通过运动检测导出的运动矢量而生成的预测图像的预测误差、与使用从合并块候选得到的运动矢量而生成的预测图像的预测误差进行比较，并选择预测模式。这里，如果所选择的预测模式是合并模式，则帧间预测控制部111将合并标志设置为1，如果不是，则将合并标志设置为0。

在步骤S103中，判断合并标志是否是1（即，预测模式是否是合并模式）。

这里，如果步骤S103的判断结果是真（S103的“是”），则在步骤S104中，可变长编码部516将合并标志附加到比特流中。进而，在步骤S505中，可变长编码部516对在编码中使用的合并块候选的合并块索引分配与图5所示那样的合并块候选列表尺寸对应的比特序列。并且，可变长编码部516对所分配的比特序列进行可变长编码。

另一方面，如果步骤S103的判断结果是伪（S103的“否”），则在步骤S106中，可变长编码部516将合并标志及运动检测矢量模式的信息附加到比特流中。

在本实施方式中，如图25（a）那样，合并块索引的值作为与邻接块A对应的合并块索引的值而被分配“0”。此外，作为与邻接块B对应的合并块索引的值而被分配“1”。此外，作为与co－located合并块对应的合并块索引的值而被分配“2”。此外，作为与邻接块C对应的合并块索引的值而被分配“3”。此外，作为与邻接块D对应的合并块索引的值而被分配“4”。

另外，合并块索引的值的分配方式并不限定于该例。例如，可变长编码部516在使用实施方式1所记载的方法追加了新候选的情况下，或者在使用后述的方法追加了新候选的情况下等，也可以对原来的合并块候选分配较小的值，对新候选分配较大的值。即，可变长编码部516也可以对原来的合并块候选优先分配较小的值的合并块块索引。

此外，合并块候选并不一定限定于邻接块A～D的位置。例如，也可以使用位于左下邻接块D之上的邻接块等作为合并块候选。此外，不需要一定将全部的邻接块作为合并块候选使用。例如，也可以仅使用邻接块A、B作为合并块候选。

此外，在本实施方式中，在图24的步骤S505中，可变长编码部516将合并块索引附加到比特流中，但并不需要一定将合并块索引附加到比特流中。例如，可变长编码部116在合并块候选列表尺寸是1的情况下，也可以不将合并块索引向比特流附加。由此，能够削减合并块索引的信息量。

图26是表示图24的步骤S501的详细的处理的流程图。具体而言，图26表示计算合并块候选及合并块候选列表尺寸的方法。以下，对图26进行说明。

在步骤S511中，合并块候选计算部514通过后述的方法判断合并块候选［N］是否是可合并候选。并且，合并块候选计算部514按照判断结果将可合并候选数更新。

这里，N是用来表示各合并块候选的索引值。在本实施方式中，N取0到4的值。具体而言，对于合并块候选［0］分配图3的邻接块A。此外，对于合并块候选［1］分配图3的邻接块B。此外，对于合并块候选［2］分配co－located合并块。此外，对于合并块候选［3］分配图3的邻接块C。此外，对于合并块候选［4］分配图5的邻接块D。

在步骤S512中，合并块候选计算部514取得合并块候选［N］的运动矢量、参照图片索引及预测方向，向合并块候选列表追加。

在步骤S513中，合并块候选计算部514如图25所示，从合并块候选列表搜索不能合并候选及重复候选并删除。

在步骤S514中，合并块候选计算部514通过实施方式1所记载的方法或后述的方法，向合并块候选列表追加新候选。这里，当追加新候选时，合并块候选计算部514也可以进行合并块索引的值的再分配，以对原来就有的合并块候选优先分配较小的值的合并块索引。即，合并块候选计算部514也可以进行合并块索引的值的再分配，以对新候选分配值较大的合并块索引。由此，能够削减合并块索引的代码量。

在步骤S515中，合并块候选计算部514将在步骤S511中计算出的可合并候选数设定为合并块候选列表尺寸。在图25的例子中，通过后述的方法，将可合并候选数计算为“4”，在合并块候选列表尺寸中设定“4”。

另外，步骤S514中的新候选，是在实施方式1所记载的方法或后述的方法中，在合并块候选数没有达到可合并候选数的情况下对合并块候选新追加的候选。例如，新候选是combined合并块候选。此外，例如新候选也可以是位于图3的左下邻接块D之上的邻接块。此外，新候选例如也可以是与co－located块的邻接块A～D对应的块。此外，新候选例如也可以是具有参照图片的画面整体或一定的区域中的运动矢量、参照图片索引及预测方向的统计值等的块。这样，在合并块候选数没有达到可合并候选数的情况下，合并块候选计算部514通过追加具有新的运动矢量、参照图片索引及预测方向的新候选，能够提高编码效率。

图27是表示图26的步骤S511的详细的处理的流程图。具体而言，图27表示判断合并块候选［N］是否是可合并候选、并将可合并候选数更新的方法。以下，对图27进行说明。

在步骤S521中，合并块候选计算部514判断合并块候选［N］是否是（1）通过帧内预测编码的块、或（2）位于包含编码对象块的切片或图片的边界外的块、或（3）还没有被编码的块。

这里，如果步骤S521的判断结果是真（S521的“是”），则在步骤S522中，合并块候选计算部514将合并块候选［N］设定为不能合并候选。另一方面，如果步骤S521的判断结果是伪（S521的“否”），则在步骤S523中，合并块候选计算部514将合并块候选［N］设定为可合并候选。

在步骤S524中，合并块候选计算部514判断合并块候选［N］是否是可合并候选或co－located合并块候选。这里，如果步骤S524的判断结果是真（S524的“是”），则在步骤S525中，合并块候选计算部514对合并块候选数加1，将合并块候选数更新。另一方面，如果步骤S524的判断结果是伪（S524的“否”），则合并块候选计算部514不将可合并候选数更新。

这样，在合并块候选是co－located合并块的情况下，合并块候选计算部514不论co－located块是可合并候选还是不能合并候选，都对可合并候选数加1。由此，即使在因丢包等而丢失了co－located合并块的信息的情况下，也不会在图像编码装置和图像解码装置中在可合并候选数上发生不一致。

该可合并候选数在图26的步骤S515中被设定为合并块候选列表尺寸。进而，在图24的步骤S505中，将合并块候选列表尺寸在合并块索引的可变长编码中使用。由此，即使是丢失了包含co－located块等的参照图片信息的情况，图像编码装置500也能够生成能够将合并块索引正常地解码的比特流。

图28是表示图26的步骤S514的详细的处理的流程图。具体而言，图28表示追加新候选的方法。以下，对图28进行说明。

在步骤S531中，合并块候选计算部514判断合并块候选数是否比可合并候选数小。即，合并块候选计算部514判断合并块候选数是否没有达到可合并候选数。

这里，如果步骤S531的判断结果是真（S531的“是”），则在步骤S532中，合并块候选计算部514判断是否存在能够作为合并块候选追加到合并块候选列表中的新候选。这里，如果步骤S532是真（S532的“是”），则在步骤S533中，合并块候选计算部514对新候选分配合并块索引的值，向合并块候选列表追加新候选。进而，在步骤S534中，对合并块候选数加1。

另一方面，如果步骤S101或步骤S532的判断结果是伪（S531或S532的“否”），则结束新候选追加处理。即，在合并块候选数达到了可合并候选数的情况下、或者在不存在新候选的情况下，结束新候选追加处理。

这样，根据有关本实施方式的图像编码装置500，能够通过不依存于包含co－located块等的参照图片信息的方法，计算在将合并块索引编码或解码时使用的合并块候选列表尺寸。由此，图像编码装置500能够提高容错性。

更具体地讲，有关本实施方式的图像编码装置500不论co－located合并块是否是可合并候选，只要合并块候选是co－located合并块，就总是对可合并候选数加1。并且，图像编码装置500使用这样计算出的可合并候选数，决定向合并块索引分配的比特序列。由此，图像编码装置500即使是丢失了包含co－located块的参照图片信息的情况，也能够生成能够将合并块索引正常地解码的比特流。

此外，有关本实施方式的图像编码装置500在合并块候选数没有达到可合并候选数的情况下，通过追加具有新的运动矢量、参照图片索引及预测方向的新候选作为合并块候选，能够提高编码效率。

另外，在本实施方式中，表示了在合并模式中总是将合并标志附加到比特流中的例子，但并不一定限定于此。例如也可以根据在编码对象块的帧间预测中使用的块形状等而强制地选择合并模式。在此情况下，也可以通过不将合并标志向比特流附加来削减信息量。

另外，在本实施方式中，表示了使用从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引，进行编码对象块的编码的合并模式的例子，但并不一定限定于此。例如也可以使用跳过合并模式。在跳过合并模式中，使用如图25（b）那样制作出的合并块候选列表，与合并模式同样，从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引，进行编码对象块的编码。结果，如果编码对象块的全部的预测误差数据是0，则将跳过标志设置为1，将跳过标志及合并块索引向比特流附加。此外，如果预测误差数据不是0，则将跳过标志设置为0，将跳过标志、合并标志、合并块索引及预测误差数据向比特流附加。

另外，本实施方式表示了使用从编码对象块的邻接块复制预测方向、运动矢量及参照图片索引，进行编码对象块的编码的合并模式的例子，但并不一定限定于此。例如，也可以使用如图25（b）那样制作出的合并块候选列表将运动矢量检测模式的运动矢量编码。即，通过从运动矢量检测模式的运动矢量减去由合并块索引指定的合并块候选的运动矢量来求出差分。并且，也可以将所求出的差分及合并块索引向比特流附加。

此外，也可以使用运动检测模式的参照图片索引RefIdx_ME和合并块候选的参照图片索引RefIdx_Merge将合并块候选的运动矢量MV_Merge如式2那样缩放，通过从运动检测模式的运动矢量减去缩放后的合并块候选的运动矢量scaledMV_Merge来求出差分。并且，也可以将求出的差分及合并块索引向比特流附加。

（实施方式6）

在上述实施方式5中，图像编码装置不论co－located合并块是否是可合并候选，只要合并块候选是co－located合并块就总是加1，使用计算出的可合并候选数决定向合并块索引分配的比特序列。但是，图像编码装置例如也可以在图27的步骤S524中，对于co－located合并块以外的合并块候选也必定总是加1，使用计算出的可合并候选数决定向合并块索引分配的比特序列。即，图像编码装置也可以使用被固定为合并块候选数的最大值N的合并块候选列表尺寸来向合并块索引分配比特序列。即，图像编码装置也可以将全部的合并块候选看作可合并候选，将合并块候选列表尺寸固定为合并块候选数的最大值N，将合并块索引编码。

例如，在上述实施方式5中，由于合并块候选数的最大值N是5（邻接块A、邻接块B、co－located合并块、邻接块C、邻接块D），所以图像编码装置也可以总是对合并块候选列表尺寸设定5而将合并块索引编码。此外，例如，在合并块候选数的最大值N是4（邻接块A、邻接块B、邻接块C、邻接块D）的情况下，图像编码装置也可以总是对合并块候选列表尺寸设定4而将合并块索引编码。

这样，图像编码装置也可以根据合并块候选数的最大值决定合并块候选列表尺寸。由此，图像解码装置的可变长解码部能够生成能将比特流中的合并块索引不参照邻接块或co－located块的信息而解码的比特流，能够削减可变长解码部的处理量。

将以上那样的有关实施方式5的图像编码装置的变形例作为有关实施方式6的图像编码装置，以下具体地说明。

图29是表示有关实施方式6的图像编码装置600的结构的框图。该图像编码装置600通过将图像按照每个块编码而生成比特流。图像编码装置600具备合并候选导出部610、预测控制部620和编码部630。

合并候选导出部610对应于上述实施方式5的合并块候选计算部514。合并候选导出部610导出合并候选。并且，合并候选导出部610例如生成将导出的各合并候选与用来确定该合并候选的索引建立了对应的合并候选列表。

如图29所示，合并候选导出部610具备决定部611、第1导出部612、确定部613、判断部614和第2导出部615。

决定部611决定合并候选的最大数。即，决定部611决定合并块候选数的最大值N。

例如，决定部611基于输入图像序列（序列、图片、切片或块等）的特征决定合并候选的最大数。此外，例如决定部611也可以将预先设定的数决定为合并候选的最大数。

第1导出部612基于在与编码对象块在空间或时间上邻接的块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选。这里，第1导出部612导出多个第1合并候选，以使第1合并候选的数量不超过最大数。并且，第1导出部612例如将这样导出的各第1合并候选与合并索引建立对应而登记到合并候选列表中。

另外，第1导出部612例如也可以将在对与编码对象块在空间上邻接的块中的除了不能合并块以外的块的编码中使用的预测方向、运动矢量及参照图片索引作为第1合并候选导出。所谓不能合并块，是通过帧内预测编码的块、位于包含编码对象块的切片或图片的边界外的块、或者还没有被编码的块。由此，第1导出部612能够从适合得到合并候选的块导出第1合并候选。

确定部613在从所导出的多个第1合并候选中，确定预测方向、运动矢量及参照图片索引与其他的第1合并候选重复的第1合并候选（重复候选）。并且，确定部613将所确定的重复候选从合并候选列表中删除。

判断部614判断第1合并候选的数量是否比所决定的最大数小。这里，判断部614判断除了所确定的重复的第1合并候选以外的第1合并候选的数量是否比所决定的最大数小。

第2导出部615在判断为第1合并候选的数量比所决定的最大数小的情况下，将多个第1合并候选组合，导出双向预测的第2合并候选。具体而言，第2导出部615导出第2合并候选，以使第1合并候选的数量与第2合并候选的数量之和不超过最大数。这里，第2导出部615导出第2合并候选，以使除了重复候选以外的第1合并候选的数量与第2合并候选的数量之和不超过最大数。具体而言，第2导出部212例如与实施方式1的combined合并块候选的导出（图15等）同样地导出第2合并候选。

更具体地讲，第2导出部615例如将在多个第1合并候选中的一个第1合并候选中包含的第1预测方向（预测方向0）的运动矢量及参照图片索引与在另一个第1合并候选中包含的第2预测方向（预测方向1）的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。

并且，第2导出部615例如将这样导出的第2合并候选与合并索引建立对应而登记到合并候选列表中。此时，第2导出部615也可以将第2合并候选向合并候选列表登记，以对第1合并候选分配比第2合并候选小的值的合并索引。由此，图像编码装置600在与第2合并候选相比第1合并候选被选择为在编码中使用的合并候选的可能性较高的情况下，能够削减代码量，能够使编码效率提高。

另外，第2导出部615并不需要导出第2合并候选以使第1合并候选的数量与第2合并候选的数量之和必定与所决定的最大数一致。在第1合并候选的数量与第2合并候选的数量之和比所决定的最大数小的情况下，例如也可以存在没有与合并候选建立对应的合并索引的值。

预测控制部620从第1合并候选及第2合并候选中，选择在编码对象块的编码中使用的合并候选。即，预测控制部620从合并候选列表中选择在编码对象块的编码中使用的合并候选。

编码部630将用来确定所选择的合并候选的索引（合并索引）使用所决定的最大数编码。具体而言，编码部630如图5所示，将分配给所选择的合并候选的索引值的比特序列进行可变长编码。进而，编码部630将编码后的索引向比特流附加。

这里，编码部630也可以还将由决定部611决定的表示最大数的信息向比特流附加。具体而言，编码部630也可以将表示最大数的信息向例如切片头等写入。由此，能够以适当的单位切换最大数，能够使编码效率提高。

另外，编码部630并不需要一定将表示最大数的信息附加到比特流中。例如，在最大数由标准预先决定的情况下、或在最大数与既定值相同的情况下等，编码部630也可以不将表示最大数的信息向比特流附加。

接着，对如以上那样构成的图像编码装置600的各种动作进行说明。

图30是表示有关实施方式6的图像编码装置600的处理动作的流程图。

首先，决定部611决定合并候选的最大数（S601）。第1导出部612导出多个第1合并候选（S602）。确定部613确定预测方向、运动矢量及参照图片索引与其他第1合并候选重复的第1合并候选（重复候选）（S603）。

判断部614判断是否除了重复候选以外的第1合并候选的数量比所决定的最大数小（S604）。这里，在判断为除了重复候选以外的第1合并候选的数量比所决定的最大数小的情况下（S604的“是”），第2导出部615将多个第1合并候选组合而导出双向预测的第2合并候选（S605）。另一方面，在没有判断为除了重复候选以外的第1合并候选的数量比所决定的最大数小的情况下（S604的“否”），第2导出部615不导出第2合并候选。这些步骤S604及步骤S605相当于实施方式5的步骤S514。

预测控制部620从第1合并候选及第2合并候选中，选择在编码对象块的编码中使用的合并候选（S606）。例如，预测控制部620与实施方式1同样，从合并候选列表中选择式1所示的成本为最小的合并候选。

编码部630将用来确定所选择的合并候选的索引使用所决定的最大数编码（S607）。进而，编码部630将编码后的索引向比特流附加。

如以上这样，根据有关本实施方式的图像编码装置600，能够将基于与编码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况，图像编码装置600也能够新导出双向预测的第2合并候选。结果，图像编码装置600能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够使编码效率提高。

进而，根据有关本实施方式的图像编码装置600，能够将用来确定合并候选的索引使用所决定的最大数编码。即，能够不依存于实际导出的合并候选的数量而将索引编码。因而，即使是合并候选的导出所需要的信息（例如，co－located块等的信息）被丢失的情况，也能够在解码侧将索引解码，能够使容错性提高。此外，在解码侧，能够不依存于实际导出的合并候选的数量而将索引解码。即，在解码侧，能够不等待合并候选的导出处理而进行索引的解码处理。即，能够生成能并行地进行合并候选的导出处理和索引的解码处理的比特流。

进而，根据有关本实施方式的图像编码装置600，在判断为第1合并候选的数量比最大数小的情况下，能够导出第2合并候选。因而，能够在不超过最大数的范围中使合并候选的数量增加，能够使编码效率提高。

此外，根据有关本实施方式的图像编码装置600，能够根据除了重复的第1合并候选以外的第1合并候选的数量导出第2合并候选。结果，能够使第2合并候选的数量增加，能够增加能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类。因而，能够使编码效率进一步提高。

另外，在本实施方式中，图像编码装置600具备确定部613，但并不一定需要具备确定部613。即，在图30所示的流程图中，并不需要一定包括步骤S603。即使是这样的情况，由于图像编码装置600能够将用来确定合并候选的索引使用所决定的最大数编码，所以也能够使容错性提高。

此外，在本实施方式中，如图30所示，在第1导出部612导出第1合并候选后，确定部613确定重复候选，但并不需要一定这样依次处理。例如，第1导出部612也可以在导出第1合并候选的过程中确定重复候选并导出第1合并候选，以使所确定的重复候选不包含在第1合并候选中。即，第1导出部612也可以导出预测方向、运动矢量及参照图片索引的组合与已经导出的第1合并候选不重复的合并候选，作为第1合并候选。更具体地讲，例如在基于左邻接块的合并候选已经被作为第1合并候选导出的情况下，如果基于上邻接块的合并候选与基于左邻接块的合并候选不重复，则第1导出部612也可以导出基于上邻接块的合并候选作为第1合并候选。

即，第1导出部612也可以导出多个第1合并候选，以使预测方向、运动矢量及参照图片索引的组合相互不重复。由此，第1导出部612能够将预测方向、运动矢量及参照图片索引的组合与已经导出的第1合并候选重复的合并候选从第1合并候选排除。结果，图像编码装置600能够使第2合并候选的数量增加，能够增加能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类。因而，第1导出部612能够使编码效率进一步提高。

（实施方式7）

在实施方式7中，合并块候选列表尺寸的导出方法与实施方式3不同。对本实施方式的合并块候选列表尺寸的导出方法详细地说明。

图31是表示有关实施方式7的图像解码装置700的结构的框图。另外，在图31中，对于与图19同样的构成要素赋予相同的标号而省略说明。

该图像解码装置700是与有关实施方式5的图像编码装置500对应的装置。图像解码装置700例如将在由有关实施方式5的图像编码装置500生成的比特流中包含的编码图像按照每个块解码。

图像解码装置700如图31所示，具备可变长解码部701、逆量化部302、逆正交变换部303、加法部304、块存储器305、帧存储器306、帧内预测部307、帧间预测部308、帧间预测控制部309、开关310、合并块候选计算部711和colPic存储器312。

可变长解码部701对输入的比特流进行可变长解码处理，生成图片类型信息、合并标志及量化系数。此外，可变长解码部701使用后述的可合并候选数，进行合并块索引的可变长解码处理。

合并块候选计算部711使用解码对象块的邻接块的运动矢量等及保存在colPic存储器312中的co－located块的运动矢量等（colPic信息），用后述的方法导出合并模式的合并块候选。此外，合并块候选计算部711对导出的各合并块候选分配合并块索引的值。并且，合并块候选计算部711将合并块候选和合并块索引向帧间预测控制部309发送。

图32是表示有关实施方式7的图像解码装置的处理动作的流程图。

在步骤S701中，可变长解码部701将合并标志解码。

在步骤S702中，如果合并标志是“1”（S702的“是”），则在步骤S703中，合并块候选计算部711用后述的方法计算可合并候选数。并且，合并块候选计算部711将计算出的可合并候选数设定为合并块候选列表尺寸。

接着，在步骤S704中，可变长解码部701使用合并块候选列表尺寸对比特流中的合并块索引进行可变长解码。在步骤S705中，合并块候选计算部711用实施方式1或3所记载的方法、或者后述的方法，根据解码对象块的邻接块及co－located块生成合并块候选。

在步骤S706中，帧间预测控制部309使用解码后的合并块索引表示的合并块候选的运动矢量、参照图片索引及预测方向，使帧间预测部308生成帧间预测图像。

在步骤S702中，如果合并标志是“0”（步骤S702的“否”），则在步骤S707中，帧间预测部308使用由可变长解码部701解码后的运动矢量检测模式的信息生成帧间预测图像。

另外，在由步骤S703计算出的合并块候选列表尺寸是“1”的情况下，也可以不将合并块索引解码而将其推测为“0”。

图33是表示图32的步骤S703的详细的处理的流程图。具体而言，图33表示判断合并块候选［N］是否是可合并候选、计算可合并候选数的方法。以下，对图33进行说明。

在步骤S711中，合并块候选计算部711判断合并块候选［N］是否是（1）通过帧内预测解码的块、或（2）位于包含解码对象块的切片或图片的边界外的块、或（3）还没有被解码的块。

这里，如果步骤S711的判断结果是真（S711的“是”），则在步骤S712中，合并块候选计算部711将合并块候选［N］设定为不能合并候选。另一方面，如果步骤S711的判断结果是伪（S711的“否”），则在步骤S713中，合并块候选计算部711将合并块候选［N］设定为可合并候选。

在步骤S714中，合并块候选计算部711判断合并块候选［N］是否是可合并候选或co－located合并块候选。这里，如果步骤S714的判断结果是真（S714的“是”），则在步骤S715中，合并块候选计算部711对合并块候选数加1，将合并块候选数更新。另一方面，如果步骤S714的判断结果是伪（S714的“否”），则合并块候选计算部711不将可合并候选数更新。

这样，在合并块候选是co－located合并块的情况下，合并块候选计算部711不论co－located块是可合并候选还是不能合并候选，都对可合并候选数加1。由此，即使在因丢包等co－located合并块的信息被丢失的情况下，也不在图像编码装置和图像解码装置中在可合并候选数上发生不一致。

将该可合并候选数在图32的步骤S703中设定为合并块候选列表尺寸。进而，在图32的步骤S704中，将合并块列表尺寸在合并块索引的可变长解码中使用。由此，即使是丢失了包含co－located块等的参照图片信息的情况，图像解码装置700也能够将合并块索引正常地解码。

图34是表示图32的步骤S705的详细的处理的流程图。具体而言，图34表示计算合并块候选的方法。以下，对图34进行说明。

在步骤S721中，合并块候选计算部711取得合并块候选［N］的运动矢量、参照图片索引及预测方向，向合并块候选列表追加。

在步骤S722中，合并块候选计算部711如图25所示，从合并块候选列表搜索不能合并候选及重复候选并删除。

在步骤S723中，合并块候选计算部711通过实施方式1或3所记载的方法、或与图28同样的方法，向合并块候选列表追加新候选。

图35表示将合并块索引向比特流附加时的语法的一例。在图35中，merge_idx表示合并块索引，merge_flag表示合并标志。NumMergeCand表示合并块候选列表尺寸，在本实施方式中，设定由图33的处理流程计算出的可合并候选数。

这样，根据有关本实施方式的图像解码装置700，能够通过不依存于包含co－located块等的参照图片信息的方法计算在将合并块索引编码或解码时使用的合并块候选列表尺寸。由此，图像解码装置700能够将提高了容错性的比特流适当地解码。

更具体地讲，有关本实施方式的图像解码装置700不论co－located合并块是否是可合并候选，只要合并块候选是co－located合并块，就总是对可合并候选数加1。并且，图像解码装置700使用这样计算出的可合并候选数，决定向合并块索引分配的比特序列。由此，图像解码装置700即使是丢失了包含co－located块的参照图片信息的情况，也能够将合并块索引正常地解码。

此外，有关本实施方式的图像解码装置700在合并块候选数没有达到可合并候选数的情况下，通过追加具有新的运动矢量、参照图片索引及预测方向的新候选作为合并块候选，能够将提高了编码效率的比特流适当地解码。

（实施方式8）

在上述实施方式7中，图像解码装置不论co－located合并块是否是可合并候选，只要合并块候选是co－located合并块，就总是加1，使用计算出的可合并候选数决定向合并块索引分配的比特序列。但是，图像解码装置例如也可以在图33的步骤S714中，对于co－located合并块以外的合并块候选也必定总是加上1，使用计算出的可合并候选数决定向合并块索引分配的比特序列。即，图像解码装置也可以使用被固定为合并块候选数的最大值N的合并块候选列表尺寸向合并块索引分配比特序列。即，图像解码装置也可以将全部的合并块候选看作可合并候选，将合并块候选列表尺寸固定为合并块候选数的最大值N，将合并块索引解码。

例如，在上述实施方式7中，由于合并块候选数的最大值N是5（邻接块A、邻接块B、co－located合并块、邻接块C、邻接块D），所以图像解码装置也可以总是对合并块候选列表尺寸设定5，将合并块索引解码。由此，图像解码装置的可变长解码部能够将比特流中的合并块索引不参照邻接块或co－located块的信息而解码。结果，例如能够将图33的步骤S714及步骤S715的处理等省略，能够削减可变长解码部的处理量。

图36表示将合并块候选列表尺寸固定为合并块候选数的最大值的情况下的语法的一例。在如图36那样将合并块候选列表尺寸固定为合并块候选数的最大值的情况下，能够将NumMergeCand从语法中删除。

将以上那样的有关实施方式7的图像解码装置的变形例作为有关实施方式8的图像解码装置，以下具体地说明。

图37是表示有关实施方式8的图像解码装置800的结构的框图。该图像解码装置800将比特流中包含的编码图像按照每个块解码。具体而言，图像解码装置800例如将在由有关实施方式6的图像编码装置600生成的比特流中包含的编码图像按照每个块解码。图像解码装置800具备合并候选导出部810、解码部820和预测控制部830。

合并候选导出部810对应于上述实施方式7的合并块候选计算部711。合并候选导出部810导出合并候选。并且，合并候选导出部810例如生成将导出的各合并候选与用来确定该合并候选的索引（合并索引）建立对应的合并候选列表。

如图37所示，合并候选导出部810具备决定部811、第1导出部812、确定部813、判断部814和第2导出部815。

决定部811决定合并候选的最大数。即，决定部811决定合并块候选数的最大值N。

例如，决定部811也可以通过与实施方式6的决定部611同样的方法决定合并候选的最大数。此外，例如决定部811也可以基于附加在比特流中的表示最大数的信息决定最大数。由此，图像解码装置800能够以适当的单位切换最大数将编码的图像解码。

另外，这里，决定部811装备在合并候选导出部810中，但也可以装备在解码部820中。

第1导出部812与实施方式6的第1导出部612同样地导出多个第1合并候选。具体而言，第1导出部812基于在与解码对象块在空间或在时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选。并且，第1导出部812例如将这样导出的各第1合并候选与合并索引建立对应登记到合并候选列表中。

另外，第1导出部812例如也可以将在与解码对象块在空间上邻接的块中的除了不能合并块以外的块的解码中使用的预测方向、运动矢量及参照图片索引作为第1合并候选导出。由此，第1导出部812能够为了得到合并候选而从适当的块导出第1合并候选。

确定部813从导出的多个第1合并候选中，确定预测方向、运动矢量及参照图片索引与其他第1合并候选重复的第1合并候选（重复候选）。并且，确定部813将所确定的重复候选从合并候选列表删除。

判断部814判断第1合并候选的数量是否比所决定的最大数小。这里，判断部814判断除了所确定的重复的第1合并候选以外的第1合并候选的数量是否比所决定的最大数小。

第2导出部815在判断为第1合并候选的数量比所决定的最大数小的情况下，将多个第1合并候选组合，导出双向预测的第2合并候选。具体而言，第2导出部815与实施方式6的第2导出部615同样地导出第2合并候选。例如，第2导出部815导出第2合并候选，以使第1合并候选的数量与第2合并候选的数量之和不超过最大数。这里，第2导出部815导出第2合并候选，以使除了重复候选以外的第1合并候选的数量与第2合并候选的数量之和不超过最大数。

更具体地讲，第2导出部815例如将在多个第1合并候选中的一个第1合并候选中包含的第1预测方向（预测方向0）的运动矢量及参照图片索引与在另一个第1合并候选中包含的第2预测方向（预测方向1）的运动矢量及参照图片索引组合，导出双向预测的第2合并候选。

并且，第2导出部815例如将这样导出的第2合并候选与合并索引建立对应，向合并候选列表登记。此时，第2导出部815也可以将第2合并候选向合并候选列表登记，以对第1合并候选分配比第2合并候选小的值的合并索引。由此，图像解码装置800能够将提高了编码效率的比特流适当地解码。

另外，第2导出部815并不需要导出第2合并候选以使第1合并候选的数量与第2合并候选的数量之和必定与所决定的最大数一致。在第1合并候选的数量与第2合并候选的数量之和比所决定的最大数小的情况下，例如也可以存在没有与合并候选建立对应的合并索引的值。

解码部820使用所决定的最大数，将作为附加在比特流中的已编码的索引、而且是用来确定合并候选的索引解码。

预测控制部830基于解码后的索引，从第1合并候选及第2合并候选中，选择在解码对象块的解码中使用的合并候选。即，预测控制部830从合并候选列表中选择在解码对象块的解码中使用的合并候选。

接着，对如以上那样构成的图像解码装置800的各种动作进行说明。

图38是表示有关实施方式8的图像解码装置800的处理动作的流程图。

首先，决定部811决定合并候选的最大数（S801）。第1导出部812导出第1合并候选（S802）。确定部813在导出了多个第1合并候选的情况下，确定预测方向、运动矢量及参照图片索引与其他第1合并候选重复的第1合并候选（重复候选）（S803）。

判断部814判断除了重复候选以外的第1合并候选的数量是否比所决定的最大数小（S804）。这里，在判断为除了重复候选以外的第1合并候选的数量比所决定的最大数小的情况下（S804的“是”），第2导出部815导出第2合并候选（S805）。另一方面，在没有判断出除了重复候选以外的第1合并候选的数量比所决定的最大数小的情况下（S804的“否”），第2导出部815不导出第2合并候选。

解码部820使用所决定的最大数，对作为附加在比特流中的已编码的索引、而且是用来确定合并候选的索引进行解码（S806）。

预测控制部830基于解码后的索引，从第1合并候选及第2合并候选中选择在解码对象块的解码中使用的合并候选（S807）。例如，预测控制部830与实施方式1同样，从合并候选列表中选择式1所示的成本为最小的合并候选。

另外，这里，索引的解码处理（S806）在导出合并候选后进行，但并不需要一定以这样的顺序进行。例如，也可以在索引的解码处理（S806）后进行合并候选的导出处理（S802～S805）。此外，索引的解码处理（S806）和合并候选的导出处理（S802～S805）也可以并行地进行。由此，能够使解码的处理速度提高。

如以上这样，根据有关本实施方式的图像解码装置800，能够将基于与解码对象块在空间或时间上邻接的各块导出的多个第1合并候选组合而导出双向预测的第2合并候选。特别是，即使是在多个第1合并候选中不包含双向预测的合并候选的情况下，图像解码装置800也能够新导出双向预测的第2合并候选。结果，图像解码装置800能够使能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类增加，能够将提高了编码效率的比特流适当地解码。

进而，根据有关本实施方式的图像解码装置800，能够使用所决定的最大数将用来确定合并候选的索引解码。即，能够不依存于实际导出的合并候选的数量而将索引解码。因而，即使是丢失了合并候选的导出所需要的信息（例如co－located块等的信息）的情况，图像解码装置800也能够将索引解码，能够使容错性提高。进而，图像解码装置800能够不等待合并候选的导出处理而进行索引的解码处理，还能够并行地进行合并候选的导出处理和索引的解码处理。

进而，根据有关本实施方式的图像解码装置800，在判断为第1合并候选的数量比最大数小的情况下，能够导出第2合并候选。因而，图像解码装置800能够在不超过最大数的范围内使合并候选的数量增加，能够将提高了编码效率的比特流适当地解码。

此外，根据有关本实施方式的图像解码装置800，能够根据除了重复的第1合并候选以外的第1合并候选的数量导出第2合并候选。结果，图像解码装置800能够使第2合并候选的数量增加，能够增加能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类。因而，图像解码装置800能够将进一步提高了编码效率的比特流适当地解码。

另外，在本实施方式中，图像解码装置800具备确定部813，但与实施方式6同样，并不一定需要具备确定部813。即，在图38所示的流程图中不需要一定包括步骤S803。即使是这样的情况，图像解码装置800也能够将用来确定合并候选的索引使用所决定的最大数解码，所以能够使容错性提高。

此外，在本实施方式中，如图38所示，在第1导出部812导出第1合并候选后，确定部813确定重复候选，但并不需要一定这样依次处理。例如，第1导出部812也可以将预测方向、运动矢量及参照图片索引的组合与已经导出的第1合并候选不重复的合并候选作为第1合并候选导出。即，第1导出部812也可以导出多个第1合并候选，以使预测方向、运动矢量及参照图片索引的组合相互不重复。由此，第1导出部812能够将预测方向、运动矢量及参照图片索引的组合与已经导出的第1合并候选重复的合并候选从第1合并候选中排除。结果，图像解码装置800能够使第2合并候选的数量增加，能够增加能选择为合并候选的预测方向、运动矢量及参照图片索引的组合的种类。因而，图像解码装置800能够将进一步提高了编码效率的比特流适当地解码。

以上，基于实施方式对有关本发明的一个或多个技术方案的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在本发明的一个或多个技术方案的范围内。

另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序并执行来实现。这里，实现上述各实施方式的图像编码装置或图像解码装置等的软件是以下这样的程序。

即，该程序使计算机执行一种图像编码方法，是通过将图像按照每个块编码而生成比特流的图像编码方法，包括：决定步骤，决定作为在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选的合并候选的最大数；第1导出步骤，基于在与上述编码对象块在空间或时间上邻接的各块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；第2导出步骤，在判断为导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述多个第1合并候选组合，导出双向预测的第2合并候选；选择步骤，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述编码对象块的编码中使用的合并候选；编码步骤，将用来确定所选择的上述合并候选的索引使用所决定的上述最大数编码，将编码后的上述索引向上述比特流附加。

或者，该程序使计算机执行一种图像解码方法，是将包含在比特流中的编码图像按照每个块解码的图像解码方法，包括：决定步骤，决定作为在解码对象块的解码中使用的预测方向、运动矢量及参照图片索引的候选的合并候选的最大数；第1导出步骤，基于在与上述解码对象块在空间或时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；第2导出步骤，在判断为导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述第1合并候选组合，导出双向预测的第2合并候选；解码步骤，将作为附加在上述比特流中的编码的索引、而且是用来确定合并候选的索引使用所决定的上述最大数解码；选择步骤，基于解码后的上述索引，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述解码对象块的解码中使用的合并候选。

（实施方式9）

通过将用来实现上述各实施方式所示的运动图像编码方法（图像编码方法）或运动图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法（图像编码方法）及运动图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图39是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图39那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图40所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置（图像编码装置）或运动图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图41是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图42中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图43中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图41所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图44A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图44B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式10）

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图45是表示复用数据的结构的图。如图45所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图46是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图47更详细地表示在PES包序列中怎样保存视频流。图47的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图47的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图48表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图48下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System TimeClock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图49是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图50所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图50所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图51所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图52中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

（实施方式11）

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图53中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式12）

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图54表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图53的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图53的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式10中记载的识别信息。关于识别信息，并不限定于在实施方式10中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图56所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图55表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式13）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图57A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在运动补偿方面具有特征，因此可以考虑例如对于运动补偿使用专用的解码处理部ex901，对于除此之外的熵解码、解块滤波、逆量化中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图57B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

产业上的可利用性

有关本发明的一技术方案的图像编码方法及图像解码方法能够在运动图像的编码方法及解码方法中有利地使用。

标号说明

100、200、500、600 图像编码装置

101                减法部

102                正交变换部

103                量化部

104、302           逆量化部

105、303           逆正交变换部

106、304           加法部

107、305           块存储器

108、306           帧存储器

109、307           帧内预测部

110、308           帧间预测部

111、309           帧间预测控制部

112                图片类型决定部

113、310           开关

114、311、514、711 合并块候选计算部

115、312           colPic存储器

116、516           可变长编码部

210、410、610、810 合并候选导出部

211、411、612、812 第1导出部

212、412、615、815 第2导出部

220、430、620、830 预测控制部

230、630           编码部

300、400、700、800 图像解码装置

301、701           可变长解码部

420、820           解码部

611、811           决定部

613、813           确定部

614、814           判断部

Claims (15)

1.一种图像编码方法，通过将图像按照每个块编码而生成比特流，其特征在于，包括：

决定步骤，决定合并候选的最大数，该合并候选是在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选；

第1导出步骤，基于在与上述编码对象块在空间或时间上邻接的各块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；

判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；

第2导出步骤，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述多个第1合并候选组合，导出双向预测的第2合并候选；

选择步骤，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述编码对象块的编码中使用的合并候选；以及

编码步骤，使用所决定的上述最大数将用来确定所选择的上述合并候选的索引编码，将编码后的上述索引向上述比特流附加。

2.如权利要求1所述的图像编码方法，其特征在于，

在上述第2导出步骤中，将上述多个第1合并候选中的一个第1合并候选中包含的第1预测方向的运动矢量及参照图片索引与另一个第1合并候选中包含的第2预测方向的运动矢量及参照图片索引组合，导出上述第2合并候选。

3.如权利要求1或2所述的图像编码方法，其特征在于，

在上述第1导出步骤中，以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。

4.如权利要求1～3中任一项所述的图像编码方法，其特征在于，

在上述第1导出步骤中，将在与上述编码对象块在空间上邻接的块中的除了通过帧内预测而编码后的块、位于包含上述编码对象块的切片或图片的边界外的块和还没有被编码的块以外的块的编码中使用的预测方向、运动矢量及参照图片索引，作为上述第1合并候选导出。

5.如权利要求1～4中任一项所述的图像编码方法，其特征在于，

在上述编码步骤中，还将表示所决定的上述最大数的信息向上述比特流附加。

6.如权利要求1所述的图像编码方法，其特征在于，

上述图像编码方法还包括：

切换步骤，将编码处理切换为依据第1标准的第1编码处理或依据第2标准的第2编码处理；

附加步骤，将表示切换后的上述编码处理所依据的上述第1标准或上述第2标准的识别信息向上述比特流附加；

在上述编码处理被切换为上述第1编码处理的情况下，作为上述第1编码处理，进行上述决定步骤、上述第1导出步骤、上述判断步骤、上述第2导出步骤、上述选择步骤和上述编码步骤。

7.一种图像编码装置，通过将图像按照每个块编码而生成比特流，其特征在于，具备：

决定部，决定合并候选的最大数，该合并候选是在编码对象块的编码中使用的预测方向、运动矢量及参照图片索引的候选；

第1导出部，基于在与上述编码对象块在空间或时间上邻接的各块的编码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；

判断部，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；

第2导出部，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述多个第1合并候选组合，导出双向预测的第2合并候选；

预测控制部，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述编码对象块的编码中使用的合并候选；以及

编码部，使用所决定的上述最大数将用来确定所选择的上述合并候选的索引编码，将编码后的上述索引向上述比特流附加。

8.一种图像解码方法，将包含在比特流中的编码图像按照每个块解码，其特征在于，包括：

决定步骤，决定合并候选的最大数，该合并候选是在解码对象块的解码中使用的预测方向、运动矢量及参照图片索引的候选；

第1导出步骤，基于在与上述解码对象块在空间或时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；

判断步骤，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；

第2导出步骤，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述第1合并候选组合，导出双向预测的第2合并候选；

解码步骤，使用所决定的上述最大数，将附加在上述比特流中的编码后的索引解码，该索引是用来确定合并候选的索引；以及

选择步骤，基于解码后的上述索引，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述解码对象块的解码中使用的合并候选。

9.如权利要求8所述的图像解码方法，其特征在于，

在上述第2导出步骤中，将上述多个第1合并候选中的一个第1合并候选中包含的第1预测方向的运动矢量及参照图片索引与另一个第1合并候选中包含的第2预测方向的运动矢量及参照图片索引组合，导出上述第2合并候选。

10.如权利要求8或9所述的图像解码方法，其特征在于，

在上述第1导出步骤中，以使预测方向、运动矢量及参照图片索引的组合相互不重复的方式导出上述多个第1合并候选。

11.如权利要求8～10中任一项所述的图像解码方法，其特征在于，

在上述第1导出步骤中，将在与上述解码对象块在空间上邻接的块中的除了通过帧内预测而解码后的块、位于包含上述解码对象块的切片或图片的边界外的块和还没有被解码的块以外的块的解码中使用的预测方向、运动矢量及参照图片索引，作为上述第1合并候选导出。

12.如权利要求8～11中任一项所述的图像解码方法，其特征在于，

在上述决定步骤中，基于附加在上述比特流中的表示最大数的信息，决定上述最大数。

13.如权利要求8所述的图像解码方法，其特征在于，

上述图像解码方法还包括切换步骤，该切换步骤根据附加在上述比特流中的表示第1标准或第2标准的识别信息，将解码处理切换为依据上述第1标准的第1解码处理或依据上述第2标准的第2解码处理；

在上述解码处理被切换为第1解码处理的情况下，作为上述第1解码处理，进行上述决定步骤、上述第1导出步骤、上述判断步骤、上述第2导出步骤、上述解码步骤和上述选择步骤。

14.一种图像解码装置，将包含在比特流中的编码图像按照每个块解码，其特征在于，具备：

决定部，决定合并候选的最大数，该合并候选是在解码对象块的解码中使用的预测方向、运动矢量及参照图片索引的候选；

第1导出部，基于在与上述解码对象块在空间或时间上邻接的各块的解码中使用的预测方向、运动矢量及参照图片索引，导出多个第1合并候选；

判断部，判断所导出的上述多个第1合并候选的数量是否比上述最大数小；

第2导出部，在判断为所导出的上述多个第1合并候选的数量比上述最大数小的情况下，将所导出的上述第1合并候选组合，导出双向预测的第2合并候选；

解码部，使用所决定的上述最大数，将附加在上述比特流中的编码后的索引解码，该索引是用来确定合并候选的索引；以及

预测控制部，基于解码后的上述索引，从所导出的上述多个第1合并候选及上述第2合并候选中，选择在上述解码对象块的解码中使用的合并候选。

15.一种图像编码解码装置，其特征在于，具备：

权利要求7所记载的图像编码装置；以及

权利要求14所记载的图像解码装置。

Images