CN103299635A - 图像预测编码装置、图像预测编码方法、图像预测编码程序，图像预测解码装置、图像预测解码方法以及图像预测解码程序 - Google Patents

Abstract

一个实施方式的图像预测编码装置求出用于从已再生的参照画面中取得与作为编码对象的对象区域的像素信号的相关高的信号的运动信息。运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式。从两个预测模式的候选中选择1个预测模式，当选择单预测时，根据在登记了多个参照画面帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出运动信息。作为运动信息至少对预测模式进行编码。

Description

图像预测编码装置、图像预测编码方法、图像预测编码程序,图像预测解码装置、图像预测解码方法以及图像预测解码程序

技术领域

本发明的实施方式涉及图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，尤其涉及生成在画面间预测中使用的参照画面列表的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

背景技术

为了高效地进行静态图像或动态图像数据的传输和蓄积采用了压缩编码技术。在动态图像的情况下广泛应用MPEG-1～4或ITU(International TelecommunicationUnion：国际电信联盟)H.261～H.264的方式。

在这些编码方式中，在将作为编码的对象的图像分割为多个块的基础上进行编码处理或解码处理。在画面内的预测编码中，在使用位于与对象块相同的画面内的相邻的已再生的图像信号(将压缩的图像数据复原后的图像信号)生成预测信号的基础上，对从对象块的信号中减去该预测信号得到的差分信号进行编码。在画面间的预测编码中，参照位于对象块不同的画面内的已再生的图像信号，进行运动的校正，生成预测信号，对从对象块的信号中减去该预测信号得到的差分信号进行编码。

例如，在H.264的画面内预测编码中，采用将与作为编码对象的块相邻的已再生的像素值在预定的方向上外插并生成预测信号的方法。图16是用于说明在ITU H.264中使用的画面内预测方法的示意图。在图16(A)中，对象块802是作为编码的对象的块，由与该对象块802的边界相邻的像素A～M构成的像素组801是相邻区域，而且是在过去的处理中已经被再生的图像信号。

在图16的(A)所示的情况下，将作为位于对象块802的正上方的相邻像素的像素组801向下方拉伸，由此生成预测信号。此外，在图16的(B)所示的情况下，将位于对象块804的左侧的已再生像素(I～L)向右拉伸，由此生成预测信号。生成预测信号的具体的方法例如在专利文献1中记载。由此，取得由图16的(A)～(I)所示的方法生成的9个预测信号分别取对象块的像素信号的差分，将差分值最小的信号作为最优的预测信号。如上所述，通过对像素进行外插能够生成预测信号。有关以上内容记载在下述专利文献1中。

在通常的画面间预测编码中，使用如下方法来生成预测信号：针对作为编码对象的块，从已经再生过的画面中搜索与该块的像素信号类似的信号。而且，对对象块与搜索到的信号构成的区域之间的空间性位移量即运动矢量、和对象块的像素信号和预测信号的残差信号进行编码。这样按照每个块搜索运动矢量的方法被称为块匹配(block matching)。

图15是用于说明块匹配处理的示意图。以下，以作为编码对象的画面701内的对象块702为例对预测信号的生成顺序进行说明。画面703已经再生过，区域704与对象块702在空间上是同一位置的区域。根据在预测时参照画面703这样的意思，称为参照画面。在块匹配中，设定包围区域704的搜索范围705，从该搜索范围的像素信号中检测与对象块702的像素信号的绝对值误差和最小的区域706。该区域706的信号成为预测信号，从区域704向区域706的位移量被检测作为运动矢量707。此外，有时也使用以下方法：准备多个参照画面703，对每个对象块选择实施块匹配的参照画面，并检测参照画面选择信息。在H.264中，为了对应图像的局部性的特征变化，准备用于对运动矢量进行编码的块尺寸不同的多个预测类型。关于H.264的预测类型记载在例如专利文献2中。

在动态图像数据的压缩编码中，各个画面(帧、字段)的编码顺序序可以是任意顺序。因此，在参照已再生画面生成预测信号的画面间预测中，关于编码顺序有三种方法。第1方法是以显示顺序参照过去的已再生画面来生成预测信号的前向预测，第2方式是以显示顺序参照未来的已再生画面来生成预测信号的后向预测，第3种方法是同时进行前向预测和后向预测，并对两个预测信号进行平均化的双向预测。关于画面间预测的类型记载在例如专利文献3中。

在H.264中，作为参照画面703的候选，作成由多个已再生画面构成的两个参照画面列表来进行第3种方法。将在各参照画面列表中登记的多个参照画面作为对象进行块匹配，并检测出与区域706相当的两个区域，对检测到的两个预测信号进行平均化。另外，在前方向预测或后方向预测中，还将作成的两个参照画面列表中的任意一个作为对象进行块匹配，并检测与区域706相当的区域，将该区域的信号作为对象块的预测信号。

使用图2和图3说明参照画面列表的示例。在图2(A)中，画面403示出编码对象图像，画面401、402、404以及405示出已再生图像。利用帧号(frame_num)进行各个图像(画面)的识别。图3(A-1)的L0和L1表示两个参照画面列表，在此例中，在两个参照画面列表内分别登记两个参照画面的帧号。利用指示参照画面编号(ref_idx)即参照画面帧号的索引来识别各个参照画面的帧号。

在参照画面列表中可登记的已再生图像基本上是任意的。如图3(A-1)所示的列表451那样，在两个参照画面列表中登记的参照画面可全部是过去的已再生图像。因为从两个参照画面列表中分别选择1个参照画面进行双向预测，所以此时，两个预测信号都是前方向预测。为了与这样的情况相对应，近年来，将对两个预测信号进行平均化的预测方法称为双预测而不是双向预测。在该双预测中，对运动矢量和参照画面编号的组合(运动信息)进行2次编码。

另一方面，在图2(B)中，画面411示出编码对象图像，画面408、409、410以及412示出已再生图像。图3(B)的L0和L1表示两个参照画面列表，在此例中，在两个参照画面列表内也分别登记两个参照画面的帧号。在此情况下，针对编码对象画面411在1个参照列表中混合包含过去和未来的画面。为了与这样的预测相对应，近年来具有将根据1个参照画面生成预测信号的预测方法称为单预测而不是前方向预测或后方向预测的情况。

现有技术文献

专利文献

【专利文献1】美国专利公报第6765964号

【专利文献2】美国专利公报第7003035号

【专利文献3】美国专利公报第6259739号

发明内容

发明所要解决的问题

虽然双预测表示利用两个信号平均化起到的噪声去除效果来提高预测性能，但在编码对象画面的物体仅表现为两个参照画面之一这样的画面内的区域中预测性能降低。因此，可有选择地利用使用L0和L1这两个参照画面列表的双预测以及单独使用L0、L1的参照画面列表的单预测。即，将使用L0的单预测、使用L1的单预测和双预测这三种预测作为预测模式的候选，以块为单位选择预测性能高的预测模式。

当在两个参照画面列表中登记的参照画面中没有重复时，即使将使用L0和L1的两个单预测作为预测模式的候选，在作为整体的单预测的参照画面的候选中也不产生重复。例如，根据与图2(A)对应的参照画面列表的例子即图3(A-2)，只要将使用L0的单预测和使用L1的单预测这两种预测直接加入预测模式的候选，4个参照画面401、402、404、405就成为用于单预测的参照画面的候选。

但是，在双预测中具有可根据相同的参照画面生成两个预测信号并根据其平均来高效地生成预测信号的情况。例如图3(B)例示的那样，在两个参照画面列表中重复地登记相同的参照画面。此时，当将使用L0的单预测和使用L1的单预测这两种预测作为预测模式的候选时，在作为整体的单预测的参照画面的候选中产生重复。因此，例如在图3(B)中，与是否保存有4个实际参照画面无关，用于单预测的参照画面的候选仅为3个，与采用4个参照画面的情况相比，预测效率降低。

另外，单预测是1个预测方法，与此相对为了选择参照画面列表而准备两个预测模式的情况成为增加预测模式编码量的主要原因。

因此，为了解决上述课题，本发明的各个方面以及实施方式的目的是提供能够提高单预测的预测性能并且对参照画面编号和预测模式更高效地进行编码的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

解决问题的手段

本发明一方面的图像预测编码装置具备：区域分割单元，其将输入图像分割为多个区域；运动信息推定单元，其求出运动信息，该运动信息用于从已再生的参照画面中取得与对象区域的像素信号的相关度高的信号，该对象区域是通过上述区域分割单元分割的编码对象；预测信号生成单元，其根据上述运动信息来生成对象区域的预测信号；残差信号生成单元，其生成基于上述对象区域的预测信号与上述对象区域的像素信号的残差信号；量化单元，其对上述残差信号实施量化处理，生成量化系数；编码单元，其对上述运动信息与上述残差信号的量化系数进行编码；逆量化单元，其对上述量化单元生成的上述量化系数实施逆量化处理，并再生残差信号；以及记录单元，其将包含上述预测信号与上述再生的残差信号相加而生成的上述对象区域的复原像素信号的画面作为参照画面进行保存，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述运动信息推定单元从上述两个预测模式的候选中选择1个，当选择单预测时，根据由已登记多个参照画面帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出上述运动信息，上述编码单元作为运动信息至少对预测模式进行编码。

另外，本发明一方面的图像预测编码方法包含以下的步骤：区域分割单元将输入图像分割为多个区域的步骤；运动信息推定单元求出用于从已再生的参照画面中取得与作为利用上述区域分割单元分割的编码对象的对象区域的像素信号的相关高的信号的运动信息的步骤；当预测信号生成单元根据上述运动信息来生成对象区域的预测信号时，生成基于上述对象区域的预测信号与上述对象区域的像素信号的残差信号的步骤；量化单元对上述残差信号实施量化处理并生成量化系数的步骤；编码单元对上述运动信息和上述残差信号的量化系数进行编码的步骤；逆量化单元对由上述量化单元生成的上述量化系数实施逆量化处理并再生残差信号的步骤；以及记录单元将包含上述预测信号与上述再生的残差信号相加而生成的上述对象区域的复原像素信号的画面作为参照画面进行保存的步骤，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述运动信息估计单元从上述两个预测模式的候选中选择1个，在选择单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出上述运动信息，上述编码单元作为运动信息至少对预测模式进行编码。

另外，本发明一方面的图像预测编码程序使计算机作为如下的单元发挥功能：区域分割单元，其将输入图像分割为多个区域；运动信息推定单元，其求出运动信息，该运动信息用于从已再生的参照画面中取得与对象区域的像素信号的相关度高的信号，该对象区域是通过上述区域分割单元分割的编码对象；预测信号生成单元，其根据上述运动信息来生成对象区域的预测信号；残差信号生成单元，其生成基于上述对象区域的预测信号和上述对象区域的像素信号的残差信号；量化单元，其对上述残差信号实施量化处理并生成量化系数；编码单元，其对上述运动信息和上述残差信号的量化系数进行编码；逆量化单元，其对通过上述量化单元生成的上述量化系数实施逆量化处理，并再生残差信号；以及记录单元，其将包含通过上述预测信号与上述再生的残差信号的相加而生成的上述对象区域的复原像素信号在内的画面作为参照画面进行保存，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述运动信息估计单元从上述两个预测模式的候选中选择1个，当选择单预测时，根据在由已登记多个参照画面帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出上述运动信息，上述编码单元作为运动信息至少对预测模式进行编码。

根据这些本发明的一方面的图像预测编码技术，使用单预测用的单一参照画面列表。因此，可提高单预测的预测性能。另外，在选择单预测的情况下，不需要对确定利用于单预测的双预测用的参照画面列表的信息进行编码。因此，能够对参照画面编号和预测模式更高效地进行编码。

在一实施方式中，上述运动信息推定单元从上述两个预测模式的候选中选择1个，当选择上述双预测时，从上述记录单元所保存的多个参照画面中选择两个参照画面，当选择上述单预测时，从上述记录单元所保存的多个参照画面中选择1个参照画面，上述编码单元对上述预测模式进行编码，在上述运动信息中所包含的预测模式是双预测时，对识别两个参照画面的帧号的索引进行编码，对两个运动矢量进行编码，该两个参照画面是在登记了可利用于上述双预测的多个参照画面的帧号的第1参照画面列表和第2参照画面列表中规定规定的参照画面，在上述运动信息中所包含的预测模式是单预测时，可对识别1个参照画面的帧号的索引进行编码，对1个运动矢量进行编码，该1个参照画面是在登记了可利用于上述单预测的多个参照画面的帧号的第3参照画面列表中规定的参照画面。

另外，在一实施方式中，可按照上述输入图像的帧号与参照画面的帧号之差的绝对值从小到大的顺序，在第3参照画面列表中登记上述第3参照画面列表的参照画面。

本发明另一侧面的图像预测解码装置具备：解码单元，其对分割为多个区域而编码的图像的压缩数据进行分析，对作为解码对象的对象区域的信号的运动信息的解码数据与残差信号的解码数据进行解码；预测信号生成单元，其根据上述解码的运动信息与已再生的参照画面来生成对象区域的预测信号；逆量化单元，其对作为上述残差信号的解码数据的量化系数实施逆量化处理，对再生残差信号进行再生；以及记录单元，其保存包含通过上述预测信号与上述再生残差信号的相加而生成的上述对象区域的复原像素信号在内的参照画面，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述解码单元至少对上述预测模式作为运动信息进行解码，上述预测信号生成单元在上述预测模式是单预测时，根据由已登记多个参照画面的帧号的片预测用的单一参照画面列表中规定的一个参照画面，生成上述预测信号。

另外，本发明另一侧面的图像预测解码方法包含以下的步骤：解码单元对分割为多个区域而编码后的图像的压缩数据进行分析，对作为解码对象的对象区域信号的运动信息的解码数据和残差信号的解码数据进行解码的步骤；预测信号生成单元根据上述解码的运动信息与已再生的参照画面来生成对象区域的预测信号的步骤；逆量化单元对作为上述残差信号的解码数据的量化系数实施逆量化处理对再生残差信号进行再生的步骤；以及记录单元保存通过包含上述预测信号与上述再生残差信号相加而生成的上述对象区域的复原像素信号在内的参照画面的步骤，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述解码单元作为运动信息至少对上述预测模式进行解码，上述预测信号生成单元在上述预测模式是单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面，生成上述预测信号。

另外，本发明另一侧面的图像预测解码程序使计算机作为以下部件发挥功能：解码单元，其对分割为多个区域而编码后的图像的压缩数据进行分析，对作为解码对象的对象区域的信号的运动信息的解码数据和残差信号的解码数据进行解码；预测信号生成单元，其根据上述解码的运动信息和已再生的参照画面来生成对象区域的预测信号；逆量化单元，其对作为上述残差信号的解码数据的量化系数实施逆量化处理，对再生残差信号进行再生；以及记录单元，其保存包含通过上述预测信号与上述再生残差信号的相加而生成的上述对象区域的复原像素信号在内的参照画面，上述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，上述解码单元作为运动信息至少对上述预测模式进行解码，上述预测信号生成单元在上述预测模式是单预测时，根据在已登记多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面，生成上述预测信号。

根据这些本发明的一方面的图像预测解码技术，可使用单预测用的单一参照画面列表。因此，能够提高单预测的预测性能。另外，在选择单预测时，不需要在压缩数据中包含确定用于单预测的双预测用的参照画面列表的信息。因此，可根据对参照画面编号和预测模式高效地进行编码的数据来对图像解码进行解码。

在一实施方式中，上述解码单元对上述预测模式进行解码，此外，在上述解码的预测模式是双预测时，对识别第1参照画面列表和第2参照画面列表中规定的两个参照画面的帧号的索引进行解码，对两个运动矢量进行解码，在上述解码的预测模式是单预测时，对识别在第3参照画面列表中规定的1个参照画面的帧号的索引进行解码，对1个运动矢量进行解码。

另外，在一实施方式中，可按照上述输入图像的帧号与参照画面的帧号之差的绝对值从小到大的顺序，在第3参照画面列表中登记了上述第3参照画面列表的参照画面。

发明效果

根据本发明的各个方面以及实施方式的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，具有可通过准备在参照画面上没有重复的单预测用的参照画面列表来更高效地对预测模式和参照画面编号进行编码这样的效果。

附图说明

图1是示出一实施方式的图像预测编码装置的框图。

图2是说明画面的编码顺序和参照画面的例的示意图。

图3是用于说明现有参照画面列表的图表。

图4是用于说明参照画面列表的例的图表。

图5是说明图1所示的图像预测编码装置的处理的流程图。

图6是说明第3参照画面列表的生成处理的流程图。

图7是示出一实施方式的图像预测解码装置的框图。

图8是说明图7所示的图像预测解码装置的处理的流程图。

图9是示出说明第3参照画面列表的生成处理的流程图的第2例的流程图。

图10是示出说明第3参照画面列表的生成处理的流程图的第3例的流程图。

图11是示出可执行一实施方式的图像预测编码方法的程序的框图。

图12是示出可执行一实施方式的图像预测解码方法的程序的框图。

图13是示出用于执行在记录介质中记录的程序的计算机的硬件结构的图。

图14是用于执行在记录介质中存储的程序的计算机的立体图。

图15是用于说明画面间预测中的块匹配处理的示意图。

图16是用于说明现有的画面内预测方法的示意图。

图17是用于说明参照画面列表的第2例的图列表。

具体实施方式

以下，参照附图来详细说明本实施方式。此外，在附图说明中对同一或同等的要素标注相同的符号，并省略重复的说明。

图1是示出一实施方式的图像预测编码装置100的框图。该图像预测编码装置100具备输入端子101、块分割器102、预测信号生成器103、帧存储器104、减法器105、变换器106、量化器107、逆量化器108、逆变换器109、加法器110、编码器111、输出端子112、运动信息推定器113、参照画面列表管理器114。此外，变换器106和量化器107作为量化单元发挥功能。另外，逆量化器108和逆变换器109作为逆量化单元发挥功能。在预测信号生成器103和运动信息推定器113中可包含参照画面列表管理器114。

输入端子101是输入由多张图像构成的动态图像的信号的端子。

块分割器102将从输入端子101输入的信号所表示的作为编码处理对象的图像分割为多个区域。在本实施方式中，将编码对象的图像分割为由16×16的像素构成的块，不过也可以分割为其以外的大小或形状的块。另外，在画面内可混合存在尺寸不同的块。按照编码顺序从块分割器102作为对象块来输出所分割的块，并经由L102a和L102b分别输出到运动信息推定器113以及减法器105。

在运动信息推定器113中，检测为了生成对象块内的预测信号所需的运动信息。关于对象块的预测信号的生成方法(预测方法)，可应用在背景技术中所说明那样的画面间预测或画面内预测(关于画面内预测未图示)，但在本实施方式中考虑了采用通过块匹配(图15)检测出的运动信息进行预测的方法。此外，在运动信息中含有运动矢量、预测模式(单预测/双预测)、从多个参照画面中指示用于预测的参照画面的帧号的参照画面编号。

运动信息推定器113采用块匹配来检测1个(单预测)或2个(双预测)运动矢量，并且进行预测模式和参照画面的选择，生成运动信息。然后，向预测信号生成器103和编码器111输出所生成的运动信息。

在预测信号生成器103中，根据经由L113输入的对象块的运动信息，经由L104从帧存储器104中取得已再生信号，并生成对象块的预测信号。

利用预测信号生成器103生成的预测信号经由L103输出至减法器105和加法器110。

减法器105从利用块分割器102分割后经由L102a输入的对象块的像素信号减去经由L103输入的与对象块相对的预测信号，来生成残差信号。减法器105将相减后获得的残差信号经由L105输出至变换器106。

变换器106是对所输入的残差信号进行离散余弦变换的部分。另外，量化器107是对由变换器106进行离散余弦变换后的变换系数实施量化的部分，并将量化变换系数输出至编码器111。

逆量化器108对已量化的变换系数进行逆量化。逆变换器109利用逆离散余弦变换来复原残差信号。加法器110将复原的残差信号与经由L103b输入的预测信号相加，来再生对象块的信号，并将已再生的信号存储到帧存储器104。在本实施方式中采用变换器106和逆变换器109，但也可以采用取代这些变换器的其它变换处理。另外，变换器106以及逆变换器109不是必须的。这样，为了用于后续的对象块的预测信号生成，而将已编码的对象块的再生信号利用逆处理进行复原并存储到帧存储器104内。

编码器111对经由L107输入量化器107的量化变换系数、经由L113输入的运动信息进行熵编码。虽然并未限定熵编码的方法，但可应用算术编码或可变长编码等。

编码数据经由L111输出至输出端子112。

输出端子112将从编码器111输出的信息集中输出到外部。

参照画面列表管理器114作成3个参照画面列表(L0、L1、L2)，该参照画面列表用于使对保存在帧存储器104中的参照画面(例如，图2(A)的401、402、404、405或图2(B)的408、409、410、412)赋予的帧号与运动信息所包含的参照画面编号相对应。在L0和L1是双预测、L2是单预测时，为了从参照画面编号中导出参照画面的帧号并从帧存储器104中取得再生信号而采用该参照画面列表管理器。

向运动信息推定器113和预测信号生成器103通知参照画面列表的信息(未图示)。因此，运动信息推定器113和预测信号生成器103能够从L0和L1的参照画面列表中取得可利用于双预测的参照画面编号的信息。另外，能够从L2的参照画面列表中取得可利用于单预测的参照画面编号的信息。

预测信号生成器103在从帧存储器104中取得基于运动信息的再生信号时，向参照画面列表管理器114通知预测模式和参照画面编号(L115)。另外，在运动信息推定器113从帧存储器104中取得基于运动信息的再生信号时，也向参照画面列表管理器114通知预测模式和参照画面编号。在帧存储器中，利用参照画面的帧号来管理参照画面，所以参照画面列表管理器114采用参照画面列表来导出参照画面的帧号，并经由L114向帧存储器通知取得对象的参照画面的帧号。这样，预测信号生成器103和运动信息推定器113取得与运动信息对应的再生信号。

即，参照画面列表管理器114当从预测信号生成器103接收了预测模式和参照画面编号的通知时，在预测模式为双预测的情况下，采用L0和L1来导出与两个参照画面编号对应的两个参照画面的帧号。另一方面，在预测模式是单预测的情况下，采用L2来导出与1个参照画面编号对应的1个参照画面的帧号。

在图4中说明参照画面列表的例子。

图4(A)是与图2(A)所示的参照画面401、402、404和405的参照画面列表对应的例子。在帧存储器104中保存这4个参照画面。

L0和L1是在双预测中采用的参照画面列表，L2是在单预测中采用的参照画面列表。ref_idx列表示用于指示在各列表中登记的参照画面的帧号(frame_num)的索引(参照画面编号；ref_idx)。

在图4(A)的例子中，参照画面列表管理器114根据在L0和L1中登记的参照画面，来确定在参照画面列表L2中登记的参照画面。

当在L0和L1中重复登记了相同的参照画面时，参照画面列表管理器114在L2中仅登记1个。在图4(A)的例子中，因为在L0和L1中登记的参照画面中没有重复，所以在L2中登记L0和L1所登记的全部参照画面。在图4(A)的例子中，在L2中登记4个参照画面(401、402、404和405)的帧号。对在L2中登记的参照画面，按照与编码对象画面403的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，从第0号起赋予ref_idx。当具有距离差相同的参照画面时，对值小的帧号的参照画面授予值小的ref_idx。

图4(B)是与图2(B)所示的参照画面408、409、410和412相对应的参照画面列表的例。在图4(B)的例中，参照画面列表管理器114根据在帧存储器中保存的参照画面，来确定在参照画面列表L2中登记的参照画面。在此例中，在L2内登记4个参照画面(408、409、410和412)的帧号。对在L2中登记的参照画面，按照与编码对象画面411的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，从第0号起赋予ref_idx。当具有距离差相同的参照画面时，对值小的帧号的参照画面授予值小的ref_idx。

图4(C)是与图2(B)所示的参照画面408、409、410和412相对应的参照画面列表的例。图4(C)的例与图4(B)不同，参照画面列表管理器114根据在L0和L1中登记的参照画面来确定在参照画面列表L2中登记的参照画面。在图4(C)的例子中，因为在L0和L1中登记的参照画面中具有重复，所以在L2中登记3个参照画面(409、410和412)的帧号。这样，当根据在L0和L1中登记的参照画面来确定L2时，具有可利用于单预测的参照画面数量减少的情况。

此外，3个参照画面列表可按照每一帧进行更新，或者按照集中多个块的每个切片进行更新，或者按照每个块进行更新。

图5是示出本实施方式的图像预测编码装置100中的图像预测编码方法的顺序的流程图。首先，可利用块分割器102将输入图像分割为16×16的编码块(也可以分割为其以外大小或形状的块。另外，可以在画面内混合尺寸不同的块)。

关于对象块的预测信号的生成方法(预测方法)，可应用在背景技术中所说明那样的画面间预测或画面内预测(未图示画面内预测)，但在本实施方式中，考虑了采用由块匹配(图15)检测出的运动信息进行预测的方法。此外，在运动信息中包含运动矢量、预测模式(单预测/双预测)、根据多个参照画面来指示利用于预测的参照画面的帧号的参照画面编号。

首先，参照画面列表管理器114根据对在帧存储器104中保存的参照画面(例如，图2的401、402、404、405或图2的408、409、410，412)赋予的帧号的信息，来作成3个参照画面列表(步骤S101)。

接着，运动信息推定器113根据编码对象的画面和在帧存储器104中保存的参照画面来生成运动信息(预测模式、参照画面编号、运动矢量)(步骤S102)。预测信号生成器103根据运动信息和在帧存储器104中保存的参照画面来生成对象块的预测信号(步骤S103)。

接着，编码器111对运动信息所包含的预测模式进行熵编码(步骤S104)。在预测模式为双预测的情况下进入步骤S106，在单预测的情况下进入步骤S107(步骤S105)。

在步骤S106中，对基于图4所说明的L0和L1的与运动信息所包含的两个参照画面的帧号对应的参照画面编号(ref_idx)进行熵编码。此外，还对用于双预测的2个运动矢量进行熵编码。

另一方面，在步骤S107中，对基于图4所说明的L2的与运动信息所包含的参照画面的帧号对应的参照画面编号(ref_idx)进行熵编码。此外，还对用于单预测的运动矢量进行熵编码。

作为对象块的像素信号和预测信号的差分的残差信号经由变换器106、量化器107进行变换并量化。编码器111对通过此处理生成的量化变换进行熵编码(步骤S108)。

为了对后续的对象块进行预测编码，而在这些处理之后或与这些处理並行地利用逆量化器108以及逆变换器109对量化变换系数实施逆量化和逆变换来复原残差信号。然后，利用加法器110将复原的残差信号与预测信号相加，并再生对象块的信号。将再生信号作为参照画面存储在帧存储器104中(步骤S109)。然后，当全部对象块的处理没有完成时，处理返回至步骤S102，进行对下一对象块的处理。当全部对象块的处理完成时，结束处理(步骤S110)。此外，当以块为单位进行3个参照画面列表的更新时，在步骤S110的处理环路中包含步骤S101。另外，当以切片为单位进行3个参照画面列表的更新时，以切片为单位实施图5的全部处理。

图6是示出图5中的3个参照画面列表管理处理顺序(步骤S101)的流程图。这里，如图4(A)和(C)所示，举例说明根据在L0和L1中登记的参照画面来确定在参照画面列表L2中登记的参照画面时的顺序。

参照画面列表管理器114首先根据在帧存储器104中保存的参照画面帧号的信息，生成如图4所示的L0和L1的参照画面列表(步骤S701)。

接着，参照画面列表管理器114进行参数的初始化处理(步骤S705)。在初始化中，使i、j、k的各种参数复位为0。i、j、k分别表示L0、L1、L2的ref_idx。

在初始化后，参照画面列表管理器114进行判定在L2中是否登记了在L0中登记的N个参照画面的处理。首先，判定在L2中是否存在被赋予ref_idx=i的参照画面L0[i]的帧号(步骤S720)。在已经存在的情况下，不将L0[i]登记到L2并进入S740。在不存在的情况下，将在L0[i]中登记的参照画面的帧号登记在L2[k]中。并且，对k的值增加1之后进入步骤S740(步骤S730)。在步骤S740中，对i的值增加1。步骤S710判定是否对L0所包含的N个参照画面进行S720、S730、S740的处理。在结束的情况下，进入步骤S750，在没有结束的情况下，进入S720，并反复S720、S730、S740的处理。

接着，进行判定在L2中是否登记了在L1中登记的M个参照画面的处理。首先，判定在L2中是否存在被赋予ref_idx=j的参照画面L1[j]的帧号(步骤S760)。在已经存在的情况下，不将L1[j]登记到L2并进入S780。在不存在的情况下，将在L1[j]中登记的参照画面的帧号登记到L2[k]中。并且，在对k的值增加1之后，进入步骤S780(步骤S770)。在步骤S780中，对j的值增加1，在步骤S750中判定是否对L1所包含的M个参照画面进行S760、S770、S780的处理。在结束的情况下，进入步骤S790，在没有结束的情况下，进入S760，反复S760、S770、S780的处理。

最后，参照画面列表管理器114为了针对在L2中登记的参照画面的帧号，按照处理对象画面与参照画面间的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，赋予值小的ref_idx(参照画面编号)，而重新排列参照画面的帧号。此外，在登记了距离差相同的参照画面时，对值小的帧号的参照画面赋予值小的ref_idx。

这样，除了适合双预测的两个参照画面列表L0和L1之外，还准备适合单预测的第3参照画面列表L2，由此能够高效地使用在帧存储器中准备的参照画面。例如，当在帧存储器中保存4个参照画面时，如果L0和L1的参照画面具有重复，则用于单预测的参照画面数量(在L0和L1中登记的参照画面数量)总共为3个以下。通过在单预测应用中准备参照画面列表L2，即使在L0和L1的参照画面中具有重复的情况下，也能够采用4个参照画面来实施单预测。

另外，因为单预测的参照画面列表为1个，所以在单预测时，不需要利用预测模式来选择参照画面列表，并改善预测模式的编码效率。

接着，说明一实施方式的图像预测解码。图7是示出一实施方式的图像预测解码装置200的框图。该图像预测解码装置200具备输入端子201、解码器202、逆量化器203、逆变换器204、加法器205、输出端子206、帧存储器104、预测信号生成器103、参照画面列表管理器114。逆量化器108和逆变换器109作为逆量化单元发挥功能。此外，逆量化单元可采用这些部件以外的部件进行逆量化。另外，可没有逆变换器204。也可以在预测信号生成器103中包含参照画面列表管理器114。

输入端子201输入利用上述的图像预测编码方法进行压缩编码的压缩数据。在该压缩数据中针对分割为多个的解码对象的块(对象块)，包含对误差信号进行变换量化后进行熵编码而得的量化变换系数和复原用于生成块预测信号的运动信息的编码数据。

关于对象块的预测信号的生成方法(预测方法)，可应用如背景技术所说明那样的画面间预测或画面内预测(未图示画面内预测)，但在本实施方式中考虑了采用由块匹配(图15)检测出的运动信息进行预测的方法。此外，在运动信息中包含运动矢量、预测模式(单预测/双预测)、根据多个参照画面指示利用于预测的参照画面的帧号的参照画面编号。

在本实施方式中，虽然将解码对象的对象块的尺寸设为16×16，但也可以分割为其以外大小或形状的块。另外，在画面内可混合尺寸不同的块。

解码器202对向输入端子201输入的压缩数据进行分析，分离为与解码对象的对象块相关的量化变换系数的编码数据和运动信息的编码数据并且进行熵解码，将解码数据即量化变换系数和运动信息经由L202a、L202b分别输出至逆量化器203和预测信号生成器103。但不被熵解码的方法所限定，可应用算术编码或可变长编码等。

关于运动信息，解码器202对预测模式、参照画面编号(ref_idx)和运动矢量进行解码。

预测信号生成器103根据经由L202b输入的运动信息，从帧存储器104中取得已再生信号，生成对象块的预测信号。将所生成的预测信号经由L103输出至加法器205。

逆量化器203对经由线L202a输入的量化变换系数进行逆量化。逆变换器204对已逆量化的数据进行逆离散余弦变换，并复原对象块的误差信号。

加法器205将预测信号生成器103所生成的预测信号与经由逆量化器203以及逆变换器204复原的残差信号相加，将对象块的再生像素信号经由线L205输出至输出端子206以及帧存储器104。输出端子206向外部(例如显示器)进行输出。

帧存储器104将从加法器205输出的用于下一解码处理的参照用的再生图像作为参照画面进行存储。

参照画面列表管理器114作成3个参照画面列表(L0、L1、L2)，该参照画面列表用于将对在帧存储器104中保存的参照画面(例如，图2(A)的401、402、404、405或图2(B)的408、409、410、412)赋予的帧号与运动信息所包含的参照画面编号相对应起来。在L0和L1为双预测、L2为单预测时，为了根据参照画面编号导出参照画面的帧号并从帧存储器104中取得再生信号而采用该参照画面列表管理器。

向预测信号生成器103通知参照画面列表的信息(未图示)。因此，预测信号生成器103能够从L0和L1的参照画面列表中取得可利用于双预测的参照画面编号的信息。另外，能够从L2的参照画面列表中取得可利用于单预测的参照画面编号的信息。

在预测信号生成器103从帧存储器104中取得基于运动信息的再生信号时，向参照画面列表管理器114通知预测模式和参照画面编号(L115)。在帧存储器104中采用参照画面的帧号来管理参照画面，所以参照画面列表管理器114根据参照画面列表来导出参照画面的帧号，并经由L114对帧存储器通知取得对象的参照画面的帧号。这样，预测信号生成器103取得与运动信息对应的再生信号。

即，参照画面列表管理器114在从预测信号生成器103接收了预测模式和参照画面编号的通知时，在预测模式为双预测的情况下，采用L0和L1导出与两个参照画面编号对应的两个参照画面的帧号。另一方面，在预测模式为单预测的情况下，采用L2导出与1个参照画面编号对应的1个参照画面的帧号。

在图4中说明参照画面列表的例子。

图4(A)是与图2(A)所示的参照画面401、402、404和405对应的参照画面列表的例子。在帧存储器104中保存这4个参照画面。

L0和L1是在双预测中采用的参照画面列表，L2是在单预测中采用的参照画面列表。ref_idx列表示用于指示在各个列表中登记的参照画面的帧号(frame_num)的索引(参照画面编号；ref_idx)。

在图4(A)的例子中，参照画面列表管理器114根据在L0和L1中登记的参照画面来确定在参照画面列表L2中登记的参照画面。

当在L0和L1中重复登记相同的参照画面时，参照画面列表管理器114在L2中仅登记这些重复的两个参照画面中的1个帧号。在图4(A)的例子中，因为在L0和L1中登记的参照画面没有重复，所以在L2中登记L0和L1所登记的全部参照画面。在图4(A)的例子中，在L2中登记4个参照画面(401、401、404和405)的帧号。对在L2中登记的参照画面按照与编码对象画面411的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，从第0号起赋予ref_idx。在具有距离差相同的参照画面时，对值小的帧号的参照画面赋予值小的ref_idx。

图4(B)是与图2(B)所示的参照画面408、409、410和412相对应的参照画面列表的例。在图4(B)的例中，参照画面列表管理器114根据在帧存储器中保存的参照画面来确定在参照画面列表L2中登记的参照画面。在此例中，在L2中登记4个参照画面(408、409、410和412)的帧号。对在L2中登记的参照画面按照与编码对象画面411的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，从第0号起赋予ref_idx。在具有距离差相同的参照画面时，对值小的帧号的参照画面赋予值小的ref_idx。

图4(C)是与图2(B)所示的参照画面408、409、410和412相对应的参照画面列表的例。图4(C)的例与图4(B)不同，参照画面列表管理器114根据在L0和L1中登记的参照画面来确定在参照画面列表L2中登记的参照画面。在图4(C)的例中，因为在L0和L1内登记的参照画面具有重复，所以在L2中登记3个参照画面(409、410和412)的帧号。这样，当根据在L0和L1中登记的参照画面来确定L2时，具有可利用于单预测的参照画面数量减少。

此外，3个参照画面列表可以按照每一帧进行更新，可以按照集中多个块的每个切片进行更新，或者按照每个块进行更新。

接着，采用图8来说明图7所示的图像预测解码装置200中的图像预测解码方法。首先，经由输入端子201输入压缩数据。在该压缩数据中针对分割为多个的解码对象的块(对象块)，包含有对误差信号变换量化后进行熵编码的量化变换系数和用于生成块预测信号的运动信息的编码数据。

关于对象块的预测信号的生成方法(预测方法)，可应用在背景技术中所说明那样的画面间预测或画面内预测(未图示画面内预测)，但在本实施方式中考虑了采用由块匹配(图15)检测出的运动信息进行预测的方法。此外，在运动信息中包含运动矢量、预测模式(单预测/双预测)、根据多个参照画面来指示利用于预测的参照画面的帧号的参照画面编号。

在本实施方式中，将解码对象的对象块的尺寸设为16×16，但也可以分割为其以外大小或形状的块。另外，在画面内可混合存在尺寸不同的块。

首先，参照画面列表管理器114根据对在帧存储器104中保存的参照画面(例如，图2的401、402、404、405或图2的408、409、410，412)授予的帧号的信息，来生成3个参照画面列表(步骤S101)。

接着，解码器202分析向输入端子201输入的压缩数据，对与解码对象的对象块相关的运动信息进行熵解码。在运动信息的解码数据中包含预测模式、参照画面编号(ref_idx)和运动矢量。

首先，在步骤S201中，解码器202对预测模式进行熵解码。

接着，解码器202根据所解码的预测模式来判定解码的参照画面和运动矢量数量。在已解码的预测模式为双预测的情况下，进入步骤S203，在预测模式为单预测的情况下进入步骤S204(步骤S202)。

在步骤S203中，因为是双预测，所以对基于L0和L1的两个参照画面编号(ref_idx)和两个运动矢量进行熵解码。另一方面，在步骤S204中，因为是单预测，所以对基于L2的1个参照画面编号(ref_idx)和1个运动矢量进行熵解码。

接着，预测信号生成器103根据已解码的运动信息，生成对象块的预测信号(步骤S205)。在从帧存储器104中取得基于运动信息的再生信号时，向参照画面列表管理器114通知预测模式和参照画面编号。在帧存储器104中，采用参照画面的帧号来管理参照画面，所以利用参照画面列表管理器114导出参照画面的帧号，并取得所期望的参照画面的再生信号。这样，预测信号生成器103在步骤S203中取得与运动信息对应的再生信号。

接着，对与解码对象的对象块相关的量化变换系数进行熵解码。经由解码器202解码的量化变换系数在逆量化器203中进行逆量化，在逆变换器204中进行逆变换，生成再生残差信号(步骤S206)。然后，通过将生成的预测信号与再生残差信号相加来生成再生信号，为了再生下一对象块而将该再生信号存储到帧存储器104中(步骤S207)。在具有下一压缩数据的情况下，反复S201～S207的过程(S208)，对全部数据进行处理直至最后。

此外，在以块为单位进行3个参照画面列表的更新时，在步骤S208的处理环路中包含步骤S101。另外，在以切片为单位进行3个参照画面列表的更新时，以切片为单位实施图8的全部处理。

图6是示出图8中的3个参照画面列表管理处理顺序(步骤S101)的流程图。

参照画面列表管理器114首先根据在帧存储器104中保存的参照画面的帧号信息来生成如图4所示的L0和L1的参照画面列表(步骤S701)。这里，如图4(A)和(C)所示，以根据在L0和L1中登记的参照画面来确定在参照画面列表L2中登记的参照画面时的顺序为例进行说明。

接着，参照画面列表管理器114进行参数的初始化处理(步骤S705)。在初始化中，将i、j、k的各种参数复位为0。i、j、k分别表示L0、L1、L2的ref_idx。

在初始化后，参照画面列表管理器114进行如下这样的处理，判定在L2中是否登记有在L0中登记的N个参照画面。首先，判定在L2中是否存在赋予ref_idx=i的参照画面L0[i]的帧号(步骤S720)。在已经存在的情况下，在L2中不登记L0[i]，进入S740。在不存在的情况下，在L2[k]中登记有在L0[i]内登记的参照画面的帧号。并且，在k的值增加1之后，进入步骤S740(步骤S730)。在步骤S740中，使i的值增加1。步骤S710判定是否对L0所包含的N个参照画面进行S720、S730、S740的处理。在结束的情况下，进入步骤S750，在没有结束的情况下，进入S720，反复S720、S730、S740的处理。

接着，进行如下这样的处理，判定在L2中是否登记有在L1内登记的M个参照画面。首先，判定在L2中是否存在被赋予了ref_idx=j的参照画面L1[j]的帧号(步骤S760)。在已经存在的情况下，在L2中不登记L1[j]，进入S780。在不存在的情况下，在L2[k]中登记有在L1[j]内登记的参照画面的帧号。并且，在k的值增加1之后，进入步骤S780(步骤S770)。在步骤S780中，使j的值增加1，在步骤S750中判定是否对L1所包含的M个参照画面进行S760、S770、S780的处理。在结束的情况下，进入步骤S790，在没有结束的情况下，进入S760，反复S760、S770、S780的处理。

最后，参照画面列表管理器114为了针对在L2中登记的参照画面的帧号，按照处理对象画面与参照画面之间的时间方向的距离差从小到大的顺序即按照两个画面间的参照帧号之差的绝对值从小到大的顺序，赋予值小的ref_idx(参照画面编号)，而重新排列参照画面的帧号。此外，在登记了距离差相同的参照画面时，对值小的帧号的参照画面赋予值小的ref_idx。

在本发明中还可以进行下述的变形。

(帧号)

在上述中，利用帧号进行参照画面或编码对象画面的识别，但不仅限于帧号。只要是来自任意画面的帧号的差分值等能识别各个画面的信息就可以变更帧号进行利用。

(参照画面列表的作成方法)

关于根据在L0和L1中登记的参照画面来生成参照画面列表的情况，参照画面列表的生成方法不被图6的顺序所限定。在图9和图10中示出其它例。在这些例子中，如图6那样进行在L2中登记的参照画面的变换处理。在L0和L1的参照画面排列为可不进行L2的参照画面的变换时是有效的。即，假定如下这样的情况：只要进行按照图9和图10所示的顺序，在L2中登记L0和L1的参照画面的处理，就能够根据距离对象画面近的参照画面即两个画面间的参照帧号之差的绝对值小的画面，如在L2中登记那样地构成L0和L1。

在图9中，参照画面列表管理器114首先根据在帧存储器104中保存的参照画面帧号的信息，来生成如图4所示的L0和L1的参照画面列表(步骤S501)。

接着，参照画面列表管理器114进行参数的初始化处理(步骤S505)。在初始化中，使i、j、k的各种参数复位为0。i、j、k分别列表示L0、L1、L2的ref_idx。

在初始化后，参照画面列表管理器114进入步骤S510。

在步骤S510中，判定i是否小于N，当小于N时，进入步骤S520，在大于等于的情况下进入步骤S550。在步骤S520判定在L0内登记的N个参照画面中被赋予了ref_idx=i的参照画面L0[i]的帧号是否存在于L2。在已经存在的情况下，在L2中不登记L0[i]，进入S540。在不存在的情况下，在L2[k]中登记有在L0[i]内登记的参照画面的帧号。然后，在k的值增加1之后，进入步骤S540(步骤S530)。在步骤S540中，使i的值增加1，并进入步骤S550。

在步骤S550中，判定j是否小于M，当小于时，进入步骤S560，当大于等于时进入步骤S590。在步骤S560中判定在L0内登记的M个参照画面中被赋予了ref_idx=j的参照画面L1[j]的帧号是否存在于L2。在已经存在的情况下，不在L2中登记L1[j]，进入S580。在不存在的情况下，在L2[k]中登记有在L1[j]内登记的参照画面的帧号。并且，在k的值增加1之后，进入步骤S580(步骤S570)。在步骤S580中，使j的值增加1，并进入步骤S590。

在步骤S590中，判定是否是i=N且j=M。在满足条件的情况下结束，在不满足的情况下，返回步骤S510。

在图10中，参照画面列表管理器114首先根据在帧存储器104中保存的参照画面帧号的信息来生成如图4所示的L0和L1的参照画面列表(步骤S601)。

接着，参照画面列表管理器114进行参数的初始化处理(步骤S605)。在初始化中，使i、j、k的各种参数复位为0。i、j、k分别表示L0、L1、L2的ref_idx。

在初始化后，参照画面列表管理器114进行判定在L2中是否登记有在L0内登记的N个参照画面的处理。首先，判定在L2中是否存在被赋予ref_idx=i的参照画面L0[i]的帧号(步骤S620)。在已经存在的情况下，在L2中不登记L0[i]，进入S640。在不存在的情况下，在L2[k]中登记有在L0[i]内登记的参照画面的帧号。并且，在k的值增加1之后，进入步骤S640(步骤S630)。在步骤S640中，使i的值增加1，在步骤S610中判定是否对L0所包含的N个参照画面进行S620、S630、S640的处理，在结束的情况下，进入步骤S650，在没有结束的情况下，进入S620，反复S620、S630、S640的处理。

接着，进行判定在L2中是否登记有在L1内登记的M个参照画面的处理。首先，判定在L2中是否存在被赋予ref_idx=j的参照画面L1[j]的帧号(步骤S660)。在已经存在的情况下，不在L2中登记L1[j]，进入S680。在不存在的情况下，在L2[k]中登记有在L1[j]内登记的参照画面的帧号。并且，在k的值增加1之后，进入步骤S680(步骤S670)。在步骤S680中，使j的值增加1，在步骤S650中判定是否对L1所包含的M个参照画面进行S660、S670、S680的处理，在满足条件的情况下结束处理，在不满足条件的情况下，进入S660，反复S660、S670、S680的处理。

(参照画面列表的利用方法)

在上述中，虽然在单预测中利用参照画面列表L2，在双预测中利用L0和L1，但3个参照画面列表的利用方法不仅限于此。例如，可仅作成L2，在双预测的参照画面编号的导出中使用L2。即，在双预测时不使用L0和L1。

此时，为了选择两个不同的参照画面编号可进行限制。当在帧存储器中存在未来显示的参照画面时，双向预测(根据过去和未来的参照画面生成预测信号)是有效的。因此，从用于生成第2预测信号的参照画面的候选中去除用于生成双预测的第1预测信号的参照画面。

在图17的(A-1)和(A-2)中说明此例。如图2(A)所示，对编码对象画面403，假定在帧存储器中保存4个参照画面401、402、404、405的情况。

当处理用于生成第1预测信号的参照画面编号时，使用图17(A-1)所示的参照画面列表460。这里，在为了生成第1预测信号而选择参照画面402的情况下，根据参照画面列表460，ref_idx=0(frame_num=1)为第1参照画面编号。

另一方面，在选择用于生成第2预测信号的参照画面时，如图17(A-2)所示利用已去除参照画面402的参照画面列表461。当将画面404确定为用于生成第2预测信号的参照画面时，ref_idx=0(frame_num=3)成为第2参照画面编号。这样，对第2参照画面进行编码时的参照画面的候选实质性变少，所以能够削减第2参照画面编号的编码所需的编码量。

在解码侧作为第1预测信号的参照画面编号对ref_idx=(frame_num=1)0进行解码之后，作成已去除与ref_idx=0对应的画面401的参照画面列表461。当作为第2预测信号的参照画面编号对ref_idx=0(frame_num=3)进行解码时，根据参照画面列表461可知第2参照画面是画面404。

另外，作为在双预测中采用L2的其它方法，可准备将双预测用的两个参照画面编号ref_idx_0(这里，ref_idx_0未限定是0还是1)和ref_idx_1(这里，ref_idx_1未限定是0还是1)变换为L2的参照画面列表的ref_idx的函数。例如，可利用ref_idx=ref_idx_0+offset_0来计算第1参照画面编号，利用ref_idx=ref_idx_1+offset_1来计算第2参照画面编号ref_idx_1。在L2是图17(A)的参照画面列表462时，如果offset_0=0、offset_1=2，则与图4(A)的L0和L1相同，可将第1参照画面的候选设定为画面402和401，将第2参照画面的候选设定为画面403、404。

作为其它例，考虑利用ref_idx=ref_idx_0×2+offset_0计算第1参照画面编号、利用ref_idx=ref_idx_1×2+offset_1计算第2参照画面编号的情况。当L2是图17(C)的参照画面列表463时，此时如果offset_0=0、offset_1=1，则与图4(A)的L0和L1相同，可将第1参照画面的候选设定为画面402和401，将第2参照画面的候选设定为画面403、404。

这样，可通过准备将双预测用的两个参照画面编号ref_idx_0和ref_idx_1变换为L2的参照画面列表的ref_idx的函数，来对双预测的两个参照画面编号进行编码，从而即使利用1个参照画面列表也不会损失效率。

此外，可准备多个这样的函数，并利用帧单位、切片单位、块单位自适应地选择使用。此时，对选择所需要的信息进行编码。

另外，可生成与L2不同的1个双预测用的参照画面列表，并采用如上述说明的函数。即，采用单预测用和双预测用的两个参照画面列表，实施参照画面编号的编码以及参照画面的帧号的导出处理。

(参照画面列表的编码)

在上述中，以预定的规则自动生成参照画面列表，但可按照每个块、每一帧或者每一切片对L2的参照画面列表进行编码。在此情况下，解码装置不需要生成参照画面列表的处理。L0和L1的参照画面列表也可以同样地进行编码。在解码侧可利用解码器202来再生参照画面列表。

另外，可准备多个参照画面列表的生成方法，按照每个块、每一帧或者每一切片对指示采用哪个生成方法的选择信息进行编码。在各个列表中可分别准备生成方法而进行编码。在解码侧，解码器202将解码的生成方法输出至参照画面列表管理器114。参照画面列表管理器114根据所输入的参照画面列表的生成方法来生成3个参照画面列表。

(参照画面的帧号的编码)

参照画面列表仅利用于对识别在预测中使用的参照画面的信息高效地进行熵编码用的结构。因此，可将如图4所示的参照画面列表用作可变长编码的编码列表或算术编码的编码要素的二进制化列表，对参照画面的帧号进行直接编码并解码。在此情况下，将图4的ref_idx栏置换为可变长编码或二进制代码。此外，在用于双预测的第1参照画面和第2参照画面以及用于单预测的参照画面中分别准备3种可变长编码或二进制代码。

(运动矢量的编码)

通常，利用与附随在邻接于对象块的块上的运动矢量(预测运动矢量)的差分值对运动矢量进行编码。即使在对运动矢量进行差分编码的情况下，也能够利用对采用第3参照画面列表的单预测的参照画面帧号进行编码并解码的方法。

因此，在编码器以及解码器中，利用参照画面列表、参照画面编号以及运动矢量的组或者参照画面的帧号以及运动矢量的组来保存运动矢量。

在预测运动矢量中，通常使用指示与对象块的运动矢量所指示的参照画面相同的参照画面的运动矢量。从多个邻接块(例如，对象块的正上方、正左、左上、右上的块等)中，将满足此条件的运动矢量选为预测运动矢量。

此时，在采用参照画面的帧号来比较对象块与邻接块的运动矢量所指示的参照画面的方法中，如果参照画面的帧号是相同的，则也可以将不同参照画面列表的运动矢量选择为预测运动矢量。此外，可从以与对象块的预测模式相同的预测模式进行预测的邻接块的运动矢量中选择对象块的预测运动矢量。在此情况下，因为可比较相同参照画面列表的参照画面编号，所以运动矢量的预测处理变得简单。即，在单预测的情况下只要比较在L2中登记的参照画面编号既可，而不是参照画面的帧号。在双预测的情况下，块所保持的两个运动矢量分别根据L0和L1来指示参照画面。因此，可分别比较在L0中登记的参照画面编号和在L1中登记的参照画面编号。

此方法不仅仅在预测模式和参照画面编号的编码/解码中，还可以在参照运动矢量的编码/解码等参照画面的处理中利用参照画面列表L2。

另一方面，在运动矢量的编码/解码时，可采用L0和L1的参照画面编号和参照画面列表来比较对象块和邻接块的运动矢量所指示的参照画面。在此情况下，编码器和解码器在预测模式为单预测时对参照画面编号进行编码之后或解码之后，将参照画面列表L2的参照画面编号变换为参照画面列表L0或L1的参照画面编号。在利用编码器和解码器实施的图6、图9或图10的处理中，L2的参照画面编号与L0或L1的参照画面编号的关系是明确的，所以编码器和解码器没有矛盾，可实施从参照画面列表L2的参照画面编号向参照画面列表L0或L1的参照画面编号的变换。另外，当参照画面列表管理器114根据在帧存储器内保存的参照画面来确定在参照画面列表L2中登记的参照画面时，可对L2的参照画面编号与L0或L1的参照画面编号的关系进行编码。在此情况下，只要仅利用编码器进行L0和L1的参照画面编号与L2的参照画面之间的变换处理既可。

这样，使L2的参照画面编号与L0或L1的参照画面编号的关系明确，由此在仅将参照画面列表L2利用于预测模式与参照画面编号的编码/解码并如运动矢量的编码/解码那样采用运动矢量的处理中，为了利用L0和L1可构成编码处理和解码处理。

(变换器、逆变换器)

关于残差信号的变换处理，可以以固定的块尺寸进行，也可以配合部分区域对对象区域进行再分割而进行变换处理。

(颜色信号)

在上述说明中，没有特别对色彩格式进行叙述，但是，关于颜色信号或色差信号，也可以独立于亮度信号进行预测信号的生成处理。此外，也可以与亮度信号的处理联动地进行预测信号的生成处理。在独立于亮度信号生成预测信号的情况下，即使针对单预测用的第3参照画面列表也可以独立于亮度信号准备颜色信号用的参照画面列表。

还能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，例示有软盘(注册商标)、CD-ROM、DVD、或ROM等记录介质，或者半导体存储器等。

图11是示出能够执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100具备块分割模块P101、运动信息推定模块P102、预测信号生成模块P103、存储模块P104、减法模块P105、变换模块P106、量化模块P107、逆量化模块P108、逆变换模块P109、加法模块P110、编码模块P111以及参照画面列表管理模块P112。由计算机执行上述各个模块而实现的功能与上述图像预测编码装置100的功能相同。即，块分割模块P101、运动信息推定模块P102、预测信号生成模块P103、存储模块P104、减法模块P105、变换模块P106、量化模块P107、逆量化模块P108、逆变换模块P109、加法模块P110、编码模块P111、参照画面列表管理模块P112使计算机执行与块分割器102、运动信息推定器113、预测信号生成器103、帧存储器104、减法器105、变换器106、量化器107、逆量化器108、逆变换器109、加法器110、编码器111、参照画面列表管理器114各自相同的功能。

另外，图12是示出可执行图像预测解码方法的程序的模块的框图。图像预测解码程序P200具备解码模块P201、参照画面列表管理模块P202、预测信号生成模块P203、存储模块P204、逆量化模块P205、逆变换模块P206以及加法模块P207。

通过执行上述各个模块而实现的功能与上述图像预测解码装置200的各个构成要素相同。即，解码模块P201、参照画面列表管理模块P202、预测信号生成模块P203、存储模块P204、逆量化模块P205、逆变换模块P206、加法模块P207使计算机执行与解码器202、参照画面列表管理器114、预测信号生成器103、帧存储器104、逆量化器203、逆变换器204、加法器205各自相同的功能。

这样构成的图像预测编码程序P100或者图像预测解码程序P200被存储在记录介质10中，以便由后述的计算机执行。

图13是示出用于执行被记录在记录介质中的程序的计算机的硬件结构的图，图14是示出用于执行被记录在记录介质中的程序的计算机的立体图。另外，执行被存储在记录介质中的程序的不限于计算机，也可以是具备CPU的进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。

如图14所示，计算机30具有软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置12，使操作系统常驻的作业用存储器(RAM)14，存储被保存在记录介质10中的程序的存储器16，被称为显示器的显示装置18，作为输入装置的鼠标20和键盘22，用于进行数据等的收发的通信装置24，以及控制程序的执行的CPU26。当记录介质10被插入到读取装置12时，计算机30可以从读取装置12访问存储在记录介质10中的图像预测编码/解码程序，通过该图像编码或解码程序，计算机30可以作为本实施方式的图像编码装置或图像解码装置进行动作。

如图13所示，图像预测编码程序和图像解码程序也可以是作为被叠加在载波中的计算机数据信号40而通过网络来提供。在这种情况下，计算机30将由通信装置24接收到的图像预测编码程序或者图像解码程序存储在存储器16中，并能够执行该图像预测编码程序或者图像预测解码程序。

以上，根据该实施方式详细说明了本发明。但是，本发明不仅限定于上述实施方式。本发明能够在不脱离其宗旨的范围内进行各种变形。

标号说明

100…图像预测编码装置，101…输入端子，102…块分割器，103…预测信号生成器，104…帧存储器，105…减法器，106…变换器，107…量化器，108…逆量化器，109…逆变换器，110…加法器，111…编码器，112…输出端子，113…运动信息推定器，114…参照画面列表管理器，201…输入端子，202…解码器，203…逆量化器，204…逆变换器，205…加法器，206…输出端子。

Claims (10)

1.一种图像预测编码装置，其特征在于，具备：

区域分割单元，其将输入图像分割为多个区域；

运动信息推定单元，其求出运动信息，该运动信息用于从已再生的参照画面中取得与对象区域的像素信号的相关度高的信号，该对象区域是通过所述区域分割单元分割的编码对象；

预测信号生成单元，其根据所述运动信息来生成对象区域的预测信号；

残差信号生成单元，其生成基于所述对象区域的预测信号和所述对象区域的像素信号的残差信号；

量化单元，其对所述残差信号实施量化处理，生成量化系数；

编码单元，其对所述运动信息和所述残差信号的量化系数进行编码；

逆量化单元，其对通过所述量化单元生成的所述量化系数实施逆量化处理，并再生残差信号；以及

记录单元，其将包含通过所述预测信号与所述再生的残差信号的相加而生成的所述对象区域的复原像素信号在内的画面作为参照画面进行保存，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述运动信息推定单元从所述两个预测模式的候选中选择1个，当选择单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出所述运动信息，

所述编码单元至少对预测模式作为运动信息进行编码。

2.根据权利要求1所述的图像预测编码装置，其特征在于，

所述运动信息推定单元从所述两个预测模式的候选中选择1个，当选择了所述双预测时，从所述记录单元所保存的多个参照画面中选择两个参照画面，当选择了所述单预测时，从所述记录单元所保存的多个参照画面中选择1个参照画面，

所述编码单元对所述预测模式进行编码，

当所述运动信息中所包含的预测模式是双预测时，对识别如下两个参照画面的帧号的索引进行编码，对两个运动矢量进行编码，该两个参照画面是在登记了能利用于所述双预测的多个参照画面的帧号的第1参照画面列表和第2参照画面列表中规定的参照画面，

当所述运动信息中所包含的预测模式是单预测时，对识别如下1个参照画面的帧号的索引进行编码，对1个运动矢量进行编码，该1个参照画面是在登记了能利用于所述单预测的多个参照画面的帧号的第3参照画面列表中规定的参照画面。

3.根据权利要求2所述的图像预测编码装置，其特征在于，

按照所述输入图像的帧号与参照画面的帧号之间的差的绝对值从小到大的顺序，在第3参照画面列表中登记了所述第3参照画面列表的参照画面。

4.一种图像预测解码装置，其特征在于，具备：

解码单元，其对分割为多个区域而编码后的图像的压缩数据进行分析，对作为解码对象的对象区域的信号的运动信息的解码数据和残差信号的解码数据进行解码；

预测信号生成单元，其根据所述解码的运动信息和已再生的参照画面来生成对象区域的预测信号；

逆量化单元，其对作为所述残差信号的解码数据的量化系数实施逆量化处理，对再生残差信号进行再生；以及

记录单元，其保存包含通过所述预测信号与所述再生残差信号的相加而生成的所述对象区域的复原像素信号在内的参照画面，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述解码单元至少对所述预测模式作为运动信息进行解码，

所述预测信号生成单元在所述预测模式是单预测时，根据由登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面，生成所述预测信号。

5.根据权利要求4所述的图像预测解码装置，其特征在于，

所述解码单元对所述预测模式进行解码，

此外，在所述解码的预测模式是双预测时，对识别第1参照画面列表和第2参照画面列表中规定的两个参照画面的帧号的索引进行解码，对两个运动矢量进行解码，

在所述解码的预测模式是单预测时，对识别第3参照画面列表中规定的1个参照画面的帧号的索引进行解码，对1个运动矢量进行解码。

6.根据权利要求5所述的图像预测解码装置，其特征在于，

按照所述图像的帧号与参照画面的帧号之间的差的绝对值从小到大的顺序，在第3参照画面列表中登记了所述第3参照画面列表的参照画面。

7.一种图像预测编码方法，其特征在于，包含以下的步骤：

区域分割单元将输入图像分割为多个区域的步骤；

运动信息推定单元求出运动信息的步骤，其中该运动信息用于从已再生的参照画面中取得与对象区域的像素信号的相关度高的信号，该对象区域是通过所述区域分割单元分割的编码对象；

预测信号生成单元根据所述运动信息生成对象区域的预测信号的步骤；

生成基于所述对象区域的预测信号和所述对象区域的像素信号的残差信号的步骤；

量化单元对所述残差信号实施量化处理，生成量化系数的步骤；

编码单元对所述运动信息和所述残差信号的量化系数进行编码的步骤；

逆量化单元对由所述量化单元生成的所述量化系数实施逆量化处理并对残差信号进行再生的步骤；以及

记录单元将包含通过所述预测信号与所述再生的残差信号的相加而生成的所述对象区域的复原像素信号在内的画面作为参照画面进行保存的步骤，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述运动信息推定单元从所述两个预测模式的候选中选择1个，在选择单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出所述运动信息，

所述编码单元至少对预测模式作为运动信息进行编码。

8.一种图像预测编码程序，该图像预测编码程序使计算机作为如下的单元发挥功能：

区域分割单元，其将输入图像分割为多个区域；

运动信息推定单元，其求出运动信息，该运动信息用于从已再生的参照画面中取得与对象区域的像素信号的相关度高的信号，该对象区域是通过所述区域分割单元分割的编码对象；

预测信号生成单元，其根据所述运动信息来生成对象区域的预测信号；

残差信号生成单元，其生成基于所述对象区域的预测信号和所述对象区域的像素信号的残差信号；

量化单元，其对所述残差信号实施量化处理，生成量化系数；

编码单元，其对所述运动信息和所述残差信号的量化系数进行编码；

逆量化单元，其对通过所述量化单元生成的所述量化系数实施逆量化处理，并对残差信号进行再生；以及

记录单元，其将包含通过所述预测信号与所述再生的残差信号的相加而生成的所述对象区域的复原像素信号在内的画面作为参照画面进行保存，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述运动信息推定单元从所述两个预测模式的候选中选择1个，当选择单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来求出所述运动信息，

所述编码单元至少对预测模式作为运动信息进行编码。

9.一种图像预测解码方法，其特征在于，包含以下的步骤：

解码单元对分割为多个区域而编码后的图像的压缩数据进行分析，对作为解码对象的对象区域的信号的运动信息的解码数据和残差信号的解码数据进行解码；

预测信号生成单元根据所述解码的运动信息和已再生的参照画面来生成对象区域的预测信号；

逆量化单元对作为所述残差信号的解码数据的量化系数实施逆量化处理，对再生残差信号进行再生；以及

记录单元保存包含通过所述预测信号与所述再生残差信号的相加而生成的所述对象区域的复原像素信号在内的参照画面，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述解码单元至少对所述预测模式作为运动信息进行解码，

所述预测信号生成单元在所述预测模式是单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来生成所述预测信号。

10.一种图像预测解码程序，其特征在于，

该图像预测解码程序使计算机作为以下部件发挥功能：

解码单元，其对分割为多个区域而编码后的图像的压缩数据进行分析，对作为解码对象的对象区域的信号的运动信息的解码数据和残差信号的解码数据进行解码；

预测信号生成单元，其根据所述解码的运动信息与已再生的参照画面来生成对象区域的预测信号；

逆量化单元，其对作为所述残差信号的解码数据的量化系数实施逆量化处理，对再生残差信号进行再生；以及

记录单元，其保存包含通过所述预测信号与所述再生残差信号的相加而生成的所述对象区域的复原像素信号在内的参照画面，

所述运动信息包含将利用1个参照画面的单预测和利用两个参照画面的双预测作为选择候选的预测模式，

所述解码单元至少对所述预测模式作为运动信息进行解码，

所述预测信号生成单元在所述预测模式是单预测时，根据在登记了多个参照画面的帧号的单预测用的单一参照画面列表中规定的一个参照画面来生成所述预测信号。

Images