CN101529918B - 预测参照信息生成方法、活动图像的编码及解码方法及其装置 - Google Patents

Abstract

本发明涉及在对每个分割的区域应用时间或空间的帧间预测编码方式，基于处理对象区域的参照帧和表示该参照帧中的处理对象区域的预测对象位置的参照信息，生成处理对象区域的预测图像并处理活动图像时，生成成为该参照信息的预测信息的预测参照信息的方法。将对与处理对象区域邻接的已经处理完成的邻接区域进行处理时的参照信息，作为处理对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定，根据对通过该预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息，由此变更所述预测参照信息预测数据，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成上述预测参照信息。

Description

预测参照信息生成方法、活动图像的编码及解码方法及其装置

技术领域

本发明涉及一种预测参照信息生成方法及其装置，在对图像进行区域分割，对每一个区域应用时间或空间的帧间预测编码方式，基于处理对象区域的参照帧和表示该参照帧中的处理对象区域的预测对象位置的参照信息，生成处理对象区域的预测图像并处理活动图像时使用，从而生成成为该参照信息的预测信息的预测参照信息，本发明还涉及使用该预测参照信息生成方法的活动图像编码方法及其装置、对通过该预测参照信息生成方法生成的编码数据进行解码的活动图像解码方法及其装置、用于实现该预测参照信息生成方法的预测参照信息生成程序及记录了该程序的计算机能够读取的记录介质、用于实现该活动图像编码方法的活动图像编码程序及记录了该程序的计算机能够读取的记录介质、用于实现该活动图像解码方法的活动图像解码程序及记录了该程序的计算机能够读取的记录介质。

本申请基于2006年10月30日申请的日本专利申请2006-293929号主张优先权，并在这里引用其内容。

背景技术

多视点活动图像(多视点影像)指的是以多个摄影机对相同的被摄体和背景进行摄影的多个活动图像(video)。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将对相同的被摄体和背景进行摄影的二维活动图像组称为“多视点活动图像”。

多视点活动图像中包含的各摄影机的二维活动图像在时间方向上具有强相关。另一方面，在各摄影机被同步了的情况下，在相同时刻摄影的各摄影机的影像是从不同位置对完全相同状态的被摄体和背景进行摄影的影像，因此在摄影机间有强相关。在活动图像的编码中，通过利用这些相关能够提高编码效率。

首先，对与二维活动图像的编码技术相关的现有技术进行说明。

在以作为国际标准活动图像编码规的MPEG-2和H.264为首的现有的多种二维活动图像编码方式中，通过被称为帧间预测编码的方法，利用时间方向的相关实现了高的编码效率。

在二维活动图像编码中的帧间预测编码中使用的方法，由于是利用了根据时间的影像的变化、即利用了运动的方法，所以一般被称为运动补偿。在以下，仿效该例子将时间方向的帧间预测编码称为运动补偿。再有，帧表示构成活动图像的、在某个时刻摄影的一枚图像。

在一般的二维活动图像编码中的各帧的编码模式中，有不使用帧间的相关而进行编码的I帧、根据过去编码了的一枚帧一边进行运动补偿一边进行编码的P帧、和根据过去编码了的两枚帧一边进行运动补偿一边进行编码的B帧。

进而，为了使编码预测的效率提高，在影像编码方式H.263和H.264中，在参照图像存储器中蓄积两帧以上的多枚帧的量的解码图像，能够从该存储器选择参照图像进行预测。

能够对每个块选择参照图像，通过对指定参照图像的参照图像指定信息进行编码，从而能够进行解码处理。

在运动补偿中，除了参照图像指定信息之外，还编码矢量，该矢量用于表示使用参照图像内的哪个位置进行编码对象块的预测。该矢量被称为运动矢量。

在运动矢量的编码中，在MPEG-4和H.264中，根据编码对象块的邻接块的运动矢量生成预测矢量，仅对在编码对象块的运动补偿中使用的运动矢量和该预测矢量的差分矢量进行编码。根据该方法，在邻接块间有运动的连续性的情况下，能够高编码效率地对运动矢量进行编码。

关于在H.264中的预测矢量的生成处理的详细，记载在下面表示的非专利文献1中，以下对其概要进行说明。

在H.264中，如图20A所示，根据在编码对象块的左边的块(图中的a)、上边的块(图中的b)、右上的块(图中的c)中使用的运动矢量(mv_a，mv_b，mv_c)，分别对每一个计算中央值来求取水平成分和垂直成分。

在H.264中，由于采用可变块大小运动补偿，所以有编码对象块和周边的块的动态补偿块大小不相同的情况，在该情况下，如图20B所示，块a作为左边邻接的块内的最上边的块，块b作为上边邻接的块内的最左边的块，块c作为存在于右上的最近的块。

作为例外，在编码对象块的大小是8×16像素的情况下，如图20C所示，在预测中代替中央值，左边的块使用块a，右边的块使用块c，在编码对象块的大小是16×8像素的情况下，如图20D所示，在预测中代替中央值，下边的块使用块a，上边的块使用块b。

此外，如上所述，在H.264中，从过去编码了的多个帧中，对每个块选择参照帧，使用该参照帧进行运动补偿。

通常，由于被摄体的运动根据参照帧而变化，所以比起使用与编码对象块的参照帧不同的参照帧进行运动补偿的情况下的运动矢量，可以认为使用相同的参照帧进行运动补偿的情况下的运动矢量是接近于在编码对象块中使用的运动矢量的矢量。

因此，在H.264中，在块a、b、c内与编码对象块的参照帧相等的块只有一个的情况下，通过代替中央值而将该块的运动矢量作为预测矢量使用，能够生成可靠度更高的预测矢量。

在物体进行匀速直线运动的情况等、在多个帧之间有运动的连续性的情况下，作为编码效率良好地对运动矢量进行编码的方法，有对在编码顺序中的稍前的帧的运动矢量进行蓄积、按照时间间隔缩放(scaling)其运动矢量信息从而计算运动矢量的方法。

用于得知该时间间隔的信息利用各帧的输出时刻。

通常，由于在摄影图像的输入顺序和解码顺序不同的情况等、按照摄影时刻顺序解码影像时需要该时间信息，因此对每个帧编码该时刻信息。即，在编码中，对应于输入顺序设定输入图像的时刻信息并对各帧进行编码，在解码中，以通过设定了的时刻信息指定的顺序输出各帧的解码图像。

作为利用多个帧间存在的运动的连续性对运动矢量编码效率良好地进行编码的方法，有在H.264中被称为时间直接模式的方法。

例如，对图21所示的帧A、B、C，假设以帧A、B、C的顺序进行编码，帧C以帧A为参照帧一边进行运动补偿一边被编码。在这样的状况下，在时间直接模式中，帧B的某个块的运动矢量以下述方式求取。

首先，找到在与编码对象块位置相同的帧C上的块中使用的运动矢量mv。

接着，按照下述数式，计算将帧A作为参照帧时的运动矢量fmv和将帧C作为参照帧时的运动矢量bmv。

fmv＝(mv×T_AB)/T_AC

bmv＝(mv×T_BC)/T_BC

这里，T_AB、T_BC、T_AC分别表示帧A和帧B之间的时间间隔、帧B和帧C之间的时间间隔、帧A和帧C之间的时间间隔。

在H.264中，时间直接模式仅能够在对每一个块使用两枚参照帧的B帧(Bi-predictive Frame：双预测帧)中利用。

在下面表示的非专利文献2中，提案了一种通过应用上述模式，即使在对每一个块使用一枚参照帧的P帧中，也能够高效率地编码运动矢量的方法。

作为假定了邻接块间的运动的连续性和多个帧间的运动的连续性这两者而高效率地编码运动矢量的方法，有下面表示的非专利文献3记述的方法。

图22A～22D表示其概要。在该方法中，与H.264和MEPG-4同样地，使用编码对象块的周边块的运动矢量生成预测矢量，仅对在实际的运动补偿中使用的运动矢量和预测矢量的差分矢量进行编码(参照图22A)。

与H.264等的不同点是不直接使用周边块的运动矢量，而是使用以下的算式，按照时间间隔缩放运动矢量之后进行利用。

mv_k’＝mv_k×T_ct/T_ck

这里，mv_k表示原来的运动矢量，mv_k’表示被缩放了的运动矢量，T_ct表示编码对象帧和编码对象块要参照的帧之间的时间间隔，T_ck表示编码对象帧和其周边块参照的帧之间的时间间隔(参照图22B～22D)。

接着，对现有的多视点活动图像的编码方式进行说明。

在一般的多视点活动图像的编码中利用摄影机之间的相关，通过使用对在相同时刻以不同的摄影机摄影的帧之间应用了运动补偿的“视差补偿”，实现高编码效率。

作为使用该方法的例子，有MEPG-2 Multiview profile或非专利文献4中记述的方法等。

在非专利文献4的方法中，对每一个块选择运动补偿和视差补偿的任何一方进行编码。通过对每一个块选择编码效率好的一方，能够利用时间方向的相关和摄影机间的相关这两方，与仅使用任一方的情况相比 实现了高编码效率。

在视差补偿中，除了预测残差之外，视差矢量也被编码。视差矢量是对应于作为帧间的时间变化的运动矢量的矢量，表示在以配置于不同位置的摄影机摄影的图像平面上，被摄体上的相同位置被投影的位置的差。

图23表示该在摄影机间产生的视差矢量的概念图。在该概念图中，从上方垂直地观察光轴平行的摄影机的图像平面。

在视差矢量的编码中，能够与运动矢量的编码同样地使用如下方法，根据编码对象块的邻接块的视差矢量生成预测矢量，仅对在编码对象块的视差补偿中使用的视差矢量和该预测矢量的差分矢量进行编码。根据该方法，在邻接块间有视差的连续性的情况下，能够编码效率良好地对视差矢量进行编码。

非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，″Editor′s ProposedDraft Text Modifications for Joint Video Specification (ITU-TRec.H.264/ISO/IEC 14496-10 Ave)，Draft7″，Final Committee Draft，Document JVT-E022，pp.63-64，and 117-121，September 2002.

非专利文献2：Alexis Michael Tourapis，″Direct Prediction forPredictive(P)and Bidirectional 1y Predictive(B)frames in Video Coding，″JVT-C128，Joint Video Team(JVT)of ISO/IEC MPEG&ITU-T VCEGMeeting，pp.1-11，May，2002.

非专利文献3：加藤禎篤，ブンチユンセン，″時間的動きべクトル正規化を用いた複数予測参照画像の符号化における動きべクトル予測″，PCSJ2004画像符号化シンポジウム資料19th，P-2.18，Nov2004.

非专利文献4：Hideaki Kimata and Masaki Kitahara，″Preliminaryresults on multiple view video coding(3DAV)″，document M10976 MPEGRedmond Meeting，July，2004.

本发明要解决的课题

将在编码对象块中实际使用的运动矢量或视差矢量，以与利用在邻接块中使用的运动矢量和视差矢量而生成的预测矢量的差分进行编码的现有的方法，是基于在实空间上被摄体连续存在、被摄体的运动在相同的被摄体内变化不大的概率高的事实，因此能够以更少的码量对编码 对象块中使用的运动矢量或视差矢量进行编码。

可是，在最适合于预测编码对象块的图像的参照帧没有在邻接块中被使用的情况下，实际使用的运动矢量和预测矢量的差变大，不能够充分地削减码量。

特别是在对每一个块适应地选择运动补偿和视差补偿而进行编码的情况下，由于运动矢量和视差矢量性质非常不同，所以不能根据运动矢量生成视差矢量的预测矢量，或根据视差矢量生成运动矢量的预测矢量，不能够有效率地对用于帧间预测的信息进行编码。

关于运动矢量，通过使用非专利文献1记述的时间直接模式，或非专利文献2或非专利文献3记述的方法，即使在最适于预测编码对象块的图像的时刻的参照帧没有在邻接块中被使用的情况下，也能够高效率地生成运动矢量。

可是，由于这些方法假定了帧间的运动的连续性，所以如果被摄体在数帧中相对于摄影机不进行近似匀速直线运动的话，就不能高效率地生成预测矢量。

关于视差矢量，在以最适于预测编码对象块的摄影机摄影的参照帧没有在邻接块中被使用的情况下，作为用于生成视差矢量的高效率的方法，能够容易地类推如下方法，即代替时间间隔而使用摄影机间隔，对在邻接块中使用的视差矢量进行缩放而使用的方法。

可是，在该方法中，在摄影机的朝向是平行(光轴为平行的)的情况下能够生成适合的预测矢量，但是在除此之外的情况下不能够生成适合的预测矢量，因此不能够实现有效率的编码。

此外，作为当然的情况，即使使用如下方法，即、使用这样的时间间隔或摄影机间隔，对已经编码完成的运动矢量或视差矢量进行缩放而利用的方法，在对每一个块适应地选择运动补偿和视差补偿而进行编码的情况下，生成适合的预测矢量是困难的，不能够实现有效率的编码。

发明内容

本发明正是基于上述情况而完成的，其目的在于提供一种新技术，即使在多个帧之间实际和表观上的被摄体或摄影机的运动不是匀速直线运动的情况下，也能够生成使编码时的影像预测中使用的运动矢量或视差矢量的差分变小的预测矢量或预测视差信息。

用于解决课题的方法

本发明的预测参照信息生成装置

为了实现该目的，本发明的预测参照信息生成装置，在对图像进行区域分割，对每个区域应用时间或空间的帧间预测编码方式，基于处理对象区域的参照帧和表示该参照帧中的处理对象区域的预测对象位置的参照信息生成处理对象区域的预测图像，对活动图像进行处理时使用，进行生成成为该参照信息的预测信息的预测参照信息的处理，该预测参照信息生成装置具备：(I)预测参照信息预测数据设定单元，将与处理对象区域邻接的已经处理完成的邻接区域被处理时的参照信息，作为处理对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；(II)参照区域参照信息生成单元，根据对通过预测参照信息预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息；(III)预测参照信息预测数据变更单元，使用已生成的所述参照区域参照信息变更预测参照信息预测数据，以及(IV)预测参照信息生成单元，使用存在的一个或多个变更后的预测参照信息预测数据，生成所述预测参照信息。

以上的各处理单元以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。

在以上述方式构成的本发明的预测参照信息生成装置中，首先在最初，将与处理对象区域邻接的已经处理完成的邻接区域被处理时的参照信息，作为处理对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定。

接着，根据对通过预测参照信息预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息，使用已生成的所述参照区域参照信息对该设定了的预测参照信息预测数据进行变更。

接着，使用存在的一个或多个变更后的预测参照信息预测数据，生成成为处理对象区域的参照信息的预测信息的预测参照信息。

这样，本发明的预测参照信息生成装置，以下述方式进行处理，不是直接使用在与处理对象区域邻接的已经处理完成的邻接区域被处理时的参照信息，生成成为处理对象区域的参照信息的预测信息的预测参 照信息，而是考虑被摄体的非直线的运动或摄影机的非匀速直线运动，将处理其邻接区域时的参照信息作为预测参照信息预测数据进行设定，根据对通过预测参照信息预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息，基于该已生成的参照区域参照信息变更预测参照信息预测数据，使用该变更后的预测参照信息预测数据，生成成为处理对象区域的参照信息的预测信息的预测参照信息。

这时，也可以使用变更后的预测参照信息预测数据反复进行预测参照信息预测数据的变更处理，在进行该反复处理的情况下，例如在到达处理对象区域的参照帧为止，进行该反复处理。

根据以上述方式构成的本发明的预测参照信息生成装置，即使在没有多个帧之间的影像变化的时间连续性的情况下，或一边对每个处理对象区域选择运动补偿和视差补偿一边对多视点图像进行编码或解码的情况下，也能够减小对处理对象区域进行编码或解码时使用的参照信息和预测参照信息的差，由此能够高效率地对用于帧间预测编码的运动矢量或视差信息进行编码或解码。

本发明的活动图像编码方法

通过以上述方式构成的本发明的预测参照信息生成装置而实现的本发明的预测参照信息生成方法，能够应用于活动图像编码方法。

即，本发明的活动图像编码方法，对图像整体进行区域分割，对每个区域从已经编码完成的多个帧中选择在预测该区域的图像信息时作为参照帧而使用的编码对象区域参照帧，使用编码对象区域参照帧、和表示该编码对象区域参照帧中的编码对象区域的预测对象位置的参照信息(例如，运动矢量或视差矢量)，生成预测图像，通过对预测图像和编码对象区域的图像的差分信息进行编码，从而对活动图像进行编码，在本发明的活动图像编码方法采用上述结构时，具有：(I)预测参照信息预测数据设定步骤，将与编码对象区域邻接的已经编码完成的邻接区域被编码时的参照信息，作为编码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；(II)参照区域参照信息生成步骤，根据对通过预测参照信息预测数据指示的参照区域进行编码时使用的一个以上的参照信息，生成参照区域参照信息；(III)预测参照信息预测数据变更步骤，使用已生成的所述参照区域参照信息变更预测参照 信息预测数据；(IV)预测参照信息生成步骤，使用存在的一个或多个变更后的预测参照信息预测数据，生成成为编码对象区域的参照信息的预测信息的预测参照信息；以及(V)差分参照信息编码步骤，对为了生成对于编码对象区域的预测图像而使用的参照信息和预测参照信息的差分信息进行编码。

作为典型例子，在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和，从而变更所述预测参照信息预测数据。

作为另一个典型例子，在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述参照区域参照信息表示的对应点信息，从而变更所述预测参照信息预测数据。

优选在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和、以及所述参照区域参照信息的对应点信息的任意一方，从而变更所述预测参照信息预测数据。

在该情况下，也可以在所述预测参照信息预测数据变更步骤中，使用编码对象区域参照帧的时刻信息和视点信息、包含参照区域的帧的时刻信息和视点信息、作为对参照区域进行编码时的参照帧的参照区域参照帧的时刻信息和视点信息、以及编码对象帧的时刻信息和视点信息，决定将预测参照信息预测数据的对应点信息变更为预测参照信息预测数据的对应点信息与参照区域参照信息的对应点信息的和，还是变更为参照区域参照信息的对应点信息。

作为优选例，具有：预测参照信息几何变换步骤，使用编码对象帧的视点的摄影机参数、所述编码对象区域参照帧的视点的摄影机参数、和所述预测参照信息预测数据表示的帧的视点的摄影机参数，对该预测参照信息预测数据表示的对应点信息施加几何变换。

作为另一个优选例，具有：参照区域参照信息几何变换步骤，使用编码对象帧的视点的摄影机参数、所述编码对象区域参照帧的视点的摄影机参数、所述预测参照信息预测数据表示的帧的视点的摄影机参数、 和与该预测参照信息预测数据对应的参照区域参照信息表示的帧的视点的摄影机参数，对该参照区域参照信息表示的对应点信息施加几何变换。

作为另一个优选例，具有：预测参照信息预测数据探索步骤，将编码对象区域的参照帧上的区域作为探索对象，探索与通过预测参照信息预测数据指示的参照区域对应起来的区域，将预测参照信息预测数据变更为探索结果的对应信息。

这时，在预测参照信息预测数据探索步骤中，有时将预测参照信息预测数据的上述对应信息表示的区域作为探索中心进行探索，将预测参照信息预测数据变更为根据该探索结果的信息。

作为另一个优选例，具有：预测参照信息预测数据探索步骤，将编码对象区域的参照帧上的区域作为探索对象，探索与编码对象区域的邻接区域对应起来的区域，将预测参照信息预测数据变更为探索结果的对应信息。

这时，在预测参照信息预测数据探索步骤中，有时将预测参照信息预测数据的上述对应信息表示的区域作为探索中心进行探索，将预测参照信息预测数据变更为根据该探索结果的信息。

本发明的活动图像解码方法

通过以上述方式构成的本发明的预测参照信息生成装置而实现的本发明的预测参照信息生成方法，能够应用于活动图像解码方法。

接着，对通过本发明的预测参照信息生成方法而实现的本发明的活动图像解码方法进行说明。

即，本发明的活动图像解码方法，在对图像整体进行区域分割，一边根据已经解码了的多个帧生成预测图像一边对图像进行解码时，通过对每个区域，对表示为了生成预测图像而使用的作为已经解码完成的帧的解码对象区域参照帧的信息、表示解码对象区域参照帧中的解码对象区域的预测对象位置的参照信息、预测图像和解码对象区域的图像的差分信息进行解码，从而解码活动图像，在采用上述结构时，本发明的活动图像解码方法具有：(I)预测参照信息预测数据设定步骤，将与解码对象区域邻接的已经解码完成的邻接区域被解码时的参照信息，作为解码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；(II)参照区域参照信息生成步骤，根据对通过预测参照信息预测 数据指示的参照区域进行解码时使用的一个以上的参照信息，生成参照区域参照信息；(III)预测参照信息预测数据变更步骤，使用已生成的所述参照区域参照信息变更预测参照信息预测数据；(IV)预测参照信息生成步骤，使用存在的一个或多个变更后的预测参照信息预测数据，生成成为解码对象区域的参照信息的预测信息的预测参照信息；以及(V)差分参照信息解码步骤，从编码数据，对为了生成对于解码对象区域的预测图像而使用的参照信息和预测参照信息的差分信息进行解码。

作为典型例子，在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和，从而变更所述预测参照信息预测数据。

作为另一个典型例子，在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述参照区域参照信息表示的对应点信息，从而变更所述预测参照信息预测数据。

优选在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和、以及所述参照区域参照信息表示的对应点信息的任意一方，从而变更所述预测参照信息预测数据。

在该情况下，也可以在预测参照信息预测数据变更步骤中，使用解码对象区域参照帧的时刻信息和视点信息、包含参照区域的帧的时刻信息和视点信息、作为解码参照区域时的参照帧的参照区域参照帧的时刻信息和视点信息、以及解码对象帧的时刻信息和视点信息，决定将预测参照信息预测数据的对应点信息变更为预测参照信息预测数据的对应点信息与参照区域参照信息的对应点信息的和，还是变更为参照区域参照信息的对应点信息。

作为优选例，具有：预测参照信息几何变换步骤，使用解码对象帧的视点的摄影机参数、所述解码对象区域参照帧的视点的摄影机参数、和所述预测参照信息预测数据表示的帧的视点的摄影机参数，对该预测参照信息预测数据表示的对应点信息施加几何变换。

作为另一个优选例，具有：参照区域参照信息几何变换步骤，使用解码对象帧的视点的摄影机参数、所述解码对象区域参照帧的视点的摄影机参数、所述预测参照信息预测数据表示的帧的视点的摄影机参数、和与该预测参照信息预测数据对应的参照区域参照信息表示的帧的视点的摄影机参数，对该参照区域参照信息表示的对应点信息施加几何变换。

作为另一个优选例，具有：预测参照信息预测数据探索步骤，将解码对象区域的参照帧上的区域作为探索对象，探索与通过预测参照信息预测数据指示的参照区域对应起来的区域，将预测参照信息预测数据变更为探索结果的对应信息。

这时，在预测参照信息预测数据探索步骤中，有时将预测参照信息预测数据的上述对应信息表示的区域作为探索中心进行探索，将预测参照信息预测数据变更为根据该探索结果的信息。

作为另一个优选例，具有：预测参照信息预测数据探索步骤，将解码对象区域的参照帧上的区域作为探索对象，探索与解码对象区域的邻接区域对应起来的区域，将所述预测参照信息预测数据变更为探索结果的对应信息。

这时，在预测参照信息预测数据探索步骤中，有时将预测参照信息预测数据的上述对应信息表示的区域作为探索中心进行探索，将预测参照信息预测数据变更为根据该探索结果的信息。

发明的效果

根据本发明，将对与编码对象区域邻接的区域进行编码时使用的参照信息，利用在对该参照区域进行编码时使用的编码信息，变换为适合于编码对象帧和编码对象参照帧的时刻和视点关系的参照信息，之后，通过生成预测参照信息，即使在没有多个帧间的影像变化的时间连续性的情况下，或对每一个编码单位区域一边选择运动补偿和视差补偿一边对多视点图像进行编码的情况下，不用对表示变换操作的方法的附加信息进行编码，就能够减少对编码对象区域进行编码时使用的参照信息和预测参照信息的差，能够高效率地对用于帧间预测编码的运动矢量或视差信息进行编码。

附图说明

图1是表示通过本发明，将预测参照信息预测数据变更为预测参照信息预测数据与参照区域参照信息的和的情况的处理的一个例子的图。

图2是表示通过本发明，将预测参照信息预测数据变更为参照区域参照信息的情况的处理的一个例子的图。

图3是本发明的活动图像编码装置的一个实施方式例。

图4是本实施方式例的活动图像编码装置执行的活动图像编码处理的流程图的一个例子。

图5是在本实施方式例的编码中，在仅有时间方向的影像预测是可能的情况下的预测参照信息预测数据的变更处理的流程图的一个例子。

图6是在本实施方式例的编码中，在针对每一个编码对象块的时间方向或摄影机间的影像预测的任一方是可能的情况下的预测参照信息预测数据的变更处理的流程图的一个例子。

图7是作为图6的流程图的一部分的、编码对象块进行摄影机间的影像变化的预测的情况下的流程图的一个例子。

图8是作为图6的流程图的一部分的、编码对象块进行时间的影像变化的预测的情况下的流程图的一个例子。

图9是在本实施方式例的编码中，能够每一个编码对象块进行任意的影像预测的情况下的、预测参照信息预测数据的变更处理的流程图的一个例子。

图10是作为图9的流程图的一部分的、编码对象块进行摄影机间的影像变化的预测的情况下的流程图的一个例子。

图11是作为图9的流程图的一部分的、编码对象块进行时间的影像变化的预测的情况下的流程图的一个例子。

图12是作为图9的流程图的一部分的、编码对象块进行时间的变化和摄影机间的变化混合存在的影像变化的预测的情况下的流程图的一个例子。

图13是在图7的流程图的S310执行的预测参照信息预测数据的变更处理的说明图。

图14是在图7的流程图的S318执行的预测参照信息预测数据的变更处理的说明图。

图15是在图10的流程图的S415执行的预测参照信息预测数据的 变更处理的说明图。

图16是在图11的流程图的S433执行的预测参照信息预测数据的变更处理的说明图。

图17是在图12的流程图的S444执行的预测参照信息预测数据的变更处理的说明图。

图18是本发明的活动图像解码装置的一个实施方式例。

图19是本实施方式例的活动图像解码装置执行的活动图像解码处理的流程图的一个例子。

图20A是H.264中的运动矢量预测的说明图。

图20B同样是H.264中的运动矢量预测的说明图。

图20C同样是H.264中的运动矢量预测的说明图。

图20D同样是H.264中的运动矢量预测的说明图。

图21是直接模式中的运动矢量生成的说明图。

图22A是使用编码对象块的周边块的运动矢量生成预测矢量的方法的说明图。

图22B是使用时刻信息应用了缩放的运动矢量预测的说明图。

图22C同样是使用时刻信息应用了缩放的运动矢量预测的说明图。

图22D同样是使用时刻信息应用了缩放的运动矢量预测的说明图。

图23是摄影机间产生的视差的说明图。

附图标记说明

100活动图像编码装置

101图像输入部

102块匹配实施部

103预测图像作成部

104差分图像编码部

105差分图像解码部

106参照帧存储器

107参照信息蓄积存储器

108预测参照信息预测数据存储器

109预测参照信息生成部

110差分参照信息编码部

111参照信息变更部

112参照帧指定信息蓄积存储器

113参照帧选择部

114参照帧指定信息编码部

具体实施方式

根据本发明的活动图像编码方法或者活动图像解码方法，当使用编码对象区域/解码对象区域的邻接区域的参照信息，对为了编码/解码编码对象区域/解码对象区域而使用的参照信息进行预测时，使用在对编码/解码邻接区域时参照的参照区域进行编码/解码时使用的参照信息，对邻接区域的参照信息施加修正，由此即使在多个帧之间没有影像变化的连续性的情况下，也能够生成高精度的预测参照信息。

在现有的方法中，如图1的虚线箭头所示那样，由于假定在多个帧之间的影像变化中有连续性而单纯地修正参照信息(根据参照信息生成预测参照信息)，所以在多个帧之间的影像变化中没有连续性的情况下，会错误地实施变换。

相对于此，根据本发明，由于能够根据对邻接区域的参照区域进行编码/解码时的参照信息，取得从邻接区域的参照帧向其它的帧的变化，所以能够不假定多个帧之间的影像变化的连续性，而修正邻接区域的参照信息。

这里，在本发明中，将对该邻接区域的参照区域、即对通过预测参照信息预测数据表示的区域进行编码/解码时的参照信息称为参照区域参照信息。

该参照区域参照信息在对该参照区域进行编码/解码时被实际利用，因为良好的编码效率而被认为可靠度较高地表示了影像的变化。因此，可以说使用了这样的信息而实施了修正的信息也可靠度较高地表示了影像的变化。

作为修正参照信息的方法，如图1所示，采用对相对于邻接区域的参照信息加入参照区域参照信息的方法(矢量合成方法)。

在该方法中，通过将从邻接区域的参照区域的参照帧向邻接区域的参照帧的影像变化，加入到从邻接区域的参照帧向编码/解码对象帧的影像变化上，从而求取从邻接区域的参照区域的参照帧向编码/解码对象帧的影像变化。

这是基于已经被编码/解码的影像变化不会再变化的事实，能够实现可靠度高的参照信息变换。

这里，可以想到邻接区域的参照区域没有成为编码/解码处理的单位区域，在该区域中包含多个参照信息的情况，这时，可使用下述方法中的一个，

(i)将在包含最多的参照区域的编码/解码处理的单位区域中使用的参照信息作为参照区域参照信息，

(ii)将对应于包含参照区域的比例对编码/解码处理的单位区域的参照信息赋予权重而求取的平均的参照信息作为参照区域参照信息，

(iii)将相对于编码/解码处理的单位区域而被编码/解码的参照信息作为被该区域中包含的全部的像素具有，将在多个参照区域中出现最多的参照信息作为参照区域参照信息。

此外，该修正不仅是进行一次，也可以对施加了修正的参照信息再次施加修正等，反复地进行。

通过反复地施加修正，在邻接区域的参照区域的参照帧没有充分地接近编码/解码对象区域参照帧的情况下，能够得到与来自编码/解码对象区域参照帧的影像变化更接近的预测参照信息预测数据。

作为修正参照信息的方法，如图2所示，也可以采用以参照区域参照信息置换相对于邻接区域的参照信息的方法。

在该方法中，设从邻接区域的参照帧向编码/解码对象帧的影像变化，与从邻接区域的参照帧向编码/解码对象区域参照帧的影像变化相等，求取从编码/解码对象区域参照帧向编码/解码对象帧的影像变化。

在该方法中，利用了现实世界中的两个事实。

第一个是在现实世界中的被摄体的变化中存在物理的制约这一事实。被摄体的变化中存在物理的限制，表示视差的时间相关高。

也就是说，被施加了时间上不同的帧中的对应关系的区域、即邻接区域及该邻接区域的参照区域中的视差的类似性非常高。

因此，通过将邻接区域的时间的参照信息置换为邻接区域的参照区域中的摄影机之间的参照信息，从而能够高精度地变换为邻接区域中的摄影机之间的参照信息。

第二个是在现实世界中的被摄体的运动是一个的事实。被摄体的变换只有一个这一事实，表示通过各摄影机摄影的运动完全相同，被摄体 的运动的摄影机之间的相关高。

也就是说，被施加了不同摄影机在相同时刻摄影的帧的对应关系的区域，即邻接区域和该邻接区域的参照区域中的运动的类似性非常高。

因此，通过将邻接区域的摄影机之间的参照信息置换为邻接区域的参照区域中的时间的参照信息，能够高精度地变换为邻接区域中的时间的参照信息。

由此，在编码对象区域和其邻接区域中，即使参照对象在时间方向和摄影机方向上不同，也能够高精度地预测参照信息。

再有，在该方法中，邻接区域的参照区域和其参照帧的时刻关系和视点关系、与编码/解码对象帧和编码/解码对象区域参照帧的时间关系和视点关系越适合，能够进行正确的预测的置换越可能。

修正参照信息的方法也可以对编码/解码对象区域的每一个适宜地选择上述任一个方法。

在各个方法中，由于利用的影像的性质不同，所以哪个方法是适合的根据状况而不同。

因此，通过对每一个编码/解码对象区域进行切换，能够对该区域施加适合的修正，能够生成更正确地表示影像变化的预测参照信息。

这里，由于前面的方法是累积帧间的影像的时间变化，所以对于预测时间方向的影像变化是适合的方法，由于后面的方法是适合于变换影像变化的时间和摄影机之间的维度(dimension)的方法，所以根据在编码/解码对象区域中使用的影像预测的方法、或通过预测参照信息预测数据和参照区域参照信息表示的影像变化的维度，能够判断优选应用哪个方法。

也就是说，通过使用编码/解码对象区域参照帧的时刻信息和视点信息、包含参照区域的帧的时刻信息和视点信息、作为对参照区域进行编码/解码时的参照帧的参照区域参照帧的时刻信息和视点信息、以及编码/解码对象帧的时刻信息和视点信息，能够高精度地判定应该应用的方法。

作为修正参照信息的方法，也可以采用按照编码/解码对象帧的视点的摄影机参数、编码/解码对象区域参照帧的视点的摄影机参数、包含参照区域的帧的视点的摄影机参数，通过对参照信息施加几何变换而进行修正的方法。

此外，也可以对预测参照信息预测数据、参照区域参照信息施加这样的变换。

根据这些方法，能够将以两个摄影机摄影的帧的影像变化变换为以其他组合的两个摄影机摄影的帧的影像变化。

由于影像的摄影机之间的变化与影像的时间变化不同，是起因于摄影机的位置和被摄体的位置的变换，所以当有在相同时刻从两个不同位置摄影的图像，并且表示该摄影机的位置关系等的摄影机参数是已知的情况下，能够高精度地预测从其他的位置摄影的图像。

由于该对应关系不是仅通过对应于摄影机间隔进行缩放就能够得到，所以仅对现有的对应于时间间隔进行缩放的方法进行扩展的单纯的方法，不能够进行可正确预测的变换。

作为修正参照信息的方法，也可以采用将编码/解码对象区域的参照帧上的区域作为探索对象，探索与通过预测参照信息预测数据指示的参照区域对应起来的区域，将预测参照信息预测数据置换为探索结果的对应信息的方法。

此外，作为修正参照信息的方法，也可以采用将编码对象区域的参照帧上的区域作为探索对象，探索与编码对象区域的邻接区域对应起来的区域，将预测参照信息预测数据置换为探索结果的对应信息的方法。

在这些方法中，虽然在编码侧、解码侧这两方需要大量的运算，但由于能够更正确地求取邻接区域的编码/解码对象区域参照帧上的对应点，所以能够生成更正确地表示影像变化的预测参照信息，结果能够更有效率地编码参照信息。

在这些方法中，能否正确地求取对应点，极大地依赖于探索对应区域时的探索方法和探索范围，即运算成本。

可是，在预测参照信息预测数据的参照帧与编码/解码对象帧相比接近于编码/解码对象区域参照帧的情况下，由于预测参照信息预测数据的参照信息表示了到途中为止的运动，所以只要探索从此处起的变化即可，所以能够减少运算成本。

下面，按照实施方式对本发明进行详细地说明。

图3表示本发明的活动图像编码装置100的一个实施方式例。

该活动图像编码装置100具备：图像输入部101，输入成为编码对象的图像；块匹配实施部102，对分割了编码对象图像的区域的每一个， 进行用于求取已编码完成的参照帧中的对应区域的块匹配；预测图像作成部103，使用块匹配的结果和参照帧，生成编码对象区域的图像的预测图像；差分图像编码部104，对编码对象区域的图像和预测图像的差分图像进行编码；差分图像解码部105，对差分图像编码数据进行解码；参照帧存储器106，将通过被解码的差分图像与预测图像的和而生成的编码对象区域的图像的解码图像作为参照帧进行蓄积；参照信息蓄积存储器107，对生成预测图像时使用的块匹配的结果的参照信息进行蓄积；预测参照信息预测数据存储器108，蓄积对生成预测图像时使用的块匹配的结果的参照信息进行编码时使用的成为预测参照信息的候补的参照信息；预测参照信息生成部109，根据预测参照信息预测数据生成预测参照信息；差分参照信息编码部110，对生成预测图像时使用的块匹配的结果的参照信息和预测参照信息的差分进行编码；参照信息变更部111，对预测参照信息预测数据存储器108上的预测参照信息预测数据实施修正；参照帧指定信息蓄积存储器112，对编码完成的各区域参照的帧的信息进行蓄积；参照帧选择部113，选择对编码对象区域的图像进行编码时使用的参照帧；参照帧指定信息编码部114，对指定参照帧的信息进行编码，该参照帧在对编码对象区域进行编码时使用。

图4表示以该方式构成的活动图像编码装置100执行的流程图。

按照该流程图，对以该方式构成的活动图像编码装置100执行的处理进行详细地说明。

其中，多个帧的图像已经被编码完成，其结果蓄积在参照帧存储器106、参照信息蓄积存储器107、参照帧指定信息蓄积存储器112中。

首先，通过图像输入部101输入成为编码对象的图像[S101]。

输入的编码对象图像的画面整体被区域分割，并对每个区域进行编码[S102～S121]。

在该流程图中，将块(区域)的索引表示为blk，将对一个图像的总块数表示为MaxBlk。

也就是说，在将索引blk初始化为1之后[S102]，在blk变为MaxBlk之前[S120]，一边对blk加算1[S121]，一边反复执行以下的处理[S103～S119]。

在对每一个块进行的处理中，求取为了对该块进行编码而使用的参照帧best_ref、参照信息best_mv、预测参照信息best_pmv[S103～S117]， 在对该用于影像预测的信息和使用其而被编码的块blk的图像信息进行编码并输出后[S118]，为了以后的编码处理，对编码数据进行解码并将解码结果的图像信息、best_ref、best_mv分别存储到参照帧存储器106、参照帧指定信息蓄积存储器112、参照信息蓄积存储器107中[S119]。

这里，在S118的编码处理中，表示best_ref的信息在参照帧指定信息编码部114中被编码，best_mv和best_pmv的差分在差分参照信息编码部110中被编码，输入图像、和使用这些信息在预测图像作成部103生成的预测图像的差分图像在差分图像编码部104中被编码。

此外，在S119的解码处理中，在差分图像解码部105对差分图像的编码数据进行解码，通过求取其结果和在预测图像作成部103生成的预测图像的和，得到块blk的解码图像信息。

在编码是使用的用于影像预测的信息，通过对全部的能够利用的参照帧反复执行以下的处理[S104～S115]来求取。

也就是说，将参照帧索引ref初始化为1，将最小率失真成本bestCost初始化为绝对难以达到的最大值MaxCost之后[S103]，在ref变为全部能够利用的参照帧的数量NumOfRef之前[S116]，一边对ref加算1[S117]，一边反复执行生成预测参照信息的处理[04～S107]、和求取率失真成本成为最小的参照信息的处理[S108～S115]。

在生成预测参照信息的处理中，在初始化了预测参照信息预测数据存储器108之后[S104]，关于与块blk邻接的多个块，将编码该块时使用的参照帧号码REF、参照信息MV、和表示该块的位置的信息POS的组{REF，MV，PS}存储到预测参照信息预测数据存储器108中[S105]。

这时，假设MV、REF分别与块索引或图像内的位置对应起来，并存储到参照信息蓄积存储器107、参照帧指定信息蓄积存储器112中。

再有，作为与块blk邻接的多个块，例如对将分割了图像的区域以光栅扫描顺序进行编码的情况下，可以有在上、左、右上邻接的块。

在本实施方式例中，将该三个邻接块的参照信息设定为预测参照信息预测数据。其中，在相应的块变为画面外的情况下被从候补中除去。

接着，取出预测参照信息预测数据存储器108内的预测参照信息预测数据，在参照信息变更部111施加变更，再次蓄积到预测参照信息预测数据存储器108中[S106]。关于在这里进行的处理在后面进行详细地说明。

然后，根据蓄积在预测参照信息预测数据存储器108中的多个参照信息生成预测参照信息pmv[S107]。具体地，通过对参照信息的成分的每一个取得预测参照信息预测数据的中间值，从而作成预测参照信息pmv。

也就是说，在以X-Y的二维矢量表示参照信息的情况下，对每一个成分求取多个预测参照信息预测数据具有的对应成分的中间值，将pmv作为该成分的值。

再有，在中间值之外也可以使用平均值、最大值、最小值等任意基准的值。但是，需要使用与活动图像解码装置使用的基准相同的基准。

使用以上述方式求取的pmv，执行求取率失真成本变为最小的参照信息的处理。

也就是说，在使参照信息索引mv_idx初始化为1之后[S108]，在mv_idx与为了块blk的编码而能够使用的参照信息的候补的数量NumOfListMv一致为止[S114]，一边对mv_idx加算1[S115]，一边反复以下的处理[S110～S113]。

首先，获得与mv_idx对应的参照信息mv[S109]。这里，假设与mv_idx对应的参照信息已经蓄积在存储器cand_mv中。

然后，使用该mv和参照帧ref，生成相对于块blk的预测图像Pre[S110]。

具体地，将从块blk的位置起通过mv(矢量)表示的参照帧ref上的区域的图像信息作为预测图像。

接着，使用生成的预测图像Pre、块blk的图像信息Org、pmv、mv、ref，基于下面的数式计算率失真成本cost[S111]。

[数式1]

cost＝D+λ×{bit(mv-pmv)+bit(ref)}

这里，λ是拉格朗日未定乘子，利用预先设定的值。此外，bit()表示返回对施加的信息进行编码所需要的码量的函数。

再有，在这里将D作为两个图像信息的差分绝对值的和，但也可以作为差分平方的和，也可以使用在将差分信息变换到频域后求取和的被 称为SATD的指标。

进而，虽然编码处理的运算成本增加，但作为求取正确的率失真成本的方法，也可以使用如下方法，使用在实际上对编码对象区域的图像和预测图像的差分图像Diff(＝Org-Pre)进行编码时的码量BITS、和对该差分图像的编码数据进行解码而得到的解码差分图像DecDiff，以下面的数式进行求取。

[数式2]

cost＝D+λ×{bit(mv-pmv)+bit(ref)+BITS}

比较以该方式求取的cost和bestCost[S112]，要是cost变小的话，通过将bestCost变更为cost，将best_ref变更为ref，将best_mv变更为mv，将best_pmv变更为pmv[S113]，从而得到率失真成本变为最小的编码用的信息。

接着，按照图5～图12所示的流程图，对在参照信息变更部111进行的S106的详细的处理进行说明。

在S106的处理中，首先，将对预测参照信息预测数据存储器108中蓄积的全部的预测参照信息预测数据分配的变量FIN初始化为0，在全部的FIN变为1之前，反复执行图5～图12的处理。

这里，图5表示在全部的输入帧和参照帧是从相同的摄影机摄影的图像的情况下的流程图。

此外，图6～图8表示在输入多视点图像，参照帧与输入帧是显示时刻(摄影时刻)相同的图像，或是以相同的摄影机摄影的图像的情况下的流程图。

此外，图9～图12表示在输入多视点图像，能够将任意的已编码完成的帧作为参照帧使用的情况下的流程图。

对图5所示的全部的输入帧和参照帧是从相同的摄影机摄影的图像的情况下的流程图进行说明。

首先，从预测参照信息预测数据存储器108取出变更没有完成的、也就是说FIN为0的预测参照信息预测数据，作为p_can[S201]。

如在上述的S105的处理中说明了的那样，因为预测参照信息预测 数据存储器中的信息包括：对邻接于作为编码对象块的块blk的多个块进行编码时使用的参照帧、参照信息、表示该块的位置的信息，所以p_can是包括：邻接块的参照帧号码、邻接块的参照信息、表示邻接块的位置的信息。

因此，将p_can的参照帧号码设定为ref_can，将p_can的参照信息设定为mv_can[S202]。

这里，如果ref_can与在对块blk进行编码时要使用的参照帧的参照帧号码ref相等的话[S203]，使FIN为1[S204]，直接将p_can存储在预测参照信息预测数据存储器108中[S211]。

即，在邻接块的参照帧ref_can与编码对象块blk的参照帧ref一致的情况下，最好直接使用从预测参照信息预测数据存储器108取出的预测参照信息预测数据，生成预测参照信息pmv，所以以将p_can直接存储到预测参照信息预测数据存储器108中的方式进行处理。

另一方面，如果ref_can与在对块blk进行编码时要使用的参照帧的参照帧号码ref不相等时，将在帧ref_can上的、在对将p_can(邻接区域)仅偏移了mv_can的区域(参照区域)进行编码时在最多的像素中使用的参照帧作为ref_tel，将参照帧是ref_tel的、在该区域内在最多的像素中被使用的参照信息作为mv_tel[S205]，基于下面的条件式进行处理[S206～S210]。

[数式3]

|TIME(ref)-TIME(ref_tel)|＜|TIME(ref)-TIME(ref_can)|

这里，TIME()是返回与施加的参照帧号码对应的帧的显示时刻(摄影时刻)的函数。

该条件式意味着判断ref_tel的参照帧是否比ref_can的参照帧在时间上接近编码对象块blk的参照帧ref。

在该条件式成立的情况下，将ref_can改写为ref_tel，对mv_can加入mv_tel[S207]。

另一方面，在该条件式不成立的情况下，使用p_can的位置的编码对象帧的解码图像信息，将编码对象块blk的参照帧ref作为探索对象，将探索中心设定为mv_can，求取参照帧ref上的对应区域，将从探索中 心起的变位(对应信息)作为mv_canBM[S208]，将ref_can改写为ref，对mv_can加入mv_canBM[S209]。

而且，在任一个情况下在ref_can和mv_can的变更结束后，将ref_can和mv_can设定为p_can的参照帧号码和参照信息[S210]，将该p_can存储到预测参照信息预测数据存储器108中[S211]，结束处理。

这里，在图5的流程图中，在对全部的预测参照信息预测数据将FIN的值设定为1之前，即在到达编码对象块blk的参照帧ref之前，假设反复执行该流程图，但也可以使用仅反复进行规定次数(是一次也可)的方法。

此外，在图5的流程图中，使用在S208的块匹配处理中将编码对象块blk的参照帧ref作为探索对象，探索与编码对象块blk的邻接区域对应起来的参照区域匹配的区域的方法，但也可以使用探索与编码对象块blk的邻接区域匹配的区域的方法。

此外，在图5的流程图中，使用按照S206的判定处理，决定执行S207的处理，或执行S208、S209的处理的方法，但也可以采用无条件地执行S207的处理的方法。

这样，参照信息变更部111通过执行图5的流程图，以图1所示的方式，以变更存储到预测参照信息预测数据存储器108中的预测参照信息预测数据的方式进行处理。

接着，对图6～图8所示的在输入多视点图像，参照帧和输入帧是显示时刻(摄影时刻)相同的图像，或是以相同的摄影机摄影的图像的情况下的流程图进行说明。

这里，在图6～图8的流程图中，在对全部的预测参照信息预测数据将FIN的值设定为1之前，假设反复执行该流程图，但也可以采用仅反复进行规定次数(是一次也可)的方法。

首先，取出FIN为0的预测参照信息预测数据作为p_can[S301]。接着，将p_can的参照帧号码设定为ref_can，将p_can的参照信息设定为mv_can[S302]。

这里，如果ref_can与在对块blk进行编码时要使用的参照帧的参照帧号码ref相等的话[S303]，使FIN为1[S304]，将p_can直接存储到预测参照信息预测数据存储器108中[S336、S337]。

要不是这样的话，将在对帧ref_can上的mv_can表示的区域(参照 区域)进行编码时在最多的像素中使用的参照帧作为ref_tel，将参照帧是ref_tel的、在该区域内在最多的像素中使用的参照信息作为mv_tel[S305]，进行以下的处理[S306～S335]，之后，将p_can存储到预测参照信息预测数据存储器108中[S336、S337]。

在S306～S335的处理中，首先，要是ref_tel与ref相等的话[S306]，将ref_can改写为ref，将mv_can加入到mv_tel[S307]。

要不是这样的话，比较编码对象帧cur的显示时刻和编码对象块的参照帧ref的显示时刻[S308]，要是相同的话，执行在块blk进行影像的摄影机间的变化的预测的情况下的处理[图7：S309～S320]，要是不同的话，执行在块blk进行影像的时间变化的预测的情况下的处理[图8：S321～S335]。

在块blk进行影像的摄影机间的变化的预测的情况下的处理[图7：S309～S320]中，调查对帧cur和帧ref_can进行摄影的视点(摄影机)是否相同[S309]。

这里，图7的流程图上的VIEW()表示返回对与施加的帧号码对应的帧进行摄影的视点(摄影机)索引(index)的函数。

在帧cur和帧ref_can是以不同的摄影机摄影的情况下，使用帧cur和帧ref_can和帧ref的摄影机参数，将帧cur中的p_can的位置的区域(邻接区域)向帧ref_can的视差mv_can，几何变换到向该邻接区域的帧ref的视差mv_trans1[S310]。将ref_can改写为ref，将mv_can改写为mv_trans1[S311]。

在S310的处理进行的几何变换按照以下顺序执行。

1.求取以p_can表示的区域(编码对象区域的邻接区域)的中心位置pos_cur

2.求取从以p_can表示的位置仅偏移了mv_can的区域(参照区域)的中心位置pos_can

3.将x作为变量，求取Trans(cur，ref_can，pos_cur，x)(将其表示为在上面附加了～的p(下述的对应像素))。

Trans(src，dst，pix，d)能够通过下式定义，在从视点src的图像上的位置pix的像素起到被摄体为止的距离是d的情况下，表示视点dst的图像上的像素pix的对应像素p的齐次坐标值。

[数式4]

$A_{\mathrm{dst}}{R}_{\mathrm{dst}}^{-1}\{R_{\mathrm{src}}{A}_{\mathrm{src}}^{-1}\widehat{\mathrm{pix}}d+t_{\mathrm{src}}-t_{\mathrm{dst}}\}$

其中，A、R、t是摄影机参数，分别表示内部参数、旋转参数、平移参数。内部参数和旋转参数是3×3矩阵，t是三维矢量。

此外，在坐标值上附加了～表示齐次坐标值。特别是在坐标值上附加[^]表示第三成分为1的齐次坐标值。

再有，摄影机参数的表示方法是各种各样的，在本实施方式例中，假设是能够通过上述数式计算摄影机之间的对应点的摄影机参数。

4.求取^p(p的、第三成分为1的齐次坐标值)和pos_can的欧几里德距离成为最小的x，作为d_cur

5.按照下式求取mv_trans1

[数式5]

$\mathrm{pos}\widetilde{\_}\mathrm{ref}=\mathrm{Trans}(\mathrm{cur},\mathrm{ref},\mathrm{pos}\_\mathrm{cur},d_{\mathrm{cur}})$

mv_trans1＝pos_ref-pos_cur

再有，这些数式是以二维坐标施加各位置信息的、以二维矢量表示参照信息的情况下的数式。

在图13中表示在S310的处理中进行的几何变换的一个例子。再有为了清楚，将mv_can和mv_trans1上下偏移进行表示。

如该图所示，在S310中，在

TIME(cur)＝TIME(ref)＝TIME(ref_can)的情况下，进行将mv_can几何变换到mv_trans1的处理，由此，在S311进行将mv_can改写为mv_trans1的处理。

另一方面，在帧cur和帧ref_can是以相同的摄影机摄影的情况下[在S309为“是”的情况下]，判定帧ref_can和帧ref_tel是否是以相同的摄影机摄影的[S312]。

在是以相同的摄影机摄影的情况下，判定帧cur和帧ref_tel的时间间隔是否比预先赋予的阈值TH1小[S313]。在该时间间隔比TH1小的情况下，将ref_can改写为ref_tel，将mv_tel加入到mv_can[S314]。

另一方面，在该时间间隔为TH1以上的情况下，使用p_can的位置 的编码对象帧的解码图像信息，求取参照帧ref上的对应区域，将从p_can的位置起的变位(对应信息)作为mv_BM[S315]，将ref_can改写为ref，将mv_can改写为mv_BM[S316]。

在S312的判定处理中，在判定为帧ref_can和帧ref_tel是以不同的摄影机摄影的情况下，判定帧ref和帧ref_tel是否是以相同的摄影机摄影的[S317]。

在不是以相同的摄影机摄影的情况下，使用VIEW(ref_can)和VIEW(ref_tel)和VIEW(ref)的摄影机参数，将在VIEW(ref_can)摄影的图像的、仅使p_can(邻接块的位置)偏移了mv_can的位置的区域(参照区域)的、向在VIEW(ref_tel)摄影的图像的视差mv_tel，几何变换到该参照区域的、向在VIEW(ref)摄影的图像的视差mv_trans2[S318]，将ref_can改写为ref，将mv_can改写为mv_trans2[S319]。

在S318的处理中进行的几何变换以以下的顺序进行。

1.求取将p_can仅偏移了mv_can的位置的区域的中心位置pos_can

2.求取将p_can仅偏移了mv_can+mv_tel的位置的区域的中心位置pos_tel

3.将x作为变量，求取Trans(ref_can，ref_tel，pos_can，x)(将其表示为在上面附加了～的p)

4.求取^p和pos_tel的欧几里德距离成为最小的x，作为d_can

5.按照下式求取mv_trans2

[数式6]

$\mathrm{pos}\widetilde{\_}\mathrm{ref}=\mathrm{Trans}(\mathrm{ref}\_\mathrm{can},\mathrm{ref},\mathrm{pos}\_\mathrm{can},d_{\mathrm{can}})$

mv_trans2＝pos_ref-pos_can

图14表示在S318的处理中进行的几何变换的一个例子。

如该图所示，在S318中，在

TIME(cur)＝TIME(ref)，VIEW(cur)＝VIEW(ref_can)

TIME(ref_can)＝TIME(ref_tel)，VIEW(ref)≠VIEW(ref_tel)的状况下，进行将mv_tel几何变换到mv_trans2的处理，由此，在S319进行将mv_can改写为mv_trans2的处理(图中表示的虚线是处理结果)。

在S317的判定处理中，在判断为帧ref和帧ref_tel是以相同的摄影机摄影的情况下，将ref_can改写为ref，将mv_can改写为mv_tel[S320]。

另一方面，在块blk进行影像的时间变化的预测的情况下的处理[图8：S321～S335]中，首先，判定帧cur和帧ref_can是否是以相同的摄影机摄影的[S321]。

在判定为是以相同的摄影机摄影的情况下，判定帧ref_can和帧ref_tel是否是以相同的摄影机摄影的[S322]。

在也被判定为是以相同的摄影机摄影的情况下，判定帧ref_tel和帧ref_can的哪一个在时间上接近于帧ref[S323]。

在判定为帧ref_tel在时间上接近于帧ref的情况下，将ref_can改写为ref_tel，将mv_tel加入到mv_can[S324]。

在S322的判定处理中判定为帧ref_can和帧ref_tel是以不同的摄影机摄影的情况下，或在S323的处理中判定为帧ref_can在时间上接近于帧ref的情况下，使用p_can位置的编码对象帧的解码图像信息，将探索中心设定为mv_can，求取参照帧ref上的对应区域，将从探索中心的变位(对应信息)作为mv_canBM[S325]，将ref_can改写为ref，将mv_canBM加入到mv_can[S326]。

另一方面，在S321的判定处理中，在判定为帧cur和帧ref_can是以不同的摄影机摄影的情况下，判定帧ref_can和帧ref_tel是否是以相同的摄影机摄影的[S327]。

在判定为是以相同的摄影机摄影的情况下，判定帧ref的显示时刻和帧ref_tel的显示时刻(摄影时刻)是否相同[S328]。

在判定为具有相同的显示时刻的情况下，将ref_can改写为ref，将mv_can改写为mv_tel[S329]。

在S328的判定处理中，在判定为具有不同的显示时刻的情况下，使用p_can的位置的编码对象帧的解码图像信息，将探索中心设定为mv_tel，求取参照帧ref上的对应区域，将从探索中心的变位(对应信息)作为mv_telBM[S330]，将ref_can改写为ref，将mv_can改写为mv_tel和mv_telBM的和[S331]。

在S327的判定处理中，在判定为帧ref_can和帧ref_tel是以不同的摄影机摄影的情况下，判定VIEW(cur)和VIEW(ref_tel)的摄影区域的一致的比例，是否比预先赋予的阈值TH2大[S322]。

在该流程图中，Diff(cam1，cam2)表示摄影区域一致的程度，赋予相对于在一方的摄影机(预先决定是哪一个，并选择与其适合的阈值TH2)能够摄影的区域的在两方的摄影机能够摄影的区域的比例。其中，仅将从摄影机到另外赋予的距离为止的实空间作为对象。此外，将被赋予的阈值TH2作为比在全部的摄影机的组合中最小的Diff值大的值。

在S332的判定处理中，在VIEW(cur)和VIEW(ref_tel)的摄影区域的一致比例比TH2大的情况下，将ref_can改写为ref_tel，将mv_tel加入到mv_can[S333]。

另一方面，在S332的判定处理中，在VIEW(cur)和VIEW(ref_tel)的摄影区域的一致比例是阈值TH2以下的情况下，使用p_can的位置的编码对象帧的解码图像信息，求取参照帧ref上的对应区域，将从p_can的位置起的变位(对应信息)作为mv_BM[S334]，将ref_can改写为ref，将mv_can改写为mv_BM[S335]。

接着，对图9～图12表示的、输入多视点图像，能够将任意的已经编码完成的帧作为参照帧使用的情况下的流程图进行说明。

这里，在图9～图12的流程图中，在对全部的预测参照信息预测数据将FIN的值设定为1之前，假定反复执行该流程图，但也可以使用例如仅反复规定次数(是一次也可)的方法。

首先，取出FIN为0的预测参照信息预测数据作为p_can[S401]。接着，将p_can的参照帧号码设定为ref_can，将p_can的参照信息设定为mv_can[S402]。

这里，如果ref_can与对块blk进行编码时要使用的参照帧的参照帧号码ref相等的话[S403]，使FIN为1[S404]，将p_can直接存储到预测参照信息预测数据存储器108[S452，S453]。

要不是这样的话，将帧ref_can上的、对将p_can(邻接区域)仅偏移了mv_can的区域(参照区域)进行编码时在最多的像素中使用的参照帧作为ref_tel，将参照帧是ref_tel的、在该区域内在最多的像素中使用的参照信息作为mv_tel[S405]，进行以下的处理[S406～S451]之后，将p_can存储到预测参照信息预测数据存储器108中[S452、S453]。

在S406～S451的处理中，首先，要是ref_tel与ref相等的话[S406]，将ref_can改写为ref，将mv_tel加入到mv_can[S407]。

要不是这样的话，比较编码对象帧cur的显示时刻和编码对象块的 参照帧ref的显示时刻[S408]，要是相同的话，执行在块blk进行影像的摄影机间的变化的预测的情况下的处理[图10：S409～S420]，要是不同的话，判定摄影帧cur和帧ref的摄影机是否相同[S421]。

要是相同的话，执行在块blk进行影像的时间变化的预测的情况下的处理[图11：S422～S441]，要是不同的话，执行在进行合并了影像的时间变化和摄影机之间的变化的预测的情况下的处理[图12：S442～S451]。

在块blk进行影像的摄影机之间的变化的预测的情况下的处理[图10：S409～S420]中，首先，判定帧cur的显示时刻和帧ref_can的显示时刻是否相同[S409]。

在判定为是相同的情况下，以与在所述S310的处理是相同的方法，使用帧cur和帧ref_can和帧ref的摄影机参数，将帧cur中的p_can的位置的区域(邻接区域)向帧ref_can的视差mv_can，几何变换到向该邻接区域的帧ref的视差mv_trans1[S410]。将ref_can改写为ref，将mv_can改写为mv_trans1[S411]。

这里，在该S410进行的几何变换处理与在S310说明了的几何变换处理相同。

另一方面，在S409的判定处理中，在判定为帧cur的显示时刻和帧ref_can的显示时刻是不同的情况下，判定帧ref_can的显示时刻和帧ref_tel的显示时刻是否相同[S412]。

在判定为是相同的情况下，判定摄影了帧ref_tel的摄影机和摄影了帧ref的摄影机是否相同、并且摄影了帧ref_can的摄影机和摄影了帧cur的摄影机是否相同[S413]。

在判定为两组的摄影机对分别是相同的摄影机的情况下，将ref_can改写为ref，将mv_can改写为mv_tel[S414]。

在S413的判定处理中，判定为两组的摄影机对的任何一方不是相同的情况下，使用VIEW(cur)和VIEW(ref_can)和VIEW(ref_tel)和VIEW(ref)的摄影机参数，将在VIEW(ref_can)摄影的图像中的、仅将p_can(邻接块的位置)偏移了mv_can的位置的区域(参照区域)的、向在VIEW(ref_tel)摄影的图像的视差mv_tel，几何变换到在VIEW(cur)摄影的图像的中的p_can的位置的区域(邻接区域)的、向在VIEW(ref)摄影的图像的视差mv_trans3，将ref_can改写为ref，将mv_can改写为 mv_trans3[S416]。

在S415的处理中进行的几何变换按照以下顺序执行。

1.求取将p_can仅偏移了mv_can的位置的区域的中心位置pos_can

2.求取将p_can仅偏移了mv_can+mv_tel的位置的区域的中心位置pos_tel

3.将x作为变量，求取Trans(ref_can，ref_tel，pos_can，x)(将其表示为在上面附加了～的p)

4.求取^p和pos_tel的欧几里德距离变为最小的x，作为d_can

5.按照下式求取mv_trans3

[数式7]

$\mathrm{pos}\widetilde{\_}\mathrm{cur}2=\mathrm{Trans}(\mathrm{ref}\_\mathrm{can},\mathrm{cur},\mathrm{pos}\_\mathrm{can},d_{\mathrm{can}})$

$\mathrm{pos}\widetilde{\_}\mathrm{ref}=\mathrm{Trans}(\mathrm{ref}\_\mathrm{can},\mathrm{ref},\mathrm{pos}\_\mathrm{can},d_{\mathrm{can}})$

mv_trans3＝pos_ref-pos_cur2

图15表示在S415的处理中进行的几何变换的一个例子。再有，为了清楚，将mv_tel和mv_trans3上下偏移进行表示。

如该图所示，在S415中，在

TIME(cur)＝TIME(ref)≠TIME(ref_can)＝TIME(ref_tel)

VIEW(ref)≠VIEW(ref_tel)またはVIEW(cur)≠VIEW(ref_can)的状况下，进行将mv_tel几何变换到mv_trans3的处理，由此，在S416进行将mv_can改写为mv_trans3的处理(图中表示的虚线是处理结果)。

在S412的判定处理中，在判断为帧ref_can的显示时刻和帧ref_tel的显示时刻是不同的情况下，判定帧cur和帧ref_tel的时间间隔是否比预先赋予的阈值TH1小[S417]。

在时间间隔比TH1小的情况下，将ref_can改写为ref_tel，将mv_tel加入到mv_can[S418]。

在时间间隔是TH1以上的情况下，使用p_can的位置的编码对象帧的解码图像信息，求取参照帧ref上的对应区域，将从p_can的位置起的变位(对应信息)作为mv_BM[S419]，将ref_can改写为ref，将mv_can改写为mv_BM[S420]。

在块blk进行影像的时间变化的预测的情况下的处理[图11：S422～ S441]中，首先，判定摄影了帧cur的摄影机和摄影了帧ref_can的摄影机是否相同[S422]。

在相同的情况下，进而，判定摄影了帧ref_can的摄影机和摄影了帧ref_tel的摄影机是否相同[S423]。

在其也是相同的情况下，进行利用所述的[数式3]的判定[S424]。

在该[数式3]成立的情况下，将ref_can置换为ref_tel，将mv_tel加入到mv_can[S425]。

另一方面，在该[数式3]不成立的情况下，使用p_can的位置的编码对象帧的解码图像信息，将探索中心设定为mv_can，求取参照帧ref上的对应区域，将从探索中心起的变位(对应信息)作为mv_canBM[S426]，将ref_can改写为ref，将mv_canBM加入到mv_can[S427]。

在S423的判定处理中，在判定为摄影了帧ref_can的摄影机和摄影了帧ref_tel的摄影机是不同的情况下，判定摄影了帧ref的摄影机和摄影了帧ref_tel的摄影机是否相同[S428]。

在相同的情况下，使用p_can位置的编码对象帧的解码图像信息，将探索中心设定为mv_can+mv_tel，求取参照帧ref上的对应区域，将从探索中心起的变位(对应信息)作为mv_epiBM1[S429]，将ref_can改写为ref，将mv_tel和mv_epiBM1加入到mv_can[S430]。

再有，该S429的探索也可以通过使用摄影机之间的制约，仅在对应区域的中心变为以下述顺序得到的直线的周围的情况下进行探索。

1.求取将p_can仅偏移了mv_can+mv_tel的位置的区域的中心位置pos_tel

2.将x作为变量，求取Trans(ref_tel，ref，pos_tel，x)(将其表示为在上面附加了～的p)

3.求取在使x变化时p的描绘的帧ref上的直线

这里，虽然没有决定变化的x的值的最大值和最小值，但预先设定也可。

此外，在S428的处理中，在判断为摄影了帧ref的摄影机和摄影了帧ref_tel的摄影机是不同的情况下，进行所述的S426和S427的处理。

另一方面，在最初进行的S422的判定处理中，在判定为摄影了帧cur的摄影机和摄影了帧ref_can的摄影机是不同的情况下，判定帧ref的显示时刻和帧ref_tel的显示时刻是否相同[S431]。

在相同的情况下，进而，判定帧ref的显示时刻和帧ref_can的显示时刻是否相同[S432]。

在其也是相同的情况下，以与在所述的S318的处理是相同的方法，使用VIEW(ref_can)和VIEW(ref_tel)和VIEW(ref)的摄影机参数，将在VIEW(ref_can)摄影的图像的、仅使p_can(邻接块的位置)偏移了mv_can的位置的区域(参照区域)的、向在VIEW(ref_tel)摄影的图像的视差mv_tel，几何变换到该参照区域的、向在VIEW(ref)摄影的图像的视差mv_trans2[S433]，将ref_can改写为ref，将mv_trans2加入到mv_can[S434]。

图16中，表示在S433的处理中进行的几何变换的一个例子

如该图所示，在S433中，在

VIEW(cur)＝VIEW(ref)，VIEW(cur)≠VIEW(ref_can)

TIME(ref)＝TIME(ref_can)＝TIME(ref_tel)的情况下，进行将mv_tel几何变换到mv_trans2的处理，由此，在S434中，进行将mv_trans2加入到mv_can的处理(图中表示的虚线是处理结果)。

再有，在S432的判定处理中，在判定为帧ref的显示时刻和帧ref_can的显示时刻是不同的情况下，进行所述S429的处理和S430的处理。

此外，在S431的判定处理中，在判定为帧ref的显示时刻和帧ref_tel的显示时刻不同的情况下，判定帧ref的显示时刻和帧ref_can的显示时刻是否相同[S435]。

在判定为是相同的情况下，使用p_can的位置的编码对象帧的解码图像信息，将探索中心设定为mv_can，求取参照帧ref上的对应区域，将从探索中心起的变位(对应信息)作为mv_epiBM2[S436]，将ref_can改写为ref，将mv_epiBM2加入到mv_can[S437]。

再有，该S436的探索也可以通过使用摄影机之间的制约，仅在对应区域的中心成为以下面的顺序得到的直线的周围的情况下进行探索。

1.求取将p_can仅偏移了mv_can的位置的区域的中心位置pos_can

2.将x作为变量，求取Trans(ref_can，ref，pos_can，x)(将其表示为在上面附加了～的p)

3.求取使x变化时p的描绘帧ref上的直线

这里，虽然没有决定变化的x的值的最大值和最小值，但预先设定也可。

在S435的判定处理中，在判定为帧ref的显示时刻和帧ref_can的显示时刻不同的情况下，进行根据下面的两个条件式的判定[S438]。

[数式8]

VIEW(ref)＝VIEW(ref_tel)

|TIME(ref)-TIME(ref_tel)|＜|TIME(ref)-TIME(ref_can)|

在任何一方成立的情况下，将ref_can改写为ref_tel，将mv_tel加入到mv_can[S439]。

在任一方均不成立的情况下，使用p_can的位置的编码对象帧的解码图像信息，求取参照帧ref上的对应区域，将从p_can的位置起的变位(对应信息)作为mv_BM[S440]，将ref_can改写为ref，将mv_can改写为mv_BM[S441]。

在块blk进行合并了影像的时间变化和摄影机之间的变化的预测的情况下的处理中[图12：S442～S451]，首先，判定帧ref_can的显示时刻和帧ref的显示时刻是否相同[S442]。

在判定为是相同的情况下，判定帧ref_tel的显示时刻和帧ref的显示时刻是否相同[S443]。

在其也被判定为是相同的情况下，以与在所述的S318的处理是相同的方法，使用VIEW(ref_can)和VIEW(ref_tel)和VIEW(ref)的摄影机参数，将在VIEW(ref_can)摄影的图像的、仅使p_can(邻接块的位置)偏移了mv_can的位置的区域(参照区域)的、向在VIEW(ref_tel)摄影的图像的视差mv_tel，几何变换到该参照区域的、向在VIEW(ref)摄影的图像的视差mv_trans2[S444]，将ref_can改写为ref，将mv_trans2加入到mv_can[S445]。

图17表示在S444的处理中进行的几何变换的一个例子。再有，为了清楚，将mv_tel和mv_trans2上下偏移而表示。

如图所示，在S444中，在

TIME(cur)≠TIME(ref)，VIEW(cur)≠VIEW(ref)

TIME(ref)＝TIME(ref_can)＝TIME(ref_tel) 的状况下，进行将mv_tel几何变换到mv_trans2的处理，由此，在S445中，进行将mv_trans2加入到mv_can的处理(图中表示的虚线是处理结果)。

此外，在S443的判定处理中，在判定为帧ref_tel的显示时刻和帧ref的显示时刻不同的情况下，使用p_can的位置的编码对象帧的解码图像信息，将探索中心设定为mv_can，求取参照帧ref上的对应区域，将从探索中心起的变位(对应信息)作为mv_epiBM2[S446]，将ref_can改写为ref，将mv_epiBM2加入到mv_can[S447]。

再有，该S446的探索也可以通过使用摄影机之间的制约，仅在对应区域的中心成为以与所述的S336的处理是相同的顺序得到的直线的周围的情况下进行探索。

另一方面，在最初进行的S442的判定处理中，在判定为帧ref_can的显示时刻与帧ref的显示时刻是不同的情况下，进行根据所述[数式3]的判定[S448]。

在该[数式3]成立的情况下，将ref_can置换为ref_tel，将mv_tel加入到mv_can[S449]。

另一方面，在该[数式3]不成立的情况下，使用p_can的位置的编码对象帧的解码图像信息，求取参照帧ref上的对应区域，将从p_can的位置起的变位(对应信息)作为mv_BM[S450]，将ref_can改写为ref，将mv_can改写为mv_BM[S451]。

这样，参照信息变更部111通过执行图6～图12的流程图，以图1和图2所示的方式，以对存储到预测参照信息预测数据存储器108中的预测参照信息预测数据进行变更的方式进行处理。

接着，对具备本发明的活动图像解码装置进行说明。

图18表示本发明的活动图像解码装置200的一个实施方式例。

该活动图像解码装置200具备：差分图像解码部201，对相对于成为解码对象的图像的预测图像的差分图像的编码数据进行解码；差分参照信息解码部202，对相对于生成预测图像时的参照信息的预测参照信息的差分参照信息的编码数据进行解码；参照帧指定信息解码部203，对生成预测图像时的参照帧指定信息的编码数据进行解码；预测图像作成部204，使用作为已经解码完成的帧的参照帧和参照帧指定信息和参照信息，生成解码对象帧的预测图像；参照帧存储器205，对以预测图 像与被解码了的差分图像的和来求取的解码图像进行蓄积；预测参照信息生成部206，根据预测参照信息预测数据(成为预测参照信息的候补的参照信息)生成预测参照信息；预测参照信息预测数据存储器207，对预测参照信息预测数据进行蓄积；参照信息蓄积存储器208，对过去解码图像时使用的参照信息进行蓄积；参照信息变更部209，对预测参照信息预测数据存储器207上的预测参照信息预测数据施加修正；以及参照帧指定信息蓄积存储器210，对过去解码图像时使用的参照帧指定信息进行蓄积。

图19表示以该方式构成的活动图像解码装置200执行的流程图。

按照该流程图，对以该方式构成的活动图像解码装置200执行的处理进行详细地说明。其中，假设已经解码完成了多个帧的图像，其结果存储在参照帧存储器205、参照信息蓄积存储器208、参照帧指定信息蓄积存储器210中。

首先，差分图像的编码数据、差分参照信息的编码数据、参照帧指定信息的编码数据被输入活动图像解码装置200，分别被送向差分图像解码部201、差分参照信息解码部202、参照帧指定信息解码部203[S501]。

解码对象图像的图像整体被区域分割，对每个区域进行解码[S502～S515]。在该流程图中，将块(区域)的索引表示为blk，将一个图像中包含的总块数表示为MaxBlk。

也就是说，在将索引blk初始化为1之后[S502]，在blk变为MaxBlk之前[S514]，一边对blk加算1[S515]，一边反复执行以下的处理[S503～S513]。

在对每一个块进行的处理中，对参照帧指定信息的编码数据进行解码，取得参照帧指定信息ref[S503]，在进行了生成用于预测相对于参照帧ref的参照信息的预测参照信息pmv的处理[S504～S507]之后，对差分参照信息的编码数据进行解码，取得差分参照信息mvd[S508]，生成以pmv和mvd的和构成的参照信息mv[S509]。

然后，使用参照帧ref和参照信息mv生成预测图像Pre[S510]，对差分图像的编码数据进行解码，取得差分图像Sub[S511]，通过按照每一个像素计算Pre和Sub的和，生成解码图像Dec[S512]。

然后，将解码图像Dec、作为为了解码块blk而使用的信息的参照 信息mv、参照帧指定信息ref分别存储到参照帧存储器205、参照信息蓄积存储器208、参照帧指定信息蓄积存储器210[S513]。

再有，对于各帧，在与该帧中包含的全部的块相关的解码处理结束之后，并且在具有该帧之前的显示时刻的帧全部被输出之后，从活动图像解码装置200输出被解码了的帧。

在生成预测参照信息pmv的处理[S504～S507]中，在对预测参照信息预测数据存储器207进行初始化之后[S504]，关于与块blk邻接的多个块，将对该块进行解码时使用的帧号码REF、参照信息MV、表示该块的位置的信息POS的组{REF，MV，POS}存储到预测参照信息预测数据存储器207中[S505]。

这时，MV、REF分别与块索引或图像内的位置对应起来，并被蓄积到参照信息蓄积存储器208、参照帧指定信息蓄积存储器210。

再有，作为与块blk邻接的多个块，例如在以光栅扫描的顺序对分割了图像的区域进行编码的情况下，能够是在上、左、右邻接的块。

在本实施方式例中，将该三个邻接块的参照信息设定为预测参照信息预测数据。但是，在相应的块变为画面外的情况下被从候补中除去。

接着，取出预测参照信息预测数据存储器207内的预测参照信息预测数据，在参照信息变更部209施加变更，再次蓄积到预测参照信息预测数据存储器207中[S506]。关于在这里进行的处理在后面进行详细地说明。

然后，根据蓄积在预测参照信息预测数据存储器207中的多个参照信息生成预测参照信息pmv[S507]。具体地，通过对参照信息的成分的每一个取得预测参照信息预测数据的中间值，从而作成预测参照信息pmv。

也就是说，在以X-Y的二维矢量表示参照信息的情况下，对每一个成分求取多个预测参照信息预测数据具有的对应成分的中间值，将pmv作为该成分的值。

再有，在中间值之外也可以使用平均值、最大值、最小值等任意基准的值。但是，需要使用与活动图像编码装置使用的基准相同的基准。

在参照信息变更部209进行的S506的处理，与已经叙述的图3所示的在活动图像编码装置100内的参照信息变更部111进行的图4所示的S106的处理相同。

也就是说，在最初对预测参照信息预测数据存储器207中蓄积的全部的预测参照信息预测数据，使FIN初始化为0，在全部的FIN变为1之前，反复执行图5～图12的流程图的处理。

这里，图5表示在全部的输入帧和参照帧是从相同的摄影机摄影的图像的情况下的流程图。

此外，图6～图8表示在输入多视点图像，参照帧和输入帧是显示时刻(摄影时刻)相同的图像，或是以相同的摄影机摄影的图像的情况下的流程图。

此外，图9～图12表示在输入多视点图像，能够将任意的已编码完成的帧作为参照帧使用的情况下的流程图。也可以作为在解码装置中，将任意的已解码完成的帧作为参照帧使用的情况下的流程图。

虽然按照图示的实施方式例对本发明进行了说明，但本发明并不局限于该实施方式例。

例如，作为生成mv_tel的方法，除了取得上述那样的最频值，也可以使用以每个成分的中间值或平均值进行生成的方法。

但是，在活动图像编码装置侧和活动图像解码装置侧的对应的处理中需要相同的方法。

此外，虽然在实施方式例中没有对帧内编码进行解说，但作为制作预测图像的一种方法，例如能够通过将其他的号码作为参照帧指定信息进行分配而容易地追加。

再有，在邻接块被帧内编码时，将MV(参照信息)设定为0，生成预测参照信息预测数据，当TIME()或VIEW()返回在其他的情况下(即没有进行帧内编码)绝对不会返回的绝对值大的值时，即使在进行帧内编码的情况下，也能够以所述流程图适宜地处理。此外，根据本发明，也能够容易地类推不使用参照帧指定信息，像H.264那样另外准备编码模式而实现的活动图像编码装置、活动图像解码装置。

以上说明的活动图像编码和解码的处理，也能够通过计算机和软件程序来实现，该程序能够通过记录在计算机能够读取的记录介质中而被提供，或者通过网络而被提供。

此外，在以上的实施方式例中以活动图像编码装置和活动图像解码装置为中心进行了说明，但也可以通过与该活动图像编码装置和活动图像解码装置的各部分的工作对应的步骤，来实现本发明的活动图像编码 方法和活动图像解码方法。

以使，参照附图对本发明的实施方式例进行了说明，但以上说明了的实施方式例不过是本发明的例示，很明显本发明并不被限定于以上说明了的实施方式例。因此，在不脱离本发明的精神及范围的范围中也可以进行结构要素的追加、省略、置换，或进行其他的变更。

产业上的利用可能性

根据本发明，将对与编码对象区域邻接的区域进行编码时使用的参照信息，使用对该参照区域进行编码时使用过的编码信息，变换为适应于编码对象帧和编码对象参考帧的时刻和视点关系的参照信息，之后，生成预测参照信息，由此，即使在多个帧之间没有影像变化的时间连续性的情况下，或在对编码单位区域的每一个一边选择运动补偿和视差补偿一边对多视点图像进行编码的情况下，不需要对表示变换操作的方法的附加信息进行编码，能够减小对编码对象区域进行编码时使用的参照信息和预测参照信息的差，能够高效率地对用于帧间预测编码的运动矢量和视差信息进行编码。

Claims (22)

1.一种预测参照信息生成方法，在对图像进行区域分割，对每个区域应用时间或空间的帧间预测编码方式，基于处理对象区域的参照帧和表示该参照帧中的处理对象区域的预测对象位置的参照信息，生成处理对象区域的预测图像，对活动图像进行处理时使用，生成成为该参照信息的预测信息的预测参照信息，该预测参照信息生成方法具有：

预测参照信息预测数据设定步骤，将与处理对象区域邻接的已经处理完成的邻接区域被处理时的参照信息，作为处理对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成步骤，根据对通过所述预测参照信息预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更步骤，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；以及

预测参照信息生成步骤，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成所述预测参照信息。

2.一种活动图像编码方法，对图像整体进行区域分割，对每个区域从已经编码完成的多个帧中选择在预测该区域的图像信息时作为参照帧而使用的编码对象区域参照帧，使用编码对象区域参照帧、和表示该编码对象区域参照帧中的编码对象区域的预测对象位置的参照信息，生成预测图像，通过对预测图像和编码对象区域的图像的差分信息进行编码，从而对活动图像进行编码，该活动图像编码方法具有：

预测参照信息预测数据设定步骤，将与编码对象区域邻接的已经编码完成的邻接区域被编码时的参照信息，作为编码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成步骤，根据对通过所述预测参照信息预测数据指示的参照区域进行编码时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更步骤，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；

预测参照信息生成步骤，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成成为编码对象区域的参照信息的预测信息的预测参照信息；以及

差分参照信息编码步骤，对为了生成对于编码对象区域的预测图像而使用的参照信息和所述预测参照信息的差分信息进行编码。

3.根据权利要求2所述的活动图像编码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和，从而变更所述预测参照信息预测数据。

4.根据权利要求2所述的活动图像编码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述参照区域参照信息表示的对应点信息，从而变更所述预测参照信息预测数据。

5.根据权利要求2所述的活动图像编码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和、以及所述参照区域参照信息的对应点信息的任意一方，从而变更所述预测参照信息预测数据。

6.根据权利要求5所述的活动图像编码方法，其中，

在所述预测参照信息预测数据变更步骤中，使用所述编码对象区域参照帧的时刻信息和视点信息、包含参照区域的帧的时刻信息和视点信息、作为对所述参照区域进行编码时的参照帧的参照区域参照帧的时刻信息和视点信息、以及编码对象帧的时刻信息和视点信息，决定将所述预测参照信息预测数据的对应点信息变更为所述预测参照信息预测数据的对应点信息与所述参照区域参照信息的对应点信息的和，还是变更为所述参照区域参照信息的对应点信息。

7.根据权利要求2所述的活动图像编码方法，具有：

预测参照信息几何变换步骤，使用编码对象帧的视点的摄影机参数、所述编码对象区域参照帧的视点的摄影机参数、以及所述预测参照信息预测数据表示的帧的视点的摄影机参数，对该预测参照信息预测数据表示的对应点信息施加几何变换。

8.根据权利要求2所述的活动图像编码方法，具有：

参照区域参照信息几何变换步骤，使用编码对象帧的视点的摄影机参数、所述编码对象区域参照帧的视点的摄影机参数、所述预测参照信息预测数据表示的帧的视点的摄影机参数、以及与该预测参照信息预测数据对应的参照区域参照信息表示的帧的视点的摄影机参数，对该参照区域参照信息表示的对应点信息施加几何变换。

9.根据权利要求2所述的活动图像编码方法，具有：

预测参照信息预测数据探索步骤，将编码对象区域的参照帧上的区域作为探索对象，探索与通过所述预测参照信息预测数据指示的参照区域对应起来的区域，将所述预测参照信息预测数据变更为探索结果的对应信息。

10.根据权利要求2所述的活动图像编码方法，具有：

预测参照信息预测数据探索步骤，将编码对象区域的参照帧上的区域作为探索对象，探索与编码对象区域的邻接区域对应起来的区域，将所述预测参照信息预测数据变更为探索结果的对应信息。

11.一种活动图像解码方法，在对图像整体进行区域分割，一边根据已经解码了的多个帧生成预测图像一边对图像进行解码时，通过对每个区域，对表示为了生成预测图像而使用的作为已经解码完成的帧的解码对象区域参照帧的信息、表示解码对象区域参照帧中的解码对象区域的预测对象位置的参照信息、预测图像和解码对象区域的图像的差分信息进行解码，从而解码活动图像，该活动图像解码方法具有：

预测参照信息预测数据设定步骤，将与解码对象区域邻接的已经解码完成的邻接区域被解码时的参照信息，作为解码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成步骤，根据对通过所述预测参照信息预测数据指示的参照区域进行解码时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更步骤，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；

预测参照信息生成步骤，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成成为解码对象区域的参照信息的预测信息的预测参照信息；以及

差分参照信息解码步骤，从编码数据，对为了生成对于解码对象区域的预测图像而使用的参照信息和所述预测参照信息的差分信息进行解码。

12.根据权利要求11所述的活动图像解码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和，从而变更所述预测参照信息预测数据。

13.根据权利要求11所述的活动图像解码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述参照区域参照信息表示的对应点信息，从而变更所述预测参照信息预测数据。

14.根据权利要求11所述的活动图像解码方法，其中，

在所述预测参照信息预测数据变更步骤中，通过将所述预测参照信息预测数据表示的对应点信息，变更为所述预测参照信息预测数据表示的对应点信息与所述参照区域参照信息表示的对应点信息的和、以及所述参照区域参照信息表示的对应点信息的任意一方，从而变更所述预测参照信息预测数据。

15.根据权利要求14所述的活动图像解码方法，其中，

在所述预测参照信息预测数据变更步骤中，使用所述解码对象区域参照帧的时刻信息和视点信息、包含所述参照区域的帧的时刻信息和视点信息、作为解码所述参照区域时的参照帧的参照区域参照帧的时刻信息和视点信息、以及解码对象帧的时刻信息和视点信息，决定将所述预测参照信息预测数据的对应点信息变更为所述预测参照信息预测数据的对应点信息与所述参照区域参照信息的对应点信息的和，还是变更为所述参照区域参照信息的对应点信息。

16.根据权利要求11所述的活动图像解码方法，具有：

预测参照信息几何变换步骤，使用解码对象帧的视点的摄影机参数、所述解码对象区域参照帧的视点的摄影机参数、以及所述预测参照信息预测数据表示的帧的视点的摄影机参数，对该预测参照信息预测数据表示的对应点信息施加几何变换。

17.根据权利要求11所述的活动图像解码方法，具有：

参照区域参照信息几何变换步骤，使用解码对象帧的视点的摄影机参数、所述解码对象区域参照帧的视点的摄影机参数、所述预测参照信息预测数据表示的帧的视点的摄影机参数、以及与该预测参照信息预测数据对应的参照区域参照信息表示的帧的视点的摄影机参数，对该参照区域参照信息表示的对应点信息施加几何变换。

18.根据权利要求11所述的活动图像解码方法，具有：

预测参照信息预测数据探索步骤，将解码对象区域的参照帧上的区域作为探索对象，探索与通过所述预测参照信息预测数据指示的参照区域对应起来的区域，将所述预测参照信息预测数据变更为探索结果的对应信息。

19.根据权利要求11所述的活动图像解码方法，具有：

预测参照信息预测数据探索步骤，将解码对象区域的参照帧上的区域作为探索对象，探索与解码对象区域的邻接区域对应起来的区域，将所述预测参照信息预测数据变更为探索结果的对应信息。

20.一种预测参照信息生成装置，在对图像进行区域分割，对每个区域应用时间或空间的帧间预测编码方式，基于处理对象区域的参照帧和表示该参照帧中的处理对象区域的预测对象位置的参照信息，生成处理对象区域的预测图像，对活动图像进行处理时使用，生成成为该参照信息的预测信息的预测参照信息，该预测参照信息生成装置具有：

预测参照信息预测数据设定单元，将与处理对象区域邻接的已经处理完成的邻接区域被处理时的参照信息，作为处理对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成单元，根据对通过所述预测参照信息预测数据指示的参照区域进行处理时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更单元，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；以及

预测参照信息生成单元，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成所述预测参照信息。

21.一种活动图像编码装置，对图像整体进行区域分割，对每个区域从已经编码完成的多个帧中选择在预测该区域的图像信息时作为参照帧而使用的编码对象区域参照帧，使用编码对象区域参照帧、和表示该编码对象区域参照帧中的编码对象区域的预测对象位置的参照信息，生成预测图像，通过对预测图像和编码对象区域的图像的差分信息进行编码，从而对活动图像进行编码，该活动图像编码装置具有：

预测参照信息预测数据设定单元，将与编码对象区域邻接的已经编码完成的邻接区域被编码时的参照信息，作为编码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成单元，根据对通过所述预测参照信息预测数据指示的参照区域进行编码时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更单元，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；

预测参照信息生成单元，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成成为编码对象区域的参照信息的预测信息的预测参照信息；以及

差分参照信息编码单元，对为了生成对于编码对象区域的预测图像而使用的参照信息和所述预测参照信息的差分信息进行编码。

22.一种活动图像解码装置，在对图像整体进行区域分割，一边根据已经解码了的多个帧生成预测图像一边对图像进行解码时，通过对每个区域，对表示为了生成预测图像而使用的作为已经解码完成的帧的解码对象区域参照帧的信息、表示解码对象区域参照帧中的解码对象区域的预测对象位置的参照信息、预测图像和解码对象区域的图像的差分信息进行解码，从而解码活动图像，该活动图像解码装置具有：

预测参照信息预测数据设定单元，将与解码对象区域邻接的已经解码完成的邻接区域被解码时的参照信息，作为解码对象区域的参照信息的预测中使用的预测参照信息预测数据进行设定；

参照区域参照信息生成单元，根据对通过所述预测参照信息预测数据指示的参照区域进行解码时使用的一个以上的参照信息，生成参照区域参照信息；

预测参照信息预测数据变更单元，使用已生成的所述参照区域参照信息变更所述预测参照信息预测数据；

预测参照信息生成单元，使用存在的一个或多个所述变更后的预测参照信息预测数据，生成成为解码对象区域的参照信息的预测信息的预测参照信息；以及

差分参照信息解码单元，从编码数据，对为了生成对于解码对象区域的预测图像而使用的参照信息和所述预测参照信息的差分信息进行解码。

Images