CN102823251B - 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序 - Google Patents

Abstract

运动矢量检测部（104）针对编码对象块检测来自第1参照图像的运动矢量。多参照图像合成部（107）生成将使用运动矢量从第1参照图像抽取出的第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块。熵编码部（118）以合成参照块为预测块，对从编码对象块减去预测块后的预测差分块进行编码。

Description

动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序

技术领域

本发明涉及动图像信号的编码技术和解码技术。

背景技术

近年来，将数字化的图像及声音的内容（contents）介由卫星或地面波等广播波或网络进行配送的服务正被实用化，需要一种用于高效地记录及传输具有庞大信息量的内容的高效率编码技术。作为动图像的高效率编码，以MPEG4－AVC为代表的、利用在动图像信号的同一帧内空间上相邻的像素间的相关、以及时间上相邻的帧间及场间的相关来压缩信息的方法正被使用。

在MPEG4－AVC中，作为利用了时间性相关的压缩，如下运动补偿预测正被使用：对于作为编码对象帧的对象图像，使用已编码的帧的局部解码图像作为参照图像，按预定大小的2维块（以下记作“对象块”）单位检测对象图像与参照图像间的运动量（以下记作“运动矢量”），生成基于对象块和运动矢量的预测图像。

在MPEG4－AVC中，通过使用以下方法，能提高运动补偿预测的预测精度，并由此实现信息量的削减：使作为编码处理的单位的16×16像素的2维块（以下记作“宏块”）内、对象块的大小成为可变，使用每个对象块的运动矢量进行预测的方法；保存多个参照图像，选择用于预测的参照图像的方法；以及求取两个参照图像与对象块间的运动矢量，生成运动预测图像的方法。

此外，在运动补偿预测中需要对所生成的运动矢量进行编码传输，为防止因运动矢量造成的信息量的増加，使用根据相对于对象块周边的已解码的块的运动矢量而预测出的预测运动矢量值来进行编码，由此能使用不传输运动矢量的被称为直接模式（Direct Mode）的运动补偿预测。

然而，由于未必能够精度良好地求出上述运动矢量的预测，故提出有如下构成直接模式的方法：如专利文献1所示那样，编码侧和解码侧都在参照图像间进行运动矢量的检测，假想该运动矢量在时间上是连续的，由此生成对象块的预测运动矢量。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕日本特开2008－154015号公报

发明内容

〔发明所要解决的课题〕

以MPEG4－AVC为代表的以往的动图像编码中的运动补偿预测无法解决以下这样的课题，故妨碍了编码效率的提高。

第一个课题是，由于作为参照图像而使用的解码图像的质量劣化，造成运动补偿预测图像的质量下降，特别是在施以高压缩的编码的情况下，混入运动补偿预测图像中的劣化成分会使预测精度恶化，并且需要将用于恢复劣化成分的信息作为预测差分进行编码，导致信息量増加。

第二个课题是，在时间上、空间上运动连续性少的图像信号中，运动矢量的预测没有足够的精度，使用直接模式时的预测图像的质量变差，未能有效地发挥作用。在跨越对象物体的相邻块具有不同的运动时会产生该劣化，在时间上运动较大时，由于预测所使用的运动矢量是被假想为相对于本来的对象块移动到相应于运动的位置后的块的，故会产生该劣化。此外，时间上运动发生变化的情况下同样预测不准，产生劣化。

第三个课题是，在使用两个参照图像的预测或使用较细块单位的运动补偿预测时，运动矢量传输所需要的编码量会増加。在使用两个参照图像的情况下，通过使参照图像相加来进行预测劣化的平滑化，能够减少劣化成分的影响，但需要与之相应的运动矢量的传输，编码量増加。此外，在较细块单位的运动补偿中，能够根据物体的边界求取恰当的运动，提高预测图像的精度，但需要传输较细单位的运动矢量，导致编码量増大。

专利文献1是为解决上述第二个课题而提出的方法，在空间上发生了同样的运动的情况下，在参照图像间求出的运动矢量成为穿过对象块位置的运动，故运动矢量的预测精度得到提高，但在空间上没有发生同样的运动的情况下，由于是未使用对象块的信息地求出的预测运动矢量，故成为与对象块不同的运动，预测不够准确。此外，为应对较大的运动，编码装置、解码装置两者都需要在参照图像间进行较广范围的运动矢量的检测处理，产生运算量变大的课题。

本发明是鉴于这样的状况而研发的，其目的在于提供一种既抑制编码装置和解码装置中的运算量的増加，又提高预测图像的质量，提高运动补偿预测的效率的技术。

〔用于解决课题的手段〕

为解决上述课题，本发明一个方案的动图像编码装置包括：运动矢量检测部，针对编码对象块，从第1参照图像检测运动矢量；参照图像合成部，生成将使用运动矢量从第1参照图像中抽取出的第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块；以及编码部，以合成参照块作为预测块，对从编码对象块中减去预测块后的预测差分块进行编码。

根据该方案，在编码对象块与第1参照图像间求出运动矢量，对运动补偿预测出的参照图像合成其它至少一个参照图像，由此能不增加要传输的运动矢量地生成提高了预测图像的质量的、预测残差少的运动补偿预测图像。

本发明的另一方案也是一种动图像编码装置。该装置包括：运动矢量检测部，针对编码对象块，从第1参照图像检测第1运动矢量；参照图像合成部，生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块，所述第1参照块是使用第1运动矢量从第1参照图像抽取出的、具有编码对象块以上的大小的特定区域的参照块；运动补偿预测部，通过针对合成参照块在特定区域内进行搜索，来检测与编码对象块对应的第2运动矢量，使用第2运动矢量从合成参照块中抽取出与编码对象块相同大小的块，将该抽取出的块作为预测块；以及编码部，对从编码对象块中减去预测块后的预测差分块和第2运动矢量进行编码。

根据该方案，在编码对象块与第1参照图像间求出运动矢量，对运动补偿预测出的参照图像合成其它至少一个参照图像，并针对合成后的预测图像进行微小范围的运动矢量检测（修正），由此，能生成提高了预测图像的质量，并修正了提高后的边缘部分等的相位变化的、预测残差少的运动补偿预测图像。

可以是：第1运动矢量的精度为N像素精度（N为实数），第2运动矢量的精度为M像素精度（M为实数：M＜N）；特定区域具有以将第1运动矢量或第1运动矢量变换为N像素精度的矢量值所示的第1参照图像的位置为基准、对象块±N／2像素以上的区域，并且，检测第2运动矢量的范围是相对于第1运动矢量值±N／2的范围内。

根据该构成，使针对第1参照图像求出的运动矢量的精度为N像素精度，使针对合成的预测图像进行的运动矢量检测（修正）的范围为±N／2像素，按比N像素更细的精度进行修正，传输修正结果的运动矢量值，由此，能用1个运动矢量值在解码装置侧取得来自第1参照图像的运动补偿预测图像，并取得对合成的预测图像的相位变化进行了修正的运动补偿预测图像。

参照图像合成部可以具有参照图像间运动矢量检测部，检测第1参照块与作为其它参照图像的第2参照图像间的第3运动矢量。参照图像合成部可以通过算出使用第3运动矢量从第2参照图像抽取出的第2参照块与第1参照块的每个像素的平均值或加权平均值，来生成合成参照块。

根据该构成，针对使用第1参照图像预测出的运动补偿预测图像，求出与其它参照图像间的运动矢量值，并与从其它参照图像取得的运动补偿预测图像进行相加平均，由此能生成除去了编码劣化成分且应对了编码对象物的微小亮度变化的预测图像，能提高编码效率。

参照图像间运动矢量检测部可以按比第1参照块小的块单位检测第1参照块与第2参照图像间的多个第3运动矢量。参照图像合成部可以通过将使用多个第3运动矢量从第2参照图像抽取出的小块单位的多个第2参照块合在一起，并算出与第1参照块的每个像素的平均值或加权平均值，来生成合成参照块。

根据该构成，针对使用第1参照图像预测出的运动补偿预测图像，在与其它参照图像间求出比作为对象的运动补偿预测图像更细单位的运动矢量值，并根据各个运动矢量与按细单位取得的运动补偿预测图像进行合成处理，由此，能不增加要传输的运动矢量地、生成应对了编码对象物的物体的时间上的微小变形的预测图像，能提高编码效率。

参照图像间运动矢量检测部可以以根据第1参照图像与编码对象块的第1时间差、和第2参照图像与编码对象块的第2时间差这两个时间差变换第1运动矢量后的运动矢量值为中心，搜索预定范围内的运动，由此检测第3运动矢量。

本发明一个方案的动图像解码装置包括：运动矢量解码部，从编码流中解码出针对解码对象块的运动矢量；参照图像合成部，生成将使用运动矢量从第1参照图像抽取出的第1参照块与其它至少一个参照图像的预定区域合成后的合成参照块；以及解码部，以合成参照块作为预测块，使预测块与从解码对象块解码出的预测差分块相加，由此生成解码图像。

根据该方案，基于解码对象块与从编码流解码出的第1参照图像的运动矢量，对运动补偿预测出的参照图像合成其它参照图像，由此能生成提高了预测图像的质量的运动补偿预测图像。

本发明的另一方案也是一种动图像解码装置。该装置包括：运动矢量解码部，从编码流中解码出针对解码对象块的第1运动矢量；运动矢量分离部，基于第1运动矢量生成第2运动矢量；参照图像合成部，生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块，所述第1参照块是使用第2运动矢量从第1参照图像抽取出的、具有解码对象块以上的大小的特定区域的参照块；运动补偿预测部，使用第1运动矢量从合成参照块抽取出与解码对象块相同大小的块，将该抽取出的块作为预测块；以及解码部，通过使预测块和从解码对象块解码出的预测差分块相加，来生成解码图像。

根据该方案，基于解码对象块与从编码流解码出的第1参照图像的运动矢量，对运动补偿预测出的参照图像合成其它参照图像，对合成的预测图像进行微小范围的运动矢量修正，由此，能生成提高了预测图像的质量，并修正了提高后的边缘部分等的相位变化的运动补偿预测图像。

可以是：在运动矢量分离部中，被输入的第1运动矢量的精度为M像素精度（M为实数），生成的第2运动矢量的精度为N像素精度（N为实数：N＞M），第2运动矢量是将第1运动矢量变换成N像素精度后的值；特定区域具有以第2运动矢量所示的第1参照图像的位置为基准、对象块±N／2像素以上的区域。

根据该构成，通过使解码的运动矢量的精度为M像素精度，将运动矢量变换成比M像素粗的N像素精度，并以变换后的运动矢量值为基准，对运动补偿预测的参照图像进行其它参照图像的合成处理，由此，能在解码侧进行与编码装置相同的合成处理，通过将变换后的运动矢量值与接收到的运动矢量值的差分值作为合成的运动补偿预测图像的相位修正值来使用，能用1个运动矢量值在解码装置中取得在编码装置侧生成的预测残差少的运动补偿预测图像。

参照图像合成部可以具有参照图像间运动矢量检测部，检测第1参照块与作为其它参照图像的第2参照图像间的第3运动矢量。参照图像合成部可以通过算出使用第3运动矢量从第2参照图像抽取出的第2参照块与第1参照块的每个像素的平均值或加权平均值，来生成合成参照块。

根据该构成，针对使用第1参照图像预测出的运动补偿预测图像，求出与其它参照图像间的运动矢量值，与从其它参照图像取得的运动补偿预测图像进行相加平均，由此能生成除去了编码劣化成分，并应对了解码对象物的微小亮度变化的预测图像，能提高编码效率。

参照图像间运动矢量检测部可以按比第1参照块小的块单位检测第1参照块与第2参照图像间的多个第3运动矢量。参照图像合成部可以将使用多个第3运动矢量从第2参照图像抽取出的小块单位的多个第2参照块合在一起，并算出与第1参照块的每个像素的平均值或加权平均值，由此生成合成参照块。

根据该构成，针对使用第1参照图像预测出的运动补偿预测图像，在与其它参照图像间求出比作为对象的运动补偿预测图像更细单位的运动矢量值，并根据各个运动矢量与以细单位取得的运动补偿预测图像进行合成处理，由此，能生成应对了解码对象物的物体的时间上的微小变形的预测图像，能提高编码效率。

参照图像间运动矢量检测部可以以根据第1参照图像与解码对象块的第1时间差、和第2参照图像与解码对象块的第2时间差这两个时间差变换第2运动矢量后的运动矢量值为中心，搜索预定范围内的运动，由此检测第3运动矢量。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等间变换了的实施方式，作为本发明的方案也是有效的。

〔发明效果〕

通过本发明，能既抑制编码装置和解码装置中的运算量的増加，又提高预测图像的质量，提高运动补偿预测的效率。

附图说明

图1是表示本发明实施方式1的动图像编码装置的构成的功能块图。

图2是表示本发明实施方式1的动图像解码装置的构成的功能块图。

图3是表示本发明中的合成图像运动补偿预测方法的概念图。

图4是表示本发明实施方式1的动图像编码装置中的多参照图像合成部的构成的功能块图。

图5是表示本发明实施方式1的动图像解码装置中的多参照图像合成部的构成的功能块图。

图6是表示本发明实施方式2的动图像编码装置的构成的功能块图。

图7是表示本发明实施方式2的动图像解码装置的构成的功能块图。

图8是表示本发明实施方式2中的合成图像运动补偿预测处理的动作的概念图。

图9是表示本发明实施方式2的动图像编码装置中的多参照图像合成部的构成的功能块图。

图10是用于说明本发明实施方式2的动图像编码装置中的多参照图像合成部及合成图像运动补偿预测部的动作的流程图。

图11是表示本发明实施方式2中的编码处理的处理顺序和参照图像管理的一例的图。

图12是表示本发明实施方式2中的参照图像间的运动矢量检测范围的一例的图。

图13是表示本发明实施方式2中的对片头的追加信息的一例的图。

图14是表示本发明实施方式2中的对运动补偿预测模式的追加信息的一例的图。

图15是表示本发明实施方式2的动图像解码装置中的多参照图像合成部的构成的功能块图。

图16是用于说明本发明实施方式2的动图像解码装置中的运动矢量分离部、多参照图像合成部、及合成图像运动补偿预测部的动作的流程图。

图17是表示本发明实施方式3中的参照图像的合成处理的动作的概念图。

图18是表示本发明实施方式4中的合成图像运动补偿预测处理的动作的概念图。

图19是表示本发明实施方式4的动图像编码装置及动图像解码装置中的多参照图像合成部的构成的功能块图。

图20是用于说明本发明实施方式4的动图像编码装置及动图像解码装置中的合成判定部的动作的流程图。

图21是表示本发明实施方式5中的合成图像运动补偿预测处理的动作的概念图。

图22是表示本发明实施方式5的动图像编码装置及动图像解码装置中的多参照图像合成部的构成的功能块图。

具体实施方式

以下参照附图说明本发明的实施方式。

（实施方式1）

首先，说明实施方式1的动图像编码装置。图1是表示实施方式1的动图像编码装置的构成的功能块图。

如图1所示，实施方式1的动图像编码装置包括输入端子100、输入图像缓存器101、块分割部102、帧内预测部103、运动矢量检测部104、运动补偿预测部105、运动矢量预测部106、多参照图像合成部107、预测模式判定部109、减法器110、正交变换部111、量化部112、逆量化部113、逆正交变换部114、加法器115、帧内解码图像存储器116、解码参照图像存储器117、熵编码部118、流缓存器119、输出端子120、以及编码量控制部121。

设有多参照图像合成部107这一点、以及该处理块和运动补偿预测部105中的动作是本发明实施方式1的特征所在，至于其它处理块，能适用与MPEG4－AVC等动图像编码装置中的构成编码处理的处理块相同的处理。

从输入端子100输入的数字图像信号被保存在输入图像缓存器101中。输入图像缓存器101中所保存的数字图像信号被提供给块分割部102，按16×16像素所构成的宏块单位划分为编码对象块。块分割部102将所划分出的编码对象块提供给帧内预测部103、运动矢量检测部104、运动补偿预测部105、及减法器110。

在帧内预测部103中，被输入从块分割部102输出的编码对象块、和帧内解码图像存储器116中所保存的、针对编码对象块的周边已完成编码的区域的解码图像，进行使用了帧内相关性的预测。例如针对编码对象块，使用如下帧内预测方法进行利用了画面内的相邻像素的相关的预测：按4×4像素单位、8×8像素单位、16×16像素单位向多个预定方向预测像素值，将表示预测处理的单位和所选择的方向的信息（帧内预测模式）同预测图像一起生成。预测图像和所选择的帧内预测模式被从帧内预测部103输出到预测模式判定部109。

在运动矢量检测部104中，被输入从块分割部102输出的编码对象块，并且解码参照图像存储器117中所保存的、画面整体的已完成编码的帧的解码图像也被作为参照图像输入，在编码对象块与参照图像间进行运动推定。作为一般的运动推定处理，使用如下块匹配处理：划分出从画面内的同一位置移动了预定移动量的位置的参照图像，一边改变移动量一边求出以该图像为预测块时的预测误差最少的移动量，作为运动矢量值。所检测出的运动矢量值被输出到运动补偿预测部105和多参照图像合成部107。

运动补偿预测部105被输入由运动矢量检测部104求出的运动矢量值，针对16×16以下的多个块尺寸分别生成相对于多个参照图像的运动补偿预测图像，针对从块分割部102输入的编码对象块，选择要编码的差分信息最少的预测信号，并将从多参照图像合成部107输入的合成后的参照图像信号也同样作为预测信号的候选，选择要编码的差分信息最少的预测信号。运动补偿预测部105将所选择的运动补偿预测模式和预测信号输出给预测模式判定部109。运动补偿预测模式中包括表示是否为使用了合成后的参照图像的运动补偿的模式信息。

运动矢量预测部106使用周边的已编码块的运动矢量算出预测运动矢量值，提供给运动矢量检测部104、运动补偿预测部105。

通过使用预测运动矢量值，运动矢量检测部104将在对运动矢量预测值与运动矢量值的差分进行编码时所需要的编码量也考虑在内地、检测最佳的运动矢量值。同样地，运动补偿预测部105考虑对运动矢量预测值与运动矢量值的差分进行编码时所需要的编码量地、选择最佳的运动补偿预测的块单位和所使用的参照图像及运动矢量值。

多参照图像合成部107被输入从运动矢量检测部104输出的相对于1个参照图像的运动矢量值、和保存在解码参照图像存储器117中的多个参照图像，进行使用了多个参照图像的参照图像合成处理。合成后的参照图像信号被输出到运动补偿预测部105。关于多参照图像合成部107的详细动作，在后面叙述。

预测模式判定部109从由帧内预测部103、运动补偿预测部105输入的针对各预测方法的预测模式和预测图像中，选择相对于从块分割部102输入的编码对象块要编码的差分信息最少的预测信号，将针对所选择的预测方法的预测图像块输出给减法器110及加法器115，并向熵编码部118输出作为附加信息的预测模式信息、和与预测模式相应的要进行编码的信息。

减法器110计算从块分割部102提供来的编码对象块与从预测模式判定部109提供来的预测图像块的差分，将结果作为差分块提供给正交变换部111。

在正交变换部111中，通过对差分块按4×4像素或8×8像素单位进行DCT变换，生成相当于被正交变换了的频率分量信号的DCT系数。此外，在正交变换部111中，将所生成的DCT系数汇总成宏块单位，输出到量化部112。

在量化部112中，通过用各频率分量都不同的值除DCT系数，来施以量化处理。量化部112将量化处理后的DCT系数提供给逆量化部113及熵编码部118。

逆量化部113将通过使从量化部112输入的量化处理后的DCT系数乘以在量化时所被除的值而被逆量化的结果作为被解码的DCT系数，输出到逆正交变换部114。

在逆正交变换部114中进行逆DCT处理，生成被解码了的差分块。逆正交变换部114将被解码了的差分块提供给加法器115。

加法器115使从预测模式判定部109供给的预测图像块与从逆正交变换部114供给的被解码了的差分块相加，生成局部解码块。在加法器115中生成的局部解码块以被逆块变换了的形式保存在帧内解码图像存储器116及解码参照图像存储器117中。在MPEG－4AVC中，有时在局部解码块被输入解码参照图像存储器117之前，对于每块中的容易作为边界而出现编码畸变的块边界，施以自适应滤波的处理。

熵编码部118对从量化部112供给的被量化处理了的DCT系数、从预测模式判定部109供给的预测模式信息、以及与预测模式相应的要进行编码的信息，分别进行各信息的可变长度编码。具体来说，在采用帧内预测的情况下，帧内预测模式和预测块尺寸信息成为要编码的信息，在运动补偿预测及合成图像运动补偿预测的情况下，预测块尺寸、参照图像的指定信息、以及运动矢量与预测运动矢量值的差分值成为要进行编码的信息。施以可变长度编码的信息被作为编码比特流从熵编码部118输出到流缓存器119。

保存在流缓存器119中的编码比特流被介由输出端子120输出到记录介质或传输路径。关于编码比特流的编码量控制，编码量控制部121被提供流缓存器119中所保存的编码比特流的编码量，将之与目标编码量进行比较，为接近目标编码量而控制量化部112的量化细度（量化标尺）。

接下来，说明对由实施方式1的动图像编码装置生成的编码比特流进行解码的动图像解码装置。图2是实施方式1的动图像解码装置的构成图。

如图2所示，实施方式1的动图像解码装置包括输入端子200、流缓存器201、熵解码部202、预测模式解码部203、预测图像选择部204、逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208、解码参照图像存储器209、输出端子210、帧内预测部211、运动矢量预测解码部212、运动补偿预测部213、及多参照图像合成部215。

设有多参照图像合成部215这一点、以及该处理块和运动补偿预测部213中的动作是本发明实施方式1的特征，关于其它处理块，可适用与MPEG4－AVC等的动图像解码装置中的构成解码处理的处理块相同的处理。

从输入端子200输入的编码比特流被供给流缓存器201，在流缓存器201中吸收编码比特流的编码量变动，按帧等预定单位提供给熵解码部202。熵解码部202从介由流缓存器201而输入的编码比特流中，对被编码了的预测模式信息和与预测模式相应的附加信息、以及被量化了的DCT系数进行可变长度解码，向逆量化部205输出被量化了的DCT系数，向预测模式解码部203输出预测模式信息和与预测模式相应的附加信息。

关于逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208、以及解码参照图像存储器209，进行与本发明实施方式1的动图像编码装置的作为局部解码处理的逆量化部113、逆正交变换部114、加法器115、帧内解码图像存储器116、解码参照图像存储器117同样的处理。帧内解码图像存储器208中所保存的解码图像被作为解码图像信号介由输出端子210显示在显示装置上。

在预测模式解码部203中，在根据从熵解码部202输入的预测模式信息和与预测模式相应的附加信息而选择了运动补偿预测或合成运动补偿预测作为预测模式的情况下，向运动矢量预测解码部212输出表示所预测的块单位的信息、即运动补偿预测模式或合成图像运动补偿预测模式，以及解码了的差分矢量值，并向预测图像选择部204输出预测模式信息。此外，预测模式解码部203根据解码后的预测模式信息，向帧内预测部211、运动补偿预测部213输出表示所选择的信息及与预测模式相应的附加信息。

预测图像选择部204根据从预测模式解码部203输入的预测模式信息，选择从帧内预测部211或运动补偿预测部213输出的针对解码对象块的预测图像，输出到加法器207。

在解码后的预测模式表示是帧内预测时，作为与预测模式相应的附加信息，帧内预测部211被从预测模式解码部203输入帧内预测模式，并被输入与帧内预测模式相应地保存在帧内解码图像存储器208中的、对解码对象块的周边已完成解码的区域的解码图像，按与编码装置相同的帧内预测模式进行利用了帧内相关性的预测。帧内预测部211将通过预测而生成的帧内预测图像输出给预测图像选择部204。

运动矢量预测解码部212针对从预测模式解码部203输入的解码了的差分矢量值，使用周边的已解码块的运动矢量，按与在编码装置中进行的方式相同的方法算出预测运动矢量值，并将使差分矢量值与预测运动矢量值相加后的值作为解码对象块的运动矢量值输出给运动补偿预测部213及多参照图像合成部215。运动矢量被按照运动补偿预测模式或合成图像运动补偿预测模式中所示的预测处理的块单位，解码出所被编码的数量。

运动补偿预测部213根据从运动矢量预测解码部212输入的运动矢量值，从多参照图像合成部215输入的合成后的参照图像信号，以及从预测模式解码部203输入的与预测模式相应的附加信息、即表示是否为运动补偿预测模式和合成图像运动补偿预测的信息，生成运动补偿预测图像，将所生成的运动补偿预测图像输出到预测图像选择部204。

在多参照图像合成部215中，输入从运动矢量预测解码部212输出的合成图像运动补偿预测模式所示的相对于1个参照图像的运动矢量值、和解码参照图像存储器209中所保存的多个参照图像，进行使用了多个参照图像的参照图像合成处理。合成后的参照图像信号被输出到运动补偿预测部213。

多参照图像合成部215是与本发明实施方式1的动图像编码装置中的多参照图像合成部107成对的，关于该功能块的详细动作，在后面叙述。

以下使用图3说明在实施方式1的动图像编码装置和动图像解码装置中动作的、基于合成后的参照图像的运动补偿预测的预测图像生成方法。

图3的（c）是表示本发明中的合成图像运动补偿预测方法的概念图。图3的（a）和图3的（b）是使用了在MPEG4－AVC中所用的多个参照图像的运动补偿预测的概念图。

图3的（a）是被称为双向预测的，针对2个参照图像、在与编码对象块间检测运动矢量，传输相对于各参照图像的运动矢量，并将由两个运动矢量所示的参照块的平均值作为预测图像的方法。通过合成2个参照图像，能生成除去作为时间方向的运动自适应滤波器的编码劣化的、对编码对象物的微小亮度变化用参照图像平均化而算出的预测图像。

图3的（b）是被称为时间直接模式的无运动矢量传输地进行使用两个参照图像进行预测的方法。在以基于参照图像1的运动补偿预测生成了处于参照图像2的与编码对象块相同位置的块的情况下，假想该运动在时间上是连续的，由此生成编码对象块与参照图像1和参照图像2之间的运动矢量值，通过该运动矢量进行双向预测。能够不传输运动矢量地生成将两个参照图像合成的预测图像，但如图3的（b）所示，若参照图像1与参照图像2间的运动矢量值较大，因该运动矢量值所表达的运动表示自编码对象块空间上偏离的位置的运动，并且是限定于时间上和空间上连续时的运动地被隐式生成的，若空间上、时间上运动矢量值的连续性较少，则时间直接模式不能有效地发挥作用。

专利文献1所示的方法是以提高上述时间直接模式的质量为目的，通过使编码侧和解码侧都在参照图像间检测处于以编码对象块为中心对称位置的块的运动，来生成跨编码对象块的具有时间连续性的运动矢量的方法，这对空间上没有连续性的条件能够有效地发挥作用，但若时间上连续性较少，则同时间直接模式一样不能有效发挥作用。

本发明的合成运动补偿预测的预测结构如图3的（c）所示那样，对参照图像1中的运动矢量进行检测并编码，并且针对参照图像1的运动矢量所示的参照块，在编码侧和解码侧都进行相对于参照图像2的参照图像间的运动矢量检测，仅传输相对于参照图像1的运动矢量值，生成使用了两个参照图像的合成参照图像，由此，对于空间上和时间上不确保连续性的图像能够进行良好的双向预测，与以往的双向预测相比能以较少的运动矢量信息实现运动补偿预测处理。

接下来，在图4中表示实施方式1的动图像编码装置中的多参照图像合成部的构成图，并说明参照图像的合成处理的动作。如图4所示，多参照图像合成部107包括基准参照图像取得部400、运动矢量检测范围设定部401、参照图像间运动矢量检测部402、合成参照图像取得部403、参照图像合成部404、及合成图像存储器405。

首先，从运动矢量检测部104向基准参照图像取得部400及运动矢量检测范围设定部401输入第1参照图像与编码对象块间的运动矢量值MV1。在基准参照图像取得部400中，使用所输入的MV1，从解码参照图像存储器117取得第1参照图像的参照块。基准参照图像取得部400将所取得的第1参照块输出给参照图像间运动矢量检测部402及参照图像合成部404。

接下来，在运动矢量检测范围设定部401中，对第1参照块设定检测与第2参照图像间的运动矢量的范围。关于参照图像间的运动矢量的检测范围，可以适用在编码装置和解码装置中隐式地进行相同检测范围设定的方法，但也可以使用将帧单位或所使用的各个参照图像的检测范围设定作为编码信息而传输的方法。在实施方式1中，假定隐式地设定检测范围的设定（例：±32像素），并将运动矢量的检测范围的中心设为参照图像中的与编码对象块的位置相同的位置。

参照图像间运动矢量检测部402针对从基准参照图像取得部400输入的第1参照块，介由合成参照图像取得部403从解码参照图像存储器117取得由运动矢量检测范围设定部401指定的运动矢量检测范围中的第2参照图像的参照块，算出块匹配等的误差值，算出其值小的运动矢量作为参照图像间运动矢量。关于参照图像间运动矢量的检测精度也是一样，能适用在编码装置和解码装置中隐式地进行相同检测精度的运动矢量检测的方法，也能使用按帧单位或所使用的各个参照图像将运动矢量的检测精度作为编码信息来传输的方法。在此，作为隐式的设定，假定是1／4像素精度的检测精度。参照图像间运动矢量检测部402将算出的参照图像间运动矢量输出给参照图像合成部404。

在参照图像合成部404中，从基准参照图像取得部400输入第1参照块，并从参照图像间运动矢量检测部402输入参照图像间运动矢量，并介由合成参照图像取得部403从解码参照图像存储器117取得由参照图像间运动矢量所示的第2参照图像的参照块，由此得到第2参照块。在参照图像合成部404中，在第1参照块与第2参照块间进行合成处理。实施方式1中的合成处理例如采用取第1参照块与第2参照块的每个像素的平均，来生成合成参照块的方法。参照图像合成部404将合成后的参照块介由合成图像存储器405输出到运动补偿预测部105。

接下来，在图5中表示实施方式1的动图像解码装置中的多参照图像合成部215的构成，并说明其动作。如图5所示，多参照图像合成部215由基准参照图像取得部1000、运动矢量检测范围设定部1001、参照图像间运动矢量检测部1002、合成参照图像取得部1003、参照图像合成部1004、及合成图像存储器1005构成，其各自的动作与图4所示的基准参照图像取得部400、运动矢量检测范围设定部401、参照图像间运动矢量检测部402、合成参照图像取得部403、参照图像合成部404、及合成图像存储器405相同。

首先，从运动矢量预测解码部212向基准参照图像取得部1000及运动矢量检测范围设定部1001输入解码出的运动矢量值MV1。在基准参照图像取得部1000中，使用所输入的MV1，从解码参照图像存储器209取得第1参照图像的参照块。基准参照图像取得部1000将取得的第1参照块输出给参照图像间运动矢量检测部1002及参照图像合成部1004。

接着，在运动矢量检测范围设定部1001中，对第1参照块设定检测与第2参照图像间的运动矢量的范围。关于检测的范围，在实施方式1中按隐式的设定采用1／4像素精度的检测精度，并且运动矢量的检测范围的中心为参照图像中的与编码对象块的位置相同的位置，取±32像素的检测范围。运动矢量检测范围设定部1001将所设定的运动矢量检测范围的信息输出给参照图像间运动矢量检测部1002。

参照图像间运动矢量检测部1002针对从基准参照图像取得部1000输入的第1参照块，介由合成参照图像取得部1003从解码参照图像存储器209取得由运动矢量检测范围设定部1001指定的运动矢量检测范围中的第2参照图像的参照块，算出块匹配等的误差值，算出该值小的运动矢量作为参照图像间运动矢量。参照图像间运动矢量检测部1002将算出的参照图像间运动矢量输出到参照图像合成部1004。

在参照图像合成部1004中，从基准参照图像取得部1000输入第1参照块，从参照图像间运动矢量检测部1002输入参照图像间运动矢量，并介由合成参照图像取得部1003从解码参照图像存储器209取得由参照图像间运动矢量所示的第2参照图像的参照块，由此得到第2参照块。在参照图像合成部1004中，在第1参照块与第2参照块间进行合成处理。参照图像合成部1004将合成的参照块介由合成图像存储器1005输出给运动补偿预测部213。

通过本发明实施方式1的动图像编码装置及动图像解码装置，在编码对象块与第1参照图像间求出运动矢量，并对运动补偿预测出的参照图像合成其它参照图像，由此，能以仅传输一个运动矢量的较少附加信息实现预测残差较少的运动补偿预测图像。

另外，通过使用参照图像间运动矢量的值和运动矢量值MV1，能生成编码对象块与第2参照图像间的运动矢量值，将该值保存到运动矢量预测部106、运动矢量预测解码部212中，能用于针对后续的编码对象块的预测运动矢量值。由此，具有如下新效果：解码装置能识别的运动矢量值增加，运动矢量的预测精度得到提高，由此能以较少的信息传输运动矢量。

（实施方式2）

接下来说明实施方式2。在实施方式2中采用如下构成：使参照图像的合成处理所使用的运动矢量的精度较粗，对合成后的参照图像进行较细精度的相位对准。图6是表示实施方式2的动图像编码装置的构成的功能块图。

如图6所示，实施方式2的动图像编码装置包括输入端子100、输入图像缓存器101、块分割部102、帧内预测部103、运动矢量检测部104、运动补偿预测部105、运动矢量预测部106、多参照图像合成部107、合成图像运动补偿预测部108、预测模式判定部109、减法器110、正交变换部111、量化部112、逆量化部113、逆正交变换部114、加法器115、帧内解码图像存储器116、解码参照图像存储器117、熵编码部118、流缓存器119、输出端子120、及编码量控制部121。相对于实施方式1增加合成图像运动补偿预测部108的功能，并且多参照图像合成部107的动作不同。下面仅对与所追加的合成图像运动补偿预测部108相关联的功能块的动作进行说明。

运动补偿预测部105被输入由运动矢量检测部104求出的运动矢量值，同实施方式1一样针对16×16以下的多个块尺寸，生成针对多个参照图像的运动补偿预测图像，并选择相对于从块分割部102输入的编码对象块，要编码的差分信息最少的预测信号，将所选择的运动补偿预测模式和预测信号输出到预测模式判定部109。

运动矢量预测部106使用周边的已编码块的运动矢量，用与实施方式1同样的方法算出预测运动矢量值，提供给运动矢量检测部104、运动补偿预测部105及合成图像运动补偿预测部108。

多参照图像合成部107被输入从运动矢量检测部104输出的针对1个参照图像的运动矢量值、和解码参照图像存储器117中所保存的多个参照图像，进行使用了多个参照图像的参照图像合成处理。合成后的参照图像信号被输出到合成图像运动补偿预测部108。

合成图像运动补偿预测部108使用从多参照图像合成部107输入的合成后的参照图像信号和从运动矢量预测部106输入的预测运动矢量值，选择相对于从块分割部102输入的编码对象块，要编码的差分信息最少的预测信号，将所选择的合成图像运动补偿预测模式和预测信号输出给预测模式判定部109。关于多参照图像合成部107及合成图像运动补偿预测部108的详细动作，在后面叙述。

接下来，说明对由实施方式2的动图像编码装置生成的编码比特流进行解码的动图像解码装置。图7是实施方式2的动图像解码装置的构成图。

如图7所示，实施方式2的动图像解码装置包括输入端子200、流缓存器201、熵解码部202、预测模式解码部203、预测图像选择部204、逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208、解码参照图像存储器209、输出端子210、帧内预测部211、运动矢量预测解码部212、运动补偿预测部213、运动矢量分离部214、多参照图像合成部215、及合成图像运动补偿预测部216。相对于实施方式1，增加了运动矢量分离部214、合成图像运动补偿预测部216的功能，并且多参照图像合成部215的动作不同。下面仅针对与所追加的运动矢量分离部214及合成图像运动补偿预测部216相关联的功能块的动作进行说明。

在预测模式解码部203中，进行与实施方式1同样的处理，但在根据解码出的预测模式信息向帧内预测部211、运动补偿预测部213、及合成运动补偿预测部216输出表示所选择的信息及与预测模式相应的附加信息这部分上，动作是不同的。

预测图像选择部204根据从预测模式解码部203输入的预测模式信息，在选择预测图像时，除从帧内预测部211、运动补偿预测部213输出的外，还将从合成运动补偿预测部216等输出的解码对象块作为输入，进行选择处理，然后输出给加法器207。

运动矢量预测解码部212按与实施方式1同样的方法算出解码对象块的运动矢量值，将运动矢量值输出给运动补偿预测部213及合成图像运动补偿预测部216。按照运动补偿预测模式或合成图像运动补偿预测模式所示的预测处理的块单位，解码所被编码的数量的运动矢量。

运动补偿预测部213基于从运动矢量预测解码部212输入的运动矢量值、和从预测模式解码部203输入的作为与预测模式相应的附加信息的运动补偿预测模式，生成运动补偿预测图像，将所生成的运动补偿预测图像输出到预测图像选择部204。

运动矢量分离部214针对从运动矢量预测解码部212输入的运动矢量值，分离为变换成预定像素精度的运动矢量值（以下记作基准运动矢量值）、和运动矢量值与基准运动矢量值的差分矢量值（以下记作修正矢量值），将基准运动矢量值输出到多参照图像合成部215，将修正矢量值输出到合成图像运动补偿预测部216。按照合成图像运动补偿预测模式所示的预测处理的块单位，解码所被编码的数量的基准运动矢量值和修正矢量值。

在多参照图像合成部215中，输入从运动矢量分离部214输出的合成图像运动补偿预测模式所示的相对于1个参照图像的基准运动矢量值、和解码参照图像存储器209中所保存的多个参照图像，进行使用了多个参照图像的参照图像合成处理。合成后的参照图像信号被输出到合成图像运动补偿预测部216。

合成图像运动补偿预测部216使用从多参照图像合成部215输入的合成后的参照图像信号、和从运动矢量分离部214输出的合成图像运动补偿预测模式所示的相对于1个参照图像的修正矢量值，从合成后的参照图像信号中划分出针对解码对象块的预测块。合成图像运动补偿预测部216针对合成图像运动补偿预测模式所示的所有块，将通过合并所划分出的预测块而生成的合成运动补偿预测图像输出给预测图像选择部204。

多参照图像合成部215及合成图像运动补偿预测部216是与本发明实施方式2的动图像编码装置中的多参照图像合成部107及合成图像运动补偿预测部108成对的，关于这些块及运动矢量分离部214的详细动作，在后面叙述。

以下，使用图8说明在实施方式2的动图像编码装置和动图像解码装置中动作的、合成图像运动补偿预测的预测图像生成方法的整体架构，并接着说明其详细动作。

图8是表示本发明实施方式2中的合成图像运动补偿预测处理的动作的概念图。在编码装置侧，首先以设为基准的参照图像作为第1参照图像，检测编码对象帧与第1参照图像间的运动矢量，生成第1运动矢量值MV1。在图6的构成中，由运动矢量检测部104求出MV1。在此，设MV1的精度为N像素（例：1像素）。若由运动矢量检测部104检测出的运动矢量值是比N像素精度更细的精度，则通过将检测出的运动矢量值化为N像素精度，来生成MV1。

接着，以根据MV1而从第1参照图像划出的参照块为第1参照块，检测第1参照块与第2参照图像间的参照图像间运动矢量。基于检测出的运动，针对第1参照块及其周围，通过滤波等手段生成M＜N的M像素（例：1／4像素）精度的预测图像，针对从第2参照图像用参照图像间运动矢量划出的第2参照块及其周围，生成同样精度的预测图像，使用它们生成包含周围的合成后的预测图像。

最后针对所生成的包含周围的预测图像，通过块匹配等手段在与编码对象块之间进行M像素精度的运动矢量检测，将其结果所检测出的第2运动矢量值MV2作为编码对象块与第1参照图像间的运动矢量进行编码和传输，并将MV2所指定的合成了的预测图像作为合成运动补偿预测块而从编码对象块减掉，对差分块进行编码和传输。

另一方面，在解码装置侧，通过将最初收到的第2运动矢量值MV2化为N像素精度，来恢复第1运动矢量值MV1。接着，将根据MV1而从第1参照图像划出的参照块作为第1参照块，检测第1参照块与第2参照图像间的参照图像间运动矢量。基于检测出的运动，对第1参照块及其周围通过在编码侧规定的滤波等手段来生成M像素精度的预测图像，并针对用参照图像间运动矢量而从第2参照图像划出的第2参照块及其周围，生成同样精度的预测图像，使用它们生成包含周围的合成后的预测图像。

最后针对生成的包含周围的预测图像，通过划出由第2运动矢量值MV2指定的位置的合成后的预测图像，能生成与在编码装置侧生成的预测块相同的合成运动补偿预测块。

在该架构中，使第1参照块为具有接近编码对象块的信息的块，将之作为模板进行伴有与其它参照图像间的运动补偿的图像合成，由此能够生成具有接近MPEG－4AVC等运动补偿预测中的利用两个参照图像的预测（双向预测）的特性的预测信号，在这一点上与实施方式1具有同样的效果。并且，在编码装置侧无需基于1／4精度级的每种细精度都通过合成处理来确定运动矢量值，就能对合成的参照图像以1像素精度级的较粗精度的运动矢量值为基准进行运动矢量值的较细精度（M像素精度）的修正，故能以较少的处理，考虑到在合成处理中进行微小移动的相位的修正、以及在合成处理中除去参照图像的噪声分量地得到运动矢量值，能生成精度高的预测图像块。

此外，还具有如下效果：在解码装置中，能将可通过直接取得1像素精度级的参照图像的像素而生成的图像用于合成处理中的参照图像间的运动矢量检测，能够并行地进行小像素精度的滤波处理和运动矢量检测处理。

接下来，在图9中表示用于实现图8所示架构的编码装置中的多参照图像合成部107的构成，在图10中表示在多参照图像合成部107及合成图像运动补偿预测部108中动作的合成图像运动补偿预测处理的流程图，并说明其详细动作。

如图9所示，多参照图像合成部107包括基准参照图像取得部400、运动矢量检测范围设定部401、参照图像间运动矢量检测部402、合成参照图像取得部403、参照图像合成部404、及合成图像存储器405。

首先，从运动矢量检测部104向基准参照图像取得部400及运动矢量检测范围设定部401输入第1参照图像与编码对象块间的运动矢量值MV1。在基准参照图像取得部400中，利用所输入的MV1从解码参照图像存储器117取得第1参照图像的参照块。参照块的取得区域取如下区域：以相对于编码对象块移动了MV1值的第1参照图像的位置为基准，生成对象块±N／2像素以上的M像素精度（M＜N）的参照图像所需的区域。例如在N为1像素、M为1／4像素，使用在MPEG－4AVC中所使用的6抽头滤波器作为生成1／4像素精度图像所需的放大滤波器的情况下，取得在编码对象块尺寸的基础上加±3像素的区域的参照图像作为第1参照块。基准参照图像取得部400将取得的第1参照块输出给参照图像间运动矢量检测部402及参照图像合成部404。

接下来，在运动矢量检测范围设定部401中，设定相对于第1参照块，检测与第2参照图像间的运动矢量的范围。关于参照图像间的运动矢量的检测范围，可以适用在编码装置和解码装置中隐式地进行相同检测范围设定的方法，也可以采用将帧单位或所使用的每个参照图像的检测范围设定作为编码信息进行传输的方法。关于实施方式2中的检测范围的设定算法，使用图10在后面说明。运动矢量检测范围设定部401将所设定的运动矢量检测范围的信息输出给参照图像间运动矢量检测部402。

参照图像间运动矢量检测部402针对从基准参照图像取得部400输入的第1参照块，介由合成参照图像取得部403从解码参照图像存储器117取得由运动矢量检测范围设定部401指定的运动矢量的检测范围内的第2参照图像的参照块，算出块匹配等的误差值，算出该值较小的运动矢量作为参照图像间运动矢量。关于参照图像间运动矢量的检测精度也是一样，可以适用在编码装置和解码装置中隐式地进行相同检测精度的运动矢量检测的方法，也可以采用按帧单位或所使用的每个参照图像分别将运动矢量的检测精度作为编码信息进行传输的方法。参照图像间运动矢量检测部402将算出的参照图像间运动矢量输出到参照图像合成部404。

在参照图像合成部404中，从基准参照图像取得部400输入第1参照块，从参照图像间运动矢量检测部402输入参照图像间运动矢量，并介由合成参照图像取得部403从解码参照图像存储器117取得由参照图像间运动矢量所示的第2参照图像的参照块，由此得到第2参照块。在参照图像合成部404中，进行第1参照块与第2参照块间的合成处理。实施方式2中的合成处理例如采用通过取第1参照块与第2参照块的每个像素的平均来生成合成参照块的方法。参照图像合成部404将所合成的参照块介由合成图像存储器405输出给合成图像运动补偿预测部108。

接下来，用图10的流程图说明采用了这些构成的合成图像运动补偿预测处理的动作。在图10中，表示了1帧的编码处理中的合成图像运动补偿预测的动作流程。关于其它处理部分的动作，可采用MPEG－4AVC等以往的动图像编码处理。

在1帧的处理开始时，首先确定每个参照图像的合成对象参照图像（S500）。从多个图像中选择使用实施方式2中的运动补偿预测的参照图像。图11表示实施方式2中的编码处理的处理顺序和参照图像管理的一例，下面进行说明。

进行未使用被称为I片（slice）的运动补偿预测的编码的处理是针对最初的帧和间歇地设定的帧进行的。被用I片编码的解码图像被保存在解码参照图像存储器117中，成为接下来要编码的帧的参照图像。

P片是能以时间上靠前的帧的解码图像作为参照图像，进行使用了运动补偿预测的基于时间相关的压缩的帧。在图11中的实施方式2的编码处理顺序的一例中，P片的解码图像全部被用作参照图像。所追加的参照图像被保存在解码参照图像存储器117中，保存到所预先定义的参照图像张数。

B片是能将两个参照图像相加来进行运动补偿预测的帧，能使用时间上处于前后的参照图像进行预测精度高的运动补偿预测，但在使用两个参照图像时，需要对两个运动矢量进行编码。在图11中的、实施方式2的编码处理顺序的一例中，B片的解码图像不作为参照图像来使用。

如图11所示的例子那样，在针对每1帧都设定了B片的编码处理中，在能够保存4张参照图像的情况下，在I帧、P帧的编码后保存新的参照图像，若4张以上的情况下，通过废弃1张参照图像，来将新的解码图像作为参照图像使用。在图11中的实施方式2的参照图像管理的一例中，关于要废弃的参照图像，选择了时间上最早的帧。

这样，为能够针对编码对象帧选择性地使用多张参照图像，最初进行针对每个参照图像确定作为合成对象的参照图像的处理。通过设定隐式的规定，在编码装置和解码装置中进行同样的判断，能进行正确的合成处理。

例如，在编码对象帧为B片的情况下，针对成为基本参照图像的第1参照图像，将处于跨过编码对象帧的时间关系的、最接近编码对象帧的参照图像，作为用于合成的参照图像、即第2参照图像。在编码对象为P片的情况下，若第1参照图像是最接近编码对象帧的参照图像，则将第二接近的参照图像作为第2参照图像，在除这些以外的情况下，将第2参照图像作为最接近编码对象帧的参照图像。

在针对所有参照图像都确定成为合成对象的参照图像后，接下来确定参照图像间的运动矢量检测精度（S501）。在此，运动矢量检测精度是设定为用最终的合成运动补偿预测进行传输的检测精度、即1／4像素的，但例如通过求出1／8像素精度等更细精度的运动，还能够不提高要传输的运动矢量的精度地进行细精度的合成处理。

然后，确定参照图像间的运动矢量检测范围（S502）。关于检测范围，可以针对所有第1参照块都将第2参照图像的全区域取为运动矢量检测范围，并通过按与解码装置相同的定义进行检测处理，使得实施方式2中的编码装置发挥作用，但为减少参照图像间的运动矢量检测中的运算量，进行如图12所示那样的检测范围的设定。

图12是实施方式2中的参照图像间的运动矢量检测范围的一例。若将编码对象图像的输入时刻记为Poc_Cur、将第1参照图像的输入时刻记为Poc_Ref1、将第2参照图像的输入时刻记为Poc_Ref2，则针对出自第1参照图像的相对于编码对象块的运动矢量MV1，在设定第2参照图像的搜索范围时，以编码对象块的位置为基准，将搜索中心位置设定为由

α＝MV1×(Poc_Cur-Poc_Ref2)/(Poc_Cur-Poc_Ref1)

所表示的、假想时间上运动连续时的编码对象块与第2参照图像之间的运动矢量预测值。

然而，照相机的运动或物体的运动等时间上并非连续变化的状况也较多，故通过以搜索位置为中心针对特定区域搜索运动矢量，能够取得适合合成处理的第2参照图像的参照块。在图12所示的一例中，作为特定区域，指定了±4像素的区域。

具体来说，在S502中，仅进行确定上述±4像素的定义的处理，用于取得针对各编码对象块的合成参照图像的搜索中心位置的计算是针对每个对象块计算的。

接下来，通过在帧单位的处理定义内作为编码比特流进行传输，在用于传输帧单位的信息的片头中传输使解码装置进行同样处理的信息。图13中表示了实施方式2的对片头的追加信息的一例。

图13的片头以MPEG－4AVC中的片头为基础，故所记述的部分仅是关于所追加的信息的内容。合成运动补偿预测在作为帧间预测方式的I片中是不使用的，故在I片以外的情况下传输所追加的信息。

首先用1比特传输按片单位控制是否进行合成运动补偿预测的信息、即refinement_mc_enable。进而，若refinement_mc_enable为1（进行合成运动补偿预测），则传输以下三个信息。

第一是表示是否与以往的运动补偿预测进行自适应地切换、是否对以往的运动补偿预测和合成运动补偿预测进行置换的信息，作为refinement_mc_adaptive，用1比特传输。

第二是表示参照图像间的运动矢量检测范围的信息，以2比特的数据传输refinement_mc_matching_range_full。作为一例，使2比特的数据表示以下定义的检测范围。

00±1像素

01±2像素

10±4像素

11±8像素

第三是表示参照图像间的运动矢量检测精度的信息，以2比特的数据传输refinement_mc_matching_subpel。作为一例，使2比特的数据表示以下定义的检测精度。

00  1像素精度（不进行小数精度的检测）

01  1/2像素精度

10  1/4像素精度

11  1/8像素精度

这样，在按帧单位确定设定后，进行针对作为编码对象帧内的编码对象块的宏块的合成运动补偿预测处理。针对各宏块（S504）、针对所有参照图像（S505），进行以最初所选择的参照图像作为第1参照图像的第1运动矢量检测（S506）。

上述检测处理能由在以往的运动补偿预测中所使用的运动矢量检测部104进行动作，但在不使用以往的运动补偿预测的情况下，也可以将同样的运动矢量检测处理加到合成运动补偿预测中，或者总是将从运动矢量预测部106输出的预测运动矢量值作为第1运动矢量值。

在使用预测运动矢量值作为第1运动矢量值的情况下，差分运动矢量值成为合成参照图像后的、作为针对微小范围的检索结果的距离中心位置的偏移量，具有要传输的差分运动矢量信息变少这样的优点。

在第1运动矢量取1像素精度，从运动矢量检测部104或运动矢量预测部106输入的运动矢量值是不足1像素的精度的运动矢量时，施以化为1像素精度的动作。例如，所输入的运动矢量值MV1org为1／4像素精度时，通过如下计算来求得第1运动矢量值MV1。

MV1＝(MV1org＋2)＞＞2

接下来，根据第1运动矢量取得第1参照块（S507）。在图9的说明中，如所记述的那样，关于第1参照块，以相对于编码对象块移动了MV1的值的第1参照图像的位置为基准，取得如下区域的参照图像，即，作为生成对象块±1/2像素以上的1/4像素精度的参照图像所需要的区域，对编码对象块尺寸增加±3像素的区域。

然后，根据第1运动矢量设定第2参照图像的检测范围（S508）。通过在S500中所决定的定义来确定对第2参照图像使用哪个参照图像。关于检测范围，被设定在S502中说明的图12所示的检测范围。针对所设定的检测范围，在第1参照块与第2参照图像间进行参照图像间的运动矢量检测（S509）。

接下来，使用所检测出的参照图像间运动矢量，取得第2参照块（S510）。关于第2参照块，以相对于第1参照块移动了参照图像间的运动矢量值的第2参照图像的位置为基准，取得与第1参照块同样的编码块尺寸±3像素的区域的参照图像。

然后合成第1参照块和第2参照块，生成合成参照图像块（S511）。作为进行合成的算法，通过算出第1参照块和第2参照块的每个像素的平均值来生成合成参照图像块。此外，在合成参照图像块中，也能适用在MPEG－4AVC中使用的加权预测（Weighted Prediction），还可以对合成参照图像块施加权重，或使第1参照块和第2参照块的相加比率与距编码对象图像的距离成反比例地进行加权相加平均，在切换这些算法时，将用于指定相加方法的信息按帧单位或宏块单位传输。

接下来，在合成参照图像块内和编码对象块间进行微小范围的运动矢量检测，生成第2运动矢量值（S512）。具体来说，在第1运动矢量值为1像素精度，要检测1/4像素精度的运动矢量的情况下，针对第1参照块，以第1运动矢量MV1所示的位置为基准在±1/2像素的范围内，一边按1/4像素单位水平、垂直地移动，一边从合成参照图像块的同位置划出与编码对象块相同尺寸的块，进行与编码对象块的块匹配。

算出块匹配的结果中、与编码对象块的误差评价值最小者作为第2运动矢量值MV2。若将表示上述移动的范围的移动量记作MVdelta，则输出

MV2＝（MV1＜＜2）＋MVdelta。

在此，MVdelta按1/4像素精度、水平和垂直都按－2≦MVdelta＜2算出，故针对MV2，通过在解码侧进行MV1＝（MV2＋2）＞＞2的处理，能恢复第1运动矢量。

接下来，以求出的第2运动矢量值MV2所示的位置为基准，从合成参照图像块划出合成运动补偿预测块，算出误差评价值。关于误差评价值，不仅是块匹配等的误差的总和，还可以考虑运动矢量等传输所需的编码量、以及使用求出的合成运动补偿预测块，对从编码对象块减去的预测差分块进行编码时所需的编码量，作为计算编码量与解码后的输入图像的畸变量得到的值来算出。

S506至S513的处理是对所有参照图像都进行的，若参照图像不是最后的参照图像（S514：NO），则选择下一个参照图像作为第1参照图像（S515），返还S506。若参照图像是最后的参照图像（S514：YES），则从针对所有参照图像求出的第2运动矢量值中选择误差评价值最小者，将所选择的第2运动矢量值和表示算出第2运动矢量值时所使用的第1参照图像的信息同误差评价值一起输出到预测模式判定部109（S516）。

在预测模式判定部109中，与其它预测模式间比较误差评价值，决定最佳的预测模式（S517）。

通过对所决定的预测模式的预测图像与编码对象块的差分即预测差分块、和与预测模式相关联的附加信息进行编码（S518），针对1个宏块的编码处理结束。

在选择了以往的运动补偿预测的情况下、和选择了合成运动补偿预测的情况下，运动矢量值都同样为用于后续宏块的运动矢量预测而被保存在运动矢量预测部106中。在合成运动补偿预测中传输的第2运动矢量值，作为未施加合成处理时的第1参照图像的运动矢量值，具有与以往的运动补偿预测同样的相关性，故不分别管理，而是同样地进行处理，由此，能增加周边块的可参照的运动矢量值，保证与以往同等的运动矢量的预测精度。

另外，在图10的流程图中，对宏块内的编码对象块尺寸为1的情况进行了说明，但同MPEG－4AVC一样，也能按16×16、16×8、8×16、8×8、8×4、4×8、4×4等块尺寸单位进行合成运动补偿预测，此时，算出各块尺寸的合成运动补偿预测的误差评价值，选择误差评价值最小的块尺寸，传输预测模式，由此，解码装置能够识别选择结果。

在作为图13所示的片头信息而传输了refinement_mc_adaptive＝1的情况下，进行自适应地切换通常的运动补偿预测和合成运动补偿预测的处理。

图14中表示实施方式2中的对运动补偿预测模式的追加信息的一例。在不使用运动矢量的帧内预测（Intra）和仅使用预测出的运动矢量值的直接模式（Direct）以外的情况下，以按照所适用的模式传输运动矢量的参照图像单位，将切换信息作为1比特的ON/OFF信息来传输。图14中的refmc_on_l0[mbPartIdx]和refmc_on_l1[mbPartIdx]是该信息。

在B片内的双向预测（使用两个参照图像进行相加预测）中，能针对每一个参照图像选择是否将合成参照图像作为预测图像使用，再加上参照图像的选择，能用两个运动矢量、基于最大4个参照图像进行合成运动补偿预测，能进一步提高预测图像的质量。

宏块的编码结束后，若并非最后的宏块（S519：NO），则指定下一宏块（S520），转移到S504。若是最后的宏块（S519：YES），则结束1帧的编码处理。

接下来，将用于实现图8的架构的解码装置中的多参照图像合成部215的构成表示在图15中，将在运动矢量分离部214、多参照图像合成部215及合成图像运动补偿预测部216中动作的合成图像运动补偿预测处理的流程图表示在图16中，并说明其详细动作。

如图15所示，多参照图像合成部215由基准参照图像取得部1000、运动矢量检测范围设定部1001、参照图像间运动矢量检测部1002、合成参照图像取得部1003、参照图像合成部1004、及合成图像存储器1005构成，关于其各自的动作，进行与图9所示的基准参照图像取得部400、运动矢量检测范围设定部401、参照图像间运动矢量检测部402、合成参照图像取得部403、参照图像合成部404、及合成图像存储器405同样的动作。

首先从运动矢量分离部214向基准参照图像取得部1000及运动矢量检测范围设定部1001输入基于解码的运动矢量值MV2而在运动矢量分离部214中生成的运动矢量值MV1。

具体来说，MV1由MV1＝（MV2＋2）＞＞2的运算生成，能取得编码装置中的第1参照图像与编码对象块间的运动矢量值。在基准参照图像取得部1000中，使用所输入的MV1从解码参照图像存储器209取得第1参照图像的参照块。基准参照图像取得部1000将所取得的第1参照块输出给参照图像间运动矢量检测部1002及参照图像合成部1004。

接下来，在运动矢量检测范围设定部1001中，针对第1参照块设定检测第2参照图像间的运动矢量的范围。运动矢量检测范围设定部1001将所设定的运动矢量检测范围的信息输出给参照图像间运动矢量检测部1002。

参照图像间运动矢量检测部1002针对从基准参照图像取得部1000输入的第1参照块，介由合成参照图像取得部1003从解码参照图像存储器209取得由运动矢量检测范围设定部1001指定的运动矢量的检测范围内的第2参照图像的参照块，算出块匹配等的误差值，算出其值较小的运动矢量作为参照图像间运动矢量。参照图像间运动矢量检测部1002将所算出的参照图像间运动矢量输出到参照图像合成部1004。

在参照图像合成部1004中，从基准参照图像取得部1000输入第1参照块，并从参照图像间运动矢量检测部1002输入参照图像间运动矢量，介由合成参照图像取得部1003从解码参照图像存储器209取得由参照图像间运动矢量所示的第2参照图像的参照块，由此得到第2参照块。在参照图像合成部1004中，进行第1参照块与第2参照块间的合成处理。参照图像合成部1004将合成的参照块介由合成图像存储器1005输出到合成图像运动补偿预测部216。

接下来，使用图16的流程图说明采用了这些构成的解码装置侧的合成图像运动补偿预测处理的动作。在图16中也同图10一样表示了1帧的解码处理中的合成图像运动补偿预测的动作流程。关于其它处理部的动作，可采用MPEG－4AVC等以往的动图像解码处理。

在1帧的解码处理开始时，首先对片头进行解码，取得与参照图像相关的信息（S1100）。图11中所示那样的表示编码顺序的信息、和确定参照图像的信息在片头中被传输，并且图13所示那样的关于合成运动补偿预测的信息也被解码。

然后，进行针对每个参照图像确定要作为合成对象的参照图像的处理（S1101）。在实施方式2中，在解码装置中进行与在编码装置的动作中所示的处理同样的判断。

针对所有参照图像都确定成为合成对象的参照图像后，接下来使用解码出的refinement_mc_matching_subpel设定参照图像间的运动矢量检测精度设定（S1102）。

同样，使用从片头中解码出的refinement_mc_matching_range_full设定参照图像间的运动矢量检测范围（S1103）。

在确定按帧单位的设定后，对于解码对象帧内的作为解码对象块的宏块，若被使用了合成运动补偿预测，则施以生成合成运动补偿预测块的处理。

若针对各宏块（S1104），最初预测模式并非合成运动补偿预测模式（S1105：NO），则按其它预测模式进行预测处理，并使用所生成的预测图像施以解码处理（S1106）。

若预测模式是合成运动补偿预测模式（S1105：YES），则取得表示第1参照图像的信息（S1107）。关于表示参照图像的信息，同MPEG－4AVC一样，与预测模式一起被编码，能同解码了的宏块的预测模式信息一起取得。

然后，取得在运动矢量预测解码部212中被解码了的运动矢量值MV2（S1108）。MV2在运动矢量分离部214中被施以分离处理，生成MV1（S1109）。具体来说，如上述那样进行MV1＝（MV2＋2）＞＞2的运算。

接下来，使用MV1取得第1参照块（S1110）。如在图9的说明中所记述的那样，关于第1参照块，以移动了MV1的值的第1参照图像的位置为基准，作为生成对象块±1/2像素以上的1/4像素精度的参照图像所需要的区域，取得对编码对象块尺寸增加±3像素的区域的参照图像。

然后，根据第1运动矢量设定第2参照图像的检测范围（S1111）。关于对第2参照图像使用哪个参照图像，通过S1101中所决定的定义，进行与编码装置相同的选择。关于检测范围，采用在S1103中设定的检测范围。针对所设定的检测范围，在第1参照块与第2参照图像间进行参照图像间的运动矢量检测（S1112）。

接下来，使用检测出的参照图像间运动矢量，取得第2参照块（S1113）。关于第2参照块，以相对于第1参照块移动了参照图像间的运动矢量值的第2参照图像的位置为基准，取得与第1参照块同样的编码块尺寸±3像素的区域的参照图像。

然后合成第1参照块和第2参照块，生成合成参照图像块（S1114）。

接下来，针对合成的参照图像块，抽取相对于MV1所指定的位置移动了MV2－MV1的区域、即相当于MV2所指定的位置的区域的图像块（S1115）。关于要移动的1／4像素成分，由于MV1是1像素精度、MV2是1／4像素精度，故通过MV2－（MV1＜＜2）的运算来生成。抽取出的图像块被作为合成运动补偿预测块而输出到预测图像选择部204（S1116）。

然后使用上述合成运动补偿预测块进行差分信息的解码处理（S1117）由此，1个宏块的解码处理结束。若进行了解码处理的宏块不是1帧的最后的宏块（S1118：NO），则指定下一要解码的宏块（S1119），返回S1105。

若已解码了1帧的最后的宏块（S1118：YES），则完成1帧的处理。

此外，在实施方式2的解码装置内的合成图像运动补偿预测处理中，最终的MV2的值是预先知道的，故关于第1参照块，也可以仅取得编码对象块尺寸的1像素单位的参照图像块，进行参照图像间的运动矢量检测，生成合成参照图像生成时所需要的1／4像素单位的参照图像，进行合成处理，这样，既减少了解码时的滤波器处理导致的运算量増加，又能生成与编码装置相同的合成参照图像。

通过本发明实施方式2的动图像编码装置及动图像解码装置，对在编码对象块与第1参照图像间求出运动矢量并进行了运动补偿预测的参照图像，合成其它参照图像，并针对合成后的预测图像进行微小范围的运动矢量检测（修正），由此能生成在提高预测图像的质量的基础上，考虑提高后的边缘部分等的相位变化地对运动进行了修正的、预测残差少的运动补偿预测图像。

进而，若将针对第1参照图像求出的运动矢量的精度记为N像素精度，则针对合成的预测图像进行的运动矢量检测（修正）的范围为±N/2像素，按比N像素更细的精度进行修正后传输修正结果的运动矢量值，由此，能以1个运动矢量值取得解码装置侧的基于第1参照图像的运动补偿预测图像、和对合成后的预测图像的相位变化进行了修正的运动补偿预测图像，能不增加附加信息地对预测残差少的运动补偿预测图像进行编码和解码。

此外，在根据已解码的周边块的运动矢量值预测相对于第1预测图像的运动矢量值时，作为要解码的运动矢量值，只要仅接收针对合成的预测图像的修正值即可，能进一步削减运动矢量的信息量。

在本发明的实施方式2中，对于使用第1参照图像预测出的运动补偿预测图像，求取与其它参照图像间的运动矢量值，并与根据其它参照图像取得的运动补偿预测图像进行相加平均，由此能够生成除去了编码劣化成分且应对解码对象物的微小亮度变化的预测图像，能够提高编码效率。

此外，关于第2运动矢量，在编码装置中使用1个确定的结果生成合成参照图像并进行了合成运动补偿预测，但在备有多个第1运动矢量分别以各个运动矢量为基准按相同方法进行合成运动补偿预测，对最佳的第2运动矢量进行编码的情况下，解码装置能按实施方式2中所说明的处理，不增加运算量地进行解码，在编码装置中也能以按N像素单位的判断来进行M像素精度的最佳的合成运动补偿预测，相对于实施方式1抑制了编码处理的増加，能进行合适的合成运动补偿预测。

（实施方式3）

下面说明实施方式3的动图像编码装置及动图像解码装置。在实施方式3中，动图像编码装置及动图像解码装置的构成采用与实施方式2同样的构成，仅多参照图像合成部中的参照图像的合成处理进行不同的动作。具体来说，仅实施方式2的说明中的参照图像合成部404、1004及流程图的S511、S1114中所进行的运算处理不同。

将表示实施方式3中的参照图像的合成处理的动作的概念图表示于图17，说明其运算处理。在实施方式2中，在合成处理中对块内的所有像素值都进行施以一样的相加平均处理的平均化，但在实施方式3中，在合成处理中，在第1参照块与第2参照块之间针对每个像素算出误差值，并根据误差的绝对值，使每个像素的第2参照块和上述第1参照块的加权变化地算出加权平均值。

具体来说，采用误差较少时进行均等的加权，而在阈值以上时不加入第2参照块的像素的运动自适应滤波器的构成。若将第1参照块的像素值记为P1，将第2参照块的像素值记为P2，则用图17所示那样的函数，根据像素误差绝对值｜P1－P2｜而算出作为相加比率值的α。利用了所算出的α的每个像素的合成像素值PM通过

PM＝P1×（1－α）＋P2×α

来计算。

这些合成处理可以在编码装置和解码装置中隐式地进行相同的动作，也可以在片头等中发送表示是进行单纯平均化、还是按每个像素进行自适应相加的信息来进行选择。

在进行实施方式2中的单纯平均化的情况下，能用1个运动矢量生成相当于基于两个参照图像的平均值预测的特性的预测图像，与此不同，在进行实施方式3中的自适应相加的情况下，以第1参照块为基准，除去第1参照块因编码劣化等产生的畸变，并针对边缘成分等变化较大的部分保存信号特性，由此，在编码和解码共通的处理中生成提高了第1参照图像块的质量的预测图像。由此，在实施方式3中的动图像编码装置、动图像解码装置中，除实施方式1中的效果外，还能保证边缘成分等特征部分的信号特性，生成除去了编码劣化成分的高质量的预测图像，提高了编码效率。

此外，在图11所示那样的编码构造中，即使是只有1张参照图像的状态，通过指定第1参照图像作为第2参照图像，并使第1参照图像内的纹理成分进行块匹配地自适应相加，能够除去劣化成分，能以本发明的构成发挥良好的效果。

（实施方式4）

下面说明实施方式4的动图像编码装置及动图像解码装置。在实施方式4中，其特征在于采用了使用多个多参照图像合成部中的第2参照图像的构成，并且针对第1参照块的基于第2参照图像的运动矢量检测的块单位由比编码对象块小的块单位构成。

图18是表示本发明实施方式4中的合成图像运动补偿预测处理的动作的概念图。编码装置侧与解码装置侧的关系是与图8所示的实施方式2同样的关系，故仅记载了表示编码装置侧的动作的概念图。

在编码装置侧，同实施方式1一样地进行如下处理，即，将成为基准的参照图像作为第1参照图像，在编码对象帧与第1参照图像间进行运动矢量の检测。

然后，将根据MV1而从第1参照图像中划出的参照块分割成比编码对象块小的块单位，按小的块单位检测与第2参照图像间的参照图像间运动矢量。作为一例，在编码对象块是与宏块相同尺寸的16×16像素的情况下，使求取参照图像间运动矢量的单位为8×8像素。然后，使用检测出的与多个（作为一例，是4个）第2参照图像间的参照图像间运动矢量，生成相对于对象第1参照块的区域成为合成对象的小的块单位的多个参照块。

对于生成第2参照块时的对象块周边的图像，能如图18所示那样按各小块单位仅取得未包含于所分割的其它块的区域，但能在所有小块中与实施方式1一样取得±3像素的周边区域，用于合成处理，能生成使小块的边界平滑地连接的合成图像。使用上述小块的多个参照块，生成与第1参照块对应的第2参照块。

接下来，针对与第2参照图像不同的第3参照图像，同样地检测参照图像间的运动矢量。针对第3参照图像也同样地以小的块单位检测与第1参照块间的参照图像间运动矢量。根据检测出的参照图像间运动矢量，生成多个参照块，并使用多个参照块生成与第1参照块对应的第3参照块。

在合成处理中，利用第1参照块的像素值和第2及第3参照块的像素值判断针对第1参照块按每个像素或每个小的块是合成第2参照块，还是合成第3参照块，或者使用第2、第3参照块两者进行合成。

对于包含这样合成的周围的预测图像，同实施方式1一样在与编码对象块之间用块匹配等手段进行M像素精度的运动矢量检测，将其结果所检测出的第2运动矢量值MV2作为编码对象块与第1参照图像间的运动矢量进行编码和传输，并将MV2所指定的合成的预测图像作为合成运动补偿预测块，从编码对象块减去它，对差分块进行编码和传输。

实施方式4中的动图像编码装置及动图像解码装置的构成也采用与实施方式2同样的构成，但多参照图像合成部中的构成及处理不同。将表示实施方式4中的多参照图像合成部的构成的功能块图示于图19，将说明其动作的流程图示于图20，来进行实施方式4的说明。编码装置和解码装置中的多参照图像合成部的构成及动作中，仅与多参照图像合成部相联系的处理块的动作不同，其余进行同样的动作，故表示编码装置中的动作来进行说明。

如图19所示那样，实施方式4中的多参照图像合成部包括基准参照图像取得部1400、运动矢量检测范围设定部1401、第2参照图像间运动矢量检测部1402、第2参照图像取得部1403、参照图像合成部1404、及合成图像存储器1405、第3参照图像取得部1406、第3参照图像间运动矢量检测部1407、及合成判定部1408。相对于实施方式1的多参照图像合成部，第3参照图像取得部1406、第3参照图像间运动矢量检测部1407、及合成判定部1408中的动作是带来实施方式4中的新效果的构成，但关于第3参照图像取得部1406、第3参照图像间运动矢量检测部1407，也可以与第2参照图像间运动矢量检测部1402及第2参照图像取得部1403相统合，如实施方式2中的构成那样用参照图像间运动矢量检测部402、合成参照图像取得部403的构成来进行动作。在图19中，为进行动作说明而作为不同的块进行记载。

首先从运动矢量检测部104向基准参照图像取得部1400及运动矢量检测范围设定部1401输入第1参照图像与编码对象块间的运动矢量值MV1。在基准参照图像取得部1400中，使用所输入的MV1从解码参照图像存储器117取得第1参照图像的参照块。参照块的取得区域采用如下区域，即，以相对于编码对象块移动了MV1的值的第1参照图像的位置为基准、生成对象块±N/2像素以上的M像素精度（M＜N）的参照图像所需要的区域。基准参照图像取得部1400将取得的第1参照块输出到第2参照图像间运动矢量检测部1402、合成判定部1408、及第3参照图像间运动矢量检测部1407。

接下来，在运动矢量检测范围设定部1401中，针对第1参照块设定检测与第2参照图像间的运动矢量的范围、和检测与第3参照图像间的运动矢量的范围。关于检测范围的设定算法，针对与第2参照图像的参照图像间运动矢量检测、和针对与第2参照图像的参照图像间运动矢量检测分别进行与实施方式1中的检测范围设定同样的处理，来确定范围。运动矢量检测范围设定部1401将所设定的运动矢量检测范围的信息输出到第2参照图像间运动矢量检测部1402及第3参照图像间运动矢量检测部1407。

第2参照图像间运动矢量检测部1402针对从基准参照图像取得部1400输入的第1参照块，介由第2参照图像取得部1403从解码参照图像存储器117取得由运动矢量检测范围设定部1401指定的运动矢量检测范围中的第2参照图像的参照块，按相对于编码对象块1／4大小的8×8块尺寸分别算出块匹配等的误差值，算出其值较小的运动矢量作为第2参照图像间运动矢量。第2参照图像间运动矢量检测部1402将所算出的4个第2参照图像间运动矢量输出到合成判定部1408。

同样地，第3参照图像间运动矢量检测部1407针对从基准参照图像取得部1400输入的第1参照块，介由第3参照图像取得部1406从解码参照图像存储器117取得由运动矢量检测范围设定部1401指定的运动矢量检测范围内的第3参照图像的参照块，按相对于编码对象块1／4大小的8×8块尺寸分别算出块匹配等的误差值，算出其值较小的运动矢量作为第3参照图像间运动矢量。第3参照图像间运动矢量检测部1407将所算出的4个第3参照图像间运动矢量输出到合成判定部1408。

在合成判定部1408中，针对从基准参照图像取得部1400输入的第1参照块，使用从第2参照图像间运动矢量检测部1402输入的4个第2参照图像间运动矢量所示的多个第2参照图像的参照块，介由第2参照图像取得部1403从解码参照图像存储器117生成与第1参照块对应的第2参照块。

同样地，合成判定部1408使用从第3参照图像间运动矢量检测部1407输入的4个第3参照图像间运动矢量所示的多个第3参照图像的参照块，介由第3参照图像取得部1406从解码参照图像存储器117生成与第1参照块对应的第3参照块。

合成判定部1408接下来在所生成的第2参照块、第3参照块与第1参照块之间算出误差值，利用误差值的关系针对第1参照块确定要合成的第2参照块及第3参照块的选择及相加比率。关于确定算法，在后面叙述。

合成判定部1408利用所确定的相加比率对第1参照块合成第2参照块及第3参照块，由此生成合成的参照块，并将合成的参照块介由合成图像存储器1405输出到合成图像运动补偿预测部108。

接下来，在图20中示出用于说明合成判定部1408中的判定处理的动作的流程图，说明其详细动作。首先按编码对象块单位输入第1参照块（S1500）。针对参照图像块，为在合成运动补偿预测部中进行相对于编码对象块的大小±1/2像素范围内的1/4像素单位的运动量移动，而加入滤波器系数地取得±3像素的区域（编码对象块为16×16像素时，取得22×22像素的区域）。

然后，输入由第2参照图像间运动矢量检测部1402算出的4个第2参照图像间运动矢量（S1501）。使用所输入的各个运动矢量，从第2参照图像取得8×8像素单位的小参照图像块（S1502）。小参照图像块的取得区域成为14×14像素。

针对小参照图像块的相邻部分，判断是否反映相邻的参照图像块的重叠（overlap）部分的像素（S1503）。具体来说，在相邻的取得的运动矢量的差分值在±1像素以内时，重叠地平滑连接块相邻部分。当比±1像素大时，判定为是针对不同的物体所求出的参照块，不反映重叠部分，而是原样设定相应的小参照块的像素。按照上述判断，重叠对准小参照图像块地生成由22×22像素构成的第2参照块（S1504）。

然后，输入由第3参照图像间运动矢量检测部1407算出的4个第3参照图像间运动矢量（S1505）。与第2参照图像时一样，使用各个运动矢量从第3参照图像取得小参照图像块（S1506），确定小参照图像块的相邻边界部分的处理（S1507），重叠对准小参照图像块地生成第3参照块（S1508）。

然后，使用第1参照块、第2参照块、第3参照块按像素单位进行合成处理。按照参照块内的像素单位（S1509），算出第1参照块的像素值P1与第2参照块的像素值P2的误差绝对值|P1－P2|（S1510）。同样地，算出P1与第3参照块的像素值P3的绝对误差值｜P1－P3｜（S1511），算出P2与P3的绝对误差值｜P2－P3｜（S1512）。

使用|P1－P2|、|P1－P3|、|P3－P2|的3个值确定P1、P2、P3的相加比率（S1513），由此进行实施方式3中的合成处理的判断。

首先，若｜P1－P2｜和｜P1－P3｜都比阈值β（例：8）小，则以相同的加权对P1、P2、P3进行相加平均。即，P1、P2、P3的比率为1：1：1。

其次，若｜P1―P2｜比阈值β小，｜P1－P3｜比阈值γ（例：16）大，则仅将P2与P1相加。即，使P1、P2、P3的比率为1：1：0。若P2与P3的关系相反，即｜P1―P3｜比阈值β小、｜P1－P2｜比阈值γ（例：16）大，则P1、P2、P3的比率成为1：0：1。

若｜P1―P2｜和｜P1―P3｜都比阈值γ大，则查看｜P2－P3｜的值。若｜P2－P3｜比阈值δ（例：4）小，则判定为P1的像素值因劣化等原因产生了误差，向使用P2、P3更新像素值的方向进行相加处理。具体来说，使P1、P2、P3的比率为1：2：2。

此外，若｜P2－P3｜比阈值γ大，则P2和P3从合成对象排除，相加比率P1、P2、P3的比率成为1：0：0。

在上述条件以外的情况下，将P2与P3的平均值与对P1进行相加平均。即，P1、P2、P3的比率成为2：1：1。根据这样确定的比率，取P1、P2、P3的加权相加平均，生成合成的参照块的像素值PM（S1514）。

对参照块内的所有像素施以同样的处理。若并非参照块内最后的像素（S1515：NO），则设定下一像素（S1516），返回S1510。若是参照块内最后的像素（S1515：YES），则结束对编码对象块的参照图像合成处理。

在实施方式4的动图像编码装置及动图像解码装置中，对使用第1参照图像预测出的运动补偿预测图像，在与其它参照图像间求出比作为对象的运动补偿预测图像更细单位的运动矢量值，与根据各个运动矢量按细单位取得的运动补偿预测图像进行合成处理，由此，不增加要传输的运动矢量地生成与编码对象物的物体的时间上的微小变形相对应的预测图像，提高编码效率。此外，对于使用第1参照图像预测出的运动补偿预测图像，求取与其它参照图像间的相关性并选择多个适于合成的参照图像进行合成处理，由此，能够不发送附加信息地进行基于多个参照图像的适当的合成图像的生成，进一步提高编码效率。

（实施方式5）

接下来，说明实施方式5的动图像编码装置及动图像解码装置。在实施方式5中，特征在于采用如下结构：在多参照图像合成部内针对第1参照图像使用多个参照图像进行超分辨率放大处理，将施以超分辨率放大后的结果的放大图像作为合成参照图像用于运动补偿预测。

首先，在图21中示出表示实施方式5中的合成图像运动补偿预测处理的动作的概念图，进行说明。在实施方式1至4的构成中，是通过针对各个参照图像的滤波生成不足1像素的小数像素精度的像素值，并使用生成后的参照图像生成合成参照图像的，但在实施方式4中，通过基于其它参照图像的配准来生成对第1参照图像放大后的不足1像素的小数像素精度的像素值，并调整配准后的频带，由此，生成高精细且降低了编码劣化的影响的参照图像。

如图21所示，针对以相对于编码对象块在与第1参照图像之间检测出的第1运动矢量为基础取得的第1参照块，设定特定范围的第2参照图像及第3参照图像，针对特定范围内的像素进行对第1参照块的运动检测，进行像素配准（registration），由此生成小数像素精度的放大参照块，施以用于调整为预定频带的滤波器，反映其分量。

通过反复多次进行上述处理，除去第1参照块中的编码劣化，生成小数像素精度的高精细参照图像。通过将这样生成的高精细参照信号用于合成图像运动补偿预测，生成预测残差的高频分量少的预测图像。

图22中示出表示实施方式5的动图像编码装置及动图像解码装置中的多参照图像合成部的构成的功能块图，说明其动作。同实施方式4一样，在实施方式5中，也是编码装置和解码装置中的多参照图像合成部的构成及动作中、仅与多参照图像合成部相联系的处理块的动作不同，其余进行同样的动作，故表示并说明编码装置中的动作。

如图22所示，实施方式5中的多参照图像合成部包括基准参照图像取得部1700、配准对象范围设定部1701、配准部1702、合成参照图像取得部1703、频带限制滤波器部1704、合成图像存储器1705、及再构成结束判定部1706。

首先从运动矢量检测部104向基准参照图像取得部1700、配准对象范围设定部1701输入第1参照图像与编码对象块间的运动矢量值MV1。在基准参照图像取得部1700中，使用所输入的MV1从解码参照图像存储器117取得第1参照图像的参照块。基准参照图像取得部1700将取得的第1参照块输出到配准部1702。

接下来，在配准对象范围设定部1701中，设定成为从其它参照图像向第1参照块进行配准的对象的区域。具体来说，与在图12中所示的实施方式1中的参照图像间的运动矢量检测范围一样，根据与编码对象图像的距离，将以延长或缩小了MV1的运动量所示的位置为中心±L像素的范围设定为进行配准的对象区域。L的值需要比实施方式1中的参照图像间的运动矢量检测范围更广的范围，例如设定为L＝32。

在配准对象范围设定部1701中设定的对象区域被送往配准部1702，被施以配准处理。在配准部1702中，首先对第1参照块施以水平、垂直X倍的放大处理。在本实施方式中，通过使X＝4，生成能用于1／4像素单位的运动补偿的放大图像。

在放大图像中，存在像素值的1像素单位的像素和由放大处理生成的像素在配准处理中被施以不同的处理。关于配准，如图21所示那样，在按预定像素单位（例：4×4像素）被第1放大了的参照块、与介由合成参照图像取得部1703从解码参照图像存储器117取得的其它参照图像的按1像素单位构成的参照块之间，进行按1像素间隔的块匹配，由此算出运动矢量。所算出的运动矢量未表示1像素精度的位置时，针对以往不存在的选告诉进行基于其它参照图像的像素配准，故配准的像素值与由滤波器生成的像素值相置换。当表示了1像素精度的位置时、以及像素从多个参照图像粘贴到相同的场所时，基于配准结束后粘贴于各个像素位置的像素值的分布及频度，算出最应处于相应位置的值，并用该值置换像素值。

被施以配准后的参照块从配准部1702输出到频带限制滤波器部1704。在频带限制滤波器部1704中，对所输入的配准后的参照块施以假想本来放大了的参照图像所具有的频率特性的频带限制滤波器。

关于在配准时没有进行粘贴的1像素精度以外的像素位置的值，首先不使用放大时所生成的值，而是使用周围的被配准了的像素值，由频带限制滤波器进行滤波。由此，配准的影响也被反映到未粘贴的位置的像素值。

被频带限制滤波器进行处理后的参照块被从频带限制滤波器部1704保存到合成图像存储器1705中。合成图像存储器1705将所保存的参照块送往再构成结束判定部1706。

在再构成结束判定部1706中，在内部确保从频带限制滤波器部1704送来的前1次被频带限制滤波器处理后的参照块，进行与所输入的参照块的比较。作为比较结果，变化变少时（与前1次的变化相比变化量较少）、且本次的变化较少时，判定为用于进行超分辨率化的再构成处理已完成，再构成结束判定部1706结束针对当前的编码对象块的、基于多个参照图像的合成处理。

在结束时，从合成图像存储器1705向合成图像运动补偿预测部108输出所保存的参照块。在不结束时，针对前1次的经过了频带限制滤波器的参照块，对所保存的参照块与前1次的经过了频带限制滤波器的参照块的差分施以具有频带限制滤波器的逆特性的滤波器，抽取出高频分量，反映了所生成的高频分量信息的参照块的更新图像被再次输入到配准部1702，被再次施以基于其它参照图像的配准处理。通过反复进行多次配准处理，阶段性地在参照块上再次构成高精细分量，生成高质量的参照块。

关于包含具体的配准及其反映的超分辨率处理，除实施方式5的构成以外还存在其它方法，在适用那些方法的情况下，也具有如下效果，即，能不传输追加的运动矢量地实现施加了超分辨率处理的基于合成参照图像的运动补偿预测。

通过实施方式5中的动图像编码装置及动图像解码装置，对使用第1参照图像预测出的运动补偿预测图像，将使用其它参照图像进行超分辨率化处理后的图像作为预测图像，由此生成恢复了参照图像所消失的高频分量的预测图像，并对超分辨率化后的参照图像施以进行较细的相位调整的运动矢量检测，能传输考虑了高频分量的相位的运动矢量，由此，还具有如下新效果，即，能不增加附加信息地大幅度削减高频分量的预测残差。

此外，作为第1、第2、第3、第4、第5实施方式说明的动图像编码装置及动图像解码装置在物理上能用具有CPU（中央处理装置）、存储器等记录装置、显示器等显示装置、以及对传输路径的通信手段的计算机来实现，能将具有所说明的各功能的手段作为计算机上的程序来实现并执行。此外，能将程序记录在能用计算机等读取的记录介质中进行提供，也能通过有线或无线网络从服务器提供，还能作为地面波或卫星数字广播的数据广播来提供。

以上基于实施方式说明了本发明。实施方式仅是例示，本领域技术人员当理解其各构成要素和各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围中。

〔标号说明〕

101输入图像缓存器、102块分割部、103帧内预测部、104运动矢量检测部、105补偿预测部、106运动矢量预测部、107多参照图像合成部、108补偿预测部、109预测模式判定部、110减法器、111正交变换部、112量化部、113逆量化部、114逆正交变换部、115加法器、116帧内解码图像存储器、117解码参照图像存储器、118熵编码部、119流缓存器、121编码量控制部、201流缓存器、202熵解码部、203预测模式解码部、204预测图像选择部、205逆量化部、206逆正交变换部、207加法器、208帧内解码图像存储器、209解码参照图像存储器、211帧内预测部、212运动矢量预测解码部、213补偿预测部、214运动矢量分离部、215多参照图像合成部、216补偿预测部、400基准参照图像取得部、401运动矢量检测范围设定部、402参照图像间运动矢量检测部、403合成参照图像取得部、404参照图像合成部、405合成图像存储器、1000基准参照图像取得部、1001运动矢量检测范围设定部、1002运动矢量检测部、1003合成参照图像取得部、1004参照图像合成部、1005合成图像存储器。

〔工业可利用性〕

本发明能适用于动图像信号的编码技术。

Claims (12)

1.一种动图像编码装置，其特征在于，包括：

运动矢量检测部，针对编码对象块，从第1参照图像检测第1运动矢量，

参照图像合成部，生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块，所述第1参照块是使用上述第1运动矢量从上述第1参照图像抽取出的、具有上述编码对象块以上的大小的特定区域的参照块，

运动补偿预测部，通过针对上述合成参照块在上述特定区域内进行搜索，来检测与上述编码对象块对应的第2运动矢量，使用上述第2运动矢量从上述合成参照块中抽取出与上述编码对象块相同大小的块，将该抽取出的块作为预测块，以及

编码部，对从上述编码对象块中减去上述预测块后的预测差分块和上述第2运动矢量进行编码。

2.如权利要求1所述的动图像编码装置，其特征在于，

上述第1运动矢量的精度为N像素精度，上述第2运动矢量的精度为M像素精度，其中，N、M为实数，且M＜N；

上述特定区域具有以将上述第1运动矢量或上述第1运动矢量变换为N像素精度的矢量值所示的上述第1参照图像的位置为基准、对象块±N/2像素以上的区域，检测上述第2运动矢量的范围是相对于上述第1运动矢量值±N/2的范围内。

3.如权利要求1或2所述的动图像编码装置，其特征在于，

上述参照图像合成部具有参照图像间运动矢量检测部，检测上述第1参照块与作为其它参照图像的第2参照图像间的第3运动矢量；

上述参照图像合成部通过算出使用上述第3运动矢量从上述第2参照图像抽取出的第2参照块与上述第1参照块的每个像素的平均值或加权平均值，来生成上述合成参照块。

4.如权利要求3所述的动图像编码装置，其特征在于，

上述参照图像间运动矢量检测部按比上述第1参照块小的块单位检测上述第1参照块与上述第2参照图像间的多个第3运动矢量；

上述参照图像合成部通过将使用多个上述第3运动矢量从上述第2参照图像抽取出的小块单位的多个第2参照块合在一起，并算出与上述第1参照块的每个像素的平均值或加权平均值，来生成上述合成参照块。

5.如权利要求3所述的动图像编码装置，其特征在于，

上述参照图像间运动矢量检测部以根据上述第1参照图像与编码对象块的第1时间差、和上述第2参照图像与编码对象块的第2时间差这两个时间差变换上述第1运动矢量后的运动矢量值为中心，搜索预定范围内的运动，由此检测上述第3运动矢量。

6.一种动图像编码方法，其特征在于，包括：

针对编码对象块，从第1参照图像检测第1运动矢量的步骤，

生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块的步骤，所述第1参照块是使用上述第1运动矢量从上述第1参照图像抽取出的、具有上述编码对象块以上的大小的特定区域的参照块，

通过针对上述合成参照块在上述特定区域内进行搜索，来检测与上述编码对象块对应的第2运动矢量，使用上述第2运动矢量从上述合成参照块中抽取出与上述编码对象块相同大小的块，将该抽取出的块作为预测块的步骤，以及

对从上述编码对象块中减去上述预测块后的预测差分块和上述第2运动矢量进行编码的步骤。

7.一种动图像解码装置，其特征在于，包括：

运动矢量解码部，从编码流中解码出针对解码对象块的第1运动矢量，

运动矢量分离部，基于上述第1运动矢量生成第2运动矢量，

参照图像合成部，生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块，所述第1参照块是使用上述第2运动矢量从上述第1参照图像抽取出的、具有上述解码对象块以上的大小的特定区域的参照块，

运动补偿预测部，使用上述第1运动矢量从上述合成参照块抽取出与上述解码对象块相同大小的块，将该抽取出的块作为预测块，以及

解码部，通过使上述预测块和从上述解码对象块解码出的预测差分块相加，来生成解码图像。

8.如权利要求7所述的动图像解码装置，其特征在于，

在上述运动矢量分离部中，被输入的上述第1运动矢量的精度为M像素精度，生成的上述第2运动矢量的精度为N像素精度，上述第2运动矢量是将上述第1运动矢量变换成N像素精度后的值，其中，M、N为实数，且N＞M；

上述特定区域具有以上述第2运动矢量所示的上述第1参照图像的位置为基准、对象块±N/2像素以上的区域。

9.如权利要求7或8所述的动图像解码装置，其特征在于，

上述参照图像合成部具有参照图像间运动矢量检测部，检测上述第1参照块与作为其它参照图像的第2参照图像间的第3运动矢量；

上述参照图像合成部通过算出使用上述第3运动矢量从上述第2参照图像抽取出的第2参照块与上述第1参照块的每个像素的平均值或加权平均值，来算出上述合成参照块。

10.如权利要求9所述的动图像解码装置，其特征在于，

上述参照图像间运动矢量检测部按比上述第1参照块小的块单位检测上述第1参照块与上述第2参照图像间的多个第3运动矢量；

上述参照图像合成部将使用多个上述第3运动矢量从上述第2参照图像抽取出的小块单位的多个第2参照块合在一起，并算出与上述第1参照块的每个像素的平均值或加权平均值，由此生成上述合成参照块。

11.如权利要求9所述的动图像解码装置，其特征在于，

上述参照图像间运动矢量检测部以根据上述第1参照图像与解码对象块的第1时间差、和上述第2参照图像与解码对象块的第2时间差这两个时间差变换上述第2运动矢量后的运动矢量值为中心，搜索预定范围内的运动，由此检测上述第3运动矢量。

12.一种动图像解码方法，其特征在于，包括：

从编码流中解码出针对解码对象块的第1运动矢量的步骤，

基于上述第1运动矢量生成第2运动矢量的步骤，

生成将第1参照块和其它至少一个参照图像的预定区域合成后的合成参照块的步骤，所述第1参照块是使用上述第2运动矢量从上述第1参照图像抽取出的、具有上述解码对象块以上的大小的特定区域的参照块，

使用上述第1运动矢量从上述合成参照块抽取出与上述解码对象块相同大小的块，将该抽取出的块作为预测块的步骤，以及

通过使上述预测块和从上述解码对象块解码出的预测差分块相加，来生成解码图像的步骤。