CN102742276A - 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序 - Google Patents

Abstract

在活动图像编码装置中，一次候选参考运动向量设定部设定N个一次候选参考运动向量。可靠度计算部利用编码完成或解码完成的图像信息而算出表示编码对象块的运动向量预测中的有效性的各一次候选参考运动向量的可靠度。参考运动向量决定部按照可靠性从N个一次候选参考运动向量中选出M个（M<N）二次候选参考运动向量。运动向量预测部利用可靠度高的M个二次候选参考运动向量而作成编码对象块的预测运动向量。

Description

运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序

技术领域

本发明涉及对运动向量进行预测编码的活动图像（動画像）编码技术。特别地，本发明涉及用于提高运动向量的预测效率、提高活动图像的编码效率的运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序。

本申请基于2010年2月9日在日本申请的特愿2010-26129号主张优先权，在此引用其内容。

背景技术

在以H.264为代表的使用运动补偿的活动图像编码方式中，为了高效地对运动向量进行编码，进行运动向量的预测编码。

图10示出现有的活动图像编码装置中的运动补偿部的构成示例。现有的活动图像编码装置中的运动补偿部100具备运动搜索部101、运动向量存储器102、运动向量预测部103以及预测残差算出部104。

运动搜索部101在输入编码对象块的视频（映像）信号时，通过与编码完成的参考图像的解码信号对照而进行运动搜索，算出运动向量，存放到运动向量存储器102。运动向量预测部103从运动向量存储器102读出位于编码对象块的邻近的编码完成的块的编码所使用的运动向量，将其用作参考运动向量，算出预测运动向量。预测残差算出部104算出由运动搜索部101算出的运动向量与由运动向量预测部103算出的预测运动向量的残差，输出运动向量预测残差。编码该运动向量预测残差，作为运动向量的编码信息输出。

图11示出现有的活动图像解码装置中的运动补偿部的构成示例。现有的活动图像解码装置中的运动补偿部200具备运动向量算出部201、预测信号作成部202、运动向量存储器203以及运动向量预测部204。

运动向量算出部201将从编码流解码的运动向量预测残差与由运动向量预测部204所预测的预测运动向量相加而生成运动向量，将该运动向量存放到运动向量存储器203，并且输出到预测信号作成部202。预测信号作成部202按照运动向量从解码完成的参考图像读出解码信号，作为解码对象块的预测信号输出。运动向量预测部204从运动向量存储器203读出位于解码对象块的邻近的解码完成的块的解码所使用的运动向量，将其用作参考运动向量，算出预测运动向量。

作为与以上那样的运动向量预测编码相关的技术，以往，存在以下那样的技术。

（a）中值预测编码（H.264等）（以下称为现有技术a）

（b）通过指定参考运动向量而预测编码（以下称为现有技术b）

图12是说明现有的运动向量的预测编码方式的示例的图。在现有技术a和现有技术b中，对运动向量编码（解码也同样）时，将如图12所示的编码对象块的邻近的编码完成的块的运动向量（编码完成的运动向量）用作参考运动向量进行预测，进行运动向量的编码。

具体而言，在现有技术a中，使用参考运动向量的中值作为预测运动向量，对编码对象块的运动向量与预测运动向量的误差（称为运动向量预测残差）进行编码（参考非专利文献1）。

另外，在现有技术b中，编码装置（编码器）从参考运动向量之中选择预测所利用的运动向量，将预测所利用的参考运动向量的标识符和运动向量预测残差一起编码（参考非专利文献2）。

另外，在以往，作为不是求取运动向量预测残差而对运动向量编码，而是对编码对象块的运动向量本身进行预测的技术，存在利用模板匹配（template matching）的运动向量预测技术（以下称为现有技术c）。该现有技术c是用于在编码端不对运动向量编码地进行运动补偿的运动向量预测方法（参考非专利文献3）。

图13是说明利用现有的模板匹配的运动向量预测的图。在现有技术c中，在对编码对象块的运动向量进行预测时，利用作为图13的倒L字形的区域而示出的位于编码对象块的邻近并且编码完成的像素的集合（将其称为模板），在参考图像上针对既定搜索范围进行运动搜索（该处理称为模板匹配）。具体而言，针对既定搜索范围内的各运动向量，对参考图像上与模板位于相同位置的区域偏移了运动向量的量的区域（称为匹配区域）与模板之间求取SAD（Sum of Absolute Differences：绝对差异和）等相似度，进行搜索。利用由此得到的运动向量进行运动补偿。在解码端也能够用作为解码完成的像素的集合的模板进行相同处理，所以存在着不对运动向量编码而能够进行运动补偿的优点。

现有技术文献

非专利文献

非专利文献1：角野、菊池、铃木，“修订三版H.264/AVC教科书”，Impress R&D发行，2009，pp. 123-125.

非专利文献2：T.Yamamoto，“用于运动向量预测编码的新方案（A new scheme for motion vector predictor encoding）”，ITU-T SG16/Q6，32nd VCEG Meeting，San Joes，April 2007.

非专利文献3：小林、铃木、Boon、堀越，“使用模板匹配的运动预测方法所伴随的预测信息量缩减（テンプレートマッチングを用いた動き予測方法に伴う予測情報量削減）”，图像编码研讨会资料，2005，pp. 17-18。

发明内容

发明要解决的课题

在上述现有技术a、b中，当邻近的块不存在对预测有效的参考运动向量的情况下，运动向量的预测效率下降。也考虑对预测不仅利用编码对象块的邻近，而是利用更大范围所含的多个块的参考运动向量。然而，用现有技术的方法进行其时，导致预测效率、编码效率变差。

图14是说明现有技术的问题的图。如图14所示，当编码对象块的邻近块是拍摄对象（被写体）Obj的边界的情况下、以及存在遮挡的情况下（在参考图像中，邻近块的对应点被某些拍摄对象隐藏的情况），或者拍摄对象不是刚体的情况下，该邻近块的参考运动向量有时不适于编码对象块的运动向量预测，或者进行内部（intra）编码而参考运动向量本身不存在。在这样的情况下，在现有技术a和现有技术b的任一个中，预测效率都变差。

另一方面，如图14中的虚线所示的块那样，有时未包含于候选的块的运动向量对预测更有效。为了对预测利用这样的运动向量，能够容易类推的是不仅将最接近的块作为候选，而是增加成为候选的块。然而，在增加了成为候选的块的情况下，在现有技术a中，存在着候选中包含不适宜的参考运动向量、反而预测效率变差的担忧。另外，在现有技术b中，导致预测所利用的参考运动向量的标识符的码量的增加，所以存在着编码效率反而变差的担忧。

相对于此，现有技术c是用于在编码端不对运动向量编码地进行运动补偿的运动向量预测方法。因此，考虑相对于上述的现有技术的课题而对其进行应用。即，考虑使用现有技术c的模板匹配作成预测运动向量，根据其与利用通常的运动搜索求取的编码对象块的运动向量，求取运动向量预测残差并编码。该情况下存在以下问题。

在利用现有技术c的运动向量预测中，不同于现有技术a、现有技术b，能够不利用编码对象块的邻近块的编码完成的运动向量而进行搜索。因此，即使在编码完成的运动向量对预测无效的情况下，也存在能够作成有效的预测运动向量的可能性。然而，其仅根据模板来决定预测运动向量，所以有时会将指向与编码对象块无关的区域的运动向量作为预测运动向量，预测效率变差。

本发明谋求解决上述课题，目的是提高运动向量的预测效率，提高活动图像的编码效率。这里，运动向量的预测效率意味着成为预测对象的运动向量与预测运动向量的相似程度。具体而言，在这2个向量的差量向量的长度小的情况下，预测效率高。

用于解决课题的方案

本发明的概要如下。本发明针对编码端和解码端的各块，用以下方法进行运动向量预测。

（1）利用多个（N个）一次候选参考运动向量。

（2）在解码端开始对编码（解码）对象块进行解码的时刻仅利用已解码完成的信息，求取示出各一次候选参考运动向量多么适合预测的评价值（以下称为可靠度）。

（3）按照可靠度将一次候选参考运动向量筛选为M（<N）个二次候选参考运动向量。

（4）利用M个二次候选参考运动向量作成预测运动向量。

详细而言，在本发明的实施方式中，进行以下的处理1~处理3，作为与现有相同的运动向量预测编码（下述处理4）的预处理。

[处理1]首先，作为一次候选参考运动向量，提取包含位于编码对象块的邻近的编码完成的块的编码所使用的运动向量以及既定值的运动向量的N个（N是2以上的整数）运动向量的至少一个。

[处理2]接着，针对N个一次候选参考运动向量的各个，使用编码完成或解码完成的图像信息，算出定量地表示编码对象块的运动向量预测中的有效性的可靠度。

[处理3]将N个一次候选参考运动向量之中可靠度大的前M个（M是1以上且不到N的整数）一次候选参考运动向量作为二次候选参考运动向量而选出。

[处理4]使用二次候选参考运动向量算出编码对象块的预测运动向量，并将通过编码对象块的运动搜索所求取的运动向量与预测运动向量的残差作为运动向量的编码信息进行编码。使用二次候选参考运动向量算出编码对象块的预测运动向量的处理能够使用现有方法，例如，选择M个二次候选参考运动向量的中央值，或者从M个二次候选参考运动向量之中选择使预测残差最小的二次候选参考运动向量，将该运动向量的标识符与预测残差一起进行编码等。

如以上那样，在本发明中，不仅将编码对象块的邻近的块、而将预先确定的范围的多个运动向量作为一次候选参考运动向量。然后，针对各个一次候选参考运动向量，利用编码完成的信息或解码完成的信息进行可靠度计算。按照可靠度对一次候选参考运动向量进行筛选，将筛选结果作为二次候选参考运动向量。以后的处理是，将二次候选参考运动向量作为输入，使用与现有的运动向量预测编码相同的方法求取预测运动向量，对预测运动向量与运动向量的预测残差进行编码。

在本发明的运动向量预测解码的情况下，也不仅将解码对象块的邻近的块、而将周围的多个运动向量作为一次候选参考运动向量。接着，针对各个一次候选参考运动向量，利用解码完成的信息进行可靠度计算。按照可靠度对一次候选参考运动向量进行筛选，将筛选结果作为二次候选参考运动向量。以后的处理是，将二次候选参考运动向量作为输入，使用与现有的运动向量预测解码相同的方法求取预测运动向量，将解码的预测残差与预测运动向量相加，算出运动向量。

发明的效果

在本发明中，通过进行上述处理1~3，进行参考运动向量的筛选。该筛选在解码端也能够无需来自编码端的附加信息而实现，并且在二次候选参考运动向量中包含对预测有效的运动向量。因此，与上述现有技术a、b和c相比，预测效率提高。

另外，一般而言，运动向量的预测效率提高时，运动向量预测残差的熵减少，运动向量的码量减小。由于活动图像的编码数据包含运动向量的码量，所以与利用现有技术a、b和c的方式相比，活动图像的编码效率提高。

附图说明

图1是示出本发明的一个实施方式的活动图像编码装置的框图。

图2是示出图1所示的运动补偿部的框图。

图3是示出本发明的一个实施方式的活动图像解码装置的框图。

图4是示出图3所示的运动补偿部的框图。

图5是示出本发明的一个实施方式的运动向量预测处理的流程图。

图6A是示出本发明的一个实施方式的一次候选参考运动向量的第一设定示例的图。

图6B是示出本发明的一个实施方式的一次候选参考运动向量的第二设定示例的图。

图7是示出本发明的一个实施方式的可靠度算出处理的一个示例的流程图。

图8是示出本发明的一个实施方式的使用模板匹配的可靠度求取方法的图。

图9A是示出本发明的一个实施方式的参考运动向量决定处理的一个示例的流程图。

图9B是示出本发明的一个实施方式的参考运动向量决定处理的另一示例的流程图。

图10是示出现有的活动图像编码装置中的运动补偿部的框图。

图11是示出现有的活动图像解码装置中的运动补偿部的框图。

图12是示出现有的运动向量预测编码方式的示例的图。

图13是示出现有的利用模板匹配的运动向量预测的图。

图14是示出现有技术中的问题的图。

具体实施方式

下面使用附图详细说明本发明的实施方式。

图1是示出本发明的一个实施方式的活动图像编码装置的构成示例的图。关于本实施方式的活动图像编码装置1，特别地运动补偿部18不同于现有技术，其它部分与作为H.264以外的编码器使用的现有的一般的活动图像编码装置相同。

活动图像编码装置1输入编码对象的视频信号，将输入视频信号的帧分割成块，对每个块进行编码，将其编码数据作为位流（bit stream）输出。

为了进行该编码，预测残差信号算出部10求取输入视频信号与作为运动补偿部18的输出的预测信号的差量，将其作为预测残差信号输出。正交变换部11对预测残差信号进行离散余弦变换（DCT）等正交变换，输出变换系数。量化部12将变换系数量化，输出该量化的变换系数。信息源编码部13对量化的变换系数进行熵编码，作为位流输出。

另一方面，量化的变换系数也输入到逆量化部14，在此被逆量化。逆正交变换部15对作为逆量化部14的输出的变换系数进行逆正交变换，输出预测残差解码信号。在解码信号算出部16中，将该预测残差解码信号与作为运动补偿部18的输出的预测信号相加，生成经编码的编码对象块的解码信号。为了在运动补偿部18中用作运动补偿的参考图像，将该解码信号存放在帧存储器17。

运动补偿部18针对编码对象块的视频信号，参考存放在帧存储器17的参考图像进行运动搜索，输出编码对象块的预测信号。另外，为了也对运动搜索结果的运动向量进行预测编码，运动补偿部18使用编码完成的信息进行运动向量预测，算出运动搜索结果的运动向量与预测运动向量的差量，将结果作为运动向量预测残差而输出到信息源编码部13。

这里，运动补偿部18在进行运动向量预测时，不仅使用位于编码对象块的邻近的编码完成的块的运动向量。即，运动补偿部18设定若干个一次候选参考运动向量，根据编码完成的信息算出这些一次候选参考运动向量的可靠度。接着，运动补偿部18按照可靠度将这些一次候选参考运动向量筛选为少数的二次候选参考运动向量，再使用二次候选参考运动向量算出预测运动向量。使用二次候选参考运动向量算出预测运动向量的处理，能够使用与现有技术相同的运动向量预测手法来进行。

图2是示出图1所示的运动补偿部18的详细构成示例的图。如图2所示，运动补偿部18具备运动搜索部181、运动向量存储器182、一次候选参考运动向量设定部183、可靠度计算部184、参考运动向量决定部185、运动向量预测部186、运动向量预测残差算出部187。

在编码对象块的编码中的运动补偿中，首先由运动搜索部181针对输入视频信号的编码对象块，进行与已经编码完成的参考图像的解码信号进行对照的运动搜索，生成预测信号并输出，并且输出示出匹配位置的运动向量。将该运动向量存放到运动向量存储器182，另外也输出到运动向量预测残差算出部187。

一次候选参考运动向量设定部183将包含以前编码并存放在运动向量存储器182的运动向量或预先确定的值的运动向量的N个（N是2以上的整数）运动向量设定为一次候选参考运动向量，通知可靠度计算部184。

可靠度计算部184针对N个一次候选参考运动向量的各个，使用编码完成的图像信息（解码信号），算出定量地表示编码对象块中的运动向量预测的有效性的可靠度。

参考运动向量决定部185选出以可靠度计算部184算出的可靠度大的顺序排在前M个（M是1以上且不到N的整数）的一次候选参考运动向量，作为二次候选参考运动向量。

运动向量预测部186使用由参考运动向量决定部185选出的二次候选参考运动向量而算出编码对象块的预测运动向量。该运动向量预测部186中的预测运动向量的算出方法可以与现有技术相同，例如，将二次候选参考运动向量之中的中央值（中值）作为预测运动向量。另外，也能够将二次候选参考运动向量之中的具有与运动搜索部181求取的运动向量最接近的值的向量作为预测运动向量，将示出该运动向量的标识符加到编码对象并通知解码端。

运动向量预测残差算出部187算出由运动搜索部181算出的运动向量与由运动向量预测部186算出的预测运动向量的残差，将算出的残差作为运动向量预测残差输出。

图3是示出本发明的一个实施方式的活动图像解码装置的构成示例的图。特别地，本实施方式的活动图像解码装置2的运动补偿部25不同于现有技术，其它部分与作为H.264以外的解码器所使用的现有的一般的活动图像解码装置相同。

将通过图1所示的活动图像编码装置1编码的位流输入活动图像解码装置2而进行解码，由此输出解码图像的解码信号。

为了进行该解码，信息源解码部20基于所输入的位流对解码对象块的量化变换系数进行熵解码，并且对运动向量预测残差进行解码。将量化变换系数输入逆量化部21，对其进行逆量化，输出解码变换系数。逆正交变换部22对解码变换系数实施逆正交变换，输出解码预测残差信号。在解码信号算出部23中，将由运动补偿部25生成的预测信号与解码预测残差信号相加，由此生成解码对象块的解码信号。将该解码信号输出到显示装置等外部装置，并且为了用作运动补偿部25中的运动补偿的参考图像，存放到帧存储器24。

运动补偿部25使用存放在帧存储器24的解码完成的信息进行运动向量预测，将该预测运动向量与由信息源解码部20解码的运动向量预测残差相加，算出运动向量。接着，运动补偿部25基于该运动向量并参考帧存储器24的参考图像，生成解码对象块的预测信号。

这里，运动补偿部25在运动向量预测时，不仅使用位于解码对象块的邻近的解码完成的块的运动向量。即，运动补偿部25设定若干个一次候选参考运动向量，根据解码完成的信息算出这些一次候选参考运动向量的可靠度。接着，运动补偿部25按照可靠度筛选为少数二次候选参考运动向量，再使用二次候选参考运动向量算出预测运动向量。使用二次候选参考运动向量算出预测运动向量的处理，能够使用与现有技术相同的运动向量预测手法来进行。

图4是示出图3所示的运动补偿部25的详细构成示例的图。如图4所示，运动补偿部25具备运动向量算出部251、预测信号作成部252、运动向量存储器253、一次候选参考运动向量设定部254、可靠度计算部255、参考运动向量决定部256、运动向量预测部257。

在对解码对象块进行解码的运动补偿中，首先，运动向量算出部251将对编码位流进行解码而得到的运动向量预测残差、与由运动向量预测部257使用解码完成的信息而预测的预测运动向量相加，输出解码所使用的运动向量。将该运动向量存放到运动向量存储器253，另外，输出到预测信号作成部252。预测信号作成部252将输入的运动向量示出的参考图像位置的解码信号读出，作为解码对象块的预测信号输出。

一次候选参考运动向量设定部254将包含以前解码并存放在运动向量存储器253的运动向量或预先确定的值的运动向量的N个（N是2以上的整数）运动向量设定为一次候选参考运动向量，通知可靠度计算部255。

可靠度计算部255针对N个一次候选参考运动向量的各个，使用解码完成的图像信息（解码信号），算出定量地表示解码对象块中的运动向量预测的有效性的可靠度。

参考运动向量决定部256选出以可靠度计算部255算出的可靠度大的顺序的前M个（M是1以上且不到N的整数）一次候选参考运动向量，作为二次候选参考运动向量。

运动向量预测部257使用由参考运动向量决定部256选出的二次候选参考运动向量而算出解码对象块的预测运动向量。该运动向量预测部257中的预测运动向量的算出方法可以与现有技术相同，例如，将二次候选参考运动向量中的中央值（中值）作为预测运动向量。或者，在编码端指定了预测所使用的运动向量的标识符的情况下，将该标识符示出的运动向量作为预测运动向量。

接着，针对活动图像编码装置1中的运动补偿部18和活动图像解码装置2中的运动补偿部25进行的处理之中、与本发明相关的运动向量预测处理，按照图5~图9B来进行说明。在以下，主要以编码端的运动向量预测处理为中心进行说明，而解码端中的运动向量预测处理也完全相同。

图5示出运动向量预测处理的流程图。

[步骤S1的处理]

最初，一次候选参考运动向量设定部183（或254）设定N个一次候选参考运动向量。作为设定该N个一次候选参考运动向量的方法，能够使用例如以下那样的方法。

[一次候选参考运动向量设定示例1]

如图6A所示，以编码对象块31的位置为基准，将从其开始既定范围内的预先确定的N个运动向量Vi（i=1，2，…，N）作为一次候选参考运动向量。该运动向量Vi的值能够以在编码端和解码端为相同值的方式预先任意决定。也可以将这些运动向量Vi的值预先制表并保存。

另外，如果满足不对运动向量Vi的值进行编码、而能够在编码端和解码端使用共同值这样的条件，则能够将该值用作候选。因此，例如也能预先逐次算出以前编码/解码完成的若干帧的运动向量的统计量，根据该运动向量的统计量选出出现概率大的N个一次候选参考运动向量。

[一次候选参考运动向量设定示例2]

如图6B所示，在编码对象图片3中，将位于编码对象块31的邻近的多个（在该示例中是10个）编码完成的块B1~B10的编码所使用的运动向量设定为一次候选参考运动向量。在该情况下，在解码端也能够根据解码完成的运动向量而设定与在编码端所使用的一次候选参考运动向量相同的运动向量。

[一次候选参考运动向量设定示例3]

在上述设定示例1中选择N1个一次候选参考运动向量，在设定示例2中选择N2个一次候选参考运动向量，设定共计N个（N=N1+N2）一次候选参考运动向量。

[一次候选参考运动向量设定示例4]

在该设定示例4中，将编码完成的块的运动向量以及相对于这些运动向量的既定范围内的运动向量作为一次候选参考运动向量。例如，针对某个编码完成的向量的运动向量（10，20），在将既定范围设为在X、Y方向分别±1的范围的情况下，不仅运动向量（10，20），运动向量（9，20）、（11，20）、（10，19）、（10，21）、（9，19）、（9，21）、（11，19）和（11，21）也作为候选。即，对于1个编码完成的块的运动向量，共计9个一次候选参考运动向量成为候选。如果最初进入候选的编码完成的块的运动向量为K个，全部K个的周围也进入候选，则变为利用9×K个一次候选参考运动向量。但是，如果与解码端共用，则也可以不是全部的编码完成的块的运动向量周围进入候选，而是一部分。

作为这样的设定的效果，举出通过将编码完成的块的运动向量的周围也考虑进去，从而提高运动向量的预测效率这一情况。

[步骤S2的处理]

可靠度计算部184（或255）针对由一次候选参考运动向量设定部183设定的N个一次候选参考运动向量的各个，使用编码完成的信息算出可靠度。这里，可靠度定量地表达编码（解码）对象块的运动向量预测中的一次候选参考运动向量的有效性。针对N个一次候选参考运动向量，在解码端对编码对象块开始解码的时刻，仅利用已经解码完成的信息计算该可靠度。

图7是示出可靠度算出处理的一个示例的流程图，图8是说明使用模板匹配的可靠度求取方法的图。

作为可靠度求取方法的一个示例，对应用模板匹配的方法进行说明。在图8的编码对象图片3中，设为求取编码对象块31的预测运动向量。模板32是与编码对象块31相邻的编码完成的像素集合（在该示例中是由编码对象块31的左方和上方像素群构成的倒L字形区域）。此外，倒L字形区域的宽度（厚度）是例如2个像素左右，但也可以是1个像素或3个像素以上。参考图像4是编码完成或解码完成的图片。参考图像4中的对应位置块41是位于与编码对象图片3内的编码对象块31相同位置的块。

在图7的可靠度算出处理中，在步骤S21中，在参考图像4上，求取将与模板32在空间上相同的区域（与对应位置块41相邻的倒L字形区域）偏移正要计算可靠度的一次候选参考运动向量Vi的量的区域，获取其作为匹配对象区域42。

接着，在步骤S22中，算出编码对象块31的模板32与参考图像4中的匹配对象区域42的相似度，将其设定为一次候选参考运动向量Vi的可靠度。

作为相似度指标的一个示例，存在着SAD（Sum of Absolute Differences，绝对差异和）。SAD越小，该一次候选参考运动向量Vi接近编码对象块31的运动的可能性越高，因此，可以捕捉到可靠度高的参考运动向量。作为在可靠度计算部184中利用的可靠度指标，只要是示出模板32与匹配对象区域42的相似度的指标，就也可以是其它指标。除了上述的SAD以外，也能够使用SSD（Sum of Squared Differences：平方差异和）、SATD（Sum of Absolute Transformed Differences：绝对变换差异和）等。这些的任一个都是数值越小示出可靠度越高的尺度。

模板32与编码对象块31的图像信号的相关高，所以如果使用由此的相似度，则能够确定对运动向量预测有效的二次候选参考块。

[步骤S3的处理]

接着，在参考运动向量决定部185（或256）中，基于各一次候选参考运动向量的可靠度信息，将N个一次候选参考运动向量筛选为M个（1≤M<N）二次候选参考运动向量。

图9A是参考运动向量决定处理的流程图。在步骤S31中，参考运动向量决定部185将可靠度计算部184计算的一次候选参考运动向量的可靠度以降序排列，然后将可靠度排在前M个的一次候选参考运动向量设定为二次候选参考运动向量。

图9B是另一参考运动向量决定处理的流程图，其中示出在考虑一次候选参考运动向量的数量不足M个的情况时的参考运动向量决定处理的示例。

例如，当一次候选参考运动向量中包含多个内部块（Intra Block）等情况下，可能有一次候选参考运动向量的数量不足既定数量M个的情况。在该情况下，如以下那样将二次候选参考运动向量决定为参考运动向量。

首先，在步骤S32中，判断一次候选参考运动向量的数量N是否大于M。当N大于M时，处理进入步骤S33，与上述步骤S31同样，将关于可靠度排在前M个的一次候选参考运动向量设定为二次候选参考运动向量。当实际能够使用的一次候选参考运动向量的数量N不比M大时，处理进入步骤S34，将N个一次候选参考运动向量设定为二次候选参考运动向量。

[步骤S4的处理]

运动向量预测部186（或257）利用由参考运动向量决定部185选出的二次候选参考运动向量，作成编码对象块的预测运动向量。本实施方式中的重点在于，通过根据可靠度对多个一次候选参考运动向量进行筛选，使用可靠度高的二次候选参考运动向量来求取用于算出运动向量预测残差的预测运动向量这点。因此，根据二次候选参考运动向量求取预测运动向量的处理可以与图10、图11中所说明的现有技术的运动向量预测部103（或204）的处理相同。然而，并不是必须用与现有技术相同的处理，根据不同处理来求取预测运动向量也能够实施本实施方式。

以上说明的运动向量预测编码以及运动向量预测解码的处理也能够通过计算机和软件程序实现。另外，该程序既能记录到计算机可读记录介质，也能通过网络进行提供。

以上参考附图对本发明的实施方式进行说明，但具体构成并不限于这些实施方式，也包含不脱离本发明的主旨的范围的设计等（构成的添加、省略、替换及其它变更）。本发明并不限于上述说明，而是仅由所附的权利要求书的范围进行限定。

产业上的可利用性

本发明能够用于对运动向量进行预测编码的活动图像编码和活动图像解码技术。依据本发明，能够提高运动向量的预测效率、提高活动图像的编码效率。

附图标记说明

1 活动图像编码装置

2 活动图像解码装置

10 预测残差信号算出部

11 正交变换部

12 量化部

13 信息源编码部

14、21 逆量化部

15、22 逆正交变换部

16 解码信号算出部

17、24 帧存储器

18、25 运动补偿部

181 运动搜索部

182、253 运动向量存储器

183、254 一次候选参考运动向量设定部

184、255 可靠度计算部

185、256 参考运动向量决定部

186、257 运动向量预测部

187 运动向量预测残差算出部

20 信息源解码部

23 解码信号算出部

251 运动向量算出部

252 预测信号作成部。

Claims (12)

1. 一种运动向量预测编码方法，是将编码对象图像分割为多个块、对所述块的每个使用运动补偿进行编码的活动图像编码方式中的运动向量预测编码方法，其中具有：

使用编码完成的参考图像在所述编码对象图像中进行编码对象块的运动搜索，由此算出运动向量的步骤；

将包含编码完成的块的编码所使用的运动向量或者既定值的运动向量的N个（N是2以上的整数）运动向量作为一次候选参考运动向量而提取的步骤；

针对所述N个一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示所述编码对象块的运动向量预测中的有效性的、所述一次候选参考运动向量的可靠度的步骤；

将所述N个一次候选参考运动向量之中所述可靠度大的前M个（M是1以上且不到N的既定整数）一次候选参考运动向量作为二次候选参考运动向量而选出的步骤；以及

使用所述二次候选参考运动向量算出所述编码对象块的预测运动向量，并将通过所述运动搜索而算出的运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码的步骤。

2. 如权利要求1所述的运动向量预测编码方法，其中，

在所述N个应提取的一次候选参考运动向量只能够提取出比所述M个小的M’个的情况下，选出M’个一次候选参考运动向量作为所述二次候选参考运动向量。

3. 如权利要求1或2所述的运动向量预测编码方法，其中，

在算出所述一次候选参考运动向量的可靠度的步骤中，将与所述编码对象块相邻的编码完成的像素的集合用作模板，在所述参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述编码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为所述可靠度而算出。

4. 如权利要求1至3的任一项所述的运动向量预测编码方法，其中，

在提取所述一次候选参考运动向量的步骤中，不仅设定所述编码完成的块的编码所使用的运动向量，也设定以该运动向量的各个为基准的既定范围内的运动向量。

5. 一种运动向量预测解码方法，是将分割为多个块而进行编码的活动图像的解码对象图像、对所述块的每个使用运动补偿而进行解码的活动图像解码方式中的运动向量预测解码方法，其中具有：

对解码对象块的运动向量预测残差进行解码的步骤；

将包含解码完成的块的解码所使用的运动向量或者既定值的运动向量的N个（N是2以上的整数）运动向量作为一次候选参考运动向量而提取的步骤；

针对所述N个一次候选参考运动向量的各个，使用解码完成的图像信息而算出定量地表示所述解码对象块的运动向量预测中的有效性的、所述一次候选参考运动向量的可靠度的步骤；

将所述N个一次候选参考运动向量之中、所述可靠度大的前M个（M是1以上且不到N的既定整数）一次候选参考运动向量作为二次候选参考运动向量而选出的步骤；以及

使用所述二次候选参考运动向量算出所述解码对象块的预测运动向量，将所述解码的运动向量预测残差与所述预测运动向量相加而算出所述解码对象块的运动向量的步骤。

6. 如权利要求5所述的运动向量预测解码方法，其中，

在所述N个应提取的一次候选参考运动向量只能够提取出比所述M个小的M’个的情况下，选出M’个一次候选参考运动向量作为所述二次候选参考运动向量。

7. 如权利要求5或6所述的运动向量预测解码方法，其中，

在算出所述一次候选参考运动向量的可靠度的步骤中，将与所述解码对象块相邻的解码完成的像素的集合用作模板，在解码完成的参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述解码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为可靠度而算出。

8. 如权利要求5至7的任一项所述的运动向量预测解码方法，其中，

在提取所述一次候选参考运动向量的步骤中，不仅设定所述解码完成的块的解码所使用的运动向量，也设定以该运动向量的各个为基准的既定范围内的运动向量。

9. 一种活动图像编码装置，将编码对象图像分割为多个块、对所述块的每个使用运动补偿而对活动图像进行编码，其中包括：

运动搜索部，使用编码完成的参考图像在编码对象图像中进行编码对象块的运动搜索，由此算出运动向量；

一次候选参考运动向量设定部，将包含编码完成的块的编码所使用的运动向量或者既定值的运动向量的N个（N是2以上的整数）运动向量作为一次候选参考运动向量而提取；

可靠度计算部，针对所述N个一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示所述编码对象块的运动向量预测中的有效性的、所述一次候选参考运动向量的可靠度；

参考运动向量决定部，将所述N个一次候选参考运动向量之中所述可靠度大的前M个（M是1以上且不到N的既定整数）一次候选参考运动向量作为二次候选参考运动向量选出；以及

运动向量预测部，使用所述二次候选参考运动向量而算出所述编码对象块的预测运动向量，并将通过所述运动搜索而算出的运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码。

10. 一种活动图像解码装置，将分割为多个块而进行编码的活动图像的解码对象图像、对所述块的每个使用运动补偿进行解码，其中包括：

信息源解码部，对解码对象块的运动向量预测残差进行解码；

一次候选参考运动向量设定部，将包含解码完成的块的解码所使用的运动向量或者既定值的运动向量的N个（N是2以上的整数）运动向量作为一次候选参考运动向量而提取；

可靠度计算部，针对所述N个一次候选参考运动向量的各个，使用解码完成的图像信息而算出定量地表示所述解码对象块的运动向量预测中的有效性的、所述一次候选参考运动向量的可靠度；

参考运动向量决定部，将所述N个一次候选参考运动向量之中所述可靠度大的前M个（M是1以上且不到N的既定整数）一次候选参考运动向量作为二次候选参考运动向量而选出；以及

运动向量预测部，使用所述二次候选参考运动向量而算出所述解码对象块的预测运动向量，将所述解码的运动向量预测残差与所述预测运动向量相加而算出所述解码对象块的运动向量。

11. 一种运动向量预测编码程序，用于使计算机执行权利要求1至4的任一项所述的运动向量预测编码方法。

12. 一种运动向量预测解码程序，用于使计算机执行权利要求5至8的任一项所述的运动向量预测解码方法。

Images