CN102823249B - 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置 - Google Patents

运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置 Download PDF

Info

Publication number
CN102823249B
CN102823249B CN201180008467.5A CN201180008467A CN102823249B CN 102823249 B CN102823249 B CN 102823249B CN 201180008467 A CN201180008467 A CN 201180008467A CN 102823249 B CN102823249 B CN 102823249B
Authority
CN
China
Prior art keywords
motion vector
candidate reference
block
encoded
reference motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180008467.5A
Other languages
English (en)
Other versions
CN102823249A (zh
Inventor
北原正树
清水淳
渡边真由子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN102823249A publication Critical patent/CN102823249A/zh
Application granted granted Critical
Publication of CN102823249B publication Critical patent/CN102823249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在运动向量预测编码中，提高运动向量的预测效率，提高活动图像的编码效率。使用编码完成的参考图像，在编码对象图像中进行编码对象块的运动搜索，算出运动向量。针对编码对象图像中的编码对象块的位置，将包含位于预先确定的相对位置的编码对象图像中的编码完成的块和编码完成的图像中的编码完成的块的至少一个的多个块设定为一次候选块，根据一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量。针对一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示一次候选参考运动向量的在编码对象块的运动向量预测过程中的有效性的可靠度。将一次候选参考运动向量的可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出。使用二次候选参考运动向量算出编码对象块的预测运动向量，将通过编码对象块的运动搜索所求取的运动向量与预测运动向量的残差作为运动向量的编码信息编码。

Description

运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置
技术领域
本发明涉及对运动向量进行预测编码的活动图像（動画像）编码技术。特别地，本发明涉及用于提高运动向量的预测效率、提高活动图像的编码效率的运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序。
本申请对于2010年2月9日在日本申请的特愿2010-026130号主张优先权，在此引用其内容。
背景技术
在以H.264为代表的使用运动补偿的活动图像编码方式中，为了高效地对运动向量进行编码，进行运动向量的预测编码。
图11示出现有的活动图像编码装置中的运动补偿部的构成示例。现有的活动图像编码装置中的运动补偿部100具备运动搜索部101、运动向量存储器102、运动向量预测部103以及预测残差算出部104。
运动搜索部101在输入编码对象块的视频（映像）信号时，通过与编码完成的参考图像的解码信号对照而进行运动搜索，算出运动向量，存放到运动向量存储器102。运动向量预测部103从运动向量存储器102读出位于编码对象块的邻近的编码完成的块的编码所使用的运动向量，将其用作参考运动向量，算出预测运动向量。预测残差算出部104算出由运动搜索部101算出的运动向量与由运动向量预测部103算出的预测运动向量的残差，输出运动向量预测残差。编码该运动向量预测残差，作为运动向量的编码信息输出。
图12示出现有的活动图像解码装置中的运动补偿部的构成示例。现有的活动图像解码装置中的运动补偿部200具备运动向量算出部201、预测信号作成部202、运动向量存储器203以及运动向量预测部204。
运动向量算出部201将从编码流解码的运动向量预测残差与由运动向量预测部204所预测的预测运动向量相加而生成运动向量，将该运动向量存放到运动向量存储器203，并且输出到预测信号作成部202。预测信号作成部202按照运动向量从解码完成的参考图像读出解码信号，作为解码对象块的预测信号输出。运动向量预测部204从运动向量存储器203读出位于解码对象块的邻近的解码完成的块的解码所使用的运动向量，将其用作参考运动向量，算出预测运动向量。
作为与以上那样的运动向量预测编码相关的技术，以往，存在以下那样的技术。
（a）中值预测编码（H.264等）（以下称为现有技术a）
（b）通过指定参考运动向量而预测编码（以下称为现有技术b）
图13是说明现有的运动向量的预测编码方式的示例的图。在现有技术a和现有技术b中，对运动向量编码（解码也同样）时，将如图13所示的编码对象块的邻近的编码完成的块的运动向量（编码完成的运动向量）用作参考运动向量进行预测，进行运动向量的编码。
具体而言，在现有技术a中，使用参考运动向量的中值作为预测运动向量，对编码对象块的运动向量与预测运动向量的误差（称为运动向量预测残差）进行编码（参考非专利文献1）。
另外，在现有技术b中，编码装置（编码器）从参考运动向量之中选择预测所利用的运动向量，将预测所利用的参考运动向量的标识符和运动向量预测残差一起编码（参考非专利文献2）。
另外，在以往，作为不是求取运动向量预测残差而对运动向量编码，而是对编码对象块的运动向量本身进行预测的技术，存在利用模板匹配（templatematching）的运动向量预测技术（以下称为现有技术c）。该现有技术c是用于在编码端不对运动向量编码地进行运动补偿的运动向量预测方法（参考非专利文献3）。
图14是说明利用现有的模板匹配的运动向量预测的图。在现有技术c中，在对编码对象块的运动向量进行预测时，利用作为图14的倒L字形的区域而示出的位于编码对象块的邻近并且编码完成的像素的集合（将其称为模板），在参考图像上针对既定搜索范围进行运动搜索（该处理称为模板匹配）。具体而言，针对既定搜索范围内的各运动向量，对参考图像上与模板处于相同位置的区域偏移了运动向量的量的区域（称为匹配区域）与模板之间求取SAD（SumofAbsoluteDifferences：绝对差异和）等相似度，进行搜索。利用由此得到的运动向量进行运动补偿。在解码端也能够用作为解码完成的像素的集合的模板进行相同处理，所以存在着不对运动向量编码而能够进行运动补偿的优点。
现有技术文献
非专利文献
非专利文献1：角野、菊池、铃木，“修订三版H.264/AVC教科书”，ImpressR&D发行，2009，pp.123-125.
非专利文献2：T.Yamamoto，“用于运动向量预测编码的新方案（Anewschemeformotionvectorpredictorencoding）”，ITU-TSG16/Q6，32ndVCEGMeeting，SanJoes，April2007.
非专利文献3：小林、铃木、Boon、堀越，“使用模板匹配的运动预测方法所伴随的预测信息量缩减（テンプレートマッチングを用いた動き予測方法に伴う予測情報量削減）”，图像编码研讨会资料，2005，pp.17-18。
发明内容
发明要解决的课题
在上述现有技术a、b中，当邻近的块不存在对预测有效的参考运动向量的情况下，运动向量的预测效率下降。也考虑对预测不仅利用编码对象块的邻近，而是利用更大范围所含的多个块的参考运动向量。然而，用现有技术的方法进行其时，导致预测效率、编码效率变差。
图15是说明现有技术的问题的图。如图15所示，当编码对象块的邻近块是拍摄对象（被写体）Obj的边界的情况下、以及存在遮挡的情况下（在参考图像中，邻近块的对应点被某些拍摄对象隐藏的情况），或者拍摄对象不是刚体的情况下，该邻近块的参考运动向量有时不适于编码对象块的运动向量预测，或者进行内部（intra）编码而参考运动向量本身不存在。在这样的情况下，在现有技术a和现有技术b的任一个中，预测效率都变差。
另一方面，如图15中的虚线所示的块那样，有时未包含于候选的块的运动向量对预测更有效。为了对预测利用这样的运动向量，能够容易类推的是不仅将最接近的块作为候选，而是增加成为候选的块。然而，在增加了成为候选的块的情况下，在现有技术a中，存在着候选中包含不适宜的参考运动向量、反而预测效率变差的担忧。另外，在现有技术b中，导致预测所利用的参考运动向量的标识符的码量的增加，所以存在着编码效率反而变差的担忧。
相对于此，现有技术c是用于在编码端不对运动向量编码地进行运动补偿的运动向量预测方法。因此，考虑相对于上述的现有技术的课题而对其进行应用。即，考虑使用现有技术c的模板匹配作成预测运动向量，根据其与利用通常的运动搜索求取的编码对象块的运动向量，求取运动向量预测残差并编码。该情况下存在以下问题。
在利用现有技术c的运动向量预测中，不同于现有技术a、现有技术b，能够不利用编码对象块的邻近块的编码完成的运动向量而进行搜索。因此，即使在编码完成的运动向量对预测无效的情况下，也存在能够作成有效的预测运动向量的可能性。然而，其仅根据模板来决定预测运动向量，所以有时会将指向与编码对象块无关的区域的运动向量作为预测运动向量，预测效率变差。
本发明谋求解决上述课题，目的是提高运动向量的预测效率，提高活动图像的编码效率。这里，运动向量的预测效率意味着成为预测对象的运动向量与预测运动向量的相似程度。具体而言，在这2个向量的差量向量的长度小的情况下，预测效率高。
用于解决课题的方案
本发明的概要如下。本发明针对编码端和解码端的各块，用以下方法进行运动向量预测。
（1）在编码对象图像和编码完成的图像的至少一个，将由编码对象块的位置所决定的编码完成的多个（N个）一次候选块的运动向量用作一次候选参考运动向量。
（2）在解码端开始对编码（解码）对象块进行解码的时刻仅利用已解码完成的信息，求取示出各一次候选参考运动向量多么适合预测的评价值（以下称为可靠度）。
（3）按照可靠度将一次候选参考运动向量筛选为M（<N）个二次候选参考运动向量。
（4）利用M个二次候选参考运动向量作成预测运动向量。
详细而言，在本发明中，进行以下的处理1~处理3，作为与现有相同的运动向量预测编码（下述处理4）的预处理。
[处理1]针对编码对象图像中的编码对象块的位置，将包含处于预先确定的相对位置的编码对象图像中编码完成的块和编码完成的图像中编码完成的块中的至少一个的N个（N是2以上的整数）块设定为一次候选块，根据一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量。
[处理2]接着，针对N个一次候选参考运动向量的各个，使用编码完成或解码完成的图像信息，算出定量地表示编码对象块的运动向量预测中的有效性的可靠度。
[处理3]将N个一次候选参考运动向量之中可靠度大的前M个（M是1以上且不到N的整数）一次候选参考运动向量作为二次候选参考运动向量而选出。
[处理4]使用二次候选参考运动向量算出编码对象块的预测运动向量，并将通过编码对象块的运动搜索所求取的运动向量与预测运动向量的残差作为运动向量的编码信息进行编码。使用二次候选参考运动向量算出编码对象块的预测运动向量的处理能够使用现有方法，例如，选择M个二次候选参考运动向量的中央值，或者从M个二次候选参考运动向量之中选择使预测残差最小的二次候选参考运动向量，将该运动向量的标识符与预测残差一起进行编码等。
如以上那样，在本发明中，不仅将编码对象块的邻近的块、而从编码对象图像和编码完成的图像的至少一个中的预先确定的范围的多个一次候选块的运动向量中决定一次候选参考运动向量。然后，针对各个一次候选参考运动向量，利用编码完成的信息或解码完成的信息进行可靠度计算。按照可靠度对一次候选参考运动向量进行筛选，将筛选结果作为二次候选参考运动向量。以后的处理是，将二次候选参考运动向量作为输入，使用与现有的运动向量预测编码相同的方法求取预测运动向量，对预测运动向量与运动向量的预测残差进行编码。
在本发明的运动向量预测解码的情况下，也将预先确定的多个一次候选块的运动向量作为一次候选参考运动向量。接着，针对各个一次候选参考运动向量，利用解码完成的信息进行可靠度计算。按照可靠度对一次候选参考运动向量进行筛选，将筛选结果作为二次候选参考运动向量。以后的处理是，将二次候选参考运动向量作为输入，使用与现有的运动向量预测解码相同的方法求取预测运动向量，将解码的预测残差与预测运动向量相加，算出运动向量。
作为可靠度的算出方法，能够例如将与编码对象块相邻的编码完成的像素的集合用作模板，算出作为将参考图像上与模板在空间上相同的区域偏移一次候选参考运动向量的量的区域的匹配对象区域与模板的相似度，将该相似度用作可靠度。另外，也可以将作为算出各一次候选参考运动向量的基础的一次候选块的运动补偿中的解码预测残差信号的微小度用作可靠度指标，算出可靠度。
发明的效果
在本发明中，通过进行上述处理1~3，进行参考运动向量的筛选。该筛选在解码端也能够无需来自编码端的附加信息而实现，并且在二次候选参考运动向量中包含对预测有效的运动向量。因此，与上述现有技术a、b、c相比，预测效率提高。
另外，一般而言，运动向量的预测效率提高时，运动向量预测残差的熵减少，运动向量的码量减小。由于活动图像的编码数据包含运动向量的码量，所以与利用现有技术a、b、c的方式相比，活动图像的编码效率提高。
另外，能够根据多个一次候选块设定具有多样化的一次候选参考运动向量，另外，由于这些一次候选参考运动向量是编码所利用的运动向量，所以其与活动图像的拍摄对象的运动相对应，包含对运动向量预测有效的运动向量的可能性高。在本发明中，仅针对这些一次候选参考运动向量求取可靠度，所以与现有技术c相比，能够以少的运算量实现高预测效率。
附图说明
图1是示出本发明的实施方式所涉及的活动图像编码装置的构成示例的图。
图2是示出图1所示的运动补偿部的详细的构成示例的图。
图3是示出本发明的实施方式所涉及的活动图像解码装置的构成示例的图。
图4是示出图3所示的运动补偿部的详细的构成示例的图。
图5是运动向量预测处理的流程图。
图6A是说明一次候选块的设定示例的图。
图6B是说明一次候选块的设定示例的图。
图7是说明一次候选参考运动向量的设定示例的图。
图8是示出可靠度算出处理的一个示例的流程图。
图9是说明使用模板匹配的可靠度求取方法的图。
图10A是参考运动向量决定处理的流程图。
图10B是另一参考运动向量决定处理的流程图。
图11是示出现有的活动图像解码装置中的运动补偿部的构成示例的图。
图12是示出现有的活动图像解码装置中的运动补偿部的构成示例的图。
图13是说明现有的运动向量预测编码方式的示例的图。
图14是说明利用现有的模板匹配的运动向量预测的图。
图15是说明现有技术的问题的图。
具体实施方式
下面使用附图详细说明本发明的实施方式。
图1是示出本发明的实施方式所涉及的活动图像编码装置的构成示例的图。关于本实施方式的活动图像编码装置1，特别地运动补偿部18的部分不同于现有技术，其它部分与作为H.264以外的编码器使用的现有的一般的活动图像编码装置相同。
活动图像编码装置1输入编码对象的视频信号，将输入视频信号的帧分割成块，对每个块进行编码，将其编码数据作为位流（bitstream）输出。
为了进行该编码，预测残差信号算出部10求取输入视频信号与作为运动补偿部18的输出的预测信号的差量，将其作为预测残差信号输出。正交变换部11对预测残差信号进行离散余弦变换（DCT）等正交变换，输出变换系数。量化部12将变换系数量化，输出该量化的变换系数。信息源编码部13对量化的变换系数进行熵编码，作为位流输出。
另一方面，量化的变换系数也输入到逆量化部14，在此被逆量化。逆正交变换部15对作为逆量化部14的输出的变换系数进行逆正交变换，输出预测残差解码信号。在解码信号算出部16中，将该预测残差解码信号与作为运动补偿部18的输出的预测信号相加，生成经编码的编码对象块的解码信号。为了在运动补偿部18中用作运动补偿的参考图像，将该解码信号存放在帧存储器17。
运动补偿部18针对编码对象块的视频信号，参考存放在帧存储器17的参考图像进行运动搜索，输出编码对象块的预测信号。另外，为了也对运动搜索结果的运动向量进行预测编码，运动补偿部18使用编码完成的信息进行运动向量预测，算出运动搜索结果的运动向量与预测运动向量的差量，将结果作为运动向量预测残差而输出到信息源编码部13。
这里，运动补偿部18在进行运动向量预测时，不仅使用位于编码对象块的邻近的编码完成的块的运动向量，而针对编码对象块的位置，设定位于预先确定的相对位置的多个编码完成的一次候选块，根据该一次候选块的编码所使用的运动向量设定一次候选参考运动向量，并根据编码完成的信息算出该一次候选参考运动向量的可靠度，按照可靠度筛选出少数二次候选参考运动向量，再使用二次候选参考运动向量算出预测运动向量。使用二次候选参考运动向量算出预测运动向量的处理能够使用与现有技术相同的运动向量预测手法来进行。
图2是示出图1所示的运动补偿部18的详细构成示例的图。如图2所示，运动补偿部18具备运动搜索部181、运动向量存储器182、一次候选块的运动向量读出部183、可靠度计算部184、参考运动向量决定部185、运动向量预测部186、运动向量预测残差算出部187。
在编码对象块的编码中的运动补偿中，首先由运动搜索部181针对输入视频信号的编码对象块，进行与已经编码完成的参考图像的解码信号进行对照的运动搜索，生成预测信号并输出，并且输出示出匹配位置的运动向量。将该运动向量存放到运动向量存储器182，另外也输出到运动向量预测残差算出部187。
一次候选块的运动向量读出部183读出以前编码并存放在运动向量存储器182的、位于预先确定的位置的N个（N是2以上的整数）一次候选块的运动向量，将这些运动向量设定为一次候选参考运动向量，通知可靠度计算部184。
可靠度计算部184针对N个一次候选参考运动向量的各个，使用编码完成的图像信息（解码信号），算出定量地表示编码对象块的运动向量预测中的有效性的可靠度。
参考运动向量决定部185选出以可靠度计算部184算出的可靠度大的顺序排在前M个（M是1以上且不到N的整数）的一次候选参考运动向量，作为二次候选参考运动向量。
运动向量预测部186使用由参考运动向量决定部185选出的二次候选参考运动向量而算出编码对象块的预测运动向量。该运动向量预测部186中的预测运动向量的算出方法可以与现有技术相同，例如，将二次候选参考运动向量之中的中央值（中值）作为预测运动向量。另外，也能够将二次候选参考运动向量之中的具有与运动搜索部181求取的运动向量最接近的值的向量作为预测运动向量，将示出该运动向量的标识符加到编码对象并通知解码端。
运动向量预测残差算出部187算出由运动搜索部181算出的运动向量与由运动向量预测部186算出的预测运动向量的残差，将算出的残差作为运动向量预测残差输出。
图3是示出本发明的实施方式所涉及的活动图像解码装置的构成示例的图。在本实施方式的活动图像解码装置2中，特别地，运动补偿部25的部分是不同于现有技术的部分，其它部分与作为H.264以外的解码器所使用的现有的一般的活动图像解码装置相同。
将通过图1所示的活动图像编码装置1编码的位流输入活动图像解码装置2而进行解码，由此输出解码图像的解码信号。
为了进行该解码，信息源解码部20基于所输入的位流对解码对象块的量化变换系数进行熵解码，并且对运动向量预测残差进行解码。将量化变换系数输入逆量化部21，对其进行逆量化，输出解码变换系数。逆正交变换部22对解码变换系数实施逆正交变换，输出解码预测残差信号。在解码信号算出部23中，将由运动补偿部25生成的预测信号与解码预测残差信号相加，由此生成解码对象块的解码信号。将该解码信号输出到显示装置等外部装置，并且为了用作运动补偿部25中的运动补偿的参考图像，存放到帧存储器24。
运动补偿部25使用存放在帧存储器24的解码完成的信息进行运动向量预测，将该预测运动向量与由信息源解码部20解码的运动向量预测残差相加，算出运动向量，基于该运动向量并参考帧存储器24的参考图像，生成解码对象块的预测信号。
这里，运动补偿部25在运动向量预测时，不仅使用位于解码对象块的邻近的解码完成的块的运动向量，而相对于解码对象块的位置，设定位于预先确定的相对位置的多个解码完成的一次候选块，从这些一次候选块的解码所使用的运动向量中设定一次候选参考运动向量。另外，运动补偿部25根据解码完成的信息算出这些一次候选参考运动向量的可靠度，按照可靠度筛选为少数二次候选参考运动向量，再使用二次候选参考运动向量算出预测运动向量。使用二次候选参考运动向量算出预测运动向量的处理，能够使用与现有技术相同的运动向量预测手法来进行。
图4是示出图3所示的运动补偿部25的详细构成示例的图。如图4所示，运动补偿部25具备运动向量算出部251、预测信号作成部252、运动向量存储器253、一次候选块的运动向量读出部254、可靠度计算部255、参考运动向量决定部256、运动向量预测部257。
在对解码对象块进行解码的运动补偿中，首先，运动向量算出部251将对编码位流进行解码而得到的运动向量预测残差、与由运动向量预测部257使用解码完成的信息而预测的预测运动向量相加，输出解码所使用的运动向量。将该运动向量存放到运动向量存储器253，另外，输出到预测信号作成部252。预测信号作成部252将输入的运动向量示出的参考图像位置的解码信号读出，作为解码对象块的预测信号输出。
一次候选块的运动向量读出部254读出以前解码并存放在运动向量存储器253的、位于预先确定的位置的N个（N是2以上的整数）一次候选块的运动向量，将这些运动向量设定为一次候选参考运动向量，通知可靠度计算部255。
可靠度计算部255针对N个一次候选参考运动向量的各个，使用解码完成的图像信息（解码信号），算出定量地表示解码对象块的运动向量预测中的有效性的可靠度。
参考运动向量决定部256选出以可靠度计算部255算出的可靠度大的顺序的前M个（M是1以上且不到N的整数）一次候选参考运动向量，作为二次候选参考运动向量。
运动向量预测部257使用由参考运动向量决定部256选出的二次候选参考运动向量而算出解码对象块的预测运动向量。该运动向量预测部257中的预测运动向量的算出方法可以与现有技术相同，例如，将二次候选参考运动向量中的中央值（中值）作为预测运动向量。或者，在编码端指定了预测所使用的运动向量的标识符的情况下，将该标识符示出的运动向量作为预测运动向量。
接着，针对活动图像编码装置1中的运动补偿部18和活动图像解码装置2中的运动补偿部25进行的处理之中、与本发明相关的运动向量预测处理，按照图5~图10B来进行说明。在以下，主要以编码端的运动向量预测处理为中心进行说明，而解码端中的运动向量预测处理也完全相同。
图5示出运动向量预测处理的流程图。
[步骤S1的处理]
最初，一次候选块的运动向量读出部183（或254）从运动向量存储器182（或253）读出N个一次候选块的运动向量。
这里，根据图6A和图6B说明一次候选块的设定示例。一次候选块可以从编码（解码）对象图片选择而设定，也可以从编码完成的图片中选择而设定。
图6A示出将编码对象图片3内编码完成的块设定为一次候选块的示例。在该情况下，将位于编码对象块31的邻近的多个（在该示例中是10个）编码完成的块B1~B10设定为一次候选块。在解码端，也能够将与编码端所使用的一次候选块位置相同的解码完成的块设定为一次候选块。
图6B示出将编码完成的图片30内的编码完成的块设定为一次候选块的示例。例如，位于编码完成的图片30内的块B11（对应位置块）的位置设为与编码对象图片3中的编码对象块31位置相同，则将该块B11和其周围的若干个块B12~B19设定为一次候选块。
为了从一次候选块的群中设定尽可能具有多样性的一次候选参考运动向量，优选将图6A那样从编码对象图片3中选择一次候选块的方法与图6B那样从编码完成的图片30中选择一次候选块的方法组合。例如，从编码对象图片3中选择N1个编码完成的块，从编码完成的图片30中选择N2个编码完成的块，设定共计N个（N=N1+N2）一次候选块。
此外，不仅可以将1个编码完成的图片的块设定为一次候选块，也可以将多个编码完成的图片的块设定为一次候选块。
[步骤S2的处理]
一次候选块的运动向量读出部183针对N个一次候选块的各个，判断是否是编码完成的图片（或者解码完成的图片）的块。在一次候选块是编码完成的图片的块的情况下，一次候选块的运动向量读出部183进行以下步骤S3。
[步骤S3的处理]
如果一次候选块是编码完成的图片的块，不是将其编码所利用的运动向量本身作为一次候选参考运动向量，而是以对应于编码对象图片的参考图像的方式对运动向量进行加工。
例如，以下那样地进行运动向量加工。设编码对象块的图片的时刻为Te、包含一次候选块（编码所利用的运动向量为Vc）的编码完成的图片的时刻为Tc、参考编码对象块的图片的时刻为Tr、参考一次候选块的图片的时刻为Tr2时，通过以下式子算出加工的一次候选参考运动向量V。
上述的图片的“时刻”只要是图片的显示时刻信息、H.264规格中定义的POC（PictureOrderCount：图像序列号）等示出图片的相对时间关系的信息就可以是任何信息。
图7示出相对于编码完成的图片的一次候选块的一次候选参考运动向量设定示例。编码完成的图片只要是图片之间（interpicture）（进行运动补偿而编码的图片），就可以是任何图片。例如，在H.264中的B图片的情况下，有时能够利用前后的P图片。
在图7的示例中，设P2是编码对象图片3、P4是存在一次候选块的编码完成的图片30。另外，设P1~P4之中P1和P4是P图片、P2和P3是B图片。P2的编码对象图片3以P4的编码完成的图片30作为参考图像，P4的编码完成的图片30以P1作为参考图像。
P4的编码完成的图片30中的一次候选块的运动向量Vp4（图中的虚线箭头）对应于P1的编码完成的图片。因此，根据P1与P4之间的时间上的距离L1、P2与P4之间的时间上的距离L2以及参考的方向性，可以根据以下式子算出一次候选参考运动向量V（图中的实线箭头）。
即，如果与算出所述一次候选参考运动向量V的式子“ ”相匹配，则Vp4=Vc、图片P2的时刻为Te、图片P4的时刻为Tc=Tr、图片P1的时刻为Tr2。能够根据该式子对一次候选块的运动向量Vp4进行加工，将其用作一次候选参考运动向量V。
[步骤S4的处理]
一次候选块的运动向量读出部183（或254）将通过以上处理从N个一次候选块中获取的运动向量设定为一次候选参考运动向量，通知可靠度计算部184（或255）。
[步骤S5的处理]
可靠度计算部184（或255）针对设定的N个一次候选参考运动向量的各个，使用编码完成的信息算出可靠度。这里，可靠度定量地表达编码（解码）对象块的运动向量预测中的一次候选参考运动向量的有效性。针对N个一次候选参考运动向量，在解码端对编码对象块开始解码的时刻，仅利用已经解码完成的信息计算该可靠度。
图8是示出可靠度算出处理的一个示例的流程图。另外，图9是说明使用模板匹配的可靠度求取方法的图。
作为可靠度求取方法的一个示例，对应用模板匹配的方法进行说明。在图9的编码对象图片3中，设为求取编码对象块31的预测运动向量。模板32是与编码对象块31相邻的编码完成的像素集合（在该示例中是由编码对象块31的左方和上方像素群构成的倒L字形区域）。此外，倒L字形区域的宽度（厚度）是例如2个像素左右，但也可以是1个像素或3个像素以上。参考图像4是编码完成或解码完成的图片。参考图像4中的对应位置块41是位于与编码对象图片3内的编码对象块31相同位置的块。
在图8的可靠度算出处理中，在步骤S51中，在参考图像4上，求取将与模板32在空间上相同的区域（与对应位置块41相邻的倒L字形区域）偏移正要计算可靠度的一次候选参考运动向量Vi的量的区域，获取其作为匹配对象区域42。
接着，在步骤S52中，算出编码对象块31的模板32与参考图像4中的匹配对象区域42的相似度，将其设定为一次候选参考运动向量Vi的可靠度。
作为相似度指标的一个示例，存在着SAD（SumofAbsoluteDifferences，绝对差异和）。SAD越小，该一次候选参考运动向量Vi接近编码对象块31的运动的可能性越高，因此，可以捕捉到可靠度高的参考运动向量。作为在可靠度计算部184中利用的可靠度指标，只要是示出模板32与匹配对象区域42的相似度的指标，就也可以是其它指标。除了上述的SAD以外，也能够使用SSD（SumofSquaredDifferences：平方差异和）、SATD（SumofAbsoluteTransformedDifferences：绝对变换差异和）等。这些的任一个都是数值越小示出可靠度越高的尺度。
模板32与编码对象块31的图像信号的相关高，所以如果使用由此的相似度，则能够确定对运动向量预测有效的二次候选参考块。
另外，作为算出可靠度的另一方法，也能够使用对一次候选块的运动补偿中的解码预测残差信号的微小度进行利用的方法。当解码预测残差信号大的情况下，该一次候选块是拍摄对象边界的可能性高，因此，是对运动向量预测无效的运动向量的可能性高。因此，设为解码预测残差信号越小可靠度越高。能够使用解码预测残差信号的绝对值之和、二乘和等作为解码预测残差信号的微小度指标。
[步骤S6的处理]
接着，在参考运动向量决定部185（或256）中，基于各一次候选参考运动向量的可靠度信息，将N个一次候选参考运动向量筛选为M个（1≤M<N）二次候选参考运动向量。
图10A是参考运动向量决定处理的流程图。在步骤S61中，参考运动向量决定部185将可靠度计算部184计算的一次候选参考运动向量的可靠度以降序排列，然后将可靠度排在前M个的一次候选参考运动向量设定为二次候选参考运动向量。
图10B是另一参考运动向量决定处理的流程图，其中示出在考虑一次候选参考运动向量的数量不足M个的情况时的参考运动向量决定处理的示例。
例如，当一次候选参考运动向量中包含多个内部块（IntraBlock）等情况下，可能有一次候选参考运动向量的数量不足既定数量M个的情况。在该情况下，如以下那样将二次候选参考运动向量决定为参考运动向量。
首先，在步骤S62中，判断一次候选参考运动向量的数量N是否大于M。当N大于M时，处理进入步骤S63，与上述步骤S61同样，将关于可靠度排在前M个的一次候选参考运动向量设定为二次候选参考运动向量。当实际能够使用的一次候选参考运动向量的数量N不比M大时，处理进入步骤S64，将N个一次候选参考运动向量设定为二次候选参考运动向量。
[步骤S7的处理]
运动向量预测部186（或257）利用由参考运动向量决定部185选出的二次候选参考运动向量，作成编码对象块的预测运动向量。本发明中的重点在于，通过根据可靠度对多个一次候选参考运动向量进行筛选，使用可靠度高的二次候选参考运动向量来求取用于算出运动向量预测残差的预测运动向量这点。因此，根据二次候选参考运动向量求取预测运动向量的处理可以与图11、图12中所说明的现有技术的运动向量预测部103（或204）的处理相同。然而，并不是必须用与现有技术相同的处理，根据不同处理来求取预测运动向量也能够实施本发明。
在以上的示例中说明的是根据N个一次候选块设定N个一次候选参考运动向量的示例。然而，也能够进一步以下那样地设定一次候选参考运动向量。在以编码完成的块的运动向量作为候选时，将对于相对于这些运动向量在既定范围内的运动向量，也作为一次候选参考运动向量。例如，设某个编码完成的块的运动向量为（10，20），在将既定范围设为在X、Y方向分别±1的范围的情况下，不仅（10，20）的运动向量，（9，20）、（11，20）、（10，19）、（10，21）、（9，19）、（9，21）、（11，19）、（11，21）的运动向量也成为候选。即，对于1个编码完成的块的运动向量，共计9个一次候选参考运动向量成为候选。如果最初进入候选的编码完成的块的运动向量为K个，全部K个的周围也进入候选，则变为利用9×K个一次候选参考运动向量。但是，如果与解码端共用，则也可以不是全部的编码完成的块的运动向量周围进入候选，而是一部分。
作为这样的设定的效果，举出通过将编码完成的块的运动向量的周围也考虑进去，从而进一步提高运动向量的预测效率这一情况。
以上说明的运动向量预测编码以及运动向量预测解码的处理也能够通过计算机和软件程序实现。另外，该程序既能记录到计算机可读记录介质，也能通过网络进行提供。
以上参考附图对本发明的实施方式进行详细说明，但具体构成并不限于这些实施方式，也包含不脱离本发明的主旨的范围的设计等（构成的添加、省略、替换及其它变更）。本发明并不限于上述说明，而是仅由所附的权利要求书的范围进行限定。
产业上的可利用性
本发明能够用于例如对运动向量进行预测编码的活动图像编码。依据本发明，提高运动向量的预测效率，另外，提高活动图像的编码效率。
附图标记说明
1活动图像编码装置
2活动图像解码装置
10预测残差信号算出部
11正交变换部
12量化部
13信息源编码部
14、21逆量化部
15、22逆正交变换部
16解码信号算出部
17、24帧存储器
18、25运动补偿部
181运动搜索部
182、253运动向量存储器
183、254一次候选块的运动向量读出部
184、255可靠度计算部
185、256参考运动向量决定部
186、257运动向量预测部
187运动向量预测残差算出部
20信息源解码部
23解码信号算出部
251运动向量算出部
252预测信号作成部。

Claims (14)

1.一种运动向量预测编码方法，是将编码对象图像分割为多个块、对所述块的每个使用运动补偿进行编码的活动图像编码方式中的运动向量预测编码方法，其中具有：
使用编码完成的参考图像在所述编码对象图像中进行编码对象块的运动搜索，算出运动向量的步骤；
针对所述编码对象图像中的所述编码对象块的位置，将包含位于预先确定的相对位置的所述编码对象图像中的编码完成的块和编码完成的图像中的编码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量的步骤，其中，N是2以上的整数，并且其中所述编码完成的块并不仅包括位于所述编码对象块的邻近的块，而且包括针对所述编码对象块的位置、位于预先确定的相对位置的多个块；
针对所述一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示所述一次候选参考运动向量的所述编码对象块的运动向量预测中的有效性的可靠度的步骤；
从所述N个一次候选参考运动向量之中选出所述可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量的步骤，其中，M是1以上且不到N的既定整数；以及
在所述二次候选参考运动向量之中，将具有与所述运动搜索求取的运动向量最接近的值的向量设定为所述编码对象块的预测运动向量，对所设定的所述预测运动向量的标识符进行编码，并将通过所述编码对象块的运动搜索而求取的所述运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码的步骤，其中，
在算出所述一次候选参考运动向量的可靠度的步骤中，将与所述编码对象块相邻的编码完成的像素的集合用作模板，在所述参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述编码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为所述可靠度而算出。
2.一种运动向量预测编码方法，是将编码对象图像分割为多个块、对所述块的每个使用运动补偿进行编码的活动图像编码方式中的运动向量预测编码方法，其中具有：
使用编码完成的参考图像在所述编码对象图像中进行编码对象块的运动搜索，算出运动向量的步骤；
针对所述编码对象图像中的所述编码对象块的位置，将包含位于预先确定的相对位置的所述编码对象图像中的编码完成的块和编码完成的图像中的编码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量的步骤，其中，N是2以上的整数，并且其中所述编码完成的块并不仅包括位于所述编码对象块的邻近的块，而且包括针对所述编码对象块的位置、位于预先确定的相对位置的多个块；
针对所述一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示所述一次候选参考运动向量的所述编码对象块的运动向量预测中的有效性的可靠度的步骤；
从所述N个一次候选参考运动向量之中选出所述可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量的步骤，其中，M是2以上且不到N的既定整数；以及
在所述二次候选参考运动向量之中，将具有与所述运动搜索求取的运动向量最接近的值的向量设定为所述编码对象块的预测运动向量，对所设定的所述预测运动向量的标识符进行编码，并将通过所述编码对象块的运动搜索而求取的所述运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码的步骤。
3.如权利要求1或2所述的运动向量预测编码方法，其中，
在所述N个应设定的所述一次候选参考运动向量只能够设定比所述M个小的M’个的情况下，选出M’个一次候选参考运动向量作为所述二次候选参考运动向量。
4.如权利要求1或2所述的运动向量预测编码方法，其中，
在算出所述一次候选参考运动向量的可靠度的步骤中，以与所述一次候选参考运动向量相关的一次候选块的运动补偿中的解码预测残差信号的微小度作为可靠度指标，算出所述可靠度。
5.如权利要求1或2所述的运动向量预测编码方法，其中，
在决定所述一次候选参考运动向量的步骤中，根据所述一次候选块的编码所使用的所述运动向量与以各个该运动向量为基准的既定范围内的运动向量，决定所述一次候选参考运动向量。
6.一种运动向量预测解码方法，是将分割为多个块而进行编码的活动图像的解码对象图像、对每个块使用运动补偿而进行解码的活动图像解码方式中的运动向量预测解码方法，其中具有：
对解码对象块的运动向量预测残差进行解码的步骤；
针对所述解码对象图像中的所述解码对象块的位置，将包含位于预先确定的相对位置的所述解码对象图像中解码完成的块和解码完成的图像中的解码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的解码所使用的运动向量决定N个一次候选参考运动向量的步骤，其中，N是2以上的整数，并且其中所述解码完成的块并不仅包括位于所述解码对象块的邻近的块，而且包括针对所述解码对象块的位置、位于预先确定的相对位置的多个块；
针对所述N个一次候选参考运动向量的各个，使用解码完成的图像信息而算出定量地表示所述一次候选参考运动向量的所述解码对象块的运动向量预测中的有效性的可靠度的步骤；
将所述N个一次候选参考运动向量之中、所述可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出的步骤，其中，M是1以上且不到N的既定整数；以及
在所述二次候选参考运动向量之中，将与编码的标识符对应的运动向量取出并设定为所述解码对象块的预测运动向量，将所述预测运动向量与所述解码的运动向量预测残差相加而算出所述解码对象块的运动向量的步骤，其中，
在算出所述一次候选参考运动向量的可靠度的步骤中，将与所述解码对象块相邻的解码完成的像素的集合用作模板，在解码完成的参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述解码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为可靠度而算出。
7.一种运动向量预测解码方法，是将分割为多个块而进行编码的活动图像的解码对象图像、对每个块使用运动补偿而进行解码的活动图像解码方式中的运动向量预测解码方法，其中具有：
对解码对象块的运动向量预测残差进行解码的步骤；
针对所述解码对象图像中的所述解码对象块的位置，将包含位于预先确定的相对位置的所述解码对象图像中解码完成的块和解码完成的图像中的解码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的解码所使用的运动向量决定N个一次候选参考运动向量的步骤，其中，N是2以上的整数，并且其中所述解码完成的块并不仅包括位于所述解码对象块的邻近的块，而且包括针对所述解码对象块的位置、位于预先确定的相对位置的多个块；
针对所述N个一次候选参考运动向量的各个，使用解码完成的图像信息而算出定量地表示所述一次候选参考运动向量的所述解码对象块的运动向量预测中的有效性的可靠度的步骤；
将所述N个一次候选参考运动向量之中、所述可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出的步骤，其中，M是2以上且不到N的既定整数；以及
在所述二次候选参考运动向量之中，将与编码的标识符对应的运动向量取出并设定为所述解码对象块的预测运动向量，将所述预测运动向量与所述解码的运动向量预测残差相加而算出所述解码对象块的运动向量的步骤。
8.如权利要求6或7所述的运动向量预测解码方法，其中，
在所述N个应设定的一次候选参考运动向量只能够设定比所述M个小的M’个的情况下，选出M’个一次候选参考运动向量作为所述二次候选参考运动向量。
9.如权利要求6或7所述的运动向量预测解码方法，其中，
在算出所述一次候选参考运动向量的可靠度的步骤中，以与所述一次候选参考运动向量相关的一次候选块的运动补偿中的解码预测残差信号的微小度作为可靠度指标，算出所述可靠度。
10.如权利要求6或7所述的运动向量预测解码方法，其中，
在决定所述一次候选参考运动向量的步骤中，根据所述一次候选块的解码所使用的所述运动向量与以各个该运动向量为基准的既定范围内的运动向量，决定所述一次候选参考运动向量。
11.一种活动图像编码装置，将编码对象图像分割为块、对每个块使用运动补偿来对活动图像进行编码，其中包括：
运动搜索部，使用编码完成的参考图像，在所述编码对象图像中进行编码对象块的运动搜索，算出运动向量；
一次候选参考运动向量决定部，针对所述编码对象图像中的所述编码对象块的位置，将包含位于预先确定的相对位置的所述编码对象图像中的编码完成的块和编码完成的图像中的编码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量，其中，N是2以上的整数，并且其中所述编码完成的块并不仅包括位于所述编码对象块的邻近的块，而且包括针对所述编码对象块的位置、位于预先确定的相对位置的多个块；
可靠度计算部，针对所述一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示在所述一次候选参考运动向量的所述编码对象块的运动向量预测过程中的有效性的可靠度；
参考运动向量决定部，从所述N个一次候选参考运动向量中，将可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出，其中，M是1以上且不到N的既定整数；以及
运动向量编码部，在所述二次候选参考运动向量之中，将具有与所述运动搜索部求取的运动向量最接近的值的向量设定为所述编码对象块的预测运动向量，对所设定的所述预测运动向量的标识符进行编码，并将通过所述编码对象块的运动搜索而求取的所述运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码，其中，
所述可靠度计算部将与所述编码对象块相邻的编码完成的像素的集合用作模板，在所述参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述编码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为所述可靠度而算出。
12.一种活动图像编码装置，将编码对象图像分割为块、对每个块使用运动补偿来对活动图像进行编码，其中包括：
运动搜索部，使用编码完成的参考图像，在所述编码对象图像中进行编码对象块的运动搜索，算出运动向量；
一次候选参考运动向量决定部，针对所述编码对象图像中的所述编码对象块的位置，将包含位于预先确定的相对位置的所述编码对象图像中的编码完成的块和编码完成的图像中的编码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的编码所使用的运动向量决定N个一次候选参考运动向量，其中，N是2以上的整数，并且其中所述编码完成的块并不仅包括位于所述编码对象块的邻近的块，而且包括针对所述编码对象块的位置、位于预先确定的相对位置的多个块；
可靠度计算部，针对所述一次候选参考运动向量的各个，使用编码完成的图像信息来算出定量地表示在所述一次候选参考运动向量的所述编码对象块的运动向量预测过程中的有效性的可靠度；
参考运动向量决定部，从所述N个一次候选参考运动向量中，将可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出，其中，M是2以上且不到N的既定整数；以及
运动向量编码部，在所述二次候选参考运动向量之中，将具有与所述运动搜索部求取的运动向量最接近的值的向量设定为所述编码对象块的预测运动向量，对所设定的所述预测运动向量的标识符进行编码，并将通过所述编码对象块的运动搜索而求取的所述运动向量与所述预测运动向量的残差作为运动向量的编码信息而进行编码。
13.一种活动图像解码装置，将分割为多个块而进行编码的活动图像的解码对象图像、对每个块使用运动补偿进行解码，其中包括：
信息源解码部，对解码对象块的运动向量预测残差进行解码；
一次候选参考运动向量决定部，针对所述解码对象图像中的所述解码对象块的位置，将包含位于预先确定的相对位置的所述解码对象图像中的解码完成的块和解码完成的图像中的解码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的解码所使用的运动向量决定N个一次候选参考运动向量，其中，N是2以上的整数，并且其中所述解码完成的块并不仅包括位于所述解码对象块的邻近的块，而且包括针对所述解码对象块的位置、位于预先确定的相对位置的多个块；
可靠度计算部，针对所述一次候选参考运动向量的每个，使用解码完成的图像信息来算出定量地表示所述一次候选参考运动向量的在所述解码对象块的运动向量预测中的有效性的可靠度；
参考运动向量决定部，从所述N个一次候选参考运动向量中将可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出，其中，M是1以上且不到N的既定整数；以及
运动向量算出部，在所述二次候选参考运动向量之中，将与编码的标识符对应的运动向量取出并设定为所述解码对象块的预测运动向量，将所述预测运动向量与所述解码的运动向量预测残差相加而算出所述解码对象块的运动向量，其中，
所述可靠度计算部将与所述解码对象块相邻的解码完成的像素的集合用作模板，在解码完成的参考图像上将所述模板的区域偏移所述一次候选参考运动向量的量的区域设定为匹配对象区域，将所述模板的所述解码完成的像素的集合与所述匹配对象区域中的像素的集合的相似度作为可靠度而算出。
14.一种活动图像解码装置，将分割为多个块而进行编码的活动图像的解码对象图像、对每个块使用运动补偿进行解码，其中包括：
信息源解码部，对解码对象块的运动向量预测残差进行解码；
一次候选参考运动向量决定部，针对所述解码对象图像中的所述解码对象块的位置，将包含位于预先确定的相对位置的所述解码对象图像中的解码完成的块和解码完成的图像中的解码完成的块的至少一个的多个块设定为一次候选块，根据所述一次候选块的解码所使用的运动向量决定N个一次候选参考运动向量，其中，N是2以上的整数，并且其中所述解码完成的块并不仅包括位于所述解码对象块的邻近的块，而且包括针对所述解码对象块的位置、位于预先确定的相对位置的多个块；
可靠度计算部，针对所述一次候选参考运动向量的每个，使用解码完成的图像信息来算出定量地表示所述一次候选参考运动向量的在所述解码对象块的运动向量预测中的有效性的可靠度；
参考运动向量决定部，从所述N个一次候选参考运动向量中将可靠度大的前M个一次候选参考运动向量作为二次候选参考运动向量而选出，其中，M是2以上且不到N的既定整数；以及
运动向量算出部，在所述二次候选参考运动向量之中，将与编码的标识符对应的运动向量取出并设定为所述解码对象块的预测运动向量，将所述预测运动向量与所述解码的运动向量预测残差相加而算出所述解码对象块的运动向量。
CN201180008467.5A 2010-02-09 2011-02-08 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置 Active CN102823249B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010026130 2010-02-09
JP2010-026130 2010-02-09
PCT/JP2011/052603 WO2011099468A1 (ja) 2010-02-09 2011-02-08 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
CN102823249A CN102823249A (zh) 2012-12-12
CN102823249B true CN102823249B (zh) 2016-07-06

Family

ID=44367741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008467.5A Active CN102823249B (zh) 2010-02-09 2011-02-08 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置

Country Status (11)

Country Link
US (1) US9497481B2 (zh)
EP (1) EP2536150B1 (zh)
JP (1) JP5367098B2 (zh)
KR (2) KR20120112724A (zh)
CN (1) CN102823249B (zh)
BR (1) BR112012019676A2 (zh)
CA (1) CA2788954A1 (zh)
ES (1) ES2652337T3 (zh)
RU (1) RU2519526C2 (zh)
TW (1) TWI450592B (zh)
WO (1) WO2011099468A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
RU2519525C2 (ru) * 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
CN102835110B (zh) * 2010-02-09 2015-07-29 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
CN103445152A (zh) * 2013-01-05 2013-12-18 胡素芳 一种萝卜汁加工方法
CN103248899B (zh) * 2013-05-21 2016-02-24 清华大学 多视点视频skip模式的运动矢量预测方法
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
CN111543060B (zh) 2017-10-09 2024-03-08 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
JP7248013B2 (ja) 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019234674A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832575A (zh) * 2002-06-17 2006-09-13 株式会社东芝 视频编码/解码方法和设备
EP2101504A2 (en) * 2008-03-09 2009-09-16 LG Electronics Inc. Video coding using template matching

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
AU1941797A (en) 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6011870A (en) 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
JP4573366B2 (ja) 1997-09-25 2010-11-04 株式会社大宇エレクトロニクス 動きベクトル符号化方法及び符号化装置
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6058143A (en) 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
RU2338332C2 (ru) 2002-11-21 2008-11-10 Эл Джи Электроникс Инк. Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR20050078706A (ko) 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
KR100946790B1 (ko) 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
US20060153300A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
KR100931870B1 (ko) 2005-04-13 2009-12-15 노키아 코포레이션 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2008109632A (ja) 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
BRPI0808567A2 (pt) 2007-03-14 2014-09-02 Nippon Telegraph & Telephone Método e aparelho de pesquisa de vetor de movimento, programa para o mesmo, e meio de armazenamento, que armazena o programa
EP2119236A1 (en) 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
WO2008126059A2 (en) 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding
JP2008283490A (ja) 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
TW200905030A (en) 2007-07-31 2009-02-01 Chinese Professional Fabric Industry Co Ltd A manufacturing method of optical-excitation fabric
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
JP2010016454A (ja) 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010026130A (ja) 2008-07-17 2010-02-04 Ricoh Co Ltd 画像形成装置、画像形成方法およびプリント媒体
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
CN102835110B (zh) * 2010-02-09 2015-07-29 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
RU2519525C2 (ru) * 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832575A (zh) * 2002-06-17 2006-09-13 株式会社东芝 视频编码/解码方法和设备
EP2101504A2 (en) * 2008-03-09 2009-09-16 LG Electronics Inc. Video coding using template matching

Also Published As

Publication number Publication date
ES2652337T3 (es) 2018-02-01
BR112012019676A2 (pt) 2016-05-03
KR101528361B1 (ko) 2015-06-12
CN102823249A (zh) 2012-12-12
JP5367098B2 (ja) 2013-12-11
US20120294371A1 (en) 2012-11-22
TWI450592B (zh) 2014-08-21
EP2536150A4 (en) 2014-06-04
TW201210349A (en) 2012-03-01
RU2012133449A (ru) 2014-03-27
CA2788954A1 (en) 2011-08-18
EP2536150A1 (en) 2012-12-19
RU2519526C2 (ru) 2014-06-10
KR20120112724A (ko) 2012-10-11
EP2536150B1 (en) 2017-09-13
JPWO2011099468A1 (ja) 2013-06-13
WO2011099468A1 (ja) 2011-08-18
US9497481B2 (en) 2016-11-15
KR20140092904A (ko) 2014-07-24

Similar Documents

Publication Publication Date Title
CN102823249B (zh) 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置
CN102742276B (zh) 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序
CN102884793B (zh) 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置及活动图像解码装置
CN102835110B (zh) 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
CN1977541B (zh) 运动补偿预测方法和运动补偿预测装置
TWI407798B (zh) 運動預測方法與視訊編解碼器
JP6945654B2 (ja) 低減されたメモリアクセスを用いてｆｒｕｃモードでビデオデータを符号化又は復号する方法及び装置
CN101690234B (zh) 视频图像编码方法及解码方法、其装置
KR102267770B1 (ko) 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스
US8073266B2 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US20100322316A1 (en) Moving-picture encoding apparatus and decoding apparatus
JP2010268283A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
CN105324998A (zh) 视频编码装置、视频解码装置、视频编码方法、视频解码方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant