JP2018148516A - 時間予測動きベクトル候補生成装置、符号化装置、復号装置、及びプログラム - Google Patents

Abstract

【課題】適切な時間予測動きベクトル候補を生成する。【解決手段】符号化対象ブロックと異なる時間位置にあるフレームに存在する当該符号化対象と同位置同サイズのＣｏｌブロックを基準とし、そのＣｏｌブロックが持つ動きベクトルの方向に存在するブロックを参照ブロックとし、前記参照ブロックが持つベクトルを候補ベクトルとして取得し、Ｃｏｌフレームと前記参照ブロックが持つ動きベクトルが参照するフレームの参照画像間距離に基づいて、前記候補ベクトルをスケーリングしたものを時間予測動きベクトル候補とすることを特徴とする。【選択図】図５

Description

本発明は、時間予測動きベクトル候補生成装置、符号化装置、復号装置、及びプログラムに関し、特に、動画像の符号化の際に、動きベクトルの予測に用いる時間予測動きベクトル候補を生成する生成装置と、その生成装置を含む符号化装置、復号装置、及びプログラムに関する。

近年、ＭＰＥＧ（Moving Picture Experts Group）とＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）のＶＣＥＧ（Video Coding Experts Group）が共同で作成した映像符号化方法である、ＭＰＥＧ-Ｈ ＨＥＶＣ（High Efficiency Video Coding）／ＩＴＵ−Ｔ Ｈ．２６５方式（以下、「ＨＥＶＣ方式」という。）が、動画像圧縮率の高い符号化方法として注目されている。

ＨＥＶＣ方式等の映像符号化方式では、動き補償に用いる動きベクトルを符号化する際に、動きベクトルの予測を行う。例えば、動きベクトルの予測は、空間予測動きベクトル候補及び時間予測動きベクトル候補をあらかじめ定められた優先順に並べ、その中の１つを指すインデックス、及び、インデックスの指し示す動きベクトル候補との差分ベクトルを用いて実現される。

一般的な動きベクトルの予測について、図１１に基づいて説明する。まず、符号化対象ブロック１００の空間予測動きベクトル候補は、符号化対象フレーム内の符号化対象ブロック１００に隣接したブロックから求める。符号化対象ブロック１００の左下側に隣接するブロック（Ａ₀，Ａ₁）から候補ベクトルｍｖＡを導出し、上側に隣接するブロック（Ｂ₀，Ｂ₁，Ｂ₂）から候補ベクトルｍｖＢを導出する。

時間予測動きベクトル候補は、符号化対象ブロック１００と異なる時間位置にあるフレーム（Collocated Picture、以下、「ＣｏｌＰｉｃ」又は「Ｃｏｌフレーム」ということがある。）の特定のブロックを、動きベクトルを参照（取得）するための参照ブロック（以下、「Ｍｖブロック」ということがある。）として利用し、得られた動きベクトルに基づいて求める。時間予測動きベクトル候補を求める際に、参照ブロックから取得した動きベクトルを、以下「候補ベクトル」と呼ぶこととする。具体的には、ＣｏｌＰｉｃに存在する当該符号化対象ブロックと同位置同サイズのブロック（以下、「Ｃｏｌブロック」ということがある。）２００を基準にし、ＣｏｌＰｉｃ上でＣｏｌブロック２００の右下に隣接するブロック（Ｈ）３００の動きベクトルが利用できる場合は当該ブロック（Ｈ）３００を参照ブロックとして選択し、ブロック（Ｈ）が利用できない場合は、ＣｏｌＰｉｃ上でＣｏｌブロック２００内のセンター右下ブロック（Ｃ₃）を参照ブロックとし、これらのブロックから候補ベクトルｍｖＣｏｌを導出する。なお、時間予測動きベクトル候補については、参照ブロックが持つ動きベクトル（候補ベクトル）の向きと大きさを、符号化対象フレームと、ＣｏｌＰｉｃと、参照ブロックの動きベクトルが参照するフレームとの画像位置関係（参照画像間距離）に基づいて符号の調整及び拡大・縮小（すなわち、スケーリング）を行う必要がある。よって、ＣｏｌＰｉｃと、参照ブロックが持つ動きベクトルが参照するフレームの参照画像間距離に基づいて、候補ベクトルをスケーリングしたものが、時間予測動きベクトル候補となる。なお、スケーリングはゼロ以外の実数の乗算で行うため、候補ベクトルがゼロベクトルでない場合は、時間予測動きベクトル候補もゼロベクトルにはならない。同様に、候補ベクトルがゼロベクトルの場合は、時間予測動きベクトル候補もゼロベクトルとなる。

大久保 榮（監修）、鈴木 輝彦、他、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン発行、２０１３年１０月２１日、ｐ．１３６−１４０

静止した背景の前を物体が移動している例を用いて、従来技術の課題を説明する。図１２は、従来の候補ベクトル（及び、その候補ベクトルをスケーリングして得られる時間予測動きベクトル候補）を求める方法の概略を説明するための図であり、符号化対象フレームとそれに含まれる符号化対象ブロック１０１〜１０５、Ｃｏｌフレーム（ＣｏｌＰｉｃ）とそれに含まれるＣｏｌブロック２０１〜２０５、Ｍｖブロック３０１〜３０５等の関係を、１次元で模式的に示している。図１２には、符号化対象ブロック１０１〜１０５に対して物体が移動している様子が示されており、Ｃｏｌフレームの物体（映像）４０１が、符号化対象フレームでは物体（映像）４０２に移動している。矢印４０３は物体の動きベクトルを示し、矢印の方向は動きベクトルの方向である。

なお、本明細書で示す動きベクトルは、映像符号化で一般的に用いられている符号化対象フレームを基準とした動きベクトルである。たとえば図１２の例では、Ｃｏｌフレーム中の物体４０１が、符号化対象フレームでは物体４０２と位置が変化しており、すなわち、物体は右方向に移動している。このとき、符号化対象フレーム中の物体４０２の動きベクトル４０３の向きは、左方向となる。

従来手法では、図１１で説明したように、Ｃｏｌブロックの右下に隣接するブロックが動きベクトル（候補ベクトル）を取得するための参照ブロック（Ｍｖブロック）として選択される。模式図は１次元で示しているため、Ｃｏｌブロックの右側に隣接するブロックがＭｖブロックとなる。すなわち、図１２において、符号化対象ブロック１０１〜１０５のそれぞれに対応するＣｏｌブロック２０１〜２０５の右側のブロックが、それぞれのＭｖブロック３０１〜３０５である。

ここで、符号化対象ブロック１０１，１０２に注目すると、符号化対象ブロック１０１，１０２のＭｖブロックはそれぞれ３０１，３０２となる。Ｃｏｌフレームにおいて、Ｍｖブロック３０１，３０２は移動する物体中に位置している。そのため、符号化対象ブロック１０１，１０２は静止した背景の領域にもかかわらず、それらの候補ベクトルはＭｖブロック３０１，３０２が有する移動物体４０１の動きベクトル４０３となり、したがって、スケーリングして得られる時間予測動きベクトル候補もゼロベクトルにはならない。符号化対象ブロック１０１，１０２は静止した背景に含まれており、動きベクトルの予測はゼロベクトルが適切であるが、従来手法では、このようにゼロベクトルでない時間予測動きベクトル候補が得られるため適切ではない。

また、符号化対象ブロック１０４に注目すると、符号化対象ブロック１０４のＭｖブロックは３０４となる。符号化対象ブロック１０４は移動する物体４０２に含まれているにもかかわらず、候補ベクトルはＭｖブロック３０４が有する背景の動きベクトル（ゼロベクトル）となり、符号化対象ブロック１０４の動きベクトルの予測として適切ではないものが選択される。

このように、従来の候補ベクトルを生成する方法は、動きの異なる境界付近のブロックでは、不適切な動きベクトルが候補ベクトルとして選択される場合があり、候補ベクトルをスケーリングして得られる時間予測動きベクトル候補が不適切となる場合があった。

したがって、上記のような問題点に鑑みてなされた本発明の目的は、不適切な候補ベクトルの生成率を従来よりも減少させ、より適切な時間予測動きベクトル候補（を得るための候補ベクトル）を生成する生成装置、符号化装置、復号装置、及びプログラム提供することにある。

上記課題を解決するために本発明に係る時間予測動きベクトル候補生成装置は、符号化対象ブロックと異なる時間位置にあるＣｏｌフレームに存在する前記符号化対象と同位置同サイズのＣｏｌブロックを基準とし、前記Ｃｏｌブロックが持つ動きベクトルの方向に存在するブロックを、参照ブロックとして決定する参照ブロック決定部と、前記参照ブロックが持つ動きベクトルを候補ベクトルとして取得し、前記Ｃｏｌフレームと前記参照ブロックが持つ動きベクトルが参照するフレームの参照画像間距離に基づいて、前記候補ベクトルをスケーリングし、時間予測動きベクトル候補を生成する、スケーリング処理部と、を備えたことを特徴とする。

また、前記時間予測動きベクトル候補生成装置は、前記参照ブロックが前記Ｃｏｌブロックと隣接することが望ましい。

また、前記時間予測動きベクトル候補生成装置は、前記Ｃｏｌブロックから前記Ｃｏｌブロックが持つ動きベクトルの大きさだけ離れた画素を含むブロックを前記参照ブロックとすることが望ましい。

また、前記時間予測動きベクトル候補生成装置は、前記Ｃｏｌブロックの動きベクトルが無い又はゼロベクトルの場合、若しくは、前記Ｃｏｌブロックの動きベクトルの方向に位置するブロックが、存在しない又は動きベクトルを持たない場合は、前記Ｃｏｌブロックを参照ブロックとすることが望ましい。

上記課題を解決するために本発明に係る符号化装置は、前記時間予測動きベクトル候補生成装置を含む動き推定部を備えたことを特徴とする。

また、上記課題を解決するために本発明に係る復号装置は、前記時間予測動きベクトル候補生成装置を含む動き復号部を備えたことを特徴とする。

また、上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記時間予測動きベクトル候補生成装置として機能させることを特徴とする。

本発明における時間予測動きベクトル候補生成装置、符号化装置、復号装置、及びプログラムによれば、不適切な候補ベクトルの生成率を従来よりも減少させ、より適切な時間予測動きベクトル候補を生成することができる。

本発明における候補ベクトル及び時間予測動きベクトル候補を求める方法の概略を説明する図である。 本発明の時間予測動きベクトル候補生成装置を用いた符号化装置の例を示すブロック図である。 本発明の時間予測動きベクトル候補生成装置のブロック図である。 本発明の時間予測動きベクトル候補生成装置を用いた復号装置の例を示すブロック図である。 実施例１の参照ブロックの配置を示す図である。 実施例２の参照ブロックの配置を示す図である。 実施例３の参照ブロックの配置を示す図である。 実施例４の参照ブロックの配置を示す図である。 実施例５の参照ブロックの配置を示す図である。 実施例６の参照ブロックの配置を示す図である。 一般的な動きベクトルの予測について説明する図である。 従来の候補ベクトル及び時間予測動きベクトル候補を求める方法の概略を説明する図である。

（本発明の原理）
本発明により、適切な候補ベクトル（及びその候補ベクトルをスケーリングして得られる適切な時間予測動きベクトル候補）が得られる原理を、図１を用いて説明する。

図１は、本発明における候補ベクトル及び時間予測動きベクトル候補を求める方法の概略を説明するための図であり、符号化対象フレームとそれに含まれる符号化対象ブロック１０１〜１０５、Ｃｏｌフレーム（ＣｏｌＰｉｃ）とそれに含まれるＣｏｌブロック２０１〜２０５、参照ブロック（Ｍｖブロック）３０１〜３０５等の関係を、１次元で模式的に示している。図１は、図１２と同様に、静止した背景の前を物体が移動している様子を示している。

本発明では、Ｃｏｌブロックを起点とし、Ｃｏｌブロックが持つ動きベクトルの方向に位置するブロックを参照ブロック（Ｍｖブロック）として決定する。ただし、Ｃｏｌブロックの動きベクトルが無い、又はゼロベクトルの場合や、動きベクトルの方向に位置するブロックが存在しない又は動きベクトルを持たない場合は、Ｃｏｌブロックを参照ブロック（Ｍｖブロック）とする。図１の模式図上では、例えば、符号化対象ブロック１０１については、対応するＣｏｌブロック２０１が背景領域に位置しておりゼロベクトルを持つため、Ｍｖブロック３０１はＣｏｌブロック自身（すなわち２０１）となる。したがって、符号化対象ブロック１０１の候補ベクトルはＣｏｌブロック２０１が持つゼロベクトルとなり、この候補ベクトルをスケーリングすることで適切な時間予測動きベクトル候補が得られる。

また、背景領域に位置する符号化対象ブロック１０２については、Ｃｏｌブロック２０２が持つ動きベクトルの方向に存在するブロック３０２がＭｖブロックとなる。Ｍｖブロック３０２（これは、Ｍｖブロック３０１と同じブロックである）が持つ動きベクトル、すなわちゼロベクトルが符号化対象ブロック１０２の候補ベクトルとなり、この候補ベクトルをスケーリングすることで適切な時間予測動きベクトル候補が得られる。

さらに、移動物体中に位置する符号化対象ブロック１０３，１０４は、対応するＣｏｌブロック２０３，２０４が持つ動きベクトル４０３の方向に位置するブロック３０３，３０４がそれぞれＭｖブロックとなり、Ｍｖブロック３０３，３０４が持つ動きベクトル、すなわち移動する物体の動きベクトル４０３が候補ベクトルとして得られるから、この場合も候補ベクトルをスケーリングすることで適切な時間予測動きベクトル候補が得られる。

このように、符号化対象ブロックがアンカバード領域（前景となっている物体が移動することにより現れてくる背景となっていた領域）及びその近傍に存在する場合、従来の手法では不適切な動きベクトルが候補ベクトル（及びその候補ベクトルをスケーリングして得られる時間予測動きベクトル候補）として得られることがあったが、本発明では適切な動きベクトルを候補ベクトル（及びその候補ベクトルをスケーリングして得られる時間予測動きベクトル候補）として得ることが可能であり、従来よりも不適切な候補ベクトル及び不適切な時間予測動きベクトル候補の生成率を減少させることができる。

なお、符号化対象ブロック１０５については、移動する物体中のブロックであるが、従来手法、本発明ともに背景のゼロベクトルが候補ベクトル（及びその候補ベクトルをスケーリングして得られる時間予測動きベクトル候補）として得られる。このようにブロック１０５のようなカバード領域（前景となっている物体が移動することにより背景が隠される領域）については従来性能と同等であるから、格別の問題にはならない。

以下、本発明の実施の形態について説明する。

（実施の形態）
図２は、本発明の時間予測動きベクトル候補生成装置を用いた、符号化装置の例を示すブロック図である。なお、図２では、本発明の説明で不要なフレーム内予測部などは省略しているが、周知の処理を適宜加えることができる。

符号化装置１０は、動画像フレームを入力して、符号化されたビット列（ビットストリーム）を出力する。符号化装置１０は、加算器（又は減算器）１１、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）部１２、量子化部１３、エントロピー符号化部１４、逆量子化部１５、逆ＤＣＴ部１６、加算器１７、フレームメモリ１８、動き推定部１９、動き補償部２１を備えている。このうち、逆量子化部１５、逆ＤＣＴ部１６、加算器１７、フレームメモリ１８、動き推定部１９、及び動き補償部２１が、動画像の局部復号器として機能する。また、動き推定部１９の内部には、本発明の時間予測動きベクトル候補生成装置２０がある。

加算器１１は、符号化装置１０に入力される動画像フレームがプラス（＋）入力され、動き補償部２１から入力される予測画像がマイナス（−）入力され、入力動画像フレームから予測画像の減算処理を行い、両画像の差分画像をＤＣＴ部１２に出力する。なお、この加算器１１は、減算器として設計することもできる。

ＤＣＴ部１２は、加算器１１から入力された差分画像に対して、離散コサイン変換による変換処理を行い、その変換係数を量子化部１３に出力する。なお、離散コサイン変換は変換処理の代表的方法であるが、他の変換方法（離散サイン変換（ＤＳＴ）や、カルーネン・レーベ変換（ＫＬＴ）など）を行っても良い。

量子化部１３は、ＤＣＴ部１２から出力された変換係数の量子化処理を行い、その結果（以下、ＤＣＴ係数と呼ぶ）をエントロピー符号化部１４及び局部復号器に出力する。

エントロピー符号化部１４は、量子化部１３から入力されたＤＣＴ係数（すなわち、画像の符号化データ）とともに、後述する動き推定部１９から入力される動きベクトル等、画像の復号に必要なデータをエントロピー符号化（シンボル毎の出現確率に基づき異なる長さの符号語長を用いる符号化）をして、ビット列を作成し、その後、伝送路等への出力を行う。

逆量子化部１５は、量子化部１３から入力されたＤＣＴ係数を逆量子化して、画像復号のための変換係数を生成し、これを逆ＤＣＴ部１６へ出力する。

逆ＤＣＴ部１６は、逆量子化部１５から入力された変換係数を基に、離散コサイン逆変換（ＤＣＴ部で行われた処理と反対の逆変換処理）を行い、画像を生成する。その結果を加算器１７に出力する。

加算器１７は、逆ＤＣＴ部１６で逆変換されたデータ、すなわち、差分画像の復号処理されたデータと、後述の動き補償部２１で処理された予測画像のデータとを加算し、その合成画像データをフレームメモリ１８に出力する。

フレームメモリ１８は、加算器１７で生成された合成画像データを局所復号画像として蓄積する。なお、このブロック図においては、局所復号器内に通常設けられるループフィルタ等は省略しているが、周知の処理を適宜加えることができる。フレームメモリ１８に蓄積された局所復号画像は、順次、動き推定部１９及び動き補償部２１に出力される。

動き推定部１９は、入力された動画像フレーム（符号化対象フレーム）と、フレームメモリ１８からの局所復号画像が入力され、画像の動きを推定し、推定された動きに関する情報を、動きベクトルとして出力する。動き推定部１９は、その内部に後述する時間予測動きベクトル候補生成装置２０を備えており、当該時間予測動きベクトル候補生成装置２０から生成される時間予測動きベクトル候補と、図示しない空間予測動きベクトル候補生成装置から生成される空間予測動きベクトル候補とを基に、適切な動きベクトルを導出する。なお、時間予測動きベクトル候補の決定には処理済みの動きベクトルを参照するため、動き推定部１９は、過去の動きベクトルを蓄えるメモリ（図示せず）を備えている。

なお、動きベクトルは、動き補償部２１に出力されるとともに、送信先における復号に必要なデータであることから、例えば、時間又は空間予測動きベクトル候補のインデックスと差分ベクトルといった形（図２中では、これらのインデックスや差分ベクトルなどを動きベクトルとして総称）でエントロピー符号化部１４にも出力され、ＤＣＴ符号等とともにエントロピー符号化されて、ビット列として出力される。

動き補償部２１は、フレームメモリ１８からの局所復号画像（前フレームの復号画像）と、動き推定部１９から入力された画像の動きベクトル情報に基づいて、動き補償（予測）処理を行い、符号化対象フレームの予測画像を生成して、加算器（又は減算器）１１及び加算器１７に出力する。つまり、逆量子化部１５、逆ＤＣＴ部１６、加算器１７、フレームメモリ１８、及び動き推定部１９とともに、動画像の局所復号器を構成する。

以上のように、本発明の時間予測動きベクトル候補生成装置２０を含む符号化装置１０が構成され、符号化処理が行われる。

図３は、本発明の時間予測動きベクトル候補生成装置２０のブロック図である。時間予測動きベクトル候補生成装置２０は、参照ブロック（Ｍｖブロック）決定部３１とスケーリング処理部３２とからなり、この参照ブロック（Ｍｖブロック）決定部３１の動作が従来のものと異なっている。

時間予測動きベクトル候補生成装置２０には、動画像フレーム（符号化対象フレーム、Ｃｏｌフレーム、さらにＣｏｌフレームの参照フレーム等、処理に必要な一連の画像フレーム）が入力され、少なくとも、符号化対象フレームとＣｏｌフレームが参照ブロック決定部３１に入力される。

参照ブロック決定部３１は、図１の原理で説明したとおり、符号化対象ブロックと異なる時間位置にあるフレーム（Ｃｏｌフレーム）に存在する当該符号化対象と同位置同サイズのＣｏｌブロックを基準とし、Ｃｏｌブロックが持つ動きベクトルの方向に位置するブロックを、動きベクトルを参照（取得）するための参照ブロック（Ｍｖブロック）として決定する。Ｃｏｌブロックに動きベクトルが無い、又はＣｏｌブロックの動きベクトルゼロベクトルの場合、或いは、Ｃｏｌブロックの動きベクトルの方向に位置するブロックが、存在しない又は動きベクトルを持たない場合は、Ｃｏｌブロックを参照ブロックとすることが望ましい。なお、Ｃｏｌブロックを参照ブロックとする場合に、Ｃｏｌブロック全体を参照ブロックとして設定しても良いし、図１１で説明したように、Ｃｏｌブロック内のセンター右下ブロック（Ｃ₃）を参照ブロックとして設定しても良い。

スケーリング処理部３２は、参照ブロック（Ｍｖブロック）が持つ動きベクトルを候補ベクトルとして取得し、Ｃｏｌフレームと、参照ブロックが持つ動きベクトルが参照するフレームの参照画像間距離に基づいて、候補ベクトルをスケーリングし、時間予測動きベクトル候補を生成する。このスケーリング処理は、従来のＨＥＶＣ方式等で行われる処理と、基本的に同等である。

このように、参照ブロックの決定と、参照ブロックが持つ動きベクトル（候補ベクトル）のスケーリング処理の結果、時間予測動きベクトル候補が生成される。

次に、本発明の時間予測動きベクトル候補生成装置を復号装置で利用する場合について説明する。図４は、本発明の時間予測動きベクトル候補生成装置２０を用いた復号装置４０の例を示すブロック図である。

復号装置４０は、符号化された動画像のビット列（ビットストリーム）を入力して、復号動画像フレームを出力する。復号装置４０は、エントロピー復号部４１、逆量子化部４２、逆ＤＣＴ部４３、加算器４４、フレームメモリ４５、動き復号部４６、動き補償部４７を備えている。そして、動き復号部４６の内部には、本発明の時間予測動きベクトル候補生成装置２０がある。

エントロピー復号部４１は、復号装置４０に入力されるビットストリーム（符号化された動画像のビット列）を、エントロピー復号する。復号処理によって得られた画像データとしてのＤＣＴ係数を逆量子化部４２に出力し、復号処理によって得られた動きベクトル（時間又は空間予測動きベクトル候補のインデックスと差分ベクトル等）を動き復号部４６に出力する。

逆量子化部４２は、エントロピー復号部４１から入力されたＤＣＴ係数を逆量子化して、画像復号のための変換係数を生成し、これを逆ＤＣＴ部４３へ出力する。

逆ＤＣＴ部４３は、逆量子化部４２から入力された変換係数を基に、離散コサイン逆変換（ただし、離散コサイン逆変換に限られず、符号化装置のＤＣＴ部で行われた処理と反対の逆変換処理）を行い、画像を生成する。その結果を加算器４４に出力する。

加算器４４は、逆ＤＣＴ部４３の逆変換処理で生成された画像（差分画像）データと、後述の動き補償部４７で処理された予測画像のデータとを加算し、その合成画像データをフレームメモリ４５に出力する。

フレームメモリ４５は、加算器４４で生成された合成画像データを蓄積するとともに、その合成画像を、復号動画像フレームとして出力する。なお、当該復号動画像フレームは、動き補償部４７で利用する復号画像となり、また、復号装置４０の出力となる。

動き復号部４６は、符号化装置から送られたビット列をエントロピー復号部４１で復号した動きベクトル（例えば、時間又は空間予測動きベクトル候補のインデックスと差分ベクトル）が入力される。動き復号部４６内に、図３で説明した時間予測動きベクトル候補生成装置２０を備えることにより、内部で時間予測動きベクトル候補を生成することができ、インデックスに基づいて時間又は空間予測動きベクトル候補を選択し、さらに差分ベクトル等を用いることにより、画像の各復号領域の動きベクトルを適切に生成することができる。生成された動きベクトルは、動き補償部４７に出力される。なお、時間予測動きベクトル候補の決定には処理済みの動きベクトルを参照するため、動き復号部４６は、過去の動きベクトルを蓄えるメモリ（図示せず）を備えている。

動き補償部４７は、フレームメモリ４５からの復号画像（前フレームの復号画像）と、動き復号部４６から入力された画像の動きベクトル情報に基づいて、動き補償（予測）処理を行い、予測画像を生成して、加算器４４に出力する。

以上のように、本発明の時間予測動きベクトル候補生成装置２０を含む復号装置４０が構成され、動画像の復号処理が行われる。

図５は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例１の参照ブロックの配置を示す図である。

Ｃｏｌブロックが図５に示す中央のブロック２００のとき、Ｃｏｌブロック２００が持つ動きベクトル（ｖ_ｘ，ｖ_ｙ）の符号（＋／０／−）により、次の表１によりＭｖブロックの位置を選択する。なお、表中に指定するＭｖブロックが使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

参照ブロック（Ｍｖブロック）５０１〜５０８の位置は、図５に示すとおりであり、次のように定義される。

Ｍｖブロック５０１は、Ｃｏｌブロック２００の左上に隣接するブロック。

Ｍｖブロック５０２は、Ｃｏｌブロック２００の左に隣接し、Ｃｏｌブロックと下端を同じにするブロック。（Ｃｏｌブロック２００の左に隣接し、その最下端の符号化最小単位を含むブロック。以下の説明においても、端部を同じにするは同趣旨。）

Ｍｖブロック５０３は、Ｃｏｌブロック２００の左下に隣接するブロック。

Ｍｖブロック５０４は、Ｃｏｌブロック２００の上に隣接し、Ｃｏｌブロックと右端を同じにするブロック。

Ｍｖブロック５０５は、Ｃｏｌブロック２００の下に隣接し、Ｃｏｌブロックと右端を同じにするブロック。

Ｍｖブロック５０６は、Ｃｏｌブロック２００の右上に隣接するブロック。

Ｍｖブロック５０７は、Ｃｏｌブロック２００の右に隣接し、Ｃｏｌブロックと下端を同じにするブロック。

Ｍｖブロック５０８は、Ｃｏｌブロック２００の右下に隣接するブロック。

なお、図５においては、参照するＭｖブロックのサイズが同じ大きさに記載されているが、各Ｍｖブロックは、その位置（例えば、Ｍｖブロック５０１であれば、Ｃｏｌブロック２００の左上）にある符号化済みのブロックを意味するのであって、ブロックサイズは任意の大きさ（既に設定済みの大きさ）となる。他の実施例でも同様である。

図６は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例２の参照ブロックの配置を示す図である。

Ｃｏｌブロックが図６に示す中央のブロック２００のとき、Ｃｏｌブロック２００が持つ動きベクトル（ｖ_ｘ，ｖ_ｙ）の符号（＋／０／−）により、次の表２によりＭｖブロックの位置を選択する。なお、表中に指定するＭｖブロックが使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

参照ブロック（Ｍｖブロック）６０１〜６０８の位置は、図６に示すとおりであり、次のように定義される。

Ｍｖブロック６０１は、Ｃｏｌブロック２００の左上に隣接するブロック。

Ｍｖブロック６０２は、Ｃｏｌブロック２００の左に隣接し、Ｃｏｌブロックの上下方向の中央に位置するブロック。（なお、Ｃｏｌブロックの辺の中央がブロックの境界になるときは、境界の上下のブロックのどちらか一方をＭｖブロックとして選択するよう、事前に設定しておけば良い。以下の中央の取り扱いも同様。）

Ｍｖブロック６０３は、Ｃｏｌブロック２００の左下に隣接するブロック。

Ｍｖブロック６０４は、Ｃｏｌブロック２００の上に隣接し、Ｃｏｌブロックの左右方向の中央に位置するブロック。

Ｍｖブロック６０５は、Ｃｏｌブロック２００の下に隣接し、Ｃｏｌブロックの左右方向の中央に位置するブロック。

Ｍｖブロック６０６は、Ｃｏｌブロック２００の右上に隣接するブロック。

Ｍｖブロック６０７は、Ｃｏｌブロック２００の右に隣接し、Ｃｏｌブロックの上下方向の中央に位置するブロック。

Ｍｖブロック６０８は、Ｃｏｌブロック２００の右下に隣接するブロック。

図７は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例３の参照ブロックの配置を示す図である。

Ｃｏｌブロックが図７に示す中央のブロック２００のとき、Ｃｏｌブロック２００が持つ動きベクトル（ｖ_ｘ，ｖ_ｙ）の符号（＋／０／−）により、次の表３によりＭｖブロックの位置を選択する。なお、表中に指定するＭｖブロックが使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

参照ブロック（Ｍｖブロック）７０１〜７０８の位置は、図７に示すとおりであり、次のように定義される。

Ｍｖブロック７０１は、Ｃｏｌブロック２００の左上に隣接するブロック。

Ｍｖブロック７０２は、Ｃｏｌブロック２００の左に隣接し、Ｃｏｌブロックと上端を同じにするブロック。（Ｃｏｌブロック２００の左に隣接し、その最上端の符号化最小単位を含むブロック。以下の説明においても、端部を同じにするは同趣旨。）

Ｍｖブロック７０３は、Ｃｏｌブロック２００の左下に隣接するブロック。

Ｍｖブロック７０４は、Ｃｏｌブロック２００の上に隣接し、Ｃｏｌブロックと左端を同じにするブロック。

Ｍｖブロック７０５は、Ｃｏｌブロック２００の下に隣接し、Ｃｏｌブロックと左端を同じにするブロック。

Ｍｖブロック７０６は、Ｃｏｌブロック２００の右上に隣接するブロック。

Ｍｖブロック７０７は、Ｃｏｌブロック２００の右に隣接し、Ｃｏｌブロックと上端を同じにするブロック。

Ｍｖブロック７０８は、Ｃｏｌブロック２００の右下に隣接するブロック。

図８は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例４の参照ブロックの配置を示す図である。

Ｃｏｌブロック２００の左上の点が持つ動きベクトルが指し示す点（動きベクトルの方向に動きベクトルの大きさだけ離れた画素）を包含するブロック８０１をＭｖブロックとする。なお、ベクトルが指し示す点を包含するブロックが、Ｍｖブロックとして使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

図９は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例５の参照ブロックの配置を示す図である。

Ｃｏｌブロック２００の中心点が持つ動きベクトルが指し示す点を包含するブロック８０２をＭｖブロックとする。なお、ベクトルが指し示す点を包含するブロックが、Ｍｖブロックとして使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

図１０は、Ｃｏｌブロックが持つ動きベクトルに基づいて、参照ブロック（Ｍｖブロック）を決定する場合の、実施例６の参照ブロックの配置を示す図である。

Ｃｏｌブロック２００の右下の点が持つ動きベクトルが指し示す点を包含するブロック８０３をＭｖブロック８０３とする。なお、ベクトルが指し示す点を包含するブロックが、Ｍｖブロックとして使用できない場合（画面外、未符号化、動きベクトルを有していない場合等）は、Ｃｏｌブロック２００をＭｖブロックとする。

実施例４〜６については、Ｃｏｌブロック２００の動きベクトルの大きさだけ離れたブロックを参照ブロックとするため、符号化対象ブロックがアンカバード領域である場合、移動物体が早い動きをしていたとしても、運動ベクトルに応じて移動物体の存在しない離れた領域のブロックを参照ブロックとして抽出することとなり、正しい時間予測動きベクトル候補が得られる可能性が高まる。

なお、上述した時間予測動きベクトル候補生成装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、時間予測動きベクトル候補生成装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１０ 符号化装置
１１ 加算器
１２ ＤＣＴ部
１３ 量子化部
１４ エントロピー符号化部
１５ 逆量子化部
１６ 逆ＤＣＴ部
１７ 加算器
１８ フレームメモリ
１９ 動き推定部
２０ 時間予測動きベクトル候補生成装置
２１ 動き補償部
３１ 参照ブロック決定部
３２ スケーリング処理部
４０ 復号装置
４１ エントロピー復号部
４２ 逆量子化部
４３ 逆ＤＣＴ部
４４ 加算器
４５ フレームメモリ
４６ 動き復号部
４７ 動き補償部
１００〜１０５ 符号化対象ブロック
２００〜２０５ Ｃｏｌブロック
３００〜３０５ 参照ブロック
４０１，４０２ 物体
４０３ 動きベクトル
５０１〜５０８ 参照ブロック
６０１〜６０８ 参照ブロック
７０１〜７０８ 参照ブロック
８０１〜８０３ 参照ブロック

Claims (7)

1. 符号化対象ブロックと異なる時間位置にあるＣｏｌフレームに存在する前記符号化対象と同位置同サイズのＣｏｌブロックを基準とし、前記Ｃｏｌブロックが持つ動きベクトルの方向に存在するブロックを、参照ブロックとして決定する参照ブロック決定部と、
   前記参照ブロックが持つ動きベクトルを候補ベクトルとして取得し、前記Ｃｏｌフレームと前記参照ブロックが持つ動きベクトルが参照するフレームの参照画像間距離に基づいて、前記候補ベクトルをスケーリングし、時間予測動きベクトル候補を生成する、スケーリング処理部と、
   を備えた、時間予測動きベクトル候補生成装置。
2. 前記参照ブロックが前記Ｃｏｌブロックと隣接することを特徴とする、請求項１に記載の時間予測動きベクトル候補生成装置。
3. 前記Ｃｏｌブロックから前記Ｃｏｌブロックが持つ動きベクトルの大きさだけ離れた画素を含むブロックを前記参照ブロックとすることを特徴とする、請求項１に記載の時間予測動きベクトル候補生成装置。
4. 前記Ｃｏｌブロックの動きベクトルが無い又はゼロベクトルの場合、若しくは、前記Ｃｏｌブロックの動きベクトルの方向に位置するブロックが、存在しない又は動きベクトルを持たない場合は、前記Ｃｏｌブロックを参照ブロックとする、請求項１乃至３のいずれか一項に記載の時間予測動きベクトル候補生成装置。
5. 請求項１乃至４のいずれか一項に記載の時間予測動きベクトル候補生成装置を含む動き推定部を備えた、符号化装置。
6. 請求項１乃至４のいずれか一項に記載の時間予測動きベクトル候補生成装置を含む動き復号部を備えた、復号装置。
7. コンピュータを、請求項１乃至４のいずれか一項に記載の時間予測動きベクトル候補生成装置として機能させるためのプログラム。
   

Images