JP2011166206A - 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム - Google Patents

Abstract

【課題】動きベクトルの予測効率を向上させ，動きベクトルの符号量を従来技術よりも削減する。
【解決手段】動きベクトルの予測対象となるブロックの近傍位置にあるブロックを参照ブロックとし，参照ブロックの動きベクトルをもとに参照フレームを探索して，テンプレートマッチングにより参照フレーム中で動きベクトルの乖離度が最小となる領域Ｒを求める。この領域Ｒの位置から時間方向の中央値算出用参照ブロックＢ_t を抽出し，また，予測対象ブロックのフレーム中の参照ブロックの一部を空間方向の中央値算出用参照ブロックＢ_S1，Ｂ_S2として，これらの中央値算出用参照ブロックの動きベクトルのベクトル成分ごとの中央値から予測ベクトルを決定する。
【選択図】図８

Description

本発明は，動き補償を用いる動画像符号化技術に関し，特に動きベクトルの予測効率を向上させ，動画像の符号化効率を向上させるための動きベクトル予測技術に関するものである。

Ｈ．２６４に代表されるような，動き補償を用いた動画像符号化方式では，動きベクトルを効率的に符号化するために，動きベクトルの予測符号化を行う（非特許文献１参照）。

図１２（Ａ）は，従来の動き補償を用いた動画像符号化装置の例を示す。図中，３００は動き補償による符号化部，３１０は動き探索により画像の動きを推定する動き推定部，３２０は動き推定によって算出された動きベクトルを記憶する動きベクトル記憶部，３３０は動きベクトルの予測符号化のために符号化済み情報から動きベクトルを予測する動きベクトル予測処理部，３３１は動きベクトルの予測に用いる参照ブロックの動きベクトルを抽出する参照ブロック動きベクトル抽出処理部，３３２は参照ブロックから抽出した動きベクトルの中央値を算出する中央値算出処理部，３４０は動きベクトルと予測した動きベクトル（以下，予測ベクトルという）の差分を算出する予測残差算出部，３５０は量子化された変換係数や動きベクトルの予測残差信号（予測誤差ベクトルという）に可変長符号を割り当てて符号化ストリームを出力する符号割当て部である。

動き推定部３１０は，符号化対象ブロックの映像信号を入力すると，符号化済みの参照画像の復号信号と照合することにより動き探索を行い，動きベクトルを算出する。算出された動きベクトルは，動き補償による符号化部３００に入力され，動き補償による符号化部３００では，動きベクトルを用いた動き補償によって映像信号と予測信号との残差信号を求め，これを直交変換，量子化などによって符号化処理する。処理結果の量子化値などが符号割当て部３５０で符号化されて符号化ストリームとして出力される。

一方，動きベクトルについても符号量削減のために予測符号化を行う。このため，動き推定部３１０が算出した動きベクトルは，後の参照のために動きベクトル記憶部３２０に記憶される。動きベクトル予測処理部３３０は，符号化済みの動きベクトルを用いて予測ベクトルを算出する。

動きベクトル予測処理部３３０における動きベクトルの予測では，まず，参照ブロック動きベクトル抽出処理部３３１が，図１２（Ｂ）に示すような符号化対象画像（符号化対象ピクチャまたはフレームともいう）の予測対象ブロック（符号化対象ブロック）Ｂ０の近傍にある符号化済みブロックを参照ブロックＢ１〜Ｂ３として，これらの動きベクトルを，動きベクトル記憶部３２０から抽出する。

次に，中央値算出処理部３３２は，参照ブロックＢ１〜Ｂ３の各動きベクトル成分の中央値を算出し，算出した中央値から予測ベクトルを生成する。

予測残差算出部３４０は，動きベクトルと予測ベクトルとの差分（予測誤差ベクトル）を算出し，その予測誤差ベクトルを符号割当て部３５０へ送る。予測誤差ベクトルは，符号割当て部３５０で可変長符号化されて，符号化ストリームとして出力される。

図１３は，従来の動き補償を用いた動画像復号装置の例を示す。図中，４００は符号化ストリーム中の可変長符号を復号する可変長復号部，４１０は予測誤差ベクトルと予測ベクトルを加算する動きベクトル算出部，４２０は動きベクトルを記憶する動きベクトル記憶部，４３０は動きベクトルを復号済みの情報を用いて予測する動きベクトル予測処理部，４３１は動きベクトルの予測に用いる参照ブロックの動きベクトルを抽出する参照ブロック動きベクトル抽出処理部，４３２は参照ブロックから抽出した動きベクトル成分の中央値を算出する中央値算出処理部，４４０は算出された動きベクトルを用いて動き補償を行い，復号対象ブロックを復号して，復号された映像信号を出力する動き補償による復号部である。

符号化ストリームを入力すると，可変長復号部４００は，符号化ストリーム中の可変長符号を復号し，復号対象ブロックの量子化変換係数を動き補償による復号部４４０へ送り，予測誤差ベクトルを動きベクトル算出部４１０へ送る。動きベクトル算出部４１０は，予測誤差ベクトルと，復号済みの動きベクトルから求めた予測ベクトルとを加算し，動きベクトルを算出する。算出された動きベクトルは，動き補償による復号部４４０へ送られるとともに，動きベクトル記憶部４２０に格納される。動き補償による復号部４４０は，算出された動きベクトルを用いて動き補償を行い，復号対象ブロックを復号して，復号された映像信号を出力する。

動画像復号装置における動きベクトル予測処理部４３０の動きベクトルの予測処理は，図１２に示す動画像符号化装置における動きベクトル予測処理部３３０の処理と同様である。

図１４は，従来の他の動きベクトル予測処理部の例を示している。Ｈ．２６４符号化では，Ｂピクチャの符号化における符号化モードの一つとして，動き情報を符号化済みブロックの動き情報から予測生成し，動き情報の符号化を省略するダイレクト・モードと呼ばれる符号化モードが用いられている（非特許文献１，２参照）。

ダイレクト・モードには，主として空間方向の動き情報を利用する空間ダイレクト・モードと，主として時間方向の動き情報を利用する時間ダイレクト・モードがある。この時間ダイレクト・モードにおける動きベクトルの予測では，動きベクトル予測処理部５００は，次のように予測ベクトルを算出する。

アンカーブロック動きベクトル抽出処理部５０１が，アンカーピクチャで予測対象ブロックと同じ位置にあるブロック（これをアンカーブロックという）の動きベクトルｍｖＣｏｌを動きベクトル記憶部５１０から抽出する。アンカーピクチャとは，ダイレクト・モードの動きベクトルを求める際の動きベクトルを持つピクチャのことであり，通常は，表示順序で符号化対象ピクチャの後方の一番近い参照ピクチャである。

次に，外挿予測処理部５０２は，動きベクトルｍｖＣｏｌからＬ０の動きベクトルｍｖＬ０と，Ｌ１の動きベクトルｍｖＬ１を，Ｌ０の参照ピクチャと符号化対象ピクチャとアンカーピクチャとの時間間隔に応じて比例配分することにより算出する。なお，Ｂピクチャでは，任意の参照ピクチャから最大２枚のピクチャを選択できるので，この２枚をＬ０，Ｌ１として区別し，主として前方向予測に用いる予測をＬ０予測，主として後方向予測に用いる予測をＬ１予測と呼んでいる。

動きベクトル予測処理部５００は，外挿予測処理部５０２が算出した動きベクトルｍｖＬ０，ｍｖＬ１を予測ベクトルとして出力する。

国際標準ＡＶＣ／Ｈ．２６４規格書，ISO/SC 29/WG 11 (MPEG) 14496-10:2004. Coding of audio visual objects. Part 10: Advanced Video Coding 3rd Ed. International Standard, Nov. 2007. 角野，菊池，鈴木，"改訂三版Ｈ．２６４／ＡＶＣ教科書"，インプレスＲ＆Ｄ発行，2009, pp.128-130．

図１２で説明したような，従来の動きベクトルの符号化では，空間的な近傍ブロックの動きベクトルから予測ベクトルを生成し，その予測ベクトルと，符号化対象ブロックの動きベクトルとの差分ベクトルを符号化対象としている。

しかし，空間的な予測に限定しているため，時間方向の相関を利用できていない。そのため，時間方向の相関の観点から符号化効率が十分とは言えず，符号化効率の改善の余地が残っていると考えられる。

また，図１４で説明したＨ．２６４における時間ダイレクト・モードにおける符号化でも，符号化済みピクチャの特定のブロック（アンカーブロック）の動きベクトルｍｖＣｏｌから予測ベクトルを生成しているため，時間的な相関の利用が限定的であり，符号化効率の向上に改善の余地がある。すなわち，従来の時間ダイレクト・モードでは，あるブロックの動きベクトルを予測する場合に，他のフレームの同一空間位置（真裏にあたる位置）のブロック（ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）の動きベクトルを利用している。しかし，ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋの動きベクトルは，必ずしも予測対象ブロックの良い動きベクトルになる保証はないため，動きベクトルの予測性能に改善の余地を残している。

本発明は，上記課題の解決を図り，動きベクトルの予測効率を向上させ，動きベクトルの符号量を従来技術よりも削減することを目的とする。

本発明は，空間的な近傍ブロックの動きベクトルだけではなく，時間方向の相関も利用して予測ベクトルを生成する。そのため，符号化済み画像（フレームともいう）の動きベクトルの中で信頼度の高いものを探索し，それを時間方向の参照ブロックの動きベクトルとして，符号化対象画像内の参照ブロック（空間方向の参照ブロックという）の動きベクトルとともに，予測ベクトルの生成に用いる。具体的には，時間方向の参照ブロックの動きベクトルと空間方向の参照ブロックの動きベクトルとのベクトル成分ごとの中央値を，予測ベクトルとする。

符号化済み画像の動きベクトルの中で信頼度の高いものを探索する方法として，符号化対象画像内の予測対象ブロックの近傍にある複数個の符号化済みブロックを第１の参照ブロック群とし，これらの動きベクトルをテンプレートとするテンプレートマッチングにより，符号化済み画像の中から動きベクトルの乖離度が最小となるブロック群の領域を求め，その領域から定まる位置にあるブロックの動きベクトルを抽出する。乖離度として，ベクトル成分ごとの差分絶対値和や二乗誤差和等を用いることができる。

基本的な処理の概要は，以下のとおりである。
１．符号化済みフレーム（以下，ＭＶ参照フレームという）内の符号化済み動きベクトルを用いて，予測ベクトルとしての有効性の尺度となる信頼度に基づき，符号化対象フレーム内の符号化対象ブロック（予測対象ブロック）の動きベクトルを予測する。ここで，ＭＶ参照フレームは，動きベクトルのフレーム間予測において参照する予め定められたフレームであり，動き補償のための画素値のフレーム間予測において参照するフレームと同じフレームであっても，違うフレームであってもどちらでもよい。

以上の１．の処理は，以下のように行われる。
１．１ 予測対象ブロックに対して同一フレーム内の空間的な近傍ブロックの動きベクトルを抽出する。
１．２ 上記近傍ブロックの動きベクトルを用いて，ＭＶ参照フレーム中の乖離度が最小となる領域を探索によって求める。
１．２．１ 上記領域の探索において，空間的な近傍ブロック内の動きベクトルに基づくテンプレートマッチングを行う。
１．２．１．１ 上記乖離度として，ベクトル成分ごとの差分絶対値和を用いる。
１．２．１．２ 上記乖離度として，ベクトル成分ごとの二乗誤差和を用いる。
１．２．１．３ 上記乖離度として，メディアンベクトルに対する誤差を用いる。
１．２．１．４ 上記乖離度として，平均ベクトルに対する誤差を用いる。
１．３ 上記領域内のブロックまたは領域に近接するブロックを予測に用いるＭＶ参照ブロック（時間方向ＭＶ参照ブロック）として抽出する。
１．４ 符号化対象フレーム内の上記近傍ブロック内のブロックから，その一部を予測に用いるＭＶ参照ブロック（空間方向ＭＶ参照ブロック）として抽出する。
１．５ ＭＶ参照ブロック内の動きベクトルに対して，中央値予測を行い，予測ベクトルを算出する。
２．復号の場合にも同様に，復号済みフレーム（ＭＶ参照フレーム）内の復号済み動きベクトルを用いて，信頼度に基づき，復号対象フレーム内の復号対象ブロックの予測ベクトルを求める。

なお，上記１．２．１で用いる空間的な近傍ブロック内の動きベクトルは，符号化装置と復号装置とで共有可能な情報であるため，時間方向ＭＶ参照ブロックの指定に伴う付加情報は発生しない。

さらに，上記発明において，空間方向ＭＶ参照ブロック内の動きベクトルが一致する場合，時間方向ＭＶ参照ブロックの探索を省略する。これにより，演算量の増加を抑圧することができる。

本発明によれば，符号化対象ブロックの動きベクトルを予測するにあたって，空間的な相関だけでなく，複数の参照ブロックの動きベクトルについて時間的な相関も利用して予測ベクトルを算出するので，動きベクトルの予測精度が向上し，その符号量を削減することができるようになり，動画像の符号化効率が向上する。

本発明を適用する動画像符号化装置の一構成例を示す図である。 本発明を適用する動画像復号装置の一構成例を示す図である。 本発明の実施例に係る動きベクトル予測処理部の構成例を示す図である。 動きベクトル予測処理部の処理の一例を示すフローチャートである。 動きベクトル予測処理部の処理の他の一例を示すフローチャートである。 参照ブロックの配置例を示す図である。 参照ブロックの配置例を示す図である。 参照ブロックの配置例１を用いた場合の予測ベクトル算出方法の例を説明する図である。 参照ブロックの配置例２を用いた場合の予測ベクトル算出方法の例を説明する図である。 参照ブロックの配置例３を用いた場合の予測ベクトル算出方法の例を説明する図である。 ソフトウェアプログラムにより実現するときのハードウェア構成例を示す図である。 従来の動画像符号化装置の例を示す図である。 従来の動画像復号装置の例を示す図である。 従来の動きベクトル予測処理部の一例を示す図である。

以下，図面を用いて，本発明の実施形態を詳細に説明する。

図１は，本発明を適用する動画像符号化装置の一構成例を示す図である。動画像符号化装置１において，本実施形態は，特に動きベクトル予測処理部１００の部分が従来技術と異なる部分であり，他の部分は，Ｈ．２６４その他のエンコーダとして用いられている従来の一般的な動画像符号化装置の構成と同様である。

動画像符号化装置１は，符号化対象の映像信号を入力し，入力映像信号のフレームをブロックに分割してブロックごとに符号化し，そのビットストリームを符号化ストリームとして出力する。

この符号化のため，予測残差信号算出部１０は，入力映像信号と動き補償部１９の出力である予測信号との差分を求め，それを予測残差信号として出力する。直交変換部１１は，予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い，変換係数を出力する。量子化部１２は，変換係数を量子化し，その量子化された変換係数を出力する。符号割当て部１３は，量子化された変換係数をエントロピー符号化し，符号化ストリームとして出力する。

一方，量子化された変換係数は，逆量子化部１４にも入力され，ここで逆量子化される。逆直交変換部１５は，逆量子化部１４の出力である変換係数を逆直交変換し，予測残差復号信号を出力する。復号信号算出部１６では，この予測残差復号信号と動き補償部１９の出力である予測信号とを加算し，符号化した符号化対象ブロックの復号信号を生成する。この復号信号は，動き補償部１９における動き補償の参照画像として用いるために，フレームメモリ１７に格納される。

動き推定部１８は，符号化対象ブロックの映像信号について，フレームメモリ１７に格納された参照画像を参照して動き探索を行い，動きベクトルを算出する。この動きベクトルは，動き補償部１９および予測誤差ベクトル算出部１０２に出力され，また，動きベクトル記憶部１０１に格納される。動き補償部１９は，動き推定部１８が求めた動きベクトルを用いて，フレームメモリ１７内の画像を参照することにより，符号化対象ブロックの予測信号を出力する。

動き補償に用いた動きベクトルについても予測符号化するために，動きベクトル予測処理部１００によって符号化済みの情報を用いて動きベクトルの予測を行い，動き補償に用いた動きベクトルと，予測された動きベクトル（これを予測ベクトルという）との差分を，予測誤差ベクトル算出部１０２により算出して，結果を予測誤差ベクトルとして符号割当て部１３へ出力する。符号割当て部１３は，予測誤差ベクトルについてもエントロピ符号化により符号を割り当て，符号化ストリームとして出力する。

図２は，本発明を適用する動画像復号装置の一構成例を示す図である。動画像復号装置２において，本実施形態は，特に動きベクトル予測処理部２００の部分が従来技術と異なる部分であり，他の部分は，Ｈ．２６４その他のデコーダとして用いられている従来の一般的な動画像復号装置の構成と同様である。

動画像復号装置２は，図１に示す動画像符号化装置１により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。

この復号のため，復号部２０は，符号化ストリームを入力し，復号対象ブロックの量子化変換係数をエントロピー復号するとともに，予測誤差ベクトルを復号する。逆量子化部２１は，量子化変換係数を入力し，それを逆量子化して復号変換係数を出力する。逆直交変換部２２は，復号変換係数に逆直交変換を施し，復号予測残差信号を出力する。復号信号算出部２３では，動き補償部２７で生成されたフレーム間予測信号と復号予測残差信号とを加算することで，復号対象ブロックの復号信号を生成する。この復号信号は，表示装置等の外部の装置に出力されるとともに，動き補償部２７における動き補償の参照画像として用いるために，フレームメモリ２４に格納される。

動きベクトル算出部２５は，復号部２０が復号した予測誤差ベクトルと，動きベクトル予測処理部２００が算出した予測ベクトルとを加算し，動き補償に用いる動きベクトルを算出する。この動きベクトルは，動きベクトル記憶部２６に記憶され，動き補償部２７に通知される。

動き補償部２７は，入力した動きベクトルをもとに動き補償を行い，フレームメモリ２４の参照画像を参照して，復号対象ブロックのフレーム間予測信号を生成する。このフレーム間予測信号は，復号信号算出部２３で復号予測残差信号に加算される。

動きベクトル予測処理部２００は，動きベクトル記憶部２６に記憶された復号済みの動きベクトルを用いて，動きベクトルの予測を行い，求めた予測ベクトルを動きベクトル算出部２５に出力する。

図３は，動きベクトル予測処理部の構成例を示す図である。図１に示す動画像符号化装置１における動きベクトル予測処理部１００と，図２に示す動画像復号装置２における動きベクトル予測処理部２００の内部構成は同様であり，例えば図３に示すように構成される。

複製処理部１１０は，動きベクトル予測処理部１００（または２００）において，後続フレームの動きベクトルを予測する際に参照するために，動きベクトル記憶部１０１（または２６）に格納された動きベクトルを，参照フレーム動きベクトル記憶部１１１にコピーする処理を行う。このコピーは，各フレームの全ブロックに対する処理が終了したタイミングで行う。

参照ブロック動きベクトル抽出処理部１１２は，予測対象ブロックに対する参照ブロックを，予測対象ブロックの空間的近傍ブロックから抽出する処理を行う。どの位置の参照ブロックを抽出するかについては，予め定めておくようにしてもよい。その具体例については，後述する。

乖離度最小化領域探索処理部１２０は，参照ブロックの動きベクトルに対して，最も類似している領域を符号化・復号済みフレーム（参照フレームと呼ぶ）内から探索する処理を行う。このための手段として，乖離度算出部１２１，最小乖離度更新処理部１２２，時間方向参照ブロック抽出処理部１２３を備える。

乖離度算出部１２１は，参照フレーム中の領域内の動きベクトルと参照ブロックの動きベクトルとの乖離度を算出する。乖離度が大きいほど，予測ベクトルとして用いる動きベクトルの信頼度が小さいことになる。乖離度の例としては，次のようなものがあるが，これらに限らず，符号化対象ブロックでの動きベクトル予測における有効性を定量的に表すことができるものであれば乖離度として他の尺度を用いてもよい。
〔乖離度の例１〕乖離度として，ベクトル成分ごとの差分絶対値和を用いる。
〔乖離度の例２〕乖離度として，ベクトル成分ごとの二乗誤差和を用いる。
〔乖離度の例３〕乖離度として，メディアンベクトルに対する差分絶対値または二乗誤差を用いる。
〔乖離度の例４〕乖離度として，平均ベクトルに対する差分絶対値または二乗誤差を用いる。

最小乖離度更新処理部１２２は，乖離度算出部１２１による乖離度の算出を，参照フレーム中の探索範囲内で行ったときに，それまでの探索で最小となる乖離度を与える領域を最小乖離度を更新しながら記憶し，最終的にその探索範囲において最小の乖離度を与える領域を求める。

時間方向参照ブロック抽出処理部１２３は，最小乖離度更新処理部１２２によって求めた参照フレームにおける最小の乖離度を与える領域に近接するブロックを，時間方向の参照ブロック（中央値算出用参照ブロックと呼ぶ）として抽出する処理を行う。

中央値算出処理部１１５は，参照ブロック動きベクトル抽出処理部１１２が動きベクトルを抽出した参照ブロック（乖離度算出に使用した参照ブロック）のうち，例えば予測対象ブロックの上端に接するブロックと，左端に接するブロックとを中央値算出用参照ブロックとして，これらの動きベクトルと，時間方向参照ブロック抽出処理部１２３が抽出した中央値算出用参照ブロックの動きベクトルとの中央値を算出し，結果を予測ベクトルとして出力する。

動きベクトル判定部１１３は，乖離度最小化領域探索処理部１２０の処理を実施するか実施しないかを判定する。中央値算出処理部１１５では，例えば，同一フレーム内の２つの中央値算出用参照ブロックから抽出した２つの動きベクトルと，時間方向の参照ブロックから抽出した中央値算出用参照ブロック内の１つの動きベクトルに対して，成分ごとに中央値を算出し，予測ベクトルとすることから，もし，同一フレーム内の中央値算出用参照ブロックから抽出した２つの動きベクトルが同一の場合，予測ベクトルは，同一フレーム内の中央値算出用参照ブロックにおける動きベクトルとして，一意に定まる。このため，同一フレーム内の中央値算出用参照ブロック内の動きベクトルが同一という条件を満たす場合，乖離度最小化領域探索処理部１２０の処理は省略することができる。

そこで，動きベクトル判定部１１３が上記条件が満たされることを検出すると，スイッチ部１１４を操作することにより，乖離度最小化領域探索処理部１２０の処理は省略し，参照ブロック動きベクトル抽出処理部１１２で抽出した参照ブロックの動きベクトルだけを中央値算出処理部１１５の入力とする。

図４は，動きベクトル予測処理部の処理フローチャートである。動画像符号化装置１における動きベクトル予測処理部１００が行う処理の詳細を，図６〜図１０に示す具体例に従って説明する。なお，動画像復号装置２における動きベクトル予測処理部２００の処理も同様である。

［ステップＳ１の処理］
ステップＳ１では，参照ブロック動きベクトル抽出処理部１１２が，予測対象ブロックに対する参照ブロックを，予測対象ブロックの空間的近傍ブロックから抽出する。

予測対象ブロックの空間的近傍ブロックである参照ブロックの配置例を，図６に示す。この例では，参照ブロックの配置例として，図６（Ａ）に示す配置例１と，図６（Ｂ）に示す配置例２と，図６（Ｃ）に示す配置例３があり，このいずれかを，所定の設定値に従って用いるものとする。なお，これらの配置例のどれを用いるかを，適応的に選択するようにしてもよく，その場合には，映像単位，フレーム単位，スライス単位というような符号化単位ごとに，どの配置例を用いて符号化するかを示す情報を，符号化付加情報として付加する。

参照ブロックの配置例１は，予測対象ブロックの上端に接するブロックと，右斜め上のブロックと，左端に接するブロックの計３個の符号化済みブロックを参照ブロックとする。ただし，予測対象ブロックがフレームの右端に存在する場合には，右斜め上のブロックは選べないので，例外として，代わりに左斜め上のブロックを参照ブロックとする。すなわち，配置例３に変更する。

参照ブロックの配置例２は，予測対象ブロックの左斜め上のブロックと，上端に接するブロックと，右斜め上のブロックと，左端に接するブロックの計４個の符号化済みブロックを参照ブロックとする。ただし，予測対象ブロックがフレームの右端に存在する場合には，右斜め上のブロックは選べないので，例外として，右斜め上のブロックを加えない３ブロックとする。すなわち，配置例３に変更する。

参照ブロックの配置例３は，予測対象ブロックの左斜め上のブロックと，上端に接するブロックと，左端に接するブロックの計３個の符号化済みブロックを参照ブロックとする。

これらの参照ブロックの配置例１〜３には，さらに符号化状況に応じて例外がある。例えば，参照ブロックの候補がイントラマクロブロックの場合等には，動きベクトルを持たないため，参照できないからである。その例を，図７に示す。

図７（Ａ）は，参照ブロックの配置例１において，右斜め上のブロックＢ３が参照不可で，左斜め上のブロックＢ１が参照可能な場合の例であり，この場合には，ブロックＢ３の代わりにブロックＢ１を参照ブロックとする。

また，図７（Ｂ）に示す参照ブロックの配置例２において，例えばブロックＢ１が参照不可の場合，参照ブロックとして配置例１の配置を採用する。また，ブロックＢ３が参照不可の場合，配置例３の配置を採用する。

また，図７（Ｃ）に示す参照ブロックの配置例３において，例えばブロックＢ１が参照不可で，ブロックＢ３が参照可能な場合には，ブロックＢ１の代わりにブロックＢ３を参照ブロックに加え，配置例１の配置を採用する。

なお，例えば，複数の参照ブロックが参照不可であるような場合には，本モードによる動きベクトルの予測は行わないで，従来技術と同様な動きベクトルの符号化を行う。

［ステップＳ２の処理］
ステップＳ２では，乖離度最小化領域探索処理部１２０が，テンプレートマッチングによる動きベクトル予測処理を行う。すなわち，ステップＳ１で抽出した参照ブロックの動きベクトルに対して，最も類似している領域を参照フレーム内から探索する処理を行う。具体的には，以下のステップＳ２１〜Ｓ２３を実行する。

［ステップＳ２１の処理］
ステップＳ２１では，乖離度算出部１２１および最小乖離度更新処理部１２２が，参照ブロック（予測対象ブロックの近傍ブロック）の動きベクトルを用いて，参照フレーム中の乖離度が最小となる領域Ｒを求める。

図８（Ａ），（Ｂ）は，参照ブロックの配置例１を用いた場合の探索の例を示している。符号化対象フレームを第ｔフレーム，参照フレームを直前の第ｔ−１フレームとする。第ｔフレームの３個の参照ブロックの位置関係を保ったまま，第ｔ−１フレームにおける３ブロックの動きベクトルの乖離度が最小となる領域Ｒを探索する。

例えば，第ｔフレームの３個の参照ブロックの動きベクトルを，
ｍｖ₁ ＝（ｘ₁ ，ｙ₁ ）
ｍｖ₂ ＝（ｘ₂ ，ｙ₂ ）
ｍｖ₃ ＝（ｘ₃ ，ｙ₃ ）
とし，第ｔ−１フレームの探索範囲における３個のブロックの動きベクトルを，
ｍｖ_j1＝（ｘ_j1，ｙ_j1）
ｍｖ_j2＝（ｘ_j2，ｙ_j2）
ｍｖ_j3＝（ｘ_j3，ｙ_j3）
とする。

乖離度として，例えばベクトル成分ごとの差分絶対値和を用いるものとすると，乖離度は，次式によって算出される。

乖離度＝｜ｘ₁ −ｘ_j1｜＋｜ｘ₂ −ｘ_j2｜＋｜ｘ₃ −ｘ_j3｜
＋｜ｙ₁ −ｙ_j1｜＋｜ｙ₂ −ｙ_j2｜＋｜ｙ₃ −ｙ_j3｜
また，乖離度として，例えばベクトル成分ごとの二乗誤差和を用いるものとすると，乖離度は，次式によって算出される。

乖離度＝（ｘ₁ −ｘ_j1）² ＋（ｘ₂ −ｘ_j2）² ＋（ｘ₃ −ｘ_j3）²
＋（ｙ₁ −ｙ_j1）² ＋（ｙ₂ −ｙ_j2）² ＋（ｙ₃ −ｙ_j3）²
他にも，乖離度として，メディアンベクトルや平均ベクトルに対する差分絶対値または二乗誤差等を用いることができる。

この乖離度の算出を，第ｔ−１フレームにおいて３個のブロック全体を１ブロックずつずらしながら繰り返し，最終的に乖離度が最小となる領域Ｒを求める。

［ステップＳ２２の処理］
ステップＳ２２では，時間方向参照ブロック抽出処理部１２３が，領域Ｒの近傍ブロック，詳しくは参照フレーム（第ｔ−１フレーム）における領域Ｒに対して，符号化対象フレーム（第ｔフレーム）の参照ブロックに対する予測対象ブロックの位置と相対的に同じ位置にあるブロックを，時間方向の参照ブロック（中央値算出用参照ブロックと呼ぶ）として抽出する。

図８の例では，図８（Ｃ）に示すブロックＢ_t が，この時間方向の中央値算出用参照ブロックである。

［ステップＳ２３の処理］
ステップＳ２３では，参照ブロック動きベクトル抽出処理部１１２が動きベクトルを抽出した参照ブロック（乖離度算出に使用した参照ブロック）のうち，予測対象ブロックの上端に接するブロックと，左端に接するブロックとを空間方向の中央値算出用参照ブロックとして抽出する。

図８の例では，図８（Ｃ）に示す第ｔフレームの２つのブロックＢ_S1，Ｂ_S2が，この空間方向の中央値算出用参照ブロックとして選ばれる。

以上のステップＳ２におけるテンプレートマッチングによる動きベクトル予測処理の説明では，図８に示す参照ブロックの配置例１を用いた場合の具体例を説明したが，参照ブロックの配置例２を用いた場合も同様であり，参照ブロックの配置例３を用いた場合も同様である。参照ブロックの配置例２を用いた場合の例を図９に示し，参照ブロックの配置例３を用いた場合の例を図１０に示す。

［ステップＳ３の処理］
ステップＳ３では，中央値算出処理部１１５が，１個の時間方向の中央値算出用参照ブロックＢ_t と，２個の空間方向の中央値算出用参照ブロックＢ_S1，Ｂ_S2の動きベクトルの各成分ごとの中央値から，予測ベクトルを生成して出力する。

以上の例では，時間方向の中央値算出用参照ブロックとして１個，空間方向の中央値算出用参照ブロックとして２個を用いる例を説明したが，それ以上の個数のブロックを中央値算出用参照ブロックとして用いるように定めてもよい。

図５は，動きベクトル予測処理部の処理の他の一例を示すフローチャートであり，図４に示す処理を高速化の観点から改良した例を示している。

図５の処理において，図４と異なるのは，ステップＳ１とＳ２の間にステップＳ１０の処理が追加されていることである。このステップＳ１０では，動きベクトル判定部１１３により，ステップＳ２のテンプレートマッチングによる動きベクトル予測処理をスキップするかどうかの判定を行っている。

例えば，図８〜図１０に示す例において，もし２個の空間方向の中央値算出用参照ブロックＢ_S1，Ｂ_S2の動きベクトルが同一であれば，中央値算出処理部１１５での算出結果の中央値は，この空間方向の中央値算出用参照ブロックＢ_S1，Ｂ_S2の動きベクトルとなる。したがって，ステップＳ２の処理によって時間方向の中央値算出用参照ブロックを求める必要はなくなるので，ステップＳ２の処理をスキップする。これにより，処理が高速化されることになる。

以上説明した図８〜図１０の例では，第ｔフレームの符号化対象フレームに対して，符号化済みフレームの参照フレームとして，１フレーム前の第ｔ−１フレームを用いる例を説明した。しかし，これに限らず，参照フレームとして用いるフレームが，符号化装置側と復号装置側とで，予め定められた規則に基づき共通に決定できるフレームであれば，参照フレームを指定するための新たな符号化付加情報の追加なしに本方式を用いることができる。例えば，Ｈ．２６４符号化におけるＰピクチャのフレーム間予測で参照したフレームを，本実施例で動きベクトルの予測に用いる参照フレームとして定めてもよい。

また，予め定められた複数枚の符号化済みフレームを参照フレームとして用いてもよい。この場合には，複数の参照フレームのそれぞれに対して乖離度最小化領域探索処理部１２０による処理を行い，その中でもっとも乖離度が最小となる領域を持つ参照フレームから，時間方向の中央値算出用参照ブロックを抽出する。

また，予め定められた複数枚の符号化済みフレームでなく，任意の複数枚の符号化済みフレームの中から時間方向の中央値算出用参照ブロックを抽出してもよい。ただし，この場合には，時間方向の中央値算出用参照ブロックを抽出した参照フレームを指定する付加情報を符号化して，符号化装置側から復号装置側へ通知する必要がある。

以上の処理によって算出された予測ベクトルは，図１に示す動画像符号化装置１において，動き推定部１８によって算出された符号化対象ブロックの実際の動きベクトルとの差分である予測誤差ベクトルを算出するために用いられる。

また，このようにして算出された予測ベクトルを，動き補償部１９における動き補償で用いる動きベクトルとすることもできる。すなわち，予測誤差ベクトルを０として処理することもできる。この場合，予測誤差ベクトルの符号化のための符号量は発生しない。本例で算出した予測ベクトルにより動き補償を行ったことを示すモード情報を符号化情報として付加してもよい。

以上の動きベクトル予測を用いる動画像符号化または動画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

図１１は，動画像符号化装置をソフトウェアプログラムを用いて実現するときのハードウェア構成例を示している。

本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，図１等で説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである動画像符号化プログラム５３１が格納されたプログラム記憶装置５３と，ＣＰＵ５０がメモリ５１にロードされた動画像符号化プログラム５３１を実行することにより生成された符号化ストリームを，例えばネットワークを介して出力する符号化ストリーム出力部５４（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

動画像符号化プログラム５３１は，図４または図５で説明した処理によって動きベクトルを予測する動きベクトル予測プログラム５３２を含んでいる。

動画像復号装置をソフトウェアプログラムを用いて実現する場合にも，同様なハードウェア構成によって実現することができる。

１ 動画像符号化装置
２ 動画像復号装置
１０ 予測残差信号算出部
１１ 直交変換部
１２ 量子化部
１３ 符号割当て部
１４，２１ 逆量子化部
１５，２２ 逆直交変換部
１６ 復号信号算出部
１７，２４ フレームメモリ
１８ 動き推定部
１９，２７ 動き補償部
１００，２００ 動きベクトル予測処理部
１０１，２６ 動きベクトル記憶部
１０２ 予測誤差ベクトル算出部
２０ 復号部
２３ 復号信号算出部
２５ 動きベクトル算出部
１１０ 複製処理部
１１１ 参照フレーム動きベクトル記憶部
１１２ 参照ブロック動きベクトル抽出処理部
１１３ 動きベクトル判定部
１１４ スイッチ部
１１５ 中央値算出処理部
１２０ 乖離度最小化領域探索処理部
１２１ 乖離度算出部
１２２ 最小乖離度更新処理部
１２３ 時間方向参照ブロック抽出処理部

Claims (7)

1. 符号化または復号対象画像をブロックに分割し，各ブロックごとに動き補償を用いて画像を符号化または復号する動画像符号化方式における動きベクトル予測方法において，
   符号化または復号対象画像における動きベクトルの予測対象となる予測対象ブロックに対して，同一画像内の予め定められた近傍位置にある複数個の符号化または復号済みブロックを第１の参照ブロック群として，これらの参照ブロック群から動きベクトルを抽出する過程と，
   予め定められた符号化または復号済み画像を参照画像として，前記第１の参照ブロック群から抽出した動きベクトルをテンプレートとするテンプレートマッチングにより，前記第１の参照ブロック群と同じ配置関係にある前記参照画像内のブロック群の中で，動きベクトルの乖離度が最小となるブロック群の領域を求め，その領域によって定められる位置にある１または複数個のブロックを時間方向動きベクトル参照ブロックとして抽出する過程と，
   前記第１の参照ブロック群の中の所定の位置にある１または複数個のブロックを空間方向動きベクトル参照ブロックとして抽出する過程と，
   前記時間方向動きベクトル参照ブロックの動きベクトルと前記空間方向動きベクトル参照ブロックの動きベクトルとから，各ベクトル成分ごとの中央値を算出し，前記予測対象ブロックの動きベクトルに対する予測ベクトルを生成する過程とを有する
   ことを特徴とする動きベクトル予測方法。
2. 請求項１記載の動きベクトル予測方法において，
   前記動きベクトルの乖離度として，前記第１の参照ブロック群の動きベクトルと，前記参照画像内のブロック群の動きベクトルとの，ベクトル成分ごとの差分絶対値和もしくは二乗誤差和，またはメディアンベクトルに対する誤差，または平均ベクトルに対する誤差を用いる
   ことを特徴とする動きベクトル予測方法。
3. 請求項１または請求項２記載の動きベクトル予測方法において，
   前記空間方向動きベクトル参照ブロックとして複数個の参照ブロックを抽出し，それらの参照ブロックの動きベクトルの値が一致する場合に，前記時間方向動きベクトル参照ブロックとして抽出する過程を実行しないで，前記空間方向動きベクトル参照ブロックの動きベクトルを，予測ベクトルとする
   ことを特徴とする動きベクトル予測方法。
4. 符号化または復号対象画像をブロックに分割し，各ブロックごとに動き補償を用いて画像を符号化または復号する動画像符号化方式における動きベクトル予測装置において，
   符号化または復号対象画像における動きベクトルの予測対象となる予測対象ブロックに対して，同一画像内の予め定められた近傍位置にある複数個の符号化または復号済みブロックを第１の参照ブロック群として，これらの参照ブロック群から動きベクトルを抽出する参照ブロック動きベクトル抽出処理部と，
   予め定められた符号化または復号済み画像を参照画像として，前記第１の参照ブロック群から抽出した動きベクトルをテンプレートとするテンプレートマッチングにより，前記第１の参照ブロック群と同じ配置関係にある前記参照画像内のブロック群の中で，動きベクトルの乖離度が最小となるブロック群の領域を求め，その領域によって定められる位置にある１または複数個のブロックを時間方向動きベクトル参照ブロックとして抽出する乖離度最小化領域探索処理部と，
   前記時間方向動きベクトル参照ブロックの動きベクトルと，前記第１の参照ブロック群の中の所定の位置にある１または複数個のブロックからなる空間方向動きベクトル参照ブロックの動きベクトルとから，各ベクトル成分ごとの中央値を算出し，前記予測対象ブロックの動きベクトルに対する予測ベクトルを生成する中央値算出処理部とを備える
   ことを特徴とする動きベクトル予測装置。
5. 請求項４記載の動きベクトル予測装置において，
   前記動きベクトルの乖離度として，前記第１の参照ブロック群の動きベクトルと，前記参照画像内のブロック群の動きベクトルとの，ベクトル成分ごとの差分絶対値和もしくは二乗誤差和，またはメディアンベクトルに対する誤差，または平均ベクトルに対する誤差を用いる
   ことを特徴とする動きベクトル予測装置。
6. 請求項４または請求項５記載の動きベクトル予測装置において，
   前記空間方向動きベクトル参照ブロックとして複数個の参照ブロックが抽出される場合に，それらの参照ブロックの動きベクトルが一致するかどうかを判定する動きベクトル判定部を備え，
   前記動きベクトル判定部が前記動きベクトルが一致すると判定した場合に，前記中央値算出処理部は，前記乖離度最小化領域探索処理部の処理結果を用いないで，前記空間方向動きベクトル参照ブロックの動きベクトルを，予測ベクトルとする
   ことを特徴とする動きベクトル予測装置。
7. 請求項１，請求項２または請求項３記載の動きベクトル予測方法を，コンピュータに実行させるための動きベクトル予測プログラム。

Images