JP2009290295A - 動き補償予測装置 - Google Patents

Abstract

【課題】演算量が少なくかつ固定的で、最適な動きベクトルを求めることのできる動き補償予測装置を得る。
【解決手段】ステップ１の処理として、評価値算出部１１により、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する。ステップ２の処理として、探索領域設定部１２により、評価値算出部１１で算出された評価値の中で、最小となる画素位置の方向を中心に探索領域を設定する。ステップ３の処理として、評価値算出部１１により、探索領域内で探索原点から半径方向の直線上に設定された複数の画素位置の評価値を算出し、また、探索領域設定部１２により、直線上の複数の画素位置の評価値に基づいて、この直線方向に再度探索領域を設定する。
【選択図】図１

Description

この発明は、画像符号化装置における動きベクトルを求めるための動き補償予測装置に関するものである。

画像符号化方式の国際標準であるＭＰＥＧ−２、Ｈ．２６４において、符号化対象フレームあるいはフィールドにおける符号化は１６画素×１６ラインのマクロブロックと呼ばれる単位で行われるが、動き補償予測はマクロブロックの中の１６×１６、１６×８、８×１６、８×８、４×４のブロックで行われ、その中から最適なブロックサイズが決定される。
動き補償予測では、動き補償を行うブロックに対して、既に符号化の終了したフレームあるいはフィールドを参照画像として動き探索が行われる。例えば、水平方向３２画素、垂直方向１６ラインの領域を探索領域として、この探索領域の中からパターンマッチングなどを使用して算出した評価値が最小となる画素位置、すなわち動きベクトル（探索原点からの変位量）を求める。評価値としては動き補償を行うブロックと探索領域内の画素との間の差分絶対値和、あるいは差分自乗和が使用されることが多い。

上記の水平方向３２画素、垂直方向１６ラインの探索領域の場合、全ての画素位置に対して探索を行うと、５１２点分の探索を行うこととなる。探索点数を削減する方法として、３段探索、ダイヤモンドサーチなどの方法が使用されているが、符号化ブロックごとの処理時間が一定ではなくハードウェア実装には不向きであること、動きの大きさや絵柄の細かさなどの入力画像の特徴に応じて精度が大きく揺らぐことなどの問題があり、改良方法が数多く検討されている（例えば、特許文献１参照）。
このように、動き補償予測は、探索領域において全画素に対して探索を行うと処理量が膨大になる。探索領域が水平方向、垂直方向ともに拡大させた場合にはさらに増加することになる。一方、処理量を削減する方法を使用した場合にはハードウェア実装に不向きであり、改良のための制御方法が複雑になる。

特開２００６−２５４３４９号公報

上記説明したように、ＭＰＥＧ−２、Ｈ．２６４における動き補償予測では、探索領域の全ての画素に対して評価値を求めた場合は、最適な動きベクトルを求めるための処理量が膨大になるという問題点があった。一方、処理量を削減する方法を使用した場合には、ハードウェア実装に不向きであり、入力される画像に応じて精度が大きく変動するなどの問題があった。

本発明は、上述のような課題を解決するためになされたもので、演算量が少なくかつ固定的で、最適な動きベクトルを求めることのできる動き補償予測装置を得ることを目的とする。

この発明に係る動き補償予測装置は、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、評価値算出部で算出された評価値の中で、最小となる画素位置の方向を中心に、次に評価値を求める探索領域を設定する探索領域設定部とを備えたものである。

この発明の動き補償予測装置は、探索領域内のすべての画素に対して評価値を求めるのではなく、最初のステップにおいて探索原点を中心とする円周上に予め決めた画素位置の評価値を求め、この評価値の値により、次のステップにおいて評価値を演算するための探索領域を決定するようにしたので、演算量が少なく、かつ、その演算量を固定として最適な動きベクトルを求めることができる。

実施の形態１．
図１は、この発明の実施の形態１による動き補償予測装置を含む画像符号化装置の要部示す構成図である。
図において、動き補償予測装置１は、評価値算出部１１と探索領域設定部１２とを備えている。動き補償予測装置１には、符号化対象画像である入力画像信号が入力される。また、符号化済み画像信号を格納する画像メモリ２から参照画像としてその符号化済み画像を入力し、求めた動きベクトルを動き補償部３に出力する。動き補償部３は、求められた動きベクトルと画像メモリ２に格納された符号化済み画像とに基づいて、予測画像を生成する機能部である。尚、これら画像メモリ２および動き補償部３は、画像符号化装置として公知の構成である。また、画像符号化装置として、これ以外にも量子化部や可変長符号化部といった構成を備えるが、その他の構成については本発明の特徴点とは直接関係しないため、ここでの図示やその説明は省略する。

動き補償予測装置１における評価値算出部１１は、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する機能部である。また、探索領域設定部１２は、評価値算出部１１で算出された評価値の中で、最小となる画素位置の方向を中心に、次に評価値を求める探索領域を設定する機能部である。ここで、探索原点とは、符号化対象ブロック内の左上端画素の符号化対象フレーム／フィールド内における位置と同じ、探索対象フレーム／フィールド内の画素位置のことである。
尚、動き補償予測装置１は、ハードウェアで構成しても、また、ソフトウェアで構成してもよい。ソフトウェアで構成する場合は、画像符号化装置をコンピュータで構成し、評価値算出部１１や探索領域設定部１２の機能に対応したプログラムをＣＰＵが実行することで実現する。

次に、実施の形態１の動き補償予測装置の動作について説明する。
先ず、一般的な動き補償予測について説明する。
図２は、画像符号化方式の国際標準であるＭＰＥＧ−２、Ｈ．２６４において行われている動き補償予測の説明図である。
符号化対象フレームにおいて、符号化対象ブロックは、上述したように、マクロブロックの中の１６×１６、１６×８、８×１６、８×８、４×４のブロックで行われ、その中から最適なブロックサイズが決定される。本発明においては動き補償を行うブロックサイズは任意である。このような符号化対象ブロックの動き補償予測を符号化済みフレームの例えば、水平方向３２画素、垂直方向１６ラインといった所定の探索領域内で行う。

図３は、実施の形態１におけるステップ１の処理を示す説明図である。
この図３は、評価値算出部１１が、動き補償予測の探索領域を求めるための評価値を算出する画素位置を示している。ここで、探索領域は水平方向３２画素、垂直方向１６ラインである。ステップ１においては、評価値算出部１１は、探索原点を中心とした円周上にほぼ等間隔に並んだ画素位置ａ〜ｈの評価値を求める。円周が画素上を通らない場合は、円周に一番近い画素を選択する。評価値は差分絶対値和、あるいは差分自乗和である。

図４に画素位置ａ〜ｈにおける評価値の例を示す。ｃ点の評価値が一番小さく、次にｂ点、ｄ点の順に大きくなる。評価値算出部１１においてこのような評価値が求められると、次にステップ２の処理として、探索領域設定部１２が探索領域を設定する。
図５は、ステップ２における探索領域の説明図である。
本実施の形態において、探索領域設定部１２は、探索原点と最小評価値となるｃ点を結ぶ線を中心に対象となるように探索領域を設定する。図中で示した境界線α、境界線βと円周との交点をそれぞれ交点ｓ、交点ｔとする。画素位置ｃから交点ｓ、ｔまでの距離が等しくなるようにｓとｔの位置を決定する。また、ステップ２において評価値を求めることのできる探索点数をＮとしたときに、斜線で示した探索領域に含まれる画素数はＮ以下である。
この探索領域内のすべての画素に対して評価値を求め、最小となる評価値の画素位置を最適ベクトルとして、動き補償部３に出力する。

上記方法により、５１２点のすべての探索点に対して評価値を求める代わりに、（Ｎ＋８）個の評価値を求めるだけで最適な動きベクトルを求めることができ、処理量の削減を図ることができる。処理量を削減する効果としては、画像符号化装置をハードウェアで構成した場合には、回路規模、消費電力を小さくすることができる。また、ソフトウェアで構成した場合には、処理時間を短くすることができるなどの利点がある。また、本実施の形態では、ステップ１において、画素位置ａ〜ｈの８点に対して評価値を求めたが、評価値を求める画素位置や個数を変更することも可能である。
また、隣接する符号化ブロックどうしの相関は強く、動きベクトルも非常に近いものとなることから、ステップ１において評価値を求める円周の半径を、既に符号化の終了した左、上、左上のいずれかの隣接した符号化ブロックで求めた動きベクトルの大きさと同じにすることにより、ステップ１の段階でより精度の高い評価値を得ることができる。

次に、ステップ２において探索領域を決定した後に、ステップ３として探索原点とｃ点を結ぶ直線上に評価値の演算を行う画素点を何点か設定し、その評価値の中で最小となる評価値の近傍を探索領域とすることで探索画素数をさらに削減する方法を説明する。
図６に示すように、評価値算出部１１は、探索原点とｃ点を結ぶ直線上にステップ３として評価値演算を行う点ｉ〜ｎを設定する。これらの点の評価値を計算した結果、探索原点、ｃ点、ｉ〜ｎ点の評価値の中で、ｌ点が最小の評価値であったとする。次に、探索領域設定部１２は、ｌ点を中心として直線方向に所定幅で探索領域を設定する。図６中の斜線部がこの探索領域を示している。そして、この探索領域のすべての画素に対して評価値演算を行い、動きベクトルを算出する。このことにより、さらに処理量を削減することができる。尚、ここでは、探索領域として最小の評価値の画素位置であるｌ点を中心として所定幅としたが、例えば、ｌ点に対して探索原点側あるいは探索原点から離れる方向に探索領域をシフトさせる等、最小の評価値の画素位置に基づいて探索領域を設定するのであれば、どのような設定であってもよい。

以上のように、実施の形態１の動き補償予測装置によれば、符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、評価値算出部で算出された評価値の中で、最小となる画素位置の方向を中心に、次に評価値を求める探索領域を設定する探索領域設定部とを備えたので、演算量が少なく、かつ、その演算量を固定として最適な動きベクトルを求めることができる。
また、最初のステップにおいて評価値を求める画素位置を、探索原点を中心とする円周上に設定するようにしているため、水平方向、垂直方向に均等に設定した場合よりも動きの方向による優劣差を緩和することができる。

また、実施の形態１の動き補償予測装置によれば、評価値算出部は、探索領域設定部で設定された探索領域内で探索原点から半径方向の直線上に設定された複数の画素位置の評価値を算出し、探索領域設定部は、算出された直線上の複数の画素位置の評価値に基づいて、直線方向に再度探索領域を設定するようにしたので、動きベクトルを求める場合の処理量を更に削減することができる。

また、実施の形態１の動き補償予測装置によれば、動き探索の探索原点を中心とする円周の半径を、符号化が終了し、かつ、符号化対象画像のブロックに隣接する左、上、左上のいずれかの符号化ブロックで使用した動きベクトルの大きさと同じにするようにしたので、最初のステップの段階でより精度の高い評価値を得ることができる。

実施の形態２．
実施の形態２は、探索領域設定部で探索領域を設定する場合、最小となる画素位置の評価値と最小となる画素位置の両隣の画素位置の評価値に基づいて行うようにしたものである。ここで、動き補償予測装置としての図面上の構成は実施の形態１と同様であるため、図１を用いて説明する。

実施の形態２の評価値算出部１１の構成は、実施の形態１と同様である。また、探索領域設定部１２は、評価値算出部１１で算出された評価値の中で、最小となる画素位置の方向を基準として、最小となる画素位置の評価値と最小となる画素位置の両隣の画素位置の評価値を元に、次に評価値を求める探索領域を設定するよう構成されている。

次に、実施の形態２の動き補償予測装置の動作について説明する。
実施の形態２では、評価値算出部１１による評価値を求めるステップ１の処理は、図３、図４に示す実施の形態１と同じであるため、ここでの説明は省略し、実施の形態１と異なるステップ２について説明する。
図７は、実施の形態２におけるステップ２における探索領域を示す説明図である。
ここで、図４における画素位置ａ〜ｈの評価値をそれぞれＥａ〜Ｅｈとする。本実施の形態においては、探索領域設定部１２は、探索原点と最小評価値となるｃ点を結ぶ線を基準として評価値Ｅｃ、Ｅｂ、Ｅｄの値に応じて境界領域を偏重するように設定する。即ち、次の条件を満たすものとする。図中で示した境界線α、境界線βと円周との交点をそれぞれ交点ｓ、交点ｔとする。画素位置ｃから交点ｓ、ｔまでの距離の比率ｃｓ／ｃｔが（Ｅｄ−Ｅｃ）／（Ｅｂ−Ｅｃ）に等しくなるようにｓとｔの位置を決定する。また、ステップ２において評価値を求めることのできる探索点数をＮとしたときに、斜線で示した探索領域に含まれる画素数はＮ以下である。
評価値算出部１１は、この探索領域内のすべての画素に対して評価値を求め、最小となる評価値の画素位置を最適ベクトルとして動き補償部３に出力する。

上記方法により、処理量が削減される効果としては実施の形態１に示したものと同様である。さらに、実施の形態１と比較して、画素位置ｂ、ｄのうち評価値の小さいｂ側に探索領域を偏重させることで最適ベクトルをより正確に求めることができるものと考えられる。領域を決定するときに、画素位置ｃと交点ｓ、ｔとの距離を使用したが、探索原点の周りの角度を使用するようにしても構わない。また、実施の形態１で示したように、本実施の形態においても探索原点から画素位置ｃ方向に評価点を求めるステップ３を追加することで、さらに処理量を削減できる。

以上のように、実施の形態２の動き補償予測装置によれば、符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、評価値算出部で算出された評価値の中で、最小となる画素位置の方向を基準として、最小となる画素位置の評価値と最小となる画素位置の両隣の画素位置の評価値を元に、次に評価値を求める探索領域を設定する探索領域設定部とを備えたので、最適な動きベクトルをより正確に求めることができる。

実施の形態３．
実施の形態３は、複数の方向に探索領域を設定するようにしたものである。実施の形態３における動き補償予測装置の図面上の構成は実施の形態１と同様であるため、図１を用いて説明する。

実施の形態３の評価値算出部１１の構成は、実施の形態１と同様である。また、探索領域設定部１２は、評価値算出部１１で算出された評価値の中で、最小値から小さい順に複数の値を取り出し、これら複数の値に対応したそれぞれの画素位置の方向を中心に、次に評価値を求める探索領域を設定するよう構成されている。

次に、実施の形態３の動き補償予測装置の動作について説明する。
実施の形態３では、評価値算出部１１による評価値を求めるステップ１の処理は、図３に示す実施の形態１と同様である。即ち、探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を求める。
図８に、ステップ１によって求めた画素位置ａ〜ｈの評価値の例を示す。図８に示す例では、画素位置ｃにおける評価値が一番小さく、次に画素位置ｆの評価値が小さいが、二つの評価値に大きな差はない。このときの、ステップ２における探索領域を図９に示す。即ち、本実施の形態の探索領域設定部１２においては、画素位置ｃとｆの２方向に探索領域を設定する。それぞれの画素位置における探索領域の設定方法は実施の形態１で示した方法と同じであるが、それぞれの探索領域内の探索画素数はＮ／２以下である。
この二つの探索領域内のすべての画素に対して評価値算出部１１で評価値を求め、最小となる評価値の画素位置を最適ベクトルとする。

上記方法により、処理量が削減される効果としては実施の形態１に示したものと同様である。さらに、評価値の小さい画素位置が３点以上ある場合にも同様の手法をとることができる。また、実施の形態１で示したように、本実施の形態においても探索原点から画素位置ｃ、ｆ方向に評価点を求めるステップ３を追加することで、さらに処理量を削減できる。

以上のように、実施の形態３の動き補償予測装置によれば、符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、評価値算出部で算出された評価値の中で、最小値から小さい順に複数の値を取り出し、これら複数の値に対応したそれぞれの画素位置の方向を中心に、次に評価値を求める探索領域を設定する探索領域設定部とを備えたので、評価値の小さい画素位置が複数存在した場合にも対応することができ、最適な動きベクトルをより正確に求めることができる。

この発明の実施の形態１による動き補償予測装置を示す構成図である。 一般的な動き補償予測の説明図である。 この発明の実施の形態１による動き補償予測装置のステップ１の処理を示す説明図である。 この発明の実施の形態１による動き補償予測装置のステップ１における探索点の評価値を示す説明図である。 この発明の実施の形態１による動き補償予測装置のステップ２の処理を示す説明図である。 この発明の実施の形態１による動き補償予測装置のステップ３の処理を示す説明図である。 この発明の実施の形態２による動き補償予測装置のステップ２の処理を示す説明図である。 この発明の実施の形態３による動き補償予測装置のステップ１における探索点の評価値を示す説明図である。 この発明の実施の形態３による動き補償予測装置のステップ２の処理を示す説明図である。

符号の説明

１ 動き補償予測装置、２ 画像メモリ、３ 動き補償部、１１ 評価値算出部、１２ 探索領域設定部。

Claims (5)

1. 符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、
   前記動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、
   前記評価値算出部で算出された評価値の中で、最小となる画素位置の方向を中心に、次に評価値を求める探索領域を設定する探索領域設定部とを備えた動き補償予測装置。
2. 符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、
   前記動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、
   前記評価値算出部で算出された評価値の中で、最小となる画素位置の方向を基準として、最小となる画素位置の評価値と最小となる画素位置の両隣の画素位置の評価値を元に、次に評価値を求める探索領域を設定する探索領域設定部とを備えた動き補償予測装置。
3. 評価値算出部は、探索領域設定部で設定された探索領域内で探索原点から半径方向の直線上に設定された複数の画素位置の評価値を算出し、
   前記探索領域設定部は、前記算出された直線上の複数の画素位置の評価値に基づいて、当該直線方向に再度探索領域を設定することを特徴とする請求項１または請求項２記載の動き補償予測装置。
4. 符号化済み画像を参照画像として符号化対象画像の動きベクトルを求めるための動き探索を行う動き補償予測装置において、
   前記動き探索の探索原点を中心とする円周上の予め決められた複数の画素位置の評価値を算出する評価値算出部と、
   前記評価値算出部で算出された評価値の中で、最小値から小さい順に複数の値を取り出し、これら複数の値に対応したそれぞれの画素位置の方向を中心に、次に評価値を求める探索領域を設定する探索領域設定部とを備えた動き補償予測装置。
5. 動き探索の探索原点を中心とする円周の半径を、符号化が終了し、かつ、符号化対象画像のブロックに隣接する左、上、左上のいずれかの符号化ブロックで使用した動きベクトルの大きさと同じにすることを特徴とする請求項１から請求項４のうちのいずれか１項記載の動き補償予測装置。

Images