JP2009295029A - 動き量検出装置及び動き量検出方法 - Google Patents

Abstract

【課題】階層化された画像データを用いてブロックマッチング法により動き量を検出する際に、動き量の検出精度を向上できるようにする。
【解決手段】現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれ量を算出する。そして、当該位相ずれ量を解消するように探索フレームの階層化範囲を設定する。例えば、現在フレームと探索フレーム間での階層化位相ずれ量を既知の動きベクトルに基づいて注目ブロック毎に推定し、当該注目ブロックに対応する探索フレームの探索領域について階層化位相ずれ量だけオフセットした階層化範囲を選択する。これにより、位相ずれを含まない階層化ブロックを実現できるので、動き量の検出精度を向上できるようになる。
【選択図】図１

Description

本発明は、階層化ブロックマッチング方法により動きベクトルを求める動き量検出装置及び動き量検出方法に適用可能である。詳しくは、第１の画面の注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように第２の画面の階層化範囲を設定することで、位相ずれを含まない階層化ブロックを実現できるようにすると共に、動き量の検出精度を向上できるようにするものである。

従来、動画像の動き量（動きベクトル）を求める動き量検出方法としてブロックマッチング法（例えば特許文献１参照）が用いられている。ブロックマッチング法では、まず１つの画面を適当な数画素からなるブロックに分割する。続いてこのようにブロック化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロック化されてなる探索領域との間で、所定の評価関数を用いて画素単位で評価する。そして、この評価値を最小とする最適値を求めることにより、２つのブロック化された画像データ間の動き量を検出する。

これにより高い精度で画像の動き量を検出し得るようになされている。ブロックマッチング法では、検出対象のブロック（以下これを注目ブロックと呼ぶ）内の全ての画素に対して、動きベクトルの検出範囲である探索領域をくまなく探索して評価値を算出する。このために計算量が大きくなり、動き量を検出するまでの演算時間が長くなるという問題点があった。

この問題を解決するために、それぞれ異なる解像度でなる複数の階層画像を作成し、この階層画像を用いてブロックマッチング法で動き量を検出する動き量検出方法が提案されている（特許文献２参照）。この階層型動き量検出方法では、まずオリジナル画像としての原画像データ（以下第１階層と呼ぶ）を、平均化やローパスフィルタ処理等により平均値階層化して、画素数を低減した画像データ（以下第２階層と呼ぶ）を作成する。

次に、作成した第２階層の画像データで大まかな動き量を検出し、その動き量に基づいて第１階層の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なお、この階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない第３階層、第４階層、・・・、第ｎ階層の画像データを作成することもできる。このような階層型動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわち上位階層の画像データほどブロックのサイズと探索領域が小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロックサイズ自体は通常のブロックマッチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、探索領域を小さくすることができるため、演算量を削減することができる。

しかしながら、この動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があった。上位階層の画像データでは、画素数の少ないブロックの中に情報を縮退させているためエッジ成分などの画像の特徴量が失われてしまい、最下位階層の原画像と異なってくる。このため、上位階層における平均値階層化された画像データにおいて検出した動き量と、原画像において検出した動き量の対応関係にずれが生じる場合がある。

特公昭５４−１２４９２７号公報 特開平７−８７４９５号公報

特に、フレーム間で階層化を行う矩形範囲（以下階層化ブロックと呼ぶ）の区切りと画面内の物体境界との空間的な相対関係が異なる場合には、画面内の物体の異なった部分がそれぞれ切り出され階層化される。このために、上位階層では対応するブロック同士の性質が大きく異なってしまう（以下この階層化ブロックの区切りと画面内の物体境界との空間的な相対関係を階層化位相と呼ぶ）。

以下、フレーム間での階層化位相ずれについて説明する。図１９は、従来例に係るフレーム間での階層化位相ずれの一例を示す模式図である。この例で、灰白色の実線で格子状に区切られた４×４画素からなる矩形部分が階層化ブロックである。すなわち、第１階層の２×２画素を平均化することで第２階層の１画素を生成し、第２階層の２×２画素（第１階層の４×４の画素に相当する）を平均化することで第３階層の１画素を生成する。なお、この階層化ブロックの境界は固定されている。

図１９に示す現在フレームＦと探索フレームＦ−１とでは階層化ブロックの境界と画面内物体の相対位置が異なっている。現在フレームＦと同じ階層化位相の階層化ブロックは、探索フレームＦ−１には存在しない。このように、画面内の物体の動きの解像度が階層化ブロックの分解能よりも小さいためにフレーム間で階層化位相ずれが生じると、平均値化などの処理を行った上位階層でのブロック同士の性質は大きく異なってしまう。

図２０は、従来例に係るフレーム間での階層化位相のずれの影響で階層化の結果が大きく異なる例を示す模式図である。画素の濃淡は輝度信号のレベル値を示している。現在フレームＦと探索フレームＦ−１において、サイズが８×８からなる第１階層のブロックに対して、２×２の範囲を階層化ブロックとして平均値化処理することで第２階層をそれぞれ生成する。現在フレームＦから探索フレームＦ−１への注目ブロックの動きベクトルが（１、１）の場合、画面内の物体境界がフレーム間で階層化ブロックの境界を跨ぐことになる。

このため、階層化を行う範囲（階層化範囲）に同一物体が含まれているにもかわらず、図２０に示すように第２階層の画像値は大きく異なる。このような場合、上位階層において現在フレームＦにおける注目ブロックに対して探索フレームＦ−１で探索を行っても、正しく対応するブロックを検出できないおそれがある。

図２１は、従来例に係る階層化位相ずれの影響で誤検出を生じる一例を示す模式図である。図２１に示す探索フレームＦ−１の第２階層で、現在フレームＦの注目ブロックＢＬ８を探索する場合を考える。この場合、探索フレームＦ−１の第１階層においてブロックＢＬ５を検出するためには、探索フレームＦ−１の第２階層では対応するブロックＢＬ６を検出するのが望ましい。しかしながら、実際に第２階層で探索を行うと、階層化位相ずれのために誤って探索フレームＦ−１の第１階層のブロックＢＬ７に対応するブロックＢＬ８を検出してしまう。

このとき、探索フレームＦ−１を現在フレームＦに対して（１、１）のオフセットをかけた範囲で階層化を行えば、階層化位相ずれの無い第２階層が得られる。なお、探索フレームＦ−１の現在フレームＦに対する階層化位相ずれ量は（１、１）である。

このフレーム間での階層化位相のずれは、平均値化された上位階層において動き量を誤検出する主な原因の一つである。実際上、この動き量検出方法ではまず画像の粗い上位階層においてブロック毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出する。このため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与えることなる。上位階層での検出結果と原画像での検出結果との対応関係のずれ量が大きく、探索領域以内でカバーできなかった場合には、下位階層において正しい動き量を検出することはできず誤検出となる。

このように、従来の階層型動き検出方法には、フレーム間で階層化位相のずれが生じた場合、階層が上位になる程ブロックサイズが小さくなり動き量に対する分解能が低下するために、対応するブロック同士の性質が大きく異なってしまい、誤検出が起きる可能性が大きくなるという問題がある。

そこで、本発明はこのような従来例に係る課題を解決したものであって、階層化された画像データを用いてブロックマッチング法により動き量を検出する際に、動き量の検出精度を向上し得る動き量検出装置及び動き量検出方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る第１の動き量検出装置は、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する記憶部と、前記記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第２の画面の階層化範囲を設定する階層化位相ずれ推定部と、前記第１の画面に対して解像度の異なる階層画像を作成する第１画面階層化部と、前記階層化位相ずれ推定部で設定された階層化範囲に基づいて、前記第２の画面に対して解像度の異なる階層画像を作成する第２画面階層化部と、所定の階層において、前記第１画面階層化部により作成された階層画像の注目ブロックと、前記第２階層化部により作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める動き量検出部とを備えるものである。

本発明に係る第１の動き量検出装置によれば、記憶部には、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量が記憶されている。階層化位相ずれ推定部は、この記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように第２の画面の階層化範囲を設定する。

例えば、この階層化位相ずれ推定部は、第１の画面の注目ブロックに対応する動き量を読み出し、当該動き量と第２の画面の階層化ブロックのブロックサイズから第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定し、推定された階層化位相ずれ量だけオフセットした第２の画面の階層化範囲を選択する。第２画面階層化部は、この階層化位相ずれ推定部で設定された階層化範囲に基づいて、第２の画面に対して解像度の異なる階層画像を作成する。これにより、位相ずれを含まない階層化ブロックを実現できると共に、動き量の検出精度を向上できるようになる。

上述した課題を解決するために、本発明に係る第１の動き量検出方法は、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する第１ステップと、記憶された動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第２の画面の階層化範囲を設定する第２ステップと、設定された前記階層化範囲に基づいて、前記第２の画面に対して解像度の異なる階層画像を作成する第３ステップと、前記第１の画面に対して解像度の異なる階層画像を作成する第４ステップと、所定の階層において、前記第４ステップで作成された階層画像の注目ブロックと、前記第３ステップで作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める第５ステップとを有するものである。

上述した課題を解決するために、本発明に係る第２の動き量検出装置は、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する記憶部と、前記記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第１の画面の注目ブロックの階層化範囲を設定する階層化位相ずれ推定部と、前記階層化位相ずれ推定部で設定された階層化範囲に基づいて、前記第１の画面に対して解像度の異なる階層画像を作成する第１画面階層化部と、前記第２の画面に対して解像度の異なる階層画像を作成する第２画面階層化部と、所定の階層において、前記第１画面階層化部により作成された階層画像の注目ブロックと、前記第２階層化部により作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める動き量検出部とを備えるものである。

本発明に係る第２の動き量検出装置によれば、記憶部には、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶している。階層化位相ずれ推定部は、記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第１の画面の注目ブロックの階層化範囲を設定する。

例えば、階層化位相ずれ推定部は、第１の画面の注目ブロックに対応する、記憶部に記憶した動き量を読み出し、当該動き量と第１の画面の階層化ブロックのブロックサイズから第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定し、推定された階層化位相ずれ量に基づいてオフセットした第１の画面の階層化範囲を選択する。第１画面階層化部は、この階層化位相ずれ推定部で設定された階層化範囲に基づいて、前記の画面に対して解像度の異なる階層画像を作成する。これにより、位相ずれを含まない階層化ブロックを実現できると共に、動き量の検出精度を向上できるようになる。

上述した課題を解決するために、本発明に係る第２の動き量検出方法は、第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する第１ステップと、記憶した前記動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第１の画面の注目ブロックの階層化範囲を設定する第２ステップと、設定された前記階層化範囲に基づいて、前記第１の画面に対して解像度の異なる階層画像を作成する第４ステップと、前記第２の画面に対して解像度の異なる階層画像を作成する第５ステップと、所定の階層において、前記第４ステップで作成した階層画像の注目ブロックと、前記第５ステップで作成した階層画像の階層化範囲の探索ブロックとを照合して動き量を求める第６ステップとを有するものである。

本発明に係る第１及び第２の動き量検出装置及び動き量検出方法によれば、第１の画面の注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように第１又は第２の画面の階層化範囲を設定するものである。

この構成によって、位相ずれを含まない階層化ブロックを実現できる。これにより、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

続いて、図面を参照しながら本発明に係る動き量検出装置及び動き量検出方法の実施形態について説明する。図１は、本発明に係る第１の実施形態としての動きベクトル検出装置１００の構成例を示すブロック図である。図１に示す動きベクトル検出装置１００は、現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該注目より過去の探索フレームの階層化ブロックとの位相ずれ量を算出する。そして、当該位相ずれ量を解消するように探索フレームの階層化範囲を設定することで、位相ずれを含まない階層化ブロックを実現できるようにすると共に、動き量の検出精度を向上できるようにするものである。なお、説明の理解を容易にするために、ブロックマッチングの階層化の数を３に設定する。もちろん、この階層化の数は、２以上であれば任意の数で良い。

図１に示す動きベクトル検出装置１００は、現在フレーム階層化部１１Ａ、探索フレーム階層化部１１Ｂ、動き量検出部１１Ｃ及び階層化位相ずれ推定部１１Ｄを備えている。現在フレーム階層化部１１Ａは、現在フレームの原画像データに対して解像度の異なる第２及び第３階層画像データを作成する。探索フレーム階層化部１１Ｂは、階層化位相ずれ推定部１１Ｄで設定された各ブロックの階層化範囲データに基づいて、現在フレームより１フレーム過去の探索フレームに対して解像度の異なる第２及び第３階層画像データを作成する。なお、この階層化位相ずれ推定部１１Ｄは、後述するように既知の動きベクトルから階層化を行う現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれを算出し、当該位相ずれを解消するように探索フレームの階層化範囲を設定する。

動き量検出部１１Ｃは、現在フレーム階層化部１１Ａにより作成された第３階層画像データの注目ブロックと、探索フレーム階層化部１１Ｂにより作成された第３階層画像データの探索領域の各探索ブロックとを照合して動きベクトルを求める（ブロックマッチング）。そして、動き量検出部１１Ｃは、第３階層で求めた動きベクトルが示す領域を探索領域として第２階層における探索領域を決定してブロックマッチングを行う。同様に、動き量検出部１１Ｃは、第２階層で求めた動きベクトルが示す領域を探索領域として第１階層における探索領域を決定してブロックマッチングを行う。このように、上位階層で求めた動きベクトルを基準として下位階層での動きベクトルを求めることにより、少ない演算量で第１階層の動きベクトルを求める。

次に、現在フレーム階層化部１１Ａの構成及び動作例を説明する。現在フレーム階層化部１１Ａは、メモリ２、４及び６、第２階層データ作成回路３ａ、第３階層データ作成回路５ａから構成されている。

現在フレーム階層化部１１Ａは、入力端子２０からコンポーネント信号の輝度信号を第１階層画像データ（原画像データ）Ｓ１_nとして入力し、この第１階層画像データＳ１_nをメモリ２に供給する。このメモリ２は第１階層画像データＳ１_nを記憶する。メモリ２の出力信号は第２階層データ作成回路３ａに供給される。

第２階層データ作成回路３ａは、第１階層画像データＳ１_nから第２階層画像データＳ２_nを作成する。例えば、第１階層画像データＳ１_nの２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２_nの１画素を作成する。第２階層データ作成回路３ａは、供給されたｎフレームデータ全体に亘って第２階層画像データＳ２_nを作成する。第２階層データ作成回路３ａの出力信号は、メモリ４に供給される。メモリ４は、第２階層画像データＳ２_nを記憶する。メモリ４の出力信号は第３階層データ作成回路５ａに供給される。

第３階層データ作成回路５ａは、第２階層画像データＳ２_nから第３階層画像データＳ３ｎを作成する。例えば、第２階層画像データＳ２_nの２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３ｎの１画素を作成する。第３階層データ作成回路５ａの出力信号はメモリ６に供給される。メモリ６は、第３階層画像データＳ３ｎを記憶する。

このように、現在フレーム階層化部１１Ａでは、以上の階層化処理について予め全画面をまとめて階層化しても良いし、あるいは後述する探索フレーム階層化部１１Ｂと同じタイミングでブロック毎に階層画像データを作成しても良い。

次に、探索フレーム階層化部１１Ｂの構成及び動作例を説明する。探索フレーム階層化部１１Ｂは、遅延（ＤＬ）回路７、メモリ８、１０及び１２、第２階層データ作成回路９ａ及び第３階層データ作成回路１１ａから構成されている。

探索フレーム階層化部１１Ｂは、遅延回路７により入力端子２０から第１階層画像データＳ１_nを入力する。遅延回路７は、第１階層画像データＳ１_nを１フレーム分蓄え、現在フレームに比べて１フレーム過去の第１階層画像データＳ１_n-1をメモリ８に供給する。メモリ８は、第１階層画像データＳ１_n-1を記憶する。メモリ８の出力信号は第２階層データ作成回路９ａに供給される。

第２階層データ作成回路９ａは、上述した第２階層データ作成回路３ａと同様の構成である。第２階層データ作成回路９ａは、メモリ８から第１階層画像データＳ１_n-1が供給され、階層化位相ずれ推定部１１Ｄから位相ずれを解消するための階層化ブロックのアドレスデータが供給される。ここに、階層化ブロックとは階層化を行う矩形範囲であり、階層化範囲を選択して縮小する際に選択するブロックをいう。例えば、この階層化ブロックは、２画素×２ラインの４画素に画定されて平均化され、１画素に縮小される。第２階層データ作成回路９ａは、供給された第１階層画像データＳ１_n-1と階層化ブロックのアドレスデータから１フレーム過去の第２階層画像データＳ２_n-1を作成する。

第２階層データ作成回路９ａは、第２階層画像データＳ２_n-1の階層化範囲の画像データ全体に亘って第２階層画像データＳ２_n-1を作成する。すなわち、第２階層データ作成回路９ａは、階層化範囲である探索領域毎に第２階層画像データＳ２_n-1を作成する。第２階層データ作成回路９ａの出力信号は、メモリ１０に供給される。メモリ１０は、第２階層画像データＳ２_n-1を記憶する。メモリ１０の出力信号は第３階層データ作成回路１１ａに供給される。

第３階層データ作成回路１１ａは、上述した第３階層データ作成回路５ａと同様の構成である。この第３階層データ作成回路１１ａは、第２階層画像データＳ２_n-1から第３階層画像データＳ３_n-1を作成する。第３階層データ作成回路１１ａの出力信号はメモリ１２に供給される。メモリ１２は、第３階層画像データＳ３_n-1を記憶する。

このように、探索フレーム階層化部１１Ｂでは、階層化範囲毎に一連の階層化処理を行う。すなわち、この例では現在フレームｎの注目ブロックｍに対応する探索フレームｎ−１の探索領域の階層化を終えてから、現在フレームｎの次の注目ブロックｍ＋１に対応する探索フレームｎ−１の探索領域の階層化を行うことなる。もちろん、探索ブロック毎に階層化しても良い。

次に、動き量検出部１１Ｃの構成及び動作例を説明する。動き量検出部１１Ｃは、現在フレームの固定された注目ブロックに対して、探索フレームの探索ブロックを所定の探索領域内を移動させて注目ブロックと比較する。そして動き量検出部１１Ｃは、所定の評価値を最小とする探索ブロックが検出された位置に基づいて動きベクトルを検出する。

動き量検出部１１Ｃは、第１階層動き量検出回路１５、第２階層動き量検出回路１４及び第３階層動き量検出回路１３から構成されている。動き量検出部１１Ｃの第１階層動き量検出回路１３には、第３階層におけるメモリ６に格納された現在フレームの注目ブロックと、メモリ１２に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。

第３階層動き量検出回路１３は、ブロックマッチング法により第３階層における動きベクトルを求める。すなわち、現在フレームと探索フレームの対応するブロック同士の間での所定の評価値を算出する。そして、その評価値が最小となる探索ブロックを見つけることで、第３階層の動き量を算出する。ここで評価値としては、例えばブロック同士の画素間の差分絶対値和を用いる。なお、階層型ブロックマッチング法では、原画像データの探索領域を（±１６、±１６）とした場合、第３階層における探索領域は（±４、±４）となる。そして、ブロック座標を位置的に−４から＋４まで１ずつ変化させて評価値を算出して、動き量を決定している。第３階層動き量検出回路１３で算出された第３階層の動きベクトルは、第２階層動き量検出回路１４に供給される。

第２階層動き量検出回路１４には、第２階層におけるメモリ４から現在フレームの注目ブロックと、メモリ１０に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第２階層動き量検出回路１４は、第３階層動き量検出回路１３で算出された動きベクトルから当該探索領域を縮小する。例えば、第２階層動き量検出回路１４は、第３階層における動きベクトルを第２階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第２階層動き量検出回路１４は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第２階層における動きベクトルを求めて第１階層動き量検出回路１５に供給する。なお、第２階層動き量検出回路１４は、上述した第３階層動き量検出回路１３と同様である。

第１階層における動きベクトル検出は、第３、第２階層と同様の手順で行う。第１階層動き量検出回路１５には、第１階層におけるメモリ２から現在フレームの注目ブロックと、メモリ８に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第１階層動き量検出回路１５は、第２階層動き量検出回路１４で算出された動きベクトルから当該探索領域を縮小する。例えば、第１階層動き量検出回路１５は、第２階層における動きベクトルを第１階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第１階層動き量検出回路１５は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第１階層における動きベクトルを求めて階層化位相ずれ推定部１１Ｄに供給する。なお、第１階層動き量検出回路１５は、上述した第３階層動き量検出回路１３、第２階層動き量検出回路１４と同様である。

次に、階層化位相ずれ推定部１１Ｄの構成及び動作例について説明する。階層化位相ずれ推定部１１Ｄは、動きベクトル用のフレームメモリ１６、位相ずれ量推定回路１７及び階層化範囲決定回路１８ａから構成されている。

第１階層動き量検出回路１５から出力された動きベクトルは、動きベクトル用のフレームメモリ１６に供給される。このフレームメモリ１６では、後述する階層化位相ずれ量の推定に用いる時空間における動きベクトル情報として、現在フレームと１フレーム分過去の探索フレームで既に求めた各ブロックの動きベクトルを記憶している。

すなわち、注目ブロックに対して階層化部１１Ａ、１１Ｂおよび動き量検出部１１Ｃで処理を行う際には、前フレームにおける全てのブロックの動きベクトルおよび現在フレームで検出した直前のブロックまでの動きベクトルに関する情報を、フレームメモリ１６から参照することが可能となる。また、フレームメモリ１６からは動きベクトル検出装置１００の出力結果として現在フレームにおいて検出された動きベクトルが出力端子２１から出力される。

位相ずれ量推定回路１７では、まず注目ブロックに対して既に検出した時空間近傍の動きベクトルをフレームメモリ１６から読み出す。位相ずれ量推定回路１７は、現在フレームと探索フレーム間での階層化位相ずれ量を当該動きベクトルに基づいて注目ブロック毎に推定する。この位相ずれ量推定回路１７で推定された階層化位相ずれ量は、階層化範囲決定回路１８ａに供給される。

階層化範囲決定回路１８ａでは、入力された階層化位相ずれ量に基づき、第１階層における探索領域内での階層化ブロックの境界を選択する。これは各注目ブロックの探索領域について階層化位相ずれ量だけオフセットした階層化範囲を選択していることに相当する。階層化範囲決定回路１８ａは、前フレームである探索フレームにおける階層化範囲の画素アドレスを第２階層データ作成回路９ａに供給する。第２階層データ作成回路９ａは、この階層化範囲の画素アドレスに基づいて、探索領域毎に平均化して縮小した第２階層画像データＳ２_n-1を作成する。

また、階層化範囲決定回路１８ａは、第１階層動き量検出回路１５にも第１階層における階層化範囲の画素アドレスを供給する。第１階層動き量検出回路１５では、第１階層における動き検出の際に階層化範囲決定回路１８ａで設定したオフセット分を考慮して動きベクトルを求める。

例えば、第２階層動き量検出回路１４で検出された動きベクトルは、階層化範囲決定回路１８ａで検出した階層化位相ずれ量だけずれているのでこのままでは正しい動きベクトルが検出できない。このため、第１階層動き量検出回路１５では、この階層化位相ずれ量を含んだ動きベクトルを補正する必要がある。そこで、第１階層動き量検出回路１５は、階層化位相ずれ量を探索ブロックのアドレスから減算する。そして、第１階層動き量検出回路１５は、この階層化位相ずれ量が減算された探索ブロックのアドレスを用いてブロックマッチングを行って最終的な動きベクトルを求め、この動きベクトルを出力端子２１から出力する。

このように、位相ずれ量推定回路１７および階層化範囲決定回路１８ａは、注目ブロック毎に階層化位相ずれ量を適切に予測し、フレーム間での階層化位相ずれを解消することで、上位階層における動き量検出の精度を向上できる。

続いて、位相ずれ量推定回路１７の動作例について説明する。階層化による位相ずれは、動き量と密接な関係がある。すなわち、階層化位相ずれ量を推定することは、現在フレームの注目ブロックの動き量を推定することに他ならない。従って、原画像データを階層化する際に、注目ブロックの動き量を既知の動きベクトルを利用して推定する。この例では、動画像の性質を考慮して時空間方向から既知の動きベクトルを利用して推定する。なお、この階層化位相ずれ量を推定するために利用する動きベクトルを予測ベクトルと呼称し、この予測ベクトルの導出に用いたブロックを予測ブロックと呼称する。

動画像は、時間方向で剛体性や時間方向連続性、等速性などの性質を有する。剛体性とは、外部から力が働いたときに、その変形が無視できると考えられる物体をいう。すなわち、当該物体は原則変形しない。時間方向連続性とは、物体は次のフレームで消失したり、突然現れたりしないことをいう。等速性とは、物体は等速で運動することをいう。

注目ブロックに対して、上述した性質を利用することにより、その注目ブロックの動き量を前フレームである探索フレームの同一の位置から予測することが可能となる。例えば、図２は、時間方向における予測ベクトルの決定方法（その１）を示す説明図である。図２に示す現在フレームＦの注目ブロックＢＬ１の予測ベクトルを求める場合を考える。この場合、注目ブロックＢＬ１と同一位置にある探索フレームＦ−１の予測ブロックＢＬ２を参照する。そして、この予測ブロックＢＬ２の動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定する。このように、時間方向に係る動きベクトルから注目ブロックＢＬ１の予測ベクトルを決定する。

図３は、時間方向における予測ベクトルの決定方法（その２）を示す説明図である。図３に示す現在フレームＦの注目ブロックＢＬ１の予測ベクトルを求める場合を考える。この場合、注目ブロックＢＬ１と同一位置にある探索フレームＦ−１の予測ブロックＢＬ２の近傍の一の動きベクトルを参照する。この例では、予測ブロックＢＬ２とその周囲の予測ブロックの合計９個の動きベクトルから一の予測ベクトルを決定する。例えば、これら９個の予測ブロックＢＬ２と注目ブロックＢＬ１との差分絶対和を算出して、最小の差分絶対和に係る予測ブロックＢＬ２の動きベクトルを予測ベクトルとして決定する。また、これら９個の動きベクトルを平均した動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定してもよい。また、これら９個の動きベクトルから頻度の高い動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定しても良い。このように、時間方向に係る複数の動きベクトルから注目ブロックＢＬ１の予測ベクトルを決定する。

次に、空間方向から予測ベクトルを決定する方法について説明する。動画像は、空間方向で空間方向連続性や剛体性などの性質を有する。空間方向連続性とは、隣接するブロックは同じ物体に属することをいう。剛体性とは、外力による変形が無視できると考えられる物体であり、物体内は一様に動くことをいう。

注目ブロックに対して、上述した性質を利用することにより、その注目ブロックの動き量を同一フレームである現在フレーム内の近傍のブロックから予測することが可能となる。例えば、図４は、空間方向における予測ベクトルの決定方法（その１）を示す説明図である。図４に示す現在フレームＦの注目ブロックＢＬ１の予測ベクトルを求める場合を考える。この場合、注目ブロックＢＬ１に隣接するブロックＢＬ３の動きベクトル、すなわち直前に検出された動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定する。このように、空間方向に係る動きベクトルから注目ブロックＢＬ１の予測ベクトルを決定する。

図５は、空間方向における予測ベクトルの決定方法（その２）を示す説明図である。図５に示す現在フレームＦの注目ブロックＢＬ１の予測ベクトルを求める場合を考える。この場合、注目ブロックＢＬ１に隣接する複数のブロックの動きベクトル、すなわち検出済みの複数の動きベクトルを参照する。この例では、ラスタースキャン順に現在フレームＦの各ブロックの動きベクトルを求める。

例えば、注目ブロックＢＬ１に隣接する合計４個のブロックにおける検出済みの動きベクトルから予測ベクトルを決定する。例えば、これら４個の予測ブロックと注目ブロックＢＬ１との差分絶対和を算出して、最小の差分絶対和に係る予測ブロックの動きベクトルを予測ベクトルとして決定する。また、これら４個の動きベクトルを平均した動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定しても良い。また、これら４個の動きベクトルから頻度の高い動きベクトルを、注目ブロックＢＬ１の予測ベクトルとして決定しても良い。このように、空間方向に係る動きベクトルから注目ブロックＢＬ１の予測ベクトルを決定する。

なお、上述した４つの予測ベクトル決定方法を組み合わせても良い。例えば、時間方向の予測ベクトルと空間方向の予測ベクトルを求めて、これらを平均して最終的な予測ベクトルを決定しても良い。

また、注目ブロックと時間方向及び空間方向の近傍のブロックの間で、ブロック内の全ての画素に対して差分絶対値和を計算する。そして、この差分絶対値和が最小となるブロックの動きベクトルを予測ベクトルと決定しても良い。このように差分絶対値和を用いる理由は、相関の高いブロック同士は、同一物体に属している可能性が高いからである。これにより、互いの動き量も、相関が強くなるので差分絶対値和が最小となるブロックの動きベクトルを予測ベクトルと決定することができる。

次に、決定された予測ベクトルに基づいて階層化による位相ずれ量を算出する例を説明する。例えば、予測ベクトルと階層化ブロックサイズから式（１）により階層化による位相ずれ量を算出する。

ｄｉ＝ｍｏｄ（予測ベクトルのｉ成分、ｉ方向の階層化ブロックサイズ）
（ｉ＝ｘ、ｙ）・・・（１）

例えば、階層化ブロックサイズが４×４、すなわち第１階層の１６画素を第３階層では１画素に縮退させ、注目ブロックの予測ベクトルＭＶ_ref＝（１８、１）の場合、予測される階層化位相ずれ量は、式（１）により（２、１）と算出される。

算出した階層化位相ずれ量に応じて、最下位階層の探索フレームにおける階層化範囲を決定する。すなわち、従来手法における階層化方法に対して、式（１）により求めた階層化位相ずれ量だけオフセットを設定して第１階層における階層化ブロックを画定する。

図６は、階層化による位相ずれを解消した階層化範囲Ｗ’の決定方法を示す説明図である。図６に示す階層化ブロックＢＬ４のブロックサイズを４×４とする。階層化範囲Ｗは、４個の階層化ブロックＢＬ４から構成されている。このとき、これらの階層化ブロックＢＬ４から成る階層化範囲Ｗを位相ずれ量（０、０）とする。この階層化範囲Ｗは、従来の階層型動きベクトル検出方法の階層化範囲と一致する。

本発明では、例えば注目ブロックの予測ベクトルＭＶ_ref＝（１８、１）の場合、上述の式（１）により求めた階層化位相ずれ量（２、１）だけオフセットさせた階層化範囲Ｗ’に設定する。なお、この階層化範囲Ｗ’は破線で示した部分であり、４個の階層化ブロックＢＬ４’から構成されている。これにより、位相ずれを含まない階層化ブロックを実現できる。従って、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

続いて動きベクトル検出装置１００の動作例を説明する。図７は、動きベクトル検出装置１００の動作例を示すフローチャートである。図７に示すステップＳ１で、現在フレームのブロック化を行う。この例では、注目ブロックのブロックサイズを８×８としているが、このブロックサイズは、８×８のブロックサイズと異なるサイズのブロックに分割しても良い。例えば、ＨＤ対応の画像データの場合、ブロックサイズを１６×１６に設定する。続いてステップＳ２に移行する。

ステップＳ２で、注目ブロックが含まれる現在フレームに対して平均値階層化を行い、第２、第３階層画像を作成する。なお、この現在フレームの階層化には、従来の階層型動き検出方法（例えば特開平５−８７４９５号）を用いている。続いてステップＳ３に移行する。

ステップＳ３では、注目ブロックのアドレスを初期化（ｍ＝０）してステップＳ４に移行する。ステップＳ４で、現在フレームの全てのブロックに対して処理が終了したか否かを判定する。全てのブロックに対して処理が終了していない場合には、ステップＳ５に移行して次の注目ブロックに対して処理を続ける。なお、以下のステップＳ５、ＳＴ６、ＳＴ７が、本発明のポイントである既知の動きベクトルを基に階層化位相ずれ量を推定して探索フレームの階層化範囲を求める処理を行う部分である。

ステップＳ５では、注目ブロックの時空間近傍のブロックの中で既に動きベクトルが検出されているブロックを予測ブロックの候補とし、その動きベクトルを用いて注目ブロックの予測ベクトルを決定する。

ステップＳ５における、予測ベクトルの決定方法のフローチャートを図８に示す。図８のステップＳ５０で、注目ブロックの時空間近傍から予測ブロックの候補を決定して画素データを読み出す（図２〜図５参照）。続いて、ステップＳ５１に移行する。

ステップＳ５１で、全ての予測ブロックの候補による比較を終了したか否かを判定する。全ての予測ブロックの候補による比較を終了していない場合、ステップＳ５２に移行する。ステップＳ５２で、注目ブロックと候補の予測ブロック内の全画素に対して差分絶対値和Δを計算してステップＳ５３に移行する。

ステップＳ５３で、ステップＳ５２で求めた差分絶対値和Δが最小の差分絶対値和（Δmin）であるか否かを判定する。差分絶対値和Δが最小の差分絶対値和（Δmin）でない場合、ステップＳ５１に戻り、次の候補の予測ブロックの差分絶対値和を計算する。また、差分絶対値和Δが最小の差分絶対値和（Δmin）である場合、ステップＳ５４に移行する。

ステップＳ５４で、現段階で最小の差分絶対値和（Δmin）を示す予測ブロックにおける動きベクトルを予測ベクトルに設定（更新）してステップＳ５１に戻る。ステップＳ５１で、全ての予測ブロックの候補による比較を終了した場合、図７のフローチャートのステップＳ７に移行する。

ステップＳ７で、予測ベクトルと階層化ブロックのサイズから、注目ブロックに対する探索フレームの階層化範囲を決定する。階層化範囲を決定する処理のフローチャートを図９に示す。図９のステップＳ７０で、図７のステップＳ６で算出した階層化位相ずれ量を受信してステップＳ７１に移行する。

ステップＳ７１で、階層化位相ずれ量を考慮していない探索フレームにおける階層化範囲の先頭アドレスを受信する。このアドレスは、従来の階層型動き検出方法における注目ブロックの探索領域の先頭アドレス、すなわち注目ブロックの先頭アドレスに対して探索領域の広さ分のオフセットをはかせたアドレスである。続いてステップＳ７２に移行する。

ステップＳ７２で、探索フレームにおける探索領域の先頭アドレスに対して、上述のステップＳ７０で受信した階層化位相ずれ量をオフセットとしたアドレスを新たな探索領域の先頭アドレスとして設定する。最終的に、更新した先頭アドレスを基点として、探索領域の幅を考慮した領域の画素データを注目ブロックに対する探索領域の階層化範囲として送信して図７のステップＳ８に移行する。

ステップＳ８では、受信した階層化範囲を平均値階層化し、複数の階層画像を作成してステップＳ９に移行する。ステップＳ９では、階層化された現在フレームと探索フレーム間で階層型ブロックマッチングを行い、現在フレームの注目ブロックの動きベクトルを求めてステップＳ１０に移行する。

ステップＳ１０で、次の注目ブロックに移行するために、当該注目ブロックのアドレスを更新してステップＳ４に戻る。ステップＳ４で、現在フレームの全ての注目ブロックに対して処理が終了したか否かを判定し、現在フレームの全ての注目ブロックに対して処理が終了した場合、処理を終了する。

以下の表１には、従来例に係る階層化ブロックマッチングの方法とＭＣ差分値の比較例を示す。表１には、様々なシーンを網羅した１６通りのソース画像（各３２フレーム）における、検出した動きベクトルが示す先のブロックとの差分絶対値和であるＭＣ残差を１画素あたりに正規化した値を示している。値が小さいほど動きベクトルの検出精度が良いことを示している。

表１に示すフルサーチは、差分絶対値和が最も小さくブロックマッチングの精度が最も良い。しかしながら、計算量が多くなり時間がかかる。２番目にブロックマッチングの精度が良いのは、時間方向における予測ベクトルを用いた場合である。３番目にブロックマッチングの精度が良いのは、空間方向における予測ベクトルを用いた場合である。最もブロックマッチングの精度が悪いのは、平均値３階層探索を用いた場合である。このように、本発明は、上位階層における階層化位相ずれによる影響を緩和し、精度向上に貢献していることが分かる。

このように本発明に係る第１の実施形態としての動きベクトル検出装置１００及び動き量検出方法によれば、現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように探索フレームの階層化範囲を設定するものである。この例では、現在フレームと探索フレーム間での階層化位相ずれ量を動きベクトルに基づいて注目ブロック毎に推定し、当該注目ブロックに対応する探索フレームの探索領域について階層化位相ずれ量だけオフセットした階層化範囲を選択する。

この構成によって、位相ずれを含まない階層化ブロックを実現できる。これにより、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

続いて、本発明に係る第２の実施形態としての動きベクトル検出装置２００の構成例を説明する。図１０は、本発明に係る第２の実施形態としての動きベクトル検出装置２００の構成例を示すブロック図である。図１０に示す動きベクトル検出装置２００は、動きベクトル検出装置１００のように探索フレーム側で探索領域の階層化位相ずれを補正するのではなく、現在フレーム側で注目ブロックの階層化位相ずれを補正するものである。なお、図１に示した動きベクトル検出装置１００と同じ構成要素には同一の符号を付し、その詳細な説明は省略する。

図１０に示す動きベクトル検出装置２００は、現在フレーム階層化部１２Ａ、探索フレーム階層化部１２Ｂ、動き量検出部１１Ｃ及び階層化位相ずれ推定部１２Ｄを備えている。現在フレーム階層化部１２Ａは、階層化位相ずれ推定部１２Ｄで設定された各ブロックの階層化範囲データに基づいて、現在フレームについて解像度の異なる第２及び第３階層画像データを作成する。探索フレーム階層化部１２Ｂは、現在フレームより１フレーム過去の探索フレームの画像データについて解像度の異なる第２及び第３階層画像データを作成する。階層化位相ずれ推定部１２Ｄは、既知の動きベクトルから、現在フレームの階層化ブロックと探索フレームの階層化ブロックとの位相ずれ量を算出し、当該位相ずれを解消するように現在フレームの注目ブロックの階層化範囲を設定する。

例えば、階層化位相ずれ推定部１２Ｄの位相ずれ量推定回路１７は、現在フレームの注目ブロックに対応する、フレームメモリ１６に記憶された動きベクトルを読み出し、当該動きベクトルと現在フレームの階層化ブロックのブロックサイズから現在フレームと探索フレームの間における階層化位相ずれ量を当該注目ブロック毎に推定する。階層化範囲決定回路１８ｂは、位相ずれ量推定回路１７により推定された階層化位相ずれ量だけオフセットした現在フレームの階層化範囲を選択する。

現在フレーム階層化部１２Ａの構成及び動作例を説明する。現在フレーム階層化部１２Ａは、メモリ２、４及び６、第２階層データ作成回路３ｂ、第３階層データ作成回路５ｂから構成されている。

現在フレーム階層化部１２Ａは、入力端子２０からコンポーネント信号の輝度信号を第１階層画像データ（原画像データ）Ｓ１_nとして入力し、この第１階層画像データＳ１_nをメモリ２に供給する。このメモリ２は第１階層画像データＳ１_nを記憶する。メモリ２の出力信号は第２階層データ作成回路３ｂに供給される。また、第２階層データ作成回路３ｂは、階層化位相ずれ推定部１２Ｄから位相ずれを解消するための注目ブロックのアドレスデータが供給される。第２階層データ作成回路３ｂは、供給された第１階層画像データＳ１_nと注目ブロックのアドレスデータから位相ずれ量をオフセットした第２階層画像データＳ２_nを作成する。例えば、位相ずれ量をオフセットした状態で、第１階層画像データＳ１_nの２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２_nの１画素を作成する。

第２階層データ作成回路３ｂは、第２階層画像データＳ２_nの注目ブロックの画像データ全体に亘って第２階層画像データＳ２_nを作成する。すなわち、第２階層データ作成回路３ｂは、注目ブロック毎に第２階層画像データＳ２_nを作成する。第２階層データ作成回路３ｂの出力信号は、メモリ４に供給される。メモリ４は、第２階層画像データＳ２_nを記憶する。メモリ４の出力信号は第３階層データ作成回路５ｂに供給される。

第３階層データ作成回路５ｂは、第２階層画像データＳ２_nから第３階層画像データＳ３ｎを作成する。例えば、第２階層画像データＳ２_nの２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３ｎの１画素を作成する。第３階層作成回路５の出力信号はメモリ６に供給される。メモリ６は、第３階層画像データＳ３ｎを記憶する。

このように、現在フレーム階層化部１２Ａでは、現在フレーム側で注目ブロックの階層化位相ずれを補正する。そして、現在フレーム階層化部１２Ａでは、注目ブロック毎に一連の階層化処理を行う。すなわち。この例では現在フレームｎの注目ブロックｍの階層化を終えてから、現在フレームｎの次の注目ブロックｍ＋１の階層化を行うことなる。

次に、探索フレーム階層化部１２Ｂの構成及び動作例を説明する。探索フレーム階層化部１２Ｂは、遅延（ＤＬ）回路７、メモリ８、１０及び１２、第２階層データ作成回路９ｂ及び第３階層データ作成回路１１ｂから構成されている。

探索フレーム階層化部１２Ｂは、遅延回路７により入力端子２０から第１階層画像データＳ１_nを入力する。遅延回路７は、第１階層画像データＳ１_nを１フレーム分蓄え、現在フレームに比べて１フレーム過去の第１階層画像データＳ１_n-1をメモリ８に供給する。メモリ８は、第１階層画像データＳ１_n-1を記憶する。メモリ８の出力信号は第２階層データ作成回路９ｂに供給される。

第２階層データ作成回路９ｂは、上述した第２階層データ作成回路３ｂと同様の構成である。第２階層データ作成回路９ｂは、メモリ８から第１階層画像データＳ１_n-1が供給される。第２階層データ作成回路９ｂは、供給された第１階層画像データＳ１_n-1から第２階層画像データＳ２_n-1を作成する。例えば、第１階層画像データＳ１_n-1の２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２_n-1の１画素を作成する。第２階層データ作成回路９ｂは、供給されたｎフレームデータ全体に亘って第２階層画像データＳ２_n-1を作成する。第２階層データ作成回路９ｂの出力信号は、メモリ１０に供給される。メモリ１０は、第２階層画像データＳ２_n-1を記憶する。メモリ１０の出力信号は第３階層データ作成回路１１ｂに供給される。

第３階層データ作成回路１１ｂは、上述した第３階層データ作成回路５ｂと同様の構成である。この第３階層データ作成回路１１ｂは、第２階層画像データＳ２_n-1から第３階層画像データＳ３_n-1を作成する。第３階層作成回路１１の出力信号はメモリ１２に供給される。メモリ１２は、第３階層画像データＳ３_n-1を記憶する。

このように、探索フレーム階層化部１２Ｂでは、以上の階層化処理について予め全画面をまとめて階層化しても良いし、あるいは現在フレーム階層化部１２Ａと同じタイミングでブロック毎に階層画像データを作成しても良い。

続いて、位相ずれ量に基づいてオフセットする一例について説明する。図１１Ａ及び図１１Ｂは、位相ずれ量に基づいてオフセットする一例を示す説明図である。図１１Ａは、探索フレーム側で階層化位相ずれ（１、１）を補正する場合である。図１１Ｂは、現在フレーム側で階層化位相ずれ（１、１）を補正する場合である。図１１Ｂに示す現在フレーム側で階層化位相ずれを補正する場合の処理は、既検出の動きベクトルを選択する部分までは、探索フレーム側で補正する場合と同一である。

現在フレーム側で補正する場合には、上述の式（１）により、階層化範囲を決定する際に予測ベクトルから階層化位相ずれ量を算出する。そして、注目ブロックの先頭アドレスにオフセットをはかせることになる。ここで、図１１Ｂに示すように、階層化対象である注目ブロックの先頭アドレスにはかせるオフセット量が、探索フレーム側を補正するときとはxy方向ともに符号が逆転する。これは、探索フレームを基準にして階層化位相ずれを補正しているからである。

続いて、図１２を参照して動きベクトル検出装置２００の動作例を説明する。図１２は、動きベクトル検出装置２００の動作例を示すフローチャートである。図１２に示すステップＴ１で、探索フレームのブロック化を行う。この例では、探索ブロックのブロックサイズを８×８としているが、このブロックサイズは、８×８のブロックサイズと異なるサイズのブロックに分割しても良い。例えば、ＨＤ対応の画像データの場合、ブロックサイズを１６×１６に設定する。続いてステップＴ２に移行する。

ステップＴ２で、探索ブロックが含まれる探索フレームに対して平均値階層化を行い、第２、第３階層画像を作成する。なお、この探索フレームの階層化には、従来の階層型動き検出方法（例えば特開平５−８７４９５号）を用いている。続いてステップＴ３に移行する。

ステップＴ３では、注目ブロックのアドレスを初期化（ｍ＝０）してステップＴ４に移行する。ステップＴ４で、現在フレームの全てのブロックに対して処理が終了したか否かを判定する。全てのブロックに対して処理が終了していない場合には、ステップＴ５に移行して次の注目ブロックに対して処理を続ける。なお、以下のステップＴ５、ＳＴ６、ＳＴ７が、本発明のポイントである既知の動きベクトルを基に階層化位相ずれ量を推定して現在フレームの階層化範囲を求める処理を行う部分である。

ステップＴ５では、注目ブロックの時空間近傍のブロックの中で既に動きベクトルが検出されているブロックを予測ブロックの候補とし、その動きベクトルを用いて注目ブロックの予測ベクトルを決定する（図８参照）。続いてステップＴ７に移行する。

ステップＴ７で、予測ベクトルと階層化ブロックのサイズから、現在フレームにおける注目ブロックの階層化範囲を決定する。階層化範囲を決定する処理のフローチャートを図１３に示す。図１３のステップＴ７０で、図１２のステップＴ６で算出した階層化位相ずれ量を受信してステップＴ７１に移行する。

ステップＴ７１で、階層化位相ずれ量を考慮していない現在フレームにおける階層化範囲の先頭アドレスを受信する。このアドレスは、従来の階層型動き検出方法における注目ブロックの先頭アドレス、すなわち注目ブロックの先頭アドレスに対して注目ブロックの領域分のオフセットをはかせたアドレスである。続いてステップＴ７２に移行する。

ステップＴ７２で、現在フレームにおける注目ブロックの先頭アドレスに対して、上述のステップＴ７０で受信した階層化位相ずれ量をオフセットとしたアドレスを新たな注目ブロックの先頭アドレスとして設定する。最終的に、更新した先頭アドレスを基点として、注目ブロックの幅を考慮した領域の画素データを注目ブロックの階層化範囲として送信して図１２のステップＴ８に移行する。

ステップＴ８では、受信した注目ブロックの階層化範囲を平均値階層化し、複数の階層画像を作成してステップＴ９に移行する。ステップＴ９では、階層化された現在フレームと探索フレーム間で階層型ブロックマッチングを行い、現在フレームの注目ブロックの動きベクトルを求めてステップＴ１０に移行する。

ステップＴ１０で、次の注目ブロックに移行するために、当該注目ブロックのアドレスを更新してステップＴ４に戻る。ステップＴ４で、現在フレームの全ての注目ブロックに対して処理が終了したか否かを判定し、現在フレームの全ての注目ブロックに対して処理が終了した場合、処理を終了する。

このように本発明に係る第２の実施形態としての動きベクトル検出装置２００及び動き量検出方法によれば、現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように現在フレームの階層化範囲を設定するものである。この例では、現在フレームと探索フレーム間での階層化位相ずれ量を動きベクトルに基づいて注目ブロック毎に推定し、当該注目ブロックについて階層化位相ずれ量だけオフセットした階層化範囲を選択する。

この構成によって、位相ずれを含まない階層化ブロックを実現できる。これにより、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

なお、下位階層を平均化して上位階層を生成する以外に、下位階層の画像データの高周波成分を示すアクティビティなどで上位階層である複数の階層を生成しても良い。

続いて、本発明に係る第３の実施形態としての動きベクトル検出装置３００の構成例を説明する。図１４は、本発明に係る第３の実施形態としての動きベクトル検出装置３００の構成例を示すブロック図である。図１４に示す動きベクトル検出装置３００は、動きベクトル検出装置１００、２００のように注目ブロック毎に位相ずれ量を求めてオフセットするのではなく、探索フレーム単位で位相ずれ量を求めてオフセットするものである。なお、図１に示した動きベクトル検出装置１００と同じ構成要素には同一の符号を付し、その詳細な説明は省略する。

図１４に示す動きベクトル検出装置３００は、現在フレーム階層化部１１Ａ、探索フレーム階層化部１３Ｂ、動き量検出部１１Ｃ及び階層化位相ずれ推定部１３Ｄを備えている。現在フレーム階層化部１１Ａは、現在フレームの原画像データについて解像度の異なる第２及び第３階層画像データを作成する。探索フレーム階層化部１３Ｂは、階層化位相ずれ推定部１３Ｄで決定された位相ずれ量に基づいて、現在フレームより１フレーム過去の探索フレームについて解像度の異なる第２及び第３階層画像データを作成する。なお、この階層化位相ずれ推定部１３Ｄは、後述するように既知の動きベクトルから位相ずれを算出し、当該位相ずれを解消するように探索フレームの探索領域を設定する。

動き量検出部１１Ｃは、現在フレーム階層化部１１Ａにより作成された第３階層画像データの注目ブロックと、探索フレーム階層化部１３Ｂにより作成された第３階層画像データの探索領域の各探索ブロックとを照合して動きベクトルを求める（ブロックマッチング）。そして、動き量検出部１１Ｃは、第３階層で求めた動きベクトルが示す領域を探索領域として第２階層における探索領域を決定してブロックマッチングを行う。同様に、動き量検出部１１Ｃは、第２階層で求めた動きベクトルが示す領域を探索領域として第１階層における探索領域を決定してブロックマッチングを行う。このように、上位階層で求めた動きベクトルを基準として下位階層での動きベクトルを求めることにより、少ない演算量で第１階層の動きベクトルを求める。

次に、現在フレーム階層化部１１Ａの構成及び動作例を説明する。現在フレーム階層化部１１Ａは、メモリ２、４及び６、第２階層データ作成回路３ａ、第３階層データ作成回路５ａから構成されている。

現在フレーム階層化部１１Ａは、入力端子２０からコンポーネント信号の輝度信号を第１階層画像データ（原画像データ）Ｓ１_nとして入力し、この第１階層画像データＳ１_nをメモリ２に供給する。このメモリ２は第１階層画像データＳ１_nを記憶する。メモリ２の出力信号は第２階層データ作成回路３ａに供給される。

第２階層データ作成回路３ａは、第１階層画像データＳ１_nの２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２_nの１画素を作成する。第２階層データ作成回路３ａは、供給されたｎフレームデータ全体に亘って第２階層画像データＳ２_nを作成する。第２階層データ作成回路３ａの出力信号は、メモリ４に供給される。メモリ４は、第２階層画像データＳ２_nを記憶する。メモリ４の出力信号は第３階層データ作成回路５ａに供給される。

第３階層データ作成回路５ａは、第２階層画像データＳ２_nの２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３ｎの１画素を作成する。第３階層データ作成回路５ａの出力信号はメモリ６に供給される。メモリ６は、第３階層画像データＳ３ｎを記憶する。

次に、探索フレーム階層化部１３Ｂの構成及び動作例を説明する。探索フレーム階層化部１３Ｂは、遅延（ＤＬ）回路７、メモリ８、１０及び１２、第２階層データ作成回路９ｃ及び第３階層データ作成回路１１ｃから構成されている。

探索フレーム階層化部１３Ｂは、遅延回路７により入力端子２０から第１階層画像データＳ１_nを入力する。遅延回路７は、第１階層画像データＳ１_nを１フレーム分蓄え、現在フレームに比べて１フレーム過去の第１階層画像データＳ１_n-1をメモリ８に供給する。メモリ８は、第１階層画像データＳ１_n-1を記憶する。メモリ８の出力信号は第２階層データ作成回路９ｃに供給される。

第２階層データ作成回路９ｃは、上述した第２階層データ作成回路３ａと同様の構成である。第２階層データ作成回路９ｃは、メモリ８から第１階層画像データＳ１_n-1が供給され、階層化位相ずれ推定部１３Ｄから位相ずれを解消するための階層化ブロックのアドレスデータが供給される。第２階層データ作成回路９ｃは、供給された第１階層画像データＳ１_n-1と階層化ブロックのアドレスデータから１フレーム過去の第２階層画像データＳ２_n-1を作成する。

第２階層データ作成回路９ｃは、第２階層画像データＳ２_n-1の探索フレームの画像データ全体に亘って第２階層画像データＳ２_n-1を作成する。すなわち、第２階層データ作成回路９ｃは、１フレーム単位で位相ずれ量をオフセットして第２階層画像データＳ２_n-1を作成する。第２階層データ作成回路９ｃの出力信号は、メモリ１０に供給される。メモリ１０は、第２階層画像データＳ２_n-1を記憶する。メモリ１０の出力信号は第３階層データ作成回路１１ｃに供給される。

第３階層データ作成回路１１ｃは、上述した第３階層データ作成回路５ａと同様の構成である。この第３階層データ作成回路１１ｃは、第２階層画像データＳ２_n-1から第３階層画像データＳ３_n-1を作成する。第３階層データ作成回路１１ｃの出力信号はメモリ１２に供給される。メモリ１２は、第３階層画像データＳ３_n-1を記憶する。このように、探索フレーム階層化部１３Ｂでは、１フレーム単位で一連の階層化処理を行う。

次に、動き量検出部１１Ｃの構成及び動作例を説明する。動き量検出部１１Ｃは、現在フレームの固定された注目ブロックに対して、探索フレームの探索ブロックを所定の探索領域内を移動させて注目ブロックと比較する。そして動き量検出部１１Ｃは、所定の評価値を最小とする探索ブロックが検出された位置に基づいて動きベクトルを検出する。

動き量検出部１１Ｃは、第１階層動き量検出回路１５、第２階層動き量検出回路１４及び第３階層動き量検出回路１３から構成されている。動き量検出部１１Ｃの第１階層動き量検出回路１３には、第３階層におけるメモリ６に格納された現在フレームの注目ブロックと、メモリ１２に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。

第３階層動き量検出回路１３は、ブロックマッチング法により第３階層における動きベクトルを求める。すなわち、現在フレームと探索フレームの対応するブロック同士の間での所定の評価値を算出する。そして、その評価値が最小となる探索ブロックを見つけることで、第３階層の動き量を算出する。ここで評価値としては、例えばブロック同士の画素間の差分絶対値和を用いる。なお、階層型ブロックマッチング法では、原画像データの探索領域を（±１６、±１６）とした場合、第３階層における探索領域は（±４、±４）となる。そして、ブロック座標を位置的に−４から＋４まで１ずつ変化させて評価値を算出して、動き量を決定している。第３階層動き量検出回路１３で算出された第３階層の動きベクトルは、第２階層動き量検出回路１４に供給される。

第２階層動き量検出回路１４には、第２階層におけるメモリ４から現在フレームの注目ブロックと、メモリ１０に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第２階層動き量検出回路１４は、第３階層動き量検出回路１３で算出された動きベクトルから当該探索領域を縮小する。例えば、第２階層動き量検出回路１４は、第３階層における動きベクトルを第２階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第２階層動き量検出回路１４は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第２階層における動きベクトルを求めて第１階層動き量検出回路１５に供給する。なお、第２階層動き量検出回路１４は、上述した第３階層動き量検出回路１３と同様である。

第１階層における動きベクトル検出は、第３、第２階層と同様の手順で行う。第１階層動き量検出回路１５には、第１階層におけるメモリ２から現在フレームの注目ブロックと、メモリ８に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第１階層動き量検出回路１５は、第２階層動き量検出回路１４で算出された動きベクトルから当該探索領域を縮小する。例えば、第１階層動き量検出回路１５は、第２階層における動きベクトルを第１階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第１階層動き量検出回路１５は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第１階層における動きベクトルを求めて階層化位相ずれ推定部１３Ｄに供給すると共に出力端子２１に供給する。なお、第１階層動き量検出回路１５は、上述した第３階層動き量検出回路１３、第２階層動き量検出回路１４と同様である。

次に、階層化位相ずれ推定部１３Ｄの構成及び動作例について説明する。階層化位相ずれ推定部１３Ｄは、メモリ２２、動きベクトルのヒストグラム作成回路２３、動きベクトルの最頻値検出回路２４及び階層化ブロック位相決定回路２５ａから構成されている。

第１階層動き量検出回路１５から出力された動きベクトルは、メモリ２２に供給される。このメモリ２２では、後述する階層化位相ずれ量の推定に用いる時間方向における動きベクトル情報として、１フレーム分過去の探索フレームのブロック毎の動きベクトルＭＶを全ブロック分だけ記憶している。

ヒストグラム作成回路２３は、メモリ２２に記憶された探索フレームにおける全ブロック分の動きベクトルＭＶから、ヒストグラムを作成してその結果を最頻値検出回路２４に供給する。

最頻値検出回路２４では、ヒストグラムから探索フレームでの動きベクトルＭＶの最頻値（画面動き）を検出し、当該最頻値の動きベクトルＭＶを予測ベクトルとして推定して階層化ブロック位相決定回路２５ａに供給する。

階層化ブロック位相決定回路２５ａでは、供給された予測ベクトルに基づいて階層化ブロックの階層化位相ずれ量、すなわち階層化ブロックのオフセット量を上述した式（１）を用いて算出する。階層化ブロック位相決定回路２５ａは、このオフセット量となる階層化位相ずれ量（階層化範囲の画素アドレス）を探索フレーム単位で推定して第２階層データ作成回路９ｃに供給する。

第２階層データ作成回路９ｃは、この階層化位相ずれ量だけ探索フレームの階層化範囲をオフセットする。そして、全ての階層化ブロックを平均化して縮小した第２階層画像データＳ２_n-1を作成する。

また、階層化ブロック位相決定回路２５ａは、第１階層動き量検出回路１５にも第１階層における階層化範囲の画素アドレスを供給する。第１階層動き量検出回路１５では、第１階層における動き検出の際に階層化ブロック位相決定回路２５ａで設定したオフセット分を考慮して動きベクトルを求める。例えば、第２階層動き量検出回路１４で検出された動きベクトルは、階層化ブロック位相決定回路２５ａで検出した階層化位相ずれ量だけずれているのでこのままでは正しい動きベクトルが検出できない。このため、第１階層動き量検出回路１５では、この階層化位相ずれ量を含んだ動きベクトルを補正する必要がある。そこで、第１階層動き量検出回路１５は、階層化位相ずれ量を探索ブロックのアドレスから減算する。そして、第１階層動き量検出回路１５は、この階層化位相ずれ量をが減算された探索ブロックのアドレスを用いてブロックマッチングを行って最終的な動きベクトルを求め、この動きベクトルを出力端子２１から出力する。

このように、階層化位相ずれ推定部１３Ｄは、探索フレーム単位で階層化位相ずれ量を適切に予測し、フレーム間での階層化位相ずれを解消することで、上位階層における動き量検出の精度を向上できる。

続いて、図１４及び図１５を参照して動きベクトル検出装置３００の動作例を説明する。図１５は、動きベクトル検出装置３００の動作例を示すフローチャートである。図１５に示すステップＵ１で、現在フレームの階層化を行う。例えば、図１４に示した現在フレーム階層化部１１Ａは、現在フレームの原画像データについて解像度の異なる第２及び第３階層画像データを作成してステップＵ２に移行する。

ステップＵ２で、過去のフレームの画面の動きから階層化ブロックの位相ずれ量を算出する。例えば、階層化位相ずれ推定部１３Ｄは、予測ベクトルに基づいて階層化ブロックの階層化位相ずれ量、すなわち階層化ブロックのオフセット量を上述した式（１）を用いて算出して決定する。例えば、図１６は、階層化位相ずれ量（オフセット量）の決定例を示すフローチャートである。図１６に示すステップＵ２０、Ｕ２１で、ヒストグラム作成回路２３は、メモリ２２に記憶された探索フレームにおける全ブロック分の動きベクトルＭＶから、ヒストグラムを作成してステップＵ２２に移行する。

ステップＵ２２で、最頻値検出回路２４は、探索フレームでの動きベクトルＭＶの最頻値（画面動き）を検出し、当該最頻値の動きベクトルＭＶを予測ベクトルを取得してステップＵ２３に移行する。

ステップＵ２３、Ｕ２４で、階層化ブロック位相決定回路２５ａは、予測ベクトルに基づいて階層化ブロックの階層化位相ずれ量、すなわち階層化ブロックのオフセット量を上述した式（１）を用いて算出して決定する。続いて図１５のステップＵ３に移行する。

図１５のステップＵ３で、探索フレーム階層化部１３Ｂは、階層化位相ずれ推定部１３Ｄで決定された階層化位相ずれ量（オフセット量）に基づいて、探索フレーム単位で解像度の異なる第２及び第３階層画像データを作成してステップＵ４に移行する。

ステップＵ４で、動き量検出部１１Ｃは、現在フレーム階層化部１１Ａにより作成された各階層における注目ブロックと、探索フレーム階層化部１３Ｂにより作成された各階層における探索領域の探索ブロックとをブロックマッチングを行って動きベクトルを求める。

このように本発明に係る第３の実施形態としての動きベクトル検出装置３００及び動き量検出方法によれば、現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように探索フレームの階層化範囲を探索フレーム単位で推定して設定するものである。

この構成によって、位相ずれを含まない階層化ブロックを実現できる。これにより、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

また、動きベクトル検出装置３００は階層化位相ずれをオフセットした階層化範囲を探索フレーム単位で設定するので、ブロック毎に設定する上述した動きベクトル検出装置１００、２００と比較して、計算量を少なくできる。従って、比較的小さなハードウェア規模で済むため、低コストで高精度な動き検出装置を提供できる。

続いて、本発明に係る第４の実施形態としての動きベクトル検出装置４００の構成例を説明する。図１７は、本発明に係る第４の実施形態としての動きベクトル検出装置４００の構成例を示すブロック図である。図１７に示す動きベクトル検出装置４００は、動きベクトル検出装置３００のように探索フレーム側で探索領域の階層化位相ずれを補正するのではなく、現在フレーム側で注目ブロックの階層化位相ずれを補正するものである。なお、図１４に示した動きベクトル検出装置３００と同じ構成要素には同一の符号を付し、その詳細な説明は省略する。

図１７に示す動きベクトル検出装置４００は、現在フレーム階層化部１４Ａ、探索フレーム階層化部１４Ｂ、動き量検出部１１Ｃ及び階層化位相ずれ推定部１４Ｄを備えている。現在フレーム階層化部１４Ａは、階層化位相ずれ推定部１４Ｄで決定された位相ずれ量に基づいて、現在フレームについて解像度の異なる第２及び第３階層画像データを作成する。探索フレーム階層化部１４Ｂは、探索フレームについて解像度の異なる第２及び第３階層画像データを作成する。なお、この階層化位相ずれ推定部１４Ｄは、既知の動きベクトルから位相ずれを算出し、当該位相ずれを解消するように現在フレームの階層化範囲を設定する。

動き量検出部１１Ｃは、現在フレーム階層化部１４Ａにより作成された第３階層画像データの注目ブロックと、探索フレーム階層化部１４Ｂにより作成された第３階層画像データの探索領域の各探索ブロックとを照合して動きベクトルを求める（ブロックマッチング）。そして、動き量検出部１１Ｃは、第３階層で求めた動きベクトルが示す領域を探索領域として第２階層における探索領域を決定してブロックマッチングを行う。同様に、動き量検出部１１Ｃは、第２階層で求めた動きベクトルが示す領域を探索領域として第１階層における探索領域を決定してブロックマッチングを行う。このように、上位階層で求めた動きベクトルを基準として下位階層での動きベクトルを求めることにより、少ない演算量で第１階層の動きベクトルを求める。

次に、現在フレーム階層化部１４Ａの構成及び動作例を説明する。現在フレーム階層化部１４Ａは、メモリ２、４及び６、第２階層データ作成回路３ｄ、第３階層データ作成回路５ｄから構成されている。

現在フレーム階層化部１４Ａは、入力端子２０からコンポーネント信号の輝度信号を第１階層画像データ（原画像データ）Ｓ１_nとして入力し、この第１階層画像データＳ１_nをメモリ２に供給する。このメモリ２は第１階層画像データＳ１_nを記憶する。メモリ２の出力信号は第２階層データ作成回路３ｄに供給される。また、第２階層データ作成回路３ｄは、階層化位相ずれ推定部１４Ｄから位相ずれを解消するための階層化ブロックのアドレスデータが供給される。第２階層データ作成回路３ｄは、供給された第１階層画像データＳ１_nと階層化ブロックのアドレスデータから第２階層画像データＳ２_nを作成する。

第２階層データ作成回路３ｄは、第２階層画像データＳ２_nの現在フレームの画像データ全体に亘って第２階層画像データＳ２_nを作成する。すなわち、第２階層データ作成回路３ｄは、１フレーム単位で位相ずれ量をオフセットして第２階層画像データＳ２_nを作成する。第２階層データ作成回路３ｄの出力信号は、メモリ４に供給される。メモリ４は、第２階層画像データＳ２_nを記憶する。メモリ４の出力信号は第３階層データ作成回路５ｄに供給される。

第３階層データ作成回路５ｄは、第２階層画像データＳ２_nの２画素×２ラインの小領域の画像データを平均化して第３階層画像データＳ３ｎの１画素を作成する。第３階層データ作成回路５ｄの出力信号はメモリ６に供給される。メモリ６は、第３階層画像データＳ３ｎを記憶する。

次に、探索フレーム階層化部１４Ｂの構成及び動作例を説明する。探索フレーム階層化部１４Ｂは、遅延（ＤＬ）回路７、メモリ８、１０及び１２、第２階層データ作成回路９ｄ及び第３階層データ作成回路１１ｄから構成されている。

探索フレーム階層化部１４Ｂは、遅延回路７により入力端子２０から第１階層画像データＳ１_nを入力する。遅延回路７は、第１階層画像データＳ１_nを１フレーム分蓄え、現在フレームに比べて１フレーム過去の第１階層画像データＳ１_n-1をメモリ８に供給する。メモリ８は、第１階層画像データＳ１_n-1を記憶する。メモリ８の出力信号は第２階層データ作成回路９ｄに供給される。

第２階層データ作成回路９ｄは、上述した第２階層データ作成回路３ｄと同様の構成である。第２階層データ作成回路９ｄは、メモリ８から第１階層画像データＳ１_n-1が供給される。第２階層データ作成回路９ｄは、第１階層画像データＳ１_n-1の２画素×２ラインの小領域の画像データを平均化して第２階層画像データＳ２_n-1の１画素を作成する。第２階層データ作成回路９ｄは、供給されたｎフレームデータ全体に亘って第２階層画像データＳ２_n-1を作成する。第２階層データ作成回路９ｄの出力信号は、メモリ１０に供給される。メモリ１０は、第２階層画像データＳ２_n-1を記憶する。メモリ１０の出力信号は第３階層データ作成回路１１ｄに供給される。

第３階層データ作成回路１１ｄは、上述した第３階層データ作成回路５ｄと同様の構成である。この第３階層データ作成回路１１ｄは、第２階層画像データＳ２_n-1から第３階層画像データＳ３_n-1を作成する。第３階層データ作成回路１１ｄの出力信号はメモリ１２に供給される。メモリ１２は、第３階層画像データＳ３_n-1を記憶する。このように、探索フレーム階層化部１４Ｂでは、１フレーム単位で一連の階層化処理を行う。

次に、動き量検出部１１Ｃの構成及び動作例を説明する。動き量検出部１１Ｃは、現在フレームの固定された注目ブロックに対して、探索フレームの探索ブロックを所定の探索領域内を移動させて注目ブロックと比較する。そして動き量検出部１１Ｃは、所定の評価値を最小とする探索ブロックが検出された位置に基づいて動きベクトルを検出する。

動き量検出部１１Ｃは、第１階層動き量検出回路１５、第２階層動き量検出回路１４及び第３階層動き量検出回路１３から構成されている。動き量検出部１１Ｃの第１階層動き量検出回路１３には、第３階層におけるメモリ６に格納された現在フレームの注目ブロックと、メモリ１２に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。

第３階層動き量検出回路１３は、ブロックマッチング法により第３階層における動きベクトルを求める。すなわち、現在フレームと探索フレームの対応するブロック同士の間での所定の評価値を算出する。そして、その評価値が最小となる探索ブロックを見つけることで、第３階層の動き量を算出する。ここで評価値としては、例えばブロック同士の画素間の差分絶対値和を用いる。なお、階層型ブロックマッチング法では、原画像データの探索領域を（±１６、±１６）とした場合、第３階層における探索領域は（±４、±４）となる。そして、ブロック座標を位置的に−４から＋４まで１ずつ変化させて評価値を算出して、動き量を決定している。第３階層動き量検出回路１３で算出された第３階層の動きベクトルは、第２階層動き量検出回路１４に供給される。

第２階層動き量検出回路１４には、第２階層におけるメモリ４から現在フレームの注目ブロックと、メモリ１０に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第２階層動き量検出回路１４は、第３階層動き量検出回路１３で算出された動きベクトルから当該探索領域を縮小する。例えば、第２階層動き量検出回路１４は、第３階層における動きベクトルを第２階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第２階層動き量検出回路１４は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第２階層における動きベクトルを求めて第１階層動き量検出回路１５に供給する。なお、第２階層動き量検出回路１４は、上述した第３階層動き量検出回路１３と同様である。

第１階層における動きベクトル検出は、第３、第２階層と同様の手順で行う。第１階層動き量検出回路１５には、第１階層におけるメモリ２から現在フレームの注目ブロックと、メモリ８に格納された探索フレームにおける複数の探索ブロックから成る探索領域が供給される。第１階層動き量検出回路１５は、第２階層動き量検出回路１４で算出された動きベクトルから当該探索領域を縮小する。例えば、第１階層動き量検出回路１５は、第２階層における動きベクトルを第１階層のスケールに変換しただけオフセットを設けた位置を中心とし、領域（±１、±１）を第２階層における探索領域として決定する。

第１階層動き量検出回路１５は、注目ブロックと複数の探索ブロックとをブロックマッチングを行って第１階層における動きベクトルを求めて階層化位相ずれ推定部１４Ｄに供給すると共に出力端子２１に供給する。なお、第１階層動き量検出回路１５は、上述した第３階層動き量検出回路１３、第２階層動き量検出回路１４と同様である。

次に、階層化位相ずれ推定部１４Ｄの構成及び動作例について説明する。階層化位相ずれ推定部１４Ｄは、メモリ２２、動きベクトルのヒストグラム作成回路２３、動きベクトルの最頻値検出回路２４及び階層化ブロック位相決定回路２５ｂから構成されている。

第１階層動き量検出回路１５から出力された動きベクトルは、メモリ２２に供給される。このメモリ２２では、後述する階層化位相ずれ量の推定に用いる時間方向における動きベクトル情報として、１フレーム分過去の探索フレームのブロック毎の動きベクトルＭＶを全ブロック分だけ記憶している。

ヒストグラム作成回路２３は、メモリ２２に記憶された探索フレームにおける全ブロック分の動きベクトルＭＶから、ヒストグラムを作成してその結果を最頻値検出回路２４に供給する。

最頻値検出回路２４では、探索フレームでの動きベクトルＭＶの最頻値（画面動き）を検出し、当該最頻値の動きベクトルＭＶを予測ベクトルとして階層化ブロック位相決定回路２５ｂに供給する。

階層化ブロック位相決定回路２５ｂでは、供給された予測ベクトルに基づいて階層化ブロックの階層化位相ずれ量、すなわち階層化ブロックのオフセット量を上述した式（１）を用いて算出する。階層化ブロック位相決定回路２５ｂは、このオフセット量となる階層化位相ずれ量（階層化範囲の画素アドレス）を第２階層データ作成回路９ｄに供給する。なお、図１１Ｂに示したように、階層化対象である注目ブロックの先頭アドレスにはかせるオフセット量が、探索フレーム側を補正するときとはxy方向ともに符号が逆転する。

第２階層データ作成回路９ｄは、この階層化位相ずれ量に基づいて、探索フレーム（階層化範囲）をオフセットする。そして、全ての階層化ブロックを平均化して縮小した第２階層画像データＳ２_n-1を作成する。

また、階層化ブロック位相決定回路２５ｂは、第１階層動き量検出回路１５にも第１階層における階層化範囲の画素アドレスを供給する。第１階層動き量検出回路１５では、第１階層における動き検出の際に階層化ブロック位相決定回路２５ｂで設定したオフセット分を考慮して動きベクトルを求める。

例えば、第２階層動き量検出回路１４で検出された動きベクトルは、階層化ブロック位相決定回路２５ｂで検出した階層化位相ずれ量だけずれているのでこのままでは正しい動きベクトルが検出できない。このため、第１階層動き量検出回路１５では、この階層化位相ずれ量を含んだ動きベクトルを補正する必要がある。そこで、第１階層動き量検出回路１５は、階層化位相ずれ量を探索ブロックのアドレスから減算する。そして、第１階層動き量検出回路１５は、この階層化位相ずれ量が減算された探索ブロックのアドレスを用いてブロックマッチングを行って最終的な動きベクトルを求め、この動きベクトルを出力端子２１から出力する。

このように本発明に係る第４の実施形態としての動きベクトル検出装置４００及び動き量検出方法によれば、現在フレームの注目ブロックに対して過去に求めた時空間方向の動き量に基づいて、階層化を行うための現在フレームの階層化ブロックと当該現在フレームより過去の探索フレームの階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように現在フレームの階層化範囲を現在フレーム単位で推定して設定するものである。

この構成によって、位相ずれを含まない階層化ブロックを実現できる。これにより、上位階層における動き量の検出精度を向上できると共に、下位階層における動き量の検出精度を向上できる。

続いて、本発明に係る第５の実施形態として、過去フレームにおける動きベクトル（予測ベクトル）に基づいて、ブロック毎に階層化位相ずれを補正する処理と、フレーム単位で階層化位相ずれを補正する処理とを切り替える例を説明する。この例では、過去フレームにおける動きベクトルのヒストグラムを用いて当該処理を切り替える。

例えば、画面全体が均質な動きを行っている、すなわちパン動画などのように全画面動きが存在している場合には、両者どちらの手法を用いても全画面で一様な階層ずれ量が求まる。このため、全画面補正を用いた方が計算量的に有利に働く。一方で、画面内に動きの異なる複数物体が存在する場合には、ブロック単位補正を用いた方が位相ずれ量推定の精度的に有利に働く。

時間的に連続して全画面動きが存在する場合、過去フレームの動きベクトルのヒストグラムを調べると、全画面動きで急峻なピークが唯一存在する。一方で、全画面動きが存在ない場合には複数のピークが存在、もしくはピークの値が小さいか存在しない。この例では、ヒストグラムのピーク値を閾値判定し、閾値以上の値を示すときには全画面動きが存在するとみなして、全画面補正を行う。閾値に達しないときには全画面動きが存在しないとして、ブロック単位補正を行う。

例えば、図１８は、本発明に係る第５の実施形態としての動作例を示すフローチャートである。図１８に示すステップＶ１で、最終フレームであるか否かを判定し、最終フレームでない場合、ステップＶ２に移行する。

ステップＶ２で、１フレーム過去のフレームにおける動きベクトルのヒストグラムを作成してステップＶ３に移行する。ステップＶ３で、ヒストグラムのピーク値と閾値ＴＨとを比較し、ヒストグラムのピーク値が閾値ＴＨより大きい値を示す場合、ステップＶ４に移行する。

ステップＶ４で、全画面で位相ずれ量を推定して当該位相ずれを補正して動きベクトルを求める。例えば、上述した動きベクトル検出装置３００、４００により全画面で位相ずれ量を推定して当該位相ずれを補正して動きベクトルを求める。

また、上述のステップＶ３で、ヒストグラムのピーク値が閾値ＴＨより小さい値を示す場合、ステップＶ５に移行する。

ステップＶ５で、ブロック単位で位相ずれ量を推定して当該位相ずれを補正して動きベクトルを求める。例えば、上述した動きベクトル検出装置１００、２００によりブロック単位で位相ずれ量を推定して当該位相ずれを補正して動きベクトルを求める。

このように本発明に係る第５の実施形態としての動き量検出方法によれば、動きベクトルのヒストグラムにより階層化範囲をフレーム全体又はブロック単位に切り替えるので、フレームの動きに応じて階層化範囲を設定できる。これにより、計算量及び動きベクトル検出精度を考慮できるようになる。

なお、下位階層を平均化して上位階層を生成する以外に、下位階層の画像データの高周波成分を示すアクティビティなどで上位階層である複数の階層を生成しても良い。

また、バリエーションとしては、補正方法の決定の際にヒストグラムのピーク値のほかにヒストグラムの分散などを組み合わせて決定の確度を挙げる方法が考えられる。また、上述した例では全画面補正とブロック単位の補正の切り替えとして説明しているが、位相ずれ推定の処理単位の大きさを全画面と１ブロックの間で可変としてもよい。例えば、全画面と１ブロックの間の中間の領域範囲を用いて当該中間の領域範囲単位で位相ずれを推定してもよい。

本発明は、階層化ブロックマッチング方法により動きベクトルを求める動き量検出装置及び動き量検出方法に適用して好適である。

本発明に係る第１の実施形態としての動きベクトル検出装置１００の構成例を示すブロック図である。 時間方向における予測ベクトルの決定方法（その１）を示す説明図である。 時間方向における予測ベクトルの決定方法（その２）を示す説明図である。 空間方向における予測ベクトルの決定方法（その１）を示す説明図である。 空間方向における予測ベクトルの決定方法（その２）を示す説明図である。 階層化位相ずれを解消した階層化範囲Ｗ’の決定方法を示す説明図である。 動きベクトル検出装置１００の動作例を示すフローチャートである。 予測ベクトルの決定方法の一例を示すフローチャートである。 階層化範囲の決定方法の一例を示すフローチャートである。 本発明に係る第２の実施形態としての動きベクトル検出装置２００の構成例を示すブロック図である。 Ａ及びＢは、位相ずれ量に基づいてオフセットする一例を示す説明図である。 動きベクトル検出装置２００の動作例を示すフローチャートである。 階層化範囲の決定方法の一例を示すフローチャートである。 本発明に係る第３の実施形態としての動きベクトル検出装置３００の構成例を示すブロック図である。 動きベクトル検出装置３００の動作例を示すフローチャートである。 階層化位相ずれ量（オフセット量）の決定例を示すフローチャートである。 本発明に係る第４の実施形態としての動きベクトル検出装置４００の構成例を示すブロック図である。 本発明に係る第５の実施形態としての動作例を示すフローチャートである。 従来例に係るフレーム間での階層化位相ずれの一例を示す模式図である。 従来例に係るフレーム間での階層化位相のずれの影響で階層化の結果が異なる例を示す模式図である。 従来例に係る階層化位相ずれの影響で誤検出を生じる一例を示す模式図である。

符号の説明

１１Ｄ，１２Ｄ・・・階層化位相ずれ推定部、１１Ａ，１２Ａ・・・現在フレーム階層化部（第１画面階層化部）、１１Ｂ，１２Ｂ・・・探索フレーム階層化部（第２画面階層化部）、１１Ｃ・・・動き量検出部、１６・・・動きベクトル用のフレームメモリ（記憶部）、１７・・・位相ずれ量推定回路、１８ａ，１８ｂ・・・階層化範囲決定回路、２３・・・ヒストグラム作成回路、２４・・・最頻値検出回路、２５ａ，２５ｂ・・・階層化ブロック位相決定回路、１００〜４００・・・動きベクトル検出装置

Claims (15)

1. 第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する記憶部と、
   前記記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第２の画面の階層化範囲を設定する階層化位相ずれ推定部と、
   前記第１の画面に対して解像度の異なる階層画像を作成する第１画面階層化部と、
   前記階層化位相ずれ推定部で設定された階層化範囲に基づいて、前記第２の画面に対して解像度の異なる階層画像を作成する第２画面階層化部と、
   所定の階層において、前記第１画面階層化部により作成された階層画像の注目ブロックと、前記第２階層化部により作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める動き量検出部とを備える動き量検出装置。
2. 前記階層化位相ずれ推定部は、
   前記第１の画面の注目ブロックに対応する、前記記憶部に記憶された動き量を読み出し、当該動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定する位相ずれ量推定回路と、
   前記位相ずれ量推定回路により推定された前記階層化位相ずれ量だけオフセットした前記第２の画面の階層化範囲を選択する階層化範囲決定回路とを備える請求項１に記載の動き量検出装置。
3. 前記位相ずれ量推定回路は、
   前記第１の画面の注目ブロックに対して、前記記憶部に記憶された時間方向における同一位置の動き量、又は当該同一位置の近傍の一の動き量、若しくは当該同一位置の近傍の複数の動き量を平均した動き量を当該注目ブロックの動き量に決定する請求項２に記載の動き量検出装置。
4. 前記位相ずれ量推定回路は、
   前記第１の画面の注目ブロックに対して、前記記憶部に記憶された空間方向に隣接するブロックにおける動き量、又は空間方向における複数のブロックにおける一の動き量、若しくは、当該複数の動き量を平均した動き量を当該注目ブロックの動き量に決定する請求項２に記載の動き量検出装置。
5. 前記位相ずれ量推定回路は、
   前記第１の画面の注目ブロックに対して、時間方向及び空間方向の近傍のブロックの間で、ブロック内の全ての画素に対して差分絶対値和を計算し、当該差分絶対値和が最小となるブロックの動き量を当該注目ブロックの動き量に決定する請求項２に記載の動き量検出装置。
6. 前記階層化位相ずれ推定部は、
   前記記憶部に記憶された第２の画面における全ブロック分の動き量から、ヒストグラムを作成するヒストグラム作成回路と、
   前記ヒストグラム作成回路により作成された前記ヒストグラムから、第２の画面における動き量の最頻値を検出し、当該最頻値の動き量を前記注目ブロックの動き量として推定する最頻値検出回路と、
   前記最頻値検出回路により推定された動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該第２の画面単位で推定する階層化ブロック位相決定回路とを備え、
   前記第２画面階層化部は、
   前記階層化ブロック位相決定回路で推定された前記階層化位相ずれ量だけ前記第２の画面の階層化範囲をオフセットする請求項１に記載の動き量検出装置。
7. 第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する第１ステップと、
   記憶された動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第２の画面の階層化範囲を設定する第２ステップと、
   設定された前記階層化範囲に基づいて、前記第２の画面に対して解像度の異なる階層画像を作成する第３ステップと、
   前記第１の画面に対して解像度の異なる階層画像を作成する第４ステップと、
   所定の階層において、前記第４ステップで作成された階層画像の注目ブロックと、前記第３ステップで作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める第５ステップとを有する動き量検出方法。
8. 前記第２ステップでは、
   前記第１の画面の注目ブロックに対応する前記動き量を読み出し、当該動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定する第６ステップと、
   推定された前記階層化位相ずれ量だけオフセットした前記第２の画面の階層化範囲を選択する第７ステップとを有する請求項７に記載の動き量検出方法。
9. 前記第２ステップでは、
   前記第１ステップで記憶した第２の画面における全ブロック分の動き量から、ヒストグラムを作成する第８ステップと、
   作成された前記ヒストグラムから、第２の画面における動き量の最頻値を検出し、当該最頻値の動き量を前記注目ブロックの動き量として推定する第９ステップと、
   推定された前記動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該第２の画面単位で推定する第１０ステップとを有し、
   前記第３ステップでは、
   前記第１０ステップで推定された前記階層化位相ずれ量だけ前記第２の画面の階層化範囲をオフセットする請求項７に記載の動き量検出方法。
10. 第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する記憶部と、
    前記記憶部の動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第１の画面の注目ブロックの階層化範囲を設定する階層化位相ずれ推定部と、
    前記階層化位相ずれ推定部で設定された階層化範囲に基づいて、前記第１の画面に対して解像度の異なる階層画像を作成する第１画面階層化部と、
    前記第２の画面に対して解像度の異なる階層画像を作成する第２画面階層化部と、
    所定の階層において、前記第１画面階層化部により作成された階層画像の注目ブロックと、前記第２階層化部により作成された階層画像の階層化範囲の探索ブロックとを照合して動き量を求める動き量検出部とを備える動き量検出装置。
11. 前記階層化位相ずれ推定部は、
    前記第１の画面の注目ブロックに対応する、前記記憶部に記憶された動き量を読み出し、当該動き量と前記第１の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定する位相ずれ量推定回路と、
    前記位相ずれ量推定回路により推定された前記階層化位相ずれ量に基づいてオフセットした前記第１の画面の階層化範囲を選択する階層化範囲決定回路とを備える請求項１０に記載の動き量検出装置。
12. 前記階層化位相ずれ推定部は、
    前記記憶部に記憶された第２の画面における全ブロック分の動き量から、ヒストグラムを作成するヒストグラム作成回路と、
    前記ヒストグラム作成回路により作成された前記ヒストグラムから、第２の画面における動き量の最頻値を検出し、当該最頻値の動き量を前記注目ブロックの動き量として推定する最頻値検出回路と、
    前記最頻値検出回路により推定された動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該第１の画面単位で推定する階層化ブロック位相決定回路とを備え、
    前記第１画面階層化部は、
    前記階層化ブロック位相決定回路で推定された前記階層化位相ずれ量に基づいて前記第１の画面の階層化範囲をオフセットする請求項１０に記載の動き量検出装置。
13. 第１の画面の注目ブロックに対して、過去に求めた時間方向又は空間方向の動き量若しくは時空間方向の動き量を記憶する第１ステップと、
    記憶した前記動き量に基づいて、階層化を行うための第１の画面の階層化ブロックと当該第１の画面より過去の第２の画面の階層化ブロックとの位相ずれ量を算出し、当該位相ずれ量を解消するように前記第１の画面の注目ブロックの階層化範囲を設定する第２ステップと、
    設定された前記階層化範囲に基づいて、前記第１の画面に対して解像度の異なる階層画像を作成する第４ステップと、
    前記第２の画面に対して解像度の異なる階層画像を作成する第５ステップと、
    所定の階層において、前記第４ステップで作成した階層画像の注目ブロックと、前記第５ステップで作成した階層画像の階層化範囲の探索ブロックとを照合して動き量を求める第６ステップとを有する動き量検出方法。
14. 前記第２ステップでは、
    前記第１の画面の注目ブロックに対応する、前記第１ステップで記憶した動き量を読み出し、当該動き量と前記第１の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該注目ブロック毎に推定する第７ステップと、
    推定された前記階層化位相ずれ量に基づいてオフセットした前記第１の画面の階層化範囲を選択する第８ステップとを有する請求項１３に記載の動き量検出方法。
15. 前記第２ステップでは、
    前記第１ステップで記憶した第２の画面における全ブロック分の動き量から、ヒストグラムを作成する第９ステップと、
    作成された前記ヒストグラムから、第２の画面における動き量の最頻値を検出し、当該最頻値の動き量を前記注目ブロックの動き量として推定する第１０ステップと、
    推定された前記動き量と前記第２の画面の階層化ブロックのブロックサイズから前記第１の画面と第２の画面の間における階層化位相ずれ量を当該第１の画面単位で推定する第１１ステップとを有し、
    前記第４ステップでは、
    前記階層化ブロック位相決定回路で推定された前記階層化位相ずれ量に基づいて前記第１の画面の階層化範囲をオフセットする請求項１３に記載の動き量検出方法。