JP2005252359A - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 動きベクトルの検出を効率的に実行することを可能とした装置および方法を提供する。
【解決手段】 各画素対応の動きベクトルを複数の候補ベクトルから選択決定する処理において、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、その特徴画素の位置情報、または画素値情報に基づいて相関判定を実行し、動きベクトルの決定処理を行なう構成とした。本構成によれば、ブロックマッチング処理を適用する必要がなく、相関算出のための演算として差分絶対値総和演算などの評価値計算両を削減することができ、処理効率が向上し、また、画素値を保持するためのメモリも小さくすることが可能となりハードウェア規模の小型化が実現される。
【選択図】 図７

Description

本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。

近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、ＤＶＤ、Ｂｌｕ−ｒａｙディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。

動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度）を検出する処理、すなわち、動きベクトルの検出処理が必要となる。

例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が提案されているが、このＭＰＥＧ方式は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、１つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。

動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図１を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］２０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］１０を抽出する。フレーム画像の１画面を複数の画素で構成される小さな領域（以下、ブロックと称する）ｍ画素×ｎラインに分割する。

現フレーム［Ｆ_ｔ］２０を参照フレームとし、参照フレームの検査ブロックＢｙ２１を、所定のサーチエリア２２内で移動し、前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１と最も画素値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検査ブロックを検出する。前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１が、この現フレーム［Ｆ_ｔ］２０から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック（ｍ×ｎ）単位で、フレーム間の相関判定（マッチング判定）処理を行い、動きベクトルを求める手法である。

ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックＢｘ内の複数の画素と、検査ブロックＢｙ内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。

しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。

また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。

本特許出願に係る出願人は、例えば特許文献１において、演算量を増大させることなく、１画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。

特許文献１において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第１ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第２ステップの処理として、抽出した候補ベクトルから、１画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。

候補ベクトル方式による動きベクトル検出処理の利点は、評価値テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。

しかし、この候補ベクトルに基づいて、各画素対応の最終的な動きベクトルを決定する際には、ブロックマッチング処理が行なわれる。ブロックマッチング処理は、前フレームの着目画素の近傍の画素をブロックとして設定し、ブロック内に含まれる複数の画素の全体的な相関を検出する処理である。ブロックマッチングを適用して正確な動きベクトルの決定処理を行なうためには、ブロックサイズを大きくし正確な相関判定を行なうことが必要となる。ブロックサイズを大きくすると、相関算出のための演算として実行される差分絶対値総和演算の様な評価値の計算量が多くなり、効率が低下し、また、画素値を保持するためのメモリも大きくすることが必要となり、ハードウェア規模が大きくなるという問題点を生じさせる。
特開２００１−６１１５２号公報

本発明は、上述の問題点に鑑みてなされたものであり、例えば候補ベクトル方式に基づく動きベクトル検出処理において、複数の候補ベクトルから各画素対応の動きベクトルを決定する際にブロックマッチングを適用せず、正確な動きベクトルの決定を行なうことを可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出部と、
前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定部とを有し、
前記動きベクトル決定部は、
動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする動きベクトル検出装置にある。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによって指示される画素の画素値との相関判定を実行して、前記候補ベクトルから相関の高いもののみを選別する処理を実行する仮判定部を有し、前記特徴画素に基づく相関判定処理は、前記仮判定部によって選別された選別候補ベクトルのみを対象とした処理として実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から隣接画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から複数の特徴画素を抽出し、該複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、前記２つの特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル決定部は、動きベクトルを対応付ける着目画素の近傍領域から２点の特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素の画素値に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出ステップと、
前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定ステップとを有し、
前記動きベクトル決定ステップは、
動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする動きベクトル検出方法にある。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによって指示される画素の画素値との相関判定を実行して、前記候補ベクトルから相関の高いもののみを選別する処理を実行する仮判定ステップを有し、前記特徴画素に基づく相関判定処理は、前記仮判定ステップによって選別された選別候補ベクトルのみを対象とした処理として実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から隣接画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から複数の特徴画素を抽出し、該複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、前記２つの特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル決定ステップは、動きベクトルを対応付ける着目画素の近傍領域から２点の特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素の画素値に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする。

さらに、本発明の第３の側面は、
動画像データから動きベクトルを検出する処理を実行するコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出ステップと、
前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定ステップとを有し、
前記動きベクトル決定ステップは、
動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、動画像データからの動きベクトル検出処理において、各画素対応の動きベクトルを複数の候補ベクトルから選択決定する処理において、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、その特徴画素の位置情報、または画素値情報に基づいて相関判定を実行し、動きベクトルの決定処理を行なう構成としたので、ブロックマッチング処理を適用する必要がなく、相関算出のための演算として差分絶対値総和演算などの評価値計算両を削減することができ、処理効率が向上し、また、画素値を保持するためのメモリも小さくすることが可能となりハードウェア規模の小型化が実現される。

以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
２．動きベクトル検出装置全体構成および動きベクトル検出処理手順
３．特徴画素に基づく動きベクトル決定処理の詳細

［１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要］
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許２０８３９９９号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式（特開２００１−６１１５２号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。

なお、以下の説明においては、動画像データを構成する１フレームを１画面として、各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、１フレームを細分化とした１フィールドを１画面として扱い、１フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。

また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。

図２〜図４を参照して、本発明における動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。

動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］８０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］７０を抽出する。

例えば、現フレーム［Ｆ_ｔ］８０を参照フレームとし、前フレーム［Ｆ_ｔ−１］７０を、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表点Ｒｙを設定する。各ブロックの代表点は、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

代表点マッチング法では、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点Ｒｙ７１に対応させて、現フレーム［Ｆ_ｔ］８０に所定のサーチエリア８１を設定し、設定したサーチエリア８１内に含まれる各画素の画素値と代表点Ｒｙ７１の画素値との比較を行なう。サーチエリア８１は例えば、ｐ画素×ｑラインの画素領域として設定される。

すなわち、上記ａ〜ｃのいずれかの代表点画素値と、サーチエリア８１内の各画素の画素値を比較検証して、評価値（例えば、フレーム差や判定結果）を算出する。評価値は、サーチエリア８１の各偏移毎（各画素位置毎）に算出される。前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点各々に対応して、現フレーム［Ｆ_ｔ］８０にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、１画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。

なお、各代表点に対応するサーチエリアは、図３（Ａ）に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図３（Ａ）に示す例では、サーチエリアをｐ×ｑ（画素またはライン）の領域に設定した例であり、例えば、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ａに対応するサーチエリア８１ａと、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ｂに対応するサーチエリア８１ｂとが重なりを持つ領域として設定される。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図３（Ｂ）に示すように積算され、その結果として、図３（Ｃ）に示すような評価値テーブル９０が生成される。評価値テーブルは、前フレーム［Ｆ_ｔ−１］７０に設定した例えばｎ個のブロックに設定された各ブロックの代表点Ｒｙ１〜ｎと、参照フレームである現フレーム［Ｆ_ｔ］８０に設定した各代表点Ｒｙ１〜ｎに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値のしきい値判定結果の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。

評価値テーブル９０においては、サーチエリアの各偏移位置（ｉ，ｊ）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをした物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。

このような評価値テーブルに出現するピークに基づいて、前フレーム［Ｆ_ｔ−１］７０と、参照フレームである現フレーム［Ｆ_ｔ］８０とにおける動きベクトルの候補（候補ベクトル）を求める。

評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図４を参照して説明する。

図４（ａ）において、中央の画素９１が前フレーム［Ｆ_ｔ−１］の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルＡ，Ｂ，Ｃであるとする。前フレーム［Ｆ_ｔ−１］の１つの画素９１は、これらの候補ベクトルのいずれかに従って移動して、現フレーム［Ｆ_ｔ］の画素に対応する位置に表示されると判定される。

図４（ａ）において、画素ａ９５、画素ｂ９６、画素ｃ９７は、前フレーム［Ｆ_ｔ−１］の１つの画素９１から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレーム［Ｆ_ｔ］の画素を示している。これらの３画素を含むブロックの画素値と、画素９１を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素９１の動きベクトルとする。

ブロックマッチング処理を適用する理由は、１つの画素のみの対応を検査すると以下の問題点が発生するからである。
（１）着目するフレームのある画素と参照フレーム内でｎ個の候補ベクトルに関して、動きベクトル先の画素との相関性が同じ、もしくは似ている画素が複数存在し、どの動きベクトルが正しい動きベクトルか、相関性の高さを表す画素差分絶対値（以後ＭＣ残差と呼ぶ）だけでは判断することが困難である。
（２）正しい動きベクトルであれば、その動きベクトル先の画素とのＭＣ残差が最も小さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きベクトル先の画素とのＭＣ残差が候補ベクトルの中で最小とは限らない。

これらの問題点があるために、１画素だけのＭＣ残差だけでは判断できないので、ブロックサイズの複数の画素を用いて、着目する画素を中心としたブロック内の画素と候補ベクトル先のブロック内の画素の相関を検査する。

具体的なブロックマッチング処理について、図４（ｂ）を参照して説明する。図４（ｂ）に示す様に、候補ベクトルによって指示されるブロックに含まれる複数画素の相関の指標値として、差分絶対値総和（ＳＡＤ）を下式に従って算出する。

ここでＦ_ｔ−１（ｘ、ｙ）は着目する前フレームの輝度レベル、Ｆ_ｔ（ｘ＋ｖ_ｘ、ｙ＋ｖ_ｙ）は参照先の現フレームにおける動きベクトル先の輝度レベル、Ｍ×Ｎは評価に用いるブロックサイズである。

上記式によって算出される差分絶対値総和（ＳＡＤ）が最小となる候補ベクトル（ｖ_ｘ，ｖ_ｙ）を着目画素の動きベクトルとする方法などが適用される。しかし、ブロックマッチングの様なブロックを用いた動きベクトル割り当では、動きベクトルの割り当て性能を向上させるためにブロックサイズを大きくする必要があるが、差分絶対値総和の様な評価値を計算するには計算量が多くなり、そのためにハードウェア規模が大きくなるという問題点を生じさせる。

これらの問題を解決した代表点マッチングによる動きベクトル検出処理構成については、後段の、［３．特徴画素に基づく動きベクトル決定処理の詳細］の項目において詳細に説明する。

なお、上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。

［２．動きベクトル検出装置全体構成および動きベクトル検出処理手順］
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図５に示し、動きベクトル検出処理の処理シーケンスを図６のフローチャートに示す。

動きベクトル検出装置は、図５に示すように、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３、制御部（コントローラ）１０４を有する。評価値テーブル形成部１０１は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

入力画像データは、評価値テーブル形成部１０１に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図６のフローにおけるステップＳ１０１の処理である。

候補ベクトル抽出部１０２は、評価値テーブル形成部１０１において生成した評価値テーブルから、１画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図６のフローにおけるステップＳ１０２の処理である。

動きベクトル決定部１０３では、候補ベクトル抽出部１０２において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図６のフローにおけるステップＳ１０３の処理である。この処理は、先に図４を参照して説明した処理である。

動きベクトル決定部１０３では、１つの画面（フレーム）に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。前述したように、候補ベクトルから各画素に対応する動きベクトルを決定する際にはブロックマッチングが適用可能であるが、本発明においては、ブロックマッチングを適用せず、特徴画素位置情報に基づく動きベクトルの決定処理を実行する。この構成の詳細については、後段で説明する。

制御部１０４は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。

以上が、代表点マッチングをベースとした動きベクトル検出装置において実行する評価値テーブル生成と、候補ベクトル方式を適用した動きベクトル検出処理の概要である。

［３．特徴画素に基づく動きベクトル決定処理の詳細］
図５を参照して説明したように、代表点マッチングを適用した動きベクトル検出装置は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３を有し、評価値テーブル形成部１０１において、入力画像データに基づいて評価値テーブルを生成し、候補ベクトル抽出部１０２において、評価値テーブルから複数の候補ベクトルを抽出し、さらに、動きベクトル決定部１０３において、複数の候補ベクトルから各画素対応の動きベクトルを決定するという処理を行なうものである。

しかし、前述したように、動きベクトル決定部１０３における動きベクトルの決定精度を向上させるためには、ブロックマッチングにおける適用ブロックサイズを大きくする必要がある。ブロックサイズを大きくすると、ブロックに含まれる多数の画素値をメモリに保持することが必要となり、また、前述した差分絶対値総和の算出処理においては、ブロックに含まれる多数の画素値に基づく演算処理を行なうことが必要となる。結果としてハードウェア規模を大きくする必要が発生し、また処理効率を低下させてしまうという問題がある。

そこで、本発明では、動きベクトル決定部１０３において実行する動きベクトルの決定処理にブロックマッチングを適用せず、特徴画素位置情報に基づく動きベクトル決定処理を実行する。この動きベクトル決定部の処理の詳細について、以下、説明する。

なお、以下、特徴画素位置情報に基づく動きベクトル決定処理構成について、
（１）２点マッチング方式による動きベクトル決定処理
（２）３点マッチング方式による動きベクトル決定処理
の２つの処理構成について順次説明する。

（１）２点マッチング方式による動きベクトル決定処理
まず、２点マッチング方式による動きベクトル決定処理について説明する。図７に本実施例に係る動きベクトル検出装置の動きベクトル決定部の詳細構成を示す。図７に示す動きベクトル決定部２００は、図５に示す動きベクトル検出装置の動きベクトル決定部１０３に相当する。

図７に示す動きベクトル決定部２００は、図５に示す候補ベクトル抽出部１０２から前述した評価値テーブルに基づいて決定した複数の候補ベクトル情報を入力し、各画素毎に対応付ける動きベクトルを決定する処理を実行する。

本実施例に係る動きベクトル決定部２００は、図７に示すように、画素相関判定部２１０、仮判定部２２１、ゲート２２２、付加情報演算部２５０、特徴画素位置相関判定部２３０を有する。画素相関判定部２１０は、現フレームメモリ２１１、前フレームメモリ２１２、画素値差分算出部２１３、絶対値算出部２１４を有する。特徴画素位置相関判定部２３０は、現フレーム付加情報メモリ２３１、前フレーム付加情報メモリ２３２、相関判定部２３３を有する。付加情報演算部２５０の詳細は、図９以下を参照して説明する。

画素相関判定部２１０は、画像信号を入力する。この入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

画像データは、フレームデータ毎に入力され、まず、現フレームメモリ２１１に格納されて、次に前フレームメモリ２１２に格納される。従って、画素相関判定部２１０は、２つの連続するフレームデータをメモリに保持する。

さらに、画素相関判定部２１０は、図５に示す候補ベクトル抽出部１０２から候補ベクトル情報を入力し、候補ベクトル情報に基づいて前フレームの各画素、すなわち動きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示する現フレームの画素位置を特定し、前フレームの着目画素と複数の候補ベクトルの指示する現フレームの画素との差分を画素値差分算出部２１３において算出し、絶対値算出部２１４においてその差分絶対値を算出して、仮判定部２２１に出力する。

これらの一連の処理について、図８を参照して説明する。図８に示すのは入力フレーム（現フレーム）画像データ３００と、過去フレーム（前フレーム）画像データ３１０である。これらのフレームデータは、現フレームメモリ２１１と、前フレームメモリ２１２に格納されたデータである。

画素相関判定部２１０は、図５に示す候補ベクトル抽出部１０２から候補ベクトル情報を入力しており、これらが、図８に示すａ〜ｇの候補ベクトルである。これらは、前述した評価値テーブルのピーク検出によって求められた候補ベクトルである。

画素相関判定部２１０は、候補ベクトル情報に基づいて前フレームの各画素、すなわち動きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示する現フレームの画素位置を特定する。例えば図８の過去フレーム（前フレーム）画像データ３１０の着目画素３１１について、複数の候補ベクトルの指示する現フレームの画素位置Ａ〜Ｇが特定される。

画素値差分算出部２１３は、過去フレーム（前フレーム）画像データ３１０の着目画素３１１と、候補ベクトルの指示する現フレームの画素位置Ａ〜Ｇの画素値各々との差分を算出する。絶対値算出部２１４は、これらの差分絶対値、すなわち画素差分絶対値（ＭＣ残差）を算出して、仮判定部２２１に出力する。

仮判定部２２１は、着目画素と、複数の候補ベクトルによって決定される各画素との差分絶対値（ＭＣ残差）を入力する。例えばｎ個の候補ベクトルがある場合、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］を入力する。ただしｉ＝１〜ｎである。

仮判定部２２１は、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］から、着目画素３１１に対応する動きベクトルの絞込みを行う。具体的には、ｎ個の（（差分絶対値（ＭＣ残差）［ｄｉ］から、ＭＣ残差の小さいものを選択する。

ｎ個のＭＣ残差の最小値をｄｍｉｎ、予め定められた閾値をＴＨとして、
ｄｉ-ｄｍｉｎ≦ＴＨ
を満たす画素とｄｍｉｎを満たす画素のいずれかを指示する候補ベクトルを選択する。

図８の例では、例えば、Ａ〜Ｅの画素中、Ａ，Ｃ，Ｅが上記基準を満たす画素として選別されたとすると、これらの選別候補ベクトル情報が、仮判定部２２１からゲート２２２に出力され、図５に示す候補ベクトル抽出部１０２から入力される候補ベクトル情報から、この選別された候補ベクトル情報のみが、特徴画素位置相関判定部２３０に入力される。

特徴画素位置相関判定部２３０では、仮判定部２２１によって選別された候補ベクトルから、１つの画素対応の動きベクトルを決定する処理を実行する。この特徴画素位置相関判定部２３０では、付加情報演算部２５０から入力する着目画素の近傍画素の特徴画素位置情報に基づいて画素値相関判定処理を行い、仮判定部２２１によって選別された候補ベクトルから１つの動きベクトルを決定する処理を行なう。

図９を参照して、付加情報演算部２５０の詳細構成について説明する。付加情報演算部２５０は、例えば、着目画素の近傍の画素中、隣接画素との画素値差分絶対値がもっとも大きくなる画素を特徴画素として抽出する。

図９に示す付加情報演算部２５０は、レジスタ２５２、画素値差分算出部２５３、絶対値算出部２５４からなる隣接画素差分絶対値算出部２５１と、レジスタ２５５、最大差分値検出部２５６、最大差分画素位置検出部２５７、レジスタ２５８を有する。

隣接画素差分絶対値算出部２５１では、動きベクトル検出処理対象となる画像信号を入力し、レジスタ２５２に画像フレームデータを格納する。画素値差分算出部２５３では、レジスタ２５２に格納された画像データの隣接画素の差分を順次算出し、絶対値算出部２５４では、隣接画素の差分の絶対値を順次算出して、最大差分値検出部２５６に出力する。

図１０を参照して、具体的な処理について説明する。付加情報演算部２５０では、レジスタ２５２に格納された画像データの隣接画素の差分絶対値を順次算出することで、例えば着目画素の近傍領域の画素において、隣接画素との差分絶対値が最大の画素を特定する。なお、着目画素の近傍領域の画素とは、着目画素の水平方向の前後−８〜＋７画素の範囲等、あらかじめ設定された画素領域である。

図１０の例では、着目画素２８１の近傍領域において、隣接画素との差分絶対値が最大となる画素２８２が特定される。

図９に示す最大差分値検出部２５６は、順次入力する隣接画素の差分絶対値をレジスタ２５５に格納しながら、比較処理を実行し、所定領域、すなわち、−８〜＋７の１６画素毎に最大の画素値差分絶対値を持つ画素差分値を検出する。すなわち、図１１に示すように、１６画素毎に最大の画素値差分絶対値を持つ画素差分値ＭＡＸａ、ＭＡＸｂ、ＭＡＸｃを順次検出する。

最大差分値検出部２５６の検出した所定領域毎（例えば１６画素毎）の最大画素差分絶対値を持つ画素情報は、最大差分画素位置検出部２５７に入力され、所定領域毎（例えば１６画素毎）の最大差分画素位置情報が検出され、レジスタ２５８に格納される。

例えば図１０に示す例では、着目画素２８１の近傍領域において、隣接画素との差分絶対値が最大となる画素２８２の画素位置は、着目画素を画素位置：０としたとき、［＋４］の画素位置である。

レジスタ２５８に格納された所定領域毎（例えば１６画素毎）の最大差分画素位置情報が、現フレーム付加情報格納メモリ２３１に順次出力される。

図７に戻り、動きベクトル決定部２００の処理について説明を続ける。図９を参照して説明した付加情報演算部２５０からの特徴画素位置情報は、図７に示す特徴画素位置相関判定部２３０の現フレーム付加情報メモリ２３１に格納される。現フレーム付加情報メモリ２３１には、１つのフレームに対応して抽出された所定領域毎（例えば１６画素毎）の最大差分画素位置情報が格納される。各フレーム処理ステップ毎に現フレーム付加情報メモリ２３１の情報は、前フレーム付加情報メモリ２３２に移動して格納されることになる。

現フレーム付加情報メモリ２３１には、さらに、仮判定部２２１からの出力、すなわち、仮判定部２２１によって選別された選別候補ベクトル情報が入力される。

相関判定部２３３は、着目画素の近傍領域において抽出された特徴画素に基づいて、仮判定部２２１によって選別された選別候補ベクトルから、着目画素に対応する唯一の動きベクトルを決定する処理を実行する。

相関判定部２３３における動きベクトル決定処理について、図１２を参照して説明する。図１２に示すのは、先に図８を参照して説明したと同様の入力フレーム（現フレーム）画像データ３０１と、過去フレーム（前フレーム）画像データ３１０である。

入力フレーム（現フレーム）画像データ３０１には、先に図８を参照して説明した仮判定部による候補ベクトル選別処理によって選別された候補ベクトルａ，ｃ，ｅを示してある。

特徴画素位置相関判定部２３０における相関判定部２３３は、過去フレーム（前フレーム）画像データ３１０から選択した着目画素、すなわち、動きベクトルを対応付ける画素としての着目画素３１１の近傍領域における特徴画素位置データに基づいて、候補ベクトルａ，ｃ，ｅから１つの動きベクトルを決定する。

図１２に示す例において、着目画素３１１の近傍領域の特徴画素位置が、着目画素３１１の画素位置を［０］としたとき、画素位置［−３］であることが、付加情報演算部２５０からの入力情報によって判定される。なお、図１２においては、近傍領域を着目画素の−４〜＋３の８画素領域として示してある。

相関判定部２３３では、着目画素３１１の近傍領域の特徴画素位置と、選別候補ベクトルａ，ｃ，ｅの指示する対応画素位置Ａ，Ｃ，Ｅの近傍領域における特徴画素位置の相関を判定する。図に示す例では、選別候補ベクトルａの指示する対応画素位置Ａの近傍領域３０１には、画素位置Ａを［０］としたとき、特徴画素が［−３］の位置に出現している。この特徴画素は、前述の付加情報演算部において、所定領域単位の画素領域毎に選択された特徴画素であり、画素位置Ａの近傍領域として設定された領域における隣接画素差分絶対値の最大画素である。

選別候補ベクトルｃの指示する対応画素位置Ｃの近傍領域３０２には、画素位置Ｃを［０］としたとき、特徴画素が［−２］の位置に出現しており、選別候補ベクトルｅの指示する対応画素位置Ｅの近傍領域３０３には、画素位置Ｅを［０］としたとき、特徴画素が［＋２］の位置に出現している。

着目画素３１１の近傍領域の特徴画素は、着目画素位置を［０］としたとき、特徴画素が［−３］の位置に出現している。この特徴画素位置は、候補ベクトルａの示す画素Ａの近傍領域３０１における特徴画素位置［−３］と対応する。他の２つの候補ベクトルｃ，ｅの示す画素Ｃ，Ｅの近傍領域３０２，３０３における特徴画素位置［−２］，［＋２］とは対応しない。

この結果、着目画素３１１に対応する動きベクトルとして、候補ベクトルａが選択決定される。

相関判定部２３３は、このような処理をフレームの構成画素について順次、着目画素として設定し、設定した着目画素毎に上述と同様の近傍領域の特徴画素位置の相関判定処理を実行し、フレーム構成画素各々に対応する動きベクトルを選別候補ベクトルから選択して決定する。

このように、図７に示す動きベクトル決定部では、着目画素の近傍領域の画素値に基づいて、特徴画素位置を特定し、着目画素の近傍領域における特徴画素の着目画素位置に対応する相対位置と、仮判定部２２１によって選別された候補ベクトルの指示する画素の近傍領域の特徴画素位置との相関を判定し、最も相関の高い特徴画素位置を持つ画素を指示する候補ベクトルを着目画素に対応する動きベクトルとして決定する。

以上の動きベクトル決定処理シーケンスについて、図１３に示すフローチャートを参照して説明する。

図１３に示すフローの各ステップの処理について説明する。図１３に示すフローは、１つの着目画素に対する動きベクトルの決定処理であり、フレーム画像の構成画素のすべてについて動きベクトルの決定を行なう場合は、フレーム画像の構成画素を順次、着目画素として設定し図１３に示すフローを各着目画素毎に実行する。

まず、ステップＳ２０１において実行する処理は、着目画素と、ｎ個の候補ベクトルによって指示される画素との差分絶対値、すなわちＭＣ残差ｄｎを算出する処理である。この処理は、図７の動きベクトル決定部２００の画素相関判定部２１０において実行される。

ステップＳ２０２〜Ｓ２０４は、仮判定部２２１における処理である。仮判定部２２１は、ステップＳ２０２において、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］を入力し、ｎ個のＭＣ残差の最小値：ｄｍｉｎを検出する。

ステップＳ２０３で、ｉ＝０（０≦ｉ＜ｎ）の初期設定を行い、ステップＳ２０４において、予め定められた閾値をＴＨとして、
ｄｉ-ｄｍｉｎ≦ＴＨ
を満たすか否かを判定する。

ステップＳ２０４において実行する処理は、先に図８を前述した候補ベクトルからの選別処理として実行する仮判定処理である。ｄｉ-ｄｍｉｎ≦ＴＨを満足しないと判定した場合は、選別候補ベクトルではないと判定され、ステップＳ２０５、Ｓ２０６で実行する注目画素の近傍領域の特徴画素位置に基づく相関判定を行なうことなく、ステップＳ２０７に進む。

ステップＳ２０４において実行する仮判定処理において、ｄｉ-ｄｍｉｎ≦ＴＨを満足する場合、選別候補ベクトルとして選択され、ステップＳ２０５に進む。ステップＳ２０５、Ｓ２０６の処理は、図７に示す動きベクトル決定部２００の特徴画素位置相関判定部２３０の処理である。

ステップＳ２０５では、特徴画素位置の相関性を判定する。この処理は、先に図１２を参照して説明したように、着目画素の近傍領域における特徴画素の位置と、選別候補ベクトルとして選択された画素の近傍領域の特徴画素位置の相関、すなわち位置の対応があるか否かを判定する処理である。

ステップＳ２０６では、相関のより高いものを選択する処理を実行し、ステップＳ２０７において、ｉの値に基づいて、すべての候補ベクトルの検証が済んだか否かを判定し、済んでいない場合は、ステップＳ２０９に進み、ｉの値を更新（１インクリメント）して、ステップＳ２０４以下の処理を繰り返し実行する。

すべての候補ベクトルについての検証が終了すると、ステップＳ２０８に進み、その時点で、選択されている最も相関の高い、すなわち、ステップＳ２０５において算出した着目画素の近傍領域における特徴画素の位置と、選別候補ベクトルとして選択された画素の近傍領域の特徴画素位置の相関の高いものに対応する候補ベクトルを、処理対象としての注目画素に対応する動きベクトルとして決定する。

上述したように、本実施例における２点マッチング方式による動きベクトル決定処理では、候補ベクトルから動きベクトルの決定処理において、ブロックマッチング処理を行なうことなく、着目画素とその近傍の特徴画素位置情報を用いる構成である。従ってブロックマッチング処理において適用するブロックの大きに応じた多数の画素値に基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。

なお、入力画素データがラスタスキャン順に入力される場合、着目画素に対して水平方向に限定した近傍領域内で差分絶対値が最大となる画素位置の検出処理や、隣接画素差分絶対値が最大となる画素位置などの検出処理、すなわち、付加情報演算部２５０における付加情報算出処理は、図５における評価値テーブル形成部１０１において実行する評価値テーブル形成処理に並行して実行可能であり、評価値テーブル形成処理の終了時には、付加情報を算出済みとすることが可能であり、新たな処理実行時間を設定することがなく、処理速度を低下させることのない動きベクトル検出処理が可能となる。

なお、上述の実施例では、着目画素の近傍領域として、着目画素位置を［０］として、−８〜＋７の１６画素や、−４〜＋３の８画素を例として説明したが、これらは、任意の領域として設定可能である。また、入力画素がラスタスキャン順であることを考慮して、水平方向の右側のみの範囲に近傍領域を設定すれば、ラスタスキャン順の入力画素値に基づく隣接画素比較処理が可能となり、画素値メモリ領域を小さくすることが可能となり、よりハードウェア規模を小さくできる。

上述の実施例では、画素の近傍領域を設定し、付加情報演算部２５０において、近傍領域における隣接画素差分絶対値の最大となる画素位置を特徴画素情報として算出し、この特徴画素情報を相関判定に適用する構成、すなわち、
（ａ）隣接画素差分絶対値の最大となる画素の位置
を適用する構成としたが、隣接画素差分絶対値の最大となる画素位置情報のみを相関判定に適用する構成以外に、例えば以下の情報を相関判定情報として適用した構成も可能である。
（ｂ）隣接画素差分絶対値が最大となる画素の位置と画素値

上記（ｂ）隣接画素差分絶対値の最大となる画素の位置と画素値を相関判定情報として適用する場合の付加情報演算部２５０の構成例を図１４に示す。

図１４に示す付加情報演算部２５０の構成は、図９に示す付加情報演算部２５０の構成とほぼ同様であり、レジスタ２５２、画素値差分算出部２５３、絶対値算出部２５４からなる隣接画素差分絶対値算出部２５１と、レジスタ２５５、最大差分値検出部２５６、最大差分画素位置検出部２５７、レジスタ２５８を有する。

隣接画素差分絶対値算出部２５１では、動きベクトル検出処理対象となる画像信号を入力し、レジスタ２５２に画像フレームデータを格納する。画素値差分算出部２５３では、レジスタ２５２に格納された画像データの隣接画素の差分を順次算出し、絶対値算出部２５４では、隣接画素の差分の絶対値を順次算出して、最大差分値検出部２５６に出力する。

最大差分値検出部２５６は、順次入力する隣接画素の差分絶対値をレジスタ２５５に格納しながら、比較処理を実行し、所定領域、例えば１６画素毎に最大の画素値差分絶対値を持つ画素差分値を検出する。

最大差分値検出部２５６の検出した所定領域毎（例えば１６画素毎）の画素値差分絶対値を持つ画素情報は、最大差分画素位置検出部２５７に入力され、所定領域毎（例えば１６画素毎）の最大差分画素位置情報が検出され、レジスタ２５８に格納される。

先の図９を参照して説明した付加情報演算部２５０は、レジスタ２５８に格納された位置情報のみを現フレーム付加情報メモリ２３１に出力し、位置情報に基づく相関判定処理を行なう構成としていた。この図１４に示す付加情報演算部２５０は、レジスタ２５８に格納された最大差分画素位置を示す位置情報のみならず、最大差分画素位置の画素値情報をレジスタ２５５から現フレーム付加情報メモリ２３１に出力する。

図７に示す特徴画素位置相関判定部２３０では、この２つのデータ、すなわち、隣接画素差分絶対値の最大となる画素の位置情報と画素値情報の２つの情報を適用して相関判定処理を実行する。

例えば、先に説明した図１２において、選別候補ベクトルのいずれもが、着目画素の近傍領域において検出された画素位置と同一の位置に特徴画素を有している場合であっても、さらに、画素値の相関を検証することで、最も一致度合いの高いものを選択して、これをその注目画素の動きベクトルとして決定することができる。

このように、位置情報のみだけでなく、位置情報と画素値レベル情報や画素値レベル差情報の両方を相関判定に用いることで、より正確な動きベクトルの決定が可能しとなる。

なお、上述した２点マッチングは、物体は面積を持って動くという仮定を利用しているが、例えば特徴画素が着目画素から遠い位置に設定されると、同一物体である可能性が低下する。そこで、特徴画素位置の一致程度だけでなく、特徴画素との距離を相関性に反映した処理を行なう構成としてもよい。すなわち、着目画素に近い位置の特徴画素については相関判定の際に重みを大きくし、着目画素から遠い位置の特徴画素については相関判定の際に重みを小さくする構成である。

（２）３点マッチング方式による動きベクトル決定処理
次に、３点マッチング方式による動きベクトル決定処理について説明する。図１５に本実施例に係る動きベクトル検出装置の動きベクトル決定部の詳細構成を示す。図１５に示す動きベクトル決定部４００は、図５に示す動きベクトル検出装置の動きベクトル決定部１０３に相当する。

図１５に示す動きベクトル決定部４００は、図５に示す候補ベクトル抽出部１０２から前述した評価値テーブルに基づいて決定した複数の候補ベクトル情報を入力し、各画素毎に対応付ける動きベクトルを決定する処理を実行する。

図１５に示すように、本実施例に係る動きベクトル決定部４００は、画素相関判定部４１０、仮判定部４２１、付加情報演算部４５０、現フレーム付加情報メモリ４２２、前フレーム付加情報メモリ４２３、近傍領域情報相関判定部４３０を有する。画素相関判定部４１０は、現フレームメモリ４１１、前フレームメモリ４１２、画素値差分算出部４１３、絶対値算出部４１４を有する。近傍領域情報相関判定部４３０は、レジスタ４３１，４３２、ゲート４３３、相関判定部４３４を有する。付加情報演算部４５０の詳細は、図１５を参照して説明する。

画素相関判定部４１０は、画像信号を入力する。この入力画像は、先に、図５を参照して説明したように、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

画像データは、フレームデータ毎に入力され、まず、現フレームメモリ４１１に格納されて、次に前フレームメモリ４１２に格納される。従って、画素相関判定部４１０は、２つの連続するフレームデータをメモリに保持する。

さらに、画素相関判定部４１０は、図５に示す候補ベクトル抽出部１０２から候補ベクトル情報を入力し、候補ベクトル情報に基づいて前フレームの各画素、すなわち動きベクトルを決定すべき画素（着目画素）毎に、複数の候補ベクトルの指示する現フレームの画素位置を特定し、前フレームの着目画素と複数の候補ベクトルの指示する現フレームの画素との差分を画素値差分算出部４１３において算出し、絶対値算出部４１４においてその差分絶対値を算出して、仮判定部４２１に出力する。これらの一連の処理は、先の２点マッチングの場合と同様である。

仮判定部４２１は、着目画素と、複数の候補ベクトルによって決定される各画素との差分絶対値（ＭＣ残差）を入力する。例えばｎ個の候補ベクトルがある場合、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］を入力する。ただしｉ＝１〜ｎである。

仮判定部４２１は、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］から、着目画素に対応する動きベクトルの絞込みを行う。具体的には、ｎ個の（（差分絶対値（ＭＣ残差）［ｄｉ］から、ＭＣ残差の小さいものを選択する。この処理も先の２点マッチングの場合と同様であり、例えば、ｎ個のＭＣ残差の最小値をｄｍｉｎ、予め定められた閾値をＴＨとして、
ｄｉ-ｄｍｉｎ≦ＴＨ
を満たす画素とｄｍｉｎを満たす画素のいずれかを指示する候補ベクトルを選択する。

先に説明した図８の例では、例えば、Ａ〜Ｅの画素中、Ａ，Ｃ，Ｅが上記基準を満たす画素として選別されたとすると、これらの選別候補ベクトル情報が、仮判定部４２１からゲート４３３に出力され、図５に示す候補ベクトル抽出部１０２から入力される候補ベクトル情報から、この選別された候補ベクトル情報のみが、近傍領域情報相関判定部４３０に入力される。

本実施例の画相関判定部４１０は、さらに、画相関判定部４１０の現フレームメモリ４１１から注目画素の近傍領域の２つの画素の画素情報が近傍領域情報相関判定部４３０のレジスタ４３２に入力され、さらに、画相関判定部４１０の前フレームメモリ４１２から候補ベクトルによって示されるｎ個の指示画素に対応する２画素、すなわちｎ×２画素が近傍領域情報相関判定部４３０のレジスタ４３１に入力される。

近傍領域におけるどの画素を出力するかは、それぞれ現フレーム付加情報メモリ４２２と、前フレーム付加情報メモリ４２３およびｎ個の候補ベクトル情報の出力によって決定される。

現フレーム付加情報メモリ４２２と、前フレーム付加情報メモリ４２３には、付加情報演算部４５０の演算結果が出力されることになる。

図１６を参照して、付加情報演算部４５０の詳細構成について説明する。付加情報演算部４５０は、例えば、着目画素の近傍の画素中、着目画素との画素値差分が最大の画素と、着目画素との画素値差分が最小の画素、これら２つの画素を特徴画素として抽出する。

図１６に示す付加情報演算部４５０は、レジスタ４５２、画素値差分算出部４５３からなる着目画素差分算出部４５１と、差分最大値画素情報取得部（ＭＡＸ）４５４、差分最小値画素情報取得部（ＭＩＮ）４５５、最大差分画素位置検出部４５６、レジスタ４５７、最小差分画素位置検出部４５８、レジスタ４５９を有する。

着目画素差分算出部４５１では、動きベクトル検出処理対象となる画像信号を入力し、レジスタ４５２に画像フレームデータを格納する。画素値差分算出部４５３では、レジスタ４５２に格納された画像データの近傍領域の差分を順次算出し、最大差分値を持つ画素情報を差分最大値画素情報取得部（ＭＡＸ）４５４に格納し、最小差分値を持つ画素情報を差分最小値画素情報取得部（ＭＩＮ）４５５に格納する。なお、これらの画素情報には、画素位置情報が含まれる。

図１７を参照して、具体的な処理について説明する。付加情報演算部４５０では、レジスタ４５２に格納された画像データについて、着目画素と、着目画素の近傍画素値との差分を順次算出することで、例えば着目画素の近傍領域の画素において、着目画素と最大差分値を持つ画素情報と、最小差分値を持つ画素情報を取得する。なお、着目画素の近傍領域の画素とは、例えば、着目画素の水平方向の前後−８〜＋７画素の範囲、あるいは２次元領域において設定されたブロックなどのあらかじめ設定された画素領域である。

図１７の例では、着目画素４８１の近傍領域において、着目画素と最大差分値を持つ画素は、着目画素４８１の画素位置を［０］としたとき、画素４８２、すなわち画素位置［−５］の画素が着目画素と最大差分値を持つ画素、すなわち空間勾配の最大画素として選択され１つの特徴画素として画素情報が取得される。また、着目画素と最小差分値を持つ画素は、着目画素４８１の画素位置を［０］としたとき、画素４８３、すなわち画素位置［−１］の画素が着目画素と最小差分値を持つ画素、すなわち空間勾配の最小画素として選択され１つの特徴画素として画素情報が取得される。

図１６に示す差分最大値画素情報取得部（ＭＡＸ）４５４は、順次入力する画素の差分情報に基づいて、所定領域、例えば−８〜＋７の１６画素毎に注目画素に対して差分最大値となる画素を検出する。差分最小値画素情報取得部（ＭＩＮ）４５５は、順次入力する画素の差分情報に基づいて、所定領域毎に注目画素に対して差分最小値となる画素を検出する。

差分最大値画素情報取得部（ＭＡＸ）４５４の検出した所定領域毎の最大画素差分値を持つ画素情報は、最大差分画素位置検出部４５６に入力され、所定領域毎（例えば１６画素毎）の最大差分画素位置情報が検出され、レジスタ４５７に格納される。

差分最小値画素情報取得部（ＭＩＮ）４５５の検出した所定領域毎の最小画素差分値を持つ画素情報は、最小差分画素位置検出部４５８に入力され、所定領域毎（例えば１６画素毎）の最小差分画素位置情報が検出され、レジスタ４５９に格納される。

例えば図１７に示す例では、着目画素４８１の近傍領域において、着目画素との差分が最大となる画素４８２の画素位置は、着目画素を画素位置：０としたとき、［−５］の画素位置であり、着目画素との差分が最小となる画素４８３の画素位置は、着目画素を画素位置：０としたとき、［−１］の画素位置である。

レジスタ４５７に格納された所定領域毎（例えば１６画素毎）の最大差分画素位置情報と、レジスタ４５９に格納された所定領域毎（例えば１６画素毎）の最小差分画素位置情報が現フレーム付加情報格納メモリ４２２に順次出力される。

図１５に戻り、動きベクトル決定部４００の処理について説明を続ける。図１６参照して説明した付加情報演算部４５０からの特徴画素位置情報は、図１５に示す現フレーム付加情報メモリ４２２に入力される。フレーム処理ごとに付加情報は、前フレーム付加情報メモリ４２３に移動する。

現フレーム付加情報メモリ４２２に入力された現フレームメモリの付加情報、すなわち、注目画素に対応する２つの特徴画素位置情報、すなわち注目画素との最大差分を持つ画素位置情報と、注目画素との最小差分を持つ画素位置情報とが画素相関判定部４１０の現フレームメモリ４１１に出力され、この出力情報に基づいて、この２点の画素情報が、近傍領域情報判定部４３０のレジスタ４３２に格納される。この画素情報には画素位置情報が含まれる。

また、前フレーム付加情報メモリ４２３に入力された前フレームメモリの付加情報、すなわち、すなわち注目画素との最大差分を持つ画素位置情報と、注目画素との最小差分を持つ画素位置情報とが画素相関判定部４１０の前フレームメモリ４１２に出力される。前フレームメモリ４１２には、さらに候補ベクトル抽出部からｎ個の候補ベクトル情報が入力され、候補ベクトル情報によって指示される各画素毎に決定される近傍領域から２つの特徴画素が特定され、ｎ×２の特徴画素情報が近傍領域情報判定部４３０のレジスタ４３１に格納される。この画素情報には画素位置情報が含まれる。

レジスタ４３１に格納されたｎ×２の特徴画素情報は、ゲート４３３を介し相関判定部４３４に出力される。ゲート４３３では、ｎ個の候補ベクトルから仮判定部４２１における仮判定処理によって選別された選別候補ベクトルに基づいて、選別候補ベクトルに対応する画素の近傍領域の特徴画素情報のみが相関判定部４３４に出力される。

一方、着目画素の特徴画素情報は、直接相関判定部４３４に出力される。相関判定部４３４では、これらの特徴画素の相関判定処理を行い、選別候補ベクトルから唯一の動きベクトルを決定する。

相関判定部４３４における動きベクトル決定処理について、図１８を参照して説明する。図１８に示すのは、先に図８を参照して説明したと同様の入力フレーム（現フレーム）画像データ５００と、過去フレーム（前フレーム）画像データ５１０である。

入力フレーム（現フレーム）画像データ５００には、先に図８を参照して説明した仮判定部による候補ベクトル選別処理によって選別された候補ベクトルａ，ｃ，ｅを示してある。

近傍領域情報判定部４３０における相関判定部４３３は、過去フレーム（前フレーム）画像データ５１０から選択した着目画素、すなわち、動きベクトルを対応付ける画素としての着目画素５１１の近傍領域における特徴画素位置データに基づいて、候補ベクトルａ，ｃ，ｅから１つの動きベクトルを決定する。

図１８に示す例において、着目画素５１１の近傍領域は、２次元のブロック領域としている。この近傍領域の設定は、任意であり、前述の２点マッチングと同様、水平方向の一次元領域に設定してもよい。

着目画素５１１の画素位置を中心にしたとき、注目画素と最大差分画素となる画素位置である空間勾配最大画素５１２と、注目画素と最小差分画素となる画素位置である空間勾配最小画素５１３が決定する。

一方、入力フレーム（現フレーム）５００においても、各選別候補ベクトルによって指示される画素を中心として設定される画素領域、すなわち選別候補ベクトルａによって設定される画素領域５０１、選別候補ベクトルｃによって設定される画素領域５０２、選別候補ベクトルｅによって設定される画素領域５０３それぞれにおいて、中心画素との最大差分画素となる画素位置である空間勾配最大画素と、中心画素と最小差分画素となる画素位置である空間勾配最小画素が決定する。

相関判定部４３３では、着目画素５１１の近傍領域の特徴画素位置と、選別候補ベクトルａ，ｃ，ｅの指示する対応画素位置の近傍領域における特徴画素位置の相関を判定する。

図に示す例では、選別候補ベクトルａの指示する近傍領域５０１は、着目画素５１１の近傍領域の特徴画素位置に対応する位置となっており、他の２つの選別候補ベクトルｃ，ｅの指示する近傍領域５０２，５０３は、着目画素５１１の近傍領域の特徴画素位置に対応する位置となっていない。

この結果、着目画素５１１に対応する動きベクトルとして、候補ベクトルａが選択決定される。

相関判定部４３３は、このような処理をフレームの構成画素について順次、着目画素として設定し、設定した着目画素毎に上述と同様の近傍領域の特徴画素位置の相関判定処理を実行し、フレーム構成画素各々に対応する動きベクトルを選別候補ベクトルから選択して決定する。

このように、図１５に示す動きベクトル決定部４００では、着目画素の近傍領域の画素値に基づいて、２つの特徴画素位置を特定し、着目画素の近傍領域における特徴画素の着目画素位置に対応する相対位置と、仮判定部２２１によって選別された候補ベクトルの指示する画素の近傍領域の特徴画素位置との相関を判定し、最も相関の高い特徴画素位置を持つ画素を指示する候補ベクトルを着目画素に対応する動きベクトルとして決定する。

以上の動きベクトル決定処理シーケンスについて、図１９に示すフローチャートを参照して説明する。図１９に示すフローは、１つの着目画素に対する動きベクトルの決定処理であり、フレーム画像の構成画素のすべてについて動きベクトルの決定を行なう場合は、フレーム画像の構成画素を順次、着目画素として設定し図１９に示すフローを各着目画素毎に実行する。

まず、ステップＳ３０１において実行する処理は、着目画素と、ｎ個の候補ベクトルによって指示される画素との差分絶対値、すなわちＭＣ残差ｄｎを算出する処理である。この処理は、図１５の動きベクトル決定部４００の画素相関判定部４１０において実行される。

ステップＳ３０２〜Ｓ３０４は、仮判定部４２１における処理である。仮判定部４２１は、ステップＳ３０２において、ｎ個の差分絶対値（ＭＣ残差）［ｄｉ］を入力し、ｎ個のＭＣ残差の最小値：ｄｍｉｎを検出する。

ステップＳ３０３で、ｉ＝０（０≦ｉ＜ｎ）の初期設定を行い、ステップＳ３０４において、予め定められた閾値をＴＨとして、
ｄｉ-ｄｍｉｎ≦ＴＨ
を満たすか否かを判定する。

ステップＳ３０４において実行する処理は、先に図８を前述した候補ベクトルからの選別処理として実行する仮判定処理である。ｄｉ-ｄｍｉｎ≦ＴＨを満足しないと判定した場合は、選別候補ベクトルではないと判定され、ステップＳ３０５、Ｓ３０６、Ｓ３０７で実行する注目画素の近傍領域の特徴画素位置に基づく相関判定を行なうことなく、ステップＳ３０８に進む。

ステップＳ３０４において実行する仮判定処理において、ｄｉ-ｄｍｉｎ≦ＴＨを満足する場合、選別候補ベクトルとして選択され、ステップＳ３０５に進む。

ステップＳ３０５では、特徴画素位置の相関性を判定する。この処理は、先に図１６を参照して説明したように、着目画素の近傍領域における２つの特徴画素の位置と、選別候補ベクトルとして選択された画素の近傍領域の２つの特徴画素位置の相関、すなわち位置の対応があるか否かを判定する処理である。

ステップＳ３０６では、相関のより高いものを選択する処理を実行し、ステップＳ３０７において、ｉの値に基づいて、すべての候補ベクトルの検証が済んだか否かを判定し、済んでいない場合は、ステップＳ３１０に進み、ｉの値を更新（１インクリメント）して、ステップＳ３０４以下の処理を繰り返し実行する。

すべての候補ベクトルについての検証が終了すると、ステップＳ３０８に進み、その時点で、選択されている最も相関の高い、すなわち、ステップＳ３０５において算出した着目画素の近傍領域における２つの特徴画素の位置と、選別候補ベクトルとして選択された画素の近傍領域の特徴画素位置の相関の高いものに対応する候補ベクトルを、処理対象としての注目画素に対応する動きベクトルとして決定する。

上述したように、本実施例における３点マッチング方式による動きベクトル決定処理では、候補ベクトルから動きベクトルの決定処理において、ブロックマッチング処理を行なうことなく、着目画素とその近傍の２つの特徴画素位置情報を用いる構成である。従ってブロックマッチング処理において適用するブロックの大きに応じた多数の画素値に基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。

上述の実施例では、現フレームと前フレームの２つの特徴画素位置を適用して位置情報に基づき相関判定を行なったが、着目画素に対応する特徴画素位置における画素値に基づく相関判定処理を行なう構成としてもよい。すなわち着目画素と、その近傍領域における２つの特徴画素の画素値を用いて、計３点のみを用いたブロックマッチングを行なう構成である。この処理シーケンスについて、図２０を参照して説明する。

図２０は、先に説明した図１８と同様、入力フレーム（現フレーム）画像データ６００と、過去フレーム（前フレーム）画像データ６１０である。

入力フレーム（現フレーム）画像データ６００には、先に図８を参照して説明した仮判定部による候補ベクトル選別処理によって選別された候補ベクトルａ，ｃ，ｅを示してある。

近傍領域情報判定部４３０における相関判定部４３３は、過去フレーム（前フレーム）画像データ５１０から選択した着目画素、すなわち、動きベクトルを対応付ける画素としての着目画素５１１の近傍領域における特徴画素位置データに基づいて、候補ベクトルａ，ｃ，ｅから１つの動きベクトルを決定する。

図２０に示す例において、着目画素６１１の近傍領域は、２次元のブロック領域としている。この近傍領域の設定は、任意であり、前述の２点マッチングと同様、水平方向の一次元領域に設定してもよい。

着目画素６１１の画素位置を中心にしたとき、注目画素と最大差分画素となる画素位置である空間勾配最大画素６１２と、注目画素と最小差分画素となる画素位置である空間勾配最小画素６１３が決定する。

一方、入力フレーム（現フレーム）６００においては、各選別候補ベクトルによって指示される画素を中心として設定される画素領域、すなわち選別候補ベクトルａによって設定される画素領域６０１、選別候補ベクトルｃによって設定される画素領域６０２、選別候補ベクトルｅによって設定される画素領域６０３それぞれにおいて、過去フレームにおいて検出された注目画素６１１に対する空間勾配最大画素６１２と、空間勾配最小画素６１３の各位置に対応する画素がピックアップされて、図１５に示す近傍領域情報相関判定部４３０に出力される。

図２０に示すように、各選別候補ベクトルａ，ｃ，ｅによって指示される各画素領域６０１，６０２，６０３から、過去フレームにおいて検出された注目画素６１１に対する空間勾配最大画素６１２と、空間勾配最小画素６１３の各位置に対応する画素がピックアップされ相関判定を行なう。

すなわち、図１５に示す近傍領域情報相関判定部４３０において、これらの画素間の画素値相関判定を実行する。すなわち、注目画素６１１に対する空間勾配最大画素６１２と、空間勾配最小画素６１３の各位置の画素と、各画素領域６０１，６０２，６０３の対応位置の画素値との相関判定を行なう。なお、中心画素については、仮判定部４２１において相関判定が実行されており、結果として、３点のみを利用したマッッチング処理結果が得られ、この３点マッチング処理によって最も相関の高いと判定されたデータに対応する選別候補ベクトルが、着目画素に対応する動きベクトルとして決定される。

図２１に上記手法による動きベクトル決定処理フローを示す。図２１に示す処理フロー中、ステップＳ４０１〜Ｓ４０４の処理は、先に図１９を参照して説明した処理フローのステップＳ３０１〜Ｓ３０４の処理と同様であり、仮判定部における選別候補ベクトルが抽出される処理である。

ステップＳ４０５では、３画素によるブロックマッチングを実行する。すなわち、図２０を参照して説明したように、選別候補ベクトルによって指示される各画素領域から、過去フレームにおいて検出された注目画素に対する空間勾配最大画素と、空間勾配最小画素の各位置に対応する画素がピックアップされて相関が判定される。中心画素、すなわち注目画素位置に対応する画素相関情報については、仮判定部の判定結果を参照する。

これらの３点のマッチング検証によって相関判定が実行されて、最も高い相関を示すベクトルを注目画素対応の動きベクトルとして決定する。ステップＳ４０６〜Ｓ４０８，Ｓ４１０の処理は、先に図１９を参照して説明した処理フローのステップＳ３０６〜Ｓ３０８、Ｓ３１０と同様の処理であり説明を省略する。

このように、３点マッチング方式を適用した候補ベクトルから動きベクトルの決定処理では、注目画素近傍（ブロック）内の全ての画素を適用した相関判定を行なうことなく、着目画素とその近傍の２つの特徴画素位置情報や画素値情報を用いる構成である。従ってブロックマッチング処理において適用するブロックの大きさに応じた多数の画素値に基づく相関算出計算を行なう必要がなくなり、効率的な処理が可能となる。

なお、上述した２つの処理、すなわち、図１９を参照して説明した特徴画素位置の相関情報を利用した相関判定による動きベクトル決定処理と、図２１を参照して説明した画素値の相関情報を利用した相関判定による動きベクトル決定処理を併用した処理も可能である。

図２２に特徴画素位置の相関情報を利用した相関判定と、画素値の相関情報を利用した相関判定による動きベクトル決定処理を併用した処理シーケンスを説明するフローを示す。

図２２に示す処理フロー中、ステップＳ５０１〜Ｓ５０４の処理は、先に図１９を参照して説明した処理フローのステップＳ３０１〜Ｓ３０４の処理と同様であり、仮判定部における選別候補ベクトルが抽出される処理である。

ステップＳ５０５では、特徴画素位置の相関性を判定する。この処理は、先に図１６を参照して説明したように、着目画素の近傍領域における２つの特徴画素の位置と、選別候補ベクトルとして選択された画素の近傍領域の２つの特徴画素位置の相関、すなわち位置の対応があるか否かを判定する処理である。

次に、ステップＳ５０６において、３画素によるブロックマッチングを実行する。すなわち、図２０を参照して説明したように、選別候補ベクトルによって指示される各画素領域から、過去フレームにおいて検出された注目画素に対する空間勾配最大画素と、空間勾配最小画素の各位置に対応する画素がピックアップされて相関が判定される。中心画素、すなわち注目画素位置に対応する画素相関情報については、仮判定部の判定結果を参照する。

ステップＳ５０７では、ステップＳ５０５の相関判定と、ステップＳ５０６の相関判定の両者を考慮して最も高い相関を示すベクトルを選択する。ステップＳ５０８〜Ｓ５１０の処理は、先に図１９を参照して説明した処理フローのステップＳ３０７〜Ｓ３０８、Ｓ３１０と同様の処理であり説明を省略する。

このように、画素位置の相関と、３点マッチング方式を適用した候補ベクトルから動きベクトルの決定処理においても、注目画素近傍（ブロック）内の全ての画素を適用した相関判定を行なう必要はなく、きわめて少ない画素情報を用いるのみの構成であり、ブロックマッチング処理において適用するブロックの大きに応じた多数の画素値に基づく相関算出計算を行なう必要がなり、効率的な処理が可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、動画像データからの動きベクトル検出処理において、各画素対応の動きベクトルを複数の候補ベクトルから選択決定する処理において、動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、その特徴画素の位置情報、または画素値情報に基づいて相関判定を実行し、動きベクトルの決定処理を行なう構成としたので、ブロックマッチング処理を適用する必要がなく、相関算出のための演算として差分絶対値総和演算などの評価値計算両を削減することができ、処理効率が向上し、また、画素値を保持するためのメモリも小さくすることが可能となりハードウェア規模の小型化が実現される。従って、動画像データの符号化処理などを実行する画像処理装置などにおいて本発明を適用することにより、より正確な動きベクトル検出処理が可能となる。

ブロックマッチング法の概要を説明する図である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その１）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その２）である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図（その３）である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を示す図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケンスを説明するフローチャートである。 本発明の動きベクトル検出装置の動きベクトル決定部の詳細構成を示す図である。 動きベクトル決定部の仮判定部における処理について説明する図である。 本発明の動きベクトル決定部の付加情報演算部の詳細構成を示す図である。 付加情報演算部で検出する特徴画素について説明する図である。 付加情報演算部で検出する特徴画素検出処理態様について説明する図である。 本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理の詳細を説明する図である。 本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明するフローチャート図である。 本発明の動きベクトル決定部の付加情報演算部の構成例を示す図である。 本発明の動きベクトル検出装置の動きベクトル決定部の詳細構成（実施例２）を示す図である。 本発明の動きベクトル決定部の付加情報演算部の構成例を示す図である。 付加情報演算部で検出する特徴画素について説明する図である。 本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理の詳細を説明する図である。 本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明するフローチャート図である。 本発明の動きベクトル検出装置の動きベクトル決定部において実行する処理の詳細を説明する図である。 本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明するフローチャート図である。 本発明の動きベクトル検出装置の動きベクトル決定処理のシーケンスを説明するフローチャート図である。

符号の説明

１０ 前フレーム
１１ 検査ブロックＢｙ
１２ サーチエリア
２０ 現フレーム
２１ 基準ブロックＢｘ
７０ 前フレーム
７１ 代表点Ｒｙ
８０ 現フレーム
８１ サーチエリア
９０ 評価値テーブル
９１ 前フレーム画素
９５，９６，９７ 現フレーム画素
１０１ 評価値テーブル形成部
１０２ 候補ベクトル抽出部
１０３ 動きベクトル決定部
１０４ 制御部（コントローラ）
２００ 動きベクトル決定部
２１０ 画素相関判定部
２１１ 現フレームメモリ
２１２ 前フレームメモリ
２１３ 画素値差分算出部
２１４ 絶対値算出部
２２１ 仮判定部
２２２ ゲート
２３０ 特徴画素位置相関判定部
２３１ 現フレーム付加情報メモリ
２３２ 前フレーム付加情報メモリ
２３３ 相関判定部
２５０ 付加情報演算部
２５１ 隣接画素差分絶対値算出部
２５２ レジスタ
２５３ 画素値差分算出部
２５４ 絶対値算出部
２５５ レジスタ
２５６ 最大差分値検出部
２５７ 最大差分画素位置検出部
２５８ レジスタ
２８１ 着目画素
２８２ 特徴画素（隣接画素差分絶対値最大画素）
３００ 入力フレーム（現フレーム）画像データ
３１０ 過去フレーム（前フレーム）画像データ
３０１，３０２，３０３ 近傍領域
３１１ 着目画素
４００ 動きベクトル決定部
４１０ 画素相関判定部
４１１ 現フレームメモリ
４１２ 前フレームメモリ
４１３ 画素値差分算出部
４１４ 絶対値算出部
４２１ 仮判定部
４２２ 現フレーム付加情報メモリ
４２３ 前フレーム付加情報メモリ
４３０ 近傍領域情報相関判定部
４３１，４３２ レジスタ
４３３ ゲート
４３４ 相関判定部
４５０ 付加情報演算部
４５１ 着目画素差分算出部
４５２ レジスタ
４５３ 画素値差分算出部
４５４ 差分最大値画素情報取得部（ＭＡＸ）
４５５ 差分最小値画素情報取得部（ＭＩＮ）
４５６ 最大差分画素位置検出部
４５７ レジスタ
４５８ 最小差分画素位置検出部
４５９ レジスタ
４８１ 着目画素
４８２ 空間勾配最大画素
４８３ 空間勾配最小画素
５００ 入力フレーム（現フレーム）画像データ
５１０ 過去フレーム（前フレーム）画像データ
５０１，５０２，５０３ 近傍領域
５１１ 着目画素
５１２ 空間勾配最大画素
５１３ 空間勾配最小画素
６００ 入力フレーム（現フレーム）画像データ
６１０ 過去フレーム（前フレーム）画像データ
６０１，６０２，６０３ 近傍領域
６１１ 着目画素
６１２ 空間勾配最大画素
６１３ 空間勾配最小画素

Claims (23)

1. 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出部と、
   前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定部とを有し、
   前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする動きベクトル検出装置。
2. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによって指示される画素の画素値との相関判定を実行して、前記候補ベクトルから相関の高いもののみを選別する処理を実行する仮判定部を有し、
   前記特徴画素に基づく相関判定処理は、前記仮判定部によって選別された選別候補ベクトルのみを対象とした処理として実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から隣接画素との画素値差分絶対値が最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
6. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分絶対値が最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
7. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から複数の特徴画素を抽出し、該複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
8. 前記動きベクトル決定部は、
   動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項７に記載の動きベクトル検出装置。
9. 前記動きベクトル決定部は、
   前記２つの特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項８に記載の動きベクトル検出装置。
10. 前記動きベクトル決定部は、
    動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項７に記載の動きベクトル検出装置。
11. 前記動きベクトル決定部は、
    動きベクトルを対応付ける着目画素の近傍領域から２点の特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素の画素値に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項７に記載の動きベクトル検出装置。
12. 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出ステップと、
    前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定ステップとを有し、
    前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする動きベクトル検出方法。
13. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の画素値と、前記候補ベクトルによって指示される画素の画素値との相関判定を実行して、前記候補ベクトルから相関の高いもののみを選別する処理を実行する仮判定ステップを有し、
    前記特徴画素に基づく相関判定処理は、前記仮判定ステップによって選別された選別候補ベクトルのみを対象とした処理として実行することを特徴とする請求項１２に記載の動きベクトル検出方法。
14. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
15. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
16. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から隣接画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
17. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分絶対値の最大の画素を特徴画素として抽出し、該特徴画素の画素値情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
18. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から複数の特徴画素を抽出し、該複数の特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１２に記載の動きベクトル検出方法。
19. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１８に記載の動きベクトル検出方法。
20. 前記動きベクトル決定ステップは、
    前記２つの特徴画素の位置情報に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定する構成であることを特徴とする請求項１９に記載の動きベクトル検出方法。
21. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から着目画素との画素値差分の最大の画素と最小の２つの画素を特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１８に記載の動きベクトル検出方法。
22. 前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から２点の特徴画素として抽出し、該２つの特徴画素と着目画素とを含む３画素の画素値に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とする請求項１８に記載の動きベクトル検出方法。
23. 動画像データから動きベクトルを検出する処理を実行するコンピュータ・プログラムであり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対応する動きベクトルの候補ベクトルを検出する候補ベクトル抽出ステップと、
    前記候補ベクトルから各画素に対応する動きベクトルを決定する動きベクトル決定ステップとを有し、
    前記動きベクトル決定ステップは、
    動きベクトルを対応付ける着目画素の近傍領域から特徴画素を抽出し、該特徴画素に基づく相関判定処理に基づいて、着目画素に対応する動きベクトルを決定するステップであることを特徴とするコンピュータ・プログラム。

Images