JP2005250561A - 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 精度の高い評価値テーブルを生成して正確な動きベクトルの検出処理を可能とした装置および方法を提供する。
【解決手段】 代表点マッチング処理に基づく評価値テーブルの生成において、代表点と代表点近傍の画素との動き類似性を判定し、動き類似性がある場合には、相関判定結果の信頼性が高いと判断して、信頼度指数βを算出し、信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう。具体的には、ａ．近傍代表点の動きの一致数もしくは類似数、ｂ．動きが一致もしくは類似した代表点との空間勾配、ｃ．動きが一致もしくは類似した時の代表点間の距離、これらのパラメータを考慮した信頼度指数βを算出し、この信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう。
【選択図】 図１６

Description

本発明は、動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。さらに詳細には、動画像データからの動きベクトル検出処理を実行する動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムに関する。

近年の情報処理装置、通信端末の高機能化、高速通信インフラの整備、さらに、ＤＶＤ、Ｂｌｕ−ｒａｙディスクなどの高密度記録媒体の普及などに伴い、ネットワークを介した動画像データの配信、あるいは高密度記録媒体を利用した動画像データの記憶、再生などが盛んに行なわれるようになってきた。このような状況に伴って、動画像データに対するデータ処理、例えば符号化処理などにおける効率性や高速性の向上が求められている。

動画像データの高能率符号化における動き補償型画像符号化、交通監視システムあるいは自律走行車両の視覚センサにおける動物体の検出処理、速度検出処理などにおいては、画像データ中に含まれる各物体の動きの方向および大きさ（速度）を検出する処理、すなわち、動きベクトルの検出処理が必要となる。

例えば、動き補償型画像符号化処理の一例として、動画の高能率符号化の国際的標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が提案されているが、このＭＰＥＧ方式は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と動き補償予測符号化とを組み合わせた符号化を行なう方式である。動き補償予測符号化においては、動画像データを構成する現フレームと、１つ前の前フレームの連続フレームにおける画像信号レベルの相関を検出し、検出した相関に基づいて動きベクトルを求め、検出した動きベクトルに基づく動き画像の補正処理を行うことで、効率的な符号化を達成している。

動きベクトルの検出方法の一つとして、ブロックマッチング法が知られている。図１を参照して、ブロックマッチング法の概要を説明する。動画像を構成する時間的に連続するフレーム画像、例えば図に示す時間（ｔ）の現フレーム［Ｆ_ｔ］２０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］１０を抽出する。フレーム画像の１画面を複数の画素で構成される小さな領域（以下、ブロックと称する）ｍ画素×ｎラインに分割する。

現フレーム［Ｆ_ｔ］２０を参照フレームとし、参照フレームの検査ブロックＢｙ２１を、所定のサーチエリア２２内で移動し、前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１と最も画素値差分の少ない、すなわち画素値が最も合致する（最も相関の大きな）検査ブロックを検出する。前フレーム［Ｆ_ｔ−１］１０の基準ブロックＢｘ１１が、この現フレーム［Ｆ_ｔ］２０から検出した相関の高い検査ブロックの位置に動いたと推定する。この推定された動きを示すベクトルに基づいて、各画素の動きベトクルを求める。このように、ブロックマッチング法は、所定のブロック（ｍ×ｎ）単位で、フレーム間の相関判定（マッチング判定）処理を行い、動きベクトルを求める手法である。

ブロックマッチング法において、動きベクトルはブロック毎に求められる。各ブロックの相関、すなわち合致の程度を表す評価値としては、例えば、基準ブロックＢｘ内の複数の画素と、検査ブロックＢｙ内の複数の画素との間で空間的に同一位置の画素同士の値を減算してフレーム差を求め、算出したフレーム差の絶対値を積算することで算出されるフレーム差絶対値和が適用される。あるいは、フレーム差の二乗和等を使用することも可能である。

しかし、上述のブロックマッチング法は、サーチエリア内の全てのデータの比較を行う全探索であるため、検出に要する比較の回数が非常に多く、動き検出に時間がかかる欠点があった。

また、ブロック内に動き部分と静止部分とが含まれるような場合、ブロックを単位として検出された動きは、正確にはブロック内の個々の画素の動きに対応するとは言えない。このような問題は、ブロックサイズの設定により調整可能であるが、例えば、ブロックを大きくすると、演算量の増大に加えて、ブロック内の複数動きの問題が発生し易くなる。逆に、ブロック内に複数の動きが含まれないように、ブロックのサイズを小さくした場合には、マッチングの判断の領域が小さくなるので、動き検出の精度が低下する問題が生じる。すなわち、ブロックマッチングを行う際、基準ブロックと似た検査ブロック、すなわち基準ブロックと相関の高い検査ブロックが多数出現する可能性が高くなる。これらは、動きに起因しないものが含まれるからであり、動き検出の精度が低下する。例えば、文字テロップが水平または垂直方向に動く時には、反復パターンの影響が現れやすい。漢字の文字パターンの場合では、同じ文字でも、小さな部分に分割すると、同一のパターンとなることが多い。従って、ブロック内に複数の動きが混在する場合には、正確な動きを求めることが難しいという問題があった。

本特許出願に係る出願人は、例えば特許文献１において、演算量を増大させることなく、１画素毎の動きベクトルを検出でき、且つ、誤検出を防止した動きベクトル検出方法および検出装置を提案している。

特許文献１において開示している動きベクトル検出処理のポイントは、画素またはブロック毎に評価値を算出して動きベクトルを決定するのではなく、第１ステップの処理として、フレームの一方に複数画素からなる複数ブロックを設定して、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値に基づく相関情報としての評価値テーブルを形成し、その評価値テーブルから、複数の候補ベクトルを抽出する。次に、第２ステップの処理として、抽出した候補ベクトルから、１画素毎に最良と思われる候補ベクトルを選択して対応付けて、各画素毎の動きベクトルとして決定する。このように、
評価値テーブルの生成処理、
評価値テーブルに基づく候補ベクトルの選択処理、
各画素対応の動きベクトルとして、複数の候補ベクトルから最適なものを対応付ける処理
以上の処理によって、各画素毎の動きベクトルを求める方式である。この方式を、以下、候補ベクトル方式と称する。

候補ベクトル方式による動きベクトル検出処理の利点は、評価値テーブルに基づいて、限られた数の候補ベクトルを抽出しておくことで、演算量の軽減が図れること。また、動きベクトルの誤検出が起りやすい被写体の境界部分においても、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定することが可能となることなどがある。従来は、各画素の動きベクトルをフレーム間の画素の差分などを評価値として算出し、評価値をフレーム全画素について求める全探索処理を実行する方式がとられていたが、候補ベクトル方式では、予め絞り込んである候補ベクトルの中から、各画素に対応する最良の動きベクトルを判定する処理が可能であるので、全探索処理と比較して、同じ評価値が発生する確率が減り、誤検出が防止される。

しかし、評価値テーブルを形成する際の処理は、各ブロックの代表点を設定し、各代表点と他方のフレームに設定したサーチエリアの各画素との相関を調べ、相関情報に基づく評価値を算出して、評価値を積算する処理である。

例えば、代表点画素Ｘとサーチエリア内に含まれる入力画素Ｙとの差分絶対値がある閾値ＴＨ以下であれば積算評価値として設定する。すなわち、
｜Ｘ-Ｙ｜＜ＴＨ
を満足する場合、評価値テーブルの対応位置に＋１カウントし、画面内の全ての代表点の演算結果を評価値テーブルに足し込むことで評価値テーブルを生成する。

評価値テーブルの生成において、代表点の輝度レベルと、サーチエリア内における入力画素の輝度レベルのみの相関判定を行っているので、図２に示す様な現フレーム３１と前フレーム３０とを用いて、動きベクトル検出のための評価値テーブルを生成する場合、前フレーム３０内の代表点３８に対応する相関の高い画素、すなわち輝度レベルのほぼ等しい画素を現フレーム３１に設定されたサーチエリア３２内において探索して、評価値テーブルの積算カウントとする。

図２の右側に示すグラフは、それぞれ前フレーム３０の代表点３８を通るＸ方向の１つのラインの画素レベルと、現フレームのサーチエリア３２内のＸ方向の１つのラインの画素レベルを示している。

前フレーム３０の代表点３８の画素レベル＝１００と相関の高い、すなわち画素レベルがより近い画素をサーチエリア３８内から探索すると、３つの画素３５，３６，３７が検出される。これらの３つの画素は、いずれも上記条件
｜Ｘ-Ｙ｜＜ＴＨ
を満足するので、評価値テーブルに対する積算ポイントとして設定される。しかし、実際は、３つの画素３５，３６，３７中、正しい動きベクトルに対応するのは、画素３６のみであり、他の２つの画素３５，３７は、誤った積算ポイントとして評価値テーブルに加算されることになる。

このように、従来の評価値テーブルの生成においては、誤った情報に基づく積算が行われる可能性があり、評価値テーブルのピークとして示される候補ベクトルが全て正しいと判断出来ない。従来の評価値テーブルの生成プロセスにおける問題点をまとめると以下のようにまとめることができる。
（ａ）検出した代表点との相関のみに基づいて＋１カウントする方式では、評価値テーブルの頻度が画像内の物体の面積に依存する。従って評価値テーブルから画面内に存在する複数の物体の動きベクトルを検出するのが困難になる。
（ｂ）評価値テーブルのピークの大きさが物体の面積に依存することになるため、物体の面積は小さいが画像内では目立つ物体、例えばテロップなどの候補ベクトルのピークが小さくなり、その候補ベクトルを読み出すのが困難になる。
特開２００１−６１１５２号公報

本発明は、上述の問題点に鑑みてなされたものであり、代表点マッチング処理に基づく評価値テーブルの生成において、代表点のみならず代表点近傍の画素が代表点と類似する動きを持つか否かを判定して相関判定処理を行なうことで、より精度の高い評価値テーブルの生成を可能とし、動きベクトル検出をより正確に実行することを可能とした動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データから動きベクトルを検出する動きベクトル検出装置であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
前記評価値テーブル形成部は、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出部と、
前記動き類似性検出部の検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定に基づいて、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出部と、
前記重み算出部の算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
を有することを特徴とする動きベクトル検出装置にある。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出部は、代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条件として、着目代表点の輝度レベル：Ｐｍ、類似動きありと判定されたＮ個の近傍代表点の輝度レベル：Ｐｎに基づいて、前記信頼度指数βを、下式、

によって算出する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出装置は、さらに、前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出部からの信頼度指数βを入力する演算部を有し、前記演算部は、前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行し、最終評価値を算出し、前記評価値テーブル算出部に出力する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出部は、代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
（ａ）近傍代表点の動きの一致数もしくは類似数
（ｂ）動きが一致もしくは類似した代表点との空間勾配
（ｃ）動きが一致もしくは類似した時の代表点間の距離
上記（ａ）〜（ｃ）の少なくともいずれかを反映した値として算出する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値テーブル形成部は、さらに、前記代表点が静止領域にあるか否かを判定する代表点静止判定部を有し、前記重み算出部は、前記代表点静止判定部において、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を０または低下させて設定する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記評価値テーブル形成部は、さらに、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算部と、前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部とを有し、前記重み算出部は、前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成し、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数Ｋ＝α＋βを算出する構成であり、前記評価値テーブル算出部は、前記重み算出部の算出した信頼度指数Ｋ＝α＋βに対応する評価値を積算し評価値テーブルを生成する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記重み算出処理部は、前記フラグデータ演算部の算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする。

さらに、本発明の動きベクトル検出装置の一実施態様において、前記動きベクトル検出装置は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、前記動きベクトル決定部は、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データから動きベクトルを検出する動きベクトル検出方法であり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
前記動き類似性検出ステップにおける検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定がなされたことを条件として、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出ステップと、
前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とする動きベクトル検出方法にある。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出ステップは、代表点間の動き類似性ありとの判定を入力したことを条件として、着目代表点の輝度レベル：Ｐｍ、類似動きありと判定されたＮ個の近傍代表点の輝度レベル：Ｐｎに基づいて、前記信頼度指数βを、下式、

によって算出することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出方法は、さらに、前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出ステップにおいて算出される信頼度指数βを入力して演算を実行する演算ステップを有し、前記演算ステップは、前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行して最終評価値を算出し、前記評価値テーブル算出ステップは、前記最終評価値の積算により、評価値テーブルを生成することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出ステップは、代表点間の動き類似性ありとの判定を入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
（ａ）近傍代表点の動きの一致数もしくは類似数
（ｂ）動きが一致もしくは類似した代表点との空間勾配
（ｃ）動きが一致もしくは類似した時の代表点間の距離
上記（ａ）〜（ｃ）の少なくともいずれかを反映した値として算出することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値テーブル形成ステップは、さらに、前記代表点が静止領域にあるか否かを判定する代表点静止判定ステップを有し、前記重み算出ステップは、前記代表点静止判定ステップにおいて、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を０または低下させて設定する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記評価値テーブル形成ステップは、さらに、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップとを有し、
前記重み算出ステップは、前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成するステップと、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数Ｋ＝α＋βを算出するステップとを有し、前記評価値テーブル算出ステップは、前記重み算出ステップにおいて算出した信頼度指数Ｋ＝α＋βに対応する評価値を積算し評価値テーブルを生成することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記重み算出処理ステップは、前記フラグデータ演算ステップにおいて算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
α＝Ａ×Ｗ
によって、信頼度指数αを算出する処理を実行することを特徴とする。

さらに、本発明の動きベクトル検出方法の一実施態様において、前記動きベクトル検出方法は、さらに、前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、前記動きベクトル検出ステップは、動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする。

さらに、本発明の第３の側面は、
動画像データから動きベクトルを検出するコンピュータ・プログラムであり、
時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
前記評価値テーブル形成ステップは、
時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
前記動き類似性検出ステップにおける検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定がなされたことを条件として、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出ステップと、
前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの生成において、代表点と代表点近傍の画素との動き類似性を判定し、動き類似性がある場合には、相関判定結果の信頼性が高いと判断して、信頼度指数βを算出し、信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

本発明の構成によれば、代表点と該代表点の近傍代表点との動き類似性を検出し、動き類似性ありとの判定がなされたことを条件として、代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成して、信頼度指数βに対応する評価値を積算した評価値テーブルを生成する構成であり、
（ａ）近傍代表点の動きの一致数もしくは類似数
（ｂ）動きが一致もしくは類似した代表点との空間勾配
（ｃ）動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数βを算出し、この信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

さらに、本発明の構成によれば、上述の信頼度指数βに加えて、さらに、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報に基づいて、重み係数Ｗを算出し、算出した重み係数Ｗと、画像データの複雑性を示す指標値としてのアクティビティＡとに基づく算出値としての信頼度指数αを生成して、信頼度指数αと信頼度指数βを考慮した信頼度指数Ｋ＝α＋βに対応する評価値を積算した評価値テーブルを生成する構成としたので、代表点と代表点近傍の画素値の差分についても考慮した評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

以下、図面を参照しながら本発明の動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目順に行なう。
１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要
２．動きベクトル検出装置全体構成および動きベクトル検出処理手順
３．近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細
４．代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の詳細
５．評価値テーブルの具体例

［１．代表点マッチングによる評価値テーブルの生成、候補ベクトル方式の概要］
以下、説明する動きベクトル検出処理においては、代表点マッチング法を適用する。代表点マッチング法については、本特許出願人が先に出願し、特許取得済みである特許２０８３９９９号公報に開示されている。すなわち、以下、説明する動きベクトル検出処理は、前述の背景技術の欄で説明した候補ベクトル方式（特開２００１−６１１５２号公報に開示）を適用するとともに、代表点マッチング法を利用した処理例である。

なお、以下の説明においては、動画像データを構成する１フレームを１画面として、各画面（フレーム）間の相互検証処理によってフレームにおける動きベクトル検出処理を行う例について説明するが、本発明は、このような処理例に限らず、例えば、１フレームを細分化とした１フィールドを１画面として扱い、１フィールド単位の動きベクトル検出処理を行なう場合などにも適用可能である。

また、以下に説明する処理例は、主にテレビジョン信号に基づく動画像データに対する処理例として説明するが、本発明は、テレビジョン信号以外の様々な動画像データに対しても適用可能である。また、映像信号を処理対象とする場合においてもインターレース信号およびノンインターレース信号の何れでもよい。

図３〜図５を参照して、本発明における動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトル設定処理の概要について説明する。

動画像を構成する時間的に連続するフレーム画像、例えば図３に示す時間（ｔ）の現フレーム［Ｆ_ｔ］８０と、時間（ｔ−１）の前フレーム［Ｆ_ｔ−１］７０を抽出する。

例えば、現フレーム［Ｆ_ｔ］８０を参照フレームとし、前フレーム［Ｆ_ｔ−１］７０を、ｍ画素×ｎラインの複数のブロックに分割し、各ブロックを代表する代表点Ｒｙを設定する。各ブロックの代表点は、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

代表点マッチング法では、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点Ｒｙ７１に対応させて、現フレーム［Ｆ_ｔ］８０に所定のサーチエリア８１を設定し、設定したサーチエリア８１内に含まれる各画素の画素値と代表点Ｒｙ７１の画素値との比較を行なう。サーチエリア８１は例えば、ｐ画素×ｑラインの画素領域として設定される。

すなわち、上記ａ〜ｃのいずれかの代表点画素値と、サーチエリア８１内の各画素の画素値を比較検証して、評価値（例えば、フレーム差や判定結果）を算出する。評価値は、サーチエリア８１の各偏移毎（各画素位置毎）に算出される。前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点各々に対応して、現フレーム［Ｆ_ｔ］８０にサーチエリアが設定され、代表点画素値と、対応するサーチエリア内の各画素の画素値を比較に基づく評価値を取得し、１画面内の全ての代表点について積算する。従って、サーチエリアと同一の大きさの評価値テーブルが形成される。

なお、各代表点に対応するサーチエリアは、図４（Ａ）に示すように隣接するサーチエリアと一部が重なり合うように設定しても良い。図４（Ａ）に示す例では、サーチエリアをｐ×ｑ（画素またはライン）の領域に設定した例であり、例えば、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ａに対応するサーチエリア８１ａと、前フレーム［Ｆ_ｔ−１］７０に設定したブロックの代表点７１ｂに対応するサーチエリア８１ｂとが重なりを持つ領域として設定される。

このように、サーチエリアは、各代表点に対応付けられて設定され、各代表点と、その代表点に対応して設定されたサーチエリア内の画素との比較が実行されて、比較値に基づいて、例えば相関の度合いが高いほど（画素値の一致度合いが高いほど）高い評価値が設定され、各サーチエリアの構成画素に対応する評価値が設定される。

各サーチエリアにおける評価値は、図４（Ｂ）に示すように積算され、その結果として、図４（Ｃ）に示すような評価値テーブル９０が生成される。評価値テーブルは、前フレーム［Ｆ_ｔ−１］７０に設定した例えばｎ個のブロックに設定された各ブロックの代表点Ｒｙ１〜ｎと、参照フレームである現フレーム［Ｆ_ｔ］８０に設定した各代表点Ｒｙ１〜ｎに対応するサーチエリア内の各画素との比較に基づく評価値、例えば差分絶対値の積算値として算出され、サーチエリアと同一の大きさの評価値テーブルとして形成される。

評価値テーブル９０においては、サーチエリアの各偏移位置（ｉ，ｊ）における画素値と代表点との相関が高い場合に、ピーク（極値）が発生する。評価値テーブルに出現するピークは、動画像データの画面の表示物体の移動に対応する。

例えば、画面（フレーム）全体が同一の動きをした場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その動き方向、距離を持つベクトルの終点に対応する位置に１つのピークが出現する。また、画面（フレーム）内に２つの異なる動きをした物体があった場合は、サーチエリア（ｐ×ｑ）と同一の大きさの評価値テーブルにおいて、その異なる動き方向、距離を持つ２つのベクトルの終点に対応する２つの位置に２つのピークが出現する。なお、静止部分がある場合は、静止部分に対応するピークも出現する。

このような評価値テーブルに出現するピークに基づいて、前フレーム［Ｆ_ｔ−１］７０と、参照フレームである現フレーム［Ｆ_ｔ］８０とにおける動きベクトルの候補（候補ベクトル）を求める。

評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出した後、フレームの各画素について、抽出した候補ベクトルから最も適応する候補ベクトルをそれぞれ選択して、各画素に対応する動きベクトルとして設定する。

抽出候補ベクトルに基づいて実行する各画素に対応する動きベクトルの設定処理について図５を参照して説明する。

図５（ａ）において、中央の画素９１が前フレーム［Ｆ_ｔ−１］の１つの画素を示している。この画素は例えば輝度値（α）を有している。また、前述の評価値テーブルに出現したピークに基づいて、複数の候補ベクトルが抽出済みであり、これらの候補ベクトルを図に示す候補ベクトルＡ，Ｂ，Ｃであるとする。前フレーム［Ｆ_ｔ−１］の１つの画素９１は、これらの候補ベクトルのいずれかに従って移動して、現フレーム［Ｆ_ｔ］の画素に対応する位置に表示されると判定される。

図５（ａ）において、画素ａ９５、画素ｂ９６、画素ｃ９７は、前フレーム［Ｆ_ｔ−１］の１つの画素９１から候補ベクトルＡ，Ｂ，Ｃに基づいて移動先として推定される各画素位置の現フレーム［Ｆ_ｔ］の画素を示している。これらの３画素を含むブロックの画素値と、画素９１を含むブロックの画素値との相関がブロックマッチング処理によって判定され、最も高い対応にある組が選択され、その選択した組に設定された候補ベクトルを画素９１の動きベクトルとする。

ブロックマッチング処理を適用する理由は、１つの画素のみの対応を検査すると以下の問題点が発生するからである。
（１）着目するフレームのある画素と参照フレーム内でｎ個の候補ベクトルに関して、動きベクトル先の画素との相関性が同じ、もしくは似ている画素が複数存在し、どの動きベクトルが正しい動きベクトルか、相関性の高さを表す画素差分絶対値（以後ＭＣ残差と呼ぶ）だけでは判断することが困難である。
（２）正しい動きベクトルであれば、その動きベクトル先の画素とのＭＣ残差が最も小さいと考えられるが、実際には画像データにはノイズなどの影響により、正しい動きベクトル先の画素とのＭＣ残差が候補ベクトルの中で最小とは限らない。

これらの問題点があるために、１画素だけのＭＣ残差だけでは判断できないので、ブロックサイズの複数の画素を用いて、着目する画素を中心としたブロック内の画素と候補ベクトル先のブロック内の画素の相関を検査する。

具体的なブロックマッチング処理について、図５（ｂ）を参照して説明する。図５（ｂ）に示す様に、候補ベクトルによって指示されるブロックに含まれる複数画素の相関の指標値として、差分絶対値総和（ＳＡＤ）を下式に従って算出する。

ここでＦ_ｔ−１（ｘ、ｙ）は着目するフレームの輝度レベル、Ｆ_ｔ（ｘ＋ｖ_ｘ、ｙ＋ｖ_ｙ）は参照先のフレームにおける動きベクトル先の輝度レベル、Ｍ×Ｎは評価に用いるブロックサイズである。

上記式によって算出される差分絶対値総和（ＳＡＤ）が最小となる候補ベクトル（ｖ_ｘ，ｖ_ｙ）を着目画素の動きベクトルとする方法などが適用される。

なお、上述したように、代表点マッチングは、各ブロックを代表する代表点を設定し、設定した代表点のみについての評価値算出を行なって候補ベクトルを設定することが可能であり、限られた数の代表点のみの評価値算出を行なうことで、評価値算出に要する演算量を減少させることができ、高速処理が可能となる。

［２．動きベクトル検出装置全体構成および動きベクトル検出処理手順］
動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を図６に示し、動きベクトル検出処理の処理シーケンスを図７のフローチャートに示す。

動きベクトル検出装置は、図６に示すように、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３、制御部（コントローラ）１０４を有する。評価値テーブル形成部１０１は、動きベクトル検出処理対象となる画像データを入力端子を介して入力し、評価値テーブルを生成する。入力画像は、例えば、ラスタスキャンにより得られる画像データである。画像データは、例えば、ディジタルカラー映像信号のコンポーネント信号中の輝度信号を含む。

入力画像データは、評価値テーブル形成部１０１に供給され、前述した代表点マッチング法をベースとして、サーチエリアと同一の大きさの評価値テーブルを形成する。図７のフローにおけるステップＳ１０１の処理である。

候補ベクトル抽出部１０２は、評価値テーブル形成部１０１において生成した評価値テーブルから、１画面内の候補ベクトルとして、複数の動きベクトルを抽出する。すなわち、前述したように、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。図７のフローにおけるステップＳ１０２の処理である。

動きベクトル決定部１０３では、候補ベクトル抽出部１０２において抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。図７のフローにおけるステップＳ１０３の処理である。この処理は、先に図５を参照して説明した処理である。

動きベクトル決定部１０３では、１つの画面（フレーム）に含まれるすべての画素について、候補ベクトルから最適なベクトルの選択処理を行い、各画素に対応する動きベクトルを決定し、決定した動きベクトルを出力する。具体的な一例として、ある着目画素に対して、例えば３ライン×３画素の合計９画素で構成される矩形ブロックを用いて、ブロックマッチング処理により最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その着目画素の動きベクトルとして決定する。

制御部１０４は、評価値テーブル形成部１０１、候補ベクトル抽出部１０２、動きベクトル決定部１０３における処理タイミングの制御、中間データのメモリに対する格納、出力処理制御などを行なう。

以上が、代表点マッチングをベースとした動きベクトル検出装置において実行する評価値テーブル生成と、候補ベクトル方式を適用した動きベクトル検出処理の概要である。

［３．近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細］
次に、本発明の動きベクトル検出装置における評価値テーブル形成部の処理の詳細、すなわち、近傍画素との差分に基づくフラグを適用した評価値テーブル生成処理の詳細について説明する。評価値テーブル形成部の詳細構成を図８に示す。

図８に示すように、本発明の動きベクトル検出装置における評価値テーブル形成部２００は、画素相関演算部２１０、フラグデータ演算部２２０、フラグ相関演算部２３０、比較部２４１，２４２、重み算出処理部２５０、演算部２６０、評価値テーブル算出部２７０を有する。

画素相関演算部２１０は、代表点メモリ２１１、画素値の差分データを算出する差分算出部２１２、差分データの絶対値を算出する絶対値算出部２１３を有する。フラグ相関演算部２３０は、フラグデータ演算部２２０の算出したフラグデータを格納するフラグデータ格納メモリ２３１、フラグデータの差分データを算出する差分算出部２３２、差分データの絶対値を算出する絶対値算出部２２３を有する。

重み算出処理部２５０は、アクティビティ算出部２５１、重み算出部２５２、変換テーブル（ＬＵＴ）２５３、デコーダ２５４を有する。評価値テーブル算出部２７０は、演算部２６０からの出力する例えば８ビットデータからなる評価値を評価値積算部２７１において積算し、評価値テーブルを生成して評価値テーブルメモリ２７２に格納する。

はじめに、画素相関演算部２１０の処理について説明をする。画素相関演算部２１０は、代表点マッチング処理を実行する。

入力端子を介して画像データが、例えばフレーム単位で、画素相関演算部２１０に入力される。画素相関演算部２１０に入力された画像データは、差分算出部２１２及び代表点メモリ２１１に供給される。

代表点メモリ２１１に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図３、図４を参照して説明した画面を分割して設定されたブロック、例えばｍ×ｎ画素のブロックにおいて代表点が１つ設定される。なお、代表点は、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ（画素値データ）が、制御部（コントローラ）１０４（図６参照）からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ２１１に記憶される。

代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部２１２に供給される。

差分算出部２１１は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力する。

絶対値算出部２１３では、差分算出部２１１から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差（相関演算結果）を入力し、フレーム差絶対値を算出する。

フレーム差絶対値は、比較部２４１に入力され、予め定めた閾値１（ＴＨ１）と比較され、フレーム差絶対値が閾値１（ＴＨ１）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部２４１から出力され、フレーム差絶対値が閾値１（ＴＨ１）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部２４１から出力される。

従来は、この比較部２４１からの出力値をそのまま、積算ポイントとして評価値テーブルが生成されていた。すなわち、１画面内の全ての代表点に対する相関演算結果を積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現するピーク（極値）によって、候補ベクトルの抽出が実行されていた。

しかし、先に図２を参照して説明したように、代表点のみの相関判定による評価値テーブル生成を行なうと誤検出された積算ポイントによって正確なベクトルに対応するピークを持つ評価値テーブルが生成されない場合がある。

そこで、本発明では、代表点近傍の画素レベル、すなわち代表点近傍の空間波形を考慮した評価値テーブルの生成を行なう。比較部２４１の代表点の相関情報のみからなる相関有無を示す１ビットデータは、演算部２６０において、重み算出部２５０からの出力に基づいて例えば８ビットデータに変換され、８ビットデータが、評価値積算部２７１に出力されて、８ビットデータに基づく評価値テーブルが生成される。

以下、フラグデータ演算部２２０、フラグ相関演算部２３０、重み算出部２５０の処理の詳細について説明する。

（ａ）フラグデータ演算部
フラグデータ演算部２２０は、画像データを入力し、入力される画素全てに対して、隣接する画素データの関係をフラグデータに変換する処理を実行する。

フラグデータ演算部２２０の詳細構成を図９に示す。フラグデータ演算部２２０の処理について、図１０の隣接画素差分値をフラグに変換する例を参照して説明する。

入力信号としての画素信号ラスタ順に入力され、図９に示すレジスタ２２１と差分算出部２２６に供給される。差分算出部２２６は、レジスタ２２１からの出力画素レベルと、後続する入力画素の画素レベルの差分値を算出する。

レジスタ２２１からの出力は、レジスタ２２２に格納されるとともに、差分算出部２２３に供給され、レジスタ２２２からの先行画素の画素レベルと、レジスタ２２１に格納された後続する画素の画素レベルの差分値が、差分算出部２２３において算出される。

すなわち、図１０（ａ）の例では、着目画素（ｘ，ｙ）３００に対して、前後の隣接画素（ｘ＋１，ｙ）３０２と画素（ｘ−１，ｙ）３０３の画素レベルとの差分値が算出されることになる。

これらの差分データは、例えば画素レベルが０〜２５５の８ビットデータである場合、８ビットの差分データとして各差分算出部２２３，２２６から出力される。

各差分算出部２２３，２２６から出力された８ビットの差分データは、量子化器２２４，２２７に入力され、変換テーブル２２５に基づいて、４ビットのフラグデータに変換されて、フラグデータ格納メモリ２３１に出力される。

変換テーブル２２５は、図１０（ｂ）に示すテーブルによって構成される。各量子化器２２４，２２７は、各差分算出部２２３，２２６から入力する差分データｄの値に基づいて、変換テーブル２２５を参照して所定のフラグデータに変換する。例えば
−２５５＜ｄ≦−３２→フラグ＝０
−３２＜ｄ≦−１６→フラグ＝１
：
１６＜ｄ≦３２→フラグ＝１４
３２＜ｄ≦２５５→フラグ＝１５
であり、各量子化器２２４，２２７は、各差分算出部２２３，２２６から入力する８ビット差分データｄ（０〜２５５）の値に基づいて４ビットのフラグデータ（０〜１５）を生成してフラグデータ格納メモリ２３１に出力する。

画像データの一般的な性質として、隣接する画素データとの相関が高く、隣接画素との差分値の上限を決めて少ないビット数で表現しても、元の画素データに復元した時の画像全体における量子化誤差は小さいと考えられる。従って本実施例の構成では、着目画素データと隣接画素データの各３画素を表現するためのビット数は、８ｂｉｔ×３＝２４ｂｉｔとなるが、差分情報を４ｂｉｔフラグデータに縮減する。

フラグデータに基づく相関判定を実行するフラグ相関演算部２３０では、４ビットに縮減されたデータに基づく相関判定を行なうことが可能となり、演算処理の高速化、ハードウェア規模の削減が実現される。

なお、画素の差分データからフラグデータへの変換処理は、図１０（ｂ）に示す変換テーブルを適用した処理に限らず、例えば隣接する画素データの差分テータ８ｂｉｔを４ｂｉｔに縮退する構成や、画素値データ８ｂｉｔの上位４ｂｉｔをフラグ情報とする方法を適用してもよい。

上述した隣接画素差分をフラグに変換する方式は、入力画素がラスタ順に入力されるので余分なラインメモリなども必要とせず小さな演算回路で、効率よく空間波形を記述できる手法の一例である。また差分データをフラグに変換するので３画素で構成される大まかな波形情報が失われないなどの利点がある。

（ｂ）フラグ相関演算部
次に、フラグデータ演算部２２０から上述した説明に従って生成するフラグデータを入力するフラグ相関演算部２３０の処理について説明する。

フラグ相関演算部２３０は、フラグデータ演算部２２０から入力するフラグデータをフラグデータ格納メモリ２３１に格納する。フラグデータ格納メモリ２３１から読み出された前フレームのフラグデータと、現フレームのフラグデータが、差分算出部２３２に供給される。

差分算出部２３２は、前フレームのフラグデータと、現フレームのフラグデータとのフラグ差分を算出し、絶対値算出部２３３に出力する。

絶対値算出部２３３では、差分算出部２３２から入力する前フレームのフラグデータと、現フレームのフラグデータに基づくフレーム差（フラグ相関演算結果）を入力し、フレーム差絶対値を算出し、比較部２４２に出力する。

比較部２４２では、フラグ相関演算部２３０から入力するフラグデータ差分値絶対値と、予め定めた閾値２（ＴＨ２）との比較を実行し、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）より小さい場合は相関あり、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）以上である場合は相関なしのビットデータを重み算出部２５２に出力する。

（ｃ）重み算出処理部
次に重み算出処理部２５０の処理について説明する。重み算出処理部２５０は、フラグ相関演算部２３０の算出したフラクデータ差分値をデコーダ２５４に入力して、画像データのアクティビティを算出する。

アクティビティとは画像データが複雑であるほど値が大きくなる指数である。すなわち輝度レベルなどの画素値レベルが狭い範囲で大きく変化するエッジ領域などでは、アクティビティが高く、空など、平坦な画素値からなる画像データの場合はアクティビティが低い。代表点の近傍領域のアクティビティが大きい時、その代表点が動いたかどうか判断しやすく、人の視覚特性に大きく影響を与える。アクティビティの大きな物体面積が小さい時、従来方式では評価値テーブル内のピークが面積に依存するため、ピークの大きさが小さくなるので、候補ベクトル抽出が困難になる。その結果、アクティビティの大きな物体の動きベクトルが含まれていない候補ベクトルでは、動きベクトル決定の時に確らしい動きベクトル決定が困難になる。また、画像の特性上、アクティビティの大きな画素データ動くとき、画像データのサンプリング以下の動き量の場合は大きなレベル変化生じる。このような特性があるにも関わらず、画素レベルデータによる相関性が高いと判断されるとき、その検出した候補動きベクトルの信頼性は高いと判断できる。

アクティビティの算出処理の詳細について、図１１を参照して説明する。図１１（ａ）は、重み算出処理部２５０が保持する変換テーブル２５３である。これは、先に図１０（Ｂ９を参照して説明した変換テーブルの逆変換処理を行うテーブルであり、フラグデータから、画素値差分を求めるものである。隣接画素との画素値差分が大である場合は、アクティビティが高いと判断される。

図１１に示す例では、左画素のフラグデータ情報として［３］、右画素のフラグデータ情報として［９］が入力された例を示している。この場合、デコーダ２５４は、図１１（ａ）に示す変換テーブル２５３から、対応する代表値差分を取得してアクティビティ算出部２５１に出力する。

左画素のフラグデータ情報［３］に対応する代表値差分は［−１０］
右画素のフラグデータ情報［９］に対応する代表値差分は［２］
であり、この場合のアクティビティＡは、
Ａ＝｜−１０｜＋｜２｜
＝１２となる。

上記計算が実行される場合の具体的な画素値の設定例を図１１（ｂ）に示してある。
着目画素の画素値＝１２８、
右隣接画素の画素値＝１３０、
左隣接画素の画素値＝１１８、
この設定において、上記計算によって算出されるアクティビティは、
Ａ＝｜１３０−１２８｜＋｜１１８−１２８｜
＝１２
であり、この３画素間の画素値最大値（ＭＡＸ）＝１３０、画素値最小値（ＭＩＮ）＝１１８の差分であるダイナミックレンジ（ＤＲ）に等しい値となる。

すなわち、フラグデータから算出されるアクティビティ（Ａ）はダイナミックレンジ（ＤＲ）に相当する値となる。

なお、上述した例では、重み算出処理部２５０において、フラグ相関演算部２３０からフラグデータを入力して、変換テーブル（図１１参照）に基づいて変換した画素値差分データに基づくアクティビティ算出を行なう処理例を説明したが、例えば、図１２に示すように、画素相関演算２１０からの出力であるフレーム差分絶対値データを、アクティビティ算出部２５１が入力し、フレーム差分絶対値データに基づいてアクティビティＡを算出する構成としてもよい。

フラグデータ、または、フレーム差分絶対値データに基づいてアクティビティ算出部２５１において算出されたアクティビティＡの値は、重み算出部２５２に出力される。重み算出部２５２では、比較部２４１、２４２から入力する閾値（ＴＨ１，ＴＨ２）との比較結果である相関の有無判定データに基づいて重みＷを算出し、アクティビティＡの値と算出した重みＷに基づいて信頼度指数αを算出する。

比較部２４１では代表点の画素データと、異なるフレームに設定したサーチエリア内の相関に基づいて、画素相関演算部の算出した画素相関演算結果と閾値（ＴＨ１）との比較が実行され、比較部２４２ではフラグデータ間の相関に基づいて、フラグ相関演算部の算出したフラグ相関演算結果と閾値（ＴＨ２）との比較が実行され、その比較結果を出力する。

相関判定の一例として、代表点の画素データと代表点のフラグデータをそれぞれＸ、Ｘ_ｆ０、Ｘ_ｆ１、入力画素データと入力画素のフラグデータをそれぞれＹ、Ｙ_ｆ０、Ｙ_ｆ１とすると、
比較部２４１では、
｜Ｘ-Ｙ｜＜ＴＨ１ ・・・ （式１）
が成立するか否かが判定され、
比較部２４２では
｜Ｘｆ０-Ｙｆ０｜＜ＴＨ２ ・・・ （式２）
｜Ｘｆ１-Ｙｆ１｜＜ＴＨ２ ・・・ （式３）
が成立するか否かが判定され、これらの判定結果を重み算出部２５２に入力する。

なお、ここでは閾値ＴＨ１、ＴＨ２は固定としたが、その他の例としては画像データからこの閾値を算出して可変にしても良い。

重み算出部２５２では、上記３式（式１〜３）の判定結果に基づき、相関性の高さを重みとして算出する。例えば、式１、２、３の全て満足する時、相関性は高いと判断できる。一方、式１は条件を満たすが、式２と式３の条件が満たされない時、相関性は低いと判断できる。従って、相関判定の度合いにより検出した候補動きベクトルの信頼性を判断する事ができる。

また、式１から算出できる残差により、画素レベルの相関判定の度合いを計算することも出来る。例えば、式１の条件を満たした時、相関性の度合いを表す指数としての重み係数をＷとすると、
Ｗ＝（ＴＨ１-｜Ｘ-Ｙ｜） ・・・ （式４）
と示すことができる。ただし、式２と式３が満たされない場合はＷ＝０とする。従って重み係数Ｗの値が大きい程、検出した候補動きベクトルの信頼度は大きいと判断される。さらに、式２、３の相関の度合いを重み係数Ｗに反映する構成としてもよい。すなわち、
Ｗ_ａｌｌ＝（ＴＨ１-｜Ｘ-Ｙ｜）＋（ＴＨ２-｜Ｘ_ｆ０-Ｙ_ｆ０｜）＋（ＴＨ２-｜Ｘ_ｆ１-Ｙ_ｆ１｜） ・・・（式５）
ただし、式２と式３が満たされない場合はＷ_ａｌｌ＝０とする。

重み算出部２５２は、上述したいずれかの方法で算出した重み係数Ｗと、前述したアクティビティＡとに基づいて信頼度指数αを算出する。信頼度指数αは下記の演算子器によって算出される。
α＝Ａ×Ｗ ・・・（式６）

重み算出部２５２は、上記式（式６）によって重み係数ＷとアクティビティＡとに基づいて算出した信頼度指数αを演算部２６０に出力し、比較部２４１から出力される代表点の画素に基づく相関有無の結果ビットに対する乗算を実行する。結果として、比較部２４１から出力される代表点の画素に基づく相関有無の結果ビットが相関ありを示すビット［１］である場合に、信頼度指数［α］の値が評価値テーブル算出部２７０に出力される。

例えば、代表点データとの相関性を判断する閾値をＴＨ１＝５、着目画素と隣接する左右２画素とのアクティビティの上限を６ｂｉｔとすれば上記信頼度の範囲は０≦α≦２５２となり、従来の１ｂｉｔに比べて約８ｂｉｔの重みを評価値テーブルに加算する事が出来るので、信頼性の高い評価値テーブルの形成が可能となる。

なお、上述した実施例では、アクティビティとして着目画素に対して隣接する水平２画素との差分絶対値の総和を用いて説明したが、その他の例としてダイナミックレンジなどを用いてもよい。

評価値テーブル算出部２７０は、入力する信頼度指数に対応する評価値を評価値積算部２７１において積算し評価値テーブルを生成して、評価値テーブルメモリ２７２に格納する。

評価値積算部２７１は、演算部２６０から入力する信頼度指数に対応する評価値を積算する処理を行なう。この結果として、信頼度指数に基づく評価値テーブルが生成される。

以上説明した本発明の動きベクトル検出装置における評価値テーブル生成処理のシーケンスについて図１３のフローを参照して説明する。

ステップＳ２０１において、前フレーム画像データに代表点を配置（決定）する。各ブロックの代表点は、前述したように、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

ステップＳ２０２では、現フレームデータを入力する。例えばラスタ順に入力される。ステップＳ２０３では、フラグデータ演算部２２０（図８参照）において、入力画素と左右隣接画素との差分をフラグに変換する処理を実行する。

これは、図９、図１０を参照して説明したように、例えば８ビットの画素値差分データを４ビット（０〜１５）のフラグデータに変換する処理である。

ステップＳ２０４では、代表点データと入力画素データとの相関判定処理が実行される。この処理は、図８に示す画素相関演算部２１０の処理および比較部２４１の処理である。代表点メモリ２１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部２１２に供給され、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部２１３に出力し、フレーム差絶対値が算出される。フレーム差絶対値は、比較部２４１に入力され、予め定めた閾値１（ＴＨ１）と比較され、フレーム差絶対値が閾値１（ＴＨ１）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部２４１から出力され、フレーム差絶対値が閾値１（ＴＨ１）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部２４１から出力される。

ステップＳ２０５では、代表点フラグデータと、入力画素フラグデータとの相関判定処理を実行する。この処理は、図８に示すフラグ相関演算部２３０と比較部２４２において実行される。

フラグ相関演算部２３０は、フラグデータ演算部２２０から入力するフラグデータをフラグデータ格納メモリ２３１に格納する。フラグデータ格納メモリ２３１から読み出された前フレームのフラグデータと、現フレームのフラグデータが、差分算出部２３２に供給される。

差分算出部２３２は、前フレームのフラグデータと、現フレームのフラグデータとのフラグ差分を算出し、絶対値算出部２３３に出力する。

絶対値算出部２３３では、差分算出部２３２から入力する前フレームのフラグデータと、現フレームのフラグデータに基づくフレーム差（フラグ相関演算結果）を入力し、フレーム差絶対値を算出し、比較部２４２に出力する。

比較部２４２では、フラグ相関演算部２３０から入力するフラグデータ差分値絶対値と、予め定めた閾値２（ＴＨ２）との比較を実行し、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）より小さい場合は相関あり、フラグデータ差分値絶対値が予め定めた閾値２（ＴＨ２）以上である場合は相関なしのビットデータを重み算出部２５２に出力する。

ステップＳ２０６では、信頼度指数αを算出する。この信頼度指数αの算出処理は、重み算出部２５０において実行される。

前述したように、フラグデータ、または、フレーム差分絶対値データに基づいてアクティビティ算出部２５１においてアクティビティＡを算出し、比較部２４１，２４２からの出力に基づいて重み係数Ｗが算出され、アクティビティＡと重み係数Ｗとに基づいて、
α＝Ａ×Ｗ
として信頼度指数αが算出される。

ステップＳ２０７では、信頼度指数αを評価値テーブルの積算ポイントとして出力する。ステップＳ２０８では、全代表点と、サーチエリア内の画素との相関判定処理が終了したか否かを判定し、終了していない場合は、ステップＳ２０２以下の処理を未処理画素について実行し、すべての画素の処理が終了すると処理を終了する。

［４．代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の詳細］
次に、代表点および近傍代表点の相関情報を考慮した評価値テーブル生成処理の詳細について説明する。

まず、図１４、図１５を参照して、本実施例の評価値テーブル生成処理の概要について説明する。従来の代表点マッチングによる相関検出処理においては、図１４に示すように例えば前フレーム３２０から選択した１つの代表点３２１について、現フレーム（入力フレーム）３２２に設定したサーチエリア３２３内の構成画素を対象として順次画素値の比較を実行し、相関を算出して相関の有無に基づく評価値を取得して、これを評価値テーブルの積算ポイントとしていた。

例えば、図１４に示す例で、サーチエリア３２３内において、代表点３２１に対する相関の高い画素３２４が検出された場合、ベクトルＶ（Ｖｘ，Ｖｙ）に対応するポイントが評価値テーブルに対する評価値として積算される。

代表点３２１の画素値をＸ（ｘ，ｙ）とし、画素３２４の画素値をＹ（ｘ；Ｖｘ，ｙ＋ｖｙ）としたとき、
｜Ｘ（ｘ，ｙ）−Ｙ（ｘ，＋Ｖｘ，ｙ＋ｖｙ）｜＜ＴＨを満足する場合に、相関ありと判定して評価値が加算される。

本実施例における評価値算出は、図１５に示すように、例えば前フレーム３４０から選択した１つの代表点３４１について、現フレーム（入力フレーム）３５０に設定したサーチエリア３５５内の画素について、順次画素値の比較を実行して、その相関を算出し、相関の有無に基づいてベクトルの検出を実行するのみならず、代表点３４１に隣接する代表点３４２に対するサーチエリア３５５内の画素についても画素値比較を実行して、その相関を算出し、相関の有無に基づいて同様にベクトルの検出を実行し、これら複数の代表点に基づく相関検出によって検出された動きベクトルが類似する場合に、重みを増した評価値を設定する。

すなわち、前フレーム３４０の１つの代表点３４１の相関判定に基づく評価値の算出に際して、代表点３４１の近傍にある異なる代表点３４２についての相関判定を行ない、図１５に示すように、これら２つの代表点３４１，３４２について、同じベクトルＶ（ｖｘ，ｖｙ）に対応する位置に相関の高い画素３５１，３５２が検出された場合、代表点３４１と相関の高い画素３５１とによって決定される動きベクトルＶ（ｖｘ，ｖｙ）３６０は信頼性が高いと判定し、信頼度加算処理を行なって重みをつけた評価値を出力する。

このように、本実施例における評価値テーブル形成部は、ある代表点について相関判定をl実行して評価値を決定する際、その代表点の相関情報に基づく動きベクトルと、近傍の代表点についての相関情報に基づく動きベクトルとの類似性を判定し、類似する動きベクトルがある場合は、信頼度加算により大きい値の評価値を設定し、類似する動きベクトルがない場合は、小さい値の評価値を設定して、評価値テーブルを生成する。

図１６に本実施例の評価値テーブル形成部４００の構成を示す。図１６に示すように、本実施例の動きベクトル検出装置における評価値テーブル形成部４００は、画素相関演算部４１０、動き類似性検出部４２０、比較部４３０、重み算出部４４１、演算部４４２、代表点静止判定検出部４５０、評価値テーブル算出部２７０を有する。

画素相関演算部４１０は、代表点メモリ４１１、画素値の差分データを算出する差分算出部４１２、差分データの絶対値を算出する絶対値算出部４１３を有する。動き類似性検出部４２０は、レジスタ（ラインメモリ）４２２と差分算出部４２３からなる画素差分演算部４２１、演算部４２４、絶対値算出部４２５、相関判定部４２６を有する。

代表点静止判定検出部４５０は、基準値メモリ４５１、比較部４５２、フラグメモリ４５３を有する。評価値テーブル算出部４７０は、演算部４４２から出力する例えば８ビットデータからなる評価値を評価値積算部４７１において積算し、評価値テーブルを生成して評価値テーブルメモリ４７２に格納する。

はじめに、画素相関演算部４１０の処理について説明をする。画素相関演算部４１０は、代表点マッチング処理を実行する。

入力端子を介して画像データが、例えばフレーム単位で、画素相関演算部４１０に入力される。画素相関演算部４１０に入力された画像データは、差分算出部４１２及び代表点メモリ４１１に供給される。

代表点メモリ４１１に記憶される画像データは、例えばフレーム単位で入力される画像データから生成される予め決められた代表点データである。例えば、先に図３、図４を参照して説明した画面を分割して設定されたブロック、例えばｍ×ｎ画素のブロックにおいて代表点が１つ設定される。なお、代表点は、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値データが対応付けられる。

具体的には、例えば、入力フレーム画像から、空間的に均等に間引かれた画素位置の画像データ（画素値データ）が、制御部（コントローラ）１０４（図６参照）からの信号によるタイミング制御によって選択されて、代表点データとして代表点メモリ４１１に記憶される。

代表点メモリ４１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部４１２に供給される。

差分算出部４１１は、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部４１３に出力する。

絶対値算出部４１３では、差分算出部４１１から入力する前フレームの代表点データと、現フレームの画像データに基づくフレーム差（相関演算結果）を入力し、フレーム差絶対値を算出する。

フレーム差絶対値は、比較部４３０に入力され、予め定めた閾値（ＴＨ）と比較され、フレーム差絶対値が閾値（ＴＨ）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部４３０から出力され、フレーム差絶対値が閾値（ＴＨ）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部４３０から出力される。

従来は、この比較部４３０からの出力値をそのまま、積算ポイントとして評価値テーブルが生成されていた。すなわち、１画面内の全ての代表点に対する相関演算結果を積算することで、評価値テーブルが生成され、生成した評価値テーブルに出現するピーク（極値）によって、候補ベクトルの抽出が実行されていた。

本実施例の動きベクトル検出装置における評価値テーブル形成部は、図１５を参照して説明したように、ある代表点について相関判定をl実行して評価値を決定する際、その代表点の相関情報に基づく動きベクトルと、近傍の代表点についての相関情報に基づく動きベクトルとの類似性を判定し、類似する動きベクトルがある場合は、信頼度加算により大きい値の評価値を設定し、類似する動きベクトルがない場合は、重みの小さい評価値を設定して、評価値テーブルを生成する。

これらの処理を実行するのが、図１６に示す動き類似性検出部４２０、代表点静止判定部４５０、重み算出部４４１、演算部４４２である。これらの各部の処理について以下説明する。

（ａ）動き類似性検出部
まず、動き類似性検出部４２０の処理について、図１７を参照して具体的処理を例として説明する。動き類似性検出部４２０は、画像データを入力し、画素差分演算部４２１内のレジスタ（ラインメモリ）４２２に入力画素データを格納する。図１７に示す入力フレーム５１０が、レジスタ（ラインメモリ）４２２に格納される。差分算出部４２３は、レジスタ（ラインメモリ）４２２に格納された画素データと、入力画素データの画素値差分を算出する。例えば、図１７に示す画素５１１の画素値Ｘ１と画素５１２の画素値Ｘ５の差分Ｄ＝Ｘ５−Ｘ１が算出される。図１７に示すステップ１［Ｓ１］の処理である。ここで、Ｘ１，Ｘ５はそれぞれの画素５１１，５１２の画素値を示している。

また、画素５１１と画素５１２の間隔は、前フレーム５００に設定した代表点間隔ｄｘに等しく設定される。

この差分値Ｄは、次に、演算部４２４に入力され演算部の演算結果が絶対値算出部４２５に入力される。演算部４２４および絶対値算出部４２５は、画素差分演算部４２１からの入力値と、代表点メモリ４１１から前フレームの代表点画素の画素値とに基づいて、図１７に示すステップ２［Ｓ２］およびステップ３［Ｓ３］の演算処理を実行する。

すなわち、まず、ステップ２［Ｓ２］において、図６に示す代表点メモリ４１１から入力した前フレーム５００の代表点画素５０２の画素値Ｑと、入力フレーム５１０の画素５１２の差分絶対値｜Ｑ−Ｘ５｜を算出する。

次に、ステップ３［Ｓ３］において、図６に示す代表点メモリ４１１から入力した前フレーム５００の代表点画素５０１の画素値Ｐと、入力フレーム５１０の画素５１１の差分絶対値｜Ｐ−Ｘ５＋Ｄ｜を算出する。

なお、図１７では、着目代表点５０１と近傍の右側の代表点５０２の動きベクトルの類似性を検出する例を示した。代表点マッチングでは、１入力画素と複数の代表点との相関判定を行うので、｜Ｑ−Ｘ５｜と｜Ｐ−Ｘ１｜を並列して算出せず、｜Ｐ−Ｘ１｜の算出の代わりに、｜Ｐ−Ｘ５＋Ｄ｜を算出している。このために、図１７に示す計算手順Ｓ１〜Ｓ３の様に、予め代表点マッチングを行う前に、入力フレーム内の入力画素に対して、代表点間隔だけ離れた画素との差分値Ｄを計算している。

次に、相関判定部４２６では、図１７に示すステップ４［Ｓ４］の処理、すなわち、予め定めた閾値［ＴＨ］と、ステップ２，３で求めた画素差分値との比較処理、
｜Ｑ−Ｘ５｜＜ＴＨ
｜Ｐ−Ｘ５＋Ｄ｜＜ＴＨ
が成立するか否かの判定処理を実行する。

｜Ｑ−Ｘ５｜＜ＴＨと、｜Ｐ−Ｘ５＋Ｄ｜＜ＴＨの両者が成立する場合、代表点とその近傍の代表点とは同じ動きベクトルが設定されるものと判定され、動き類似性あると判断し、図１６の動き類似性検出部４２０は、類似性ありの判定結果、例えばビット［１］を重み算出部４４１に出力する。

｜Ｑ−Ｘ５｜＜ＴＨと、｜Ｐ−Ｘ５＋Ｄ｜＜ＴＨのいずれかが成立しない場合、代表点とその近傍の代表点とは同じ動きベクトルが設定されないと判定され、動き類似性なしと判断し、図１６の動き類似性検出部４２０は、類似性なしの判定結果、例えばビット［０］を重み算出部４４１に出力する。

（ｂ）重み算出部
次に、重み算出部４４１の処理について説明する。重み算出部４４１は、画像内の物体上のある代表点を着目画素とした時、近傍の代表点に対応する相関検出によって取得される動きベクトルが類似していればその動きベクトルは信頼できるとして、信頼度に基づいて信頼度指数βを算出し、信頼度指数βを演算部４４２に出力する。

演算部４４２は、信頼度指数βを入力するとともに、比較部４３０からの出力、すなわち画素相関演算部４１０で実行された代表点マッチングの結果としての代表点とサーチエリアの各画素の相関結果に基づく相関の有無の結果として、相関ありの場合、ビット［１］、相関なしの場合、ビット［０］を入力する。

演算部４４２は、代表点マッチングの結果として相関ありの場合、ビット１に対して重み算出部から入力される代表点の近傍代表点の類似動きありの判定に基づいて算出される信頼度指数βの乗算または加算を実行して、β×１またはβ＋１を最終評価値として評価値積算部４７１に出力する。

重み算出部４４１は、信頼度指数βを、動き類似性検出部４２０らの出力が類似性ありとの判定があった場合に計算する。重み算出部４４１における信頼度指数βの算出処理の詳細について説明する。

図１８に示すように、着目する代表点と近傍代表点の動きベクトルが類似する時、代表点間に空間勾配、すなわち図１８（ａ）に示すように代表点間に大きな画素値差分があれば、画像内で輝度レベル差のある領域が動くことになり、その動きベクトルの信頼性をより高いと判断する。一方、図１８（ｂ）に示すように代表点間に大きな画素値差分がない場合は、画像内で輝度レベル差の少ない領域が動くことを示しており、例えば、背景領域、空の領域などである場合があり、類似性が検出された場合でも動きベクトルの信頼性は低いと判断する。

すなわち、重み算出部４４１は、図１９に示すように、代表点間の空間勾配５５０の大きさに基づいて信頼度指数βを算出する。

重み算出部４４１は、代表点間の動きの類似性ありとの判定を動き類似性検出部４２０から入力した場合、着目する代表点の輝度レベルをＰｍ、類似動きありと判定されたＮ個の近傍代表点の輝度レベルをＰｎとするとき、その動きベクトルの信頼性を表す指数βを、下式、

によって算出する。

図２０に上記式に従って算出する信頼度指数βの具体例を示す。図２０では、着目代表点５５０の周囲の４つの代表点を近傍代表点として選択しそれぞれの動きの類似性を動き類似性検出部４２０において検出した例である。

動き類似性検出部４２０における検出結果として、着目代表点５５０と類似動きである近傍代表点５６０，５６２が検出され、近傍代表点５６１，５６３は、着目代表点５５０と類似動きでないと判定されたとする。

各代表点画素の画素値は、
代表点５５０→［Ｐｍ］
近傍代表点５６０→［Ｐ０］
近傍代表点５６１→［Ｐ１］
近傍代表点５６２→［Ｐ２］
近傍代表点５６３→［Ｐ３］
である。

この場合上記式に従って算出される信頼度指数βは、
信頼度指数β＝｜Ｐｍ−Ｐ０｜＋｜Ｐｍ−Ｐ２｜
として算出される。

なお、代表点の配置が固定配置ではなく画像データからあるパラメータを算出し可変配置とした設定の場合は、近傍代表点の動きベクトルが一致した時、着目代表点からの距離も考慮した信頼度指数を設定する構成とすることが好ましい。すなわち、代表点間の距離が近いほど類似した動きベクトルの信頼度は高いと判定し、代表点間の距離が近いほど信頼度指数を高く設定する構成とする。

着目代表点と近傍代表点の動きベクトルが類似した時の動きベクトルの信頼度指数βは、少なくとも以下のパラメータのいずれかを反映した値として算出する構成とする。
１．近傍代表点の動きの一致数もしくは類似数
２．動きが一致もしくは類似した代表点との空間勾配
３．動きが一致もしくは類似した時の代表点間の距離

重み算出部４４１は、動き類似性検出部４２０から特定の代表点に対応するＮ個の近傍代表点の類似性判定結果を入力し、さらに、図１６に示すように、画素相関演算部４１０からの出力に基づいて代表点間の空間勾配（画素値差分情報）を取得し、上記式に従って信頼度指数βを算出し、演算部４４２に出力する。

ただし動きの類似性を静止領域の代表点に適応する場合、静止領域から検出される（０、０）ベクトル以外の候補動きベクトルの判定結果の信頼性は低く、判定結果を評価値テーブルに加算することは無意味である。そこで、静止領域と判定された領域内の代表点から検出される候補動きベクトルの信頼性は低いと判断し、信頼度指数β＝０、または信頼度指数βの値を低く設定する。代表点の画素位置が静止領域にあるか否かの判定は、代表点静止判定部４５０が実行する。

（ｃ）代表点静止判定部
次に、代表点静止判定部４５０の処理について説明する。代表点静止判定部４５０は、基準値メモリ４５１、比較部４５２、フラグメモリ４５３を有する。

比較部４５２が、画素相関演算部４１０において実行される代表点マッチング処理の結果を入力し、基準値メモリ４５１に格納された予め設定された基準値との比較を行い、代表点が静止領域にあるか否かを判定する。

比較部４５２が実行する静止判定処理の具体例について、図２１を参照して説明する。前フレーム［Ｆ_ｔ−１］の代表点Ｒｙの静止判定を、図２１（Ａ）を用いて説明する。前フレーム［Ｆ_ｔ−１］の代表点Ｒｙの静止判定は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、現フレーム［Ｆ_ｔ−１］の点Ｑｙとのフレーム差で判定するのではなく、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙのフレーム差で判定を行う。何故ならば、ＲｙとＱｙとのフレーム差を利用する場合、現フレームのＱｙのデータが供給された時点でしか、代表点Ｒｙの静止判定が出来ないが、ＲｙとＰｙとのフレーム差を利用する場合、前フレーム［Ｆ_ｔ−１］のデータが全て供給された時点で、前フレーム［Ｆ_ｔ−１］に存在する代表点の静止判定結果が取得されるからである。

また、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値は、フレーム［Ｆ_ｔ−２］の代表点Ｐｙにおける画素相関演算部４１０で算出されているので、これを利用することが可能となる。

比較部４５２は、画素相関演算部４１０で算出された前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値を入力し、このフレーム差絶対値が、基準値メモリ４５１に格納された予め設定された基準値より小さい場合は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙが静止領域にあるとみなし、静止フラグ（０）をフラグメモリ４５３に格納する。

一方、画素相関演算部４１０で算出された前フレーム［Ｆ_ｔ−１］の代表点Ｒｙと、その前のフレーム［Ｆ_ｔ−２］の点Ｐｙとのフレーム差絶対値が、基準値メモリ４５１に格納された予め設定された基準値以上である場合は、前フレーム［Ｆ_ｔ−１］の代表点Ｒｙが静止領域にないとみなし、動きフラグ（１）をフラグメモリ４５３に格納する。なお、これらのフラグは、コントローラ（図６のコントローラ１０４）によるタイミング制御によって、フラグメモリ４５３に格納される。

さらに、コントローラによる適切なタイミングで、フラグメモリ４５３から代表点静止判定フラグが重み算出部４４１に出力され、重み算出部４４１は、代表点が静止領域内の代表点であるか否かを入力フラグ値に基づいて判定し、代表点が静止領域内の代表点である場合はその代表点に対応して検出された相関性に基づく動きベクトルの信頼性は低いと判断し、信頼度指数β＝０、または信頼度指数βの値を低く設定する。なお、演算器４４２における演算が、加算処理の場合はβ＝０、演算器４４２における演算が乗算処理の場合はβ＝１とする設定としてもよい。

代表点が静止領域内の代表点でない場合は上記式に従って算出した信頼度指数βを演算器４４２に出力する。演算器４４２は、比較部４３０からの出力に対して、信頼度指数βの加算または乗算、あるいはその他信頼度指数βを考慮した結果を出力評価値とする演算処理を実行して評価値積算部４７１に出力する。

評価値テーブル算出部２７０は、入力する信頼度指数βを反映した評価値を評価値積算部２７１において積算し評価値テーブルを生成して、評価値テーブルメモリ２７２に格納する。

評価値積算部２７１は、演算部２６０から入力する信頼度指数βを反映した評価値を積算する処理を行なう。この結果として、信頼度指数βに基づく評価値テーブルが生成される。

以上説明した本発明の動きベクトル検出装置における評価値テーブル生成処理のシーケンスについて図２２のフローを参照して説明する。

ステップＳ３０１において、前フレーム画像データに代表点を配置（決定）する。各ブロックの代表点は、前述したように、例えば、
ａ．ブロックの中心位置の画素値、
ｂ．ブロック内のすべての画素の画素値の平均値、
ｃ．ブロック内のすべての画素の画素値の中間値、
等の、ブロックを代表する画素値が対応付けられる。

ステップＳ３０２では、現フレームデータを入力する。例えばラスタ順に入力される。ステップＳ３０３は、動き類似性検出部４２１の処理であり、入力フレーム内で入力画素と代表点間隔（ｄｘ）離れた入力画素との差分を算出する。この処理は、先に、図１７を参照して説明したステップＳ１の処理、すなわちＤ＝Ｘ５−Ｘ１の算出処理に相当する処理である。

ステップＳ３０４では、代表点データと入力画素データとの相関判定処理が実行される。この処理は、図１６に示す画素相関演算部４１０の処理および比較部４３０の処理である。代表点メモリ４１１から読み出された前フレームの代表点データと、現フレームの画像データが、差分算出部４１２に供給され、前フレームの代表点の画素値と、現フレームの画像データに設定される各代表点に対応するサーチエリア内の画素との画素値差分、例えばフレーム差（相関演算結果）を算出し、絶対値算出部４１３に出力し、フレーム差絶対値が算出される。フレーム差絶対値は、比較部４３０に入力され、予め定めた閾値（ＴＨ）と比較され、フレーム差絶対値が閾値（ＴＨ）より小さい場合は、相関ありと判定し、相関ありを示すビットデータ（例えば［１］）が比較部４３０から出力され、フレーム差絶対値が閾値（ＴＨ）以上である場合は、相関なしと判定し、相関なしを示すビットデータ（例えば［０］）が比較部４３０から出力される。

ステップＳ３０５では、入力画素と代表点との差分データから近傍代表点の動き類似性を検出する。この処理は、動き類似性検出部４２０の処理であり、前フレーム内の着目代表点と近傍代表点に対応する入力フレームにおける相関の高い画素との対応に基づいて検出される注目代表点と近傍代表点の動きが類似するか否かが判定される。類似動きがあると判定された場合は、動き類似性検出部４２０から重み算出部４４１に対して類似性ありの判定結果が出力される。なお、類似性ありまたはなしの判定結果は、着目代表点の複数の近傍代表点について実行され、それぞれの結果データが重み算出部４４１に対して出力される。

ステップＳ３０６では、信頼度指数βを算出する。この信頼度指数βの算出処理は、重み算出部４４１において実行される。

前述したように、着目代表点と近傍代表点の動きベクトルが類似した時の動きベクトルの信頼度指数βは少なくとも以下のパラメータを反映した値として算出する構成とする。
１．近傍代表点の動きの一致数もしくは類似数
２．動きが一致もしくは類似した代表点との空間勾配
３．動きが一致もしくは類似した時の代表点間の距離

ステップＳ３０７では、信頼度指数βを評価値テーブルの積算ポイントとして出力する。ステップＳ３０８では、全代表点と、サーチエリア内の画素との相関判定処理が終了したか否かを判定し、終了していない場合は、ステップＳ３０２以下の処理を未処理画素について実行し、すべての画素の処理が終了すると処理を終了する。

なお、先に説明した信頼度指数αと上述した信頼度指数βを併せて信頼度指数Ｋを算出し、下記式、
Ｋ＝α＋β
を信頼度指数として設定し、この信頼度指数Ｋを反映した評価値を評価値テーブルに加算する構成としてもよい。この場合の、評価値テーブル形成部の構成は、図８に示した構成と、図１６に示した構成を併せ持つ構成となる。

従来の評価値テーブル形成部では代表点マッチングのみの相関有無の判定結果として得られる１ｂｉｔ（相関あり／なし）の加算によって評価値テーブルを構成していたが、上述したように信頼度指数：α、または信頼度指数：β、または、信頼度指数：Ｋ＝α＋βを適用することで、より精度の高い評価値に基づく評価値テーブルを構成することが可能となる。

例えば、信頼度指数Ｋ＝α＋βを適用した場合、代表点毎に算出されるマッチングの信頼度αの上限を７ｂｉｔとして、類似動きを参照する代表点の個数を左右２個として、代表点間の空間勾配の上限を６ｂｉｔとすれば、近傍左右代表点から同じ候補動きベクトルが検出された時の信頼度βは最大７ｂｉｔとなり、検出された候補動きベクトルの信頼度Ｋは８ｂｉｔ段階の重みを算出できるので、これにより信頼度の高い評価値テーブルの形成が可能となる。

［５．評価値テーブルの具体例］
上述した評価値テーブル形成部構成を持つ動きベクトル検出装置を適用し、実際の動画像データに対する処理を実行した場合に生成される度数分布型評価値テーブルの例を説明する。

具体的な、動画像データ８００として、図２３に示すような、静止背景に移動物体（Ａ）８０１、移動物体（Ｂ）８０２、移動物体（Ｃ）８０３、移動物体（Ｄ）８０４とが存在するデータを適用した。

移動物体（Ａ）８０１、移動物体（Ｃ）８０３は水平左方向（−Ｘ方向）に移動する物体であり、この物体の表示領域の画素に対応する正しい動きベクトルは（Ｖｘ，Ｖｙ）＝（−ｎ，０）である。つまり水平左方向の動きベクトルが設定されるべき画素領域である。移動物体（Ｂ）８０２は、水平右方向（＋Ｘ方向）に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（ｎ，０）である。つまり、水平左方向の動きベクトルが設定されるべき画素領域である。

また、移動物体（Ｄ）８０４は、垂直上方向（＋Ｙ方向）に移動する物体あり、この物体の表示領域の画素に対応する正しい動きベクトルとしては、（Ｖｘ，Ｖｙ）＝（０，ｎ）である。つまり、垂直上方向の動きベクトルが設定されるべき画素領域である。

この動画像データに対して、従来手法、例えば特開２００１−６１１５２号公報に開示されている評価値テーブル生成処理を適用して、代表点の相関データのみ積算し生成した評価値テーブルを図２４に示す。図２４に示す評価値テーブルは垂直方向（−Ｙまたは＋Ｙ方向）の動きベクトルに対応するピークのみを示す２次元的に表現した評価値テーブルである。

すなわち、図２４は、画素相関演算部から出力されるデータを、そのまま適用して積算し生成した評価値テーブルの２次元データであり、このテーブルには、（Ｖｙ＝０）すなわち、背景領域の静止画素の静止ベクトルに対応するピークのみが出現している。

図２５は、先に説明した信頼度指数：α、すなわち、アクティビティＡと重み係数Ｗに基づく信頼度指数αに基づいて生成した評価値テーブルの２次元データである。この評価値テーブルには、静止画素に対応するピークのみならず、垂直方向（Ｙ方向）に移動する物体Ｄに対応するピークが出現している。

このように、アクティビティＡと重み係数Ｗに基づく信頼度指数αに基づいて生成した評価値テーブルでは、画像データの表示領域における占有面積が小さい物体の移動に対応するピークを評価値テーブルに出現させることができ、正確な候補ベクトルの抽出、動きベクトルの決定処理が可能となる。

図２６は、信頼度指数：β、すなわち、着目代表点と近傍代表点との動き類似性検出と代表点間の空間勾配（画素値差分）を考慮して算出した信頼度指数βに基づいて生成した評価値テーブルの３次元データである。この評価値テーブルには、静止画素に対応するピークのみならず、移動物体Ａ，Ｂ，Ｃ，Ｄそれぞれに対応するピークが出現している。

このように、着目代表点と近傍代表点との動き類似性検出と代表点間の空間勾配（画素値差分）を考慮して算出した信頼度指数βに基づいて生成した評価値テーブルでは、画像データの表示領域における代表点のアクティビティＡは小さいが、占有面積の大きい物体の移動に対応するピークを評価値テーブルに出現させることができ、正確な候補ベクトルの抽出、動きベクトルの決定処理が可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、代表点マッチング処理に基づく評価値テーブルの生成において、代表点と代表点近傍の画素との動き類似性を判定し、動き類似性がある場合には、相関判定結果の信頼性が高いと判断して、信頼度指数βを算出し、信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

本発明の構成によれば、代表点と該代表点の近傍代表点との動き類似性を検出し、動き類似性ありとの判定がなされたことを条件として、代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成して、信頼度指数βに対応する評価値を積算した評価値テーブルを生成する構成であり、
（ａ）近傍代表点の動きの一致数もしくは類似数
（ｂ）動きが一致もしくは類似した代表点との空間勾配
（ｃ）動きが一致もしくは類似した時の代表点間の距離
これらのパラメータを考慮した信頼度指数βを算出し、この信頼度指数βに基づく評価値を積算した評価値テーブル生成処理を行なう構成であるので、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。

さらに、本発明の構成によれば、上述の信頼度指数βに加えて、さらに、注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータに基づくフラグ相関情報に基づいて、重み係数Ｗを算出し、算出した重み係数Ｗと、画像データの複雑性を示す指標値としてのアクティビティＡとに基づく算出値としての信頼度指数αを生成して、信頼度指数αと信頼度指数βを考慮した信頼度指数Ｋ＝α＋βに対応する評価値を積算した評価値テーブルを生成する構成としたので、代表点と代表点近傍の画素値の差分についても考慮した評価値に基づく評価値テーブルを生成することが可能となり、より精度の高い評価値テーブルの生成が可能となり、動きベクトル検出をより正確に実行することが可能となる。従って、動画像データの符号化処理などを実行する画像処理装置などに本発明を適用することにより、効率的な動きベクトル検出処理が可能となり、装置の小型化も達成される。

ブロックマッチング法の概要を説明する図である。 代表点マッチングを適用した動きベクトル検出処理の問題点について説明する図である。 動きベクトル検出処理において適用する代表点マッチング法の概要について説明する図である。 動きベクトル検出処理において適用する代表点マッチング法による評価値テーブルの作成処理、評価値テーブルに基づく候補ベクトルの抽出処理、抽出した候補ベクトルに基づく各画素に対応する動きベクトルの設定処理の概要について説明する図である。 動きベクトル検出処理における候補ベクトルからの動きベクトル決定処理の概要について説明する図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の一実施例構成を示す図である。 動きベクトル検出処理を実行する本発明の動きベクトル検出装置の処理シーケンスを説明するフローチャートである。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す図である。 評価値テーブル形成部におけるフラグデータ演算部の詳細構成について説明する図である。 フラグデータ演算部の実行する処理の具体例について説明する図である。 重み算出処理部の実行する処理の具体例について説明するフロー図である。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成例２を示す図である。 本発明の動きベクトル検出装置の評価値テーブル形成処理シーケンスを説明するフローチャートを示す図である。 代表点マッチング処理について説明する図である。 本発明の近傍代表点の類似性判定を実行する処理について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成部の詳細構成を示す図である。 本発明の動きベクトル検出装置の評価値テーブル形成部における動き類似性検出部の処理について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出部の処理について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出部の処理について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成部における重み算出部において算出する信頼度指数βの具体例について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成部における代表点静止判定部の処理について説明する図である。 本発明の動きベクトル検出装置の評価値テーブル形成処理シーケンスを説明するフローチャートを示す図である。 評価値テーブル生成処理対象となる動画像データの例を示す図である。 画素相関演算部から出力されるデータを、そのまま適用して積算し生成した評価値テーブル例を示す図である。 本発明に係る評価値テーブル形成部の処理に従って生成した評価値テーブル例を示す図である。 本発明に係る評価値テーブル形成部の処理に従って生成した評価値テーブル例を示す図である。

符号の説明

１０ 前フレーム
１１ 検査ブロックＢｙ
１２ サーチエリア
２０ 現フレーム
２１ 基準ブロックＢｘ
３０ 前フレーム
３１ 現フレーム
３２ サーチエリア
３５，３６，３７ 画素
３８ 代表点
７０ 前フレーム
７１ 代表点Ｒｙ
８０ 現フレーム
８１ サーチエリア
９０ 評価値テーブル
９１ 前フレーム画素
９５，９６，９７ 現フレーム画素
１０１ 評価値テーブル形成部
１０２ 候補ベクトル抽出部
１０３ 動きベクトル決定部
１０４ 制御部（コントローラ）
２００ 評価値テーブル形成部
２１０ 画素相関演算部
２１１ 代表点メモリ
２１２ 差分算出部
２１３ 絶対値算出部
２２０ フラグデータ演算部
２２１，２２２ レジスタ
２２３，２２６ 差分算出部
２２４，２２７ 量子化器
２２５ 変換テーブル
２３０ フラグ相関演算部
２３１ フラグデータ格納メモリ
２３２ 差分算出部
２３３ 絶対値算出部
２４１，２４２ 比較部
２５０ 重み算出処理部
２５１ アクティビティ算出部
２５２ 重み算出部
２５３ 変換テーブル
２５４ デコーダ
２６０ 演算部
２７０ 評価値テーブル算出部
２７１ 評価値積算部
２７２ 評価値テーブルメモリ
３００ 着目画素
３０１，３０２ 隣接画素
３２０ 前フレーム
３２１ 代表点
３２２ 現フレーム
３２３ サーチエリア
３２４ 画素
３２５ 動きベクトル
３４０ 前フレーム
３４１ 代表点
３４２ 近傍代表点
３５０ 現フレーム
３５１，３５２ 画素
３５５ サーチエリア
３６０ 動きベクトル
４００ 評価値テーブル形成部
４１０ 画素相関演算部
４１１ 代表点メモリ
４１２ 差分算出部
４１３ 絶対値算出部
４２０ 動き類似性検出部
４２１ 画素差分演算部
４２２ レジスタ
４２３ 差分算出部
４２４ 演算部
４２５ 絶対値算出部
４２６ 相関算出部
４３０ 比較部
４４１ 重み算出処理部
４４２ 演算部
４５０ 代表点静止判定部
４５１ 基準津メモリ
４５２ 比較部
４５３ フラグメモリ
４７０ 評価値テーブル算出部
４７１ 評価値積算部
４７２ 評価値テーブルメモリ
８００ 動画像データ
８０１〜８０４ 移動物体

Claims (17)

1. 動画像データから動きベクトルを検出する動きベクトル検出装置であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成部と、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル決定部とを有し、
   前記評価値テーブル形成部は、
   時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算部と、
   前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出部と、
   前記動き類似性検出部の検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定に基づいて、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出部と、
   前記重み算出部の算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出部と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記重み算出部は、
   代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条件として、着目代表点の輝度レベル：Ｐｍ、類似動きありと判定されたＮ個の近傍代表点の輝度レベル：Ｐｎに基づいて、前記信頼度指数βを、下式、
   

   

   によって算出する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記動きベクトル検出装置は、さらに、
   前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出部からの信頼度指数βを入力する演算部を有し、
   前記演算部は、前記画素相関演算部からの代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行し、最終評価値を算出し、前記評価値テーブル算出部に出力する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記重み算出部は、
   代表点間の動き類似性ありとの判定を前記動き類似性検出部から入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
   （ａ）近傍代表点の動きの一致数もしくは類似数
   （ｂ）動きが一致もしくは類似した代表点との空間勾配
   （ｃ）動きが一致もしくは類似した時の代表点間の距離
   上記（ａ）〜（ｃ）の少なくともいずれかを反映した値として算出する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記評価値テーブル形成部は、さらに、
   前記代表点が静止領域にあるか否かを判定する代表点静止判定部を有し、
   前記重み算出部は、
   前記代表点静止判定部において、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を０または低下させて設定する処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
6. 前記評価値テーブル形成部は、さらに、
   注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算部と、
   前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算部とを有し、
   前記重み算出部は、
   前記画素相関演算部の演算結果に基づく画素相関情報、および前記フラグ相関演算部の演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成し、
   前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数Ｋ＝α＋βを算出する構成であり、
   前記評価値テーブル算出部は、前記重み算出部の算出した信頼度指数Ｋ＝α＋βに対応する評価値を積算し評価値テーブルを生成する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
7. 前記重み算出処理部は、
   前記フラグデータ演算部の算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
   該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
   α＝Ａ×Ｗ
   によって、信頼度指数αを算出する処理を実行する構成であることを特徴とする請求項６に記載の動きベクトル検出装置。
8. 前記動きベクトル検出装置は、さらに、
   前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出部を有し、
   前記動きベクトル決定部は、
   動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行する構成であることを特徴とする請求項１に記載の動きベクトル検出装置。
9. 動画像データから動きベクトルを検出する動きベクトル検出方法であり、
   時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
   前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
   前記評価値テーブル形成ステップは、
   時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
   前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
   前記動き類似性検出ステップにおける検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定がなされたことを条件として、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出ステップと、
   前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
   を有することを特徴とする動きベクトル検出方法。
10. 前記重み算出ステップは、
    代表点間の動き類似性ありとの判定を入力したことを条件として、着目代表点の輝度レベル：Ｐｍ、類似動きありと判定されたＮ個の近傍代表点の輝度レベル：Ｐｎに基づいて、前記信頼度指数βを、下式、
    

    

    によって算出することを特徴とする請求項９に記載の動きベクトル検出方法。
11. 前記動きベクトル検出方法は、さらに、
    前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記重み算出ステップにおいて算出される信頼度指数βを入力して演算を実行する演算ステップを有し、
    前記演算ステップは、
    前記画素相関演算ステップにおける代表点マッチング処理に基づく相関有無の判定結果と、前記信頼度指数βとの加算または乗算処理を実行して最終評価値を算出し、
    前記評価値テーブル算出ステップは、前記最終評価値の積算により、評価値テーブルを生成することを特徴とする請求項９に記載の動きベクトル検出方法。
12. 前記重み算出ステップは、
    代表点間の動き類似性ありとの判定を入力したことを条件として、前記信頼度指数βを以下のパラメータ、すなわち、
    （ａ）近傍代表点の動きの一致数もしくは類似数
    （ｂ）動きが一致もしくは類似した代表点との空間勾配
    （ｃ）動きが一致もしくは類似した時の代表点間の距離
    上記（ａ）〜（ｃ）の少なくともいずれかを反映した値として算出することを特徴とする請求項９に記載の動きベクトル検出方法。
13. 前記評価値テーブル形成ステップは、さらに、
    前記代表点が静止領域にあるか否かを判定する代表点静止判定ステップを有し、
    前記重み算出ステップは、
    前記代表点静止判定ステップにおいて、前記代表点が静止領域にあると判定された場合に、前記信頼度指数βの値を０または低下させて設定する処理を実行することを特徴とする請求項９に記載の動きベクトル検出方法。
14. 前記評価値テーブル形成ステップは、さらに、
    注目画素と注目画素近傍領域画素の画素値差分データに対応するフラグデータを生成するフラグデータ演算ステップと、
    前記フラグデータに基づいてフレーム間のフラグデータ相関情報の算出処理を実行するフラグ相関演算ステップとを有し、
    前記重み算出ステップは、
    前記画素相関演算ステップにおける演算結果に基づく画素相関情報、および前記フラグ相関演算ステップにおける演算結果に基づくフラグ相関情報の少なくともいずれかの結果を適用して重み係数Ｗを算出し、該重み係数Ｗに基づく算出値としての信頼度指数αを生成するステップと、
    前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βと前記信頼度指数αとに基づいて信頼度指数Ｋ＝α＋βを算出するステップとを有し、
    前記評価値テーブル算出ステップは、
    前記重み算出ステップにおいて算出した信頼度指数Ｋ＝α＋βに対応する評価値を積算し評価値テーブルを生成することを特徴とする請求項９に記載の動きベクトル検出方法。
15. 前記重み算出処理ステップは、
    前記フラグデータ演算ステップにおいて算出する隣接画素間のフラグデータに基づいて、画像データの複雑性を示す指標値としてのアクティビティＡを算出し、
    該算出アクティビティＡと、前記重み係数Ｗとに基づいて、下記式、
    α＝Ａ×Ｗ
    によって、信頼度指数αを算出する処理を実行することを特徴とする請求項１４に記載の動きベクトル検出方法。
16. 前記動きベクトル検出方法は、さらに、
    前記評価値テーブルに基づいて１以上の候補ベクトルを抽出する候補ベクトル抽出ステップを有し、
    前記動きベクトル検出ステップは、
    動画像データのフレーム構成画素各々に対応する動きベクトルを、前記候補ベクトルから選択して対応付ける処理を実行するステップであることを特徴とする請求項９に記載の動きベクトル検出方法。
17. 動画像データから動きベクトルを検出するコンピュータ・プログラムであり、
    時間軸上における異なるフレーム間の画素値相関情報に基づいて評価値テーブルを生成する評価値テーブル形成ステップと、
    前記評価値テーブルに基づいて動画像データのフレーム構成画素に対する動きベクトルを検出して対応付ける動きベクトル検出ステップとを有し、
    前記評価値テーブル形成ステップは、
    時間軸上における異なるフレーム間の相関情報の算出を、一方のフレームから選択した代表点に基づく代表点マッチング処理に基づいて実行する画素相関演算ステップと、
    前記代表点と該代表点の近傍代表点との動き類似性を検出する動き類似性検出ステップと、
    前記動き類似性検出ステップにおける検出結果として、前記代表点と近傍代表点との動き類似性ありとの判定がなされたことを条件として、前記代表点と近傍代表点との画素値差分を考慮した信頼度指数βを生成する重み算出ステップと、
    前記重み算出ステップにおいて算出した信頼度指数βに対応する評価値を積算し評価値テーブルを生成する評価値テーブル算出ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images