JP2008181187A - 動きベクトル検出装置、動きベクトル検出方法、及び、動きベクトル検出プログラム - Google Patents

Abstract

【課題】輝度変動を生ずる画像から移動対象の動きベクトルを推定する精度の安定化と高精度化を行う。
【解決手段】拡散現象を示す拡散量ｑ１および減衰現象を示す減衰量ｑ２を輝度変動量とし、輝度変動量ｑと拡散量ｑ１および減衰量ｑ２との差分を誤差とする誤差関数εを導き、この誤差関数εをロバスト統計学に基づくロバスト関数に代入した目的関数Ｅを導出して、この目的関数Ｅの誤差が収束するまで繰り返し計算して動きベクトル（υ，ν）を推定する。
【選択図】図１

Description

本発明は、輝度変動が著しい連続する時系列画像から移動対象の動きベクトルを安定かつロバストに推定する技術に関する。

現在、時系列画像から物体の動き（オプティカルフロー）を推定する研究は、コンピュータビジョン分野において重要な位置を占めており、日々盛んに研究が進められている。

動きを検出する最も基本的な方法は、連続する２枚の画像間における高い類似性を利用する相互相関法（ＣＣ法）であり、ＭＰＥＧに代表される符号化の分野において良く知られている。具体的には、画像間の類似性を相互相関関数などにより評価して類似する領域を画像間の移動距離（ベクトル）とみなす方法である。推定精度を向上するために、画像を複数のブロックに分割してサブブロック単位で移動距離を求める方法も用いられている。

この相互相関法は、２枚の時系列画像間において輝度変動が発生しないことを前提条件としている。即ち、画像の一定領域内における流量の出入が保存されること、つまり、突発的に発生する輝度変化を考慮することなく、画像の動きは常に滑らかであると仮定し、輝度変動は一定であることを条件に計算する方法である。

しかしながら、移動対象の表面の輝度は、自然環境下において、例えば、太陽光，月光，雲の流れ，陰影，拡散反射，鏡面反射などの外的要因によって、画像間で変動している。

そこで、コンピュータビジョン分野では、オプティカルフロー法を利用して動きを検出する方法が知られている（非特許文献１参照）。このオプティカルフロー法は、動画像から各点の動きを求める手法の一つで、画像輝度の空間的変化と時間的変化を調べ、各点がどちらへどんな速さで移動したかを求める方法である。

ここで、オプティカルフロー法を用いた従来の動きベクトル推定方法について具体的に説明する。最初に、２枚の連続した時系列画像間の輝度変動を一定と仮定し、時点ｔにおけるカメラ座標上の位置（ｘ，ｙ）における輝度をＩ（ｘ，ｙ，ｔ）とすると、微小時間δｔ経過した後の対応する位置の輝度をＩ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）は、位置及び時間に対するテイラー展開を１次オーダまで行うことにより、式（１）で表現される。

次に、時系列画像間における輝度変動の発生を考慮すると、微小時間δｔにおける対応位置間の動きに伴った輝度の差（輝度変動量）ｑは、式（２）で表現される。なお、υ，νは、単位時間あたりのｘ軸およびｙ軸の速度ベクトルを意味している。

そして、式（２）を一般的に表現すると、輝度変動量ｑは、式（３）で表現することができる。
J.L. Barron、外２名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77 中川 徹、外１名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169

式（３）は輝度変動を一応考慮しているが、その輝度変動を最も簡単な線形方程式として表現しているに留まり、非線形な関係ではないので、複雑な自然環境下における輝度変動の要因の一端のみを考慮しているにすぎない。

つまり、前述の如く、自然環境下では、太陽光，月光，雲の流れ，陰影，拡散反射，鏡面反射，など複数の外的要因によって、移動する対象の表面の輝度が時系列画像間で変動するが、式（３）ではこれらの影響を一まとめにしているので、具体的な物理現象が考慮されていないので、不連続性やオクルージョンによる影響を吸収できず、オプティカルフロー法における動きベクトルの推定精度が低下するという問題があった。

本発明は、上記を鑑みてなされたものであり、輝度変動を生ずる画像から移動対象の動きベクトルを推定する精度の安定化と高精度化を行うことを課題とする。

第１の本発明に係る動きベクトル検出装置は、移動対象を含む画像を入力する画像入力手段と、入力された前記画像を時系列に蓄積する画像蓄積手段と、蓄積された前記画像を読み出して、前記画像毎に異なる空間解像度を有する階層画像を生成して階層画像蓄積手段に蓄積する階層画像生成手段と、拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、前記輝度変動量と前記拡散量および前記減衰量との差分を誤差とする誤差関数を導き、当該誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して目的関数格納手段に格納する目的関数導出手段と、格納された前記目的関数を読み出して、連続する２枚の前記画像に対する前記階層画像のうち空間解像度の低い２枚の前記階層画像の濃淡値を前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の速度ベクトルを仮推定して仮速度ベクトル格納手段に格納する速度ベクトル仮推定手段と、格納された前記目的関数と仮推定された前記速度ベクトルとを読み出して、当該速度ベクトルと次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の前記速度ベクトルを本推定して速度ベクトル格納手段に格納する速度ベクトル本推定手段と、を有することを特徴とする。

本発明にあっては、拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、輝度変動量と拡散量および減衰量との差分を誤差とする誤差関数を導き、この誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して、この目的関数の誤差が収束するまで繰り返し計算して速度ベクトルを推定するので、拡散現象および減衰現象を伴う輝度変動がある場合であっても、移動対象の動きベクトルを安定的かつ高精度に推定することができる。

本発明にあっては、異なる空間解像度を有する複数の階層画像を連続する２枚の画像に対してそれぞれ生成し、生成された複数の階層画像のうち空間解像度の低い２枚の階層画像を用いて速度ベクトルを仮推定し、この速度ベクトルと次に空間解像度の高い２枚の階層画像とを用いて速度ベクトルを本推定するので、階層画像の面積および空間解像度を低くして計算量を減らすことができ、速度ベクトルの収束計算の速度を向上し、確実に収束させることができる。

第２の本発明に係る動きベクトル検出装置は、前記速度ベクトル本推定手段が、前記速度ベクトル格納手段に格納された前記速度ベクトルと当該速度ベクトル本推定手段で用いた前記２枚の階層画像の次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入して前記速度ベクトルを推定することを繰り返し、当該速度ベクトルを前記速度ベクトル格納手段に格納することを特徴とする。

本発明にあっては、速度ベクトル本推定手段により推定された速度ベクトルと速度ベクトル本推定手段で用いた２枚の階層画像の次に空間解像度の高い２枚の階層画像の濃淡値とを用いて速度ベクトルを推定することを繰り返すことにより、画像間の移動対象の速度ベクトルを推定するので、上記と同様に、階層画像の面積および空間解像度を低くして計算量を減らすことができ、速度ベクトルの収束計算の速度を向上させることができる。

第３の本発明に係る動きベクトル検出装置は、前記速度ベクトル仮推定手段および前記速度ベクトル本推定手段が、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする。

本発明にあっては、ロバスト関数としてローレンツ関数を用いることにより、速度ベクトルの収束計算の速度をより高速に行うことができる。

第４の本発明に係る動きベクトル検出方法は、移動対象を含む画像を入力する第１ステップと、入力された前記画像を時系列に蓄積する第２ステップと、蓄積された前記画像を読み出して、前記画像毎に異なる空間解像度を有する階層画像を生成して階層画像蓄積手段に蓄積する第３ステップと、拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、前記輝度変動量と前記拡散量および前記減衰量との差分を誤差とする誤差関数を導き、当該誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して目的関数格納手段に格納する第４ステップと、格納された前記目的関数を読み出して、連続する２枚の前記画像に対する前記階層画像のうち空間解像度の低い２枚の前記階層画像の濃淡値を前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の速度ベクトルを仮推定して仮速度ベクトル格納手段に格納する第５ステップと、格納された前記目的関数と仮推定された前記速度ベクトルとを読み出して、当該速度ベクトルと次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の前記速度ベクトルを本推定して速度ベクトル格納手段に格納する第６ステップと、を有することを特徴とする。

第５の本発明に係る動きベクトル検出方法は、前記第６ステップが、前記速度ベクトル格納手段に格納された前記速度ベクトルと当該第６ステップで用いた前記２枚の階層画像の次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入して前記速度ベクトルを推定することを繰り返し、当該速度ベクトルを前記速度ベクトル格納手段に格納することを特徴とする。

第６の本発明に係る動きベクトル検出方法は、前記第５ステップおよび前記第６ステップが、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする。

第７の本発明に係る移動ベクトル検出プログラムは、上記動きベクトル検出方法に記載の移動ベクトル検出方法における各ステップをコンピュータによって実行させることを特徴とする。

本発明によれば、輝度変動を生ずる画像から移動対象の動きベクトルを推定する精度の安定化と高精度化を行うことができる。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本発明の実施の形態に係る動きベクトル検出装置１０を示した構成図である。動きベクトル検出装置１０は、移動対象を含む画像を入力する画像入力部１００、入力された画像を時系列に蓄積する画像蓄積部１１０、蓄積された画像を読み出して、画像毎に異なる空間解像度を有する複数の階層画像を生成して階層画像蓄積部１２１に蓄積する階層画像生成部１２０、目的関数を導出して目的関数格納部１３１に格納する目的関数導出部１３０、速度ベクトルを仮推定して仮速度ベクトル格納部１４１に格納する速度ベクトル仮推定部１４０、速度ベクトルを本推定して速度ベクトル格納部１５１に格納する速度ベクトル本推定部１５０、及び、本推定された速度ベクトルを移動対象の動きベクトルとして表示する動きベクトル表示部１６０を備えた構成である。

なお、動きベクトル検出装置１０は、コンピュータ本体を構成するＣＰＵ，メモリ，ハードディスクなどにより実現される。また、次に説明する各ステップＳ１〜Ｓ７の動作処理はプログラムで実行され、階層画像蓄積部１２１，目的関数格納部１３１，仮速度ベクトル格納部１４１，及び，速度ベクトル格納部１５１は、メモリまたはハードディスクにより構成される。

続いて、動きベクトル検出装置１０を構成する各部１００〜１６０の処理について説明する。なお、画像の輝度値，強度値または濃淡値の意味するところは全て等価であり、計算する際に使用される画像データは画像の濃淡値として以下説明する。

最初に、画像入力部１００には、移動対象が記録された複数の画像が入力される（ステップＳ１）。この移動対象とは、例えば、街頭などに設置されたカメラにより撮影された車などの並進運動を行うものであって、この画像には霧や煙などの自然環境下における外的要因も含まれている。

次に、画像蓄積部１１０は、画像入力部１００で入力された複数の画像を時系列に蓄積する（ステップＳ２）。時系列とは、時間とともに変動する現象の観測値を時間とともに記録した並びを意味するものである。

続いて、階層画像生成部１２０は、画像蓄積部１１０により蓄積された複数の時系列画像のうち、連続する２枚の蓄積画像を読み出して、その２枚の蓄積画像それぞれに対して、蓄積画像よりも空間解像度の低い（粗い）複数の階層画像を生成し、階層画像蓄積部１２１に蓄積する（ステップＳ３）。

この階層画像生成について、図２を用いて説明する。同図は、ある時間ｔにおける蓄積画像２００と時間ｔに連続する時間ｔ＋１における蓄積画像２１０とにおける階層画像を示した模式図である。階層画像生成部１２０は、蓄積画像２００を用いて、この蓄積画像２００よりも空間解像度の低い解像度を有する縮小された階層画像２０１を生成し、さらに、階層画像２０１よりも空間解像度の低い解像度を有する縮小された階層画像２０２を生成する。蓄積画像２１０についても同様に、階層画像生成部１２０は、この蓄積画像２１０よりも空間解像度の低い解像度を有する縮小された階層画像２１１を生成し、さらに、階層画像２１１よりも空間解像度の低い解像度を有する縮小された階層画像２１２を生成する。なお、１つの蓄積画像から３つ以上の階層画像を生成することも可能である。

図１に戻り、目的関数導出部１３０は、拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、輝度変動量と拡散量および減衰量との差分を誤差とする誤差関数を導き、この誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して、目的関数格納部１３１に格納する（ステップＳ４）。

なお、目的関数の具体的な導出方法については後述する。なお、ここで説明したステップＳ４は、ステップＳ３の後の動作に限られるものではなく、ステップＳ１〜Ｓ３のいずれかの間もしくはステップＳ１より前であってもよい。

その後、速度ベクトル仮推定部１４０は、目的関数格納部１３１から目的関数を読み出して、階層画像蓄積部１２１に蓄積された階層画像のうち空間解像度の低い連続する２枚の階層画像の濃淡値をその目的関数に代入し、その目的関数の誤差が収束するまで繰り返し計算することで移動対象の速度ベクトルを仮推定し、仮速度ベクトル格納部１４１に格納する（ステップＳ５）。

そして、速度ベクトル本推定部１５０は、目的関数格納部１３１から目的関数を読み出し、かつ、仮速度ベクトル格納部１４１から仮推定された速度ベクトルとを読み出して、その速度ベクトルと次に空間解像度の高い連続する２枚の階層画像の濃淡値をその目的関数に代入し、その目的関数の誤差が収束するまで繰り返し計算することで移動対象の速度ベクトルを本推定し、速度ベクトル格納部１５１に格納する（ステップＳ６）。

なお、１つの蓄積画像から３つ以上の階層画像が生成される場合であっても、最も空間解像度の低い２枚の階層画像（図２の場合、階層画像２０２および階層画像２１２）から順番に、階層画像を生成した元の２枚の画像（図２の場合、蓄積画像２００および蓄積画像２１０）を用いて速度ベクトルを推定するまで同様の計算を繰り返し行うことにより、連続する２枚の画像間における移動対象の速度ベクトルを推定することができる。

最後に、動きベクトル表示部１６０は、速度ベクトル本推定部１５０により推定された速度ベクトルを用いて、移動対象の動きベクトルを矢印記号として画面に表示する（ステップＳ７）。

次に、ステップＳ４で説明した目的関数の具体的な導出方法について説明する。式（３）で表現された線形方程式に対して、次に説明する２つの典型的な物理現象を取り入れる。１つは、大気，煙，光の拡散反射，熱の伝達などの拡散現象である。この拡散現象の拡散量を示す拡散方程式ｑ１は式（４）で表現することができる。この式（４）は、ある画像における濃淡値Ｉが、ｘ軸及びｙ軸の空間方向に時間とともに初期の濃淡値を薄めていくように、その面積を広げていくことを表現している。なお、λは拡散係数である。

２つ目は、霧の中や光路上の光の減衰などの減衰現象である。減衰現象は、空気中に浮遊する微小な液体または固体の粒子であるエアロゾルにより光が乱反射し、光が進行する距離に従ってエネルギーが分散，消散するために発生する。この減衰現象の減衰量は指数関数的に減衰するので、減衰方程式ｑ２は式（５）で表現することができる。なお、κは、減衰係数である。

次に、式（３）〜（５）で表現された未知数（υ，ν，λ，κ）を推定するための定式化を行う。通常、拡散現象および減衰現象は混在する可能性が高いので、拡散現象を示す拡散量ｑ１および減衰現象を示す減衰量ｑ２を輝度変動量ｑとする。即ち、輝度変動量を示す式（３）を式（６）のように拡張して複数の要因を加味させる。なお、ωは各要因の重み付け係数である。

次に、式（６）を用いて、輝度変動量ｑと拡散量ｑ１および減衰量ｑ２との差分を誤差とする誤差関数εを作成し、この誤差関数εをロバスト統計学に基づくロバスト関数ρに代入した式（７）を目的関数Ｅとする。なお、ロバスト統計学に基づくロバスト推定法については、非特許文献２に開示された技術内容である。

式（７）を最小化することで得られる未知数υが、拡散現象と減衰現象との物理現象を考慮したｘ軸方向の速度ベクトルになり、未知数νはｙ軸方向の速度ベクトルとなる。即ち、未知数（υ，ν）は、時系列画像に含まれた移動対象の動きベクトルとして推定される。

目的関数Ｅを最小化する方法として、ここでは差分法に従って離散化し、未知数（υ，ν，λ，κ）を計算する。具体的には、式（８）を用いて離散化を行う。Ｉ_ｘまたはＩ_ｙは、濃淡値Ｉのｘ軸方向またはｙ軸方向の１次微分値であり、Ｉ_ｔは（ｎ＋１）次とｎ次とにおける時間差分を表現している。なお、（ｉ，ｊ）は、画像のｘ軸およびｙ軸における画素の位置を示している。

従い、式（８）を用いて式（７）の最小化を計算することになるが、ここで、式（７）は非線形関数なので、未知数（υ，ν，λ，κ）について初期値ゼロを与えて、エネルギー最小値を探索する方法として一般的に利用される最急降下法で使用される式（９）を用いて、目的関数Ｅの誤差が収束するまで反復計算する。なお、θは未知数（υ，ν，λ，κ）であり、μは調整パラメータである。また、ｐは反復回数を意味している。

拡散現象を示す重み付け係数ω１および減衰現象を示す重み付け係数ω２は、例えば、それら２つの比率を０．５とし、和を１．０とする。また、調整パラメータμは、空間解像度の異なる階層画像、即ち、サブブロックの大きさに応じて、０．１から１０のマイナス８乗までの中から安定に収束する値とする。なお、４つの未知数（υ，ν，λ，κ）のそれぞれは、（ｉ，ｊ）で示された画素ごとに離散化されるので、画素ごとに異なる組となる。

例えば、未知数（ν，λ，κ）について初期値ゼロを与えて、未知数υについて反復計算する場合、式（９）は式（１０）となる。

ここで、調整パラメータμを１０のマイナス３乗とすると、式（１０）を収束させる収束判定式は、式（１１）で表される。

式（１１）の条件を満たすまで繰り返し計算して反復誤差を小さくすることで、未知数υであるｘ軸方向の速度ベクトルを推定する。例えば、空間解像度の低い３×３のサブブロックを有する２枚の時系列の階層画像を用いて未知数を仮推定し、この仮推定された未知数と次に空間解像度の高い２５×２５のサブブロックを有する階層画像とを用いて、ｘ軸方向の速度ベクトルυおよびｙ軸方向の速度ベクトルνを本推定する。

図３は、連続した２枚の時系列画像間で拡散現象を生じた場合における本実施の形態と従来法とで推定した動きベクトルの比較を示す比較図である。連続した２枚の時系列画像間において、拡散しながら並進運動する移動対象が存在している。本実施の形態で推定した移動対象の動きベクトルは、画像３００に示すように、拡散による面積の拡大の影響を受けることなく並進ベクトルを推定することができる。一方、従来法の場合、式（３）を用いて推定した動きベクトルは、画像３１０に示すように、移動対象自身による拡散の影響により、並進運動に加えて発散するような動きベクトルが推定されている。更に、この場合における減衰係数κは、ほとんどゼロとなる推定結果が得られており、拡散現象と減衰現象との混合モデルの効果も示されている。即ち、拡散モデルが有効に働いたため、拡散しながら並進運動する移動対象の動きをより正確に推定することが可能であることを確認することができる。

図４は、連続した２枚の時系列画像間で減衰現象を生じた場合における本実施の形態と従来法とで推定した動きベクトルの比較を示す比較図である。連続した２枚の時系列画像間において、面積が現象するとともに濃淡値が低下する減衰現象を示しながら並進運動する対象が存在している。本実施の形態で推定した動きベクトルは、画像４００に示すように、減衰による面積の縮小の影響を受けることなく並進ベクトルを推定することができる。一方、従来法の場合、式（３）を用いて推定した動きベクトルは、画像４１０に示すように、移動対象自身による減衰の影響により、並進運動に加えて収束するような動きベクトルが推定されている。更に、この場合における拡散係数λは、ほとんどゼロとなる推定結果が得られており、拡散現象と減衰現象との混合モデルの効果も示されている。即ち、減衰モデルが有効に働いたため、減衰しながら並進運動する移動対象の動きをより正確に推定することが可能であることを確認することができる。

図５は、ロバスト関数の効果を示す図である。同図では、左側から右側方向へ並進運動する移動対象が存在している。木の枝や幹がオクルージョンとなり、不連続性が存在する場合であっても、式（７）に示すロバスト関数を用いて動きベクトルを推定することで、そのオクルージョンの影響を受けることなく、その移動対象の並進運動を正確に推定することを可能としている（画像５００参照）。一方、ロバスト関数を介在させない式（３）を用いて動きベクトルを推定する場合、木の枝の動きの影響を受けることにより、並進運動が正確に推定されていない（画像５１０参照）。

図６は、輝度変動量に対する動きベクトルの誤差を示す図である。人工的に作成された輝度変動を有する２枚の画像を用いて、本実施の形態と従来法との動きベクトルを計算し、正しいと推定された動きベクトルとの平均誤差を示している。同図より、本実施の形態の場合は、従来法よりも動きベクトルの誤差が小さく、一定の範囲内での誤差に抑制されていることが確認することができる。また、従来法では、ある輝度変動量（ｑ−１）において、急速に測定精度が低下することも確認できる。

図７は、不連続性に対する動きベクトルの誤差を示す図である。人工的に作成された不連続性を有する２枚の画像を用いて、本実施の形態と従来法との動きベクトルを計算し、不連続パターンの密度を横軸方向に上げた場合における、正しいと推定された動きベクトルとの平均誤差を示している。同図より、本実施の形態における動きベクトルの誤差は、従来法の半分以下に抑えていることを確認することができる。

即ち、図６および図７の測定結果により、本実施の形態における動きベクトルの推定方法は、推定精度の安定化および高精度化を実現することを確認することができる。

なお、目的関数を演算する際に用いる非線形なロバスト関数として、ローレンツ関数を用いることにより、速度ベクトルの収束計算の速度をより高速に行うことも可能である。

本実施の形態によれば、拡散現象を示す拡散量ｑ１および減衰現象を示す減衰量ｑ２を輝度変動量ｑとし、輝度変動量ｑと拡散量ｑ１および減衰量ｑ２との差分を誤差とする誤差関数εを導き、この誤差関数εをロバスト統計学に基づくロバスト関数ρに代入した目的関数Ｅを導出して、この目的関数Ｅの誤差が収束するまで繰り返し計算して動きベクトル（υ，ν）を推定するので、拡散現象および減衰現象を伴う輝度変動がある場合であっても、移動対象の動きベクトルを安定的かつ高精度に推定することができる。

本実施の形態によれば、異なる空間解像度を有する複数の階層画像を連続する２枚の画像に対してそれぞれ生成し、生成された複数の階層画像のうち空間解像度の低い２枚の階層画像を用いて速度ベクトルを仮推定し、この速度ベクトルと次に空間解像度の高い２枚の階層画像とを用いて速度ベクトルを本推定するので、階層画像の面積および空間解像度を低くして計算量を減らすことができ、動きベクトルの収束計算の速度を向上し、確実に収束させることができる。

本実施の形態によれば、速度ベクトル本推定部１５０により推定された速度ベクトルと速度ベクトル本推定部１５０で用いた２枚の階層画像の次に空間解像度の高い２枚の階層画像の濃淡値とを用いて動きベクトル（υ，ν）を推定することを繰り返すことにより、画像間の移動対象の動きベクトル（υ，ν）を推定するので、上記と同様に、階層画像の面積および空間解像度を低くして計算量を減らすことができ、動きベクトルの収束計算の速度を向上させることができる。

本実施の形態によれば、ローレンツ関数をロバスト関数として適用することにより、速度ベクトルの収束計算の速度をより高速に行うことができる。

最後に、本発明は、自然環境の分野だけでなく、動き解析を必要とする流体力学，医学，航空力学分野においても適用することができる。

本発明の実施の形態に係る動きベクトル検出装置を示した構成図である。 ある時間ｔにおける蓄積画像２００と時間ｔに連続する時間ｔ＋１における蓄積画像２１０とにおける階層画像を示した模式図である。 連続した２枚の時系列画像間で拡散現象を生じた場合における本実施の形態と従来法とで推定した動きベクトルの比較を示す比較図である。 連続した２枚の時系列画像間で減衰現象を生じた場合における本実施の形態と従来法とで推定した動きベクトルの比較を示す比較図である。 ロバスト関数の効果を示す図である。 輝度変動量に対する動きベクトルの誤差を示す図である。 不連続性に対する動きベクトルの誤差を示す図である。

符号の説明

１０…動きベクトル検出装置
１００…画像入力部
１１０…画像蓄積部
１２０…階層画像生成部
１２１…階層画像蓄積部
１３０…目的関数導出部
１３１…目的関数格納部
１４０…速度ベクトル仮推定部
１４１…仮速度ベクトル格納部
１５０…速度ベクトル本推定部
１５１…速度ベクトル格納部
１６０…動きベクトル表示部
２００，２１０…蓄積画像
２０１，２０２，２１１，２１２…階層画像
３００，３１０，４００，４１０，５００，５１０…画像
Ｓ１〜Ｓ７…ステップ

Claims (7)

1. 移動対象を含む画像を入力する画像入力手段と、
   入力された前記画像を時系列に蓄積する画像蓄積手段と、
   蓄積された前記画像を読み出して、前記画像毎に異なる空間解像度を有する階層画像を生成して階層画像蓄積手段に蓄積する階層画像生成手段と、
   拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、前記輝度変動量と前記拡散量および前記減衰量との差分を誤差とする誤差関数を導き、当該誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して目的関数格納手段に格納する目的関数導出手段と、
   格納された前記目的関数を読み出して、連続する２枚の前記画像に対する前記階層画像のうち空間解像度の低い２枚の前記階層画像の濃淡値を前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の速度ベクトルを仮推定して仮速度ベクトル格納手段に格納する速度ベクトル仮推定手段と、
   格納された前記目的関数と仮推定された前記速度ベクトルとを読み出して、当該速度ベクトルと次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の前記速度ベクトルを本推定して速度ベクトル格納手段に格納する速度ベクトル本推定手段と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記速度ベクトル本推定手段は、前記速度ベクトル格納手段に格納された前記速度ベクトルと当該速度ベクトル本推定手段で用いた前記２枚の階層画像の次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入して前記速度ベクトルを推定することを繰り返し、当該速度ベクトルを前記速度ベクトル格納手段に格納することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記速度ベクトル仮推定手段および前記速度ベクトル本推定手段は、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする請求項１又は２に記載の動きベクトル検出装置。
4. 移動対象を含む画像を入力する第１ステップと、
   入力された前記画像を時系列に蓄積する第２ステップと、
   蓄積された前記画像を読み出して、前記画像毎に異なる空間解像度を有する階層画像を生成して階層画像蓄積手段に蓄積する第３ステップと、
   拡散現象を示す拡散量および減衰現象を示す減衰量を輝度変動量とし、前記輝度変動量と前記拡散量および前記減衰量との差分を誤差とする誤差関数を導き、当該誤差関数をロバスト統計学に基づくロバスト関数に代入した目的関数を導出して目的関数格納手段に格納する第４ステップと、
   格納された前記目的関数を読み出して、連続する２枚の前記画像に対する前記階層画像のうち空間解像度の低い２枚の前記階層画像の濃淡値を前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の速度ベクトルを仮推定して仮速度ベクトル格納手段に格納する第５ステップと、
   格納された前記目的関数と仮推定された前記速度ベクトルとを読み出して、当該速度ベクトルと次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入し、当該目的関数の誤差が収束するまで繰り返し計算することで前記移動対象の前記速度ベクトルを本推定して速度ベクトル格納手段に格納する第６ステップと、
   を有することを特徴とする動きベクトル検出方法。
5. 前記第６ステップは、前記速度ベクトル格納手段に格納された前記速度ベクトルと当該第６ステップで用いた前記２枚の階層画像の次に空間解像度の高い２枚の前記階層画像の濃淡値とを前記目的関数に代入して前記速度ベクトルを推定することを繰り返し、当該速度ベクトルを前記速度ベクトル格納手段に格納することを特徴とする請求項４に記載の動きベクトル検出方法。
6. 前記第５ステップおよび前記第６ステップは、前記目的関数を演算する際に用いる前記ロバスト関数として、ローレンツ関数を用いることを特徴とする請求項４又は５に記載の動きベクトル検出方法。
7. 請求項４乃至６のいずれか１項に記載の動きベクトル検出方法における各ステップをコンピュータによって実行させることを特徴とする動きベクトル検出プログラム。