JP3615909B2 - Moving object detection device - Google Patents

Description

【０００９】
上記（１）式において、Σ記号はウィンドウＳ_ｐ の中に含まれる全ての画素についての和をとることを意味する。
ウィンドウＳ_ｐ 内に移動物体が含まれない場合は（１）式の右辺が０に近い値になり移動ベクトル（ｕ_ｐ ，ｖ_ｐ ）≒（０，０）となる。一方、図８（ａ）のようにウィンドウＳ_ｐ 内に移動物体が含まれる場合はサンプリング時間Δｔの間に進むｉ方向、ｊ方向の距離として（ｕ_ｐ ，ｖ_ｐ ）（画素／Δｔ）が求められる。
【００１０】
このようにして得られた（ｕ_１ ，ｖ_１ ）〜（ｕ_Ｐ ，ｖ_Ｐ ）を重ね合わせることにより、時刻ｔ及び時刻ｔ−Δｔの移動ベクトル（ｕ，ｖ）が求まる。この移動ベクトルの検出動作はＴＶカメラ１のサンプリング時間Δｔ毎になされ、これにより移動物体２の移動量と移動方向が分かるので、移動物体２の検出が可能となる。
【００１１】
【発明が解決しようとする課題】
上記従来の移動物体検出装置では、連続する２枚の画像に対して空間的な明るさ変化（空間微分画像Ｉ_ｘ （ｉ，ｊ），Ｉ_ｙ （ｉ，ｊ））と時間的な明るさ変化（時間微分画像Ｉ_ｔ （ｉ，ｊ））とを用いて移動ベクトル（ｕ，ｖ）を決定することができる。この移動ベクトルの推定精度は次式（２）によって与えられる残差Ｅ_ｐ の大きさに依存する。
【００１２】

この推定精度Ｅ_ｐ の値が０に近いほど移動ベクトル（ｕ，ｖ）の値に含まれる誤差は小さく、Ｅ_ｐ が大きい場合には大きな誤差が含まれる。
【００１３】
例えば図８（ｂ）に示すようにサンプリング時間Δｔの間に移動物体２が移動する量が小さい場合、すなわち移動物体２の速度が非常に小さい場合には、画像ノイズの影響により推定される移動ベクトル（ｕ_ｐ ，ｖ_ｐ ）の値に含まれる誤差が大きくなり、正確な移動ベクトルが求められない問題点があった。
【００１４】
この問題点を解決するためにサンプリング時間Δｔを数倍大きくすると、移動量が大きくなることで移動ベクトルを正しく求めることも可能である。しかしながら、逆に移動量が大きい移動物体２に対しては図８（ｃ）に示すように設定したウィンドウＳに対して移動物体２が範囲外となってしまうので、（２）式の残差Ｅ_ｐ が大きくなり、（１）式で求まる移動ベクトルの誤差が非常に大きくなる。
【００１５】
本発明は上記課題を解決するためになされたもので、その目的とするところは、移動物体の移動ベクトルの大きさにかかわらず正確な移動ベクトルを検出することのできる移動物体検出装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の第１の視点は、移動物体をサンプリング時間Δｔ毎に連続的に撮像しＫ個の画像を取得する撮像手段と、前記撮像手段により得られたＫ個の前記画像をデジタル画像に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段により変換されたＫ個の前記デジタル画像のそれぞれを記憶するＫ個の画像記憶手段と、Ｋ個の前記画像記憶手段に対応して設けられ、対応する前記画像記憶手段が記憶する画像と前記撮像手段によって取得される時刻ｔの画像とに基づく空間的な明るさ変化及び時間的な明るさ変化とを用いて、前記移動物体に関するＫ個の移動ベクトルを推定する移動ベクトル推定手段と、前記空間的な明るさ変化及び前記時間的な明るさ変化に基づいてＫ個の前記移動ベクトルのそれぞれに関する残差を計算し、最小の残差に対応する移動ベクトルを選択する移動ベクトル選択手段と、
を具備することを特徴とする移動物体検出装置である。
【００１７】
本発明の望ましい形態としては、Ｋ個の移動ベクトル検出器は、Ｋ個の画像記憶手段に記憶された時刻ｔ−ｋΔｔ（ｋ＝１，２，…，Ｋ）の画像と前記撮像手段により入力されるサンプリング時間ｋΔｔだけ離れた時刻ｔの２枚の画像に基づいて移動ベクトル及び残差を検出するものであり、移動ベクトル選択手段は、この検出された残差の最も小さい２枚の画像から得られる移動ベクトルを選択するものである。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら本発明の一実施形態を説明する。
図１は、本発明の一実施形態に係る移動物体検出装置の全体構成を示すブロック図である。この移動物体検出装置は、ＴＶカメラ１，Ａ／Ｄ変換器２，第１画像記憶器１１，第２画像記憶器１２〜第Ｋ画像記憶器１３，第１移動ベクトル検出器２１，第２移動ベクトル検出器２２〜第ｋ移動ベクトル検出器２３，移動ベクトル選択器３１から構成される。
【００１９】
ＴＶカメラ１は移動物体２を含むシーンをサンプリング時間Δｔ毎に撮像するもので、撮像された画像はＡ／Ｄ変換器３に出力される。Ａ／Ｄ変換器３は、撮像されたアナログの画像信号を量子化して第１画像記憶器１１に転送する。ここで、第１画像記憶器１１にはサンプリング時間Δｔ毎に量子化された画像信号が入力されるが、新しい画像信号が入力されると同時に、入力された新しい画像信号よりΔｔ前の既に記憶されている画像信号は第２画像記憶器１２に転送される。同様に、第２画像記憶器１２も新しい画像信号が入力されると同時に、既に記憶されている画像信号は図示しない第３画像記憶器に転送され、第Ｋ−１画像記憶器に既に記憶されている画像信号は第Ｋ画像記憶器１３へ転送される。従って、時刻ｔにおいて第ｋ画像記憶器（ｋ＝１，２，…，Ｋ）には時刻ｔ−ｋΔｔの時撮像された画像Ｉ（ｔ−ｋΔｔ）が記憶されていることになる。
【００２０】
これら第１〜Ｋ画像記憶器１１〜１３に記憶されている画像列とＡ／Ｄ変換器３から転送された時刻ｔにおける画像の例を図２に示す。図２（ａ）は時刻ｔにおける画像Ｉ（ｔ）を、図２（ｂ）は時刻ｔ−Δｔにおける画像Ｉ（ｔ−Δｔ）を、図２（ｃ）は時刻ｔ−２Δｔにおける画像Ｉ（ｔ−２Δｔ）を、図２（ｄ）は時刻ｔ−ＫΔｔにおける画像Ｉ（ｔ−ＫΔｔ）を示す。図２（ｂ）〜（ｄ）に示す時刻ｔ以前の画像はそれぞれ第１画像記憶器１１，第２画像記憶器１２，第Ｋ画像記憶器１３から転送されたものであり、これら画像中の移動物体２は簡単のため実線の円で示し、比較のため時刻ｔにおける移動物体２を点線の円で示している。
【００２１】
これら第１〜Ｋ画像記憶器１１〜１３は、記憶されている画像信号を各画像記憶器１１〜１３に対応する第１〜Ｋベクトル検出器２１〜２３に出力する。一方、ＴＶカメラ１で撮像され、Ａ／Ｄ変換器３でデジタル化された時刻ｔにおける画像信号は第１〜Ｋベクトル検出器２１〜２３に転送される。すなわち、Ｉ（ｔ）とＩ（ｔ−Δｔ）は第１移動ベクトル検出器２１へ、Ｉ（ｔ）とＩ（ｔ−２Δｔ）は第２移動ベクトル検出器２２へ、Ｉ（ｔ）とＩ（ｔ−ＫΔｔ）は第Ｋ移動ベクトル検出器２３へそれぞれ転送される。
【００２２】
次に、第１〜Ｋ移動ベクトル検出器２１〜２３を第ｋ移動ベクトル検出器（ｋ＝１，２，…，Ｋ）で代表し、その動作について以下説明する。
第ｋ移動ベクトル検出器は２つの画像Ｉ（ｔ）とＩ（ｔ−ｋΔｔ）に対してウィンドウＳ_ｐ を設定する。このウィンドウＳ_ｐ の設定例を図３に示す。ウィンドウＳ_ｐ は図３（ａ）に示すようにある特定の位置でサイズＷ×Ｈの大きさに設定するものでも良いし、図３（ｂ）のように画像全体に対してサイズＷ×Ｈのウィンドウを順次走査し、その各々のウィンドウＳをＳ_１ ，Ｓ_２ ，…，Ｓ_Ｐ としてＰ個のウィンドウを設定するものでも良い。また、これら複数のウィンドウＳ_ｐ を互いにオーバーラップさせて走査しても良い。
【００２３】
ここでは、図３（ｂ）に示すようにウィンドウを設定する場合で以下説明する。また、Ｐ個のウィンドウのうちの１つのウィンドウＳ_ｐ に着目する。
第ｋ移動ベクトル検出器は第ｋ画像記憶器に記憶された時刻ｔ−ｋΔｔの画像とＡ／Ｄ変換器３から入力される時刻ｔの画像に対して、ウィンドウＳ_ｐ の画像Ｉ（ｔ，ｉ，ｊ）のｉ方向の空間微分画像Ｉ_ｘ （ｉ，ｊ）、ｊ方向の空間微分画像Ｉ_ｙ （ｉ，ｊ）、２枚の画像Ｉ（ｔ−Δｔ，ｉ，ｊ）及びＩ（ｔ，ｉ，ｊ）の時間微分画像Ｉ_ｔ （ｉ，ｊ）を求め、これら求められた微分画像に基づいて（１）式に示す演算を施す。そして、この演算結果に基づいて移動物体２の移動ベクトル（ｕ_ｐｋ，ｖ_ｐｋ）を抽出する。ここで、ｉ，ｊは１≦ｉ≦Ｍ，１≦ｊ≦Ｎであり、Ｍ×Ｎは画像サイズである。また、第ｋ移動ベクトル検出器は（１）式に示す演算を行うと同時に（２）式で与えられる残差Ｅ_ｐｋを演算する。
【００２４】
また、ウィンドウＳ_ｐ 内の画像によっては、画像の明るさに変化がなかったり、直線上のエッジのみ存在する場合がある。このような画像に対しては、（１）式左辺の２×２の行列（以下この行列をＡと称する）の行列式｜Ａ｜が０に近い値になり、移動ベクトルが正しく求められない。
【００２５】
そこで、行列Ａの固有値λ_１ ，λ_２ を計算する。この固有値λ_１ ，λ_２ はｉ方向及びｊ方向にどれくらい明るさが変化しているかの尺度を示し、λ_１ ≦λ_２ とすると、このλ_１ の値が大きいほど、そのウィンドウＳの画像の明るさの変化が大きいことを表している。そこで、λ_１ の値があるしきい値λ_ｔｈより大きい場合のみ（１）式により移動ベクトルを計算し、λ_ｔｈより小さい場合はそのウィンドウ内には移動物体２はないとして移動ベクトルとして０の値を移動ベクトル検出器は出力する。この場合、Ｋ個の移動ベクトル検出器は全て０の値を出力するので移動ベクトル選択器１０は移動ベクトルとして自動的に０を選択する。
【００２６】
このように、時刻ｔにおいて、第ｋ移動ベクトル検出器のウィンドウＳ_ｐ について１つの移動ベクトル（ｕ_ｐｋ，ｖ_ｐｋ）が求められる。同様に、画像Ｉ（ｔ）が第１，第２，…，第Ｋ移動ベクトル検出器へ送られると、第１〜第Ｋ移動ベクトル検出器について移動ベクトル（ｕ_ｐ１，ｖ_ｐ１）〜（ｕ_ｐＫ，ｖ_ｐＫ）及び残差Ｅ_ｐ１〜Ｅ_ｐＫが求められ、それぞれ移動ベクトル選択器１０に送られる。
【００２７】
移動ベクトル選択器１０は、求められた残差Ｅ_ｐ１〜Ｅ_ｐＫの値を比較する。そして、最も小さい残差となるｋ＝ｋ_０ における移動ベクトル（ｕ_ｐｋ０ ，ｖ_ｐｋ０ ）を最適な移動ベクトルとして選択する。そして、この移動ベクトル（ｕ_ｐｋ０ ，ｖ_ｐｋ０ ）を（ｕ’_ｐ ，ｖ’_ｐ ）として記憶する。ここで、Ｋ個の残差Ｅ_ｐｋ（ｋ＝１，２，…，Ｋ）の最小値Ｅ_ｐｋがあるしきい値Ｔｈより大きい場合、ウィンドウＳ_ｐ に対して求まった全ての移動ベクトルは正確でないと判断し、移動ベクトルは選択しない。
【００２８】
以上がウィンドウＳ_ｐ について行った移動ベクトルの算出・選択過程であり、この一連の処理は全てのウィンドウＳ_１ 〜Ｓ_Ｐ に対して行われる。すなわち、各ウィンドウＳ_ｐ （ｐ＝１，２，…，Ｐ）毎に異なる時刻における画像に基づいて移動ベクトル（ｕ’_１ ，ｖ’_１ ）〜（ｕ’_Ｐ ，ｖ’_Ｐ ）が求められることとなる。これら移動ベクトルの選択過程を図４を用いて簡略化して説明する。
【００２９】
図４は、画像中のウィンドウ内の円形の移動物体４１，三角形の移動物体４２及び移動ベクトルを示したものである。図４（ａ）は時刻ｔ−ＫΔｔにおける画像Ｉ（ｔ−ＫΔｔ）を、図４（ｂ）は時刻ｔ−Δｔにおける画像Ｉ（ｔ−Δｔ）を、図４（ｃ）は時刻ｔにおける画像Ｉ（ｔ）を示す。図４（ｃ）の時刻ｔにおいて、物体１及び物体２がウィンドウＳ_１ 及びウィンドウＳ_２ 内にそれぞれ含まれており、これらウィンドウＳ_１ 、Ｓ_２ における移動ベクトルを算出及び選択する過程を以下に示す。
【００３０】
図４（ａ）の実線に示すように、時刻ｔ−ＫΔｔにおいてはウィンドウＳ_１ 内には移動物体４１が位置し、Ｓ_２ 内には移動物体４２は位置せずＳ_２ 外に位置している。この場合、時刻ｔにおける移動物体４１，４２の位置に対して移動物体４１は移動ベクトルを算出するに適当な移動距離を有し、これら２枚の画像より、移動ベクトルＶ_Ｋ （ｔ）を算出する。すなわち、図４（ｄ）に示すようにＶ_Ｋ （ｔ）＝（ｕ_１Ｋ，ｖ_１Ｋ）となり、この移動ベクトルに対応する残差Ｅ_１Ｋが最小値となる場合、その移動ベクトルが（ｕ’_１ ，ｖ’_１ ）となる。但し、実際の移動速度は（ｕ_１ ，ｖ_１ ）でなく、（ｕ_１ ／Ｋ，ｖ_１ ／Ｋ）（画素／Δｔ）である。
【００３１】
一方、移動物体４２はＳ_２ 領域内に位置せず、時刻ｔにおける位置に対して大きく離れているため、残差Ｅ_２Ｋは大きくなり、正確な移動ベクトルの算出は困難であるため、算出される移動ベクトル（ｕ_２Ｋ，ｖ_２Ｋ）は移動ベクトル選択器１０において選択されない。
【００３２】
次に、図４（ｂ）の時刻ｔ−Δｔと時刻ｔとの画像比較を示す。実線で示すように、ウィンドウＳ_１ ，Ｓ_２ 内にはそれぞれ移動物体４１，４２が位置しているが、点線で示す時刻ｔにおける移動物体４１，４２の位置に対して移動物体４２についてはほとんど位置が変化しておらず、両画像の移動物体４２の変化量に対して画像ノイズの影響により推定される誤差が大きいため移動ベクトルの算出は困難である。従って、移動ベクトル選択器３１において移動ベクトル（ｕ_１ｔ，ｖ_１ｔ）は選択されない。
【００３３】
これに対して移動物体４２は、時刻ｔにおける位置に対して適当な移動距離があるため、これら２枚の画像により移動ベクトルＶ_１ （ｔ）の算出が可能である。従って、図４（ｅ）に示すようにＶ_１ （ｔ）＝（ｕ_２１，ｖ_２１）となり、この移動ベクトルに対応する残差Ｅ_２１が最小値となる場合、その移動ベクトルが（ｕ’_２ ，ｖ’_２ ）となる。
【００３４】
以上のようにして得られたＶ_１ （ｔ）〜 Ｖ_Ｋ （ｔ）のうち、各ウィンドウ毎に残差Ｅ_ｐＫの最も小さい最適な移動ベクトルが選択される。そして、この選択された各ウィンドウについての移動ベクトルを重ね合わせたＶ_ａ （ｔ）が最終的に選択される移動ベクトル選択器１０の出力となる。すなわち、 図４（ｆ）に示すようにＶ_ａ （ｔ）は（ｕ’_１ ，ｖ’_１ ）〜（ｕ’_Ｐ ，ｖ’_Ｐ ）を重ね合わせたものである。このＶ_ａ （ｔ）を求めるまでのデータ処理がサンプリング時間Δｔ毎に得られる画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），Ｉ（ｔ＋２Δｔ），…に対して時刻Δｔ毎に実行される。従って、結果としてＶ_ａ （ｔ）がサンプリング時間Δｔ毎に得られる。この一連の処理におけるデータの流れを図５に示す。
【００３５】
図５において、上段から撮像画像、第１移動ベクトル検出器出力、第２移動ベクトル検出器出力、…、第Ｋ移動ベクトル検出器出力、移動ベクトル選択器出力についてのデータを示し、横方向が時間軸となっている。また、矢印はデータの流れを示し、例えば時刻ｔにおける第１移動ベクトル検出器出力Ｖ_１ （ｔ）は時刻ｔにおける撮像画像Ｉ（ｔ）及び時刻ｔ−Δｔにおける撮像画像Ｉ（ｔ−Δｔ）に基づいて求められる。
【００３６】
このように、ＴＶカメラ１のサンプリング時間Δｔの間でほとんど画像の変化がなく、移動ベクトルの正しい推定が困難な程移動物体２の移動量が小さい場合であっても、第１〜第Ｋ画像記憶器１１〜１３に記憶されている時刻ｔに対してΔｔ毎に遡った画像とＡ／Ｄ変換器３の出力である現在の画像から第１〜第Ｋ移動ベクトル検出器２１〜２３で移動ベクトル及び残差Ｅを算出し、移動ベクトル選択器３１で移動ベクトルの推定に最適な画像を残差Ｅ_ｐｋの値により選択して移動ベクトルを求めることができるので、２枚の画像信号に含まれる誤差に埋もれることなく正確な移動ベクトル、すなわち移動物体２の移動量及び移動方向の検出が可能となる。
【００３７】
一方、移動量の大きい物体に対しても同様にΔｔ毎に遡った画像と現在の画像から移動ベクトルの推定に最適な画像を選択することができるので、正確な移動ベクトルの検出が可能である。
【００３８】
なお、本実施形態においては移動物体検出装置が侵入者や侵入物の監視システムに適用される場合を示したが、各種セキュリティ用侵入監視システムや、交差点における車両監視システム等においても適用可能であることは勿論である。
【００３９】
【発明の効果】
以上説明したように本発明によれば、デジタル画像を記憶するＫ個の画像記憶手段と、このＫ個の画像記憶手段に記憶された時刻ｔ−ｋΔｔ（ｋ＝１，２，…，Ｋ）の画像とサンプリング時間ｋΔｔだけ離れた時刻ｔの２枚の画像に基づいて移動物体の移動ベクトルを検出するＫ個の移動ベクトル検出手段と、Ｋ個の移動ベクトル検出手段で検出されたＫ個の移動ベクトルの正確さに基づいて移動ベクトルを選択する移動ベクトル選択手段とを具備してなるため、移動速度が小さく、サンプリング時間Δｔの間でほとんど画像の変化がなく、移動ベクトルの正しい推定が困難な場合においても、時刻ｔに対してΔｔ毎に遡った画像と現在の画像とから移動ベクトルの推定に最適な画像を選択して移動ベクトルを求めることができるので、移動ベクトルに含まれる誤差に埋もれることなく正確に移動ベクトルを抽出することができる。
【００４０】
一方、移動物体が大きい物体に対しても同様に最適な画像を選択して移動ベクトルを求めることができるので、最も正確に求められた移動ベクトルを抽出することができるので、正しく移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動物体検出装置の全体構成を示すブロック図。
【図２】同実施形態における連続画像の例を示す図。
【図３】同実施形態におけるウィンドウの設定例を示す図。
【図４】同実施形態における移動ベクトルの検出及び選択過程を示す図。
【図５】同実施形態における移動物体検出装置における各構成機器で連続的に処理されるデータの流れを示す図。
【図６】従来の移動物体検出装置の全体構成を示すブロック図。
【図７】ＴＶカメラで撮像される画像を示す図。
【図８】従来の移動物体検出装置において移動ベクトルが求められる例と求められない例を示す図。
【符号の説明】
１ ＴＶカメラ
２，４１，４２ 移動物体
３ Ａ／Ｄ変換器
１１ 第１画像記憶器
１２ 第２画像記憶器
１３ 第Ｋ画像記憶器
２１ 第１移動ベクトル検出器
２２ 第２移動ベクトル検出器
２３ 第Ｋ移動ベクトル検出器
３１ 移動ベクトル選択器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving object detection apparatus applied to an intruder or intruder monitoring system in a harbor or the like.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a monitoring system for moving objects such as intruders and intruders in a harbor or the like, a moving object detection apparatus that captures a moving object and detects it by image processing has been widely used.
[0003]
FIG. 6 is a diagram illustrating an overall configuration of a conventional moving object detection apparatus. As shown in FIG. 6, first, an image including the moving object 2 is captured by the TV camera 1 at time t−Δt. The image signal I (t−Δt) including the moving object 2 obtained by imaging is output to the A / D converter 3, quantized, and output to the image memory 4. Therefore, the image memory 4 stores the quantized image I (t−Δt, i, j) shown in FIG. Here, i and j are 1 ≦ i ≦ M and 1 ≦ j ≦ N, and M × N is an image size.
[0004]
Next, the TV camera 1 captures the moving object 2 again at time t, which is delayed from the time t−Δt by the sampling time Δt. The captured image signal I (t) is output to the A / D converter 3 and quantized to become an image I (t, i, j) shown in FIG. Is output. Further, the image storage 4 outputs the stored image I (t−Δt, i, j) to the movement vector detector 5.
[0005]
The moving vector detector 5 uses the two images I (t−Δt, i, j) and I (t, i, j) obtained at time t−Δt and time t to move the moving object 2 by the following method. The movement vector (u, v) is detected.
[0006]
First, I _x (i, j) is the spatial differential image in the i direction of the image I (t, i, j), I _y (i, j) is the spatial differential image in the j direction, and two images I (t− A time differential image of Δt, i, j) and I (t, i, j) is I _t (i, j). Also, as shown in FIG. 8A, a certain area W × H is set for the image size M × N. This area is called a window S.
[0007]
In FIG. 8, the moving object 2 is shown as a circle for simplicity. Although only one window S may be set, since it is unclear where the moving object 2 exists on the image, the window S is moved from end to end so that the entire area of the image can be covered by the window S. That is, FIG. 3 as shown in _{(b) S p (p =} 1,2, ..., P) moving vector _{(u p, v} p) for the image data contained in the window _{S p} at each position as determined. The moving vector (u _{p, v p)} deriving a is obtained by solving the following equation.
[0008]
[Expression 1]

[0009]
In the above (1), sigma symbol means that the sum of all the pixels contained in a window S _p.
If it does not contain moving objects in the window _{S p} becomes (1) the right side of the equation is a value close to 0 motion vector _{(u p, v p) ≒} (0,0). On the other hand, the window i direction of travel during the sampling time Delta] t if it contains moving objects in _{S p,} as the distance j direction as shown in FIG. _{8 (a) (u p,} v p) ( pixel / Delta] t) is Desired.
[0010]
By superimposing (u ₁ , v ₁ ) to (u _P , v _P ) obtained in this way, a movement vector (u, v) at time t and time t−Δt is obtained. This movement vector detection operation is performed every sampling time Δt of the TV camera 1, whereby the movement amount and the movement direction of the moving object 2 can be known, so that the moving object 2 can be detected.
[0011]
[Problems to be solved by the invention]
In the above-described conventional moving object detection apparatus, spatial brightness changes (spatial differential images I _x (i, j), I _y (i, j)) and temporal brightness for two consecutive images. The movement vector (u, v) can be determined using the change (time differential image I _t (i, j)). The estimation accuracy of this movement vector depends on the magnitude of the residual E _p given by the following equation (2).
[0012]

The closer the value of the estimation accuracy E _p is to 0, the smaller the error included in the value of the movement vector (u, v), and a larger error when E _p is large.
[0013]
For example, as shown in FIG. 8B, when the moving amount of the moving object 2 is small during the sampling time Δt, that is, when the speed of the moving object 2 is very small, the movement estimated by the influence of image noise error increases in the value of the vector (u _{p, v p),} accurate motion vector is a problem that can not be determined.
[0014]
If the sampling time Δt is increased several times in order to solve this problem, the movement vector can be obtained correctly by increasing the movement amount. However, on the contrary, for the moving object 2 having a large movement amount, the moving object 2 is out of the range with respect to the window S set as shown in FIG. _Ep becomes large, and the error of the movement vector obtained by the equation (1) becomes very large.
[0015]
The present invention has been made to solve the above problems, and an object of the present invention is to provide a moving object detection apparatus capable of detecting an accurate movement vector regardless of the magnitude of the movement vector of the moving object. There is.
[0016]
[Means for Solving the Problems]
According to a first aspect of the present invention, an imaging unit that continuously captures a moving object at every sampling time Δt to acquire K images, and converts the K images obtained by the imaging unit into digital images. A / D conversion means, K image storage means for storing each of the K digital images converted by the A / D conversion means, and K image storage means. , K pieces related to the moving object using a spatial brightness change and a temporal brightness change based on the image stored in the corresponding image storage means and the image at time t acquired by the imaging means. A movement vector estimation means for estimating a movement vector of the K, and calculating a residual for each of the K movement vectors based on the spatial brightness change and the temporal brightness change, to obtain a minimum residual versus A motion vector selecting means for selecting a motion vector to be,
It is a moving object detection apparatus characterized by comprising.
[0017]
As a desirable mode of the present invention, the K motion vector detectors are input by the image pickup means and the image at time t−kΔt (k = 1, 2,..., K) stored in the K image storage means. The movement vector and the residual are detected on the basis of the two images at time t separated by the sampling time kΔt. The movement vector selecting means detects the two images having the smallest residual from the detected two images. The obtained movement vector is selected.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an overall configuration of a moving object detection apparatus according to an embodiment of the present invention. The moving object detection apparatus includes a TV camera 1, an A / D converter 2, a first image storage 11, a second image storage 12 to a Kth image storage 13, a first movement vector detector 21, and a second movement. The vector detector 22 to the k-th motion vector detector 23 and the motion vector selector 31 are configured.
[0019]
The TV camera 1 captures a scene including the moving object 2 at every sampling time Δt, and the captured image is output to the A / D converter 3. The A / D converter 3 quantizes the captured analog image signal and transfers it to the first image memory 11. Here, an image signal quantized every sampling time Δt is input to the first image memory 11, but at the same time as a new image signal is input, it is already stored before Δt from the input new image signal. The processed image signal is transferred to the second image memory 12. Similarly, a new image signal is input to the second image memory 12 at the same time, and the already stored image signal is transferred to a third image memory (not shown) and already stored in the K-1 image memory. The image signal being transferred is transferred to the Kth image memory 13. Therefore, the image I (t−kΔt) captured at the time t−kΔt is stored in the kth image memory (k = 1, 2,..., K) at the time t.
[0020]
An example of the image sequence stored in the first to K image storage units 11 to 13 and the image at time t transferred from the A / D converter 3 is shown in FIG. 2A shows an image I (t) at time t, FIG. 2B shows an image I (t−Δt) at time t−Δt, and FIG. 2C shows an image I (at time t−2Δt). FIG. 2D shows an image I (t−KΔt) at time t−KΔt. Images before time t shown in FIGS. 2B to 2D are respectively transferred from the first image storage device 11, the second image storage device 12, and the Kth image storage device 13, and the images in these images are shown in FIG. The moving object 2 is indicated by a solid circle for simplicity, and the moving object 2 at time t is indicated by a dotted circle for comparison.
[0021]
The first to K image memories 11 to 13 output the stored image signals to the first to K vector detectors 21 to 23 corresponding to the image memories 11 to 13, respectively. On the other hand, an image signal at time t captured by the TV camera 1 and digitized by the A / D converter 3 is transferred to the first to K vector detectors 21 to 23. That is, I (t) and I (t−Δt) are sent to the first motion vector detector 21, I (t) and I (t−2Δt) are sent to the second motion vector detector 22, and I (t) and I (T−KΔt) is transferred to the Kth motion vector detector 23, respectively.
[0022]
Next, the first to K motion vector detectors 21 to 23 are represented by the kth motion vector detector (k = 1, 2,..., K), and the operation thereof will be described below.
The k motion vector detector sets the window _{S p} for the two images I (t) and I (t-kΔt). Showing a setting example of this window S _p in FIG. Window S _p is may be used to set the size of the size W × H at a specific position in shown in FIG. 3 (a), the size W × H for the entire image as shown in FIG. 3 (b) window sequentially scanning of the window S of each S _1, S 2, _..., it may be used to set the P number of windows as S _P. It is also possible to scan the plurality of windows S _p are overlapped with each other.
[0023]
Here, the case where a window is set as shown in FIG. In addition, attention is focused on one of the window S _p of the P number of window.
The first k motion vector detector for the image at time t input from the image and the A / D converter 3 at time t-k.DELTA.t stored in the k-th image storage unit, the window S _p of the image I (t, i, j) spatial differential image I _x (i, j), j direction spatial differential image I _y (i, j), two images I (t−Δt, i, j) and I ( The time differential image I _t (i, j) of _t, i, j) is obtained, and the calculation shown in the equation (1) is performed based on the obtained differential image. Based on the calculation result, the movement vector ( _upk , _vpk ) of the moving object 2 is extracted. Here, i and j are 1 ≦ i ≦ M and 1 ≦ j ≦ N, and M × N is an image size. In addition, the k-th motion vector detector calculates the residual E _pk given by equation (2) at the same time as performing the operation shown by equation (1).
[0024]
Also, depending on the image in the window S _p, or no change in the brightness of the image, it may be present only on a straight line edges. For such an image, the determinant | A | of the 2 × 2 matrix (hereinafter referred to as “A”) on the left side of equation (1) is close to 0, and the movement vector cannot be obtained correctly. .
[0025]
Therefore, eigenvalues λ ₁ and λ ₂ of the matrix A are calculated. The eigenvalues λ ₁ and λ ₂ indicate how much the brightness changes in the i direction and the j direction. When λ ₁ ≦ λ ₂ , the larger the value of λ ₁ , the larger the value of the image of the window S. This means that the change in brightness is large. Therefore, lambda ₁ when the value is greater than the threshold value lambda _th there is only (1) the motion vector calculated by formula, when lambda _th smaller than 0 as the movement vector if not moving objects 2 in the window The motion vector detector outputs the value. In this case, since all the K motion vector detectors output 0, the motion vector selector 10 automatically selects 0 as the motion vector.
[0026]
Thus, at time t, 1 single movement vector for window _{S p} of the k motion vector detector _{(u pk, v} pk) is obtained. Similarly, when the image I (t) is sent to the first, second,..., Kth motion vector detectors, the motion vectors (u _p1 , v _p1 ) to (u) for the first to _Kth motion vector detectors. _pK , v _pK ) and residuals E _{p1 to} E _pK are obtained and sent to the motion vector selector 10 respectively.
[0027]
The movement vector selector 10 compares the values of the obtained residuals E _{p1 to} E _pK . Then, the selective transfer vector at k = _{k 0} as the smallest residuals _{(u pk0, v pk0)} as an optimum motion vector. Then, this movement vector (u _pk0 , v _pk0 ) is stored as (u ′ _p , v ′ _p ). Here, K pieces of the residual _{E pk (k = 1,2, ...} , K) is greater than the threshold value Th which is the minimum value _{E pk,} all movement vectors Motoma' against window _{S p} precisely Therefore, the movement vector is not selected.
[0028]
Or a calculation and selection process of the movement vector was performed in the window S _p, the series of processing is performed for all windows S ₁ to S _P. That is, movement vectors (u ′ ₁ , v ′ ₁ ) to (u ′ _P , v ′ _P ) are obtained based on images at different times for each window _Sp (p = 1, 2,..., P). It will be. The selection process of these movement vectors will be described with reference to FIG.
[0029]
FIG. 4 shows a circular moving object 41, a triangular moving object 42, and a movement vector in a window in the image. 4A shows an image I (t−KΔt) at time t−KΔt, FIG. 4B shows an image I (t−Δt) at time t−Δt, and FIG. 4C shows an image at time t. I (t) is shown. At time t in FIG. 4 (c), the object 1 and object 2 are included respectively in the window S ₁ and window S _2, the process of calculating and selecting a movement vector in these windows S _1, S ₂ below Show.
[0030]
As shown in solid line in FIG. 4 (a), the position moving object 41 in the window S ₁ at time t-KΔt, it is in the S ₂ moving object 42 is positioned in S ₂ out not located Yes. In this case, the moving object 41 has an appropriate moving distance for calculating the moving vector with respect to the positions of the moving objects 41 and 42 at time t, and the moving vector V _K (t) is calculated from these two images. To do. That is, as shown in FIG. 4D, when V _K (t) = (u _1K , v _1K ) and the residual E _1K corresponding to this movement vector is the minimum value, the movement vector becomes (u ′ ₁ , v ′ ₁ ). However, the actual moving speed is not (u ₁ , v ₁ ), but (u ₁ / K, v ₁ / K) (pixel / Δt).
[0031]
On the other hand, since the moving object 42 is not located in the S ₂ region and is far away from the position at the time t, the residual E _2K becomes large, and it is difficult to calculate an accurate moving vector. The movement vector (u _2K , v _2K ) is not selected by the movement vector selector 10.
[0032]
Next, an image comparison between time t−Δt and time t in FIG. As indicated by the solid lines, the moving objects 41 and 42 are positioned in the windows S ₁ and S ₂ , respectively, but the moving object 42 is almost the same as the position of the moving objects 41 and 42 at the time t indicated by the dotted line. Since the position has not changed and the error estimated by the influence of image noise is large with respect to the amount of change of the moving object 42 in both images, it is difficult to calculate the movement vector. Therefore, the movement vector (u _1t , v _1t ) is not selected in the movement vector selector 31.
[0033]
On the other hand, since the moving object 42 has an appropriate moving distance with respect to the position at time t, the moving vector V ₁ (t) can be calculated from these two images. Therefore, as shown in FIG. 4E, when V ₁ (t) = (u ₂₁ , v ₂₁ ) and the residual E ₂₁ corresponding to this movement vector is the minimum value, the movement vector becomes (u ′ ₂ , v ′ ₂ ).
[0034]
Among V ₁ (t) to V _K (t) obtained as described above, an optimal movement vector having the smallest residual E _pK is selected for each window. Then, V _a (t) obtained by superimposing the movement vectors for each selected window is the output of the movement vector selector 10 to be finally selected. That is, as shown in FIG. 4F, V _a (t) is obtained by superimposing (u ′ ₁ , v ′ ₁ ) to (u ′ _P , v ′ _P ). Data processing until V _a (t) is obtained is executed at each time Δt for the images I (t), I (t + Δt), I (t + 2Δt),... Obtained at every sampling time Δt. Therefore, as _a result, V _a (t) is obtained every sampling time Δt. The data flow in this series of processing is shown in FIG.
[0035]
In FIG. 5, data on the captured image, the first motion vector detector output, the second motion vector detector output,..., The Kth motion vector detector output, and the motion vector selector output are shown from the top, with the horizontal direction representing time. It is the axis. The arrows indicate the flow of data. For example, the first motion vector detector output V ₁ (t) at time t is the captured image I (t) at time t and the captured image I (t−Δt) at time t−Δt. Based on.
[0036]
Thus, even if the moving amount of the moving object 2 is so small that there is almost no change in the image during the sampling time Δt of the TV camera 1 and the correct estimation of the moving vector is difficult, the first to Kth images. The first to Kth motion vector detectors 21 to 23 move from the image that is traced back every Δt with respect to time t stored in the storage devices 11 to 13 and the current image that is the output of the A / D converter 3. The vector and residual E are calculated, and the movement vector selector 31 can select an image optimal for estimating the movement vector based on the value of the residual E _pk so that the movement vector can be obtained. Thus, it is possible to detect an accurate movement vector, that is, a movement amount and a movement direction of the moving object 2 without being buried in an error.
[0037]
On the other hand, since it is possible to select an optimal image for estimating a movement vector from an image traced every Δt and an image of the current movement for an object with a large movement amount, an accurate movement vector can be detected. .
[0038]
In the present embodiment, the moving object detection device is applied to an intruder or intruder monitoring system. However, the present invention can also be applied to various security intrusion monitoring systems, vehicle monitoring systems at intersections, and the like. Of course.
[0039]
【The invention's effect】
As described above, according to the present invention, K image storage means for storing digital images, and time t−kΔt (k = 1, 2,..., K) stored in the K image storage means. K movement vector detection means for detecting the movement vector of the moving object based on two images at time t separated from the image by sampling time kΔt, and K pieces of movement vector detection means detected by the K movement vector detection means Since the moving vector selecting means for selecting the moving vector based on the accuracy of the moving vector is provided, the moving speed is low, the image hardly changes during the sampling time Δt, and it is difficult to correctly estimate the moving vector. Even in such a case, the movement vector can be obtained by selecting the image most suitable for the estimation of the movement vector from the image traced back by Δt with respect to the time t and the current image. Precisely the movement vector without buried in errors contained in Torr can be extracted.
[0040]
On the other hand, it is possible to select the optimal image for a large moving object and obtain the movement vector in the same way, so that the most accurately obtained movement vector can be extracted, so the moving object is detected correctly. can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a moving object detection device according to an embodiment of the present invention.
FIG. 2 is a view showing an example of a continuous image in the embodiment.
FIG. 3 is a view showing a setting example of a window in the embodiment.
FIG. 4 is a view showing a movement vector detection and selection process in the embodiment;
FIG. 5 is a view showing a flow of data continuously processed by each component device in the moving object detection device according to the embodiment;
FIG. 6 is a block diagram showing the overall configuration of a conventional moving object detection device.
FIG. 7 is a diagram showing an image captured by a TV camera.
FIGS. 8A and 8B are diagrams illustrating an example in which a movement vector is obtained and an example in which a movement vector is not obtained in a conventional moving object detection apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 TV camera 2,41,42 Moving object 3 A / D converter 11 1st image memory 12 2nd image memory 13 K image memory 21 1st movement vector detector 22 2nd movement vector detector 23 1st K movement vector detector 31 movement vector selector

Claims (1)

Imaging means for continuously capturing a moving object at every sampling time Δt and acquiring K images;
A / D conversion means for converting the K images obtained by the imaging means into digital images;
K image storage means for storing each of the K digital images converted by the A / D conversion means;
Spatial brightness change and temporal brightness based on the image stored at the corresponding image storage means and the image at time t acquired by the imaging means, provided corresponding to the K image storage means. A movement vector estimating means for estimating K movement vectors related to the moving object using a change in height;
Movement vector selection means for calculating a residual for each of the K movement vectors based on the spatial brightness change and the temporal brightness change, and selecting a movement vector corresponding to the minimum residual; ,
A moving object detection apparatus comprising:

Images