JP3600383B2

JP3600383B2 - Mobile tracking device

Info

Publication number: JP3600383B2
Application number: JP25940196A
Authority: JP
Inventors: 圭一見持; 秀夫浦田
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1996-09-30
Filing date: 1996-09-30
Publication date: 2004-12-15
Anticipated expiration: 2016-09-30
Also published as: JPH10105712A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば交差点における信号無視抑止システムに適用される移動体追跡装置に関する。
【０００２】
【従来の技術】
従来、画像処理により移動体を追跡する装置は、図１０に示すように、ＴＶカメラ１０１で対象とする移動体１０２を撮像し、サンプリング時間Δｔだけ離れたタイミング時刻ｔと「ｔ＋Δｔ」で得られた２枚の画像Ｉ（ｔ）とＩ（ｔ＋Δｔ）との差分｜Ｉ（ｔ＋Δｔ）−Ｉ（ｔ）｜を求め、得られた差分画像の値の大きい部分が移動体１０２の画像部分であり、値が小さい部分は静止している背景領域であるとし、その移動体１０２の画像部分を時間毎に検出して追跡して行く。具体的には、ＴＶカメラ１０１で撮像した画像をＡ／Ｄ変換器１０３でデジタル画像に変換し、量子化した画像Ｉ（ｔ，ｉ，ｊ）を画像記憶器１０４に記憶する。ここにｉ，ｊは「１≦ｉ，ｊ≦Ｌ」であり、Ｌは画像サイズであり、一般的に「５００」程度である。そして、画像記憶器１０４の記憶画像Ｉ（ｔ，ｉ，ｊ）、及び時刻ｔ＋ΔｔにＴＶカメラ１０１からＡ／Ｄ変換器１０３を介して量子化された画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）が差分器１０５に入力され、次に示す（１）式の演算が実行され、差分画像Ｊ（ｔ＋Δｔ，ｉ，ｊ）が得られる。
【０００３】

この差分画像Ｊ（ｔ＋Δｔ，ｉ，ｊ）は、２値化器１０６に送られ、予め設定されたしきい値よりも大きい画素、即ち明るさが大きく変化する画素は値「１」に、また、小さい画素即ち明るさがあまり変化しない画素は値「０」に変換され、移動体追跡器１０７に２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）として送られる。この移動体追跡器１０７で、２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）の値「１」の部分が１つの固まりの移動体部分として抽出される。同時に現時点での画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）は、画像記憶器１０４に送られ、１つ前の画像Ｉ（ｔ，ｉ，ｊ）と入れ換えて記憶され、次の時刻ｔ＋２Δｔに新しい画像（ｔ＋２Δｔ，ｉ，ｊ）が入ってくるのを待つ。
【０００４】
上記の操作を時間が進む毎にΔｔ間隔で実行することによって、移動体部分が時々刻々画像内で検出、追跡される。例えば時刻ｔとｔ＋Δｔとの画像Ｉ（ｔ，ｉ，ｊ）、Ｉ（ｔ＋Δｔ，ｉ，ｊ）が図１１（ａ），（ｂ）のように得られたとすると、二値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）は図１２のようになり、移動体領域１０８が抽出される。移動体領域１０８の重心を点Ｇとすると、図１３のように時刻ｔ＋Δｔとｔ＋２Δｔとの画像によって得られる移動体領域１０９は、点Ｇ′に変化するので、この点Ｇから点Ｇ′の変化を時々刻々記録することにより、移動体追跡が可能となる。
【０００５】
【発明が解決しようとする課題】
上記のように従来の移動体追跡装置では、連続する２枚の画像間で明るさが変化する領域を抽出し、それが１つの移動体であると判断している。
しかし、複数の移動体が図１４（ａ）に示すように連続して移動し、途中で図１４（ｂ）のように２つの方向に分かれるような場合、従来の装置では、２つの移動体が画像上で差分後の２値画像が完全に分離するまで、２つの移動体を区別することができない。即ち、図１４（ａ）と時間Δｔ後の画像との差分を行ない、２値化すると図１４（ｃ）のように２つの移動体はあたかも１つの移動体のように検出される。その後、図１４（ｂ）のように２つの方向に分かれても、２つの移動体がある程度離れるまで、図１４（ｄ）のように１つの移動体のように検出されてしまう。
【０００６】
本発明は上記の課題を解決するためになされたもので、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、複数の移動体が別々の方向に分かれる時、画像上で分離されていなくても、それらの移動体の分離が可能な移動体追跡装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る移動体追跡装置は、移動体を連続的に撮像する撮像手段と、
前記撮像手段により得られた画像をデジタル画像に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された時刻ｔの画像と前記撮影手段により入力されるサンプリング時間Δｔだけ離れた時刻ｔ＋Δｔの２枚の画像の差の絶対値を計算する差分手段と、
前記差分手段によって得られる差分画像を２値化する２値化手段と、
前記２値化手段によって得られる移動体領域に相当する部分を前記画像記憶手段に記憶された画像から抽出する移動体画像抽出手段と、
前記移動体画像抽出手段により抽出された移動体画像の中から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により得られた特徴点が前記撮像手段によって得られる画像の中で対応する部分を抽出し、その移動ベクトルを抽出する移動ベクトル抽出手段と、
前記移動ベクトル抽出手段により得られた移動ベクトルの方向に基づいて、その頻度を累積加算して方向ヒストグラムを生成する方向ヒストグラム生成手段と、
前記方向ヒストグラム生成手段により生成された方向ヒストグラムをその分布に基づいて分割するヒストグラム分割手段と、
前記ヒストグラム分割手段により分割されたヒストグラムに基づいてグループ化された移動ベクトルの部分集合に基づいて前記移動体領域を分割する移動体領域分割手段と、
前記移動体領域分割手段により分割された移動体領域の時間経過と共に変化するその重心座標と平均移動ベクトルとを記憶し、その軌跡を求める移動体追跡手段と
を具備したことを特徴とする。
【０００８】
（作用）
上記の構成において、差分手段は、画像記憶手段に記憶された時刻ｔの画像と撮像手段により入力される時刻ｔ＋Δｔの画像との差の絶対値を計算する。この差の絶対値は、２値化手段に送られ、画像の時間的に変化する部分が移動体領域として抽出される。この移動体領域内の時刻ｔにおける画像が移動体画像抽出手段により、移動体画像として抽出され、特徴点抽出手段に送られる。ここでは、画像内に含まれる移動体の特徴点を抽出する。移動ベクトル抽出手段は、上記抽出された幾つかの特徴点が時刻ｔ＋Δｔの画像内でどこに移動しているかを求め、その移動成分を移動ベクトルとして抽出する。
また、特徴点毎に求められた移動ベクトルは、方向ヒストグラム生成手段に送られる。この方向ヒストグラム生成手段は、各移動ベクトルの方向に応じて、同一方向を向く移動ベクトルの数を計数し、その累積数を方向ヒストグラムとして生成する。この方向ヒストグラムは、移動体領域内に含まれる各移動体の方向を表すので、そのヒストグラムの分布から幾つかの極大値を与える方向を抽出し、その方向に基づきヒストグラム分割手段で移動ベクトルを分割する。各々の分割された移動ベクトルの部分集合に含まれる個々の移動ベクトルに対応する特徴点は、移動体領域分割手段で、元の移動体領域を分割し、移動体追跡手段に送られる。ここでは、得られた個々の移動体領域の重心位置及び平均移動ベクトルをその移動体の時刻ｔ＋Δｔにおける位置として記憶する。
【０００９】
このシーケンスは、時刻ｔ，ｔ＋Δｔ、ｔ＋２Δｔ，ｔ＋３Δｔ，…で行なうことにより、移動体が画像上でどのように移動しているかが計算される。
このように検出された移動体領域内に含まれる特徴点の方向ベクトルを分類し、同一方向に移動する特徴点をグループ化し、このグループ化された特徴点の集まりを含む移動体毎に追跡するので、複数の移動体が１つの移動体領域に含まれていても、それらの移動体が異なる方向に移動し始めた時点で分離し、個々の移動体を追跡することが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
図１は本発明の一実施形態に係る移動体追跡装置の構成を示すブロック図である。本発明に係る移動体追跡装置は、ＴＶカメラ１、Ａ／Ｄ変換器２、画像記憶器３、差分器４、２値化器５、移動体画像抽出器６、特徴点抽出器７、移動ベクトル抽出器８、方向ヒストグラム生成器９、ヒストグラム分割器１０、移動体領域分割器１１、移動体追跡器１２により構成される。
【００１１】
上記ＴＶカメラ１は、移動体を含むシーンを撮像するためのもので、時刻ｔにおいて得られる画像は画像記憶器３に送られて記憶される。差分器４は、時刻ｔ＋ΔｔにＴＶカメラ１によって得られる画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）と、その１つ前のサンプリング時間である時刻ｔにおいて得られ、画像記憶器３に記憶されている画像Ｉ（ｔ，ｉ，ｊ）との差の絶対値を前記（１）式により求める。この差分器４により得られた差分画像ｊ（ｔ＋Δｔ，ｉ，ｊ）は、２値化器５で予め設定されたしきい値により２値化され、２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）が得られる。この画像のうち「１」の部分は、時刻ｔからｔ＋Δｔの間に画像の明るさが変化する部分に対応し、「０」の部分は明るさが変化しない部分に対応する。従って、この「１」の部分を移動体領域とする。
【００１２】
移動体画像抽出器６は、画像記憶器３に記憶されている画像Ｉ（ｔ）から移動体領域に対応する部分の画像のみを移動体画像として抽出するものである。
特徴点抽出器７は、抽出された移動体画像から移動体の特徴点を抽出する。ここでいう特徴点とは、移動体の形状を示す画像の濃淡変化部分や移動体を形成する面の模様、即ち濃淡変化部分に対応する小領域のことを言う。
【００１３】
このような特徴点は、以下に述べる方法で容易に検出できる。
まず、画像データをＥ（ｘ，ｙ）とし、ｘ方向の微分画像をＥｘ、ｙ方向の微分画像をＥｙとする。任意の画像領域Ｓの範囲内で次式（２）で示す行列Ａを求める。
【００１４】
【数１】

【００１５】
ここに、Σ記号は領域Ｓの中に含まれる画素についての和を取ることを意味する。次に、この行列Ａの固有値λ_１，λ_２を計算する。この固有値λ_１，λ_２は、ｘ及びｙ方向にどれくらい画像が明るさが変化しているかの尺度を示し、小さい方の値をλ_３とすると、このλ_３の値が大きい程、その領域Ｓの画像の明るさの変化が大きいことを表している。
【００１６】
そこで、画像Ｅを小領域Ｓ_ｋ（ｋ＝１，２，…，Ｋ）に碁盤の目状に分割し、それぞれの領域毎に固有値λ_１，λ_２を求め、その小さい方の値をλ_３ｋとすると、λ_３ｋ（ｋ＝１，２，…，Ｋ）の中から大きい順にＮ個取ることによって、Ｎ個の特徴点Ｓ_ｎ（ｎ＝１，２，…，Ｎ）（実際は点ではなく、小領域であるが、ここでは点と呼ぶこととする）を抽出することができる。
【００１７】
移動ベクトル抽出器８は、特徴点抽出器７で抽出された個々の特徴点Ｓ_ｎがＡ／Ｄ変換器２から出力される時刻ｔ＋Δｔの画像Ｉ（ｔ＋Δｔ）の中でどの位置にあるかを探索し、時刻ｔの位置に対して移動した成分（ｄｘ，ｄｙ）_ｎ（ｎ＝１，２，…，Ｎ）を移動ベクトルとして抽出する。
【００１８】
この抽出方法は、図２において、特徴点Ｓ_ｎを２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）で示される移動体領域１３に対応する画像Ｉ（ｔ，ｉ，ｊ）の中から抽出された特徴点の１つとすると、図３に示すように特徴点Ｓ_ｎの近傍で画像Ｉ（ｔ＋Δｔ）の中から、画像の明るさのパターンがその特徴点Ｓ_ｎの明るさのパターンと最も良く似ている特徴点Ｓ_ｎ ′を求めればよい。ここで特徴点の類似度を計る尺度ｆとして以下の式（３）を用いる。
【００１９】
【数２】

【００２０】
ここに、Ｐ_ｎ（ｉ，ｊ）は、特徴点Ｓ_ｎの小領域の画像の明るさであり、Ｑ_ｎ（ｉ，ｊ）は、画像Ｉ（ｔ＋Δｔ）の中で特徴点Ｓ_ｎの位置周辺から順次切り出す小領域の画像の明るさであり、予め設定した特徴点Ｓ_ｎの近傍の探索領域内をサーチするように（３）式を計算し、ｆの値が最も小さくなるＱ_ｎ（ｉ，ｊ）を特徴点Ｓ_ｎ ′とする。図３に示すように求められた特徴点Ｓ_ｎ ′と特徴点Ｓ_ｎとの位置の差を移動ベクトル（ｄｘ，ｄｙ）_ｎ（ｎ＝１，２，…，Ｎ）とする。
【００２１】
方向ヒストグラム生成器９は、図４のように移動ベクトル抽出器８で抽出された移動ベクトルの集合（ｄｘ，ｄｙ）_ｎ（ｎ＝１，２，…，Ｎ）を、その方向に応じて方向ヒストグラムを生成する。即ち、図５に示すように方向Ｚを定義し、個々の移動ベクトルがどの方向を向いているかによって、各方向毎に移動ベクトルの数を計数し、図６のような方向ヒストグラムを得る。
【００２２】
ヒストグラム分割器１０は、その方向ヒストグラムに基づいて、極大値を与える方向θ_１，θ_２，…，θ_Ｍを検索し、各方向に対して、その方向を中心に±Δθ°の幅に含まれる移動ベクトルの部分集合Ｇ_ｍを次式

によりＭ個求める。図６の例では、図７のように極大値θ_１，θ_２が見つかるので、その方向を中心に±θ°の幅に含まれる移動ベクトルを部分集合Ｇ_１，Ｇ_２の要素に加えてゆけば良い
移動体領域分割器１１は、移動ベクトルの部分集合Ｇ_ｍの各々に対して含まれるｍ_ｐ個の移動ベクトル（ｄｘ，ｄｙ）_ｍ１，（ｄｘ，ｄｙ）_ｍ２，…（ｄｘ，ｄｙ）_ｍｐに対応する特徴点Ｓ_ｍ１，Ｓ_ｍ２，…Ｓ_ｍｐに基づき、２値化器５によって得られる移動体領域１３を図８に示すように分割し、分割領域Ｄ_ｍを得る。
【００２３】
この分割方法は、移動ベクトル部分集合Ｇ_ｍに含まれる特徴点をすべて内包するような領域を求めることにより分割できる。
移動体追跡器１２は、分割された領域Ｄ_ｍの重心座標を（ｇｘ，ｇｙ）_ｍとしてそれぞれ領域毎に記録する。また、その分割領域Ｄ_ｍに含まれる移動ベクトル部分集合Ｇ_ｍの平均移動ベクトル（＾ｄｘ，＾ｄｙ）_ｍも同時に記録する。
【００２４】
この一連の処理は、サンプリング時間Δｔ毎に得られる画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），Ｉ（ｔ＋２Δｔ），…に対して実行され、その結果として、移動体の分割領域Ｄ_ｍの平均移動ベクトル（＾ｄｘ，＾ｄｙ）_ｍと、その重心座標（ｇｘ，ｇｙ）_ｍが時々刻々として得られる。これらのデータは、図９に示すように、時刻ｔが進むにつれて、重心座標（ｇｘ，ｇｙ）_ｍが平均移動ベクトル（＾ｄｘ，＾ｄｙ）_ｍずつ移動する軌跡が得られ、途中で移動体が複数の方向に分かれても、その移動ベクトルの方向がヒストグラム分割器１０により分割された時点で移動体領域が分割され、引き続き、それぞれの移動体を追跡することができる。
【００２５】
上記のように移動体を含むシーンを連続的に撮像するＴＶカメラ１と、撮像画像をデジタル画像に変換するＡ／Ｄ変換器２と、変換されたデジタル画像を記憶する画像記憶器３と、サンプリング時間Δｔだけ離れた時刻ｔとｔ＋Δｔに得られる２枚の画像の差の絶対値を計算する差分器４と、その差分画像を２値化する２値化器５と、この２値化によって得られる移動体領域に対応する画像を前記画像記憶器３から抽出する移動体画像抽出器６と、抽出された移動体画像の中から特徴点を抽出する特徴点抽出器７と、得られた特徴点が時刻ｔ＋Δｔに得られる画像の中で対応する部分を抽出し、その移動量を抽出する移動ベクトル抽出器８と、得られた移動ベクトルの方向に基づいて方向ヒストグラムを生成する方向ヒストグラム生成器９と、生成された方向ヒストグラムをその分布の極大値に基づいて分割するヒストグラム分割器１０と、分割された移動ベクトルの部分集合に基づいて移動体領域を分割する移動体領域分割器１１と、分割された移動体領域の時間の経過と共に変化する、その重心座標と平均移動ベクトルとを記憶し、その軌跡を求める移動体追跡器１２とを備えることにより、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、それらの移動体の進行方向が変化した時点でそれぞれの移動ベクトルを検出できるので、その方向により移動体領域を分割でき、その結果、正確に移動体を追跡することができる。
なお、上記実施形態では、車両を追跡する場合について示したが、その他、セキュリティ用侵入監視システムとしても実施し得るものである。
【００２６】
【発明の効果】
以上詳記したように本発明によれば、画像処理により移動体を追跡する場合において、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、それらの移動体の進行方向が変化した時点で移動体領域を分割して正確に移動体を追跡することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動体追跡装置の構成を示すブロック図。
【図２】同実施形態における移動体領域と特徴点の説明図。
【図３】同実施形態における特徴点の移動ベクトルの説明図。
【図４】同実施形態における特徴点の移動ベクトルの集合の例を示す図。
【図５】同実施形態における方向ヒストグラム生成時の方向の定義を示す図。
【図６】同実施形態における方向ヒストグラムの一例を示す図。
【図７】同実施形態におけるヒストグラム分割の説明図。
【図８】同実施形態における分割された移動体領域の説明図。
【図９】同実施形態における移動体の分割領域の重心摩擦と平均移動ベクトルの説明図。
【図１０】従来の移動体追跡装置を示すブロック図。
【図１１】移動体追跡装置において、連続して入力される画像の例を示す図。
【図１２】同装置における移動体領域の説明図。
【図１３】同装置における時刻ｔ＋２Δｔで抽出される移動体領域の説明図。
【図１４】同装置における同一方向に進む複数の移動体が途中で方向が二手に分かれる画像例を示す図。
【符号の説明】
１ＴＶカメラ
２Ａ／Ｄ変換器
３画像記憶器
４差分器
５２値化器
６移動体画像抽出器
７特徴点抽出器
８移動ベクトル抽出器
９方向ヒストグラム生成器
１０ヒストグラム分割器
１１移動体領域分割器
１２移動体追跡器
１３移動体領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object tracking device applied to, for example, a signal disabling suppression system at an intersection.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as shown in FIG. 10, a device that tracks a moving object by image processing captures an image of a target moving object 102 with a TV camera 101, and is obtained at a timing time t and “t + Δt” separated by a sampling time Δt. The difference | I (t + Δt) −I (t) | between the two images I (t) and I (t + Δt) is obtained, and the portion of the obtained difference image having a large value is the image portion of the moving body 102. The portion having a small value is assumed to be a stationary background region, and the image portion of the moving object 102 is detected and tracked every time. Specifically, the image captured by the TV camera 101 is converted into a digital image by the A / D converter 103, and the quantized image I (t, i, j) is stored in the image storage 104. Here, i and j are “1 ≦ i, j ≦ L”, and L is an image size, which is generally about “500”. Then, the image I (t + Δt, i, j) quantized from the TV camera 101 via the A / D converter 103 at the time t + Δt and the image I (t + Δt, i, j) stored in the image memory 104 are subtracted. The difference image J (t + Δt, i, j) is obtained by performing the calculation of the following equation (1).
[0003]

This difference image J (t + Δt, i, j) is sent to the binarizer 106, and a pixel larger than a preset threshold, that is, a pixel whose brightness changes greatly, has a value “1”, and , A small pixel, that is, a pixel whose brightness does not change much is converted to a value “0” and sent to the moving object tracker 107 as a binary image K (t + Δt, i, j). The moving object tracker 107 extracts a portion of the binary image K (t + Δt, i, j) having the value “1” as a moving object portion of one block. At the same time, the current image I (t + Δt, i, j) is sent to the image storage 104, where it is stored in place of the immediately preceding image I (t, i, j), and at the next time t + 2Δt, a new image ( t + 2Δt, i, j).
[0004]
By executing the above operation at intervals of Δt every time the time advances, the moving body portion is detected and tracked in the image every moment. For example, if images I (t, i, j) and I (t + Δt, i, j) at time t and t + Δt are obtained as shown in FIGS. 11A and 11B, the binary image K (t + Δt, i, j) are as shown in FIG. 12, and the moving body region 108 is extracted. Assuming that the center of gravity of the moving body region 108 is a point G, the moving body region 109 obtained by the images at times t + Δt and t + 2Δt as shown in FIG. 13 changes to a point G ′. Is recorded every moment, thereby enabling tracking of a moving object.
[0005]
[Problems to be solved by the invention]
As described above, in the conventional mobile object tracking device, an area where the brightness changes between two consecutive images is extracted and determined to be one mobile object.
However, in the case where a plurality of moving objects move continuously as shown in FIG. 14A and split in two directions as shown in FIG. , The two moving objects cannot be distinguished until the binary image after the difference is completely separated on the image. That is, when the difference between FIG. 14A and the image after the time Δt is calculated and binarized, the two moving objects are detected as if they are one moving object as shown in FIG. 14C. After that, even if the two moving bodies are separated in two directions as shown in FIG. 14B, the two moving bodies are detected as one moving body as shown in FIG. 14D until the two moving bodies are separated to some extent.
[0006]
The present invention has been made in order to solve the above-described problem, and is intended to solve a case where a plurality of moving objects are separated in different directions even when an image in which the plurality of moving objects exist cannot be distinguished from each other. It is an object of the present invention to provide a moving object tracking device capable of separating the moving objects even if they are not separated on an image.
[0007]
[Means for Solving the Problems]
A moving object tracking apparatus according to the present invention includes: an imaging unit configured to continuously image a moving object;
A / D conversion means for converting an image obtained by the imaging means into a digital image,
Image storage means for storing the digital image converted by the A / D conversion means,
Difference means for calculating an absolute value of a difference between an image at time t stored in the image storage means and two images at time t + Δt separated by a sampling time Δt inputted by the photographing means;
Binarizing means for binarizing the difference image obtained by the difference means;
Moving body image extracting means for extracting a portion corresponding to a moving body area obtained by the binarizing means from an image stored in the image storing means;
Feature point extracting means for extracting feature points from the moving object image extracted by the moving object image extracting means,
A moving vector extracting means for extracting a corresponding part in an image obtained by the image capturing means, wherein the feature points obtained by the feature point extracting means and extracting a moving vector thereof;
A direction histogram generation unit that generates a direction histogram by cumulatively adding the frequency based on the direction of the movement vector obtained by the movement vector extraction unit;
Histogram dividing means for dividing the direction histogram generated by the direction histogram generating means based on the distribution,
Moving body region dividing means for dividing the moving body region based on a subset of moving vectors grouped based on the histogram divided by the histogram dividing means,
A moving object tracking means for storing the coordinates of the center of gravity and the average moving vector of the moving object area divided by the moving object area dividing means which changes with the passage of time and obtaining a locus thereof.
[0008]
(Action)
In the above configuration, the difference unit calculates an absolute value of a difference between the image at the time t stored in the image storage unit and the image at the time t + Δt input by the imaging unit. The absolute value of the difference is sent to the binarizing means, and a time-varying portion of the image is extracted as a moving object region. The image at the time t in the moving body region is extracted as a moving body image by the moving body image extracting means and sent to the feature point extracting means. Here, the feature points of the moving object included in the image are extracted. The movement vector extracting means determines where the extracted some feature points have moved in the image at time t + Δt, and extracts the movement component as a movement vector.
Further, the movement vector obtained for each feature point is sent to the direction histogram generation means. The direction histogram generation means counts the number of movement vectors pointing in the same direction according to the direction of each movement vector, and generates the accumulated number as a direction histogram. Since the direction histogram indicates the direction of each moving object included in the moving object region, a direction giving some local maximum values is extracted from the distribution of the histogram, and the moving vector is divided by the histogram dividing means based on the direction. I do. The feature points corresponding to the individual motion vectors included in the subset of each of the divided motion vectors are divided by the moving body region dividing means into original moving body areas and sent to the moving body tracking means. Here, the obtained center of gravity position and average movement vector of each moving body region are stored as the position of the moving body at time t + Δt.
[0009]
This sequence is performed at times t, t + Δt, t + 2Δt, t + 3Δt,... To calculate how the moving object is moving on the image.
The direction vectors of the feature points included in the moving body region detected in this way are classified, the feature points moving in the same direction are grouped, and the tracking is performed for each moving body including the group of the grouped feature points. Therefore, even when a plurality of moving objects are included in one moving object area, when the moving objects start moving in different directions, the moving objects can be separated from each other and the individual moving objects can be tracked.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a moving object tracking device according to one embodiment of the present invention. The moving object tracking device according to the present invention includes a TV camera 1, an A / D converter 2, an image storage device 3, a differentiator 4, a binarizing device 5, a moving object image extractor 6, a feature point extractor 7, It comprises a vector extractor 8, a direction histogram generator 9, a histogram divider 10, a moving body region divider 11, and a moving body tracker 12.
[0011]
The TV camera 1 is for capturing a scene including a moving object, and an image obtained at time t is sent to the image storage 3 and stored. The differentiator 4 obtains an image I (t + Δt, i, j) obtained by the TV camera 1 at time t + Δt and an image I obtained at time t which is one sampling time earlier and stored in the image storage 3. The absolute value of the difference from I (t, i, j) is obtained by the above equation (1). The difference image j (t + Δt, i, j) obtained by the differentiator 4 is binarized by a threshold value set in advance by a binarizer 5, and is converted into a binary image K (t + Δt, i, j). Is obtained. The portion “1” in this image corresponds to a portion where the brightness of the image changes from time t to t + Δt, and the portion “0” corresponds to a portion where the brightness does not change. Therefore, this “1” portion is set as the moving object area.
[0012]
The moving object image extractor 6 extracts only an image of a portion corresponding to the moving object region from the image I (t) stored in the image storage device 3 as a moving object image.
The feature point extractor 7 extracts feature points of the moving object from the extracted moving object image. The feature points referred to here are a shading portion of an image showing the shape of the moving body and a pattern of a surface forming the moving body, that is, a small area corresponding to the shading portion.
[0013]
Such a feature point can be easily detected by the method described below.
First, assume that the image data is E (x, y), the differential image in the x direction is Ex, and the differential image in the y direction is Ey. A matrix A represented by the following equation (2) is obtained within an arbitrary image area S.
[0014]
(Equation 1)

[0015]
Here, the symbol Σ means that the sum of the pixels included in the region S is to be calculated. Next, eigenvalues λ ₁ and λ ₂ of the matrix A are calculated. The eigenvalues λ ₁ and λ ₂ indicate how much the brightness of the image changes in the x and y directions. If the smaller value is λ ₃ , the larger the value of λ ₃ is, the larger the area becomes. This indicates that the change in the brightness of the image S is large.
[0016]
Therefore, the image E is divided into small areas S _k (k = 1, 2,..., K) in a grid pattern, eigenvalues λ ₁ and λ ₂ are obtained for each area, and the smaller value is set to λ _Assuming that _3k , N feature points S _n (n = 1, 2,..., N) (actually, at points, by taking N pieces from λ _3k (k = 1, 2 _,. But a small area, which is referred to as a point here).
[0017]
Moving vector extractor 8, or in any position in the image I at time t + Delta] t where the individual feature points S _n extracted by the feature point extractor 7 is output from the A / D converter 2 (t + Δt) The search is performed, and components (dx, dy) _n (n = 1, 2,..., N) moved with respect to the position at time t are extracted as a movement vector.
[0018]
The extraction method is, in FIG. 2, the extracted feature point _{S n} 2 value image K (t + Δt, i, j) image I corresponding to the moving object region 13 indicated by (t, i, j) from the When one of the feature point, from the image I in the vicinity of the feature point S _n, as shown in FIG. 3 (t + Δt), the brightness of the pattern of the image is best similar to the brightness of the pattern of the feature point S _n What is necessary is just to find the characteristic point S _n ′. Here, the following equation (3) is used as a scale f for measuring the similarity between feature points.
[0019]
(Equation 2)

[0020]
_Here, P n _(i, j) is the brightness of the image of the small area of the feature point _{_{S n, Q n (i,}} j) is the position of the feature point _{S n} in the image I (t + Δt) a brightness of sequentially cutting out small region of the image from the periphery, to calculate the predetermined feature point to search the search area in the vicinity of S _n (3) wherein smaller value of f is most Q _n ( i, j) is a feature point S _n ′. Difference movement vector of the position of the feature point obtained as shown in FIG. 3 and _{S n} 'and the feature point _{_{S n (dx, dy) n}} (n = 1,2, ..., N) to.
[0021]
The direction histogram generator 9 converts a set of movement vectors (dx, dy) _n (n = 1, 2,..., N) extracted by the movement vector extractor 8 as shown in FIG. Generate a histogram. That is, the direction Z is defined as shown in FIG. 5, and the number of movement vectors is counted for each direction according to the direction of each movement vector, and a direction histogram as shown in FIG. 6 is obtained.
[0022]
The histogram divider 10 searches for the directions θ ₁ , θ ₂ ,..., Θ _M that give the local maximum values based on the direction histogram, and includes each direction within a width of ± Δθ ° around the direction. following equation subset G _m of the movement vector

Is obtained by M. In the example of FIG. 6, since the maximum values θ ₁ and θ ₂ are found as shown in FIG. 7, the movement vectors included in the width of ± θ ° around the directions are added to the elements of the subsets G ₁ and G _2. or moving object region divider 11 as time went is, _{m p} number of moving vectors included for each of the subsets _{G m} motion vector _{_{(dx, dy) m1, (}} dx, dy) m2, ... (dx, dy ) Based on the feature points S _m1 , S _m2 ,... S _mp corresponding to _mp , the moving object region 13 obtained by the binarizer 5 is divided as shown in FIG. 8 to obtain a divided region D _m .
[0023]
This division method may be divided by obtaining the regions so as to include all the feature points included in the motion vector subset G _m.
Moving object tracking device 12, the center of gravity coordinates of the divided regions _{D m} (gx, _gy) is recorded for each region, respectively as _m. Further, the average movement vector of the moving vector subset _{G m} which are included in the divided region _{D m (^ dx, ^ dy} ) m is also recorded at the same time.
[0024]
A series of the processing, the image obtained at each sampling time Δt I (t), I ( t + Δt), I (t + 2Δt), is performed on ..., as a result, the average movement of the divided regions _{D m} of the moving object A vector (＾ dx, ＾ dy) _m and its barycentric coordinates (gx, gy) _m are obtained moment by moment. As shown in FIG. 9, as the time t advances, a trajectory in which the barycentric coordinates (gx, gy) _m move by the average movement vector (＾ dx, ＾ dy) _m is obtained from these data, Is divided into a plurality of directions, the moving body region is divided when the direction of the movement vector is divided by the histogram divider 10, and each moving body can be tracked continuously.
[0025]
A TV camera 1 that continuously captures a scene including a moving object as described above, an A / D converter 2 that converts a captured image into a digital image, and an image storage device 3 that stores the converted digital image. A differentiator 4 for calculating an absolute value of a difference between two images obtained at a time t and t + Δt separated by a sampling time Δt, a binarizer 5 for binarizing the differential image, and A moving body image extractor 6 for extracting an image corresponding to the obtained moving body region from the image storage 3; a feature point extractor 7 for extracting a feature point from the extracted moving body image; A movement vector extractor 8 for extracting a corresponding portion of an image whose feature points are obtained at time t + Δt and extracting the movement amount thereof, and a direction histogram generation for generating a direction histogram based on the direction of the obtained movement vector Vessel 9; A histogram divider 10 that divides the formed directional histogram based on the local maximum value of the distribution, a moving object region divider 11 that divides the moving object region based on a subset of the divided moving vectors, A moving object tracker 12 that stores the coordinates of the center of gravity and an average moving vector that changes with the passage of time of the moving object area and obtains the trajectory thereof is provided. Even if the moving objects cannot be distinguished from each other, each moving vector can be detected when the moving direction of those moving objects changes, so that the moving object region can be divided according to the direction, and as a result, the moving objects can be accurately identified. Can be tracked.
In the above embodiment, the case where the vehicle is tracked has been described, but the present invention can also be implemented as a security intrusion monitoring system.
[0026]
【The invention's effect】
As described above in detail, according to the present invention, when tracking moving objects by image processing, even if it is not possible to distinguish individual moving objects from an image in which a plurality of moving objects When the traveling direction of the moving object changes, the moving object region can be divided to accurately track the moving object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving object tracking device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a moving object area and feature points according to the embodiment;
FIG. 3 is an explanatory diagram of a movement vector of a feature point in the embodiment.
FIG. 4 is an exemplary view showing an example of a set of feature point movement vectors according to the embodiment;
FIG. 5 is an exemplary view showing a definition of a direction when a direction histogram is generated in the embodiment.
FIG. 6 is an exemplary view showing an example of a direction histogram in the embodiment.
FIG. 7 is an explanatory diagram of histogram division in the embodiment.
FIG. 8 is an explanatory diagram of a divided moving object area in the embodiment.
FIG. 9 is an explanatory diagram of the center-of-gravity friction and the average movement vector of the divided region of the moving object in the embodiment.
FIG. 10 is a block diagram showing a conventional moving object tracking device.
FIG. 11 is a diagram showing an example of images continuously input in the moving object tracking device.
FIG. 12 is an explanatory diagram of a moving body area in the device.
FIG. 13 is an explanatory diagram of a moving object area extracted at time t + 2Δt in the apparatus.
FIG. 14 is a diagram showing an example of an image in which a plurality of moving bodies traveling in the same direction in the same device are split into two directions in the middle.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 TV camera 2 A / D converter 3 Image memory 4 Difference device 5 Binarizer 6 Moving object image extractor 7 Feature point extractor 8 Moving vector extractor 9 Directional histogram generator 10 Histogram divider 11 Moving object area Divider 12 Moving object tracker 13 Moving object area

Claims

Imaging means for continuously imaging the moving body;
A / D conversion means for converting an image obtained by the imaging means into a digital image,
Image storage means for storing the digital image converted by the A / D conversion means,
Difference means for calculating an absolute value of a difference between an image at time t stored in the image storage means and two images at time t + Δt separated by a sampling time Δt inputted by the photographing means;
Binarizing means for binarizing the difference image obtained by the difference means;
Moving body image extracting means for extracting a portion corresponding to a moving body area obtained by the binarizing means from an image stored in the image storing means;
Feature point extracting means for extracting feature points from the moving object image extracted by the moving object image extracting means,
A moving vector extracting means for extracting a corresponding part in an image obtained by the image capturing means, wherein the feature points obtained by the feature point extracting means and extracting a moving vector thereof;
A direction histogram generation unit that generates a direction histogram by cumulatively adding the frequency based on the direction of the movement vector obtained by the movement vector extraction unit;
Histogram dividing means for dividing the direction histogram generated by the direction histogram generating means based on the distribution,
Moving body region dividing means for dividing the moving body region based on a subset of moving vectors grouped based on the histogram divided by the histogram dividing means,
A moving body tracking means for storing a barycentric coordinate and an average moving vector of the moving body area divided by the moving body area dividing means which change with time, and obtaining a locus thereof; Tracking device.