JP2004287806A

JP2004287806A - Moving target detector, tracking system and moving target identification method

Info

Publication number: JP2004287806A
Application number: JP2003078506A
Authority: JP
Inventors: Takashi Nakatani; 崇史中谷; Kyosuke Uchida; 恭輔内田; Koichi Ikuta; 剛一生田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2004-10-14
Anticipated expiration: 2023-03-20
Also published as: JP4061221B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving target detector which have improved moving target detection accuracy. <P>SOLUTION: The moving target detector is constituted of a target area extraction part 8 for extracting a target area on the basis of a background image for each of sequentially inputted frame images, an evaluation value generation part 11 for evaluating the correlation degree of the target areas between two different frame images on the basis of an extraction position inside the frame image of each target area and generating an evaluation value, and a target identification part 12 for making the target areas correspond to each other between different frames on the basis of the evaluation value and identifying the moving target. In the case that a first target area extracted from the frame image overlaps with a second target area extracted from the frame image before that, the evaluation value generation part 13 generates the evaluation value on the basis of the overlap area. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、移動目標検出装置、追尾システム及び移動目標識別方法に係り、より詳しくは、フレーム画像ごとに目標領域を抽出して航空機などの移動目標の検出を行う移動目標検出装置の改良に関する。
【０００２】
【従来の技術】
従来の移動目標検出装置としては、例えば、特許文献１または２に記載のものがある。このうち、特許文献１に記載の移動物体認識装置は、複数の時系列画像と背景画像とが格納される画像記憶部と、時間を遡って画像処理を行う画像処理部とを備えている。そして、画像処理部は、複数の時系列画像のうち時刻ｔの画像について、背景画像と比較して移動物体を認識し、認識された移動物体に識別符号を付与し、時刻ｔの画像に含まれる各移動物体の動きベクトルを求め、（ｔ−１）の画像に含まれる移動物体上の領域が識別符号Ｘを持っていると仮定して、この領域に対応した時刻ｔでの画像上の領域を動きベクトルに基づき推定し、両領域の相関度を求め、複数の識別符号Ｘの各々について求めた相関度の大小関係に基づいて、領域に付与すべき識別符号を決定することにより時刻（ｔ−１）の画像に含まれている非分離移動物体を分割するように構成される。
【０００３】
【特許文献１】
特開２００２−１３３４２１号公報
【特許文献２】
特開２０００−１３７８２号公報
【０００４】
【発明が解決しようとする課題】
上述した様な従来の移動目標検出装置は、現在の入力画像と、過去の入力画像から得られる背景画像との差分画像に基づいて、移動目標を検出している。このため、カメラセンサの視野範囲内において複数の目標が同時に捉えられるような状況では、カメラセンサの視線方向と各目標との位置関係によって各目標が重なって画像入力され、複数の移動目標を１つの移動目標であるというように誤検出されてしまう場合があった。
【０００５】
また、日射などの外乱によって入力画像に揺らぎが生じ、１つの移動目標が分裂して検出されるような状況では、分裂した個々の検出結果をそれぞれ移動目標であるというように誤認されてしまうという問題もあった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、移動目標の検出精度を向上させた移動目標検出装置、追尾システム及び移動目標識別方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明による移動目標検出装置は、順次に入力されるフレーム画像ごとに、背景画像に基づいて目標領域を抽出する目標領域抽出手段と、各目標領域のフレーム画像内における抽出位置に基づいて、異なる２つのフレーム画像間で目標領域の相関度を評価し、評価値を生成する評価値生成手段と、評価値に基づいて、異なるフレーム間で目標領域を対応づけ、移動目標を識別する目標識別手段を備え、評価値生成手段は、フレーム画像から抽出された第１の目標領域が、より前のフレーム画像から抽出された第２の目標領域と重複する場合に、この重複領域に基づいて評価値を生成するように構成される。
【０００８】
この様な構成によれば、第１及び第２の目標領域の重複領域に基づいて、評価値が生成されるので、評価値の生成が容易である。また、評価値に基づいてこれらの目標領域がフレーム間で対応づけられ、この対応づけに基づいて移動目標が識別されるので、移動目標の検出精度を向上させることができる。
【０００９】
本発明による追尾システムは、カメラセンサから順次に入力されるフレーム画像に基づいて、移動目標の検出を行う移動目標検出装置と、移動目標の位置情報の標定を行う目標位置標定装置と、標定結果に基づいて予測ゲートを補正し、補正結果に基づいて移動目標の追尾を行う追尾処理装置により構成され、移動目標検出装置は、フレーム画像ごとに背景画像に基づいて目標領域を抽出する目標領域抽出手段と、各目標領域のフレーム画像内における抽出位置に基づいて、異なる２つのフレーム画像間で目標領域の相関度を評価し、評価値を生成する評価値生成手段と、評価値に基づいて、異なるフレーム間で目標領域を対応づけ、移動目標を識別する目標識別手段を備え、評価値生成手段は、フレーム画像から抽出された第１の目標領域が、より前のフレーム画像から抽出された第２の目標領域と重複する場合に、この重複領域に基づいて評価値を生成する。
【００１０】
本発明による移動目標識別方法は、順次に入力されるフレーム画像ごとに、背景画像に基づいて目標領域を抽出する目標領域抽出ステップと、各目標領域のフレーム画像内における抽出位置に基づいて、異なる２つのフレーム画像間で目標領域の相関度を評価し、評価値を生成する評価値生成ステップと、評価値に基づいて、異なるフレーム間で目標領域を対応づけ、移動目標を識別する目標識別ステップからなり、評価値生成ステップにおいて、フレーム画像から抽出された第１の目標領域が、より前のフレーム画像から抽出された第２の目標領域と重複する場合に、この重複領域に基づいて評価値が生成される。
【００１１】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。本実施の形態の追尾システム１は、カメラセンサ２、移動目標検出装置３、目標位置標定装置４、追尾処理装置５及び目標位置表示装置６により構成される。この追尾システム１は、カメラセンサ２からの画像データに基づいて目標を追尾し、追尾結果を目標位置表示装置６に表示するものであり、例えば、車両もしくは滑走路上の航空機などの移動目標を追尾するのに好適なものである。
【００１２】
カメラセンサ２は、所定のフレーム周期で撮像を行う撮像手段であり、滑走路脇などに設置される。撮像された画像データは、順次に移動目標検出装置３へ出力され、フレームごとの画像データ（以下、フレーム画像という）に基づいて移動目標の検出が行われる。
【００１３】
目標位置標定装置４は、移動目標の検出結果に基づいて、移動目標の位置情報の標定を行っている。位置情報の標定は、カメラセンサ２の設置場所と、撮像の方位及び俯角情報とに基づいて行われ、検出された移動目標のフレーム画像上における重心位置及びサイズを、実座標における重心位置及びサイズに変換することにより行われる。また、移動目標の大きさもしくは高さなどから、位置情報の標定誤差が算出される。この様にして行われた標定結果は、追尾処理装置５へ出力される。
【００１４】
追尾処理装置５は、目標の移動先を予測するための予測ゲートを設け、この予測ゲートの大きさを標定結果に基づいて補正することにより、移動目標の追尾処理を行っている。追尾処理の結果は、目標位置表示装置６へ出力され、移動目標の航跡などが画面表示される。
【００１５】
図２は、図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３は、Ａ／Ｄ変換部７、目標領域抽出部８、背景画像記憶部９、入力画像記憶部１０、評価値生成部１１及び目標識別部１２により構成される。
【００１６】
Ａ／Ｄ変換部７は、カメラセンサ２から入力されたフレーム画像をデジタル画像に変換し、変換後のフレーム画像を目標領域抽出部８へ出力している。目標領域抽出部８は、このフレーム画像をフレームごとに入力画像記憶部１０へ格納するとともに、フレーム画像ごとに順次に目標領域の抽出を行っている。
【００１７】
目標領域の抽出は、背景画像記憶部９に記憶された背景画像に基づいて行われる。背景画像とは、カメラセンサ２により予め撮像された画像データであり、背景差分法による空間フィルタを用いてフレーム画像から目標領域が判別される。つまり、現在のフレーム画像と、過去のフレーム画像から得られる背景画像との差分画像から目標領域が抽出される。この様にして抽出された抽出結果は、フレーム画像ごとに入力画像記憶部１０へ記憶される。
【００１８】
評価値生成部１１は、フレーム画像ごとに抽出された目標領域に対し、異なる２つのフレーム画像間で相関度の評価を行っている。相関度の評価は、各目標領域のフレーム画像内における抽出位置に基づいて行われ、目標領域ごとにフレーム間での評価値が生成される。
【００１９】
評価値は、目標領域のフレーム間での相関度を表し、フレーム画像から抽出された目標領域（第１の目標領域とする）が、そのフレーム画像より前のフレーム画像から抽出された目標領域（第２の目標領域とする）と重複する場合に、この重複領域に基づいて生成される。ここでは、第２の目標領域が、第１の目標領域より１フレーム前のフレーム画像から抽出されたものであるとする。また、第１及び第２の目標領域が重複しない場合には、目標領域間の距離に基づいて評価値が生成される。
【００２０】
例えば、第１及び第２の目標領域が重複する場合には、その重複部分の領域面積から評価値が生成され、画素数単位で評価値が算出される。また、第１及び第２の目標領域が重複しない場合には、目標領域間の離れ距離に基づいて評価値が生成され、画素数単位の距離から評価値が算出される。
【００２１】
離れ距離とは、目標領域間の縦方向の最大距離と、横方向の最小距離とを表し、フレーム画像における縦横による遠近感及び画像圧縮度の差違が考慮された値である。評価値は、この離れ距離に基づいて算出され、例えば、目標領域間の縦方向の最大距離と、横方向の最小距離との和に−１を乗算することにより得られる値である。つまり、第１及び第２の目標領域が重複する場合には、正の評価値が生成され、第１及び第２の目標領域が重複しない場合には、負の評価値が生成される。この様な評価値は、フレーム画像内において抽出された全ての目標領域について算出される。
【００２２】
目標識別部１２は、生成された目標領域間の評価値に基づいて、目標領域を異なるフレーム画像間で対応づけ、その対応関係から移動目標の識別を行っている。フレーム間の対応づけは、例えば、１つの第２の目標領域に対し、最も高い評価値を有する第１の目標領域を判別することにより行われ、当該第１の目標領域が当該第２の目標領域に対応づけられる。
【００２３】
この様にして対応づけられたフレーム間の目標領域には、例えば、同一の識別符号が付与され、この識別符号に基づいて、移動目標がフレームごとに順次に識別される。
【００２４】
また、目標識別部１２は、評価値に基づいて、フレーム画像内の目標領域の選別を行っている。目標領域の選別は、フレーム画像ごとに行われ、例えば、評価値を所定の閾値と比較することにより行われる。この比較の結果、評価値が閾値より低い目標領域については、追尾対象から除外される。
【００２５】
この様にして移動目標の識別が行われ、識別情報が移動目標の検出結果として目標位置標定装置４へ出力される。
【００２６】
図３のステップＳ１〜Ｓ４は、図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。カメラセンサ２からフレーム画像が入力されると（ステップＳ１）、このフレーム画像は、Ａ／Ｄ変換部７によってアナログ画像からデジタル画像に変換され、変換後のフレーム画像が目標領域抽出部８に出力される。
【００２７】
次に、目標領域抽出部８は、背景画像記憶部９に記憶された背景画像に基づいて、フレーム画像から目標領域を抽出する（ステップＳ２）。抽出結果は、評価値生成部１１に出力され、フレーム画像間の目標領域の相関度が評価される。評価値生成部１１は、目標領域のフレーム画像内での抽出位置に基づいて、評価値を生成する（ステップＳ３）。
【００２８】
評価結果は、目標識別部１２に出力され、フレーム画像間における目標領域の対応づけが行われる。目標識別部１２は、この対応づけに基づいて、移動目標を識別する（ステップＳ４）。
【００２９】
図４及び図５は、図２の移動目標検出装置における評価値生成の一例を示した説明図であり、図４（ａ）は、現在のフレーム画像において抽出された各目標領域を表し、図４（ｂ）は、過去のフレーム画像において抽出された各目標領域を表し、図５は、現在のフレーム画像及び過去のフレーム画像間における目標領域の位置関係に基づく評価値の生成を表している。
【００３０】
カメラセンサ２から順次に入力されるフレーム画像の１つを現在フレーム画像とし、そのフレーム画像より１フレーム前のフレーム画像を過去フレーム画像とする。そして、目標領域抽出部８によって現在フレーム画像から抽出された各目標領域（第１の目標領域）を目標領域２１，２４，２５とし、過去フレーム画像から抽出された各目標領域（第２の目標領域）を目標領域２２，２３とする。
【００３１】
評価値生成部１１は、現在フレーム画像における目標領域２１，２４，２５と、過去フレーム画像における目標領域２２，２３との間で互いの位置関係に基づいて評価値を算出する。その評価値の算出方法について説明する。以下、説明をわかり易くするため、現在及び過去のフレーム画像内の各目標領域に対して個々に説明する。
【００３２】
例えば、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２２と抽出位置が重複している。この場合（Ａ_１−Ａ_２）には、重複部分の領域面積から評価値が算出される。重複領域のフレーム画像上における縦横の長さを、ピクセル数（画素数）単位で求めることにより、評価値は、２０×３０＝６００と算出される。
【００３３】
一方、現在フレーム画像の目標領域２１は、過去フレーム画像の目標領域２３と抽出位置が重複していない。この場合（Ａ_１−Ｂ_２）には、フレーム画像上における目標領域間の離れ距離から評価値が算出される。ピクセル数単位で離れ距離を求めると、縦方向に最大５０、横方向に最小５であり、評価値は、（−５０）＋（−５）＝−５５と算出される。
【００３４】
他の目標領域間の評価値についても、Ａ_１−Ａ_２の場合もしくはＡ_１−Ｂ_２の場合と同様にして算出され、目標領域２４及び２２の場合（Ｂ_１−Ａ_２）は、−３００、目標領域２４及び２３の場合（Ｂ_１−Ｂ_２）は、２００、目標領域２５及び２２の場合（Ｃ_１−Ａ_２）は、−４００、目標領域２５及び２３の場合（Ｃ_１−Ｂ_２）は、−４０となっている。
【００３５】
本実施の形態によれば、目標領域間の評価値を重複領域の面積及び離れ距離から算出するので、評価値を容易に算出することができる。また、現在及び過去のフレーム画像間で算出された評価値に基づいて、目標領域間の対応づけが行われるので、複数の移動目標に対する識別精度を向上させることができる。
【００３６】
また、評価値に基づいてフレーム画像内の目標領域の選別が行われるので、追尾処理におけるデータ処理量を低減させることができ、処理時間が短縮する。
【００３７】
実施の形態２．
図６は、本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。図２の移動目標検出装置３（実施の形態１）では、同程度の重複度でも目標領域の大きさに応じて評価値が変化していたが、本実施の形態の移動目標検出装置３ａでは、評価値を補正することにより、目標領域の大きさによる評価値のばらつきを解消している。
【００３８】
この移動目標検出装置３ａは、評価値補正部１３を備え、評価値生成部１１によって生成された目標領域間の評価値が、評価値補正部１３によって補正される。評価値の補正は、所定の最低評価値を定め、この最低評価値よりも低い評価値を最低評価値とすることにより行われる。
【００３９】
ここで、最低評価値は、カメラセンサ２の設置場所、視野範囲、移動目標の大きさまたは移動目標までの距離などに基づいて予め定められるものとする。
【００４０】
例えば、評価値に所定の補正値を加算した後、負の値をゼロの評価値に置き換えることにより補正が行われる。この場合、ゼロが最低評価値となる。ここで、補正値は、最低評価値と同様に定められる。補正値の加算処理は、例えば、目標領域の大きさが大きいと、重複領域の面積及び離れ距離の分散が大きくなり、同程度の重複度でも目標領域の大小によって評価値の指標が変化してしまうのを解消するための正規化処理である。
【００４１】
この様にして評価値の補正が行われ、補正後の評価値に基づいて移動目標の識別が行われる。なお、その他の構成は、図２の移動目標検出装置３と同様である。
【００４２】
図７は、図６の移動目標検出装置における評価値補正の一例を示した説明図である。例えば、補正値を１００として、評価値の補正が行われる。Ａ_１−Ａ_２の場合は、６００＋１００＝７００と補正され、Ａ_１−Ｂ_２の場合は、−５５＋１００＝４５と補正される。また、Ｂ_１−Ａ_２の場合は、−３００＋１００＝−２００＝０、Ｂ_１−Ｂ_２の場合は、２００＋１００＝３００、Ｃ_１−Ａ_２の場合は、−４００＋１００＝−３００＝０、Ｃ_１−Ｂ_２の場合は、−４０＋１００＝６０とそれぞれ補正される。
【００４３】
本実施の形態によれば、最低評価値を定め、それよりも低い評価値を最低評価値に繰り上げることにより、分散が減少し、目標領域の大小による評価値のばらつきを解消することができる。従って、より高精度な目標検出を行うことができる。
【００４４】
実施の形態３．
図８は、本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。本実施の形態の移動目標検出装置３ｂでは、フレーム画像内における各目標領域についての評価値の正規化処理を行っている。
【００４５】
この移動目標検出装置３ｂは、評価値正規化部１４を備え、評価値補正部１３によって補正された評価値が、評価値正規化部１４によって正規化される。評価値の正規化は、現在フレーム画像における目標領域（第１の目標領域）ごとに、過去フレーム画像における各目標領域（第２の目標領域）に対する評価値について行われる正規化（第１の正規化）処理と、過去フレーム画像における目標領域ごとに、現在フレーム画像における各目標領域に対する評価値について行われる正規化（第２の正規化）処理と、第１及び第２の正規化処理により得られた値に基づいて、相関値を算出する相関値算出処理とからなる。
【００４６】
例えば、第１の正規化は、現在フレーム画像内の１つの目標領域について、過去フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。第２の正規化は、過去フレーム画像内の１つの目標領域について、現在フレーム画像内の各目標領域に対する評価値の総和を基準として行われる。そして、これらの第１及び第２の正規化処理によって得られた値を互いに乗算することにより、相関値がそれぞれ算出される。
【００４７】
つまり、相関値は、対応関係を現在からみた場合の過去の各目標領域に対する評価値の正規化と、過去からみた場合の現在の各目標領域に対する評価値の正規化とを均等に考慮されたものとなっている。
【００４８】
この様にして評価値の正規化が行われ、正規化処理後の相関値に基づいて移動目標の識別が行われる。なお、その他の構成は、図６の移動目標検出装置３ａと同様である。
【００４９】
図９〜図１１は、図８の移動目標検出装置における評価値正規化の一例を示した説明図であり、図９は、現在のフレーム画像における目標領域ごとの第１の正規化を表し、図１０は、過去のフレーム画像における目標領域ごとの第２の正規化を表し、図１１は、第１及び第２の正規化処理に基づく相関値算出を表している。
【００５０】
例えば、現在フレーム画像のＡ_１についての第１の正規化処理３１は、過去フレーム画像のＡ_２及びＢ_２に対して行われ、評価値の総和７００＋４５を基準として、７００／（７００＋４５）＝０．９４，４５／（７００＋４５）＝０．０６というように値がそれぞれ求められる。
【００５１】
同様にして、Ｂ_１についての第１の正規化処理３２から、評価値の総和０＋３００を基準として、０／（０＋３００）＝０，３００／（０＋３００）＝１．０がそれぞれ求められる。また、Ｃ_１についての第１の正規化処理３３からも、評価値の総和０＋６０を基準として、０／（０＋６０）＝０，６０／（０＋６０）＝１．０がそれぞれ求められる。
【００５２】
一方、過去フレーム画像のＡ_２についての第２の正規化処理４１は、現在フレーム画像のＡ_１〜Ｃ_１に対して行われ、評価値の総和７００＋０＋０を基準として、７００／（７００＋０＋０）＝１．０，０／（７００＋０＋０）＝０，０／（７００＋０＋０）＝０というように値がそれぞれ求められる。
【００５３】
同様にして、Ｂ_２についての第２の正規化処理４２から、評価値の総和４５＋３００＋６０を基準として、４５／（４５＋３００＋６０）＝０．１１，３００／（４５＋３００＋６０）＝０．７４，６０／（４５＋３００＋６０）＝０．１５がそれぞれ求められる。
【００５４】
そして、第１及び第２の正規化処理によって得られた値をそれぞれ乗算することにより相関値が算出される。Ａ_１−Ａ_２については、０．９４×１．０＝０．９４として相関値が算出され、Ａ_１−Ｂ_２については、０．０６×０．１１＝０．００６６として相関値が算出される。同様にして、Ｂ_１−Ａ_２については、０×０＝０、Ｂ_１−Ｂ_２については、１．０×０．７４＝０．７４、Ｃ_１−Ａ_２については、０×０＝０、Ｃ_１−Ｂ_２については、１．０×０．１５＝０．１５がそれぞれ算出される。
【００５５】
本実施の形態によれば、現在からみた過去の各目標領域に対する対応関係と、過去からみた現在の各目標領域に対する対応関係とに基づいて、目標領域間の対応付けを行うことができる。このため、例えば、現在からみると評価値の高い対応関係であっても、過去からみて評価値の低いものは対応づけから除外することができ、移動目標の識別精度をより向上させることができる。
【００５６】
また、相関値を算出することにより、対応関係の良好な目標領域の組み合わせを容易に抽出することができる。
【００５７】
実施の形態４．
図１２は、本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図であり、図１２（ａ）は、過去のフレーム画像において抽出された各目標領域を表し、図１２（ｂ）は、現在のフレーム画像において抽出された目標領域を表している。
【００５８】
本実施の形態では、過去フレーム画像における２以上の目標領域５１及び５２が、現在フレーム画像における同一の目標領域５３に対応づけられる場合に、目標領域５３が２以上の移動目標からなると判別される。
【００５９】
この目標領域の判別は、目標識別部１２によって行われ、現在フレーム画像の目標領域５３は、過去フレーム画像の目標領域５１及び５２に対応する移動目標が重なって抽出された領域であると識別される。その他の構成は、図２の移動目標検出装置３と同様である。
【００６０】
本実施の形態によれば、複数の移動目標が重なって抽出されたとしても、正確にフレーム間で目標領域を識別することができる。従って、複数の移動目標が１つの移動目標であるというような誤検出を防止することができる。また、複数の移動目標が重なって抽出されることによる移動目標の消失を防ぐことができる。
【００６１】
実施の形態５．
図１３は、本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図であり、図１３（ａ）は、現在のフレーム画像において第１候補６１を中心とする統合ゲート６３内に第２候補６２の全部が含まれる場合を表し、図１３（ｂ）は、統合ゲート６３内に第２候補６２の一部が含まれる場合を表し、図１３（ｃ）は、統合ゲート６３に第２候補６２が含まれない場合を表している。
【００６２】
本実施の形態では、現在フレーム画像における少なくとも２つの目標領域が、過去フレーム画像における同一の目標領域に対応づけられる場合に、これらの現在フレーム画像の目標領域のうち、評価値の低い目標領域が、評価値の高い目標領域を中心とする所定の統合ゲート６３内にあれば、これらの目標領域が同一の移動目標からなると目標識別部１２が判別する。
【００６３】
ここで、目標領域の対応づけは、過去フレーム画像の１つの目標領域と対応づけられる現在フレーム画像の各目標領域のうち、評価値が最も高い目標領域を第１候補６１とし、評価値が２番目に高い目標領域を第２候補６２として、以下のように行われる。
【００６４】
すなわち、第２候補６２からみて、過去フレーム画像の上記目標領域に対する評価値が過去フレーム画像における他の目標領域に対する評価値より高く、かつ、過去フレーム画像における各目標領域から見て、第２候補６２に対する評価値が現在フレーム画像における他の目標領域に対する評価値に比べ最も高くない場合に、第１候補６１及び第２候補６２が過去フレーム画像の上記目標領域に対応づけられるものとする。
【００６５】
このとき、第２候補６２の全部が第１候補６１を中心とする統合ゲート６３内に完全に包含される場合には、第１候補６１の領域を統合ゲート６３まで拡大した後、この拡大された目標領域６４が過去フレーム画像の上記目標領域に対応づけられる。
【００６６】
また、第２候補６２の一部が統合ゲート６３内に包含される場合には、第１候補６１の領域を第２候補６２の全部が完全に含まれる範囲まで拡大した後、この拡大された目標領域６５が過去フレーム画像の上記目標領域に対応づけられる。
【００６７】
また、第２候補６２が統合ゲート６３に含まれない場合には、目標領域の統合を行わず、第１候補６１が過去フレーム画像の上記目標領域の対応づけられる。
【００６８】
統合ゲート６３は、カメラセンサ２の設置場所、視野範囲もしくは移動目標の大きさなどに基づいて定められる。その他の構成は、図２の移動目標検出装置３と同様である。
【００６９】
本実施の形態によれば、現在及び過去のフレーム画像間における目標領域の対応関係に基づいて、上述したように目標領域を統合することにより、１つの移動目標を分離した２つの目標領域に対応づけてしまうという誤検出を防止することができる。
【００７０】
実施の形態６．
図１４は、本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図であり、図１４（ａ）は、過去のフレーム画像において初期検出領域７１内で抽出された目標領域７２を表し、図１４（ｂ）は、現在のフレーム画像において初期検出領域７１内で抽出された目標領域７３を表し、図１４（ｃ）は、現在のフレーム画像において目標領域７２及び７３の近傍で抽出された目標領域７４を表している。
【００７１】
本実施の形態では、フレーム画像内に所定の初期検出領域（ゲート領域）７１が設けられ、この初期検出領域７１外においてはフレーム間差分に基づく目標領域の初期検出が行われない。
【００７２】
初期検出領域７１は、カメラセンサ２の設置場所、視野範囲もしくは移動目標などに基づいて定められる。例えば、滑走路を移動する航空機を検出する場合、移動目標が出現するエリアが滑走路端などに限られるので、この目標出現エリアに対応してフレーム画像の画端などに設けられる。このとき、初期検出は、評価値生成部１１によって、以下のように行われる。
【００７３】
現在フレーム画像において抽出された目標領域７３が、過去フレーム画像において初期検出領域７１内で抽出された目標領域７２と所定のフレーム間差分が生じており、これらの目標領域７２及び７３の近傍に他の目標領域７４が存在しない場合に、目標領域７３がはじめて検出されたとして、目標領域７３に対する評価値の生成が開始される。
【００７４】
ここで、フレーム間差分は、現在フレーム画像の目標領域７３と、過去フレーム画像の目標領域７２との重複部分以外の部分であり、この部分の面積がピクセル数単位で算出され、面積が目標領域のムーブスレショルド（ｍｏｖｅＴｈｒｅｓｈｏｌｄ）％以上生じていることが、初期検出の条件である。
【００７５】
また、ピクセル数単位で他の目標領域７４との距離が算出され、所定の閾値以下の目標領域７４が存在しないことも初期検出の条件である。この様な初期検出の条件が満たされたときに、目標領域７３が初期検出される。従って、初期検出領域７１以外の領域において抽出された目標領域などの初期検出の条件を満たさない目標領域は、初期検出されず、評価値の生成は行われない。
【００７６】
本実施の形態によれば、フレーム画像の中央部など移動目標が出現しないと考えられる領域を初期検出対象から除外し、目標検出を開始する領域をフレーム画像の画端などの初期検出領域７１に限定することにより、誤検出の発生を抑制することができる。また、評価値生成のデータ処理量を削減することができる。
【００７７】
実施の形態７．
本実施の形態では、目標識別部１２が目標領域ごとに初期検出後の対応づけの度数を判別し、この判別結果に基づいて移動目標の識別が行われる。例えば、各目標領域について、初期検出後のフレーム画像ごとの対応づけの回数がカウントされ、対応づけの連続性がその回数によって評価される。
【００７８】
本実施の形態によれば、対応づけの回数に基づいて目標識別の信頼度を評価することができる。例えば、目標の移動に合わせて対応づけの回数が増加していく場合には、正しく目標の移動を追従して捉えていると考えて良く、目標検出の信頼性が高い。また、対応づけの回数が所定の閾値より低い目標領域については、信頼性が低いとして、追尾対象から除外することもできる。
【００７９】
【発明の効果】
以上、説明したように本発明による移動目標検出装置、追尾システム及び移動目標識別方法によれば、第１及び第２の目標領域の重複領域に基づいて、評価値を生成することができ、この評価値に基づいて、異なるフレーム画像間で目標領域の対応づけを行うことができる。この対応づけに従って、移動目標を識別するので、移動目標の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による追尾システムの一構成例を示したブロック図である。
【図２】図１の追尾システムにおける移動目標検出装置の構成例を示したブロック図である。
【図３】図２の移動目標検出装置における移動目標識別の動作の一例を示したフローチャートである。
【図４】図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図５】図２の移動目標検出装置における評価値生成の一例を示した説明図である。
【図６】本発明の実施の形態２による移動目標検出装置の構成例を示したブロック図である。
【図７】図６の移動目標検出装置における評価値補正の一例を示した説明図である。
【図８】本発明の実施の形態３による移動目標検出装置の構成例を示したブロック図である。
【図９】図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１０】図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１１】図８の移動目標検出装置における評価値正規化の一例を示した説明図である。
【図１２】本発明の実施の形態４による移動目標検出装置における移動目標識別の一例を示した説明図である。
【図１３】本発明の実施の形態５による移動目標検出装置における目標領域統合の一例を示した説明図である。
【図１４】本発明の実施の形態６による移動目標検出装置における初期検出の一例を示した説明図である。
【符号の説明】
１追尾システム、２カメラセンサ、３，３ａ，３ｂ移動目標検出装置、
４目標位置標定装置、５追尾処理装置、６目標位置表示装置、
７Ａ／Ｄ変換部、８目標領域抽出部、９背景画像記憶部、
１０入力画像記憶部、１１評価値生成部、１２目標識別部、
１３評価値補正部、１４評価値正規化部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving target detecting device, a tracking system, and a moving target identifying method, and more particularly, to an improvement of a moving target detecting device that extracts a target region for each frame image and detects a moving target such as an aircraft.
[0002]
[Prior art]
2. Description of the Related Art As a conventional moving target detecting device, there is, for example, one described in Patent Document 1 or 2. Among them, the moving object recognition device described in Patent Literature 1 includes an image storage unit that stores a plurality of time-series images and background images, and an image processing unit that performs image processing retroactively. Then, the image processing unit recognizes the moving object by comparing the background image with the background image, assigns an identification code to the recognized moving object, and includes the image at the time t in the plurality of time-series images. The motion vector of each moving object to be obtained is obtained, and assuming that the region on the moving object included in the image (t-1) has the identification code X, the motion vector at the time t corresponding to this region is obtained. The region is estimated based on the motion vector, the correlation between the two regions is determined, and the identification code to be assigned to the region is determined based on the magnitude relationship between the correlations determined for each of the plurality of identification codes X. The non-separable moving object included in the image at t-1) is configured to be divided.
[0003]
[Patent Document 1]
JP-A-2002-133421
[Patent Document 2]
JP-A-2000-13772
[0004]
[Problems to be solved by the invention]
The conventional moving target detecting apparatus as described above detects a moving target based on a difference image between a current input image and a background image obtained from a past input image. For this reason, in a situation where a plurality of targets can be simultaneously captured within the visual field range of the camera sensor, the respective targets are overlapped and image-inputted by the positional relationship between the line of sight of the camera sensor and each of the targets, and the plurality of moving targets are regarded as one. There was a case where the detection was incorrectly performed as two moving targets.
[0005]
In addition, in a situation where an input image fluctuates due to disturbance such as solar radiation and one moving target is divided and detected, each divided detection result is erroneously recognized as a moving target. There were also problems.
[0006]
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a moving target detection device, a tracking system, and a moving target identification method that improve the detection accuracy of a moving target.
[0007]
[Means for Solving the Problems]
The moving target detecting apparatus according to the present invention is different in target area extracting means for extracting a target area based on a background image for each sequentially input frame image, and based on an extraction position of each target area in the frame image. Evaluation value generation means for evaluating the degree of correlation of a target area between two frame images and generating an evaluation value; and target identification means for associating a target area between different frames based on the evaluation value and identifying a moving target When the first target area extracted from the frame image overlaps with the second target area extracted from the earlier frame image, the evaluation value generation means includes an evaluation value based on the overlapping area. Is generated.
[0008]
According to such a configuration, since the evaluation value is generated based on the overlapping area of the first and second target areas, the generation of the evaluation value is easy. In addition, these target areas are associated between frames based on the evaluation value, and the moving target is identified based on this association, so that the detection accuracy of the moving target can be improved.
[0009]
A tracking system according to the present invention includes a moving target detecting device for detecting a moving target based on frame images sequentially input from a camera sensor, a target position locating device for locating position information of the moving target, and a locating result. And a tracking processing device that corrects a prediction gate based on the correction result and tracks a moving target based on the correction result. The moving target detection device extracts a target region based on a background image for each frame image. Means for evaluating the correlation of the target area between two different frame images based on the extraction position of each target area in the frame image, and an evaluation value generating means for generating an evaluation value; A target identifying unit that associates a target region between different frames and identifies a moving target; and the evaluation value generating unit includes a first target region extracted from the frame image. , When overlapping with the second target area extracted from an earlier frame image, and generates an evaluation value on the basis of the overlap region.
[0010]
The moving target identification method according to the present invention differs for each sequentially input frame image based on a target area extracting step of extracting a target area based on a background image and an extraction position of each target area in the frame image. An evaluation value generation step of evaluating the degree of correlation of a target area between two frame images and generating an evaluation value; and a target identification step of associating a target area between different frames based on the evaluation value and identifying a moving target. In the evaluation value generation step, when the first target area extracted from the frame image overlaps with the second target area extracted from the earlier frame image, the evaluation value is calculated based on the overlapping area. Is generated.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a block diagram showing one configuration example of the tracking system according to the first embodiment of the present invention. The tracking system 1 according to the present embodiment includes a camera sensor 2, a moving target detecting device 3, a target position locating device 4, a tracking processing device 5, and a target position display device 6. The tracking system 1 tracks a target based on image data from a camera sensor 2 and displays a tracking result on a target position display device 6. For example, the tracking system 1 tracks a moving target such as a vehicle or an aircraft on a runway. It is suitable to do.
[0012]
The camera sensor 2 is an imaging unit that performs imaging at a predetermined frame cycle, and is installed on a side of a runway or the like. The captured image data is sequentially output to the moving target detection device 3, and a moving target is detected based on image data for each frame (hereinafter, referred to as a frame image).
[0013]
The target position locating device 4 locates the position information of the moving target based on the detection result of the moving target. The orientation of the position information is performed based on the installation location of the camera sensor 2 and the azimuth and depression angle information of the imaging, and the position and size of the center of gravity of the detected moving target on the frame image are calculated as the position and size of the center of gravity in real coordinates. This is done by converting to Further, the orientation error of the position information is calculated from the size or height of the moving target. The result of the orientation performed in this manner is output to the tracking processing device 5.
[0014]
The tracking processing device 5 performs a tracking process of the moving target by providing a prediction gate for predicting the destination of the target and correcting the size of the prediction gate based on the orientation result. The result of the tracking processing is output to the target position display device 6, and the track of the moving target is displayed on the screen.
[0015]
FIG. 2 is a block diagram showing a configuration example of a moving target detection device in the tracking system of FIG. The moving target detection device 3 according to the present embodiment includes an A / D conversion unit 7, a target area extraction unit 8, a background image storage unit 9, an input image storage unit 10, an evaluation value generation unit 11, and a target identification unit 12. You.
[0016]
The A / D conversion unit 7 converts the frame image input from the camera sensor 2 into a digital image, and outputs the converted frame image to the target area extraction unit 8. The target area extraction unit 8 stores the frame images in the input image storage unit 10 for each frame and sequentially extracts a target area for each frame image.
[0017]
The extraction of the target area is performed based on the background image stored in the background image storage unit 9. The background image is image data captured in advance by the camera sensor 2, and a target area is determined from the frame image using a spatial filter based on the background difference method. That is, the target area is extracted from the difference image between the current frame image and the background image obtained from the past frame image. The extraction result thus extracted is stored in the input image storage unit 10 for each frame image.
[0018]
The evaluation value generator 11 evaluates the degree of correlation between two different frame images for the target area extracted for each frame image. The evaluation of the degree of correlation is performed based on the extraction position of each target area in the frame image, and an evaluation value between frames is generated for each target area.
[0019]
The evaluation value indicates the degree of correlation between frames of the target area, and the target area (first target area) extracted from the frame image is the target area (first target area) extracted from the frame image preceding the frame image. In this case, the image data is generated based on the overlapping area. Here, it is assumed that the second target area is extracted from a frame image one frame before the first target area. When the first and second target areas do not overlap, an evaluation value is generated based on the distance between the target areas.
[0020]
For example, when the first and second target areas overlap, an evaluation value is generated from the area of the overlapping portion, and the evaluation value is calculated in pixel units. When the first and second target areas do not overlap, an evaluation value is generated based on the distance between the target areas, and the evaluation value is calculated from the distance in pixel units.
[0021]
The distant distance indicates the maximum vertical distance and the minimum horizontal distance between the target areas, and is a value that takes into account the difference in perspective and the degree of image compression between the vertical and horizontal directions in the frame image. The evaluation value is calculated based on the distance, and is, for example, a value obtained by multiplying the sum of the maximum vertical distance between the target areas and the minimum horizontal distance by −1. That is, a positive evaluation value is generated when the first and second target areas overlap, and a negative evaluation value is generated when the first and second target areas do not overlap. Such evaluation values are calculated for all target regions extracted in the frame image.
[0022]
The target identifying unit 12 associates the target areas with different frame images based on the generated evaluation values between the target areas, and identifies a moving target from the correspondence. The association between the frames is performed, for example, by determining the first target area having the highest evaluation value with respect to one second target area, and the first target area is determined by the second target area. Associated with the area.
[0023]
For example, the same identification code is assigned to the target area between the frames associated with each other in this way, and the moving target is sequentially identified for each frame based on the identification code.
[0024]
In addition, the target identification unit 12 selects a target region in the frame image based on the evaluation value. The selection of the target region is performed for each frame image, for example, by comparing the evaluation value with a predetermined threshold value. As a result of this comparison, a target area whose evaluation value is lower than the threshold value is excluded from tracking targets.
[0025]
In this way, the moving target is identified, and the identification information is output to the target position locating device 4 as the detection result of the moving target.
[0026]
Steps S1 to S4 in FIG. 3 are flowcharts showing an example of the operation of the moving target identification in the moving target detecting device in FIG. When a frame image is input from the camera sensor 2 (step S1), the frame image is converted from an analog image to a digital image by the A / D conversion unit 7, and the converted frame image is output to the target area extraction unit 8. Is done.
[0027]
Next, the target area extraction unit 8 extracts a target area from the frame image based on the background image stored in the background image storage unit 9 (Step S2). The extraction result is output to the evaluation value generation unit 11, and the degree of correlation of the target area between the frame images is evaluated. The evaluation value generation unit 11 generates an evaluation value based on the extraction position of the target area in the frame image (Step S3).
[0028]
The evaluation result is output to the target identification unit 12, and the target area is associated with the frame images. The target identifying unit 12 identifies a moving target based on the association (Step S4).
[0029]
4 and 5 are explanatory diagrams showing an example of evaluation value generation in the moving target detection device of FIG. 2, and FIG. 4A shows each target region extracted in the current frame image. 4 (b) shows each target area extracted in the past frame image, and FIG. 5 shows generation of an evaluation value based on the positional relationship of the target area between the current frame image and the past frame image. .
[0030]
One of the frame images sequentially input from the camera sensor 2 is defined as a current frame image, and a frame image one frame before the frame image is defined as a past frame image. Each target area (first target area) extracted from the current frame image by the target area extracting unit 8 is set as a target area 21, 24, 25, and each target area (second target area) extracted from the past frame image is set. Regions) are the target regions 22 and 23.
[0031]
The evaluation value generation unit 11 calculates an evaluation value between the target areas 21, 24, 25 in the current frame image and the target areas 22, 23 in the past frame image based on the mutual positional relationship. A method for calculating the evaluation value will be described. Hereinafter, each of the target areas in the current and past frame images will be individually described for easy understanding.
[0032]
For example, the extraction position of the target area 21 of the current frame image overlaps with the target area 22 of the past frame image. In this case (A ₁ -A ₂ In (), the evaluation value is calculated from the area area of the overlapping portion. The evaluation value is calculated as 20 × 30 = 600 by obtaining the length and width of the overlapping area on the frame image in units of the number of pixels (number of pixels).
[0033]
On the other hand, the extraction position of the target area 21 of the current frame image does not overlap with the target area 23 of the past frame image. In this case (A ₁ -B ₂ In (), the evaluation value is calculated from the distance between the target areas on the frame image. When the separation distance is obtained in pixel units, the maximum is 50 in the vertical direction and the minimum is 5 in the horizontal direction, and the evaluation value is calculated as (−50) + (− 5) = − 55.
[0034]
Regarding the evaluation values between other target areas, A ₁ -A ₂ Or A ₁ -B ₂ Is calculated in the same manner as in the case of the target areas 24 and 22 (B ₁ -A ₂ ) Is -300, the target areas 24 and 23 (B ₁ -B ₂ ) Is 200, the target areas 25 and 22 (C ₁ -A ₂ ) Is -400, the target areas 25 and 23 (C ₁ -B ₂ ) Is -40.
[0035]
According to the present embodiment, the evaluation value between the target areas is calculated from the area and the separation distance of the overlapping area, so that the evaluation value can be easily calculated. In addition, since the correspondence between the target regions is performed based on the evaluation values calculated between the current and past frame images, the identification accuracy for a plurality of moving targets can be improved.
[0036]
In addition, since the target area in the frame image is selected based on the evaluation value, the data processing amount in the tracking processing can be reduced, and the processing time is shortened.
[0037]
Embodiment 2 FIG.
FIG. 6 is a block diagram showing a configuration example of the moving target detection device according to the second embodiment of the present invention. In the moving target detection device 3 of FIG. 2 (Embodiment 1), the evaluation value changes in accordance with the size of the target area even with the same degree of overlap, but in the moving target detection device 3a of the present embodiment. By correcting the evaluation value, variations in the evaluation value due to the size of the target area are eliminated.
[0038]
The moving target detection device 3 a includes an evaluation value correction unit 13, and the evaluation value between target regions generated by the evaluation value generation unit 11 is corrected by the evaluation value correction unit 13. The correction of the evaluation value is performed by defining a predetermined minimum evaluation value and setting an evaluation value lower than the minimum evaluation value as the minimum evaluation value.
[0039]
Here, the minimum evaluation value is determined in advance based on the installation location of the camera sensor 2, the visual field range, the size of the moving target, or the distance to the moving target.
[0040]
For example, after a predetermined correction value is added to the evaluation value, the correction is performed by replacing a negative value with a zero evaluation value. In this case, zero is the lowest evaluation value. Here, the correction value is determined similarly to the lowest evaluation value. In the process of adding the correction value, for example, if the size of the target area is large, the area of the overlap area and the variance of the separation distance become large, and even at the same degree of overlap, the index of the evaluation value changes depending on the size of the target area. This is a normalization process for eliminating the problem.
[0041]
The evaluation value is corrected in this way, and the moving target is identified based on the corrected evaluation value. The other configuration is the same as that of the moving target detection device 3 in FIG.
[0042]
FIG. 7 is an explanatory diagram showing an example of the evaluation value correction in the moving target detection device of FIG. For example, assuming that the correction value is 100, the evaluation value is corrected. A ₁ -A ₂ Is corrected to 600 + 100 = 700, and A ₁ -B ₂ Is corrected to -55 + 100 = 45. Also, B ₁ -A ₂ In the case of, -300 + 100 = -200 = 0, B ₁ -B ₂ In the case of, 200 + 100 = 300, C ₁ -A ₂ In the case of, -400 + 100 = -300 = 0, C ₁ -B ₂ Is corrected to -40 + 100 = 60.
[0043]
According to the present embodiment, the minimum evaluation value is determined, and the evaluation value lower than the minimum evaluation value is raised to the minimum evaluation value, thereby reducing the variance and eliminating the dispersion of the evaluation values depending on the size of the target area. Therefore, more accurate target detection can be performed.
[0044]
Embodiment 3 FIG.
FIG. 8 is a block diagram showing a configuration example of a moving target detection device according to Embodiment 3 of the present invention. In the moving target detection device 3b of the present embodiment, normalization processing of the evaluation value for each target region in the frame image is performed.
[0045]
The moving target detection device 3b includes an evaluation value normalization unit 14, and the evaluation value corrected by the evaluation value correction unit 13 is normalized by the evaluation value normalization unit 14. The normalization of the evaluation value is performed for each target area (first target area) in the current frame image with respect to the evaluation value for each target area (second target area) in the past frame image (first normal area). ) Processing, for each target area in the past frame image, normalization (second normalization) processing performed on the evaluation value for each target area in the current frame image, and first and second normalization processing. And a correlation value calculating process for calculating a correlation value based on the obtained value.
[0046]
For example, the first normalization is performed for one target region in the current frame image based on the sum of the evaluation values for each target region in the past frame image. The second normalization is performed for one target area in the past frame image based on the sum of the evaluation values for each target area in the current frame image. Then, by multiplying the values obtained by the first and second normalization processes with each other, correlation values are calculated.
[0047]
In other words, the correlation value equally considers the normalization of the evaluation value for each past target area when the correspondence is viewed from the present and the normalization of the evaluation value for each current target area when viewed from the past. It has become something.
[0048]
In this manner, the evaluation value is normalized, and the moving target is identified based on the correlation value after the normalization processing. The other configuration is the same as that of the moving target detection device 3a in FIG.
[0049]
9 to 11 are explanatory diagrams illustrating an example of evaluation value normalization in the moving target detection device in FIG. 8. FIG. 9 illustrates first normalization for each target area in the current frame image. FIG. 10 illustrates the second normalization for each target area in the past frame image, and FIG. 11 illustrates the correlation value calculation based on the first and second normalization processes.
[0050]
For example, A of the current frame image ₁ Of the previous frame image is ₂ And B ₂ , And the values are obtained as 700 / (700 + 45) = 0.94, 45 / (700 + 45) = 0.06 based on the total evaluation value 700 + 45.
[0051]
Similarly, B ₁ From the first normalization process 32 for, 0 / (0 + 300) = 0 and 300 / (0 + 300) = 1.0 are obtained based on the sum total of the evaluation values 0 + 300. Also, C ₁ Also, from the first normalization processing 33 for, 0 / (0 + 60) = 0 and 60 / (0 + 60) = 1.0 are obtained based on the sum total of the evaluation values 0 + 60.
[0052]
On the other hand, A of the past frame image ₂ Of the current frame image is ₁ ~ C ₁ , And the values are obtained as 700 / (700 + 0 + 0) = 1.0, 0 / (700 + 0 + 0) = 0, 0 / (700 + 0 + 0) = 0 based on the total evaluation value 700 + 0 + 0.
[0053]
Similarly, B ₂ From the second normalization processing 42 for the above, 45 / (45 + 300 + 60) = 0.11, 300 / (45 + 300 + 60) = 0.74, 60 / (45 + 300 + 60) = 0.15 based on the total evaluation value 45 + 300 + 60. Required respectively.
[0054]
Then, a correlation value is calculated by multiplying the values obtained by the first and second normalization processes, respectively. A ₁ -A ₂ , The correlation value is calculated as 0.94 × 1.0 = 0.94, and A ₁ -B ₂ , The correlation value is calculated as 0.06 × 0.11 = 0.0066. Similarly, B ₁ -A ₂ For 0x0 = 0, B ₁ -B ₂ About 1.0 × 0.74 = 0.74, C ₁ -A ₂ For 0x0 = 0, C ₁ -B ₂ Is calculated as 1.0 × 0.15 = 0.15.
[0055]
According to the present embodiment, it is possible to associate the target regions based on the correspondence relationship with each target region in the past viewed from the present and the correspondence relationship with each target region in the past viewed from the past. For this reason, for example, even if it is a correspondence having a high evaluation value when viewed from the present time, a connection having a low evaluation value when viewed from the past can be excluded from the association, and the identification accuracy of the moving target can be further improved. .
[0056]
Further, by calculating the correlation value, it is possible to easily extract a combination of target regions having a good correspondence.
[0057]
Embodiment 4 FIG.
FIG. 12 is an explanatory diagram showing an example of moving target identification in the moving target detecting device according to Embodiment 4 of the present invention. FIG. 12A shows each target region extracted in a past frame image. FIG. 12B shows a target area extracted from the current frame image.
[0058]
In the present embodiment, when two or more target areas 51 and 52 in the past frame image are associated with the same target area 53 in the current frame image, it is determined that the target area 53 includes two or more moving targets. .
[0059]
The determination of the target area is performed by the target identification unit 12, and the target area 53 of the current frame image is identified as an area where the moving targets corresponding to the target areas 51 and 52 of the past frame images are overlapped and extracted. You. Other configurations are the same as those of the moving target detection device 3 in FIG.
[0060]
According to the present embodiment, even if a plurality of moving targets are extracted while being overlapped, a target region can be accurately identified between frames. Therefore, erroneous detection that a plurality of moving targets are one moving target can be prevented. In addition, it is possible to prevent the moving target from disappearing due to the plurality of moving targets being overlapped and extracted.
[0061]
Embodiment 5 FIG.
FIG. 13 is an explanatory diagram showing an example of target region integration in the moving target detection device according to the fifth embodiment of the present invention. FIG. 13A shows the current frame image centered on the first candidate 61. FIG. 13B shows a case where the whole of the second candidate 62 is included in the integrated gate 63, FIG. 13B shows a case where a part of the second candidate 62 is included in the integrated gate 63, and FIG. , The integrated gate 63 does not include the second candidate 62.
[0062]
In the present embodiment, when at least two target areas in the current frame image are associated with the same target area in the past frame image, among the target areas of the current frame image, a target area with a low evaluation value is determined. If the target area is within a predetermined integrated gate 63 centered on a target area having a high evaluation value, the target identification unit 12 determines that these target areas are the same moving target.
[0063]
Here, associating the target areas, among the target areas of the current frame image associated with one target area of the past frame image, the target area having the highest evaluation value is set as the first candidate 61, and the evaluation value is set to 2 The next highest target area is set as the second candidate 62, and the process is performed as follows.
[0064]
That is, as viewed from the second candidate 62, the evaluation value for the target area of the past frame image is higher than the evaluation value for the other target area in the past frame image, and when viewed from each target area in the past frame image, the second candidate When the evaluation value for 62 is not higher than the evaluation value for another target area in the current frame image, the first candidate 61 and the second candidate 62 are assumed to be associated with the target area in the past frame image.
[0065]
At this time, if all of the second candidates 62 are completely included in the integrated gate 63 centered on the first candidate 61, the area of the first candidate 61 is expanded to the integrated gate 63, and then this expanded area is expanded. The target area 64 is associated with the target area of the past frame image.
[0066]
When a part of the second candidate 62 is included in the integrated gate 63, the area of the first candidate 61 is expanded to a range that completely includes the second candidate 62, and then the expanded area is expanded. The target area 65 is associated with the target area of the past frame image.
[0067]
When the second candidate 62 is not included in the integration gate 63, the integration of the target area is not performed, and the first candidate 61 is associated with the target area of the past frame image.
[0068]
The integration gate 63 is determined based on the installation location of the camera sensor 2, the visual field range, the size of the moving target, and the like. Other configurations are the same as those of the moving target detection device 3 in FIG.
[0069]
According to the present embodiment, one moving target is separated into two target regions by integrating the target regions based on the correspondence between the target regions between the current and past frame images as described above. It is possible to prevent erroneous detection of attaching.
[0070]
Embodiment 6 FIG.
FIG. 14 is an explanatory diagram showing an example of the initial detection in the moving target detecting device according to the sixth embodiment of the present invention. FIG. 14A is extracted in the initial detection area 71 in the past frame image. FIG. 14B shows a target area 73 extracted from the initial detection area 71 in the current frame image, and FIG. 14C shows target areas 72 and 73 in the current frame image. Represents a target area 74 extracted in the vicinity of.
[0071]
In the present embodiment, a predetermined initial detection area (gate area) 71 is provided in a frame image, and outside the initial detection area 71, initial detection of a target area based on an inter-frame difference is not performed.
[0072]
The initial detection area 71 is determined based on a location where the camera sensor 2 is installed, a visual field range, a moving target, or the like. For example, when detecting an aircraft traveling on the runway, the area where the moving target appears is limited to the end of the runway or the like, and is provided at the image end of the frame image or the like corresponding to the target appearing area. At this time, the initial detection is performed by the evaluation value generation unit 11 as follows.
[0073]
The target area 73 extracted in the current frame image has a predetermined inter-frame difference from the target area 72 extracted in the initial detection area 71 in the past frame image. When the target area 74 does not exist, it is determined that the target area 73 is detected for the first time, and generation of an evaluation value for the target area 73 is started.
[0074]
Here, the inter-frame difference is a portion other than the overlapping portion between the target region 73 of the current frame image and the target region 72 of the past frame image. The area of this portion is calculated in pixel units, and the area is calculated as the target region. The condition of the initial detection is that a move threshold (move Threshold)% or more has occurred.
[0075]
Further, the distance from another target area 74 is calculated in units of the number of pixels, and the absence of the target area 74 having a predetermined threshold value or less is also a condition for the initial detection. When such an initial detection condition is satisfied, the target area 73 is initially detected. Therefore, a target area that does not satisfy the conditions for initial detection, such as a target area extracted in an area other than the initial detection area 71, is not initially detected, and no evaluation value is generated.
[0076]
According to the present embodiment, a region where a moving target is not expected to appear, such as a central portion of a frame image, is excluded from initial detection targets, and a region where target detection is started is set as an initial detection region 71 such as an image edge of a frame image. By limiting, occurrence of erroneous detection can be suppressed. Further, the amount of data processing for generating the evaluation value can be reduced.
[0077]
Embodiment 7 FIG.
In the present embodiment, the target identification unit 12 determines the frequency of association after the initial detection for each target area, and identifies a moving target based on the determination result. For example, for each target area, the number of associations for each frame image after the initial detection is counted, and the continuity of the association is evaluated based on the number of associations.
[0078]
According to the present embodiment, the reliability of target identification can be evaluated based on the number of associations. For example, when the number of associations increases in accordance with the movement of the target, it may be considered that the movement of the target is correctly followed and caught, and the reliability of target detection is high. In addition, a target area in which the number of times of association is lower than a predetermined threshold value may be excluded from the tracking target, because of low reliability.
[0079]
【The invention's effect】
As described above, according to the moving target detection device, the tracking system, and the moving target identification method according to the present invention, it is possible to generate an evaluation value based on the overlapping area of the first and second target areas. Based on the evaluation value, it is possible to associate a target area between different frame images. Since the moving target is identified according to this association, the detection accuracy of the moving target can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a tracking system according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a moving target detection device in the tracking system of FIG. 1;
FIG. 3 is a flowchart illustrating an example of a moving target identification operation in the moving target detecting device of FIG. 2;
FIG. 4 is an explanatory diagram showing an example of evaluation value generation in the moving target detection device of FIG. 2;
FIG. 5 is an explanatory diagram showing an example of evaluation value generation in the moving target detection device of FIG. 2;
FIG. 6 is a block diagram showing a configuration example of a moving target detection device according to a second embodiment of the present invention.
FIG. 7 is an explanatory diagram showing an example of evaluation value correction in the moving target detection device of FIG. 6;
FIG. 8 is a block diagram showing a configuration example of a moving target detection device according to a third embodiment of the present invention.
9 is an explanatory diagram showing an example of evaluation value normalization in the moving target detection device in FIG.
10 is an explanatory diagram showing an example of evaluation value normalization in the moving target detection device of FIG.
11 is an explanatory diagram showing an example of evaluation value normalization in the moving target detection device in FIG.
FIG. 12 is an explanatory diagram showing an example of moving target identification in a moving target detecting device according to a fourth embodiment of the present invention.
FIG. 13 is an explanatory diagram showing an example of target area integration in the moving target detection device according to the fifth embodiment of the present invention.
FIG. 14 is an explanatory diagram showing an example of initial detection in a moving target detection device according to a sixth embodiment of the present invention.
[Explanation of symbols]
1 tracking system, 2 camera sensor, 3, 3a, 3b moving target detecting device,
4 target position locating device, 5 tracking processing device, 6 target position display device,
7 A / D conversion section, 8 target area extraction section, 9 background image storage section,
10 input image storage unit, 11 evaluation value generation unit, 12 target identification unit,
13 evaluation value correction unit, 14 evaluation value normalization unit

Claims

A target area extracting unit for extracting a target area based on the background image for each frame image sequentially input;
Evaluation value generation means for evaluating the degree of correlation of the target area between two different frame images based on the extraction position of each target area in the frame image, and generating an evaluation value;
Based on the evaluation value, a target area is associated between different frames, and target identification means for identifying a moving target is provided.
When the first target area extracted from the frame image overlaps with the second target area extracted from the earlier frame image, the evaluation value generation means generates an evaluation value based on the overlapping area. A moving target detection device, characterized in that:

The moving target detection device according to claim 1, wherein the evaluation value generation means generates an evaluation value based on a distance between the target regions when the first and second target regions do not overlap.

The moving target detecting device according to claim 2, further comprising: an evaluation value correction unit that sets an evaluation value lower than a predetermined minimum evaluation value as a minimum evaluation value.

The evaluation value generation means generates a positive evaluation value when the first and second target areas overlap, generates a negative evaluation value when the first and second target areas do not overlap,
4. The moving target detecting apparatus according to claim 3, wherein the evaluation value correction unit adds a predetermined correction value to the evaluation value, and sets a negative value to a zero evaluation value.

For each first target area, perform a first normalization on the evaluation value for each second target area,
For each second target area, a second normalization is performed on the evaluation value for each first target area,
The moving target detecting device according to claim 1 or 4, further comprising an evaluation value normalizing unit that normalizes the evaluation value based on the values obtained by the first and second normalizations.

When the two or more second target areas are associated with the same first target area, the target identification means determines that the first target area includes two or more moving targets. The moving target detecting device according to claim 1.

When the two first target areas are associated with the same second target area, the target identification unit determines that the first target area having a lower evaluation value among the first target areas has a lower evaluation value. 2. The moving target detecting device according to claim 1, wherein if it is within a predetermined integrated gate centered on a high first target region, it is determined that the first target region is composed of the same moving target.

2. The moving target detecting apparatus according to claim 1, wherein the evaluation value generating unit does not perform the initial detection of the target area based on the inter-frame difference outside the predetermined initial detection area.

The moving target detecting apparatus according to claim 1, wherein the target identifying unit determines a frequency of association after the initial detection for each target area.

A moving target detecting device for detecting a moving target based on frame images sequentially input from a camera sensor, a target position locating device for locating position information of the moving target, and correcting a prediction gate based on a result of the locating And a tracking processing device that tracks the moving target based on the correction result,
The moving target detecting device includes a target area extracting unit that extracts a target area based on a background image for each frame image, and a target area between two different frame images based on an extraction position of each target area in the frame image. Evaluating the degree of correlation, an evaluation value generating means for generating an evaluation value, and a target identification means for associating a target area between different frames based on the evaluation value and identifying a moving target,
When the first target area extracted from the frame image overlaps with the second target area extracted from the earlier frame image, the evaluation value generation means generates an evaluation value based on the overlapping area. A tracking system characterized by the following.

A target region extracting step of extracting a target region based on a background image for each of the sequentially input frame images; and a target region extracting step between two different frame images based on an extraction position of each target region in the frame image. Evaluating the degree of correlation, an evaluation value generation step of generating an evaluation value, and a target identification step of identifying a moving target by associating a target area between different frames based on the evaluation value,
In the evaluation value generation step, when the first target area extracted from the frame image overlaps with the second target area extracted from the earlier frame image, an evaluation value is generated based on the overlapping area. A moving target identification method, comprising: