JP2004110542A - 目標検出装置および目標検出方法 - Google Patents
目標検出装置および目標検出方法 Download PDFInfo
- Publication number
- JP2004110542A JP2004110542A JP2002273687A JP2002273687A JP2004110542A JP 2004110542 A JP2004110542 A JP 2004110542A JP 2002273687 A JP2002273687 A JP 2002273687A JP 2002273687 A JP2002273687 A JP 2002273687A JP 2004110542 A JP2004110542 A JP 2004110542A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- frame
- imaging
- frames
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】目標の特徴量をより安定して算出できるようにし、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供する。
【解決手段】セグメントが消滅した場合、消滅したセグメントが一定時間すなわち一定のフレーム数にかぎり存在するものとして取扱い、フレーム連結前向きテーブルおよびフレーム連結後向きテーブルなどのパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにした。また１つのセグメントが複数のセグメントに分離した場合、その分離した複数のセグメントを一定のフレーム数に限り１つのセグメントとして取扱い、上記のパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにした。
【選択図】 図３
【解決手段】セグメントが消滅した場合、消滅したセグメントが一定時間すなわち一定のフレーム数にかぎり存在するものとして取扱い、フレーム連結前向きテーブルおよびフレーム連結後向きテーブルなどのパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにした。また１つのセグメントが複数のセグメントに分離した場合、その分離した複数のセグメントを一定のフレーム数に限り１つのセグメントとして取扱い、上記のパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにした。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
この発明は、テレビカメラや赤外線撮像装置などの撮像装置から供給される映像信号から目標を検出してその特徴量を得るための目標検出装置および目標検出方法に関する。
【０００２】
【従来の技術】
誘導飛翔体の誘導方式の一つとして、撮像装置を利用した目標検出装置を搭載し、この目標検出装置の検出目標に誘導する方式が有る。この種の目標検出装置においては、テレビカメラや赤外線撮像装置から供給される映像信号をデジタル信号化し領域分割して、画像信号内に目標候補となるべきセグメントを検出し、セグメント毎にラベルを与えてラベルテーブルを作成する。そして、ラベル毎に、画像信号から例えば領域毎の濃度最大値、最小値、それらの座標、大きさ、総和などの特徴量を抽出する。
【０００３】
この種の目標検出装置として、目標物（セグメント）に与えられるラベルを１フレームごとの指標として扱うのではなく、複数のフレーム間で同一のセグメントに同一ラベルが与えられるようにラベルテーブルを修正し、ラベル毎の特徴情報を連続した目標物の運動情報として利用することにより、目標検出にかかる信頼性を更に向上させようとするものがある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２６６１５７号公報
【０００５】
【発明が解決しようとする課題】
ところで、この種の目標検出装置により目標抽出処理を行なう際、コントラストの低下やノイズなどの影響によりフレーム中のセグメントが分離したり、消滅したりすることがある。撮影環境が悪い場合などには同じ目標に対応するセグメントが消滅、発生、あるいは分離を繰り返すことがある。従来の目標検出装置では個々のフレームに有るセグメントだけを見て目標の有無が判定されるため、一度消滅して再度現れたセグメントが有ると、本来同じ目標に対応するものであってもこれらは別の目標として認識されてしまう。このため従来の目標検出装置では、目標の特徴量を安定的に検出することが困難であるといった不具合がある。
【０００６】
本発明は上記事情によりなされたもので、その目的は、目標の特徴量をより安定して算出できるようにし、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は、撮像視野を所定のレートで撮影して撮像フレームを出力する撮像手段（例えば撮像装置）と、この撮像手段から出力される各撮像フレームから目標候補となるセグメントを抽出する抽出手段と、各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベル付与手段（例えばラベリング処理部）と、このラベル付与手段によりラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算手段（例えば特徴演算処理部）と、時間的に連続する複数の撮像フレームのそれぞれにおける前記ラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するテーブル生成手段（例えばフレーム連結テーブル生成処理部）と、前記フレーム連結テーブルに基づく前記セグメントの特徴量の連結性から目標を検出する目標検出手段（例えば目標検出回路）と、補正手段（例えば補正処理部）とを具備する。そして補正手段により、前記テーブル生成手段で生成されたフレーム連結テーブルを、連続する撮像フレーム間での各セグメントの連結性を保つべく補正して前記目標検出手段に与えるようにしたことを特徴とする。
【０００８】
特に補正手段は、現フレームにおいて直前のフレームに含まれるセグメントが消滅または分離した場合に、この消滅または分離したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正することを特徴とする。
【０００９】
このような手段を講じたことにより、コントラストの低下やノイズなどの影響によりセグメントが消滅した場合でもフレーム間のセグメントの連結性が保たれる。これによりセグメントの特徴量を安定的に観測できるようになり、従って目標検出性能の向上を図ることが可能になる。セグメントが分離した場合でも同様に、分離した複数のセグメントが１つのセグメントとして捉える処理が所定のフレーム数にわたり実施される。これにより分離時の特徴量の変化の影響を抑制でき、セグメントの特徴量を安定的に観測できるようになるので、目標検出性能の向上を図ることができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明に係わる目標検出装置の実施の形態における構成を示す機能ブロック図である。この装置は、撮像視野を所定のフレームレートで撮影し撮像フレームを順次出力する撮像装置１と、ここから与えられる映像信号を受けてデジタル信号とするためのＡ／Ｄ変換回路２と、ここからのデジタル信号化された映像信号を受け必要な前処理を行う前処理回路３と、この前処理回路３に接続される画像特徴部分を強調処理するための特徴強調回路４とを有する。
【００１１】
更にこの装置は、特徴強調回路４からの画像信号を所定の領域に分割する領域分割回路５と、撮像装置１から領域分割回路５を経て出力される各撮像フレームから目標候補となるセグメントを抽出し、各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベリング処理部６と、このラベリング処理部６から供給されるラベルテーブルを格納するラベルテーブルメモリＭ２とを有する。本実施形態では、ラベルとして通し番号を付与する。
【００１２】
更にこの装置は、特徴強調回路４において特徴部分の強調された画像情報を記憶する画像メモリＭ３と、この画像メモリＭ３から画像情報を読み出し、ラベリング処理部６によりラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算処理部７と、ここで求められたラベル毎の特徴演算による特徴テーブルを格納するための特徴テーブルＴ２とを有する。
【００１３】
更にこの装置は、画像メモリＭ３から与えられる画像情報とラベリング処理部６から供給されるラベルテーブルとに基づいて、時間的に連続する複数の撮像フレームのそれぞれにおけるラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するフレーム連結テーブル生成処理部８と、このフレーム連結テーブル生成処理部８で生成されたフレーム連結テーブルを補正する補正処理部９と、フレーム連結テーブルを記憶するフレーム連結テーブルメモリＴ３と、特徴テーブルおよびフレーム連結テーブルを参照しフレーム連結テーブルに基づく各セグメントの特徴量の連結性から目標を検出する目標検出回路１３と、目標検出回路１３から目標に追随するための制御信号を受け撮像装置１の方向を制御するサーボ回路１４とを有する。
【００１４】
フレーム連結テーブル生成処理部８は、フレーム連結前向きテーブルと、フレーム連結後向きテーブルとを生成する。フレーム連結前向きテーブルは、直前のフレームに含まれるセグメントにそれぞれ付与された番号が、現フレームに含まれるセグメントにそれぞれ付与された番号のいずれに対応するかを纏めたテーブルである。フレーム連結後向きテーブルは、現フレームに含まれるセグメントにそれぞれ付与された番号が、直前のフレームに含まれるセグメントにそれぞれ付与された番号のいずれに対応するかを纏めたテーブルである。
次に、上記構成における動作を消滅補正処理および分離補正処理に分けて説明する。
【００１５】
＜消滅補正処理＞
図２は、比較のため従来の目標検出装置においてセグメントが消滅した場合の処理を示す模式図である。図２において、現在から３フレーム前の画像には６つのセグメントが検出されており、フレーム上部から下部に至る順にそれぞれ＃１〜＃６の番号が付与されているとする。
【００１６】
この状態から次のフレームである２フレーム前の画像においては、ノイズなどの影響により３つのセグメントしか検出されず、従って番号は３までしかない。３フレーム前の画像における＃３、＃４、＃６に対応するセグメントは消滅したものとして判定される。次の１フレーム前の画像には２つのセグメントしか検出されず、＃１セグメントは新たに発生したものとして認識され、２フレーム前の画像における＃１、＃２セグメントは消滅したとして認識される。現在のフレームにおいては＃１、＃２、＃４セグメントが新たに生じたとして判定される。
【００１７】
このように従来の装置ではセグメントの有無が個々のフレームだけを見ることにより判定されるため、各セグメントに付与された番号のフレーム間の連結性が断ち切られてしまうことになる。これにより同じ目標に対応するセグメントの特徴量を継続的に取得することができず、目標を安定的に捕らえにくい。
【００１８】
図３は、図１に示される目標検出装置においてセグメントが消滅した場合の処理を示す模式図である。図３における各フレームのセグメントの検出状態は図２と同様である。本実施形態では、現フレームにおいて直前のフレームに含まれるセグメントが消滅した場合に、この消滅したセグメントが２フレーム分にわたり存在するものとして取扱い、その特徴量を保持するようにする。
【００１９】
例えば現フレームから２フレーム前の画像においてはその前のフレーム（３フレーム前の画像）の＃３、＃４、＃６セグメントが検出されなかったとする。このような場合でも＃３、＃４、＃６セグメントを１フレーム分にわたり保持し、そのための番号を新たに付与する。図３の２フレーム前の画像では、旧＃３セグメントに＃４、旧＃４セグメントに＃５、旧＃６セグメントに＃６なる番号が与えられている。
【００２０】
同様に１フレーム前の画像、および現在の画像においても、セグメントが一旦消滅してからも２フレーム分の間はそのセグメントが存在するものとして取扱う。これにより、フレーム連結前向きテーブルとフレーム連結後向きテーブルとのいずれもが補正される。これによりフレーム連結性の向上が期待できる。なお３フレーム前の画像の＃４セグメントは、現フレームに至るまでに３フレームにわたり現れなかったため消滅したとして取扱う。
【００２１】
図４は、フレーム連結テーブルの内容を消滅補正処理の有無と対応付けて示す図である。図４において補正無しの欄は図２に対応し、補正有りの欄は図３に対応する。例えば１フレーム前の画像に着目して補正無し、補正有りを比較すると、前回のセグメント数は補正無しでは３であるのに対し、補正有りでは６のままに保持されている。フレーム連結前向きテーブルは、補正無しではインデックスｉの４，５，６に対応するセグメント（２フレーム前の＃４、＃５、＃６）が消滅したとして取扱われるが、補正有りではインデックスｉの１〜６にそれぞれ＃３、＃４、＃２、＃１、＃５、＃６なる番号が与えられる。このように、補正処理を行なうことで目標検出処理にかかる各パラメータの値が変更され、より正確な処理に供することができる。すなわち上記のように数フレーム分にわたる消滅補正を行うことにより、例えばコントラスト低下などのため数フレームにわたりセグメントが消滅した場合でも、速度などの動的特徴量を継続的に抽出できるようになる。
【００２２】
上記の消滅補正処理における消滅補正距誰（いわゆるマンハッタン距離）は、好ましくはフレームを形成する複数の画素のうち１〜３画素の範囲とすると良い。その際のフレーム数は、画像の動揺と目標の移動速度から決めることができる。
【００２３】
なお、上記の消滅補正処理はノイズより見かけ上生じた目標物の消滅も補正する作用を持つため、補正フレーム数を多くすると画面上にノイズを増やす作用がある。この点に留意し、本実施形態においては保持するフレーム数を１〜３フレームに留めるのが好ましい。
【００２４】
＜分離補正処理＞
図５は、比較のため従来の目標検出装置においてセグメントが分離した場合の処理を示す模式図である。図５において、現在から３フレーム前の画像には４つのセグメントが検出されており、フレーム上部から下部に至る順にそれぞれ＃１〜＃４の番号が付与されているとする。
【００２５】
この状態から次のフレームである２フレーム前の画像においては、ノイズなどの影響によりセグメントの消滅と共に分離が生じ、合計で５つのセグメントが検出されたとする。３フレーム前の画像における＃１セグメントが消滅し、＃２、＃４セグメントが２つのセグメントに分離したとする。次の１フレーム前の画像においては分離したセグメントはそのままで、＃１セグメントが新たに発生したとして認識される。さらに現在のフレームにおいては前のフレームの＃２、＃３セグメントが結合し、前のフレームの＃１セグメントが再度消滅として判定される。
【００２６】
このように従来の装置ではセグメントの有無が個々のフレームだけを見ることにより判定されるため、目標が分離した場合でも同じく各セグメントに付与された番号のフレーム間の連結性が断ち切られ、目標を安定的に捕らえにくい。
【００２７】
図６は、図１に示される目標検出装置においてセグメントが分離した場合の処理を示す模式図である。図６における各フレームのセグメントの検出状態は図２と同様である。本実施形態では、現フレームにおいて直前のフレームに含まれるセグメントが分離した場合に、分離したセグメントを２フレーム分にわたり１つのセグメントとして取扱い、その特徴量を保持するようにする。
【００２８】
例えば現フレームから２フレーム前の画像においてはその前のフレーム（３フレーム前の画像）の＃２、＃４セグメントが分離したとする。このような場合には分離したセグメントを１フレーム分にわたり同じセグメントとし、共通の番号を付して管理する。図６の２フレーム前の画像では、分離した旧＃２セグメントに＃１、旧＃４セグメントに＃３なる番号が与えられている。
【００２９】
同様に１フレーム前の画像においても、分離状態が継続している場合には各セグメントを一つのセグメントとして管理する。このフレームにおいては＃１セグメントが生じたため、各分離セグメントの番号が１づつ繰り上がり、＃２、＃４となっている。そして現在の画像に至り、ここで結合したセグメントは前のフレームで分離していたセグメントと同じ物として取扱う。また、３フレーム経過してもなお分離しているセグメントについては分離したものとして取扱い、それぞれ別の番号（＃３、＃４）を付すようにする。
【００３０】
このような処理により、フレーム連結前向きテーブルとフレーム連結後向きテーブルとのいずれもが補正される。これによりフレーム連結性の向上が期待できる。
【００３１】
図７は、フレーム連結テーブルの内容を分離補正処理の有無と対応付けて示す図である。図７において補正無しの欄は図５に対応し、補正有りの欄は図６に対応する。例えば１フレーム前の画像に着目して補正無し、補正有りを比較すると、前回のセグメント数は補正無しでは５であるのに対し、補正有りでは３のままに保持されている。これは、分離したセグメントを同じセグメントとして取扱っているためである。
【００３２】
フレーム連結前向きテーブルを比較すると、補正無しでは分離したセグメントがそれぞれ別個のセグメントとして取扱われているが、補正有りではインデックスｉの１〜３にそれぞれ＃２、＃３、＃４なる番号が与えられる。このように、補正処理を行なうことで目標検出処理にかかる各パラメータの値が変更され、より正確な処理に供することができる。すなわち例えばコントラストの低下、ノイズなどにより１つの目標候補のセグメントが複数に分離した場合、複数に分かれた特徴量を１つにまとめて取扱うようにすることで、分離による特徴量の変化の影響を抑制することができる。
【００３３】
なお上記の分離補正処理は、目標が実際に分裂した場合にもそれを補正するため、補正フレームを多くすると分離の認識が遅れることになる。この点に留意し、本実施形態では特徴量を保持するフレーム数を好ましくは１〜３フレームとするようにする。このフレーム数の設定値は対妨害処理における目標とフレアの分離と関連する。
【００３４】
以上のように本実施形態では、セグメントが消滅した場合、消滅したセグメントが一定時間すなわち一定のフレーム数にかぎり存在するものとして取扱い、フレーム連結前向きテーブルおよびフレーム連結後向きテーブルなどのパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにしている。また１つのセグメントが複数のセグメントに分離した場合、その分離した複数のセグメントを一定のフレーム数に限り１つのセグメントとして取扱い、上記のパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにしている。
【００３５】
このような処理を行なうことにより、セグメントの有する特徴量のフレーム間での連結性を保つことが可能となる。これにより、コントラストの低下などにより目標候補のセグメントが消滅した場合、あるいはノイズなどの影響により分離した場合、セグメントのフレーム間の連結性の低下を抑制でき、特徴量の変化の影響を抑制することができるようになる。
【００３６】
これらのことから本実施形態によれば、目標の特徴量をより安定して算出できるようになり、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することが可能になる。
【００３７】
【発明の効果】
以上詳述したように本発明によれば、目標の特徴量をより安定して算出できるようになり、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係わる目標検出装置の実施の形態における構成を示す機能ブロック図。
【図２】比較のため従来の目標検出装置においてセグメントが消滅した場合の処理を示す模式図。
【図３】図１に示される目標検出装置においてセグメントが消滅した場合の処理を示す模式図。
【図４】フレーム連結テーブルの内容を消滅補正処理の有無と対応付けて示す図。
【図５】比較のため従来の目標検出装置においてセグメントが分離した場合の処理を示す模式図。
【図６】図１に示される目標検出装置においてセグメントが分離した場合の処理を示す模式図。
【図７】フレーム連結テーブルの内容を分離補正処理の有無と対応付けて示す図。
【符号の説明】
Ｍ２…ラベルテーブルメモリ
Ｍ３…画像メモリ
Ｔ２…特徴テーブル
Ｔ３…フレーム連結テーブルメモリ
１…撮像装置
２…Ａ／Ｄ変換回路
３…前処理回路
４…特徴強調回路
５…領域分割回路
６…ラベリング処理部
７…特徴演算処理部
８…フレーム連結テーブル生成処理部
９…補正処理部
１３…目標検出回路
１４…サーボ回路
【発明の属する技術分野】
この発明は、テレビカメラや赤外線撮像装置などの撮像装置から供給される映像信号から目標を検出してその特徴量を得るための目標検出装置および目標検出方法に関する。
【０００２】
【従来の技術】
誘導飛翔体の誘導方式の一つとして、撮像装置を利用した目標検出装置を搭載し、この目標検出装置の検出目標に誘導する方式が有る。この種の目標検出装置においては、テレビカメラや赤外線撮像装置から供給される映像信号をデジタル信号化し領域分割して、画像信号内に目標候補となるべきセグメントを検出し、セグメント毎にラベルを与えてラベルテーブルを作成する。そして、ラベル毎に、画像信号から例えば領域毎の濃度最大値、最小値、それらの座標、大きさ、総和などの特徴量を抽出する。
【０００３】
この種の目標検出装置として、目標物（セグメント）に与えられるラベルを１フレームごとの指標として扱うのではなく、複数のフレーム間で同一のセグメントに同一ラベルが与えられるようにラベルテーブルを修正し、ラベル毎の特徴情報を連続した目標物の運動情報として利用することにより、目標検出にかかる信頼性を更に向上させようとするものがある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２６６１５７号公報
【０００５】
【発明が解決しようとする課題】
ところで、この種の目標検出装置により目標抽出処理を行なう際、コントラストの低下やノイズなどの影響によりフレーム中のセグメントが分離したり、消滅したりすることがある。撮影環境が悪い場合などには同じ目標に対応するセグメントが消滅、発生、あるいは分離を繰り返すことがある。従来の目標検出装置では個々のフレームに有るセグメントだけを見て目標の有無が判定されるため、一度消滅して再度現れたセグメントが有ると、本来同じ目標に対応するものであってもこれらは別の目標として認識されてしまう。このため従来の目標検出装置では、目標の特徴量を安定的に検出することが困難であるといった不具合がある。
【０００６】
本発明は上記事情によりなされたもので、その目的は、目標の特徴量をより安定して算出できるようにし、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は、撮像視野を所定のレートで撮影して撮像フレームを出力する撮像手段（例えば撮像装置）と、この撮像手段から出力される各撮像フレームから目標候補となるセグメントを抽出する抽出手段と、各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベル付与手段（例えばラベリング処理部）と、このラベル付与手段によりラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算手段（例えば特徴演算処理部）と、時間的に連続する複数の撮像フレームのそれぞれにおける前記ラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するテーブル生成手段（例えばフレーム連結テーブル生成処理部）と、前記フレーム連結テーブルに基づく前記セグメントの特徴量の連結性から目標を検出する目標検出手段（例えば目標検出回路）と、補正手段（例えば補正処理部）とを具備する。そして補正手段により、前記テーブル生成手段で生成されたフレーム連結テーブルを、連続する撮像フレーム間での各セグメントの連結性を保つべく補正して前記目標検出手段に与えるようにしたことを特徴とする。
【０００８】
特に補正手段は、現フレームにおいて直前のフレームに含まれるセグメントが消滅または分離した場合に、この消滅または分離したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正することを特徴とする。
【０００９】
このような手段を講じたことにより、コントラストの低下やノイズなどの影響によりセグメントが消滅した場合でもフレーム間のセグメントの連結性が保たれる。これによりセグメントの特徴量を安定的に観測できるようになり、従って目標検出性能の向上を図ることが可能になる。セグメントが分離した場合でも同様に、分離した複数のセグメントが１つのセグメントとして捉える処理が所定のフレーム数にわたり実施される。これにより分離時の特徴量の変化の影響を抑制でき、セグメントの特徴量を安定的に観測できるようになるので、目標検出性能の向上を図ることができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明に係わる目標検出装置の実施の形態における構成を示す機能ブロック図である。この装置は、撮像視野を所定のフレームレートで撮影し撮像フレームを順次出力する撮像装置１と、ここから与えられる映像信号を受けてデジタル信号とするためのＡ／Ｄ変換回路２と、ここからのデジタル信号化された映像信号を受け必要な前処理を行う前処理回路３と、この前処理回路３に接続される画像特徴部分を強調処理するための特徴強調回路４とを有する。
【００１１】
更にこの装置は、特徴強調回路４からの画像信号を所定の領域に分割する領域分割回路５と、撮像装置１から領域分割回路５を経て出力される各撮像フレームから目標候補となるセグメントを抽出し、各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベリング処理部６と、このラベリング処理部６から供給されるラベルテーブルを格納するラベルテーブルメモリＭ２とを有する。本実施形態では、ラベルとして通し番号を付与する。
【００１２】
更にこの装置は、特徴強調回路４において特徴部分の強調された画像情報を記憶する画像メモリＭ３と、この画像メモリＭ３から画像情報を読み出し、ラベリング処理部６によりラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算処理部７と、ここで求められたラベル毎の特徴演算による特徴テーブルを格納するための特徴テーブルＴ２とを有する。
【００１３】
更にこの装置は、画像メモリＭ３から与えられる画像情報とラベリング処理部６から供給されるラベルテーブルとに基づいて、時間的に連続する複数の撮像フレームのそれぞれにおけるラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するフレーム連結テーブル生成処理部８と、このフレーム連結テーブル生成処理部８で生成されたフレーム連結テーブルを補正する補正処理部９と、フレーム連結テーブルを記憶するフレーム連結テーブルメモリＴ３と、特徴テーブルおよびフレーム連結テーブルを参照しフレーム連結テーブルに基づく各セグメントの特徴量の連結性から目標を検出する目標検出回路１３と、目標検出回路１３から目標に追随するための制御信号を受け撮像装置１の方向を制御するサーボ回路１４とを有する。
【００１４】
フレーム連結テーブル生成処理部８は、フレーム連結前向きテーブルと、フレーム連結後向きテーブルとを生成する。フレーム連結前向きテーブルは、直前のフレームに含まれるセグメントにそれぞれ付与された番号が、現フレームに含まれるセグメントにそれぞれ付与された番号のいずれに対応するかを纏めたテーブルである。フレーム連結後向きテーブルは、現フレームに含まれるセグメントにそれぞれ付与された番号が、直前のフレームに含まれるセグメントにそれぞれ付与された番号のいずれに対応するかを纏めたテーブルである。
次に、上記構成における動作を消滅補正処理および分離補正処理に分けて説明する。
【００１５】
＜消滅補正処理＞
図２は、比較のため従来の目標検出装置においてセグメントが消滅した場合の処理を示す模式図である。図２において、現在から３フレーム前の画像には６つのセグメントが検出されており、フレーム上部から下部に至る順にそれぞれ＃１〜＃６の番号が付与されているとする。
【００１６】
この状態から次のフレームである２フレーム前の画像においては、ノイズなどの影響により３つのセグメントしか検出されず、従って番号は３までしかない。３フレーム前の画像における＃３、＃４、＃６に対応するセグメントは消滅したものとして判定される。次の１フレーム前の画像には２つのセグメントしか検出されず、＃１セグメントは新たに発生したものとして認識され、２フレーム前の画像における＃１、＃２セグメントは消滅したとして認識される。現在のフレームにおいては＃１、＃２、＃４セグメントが新たに生じたとして判定される。
【００１７】
このように従来の装置ではセグメントの有無が個々のフレームだけを見ることにより判定されるため、各セグメントに付与された番号のフレーム間の連結性が断ち切られてしまうことになる。これにより同じ目標に対応するセグメントの特徴量を継続的に取得することができず、目標を安定的に捕らえにくい。
【００１８】
図３は、図１に示される目標検出装置においてセグメントが消滅した場合の処理を示す模式図である。図３における各フレームのセグメントの検出状態は図２と同様である。本実施形態では、現フレームにおいて直前のフレームに含まれるセグメントが消滅した場合に、この消滅したセグメントが２フレーム分にわたり存在するものとして取扱い、その特徴量を保持するようにする。
【００１９】
例えば現フレームから２フレーム前の画像においてはその前のフレーム（３フレーム前の画像）の＃３、＃４、＃６セグメントが検出されなかったとする。このような場合でも＃３、＃４、＃６セグメントを１フレーム分にわたり保持し、そのための番号を新たに付与する。図３の２フレーム前の画像では、旧＃３セグメントに＃４、旧＃４セグメントに＃５、旧＃６セグメントに＃６なる番号が与えられている。
【００２０】
同様に１フレーム前の画像、および現在の画像においても、セグメントが一旦消滅してからも２フレーム分の間はそのセグメントが存在するものとして取扱う。これにより、フレーム連結前向きテーブルとフレーム連結後向きテーブルとのいずれもが補正される。これによりフレーム連結性の向上が期待できる。なお３フレーム前の画像の＃４セグメントは、現フレームに至るまでに３フレームにわたり現れなかったため消滅したとして取扱う。
【００２１】
図４は、フレーム連結テーブルの内容を消滅補正処理の有無と対応付けて示す図である。図４において補正無しの欄は図２に対応し、補正有りの欄は図３に対応する。例えば１フレーム前の画像に着目して補正無し、補正有りを比較すると、前回のセグメント数は補正無しでは３であるのに対し、補正有りでは６のままに保持されている。フレーム連結前向きテーブルは、補正無しではインデックスｉの４，５，６に対応するセグメント（２フレーム前の＃４、＃５、＃６）が消滅したとして取扱われるが、補正有りではインデックスｉの１〜６にそれぞれ＃３、＃４、＃２、＃１、＃５、＃６なる番号が与えられる。このように、補正処理を行なうことで目標検出処理にかかる各パラメータの値が変更され、より正確な処理に供することができる。すなわち上記のように数フレーム分にわたる消滅補正を行うことにより、例えばコントラスト低下などのため数フレームにわたりセグメントが消滅した場合でも、速度などの動的特徴量を継続的に抽出できるようになる。
【００２２】
上記の消滅補正処理における消滅補正距誰（いわゆるマンハッタン距離）は、好ましくはフレームを形成する複数の画素のうち１〜３画素の範囲とすると良い。その際のフレーム数は、画像の動揺と目標の移動速度から決めることができる。
【００２３】
なお、上記の消滅補正処理はノイズより見かけ上生じた目標物の消滅も補正する作用を持つため、補正フレーム数を多くすると画面上にノイズを増やす作用がある。この点に留意し、本実施形態においては保持するフレーム数を１〜３フレームに留めるのが好ましい。
【００２４】
＜分離補正処理＞
図５は、比較のため従来の目標検出装置においてセグメントが分離した場合の処理を示す模式図である。図５において、現在から３フレーム前の画像には４つのセグメントが検出されており、フレーム上部から下部に至る順にそれぞれ＃１〜＃４の番号が付与されているとする。
【００２５】
この状態から次のフレームである２フレーム前の画像においては、ノイズなどの影響によりセグメントの消滅と共に分離が生じ、合計で５つのセグメントが検出されたとする。３フレーム前の画像における＃１セグメントが消滅し、＃２、＃４セグメントが２つのセグメントに分離したとする。次の１フレーム前の画像においては分離したセグメントはそのままで、＃１セグメントが新たに発生したとして認識される。さらに現在のフレームにおいては前のフレームの＃２、＃３セグメントが結合し、前のフレームの＃１セグメントが再度消滅として判定される。
【００２６】
このように従来の装置ではセグメントの有無が個々のフレームだけを見ることにより判定されるため、目標が分離した場合でも同じく各セグメントに付与された番号のフレーム間の連結性が断ち切られ、目標を安定的に捕らえにくい。
【００２７】
図６は、図１に示される目標検出装置においてセグメントが分離した場合の処理を示す模式図である。図６における各フレームのセグメントの検出状態は図２と同様である。本実施形態では、現フレームにおいて直前のフレームに含まれるセグメントが分離した場合に、分離したセグメントを２フレーム分にわたり１つのセグメントとして取扱い、その特徴量を保持するようにする。
【００２８】
例えば現フレームから２フレーム前の画像においてはその前のフレーム（３フレーム前の画像）の＃２、＃４セグメントが分離したとする。このような場合には分離したセグメントを１フレーム分にわたり同じセグメントとし、共通の番号を付して管理する。図６の２フレーム前の画像では、分離した旧＃２セグメントに＃１、旧＃４セグメントに＃３なる番号が与えられている。
【００２９】
同様に１フレーム前の画像においても、分離状態が継続している場合には各セグメントを一つのセグメントとして管理する。このフレームにおいては＃１セグメントが生じたため、各分離セグメントの番号が１づつ繰り上がり、＃２、＃４となっている。そして現在の画像に至り、ここで結合したセグメントは前のフレームで分離していたセグメントと同じ物として取扱う。また、３フレーム経過してもなお分離しているセグメントについては分離したものとして取扱い、それぞれ別の番号（＃３、＃４）を付すようにする。
【００３０】
このような処理により、フレーム連結前向きテーブルとフレーム連結後向きテーブルとのいずれもが補正される。これによりフレーム連結性の向上が期待できる。
【００３１】
図７は、フレーム連結テーブルの内容を分離補正処理の有無と対応付けて示す図である。図７において補正無しの欄は図５に対応し、補正有りの欄は図６に対応する。例えば１フレーム前の画像に着目して補正無し、補正有りを比較すると、前回のセグメント数は補正無しでは５であるのに対し、補正有りでは３のままに保持されている。これは、分離したセグメントを同じセグメントとして取扱っているためである。
【００３２】
フレーム連結前向きテーブルを比較すると、補正無しでは分離したセグメントがそれぞれ別個のセグメントとして取扱われているが、補正有りではインデックスｉの１〜３にそれぞれ＃２、＃３、＃４なる番号が与えられる。このように、補正処理を行なうことで目標検出処理にかかる各パラメータの値が変更され、より正確な処理に供することができる。すなわち例えばコントラストの低下、ノイズなどにより１つの目標候補のセグメントが複数に分離した場合、複数に分かれた特徴量を１つにまとめて取扱うようにすることで、分離による特徴量の変化の影響を抑制することができる。
【００３３】
なお上記の分離補正処理は、目標が実際に分裂した場合にもそれを補正するため、補正フレームを多くすると分離の認識が遅れることになる。この点に留意し、本実施形態では特徴量を保持するフレーム数を好ましくは１〜３フレームとするようにする。このフレーム数の設定値は対妨害処理における目標とフレアの分離と関連する。
【００３４】
以上のように本実施形態では、セグメントが消滅した場合、消滅したセグメントが一定時間すなわち一定のフレーム数にかぎり存在するものとして取扱い、フレーム連結前向きテーブルおよびフレーム連結後向きテーブルなどのパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにしている。また１つのセグメントが複数のセグメントに分離した場合、その分離した複数のセグメントを一定のフレーム数に限り１つのセグメントとして取扱い、上記のパラメータを補正する。そして、この補正されたパラメータを用いて特徴量を算出するようにしている。
【００３５】
このような処理を行なうことにより、セグメントの有する特徴量のフレーム間での連結性を保つことが可能となる。これにより、コントラストの低下などにより目標候補のセグメントが消滅した場合、あるいはノイズなどの影響により分離した場合、セグメントのフレーム間の連結性の低下を抑制でき、特徴量の変化の影響を抑制することができるようになる。
【００３６】
これらのことから本実施形態によれば、目標の特徴量をより安定して算出できるようになり、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することが可能になる。
【００３７】
【発明の効果】
以上詳述したように本発明によれば、目標の特徴量をより安定して算出できるようになり、これにより目標検出性能の向上を図った目標検出装置および目標検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係わる目標検出装置の実施の形態における構成を示す機能ブロック図。
【図２】比較のため従来の目標検出装置においてセグメントが消滅した場合の処理を示す模式図。
【図３】図１に示される目標検出装置においてセグメントが消滅した場合の処理を示す模式図。
【図４】フレーム連結テーブルの内容を消滅補正処理の有無と対応付けて示す図。
【図５】比較のため従来の目標検出装置においてセグメントが分離した場合の処理を示す模式図。
【図６】図１に示される目標検出装置においてセグメントが分離した場合の処理を示す模式図。
【図７】フレーム連結テーブルの内容を分離補正処理の有無と対応付けて示す図。
【符号の説明】
Ｍ２…ラベルテーブルメモリ
Ｍ３…画像メモリ
Ｔ２…特徴テーブル
Ｔ３…フレーム連結テーブルメモリ
１…撮像装置
２…Ａ／Ｄ変換回路
３…前処理回路
４…特徴強調回路
５…領域分割回路
６…ラベリング処理部
７…特徴演算処理部
８…フレーム連結テーブル生成処理部
９…補正処理部
１３…目標検出回路
１４…サーボ回路
Claims (6)
- 撮像視野を所定のレートで撮影して順次撮像フレームを出力する撮像手段と、
この撮像手段から出力される各撮像フレームから目標候補となるセグメントを抽出する抽出手段と、
各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベル付与手段と、
このラベル付与手段によりラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算手段と、
時間的に連続する複数の撮像フレームのそれぞれにおける前記ラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するテーブル生成手段と、
前記フレーム連結テーブルに基づく前記セグメントの特徴量の連結性から目標を検出する目標検出手段と、
前記テーブル生成手段で生成されたフレーム連結テーブルを、連続する撮像フレーム間での各セグメントの連結性を保つべく補正して前記目標検出手段に与える補正手段とを具備することを特徴とする目標検出装置。 - 前記補正手段は、現フレームにおいて直前のフレームに含まれるセグメントが消滅した場合に、この消滅したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正することを特徴とする請求項１に記載の目標検出装置。
- 前記補正手段は、現フレームにおいて直前のフレームに含まれるセグメントが分離した場合に、この分離したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正することを特徴とする請求項１に記載の目標検出装置。
- 撮像視野を所定のレートで撮影して撮像フレームを得る撮像ステップと、
この撮像ステップで得られる各撮像フレームから目標候補となるセグメントを抽出する抽出ステップと、
この抽出ステップで抽出された各撮像フレーム毎に含まれるセグメントにそれぞれを区別するためのラベルを付与するラベル付与ステップと、
このラベル付与ステップでラベルの付与されたセグメントの特徴量を各撮像フレーム毎に算出する特徴演算ステップと、
時間的に連続する複数の撮像フレームのそれぞれにおける前記ラベル間の対応関係をテーブル化したフレーム連結テーブルを生成するテーブル生成ステップと、
前記フレーム連結テーブルに基づく前記セグメントの特徴量の連結性から目標を検出する目標検出ステップと、
前記テーブル生成手段で生成されたフレーム連結テーブルを、連続する撮像フレーム間での各セグメントの連結性を保つべく補正する補正ステップとを具備することを特徴とする目標検出方法。 - 前記補正ステップは、現フレームにおいて直前のフレームに含まれるセグメントが消滅した場合に、この消滅したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正するステップであることを特徴とする請求項４に記載の目標検出方法。
- 前記補正ステップは、現フレームにおいて直前のフレームに含まれるセグメントが分離した場合に、この分離したセグメントの特徴量を所定のフレーム数にわたり保持することにより前記フレーム連結テーブルを補正するステップであることを特徴とする請求項４に記載の目標検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273687A JP2004110542A (ja) | 2002-09-19 | 2002-09-19 | 目標検出装置および目標検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273687A JP2004110542A (ja) | 2002-09-19 | 2002-09-19 | 目標検出装置および目標検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004110542A true JP2004110542A (ja) | 2004-04-08 |
Family
ID=32270380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002273687A Pending JP2004110542A (ja) | 2002-09-19 | 2002-09-19 | 目標検出装置および目標検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004110542A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129591A1 (ja) * | 2006-05-09 | 2007-11-15 | Pioneer Corporation | 遮蔽物映像識別装置及び方法 |
| JP2007327692A (ja) * | 2006-06-07 | 2007-12-20 | Toshiba Corp | 目標検出装置及び飛しょう体 |
| JP2008015814A (ja) * | 2006-07-06 | 2008-01-24 | Megachips System Solutions Inc | 画像解析装置および対象物認識方法 |
| US8045757B2 (en) | 2006-06-15 | 2011-10-25 | Sony Corporation | Image monitoring system and object area tracking method |
-
2002
- 2002-09-19 JP JP2002273687A patent/JP2004110542A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129591A1 (ja) * | 2006-05-09 | 2007-11-15 | Pioneer Corporation | 遮蔽物映像識別装置及び方法 |
| JP4913801B2 (ja) * | 2006-05-09 | 2012-04-11 | パイオニア株式会社 | 遮蔽物映像識別装置及び方法 |
| US8311269B2 (en) | 2006-05-09 | 2012-11-13 | Pioneer Corporation | Blocker image identification apparatus and method |
| JP2007327692A (ja) * | 2006-06-07 | 2007-12-20 | Toshiba Corp | 目標検出装置及び飛しょう体 |
| US8045757B2 (en) | 2006-06-15 | 2011-10-25 | Sony Corporation | Image monitoring system and object area tracking method |
| JP2008015814A (ja) * | 2006-07-06 | 2008-01-24 | Megachips System Solutions Inc | 画像解析装置および対象物認識方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yow et al. | Analysis and presentation of soccer highlights from digital video | |
| US8538276B2 (en) | Method and apparatus for visible light communication with image processing | |
| US10515471B2 (en) | Apparatus and method for generating best-view image centered on object of interest in multiple camera images | |
| US20050264703A1 (en) | Moving image processing apparatus and method | |
| JP2013162333A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP2015177470A (ja) | 抽出プログラム、方法、及び装置 | |
| JP2006094560A (ja) | カメラ揺れ補正方法および画像システム | |
| JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
| JP3776514B2 (ja) | カメラ揺れ補正方法および画像監視システム | |
| US20140286625A1 (en) | Video playback apparatus and video playback method | |
| JP2011071573A (ja) | 画像処理装置 | |
| KR100831132B1 (ko) | 특징 영상 검출 방법 및 장치 | |
| JP2007164690A (ja) | 画像処理装置及び画像処理方法 | |
| KR101665175B1 (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
| JP2005346425A (ja) | 自動追尾装置及び自動追尾方法 | |
| JP2004110542A (ja) | 目標検出装置および目標検出方法 | |
| JP5003666B2 (ja) | 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法 | |
| KR102299565B1 (ko) | 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치 | |
| JP2005223796A (ja) | 画素欠陥補正装置 | |
| JP2010109461A (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
| JP2007017081A (ja) | 赤外線誘導装置及び赤外線誘導方法 | |
| JP2011101352A (ja) | 画像生成装置、再生装置、再生システム、画像生成方法および再生方法 | |
| EP2922060A1 (en) | Extraction method and device | |
| JP3668092B2 (ja) | 画像処理装置及びこれを用いた目標検出追随装置 | |
| JP2007043285A (ja) | 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061219 |