JP2014059710A - 対象物検出装置および対象物検出方法 - Google Patents

Abstract

【課題】画像データからより確実に移動対象物を検出する。
【解決手段】画像データ取得部１００により移動する電磁波画像データを規定のレートで順次取得し、輝度帯指定部１０１により前記電磁波画像データの輝度階調に対して一部の輝度帯を指定し、領域抽出部１０２により前記電磁波画像データに対して前記指定された輝度帯の値を示す領域を抽出し、特徴点抽出部１０３により前記領域の形状特徴から複数の特徴点を抽出し、対応付け処理部１０４により前記順次取得される複数の電磁波画像データにわたり類似した特徴点を対応付け、３次元算出部１０５により前記特徴点の対応付け結果から前記特徴点の３次元位置を算出し、対象物検出部１０６により前記特徴点の３次元位置の集合から距離が最も離れた３次元位置を示す特徴点を対象物として検出する。
【選択図】 図１

Description

本発明は、例えば誘導飛翔体の発射装置もしくは誘導飛翔体自身に搭載され、対象物を検出し追跡するために用いられる対象物検出装置および対象物検出方法に係り、特に自身も移動している中、移動する対象物を検出する技術に関する。

飛来する目標対象物（以下、移動対象物）に向けて地上または空中から発射される誘導飛翔体を誘導する誘導システムにあっては、赤外線カメラ等の撮像機器を利用する方法が知られている。この方法は、撮像機器で移動対象物の方向を撮影し、撮影によって取得された赤外線等による画像データを画像処理することにより輝度領域分布による画像を生成する。そして、画像中の高輝度領域を移動対象物として抽出し、抽出された各領域の輝度最大値、最小値、平均輝度、大きさなどの画像特徴量を演算し、これらの画像特徴量を基に、予め用意される画像パターンに最も近い領域を移動対象物として検出し追跡誘導する。

しかしながら、実際には、上空から目標検出を試みる場合、地表や雲のような対象物と紛らわしい物体が画像内に入り込んで、移動対象物の背景にその移動対象物と同様な輝度を示す領域が存在することが多々ある。この場合、画像特微量だけでは移動対象物を背景と区別して的確に検出することが困難である。そこで、従来では、このような状態においても的確に移動対象物を検出するために、連続的に得られる各画像データから関連領域を抽出し、各領域の動きを反映する特微量を抽出し、これを基に移動対象物を背景と区別する技術が存在する。

但し、既存の技術の多くは、赤外線画像のうち輝度の高い領域を抽出し、抽出された領域の重心の座標をその領域の位置として定義し、各領域の位置（重心座標）の移動により、移動する対象物として検出するようにしている。

しかしながら、上記の手法では、コントラストの変化やノイズの影響によって領域の形状が変化するので、重心の座標も容易に変化してしまうことになる。このため、領域が静止している状態でもコントラストの変化やノイズの影響により重心位置が変化し、誤った領域の動きが検出されることがある。このような誤検出は、目標とする移動対象物が近くに存在し、その見かけ上の動きが大きければあまり影響しないが、目標が遠方に存在し見かけ上の動きの大きさが微小であれば深刻な影響を及ぼすことになる。

例えば、特許文献１にある目標検出装置は、ガウス分布形状で作成したテンプレートと赤外線画像データ上の像をマッチングさせることにより、遠方にある見かけ上小さい対象物を検出することを可能としているが、対象物の元々の像が小さいために、同程度の大きさを持った像が同じ画像内に存在した場合に誤識別を起こしてしまう可能性があった。

特開２００９−６９０１９号公報 特開２００７−１７１０７７号公報 特許４１５２６９８号公報

以上のように、既存の対象物検出技術では、コントラストの変化やノイズの影響により重心位置が変化し、誤った領域の動きが検出されることがあり、移動対象物が遠方に存在して見かけ上の像の動きが微小な場合には、同じ画像内に存在する同程度の像を誤検出してしまうおそれがある等、深刻な影響を及ぼすことになる。

本実施形態は上記の問題を解決するためになされたもので、取得した画像のコントラストの変化やノイズの影響を受けることなく、その画像からより確実に移動対象物を検出することができ、特に低空を飛行する対象物の検出性能をより高めることのできる対象物検出装置及び対象物検出方法を提供することを目的とする。

上記の課題を解決するために、本実施形態によれば、画像データ取得手段により移動する電磁波画像データを規定のレートで順次取得し、輝度帯指定手段により前記電磁波画像データの輝度階調に対して一部の輝度帯を指定し、領域抽出手段により前記電磁波画像データに対して前記指定された輝度帯の値を示す領域を抽出し、特徴点抽出手段により前記領域の形状特徴から複数の特徴点を抽出し、特徴点対応付け手段により前記順次取得される複数の電磁波画像データにわたり類似した特徴点を対応付け、３次元算出手段により前記特徴点の対応付け結果から前記特徴点の３次元位置を算出し、対象物検出手段により前記特徴点の３次元位置の集合から距離が最も離れた３次元位置を示す特徴点を対象物として検出する態様とする。

実施形態１に係る対象物検出装置の構成及び機能を示すブロック図。 実施形態１に係る対象物検出装置の画像データ取得部の動作例を説明するための図。 実施形態１に係る対象物検出装置の輝度帯指定部の輝度帯指定例を説明するためのブロック図。 実施形態１に係る対象物検出装置の領域抽出部の動作例を説明するための図。 実施形態１に係る対象物検出装置の特徴点抽出部の動作例を説明するための図。 実施形態１に係る対象物検出装置の特徴点抽出部の他の動作例を説明するための図。 実施形態１に係る対象物検出装置の対応付け処理部の動作例を説明するための図。 実施形態１に係る対象物検出装置の対応付け処理部の他の動作例を説明するための図。 実施形態１に係る対象物検出装置の対象物検出部の動作例を説明するための図。 実施形態１に係る対象物検出装置の処理の流れを示すフローチャート。 実施形態２に係る対象物検出装置の構成及び機能を示すブロック図。

以下、図面を参照して本実施形態に係る対象物位置検出装置を説明する。

（実施形態１）
まず、図１から図１０を参照して実施形態１を説明する。

図１は、実施形態１における対象物検出装置の構成及び機能を示すブロック図である。この対象物検出装置は、電磁波画像データを取得する画像データ取得部１００と、上記電磁波画像データの輝度階調に対して一部の輝度帯を指定する輝度帯指定部１０１と、上記電磁波画像データに対して輝度帯指定部１０１により指定された輝度帯の値を示す領域を抽出する領域抽出部１０２と、上記電磁波画像データから特徴点を抽出する特徴点抽出部１０３と、複数の画像データにわたる特徴点を対応付ける対応付け処理部１０４と、特徴点の対応付け情報から特徴点の３次元位置を算出する３次元算出部１０５と、上記３次元算出結果から特徴点の位置を識別し距離が最も離れている特徴点を対象物として検出する対象物検出部１０６とから構成され、電磁波画像データから対象物を検出するものである。

以下に、本実施形態１の対象物検出装置の各処理部の動作について説明する。

本実施形態１の対象物検出装置において、まず、画像データ取得部１００は、例えば赤外線カメラによって電磁波画像データ３００として赤外線画像を取得し、一定のレートで画像データを出力する。この画像データ取得部１００には、同じ視野内の画像データから複数の波長帯の画像データを取得する機能が備わるものとする。例えば、２波長帯の赤外線画像データを取得するには、図２に示すような構成が考えられる。

図２に示す画像データ取得部１００は、撮像方向を対象物が存在すると思われる方向に指向させ、その対象物の像をレンズ２００で取り込み、レンズ２００の後部に配置したダイクロイックミラー２０１により中波長赤外線センサ２０２および長波長赤外線センサ２０３に案内する構成である。ここで、ダイクロイックミラー２０１は、入射された赤外線画像のうち、長波長赤外線を透過し、中波長赤外線を反射するものとする。その透過方向に長波長赤外線センサ２０３を配置し、反射方向に中波長赤外線センサ２０２を配置しておく。これにより、各センサ２０２，２０３から同時に２波長の赤外線画像が得られる。尚、両センサ２０２，２０３への対象物の像の案内については、多焦点レンズを利用して、各焦点位置に中波長赤外線センサ２０２、長波長赤外センサ２０３を配置するようにしてもよい。

輝度帯指定部１０１は、上記電磁波画像データの輝度階調に対して一部の輝度帯をユーザーが任意に指定可能とする。例えば、電磁波画像データの階調が２５６階調とした場合、２００〜２５０というように設定できるものとする。これにより、例えば図３（ａ）に示す各画素位置の輝度レベルに対して、図３（ｂ）に示すように複数の輝度帯（Ａ，Ｂ）を設定することができる。Ｎ個の輝度帯を設定した場合には、領域抽出部１０２による抽出結果画像がＮ枚出力され、そのＮ枚の出力に対して特徴点抽出部１０３から対応付け処理部１０４が順次Ｎ回繰り返されることになる。例えば、図３（ｂ）に示すように輝度帯Ａおよび輝度帯Ｂが設定された場合、領域抽出部１０２からは、図４（ａ）および（ｂ）に示すような画像データが出力され、それぞれに異なった領域３０２ａおよび３０２ｂが得られる。

領域抽出部１０２は、上記輝度帯指定部１０１によって指定された輝度帯の領域を抽出する。つまり、指定された輝度帯外の値を示す領域の輝度を０に設定する。

特徴点抽出部１０３は、上記領域抽出部１０２において抽出された領域から特徴的な箇所を特徴点として抽出する。例えば、抽出された領域の重心、もしくは領域内の最大輝度を示す位置を特徴点として抽出する。

図５は特徴点抽出部１０３の抽出例として、画像データ３００から、抽出領域３０２の重心３０１を特徴点として抽出される場合を示している。実際には画像データ３００上に複数の特徴点が抽出される。

さらに、他の特徴点を抽出する方法としては、図６（ａ），（ｂ）に示すように画像データ中に局所領域３０３を設定し、その局所領域内の輝度の分散が大きい箇所を特徴点３０４として抽出することが考えられる。つまり、輝度が急激に変化する箇所が特徴点として抽出される。

対応付け処理部１０４は、特徴点抽出部１０３で抽出された特徴点を複数の画像データ間で対応付ける処理を実行する。基本的な処理としては、図７に示すように、画像データ３００ａ及び３００ｂ間の特徴点同士の類似度を算出して比較し合い、最も類似している特徴点同士を対応付ける。つまり、画像データ３００ａのどの（ｘ，ｙ）座標と画像データ３００ｂのどの（ｘ，ｙ）座標が対応しているか、特徴点の数分の組み合わせが得られることになる。類似度の算出は、特徴点の周りに同サイズの領域３０５を設定し、その領域の相関を計算すればよい。

ここで、対応付けの際に、本対象物検出装置の移動方向を考慮すると、対応付けの精度を向上させると共に、処理量を軽減させることが可能となる。例えば、地表に対してほぼ平行して飛行している場合に、連続的に取得される画像データを観察すると、図８（ａ），（ｂ）に示すように画像データ３００ａの特徴点の移動３０６がある一定方向へ限定されるように見える。その移動方向の近い位置に沿って特徴点が移動することを考慮し、図８（ｃ）に示すように検索範囲３０７を設定する。これにより、対応付けの候補を絞り込むことができ、より精度を向上させることができる。

３次元算出部１０５は、対応付け処理部１０４で得られた対応付け情報から特徴点それぞれの３次元位置を算出する。一般に、異なる角度から撮影された画像から、撮影対象の３次元立体構造を再構成する技術は確立しており、この対応付けの情報を得ることができれば、特徴点の３次元位置情報を得ることができる。特許文献２および３は、これら技術に対する公知例である。３次元算出部１０５においては、これらの技術を利用することで、特徴点同士の相対的な３次元位置関係が算出されることになる。

上記対応付け処理部１０４にあっては、対応付けが実施されるとともに、その対応付けにおける類似度も計算される。抽出される特徴点が多い場合、誤った対応付けも含まれる確率が高くなるが、類似度の高い対応付けを取捨選択することで、３次元位置の算出の正確さを向上させることができるとともに、特徴点の取捨選択も可能となる。

前述の輝度帯指定部１０１において、輝度帯を複数Ｎ個指定することで、領域抽出部１０２、特徴点抽出部１０３、対応付け処理部１０４における処理がＮ回実施されることになる。さらに、画像データ取得部１００において、Ｍ枚の画像が取得される場合、Ｎ×Ｍ回実施されることになる。複数回実施することで、抽出される特徴点数及び対応付け情報数が増加することになり、３次元算出部１０５において再構成される３次元情報の精度を向上させることができる。

次に対象物検出部１０６は、３次元算出部１０５により算出された特徴点の３次元位置を基に対象物を検出する。図９に示すように、地表面上に該当する特徴点の集合４００と対象物の特徴点４０１が識別される。ここでは、地表面上の点は、近似してある２次元面上近くに存在する特徴点を地表面上の物体の特徴点とし、その面から距離が大きく離れている特徴点が対象物として検出されることとなる。つまり、３次元空間上で最も各特徴点との距離が最も近くなる平面もしくは曲面を推定し、同面から最も距離が離れた特徴点４０１を対象物として検出する。

また、対象物は移動しており、地表面の特徴点およびその３次元位置が安定的に得られる場合は、地表面の特徴点に対して、対象物の特徴点は時間的に変動する。この３次元位置の時間的な変化量を比べることでも、対象物の特徴点を識別することが可能となる。

さらに地表が平面と見なせる状況であれば、対応付け処理部１０４で得られた対応付け情報から求められるホモグラフィ行列を用いて、対象物を検出することが可能である。ホモグラフィ行列は２枚の画像上に撮像される平面の位置関係を示しており、４組の対応付け情報から求めることが可能である。例えば、ｋ＝１番目の画像上のある特徴点の斉次座標をｘ_１ ＝ [ｘ_１ ，ｙ_１ ，１] ^Tとし、それに対応するｋ＝２番目の画像における特徴点の斉次座標をｘ₂ ＝ [ｘ₂ ，ｙ₂ ，１] ^Tとしたとき、式（１）を成立させる行列Ｈをホモグラフィ行列とする。
s・ｘ₂ ＝ Ｈｘ₁ …(1)
ここでsはスケーリングファクターとする。

基本的に４組の対応付け情報があれば求めることができるが、それ以上の対応付け情報がある場合は、一般的に知られているＲＡＮＳＡＣ法を利用することにより、誤対応除去しながら、最も確からしいホモグラフィ行列Ｈを求めることができる。

ホモグラフィ行列Ｈが求まった後、特徴点の座標値を式（１）に代入し、変換後の距離Ｄが最も大きい対応付けを示す特徴点を対象物として検出するものとする。
Ｄ＝||s・ｘ₂ −Ｈｘ₁ || …(2)
同一面上にある点については、Ｄ＝０が成立するため、地表面上に載らない対象物はＤが最大となると考えられる。

ここで、地表上の特徴点は静止物であるが、対象物は動くことを想定しているため、対象物に該当する３次元位置情報は検出するための情報であって、実際の３次元位置を示しているものではないことに注意する必要がある。この逸脱する３次元位置情報を持つ特徴点を２次元画像データ上で追跡することとなる。

図１０に本実施形態の対象物検出装置における処理のフローチャートを示す。まず、画像データ取得部１００で赤外線画像データを取得し（ステップＳ１）、輝度帯指定部１０１により予め設定（ステップＳ２）される任意の輝度帯により、領域抽出部１０２で輝度帯毎の領域を抽出し（ステップＳ３）、特徴点抽出部１０３にて各領域から特徴点を抽出する（ステップＳ４）。続いて、対応付け処理部１０４にて複数の画像データ間の特徴点を対応付け（ステップＳ５）、３次元算出部１０５にて特徴点の対応付け結果から特徴点それぞれの３次元位置を算出し（ステップＳ６）、対象物検出部１０６にて特徴点の３次元位置を分別し、対象物を検出して（ステップＳ７）、一連の処理を終了する。

ここで、画像データ取得部１００において取得される画像がＭ枚であり、輝度指定部１０１において指定される輝度帯Ｎ個である場合、処理Ｓ３〜処理Ｓ５がＭ×Ｎ回実行されることになる。

以上説明したように本実施形態１では、画像上の特徴点の対応付けから、特徴点の相対的な３次元位置関係が算出され、地表面上の特徴点の集合から最も距離の離れた特徴点が対象物として検出されるため、対象物をより高精度に検出することができる。また、複数の波長帯の電磁波画像と複数の輝度帯の設定に従って特徴点を抽出するようにしているので、地表面を正確に把握することができる。この結果、対象物の背景に、２次元的に対象物の像と似通った像が写りこんでいても、３次元位置情報で検出されるため、誤検出を防ぐことができ、検出性能を高めた対象物検出装置を提供することが可能である。

（実施形態２）
図１１を用いて実施形態２に係る対象物検出装置を説明する。

図１１は、実施形態２における対象物検出装置の構成とその機能を示している。本実施形態２では、実施形態１における対象物検出装置の構成において、高度情報取得部１０７と、姿勢情報取得部１０８が加えられる。

以下に、本実施形態２の対象物検出装置の各処理部の動作について、主に本実施形態１と異なる部分を中心に説明する。

まず、実施形態１と同様に、画像データ取得部１００で画像データが取得されるが、それと同時に高度情報取得部１０７により本対象物検出装置が存在する高度が取得され、姿勢情報取得部１０８により画像データ取得部１００が指向している方向・姿勢情報が取得される。例えば、高度情報取得部１０７はＧＰＳから位置情報を取得するものや、圧力計による気圧の変化により高度を測定するものが考えられる。また、姿勢情報取得部１０８に関しては、ジャイロセンサなどが考えられる。

これらの高度および姿勢情報が対象物検出部１０６に入力されれば、対象物検出装置自体の指向方向が分かるため、地表面の方向を検知することができる。例えば、対象物検出装置は、飛行中に回転し姿勢が変化する可能性があり、地表面の方向が分からず、特徴点も少ない場合、地表面上の特徴点の集合を特定することができない可能性がある。しかしながら、地表方向が分かれば、地表面上の特徴点に該当する、面上に近い特徴点の集合を特定しやすくなり、対象物検出部１０６における誤検出を防ぐことができる。

以上のように、本実施形態２の対象物検出装置によれば、３次元情報を基に対象物を検出する際に、自身の位置および姿勢を把握することができ、さらに地表面の特徴点と対象物との識別性能が向上し、より確実に誤検出を防ぐことができる。

尚、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…画像データ取得部、１０１…輝度帯指定部、１０２…領域抽出部、１０３…特徴点抽出部、１０４…対応付け処理部、１０５…３次元算出部、１０６…対象物検出部、１０７…高度情報取得部、１０８…姿勢情報取得部。

Claims (11)

1. 移動する電磁波画像データを規定のレートで順次取得する画像データ取得手段と、
   前記電磁波画像データの輝度階調に対して一部の輝度帯を指定する輝度帯指定手段と、
   前記電磁波画像データに対して前記輝度帯指定手段により指定された輝度帯の値を示す領域を抽出する領域抽出手段と、
   前記領域の形状特徴から複数の特徴点を抽出する特徴点抽出手段と、
   前記順次取得される複数の電磁波画像データにわたり類似した特徴点を対応付ける特徴点対応付け手段と、
   前記特徴点の対応付け結果から前記特徴点の３次元位置を算出する３次元算出手段と、
   前記特徴点の３次元位置の集合から距離が最も離れた３次元位置を示す特徴点を対象物として検出する対象物検出手段と、
   を具備することを特徴とする対象物検出装置。
2. 前記画像データ取得手段は、複数の波長帯の電磁波データを同じ視野で同時に取得する機能を有することを特徴とする請求項１記載の対象物検出装置。
3. 前記領域抽出手段は、前記領域の抽出対象となる輝度帯を予め複数設定し、各々の輝度帯ごとの領域抽出結果を複数取得することを特徴とする請求項１記載の対象物検出装置。
4. 前記特徴点抽出手段は、前記領域抽出手段にて抽出された領域の重心を特徴点とする機能を有することを特徴とする請求項１記載の対象物検出装置。
5. 前記特徴点抽出手段は、前記領域抽出手段にて抽出された領域中のピークを特徴点とする機能を有することを特徴とする請求項１記載の対象物検出装置。
6. 前記特徴点抽出手段は、任意に設定されるサイズの局所領域中において輝度の分散が大きい局所領域の中心位置を特徴点として検出する機能を有することを特徴とする請求項１記載の対象物検出装置。
7. 前記特徴点対応付け手段は、前記電磁波画像データの進行方向に拘束し対応付けることを特徴とする請求項１記載の対象物検出装置。
8. 前記特徴点対応付け手段は、それぞれの対応付けに特徴点同士の類似度を保持する機能を有し、
   前記３次元算出手段は、前記類似度の高い対応付けを利用し３次元位置を算出する機能を有することを特徴とする請求項１記載の対象物検出装置。
9. 前記対象物検出手段は、前記３次元算出された特徴点の３次元位置の履歴を参照して最も移動量のある特徴点を対象物として検出する機能を有することを特徴とする請求項１記載の対象物検出装置。
10. さらに、高度情報を取得する高度情報取得手段と、姿勢情報を取得する姿勢情報取得手段とを備え、前記対象物検出手段は前記高度情報と前記姿勢情報から地表面の方向を検知し地表面上の特徴点の集合を特定するとともにその集合から最も逸脱する特徴点を対象物として検出する機能を有することを特徴とする請求項１記載の対象物検出装置。
11. 移動する電磁波画像データを規定のレートで順次取得し、
    前記電磁波画像データの輝度階調に対して一部の輝度帯を指定し、
    前記電磁波画像データに対して前記指定された輝度帯の値を示す領域を抽出し、
    前記領域の形状特徴から複数の特徴点を抽出し、
    前記順次取得される複数の電磁波画像データにわたり類似した特徴点を対応付け、
    前記特徴点の対応付け結果から前記特徴点の３次元位置を算出し、
    前記特徴点の３次元位置の集合から距離が最も離れた３次元位置を示す特徴点を対象物として検出することを特徴とする対象物検出方法。

Images