JP2015135274A - 移動体追尾装置及び、移動体追尾方法 - Google Patents

Abstract

【課題】 多くの画像を必要とすることなく、かつ、移動体が非直線運動する場合でも、当該移動体の将来位置を高精度に予測できるようにする。
【解決手段】 現在位置での移動体の画像を画像情報として取り込み、予め登録されているテンプレートと比較することにより、移動体の進行方向を進行方位情報として算出・出力する進行方位取得ユニットと、移動体の現在位置である現在位置情報及び進行方位情報を取得して、移動体が、進行方向に沿って移動した際の将来位置を予測する将来位置予測ユニットと、を備える。
【選択図】 図１

Description

本発明は、移動体追尾装置及び、移動体追尾方法に関する。

遠距離点を高速移動する移動体を光センサにより撮像して、その進路予測を行う方法が提案されている。例えば、特開２００８−１１２２１０号公報においては、移動体の複数の画像を取得し、これらの画像から移動体を検出して、その移動ベクトルを算出する移動体検出手段と、算出した移動ベクトル等を用いて将来位置を予測する位置予測手段と、を備えた構成が開示されている。

なお、将来位置を予測する際には、移動体は直線運動していると仮定し、当該仮定の元で移動ベクトルを用いて移動体の位置を予測する。

特開２００８−１１２２１０号公報

しかしながら、上述した特開２００８−１１２２１０号公報にかかる方法では、移動ベクトルを求める際には、時刻の異なる複数の画像が必要であった。このため、進行方向が変化する移動体では進行方向の推定精度が低い場合があった。

また、移動体が直線運動すると仮定しているため、非直線運動している場合には、適正に将来位置を予測できない問題があった。

そこで、本発明の主目的は移動体の将来位置の予測精度を向上することができる移動体追尾装置及び、移動体追尾方法を提供することである。


そこで、本発明の主目的は、多くの画像を必要とすることなく、かつ、移動体が非直線運動する場合でも、当該移動体の将来位置を高精度に予測できる移動体追尾装置及び、移動体追尾方法を提供することである。

上記課題を解決するため、移動体追尾装置に係る発明は、現在位置での移動体の画像を画像情報として取り込み、予め登録されているテンプレートと比較することにより、移動体の進行方向を進行方位情報として算出・出力する進行方位取得ユニットと、移動体の現在位置である現在位置情報及び進行方位情報を取得して、移動体が、進行方向に沿って移動した際の将来位置を予測する将来位置予測ユニットと、を備えることを特徴とする。

また、移動体追尾方法に係る発明は、現在位置での移動体の画像を画像情報として取り込み、予め登録されているテンプレートと比較することにより、移動体の進行方向を進行方位情報として算出・出力する進行方位取得手順と、移動体の現在位置である現在位置情報及び進行方位情報を取得して、移動体が、進行方向に沿って移動した際の将来位置を予測する将来位置予測手順と、を含むことを特徴とする。

本発明によれば、少なくとも１枚の撮像画像から移動体の進行方位を取得し、これを用いて予測した進行方向を使用して将来位置を予測するので予測精度を向上させることができるようになる。

追尾方法に関する原理を説明する図で、（ａ）は本発明にかかる追尾方法を説明する図、（ｂ）は公知の追尾方法を説明する図である。 実施形態に係る移動体追尾装置のブロック図である。 移動体追尾方法を示すに示すフローチャートである。 画像情報、速度情報、距離情報の説明図で、（ａ）は画像情報の説明図、（ｂ）は速度情報の説明図、（ｃ）は距離情報の説明図である。 対照処理を例示した図である。 視野方位情報の説明図である。 進行速度の導出を説明する図である。 予測した将来位置の誤差を説明する図である。 図２の移動体追尾装置に代わる構成の移動体追尾装置のブロック図である。

＜原理＞
先ず、本実施形態に係る移動体追尾方法の原理について説明する。図１は、移動体の追尾原理を説明する図で、（ａ）は本実施形態に係る原理（以下、本発明原理と記載する）、（ｂ）は従前の原理（以下、公知原理と記載する）に係る原理を示した図である。同図において、撮像画像Ｆには、移動体Ｍが写っている。また、符号Ｐは撮像画像Ｆ内に設定した座標系での移動体Ｍの位置（画素位置）を示している。そこで、移動体Ｍが、位置Ｐに位置していることをＭ（Ｐ）として記載する。そして、時系列情報を添字ｉ，ｊ，ｋで示し、ｉは過去、ｊは現在、ｋは将来を示す。

移動体の将来位置を予測するためには、この移動体の現在位置、速度、進行方向に関する情報が必要である。公知原理によれば、移動体Ｍは等速直線移動していると仮定して、移動体Ｍの進行方向は変化しないとしている。そして、レーダ等により移動体Ｍの速度、現在位置、進行方向を求めて、将来位置を予測する。このとき、進行方向を移動体の過去位置と現在位置とにより求めている。即ち、図１（ｂ）に示すように、過去の位置Ｐｉ及び現在の位置Ｐｊから進行方向を求め、位置Ｐｉから位置Ｐｊ間での距離及び所要時間ｔ１から速度を求める。そして、進行方向及び速度を用いて、現在の位置Ｐｊから時間ｔ２後の位置Ｐｋを予測する。従って、予測した位置Ｐｋに撮像装置を向けて撮像するならば、移動体Ｍを撮像することができる（追尾することができる）。

しかし、このような追尾方法は、先に説明したように、移動体Ｍが等速直線運動しているとの仮定の下で成り立つ。従って、非直線運動する移動体Ｍの場合は、時間ｔ２後には位置Ｐｋに位置せず、位置Ｐｋ'に位置するので、予測した位置Ｐｋに撮像装置を向けても移動体を撮像（追尾）することができない。

これに対し、本発明原理では、図１（ａ）に示すように、現在の撮像画像Ｆｊから進行方向を求める。また、レーダ等からの情報を利用して、速度及び現在位置を求めて、将来の位置Ｐｋを予測する。従って、移動体Ｍが直線運動しているか非直線運動しているかにかかわらず、将来位置Ｐｋが予測できるため、追尾することができる。

次に、このような移動体追尾方法の原理に基づく移動体追尾装置２について説明する。図２は、本実施形態に係る移動体追尾装置２のブロック図である。この移動体追尾装置２は、進行方位取得ユニット１１、現在位置算出ユニット１２、将来位置算出ユニット１３を主要構成とする。

なお、図２に示す移動体追尾装置２は、撮像装置４ａやレーダ４ｂ（電波レーダやレーザレーダ等）を備える計測ユニット４を含まない場合を示した。これは、撮像装置４ａやレーダ４ｂは、種々の目的で設置されているので、本実施形態に係る移動体追尾装置２は、既存の設備（撮像装置４ａやレーダ４ｂ等）を利用する場合を例示したものである。しかし、当該移動体追尾装置２に、撮像装置４ａやレーダ４ｂを含めることは、本発明の趣旨を逸脱するものではない。

撮像装置４ａは、ＣＣＤカメラ等を搭載して、移動する移動体を撮像して画像情報Ｇ１として出力する。また、レーダ４ｂは、移動体の速度に関する情報（以下、速度情報）Ｇ２や移動体までの距離に関する情報（以下、距離情報）Ｇ３を検出する。移動体の速度に関する情報として、ドップラ信号が例示できるが、本実施形態は当該ドップラ信号に限定するものではない。

進行方位取得ユニット１１は、テンプレート記憶部１１ａ、抽出画像解析部１１ｂを含んでいる。

テンプレート記憶部１１ａは、テンプレートを予め格納している。このテンプレートは、例えば移動体が航空機の場合には、コクピット、主翼、尾翼等の位置関係を特徴点として含む航空機の３次元データの画像又は３次元情報からなる数値データが例示できる。

抽出画像解析部１１ｂは、画像情報Ｇ１の中から移動体のみの画像を抽出する。以下、当該抽出処理により得られた画像を抽出画像と記載し、この抽出画像に関する情報を抽出画像情報Ｇ４と記載する。そして、抽出画像解析部１１ｂは、抽出画像とテンプレートとの対照処理を行って、撮像装置４ａに対する移動体の進行方向を３次元座標で決定し、これを進行方位情報Ｇ５として出力する。

この進行方位情報を取得する方法として、例えば特開平０９−９−３３６４９号公報に開示されている方法が適用できる。この方法では、レーダエコーを処理して得られるＩＳＡＲ画像上に複数の点を指定し、各点間の２次元面上の相対位置関係を求める。そして、目標の３次元形状モデルデータベースから任意に選択される３次元形状モデルについてＩＳＡＲ画像上の複数の点に対応する対応点を求め、各対応点間の３次元空間における相対位置関係を求めることで、進行方向を推定する。

無論、進行方位情報を取得する方法として、上述した方法に限定するものではなく、他の公知の方法も適用可能である。テンプレートの画像は、先に述べたように、３次元データの画像又は３次元情報からなる数値データでもよい。この場合、テンプレートの画像を３次元回転させ、また拡大縮小して、そのときのテンプレート画像と抽出画像とを対照して差分を求める。そして、この差分が最も少なくなるときの回転量から進行方向を求めることが可能である。

現在位置算出ユニット１２は、目標方位解析部１２ａ、目標位置解析部１２ｂを含んでいる。

目標方位解析部１２ａは、抽出画像に含まれる移動体の画素位置と、撮像装置４ａの指向方向（視線方向）、画角、画素数等の条件とから、移動体の視野方位を決定し、これを視野方位情報Ｇ６として出力する。なお、視野方位とは、観測地点と移動体とを結ぶ線分のなす方向であり、ここでは撮像装置４ａから見た移動体の視線方向である。

目標位置解析部１２ｂは、レーダ４ｂからの距離情報Ｇ３と目標方位解析部１２ａからの視野方位情報Ｇ６とに基づき、移動体の現在位置を３次元座標で求め、これを現在位置情報Ｇ７として出力する。

将来位置算出ユニット１３は、将来位置予測部１３ａ、目標位置誤差解析部１３ｂを含んでいる。

将来位置予測部１３ａには、レーダ４ｂからの速度情報Ｇ２、抽出画像解析部１１ｂからの進行方位情報Ｇ５、目標位置解析部１２ｂからの現在位置情報Ｇ７が入力する。そこで、将来位置予測部１３ａは、これらの情報を用いて移動体の将来位置を予測し、予測結果を将来位置情報Ｇ８として出力する。

移動体の将来位置を予測する際には、移動体の現在位置、進行方向、速度が必要になる。現在位置は現在位置情報Ｇ７から求めることができ、進行方向は進行方位情報Ｇ５から求めることができる。

しかし、速度情報Ｇ２が示す速度（以下、視線速度と記載する）は、移動体の視線方向（レーダから見た移動体の方向）の速度であり、移動体の進行方向の速度（以下、進行速度と記載する）ではない。そこで、速度情報Ｇ２が示す視線速度を速度成分とする進行速度を求める。即ち、進行速度の視線方向成分が、視線速度となるように進行速度を算出する。

ところで、将来位置予測部１３ａには、目標位置誤差解析部１３ｂから位置誤差補正情報Ｇ９も入力している。そこで、将来位置予測部１３ａは、位置誤差補正情報Ｇ９に基づき、少なくとも進行方位情報Ｇ５、速度情報Ｇ２、現在位置情報Ｇ７の１つの情報を補正して、補正された情報を用いて進行速度を求める。

目標位置誤差解析部１３ｂは、目標位置解析部１２ｂからの現在位置情報Ｇ７と将来位置予測部１３ａからの将来位置情報Ｇ８とに基づき、当該将来位置情報Ｇ８の誤差を求める。但し、将来位置情報Ｇ８が、時刻ｔ１の時の移動体の位置であったとすると、現在位置情報Ｇ７が示す移動体の位置も時刻ｔ１の時の位置である。このようにして、予測した位置（将来位置情報Ｇ８が示す移動体の将来位置）と実際の位置（現在位置情報Ｇ７が示す現在位置）との差分から、進行方位情報Ｇ５、速度情報Ｇ２、現在位置情報Ｇ７に対する補正量を算出する。そして、上述したように、将来位置予測部１３ａは、この補正量を用いて、補正された移動体の進行速度を求める。

なお、補正処理は、進行方位情報Ｇ５に対して優先的に行うことが好ましい。これは速度情報Ｇ２がレーダ４ｂの性能に依存し、また現在位置情報もレーダ４ｂや撮像装置４ａの性能に依存する計測装置に由来する誤差が主であるのに対して、進行方位情報Ｇ５は対照処理の対照精度に依存した解析誤差が主であるためである。

目標位置誤差解析部１３ｂは、算出した補正値を数回分記憶して、当該補正量が収束傾向にあるか否かを判断する。そして、収束傾向にある場合は、補正量は変更せずに将来位置予測部１３ａに出力し、収束傾向にない場合は補正算出処理を継続する。

次に、上述した移動体追尾装置２の詳細な構成を、図３を参照して説明する。なお、図３は、移動体追尾方法を示すに示すフローチャートである。

ステップＳ１： 移動体追尾装置２は、撮像装置４ａやレーダ４ｂ等の計測ユニット４からの計測値（画像情報Ｇ１、速度情報Ｇ２、距離情報Ｇ３）を取り込む。図４（ａ）〜図４（ｃ）は、これら画像情報Ｇ１、速度情報Ｇ２、距離情報Ｇ３の説明図である。図４（ａ）は、画像情報Ｇ１を例示し、この画像情報Ｇ１には、移動体として航空機が写ると共に、背景として雲等が写っている。また、図４（ｂ）は速度情報Ｇ２の説明図で、移動体は、レーダ４ｂの視線方向に視線速度１００ｍ／ｓで接近している場合を例示している。さらに、図４（ｃ）は距離情報Ｇ３の説明図で、移動体は、レーダ４ｂから視線方向に１０ｋｍ離れた位置に存在している場合を例示している。

ステップＳ２： そこで、抽出画像解析部１１ｂは、画像情報Ｇ１から抽出画像情報Ｇ４を作成する。抽出画像情報Ｇ４の作成は、図４（ａ）に示すような画像情報Ｇ１から、背景を差し引くことにより行う。これにより画像情報Ｇ１から移動体が抽出され画像が得られる。

ステップＳ３：このような抽出画像情報Ｇ４を作成した後、抽出画像解析部１１ｂは、この抽出画像情報Ｇ４を出力すると共に、当該抽出画像情報Ｇ４から、対照処理により進行方位情報Ｇ５を求める。

この対照処理は、テンプレート記憶部１１ａからテンプレートを読み出し、抽出画像情報Ｇ４と比較する処理である。図５は、このような対照処理を例示した図である。テンプレート記憶部１１ａから任意のテンプレートを読み出し、抽出画像情報Ｇ４と比較（対照）する。そして、抽出画像情報Ｇ４とテンプレートとの差分が、予め設定した閾値より小さい場合には、当該比較したテンプレートと抽出画像情報Ｇ４とは種別が同じであると判断する。種別が同じであるとは、テンプレートが航空機の画像である場合には、抽出画像情報Ｇ４に含まれる移動体は航空機であると判断することに対応する。以下、移動体の種別が航空機の場合を例に説明する。

ステップＳ４： 次に、抽出画像解析部１１ｂは、抽出画像情報Ｇ４から移動体の種別に対応した特徴点の位置を判断する。例えば、移動体が航空機の場合、抽出画像情報Ｇ４の画像からコクピット、主翼、尾翼等の予め設定された特徴部位の位置を判断する。そして、特徴部位の位置関係から移動体の進行方向を３次元座標で決定する。

テンプレートが３次元画像であるので、このテンプレートを回転させ、また拡大縮小させることにより、テンプレートにおける航空機を抽出画像情報Ｇ４における航空機に重ね合わせることができる。このときのテンプレートを回転量から、移動体の進行方向が得られる。

ステップＳ５： 目標方位解析部１２ａは、図６に示すように、抽出画像情報Ｇ４における移動体の位置から、移動体の方位を判断して、視野方位情報Ｇ６として出力する。

例えば、図６に示す場合、抽出画像情報Ｇ４は水平６４０画素で画角２°、垂直４８０画素で画角１．５°の画像情報であるとすると、移動体は、水平軸方向に中心から１６０画素、垂直軸方向に中心から１２０画素に位置している。このとき、抽出画像情報Ｇ４の中心が撮像装置４ａの現在の指向方向（視線方向）であるとすると、移動体は、視線方向から水平軸方向に約０．５°、垂直軸方向に約０．３８°の方位に位置していること判断できる。

ステップＳ６： 次に、目標位置解析部１２ｂは、距離情報Ｇ３と視野方位情報Ｇ６とを用いて、移動体までの距離を算出して、現在位置情報Ｇ７を出力する。

レーダ４ｂからの距離情報Ｇ３は、移動体とレーダ４ｂとの間の距離を示すだけで、方向に関する情報は含んでいない。そこで、距離情報Ｇ３と視野方位情報Ｇ６とから、移動体の現在位置（レーダ４ｂから○△の方向に、距離△□だけ離れた位置）を算出する。

ステップＳ７： 以上の処理により取得された進行方位情報Ｇ５、速度情報Ｇ２、現在位置情報Ｇ７が将来位置予測部１３ａに入力する。将来位置予測部１３ａは、速度情報Ｇ２から移動体の進行方向における進行速度を求める。

図７は、進行速度の導出を説明する２次元平面図である。移動体の進行方位は進行方位情報Ｇ５から視線方向に対してレーダ４ｂに近づく方向に６０°、視線速度は速度情報Ｇ２からレーダ４ｂに近づく方向に１００ｍ／ｓであるとする。このとき、移動体の進行速度は、視線速度を進行方向上に投影すると２００ｍ／ｓとなる。

ステップＳ８： このようにして、進行速度が算出できたので、将来位置予測部１３ａは、この進行速度、現在位置、進行方向を用いて、現在位置から進行方向に沿った方向に進行速度で移動したとき、所定時間後にどの位置（将来位置）に位置するかを算出する。算出した将来位置は、将来位置情報Ｇ８として出力される。なお、将来位置予測部１３ａには、後述する手順で入力した目標位置誤差解析部１３ｂからの補正値が記憶されている。将来位置予測部１３ａは、進行速度、現在位置、進行方向の少なくとも１つに対して補正値に基づく補正を行い、将来位置を予測する。

ステップＳ９： 目標位置誤差解析部１３ｂは、将来位置情報Ｇ８と移動体現在位置情報Ｇ７との差分から将来位置の誤差を算出し、この誤差に基づき補正量を求める。

図８は、誤差を説明する図で、点αは将来位置情報Ｇ８が示す将来位置を示し、点βは移動体現在位置情報Ｇ７が示す現在位置を示している。図８においては、進行方位情報Ｇ５に主な誤差が含まれていると仮定している。即ち、進行方位情報Ｇ５に基づき算出した進行方向は視野方向に対して６０°の角度であったが、実際の進行方向は５０°の角度であったことを示している。そこで、目標位置誤差解析部１３ｂは、進行方向の角度差（＝１０°）を補正値とする。

ステップＳ１０，Ｓ１１： 目標位置誤差解析部１３ｂは、この補正値を数回分記憶して、その収束性を判断する。この場合、補正値が一定値に近づくようであれば収束性があると判断して、この補正値を将来位置予測部１３ａに出力する。将来位置予測部１３ａはこの補正値を、既に記憶している補正値と置き換える。即ち、補正値を更新する。

一方、補正値が大きくなるようであれば、ステップＳ９に戻る。ステップ９に戻ることは、将来位置予測部１３ａに記憶されている補正値は更新されないことを意味する。

以上説明したように、将来位置の予測に際しては、移動体の過去の位置等の情報が必要とされず、現時点での情報のみで将来位置を予測する。このため、複雑な追尾アルゴリズム等を用いずに、簡単に、かつ、高精度に非直線運動する移動体を追尾することができるようになる。

なお、上記説明では、視野方位情報Ｇ６と距離情報Ｇ３とを用いて、移動体の現在位置を高精度で算出するようにした。しかし、レーダでも例えばアレーアンテナを用いて移動体の現在位置を取得できる場合には、図９に示すように、現在位置算出ユニットを省略することが可能であることを付言する。

２ 移動体追尾装置
４ 計測ユニット
４ａ 撮像装置
４ｂ レーダ
１１ 進行方位取得ユニット
１１ａ テンプレート記憶部
１１ｂ 抽出画像解析部
１２ 現在位置算出ユニット
１２ａ 目標方位解析部
１２ｂ 目標位置解析部
１３ 将来位置算出ユニット
１３ａ 将来位置予測部
１３ｂ 目標位置誤差解析部

Claims (8)

1. 特定タイミングでの移動体の画像を画像情報として取り込み、予め登録されているテンプレートと比較することにより、前記移動体の進行方向を進行方位情報として算出する進行方位解析手段と、
   前記移動体の速度を取得する速度取得手段と、
   前記移動体の位置情報を取得する移動体位置取得手段と、
   前記移動体の特定タイミングでの前記進行方位情報と、前記速度取得手段により取得された特定タイミングでの前記移動体の速度と、前記移動体位置取得手段により取得された特定タイミングでの前記移動体の位置情報とを用いて特定タイミングから所定期間経過した時の移動体の位置を予測する位置予測手段を備えることを特徴とする移動体追尾装置。
2. 請求項１に記載の移動体追尾装置であって、
   前記進行方位解析手段は、
   前記テンプレートを予め複数記憶するテンプレート記憶手段と、
   前記画像情報から前記移動体を抽出した抽出画像情報を作成し、当該抽出画像情報と前記テンプレート記憶部から読み出した前記テンプレートとを比較することにより、前記移動体の進行方向を進行方位情報として求める抽出画像解析手段を備えることを特徴とする移動体追尾装置。
3. 請求項１又は２に記載の移動体追尾装置であって、
   前記移動体位置解析手段により、前記特定タイミングから所定期間経過時における移動体の位置情報を取得し、前記位置予測手段により予測した移動体の位置と前記特定タイミングから所定期間経過時における移動体の位置情報とを比較して予測誤差を求め、前記進行方位情報を補正する補正値を算出する移動体位置誤差解析手段を備えることを特徴とする移動体追尾装置。
4. 請求項１乃至３のいずれか１項に記載の移動体追尾装置であって、
   前記位置予測手段は、前記進行方向の速度を進行速度とし、移動体のレーダ視線方向の速度を視線速度とした際に、位置予測手段は、前記進行方位情報と視線速度情報とから、前記進行速度の前記視線方向における速度成分が前記視線速度に一致するように、前記進行速度を算出することを特徴とする移動体追尾装置。
5. 特定タイミングでの移動体の画像を画像情報として取り込み、予め登録されているテンプレートと比較することにより、前記移動体の進行方向を進行方位情報として算出進行方位解析手順と、前記移動体の速度を取得する速度取得手順と、
   前記移動体の位置情報を取得する移動体位置取得手順と、
   前記移動体の特定タイミングでの前記進行方位情報と、前記速度取得手順により取得された特定タイミングでの前記移動体の速度と、前記移動体位置取得手順により取得された特定タイミングでの前記移動体の位置情報とを用いて特定タイミングから所定期間経過した時の移動体の位置を予測する位置予測手順を備えることを特徴とする移動体追尾方法。
6. 請求項５に記載の移動体追尾方法であって、
   前記進行方位解析手順は、
   前記テンプレートを予め複数記憶するテンプレート記憶手順と、
   前記画像情報から前記移動体を抽出した抽出画像情報を作成し、当該抽出画像情報と前記テンプレートとを比較することにより、前記移動体の進行方向を進行方位情報として求める抽出画像解析手順を含むことを特徴とする移動体追尾方法。
7. 請求項５又は６に記載の移動体追尾方法であって、
   前記移動体位置解析手順により、前記特定タイミングから所定期間経過時における移動体の位置情報を取得し、前記位置予測手順により予測した移動体の位置と前記特定タイミングから所定期間経過時における移動体の位置情報とを比較して予測誤差を求め、前記進行方位情報を補正する補正値を算出する移動体位置誤差解析手順を含むことを特徴とする移動体追尾方法。
8. 請求項５乃至７のいずれか１項に記載の移動体追尾方法であって、
   前記位置予測手順は、前記進行方向の速度を進行速度とし、移動体のレーダ視線方向の速度を視線速度とした際に、前記位置予測手順は、前記進行方位情報と前記視線速度情報とから、前記進行速度の前記視線方向における速度成分が前記視線速度に一致するように、前記進行速度を算出することを特徴とする移動体追尾方法。

Images