JP2009173263A

JP2009173263A - 無人航空機（ｕａｖ）によって移動目標物を自律的に追跡するための方法及びシステム

Info

Publication number: JP2009173263A
Application number: JP2008296595A
Authority: JP
Inventors: Kingsley O C Fregene; シー・フレジーンキングスリー・オー; Peter Lommel; ピーター・ロンメル
Original assignee: Honeywell International Inc
Current assignee: Honeywell International Inc
Priority date: 2008-01-23
Filing date: 2008-11-20
Publication date: 2009-08-06
Also published as: US7970507B2; EP2083341A2; US20090187299A1

Abstract

【課題】具体的な目標物動きパターンに関係なく、目標物が無人航空機（ＵＡＶ）のセンサ視野内にとどまるように、移動中の目標物を自律的に追跡するためのシステム及び方法を提供する。
【解決手段】目標物１１６の位置についての情報、ＵＡＶ１１２のプラットフォームタイプ及び状態、センサペイロード能力、それぞれが所望のプラットフォーム位置（航路定点の形をとる）を生成する１組のサブアルゴリズムから選択を行うための目標物対ＵＡＶ速度比、並びに／又は目標物を視野内に入れておくためのセンサ方位コマンドを用いる。
【選択図】図１

Description

本発明は、無人航空機（ＵＡＶ）によって移動目標物を自律的に追跡するための方法及びシステムに関する。
政府実施許諾権
国防総省国防高等研究事業局との契約第ＦＡ８６５０−０４−Ｃ−７１４２号の条件によって規定されるように、米国政府は本発明において一定の権利を有する。

無人航空機（ＵＡＶ）は、カメラ、センサ、通信装置又は他のペイロードを搭載することができる、遠隔操縦されるか、又は自動操縦される航空機である。ＵＡＶは、何年にもわたって、偵察及び情報収集の役割を果たすために用いられてきた。近年になって、ＵＡＶは、監視及び目標物追跡のために開発されている。

軍事又は民間のどちらの環境においても、ＵＡＶによって実行される自律的な監視及び目標物追跡は、情報収集の重要な側面となっている。典型的には、目標物が航空機（たとえば、１つのＵＡＶ）から追跡されているとき、人間オペレータは、航空機からストリームされる画像を注意深く監視して、目標物の挙動を評価すると共に目標物が常に確実に視野に入るようにしなければならない。

本発明は、具体的な目標物の動きパターンに関係なく、目標物がＵＡＶのセンサ視野内にとどまるように、種々の機体及びセンサペイロード能力を有するＵＡＶから、移動中の目標物を自律的に追跡するためのシステム及び方法を提供する。

本発明は、目標物の位置についての情報、ＵＡＶのプラットフォームタイプ及び状態、センサペイロード能力、それぞれが所望のプラットフォーム位置（航路定点（ウェイポイント、waypoint）の形をとる）を生成する１組のサブアルゴリズムから選択を行うための目標物対ＵＡＶ速度比、並びに／又は目標物を視野内に入れておくためのセンサ方位コマンドを用いる。

図面を参照して、以下の説明から、当業者には本発明の特徴が明らかになるであろう。図面は本発明の典型的な実施形態のみを示しており、それゆえ、範囲を限定するものと見なされるべきでないことを了解した上で、添付の図面を使用することによって、本発明がさらに具体的且つ詳細に説明される。

以下の詳細な説明では、当業者が本発明を実施することができるようにするほど十分に詳しく実施形態が説明される。本発明の範囲から逸脱することなく、他の実施形態を利用することができることは理解されたい。それゆえ、以下の詳細な説明は、限定する意味に解釈されるべきではない。

図１は、ＵＡＶから目標物を自動的に追跡するためのシステム１００を示す簡略化された図である。図１に示されるように、システムは、（１）少なくとも１つのセンサ１１４を備えるＵＡＶ１１２と、（２）目標物１１６と、（３）リモートオペレータ１１８とを含む。図１においてリモートオペレータ１１８が示されるが、リモートオペレータ１１８は、ＵＡＶ１１２及び目標物１１６から何マイルも離れていることがあることは理解されたい。

ＵＡＶ１１２は、ホバリング可能な航空機、又は固定翼航空機のいずれかとすることができる。センサ１１４は、カメラ又はレーダのような、目標物を撮像することができる任意のデバイスとすることができる。目標物１１６は、ＵＡＶ１１２によって監視される任意のものとすることができる。たとえば、目標物１１６は、地上車両、飛行体、又は人等である。目標物を捕捉するために、ＵＡＶ１１２は典型的には、センサ１１４からリモートオペレータ１１８に画像を送信する。その際、リモートオペレータ１１８は、画像内の１つのエリアを目標物と定義し、その目標物をＵＡＶ１１２に送信する。

リモートオペレータ１１８は、ＵＡＶ１１２と通信することができる任意のデバイスとすることができる。さらに、リモートオペレータ１１８は、ＵＡＶ１１２を遠隔制御するように構成することができる。リモートオペレータ１１８は、たとえば、デスクトップコンピュータ、ラップトップ、携帯情報端末（「ＰＤＡ」）のようなデバイスとすることができる。

本発明の態様は、ＵＡＶ１１２及び／またリモートオペレータ１１８（又はＵＡＶ１１２を制御することができる任意の他の実体）によって実行されることがある。図２は、本発明の種々の態様を実行するために、ＵＡＶ１１２及び／又はリモートオペレータ１１８内に含むことができる機能構成要素を示す。図２に示されるように、それらの構成要素は、通信インターフェース２００と、処理回路２０２と、データ記憶装置２０６とを含み、全てシステムバス、ネットワーク又は他の機構２１０によって互いに結合することができる。

通信インターフェース２００は、エアーインターフェースを介して通信し、それによってＵＡＶ１１２とリモートオペレータ１１８との間の通信を容易にする機構を含む。さらに、通信インターフェース２００は、エアーインターフェース通信を容易にする１つ又は複数のアンテナを含むことがある。

処理ユニット２０２は、１つ若しくは複数の汎用プロセッサ（たとえば、ＩＮＴＥＬマイクロプロセッサ）及び／又は１つ若しくは複数の専用プロセッサ（たとえば、デジタルシグナルプロセッサ）を含む。さらに、データ記憶装置２０４は、たとえば、メモリ及び／又はディスクドライブ記憶装置のような１つ若しくは複数の揮発性及び／又は不揮発性の記憶機構を含み、それは全体的に、また部分的に処理ユニット２０２と統合することができる。

図に示されるように、データ記憶装置２０４は、プログラムロジック２０６と基準データ２０８とを含む。プログラムロジック２０６は、１つ又は複数の論理モジュール（アプリケーション）を含み、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物が、センサの視野から出るまでの時間が迫っているか否かを判定すること、及び（３）ＵＡＶ１１２を、目標物１１６をセンサ１１４の視野内に入れておく追跡モードにおいて飛行させることのような、本明細書で記載される種々の機能を実行するために、処理ユニット２０４によって実行可能な機械語命令を含むことが好ましい。さらに、基準データ２０８は、センサ１１４によって収集される画像形成データのようなデータを含むことができる。

図３は、目標物１１６を自律的に追跡するために用いられるセンサフットプリント内の種々の座標を特定することを示す流れ図である。詳細には、図３は、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物が、センサの視野から出るまでの時間が迫っているか否かを判定すること、及び、（３）ＵＡＶ１１２を、目標物１１６をセンサ１１４の視野内に入れておく追跡モードにおいて飛行させることを示す。

図３に示されるように、ステップ３０２では、ＵＡＶ１１２はセンサ１１４のフットプリント（すなわち、視認窓）の頂点及び中心の座標を特定する。センサフットプリントの例が図４に示される。図４に示されるように、ＵＡＶ１１２は前方監視センサ及び側方監視センサを備える。前方監視センサフットプリント４０２は、頂点｛ａ，ｂ，ｃ，ｄ｝を含む。フットプリント４０２の中心は、｛ｉ｝として特定される。側方監視センサフットプリント４０４は、頂点｛ｅ，ｆ，ｇ，ｈ｝を含む。側方監視センサフットプリントの中心は｛ｊ｝として特定される。

図８は、正規化されている（すなわち、長方形として表示されている）前方監視センサフットプリントを示す。図８に示されるように、そのフットプリントは、頂点｛ａ，ｂ，ｃ，ｄ｝と、中心｛ｉ｝と、中間点｛ａｄ_ｃ，ａｂ_ｃ，ｂｃ_ｃ，ｄｃ_ｃ｝と、角度｛α_ｖ／２，α_ｈ／２｝とを含む。ここで、α_ｈ及びα_ｖは、センサ１１４のための視野角の水平視野及び垂直視野である。

図３に戻ると、以下のデータを用いて、センサフットプリントの頂点及び中心の座標を計算することができる。
［α_ｈ，α_ｖ］、センサ１１４のための水平視野及び垂直視野；
［θ，φ，ψ］、ＵＡＶ１１２の姿勢角、ここで、θは縦揺れ（pitch）であり、φは横揺れ（roll）であり、ψは偏揺れ（yaw）である。この例では、上昇するのは正の縦揺れを必要とし、右翼を下げるのは正の横揺れであり、ＵＡＶの上から時計回りは正の偏揺れである；
［θ_ｃ，φ_ｃ，ψ_ｃ］、センサ１１４の姿勢角、ここで、θは縦揺れであり、φは横揺れであり、ψは偏揺れである。この例では、縦揺れは、垂直下方向から測定して０度と９０度との間で測定される。カメラ下方監視角は（１−θ_ｃ）であり、横揺れ角は右に正であり、偏揺れ角は時計回りにおいて正である。結果として、前方監視センサ１１４はψ_ｃ＝０を有し、一方、左方監視カメラは、ψ_ｃ＝−９０度を有する；
［Ｎ，Ｅ，ｈ］、ＵＡＶ１１２の位置座標、ここで、或る基準点からＮ＝北、Ｅ＝東及びｈ＝高さである（ＵＴＭ北距（northings）、東距（eastings）、高度等）。

フットプリントの頂点及び中心のローカル座標は以下のように特定される。

ステップ３０４では、センサフットプリントの各辺の中間点のローカル座標が以下のように特定される。

ステップ３０６では、フレームに外接する楕円の半径が以下のように特定される。

ただし、ｒ_ｈは水平方向における半径であり、ｒ_ｖは垂直方向における半径である。これらの２つの半径のうちの小さい方が、楕円の短半径の長さに相当する。
ステップ３０８では、その座標に、縦揺れ−横揺れ−偏揺れの回転行列［Ｒ］及び［Ｒ_ｃ］を乗算することによって、各ローカル座標が、グローバル慣性座標に変換される。ここで、

である。
したがって、以下の式が成り立つ。

回転行列は当該技術分野において既知であり、ここで詳細には説明されない。
ステップ３１０では、ＵＡＶ１１２が地面の上方を飛行している高さ（ｈ）（目標物１１６が地上目標物である場合）、又はＵＡＶ１１２が目標物１１６の飛行している高さ（ｈ）（目標物１１６は必ずしも地上にはない）だけ慣性座標をスケーリングすることによって、センサフットプリントのスケーリングされた座標が計算される。フットプリントは、以下のように計算される。

同様に、短半径の長さは、ＵＡＶ１１２が目標物１１６の上方にある高さを考慮に入れるようにスケーリングすることができる。

センサ１１４のフットプリントの種々の座標を計算した後に、ステップ３１０において、目標物の（１）地上における、カメラフットプリントの中心に対する位置（ｒ_{ｔａｒｇｅｔ}）と、（２）カメラフットプリントの中心から、目標物に最も近いフットプリントの辺（たとえば、［ＡＢ_ｃｇＢＣ_ｃｇＤＣ_ｃｇＡＤ_ｃｇ］）までの距離（ｒ_ｓｉｄｅ）と、（３）フレームの中心から目標物までの距離（ｒ_ｔ）とを用いて、目標物１１６がセンサ１１４の視野から出るまでの時間が如何に迫っているかが判定される。これらの位置が図５に示されており、図５は、目標物１１６がセンサ１１４の視野から出るまでの時間が如何に迫っているかを判定するために必要とされる変数を示す、フットプリントの図である。図５に示されるように、そのフレームは、中心点、目標物、ｒ_{ｔａｒｇｅｔ}、ｒ_ｔ、ｒ_ｓｉｄｅ、及びフレームの移動方向を含む。

目標物が当該目標物の視野から出るまでの時間が如何に迫っているかを判定するために、ｒ_{ｔａｒｇｅｔ}及びｒ_ｓｉｄｅの値が最初に計算される。以下の式を用いることによって、ｒ_{ｔａｒｇｅｔ}が計算される。

式中、

は目標物からフットプリントの中心までの線に沿った単位ベクトルであり、

は最も近い辺の中間点から中心までの線に沿った単位ベクトルである。すなわち、

はｒ_ｔに沿った単位ベクトルであり、一方、

はｒ_ｓｉｄｅに沿った単位ベクトルである。
ｒ_ｓｉｄｅは、以下の式を用いて計算される。

式中、ｒ_ＡＢｃｇ−ｒ_ＡＤｃｇは、フレームの中心からフレームの辺までの距離である。
経時的にこれらの値を計算することによって、ＵＡＶ１１２（又はリモートオペレータ１１８）は、目標物１１８がセンサ１１４の視野を出ることになるか否か、及びその時刻を判定することができる。

ステップ３１２では、目標物１１６の場所及び速さを用いて、目標物１１６が、ＵＡＶ１１２が飛行することができる速さに対して如何に速く動いているかに応じて、ＵＡＶ１１２を種々の追跡モードにおいて飛行させる。これらのモードは、適当な高度及びスタンドオフ距離の全てにおいて、（１）目標物に真直ぐ追従すること（ＳＦＯ）、（２）目標物を中心にした軌道を飛行すること（ＯＲＢ）、又は（３）Ｓ字（すなわち、正弦曲線）を描くこと（ＳＩＮ）を含む。これによって、ＵＡＶ１１２は、目標物１１６をセンサ１１４のセンサフットプリント内に保持することができるようになる。ＵＡＶ１１２は、航路定点コマンドを受信し、航路定点まで飛行することによって、これらのモードにおいて飛行する。

ＵＡＶがいずれの追跡モードを使用すべきであるか判定するために、目標物１１４の速さ（ｖ_ｔ）に対するＵＡＶ１１２の速さ（ｖ_ｐ）の比（σ）が特定される。

σが約１である場合には、ＵＡＶ１１２及び目標物１１４が同じような速さで進行しており、ＵＡＶ１１２はＳＦＯ追跡を用いるべきである。σが１より大きい（すなわち、目標物１１４よりも速く進行している）場合には、ＵＡＶ１１２は目標物１１４の速さに一致するように速度を落とし、ＳＦＯ追跡を保持することができる。しかしながら、ＵＡＶ１１２が、そのように遅い速さにおいて進行することができない場合には（失速してしまうことによる）、ＵＡＶ１１２は、ＳＩＮ追跡又はＯＲＢ追跡のいずれかを用いるべきである。結果として、ＵＡＶ１１２はＳＩＮ追跡を用いるべきである。ＵＡＶ１１２が、ＳＩＮ追跡を用いて、そのセンサフットプリント内に目標物を保持することができない（すなわち、必要とされる振幅が大きすぎる）場合には、ＵＡＶ１１２はＯＲＢ追跡を用いるべきである。異なる航空機は異なる特性を有するため（ホバークラフト対固定翼航空機のように）、ＵＡＶ１１２が異なるモードに入ることをトリガするσの値は航空機特有である。ＵＡＶ１１２は、σの値に応じて、追跡モードを自動的に切り替えることができるか、又はσの値に応じて、リモートオペレータ１１８によって異なる追跡モードに入るように指示することができる。
ＳＦＯ追跡
ＵＡＶ１１２がＳＦＯ追跡モードにおいて飛行している場合には、航路定点（ＷＰＴ_ＳＦＯ）は以下のように計算することができる。

式中、ｔｇｔＰｏｓｎは、慣性系における目標物の位置であり、Ｉ_ｇ（先に計算された）は、航空機と、フットプリントの中心との間のオフセットである。
ＳＩＮ追跡
図６は、ＳＩＮ追跡のための航路定点を計算するために用いられる変数を示す図である。図６に示されるように、ＵＡＶ１１２は、一定の対気速度ｖ_ｐで進行しており、目標物１１６を追跡している。目標物１１６は、真直ぐな線に沿って、速さｖ_ｔで動いている。さらに、位置合わせされた一対の座標系も示される。一方の座標系（ｘ_１，ｙ_１）は目標物に固定され、他方の座標系（ｘ_２，ｙ_２）は、正弦曲線の始点に固定される。ＵＡＶ１１２が目標物の追跡を保持するためには、ＵＡＶ１１２が１つの周期（Ｔ）内に進行する距離（Ｄ）が、同じ方向において目標物が進行する距離に等しい。

その周期は、所望により選択されることがある自由パラメータである。しかしながら、振幅（Ａ）の大きさが低減され、それによって、ＵＡＶ１１２が目標物１１６を追跡するのが容易になるため、周期が長い方が望ましい。振幅は、フットプリント変位の方向、及び目標物から、フットプリントの最も近い辺の中間点までの距離を考慮することによって求められる。

式中、ｒ_ｓｉｄｅ及びｒ_{ｔａｒｇｅｔ}は上記で計算されており、ｋ_ｔｒは、そのアルゴリズムの感度を調整するために用いられるパラメータである。ｋ_ｔｒは、０よりも大きく、且つ１以下であり、目標物から、フットプリントの最も近い辺までの距離に基づく乗法因子である。他の値が用いられることもあるが、一般的には、以下のとおりである。

（ｘ_ｐ，ｙ_ｐ）はｘ_２，ｙ_２座標系におけるＵＡＶ１１２の所望の位置であり、

である。式中、

である。
ＳＩＮ追跡モードにおいて動作しているときのＵＡＶ１１２のための航路定点（ＷＰＴ_ＳＩＮ）は以下のように計算される。

式中、（Ψ_ｔｇｔ）は目標物の機首方位であり、

はｘ_ｐ及びｙ_ｐを変換して慣性系に戻す回転行列である。
ＯＲＢ追跡
ＯＲＢ追跡によって、ＵＡＶ１１２は、目標物１１６上を旋回することができるようになる。旋回飛行追跡航路定点（ＷＰＴ_ＯＲＢ）は、Ｎ、Ｅ、ｈ（北、東、高さ）において与えられ、慣性座標Ｎ_ｃ及びＥ_ｃを有するＵＡＶの場合に、以下のように計算される。

式中、（Ｎ_ｔ，Ｅ_ｔ）は目標物１１６の位置であり、以下の式が成り立ち、

βは、生成したい航路定点の数、及び目標物に対して存在すべき航路定点の場所に依存する角度である。たとえば、ＵＡＶ１１２が１２個の航路定点を訪れる場合には、β＝π／６である。

ＷＰＴ_ＯＲＢの第１行は必ずしも、ＵＡＶ１１２が訪れる第１の航路定点ではないことは理解されたい。代わりに、ＵＡＶ１１２が航路定点を訪れる順序を決定する費用関数が用いられることもある。その費用関数は、全ての航路定点への距離と、ＵＡＶ１１２が各航路定点に達するために必要とされる機首方位の変化とを用いる。

さらに、速さの比が小さくても（目標物の速さが上がっても）許容することができる追跡性能を達成するために、目標物の動作フレームに対する軌道航路定点の位置を調整することができる。これは、結果として、ＵＡＶ１１２の軌道を目標物１１６の前方に「延ばし」、ＵＡＶ１１２が遅れを取る量を低減することができる。

図７は、目標物１１６が動いているときに、ロイタリング軌道を調整するためのパラメータを示す図である。図６に示されるように、７つのパラメータは、半径ｒ_１〜ｒ_４、直径ｄ_１及びｄ_２、目標物の動きとｄ_１との間の角度である角度θを含む。軌道の形状は、円形軌道を４つの弧（四分円）に分離することによって調整される。各弧は、その接続点において制約される、楕円部分によって示される。これは、楕円部分の４つの「半軸」の長さを指定することによって達成される。その際、円形部分は、楕円部分の特殊な場合であり、その場合、全ての半軸の長さが等しい。さらに、楕円部分の主軸を回転させることができ、軌道の中心を目標物位置から変位させることができる。これらの７つのパラメータは、解析的に計算することができるか、又は数値最適化技法を用いて選択され、速度比の関数としてルックアップテーブルに格納することができる。一般化するために、区分的楕円軌道も正規化される。すなわち、その軌道は単位円軌道に対して定義され、適用中に、円形軌道の実際の半径を用いて、区分的楕円軌道がスケーリングされる。

区分的楕円軌道パラメータが選択されると、変更後の航路定点を以下のように計算することができる。

式中、ｔｇｔＰｏｓｎは慣性系における目標物１１６の位置であり、ｔｇｔＶｅｌは慣性系における目標物１１６の速度であり、ｒ_ｎｏｒｍは名目的な（円形）軌道の半径であり、さらに以下の式が成り立つ。

スケールファクタαは、楕円の式を用いて計算される。楕円の主軸は以下のように定義される。

軸の長さは以下のように定義される。

楕円の式は以下のとおりである。

αは、

が楕円上に存在するようなスカラー乗数である。αは、

を式ｘ^ＴＭ＝１に代入することによって計算することができる。したがって、以下の式が成り立つ。

高さ調整
ＵＡＶ１１２がＳＦＯ追跡モードを用いるか、ＳＩＮ追跡モードを用いるか、ＯＲＢ追跡モードを用いるかに関係なく、ＵＡＶ１１２の高さを調整して、目標物追跡を保持することができる。高さ調整は、勾配降下則を用いて、ｈに対して、以下の費用関数を最小限に抑えることによって果たすことができる。

上記で言及されたように、以下の式が成り立つ。

その際、以下の式が成り立つ。

式中、γは勾配方式の利得である。
本発明は、その不可欠な特徴から逸脱することなく、他の具体的な形で実施することができる。記述される実施形態は、全ての点において、例示にすぎず、限定するものと見なされるべきではない。それゆえ、本発明の範囲は、これまでの説明によってではなく、むしろ添付の特許請求の範囲によって指示される。特許請求の範囲の均等物の意味及び範囲内に入る全ての変更が、特許請求の範囲に包含される。

本発明の一実施形態による、地上車両を空中から追跡するためのシステムを示す概略図である。例示的な実施形態の態様を実施するように構成される実体の簡略化されたブロック図である。例示的な実施形態に従って実行することができる機能を示す流れ図である。センサフットプリントの一例を示す図である。目標物１１６がセンサ１１４の視野から出るまでの時間が如何に迫っているかを判定するために必要とされる変数を示すフットプリントの図である。ＳＩＮ追跡を示す図である。目標物１１６が動いているときにロイタリング軌道を調整するためのパラメータを示す図である。正規化されている前方監視センサフットプリントを示す図である。

Claims

通信インターフェース（２００）と、
処理ユニット（２０２）と、
データ記憶装置（２０４）と、
前記データ記憶装置に格納され、前記処理ユニットによって実行可能であるプログラムロジック（２０６）であって、該プログラムロジックは、（ｉ）目標物（１１６）を追跡するセンサ（１１４）のフットプリントの少なくとも１つの座標を特定するステップ（３０４）であって、該センサは、無人航空機（１１２）に備え付けられている、特定するステップ、（ｉｉ）前記目標物が前記センサの視野から出ることになるか否かを判定するステップ（３１０）、及び（ｉｉｉ）前記無人航空機を、前記目標物を前記センサの前記視野内に入れておく追跡モードにおいて飛行させるステップ（３１２）を行う、プログラムロジックとを備える、システム。
前記プログラムロジックは、少なくとも、前記無人航空機の速度及び前記目標物の速度に基づいて、前記追跡モードを決定するように構成される、請求項１に記載のシステム。
前記追跡モードは、少なくとも１つの航路定点まで飛行することを含む、請求項１に記載のシステム。