JP2019128944A - 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。 - Google Patents

Abstract

【課題】複数目標物から目標グループを決定し、該目標グループを正確に追跡することを可能にする方法、装置、システム及びこのような方法をコンピュータに実行させるプログラムを提供する。【解決手段】複数の目標物から狙いとする目標物を一体として把握することで目標グループを決定し、さらに、順次に取得された画像データを処理することにより、可動物体の６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて可動物体及び撮像装置の少なくともいずれかの移動を調整する。【選択図】図５

Description

本出願は、２０１８年１月２２日に出願されたＰＣＴ/ＣＮ２０１８/０７３６６４の国際特許出願に基づき提出されるとともに、当該国際特許出願の優先権を主張し、当該国際特許出願の全体が参照により、ここに組み込まれる。
本発明は、目標物追跡の技術分野に関し、より具体的には、撮像画像を用いて複数の目標物を追跡する方法、装置、システム及びプログラムに関するものである。

例えば無人航空機（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ； 以下、単に「ＵＡＶ」と称する。）のような、撮像装置を搭載した可動物体の開発・利用の進展に伴い、監視、偵察、探査などを目的として目標物を追跡する需要が高まっている。

例えば特許文献１には、ＵＡＶに搭載された撮像装置により取得された画像中で目標物を識別し、目標物を取り囲む境界ボックス（bounding box）などの追跡インジケータを画像に付与し、該インジケータの情報に基づいて目標物の位置、目標物と可動物体との相対距離、及び目標物の速度などの少なくともいずれかを判定する技術が開示されている。

また、引用文献２には、撮像デバイスにより取り込まれる１又は複数の画像中の予め定められた位置及び目標のサイズの少なくともいずれかを維持するように目標を自動的に追跡する技術が開示されている。

国際公開第２０１７／１４３５８９号パンフレット 国際公開第２０１６／０１５２５１号パンフレット

しかしながら、目標物が複数存在する場合、そのうちの一部の目標物を選択的かつ継続的に追跡することは容易でなかった。

本発明は、複数目標物から目標グループを決定し、該目標グループを正確に追跡することを可能にする方法、装置、システム及びこのような方法をコンピュータに実行させるプログラムを提供することを主な目的とする。

本発明の第１の態様によれば、目標識別モジュールと、目標グループ決定モジュールと、制御モジュールとを備える目標追跡システムが提供され、
前記目標識別モジュールは、可動物体に搭載される撮像装置から取得された複数の画像に基づいて複数の目標を識別し、
前記目標グループ決定モジュールは、前記複数の目標からの１つ以上の目標を含む目標グループを決定し、
制御モジュールは、前記目標グループを追跡するように前記可動物体及び前記撮像装置の少なくともいずれかを制御し、かつ、順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて前記可動物体及び前記撮像装置の少なくともいずれかの移動を調整する。

本発明の第２の態様によれば、可動物体と、撮像装置と、プロセッサと、駆動装置とを備える目標追跡装置が提供され、
前記撮像装置は、前記可動物体に搭載され、複数の目標物を撮像して画像データを出力し、
前記プロセッサは、前記画像データを処理して前記複数の目標物を識別し、識別した目標物から目標グループを決定し、前記目標グループを追跡するように前記可動物体を制御する指令信号を出力し、
前記駆動装置は、前記指令信号に基づいて前記可動物体を移動させ、さらに、
前記プロセッサは、順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得して前記駆動装置に供給し、
前記駆動装置は、前記速度成分に基づいて前記可動物体の移動を調整する。

本発明の第３の態様によれば、目標追跡方法が提供され、該目標追跡方法は、
可動物体に搭載される撮像装置から取得された複数の画像に基づいて複数の目標を識別するステップと、
前記複数の目標からの１つ以上の目標を含む目標グループを決定するステップと、
前記目標グループを追跡するように前記可動物体及び前記撮像装置の少なくともいずれかを制御するステップと、
を備え、
前記可動物体及び前記撮像装置の少なくともいずれかを制御するステップは、
順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて前記可動物体及び前記撮像装置の少なくともいずれかの移動を調整するステップを含む。

さらに、本発明の第４の態様によれば、上記目標追跡方法をコンピュータに実行させるプログラムが提供される。

本発明の実施形態による目標追跡システム、目標追跡装置、目標追跡方法及びプログラムは、複数の目標から狙いとする目標を一体として把握することにより目標グループを決定し、さらに、異なる時刻で取得された画像データを処理することにより、可動物体の（３自由度の直進及び３自由度の回転からなる）６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて可動物体及び撮像装置の少なくともいずれかの移動を調整することにより、複数の画像フレームに跨って実質的に同一の位置及びサイズで追跡インジケータを維持することができる。これにより、目標グループを正確に追跡することができる。

本発明の一実施形態による目標追跡システムの概略構成を示すブロック図の一例である。 図１に示す目標追跡システムのより具体的な構成を示すブロック図の一例である。 本発明の一実施形態による目標追跡装置の概略構成を示す模式図の一例である。 図３に示す目標追跡装置のより具体的な構成を示すブロック図の一例である。 本発明のいくつかの実施形態による目標追跡方法の概略手順を示すフローチャートの一例である。 第１乃至第３の実施形態による目標追跡方法における、目標グループの選択のための例示的なプロセスを示す図である。 目標グループの選択のための他の例示的なプロセスを示す図である。 目標グループに目標物を追加する一例を示す図である。 目標グループから目標物を除去する一例を示す図である。 主目標に基づいて目標グループを更新する一例を示す図である。 第１実施形態による目標追跡方法を説明するための模式図の一例である。 第１実施形態による目標追跡方法において、目標追跡装置から離れて移動するときの、Ｘ―Ｙ平面に沿った目標グループの直進運動を示す模式図の一例である。 フィードバック制御システムの一例を示すブロック図の一例である。 第２実施形態による目標追跡方法を説明するためのＸ―Ｙ平面に沿った目標グループの直進運動を示す模式図の一例である。 フィードバック制御システムの他の例を示すブロック図の一例である。 第３実施形態による目標追跡方法を説明するための模式図の一例である。 第３実施形態による目標追跡方法において、目標追跡装置から離れて移動するときの、Ｘ―Ｙ平面に沿った目標グループの直進運動を示す模式図の一例である。 ヨー方向（Ｚ軸）及びピッチ方向（Ｙ軸）の両方での回転を含む目標追跡装置の向きの変化を説明する模式図の一例である。

以下、本発明の実施の形態のいくつかについて図面を参照しながら説明する。図面において同一の要素・部材には同一の参照符号を付し、その重複説明は適宜省略する。また、図中の各部材の形状・サイズは、説明を容易にするため、適宜拡大・縮小・省略されており、現実の縮尺・比率とは合致していない場合がある。また、「実質的に」の用語は、測定誤差をも含む趣旨で使用される。
（Ａ）目標追跡システム

図１に、本発明の一実施形態による目標追跡システムの概略構成を示すブロック図の一例を示す。本実施形態の目標追跡システム２００は、目標識別モジュール２０２と、目標グループ決定モジュール２１０と、追跡制御モジュール２１６と、を備える。

目標識別モジュール２０２は、可動物体（図３の符号１０２参照）に搭載される撮像装置（図３の符号１０６参照）から取得された複数の画像を処理して複数の目標を識別する。画像処理により目標を識別する具体的な方法については、上述した特許文献１などの公開された技術を参照されたい。
目標グループ決定モジュール２１０は、上記複数の目標からの１つ以上の目標を含む目標グループを決定する。
追跡制御モジュール２１６は、上記目標グループを追跡するように上記可動物体及び上記撮像装置の少なくともいずれかを制御するための制御信号を生成する。

目標追跡システム２００は、状態推定モジュール２０４をさらに備える。状態推定モジュール２０４は、現実世界における目標物の状態を判定するように構成することができる。目標物の状態は、その位置、速度、加速度、及び方位の少なくともいずれかなどの運動学的状態の他、そのサイズ、形状、テクスチャー、色などの外観的状態を含むことができる。目標物の状態は、ＵＡＶナビゲーションと同じ座標系で示しても、異なる座標系で示してもよい。一例では、目標物の位置は、ナビゲーション座標系の座標を用いて示される。ナビゲーション座標系は、地上の所定の位置（例えば、ＵＡＶ離陸位置、地上局又は遠隔端末の位置、ホーム位置）を原点とする北−東−下（ＮＥＤ）座標系を含んでもよい。

状態推定モジュール２０４は、目標物状態推定モジュール２０６及びグループ状態推定モジュール２０8を含む。目標物状態推定モジュール２０６は、例えば、（例えば、目標識別モジュール２０２によって取得された）目標物に関連する境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の情報に基づいて、目標物の状態（例えば、目標物と追跡システムとの間の相対距離又は相対角度）を判定するように構成される。グループ状態推定モジュール２０８は、目標グループに含まれる目標物の状態に基づいて、目標グループの状態を判定するように構成することができる。

目標グループ決定モジュール２１０は、１つ以上の目標物を含む目標グループを決定するように構成される。例えば、目標グループ決定モジュール２１０は、相互の近接度又は基準点に対する近接度などの目標物の状態に基づいて（例えば、目標識別モジュール２０２によって）識別された複数の目標物から１つ以上の目標物を選択するように構成されてもよい。目標グループ決定モジュール２１０はまた、目標グループを初期化するように構成されたグループ初期化モジュール２１２と、目標グループを更新するように構成されたグループ更新モジュール２１４とを含んでもよい。

追跡制御モジュール２１６は、異なる時刻で順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて上記可動物体及び上記撮像装置の少なくともいずれかの移動を調整する。

本明細書において、関連する目標物の対応する属性（例えば、画像内の目標のサイズ及び位置の少なくともいずれか）については、追跡インジケータの属性（例えば、画像内の境界ボックスのサイズ及び位置の少なくともいずれか）を使用して概略的に表す。以下では、追跡インジケータとして画像中で（一つ以上の）目標を取り囲む境界ボックスの態様を採用する。境界ボックスの情報は、後述するように、現実世界（例えば、ナビゲーション座標系）における目標物の状態を推定するために使用することができる。

図２は、本実施形態による目標追跡システムのより具体的な構成を示すブロック図の一例である。同図に示す目標追跡システム２２００は、感知モジュール２２０２と、処理ユニット２２０４と、非一時的コンピュータ可読媒体２２０６、制御モジュール２２０８及び通信モジュール２２１０とを備える。

感知モジュール２２０２は、図３に示す目標識別モジュール２０２の一部を構成し、可動物体（図４の符号２１５０参照）自身に関する情報を異なる態様で収集する異なるタイプのセンサを使用する。異なるタイプのセンサは、異なる情報源からの様々なタイプの信号を感知する。これらのセンサは、例えば、慣性センサ、ＧＰＳセンサ、（例えばライダーなどの）近接センサ、又は（例えばカメラなどの）視覚センサ若しくは撮像センサを含む。感知モジュール２２０２は、処理ユニット２２０４に接続されて動作する。本実施形態において、感知モジュール２２０２はまた、送信モジュール２２１２（例えばＷｉ-Ｆｉ画像送信モジュール）にも接続され、これにより、感知データが外部の好適な装置又はシステムに直接送信される。例えば、送信モジュール２２１２は、感知モジュール２２０２のカメラにより取り込まれた画像を遠隔の端末に送信するために使用できる。

処理ユニット２２０４は、プログラマブル可能又は不能のプロセッサ（例えば、中央処理装置（ＣＰＵ）、マイクロプロセッサ、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）等の１又は複数のプロセッサを有してよい。処理ユニット２２０４は、非一時的コンピュータ可読媒体２２０６に動作可能に接続可能である。非一時的コンピュータ可読媒体２２０６は、１又は複数のステップを実行するための処理ユニット２２０４により実行可能な、ロジック、コード及びプログラム命令の少なくともいずれかを格納できる。非一時的コンピュータ可読媒体２２０６には、１又は複数のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ）等の取り外し可能な媒体又は外部ストレージ）が含まれる。非一時的コンピュータ可読媒体２２０６のメモリユニットは、後述する複数の目標追跡方法の任意の実施形態における一連の手順を処理ユニット２２０４に実行させるためのロジック、コード、及びプログラム命令の少なくともいずれかを格納できる。格納される。非一時的コンピュータ可読媒体２２０６のメモリユニットは、処理ユニット２２０４により処理される、感知モジュール２２０２からの感知データを格納することもできる。

処理ユニット２２０４は、可動物体の状態を制御するよう構成される制御モジュール２２０８に動作可能に接続可能である。制御モジュール２２０８は、例えば、図３に示す追跡制御モジュール２１６に対応し、可動物体の推進機構を制御して６自由度に関連した、可動物体の空間位置、速度及び加速度の少なくともいずれかを制御するよう構成可能である。制御モジュール２２０８はまた、支持機構（ｃａｒｒｉｅｒ）、搭載物（ｐａｙｌｏａｄ）又は感知モジュールの状態を制御することもできる。

処理ユニット２２０４は、外部装置（例えば端末、表示装置、又は他の遠隔コントローラ）からのデータを送信又は受信するよう構成された通信モジュール２２１０に動作可能に接続できる。通信手段としては有線／無線の好適な手段を利用できる。例えば、通信モジュール２２１０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（「ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、通信ネットワーク、クラウド通信等のうち１又は複数を利用できる。タワー、衛星、又は移動局等の中継局も任意に用いることができる。通信モジュール２２１０は、感知モジュール２２０２からの感知データ、処理ユニット２２０４により生成された処理結果、端末もしくは遠隔制御器からの予め定められた制御データもしくはユーザコマンド等の送信及び受信の少なくともいずれかを行うことができる。

処理ユニット２２０４は、非一時的コンピュータ可読媒体２２０６のメモリユニットからロジック、コード、及びプログラム命令の少なくともいずれかを読み出して後述する一連の手順により複数目標の追跡を行うよう各コンポーネントを制御する。

処理ユニット２２０４は、図３に示す状態推定モジュール204及び目標グループ決定モジュール210に対応し、異なる時刻で順次に取得された画像データを処理することにより、６自由度の移動方向の少なくとも１つにおける速度成分を取得して制御モジュール２２０８に供給する。制御モジュール２２０８は、送られた速度成分の情報に基づいて可動物体の移動を調整する。処理ユニット２２０４及び制御モジュール２２０８による可動物体の移動制御・調整の具体的な方法は後に詳述する。

目標追跡システム２２００の各コンポーネントは、任意の好適な構成で配置可能である。例えば、目標追跡システム２２００のコンポーネントのうち１又は複数は、可動物体本体、支持機構、搭載物、遠隔端末、感知システム、又は上記のうち１又は複数と通信する追加の外部デバイス上に配置可能である。

図２を参照しながら、処理ユニット２２０４として、単体のハードウェアから構成可能な、目標追跡システム2200に内蔵される装置として説明したが、単体の構成に限る必要は全くなく、必要な処理機能が実行されるものであれば、例えばクラウドコンピューティングとして外部の様々なハードウェアに分散して利用することも可能である。
目標追跡システム２２００による目標の追跡のための具体的動作については、後述する目標追跡方法の実施形態にて詳細に説明する。
（Ｂ）目標追跡装置

図３は、本発明の一実施形態による目標追跡装置の概略構成を示す模式図の一例である。本実施形態の目標追跡装置１００は、撮像装置１０６、又は、支持機構１０４を介して撮像装置１０６を搭載する可動物体１０２を備える。図３に示すように、目標追跡装置１００は、オプションとして、遠隔端末１１２を含むことができる。目標追跡装置１００は、１つ以上の目標物１１０を含む目標グループ１０８を追跡するように構成される。本実施形態において、可動物は、無人航空機（ＵＡＶ）である。

撮像装置１０６は、支持機構１０４により運搬される搭載物を構成し、電磁放射（例えば、可視光、赤外線及び紫外光の少なくともいずれか）を検出し、検出された電磁放射に基づいて画像データを生成するように構成される。撮像装置１０６によって生成される画像データは、静止画像（例えば、写真）、動的画像（例えば、ビデオ）、又はそれらの適切な組み合わせである１つ又は複数の画像を含むことができる。

撮像装置１０６は、動的画像データ（例えば、ビデオ）を取り込むビデオカメラであっても、静止画像（例えば、写真）を取り込むスチルカメラでも、その両方を取り込むものでもよく、また、３Ｄシーン（例えば、環境、１つ以上の物など）の２Ｄ画像を生成するできるものでもよい。カメラによって生成された画像は、３Ｄシーンの２Ｄ画像平面への投影を表すことができる。従って、２Ｄ画像内の各点は、シーン内の３Ｄ空間座標に対応する。

撮像装置１０６はまた、調整可能なパラメータを有してもよい。調整可能なパラメータには、露光（例えば、露光時間、シャッタースピード、絞り、フィルムスピード）、ゲイン、ガンマ、関心領域、ビニング／サブサンプリング、ピクセルクロック、オフセット、トリガリング、ＩＳＯなどが含まれる。

搭載物は、撮像装置１０６の他、環境内に信号を発信できる装置を含むことができる。例えば、搭載物は、電磁スペクトルに沿ったエミッタ（例えば、可視光エミッタ、紫外線エミッタ、赤外線エミッタ）を含むことができる。搭載物は、レーザ又は任意の他のタイプの電磁エミッタを含むことができる。搭載物は、（例えば、スピーカから）可聴音を発することができる。搭載物は、無線信号又は他のタイプの信号などの無線信号を発することもできる。搭載物はまた、支持機構１０４の支援で可動物体１０２に対して移動してもよい。

可動物体１０２及び撮像装置１０６の少なくともいずれかは、複数の目標物１１０（目標とも称する）を追跡するように制御されてもよい。目標物は、静止目標又は移動目標であってもよい。場合によっては、ユーザは、画像フレームから目標物を識別し、目標物が静止目標であるか又は移動目標であるかをさらに明確にしてもよい。

目標物は、その動き状態に応じて静止目標又は移動目標として分類することができる。静止目標は、環境内で実質的に静止したままであり得る。静止目標の例は、景観特徴（例えば、樹木、植物、山、丘、川、小川、入江、谷、丸石、岩石など）、又は人工物（例えば、構造物、建築物、道路、橋、電柱、フェンス、止まっている車、標識、ライトなど）を含んでもよい。

移動目標は、環境内で移動することができる。移動目標は、常に移動中であってもよいし、又はある時間の部分の移動があってもよい。移動目標は、空気中、陸上、地下、水上、及び宇宙の少なくともいずれかで移動してもよい。移動目標は、生きている移動目標（例えば、人間、動物）、又は生命のない移動目標（例えば、移動車、移動機械、風に吹かれたり水に乗ったりする物、生きている目標が運んでいる物）であってもよい。移動目標は、単一の移動物又は移動物のグループを含んでもよい。

移動目標は、６自由度に関して環境内で自由に移動することができる。場合によっては、移動目標は、遠隔制御される車のような車でも、航空ビークルでもよい。移動目標はまた、可動物体、例えば、ＵＡＶであってもよい。

目標物及び追跡装置は、１つ以上のバックグラウンド物に対して３次元空間内を移動することができる。バックグラウンド物は、静止物のような動きができないものであっても、移動可能であってもよい。

オプションとして目標追跡装置１００に含まれ得る、遠隔端末１１２は、目標を追跡するように、目標を識別し、１つ以上の目標又は目標グループの状態の推定、及び可動物体及びキャリアの少なくともいずれかの制御の少なくともいずれかを行うための制御信号を生成するために、撮像装置１０６によって生成された画像を処理するように構成されたプロセッサを含んでもよい。遠隔端末１１２はまた、撮像装置１０６によって取得された１つ以上の画像を表示するように構成されたディスプレイを含んでもよい。画像は、識別された各目標と共に追跡インジケータ（例えば、境界ボックス）を示してもよい。遠隔端末１１２は、ユーザが追跡する１つ以上の目標を指定又は選択するためのユーザインタフェース（例えば、タッチスクリーン）を含んでもよい。

図４は、図３に示す目標追跡装置のより具体的な構成を示すブロック図の一例である。同図に示す目標追跡装置２１００は、上述した実施形態の目標追跡システム２２００の各コンポーネントが可動物体上に組み込まれたものである。すなわち、目標追跡装置２１００は、可動物体本体２１５０と、推進機構２１０６と、支持機構２１０２と、搭載物２１０４とを備える。可動物体本体２１５０は、感知システム２１０８と通信システム２１１０とプロセッサ２１５４と非一時的コンピュータ可読媒体２１５６とを含む。搭載物２１０４は、図４に示す例では支持機構２１０２により支持されるが、これに限ることなく可動物体本体２１５０に直接取り付けられたものでもよい。

可動物体本体２１５０は、環境内で６自由度に対して自由に移動可能である。または、可動物体本体２１５０の移動は、予め定められた経路、航路、又は向き等により、１又は複数の自由度に対して制限され得る。移動は、エンジン又はモータ等の任意の好適な作動メカニズムにより作動し得る。可動物体の作動メカニズムは、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、又はこれらの任意の好適な組み合わせ等、任意の好適なエネルギー源により電源供給され得る。本実施形態において、可動物体本体２１５０は、後に詳述される推進機構２１０６による、自己推進型であるが、推進機構としては、これに限ることなく、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、又はこれらの任意の好適な組み合わせ等のエネルギー源により作動するものでもよい。あるいは、可動物体本体２１５０は、生物により搬送されてもよい。

可動物体本体２１５０の具体的態様として、乗り物、例えば航空機を挙げることができる。航空機は固定翼機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプタ、ロータクラフト）、固定翼部及び回転翼部の双方を有する航空機、又はそのいずれも有しない航空機（例えば、小型飛行船、熱気球）であってもよい。乗り物は、例えば空気を通る自己推進型等であり得る。自己推進型の乗り物は、１又は複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、又はこれらの任意の好適な組み合わせを含む、推進システム等を使用し得る。推進システムは、可動物体が面から離陸し、面に着陸し、現在位置及び向きの少なくともいずれかの維持（例えば、ホバリング）、向きの変更、及び位置の変更の少なくともいずれかを可能にすべく、使用可能である。本実施形態において、目標追跡装置２１００の可動物体本体２１５０はＵＡＶである。

推進機構２１０６は、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、車軸、磁石、又はノズルのうち１又は複数を含み得る。図４では、目標追跡装置２１００が２つの推進機構２１０６を有する場合を取り上げたが、これに限ることなく推進機構２１０６の数量は単一でも３つ以上でもよい。推進機構２１０６は、全てが同一のタイプでも、異なるタイプで構成されてもよい。推進機構２１０６は、任意の支持要素（例えば、駆動シャフト）を用い、上部の他、底部、前面、背面、側面、又はこれらの好適な組み合わせで、可動物体本体２１５０の任意の好適な部分に装着可能である。

可動物体本体２１５０のサイズや寸法については特に限定は無く、例えば乗務員が内部又はその上に搭乗可能なものでも、登場不能なものでもよく、人によって持ち上げたり運搬したりできるものでもよい。

可動物体本体２１５０は、搭載物２１０４を支持するように構成することができる。搭載物２１０４としては、乗客、貨物、機器、器具等を挙げることができる。搭載物２１０４は、筐体内に設けてもよいし、筐体無しでも受けてもよい。搭載物２１０４の筐体は、可動物体本体２１５０の筐体と別個でも、その一部であってもよい。搭載物２１０４は、可動物体本体２１５０に対して堅固に固定されてもよいし、可動物体本体２１５０に対して（例えば直進又は回転など）移動可能であってもよい。本実施形態において搭載物２１０４は、カメラなどの撮像装置１０６を含む搭載物である。

推進機構２１０６は、可動物体本体２１５０の（例えば、滑走路の進行などの）いずれの水平移動も必要とせずに、可動物体本体２１５０が任意の面から鉛直に離陸又は着陸することを可能にする。また、推進機構２１０６は、指定された位置及び向きの少なくともいずれかにおいて、空中で可動物体本体２１５０がホバリングできるように動作することもできる。推進機構２１０６は、そのうちの１又は複数が他の複数の推進機構から独立して制御されるように、または、全て同時に制御されるようにも構成できる。例えば、目標追跡装置２１００は、可動物体本体２１５０に揚力及び推力の少なくともいずれかを提供し得る複数の水平に方向付けられたロータを備えることができる。これらのロータは、時計回り方向にも反時計回り方向にも回転可能である。ロータの回転方向や回転率は、揚力及び推力の少なくともいずれかの制御のため、独立して変化可能で、それにより、目標追跡装置２１００の空間的配置、速度、及び加速度の少なくともいずれかを調整できる。

可動物体本体２１５０、支持機構２１０２及び搭載物２１０４は、（例えば周囲の環境などの）固定された参照フレームに対し、もしくはこれと相互に、又は端末２１１２により制御可能である。端末２１１２は、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかから遠隔の位置にある遠隔制御装置であり得る。端末２１１２は、ハンドヘルドデバイス又はウェアラブルデバイスでもよい。端末２１１２はまた、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、グローブ、ヘルメット、マイク、又はこれらの好適な組み合わせを含むことができる。端末２１１２は、例えばキーボード、マウス、ジョイスティック、タッチスクリーン又はディスプレイなどのユーザインタフェースを含むことができる。端末２１１２との交信には、好適なユーザ入力、例えば、マニュアル入力のコマンド、ボイスコントロール、ジェスチャーコントロール、又は（端末２１１２の移動、設置又は傾きなどを介した）位置コントロールを利用することができる。

端末２１１２はまた、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の好適な状態を制御するためにも使用可能である。例えば、端末２１１２は、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかの位置及び向きの少なくともいずれかを、固定された参照フレーム又は相互に対して制御するために使用できる。端末２１１２はまた、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかの個別要素、例えば支持機構２１０２のアクチュエーションアセンブリ、搭載物２１０４のセンサ又は搭載物２１０４のエミッタなどを制御するために使用可能である。端末２１１２は、可動物体本体２１５０、支持機構２１０２又は搭載物２１０４の一つ以上と通信するように適合された無線通信デバイスを含むことができる。

端末２１１２は、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかの情報を表示するための好適な表示ユニットを含むことができる。例えば、端末２１１２は、位置、直進速度、直進加速度、向き、角速度、角加速度又はこれらの任意の組み合わせに関する、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかの情報を表示するように構成可能である。また、端末２１１２は、搭載物２１０４により提供される情報、例えば機能的な搭載物２１０４により提供されるデータ（例えばカメラや他の画像取込デバイスにより記録された画像）を表示することができる。

なお、同一の端末２１１２が可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかの状態を制御すると共に、可動物体本体２１５０、支持機構２１０２及び搭載物２１０４の少なくともいずれかからの情報の受け取りおよび表示の少なくともいずれかを行うこととしてもよい。例えば、端末２１１２は、搭載物２１０４により取り込まれた画像又は搭載物２１０４の位置に関する情報を表示する一方で、環境に対する搭載物２１０４の配置を制御することとしてもよい。また、環境に対する搭載物２１０４の配置の制御に第１端末が使用される一方で、搭載物２１０４により取り込まれた画像データを第２端末が表示することとしてもよい。

目標追跡装置２１００は、ユーザにより遠隔で制御され、または可動物体本体２１５０内又は可動物体本体２１５０上の占有者によりローカルに制御され得る。可動物体本体２１５０は、ＵＡＶ等の無人可動物体でもよい。可動物体本体２１５０は、人間による、又は自律制御システム（例えば、コンピュータ制御システム）、又はこれらの任意の好適な組み合わせにより制御可能である。可動物体本体２１５０は、人工知能を用いて構成されたロボット等、自律型又は半自律型ロボットであり得る。

目標追跡装置１００，２１００は、以下に記載する一連の手順により、複数目標の追跡を実行する。以下、その具体的手順について、本発明の実施の一形態による目標追跡方法としてより具体的に説明する。以下では、目標追跡装置として、主として図４に示した目標追跡装置２１００を取り上げるが、追跡方法の各手順は、図３に示す目標追跡装置１００についても同様に適用される。

なお、目標追跡装置２１００のプロセッサ２１５４及び非一時的コンピュータ可読媒体２１５６は、図１を参照して上述した目標追跡システム２２００が備える制御モジュール２２０８及び非一時的コンピュータ可読媒体２２０６が発揮する機能の全てを実行可能なものである必要はなく、推進機構２１０６、支持機構２１０２及び搭載物２１０４の操作に必須の機能を除き、その他の機能、特に高負荷の機能を、例えばクラウドコンピューティングなどを利用して外部の装置に実行させてもよい。
（Ｃ）目標追跡方法

以下、本発明に係る目標追跡方法の実施形態のいくつかについて説明する。以下では、速度成分の取得態様に応じて第１乃至第３の実施形態を取り上げるが、以下の（ｉ）目標の識別及び（ｉｉ）目標グループの決定の各手順は第１乃至第３の実施形態に共通である。
これら第１乃至第３の実施形態による目標追跡方法の概略手順の一例を図５のフローチャートに示す。
（ｉ）目標の識別

まず、ブロック３０２において、複数の目標が識別される。例えば、図３に示す目標追跡装置１００によれば、撮像装置１０６により取得された画像に基づいて識別することができる。
（ｉｉ）目標グループの決定

次いで、ブロック３０４において、複数の目標に基づいて目標グループが決定される。特に、目標グループは、複数の識別された目標から選択できる１つ以上の目標を含む。１つ以上の目標は、１つ以上の目標のそれぞれに関連する目標状態に基づいて選択されてもよい。例えば、目標グループのための目標は、相互の近接度又は所定の基準点（例えば、画像中心）に対する近接度に基づいて選択されてもよい。代替的に、１つ以上の目標は、主目標に基づいて選択されてもよい。主目標に近い目標は、目標グループに選択されてもよい。

幾つかの実施形態では、目標の状態は、少なくとも部分的には、境界ボックス情報に基づいて判定することができる。例えば、追跡システムと目標との間の相対距離ベクトルは、境界ボックス情報、撮像装置の視野（ＦＯＶ）、ＵＡＶ状態（例えば、高度）、及び又はカメラ方位に少なくとも部分的に基づいて判定されてもよい。追跡システムの位置（ＧＰＳセンサのような任意の適切な位置センサを使用して判定され得る）が与えられると、追跡システムの位置及び相対距離ベクトルに基づいて標的の位置を判定することができる。

図６は、第１乃至第３の実施形態による目標グループの選択のための幾つかの例示的なプロセスを示す。符号７００ａに示されるように、画像７２０において目標物７０１、７０２、７０３、７０４及び７０５が識別された。目標物は、画像内の他の非目標物（図示せず）と区別するために境界ボックス７１０によって示してもよい。

符号７００ｂに示されるように、１つ以上の物を含む目標グループは、少なくとも部分的には、画像座標系における目標物の状態に基づいて判定することができる。目標物の状態の一つとして、目標物の位置を取り挙げることができる。例えば、画像座標系における基準点と各目標物との間の距離は、基準点の位置座標（ｕ０、ｖ０）と、目標物のピクセル座標（例えば、目標物７０１、７０２、７０３、７０４及び７０５のそれぞれに対して、（ｕ１、ｖ１）、（ｕ２、ｖ２）、（ｕ３、ｖ３）、（ｕ４、ｖ４）、（ｕ５、ｖ５））とに基づいて判定できる。各目標物の各距離は、所定の閾距離”ｄ”と比較することができる。閾距離”ｄ”以下の距離を有する目標物を目標グループ内で選択してもよい。一方、“ｄ”以上の距離を有する目標物のみを選択してもよい。

基準点としては、画像、基準物の位置（例えば、ランドマークビルディング）、又は画像座標系における任意の他の所定の点とすることができる。基準点は、システムによってデフォルトで設定してもユーザ又はシステム管理者によって構成可能であってもよい。例えば、ユーザは、遠隔端末を使用して基準点を指定させてもよい。

また、目標グループの選択は、目標物の位置的変化に基づいてもよい。例えば、目標物の位置は、隣接する画像間でシフトしてもよい。位置的シフトは、画像座標系における動きベクトルによって表されてもよい。

符号７００ｃに示されるように、１つ以上の目標を含む目標グループは、少なくとも部分的には、ナビゲーション座標系などの３Ｄ座標系における目標物の状態で決定することができる。目標物の状態として、例えば前述した通りに目標物の位置に基づいて決定することができる。

目標物を含む目標グループは、本明細書で説明されるような因子、例えば、（位置、速度、加速度、方位、タイプ、外観、重み値など）に基づいて決定することができる。例えば、符号７００ｄに示されるように、目標物７０１、７０２及び７０３は、上記の因子の幾つか又はすべてに基づいて、目標グループ７０８の一部として選択されてもよい。目標グループ７０８の境界ボックスは、目標グループを示すために画像７２０上に示されても示されなくてもよい。

目標物の１つ以上につき、主目標物（主目標とも称する）と決定してもよい。主目標は常に追跡されるため、常に目標グループ内にある。残りの目標物（副目標物）は、主目標物との関係に基づいて、目標グループに含まれるか目標グループから除外されてもよい。

図７は、一実施形態による目標グループの選択のための他の例示的なプロセスを示す。図示されているように、目標グループは、主目標の状態に少なくとも部分的に基づいて決定されてもよい。符号８００ａに示されるように、画像８２０において目標物８０１、８０２、８０３、８０４及び８０５が識別された。目標物は、画像内の他の非目標物（図示せず）と区別するために境界ボックス８１０によって示されてもよい。

符号８００ｂに示されるように、目標８０１は、目標グループに含まれる主目標であってもよく、残りの目標物（例えば、目標８０２）は、目標グループ内に含まれても含まれなくてもよい非主目標物又は副目標物であってもよい。幾つかの実施形態では、主目標と副目標との間の空間的関係に基づいてグループを選択してもよい。例えば、主目標と副目標との間の距離を、それらの位置座標に基づいて計算してもよい。主目標から所定の閾距離内にある（例えば、所定の距離閾以下の距離を有する）それらの目標のみを、目標グループ８０８に含めてもよい。主目標の位置の他に、主目標の他の状態情報を、目標グループのメンバーを選択するために使用してもよい。例えば、副目標の移動方向が、主目標の移動方向と比較されてもよい。２つの方向の間の差が所定の閾値以下である場合、副目標は目標グループで選択されてもよく、副目標のスピードが、主目標のスピードと比較されてもよい。２つのスピードの間の差が所定の閾値以下である場合、副目標は目標グループで選択される。例えば、符号８００ｃに示されるように、副目標物８０２及び８０３は、主目標物８０１との関係に基づいて、同じ目標グループ８０８内にあるように選択される。

幾つかの実施形態では、目標グループを決定することは、既存の目標グループを更新することを含む。目標グループを更新することは、例えば図８乃至図１０に示すように、目標物を追加又は除去することを含んでもよい。図８は目標グループに目標物を追加する一例を示し、図９は目標グループから目標物を除去する一例を示す。図１０はさらに、主目標に基づいて目標グループを更新する一例を示す。
（ｉｉｉ）目標グループの追跡

最後に、ブロック３０６において、可動物体本体及び又は支持機構の制御により目標グループを追跡する。以下の実施形態では、目標グループを単一の目標物として扱うことにより、例えば特許文献１及び２にも開示されるような様々な追跡方法が、目標グループの追跡するために適用可能となる。
以下では、目標グループのより正確な追跡に寄与できる、３つの実施形態による制御・追跡方法についてより具体的に説明する。
（ａ）第１実施形態

図１１（パートＡ及びパートＢ）は、本実施形態により、追跡装置に対して目標グループが移動した場合に、該目標グループの追跡を示す模式図の一例である。図１１のパートＡに示す例において、目標グループは、時刻t１において、目標追跡装置２１００から、水平距離Ｄx＿１、垂直距離Ｄzの位置にあるものとする。目標グループの高さはＨとする。目標グループの高さは、画像フレーム内のスケールに基づいて決定してもよい。また、目標グループの高さは、可動物体のタイプ（例えば人、乗り物など）に依存して推測してもよい。

撮像装置１０６は、時刻ｔ１において、目標グループ１３０８の第１画像平面上で第１画像１３１４−１（図１２参照）を取り込むように構成されてよい。第１画像面１３１０−１でのポイントは、画像座標（ｕ，ｖ）の組で表わされてよい。目標グループの第１画像１３１４−１を実質的に囲むように第１境界ボックス１３１６−１が構成されるとよい。この境界ボックスは、目標追跡装置２１００に対して目標グループが移動する場合に、サイズ及び又は位置を変更するように構成してもよい。

第１境界ボックスのサイズと位置は、光線１３１８−１及び１３２０−１によって定義してもよい。光線１３１８−１は、撮像装置のミラー中心、第１画像面１３１０−１上の第１画像点、及び目標グループ１３０８上の第１目標ポイントを通過する。光線１３２０−１は撮像装置のミラー中心、第１画像面１３１０−１上の第２画像点、及び目標グループ１３０８上の第２目標ポイントを通過する。本実施形態において第１境界ボックスの中心座標（x１，y1）は、例えば第１画像面の中心Ｃに一致している。ただし、これに限ることなく、他の代替実施形態においては、第１境界ボックスが第１画像面１３１０−１の中心部分から実質的に離隔してその中心座標（x１，y1）が第１画像面の中心Ｃに一致していなくともよい。図１１のパートＡに示すように、第１境界ボックス１３１６-1のサイズは、第１高さh1で特徴づけられてよい。

時刻t２において、目標グループ１３０８は目標追跡装置２１００に対して異なる位置に移動したものとする。例えば、目標グループ１３０８は、Ｘ軸及びＹ軸に沿って目標追跡装置２１００から離隔するように移動し、これにより、目標グループ１３０８が目標追跡装置２１００から距離Ｄx＿２（図１２参照）だけ離れて配置される。図１２は、上方から見た場合の目標追跡装置２１００及び目標グループ１３０８を表し、目標追跡装置２１００から離れて移動するときの、Ｘ―Ｙ平面に沿った目標グループ１３０８の直進運動を示す。本実施形態においては、目標グループ１３０８と目標追跡装置２１００との間の垂直距離Ｄzは、不変のままである。時刻t２において、図１１のパートＡに示すように、光軸１３１２はもはや目標追跡装置２１００のミラー中心から目標グループ１３０８の中心部分へ延在しない。目標グループが目標追跡装置２１００から更に離隔して移動すると、境界ボックスのサイズは低減する。例えば、図１１のパートＢに示すように、第２画像フレーム中の第２境界ボックスのサイズは、第２高さh２で特徴づけられ、ここで、h２＜h１である。

撮像装置は、時刻t２において、第２画像面１４１０−２上に目標グループの第２画像１３１４−２を取り込むように構成される。第２画像面１４１０−２上の点もまた、画像座標（u，v）で表すことができる。第２境界ボックス１３１６−２は、目標グループの第２画像１３１４−２を実質的に囲むように構成される。第２境界ボックスのサイズと位置は、光線１３１８−２，１３２０−２で規定することができる。光線１３１８−２は、撮像装置のミラー中心、第２画像面１３１０−２上の第１画像点、及び目標グループ１３０８上の第１目標ポイントを通過する。光線１３２０−２は、撮像装置のミラー中心、第２画像面１３１０−２上の第２画像点、及び目標グループ１３０８上の第２目標ポイントを通過する。第１境界ボックスとは異なり、第２境界ボックスは、第２画像面１３１０−２の中心部分に配置されない。例えば、第２境界ボックスの中心座標（x２，y２）は、第２画像面の中心Ｃとは一致しない。例えば、図１１及び図１２に示すように、第２境界ボックスは、第２画像面の中心Ｃからオフセット距離δだけシフトされる。

図１３は、本実施形態に従い、図１１及び図１２内の境界ボックスにおけるサイズ及び位置の変化に基づいて目標追跡装置２１００の移動を調整するフィードバック制御システムの一例を示すブロック図の一例を示す。図１３に示すように、フィードバック制御システム１５００は、撮像装置１５０６、画像解析装置１５０７、モーションコントローラ１５５０及び駆動装置１５５４を備える。モーションコントローラ１５５０は、フィードバックコントローラ１５５２を含む。フィードバック制御システム１５００において、画像解析装置１５０７は、撮像装置１５０６に接続されて画像データを送られて所定の解析処理を行い、解析結果（δ、ｈ１，ｈ２）を、加算減算器を介してモーションコントローラ１５５０のフィードバックコントローラ１５５２へ送る。フィードバックコントローラ１５５２は、入力Ｉｎｐｕｔと加算又は減算された解析結果（δ、ｈ１，ｈ２）の入力を受けてこれらに所定の演算を行って、第1及び第2速度成分Ｖｔ，Ｖｃを生成して駆動装置１５５４へ送る。駆動装置１５５４は、目標追跡装置２１００の移動を調整する信号を生成し、モーション出力として推進機構２１０６（図４参照）へ送る。このモーション出力は撮像装置１５０６へも送られる。モーションコントローラ１５５０、駆動装置１５５４及び画像解析装置１５０７は、図４に示すプロセッサ２１５４または図２に示す制御モジュール２２０８内に組み込まれた具体的なコンポーネントの一部を構成する。この点は、後述する第２実施形態のフィードバック制御システム１７００（図１５パートＡ），２０００（図１５パートＢ）についても同様である。

フィードバックコントローラ１５５２は、画像フレーム間における境界ボックスの位置の変化を最小化することにより、第1速度成分を取得し、画像フレーム間における境界ボックスのサイズの変化を最小化することにより、第２速度成分を取得するように構成される。フィードバック制御システム１５００はさらに、第1及び第２速度成分に基づいて目標追跡装置２１００の移動を調整することにより、目標グループを追跡するように構成される。

第１速度成分は、図１３（並びに図１５）に示すフィードバック制御システム１５００（並びに１７００および２０００）のフィードバック制御ループを使用して位置エラーを最小化することによって取得してもよい。位置エラーは、図１１及び図１２にそれぞれ示す第１画像フレーム及び第２画像フレーム間での境界ボックスの位置の変化に基づいて算出することができる。境界ボックスの位置の変化は、第１画像フレーム及び第２画像フレーム内の参照点に関連して決定することができる。第１速度成分は、フィードバック制御ループを使用して時刻ｔ１とｔ２における境界ボックスの位置の相違を最小化することにより取得可能である。前述の通り、境界ボックスの位置の変化は、オフセット距離δに関連し得る。

第２速度成分は、画像フレーム間における境界ボックスのサイズの変化を最小化することにより取得可能である。第２速度成分は、フィードバック制御ループを使用して距離エラーを最小化することによって取得してもよい。距離エラーは、第１時刻（ｔ１）における目標追跡装置２１００と目標グループとの間の第１距離と、第２時刻（ｔ２）における目標追跡装置２１００と目標グループとの間の第２距離とに基づいて算出することができる。第１距離と第２距離は、第１画像フレームと第２画像フレームにおける境界ボックスのサイズ（例えば高さなど）に基づいて計算してもよい。

フィードバック制御システム１５００への入力は、閾位置オフセット及び閾距離を含むとよい。ある場合に、閾位置オフセット及び閾距離は、オフセット距離δ及び距離エラーを最小化するため、０又は実質的に０である。閾位置オフセット及び閾距離が実質的に０であるとき、フィードバック制御システム１５００は、境界ボックスが画像フレームを跨いで実質的に同一の位置及びサイズを維持するように目標追跡装置２１００の移動を調整する。閾位置オフセット及び閾距離は、本実施形態において例えば第１及び第２閾値にそれぞれ対応する。

撮像装置は、（例えば図１１における第１及び第２画像のような）画像データを取り込むように構成される。画像データは、画像解析装置１５０７へ供給される。画像解析装置１５０７は、画像データを分析して画像フレーム間での境界ボックスの位置の変化（オフセット距離δ）を決定するよう構成される。画像フレーム間での境界ボックスの位置の変化は、入力と比較され、フィードバックコントローラへ供給される。図１１では、目標グループの移動は光軸に垂直ではないので（図１２参照）、位置エラーｄ＿ｅｒｒｏｒ１は、撮像装置の向き（傾き）を説明するように修正されなければならない。フィードバックコントローラは、以下の式（１）を用いて、時刻ｔ２での境界ボックスにおける位置エラーｄ＿ｅｒｒｏｒ３を計算することにより位置エラーｄ＿ｅｒｒｏｒ１を修正する。

ここで、δはオフセット距離であり、ｐは第２画像フレームにおける各画素で表される角度であり、Ｄｚは目標追跡装置２１００と目標グループ１３０８との間のＺ軸に沿った垂直距離に対応し、τは撮像装置の向きである。撮像装置の向きは、目標追跡装置２１００及び可動物体１０２の少なくともいずれかに関して定義された、撮像装置のロール角、ヨー角及びピッチ角の少なくともいずれかを含んでよい。図１１に示す例において、撮像装置の向きτは、撮像装置のピッチ角θに対応する。

本実施形態において、画像解析装置１５０７もまた、画像データを解析して第１及び第２画像フレーム中の境界ボックスの高さを決定するように構成される。境界ボックスの高さは、加算減算器を介してフィードバックコントローラ１５５２に供給される。目標追跡装置２１００と目標グループ１３０８との距離は、各画像フレーム中の境界ボックスのサイズ（高さ）に基づいて取得することができる。

例えば、フィードバックコントローラ１５５２は、以下の式（２），（３）をそれぞれ用いて、時刻ｔ１，ｔ２のそれぞれにおける目標追跡装置２１００と目標グループ１３０８との第１及び第２距離Ｄｘ＿１，Ｄｘ＿２を計算するように構成される。

ここで、pは第１及び第２画像フレームにおける各ピクセルにより表される角度であり、Ｈは目標グループの高さであり、h1は第１境界ボックスの高さであり、h２は第２境界ボックスの高さである。

フィードバックコントローラ１５５２はさらに、以下の式（４）を用いて、時刻t１，t２における目標グループの位置の間の距離エラーd_error２を計算するよう構成される。
d_error2 = Dx_1 - Dx_2 ・・・式（４）

次に、フィードバックコントローラ１５５２は、比例―積分―微分（ＰＩＤ）法（又は、比例―微分（ＰＤ）法）を用いてd_error3及びd_error2を最小化し、これにより第１及び第２速度成分Ｖt，Ｖcを取得する。第１及び第２速度成分Ｖt，Ｖcは、駆動装置１５５４に供給される。駆動装置１５５４は、目標グループを追跡できるよう、第１及び第２速度成分に基づいて所定の軸Ｘ’に沿って目標追跡装置２１００の移動を調整するよう構成される。所定の軸Ｘ’は、目標追跡装置２１００の自然な移動方向（図１１及び図１４参照）に対応する。所定の軸Ｘ’は、（例えば水平グラウンドプレーンなどの）参照面に平行なものでもよい。光軸は、所定の軸Ｘ’に対して角度θをなすように所定の軸Ｘ’に対して斜めに向いたものでもよい。光軸は、水平グラウンドプレーンに対して斜めの面の上にあるものでもよい。図１１において、第１速度成分Ｖtは、光軸１３１２に対して斜めに向いたものでもよく、第２速度成分Ｖcは、光軸に平行でも光軸に沿ったものでもよい。従って、第１及び第２速度成分Ｖｔ，Ｖｃは単に交わるものでも、互いに直交するものでもよい。

第１及び第２速度成分Ｖｔ，Ｖｃに基づいて目標追跡装置２１００の移動を調整することにより、境界ボックスは、画像フレームに跨って実質的に同一の位置及びサイズを維持することができる。目標追跡装置２１００の調整された移動は、フィードバック制御システム１５００の動作出力に対応する。上述の手順は、位置エラーｄ＿ｅｒｒｏｒ３が所定の閾位置オフセット以下になるまで、かつ、距離エラーｄ＿ｅｒｒｏｒ２が所定の閾距離オフセット以下になるまで閉ループ内で反復されるとよい。上述の手順の反復より、第１速度成分Ｖｔ及び第２速度成分Ｖｃの少なくともいずれかは、動的に変動し得る。これらの第１実施形態の作用・効果は、後述する第２及び第３の実施形態においても実質的に同様である。

図１１乃至図１７に示す実施形態において、目標グループ１３０８が目標追跡装置２１００に対して直進運動で移動するとき、駆動装置１５５４は、目標グループ１３０８を追跡するために、予想速度ベクトルＶｅを用い、所定の軸Ｘ’に沿って目標追跡装置２１００の移動を調整するように構成される。図１４の例にも示されるように、本実施形態において、予想速度ベクトルＶｅは、所定の軸Ｘ’の方向に沿って延在する。駆動装置１５５４は、第１及び第２速度成分Ｖｔ，Ｖｃ並びに撮像装置の向きτに基づいて予想速度ベクトルＶｅを取得（算出）するように肯定される。予想速度ベクトルＶｅとは、第１及び第２速度成分Ｖｔ，Ｖｃの融合（合成）である。融合要素λは、撮像装置の向きの関数であり得る。融合要素λは、ｓｉｎ^２τで与えられる場合もあれば、ｃｏｓ^２τで与えられる場合もある。いくつかの実施形態において、予想速度ベクトルは、（１）Ｖｔをλで乗算し、（２）Ｖｃを（１−λ）で乗算し、さらに、（１）と（２）との積の合計の平方根をとることにより得られる。また、いくつかの実施形態では、予想速度ベクトルは、第１速度成分Ｖｔ及び第２速度成分Ｖｃに異なる重み付けを行うことにより得られる。異なる重み付けは、向きτ及び融合要素λの少なくともいずれかに基づくものでもよい。例えば、目標追跡装置２１００が、目標グループ１３０８よりも実質的に上方に位置する場合、すなわち、目標グループ１３０８が目標追跡装置２１００よりも（地面や水面などの）基準面の側に位置する場合、第１速度成分には第２速度成分よりも大きな重み付けがなされるとよい。これとは逆に、目標追跡装置２１００が、上記基準面に水平な軸（図１１に示す例では水平軸）上で目標グループ１３０８と実質的に並ぶ場合、第２速度成分には第１速度成分よりも大きな重み付けがなされるとよい。
（ｂ）第２実施形態

撮像装置の向きは、撮像装置のロール角、ヨー角及びピッチ角の少なくともいずれかを含んでよい。図１１乃至図１４に示す第１及び第２の実施形態において、撮像装置の向きτは、撮像装置のピッチ角θに対応する。図１５は、第２及び第３の各実施形態の目標追跡方法により、図１１及び図１２中の境界ボックスのサイズ及び位置の変化に基づいて目標追跡装置２１００の移動を調整するためのフィードバック制御システム１７００（パートＡ），２０００（パートＢ）をそれぞれ模式的に示すブロック図の例である。

図１３との対比により明らかなように、フィードバック制御システム１７００は、モーションコントローラ１７５０の構成としてフィードバックコントローラ１７５２に加えて、位置算出器１７５１をさらに含む。位置算出器１７５１は、図１１及び図１３における第１及び第２画像フレーム間の境界ボックスの位置の変化に基づいて目標追跡装置２１００及び目標グループ１３０８間の第１相対位置を算出するように構成される。位置算出器１７５１はまた、図１１及び図１３における第１及び第２画像フレーム間の境界ボックスのサイズの変化に基づいて目標追跡装置２１００及び目標グループ１３０８間の第２相対位置を算出するように構成される。

フィードバックコントローラ１７５２は、位置算出器１７５１からの第１及び第２相対位置を表す信号を受け取るように構成される。次いで、フィードバックコントローラ１７５２は、比例―積分―微分（ＰＩＤ）法（又は、比例―微分（ＰＤ）法）を用いて第１及び第２相対位置を最小化し、これにより第１及び第２速度成分Ｖｔ，Ｖｃを取得する。その後は、第１実施形態と同様に、駆動装置１５５４が、第１及び第２速度成分Ｖｔ，Ｖｃの供給を受け、これに基づいて所定の軸Ｘ’に沿って目標追跡装置２１００の移動を調整することにより目標グループ１３０８を追跡する。

目標追跡装置２１００の調整された移動は、フィードバック制御システム１５００のモーション出力に対応する。従って、第１及び第２速度成分Ｖt，Ｖcに基づいて目標追跡装置２１００の移動を調整することにより、境界ボックスは、画像フレームに跨って実質的に同一の位置及びサイズを維持することができる。上述の手順は、第１及び第２相対位置がそれぞれ第1及び第２閾位置オフセット以下になるまで閉ループ内で反復されるとよい。第１及び第２相対位置は同じでも異なるものでもよい。いくつかの場合において、第１及び第２相対位置は、実質的に０に等しい。上述の手順の反復より、第１速度成分Ｖｔ及び第２速度成分Ｖｃの少なくともいずれかは、動的に変動し得る。

図１５パートＢは、第２実施形態の一変形例におけるフィードバック制御システムの一例を示す。同図に示すフィードバック制御システム２０００は、以下の相違点を除いて図１５パートＡに示すモーションコントローラ１７５０に類似するモーションコントローラ２０５０を備える。すなわち、モーションコントローラ２０５０は、位置算出器１７５１が第１相対位置と第２相対位置とを算出し、これらの第１相対位置および第２相対位置とをフィードバックコントローラ１７５２が融合又は合成することにより、合成位置をさらに算出するように構成される。次いで、フィードバックコントローラ１５５２は、比例―積分―微分（ＰＩＤ）法（又は、比例―微分（ＰＤ）法）を用いて合成位置を最小化し、これにより予想速度成分Ｖｅを取得する。前述したとおり、予想速度ベクトルＶｅは、第１及び第２速度成分Ｖt，Ｖcの融合（合成）である。しかしながら、図１５パートＢにおいては、予想速度成分Ｖｅは、（例えば合成位置の時間関数としての導関数としての）合成された位置から直接算出することができるので、第１及び第２速度成分Ｖt，Ｖcの相互融合を行う必要が無い。予想速度成分Ｖｅは、駆動装置１７５４に供給される。駆動装置１７５４は、予想速度成分に基づいて所定の軸Ｘ’に沿って目標追跡装置２１００の移動を調整し、これにより、目標グループを追跡するように構成される。

目標追跡装置２１００の調整された移動は、フィードバック制御システム１７００，２０００のモーション出力に対応する。従って、予想速度成分に基づいて目標追跡装置２１００の移動を調整することにより、境界ボックスは、画像フレームに跨って実質的に同一の位置及びサイズを維持することができる。上述の手順は、合成位置が閾合成位置以下になるまで閉ループ内で反復されるとよい。いくつかの場合において、閾合成位置は、実質的に０に等しい。上述の手順の反復より、予想速度成分は、動的に変動し得る。
（ｃ）第３実施形態

本実施形態において、可動物体本体用の予想回転角速度は、図１６及び図１７を参照して以下に説明するように、一つ又は複数の特徴に関連する一つ又は複数の特性の変化に基づいて取得可能である。

図１６に示すように、目標追跡装置２１００の撮像装置は、時刻ｔ１において第１画像平面１８１０−１上に目標グループの第１画像１８１４−１を取り込むよう構成可能である。第１境界ボックス１８１６−１は、目標グループ１８０８の第１画像１８１４−１を実質的に取り囲むよう構成される。境界ボックスは、目標追跡装置２１００の向きが目標グループ１８０８に対して変化するときに、そのサイズと位置が変化するように構成可能である。例えば、目標追跡装置２１００は、これを運搬する可動物体本体に関して規定されるヨー、ロール及びピッチの少なくともいずれかの軸の周りを回転してもよい。第１境界ボックスは、時刻ｔ１において、第１画像平面１８１０−１の中央部分に実質的に配置されるとよい。例えば、第１境界ボックスの中央座標（ｘ１，ｙ１）は、第１画像平面の中心Ｃと一致するとよい。この一方、第１境界ボックスは、第１画像平面１８１０−１の中央部分から実質的に離隔して配置されてその中心座標（ｘ１，ｙ１）が第１画像平面の中心Ｃと一致しなくともよい。

本実施形態によれば、時刻ｔ２において、目標グループ１８０８がＸ方向及びＹ方向のいずれにも異なる方向へ移動した場合、撮像装置１０６（又は目標追跡装置２１００）は、目標グループ１８０８の追跡を継続するため、図１７に示すように、目標グループ１８０８に対して（例えばＺ方向を周回する）ヨー方向で回転する。撮像装置１０６は、時刻ｔ２で目標グループの第２画像１８１４−２を第２画像平面１８１０−２上に取り込むように構成される。第２境界ボックスは、目標グループ１８０８の第２画像１８１４−２を実質的に取り囲むように構成される。撮像装置１０６がヨー軸の周りで回転するために、第１境界ボックスと同様、第２境界ボックスは、第２画像平面１８１０−２の中央部分に配置される。例えば、第２境界ボックスの中央座標（ｘ２，ｙ２）は、第２画像平面の中心Ｃと一致する。ｙ２座標は、第１画像平面の中心Ｃからオフセット距離Δだけシフトする。

目標追跡装置２１００の向きの変化は、ヨー方向（Ｚ軸）及びピッチ方向（Ｙ軸）の両方での回転を含んでよい。例えば図１８に示すように、y２座標が第２画像平面の中心Ｃからオフセット距離Δyだけシフトし、x２座標が第２画像平面の中心Ｃからオフセット距離Δxだけシフトしてもよい。オフセット距離Δyは、目標追跡装置２１００のピッチ軸回りの回転に起因する場合があり、オフセット距離Δxは、目標追跡装置２１００のヨー軸回りの回転に起因する場合がある。

本明細書に記載されるフィードバック制御システムは、一つ又は複数の特徴に関連する一つ又は複数の特性の変化に基づいて予想回転角速度を取得するように構成することができる。例えば、予想回転角速度は、画像フレーム又は画像平面のu軸及びｖ軸の少なくともいずれかに沿ったオフセット距離Δに基づいて取得可能である。フィードバック制御システムは、画像フレーム間の境界ボックスの位置の変化（位置オフセット）を最小化することにより予想回転角速度を取得するよう構成可能である。フィードバック制御システムはさらに、目標グループを追跡するために予想回転角速度に基づいて目標追跡装置２１００の移動を調整するよう構成可能である。例えば、フィードバック制御システムは、目標グループを追跡するため、予想回転角速度に従って目標追跡装置２１００の（例えば、ヨー軸、ロール軸及びピッチ軸の少なくともいずれかの周りにおける）向きの変化に影響を及ぼすことができる。

予想回転角速度は、フィードバック制御ループを用いて位置エラーを最小化することにより取得できる。位置エラーは、図１６乃至図１８における第１及び第２画像フレーム間での境界ボックスの位置の変化に基づいて算出できる。予想回転角速度は、フィードバック制御ループを用いて境界ボックスの時刻t１及びt２間での位置の差異を最小化することにより取得できる。図１６乃至図１８で既に示したように、境界ボックスの位置の変化は、オフセット距離Δに関連付けることができる。オフセット距離Δは、画像フレーム又は画像平面のｕ軸及びｖ軸の少なくともいずれかに沿ったものでよい。フィードバック制御システムへの入力には閾位置オフセットを含めてもよい。閾位置オフセットは、オフセット距離Δを最小にするため、０であっても、実質的に０であってもよい。閾位置オフセットが０の場合、フィードバック制御システムは、境界ボックスが画像フレームに跨って実質的に同一の位置を維持するように目標追跡装置２１００の（例えば、ヨー軸、ロール軸及びピッチ軸の少なくともいずれかの周りにおける）移動を調整することができる。

撮像装置１０６は、（例えば図１６乃至図１８に示す第１及び第２画像フレームなどの）画像データを取り込むように構成される。画像データは、画像解析装置に供給される。画像解析装置は、画像データを解析して画像フレーム間での境界ボックスの位置の変化（オフセット距離Δ）を決定するように構成される。境界ボックスの位置の変化は、入力と比較されてフィードバックコントローラ１７５２に供給される。

次いで、フィードバックコントローラ１７５２は、比例―積分―微分（ＰＩＤ）法（又は、比例―微分（ＰＤ）法）を用いてオフセット距離Δを最小化し、これにより予想回転角速度を取得する。予想回転角速度は、駆動装置１７５４へ供給される。駆動装置１７５４は、予想回転角速度に基づいて（例えば、ヨー、ロール及びピッチの少なくともいずれかの）軸の周りでの目標追跡装置２１００の移動を調整して目標グループを追跡するように構成される。予想回転角速度に基づいて目標追跡装置２１００の移動を調整することにより、境界ボックスは、画像フレームに跨って実質的に同一の位置及びサイズを維持することができる。目標追跡装置２１００の調整された移動は、フィードバック制御システム２０００の動作出力に対応する。上述の手順は、オフセット距離Δが閾位置オフセット以下になるまで閉ループ内で反復されるとよい。いくつかの場合において、閾合成位置は、実質的に０に等しい。上述の手順の反復より、予想回転角速度は、動的に変動し得る。

本実施形態において、オフセット距離Δは、目標グループの追跡のために目標追跡装置２１００の予想回転角速度を決定することに利用された。しかしながら、本願発明はこれに限定されるものではない。当業者であれば理解できるように、オフセット距離Δはまた、第３速度成分Ｖｔ’の算出にも利用することができる。Ｘ方向に沿った第１速度成分Ｖｔとは異なり、第３速度成分Ｖｔ’はＹ方向に沿ったものでもよい。従って、目標追跡装置２１００の移動もまた、Ｙ方向に沿って調整されて目標グループを追跡してもよい。例えば、フィードバックコントローラは、以下の式（５）を用いて時刻ｔ２における境界ボックス内の位置エラーｄ＿ｅｒｒｏｒ４を算出するように構成することができる。
d_error4 = tan (Δy * p) * Dz・・・式（５）

ここで、Δｙは第２画像フレームにおけるｖ軸に沿ったオフセット距離であり、ｐは第２画像フレーム内の各ピクセルによって表される角度であり、Ｄｚ は目標追跡装置２１００と目標グループとの間のＺ軸に沿った垂直距離に対応する。

次に、フィードバックコントローラは、比例―積分―微分（ＰＩＤ）法（又は、比例―微分（ＰＤ）法）を用いてｄ＿ｅｒｒｏｒ４を最小化し、これにより第３速度成分Ｖｔ’を取得する。第３速度成分Ｖｔ’は、駆動装置１７５４へ供給される。駆動装置１７５４は、第３速度成分Ｖｔ’に基づいて（例えばＹ軸などの）所定の軸に沿って目標追跡装置２１００の移動を調整して目標グループを追跡するように構成される。第３速度成分Ｖｔ’に基づいて目標追跡装置２１００の移動を調整することにより、境界ボックスは、画像フレームに跨って実質的に同一の位置及びサイズを維持することができる。目標追跡装置２１００の調整された移動は、フィードバック制御システム２０００の動作出力に対応する。上述の手順は、位置エラーｄ＿ｅｒｒｏｒ４が閾位置オフセット以下になるまで閉ループ内で反復されるとよい。いくつかの場合において、閾合成位置は、実質的に０に等しい。上述の手順の反復より、第３速度成分Ｖｔ’は、動的に変動し得る。

前述した通り、オフセット距離δは、第１速度成分Ｖｔを決定するために利用可能である。いくつかの実施形態において、オフセット距離δは、予想ジンバル（ｇｉｍｂａｌ）ピッチ角θ’を算出するためにも利用でき、これにより目標追跡装置２１００のピッチ角が制御される。これらの実施形態においては、現在のジンバルピッチ角と初期のジンバルピッチ角との相違をエラー量とみなすことにより、（例えばＸ軸などの）所定の軸に沿った予想速度ベクトルを取得することができ、これにより、目標グループの追跡を実行することができる。
（Ｄ）プログラム及び記録媒体

上述した目標追跡方法の一連の手順は、プログラムに組み込んでコンピュータに読込ませて実行させてもい。これにより、本発明にかかる目標追跡方法を汎用のコンピュータを用いて実現することができる。また、上述した目標追跡方法の一連の手順をコンピュータに実行させるプログラムとしてフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読込ませて実行させても良い。

記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。また、上述したパターン計測方法の一連の手順を組込んだプログラムをインターネット等の通信回線（無線通信を含む）を介して頒布しても良い。さらに、上述したパターン計測方法の一連の手順を組込んだプログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、又は記録媒体に収納して頒布しても良い。
（Ｅ）その他

本明細書に記載されたシステム、装置、方法及びプログラムは、幅広い種類の可動物体に適用することができる。本願明細書の各実施形態における可動物体は、任意の適切な環境内又は複数の環境の任意の組み合わせ内で移動するように構成することができる。これらの環境には、例えば、空中（例えば、固定翼機、回転翼航空機、又は複数の固定翼部もしくは回転翼部を有しない航空機）、水中（例えば、船舶又は潜水艦）、地上（例えば、車、トラック、バス、バン型車、自動二輪車等の自動車、ステッキ（ｓｔｉｃｋ）、釣竿等の可動構造体もしくはフレーム、又は電車）、地下（例えば、地下鉄）の他、宇宙（例えば、宇宙船、衛星、又は宇宙探査用ロケット（ｐｒｏｂｅ））も含まれる。可動物体は、人間又は動物等の生体にも装着可能であり、好適な動物の例としては、霊長類、アビネス（ａｖｉｎｅｓ）、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、イルカ、齧歯動物又は昆虫も挙げられる。

可動物体は、ユーザにより遠隔で制御され、または可動物体内又は可動物体上の占有者によりローカルに制御され得る。いくつかの実施形態において、可動物体は、ＵＡＶ等の無人可動物体である。ＵＡＶ等の無人可動物体は、可動物体上に占有者を有しなくともよい。可動物体は、人間による、又は自律制御システム（例えば、コンピュータ制御システム）、又はこれらの任意の好適な組み合わせにより制御され得る。可動物体は、人工知能を用いて構成されたロボット等、自律型又は半自律型ロボットであり得る。

可動物体は、任意の好適なサイズ及び寸法の少なくともいずれかを有し得る。いくつかの実施形態において、可動物体は、乗り物内又は乗り物上に人間の占有者を有するサイズ及び寸法の少なくともいずれかであってもよい。

本発明の好ましい複数の実施形態を本明細書において示し、説明したが、そのような実施形態は、専ら例として提供されたことが当業者には明らかであろう。当業者は、本発明の範囲を逸脱することなく、多くの改変形態、変更形態、及び代替形態に直ちに想到するであろう。以下の特許請求の範囲は、本発明の範囲を規定し、これらの特許請求の範囲の方法及び構造、ならびにその均等物は、それにより包含される。

１０２：可動物体
１０４：支持機構
１０６：撮像装置
１１０：目標物
１１２：遠隔端末
２００，２２００：目標追跡システム
２０２：目標識別モジュール
２１０：目標グループ決定モジュール
２１６：追跡制御モジュール
７０１〜７０５，８０１〜８０５，９０１〜９０５，１００１〜１００５，１１０１〜１１０５：目標
７０８，８０８，９０８，９１０，１００８，１０１０，１１０８，１１１０：目標グループ
７１０，７２０，８１０：境界ボックス（追跡インジケータ）
１５５２，１７５２：フィードバックコントローラ
１５５４，１７５４：駆動装置
１５００：フィードバック制御システム
１７５０，２０５０：モーションコントローラ
２１１２：端末
２１０２：支持機構
２１０４：搭載物
２１０６：推進機構
２１５０：可動物体本体
２１５４：プロセッサ
ｔ１，ｔ２：（異なる）時刻
Ｖt：第１速度成分
Ｖc：第２速度成分
δ：オフセット距離

Claims (15)

1. 可動物体に搭載される撮像装置から取得された複数の画像に基づいて複数の目標を識別する目標識別モジュールと、
   前記複数の目標からの１つ以上の目標を含む目標グループを決定する目標グループ決定モジュールと、
   前記目標グループを追跡するように前記可動物体及び前記撮像装置の少なくともいずれかを制御する制御モジュールと、を備え、
   前記制御モジュールは、順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて前記可動物体及び前記撮像装置の少なくともいずれかの移動を調整することを特徴とする目標追跡システム。
2. 前記速度成分は、第１及び第２速度成分を含み、
   目標識別モジュールは、決定された目標グループを特定するための追跡インジケータを前記画像データに付与し、
   前記制御モジュールは、前記複数の画像のフレーム間における前記追跡インジケータの位置及びサイズの変化にそれぞれ基づいて前記第１及び第２速度成分をそれぞれ算出する、ことを特徴とする請求項１に記載の目標追跡システム。
3. 前記可動物体は、無人航空機（ＵＡＶ）であることを特徴とする請求項１または２に記載の目標追跡システム。
4. 可動物体と、
   前記可動物体に搭載され、複数の目標物を撮像して画像データを出力する撮像装置と、
   前記画像データを処理して前記複数の目標物を識別し、識別した目標物から目標グループを決定し、前記目標グループを追跡するように前記可動物体を制御する指令信号を出力するプロセッサと、
   前記指令信号に基づいて前記可動物体を移動させる駆動装置と、
   を備え、
   前記プロセッサは、順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得して前記駆動装置に供給し、
   前記駆動装置は、前記速度成分に基づいて前記可動物体の移動を調整することを特徴とする目標追跡装置。
5. 前記速度成分は、第１及び第２速度成分を含み、
   前記プロセッサは、
   決定された目標グループを特定するための追跡インジケータを前記画像データに付与し、
   前記複数の画像のフレーム間における前記追跡インジケータの位置及びサイズの変化にそれぞれ基づいて前記第１及び第２速度成分をそれぞれ算出する、ことを特徴とする請求項４に記載の目標追跡装置。
6. 可動物体に搭載される撮像装置から取得された複数の画像に基づいて複数の目標を識別するステップと、
   前記複数の目標からの１つ以上の目標を含む目標グループを決定するステップと、
   前記目標グループを追跡するように前記可動物体及び前記撮像装置の少なくともいずれかを制御するステップと、を備え、
   前記可動物体及び前記撮像装置の少なくともいずれかを制御するステップは、
   順次に取得された画像データを処理することにより、互いに交わる３つの直線移動方向並びに該３方向の各々を中心とする３つの回転方向でなる６自由度の移動方向の少なくとも１つにおける速度成分を取得し、取得した速度成分に基づいて前記可動物体及び前記撮像装置の少なくともいずれかの移動を調整するステップを含む、
   ことを特徴とする目標追跡方法。
7. 前記速度成分は、第１及び第２速度成分を含み、
   前記第１及び第２速度成分は、順次に取得された複数画像のフレーム間における追跡インジケータの位置及びサイズの変化にそれぞれ基づいて取得される、
   ことを特徴とする請求項６に記載の目標追跡方法。
8. 前記第１及び第２速度成分は、前記フレーム間における前記追跡インジケータの位置及びサイズの変化をそれぞれ最小化することにより算出される、
   ことを特徴とする請求項７に記載の目標追跡方法。
9. 前記第１及び第２速度成分は、前記フレーム間における前記追跡インジケータの位置及びサイズの変化にそれぞれ基づいて位置エラー及び距離エラーをそれぞれ最小化することにより算出される、
   ことを特徴とする請求項７に記載の目標追跡方法。
10. 前記第１及び第２速度成分は、前記フレーム間における前記追跡インジケータの位置及びサイズの変化にそれぞれ基づいて得られる、前記可動物体及び前記撮像装置の少なくともいずれかと前記目標グループとの間の第１及び第２相対位置をそれぞれ最小化することにより算出される、
    ことを特徴とする請求項７に記載の目標追跡方法。
11. 前記位置エラー及び距離エラー又は前記第１及び第２相対位置に対応して第１及び第２閾値を設定するステップをさらに備え、
    前記位置エラー及び距離エラーの最小化又は第１及び第２相対位置の最小化は、それぞれ前記第１及び第２閾値以下になるまで反復して実行される、
    ことを特徴とする請求項９または１０に記載の目標追跡方法。
12. 前記可動物体及び前記撮像装置の少なくともいずれかの移動を調整するステップは、
    前記第１及び第２速度成分の少なくともいずれかに対して重み付けを行い、重み付けられた前記第１及び第２速度成分の少なくともいずれかを合成して予想速度ベクトルを取得するステップを含むことを特徴とする請求項７に記載の目標追跡方法。
13. 前記目標グループが前記可動物体よりも基準面の側に位置する場合、第１速度成分には第２速度成分よりも大きな重み付けが行われ、
    前記目標グループと前記可動物体とが前記基準面に水平な軸上で実質的に並ぶ場合、第２速度成分には第１速度成分よりも大きな重み付けが行われる、
    ことを特徴とする請求項１２に記載の目標追跡方法。
14. 前記速度成分は前記３つの回転方向のいずれかにおける回転角速度を含み、
    前記回転角速度は、順次に取得された複数画像のフレーム間における追跡インジケータの位置の変化に基づいて取得される、
    ことを特徴とする請求項６に記載の目標追跡方法。
15. 請求項６乃至１４のいずれか一項に記載の目標追跡方法をコンピュータに実行させるプログラム。