JP2008136171A - 移動プラットフォーム上のカメラからの移動物体の追跡 - Google Patents

Abstract

【課題】移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を安定させる。
【解決手段】移動ビークル２０に配置されているイメージングデバイス５０の画像平面上において、第１の軸Ｘｉ、第２の軸Ｙｉ、及び第３の軸Ｚｉの交点に原点を設定するステップと、ターゲット３０をその画像の図心が画像平面の原点にあるように撮像するステップと、センサ６０により、ビークルの動きを示すセンサデータをモニタするステップと、画像平面の原点に画像図心を安定させるパン出力及びチルト出力を生成して、ビークル動き及びターゲット動きを較正するステップとを含む。パン出力及びチルト出力は、センサデータに基づき指数安定制御則を実施することによって生成される。
【選択図】図１

Description

本発明は、移動プラットフォーム上のカメラからの移動物体の追跡方法に関する。

カメラによる物体の追跡に専用化されたほとんどの技術は、線形二次レギュレータ（Linear Quadratic Regulator）（ＬＱＲ）等のモデルベース制御及び比例積分導関数（ＰＩＤ）等の非モデルベース制御と共に、画像形成のローカルモデルを使用する。これらの手法の問題点は、各カメラの各コントローラを、そのコントローラのロケーションに特有の環境条件に特別に調整しなければならないということである。これによって、大きなカメラネットワークを作り出すことは費用を要するものとなる。

単一のカメラを使用して移動プラットフォームからリアルタイムで物体を追跡し、追跡されるターゲットを識別することが望まれている。

本発明の一実施の形態は、移動ビークルに配置されたイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法である。イメージングデバイスの画像平面において、第１の軸、第２の軸、及び第３の軸の交点に原点を設定すること、原点を設定すること、ターゲット画像の画像図心が画像平面の原点にあるようにターゲットを撮像すること、ビークルの動きを示すセンサデータを監視すること、及び画像平面の原点に画像図心を安定させるパン出力及びチルト出力を生成することであって、それによって、ビークル動き及びターゲット動きを補償する、パン出力及びチルト出力を生成することを含む。パン出力及びチルト出力は、指数安定制御則を実施することによって生成される。指数安定制御則の実施は、センサデータに少なくとも部分的に基づいている。第３の軸はイメージングデバイスの光軸である。

以下に説明するさまざまな特徴は、一定の縮尺で描かれているわけではなく、本発明に関連する特徴を強調するように描かれている。参照符号は、図及び本文の全体を通じて同様の要素を示している。
以下の詳細な説明では、本明細書の一部を成す添付図面が参照される。これらの添付図面には、本発明を実施できる特定の例示的な実施形態が例示として示されている。これらの実施形態は、当業者が本発明を実施できるように十分詳細に説明されている。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、論理的な変更、機械的な変更、及び電気的な変更を行えることが理解されるべきである。したがって、以下の詳細な説明は、限定する意味で解釈されるべきではない。

図１は、上面から見たシステム１０及びターゲットを表す図であり、図２は、側面から見たシステム１０及びターゲットを表す図である。システム１０は、ビークルのイメージングデバイスの画像平面におけるターゲット画像を動的に安定させる。ビークルがターゲットに対して移動する時、イメージングデバイスは、ターゲット画像が、常に、ほぼ同じターゲット画像サイズでイメージングデバイスのほぼ中央になるように、回転及びズームを行う。これを行うために、イメージングデバイスは、ビークルの検知された平行移動及び回転に応じて動的に回転される。加えて、イメージングデバイスのレンズシステムは、ビークルがターゲットから遠ざかって移動する時はターゲットに向かって動的にズームされ、ビークルがターゲットに向かって移動する時はターゲットから遠ざかるように動的にズームされる。イメージングデバイスの回転及びズームは、プログラマブルプロセッサがソフトウェアを実行することによって実施される指数安定制御則(exponentially stabilizing control laws)からの出力に応答している。指数安定制御則は、追跡される物体の動きの順方向予測（forward prediction）を使用することによって、システム１０の待ち時間を考慮する。順方向積分予測（forward integration prediction）は、二重積分点質量モデル（double integrator point mass model）を使用して行うことができる。

図１及び図２に示すように、ビークル（乗物）２０は、一般に符号によって表された地球の表面に位置するターゲット３０に対して移動している。この例示的な実施の態様では、ここでは単にビークル２０とも呼ばれる移動ビークル２０は飛行ビークルであり、ターゲット３０は戦車である。他のタイプのビークル及びターゲットも可能である。たとえば、ビークルは、イメージングデバイスが取り付けられた水上ビークル、陸上ビークル、衛星、又は移動可能プラットフォームとすることができる。ターゲット３０は、あらゆる物体であり、静止している物体又は移動している物体である。ターゲット３０は、グローバル座標Ｘ”、Ｙ”、及びＺ”を有する位置に位置している。

ターゲット画像を動的に安定させるシステム１０は、移動ビークル２０に搭載されている。システム１０は、ハウジング４０内に回転可能に位置付けされるイメージングデバイス５０を含む。ハウジング４０は、移動ビークル２０に固定して取り付けられている。また、システム１０は、センサ６０、プログラマブルプロセッサ８０、メモリ８２、ソフトウェア８５、記憶媒体９０、及び少なくとも１つのモータ９５も含む。この実施形態の一実施の態様では、ハウジング４０は存在せず、イメージングデバイス５０は、移動ビークル２０内に回転可能に位置付けされる。この場合、モータ９５は、イメージングデバイス５０を適所に支持する。

イメージングデバイス５０は、本明細書では、チルト・ズーム（ＰＺＴ）・カメラ５０とも呼ばれ、図２において符号５６によって示される、単一レンズによって一般に表されるレンズシステムを含む。レンズシステム５６は、破線１０５として図２に断面で示された画像平面上に画像を合焦する。画像平面１０５は、第１の軸Ｘ_ｉ及び第２の軸Ｙ_ｉを含む平面内にある。第１の軸Ｘ_ｉ及び第２の軸Ｙ_ｉは、符号５１によって一般的に表される原点で互いに直交して交差している。符号５２によって一般的に表された光軸は、原点５１において画像平面１０５と直交して交差している。光軸５２は、第３の軸Ｚ_ｉと同一であり、したがって、原点５１は、本明細書でイメージングデバイス軸Ｘ_ｉ、Ｙ_ｉ、及びＺ_ｉと呼ばれる画像座標軸の交点にある。ターゲット画像が画像平面１０５上に合焦される時、光軸５２の延長線がターゲット３０と交差するように、光軸５２は、イメージングデバイス５０からターゲット３０への照準線に沿ったものとなる。

イメージングデバイス５０は、パン及びチルトの２つの回転が可能である。イメージングデバイス５０は、第２の軸Ｙ_ｉの回りを回転する時はパンする。イメージングデバイス５０は、第１の軸Ｘ_ｉの回りを回転する時はチルトする。イメージングデバイス５０は、第３の軸Ｚ_ｉの回りを回転できないように固定されている。

Ｘ_０として一般的に表される第４の軸、Ｙ_０として一般的に表される第５の軸、及びＺ_０として一般的に表される第６の軸は、本明細書では、慣性軸と呼ばれる。これらの慣性軸は、移動ビークル２０の回転及び平行移動がセンサ６０によって検知される慣性座標系を画定する。この実施形態の一実施の態様では、原点５１は、（Ｘ_０軸、Ｙ_０軸、及びＺ_０軸の交点における）慣性座標系の原点でもある。

この実施形態の別の実施の態様では、（Ｘ_０軸、Ｙ_０軸、及びＺ_０軸の交点における）慣性座標系の原点及びイメージングデバイス５０の原点５１は、移動ビークル２０の重心と同じ場所に位置している。この実施形態の別の実施の態様では、慣性座標系の原点が移動ビークル２０の重心に位置する一方、（Ｘ_ｉ軸、Ｙ_ｉ軸、及びＺ_ｉ軸の交点における）イメージングデバイス５０の原点５１は移動ビークル２０の重心からオフセットされている。この場合、重心からの原点５１のこのオフセットについて調整を行うために、画像平面１０５上に形成されるターゲット画像を安定させるとき、平行移動アルゴリズム及び回転アルゴリズムがプログラマブルプロセッサ８０によって実施される。このような平行移動アルゴリズム及び回転アルゴリズムは、当該技術分野において既知である。

１つの例では、イメージングデバイス５０はビークル２０の天井に設置され、慣性座標系は次のように設定される。すなわち、第６の軸Ｚ_０は天井の平面に平行な平面内にあり、第６の軸Ｚ_０は、光軸５２が０度のパン及び０度のチルトにあるときにイメージングデバイス５０の光軸５２と同一である。第５の軸Ｙ_０は天井と垂直であり、第５の軸Ｙ_０は、光軸５２が０度のパン及び０度のチルトにあるときに第２の軸Ｙ_ｉと平行である。第４の軸Ｘ_０は、イメージングデバイス５０の光軸５２と直交し、光軸５２が０度のパン及び０度のチルトにあるときに第１の軸Ｘ_ｉと同一である。
移動可能ビークル２０は、ピッチ、ヨー、及びロールの３つの回転が可能である。ビークル２０は、第４の軸Ｘ_０の回りを回転する時はピッチする。ビークル２０は、第５の軸Ｙ_０の回りを回転する時はヨーする。ビークル２０は、第６の軸Ｚ_０の回りを回転する時はロールする。

システム１０は、少なくとも１つのモータ９５を含む。モータ９５は、ハウジング４０を機械的に連結し、イメージングデバイス５０に機械的に連結している。システム１０がターゲット３０を追跡しているとき、モータ９５は、光軸５２が常にターゲット３０の方向を指し示すように、イメージングデバイス５０を回転させる。モータ９５は、プログラマブルプロセッサ８０が指数安定制御則を実行する時に生成される回転出力に基づいた動作命令を受信する。この回転出力は、モータ９５による回転動作を開始して、ハウジング４０内において、イメージングデバイス５０を回転させる。この実施形態の一実施の態様では、モータ９５は、ビークル２０に取り付けられて、ハウジング４０を機械的に連結し、ビークル２０の少なくとも１つの表面に機械的に連結している。プログラマブルプロセッサ８０は、モータ９５に（有線又は無線のいずれかで）通信結合され、プログラマブルプロセッサ８０上で実行されるソフトウェア８５は、動作命令を示す情報（又は、このような動作命令の「圧縮されている」バージョン等、この情報から導出された情報）の少なくとも一部を、モータ９５へ送信する。

この実施形態の一実施の態様では、モータ９５は、信号を受信する１又は複数のプロセッサ（図示せず）を含む。このような動作命令は、これらの信号上で符号化されるか、別の方法でこれらの信号内に含まれる。このようなプロセッサは、受信した動作命令（又は動作命令を示すデータ）に基づいて、機械的連結部を作動させる。モータ９５は、圧電性アクチュエータ等のアクチュエータを含むことができる。

センサ６０は、ビークル２０の平行移動並びにビークル２０の第４の軸Ｘ_０、第５の軸Ｙ_０、及び第６の軸Ｚ_０の回りの回転を検知する。この実施形態の一実施の態様では、センサ６０は、第４の軸Ｘ_０に位置合わせされている第１のジャイロコンパス、第５の軸Ｙ_０に位置合わせされている第２のジャイロコンパス、第６の軸Ｚ_０に位置合わせされている第３のジャイロコンパス、第４の軸Ｘ_０に位置合わせされている第１の加速度計、第５の軸Ｙ_０に位置合わせされている第２の加速度計、及び第６の軸Ｚ_０に位置合わせされている第３の加速度計を含む。この実施形態の別の実施の態様では、センサ６０は慣性測定ユニットを含む。この実施形態のさらに別の実施の態様では、センサ６０は、慣性測定ユニット及び全地球測位システムを含む。この実施形態のさらに別の実施の態様では、センサ６０は、慣性ナビゲーションシステムを含む。この実施形態のさらに別の実施の態様では、センサ６０は、慣性ナビゲーションシステム及び全地球測位システムを含む。この実施形態の一実施の態様では、センサ６０は、ハウジング４０に配置されている。

１つの例示的な慣性ナビゲーションユニットは、慣性センサを収容した慣性測定ユニット（ＩＭＵ）である。慣性センサは、角速度成分及び検知される加速度成分を測定する。測定された角速度及び加速度は、ＩＭＵ基準フレームを構成するＸ_０、Ｙ_０、及びＺ_０等の直交した一組のＩＭＵ軸に沿った等価な角速度及び検知される加速度を計算するのに使用される。正確な慣性ナビゲーションを行うために、グローバル座標Ｘ”、Ｙ”、及びＺ”等の或る選択されたナビゲーション基準フレームに対するＩＭＵ軸Ｘ_０、Ｙ_０、及びＺ_０の姿勢（角度方向）が、位置合わせ手順の期間中、ビークル２０の慣性運動の前に正確に求められる。位置合わせ手順の期間中、慣性センサデータ及び外部支援データが処理されて、ナビゲーション基準フレーム又はグローバル座標Ｘ”、Ｙ”、及びＺ”に対するＩＭＵの姿勢を規定する一定の姿勢パラメータの値が求められる。この実施形態の一実施の態様では、姿勢方位基準システム（ＡＨＲＳ）インスツルメントが、ジャイロ及び場合により加速度計を使用して、ビークルの方位、ピッチ、及びロールを求める。なお、ＡＨＲＳインスツルメントはナビゲーションを行わない。

プログラマブルプロセッサ８０は、センサ６０からセンサデータを受信して、ビークル２０がターゲット３０に対して移動する時にイメージングデバイス５０の画像平面上に形成されるターゲット画像を安定させる回転出力を生成するように通信可能に接続されている。また、プログラマブルプロセッサ８０は、ビークル２０とターゲット３０との間の距離が変化する時、指数安定制御則を実行してターゲット画像サイズを維持する。プログラマブルプロセッサ８０は、ビークル２０とターゲット３０との間の距離が変動する時、ズーム出力を生成して、選択されたサイズ範囲内にターゲット画像サイズを安定させる。

指数安定制御則は、記憶媒体９０内に記憶されるか又は別の方法で記憶媒体９０内に具現化されるソフトウェア８５に含まれる。この記憶媒体９０から、このようなプログラム命令の少なくとも一部が読み出されて、プログラマブルプロセッサ８０により実行される。移動ビークル２０がターゲット３０を追跡する場合、指数安定制御則は、回転出力及びズーム出力を生成する。プログラマブルプロセッサ８０は、これらの回転出力及びズーム出力を使用して、モータ９５の動作命令を生成する。ズーム出力は、ターゲット画像サイズを、選択されたサイズ範囲内に安定させる。回転出力に基づいて、画像図心を、画像平面１０５の原点５１から選択された距離内又は画像平面１０５の原点５１に安定させる。

慣性軸Ｘ_０、Ｙ_０、及びＺ_０とイメージングデバイス軸Ｘ_ｉ、Ｙ_ｉ、及びＺ_ｉとの間の相対的な関係は、２００６年６月１２日に出願された「A STATIC CAMERA TRACKING FUNCTION」という発明の名称を有する米国特許出願第 ／ ， （代理人整理番号第Ｈ００１２１６２−５６０７号）（ここでは「Ｈ００１２１６２−５６０７出願」とも呼ぶ）に記載されている。Ｈ００１２１６２−５６０７出願は、これによって、参照により本明細書に援用される。Ｈ００１２１６２−５６０７出願は、静的パン・チルト・ズーム（ＰＺＴ）カメラによってターゲットの追跡を制御するのに使用されるアルゴリズムを記載している。本発明は、パン・チルト・ズーム（ＰＺＴ）カメラによってターゲットの追跡を制御するのに使用されるアルゴリズムを記載する。このパン・チルト・ズーム（ＰＺＴ）カメラは、画像平面上の画像サイズ及び画像ロケーションがパン・チルト・ズーム（ＰＺＴ）カメラにおいて安定するように慣性系のロールについて相殺する。

システム１０の待ち時間に関係したデータは、メモリ８２に記憶され、必要に応じてプログラマブルプロセッサ８０により取り出される。メモリ８２には、現在知られているか又は後に開発されるあらゆる適したメモリが含まれ、たとえば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又はプログラマブルプロセッサ８０内のレジスタ等が含まれる。一実施の態様では、プログラマブルプロセッサ８０には、マイクロプロセッサ又はマイクロコントローラが含まれる。その上、プログラマブルプロセッサ８０及びメモリ８２は、図１及び図２では別々のエレメントとして示されているが、一実施の態様では、プログラマブルプロセッサ８０及びメモリ８２は、単一のデバイス（たとえば、単一の集積回路デバイス）で実現される。一実施態様では、プログラマブルプロセッサ８０は、ＡＳＩＣ等のプロセッササポートチップ及び／又はシステムサポートチップを含む。

図３は、移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法３００の一実施形態のフロー図である。方法３００は、移動ビークルに配置されているイメージングデバイスで移動ターゲットを追跡しながら、ビークルの動きを較正する方法を示している。「ビークルの動き」及び「ビークル動き」という用語は、本明細書では交換可能に使用される。方法３００は、図１及び図２に示したシステム１０の例示的な一実施態様について概説したものである。

ブロック３０２はオプションである。ブロック３０２において、イメージングデバイスは、ビークルの重心に位置付けされる。ブロック３０２が実行されず、イメージングデバイスが移動ビークルの重心からオフセットされている場合、追加の平行移動アルゴリズム及び回転アルゴリズムが方法３００の期間中に実行されて、重心からのオフセットが調整される。このような平行移動アルゴリズム及び回転アルゴリズムは、当該技術分野において既知である。ブロック３０２の一実施態様では、イメージングデバイス５０が、ビークル２０の重心に位置付けされる（図１及び図２）。

ブロック３０４において、原点が、イメージングデバイスの画像平面において、第１の軸、第２の軸、及び第３の軸の交点に設定される。原点は、イメージングデバイスの視野のほぼ中心に設定される。ブロック３０４の一実施の態様では、原点５１が、イメージングデバイス５０の画像平面１０５において、図２に示すような第１の軸Ｘ_ｉ、第２の軸Ｙ_ｉ、及び第３の軸Ｚ_ｉの交点に設定される。原点５１は、イメージングデバイス５０の視野のほぼ中心に設定される。

ブロック３０６において、ターゲット画像の画像図心が画像平面の原点になるように、ターゲットが撮像される。図４Ａ〜図４Ｂは、ターゲット画像が異なる観点からフォーカス（合焦）されている、イメージングデバイスの画素を表す図である。図４Ａは、第１の軸Ｘ_ｉによって水平に二分されると共に第２の軸Ｙ_ｉによって垂直に二分されている画像平面１０５に位置付けされたイメージングデバイス５０の画素１１５を表す図である。例示的なターゲット３０（図１及び図２）の一例示的なターゲット画像１３０は、画素１１５の一部に合焦されている。画像図心５３は、ターゲット画像１３０のほぼ中心であり、第１の軸Ｘ_ｉ及び第２の軸Ｙ_ｉのほぼ交点にある。画像図心５３は、原点５１からわずかにオフセットされているが、このオフセットは、視野１１０に対して小さい。イメージングデバイス５０の視野１１０は、複数の画素１１５とオーバーラップしている。複数の画素は、それぞれ、一般にＷと表された幅及び一般にＨと表された高さを有する。

ブロック３０６の一実施態様では、ターゲット３０は、ターゲット画像の画像図心５３が画像平面１０５の原点５１になるように撮像される。この実施形態の別の実施態様では、ターゲット３０は、ターゲット画像１３０の画像図心５３が画像平面１０５の原点５１の近くになるように撮像される。ここで、ターゲット画像の画像図心は、その画像図心が原点５１から選択された距離内にある時に、画像平面１０５の原点５１の近くにある（図１及び図２）と規定される。１つの例示的な場合に、画像図心５３は、選択された距離内までであって、画像図心５３と原点５１との間の分離が視野１１０内の画素の対角寸法の２％未満である場合に、原点５１の近くになると規定される。

ブロック３０８において、プログラマブルプロセッサは、ビークルの動きを示すセンサデータを監視する。ビークルの動きは、平行移動及び回転を含む。センサは、ビークルの平行移動及び慣性座標系の回りのビークルの回転を検知し、センサデータをプログラマブルプロセッサに入力する。プログラマブルプロセッサは、センサからセンサデータを受信し、ビークルの平行移動及び／又は回転があったかどうかを判断する。ブロック３０８の一実施の態様では、システム１０のプログラマブルプロセッサ８０が、ビークル２０の動きを示すセンサデータを監視する。プログラマブルプロセッサ８０は、通信リンクを介してセンサ６０に通信結合されている。この通信リンクは、１つ又は２つ以上の無線通信リンク（たとえば、無線周波数（ＲＦ）通信リンク）及び／又は有線通信リンク（たとえば、光ファイバ若しくは銅線通信リンク）を含む。

ブロック３１０において、画像図心を画像平面の原点に安定させるパン出力及びチルト出力が生成され、ビークル動き及びターゲット動きが補償される。パン出力及びチルト出力は、指数安定制御則を実施することによって生成される。指数安定制御則は、センサデータに対して少なくとも部分的に実施される。ブロック３１０の一実施の態様では、プログラマブルプロセッサ８０が、パン出力及びチルト出力を生成するために、指数安定制御則を含むソフトウェア８５を実行する。

図１及び図２の移動ビークル２０は、ビークル２０の慣性座標Ｘ_０、Ｙ_０、及びＺ_０とイメージングデバイス座標Ｘ_ｉ、Ｙ_ｉ、及びＺ_ｉとの間で、変換Ｔ＝Ｔ（φ，ω，κ）として記述される一般的な平行移動及び回転を受ける。

パン角φは、第２の軸Ｙ_ｉの回りの回転角である。チルト角ωは、第１の軸Ｘ_０の回りの回転角である。ロール角κは、第６の軸Ｚ_０の回りのビークルの回転角である。
式（１）から、画像座標の以下の一般式が得られる。

Ｏ_ｃは、原点５１等、画像システムの座標の原点である。式（２）、（３）、及び（４）を微分することによって、以下の一般的な画像動きが得られる。

式（５）、（６）、及び（７）は、ロールを補償するために、画像座標の原点へ画像の図心を動かす安定制御則を画像座標で生成するのに使用される。ビークルのロールに対する制御不変式（control invariant）を作成するために、本発明者らは、システムと共にロールする以下の座標系を使用する。
第６の座標軸Ｚ_０の回りのκのロールを通じた画像座標系の横の位置及び縦の位置は、以下のように示される。

式（８）を微分し簡単化すると、以下の式（１０）及び（１１）が得られる。

これによって、指数安定制御則が得られる。

式（１２）のパン制御則、式（１３）のチルト制御則、及び式（１４）のズーム制御則において、δ_１（ｔ）は移動ビークル２０のヨーレートを較正し、δ_２（ｔ）は移動ビークル２０のピッチレートを較正する。ヨーレート、ピッチレート、及びロールレートは、慣性ナビゲーションシステム等のセンサ６０から得られる。較正は、ロールの影響を取り除くために、ｘ_ｉ ^〜及びｙ_ｉ ^〜の座標で行われる。（なお、「^〜」は、ｘ及びｙの上に記されるべきものである。）

制御則で使用される角度は、前の制御入力からのイメージングデバイス動きに加えてビークル動きを考慮しなければならない。これは、イメージングデバイス５０の運動が、待ち時間を有するモータ９５に基づいていることから必要とされる。この待ち時間は、所与の回転量で知られている。慣性測定値及び制御入力の前方積分（forward integration）は、必要とされる待ち時間オフセットを提供する。式（１４）のズーム制御則は、移動ビークル２０の平行移動を自動的に考慮する。
プログラマブルプロセッサ８０は、原点５１から選択された距離内に画像図心５３を安定させる回転出力を生成する。この回転出力は、式（１２）、（１３）、及び（１４）からの出力に基づいている。

システム１０は、ビークルがターゲットに対して移動する場合、原点から選択された距離内に画像図心を維持する。システム１０は、プログラマブルプロセッサにより実行されて回転出力を出力する指数安定制御則（式（１２）、（１３）、及び（１４））の実行に基づいて、原点から選択された距離内に画像図心を維持する。プログラマブルプロセッサは、回転出力に基づいて命令を生成する。これらの命令は、少なくとも１つのモータにイメージングデバイスを回転させてパン及びチルトさせる。図１及び図２に示す例示的な実施形態では、プログラマブルプロセッサ８０は、イメージングデバイス５０の光軸５２がターゲット３０への照準線に沿うように、少なくとも１つのモータ９５に、第１の軸Ｘ_ｉ及び第２の軸Ｙ_ｉの少なくとも１つの回りにイメージングデバイス５０を回転させる命令を生成する。図４Ａ〜図４Ｃは、ビークル２０が移動して、ターゲット３０の視角が変化する時に、異なる時刻における異なる観点からフォーカス（合焦）されている３つの例示的なターゲット画像１３０〜１３２をそれぞれ示している。ビークル２０がターゲット３０の上を移動するとき、図４Ａの画像平面１０５上に撮像されて見られるようなターゲット１３０は、図４Ｂに見られるようにターゲット画像１３１に変化する。ターゲット画像１３１の画像図心５３は、依然として、原点５１から選択された距離内にある。ビークル２０が、ターゲット３０の高度により近い高度に降下する時、ターゲット画像１３１は、図４Ｃに見られるようなターゲット画像１３２が画像平面１０５上に撮像されるまで変化する。ターゲット画像１３２の画像図心５３は、依然として、原点５１から選択された距離内にあり、ターゲット３０は、図４Ａ及び図４Ｂの上面からではなく側面から撮像される。

ブロック３１２において、プログラマブルプロセッサは、ターゲット画像サイズを選択されたサイズ範囲内に安定させるズーム出力を生成して、ビークル動き及びターゲット動きを較正する。このズーム出力は、式（１２）、（１３）、及び（１４）からの出力に基づいている。選択されたサイズ範囲は、ターゲット画像の最小サイズとターゲット画像の最大サイズとの間にある。この実施形態の一実施の態様では、最大サイズは、原点からの最大選択半径であり、ターゲット画像は、原点を中心とする最大選択半径の円内に適合する。この同じ実施の態様において、最小サイズは、原点からの最小選択半径であり、ターゲット画像のエッジは、原点を中心とする最小選択半径の円を超えて広がる。

この実施形態の一実施の態様では、最大選択半径は、イメージングデバイスの視野における最短寸法の選択された最大割合であり、最小選択半径は、イメージングデバイスの視野における最短寸法の選択された最小割合である。図４Ａ、図４Ｂ、及び図４Ｃに示す例示的な実施形態では、ターゲット画像１３０、１３１、及び１３２は、それぞれ、画像平面１０５の視野１１０における原点５１を中心とする最大選択半径Ｒの円１３５内に適合する。同様に、ターゲット画像１３０は、原点５１を中心とする最小選択半径ｒの円１３８（図４Ａ）を超えて広がる。

システム１０は、プログラマブルプロセッサ８０により実行されてズーム出力を生成する指数安定制御則の実施に基づいて、選択されたサイズ範囲内にターゲット画像サイズを維持する。ビークル２０がターゲット３０のより近くに移動し、ターゲット３０と同じ高度まで降下する時、ズーム出力は、モータ９５に、イメージングデバイス５０をターゲット３０からズームアウトさせ、ターゲット画像サイズが図４Ｂ及び図４Ｃに示すように維持されるようにする。
制御設計は２つの部分から成る。第１の部分は、プログラマブルプロセッサ８０からの回転出力に基づいて画像平面１０５（図４Ａ）上のターゲット画像１３０を追跡することであり、第２の部分は、プログラマブルプロセッサ８０からのズーム出力に基づく焦点距離の制御（ズーム制御）によって画像平面１０５上のターゲット画像サイズを調整することである。

このズーム制御は、イメージングデバイス５０（図１及び図２）の視野１１０（図４Ａ〜図４Ｃ）のほとんどにわたるズーム制御を保証するものである。しかしながら、この制御は、追跡されるターゲット２０がイメージングデバイス５０から非常に遠くなるか又はイメージングデバイス５０に非常に近くなると必然的に悪化し、ズーム限界に達する。ズーム制御の悪化は、以下の方法で改善される。すなわち、ビークル２０がターゲット３０に近づいてくると、イメージングデバイス５０はターゲット３０のより小さな部分に合焦し、ターゲット３０が遠く離れると、イメージングデバイス５０はターゲット３０のより大きな部分に合焦する。その上、ビークル２０がターゲット３０に近づく近視野問題（near field problem）では、予測時間が増加し、ターゲット３０は、十分遠くに離れると、ターゲット３０が見える位置に移動する。回転出力及びズーム出力は、アクチュエータの待ち時間を考慮した将来の時刻について計算される。

制御則の目的は、画像平面の中心にターゲット画像の中心を維持することである。画像中心は、当該技術分野で知られているように、粒子フィルタアルゴリズム（particle filter algorithm）によって測定することができる。パンレート及びチルトレートは、画像平面の中心点（又は他の任意の基準点）を制御する。
アクチュエータの待ち時間、モータの待ち時間等のすべての待ち時間は、追跡される物体の動きの順方向予測を使用することによって補償される。順方向予測は、たとえば、二重積分点質量モデルを使用することによって行うことができる。この重積分点質量モデルは、上記式において、ｘ_０ ^・、ｙ_０ ^・、及びｚ_０ ^・をｘ_０、ｙ_０、及びｚ_０にそれぞれ関係付ける。（なお、「^・」は、ｘ及びｙの上に記されるべきものである。）

図５は、システムデータをモニタし、且つ、移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法５００の一実施形態のフロー図である。
ブロック５０２において、プログラマブルプロセッサは、第４の軸の回りの移動ビークルのピッチを監視する。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、慣性軸Ｘ_０の回りの移動ビークル２０のピッチを監視する。ブロック５０４において、プログラマブルプロセッサは、第５の軸の回りの移動ビークルのヨーを監視する。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、慣性軸Ｙ_０の回りの移動ビークル２０のヨーを監視する。ブロック５０６において、プログラマブルプロセッサは、第６の軸の回りの移動ビークルのロールを監視する。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、慣性軸Ｚ_０の回りの移動ビークル２０のロールを監視する。

ブロック５０８において、モータは、第１の軸の回りのイメージングデバイスのチルトを調整して、移動ビークルのピッチを相殺する。チルトの調整は、生成された回転出力に基づいている。この実施形態の一実施の態様では、モータ９５が、第１の軸Ｘ_ｉの回りのイメージングデバイスのチルトを調整して、移動ビークル２０のピッチを相殺する。
ブロック５１０において、モータは、第２の軸の回りのイメージングデバイスのパンを調整して、移動ビークルのヨーについて相殺する。パンの調整は、生成された回転出力に基づいている。この実施形態の一実施の態様では、モータ９５が、軸Ｙ_ｉの回りのイメージングデバイスのパンを調整して、移動ビークル２０のヨーを相殺する。ブロック５０２、５０４、５０８、及び５１０は、原点からの選択された距離内に画像図心を維持するように実行される。

ブロック５１２において、モータは、イメージングデバイスのレンズシステムを第３の軸に沿って調整して、移動ビークルの平行移動について相殺する。レンズシステムの調整は、ターゲット画像サイズを選択されたサイズに安定させる生成されたズーム出力に基づいている。この実施形態の一実施の態様では、モータ９５が、イメージングデバイス５０のレンズシステム５６を第３の軸Ｚ_ｉに沿って調整して、移動ビークル２０の平行移動及びロールについて相殺する。ブロック５０６及び５１２は、ターゲット画像サイズを選択されたサイズ範囲内に維持するように実行される。

図６は、移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法６００の一実施形態のフロー図である。方法６００は、指数安定制御則のシーケンシャルな実施の態様を通じてターゲットを追跡するプロセスを示している。

ブロック６０２において、プログラマブルプロセッサは、受信された第１の平行移動データ及び第１の回転データに基づいて、ビークルに位置付けされたイメージングデバイスの原点の変換を求める。第１の平行移動データ及び第１の回転データは、ターゲット追跡の開始後にセンサから受信された最初のセンサデータとすることができる。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、センサ６０から受信された第１の平行移動データ及び第１の回転データに基づいて、ビークル２０に位置付けされたイメージングデバイス５０の原点５１の変換を求める。

ブロック６０４において、プログラマブルプロセッサは、求められた変換に基づいて指数安定制御則を実施する。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、ブロック６０２で求められた原点５１の変換に基づいて指数安定制御則を実施する。
ブロック６０６において、プログラマブルプロセッサは、指数安定制御則から回転出力を生成する。この回転出力は、イメージングデバイスの原点から選択された距離内に画像図心を維持するようにイメージングデバイスの光軸を向け直すのに使用される。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、指数安定制御則から回転出力を生成し、イメージングデバイス５０の原点５１の近くに画像図心５３を維持するようにイメージングデバイス５０の光軸５２を向け直す命令をモータ９５に出力する。

ブロック６０８において、プログラマブルプロセッサは、イメージングデバイスのレンズシステムを変更するために、ズーム出力を指数安定制御則から生成する。ターゲット画像サイズは、移動ビークルがターゲットに向かって移動する時及びターゲットから遠ざかって移動する時に維持されるので、撮像されたターゲットとイメージングデバイスとの間の見かけの距離は維持される。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、指数安定制御則からズーム出力を生成し、次に、イメージングデバイス５０のレンズシステム５６が、ターゲット画像のエッジ１３０が常に円１３５と円１３８（図４Ａ）との間の選択されたサイズ範囲内に適合するように調整される。ターゲット画像サイズは、移動ビークル２０がターゲット３０に向かって移動する時及びターゲットから遠ざかって移動する時に維持されるので、円１３５の半径Ｒと円１３８の半径ｒとの差を小さくすることによって、撮像されたターゲット３０とビークル２０のイメージングデバイス５０との間の見かけの距離は維持される。この実施形態の一実施の態様では、円１３５の半径Ｒと円１３８の半径ｒとの差はより大きく、その上、ターゲット画像サイズは小から大のターゲット画像サイズの範囲内に維持される。この場合の一実施態様では、完全なターゲットは、常に、円１３５の半径Ｒ内に撮像される。この実施形態の別の実施態様では、円１３５の半径Ｒ内に常に撮像されるのは、完全なターゲットの小区分のみである。

ブロック６１０において、プログラマブルプロセッサは、光軸を向け直し光軸に沿ってレンズシステムを変更する際のシステム待ち時間を求める。図３に関連して上述したように、求めるものには、アクチュエータの待ち時間、画像処理の待ち時間、ネットワークの待ち時間、及び制御則の実施の待ち時間が含まれる。この実施形態の一実施態様では、プログラマブルプロセッサ８０が、光軸５２を向け直し光軸５２に沿ってレンズシステム５６を変更する際のシステム１０のシステム待ち時間を求める。この実施形態の別の実施態様では、アクチュエータの待ち時間は約１００ｍｓであり、画像処理の待ち時間は２００ｍｓであり、ネットワークの待ち時間は１００ｍｓであり、制御則の実施の待ち時間は約５０ｍｓ〜約１００ｍｓの範囲にある。

ブロック６１２において、プログラマブルプロセッサは、ターゲットの座標等、グローバル座標に対するイメージングデバイスの原点の変換を求める。具体的には、地面に固定されている慣性基準フレームに対する航空機の本体軸の変換が求められる。ブロック６１２の２番目の変換を求めることは、ブロック６０２の期間中に行われた変換を求めることに従っている。この２番目の変換を求めることは、ブロック６０４〜６０８の実施中に行われたビークルのピッチ、ヨー、及びロールのうちの少なくとも１つの期間中に監視された第２の平行移動データ及び第２の回転データに基づいている。また、この２番目の変換を求めることは、光軸を向け直すこと、レンズシステムを変更すること、及びシステム待ち時間にも基づいている。２番目の変換を求めることに基づいて、ターゲット画像の画像図心は、イメージングデバイスの原点から選択された距離内に継続して維持され、撮像されたターゲットとイメージングデバイスとの間の見かけの距離は継続して維持される。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、グローバル座標Ｘ”、Ｙ”、及びＺ”（図１）に対するイメージングデバイス５０の原点５１の変換を求める。

プログラマブルプロセッサは、ビークルが移動する時にグローバル座標に対するイメージングデバイスの原点の変換を継続して求める。この実施形態の一実施態様では、この変換を求めることは定期的に行われる。このような実施態様では、１つの例示的な周期は１μｓである。別の実施態様では、例示的な周期は１０ｍｓである。この実施形態の別の実施態様では、この変換を求めることは、センサ６０からプログラマブルプロセッサ内へ供給されるデータに対して、連続的に行われる。ブロック６１４〜６２０は、定期的又は連続的に求められた変換に基づいて実行される。

ブロック６１４において、プログラマブルプロセッサは、求められた変換に基づき指数安定制御則を定期的又は連続的に実施して、回転出力及びズーム出力を生成する。この実施形態の一実施態様では、プログラマブルプロセッサ８０が、指数安定制御則を定期的又は連続的に実施する。ブロック６１６において、プログラマブルプロセッサは、回転動作を示す情報を、イメージングデバイスを制御するモータに連続的又は定期的に出力する。この実施形態の一実施の態様では、プログラマブルプロセッサ８０が、回転動作を示す情報を、イメージングデバイス５０の回転を制御するモータ９５に連続的又は定期的に出力する。この実施形態の別の実施態様では、プログラマブルプロセッサ８０が、ビークル２０の平行移動及び／又はロールについて相殺するために、ズーム動作を示す情報を、イメージングデバイス５０のレンズシステム５６を制御するモータ９５に連続的又は定期的に出力する。

ブロック６１８において、プログラマブルプロセッサは、生成された回転出力に応じてイメージングデバイスを定期的又は連続的に回転させて、イメージングデバイスの原点から選択された距離内へ画像図心を連続的に維持する。
ブロック６２０において、撮像されたターゲットとイメージングデバイスとの間の見かけの距離が、ビークル動きを較正することによって連続的に維持されるように、モータは、生成されたズーム出力に応じてレンズシステムを定期的又は連続的に変更する。

この実施形態の一実施態様では、方法３００、５００、及び６００は、画像図心をイメージングデバイスの原点又は原点の近くに維持するようにのみ実施される。このような実施態様では、ターゲット上の或る点が画像図心となるように選ばれ、ターゲット画像がイメージングデバイスの視野を超えて広がる時、ターゲット上の同じ点は、イメージングデバイスの原点又は原点の近傍にある。

ここで説明した方法及び技法は、デジタル電子回路機構において実施することもできるし、プログラマブルプロセッサ（たとえば、専用プロセッサ又はコンピュータ等の汎用プロセッサ）のファームウェア、ソフトウェア、又はそれらの組み合わせで実施することもできる。これらの技法を具現化する装置は、適切な入力デバイス及び出力デバイス、プログラマブルプロセッサ、及びプログラマブルプロセッサによって実行されるプログラム命令を有形に具現化する記憶媒体を含むことができる。これらの技法を具現化するプロセスは、プログラマブルプロセッサが、入力データに対して操作して適切な出力を生成することにより所望の機能を遂行する命令から成るプログラムを実行することによって遂行することができる。これらの技法は、プログラマブルシステムで実行可能な１つ又は２つ以上のプログラムで好都合に実施することができる。このプログラマブルシステムは、データストレージシステム及び少なくとも１つの入力デバイスからデータ及び命令を受信すると共に、データストレージシステム及び少なくとも１つの出力デバイスへデータ及び命令を送信するように結合されている少なくとも１つのプログラマブルプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。

コンピュータプログラム命令及びデータを有形に具現化するのに適したストレージデバイスには、あらゆる形の不揮発性メモリが含まれ、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス等の半導体メモリデバイス、内蔵ハードディスク及び着脱可能ディスク等の磁気ディスク、光磁気ディスク、並びにＤＶＤディスクが含まれる。上記のいずれも、特別設計された特定用途向け集積回路（ＡＳＩＣ）によって補うこともできるし、このようなＡＳＩＣに実装することもできる。

本明細書では、特定の実施形態を図示すると共に説明してきたが、同じ目的を達成するように適合されたどの構成も、示された特定の実施形態の代わりに使用できることが当業者には十分理解されよう。本願は、本発明のあらゆる適応及び変形形態をカバーするように意図されている。したがって、本発明が、特許請求の範囲及びその均等物によってのみ限定されるものである。

上面から見たシステム及びターゲットを表す図である。 側面から見たシステム及びターゲットを表す図である。 移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法の一実施形態のフロー図である。 ターゲット画像がある観点からフォーカスされているイメージングデバイスにおける画素を表す図である。 ターゲット画像が図４Ａとは異なる観点からフォーカスされているイメージングデバイスにおける画素を表す図である。 ターゲット画像が図４Ａ及び図４Ｂとは異なる観点からフォーカスされているイメージングデバイスにおける画素を表す図である。 システムデータを監視すると共に、移動ビークルに配置されているイメージングデバイスの画像平面上に形成されるターゲット画像を動的に安定させる方法の一実施形態のフロー図である。 移動ビークルに配置されているイメージングデバイスの画像平面上に形成させるターゲット画像を動的に安定させる方法の一実施形態のフロー図である。

Claims (3)

1. 移動ビークル（２０）に配置されているイメージングデバイス（５０）の画像平面（１０５）上に形成されるターゲット画像を動的に安定させる方法であって、
   前記イメージングデバイスの前記画像平面において、第１の軸（Ｘ_ｉ）、第２の軸（Ｙ_ｉ）、及び、前記イメージングデバイスの光軸（５２）である第３の軸（Ｚ_ｉ）の交点に原点（５１）を設定するステップと、
   前記ターゲット画像（１３０）の画像図心（５３）が前記画像平面（１０５）の前記原点（５１）にあるようにターゲット（３０）を撮像するステップと、
   前記ビークルの動きを示すセンサデータをモニタするステップと、
   前記画像平面の前記原点に前記画像図心を安定させるパン出力及びチルト出力を生成して、ビークルの動き及びターゲットの動きを較正するステップであって、前記パン出力及びチルト出力は、前記センサデータに少なくとも部分的に基づいて指数安定制御則（exponentially stabilizing control laws）を実施することによって生成される、パン出力及びチルト出力を生成するステップと
   を含むことを特徴とする方法。
2. 請求項１記載の方法において、前記ビークルの動きは平行移動及び回転を含み、前記パン出力及びチルト出力を生成するステップは、
   前記原点（５１）から選択された距離内に前記画像図心（５３）を安定させる回転出力を生成するステップと、
   前記回転出力に基づき、前記ビークル（２０）が前記ターゲット（３０）に対して移動する時に、前記原点から前記選択された距離内に前記画像図心を維持するステップと
   を含み、
   前記方法はさらに、選択されたサイズ範囲内にターゲット画像サイズを安定させるズーム出力を生成して前記ビークル動き及び前記ターゲット動きを較正する、ズーム出力を生成するステップを含む
   ことを特徴とする方法。
3. 請求項２記載の方法において、該方法はさらに、
   前記ズーム出力に基づいて、前記ビークル（２０）が前記ターゲット（３０）に対して移動するとき、前記選択されたサイズ範囲内にターゲット画像サイズを維持するステップ
   を含むことを特徴とする方法。

Images