JP2017532798A - 遠隔画像の安定化及び表示 - Google Patents

Abstract

陸地領域の遠隔撮像のための装置であって、焦点距離ｆを有するカメラアレイ及び、陸地領域の画像を取得するために陸地領域からの光が陸地領域からの動作距離Ａから結像される、光センサ画素ピッチＰによって特徴付けられる光センサ画素を備える光センサと、陸地領域内の地物を写す画像画素を有する陸地領域の正射投影画像と、正射投影画像の画像画素上に写される陸地領域内の地物の標高を提供する地形地図と、地形データに応じて陸地領域の画像を正射投影画像に位置合わせするコントローラとを備える装置であって、地形地図によって提供される標高は、制約Ｐ≧Δｅ・ｆ・ｓｉｎα／Ａを満たす不確実性Δβを有し、ここで、αは、正射投影画像への陸地領域の画像の位置合わせが、画素ピッチよりも良い又はそれにほぼ等しい精度を有するように、カメラアレイが陸地領域を撮像する最大斜角である、装置。【選択図】図１Ｂ

Description

関連出願
本出願は、米国特許法第１１９条（ａ）−（ｄ）の下で、２０１４年７月１７日に出願されたイスラエルの出願２３３６８４の利益を主張し、その全内容は参照により本明細書に組み込まれる。

本発明の実施形態は、遠隔カメラシステムによって取得される光景の画像を安定させること及び表示することに関する。

カメラシステムによる遠隔画像取得は、現代生活のどこにでもあり、且つ侵入性のある特徴となってきた。遠隔画像取得が使用される少数の用途を指摘すると、遠隔カメラシステムは、街路を監視し、建物への入り口を守り、モール内の会場を監視し、地球規模の植生パターンを調査し、地球規模の気象を追跡し、遠隔で且つ自律的に操縦される地上車両及び航空機をガイドするために使用される。遠隔カメラシステムによって取得される周囲の状況の関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の遠隔画像は、コンピュータシステムによって処理され、及び／又は人によって監視され、ＲＯＩで起きる又は遭遇する「注意事象」を検出する及び／又は「注意事象」に応答する。注意事象は、コンピュータシステム又は人が、能動的又は受動的応答、例えばそれぞれ明確な行動又は注意レベルの変化、を提供することが有利にも期待される様々な事象の何れかとしてもよい。遠隔カメラによって撮影されるＲＯＩにおける注意事象は、例えば、ＲＯＩ内での統計的に異常な事象、ＲＯＩにおける不審な人又は車両の動き、ＲＯＩへの移動中のガチョウの群れの侵入、又は遠隔操縦又は自動操縦の車両によるＲＯＩにおける障害物の遭遇を含んでもよい。

ＲＯＩの遠隔画像に応じてＲＯＩにおける注意事象を検出する効率は、画像の品質を低下させ且つ注意事象から注意を隠す又はそらす画像におけるアーチファクトによって損なわれ得る。遠隔ＲＯＩ画像における画像アーチファクトは、一般に、コンピュータアルゴリズムが画像に含まれ得る注意事象の画像を検出するために画像を処理するのに必要である処理時間を増大させ、且つアルゴリズムによって提供される結果の信頼性を低下させる。人間のオペレータによる視覚的監視ためにコンピュータスクリーン上に連続のビデオシーケンスとして表示されるＲＯＩ画像における画像アーチファクトは、画像に歪を生成するだけでなく、そのシーケンス内の連続の画像間に不良の位置合わせを生成する可能性がある。歪及び劣化した位置合わせは、オペレータの疲労を加速し、画像に現われ得るＲＯＩ内の注意事象を検出するための感度を損なう傾向がある。

画像アーチファクトは、画像を取得する遠隔カメラシステムに関連する機能及びどのように遠隔カメラシステムがＲＯＩを撮影するために構成及び使用されるかによって、ＲＯＩの遠隔画像内に導入され得る。画像アーチファクトは、カメラアングル、光学系収差、及び焦点ずれのボケによって生成される画像歪を含んでもよい。

ＲＯＩの監視画像を取得するために地上車両又は航空機のような移動プラットフォームに取り付けられるカメラシステムに対して、画像アーチファクトは悪化され、追加の画像アーチファクトが、遠隔画像の取得中にカメラシステムの動きによって遠隔画像の中に導入され得る。動きアーチファクトは、プラットフォームの計画された動きよって生成され得る、及び／又はＲＯＩに対して相対的に遠隔カメラシステムの視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を不規則にシフトさせる、プラットフォームの計画された動きに対する乱れによって生成され得る。

地上車両の計画された動きは、計画された地上経路に沿う地上車両の意図された動きを含む。地上車両の動きに対する乱れは、計画された経路に沿って走行するときの地上車両の動力伝導機構の振動又は予期せぬ揺れ及び跳ね返りによって生成され得る。遠隔カメラシステムが、気象、環境、又はセキュリティ偵察監視のために、無人航空機（ＵＡＶ：ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）、飛行船、又は軽航空機のような航空機に益々頻繁に取り付けられる状況に対して、航空機の計画された動きは、意図された飛行経路に沿う動きを含む。繋がれたヘリオスタットに対しての意図された飛行経路は、ヘリオスタットの動きがテザーによって制限される空の領域におけるホバリングを含むと考えられる。計画された動に対する乱れは、例えば、航空機推進システムの振動及び／又は乱気流によって発生し得る。

航空遠隔カメラシステムによって取得されるＲＯＩの遠隔画像に生成される動きアーチファクトを緩和するために、遠隔カメラシステムは、一般に、２軸又は３軸のジンバルマウントによって航空機に取り付けられる。慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）は、任意選択的に３つの直交する「変位軸」に沿うプラットフォームの変位及び任意選択的に３つの直交する「回転軸」周りのプラットフォームの回転の測定を提供する。測定値は処理されて、プラットフォームの「推測航法」の位置及び方向が決定される。コントローラは、プラットフォームの動きと逆の方向に動いて、カメラシステムＦＯＶ内のＲＯＩの位置及び方向を安定させるように、位置及び方向の測定値に応じてジンバルマウントを制御する。推測航法の位置及び方向は、時間の経過と共にかなりのドリフト誤差を受けやすいので、典型的には、ＩＭＵに含まれ得るＧＮＳＳ（全地球測位衛星システム：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）装置及び磁力計によって提供される測定値に較正される又は「融合」される。

高解像度航空カメラシステムは、約２０又は３０マイクロラジアン以下の角度分解能を有し、５と６ｋｍとの間の高度から約１ｋｍ四方以上の大きな陸地領域の画像を取得するように動作してもよい。約５ｋｍの高度では、２０と３０マイクロラジアンとの間の角度分解能を有する高解像度航空カメラシステムは、わずか１０及び１５ｃｍだけ離れている地上の地物を解像する陸地画像を取得してもよい。ありきたりの航空カメラシステムは２軸又は３軸ジンバルマウントによって十分安定され得るが、このような高解像度カメラシステムは、従来、遠隔航空撮像中にカメラの方向を安定させるために、カメラは特に堅牢で高速に応答するジンバルマウントに取り付けられる必要がある。これらのシステムのジンバルカメラマウントは、機械的に複雑であり、比較的大きく、重く、且つ高価となる傾向がある。

例えば、約２０〜３０マイクロラジアンの解像度で、比較的大きい陸地領域を撮像する高解像度航空カメラの方向を安定させるジンバルカメラマウントは、１００ｋｇ〜２００ｋｇ（キログラム）を超える重さがあり得る。ジンバルカメラマウントは、一般的に、プラットフォームの並進及び回転の測定を提供するＩＭＵセンサと、より低速のコース解像度ジンバルに入れ子状に入り込み、且つ支持される高速応答高解像度ジンバルを備えるジンバルシステムを備える。高解像度ジンバルは、典型的に、最大約２°までの比較的小さい角度のダイナミックレンジに対して３つの直交回転軸周りのカメラの方向の迅速で微小の回転補正を提供する。粗ジンバルは、数十度のダイナミックレンジに対して軸周りのカメラの方向のより低速な回転補正を提供する。

本発明の実施形態の態様は、移動プラットフォームから比較的大きい陸地領域を撮像し、陸地領域内の少なくとも１つのＲＯＩの一連のデジタル的に安定された高解像度画像を提供する比較的軽量な高解像度遠隔カメラシステム（ＨＩＣＡＭ：ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｒｅｍｏｔｅ ｃａｍｅｒａ ｓｙｓｔｅｍ）を提供することに関する。一実施形態では、ＨＩＣＡＭは、ジンバルによって安定されない又は２軸ジンバルによって安定される航空カメラ、任意選択的にローリングシャッタ付、を使用して陸上領域の画像を取得する。ＨＩＣＡＭは、６軸ジンバルシステムによって安定されるカメラを備える比較的大きく重い航空撮像システムによって一般的に提供される精度に安定される少なくとも１つのＲＯＩの画像を提供する。

本発明の一実施形態による、一連のＲＯＩ画像のような一連の画像をデジタル的に安定させることは、ある並進、回転、及び／又は倍率内において、一連の画像の中の画像の中の静止地物はほぼ合致するように、画像をデジタル的に位置合わせすることを備える。ある画像を安定させることは、ある並進、回転、及び／又は倍率内において、陸地領域内の静止地物の複数の画像がほぼ合致するように、他の画像に対してその画像を位置合わせすることを指す。

ＨＩＣＡＭは、陸地領域の一連の高解像度画像及びＨＩＣＡＭが「陸地画像」を取得する時のＨＩＣＡＭの３次元（３Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）空間の位置及び方向を提供するデータを取得することによって、少なくとも１つのＲＯＩの高解像度安定画像を提供する。一実施形態では、位置及び方向のデータは、ＨＩＣＡＭが陸地画像を取得する時のＨＩＣＡＭの位置及び方向の比較的正確な決定を提供するために比較的高い頻度で更新される。有利にも、ＨＩＣＡＭによって取得される陸地画像は、陸地画像内のランドマークの画像の位置を画像の画素の約１ピッチ以下の精度で決定されてもよいように、画像のしみを緩和するのに十分短い露出時間中に取得される。少なくとも１つのＲＯＩの中の各ＲＯＩに対して、ＨＩＣＡＭは、ＲＯＩを写す陸地画像の部分、以下「ＲＯＩクロップ画像部分」、を定義する位置及び方向のデータに応じて、一連の陸地画像の各々をクロップする（切り出す）。ＨＩＣＡＭは、ＲＯＩの一連の安定画像を提供するためにＲＯＩクロップ画像部分をデジタル的に安定させる。

本発明の実施形態によりＲＯＩクロップ画像部分をデジタル的に安定させることは、陸地画像が実質的に同じ視点から陸地領域を写すように、位置及び方向のデータに応じて陸地画像を歪ませることを備える。歪んだ陸地画像は、陸地領域の少なくとも部分の関連するデジタル地形地図に応じて陸地領域の少なくとも部分の正投影画像に位置合わせされることも可能である。陸地領域の少なくとも部分の正投影画像は、ランドマークとして使用可能な陸地領域の地物に対する位置情報座標、任意選択的に経度及び緯度、を提供する。関連する地形地図はランドマークの標高データを提供する。陸地領域の正投影画像及び関連するデジタル地形地図は、「基準画像セット」とも呼ばれる。陸地画像のＲＯＩクロップ画像部分は、ＲＯＩの安定画像を提供するために、基準画像セットの陸地画像の少なくとも部分の正投影画像及び関連する地形地図に位置合わせされる。

地形地図は、陸地画像を取得するＨＩＣＡＭ光センサ内の画素の約１ピッチ以下の距離内までの、陸地画像のランドマークの位置を特定するのに十分な精度で特徴付けられる正投影画像内に映される複数のランドマークに対する標高データを任意選択的に提供する。一例として、ＨＩＣＡＭは、画素ピッチ「Ｐ」及び焦点距離「ｆ」を有するカメラ上で高度「Ａ」及び斜角「α」からランドマークを撮像すると仮定する。「Δｅ」が、地形地図が本発明の実施形態に従ってランドマークの標高を提供する精度を表す場合、Δｅは、制約Ｐ≧Δｅ・ｆ・ｓｉｎα／Ａ、又は再配置後のΔｅ≦Ａ・Ｐ／ｆ・ｓｉｎαを満たす。Ａ＝６０００ｍ（メートル）、α＝３０°、ｆ＝１００ｍｍ（ミリメートル）、及びＰが１０μｍ（マイクロメートル）の場合、Δｅは約１ｍ以下としてもよい。ピッチが２μｍの場合、Δｅは約２０ｃｍより小さいであろう。

頻繁に更新される位置及び方向のデータに応じて、陸地領域内の複数のＲＯＩの画像を基準画像セットに位置合わせするとによって、ＨＩＣＡＭは、安定されていない又は２軸ジンバルで安定される航空カメラを使用して陸地領域の画像を取得し、正確に安定されている複数のＲＯＩの画像を提供してもよい。本発明の一実施形態では、ＨＩＣＡＭは、ＲＯＩの安定された画像を、一般的に、６軸ジンバルシステムによって安定されるカメラを備える比較的大きく重い航空撮像システムによって提供される精度で生成する。任意選択的に、安定化精度は、陸地領域の画像を取得するＨＩＣＡＭカメラにおける画素のピッチ以下である。

考察において、特に指定がない限り、本発明の実施形態の１つ又は複数の特徴の条件又は関係特性を修飾する「実質的に」及び「約」のような形容詞は、その条件又は特性が、それが意図されている用途のための実施形態の動作に対して許容可能な許容範囲内に定義されることを意味すると理解される。特に指示がない限り、明細書及び特許請求の範囲における「又は」という語は、排他的な又はではなく包括的な「又は」であるとみなされ、それが結合させる項目の少なくとも１つ又は項目の任意の組み合わせを示す。

この発明の概要は、以下の発明を実施するための形態で更に説明する概念の選択を簡略化した形で紹介するために提供される。この発明の概要は、特許請求される主題の重要な特徴又は本質的な特徴を特定することを意図するものでもなく、特許請求される主題の範囲を限定するために使用されることを意図するものでもない。

本発明の実施形態の非限定的な例は、本段落に続いて列挙され、本明細書に添付されている図を参照して以下に記載される。複数の図に現れる同一の特徴は、一般に、それらが現れる全ての図において同じラベルを付ける。図において本発明の実施形態の所与の特徴を表すアイコンに付けるラベルは、所与の特徴を参照するために使用されることができる。図に示される対象物の寸法は、提示の便宜及び明瞭さのために選択され、必ずしも一定の縮尺で示されていない。

本発明の実施形態による、航空機に搭載され、複数のＲＯＩ及びランドマークを示す都市を含む陸地領域を撮像する遠隔ＨＩＣＡＭカメラシステムを模式的に示す。 本発明の実施形態による、航空機及びＨＩＣＡＭを収容するポッドの拡大画像を模式的に示す。 本発明の実施形態による、図１Ｂに示されるＨＩＣＡＭのブロック図を模式的に示す。 図１Ａに示される陸地領域のある領域の画像及びどのように複数のＲＯＩの画像が動きアーチファクトによって変形され得るかを模式的に示す。 本発明の実施形態による、ＨＩＣＡＭが陸地画像を取得し、安定させるために実施する手順を説明するフロー図を示す。 本発明の実施形態による、ＨＩＣＡＭが陸地画像を取得し、安定させるために実施する手順を説明するフロー図を示す。 本発明の実施形態による、基準画像セットに含まれる標高データの精度に関する制約を決定することに関連する撮像の幾何学的形状を模式的に示す。

図１Ａは、本発明の実施形態による、海辺大都市１０２を含む陸地領域１００を例として撮像するために、航空機の腹部に取り付けられるＨＩＣＡＭ２０を使用する監視航空機６０を模式的に示す。航空機６０は、陸地領域１００の上の破線の円６２によって模式的に表される任意選択的な円形飛行経路を飛行するように示されている。（円６２は、図１Ａの視点の故に楕円形に見える）ＨＩＣＡＭ２０は、ＨＩＣＡＭ２０から延びる線２２によって模式的に示される比較的大きなＦＯＶを有し、ＨＩＣＡＭ２０によって撮像される陸地領域１００は、破線の円形境界１０２によって示される比較的大きな範囲を有し、大都市１０３だけでなく、海岸線１０４及びそれに沿って大都市が存在する海洋１０６を含む。砂時計形状のアイコン１０８は、陸地領域１００内の比較的容易に認識される及び／又は識別可能なランドマークを示す。

数値例として、航空機６０は約５，０００ｍ（メートル）の高度で飛行し、飛行経路６２は約１，５００ｍに等しい半径を有してもよい。本発明の一実施形態では、ＦＯＶ２２は、約５０°以上の視野角によって特徴付けられる。任意選択的に、ＦＯＶは約６０°以上の視野角によって特徴付けられる。５０°及び６０°の視野角に対して、境界１０２は約５，０００ｍと約６，０００ｍとの間の直径を有してもよい。

ＨＩＣＡＭ２０は、複数の選択可能な複数のＲＯＩ、ＲＯＩ（ｕ）、１≦ｕ≦Ｕ、の安定された高解像度画像を、任意選択的に複数のＲＯＩを監視することを任務とする地上局のオペレータ（図示せず）に提供すると仮定する。任意選択的に、図１Ａに示すようにＵ＝５であり、ＨＩＣＡＭ２０は、陸地領域１００内の境界ＲＯＩ（１）、ＲＯＩ（２）…ＲＯＩ（５）によって示される５つの選択可能な複数のＲＯＩに対して安定された高解像度画像を提供している。ＲＯＩ（１）、…、ＲＯＩ（５）の境界は、提示の便宜のために矩形として示され、複数のＲＯＩは、もちろん矩形以外の境界を有することができ、その境界は、例えば円形、三角形又は変則形状としてもよい。特定の複数のＲＯＩを指定するために使用されるラベルＲＯＩ（１）、…、ＲＯＩ（５）は、複数のＲＯＩを区切るそれぞれの境界を参照するために使用されてもよい。ＨＩＣＡＭ２０は、衛星１１０によって表される全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）のような衛星ナビゲーションシステム（ＧＮＳＳ：ｓａｔｅｌｌｉｔｅ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）からナビゲーション信号を受信していると仮定する。ＧＮＳＳ１１０によって生成され、ＨＩＣＡＭ２０によって受信される信号は、陸地領域１００の地物に対するＨＩＣＡＭ２０の位置についての３次元空間座標、例えば、位置情報及び高度を提供する。

図１Ｂは航空機６０及びＨＩＣＡＭ２０の拡大図を模式的に示す。ＨＩＣＡＭ２０は、本発明の実施形態による、陸地領域１００の画像を取得するカメラアレイ３０を収容する航空機搭載ポッド２４と、陸地領域内の複数のＲＯＩの安定された画像を提供するために画像を処理する画像データ取得及び処理ユニット（ＩＤＡＰＵ：ｉｍａｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）４０とを任意選択的に備える。図１ＣはＨＩＣＡＭ２０の概略ブロック図を示す。

カメラアレイ３０は、画素３２を有する複数の光センサ３１と、各光センサ用の、収集レンズ３３によって模式的に表される結像光学系とを備えてもよい。所与の光センサ３１に関連する光学系３３は、ＨＩＣＡＭ２０によって撮像される、陸地領域１００のような陸地領域から光を収集し、集められた光を所与の光センサ３１に結像する。本発明の一実施形態では、カメラアレイ３０は、カメラアレイに比較的大きなＦＯＶ２２（図１Ａ）を提供する比較的多数の小さな画素３２を備える比較的小型軽量のカメラアレイである。一実施形態では、ＦＯＶ２２は、約５０°以上の視野角によって特徴付けられる。任意選択的に、ＦＯＶは、約６０°以上の視野角によって特徴付けられる。本発明の一実施形態では、カメラアレイ３０の光センサ３１に含まれる光センサ画素３２の総数は約１０^９以上である。任意選択的に、光センサ画素３２の数は約５×１０^９以上である。任意選択的に、光センサ画素３２は、約１０μｍ（マイクロメートル）以下のピッチによって特徴付けられる。一実施形態では、ピッチは約３μｍ以下である。

カメラアレイ３０は、陸地領域１００の画像を取得するためにローリングシャッタ撮像モードで動作してもよい。ローリングシャッタモードでは、光センサ３１内の光センサ画素３２の隣接するライン、任意選択には行（ｒｏｗ）、は、陸地領域からの光に順次露光され、画素３２の各ラインは露光後実質的に直ちに読み出される。所与の光センサ３１内の光センサ画素３２は、光センサ内の行及び列「光センサ画素座標」、それぞれｘ_ｐ及びｙ_ｐ、によって位置決めされると仮定される。同じｘ_ｐ座標を有する画素３２は、画素の同じ行に位置決めされ、実質的に同じ時間に陸地領域１００からの光に露光され、同じ読み出し期間中に読み出される。カメラアレイ３０によって取得される陸地領域１００の第ｎ番目の画像は、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））で表される。ここで、ｔ_ｎ（ｘ_ｐ）は、同じ光センサ画素行座標ｘ_ｐを有する光センサ画素によって取得されるｎ番目の画像を生成するために使用される画像データが、陸地領域１００からの光に露光される時間である。ｎ番目の画像を生成することは、ローリングシャッタ撮像モードによって生成される画像剪断を補償するために、当該技術分野において既知の様々な方法の何れかを使用して、画素の異なる行からの画像データを処理することを備えてもよい。画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））に映されている所与のＲＯＩ（ｕ）のｎ番目の画像は、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））によって表され、ｘ_ｐ ^＊，ｙ_ｐ ^＊は、所与のＲＯＩ（ｕ）の画像を提供するＩ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））からの画素のサブセットの画像座標である。

陸地領域１００のｎ番目の画像は、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）で表すことができ、ｔ_ｎは、ｎ番目の画像のタイムスタンプとして有利にも使用され得る時間ｔ_ｎ（ｘ_ｐ）の、平均時間又は適切に加重平均された平均時間のような特性時間を表す。同様に、所与のＲＯＩ（ｕ）のｎ番目の画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））は、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ ^＊）によって表され、ｔ_ｎ ^＊は時間ｔ_ｎ（ｘ_ｐ ^＊）の有利なタイムスタンプ特性時間を表す。

一実施形態では、カメラアレイ３０は、航空機６０の動きを補償し、カメラアレイ３０のＦＯＶの方向を所望の方向に安定させるように動作する、デカルト座標系３６で模式的に表されるジンバルシステムに取り付けられる。航空機６０の方向の変化は、従来、ロール軸、ピッチ軸及びヨー軸、それぞれ、１３７、１３８及び１３９の周りの回転角度によって決定される。任意選択的に、ジンバルシステム３６は、航空機６０のロール軸１３７、ピッチ軸１３８、及びヨー軸１３９の周りの航空機６０の回転をそれぞれ補償することによってカメラアレイ３０を安定させるように動作するカメラシステムをｘ軸及びｚ軸の周りに回転させる２軸ジンバルシステムである。２軸ジンバルシステム３６は、ロール軸１３７及びヨー軸１３９の周りの航空機６０のロール及びヨー角変位とは反対の方向に、カメラアレイ３０をｘ軸及びｚ軸の周りに回転させることを提供する。カール状のブロック矢印ω１３７及びω１３９は、それぞれ、ロール軸及びヨー軸１３７及び１３９の周りの航空機６０のロール角変位及びヨー角変位を模式的に表す。カール状のブロック矢印ω_ｘ及びω_ｚは、ジンバルシステム３６がカール状のブロック矢印ω１３７及びωｌ３９によってそれぞれ表されるロール及びヨーの変位を補償する、ｘ及びｚ軸周りのカメラアレイ３０の角度変位を模式的に表す。

２軸ジンバルシステム３６は、中央領域が実質的にＦＯＶ２２の中心に維持されるように、航空機６０の飛行中にカメラアレイ３０の光軸（図示せず）を陸地領域１００の中央領域を目標に任意選択的に維持するように動作する。ＦＯＶは円形飛行経路６２の周りの航空機６０の角速度に等しい角速度で中心領域の周りを実質的に回転する。ｘ軸及びｚ軸の周りの、２軸ジンバルシステム３６によって提供される補償回転は、カメラアレイ３０のＦＯＶ１０２を陸地領域の中心に向けて保持することができるが、ジンバルシステム３６によって提供されないｙ軸の周りの補償回転は、航空機６０の偏揺れがＦＯＶ１０２の目標を妨げる原因となる。一実施形態では、以下に説明する本発明の実施形態によるＲＯＩ（ｕ）の安定化は乱れを補償する。

ＩＤＡＰＵ４０は、カメラアレイ３０及びコントローラ４４の位置及び方向を決定するためのデータを取得するＧＰＳ受信機４１及びＩＭＵ４２を任意選択的に備える。コントローラ４４は、ＧＰＳ受信機４１及びＩＭＵ４２から位置及び方向データを受信し、データを、カメラアレイ３０によって取得される画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））に関連付ける。ＧＰＳ受信機４１及びＩＭＵ４２によって提供される位置及び方向データは、以下に説明するように、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））内の複数のＲＯＩの画像、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を安定させるために使用される。関連付けることは、データ及び画像を、それぞれ取得された時間でタイムスタンプすることによって任意選択的に達成される。例えば、光センサ画素３２の電圧読み出し値は、それらが属する画素行の取得時間ｔ_ｎ（ｘ_ｐ）でタイムスタンプされる。ＩＭＵ４２によって生成される信号をサンプリングすることによって取得されるデータは、サンプリング時間でタイムスタンプされる。ＩＤＡＰＵ４０はまた、カメラアレイ３０によって取得される画像及びその画像に関連する位置及び方向データを格納する画像データベース４５を備える。

本発明の実施形態では、ＩＤＡＰＵ４０は、陸地領域１００の基準画像セットＲ（ｘ_ｐ，ｙ_ｐ，ｚ）を格納する基準データベース４６を備える。基準画像セットＲ（ｘ_ｐ，ｙ_ｐ，ｚ）は、陸地領域１００の少なくとも一部の正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）及び関連する地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）を含む。変数ｘ_ｐ及びｙ_ｐは、正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）内の画素の画像座標である。画像座標ｘ_ｐ及びｙ_ｐは、画像座標ｘ_ｐ及びｙ_ｐにおけるＯＩ（ｘ_ｐ，ｙ_ｐ）内の画像画素によって映されるランドマーク１０８のような地物を地理的に位置決めする位置情報座標ｘ及びｙ、任意選択的に緯度及び経度、にそれぞれ関連付けられる。関連する地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）は、画像座標ｘ_ｐ，ｙ_ｐにおける正射投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）に映される地物の地理的標高、ｚ、を提供する。

ＩＤＡＰＵ４０は安定化エンジン４７を任意選択的に備える。本発明の一実施形態では、安定化エンジン４７は、ＧＰＳ４１及びＩＭＵ４２によって提供される位置及び方向データに応じて航空機６０の動きを補償するために、カメラアレイ３０によって取得され、画像データベース４５に格納された陸地領域１００の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を歪ませる。安定化エンジンは、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））内のランドマークの画像が正射投影画像内のランドマークの画像にほぼ合致するように、陸地領域１００の少なくとも一部の正射投影画像及び関連する陸地画像に対して、歪ませたＩ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））画像を位置合わせする。安定化エンジン４７は、ＲＯＩ（１）…（５）に対してそれぞれＲＯＩ画像ＲＯＩ（１，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））…ＲＯＩ（５，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を提供するために、以下に説明するようにカメラアレイ３０によって取得され、画像データベース４５に格納された陸地領域１００の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））をクロップする（切り出す）。図１Ｃにおいて、安定化エンジン４７はコントローラ４４とは別個に示されているが、安定化エンジンはコントローラに含まれることができ、例えば、コントローラに含まれる実行可能な命令セットとしてもよい。

本発明の一実施形態では、クロップ（切り出し）は、ＧＰＳ４１及びＩＭＵ４２によって提供される位置及び方向データ、並びに正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）及び／又は地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）によって提供されるデータ及びＲＯＩ（１）…ＲＯＩ（５）を定義するＨＩＣＡＭ２０のユーザによって提供されるデータに応じて実行されてもよい。一例として、陸上画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））のＲＯＩトリミング画像部分は、ＲＯＩの隅に対して投影機能を使用して、任意選択的に３Ｄ空間位置座標−位置情報及び標高座標−を使用して、定義されてもよい。ＲＯＩの隅の各々は、隅が映されているＩ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））内の画像画素の画像座標（ｘ_ｐ ^＊，ｙ_ｐ ^＊）を決定するために、逆光線トレース処理によって画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））上に投影される。画像画素の座標は、ＲＯＩの画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を定義するために陸上画像が切り出される（クロップされる）べき境界を決定するために使用される。投影は、ＧＰＳ受信機４１及びＩＭＵ４２によって取得される位置及び方向データ並びに正射投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）及び／又は地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）によって提供されるデータに応じて決定される時間ｔ_ｎ（ｘ_ｐ ^＊）においてＨＩＣＡＭ２０の位置及び方向を使用して実行される。

クロップに続いて、安定化エンジン４７は、ＲＯＩ（１），…，ＲＯＩ（５）の安定された画像を提供するために、基準データベース４６に格納される基準画像セットＲ（ｘ_ｐ，ｙ_ｐ，ｚ）並びに画像データベース４５に格納される位置及び方向データに応じて、画像ＲＯＩ（１，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊）），…，ＲＯＩ（５，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を安定させる。以下に説明するように、所与のＲＯＩ（ｕ）に対する画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を安定させることは、画像をＯＩ（ｘ_ｐ，ｙ_ｐ）の少なくとも一部に位置合わせすることを含む。安定化エンジン４７によって提供される時間ｔ_ｎ ^＊におけるＲＯＩ（ｎ）のｎ番目の安定化された画像は、ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ ^＊）によって表されることができ、ここで、上述のように、ｔ_ｎ ^＊は時間ｔ_ｎ（ｘ_ｐ ^＊）の有利なタイムスタンプ特性を表す。

図１Ｄは、図１に示すＲＯＩ（１）、ＲＯＩ（２）、及びＲＯＩ（３）の画像を含み、タイムスタンプｔ_１でＨＩＣＡＭ２０カメラアレイ３０によって取得される陸地領域１００の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_１（ｘ_ｐ））の一部の画像１２０を模式的に示す。画像１２０は、画素３２の隣接する行の露光期間の間の遅延により生成される画像剪断を実質的に補償するために、画素３２の行によって時間ｔ_１（ｘ_ｐ）で取得される画像データを処理した後の陸地領域１００のある領域の画像である。

画像１２０内のＲＯＩ（１）^＊，ＲＯＩ（２）^＊，ＲＯＩ（３）^＊は、ＨＩＣＡＭ２０によって時間ｔ_２に取得される画像１２０に示される陸地領域１００の部分の後続画像におけるＲＯＩ（１），ＲＯＩ（２），ＲＯＩ（３）の境界を模式的に示す。境界ＲＯＩ（１）^＊，ＲＯＩ（２）^＊，ＲＯＩ（３）^＊は、図１Ｄに示すように、ＲＯＩ（１），ＲＯＩ（２），ＲＯＩ（３）を定義する実線の境界に対して変位、回転、及び／又は歪曲され得る。変位、回転、及び／又は歪曲は、航空機の位置の変化、軸１３７、１３８、及び／又はヨー１３８の周りのそれぞれのロール、ピッチ及び／又はヨーの変化のような航空機６０の動きによって、並びに／あるいはカメラアレイ３０の構造的及び／又は動作的特徴によって生成され得る。

時間ｔ_１に取得された画像１２０内の複数のＲＯＩ、ＲＯＩ（１）、ＲＯＩ（２）、ＲＯＩ（３）の固定の境界によって示される領域及び時間ｔ_２で取得された後続画像の同じ領域が、複数のＲＯＩ、ＲＯＩ（１）、ＲＯＩ（２）、ＲＯＩ（３）を監視することを任務とするオペレータに複数のＲＯＩの画像を提供するために送信される場合、オペレータはかれらが監視している画像内に時間依存変位及び歪みを体験するであろう。ジンバルシステム３６は、画像を安定させるために変位及び歪みの大きさを緩和するように動作するが、本発明の実施形態によれば、安定化エンジン４７は、ジンバルシステム４７によって提供される安定性を超えて安定性を向上させるように動作する。

上記の説明では、ＨＩＣＡＭ２０の全ての構成要素が同じ航空機搭載ポッド２４内に収容されているように示され、且つ記述されているが、本発明の実施は、ＨＩＣＡＭ構成要素の全て又は実質的に全てが同じ搭載ポッド内にある「集中型」ＨＩＣＡＭに限定されない。本発明の一実施形態によれば、ＨＩＣＡＭ２０と同様のＨＩＣＡＭは、様々な場所に構成要素を有する分散型構成を有してもよい。例えば、基準データベース４６は、地上局又は航空機６０とは異なる航空機に取り付けられる航空機搭載ポッドに配置されてもよい。そして画像データベース４５又は安定化エンジン４７は、基準データベース４６が配置されている地上局又は航空機ポッドとは異なる地上局又は航空機ポッドに配置されてもよい。ＨＩＣＡＭ２０と同様の本発明の一実施形態によるＨＩＣＡＭの構成要素は、少なくとも部分的にクラウドベースとしてもよい。

航空機６０の飛行中にＲＯＩ（１）、…、ＲＯＩ（５）の画像を取得して安定させる際のＨＩＣＡＭ２０及びＩＤＡＰＵ４０の動作が、図２Ａ及び２Ｂに示される本発明の実施形態による画像取得及び安定化アルゴリズム２００のフロー図を参照して説明される。

ブロック２０１において、ＨＩＣＡＭ２０が陸地領域１００の画像及び陸地領域内の複数のＲＯＩの画像を安定させるのに関連するデータを取得する、「取得レート」とも呼ばれる周波数が決定される。任意選択的に、取得レートは、画像取得レート１／Ｔ_Ｉ、ＩＭＵ取得レート１／Ｔ_ＩＭＵ、及びＧＰＳ取得レート１／Ｔ_ＧＰＳを含む。画像取得レート１／Ｔ_Ｉは陸地領域１００の画像が取得される周波数であり、Ｔ_Ｉは画像の取得の間の期間である。同様に、Ｉ／Ｔ_ＩＭＵ及び１／Ｔ_ＧＰＳは周波数であり、Ｔ_ＩＭＵ及びＴ_ＧＰＳは、ＩＭＵ４２及びＧＰＳ受信機４１によって生成される信号が、本発明の一実施形態により複数のＲＯＩ、ＲＯＩ（１）、…、ＲＯＩ（５）、の画像を安定させるのに使用されるデータを提供するためにサンプリングされる対応する期間である。サンプリングされると、ＩＭＵ４２によって生成される信号は、３つの、任意選択的に直交した、軸に沿うＨＩＣＡＭ２０の線形加速、３つの、任意選択的に直交した、回転軸の角加速度、及び加速度の導出関数のデータを任意選択的に提供する。導出関数は、例えば、速度を提供する加速度の積分及びカメラアレイ３０の「推測航法」位置及び方向を含んでもよい。

本発明の一実施形態では、画像取得レート１／Ｔ_Ｉは約３Ｈｚ以上である。本発明の一実施形態では、取得レート１／Ｔ_ＩＭＵは、航空機６０の振動及び／又は大気の乱気流によるＨＩＣＡＭ２０の動きを特徴付ける周波数の約２倍以上である。取得レート１／Ｔ_ＩＭＵは、例えば、約１００Ｈｚと２００Ｈｚとの間の周波数とすることができ、その周波数は、一般に、航空機６０のような航空プラットフォームに搭載される結果としてＨＩＣＡＭ２０が遭遇する振動を特徴付ける典型的な周波数より少なくとも２倍だけ大きい。

任意選択的に、ＨＩＣＡＭ２０は、ＧＰＳ受信機４１によって提供されるＧＰＳ測距信号を、約１Ｈｚに等しい取得レート１／Ｔ_ＧＰＳで且つ約１００ナノ秒（ｎｓｅｃ）の精度でサンプリングする。ＧＰＳ受信機４１によって生成される信号は、ＨＩＣＡＭ２０の３Ｄ空間位置及び速度を提供してもよい。その信号は、ＨＩＣＡＭ２０の構成要素によって提供される機能の中の動作の同期化に使用するための基準１パルス／秒（１−ＰＰＳ）クロック信号及びそれらの機能を任意選択的に協定世界時（ＵＴＣ：Ｕｎｉｖｅｒｓａｌ Ｃｏｏｒｄｉｎａｔｅｄ Ｔｉｍｅ）に参照する信号を含んでもよい。

任意選択的に、ブロック２０３において、安定化された画像がＨＩＣＡＭ２０によって提供されることになっている、図１Ａ及びＩＤに示される例示的な複数のＲＯＩ，ＲＯＩ（１）…ＲＯＩ（５）のような陸地領域１００内の複数のＲＯＩ，ＲＯＩ（ｕ），１≦ｕ≦Ｕ、が定義される。複数のＲＯＩは様々な適切な方法の何れかによって定義されてもよい。例えば、複数のＲＯＩは、基準データベース４６（図１Ｃ）に格納される基準画像セットＲ（ｘ_ｐ，ｙ_ｐ，ｚ）に含まれる正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）から利用可能な位置情報座標を参照することによって定義されてもよい。任意選択的に、ＲＯＩ（ｕ）は矩形であり、ＲＯＩの四隅の位置情報座標によって定義される。任意選択的に、ＲＯＩ（ｕ）は、ＨＩＣＡＭがコンピュータビデオスクリーン上に生成する陸地領域１００の画像内でマウスを使用してＲＯＩ（ｕ）の外形を描くことによって定義される。もちろん、外形を描くことは指又はスタイラスを用いてタッチスクリーン上で実行されてもよい。

ブロック２０５において、アルゴリズム２００の動作パラメータを初期化する。動作パラメータは、ＧＰＳ受信機４１によって提供されるＰＰＳ及びＵＴＣ信号に同期されるクロック時間ｔ、クロック進みステップΔｔ、並びにカウント指標ｎ、ｊ及びｋを備える。カウント指標ｎ、ｊ、及びｋは、それぞれ、ＨＩＣＡＭ２０カメラアレイ３０が取得する陸地領域１００の画像を数えるため、並びにＩＭＵ４２及びＧＰＳ受信機４１によって生成される信号のサンプリングのために使用される。クロック時間ｔ並びに指標ｎ、ｊ、及びｋは任意選択的にゼロに初期化される。

任意選択的に、判定ブロック２０７において、ＨＩＣＡＭ２０は、時間ｔのＩＭＵ取得期間Ｔ_ＩＭＵによる剰余がゼロに等しいかどうかを判定することによって、ＩＭＵ４２（図１Ｃ）によって生成される信号をサンプリングする時間であるかどうかを判定する。ｔのＴ_ＩＭＵによる剰余がゼロに等しくない場合、ＨＩＣＡＭ２０は、以下に説明するブロック２１５に進む。一方、ｔのＴ_ＩＭＵによる剰余がゼロに等しい場合、ＨＩＣＡＭ２０は、ブロック２０９に進み、指標ｊを１だけ増加させ、ブロック２１１において、時間ｔと実質的に等しい時間「ｔ_ｊ」において、コントローラ４４は、ＩＭＵ４２によって生成される信号をサンプリングし、ＨＩＣＡＭ２０の方向及び３Ｄ空間位置を決定するためのデータを取得する。

任意選択的に、ブロック２１３において、データコントローラ４４（図１Ｃ）はＩＭＵ（ｔ_ｊ）を画像データベース４５に格納する。

任意選択的に、その後、判定ブロック２１５において、ＩＤＡＰＵコントローラ４４は、時間ｔのＧＰＳ取得期間Ｔ_ＧＰＳによる剰余がゼロに等しいかどうかを判定することによって、ＧＰＳ受信機４１（図１Ｃ）によって生成される信号をサンプリングする時間であるかどうかを判定する。ｔのＴ_ＧＰＳによる剰余がゼロに等しくない場合、ＨＩＣＡＭ２０は、以下に説明するブロック２２３に進む。一方、ｔのＴ_ＧＰＳによる剰余がゼロに等しい場合、ＨＩＣＡＭ２０は、任意選択的に、カウント指標ｋを１だけ増加させ、ブロック２１９において、コントローラ４４は、ｔに実質的に等しい時間ｔ_ｋにおいて、ＧＰＳ受信機４１によって生成される信号をサンプリングし、ＨＩＣＡＭ２０の３Ｄ空間的位置及び方向を決定するためのデータを取得する。任意選択的に、上述のように、サンプリングされたデータは、１ＰＰＳ同期信号、ＵＴＣ時間、並びに、ＨＩＣＡＭ２０の３Ｄ位置座標Ｘ（ｔ_ｋ），Ｙ（ｔ_ｋ），Ｚ（ｔ_ｋ）及びベクトル速度（Ｘ（ｔ_ｋ），Ｙ（ｔ_ｋ），Ｚ（ｔ_ｋ）の導関数）を決定するために使用され得るデータを含む、時間ｔ_ｋにおける１組の値ＧＰＳ（ｔ_ｋ）を備える。ブロック２２１において、コントローラ４４はＧＰＳ（ｔ_ｋ）を画像データベース４５に格納する。

任意選択的に、ＧＰＳ（ｔ_ｋ）の格納に続いて、一実施形態では、ブロック２２３において、コントローラ４４は、時間ｔの画像取得期間Ｔ_Ｉによる剰余がゼロに等しいかどうかを判定することによって、陸地領域１００の画像を取得する時間であるかどうかを判定する。ｔのＴ_Ｉによる剰余がゼロに等しくない場合、ＨＩＣＡＭ２０は以下に説明するブロック２３７に進む。一方、ｔのＴ_ＧＰＳによる剰余がゼロに等しい場合、ＨＩＣＡＭ２０は、ブロック２２５において、カウント指数ｎを１だけ増加させ、実質的にｔに等しい時間に、図２Ｂに示すブロック２２７において、コントローラ４４は、カメラアレイ３０をローリングシャッタ露出モードで動作させて、陸地領域１００の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を取得する。ブロック２２９において、コントローラ４４は画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を画像データベース４５に任意選択に格納する。

本発明の一実施形態では、コントローラ４４は、画像データベース４５に格納されるＩＭＵ（ｔ_ｊ）及びＧＰＳ（ｔ_ｋ）データから決定されるＨＩＣＡＭ２０の３Ｄ空間位置及び／又は方向におけるドリフトを補正する第１の歪み関数Ｗ_１（ｔ_ｎ）を繰り返し、断続的に、又は周期的に生成し且つ格納する。Ｗ_１（ｔ_ｎ）は、画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）及びＯＩ（ｘ_ｐ，ｙ_ｐ）に映されているランドマーク１０８の選択がほぼ合致するように、画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）又は画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）の一部を、参照画像セットＲ（ｘ_ｐ，ｙ_ｐ，ｚ）の中の正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）に位置合わせすることによって決定される。ランドマークの選択はまばらであり、位置合わせは比較的粗い。一例として、ランドマークの選択及び粗い位置合わせは、所与のランドマークに対して約１５メートルの正確さで位置情報を提供する。任意選択的に、コントローラ４４がＩＭＵ（ｔ_ｊ）及びＧＰＳ（ｔ_ｋ）データによって提供される３Ｄ空間位置及び方向を使用して画像をＯＩ（ｘ_ｐ，ｙ_ｐ）に歪ませた後に、位置合わせが実行される。Ｗ_１（ｔ_ｎ）を規定するパラメータは、線形及び／又は角度ドリフトの大きさ及び方向の関数であり、ＩＭＵ（ｔ_ｊ）データ、ＧＰＳ（ｔ_ｋ）データ、並びに／又はＩＭＵ（ｔ_ｊ）及びＧＰＳ（ｔ_ｋ）データに応じて決定されるＨＩＣＡＭ２０の位置及び方向を補正するために使用される。

ドリフトを補正する変換の決定は、本発明の一実施形態では、画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）を正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）に位置合わせすることによって行われるとして記載されているが、ドリフトを補正する位置合わせは、画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）を以前の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ’）、ここでｎ’＝（ｎ−Δｎ）＜ｎ、に位置合わせすることによって行われる。ＩＭＵ（ｔ_ｊ）及びＧＰＳ（ｔ_ｋ）データに応じて歪められ、及び／又はＯＩ（ｘ_ｐ，ｙ_ｐ）又は以前に取得された画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ’）に位置合わせされた画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）は、Ｉ^＊（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）で表される。本発明の一実施形態によれば、ドリフト補正を決定するために画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）を処理すると、画像Ｉ^＊（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）が生成されることに留意されたい。

本発明の一実施形態では、コントローラ４４は、Δｎ個の画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））ごとの取得後に周期的にドリフトを補正するＷ_１（ｔ_ｎ）を決定するために位置合わせを実行し、判定ブロック２３１において、コントローラ４４は、ｎのΔｎによる剰余＝０であるかどうかを判定することによってドリフト補正を決定するために画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を処理するかどうかを判定する。ｎのΔｎによる剰余が０に等しい場合、コントローラ４４は任意選択的にブロック２３３に進み、ドリフト補正及びＩ^＊（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を生成するようにＩ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を歪めるＷ_１（ｔ_ｎ）を決定するために、地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）よって提供される標高データに任意選択的に応じて、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））又はその一部をＯＩ（ｘ_ｐ，ｙ_ｐ）に位置合わせする。Ｗ_１（ｔ_ｎ）は、Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））、ＩＭＵ（ｔ_ｊ）及びＧＰＳ（ｔ_ｋ）の関数であり、ブロック２３３に示すようにＷ_１（ｔ_ｎ）＝Ｗ_１（Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ）），ＩＭＵ（ｔ_ｊ），ＧＰＳ（ｔ_ｋ））と書かれる。画像Ｉ^＊（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））は少なくとも粗く安定された画像であることに留意されたい。ブロック２３３におけるドリフト補正の位置合わせ及びＷ_１（ｔ_ｎ）の生成に続いて、コントローラ４４はブロック２３５に進む。ｎのΔｎによる剰余が０に等しくない場合、コントローラ４４はブロック２３３をスキップし、ブロック２３５に進む。

ブロック２３５において、コントローラ４４は、第１の歪み関数Ｗ_１（ｔ_ｎ）又はコントローラ４４がブロック２３３をスキップした場合は以前に決定されたＷ_１に応じてＲＯＩ（ｕ）を定義する位置情報座標を画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））内の画素座標に変換する。

ブロック２３７において、コントローラ４４は、（ＲＯＩ（ｕ））の全ての特徴を実質的に含むブロック２３５で定義される画素座標に応じて、画像Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））のクロップ画像部分、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））、を決定するために各ＲＯＩ（ｕ）についてＩ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））を切り出す。任意選択的に、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））は、Ｗ_１（ｔ_ｎ）に応じて上述の投影関数を使用して決定される。

ブロック２３９において、安定化エンジン４７は、任意選択的に、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））を変換して安定させるための歪み変換Ｗ_２（ｕ，ｔ_ｎ）を決定する。

正投影画像ＯＩ（ｘ_ｐ，ｙ_ｐ）におけるＲＯＩ（ｕ）の画像をＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）で表すとする。歪み変換Ｗ_２（ｕ，ｔ_ｎ）は、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））をＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）に歪ませ、画像座標ｘ_ｐ ^＊，ｙ_ｐ ^＊を画像座標ｘ_ｐ，ｙ_ｐにマッピングし、それにより、画像ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）に位置合わせされ、その結果それに安定されたＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））の歪み画像ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）を提供する。歪み画像ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）におけるＲＯＩ（ｕ）の静止地物の画像は、ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）における静止地物の画像とほぼ合致する。歪み変換Ｗ_２（ｕ，ｔ_ｎ）は、地物が写ったＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）の位置情報が約１メートルに等しい又はそれより良い安定化レベルによって特徴付けられるように、ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）のＯＩ（ｘ_ｐ，ｙ_ｐ）への相対的に精細な位置合わせを提供する。

Ｗ_２（ｕ，ｔ_ｎ）は、それが依存する変数を明示的に示すように、Ｗ_２（ｕ，ｔ_ｎ）＝Ｗ_２（ｕ，Ｉ（ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ），ＩＭＵ（ｔ_ｊ），ＧＰＳ（ｔ_ｋ），Ｒ（ｘ_ｐ，ｙ_ｐ，ｚ））と書かれる。Ｗ_２（ｕ，ｔ_ｎ）の式におけるＲ（ｘ_ｐ，ｙ_ｐ，ｚ）は、陸地領域１００におけるＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））の正投影基準画像ＲＯＩ（ｘ_ｐ，ｙ_ｐ）及び画像ＲＯＩ（ｘ_ｐ，ｙ_ｐ）内に地物の標高を提供する地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）の両方を提供する。

安定化エンジン４７は、Ｗ_２（ｎ，ｔ_ｎ）を決定するための当該技術分野において既知の様々なアルゴリズムの何れかを使用してもよい。例えば、安定化エンジン４７は、ランドマーク１０８（図１Ａ及びＩＤ）間の最小二乗測定距離を最小化する、又は相互情報手順において結合エントロピーを最小にするように、Ｗ_２（ｎ，ｔ_ｎ）を決定してもよい。任意選択的に、Ｗ_２（ｎ，ｔ_ｎ）は、それが画像ＯＩ（ｘ_ｐ，ｙ_ｐ）のＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）を画素又はサブ画素精度に位置合わせするように決定される。Ｗ_２（ｎ，ｔ_ｎ）を決定する際に、カメラアレイ３０（図１Ｂ及び１Ｃ）の光センサ３１におけるカメラ画素３２のピッチ、従って画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））内の画像画素のピッチは、画像ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）内の画像画素のピッチと同じである。ピッチが同じでない場合、適切なビニングがピッチを等しくするために実行される。

ブロック２３９におけるＷ_２（ｎ，ｔ_ｎ）の決定に続いて、任意選択的にブロック２４１において、コントローラ４４は、Ｗ_２（ｎ，ｔ_ｎ）をＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））に適用して、ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）に対して安定された画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））の歪み画像ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）を生成する。ブロック２４１に示すように、Ｗ_２（ｎ，ｔ_ｎ）の演算を記号で表すことができる。
ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）＝Ｗ_２（ｎ，ｔ_ｎ）・ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊）），１≦ｕ≦Ｕ

ブロック２４３において、コントローラ４４は、任意選択的に、複数のＲＯＩ ＲＯＩ（ｕ）を監視することを任務とするオペレータのビデオコンソールに表示するための安定画像ＷＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ）１≦ｕ≦Ｕを送信する。ＨＩＣＯＭ２０によって取得される所与のＲＯＩ（ｕ）の画像ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））は同じ正射投影画像ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）に歪められるので、オペレータのコンソールに順次表示される時間ｔ_ｎにＨＩＣＡＭ２０によって取得される所与のＲＯＩ（ｕ）の一連の画像は互いに安定される。

判定ブロック２４５において、コントローラ４４は、ｔ_ｎが停止時間「Ｔ_ｅｎｄ」に等しいかどうかを判定する。等しい場合、ＨＩＣＡＭ２０はブロック２４９に進み、陸地領域１００の監視及び撮像を終了する。一方、ｔ_ｎが停止時間「Ｔ_ｅｎｄ」より小さい場合、ブロック２４７において、コントローラ４４は、ｔをΔｔだけ増加させ、ブロック２０７に戻り、ＩＭＵ４２によって生成される信号をサンプリングして新しい１組の値ＩＭＵ（ｔ_ｊ＋１）を取得する時間であるがどうかを判定する。

第１の画像を第２の画像に十分なレベルの精度で位置合わせする歪み変換を決定することは、計算量的に且つ時間的に高価な作業となり得る。この作業は、カメラアレイ３０によって提供される画像Ｉ（ｕ，ｘ_ｐ，ｙ_ｐ，ｔ_ｎ（ｘ_ｐ））及びＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））のような多数の画素を備える大きな画像に対しては特に高価であり得る。地形地図ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）は、Ｗ_１（ｕ，ｔ_ｎ）及びＷ_２（ｕ，ｔ_ｎ）のような歪み変換の計算の複雑さ及び時間を緩和するのに有利であり得る標高データを提供する。

例えば、カメラアレイ３０の所与の位置及び方向に対してＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））に作用する歪み変換Ｗ_２（ｕ，ｔ_ｎ）に関して、標高データは、ＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）における画像座標からの、画像画素座標ｘ_ｐ ^＊，ｙ_ｐ ^＊におけるＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））内の地物の画像の変位を決定するために使用されてもよい。標高変位は、計算を単純化し、その実行時間を短縮するＷ_２（ｕ，ｔ_ｎ）の計算に対する所定の入力として使用されてもよい。ＨＩＣＡＭ２０の動作条件及び特性並びにＷ_２（ｕ，ｔ_ｎ）が提供するのが望ましい、ＲＯＩ（ｕ，ｘ_ｐ ^＊，ｙ_ｐ ^＊，ｔ_ｎ（ｘ_ｐ ^＊））のＲＯＩ（ｕ，ｘ_ｐ，ｙ_ｐ）への位置合わせの精度は、ＴＭ（ｘ_ｐ，ｙ_ｐ，ｚ）によって提供される標高データの精度に関する制約を生成し得る。

図３は、地物３００の標高での所与の不確定性「Δｅ」が、ＨＩＣＡＭ２０（図１Ｂ及び１Ｃ）内のカメラアレイ３０の光センサ３１上の地物の画像の位置での不確定性をどのように生成するかを模式的に示す。カメラアレイ３０は、光学中心３５、光軸３９、及び焦点距離「ｆ」を有する。ＨＩＣＡＭ２０は地面１０１の上の高度Ａにあると仮定され、光軸３９は鉛直点１０４で地面と交差する。地物３００が地面１０１位置３０１鉛直点１０４からの距離Ｄ上に位置する場合、地物からの中心光線３０２は、光軸３９と傾斜撮像角度αで光学中心３５を通過する。中心光線は光センサ３２に入射し、地物３００は光センサ３１内の画像座標ｘ_ｐ１＝ｆ・ｔａｎ（α）で結像される。他方、地物３００が、光軸３９から距離Ｄ位置３０３に位置するが、地面から距離Δｅだけ高い場合、地物からの中心光線３０４は、光軸３９と角度（α＋β）で光学中心３５を通る。中心光線は光センサ３２に入射し、地物３００は画像座標ｘ_ｐ２＝ｆ・ｔａｎ（α＋β）で結像される。画像座標の差Δｘ_ｐ＝ｘ_ｐ２−ｘ_ｐ１〜Δｅ・ｆ・ｓｉｎα／Ａ。従って、画素３２がピッチ「Ｐ」を有し、地物の画像の位置の正確さを画素ピッチＰ未満に決定することが望ましい場合、Δｅが制約Ｐ≧Δｅ・ｆ・ｓｉｎα／Ａを満たすことが有利であり得る。

数値例として、Ａ＝５０００ｍ（メートル）、α＝３０°、ｆ＝１００ｍｍ（ミリメートル）、及びＰが１０μｍ（マイクロメートル）の場合、有利にもΔｅは約１ｍ以下である。ピッチＰが２μｍである場合、Δｅは、有利にも約２０ｃｍ未満であるであろう。

上記の説明では、ＨＩＣＡＭカメラシステムは、航空機である移動プラットフォームに搭載されると仮定されたが、本発明の実施形態は、航空機又は移動プラットフォーム上での使用に限定されないことに留意されたい。ＨＩＣＡＭは、例えば、陸上車両に搭載されて使用されてもよい。あるいは、ＨＩＣＡＭカメラシステムは、例えば、自然の気象もしくは地象、又は人為的な振動源によって発生される振動を受ける可能性がある静止支持体に取り付けられてもよい。ＨＩＣＡＭは、ＨＩＣＡＭが固定された又は変更可能な方向を有するように固定支持体に取り付けられてもよい。

本出願の説明及び特許請求の範囲では、動詞、「備える」、「含む」、及び「有する」並びにそれらの活用形の各々は、動詞の１つ又は複数の目的語が必ずしも動詞の１つ又は複数の主語の構成要素、要素、又は部分の完全なリストではないことを示すために使用される。

本出願における本発明の実施形態の説明は例として提供されており、本発明の範囲を限定するように意図されてはいない。記載された実施形態は様々な特徴を備え、それらの全てが本発明の全ての実施形態で必要とされるわけではない。幾つかの実施形態は特徴の一部又は特徴の可能な組み合わせのみを利用する。記載されている本発明の実施形態の変形及び記載されている実施形態に記載されている特徴の様々な組み合わせを備える本発明の実施形態を当業者は気づくであろう。本発明の範囲は特許請求の範囲によってのみ限定される。

Claims (32)

1. 陸地領域内の少なくとも１つの関心領域（ＲＯＩ）の遠隔撮像のための装置であって、
   前記陸地領域の一連の画像を取得するカメラアレイであって、前記画像は様々な３次元空間位置及びカメラ方向から取得される、カメラアレイと、
   前記一連の画像の取得中に前記カメラアレイの前記３次元空間位置及び／又は方向に応じてデータを取得する慣性測定ユニット（ＩＭＵ）及び衛星ナビゲーションシステム（ＧＮＳＳ）受信機と、
   コントローラとを備える装置であって、前記コントローラは、
   前記ＩＭＵ及び／又はＧＮＳＳデータに対する補正を決定するために、前記一連の画像の中の少なくとも１つの画像を前記陸地領域の正射投影画像又は前記一連の画像の別の画像に位置合わせし、
   前記一連の中の画像を、前記少なくとも１つのＲＯＩの中のＲＯＩを写す前記画像のＲＯＩクロップ画像部分まで切り出すために、補正されたＩＭＵ及び／又はＧＮＳＳデータを使用し、
   前記ＲＯＩクロップ画像部分を安定させるために前記陸地領域の地形画像における標高データに応じて、前記ＲＯＩクロップ画像部分を前記陸地領域の正投影画像に位置合わせする、装置。
2. 前記コントローラは、前記一連の画像の各画像を安定させるために前記補正されたＩＭＵ及び／又はＧＮＳＳデータを使用する、請求項１に記載の装置。
3. 前記カメラアレイは焦点距離ｆによって特徴付けられ、ピッチＰによって特徴付けられる画素を有する光センサを備え、前記地形地図によって提供される標高データは制約Ｐ≧Δｅ・ｆ・ｓｉｎα／Ａを満たす不確実性Δｅを有し、ここで、Ａは前記カメラアレイの前記陸地領域からの距離であり、αは前記カメラアレイが前記陸地領域を撮像する最大斜角である、請求項１又は請求項２に記載の装置。
4. 前記コントローラは前記ＲＯＩクロップ画像部分をピッチＰ以下の精度に安定させる、請求項３に記載の装置。
5. 前記ピッチＰが約１５μｍ（マイクロメートル）以下である、請求項３又は４に記載の装置。
6. Ｐが約１０μｍ以下である、請求項５に記載の装置。
7. Ｐが約３μｍ以下である、請求項６に記載の装置。
8. Ａが約５００ｍ（メートル）以上である、請求項３〜７のいずれか一項に記載の装置。
9. Ａが約５０００ｍ以上である、請求項８に記載の装置。
10. Ａが約１００００ｍ以上である、請求項９に記載の装置。
11. 前記光センサ画素の数が約１０^９以上である、請求項３〜１０のいずれか一項に記載の装置。
12. 前記光センサ画素の数が約５×１０^９以上である、請求項１１に記載の装置。
13. 前記コントローラは、前記ＩＭＵ及び／又はＧＮＳＳデータに対する補正を決定するために、前記カメラアレイによって取得される前記陸地領域の１０画像毎の中の少なくとも１つを前記正投影画像に位置合わせする、請求項１〜１２のいずれか一項に記載の装置。
14. 前記コントローラは、前記ＩＭＵ及び／又はＧＮＳＳデータに対する補正を決定するために、前記カメラアレイによって取得される前記陸地領域の５画像毎の中の少なくとも１つを前記正投影画像に位置合わせする、請求項１３に記載の装置。
15. 前記コントローラは、前記ＩＭＵ及び／又はＧＮＳＳデータに対する補正を決定するために、前記カメラアレイによって取得される前記陸地領域の３画像毎の中の少なくとも１つを前記正投影画像に位置合わせする、請求項１４に記載の装置。
16. 前記カメラアレイは約３Ｈｚ以上の周波数で前記陸地領域の画像を取得する、請求項１〜１５のいずれか一項に記載の装置。
17. 前記コントローラは前記ＩＭＵによって提供されるデータを約１００Ｈｚ以上の周波数でサンプリングする、請求項１〜１６のいずれか一項に記載の装置。
18. 前記コントローラは前記ＩＭＵによって提供されるデータを約２００Ｈｚ以上の周波数でサンプリングする、請求項１７に記載の装置。
19. 前記コントローラは前記ＧＮＳＳ受信機によって提供されるデータを約１Ｈｚ以上の周波数でサンプリングする、請求項１〜１８のいずれか一項に記載の装置。
20. 前記カメラアレイはローリングシャッタモードで動作するカメラを備える、請求項１〜１９のいずれか一項に記載の装置。
21. 前記ＩＭＵ及び／又はＧＮＳＳが取得するデータを備えるデータベースを備える、請求項１〜２０のいずれか一項に記載の装置。
22. 前記正射投影画像及び／又は前記地形地図を備えるデータベースを備える、請求項１〜２１のいずれか一項に記載の装置。
23. 前記カメラアレイは２軸ジンバルシステムによって安定される、請求項１〜２２のいずれか一項に記載の装置。
24. 前記カメラアレイはジンバルシステムによって安定されない、請求項１〜２３のいずれか一項に記載の装置。
25. 陸地領域の遠隔撮像のための装置であって、
    焦点距離ｆを有するカメラアレイ、及び前記陸地領域の画像を取得するために前記陸地領域からの光が前記陸地領域からの動作距離Ａから結像される、光センサ画素ピッチＰによって特徴付けられる光センサ画素を備える光センサと、
    前記陸地領域内の地物を写す画像画素を有する前記陸地領域の正射投影画像と、
    前記正射投影画像の前記画像画素上に写される前記陸地領域内の地物の標高を提供する地形地図と、
    前記地形データに応じて前記陸地領域の前記画像を前記正射投影画像に位置合わせするコントローラとを備える装置であって、
    前記地形地図によって提供される標高は、制約Ｐ≧Δｅ・ｆ・ｓｉｎα／Ａを満たす不確実性Δｅを有し、ここで、αは、前記正射投影画像への前記陸地領域の前記画像の位置合わせが、前記画素ピッチよりも良い又はそれにほぼ等しい精度を有するように、前記カメラアレイが前記陸地領域を撮像する最大斜角である、装置。
26. Δｅは約１ｍ以下である、請求項２５に記載の装置。
27. Δｅは約２０ｃｍ以下である、請求項２６に記載の装置。
28. Ｐは１０μｍ（マイクロメートル）以下である、請求項２６又は２７に記載の装置。
29. Ｐは２μｍ（マイクロメートル）以下である、請求項２８に記載の装置。
30. ｆは約１００ｍｍ以下である、請求項２５〜２９のいずれか一項に記載の装置。
31. 前記カメラアレイは２軸ジンバルシステムによって安定される、請求項２５〜３０のいずれか一項に記載の装置。
32. 前記カメラアレイはジンバルシステムによって安定されない、請求項２５〜３０のいずれか一項に記載の装置。

Images