JP2014511155A

JP2014511155A - 自己較正リモートイメージング及びデータ処理システム

Info

Publication number: JP2014511155A
Application number: JP2013518368A
Authority: JP
Inventors: エル．スミサーマン，チェスター
Original assignee: Visual Intelligence LP
Current assignee: Visual Intelligence LP
Priority date: 2011-03-31
Filing date: 2011-03-31
Publication date: 2014-05-12

Abstract

【解決手段】移動体に固定された剛性取付プレートと、取付プレートに固定され、内部に少なくとも２つの画像センサが配置されている第１剛性取付ユニットとを含む画像センサシステムである。第１画像センサと第２画像センサの各々は、第１取付ユニット及び取付プレートのアパーチャを通る焦点軸を有する。第１画像センサと第２画像センサの各々は、ピクセルの第１データアレイを生成し、ピクセルのアレイは夫々少なくとも２次元である。第１画像センサと第２画像センサは、ターゲット領域において第１画像重なり領域を有するようにオフセットされており、第１センサの画像データは、第１画像重なり領域において第２センサの画像データを両断する。
【選択図】図１

Description

＜関連出願の参照＞
本出願は、２００６年１０月１１日出願の米国特許出願第１１／５８１，２３５号の一部継続出願であって、２００２年９月２０日出願の米国特許仮出願第６０／４１２，５０４号「Vehicle Based Data Collection and Processing System」に基づく優先権を主張する２００３年９月１８日出願の米国特許出願第１０／６６４，７３７号に基づく優先権を主張する。

＜本発明の技術分野＞
本発明は、概して、遠隔イメージング技術の分野に関し、より詳細には、非常に広い視野に亘って、高解像度で、高精度で、低歪みのデジタル画像を描画する(rendering)システムに関する。

リモートセンシングやリモートイメージングは、多様且つ非常に重要な幾つかの実用的用途−例えば、地質マッピング、地質解析や気象予測を−含む広範な技術である。航空ベースや衛星ベースのフォトグラフィ及びイメージングは、特に有用なリモートイメージング技術であり、これらは近年、スペクトル、空間、標高、移動体(vehicle)位置や方向などのパラメータを含む、デジタル画像のデータ収集や処理への依存度が極めて高くなっている。現在、空間データ−不動産の改修や位置、一般道路や高速道路、環境災害や環境状態、公共インフラ(例えば、電話線、パイプライン)及び地質学的特徴を特徴付ける−は、デジタル形式で収集、処理、及び伝達されて、高精度マッピング及び監視データとして種々の用途(例えば、動的ＧＰＳマッピング)に便利に提供される。標高データが使用されて、システム全体の空間精度及び位置精度が向上されてよく、標高データは、既存の数値標高モデル(Digital Elevation Model)(ＤＥＭ)データセットから取得でき、又は、能動的な放射線測定ドプラ(radiation measuring Doppler)ベースのデバイスのスペクトルセンサデータ若しくは受動的ステログラフィック計算(stereographic calculation)を用いて収集できる。

リモートセンシングやリモートイメージングの用途が直面する主な課題は、空間解像度(spatial resolution)とスペクトル忠実度(spectral fidelity)である。球面収差、非点収差、像面湾曲、歪曲収差、及び色収差等のフォトグラフィックな問題は、如何なるセンサ／イメージング用途においても対処しなければならない良く知られた問題である。用途によっては非常に高い画像解像度が必要とされ、時に許容範囲がインチ単位の場合がある。使用されるシステム(例えば、航空機、衛星、又は宇宙船)にもよるが、実際のデジタルイメージングデバイスは、そのターゲットから数フィートから数マイル離れた位置に配置されることがあり、結果として、倍率(scale factor)が非常に大きくなる。画像の倍率が非常に大きくなり、解像度の許容誤差がインチ単位であると、どれほど頑強なイメージングシステムに対しても問題が生じる。このように、従来のシステムでは、解像品質と、作像される標的領域の大きさとは、二律背反(trade-off)の関係の下で作製されなければならない。システムが高解像度のデジタル画像を提供するように設計されている場合、イメージングデバイスの視野(ＦＯＶ)(fieled of view)は通常小さくなる。システムが大きなＦＯＶを生成されるように設計される場合、通常は、システムが提供するＦＯＶがさらに大きくなると、通常は、スペクトル及び空間データの解像度が低下して、歪みが増す。

オルソイメージング(Ortho-imaging)は、この問題の対策として使用されてきた１つの方策である。一般的に、オルソイメージングは、ターゲットの変化するサブ画像をコンパイル(compile)することで、ターゲットの合成画像を描画する(render)。通常、航空イメージング用途において、有限の範囲及び解像度を有するデジタルイメージングデバイスが、ターゲット領域の固定されたサブセクションの画像を連続的に記録する。これらの画像はその後、いくつかのシーケンスに従って調整(align)されて、ターゲット領域の合成画像が描画される。

このような描画処理は大抵、非常に時間を消費し、多大な労力を要する。多くの場合、これらの処理は、繰返し処理を必要とし、特に、数千のサブ画像が描画される場合には、画質と解像度の有意的な低下を招く。画像データが自動的に処理され得る場合、そのデータは大抵、繰り返し変換及びサンプリングされ、一連の操作毎に、色の忠実度と画像の鮮明度が低下する。自動補正システム又は自動調整システムが用いられる場合、このようなシステムは、画像の異常(例えば、異常に明るい又は暗いターゲット)に影響されやすく、画像データを過度に補正又は不十分に補正して、画像データの解釈について信頼性が低くなる。画像の手動描画が必要又は所望される場合、それに要する時間と労働コストは膨大なものとなる。

従って、非常に大きなＦＯＶ、及びそれに関連するデータセットについて、効率的且つ汎用性の高いイメージングをもたらすと同時に、画質、精度、位置精度及び鮮明度を維持するオルソ画像描画システムが必要とされている。さらに、関連する全ての操作のプランニング、収集、ナビゲーション、及び処理の各段階で、自動化アルゴリズム広範囲に適用される。

本発明は、種々のセンサを用いたリモートデータ収集処理システムに関する。本システムは、移動体の操縦とシステムの操作をリアルタイムで制御するコンピュータコンソールユニットを備えてよい。本システムはまた、コンピュータコンソールにリンクされて通信している全地球測位システムを備えてもよい。また、アパーチャ(aperture)を通して見えるターゲットの画像を生成するカメラ及び／又はカメラアレイアセンブリを使用できる。カメラアレイアセンブリは、コンピュータコンソールに通信可能に接続されている。カメラアレイアセンブリは、取付用ハウジングを有しており、該取付用ハウジングの中央には、第１画像センサが取り付けられており、該第１画像センサはアパーチャを通る第１焦点軸を有している。カメラアレイアセンブリはまた、第２画像センサを有しており、該第２画像センサは、ハウジングに取り付けられており、軸に沿って第１画像センサからオフセットされている。第２画像センサは、アパーチャを通り、交差領域内にて第１焦点軸と交差する第２焦点軸を有している。カメラアレイアセンブリは第３画像センサを有しており、該第３画像センサは、ハウジングに取り付けられており、前記軸に沿って第１画像センサからオフセットされており、第２画像センサの反対側にある。第３画像センサは、アパーチャを通る第３焦点軸であって、交差領域内にて第１焦点軸と交差する第３焦点軸を有している。１からｎ個の任意の個数のカメラが、このように使用されてよい。ここで、「ｎ」は任意の奇数又は偶数であってよい。

本システムはまた、コンピュータコンソール及びカメラアレイアセンブリと通信可能に接続されている、慣性測定ユニット、光学測定ユニット、又は類似の測定ユニット等の姿勢測定器(Attitude Measurement Unit；ＡＭＵ)を備えてもよい。ＡＭＵにより航空機のヨー、ピッチ及び／又はロールを任意の時点で時間内に(in time)決定することができ、連続したＤＧＰＳ位置を用いて、測地線の(geodesic)北の方位に対する移動体の機首方位を測定してよい。ＡＭＵデータは精密なＤＧＰＳデータと統合されて、ロバストなリアルタイムのＡＭＵシステムをもたらす。本システムはさらに、コンピュータコンソール内に格納されたモザイキングモジュールを含んでよい。モザイキングモジュールは、入力画像に最初の処理を実行する第１コンポーネントを含んでいる。モザイキングモジュールはまた、第１コンポーネントと共働可能に接続されて、入力画像の地理的な境界を決定する第２コンポーネントを備えている。モザイキングモジュールはさらに、正確な地理的な位置で入力画像を合成画像にマッピングする第３コンポーネントを備えている。第３コンポーネントは、第１コンポーネント及び第２コンポーネントと共働可能に接続されている。モザイキングモジュールにはまた、合成画像にマッピングされた入力画像のカラーバランス調整をする第４コンポーネントが含まれる。第４コンポーネントは第１コンポーネント、第２コンポーネント及び第３コンポーネントと共働可能に接続されてよい。さらにまた、モザイキングモジュールは、合成画像にマッピングされた隣接する入力画像間の境界を融合(blend)する第５コンポーネントを含んでよい。第５コンポーネントは第１コンポーネント、第２コンポーネント、第３コンポーネント及び第４コンポーネントと共働可能に接続されることができる。

第６コンポーネント、選択的前方傾斜及び／又は選択的後方傾斜カメラアレイシステム(optional forward oblique and/or optional rear oblique camera array system)を備えることができ、このシステムは、斜位像(oblique image)データを収集し、姿勢測定値及び位置測定値と画像データをマージ(merge)して、ステレオグラフィック技術を用いて数値標高モデル(digital elevation model)を生成する。この生成は、移動体内でリアルタイムに実行されてもよく、又はその後、後処理されてもよい。この第６コンポーネントは、他のコンポーネントと共働する。全てのコンポーネントは、センサデータのコレジストレーション(co-registration)をもたらすために、剛性プラットフォームに取り付けられてよい。振動、乱流及び他の力が移動体に作用して、センサ間のアライメントの関係に誤差を生じさせる場合がある。共通の剛性プラットフォームにセンサを取り付けることで、このコレジストレーション構成を使用していない他のシステムに勝る顕著な利点がもたらされる。

さらに、本発明では、側方向オーバーサンプリングを用いることで、出力品質を向上させ、及び／又は、コマウント(co-mounted)、コレジスタ(co-registered)オーバーサンプリングを用いることで、ピクセル解像度の物理的限界を克服してよい。

本発明をより理解するために、そして本発明がどのように実施されるかを例示するために、添付の図面を参照して詳細に説明する。なお、異なる図面に付した対応する番号は、対応する要素に付している。
図１は、本発明の移動体を用いたデータ収集処理システムを示している。図１Ａは、図１の移動体を用いたデータ収集処理システムの一部を示している。図１Ｂは、図１の移動体を用いたデータ収集処理システムの一部を示している。図２は、本発明の図１の移動体を用いたデータ収集処理システムについて、カメラアレイアセンブリを詳細に示している。図３は、本発明のある態様のカメラアレイアセンブリを示している。図４は、図１のカメラアレイアセンブリによって読み取られたイメージングパターンの一実施形態を示している。図５は、本発明のある態様を表している画像パターンを示す。図６は、本発明による画像ストリップを示している。図７は、本発明による画像ストリップの別の実施形態を示している。図８は、本発明によるイメージング処理の一実施形態を示している。図９は、カメラアレイアセンブリで撮影された写真が調整されて個々のフレームが如何に生成されるかを図式的に示している。図１０は、本発明の特定の実施形態に基づいた処理ロジックのブロック図である。図１１は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングの図である。図１２は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングの図である。図１３は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングの図である。図１４は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングの図である。図１５は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。図１６は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。図１７は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。図１８は、本発明の特定の実施形態に基づいたシステム構成の概略図である。図１９は、本発明の特定の実施形態に基づいており、単一のカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ側方向オーバーサンプリングの図である。図２０は、本発明の特定の実施形態に基づいており、重なっている２列のカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ側方向オーバーサンプリングオーバーサンプリングの図である。図２１は、本発明の特定の実施形態に基づいており、重なっている２列のステレオカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ前方向(fore)及び側方向オーバーサンプリングの図である。

本発明の様々な実施例の実施及び使用について以下で詳しく説明するが、本発明は、適用可能な多くの発明概念を提供するものであり、多種多様の特定の状況において具体化できることは理解されるべきである。本明細書で説明する特定の実施形態は、発明を実施し使用するための具体的方法を単に例示するものであって、発明の範囲を制限するものではない。

本発明の移動体を用いたデータ収集処理システム(100)を図１、図１Ａ及び図１Ｂに示す。本発明のさらなる態様及び実施形態を図２及び図１８に示す。システム(100)は１又は複数のコンピュータコンソール(102)を含む。コンピュータコンソールは、移動体の操縦とシステムの操作の双方を制御する１又は複数のコンピュータ(104)を含む。コンピュータコンソールの機能の例としては、データ収集処理システムに連携可能なデジタルカラーセンサシステムの制御、表示データの操縦者への供給、人工衛星が生成したＧＰＳの毎秒パルス(ＰＰＳ)イベントトリガの調整(１秒あたり２０以上のパルスであってもよい)、データロギング、センサの制御と調整、エラー事象のチェックと警告、写真の記録とインデックス、移動体のナビゲーションを自動化する飛行計画能力に関するデータの記憶と処理、関連情報のリアルタイム表示の提供がある。制御コンピュータのコンソールと移動体オートパイロット制御部との間の通信インターフェースにより、リアルタイムで移動体の飛行経路を実際に制御する性能が付与される。これにより、移動体の経路の制御は、人間が為し得る制御よりも正確になる。これら機能は全て、ＧＰＳのＰＰＳ信号と同期され、測定デバイスの種々の電気レイテンシ(electrical latencies)を考慮した種々のコンピュータプログラムを用いて達成できる。実施形態において、コンピュータはセンサ内に組み込まれている。

１又は複数の差動全地球測位システム(differential global positioning system)(106)がシステム(100)に組み込まれている。全地球測位システム(106)は、移動体の操縦とシステムの操作中に正確な飛行経路をナビゲートし、決定するために使用される。これを実現するために、全地球測位システム(106)は、飛行を中断することなく、全地球測位システム(106)からの情報を取得及び処理することができるように、コンピュータコンソール(102)に通信可能にリンクされている。１秒未満(sub-second)のＧＰＳ衛星ベースの各エラーを記録するためにゼロ又はそれ以上のＧＰＳユニットが既知の調査点に配置されて、システム(100)の精度を後補正(back correct)することができる。地上の制御点を不要にするために、ＧＰＳ及び／又は地上ベースの測位サービスを使用してもよい。この技術により、データ収集用移動体の位置精度は、１秒以下の単位で大幅に向上する。

１又は複数のＡＭＵ(108)もまた、コンピュータコンソール(102)に通信可能にリンクされており、リアルタイムヨー(yaw)情報、リアルタイムピッチ情報、及びリアルタイムロール情報を提供し、これらの情報は、移動体の姿勢をデータ収集後直ちに正確に決定するために使用される。この姿勢測定器(ＡＭＵ)(例えば、ＡｐｐｌａｎｉｘＰＯＳＡＶ)は、ヨー角、ピッチ角、及びロール角夫々の測定につき１ジャイロである３つの高性能光ファイバジャイロを使用している。他のメーカのＡＭＵ、及び他の慣性測定デバイス(inertial measurement device)を使用するＡＭＵも同様に用いることができる。さらに、ＡＭＵは、移動体の瞬間姿勢を求めるために用いられ、システムには、ＡＭＵリーディング時の統計誤差に対して故障許容力(fault-tolerance)がもたらされる。ＡＭＵには、１又は複数の多周波ＤＧＰＳレシーバ(110)を接続することもできる。多周波ＤＧＰＳレシーバ(110)は、ＡＭＵのヨー姿勢データ、ピッチ姿勢データ、及びロール姿勢データと統合されて、３次元空間におけるリモートセンサプラットフォームの位置をより正確に決定することができる。また、測地線の北の方位を、連続したＤＧＰＳ測位によって生成されたベクトルによって決定し、ＧＰＳのＰＰＳ信号と同期して記録できる。

アパーチャを通して見たターゲットの画像を生成する１又は複数のカメラアレイアセンブリ(112)もまた、１又は複数のコンピュータコンソール(102)に通信可能に接続されている。カメラアレイアセンブリ(112)は、以下でより詳細に説明するが、高解像度、高精度な順次走査(progressive scan)又はライン走査のカラーデジタルフォトグラフィをキャプチャする性能を備えたデータ収集処理システムを提供する。

システムはまた、ＤＣ電力調整装置(114)を含むことができ、これは、ＤＣ電力を調整し、ＤＣ電力をＡＣ電力に変換して、システムに電力を提供する。システムはさらにナビゲーションディスプレイ(116)を含んでよく、ナビゲーションディスプレイ(116)は、移動体の(機内の、又は離れた位置にいる)操縦者により使用される飛行計画に対して、移動体の位置をグラフィック的に(graphically)描画して、水平面及び垂直面における精密な飛行経路を可能とする。システムはまた、３次元の標高／起伏(elevation/relief)データをキャプチャするための、ＬＩＤＡＲ、ＳＡＲ(118)又は前後方傾斜カメラアレイを含んでなるＥＭＵモジュールを含んでよい。ＥＭＵモジュール(118)は、レーザユニット(120)、ＥＭＵ制御ユニット(122)及びＥＭＵ制御コンピュータ(124)を含むことができる。システムに適切な熱的環境を提供するために、固体冷却モジュール(solid state cooling module)等の温度制御デバイスを必要に応じて配備することもできる。

システムはまた、コンピュータコンソール(102)に格納されたモザイキングモジュール(mosaicing module)を含んでいる(図示せず)。モザイキングモジュールは、以下でより詳細に説明するが、全地球測位システム(106)、ＡＭＵ(108)及びカメラシステム(112)によって取得されたデータを収集し、データを使用可能なオルソマップ(orthomap)へと処理する能力をシステムに与える。

システム(100)はまた、セルフロッッキング飛行経路技術(self-locking flight path technique)を含むことができる。この技術は、隣接する飛行経路の位置精度を微修正して、ＡＭＵセンサとＤＧＰＳセンサのみによる本来的な(native)精度を超える精度を実現する性能を付与する。

ミッションの全ての態様を細かく計画するために完全な飛行計画方法論が使用される。入力は、種々のミッションパラメータ(緯度／経度、解像度、色、精度等)である。出力は、詳細なオンラインのデジタルマップ及びデータファイルであり、これらは、データ収集用移動体の機内に格納され、リアルタイムのナビゲーション及び警告に使用される。飛行計画データを直接オートパイロットにインターフェースする性能は、付加的に組み込まれた能力である。コンピュータプログラムを使用して、飛行経路、姿勢調整、グラフィック表示、及び移動体経路の移動地図を自動的に制御し、警告条件及び補正アクションをチェックし、システムステータス全体の操縦者及び／又はクルーに通知することで、操縦及び制御の危険防止がなされる。安全操縦パラメータが常に監視され、報告されるのがよい。現在のシステムは有人クルーを使用しているのに対し、本システムは無人移動体でも同様に上手く機能するように設計されている。

図２は、本発明の別の図を示している。図２は、カメラアレイアセンブリ(112)をより詳細に示している。図示のように、カメラアレイアセンブリ(112)は、斜め後ろ、斜め前及び天底(nadir)の位置から画像を取得できる。図３は、本発明のカメラアレイアセンブリをより詳細に示している。図３は、ターゲット(302)(例えば地形)上を飛行中の(airborne)カメラアレイアセンブリ(300)を示している。例示であるため、アセンブリ(300)の相対的な大きさ、並びにアセンブリ(300)と地形(302)と間の相対的な距離は、図３において縮尺通りに描かれていない。カメラアレイアセンブリ(300)はハウジング(304)を備えており、ハウジング(304)内には、画像センサ(306)(308)(310)(312)(314)が凹状の曲線軸(316)に沿って配置されている。軸(316)の曲率半径は大幅に変化する、又は大幅に変更でき、軸(316)の凹形を非常に小さくすることもできるし、非常に大きくすることもできる。或いはまた、軸(316)は、完全な直線形で、全く屈曲して無くてもよい。画像センサ(306)(308)(310)(312)(314)は、取付部材(318)によって直接的又は間接的にハウジング(304)に取り付けられている。取付部材(318)は、固定式又は可動式であり、永続的又は一時的な幾つかの連結装置を含んでよい。例えば、取付部材(318)は、単純な溶接、取外し可能なクランプデバイス、又は電気機械制御式のユニバーサルジョイントでもよい。

また、さらに、システム(100)には、リアルタイムのナビゲーションシステムが機内にあり、視覚的なバイオフィードバック表示を移動体の操縦者に、又は無人移動体での操縦の場合には遠隔表示を提供する。操縦者は、より正確な飛行経路を提供するために、リアルタイムで移動体の位置を調整できる。操縦者は、移動体に搭乗しているか、離れた場所にいる場合でも、飛行ディスプレイを用いて、通信リンクを介して移動体を制御できる。

システム(100)はまた、故障許容力の高い方法を使用してよく、この方法は、１つ又は２つのハードドライブについて、ドライブに保存されているターゲットデータに障害が発生しても(fail)ターゲットデータを失わないようにするソフトウェアインターリーブディスク記憶手法(software inter-leaved disk storage methodology)を提供するために開発されている。このソフトウェアインターリーブディスク記憶手法は、ＲＡＩＤ−５等の他のハードウェア方法論と比べて優れた故障許容力及びポータブル性(portability)を提供する。

システム(100)はまた、ミッションデータの取得直前に、短時間で較正ステップを行うことができるように開発された手法を組み入れることもできる。この較正手法のステップは、注目する領域に到達する直前に、周囲光の強度をサンプリングし、最適値付近に設定することで、カメラの設定、主に露光時間を調整する。その後、移動平均アルゴリズムを用いて秒単位のカメラ調整を実行し、改善された一貫性のある写真がもたらされる。これによりオルソマップのカラー処理が改善される。さらにまた、較正を用いて、各センサデバイス(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵ等)の正確な空間位置をチェックしたり決定することができる。このようにして、これらデバイスの空間位置の起こり得る変化が評価されて、システム全体の精度メトリックス(precision metrics)が維持される。

また、複数の既知の可視的な高精度の地理的位置を含む領域の上を飛行することにより、移動体上の各センサデバイス(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵ等)の正確な位置及び姿勢を較正できるように開発された手法を、システム(100)に組み入れてもよい。プログラムは、このデータを入力として入手し、精密な位置データを出力し、その後、この位置データを用いてオルソマップを正確に処理する。

図３に示すように、ハウジング(304)は単純形状の筺体であって、その内部に画像センサ(306)(308)(310)(312)(314)が配置されている。図３は５台のカメラのアレイを示しているが、本システムは、カメラのセンサ数が１から任意の数に至っても、等しく機能する。センサ(306)乃至(314)は、取付部材(318)により、ハウジング(304)の対向する壁の間に配置された１つの横断横材(transverse cross member)にまとめて取り付けられるか、複数の側方横材(lateral cross members)に個々に取り付けられる。別の実施形態において、ハウジング(304)自体が、凹状に屈曲した支持用横材を構成するようになし、この横材に、画像センサ(306)乃至(314)が部材(318)を介して取り付けられてよい。さらに他の実施形態において、ハウジング(304)は、筐体と支持用横材の複合的な組合せとすることもできる。ハウジング(304)ではさらに、画像センサとターゲット(302)との間の表面に、アパーチャ(320)が形成されている。母体の航空機の具体的な型式に応じて、アパーチャ(320)は、アパーチャ(320)は、空隙だけでもよいし、ハウジング(304)内の環境的保全を維持するために、保護用スクリーン又は窓を含むこともできる。透明な保護プレートが任意のセンサに用いられる場合、センサデータの質を向上させるための特別なコーティングをプレートに施してもよい。所望により、アパーチャ(320)は、センサによって記録された画像の質を高め、又は変更するために、レンズ又は他の光学デバイスを備えてよい。アパーチャ(320)は、画像センサ(306)乃至(314)に、地形(302)上のターゲット領域(322)に対する適切な視線を与えることができる大きさ及び形状に形成される。

画像センサ(306)乃至(314)は、全てのセンサの焦点軸が、アパーチャ(320)で規定された交差領域内で集束し互いに交差するように、ハウジング(304)の内部に、又はハウジング(304)に沿って配置される。収集される画像データの種類、使用される具体的な画像センサ、及び使用される他の光学素子又は装置に応じて、交差領域又は収束点をアパーチャ(320)の上又は下にオフセットさせることが必要となることもあるし、又、それが望ましいこともある。画像センサ(306)乃至(314)は、ある角度間隔で互いに離れている。画像センサ間の正確な変位角度は、使用される画像センサの数、及び収集される画像データの種類に応じて、大きく変わってよい。画像センサ間の角度変位はまた、必要に応じて、所望の画像オフセット又は画像アライメントをもたらすように不均一にされてもよい。使用される画像センサの数及びアレイの特定の形状に応じて、全ての画像センサの焦点軸は、同じ点で正確に交差してもよく、複数の点で交差してもよいが、全てのセンサは互いに非常に近接し、アパーチャ(320)によって規定される交差領域の中にある。

図３に示すように、画像センサ(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。画像センサ(310)は焦点軸(324)を有し、この焦点軸(324)は、センサの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。画像センサ(308)は、ハウジング(304)内で、軸(316)に沿って、画像センサ(310)の隣りに配置されている。画像センサ(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が集束し、アパーチャ(320)で規定された領域内で軸(324)と交差するように調整されている。画像センサ(312)は、ハウジング(304)内で、画像センサ(310)の隣りでセンサ(308)とは反対側に軸(316)に沿って配置される。画像センサ(312)の配置は、その視線が領域(322)の画像領域(332)と一致するように、そしてその焦点軸(334)がアパーチャ(320)で規定された領域に集束し、この領域内で軸(324)(330)と交差するように調整されている。画像センサ(306)は、ハウジング(304)内で、軸(316)に沿って、センサ(308)の隣りに配置されている。画像センサ(306)は、その視線が領域(322)の画像領域(336)と一致するように、そしてその焦点軸(338)がアパーチャ(320)で規定される領域に集束し、その領域内で他の焦点軸と交差するように調整されている。画像センサ(314)は、ハウジング(304)内で、センサ(312)の隣りに、センサ(306)とは反対側に軸(316)に沿って配置される。画像センサ(314)の配置は、その視線が領域(322)の画像領域(340)と一致するように、そしてその焦点軸(344)がアパーチャ(320)で規定される領域に集束し、その領域内で他の焦点軸と交差するように調整されている。

画像センサ(306)乃至(314)は、例えば、個別の領域スキャンカメラ、ラインスキャンカメラ、赤外線センサ、高スペクトルセンサ及び／又は地震センサを含む幾つかのデジタルイメージングデバイスを含むことができる。各センサは、個別のイメージングデバイスを含んでもよく、又はセンサ自体がイメージングアレイを含んでもよい。画像センサ(306)乃至(314)は、全てが同じ物であってもよく、又は様々なイメージングデバイスの組合せでもよい。以下の説明では、便宜上、画像センサ(306)乃至(314)は、カメラ(306)乃至(314)として夫々記載する。

大型フィルムカメラ又は大型デジタルカメラにおいて、イメージングの典型的な問題の原因はレンズの歪みである。個別レンズの各々は、正確な歪み率を判断するために、注意深く較正されなければならない。本発明の一実施形態では、レンズの角度幅が１７度よりも小さな小型デジタルカメラを使用している。これにより、顕著な歪みが効率的且つ安価に緩和される。

或いはまた、カメラ(306)乃至(314)は、各カメラの焦点軸が、アパーチャ(320)上に集束し、焦点軸(324)と交差し、そしてその視野をアレイの夫々の位置と対向するターゲット領域と同一線上に揃うように、ハウジング(304)内で軸(316)に沿って配置されて、カメラとイメージングターゲットとの間で「斜視(cross-eyed)」の網膜的関係をもたらす。カメラアレイアセンブリ(300)は、画像領域(326)(328)(332)(336)(340)の隣り合う境界が僅かに重なるように構成されている。

取付部材(318)が恒久的に固定(例えば溶接)されている場合、アパーチャ(320)とカメラとそれらの視線との空間的関係は、画像領域(326)(328)(332)(336)(340)の空間的関係と同様、固定されたままである。そのような構造は、例えば衛星監視のように、カメラアレイアセンブリ(300)が、領域(322)から本質的に一定の距離に維持される用途に好ましい。カメラの位置と調整は、領域(326)(328)(332)(336)(340)が、領域(322)の全体範囲をイメージングできるように設定される。取付部材(318)が一時的な固定又は調節可能である場合、画像領域(326)(328)(332)(336)(340)が狭く又は広くなるように移動できるように、カメラの位置又は配列を、手操作又は遠隔からの自動操作により選択的に調節できることが好ましく、これによって、カメラアレイアセンブリ(300)によって収集された画像の質を向上させたり、変えることができる。

実施形態では、複数の、即ち少なくとも２つの剛性取付ユニットが、同じく複数の剛性取付プレートに固定されている。取付ユニットは、少なくとも１つの画像センサを取り付けることができる任意の剛構造(rigid structure)である。取付ユニットは、画像センサを囲むハウジングであることが好ましいが、支柱(brace)、三脚(tripod)等を含む任意の剛構造であってよい。本開示の目的において、画像センサは、ターゲット領域から、能動的又は受動的な放射エネルギ、即ち光、音、熱、重力等を受信及び処理できる任意のデバイスを意味する。具体的には、画像センサは、赤-青-緑フィルタ、ブッシュブルーム(bushbroom)フィルタ、又はハイパースペクトルフィルタを利用するデジタルカメラ、ＬＩＤＡＲセンサ、赤外線センサ、熱感知センサ、グラビトメータ(gravitometer)等を任意の数だけ備えていてもよい。画像センサは、衛星データ及び／又は慣性データ(inertial data)を活用して移動体の向きを決定するのに役立つジャイロスコープ、ＧＰＳデバイス等の姿勢測定センサを含んでいない。複数の異なるセンサが用いられることが好ましい。

画像センサがカメラ、ＬＩＤＡＲ等の画像センサである実施形態では、取付ユニットは、光及び／又はエネルギが通過できるアパーチャを有することが好ましい。取付ユニットは平坦であることが好ましいが、平坦でなくてもよい。画像センサがカメラ、ＬＩＤＡＲ等の画像センサである実施形態では、取付プレートは、光及び／又はエネルギが通過できる取付ユニットのアパーチャと一直線上に並ぶアパーチャを有することが好ましい。

剛構造は、使用中、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満しか曲がらないものである。好ましくは、剛構造は、通常の、即ち飛行中に乱流がない(non-turbulent)航空機に固定されている間、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満しか曲がらないものである。通常動作中に、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満互いに曲がる場合、対象物は互いに強固に固定されている。

カメラ(310)は主カメラとして示されている。カメラ(310)の画像面(326)は基準面(plane of reference)の役割を果たす。他のカメラ(306)(308)(312)(314)の向きは、基準面に対して計られる。各カメラの相対的な向きは、カメラの画像面を基準面に対して平行になるように回転するのに必要なヨー角度、ピッチ角度及びロール角度で計られる。回転は、ヨー、ピッチ、ロールの順であることが好ましい。

取付ユニットに固定された複数の画像センサは、同一平面内に調整されなくてもよい。代わりに、第１取付ユニットに固定された第１センサ、好ましくは第１取付ユニットの主天底カメラの取付角度に対する他のセンサの取付角度にオフセットしてもよい。従って、複数の画像センサは、各画像センサの物理的取付角度のオフセットを互いに較正するようにコレジスタ(co-registered)されてよい。実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、同じく複数の剛性取付プレートに固定され、コレジスタされる。実施形態において、カメラ(306)乃至(314)は、剛性取付ユニットに固定され、コレジスタされる。実施形態において、ＡＭＵ、好ましくはジャイロスコープの幾何学的中心点が、ＧＰＳデータ及び慣性データを用いて決定される。第１取付ユニットに固定された第１センサ、好ましくは第１取付ユニットの主天底カメラの物理的位置は、基準点、好ましくはＡＭＵの幾何学的中心点に対して計算される。同様に、全ての取付ユニット内の残り全てのセンサの物理的位置は、同じ基準点に対して、直接的又は間接的に計算される。

センサの照準角(boresight angle)は、そのセンサの幾何学的中心からの基準面に対する角度として規定される。基準面は、ターゲット領域に直交していることが好ましい。第１センサの照準角は、地上のターゲット点を用いて決定されてよい。次のセンサの照準角は、第１センサの照準角を基準に計算されることが好ましい。センサは、写真で識別可能であることが好ましい既知の地上ターゲットを用いて較正されることが好ましく、或いはまた、米国特許出願公開第２００４／００５４４８８Ａ１号(現在、米国特許第７，２１２，９３８Ｂ２号)に開示されたセルフロッキング飛行経路又はその他の任意の方法を用いて較正され、この出願公開の開示は、参照によってその全体が本明細書の一部となる。

第２取付ユニット内の画像センサは、任意の画像センサであってよく、ＬＩＤＡＲであることが好ましい。或いはまた、第２画像センサは、デジタルカメラ、又はデジタルカメラアレイである。実施形態において、第２取付ユニットに固定されるセンサの照準角は、第１センサの照準角を基準に計算される。第２取付ユニット内の画像センサの物理的オフセットは、第１取付ユニット内の第１センサの照準角を基準に較正されてよい。

このようにして、全てのセンサは、ほぼ同じ時点(epoch)で、同じＧＰＳ信号、同じ地上ターゲットを用いて、ほぼ同じ大気条件下で較正される。これにより、各センサを、異なるＧＰＳ信号を用いて、異なる地上ターゲットに対し、異なる大気条件下で別々に較正する場合に生じる複合エラー(compound error)は、著しく低減する。

図４を参照すると、カメラ(306)乃至(314)によって夫々撮影された領域(336)(328)(326)(332)(340)の画像が、上からの視点で示されている。ここでも、「斜視(cross-eyed)」の配置であるため、領域(336)の画像はカメラ(306)によって撮影され、領域(340)の画像はカメラ(314)によって撮影される具合になる。本発明の一実施形態において、中央のカメラ(310)によって撮影された画像以外の画像は、透視変換(perspective transformation)後、台形になる。カメラ(306)乃至(314)は、軸(316)に沿ってアレイを形成し、該アレイは、殆どの用途において、垂直下向きに向けられる。別の実施形態において、カメラの第２アレイが、カメラ(306)乃至(314)のアレイと同様に構成され、カメラの第１アレイに対して調整されて、「ヘッドアップ(heads-up)」透視投影(perspective)をもたらす斜位像(oblique view)が得られる。「ヘッドアップ」カメラアレイアセンブリの水平面からの傾斜角度は、ミッション対象物及びパラメータによって変化してよいが、２５〜４５度の角度が一般的である。その他の別の実施形態は、カメラアレイの実装は様々であるが、同様に本発明に含まれる。このような全ての実施形態において、カメラの相対的な位置と姿勢は、本発明に従う画像処理を容易にするために、正確に測定及び較正される。

本発明の一実施形態において、外部機構(例えば、ＧＰＳタイミング信号)は、カメラを同時にトリガするために使用され、それによって入力画像のアレイがキャプチャされる。次に、モザイキングモジュールが、このようなアレイからの個々の入力画像を、隣接画像間に視覚的に認識できる継ぎ目を生ずることなく、オルソ補正された(ortho-rectified)複合画像(即ち「モザイク」)に描画する。モザイキングモジュールは一連のタスクを実行し、当該タスクは、各入力画像の地理的な境界及び寸法を決定し、各入力画像をモザイク上に、正確な地理上の位置決めをして投射し、モザイク中で画像のカラーバランス調整をし、隣接する入力画像を、それらが共有する継ぎ目にて融合することを含む。実行されるタスクの正確な順序は、入力画像データの大きさ及び性質に応じて異なってよい。特定の実施形態において、モザイキングモジュールは、モザイキング中に、元の入力画像に対して１つの変換だけを実行する。この変換は、４×４マトリクスによって表され得る。複数の変換マトリクスを単一のマトリクスにまとめることにより、処理時間は低減され、元の入力画像の鮮明さが保持される。

入力画像をモザイクにマッピングする間、特にモザイキングが高解像度で行われる場合、モザイク内のピクセル(即ち出力ピクセル)は、入力画像(即ち、入力ピクセル)のどのピクセルによってもマッピングされないことがある。モザイク内に、アーチファクト(artifacts)として、曲がった(warped)線が生じる可能性がある。本発明の特定の実施形態は、この問題をスーパーサンプリングシステムにより解消しており、このシステムでは、入力ピクセルと出力ピクセルの各々が、ｎ×ｍグリッドのサブピクセルにさらに分割される。サブピクセルからサブピクセルへの変換が行われる。出力ピクセルの最終値は、そのサブピクセルの平均値であり、これに対応する入力サブピクセルが存在する。ｎ値とｍ値が大きくなる程、解像度が高いモザイクを生成するが、追加の処理時間が必要となる。

画像データを処理する間、モザイキングモジュールは、下記の情報を使用することができる。入力画像がキャプチャされた時の各カメラの焦点の空間位置(例えば、ｘ、ｙ、ｚ座標)、入力画像がキャプチャされた時のターゲット領域の地面(ground plane)に対する各カメラの像平面の姿勢(即ち、ヨー、ピッチ、ロール)、各カメラの視野(即ち、軌道に沿う場合と軌道を横切る場合)、及び、領域の数値地形モデル(Digital Terrain Model)(ＤＴＭ)である。姿勢は、システムに連繋されたＡＭＵによって与えられる。数値地形モデル(ＤＴＭ)又は数値表面モデル(Digital surface model)(ＤＳＭ)は、ＬＩＤＡＲモジュール(118)を用いて得られる情報から生成できる。ＬＩＤＡＲは、広く知られたレーダと同様であり、レーザーレーダと考えることができる。レーダでは、電波が大気中に送信されて、エネルギの一部が散乱してレーダの受信機へ戻される。ＬＩＤＡＲもまた電磁放射を送受信するが、より高い周波帯で行なう。これは、ＬＩＤＡＲは電磁スペクトルの紫外線領域、可視線領域及び赤外線領域内で動作するからである。動作中、ＬＩＤＡＲは、光をターゲット領域に向けて送る。送られた光は、ターゲット領域と相互作用して、ターゲット領域により変化する。この光の一部は、反射／散乱してＬＩＤＡＲ機器に戻され、そこで分析され得る。光の特性の変化により、ターゲット領域の特徴を決定できる。光がターゲット領域に向けて出てＬＩＤＡＲデバイスに戻るまでの時間を用いて、ターゲットまでの距離が決定される。

ＤＴＭとＤＳＭのデータセットはまた、カメラアレイアセンブリからキャプチャすることもできる。標高データを得る従来の手段として、ステレオグラフィック技術等を用いることもできる。

現在、ＬＩＤＡＲには、レンジファインダ(Range finder)、差分吸収ＬＩＤＡＲ(Differential Absorption LIDAR)(ＤＩＡＬ)及びドップラーＬＩＤＡＲ(Doppler LIDAR)の３つの基本型がある。レンジファインダＬＩＤＡＲは、最も単純なＬＩＤＡＲであり、ＬＩＤＡＲデバイスから固体の又は硬いターゲットまでの距離を測定するために使用される。ＤＩＡＬＬＩＤＡＲは、大気中の化学物質濃度(オゾン、水蒸気、汚染物質等)を測定するために用いられる。ＤＩＡＬＬＩＤＡＲは、２つの異なるレーザ波長を使用しており、一方の波長は対象とする分子によって吸収されるが、他方の波長は吸収されないものを選択する。２つのリターン信号の強度の差を利用して、調査する分子の濃度を推定できる。ドップラーＬＩＤＡＲは、ターゲットの速度を測定するために使用される。ＬＩＤＡＲから送信された光が、ＬＩＤＡＲに近づく又はＬＩＤＡＲから離れるように移動しているターゲットに衝突すると、ターゲットから反射／散乱する光の波長は僅かに変化する。これはドップラーシフト、ひいてはドップラーＬＩＤＡＲとして知られている。ターゲットがＬＩＤＡＲから離れるように移動している場合、リターン光はより長い波長を有し(赤方偏移とも呼ばれる)、ターゲットがＬＩＤＡＲに近づくように移動している場合、リターン光はより短い波長を有する(青方偏移)。ターゲットは、硬いターゲットでも大気中のターゲット(例えば、風によって運ばれる微細な塵埃やエアロゾル粒子)でもよい。

カメラの焦点は、透視変換の中心として使用されることが好ましい。その空間での位置を例えば、母体の航空機に搭載された多周波キャリア位相後処理ＧＰＳシステム(multi-frequency carrier phase post-processed GPS system)によって決定することができる。カメラの焦点の３次元のオフセットが、ＧＰＳアンテナの中心に対して注意深く計られることが好ましい。これらのオフセットは、ＧＰＳアンテナの位置と母体の航空機の向きと組み合わされて、カメラの焦点の正確な位置を決定することができる。ＧＰＳアンテナの位置は、収集されたＧＰＳデータを、正確な測量点に配備された同様の地上ＧＰＳアンテナに対して処理することにより決定されることが好ましい。

１又は複数のＡＭＵ(例えば、ＡｐｐｌａｎｉｘＰＯＳＡＶ)を姿勢決定のために機内に搭載することが好ましい。ターゲット領域の地面に対するＡＭＵ基準面の姿勢を、短い間隔で、１度の１００分の１よりも良好な精度で測定及び記録することが好ましい。ＡＭＵ基準面の姿勢は、この平面を地面と平行にするために平面の軸に対して行われる一連の回転として規定されてもよい。「調整(align)」という用語を、この操作を説明するために使用することもある。

ＡＭＵに対する中央カメラ(310)(即ちその像平面)の姿勢は、正確に較正されることが好ましい。中央カメラ(310)に対する他の各カメラの姿勢もまた、注意深く較正されることが好ましい。この従属的な較正は、各カメラを直接較正するよりも効率的である。カメラアレイアセンブリ(300)が再搭載される場合、中央カメラ(310)だけが再較正を必要とする。中央カメラ(310)からの入力画像に、一連の２回の変換を施すことが効率的である。先ず、中央カメラの像平面をＡＭＵ平面に対して調整する。次に、ＡＭＵ平面を地面に対して再び調整する。しかしながら、これらの変換は、各々の変換マトリクスを乗じることによって単一動作にまとめられる。その他の各カメラからの画像については、追加の変換が初めに実行されて、中央カメラの像平面に揃えられる。

中央カメラ(310)の焦点の位置は、上記のように決定できる。この位置のｘ成分とｙ成分が、地上におけるモザイクの天底点(nadir point)(400)の位置を決定することが好ましい。各カメラの視野(ＦＯＶ)角度がわかっているので、カメラの焦点のｚ成分によって各入力画像の寸法を決定できる。地面の平均標高は、その領域のＤＴＭでの平均標高地点を演算することによって決定され、その後、この標高の想像上の水平面に各入力画像を投影する。次に、領域のＤＴＭを使用して、起伏の変位(relief displacement)を適用することが好ましい。ＤＴＭは、多くのソースから得られ、ソースとしては、米国の大部分で利用可能なＵＳＧＳ３０−メートルやＵＳＧＳ１０−メートルのＤＴＭ、商業用のＤＴＭ、又はカメラによりデータを同時にをキャプチャする母機に搭載されたＬＩＤＡＲやＳＡＲＥＭＵデバイスによって得られるＤＴＭが挙げられる。

地理的に正しく配置されることに加えて、得られる複合画像はまた、全体を通し放射計測的一貫性(radiometric consistency)を有するように、そして２つの隣接する画像間の接合部に視覚的に認識できる継ぎ目がないようにする必要がある。本発明は、この目標を達成するための幾つかの技術を提供する。

従来のカメラの特徴として、露光時間(即ち、像平面に光を集めるためにシャッタを開いている時間)が挙げられる。露光時間が長ければ長いほど、得られる画像は明るくなる。露光時間は、雲の範囲、カメラに対する太陽の角度と位置等の条件によって生じる周囲光の明るさの変化に適合させなければならない。最適な露光時間は、光源に対するカメラの向きにも依存することがある(例えば、太陽に照らされた対象物の方に向けられているカメラは通常、日陰にある対象物の方に向けられているカメラよりも周囲光を多く受ける)。露光時間は、画像の平均強度を所望の範囲内に維持するように調整される。例えば、２４ビットのカラー画像では、赤、緑及び青の各成分が、０〜２５５の強度値を有し得る。しかしながら、殆どの場合、平均強度を平均値(即ち１２７)に維持することが望ましい。

本発明では、露光制御モジュールが、各カメラ又は各画像センサの露光時間を制御する。露光制御モジュールは、各入力画像を検査し、平均画像強度を計算する。移動平均(即ち、直近のＸ個の画像の平均強度)に基づいて、露光制御モジュールは露光時間を増加するか減少するかを決定する。このモジュールは、より長い移動(running)平均を用いて照明条件の変化に対する反応を遅くできるので、異常に暗い画像又は明るい画像(例えばアスファルト道路又は水)に対してあまり影響を受けない。露光制御モジュールは、各カメラの露光時間を別々に制御する。

前進運動補償機構(forward-motion compensation mechanisms)を備えていないカメラが取り付けられているシステムでは、露光時間に最大限度を設けなければならない。露光時間を最大値よりも大きな値に設定すると、動きによるぼやけ(blurriness)が生じることがある。例えば、カメラが、１７０マイル／時(即ち約３インチ／ｍｓ)で移動する飛行機に搭載されていると仮定する。所望のピクセル解像度が６インチであると仮定する。画像キャプチャ中の前進運動は、ピクセルサイズの半分に制限されるべきであり、この場合３インチである。このため、この例での最大露光は１ミリ秒である。

イメージングの質を制御する際、光強度の変化が周囲光の変化に起因して生じているのか、異常に明るい対象物又は暗い対象物(例えば、反射する水塊(water body)、金属製の屋根、アスファルト等)の存在に起因して生じているのかを判断できることは有用である。本発明の用途には、空中での撮影又は監視が含まれる。地面の航空画像には通常、植物や植生を含んでいることが観察され、これらは水塊又は道路や建物のような人工構造物よりも反射率が一定している。勿論、植物や植生の画像は通常、緑色に支配されている(即ち、緑成分が、赤、緑及び青の値の中で最も大きい)。従って、緑が支配的なピクセルに焦点を当てることにより、強度相関をより正確にすることができる。

露光制御モジュールは、緑が支配的なピクセルだけを選択することによって、画像の平均強度を演算する。例えば、画像が１００万ピクセルを有し、３００,０００ピクセルについて緑が支配的である場合、緑が支配的なこれら３００,０００ピクセルだけが平均強度の計算に含まれる。その結果、イメージング処理は、通常はピクセルについて緑が支配的でないような人造の建物及び水塊によって引き起こされるバイアス(biasing)に対して、あまり影響されない。前述したように、約１２７の強度値を維持することが望ましい。強度値が１２７を越えると(即ち、過剰露光)、露光時間が短くなり、捕捉される光が少なくなる。同様に、強度値が１２７を下回ると(即ち、露光不足)、露光時間が長くなり、捕捉される光が多くなる。例えば、白い屋根が多くあって、強度が非常に高いターゲット地形領域上を飛行するシステムについて検討する。キャプチャされる画像の平均強度は高くなる傾向があるだろう。殆どの従来システムにおいて、露光時間は、補償するために短くされるだろう。しかしながら、前記の例では、露光時間を短くすることは妥当でない。その理由は、屋根の明るさによって、画像の平均強度がバイアスされているためである。露光時間を短くすると、地面が実際よりも暗くなっている画像をもたらすだろう。これに対し、本発明に従って、緑が支配的なピクセルだけを処理すると、過度に明るい屋根を表すピクセルが平均強度をバイアスして、露光時間は変化しない。

このため、露光制御モジュールは、入力画像間の強度差を少なくする。それでもなお、色調(tonal)バランスを向上させるために、さらなる処理が行われる。像平面から不均一な光を受ける要因は幾つかある(例えば、レンズ仕様(lens physics)、大気条件、イメージングデバイスの空間／位置関係)。カメラ又はセンサの中央部は、縁部よりも多くの光を受ける。

本発明のモザイキングモジュールは、このことをビグネッティング防止関数(anti-vignetting function)で対処しており、これについて、図５を参照して説明する。幾つかの焦点カラム(focal column)(500)(502)(504)(506)(508)が、像平面(509)から集束して焦点(510)で交差し、イメージングするターゲット領域(512)(例えば、地形)の範囲に亘って広がっている。カラム(500)乃至(508)は、単一のカメラ又はセンサの個々の解像カラムであってよく、又は独立した幾つかのカメラ又はセンサの焦点軸を表してもよい。参考の目的で説明すると、カラム(504)が軸として機能し、カラム(504)が像平面(509)と交差する点(513)が主位置として機能する。露光制御モジュールは、ビグネッティング防止関数を適用して、入力ピクセルの元の強度と、カラム依存したビグネッティング防止因数を乗じる。受光面は座標系を持つ平面として表されるから、各カラムは幾つかの分解ロー(resolution rows)を有している(図示せず)。この関係は、カラムｘ及びローｙのピクセルｐについて、次のとおり表すことができる：
＜調整された強度＞＝＜元の強度＞＊ｆ(ｘ)；
但し、ｆ(ｘ)は形状関数(function of the form)である：
ｆ(ｘ)＝cos(軸外角度(off-axis angle))＊＊４
軸外角度(514)は、中央カラム(504)ではゼロであり、カラム(502)とカラム(506)ではより大きく、カラム(500)とカラム(508)ではさらに大きい。全体の視野角度(516)(ＦＯＶ_Ｘ角度)がカラム(504)とカラム(508)の間に示されている。

関数ｆ(ｘ)は、幾つかの線セグメントによってカラム間で近似できる。任意のカラムｃ１とカラムｃ２間の線セグメントの範囲内にある点に関して、調整係数が次のように演算される：
＜ｃの調整係数＞＝ｆ(ｃ１)＋[ｆ(ｃ２)−ｆ(ｃ１)＊(ｃ−ｃ１)／(ｃ２−ｃ１)]；

但し、ｆ(ｃ１)及びｆ(ｃ２)は夫々カラムｃ１及びカラムｃ２の軸外角度のｆ関数値である。

入力画像の各セットをモザイク画像にステッチする(stitched)必要がある。露光制御モジュールが各カメラ又はセンサの受光量を調節するにしても、得られる入力画像は強度について異なったままであることがある。本発明は、隣接する入力画像間の重なり領域を比較して、相対強度のさらなるバランス調整を行う強度バランスモジュールを提供する。隣接する入力画像を同時に得るから、重なり領域は理論上、双方の入力画像において同じ強度を有するはずである。しかしながら、様々な要因により、強度値は通常同じではない。強度差を生じさせる幾つかの要因として、例えば、露光制御モジュールが特定のカメラだけの視野に存在する異常に明るい対象物又は暗い対象物によってバイアスされることや、カメラのボアサイト角度が異なる(即ち、傾斜の大きいカメラは、より垂直なカメラよりも受光量が少ない)ことを挙げることができる。

２つの隣接する画像をバランス調整するために、一方を基準画像(reference image)として選択し、他方を二次的画像とする。例えば次のプロセスを用いて、相関ベクター(ｆＲ、ｆＧ、ＦＢ)を決定する。Ｖを、ピクセルの値(Ｒ、Ｇ及びＢ)を表す３×１ベクトルとする：

相関マトリクスＣを次のように導き出すことができる：

但し、ＦＲ＝ＡｖｇＩｒ／ＡｖｇＩｎであり、ＡｖｇＩｒは基準画像内の重なり領域の平均赤強度であり、ＡｖｇＩｎは新画像内の重なり領域の平均赤強度であり、ＦＧとＦＢについても同様に導き出される。

相関マトリクスは、二次的画像の重なり領域の平均強度が、基準画像の重なり領域の平均強度と同一になるように、二次的画像のピクセル値を増減する(scale)。第２画像は、ピクセル値に相関マトリクスを乗ずることにより、基準画像とのバランス調整を行うことができる。

このため、本発明に従うバランス処理の一実施例では、中央画像が基準画像されている。基準画像は、まず、複合画像(又はモザイク)にコピーされる。基準画像と隣接画像(例えば、すぐ左の画像)との重なり領域が相互に関連づけられて、バランス相関マトリクス(ＢＣＭ)を演算する。ＢＣＭは、重なり領域の強度を双方の画像で一致させるために、隣接画像のピクセルを表すベクトルと乗算される。この関係の一実施形態を、次のように表すことができる：
Ｉ(中央)＝中央画像の重なり領域の平均強度、とし、
Ｉ(隣接)＝隣接画像の重なり部分の平均強度、とすると、
バランス係数＝Ｉ(中央)／Ｉ(隣接)、となる。

各カラーチャンネル(即ち、赤、緑及び青)のバランス係数は、個別に演算される。これら３つの値がＢＣＭを形成する。バランス処理された隣接画像は、モザイクにコピーされる。コピーされた画像の境界での滑らかな移行(transitioning)が、マスクで「フェザリング(feathering)」することでなされている。このマスクは、隣接画像と同じ大きさを有し、幾つかの要素を含んでいる。マスク中の各要素は、モザイク内の対応する隣接画像ピクセルの重みを示す。重みは、境界のピクセルでは０であり(即ち、出力値は基準画像からとられる)、選択した混合幅(chosen blending width)に達した後、１(unity)になるまで、隣接画像の方向に徐々に増大する。混合領域を越えると、隣接画像のピクセルによってモザイクが完全に決定される。同様に、他の全ての構成入力画像間の重なり部分に対しても分析、処理されて、相関ベクトルを演算し、画像強度がバランス調整される。

例えば、次のプロセス(図６を参照)を用いて相関マトリクスを決定する。図６は、本発明に従って生成されるストリップ(600)を示している。基本モザイク(602)と新モザイク(604)が、経路(又は軌道)(606)に沿って追加され、領域(308)内で互いに重なっている。以下のＶを、ピクセルのＲ値、Ｇ値及びＢ値を表すベクトルとする：

ｈを、領域(608)の移行幅(transition width)とし、ｙを、重なり領域の境界(610)から点Ａまでの軌道(606)に沿う距離とすると、そのピクセル値はＶによって表される。以下のＣを相関マトリクスとする：

バランス調整したＶ値を、Ｖ'する：
０＜ｙ＜ｈの場合、Ｖ’＝[ｙ／ｈ.Ｉ＋(１−ｙ／ｈ).Ｃ]×Ｖ；
ｙ＞＝ｈの場合、Ｖ’＝Ｖ；
但し、Ｉは単位マトリクス(identity matrix)である：

「フェザリング」技術はまた、視覚的に認識される継ぎ目を小さくするために、勾配(gradient)と組み合わせて使用されることに留意すべきである。

モザイクが長い場合、重なり部分の強度差は、モザイクの一端から他端まで変化することがある。視覚的に認識される継ぎ目ができないように単一の相関ベクトルを演算することはできないこともあろう。モザイクは、モザイクを構成する元の入力画像の位置に対応する幾つかのセグメントに分割できる。上記プロセスは、各セグメントに別々に適用されて、色は局部的により一致するようになる。

このように精密なアルゴリズムの下では、(南北の飛行経路を仮定すると)２つのセグメントの境界にあるピクセルは、垂直な継ぎ目を生成する可能性がある。この問題を回避するために、この領域内のピクセルのバランス係数は、一方のセグメントのバランス係数から他方のセグメントのバランス係数まで「移行」されなくてはならない。これについては、図７を参照して説明する。

図７は、本発明に従って生成されるストリップ(700)を示している。基本モザイク(702)と新セグメント(704)が領域(706)において重なっている。モザイク(702)と別の新セグメント(708)が領域(710)において重なっている。セグメント(704)とセグメント(708)が領域(712)において重なり、領域(706)(710)(712)は全て領域(714)にて重なり、一致している。説明の都合上、点(716)を、ｙ軸(718)とｘ軸(720)の原点とする。ｙ軸(718)に沿う移動は、イメージングシステムの飛行経路に沿う移動を表している。点(716)は、領域(714)の左下に位置している。

本発明によれば、ストリップの次元は、構成モザイクの最小値ｘと最大値ｙによって決定される。出力ストリップは背景色に初期化される。第１モザイクはストリップに移される。次に、隣の(飛行経路に沿う)モザイクが処理される。新モザイクと第１モザイクの重なり領域の強度値は、カラーチャンネル毎に個別の相関関係がある。新モザイクは、モザイクを構成した元の入力画像に対応している幾つかのセグメントに分割される。幾つかのマスク要素を含むマスクマトリクスが、新モザイクに対して生成される。マスク要素は、新モザイク内の対応するピクセルに対する相関マトリクスを含んでいる。マスクにおける全ての要素は、１に初期化される。マスクの大きさを、新モザイクの移行領域だけに制限できる。中央セグメントに対応するマスク領域が処理される。重なり領域の端部における要素の値が、相関ベクトルに設定される。次に、第１モザイクからストリップに沿って徐々に離れていくと、相関マトリクスの成分が、所定の移行距離にて１になるまで、増大又は減少される(１よりも夫々小さい又は大きい)。次に、中央セグメントに隣接するセグメントに対応するマスクの領域が同様に処理される。しかしながら、第１モザイクによって形成される領域(714)と、新画像の中央セグメント及び隣接セグメントは、特別な処理を必要とする。隣接セグメントに対する相関マトリクスが中央セグメントの相関マトリクスと同一でないことにより、第１モザイクとの重なり領域(714)における２つのセグメントの境界に、継ぎ目が現れることがある。従って、コーナー部は、双方のセグメントの相関マトリクスにより影響を受ける。中央セグメントとの境界までの距離ｘと、重なり端部までの距離ｙにあるマスクセルＡに対して、その相関マトリクスは、２つのセグメントの距離加重平均(distance-weighted average)であり、次のように評価される：
領域(714)内で中央セグメントの境界までの距離ｘのピクセルＡ(ｘ，ｙ)に対して、そのバランス調整された値が、２つのセグメントを用いて演算された値の距離加重平均として演算され；
Ｖ１は、セグメント(704)に基づいてバランス調整されたＲＧＢベクトルであり；
Ｖ２は、セグメント(708)に基づいてバランス調整されたＲＧＢベクトルであり；
Ｖ’は、バランス調整された(最終)ＲＧＢベクトルの和
Ｖ’＝((ｄ−ｘ)／ｄ).Ｖ１＋(ｘ／ｄ).Ｖ２
であり；
ｘ軸は、重なり領域の底部を通る線であり、
ｙ軸は、セグメント(704)とセグメント(708)の重なり領域の左側を通る線であり、
ｈは、移行幅であり、
ｄは、セグメント(704)とセグメント(708)の重なり領域の幅である。
他の隣接セグメントに対応するマスク領域も同様に演算される。

さらに、本発明では、色忠実度(color fidelity)(即ち、ホワイトバランス)フィルタが適用される。このフィルタは、色忠実度を高めるために、Ｒ成分とＢ成分を決定可能な因子(determinable factor)と乗算する。この因子は、カメラとレンズを較正することによって決定できる。色忠実度フィルタは、画像の色がそれら忠実度を、人間の目で直接感知されるように保持することを保証する。画像キャプチャ装置中で、赤、緑及び青の受光要素が、キャプチャされることになっている色に対する感度と異なることがある。白色対象物の画像がキャプチャされる場合に、「ホワイトバランス」処理が適用される。理論上、その白色対象物の画像のピクセルは、Ｒ値、Ｇ値及びＢ値が等しいべきである。しかし実際には、感度の相異や他の要因によって、Ｒ、Ｇ及びＢ毎の平均の色値は夫々、ａｖｇＲ、ａｖｇＧ及びａｖｇＢとなることがある。カラー成分を等しくするために、ピクセルのＲ値、Ｇ値及びＢ値は、下記の比率が乗算される：
Ｒ値は、比率ａｖｇＧ／ａｖｇＲが乗算され；
Ｂ値は、比率ａｖｇＧ／ａｖｇＢが乗算される。
最終結果は、白色対象物の画像のＲＧＢ成分が等しくなるように設定されたものである。

殆どの用途において、ストリップは通常、広い非水面領域をカバーする。このため、ストリップの平均強度は、高反射性の表面のような異常例(anomalies)によって歪められる可能性が少ない。本発明は、平均と標準偏差が所望の値となるように、各ストリップの平均強度を正規化する強度正規化モジュール(intensity normalization module)を提供する。例えば、平均値１２７が写真測量法の標準である。標準偏差５１は、画像の特徴を視覚認知するのに最適な範囲に亘って強度値を広げるのに有用である。各ストリップは、異なる照明条件において撮影されることがあるので、異なる画像データプロファイル(即ち、平均強度及び標準偏差)を有することがある。本モジュールは、ストリップを、全てが同じ平均及び標準偏差を有するように正規化する。これにより、ストリップは、継ぎ目が見えないようにまとめてステッチされる。

この強度正規化は、Ｒ、Ｇ及びＢの各チャンネル、及び全チャンネルに対する平均強度の計算を含んでいる。その後、全体の標準偏差が演算される。各ピクセルの各Ｒ値、Ｇ値及びＢ値が、新たな平均及び標準偏差に変換される：
新値＝新平均＋(旧値−旧平均)＊(新標準偏差／旧標準偏差)

次に、複数の隣接するストリップを組み合わせて、対象領域のタイルモザイク(tiled mosaic)が生成される。完成したタイルは、ＵＳＧＳカッド(USGS quads)又は４分の１カッド(quarter-quads)に対応できる。ストリップをモザイクにステッチすることは、モザイクをまとめてステッチしてストリップを生成することと同様であって、ここではストリップがモザイクの役割を果たしている。２つのストリップ間の継ぎ目ライン(seam line)では、ラインがビルや橋等の高架構造物を横切っている場合に問題が生じることがある。これは写真測量法では古典的な問題であり、２つの異なる視点から見られる同じ対象物によって引き起こされる視差(parallax)から生じるものである。ビルのイメージング中、例えば、一方のストリップは、ビルの一方の側からのビューを表す一方で、別のストリップは、ビルの別の側からのビューを表す。画像がまとめてステッチされた後、得られたモザイクは、テント小屋(tepee)のように見えるかもしれない。この問題に対処するために、地形案内型モザイキング処理(terrain-guided mosaicing process)を実行して、継ぎ目ラインの配置(placement)が案内される。例えば、画像データと共に収集したＬＩＤＡＲデータやＤＥＭデータ、又は画像データから分析したＬＩＤＡＲデータやＤＥＭデータを処理して、それらが一緒にモザイキングされる際に、画像の構成及び形状を決定されてよい。このため、モザイク画像の中には、継ぎ目ラインが直線ではなく、高架構造物を蛇行するように前後にシフトする継ぎ目ラインを含むものもある。

図８を参照すると、前述の本発明に基づいたイメージング処理(800)の一実施形態が示されている。処理(800)は、収集された１又は複数の未処理(raw)の一連の画像(802)で開始する。画像(802)はその後、ホワイトバランス調整処理(804)によって処理され、一連の中間画像に変換される。次に、一連の画像(802)は、オルソ補正(Orthorectification)処理(808)に進む前に、ビグネッティング防止機能(806)によって処理される。前述したように、オルソ補正は、画像センサシステム又はプラットフォームからの位置及び姿勢データ(810)と、ＤＴＭデータ(812)とに依存してよい。ＤＴＭデータ(812)は、位置データ(810)から、例えば、ＵＳＧＳＤＴＭデータ(814)又はＬＩＤＡＲデータ(816)から作られてよい。一連の画像(802)はここでオルソ補正され、カラーバランス調整(818)が続く。カラーバランス調整後、一連の画像(802)は、モザイキングモジュール(820)により、複合画像(822)に変換される。モジュール(820)は、この変換中、モザイキング処理とフェザリング処理を実行する。ここで、１又は複数の複合画像(822)はさらに、ステップ(824)において、勾配を用いたモザイキングとフェザリングによって、画像ストリップ(826)に組み合わされる。強度正規化(828)によって画像ストリップが処理される。ここで正規化されたストリップ(828)は、ステップ(830)において勾配を含むモザイキングとフェザリングとによって再びモザイキングされ、最終タイルモザイク(832)を描画する。ステップ(830)において行われるモザイキングは、ＤＴＭデータ(812)又はＬＩＤＡＲデータ(816)に基づく地形案内型モザイキングを含んでよい。

図９は、カメラアレイアセンブリで撮影された写真が、如何にして調整されて、個々のフレームを生成できるかを図式的に示すものである。本実施形態は、５台のカメラからのオルソ補正されたデータを用いており、移動体から見下ろしたフォトパター(photo patter)図を示している。

図１０は、本発明の特定の実施形態に従う処理ロジックのブロック図である。ブロック図(1000)に示すように、処理ロジックは１又は複数の入力を受け取る。１又は複数の入力としては、標高測定値(1002)、姿勢測定値(1004)、並びに／又はフォト及びセンサイメージ(photo and sensor imagery)(1006)が挙げられる。ブロック(1008)に示すように、分析前に、特定の入力が最初の処理ステップに通されてよく、そこで姿勢測定値が地上制御点からのデータと合成される。標高測定値(1002)と姿勢測定値(1004)が合成されて、処理された標高データ(1010)が生成される。処理された標高データ(1010)がその後使用されて、標高ＤＥＭ(1014)及びＤＴＭ(1016)を生成される。同様に、姿勢測定値(1006)がフォト及びセンサ画像(1006)と合成されて、地理的(georeferenced)画像(1012)が生成され、該画像には、次に、画像処理(1018)が施される。画像処理(1018)は、色のバランス調整及び勾配フィルタリングを含んでよい。

使用されるデータセット(1020)に応じて、ＤＴＭ(1016)又はＵＳＧＳＤＥＭ(1022)の何れかが、処理された画像(1018)と組み合わされ、オルソ補正された画像(1024)を生成する。オルソ補正された画像(1024)はその後、セルフロッキング飛行ライン(1026)に送られる。その後、バランス調整投影モザイキング(balancing projection mosaicing)(1028)が続き、最終的なフォト出力(1030)を生成する。

本発明は、側方向オーバーサンプリング(lateral oversampling)をある程度用いて、出力品質を向上させる。図１１は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1100)の図であり、最小の側方向オーバーサンプリングを示している。この図では、中央カメラに割り当てられた中央天底領域(1102)が、左側天底領域(1104)及び右側天底領域(1106)とほんの僅かに重なっているが、この重なりは最小限にされている。図１２は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1200)の図であり、より大きな度合いの側方向オーバーサンプリングを示している。この図では、中央天底領域(1202)は、左側天底領域(1204)及び右側天底領域(1206)とかなりの程度で重なっている。

図１１及び図１２に示す側方向オーバーサンプリングを使用することに加えて、本発明は、飛行ラインオーバーサンプリングを同様に用いてよい。図１３は、本発明の特定の実施例に基づいた、移動体から見下ろした飛行ラインオーバーサンプリングパターン(1300)の図であって、ある程度の飛行ラインオーバーサンプリングと最小の側方向オーバーサンプリングとを示している。中央天底領域(1302)(1304)は、飛行ラインに沿って互いに重なっているが、左側天底領域(1306)(1308)と、又は右側天底領域(1310)(1312)と、側方向に重なっていない。

図１４は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインオーバーサンプリングの図であり、大幅な飛行ラインオーバーサンプリングと大幅な側方向オーバーサンプリングを示している。中央天底領域(1402)乃至(1406)の各々はお互いに、さらには、左側天底領域(1408)乃至(1412)及び右側天底領域(1414)乃至(1418)と、大幅に重なっていることがわかる。左側天底領域(1408)乃至(1412)は互いに重なっており、右側天底領域(1414)乃至(1418)も同様である。従って、表面上の各点は、少なくとも２回、場合によっては４回もサンプリングされる。この技術では、異なるカメラセンサによって２回以上カバーされる画像領域において、側方向(経路を横切る方向)と飛行ライン方向(経路に沿う方向)に画像解像度を倍増させることで、解像度を全体で４倍にできる。実際には、画像／センサ解像度の向上は、各次元において２倍よりも幾らか低く、各次元でおよそ４０％であり、又は１.４×１.４＝約２倍である。これは、サブピクセルのアライメント／向きの統計的変動によるものである。実際、ピクセルのグリッドは、重なったピクセルのグリッドから正確に等距離であることは殆どない。非常に精密な側方向のカメラセンサのアライメントがサブピクセルレベルで行われるのであれば、画像解像度の４倍増が実現できるであろう。

図１５は、本発明の特定の実施形態に従う、移動体から見下ろした累加的拡大(progressive magnification)パターン(1500)の図である。中央天底領域(1502)は、その左縁部と右縁部にて夫々、左内側天底領域(1504)及び右内側天底領域(1506)と境界をなしている。左内側天底領域(1504)は、その左縁部にて、左外側天底領域(1508)と境界なす一方、右内側天底領域(1506)は、その右縁部にて、右外側天底領域(1510)と境界をなしている。なお、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。

図１６は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1600)の図である。中央天底領域(1602)は、その左縁部と右縁部にて夫々、左内側天底領域(1604)及び右内側天底領域(1606)と境界をなしている。左内側天底領域(1604)は、その左縁部にて、左外側天底領域(1608)と境界をなす一方、右内側天底領域(1606)は、その右縁部にて、右外側天底領域(1610)と境界をなしている。上記の如く、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。天底領域(1604)乃至(1610)の内部には夫々、グレーで陰影を付けて示す中央画像領域(1614)乃至(1620)がある。

図１７は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1700)の図である。パターン(1700)の中央において、左内側天底領域(1702)と右内側天底領域(1704)が中央で重なっている。左中間天底領域(1706)及び右中間天底領域(1708)は夫々、領域(1702)及び領域(1704)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約５０％共有している。左外側天底領域(1710)及び右外側天底領域(1712)は夫々、領域(1706)及び領域(1708)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約５０％共有している。中央画像領域(1714)は、パターン(1700)の中央に配置されており、天底領域(1702)乃至(1712)の中央部分で構成されている。

図１８は、本発明の特定の実施形態に基づいており、システム(1800)の構成の概略図を示している。システム(1800)は、１又は複数のＧＰＳ衛星(1802)及び１又は複数のＳＡＴＣＯＭ衛星(1804)を含んでよい。また、１又は複数のＧＰＳ位置システム(1806)を含んでよく、該システム(1806)は、１又は複数のモジュール(1808)と動作可能に接続されており、該モジュール(1808)は、ＬＩＤＡＲ、ＧＰＳ及び／又はＸ、Ｙ、Ｚの位置データを収集し、この情報を１又は複数のデータキャプチャシステムアプリケーション(1812)に供給する。ＤＧＰＳ(1810)は、１又は複数のＳＡＴＣＯＭ衛星(1804)と無線通信リンク(1826)を通じて通信する。１又は複数のＳＡＴＣＯＭ衛星(1804)は、１又は複数のデータキャプチャシステムアプリケーション(1812)と通信できる。

１又は複数のデータキャプチャシステムアプリケーション(1812)は、オートパイロット(1816)、ＳＳＤ及び／又はＲｅａｌＴｉｍｅＳｔｉｔｃｈＧシステム(1820)とインターフェースしてよく、これらは互いに相互作用することもできる。ＳＳＤ(1814)は、ＲｅａｌＴｉｍｅＤＥＭ(1818)と動作可能に接続されてよい。最後に、ＲｅａｌＴｉｍｅＤＥＭ(1818)及びＲｅａｌＴｉｍｅＳｔｉｔｃｈＧシステム(1820)は、ディスクアレイ(1824)等の格納デバイスと接続されてよい。

本発明は、コマウントされ、コレジスタされるオーバーサンプリングをある程度用いて、ピクセル解像度の物理的限界を克服できる。図１９は、本発明の特定の実施形態に基づいており、移動体から見下ろしている単一のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(1900)の図であり、最小限の側方向オーバーサンプリングを示している。カメラは、垂直方向のサイドラップ(sidelap)領域(1904)(1908)において少し重なっている。図１９は３台のカメラのアレイを示しており、これらサブピクセル較正技術は、較正されている２乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。

図３及び図４の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。これにより、初期の「精密な(close)」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。

図１９を参照して、符号Ａ、Ｂ及びＣを付した矩形は、３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(1902)(1906)(1910)を表している。カメラＡ乃至Ｃ(図示せず)によって撮影された領域(1902)(1906)(1910)の画像を夫々俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視(cross-eyed)」の配置であるため、領域(1902)の画像は右側カメラＡによって撮影され、領域(1906)の画像は中央／天底カメラＢによって撮影され、領域(1910)の画像は左側カメラＣによって撮影される。カメラＡ乃至Ｃはアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。

図１９において、Ａ／Ｂ及びＢ／Ｃサイドラップが付されたハッチング領域は夫々、画像重なり領域(1904)(1908)を表している。左側画像重なり領域(1904)は、右側カメラＡが中央／天底カメラＢとオーバーラップしている領域であり、右側画像重なり領域(1908)は、左側カメラＣが中央／天底カメラＢとオーバーラップしている領域である。これらサイドラップ領域(1904)(1908)において、カメラセンサのグリッドは、重なり領域(1904)(1908)の各ピクセルを両断(bisect)し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(1904)(1908)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。

さらに、隣接するカメラ間のアライメント精度を４倍増にすることで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラとセンサは、前述のように、剛性取付プレートに固定される剛性取付ユニットに固定されている。具体的に、剛性取付ユニットに固定されている隣接するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。

重なっている２列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)を図２０に示す。具体的には、図２０は、本発明の特定の実施形態に基づいており、移動体から見下ろしており、オーバーラップしている２列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)の図であり、最大限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2006)(2008)(2014)(2016)において少し重なっており、対応しているカメラは、画像領域(2002)(2010)(2018)(2004)(2012)(2020)において完全に重なっている。図２０は３台のカメラの２列のアレイを示しているが、これらサブピクセル較正技術は、較正されている２乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。

図３及び図４の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。本実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にアップデートできる。

図２０を参照して、符号Ａ、Ｂ及びＣを付した矩形は、オーバーラップしている２列に３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(2002)(2010)(2018)及び(2004)(2012)(2020)を夫々表している。カメラＡ乃至Ｃ(図示せず)及びオーバーラップしているカメラＡ’乃至Ｃ’(図示せず)によって夫々撮影された領域(2002)(2010)(2018)及び(2004)(2012)(2020)の画像を俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視」の配置であるため、領域(2002)の画像は右側カメラＡによって撮影され、領域(2010)の画像は中央／天底カメラＢによって撮影され、領域(2018)の画像は左側カメラＣによって撮影される。さらに、領域(2004)の画像は右側カメラＡ’によって撮影され、領域(2012)の画像は中央カメラＢ’によって撮影され、領域(2020)の画像は左側カメラＣ’によって撮影される。カメラＡ乃至Ｃ及びオーバーラップしているカメラＡ’乃至Ｃ’はアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。

図２０において、Ａ／Ｂ及びＢ／Ｃサイドラップが付されたハッチング領域は夫々、オーバーラップしている２つの画像重なり領域(2006)(2008)及び(2014)(2016)を表している。左側画像重なり領域(2006)(2008)は夫々、右側カメラＡが中央／天底カメラＢとオーバーラップしており、右側カメラＡ’が中央カメラＢ’とオーバーラップしている領域である。右側画像重なり領域(2014)(2016)は、左側カメラＣが中央／天底カメラＢとオーバーラップしており、左側カメラＣ’が中央カメラＢ’とオーバーラップしている領域である。これらサイドラップ領域(2006)(2008)及び(2014)(2016)において夫々、カメラセンサのグリッドは、重なり領域(2006)(2008)及び(2014)(2016)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)及び(2014)(2016)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。前述のように、この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。

オーバーラップしている２列のカメラアレイを含むことによって、重なっているサイドラップの重なり領域(2006)(2008)及び(2014)(2016)についても画像解像度は事実上４倍になる。これにより、驚くべきことに、システム(100)の較正及びカメラアライメントにおいて全体的に６４倍向上する。

重なっているサイドラップの領域(2006)(2008)において、オーバーラップしているカメラセンサのグリッドは、サイドラップの領域(2006)(2008)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)の画像解像度が事実上４倍になる。同様に、重なっているサイドラップの領域(2014)(2016)において、オーバーラップしているカメラセンサのグリッドは、サイドラップの領域(2014)(2016)の各ピクセルを両断し、これにより、これら領域(2014)(2016)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度はここでも、各次元において２倍、即ち２×２×２×２×２×２＝６４倍向上する。この全体としての画像解像度の６４倍増の向上により、隣接するカメラ間のアライメント精度も６４倍向上する。

隣接し、対応するカメラ間のアライメント精度が６４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＡ’乃至Ｃ’、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１及び／又は第２の剛性取付ユニットに固定されている、隣接するカメラ及び／又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。

オーバーラップしている２列のカメラアレイを含むことによって、Ａ／Ｂ及びＢ／Ｃのサイドラップの重なり領域についてだけでなく、全体の画像について、画像解像度は事実上４倍になる。図２０を参照して、「重なりグリッド４×」が付された重なりグリッド細部は、右側画像領域(2018)(2020)の重なり領域(2022)(2024)を夫々表している。重なっている領域(2022)(2024)において、オーバーラップしているカメラセンサのグリッドは、重なり領域(2022)(2024)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2022)(2024)の画像解像度が事実上４倍になる。実際には、画像解像度は、各次元において２倍、即ち２×２＝４倍向上する。

好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはＲＧＢ(red-green-blue)用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、１列のカメラアレイがＲＧＢ用、その他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。

従って、前述した図１９の実施形態について特定された(identified)改善(即ち、４倍)は全て、図２０の実施形態に適用されるが、システム(100)の較正精度及び全体の画像解像度に対して、さらなる大きな改善(即ち、６４倍)を、重なっている２列のカメラアレイによって実現できる。

図２１は、本発明の特定の実施形態に基づいており、移動体から見下ろしている２列のカメラアレイ(112)について、前面方向及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図である。具体的には、図２１は、本発明の特定の実施形態に従う、移動体から見下ろしており、オーバーラップしている２列のカメラアレイ(112)について、前面方向及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図であり、最小限の前面方向及び最小限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2104)(2108)(2124)(2128)において少し重なっており、対応するカメラは、水平方向のサイドラップ領域(2112)(2116)(2120)に沿って少し重なっている。図２１は、３台のカメラの２列のアレイを示しているが、これらサブピクセル較正技術は、較正されている２以上の任意の数のカメラの任意の数のカメラセンサを有し、オーバーラップしている２列のカメラアレイを用いる際も同様に上手く機能する。

図２１を参照して、符号Ａ、Ｂ及びＣを付した矩形は夫々、３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(2102)(2106)(2110)を表し、矩形Ｄ、Ｅ及びＦは夫々、３台のカメラのアレイＦ−Ｅ−Ｄ(図示せず)からの画像領域(2122)(2126)(2130)を表している。カメラＡ乃至Ｃ(図示せず)によって夫々撮影された領域(2102)(2106)(2110)の画像、及びカメラＤ乃至Ｆ(図示せず)によって夫々撮影された領域(2122)(2126)(2130)の画像を、俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視」の配置であるため、領域(2102)の左後側画像は右後側カメラＡによって撮影され、領域(2106)の中央後側画像は後側の中央／天底カメラＢによって撮影され、領域(2110)の右後側画像は左後側カメラＣによって撮影される。さらに、領域(2122)の左前側画像は右前側カメラＤによって撮影され、領域(2126)の中央前側画像は中央前側カメラＥによって撮影され、領域(2020)の右前側画像は左前側カメラＦによって撮影される。カメラＡ乃至Ｃ及びオーバーラップしているカメラＤ乃至Ｆは、アレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。

図２１において、垂直なハッチング領域は、４つの画像重なり領域(2104)(2108)(2124)(2128)を表している。左後側画像重なり領域(2104)は、右後側カメラＡが中央／天底カメラＢとオーバーラップしており、右後側画像重なり領域(2108)は、左後側カメラＣが中央／天底カメラＢとオーバーラップしている領域である。左前側画像重なり領域(2124)は、右前側カメラＤが中央／天底カメラＥとオーバーラップしており、右前側画像重なり領域(2128)は、左前側カメラＦが中央カメラＥとオーバーラップしている領域である。

図２１を参照して、「サイドラップ領域４：１」が付された重なりグリッドの細部は、重なっているサイドラップ重なり領域(2104)(2108)(2124)(2128)を表している。これらサイドラップ重なり領域(2104)(2108)(2124)(2128)において、カメラセンサのグリッドは、重なり領域(2104)(2108)(2124)(2128)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2104)(2108)(2124)(2128)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。前述のように、この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。

隣接するカメラ間のアライメント精度が４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｆ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的には、第１又は第２の剛性取付ユニットに固定されており、隣接しているカメラの角度アライメントが改善されると、取付ユニットに固定されている他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。

同様に、水平なハッチング領域は、３つの画像重なり領域(2112)(2116)(2120)を表している。左前側画像重なり領域(2112)は、右後側カメラＡが右前側カメラＤとオーバーラップしている領域であり、中央前側画像重なり領域(2116)は、後側の中央／天底カメラＢが中央前側カメラＥとオーバーラップしている領域であり、右後側画像重なり領域(2120)は、左後側カメラＣが左前側カメラＦとオーバーラップしている領域である。

図２１を参照して、「フォアラップ領域４：１」が付された重なりグリッドの細部は、重なっているフォアラップ重なり領域(2112)(2116)(2120)を表している。これらフォアラップ重なり領域(2112)(2116)(2120)において、カメラセンサのグリッドは、重なり領域(2112)(2116)(2120)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2112)(2116)(2120)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。この画像解像度の４倍増の向上により、対応するカメラ間のアライメント精度も４倍向上する。

対応するカメラ間のアライメント精度が４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｆ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１又は第２の剛性取付ユニットに固定されている、対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。

図２０の重なっているサイドラップ重なり領域(2006)(2008)及び(2014)(2016)と同様に、図２１の交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)は、驚くべきことに、システムの構成及びカメラアライメントにおいて全体的に６４倍向上する。図２１を参照して、「カッド重なり領域６４：１」が付された交差グリッド細部は、交差しているフォアラップ及びサイドラップ重なり領域(2118)を表している。交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)において、オーバーラップしているカメラセンサのグリッドは、交差領域(2114)(2118)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2114)(2118)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度はここでも、各次元において２倍、即ち２×２×２×２×２×２＝６４倍向上する。この全体としての画像解像度の６４倍増の向上により、隣接するカメラ間のアライメント精度も６４倍向上する。

隣接し、対応するカメラ間のアライメント精度が６４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｅ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１及び／又は第２の剛性取付ユニットに固定されている、隣接するカメラ及び／又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。

好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはＲＧＢ用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、１列のカメラアレイがＲＧＢ用、及びその他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。

図１９乃至図２１に示すように、これら技術を用いて、光学ガラスが「非常に小さな」対象物を解像することができないことに起因した、カメラシステムに課せられた解像限界を克服できる。特に、カメラレンズの光学ガラスには、非常に小さな対象物を解像する能力に物理的限界があることが知られている。このことはよく「ガラスの解像限界」と呼ばれる。例えば、１０，０００フィート(３，０４８メートル)の標高から１ミリメートルのピクセルが必要とされる場合、非常に高倍率の望遠レンズを用いて約１００フィート(３０．４８メートル)の地上幅(ground swath)を得ることが必要とされるだろう。これは、電荷結合デバイスセンサで幾らでもピクセルを与えることができる(例えば、１億ピクセル)としても、最も純度の高いガラスの解像力でも標高１０，０００フィート(３，０４８メートル)にて１ミリメートルのピクセルの画像解像を可能にすることはできないからである。この例は、ガラスにおけるピクセル解像度の物理的限界と同様、画像センサのピクセル密度限界が存在する点をはっきりさせるために使われる。

剛性取付プレートに取り付けられた剛性取付ユニットにおけるシステム(100)の画像センサアライメントと関連する較正技術とは、前述のように、この問題に対する独自の解決策を提供する。これら技術を用いることにより、ガラスの解像限界を事実上克服することができる。例えば、単一のカメラアレイにより１倍(又はなし)のオーバーサンプリングの利益がもたらされる。しかしながら、オーバーラップしている２列のカメラアレイにより、画像解像度と、全地球空間的(overall geospatial)な水平方向及び垂直方向の精度との双方において、全体として４倍増の向上がもたらされる。さらに、重なっている３列のカメラアレイにより、全体として１６倍増の向上がもたらされ、重なっている４列のカメラアレイにより、全体として６４倍増の向上がもたらされる、という具合である。

これらの例から推測できるように、全体的な向上の式は次のとおりである：
全体的な向上＝４^Ｎ
但し、Ｎは、オーバーラップしているカメラアレイの数である。

４列のカメラアレイがある場合、オーバーラップしているカメラアレイは３列である(即ち、Ｎ＝３)。従って、４列のカメラアレイは、画像解像度と、全地球空間的な水平方向及び垂直方向の精度との双方において、全体として６４倍(即ち、４^３＝６４倍)増の向上をもたらす。

さらに、これらのサブピクセル較正技術は、米国特許出願公開第２００４／００５４４８８Ａ１号(現在、米国特許第７，２１２，９３８Ｂ２号)に開示されているセルフロッキング飛行経路技術と組み合わせることができ、この出願の開示は全て、引用を以て本明細書の一部となる。

図１９乃至図２１に示す、前面方向及び／又は側方向にコマウントされ、コレジスタされたオーバーサンプリングに加えて、本発明はまた、画像解像度をさらに向上させるために、図１３乃至図１７に示す、飛行ラインオーバーサンプリングを用いることもできる。図１３乃至図１７に示すように、飛行ラインは画像領域において互いに重なり合うが、これは、各飛行ラインが互いに平行であるためである。これらの重なり画像領域を用いて、ステレオグラフィック技術により、隣接する飛行ライン内の画像における軌道に沿う視差と軌道を横切る視差とによって、センサを較正することができる。

実施形態において、セルフロッキング飛行経路は、３以上の進行ライン(travel lines)の群から少なくとも３つの略平行な進行ラインを生成する任意のパターンであってよい。さらに、少なくとも１つの進行ラインは、他の略平行な進行ラインと対向する方向にあるべきである。好ましい実施形態において、進行パターンは、一致する方向にある少なくとも１対の進行ラインと、対向する方向にある少なくとも１対の進行ラインであってよい。

反対方向のセルフロッキング飛行経路を用いる場合、観察可能な位置エラーが、一部の画像領域において倍増することがある。従って、セルフロッキング飛行経路技術は、これらの位置エラーを大きく低減するためのアルゴリズムを含んでいる。位置エラーのこの低減は、最大の位置エラーが発生する外側領域、即ち左端と右端の「翼(wing)」画像領域において特に重要である。

実施形態において、これらの位置的向上は、パターンマッチング技術を用いて、飛行ライン(例えば、北／南)から得られたピクセルパターン領域を、隣接する飛行ライン(例えば、北／南)から得られた同じピクセルパターン領域と自動的に一致させることによって、実現できる。好ましい実施形態において、１又は複数のＧＰＳ位置システムからの緯度／経度座標を用いて、このパターンマッチング処理を速めることができる。

同様に、これらのサブピクセル較正とセルフロッキング飛行経路技術は、ステレオグラフィック技術と組み合わされてよい。これは、ステレオグラフィック技術が、各ピクセルの、他の全てのピクセルに対する位置精度に大きく依存しているためである。具体的には、これらの技術は、特に、最大の位置エラーが発生する左端と右端の「翼」画像領域において、ステレオグラフィック画像解像度と、全地理空間の(geospatial)水平方向及び垂直方向の精度とを改善する。さらに、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。

さらに、これらのサブピクセル較正とセルフロッキング飛行経路技術は、システム(100)の動的なリアルタイムの較正を提供するために使用できる。具体的には、これらの技術は、１又は複数のカメラアレイアセンブリ(112)をシステム(100)上に迅速に「ロールオン(roll on)」し、ターゲット領域の画像データの収集を直ちに開始し、そして高品質の画像を素早く生成する性能を提供する。これは、前述のように、個々のセンサが、剛性取付プレートに固定されている剛性取付ユニットにおいて最初に較正されているからである。具体的には、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正する。実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、前述のように、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。

実施形態において、システム(100)は、較正パラメータを更新するためのリアルタイムな自己較正システムを含む。具体的には、機上コンピュータ(104)ソフトウェアは、前述のように、コマウントされ、コレジスタされたオーバーサンプリング技術と、飛行ラインオーバーサンプリング技術を用いて、較正パラメータを絶えず監視し更新するためのリアルタイムソフトウェア「デーモン」(即ち、バックグラウンド閉ループ監視ソフトウェア)を含む。好ましい実施形態において、リアルタイムデーモンは、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、ステレオグラフィック画像解像度と、全地理空間の水平方向及び垂直方向の精度とを改善する。具体的には、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。

実施形態では、システム(100)は、ＧＰＳ入力データを提供するためのリアルタイムＧＰＳデータシステムを含んでいる。ＧＰＳやＩＭＵ等の電子デバイスからの入力データによって、そして業界標準のＧＰＳやＩＭＵのソフトウェアシステムによって増強される較正ソフトウェアによって、較正精度が促進される。従って、このリアルタイムな自己較正システムの重要なコンポーネントは、衛星電話、携帯電話、ＲＦモデム、又は類似のデバイス等の潜在的に低い帯域幅の通信チャンネルを介したリアルタイムＧＰＳ入力データである。リアルタイムＧＰＳ入力データの潜在的なソースには、プロジェクト制御されたアドホックステーション、固定放送ＧＰＳ位置(若しくはその類似物)、又は機上ＩＭＵ経由の慣性ナビゲーションが含まれる。

上記のモジュール、アルゴリズム及びプロセスは、多くの技術及び構成において実施できる。本発明の実施形態は、ソフトウェア又はハードウェア、又はそれらの組合せに関する機能例を含み得る。さらに、本発明のモジュール及びプロセスは、単一の機能例(例えば１つのソフトウェアプログラム)において一緒に組み合わされてよく、動作可能に連携された別個の機能デバイス(例えば複数のネットワーク化されたプロセッサ／メモリブロック)を含んでもよい。そのような実施は全て本発明に含まれる。

本明細書に記載した実施形態及び実施例は、本発明及びその実際の用途を最も良く説明し、それによって当該分野の当業者が本発明を実施及び利用できるように示されている。しかしながら、当該技術の当業者であれば、前述の記載及び実施例は、説明と例示の目的のためだけに示されていることが認識できるであろう。前述の記載は、包括的であること、及び、本発明を、開示した正確な形態に限定することを意図していない。前述の教示を参照して、添付の特許請求の範囲の精神及び範囲から逸脱することなく、多くの変更及び変形を加えることが可能である。

Claims

地図を生成するシステムであって、
全地球測位レシーバと、
ターゲット領域に対して配置された移動体と、
移動体と通信する標高測定ユニットと、
移動体と通信する全地球測位アンテナと、
移動体と通信する姿勢測定ユニットと、
移動体に配置された画像センサシステムと、
コンピュータとを備えており、
画像センサシステムは、
移動体に固定された剛性取付プレートと、取付プレートに固定され、内部に少なくとも２つの画像センサが配置された第１剛性取付ユニットとを備えており、第１画像センサと第２画像センサの各々は、第１取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第１画像センサと第２画像センサの各々は、ピクセルの第１データアレイを生成し、ピクセルのデータアレイの各々は、少なくとも２次元であり、第１画像センサと第２画像センサは、ターゲット領域において第１画像重なり領域を有するようにオフセットされており、第１画像センサの画像データは、第１画像重なり領域において第２画像センサの画像データを両断し、
コンピュータは、標高測定ユニット、全地球測位アンテナ、姿勢測定ユニット、第１画像センサ及び第２画像センサと通信し、標高測定ユニット、全地球測位アンテナ及び姿勢測定ユニットの１つ以上からの入力に基づいて、第１画像センサと第２画像センサからの画像データの少なくとも一部を、ターゲット領域の一部と関連付けるシステム。
取付プレートに固定され、内部に少なくとも１つの画像センサが配置された第２剛性取付ユニットをさらに備えており、第３画像センサは、第２取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第３画像センサは、ピクセルの第３データアレイを生成し、ピクセルの第３データアレイは少なくとも２次元である、請求項１に記載のシステム。
第２取付ユニット内に配置される第４画像センサをさらに備えており、第４画像センサは、第２取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第４画像センサは、ピクセルの第４データアレイを生成し、ピクセルの第４データアレイは少なくとも２次元であり、第３画像センサと第４画像センサは、ターゲット領域において第２画像重なり領域を有するようにオフセットされており、第３センサの画像データは、第２画像重なり領域において第４センサの画像データを両断する、請求項２に記載のシステム。
第１画像センサ及び第２画像センサを含む第１センサアレイと、第３画像センサ及び第４画像センサを含む第２センサアレイとが、ターゲット領域において第３画像重なり領域を有するようにオフセットされており、第１センサアレイの画像データは、第３重なり領域において第２センサアレイの画像データを両断する、請求項３に記載のシステム。
第１センサアレイの画像データは、第２センサアレイの画像データと完全に重なっている、請求項３に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１００分の１未満しか曲がらない、請求項１に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１，０００分の１未満しか曲がらない、請求項６に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１０，０００分の１未満しか曲がらない、請求項７に記載のシステム。
第３画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項２に記載のシステム。
第３画像センサは、ハイパースペクトルフィルタを有するデジタルカメラ及びＬＩＤＡＲからなる群から選ばれる、請求項２に記載のシステム。
第３画像センサは、ジャイロスコープ、ＩＭＵ及びＧＰＳからなる群から選ばれる１又は複数の姿勢測定デバイスに対して較正される、請求項１に記載のシステム。
第１画像センサ及び第２画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項１に記載のシステム。
第１画像センサ及び第２画像センサはデジタルカメラであり、第３画像センサはＬＩＤＡＲである、請求項２に記載のシステム。
第３画像センサ及び第４画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項３に記載のシステム。
第１画像センサ及び第２画像センサはデジタルカメラであり、第３画像センサはＬＩＤＡＲである、請求項３に記載のシステム。
移動体に固定された剛性取付プレートと、
取付プレートに固定され、内部に少なくとも２つの画像センサが配置された第１剛性取付ユニットと、
を備えており、
第１画像センサと第２画像センサの各々は、第１取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第１画像センサと第２画像センサの各々は、ピクセルの第１データアレイを生成し、ピクセルのデータアレイの各々は、少なくとも２次元であり、第１画像センサと第２画像センサは、ターゲット領域において第１画像重なり領域を有するようにオフセットされており、第１画像センサの画像データは、第１画像重なり領域において第２画像センサの画像データを両断する画像センサシステム。
取付プレートに固定され、内部に少なくとも１つの画像センサが配置された第２剛性取付ユニットをさらに備えており、第３画像センサは、第２取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第３画像センサは、ピクセルの第３データアレイを生成し、ピクセルの第３データアレイは少なくとも２次元である、請求項１６に記載のシステム。
第２取付ユニット内に配置される第４画像センサをさらに備えており、第４画像センサは、第２取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第４画像センサは、ピクセルの第４データアレイを生成し、ピクセルの第４データアレイは少なくとも２次元であり、第３画像センサと第４画像センサは、ターゲット領域において第２画像重なり領域を有するようにオフセットされており、第３センサの画像データは、第２画像重なり領域において第４センサの画像データを両断する、請求項１７に記載のシステム。
第１画像センサ及び第２画像センサを含む第１センサアレイと、第３画像センサ及び第４画像センサを含む第２センサアレイとが、ターゲット領域において第３画像重なり領域を有するようにオフセットされており、第１センサアレイの画像データは、第３重なり領域において第２センサアレイの画像データを両断する、請求項１８に記載のシステム。
第１センサアレイの画像データは、第２センサアレイの画像データと完全に重なっている、請求項１８に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１００分の１未満しか曲がらない、請求項１６に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１，０００分の１未満しか曲がらない、請求項２１に記載のシステム。
動作中、第１取付ユニット、第２取付ユニット及び取付プレートは、１度の１０，０００分の１未満しか曲がらない、請求項２２に記載のシステム。
第３画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項１７に記載のシステム。
第３画像センサは、ハイパースペクトルフィルタを有するデジタルカメラ及びＬＩＤＡＲからなる群から選ばれる、請求項１７に記載のシステム。
第１画像センサは、ジャイロスコープ、ＩＭＵ及びＧＰＳからなる群から選ばれる１又は複数の姿勢測定デバイスに対して較正される、請求項１６に記載のシステム。
第１画像センサ及び第２画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項１６に記載のシステム。
第１画像センサ及び第２画像センサはデジタルカメラであり、第３画像センサはＬＩＤＡＲである、請求項１７に記載のシステム。
第３画像センサ及び第４画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項１８に記載のシステム。
第１画像センサ及び第２画像センサはデジタルカメラであり、第３画像センサはＬＩＤＡＲである、請求項１８に記載のシステム。
画像センサを較正する方法であって、
画像センサの初期較正を実行する工程を含んでおり、当該工程は、
ＡＭＵの位置を決定する工程と、
第１剛性取付ユニット内の第１画像センサの位置をＡＭＵに対して決定する工程と、
第１剛性取付ユニット内の第２画像センサの位置をＡＭＵに対して決定する工程と、
第１画像センサをターゲット領域に対して較正し、第１画像センサの照準角を決定する工程と、
第１剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対して計算する工程と、
１又は複数の次の画像センサを、第１画像センサの照準角を用いて較正する工程とを含んでおり、
方法はさらに、
オーバーサンプリング技術を用いて、第１画像センサの少なくとも１つの初期較正パラメータを、ターゲット領域及び第１画像センサの照準角に対してアップデートする工程と、
オーバーサンプリング技術を用いて、第１剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対してアップデートする工程と、
第１画像センサのアップデートされた照準角を用いて、第１剛性取付ユニット内の１又は複数の次の画像センサの少なくとも１つの較正パラメータをアップデートする工程と、
を有する方法。
初期較正を実行する工程はさらに、
第１画像センサのアップデートされた照準角を用いて、第２画像センサを較正する工程と、
第２剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対して計算する工程と、
第１画像センサのアップデートされた照準角を用いて、第２剛性取付ユニット内の１又は複数の次の画像センサを較正する工程と、
を含む、請求項３１に記載の方法。
オーバーサンプリング技術を用いて、第２剛性取付ユニット内の第２画像センサの位置を、第１画像センサに対してアップデートする工程と、
オーバーサンプリング技術を用いて、第１剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対してアップデートする工程と、
第１画像センサのアップデートされた照準角を用いて、第２剛性取付ユニット内の１又は複数の次の画像センサの少なくとも１つの較正パラメータをアップデートする工程と、
をさらに含む、請求項３２に記載の方法。
飛行ラインオーバーサンプリング技術を用いて、第１画像センサの較正を、ターゲット領域及び第１画像センサの照準角に対してアップデートする工程と、
飛行ラインオーバーサンプリング技術を用いて、第１剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対してアップデートする工程と、
第１画像センサのアップデートされた照準角を用いて、１又は複数の次の画像センサの少なくとも１つの較正パラメータをアップデートする工程と、
をさらに有する、請求項３１に記載の方法。
飛行ラインオーバーサンプリング技術を用いて、第２剛性取付ユニット内の第２画像センサの位置を、第１画像センサに対してアップデートする工程と、
飛行ラインオーバーサンプリング技術を用いて、第１剛性取付ユニット内の１又は複数の次の画像センサの位置を、第１画像センサに対してアップデートする工程と、
第１画像センサのアップデートされた照準角を用いて、第２剛性取付ユニット内の１又は複数の次の画像センサの少なくとも１つの較正パラメータをアップデートする工程と、
をさらに有する、請求項３４に記載の方法。