JP2014511155A - 自己較正リモートイメージング及びデータ処理システム - Google Patents

自己較正リモートイメージング及びデータ処理システム Download PDF

Info

Publication number
JP2014511155A
JP2014511155A JP2013518368A JP2013518368A JP2014511155A JP 2014511155 A JP2014511155 A JP 2014511155A JP 2013518368 A JP2013518368 A JP 2013518368A JP 2013518368 A JP2013518368 A JP 2013518368A JP 2014511155 A JP2014511155 A JP 2014511155A
Authority
JP
Japan
Prior art keywords
image sensor
image
sensor
mounting unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013518368A
Other languages
English (en)
Inventor
エル. スミサーマン,チェスター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visual Intelligence LP
Original Assignee
Visual Intelligence LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Intelligence LP filed Critical Visual Intelligence LP
Priority claimed from PCT/US2011/000575 external-priority patent/WO2012134419A1/en
Publication of JP2014511155A publication Critical patent/JP2014511155A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

【解決手段】移動体に固定された剛性取付プレートと、取付プレートに固定され、内部に少なくとも2つの画像センサが配置されている第1剛性取付ユニットとを含む画像センサシステムである。第1画像センサと第2画像センサの各々は、第1取付ユニット及び取付プレートのアパーチャを通る焦点軸を有する。第1画像センサと第2画像センサの各々は、ピクセルの第1データアレイを生成し、ピクセルのアレイは夫々少なくとも2次元である。第1画像センサと第2画像センサは、ターゲット領域において第1画像重なり領域を有するようにオフセットされており、第1センサの画像データは、第1画像重なり領域において第2センサの画像データを両断する。
【選択図】 図1

Description

<関連出願の参照>
本出願は、2006年10月11日出願の米国特許出願第11/581,235号の一部継続出願であって、2002年9月20日出願の米国特許仮出願第60/412,504号「Vehicle Based Data Collection and Processing System」に基づく優先権を主張する2003年9月18日出願の米国特許出願第10/664,737号に基づく優先権を主張する。
<本発明の技術分野>
本発明は、概して、遠隔イメージング技術の分野に関し、より詳細には、非常に広い視野に亘って、高解像度で、高精度で、低歪みのデジタル画像を描画する(rendering)システムに関する。
リモートセンシングやリモートイメージングは、多様且つ非常に重要な幾つかの実用的用途−例えば、地質マッピング、地質解析や気象予測を−含む広範な技術である。航空ベースや衛星ベースのフォトグラフィ及びイメージングは、特に有用なリモートイメージング技術であり、これらは近年、スペクトル、空間、標高、移動体(vehicle)位置や方向などのパラメータを含む、デジタル画像のデータ収集や処理への依存度が極めて高くなっている。現在、空間データ−不動産の改修や位置、一般道路や高速道路、環境災害や環境状態、公共インフラ(例えば、電話線、パイプライン)及び地質学的特徴を特徴付ける−は、デジタル形式で収集、処理、及び伝達されて、高精度マッピング及び監視データとして種々の用途(例えば、動的GPSマッピング)に便利に提供される。標高データが使用されて、システム全体の空間精度及び位置精度が向上されてよく、標高データは、既存の数値標高モデル(Digital Elevation Model)(DEM)データセットから取得でき、又は、能動的な放射線測定ドプラ(radiation measuring Doppler)ベースのデバイスのスペクトルセンサデータ若しくは受動的ステログラフィック計算(stereographic calculation)を用いて収集できる。
リモートセンシングやリモートイメージングの用途が直面する主な課題は、空間解像度(spatial resolution)とスペクトル忠実度(spectral fidelity)である。球面収差、非点収差、像面湾曲、歪曲収差、及び色収差等のフォトグラフィックな問題は、如何なるセンサ/イメージング用途においても対処しなければならない良く知られた問題である。用途によっては非常に高い画像解像度が必要とされ、時に許容範囲がインチ単位の場合がある。使用されるシステム(例えば、航空機、衛星、又は宇宙船)にもよるが、実際のデジタルイメージングデバイスは、そのターゲットから数フィートから数マイル離れた位置に配置されることがあり、結果として、倍率(scale factor)が非常に大きくなる。画像の倍率が非常に大きくなり、解像度の許容誤差がインチ単位であると、どれほど頑強なイメージングシステムに対しても問題が生じる。このように、従来のシステムでは、解像品質と、作像される標的領域の大きさとは、二律背反(trade-off)の関係の下で作製されなければならない。システムが高解像度のデジタル画像を提供するように設計されている場合、イメージングデバイスの視野(FOV)(fieled of view)は通常小さくなる。システムが大きなFOVを生成されるように設計される場合、通常は、システムが提供するFOVがさらに大きくなると、通常は、スペクトル及び空間データの解像度が低下して、歪みが増す。
オルソイメージング(Ortho-imaging)は、この問題の対策として使用されてきた1つの方策である。一般的に、オルソイメージングは、ターゲットの変化するサブ画像をコンパイル(compile)することで、ターゲットの合成画像を描画する(render)。通常、航空イメージング用途において、有限の範囲及び解像度を有するデジタルイメージングデバイスが、ターゲット領域の固定されたサブセクションの画像を連続的に記録する。これらの画像はその後、いくつかのシーケンスに従って調整(align)されて、ターゲット領域の合成画像が描画される。
このような描画処理は大抵、非常に時間を消費し、多大な労力を要する。多くの場合、これらの処理は、繰返し処理を必要とし、特に、数千のサブ画像が描画される場合には、画質と解像度の有意的な低下を招く。画像データが自動的に処理され得る場合、そのデータは大抵、繰り返し変換及びサンプリングされ、一連の操作毎に、色の忠実度と画像の鮮明度が低下する。自動補正システム又は自動調整システムが用いられる場合、このようなシステムは、画像の異常(例えば、異常に明るい又は暗いターゲット)に影響されやすく、画像データを過度に補正又は不十分に補正して、画像データの解釈について信頼性が低くなる。画像の手動描画が必要又は所望される場合、それに要する時間と労働コストは膨大なものとなる。
従って、非常に大きなFOV、及びそれに関連するデータセットについて、効率的且つ汎用性の高いイメージングをもたらすと同時に、画質、精度、位置精度及び鮮明度を維持するオルソ画像描画システムが必要とされている。さらに、関連する全ての操作のプランニング、収集、ナビゲーション、及び処理の各段階で、自動化アルゴリズム広範囲に適用される。
本発明は、種々のセンサを用いたリモートデータ収集処理システムに関する。本システムは、移動体の操縦とシステムの操作をリアルタイムで制御するコンピュータコンソールユニットを備えてよい。本システムはまた、コンピュータコンソールにリンクされて通信している全地球測位システムを備えてもよい。また、アパーチャ(aperture)を通して見えるターゲットの画像を生成するカメラ及び/又はカメラアレイアセンブリを使用できる。カメラアレイアセンブリは、コンピュータコンソールに通信可能に接続されている。カメラアレイアセンブリは、取付用ハウジングを有しており、該取付用ハウジングの中央には、第1画像センサが取り付けられており、該第1画像センサはアパーチャを通る第1焦点軸を有している。カメラアレイアセンブリはまた、第2画像センサを有しており、該第2画像センサは、ハウジングに取り付けられており、軸に沿って第1画像センサからオフセットされている。第2画像センサは、アパーチャを通り、交差領域内にて第1焦点軸と交差する第2焦点軸を有している。カメラアレイアセンブリは第3画像センサを有しており、該第3画像センサは、ハウジングに取り付けられており、前記軸に沿って第1画像センサからオフセットされており、第2画像センサの反対側にある。第3画像センサは、アパーチャを通る第3焦点軸であって、交差領域内にて第1焦点軸と交差する第3焦点軸を有している。1からn個の任意の個数のカメラが、このように使用されてよい。ここで、「n」は任意の奇数又は偶数であってよい。
本システムはまた、コンピュータコンソール及びカメラアレイアセンブリと通信可能に接続されている、慣性測定ユニット、光学測定ユニット、又は類似の測定ユニット等の姿勢測定器(Attitude Measurement Unit;AMU)を備えてもよい。AMUにより航空機のヨー、ピッチ及び/又はロールを任意の時点で時間内に(in time)決定することができ、連続したDGPS位置を用いて、測地線の(geodesic)北の方位に対する移動体の機首方位を測定してよい。AMUデータは精密なDGPSデータと統合されて、ロバストなリアルタイムのAMUシステムをもたらす。本システムはさらに、コンピュータコンソール内に格納されたモザイキングモジュールを含んでよい。モザイキングモジュールは、入力画像に最初の処理を実行する第1コンポーネントを含んでいる。モザイキングモジュールはまた、第1コンポーネントと共働可能に接続されて、入力画像の地理的な境界を決定する第2コンポーネントを備えている。モザイキングモジュールはさらに、正確な地理的な位置で入力画像を合成画像にマッピングする第3コンポーネントを備えている。第3コンポーネントは、第1コンポーネント及び第2コンポーネントと共働可能に接続されている。モザイキングモジュールにはまた、合成画像にマッピングされた入力画像のカラーバランス調整をする第4コンポーネントが含まれる。第4コンポーネントは第1コンポーネント、第2コンポーネント及び第3コンポーネントと共働可能に接続されてよい。さらにまた、モザイキングモジュールは、合成画像にマッピングされた隣接する入力画像間の境界を融合(blend)する第5コンポーネントを含んでよい。第5コンポーネントは第1コンポーネント、第2コンポーネント、第3コンポーネント及び第4コンポーネントと共働可能に接続されることができる。
第6コンポーネント、選択的前方傾斜及び/又は選択的後方傾斜カメラアレイシステム(optional forward oblique and/or optional rear oblique camera array system)を備えることができ、このシステムは、斜位像(oblique image)データを収集し、姿勢測定値及び位置測定値と画像データをマージ(merge)して、ステレオグラフィック技術を用いて数値標高モデル(digital elevation model)を生成する。この生成は、移動体内でリアルタイムに実行されてもよく、又はその後、後処理されてもよい。この第6コンポーネントは、他のコンポーネントと共働する。全てのコンポーネントは、センサデータのコレジストレーション(co-registration)をもたらすために、剛性プラットフォームに取り付けられてよい。振動、乱流及び他の力が移動体に作用して、センサ間のアライメントの関係に誤差を生じさせる場合がある。共通の剛性プラットフォームにセンサを取り付けることで、このコレジストレーション構成を使用していない他のシステムに勝る顕著な利点がもたらされる。
さらに、本発明では、側方向オーバーサンプリングを用いることで、出力品質を向上させ、及び/又は、コマウント(co-mounted)、コレジスタ(co-registered)オーバーサンプリングを用いることで、ピクセル解像度の物理的限界を克服してよい。
本発明をより理解するために、そして本発明がどのように実施されるかを例示するために、添付の図面を参照して詳細に説明する。なお、異なる図面に付した対応する番号は、対応する要素に付している。
図1は、本発明の移動体を用いたデータ収集処理システムを示している。 図1Aは、図1の移動体を用いたデータ収集処理システムの一部を示している。 図1Bは、図1の移動体を用いたデータ収集処理システムの一部を示している。 図2は、本発明の図1の移動体を用いたデータ収集処理システムについて、カメラアレイアセンブリを詳細に示している。 図3は、本発明のある態様のカメラアレイアセンブリを示している。 図4は、図1のカメラアレイアセンブリによって読み取られたイメージングパターンの一実施形態を示している。 図5は、本発明のある態様を表している画像パターンを示す。 図6は、本発明による画像ストリップを示している。 図7は、本発明による画像ストリップの別の実施形態を示している。 図8は、本発明によるイメージング処理の一実施形態を示している。 図9は、カメラアレイアセンブリで撮影された写真が調整されて個々のフレームが如何に生成されるかを図式的に示している。 図10は、本発明の特定の実施形態に基づいた処理ロジックのブロック図である。 図11は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングの図である。 図12は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングの図である。 図13は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングの図である。 図14は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングの図である。 図15は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。 図16は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。 図17は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大の図である。 図18は、本発明の特定の実施形態に基づいたシステム構成の概略図である。 図19は、本発明の特定の実施形態に基づいており、単一のカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ側方向オーバーサンプリングの図である。 図20は、本発明の特定の実施形態に基づいており、重なっている2列のカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ側方向オーバーサンプリングオーバーサンプリングの図である。 図21は、本発明の特定の実施形態に基づいており、重なっている2列のステレオカメラアレイについて、サイドラップサブピクセル領域での移動体から見下ろしたコマウント、コレジスタ前方向(fore)及び側方向オーバーサンプリングの図である。
本発明の様々な実施例の実施及び使用について以下で詳しく説明するが、本発明は、適用可能な多くの発明概念を提供するものであり、多種多様の特定の状況において具体化できることは理解されるべきである。本明細書で説明する特定の実施形態は、発明を実施し使用するための具体的方法を単に例示するものであって、発明の範囲を制限するものではない。
本発明の移動体を用いたデータ収集処理システム(100)を図1、図1A及び図1Bに示す。本発明のさらなる態様及び実施形態を図2及び図18に示す。システム(100)は1又は複数のコンピュータコンソール(102)を含む。コンピュータコンソールは、移動体の操縦とシステムの操作の双方を制御する1又は複数のコンピュータ(104)を含む。コンピュータコンソールの機能の例としては、データ収集処理システムに連携可能なデジタルカラーセンサシステムの制御、表示データの操縦者への供給、人工衛星が生成したGPSの毎秒パルス(PPS)イベントトリガの調整(1秒あたり20以上のパルスであってもよい)、データロギング、センサの制御と調整、エラー事象のチェックと警告、写真の記録とインデックス、移動体のナビゲーションを自動化する飛行計画能力に関するデータの記憶と処理、関連情報のリアルタイム表示の提供がある。制御コンピュータのコンソールと移動体オートパイロット制御部との間の通信インターフェースにより、リアルタイムで移動体の飛行経路を実際に制御する性能が付与される。これにより、移動体の経路の制御は、人間が為し得る制御よりも正確になる。これら機能は全て、GPSのPPS信号と同期され、測定デバイスの種々の電気レイテンシ(electrical latencies)を考慮した種々のコンピュータプログラムを用いて達成できる。実施形態において、コンピュータはセンサ内に組み込まれている。
1又は複数の差動全地球測位システム(differential global positioning system)(106)がシステム(100)に組み込まれている。全地球測位システム(106)は、移動体の操縦とシステムの操作中に正確な飛行経路をナビゲートし、決定するために使用される。これを実現するために、全地球測位システム(106)は、飛行を中断することなく、全地球測位システム(106)からの情報を取得及び処理することができるように、コンピュータコンソール(102)に通信可能にリンクされている。1秒未満(sub-second)のGPS衛星ベースの各エラーを記録するためにゼロ又はそれ以上のGPSユニットが既知の調査点に配置されて、システム(100)の精度を後補正(back correct)することができる。地上の制御点を不要にするために、GPS及び/又は地上ベースの測位サービスを使用してもよい。この技術により、データ収集用移動体の位置精度は、1秒以下の単位で大幅に向上する。
1又は複数のAMU(108)もまた、コンピュータコンソール(102)に通信可能にリンクされており、リアルタイムヨー(yaw)情報、リアルタイムピッチ情報、及びリアルタイムロール情報を提供し、これらの情報は、移動体の姿勢をデータ収集後直ちに正確に決定するために使用される。この姿勢測定器(AMU)(例えば、Applanix POS AV)は、ヨー角、ピッチ角、及びロール角夫々の測定につき1ジャイロである3つの高性能光ファイバジャイロを使用している。他のメーカのAMU、及び他の慣性測定デバイス(inertial measurement device)を使用するAMUも同様に用いることができる。さらに、AMUは、移動体の瞬間姿勢を求めるために用いられ、システムには、AMUリーディング時の統計誤差に対して故障許容力(fault-tolerance)がもたらされる。AMUには、1又は複数の多周波DGPSレシーバ(110)を接続することもできる。多周波DGPSレシーバ(110)は、AMUのヨー姿勢データ、ピッチ姿勢データ、及びロール姿勢データと統合されて、3次元空間におけるリモートセンサプラットフォームの位置をより正確に決定することができる。また、測地線の北の方位を、連続したDGPS測位によって生成されたベクトルによって決定し、GPSのPPS信号と同期して記録できる。
アパーチャを通して見たターゲットの画像を生成する1又は複数のカメラアレイアセンブリ(112)もまた、1又は複数のコンピュータコンソール(102)に通信可能に接続されている。カメラアレイアセンブリ(112)は、以下でより詳細に説明するが、高解像度、高精度な順次走査(progressive scan)又はライン走査のカラーデジタルフォトグラフィをキャプチャする性能を備えたデータ収集処理システムを提供する。
システムはまた、DC電力調整装置(114)を含むことができ、これは、DC電力を調整し、DC電力をAC電力に変換して、システムに電力を提供する。システムはさらにナビゲーションディスプレイ(116)を含んでよく、ナビゲーションディスプレイ(116)は、移動体の(機内の、又は離れた位置にいる)操縦者により使用される飛行計画に対して、移動体の位置をグラフィック的に(graphically)描画して、水平面及び垂直面における精密な飛行経路を可能とする。システムはまた、3次元の標高/起伏(elevation/relief)データをキャプチャするための、LIDAR、SAR(118)又は前後方傾斜カメラアレイを含んでなるEMUモジュールを含んでよい。EMUモジュール(118)は、レーザユニット(120)、EMU制御ユニット(122)及びEMU制御コンピュータ(124)を含むことができる。システムに適切な熱的環境を提供するために、固体冷却モジュール(solid state cooling module)等の温度制御デバイスを必要に応じて配備することもできる。
システムはまた、コンピュータコンソール(102)に格納されたモザイキングモジュール(mosaicing module)を含んでいる(図示せず)。モザイキングモジュールは、以下でより詳細に説明するが、全地球測位システム(106)、AMU(108)及びカメラシステム(112)によって取得されたデータを収集し、データを使用可能なオルソマップ(orthomap)へと処理する能力をシステムに与える。
システム(100)はまた、セルフロッッキング飛行経路技術(self-locking flight path technique)を含むことができる。この技術は、隣接する飛行経路の位置精度を微修正して、AMUセンサとDGPSセンサのみによる本来的な(native)精度を超える精度を実現する性能を付与する。
ミッションの全ての態様を細かく計画するために完全な飛行計画方法論が使用される。入力は、種々のミッションパラメータ(緯度/経度、解像度、色、精度等)である。出力は、詳細なオンラインのデジタルマップ及びデータファイルであり、これらは、データ収集用移動体の機内に格納され、リアルタイムのナビゲーション及び警告に使用される。飛行計画データを直接オートパイロットにインターフェースする性能は、付加的に組み込まれた能力である。コンピュータプログラムを使用して、飛行経路、姿勢調整、グラフィック表示、及び移動体経路の移動地図を自動的に制御し、警告条件及び補正アクションをチェックし、システムステータス全体の操縦者及び/又はクルーに通知することで、操縦及び制御の危険防止がなされる。安全操縦パラメータが常に監視され、報告されるのがよい。現在のシステムは有人クルーを使用しているのに対し、本システムは無人移動体でも同様に上手く機能するように設計されている。
図2は、本発明の別の図を示している。図2は、カメラアレイアセンブリ(112)をより詳細に示している。図示のように、カメラアレイアセンブリ(112)は、斜め後ろ、斜め前及び天底(nadir)の位置から画像を取得できる。図3は、本発明のカメラアレイアセンブリをより詳細に示している。図3は、ターゲット(302)(例えば地形)上を飛行中の(airborne)カメラアレイアセンブリ(300)を示している。例示であるため、アセンブリ(300)の相対的な大きさ、並びにアセンブリ(300)と地形(302)と間の相対的な距離は、図3において縮尺通りに描かれていない。カメラアレイアセンブリ(300)はハウジング(304)を備えており、ハウジング(304)内には、画像センサ(306)(308)(310)(312)(314)が凹状の曲線軸(316)に沿って配置されている。軸(316)の曲率半径は大幅に変化する、又は大幅に変更でき、軸(316)の凹形を非常に小さくすることもできるし、非常に大きくすることもできる。或いはまた、軸(316)は、完全な直線形で、全く屈曲して無くてもよい。画像センサ(306)(308)(310)(312)(314)は、取付部材(318)によって直接的又は間接的にハウジング(304)に取り付けられている。取付部材(318)は、固定式又は可動式であり、永続的又は一時的な幾つかの連結装置を含んでよい。例えば、取付部材(318)は、単純な溶接、取外し可能なクランプデバイス、又は電気機械制御式のユニバーサルジョイントでもよい。
また、さらに、システム(100)には、リアルタイムのナビゲーションシステムが機内にあり、視覚的なバイオフィードバック表示を移動体の操縦者に、又は無人移動体での操縦の場合には遠隔表示を提供する。操縦者は、より正確な飛行経路を提供するために、リアルタイムで移動体の位置を調整できる。操縦者は、移動体に搭乗しているか、離れた場所にいる場合でも、飛行ディスプレイを用いて、通信リンクを介して移動体を制御できる。
システム(100)はまた、故障許容力の高い方法を使用してよく、この方法は、1つ又は2つのハードドライブについて、ドライブに保存されているターゲットデータに障害が発生しても(fail)ターゲットデータを失わないようにするソフトウェアインターリーブディスク記憶手法(software inter-leaved disk storage methodology)を提供するために開発されている。このソフトウェアインターリーブディスク記憶手法は、RAID−5等の他のハードウェア方法論と比べて優れた故障許容力及びポータブル性(portability)を提供する。
システム(100)はまた、ミッションデータの取得直前に、短時間で較正ステップを行うことができるように開発された手法を組み入れることもできる。この較正手法のステップは、注目する領域に到達する直前に、周囲光の強度をサンプリングし、最適値付近に設定することで、カメラの設定、主に露光時間を調整する。その後、移動平均アルゴリズムを用いて秒単位のカメラ調整を実行し、改善された一貫性のある写真がもたらされる。これによりオルソマップのカラー処理が改善される。さらにまた、較正を用いて、各センサデバイス(カメラ、DPG、AMU、EMU等)の正確な空間位置をチェックしたり決定することができる。このようにして、これらデバイスの空間位置の起こり得る変化が評価されて、システム全体の精度メトリックス(precision metrics)が維持される。
また、複数の既知の可視的な高精度の地理的位置を含む領域の上を飛行することにより、移動体上の各センサデバイス(カメラ、DPG、AMU、EMU等)の正確な位置及び姿勢を較正できるように開発された手法を、システム(100)に組み入れてもよい。プログラムは、このデータを入力として入手し、精密な位置データを出力し、その後、この位置データを用いてオルソマップを正確に処理する。
図3に示すように、ハウジング(304)は単純形状の筺体であって、その内部に画像センサ(306)(308)(310)(312)(314)が配置されている。図3は5台のカメラのアレイを示しているが、本システムは、カメラのセンサ数が1から任意の数に至っても、等しく機能する。センサ(306)乃至(314)は、取付部材(318)により、ハウジング(304)の対向する壁の間に配置された1つの横断横材(transverse cross member)にまとめて取り付けられるか、複数の側方横材(lateral cross members)に個々に取り付けられる。別の実施形態において、ハウジング(304)自体が、凹状に屈曲した支持用横材を構成するようになし、この横材に、画像センサ(306)乃至(314)が部材(318)を介して取り付けられてよい。さらに他の実施形態において、ハウジング(304)は、筐体と支持用横材の複合的な組合せとすることもできる。ハウジング(304)ではさらに、画像センサとターゲット(302)との間の表面に、アパーチャ(320)が形成されている。母体の航空機の具体的な型式に応じて、アパーチャ(320)は、アパーチャ(320)は、空隙だけでもよいし、ハウジング(304)内の環境的保全を維持するために、保護用スクリーン又は窓を含むこともできる。透明な保護プレートが任意のセンサに用いられる場合、センサデータの質を向上させるための特別なコーティングをプレートに施してもよい。所望により、アパーチャ(320)は、センサによって記録された画像の質を高め、又は変更するために、レンズ又は他の光学デバイスを備えてよい。アパーチャ(320)は、画像センサ(306)乃至(314)に、地形(302)上のターゲット領域(322)に対する適切な視線を与えることができる大きさ及び形状に形成される。
画像センサ(306)乃至(314)は、全てのセンサの焦点軸が、アパーチャ(320)で規定された交差領域内で集束し互いに交差するように、ハウジング(304)の内部に、又はハウジング(304)に沿って配置される。収集される画像データの種類、使用される具体的な画像センサ、及び使用される他の光学素子又は装置に応じて、交差領域又は収束点をアパーチャ(320)の上又は下にオフセットさせることが必要となることもあるし、又、それが望ましいこともある。画像センサ(306)乃至(314)は、ある角度間隔で互いに離れている。画像センサ間の正確な変位角度は、使用される画像センサの数、及び収集される画像データの種類に応じて、大きく変わってよい。画像センサ間の角度変位はまた、必要に応じて、所望の画像オフセット又は画像アライメントをもたらすように不均一にされてもよい。使用される画像センサの数及びアレイの特定の形状に応じて、全ての画像センサの焦点軸は、同じ点で正確に交差してもよく、複数の点で交差してもよいが、全てのセンサは互いに非常に近接し、アパーチャ(320)によって規定される交差領域の中にある。
図3に示すように、画像センサ(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。画像センサ(310)は焦点軸(324)を有し、この焦点軸(324)は、センサの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。画像センサ(308)は、ハウジング(304)内で、軸(316)に沿って、画像センサ(310)の隣りに配置されている。画像センサ(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が集束し、アパーチャ(320)で規定された領域内で軸(324)と交差するように調整されている。画像センサ(312)は、ハウジング(304)内で、画像センサ(310)の隣りでセンサ(308)とは反対側に軸(316)に沿って配置される。画像センサ(312)の配置は、その視線が領域(322)の画像領域(332)と一致するように、そしてその焦点軸(334)がアパーチャ(320)で規定された領域に集束し、この領域内で軸(324)(330)と交差するように調整されている。画像センサ(306)は、ハウジング(304)内で、軸(316)に沿って、センサ(308)の隣りに配置されている。画像センサ(306)は、その視線が領域(322)の画像領域(336)と一致するように、そしてその焦点軸(338)がアパーチャ(320)で規定される領域に集束し、その領域内で他の焦点軸と交差するように調整されている。画像センサ(314)は、ハウジング(304)内で、センサ(312)の隣りに、センサ(306)とは反対側に軸(316)に沿って配置される。画像センサ(314)の配置は、その視線が領域(322)の画像領域(340)と一致するように、そしてその焦点軸(344)がアパーチャ(320)で規定される領域に集束し、その領域内で他の焦点軸と交差するように調整されている。
画像センサ(306)乃至(314)は、例えば、個別の領域スキャンカメラ、ラインスキャンカメラ、赤外線センサ、高スペクトルセンサ及び/又は地震センサを含む幾つかのデジタルイメージングデバイスを含むことができる。各センサは、個別のイメージングデバイスを含んでもよく、又はセンサ自体がイメージングアレイを含んでもよい。画像センサ(306)乃至(314)は、全てが同じ物であってもよく、又は様々なイメージングデバイスの組合せでもよい。以下の説明では、便宜上、画像センサ(306)乃至(314)は、カメラ(306)乃至(314)として夫々記載する。
大型フィルムカメラ又は大型デジタルカメラにおいて、イメージングの典型的な問題の原因はレンズの歪みである。個別レンズの各々は、正確な歪み率を判断するために、注意深く較正されなければならない。本発明の一実施形態では、レンズの角度幅が17度よりも小さな小型デジタルカメラを使用している。これにより、顕著な歪みが効率的且つ安価に緩和される。
或いはまた、カメラ(306)乃至(314)は、各カメラの焦点軸が、アパーチャ(320)上に集束し、焦点軸(324)と交差し、そしてその視野をアレイの夫々の位置と対向するターゲット領域と同一線上に揃うように、ハウジング(304)内で軸(316)に沿って配置されて、カメラとイメージングターゲットとの間で「斜視(cross-eyed)」の網膜的関係をもたらす。カメラアレイアセンブリ(300)は、画像領域(326)(328)(332)(336)(340)の隣り合う境界が僅かに重なるように構成されている。
取付部材(318)が恒久的に固定(例えば溶接)されている場合、アパーチャ(320)とカメラとそれらの視線との空間的関係は、画像領域(326)(328)(332)(336)(340)の空間的関係と同様、固定されたままである。そのような構造は、例えば衛星監視のように、カメラアレイアセンブリ(300)が、領域(322)から本質的に一定の距離に維持される用途に好ましい。カメラの位置と調整は、領域(326)(328)(332)(336)(340)が、領域(322)の全体範囲をイメージングできるように設定される。取付部材(318)が一時的な固定又は調節可能である場合、画像領域(326)(328)(332)(336)(340)が狭く又は広くなるように移動できるように、カメラの位置又は配列を、手操作又は遠隔からの自動操作により選択的に調節できることが好ましく、これによって、カメラアレイアセンブリ(300)によって収集された画像の質を向上させたり、変えることができる。
実施形態では、複数の、即ち少なくとも2つの剛性取付ユニットが、同じく複数の剛性取付プレートに固定されている。取付ユニットは、少なくとも1つの画像センサを取り付けることができる任意の剛構造(rigid structure)である。取付ユニットは、画像センサを囲むハウジングであることが好ましいが、支柱(brace)、三脚(tripod)等を含む任意の剛構造であってよい。本開示の目的において、画像センサは、ターゲット領域から、能動的又は受動的な放射エネルギ、即ち光、音、熱、重力等を受信及び処理できる任意のデバイスを意味する。具体的には、画像センサは、赤-青-緑フィルタ、ブッシュブルーム(bushbroom)フィルタ、又はハイパースペクトルフィルタを利用するデジタルカメラ、LIDARセンサ、赤外線センサ、熱感知センサ、グラビトメータ(gravitometer)等を任意の数だけ備えていてもよい。画像センサは、衛星データ及び/又は慣性データ(inertial data)を活用して移動体の向きを決定するのに役立つジャイロスコープ、GPSデバイス等の姿勢測定センサを含んでいない。複数の異なるセンサが用いられることが好ましい。
画像センサがカメラ、LIDAR等の画像センサである実施形態では、取付ユニットは、光及び/又はエネルギが通過できるアパーチャを有することが好ましい。取付ユニットは平坦であることが好ましいが、平坦でなくてもよい。画像センサがカメラ、LIDAR等の画像センサである実施形態では、取付プレートは、光及び/又はエネルギが通過できる取付ユニットのアパーチャと一直線上に並ぶアパーチャを有することが好ましい。
剛構造は、使用中、1度の約100分の1未満、好ましくは1度の約1,000分の1未満、より好ましくは1度の約10,000分の1未満しか曲がらないものである。好ましくは、剛構造は、通常の、即ち飛行中に乱流がない(non-turbulent)航空機に固定されている間、1度の約100分の1未満、好ましくは1度の約1,000分の1未満、より好ましくは1度の約10,000分の1未満しか曲がらないものである。通常動作中に、1度の約100分の1未満、好ましくは1度の約1,000分の1未満、より好ましくは1度の約10,000分の1未満互いに曲がる場合、対象物は互いに強固に固定されている。
カメラ(310)は主カメラとして示されている。カメラ(310)の画像面(326)は基準面(plane of reference)の役割を果たす。他のカメラ(306)(308)(312)(314)の向きは、基準面に対して計られる。各カメラの相対的な向きは、カメラの画像面を基準面に対して平行になるように回転するのに必要なヨー角度、ピッチ角度及びロール角度で計られる。回転は、ヨー、ピッチ、ロールの順であることが好ましい。
取付ユニットに固定された複数の画像センサは、同一平面内に調整されなくてもよい。代わりに、第1取付ユニットに固定された第1センサ、好ましくは第1取付ユニットの主天底カメラの取付角度に対する他のセンサの取付角度にオフセットしてもよい。従って、複数の画像センサは、各画像センサの物理的取付角度のオフセットを互いに較正するようにコレジスタ(co-registered)されてよい。実施形態において、複数の、即ち少なくとも2つの剛性取付ユニットは、同じく複数の剛性取付プレートに固定され、コレジスタされる。実施形態において、カメラ(306)乃至(314)は、剛性取付ユニットに固定され、コレジスタされる。実施形態において、AMU、好ましくはジャイロスコープの幾何学的中心点が、GPSデータ及び慣性データを用いて決定される。第1取付ユニットに固定された第1センサ、好ましくは第1取付ユニットの主天底カメラの物理的位置は、基準点、好ましくはAMUの幾何学的中心点に対して計算される。同様に、全ての取付ユニット内の残り全てのセンサの物理的位置は、同じ基準点に対して、直接的又は間接的に計算される。
センサの照準角(boresight angle)は、そのセンサの幾何学的中心からの基準面に対する角度として規定される。基準面は、ターゲット領域に直交していることが好ましい。第1センサの照準角は、地上のターゲット点を用いて決定されてよい。次のセンサの照準角は、第1センサの照準角を基準に計算されることが好ましい。センサは、写真で識別可能であることが好ましい既知の地上ターゲットを用いて較正されることが好ましく、或いはまた、米国特許出願公開第2004/0054488 A1号(現在、米国特許第7,212,938 B2号)に開示されたセルフロッキング飛行経路又はその他の任意の方法を用いて較正され、この出願公開の開示は、参照によってその全体が本明細書の一部となる。
第2取付ユニット内の画像センサは、任意の画像センサであってよく、LIDARであることが好ましい。或いはまた、第2画像センサは、デジタルカメラ、又はデジタルカメラアレイである。実施形態において、第2取付ユニットに固定されるセンサの照準角は、第1センサの照準角を基準に計算される。第2取付ユニット内の画像センサの物理的オフセットは、第1取付ユニット内の第1センサの照準角を基準に較正されてよい。
このようにして、全てのセンサは、ほぼ同じ時点(epoch)で、同じGPS信号、同じ地上ターゲットを用いて、ほぼ同じ大気条件下で較正される。これにより、各センサを、異なるGPS信号を用いて、異なる地上ターゲットに対し、異なる大気条件下で別々に較正する場合に生じる複合エラー(compound error)は、著しく低減する。
図4を参照すると、カメラ(306)乃至(314)によって夫々撮影された領域(336)(328)(326)(332)(340)の画像が、上からの視点で示されている。ここでも、「斜視(cross-eyed)」の配置であるため、領域(336)の画像はカメラ(306)によって撮影され、領域(340)の画像はカメラ(314)によって撮影される具合になる。本発明の一実施形態において、中央のカメラ(310)によって撮影された画像以外の画像は、透視変換(perspective transformation)後、台形になる。カメラ(306)乃至(314)は、軸(316)に沿ってアレイを形成し、該アレイは、殆どの用途において、垂直下向きに向けられる。別の実施形態において、カメラの第2アレイが、カメラ(306)乃至(314)のアレイと同様に構成され、カメラの第1アレイに対して調整されて、「ヘッドアップ(heads-up)」透視投影(perspective)をもたらす斜位像(oblique view)が得られる。「ヘッドアップ」カメラアレイアセンブリの水平面からの傾斜角度は、ミッション対象物及びパラメータによって変化してよいが、25〜45度の角度が一般的である。その他の別の実施形態は、カメラアレイの実装は様々であるが、同様に本発明に含まれる。このような全ての実施形態において、カメラの相対的な位置と姿勢は、本発明に従う画像処理を容易にするために、正確に測定及び較正される。
本発明の一実施形態において、外部機構(例えば、GPSタイミング信号)は、カメラを同時にトリガするために使用され、それによって入力画像のアレイがキャプチャされる。次に、モザイキングモジュールが、このようなアレイからの個々の入力画像を、隣接画像間に視覚的に認識できる継ぎ目を生ずることなく、オルソ補正された(ortho-rectified)複合画像(即ち「モザイク」)に描画する。モザイキングモジュールは一連のタスクを実行し、当該タスクは、各入力画像の地理的な境界及び寸法を決定し、各入力画像をモザイク上に、正確な地理上の位置決めをして投射し、モザイク中で画像のカラーバランス調整をし、隣接する入力画像を、それらが共有する継ぎ目にて融合することを含む。実行されるタスクの正確な順序は、入力画像データの大きさ及び性質に応じて異なってよい。特定の実施形態において、モザイキングモジュールは、モザイキング中に、元の入力画像に対して1つの変換だけを実行する。この変換は、4×4マトリクスによって表され得る。複数の変換マトリクスを単一のマトリクスにまとめることにより、処理時間は低減され、元の入力画像の鮮明さが保持される。
入力画像をモザイクにマッピングする間、特にモザイキングが高解像度で行われる場合、モザイク内のピクセル(即ち出力ピクセル)は、入力画像(即ち、入力ピクセル)のどのピクセルによってもマッピングされないことがある。モザイク内に、アーチファクト(artifacts)として、曲がった(warped)線が生じる可能性がある。本発明の特定の実施形態は、この問題をスーパーサンプリングシステムにより解消しており、このシステムでは、入力ピクセルと出力ピクセルの各々が、n×mグリッドのサブピクセルにさらに分割される。サブピクセルからサブピクセルへの変換が行われる。出力ピクセルの最終値は、そのサブピクセルの平均値であり、これに対応する入力サブピクセルが存在する。n値とm値が大きくなる程、解像度が高いモザイクを生成するが、追加の処理時間が必要となる。
画像データを処理する間、モザイキングモジュールは、下記の情報を使用することができる。入力画像がキャプチャされた時の各カメラの焦点の空間位置(例えば、x、y、z座標)、入力画像がキャプチャされた時のターゲット領域の地面(ground plane)に対する各カメラの像平面の姿勢(即ち、ヨー、ピッチ、ロール)、各カメラの視野(即ち、軌道に沿う場合と軌道を横切る場合)、及び、領域の数値地形モデル(Digital Terrain Model)(DTM)である。姿勢は、システムに連繋されたAMUによって与えられる。数値地形モデル(DTM)又は数値表面モデル(Digital surface model)(DSM)は、LIDARモジュール(118)を用いて得られる情報から生成できる。LIDARは、広く知られたレーダと同様であり、レーザーレーダと考えることができる。レーダでは、電波が大気中に送信されて、エネルギの一部が散乱してレーダの受信機へ戻される。LIDARもまた電磁放射を送受信するが、より高い周波帯で行なう。これは、LIDARは電磁スペクトルの紫外線領域、可視線領域及び赤外線領域内で動作するからである。動作中、LIDARは、光をターゲット領域に向けて送る。送られた光は、ターゲット領域と相互作用して、ターゲット領域により変化する。この光の一部は、反射/散乱してLIDAR機器に戻され、そこで分析され得る。光の特性の変化により、ターゲット領域の特徴を決定できる。光がターゲット領域に向けて出てLIDARデバイスに戻るまでの時間を用いて、ターゲットまでの距離が決定される。
DTMとDSMのデータセットはまた、カメラアレイアセンブリからキャプチャすることもできる。標高データを得る従来の手段として、ステレオグラフィック技術等を用いることもできる。
現在、LIDARには、レンジファインダ(Range finder)、差分吸収LIDAR(Differential Absorption LIDAR)(DIAL)及びドップラーLIDAR(Doppler LIDAR)の3つの基本型がある。レンジファインダLIDARは、最も単純なLIDARであり、LIDARデバイスから固体の又は硬いターゲットまでの距離を測定するために使用される。DIAL LIDARは、大気中の化学物質濃度(オゾン、水蒸気、汚染物質等)を測定するために用いられる。DIAL LIDARは、2つの異なるレーザ波長を使用しており、一方の波長は対象とする分子によって吸収されるが、他方の波長は吸収されないものを選択する。2つのリターン信号の強度の差を利用して、調査する分子の濃度を推定できる。ドップラーLIDARは、ターゲットの速度を測定するために使用される。LIDARから送信された光が、LIDARに近づく又はLIDARから離れるように移動しているターゲットに衝突すると、ターゲットから反射/散乱する光の波長は僅かに変化する。これはドップラーシフト、ひいてはドップラーLIDARとして知られている。ターゲットがLIDARから離れるように移動している場合、リターン光はより長い波長を有し(赤方偏移とも呼ばれる)、ターゲットがLIDARに近づくように移動している場合、リターン光はより短い波長を有する(青方偏移)。ターゲットは、硬いターゲットでも大気中のターゲット(例えば、風によって運ばれる微細な塵埃やエアロゾル粒子)でもよい。
カメラの焦点は、透視変換の中心として使用されることが好ましい。その空間での位置を例えば、母体の航空機に搭載された多周波キャリア位相後処理GPSシステム(multi-frequency carrier phase post-processed GPS system)によって決定することができる。カメラの焦点の3次元のオフセットが、GPSアンテナの中心に対して注意深く計られることが好ましい。これらのオフセットは、GPSアンテナの位置と母体の航空機の向きと組み合わされて、カメラの焦点の正確な位置を決定することができる。GPSアンテナの位置は、収集されたGPSデータを、正確な測量点に配備された同様の地上GPSアンテナに対して処理することにより決定されることが好ましい。
1又は複数のAMU(例えば、Applanix POS AV)を姿勢決定のために機内に搭載することが好ましい。ターゲット領域の地面に対するAMU基準面の姿勢を、短い間隔で、1度の100分の1よりも良好な精度で測定及び記録することが好ましい。AMU基準面の姿勢は、この平面を地面と平行にするために平面の軸に対して行われる一連の回転として規定されてもよい。「調整(align)」という用語を、この操作を説明するために使用することもある。
AMUに対する中央カメラ(310)(即ちその像平面)の姿勢は、正確に較正されることが好ましい。中央カメラ(310)に対する他の各カメラの姿勢もまた、注意深く較正されることが好ましい。この従属的な較正は、各カメラを直接較正するよりも効率的である。カメラアレイアセンブリ(300)が再搭載される場合、中央カメラ(310)だけが再較正を必要とする。中央カメラ(310)からの入力画像に、一連の2回の変換を施すことが効率的である。先ず、中央カメラの像平面をAMU平面に対して調整する。次に、AMU平面を地面に対して再び調整する。しかしながら、これらの変換は、各々の変換マトリクスを乗じることによって単一動作にまとめられる。その他の各カメラからの画像については、追加の変換が初めに実行されて、中央カメラの像平面に揃えられる。
中央カメラ(310)の焦点の位置は、上記のように決定できる。この位置のx成分とy成分が、地上におけるモザイクの天底点(nadir point)(400)の位置を決定することが好ましい。各カメラの視野(FOV)角度がわかっているので、カメラの焦点のz成分によって各入力画像の寸法を決定できる。地面の平均標高は、その領域のDTMでの平均標高地点を演算することによって決定され、その後、この標高の想像上の水平面に各入力画像を投影する。次に、領域のDTMを使用して、起伏の変位(relief displacement)を適用することが好ましい。DTMは、多くのソースから得られ、ソースとしては、米国の大部分で利用可能なUSGS 30−メートルやUSGS 10−メートルのDTM、商業用のDTM、又はカメラによりデータを同時にをキャプチャする母機に搭載されたLIDARやSAR EMUデバイスによって得られるDTMが挙げられる。
地理的に正しく配置されることに加えて、得られる複合画像はまた、全体を通し放射計測的一貫性(radiometric consistency)を有するように、そして2つの隣接する画像間の接合部に視覚的に認識できる継ぎ目がないようにする必要がある。本発明は、この目標を達成するための幾つかの技術を提供する。
従来のカメラの特徴として、露光時間(即ち、像平面に光を集めるためにシャッタを開いている時間)が挙げられる。露光時間が長ければ長いほど、得られる画像は明るくなる。露光時間は、雲の範囲、カメラに対する太陽の角度と位置等の条件によって生じる周囲光の明るさの変化に適合させなければならない。最適な露光時間は、光源に対するカメラの向きにも依存することがある(例えば、太陽に照らされた対象物の方に向けられているカメラは通常、日陰にある対象物の方に向けられているカメラよりも周囲光を多く受ける)。露光時間は、画像の平均強度を所望の範囲内に維持するように調整される。例えば、24ビットのカラー画像では、赤、緑及び青の各成分が、0〜255の強度値を有し得る。しかしながら、殆どの場合、平均強度を平均値(即ち127)に維持することが望ましい。
本発明では、露光制御モジュールが、各カメラ又は各画像センサの露光時間を制御する。露光制御モジュールは、各入力画像を検査し、平均画像強度を計算する。移動平均(即ち、直近のX個の画像の平均強度)に基づいて、露光制御モジュールは露光時間を増加するか減少するかを決定する。このモジュールは、より長い移動(running)平均を用いて照明条件の変化に対する反応を遅くできるので、異常に暗い画像又は明るい画像(例えばアスファルト道路又は水)に対してあまり影響を受けない。露光制御モジュールは、各カメラの露光時間を別々に制御する。
前進運動補償機構(forward-motion compensation mechanisms)を備えていないカメラが取り付けられているシステムでは、露光時間に最大限度を設けなければならない。露光時間を最大値よりも大きな値に設定すると、動きによるぼやけ(blurriness)が生じることがある。例えば、カメラが、170マイル/時(即ち約3インチ/ms)で移動する飛行機に搭載されていると仮定する。所望のピクセル解像度が6インチであると仮定する。画像キャプチャ中の前進運動は、ピクセルサイズの半分に制限されるべきであり、この場合3インチである。このため、この例での最大露光は1ミリ秒である。
イメージングの質を制御する際、光強度の変化が周囲光の変化に起因して生じているのか、異常に明るい対象物又は暗い対象物(例えば、反射する水塊(water body)、金属製の屋根、アスファルト等)の存在に起因して生じているのかを判断できることは有用である。本発明の用途には、空中での撮影又は監視が含まれる。地面の航空画像には通常、植物や植生を含んでいることが観察され、これらは水塊又は道路や建物のような人工構造物よりも反射率が一定している。勿論、植物や植生の画像は通常、緑色に支配されている(即ち、緑成分が、赤、緑及び青の値の中で最も大きい)。従って、緑が支配的なピクセルに焦点を当てることにより、強度相関をより正確にすることができる。
露光制御モジュールは、緑が支配的なピクセルだけを選択することによって、画像の平均強度を演算する。例えば、画像が100万ピクセルを有し、300,000ピクセルについて緑が支配的である場合、緑が支配的なこれら300,000ピクセルだけが平均強度の計算に含まれる。その結果、イメージング処理は、通常はピクセルについて緑が支配的でないような人造の建物及び水塊によって引き起こされるバイアス(biasing)に対して、あまり影響されない。前述したように、約127の強度値を維持することが望ましい。強度値が127を越えると(即ち、過剰露光)、露光時間が短くなり、捕捉される光が少なくなる。同様に、強度値が127を下回ると(即ち、露光不足)、露光時間が長くなり、捕捉される光が多くなる。例えば、白い屋根が多くあって、強度が非常に高いターゲット地形領域上を飛行するシステムについて検討する。キャプチャされる画像の平均強度は高くなる傾向があるだろう。殆どの従来システムにおいて、露光時間は、補償するために短くされるだろう。しかしながら、前記の例では、露光時間を短くすることは妥当でない。その理由は、屋根の明るさによって、画像の平均強度がバイアスされているためである。露光時間を短くすると、地面が実際よりも暗くなっている画像をもたらすだろう。これに対し、本発明に従って、緑が支配的なピクセルだけを処理すると、過度に明るい屋根を表すピクセルが平均強度をバイアスして、露光時間は変化しない。
このため、露光制御モジュールは、入力画像間の強度差を少なくする。それでもなお、色調(tonal)バランスを向上させるために、さらなる処理が行われる。像平面から不均一な光を受ける要因は幾つかある(例えば、レンズ仕様(lens physics)、大気条件、イメージングデバイスの空間/位置関係)。カメラ又はセンサの中央部は、縁部よりも多くの光を受ける。
本発明のモザイキングモジュールは、このことをビグネッティング防止関数(anti-vignetting function)で対処しており、これについて、図5を参照して説明する。幾つかの焦点カラム(focal column)(500)(502)(504)(506)(508)が、像平面(509)から集束して焦点(510)で交差し、イメージングするターゲット領域(512)(例えば、地形)の範囲に亘って広がっている。カラム(500)乃至(508)は、単一のカメラ又はセンサの個々の解像カラムであってよく、又は独立した幾つかのカメラ又はセンサの焦点軸を表してもよい。参考の目的で説明すると、カラム(504)が軸として機能し、カラム(504)が像平面(509)と交差する点(513)が主位置として機能する。露光制御モジュールは、ビグネッティング防止関数を適用して、入力ピクセルの元の強度と、カラム依存したビグネッティング防止因数を乗じる。受光面は座標系を持つ平面として表されるから、各カラムは幾つかの分解ロー(resolution rows)を有している(図示せず)。この関係は、カラムx及びローyのピクセルpについて、次のとおり表すことができる:
<調整された強度>=<元の強度>*f(x);
但し、f(x)は形状関数(function of the form)である:
f(x)=cos(軸外角度(off-axis angle))**4
軸外角度(514)は、中央カラム(504)ではゼロであり、カラム(502)とカラム(506)ではより大きく、カラム(500)とカラム(508)ではさらに大きい。全体の視野角度(516)(FOV角度)がカラム(504)とカラム(508)の間に示されている。
関数f(x)は、幾つかの線セグメントによってカラム間で近似できる。任意のカラムc1とカラムc2間の線セグメントの範囲内にある点に関して、調整係数が次のように演算される:
<cの調整係数>=f(c1)+[f(c2)−f(c1)*(c−c1)/(c2−c1)];
但し、f(c1)及びf(c2)は夫々カラムc1及びカラムc2の軸外角度のf関数値である。
入力画像の各セットをモザイク画像にステッチする(stitched)必要がある。露光制御モジュールが各カメラ又はセンサの受光量を調節するにしても、得られる入力画像は強度について異なったままであることがある。本発明は、隣接する入力画像間の重なり領域を比較して、相対強度のさらなるバランス調整を行う強度バランスモジュールを提供する。隣接する入力画像を同時に得るから、重なり領域は理論上、双方の入力画像において同じ強度を有するはずである。しかしながら、様々な要因により、強度値は通常同じではない。強度差を生じさせる幾つかの要因として、例えば、露光制御モジュールが特定のカメラだけの視野に存在する異常に明るい対象物又は暗い対象物によってバイアスされることや、カメラのボアサイト角度が異なる(即ち、傾斜の大きいカメラは、より垂直なカメラよりも受光量が少ない)ことを挙げることができる。
2つの隣接する画像をバランス調整するために、一方を基準画像(reference image)として選択し、他方を二次的画像とする。例えば次のプロセスを用いて、相関ベクター(fR、fG、FB)を決定する。Vを、ピクセルの値(R、G及びB)を表す3×1ベクトルとする:
Figure 2014511155
相関マトリクスCを次のように導き出すことができる:
Figure 2014511155
但し、FR=AvgIr/AvgInであり、AvgIrは基準画像内の重なり領域の平均赤強度であり、AvgInは新画像内の重なり領域の平均赤強度であり、FGとFBについても同様に導き出される。
相関マトリクスは、二次的画像の重なり領域の平均強度が、基準画像の重なり領域の平均強度と同一になるように、二次的画像のピクセル値を増減する(scale)。第2画像は、ピクセル値に相関マトリクスを乗ずることにより、基準画像とのバランス調整を行うことができる。
このため、本発明に従うバランス処理の一実施例では、中央画像が基準画像されている。基準画像は、まず、複合画像(又はモザイク)にコピーされる。基準画像と隣接画像(例えば、すぐ左の画像)との重なり領域が相互に関連づけられて、バランス相関マトリクス(BCM)を演算する。BCMは、重なり領域の強度を双方の画像で一致させるために、隣接画像のピクセルを表すベクトルと乗算される。この関係の一実施形態を、次のように表すことができる:
I(中央)=中央画像の重なり領域の平均強度、とし、
I(隣接)=隣接画像の重なり部分の平均強度、とすると、
バランス係数=I(中央)/I(隣接)、となる。
各カラーチャンネル(即ち、赤、緑及び青)のバランス係数は、個別に演算される。これら3つの値がBCMを形成する。バランス処理された隣接画像は、モザイクにコピーされる。コピーされた画像の境界での滑らかな移行(transitioning)が、マスクで「フェザリング(feathering)」することでなされている。このマスクは、隣接画像と同じ大きさを有し、幾つかの要素を含んでいる。マスク中の各要素は、モザイク内の対応する隣接画像ピクセルの重みを示す。重みは、境界のピクセルでは0であり(即ち、出力値は基準画像からとられる)、選択した混合幅(chosen blending width)に達した後、1(unity)になるまで、隣接画像の方向に徐々に増大する。混合領域を越えると、隣接画像のピクセルによってモザイクが完全に決定される。同様に、他の全ての構成入力画像間の重なり部分に対しても分析、処理されて、相関ベクトルを演算し、画像強度がバランス調整される。
例えば、次のプロセス(図6を参照)を用いて相関マトリクスを決定する。図6は、本発明に従って生成されるストリップ(600)を示している。基本モザイク(602)と新モザイク(604)が、経路(又は軌道)(606)に沿って追加され、領域(308)内で互いに重なっている。以下のVを、ピクセルのR値、G値及びB値を表すベクトルとする:
Figure 2014511155
hを、領域(608)の移行幅(transition width)とし、yを、重なり領域の境界(610)から点Aまでの軌道(606)に沿う距離とすると、そのピクセル値はVによって表される。以下のCを相関マトリクスとする:
Figure 2014511155
バランス調整したV値を、V'する:
0<y<hの場合、V’=[y/h.I+(1−y/h).C]×V;
y>=hの場合、V’=V;
但し、Iは単位マトリクス(identity matrix)である:
Figure 2014511155
「フェザリング」技術はまた、視覚的に認識される継ぎ目を小さくするために、勾配(gradient)と組み合わせて使用されることに留意すべきである。
モザイクが長い場合、重なり部分の強度差は、モザイクの一端から他端まで変化することがある。視覚的に認識される継ぎ目ができないように単一の相関ベクトルを演算することはできないこともあろう。モザイクは、モザイクを構成する元の入力画像の位置に対応する幾つかのセグメントに分割できる。上記プロセスは、各セグメントに別々に適用されて、色は局部的により一致するようになる。
このように精密なアルゴリズムの下では、(南北の飛行経路を仮定すると)2つのセグメントの境界にあるピクセルは、垂直な継ぎ目を生成する可能性がある。この問題を回避するために、この領域内のピクセルのバランス係数は、一方のセグメントのバランス係数から他方のセグメントのバランス係数まで「移行」されなくてはならない。これについては、図7を参照して説明する。
図7は、本発明に従って生成されるストリップ(700)を示している。基本モザイク(702)と新セグメント(704)が領域(706)において重なっている。モザイク(702)と別の新セグメント(708)が領域(710)において重なっている。セグメント(704)とセグメント(708)が領域(712)において重なり、領域(706)(710)(712)は全て領域(714)にて重なり、一致している。説明の都合上、点(716)を、y軸(718)とx軸(720)の原点とする。y軸(718)に沿う移動は、イメージングシステムの飛行経路に沿う移動を表している。点(716)は、領域(714)の左下に位置している。
本発明によれば、ストリップの次元は、構成モザイクの最小値xと最大値yによって決定される。出力ストリップは背景色に初期化される。第1モザイクはストリップに移される。次に、隣の(飛行経路に沿う)モザイクが処理される。新モザイクと第1モザイクの重なり領域の強度値は、カラーチャンネル毎に個別の相関関係がある。新モザイクは、モザイクを構成した元の入力画像に対応している幾つかのセグメントに分割される。幾つかのマスク要素を含むマスクマトリクスが、新モザイクに対して生成される。マスク要素は、新モザイク内の対応するピクセルに対する相関マトリクスを含んでいる。マスクにおける全ての要素は、1に初期化される。マスクの大きさを、新モザイクの移行領域だけに制限できる。中央セグメントに対応するマスク領域が処理される。重なり領域の端部における要素の値が、相関ベクトルに設定される。次に、第1モザイクからストリップに沿って徐々に離れていくと、相関マトリクスの成分が、所定の移行距離にて1になるまで、増大又は減少される(1よりも夫々小さい又は大きい)。次に、中央セグメントに隣接するセグメントに対応するマスクの領域が同様に処理される。しかしながら、第1モザイクによって形成される領域(714)と、新画像の中央セグメント及び隣接セグメントは、特別な処理を必要とする。隣接セグメントに対する相関マトリクスが中央セグメントの相関マトリクスと同一でないことにより、第1モザイクとの重なり領域(714)における2つのセグメントの境界に、継ぎ目が現れることがある。従って、コーナー部は、双方のセグメントの相関マトリクスにより影響を受ける。中央セグメントとの境界までの距離xと、重なり端部までの距離yにあるマスクセルAに対して、その相関マトリクスは、2つのセグメントの距離加重平均(distance-weighted average)であり、次のように評価される:
領域(714)内で中央セグメントの境界までの距離xのピクセルA(x,y)に対して、そのバランス調整された値が、2つのセグメントを用いて演算された値の距離加重平均として演算され;
V1は、セグメント(704)に基づいてバランス調整されたRGBベクトルであり;
V2は、セグメント(708)に基づいてバランス調整されたRGBベクトルであり;
V’は、バランス調整された(最終)RGBベクトルの和
V’=((d−x)/d).V1+(x/d).V2
であり;
x軸は、重なり領域の底部を通る線であり、
y軸は、セグメント(704)とセグメント(708)の重なり領域の左側を通る線であり、
hは、移行幅であり、
dは、セグメント(704)とセグメント(708)の重なり領域の幅である。
他の隣接セグメントに対応するマスク領域も同様に演算される。
さらに、本発明では、色忠実度(color fidelity)(即ち、ホワイトバランス)フィルタが適用される。このフィルタは、色忠実度を高めるために、R成分とB成分を決定可能な因子(determinable factor)と乗算する。この因子は、カメラとレンズを較正することによって決定できる。色忠実度フィルタは、画像の色がそれら忠実度を、人間の目で直接感知されるように保持することを保証する。画像キャプチャ装置中で、赤、緑及び青の受光要素が、キャプチャされることになっている色に対する感度と異なることがある。白色対象物の画像がキャプチャされる場合に、「ホワイトバランス」処理が適用される。理論上、その白色対象物の画像のピクセルは、R値、G値及びB値が等しいべきである。しかし実際には、感度の相異や他の要因によって、R、G及びB毎の平均の色値は夫々、avgR、avgG及びavgBとなることがある。カラー成分を等しくするために、ピクセルのR値、G値及びB値は、下記の比率が乗算される:
R値は、比率avgG/avgRが乗算され;
B値は、比率avgG/avgBが乗算される。
最終結果は、白色対象物の画像のRGB成分が等しくなるように設定されたものである。
殆どの用途において、ストリップは通常、広い非水面領域をカバーする。このため、ストリップの平均強度は、高反射性の表面のような異常例(anomalies)によって歪められる可能性が少ない。本発明は、平均と標準偏差が所望の値となるように、各ストリップの平均強度を正規化する強度正規化モジュール(intensity normalization module)を提供する。例えば、平均値127が写真測量法の標準である。標準偏差51は、画像の特徴を視覚認知するのに最適な範囲に亘って強度値を広げるのに有用である。各ストリップは、異なる照明条件において撮影されることがあるので、異なる画像データプロファイル(即ち、平均強度及び標準偏差)を有することがある。本モジュールは、ストリップを、全てが同じ平均及び標準偏差を有するように正規化する。これにより、ストリップは、継ぎ目が見えないようにまとめてステッチされる。
この強度正規化は、R、G及びBの各チャンネル、及び全チャンネルに対する平均強度の計算を含んでいる。その後、全体の標準偏差が演算される。各ピクセルの各R値、G値及びB値が、新たな平均及び標準偏差に変換される:
新値=新平均+(旧値−旧平均)*(新標準偏差/旧標準偏差)
次に、複数の隣接するストリップを組み合わせて、対象領域のタイルモザイク(tiled mosaic)が生成される。完成したタイルは、USGSカッド(USGS quads)又は4分の1カッド(quarter-quads)に対応できる。ストリップをモザイクにステッチすることは、モザイクをまとめてステッチしてストリップを生成することと同様であって、ここではストリップがモザイクの役割を果たしている。2つのストリップ間の継ぎ目ライン(seam line)では、ラインがビルや橋等の高架構造物を横切っている場合に問題が生じることがある。これは写真測量法では古典的な問題であり、2つの異なる視点から見られる同じ対象物によって引き起こされる視差(parallax)から生じるものである。ビルのイメージング中、例えば、一方のストリップは、ビルの一方の側からのビューを表す一方で、別のストリップは、ビルの別の側からのビューを表す。画像がまとめてステッチされた後、得られたモザイクは、テント小屋(tepee)のように見えるかもしれない。この問題に対処するために、地形案内型モザイキング処理(terrain-guided mosaicing process)を実行して、継ぎ目ラインの配置(placement)が案内される。例えば、画像データと共に収集したLIDARデータやDEMデータ、又は画像データから分析したLIDARデータやDEMデータを処理して、それらが一緒にモザイキングされる際に、画像の構成及び形状を決定されてよい。このため、モザイク画像の中には、継ぎ目ラインが直線ではなく、高架構造物を蛇行するように前後にシフトする継ぎ目ラインを含むものもある。
図8を参照すると、前述の本発明に基づいたイメージング処理(800)の一実施形態が示されている。処理(800)は、収集された1又は複数の未処理(raw)の一連の画像(802)で開始する。画像(802)はその後、ホワイトバランス調整処理(804)によって処理され、一連の中間画像に変換される。次に、一連の画像(802)は、オルソ補正(Orthorectification)処理(808)に進む前に、ビグネッティング防止機能(806)によって処理される。前述したように、オルソ補正は、画像センサシステム又はプラットフォームからの位置及び姿勢データ(810)と、DTMデータ(812)とに依存してよい。DTMデータ(812)は、位置データ(810)から、例えば、USGS DTMデータ(814)又はLIDARデータ(816)から作られてよい。一連の画像(802)はここでオルソ補正され、カラーバランス調整(818)が続く。カラーバランス調整後、一連の画像(802)は、モザイキングモジュール(820)により、複合画像(822)に変換される。モジュール(820)は、この変換中、モザイキング処理とフェザリング処理を実行する。ここで、1又は複数の複合画像(822)はさらに、ステップ(824)において、勾配を用いたモザイキングとフェザリングによって、画像ストリップ(826)に組み合わされる。強度正規化(828)によって画像ストリップが処理される。ここで正規化されたストリップ(828)は、ステップ(830)において勾配を含むモザイキングとフェザリングとによって再びモザイキングされ、最終タイルモザイク(832)を描画する。ステップ(830)において行われるモザイキングは、DTMデータ(812)又はLIDARデータ(816)に基づく地形案内型モザイキングを含んでよい。
図9は、カメラアレイアセンブリで撮影された写真が、如何にして調整されて、個々のフレームを生成できるかを図式的に示すものである。本実施形態は、5台のカメラからのオルソ補正されたデータを用いており、移動体から見下ろしたフォトパター(photo patter)図を示している。
図10は、本発明の特定の実施形態に従う処理ロジックのブロック図である。ブロック図(1000)に示すように、処理ロジックは1又は複数の入力を受け取る。1又は複数の入力としては、標高測定値(1002)、姿勢測定値(1004)、並びに/又はフォト及びセンサイメージ(photo and sensor imagery)(1006)が挙げられる。ブロック(1008)に示すように、分析前に、特定の入力が最初の処理ステップに通されてよく、そこで姿勢測定値が地上制御点からのデータと合成される。標高測定値(1002)と姿勢測定値(1004)が合成されて、処理された標高データ(1010)が生成される。処理された標高データ(1010)がその後使用されて、標高DEM(1014)及びDTM(1016)を生成される。同様に、姿勢測定値(1006)がフォト及びセンサ画像(1006)と合成されて、地理的(georeferenced)画像(1012)が生成され、該画像には、次に、画像処理(1018)が施される。画像処理(1018)は、色のバランス調整及び勾配フィルタリングを含んでよい。
使用されるデータセット(1020)に応じて、DTM(1016)又はUSGS DEM(1022)の何れかが、処理された画像(1018)と組み合わされ、オルソ補正された画像(1024)を生成する。オルソ補正された画像(1024)はその後、セルフロッキング飛行ライン(1026)に送られる。その後、バランス調整投影モザイキング(balancing projection mosaicing)(1028)が続き、最終的なフォト出力(1030)を生成する。
本発明は、側方向オーバーサンプリング(lateral oversampling)をある程度用いて、出力品質を向上させる。図11は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1100)の図であり、最小の側方向オーバーサンプリングを示している。この図では、中央カメラに割り当てられた中央天底領域(1102)が、左側天底領域(1104)及び右側天底領域(1106)とほんの僅かに重なっているが、この重なりは最小限にされている。図12は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1200)の図であり、より大きな度合いの側方向オーバーサンプリングを示している。この図では、中央天底領域(1202)は、左側天底領域(1204)及び右側天底領域(1206)とかなりの程度で重なっている。
図11及び図12に示す側方向オーバーサンプリングを使用することに加えて、本発明は、飛行ラインオーバーサンプリングを同様に用いてよい。図13は、本発明の特定の実施例に基づいた、移動体から見下ろした飛行ラインオーバーサンプリングパターン(1300)の図であって、ある程度の飛行ラインオーバーサンプリングと最小の側方向オーバーサンプリングとを示している。中央天底領域(1302)(1304)は、飛行ラインに沿って互いに重なっているが、左側天底領域(1306)(1308)と、又は右側天底領域(1310)(1312)と、側方向に重なっていない。
図14は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインオーバーサンプリングの図であり、大幅な飛行ラインオーバーサンプリングと大幅な側方向オーバーサンプリングを示している。中央天底領域(1402)乃至(1406)の各々はお互いに、さらには、左側天底領域(1408)乃至(1412)及び右側天底領域(1414)乃至(1418)と、大幅に重なっていることがわかる。左側天底領域(1408)乃至(1412)は互いに重なっており、右側天底領域(1414)乃至(1418)も同様である。従って、表面上の各点は、少なくとも2回、場合によっては4回もサンプリングされる。この技術では、異なるカメラセンサによって2回以上カバーされる画像領域において、側方向(経路を横切る方向)と飛行ライン方向(経路に沿う方向)に画像解像度を倍増させることで、解像度を全体で4倍にできる。実際には、画像/センサ解像度の向上は、各次元において2倍よりも幾らか低く、各次元でおよそ40%であり、又は1.4×1.4=約2倍である。これは、サブピクセルのアライメント/向きの統計的変動によるものである。実際、ピクセルのグリッドは、重なったピクセルのグリッドから正確に等距離であることは殆どない。非常に精密な側方向のカメラセンサのアライメントがサブピクセルレベルで行われるのであれば、画像解像度の4倍増が実現できるであろう。
図15は、本発明の特定の実施形態に従う、移動体から見下ろした累加的拡大(progressive magnification)パターン(1500)の図である。中央天底領域(1502)は、その左縁部と右縁部にて夫々、左内側天底領域(1504)及び右内側天底領域(1506)と境界をなしている。左内側天底領域(1504)は、その左縁部にて、左外側天底領域(1508)と境界なす一方、右内側天底領域(1506)は、その右縁部にて、右外側天底領域(1510)と境界をなしている。なお、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。
図16は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1600)の図である。中央天底領域(1602)は、その左縁部と右縁部にて夫々、左内側天底領域(1604)及び右内側天底領域(1606)と境界をなしている。左内側天底領域(1604)は、その左縁部にて、左外側天底領域(1608)と境界をなす一方、右内側天底領域(1606)は、その右縁部にて、右外側天底領域(1610)と境界をなしている。上記の如く、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。天底領域(1604)乃至(1610)の内部には夫々、グレーで陰影を付けて示す中央画像領域(1614)乃至(1620)がある。
図17は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1700)の図である。パターン(1700)の中央において、左内側天底領域(1702)と右内側天底領域(1704)が中央で重なっている。左中間天底領域(1706)及び右中間天底領域(1708)は夫々、領域(1702)及び領域(1704)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約50%共有している。左外側天底領域(1710)及び右外側天底領域(1712)は夫々、領域(1706)及び領域(1708)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約50%共有している。中央画像領域(1714)は、パターン(1700)の中央に配置されており、天底領域(1702)乃至(1712)の中央部分で構成されている。
図18は、本発明の特定の実施形態に基づいており、システム(1800)の構成の概略図を示している。システム(1800)は、1又は複数のGPS衛星(1802)及び1又は複数のSATCOM衛星(1804)を含んでよい。また、1又は複数のGPS位置システム(1806)を含んでよく、該システム(1806)は、1又は複数のモジュール(1808)と動作可能に接続されており、該モジュール(1808)は、LIDAR、GPS及び/又はX、Y、Zの位置データを収集し、この情報を1又は複数のデータキャプチャシステムアプリケーション(1812)に供給する。DGPS(1810)は、1又は複数のSATCOM衛星(1804)と無線通信リンク(1826)を通じて通信する。1又は複数のSATCOM衛星(1804)は、1又は複数のデータキャプチャシステムアプリケーション(1812)と通信できる。
1又は複数のデータキャプチャシステムアプリケーション(1812)は、オートパイロット(1816)、SSD及び/又はRealTime StitchGシステム(1820)とインターフェースしてよく、これらは互いに相互作用することもできる。SSD(1814)は、RealTime DEM(1818)と動作可能に接続されてよい。最後に、RealTime DEM(1818)及びRealTime StitchGシステム(1820)は、ディスクアレイ(1824)等の格納デバイスと接続されてよい。
本発明は、コマウントされ、コレジスタされるオーバーサンプリングをある程度用いて、ピクセル解像度の物理的限界を克服できる。図19は、本発明の特定の実施形態に基づいており、移動体から見下ろしている単一のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(1900)の図であり、最小限の側方向オーバーサンプリングを示している。カメラは、垂直方向のサイドラップ(sidelap)領域(1904)(1908)において少し重なっている。図19は3台のカメラのアレイを示しており、これらサブピクセル較正技術は、較正されている2乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。
図3及び図4の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び/又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。これにより、初期の「精密な(close)」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。
図19を参照して、符号A、B及びCを付した矩形は、3台のカメラのアレイC−B−A(図示せず)からの画像領域(1902)(1906)(1910)を表している。カメラA乃至C(図示せず)によって撮影された領域(1902)(1906)(1910)の画像を夫々俯瞰図として示している。ここでも、図3及び図4と同様に、「斜視(cross-eyed)」の配置であるため、領域(1902)の画像は右側カメラAによって撮影され、領域(1906)の画像は中央/天底カメラBによって撮影され、領域(1910)の画像は左側カメラCによって撮影される。カメラA乃至Cはアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
図19において、A/B及びB/Cサイドラップが付されたハッチング領域は夫々、画像重なり領域(1904)(1908)を表している。左側画像重なり領域(1904)は、右側カメラAが中央/天底カメラBとオーバーラップしている領域であり、右側画像重なり領域(1908)は、左側カメラCが中央/天底カメラBとオーバーラップしている領域である。これらサイドラップ領域(1904)(1908)において、カメラセンサのグリッドは、重なり領域(1904)(1908)の各ピクセルを両断(bisect)し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(1904)(1908)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度は、各次元において2倍、即ち2×2=4倍向上する。この画像解像度の4倍増の向上により、隣接するカメラ間のアライメント精度も4倍向上する。
さらに、隣接するカメラ間のアライメント精度を4倍増にすることで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラとセンサは、前述のように、剛性取付プレートに固定される剛性取付ユニットに固定されている。具体的に、剛性取付ユニットに固定されている隣接するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
重なっている2列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)を図20に示す。具体的には、図20は、本発明の特定の実施形態に基づいており、移動体から見下ろしており、オーバーラップしている2列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)の図であり、最大限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2006)(2008)(2014)(2016)において少し重なっており、対応しているカメラは、画像領域(2002)(2010)(2018)(2004)(2012)(2020)において完全に重なっている。図20は3台のカメラの2列のアレイを示しているが、これらサブピクセル較正技術は、較正されている2乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。
図3及び図4の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び/又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。本実施形態において、複数の、即ち少なくとも2つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にアップデートできる。
図20を参照して、符号A、B及びCを付した矩形は、オーバーラップしている2列に3台のカメラのアレイC−B−A(図示せず)からの画像領域(2002)(2010)(2018)及び(2004)(2012)(2020)を夫々表している。カメラA乃至C(図示せず)及びオーバーラップしているカメラA’乃至C’(図示せず)によって夫々撮影された領域(2002)(2010)(2018)及び(2004)(2012)(2020)の画像を俯瞰図として示している。ここでも、図3及び図4と同様に、「斜視」の配置であるため、領域(2002)の画像は右側カメラAによって撮影され、領域(2010)の画像は中央/天底カメラBによって撮影され、領域(2018)の画像は左側カメラCによって撮影される。さらに、領域(2004)の画像は右側カメラA’によって撮影され、領域(2012)の画像は中央カメラB’によって撮影され、領域(2020)の画像は左側カメラC’によって撮影される。カメラA乃至C及びオーバーラップしているカメラA’乃至C’はアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
図20において、A/B及びB/Cサイドラップが付されたハッチング領域は夫々、オーバーラップしている2つの画像重なり領域(2006)(2008)及び(2014)(2016)を表している。左側画像重なり領域(2006)(2008)は夫々、右側カメラAが中央/天底カメラBとオーバーラップしており、右側カメラA’が中央カメラB’とオーバーラップしている領域である。右側画像重なり領域(2014)(2016)は、左側カメラCが中央/天底カメラBとオーバーラップしており、左側カメラC’が中央カメラB’とオーバーラップしている領域である。これらサイドラップ領域(2006)(2008)及び(2014)(2016)において夫々、カメラセンサのグリッドは、重なり領域(2006)(2008)及び(2014)(2016)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)及び(2014)(2016)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度は、各次元において2倍、即ち2×2=4倍向上する。前述のように、この画像解像度の4倍増の向上により、隣接するカメラ間のアライメント精度も4倍向上する。
オーバーラップしている2列のカメラアレイを含むことによって、重なっているサイドラップの重なり領域(2006)(2008)及び(2014)(2016)についても画像解像度は事実上4倍になる。これにより、驚くべきことに、システム(100)の較正及びカメラアライメントにおいて全体的に64倍向上する。
重なっているサイドラップの領域(2006)(2008)において、オーバーラップしているカメラセンサのグリッドは、サイドラップの領域(2006)(2008)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)の画像解像度が事実上4倍になる。同様に、重なっているサイドラップの領域(2014)(2016)において、オーバーラップしているカメラセンサのグリッドは、サイドラップの領域(2014)(2016)の各ピクセルを両断し、これにより、これら領域(2014)(2016)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度はここでも、各次元において2倍、即ち2×2×2×2×2×2=64倍向上する。この全体としての画像解像度の64倍増の向上により、隣接するカメラ間のアライメント精度も64倍向上する。
隣接し、対応するカメラ間のアライメント精度が64倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラA乃至C、及び所望により他のセンサは、第1の剛性取付ユニットに固定され、カメラA’乃至C’、及び所望により他のセンサは、第2の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第1及び/又は第2の剛性取付ユニットに固定されている、隣接するカメラ及び/又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
オーバーラップしている2列のカメラアレイを含むことによって、A/B及びB/Cのサイドラップの重なり領域についてだけでなく、全体の画像について、画像解像度は事実上4倍になる。図20を参照して、「重なりグリッド4×」が付された重なりグリッド細部は、右側画像領域(2018)(2020)の重なり領域(2022)(2024)を夫々表している。重なっている領域(2022)(2024)において、オーバーラップしているカメラセンサのグリッドは、重なり領域(2022)(2024)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2022)(2024)の画像解像度が事実上4倍になる。実際には、画像解像度は、各次元において2倍、即ち2×2=4倍向上する。
好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはRGB(red-green-blue)用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、1列のカメラアレイがRGB用、その他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。
従って、前述した図19の実施形態について特定された(identified)改善(即ち、4倍)は全て、図20の実施形態に適用されるが、システム(100)の較正精度及び全体の画像解像度に対して、さらなる大きな改善(即ち、64倍)を、重なっている2列のカメラアレイによって実現できる。
図21は、本発明の特定の実施形態に基づいており、移動体から見下ろしている2列のカメラアレイ(112)について、前面方向及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図である。具体的には、図21は、本発明の特定の実施形態に従う、移動体から見下ろしており、オーバーラップしている2列のカメラアレイ(112)について、前面方向及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図であり、最小限の前面方向及び最小限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2104)(2108)(2124)(2128)において少し重なっており、対応するカメラは、水平方向のサイドラップ領域(2112)(2116)(2120)に沿って少し重なっている。図21は、3台のカメラの2列のアレイを示しているが、これらサブピクセル較正技術は、較正されている2以上の任意の数のカメラの任意の数のカメラセンサを有し、オーバーラップしている2列のカメラアレイを用いる際も同様に上手く機能する。
図3及び図4の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び/又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。本実施形態において、複数の、即ち少なくとも2つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にアップデートできる。
図21を参照して、符号A、B及びCを付した矩形は夫々、3台のカメラのアレイC−B−A(図示せず)からの画像領域(2102)(2106)(2110)を表し、矩形D、E及びFは夫々、3台のカメラのアレイF−E−D(図示せず)からの画像領域(2122)(2126)(2130)を表している。カメラA乃至C(図示せず)によって夫々撮影された領域(2102)(2106)(2110)の画像、及びカメラD乃至F(図示せず)によって夫々撮影された領域(2122)(2126)(2130)の画像を、俯瞰図として示している。ここでも、図3及び図4と同様に、「斜視」の配置であるため、領域(2102)の左後側画像は右後側カメラAによって撮影され、領域(2106)の中央後側画像は後側の中央/天底カメラBによって撮影され、領域(2110)の右後側画像は左後側カメラCによって撮影される。さらに、領域(2122)の左前側画像は右前側カメラDによって撮影され、領域(2126)の中央前側画像は中央前側カメラEによって撮影され、領域(2020)の右前側画像は左前側カメラFによって撮影される。カメラA乃至C及びオーバーラップしているカメラD乃至Fは、アレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
図21において、垂直なハッチング領域は、4つの画像重なり領域(2104)(2108)(2124)(2128)を表している。左後側画像重なり領域(2104)は、右後側カメラAが中央/天底カメラBとオーバーラップしており、右後側画像重なり領域(2108)は、左後側カメラCが中央/天底カメラBとオーバーラップしている領域である。左前側画像重なり領域(2124)は、右前側カメラDが中央/天底カメラEとオーバーラップしており、右前側画像重なり領域(2128)は、左前側カメラFが中央カメラEとオーバーラップしている領域である。
図21を参照して、「サイドラップ領域4:1」が付された重なりグリッドの細部は、重なっているサイドラップ重なり領域(2104)(2108)(2124)(2128)を表している。これらサイドラップ重なり領域(2104)(2108)(2124)(2128)において、カメラセンサのグリッドは、重なり領域(2104)(2108)(2124)(2128)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2104)(2108)(2124)(2128)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度は、各次元において2倍、即ち2×2=4倍向上する。前述のように、この画像解像度の4倍増の向上により、隣接するカメラ間のアライメント精度も4倍向上する。
隣接するカメラ間のアライメント精度が4倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラA乃至C、及び所望により他のセンサは、第1の剛性取付ユニットに固定され、カメラD乃至F、及び所望により他のセンサは、第2の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的には、第1又は第2の剛性取付ユニットに固定されており、隣接しているカメラの角度アライメントが改善されると、取付ユニットに固定されている他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
同様に、水平なハッチング領域は、3つの画像重なり領域(2112)(2116)(2120)を表している。左前側画像重なり領域(2112)は、右後側カメラAが右前側カメラDとオーバーラップしている領域であり、中央前側画像重なり領域(2116)は、後側の中央/天底カメラBが中央前側カメラEとオーバーラップしている領域であり、右後側画像重なり領域(2120)は、左後側カメラCが左前側カメラFとオーバーラップしている領域である。
図21を参照して、「フォアラップ領域4:1」が付された重なりグリッドの細部は、重なっているフォアラップ重なり領域(2112)(2116)(2120)を表している。これらフォアラップ重なり領域(2112)(2116)(2120)において、カメラセンサのグリッドは、重なり領域(2112)(2116)(2120)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2112)(2116)(2120)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度は、各次元において2倍、即ち2×2=4倍向上する。この画像解像度の4倍増の向上により、対応するカメラ間のアライメント精度も4倍向上する。
対応するカメラ間のアライメント精度が4倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラA乃至C、及び所望により他のセンサは、第1の剛性取付ユニットに固定され、カメラD乃至F、及び所望により他のセンサは、第2の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第1又は第2の剛性取付ユニットに固定されている、対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
図20の重なっているサイドラップ重なり領域(2006)(2008)及び(2014)(2016)と同様に、図21の交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)は、驚くべきことに、システムの構成及びカメラアライメントにおいて全体的に64倍向上する。図21を参照して、「カッド重なり領域64:1」が付された交差グリッド細部は、交差しているフォアラップ及びサイドラップ重なり領域(2118)を表している。交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)において、オーバーラップしているカメラセンサのグリッドは、交差領域(2114)(2118)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2114)(2118)の画像解像度が事実上4倍になる。実際には、画像/センサ解像度はここでも、各次元において2倍、即ち2×2×2×2×2×2=64倍向上する。この全体としての画像解像度の64倍増の向上により、隣接するカメラ間のアライメント精度も64倍向上する。
隣接し、対応するカメラ間のアライメント精度が64倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラA乃至C、及び所望により他のセンサは、第1の剛性取付ユニットに固定され、カメラD乃至E、及び所望により他のセンサは、第2の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第1及び/又は第2の剛性取付ユニットに固定されている、隣接するカメラ及び/又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはRGB用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、1列のカメラアレイがRGB用、及びその他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。
図19乃至図21に示すように、これら技術を用いて、光学ガラスが「非常に小さな」対象物を解像することができないことに起因した、カメラシステムに課せられた解像限界を克服できる。特に、カメラレンズの光学ガラスには、非常に小さな対象物を解像する能力に物理的限界があることが知られている。このことはよく「ガラスの解像限界」と呼ばれる。例えば、10,000フィート(3,048メートル)の標高から1ミリメートルのピクセルが必要とされる場合、非常に高倍率の望遠レンズを用いて約100フィート(30.48メートル)の地上幅(ground swath)を得ることが必要とされるだろう。これは、電荷結合デバイスセンサで幾らでもピクセルを与えることができる(例えば、1億ピクセル)としても、最も純度の高いガラスの解像力でも標高10,000フィート(3,048メートル)にて1ミリメートルのピクセルの画像解像を可能にすることはできないからである。この例は、ガラスにおけるピクセル解像度の物理的限界と同様、画像センサのピクセル密度限界が存在する点をはっきりさせるために使われる。
剛性取付プレートに取り付けられた剛性取付ユニットにおけるシステム(100)の画像センサアライメントと関連する較正技術とは、前述のように、この問題に対する独自の解決策を提供する。これら技術を用いることにより、ガラスの解像限界を事実上克服することができる。例えば、単一のカメラアレイにより1倍(又はなし)のオーバーサンプリングの利益がもたらされる。しかしながら、オーバーラップしている2列のカメラアレイにより、画像解像度と、全地球空間的(overall geospatial)な水平方向及び垂直方向の精度との双方において、全体として4倍増の向上がもたらされる。さらに、重なっている3列のカメラアレイにより、全体として16倍増の向上がもたらされ、重なっている4列のカメラアレイにより、全体として64倍増の向上がもたらされる、という具合である。
これらの例から推測できるように、全体的な向上の式は次のとおりである:
全体的な向上=4
但し、Nは、オーバーラップしているカメラアレイの数である。
4列のカメラアレイがある場合、オーバーラップしているカメラアレイは3列である(即ち、N=3)。従って、4列のカメラアレイは、画像解像度と、全地球空間的な水平方向及び垂直方向の精度との双方において、全体として64倍(即ち、4=64倍)増の向上をもたらす。
さらに、これらのサブピクセル較正技術は、米国特許出願公開第2004/0054488A1号(現在、米国特許第7,212,938B2号)に開示されているセルフロッキング飛行経路技術と組み合わせることができ、この出願の開示は全て、引用を以て本明細書の一部となる。
図19乃至図21に示す、前面方向及び/又は側方向にコマウントされ、コレジスタされたオーバーサンプリングに加えて、本発明はまた、画像解像度をさらに向上させるために、図13乃至図17に示す、飛行ラインオーバーサンプリングを用いることもできる。図13乃至図17に示すように、飛行ラインは画像領域において互いに重なり合うが、これは、各飛行ラインが互いに平行であるためである。これらの重なり画像領域を用いて、ステレオグラフィック技術により、隣接する飛行ライン内の画像における軌道に沿う視差と軌道を横切る視差とによって、センサを較正することができる。
実施形態において、セルフロッキング飛行経路は、3以上の進行ライン(travel lines)の群から少なくとも3つの略平行な進行ラインを生成する任意のパターンであってよい。さらに、少なくとも1つの進行ラインは、他の略平行な進行ラインと対向する方向にあるべきである。好ましい実施形態において、進行パターンは、一致する方向にある少なくとも1対の進行ラインと、対向する方向にある少なくとも1対の進行ラインであってよい。
反対方向のセルフロッキング飛行経路を用いる場合、観察可能な位置エラーが、一部の画像領域において倍増することがある。従って、セルフロッキング飛行経路技術は、これらの位置エラーを大きく低減するためのアルゴリズムを含んでいる。位置エラーのこの低減は、最大の位置エラーが発生する外側領域、即ち左端と右端の「翼(wing)」画像領域において特に重要である。
実施形態において、これらの位置的向上は、パターンマッチング技術を用いて、飛行ライン(例えば、北/南)から得られたピクセルパターン領域を、隣接する飛行ライン(例えば、北/南)から得られた同じピクセルパターン領域と自動的に一致させることによって、実現できる。好ましい実施形態において、1又は複数のGPS位置システムからの緯度/経度座標を用いて、このパターンマッチング処理を速めることができる。
同様に、これらのサブピクセル較正とセルフロッキング飛行経路技術は、ステレオグラフィック技術と組み合わされてよい。これは、ステレオグラフィック技術が、各ピクセルの、他の全てのピクセルに対する位置精度に大きく依存しているためである。具体的には、これらの技術は、特に、最大の位置エラーが発生する左端と右端の「翼」画像領域において、ステレオグラフィック画像解像度と、全地理空間の(geospatial)水平方向及び垂直方向の精度とを改善する。さらに、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。
さらに、これらのサブピクセル較正とセルフロッキング飛行経路技術は、システム(100)の動的なリアルタイムの較正を提供するために使用できる。具体的には、これらの技術は、1又は複数のカメラアレイアセンブリ(112)をシステム(100)上に迅速に「ロールオン(roll on)」し、ターゲット領域の画像データの収集を直ちに開始し、そして高品質の画像を素早く生成する性能を提供する。これは、前述のように、個々のセンサが、剛性取付プレートに固定されている剛性取付ユニットにおいて最初に較正されているからである。具体的には、カメラセンサはコレジスタされて、各センサの相互間の、及び/又は天底カメラに対する各センサの取付角度の物理的オフセットを較正する。実施形態において、複数の、即ち少なくとも2つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、前述のように、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。
実施形態において、システム(100)は、較正パラメータを更新するためのリアルタイムな自己較正システムを含む。具体的には、機上コンピュータ(104)ソフトウェアは、前述のように、コマウントされ、コレジスタされたオーバーサンプリング技術と、飛行ラインオーバーサンプリング技術を用いて、較正パラメータを絶えず監視し更新するためのリアルタイムソフトウェア「デーモン」(即ち、バックグラウンド閉ループ監視ソフトウェア)を含む。好ましい実施形態において、リアルタイムデーモンは、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、ステレオグラフィック画像解像度と、全地理空間の水平方向及び垂直方向の精度とを改善する。具体的には、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。
実施形態では、システム(100)は、GPS入力データを提供するためのリアルタイムGPSデータシステムを含んでいる。GPSやIMU等の電子デバイスからの入力データによって、そして業界標準のGPSやIMUのソフトウェアシステムによって増強される較正ソフトウェアによって、較正精度が促進される。従って、このリアルタイムな自己較正システムの重要なコンポーネントは、衛星電話、携帯電話、RFモデム、又は類似のデバイス等の潜在的に低い帯域幅の通信チャンネルを介したリアルタイムGPS入力データである。リアルタイムGPS入力データの潜在的なソースには、プロジェクト制御されたアドホックステーション、固定放送GPS位置(若しくはその類似物)、又は機上IMU経由の慣性ナビゲーションが含まれる。
上記のモジュール、アルゴリズム及びプロセスは、多くの技術及び構成において実施できる。本発明の実施形態は、ソフトウェア又はハードウェア、又はそれらの組合せに関する機能例を含み得る。さらに、本発明のモジュール及びプロセスは、単一の機能例(例えば1つのソフトウェアプログラム)において一緒に組み合わされてよく、動作可能に連携された別個の機能デバイス(例えば複数のネットワーク化されたプロセッサ/メモリブロック)を含んでもよい。そのような実施は全て本発明に含まれる。
本明細書に記載した実施形態及び実施例は、本発明及びその実際の用途を最も良く説明し、それによって当該分野の当業者が本発明を実施及び利用できるように示されている。しかしながら、当該技術の当業者であれば、前述の記載及び実施例は、説明と例示の目的のためだけに示されていることが認識できるであろう。前述の記載は、包括的であること、及び、本発明を、開示した正確な形態に限定することを意図していない。前述の教示を参照して、添付の特許請求の範囲の精神及び範囲から逸脱することなく、多くの変更及び変形を加えることが可能である。

Claims (35)

  1. 地図を生成するシステムであって、
    全地球測位レシーバと、
    ターゲット領域に対して配置された移動体と、
    移動体と通信する標高測定ユニットと、
    移動体と通信する全地球測位アンテナと、
    移動体と通信する姿勢測定ユニットと、
    移動体に配置された画像センサシステムと、
    コンピュータとを備えており、
    画像センサシステムは、
    移動体に固定された剛性取付プレートと、取付プレートに固定され、内部に少なくとも2つの画像センサが配置された第1剛性取付ユニットとを備えており、第1画像センサと第2画像センサの各々は、第1取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第1画像センサと第2画像センサの各々は、ピクセルの第1データアレイを生成し、ピクセルのデータアレイの各々は、少なくとも2次元であり、第1画像センサと第2画像センサは、ターゲット領域において第1画像重なり領域を有するようにオフセットされており、第1画像センサの画像データは、第1画像重なり領域において第2画像センサの画像データを両断し、
    コンピュータは、標高測定ユニット、全地球測位アンテナ、姿勢測定ユニット、第1画像センサ及び第2画像センサと通信し、標高測定ユニット、全地球測位アンテナ及び姿勢測定ユニットの1つ以上からの入力に基づいて、第1画像センサと第2画像センサからの画像データの少なくとも一部を、ターゲット領域の一部と関連付けるシステム。
  2. 取付プレートに固定され、内部に少なくとも1つの画像センサが配置された第2剛性取付ユニットをさらに備えており、第3画像センサは、第2取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第3画像センサは、ピクセルの第3データアレイを生成し、ピクセルの第3データアレイは少なくとも2次元である、請求項1に記載のシステム。
  3. 第2取付ユニット内に配置される第4画像センサをさらに備えており、第4画像センサは、第2取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第4画像センサは、ピクセルの第4データアレイを生成し、ピクセルの第4データアレイは少なくとも2次元であり、第3画像センサと第4画像センサは、ターゲット領域において第2画像重なり領域を有するようにオフセットされており、第3センサの画像データは、第2画像重なり領域において第4センサの画像データを両断する、請求項2に記載のシステム。
  4. 第1画像センサ及び第2画像センサを含む第1センサアレイと、第3画像センサ及び第4画像センサを含む第2センサアレイとが、ターゲット領域において第3画像重なり領域を有するようにオフセットされており、第1センサアレイの画像データは、第3重なり領域において第2センサアレイの画像データを両断する、請求項3に記載のシステム。
  5. 第1センサアレイの画像データは、第2センサアレイの画像データと完全に重なっている、請求項3に記載のシステム。
  6. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の100分の1未満しか曲がらない、請求項1に記載のシステム。
  7. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の1,000分の1未満しか曲がらない、請求項6に記載のシステム。
  8. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の10,000分の1未満しか曲がらない、請求項7に記載のシステム。
  9. 第3画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項2に記載のシステム。
  10. 第3画像センサは、ハイパースペクトルフィルタを有するデジタルカメラ及びLIDARからなる群から選ばれる、請求項2に記載のシステム。
  11. 第3画像センサは、ジャイロスコープ、IMU及びGPSからなる群から選ばれる1又は複数の姿勢測定デバイスに対して較正される、請求項1に記載のシステム。
  12. 第1画像センサ及び第2画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項1に記載のシステム。
  13. 第1画像センサ及び第2画像センサはデジタルカメラであり、第3画像センサはLIDARである、請求項2に記載のシステム。
  14. 第3画像センサ及び第4画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項3に記載のシステム。
  15. 第1画像センサ及び第2画像センサはデジタルカメラであり、第3画像センサはLIDARである、請求項3に記載のシステム。
  16. 移動体に固定された剛性取付プレートと、
    取付プレートに固定され、内部に少なくとも2つの画像センサが配置された第1剛性取付ユニットと、
    を備えており、
    第1画像センサと第2画像センサの各々は、第1取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第1画像センサと第2画像センサの各々は、ピクセルの第1データアレイを生成し、ピクセルのデータアレイの各々は、少なくとも2次元であり、第1画像センサと第2画像センサは、ターゲット領域において第1画像重なり領域を有するようにオフセットされており、第1画像センサの画像データは、第1画像重なり領域において第2画像センサの画像データを両断する画像センサシステム。
  17. 取付プレートに固定され、内部に少なくとも1つの画像センサが配置された第2剛性取付ユニットをさらに備えており、第3画像センサは、第2取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第3画像センサは、ピクセルの第3データアレイを生成し、ピクセルの第3データアレイは少なくとも2次元である、請求項16に記載のシステム。
  18. 第2取付ユニット内に配置される第4画像センサをさらに備えており、第4画像センサは、第2取付ユニット及び取付プレートのアパーチャを通る焦点軸を有し、第4画像センサは、ピクセルの第4データアレイを生成し、ピクセルの第4データアレイは少なくとも2次元であり、第3画像センサと第4画像センサは、ターゲット領域において第2画像重なり領域を有するようにオフセットされており、第3センサの画像データは、第2画像重なり領域において第4センサの画像データを両断する、請求項17に記載のシステム。
  19. 第1画像センサ及び第2画像センサを含む第1センサアレイと、第3画像センサ及び第4画像センサを含む第2センサアレイとが、ターゲット領域において第3画像重なり領域を有するようにオフセットされており、第1センサアレイの画像データは、第3重なり領域において第2センサアレイの画像データを両断する、請求項18に記載のシステム。
  20. 第1センサアレイの画像データは、第2センサアレイの画像データと完全に重なっている、請求項18に記載のシステム。
  21. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の100分の1未満しか曲がらない、請求項16に記載のシステム。
  22. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の1,000分の1未満しか曲がらない、請求項21に記載のシステム。
  23. 動作中、第1取付ユニット、第2取付ユニット及び取付プレートは、1度の10,000分の1未満しか曲がらない、請求項22に記載のシステム。
  24. 第3画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項17に記載のシステム。
  25. 第3画像センサは、ハイパースペクトルフィルタを有するデジタルカメラ及びLIDARからなる群から選ばれる、請求項17に記載のシステム。
  26. 第1画像センサは、ジャイロスコープ、IMU及びGPSからなる群から選ばれる1又は複数の姿勢測定デバイスに対して較正される、請求項16に記載のシステム。
  27. 第1画像センサ及び第2画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項16に記載のシステム。
  28. 第1画像センサ及び第2画像センサはデジタルカメラであり、第3画像センサはLIDARである、請求項17に記載のシステム。
  29. 第3画像センサ及び第4画像センサは、デジタルカメラ、LIDAR、赤外線センサ、熱感知センサ、及びグラビトメータからなる群から選ばれる、請求項18に記載のシステム。
  30. 第1画像センサ及び第2画像センサはデジタルカメラであり、第3画像センサはLIDARである、請求項18に記載のシステム。
  31. 画像センサを較正する方法であって、
    画像センサの初期較正を実行する工程を含んでおり、当該工程は、
    AMUの位置を決定する工程と、
    第1剛性取付ユニット内の第1画像センサの位置をAMUに対して決定する工程と、
    第1剛性取付ユニット内の第2画像センサの位置をAMUに対して決定する工程と、
    第1画像センサをターゲット領域に対して較正し、第1画像センサの照準角を決定する工程と、
    第1剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対して計算する工程と、
    1又は複数の次の画像センサを、第1画像センサの照準角を用いて較正する工程とを含んでおり、
    方法はさらに、
    オーバーサンプリング技術を用いて、第1画像センサの少なくとも1つの初期較正パラメータを、ターゲット領域及び第1画像センサの照準角に対してアップデートする工程と、
    オーバーサンプリング技術を用いて、第1剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対してアップデートする工程と、
    第1画像センサのアップデートされた照準角を用いて、第1剛性取付ユニット内の1又は複数の次の画像センサの少なくとも1つの較正パラメータをアップデートする工程と、
    を有する方法。
  32. 初期較正を実行する工程はさらに、
    第1画像センサのアップデートされた照準角を用いて、第2画像センサを較正する工程と、
    第2剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対して計算する工程と、
    第1画像センサのアップデートされた照準角を用いて、第2剛性取付ユニット内の1又は複数の次の画像センサを較正する工程と、
    を含む、請求項31に記載の方法。
  33. オーバーサンプリング技術を用いて、第2剛性取付ユニット内の第2画像センサの位置を、第1画像センサに対してアップデートする工程と、
    オーバーサンプリング技術を用いて、第1剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対してアップデートする工程と、
    第1画像センサのアップデートされた照準角を用いて、第2剛性取付ユニット内の1又は複数の次の画像センサの少なくとも1つの較正パラメータをアップデートする工程と、
    をさらに含む、請求項32に記載の方法。
  34. 飛行ラインオーバーサンプリング技術を用いて、第1画像センサの較正を、ターゲット領域及び第1画像センサの照準角に対してアップデートする工程と、
    飛行ラインオーバーサンプリング技術を用いて、第1剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対してアップデートする工程と、
    第1画像センサのアップデートされた照準角を用いて、1又は複数の次の画像センサの少なくとも1つの較正パラメータをアップデートする工程と、
    をさらに有する、請求項31に記載の方法。
  35. 飛行ラインオーバーサンプリング技術を用いて、第2剛性取付ユニット内の第2画像センサの位置を、第1画像センサに対してアップデートする工程と、
    飛行ラインオーバーサンプリング技術を用いて、第1剛性取付ユニット内の1又は複数の次の画像センサの位置を、第1画像センサに対してアップデートする工程と、
    第1画像センサのアップデートされた照準角を用いて、第2剛性取付ユニット内の1又は複数の次の画像センサの少なくとも1つの較正パラメータをアップデートする工程と、
    をさらに有する、請求項34に記載の方法。
JP2013518368A 2011-03-31 2011-03-31 自己較正リモートイメージング及びデータ処理システム Pending JP2014511155A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/000575 WO2012134419A1 (en) 2010-04-13 2011-03-31 Self-calibrated, remote imaging and data processing system

Publications (1)

Publication Number Publication Date
JP2014511155A true JP2014511155A (ja) 2014-05-12

Family

ID=50792619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013518368A Pending JP2014511155A (ja) 2011-03-31 2011-03-31 自己較正リモートイメージング及びデータ処理システム

Country Status (1)

Country Link
JP (1) JP2014511155A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509016A (ja) * 2014-12-13 2018-03-29 フォックス スポーツ プロダクションズ,インコーポレイティッド 放送において目標を追跡及びタグ付けするためのシステム及び方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020085094A1 (en) * 1997-04-08 2002-07-04 Teuchert Wolf Dieter Photogrammetric camera
US20040054488A1 (en) * 2002-09-17 2004-03-18 Mai Tuy Vu Method of using a self-locking travel pattern to achieve calibration of remote sensors using conventionally collected data
JP2005333336A (ja) * 2004-05-19 2005-12-02 Olympus Corp 撮像装置
JP2005538394A (ja) * 2002-08-28 2005-12-15 エム7 ビジュアル インテリジェンス,エルピー 網膜状に配列した複合カメラシステム
JP2006507483A (ja) * 2002-09-20 2006-03-02 エム7 ビジュアル インテリジェンス,エルピー 移動体によるデータの収集及び処理システム
JP2007323615A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法
JP2008109477A (ja) * 2006-10-26 2008-05-08 Fuji Electric Holdings Co Ltd 画像生成装置および画像生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020085094A1 (en) * 1997-04-08 2002-07-04 Teuchert Wolf Dieter Photogrammetric camera
JP2005538394A (ja) * 2002-08-28 2005-12-15 エム7 ビジュアル インテリジェンス,エルピー 網膜状に配列した複合カメラシステム
US20040054488A1 (en) * 2002-09-17 2004-03-18 Mai Tuy Vu Method of using a self-locking travel pattern to achieve calibration of remote sensors using conventionally collected data
JP2006507483A (ja) * 2002-09-20 2006-03-02 エム7 ビジュアル インテリジェンス,エルピー 移動体によるデータの収集及び処理システム
JP2005333336A (ja) * 2004-05-19 2005-12-02 Olympus Corp 撮像装置
JP2007323615A (ja) * 2006-06-05 2007-12-13 Topcon Corp 画像処理装置及びその処理方法
JP2008109477A (ja) * 2006-10-26 2008-05-08 Fuji Electric Holdings Co Ltd 画像生成装置および画像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
今岡 啓治: ""人工衛星リモートセンシングによる地球環境監視"", 電子情報通信学会誌, vol. 90, no. 11, JPN6014052368, 1 November 2007 (2007-11-01), JP, pages 949 - 953, ISSN: 0002962335 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509016A (ja) * 2014-12-13 2018-03-29 フォックス スポーツ プロダクションズ,インコーポレイティッド 放送において目標を追跡及びタグ付けするためのシステム及び方法

Similar Documents

Publication Publication Date Title
US9797980B2 (en) Self-calibrated, remote imaging and data processing system
JP6282275B2 (ja) インフラストラクチャマッピングシステム及び方法
US7725258B2 (en) Vehicle based data collection and processing system and imaging sensor system and methods thereof
US8994822B2 (en) Infrastructure mapping system and method
CA2534968C (en) Vehicle based data collection and processing system
CN103038761B (zh) 自校准的远程成像和数据处理系统
US6928194B2 (en) System for mosaicing digital ortho-images
Grodecki et al. IKONOS geometric accuracy
US9706117B2 (en) Wide-area aerial camera systems
JP2783522B2 (ja) 衛星焦点平面アレイイメージ装置
CN110296688A (zh) 一种基于被动地理定位技术的侦测一体倾斜航测吊舱
USRE49105E1 (en) Self-calibrated, remote imaging and data processing system
Speyerer et al. In-flight geometric calibration of the lunar reconnaissance orbiter camera
Elbahnasawy et al. Multi-sensor integration onboard a UAV-based mobile mapping system for agricultural management
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
JP2014511155A (ja) 自己較正リモートイメージング及びデータ処理システム
Habib et al. Quality Assurance and Quality Control of Remote Sensing Systems
Johanning et al. Testing of the Orion Optical Navigation Image Processing Algorithms

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151204