JP2018513377A - 地表面の画像を処理するためのシステムおよび方法 - Google Patents

Abstract

本発明は、航空機または宇宙機内に配置されたカメラから部分的にオーバーラップしている地表面の画像を撮影するための方法に関し、当該方法は、航空機または宇宙機の移動中に、時間間隔によって分けられている異なる時刻に画像を取得すること（１１０）と、移動中に、航空機または宇宙機の位置を表わす位置情報および方位を表わす方位情報を検出すること（１３０）と、位置情報、方位情報、およびカメラの視野角を用いて、予め定められた空間的なオーバーラップ量を有する画像を得ることができる時間間隔の最大値を求めること（１４０；１５０）と、予め定められた空間的なオーバーラップ量を維持しつつ、取得する画像の数を最小にするために、間隔を最大値に向かって調整すること（１６０）とを含む。本発明は、コントローラ、およびコントローラを含むシステムにも関する。

Description

本発明は、特に航空機内に配置されたカメラを用いる地球観測の文脈における、マルチスペクトルまたはハイパースペクトル画像キャプチャといった、画像キャプチャの分野に関する。

背景
地球観測衛星および航空撮像において、現在のセンサ技術では高解像度画像を高速でキャプチャすることができ、膨大な量のデータが作成される。広範囲を切れ目なくカバーするために、機上プラットフォームが意図的な名目前進速度で前進している間、（フレームレートとして表わされる）定期的な時間間隔で一連の画像が撮影される。しかし、プラットフォームはまた、プラットフォーム姿勢変化として公知であるいくらかの不要な動きを示すことが避けられない。これは、一般に推定不可能な形で、ポインティング角度に、したがって撮像範囲に影響を及ぼす。撮像において切れ目を回避するために、通常はフレームレートを増加させ、これによってデータ量も増加する。実際に必要なデータ量は、航空機搭載システムのダウンリンクおよび／または記憶容量を超える場合がある。この問題は、（モザイクベースであるか、以下に説明するようにラインベースであるかに係わらず）パンクロ撮像システムおよびマルチスペクトル撮像システムを含む、すべての撮像システムで起こる。

システムのダウンリンクおよび／または記憶容量の限界は、全データ量にスペクトルバンドの数を掛けるマルチスペクトル撮像の場合に、かつハイパースペクトル撮像の場合はなおさら、特に差し迫ったものとなる。ハイパースペクトル撮像は、電磁スペクトル全体からの情報が多くの狭いスペクトルバンド内に収集されて処理される、スペクトル撮像の一形態である。収集される異なるスペクトル画像から、撮像される物体の情報を得ることができる。たとえば、一定の物体は、当該物体の状態にも依存し得る固有のスペクトルシグネチャを画像内に残すため、マルチスペクトル撮像によって得られた情報は、撮像される領域内の物体の存在および／または状態に関する情報を提供することができる。撮像予定のスペクトル範囲を選択した後、この完全なスペクトル範囲内のスペクトル画像を取得することができるため、物体の詳細な予備知識を有していなくてもよく、後処理によってすべての利用可能な情報を得ることができる。

いくつかの用途では、マルチスペクトルデータは、１つの対象スペクトル範囲内の領域の完全な二次元画像を収集し、続いて、他の対象スペクトル範囲内のその領域の他の完全な二次元画像を収集することによって得ることができ、それによって、スペクトルフィルタが合間に切替えられる。このデータ収集方法もやはり、特に対象領域と撮像システムとが互いに大きく相対的に移動する場合は、常に可能であるとは限らない。

本願出願人の名義である国際特許出願公開ＷＯ ２０１１／０７３４３０ Ａ１は、センシングデバイスに対する相対的な移動において対象領域の幾何学基準マルチスペクトル画像データを得るためのセンシングデバイスを開示している。当該センシングデバイスは、第１の二次元センサ要素を含む。当該センシングデバイスは、当該センシングデバイスに対する対象領域の上記相対移動中にその後のマルチスペクトル画像を得ることによって、第１のセンサの異なる部分を用いて対象領域の異なる部分についてのスペクトル的に別個の情報を提供するように適合されている。当該センシングデバイスは第２の二次元センサ要素をさらに含んでおり、第２のセンサ要素を用いて、当該別個のスペクトル情報に結合すべき幾何学基準情報を生成するために対象領域の画像を提供するように適合されている。

これらの構成は非常に小型であるが、所望のスペクトル範囲全体にわたって十分な空間分解能を確保するために非常に高い画像キャプチャフレームレートが必要である。したがって、説明されるシステムのダウンリンクおよび／または記憶容量を効率的に使用する必要がある。

発明の概要
本発明の一局面によると、航空機または宇宙機内に配置されたカメラから一連の部分的にオーバーラップしている地表面の画像を撮影するための方法であって、カメラは視野角を有しており、方法は、航空機または宇宙機の移動中に、異なる時刻にカメラによって複数の画像を取得することを含み、異なる時刻は一連の時間間隔によって分けられており、方法はさらに、移動中に、航空機または宇宙機の位置を表わす位置情報、および航空機または宇宙機の方位を表わす方位情報を検出することと、位置情報、方位情報、およびカメラの視野角を用いて、予め定められた空間的なオーバーラップ量を有する画像を得ることができる時間間隔の最大値を求めることと、予め定められた空間的なオーバーラップ量を維持しつつ、取得する画像の数を最小にするために、間隔を最大値に向かって調整することとを含む方法が提供される。

本明細書で使用する「航空機」という用語は、空気より重い航空車両および飛行船の両方を示すことを意図している。特に、当該用語は、成層圏高度を自律的に飛行するように適合されたものを含む、有人航空機および無人航空機（unmanned aerial vehicle：ＵＡＶ）の両方を含む。本明細書で使用する「宇宙機」という用語は、衛星および宇宙ステーションといった軌道宇宙機を含む、自己推進式宇宙機および弾道宇宙機の両方を示すことを意図している。撮像すべき地表面は、地球の表面、またはその他の天体であり得る。非常に小型のプラットフォームの方が姿勢変化が大きく、正確な姿勢決定がより困難であるため、本発明は非常に小型のプラットフォームに最も有利である。

航空機の前進中に既に撮像された区域に向かってカメラが後方に傾いているために隣接フレームとの必要以上のオーバーラップを表わすフレームを飛ばして進むか捨てることができるように、フレーム毎のカメラの姿勢変化を考慮して、連続フレーム（または意図されるフレーム）間の実際のオーバーラップ量を求めることが本発明の利点である。こうして、結果として得られる合成画像の品質を犠牲にすることなく、保存または送信すべき残りの画像量が減少する。

本発明に係る方法の実施形態において、位置情報は少なくとも高度および地理的位置を含み、方位情報は少なくともピッチを含み、位置情報および方位情報を用いて時間間隔の最大値を求めることは、高度、地理的位置、およびピッチを用いて時間間隔の最大値を求めることを含む。

本発明に係る方法の実施形態において、ピッチの変化が、複数の画像のうちの連続画像から、または、航空機もしくは宇宙機内に配置された二次カメラによってこの目的で取得された複数の基準画像のうちの連続画像から、導出される。

時間間隔の最大値を求めるために用いる方位情報は適切なセンサによって測定され得るが、それらは、代替的にまたはさらに、連続画像の分析によって推定されてもよい。この場合、所望のピッチレート情報を他の姿勢成分とは独立して容易に抽出することができるため、完全な姿勢推定は不要である。方位推定のために用いる画像は、一次カメラによって提供される画像であってもよい。しかし、方位推定を可能にする画像を生成する目的で別個のカメラを設けることも可能である。これはたとえば、一次カメラがラインスキャン式である場合であろう。

本発明に係る方法の実施形態において、取得することは、固定のキャプチャ頻度で画像をキャプチャすることと、キャプチャした画像を一時的に保存することとを含み、間隔を調整することは、予め定められた空間的なオーバーラップ量を維持しつつ最小数の画像を保持するように、キャプチャした画像から画像を捨てることを含む。

カメラを現在の実務に従って非常に高いフレームレートで操作可能であること、および、所望のフレームの選択を画像取得の後に、かつ最終的な保存または送信の前に実行可能であることが本実施形態の利点である。後で選択することによって、不要なフレームを永久的に保存または送信しなくてもよいことが保証されるため、フレームレートは現在の実務におけるフレームレートよりも高く選択されることもあり得る。これによって、画像キャプチャ中に激しい姿勢変化が起こった場合でも全体の画像の切れ目のない再構築が保証される。

特定の実施形態において、当該方法は、航空機から地上ステーションに最小数の画像を送信することをさらに含む。

これは、航空機上で一時的な保存のみが実行される場合に、必要な記憶媒体の量を、したがってペイロード重量および体積を減少させる、特に有利な構成である。

本発明に係る方法の実施形態において、取得することは可変のキャプチャ頻度で画像をキャプチャすることを含み、間隔を調整することはキャプチャ頻度を変えることを含む。

カメラを可変フレームレートで操作可能であること、および、高品質画像を互いにスティッチングすることを可能にするのに必要なフレームのみが実際に取得されるので、取得画像の（一時的な）保存の必要性がさらに減少することが、本実施形態の利点である。

本発明に係る方法の実施形態において、求めることは、見掛けの対地速度を、地理的位置の変化と、高度とピッチの接線の変化またはその数学的近似との積の合計として計算することを含む。

発明者らは、これは、連続画像フレーム間のオーバーラップ量を推定する特に効率的な方法であることを見出した。

本発明の一局面によると、上述のような方法をプロセッサに実行させるように構成されたコード手段を含むコンピュータプログラムプロダクトが提供される。

本発明の一局面によると、航空機または宇宙機内に配置されたカメラから一連の部分的にオーバーラップしている地表面の画像を撮影することを容易にするためのコントローラであって、コントローラは、移動中に、航空機の高度、地理的位置、およびピッチを得るように、高度、地理的位置、ピッチ、およびカメラの視野角を用いて、予め定められた空間的なオーバーラップ量を有する画像を得ることができる時間間隔の最大値を求めるように、かつ、予め定められた空間的なオーバーラップ量を維持するのに必要な画像の数を最小にするために、最大値に向かって最大にされる連続画像間の時間間隔を計算するように構成されるコントローラが提供される。

本発明の一局面によると、一連の部分的にオーバーラップしている地表面の画像を撮影するためのシステムであって、システムは、航空機または宇宙機内に配置されたカメラと、計算された時間間隔に従ってカメラの画像取得速度を制御するように構成された上述のコントローラとを含むシステムが提供される。

本発明の一局面によると、一連の部分的にオーバーラップしている地表面の画像を撮影するためのシステムであって、システムは、航空機または宇宙機内に配置されたカメラを含み、カメラは、固定の画像取得速度で画像を取得するように構成されており、システムはさらに、計算された時間間隔に従って取得した画像のサブセットの保存および／または送信を制御するように構成された上述のコントローラを含むシステムが提供される。

本発明に係るシステムの実施形態において、航空機または宇宙機は無人航空機である。
本発明に係るシステムの実施形態において、航空機または宇宙機は飛行船である。

本発明に係るシステムの実施形態において、航空機または宇宙機は衛星である。
本発明に係るコンピュータプログラムプロダクトおよびシステムの実施形態の技術的効果および利点は、必要な変更を加えて、本発明に係る方法の対応する実施形態の技術的効果および利点に対応する。

次に、本発明の実施形態のこれらおよび他の技術的効果および利点を添付の図面を参照してより詳細に説明する。

本発明の実施形態において行なう計算で用いる、関連の幾何学的変数を概略的に示す図である。 連続航空画像のオーバーラップ量に対するピッチ変化の影響を概略的に示す図である。 連続航空画像のオーバーラップ量に対するピッチ変化の影響を概略的に示す図である。 本発明に係る方法の実施形態のフローチャートを提示する図である。 本発明に係る方法の実施形態において用いられ得るアルゴリズムのフローチャートを提示する図である。 本発明に係る方法の別の実施形態のフローチャートを提示する図である。 本発明に係る方法の実施形態のシミュレートされたアプリケーションの結果を表わすプロット図である。 本発明に係るシステムの実施形態を概略的に示す図である。

実施形態の説明
従来より、地球観測は機上プラットフォームおよび衛星プラットフォームから行なわれており、当該プラットフォームの各々は、空間分解能、地上のカバー範囲、可用性および柔軟性といったパラメータに関する特定の利点を有している。用途に応じて、あるプラットフォームは他のプラットフォームよりも適している。以下の説明の一部がいずれかの具体的な種類のプラットフォームに言及する場合、これは明確にするためになされているに過ぎず、一般性は損なわれない。本発明のさまざまな局面は、明示的に特に指示がない限り、いずれの特定の種類のプラットフォームにも限定されない。

過去１０年間にわたるさまざまな技術開発によって、有人航空機と衛星との差を埋める新たな種類のプラットフォームである、成層圏で動作する局所静止システムがもたらされた。ほとんどが飛行船または航空機であるさまざまなプラットフォーム構想が、地球観測のための、および電気通信目的の、永続的な可用性を目指して開発されている。プラットフォームに関して行なわれている研究に加えて、それらの革新的なプラットフォームの新たな仕様、環境条件および動作条件に適合される計器の開発にもさらなる課題がある。

この文脈における１つのイニシアチブは、約１８ｋｍの成層圏高度で太陽光発電の高高度長時間滞空無人航空機（unmanned aerial vehicle：ＵＡＶ）上で飛行するように適合された、軽量の高解像度カメラからなる。そのような航空機は太陽光エネルギおよび大容量バッテリで電力供給されるため、着地せずに数週間またはさらには数ヶ月も飛行することができる。したがって、当該航空機はある領域の上空に持続的に留まることができるため、局所静止システムとして用いることができる。このプラットフォームは軌道に拘束されず、風速が制限される大気の領域内で低速で移動する。

そのような航空機のターゲット用途として、大規模マッピングおよび災害モニタリングがある。それぞれの対応する種類のマッピングは、広範囲内の各場所の高品質画像製品を供給することを目的として当該範囲を一度マッピングすること、および、より低いがユーザに許容可能な画像品質で画像製品がほぼリアルタイムで供給される高い時間的な更新レートで、小さい専用ゾーンをモニタリングすることである。

大規模マッピングミッションでは、高精度のジオロケーションおよびマッピングを含む高品質画像を達成することに時間が費やされるため、当該製品を写真測量目的に用いることができる。これを達成するために、連続画像間の最適なオーバーラップを有する撮像、および高度なマッピングソフトウェアが用いられる。

ＵＡＶ機上でカメラシステムを搬送するという目的に鑑みて、当該システムは非常に困難な物理条件および環境条件下で動作するように適合されなければならない。ＵＡＶプラットフォームは極度に軽量である（約３５ｋｇ）ため、ペイロードの全許容質量も厳しく、たとえば、ミッションの持続期間に応じて２から３ｋｇである。動作高度における圧力は約６０ｍｂａｒであり得る。全消費電力は、日中は約５０Ｗに制限され得る。夜間は太陽光発電が利用不可能であるため、すべての機械部品および電子部品は、最悪の場合は最低で−７０℃および最高で６０℃に及ぶ温度の過酷な熱サイクルに耐える必要がある。主に太陽高度および飛行方向の変化が原因で、１日の内に温度勾配および温度発展も経験する。特定の構成では、ペイロードの体積は、長さが１メートルで外径が１２ｃｍのほぼ円筒形の管に制限される。

下部成層圏の環境は、低気圧（最低で６０ｍｂａｒ）および低相対湿度を特徴とする。周囲温度は低い。２０年間にわたってベルギーの上空で取得された平均温度データに基づいて、周囲温度は約１５℃の３σ偏差で−５５℃のあたりで変動すると予想される。

変動する気温とは別に、計器内の温度は２つの主な熱源、すなわち太陽（外部）および電子電力損失（内部）によって支配される。スクリーニングがない場合、カメラシステムは、計器に対する太陽の相対方位によって引起される強い温度変化を受ける。

典型的なカメラは、典型的なＵＡＶの前部における統合を可能にするように水平軸に沿って設計される。計器は、光学コンパートメントおよび電子機器コンパートメントに分割され得る。光学コンパートメントは屈折光学系を収容しており、当該光学系には、当該光学系全体を成層圏航空機内での使用に適したものにするためにいくつかの補償システムが装備され得る。電子機器コンパートメントは、ＣＭＯＳセンサ読出しおよび搭載コンピュータ、ＧＰＳレシーバおよびアンテナ、慣性計測装置およびＳバンドデータ送信システムといった、さまざまな電子モジュールをホストする。

屈折光学系の上述の補償システムは、光学系に対するＣＭＯＳセンサの焦点位置をペイロード内部の温度および圧力の関数として適合させる熱補償メカニズムを含み得る。成層圏内の圧力状況（約６０ｍｂａｒ）は、代表的な地表面気圧（約１０１３ｍｂａｒ）および宇宙（ほぼ真空）の双方と異なる。さらに、数ヶ月に及ぶこともあるＵＡＶ飛行の持続期間中、動作温度は４０から５０Ｋの範囲にわたって循環し得る。従来より、機上システムは、（地上の）飛行前の適合によって、所望の動作圧力範囲のために予め較正される。発明者らの洞察では、光学系内の圧力変化および温度変化に対する能動的な補償を提供することによって、重要な温度絶縁および圧力シーリングを必要とすることなく、成層圏内のさまざまな高度を含むさまざまな高度で光学系をうまく使用することができる。この目的で、航空機または計器自体に、適切な温度センサおよび圧力センサと、これらのセンサに動作可能に接続され、検出された温度値および圧力値の関数として補償値を計算するように構成されたコントローラと、光学系によって行なわれる画像キャプチャの予め定められた品質レベルを維持するために、上記補償値に従って少なくとも１つの光学部品を動かすように上記コントローラによって制御されるアクチュエータとが装備される必要がある。

さらに、当該システムには、カメラ（または当該カメラが搭載されている航空機）の高度変化に逆らう能動的に作動されるミラーが装備され得る。この目的で、航空機には、以下に説明されるように適切な姿勢センサが装備される必要がある。

上述の国際特許出願公開ＷＯ ２０１１／０７３４３０ Ａ１に従ってハイパースペクトルセンサおよびジオリファレンシングセンサが実装され得る。好ましくは、当該センサは、たとえばピッチが５．５μｍの１００００ｘ１２００画素といった、非常に広いアスペクト比を有しており、それによって２つのセンサ要素はたとえば７００μｍの距離だけ離れている。これらのセンサは、単一のダイ上に配置される場合、自動的に非常に正確に整列する。センサには、画素の高感度領域上の光強度を増加させるマイクロレンズが装備され得る。ＣＭＯＳセンサは、その細長いフォームファクタのため、ハイパースペクトル撮像での使用に非常によく適している。センサの長いサイズを交差方向に配置することによって、広範囲カメラを得ることができる。センサの短方向に沿った１２００本のラインを利用して、その方向に不要な長さを提供することなく、分散した光またはフィルタリングした光を多くの異なるスペクトルバンド内に投影することによって、非常に小型の光学系を用いて十分な視野を提供することができる。従来のアスペクト比（たとえば１：１または１：２）を有するいくつかのセンサを並べて配置することによって、同様の広範囲センサを得ることもできることに留意すべきである。

調査中に取得した連続画像を正確にスティッチングするためには、画像同士を共に登録しなければならず、すなわち、最良に整列した画像を作成する変換を探すことが必要である。異なる画像同士を共に登録するために用いる方法は、両画像について地上の同じ物理的範囲を撮像する画像の部分に依拠する。そのような部分を見つけるために、各画像内の範囲から特徴のセットが抽出される。次に、両画像からの特徴セットを比較して、それらの類似を測定する。そして、画像同士を共に登録する全体的な変換を、２つの画像をリンクしている特徴セットの最良適合ペアに基づいて求めることができる。この処理は両画像に共通の部分を有することに依拠しているため、連続画像間の一定のオーバーラップ量が必要である。

本発明は、保存および／または送信データレート要件を最小に維持しつつ、連続画像間の十分なオーバーラップ量を提供することに関する。

本発明の実施形態は、画像取得のために用いるカメラの高度と、地理的位置（および特にその変化、すなわち対地速度）と、姿勢（特にピッチ、すなわちプラットフォームの前方または後方傾斜角度、および特に、その変化、すなわちピッチレート）との利用可能性に依拠する。カメラが、当該カメラを搬送している航空機または宇宙機に対して固定関係で配置される場合、これらの変数は、一般性を損なうことなく、航空機または宇宙機の高度、地理的位置、および姿勢に対応し、これは本説明の残りの部分でも同様であると仮定する。

高度および地理的位置の測定技術は当業者によく知られている。本発明の実施形態のために用いる航空機または宇宙機においては、姿勢は好ましくは慣性計測装置（ＩＭＵ）によって連続的に機内で測定され、最近の技術進歩によって小型プラットフォームについてもさらに正確な測定が可能である。さらに、または代替的に、姿勢および位置パラメータならびにそれらの変化は、画像自体から、またはその目的で同一のプラットフォーム上に設けられた二次カメラが生成する画像からも推定することができる。一次カメラの画像を姿勢パラメータの推定に用いることができる場合は、プラットフォームに質量を追加することなく必要な情報を得ることができるという利点がある。

プラットフォーム姿勢は３つの主軸（ロール、ピッチ、およびヨー）の周りの方位として表わされ、姿勢変化は当該軸の周りの角運動として表わされる。ピッチ角度（θ、図１参照）はイメージャの前方（または後方）ポインティングを示す。ピッチ角度は、撮像されている点の見掛けの前方または後方変位ｘ_apparentに変換される。

ピッチの変化（ピッチレートと称する；ｑ＝ｄθ／ｄｔと示されるピッチの時間微分）は、航空機の高度（ｈ、図１参照）の関数として、地上の付加的な見掛けの前進速度に直接変換される：

ｈ（ｔ）は関連期間にわたって一定であると仮定され得る：

これによって、見掛けの対地速度の式が簡略化される。

小さい値のθについては、ｃｏｓ^-2因子が１に近づく。したがって、

である。
全速度ｖ_totalに対する姿勢速度ｖ_apparentの相対的な重要度は、ｑが増加するにつれて、かつ、高度ｈが高くなるにつれて、名目速度ｖ_nominalが低くなるにつれて増加する。正のｖ_apparentはｖ_nominalを増加させ、全前進速度ｖ_totalを増大させるのに対して、負のｖ_apparentはｖ_totalを減少させるか反対にする。これは図２に概略的に示されており、図２の左側は完璧な姿勢を示しており、中央は切れ目の原因となるピッチ増加を示しており、右側は不要な大きいオーバーラップの原因となるピッチ減少を示している。

予想されるピッチ変化は代表的に最大値ｑ_maxによって範囲が定められており、これは最大の見掛けの前進速度に変換される：ｖ_total,max＝ｖ_nominal＋ｖ_apparent（ｑ_max）。ｖ_nominalの代わりにｖ_total,maxに適応するフレームレートを選択することによって、切れ目が起こらないことが保証され得る。これは図３に示されている。図３の中央に示されている事例については、切れ目はさらに高いフレームレートによって回避される。左側および右側については、追加されるフレームは有用でない。

ヨーは、垂直軸の周りの回転を示す。直下視のイメージャについては、ヨー変化は、回転軸の位置に正確に配置された画素についてのポインティングに影響を及ぼさない。他のすべての画素については、回転すると、軸までの距離ｄ_axisに比例した付加的な見掛けの移動が生じる。回転角度ψによって生じる変位ｄ_yawは、

である。
これによって、付加的な見掛けの速度

が生じ、小さい値のψについては、ｓｉｎ（ψ）〜ψと近似することができ、ｖ_yaw,apparentをヨー変化の関数ｒ＝ｄψ／ｄｔとして表わすことができる：

軸までの距離ｄ_axisは画素毎に異なる。オーバーラップの計算には、最大距離を考慮すべきである。非常に広範囲のシステムを除いて、ｖ_yaw,apparentは、ピッチ変化からのｖ_apparentと比べて小さくなる。

ロールは、水平の前方ポインティング軸の周りの回転を示す。ロール変化は左右へのポインティングに影響を及ぼす。したがって、ロール変化によって上記に使用したような「軸までの距離」が変化する。代表的に、これは最大の見掛けの前進速度に小さな影響を及ぼすのみであり、ほとんどの場合、計算時に無視することができる。

次に、図４に提示されるフローチャートを参照して、本発明に係る方法の実施形態を説明する。当該方法は、航空機内に配置されたカメラから一連の部分的にオーバーラップしている地球の表面の画像を撮影することを可能にする。カメラは既知の視野角を有しており、これを用いて連続画像間の（予想される）オーバーラップ量が求められる。

航空機の移動中、異なる時刻に上記カメラによって複数の画像が取得され（１１０）、当該異なる時刻は一連の時間間隔によって分けられている。好ましくは、画像は固定された非常に高いフレームレートで取得される。これらの画像は、航空機上で一時的に保存される（バッファリングされる）（１２０）。

航空機の移動中、航空機の高度、地理的位置、およびピッチ（すなわち、航空機の横軸の周りの角度的な位置偏差）が検出され（１３０）、これらの変数を非リアルタイム処理に用いることが必要である場合は任意に保存される。当該検出は、カメラがキャプチャした画像を分析することによって（これは画像保存１２０と姿勢検出１３０との間の破線矢印によって表わされている）、またはこの目的で設けられた二次カメラがキャプチャした画像を分析することによって、専用のセンサによって行なうことができる。

基本的な位置変数および姿勢変数は、対地速度およびピッチレートの導出を可能にするのに十分なレベルの精度および時間分解能で検出されるべきである。あるいは、対地速度およびピッチレートは直接検出および／または保存されてもよい。可変の名目前進速度または他の姿勢パラメータ（ロール、ヨー）といった、地上で撮像される範囲に影響を及ぼす他のパラメータは、用途によってそのように必要とされる場合は、記録され、さらなる計算時に用いられてもよい。

次に、式１および２において上記に説明したように、高度、ピッチレート、および対地速度を用いて全前進速度が求められる（１４０）。カメラの既知の視野角とともに、予め定められた空間的なオーバーラップ量を得ることができるフレーム間の最大時間間隔が求められ得る（１５０）。次に、予め定められた空間的なオーバーラップ量を維持しつつ、取得する上記画像の数を最小にするために、キャプチャしたフレーム間の間隔が最大値に向かって調整され得る（１６０）。示される実施形態では、この調整１６０は、連続する選択画像間の時間間隔がステップ１５０で求めた最大値を超えないように、バッファリングされた画像のサブセットの選択からなる。ゆえに、予め定められた空間的なオーバーラップ量を維持しつつ、最小数の画像が保持される（１７０）。好ましくは、この選択ステップの前に最大間隔値からマージンを差引くことによって、姿勢変数に悪影響を及ぼす測定不正確が原因でｖ_apparent（ｑ）が低く見積もられている場合に切れ目を得ることを回避する。

ステップ１４０〜１５０において行なわれる実際の計算は以下のように実行され得る。
連続画像間の所望のオーバーラップ量は、変数ｄ_maxによって、すなわち、連続画像間の最大許容前進距離（これは、１つの画像の前進地上サイズから所望のオーバーラップを引いたものに対応し、画像の前進地上サイズは視野角および高度の関数として求められ得る）によって表わされ得る。

検討中のキャプチャ画像の時刻ｔ、および以前の画像の時刻ｔ_previousを考慮に入れると、感知された前進へのピッチレートｄ_pitchへの寄与は

と表わされ得、名目対地速度ｄ_nominalへの寄与は

と表わされ得る。
選択アルゴリズムは次いで、図５に示されるように進む。準備ステップ１６１において、第１の画像Ｉ（ｔ₀）が選択され、その画像の時刻がｔ_previousの初期値として保存される。時間反復子ｔはステップ１６２においてｔ_previousで開始するように設定され、ｄ_pitch＋ｄ_nominalがｄ_maxを超える（１６４）まで増分される（１６３）。この場合には、ｄ_maxを超える前のｔの最後の値が、選択すべき次の画像Ｉ（ｔ−１）の時間指数である（１６５）。ステップ１６２〜１６５のこの連続は、保存されたすべての画像について繰返される。

単一画像の積分時間の間、プラットフォームは移動してそのポインティングが変化し得、これによって一定量のモーションブラーが起こる。本発明に係るシステムでは、姿勢変化率情報はすべての画像が利用可能であり、これを用いて、予想されるモーションブラーを推定することができる。したがって、画像選択メカニズムを、推定されるモーションブラーも基準として用いられるように適合させることができ、当該メカニズムは、モーションブラーが低い画像を選択することを好むことができる。そうすることによって、平均モーションブラーがさらに低く、画像間の鮮明度がさらに一貫している画像サブセットが得られる。図５のフローチャートを参照して、選択ステップ１６５は、ｔ_previousとｔ−１との間のフレームから最良画像（すなわち、予想されるブラーが最も少ない画像）を選択し、その選択値を用いてアルゴリズムを継続するように適合され得る。あるいは、当該選択は、ｔ−１におけるフレーム、およびそのフレームの直前の予め定められた数のフレームから行なわれてもよい。

実践上は、当該アルゴリズムは画像のバッファに適用される。当該バッファは、新たな取得を追加することによって連続的に更新される。選択は進行し、選択された画像をさらに長期の保存および／または送信のために取っておく。選択されない画像は捨てられ得る。

図６は、本発明に係る方法の代替の実施形態を提示する。簡潔にするために、図４の実施形態と共通の要素はここでは繰返さない。固定の高頻度で画像をキャプチャする代わりに、画像を取得すること（１１０）は、可変のキャプチャ頻度で画像をキャプチャすることを含む。フレーム間の間隔は、キャプチャ頻度が可変となる（１８０）ように、求められた見掛けの前進速度の関数としてリアルタイムで適合される。この代替の実施形態は、不要な画像のバッファリングまたは保存の必要性をさらに減少させるが、姿勢変数およびカメラへの即時のフィードバックのリアルタイム処理を必要とする。したがって、本実施形態に必要なリアルタイムの計算リソースは、図４の実施形態に必要な計算リソースよりも重要である。

本発明は、以下のシミュレートした数値例によってさらに明らかになり得、この結果は図７のプロットに要約されている。ランダムにシミュレートされたピッチ変化（ピッチの標準偏差：０．３°／秒）で高高度（２００００ｍ）を飛行している、ゆっくりと進んでいるプラットフォーム（２０ｍ／秒未満）を仮定する。横軸は、５０フレーム／秒のフレームレートで３００秒にわたってプラットフォームがカバーした距離にわたる、キャプチャされたフレームの指数を表わす。縦軸上には、名目速度によってカバーされることになる距離（赤）、ピッチによる距離変化（青）、および組合された距離（緑）を示す。示される例では、ピッチ変化による速度変化は名目プラットフォーム速度よりも大きい。この場合、組合された移動は期間の一部について反対になる。この結果、一部（この例では全時間の約１／４）についてのみ新たな範囲がカバーされる。他の部分では、後進または前進によって同じ範囲が再訪される。累積距離のプロット（破線で示される）は、新たな領域がカバーされる場合を除いて当該プロットが水平であるという点で、これを示している。

上述のアルゴリズムを用いると、新たな範囲をカバーするそれらのフレームを選択するのみでよい。示される例では、これによって、保存および／または送信すべきデータの約７５％の減少がもたらされる。

図８は、本発明に係るシステムの実施形態を概略的に示す。上述の方法の計算ステップはコントローラ２２０によって行なわれる。コントローラ２２０は、専用のハードウェア（たとえばＡＳＩＣ）、構成可能ハードウェア（たとえばＦＰＧＡ）、プログラマブルコンポーネント（たとえば適切なソフトウェアを有するＤＳＰもしくは汎用プロセッサ）、またはそれらのいずれかの組合せで実現されてもよい。同一のコンポーネントは他の機能をさらに有していてもよい。コントローラ２２０は、航空機内に配置されたカメラから一連の部分的にオーバーラップしている地球の表面の画像を撮影することを容易にし、ＧＰＳレシーバおよびＩＭＵといった適切なセンサ２３０とインターフェイスすることによって、移動中に航空機の高度、地理的位置、およびピッチを得るように構成されている。コントローラ２２０はさらに、高度、地理的位置、ピッチ、およびカメラの視野角を用いて、上記により詳細に説明した方法に従って、予め定められた空間的なオーバーラップ量を有する画像を得ることができる時間間隔の最大値を求めるように構成されており、予め定められた空間的なオーバーラップ量を維持するのに必要な画像の数を最小にするために、最大値に向かって最大にされる連続画像間の時間間隔を調整する。

コントローラ２２０は、一連の部分的にオーバーラップしている地球の表面の画像を撮影するためのシステムの一部であってもよく、当該システムは航空機２００内に配置されたカメラ２１０をさらに含む。

コントローラ２２０は、計算された時間間隔に従ってカメラの画像取得速度を制御するように構成されてもよく、または、コントローラ２２０は、固定フレームレートで取得された画像のサブセットの保存および／または送信を制御してもよく、当該サブセットは計算された時間間隔に従って選択される。当該システムは、選択された画像をエンドユーザが利用できるようにするために適切な記憶媒体２４０および／または送信手段２５０を含んでいてもよい。

本発明は別個のシステムおよび方法の実施形態を参照して上記に説明されたが、これは明確にするためになされたに過ぎない。当業者は、システムまたは方法のみに関連して説明された特徴は、同じ技術的効果および利点を有してそれぞれ当該方法またはシステムにも適用され得ることを認識するであろう。さらに、本発明の範囲はこれらの実施形態に限定されず、添付の請求項によって規定される。

Claims (15)

1. 航空機または宇宙機内に配置されたカメラから一連の部分的にオーバーラップしている地表面の画像を撮影するための方法であって、前記カメラは視野角を有しており、前記方法は、
   前記航空機または前記宇宙機の移動中に、異なる時刻に前記カメラによって複数の画像を取得すること（１１０）を備え、前記異なる時刻は一連の時間間隔によって分けられており、前記方法はさらに、
   前記移動中に、前記航空機または前記宇宙機の位置を表わす位置情報、および前記航空機または前記宇宙機の方位を表わす方位情報を検出すること（１３０）と、
   前記位置情報、前記方位情報、および前記カメラの視野角を用いて、予め定められた空間的なオーバーラップ量を有する画像を得ることができる前記時間間隔の最大値を求めること（１４０；１５０）と、
   前記予め定められた空間的なオーバーラップ量を維持しつつ、取得する前記画像の数を最小にするために、前記間隔を前記最大値に向かって調整すること（１６０）とを備える、方法。
2. 前記位置情報は少なくとも高度および地理的位置を含み、前記方位情報は少なくともピッチを含み、前記位置情報および前記方位情報を用いて前記時間間隔の前記最大値を求めることは、前記高度、前記地理的位置、および前記ピッチを用いて前記時間間隔の前記最大値を求めることを含む、請求項１に記載の方法。
3. 前記ピッチの変化が、前記複数の画像のうちの連続画像から、または、前記航空機もしくは前記宇宙機内に配置された二次カメラによってこの目的で取得された複数の基準画像のうちの連続画像から、導出される、請求項２に記載の方法。
4. 前記取得すること（１１０）は、固定のキャプチャ頻度で画像をキャプチャすることと、キャプチャした前記画像を一時的に保存すること（１２０）とを含み、前記間隔を調整することは、前記予め定められた空間的なオーバーラップ量を維持しつつ最小数の前記画像を保持する（１７０）ように、キャプチャした前記画像から画像を捨てることを含む、請求項１から３のいずれか１項に記載の方法。
5. 前記航空機から地上ステーションに前記最小数の前記画像を送信することをさらに備える、請求項４に記載の方法。
6. 前記取得すること（１１０）は可変のキャプチャ頻度で画像をキャプチャすることを含み、前記間隔を調整することは前記キャプチャ頻度を変えること（１８０）を含む、請求項１から３のいずれか１項に記載の方法。
7. 前記求めること（１４０；１５０）は、見掛けの対地速度を、
   前記地理的位置の変化と、
   前記高度と、前記ピッチの接線の変化またはその数学的近似との積
   の合計として計算することを含む、請求項１から６のいずれか１項に記載の方法。
8. 請求項１から７のいずれか１項に記載の方法をプロセッサに実行させるように構成されたコード手段を備える、コンピュータプログラムプロダクト。
9. 航空機または宇宙機内に配置されたカメラから一連の部分的にオーバーラップしている地表面の画像を撮影することを容易にするためのコントローラであって、前記コントローラは、
   前記移動中に、前記航空機または前記宇宙機の位置を表わす位置情報、および前記航空機または前記宇宙機の方位を表わす方位情報を得るように、
   前記位置情報、前記方位情報、および前記カメラの視野角を用いて、予め定められた空間的なオーバーラップ量を有する画像を得ることができる前記時間間隔の最大値を求めるように、かつ、
   予め定められた空間的なオーバーラップ量を維持するのに必要な画像の数を最小にするために、前記最大値に向かって最大にされる連続画像間の時間間隔を計算するように構成される、コントローラ。
10. 前記位置情報は少なくとも高度および地理的位置を含み、前記方位情報は少なくともピッチを含み、前記位置情報および前記方位情報を用いて前記時間間隔の前記最大値を求めることは、前記高度、前記地理的位置、および前記ピッチを用いて前記時間間隔の前記最大値を求めることを含む、請求項９に記載のコントローラ。
11. 一連の部分的にオーバーラップしている地表面の画像を撮影するためのシステムであって、前記システムは、
    航空機または宇宙機（２００）内に配置されたカメラ（２１０）と、
    計算された前記時間間隔に従って前記カメラの画像取得速度を制御するように構成された、請求項８または請求項９に記載のコントローラとを備える、システム。
12. 一連の部分的にオーバーラップしている地表面の画像を撮影するためのシステムであって、前記システムは、
    航空機または宇宙機（２００）内に配置されたカメラ（２１０）を備え、前記カメラは、固定の画像取得速度で画像を取得するように構成されており、前記システムはさらに、
    計算された前記時間間隔に従って取得した前記画像のサブセットの保存（２４０）および／または送信（２５０）を制御するように構成された、請求項８または請求項９に記載のコントローラ（２２０）を備える、システム。
13. 前記航空機または前記宇宙機は無人航空機である、請求項１１または１２に記載のシステム。
14. 前記航空機または前記宇宙機は飛行船である、請求項１１または１２に記載のシステム。
15. 前記航空機または前記宇宙機は衛星である、請求項１１または１２に記載のシステム。