JP2018139105A - 地理登録を通じた生センサ画像強化のための方法および装置 - Google Patents

Abstract

【課題】地理登録を通じた生センサ画像強化のための方法及び装置を提供する。
【解決手段】センサ・プラットフォーム１０４は、プロセッサ命令を格納するメモリ１１６に通信可能に接続されたプロセッサ１１２、ならびにプラットフォームの動きの慣性測定値を取得し、これらの測定値をプラットフォームの慣性状態の推定に、適切な座標変換を介して変換するための手段、慣性ナビゲーション・システム（ＩＮＳ）１１４のようなセンサ１０６を備える。ＩＮＳ１１４は、３つの直交方向の加速度測定を提供する３つの加速度計及び３つの直交方向の回転を検知するジャイロのような３速センサを備えた慣性基準ユニット（ＩＲＵ）を備える。ＧＰＳは、ＩＮＳ１１４が慣性空間内のその位置の決定を支援するために使用する信号を送信する複数の衛星１０２Ａ乃至１０２Ｎを備える。
【選択図】図１

Description

関連出願の記載
本願は、Ｄａｎｉｅｌ Ｔ． Ｐｈｉｌｌｉｐｓによる本願と同日に出願された、発明の名称を「地理登録を通じた複数の生センサ画像強化のための方法および装置」とした、同時係属の本発明の譲渡人に譲渡された特許出願に関連し、その出願は参照により本明細書に組み込まれる。

本開示は、生センサ・データから画像を生成するためのシステムおよび方法に関し、特に地理登録を通じてかかる画像生成を強化するためのシステムおよび方法に関する。

画像登録は、異なる組の画像データを単一の座標系に変換するプロセスである。当該登録プロセスで使用される画像データは一般に十分に同一のシーンの複数の画像を含み、かかる画像は同時に、または異なる時点または視点で取得されうる。データ登録技術は、コンピュータ・ビジョン、医療画像処理、軍用自動ターゲット認識で使用され、衛星からの画像およびデータを編集し分析する際に使用される。登録は、これらの異なる測定値から取得されたデータを比較または統合できるようにするために必要である。

幾つかのケースでは、画像を、当該画像（複数可）で示された同一のシーンの参照ビュー合成モデルと関連して登録してもよい。例えば、特許文献１は、ここで参照により本明細書に組み込まれ、参照画像データベースおよび／またはデジタル高度モデル（ＤＥＭ）に画像を自動的に登録するための処理アーキテクチャを示す。

センサ・データおよび後続の画像処理の集合は、生センサ測定値を取得するセンサの位置の不確実性により歪められる。これは、当該センサが搭載されるプラットフォームのナビゲーション・システムの不確実性、画像登録プロセスにおける誤差に起因し、その制限された組の参照高度データのみが一般に当該画像の処理に利用可能である。

米国特許出願公開第２００５／０２２０３６３号明細書

必要なものは、かかる歪みを削減するシステムおよび方法である。かかるシステムおよび方法を以下で開示する。

上述の要件を解決するために、本願は生センサ・データから画像を生成するためのシステムおよび方法を開示する。１実施形態では、当該方法は、複数の生センサ・データ・セットを読み取るステップであって、各生センサ・データ・セットは複数のセンサ慣性状態で１つまたは複数のセンサから読み取られる、ステップと、当該複数のセンサ慣性状態の各々の推定を生成するステップと、当該生センサ・データ・セットの各々を保持するステップとを含む。当該生センサ・データ・セットの各々は、当該複数の推定されたセンサ慣性状態および当該複数の生センサ・データ・セットから少なくとも部分的に画像を生成するステップおよび当該センサ慣性状態の少なくとも１つの更新された推定を生成するステップの間に保持され、当該センサ慣性状態の当該少なくとも１つの当該更新された推定は、当該生成された画像および当該複数の推定されたセンサ慣性状態から少なくとも部分的に生成される。最後に、強化された画像が、当該保持された生センサ・データ・セットおよび当該センサ慣性状態の当該少なくとも１つの当該更新された推定から生成される。別の実施形態は上の動作を実施するための手段により明らかになる。

さらに別の実施形態は、生データを生成するためのセンサと、当該センサに通信可能に接続され、複数の生センサ・データ・セットを当該センサから読み取るための画像プロセッサであって、各生センサ・データ・セットは複数のセンサ慣性状態で当該センサから読み取られる、画像プロセッサと、当該センサに通信可能に接続され、当該複数のセンサ慣性状態の各々の推定を生成するための慣性ナビゲーション・システムと、当該センサおよび当該慣性ナビゲーション・システムに通信可能に接続され、画像を生成するための画像プロセッサであって、当該画像は、当該複数の推定されたセンサ慣性状態および当該複数の生センサ・データ・セットから少なくとも部分的に生成される、画像プロセッサと、当該慣性ナビゲーション・システムおよび当該画像プロセッサに通信可能に接続され、当該センサ慣性状態の更新された推定の少なくとも１つを生成するための地理登録システムであって、当該センサ慣性状態の当該少なくとも１つの当該更新された推定は、当該生成された画像および当該複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、地理登録システムとを備えた、生センサ・データから画像を生成するための装置により明らかになる。当該実施形態では、当該画像プロセッサは強化された画像を、当該保持された生センサ・データ・セットおよび当該センサ慣性状態の当該少なくとも１つの当該更新された推定から生成し、当該画像が当該生センサ・データから生成され当該センサ慣性状態の当該少なくとも１つの当該更新された推定が生成される間に当該センサは当該生センサ・データ・セットの各々を保持する。さらに別の実施形態は、プロセッサおよび以上の動作を実施するためのプロセッサ命令を格納する通信可能に接続されるメモリを有する装置により明らかになる。

説明した特徴、機能、および利点を、独立に実現でき本発明の様々な実施形態ではまたはさらに他の実施形態において結合してもよく、そのさらなる詳細を以下の説明と図面を参照して理解することができる。

次に図面を参照する。同じ参照番号は本明細書にわたって対応する部分を表す。

センサ・プラットフォームの動作を示す図である。 例示的な地理登録システムを表す図である。 地理登録システムのより詳細な実施形態を示す図である。 生センサ・データから画像を生成するために使用できる例示的なプロセスのステップを表す図である。 生センサ・データから画像を生成するために使用できる例示的なプロセスのステップを表す図である。 生センサ・データから画像を生成するために使用できる例示的なプロセスのステップを表す図である。 生センサ・データから画像を生成するために使用できる例示的なプロセスのステップを表す図である。 改善された地理登録システムの１実施形態の図である。 処理要素を実装するために使用できる例示的なコンピュータまたはシステム６００を示す図である。

以下の説明では、本明細書の一部を形成する添付図面を参照する。当該添付図面は、例により、幾つかの実施形態を示している。他の実施形態を利用してもよく、構造的変更を、本開示の範囲から逸脱することなく行ってもよいことは理解される。

概要
生センサ・データから画像を生成するための既存のシステムおよび方法と異なり、本明細書で説明するシステムおよび方法は生センサ画像データ（例えば、合成開口レーダ（ＳＡＲ）ＩＱ集合データ）を保持する。高解像度参照画像への地理登録が成功すると、当該生センサ・データが、より高い精度および削減された歪みの強化された出力センサ画像をもたらす計算された強化されたセンサ位置および参照画像データで再処理され、例えば、大幅な面外加速度を伴う高解像度集合にその主要な利益が見出される後方投影のようなアルゴリズムを用いて生センサＳＡＲデータが処理される。改善されうる他の歪みはフォーショートニングおよびレイオーバの歪みを含み、これらはＳＡＲアプリケーションで問題である。

プラットフォーム
図１は、センサ・プラットフォーム１０４（以降、代替的にプラットフォームとも称される）の動作を示す図である。センサ・プラットフォーム１０４は地球の大気圏または宇宙で動作してもよく、無人または有人であってもよい。１実施形態では、当該センサ・プラットフォームは無人空中ビークル（ＵＡＶ）である。プラットフォーム１０４は一般に、地上または地上付近でターゲット１１０を監視する視野（ＦＯＶ）１０８を有するセンサ１０６（回転可能櫓１０５に搭載されてもよい）を含む。

プラットフォーム１０４はまた一般に、本明細書で説明した動作を実施するためのプロセッサ命令を格納するメモリ１１６に通信可能に接続されたプロセッサ１１２、ならびにプラットフォーム１０４の動きの慣性測定値を取得し、これらの測定値をプラットフォーム１０４の慣性状態の推定に、適切な座標変換を介して変換するための手段、慣性ナビゲーション・システム（ＩＮＳ）１１４のようなセンサ１０６を備える。一般に、ＩＮＳ１１４は、３つの直交方向の加速度測定を提供する３つの加速度計、および３つの直交方向の回転を検知するジャイロのような３速センサを備えた慣性基準ユニット（ＩＲＵ）を備える。一般に、ＩＮＳ１１４はまた、全地球測位システム（ＧＰＳ）のようなシステムから利用可能であるもののような、グローバル・ナビゲーション情報を受信するための別の受信機を備えてもよい。ＧＰＳは、ＩＮＳ１１４が慣性空間内のその位置の決定を支援するために使用する信号を送信する複数の衛星１０２Ａ乃至１０２Ｎを備える。幾つかのアプリケーションでは、ＩＮＳ１１４はまた、星型追跡器または位置を推定するための他の手段を備えてもよい。

１実施形態では、プラットフォーム１０４はまた、地上局１１８とコマンドおよび他の情報を送受信するための、プロセッサ１１２に通信可能に接続された受信機１１７を備える。地上局１１８内のコンピュータおよび他の機器を用いて、ユーザ１２０は、コマンドをプラットフォーム１０４に提供し、センサ１０６により取得されたデータを含むデータを受信する。

センサ実施形態
１実施形態では、センサ１０６は、ターゲット１１０を含むシーン１０９をスキャンし、ターゲット１１０および／またはシーン１０９の画像を、かかるスキャンから生成された生センサ・データで構築するＳＡＲを含む。

ＳＡＲは、プラットフォーム１０４の飛行経路を利用して極端に大きなアンテナまたは開口部を電子的にシミュレートし、高解像度リモート検知画像を生成する、コヒーレントなおおよそ空中輸送されているまたは宇宙で輸送されている側方監視レーダシステムである。時間とともに、個々の送受信サイクルは、各サイクルからのデータが電子的に格納されることで完了する。当該信号処理は、合成開口部の要素から連続的なパルスにわたって、受信された信号の規模およびフェーズを使用する。所与の数のサイクルの後に、当該格納されたデータは、飛行中の地形の高解像度画像を生成するために、（各後続のサイクルにおける幾何形状を対象とする異なる送信器に固有なドップラー効果を考慮して）再結合される。

ＳＡＲはフェーズド・アレイと同様に動作するが、フェーズド・アレイの多数の並列アンテナ要素の代わりに、ＳＡＲは、（機械的にまたは電子的に操縦できるビームを生成する）１つのアンテナを使用して、測定値を時間多重化して大型の開口部センサをシミュレートする。当該アンテナ要素の異なる幾何的位置は移動するプラットフォーム１０４の結果である。

画像プロセッサは全てのレーダ帰還信号を、振幅および位相として、或る期間にわたり格納し、各信号は慣性空間内の関連位置から取得されたデータを表す。この時点で、長さｖ・Ｔのアンテナにより取得されているであろう信号を再構築するのが可能である。ｖはプラットフォーム速度であり、Ｔは当該期間である。視線方向がレーダプラットフォームの軌跡に沿って変化すると、合成開口部は、アンテナを長くする効果を有する信号処理により生産される。Ｔを大きくすることで、当該「合成開口部」が大きくなり、したがってより高い解像度を実現することができる。

ターゲット１１０が最初にレーダ・ビームに入ると、各送信されたパルスからの後方散乱エコーが記録され始める。プラットフォームが前方に動き続けると、パルスごとの当該ターゲットからの全てのエコーが、当該ターゲットが当該ビーム内にある時間全体の間に記録される。当該ターゲットが後の何等かの時点で当該レーダ・ビームのビューから出る時点は、シミュレートまたは合成されたアンテナの長さを決定する。合成された拡張ビーム幅は、地上幅が増大するにつれターゲットがビーム内にある増大された時間と組み合わさって、解像度が全範囲にわたって定数に留まるように互いにバランスする。ＳＡＲの実現可能な方位解像度は実際の（現実の）アンテナの長さのおおよそ半分に等しく、プラットフォームの高度（距離）に依存しない。画像を生成するプロセスを、入ってくる生センサ・データがシフト・レジスタに提供されるプロセスと考えてもよく、各新たな生センサ・データの到着は、以前に測定された生データを隣接するシフト・レジスタ要素にシフトさせ、当該新たなデータは退去した要素に置かれる。各シフト・レジスタからのデータはついで算術動作または処理関数を用いて結合され、当該画像の解像度は、各新たな生画像データ・セットが処理されると向上する（各新たな測定が、当該画像データの総数に関連付けられた「開口部」を増大させるので、期待される結果である）。一般に、画像が生成されると、シフト・レジスタ内のデータが削除されるかまたは上書きされ、（地理登録を介して当該画像から生成された）当該センサの慣性状態の推定の改善を使用して当該画像の品質を改善できる可能性が排除される。

したがって、ＳＡＲは、ＳＡＲ画像処理技術を用いて結合された生画像データの連続的なインスタンスを用いて画像を生成し、慣性空間内の異なる点で取得された各データ・インスタンスを結合し、完全な画像を生成する。当該結果の画像の精度は、各連続的な画像が取得されたときのプラットフォーム１０４位置の任意の決定の精度を含む、幾つかの因子に依存する。かかるシステムの要件は、安定で完全にコヒーレントな送信器、効率的で強力なＳＡＲ画像プロセッサ、およびセンサの飛行経路および／または速度の知識である。

ＳＡＲは、フォーショートニング、レイオーバ、および陰影効果を含むスラント・レンジ（slant-range）歪みを受ける。かかるスラント・レンジ歪みは、レーダが地上に沿った真の水平距離ではなくスラント・レンジにおける特徴への距離を測定しているので、生ずる。これが、近くから遠くの範囲に移動する、可変の画像スケールをもたらす。フォーショートニングは、レーダ・ビームが当該レーダに向かって捻じれる高い特徴（例えば、山）の底部に、その頂上に到達する前に到達するときに生ずる。当該レーダは水平範囲でなくスラント・レンジ内の距離を測定するので、スロープは圧縮されたように見え、当該スロープの長さは画像平面で不正確に表される。レイオーバは、当該レーダ・ビームが背の高い特徴の頂上に、その底部に到達する前に到達するときに生ずる。当該特徴の頂上からの帰還信号は、当該底部からの信号の前に受信される。結果として、当該特徴の頂上は地上の真の位置からレーダに向かって変位し、当該特徴の底部を「延期する」。この陰影効果は、ちょうど太陽が沈むと我々の影が伸びるように、大きな入射角θとともに増大する。かかるスラント・レンジ歪みの全てを補償するのは可能であるが、かかる補償は、少なくとも部分的にセンサの慣性状態の正確な知識（例えば、その位置および／または速度）に依存する。ＳＡＲの基本原理の説明は http://www.radartutorial.eu/20.airborne/ab07.en.htmlで提供されている

別の実施形態では、センサ１０６は、ターゲット１１０を含むシーン１０９をスキャンする平面撮像センサを含み、ターゲット１１０および／またはシーン１０９の画像をかかるスキャンから生成された生センサ・データで構築する。一般に、当該平面撮像センサは、映画カメラのような画像のシーケンスのキャプチャを可能とするカメラを含み、可視光線、赤外線（ＩＲ）または紫外線波長のエネルギを検知してもよい。幾つかのアプリケーションでは、当該平面センサは他の波長のデータを電磁気スペクトルにわたって収集する。一般に、撮像センサ１０６は、プラットフォーム１０４をピッチ、ヨーおよびロールで操縦することで方向付けることができ、また、プラットフォーム１０４のボディと独立に捻じれ方向およびパン方向に方向付けてもよい。かかる捻じれおよびパンニングを、櫓１０５または同様な構造を用いて電子的にまたは機械的に実現してもよい。

地理登録システム
図２は、例示的な地理登録システム２００を表す図である。当該地理登録システムは、画像プロセッサ２０４に通信可能に接続されたセンサ１０６を備える。画像プロセッサ２０４は生センサ・データ２０２を処理して画像２０６を生成する。一般に、画像プロセッサ２０４は画像２０６を生成する目的に特化した特殊目的プロセッサであり、プラットフォーム・プロセッサ１１２と異なる。しかし、プラットフォーム・プロセッサ１１２を使用して、画像プロセッサ２０４の機能を実施してもよい。

地理登録システム２００はまた、画像プロセッサ２０４に通信可能に接続されたＩＮＳ１１４を備える。上述のように、ＩＮＳ１１４は、時間とともに、プラットフォーム１０４の慣性状態の推定、および適切な座標変換により、センサ１０６の慣性状態を生成する。センサ慣性状態２０８は、例えば、センサ１０６の位置、速度、加速度、態勢または態勢レートを含んでもよい。これらの状態を慣性座標空間に関して表現してもよく、当該座標空間が、デカルト、極、または他の座標系（ＮＥＤ、ＥＣＥＦ、システム／センサ・ボディ）であってもよい。単純さのため、１つまたは複数の生センサ・データ集合イベントに対応する、センサの位置、速度、加速度、姿勢、または態勢レートの１つまたは複数の推定はそれぞれセンサ慣性状態および生センサ・データとして定義される。

画像プロセッサ２０４は生センサ・データ２０２を受信し、このデータを処理して画像を生成する。センサ１０６がＳＡＲである実施形態では、画像プロセッサ２０４は、生ＩＱセンサ・データ２０２を複数の物理センサ１０６位置で取得されたセンサ１０６から受信し、各かかる生センサ・データが取得されたときセンサ１０６の物理位置の推定を用いて、画像２０６を生成する。

画像２０６およびセンサ慣性状態２０８が地理登録モジュール２１０に提供される。地理登録モジュール２１０は、地理登録されたセンサ画像２１２をセンサ慣性状態２０８から、画像２０６、および参照画像および／または他の参照地理空間データ（例えば、高度）を参照画像データベースから生成する。

図３は、地理登録システム３００のより詳細な実施形態を示す図である。（センサ慣性状態２０８に変換されうる）プラットフォーム・パラメータ３２２およびセンサ・パラメータ３３２（例えば、視野またはＦＯＶ）が、画像およびセンサ・フットプリントにより示されるシーンの位置の推定を生成するためにセンサ・フットプリント分析モジュール３２４に提供される。その情報が関心領域（ＡＯＩ）抽出モジュール３２６に提供される。関心領域（ＡＯＩ）抽出モジュール３２６は、参照画像データベース２１４および参照デジタル高度モデル（ＤＥＭ）データベース３４０を使用して、参照チップ３３０およびＤＥＭチップ３４２を生成する。

プラットフォーム・パラメータ３２２およびセンサ・パラメータ３２０はまたセンサ視点分析モジュール３５０に提供される。センサ視点分析モジュール３５０は、プラットフォームとセンサの間の関係を記述するセンサ変換モデル３５４に沿って、参照画像をセンサ視点に変換するための変換を生成するために使用される視点パラメータ３５２を生成する。参照チップ３３０およびＤＥＭチップ３４２が参照直交画像（orthoimage）チップ３４８および参照ＤＥＭチップ３４６を生成するために直交画像構築モジュール３４４に提供される。参照直交画像チップ３４８および参照ＤＥＭチップ３４６は、視点参照画像３５８を生成するためにセンサ視点モジュール３５６によりセンサ視点に変換される。視点参照画像３５８は、マッチ・パラメータを生成するために、画像マッチング・モジュール３６０により生センサ・データから生成されたセンサ画像でマッチされる。これらのマッチ・パラメータは、センサ画像を視点参照画像とマッチするための変換（例えば、平行移動、回転、逆視点等）を反映するマッチング関数３６２である。以上のシステムの例示的な実施形態はさらに、特許文献１で説明され、これは参照により本明細書に組み込まれる。

この地理登録された画像２１２を使用して、集合およびしたがってプラットフォーム１０４自体の時刻（複数可）で発生するセンサ１０６の慣性状態の決定の精度を高めることができる。重要なことに、および以下で論じられるように、生センサ・データ２０２が保持される場合、センサ１０６の慣性状態に関するこのより正確なデータをまた、強化された（例えば、良好な品質の）画像２０６を生成するために使用することができる。これを実現するために、生センサ・データ２０２は、画像２０６を生成するために使用される画像処理がより正確なセンサ１０６の慣性状態データを用いて反復される（例えば、再度実施される）ように、保持されまたはそうでなければ格納されなければならない。したがって、高解像度参照画像に対する地理登録が成功すると、生センサ・データ２０２は、より高い精度および削減された歪みの強化された出力センサ画像（例えば、面外加速度、フォーショートニングおよびレイオーバ）をもたらす計算される強化されたセンサ位置および参照画像データで再処理される。

強化された画像生成
図４Ａ乃至４Ｄは、生センサ・データ２０２から画像２０６を生成するために使用しうる例示的なプロセスのステップを表す図である。まず図４Ａを参照すると、ブロック４０２で、生センサ・データ２０２がセンサ１０６から読み出される。ブロック４０４で、センサ慣性状態２０８の推定がＩＮＳ１１４により生成される。一般に、生センサ・データ２０２を読み取るプロセスおよびセンサ１０６の慣性状態の推定を生成するプロセスは独立なプロセスにより並列に実施され、各プロセスからのデジタル・データは、生センサ・データ２０２が読み取られたときに生センサ・データ２０２を当該推定されたセンサ慣性状態２０８と相関させることができるように時間でタグ付けされる。したがって、当該慣性推定センサ慣性状態２０８が、センサ１０６からの生センサ・データの読取りの間にまたはそれと並行して生成されてもよい。

ブロック４０６で示すように、生センサ・データ２０２は、更新された（または強化された）バージョンの画像２０６を生成する際に後に使用するために保持または格納される。１実施形態では、これは、センサ１０６と別々に生センサ・データ２０２をメモリ（例えば、図５に示すメモリ５０２）に格納することにより実現される。他の実施形態では、これは、生センサ・データ２０２を、センサ１０６自体のメモリ、即ち、画像プロセッサ２０４、またはプラットフォーム・プロセッサ１１２の一部であるかまたはそれらにアクセス可能なメモリに格納することにより実現される。

ブロック４０８で示すように、画像２０６が少なくとも部分的に生センサ・データ２０２から生成される。これを、例えば、図５に示す画像プロセッサ２０４を用いて実現することができる。１実施形態では、当該生センサ・データは、赤外線または可視光にセンシティブな要素のアレイを有する赤外線または可視光センサのような平面撮像センサから取得されたデータを含む。当該実施形態では、当該センサの位置は、当該生データが読み取られたとき画像を生成するために必要とされないので、当該画像を、推定された慣性センサ状態なしに当該生センサ・データから生成することができる。当該画像を生成するのに必要ではないが、このデータを、図４Ｃと同様にプラットフォームの慣性状態の推定への第２のセンサ・データ入力として利用してもよい。

別の実施形態では、推定されたセンサ慣性状態２０８は、画像プロセッサ２０４が画像を生成するために必要とされる。例えば、画像２０６が複数のセンサ１０６位置（例えば、ＳＡＲのような合成開口部システム）から取得された生センサ・データ２０２を結合することにより生成されるアプリケーションでは、画像２０６が、生センサ・データ２０２だけでなく、生センサ・データ２０２が取得されたときセンサ１０６の慣性状態も用いて生成される。

ブロック４１０で示すように、当該センサ慣性状態の更新された推定が、生成された画像２０６および当該推定されたセンサ慣性状態から少なくとも部分的に生成される。１実施形態では、当該センサ慣性状態の更新された推定は、ブロック４０８で生成された画像を地理登録し、当該地理登録された画像を用いて当該センサ慣性状態の更新推定を取得することで生成される。これをさらに図５を参照して以下で説明する。最後に、ブロック４１２で、強化された画像が、保持された生センサ・データおよびセンサ慣性状態の更新された推定から生成される。

１実施形態では、ブロック４１２で生成された強化された画像がブロック４１０に提供され、センサ慣性状態の更新された推定をさらに改善するために使用される。生センサ・データは依然として利用可能であるので、これは、ブロック４１２の動作が繰り返されるときのさらに強化された画像の生成を可能とする。このプロセスを繰り返し反復して、かかる反復が当該センサ慣性状態の推定をもはや十分に改善しないまで、当該生成された画像および当該センサ慣性状態の推定を改善することができる。

以上のプロセスを、追加の生センサ・データおよびセンサ慣性状態の追加の推定に対して繰り返してもよい。これを、例えば、（複数の生センサ・データが異なる時点で異なる位置から取得される）ＳＡＲまたは（複数の生センサ・データが同時にまたはほぼ同一の時間点で異なる位置から取得される）複数のセンサ実施形態のような合成開口部技術を用いる諸実施形態において、適用してもよい。

図４Ｂは、追加の生センサ・データおよびセンサ慣性状態の推定の利用を示す図である。この実施形態は、例えば、選択されたＳＡＲアプリケーションにおいて有用である。ブロック４２２で、第２の生データがセンサから読み出される。当該実施形態では、当該センサは、上述した第１の生データを（異なる位置で異なる時刻に）読み取る同一のセンサである。ブロック４２４で、第２のセンサ慣性状態の推定が生成される。第２のセンサ慣性状態は、上述したセンサ慣性状態とは異なる位置（および時刻）での同一のセンサの状態である。ブロック４２６で、第２の生センサ・データが保持される（第１の生センサ・データも使用のために保持されている）

ブロック４２８で画像が生成される。この画像は、センサ慣性状態の更新された推定、第２のセンサ慣性状態の推定、当該生センサ・データおよび第２の生センサ・データから少なくとも部分的に生成される。例えば、ＳＡＲの実施形態では、当該さらに生成された画像は、第１のセンサ位置で取得された第１の生データおよび第２の位置で取得された第２の生データ、ならびに当該生データが取得された位置でのセンサの状態から生成される。

ブロック４３０で、第２の慣性センサ状態の更新された推定が生成される。第２の慣性センサ状態のこの更新された推定は、ブロック４２８で生成されたさらに生成された画像および推定された第２のセンサ慣性状態から少なくとも部分的に生成される。

最後に、ブロック４３２で、さらに強化された画像が、当該保持された生センサ・データ、当該保持された第２の生センサ・データ、当該センサ慣性状態の更新された推定および当該更新された第２のセンサ慣性状態の推定を用いて生成される。

図４Ａに示すプロセスと同様に、以上のプロセスを、追加の生センサ・データおよびセンサ慣性状態の追加の推定に対して繰り返してもよい。これを、例えば、（複数の生センサ・データが異なる時点で異なる位置から取得される）ＳＡＲのような合成開口部技術を用いた諸実施形態または（複数の生センサ・データが同時にまたはほぼ同一の時間点で当該異なる位置から取得される）複数のセンサの実施形態において、適用してもよい。

図４Ｃは、２つのセンサを用いた１実施形態における追加の生センサ・データおよび慣性状態の推定の利用を示す図である。当該実施形態では、第１の生センサ・データおよび第２の生センサ・データは、２つの異なるセンサから取得され、同一の時点または異なる時点に取得されてもよい。ブロック４３２は第２の生センサ・データを第２のセンサから読み取り、ブロック４３４は第２のセンサ慣性状態の推定を生成する。ブロック４３６は、少なくともブロック４３８および４４０の動作が実施される限り第２の生センサ・データを保持する（第１の生センサ・データも使用のために保持されている）。ブロック４３８で、画像がさらに、少なくとも部分的に（第１のセンサの）センサ慣性状態の更新された推定、（第２のセンサの）第２の推定された慣性状態、および第１のセンサおよび第２のセンサからの生データから生成される。ブロック４４０で、（第２のセンサの）第２の慣性センサ状態の更新された推定が少なくとも部分的に当該さらに生成された画像および（第２のセンサの）第２のセンサ慣性状態から生成される。最後に、ブロック４４２で、さらに強化された画像が、第１の保持された生センサ・データ、第２の保持された生センサ・データから生成される。

再度、図４Ａおよび４Ｂと関連して論じた実施形態と同様に、ブロック４４２で生成された当該強化された画像をブロック４４０に提供し、第２のセンサ慣性状態の更新された推定をさらに改善するために使用してもよい。第２の生センサ・データは依然として利用可能であるので、これは、ブロック４４２の動作が繰り返されるときさらに強化された画像の生成を可能とする。

図４Ｄは、画像２０６を生センサ・データ２０２から生成するために使用しうる例示的なプロセスのステップの別の実施形態の図である。当該実施形態では、特定の解像度で特定の領域１０９をカバーするターゲット１１０の画像が望まれる。当該画像を収集するのにどれくらいかかるか（時間）に関係し、当該画像が収集の間にセンサ１０６の視野１０８内に保持するために予測されることを検証する予測が生成される。より多くのデータ点が異なるセンサ位置で収集されたときより大きな解像度が実現され、これは一般に当該データを収集するためのより長い期間を反映する。センサ・プラットフォーム１０４が移動すると、センサ１０６は、（ＳＡＲのケースでは、生データの各集合が無線周波数パルスから取得された）生データを複数のセンサ位置または慣性状態で集める収集を開始する。ＩＮＳ１１４は、パルスに対応する生データの集合ごとにセンサ位置または慣性状態の推定を生成する。生センサ・データ２０２の各組はついでセンサ１０６の慣性位置の推定に関連付けられる。これを、例えば、生センサ・データ２０２が各パルスから収集された記録時刻とセンサ１０６の慣性状態の推定の時刻を相関付けることで実現してもよい。

ブロック４５８で、画像２０６が、少なくとも部分的に、（複数のパルスの各々からのデータ・セットを含む）生センサ・データ２０２および生センサ・データ２０２セットの各々に対応するセンサ２０８の慣性状態の推定から生成される。ブロック４６０で、当該センサ慣性状態の更新された推定が少なくとも部分的に当該生成された画像および当該推定されたセンサ慣性状態から生成される。１実施形態では、これは、地理登録された画像２１２を生成された画像２０６および参照画像データベース２１４から生成し、ついで地理登録された画像２１２を用いてセンサ位置の更新された推定（複数可）を生成することにより実現される。ブロック４６２で、強化された画像が、保持された生センサ・データ・セット４５６およびセンサ慣性状態の更新された推定から生成される。

再度、図４Ａ乃至４Ｃと関連して論じた実施形態と同様に、ブロック４６２で生成された強化された画像をブロック４６０に提供して、センサ慣性状態の更新された推定をさらに改善するために使用してもよい。生センサ・データは依然として利用可能であるので、これは、ブロック４６２の動作が繰り返されるときさらに強化された画像の生成を可能とする。

さらに、センサ慣性状態の改善された推定を使用して、将来の生センサ・データ２０２セット集合に対する推定された慣性状態を改善し、したがって生成された画像２０６をさらに改善することができる。

図４Ａ乃至４Ｄを参照して論じた実施形態では、推定されたセンサ慣性状態は、使用されるセンサ１０６に依存して異なるデータを含んでもよい。例えば、生センサ・データが同一のセンサ（例えば、ＳＡＲ）により異なるセンサ位置で取得される実施形態では、当該推定されたセンサ慣性状態は慣性空間内のセンサ位置を含み、また慣性空間内のセンサ速度を含んでもよい。（例えば、ＩＲ、ｕＶ、または可視光帯域幅におけるエネルギにセンシティブな画素のアレイを有する平面センサを用いる）諸実施形態では、当該センサ慣性状態は、当該生センサ・データが読み取られるときのセンサ位置およびセンサ態勢を含んでもよい。

図５は、改善された地理登録システム５００の１実施形態の図である。図４Ａ、４Ｂ、４Ｃ、および４Ｄのブロック４１０、４３０、４４０および４６０はそれぞれ、センサ慣性状態（または第２の慣性センサ状態）の更新された推定が、関連する画像から少なくとも部分的に生成される動作を記述する。これを地理登録モジュール２１０により実現してもよい。地理登録モジュール２１０は、地理登録された画像を、上で参照した生成された画像および参照画像データベース２１４および前述の参照ＤＥＭデータベースから生成する。更新されたセンサ慣性状態がついで、地理登録された画像から少なくとも部分的に生成される。これを、当該地理登録された画像を、ＤＥＭデータベース３４０内の既知の特徴および特許文献１で説明されている地理登録された画像と比較して、当該画像を生成するために使用される生センサ・データが読み取られたときセンサの位置に関する追加の情報を提供することにより実現することができる。かかる比較を、ＩＮＳ１１４のハードウェア、ソフトウェア、またはファームウェア・モジュール５０６、画像プロセッサ２０４のハードウェア、ソフトウェア、またはファームウェア・モジュール５０４および／またはプラットフォーム・プロセッサ１１２のハードウェア、ソフトウェア、またはファームウェア・モジュールにより実施してもよい。

最後に、強化された画像が上述したプロセスから利用可能であるので、強化された地理登録された画像が当該強化された画像および更新されたセンサ位置（複数可）から生成されてもよい。これは、（更新されたセンサ慣性状態２０８を用いて生成された）強化された画像２０６および更新されたセンサ慣性状態２０８自体を地理登録モジュール２１０に提供することで実現される。地理登録モジュール２１０はこの時点で強化された画像を有し、更新された（およびより正確な）センサ慣性状態２０８を有するので、強化された地理登録されたセンサ画像２１２を生成することができる。もちろん、この強化された地理登録されたセンサ画像２１２を使用して、さらに、画像２０６を改善するために使用されうるセンサ慣性状態２０８の精度を改善することができる。画像２０６はついで、さらに強化された地理登録されたセンサ画像２１２の生成を可能とする。したがって、生センサ・データ２０２を、地理登録プロセスにより可能とされる改善された精度でセンサ慣性状態２０８を用いてそれを再処理できるように保持することにより、継続的に画像およびセンサ状態の推定の両方を改善する処理の閉ループが定義される。

処理環境
図６は、プラットフォーム・プロセッサ１１２、画像プロセッサ２０４、地理登録モジュール２１０、ＩＮＳ１１４の部分、受信機１１７および地上局１１８を含む、上述の開示の処理要素を実装するために使用できる例示的なコンピュータまたはシステム６００を示す。コンピュータ６０２はプロセッサ６０４および、ランダム・アクセスメモリ（ＲＡＭ）６０６のようなメモリを含む。人間のインタフェースを必要とする諸実施形態では、コンピュータ６０２はディスプレイ６２２に動作可能に接続される。ディスプレイ６２２は、グラフィカル・ユーザ・インタフェース６１８Ｂ上のユーザに対する窓のような画像を提供する。コンピュータ６０２はキーボード６１４、マウスデバイス６１６、プリンタ等のような他のデバイスに接続されてもよい。もちろん、当業者は、上述のコンポーネント、または任意数の異なるコンポーネント、周辺装置、および他のデバイスの任意の組合せをコンピュータ６０２で使用してもよいことを認識する。

一般に、コンピュータ６０２は、メモリ６０６に格納されたオペレーティング・システム６０８の制御下で動作し、ユーザとインタフェースして、入力およびコマンドを受け付け、グラフィカル・ユーザ・インタフェース（ＧＵＩ）モジュール６１８Ａを通じて結果を提供する。ＧＵＩモジュール６１８Ｂは別々のモジュールとして示されているが、当該ＧＵＩ機能を実施する命令を、動作システム６０８、コンピュータ・プログラム６１０内に常駐させるかまたは分散させることができ、または特殊目的メモリおよびプロセッサで実装することができる。コンピュータ６０２はまた、Java(登録商標)、Ｃ＋＋、Ｃ＃、または他の言語のようなプログラミング言語で書かれたアプリケーション・プログラム６１０をプロセッサ６０４可読コードに変換できるコンパイラ６１２を実装する。完了後、アプリケーション６１０は、コンパイラ６１２を用いて生成された関係およびロジックを用いてコンピュータ６０２のメモリ６０６に格納されたデータにアクセスし操作する。類似の結果をフィールド・プログラム可能ゲートアレイ（ＦＰＧＡ）で実現することができる。コンピュータ６０２はまた、場合によっては、モデム、衛星リンク、イーサネット(登録商標)カード、または他のコンピュータと通信するための他のデバイスのような外部通信デバイスを含む。

１実施形態では、動作システム６０８、コンピュータ・プログラム６１０、およびコンパイラ６１２を実装する命令はコンピュータ可読媒体、例えば、データ記憶デバイス６２０で有形に具体化される。当該コンピュータ可読媒体は、ジップ・ドライブ、フロッピーディスクドライブ６２４、ハード・ドライブ、ＣＤ−ＲＯＭドライブ、テープ・ドライブ等のような１つまたは複数の固定のまたは取外し可能データ記憶デバイスを含みうる。さらに、動作システム６０８およびコンピュータ・プログラム６１０は、コンピュータ６０２により読み取られ実行されるとき、コンピュータ６０２に本明細書で説明した動作をさせる命令から構成される。コンピュータ・プログラム６１０および／または動作命令はまた、メモリ６０６および／またはデータ通信デバイス６３０で有形に具体化され、それによりコンピュータ・プログラム製品または製品を生成してもよい。したがって、「製品」、「プログラム記憶デバイス」および「コンピュータ・プログラム製品」という用語は本明細書で説明する際、任意のコンピュータ可読デバイスまたは媒体からアクセス可能を包含するコンピュータ・プログラムを包含することが意図されている。

当該コンピュータシステムの以上の実施形態が、地上局１１８および同様なアプリケーションに有用でありうるが他の処理要素に不必要に含まれない周辺装置（例えば、ディスプレイ６２２、ＧＵＩモジュール６１８Ａ、ＧＵＩ６１８、マウスデバイス６１６、キーボード６１４、プリンタ６２８またはコンパイラ６１２）を含むことは理解される。

当業者は、本開示の範囲から逸脱することなくこの構成に多くの修正を行ってもよいことを認識する。例えば、当業者は、上述のコンポーネント、または任意数の異なるコンポーネント、周辺装置、および他のデバイスの任意の組合せを使用してもよいことを認識する。

結論
これは、本開示の好適な実施形態の説明を結論付ける。当該好適な実施形態の以上の説明は例示および説明の目的のために提供されている。これは、包括的であることを意図したものではなく、本開示を開示された正確な形態に限定しようとするものでもない。上述の教示事項に鑑みて多くの修正および変形が可能である。その権利範囲はこの詳細な説明により制限されず、添付の特許請求の範囲により制限されることが意図されている。

１０６ センサ
２０２ 生センサ・データ
２０４ 画像プロセッサ
２０６ 画像
２０８ センサ慣性状態
２１０ 地理登録モジュール
２１２ 地理登録されたセンサ画像
２１４ 参照画像データベース
３１２ センサ画像
３２０ センサ・パラメータ
３２２ プラットフォーム・パラメータ
３２４ センサ・フットプリント分析
３２６ ＡＯＩ抽出
３３０ 参照チップ
３４０ 参照ＤＥＭデータベース
３４４ 正画像構築
３４６ 参照ＤＥＭチップ
３４８ 参照正画像チップ
３５０ センサ視点分析
３５２ 視点パラメータ
３５４ センサ変換モデル
３５６ センサ視点への変換
３５８ 視点参照画像
３６０ 画像マッチ
３６２ マッチ関数（変換、逆遠近等）

Claims (13)

1. 画像を生成する方法であって、
   複数の生センサ・データ・セットを読み取るステップであって、各生センサ・データ・セットは複数のセンサ慣性状態で１つまたは複数のセンサから読み取られる、ステップと、
   前記複数のセンサ慣性状態の各々の推定を生成するステップと、
   画像を生成するステップであって、前記画像は、前記複数の推定されたセンサ慣性状態および前記複数の生センサ・データ・セットから少なくとも部分的に生成される、ステップと、
   前記センサ慣性状態の少なくとも１つの更新された推定を生成するステップであって、前記センサ慣性状態の前記少なくとも１つの前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、ステップと、
   強化された画像を、保持された生センサ・データ・セットおよび前記センサ慣性状態の前記少なくとも１つの前記更新された推定から生成するステップと、
   を含むステップを実施する間に前記生センサ・データ・セットの各々を保持するステップと、
   を含む、方法。
2. 前記センサ慣性状態の少なくとも１つの更新された推定を生成するステップであって、前記センサ慣性状態の前記少なくとも１つの前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、ステップは、
   前記複数のセンサ慣性状態の各々の更新された推定を生成するステップであって、前記複数のセンサ慣性状態の各々の更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、ステップ
   を含む、請求項１に記載の方法。
3. 複数の生センサ・データ・セットを読み取るステップであって、各生センサ・データ・セットは複数のセンサ慣性状態で１つまたは複数のセンサから読み取られる、ステップは、
   複数の生センサ・データ・セットを読み取るステップであって、各生センサ・データ・セットは前記複数のセンサ慣性状態で単一のセンサから読み取られる、ステップ
   を含む、請求項２に記載の方法。
4. 前記複数のセンサ慣性状態の各々の推定は前記複数の生センサ・データ・セットに関連付けられた複数のセンサ位置の各々の推定を含み、
   前記複数のセンサ慣性状態の各々の更新された推定を生成するステップであって、前記複数のセンサ慣性状態の各々の更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、ステップは、
   前記複数のセンサ位置の各々の更新された推定を生成するステップであって、前記複数のセンサ位置の各々の前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ位置から少なくとも部分的に生成される、ステップ
   を含む、請求項３に記載の方法。
5. 前記複数のセンサ位置の各々の更新された推定を生成するステップであって、前記複数のセンサ位置の各々の前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ位置から少なくとも部分的に生成される、ステップは、
   前記生成された画像および参照画像データベースから地理登録された画像を生成するステップと、
   少なくとも部分的に前記地理登録された画像から前記複数のセンサ位置の各々の前記更新された推定を生成するステップと、
   を含む、請求項４に記載の方法。
6. 強化された地理登録された画像を、前記強化された画像および前記複数のセンサ位置の各々の前記更新された推定から生成するステップをさらに含む、請求項５に記載の方法。
7. 画像を生成する装置であって、
   生データを生成するためのセンサと、
   前記センサに通信可能に接続され、複数の生センサ・データ・セットを前記センサから読み取るための画像プロセッサであって、各生センサ・データ・セットは複数のセンサ慣性状態で前記センサから読み取られる、画像プロセッサと、
   前記センサに通信可能に接続され、前記複数のセンサ慣性状態の各々の推定を生成するための慣性ナビゲーション・システムと、
   前記センサおよび前記慣性ナビゲーション・システムに通信可能に接続され、画像を生成するための画像プロセッサであって、前記画像は、前記複数の推定されたセンサ慣性状態および前記複数の生センサ・データ・セットから少なくとも部分的に生成される、画像プロセッサと、
   前記慣性ナビゲーション・システムおよび前記画像プロセッサに通信可能に接続され、前記センサ慣性状態の少なくとも１つの更新された推定を生成するための地理登録システムであって、前記センサ慣性状態の前記少なくとも１つの前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、地理登録システムと、
   を備え、
   前記画像プロセッサは、強化された画像を、保持された生センサ・データ・セットおよび前記センサ慣性状態の前記少なくとも１つの前記更新された推定から生成し、前記画像が前記生センサ・データから生成され前記センサ慣性状態の前記少なくとも１つの前記更新された推定が生成される間に前記センサは前記生センサ・データ・セットの各々を保持する、
   装置。
8. 前記地理登録システムは、前記複数のセンサ慣性状態の各々の更新された推定を、少なくとも部分的に前記生成された画像および前記複数の推定されたセンサ慣性状態から生成する、請求項７に記載の装置。
9. 前記複数のセンサ慣性状態の各々の推定は、前記複数の生センサ・データ・セットに関連付けられた複数のセンサ位置の推定を含み、
   前記地理登録システムは前記複数のセンサ位置の各々の更新された推定を生成し、前記複数のセンサ位置の各々の前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ位置から少なくとも部分的に生成される、
   請求項８に記載の装置。
10. 前記地理登録システムは、
    前記生成された画像および参照画像データベースから地理登録された画像を生成することにより、少なくとも部分的に前記生成された画像および前記複数の推定されたセンサ位置から前記複数のセンサ位置の各々の前記更新された推定を生成し、
    少なくとも部分的に前記地理登録された画像から、前記複数のセンサ位置の各々の前記更新された推定を生成する、
    請求項９に記載の装置。
11. 前記地理登録システムは、強化された地理登録された画像を、前記強化された画像および前記複数のセンサ位置の各々の前記更新された推定からさらに生成する、請求項１０に記載の装置。
12. 前記センサは合成開口部レーダ（ＳＡＲ）を含む、請求項１１に記載の装置。
13. 画像を生成するための装置であって、
    複数の生センサ・データ・セットを読み取るための手段であって、各生センサ・データ・セットは複数のセンサ慣性状態で１つまたは複数のセンサから読み取られる、手段と、
    前記複数のセンサ慣性状態の各々の推定を生成するための手段と、
    画像を生成するステップであって、前記画像は、前記複数の推定されたセンサ慣性状態および前記複数の生センサ・データ・セットから少なくとも部分的に生成される、ステップと、
    前記センサ慣性状態の少なくとも１つの更新された推定を生成するステップであって、前記センサ慣性状態の前記少なくとも１つの前記更新された推定は、前記生成された画像および前記複数の推定されたセンサ慣性状態から少なくとも部分的に生成される、ステップと、
    強化された画像を、保持された生センサ・データ・セットおよび前記センサ慣性状態の前記少なくとも１つの前記更新された推定から生成するステップと、
    を含むステップを実施する間に前記生センサ・データ・セットの各々を保持するための手段と、
    を備える、装置。

Images