JP2012520534A - 画像をカラー化する地理空間モデリングシステム及び関連する方法 - Google Patents

Abstract

地理空間モデリングシステムは、地理的エリアのカラー化３次元（３Ｄ）モデルを格納する地理空間モデルデータベースと、前記地理空間モデルデータベースと協働するプロセッサとを有する。前記プロセッサは、前記カラー化３Ｄモデルに基づき収集されたモノクロ画像に対応する推定されたモノクロ画像を生成し、前記推定されたモノクロ画像と前記収集されたモノクロ画像との間のモノクロ差分画像を生成し、前記モノクロ差分画像に基づき前記収集されたモノクロ画像に対応するカラー化画像を生成するよう構成される。

Description

本発明は、地理空間モデリングの分野に関し、より詳細には画像カラー化及び関連する方法に関する。

地理的エリアの地形モデルは、多くの用途について利用される。例えば、地形モデルは、フライトシミュレーションや他のプランニングミッションに利用される。さらに、都市などの人工の構造物の地形モデルは、セルラアンテナ配置、都市計画、災害準備及び分析、マッピングなどの用途に大変有用である。

各種タイプの地形モデルが現在使用されている。１つの一般的な地形モデルは、デジタル評価モデル（ＤＥＭ）である。ＤＥＭは、コンピュータによって自動的に生成される地理的エリアのサンプリングされたマトリックス表現である。ＤＥＭでは、高度に対応するように座標点が生成される。ＤＥＭは、典型的には、谷や山などの異なる高さの間の以降が一般にスムーズである地形をモデル化するのに利用される。すなわち、基本的なＤＥＭは、典型的には、複数の曲線的表面などの地形をモデル化し、それらの間の不連続性は“スムージング”される。他の一般的な地形モデルは、デジタルサーフェスモデル（ＤＳＭ）である。ＤＳＭは、ＤＥＭに類似しているが、地形に関する情報に加えて、建物、植物、道路に関する詳細をさらに含むものとして検討される。

本出願の譲受人に譲渡され、参照することによりその全体がここに援用される、Ｒａｈｍｅｓらによる米国特許第６，６５４，６９０は、高度と位置のランダムに離間したデータに基づき、地形や建物を含むエリアの地形モデルを生成する自動化された方法を開示する。当該方法は、所定の位置グリッドに従って高度と位置との格子付きのデータを生成するためランダムに離間したデータを処理し、地形データから建物データを区別するため格子付きのデータを処理し、地形と建物を含むエリアの地形データを生成するため建物データに対してポリゴン抽出を実行することを含む。

画像及び地形モデルのカラー化は、ユーザに付加的データを便利に提供するのに利用される。例えば、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ−Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）及び赤外線データが、合成カラー、すなわち、人工のカラーを用いて提供することができる。より詳細には、これらの用途では、リターンデータの範囲は、赤外線センサアプリケーションなどのカラーバンドにマッピングされ、より大きなリターン値のエリアが典型的には赤色にカラー化され、より小さなリターン値のエリアが典型的には青色にカラー化される。

にもかかわらず、真のカラーはこれらのアプリケーションにおいて有用であり、すなわち、ディスプレイカラー化は、地形モデルにおけるオブジェクトの実際の視覚的な電磁的スペクトル反射特性に基づく。例えば、芝生領域は緑色でカラー化され、水塊は青色でカラー化される。地形モデルにおけるトゥルーカラー化は、モデルにおいてオブジェクトを分類及び特定する際に役立つことによって、ユーザに効果的である。

効果的なトゥルーカラー化の可能性のある一例となるアプリケーションは、ユーザが金属製のターゲットを有する農場のＳＡＲ画像を閲覧することを含む。金属製のターゲットは、高いリターン値（ＳＡＲ）のエリアであり、典型的には白色として人工的にカラー化される。金属製のターゲットの周囲の農地エリアは、小さなリターン値のエリアであり、典型的には黒色でカラー化される。この仮想的なＳＡＲ画像が提供されると、ユーザは、金属製のターゲットの周囲を正確に評価することができない。本例のアプリケーションでは、トゥルーカラー化は、ユーザに貴重なコンテクストを提供し、小さなリターン値の農地エリアを緑色としてユーザに提供し、これにより、正確なコンテクストと周囲をユーザに提供する。

地形モデル及び画像のためのトゥルーカラー化を提供するためのアプローチは、例えば、人手による技術、トゥルーカラー化のテクスチャリング又はオーバレイング、同一センサ技術及び人工カラー化などを含む。

上記背景に鑑み、本発明の課題は、モノクロ画像のカラー化を提供する地理空間モデリングシステムを提供することである。

本発明による上記及び他の課題、特徴及び効果は、地理的エリアのカラー化３次元（３Ｄ）モデルを格納する地理空間モデルデータベースと、前記地理空間モデルデータベースと協働するプロセッサとを有する地理空間モデリングシステムによって提供される。前記プロセッサは、前記カラー化３Ｄモデルに基づき収集されたモノクロ画像に対応する推定されたモノクロ画像を生成し、前記推定されたモノクロ画像と前記収集されたモノクロ画像との間のモノクロ差分画像を生成し、前記モノクロ差分画像に基づき前記収集されたモノクロ画像に対応するカラー化画像を生成するよう構成される。前記カラー化画像は、例えば、合成カラーとリアルカラーとを有してもよい。効果的には、収集されたモノクロ画像はカラー化される。

より詳細には、前記プロセッサは、少なくとも、前記モノクロ差分画像に基づき前記カラー化３Ｄモデルを更新し、前記更新されたカラー化３Ｄモデルに基づき、前記収集されたモノクロ画像に対応する推定されたカラー化画像を生成し、前記カラー化画像を提供するため、前記推定されたカラー化画像に基づき前記収集されたモノクロ画像をカラー化することによって、前記カラー化画像を生成するよう構成されてもよい。

さらに、前記収集されたモノクロ画像は、コレクションジオメトリと、関連するセンサ特性データとを有してもよく、前記プロセッサはさらに、前記コレクションジオメトリと前記センサ特性データとに基づき前記推定されたモノクロ画像を生成するよう構成されてもよい。

いくつかの実施例では、前記収集されたモノクロ画像は、前記地理的エリアのものより大きなエリアに関連付けされ、前記プロセッサはさらに、前記収集されたモノクロ画像の対応する部分をカラー化するよう構成されてもよい。他の実施例では、前記収集されたモノクロ画像は、前記地理的エリア以下のエリアに関連付けされ、前記プロセッサはさらに、前記収集されたモノクロ画像を完全にカラー化するよう構成されてもよい。

さらに、地理空間モデリングシステムはさらに、カラー化画像を表示するため、プロセッサに接続されるディスプレイを有してもよい。例えば、カラー化３Ｄモデルは、ＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）モデル、ＳＲＴＭ（Ｓｈｕｔｔｌｅ Ｒａｄａｒ Ｔｏｐｏｇｒａｐｈｙ Ｍｉｓｓｉｏｎ）モデルの少なくとも１つを有する。

他の態様は、地理的エリアのカラー化３次元（３Ｄ）モデルと、前記地理的エリアの収集されたモノクロ画像とを格納する地理空間モデルデータベースと、カラー化画像を生成するため、前記地理空間モデルデータベースと協働するプロセッサとを有する地理空間モデリングシステム上で実行されるコンピュータにより実現される方法に関する。本方法は、前記プロセッサを使用して、前記収集されたモノクロ画像に対応し、前記カラー化３Ｄモデルに基づく推定されたモノクロ画像を生成するステップと、前記プロセッサを使用して、前記推定されたモノクロ画像と前記収集されたモノクロ画像との間のモノクロ差分画像を生成するステップと、前記プロセッサを使用して、前記収集されたモノクロ画像に対応し、前記モノクロ差分画像に基づくカラー化画像を生成するステップとを有する。

図１は、本発明による地理空間モデリングシステムの概略図である。 図２は、図１の地理空間モデリングシステムのより詳細な概略図である。 図３は、本発明による地理空間モデリングのためのコンピュータにより実現される方法を示すフローチャートである。 図４は、図１及び２の地理空間モデリングシステムの処理を示す概略ブロック図である。 図５は、本発明による地理空間モデリングシステムの概略ブロック図である。

本発明は、本発明の好適な実施例が示される添付した図面を参照して、以降においてより詳細に説明される。しかしながら、本発明は、多数の異なる形態により実現されてもよく、提供される実施例に限定されるものとして解釈されるべきでない。むしろ、これらの実施例は、本開示が完全かつ完結したものとなるように提供され、当業者に本発明の範囲を十分に伝えようとするものである。同様の番号は同様の要素を参照する。

図１〜３をまず参照して、本発明による地理空間モデリングシステム２０が説明される。さらに、図３のフローチャート３０を参照して、ブロック３１から開始される地理空間モデリングのためのコンピュータにより実現される方法に関する他の態様が説明される。地理空間モデリングシステム２０は、地理空間モデルデータベース２１、それに接続されるパーソナルコンピュータ（図１）として示されるプロセッサ２２、及びプロセッサ２２に接続されるディスプレイ２３を例示的に有する。例えば、プロセッサ２２は、ＰＣ、Ｍａｃ又は他の計算ワークステーションの中央処理ユニット（ＣＰＵ）であってもよい。

地理空間モデルデータベース２１は、例示的には、ブロック３３において、地理的エリアのカラー化された３次元（３Ｄ）モデルを格納する。より詳細には、カラー化された３Ｄモデルは、デジタルサーフェスモデル（ＤＳＭ）、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）モデル、ＳＲＴＭ（Ｓｈｕｔｔｌｅ Ｒａｄａｒ Ｔｏｐｏｇｒａｐｈｙ Ｍｉｓｓｉｏｎ）モデル、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ−Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）モデルなどの典型的な３Ｄモデルと、関連するカラー化データ、すなわち、３Ｄモデルのオブジェクトの電磁的反射特性に関するデータとを有してもよい。当業者に理解されるように、この反射特性は、電磁スペクトルの少なくとも可視的なスペクトル部分の反射特性を含むものであってもよい。いくつかの実施例では、反射特性は、赤外線やマイクロ波放射などの電磁スペクトルの他の部分の反射特性を含むものであってもよい。

地理空間モデルデータベース２１はまた、例示的には、グレイスケールなどの収集されたモノクロ画像を格納する（ブロック３３）。当業者に理解されるように、収集されたモノクロ画像は、例えば、任意的にはモザイク画像に一緒に位置レジストレーションされる複数のモノクロ画像から構成されてもよい。当業者に理解されるように、収集されたモノクロ画像は、あるいは遠隔地に格納されて遠隔アクセスされてもよいし、又はリアルタイムに収集されてプロセッサ２２に同時に供給されてもよい。さらに、収集されたモノクロ画像は、例えば、位置データ、視野などの関連するコレクションジオメトリ及びセンサ特性を有してもよい。収集されたモノクロ画像は、ＳＡＲ画像又は２次元（２Ｄ）や空中地表画像などを有してもよい。

プロセッサ２２は、地理空間データベース２１と協働し、特定のタスクを実行するよう構成される。当業者に理解されるように、これは、プロセッサ２２に埋め込まれたファームウェアや別の記憶装置（図示せず）に格納されているソフトウェアを用いて実現されてもよい。図示されるように、プロセッサ２２は、ブロック３５において、カラー化された３Ｄモデルに基づき収集されたモノクロ画像に対応する推定されたモノクロ画像を生成するよう構成される。すなわち、プロセッサ２２は、３Ｄモデルデータを用いて、より詳細には、コレクションジオメトリやセンサ特性データに基づき収集されたモノクロ画像を複製する。

さらに、ブロック３７において、プロセッサ２２は、推定されたモノクロ画像と収集されたモノクロ画像との間のモノクロ差分画像を生成するよう構成される。このステップでは、プロセッサ２２は、収集されたモノクロ画像において変更されたオブジェクトに関する情報をユーザに提供する。例えば、移動するターゲットが地理的エリアに最近移動してきた場合、カラー化３Ｄモデルよりおそらくより最近のものである収集されたモノクロ画像は移動したターゲットを含むが、推定されたモノクロ画像はこのターゲットを含まないであろう。

ブロック３９において、プロセッサ２２は、モノクロ差分画像に基づきカラー化３Ｄモデルを更新するよう構成される。すなわち、モノクロ差分画像は、例えば、カラー化３Ｄモデルに上述された移動したターゲットを配置することによって、カラー化３Ｄモデルを更新するのに利用される。

プロセッサ２２はさらに、ブロック４１において、更新されたカラー化３Ｄモデルに基づき、収集されたモノクロ画像に対応する推定されたカラー化された画像を生成するよう構成される。当業者に理解されるように、この推定されたカラー化画像は、正規化されたカラーデータを有し、すなわち、それは強度データを欠落し、反射的なカラー応答のみを有する。

プロセッサ２２はさらに、ブロック４３において、カラー化画像を提供するため、推定されたカラー化画像に基づき収集されたモノクロ画像をカラー化するよう構成される。すなわち、プロセッサ２２は、モノクロ差分画像に基づき、収集されたモノクロ画像に対応するカラー化画像を生成するよう構成される。当業者に理解されるように、カラー化画像は、例えば、合成カラー及びリアル／トゥルーカラーなどを含むものであってもよい。地理空間モデリングシステム２０は、ユーザによる閲覧のため、ディスプレイ２３上にカラー化画像を出力する。本方法はブロック４５において終了する。

効果的には、カラー化画像は、収集されたオリジナルのモノクロ画像とカラー化データとの間のデータ統合からなる。すなわち、カラー化データは、収集されたモノクロ画像に“焼かれない（ｂｕｒｎｅｄ）”。従って、ユーザは、ＳＡＲリターンデータなどの収集されたモノクロ画像の情報と、上述された方法により提供されるカラー化データとを独立に閲覧することができる。

図４を参照して、図７０は、上述された地理空間モデリングシステム２０の実施例の処理を示す。これらの実施例では、収集されたモノクロ画像７６は、カラー化３Ｄモデル７３によりカバーされる地理的エリア７２のものより大きなエリアに関連付けされる。すなわち、これらの実施例では、カラー化３Ｄモデル７３は、不完全なものであり、収集されたモノクロ画像７６の一部しかカバーしない。従って、推定されたモノクロ画像７４はまた、対応する部分７５しかカバーしない。収集されたモノクロ画像７６と推定されたモノクロ画像７４とは、下流の第１合成手段７７において合成される。当業者に理解されるように、更新されたカラー化３Ｄモデル８１は、不完全なカラー化３Ｄモデル７３の対応する部分８３を超える拡張された地理的エリアをカバーする。３Ｄモデルデータは、例えば、ステレオグラフィック技術を用いて不完全な３Ｄモデル７３を拡張することによって、収集されたモノクロ画像を用いて拡張されてもよい。にもかかわらず、第２合成手段８４から下流において、関連するカラー化データは、収集された画像７６がモノクロであるため、同様にして拡張することはできず、すなわち、最終的なカラー化画像８５の一部８６しか実際にはカラー化されない。説明と再生の簡単化のため、図面はグレイスケールであるが、当業者は容易に、カラー化されたものが同様に見えるものを理解するであろう。

すなわち、これらの実施例では、プロセッサ２２はさらに、収集されたモノクロ画像７６の対応する部分をカラー化するよう構成される。あるいは、プロセッサ２２は、収集されたモノクロ画像の対応する部分を超えて拡張させるため、カラー化データを補間してもよい。

さらに、本実施例では、カラー化３Ｄモデル７３の解像度は、収集されたモノクロ画像７６の解像度より低い。図示された推定されたモノクロ画像７４はまた、収集されたモノクロ画像７６より低い対応する解像度を有する。にもかかわらず、この地理空間モデリングシステム２０は、カラー化３Ｄモデル７４から有用なカラー化情報を抽出し、それを収集されたモノクロ画像７６の対応する部分に適用する。もちろん、この地理空間モデリングシステム２０は、例えば、カラー化３Ｄモデル７３が収集されたモノクロ画像７６（図示せず）より高い解像度を有する場合など、カラー化３Ｄモデルにより収集されたモノクロ画像解像度レシオを可変とすることにより収容可能である。

他の実施例では、収集されたモノクロ画像は、地理的エリア以下のエリアに関連付けされてもよい。すなわち、これらの実施例では、カラー化３Ｄモデルは、完全であり、収集されたモノクロ画像の全体をカバーする。さらに、これらの実施例では、プロセッサ２２はさらに、収集されたモノクロ画像を完全にカラー化するよう構成される。

図５を参照して、当業者に理解されるように、地理空間モデリングシステム２０の一実現形態５０がさらに説明される。地理空間モデリングシステムの一実現形態５０は、例示的には、３Ｄモデルモジュール５１においてコレクションジオメトリ５２を収集し、測定モジュール５３において画像５７のコレクション５３を収集する。この地理空間モデリングシステム５０は、例示的には、３Ｄモデルモジュール５１から下流の予測モジュール５５と、予測モジュールの下流の予測画像モジュール５８とを有する。この地理空間モデリングシステム５０はまた、例示的には、収集されたコレクション５３から下流の測定画像モジュール５９と、予測画像モジュール５８と測定画像モジュールから下流のモノクロ差分画像を提供する差分モジュール６０とを有する。

この地理空間モデリングシステム５０は、例示的には、モノクロ差分画像に基づきカラー化３Ｄモデルを更新するための差分モジュール６０の下流の更新モジュール６２と、更新モジュールから下流の合成カラー化画像モジュール６３と、画像コレクション５３と合成カラー化画像モジュールとから下流の合成モジュール６４とを有する。地理空間モデリングシステム５０はまた、例示的には、カラー化画像６６，８５（対応するカラー化部分８６を有する完全なカラー化画像６６又は部分的なカラー化画像８５を有する）を提供するカラー化画像モジュール６５を有する。説明及び再生の簡単化のため、図面はグレイスケールであるが、当業者は容易に、カラー化されたものが同様に見えるものを理解するであろう。

Claims (10)

1. 地理的エリアのカラー化３次元（３Ｄ）モデルを格納する地理空間モデルデータベースと、
   前記地理空間モデルデータベースと協働するプロセッサと、
   を有する地理空間モデリングシステムであって、
   前記プロセッサは、
   前記カラー化３Ｄモデルに基づき収集されたモノクロ画像に対応する推定されたモノクロ画像を生成し、
   前記推定されたモノクロ画像と前記収集されたモノクロ画像との間のモノクロ差分画像を生成し、
   前記モノクロ差分画像に基づき前記収集されたモノクロ画像に対応するカラー化画像を生成するよう構成される地理空間モデリングシステム。
2. 前記プロセッサは、少なくとも、
   前記モノクロ差分画像に基づき前記カラー化３Ｄモデルを更新し、
   前記更新されたカラー化３Ｄモデルに基づき、前記収集されたモノクロ画像に対応する推定されたカラー化画像を生成し、
   前記カラー化画像を提供するため、前記推定されたカラー化画像に基づき前記収集されたモノクロ画像をカラー化することによって、前記カラー化画像を生成するよう構成される、請求項１記載の地理空間モデリングシステム。
3. 前記カラー化画像は、合成カラーとリアルカラーとを有する、請求項１記載の地理空間モデリングシステム。
4. 前記収集されたモノクロ画像は、コレクションジオメトリと、関連するセンサ特性データとを有し、
   前記プロセッサはさらに、前記コレクションジオメトリと前記センサ特性データとに基づき前記推定されたモノクロ画像を生成するよう構成される、請求項１記載の地理空間モデリングシステム。
5. 前記収集されたモノクロ画像は、前記地理的エリアのものより大きなエリアに関連付けされ、
   前記プロセッサはさらに、前記収集されたモノクロ画像の対応する部分をカラー化するよう構成される、請求項１記載の地理空間モデリングシステム。
6. 前記収集されたモノクロ画像は、前記地理的エリア以下のエリアに関連付けされ、
   前記プロセッサはさらに、前記収集されたモノクロ画像を完全にカラー化するよう構成される、請求項１記載の地理空間モデリングシステム。
7. 地理的エリアのカラー化３次元（３Ｄ）モデルと、前記地理的エリアの収集されたモノクロ画像とを格納する地理空間モデルデータベースと、カラー化画像を生成するため、前記地理空間モデルデータベースと協働するプロセッサとを有する地理空間モデリングシステム上で実行されるコンピュータにより実現される方法であって、
   前記プロセッサを使用して、前記収集されたモノクロ画像に対応し、前記カラー化３Ｄモデルに基づく推定されたモノクロ画像を生成するステップと、
   前記プロセッサを使用して、前記推定されたモノクロ画像と前記収集されたモノクロ画像との間のモノクロ差分画像を生成するステップと、
   前記プロセッサを使用して、前記収集されたモノクロ画像に対応し、前記モノクロ差分画像に基づくカラー化画像を生成するステップと、
   を有する方法。
8. 前記カラー化画像を生成するステップは、
   前記モノクロ差分画像に基づき前記カラー化３Ｄ画像を更新するステップと、
   前記更新されたカラー化３Ｄモデルに基づき、前記収集されたモノクロ画像に対応する推定されたカラー化画像を生成するステップと、
   前記カラー化画像を提供するため、前記推定されたカラー化画像に基づき前記収集されたモノクロ画像をカラー化するステップと、
   を有する、請求項７記載の方法。
9. 前記カラー化画像は、合成カラーとリアルカラーとを有する、請求項７記載の方法。
10. 前記収集されたモノクロ画像は、コレクションジオメトリと、関連するセンサ特性データとを有し、
    前記推定されたモノクロ画像を生成するステップは、前記コレクションジオメトリと前記センサ特性データとに基づく、請求項７記載の方法。

Images