JP2014049127A - ハイパースペクトル画像のシミュレーション方法 - Google Patents

Abstract

【課題】ハイパースペクトル画像のモデリング方法を提供する。
【解決手段】ハイパースペクトル画像のモデリング方法１０は、３次元モデリングツールを用いて、オブジェクト及びマテリアルを有するシーンを第１のフレームに構築するステップ１６と、１つ以上のハイパースペクトル帯域を選択し、前記ハイパースペクトル帯域にある反射率に対応するように、シーン内の各オブジェクト及びマテリアルの反射率を変更するステップ２０と、前記ハイパースペクトル帯域にあるスペクトル源の放射率に対応するように、シーン内の各オブジェクト及びマテリアルに対するスペクトル源の放射率を変更するステップ２４と、シーンをレンダリングしてハイパースペクトル画像を生成するステップ２８と、後続フレームに対して前記処理を繰り返すステップ３０と、を含む。
【選択図】図１

Description

本発明は、ハイパースペクトル画像のモデリング方法に関する。

ハイパースペクトル画像（ＨＳＩ）用のリモートセンシングシステムの環境については、「Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ」（Ｍａｎｏｌａｋｉｓ， Ｄ．、Ｍａｒｄｅｎ， Ｄ．、Ｓｈａｗ Ｇ．ら（Ｌｉｎｃｏｌｎ Ｌａｂｏｒａｔｏｒｙ Ｊｏｕｒｎａｌ、Ｖｏｌｕｍｅ １４、２００３年、７９〜８２頁））に詳細な記載がある。イメージングセンサの各画素は、ハイパースペクトルエネルギの測定値を記録する。ＨＳＩ装置は、画素の配列におけるエネルギを記録するために、その配列のジオメトリによって空間情報を取り込み、各画素において、連続する幾つかのハイパースペクトル帯域の測定を行うことによりスペクトル情報を取り込む。それらの空間情報及びスペクトル情報の更なる処理は、リモートセンシングシステムの個々の用途に応じて異なる。

ＨＳＩのような画像のシミュレーションは、典型的には、オブジェクト、光源、及びカメラの３次元モデルが配置された３次元シーンを作成し、この３次元シーンをレンダリングして、カメラから見た、オブジェクトが光源からの光を反射する様子を表示する２次元画像にすることからなる。

３次元モデルは、３次元空間における点の収集を定義するための、３次元オブジェクトの表現である。そして、オブジェクトの表現は、３次元点の収集、並びに、３次元点の集合をつなぐためのジオメトリックモデルとして定義される。これらの３次元点をつなぐための典型的なモデルが、三角形、直線、及び曲面である。このモデル化された３次元オブジェクト同士の間のジオメトリック関係を確立することによって、３次元シーンを構築することが可能である。３次元のモデルやシーンを作成するためのよく知られたソフトウェアツールとして、Ｒｈｉｎｏｃｅｒｏｓ（登録商標） ３Ｄ、Ｂｌｅｎｄｅｒ、Ｐｒｏ／ＥＮＧＩＮＥＥＲ（登録商標）、ＯｐｅｎＧＬ（登録商標）等がある。

３次元シーンは、ジオメトリックに分散した、オブジェクトのモデルの集合を有するだけでなく、照明のモデルを与えるために、ジオメトリックに分散した光源の集合を有してもよい。これらのモデルは、例えば、太陽から自動車のヘッドライトに至る、あらゆる光源を表現することが可能である。実際の光源と同様に、照明源のモデルは、様々な波長において特定の特性を有してよい。光源の正確なモデルがあれば、光源の分光放射照度と、モデル化された波長又はハイパースペクトル帯域との関係を確立することが可能である。光源の特性化及びモデル化に用いられる一般的な特性として、放射率がある。放射率は、同じ温度における、黒体オブジェクトの放射エネルギに対する光源の放射エネルギの比率である。例えば、太陽を約５８００Ｋの温度の黒体放射体としてモデル化できることはよく知られている。

シーンにおいて光源とオブジェクトとの間に介在する物質は、多くの３次元モデラにとっての検討対象であろう。雰囲気を３次元シーンに組み込むことにより、そのシーンのシミュレーション画像のレンダリングがより正確になるであろう。雰囲気は、光が光源からオブジェクトに伝送される際の、光の透過率又は減衰量のモデル化に用いられる。このモデルは、光源のモデリングと同様に、ハイパースペクトル帯域に応じて精緻化することが可能である。例えば、太陽光は、赤外線スペクトル内の狭い複数の帯域において大幅に減衰することが知られており、これは、大気中の水分及び二酸化炭素によって放射が吸収されることに起因する。電磁放射の大気伝搬のモデリングのためのよく知られたツールとして、ＭＯＤＴＲＡＮ（登録商標）がある。

３次元シーン内の各オブジェクトは、現実世界でそれぞれに相当するものを表すマテリアルから構成することが可能である。各マテリアルは、モデル化されるオブジェクトの色、透明度、反射強度等を定義する。

シーンにオブジェクト及び光源を配置した後、３Ｄレンダリングと一般に呼ばれている処理により、画像を生成する。３Ｄレンダリングは、３次元のモデル及びシーンを、シーン内に配置されているカメラの位置から各オブジェクトがどのように見えるかを表現した２次元画像に変換するコンピュータグラフィックス処理である。

米国特許第７３６９２２９号明細書

本発明は、ハイパースペクトル画像のモデリング方法に関する。本方法は、３次元モデリングツールを用いて、オブジェクト及びマテリアルを有するシーンを第１のフレームに構築するステップと、少なくとも１つのハイパースペクトル帯域を選択するステップと、少なくとも１つのハイパースペクトル帯域にある反射率に対応するように、シーン内の各オブジェクト及びマテリアルの反射率を変更するステップと、少なくとも１つのハイパースペクトル帯域にある少なくとも１つのスペクトル源の放射率に対応するように、シーン内の各オブジェクト及びマテリアルに対する少なくとも１つのスペクトル源の放射率を変更するステップと、シーンをレンダリングしてハイパースペクトル画像を生成するステップと、後続フレームに対して繰り返すステップと、を含む。

本発明の一実施形態による、ハイパースペクトル画像のモデリング方法を示すフローチャートである。

本明細書に記載の技術が十分に理解されるように、以下の記述では、説明を目的として、様々な具体的詳細を紹介する。しかし、当業者であれば明らかであるように、各実施例は、それらの具体的詳細がなくても実施可能である。各実施例の説明を容易にするために、他の例では、構造及び装置を図示する。

各実施例を、図面を参照しながら説明する。図面は、本明細書に記載のモジュール、方法、又はコンピュータプログラム製品を実装する具体的な実施形態の特定の詳細を示している。しかし、図面は、図面内に存在し得る制限を課すものとして解釈されてはならない。本方法及びコンピュータプログラム製品は、それらの動作の達成のために、任意の機械可読媒体に備え付け可能である。本実施形態は、既存のコンピュータプロセッサを使用して、或いは、本目的又は別の目的のために組み込まれた専用コンピュータプロセッサにより、或いは、ハードワイヤードシステムにより、実装可能である。

前述のように、本明細書に記載の実施形態は、機械実行可能命令又はデータ構造体を搬送又は記憶する機械可読媒体を含むコンピュータプログラム製品を含んでよい。そのような機械可読媒体は、汎用又は専用コンピュータ、或いは他の、プロセッサを有する機械によるアクセスが可能な任意の市販媒体であってよい。例えば、そのような機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、或いは他の任意の、必要なプログラムコードを機械可読命令又はデータ構造体の形式で搬送又は記憶するために使用可能であって、汎用又は専用コンピュータ、或いは他の、プロセッサを有する機械によるアクセスが可能な媒体であってよい。ネットワーク又は別の通信接続（有線、無線、又は、有線と無線の組み合わせ）を介して情報が機械に転送又は提供される場合、その機械は、厳密に、その接続を機械可読媒体とみなす。従って、そのような接続はいずれも、厳密に機械可読媒体と称される。前述のものの組み合わせも、機械可読媒体の範囲に含まれる。機械実行可能命令は、例えば、特定の機能又は機能群を汎用コンピュータ、専用コンピュータ、又は専用処理機械に実施させる命令及びデータを含む。

実施形態の説明は、一実施形態では（例えば、ネットワーク環境においてマシンによって実行されるプログラムモジュールの形式の）プログラムコードのような機械可読命令を含むプログラム製品によって実装可能な方法ステップの一般的文脈で行う。一般に、プログラムモジュールは、特定のタスクを実行したり、特定の抽象データ型を実装したりする技術的効果を有するルーチン、プログラム、オブジェクト、コンポーネント、データ構造体等を含む。機械実行可能命令、関連付けられたデータ構造体、及びプログラムモジュールは、本明細書に開示の方法の各ステップを実行するプログラムコードの例を表す。そのような実行可能命令又は関連付けられたデータ構造体の個々のシーケンスは、そのような各ステップに記載の機能を実施することに相当する行為の例を表す。

実施形態は、プロセッサを有する１つ以上のリモートコンピュータとの論理接続を使用するネットワーク環境において実施可能である。論理接続は、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）であってよく、これらは、本明細書では限定ではなく例として与えられる。そのようなネットワーク環境は、オフィス規模又は企業規模のコンピュータネットワーク、イントラネット、及びインターネットにおいてはごく一般的であり、様々に異なる複数の通信プロトコルを用いることが可能である。当業者であれば理解されるように、そのようなネットワークコンピューティング環境は、典型的には、様々なタイプのコンピュータシステム構成を包含しており、そのような構成としては、パーソナルコンピュータ、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラム可能な民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等がある。

実施形態はまた、通信ネットワークを介して（有線リンク、無線リンク、又は、有線リンクと無線リンクとの組み合わせによって）リンクされたローカル処理装置及びリモート処理装置によってタスクが実施される分散コンピューティング環境において実施可能である。分散コンピューティング環境においては、プログラムモジュールは、ローカルメモリ記憶装置及びリモートメモリ記憶装置の両方にあってよい。

実施例の全体又は一部を実装する一例示的システムは、処理装置、システムメモリ、及び、システムメモリを含む各種システムコンポーネントを処理装置と結合するシステムバスを含むコンピュータの形式の汎用コンピューティング装置を含んでよい。システムメモリは、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含んでよい。コンピュータはまた、磁気ハードディスクの読み書きを行う磁気ハードディスクドライブと、リムーバブル磁気ディスクの書き込みを行う磁気ディスクドライブと、ＣＤ−ＲＯＭ等のリムーバブル光ディスクや他の光媒体の読み書きを行う光ディスクドライブと、を含んでよい。各ドライブ及びそれぞれに関連付けられた機械可読媒体は、機械実行可能命令、データ構造体、プログラムモジュール、及び他のコンピュータ用データの不揮発性記憶を行う。

本実施形態において開示されている方法の技術的効果の１つとして、スペクトルセンサ及びスペクトルデータ処理システムの設計者は、センサを使用可能にする前に試験データセットを発生させることが可能になる。本方法はまた、設計者以外が、近傍のワールドオブジェクトからの光反射を考慮に入れながら新しいスペクトルマテリアル及び被覆をシミュレートすることを可能にする。

図１は、本発明の一実施形態による、ハイパースペクトル画像のモデリング方法を示すフローチャートである。ハイパースペクトル画像のモデリング方法１０は、ユーザが３次元モデリングツールを用いて、オブジェクト及びマテリアルを有するシーンを第１のフレームに構築することによって開始することが可能である。シーンの各要素や各オブジェクトの相対位置は、既存の３次元モデリング環境を用いて確立することが可能である。本方法に組み込まれている、従来の３次元モデリングのステップは、或るシーンの表現を３次元で構築するステップ１６であり、これは、光源、雰囲気、及びオブジェクトの各モデル１２を組み込む。１６でシーンの表現を３次元で構築した後、１２の各オブジェクトのモデルに対応するマテリアルを、１８でアセンブルすることが可能である。これらのマテリアルの特性は、１４でマテリアルタイプデータベースからアクセス可能である。１８でマテリアルをアセンブルした後、２０でそのマテリアルをシーンのオブジェクトに割り当てることが可能である。少なくとも１つのハイパースペクトル帯域を選択することにより、シミュレーションの仕様に従って、シーンの特性を変更してシーンを調節することが可能である。２２で、各オブジェクト及びそれぞれのマテリアルのモデルを変更することが可能である。次に、２４で、光源の特性を変更することが可能である。次に、２６で、シーンに対してスペクトルフレームを生成することが可能であり、これは、３次元シーンを、特定のハイパースペクトル帯域に関する２次元スペクトルフレームにレンダリングすることにより、可能である。次に、２８で、所与のシーンについての全てのスペクトルフレームをアセンブルしてハイパースペクトルフレームにすることが可能である。次に、３０で、シーンのジオメトリを更新することにより、時変運動を表現することが可能である。次に、２２、２４、２６、及び２８の各ステップを繰り返すことにより、後続のハイパースペクトルフレームを生成することが可能である。

１６での３次元シーンの表現の構築、並びに光源、雰囲気、及びオブジェクトのモデル１２には、従来型の３次元モデリング技術及びツールを用いることが可能である。

各マテリアルは、それぞれ特性を有していてよく、それらの特性を１４でデータベースに記憶させることが可能である。各マテリアルの特性は、マテリアルの反射率がそのマテリアルに当たる光のハイパースペクトル帯域に依存するようにモデル化することが可能である。モデル化されるオブジェクトに割り当て可能な各マテリアルは、２０で、オブジェクトが多数のマテリアルの複合物から構築されるようにモデル化可能であるようにアセンブルすることが可能である。

結果として得られたＨＳＩにおけるモデル化可能なハイパースペクトル帯域ごとに、オブジェクト及びオブジェクトのマテリアルのモデルを、２２で変更することが可能である。シーン内の各オブジェクト及びマテリアルの反射率を、ハイパースペクトル帯域の反射率に対応するように変更することにより、オブジェクトが光源からの光をどのように反射しうるかを正確に表現することが可能である。

結果として得られたＨＳＩにおけるモデル化可能なハイパースペクトル帯域ごとに、１つ以上の光源を、２４で変更することが可能である。シーン内の各光源モデルの放射率を変更することにより、オブジェクトが光源からの光を特定のハイパースペクトル帯域でどのように放射しうるかを正確に表現することが可能である。シーン内の各オブジェクト及びマテリアルに対する各スペクトル源の放射率を、各ハイパースペクトル帯域におけるスペクトル源の放射率に対応するように変更することにより、オブジェクトが光源からの光をどのように反射しうるかを正確に表現することが可能である。

２６でスペクトルフレームを生成することは、各オブジェクトと各光源との間の関係をジオメトリックに確立し、シーン内の、全ての光源モデルの放射率、及び全てのマテリアルモデルの反射率を更新した後に実施可能である。２６で、３Ｄレンダリングにより、スペクトルフレームを生成することが可能である。３Ｄレンダリングの実装は様々であってよいが、３Ｄレンダリング処理により、３次元シーンから、特定のハイパースペクトル帯域についての２次元画像を生成することが可能である。

ハイパースペクトル画像のモデリング方法１０においては、所与のハイパースペクトル帯域に関し、２２でオブジェクト及びマテリアルのモデルを変更し、２４で光源を変更し、２６でスペクトルフレームを生成する処理を、全てのハイパースペクトル帯域について繰り返すことが可能である。Ｍ個の別々のハイパースペクトル帯域の集合について、２６で、ハイパースペクトル帯域ごとにスペクトルフレームを生成することにより、結果としてＭ個の別々のスペクトルフレームを個別に与えることが可能である。

Ｍ個のスペクトルフレーム全てが生成されて、Ｍ個のハイパースペクトル帯域の全てにおいてシーンがレンダリングされると、２８で、ハイパースペクトルフレームをアセンブルすることが可能である。ハイパースペクトルフレームは、ハイパースペクトル帯域ごとにレンダリングされた空間イメージをインタリーブすることによって値の３次元配列を作成することが可能なハイパースペクトルデータキューブである。ハイパースペクトルデータキューブは、空間分解された各画素がスペクトル値のベクトルであるように、３次元のうちの２つの次元が、画像を作成する空間次元であり、第３の次元がスペクトルである、値の配列である。

３０で、オブジェクトの変化により、シーンを更新することが可能である。各オブジェクトを動かしたり、統合したり、変形したりすることにより、シーンを修正することが可能である。Ｔ個の別々の時点の集合に対応する後続のハイパースペクトルフレームを生成することは、シーンを更新した後に、２２でオブジェクト及びマテリアルのモデルを変更し、２４で光源モデルを変更し、２６でスペクトルフレームを生成し、２８でハイパースペクトルフレームをアセンブルする処理を繰り返すことにより、可能である。３０でオブジェクトの変化によってシーンを更新し、その後に２２、２４、及び２６の各ステップが続く処理は、２８で新しいハイパースペクトルフレームをアセンブルするためには必要であり、これによって、モデル化されたハイパースペクトル画像の中の動きをシミュレートすることが可能になる。

実際のセンサをエミュレートするために、カメラのスペクトル応答に関する追加モデルを組み込むことが可能である。例えば、実際のセンサ構成の応答は、ハイパースペクトル帯域間のみならず、画素間でも変動する。他の、モデル化可能な一般的作用として、センサ読み取りノイズやショットノイズがある。具体的な実装の要件に応じて、更なるセンサ作用をモデル化することが可能である。また、現実世界のデータ収集における要検討事項（例えば、センサの画像フィードのパッキング順序）をエミュレートするために、レンダリング及びアセンブルされたハイパースペクトルフレームを更に処理することが可能である。具体的な実装の要件に応じて、現実世界のデータ収集における更なる要検討事項をモデル化することが可能である。

ハイパースペクトル画像のモデリング方法の２２、２４、及び２６の各ステップを繰り返すことは、時間ステップごとに、且つ、ハイパースペクトル帯域ごとに、独立に行われる。結果として、本シミュレーションは、高速並列演算に適したコンピュータアーキテクチャにおいて実施可能である。マルチコアのＣＰＵやＧＰＵのような並列アーキテクチャを用いると、複数のスペクトルフレームのそれぞれを同時且つ独立に生成することが可能である。このように並列アーキテクチャを用いることにより、ハイパースペクトルフレームに対する全てのスペクトルフレームの生成を、後続のフレームをリアルタイムで生成できるように、十分高速で行うことが可能になる。

本発明の一態様の便益は、ＨＳＩを記録するリモートセンシングシステムの開発に関するものである。ＨＳＩのリモートセンシングは、環境及び土地利用の監視や軍事的な監視及び偵察を始めとする広範な応用分野において有用であることが実証されている。これらの応用分野において結果として得られるＨＳＩが有用かどうかは、ＨＳＩの処理に用いられるアルゴリズムに強く依存する。様々な応用分野においてＨＳＩの処理に用いられるアルゴリズムは、正確且つロバストでなければならない。従って、これらのアルゴリズムの妥当性検査に用いられる試験も同様にロバストでなければならない。ＨＳＩ用のロバストな処理アルゴリズムの開発及び試験を行う１つの方法は、ＨＳＩシステムが遭遇する可能性が高い現実世界シナリオ、並びにその可能性が低い現実世界シナリオを表現する広範な収集画像をシミュレートすることである。本発明の一態様によってモデル化可能である、ＨＳＩのシミュレーションは、現場での実測に対する実用的な代替を提供することが可能である。現場での実測は、典型的には、高コストであり、時間がかかり、処理アルゴリズムが現場システムにおいて取り扱うべき予想されるイメージングシナリオの全範囲をなかなかカバーできない。

更に、シミュレートされたＨＳＩと、収集された現実世界のＨＳＩとで、実際のイメージング対象のオブジェクト及びマテリアルにとって必須ではないハイパースペクトルシグネチャの違いを観察することにより、システム開発者が、これらのオブジェクト及びマテリアルに関してモデルを識別及び分類することが可能である。開発者は、シミュレーションのモデリング及びレンダリングのアルゴリズム、又は識別及び分類用途のための現実世界のＨＳＩの処理に用いられるアルゴリズム、又はこれらの両方を精緻化及び更新することにより、シミュレートされたＨＳＩの忠実度を高めたり、現実世界のＨＳＩを処理する応用の結果を改善したりすることが可能である。

本発明の一態様では、連続する１６個のハイパースペクトル帯域に対するスペクトルフレームを、３０Ｈｚのビデオフレームレートに対応する時間ステップでリアルタイム生成することが可能である。このモダリティにおいて、本発明のハイパースペクトル画像のモデリング方法は、リアルタイムＨＳＩシステム及び処理アルゴリズムの開発及び試験に関して有利である。

本明細書は、実施例を用いて、最良の形態を含めて本発明を開示するとともに、任意の装置又はシステムを作成及び使用すること、並びに組み込まれた任意の方法を実施することを含めて、当業者が本発明を実践することを可能にしている。本発明の特許請求可能な範囲は、特許請求項によって定義され、当業者であれば発想するであろう他の実施例を含み得る。そのような他の実施例は、それらの構造的要素が特許請求項の文言と異なるものではない場合、或いは、それらに含まれる等価構造要素の、特許請求項の文言との違いが些細である場合には、特許請求の範囲に含まれるものとする。

１０ シミュレーション方法
１２ 光源、雰囲気、及びオブジェクトのモデル
１４ マテリアルタイプのデータベース
１６ シーンを３Ｄで構築するステップ
１８ マテリアルをアセンブルするステップ
２０ マテリアルをオブジェクトに割り当てるステップ
２２ オブジェクト／マテリアルモデルを変更するステップ
２４ 光源を変更するステップ
２６ スペクトルフレームを生成するステップ
２８ ハイパースペクトルフレームをアセンブルするステップ
３０ シーンをオブジェクトの変化により更新するステップ

Claims (7)

1. ハイパースペクトル画像のモデリング方法であって、
   ３次元モデリングツールを用いて、オブジェクト及びマテリアルを有するシーンを第１のフレームに構築するステップと、
   少なくとも１つのハイパースペクトル帯域を選択するステップと、
   前記少なくとも１つのハイパースペクトル帯域にある反射率に対応するように、前記シーン内の各オブジェクト及びマテリアルの反射率を変更するステップと、
   前記少なくとも１つのハイパースペクトル帯域にある少なくとも１つのスペクトル源の放射率に対応するように、前記シーン内の各オブジェクト及びマテリアルに対する前記少なくとも１つのスペクトル源の放射率を変更するステップと、
   前記シーンをレンダリングしてハイパースペクトル画像を生成するステップと、
   後続フレームに対して繰り返すステップと、
   を含む方法。
2. 前記シーンをレンダリングしてハイパースペクトル画像を生成する前記ステップは、前記シーンを複数の２次元画像に変換するステップを含む、請求項１に記載の方法。
3. 前記シーンをレンダリングしてハイパースペクトル画像を生成する前記ステップは、スペクトル応答を変更して実際のセンサをモデル化するステップを含む、請求項１に記載の方法。
4. 前記シーンをレンダリングしてハイパースペクトル画像を生成する前記ステップは、前記少なくとも１つのハイパースペクトル帯域のそれぞれについて各フレームを個別にレンダリングするステップを含む、請求項１に記載の方法。
5. 前記少なくとも１つのハイパースペクトル帯域は、連続する１６個のハイパースペクトル帯域である、請求項１に記載の方法。
6. 前記少なくとも１つのハイパースペクトル帯域は、４個以上のハイパースペクトル帯域である、請求項１に記載の方法。
7. 後続フレームに対して繰り返す前記ステップは、前記後続フレームをリアルタイム処理するステップを含む、請求項１に記載の方法。