JP2014212509A - 空間的およびスペクトル的物体モデルを生成する方法 - Google Patents

Abstract

【課題】ハイパースペクトル撮像装置を使用して物体の分光反射率プロファイルを改善する方法を提供する。
【解決手段】特に、物体とハイパースペクトル撮像装置との間に相対運動があるとき、物体の一連のハイパースペクトル画像を取得することと、相対運動の１つまたは複数のパラメータを測定することと、一連の各ハイパースペクトル画像において物体の方向を測定するためにパラメータをマッピングすることと、一連の各ハイパースペクトル画像において物体の２つ以上の空間部を識別することと、各空間部にスペクトルシグネチャを割り当てることと、方向、空間部、およびスペクトルシグネチャから多次元分光反射率プロファイルを生成することとを含む。
【選択図】図１

Description

本発明は、物体の分光反射率プロファイルを改善する方法に関する。

ハイパースペクトルカメラは、映像フレームレートでハイパースペクトル画像フレーム、またはデータキューブ（ｄａｔａｃｕｂｅ）を取り込むことができる。こうしたカメラは、高い空間分解能およびスペクトル分解能の画像を取得する。コンピュータビジョンおよびスペクトル解析に関連する技術と組み合わせて、ハイパースペクトルカメラのオペレータは、撮像された物体の検出、追跡、および識別に関連する監視応用に関与してきた。

米国特許第８，０９４，８９３号明細書

本発明の１つの態様は、ハイパースペクトル撮像装置を使用して物体の分光反射率プロファイルを改善する方法に関する。この方法は、物体とハイパースペクトル撮像装置との間に相対運動があるとき、物体の一連のハイパースペクトル画像を取得することと、相対運動の少なくとも１つのパラメータを測定することと、一連の各ハイパースペクトル画像における物体の方向（ｏｒｉｅｎｔａｔｉｏｎ）を測定するために少なくとも１つのパラメータをマッピングすることと、一連の各ハイパースペクトル画像において物体の少なくとも２つの空間部を識別することと、各空間部にスペクトルシグネチャ（ｓｐｅｃｔｒａｌ ｓｉｇｎａｔｕｒｅ）を割り当てることと、方向、少なくとも２つの空間部、およびスペクトルシグネチャから多次元分光反射率プロファイルを生成することとを含む。

本発明の一実施形態により空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。 ２つの例示的な移動中のプラットフォームが車両のハイパースペクトル画像を取り込むシナリオを示す図である。 例示的なプラットフォームが移動中の車両のハイパースペクトル画像を取り込むシナリオを示す図である。 分光反射率プロファイルを生成するために使用される撮像された車両の空間分割（ｓｐａｔｉａｌ ｐｏｒｔｉｏｎｉｎｇ）を説明する図である。

背景および次の記述では、本明細書に記載する技術を十分に理解できるように、説明の目的で数多くの特定の詳細を示す。しかしながら、当業者には明らかであるように、例示的な実施形態は、これらの具体的な詳細なしに実行することができる。他の例では、例示的な実施形態の説明を容易にするために、構造および装置を略図の形で示す。

図面を参照して例示的な実施形態を説明する。これらの図面は、本明細書に記載するモジュール、方法、またはコンピュータプログラム製品を実施する特定の実施形態のいくつかの詳細を示す。しかしながら、図面は、図面に存在する可能性があるいかなる制限も課していると解釈されるべきではない。方法およびコンピュータプログラム製品は、その動作を行うためにいかなる機械可読媒体上にも提供することができる。諸実施形態は、既存のコンピュータプロセッサを使用して、あるいはこの目的または別の目的のために組み込まれた特殊用途のコンピュータプロセッサによって、あるいはハードウェアシステムによって、実施することができる。

上記のように、本明細書に記載する実施形態は、機械実行可能な命令またはデータ構造を保持するまたは保有するための機械可読媒体を備えるコンピュータプログラム製品を含むことができる。このような機械可読媒体は、汎用のまたは特殊用途のコンピュータまたはプロセッサを備えた他の機械によってアクセスすることができるいかなる入手可能な媒体とすることもできる。一例として、このような機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、あるいは、所望のプログラムコードを機械実行可能命令もしくはデータ構造の形態で保持するもしくは格納するために使用することができ、汎用のもしくは特殊用途のコンピュータ、またはプロセッサを備えた他の機械によってアクセスすることができる他のいかなる媒体も含むことができる。情報がネットワークまたは別の通信接続（有線、無線、もしくは有線と無線の組み合わせ）によって機械に転送されるとき、機械は、この接続を適切に機械可読媒体と考える。したがって、このようないかなる接続も、適切に機械可読媒体と呼ばれる。上記のものの組み合わせもまた、機械可読媒体の範囲内に含まれる。機械実行可能命令は、例えば、汎用コンピュータ、特殊用途コンピュータ、または特殊用途処理装置に、ある機能もしくは機能群を実行させる命令およびデータを含む。

例えば、ネットワーク化された環境において機械によって実行されるプログラムモジュールの形態で、プログラムコードのような、機械実行可能命令を含むプログラム製品によって１つの実施形態で実施することができる方法のステップの一般的な文脈において、諸実施形態を説明する。一般的には、プログラムモジュールは、特定のタスクを実行する技術的効果を有する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む、または特定の抽象データ型を実装する。機械実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能命令または関連するデータ構造の特定のシーケンスは、このようなステップで説明する機能を実行するための対応する行為の例を表わす。

諸実施形態は、プロセッサを有する１つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク化された環境で実行することができる。論理接続は、本明細書で例として、限定ではなく提示するローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）を含むことができる。このようなネットワーク環境は、オフィス全体もしくは企業全体のコンピュータネットワーク、イントラネット、およびインターネットにおいて一般的であり、多種多様な通信プロトコルを使用することができる。このようなネットワークコンピューティング環境が一般的には、パーソナルコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなど、多くのタイプのコンピュータシステム構成を含むことを当業者は理解するであろう。

諸実施形態はまた、通信網を介して（配線リンク、無線リンクによって、または配線リンクもしくは無線リンクの組合せによって）リンクされたローカルおよびリモートの処理デバイスがタスクを実行する分散コンピューティング環境で実施することができる。分散型コンピューティング環境では、プログラムモジュールを、ローカルとリモートの両方のメモリ記憶装置に配置することができる。

例示的実施形態の全体または一部を実行するための例示的システムは、処理装置と、システムメモリと、システムメモリを含む様々なシステム構成要素を処理装置に結合するシステムバスとを含む、コンピュータの形態の汎用コンピューティングデバイスを含むことができる。システムメモリは、読み出し専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）とを含むことができる。コンピュータは、磁気ハードディスクへの読み書き操作を行うための磁気ハードディスクドライブと、リムーバブル磁気ディスクへの読み書き操作を行うための磁気ディスクドライブと、ＣＤ−ＲＯＭまたは他の光媒体のようなリムーバブル光ディスクへの読み書き操作を行うための光ディスクドライブとを含むこともできる。ドライブおよびドライブに関連する機械可読媒体は、機械実行可能命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶装置をコンピュータに提供する。

諸実施形態で開示する方法の技術的効果は、物体の検出、追跡、および識別のための遠隔撮像システムの有用性および性能を高めることを含む。本発明の方法によって生成される多次元分光反射率プロファイルを実現するハイパースペクトル追跡システムは、再取得または物体のシグネチャ予測中に一般的に発生する誤検出および検出漏れを確実に軽減することができる。例えば、多次元分光反射率プロファイルを空間追跡技術と融合すると、オクルージョン（ｏｃｃｌｕｓｉｏｎ）による伝統的な空間追跡の際のエラーが減少する。多次元分光反射率プロファイルは、撮像された対象の物体の寿命特性（ｌｉｆｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）プロファイルを提供する。このプロファイルから、ハイパースペクトル追跡システムのオペレータは、物体の動き方、物体が動くときの物体の見え方、物体の大きさ、物体の反対側の違いなどを含む、物体の特性を明らかにし、推論することができる。

図１は、本発明の一実施形態により空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。最初にステップ１００において、ハイパースペクトル撮像装置１０１が、空間的にもスペクトル的にも分解される画像を取り込むことによって、対象の物体を捕捉し、追跡することができる。ハイパースペクトル撮像装置１０１は、凝視型アレイのハイパースペクトルビデオカメラであることが好ましい。しかしながら、他の知られているハイパースペクトル撮像装置１０１には、高速走査のスペクトルカメラと共に、凝視型アレイのカラー／パンクロ一体型カメラを含むことができる。

ハイパースペクトル撮像装置１０１は、例えばモバイルプラットフォーム２００上で静止している、または静止プラットフォーム３００上で移動できる、またはその任意の組合せとすることができる。例えば図２に示すように、ハイパースペクトル撮像装置１０１は、可動プラットフォーム２００上において、対象の物体２１２を撮像することができ、撮像エリア２０２、２０４、２０６、２０８のフットプリント（ｆｏｏｔｐｒｉｎｔ）は、プラットフォーム２００の移動の結果、幾分移動する。プラットフォームの移動は、ハイパースペクトル撮像装置１０１が通過する弧２２０、ハイパースペクトル撮像装置１０１が通過する直線２１０、またはプラットフォーム２００の操作性によって決定されるいかなる動きにもなり得る。例えば図３に示すように、静止プラットフォーム３００において、ハイパースペクトル撮像装置１０１は、対象の物体３１０を追跡し、撮像するために、プラットフォーム３００上で単一軸の回転によって移動することができる。この場合、撮像フットプリント３１２、３１４、３１６は、対象の物体３１０を撮像するために弧３１８を辿る。多くの場合、対象の物体３１０は、フットプリントの同じ弧３１８を辿らず、その場合、フットプリントの視点（ｐｅｒｓｐｅｃｔｉｖｅ）が変わることになる。なお、対象の物体２１２、３１０は、静止している、または動いている場合がある。ハイパースペクトル撮像装置１０１と撮像される対象の物体２１２、３１０との相対運動により、ハイパースペクトル撮像装置１０１と対象の物体２１２、３１０との間の視点が変わることは明らかであろう。結果として、対象の物体２１２、３１０の観察される分光反射率は、相対的視点が変化することに応じて、少なくとも一部変化する。

再び図１を参照すると、ステップ１０２において、ハイパースペクトル撮像装置１０１が、一連のハイパースペクトル画像１０３を取得することができる。プラットフォームに搭載されたプロセッサは、一連のハイパースペクトル画像１０３の処理を行うことができる、または第２のプロセッサもしくは処理システム（まとめて「プロセッサ」と呼ぶ）によって処理するために一連のハイパースペクトル画像１０３を遠隔位置に送るよう命令することができる。一連のハイパースペクトル画像１０３間のアライメントを決定するために、プロセッサは、例えば、プラットフォームの移動によって導入された可能性がある動きおよびジッタを打ち消すように、画像安定化技術を使用して一連のハイパースペクトル画像１０３をフレーム間でシフトすることができる。物体の一連のハイパースペクトル画像１０３には、対象の物体２１２、３１０とハイパースペクトル撮像装置１０１との間に相対運動がある可能性がある。

ステップ１０４において、プロセッサは、対象の物体２１２、３１０とハイパースペクトル撮像装置１０１との間の相対運動の少なくとも１つのパラメータ１０５を測定することができる。例えば、プロセッサは、相対位置および絶対位置を測定する、搭載センサ測位システムからのデータを使用することができる。例示的搭載システムは、ＧＰＳのような絶対位置決めシステムと組み合わせて、慣性航行システムのような相対位置決めシステムを含むことができる。搭載位置決めデータと併せて、プロセッサは、一連のハイパースペクトル画像１０３中の差を確認して、対象の物体２１２、３１０の動きを推論し、ハイパースペクトル撮像装置１０１から対象の物体２１２、３１０までの範囲を推定することができる。プロセッサは、相対運動をハイパースペクトル撮像装置１０１と対象の物体２１２、３１０との間の回転変化（すなわち、ロール、ピッチ、ヨー）および並進変化（すなわち、ｘ、ｙ、ｚ）として測定することができる。プロセッサは、オイラー角および方向ベクトルを用いて、相対運動をパラメータで表すことができる。実行に応じて、ハイパースペクトル撮像装置１０１と対象の物体２１２、３１０との間の相対運動の他のパラメータ化が適用されることもある。プロセッサは、ステップ１０６において一連の各ハイパースペクトル画像で物体２１２、３１０の方向１０７を測定するために、物体２１２、３１０とハイパースペクトル撮像装置１０１との間の相対運動のパラメータ１０５をマッピングすることができる。

一連のハイパースペクトル画像１０３のそれぞれにおいて対象の物体２１２、３１０の方向１０７を判断すると、ステップ１０８におけるプロセッサは、一連のハイパースペクトル画像１０３のそれぞれにおいて対象の物体２１２、３１０の空間部１０９を識別することができる。次いで、ステップ１１０においてプロセッサは、一連のハイパースペクトル画像１０３のそれぞれにおいて対象の物体２１２、３１０の各空間部１０９にスペクトルシグネチャ１１１を割り当てることができる。対象の物体２１２、３１０の空間部１０９へのスペクトルシグネチャ１１１の割当てに基づいて、プロセッサは、ステップ１１２において、多次元分光反射率プロファイル１１３を生成することができる。分光反射率プロファイル１１３の次元は、物体２１２、３１０の方向１０７、空間部１０９、および空間部１０９と関連するスペクトルシグネチャ１１１によって判断される。したがって、多次元分光反射率プロファイル１１３は、物体の空間的、または幾何学的描写と併せて、対象の物体２１２、３１０の分光反射率シグネチャ１１１と、分光反射率シグネチャ１１１間の空間的関係との両方を描写することができる。

例示のために、図４は、３つの異なる方向４００、４０２、４０４についての撮像した車両２１２または３１０の空間分割を示している。方向４００における車両の第１の撮像面に対して、プロセッサは４つの空間部４１０、４１２、４１４、４１６を識別する。方向４０２における車両の第２の撮像面に対して、プロセッサは４つの空間部４１８、４２０、４２２、４２４を識別する。方向４０４における車両の第３の撮像面に対して、プロセッサは４つの空間部４２６、４２８、４３０、４３２を識別する。プロセッサは次に、空間部のそれぞれにハイパースペクトル画像に基づいてスペクトルシグネチャを割り当てる。この例では、３つの撮像方向のそれぞれに４つの別個のスペクトルシグネチャ、合計１２の別個のスペクトルシグネチャが存在することになる。したがって、この説明では、多次元分光反射率プロファイル１１３は、３つの方向を含み、それぞれが４つの空間部１０９を有し、各空間部が１つの対応する分光反射率シグネチャ１１１を有する。

図１に戻り、多次元分光反射率プロファイル１１３が生成されると、プロセッサは一連のハイパースペクトル画像１０３中の対象の物体２１２、３１０を分類することができる。多次元分光反射率プロファイル１１３は、対象の物体２１２、３１０の空間次元および分光テクスチャの内容を符号化する。プロセッサは、さらなる処理技術を実行して、対象の物体２１２、３１０の空間部１０９の大きさおよび形状を、テクスチャ特性と併せて、測定することができる。

ステップ１１４においてこの方法が完了すると、ハイパースペクトル撮像装置１０１は、連続した一連のハイパースペクトル画像１０３において対象の物体２１２、３１０を再取得することができる。プロセッサは、ハイパースペクトル画像を連続的に集めることによって、物体の多次元分光反射率プロファイル１１３を改善することができる。最初のパスは、物体の観測されない方向を生じる可能性があるが、次に続くパスが、以前観測されなかった方向について多次元分光反射率プロファイル１１３のモデルを埋め始める可能性がある。

逆に、プロセッサは、以前観測された方向について、多次元分光反射率プロファイル１１３を改善することができる。プロセッサが以前に観測した方向で物体を再取得するとき、プロセッサは、ハイパースペクトル画像の蓄積時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）に基づいてスペクトルシグネチャ１１１を重み付けすることによって、以前生成した多次元分光反射率プロファイル１１３を更新することができる。例えば、所与の方向１０７の所与の空間部１０９が、スペクトルシグネチャ１１１を測定するために以前に０．１秒間観測され、その後、さらなる測定が０．２秒間行われる場合、多次元分光反射率プロファイル１１３における方向１０７の空間部１０９のスペクトルシグネチャは、新しい測定を古い測定の２倍の重みで重み付けするように調整されることが可能である。

この明細書は、最良のモードを含む本発明を開示するために、またいかなる当業者も、任意のデバイスまたはシステムを作成して使用すること、および組み込まれた任意の方法を行うことなど、本発明を実践できるようにするために、例を使用している。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者であれば思い付く他の例も含むことができる。このような他の例が、特許請求の範囲の文字通りの言葉と違わない構造的要素を有する場合、または、特許請求の範囲の文字通りの言葉とはわずかな違いのある等価な構造的要素を含む場合、これらは特許請求の範囲の範囲内であるものとする。

１００ 方法の開始
１０１ ハイパースペクトル撮像装置
１０２ 一連のハイパースペクトル画像を取得する
１０３ 一連のハイパースペクトル画像
１０４ 相対運動を測定する
１０５ 相対運動の１つのパラメータ
１０６ 撮像された物体の方向を判断する
１０７ 物体の方向
１０８ 物体の空間部を識別する
１０９ 空間部
１１０ スペクトルシグネチャを物体に割り当てる
１１１ スペクトルシグネチャ
１１２ 物体の多次元分光反射率プロファイルを生成する
１１３ 多次元分光反射率プロファイル
１１４ 方法の終了
２００ ハイパースペクトル撮像装置のプラットフォーム
２００、２０４、２０６、２０８ 撮像エリアのフットプリント
２１０ 撮像装置が通過する直線
２２０ 撮像装置が通過する弧
２１２ 撮像した車両
３００ ハイパースペクトル撮像装置のプラットフォーム
３１０ 撮像した車両
３１２、３１４、３１６ 撮像エリアのフットプリント
３１８ フットプリントの弧長
４００、４０２、４０４ ある方向における車両の撮像面
４１０、４１２、４１４、４１６ ある方向における車両の撮像面の空間部
４１８、４２０、４２２、４２４ ある方向における車両の撮像面の空間部
４２６、４２８、４３０、４３２ ある方向における車両の撮像面の空間部

Claims (10)

1. ハイパースペクトル撮像装置を使用して物体の分光反射率プロファイルを改善する方法であって、
   前記物体と前記ハイパースペクトル撮像装置との間に相対運動があるとき、前記物体の一連のハイパースペクトル画像を取得するステップと、
   前記相対運動の少なくとも１つのパラメータを測定するステップと、
   前記一連の各ハイパースペクトル画像において前記物体の方向を測定するために前記少なくとも１つのパラメータをマッピングするステップと、
   前記一連の各ハイパースペクトル画像における前記物体の少なくとも２つの空間部を識別するステップと、
   前記各空間部にスペクトルシグネチャを割り当てるステップと、
   前記方向、前記少なくとも２つの空間部、および前記スペクトルシグネチャから、多次元分光反射率プロファイルを生成するステップと
   を含む、方法。
2. 多次元分光反射率プロファイルを生成する前記ステップが、前記少なくとも２つの空間部の大きさおよび形状を測定するステップを含む、請求項１記載の方法。
3. 前記多次元分光反射率プロファイルを生成する前記ステップが、
   以前に生成した多次元分光反射率プロファイルを更新するステップと、
   前記ハイパースペクトル画像の累積時間に基づいて前記スペクトルシグネチャに重み付けするステップと
   を含む、請求項１記載の方法。
4. 前記ハイパースペクトル撮像装置が静止しており、前記物体が移動している、請求項１記載の方法。
5. 前記ハイパースペクトル撮像装置が移動しており、前記物体が静止している、請求項１記載の方法。
6. 前記ハイパースペクトル撮像装置および前記物体が移動している、請求項１記載の方法。
7. 前記少なくとも１つのパラメータが、オイラー角を含む、請求項１記載の方法。
8. 前記少なくとも１つのパラメータが、方向ベクトルを含む、請求項１記載の方法。
9. 前記多次元分光反射率プロファイルに基づいて、前記一連のハイパースペクトル画像中の前記物体を分類するステップをさらに含む、請求項１記載の方法。
10. 前記多次元分光反射率プロファイルに基づいて、連続する一連のハイパースペクトル画像中の前記物体を再取得するステップをさらに含む、請求項１記載の方法。