JP2020506373A - 仮現運動における物体の動的ハイパースペクトルイメージング - Google Patents

Abstract

仮現運動における情景のハイパースペクトルイメージングのためのハイパースペクトル撮像システム及び方法が説明される。取得される各画像は、ポインティング、焦点合わせ、及びデータ解析を容易にする情景の空間地図を含む。スペクトル測定パラメータは、撮像システムの物理的又は光学的な再構成なく及び可動機械部品を必要とせずに、スペクトル分解能、ストレージ容量、及び伝送帯域幅等の性能を最適化するために動的に構成することができる。システムは、高いスペクトル及び空間分解能を達成し、単純、コンパクト、及び軽量であり、それによって航空機搭載又は宇宙機器搭載撮像システムのための効果的なハイパースペクトル撮像システムを提供する。

Description

関連出願の相互参照
この特許出願は、２０１６年１２月２７日に出願された米国仮特許出願第６２／４３９，３８８号明細書、発明の名称「ＤＹＮＡＭＩＣ ＨＹＰＥＲ−ＳＰＥＣＴＲＡＬ ＩＭＡＧＩＮＧ ＯＦ ＯＢＪＥＣＴＳ ＩＮ ＡＰＰＡＲＥＮＴ ＭＯＴＩＯＮ」の利益及び優先権を主張する２０１７年１２月２７日に出願された同時係属中の米国特許出願第１５／８５５，８３２号明細書、発明の名称「ＤＹＮＡＭＩＣ ＨＹＰＥＲ−ＳＰＥＣＴＲＡＬ ＩＭＡＧＩＮＧ ＯＦ ＯＢＪＥＣＴＳ ＩＮ ＡＰＰＡＲＥＮＴ ＭＯＴＩＯＮ」の利益を主張する。両出願（第１５／８５５，８３２号明細書及び第６２／４３９，３８８号明細書）はここで、それらの全体を引用して本明細書に組み込む。

マルチスペクトルイメージングは、撮像システムが電磁スペクトル全体から画像情報を取り込むことを可能にしている。多くのかかるシステムは、時系列画像を撮影し、それぞれ連続する画像間で光源と画像センサとの間に様々なフィルタを位置決めすることによって動作する。一般に、これらの撮像システムは、大型で重量があり、計算集約的、複雑であり、可動部品に依存し、連続画像を撮影するのが比較的遅く、又は上記の全てである。

マルチスペクトルイメージングに必要なプロセス及び機器は、撮像装置が移動プラットフォーム上にある場合等の観察される情景が仮現運動状態にある場合、更に一層複雑になる。撮像システムの複雑さ及び連続する画像間の固有の遅延は、仮現運動にある情景のマルチスペクトル画像を取り込もうと試みる場合に追加的な考慮を生じる。

最終的に、上記の問題は、移動プラットフォームから情景のハイパースペクトル画像を撮影する場合に悪化する。かかる画像を撮影することができるシステムは、一般に、複雑な機械的アセンブリを必要とし、大型で重量があり、特に衛星ベースのシステムに追加的な複雑さを生じる。衛星の大きさが減少するにつれて、指摘した問題は、衛星の限定された利用可能な電力及び体積のために悪化する。

詳細な説明を添付図面を参照して説明する。図において、参照番号の左端の数字は、その参照番号が最初に出現する図を識別している。異なる図における同じ参照番号の使用は、類似又は同一の項目を示している。

図１ａ〜１ｄは、様々なマルチスペクトル撮像技術を示す。 図２は、撮像センサに対する光学フィルタの位置配向の斜視図を示す。 図３は、対象の領域の選択及びスティッチングを示す。 図４は、情景の時系列画像が取り込まれる際に情景に対するセンサの仮現運動を示す。 図５は、ハイパースペクトル画像を取り込むプロセスを示すブロック図である。 図６は、時系列画像によりマルチスペクトル光学フィルタの異なる部分を通して捕捉される情景の点を示す。 図７は、撮像システム例のブロック図である。

概要
実施形態は、撮像センサ、マルチスペクトル又はハイパースペクトル光学フィルタを有し、処理ユニット（例えば、プロセッサ又は他の論理回路）において様々な計算アルゴリズムを用いて多次元データキューブを形成することによって、仮現運動における情景の画像を取り込み、処理する空中又は衛星ベースの撮像システム等の撮像システムを含んでいる。

実施形態は、仮現運動の方向における領域撮像デバイス（ＡＩＤ）（例えば、一種の画像取り込みデバイス）の追跡速度を特定する。サンプリング距離は、光学フィルタ、追跡速度、及び／又は所望の出力に基づいて、空間座標のｎ個のタプルが結果としてｘ、ｙ、及びλ値を有するピクセルを生じる多次元データキューブを結果として生じるよう特定され、ここでｘ及びｙは情景の２つの空間次元を表し、λはある範囲の波長を備えるスペクトル次元を表している。多次元データキューブは、数十、数百、更には数千のスペクトル次元に対応する空間座標を含んでいてもよく、それによってハイパースペクトル撮像データを含む多次元データキューブを作成する。

情景の対象の領域は、情景がＡＩＤに対して見かけ上移動する間に、十分な露光回数を可能にするよう特定される。部分的に重なり合う複数の露光は、ＡＩＤにより連続して露光を行うことによって取り込まれる。情景がＡＩＤに対して移動するよう見えるにつれて、情景内の様々な点は、様々な点から反射又は放射される光がＡＩＤの撮像センサに到達する前に光学フィルタの１つのスペクトル帯から別のものへ通過する際に、ＡＩＤの異なるピクセルによって捕捉される。幾つかの実施形態において、可変光学フィルタはＡＩＤと対象の情景との間の光路に位置決めされ、対象の情景がＡＩＤに対して移動するにつれて、連続画像が取り込まれ、それには情景の特定の点が可変光学フィルタの様々な部分を通してＡＩＤによって捕捉される。各連続画像内の露光は、特定された量の重なりを有し、それによって露光が共にスティッチされて、任意の長さのマルチスペクトル又はハイパースペクトルの画像を形成することを可能にしている。画像の各セグメントは、連続画像の間にマルチスペクトル又はハイパースペクトル光学フィルタの所望のスペクトル帯、又は場合によっては全ての帯域を通して露光される。

本明細書中で用いるように、マルチスペクトル光学フィルタ及びハイパースペクトルフィルタ（又は単にフィルタ）とは、様々な波長の光がその一部を通過することを可能にする光学フィルタを指す。例えば、光学バンドパスフィルタは、他の波長を減衰又は反射しながら電磁スペクトルの一部を選択的に透過させるよう構成されるフィルタの１つ以上の領域を含んでいてもよい。１つ以上の領域は線形であってもよく、すなわち、線形バンドパスフィルタは、狭帯域幅にわたる高透過率を可能にする一方で、不要な光を減衰させて必要とされる波長での画像取り込みを最大にするフィルタの離散的領域を有していてもよい。線形バンドパスフィルタのスペクトル感度は、光源に対してフィルタの位置を移動させるか、又は、撮像デバイスが移動プラットフォーム上にある場合、プラットフォームを光源に対して移動させることによって簡単に調整することができる。連続可変光学バンドパスフィルタは、本明細書中に説明する実施形態と共に利用することができるハイパースペクトル光学フィルタの一実施例であり、ここで高透過率を有するスペクトル帯域幅の範囲はフィルタ全体にわたって連続的に変化する。光学フィルタの他の実施例は、本明細書中に説明する実施形態と共に用いられてもよく、説明する特徴及び利点を提供するように本明細書中において考えられている。例えば、ノッチフィルタ、狭帯域の波長を減衰させるフィルタは、本明細書中に説明するシステム及び方法と共に用いられてもよい。同様に、ある帯域の波長が通過することを可能にするものである光学バンドパスフィルタも同様に用いられてもよい。１つ以上のフィルタは、結果として対象の１つ以上のスペクトルを有するスペクトル画像を生じるよう所望の周波数を選択的に減衰又は通過させるために用いられてもよい。

本明細書中に説明する撮像システム及び装置の幾つかの実施形態は、低地球軌道（ＬＥＯ）上の人工衛星等の衛星から地球又は他の任意の天体の画像を撮影するために採用されてもよい。人工衛星の実施形態において、撮像システムは望遠鏡を含み、ＡＩＤは望遠鏡の焦点面に配置されてもよい。マルチスペクトル又はハイパースペクトル光学フィルタは、ＡＩＤに直接取り付けられてもよく、従って、望遠鏡の焦点面の近くにも配置されてもよい。

本明細書中に説明するプロセス、システム、及びデバイスは多くの方法で実装されてもよい。実装例は以下の図を参照して以下で提供される。

スペクトルイメージングの目的は、情景画像内の各ピクセルのスペクトルを測定することにある。本明細書で用いるように、情景画像内のピクセルは情景内の対応する箇所を表す撮像デバイスによって捕捉される光を指す。すなわち、情景内の各領域から放射又は反射された光がＡＩＤ内のアドレス指定可能な素子によって捕捉される際に、光はマルチスペクトル又はハイパースペクトル光学フィルタの一部を通過し、情景のその特定の領域のスペクトルが捕捉される。情景のその特定の領域から放射又は反射された光がＡＩＤの異なるアドレス指定可能な素子によって捕捉される場合、それはフィルタの異なる部分を通過し、情景のその特定の領域のための異なるスペクトルが捕捉されてもよい。

この意味では、物体によって放射又は反射される光の強度はその像平面において測定される。結果として生じる測定値は、空間座標及びスペクトルの大きさのｎ個のタプルのセットとして表される。これらｎ個のタプルは組み合わされて処理及び分析のための多次元（ｘ、ｙ、λ）データキューブを形成し、ここでｘ及びｙは情景の２つの空間次元を表し、λはある範囲の波長を備えるスペクトル次元を表している。データ処理の観点から、スペクトルイメージングはデータキューブの次元によって特徴付けられ得る。

幾つかの実施形態によれば、装置は仮現運動を有する情景を撮像するために提供される。仮現運動は、少なくとも部分的には、その上に撮像装置が取り付けられる移動プラットフォームに起因するものであってもよいか、又は、情景が移動すること、若しくはその両方に起因するものであってもよい。幾つかの例において、撮像装置は、宇宙機、人工衛星、又は航空機搭載プラットフォーム等の移動プラットフォームに搭載されている。加えて、情景は、また、地球の自転に起因する等、移動していてもよい。同様に、撮像装置は、また、月、惑星、星等の他の天体の画像データを取り込んでもよい。

装置は、複数のピクセルセンサを有する領域撮像デバイスと、領域撮像デバイスの光路内に配設されるマルチスペクトル又はハイパースペクトルフィルタとを含んでいる。領域撮像デバイスに接続される制御モジュールは、領域撮像デバイスによって取り込まれる情景の対象の空間領域を特定することができる。対象の空間領域は、単に撮像データを取り込むことが望ましい領域である。例えば、森林、湖、農場、海、駐車場、都市、及び車両は全て、対象の空間領域の例である。制御モジュールは対象の空間領域を自律的に特定してもよい。例えば、画像解析が対象の特徴をもたらす場合、制御モジュールは、以前に取り込まれ、解析された画像内で検出された１つ以上の特徴の追加の画像を取り込むべきであると特定してもよい。対象の空間領域は、加えて、地上局又は人工衛星等の遠隔地から制御モジュールによって受信される命令において指定されてもよい。

制御モジュールは、また、情景の対象のスペクトルを特定してもよい。これは、例えば、画像を取り込むために規則からの又は命令内の入力を受信することによって達成されてもよい。幾つかの実施形態において、制御モジュールは、植物の撮像データが取り込まれる場合、正規化植生指数（「ＮＤＶＩ」）を計算するために、対象スペクトルが可視赤色及び近赤外領域において取得される分光反射率測定を取り込むよう選択されることを示す規則を実行してもよい。無論、撮像データから導出される対象の他のスペクトル又は他の任意の指標は、本明細書中において撮像システムの範囲内で考えられる。

制御モジュールは連続する画像取り込みのためのサンプリング距離を特定する。サンプリング距離はハイパースペクトルフィルタ及び対象のスペクトルに少なくとも部分的に基づいてもよい。言い換えれば、情景が見かけ上移動するにつれて、情景の各領域はフィルタの異なる部分を通して取り込まれ、そのため、情景の各領域に対する異なるスペクトルは連続する画像取り込みを通して取り込まれる。サンプリング距離を特定することによって、各領域の画像は、所望のスペクトル情報を有して取り込まれ得る。加えて、フィルタが撮像センサに対して固定されている場合、フィルタの空間部分と測定された波長との間には既知の相関関係がある。

制御モジュールはサンプリング距離で１回以上の露光を行うよう領域撮像デバイスに指示する。露光が行われると、撮像モジュールは１回以上の露光に少なくとも基づいて情景の画像を形成する。

幾つかの実施形態において、撮像装置、制御モジュール、及び撮像モジュールは人工衛星に搭載されており、画像の取り込み及び処理は人工衛星上で実行される。これは、フル解像度及びフルスペクトルの撮像データが後処理のために地上局に送信される典型的な衛星画像に関する帯域幅の制約を軽減する。人工衛星上で画像処理の多くを実行することによって、衛星ダウンリンクの利用可能な帯域幅がより効率的に用いられる。例えば、人工衛星は画像解析を実行することができ、それは結果として、フルスペクトル画像データではなく、保存され、遠隔地に送信される数（例えば、駐車場内の自動車の数、水域の大きさ、ある期間にわたる森林の大きさの差、等）を生じてもよい。

幾つかの例において、ハイパースペクトルフィルタは連続可変光学フィルタであり、取り込まれる画像はハイパースペクトル画像であってもよい。

幾つかの実施形態において、サンプリング距離は、情景の対象の空間領域が対象のスペクトルでの１回以上の露光において捕捉されるように特定される。撮像モジュールは１回以上の露光にわたる各ピクセルのための補間曲線を作成するよう構成され得る。

幾つかの場合において、撮像モジュールは対象のスペクトルにおける各ピクセルのための補間曲線を評価することによって単色画像を構築することができる。

幾つかの実施形態によれば、人工衛星は複数のピクセルセンサを有する撮像デバイスを含む。人工衛星は撮像デバイスの光路内に配設されるマルチスペクトル又はハイパースペクトルフィルタを有していてもよい。幾つかの例において、任意の適切なスペクトルフィルタが用いられてもよい。本明細書中で用いるように、スペクトルフィルタは、ある特定の波長を減衰させるか又はある特定の波長を通過させるものである。ハイパースペクトルフィルタ、マルチスペクトルフィルタ、バンドパスフィルタ、及びノッチフィルタは全てスペクトルフィルタの例である。

スペクトルフィルタは、少なくとも第１のスペクトル帯及び第２のスペクトル帯を有していてもよい。幾つかの場合において、スペクトルフィルタは複数の離散スペクトル帯を有し、他の場合において、フィルタは連続可変光学フィルタである。

人工衛星は、１つ以上のプロセッサ及びメモリを、メモリ上に格納され、１つ以上のプロセッサによって実行可能なプログラミング命令と共に有していてもよい。命令はプロセッサに情景の対象の空間領域を特定させてもよい。これは、規則に基づいてもよいか又はアップリンクを介して人工衛星に送信される命令によって提供されてもよい。例えば、命令は地上局から又は別の衛星から送信されてもよく、指定されたスペクトルを有する指定された領域の１つ以上の画像を取り込むよう人工衛星に命令する。

命令は、更に、対象の領域から放射又は反射された光が第１のスペクトル帯、第２のスペクトル帯、又はその両方を通過する場合、撮像デバイスに情景の少なくとも１回の露光を行うよう指示する。命令は、更に、プロセッサに少なくとも１回の露光に基づいて情景の画像を生成させる。

幾つかの実施形態において、マルチスペクトルフィルタは、複数のピクセルセンサのそれぞれがマルチスペクトルフィルタのスペクトルと関連付けられるように撮像デバイスに固定して取り付けられる。マルチスペクトルフィルタは連続可変光学フィルタであってもよく、その場合において、複数のピクセルセンサが行及び列のアレイ状に配置される場合、ピクセルセンサの列は可変光学バンドパスフィルタの共通スペクトルと関連付けられる。

命令は、更に、１つ以上のプロセッサに連続露光のためのサンプリング距離を特定させ、撮像デバイスに第１の露光及びサンプリング距離だけ離間される第２の露光を捕捉させてもよい。

第１の露光は対象の空間領域が第１のスペクトル帯を通して捕捉される原因となってもよく、第２の露光は対象の空間領域が第２のスペクトル帯を通して捕捉される原因となってもよい。

命令は、プロセッサに第１の露光をセグメント化して対象の波長を有する第１の露光の第１の部分を生成させ、第２の露光をセグメント化して対象の波長を有する第２の露光の第２の部分を生成させてもよい。第１の部分及び第２の部分は、次いで、スティッチされて対象の波長を有する画像を作成してもよい。時系列画像をスライスすることによって、対象のスペクトルを呈するスライスは共にスティッチされて対象のスペクトルを持つ任意の長さを有する情景の画像を作成してもよい。

幾つかの実施形態において、対象の波長を有する画像は第１の波長における第１の画像であり、命令はプロセッサに第２の波長における第２の画像を作成させる。画像は、第１の画像及び第２の画像を含むハイパースペクトルキューブを作成することによって共に格納されてもよい。

幾つかの実施形態によれば、仮現運動を有する情景を撮像するよう撮像システムを操作する方法は、マルチスペクトル又はハイパースペクトル光学フィルタを有する領域撮像デバイスを提供し、情景の仮現運動の速度を特定し、第１の露光及び少なくとも１回の第２の露光を行うよう領域撮像デバイスに指示することを含む。方法は、また、情景の仮現運動の速度及びマルチスペクトル又はハイパースペクトル光学フィルタに少なくとも部分的に基づくことができるサンプリング距離を特定することを含んでいてもよい。第１の露光及び第２の露光は情景の画像を作成するために用いることができる。幾つかの例において、仮現運動の速度は、画像が取り込まれた後に特定されてもよい。例えば、画像は、スペクトル帯にわたって画像を取り込む固定数の１秒当たりのフレーム数（ＦＰＳ）で取り込まれてもよい。画像が取り込まれた後、対象のスペクトル帯を含む画像は保存されるか又は更に処理されてもよい一方で、対象のスペクトル帯を呈していない他の画像は破棄されてもよい。

幾つかの場合において、情景の画像を生成することは、対象のスペクトルを特定すること、第１の露光をセグメント化して対象のスペクトルを有する第１の画像スライスを生成すること、第２の露光をセグメント化して対象のスペクトルを有する第２の画像スライスを生成すること、並びに、第１の画像スライス及び第２の画像スライスを共にスティッチして対象のスペクトルを有する情景の画像を形成することを含む。このような方法で、全てが対象の同じスペクトルを呈する後続の画像のスライスが選択され、共にスティッチされて対象のスペクトルを有する画像を形成することができる。対象の異なるスペクトルでこれを行うことによって、後続の単色画像は、同じ情景の複数の画像を含んでいてもよいハイパースペクトルキューブに組み合わせることができ、各画像は対象の異なるスペクトルを有する。

幾つかの実施形態において、マルチスペクトル光学フィルタはスペクトル帯を有し、サンプリング距離を特定することは、仮現運動の速度、マルチスペクトル光学フィルタのスペクトル帯、及び対象の所望のスペクトルに少なくとも部分的に基づく。

幾つかの場合において、撮像システムは宇宙機に搭載され、方法は、更に、画像を圧縮することと、画像を地上局に送信することとを含む。画像圧縮は、単色画像データを格納し、フルスペクトル画像データを破棄することによって行われてもよい。第１の露光は画像解析アルゴリズムに対する入力として用いられてもよい。画像解析アルゴリズムを実行することは数値を返してもよく、数値は遠隔地に送信されてもよい。例えば、画像解析アルゴリズムは駐車場に関連する画像データに関して実行されてもよい。アルゴリズムは画像を解析し、駐車場内の自動車の数を返してもよい。数値は、次いで、遠隔地に送信されてもよい。撮像データは送信される必要がなくてもよいが、格納又は廃棄されるかのどちらか一方を行うことができる。同様に、道路の画像は、システムが所定の期間にわたって道路に沿って通過する車両の数を特定することを可能にしてもよい。すなわち、連続画像を所定の時間間隔で取り込むことができ、画像は解析されて撮像された位置を通過する重複しない車両の数を特定することができる。システムは、画像解析アルゴリズムにより、重複しない車両の数のみを計数してもよい。

図１ａ〜１ｄは、様々なマルチスペクトル撮像技術に基づく多次元データキューブを示している。Ｇｒｕｓｃｈｅ，Ｓａｓｃｈａ．Ｂａｓｉｃ ｓｌｉｔ ｓｐｅｃｔｒｏｓｃｏｐｅ ｒｅｖｅａｌｓ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｃｅｎｅｓ ｔｈｒｏｕｇｈ ｄｉａｇｏｎａｌ ｓｌｉｃｅｓ ｏｆ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｃｕｂｅｓ Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ，ＯＳＡ，２０１４年６月。２０１４年６月９日取得。図１ａに示すように、多次元データキューブは、各ピクセルについてｘ及びｙ値を有する複数の平面を備えていてもよく、各平面はスペクトル次元を備えていてもよい。その結果、多数の単色画像を生じる。単色画像は、図１ｂに示すように、データキューブのスペクトル次元（λ）が単一のスペクトル帯における強度の測定値を表すものである。出力は二次元データキューブに対応し、ここで情景全体が単一の波長又は比較的狭い波長によってマッピングされる。

ＲＧＢ画像において、データキューブは空間次元（ｘ、ｙ）と、赤、緑、及び青に対応する正確に３つのスペクトル帯の両方の値を有する。マルチスペクトルイメージングにおいて、対応するデータキューブは最大で数十のスペクトル帯（概して、比較的広い）を備え、通常、スペクトルの異なる範囲及びばらばらの範囲さえも含んでいる。次に、ハイパースペクトルイメージングは、広いスペクトル領域における物体の放射輝度の測定値として特徴付けることができ、連続スペクトル領域を備えていてもよい。その（ｘ、ｙ、λ）空間に関する表現は、スペクトル次元全体にわたって比較的狭い帯域幅の数十、数百、又は数千ものスペクトル帯を有するデータキューブに対応する。

スペクトルイメージングの特徴付けは、とりわけ、空間及びスペクトル分解能、スペクトル範囲及び帯域幅、並びにセンサ特性等の撮像システムの物理的及び光学的特徴を考慮に入れてもよい。しかし、また、撮像システムが測定を行い、データキューブにデータを入力する手法を適切に特徴付けることも関連する。

図１ａ〜１ｄを参照すると、スペクトルイメージングのための様々な技術は、大まかに以下の４つのグループ：スナップショットハイパースペクトル技術、スペクトル走査技術、空間走査技術、及び空間−スペクトル走査技術に分類されてもよい。

図１ａは、スナップショットイメージングから結果として得られる代表的なデータキューブを示しており、ここで単一のキャプチャは全ての空間及びスペクトル（ｘ、ｙ、λ）データを含んでいる。単一のスナップショットは、光路に挿入されたフィルタに応じてスペクトルデータを含むよう取り込むことができる。スナップショットイメージングに基づくシステムは、全てのハイパースペクトル（ｘ、ｙ、λ）キューブを単一のセンサ出力として返す。これらのデバイスは走査を必要としない利点を有する。しかし、これらのシステムは、高い計算労力及び製造コストを呈する欠点を有している。更に、それらは比較的複雑なシステムであり、通常、極めて重量があり、衛星ベースの撮像システムに対して追加の複雑さを与える。

図１ｂに示すように、スペクトル走査の出力は、結果として情景の単色空間（ｘ、ｙ）マップを表すそれぞれの捕捉されたフレームを生じる。これらのデバイスは一般に、情景をスペクトルで走査するために調整される必要があるフィルタに基づいている。個々のフィルタの選択は電気的又は機械的手段によって達成されなければならず、その場合、可動部分はフィルタを光路に物理的に挿入することを必要とする。静止プラットフォーム及び／又は静止物体の要件と組み合わされるより高い露光時間（又はより速い光学系）は、この技術を航空機搭載又は宇宙機器搭載スペクトル撮像システムにはあまり適さないものにする。この種の撮像システムは、光路に順次挿入される複数のフィルタを必要とし、情景のその後の露光は、多次元データキューブに対象のスペクトルデータを入力することができる。

図１ｃは空間走査の結果を示しており、各取得フレームはフルスリットスペクトル（ｘ、λ）に対応している。すなわち、各取得フレームは、スペクトルデータλと共に、ｘ方向にピクセルの単一行を含む。走査デバイスの実施例はプッシュブルーム及びポイント走査分光装置である。これらのシステムは、ライン毎に画像を分析させ、ポイントスキャナの場合には可動部品を必要とする欠点を有する。

図１ｄは、空間−スペクトル走査システムの出力を示し、ここで各２Ｄセンサ出力は、一次元に符号化されたスペクトル情報により情景の空間（ｘ、ｙ）マップを表すデータキューブの傾斜したスライスに対応する。これらのデバイスは、移動式又は固定式プラットフォームのどちらか一方の使用を可能にする利点を有する。しかし、これらのシステムは、通常、達成するのが困難であり、高い製造コスト及び複雑な機械アセンブリ等の欠点を呈する。

図２は、仮現運動状態の情景のための撮像デバイスと共に使用するための領域撮像デバイス２０２並びに可変フィルタ帯２０６、２０８、２１０、及び２１２を含む光学フィルタ２０４の分解図２００を示している。実施形態は、ストライプ状フィルタの場合のように離散的なフィルタ帯域を有してもよく、フィルタ帯域は要望通りの任意の横幅すなわち幅であってもよい。光学フィルタ２０４は、加えて、マルチスペクトル光学フィルタの場合のように１０個ものフィルタ帯域を有していてもよいか、又は、ハイパースペクトル光学フィルタの場合のように最大１００個若しくは１０００個又はそれ以上のフィルタ帯域を有していてもよい。代替として、フィルタ帯域は、何の離散帯域も存在しないように光学フィルタ２０４全体にわたって連続的に変化してもよい。フレーム２１４は光学フィルタ２０４を所定位置に保持し、ＡＩＤ２０２の上に位置決めされてもよい。

フィルタ帯域は電磁スペクトルの所望の部分を覆うよう選択され、実施形態は任意の特定の帯域又は複数の帯域に限定されない。フィルタ帯域２０６〜２１２は、フィルタリングされていない範囲の別の帯域（すなわち、パンクロマティック帯）と共に、例えば、紫外線、青色、緑色、赤色、及び赤外線帯域を含んでいてもよい。フィルタ帯域の数及び各フィルタ帯域２０６〜２１２のスペクトル透過率は、対象の波長の任意の組み合わせを取得するよう選択される。フィルタ帯域２０６〜２１２は、吸収フィルタ、干渉フィルタ、又は他の種類のフィルタであってもよい。

ＬＥＯ衛星等の人工衛星において用いるための光学フィルタ２０４の幾つかの実施形態において、光学フィルタ２０４は、フィルタのスペクトル特性がフィルタの１つの次元に沿って連続的に変化する線形可変光学フィルタである。従って、被写体の捕捉された画像の中心波長は、撮像センサに対してフィルタ又は被写体を移動させることにより調整され得る。

ＡＩＤ２０２の活性面２１６は、二次元又は三次元アレイに配置された光吸収検出器等の複数のピクセルセンサを含む。ＡＩＤ２０２は、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、又は他の適切なアーキテクチャ等の様々な種類のものであってもよい。

光学フィルタ２０４は、ＡＩＤ２０２の延長内のλ_ｍｉｎからλ_ｍａｘまでの範囲内のλ_中心を有する可変バンドパス領域から構成されてもよい。光学フィルタ２０４及びＡＩＤ２０２の様々な組み合わせは、関連及び所望の機能を達成するために用いられてもよい。フィルタの波長範囲、波長変動形状（線形、キューブ、連続、等）及びスペクトル透過率は、対象の波長、帯域幅、及びスペクトル分布の任意の組み合わせを取得するために選択され得る。

ハイパースペクトル画像は、情景を異なる位置で繰り返し撮像することによって達成されてもよい（画像間の最適距離はフィルタの仕様及び所望の結果によって決まる）。すなわち、情景が移動するように見える際に、時系列画像は仮現運動の速度に応じて所定のステップ（例えば、仮現運動中の所定の時間）において撮影され、所望の波長の撮像データが光学フィルタの特性と組み合わせて撮影される。

最適ステップ、すなわちサンプリング距離を特定するために、フィルタの半値全幅（ＦＷＨＭ）がλ_ｍｉｎとλ_ｍａｘとの間で異なってもよいことを考慮に入れる必要がある。フルハイパースペクトル画像を取得するには、目標情景の全てのピクセルがスペクトル範囲全体を横断するべきであり、それ故に、ＡＩＤ２０２に対する情景の仮現運動は、図３及び４に示すように光学フィルタの長さの少なくとも２倍でなければならない。すなわち、ＡＩＤの撮像センサに到達する前に、情景の一部分からの光がマルチスペクトル又はハイパースペクトル光学フィルタの所望の帯域を通過する際に、ＡＩＤ２０２は対象の情景の各部分の時系列画像を取り込むべきである。

システムはその性能を最適化するよう較正されてもよい。較正は、フィルタ及び画像センサの物理的特性、及びそれらの間の整列の精度に大きく依存する。一旦システムが較正されると、それは再較正を更に必要とせずにハイパースペクトルイメージングのために操作することができる。

光学設定が与えられると、センサ上の各ピクセルは特定の波長に対応する。すなわち、センサ上の各ピクセルに到達する光は、取り込まれた各画像について特定の波長にスペクトル的にフィルタリングされる。所定の波長について情景を再構成するために、各ピクセルについて、測定されるスペクトル帯を知ることが必要である。帯域幅が分かっている場合、これは中心波長（λ_中心）を識別することに単純化され得る。線形可変フィルタの場合において、例えば、較正は方程式１に従って実行されてもよい。
λ_中心＝ａ×（Ｎ_ピクセル×ｐｓ）＋ｂ 方程式１

ここで、λ_中心はセンサの特定の列の中心波長、ａはフィルタのミリメートル当たりの波長変動、Ｎ_ピクセルはピクセル列の番号、ｐｓはピクセルサイズ、及びｂはフィルタとセンサとの間の相対位置を表すオフセットであり、それはピクセルの第１列によって測定される波長に対応してもよく、それはマルチスペクトル又はハイパースペクトル光学フィルタ及びＡＩＤ２０２の機械的アセンブリに依存する。フィルタが線形可変ではないそれらの実施形態において、特定の波長分布に合わせた解決策を実施することによって、較正は依然として可能である。

例えば、可能な較正は、均一で概ね単色の照明によって一連の写真を撮影することからなっていてもよい。この実施例において、λ_中心、Ｎ_ピクセル、及びｐｓは各画像について既知である。フィルタパラメータ（この実施例において、１ミリメートル当たりのフィルタの波長変動ａ及びオフセットｂ）は、異なる照明波長に対してこのプロセスを繰り返すことによって計算することができる。

無論、非線形可変フィルタが用いられる場合、較正は異なる。一旦フィルタパラメータが判明すると、各ピクセルによって測定された波長は自動的に特定され得る。

航空機搭載又は宇宙機器搭載ＡＩＤ２０２により、対象の画像を取り込み、最終目的地に送信することに関連する送信コストが存在する可能性がある。例えば、宇宙機器搭載用途において、画像が取り込まれ、任意の後処理が宇宙機上で行われてもよく、最終画像は、例えば、衛星通信、レーザ通信、又はその他の無線周波数方式の無線通信機能等の無線通信機構を介して等、最終目的地に送信され得る。送信コスト及び各画像を格納するために必要なメモリ量（衛星若しくは他の航空機又は移動体プラットフォームにおいて重要な考慮事項である）を減らすために、フレーム全体を取得する代わりに、ＡＩＤ２０２の選択された対象の領域（ＲＯＩ）を有する画像を撮影することが可能である。

図３及び図４に示すように、マルチスペクトル又はハイパースペクトル光学フィルタが画像センサと静的関係で取り付けられる場合、センサ上の各ピクセルはフィルタを通して受けた光の特定の波長に対応する。従って、プラットフォームの動きに略垂直な細長いＲＯＩを選択することは、スペクトル帯を選択することと同等である。対象のスペクトル帯が制限され且つ画像が取り込まれる前に判明している場合、それらのスペクトル帯に関連するＲＯＩのみを取得することが可能である。これは、図３に示すように、連続スペクトル全体の代わりに離散スペクトル情報を返す。ＲＯＩの選択は、ＡＩＤ２０２が対象のスペクトルデータを収集する一方で、処理、送信、及び格納コストを削減することを可能にする。

一旦対象のスペクトル帯が選択され、ＡＩＤ２０２の対応するＲＯＩが計算されると、ＡＩＤ２０２は正しい時間に必要な数の画像を取り込んで、結果として所望のスペクトルデータを有するＲＯＩを生じることができる。無論、フルスペクトルが求められる場合、ＲＯＩは全フレームに等しくなり得る。

ＲＯＩを取り込むことにおいて、幾つかの写真を撮影することができ、フィルタの各帯域からの情報が保存される。連続した画像は、任意の長さの写真を取得するよう、スティッチングによって等、共に処理されてもよい。全ての帯域が同じ情景の写真を撮影するが、軸に沿って変位するため、連続画像はハイパースペクトル写真を取得するために共に処理され得る。各フレーム間で、画像は、情景の新しいセグメントが各フィルタのスペクトル帯に投影されるように移動される。この動きのタイミングは、連続した画像間の変位（本明細書中、サンプリング距離と称される）を定義し、それは必ずしも一定でなくてもよい。

ＡＩＤ２０２に対する情景の仮現運動が所望のサンプリング距離に略等しくなる度に、写真が撮影される。コントローラは、図４に示すように、各写真が適切な時間及び位置で取得されるように、画像を取り込むことをＡＩＤ２０２に指示してもよい。

図４は、マルチスペクトル画像を取り込む時空グラフを示している。例えば、４つの所望のスペクトル帯で領域ａ４０２を捕捉するために、最初のフレームがショット１ ４０４で捕捉される。一旦仮現運動の速度が判明し且つ光学フィルタの特性が判明すると、サンプリング距離４０６が特定され得る。情景がサンプリング距離４０６だけ撮像センサを横断して移動すると、ショット＃２ ４０８が取り込まれる。見て取ることができるように、ショット＃２ ４０８は、ここでマルチスペクトル又はハイパースペクトル光学フィルタの異なる帯域を通して領域ａ４０２を捕捉し、従って、ショット＃１ ４０４と比較して領域ａの異なる波長を捕捉する。サンプリング距離４０６は、後続のショット間で一定のままである必要はないが、むしろ、各捕捉についての所望の波長データに基づいて特定され得る。

図４から見て取ることができるように、領域ａ４０２等の情景の全スペクトルを捕捉するために、情景の仮現運動の移動距離はフィルタの長さに少なくとも等しくなければならない。しかし、ＡＩＤ２０２の初期視野の全スペクトルを捕捉するには、情景の仮現運動の距離は、領域ａ４０２及びｂ４１０の捕捉によって、図４に示すように、フィルタの長さの少なくとも２倍に等しいべきである。

図５は、様々な実施形態による例示的なプロセスを示すフローグラフを示している。これらのプロセスの動作は、個々のブロックに示されており、それらのブロックを参照して要約されている。これらのプロセスは論理フローグラフとして示されており、その各動作は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る一連の動作を表してもよい。ソフトウェアの文脈において、動作は、１つ以上のプロセッサによって実行される場合、１つ以上のプロセッサが列挙した動作を実行することを可能にする、１つ以上のコンピュータストレージ媒体に格納されるコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、モジュール、コンポーネント、データ構造等を含んでいる。ハードウェアの文脈において、動作は、特定用途向け集積回路（ＡＳＩＣ）等の集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス、又は他のデバイスで実行されてもよい。動作が説明される順序は、制限として解釈されることを意図しておらず、説明される動作の任意の数は、任意の順序で組み合わされ、サブ動作に分けられ、及び／又はプロセスを実施するために並列で実行され得る。本開示の様々な実施形態によるプロセスは、論理フローグラフに示される動作のうちの幾つかのみ又は全てを含んでいてもよい。

図５は、仮現運動における情景に対して撮像デバイスを用いるハイパースペクトル画像取り込みのための例示的な概略プロセス５００を示すフロー図である。５０２において、波長較正を開始することができる。これは、撮像デバイスの最初の起動時の一回限りの設定ステップであってもよいか、又は時々繰り返されてもよいが、ＡＩＤ２０２の各画像取り込み操作にとって必要なステップではないことに留意すべきである。５０４において、ＲＯＩが特定され、全空間及びスペクトルイメージングを含んでいてもよく、又は特定の空間座標及び／又はスペクトルデータを含んでいてもよい。

５０６において、画像フレームは、特定されたＲＯＩの空間及びスペクトル要件に従って取り込まれる。ＡＩＤ２０２の視野が対象の領域を通過するにつれて、画像フレームがＡＩＤ２０２によって撮影された時系列画像として取り込まれ、対象の領域から反射された光は、撮像デバイスの撮像センサへの途中でマルチスペクトル又はハイパースペクトル光学フィルタの所望の帯域を通過する。

５０８において、画像は対象の画像を作成するために後処理される。例えば、５１０において、画像は自然の土地の地形的なプロファイルによって与えられる変形を除去することによって等オルソ補正される。

５１２において、フレームは共にスティッチされて、撮像デバイスによって捕捉された領域を表す所望のサイズの画像を形成する。

５１４において、撮像デバイスの各ピクセルに対する空間及びスペクトルデータを含むハイパースペクトルデータキューブが構築され、キューブ内に表される各ピクセルに対する少なくともｘ、ｙ、及びλデータを含んでいてもよい。幾つかの例において、ハイパースペクトルデータキューブは、より効果的な格納及び送信に役立つよう離散分割するためにスライスされてもよく、それによって対象の空間及び／又はスペクトルデータのみを含む。

５１６において、ハイパースペクトルデータキューブは別の宛先に格納され及び／又は送信される。無論、本明細書中に示すプロセスはＡＩＤ２０２内部又はＡＩＤ２０２の移動体プラットフォーム内部に担持されるコンピューティングリソースによって実行されてもよい。他の実施形態において、処理は、地上ベースの画像処理リソース又は撮像プラットフォーム及び遠隔地の両方に位置するリソースの組み合わせによって実行されてもよい。

図示する図面は、画像の後処理５０８が画像の格納５１６の前に実行されてもよいことを示しているが、場合によっては、取り込まれた画像は後処理の前に格納されてもよく、後処理は後で実行されてもよい。

図５を更に参照すると、後処理技術は、３つの異なる段階：オルソ補正、画像位置合わせ、及びハイパースペクトルキューブの構築に分割されてもよい。

オルソ補正アルゴリズムは、最終的な画像に対してより正確な座標を割り当てるためにいずれかの内部又は外部歪みを除去するため等、それぞれの別々のフレームに適用することができる。このアルゴリズムは、自然の土地の地形的なプロファイルによって与えられた変形を修正し、画像の直交透視図を再構成することを可能にする。

オルソ補正アルゴリズムへの入力の１つは、各ピクセルのスペクトルデータであってもよく、これは画像が取り込まれたスペクトル帯によって影響を受ける歪みを補正するために必要であってもよい。スペクトル較正は、撮像システムを実施する較正段階中等で地球上で先に行われていてもよい。この較正は、各ピクセルによって測定された波長帯（単純な用途において、前で検討したように、中心波長で十分である）を示すセンサとしての形状をなすマトリックスを返し、これは、撮像システムの一部として、又は、画像が撮像プラットフォームから送信された後、後処理のためのその他の外部位置において格納されてもよい。

オルソ補正アルゴリズムは、各フレームに含まれる空間情報を「変形」する。各ピクセルによって測定された波長を正確に再現するために、較正の出力として得られた波長行列に同じ変換を適用することが好ましい場合がある。このような方法で、各オルソ補正フレームはそれに対応する補正波長マトリックスを伴う。

画像スティッチング５１２は、センサによって取得された複数の連続画像を増加したスペクトル情報を有する単一のフル画像に整列させることからなる。位置合わせアルゴリズムは、通常、各画像内で一致する特徴を見つけることと、それらの変位及び回転を取得することと、変位及び回転をフル画像に適用することと、及びそれらが重なる箇所で両方の画像を混合することとからなっていてもよい。画像間のおおよその変位は、所望のサンプリング距離に基づいて予め特定されている。多くの実施形態において、撮像プラットフォームは画像取り込み中に回転せず、従って、重大な回転は多くの実施形態に対して予想されず、これは、回転するプラットフォームから画像を取り込むことと比較して、画像位置合わせを実行するために必要な計算時間を大幅に短縮する。

ＡＩＤ２０２がフルフレームの代わりに細長いＲＯＩを捕捉するよう（対象のスペクトル帯が制限されている場合に発生する可能性がある）設定されている場合、位置合わせアルゴリズムを単純化するために、３０２で図３に示すように、前で設定されたものに対して垂直な追加の細いＲＯＩを取得することもまた都合が良い可能性がある。追加ＲＯＩは、連続フレーム間の重なりを示すのに十分な長さであるべきであり、すなわち、それはサンプリング距離よりも長くあるべきである。

ハイパースペクトルキューブの構築は、ＡＩＤ２０２によって取り込まれる各ピクセルのためのｘ、ｙ、及びλ値を含む撮像データを結果として生じる。ハイパースペクトル撮像プロセス中、ＡＩＤ２０２の各ピクセルは、マルチスペクトル又はハイパースペクトル光学フィルタが撮像デバイスに対して静的に取り付けられるそれらの実施形態において、常に同じ波長を測定している。生のフレームは、センサの応答性と波長当たりのフィルタの透過率を考慮に入れることによって個別に補正されてもよい。ＡＩＤ２０２に対する情景の仮現運動が所望のサンプリング距離（ｓｄ）に等しくなる度に写真が撮影されるので、情景からの各ピクセルは、図３及び４に示すように、この距離においてもスペクトル的にサンプリングされる。単一情景のピクセル（ｍ）のフルスペクトルを測定するために必要な画像の数は、方程式２に従って、フィルタの全長をサンプリング距離で除算したものに等しい。

実施例のために、情景のスペクトルが滑らかに変化すると仮定すると、補間曲線４１２は、補間多項式又はスプライン等、情景上の各ピクセルについて計算することができる。曲線補間点は、ＡＩＤ２０２上の各ピクセルによって測定された異なる波長について情景の放射照度を計算することによって得ることができる。各補間曲線は、ｍ個の異なる補間点を有する。

サンプリング距離は１ピクセルより大きくてもよく、これは結果として、中心波長の異なるグループによってサンプリングされるこの距離内に投影される情景上の各ピクセルを生じる。これは図６に示されており、ここでサンプリング距離内に異なるスペクトル帯によって測定されたｐ個のピクセルが存在する。この結果として、これらのｐ個のピクセルのそれぞれについての補間曲線は、（情景の放射照度が異なる波長について計算されるのであれば）補間点の異なるグループで構築される。

従って、各補間曲線はｍ個の補間点で構築され、補間点として用いられる中心波長のｐ個の異なるグループが存在する。一旦各ピクセルの補間曲線が計算されると、単色画像の再構成は、所望の波長で各ピクセルの曲線を評価することによって実行されてもよい。

情景の放射照度スペクトルの滑らかさに応じて、用いられる場合に補間多項式の次数を変更することによって、ハイパースペクトルキューブに符号化されたスペクトル情報の圧縮度を調整することが可能である。スペクトルが十分に滑らかである場合、例えば、低次多項式が情報量を圧縮するために選択され得る。それ以外の場合、スペクトルシグネチャが大きく異なる場合は、高次多項式がスペクトルデータを補間するために選択され得る。

このアルゴリズムは極めて低い計算労力量を示し、大量の情報を極めて高速に処理することを可能にしている。ここに提示されたアルゴリズムは、情景のスペクトルがいずれの種類の不連続性も示さずに滑らかに変化するという仮定に基づいている。しかしながら、実際の情景がこの仮定から所定の閾値を超えて変化する場合、画像処理の精度は、サンプリング距離を減少させること及び／又は異なるスペクトル再構成アルゴリズムを適用することによって等で向上させることができる。

一旦写真が撮影され、データが処理されると、情報は格納され、人工衛星又は航空機搭載プラットフォームによって等のリモートセンシングの場合には、最終的に別の宛先に送信される。データキューブ内に含まれる所望の情報に応じて、格納されている情報の構造を選択することができる。フル解像度が求められる場合、ハイパースペクトルデータキューブ全体が格納され、フル空間及びスペクトル分解能を維持することができる。一方で、フル解像度が必要ではない場合、ハイパースペクトルキューブは格納する前に圧縮されてもよい。更に、対象のスペクトル帯が制限されている場合、所望のスペクトル帯に対応する１つ以上のスライス等のデータキューブの一部分だけが、格納及び／又は送信されてもよい。

他の例において、各ピクセルからのスペクトル情報は、正規化植生指数（ＮＤＶＩ）等の異なる種類の指数、又は、例えば、農業分析の場合には他の緑色指数を計算するために処理されてもよい。特定のスペクトル帯が望まれる場合、ピクセル当たりの対応する指数と共に単色画像が、各ピクセルに対する全てのスペクトルシグネチャを格納することなく、格納されてもよい。

このような方法で、格納及び送信要件を最適化するために、特定の用途の詳細に用いられるデータ構造及び情報を合わせることが可能である。

一実施形態において、ＡＩＤは低地球軌道衛星によって搬送される。ＬＥＯ衛星の軌道は、典型的な状況において、例えば、７００ｋｍの高さであってもよい。この高度において、軌道周期は９８分３７秒であり、地上における投影速度は６７６４ｍ／ｓである。望遠鏡は、例えば、開口径３０ｃｍ及び焦点距離２．５ｍを有するカセグレンであってもよい。従って、地上の各メータは焦点面に３．６μｍ画像として投影され、２４．２ｍｍ／ｓで移動する。最終的に、撮像デバイスが５つの離散フィルタ帯を有するマルチスペクトル光学フィルタと、それぞれ幅５μｍの２０００×２０００ピクセルを有する撮像センサとを有する場合、サンプリング距離は、情景の各部分が８０ミリ秒毎に約１回の画像取り込みレートで、各フィルタ帯を少なくとも１回通って捕捉されるように、約２０００μｍ未満に設定され得る。無論、サンプリング距離は、フィルタの特性及び仮現運動の速度に応じて異なって設定されてもよい。

図７は、仮現運動を有する情景のハイパースペクトル画像を作成するために使用可能な例示的な撮像システム７００のブロック図である。撮像システム７００は、航空機又はＬＥＯ衛星等の人工衛星等の宇宙機上に全て又は部分的に搭載されてもよい。幾つかの実施形態において、撮像システム７００の構成部品のうちの幾つかは、地上ベース又は別個の航空機若しくは宇宙機に搭載されてもよく、かかる地上ベース又は別個の航空機若しくは宇宙機は、実際の光学システム（数ある中でも、望遠鏡及びＡＩＤ２０２等の）を含むシステムと通信してもよい。撮像システム７００は、任意の適切なコンピューティングデバイス又はシステムとして構成されてもよい。メモリ７０２は、１つ以上のプロセッサ７０４上でロード可能且つ実行可能であるプログラム命令及びプログラムモジュール、並びにこれらのプログラムの実行中に生成され、及び／又はこれらと共に使用可能な、画像データ、画像、等のデータを格納してもよい。

メモリ７０２は、少なくとも制御モジュール７０６及び撮像モジュール７０８を含んでいる。制御モジュールは、本開示の実施形態に従って画像を取り込むことに関連する制御機能の幾つか又は全てを実行してもよい。制御モジュール７０６は、１つ以上の入出力インターフェースを介して等、制御するために１つ以上のプロセッサによって実行可能である。

制御モジュール７０６は、１つ以上の入出力インターフェースを介して等、ＡＩＤ２０２を制御するために１つ以上のプロセッサ７０４によって実行可能である。ＡＩＤ２０２は、本開示の様々な実施形態によるマルチスペクトル又はハイパースペクトル光学フィルタの所望のスペクトルを通して露光を取り込むようサンプリング距離と同期させる等、１回以上の露光を取り込むよう制御されてもよい。

領域撮像デバイス５０２は、ＡＩＤ２０２の様々な機能を実行するか又はそうでなければ制御するよう１つ以上のプロセッサ７１０及びファームウェア７１２（適切な非一時的コンピュータ読取可能記憶媒体に格納されている）を含んでいてもよい。ファームウェア７１２は、露光時間、露光捕捉を制御し、サンプリング距離を特定し、メモリ７０２上に画像データ７１８を格納する、等を行うよう、１つ以上のプロセッサ７１０によって実行可能であってもよい。

ＡＩＤ２０２は、また、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、又はＡＩＤ２０２の活性面２１６上の他の適切なセンサアーキテクチャを実装するのに適した半導体コンポーネント等の感光センサ７１４を含む。

１つ以上のフィルタ７１６は、本明細書中に検討するように、ハイパースペクトルイメージングを可能にするよう設けられる。例えば、任意の適切なレンズ及び／又は望遠鏡等の光学系７２０は、対象の領域から反射又は放射される光をセンサ７１４上に焦点を合わせるよう設けられてもよい。

撮像モジュール７０８は、ＨＤＲ画像を生成するためのトーンマッピング、高解像度画像を生成するための解像度向上アルゴリズム、及び複数の部分的に重なり合う露光から画像を生成するためのスティッチングアルゴリズム、並びに、ぼかし除去、アーチファクト除去、色強調、クロッピング、画像変換、画像圧縮、データ暗号化、等の他の処理機能を含む撮像システム７００の様々な画像処理機能を実行する。

幾つかの実施形態において、ＡＩＤ２０２のファームウェア７１２は、ファームウェア７１２上で若しくはそれによって実行される制御モジュール７０６及び／又は撮像モジュール７０８の機能の幾つか又は全ては１つ以上のプロセッサ７１０上で実行するため、制御モジュール７０６及び撮像モジュール７０８の一方又は両方の拡張と見なしてもよい。幾つかの実施形態において、制御モジュール７０６、撮像モジュール７０８の機能、及び／又はファームウェア７１２の他の機能の幾つか又は全ては、１つ以上のプロセッサ７０４上の論理関数として実装されてもよい。例えば、幾つかの実施形態において、１つ以上のプロセッサ７０４は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス、又は、制御モジュール７０６の様々な制御機能及び／又は撮像モジュール７０８の画像処理機能を含む様々な機能を実行するための他の論理回路を含んでいてもよい。

用いられるコンピューティングデバイスの構成及び種類に応じて、撮像システム７００のメモリ７０２、並びにＡＩＤ２０２にファームウェア７１２を格納するための媒体は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）等）及び／又は非不揮発性メモリ（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、等）を含んでいてもよい。メモリ７０２、並びにＡＩＤ２０２にファームウェア７１２を格納するための媒体は、また、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、及び撮像システム７００のための他のデータの不揮発性ストレージを提供してもよいフラッシュメモリ、磁気ストレージ、及び／又は光学ストレージ、及び／又はテープストレージを含むがこれらに限定されない追加のリムーバブルストレージ及び／又は非リムーバブルストレージを含んでいてもよい。

メモリ７０２、並びにＡＩＤ２０２にファームウェア７１２を格納するための媒体は、非一時的コンピュータ読取可能媒体の一実施例である。非一時的コンピュータストレージ媒体は、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、又は他のデータ等の情報を格納するための任意のプロセス又は技術で実装される揮発性及び不揮発性、リムーバブル及び非リムーバブル媒体を含む。コンピュータストレージ媒体は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他の種類のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ（１つ以上の不揮発性メモリカードに含まれてもよく、シングルレベル及びマルチレベルセル技術の両方を有するフラッシュを含む等のＮＡＮＤフラッシュメモリ等）又は他のメモリ技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）又は他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又はコンピューティングデバイスによるアクセスのために情報を格納するために用いることができるその他の任意の非伝送媒体を含むが、これらに限定されない。

他の実施形態によれば、ＡＩＤは、それぞれがマルチスペクトル又はユニスペクトルであってもよいそれぞれのバンドパス光学フィルタを有してもよい、複数のＣＣＤ又はＣＭＯＳセンサ等の複数の画像取り込みデバイスを含んでいてもよい。複数の画像取り込みデバイスは、互いに直線関係で配設されてもよく、更に、画像取り込みデバイスの行を通って引かれる線が仮現運動の方向と平行になるように配向されてもよい。このため、対象の領域の画像を取り込むために、画像取り込みデバイスは、各取り込みが各画像取り込みデバイスの構成に従ってスペクトルデータを含みながら、対象の領域の複数の画像を取り込むよう連続して作動させることができる。画像取り込みデバイスの順次作動のタイミングは、仮現運動の速度、画像取り込みデバイスの特性、及び互いに対する複数の画像取り込みデバイスの空間的関係に基づいて特定することができる。複数の画像は、次いで、重ね合わされてマルチスペクトル又はハイパースペクトル画像を作成するか、又はマルチスペクトルデータキューブに共に格納することができる。

本明細書中に説明する実施形態に基づいて、撮像システムは、ハイパースペクトル光学フィルタを実装し、情景がハイパースペクトル光学フィルタのそばを通過する際に時系列画像を取り込むことによって、仮現運動状態の情景のハイパースペクトル画像を取り込むことができる。システムは、連続する露光の間にフィルタを変える必要はなく、実際には、いずれの可動部品も必要としない。マルチスペクトルデータキューブは、対象の空間及び／又はスペクトル領域のみを収集するために画像キャプチャ時に構成することができ、撮像デバイスの動的構成を可能にする。それは既存のハイパースペクトル撮像システムと比較すると比較的単純であり、これにより宇宙空間で操作されるハイパースペクトルイメージングのための劇的な改善策が可能となる。

結論
開示は構造的特徴及び／又は方法論的作用に特有な言語を使用するが、本発明は記載された特定の特徴又は作用に限定されない。むしろ、特定の特徴及び作用は、発明を実施する例示的な形態として開示されている。

Claims (20)

1. 仮現運動を有する情景を撮像するための装置であって、
   複数のピクセルセンサを有する領域撮像デバイスと、
   前記領域撮像デバイスの光路内に配設されるハイパースペクトルフィルタと、
   制御モジュールであって、
   前記領域撮像デバイスによって捕捉される情景の対象の空間領域を特定し、
   前記情景の対象のスペクトルを特定し、
   前記ハイパースペクトルフィルタ及び対象の前記スペクトルに少なくとも部分的に基づいて、連続画像取り込みのためのサンプリング距離を特定し、
   前記サンプリング距離で１回以上の露光を行うよう前記領域撮像デバイスに指示するよう構成される制御モジュールと、
   １回以上の露光に少なくとも基づいて前記情景の画像を形成するよう構成される撮像モジュールと、
   を備える、装置。
2. 人工衛星を更に備え、前記領域撮像デバイス、前記制御モジュール、及び前記撮像モジュールは前記人工衛星に搭載される、請求項１に記載の装置。
3. 前記ハイパースペクトルフィルタは連続可変光学フィルタである、請求項１に記載の装置。
4. 前記画像はハイパースペクトル画像であり、前記ハイパースペクトル画像は移動プラットフォームから地上局へ送信される、請求項３に記載の装置。
5. 前記サンプリング距離は、前記情景の前記対象の空間領域が前記対象のスペクトルでの１回以上の露光において捕捉されるように特定される、請求項１に記載の装置。
6. 前記撮像モジュールは、更に、前記１回以上の露光にわたる各ピクセルのための補間曲線を作成するよう構成される、請求項１に記載の装置。
7. 前記撮像モジュールは、更に、前記対象のスペクトルにおける各ピクセルのための前記補間曲線を評価することによって単色画像を構築するよう構成される、請求項６に記載の装置。
8. 人工衛星であって、
   複数のピクセルセンサを有する撮像デバイスと、
   前記撮像デバイスの光路内に配設されるスペクトルフィルタであって、少なくとも第１のスペクトル帯と第２のスペクトル帯とを有するスペクトルフィルタと、
   １つ以上のプロセッサと、
   メモリと、
   プログラミング命令であって、前記メモリに格納され、
   情景の対象の空間領域を特定することと、
   対象のスペクトルを特定することと、
   前記対象の空間領域から反射された光が前記第２のスペクトル帯を通過する場合、前記撮像デバイスに前記情景の少なくとも１回の露光を行うよう指示することであって、前記第２のスペクトル帯は前記対象のスペクトルに対応することと、
   少なくとも１回の露光に基づいて前記情景の画像を生成することと、
   を含む動作を実行するよう前記１つ以上のプロセッサによって実行可能なプログラミング命令と、
   を備える、人工衛星。
9. 前記スペクトルフィルタは、前記複数のピクセルセンサのそれぞれが前記スペクトルフィルタのスペクトル帯と関連付けられるように前記撮像デバイスに固定して取り付けられる、請求項８に記載の人工衛星。
10. 前記スペクトルフィルタは連続可変光学フィルタであり、前記複数のピクセルセンサは行列のアレイ内に配置され、前記ピクセルセンサの各列は、前記連続可変光学フィルタのスペクトル帯と関連付けられる、請求項９に記載の人工装置。
11. 前記命令は、前記１つ以上のプロセッサに、
    連続露光のためのサンプリング距離を特定することと、
    前記撮像デバイスに第１の露光と第２の露光とを取り込ませることと、
    を含む更なる動作を実行させ、前記第２の露光は前記第１の露光から前記サンプリング距離だけ離間している、請求項８に記載の人工衛星。
12. 第１の露光により前記対象の空間領域が前記第１のスペクトル帯を通して捕捉され、第２の露光により前記対象の空間領域が前記第２のスペクトル帯を通して捕捉される、請求項１１に記載の人工衛星。
13. 前記命令は、前記プロセッサに、
    対象の波長を有する第１の露光の第１の部分を作成するために前記第１の露光をセグメント化することと、
    前記対象の波長を有する第２の露光の第２の部分を作成するために前記第２の露光をセグメント化することと、
    前記対象の波長を有する画像を作成するために前記第１の部分と前記第２の部分とを共にスティッチすることと、
    を含む更なる動作を実行させる、請求項８に記載の人工衛星。
14. 前記対象の波長を有する前記画像は第１の波長における第１の画像であり、命令は前記プロセッサに、第２の波長における第２の画像を作成することと、前記第１の画像及び前記第２の画像を含むハイパースペクトルキューブを作成することとを含む動作を実行させる、請求項１３に記載の人工衛星。
15. 仮現運動を有する情景を撮像するよう撮像システムを動作させる方法であって、
    マルチスペクトル光学フィルタを有する領域撮像デバイスを提供することと、
    前記情景の前記仮現運動の速度を特定することと、
    サンプリング距離を特定することであって、前記サンプリング距離は前記情景の前記仮現運動の前記速度及び前記マルチスペクトル光学フィルタに少なくとも部分的に基づくことと、
    前記サンプリング距離で第１の露光及び少なくとも１回の第２の露光を行うよう前記領域撮像デバイスに指示することと、
    前記第１の露光及び前記少なくとも１回の第２の露光に基づいて前記情景の画像を生成することと、
    を含む、方法。
16. 前記情景の画像を生成することは、
    対象のスペクトルを特定することと、
    前記対象のスペクトルを有する第１の画像スライスを作成するために前記第１の露光をセグメント化することと、
    前記対象のスペクトルを有する第２の画像スライスを作成するために前記第２の露光をセグメント化することと、
    前記対象のスペクトルを有する前記情景の画像を形成するために前記第１の画像スライスと前記第２の画像スライスとを共にスティッチすることと、
    を含む、請求項１５に記載の方法。
17. 第２の対象のスペクトルを有する前記情景の第２の画像を生成することと、前記対象のスペクトルを有する前記情景の画像と前記第２の対象のスペクトルを有する前記情景の前記第２の画像とを備えるマルチスペクトルデータキューブを作成することとを更に含む、請求項１６に記載の方法。
18. 前記マルチスペクトル光学フィルタはスペクトル帯を有し、サンプリング距離を特定することは、前記仮現運動の速度、前記マルチスペクトル光学フィルタの前記スペクトル帯、及び対象の所望のスペクトルに少なくとも部分的に基づく、請求項１５に記載の方法。
19. 前記撮像システムは宇宙機に搭載されており、前記方法は、更に、
    画像解析アルゴリズムへの入力として、少なくとも前記第１の露光と前記第２の露光とを入力することと、
    前記画像解析アルゴリズムを実行することに少なくとも部分的に基づいて、数値を生成することと、
    前記数値を格納することと、
    前記数値を遠隔地に送信することと、
    を含む、請求項１５に記載の方法。
20. 前記数値を作成することは、前記第１の露光若しくは前記第２の露光、又はその両方の少なくとも一部を構成する複数のピクセルのそれぞれについて１つ以上の数値を作成することを含む、請求項１９に記載の方法。