JP2021527228A - ハイブリッドスペクトルイメージャ - Google Patents

Abstract

本発明はステアリングスペクトルスキャニング及びビデオスナップショットスペクトル撮像モードにおいて動作するハイブリッド及びスキャニング・スナップショットスペクトルイメージャを開示する。選択可能なスペクトルバンドの組でのスナップショットスペクトル撮像動作は、空間解像度を損なわずに、機械学習ベースの推定及びフルハイパースペクトル立方体のビデオレート表示を含む。開示のハイブリッドスペクトルイメージャは、ステアリング系スペクトルスキャニングモードで動作し、ハイパースペクトル立方体サンプリングを完了するまで、ある同調ステップにおいて及び複数の同調ステップの間、狭帯域イメージの組を取得する。スキャニング動作は、集められたスペクトルにある冗長な情報を取り除くために、スナップショット動作を最適な構成にするために利用してもよい。開示のハイブリッドスペクトルイメージャは、小型化及び省電力動作に適する実施形態を含み、これにより、携帯電話及びコンピュータプラットフォーム内への組み込みが可能となる。本発明は、非破壊試験、リアルタイムスペクトルマッピング及び化学的マッピング、非侵襲性診断及び分光写真撮影を少なくとも部分的に含む用途に対応することを目的とする。
【選択図】図２

Description

本願は概して撮像に関する。具体的には、本願は、ハイパースペクトル撮像とスナップショットスペクトル撮像とに関するが、これらに限定されない。さらに具体的には、本願は、拡大された色域の分光写真撮影の達成と、自然物体、人工物体、及び生物学的組織物体のスペクトルマッピング及び化学的マッピングと、のためのスペクトル推定と組み合わされた、小型ビデオスナップショットスペクトル撮像及びマルチスナップショットハイパースペクトル撮像用の使用イメージ分割及びフィルタリング光学部品に関するが、これに限定されない。

ハイパースペクトル撮像は数多くの用途において広く用いられている。空間情報と共にスペクトル情報を取得することは、挑戦的な技術的課題であるが、多くの解決手段を伴う。

その中で最も普及している解決手段は、従来のポイント若しくはライン分光器を用いたシーンの空間スキャン、又は、ステアリングスペクトルイメージャとしても知られる撮像モノクロメーターを利用したスペクトルスキャン、のいずれかに基づく解決手段である。空間スキャニングハイパースペクトルイメージャは、例えば、プッシュブルームスペクトルイメージャ及びウィスクブルームスペクトルイメージャを含む。ステアリングカテゴリーは、いくつかの名称を挙げると、フィルタホイールと、音響光学同調可能フィルタ（ＡＯＴＦ）と、液晶同調可能フィルタ（ＬＣＴＦ）と、干渉計システムと、リニア可変干渉フィルタ（ＬＶＩＦ）と、同調可能ファブリ・ペローキャビティと、を含む。標準のカメラと同期した同調可能光源は、この光源の各波長同調ステップにおいてスペクトルイメージをキャプチャするための低コストオプションである。しかし、これら同調可能光源は、周辺光のランダムな寄与により、遠隔感知の用途においては明らかに非最適な解決手段である。一般的に、スキャニングハイパースペクトルイメージャには、それらの動作波長範囲全体をスキャンするのにかなりの時間を要する、という主な欠点がある。この欠点は、スキャニングハイパースペクトルイメージャを、それらの用途が移動している対象又はスペクトル特性が時間に依存する対象の分析である場合に、非実用的にする。

スナップショット（インスタント）スペクトルイメージャはこの課題に対する解決手段として台頭した。このカテゴリーは、多重化された空間情報及びスペクトル情報のシングルショットキャプチャと後処理を伴うスペクトルイメージの再構築とに依存する解決手段を含む。符号化アパーチャ及び断層撮影技術は、このクラスのインスタントスペクトルイメージャに属する。

空間情報及びスペクトル情報の多重化に基づくスナップショットスペクトルイメージャの主な欠陥は、比較的長い後処理の時間をしばしば要する、空間解像度とスペクトル解像度との間のトレードオフである。このトレードオフは、ビデオレートでのスペクトル撮像においては実用的に負担となる。スペクトル撮像のリアルタイムの側面は、例えば、スペクトル撮像が生物医学的又は産業上の用途においてアクションを引き起こす又は誘導する際に必須である。

ピクセル化スペクトルイメージャはリアルタイムのスナップショットスペクトル撮像を提供し、カラーカメラで使われる３原色フィルタアレイをスペクトル的に重複しない複数のバンドパスフィルタのモザイク配置で置き換えることで構成される。典型的には、これらのフィルタはスペクトル的に互いに連続するピーク波長を有する。しかし、ピクセル化スペクトルイメージャは、空間解像度を犠牲にしてリアルタイム表示を提供する。多重化スペクトルイメージャとピクセル化スペクトルイメージャとの両方において、スペクトル次元数の増加は空間解像度を犠牲にして成される。特に、３００×３００ピクセルの空間解像度が典型的であるが、この空間解像度は、専門的写真撮影と医療用撮像と非破壊試験とを含む長いリストの用途において、容認できない。最近の刊行物は、ピクセル化スペクトルイメージャの空間情報を仮想的に拡大する目的で、ピクセル化スペクトルイメージャを標準の３色高解像度カメラと統合する方法を記載している。しかし、この方法にはかなりの後処理の時間が要求され、これにより、スペクトルイメージのリアルタイム同時表示という点における、多重化スペクトルイメージャに対するピクセル化スペクトルイメージャの利点が相殺されてしまう。さらに重要なことに、自然のシーンの空間情報の非常に高い不均質性により、欠けている空間情報のモデル化及び推定は、時間がかかり、計算的集約的で、且つエラーが起きやすい手順を踏む。

本発明は、ハイブリッドスペクトルイメージャを提供して、従来技術のスペクトル撮像システムに存在する制約を軽減することを目的とする。

本発明の第１の態様によれば、開示されたハイブリッドスペクトルイメージャは、
撮像ヘッド配置部（ＩＨＡ）であって、
撮像経路に沿って対象シーン又は物体のイメージを集めて焦点合わせする光学撮像手段と、
マルチバンドフィルタリング光学部品（ＭＢＦＯ）手段であって、
前記対象イメージの少なくとも２つのイメージ複製物を生成するビーム分割手段と、
前記撮像経路に挿入されて、前記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング（ＴＭＦ）手段と、
を備えるマルチバンドフィルタリング光学部品（ＭＢＦＯ）手段と、
を備える撮像ヘッド配置部（ＩＨＡ）と、
モザイクフィルタアレイ（ＭＦＡ）センサ配置部であって、
前記マルチバンドフィルタされたイメージ複製物が焦点合わせされる少なくとも１つのＭＦＡ焦点面アレイ（ＦＰＡ）センサであって、
ピクセル化された様式において少なくとも３つのワイドバンド原色タイプのフィルタでマスクされ、各原色タイプの応答（primary color-type response）が、１つの単一バンドイメージ成分を前記マルチバンドフィルタされたイメージ複製物から分離してキャプチャする、焦点面アレイ手段、
を備えるＭＦＡ焦点面アレイ（ＦＰＡ）センサ、
を備えるモザイクフィルタアレイ（ＭＦＡ）センサ配置部と、
前記撮像ヘッド配置部に結合されプログラム指令を実行する制御及び処理ユニット（ＣＰＵ）であって、
前記プログラム指令は、
イメージ取得処理をキャリブレーションし、
前記ＴＭＦの所定の同調ステップにおいて且つ複数の前記同調ステップに対して前記ＭＦＡセンサ配置部による前記イメージ複製物の取得／キャプチャを制御及び同期させ、
前記ＭＦＡセンサ配置部の応答をスペクトル的に純化して前記ＭＦＡと前記ＴＭＦとの間のバンドクロストークを補償する、
ためのものである、
制御及び処理ユニット（ＣＰＵ）と、
少なくとも前記取得された単一バンドイメージをユーザインタフェイス手段上に表示する表示手段と、
を備えるハイブリッドスペクトルイメージャにおいて、
前記ＣＰＵは採用されたＭＦＡ−ＦＰＡセンサごとに少なくとも３つの異なる単一バンドイメージの組を再構築して前記表示手段上に表示するように構成され、
前記ＣＰＵは、所望のスペクトルバンドにおけるビデオスナップショットスペクトル撮像用の前記異なる単一バンドイメージの組の中心波長を選択し、且つ／又は、所定の同調ステップにおける所定数の組の異なる単一バンドイメージと、前記ＦＰＡセンサのスペクトル感度範囲内で少なくとも３０個の単一バンドイメージを含むフルハイパースペクトル立方体データセットの組を集めるまで続く多段階手順における複数の組と、をキャプチャするために、前記ＴＭＦを同調するように構成される。

前記第１の態様の実施形態によれば、前記ＣＰＵは、対象シーン特有の又は物体特有のスペクトルデータベースにおいて、顕著なスペクトル特徴が集合した波長に対応する臨界スペクトルバンド（ＣＳＢ）の組を特定するためのプログラム指令を実行するように構成される。例えば、前記顕著なスペクトル特徴は、前記キャプチャされたスペクトルのピーク、及び／又は谷、及び／又はスロープに対応する。

前記第１の態様の実施形態によれば、前記ＣＰＵは、前記スペクトルに沿って疎らにサンプリングされたデータポイントにおいてキャプチャされた前記ＭＦＡセンサ配置部の応答から、前記疎らにサンプリングされたデータポイントにおいてキャプチャされた前記応答を訓練されたスペクトル推定モデル及び関連付けられたアルゴリズムに適合させることでフルスペクトルを復元するためのプログラム指令を実行するように構成される。前記第１の局面の実施形態によれば、前記疎らにサンプリングされたデータポイントは前記ＣＳＢの組に対応する。

前記第１の態様の実施形態によれば、前記ＣＰＵはスペクトル立方体を生成するように構成され、前記スペクトル立方体は、前記ＭＦＡセンサアレイ手段によってキャプチャされた前記スナップショットスペクトルイメージの組と１組の推定されたスペクトルイメージとを含み、その全てがビデオレートで表示される。

前記第１の態様の実施形態によれば、前記推定されたスペクトルイメージは、全てのイメージピクセルに対する前記再構築スペクトルの前記推定されたデータポイントから、前記スペクトルの前記再構築部分に属する特定の波長バンドに対応する強度値を有する２次元アレイとして得られる。

前記第１の態様の実施形態によれば、前記スペクトル推定モデル及びアルゴリズムは、最小二乗法と、ウィナー推定と、カーネル法と、人工ニューラルネットワークと、スパース再構築と、深層学習アプローチと、を少なくとも部分的に含むアルゴリズムのクラスに属する。例えば、用途によって、前記グループにおける前記モデル及び前記アルゴリズムのうち１つ以上が、前記推定されたスペクトルイメージ用の欠けているデータポイントを推定するために用いられてもよい。

前記第１の態様の実施形態によれば、前記ＣＰＵは、スペクトル撮像データセットのスペクトル分類と、前記スペクトル分類のスペクトル主題図の前記表示手段上への表示と、のためのプログラム指令を実行するように構成される。

前記第１の態様の実施形態によれば、前記スペクトル分類は、前記スペクトル主題図を化学的マップに又は診断マップに変換するための化学的同一性及びラベルを有するスペクトルを伴うデータベースに格納されたスペクトルデータセット及び管理された分類子を利用する。

前記第１の態様の実施形態によれば、前記光学撮像手段は、写真撮影レンズと、顕微鏡検査光学部品と、コリメート光学部品の無限性補正光学部品の剛性又は可撓性内視鏡と、望遠鏡と、を含むグループから選択される。前記光学撮像手段は用途又はユーザの要望に応じて選択される。

前記第１の態様の実施形態によれば、前記対象シーン又は物体は、空中、地上、又は水中の撮像条件における、ヒト又は動物の組織と、植物組織と、風景シーンと、加工された又は生の食品材料と、天然材料と、人工材料と、を少なくとも部分的に含むグループから選択される。

前記第１の態様の実施形態によれば、前記ＭＢＦＯ手段は、立方体ビームスプリッターと、プレートビームスプリッターと、偏光ビームスプリッターと、五角形ビームスプリッター／分割器と、ミラー被覆脚（mirror coated legs）を有する直角プリズムと、ミラー被覆脚を有するミラー被覆角錐プリズムと、ポルカドットビームスプリッターと、ペリクルビームスプリッターと、を少なくとも部分的に備える。

前記第１の態様の実施形態によれば、前記ＴＭＦは、ＡＤＳＦ型二色性及び多色性ミラーとＡＤＳＦ型マルチバンドパスフィルタとの形態における角度依存スペクトル透過率フィルタリング（ＡＤＳＦ）と、空間光変調器と、音響光学部品と、液晶スペクトル変調器と、表面プラズモンフィルタと、それらの組み合わせと、を少なくとも部分的に備える。

前記第１の態様の実施形態によれば、前記ＴＭＦは、ＡＤＳＦ型マルチバンド反射及び／又は透過フィルタであり、前記ＴＭＦが±３０°の角度範囲内で傾斜したときに前記バンドの中心波長の約１５％に同調する特性を有する。

前記第１の態様の実施形態によれば、前記ＡＤＳＦ型フィルタ手段は、傾斜アクチュエータ手段の傾斜可能軸上に配置され、前記傾斜アクチュエータは、ガルヴァニック電気機械的素子と、回転アクチュエータと、モータと、回転ソレノイドと、磁気的、電気的、及び熱的アクチュエータと、微小電気機械システム（ＭＥＭＳ）と、を含むグループから選択される。前記アクチュエータの具体化は、所望の用途に依存し、前記グループからの１つ以上の素子、及び／又は、当業者にとって既知の他の手段の使用を伴ってもよい。

前記第１の態様の実施形態によれば、前記ＣＰＵ及び前記表示手段は、マイクロコントローラユニットと、メモリユニットと、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）と、携帯電話と、タブレットコンピュータと、ラップトップコンピュータと、フラットディスプレイと、ビデオグーグルと、を少なくとも部分的に備える。例えば、前記ＣＰＵ及び前記表示手段は様々な手法で実現してもよい。これらの手法は、前記グループにおいて述べられた前記素子のうち１つ以上、及び／又は、当業者にとって既知の任意の他の手段を伴ってもよい。

前記第１の態様の実施形態によれば、前記ビーム分割器は、傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、前記ＴＭＦは、傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を反射及び透過する、前記五角形プリズムビーム分割器の第１の反射面上に蒸着させたＡＤＳＦ型多色性ミラー被膜であり、前記ＩＨＡは、前記透過及び反射したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える。

前記第１の態様の実施形態によれば、前記ビーム分割器は、前記傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、前記ＴＭＦは、前記イメージ複製物が出現する前記五角形プリズムの面上に配置されたＡＤＳＦ型マルチバンドパスフィルタの対を備え、前記ＡＤＳＦ型フィルタは傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を透過し、前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の前記透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える。

前記第１の態様の実施形態によれば、前記五角形プリズムの前記第１の反射面は、イメージ歪み効果を補償するために、前記五角形プリズムの後面が前記五角形プリズムの前面と平行になるように三角形プリズムとセメント接合される。

前記第１の態様の実施形態によれば、前記ビーム分割器は、前記光学撮像光学部品手段の後端と前記光学撮像光学部品手段の焦点面との間の空間として画成された、前記撮像経路における定位置に配置されたビーム分割素子であり、前記ＴＭＦはＡＤＳＦ型マルチバンドパスフィルタの対を備え、各ＡＤＳＦ型マルチバンドパスフィルタは、前記分割光線路に挿入された２つの傾斜アクチュエータ手段の前記傾斜可能軸上に配置され、前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするための２つのＭＦＡセンサ配置部を備える。

前記第１の態様の実施形態によれば、前記ビーム分割器は、コスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であって、その角度のうち１つの角度の二等分線がＡＤＳＦ型フィルタによって覆われるように構成されるコスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であり、前記ＩＨＡは、前記分断された角度の反対側に配置される単一ＭＦＡセンサ配置部であって前記単一ＭＦＡセンサの２つの異なるエリア内に２つのマルチバンドイメージ複製物をキャプチャする単一ＭＦＡセンサ配置部を備える。

前記第１の態様の実施形態によれば、前記ビーム分割器は、少なくとも２つの面がミラー被覆された（mirror-coated）多面反射器を備え、前記ミラー被覆された面は入射光ビームを少なくとも２つの反対側に反射された成分に分割するように構成される。

前記第１の態様の実施形態によれば、前記ＭＢＦＯ手段は、
同一イメージの組を生成するように構成される光学素子と、
前記イメージ複製物をスペクトル的にフィルタすることで、光が別々のスペクトルバンドの組において透過及び／又は反射される、ように構成されるフィルタアレイ手段と、
前記フィルタされたイメージ複製物の組を可視化するように構成されるガラススクリーンと、
前記ガラススクリーン上に表示された前記イメージを前記少なくとも１つの撮像センサ上に焦点合わせするように構成されるリレーレンズと、
を備える。

前記第１の態様の実施形態によれば、前記ＭＢＦＯ手段は、前記ＭＢＦＯ手段に商用カメラ手段の対応するレンズアダプタを取り外し可能に装着するためのユニバーサル装着手段を備え、前記カメラ手段は自律型である、又は、携帯電話／コンピュータプラットフォーム手段に統合される。

前記第１の態様の実施形態によれば、前記ＩＨＡは、前記光学撮像手段の前記焦点面において終端する前記イメージ経路において配置されたイメージずれ補償光学素子を備え、前記イメージずれ補償光学素子は、傾斜により誘発した光学媒体の経路長変動及び関連付けられたイメージの歪み／変位効果を補償するように、前記ＡＤＳＦ型フィルタの前記傾斜角度に対して比例する且つ反対の傾斜角度において前記傾斜アクチュエータによって位置決めされるように構成される。

前記第１の態様の実施形態によれば、前記イメージずれ補償光学素子は、前記ＡＤＳＦ型フィルタによって発生した変位とほぼ等しい距離だけ前記焦点合わせされたイメージが反対方向に変位するように選択された所定の厚み及び屈折率を有するガラス板である。

前記第１の態様の実施形態によれば、前記ハイブリッドスペクトルイメージャは、拡大された色域の、メタメリズムの無い、且つフルスペクトルの写真撮影カメラとして動作するように構成され、
前記ＭＢＦＯ手段及び前記ＭＦＡセンサ配置部手段は、前記スペクトルの可視部分内における少なくとも５つの前記単一バンドイメージをキャプチャするように構成され、前記ＣＰＵユニットは、マンセルスペクトル集合を少なくとも部分的に備える大きなスペクトル集合に基づいてスペクトル推定モデルの訓練タスクを実行し、疎らにサンプリングされたスペクトルデータポイントを全てのイメージピクセルにおける前記スペクトルを再構築するために適合させるスペクトル推定モデルベースのアルゴリズムを実行し、前記スペクトルからＣＩＥ比色分析カラーパラメータを算出し、フルスペクトルから派生するカラーパラメータに対応するピクセル値を有するカラーイメージを前記表示手段において表示する、ように構成される。

前記第１の態様の実施形態によれば、前記ＭＢＦＯ手段及び前記ＭＦＡセンサ配置部手段は、前記スペクトルの前記可視部分内における少なくとも５つの単一バンドイメージと前記シリコンセンサ手段の近赤外線感度範囲内における少なくとも１つの単一バンドイメージとをキャプチャするように構成され、前記ＣＰＵユニットは、前記対象シーン又は物体を照らす周辺光のスペクトル特性の推定と、色恒常性を達成するための前記対象シーン又は物体の面反射率の推定と、前記カラーイメージからのかすみ要素の抽出と、を少なくとも部分的に含む前記処理出力を伴うイメージ処理タスクを実行するために前記単一バンドイメージの近赤外線応答を利用する、ように構成される。

本発明の第２の態様によれば、ビデオフル解像度のハイパースペクトル撮像の方法が提供される。前記方法は、
対象シーン又は物体のスペクトル同一性／複雑性を表すのに統計的に十分な、密集してサンプリングされた光学スペクトルのポピュレーションを得るステップと、
スペクトル特徴抽出を介して前記スペクトルポピュレーションのスパース表現を抽出するために前記密集してサンプリングされた光学スペクトルの組を分析するステップと、
顕著なスペクトル特徴が多く集合したスペクトルバンドとほぼ重複するバンドに対応する臨界スペクトルバンド（ＣＳＢ）を前記密集してサンプリングされた光学スペクトルにおいて特定するステップと、
本発明の第１の態様の実施形態に係るハイブリッドスペクトルイメージャにより、
前記特定されたＣＳＢに対応する中心波長を有するスペクトルイメージをほぼ同時にキャプチャするステップと、
密集してサンプリングされた光学スペクトルのスペクトルデータセットサンプルに関連付けられたスペクトル推定モデルへの前記ＣＳＢの空間データポイント及びスペクトルデータポイントの適合を介して、欠けているスペクトルデータポイント及び対応するスペクトルイメージを推定することによって、対象物体又はシーン用のスペクトル立方体を再構築するステップと、
前記再構築されたスペクトル立方体の全内容及び派生したスペクトル主題図のうち少なくとも１つをビデオレートで表示するステップと、
を行うステップと、
を備える。

スキャニングスペクトルイメージャはフル空間解像度で数ダースのスペクトルイメージを生成するが、取得にかなりの時間を要する。スナップショットスペクトルイメージャも数ダースのスペクトルイメージを生成し、スキャンに要する時間はゼロである。ただし、スナップショットスペクトルイメージャのうち、いくつかは空間解像度が損なわれ、他のいくつかは後処理に長い時間を要し、ライブでのスペクトル撮像ができない。

理想的なハイパースペクトルイメージャは、３０個以上の狭帯域イメージを含むハイパースペクトル立方体の全内容を取得及び表示し得る装置、及び／又は、ほぼビデオレート及び高精細度センサの解像度で上記立方体の内容を包括的に表す任意のイメージ手段、として記載されてもよい。本発明は、望ましい組の顕著なスペクトルバンドにおけるスナップショットビデオスペクトル撮像を可能にすることでこの最終的な目的にアプローチしようと努める。このスペクトル撮像は、上記ハイパースペクトル立方体の全内容がビデオレートで表示されるように、欠けているスペクトルイメージを再構築するための訓練ベースのスペクトル推定で補完される。

特に、本発明の根拠は、一般に用いられるシリコン又はゲルマニウム光センサ（０．３〜１．７μｍ）の感度スペクトル範囲内で記録される固体／液体材料の反射率／透過率／蛍光スペクトルが幅広く、且つ、少ない数の（ピーク、谷、及びスロープ等の）顕著な特徴を有している、という考察において見い出される。これにより、上記顕著なスペクトル特徴の近傍にある疎らなサンプリングポイントにおけるスペクトル情報のキャプチャが可能になる。これは、スペクトルのうち特徴の無い部分に対応する情報は主として冗長であるためである。これにより、スペクトル特徴についての情報を与える多数のスペクトルバンドは、フルセンサの空間解像度での同時スペクトル撮像のために選択され得る。欠けているデータポイントは、効率的訓練プロセスと組み合わされた上記スペクトル特徴についての情報を与えるスペクトルバンドに基づいて推定され得る。所定の空間解像度について、ほぼビデオレートで取得／表示され得るスペクトルバンドの最大数はデータ転送プロトコルの帯域幅によって決定される。現在の利用可能な帯域幅は２０Ｇｂｉｔ／ｓ（例えば、ＵＳＢ３．２）の高い値に達し、数ダースの高解像度（例えば、フルＨＤ又は４Ｋ）スペクトルイメージがビデオレート又はさらに高いレートで転送可能になる。実際面では、上記顕著なスペクトル特徴の数は典型的には１０未満である。これは、同時に且つほぼビデオレートで取得され得るマルチメガピクセルスペクトルイメージの数に対してあまり大きな制限は帯域幅によって設定されないことを示す。

上記スナップショットスペクトルイメージの所定のピクセル位置における強度値は、異なる波長でキャプチャされ、サンプリングされたスペクトル情報を有する。すでに述べたように、サンプリングされたデータポイントはスペクトルの顕著な特徴（例えば、ピーク、谷）についての情報を（疎らではあるが）与える。従って、サンプリングされたデータポイントは、イメージピクセルごとの完全なスペクトルを復元するために、適したデータセットで訓練されたスペクトル推定モデルと適合させられ得る。これは、サンプリングされたスペクトルイメージ及び推定されたスペクトルイメージの両方を備える完全なスペクトル立方体を再構築することに相当する。

特に、幅広くスムーズなスペクトルの推定は、ピクセル化スペクトルイメージャにおける欠けている空間ポイントの推定と比較すると、速く且つはるかに単純な手順を踏む。後者の推定は典型的な従来技術の実践である。この段落で前述したように、上記スペクトル推定の精度は、取得するスペクトルバンドが上記顕著なスペクトル特徴に対応する波長の近傍にある際に著しく増加する。上記顕著なスペクトル特徴に対応する波長は、一般的に、撮像された被写体のカテゴリー（例えば、植物、肌、食料等）の性質に依存して変動し得る。この変動への適応を可能にする目的で、開示されたハイブリッドスペクトルイメージャは、臨界スペクトルバンド（ＣＳＢ）の組において同時スペクトルイメージ取得を同調及びロックすることを可能にする電気光学部品手段を統合する。上記単一ＣＳＢは、典型的には、狭い（例えば、１０〜４０ｎｍ）半値全幅（ＦＷＨＭ）と上記スペクトル特徴に対応する波長に近接している中心波長とを有する。上記ＣＳＢを選択及びロックすると、狭帯域イメージの組が同時にキャプチャされてビデオレートで表示される。ビデオリフレッシュレートに匹敵する実行時間において、訓練ベースのスペクトル推定の手順が、上記ＣＳＢイメージを基準として用いて、欠けているスペクトルデータポイントを復元するために採用される。最後に、結果として生じるスペクトル立方体は、推定されたスペクトルイメージと取得された（ＣＳＢ）スペクトルイメージとの合成物である。

すでに述べたように、スペクトル推定では、上記対象シーン又は物体の期待されるスペクトル特性に関しての先験的知識を必要とする。本発明は、そのような先験的知識が欠落している場合に上記先験的知識を確立するための手段を提供する。この場合、開示されたハイブリッドスペクトルイメージャはスキャニングモードに切り替わる。スキャニングモードでは、一連のスペクトルイメージが連続した時間において集められ、サンプリングされたスペクトル立方体を構成する。上記サンプリングされたスペクトル立方体は、後続の撮像タスクのための、上記対象シーン又は物体の期待されるスペクトル特性に関する先験的知識を含んでいてもよい。同じデータセットはまた、後続のスナップショット／スペクトル推定動作と信頼できるスペクトル推定モデルの展開とのために、上記顕著なスペクトル特徴及び対応するＣＳＢを特定する目的で分析されてもよい。

スペクトル推定は一般的な又は用途特化型の訓練セットに基づいてもよく、関連するアルゴリズムは十分に速く、後処理にほとんど時間を要さなくてもよい。開示されたハイブリッドスペクトルイメージャの出力データストリームは完全なスペクトル立方体に相当する。上記完全なスペクトル立方体の全内容はビデオレートで表示されてもよい。

本発明は、ハイブリッドなスキャニング及びスナップショット動作を可能にする小型同調可能フィルタ解決手段を開示する。取得されたスペクトルイメージのスペクトルフィルタリングは、マルチバンドフィルタリング光学部品（ＭＢＦＯ）の助けにより成される。上記ＭＢＦＯは、対象イメージの少なくとも２つのイメージ複製物を生成するビーム分割手段と、撮像経路に挿入されて、上記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング（ＴＭＦ）手段と、を備える。上記ＭＢＦＯは、シーンのイメージの波長内容の第１のスペクトルフィルタリングを行う。上記ＭＢＦＯは、光学素子のグループから選択されるビーム分割器を少なくとも部分的に備える光学素子を備えてもよい。上記光学素子のグループは、立方体ビームスプリッターと、プレートビームスプリッターと、偏光ビームスプリッターと、五角形ビームスプリッター／分割器と、ミラー被覆脚を有する直角プリズムと、ミラー被覆脚を有するミラー被覆角錐プリズムと、ポルカドットビームスプリッターと、ペリクルビームスプリッターと、又はそれらの組み合わせと、を含むが、これらに限定されない。上記ＭＢＦＯは、角度依存スペクトルフィルタリング（ＡＤＳＦ）と、ＡＤＳＦ型二色性及び多色性ミラーと、ＡＤＳＦ型マルチバンドパスフィルタと、空間光変調器と、音響光学部品と、液晶スペクトル変調器と、表面プラズモンフィルタと、それらの組み合わせと、を少なくとも部分的に備える同調可能マルチバンドフィルタリング（ＴＭＦ）手段も備える。上記ＭＢＦＯは、多数のイメージ複製物を生成するイメージ増殖を行う。これらの複製物に対しては、その後上記ＴＭＦによってマルチバンドフィルタリングが施される。上記ＴＭＦは、同調可能で、所定の同調ステップにおけるマルチバンドイメージの組、及び／又は、１０〜４０ｎｍの範囲内の半値全幅（ＦＷＨＭ）を有する少なくとも３０個の（狭い）単一イメージバンドイメージを備えるフルスペクトル立方体、の取得／キャプチャを可能にしてもよい。ＡＤＳＦ型フィルタは、例えば、それらの面に対する法線と入射する主撮像光線との間の角度を変動（傾斜）させた際の同調によって、透過した／反射されたバンドの中心波長を変動させる特性を有する。この特性は、スナップショットマルチバンドスペクトル撮像及びスキャニングスペクトル撮像の両方を可能にするために、本発明のある実施形態において活用される。上記ＭＢＦＯは、対物レンズ手段の前方、又は、対物若しくは（リレー）レンズのフランジと撮像光学部品の焦点面との間の空間、のいずれかに配置されてもよい。上記マルチバンドフィルタされたイメージ複製物は、モザイクフィルタアレイ（ＭＦＡ）でフィルタされる多数の焦点面アレイ（ＦＰＡ）センサを備えるイメージセンサ配置部でキャプチャされる。上記撮像センサ配置部手段は、モザイクフィルタアレイ（ＭＦＡ）を備える少なくとも１つの撮像センサを備える。上記ＭＦＡは、ピクセル化された様式において、少なくとも３つのワイドバンド原色タイプのフィルタで上記ＦＰＡセンサをマスクする。各原色タイプの応答が、１つの単一バンドイメージ成分を上記マルチバンドフィルタされたイメージ複製物から分離してキャプチャする。

上記ＭＦＡのスペクトル透過特性は、上記ＭＢＦＯにより透過した又は反射されたスペクトルバンドのＦＷＨＭよりもかなり幅広い。さらに、ＴＭＦマルチバンドフィルタリングにより、上記単一バンドイメージを用いて、実質的により大きな分光幅を有するスペクトル領域をブロックすることで分離された、単一バンドの組が生成される。これにより、それぞれの上記単一バンドが、対応する原色応答において同調されてキャプチャされる。この原色応答はまた、上記イメージ複製物のマルチバンドスペクトル内容を狭い単一バンドイメージの組に分離するための手段である。上記ＭＦＡは、カラーカメラにおいて用いられる赤−緑−青（ＲＧＢ）ＭＦＡと、ＲＧＢ−ＩＲ（赤外線）ＭＦＡと、マルチバンドＭＦＡ（ピクセル化スペクトル撮像センサ）と、を少なくとも部分的に備えるグループから選択される。ある構成において、上記ＭＢＦＯは、例えば、３つ以上の狭いスペクトルバンドを透過させてもよく、また、例えば、これら３つ以上の狭いスペクトルバンドに対して異なる又は（スペクトル的に）補足的な３つ以上の狭いスペクトルバンドを反射させてもよい。本発明の一実施形態では、２つのＭＦＡ−ＦＰＡ撮像センサが備えられ、そのうち一方は上記ＭＢＦＯから反射された撮像光線の焦点面に配置され、他方は上記ＭＢＦＯを透過した撮像光線の焦点面に配置される。例えば上記ＡＤＳＦ型フィルタリングを採用する実施形態では、ある傾斜角度を設定することで、上記ＭＢＦＯは少なくとも６つのスペクトルバンドを透過／反射させる。これら６つのスペクトルバンドのＦＷＨＭは、上記ＭＦＡのマスキングフィルタのＦＷＨＭよりもはるかに狭くなるように選択される。これにより、ＭＢＦＯ出力イメージの狭帯域成分はＭＦＡによって（実質的に）分離される。それぞれの上記ＭＦＡ広帯域フィルタが、ある上記狭帯域成分をそれらのスペクトル的重複波長範囲において透過させる。少なくとも３つの異なる上記マスキングフィルタを有するＭＦＡを想定すると、２つのＦＰＡ撮像センサを備えるセンサ配置部によって、少なくとも６つの狭帯域イメージが同時に且つビデオレートで取得／キャプチャされ得る。上記ＡＤＳＦの傾斜角度を変更すると、新しい組の狭帯域イメージが直ちに取得されて表示され得る。

本発明は、上記ＡＤＳＦの傾斜角度を制御するためのアクチュエータ手段を提供する。ＡＤＳＦの傾斜により、マルチバンドイメージ取得波長が上記ＣＳＢに適応し得る。一連のステップで上記ＡＤＳＦを傾斜させることで、上記スキャニング動作への切り替わりも可能になるため、透過したスペクトルバンドがずれて、動作波長範囲の全体がカバーされる。各傾斜ステップにおいて、完全な上記サンプリングされたスペクトル立方体を取得するまでスペクトルイメージの組がスナップショット方式でキャプチャされる。

上記ハイブリッドスペクトルイメージャのハードウェアを備える開示された電気光学部品配置部は小型化を可能にするという利点を有する。上記ハードウェアの全体的なサイズは、主として、上記撮像センサ手段のサイズによって決定され、小型化が可能になる。傾斜アクチュエータは、磁気的、電気的、熱的アクチュエータ等のＭＥＭＳアクチュエータ等を採用することで容易に小型化され得る。それとは別に、所定の適用分野での日常的使用における場合であるスナップショットモードで動作する際に特に所要電力は低い。従って、上記ハイブリッドスペクトルイメージャの開示されたハードウェアは、それらに対してエンドユーザが払う値段をあまり増加させることなく、携帯電話又はコンピュータプラットフォームに統合又は接続され得る。

開示されたハードウェアのセットアップは、機械学習と、人工知能と、スペクトルチャネルクロストークの低減方法と、データ可視化と、ラベル付けと、で補完される。これらのアルゴリズムは、本発明の統合部分であるデータ処理モジュールにおいて実行される。

本発明は、スペクトル立方体データを包括的に可視化するための手段も開示する。管理されていないスペクトル立方体及び管理されたスペクトル立方体のクラスタリングアルゴリズムがスペクトルマップを生成する。これらスペクトルマップは、ある状況においては、比較及び文書化のためにカラーイメージと並んでリアルタイムで表示される。

好ましい一実施形態では、スペクトル立方体データ又は上記クラスタクラス重心は、上記色符号化されたスペクトルマップを診断撮像マップ又は化学的撮像マップに変換するために、ラベル付けされた参照スペクトルと比較される。これにより、上記診断マップ又は化学的マップは、組織病理や食料の質等に関する情報を得るため、又は、構造情報及び組成情報を得るため、に用いられる。

本発明の別の実施形態では、スペクトル推定訓練データセットは、自然色とマンセルデータベース等の人工色との長いリストに対応するスペクトルを含むスペクトルデータベースから得られる。この場合、算出されたフルスペクトルを、ＣＩＥの標準オブザーバの応答と標準発光体のスペクトルパワー分布とで乗じ、最後に、スペクトルの可視部分に亘って全て積分されて、イメージピクセルごとの標準化された色指数を提供する。本実施形態では、開示されたハイブリッドスペクトルイメージャは、大幅に向上した色域を有する分光写真撮影カメラとして動作し、メタメリズムの無い写真撮影も可能にする。

さらに別の実施形態では、開示されたハイブリッドスペクトルイメージャは、スペクトルの近赤外線（ＮＩＲ）部分まで拡張されたスペクトル感度を提供する。天然発光体及び人工発光体がＮＩＲバンドにおいて特徴的なスペクトル特性を有しているという事実に依拠し、ＮＩＲ感度は発光体のスペクトルパワー分布を対象の面反射率から解放するために活用される。これにより、対象の面反射率を推定するための手段が提供される。この手段は、デジタル写真撮影において色恒常性を達成するために必須の側面である。

最後に、開示されたハイブリッドスペクトルイメージャの適用分野について言及すると、これら適用分野は、非破壊試験と、分光学と、顕微鏡検査と、内視鏡検査と、組織分析と、人工的／ロボティック映像と、自律マシンの映像と、品質管理と、遠隔感知と、ラブ・オン・ア・チップ（ｌａｂ−ｏｎ−ａ−ｃｈｉｐ）試験と、拡大全域写真撮影と、体節的且つかすみの無い写真撮影と、化学的撮像と、生体内病理マッピングと、を含む（但し、これらに限定されない）。

本開示の実施形態の以下の詳細な説明は、添付の図面と併せて読むことで、よりよく理解されるであろう。本開示を例示する目的で、本開示において好ましい実施形態が図面において図示される。ただし、図示された正確な配置や器具類に本開示が限定されないものと理解されるべきである。

図１Ａ及び図１Ｂは、密集してサンプリングされたスペクトル（実線）の推定されたスペクトルとの比較、派生した疎らな上記ＣＳＢ（縦線）サンプリングデータ、及び推定モデルを示す。上記データはマクベスカラーチェッカー標準サンプルから得られたものである。２乗平均平方根誤差（ＲＭＳＥ）（％）がスペクトル類似度メトリックとして用いられる。図１Ａは、上記スペクトル特徴に対応する波長として上記ＣＢＳを適切に選択したことに起因する、正確に（ＲＭＳＥ：１．１〜１．６）推定されたスペクトルを示す。図１Ｂは、上記ＣＢＳを不適切に選択して有意なスペクトル特徴をキャプチャし損ねたことに起因する、低い精度（ＲＭＳＥ：１０．３〜２３．０）を有するスペクトル推定結果を示す。 図２は、開示されたハイブリッドスペクトルイメージャにおいて実現されるハイパースペクトル撮像方法を模式的に図示する。このハイパースペクトル撮像方法に従って、望ましい組の顕著なスペクトルバンドにおけるスナップショットビデオスペクトル撮像は、上記ハイパースペクトル立方体の全内容がビデオレートで表示されるように、欠けているスペクトルイメージを再構築するための訓練ベースのスペクトル推定で補完される。 図３は、傾斜多色性ミラー配置部を備える上記ＭＢＦＯを有する従来技術の配置を示す。 図４Ａ及び図４Ｂは、上記ＡＤＳＦを有する本発明の好ましい一実施形態を示す。上記ＡＤＳＦは改良した傾斜五角形プリズムビーム分割器を備えるため、ほぼ直交する２つの出力ビームがスペクトル的にフィルタされて、望ましいスペクトル輪郭を有する成分を含む。 図５Ａ〜図５Ｃは、本開示のさらに好ましい実施形態を示す。図５Ａは、撮像経路において固定位置で静止している立方体ビーム分割器と傾斜角度依存スペクトルフィルタリングを実行する２つの傾斜フィルタとを備える上記ＭＢＦＯを示す。図５Ｂは、上記ビーム分割器は、２つの面がミラー被覆されたプリズムである類似の実施形態を示す。図５Ｃは、撮像光線路に配置された１つの傾斜プレートビーム分割器又は１つの傾斜多色性ミラー又は１つの傾斜マルチバンドパスフィルタと、同じ撮像光線路に配置されてイメージずれアーティファクトを補償する１つの傾斜未被覆ガラス板と、を備えるＭＢＦＯ光学配置部を示す。 図６Ａ〜図６Ｃは、本開示の別の実施形態を示す。図６Ａは、単一の上記ＭＦＡ撮像センサのアクティブエリアに亘って実質的に配置された改良コスター（Ｋｏｅｓｔｅｒ）プリズムを備える上記ＭＢＦＯを示す。図６Ｂは本発明のさらに別の実施形態を示す。このさらに別の実施形態によれば、微小レンズアレイが、上記対物レンズ光学部品の焦点面に形成されたイメージを再度焦点合わせし、マルチバンドパスフィルタアレイを介した通過後に同一イメージの組をガラススクリーン上に形成（イメージ増殖）する。図６Ｃはさらに別の好ましい実施形態を示す。このさらに別の好ましい実施形態では、上記ＭＢＦＯが二重（以上の）チャネルの対物レンズ光学部品を備え、各チャネルが２つの上記補足的マルチバンドパスフィルタによりフィルタされる。 図７は、赤（Ｒ）７０１、緑（Ｇ）７０２、及び青（Ｂ）７０３の原色スペクトル応答を示す。 図８は、２つのＭＦＡ−ＦＰＡセンサ及び１つの６バンドＭＢＦＯが用いられる、スペクトルの可視部分におけるスペクトル撮像用の好ましい一実施形態を示す。図８Ｂは、ＭＢＦＯ及びＭＦＡイメージの両方によって実行される入射イメージの二重フィルタリングの結果として生じる狭い単一生イメージのスペクトル輪郭を示す。図８Ｃは、処理されて、スペクトルに跨ってＭＦＡに入射するＭＢＦＯの狭帯域のスペクトルの「尾」を取り除いた結果生じる狭帯域イメージのスペクトル輪郭を示す。 図９は、上記ＭＢＦＯ配置部がフィルタリング光学部品手段を含む、スペクトルの可視部分及び近赤外線部分の両方におけるスペクトル撮像用の別の好ましい実施形態を示す。このフィルタリング光学部品手段は、適切に選択されて撮像光線路に配置されることで、第１の上記ＭＦＡセンサがスペクトルの可視部分における３つの狭帯域イメージを記録し、第２の上記ＭＦＡセンサがスペクトルの可視部分における２つの狭帯域イメージとスペクトルのＮＩＲ（近赤外線）部分における１つの狭帯域イメージとを記録する。 図１０Ａ及び図１０Ｂは、上記ＣＳＢを基準として利用する一般的なスペクトル推定方式を示す。図１０Ａは、ｋ個のＣＳＢの取得（試験サンプル）によって生成されたサンプルと、Ｎ個のサンプリングされたデータポイント（訓練セット）を伴ったＭ個のスペクトルを備える訓練セットと、の間の最良の一致を試みる比較を伴う訓練プロセスを示す。図１０Ｂは、上記推定行列を確立した後のスペクトル推定を模式的に示す。この推定行列の助けにより、ｋ個の疎らなデータポイントがフルスペクトルに変換される。 図１１は、スペクトルがこのスペクトルに跨って検出されて短くされる、スペクトルデータベースの分析の結果を示す。グラフは、上記スペクトル特徴が広範囲に広がっていることと、上記スペクトル特徴のより高いポピュレーションを有するスペクトルバンドがあることと、を示す。これらのバンドは、上記ＣＳＢとして選択される有力な候補である。 図１２は、３色の且つハイパースペクトルのカメラで生成された上記軌跡と比較される理論スペクトル軌跡の色度図を示す。本開示により達成された色域拡大が明確に示されている。

説明の目的のため、本発明の完全な理解を提供するために特定の構成及び詳細が記載される。しかし、本明細書で提示される特定の詳細無しに本発明が実践され得ることも、当業者にとって明白である。さらに、本発明を不明瞭にしない程度に、周知の特徴が省略又は簡略化されてもよい。

本発明の実施形態に関連して記載されたシステム及び方法は、撮像された物体の空間情報及びスペクトル情報の両方を含むイメージの取得を提供する。関連する段落に記載された従来技術の分析によると、スペクトル撮像システムの２つの主なカテゴリー、つまりスキャニングスペクトルイメージャ及びスナップショットスペクトルイメージャ、が存在する。本発明は、スキャニングモード又はリアルタイムスナップショットモードのいずれかにおいて動作し得る再構成可能なハイブリッドスペクトルイメージャを教示する。

顕微鏡検査において本発明を実践する例では、従来技術に対する上記ハイブリッドスペクトルイメージャの利点が示される。病理学／組織学では、例えば、組織サンプルが、診断上重要な特徴の可視化を促進させるための様々なコントラスト向上発色団又は発蛍光団で染色される。しかし、使用された染料のスペクトル重複により、それらを別々に観察することが、困難なタスクになる。複数の発蛍光団／発色団のピクセルごとの濃度の別々のマッピングが高度な分析として台頭し、病理学における診断結果向上の可能性を秘めている。スペクトル撮像は、ａ）ピクセルごとにフルスペクトルを測定するステップと、ｂ）隔離された染料のいわゆる端成分スペクトルの先験的知識を用いて染料合成物モデルを展開させるステップと、ｃ）合成物における染料の相対濃度の定量的指標としていわゆる存在量を算出するステップと、を介してこの課題に対する解決手段を提供する。しかし、スキャニングスペクトルイメージャを採用する際、検査されたサンプル内の関心領域の数が多いほど、関連付けられたスキャン時間が累積的に長くなる。従来のスペクトルイメージャを日常的手順に加えると、病理手順のワークフローに不可避的に悪影響が出るであろう。この悪影響は、これら従来のスペクトルイメージャの市場参入に対する障壁になる。一方、従来技術のスナップショット解決手段を採用することはまた、空間データポイント又はスペクトルデータポイントを再構築するために求められる長い後処理時間により、非最適な解決手段である。さらに具体的には、従来のスナップショットシステムでは、データ次元数を拡大するために採用される後処理アルゴリズムにより、データ処理時間が、スキャニングスペクトルイメージャにより求められる取得時間を超える。

従来技術のシステムに対する開示されたハイブリッドスペクトルイメージャの利点が、表示例として顕微鏡検査用途を用いて以下に示される。組織病理特異染料のスペクトル特性について先験的知識がない場合、開示されたハイブリッドスペクトルイメージャは、最初はスキャニングモードに切り替わり、完全なスペクトル立方体を集める。次に、上記ハイブリッドスペクトルイメージャに統合又は接続された処理ユニットが上記完全なスペクトル立方体データを分析し、上記完全なスペクトル立方体の取得された生スペクトルを包括的に且つ大きなロスもなく記述する疎らなスペクトルデータの最小組を推定する。このプロセスは、サンプリングされたデータセットから冗長な情報を取り除くことに相当する。３００ｎｍ〜２５００ｎｍのスペクトルバンドにおいて取得されたスペクトルの幅広い性質に起因して、疎らなスペクトルデータの上記最小組は、５〜１０の別々の波長の範囲内で変動する。これは実験に基づく知見であり、本開示の統合部分であり、公的に利用可能なスペクトルデータベースの分析から派生したものである。この特性は固体材料及び液体材料の大部分に適用され、情報価値のある波長の数はサンプルの複雑性に依存する。マイクロプロセッサユニットを介した最小数又は最も情報価値のある波長（ここではＣＳＢと名付けられる）の推定は、本来、関連するアルゴリズムを用いて対処される最適化の問題である。上記最適化は、離散ウェーブレット変換又は類似の方法等の特徴抽出アルゴリズムを用いて抽出されたスペクトル特徴を言及する。前述の分析により、上記ＭＢＦＯを構成する要求がシステムの制御ユニットに与えられることで、上記ハイブリッドスペクトルイメージャが特定された上記ＣＳＢを取得する。このタスクは、アクチュエータ（複数可）に、上記マルチバンドセンサフィルタリング手段を傾斜させてそれらを適切な角度でロックする、よう指示することで実行される。この自己構成手順を完了すると、システムはリアルタイムスナップショットモードの動作、言い換えると、ビデオスペクトル撮像動作、に切り替わる。ＣＳＢを選択するための基準を提供することの他に、スキャニング動作モード中に集められたスペクトルデータは、スペクトル推定を行うための訓練セットとして少なくとも部分的に用いられる。最後に、ビデオスペクトル撮像モードにおいて動作するように構成されたシステムにより、ＣＳＢが直ちにキャプチャされ、欠けているスペクトルデータポイントが十分に速く推定されることで完全なスペクトル立方体イメージがビデオレート（例えば、２５ｆ／ｓ）での表示用に利用可能になる。この種のデータ利用可能性により、上記染料濃度マップが算出可能になって、ほぼリアルタイムのリフレッシュレートで利用可能になる。これにより、上記ハイブリッドスペクトルイメージャは、ワークフローを損なうことなく病理学／組織学における診断結果を向上し得る。

上記ハイブリッドスペクトルイメージャの特徴的な利点を示す別の適用例は内視鏡検査である。ここでは、内視鏡の先端及び検査される器官（複数可）の両方が連続的にランダムに動いており、上記ビデオスペクトルイメージャが、内視鏡検査においてリアルタイムのフル空間解像度及びスペクトル解像度のスペクトル撮像を可能にする独特の解決手段を構成することを暗示する。この場合、上記ＣＳＢは、参照診断方法の結果とのスペクトルデータの相関性を介して特定される。上記参照診断方法は、例えば、臨床上の証拠又は細胞診／組織学的検査又はそれらの組み合わせの分子分析を含んでもよい。

図１を参照する。図１は、マクベスカラーチェッカー標準サンプルから得られるスペクトルを示す。実線は、市販のスキャニングハイパースペクトルイメージャにより取得されたスペクトルに相当する。上記スペクトルは、ここでは基準として用いられる。破線は、６つのＣＳＢを基準として用いて推定されたスペクトルに相当する。上記ＣＳＢの中心波長は、プロット上の縦線として示される。図１Ａは適切に選択されたＣＳＢに基づく推定曲線を示すため、疎らなスナップショットサンプルが谷及びピークの両方に対応する。見て分かるように、推定の精度は非常に高く、このことは、２乗平均平方根誤差の低い値（１．１〜１．６％）により明白にされる。図１Ｂは、上記スペクトル特徴に厳密には対応していない波長バンドにおいて上記ＣＳＢが選択された場合を示す。この場合、スペクトル推定アルゴリズムが図１Ａのものと同じであるものの、スペクトル予測におけるその精度は低い（ＲＭＳＥ＝１０．３〜２３．０％）。これらの知見は、本発明で提供された解決手段への動機づけになる。特に、本発明は、ハイブリッドな再構成可能且つ適応可能なリアルタイムスナップショットスペクトルイメージャをクレームする。上記スペクトルイメージャでは、上記ＣＳＢは、スペクトル推定の精度を高めるために、上記スペクトル特徴に対応する波長に適応するように同調可能である。

上記ＣＳＢをマルチバンドスナップショット動作用に同調及び適応させ得ると共に並列的に上記スペクトル推定の精度を向上させる全ての可能な電気光学解決手段が、本開示の統合部分である。以下に記載された電気光学部品及びアルゴリズム手段の両方は、モバイル適用が考慮される際に重要な特徴である単純性と低いコスト、体積、及び消費電力とを達成するための単に好ましい実施形態である。

以下の説明では、上記ＭＢＦＯ手段と上記ＭＦＡ撮像センサアレイ手段と傾斜アクチュエータ手段と光学撮像手段とを備える好ましい撮像ヘッド配置部（ＩＨＡ）を有する実施形態と共に方法概念を開示する。これら全てを合わせて上記ハイブリッドスペクトルイメージ取得が実現する。図２を参照する。図２は、開示されたハイブリッドスペクトルイメージャの基本的側面及び概念を模式的に図示する。スキャニングモードにおいて動作するよう指示された上記ＩＨＡにより、例えば５〜１０個のスペクトルイメージの組が、動作スペクトル範囲（例えば、シリコンセンサアレイ手段を用いる場合は４００〜１０００ｎｍ）全体をスキャンするまで、各傾斜ステップにおいて且つ多数の傾斜ステップに対して同時にキャプチャされる。これにより、開示されたハイブリッドスペクトルイメージャのスキャニング動作モードにより、上記サンプリングされたスペクトル立方体５０が高速密集サンプリングプロセスにおいて集められる。「密集してサンプリングされたデータセット」という用語は、５〜１０ｎｍの範囲内で中心波長（複数可）の同調ステップを伴い、その結果、少なくとも３０個のスペクトル的に連続する単一バンドイメージが集められるサンプリング手順、として本明細書では定義される。「疎らにサンプリングされたデータ」という用語は、別々の波長における５〜１０個のイメージのキャプチャを伴うサンプリング手順、として本明細書では定義される。

尚、各同調ステップにおいてスペクトルイメージの組を代替的に１つ１つキャプチャすることは、従来技術のスキャン装置に優る明確な有益性を有する。なぜなら、スキャン時間が著しく減少するためである。上記サンプリングされたスペクトル立方体は、イメージピクセルごとに１つのフルスペクトルを含む。それらの総数は上記ＭＦＡセンサ配置部手段の空間解像度と等しい。上記サンプリングされたスペクトル立方体に含まれる数百万のスペクトルにおける上記スペクトル特徴の特定が、自動的に行われてもよい。例としてここで組み込まれる１つのそのような方法は、上記サンプリングされたスペクトル立方体のスペクトルの管理されていないクラスタリングを伴う。上記クラスタリングは、クラスタ重心の限定数（典型的には、５〜１５）を返す。上記クラスタ重心は特定された区別可能なスペクトルクラスを表すため、上記スペクトル特徴を特定するための分析は、上記重心スペクトルの分析に限定され得る。分析は、例えば、ピーク、谷、スロープ等に相当する上記顕著な波長を特定するための自動特徴抽出アルゴリズムを伴ってもよい。この分析は、５〜１０の別々の且つ最も情報価値のあるスペクトルバンドの最小数が特定されたときに完結する。上記ＭＢＦＯは、上記スペクトル特徴抽出に基づいて、リアルタイムスナップショット動作５２においてＣＳＢ５１でのイメージの組を取得するように構成される。上記ＣＳＢ及び上記スペクトル特徴波長が異なるシーン又は対象物体において変動し得ることは、当業者にとって自明である。従って、ステップ５０及び５１は上記ＭＢＦＯの適応型（再）構成のためのステップを提供する。

４００〜１０００ｎｍのスペクトルバンドにおける一般的なスペクトルデータベース及び用途特化型のスペクトルデータベースの徹底的な分析により、スペクトル特徴の大部分を表す疎らなスペクトルデータの上記最小組が上記データベースの全内容に対して５〜１０の別々の波長の範囲において変動する、と結論付けられた。

すでに述べたように、一般的な又は用途特化型のスペクトルデータベースを組み合わせて又は組み合わせずにスキャニングモードにおいて動作する上記ハイブリッドスペクトルイメージャから得られる密集（高サンプリングレート）スペクトル情報は、上記スペクトル推定アルゴリズム手段５５の訓練データセット５４として用いられる。上記訓練セットに依拠して、機械学習及び人工知能アルゴリズムが、疎らなスナップショットスペクトル撮像によって集められたスペクトルにおいて欠けているデータポイントを予測するために採用される。結果として生じる再構築フルスペクトルは、サンプリング及び推定されたデータポイント５３の合成物を備える。イメージピクセルごとに推定されたこれらのフルスペクトルデータポイントから、上記サンプリングされたスペクトルイメージ及び上記推定されたスペクトルイメージの両方を備える完全なスペクトル立方体が得られ得る。適切に訓練されたスペクトル推定手順は十分に速くてもよく、実行時間は、いくつかのフルＨＤスペクトルイメージを備えるスペクトル立方体であっても、ミリ秒レジームに収まる。これは、特定の用途、例えば、ヒト、動物、又は植物組織の診断用の上記ＣＳＢの組を確立すると、フルスペクトル立方体がほぼビデオレートで集められ得るため、空間スペクトル情報とイメージ表示リフレッシュレートとの間の上記トレードオフが取り除かれる、ことを暗示している。
次の段落以降では、多数の実施形態が開示され、上記ハイブリッドスペクトルイメージャの上記撮像ヘッド配置部（ＩＨＡ）について言及する。

本発明は、ハイブリッドなスキャニング及びスナップショット動作を可能にする小型同調可能フィルタ解決手段を開示する。取得されたスペクトルイメージのスペクトルフィルタリングは、マルチバンドフィルタリング光学部品（ＭＢＦＯ）の助けにより成される。上記ＭＢＦＯは、対象イメージの少なくとも２つのイメージ複製物を生成するビーム分割手段と、撮像経路に挿入されて、上記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング（ＴＭＦ）手段と、を備える。上記ＭＢＦＯは、シーンのイメージの波長内容の第１のスペクトルフィルタリングを行う。上記ＭＢＦＯは、光学素子のグループから選択されるビーム分割器を少なくとも部分的に備える光学素子を備えてもよい。上記光学素子のグループは、立方体ビームスプリッターと、プレートビームスプリッターと、偏光ビームスプリッターと、五角形ビームスプリッター／分割器と、ミラー被覆脚を有する直角プリズムと、ミラー被覆脚を有するミラー被覆角錐プリズムと、ポルカドットビームスプリッターと、ペリクルビームスプリッターと、又はそれらの組み合わせと、を含むが、これらに限定されない。上記ＭＢＦＯは、角度依存スペクトルフィルタリング（ＡＤＳＦ）バンドパスフィルタと、ＡＤＳＦ型二色性及び多色性ミラーと、ＡＤＳＦ型マルチバンドパスフィルタと、空間光変調器と、音響光学部品と、液晶スペクトル変調器と、表面プラズモンフィルタと、それらの組み合わせと、を少なくとも部分的に備える同調可能マルチバンドフィルタリング手段も備える。上記ＭＢＦＯは、多数のイメージ複製物を生成するイメージ増殖を行う。これらの複製物は、マルチバンドフィルタされて同時に取得される。上記マルチバンドフィルタリングは、同調可能で、所定の同調ステップにおけるマルチバンドイメージの組、及び／又は、１０〜４０ｎｍの範囲内の半値全幅（ＦＷＨＭ）を有する少なくとも３０個の（狭い）単一イメージバンドイメージを備えるフルスペクトル立方体、の取得／キャプチャを可能にしてもよい。ＡＤＳＦ型フィルタは、例えば、それらの面に対する法線と入射する主撮像光線との間の角度を変動（傾斜）させた際の同調によって、透過した／反射されたバンドの中心波長を変動させる特性を有する。例えば、ＡＤＳＦ型マルチバンド反射及び／又は透過フィルタは、それが±３０°の角度範囲内で傾斜したときにバンドの中心波長の約１５％に同調する特性を有する。

この特性は、スナップショットマルチバンドスペクトル撮像及びスキャニングスペクトル撮像の両方を可能にするために、本発明のある実施形態において活用される。上記ＭＢＦＯは、対物レンズ手段の前方、又は、対物若しくは（リレー）レンズのフランジと撮像光学部品の焦点面との間の空間、のいずれかに配置されてもよい。

図３を参照する。図３は、多色性ミラーを備える上記ＭＢＦＯを有する配置部を示す。このカテゴリーの光学フィルタは、主として、蛍光撮像において励起／放射チャネルを分離するための蛍光顕微鏡検査において用いられる。典型的な顕微鏡検査システムでは、上記励起／放射チャネルは９０度の角度を形成する。上記多色性ミラーは、これらのチャネルの接合点に配置され、４５度の固定角度を形成する。上記多色性ミラーを含む狭帯域の反射又は吸収フィルタの大部分は、それらの面と主入射光線との間の角度が変化するときに、透過した／反射された中心波長（複数可）をずらす特性を有する。これは、そのようなバンドパスフィルタを用いて同調可能フィルタ配置部を展開させる基礎となる。しかし、上記同調可能プレートフィルタが撮像用途に考慮される限りでは、それらの独立使用を問題にしてしまう２つの主な欠点がある。つまり、ａ）上記二色性ミラーが角度θだけ傾斜したとき、反射された光線が２θの角度だけ傾斜し、回折角度も、角度θに伴い、より小さい角度で変化する、ｂ）上記二色性ミラーの裏面が起点となる反射により、ゴーストイメージ効果として知られる二重イメージアーティファクトが生成され、上記二重イメージアーティファクトは反射されたイメージにおけるアーティファクトの原因となる。図３は、対象物体又はシーン１０２のイメージをイメージセンサアレイ手段１０５の面上に焦点合わせするように構成される対物レンズ光学部品１０１を備えるＩＨＡを示す。センサアレイ手段は、少なくとも１つのＭＦＡ焦点面アレイ（ＦＰＡ）センサを備えるモザイクフィルタアレイ（ＭＦＡ）センサ配置部であってもよい。多色性ミラープレート１０３は、マルチバンドフィルタされた撮像光線を反射及び透過させる撮像光線路に配置される。ある好ましい実施形態では、少なくとも２組のマルチバンドフィルタされた異なる撮像光線が生成されて、２つのＦＰＡセンサを備えるＭＦＡセンサ配置部に向けられる。これらの場合、第１の組の上記マルチバンドフィルタされた撮像光線の透過バンドの中心波長は、第２のマルチバンドフィルタされた撮像光線のブロックされたバンドに対応してもよい。これにより、２つの撮像の組に対応する上記マルチバンドフィルタリングは、均等に分配されたスペクトルサンプリングを確保するための補足的中心波長を好ましくは有する。これらの２つの分岐物に対応するイメージが、２つのＦＰＡ撮像センサ１０５を備える上記ＭＦＡセンサ配置部によってキャプチャされる。見て分かるように、角度依存スペクトルフィルタリング（ＡＤＳＦ）手段は、傾斜アクチュエータ軸１０４上に固定された多色性ミラープレート１０３である。上記傾斜アクチュエータは、多色性ミラーの傾斜角度、さらに結果として撮像光線ビームの方向、を調整するように構成される。例えば、多色性ミラーは、例えば１０〜４０ｎｍの狭いスペクトル帯域幅を有する特定のスペクトルバンドにおいて撮像光線が透過及び反射されるように、対物光学手段によってキャプチャされたイメージをフィルタするように構成される。多色性ミラーから出現するフィルタされたイメージに対しては、モザイクフィルタアレイ（ＭＦＡ）センサによって第２のフィルタリングが施される。上記モザイクフィルタアレイ（ＭＦＡ）センサは、広帯域マスキングフィルタのアレイを備える。各広帯域マスキングフィルタは、特定のスペクトルバンドにおいて撮像光線を透過させるように構成される。マスキングフィルタのスペクトルバンドは、多色性ミラーのスペクトルバンドの半値全幅（ＦＷＨＭ）における帯域幅と比較して、ＦＷＨＭにおけるより幅広い帯域幅を有するように選択される。これにより、各マスキングフィルタは、重複する多色性ミラーのスペクトルバンドからイメージを透過させるように配置される。その結果、マスキングフィルタは、多色性ミラーから出現する狭帯域イメージが対象サンプル又はシーンと関連付けられたスペクトル立方体の生成及び表示のために撮像センサアレイによってキャプチャされて処理ユニットによって処理される前に、この狭帯域イメージを実質的に分離するように構成される。本発明により、複数の狭帯域イメージは、多色性ミラーによって定義される選択マルチバンドスペクトルフィルタリングにおいてイメージセンサによって同時にキャプチャされる。対象サンプル又はシーン用のスペクトル立方体を作成するために、欠けているスペクトルバンドからのスペクトル情報は、キャプチャされたスペクトル情報及び／又は訓練スペクトルデータセットに基づいて処理ユニットによって推定されてもよい。すでに記載したように、各多色性ミラーマルチバンドフィルタリングの中心波長は、傾斜アクチュエータを用いて多色性ミラーの傾斜角度を調整することでずらされてもよい。例えば、用途によっては、処理ユニットは、多色性ミラーの角度が調整されて上記多色性ミラーによって発生したマルチバンドフィルタリングの中心波長がずれることで、分析下の対象サンプル又はシーンの顕著なスペクトル特徴、例えば、ピーク、谷、スロープ、を含む臨界スペクトル波長の組の近傍にこれらの中心波長が収まるように、傾斜アクチュエータの動作を制御してもよい。各傾斜ステップでは、スナップショットモードにおいて新しい組のイメージが同時に得られる。同様に、図３に示されたハイブリッドスペクトル撮像の実施形態は、対象サンプル又はシーン用の完全なスペクトル立方体を作成するためにスペクトル全体をスキャンするスキャニングモードにおいて用いられ得る。例えば、処理ユニットは、多色性ミラーの角度が小さなインクリメントで調整されるように、傾斜イメージを制御してもよい。これにより、多色性ミラーのスペクトルバンドの中心波長は、対象スペクトル全体がスキャンされるまで、例えば５〜１０ｎｍの小さなインクリメントだけずらされてもよい。各傾斜ステップでは、イメージの組が撮像センサによって同時にキャプチャされて処理ユニットによって処理され、各サンプリングされた波長においてキャプチャされた分析下の対象サンプル又はシーンのスペクトル特徴及び空間特徴を含む完全なスペクトル立方体が作成される。図３及び以下に開示される本発明の実施形態の全てにおいて、上記対物レンズ光学部品手段１０１は、撮像光学部品の幅広い集合から選択される。上記幅広い集合は、写真撮影レンズと、顕微鏡検査光学部品と、コリメート光学部品の無限性補正光学部品の剛性又は可撓性内視鏡と、望遠鏡と、を含むが、これらに限定されない。上記対象物体１０２はグループから選択される。上記グループは、空中、地上、又は水中の撮像条件における、ヒト又は動物の組織と、植物組織と、風景シーンと、加工された又は生の食品材料と、天然材料と、人工材料と、を含むが、これらに限定されない。上記センサアレイ手段は、上記ＭＦＡでマスクされた半導体焦点面アレイである。上記傾斜アクチュエータ手段１０４は、少なくとも部分的に、リストから選択されるモーションアクチュエータ／ダイバー手段を用いて構成されてもよい。上記リストは、ガルヴァニック電気機械的素子と、ステッパモータと、回転式ソレノイドと、磁気的、電気的、及び熱的アクチュエータと、を含むが、これらに限定されない。上記携帯電話及びコンピュータプラットフォーム内への組み込みに適した上記ＩＨＡの小型バージョン向けの本発明のある実施形態では、上記傾斜アクチュエータ手段は微小電気機械システム（ＭＥＭＳ）手段である。開示された配置部はまた、上記センサアレイ手段１０５のスペクトル感度範囲を所望のスペクトル領域に制限するための短い又は長いパス光学フィルタ等の追加的フィルタを含んでもよい。上記配置部はまた、イメージずれ、歪み、収差、ゴーストイメージ、焦点ぼけ、及び一般的に光学関係のアーティファクトについて、取得されたイメージを補正するための光学素子を含んでもよい。

本発明は従来技術の前述の欠点を補償する配置部を開示する。特に、上記傾斜アクチュエータ手段は、ギアリングシステムと機械的に連結されてもよい。上記ギアリングシステム上には、上記ＭＦＡセンサアレイ手段が取り付けられる。本発明によれば、補償は、反射されたイメージをキャプチャする第１の上記イメージセンサ手段を２θの角度だけ回転させることで達成される。屈折したイメージをキャプチャする第２の上記センサアレイ手段も回転されるが、はるかに小さい角度だけ回転される。第１及び第２の上記撮像センサ手段の回転が、スペクトルスキャン中に同じ視野を維持するための条件となる。上記イメージセンサ手段の回転は、運動伝達ギアリングシステム（不図示）の助けにより上記傾斜アクチュエータ手段１０４によって作動し、上記傾斜アクチュエータ手段１０４と同期する。

本発明によれば、ゴーストイメージに対する補償は、立方体ビームスプリッター（不図示）の対角線に沿って蒸着した被膜を備える上記多色性ミラーで達成される。上記被膜は非常に薄いため、第２の表面反射は起こらない。ゴーストイメージの問題を軽減する他の実施形態は、上記多色性ミラープレート１０３の上記裏反射面上に蒸着した反射防止被膜を有するプレート多色性ミラー、又は、ポルカドット若しくはペリクル基板上に被膜として構成された上記多色性ミラープレート１０３、を含む。

多色性ミラー手段を採用する本発明の別のより強固な好ましい実施形態が、図４に示されている。図４Ａでは、上記ＭＢＦＯの上記ビーム分割手段は、その５つの面のうち１つが多色性ミラー基板４０２で被覆されるように改良された五角形プリズムビーム分割器である。上記五角形プリズムは、プリズムの後面を前と平行にする目的で、上記被覆された面が三角形プリズム４０３とセメント接合されるように、さらに改良される。図４Ｂは、本実施形態の動作原理及び主な利点を示す。入射するビームの二重反射（１つは上記多色性被覆境界面４０２において起こり、１つは上記五角形プリズムの未被覆の又は平坦ミラー被覆の面において起こる）により、出現ビームの方向が、上記傾斜アクチュエータ手段によって発生するプリズムの傾斜による影響を事実上受けないままとなる。これにより、ギアリング配置部が必要なく、これにより、デザインが単純化され、体積及びコストが低減される。本実施形態の別の利点は、上記多色性被膜の薄膜性質により、上記反射されたイメージにアーティファクトをもたらすであろう二重反射効果がない、という事実に関連する。最後に、上記改良された五角形プリズムの動作上許容できる傾斜角度範囲内において、透過した光線も、上記傾斜角度による影響を受けない。上記多色性ミラーをマルチバンドパスフィルタの対で置き換えてその１つをイメージ複製物が出現する五角形プリズムの面上に配置する等の本実施形態のバリエーションが、類似の結果を提供するものの光スループット性能をより低くしてしまうことは、当業者にとって自明である。図５Ａは別の好ましい実施形態を示す。上記別の好ましい実施形態では、上記ＭＢＦＯは、上記光学撮像光学部品手段の後端とそれらの焦点面との間の空間として画成された、撮像経路における定位置に配置されたビーム分割素子５００を備える。ここでは、上記ＴＭＦはＡＤＳＦ型マルチバンドパスフィルタの対５１０を備える。各ＡＤＳＦ型マルチバンドパスフィルタは、分割光線路に挿入された２つの傾斜アクチュエータ手段の傾斜可能軸上に配置される。上記ＩＨＡは、透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために２つのＭＦＡセンサ配置部を備える。

本発明の一実施形態では、上記マルチバンドパスフィルタ手段は上記センサアレイ手段の前方に配置され、透過したスペクトルバンドを上記傾斜アクチュエータ手段１０４の助けにより同調させるために傾斜する。本発明の別の好ましい実施形態では、上記傾斜アクチュエータ手段は、傾斜運動を少なくとも１つの上記マルチバンドパスフィルタ手段に伝達するためのギアリング機構（不図示）と機械的に連結する。上記ＭＢＦＯのさらに別の実施形態では、上記傾斜アクチュエータ手段１０４は１つの上記マルチバンドパスフィルタのみを動作させる。本実施形態は、上記マルチバンドパスフィルタ手段によってフィルタされることなく上記ビームスプリッター５００によって透過した又は反射されたイメージをキャプチャする第２の上記センサアレイを追加で含んでもよい。フィルタされていないイメージは参照イメージを備えてもよい。フィルタされていないイメージはまた、このフィルタされていないイメージによって上記マルチバンドパスフィルタ手段を用いてフィルタされた上記センサアレイ手段によってキャプチャされたイメージを減じることで実質的に補足的な組の上記狭帯域イメージを提供してもよい。

図５Ｂを参照する。図５Ｂは、２つの面がミラー被覆されたプリズム５２０を利用する、本発明の上記ＭＢＦＯのさらに別の好ましい実施形態を示す。任意の種類の多面反射器（角錐型反射器を含む）や傾斜／回転反射器が本実施形態の概念を用いて類似の結果を提供することは、当業者にはよく理解されている。鏡面化した面（mirrored sides）は、入射するビームを２つの同一分岐物に分割し、フィルタリング部材及びイメージキャプチャ部材は図５Ａにおいて用いられるものと同じである。

図５Ｃを参照する。図５Ｃは、上記プレート多色性ミラー又は上記マルチバンドパスフィルタを傾斜した際に生じる透過イメージのずれアーティファクトを補償する光学配置部手段を示す。

上記透過イメージずれ補償により、上記ＭＢＦＯの傾斜に起因する上記イメージずれに追従するために上記撮像アレイ手段を空間的に平行移動させる必要がなくなる。上記イメージずれ補償は、撮像光線路においてガラス板５１０を挿入することで達成される。上記マルチバンドパスフィルタの厚みに起因して、主撮像光線に対して傾斜角度θ−（負角）に比例するｄ−の変位が引き起こされたと仮定する。本発明では、上記イメージずれは、上記水平軸に対して反対の角度θ＋で傾斜する第２の（被覆された又は未被覆の）光学素子５１０を加えることで補正される。θ＋での傾斜の結果、ｄ＋だけ反対に変位し、上記第１の光学素子によって発生した変位を補償する。上記第２の光学素子の傾斜は、直接的に又はギアリング機構を介して、上記傾斜アクチュエータ手段１０４によって実現される。上記ガラス板の厚み及び屈折率は、適切に調整されることで、θ−＝θ＋のときにｄ−＝ｄ＋となる。これにより、上記イメージセンサ手段１０５上に焦点合わせされたイメージがスペクトルスキャン中にずれないことが示される。

図６を参照する。図６は上記ＩＨＡの追加的な実施形態を示す。上記追加的な実施形態では、上記センサアレイ手段は単一ＭＦＡ撮像センサである。上記単一ＭＦＡ撮像センサ上に、上記ＭＢＦＯ配置部がタイル状のフィルタされたイメージ複製物を生成する。これらの実施形態は、例えば、上記ハイブリッドスペクトルイメージャが既知のスペクトル特徴を伴うフィールドでの日常的使用向けである場合の、固定されたＣＳＢでの動作に適している。しかし、この場合に対してもスペクトル可同調性が実現可能であることは、当業者に理解されている。

図６Ａは、ほぼ上記ＭＦＡ撮像センサのアクティブエリアに亘って配置された改良コスター（Ｋｏｅｓｔｅｒ）プリズムを備える上記ＭＢＦＯを示す。上記コスター（Ｋｏｅｓｔｅｒ）プリズム６１０は典型的には２つの同一プリズム（９０°−６０°−３０°）からなる。上記２つの同一プリズムは、それらの長い方の垂直面に沿って共にセメント接合される。本発明でクレームされている改良とは、それらをセメント接合する前に上記長い垂直軸のうち１つに蒸着した多色性ミラー被膜１０３の追加を言及する。上記コスター（Ｋｏｅｓｔｅｒ）プリズムは、入射ビーム６２０を２つの平行の且つフィルタされたビーム６３０に分割する。これらのビーム６３０は、２つの（空間情報の観点から）同一のイメージを形成する。上記フィルタされたイメージは上記単一センサ１０５の面上に並んで焦点合わせされる。上記２つの平行ビーム６３０間の距離は、上記入射ビーム６２０の高さを変動させることで調整され得る。これらの２つのビームの経路長はほぼ等しい。このことは、両方の撮像経路において確実にイメージの焦点合わせをするために必須である。これにより、記載された構成は、様々なサイズの上記センサアレイ手段に適応され得る。

図６Ｂは本発明のさらに別の実施形態を示す。上記さらに別の実施形態によれば、微小レンズアレイ６５０が、上記対物レンズ光学部品１０１の焦点面に形成されたイメージを再度焦点合わせして、マルチバンドパスフィルタアレイ６６０を介した通過後にガラススクリーン６７０上に同一イメージの組を形成（イメージ増殖）する。上記フィルタアレイ６６０の部材である各フィルタは、上記微小レンズアレイ６５０の部材である対応する微小レンズによって形成された二次イメージをフィルタする。リレーレンズ６８０は、上記ガラススクリーン６７０上に表示されたイメージを上記ＭＦＡ撮像センサ１０５上に焦点合わせする。本実施形態の別の様態では、上記微小レンズアレイ５００はマルチイメージプリズム（不図示）に置き換えられる。上記マルチイメージプリズムは、一次イメージを多数の上記一次イメージ複製物に分割するよう特別に構成される。この一次イメージ複製物の数は上記マルチイメージプリズムの面の数に等しい。本実施形態の１つのバリエーションでは、上記マルチイメージプリズムの面は異なるマルチバンドパスフィルタで被覆されており、これにより上記フィルタアレイ６６０に取って代わる。図６Ｂに図示された実施形態のさらに別のバリエーションでは、素子１０１、６５０（又は任意の類似のイメージ増殖光学配置部）、６６０、６７０、及び６８０は共に収容されて、ユニバーサルレンズにおいて用いられるような台座において終端する独立型装置を構成する。上記独立型装置は、商用カメラに結合されてこの商用カメラをスナップショットスペクトルイメージャに変換し得る取付物を備える。上記スナップショット取付物のさらに別のバリエーションでは、上記リレーレンズ６８０は、演算装置（例えば、携帯電話、タブレット、カメラ）の埋込型レンズであってもよい。この場合、上記独立型スナップショットモジュールは、上記携帯電話及びコンピュータプラットフォームの取り外し可能な付属物を備える。

図６Ｃを参照する。図６Ｃはさらに別の好ましい実施形態を示す。上記さらに別の好ましい実施形態では、上記ＭＢＦＯは、二重（またはそれ以上の）チャネル対物レンズ光学部品２１０を備える。各チャネルが２つの上記補足的マルチバンドパスフィルタ６９０によってフィルタされる。上記フィルタされる二重チャネル対物レンズ光学部品２１０は、２つの空間的同一イメージを上記ＭＦＡ撮像センサ１０５上に並べて焦点合わせする特性を有する。本発明によれば、上記二重チャネル対物レンズ光学部品は、上記携帯電話及びコンピュータプラットフォームに組み込まれた二重レンズ／カメラ配置部としても考慮される。これら全ての場合において、上記マルチバンドパスフィルタ手段５１０がイメージ焦点合わせ経路に沿って任意のポイントに配置される。

次の段落以降では、撮像チャネルのスペクトル純化を達成する計算方法が開示される。上記ＭＦＡにおいて採用された原色フィルタの広帯域性質に起因して、これら原色フィルタの透過「尾」が、上記ＭＢＦＯの隣接する狭い透過バンドに拡大し、記録イメージのスペクトル内容が「汚染される」。

本発明によれば、ＭＦＡでマスクされた撮像センサ手段が、イメージセンサごとの複数の狭帯域イメージの記録用に採用される。このオプションは、単一の上記ＭＦＡでマスクされた撮像センサアレイが、モザイクアセンブリにおいて用いられる原色／スペクトルフィルタに依存して少なくとも３つの狭帯域イメージを（上記スペクトル純化後に）キャプチャし得るため、採用される。３つ、４つ、又はそれ以上の広帯域フィルタが、一般に用いられるＭＦＡ撮像センサアレイを構成する。図７は、商用ＭＦＡ撮像センサの仕様書のマニュアルから得られる赤（Ｒ）７０１、緑（Ｇ）７０２、及び青（Ｂ）７０３の原色チャネルのスペクトル応答の例を示す。見て分かるように、応答は、可視スペクトルの上限（７４０ｎｍ）を超えて広がり、近赤外線（ＮＩＲ）に及ぶ。カラーカメラは、ヒトの視覚をエミュレートする目的でＮＩＲ除波フィルタを使用する。同じ目的で、上記原色チャネル間でかなりのスペクトル重複がある。

図８Ａは、２つのＭＦＡ撮像センサを備えるＩＨＡからの上記ＭＢＦＯ及び上記ＭＦＡの組み合わせ応答を示す。各ＭＦＡ撮像センサは、３つのフィルタと６バンドＭＢＦＯとを備える。見て分かるように、上記組み合わせ応答は６つの狭いスペクトルバンド８０１、８０２、８０３、８０４、８０５、及び８０６の組に制限される。これにより、第１のＭＦＡセンサがバンド８０１、８０３、８０５をキャプチャし、第２のセンサがバンド８０２、８０４、８０６をキャプチャする。しかし、図８Ｂにおいて見て分かるように、（例えば）バンド８０２は、主として、第２のセンサの上記Ｒチャネル７０１によってサンプリングされる。一方、このバンドに対応するある量の光エネルギー８０９はＧチャネル７０２によってキャプチャされ、別の量の光エネルギー８１０はＢチャネルによってキャプチャされる。従って、支配的なバンドと共に、幅広いＭＦＡチャネルは、スペクトルクロストークに起因する帯域外寄与物をキャプチャする。

本発明は、上記ＭＦＡのスペクトル的に重複する応答から発生する二次寄与物を取り除くための実験方法を開示する。これにより、上記ＭＢＦＯバンドの復元が可能になる。

従って、上述の分析によれば、ＭＦＡチャネルの一次応答を、赤、緑、及び青のＭＦＡチャネルに対するＲＲ、ＧＧ、ＢＢと呼ぶことができる。また、ＭＦＡ−Ｒチャネルの二次帯域外応答をＲｇ（緑まで）及びＲｂ（青まで）と呼ぶことができる。従って、Ｇｒ（赤まで）、Ｇｂ（青まで）、Ｂｒ（赤まで）、及びＢｇ（緑まで）がある。さらに、ＭＦＡ応答を以下のように表記することができる。

上記ＭＢＦＯバンドを復元することは、方程式１、２、３からＲＲ、ＧＧ、ＢＢを算出することに相当し、上記算出は、上記クロスチャネル二次寄与物の知識を必要とする。一方、ノイズを抑制する目的のためには、二次寄与物間と一次寄与物との間の比を使用することが好ましい。上記比は以下のように表される。

上記比を代入すると、方程式１、２、３は以下のようになる。

これらは、行列形式においてＭＢＦＯバンドについて解を求めると、以下の形になる。

３×３の行列素子は以下のように測定される。格子同調可能モノクロメーターと連結したハロゲン光源が、選択された波長の機能としての抜け出た光パワーの制御を可能にするという特徴により展開された。上記光源は、感度範囲全体に亘る統合反射率を有するキャリブレーション対象又は上記センサアレイ手段（硫化バリウム）を照らす。白黒センサアレイが上記キャリブレーション対象上に焦点合わせされ、同調可能光源がスペクトルをスキャンする。上記白黒センサによって記録される応答のフィードバックにより、上記同調可能光源の出力電力が規制されるため、上記白黒センサの応答はスペクトル全体に亘って平坦である。シリコンセンサ及びハロゲンランプの斜面状の応答を補償する上記同調可能光源の設定が格納されて、スキャンが繰り返される際に自動的に検索される。次のステップは、上記センサアレイ手段を有する上記白黒センサをＭＦＡ及びＭＢＦＯの両方で置き換え、キャリブレーションされた光源でスペクトルスキャンを繰り返す、ステップである。記録された応答は、上記一次寄与物及び上記二次寄与物が明白である図８Ｂに示されている。図８Ｂから、且つ、所定の上記ＭＦＡ及びＭＢＦＯの組み合わせについて、上記二次／一次の比は、以下であることが分かる。

これらの値を行列方程式（５）に代入することで、図８Ｃで明白にされているように、ＭＢＦＯバンドが復元されて帯域外寄与物がなくなる。上記傾斜角度を変更することで、６つのＭＢＦＯバンドの組は上記傾斜角度の符号に依存して左又は右にずれるため、サンプリングされたフルスペクトル立方体がスキャニングモードの動作において集められ得る。ＲＧＢ原色フィルタは、約１５０ｎｍの典型的なＦＷＨＭを有する。従って、それぞれの上記原色フィルタは、例えば、それぞれＦＷＨＭが１０ｎｍの１５個の（１５）狭帯域イメージを記録し得、可視スペクトル範囲内の非重複スペクトルイメージが合計で約４５個になる。これは、十分なスペクトル解像度と情報が豊富なスペクトル立方体とを確保するために適切な数である。

図９はＭＢＦＯ配置部を示す。ＭＢＦＯ配置部は、上記ＭＦＡ撮像センサ配置部（ＮＩＲカットフィルタが取り除かれた）と組み合わされた場合、システムの応答がＮＩＲ又は紫外線スペクトルバンドにまで拡張され得る。これを基準にして、本発明は、可視（色又はスペクトル撮像）スペクトルバンド及び非可視スペクトルバンドにおける同時リアルタイム撮像を実現する実施形態をクレームする。

以下の説明は、スペクトル推定を介してスペクトル次元数を増加させる方法に重点をおいている。関連する分析を進める前に、２つの重要な事柄を明確にしておく必要がある。ａ）開示されたハイブリッドスペクトルイメージャのいくつかの用途において、スキャニングモード動作により全ての必要なスペクトル情報が生成されるため、スペクトル推定は必要なく、開示されたハイパースペクトルイメージャは、試験シーン／サンプルに類似した訓練セットを臨機応変に組み立て得る又は補完し得るため、スペクトル推定の精度が著しく増加する。ｂ）従来技術のシステムは、幅広いＭＦＡ−ＲＧＢバンドをスペクトル推定の基準として単独で使用しているが、これはこの問題の不良設定性質により容認できない解決手段である。ｃ）スペクトル推定に基づく従来技術のシステムはスペクトルの可視部分に限定される。

本発明は、スナップショットモードにおいて動作する際に推定の精度を向上する方法を開示する。検査される物体又はシーンの性質、種類、又は組成に関する事前知識を想定することで、上記顕著なスペクトル特徴に対応するスペクトルバンドを特定するために調査が行われ得る。事前知識は、対象シーン特有の又は物体特有のスペクトルデータベースを言及し得、特定の対象又はシーンのスペクトル特性を十分に詳細に説明するために生成されたものであることを意味する。このタスクを完了すると、スナップショットスペクトル撮像を行うために、対応するＣＳＢがロックされる。顕著なスペクトル特徴の近傍でのサンプリングにより、スペクトル推定タスクの精度が著しく向上する。

図１０を参照する。図１０は、上記ＣＳＢを基準として利用する一般的なスペクトル推定方式を示す。図１０Ａは、ｋ個のＣＳＢの取得（試験サンプル）によって生成されたサンプルと、Ｎ個のサンプリングされたデータポイント（訓練セット）１０１０を伴ったＭ個のスペクトルを備える訓練セットと、の間の最良の一致を試みる比較を伴う訓練プロセスを示す。

スペクトルデータベース１０１０は十分な数のスペクトルを含む。上記スペクトルは、可視若しくは非可視スペクトルバンド又はそれらの組み合わせにおいてサンプリングされてもよい。加えて、上記スペクトルは、化学的同一性、サンプルの状況、組織病理、又はそれらの組み合わせを表すためにラベル付けされてもよい。いくつかの最適化方法が遷移又は推定行列１０２０を算出するために採用され得る。上記遷移又は推定行列１０２０は、最小二乗法と、ウィナー推定と、カーネル法と、人工ニューラルネットワークと、スパース再構築と、深層学習アプローチと、を含むが、これらに限定されない。すでに述べられたように、いくつかの用途特化型のデータベースが、これらの分野における完全なスペクトルのスナップショットスペクトル撮像を可能にするために展開され得る。上記用途特化型のデータベース１０１０及び／又は上記推定行列１０２０は、上記携帯電話及びコンピュータプラットフォームに事前にインストールされてもよく又はダウンロード可能であってもよい。図１０Ｂは、上記推定行列１０２０を確立した後のスペクトル推定を模式的に示す。推定行列１０２０の助けにより、ｋ個の疎らなデータポイント１０３０がフルスペクトル１０４０に変換される。

本発明の別の実施形態は、開示されたハイブリッドスペクトルイメージャでリアルタイムに生成される莫大な空間スペクトル情報の可視化に関連する。スペクトル立方体に含まれた様々なスペクトルクラスの空間分布のリアルタイムな可視化は、これらのデータがアクション用のフィードバックを備える場合に特に必須である。外科手術において、例えば、変更されたスペクトル輪郭を有するエリアは、生体組織検査される必要がある異常が存在することの証拠となり得る。そのような場合、検査プローブ（例えば、内視鏡）又は検査下の組織サンプルが安定になり得ないため、スペクトルクラスマップのリアルタイム表示が重要である。いわゆるスペクトル主題図が、色又はスペクトルイメージと並んで表示されてもよく、管理されていない又は管理された様式で構成され得る。スペクトル立方体に存在する異なるクラスが、人工的色符号化の助けにより可視化され得る。異なるクラスは、異なる疑似カラーを用いて符号化される。

訓練データセットにおけるスペクトルは、例えば、組織の病理状態、化学的化合物の同一性、又は食料の質の状況を表すためにラベル付けされてもよい。この場合、上記スペクトルクラスマッパーは、例えば、生体内又は試験管内診断を補助するため、又は、遠隔感知及び非破壊分析用の化学的又は構造的マッピングを行うための、病理マップに変換される。

さらに別の実施形態では、上記ハイブリッドスペクトルイメージャは分光写真撮影カメラを備える。上記分光写真撮影カメラでは、従来技術のＲＧＢ３原色センサを用いて写真をキャプチャする代わりに、カラー写真撮影における色再現がスペクトルの可視部分に跨るフルスペクトルのキャプチャに基づく。本実施形態はカラー写真撮影産業において影響を及ぼす：ａ）色域の拡大に起因する色忠実度の増加；ｂ）物体のスペクトル反射率の復元を介した、装置及び周辺光に依存しない写真撮影；ｃ）メタメリズムの無い写真撮影。

上記分光写真撮影カメラの実施形態では、上記ハイブリッドスペクトルイメージャは、１２６９マンセル色チップから得られる反射率スペクトルを訓練セットとして使用する。上記マンセルデータセットは、色再現のためのスペクトルの最も代表的な集合として選択される。スペクトル特徴が最も密集したスペクトルバンドを決定する目的のために、予備分析がこのデータセットに対して行われる。

図１１はこの分析の結果を示す。想定通り、特徴が可視スペクトル中に広がっているが、より高いポピュレーション１１００を有する一定のスペクトルバンドがある、ことがこの分析で示されている。これらのバンドはスナップショット動作用の上記ＣＳＢとして用いられる。しかし、図１１において明示されたＣＳＢの近傍のＣＳＢを選択することで、劣ってはいるが類似の結果が達成され得ることは、当業者にとって自明である。ＣＳＢイメージをキャプチャすると、ピクセルごとのフルスペクトルが、上記マンセル１２６９スペクトルを訓練セットとして用いてスペクトル推定で推定される。最後に、ＣＩＥ三刺激Ｘ、Ｙ、Ｚカラーパラメータが、対応するスペクトルからピクセルごとに算出される。

図１２で明白にされているように、本実施形態により実現されるデジタル分光写真撮影は、色再現の忠実度を著しく向上させる。示されているｙｘ色度図は、上記Ｘ、Ｙ、Ｚ値から派生し、検出及び再現産業において色再現の精度（忠実度）を定量化するための標準的方法となる。外部色度軌跡（実線）１２１０はヒトの眼の色応答に相当する。この軌跡の内側のポイントは全て、ヒトの眼によって再現され得るｘｙ色に対応する。従来のＲＧＢカメラは、色度軌跡のうちかなりのエリアについてヒトの眼の色域１２４０とはかけ離れている。これは、対応する色についての色再現の忠実度が低いことを示している。ヒトの眼の色度軌跡との最良の一致はサンプリングされたスキャニングハイパースペクトル撮像１２２０で達成されるが、消費者の写真撮影については、スキャン手順は許容できない。スナップショット／スペクトル推定１２３０は、スキャニングハイパースペクトル撮像で達成されたものに類似した色忠実度を提供し、いずれの場合も、標準的ＲＧＢカメラで達成される忠実度よりもはるかに優れている。クレームされる分光写真撮影装置の従来技術のＲＧＢカメラに対する別の特徴的利点は、メタメリズムの無い写真撮影を提供することである。上記分光写真撮影装置のさらに別の実施形態では、標準化された写真撮影は、撮像された物体又はシーンのスペクトル反射率を推定することで達成される。これは、ａ）発光体のスペクトルパワー分布と、ｂ）上記センサアレイ手段のスペクトル応答と、ｃ）上記スペクトル反射率と、の逆重畳を介して実現されてもよい。一旦これが達成されると、構成要素ａ）がＣＩＥの標準オブザーバで置き換えられ、構成要素ｂ）がＣＩＥの標準発光体で置き換えられる。ＣＩＥの標準オブザーバと発光体との機能を上記面反射率で乗じ、それらの積が最後に可視スペクトルの波長に亘って積分される。このプロセスの結果生成されるカラー写真は、装置及び周辺光に依存しないため、完全に標準化されている。従って、上記カラー写真は、例えば、遠隔医療、印刷産業、及び一般的に客観的文書化において用いられ得る。図８及び関連する記載では、上記センサのスペクトル応答を抽出するための強固な方法が示される。図９は、スペクトルのＮＩＲ部分において拡張された感度を提供するＭＢＦＯ配置部を示す。このＣＳＢ構成を上記分光写真撮影装置に採用すると、使用される発光体の種類に対して赤外線スペクトルバンドが活用され得る。なぜなら、最も一般的な発光体はこのスペクトルバンドにおいて特徴的なスペクトル輪郭を有するからである。例えば、太陽光及びハロゲンランプの場合に起きることとは対照的に、ＬＥＤ及び蛍光ランプはＮＩＲにおける放出量がゼロである。それとは別に、上記分光写真撮影装置におけるＮＩＲ感度は、かすみの無い写真撮影も可能にするであろう。

開示されたハイブリッドスペクトルイメージャは、表示手段を統合した制御及び処理ユニット（ＣＰＵ）を統合する、又は、このＣＰＵに接続される。上記ＣＰＵ及び表示手段は、マイクロコントローラユニットと、メモリユニットと、ＦＰＧＡと、携帯電話と、タブレットコンピュータと、ラップトップコンピュータと、フラットディスプレイと、ビデオグーグルと、を少なくとも部分的に備える。上記ＣＰＵは撮像ヘッド配置部に接続されて、以下のためのプログラム指令を実行する。すなわち、ａ）スペクトルに跨る上記撮像センサアレイ手段の不均一な応答と、上記対象シーン又は物体を照らす光源の不均一なスペクトルパワー分布と、を補償するためのイメージ取得処理をキャリブレーションし、キャリブレーションは、動作スペクトル範囲に跨って統合反射率（又は既知の反射率）を有する撮像対象を利用して行われ、ｂ）ＴＭＦの所定の同調ステップにおいて及び複数の上記同調ステップについて、ＭＦＡセンサ配置部によってイメージの取得／キャプチャを制御し同期させ、ｃ）ＭＦＡとＴＭＦとの間のバンドクロストークを補償するためにＭＦＡセンサ配置部の応答をスペクトル的に純化し、ｄ）スペクトル推定プロセスの訓練と、欠けているスペクトルデータポイント及び対応するスペクトルイメージの推定と、スペクトルの分類及びラベル付けと、スペクトル主題図と、化学的マップと、病理マップと、それらの組み合わせとの算出及び表示と、のためにスペクトルデータを処理する。

前記第１の態様の実施形態によれば、前記ＣＰＵ及び前記表示手段は、マイクロコントローラユニットと、メモリユニットと、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）と、携帯電話と、タブレットコンピュータと、ラップトップコンピュータと、フラットディスプレイと、ビデオゴーグルと、を少なくとも部分的に備える。例えば、前記ＣＰＵ及び前記表示手段は様々な手法で実現してもよい。これらの手法は、前記グループにおいて述べられた前記素子のうち１つ以上、及び／又は、当業者にとって既知の任意の他の手段を伴ってもよい。

前記第１の態様の実施形態によれば、前記ビーム分割手段は、傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、前記ＴＭＦは、傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を反射及び透過する、前記五角形プリズムビーム分割器の第１の反射面上に蒸着したＡＤＳＦ型多色性ミラー被膜であり、前記ＩＨＡは、前記透過及び反射したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える。

前記第１の態様の実施形態によれば、前記ビーム分割手段は、前記傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、前記ＴＭＦは、前記イメージ複製物が出現する前記五角形プリズムの面上に配置されたＡＤＳＦ型マルチバンドパスフィルタの対を備え、前記ＡＤＳＦ型フィルタは傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を透過し、前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の前記透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える。

前記第１の態様の実施形態によれば、前記ビーム分割手段は、前記光学撮像光学部品手段の後端と前記光学撮像光学部品手段の焦点面との間の空間として画成された、前記撮像経路における定位置に配置されたビーム分割素子であり、前記ＴＭＦはＡＤＳＦ型マルチバンドパスフィルタの対を備え、各ＡＤＳＦ型マルチバンドパスフィルタは、前記分割光線路に挿入された２つの傾斜アクチュエータ手段の前記傾斜可能軸上に配置され、前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするための２つのＭＦＡセンサ配置部を備える。

前記第１の態様の実施形態によれば、前記ビーム分割手段は、コスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であって、その角度のうち１つの角度の二等分線がＡＤＳＦ型フィルタによって覆われるように構成されるコスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であり、前記ＩＨＡは、前記分断された角度の反対側に配置される単一ＭＦＡセンサ配置部であって前記単一ＭＦＡセンサの２つの異なるエリア内に２つのマルチバンドイメージ複製物をキャプチャする単一ＭＦＡセンサ配置部を備える。

前記第１の態様の実施形態によれば、前記ビーム分割手段は、少なくとも２つの面がミラー被覆された多面反射器を備え、前記ミラー被覆された面は入射光ビームを少なくとも２つの反対側に反射された成分に分割するように構成される。

図１Ａ及び図１Ｂは、密集してサンプリングされたスペクトル（実線）の推定されたスペクトルとの比較、派生した疎らな上記ＣＳＢ（縦線）サンプリングデータ、及び推定モデルを示す。上記データはマクベスカラーチェッカー標準サンプルから得られたものである。２乗平均平方根誤差（ＲＭＳＥ）（％）がスペクトル類似度メトリックとして用いられる。図１Ａは、上記スペクトル特徴に対応する波長として上記ＣＳＢを適切に選択したことに起因する、正確に（ＲＭＳＥ：１．１〜１．６）推定されたスペクトルを示す。図１Ｂは、上記ＣＳＢを不適切に選択して有意なスペクトル特徴をキャプチャし損ねたことに起因する、低い精度（ＲＭＳＥ：１０．３〜２３．０）を有するスペクトル推定結果を示す。 図２は、開示されたハイブリッドスペクトルイメージャにおいて実現されるハイパースペクトル撮像方法を模式的に図示する。このハイパースペクトル撮像方法に従って、望ましい組の顕著なスペクトルバンドにおけるスナップショットビデオスペクトル撮像は、上記ハイパースペクトル立方体の全内容がビデオレートで表示されるように、欠けているスペクトルイメージを再構築するための訓練ベースのスペクトル推定で補完される。 図３は、傾斜多色性ミラー配置部を備える上記ＭＢＦＯを有する従来技術の配置を示す。 図４Ａ及び図４Ｂは、上記ＡＤＳＦを有する本発明の好ましい一実施形態を示す。上記ＡＤＳＦは改良した傾斜五角形プリズムビーム分割器を備えるため、ほぼ直交する２つの出力ビームがスペクトル的にフィルタされて、望ましいスペクトル輪郭を有する成分を含む。 図５Ａ〜図５Ｃは、本開示のさらに好ましい実施形態を示す。図５Ａは、撮像経路において固定位置で静止している立方体ビーム分割器と傾斜角度依存スペクトルフィルタリングを実行する２つの傾斜フィルタとを備える上記ＭＢＦＯを示す。図５Ｂは、上記ビーム分割器は、２つの面がミラー被覆されたプリズムである類似の実施形態を示す。図５Ｃは、撮像光線路に配置された１つの傾斜プレートビーム分割器又は１つの傾斜多色性ミラー又は１つの傾斜マルチバンドパスフィルタと、同じ撮像光線路に配置されてイメージずれアーティファクトを補償する１つの傾斜未被覆ガラス板と、を備えるＭＢＦＯ光学配置部を示す。 図６Ａ〜図６Ｃは、本開示の別の実施形態を示す。図６Ａは、単一の上記ＭＦＡ撮像センサのアクティブエリアに亘って実質的に配置された改良コスター（Ｋｏｅｓｔｅｒ）プリズムを備える上記ＭＢＦＯを示す。図６Ｂは本発明のさらに別の実施形態を示す。このさらに別の実施形態によれば、微小レンズアレイが、上記対物レンズ光学部品の焦点面に形成されたイメージを再度焦点合わせし、マルチバンドパスフィルタアレイを介した通過後に同一イメージの組をガラススクリーン上に形成（イメージ増殖）する。図６Ｃはさらに別の好ましい実施形態を示す。このさらに別の好ましい実施形態では、上記ＭＢＦＯが二重（以上の）チャネルの対物レンズ光学部品を備え、各チャネルが２つの上記補足的マルチバンドパスフィルタによりフィルタされる。 図７は、赤（Ｒ）７０１、緑（Ｇ）７０２、及び青（Ｂ）７０３の原色スペクトル応答を示す。 図８は、２つのＭＦＡ−ＦＰＡセンサ及び１つの６バンドＭＢＦＯが用いられる、スペクトルの可視部分におけるスペクトル撮像用の好ましい一実施形態を示す。図８Ｂは、ＭＢＦＯ及びＭＦＡイメージの両方によって実行される入射イメージの二重フィルタリングの結果として生じる狭い単一生イメージのスペクトル輪郭を示す。図８Ｃは、処理されて、スペクトルに跨ってＭＦＡに入射するＭＢＦＯの狭帯域のスペクトルの「尾」を取り除いた結果生じる狭帯域イメージのスペクトル輪郭を示す。 図９は、上記ＭＢＦＯ配置部がフィルタリング光学部品手段を含む、スペクトルの可視部分及び近赤外線部分の両方におけるスペクトル撮像用の別の好ましい実施形態を示す。このフィルタリング光学部品手段は、適切に選択されて撮像光線路に配置されることで、第１の上記ＭＦＡセンサがスペクトルの可視部分における３つの狭帯域イメージを記録し、第２の上記ＭＦＡセンサがスペクトルの可視部分における２つの狭帯域イメージとスペクトルのＮＩＲ（近赤外線）部分における１つの狭帯域イメージとを記録する。 図１０Ａ及び図１０Ｂは、上記ＣＳＢを基準として利用する一般的なスペクトル推定方式を示す。図１０Ａは、ｋ個のＣＳＢの取得（試験サンプル）によって生成されたサンプルと、Ｎ個のサンプリングされたデータポイント（訓練セット）を伴ったＭ個のスペクトルを備える訓練セットと、の間の最良の一致を試みる比較を伴う訓練プロセスを示す。図１０Ｂは、上記推定行列を確立した後のスペクトル推定を模式的に示す。この推定行列の助けにより、ｋ個の疎らなデータポイントがフルスペクトルに変換される。 図１１は、スペクトルがこのスペクトルに跨って検出されて短くされる、スペクトルデータベースの分析の結果を示す。グラフは、上記スペクトル特徴が広範囲に広がっていることと、上記スペクトル特徴のより高いポピュレーションを有するスペクトルバンドがあることと、を示す。これらのバンドは、上記ＣＳＢとして選択される有力な候補である。 図１２は、３色の且つハイパースペクトルのカメラで生成された上記軌跡と比較される理論スペクトル軌跡の色度図を示す。本開示により達成された色域拡大が明確に示されている。

図６Ｂは本発明のさらに別の実施形態を示す。上記さらに別の実施形態によれば、微小レンズアレイ６５０が、上記対物レンズ光学部品１０１の焦点面に形成されたイメージを再度焦点合わせして、マルチバンドパスフィルタアレイ６６０を介した通過後にガラススクリーン６７０上に同一イメージの組を形成（イメージ増殖）する。上記フィルタアレイ６６０の部材である各フィルタは、上記微小レンズアレイ６５０の部材である対応する微小レンズによって形成された二次イメージをフィルタする。リレーレンズ６８０は、上記ガラススクリーン６７０上に表示されたイメージを上記ＭＦＡ撮像センサ１０５上に焦点合わせする。本実施形態の別の様態では、上記微小レンズアレイ６５０はマルチイメージプリズム（不図示）に置き換えられる。上記マルチイメージプリズムは、一次イメージを多数の上記一次イメージ複製物に分割するよう特別に構成される。この一次イメージ複製物の数は上記マルチイメージプリズムの面の数に等しい。本実施形態の１つのバリエーションでは、上記マルチイメージプリズムの面は異なるマルチバンドパスフィルタで被覆されており、これにより上記フィルタアレイ６６０に取って代わる。図６Ｂに図示された実施形態のさらに別のバリエーションでは、素子１０１、６５０（又は任意の類似のイメージ増殖光学配置部）、６６０、６７０、及び６８０は共に収容されて、ユニバーサルレンズにおいて用いられるような台座において終端する独立型装置を構成する。上記独立型装置は、商用カメラに結合されてこの商用カメラをスナップショットスペクトルイメージャに変換し得る取付物を備える。上記スナップショット取付物のさらに別のバリエーションでは、上記リレーレンズ６８０は、演算装置（例えば、携帯電話、タブレット、カメラ）の埋込型レンズであってもよい。この場合、上記独立型スナップショットモジュールは、上記携帯電話及びコンピュータプラットフォームの取り外し可能な付属物を備える。

開示されたハイブリッドスペクトルイメージャは、表示手段を統合した制御及び処理ユニット（ＣＰＵ）を統合する、又は、このＣＰＵに接続される。上記ＣＰＵ及び表示手段は、マイクロコントローラユニットと、メモリユニットと、ＦＰＧＡと、携帯電話と、タブレットコンピュータと、ラップトップコンピュータと、フラットディスプレイと、ビデオゴーグルと、を少なくとも部分的に備える。上記ＣＰＵは撮像ヘッド配置部に接続されて、以下のためのプログラム指令を実行する。すなわち、ａ）スペクトルに跨る上記撮像センサアレイ手段の不均一な応答と、上記対象シーン又は物体を照らす光源の不均一なスペクトルパワー分布と、を補償するためのイメージ取得処理をキャリブレーションし、キャリブレーションは、動作スペクトル範囲に跨って統合反射率（又は既知の反射率）を有する撮像対象を利用して行われ、ｂ）ＴＭＦの所定の同調ステップにおいて及び複数の上記同調ステップについて、ＭＦＡセンサ配置部によってイメージの取得／キャプチャを制御し同期させ、ｃ）ＭＦＡとＴＭＦとの間のバンドクロストークを補償するためにＭＦＡセンサ配置部の応答をスペクトル的に純化し、ｄ）スペクトル推定プロセスの訓練と、欠けているスペクトルデータポイント及び対応するスペクトルイメージの推定と、スペクトルの分類及びラベル付けと、スペクトル主題図と、化学的マップと、病理マップと、それらの組み合わせとの算出及び表示と、のためにスペクトルデータを処理する。

Claims (30)

1. ハイブリッドスペクトルイメージャ装置であって、
   撮像ヘッド配置部（ＩＨＡ）であって、
   撮像経路に沿って対象シーン又は物体のイメージを集めて焦点合わせする光学撮像手段と、
   マルチバンドフィルタリング光学部品（ＭＢＦＯ）手段であって、
   前記対象イメージの少なくとも２つのイメージ複製物を生成するビーム分割手段と、
   前記撮像経路に挿入されて、前記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング（ＴＭＦ）手段と、
   を備えるマルチバンドフィルタリング光学部品（ＭＢＦＯ）手段と、
   を備える撮像ヘッド配置部（ＩＨＡ）と、
   モザイクフィルタアレイ（ＭＦＡ）センサ配置部であって、
   前記マルチバンドフィルタされたイメージ複製物が焦点合わせされる少なくとも１つのＭＦＡ焦点面アレイ（ＦＰＡ）センサであって、
   ピクセル化された様式において少なくとも３つのワイドバンド原色タイプのフィルタでマスクされ、各原色タイプの応答が、１つの単一バンドイメージ成分を前記マルチバンドフィルタされたイメージ複製物から分離してキャプチャする、焦点面アレイ手段、
   を備えるＭＦＡ焦点面アレイ（ＦＰＡ）センサ、
   を備えるモザイクフィルタアレイ（ＭＦＡ）センサ配置部と、
   前記撮像ヘッド配置部に結合されプログラム指令を実行する制御及び処理ユニット（ＣＰＵ）であって、
   前記プログラム指令は、
   イメージ取得処理をキャリブレーションし、
   前記ＴＭＦの所定の同調ステップにおいて且つ複数の前記同調ステップに対して前記ＭＦＡセンサ配置部による前記イメージ複製物の取得／キャプチャを制御及び同期させ、
   前記ＭＦＡセンサ配置部の応答をスペクトル的に純化して前記ＭＦＡと前記ＴＭＦとの間のバンドクロストークを補償する、
   ためのものである、
   制御及び処理ユニット（ＣＰＵ）と、
   少なくとも前記取得された単一バンドイメージをユーザインタフェイス手段上に表示する表示手段と、
   を備えるハイブリッドスペクトルイメージャ装置において、
   前記ＣＰＵは採用されたＭＦＡ−ＦＰＡセンサごとに少なくとも３つの異なる単一バンドイメージの組を再構築して前記表示手段上に表示するように構成され、
   前記ＣＰＵは、所望のスペクトルバンドにおけるビデオスナップショットスペクトル撮像用の前記異なる単一バンドイメージの組の中心波長を選択し、且つ／又は、所定の同調ステップにおける所定数の組の異なる単一バンドイメージと、前記ＦＰＡセンサのスペクトル感度範囲内で少なくとも３０個の単一バンドイメージを含むフルハイパースペクトル立方体データセットの組を集めるまで続く多段階手順における複数の組と、をキャプチャするために、前記ＴＭＦを同調するように構成される、
   ハイブリッドスペクトルイメージャ装置。
2. 前記ＣＰＵは、対象シーン特有の又は物体特有のスペクトルデータベースにおいて、顕著なスペクトル特徴が集合した波長に対応する臨界スペクトルバンド（ＣＳＢ）の組を特定するためのプログラム指令を実行するように構成される、
   請求項１に記載のハイブリッドスペクトルイメージャ。
3. 前記顕著なスペクトル特徴は、前記キャプチャされたスペクトルのピーク、及び／又は谷、及び／又はスロープに対応する、
   請求項２に記載のハイブリッドスペクトルイメージャ。
4. 前記ＣＰＵは、前記スペクトルに沿って疎らにサンプリングされたデータポイントにおいてキャプチャされた前記ＭＦＡセンサ配置部の応答から、前記疎らにサンプリングされたデータポイントにおいてキャプチャされた前記応答を訓練されたスペクトル推定モデル及び関連付けられたアルゴリズムに適合させることでフルスペクトルを復元するためのプログラム指令を実行するように構成される、
   請求項１〜３のいずれか一項に記載のハイブリッドスペクトルイメージャ。
5. 前記疎らにサンプリングされたデータポイントは前記ＣＳＢの組に対応する、
   請求項４に記載のハイブリッドスペクトルイメージャ。
6. 前記ＣＰＵはスペクトル立方体を生成するように構成され、前記スペクトル立方体は、前記ＭＦＡセンサアレイ手段によってキャプチャされた前記スナップショットスペクトルイメージの組と１組の推定されたスペクトルイメージとを含み、その全てがビデオレートで表示される、
   請求項１〜５のいずれかに記載のハイブリッドスペクトルイメージャ。
7. 前記推定されたスペクトルイメージは、全てのイメージピクセルに対する前記再構築スペクトルの前記推定されたデータポイントから、前記スペクトルの前記再構築部分に属する特定の波長バンドに対応する強度値を有する２次元アレイとして得られる、
   請求項６に記載のハイブリッドスペクトルイメージャ。
8. 前記スペクトル推定モデル及びアルゴリズムは、最小二乗法と、ウィナー推定と、カーネル法と、人工ニューラルネットワークと、スパース再構築と、深層学習アプローチと、を少なくとも部分的に含むアルゴリズムのクラスに属する、
   請求項４〜７のいずれか一項に記載のハイブリッドスペクトルイメージャ。
9. 前記ＣＰＵは、スペクトル撮像データセットのスペクトル分類と、前記スペクトル分類のスペクトル主題図の前記表示手段上への表示と、のためのプログラム指令を実行するように構成される、
   請求項１に記載のハイブリッドスペクトルイメージャ。
10. 前記スペクトル分類は、前記スペクトル主題図を化学的マップ又は生体内病理マップに変換するための化学的同一性及びラベルを有するスペクトルを伴うデータベースに格納されたスペクトルデータセット及び管理された分類子を利用する、
    請求項９に記載のハイブリッドスペクトルイメージャ。
11. 前記光学撮像手段は、写真撮影レンズと、顕微鏡検査光学部品と、コリメート光学部品の無限性補正光学部品の剛性又は可撓性内視鏡と、望遠鏡と、を含むグループから選択される、
    請求項１〜１０のいずれか一項に記載のハイブリッドスペクトルイメージャ。
12. 前記対象シーン又は物体は、空中、地上、又は水中の撮像条件における、ヒト又は動物の組織と、植物組織と、風景シーンと、加工された又は生の食品材料と、天然材料と、人工材料と、を少なくとも部分的に含むグループから選択される、
    請求項１〜１１のいずれか一項に記載のハイブリッドスペクトルイメージャ。
13. 前記ＭＢＦＯ手段は、立方体ビームスプリッターと、プレートビームスプリッターと、偏光ビームスプリッターと、五角形ビームスプリッター／分割器と、ミラー被覆脚を有する直角プリズムと、ミラー被覆脚を有するミラー被覆角錐プリズムと、ポルカドットビームスプリッターと、ペリクルビームスプリッターと、を少なくとも部分的に備える、
    請求項１〜１２のいずれか一項に記載のハイブリッドスペクトルイメージャ。
14. 前記ＴＭＦは、角度依存スペクトルフィルタリング（ＡＤＳＦ）バンドパスフィルタと、ＡＤＳＦ型二色性及び多色性ミラーと、ＡＤＳＦ型マルチバンドパスフィルタと、空間光変調器と、音響光学部品と、液晶スペクトル変調器と、表面プラズモンフィルタと、それらの組み合わせと、を少なくとも部分的に備える、
    請求項１〜１３のいずれか一項に記載のハイブリッドスペクトルイメージャ。
15. 前記ＴＭＦは、ＡＤＳＦ型マルチバンド反射及び／又は透過フィルタであり、前記ＴＭＦが±３０°の角度範囲内で傾斜したときに前記バンドの中心波長の約１５％に同調する特性を有する、
    請求項１４に記載のハイブリッドスペクトルイメージャ。
16. 前記ＡＤＳＦ型フィルタ手段は、傾斜アクチュエータ手段の傾斜可能軸上に配置され、前記傾斜アクチュエータは、ガルヴァニック電気機械的素子と、回転アクチュエータと、モータと、回転ソレノイドと、磁気的、電気的、及び熱的アクチュエータと、微小電気機械システム（ＭＥＭＳ）と、を含むグループから選択される、
    請求項１４又は１５に記載のハイブリッドスペクトルイメージャ。
17. 前記ＣＰＵ及び前記表示手段は、マイクロコントローラユニットと、メモリユニットと、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）と、携帯電話と、タブレットコンピュータと、ラップトップコンピュータと、フラットディスプレイと、ビデオグーグルと、を少なくとも部分的に備える、
    請求項１〜１６のいずれか一項に記載のハイブリッドスペクトルイメージャ。
18. 前記ビーム分割器は、傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、
    前記ＴＭＦは、傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を反射及び透過する、前記五角形プリズムビーム分割器の第１の反射面上に蒸着したＡＤＳＦ型多色性ミラー被膜であり、
    前記ＩＨＡは、前記透過及び反射したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える、
    請求項１〜１７のいずれかに記載のハイブリッドスペクトルイメージャ。
19. 前記ビーム分割器は、前記傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、
    前記ＴＭＦは、前記イメージ複製物が出現する前記五角形プリズムの面上に配置されたＡＤＳＦ型マルチバンドパスフィルタの対を備え、前記ＡＤＳＦ型フィルタは傾斜角度不変直交方向において２つのマルチバンドフィルタされたイメージ複製物を透過し、
    前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の前記透過／反射焦点面に配置された２つのＭＦＡ−ＦＰＡセンサを備える、
    請求項１〜１８のいずれかに記載のハイブリッドスペクトルイメージャ。
20. 前記五角形プリズムの前記第１の反射面は、イメージ歪み効果を補償するために、前記五角形プリズムの後面が前記五角形プリズムの前面と平行になるように三角形プリズムとセメント接合される、
    請求項１８又は１９に記載のハイブリッドスペクトルイメージャ。
21. 前記ビーム分割器は、前記光学撮像光学部品手段の後端と前記光学撮像光学部品手段の焦点面との間の空間として画成された、前記撮像経路における定位置に配置されたビーム分割素子であり、
    前記ＴＭＦはＡＤＳＦ型マルチバンドパスフィルタの対を備え、各ＡＤＳＦ型マルチバンドパスフィルタは、前記分割光線路に挿入された２つの傾斜アクチュエータ手段の前記傾斜可能軸上に配置され、
    前記ＩＨＡは、前記透過したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするための２つのＭＦＡセンサ配置部を備える、
    請求項１〜１７のいずれか一項に記載のハイブリッドスペクトルイメージャ。
22. 前記ビーム分割器は、コスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であって、その角度のうち１つの角度の二等分線がＡＤＳＦ型フィルタによって覆われるように構成されるコスター（Ｋｏｅｓｔｅｒ）プリズム型ビーム分割器であり、
    前記ＩＨＡは、前記分断された角度の反対側に配置される単一ＭＦＡセンサ配置部であって前記単一ＭＦＡセンサの２つの異なるエリア内に２つのマルチバンドイメージ複製物をキャプチャする単一ＭＦＡセンサ配置部を備える、
    請求項１〜１７のいずれかに記載のハイブリッドスペクトルイメージャ。
23. 前記ビーム分割器は、少なくとも２つの面がミラー被覆された多面反射器を備え、前記ミラー被覆された面は入射光ビームを少なくとも２つの反対側に反射された成分に分割するように構成される、
    請求項１〜１７のいずれかに記載のハイブリッドスペクトルイメージャ。
24. 前記ＭＢＦＯ手段は、
    同一イメージの組を生成するように構成される光学素子と、
    前記イメージ複製物をスペクトル的にフィルタすることで、光が別々のスペクトルバンドの組において透過及び／又は反射される、ように構成されるフィルタアレイ手段と、
    前記フィルタされたイメージ複製物の組を可視化するように構成されるガラススクリーンと、
    前記ガラススクリーン上に表示された前記イメージを前記少なくとも１つの撮像センサ上に焦点合わせするように構成されるリレーレンズと、
    を備える、
    請求項１〜２３のいずれか一項に記載のハイブリッドスペクトルイメージャ。
25. 前記ＭＢＦＯ手段は、前記ＭＢＦＯ手段に商用カメラ手段の対応するレンズアダプタを取り外し可能に装着するためのユニバーサル装着手段を備え、前記カメラ手段は自律型である、又は、携帯電話／コンピュータプラットフォーム手段に統合される、
    請求項２４に記載のハイブリッドスペクトルイメージャ。
26. 前記ＩＨＡは、前記光学撮像手段の前記焦点面において終端する前記イメージ経路において配置されたイメージずれ補償光学素子を備え、
    前記イメージずれ補償光学素子は、傾斜により誘発した光学媒体の経路長変動及び関連付けられたイメージの歪み／変位効果を補償するように、前記ＡＤＳＦ型フィルタの前記傾斜角度に対して比例する且つ反対の傾斜角度において前記傾斜アクチュエータによって位置決めされるように構成される、
    請求項１〜２５のいずれか一項に記載のハイブリッドスペクトルイメージャ。
27. 前記イメージずれ補償光学素子は、前記ＡＤＳＦ型フィルタによって発生した変位とほぼ等しい距離だけ前記焦点合わせされたイメージが反対方向に変位するように選択された所定の厚み及び屈折率を有するガラス板である、
    請求項２６に記載のハイブリッドスペクトルイメージャ。
28. 前記ハイブリッドスペクトルイメージャは、拡大された色域の、メタメリズムの無い、且つフルスペクトルの写真撮影カメラとして動作するように構成され、
    前記ＭＢＦＯ手段及び前記ＭＦＡセンサ配置部手段は、前記スペクトルの可視部分内における少なくとも５つの前記単一バンドイメージをキャプチャするように構成され、
    前記ＣＰＵユニットは、
    マンセルスペクトル集合を少なくとも部分的に備える大きなスペクトル集合に基づいてスペクトル推定モデルの訓練タスクを実行し、
    疎らにサンプリングされたスペクトルデータポイントを全てのイメージピクセルにおける前記スペクトルを再構築するために適合させるスペクトル推定モデルベースのアルゴリズムを実行し、
    前記スペクトルからＣＩＥ比色分析カラーパラメータを算出し、
    フルスペクトルから派生するカラーパラメータに対応するピクセル値を有するカラーイメージを前記表示手段において表示する、
    ように構成される、
    請求項１〜２７のいずれかに記載のハイブリッドスペクトルイメージャ。
29. 前記ＭＢＦＯ手段及び前記ＭＦＡセンサ配置部手段は、前記スペクトルの前記可視部分内における少なくとも５つの単一バンドイメージと前記シリコンセンサ手段の近赤外線感度範囲内における少なくとも１つの単一バンドイメージとをキャプチャするように構成され、
    前記ＣＰＵユニットは、
    前記対象シーン又は物体を照らす周辺光のスペクトル特性の推定と、
    色恒常性を達成するための前記対象シーン又は物体の面反射率の推定と、
    前記カラーイメージからのかすみ要素の抽出と、
    を少なくとも部分的に含む前記処理出力を伴うイメージ処理タスクを実行するために前記単一バンドイメージの近赤外線応答を利用する、ように構成される、
    請求項２８に記載のハイブリッドスペクトルイメージャ。
30. ビデオフル解像度のハイパースペクトル撮像の方法であって、
    対象シーン又は物体のスペクトル同一性／複雑性を表すのに統計的に十分な、密集してサンプリングされた光学スペクトルのポピュレーションを得るステップと、
    スペクトル特徴抽出を介して前記スペクトルポピュレーションのスパース表現を抽出するために前記密集してサンプリングされた光学スペクトルの組を分析するステップと、
    顕著なスペクトル特徴が多く集合したスペクトルバンドとほぼ重複するバンドに対応する臨界スペクトルバンド（ＣＳＢ）を前記密集してサンプリングされた光学スペクトルにおいて特定するステップと、
    請求項１〜２９に記載のハイブリッドスペクトルイメージャにより、
    前記特定されたＣＳＢに対応する中心波長を有するスペクトルイメージをほぼ同時にキャプチャするステップと、
    密集してサンプリングされた光学スペクトルのスペクトルデータセットサンプルに関連付けられたスペクトル推定モデルへの前記ＣＳＢの空間データポイント及びスペクトルデータポイントの適合を介して、欠けているスペクトルデータポイント及び対応するスペクトルイメージを推定することによって、対象物体又はシーン用のスペクトル立方体を再構築するステップと、
    前記再構築されたスペクトル立方体の全内容及び派生したスペクトル主題図のうち少なくとも１つをビデオレートで表示するステップと、
    を行うステップと、
    を備える、方法。

Images