JP2017191071A - 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム - Google Patents

Abstract

【課題】ハイパースペクトルイメージングにおいてデータ精度の低下を抑制する。
【解決手段】分光データ処理装置１０６は、撮像光学系１０１によりスリット１０２上に結像された光を分光光学系１０３により分光して撮像素子１０４により撮像することで取得された第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時におけるスリットおよび撮像素子に関する第１の情報を用いてデコンボリューションを行うことで第２のインターフェログラムデータを生成する第１の処理と、第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理と、マルチスペクトルデータに対して、撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理とを行う。
【選択図】図６

Description

本発明は、ハイパースペクトルイメージング技術に関する。

様々な物体が存在する空間の情報として多数の波長に分光されたスペクトル情報を取得するハイパースペクトルイメージングが知られている。ハイパースペクトルイメージングの方式として、光の干渉縞を取得してコンピュータ上でスペクトルデータを復元する、いわゆるフーリエ分光型方式がある。また、撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により光電変換する撮像系を用いることで、より広い物体空間のスペクトル情報を取得することができる。

特許文献１には、簡素な光学系によりマルチチャンネルフーリエ分光計を構成して分光測定を行うマルチチャンネルフーリエ分光イメージングが開示されている。また、特許文献２には、フーリエ分光型方式においてスペクトル領域でのデコンボリューションを行うことで、高精度な分光スペクトルを取得する手法が開示されている。

特開２０１５−１１１１６９号公報 特開平０６−３３１４４０号公報

しかしながら、撮像光学系とスリットを用いるマルチチャンネルフーリエ分光イメージングにおいてハイパースペクトルデータを取得する際に以下のような問題がある。すなわち、撮像光学系の収差や回折に起因する像劣化やスリットでのスペクトルの平均化や応答特性に起因するスペクトル劣化によってハイパースペクトルデータの波長分解能、言い換えれば該データの精度が低下する。さらに、分光光学系の光学パラメータや撮像素子の画素パラメータによってもデータ精度が変化する。特許文献１および特許文献２には、ハイパースペクトルイメージングにおいて効果的にデータ精度の低下を回避する手法については開示されていない。

本発明は、ハイパースペクトルイメージングにおいて撮像光学系による像劣化やスリットでのスペクトル劣化によるデータ精度の低下を抑制することができるようにした分光データ処理装置等を提供する。

本発明の一側面としての分光データ処理装置は、撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により撮像することで取得された第１のインターフェログラムデータに対する処理を行う。該分光データ処理装置は、第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時におけるスリットおよび撮像素子に関する第１の情報を用いてデコンボリューションを行うことで第２のインターフェログラムデータを生成する第１の処理手段と、第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理手段と、マルチスペクトルデータに対して、撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理手段とを有することを特徴とする。

なお、撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により光電変換する撮像系と上記分光データ処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての分光データ処理方法は、第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時におけるスリットおよび撮像素子に関する第１の情報を用いてデコンボリューションを行うことで第２のインターフェログラムデータを生成する第１の処理と、第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理と、マルチスペクトルデータに対して、撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理とを含むことを特徴とする。

なお、コンピュータを上記分光データ処理装置として動作させるコンピュータプログラムとしての分光データ処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、マルチチャンネルフーリエ分光イメージングにおいて撮像光学系による像劣化やスリットによるスペクトル劣化によるデータ精度の低下を抑制した補正マルチスペクトルデータを取得することができる。

本発明の実施例１である分光データ処理を示すフローチャート。 実施例１の分光データ処理の概念を示す図。 実施例１におけるインターフェログラムの概念を示す図。 実施例１におけるマルチスペクトルデータと撮像光学系のＰＳＦの例を示す図。 本発明の実施例２である分光データ処理を示すフローチャート。 実施例１である分光データ処理を行う対象となる第１のインターフェログラムデータを取得する撮像装置の構成を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図６には、ハイパースペクトルイメージングとしてのマルチチャンネルフーリエ分光イメージングにおいて分光データ処理を行う本発明の実施例１である分光データ処理装置としてのデータ処理部１０６を含む撮像装置１００の構成を示している。撮像装置１００は、撮像光学系１０１と、スリット１０２と、分光光学系１０３と、撮像素子１０４とを有する。これら撮像光学系１０１、スリット１０２、分光光学系１０３および撮像素子１０４により撮像系が構成される。撮像系は、撮像対象または測定対象である物体１０５からの光を撮像光学系１０１により所定幅を有するスリット１０２上に結像させる。そして、該スリット１０２を通過したライン状の光を分光光学系１０３により分光して撮像素子１０４により一括して撮像（光電変換）することにより、インターフェログラム（干渉縞または干渉像）データと称される分光データを取得する。

インターフェログラムは、特定の波長域または波数域に連続して分布している様々な波長成分の干渉パターンの重ね合せである。本実施例では、撮像素子１０４により取得されたインターフェログラムデータを、第１のインターフェログラムデータという。ここにいう第１のインターフェログラムデータは、物体１０５における多数の物点からスリット１０２内の複数の領域（以下、スリット内領域という）を通過して分光光学系１０３により分光された光を同時に撮像することで得られた列データである。

物体１０５とスリット１０２とがスリット１０２の幅方向に相対移動することで、物体１０５における撮像素子１０４で撮像するスリット状の撮像領域ごとの第１のインターフェログラムデータが時分割で取得される。

分光光学系１０３としては、インターフェログラムを取得するためのフーリエ分光光学系であることが望ましい。

ＣＰＵやＭＰＵ等のコンピュータにより構成されるデータ処理部１０６は、コンピュータプログラムとしての分光データ処理プログラムに従って、図１のフローチャートおよび図２の概念図に示す分光データ処理を行う。図１および図２中のＳはステップを示す。データ処理部１０６は、第１の処理手段、第２の処理手段および第３の処理手段に相当する。

ステップＳ１では、データ処理部１０６は、撮像素子１０４から第１のインターフェログラムデータ（Interferogram 1）を取得する。
このステップＳ１での第１のインターフェログラムの取得過程は以下に示す式（１）〜（３）のようにモデル化される。

ここで、ｇは撮像光学系１０１を通った後の光のスリット１０２上でのハイパースペクトルキューブデータ、ｆは理想的なハイパースペクトルキューブデータ、ｈは撮像光学系１０１のＰＳＦ（点像強度分布関数）、ｓはスリット特性、ｄはセンサ特性である。また、Ｉ_１は第１のインターフェログラムデータ（列データ）であり、Ｉ_２は第２のインターフェログラムデータ（列データ）である。○の中に×が記された記号はコンボリューションを示す。

このように、本実施例における分光データ処理に用いるために直接取得されるデータは、撮像光学系１０１、スリット１０２および分光光学系１０３を通過して撮像素子１０４に到達した光から得られる第１のインターフェログラムデータ（Ｉ_１）である。

次にステップＳ２から、データ処理部１０６は、第１のインターフェログラムデータに付加されたメタ情報（Ｅｘｉｆ情報等）から撮像条件に関する情報を取得する。撮像条件に関する情報とは、撮影時（すなわち第１のインターフェログラムデータの取得時）に用いられた撮像光学系（交換レンズ）１０１を識別するための識別番号（レンズＩＤ）や撮像時における撮像光学系１０１の焦点距離、Ｆ値、被写体距離等である。上記レンズＩＤ、焦点距離、Ｆ値および被写体距離等の組み合わせにより、撮像光学系１０１のＰＳＦや光学伝達関数（ＯＴＦ）を特定することができる。ＯＴＦは、ＰＳＦのフーリエ変換で計算できるＰＳＦの周波数応答であり、ＰＳＦとＯＴＦとが有する情報は等価であるため、以下ではＰＳＦを用いる。

また、撮像条件に関する情報には、撮像時におけるスリット１０２、分光光学系１０３および撮像素子１０４に関する情報も含む。スリット１０２に関する情報は、スリット１０２の幅等のパラメータである。分光光学系１０３に関する情報とは、分光光学系１０３の光学構成を示すパラメータである。ここにいう分光光学系１０３には、インターフェログラムを取得するための干渉計等も含む。撮像素子１０４に関する情報とは、画素の形状、ピッチ、開口幅、開口率等のパラメータである。

本実施例では、撮像光学系１０１のＰＳＦを、折り返し信号が発生しない程度のサンプリングピッチで離散化されたデータとして取得する。このＰＳＦデータは、例えばレンズの設計データ等からコンピュータによるシミュレーションで算出することが望ましい。ただし、画素ピッチが小さい撮像素子を用いて測定してもよい。このときの画素ピッチは、上述したように折り返し信号が発生しない程度の画素ピッチであることが望ましい。

また、撮像素子は有限の幅（辺の長さ）を有するため、撮像素子内において取得される光学像が積算されるという光学特性がある。このことは、空間解像度や波長分解能に影響を与える。コンピュータシミュレーションで撮像光学系１０１のＰＳＦデータを生成する際には、使用される撮像素子の波長分解能と計測可能な波長領域に応じて波長ごとにＰＳＦを計算することが望ましい。撮像素子の波長分解能が低い場合は、光源の分光特性と撮像素子の波長分解能に基づいて所定の範囲内で波長ごとに計算したＯＴＦを重み付け合成し、波長分解能の代表値として使用することが望ましい。

次にステップＳ３では、データ処理部１０６は、撮像条件に関する情報のうちスリット１０２と撮像素子１０４に関する情報（第１の情報）に基づいて第１のインターフェログラムデータに対するデコンボリューション（第１のデコンボリューション処理）を行う。具体的には、スリット１０２の幅からスリット１０２のＯＴＦ等の応答特性を示すスリット特性を求めるとともに、撮像素子１０４の画素の形状、ピッチ、開口幅、開口率から画素開口特性を示すセンサ特性を求める。そして、これらスリット特性およびセンサ特性を用いてデコンボリューションを行う。これにより、第１のインターフェログラムデータからスリット特性および画素開口特性に起因する劣化成分を除去（または低減）した列データとしての第２のインターフェログラムデータ（Interferogram 2）を生成する。
このステップＳ３で行われる第１のインターフェログラムデータに対する補正処理としてのデコンボリューションは、式（１）〜（３）を逆の順で解くモデルとして、下記の式（４）で示すようにモデル化される。

ここで

と

はそれぞれ、フーリエ変換およびフーリエ逆変換を示す。
この補正処理は、既知の情報であるｈ，ｓ，ｄおよびＩ_１から未知情報であるｇを求める問題を解くことに相当する。まず、式（２）および（３）を周波数領域で表記して変形すると、コンボリューション定理より式（４）の［ ］内の式を得ることができる。次に、デコンボリューションによって、第１のインターフェログラムデータからスリット１０２と撮像素子１０４による劣化成分を除去した第２のインターフェログラムＩ_２に補正することができる。この補正処理の効果を図３に示す。

図３（ａ），（ｂ）はそれぞれＩ_１とＩ_２を表し、上方向がスペクトル強度、斜め奥行き方向が波長を示す。図３（ｃ），（ｄ）はそれぞれ、Ｉ_１とＩ_２の波長方向での断面を示している。図３（ａ），（ｂ）において図３（ａ），（ｃ）に示すＩ_１は、スリット１０２と撮像素子１０４の影響によってインターフェログラムが劣化することで、正しいスペクトルデータとして取得できていない。一方、図３（ｂ），（ｄ）に示すＩ_２は、第１のインターフェログラムデータからスリット内領域ごとのスリット特性およびセンサ特性を用いたデコンボリューションによりスリット１０２と撮像素子１０４の影響による劣化を除去した第２のインターフェログラムである。このＩ_２では、Ｉ_１に比べてスペクトルデータの精度（波長分解能）が向上している。

次にステップＳ４では、データ処理部１０６は、第２のインターフェログラムデータ（列データ）に対して１次元フーリエ変換（高速フーリエ変換）を行う。このフーリエ変換を、第２のインターフェログラムデータにおける複数のスリット内領域に対応するデータ領域ごとに行うことにより、スリット状の撮像領域に対応したハイパースペクトルラインデータ（ｇ）に変換される。

このステップＳ５での処理は、以下の式（５）でモデル化される。

そして、ステップＳ５において、データ処理部１０６は、撮像領域ごとに生成したマルチスペクトルラインデータを組み合わせて、つまりは所定の順に並べることで、多波長の画像データとしてのハイパースペクトルキューブデータ（ｆ）に変換する。ハイパースペクトルラインデータおよびハイパースペクトルキューブデータが、マルチスペクトルデータに相当する。

次にステップＳ６では、データ処理部１０６は、ハイパースペクトルキューブデータに対して、波長ごとに、撮像光学系１０１のＰＳＦ（第２の情報）を用いたデコンボリューション（補正処理）を行う。これにより、補正マルチスペクトルデータとしての補正ハイパースペクトルキューブデータ（ｆ′）を生成する。補正ハイパースペクトルキューブデータは、ハイパースペクトルキューブデータから撮像光学系１０１のＰＳＦに起因する劣化成分を除去（または低減）したデータである。データ処理部１０６は、生成した補正ハイパースペクトルキューブデータを、図６に示したメモリ１０７に保存したり外部に出力したりする。

図４には、（ａ）ハイパースペクトルキューブデータと（ｂ）撮像光学系１０１のＰＳＦとのステップＳ６でのデコンボリューション時の関係を示している。ステップＳ６では、図４（ａ）に示すようにハイパースペクトルキューブデータのうち各ハイパースペクトルラインデータに対応し、かつ複数のスリット内領域のそれぞれに対応するデータ領域ごとに、波長λごとのデコンボリューションを行う。その際に用いる撮像光学系１０１のＰＳＦは、図４（ｂ）に示すように、スリット内領域（ｓ１，ｓ２，ｓ３，・・・，Ｓｎ）ごと、かつ波長λごとに対応するＰＳＦとする。ハイパースペクトルキューブデータに対して撮像光学系１０１のＰＳＦが同一であるとみなせるシフトインバリアント範囲においては、以下の式（６）で示すデコンボリューションを行うことができる。

なお、ハイパースペクトルキューブデータを波数ごとにデコンボリューションしてもよい。

また、マルチスペクトルラインデータに対して第２のデコンボリューション処理を行って得られた補正マルチスペクトルラインデータを組み合わせる（所定の順に並べる）ことで補正ハイパースペクトルキューブデータを生成してもよい。

本実施例で説明した補正処理は、いわゆるインバースフィルタを用いたデコンボリューション処理である。しかし、実際には除算時の０割やノイズの過大な増幅が発生し得る。そのような場合には、デコンボリューション処理に、ウィナーフィルタ、リチャードソン・ルーシーのアルゴリズム、各種正則化を用いた手法等を用いてもよい。また、撮像光学系１０１のＰＳＦが同一と見なせない（シフトインバリアントではない）範囲においては、実空間においてデコンボリューションフィルタを切り替えながらデコンボリューション処理を行うことで、良好な補正効果を得ることができる。

本実施例によれば、マルチチャンネルフーリエ分光イメージングにおいて、撮像光学系１０１による像劣化やスリット１０２によるスペクトル劣化によるデータ精度（波長分解能）の低下を抑制して、良好な補正ハイパースペクトルキューブデータを得ることができる。

なお、本実施例では、ステップＳ６での補正処理としてデコンボリューションを行ったが、他の補正処理を行ってもよい。

次に、本発明の実施例２について説明する。図５のフローチャートには、本実施例における分光データ処理の流れを示している。なお、本実施例の撮像装置の構成は、実施例１の撮像装置と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。

ハイパースペクトルイメージングにおいては、様々な用途に応じてハイパースペクトルキューブデータの取得対象となる物体空間が異なり、それに応じて撮像光学系１０１も異なる。例えば、広角に情報を取得したい場合には撮像光学系１０１として広角レンズが使用され、また上空から望遠で地上の詳細な情報を取得したい場合には望遠レンズが使用される。このように分光光学系１０３と撮像素子１０４に対して、撮像光学系１０１が交換可能であると撮像装置としての利便性が高い。そして、このような光学系交換タイプの撮像装置では、ハイパースペクトルキューブデータの補正がスペクトル領域と空間領域のそれぞれで独立して行えることが好ましい。

この場合、図５のステップＳ１１に示すように、データ処理部１０６は、まず実施例１で説明したスリット特性とセンサ特性を用いたデコンボリューションによって第１のインターフェログラムデータを補正した第２のインターフェログラムデータを生成する。

そして、ステップＳ１２において、データ処理部１０６は、第２のインターフェログラムデータのフーリエ変換を行ってハイパースペクトルラインデータを生成する。さらに、ステップＳ１３において、データ処理部１０６は、撮像領域ごとのハイパースペクトルラインデータを所定の順に並べることで第１の補正ハイパースペクトルキューブデータを生成する。

次に、ステップＳ１４において、データ処理部１０６は、第１の補正ハイパースペクトルキューブデータを、撮像光学系１０１の光学特性であるＰＳＦを用いて空間領域で補正することで第２の補正ハイパースペクトルキューブデータを生成する。このときに用いられる撮像光学系１０１のＰＳＦは、第１のインターフェログラムデータの取得に用いられた撮像光学系１０１のものである。第２の補正ハイパースペクトルキューブデータが、実施例１でいう補正ハイパースペクトルキューブデータに相当する。

また、常に全物体空間の補正ハイパースペクトルキューブデータを生成するのではなく、物体空間のうち選択された部分空間領域の補正ハイパースペクトルキューブデータを生成することも可能である。例えば、第１の補正ハイパースペクトルキューブデータが生成された時点で撮像装置の操作部（タッチパネルやスイッチ等）を通じて物体空間のうち第２の補正ハイパースペクトルキューブデータを生成する部分空間領域をユーザが選択できるようにすればよい。データ処理部１０６は、ユーザが指定した部分空間領域に対応する撮像光学系１０１のＰＳＦを生成して補正処理（デコンボリューション）を行い、第２の補正ハイパースペクトルキューブデータを生成する。

また、この際、第１の補正ハイパースペクトルキューブデータをメモリ１０７に保存し、第２の補正ハイパースペクトルキューブデータに対する補正処理は保存された第１の補正ハイパースペクトルキューブデータに対して行うようにしてもよい。

本実施例のように、インターフェログラムデータとハイパースペクトルキューブデータとで補正処理を分離することで、撮像条件が同一である場合は同じ光学特性（ＰＳＦまたはＯＴＦ）を用いればよい。つまり、以前に使用した光学特性をメモリ１０７に保存しておくことで、再び以前と同じ撮像条件で撮像を行う場合にはその光学特性をわざわざ計算せずにメモリ１０７から読み出すだけでよい。したがって、ハイパースペクトルキューブデータに対する補正処理の速度を向上させることができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０２ スリット
１０３ 分光光学系
１０４ 撮像素子
１０６ データ処理部

Claims (9)

1. 撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により撮像することで取得された第１のインターフェログラムデータに対する処理を行う分光データ処理装置であって、
   前記第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時における前記スリットおよび前記撮像素子に関する第１の情報を用いてデコンボリューションを行うことで第２のインターフェログラムデータを生成する第１の処理手段と、
   前記第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理手段と、
   前記マルチスペクトルデータに対して、前記撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理手段とを有することを特徴とする分光データ処理装置。
2. 前記第１の処理手段は、前記第１のインターフェログラムデータに対して、前記スリット内での複数の領域のそれぞれに対応する前記第１の情報を用いて前記第１のデコンボリューションを行うことを特徴とする請求項１に記載の分光データ処理装置。
3. 前記第２の処理手段は、前記第２のインターフェログラムデータのうち、前記スリット内での複数の領域のそれぞれに対応するデータ領域ごとに１次元フーリエ変換を行うことで前記マルチスペクトルデータを生成することを特徴とする請求項１または２に記載の分光データ処理装置。
4. 前記第３の処理手段は、前記マルチスペクトルデータのうち、前記スリット内での複数の領域のそれぞれに対応するデータ領域ごとに前記補正処理を行うことを特徴とする請求項１から３のいずれか一項に記載の分光データ処理装置。
5. 前記補正処理として、波長または波数ごとのデコンボリューションを行うことを特徴とする請求項１から４のいずれか一項に記載の分光データ処理装置。
6. 前記第１のインターフェログラムデータにメタ情報として付加された前記第１の情報および前記第２の情報を取得することを特徴とする請求項１から５のいずれか一項に記載の分光データ処理装置。
7. 撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により光電変換する撮像系と、
   請求項１から５のいずれか一項に記載の分光データ処理装置とを有することを特徴とする撮像装置。
8. 撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により光電変換することで取得された第１のインターフェログラムデータに対する処理を行う分光データ処理方法であって、
   前記第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時における前記スリットおよび前記撮像素子に関する第１の情報を用いてデコンボリューションを行うことで第２のインターフェログラムデータを生成する第１の処理と、
   前記第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理と、
   前記マルチスペクトルデータに対して、前記撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理とを含むことを特徴とする分光データ処理方法。
9. コンピュータに、撮像光学系によりスリット上に結像された光を分光光学系により分光して撮像素子により光電変換することで取得された第１のインターフェログラムデータに対して処理を行わせるコンピュータプログラムであって、
   前記処理は、
   前記第１のインターフェログラムデータに対して、該第１のインターフェログラムデータの取得時における前記スリットおよび前記撮像素子に関する第１の情報を用いてデコンボリューション処理を行うことで第２のインターフェログラムデータを生成する第１の処理と、
   前記第２のインターフェログラムデータに対してフーリエ変換を行うことでマルチスペクトルデータを生成する第２の処理と、
   前記マルチスペクトルデータに対して、前記撮像光学系の光学伝達関数または点像強度分布関数に関する第２の情報を用いた補正処理を行って補正マルチスペクトルデータを生成する第３の処理とを含むことを特徴とする分光データ処理プログラム。