JP2018036177A - 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム - Google Patents

Abstract

【課題】撮像光学系および分光光学系に起因するスペクトルキューブデータの劣化を高精度に補正可能な分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラムを提供すること。【解決手段】撮像光学系により結像された光を分光光学系により分光して撮像素子により撮像することで取得されたデータに基づく空間スペクトル画像に対する処理を行う分光データ処理装置であって、撮像光学系の光学特性、分光光学系の光学特性および撮像素子の特性に基づいて、空間スペクトル画像をスペクトル領域および空間領域において補正する。【選択図】図２

Description

本発明は、分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラムに関する。

被写体の空間情報を膨大な波長情報に分光して取得するハイパースペクトルイメージングでは、様々な物体の分析が行われる。ハイパースペクトルイメージングでは、１画素から詳細なスペクトル情報が得られることから、一般のデジタルカメラ等では取得することができない様々な情報を取得することができる。以下、ハイパースペクトルイメージングで取得される空間・波長情報をスペクトルキューブデータという。

スペクトルキューブデータは、様々な影響を受けて劣化（空間解像度や波長分解能が低下）する。劣化要因としては、データ取得時の環境、空間情報を取得するための撮像光学系、空間情報を分光する分光光学系、およびこれらをデジタルデータとして取得するための撮像素子などが挙げられる。近年、スペクトルキューブデータの取得後に様々な画像処理を行うことでデータの劣化を回復させ、高精度なデータ分析を行うことが可能な方法が提案されている。特許文献１では、ハイパースペクトルイメージングにおいてあらかじめ撮像素子の複数の感度特性のパターンを計測しておき、取得データに対して補正処理を行うことで、撮影環境からの影響を低減したデータを取得する方法が開示されている。また、特許文献２では、フーリエ分光法においてスペクトル領域でのデコンボリューションを行うことで、高精度な分光スペクトルを取得する方法が開示されている。

特開２０１０−２５６３０３号公報 特開平６−３３１４４０号公報

しかしながら、特許文献１、２には、撮像光学系および分光光学系に起因するスペクトルキューブデータの空間分解能や波長分解能の低下について考慮していない。

このような課題に鑑みて、本発明は、撮像光学系および分光光学系に起因するスペクトルキューブデータの劣化を高精度に補正可能な分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラムを提供することを目的とする。

本発明の一側面としての分光データ処理装置は、撮像光学系により結像された光を分光光学系により分光して撮像素子により撮像することで取得されたデータに基づく空間スペクトル画像に対する処理を行う分光データ処理装置であって、前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいて、前記空間スペクトル画像をスペクトル領域および空間領域において補正することを特徴とする。

また、本発明の他の側面としての分光データ処理方法は、撮像光学系により結像された光を分光光学系により分光して撮像素子により撮像することで取得されたデータに基づく空間スペクトル画像に対する処理を行う分光データ処理方法であって、前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいて、前記空間スペクトル画像をスペクトル領域および空間領域において補正することを特徴とする。

本発明によれば、撮像光学系および分光光学系に起因するスペクトルキューブデータの劣化を高精度に補正可能な分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラムを提供することができる。

本発明の分光データ処理装置を有する実施例１の撮像装置の構成図である。 実施例１の分光データ処理を示すフローチャートである。 スペクトルキューブデータの概念図である。 実施例１の撮像光学系のＰＳＦの一例を示す図である。 本発明の分光データ処理装置を有する実施例２の撮像装置の構成図である。 実施例２の分光データ処理を示すフローチャートである。 インターフェログラムキューブデータの概念図である。 実施例３の分光データ処理の一部を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の分光データ処理装置を有するプッシュブルーム型の撮像装置１００の構成図である。撮像装置１００は、撮像光学系１０１、スリット１０２、レンズ１０３、回折素子１０４、集光光学系１０５、撮像素子１０６、データ処理部１０７およびメモリ１０８を有する。撮像光学系１０１、スリット１０２、レンズ１０３、回折素子１０４、集光光学系１０５および撮像素子１０６により撮像系が構成される。

撮像光学系１０１は、レンズを備え、広範囲な撮影領域（被写体）の光学像を中間結像する。本実施例では、スリット１０２、レンズ１０３、回折素子１０４および集光光学系１０５により分光光学系が構成される。分光光学系は、中間結像された光学像を波長分解して撮像素子１０６に導く。撮像素子１０６は、分光光学系により分光した光を撮像（光電変換）することでスペクトルキューブデータ（マルチスペクトルデータ、空間スペクトル画像）を取得する。データ処理部１０７は、ＣＰＵやＭＰＵ等のコンピュータにより構成され、分光データ処理を実行する。メモリ１０８は、データ処理部１０７により生成されたスペクトルキューブデータを保存したり、外部に出力したりする。

次に、図２を参照して、本実施例の分光データ処理について説明する。図２は、本実施例の分光データ処理を示すフローチャートである。本実施例の分光データ処理は、データ処理部１０７により、コンピュータプログラムとしての分光データ処理プログラムにしたがって実行される。なお、分光データ処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

ステップＳ１１では、データ処理部１０７は、撮像素子１０６からスペクトルキューブデータを取得する。図３は、スペクトルキューブデータの概念図である。スペクトルキューブデータは、図３（ａ）に示されるように、２次元座標（ｘ、ｙ）と波長λを用いて表される。図中の○、□、△はそれぞれ、異なる物体を示している。本実施例では、空間データはｘ軸またはｙ軸に対してラインスキャンして取得され、波長λは一括で取得される。図３（ｂ）は、図３（ａ）の任意の点（ｘｉ，ｙｉ）におけるスペクトルデータを示している。

ステップＳ１２では、データ処理部１０７は、ステップＳ１１で取得したスペクトルキューブデータに付加されたメタ情報（Ｅｘｉｆ情報等）からスペクトルキューブデータの撮影時の撮影条件に関する情報を取得する。撮影条件に関する情報とは、撮影時に用いられた撮像光学系１０１のレンズを識別するための識別番号（レンズＩＤ）や撮影時の撮像光学系１０１の焦点距離、Ｆ値、被写体距離等である。レンズＩＤ、焦点距離、Ｆ値および被写体距離等の組み合わせにより、撮像光学系１０１の点像分布関数（ＰＳＦ）や光学伝達関数（ＯＴＦ）を特定することができる。ＯＴＦはＰＳＦのフーリエ変換で計算できるＰＳＦの周波数応答であり、ＰＳＦとＯＴＦとが有する情報は等価である。本実施例では、ＰＳＦを用いて後述する補正処理を実行する。また、撮影条件に関する情報には、分光光学系に関する情報や撮像素子１０６に関する情報も含まれる。分光光学系に関する情報とは、撮影時のスリット１０２の開口幅や、集光光学系１０５のＰＳＦに関するパラメータ等である。また、撮像素子１０６に関する情報とは、画素の形状、画素ピッチ、開口幅および開口率等のパラメータである。

ステップＳ１３では、データ処理部１０７は、ステップＳ１２で取得した撮影条件に関する情報に基づいて撮像光学系１０１の光学特性、分光光学系の光学特性および撮像素子１０６の特性を生成する。

本実施例では、データ処理部１０７は、撮像光学系１０１の光学特性として図４に示される撮像光学系１０１のＰＳＦを生成する。図４は、ラインスキャンのラインに沿った撮像光学系１０１のＰＳＦを示す図である。データ処理部１０７は、撮像光学系１０１のＰＳＦを、折り返し信号が発生しない程度のサンプリングピッチで離散化されたデータとして取得する。このＰＳＦは、例えばレンズの設計データ等からコンピュータによるシミュレーションで算出することが望ましい。また、画素ピッチが小さい撮像素子を用いて測定してもよい。このときの画素ピッチは、折り返し信号が発生しない程度の画素ピッチであることが望ましい。

また、撮像素子１０６は、有限の幅（辺の長さ）があるため、撮像素子内で取得される光学像が積算されるという光学特性を有する。このことは、空間解像度や波長分解能に影響を与える。コンピュータシミュレーションで撮像光学系１０１のＰＳＦデータを生成する際には、使用される撮像素子１０６の波長分解能と計測可能な波長領域に応じて波長ごとにＰＳＦを計算することが望ましい。撮像素子１０６の波長分解能が低い場合は、光源の分光特性と撮像素子１０６の波長分解能に基づいて所定の範囲内で波長ごとに計算したＯＴＦを重み付け合成し、波長分解能の代表値として使用することが望ましい。

また、本実施例では、データ処理部１０７は、分光光学系の光学特性として分光光学系のＰＳＦを撮像光学系１０１のＰＳＦと同様にコンピュータによるシミュレーションで算出する。

なお、本実施例では、データ処理部１０７が撮影条件に関する情報に基づいて撮像光学系１０１の光学特性、分光光学系の光学特性および撮像素子１０６の特性を生成するが、本発明はこれに限定されない。例えば、メモリ１０８が撮影条件に関する情報ごとの撮像光学系１０１の光学特性、分光光学系の光学特性および撮像素子１０６の特性を記憶しておき、データ処理部１０７はメモリ１０８から必要な情報を取得してもよい。また、データ処理部１０７は、撮像装置１００とは別のシステムから該システムにより生成された撮影条件に関する情報ごとの撮像光学系１０１の光学特性、分光光学系の光学特性および撮像素子１０６の特性を取得してもよい。

ステップＳ１４では、データ処理部１０７は、スペクトルキューブデータの所定の領域をスペクトル領域および空間領域において補正し、補正後のスペクトルキューブデータを生成する。撮像光学系１０１では種々の収差や回折が発生するため、中間結像された光学像は理想像から劣化してしまう。また、分光光学系では種々の収差や回折が発生するため、撮像後のスペクトルキューブデータは理想のスペクトルキューブデータから劣化してしまう。また、撮像素子１０６の開口特性（開口の形状や幅等）は、スペクトルキューブデータを劣化させる要因となる。したがって、スペクトルキューブデータは、以下の式（１）のようにモデル化される。

ここで、ｇ、ｆ、ｈ_１、ｈ_２およびｄはそれぞれ、撮像後のスペクトルキューブデータ、理想のスペクトルキューブデータ、撮像光学系１０１のＰＳＦ、分光光学系のＰＳＦおよび撮像素子１０６の開口特性である。また、

は、コンボリューション演算を示す。

分光光学系のＰＳＦでは、ＰＳＦの一次の位相シフトとして発現する回折素子１０４による回折は分光の効果であるため、補正してはならない。そこで、スリット１０２による影響をｈ_２１、レンズ１０３および集光光学系１０５による影響をｈ_２２とすると、分光光学系のＰＳＦである式（１）のｈ_２は、以下の式（２）で表される。

式（１）は、コンボリューション定理より周波数領域を用いて以下の式（３）のように変形される。

ここで、

は、フーリエ変換を示す。

データ処理部１０７は、式（３）を用いてデコンボリューション処理を行うことで、撮像後のスペクトルキューブデータの高精度化を行うことができる。ｈ_２およびｄを用いたデコンボリューション処理を図３（ｂ）に示されるスペクトルデータに対して行うことで、スペクトル領域の補正が完了する。また、ｈ_１を用いたデコンボリューション処理を行うことで、空間領域の補正が完了する。なお、撮像光学系１０１のＰＳＦであるｈ_１および分光光学系のＰＳＦであるｈ_２は、所定の領域内で変化するシフトバリアント特性であってもよい。

また、デコンボリューション処理として、ウィナーフィルタやリチャードソン・ルーシーのアルゴリズムなど種々の方法が知られており、これらを使ってスペクトルキューブデータの補正を行ってもよい。

以上、本実施例のように回折素子等で波長を分解する場合、回折素子を除いた収差および回折の影響をデコンボリューション処理によって除去することでスペクトルキューブデータの高精度化を行うことが可能となる。

なお、本実施例は、分散効果を用いてスペクトルキューブデータを取得する方法の１例であり、各光学系の構成や光学素子の種類等はこれに限定されるものではない。例えば、回折素子の代わりにプリズム等を用いてもよい。

図５は、本発明の分光データ処理装置を有するＦＴＩＲ型の撮像装置２００の構成図である。撮像装置２００は、撮像光学系２０１、スリット２０２、レンズ２０３、可動ミラー２０４、ハーフミラー２０５、ミラー２０６、レンズ２０７、撮像素子２０８、データ処理部２０９およびメモリ２１０を有する。撮像光学系２０１、スリット２０２、レンズ２０３、可動ミラー２０４、ハーフミラー２０５、ミラー２０６、レンズ２０７および撮像素子２０８により撮像系が構成される。

撮像光学系２０１は、レンズを備え、広範囲な撮影領域（被写体）の光学像を中間結像する。本実施例では、スリット２０２、レンズ２０３、可動ミラー２０４、ハーフミラー２０５、ミラー２０６およびレンズ２０７により分光光学系が構成される。本実施例の分光光学系は、マイケルソン干渉計で構成されている。分光光学系は、中間結像された光学像を分光する。撮像素子２０８は、分光光学系により分光した光を撮像（光電変換）することでインターフェログラムキューブデータを取得する。データ処理部２０９は、ＣＰＵやＭＰＵ等のコンピュータにより構成され、分光データ処理を実行する。メモリ２１０は、データ処理部２０９により生成されたスペクトルキューブデータを保存したり、外部に出力したりする。

次に、図６を参照して、本実施例の分光データ処理について説明する。図６は、本実施例の分光データ処理を示すフローチャートである。本実施例の分光データ処理は、データ処理部２０９により、コンピュータプログラムとしての分光データ処理プログラムにしたがって実行される。なお、分光データ処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録されていてもよい。

ステップＳ２１では、データ処理部２０９は、撮像素子２０８からインターフェログラムキューブデータを取得する。図７は、インターフェログラムキューブデータの概念図である。インターフェログラムキューブデータは、図７（ａ）に示されるように、２次元座標（ｘ、ｙ）と光路長差距離（ＯＰＤ）を用いて表される。図中の○、□、△はそれぞれ、異なる物体を示している。本実施例では、空間データはｘ軸またはｙ軸に対してラインスキャンまたはポイントスキャンして取得され、ＯＰＤは時分割で取得される。図７（ｂ）は、図７（ａ）の任意の点（ｘｉ，ｙｉ）におけるインターフェログラムデータを示している。

ステップＳ２２では、データ処理部２０９は、ステップＳ２１で取得したインターフェローグラムキューブデータを以下の式（４）で表されるフーリエ変換によりスペクトルキューブデータに変換する。なお、スペクトルキューブデータへの変換は、インターフェログラムキューブデータの全てのデータに対して行われる。

ここで、ｇおよびＩはそれぞれ、スペクトルキューブデータおよび撮像素子２０８が取得したインターフェログラムキューブデータである。

ステップＳ２３、Ｓ２４はそれぞれ、図２のステップＳ１２、Ｓ１３と同様であるため、詳細な説明は省略する。

ステップＳ２５では、データ処理部２０９は、スペクトルキューブデータの所定の領域をスペクトル領域および空間領域において補正し、補正後のスペクトルキューブデータを生成する。スペクトルキューブデータは、実施例１と同様に式（１）でモデル化される。ただし、本実施例では、ｈ_２は、式（５）に示されるように、アポダイゼーション関数であるｈ_２１と、ローレンツ関数またはガウス関数であるｈ_２２のコンボリューションである。

また、撮像素子２０８が取得したインターフェログラムキューブデータは、以下の式（６）を用いて表される。

ここで、Ｉ_０およびｈ_０はそれぞれ、分光光学系による劣化のないインターフェログラムキューブデータ、並びにレンズ２０３、ハーフミラー２０５およびレンズ２０７が発生させる収差や回折の影響を受けたＰＳＦである。

したがって、式（１）、（４）、（５）、（６）より以下の式（７）が導かれる。

データ処理部２０９は、式（７）を用いてデコンボリューション処理を行うことで、スペクトルキューブデータの高精度化を行うことができる。ｈ_０、ｈ_２およびｄを用いたデコンボリューション処理は、図７（ｂ）に示されるインターフェログラムデータに対してフーリエ変換することで取得されるスペクトルキューブデータに対して行われることで、スペクトル領域の補正が完了する。また、実施例１と同様に、ｈ_１を用いたデコンボリューション処理を行うことで、空間領域の補正が完了する。

また、本実施例の分光光学系である干渉計部分の収差や回折が大きい場合、インターフェログラムキューブデータをデコンボリューション処理により補正してもよい。すなわち、レンズ２０３、ハーフミラー２０５およびレンズ２０７が発生させる収差や回折に対してデコンボリューション処理を行うことでインターフェログラムキューブデータを補正する。

なお、本実施例は、取得したインターフェログラムキューブデータからスペクトルキューブデータを算出する方法の１例であり、各光学系の構成や光学素子の種類等はこれに限定されるものではない。

ハイパースペクトルイメージングにおいては、様々な用途に応じてハイパースペクトルキューブデータの取得対象となる物体空間が異なり、それに応じて撮像光学系も異なる。例えば、広角に情報を取得したい場合には撮像光学系として広角レンズが使用され、また上空から望遠で地上の詳細な情報を取得したい場合には望遠レンズが使用される。このように分光光学系と撮像素子に対して、撮像光学系が交換可能であると撮像装置としての利便性が高い。そして、このような光学系交換タイプの撮像装置では、ハイパースペクトルキューブデータの補正がスペクトル領域と空間領域のそれぞれで独立して行えることが好ましい。

本実施例では、光学系交換タイプの撮像装置の分光データ処理について説明する。本実施例の撮像装置の構成は、撮像光学系が撮像装置に着脱可能に取り付けられる構成以外は、実施例１または実施例２の撮像装置の構成と同一である。本実施例の分光データ処理は図２または図６のフローに沿って処理されるが、図２のステップＳ１４および図６のステップＳ２５では図８に示される処理を行う。

ステップＳ３１では、データ処理部（第１の処理部）は、分光光学系の光学特性および撮像素子の特性に基づいてスペクトルキューブデータをスペクトル領域において補正し、第１の補正スペクトルキューブデータを生成する。

ステップＳ３２では、データ処理部（第２の処理部）は、撮像光学系の光学特性および撮像素子の特性に基づいて第１の補正スペクトルキューブデータを空間領域において補正し、第２の補正スペクトルキューブデータを生成する。この第２の補正スペクトルキューブが最終的な補正後のスペクトルキューブとなる。

このようにスペクトル領域と空間領域における補正を分離しておく場合、常に同じである分光光学系の光学特性はあらかじめ１度だけ算出し、メモリに保存しておけばよい。そうすることで、分光光学系の光学特性を再度算出する必要はなく、メモリから読み出すだけでよい。したがって、スペクトルキューブデータに対する補正処理の速度を向上させることができる。
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０１、２０１ 撮像光学系
１０６、２０８ 撮像素子
１０７、２０９ データ処理部（分光データ処理装置）

Claims (12)

1. 撮像光学系により結像された光を分光光学系により分光して撮像素子により撮像することで取得されたデータに基づく空間スペクトル画像に対する処理を行う分光データ処理装置であって、
   前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいて、前記空間スペクトル画像をスペクトル領域および空間領域において補正することを特徴とする分光データ処理装置。
2. 前記分光データ処理装置は、前記分光光学系の光学特性および前記撮像素子の特性に基づいて前記空間スペクトル画像をスペクトル領域において補正する第１の処理部と、前記撮像光学系の光学特性および前記撮像素子の特性に基づいて前記第１の処理部により補正された前記空間スペクトル画像を空間領域において補正する第２の処理部と、を備えることを特徴とする請求項１に記載の分光データ処理装置。
3. 前記撮像光学系の光学特性は、前記撮像光学系の点像分布関数または光学伝達関数に関する情報を含むことを特徴とする請求項１または２に記載の分光データ処理装置。
4. 前記分光光学系の光学特性は、前記分光光学系の点像分布関数または光学伝達関数に関する情報を含むことを特徴とする請求項１から３のいずれか１項に記載の分光データ処理装置。
5. 前記撮像素子の特性は、前記撮像素子の画素ピッチおよび開口に関する情報を含むことを特徴とする請求項１から４のいずれか１項に記載の分光データ処理装置。
6. 前記分光データ処理装置は、前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいてデコンボリューション処理を行うことで、前記空間スペクトル画像をスペクトル領域および空間領域において補正することを特徴とする請求項１から５のいずれか１項に記載の分光データ処理装置。
7. 前記分光データ処理装置は、前記空間スペクトル画像の所定の領域ごとの前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいて、前記所定の領域をスペクトル領域および空間領域において補正することを特徴とする請求項１から６のいずれか１項に記載の分光データ処理装置。
8. 前記分光データ処理装置は、前記データの取得時の撮影条件に関する情報に基づいて、前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性を生成することを特徴とする請求項１から７のいずれか１項に記載の分光データ処理装置。
9. 撮像光学系により結像された光を分光光学系により分光して撮像素子により光電変換する撮像系と、
   請求項１から８のいずれか１項に記載の分光データ処理装置と、を有することを特徴とする撮像装置。
10. 撮像光学系により結像された光を分光光学系により分光して撮像素子により撮像することで取得されたデータに基づく空間スペクトル画像に対する処理を行う分光データ処理方法であって、
    前記撮像光学系の光学特性、前記分光光学系の光学特性および前記撮像素子の特性に基づいて、前記空間スペクトル画像をスペクトル領域および空間領域において補正する補正ステップを有することを特徴とする分光データ処理方法。
11. 前記補正ステップは、前記分光光学系の光学特性および前記撮像素子の特性に基づいて前記空間スペクトル画像をスペクトル領域において補正する第１の補正ステップと、前記撮像光学系の光学特性および前記撮像素子の特性に基づいて前記第１の補正ステップで補正された前記空間スペクトル画像を空間領域において補正する第２の補正ステップと、を備えることを特徴とする請求項１０に記載の分光データ処理方法。
12. コンピュータを請求項１から８のいずれか１項に記載の分光データ処理装置として機能させるための分光データ処理プログラム。