JP2013033006A

JP2013033006A - 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム

Info

Publication number: JP2013033006A
Application number: JP2011169965A
Authority: JP
Inventors: Hiroki Miyoshi; 裕樹三好; Koichi Iino; 浩一飯野
Original assignee: Toppan Printing Co Ltd
Current assignee: Toppan Inc
Priority date: 2011-08-03
Filing date: 2011-08-03
Publication date: 2013-02-14
Anticipated expiration: 2031-08-03
Also published as: JP5942356B2

Abstract

【課題】入射角度依存性を有する光学フィルタとカメラとを組合せてマルチバンド化を実現し、画像周辺部でも精度を低下させずに撮影対象の分光情報を推定する。
【解決手段】撮影対象１を撮影する撮像機器13とこの撮像機器及び撮影対象の間に設置する光学フィルタ11とからなる撮像手段11〜13と、撮像された画像の各画素に結像される光の光学フィルタへの入射角度θを算出し、予め入射角度毎に測定し記憶された光学フィルタの分光透過率データを用いて、前記入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列Ｗを算出する手段17，151と、算出された分光反射率推定行列Ｗと画素の画素値ｇ_iとを用いて、結像する撮影対象上の位置の分光情報を算出する手段17とを備えた分光情報取得装置である。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像機器と干渉フィルタ等の光学フィルタとを組み合わせて撮像系を構成した撮像手段を用いて、撮影対象の分光情報を取得する分光情報取得装置、分光情報取得方法及び分光情報取得用プログラムに関する。

分光情報は、撮影対象の色を決定する上で重要な物理特性であって、特に撮影対象の分光反射率を画像情報として取得することは、任意照明環境下での撮影対象の色再現を行う上で非常に有用なものとなる。

デジタルカメラ等の撮像機器を用いて撮像対象の分光情報を取得するに際し、モノクロカメラやＲＧＢ３チャンネルのカメラでは情報が不足しているので、３チャンネルよりも多いチャンネル数を用いて、撮像対象の分光情報を取得する、マルチバンドカメラを用いる場合が多い。

簡易なマルチバンドカメラを実現する方法の例としては、ＲＧＢデジタルカメラと、該カメラと撮像対象（被写体）との間に設置する光学フィルタとを組み合わせて撮像系を構成し、図６の上段に示す光学フィルタ非装着時及び図６の下段に示す光学フィルタ装着時に順次撮像系による撮影を繰り返し、撮像系の分光感度の異なる２枚の画像を得て、合計６チャンネル分の色情報を得る方法がある（例えば、非特許文献１、非特許文献２）。なお、図６の中段は、ＲＧＢデジタルカメラと撮像対象との間に設置する光学フィルタの分光透過率の特性を示す。

このようなマルチバンド化の実現方法は、チャンネル数６と比較的少ないチャンネル数であるが、自然物や色材の多くの分光反射率が高々６程度の少数の基底関数の線形和で表せることが知られており、予め事前に測定した撮像対象となる被写体と同種の分光反射率をもったサンプル群を学習情報として用いることで、６チャンネルであっても、高い精度で被写体の分光反射率を取得することが可能である(例えば、非特許文献３)。

上述の方法に使用する光学フィルタとしては、色ガラスフィルタを用いる方法（例えば、非特許文献１）があるが、色ガラスフィルタは分光透過率の波形の変化が緩やかなため、所望の分光感度特性を達成することが難しく、分光反射率推定の精度が悪くなる。また、色ガラスフィルタ全体の分光透過率が低いため、フィルタ装着時の撮像系の分光感度が小さくなり、得られる画像のＳ／Ｎが悪くなるといった問題がある。

また、上述の方法に使用する光学フィルタとして、干渉フィルタを用いる方法がある（例えば、非特許文献２）この干渉フィルタは、分光透過率をある程度コントロールできることから、所望の分光感度特性を得やすく、また、高い分光透過率を実現できるため、フィルタ装着時の撮像系の分光感度が大きくなり、高いＳ／Ｎを保てる利点がある。

しかし、干渉フィルタには、該フィルタへの光の入射角度がフィルタ面に対して垂直でない場合、透過波長帯が短波長側にシフトするといった光学特性を有している。その結果、干渉フィルタを用いてマルチバンド化した撮像系を用いて分光反射率を取得した場合、画像中心から周辺部へ向かうに従って分光反射率推定の精度が低下するといった問題がある。

そこで、以上のような問題を克服する手段としては、狭帯域の透過波長帯を有する液晶チューナブルフィルタまたは複数の干渉フィルタとモノクロカメラとを用いて撮像系を構成し、この撮像系で得られる撮影画像から分光反射率を推定する際、事前に画素位置毎のフィルタ分光透過率の波長シフト量を同定しておき、前述のごとく撮影画像から分光反射率を推定したとき、この推定された分光反射率データを波長シフト量だけ修正する方法がある（例えば、特許文献１、特許文献２）。

しかし、この波長シフト量だけ修正する方法は、狭帯域のフィルタを用いて、透過波長帯の中心波長を分光反射率サンプル点とする方法でのみ成り立つことから、図６に示すような幅広い分光透過率波形を有するフィルタを用いる方法には適用できない。

特開平１０−１４２０５３号公報特開２００２−３３５５３８号公報

Roy S. Berns, Lawrence A. Taplin, Mahdi Nezamabadi, Mahnaz Mohammadi and Yonghui Zhao, "Spectral imaging using a commercial color-filter array digital camera", in proc. 14th Triennal ICOM-CC meeting, pp.743-750 (2005) 橋本勝、岸本順子、"市販デジタルカメラを利用した2ショット型6バンド静止画像撮影システムによる色再現"、カラーフォーラムJAPAN2007予稿集pp.113-116 (2007) 三宅洋一編集、分光画像処理入門第４章、東京大学出版会、2006年

従って、以上のように広帯域の透過波長帯を有した干渉フィルタとデジタルカメラとを組み合わせた撮像系を用いて、撮影対象の分光情報を取得する場合、干渉フィルタに入射する光の入射角度に依存した光学特性が存在することから、画素位置が周辺部に向かうに従って分光反射率の推定精度が低下する問題がある。

そこで、本発明は以上のような問題を解決するためになされたもので、分光透過率の入射角度依存性を有する光学フィルタとデジタルカメラ等の撮像機器とを用いて簡易なカメラのマルチバンド化を実現し、かつ画像周辺部においても精度を低下させずに撮影対象の分光情報を取得する分光情報取得装置、分光情報取得方法及び分光情報取得用プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に対応する発明は、撮影対象の分光情報を取得する分光情報取得装置であって、撮影対象を撮影する撮像機器とこの撮像機器及び撮影対象の間に設置する光学フィルタとからなる撮像手段と、この撮像手段で撮像される画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記算出された光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する手段と、この算出手段で算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する手段とを備えた構成である。

請求項２に対応する発明は、請求項１に対応する発明に記載される撮像手段としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の前記光学フィルタが順次着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする。

請求項３に対応する発明は、請求項１に対応する発明に記載される撮像手段としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする。

また、請求項４に対応する発明は、撮影対象を撮影する撮像機器とこの撮像機器及び当該撮影対象の間に設置する光学フィルタとからなる撮像手段により前記撮影対象の画像を取得する第1のステップと、この第１のステップで取得された画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記算出された光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する第２のステップと、この第２のステップで算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する第３のステップとを設けることにより、撮影対象の分光情報を取得する分光情報取得方法である。

請求項５に対応する発明は、請求項４に対応する発明に記載される前記第1のステップとしては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の当該光学フィルタを、前記撮像機器及び前記撮影対象の間に着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする。

請求項６に対応する発明は、請求項４に対応する発明に記載される前記第1のステップとしては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする。

さらに、請求項７に対応する発明は、撮影対象を撮影する撮像機器とこの撮像機器及び前記撮影対象の間に設置する光学フィルタとで構成される撮像系が設けられ、かつ、予め光の入射角度毎の前記光学フィルタの分光透過率データが記憶され、前記撮影対象の分光情報を取得処理するコンピュータに、前記撮影対象を撮影する撮像機器とこの撮像機器及び当該撮影対象の間に設置する光学フィルタとからなる撮像手段により前記撮影対象の画像を取得する画像取得手順と、この画像取得手順で取得された画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め前記光の入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記算出された光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する分光情報推定行列算出手順と、この分光情報推定行列算出手順で算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する分光情報取得処理手順とを実行させるための分光情報取得用プログラムである。

請求項８に対応する発明は、請求項７に対応する発明に記載される前記画像取得手順としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の当該光学フィルタを、前記撮像機器及び前記撮影対象の間に着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする。

請求項９に対応する発明は、請求項７に対応する発明に記載される前記画像取得手順としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする。

本発明によれば、分光透過率の入射角度依存性を有する光学フィルタとデジタルカメラ等の撮像機器とを用いて簡易なカメラのマルチバンド化を実現し、かつ画像周辺部においても精度を低下させずに撮影対象の分光情報を取得することができる。

本発明に係る分光情報取得装置の一実施の形態を示す構成図。画素位置によって干渉フィルタへの入射角が異なることを説明する図。干渉フィルタとデジタルカメラとを組み合わせた撮像系の幾何関係を説明する図。画素位置と実際のイメージセンサに結像した位置との関係を説明する図。本発明に係る分光情報取得方法及び分光情報取得用プログラムの処理手順を説明するフローチャート。干渉フィルタによる撮像系の分光感度特性の変調の原理を説明する図。

以下、本発明の実施形態について図面を参照して説明する。なお、この実施形態では、本発明装置で取得する撮影対象の分光情報として、分光反射率の取得する例について説明する。

図１は本発明に係る分光情報取得装置の一実施形態を示す構成図である。同図において、１は分光反射率の取得対象となる撮影対象である被写体、２は被写体１に向けて光を照射する撮影光源、１０は被写体１の分光反射率を取得する分光反射率取得装置である。

分光反射率取得装置１０は、干渉フィルタ１１、フィルタ着脱装置１２、ＲＧＢデジタルカメラ１３及びコンピュータ１４によって構成される。

干渉フィルタ１１は、被写体１とＲＧＢデジタルカメラ１３との間に配置されるものであって、ＲＧＢデジタルカメラ１３との組合せによって撮像系を構成する一方、この撮像系の分光感度を変調させる機能をもっている。干渉フィルタ１１の分光透過率は、入射角度毎に測定され、この測定された分光透過率データはコンピュータ１４の一部を構成する外部記憶装置１５のフィルタ透過率データテーブル１５１に格納される。

外部記憶装置１５としては、フィルタ透過率データテーブル１５１の他、測定済みの分光反射率・ノイズ相関行列データを記憶する分光反射率・ノイズ記憶部１５２、ＲＧＢデジタルカメラ１３の予め既知である分光感度データを記憶するカメラ分光感度データ記憶部１５３、予め既知となる撮影用光源２の分光分布データを記憶する光源分光データ記憶部１５４その他必要なデータを格納する共有データ記憶部１５５が設けられている。

フィルタ着脱装置１２は、干渉フィルタ１１を前進・後退させることにより、干渉フィルタ１１をＲＧＢデジタルカメラ１３の前方に着脱自在に配置する装置である。

ＲＧＢデジタルカメラ１３は、撮影対象の画像を撮影し取得するものであって、該カメラ１３の各チャンネルの分光感度は既知であり、前述するように予めカメラ分光感度データ記憶部１５３に格納されている。

コンピュータ１４は、分光反射率取得装置１０全体の処理動作を統括して制御するとともに、所望とするデータ処理を実行するものであって、パソコン等で構成される。

コンピュータ１４は、前述した外部記憶装置１５の他、分光情報取得用プログラムを記憶するＲＯＭで構成される主記憶装置としてのプログラム記憶部１６と、撮影画像の一般的な画像処理の他、分光情報取得用プログラムによる分光情報の取得処理を実行するＣＰＵで構成される画像処理部１７と、同じく分光情報取得用プログラムに従ってフィルタ着脱装置１２及びＲＧＢデジタルカメラ１３の撮影動作制御を司るＣＰＵで構成される機器制御部１８とを備えている。

次に、以上のように構成された分光情報取得装置における分光情報の取得原理ないし取得動作について説明する。ここでは、分光反射率取得装置１０を用いて、分光反射率の取得対象となる被写体１の分光反射率を画素単位で取得する例について説明する。

なお、説明を簡単にするため、ＲＧＢデジタルカメラ１３の各チャンネルの応答特性は線形であるとする。また、干渉フィルタ１１はＲＧＢデジタルカメラ１３の光軸に対して垂直に配置されているものとする。また、被写体１と分光反射率取得装置１０とは十分に距離が離れているものとする。以下、分光情報としては離散化されたデータとして扱い、ベクトルまたは行列で表すものとする。

今、被写体１上の1点の分光反射率をｒ_i、撮影光源２の分光分布をE、ＲＧＢデジタルカメラ１３の分光感度をS_n、干渉フィルタ１１の分光透過率をTとすると、それぞれ下式で表すことができる。

ここで、行列上の右肩の添字Ｔは転置を表す。また、添字ｉは画素番号、Ｎは波長サンプリング数を表す。例えば、分光情報を３８０ｎｍから７３０ｎｍ、１０ｎｍ間隔でサンプリングした場合、Ｎ＝３６である。撮影光源２の分光分布Ｅは対角成分ｅ₁，ｅ₂，…，ｅ_Nが各波長の分光強度を表し、他成分は０である。ＲＧＢデジタルカメラ１３の分光感度S_nの各列はＲ、Ｇ、Ｂの各チャンネルの分光感度を表す。干渉フィルタ１１の分光透過率Tは対角成分t₁，t₂，…，t_Nが各波長の分光透過率を表し、他成分は０である。

干渉フィルタ１１とＲＧＢデジタルカメラ１３とを組み合わせて撮像系を構成する場合、フィルタ装着時の撮像系の分光感度S_tは下記の（５）式で計算することができる。

ここでは、フィルタ装着時とフィルタ未装着時の２回の撮影を繰り返すことにより、合計6チャンネル分の撮影画像を得る場合、６チャンネル分の撮像系全体の分光感度をまとめて、下記の（６）式のS_cで表せる。
S_c＝［S_n S_t］ ……（６）
また、干渉フィルタ１１とＲＧＢデジタルカメラ１３とを組み合わせたマルチバンド撮像系の場合、画像番号iの得られる画素値は下記（７）式でモデル化することができる。
ｇ_i＝S_c ^TEｒ_i ……（７）
上式において、ｇ_iは画素値を表し、当該画素値ｇ_iが表せる。
ｇ_i＝［ｇ_i1ｇ_i2ｇ_i3ｇ_i4ｇ_i5ｇ_i6］ ^T ……（８）
この（８）式において、１、２、３番目の成分はそれぞれフィルタ非装着時のＲ、Ｇ、Ｂ各チャンネルの画素値、４、５、６番目の成分はそれぞれフィルタ装着時のＲ、Ｇ、Ｂ各チャンネルの画素値を表す。

そこで、分光反射率の推定は、（７）式のモデルの逆問題を解き、ｇ_i から未知のｒ_iを求めることに相当し、線形演算によってこれを解くと、下記の（９）式で推定分光反射率を得ることができる。

ここで、画素値から分光反射率への変換行列Ｗ（以下、分光反射率推定行列と呼ぶ）は（６×３６）次元であり、これを満たす解は一意ではない。

しかし、自然界の多くの分光反射率は、低次元（３−９次元程度）の基底関数の線形和で表すことが可能なことがわかっているので、このことを利用して分光反射率推定行列Ｗを導出する種々の方法が提案されている。ここでは、分光反射率推定行列Ｗを求める方法として、ウィーナー推定法を用いるものとすると、分光反射率推定行列Ｗは下記の（１０）式で求めることができる。

ここで、（１０）式において、Ｒ_rは推定対象の分光反射率の相関行列、Ｒ_nは撮像系の画像ノイズの相関行列である。Ｒ_rは実際に推定対象のカテゴリに属する多数の分光反射率データの実測値サンプルを集め、相関行列により計算することにより事前に得ることができる。また、ノイズＲ_nは均一な白色物体を撮像し、その画素値のばらつきをノイズと見なして事前に測定することができる。

従って、以上のようにして（７）式のカメラ撮像モデルの逆問題に基づいて分光反射率を推定する場合、ＲＧＢデジタルカメラ１３の分光感度S、撮影光源２の分光分布E、干渉フィルタ１１の分光透過率Tが既知であることが必要となる。また、その測定精度が分光反射率推定に影響を及ぼすことが知られている。

ところで、干渉フィルタ１１の分光透過率Tは光の入射角度に依存するという特性を持っている。すなわち、光が光軸からθ[度]傾いて入射した際の分光透過率Tの波長シフト量λ（θ）は(１１)式の近似式で求めることができる（ただし、入射角度が１０度以下の場合）。

ここで、ｎ_effは実効屈折率とよばれる干渉フィルタ１１の薄膜の構成によって決まる特性である。

一方、ＲＧＢデジタルカメラ１３の前方に干渉フィルタ１１を設置して撮像した場合、デジタルカメラ１３の画素毎に、当該画素に対応するイメージセンサの位置に結像する光の干渉フィルタ１１を通る際の入射角度が異なる。図２に示すように、ＲＧＢデジタルカメラ１３の光軸に垂直に干渉フィルタ１１を設置した場合、画像中心から同心円上に向かって干渉フィルタ１１への入射角度θ₁，θ₂，θ₃が大きくなってくる。ここでは、ＲＧＢデジタルカメラ１３と被写体１との距離が十分に遠く、入射角度はほぼレンズ中心を通る光で代表できるものとする。

ゆえに、以上のような干渉フィルタ１１の特性により、分光透過率Tを０度入射時の1つのみを使用して（１０）式に基づいたマルチバンド画像からの分光反射率の推定を行った場合、干渉フィルタ１１の波長シフトに起因するモデル化誤差が生じるため、前述したように画像の中心から周辺部へ向かうに従って分光反射率の推定精度が低下するといった問題が生じる。

そこで、本発明装置においては、画素毎に使用するフィルタ分光透過率Tを変えて分光反射率推定行列を作成することで、モデル化誤差を軽減し、画像周辺部であっても高い分光反射率推定精度を実現できるものであり、図３及び図４を参照して説明する。

図３は画素位置と、被写体１をデジタルカメラ１３で撮像した場合の干渉フィルタ１１への入射角度θとの関係を示す模式図、図４は画素位置と実際のイメージセンサに結像した位置との関係を説明する図である。

まず、ある画素に対応するところの干渉フィルタ１１への光の入射角度θを決定する。ここでは、干渉フィルタ１１はＲＧＢデジタルカメラ１３の光軸に対して垂直に設置しているものとする。

今、画素ｉの画像上の座標を（Ｘｉ，Ｙｉ）とすると、カメラ１３のイメージセンサ上の位置（x_i,ｙ_i ）とは一対一で対応する。画像中心の座標値を（Ｘ_c,Ｙ_c）とすると、画像中心からの半径Ｒｉに対応する、イメージセンサ上におけるセンサ中心からの半径ｒ_iは下記の（１２）式で表すことができる。

上式において、Wはイメージセンサの横の長さ、Ｗは画像の横画素数である。ここで、W，Ｗはそれぞれイメージセンサの縦の長さ、画像の縦画素数としても良い。このとき、干渉フィルタ１１への入射角度θは下記の（１３）式で計算することができる。
θ＝arctan(ｒ_ｉ／ｆ) ……（１３）
上式において、ｆはＲＧＢデジタルカメラ１３のレンズの焦点距離を指す。干渉フィルタ１１への入射角度θが分かれば、事前に測定した入射角度毎の分光透過率データから、θに対応する干渉フィルタ１１の分光透過率を算出することで、当該画素の分光反射率推定行列Ｗを（１０）式に基づいて導出することが可能となる。

次に、本発明に係る分光情報取得方法及び分光情報取得用プログラムの一実施の形態について、図５を参照して説明する。

図５は分光反射率（分光情報）を取得するための一連の処理手順を示すフローチャートである。分光情報取得用プログラムは、常時はプログラム記憶部１６に格納され、一連の処理の実行時に機器制御部１８または画像処理部１７が起動し、プログラム記憶部１６から分光情報取得用プログラムを読み出してワークメモリである外部記憶装置１５の例えば共有データ記憶部１５５などに格納し、分光情報取得用プログラムを実行する。なお、分光情報取得用プログラムの実行に際し、機器制御部１８と画像処理部１７とは互いに連係し、図５に示す一連の処理を進めていく。

まず、コンピュータ１４は、撮影対象となる被写体１と撮像機器であるデジタルカメラ１３との間に干渉フィルタ１１を配置し、当該干渉フィルタ１１とＲＧＢデジタルカメラ１３とで構成される撮像系を用いて、被写体１からの画像を取得する画像取得手順を実行する（Ｓ１，Ｓ２）。

この画像取得手順としては、例えば撮影光源２から被写体１に光を照射した後、機器制御部１が所定の順序でフィルタ着脱装置１２を制御し、そのフィルタ着脱装置１２の着脱制御後、ＲＧＢデジタルカメラ１３に撮影指示を出し、被写体１を撮像する手順となる。

すなわち、機器制御部１８は、フィルタ着脱装置１２に対して干渉フィルタ１１の装着及び未装着の制御指示を出し、干渉フィルタ１１装着後及び脱着後にＲＧＢデジタルカメラ１３に撮影指示を送出し順次撮影を繰り返すことにより、フィルタ装着時と非装着時の２枚の画像を得る，いわゆるマルチバンド撮影を行う（Ｓ１）。

ＲＧＢデジタルカメラ１３は、以上のようにして撮像された２枚１組のマルチバンド画像をコンピュータ１４の画像処理部１７へ転送する（Ｓ２）。
ここで、画像処理部１７は、以下、ＲＧＢデジタルカメラ１３から受け取った画像の推定対象画素数だけ同様の処理を繰り返し行うことにより（Ｓ３−Ｓ８）、画素における分光情報推定行列算出処理手順（Ｓ３−Ｓ６）及び分光情報取得処理手順（Ｓ７）を実行する。

画像処理部１７は、対象画素ｉに入射する光の干渉フィルタ１１への入射角度θを前記（１２）式及び（１３）式に基づいて算出した後（Ｓ４）、干渉フィルタ１１の分光透過率Tを算出する（Ｓ５）。

すなわち、画像処理部１７は、予めフィルタ透過率データテーブル１５１に干渉フィルタ１１の入射角度毎の既知なる分光透過率データが記憶されているので、前記ステップＳ４で算出された入射角度θに基づき、フィルタ透過率データテーブル１５１を参照し、算出された入射角度θにおける干渉フィルタ１１の分光透過率データを算出する（Ｓ５）。例えば、フィルタ透過率データテーブル１５１には干渉フィルタ１１の入射角度θ＝０から１度刻みで測定された分光透過率データが格納されているので、フィルタ透過率データテーブル１５１間の線形補間等の処理により該当する入射角度に対応する分光透過率データを算出する。

引き続き、画像処理部１７は、ステップＳ５にて算出された分光透過率データを用いて、前記（１０）式にて分光反射率推定行列Ｗを算出する（Ｓ６）。

さらに、画像処理部１７は分光情報取得処理手順（Ｓ７）を実行する。この分光情報取得処理手順は、ステップＳ６にて算出された分光反射率推定行列Ｗ及び該当画素の画素値ｇ_iから、前記（９）式により分光反射率ｒ_iを推定する。

以下、前述する一連の処理手順（Ｓ３−Ｓ７）を推定対象画素全てについて実行した後（Ｓ８）、終了する。

従って、以上のような実施形態によれば、干渉フィルタ１１とＲＧＢデジタルカメラ１３とを組み合せることでマルチバンド化を行い、被写体１の分光反射率を取得する際、干渉フィルタ１１の分光透過率の入射角度依存性を考慮し、分光反射率推定行列及び該当画素の画素値から分光反射率を算出するので、画像の周辺部に向うに従って分光反射率推定精度を低下させることなく、精度の高い撮影対象の分光情報を取得することができる。

（その他の実施の形態）
なお、前述した実施の形態は本発明の一例を示したものであり、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内において、適宜の変更または改変を行ってもよい。

（１）例えば前述した実施の形態例では、取得分光情報として被写体の分光反射率としたが、これに限定されることではなく、別の分光情報、例えば撮影シーンの分光強度分布としてもよい。例えば、撮影光源２の分光分布が既知であれば、前記（９）式で求めた分光反射率に対して撮影光源２の分光強度分布Eを掛けることで、撮影シーンの分光強度分布を求めることができる。一方、撮影光源２の分光分布が未知であるなら、前記（４）式で導出するウィーナー推定に基づく分光情報推定行列（ここでは分光強度分布推定行列）に用いる相関行列を、様々な光源の分光分布に対してサンプリングして算出すればよい。

（２）また、前述した実施の形態例では、分光情報推定行列の導出方法として、ウィーナー推定法を用いる例について説明したが、これに限定されることではなく、例えば主成分分析にもとづく方法など別の推定行列算出式に変えても、画素毎に光学フィルタの入射角度依存性を考慮して分光情報推定行列を算出すればよい。

（３）また、前述した実施の形態例では、干渉フィルタ１１の分光透過率をフィルタ透過率データテーブル１５１に記憶し、これに基づいて分光透過率の算出を行なったが、例えば（１１）式に基づき、画素毎のフィルタ分光透過率のシフト量を算出し、分光透過率データを求めても良い。

（４）また、前述した実施の形態例では、分光情報推定行列を画素毎に再計算して求めるようにしたが、これに限定されることではなく、予めフィルタ入射角毎に、（１０）式に基づいて分光反射率推定行列を算出し、これをキャッシュデータとして事前にコンピュータ１４を構成する外部記憶機装置１５に格納しておき、画素毎の推定時には既に格納されているキャッシュデータを参照することで分光反射率推定行列を求めてもよい。

（５）さらに、前述した実施の形態例では、干渉フィルタ１１及びデジタルカメラ１３で構成される撮像系を1つとしたが、これに限定されることではなく、各々撮像系全体の分光特性が異なるような撮像系を複数有し、これらから撮影して得た複数の画像によってマルチバンド化を行い、被写体１の分光反射率取得を行ってもよい。また、複数の撮像系を有しておらず、また撮像系におけるフィルタ１１の着脱を行なわなくても、３チャンネルの色情報から分光反射率推定が可能な素材の分光反射率取得が必要な場合でも、干渉フィルタ１１など透過率の入射角度依存性のある光学フィルタを撮像系に組み込む場合は、本手法が適用可能である。

（６）さらに、前述した実施の形態例では、干渉フィルタ１１はＲＧＢデジタルカメラ１３の光軸に垂直に設置するようにしたが、これに限定されることではなく、各画素に入射した光と干渉フィルタ１１とのなす角が同定できる手段があれば、角度に応じた干渉フィルタ１１の分光透過率を算出し、分光反射率推定行列を求めればよい。

（７）さらに、前述した実施の形態例では、光学フィルタとして干渉フィルタ１１を用いるとしたが、これに限定されることではなく、液晶チューナブルフィルタなど、透過率の入射角度依存性が存在するフィルタ全般を使用する際に適用可能である。

（８）さらに、前述した実施の形態例では、被写体１が十分に遠く、レンズ中心を通る光線と干渉フィルタ１１がなす角のみを使用するとしたが、これに限定されることではなく、被写体１が分光反射率取得装置１０に近く、様々なフィルタ入射角度の光がレンズにより当該画素に集光される場合でも、口径と被写体距離との関係から集光する光のフィルタ入射角度の期待値を求め、それに入射角度を代表させてもよい。

（９）さらに、前述した実施の形態例では、ＲＧＢデジタルカメラ１３の応答特性は各チャンネル線形であるとしたが、これに限定されることではなく、事前にＲＧＢデジタルカメラ１３の応答特性を同定しておき、この逆関数を取得画素値に適用することで線形化すれば、本手法を適用することが可能である。

１…被写体、２…撮影光源、１０…分光反射率取得装置、１１…干渉フィルタ、１２…干渉フィルタ着脱装置、１３…ＲＧＢデジタルカメラ、１４…コンピュータ、１５…外部記憶装置、１６…プログラム記憶部、１７…画像処理部、１８…機器制御部、１５１…フィルタ透過率データテーブル、１５２…分光反射率・ノイズ記憶部、１５３…カメラ分光感度データ記憶部、１５４…光源分光データ記憶部。

Claims

撮影対象の分光情報を取得する分光情報取得装置であって、
前記撮影対象を撮影する撮像機器とこの撮像機器及び撮影対象の間に設置する光学フィルタとからなる撮像手段と、
この撮像手段で撮像される画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する手段と、
この算出手段で算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する手段と
を備えたことを特徴とする分光情報取得装置。
前記撮像手段としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の前記光学フィルタが順次着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする請求項１に記載の分光情報取得装置。
前記撮像手段としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする請求項１に記載の分光情報取得装置。
撮影対象を撮影する撮像機器とこの撮像機器及び当該撮影対象の間に設置する光学フィルタとからなる撮像手段により前記撮影対象の画像を取得する第1のステップと、
この第１のステップで取得された画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する第２のステップと、
この第２のステップで算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する第３のステップと
を設けることにより、前記撮影対象の分光情報を取得することを特徴とする分光情報取得方法。
前記第1のステップとしては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の当該光学フィルタを、前記撮像機器及び前記撮影対象の間に着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする請求項４に記載の分光情報取得方法。
前記第1のステップとしては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする請求項４に記載の分光情報取得方法。
撮影対象を撮影する撮像機器と前記撮影対象及び当該撮像機器の間に設置される光学フィルタとで構成される撮像系が設けられ、かつ、予め光の入射角度毎の前記光学フィルタの分光透過率データが記憶され、前記撮影対象の分光情報を取得処理するコンピュータに、
前記撮影対象を撮影する撮像機器とこの撮像機器及び当該撮影対象の間に設置する光学フィルタとからなる撮像系により前記撮影対象の画像を取得する画像取得手順と、この画像取得手順で取得された画像の各画素に結像される光の前記光学フィルタへの入射角度を算出し、予め前記光の入射角度毎に測定し記憶された前記光学フィルタの分光透過率データを用いて、前記光の入射角度に対応する分光透過率データを算出し、前記各画素における分光情報推定行列を算出する分光情報推定行列算出手順と、この分光情報推定行列算出手順で算出された分光情報推定行列と画素の画素値とから、結像する前記撮影対象上の位置の分光情報を算出する分光情報取得処理手順とを実行させるための分光情報取得用プログラム。
前記画像取得手順としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、１枚または複数枚の当該光学フィルタを、前記撮像機器及び前記撮影対象の間に着脱させつつ撮像を繰り返し、これら複数枚の撮像画像をもって一組の画像入力とすることを特徴とする請求項７に記載の分光情報取得用プログラム。
前記画像取得手順としては、デジタルカメラ等の前記撮像機器とこの撮像機器及び前記撮影対象の間に設置する前記光学フィルタとで構成される撮像系であって、各々撮像系全体の分光特性が異なるような複数の撮像系を有し、これら複数の撮像系で撮像された画像をもって一組の画像入力とすることを特徴とする請求項７に記載の分光情報取得用プログラム。