JP2008298722A - 分光反射率取得方法、分光反射率取得装置、および分光反射率取得プログラム - Google Patents

Abstract

【課題】対象物の分光反射率を取得する。
【解決手段】直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次光学フィルタを切り換えて、対象物と、分光反射率が既知の物体とを撮像したときの複数の画像データを取得し、複数の画像データに対して、バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を取得し、複数の差分画像の画素値と、直交関数の自乗の積分値との比を係数とし、直交関数の線形和を計算することで入射光の分光分布と撮像手段の分光感度の積の相対値を推定し、対象物の画像より得られる入射光の分光分布と撮像手段の分光感度の積の相対値から、分光反射率が既知の物体の画像より得られる入射光の分光分布と撮像手段の分光感度の積の相対値を除することで、対象物の分光反射率を取得する。
【選択図】図１

Description

本発明は、撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得方法、分光反射率取得装置および分光反射率取得プログラムに関する。

近年、文化財等の特つ情報をデジタル化して保存を行なうデジタルアーカイブの重要性が指摘されている。色彩データのデジタルアーカイブの場合、カメラのＲＧＢデータや測色値データ等、光源に依存する色彩情報を保存するのではなく、物体そのものの色情報である分光反射率を保存することが望ましい。対象物の分光反射率を得る方法の―つとして、マルチバンドカメラによる対象物の撮影から得た分光画像を用いて推定を行なうものがある。この方法は、スポット部分のみ分光反射率を測定できる分光放射輝度計等を用いた方法に比べて、画像の各点から対象物の分光反射率を広範囲に取得できるという利点がある。マルチバンドカメラは一般的に、レンズ等の光学系と、光学系の前方あるいは後方に設置された光学フィルタと、受光素子を備えたＣＣＤあるいはＣＭＯＳ等の二次元イメージセンサを有する。光学フィルタはバンドパス特性を有し、またその透過波長域を変更することが可能であり、これにより光学フィルタの透過波長域を切り換えて複数回対象物の撮像を行なうことで、分光画像を取得する。

ここで光学フィルタは、液晶チューナブルフィルタにより電気的に透過波長域を切り換えるものや、透過波長域のそれぞれ異なる複数の光学干渉フィルタを円盤状あるいは直線状に配置し、撮像時に用いるフィルタを切り換えるものが一般的である。マルチバンドカメラを用いて対象物の分光反射率を推定する手法としては、一つには透過波長域の比較的狭い（例えば、平均半値幅が２０ｎｍ以下）バンドパス特性を有する光学フィルタを用いて、比較的多いチャンネル数（例えば、１６チャンネル）の分光画像を取得し、これらのデータから線形補間やラグランジュ補間等の公知の方法を用いて補間するものが挙げられる（例えば、特許文献１参照）。

マルチバンドカメラを用いた別の分光反射率推定の手法としては、透過波長域の比較的広いバンドパス特性（例えば、平均半値幅が６０ｎｍ以上）を有する光学フィルタを用いて、比較的少ないチャンネル数（例えば、４〜６チャンネル）の分光画像と、対象物と同種の組成を持つ物体の分光反射率データを学習データとして用い、主成分分析等の公知の方法を用いて対象物の分光反射率を推定するものがある（例えば、特許文献２参照）。
特開２００１−００５０４６号 特開２００２−２７９４１５号

しかしながら、特許文献１の手法では光学フィルタのバンド幅が狭帯域であるため、イメージセンサの受ける光量が少なくなるため、バンド幅の広い光学フィルタを用いる場合に比べて画像信号のＳＮ比が小さくなってしまうという問題がある。なおここで、画像のＳＮ比を大きくするために撮像時の光源の光量を上げる方法は、光に弱い文化財等を撮像の対象とする場合には行なうことができない。また特許文献２の手法はイメージセンサの受ける光量が大きくなるため、得られる画像のＳＮ比が大きくなるという利点があるが、対象物と同種の組成を持つ物体の分光反射率データが既知のものでなければ分光反射率推定の精度が低くなってしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、事前の学習データを用いず、かつＳＮ比の大きい画像データを用いて対象物の分光反射率を取得することができる分光反射率取得方法、分光反射率取得装置および分光反射率取得プログラムを提供することを目的とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定するステップと、前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得するステップとを有することを特徴とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定するステップと、前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得するステップとを有することを特徴とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定するステップと、前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得するステップとを有することを特徴とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定する手段と、前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得する手段とを備えることを特徴とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定する手段と、前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得する手段とを備えることを特徴とする。

本発明は、撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定する手段と、前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得する手段とを備えることを特徴とする。

本発明は、撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定する処理と、前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得する処理とをコンピュータに行わせることを特徴とする。

本発明は、撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定する処理と、前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得する処理とをコンピュータに行わせることを特徴とする。

本発明は、撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定する処理と、前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得する処理とをコンピュータに行わせることを特徴とする。

本発明によれば、光学フィルタの分光透過率が可視光域内で定義される直交関数系をなすことで、十分大きい光量を得ることができるため、従来手法より大きなＳＮ比を実現することができるとともに、学習データを必要とせずに分光反射率の取得を行うことが可能になるという効果が得られる。

以下、本発明の一実施形態による分光反射率取得装置を図面を参照して説明する。初めに、本発明による分光反射率取得の原理を説明する。

光学フィルタを通して取得したカメラ画像のうち、１受光素子のセンサ応答値は、被写体の分光反射率と、撮像環境の装置関数、すなわちイメージセンサの分光感度、光源の分光強度、光学フィルタおよびレンズの分光透過率を掛け合わせたものとの積を、光の波長領域において積分することで計算することができる。すなわち、センサ応答値ｖは、式（１）で計算することができる。

ここで、ｒ（λ）は被写体の分光反射率、ｌ（λ）は撮像環境の光源の分光強度とイメージセンサの分光感度、およびレンズの分光透過率を掛け合わせたもの、ｔ（λ）は光学フィルタの分光透過率である。また、積分区間［λmin，λmax］は分光反射率取得の対象とする波長領域である。例えば、可視光域であればλmin＝３８０ｎｍ、λmax＝７８０ｎｍである。

式（１）において、ｒ（λ）×ｌ（λ）＝ｗ（λ）とすると、センサ応答値Ｖは式（２）とも表現できる。

ここで、区間［λmin，λmax］上で完備な直交基底をなす、すなわち式（３）を満たす
関数列｛φ_０（λ），φ_１（λ），φ_２（λ），…｝を考えた場合、ｗ（λ）は式（４）と直交関数展開することができる。ここで、Ｗ_ｊは直交関数展開係数である．また、ｋ_ｉは直交関数φ_ｉ（λ）の二乗を積分したもので計算できる定数である。

本発明では、光学フィルタの分光透過率が直交基底となる関数列となるように構成した撮像系で得る複数画像を用いることで、すなわちｔ_ｊ（λ）＝φ_ｊ（λ）（ｊ＝０，１，…，Ｎ−１）を満たす分光透過率となるＮ個の光学フィルタを通して撮像した画像データを処理することで、以下のように対象物の分光反射率の取得を行う。

ここで、直交基底となる光学フィルタの分光透過率ｔ_ｊ（λ）は例えば図４の曲線４１に示されるフーリエ級数列の定義域［−π，π］を、注目する波長域、例えば［３８０ｎｍ，７８０ｎｍ］で定義されるように変数変換を行ったもので構成することができる。また、ｊの値が小さいほど直交関数の次数，あるいは周波数が小さいものとする。

ただし、一般に直交関数系はその値域に負の値を取る場合があるので、例として図５に示す直交関数曲線４１の分光透過率を実現するために、直交関数曲線４１を定数倍し、これに図６に示すバイアスとなる定数項４２を足し合わせたような曲線４３を持つ分光透過率となる光学フィルタを構成し、これにより撮像した画素値と、光学フィルタを通さず撮像した画素値とを、それぞれ定数倍して正規化した後、差分演算を施す。これにより、直交関数曲線４１をなす分光反射率を有する光学フィルタを持つカメラで撮像したものと等価な画素値を得て、上記方法を実施する。

式（２）より、分光透過率ｔ_ｊ（λ）＝φ_ｊ（λ）のときに撮像した際の画素値ｖ_ｊは式（５）に示される通り、直交関数の二乗を積分して求める定数項とｗ（λ）の直交関数展開係数の積で表される。式（５）と式（４）より、前記分光透過率をもつＮ個の光学フィルタを通して取得したＮ個の対象物のセンサ応答値Ｖ_ｊを用いて式（６）で示されるｗ（λ）の近似を行うことができる。

ここで、分光反射率が既知である基準物体も同様に撮像を行い、そのセンサ応答値から式（６）よりｗ（λ）を計算すると、ｗ（λ）＝ｒ（λ）×ｌ（λ）であるので、基準物体のｗ（λ）から基準物体の分光反射率を除することで光源の分光強度およびセンサの分光感度の積ｌ（λ）を求めることができ、式（７）に示す通り、これを対象物のｗ（λ）から除することで、対象物の分光反射率ｒ（λ）を求めることができる。ここで、ｗ_ｏｂｊ（λ）は式（６）の計算で求めた分光反射率取得対象のｗ（λ）、Ｗ_{ｗｈｉｔｅ}（λ）は式（６）の計算で求めた基準物体のｗ（λ）、Ｗ_{ｗｈｉｔｅ}（λ）は基準物体の分光反射率である。

以上が本発明におけるカメラを用いた対象物の分光反射率取得の原理である。

なお、前述した原理の説明では光学フィルタの分光透過率が直交関数系をなすカメラを用いて対象物の分光反射率を取得する方法の原理説明であるが、これに限られるものではなく、光学フィルタの分光透過率およびイメージセンサの分光感度の積が直交関数系をなすカメラを用いる場合、（６）式で求められるｗ（λ）は入射光の相対分光分布を表し、光学フィルタの分光透過率、イメージセンサの分光感度、光源の分光強度分布の積が直交関数系をなす撮像環境を用いて撮像を行う場合、（６）式で求められるｗ（λ）は対象物の相対分光反射率を表すことになる。いずれにせよ、（７）式により正規化を行うことで、対象物の分光反射率を求めることができる。

本発明は従来の狭帯域バンド幅を持つ光学フィルタを用いて撮像した分光画像取得方法に比べ、イメージセンサの受ける光量が多くなるため、ＳＮ比の増大を実現することができる。さらに、従来の学習データを用いた最適化の手法とは異なり、事前の分光反射率データの取得を必要としない。

次に、前述した原理を用いた分光反射率取得装置について説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、分光反射率を取得するべき対象物３の画像を撮像する撮像装置（カメラ）である。符号２は、得られた画像を読み出し、演算によって分光反射率を求める計算機（例えば、パソコン）である。符号４は、分光反射率を取得するべき対象物と同一条件下において同時に撮像を行う分光反射率が既知の基準白色物体である。符号５は、対象物３及び基準白色物体を照明する光源である。符号１１は、交換可能な複数の光学フィルタが装着された光学フィルタ切換部であり、回転することにより、撮像装置１内に入射する光を透過させる光学フィルタを選択可能に構成されている。符号１２は、対象物３及び基準白色物体の像を結像させるためのレンズで構成する光学系である。符号１３は、受けた光を電気信号に変換する２次元イメージセンサであり、例えばＣＣＤである。符号１４は、ＣＣＤ１３から出力する電気信号をＡ／Ｄ変換して出力するＡ／Ｄ変換部である。符号１５は、Ａ／Ｄ変換部１４から出力されるデジタルデータを一時保持するバッファメモリである。符号１６は、バッファメモリ１５に保持されている画像データを計算機２に対して出力する画像出力部である。符号１７は、撮像装置１の処理動作を統括して制御する制御部である。符号１８は、制御部１７からの制御信号に基づいて、光学フィルタ１１を回転させるフィルタ回転モータである。符号１９は、制御部１７からの制御信号に基づいて、ＣＣＤ１３を駆動するＣＣＤ駆動ドライバである。

光学フィルタ切換部１１には、図７のように可視光域内で、バイアスを取り除き、正規化を施すことで直交関数系をなすような分光透過率を持つ光学フィルタが複数装着されており、制御部１７からの制御信号によりフィルタ回転モータ１８を駆動して撮像時に使用する光学フィルタを適宜変更することができる。この光学フィルタ切換部１１は、図４に示すように円盤形状をしており、その円周上に光学フィルタ１１ａ、１１ｂ、１１ｃ、・・・が装着されている。また、正規化および差分演算により光学フィルタの分光透過率を直交関数化するため、円周上に空隙（光学フィルタが装着されていない状態）１１ｄを設け、光学フィルタを使用しないで撮像を行うときの画像を取得することもできる。

本実施の形態で採用される光学フィルタの分光透過率がなす直交関数系は、可視光域で定義されるものであれば良いが、例えばフーリエ級数列｛１／２，ｃｏｓｋθ，ｓｉｎｋθ｝ｋ＝１，２，・・・であるとか、ルジャンドル関数列のような多項式で表されるものに対して、波長域［λmin，λmax］上で定義されるように変数変換を行ったもので構成する。

なお、図４の光学フィルタ切換部１１上の光学フィルタ１１ａ、１１ｂ、１１ｃ、・・・は、その分光透過率がなす直交関数の次数が低次から高次へと順序良く撮像できるように配慮してセットされていることが望ましい。また、推定精度を上げるために光学フィルタ切換部１１には前記条件を満たす光学フィルタの数をなるべく多くすることが望ましい。

ここでは用いる光学フィルタとして、分光透過率がオフセット分を除くとフーリエ級数列、すなわち分光透過率ｔｎ（λ）が

となる光学フィルタを２０枚用いるものとする。（８）式中の分光透過率ｔｎ（λ）の添字ｎはフィルタ番号を表し、ｎが小さいほど波長域における変化が緩やかなものとなる。また、（８）式中の定数０．５はｔｎ（λ）の値域を［０，１］に正規化するためのものである。

次に、図２を参照して、図１に示す装置によって対象物３の分光反射率を取得する動作を説明する。まず、光源５、対象物３、基準白色物体４、撮像装置１を所定位置に設置する（ステップＳ１）。そして、光学フィルタ切換部１１を光学フィルタを用いない状態（空隙１１ｄ）に切り換えて、対象物３および基準白色物体４の撮像を行なう（ステップＳ２）。これにより撮像した画像データは、制御部１７の制御によりバッファメモリ１５に格納される（ステップＳ３）。これを受けて、画像出力部１６は、バッファメモリ１５に記憶されている画像データを読み出し、計算機２へ転送する（ステップＳ４）。

次に、制御部１７は、フィルタ回転モータ１８を制御して光学フィルタを切り換え（ステップＳ５）、ステップＳ２〜Ｓ５の処理を光学フィルタ数（２０枚）に１（空隙部分）を加えた数（２１回）繰り返す。これにより、２１枚分の画像データが画像出力部１６によって転送されて、計算機２内には、２１枚分の画像データが記憶された状態となる。

ここで、対象物３および基準白色物体４の撮像時に用いる光源５は測定の対象となる波長域全体にわたって十分なエネルギーを含んでいることが望ましく、また、ステップＳ２〜Ｓ５に示す撮像手順終了まで時間的に強度および分光特性が不変であることが必要である。また、光源５、対象物３、基準白色物体４および撮像装置１の位置関係はステップＳ２〜Ｓ５に示す撮像手順終了まで不変であることが必要である。

次に、撮像が終了すると、計算機２は、正規化処理のため、画像中の基準白色物体４の位置を特定し、その位置（ｘ’，ｙ’）を記憶する（ステップＳ６）。位置（ｘ’，ｙ’）における画像値をＩ_{ｗｈｉｔｅ}（ｉ）とする（図３参照）。ｉはフィルタ番号である。なお、基準白色物体４の位置の指定は、自動認識を用いてもよいが、簡単のために画像ビューア等を用いて作業者による手作業によって行ってもよい。

次に、計算機２は、それぞれの画像の画素値Ｉ（ｘ，ｙ，ｉ）について、式（９）による演算を全ての画素値について行うことによりオフセット処理を行う（ステップＳ７）。 Ｉ（ｘ，ｙ，ｉ）＝２．０×（Ｉ（ｘ，ｙ，ｉ）−Ｉ（ｘ，ｙ，０））・・・（９）
ここで、Ｉ（ｘ，ｙ，０）は光学フィルタを透さずに撮像した場合の画像データの画素値である。これにより、オフセット分を差し引き、定数倍を行うことで、値域が［−１，１］となる分光透過率となる光学フィルタを用いて撮像を行った場合と同等の画素値を得ることができる。なお、画素値Ｉ（ｘ，ｙ，ｉ）は処理中において負数を認めるものとする。

次に、計算機２は、式（５）に従い、直交関数展開係数（式（５）におけるＷｉ）を計算する（ステップＳ８）。なお光学フィルタの分光透過率としてフーリエ級数列を用いた場合は、定数ｋｉは常にπであるため、画素値Ｉをπで割るだけで良い。計算機２は、２０枚の光学フィルタを通して撮像した画像全てに対して、ステップＳ６〜Ｓ８の処理を行う。これにより２０枚の画像から得られた直交関数展開係数が求められたことになる。

次に、計算機２は、式（６）に従って直交関数展開係数とフーリエ級数との積の値の、各画像における総和を計算する（ステップＳ９）。続いて、計算機２は、総和計算をした結果に基づいて、全画素について基準白色物体４の位置にある総和計算結果の値を割ることで正規化計算を行う（ステップＳ１０；式（７）の計算に相当）。また、基準白色物体４の分光反射率は可視光域全体にわたって全て１と考えて良いため、式（７）の右辺第２項ｒ_{ｗｈｉｔｅ}（λ）は常に１として計算することができる。計算機２は、ステップＳ９、Ｓ１０の処理を光学フィルタの数だけ繰り返し実行する。そして、計算機２は、求めた分光反射率を出力する（ステップＳ１１）。この手順によって計算された分光反射率は、画素毎に求めることが可能である。

図７〜図９に、複数の光学フィルタのなす直交関数として、フーリエ級数列とルジャンドル多項式を用い、５次、１５次、２５次まで、すなわち光学フィルタ数５（図７）、１５（図８）、２５（図９）まででそれぞれ分光反射率を推定した結果の例を示す。これらの図において、実線は実際の分光反射率の例であり、破線はフーリエ級数列を用いた例、２点鎖線はルジャンドル多項式を用いた例である。

このように、画像取得の際に用いる複数の光学フィルタそれぞれの分光透過率が、分光反射率推定対象とする波長域内において直交関数系（例えば、フーリエ級数列やルジャンドル多項式）をなすものを用いるようにしたため、推定対象波長域全体にわたって透過率が０となることがほとんどないような分光透過率分布を有する光学フィルタを用いることになり、従来の狭帯域フィルタを用いた分光反射率推定方法より撮像時に得られる光量を大きくすることができ、ＳＮ比を良くすることができる。また、事前の分光反射率の学習データが無くても分光反射率の取得を行うことが可能になる。

前記実施形態は本発明の一例を示したものであり、本発明はこれに限定されるべきものではなく、本発明の要旨を逸脱しない範囲内において、適宜の変更または改変を行なっても良い。例えば、図１において撮像装置１および計算機２は別々の構成としたが、計算機２と同等の演算を行なう機能を撮像装置１が有していてもよい。また、光学フィルタ切換部１１はフィルタ回転モータ１８により駆動される円盤状のものとしたが、この形態に限られるものではなく、例えば直線状に配置してレンズ前方でスライドさせる方式をとることも可能である。

また、光学フィルタ切換部１１は光学系１２の前方に設置されているが、撮像に不都合の無い限り、光学系１２とＣＣＤ１３の間に設置することも可能である。また、撮像装置１に搭載されたバッファメモリ１５に一旦画像データを記録し、それを一括して計算機１６に転送しているが、一回の撮像後、バッファメモリ１５に蓄積することなく直接計算機２へ画像データを転送して、逐次その後の差分演算を行う形態を取っても良い。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより分光反射率取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、前記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、前記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態の構成を示すブロック図である。 図１に示す装置の動作を示すフローチャートである。 図１に示す装置によって得られる撮像画像の構成を示す説明図である。 図１に示す光学フィルタ１１の構成を示す説明図である。 光学フィルタ群の分光透過率が直交関数系をなす場合を示す説明図である。 正規化および差分処理を行う前の光学フィルタの分光透過率を示す説明図である。 フィルタ数５で分光反射率の再現を行った例を示す説明図である。 フィルタ数１５で分光反射率の再現を行った例を示す説明図である。 フィルタ数２５で分光反射率の再現を行った例を示す説明図である。

符号の説明

１・・・撮像装置、１１・・・光学フィルタ切換部、１２・・・光学系、１３・・・ＣＣＤ、１４・・・Ａ／Ｄ変換部、１５・・・バッファメモリ、１６・・・画像出力部、１７・・・制御部、１８・・・フィルタ回転モータ、１９・・・ＣＣＤ駆動ドライバ、２・・・計算機、３・・・対象物、４・・・基準白色物体、５・・・光源

Claims (9)

1. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、
   直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、
   前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定するステップと、
   前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得するステップと
   を有することを特徴とする分光反射率取得方法。
2. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、
   前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、
   前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定するステップと、
   前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得するステップと
   を有することを特徴とする分光反射率取得方法。
3. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得方法であって、
   光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得るステップと、
   前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得るステップと、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定するステップと、
   前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得するステップと
   を有することを特徴とする分光反射率取得方法。
4. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、
   直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、
   前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定する手段と、
   前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得する手段と
   を備えることを特徴とする分光反射率取得装置。
5. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、
   前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、
   前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定する手段と、
   前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得する手段と
   を備えることを特徴とする分光反射率取得装置。
6. 撮像手段によって撮像した画像を用いた対象物の分光反射率取得装置であって、
   光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る手段と、
   前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る手段と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定する手段と、
   前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得する手段と
   を備えることを特徴とする分光反射率取得装置。
7. 撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、
   直交関数群にバイアスを付加した分光透過率分布を持つ光学フィルタ群と、前記バイアスと同じ分光透過率分布を持つ光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、
   前記直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布と前記撮像手段の分光感度の積の相対値を推定する処理と、
   前記対象物の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布と前記撮像手段の分光感度の積の相対値を除することで、前記対象物の分光反射率を取得する処理と
   をコンピュータに行わせることを特徴とする分光反射率取得プログラム。
8. 撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、
   前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、
   前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率を持つ光学フィルタを通して撮像した複数の画像データに対して、前記カメラの分光感度を掛けたとき前記バイアスと同じ分光透過率を持つ光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで入射光の分光分布の相対値を推定する処理と、
   前記対象物の画像より得られる入射光の分光分布の相対値から、前記分光反射率が既知の物体の画像より得られる入射光の分光分布の相対値を除することで、前記対象物の分光反射率を取得する処理と
   をコンピュータに行わせることを特徴とする分光反射率取得プログラム。
9. 撮像手段によって撮像した画像を用いて対象物の分光反射率を取得する分光反射率取得プログラムであって、
   光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数群にバイアスを付加した分光透過率分布となる光学フィルタ群と、光源の分光強度分布とカメラの分光感度を掛けたとき前記バイアスと同じ分光透過率分布となる光学フィルタを通して、順次前記光学フィルタを切り換えて撮像を行い、前記対象物と、分光反射率が既知の物体とを同一撮像条件下で撮像したときの複数の画像データを得る処理と、
   前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき直交関数にバイアスを付加した分光透過率となる光学フィルタを通して撮像した複数の画像データに対して、前記光源の分光強度分布と前記撮像手段の分光感度を掛けたとき前記バイアスと同じ分光透過率となる光学フィルタを通して撮像した画像データの画素値を差し引いて複数の差分画像を得る処理と、
   前記複数の差分画像の画素値と、前記直交関数の自乗の積分値との比を係数とし、前記直交関数の線形和を計算することで被写体の分光反射率の相対値を推定する処理と、
   前記対象物の画像より得られる分光反射率の相対値から、前記分光反射率が既知の物体の画像より得られる分光反射率の相対値を除することで、前記対象物の分光反射率を取得する処理と
   をコンピュータに行わせることを特徴とする分光反射率取得プログラム。

Images