JP2006292582A - マルチバンド画像処理装置及びその方法並びにマルチバンド画像撮像装置 - Google Patents

Abstract

【課題】 被写体のスペクトル画像を取得するマルチバンド撮影画像から、精度良く被写体の分光反射率を反映したスペクトル画像を取得すること。
【解決手段】 被写体のスペクトル画像を取得するマルチバンド画像処理装置５は、被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像を取得し、前記画像内に含まれる前記複数の物体の分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す。
【選択図】 図１

Description

本発明は、マルチバンド画像撮像によって取得される撮影画像に含まれる誤差の処理に関するものである。

透過波長域が異なるフィルタを用いて被写体を撮像することにより、被写体のスペクトル画像を取得することができるマルチバンド画像撮像装置（例えば、マルチバンドカメラ等）は、近年実用化され始めている。

ここで、マルチバンドカメラによって撮像された分光波長λにおける１バンドの画像データV(λ)は、照明光源の分光放射率E(λ)、被写体の分光反射率O(λ)、レンズの分光透過率L (λ)、波長分解するフィルタの分光透過率f (λ)、撮像素子の分光感度S(λ)とすれば、
V(λ)＝E(λ) O (λ) L (λ) f (λ) S(λ) （λ：波長）
と表すことができる。この式から明らかなように、撮影画像である分光波長λにおける１バンドの画像データV(λ)には、被写体の分光反射率O(λ)以外に、撮影環境である光源E(λ)の影響や、マルチバンドカメラ本体の影響L(λ)、 f (λ)、 S(λ)が掛け合わさっている。従って、分光波長λにおける１バンドの撮像画像データV(λ)から被写体の分光反射率O(λ)を得るには、撮影画像の補正が必要となる。そのためには、例えば、分光反射率が既知の白色板を、実際に撮影しようとしている撮影条件と同じ状態で予め撮影しておく。分光波長λにおける１バンドの白色板の画像データV’(λ)は、白色板の分光反射率をW(λ)とすれば、
V’(λ)＝E(λ) W (λ) L (λ) f (λ) S(λ)
と表せる。V’(λ)は既知である白色板の反射率になるように、これを補正用データとして、V(λ)から、E(λ)、 L (λ)、 f (λ)、 S(λ)の寄与を補正して、画像中の被写体の分光反射率O(λ)を得ることができる。しかし、実際には、E(λ) 、 L (λ)、f (λ)、 S(λ)は、空間的に一様な値をもつわけではないため、撮影画像中の場所によってその値が異なる。

例えば、レンズによる周辺光量落ちの影響によって撮影画像中に光量むらが生じうる。これを補正する方法として、一様照度の被写体をマルチバンドカメラで撮影して得られる画像を補正用画像とし、補正用画像からレンズによる周辺光量落ちを測定し、これを補正するためのパラメータを波長ごとに算出して保持しておく。通常のマルチバンドカメラによる撮影において、撮影画像から波長ごとに補正パラメータを用いて、周辺光量落ちを補正する方法がとられている。

また、マルチバンドカメラの分光素子として用いられる干渉フィルタや液晶フィルタは、光の入射角度によって透過波長域がシフトしてしまう。この波長シフトが大きい場合は、画像中に色むらとなって現れるので、補正しなければならない。波長シフトを補正する手法として、例えば特許文献１のように、純色（R、G、B）に対応する基準波長に対して、マクベスチャートのようなチャートを利用してシフト量を求め、他の波長に対しては測定値から補間することによって、各撮影波長における波長シフト量を求めて補正する技術が提案されている。また、干渉フィルタなどに入射する光線の角度を抑えるようにマルチバンドカメラの光学系を設定すれば、ほぼ無視できる程度まで波長シフトを抑えることも可能である。
特開２００２−３３５５３８号公報

マルチバンドカメラによる撮影画像から被写体の分光反射率を得るためには、上記の補正が必要であるが、精度良く補正するためには不十分である。一般に、干渉フィルタなどの素子は、製造誤差により波長ごとに精度がばらつくため、特許文献１のように補間で補正値を求めると大きな誤差が生じる可能性がある。また、製造誤差の影響でフィルタの面の場所によって透過波長帯域がずれてしまう。従って、撮影波長ごとに波長シフト量を算出し、且つ、製造誤差に起因するフィルタの面における光学特性むらをも補正する必要がある。

また、被写体のスペクトル画像を取得する上で誤差となる要因として、上記撮像装置に起因した再現性ある要因だけでなく、撮影環境に応じて変化する要因も存在する。それは主に照明光源の照度分布や、被写体に依存して発生する光学系に起因したフレアである。これらも画像中に空間的に分布する誤差要因である。上記周辺光量落ちや波長シフトなどの再現性ある誤差要因と異なり、それらを補正しても、被写体に依存したフレアが誤差として画像中に残存し、求めたい被写体の分光反射率の精度を低下させてしまう。特に、マルチバンドカメラでは、被写体の分光特性を取得する測定器の目的で使用されることが多いので、できるだけ誤差を抑えることが必須であり、その上、通常のカメラと比べて、フィルタの透過波長帯域が狭いため、わずかな誤差が画像中の色むらとなって現れてしまう。

精度よく被写体の分光反射率を求めるためには、周辺光量落ちや波長シフトだけでなく、照明光源による照度分布やフレアまで考慮し、これらの誤差要因が複合的に重なって生じる空間的な誤差分布を補正する必要がある。

本発明は、上記の問題点に鑑みてなされたものであり、被写体のスペクトル画像を取得するマルチバンド撮影画像から、精度良く被写体の分光反射率を反映したスペクトル画像を取得することを目的とする。

本発明の第１の側面は、被写体のスペクトル画像を取得するマルチバンド画像処理装置に係り、被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像を取得する画像取得部と、前記画像から得られる前記複数の物体の分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す画像処理部と、を備えることを特徴とする。

本発明の第２の側面は、マルチバンド画像撮像装置に係り、被写体のスペクトル画像を撮像する撮像部と、請求項１乃至請求項１１のいずれか１項に記載のマルチバンド画像処理装置と、を備えることを特徴とする。

本発明の第３の側面は、被写体のスペクトル画像を取得するマルチバンド画像処理方法に係り、被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像を取得する工程と、前記取得された画像から得られる前記複数の物体の分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す工程と、を含むことを特徴とするマルチバンド画像処理方法。

本発明の第４の側面は、被写体のスペクトル画像を取得するマルチバンド画像処理方法に係り、被写体の近傍に分光特性が既知である複数種類の物体が配置された状態で該被写体を撮影した画像を取得する工程と、前記取得された画像から得られる前記複数種類の物体の各分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す工程と、を含むことを特徴とする。

本発明によれば、被写体のスペクトル画像を取得するマルチバンド撮影画像から、精度良く被写体の分光反射率を反映したスペクトル画像を取得することができる。

以下、本発明の好適な実施形態について説明する。
[第１の実施形態]
図１は、本発明の好適な実施の形態に係るマルチバンド画像撮像装置のシステムブロック図を示す。図１に示すように、マルチバンド画像撮像装置としてのマルチバンドカメラ１００は、例えば、撮影光学系２と分光素子である干渉フィルタ３と撮像素子４とによって構成される撮像部１を有する。撮像部１によって取得される撮影画像を処理するマルチバンド画像処理装置５は、例えば、デジタル信号処理部６、画像処理部７、メモリ８を有する。また、マルチバンド画像撮像装置１００は、取外し可能な記憶部１０を有し、マルチバンド画像処理装置５を経た撮影画像が保存される。また、これらすべてのシステム構成要素の駆動及び制御のための命令を出力する制御部９を有する。通信部１１は、マルチバンドカメラ１００の外部の装置と通信可能に接続され、メモリ８又は記憶部１０に格納されたデータを外部の装置との間で送受信する。

以下、システム全体の構成及び本発明の手法を、データの流れに沿って説明する。まず、照明装置等の光源に照射された環境に、撮影用の被写体を置く。また、分光反射率が既知であり、可視域で分光分布がほぼ平坦で反射率の低い黒いパッチを複数用意する。パッチは撮影被写体に比べて十分小さく、撮影被写体を覆い隠してしまうことはない。図２に示すように、これらのパッチ２２を、撮影画像領域２３の全面にわたって、一定間隔で撮影被写体２１の前面に重ねて配置する。本実施形態に係るマルチバンドカメラ１００は、撮影被写体２１の近傍に分光特性が既知である複数のパッチ２２が配置された状態で、撮影被写体２１を撮影して撮像画像２３を得る。

一方、干渉フィルタ３が回転機構の上に配置され、制御部９の指示に応じてこの回転機構の稼動部が回転し、指定された波長帯域の干渉フィルタ３を光軸上に設置させて、その分光波長の画像を取得することができる。なお、撮影光学系２では、干渉フィルタ３への光線の入射角度が撮像領域内において十分小さく、撮影画像中の波長シフトによる誤差はほとんど無視できる程度とする。

撮影光学系２によって形成された被写体像は、フィルタ３を透過して撮像素子４の受光面で結像する。撮像素子４に入射した光は光電変換され、電気信号として出力される。撮像素子４より出力された電気信号は、制御部９の指示に応じてマルチバンド画像処理装置５のデジタル信号処理部６へと転送される。

デジタル信号処理部６では、制御部９の指示に応じて、転送された電気信号をA/D変換してデジタルデータに変換し、画像処理部７へデータを転送する。また、メモリ８には、予めパッチの分光反射率の絶対値が測定されたデータが格納されている。

画像処理部７で補正される前の撮影画像には、撮影光学系２の性能による周辺光量落ちや、干渉フィルタ３の製造誤差に起因する場所に依存した光学特性むら、照明環境の影響を受けた照度むら、撮影光学系２による被写体に依存したフレアなどが誤差として含まる。これらの誤差が撮影画像全体に空間的に分布しているため、一様的な補正では誤差が残存してしまい、被写体のスペクトル画像を正確に取得できない。本実施形態に係る補正処理では、このような複合的な要因によって空間的に分布をもつ誤差を良好に補正して、被写体のスペクトル画像を精度良く取得することができる。

画像処理部７において、撮影された分光波長ごとに補正処理を行う。補正処理の手順を図３のフローチャートを用いて説明する。

ステップ１００では、制御部９は、図１のデジタル信号処理部６から画像処理部７に転送された撮影画像を取得する。

ステップ１０１では、画像処理部７は、周辺画素値の平均値との差分とパッチの形状から撮影画像中のパッチ領域（図２に示すパッチ２２が配置された場所）を判定する。

ステップ１０２では、画像処理部７は、ステップ１０１で判定されたパッチ領域内の平均輝度値を算出する。

ステップ１０３では、画像処理部７は、メモリ８から、パッチの分光反射率データを読み出し、撮影波長における反射率を取得する。取得した値はデジタル値に換算され、該当するパッチの平均輝度値との差分をとる。この差分を実行することによって、そのパッチの位置で測定した誤差量が算出される。

ステップ１０４では、制御部９は、全パッチに対してステップ１０１からステップ１０３までの処理が終了したか否かを判定し、処理が終了していれば（ステップ１０４で「Ｙｅｓ」）、ステップ１０５に進み、処理が終了していなければ（ステップ１０４で「Ｎｏ」）、ステップ１０１に戻ってステップ１０１からステップ１０３までの処理を繰り返す。このように、全パッチに対してステップ１０１からステップ１０３までの処理を行うことによって、誤差測定点であるパッチの位置における誤差測定データが得られる。

ステップ１０５では、画像処理部７は、誤差測定点以外の位置における誤差量を補間処理によって求め、撮影画像全体における各画素位置での誤差データを求める。ここまでの処理で、補正しようとしている空間的な誤差分布が求められる。

ステップ１０６では、画像処理部７は、ステップ１００で取得された撮影画像データに対して、ステップ１０５で求めた誤差分布を撮影画像から各画素ごとに減算することによって、この誤差分布を補正する。

ステップ１０７では、画像処理部７は、ステップ１０６で誤差が補正された画像データに対して、分光反射率の絶対値が既知であるパッチの値を参考にして、撮影画像中の各画素における反射率の絶対値を校正する。

ステップ１０８では、制御部９は、ここまでの処理が実行された撮影画像データを記憶部１０に転送し、データとして保存する。

ステップ１０９では、制御部９は、マルチバンドカメラ１００の全撮影波長に対してステップ１００からステップ１０８までの処理が終了したか否かを判定し、処理が終了していれば（ステップ１０９で「Ｙｅｓ」）、補正処理を終了し、処理が終了していなければ（ステップ１０９で「Ｎｏ」）、ステップ１０１に戻ってステップ１０１からステップ１０８までの処理を繰り返す。ステップ１０９で全波長の撮影画像に対する補正処理が終了すれば、一連の処理は終了し、記憶部９には誤差が補正され、被写体の分光反射率を精度よく反映したスペクトル画像が格納される。

本実施形態では、パッチは予め分光特性が既知であれば必ずしも黒である必要はないが、フレアを測定する場合には、低反射率で分光分布が平坦である黒に近い色のパッチを用いることが望ましい。

また、図２ではパッチの配置を等間隔で配置したが、被写体に依存したフレア量を精度良く補正するためには、必ずしも等間隔でなくてもよい。例えば、図４に示す被写体４１のように、被写体４１の場所によって、被写体の反射率が特に高い部分４２、被写体の反射率がやや高い部分４３、被写体の反射率がやや低い部分４４、被写体の反射率が特に低い部分４５が存在する場合には、反射率の変化が大きい領域（例えば、４２と４４、４５との間の領域等）に重点的にパッチ４６を配置して誤差量を測定することがより好適である。特に、誤差分布の発生原因として、光学系によるフレアが大きく影響していると判断される場合には、フレア以外の誤差量を予め補正しておき、本手法をフレア測定に特化して実行してもよい。例えば、撮影光学系２による周辺光量落ちなどの再現性ある誤差量の分布を、画像全体にわたって一様照度の被写体を撮影する等の公知の方法を用いて測定し、補正パラメータを求めておいて、その値をメモリ８に格納しておく。ステップ１０１の前段階において、撮影画像に対して、メモリ８から予め求めておいた補正パラメータをメモリ８から読み出し、フレアによる誤差以外の誤差を補正しておく。その後に、フレア測定のために被写体に応じて不均等に配置されたパッチから、フレア量を推定して補正してもよい。

パッチを細かいピッチで均等に並べて補正してもよいが、被写体に変化のない領域ではフレアの分布の変動も小さいので、多数のデータを測定するのはあまり効率的ではない。従って、フレアの分布の変動が大きいと予想される領域に他よりも重点的にパッチを配置してフレア分布の測定を行った方が現実的で有用である。このように、被写体に応じてパッチの配置を適応的に変化させて誤差を測定し、補正を行ってもよい。

また、画像処理部７は、被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像内の複数の物体が配置された位置の被写体の画像を、この複数の物体の各々の周辺における被写体の画像に基づいて補間するように構成されてもよい。

また、本実施形態では、干渉フィルタを用いたマルチバンド画像撮像装置を挙げたが、液晶を用いたチューナブルフィルタ若しくは回折素子を用いるものや、撮像素子の上に空間的に異なる波長フィルタを複数種類配列させたものを用いてもよい。

以上説明したように、本実施形態に係る補正処理機能を搭載したマルチバンドカメラを用いれば、撮影環境や撮像装置の影響によって生じる空間的な分布をもつ誤差が補正され、被写体の正しいスペクトル画像を取得することができる。

[第２の実施形態]
本発明の好適な第２の実施形態におけるマルチバンド画像撮像装置について説明する。システムの基本的構成は、第１の実施形態において説明した図１と同様である。即ち、撮影光学系２と干渉フィルタ３と撮像素子４とによって構成される撮像部１、デジタル信号処理部６、画像処理部７、メモリ８を有するマルチバンド画像処理装置５及び取外し可能な記憶部１０を有し、これらの各システム構成要素の駆動及び制御を制御部９の命令で実行する。

以下、本実施形態の処理の手順を図５のフローを用いて説明する。

まず、第１の実施形態と同様に、照明装置等の光源に照射された環境に撮影被写体を置き、分光反射率が既知のパッチを被写体の全面に撮影領域全面にわたって均等に配置する。また、反射率の絶対値校正のために、分光反射率が既知の白色板も被写体として、これらをマルチバンド画像撮像装置としてのマルチバンドカメラ１００で撮影する。この撮影画像は、補正のための誤差分布を算出するためのもので、通常の撮影画像とは区別して、補正用画像と呼ぶことにする。

まず、ステップ２００では、制御部９は、マルチバンドカメラ１００で撮影され、デジタル信号処理部６でA/D変換された画像データを画像処理部７を通過させて、一切処理を加えることなく、撮影画像をそのままメモリ８に保存する。これをマルチバンドカメラ１００の全撮影波長に対して実行する。次いで、補正用画像を撮影した環境と同じ撮影条件のままで、パッチだけを取り除いた被写体を新たに撮影する。これを通常の撮影画像と呼び、補正用画像と区別する。

ステップ２０１では、制御部９は、マルチバンドカメラ１００の全波長においてこの撮影画像を取得し、ステップ２００と同様に処理を加えることなくメモリ８に格納する。制御部９は、補正用画像と通常の撮影画像とをそれぞれマルチバンドカメラ１００の撮影波長数分取得した後に、ステップ２０２に進む。

ステップ２０２では、画像処理部７は、メモリ８から一波長の補正用画像を読み出す。

ステップ２０３では、画像処理部７は、第１の実施形態と同様な方法でパッチ領域を読み取る。

ステップ２０４では、画像処理部７は、パッチ領域の平均輝度を算出する。

ステップ２０５では、画像処理部７は、メモリ８に格納されたパッチの反射率データを読み出し、パッチの平均輝度と既知の反射率データとの差分値を求めることによって誤差量を算出する。

ステップ２０６では、制御部９は、全パッチに対してステップ２０２からステップ２０８までの処理が終了したか否かを判定し、処理が終了していれば（ステップ２０６で「Ｙｅｓ」）、ステップ２０７に進み、処理が終了していなければ（ステップ２０６で「Ｎｏ」）、ステップ２０３に戻ってステップ２０２からステップ２０８までの処理を繰り返す。

ステップ２０７では、画像処理部７は、全パッチに対して誤差量を算出し、補間処理を施すことによって画像全体の誤差分布を求める。

ステップ２０８では、制御部９は、得られた誤差分布データをメモリ８に保存する。

ステップ２０９では、制御部９は、マルチバンドカメラ１００の全撮影波長に対してステップ２０２からステップ２０８までの処理が終了したか否かを判定し、処理が終了していれば（ステップ２０９で「Ｙｅｓ」）、ステップ２１０に進み、処理が終了していなければ（ステップ２０９で「Ｎｏ」）、ステップ２０２に戻ってステップ２０２からステップ２０８までの処理を繰り返す。ステップ２０９までで、補正用画像を用いて、各撮影波長に対する画像全体における誤差分布データが算出される。

ステップ２１０では、画像処理部７は、メモリ８から一波長分の通常の撮影画像データを読み出す。

ステップ２１１では、画像処理部７は、メモリ８から補正用画像から求めた該波長における誤差分布データを読み出し、各画素に対して撮影画像から誤差量を減算する。

ステップ２１２では、画像処理部７は、誤差が補正された撮影画像に対し白色板を用いて反射率の絶対値を校正する。

ステップ２１３では、制御部９は、補正された撮影画像を記憶部１０に転送し、データを保存する。

ステップ２１４では、制御部９は、マルチバンドカメラ１００の全撮影波長に対してステップ２１０からステップ２１２までの処理が終了したか否かを判定し、処理が終了していれば（ステップ２１４で「Ｙｅｓ」）、以上の処理を終了し、処理が終了していなければ（ステップ２１４で「Ｎｏ」）、ステップ２１０に戻ってステップ２１０からステップ２１３までの処理を繰り返す。以上の処理により、上記誤差が補正された被写体のスペクトル画像を取得することができる。

本実施形態に係る処理を実行すれば、第１の実施形態のようにパッチが撮影画像に含まれることはない。被写体とパッチが重なって撮影された画像は補正用に使い、通常の撮影画像としては、パッチが除かれ誤差分布も除去された被写体のスペクトル画像が得られる。このとき、パッチが除かれたことによる、補正用画像と撮影画像の誤差分布の差は十分無視できる程度であり、そのようにパッチの大きさ、配置を考慮する必要がある。

また、通常の撮影画像を先に全撮影波長に対して取得して、メモリ８に保存しておき、次に補正用画像を一波長ずつ撮影して誤差分布を求め、その都度メモリ８から撮影画像を読み出して補正してもよい。

また、第１の実施形態において説明したように、マルチバンド画像撮像装置における再現性ある誤差に対しては、予め補正パラメータを算出しておき、被写体等の撮影環境に依存する誤差分布のみを補正するようにしてもよいし、その場合、第１の実施形態でも述べたように被写体に応じてパッチの配置を適応的に変化させて誤差を測定し、補正を行ってもよい。

また、本実施形態では、干渉フィルタを用いたマルチバンド画像撮像装置を挙げたが、液晶を用いたチューナブルフィルタ若しくは回折素子を用いるものや、撮像素子の上に空間的に異なる波長フィルタを複数種類配列させるものを用いてもよい。

[第３の実施形態]
次に、本発明の好適な第３の実施形態におけるマルチバンド画像撮像装置について説明する。システムの基本的構成は、第１の実施形態において説明した図１と同様である。

まず、本実施形態では、図６に示すような２種類の分光特性をもつパッチを用意する。一方のパッチは第１、２の実施形態で用いたものと同様のもので、可視域で分光特性が平坦で低反射率のパッチ１５とする。もう一方のパッチは、分光特性が図７のように可視域において、波長に対して反射率が単調に変化するような分光分布をもつパッチ１６とする。例えば、後者のパッチの反射率変化は、数nmの波長変化に対して数%以上の反射率の変化をもっていることが望ましい。

このパッチ１５、１６を第１の実施形態と同様に撮影対象である被写体と重ね合わせて、図２のように画像領域全体にわたって均等に配置する。この被写体とパッチを含めてマルチバンド画像撮像装置としてのマルチバンドカメラ１００で撮像する被写体とする。図１における画像処理部７までのデータ転送は、第１の実施形態と同様である。また、メモリ８には、２種類のパッチ１５、１６の分光反射率データが格納されている。

以下、補正処理の流れを図９のフローチャートを用いて説明する。

ステップ３００では、制御部９は、撮影画像を取得する。

ステップ３０１では、画像処理部７は、２種類のパッチのうち、可視域で分光分布が平坦で低反射率のパッチ１５について、第１、２の実施形態と同様にしてパッチ領域を読み取る。

ステップ３０２では、画像処理部７は、パッチ領域における平均輝度を算出する。

ステップ３０３では、画像処理部７は、メモリ８からパッチ１５の分光反射率データを読み出し、撮影画像から得られるデータとの差分値を求めることによって誤差量を算出する。

ステップ３０４では、制御部９は、画像全体のすべてのパッチ１５に対してステップ３０１からステップ３０３までの処理が終了したか否かを判定し、処理が終了していれば（ステップ３０４で「Ｙｅｓ」）、ステップ３０５に進み、処理が終了していなければ（ステップ３０４で「Ｎｏ」）、ステップ３０１に戻ってステップ３０１からステップ３０３までの処理を繰り返す。ステップ３０４で得られる誤差量は、第１、２の実施形態で求めた、撮影光学系２による周辺光量落ちや、干渉フィルタ５の製造誤差に起因する場所に依存した光学特性のむら、照明環境の影響を受けた照度むら、撮影光学系による被写体に依存したフレアなどが含まれる。

ステップ３０５では、画像処理部７は、補間により画像全体の各画素における誤差量を求める。

ステップ３０６では、画像処理部７は、撮影画像から上記で求めた誤差分布を各画素ごとに減算する。この処理によって、前記誤差量が補正される。

ステップ３０７では、制御部９は、処理対象となるパッチをパッチ１５から、もう一方の図７の分光分布をもつパッチ１６に変更し、このパッチ１６に対してステップ３０１からステップ３０６までの処理を実行する。ここで、制御部９は、全種類のパッチに対してステップ３０１からステップ３０６までの処理が終了したか否かを判定し、処理が終了していれば（ステップ３０７で「Ｙｅｓ」）、ステップ３０８に進み、処理が終了していなければ（ステップ３０７で「Ｎｏ」）、ステップ３０１に戻ってステップ３０１からステップ３０６までの処理を繰り返す。ステップ３０７での処理は、光線の入射角度によって波長がシフトする誤差を求めるものである。図７の例の場合、波長シフトが生じると、本来得られるはずの反射率よりも低い値が得られてしまう。ステップ３０４までで、画像中の各パッチの位置における波長シフトに起因した、本来の分光反射率との差分が求まる。これをステップ３０５で、補間によって各画素位置における誤差分布を求める。ステップ３０６で、波長シフトに起因した誤差分布を撮影画像から減算して補正する。

ステップ３０８では、画像処理部７は、分光特性が既知であるパッチ１５を利用して反射率の絶対値を校正する。

ステップ３０９では、制御部９は、補正された画像を記憶部１０に転送し、データを保存する。

ステップ３１０では、マルチバンドカメラ１００の全撮影波長に対してステップ３００からステップ３０９までの処理が終了したか否かを判定し、処理が終了していれば（ステップ３１０で「Ｙｅｓ」）、処理を終了し、処理が終了していなければ（ステップ３１０で「Ｎｏ」）、ステップ３１０に戻ってステップ３００からステップ３０９までの処理を繰り返す。ステップ３１０までの処理が終了すると、記憶部１０には誤差が補正された画像が保存される。

以上説明した補正処理によって、空間的に分布する誤差として第１、２の実施形態で考慮した誤差以外に、波長シフトによる誤差も補正することができる。光線の入射角度は像面上の位置によって異なるので、その角度に応じて波長シフトも像面上で分布をもつことになる。

また、精度よく波長シフトを測定するために、パッチに含まれる分光特性の種類を、パッチ１５や、図７のような分光特性をもつパッチ１６以外にも、撮影波長近傍で反射率変化の大きいものをいくつか用意して撮影し、撮影波長に合わせて選択的に補正に使用すると特に有用である。

例えば、図８に示すように、平坦で低反射率のパッチ１５以外に、ＲＧＢの色に合わせて、赤（Ｒ）付近の波長に対して反射率の変化が大きいパッチ１７、緑（Ｇ）付近の波長に対して反射率の変化が大きいパッチ１８、青（Ｂ）付近の波長に対して反射率の変化が大きいパッチを組み合わせたパッチ１９を用いて、撮影する波長に合わせて波長シフトを補正するパッチを３種類のパッチから選択的に利用することも有用である。

また、第２の実施形態のように、被写体にパッチを配置して撮影した画像を補正用画像として用い、同じ撮影条件でパッチを除いたものを通常の撮影画像として、第２の実施形態と同様に補正処理を実行してもよい。

また、本実施形態では干渉フィルタを用いたマルチバンド画像撮像装置を挙げたが、液晶を用いたチューナブルフィルタ若しくは回折素子を用いるものや、撮像素子の上に空間的に異なる波長フィルタを複数種類配列させるものを用いてもよい。

以上説明したように、本発明によれば、マルチバンド画像撮像装置によって撮影される画像に対して、撮影画像中に分布して内在する誤差を、波長ごとに測定し良好に補正することが可能なので、画像全域に対して精度良く被写体の分光反射率が取得されたスペクトル画像を得ることができる。

本発明の好適な第１〜３の実施形態で説明するマルチバンド画像撮像装置の構成を示すブロック図である。 撮影領域において、被写体にパッチを均等に配置させて得られる撮影画像の模式図である。 本発明の好適な第１の実施形態における画像処理部の動作を示すフローチャートである。 被写体に応じて適応的にパッチの配置を変化させて撮影した画像の模式図である。 本発明の好適な第２の実施形態における画像処理部の動作を示すフローチャートである。 本発明の好適な第３の実施形態における、２種類の分光分布をもったパッチの一例を示す図である。 本発明の好適な第３の実施形態における、波長シフト量を求めるためのパッチの分光特性を模式的に示す図である。 本発明の好適な第３の実施形態で使用するパッチの別の例で、４種類の分光分布をもったパッチの一例を示す図である。 本発明の好適な第３の実施形態における画像処理部の動作を示すフローチャートである。

Claims (16)

1. 被写体のスペクトル画像を取得するマルチバンド画像処理装置であって、
   被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像を取得する画像取得部と、
   前記画像から得られる前記複数の物体の分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す画像処理部と、
   を備えることを特徴とするマルチバンド画像処理装置。
2. 前記画像処理部は、前記画像から得られる前記複数の物体の分光反射率と、前記複数の物体の既知の分光反射率と、を差分して算出した誤差量に基づいて該画像を補正することを特徴とする請求項１に記載のマルチバンド画像処理装置。
3. 前記画像処理部は、前記画像から前記誤差量を減算することによって前記画像を補正することを特徴とする請求項２に記載のマルチバンド画像処理装置。
4. 前記画像処理部は、前記画像内の前記複数の物体が配置された位置における前記誤差量に基づいて前記画像内の前記物体が配置されていない位置における前記誤差量を補間処理により算出することを特徴とする請求項２又は請求項３に記載のマルチバンド画像処理装置。
5. 前記画像処理部は、前記複数の物体が配置された位置での前記被写体の画像を、該複数の物体の各々の周辺における前記被写体の画像に基づいて補間することを特徴とする請求項１乃至請求項４のいずれか１項に記載のマルチバンド画像処理装置。
6. 前記複数の物体は、同一種類の分光特性を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載のマルチバンド画像処理装置。
7. 前記複数の物体は、複数種類の分光特性を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載のマルチバンド画像処理装置。
8. 前記複数の物体のうち少なくとも１つは、可視域の波長範囲において平坦な分光反射率分布を有することを特徴とする請求項１乃至請求項７のいずれか１項に記載のマルチバンド画像処理装置。
9. 前記複数の物体のうち少なくとも１つは、他の物体よりも波長に対する反射率の変化が大きいことを特徴とする請求項７に記載のマルチバンド画像処理装置。
10. 前記物体は、前記画像内に略等間隔に配置されることを特徴とする請求項１乃至請求項９のいずれか１項に記載のマルチバンド画像処理装置。
11. 前記物体は、前記被写体に応じて前記画像内に不均等な間隔で配置されることを特徴とする請求項１乃至請求項９のいずれか１項に記載のマルチバンド画像処理装置。
12. 前記画像内での前記物体の大きさは、前記被写体に対する影響が無視できる程度に該画像全体の大きさよりも小さいことを特徴とする請求項１乃至請求項１１のいずれか１項に記載のマルチバンド画像処理装置。
13. 被写体のスペクトル画像を撮像する撮像部と、
    請求項１乃至請求項１２のいずれか１項に記載のマルチバンド画像処理装置と、
    を備えることを特徴とするマルチバンド画像撮像装置。
14. 被写体のスペクトル画像を取得するマルチバンド画像処理方法であって、
    被写体の近傍に分光特性が既知である複数の物体が配置された状態で該被写体を撮影した画像を取得する工程と、
    前記取得された画像から得られる前記複数の物体の分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す工程と、
    を含むことを特徴とするマルチバンド画像処理方法。
15. 被写体のスペクトル画像を取得するマルチバンド画像処理方法であって、
    被写体の近傍に分光特性が既知である複数種類の物体が配置された状態で該被写体を撮影した画像を取得する工程と、
    前記取得された画像から得られる前記複数種類の物体の各分光特性の空間的なばらつきに基づいて該画像に対して所定の処理を施す工程と、
    を含むことを特徴とするマルチバンド画像処理方法。
16. 前記所定の処理を施す工程の後に、
    前記被写体の撮影条件と同じ条件で前記複数の物体を除いた状態で該被写体を撮影した画像を取得する工程と、
    前記複数の物体が配置された状態で撮影された画像から得られる該複数の物体の分光特性の空間的なばらつきに基づいて前記複数の物体を除いた状態で撮影された画像に対して所定の処理を施す工程と、
    を更に含むことを特徴とする請求項１４又は請求項１５に記載のマルチバンド画像処理方法。

Images