JP2009181449A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】被写体を撮像するための撮像装置を用いて、当該被写体に照射されている照明光の分光放射輝度を容易に算出可能な画像処理装置および画像処理方法を提供する。
【解決手段】推定行列格納部１７は、照明環境を提供するために用いられ得るＭ種類の光源毎に予め定められた推定行列Ｗ_１，Ｗ_２，・・・，Ｗ_Ｍを予め格納する。推定行列格納部１７は、ユーザなどからの外部指令に応じて、予め格納する推定行列Ｗ_１，Ｗ_２，・・・，Ｗ_Ｍのうち、選択されたものを分光放射輝度算出部１１へ出力する。分光放射輝度算出部１１は、推定行列格納部１７から受けた推定行列Ｗに基づいて、照明光の分光放射輝度Ｅ^（１）を推定する。
【選択図】図７

Description

本発明は、被写体を撮像する際の当該被写体に照射される照明光の分光放射輝度を算出可能な画像処理装置および画像処理方法に関するものである。

近年、様々な照明環境下において撮像された被写体の色を、表示装置や印刷装置などの出力装置において、正確に再現するための技術が提案されている。

代表的な技術として、被写体の分光反射率（反射スペクトル）に基づくカラーマネジメント技術が知られている。この技術は、被写体の色を波長領域で扱うことで実現され、被写体における照明環境にかかわらず正確な色再現が可能となる。このような被写体の分光反射率に基づいた撮像処理については、非特許文献１にその原理的な方法が開示されている。

ところで、被写体の分光反射率を推定するためには、その前提となる撮像時の照明環境下における分光放射輝度（照明スペクトル）を予め取得しておく必要がある。なぜならば、被写体からの分光放射輝度は、照明光の分光放射輝度および被写体の分光反射率に応じて定まるため、照明光の分光放射輝度が既知でなければ、被写体を撮像して得られる撮像データに基づいて、被写体の分光反射率を正確に算出できないからである。

また、照明光の分光放射輝度は、撮像装置のホワイトバランス調整などにも用いられる。このホワイトバランス調整とは、撮像装置を構成する複数の撮像素子から出力される輝度値のレベルを互いに調整するための係数を決定する作業である。ホワイトバランスが崩れると、白色の被写体を撮像装置によって撮像した場合に、本来の白色とは異なった色（たとえば、赤味を帯びた色など）が出力されるなど、正確に色再現を行なうことができない。なお、ホワイトバランス調整については、特許文献１や特許文献２に開示されている。
特開２００１−０５７６８０号公報 特開２００５−３２８３８６号公報 三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日

従来、照明光の分光放射輝度は、もっぱら分光放射計といった専用の測定装置を用いて測定されていた。分光放射計とは、光学系を通じて入射した光を回折格子（グレーティング）によって分光し、イメージセンサ（ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる）にて受光し、波長毎の輝度値を取得する装置である。上述したようなカラーマネジメント技術を実現しようとすると、スチルカメラやビデオカメラといった撮像装置の他に、分光放射輝度を測定するための測定装置が必要となり、実現コストが高くなるという課題があった。

また、通常、被写体に照射される照明光を測定するためには、分光反射率が既知である標準白色板を被写体付近に設置し、その板面からの反射光を分光放射計によって測定する必要があり、撮像だけでなく、測定のための手間がかかるという課題があった。

そこで、この発明は、かかる課題を解決するためになされたものであり、その目的は、被写体を撮像するための撮像装置を用いて、当該被写体に照射されている照明光の分光放射輝度を容易に算出可能な画像処理装置および画像処理方法を提供することである。

この発明のある局面に従えば、撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置を提供する。画像処理装置は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、外部指令に応じて、照明環境を提供するために用いられ得る複数の光源の種類毎に予め定められた複数の演算行列のうち一つを選択する選択手段と、選択手段によって選択された演算行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度を算出する第１算出手段とを含む。演算行列の各々は、光源の分光放射輝度を示す行列の自己相関行列である。

この発明の別の局面に従えば、撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置を提供する。画像処理装置は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、外部指令に応じて、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて予め算出される複数の第１推定行列のうち一つを選択する選択手段と、選択手段によって選択された第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度を算出する第１算出手段とを含む。第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される。

この発明のさらに別の局面に従えば、撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置を提供する。画像処理装置は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいてそれぞれ算出される複数の第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度をそれぞれ算出する第１算出手段と、それぞれ算出された分光放射輝度を予め定められた基準パターンとの比較によって評価し、そのうち一つを照明環境下における照明光の分光放射輝度として出力する評価手段とを含む。第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される。

好ましくは、拡散部材は、撮像装置の光軸上に配置され、拡散部材の入射強度は、光軸に対する角度についての所定の関数値で示される。

さらに好ましくは、関数値は、光軸に対する角度についての余弦関数である。
好ましくは、撮像装置は、撮像データとして、ＲＧＢ表色系において定義される座標値を出力するように構成され、画像処理装置は、照明光の分光放射輝度と等色関数とを用いて、照明光の分光放射輝度に対応するＲＧＢ表色系における座標値を算出する第２算出手段と、第２算出手段において算出された座標値の比に基づいて、撮像装置におけるホワイトバランスを算出する第３算出手段とをさらに含む。

好ましくは、画像処理装置は、照明光の分光放射輝度と、複数の撮像素子の分光感度と、被写体に含まれ得る色の分光反射率の自己相関行列と、に基づいて算出される第２推定行列を用いて、照明環境下において撮像装置により被写体を撮像することで得られる第２撮像データから被写体の分光反射率を算出する第４算出手段をさらに含む。

さらに好ましくは、画像処理装置は、第４算出手段によって算出された被写体の分光反射率に基づいて、被写体を所定の照明環境下において撮像した場合に取得される撮像データを生成する生成手段をさらに含む。

この発明のさらに別の局面に従う画像処理方法は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、照明環境を提供するために用いられ得る複数の光源の種類毎に予め定められた複数の演算行列のうち一つを選択するステップと、演算装置が、選択された演算行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度を算出するステップとを含む。演算行列の各々は、光源の分光放射輝度を示す行列の自己相関行列である。

この発明のさらに別の局面に従う画像処理方法は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて予め算出される複数の第１推定行列のうち一つを選択するステップと、演算装置が、選択された第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度を算出するステップとを含む。第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される。

この発明のさらに別の局面に従う画像処理方法は、撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、演算装置が、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいてそれぞれ算出される複数の第１推定行列を用いて、第１撮像データから被写体に入射する照明光の分光放射輝度をそれぞれ算出するステップと、演算装置が、それぞれ算出された分光放射輝度を予め定められた基準パターンとの比較によって評価し、そのうち一つを照明環境下における照明光の分光放射輝度として出力するステップとを含む。第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、拡散部材の分光透過率と、撮像装置の分光感度と、に基づいて算出される。

この発明によれば、被写体を撮像するための撮像装置を用いて、当該被写体に照射されている照明光の分光放射輝度を容易に算出できる。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

［実施の形態１］
＜全体構成＞
図１は、この発明の実施の形態１に従う画像処理装置１の機能構成図である。

図１を参照して、画像処理装置１は、後述する撮像装置によって撮像された第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）および第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）に対して、本発明に係る画像処理方法を実行可能である。

より具体的には、画像処理装置１は、照明スペクトル推定部１００と、色再現部２００とを含む。照明スペクトル推定部１００は、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を用いて、被写体に入射する照明光の分光放射輝度Ｅ^（１）（照明スペクトル）を算出する。続いて、色再現部２００が、算出された分光放射輝度Ｅ^（１）を用いて、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）から被写体の分光反射率を算出する。さらに、色再現部２００は、この算出した被写体の分光反射率に基づいて、被写体の色再現を行なった画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。この色再現部２００から出力される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）は、代表的に表示装置（ディスプレイ）や印刷装置（プリンタ）などの図示しない出力装置へ出力される。あるいは、図示しない記憶装置などに格納されてもよい。

なお、画像処理装置１は、代表的に、ハードウェアによって実現されるが、後述するように、その一部または全部をソフトウェアによって実現してもよい。

＜撮像データの取得＞
図２は、この発明の実施の形態１に従う画像処理装置１において処理対象となる撮像データの取得方法を説明するための図である。なお、図２には、所定の照明環境下において、被写体ＯＢＪを撮像する場合を示す。図２（ａ）は、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を取得する手順を示し、図２（ｂ）は、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）の取得する手順を示す。

まず、撮像データの取得（撮像）には、撮像装置４００が用いられる。この撮像装置４００は、一例として、デジタルスチルカメラやデジタルビデオカメラであり、特定の波長帯域における分光感度特性をもつ撮像素子（代表的に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など）を含んで構成される。撮像素子は、行列状に配置された複数の画素を含み、各画素に入射する光の強度に応じた輝度を撮像データとして出力する。このとき、各撮像素子から出力される輝度は、その分光感度に応じた値となる。撮像装置が撮像可能な特定の波長帯域のことをバンドと呼び、本実施の形態では、代表的に、主としてＲ（赤），Ｇ（緑），Ｂ（青）の分光感度特性を有する３バンドの撮像装置４００を用いる場合について説明する。なお、デバイス構造としては、同一の基板上に複数種類の撮像素子を形成した構造、あるいは複数の基板上にそれぞれ対応する１種類の撮像素子を形成した構造のいずれを採用することもできる。また、各バンドの分光感度特性を決定付ける方法としては、素子自体の分光感度を異ならせるようにしてもよいし、同じ分光感度を有する素子を用いて、各素子の入力光側にＲ，Ｇ，Ｂのフィルタを設けることで実現してもよい。

上述のように、撮像装置４００が出力する撮像データは、Ｒ，Ｇ，Ｂの各輝度値（代表的に、それぞれが１２ビット：０〜４０９５階調）の３次元の色情報となる。このように、撮像装置４００が出力する撮像データは、ＲＧＢ表色系において定義される。以下、撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ），ｇ^（２） _ＲＧＢ（ｍ，ｎ）の（ｍ，ｎ）は、撮像装置４００の各撮像素子での対応する画素の座標を表わす。すなわち、撮像データｇ^（１）（ｍ，ｎ），ｇ^（２） _ＲＧＢ（ｍ，ｎ）＝［（座標（ｍ，ｎ）におけるＲの撮像素子で検出された輝度値），（座標（ｍ，ｎ）におけるＧの撮像素子で検出された輝度値），（座標（ｍ，ｎ）におけるＢの撮像素子で検出された輝度値）］となる。

図２（ａ）を参照して、被写体ＯＢＪには、任意の光源３００が発する照明光が照射されているとする。このような光源３００によって実現される照明環境下において、まず第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を取得する場合には、撮像装置４００を用いて、光源３００から被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して得られる光（すなわち、拡散部材４０２を透過した後の光）を撮像する。

より具体的には、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を取得する場合には、その光軸Ａｘ１が被写体ＯＢＪに照明光が入射するいずれかの経路上になるように撮像装置４００を配置する。さらに、この光軸Ａｘ１上の撮像装置４００と光源３００との間（好ましくは、撮像装置４００の直近）に拡散部材４０２が配置される。なお、被写体ＯＢＪに入射する照明光の経路には、光源３００から被写体ＯＢＪに直接的に入射する経路、および光源３００から壁材などで反射されて被写体ＯＢＪに間接的に入射する経路を含む。

拡散部材４０２は、撮像装置４００で撮像される光を空間的に拡散、すなわち空間的に平均化するための部材であり、代表的に既知の分光透過率をもつ乳白色の拡散板が用いられる。代替的に、積分球などを用いてもよい。このような拡散部材４０２を用いることで、撮像装置４００に入射する照明光の強度分布を一様化でき、これによって、後述する照明光の分光放射輝度の推定精度を高めることができる。

さらに、拡散部材４０２として乳白色の拡散板を用いる場合には、所定の入射角特性を有する拡散板（一般的に、コサインコレクタ、コサインディフューザ、コサインレセプタなどと称される。）を用いることが好ましい。このような拡散板では、拡散部材４０２を通過した後の光の入射強度が、撮像装置４００の光軸Ａｘ１に対する角度（立体角）についての余弦関数（コサイン）で示される。このような余弦関数の入射角特性をもつ拡散板を用いることで、何らの特別の演算を要することなく、単位面積当たりに入射する照明光のエネルギー量（分光放射照度）を反映した撮像データを取得できる。また、入射角特性をもたない拡散板を用いた場合には、外乱光を抑制するために、撮像装置４００の視野角を相対的に小さくする必要があるが、このような入射角特性を有する拡散板を用いた場合には、撮像装置４００の視野角を意識することなく、光源３００からの照明光を撮像することもできる。

上述の手順に従って取得された第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）は、照明環境下において被写体ＯＢＪに入射する照明光を反映した色情報を含むことになる。

次に、図２（ｂ）を参照して、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）は、図２（ａ）と同じ撮像装置４００を用いて、被写体ＯＢＪを撮像することで生成される。このとき、撮像装置４００の光軸Ａｘ２上には、図２（ａ）の場合と異なり、拡散部材４０２が配置されることはない。なお、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）の取得に使用される撮像装置４００と、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）の取得に使用される撮像装置４００とは、必ずしも同一のものを用いる必要はなく、少なくとも撮像素子の分光感度が実質的に既知であれば、異なる撮像装置４００を用いてもよい。

また、図２（ａ）において第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を撮像したときの撮像装置４００の光軸Ａｘ１と、図２（ｂ）において第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を撮像するときの撮像装置４００の光軸Ａｘ２とは、互いに一致させることが好ましい。図２（ｂ）において取得される第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）は、主として、被写体ＯＢＪからの反射光によるものである。この反射光は、被写体ＯＢＪで反射されて光軸Ａｘ２上を逆方向に伝搬する光であり、この反射光を生じる照明光は、主として、撮像装置４００の光軸Ａｘ２上を被写体ＯＢＪ側に向けて伝搬する。したがって、この反射光を生じる照明光を第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）として撮像することで、より適切な照明光の分光放射輝度を算出することができる。

＜照明光の分光放射輝度の算出処理＞
再度、図１を参照して、照明スペクトル推定部１００によって実行される、被写体に入射する照明光の分光放射輝度Ｅ^（１）（照明スペクトル）の算出処理について説明する。なお、照明光の分光放射輝度Ｅ^（１）は、本来、波長λについての連続関数になるはずであるが、本実施の形態では、分光放射輝度Ｅ^（１）として、可視光領域（３８０〜７８０ナノメートル）について、所定の波長幅（１ナノメータ幅）でサンプリングした離散値を用いるものとする。以下に説明する行列演算の便宜上、本実施の形態に従う分光放射輝度Ｅ^（１）は、波長λ＝３８０，３８１，・・・，７８０の計４０１個の輝度値を含む４０１行×４０１列の行列とする。この分光放射輝度Ｅ^（１）を示す行列では、その対角要素に各波長における輝度値がセットされるとともに、対角要素以外の要素にはゼロがセットされている。

照明スペクトル推定部１００は、入力部１０と、分光放射輝度算出部１１と、推定行列算出部１２と、光源データ格納部１３とを含む。

入力部１０は、図２（ａ）に示すように、撮像装置４００を用いて、照明環境下において被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して撮像することで得られた第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を受入れる。さらに、入力部１０は、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）に基づいて、この第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を代表する撮像データｇ^（１） _ＲＧＢを出力する。この撮像データｇ^（１） _ＲＧＢは、Ｒ，Ｇ，Ｂの３つの輝度値（代表値）からなる線形化された色データである。一例として、入力部１０は、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）に含まれる輝度値を平均化するための部位を含み、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）の各画素における輝度値をＲ，Ｇ，Ｂの別に平均し、この平均化した値（Ｒ，Ｇ，Ｂ）を撮像データｇ^（１） _ＲＧＢとして出力する。

なお、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）に逆ガンマ特性（非線形性）が与えられている場合には、入力部１０がこの逆ガンマ特性を打ち消すための処理を行なうことで、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を線形化してもよい。一般的に、表示装置では、入力信号レベルと実際に表示される輝度レベルとの間は非線形な関係（ガンマ特性）を有している。このような表示装置における非線形性を打ち消して、人間の視覚に適応した画像が表示されるように、撮像装置４００からは、当該表示装置のガンマ特性と逆の非線形性（逆ガンマ特性）をもつような撮像データが出力されることが多い。このように、撮像データに逆ガンマ特性が与えられている場合には、以後の処理を正確に実行できないので、たとえば入力部１０がこのような逆ガンマ特性を打ち消して、線形化された第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を生成する。

一般的にガンマ特性および逆ガンマ特性はべき乗の関数として表わすことができる。たとえば、撮像装置４００における逆ガンマ値をγｃとすると、以下のような演算式に従って、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を線形化することができる。

ｇ’^（１） _ＲＧＢ（ｍ，ｎ）＝ｇ^（１） _ＲＧＢ（ｍ，ｎ）^１／γｃ
また、このような線形化処理は、上述の撮像データｇ^（１） _ＲＧＢを算出するための平均化処理の実行前に行なう必要がある。一方で、撮像装置４００を構成する撮像素子の画素サイズが相対的に大きければ、上述の線形化処理には膨大な演算量が必要となる。そのため、入力部１０の演算処理能力が十分に高い場合には、上述のべき乗演算を直接的に実行してもよいが、演算処理能力に制限がある場合には、ルックアップテーブル（ＬＵＴ：Look-Up Table）を用いることが有効である。このルックアップテーブルは、入力される撮像データが取り得るすべての輝度値の各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルであり、この入力と出力との対応関係を参照するだけで変換後の値を取得できるので、演算量を大幅に低減できる。

分光放射輝度算出部１１は、後述する推定行列算出部１２で算出された第１推定行列Ｗ^（１）を用いて、撮像データｇ^（１） _ＲＧＢから被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）を算出する。より具体的には、分光放射輝度算出部１１は、第１推定行列Ｗ^（１）と撮像データｇ^（１） _ＲＧＢとの行列積によって、照明光の分光放射輝度Ｅ^（１）を算出する。上述したように、本実施の形態では、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした４０１行×４０１列の分光放射輝度Ｅ^（１）を用いるので、第１推定行列Ｗ^（１）は、波長成分数×撮像装置４００のバンド数、すなわち４０１行×３列の行列となる。

推定行列算出部１２は、被写体ＯＢＪにおける照明環境を提供するために用いられ得る光源の分光放射輝度の自己相関行列Ｂ、拡散部材４０２の分光透過率ｆ^（１）、撮像装置４００の分光感度Ｓに基づいて、第１推定行列Ｗ^（１）を算出する。以下、分光感度Ｓは４０１行×３列の行列、分光透過率ｆ^（１）は４０１行×３列の行列であるものとする。

以下、第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）から分光放射輝度Ｅ^（１）を算出できる原理について説明する。

撮像装置４００に入射する拡散部材４０２を通過した後の光（スペクトル）は、拡散部材４０２（あるいは、被写体ＯＢＪ）に照射される照明光の分光放射輝度Ｅ^（１）（λ）と、拡散部材４０２の分光透過率ｆ^（１）（λ）との積に相当する。なお、拡散部材４０２の分光透過率ｆ^（１）（λ）は、拡散部材４０２の全体に亘って一定であるとする。そして、撮像装置４００から出力される第１画像データを代表する撮像データｇ^（１） _ＲＧＢの各成分値ｇ^（１） _ｉ（ｉ＝Ｒ，Ｇ，Ｂ）は、各撮像素子の分光感度Ｓ_ｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）をさらに乗じた上で、波長領域にわたって光エネルギーを積分したものに相当する。このような関係は、（１）式に示す関係式として表わすことができる。

ここで、ｎ_ｉ（ｍ，ｎ）は、各撮像素子に現れる白色ノイズなどによって生じる加法性ノイズであり、撮像装置４００の撮像素子やレンズの特性、および照明環境などに依存する値である。

上述したように、本実施の形態では、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした行列演算式を用いる。すなわち、（１）式の右辺第１項の積分式を、各撮像素子の各波長における感度を示す行列である分光感度Ｓと、各波長における放射輝度を示す行列である分光放射輝度Ｅ^（１）と、各波長における透過率を示す行列である分光透過率ｆ^（１）との行列演算により実現する。なお、分光感度Ｓおよび分光透過率ｆ^（１）については既知である。

ここで、加法性ノイズｎ_ｉ（ｍ，ｎ）は、一般的に十分に小さな値であるので、（１）式から無視すると、（１）式から次の行列演算式を導くことができる。

ｇ^（１）＝Ｓ^t・Ｅ^（１）・ｆ^（１） ・・・（２）
この（２）式に基づいて、分光放射輝度Ｅ^（１）を算出することを考える。具体的には、以下に示す（３）式に従って照明光の分光放射輝度Ｅ^（１）を算出する。

ｆ^（１）＝Ｗ^（１）・ｇ^（１） ・・・（３）
（３）式において、Ｗ^（１）は第１推定行列である。第１推定行列Ｗ^（１）は、以下に説明するウィナー推定の手法によって算出される。具体的には、第１推定行列Ｗ^（１）は、システム行列Ｉを以下に示す（４）式と定めた上で、（２）式を変形することで（５）式のように導出される。

Ｉ＝Ｓ^t×ｆ^（１）t ・・・（４）
Ｗ^（１）＝Ｂ・Ｉ^ｔ・（Ｉ・Ｂ・Ｉ^ｔ）^−１ ・・・（５）
但し、「×」は、行列要素同士の積を意味し、「^ｔ」は、転置行列を意味し、「^−１」は、逆行列を意味する。

（５）式において、Ｂは、照明環境を提供するために用いられ得る光源の分光放射輝度の自己相関行列（以下、「演算行列」とも称す。）である。本実施の形態においては、複数の光源の候補についての分光放射輝度を予め取得しておき、統計上の視点から、各光源の分光放射輝度との相関性を利用して照明光の分光放射輝度Ｅ^（１）を推定する。すなわち、光源の種類毎に取得された統計データを予め用意しておき、この統計データの特徴に従って、照明光の分光放射輝度Ｅ^（１）を算出する。

この分光放射輝度の自己相関行列Ｂは、照明光の分光放射輝度Ｅ^（１）を推定するための基準となるので、照明環境を提供するために用いられている可能性の高い光源の種類（たとえば、蛍光灯、白熱灯、キセノン灯、水銀灯などの発光原理別）に応じて、適切な統計データを用いることが好ましい。

このような光源の分光放射輝度は、各光源について予め実験的に取得することもできるし、国際照明委員会（ＣＩＥ）やＩＳＯ（International Organization for Standardization）あるいはＪＩＳ（Japanese Industrial Standards）によって標準化されている統計データを用いてもよい。

図３は、この発明の実施の形態１に従う分光放射輝度の自己相関行列Ｂの生成処理を説明するための図である。図３を参照して、まず、少なくとも１種類以上の光源（光源１〜光源Ｎ）の分光放射輝度の値を各要素とする光源の群行列Ｅ_ｓｔを作成する。すなわち、光源ｉ（１≦ｉ≦Ｎ）の各サンプリング波長λ_ｊ（１≦ｊ≦ｋ）における成分値（放射輝度）をｅ_ｉ（λ_ｊ）とすると、各光源の成分値ｅ_ｉ（λ_ｊ）を行方向に配置した光源の群行列Ｅ_ｓｔを作成する。

さらに、以下の演算式に従って、この群行列Ｅ_ｓｔに基づいて自己相関行列Ｂを算出する。

Ｂ＝Ｅ_ｓｔ・Ｅ_ｓｔ ^ｔ ・・・（６）
なお、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングして得られる分光放射輝度Ｅ^（１）を算出するためには、同じサンプリング間隔（要素数）をもつ群行列Ｅ_ｓｔを用いる必要がある。従って、１つの光源の分光放射輝度を示す４０１行×１列の行列をｎ個分だけ結合した群行列Ｅ_ｓｔは、４０１行×ｎ列の行列となり、この群行列Ｅ_ｓｔの自己相関行列は、４０１行×４０１列の行列となる。

また、光源の分光放射輝度としては、たとえば蛍光灯や白熱灯といった単体の光源が発する分光放射輝度を用いてもよいし、複数種類の光源が組み合わされて生じる分光放射輝度を用いてもよい。さらに、屋外では、太陽光などの分光放射輝度を組み合わせてもよい。すなわち、本実施の形態において、照明光の分光放射輝度Ｅ^（１）を推定するためには、照明環境を提供するために用いられる可能性の高い光源の分光放射輝度から得られる自己相関行列Ｂを用いることが好ましい。

なお、ウィナー推定の詳細については、上述の非特許文献１（三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日）に詳しいので、こちらを参照されたい。

再度、図２を参照して、光源データ格納部１３は、上述のような手順によって算出される、演算行列である自己相関行列Ｂを予め格納する。

推定行列算出部１２は、上述の（４）式に従って、予め格納している拡散部材４０２の分光透過率ｆ^（１）および撮像装置４００の分光感度Ｓに基づいて、システム行列Ｉを算出するとともに、上述の（５）式に従って、このシステム行列Ｉと、光源データ格納部１３から読み出した自己相関行列Ｂとに基づいて、第１推定行列Ｗ^（１）を算出する。続いて、分光放射輝度算出部１１が、上述の（３）式に従って、推定行列算出部１２からの第１推定行列Ｗ^（１）と、入力部１０からの撮像データｇ^（１） _ＲＧＢとに基づいて、照明光の分光放射輝度Ｅ^（１）を算出する。

このように推定行列算出部１２が算出した照明光の分光放射輝度Ｅ^（１）は、後述するホワイトバランス算出処理および色再現処理に利用される。

なお、本発明と図２に示す各要素との対応関係については、入力部１０が「入力手段」に相当し、分光放射輝度算出部１１と、推定行列算出部１２と、光源データ格納部１３とが「第１算出手段」に相当する。

＜ホワイトバランス算出処理＞
照明スペクトル推定部１００は、三刺激値変換部１４と、座標変換部１５と、ホワイトバランス算出部１６とをさらに含む。これらの部位は、算出された照明光の分光放射輝度Ｅ^（１）に基づいて、撮像装置４００のホワイトバランスを算出する。このホワイトバランスの値に基づいて、撮像装置４００の撮像素子からそれぞれ出力されるＲ，Ｇ，Ｂの輝度値のレベルを互いに調整するためのホワイトバランス調整が可能になる。

三刺激値変換部１４は、波長領域で規定された分光放射輝度Ｅ^（１）からＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを算出する。この三刺激値Ｘ，Ｙ，Ｚは、被写体ＯＢＪが撮像される照明環境における分光放射輝度Ｅ^（１）を人間が観測したと仮定した場合の特性値を示す。より具体的には、照明光の分光放射輝度Ｅ^（１）についてのＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、以下に示す（７）式のようになる。

（７）式において、ｈ_ｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）は等色関数であり、人間の視覚感度特性に相当する関数である。この等色関数ｈ_ｉ（λ）は国際照明委員会（ＣＩＥ）によって規定されている。

上述しているように、分光放射輝度Ｅ^（１）を４０１行×４０１列の行列であるので、三刺激値変換部１４は、（７）式に相当する演算を、以下に示す行列演算によって実現する。

三刺激値［Ｘ^（１），Ｙ^（１），Ｚ^（１）］＝ｈ^ｔ・Ｅ^（１） ・・・（８）
ここで、行列ｈは、等色関数ｈ_ｉ（λ）の各サンプリング波長における値を要素とする４０１行×３列の行列である。

続いて、座標変換部１５は、この三刺激値Ｘ^（１），Ｙ^（１），Ｚ^（１）をＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）に変換する。より具体的には、座標変換部１５は、以下に示す演算式に従って、ＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）を算出する。

Ｒ^（１）＝ａ_１１Ｘ^（１）＋ａ_１２Ｙ^（１）＋ａ_１３Ｚ^（１）
Ｇ^（１）＝ａ_２１Ｘ^（１）＋ａ_２２Ｙ^（１）＋ａ_２３Ｚ^（１）
Ｂ^（１）＝ａ_３１Ｘ^（１）＋ａ_３２Ｙ^（１）＋ａ_３３Ｚ^（１）
ここで、ａ_１１〜ａ_３３は、被写体の測色値（ＸＹＺ表色系）と、実際に撮像装置に記録される信号値（ＲＧＢ表色系）との対応関係を表す３行×３列の変換行列である。このような行列のことを表示装置におけるＲＧＢ⇔ＸＹＺ変換行列と呼ぶ。ａ_１１〜ａ_３３を３行×３列の行列としてとらえると、後述の（１５）式にて、
ｈ^t・Ｅ^（１）・Ｗ^（２）＝Ｍ
とした場合の逆行列Ｍ^−１に相当することになる。

さらに、ホワイトバランス算出部１６は、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比に基づいて、撮像装置４００におけるホワイトバランスを算出する。一般的に、ホワイトバランス調整の完了とは、Ｒ^（１）：Ｇ^（１）：Ｂ^（１）＝１：１：１が成立することであるため、この比率が崩れている場合には、ホワイトバランス調整が十分ではないといえる。このような場合には、撮像装置４００を構成する各色の撮像素子の出力ゲインを独立に調整することで、ホワイトバランスが調整される。すなわち、Ｒ，Ｇ，Ｂの撮像素子に乗じるべき調整ゲインは、１／Ｒ^（１）：１／Ｇ^（１）：１／Ｂ^（１）となる。

したがって、ホワイトバランス算出部１６は、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比、あるいはその逆比である１／Ｒ^（１）：１／Ｇ^（１）：１／Ｂ^（１）をホワイトバランスとして出力する。このホワイトバランス算出部１６から出力されるホワイトバランスは、ユーザによる手動のゲイン調整に用いられる。あるいは、撮像装置４００のゲイン調整部（図示しない）に与えられて、当該ゲイン調整部が自動的に撮像装置４００のゲインを調整するようにしてもよい。

なお、本発明と図２に示す各要素との対応関係については、三刺激値変換部１４および座標変換部１５が「第２算出手段」に相当し、ホワイトバランス算出部１６が「第３算出手段」に相当する。

＜色再現処理＞
次に、上述の処理によって算出された分光放射輝度Ｅ^（１）を用いて、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）から被写体の色再現を行なって画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を生成する処理について説明する。

色再現部２００は、入力部２０と、分光反射率算出部２１と、推定行列算出部２２と、分光反射率データ格納部２３と、画像データ生成部２４と、座標変換部２５とを含む。

入力部２０は、図２（ｂ）に示すように、撮像装置４００を用いて、被写体ＯＢＪを撮像して得られた第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を受入れる。そして、入力部２０は、処理に応じて、この第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を分光反射率算出部２１へ出力する。

なお、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）に逆ガンマ特性（非線形性）が与えられている場合には、上述した入力部１０と同様に、入力部２０についてもこの逆ガンマ特性を打ち消すための処理を行なうようにしてもよい。すなわち、撮像装置４００における逆ガンマ値をγｃとすると、以下のような演算式に従って、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を線形化することができる。

ｇ’^（２） _ＲＧＢ（ｍ，ｎ）＝ｇ^（２） _ＲＧＢ（ｍ，ｎ）^１／γｃ
さらに、上述したように、このような線形化処理をルックアップテーブルを用いて実行してもよい。

分光反射率算出部２１は、後述する推定行列算出部２２で算出された第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２）から被写体ＯＢＪの分光反射率を算出する。さらに、分光反射率算出部２１は、任意の照明環境下における被写体ＯＢＪの色再現データである画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。この色再現データとは、被写体ＯＢＪの分光反射率に基づいて、任意の照明環境下において当該被写体ＯＢＪがどのように観測されるかを演算処理によって再現したものである。

推定行列算出部２２は、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列Ａと、照明スペクトル推定部１００によって算出された照明光の分光放射輝度Ｅ^（１）と、撮像装置４００の分光感度Ｓとに基づいて、第２推定行列Ｗ^（２）を算出する。

以下、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）から色再現された画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を生成する原理について説明する。

撮像装置４００の座標（ｍ，ｎ）の画素に入射する被写体ＯＢＪからの光（スペクトル）は、被写体ＯＢＪに照射される照明光の分光放射輝度Ｅ^（１）（λ）と、被写体ＯＢＪの当該画素に対応する位置の分光反射率ｆ^（２）（ｍ，ｎ；λ）との積に相当する。そして、撮像装置４００から出力される第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）の各成分値ｇ^（２） _ｉ（ｍ，ｎ）（ｉ＝Ｒ，Ｇ，Ｂ）は、各撮像素子の分光感度Ｓ_ｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）をさらに乗じた上で、波長領域にわたって光エネルギーを積分したものに相当する。このような関係は、（９）式に示す関係式として表わすことができる。

ここで、ｎ_ｉ（ｍ，ｎ）は、各撮像素子に現れる白色ノイズなどによって生じる加法性ノイズであり、撮像装置４００の撮像素子やレンズの特性、および照明環境などに依存する値である。

上述したように、本実施の形態では、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした行列演算式を用いる。すなわち、（９）式の右辺第１項の積分式を、各撮像素子の各波長における分光感度を示す行列である分光感度Ｓと、各波長における分光放射輝度を示す行列である分光放射輝度Ｅ^（１）と、各波長における被写体ＯＢＪの分光反射率を示す行列である分光反射率ｆ^（２）（ｍ，ｎ）との行列演算により実現する。代表的に、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、分光反射率ｆ^（２）（ｍ，ｎ）は、各要素あたり４０１行×１列の行列となる。

ここで、加法性ノイズｎ_ｉ（ｍ，ｎ）は、一般的に十分に小さな値であるので、（９）式から無視すると、（９）式から次の行列演算式を導くことができる。

ｇ^（２） _ＲＧＢ（ｍ，ｎ）＝Ｓ^t・Ｅ^（１）・ｆ^（２）（ｍ，ｎ） ・・・（１０）
この（１０）式に基づいて、分光反射率ｆ^（２）（ｍ，ｎ）を算出することを考える。具体的には、以下に示す（１１）式に従って被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する。

ｆ^（２）（ｍ，ｎ）＝Ｗ^（２）・ｇ^（２） _ＲＧＢ（ｍ，ｎ） ・・・（１１）
（１１）式において、Ｗ^（２）は第２推定行列である。第２推定行列Ｗ^（２）は、上述した第１推定行列Ｗ^（１）の算出と同様に、ウィナー推定の手法によって算出される。具体的には、第２推定行列Ｗ^（２）は、システム行列Ｈを以下に示す（１２）式と定めた上で、（１１）式を変形することで（１３）式のように導出される。

Ｈ＝Ｓ^ｔ・Ｅ^（１） ・・・（１２）
Ｗ^（２）＝Ａ・Ｈ^ｔ・（Ｈ・Ａ・Ｈ^ｔ）^−１ ・・・（１３）
但し、「^ｔ」は、転置行列を意味し、「^−１」は、逆行列を意味する。

（１３）式において、Ａは、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列であり、被写体ＯＢＪの分光反射率を推定するための基準となる。この自己相関行列Ａは、一例として、ＩＳＯ（International Organization for Standardization）において標準化されている分光反射率のデータベースであるＳＯＣＳ（Standard Object Color Sample）を参照することで決定できる。あるいは、被写体ＯＢＪの材質などが予め分っている場合には、被写体ＯＢＪ自身の分光反射率を別の方法によって予め測定しておき、自己相関行列Ａを決定してもよい。

この自己相関行列Ａは、図３における自己相関行列Ｂの生成処理と同様の処理によって生成される。この自己相関行列Ａの生成に用いられる群行列としては、たとえば、複数のカラー見本からなるカラーチャートの各色の分光反射率を用いることができる。本実施の形態においては、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングして得られる４０１行×４０１列の分光放射輝度Ｅ^（１）が用いられるので、自己相関行列Ａも４０１行×４０１列の行列となる。

この自己相関行列Ａは、分光反射率データ格納部２３に予め格納される。
さらに、上述のようなウィナー推定の手法に代えて、主成分分析の手法を用いてもよい。

以上のように、推定行列算出部２２は、（１２）式および（１３）式に従って、照明光の分光放射輝度Ｅ^（１）と、撮像装置４００の分光感度Ｓと、被写体ＯＢＪに含まれ得る色の分光放射輝度から得られた自己相関行列Ａとに基づいて、第２推定行列Ｗ^（２）を算出する。そして、分光反射率算出部２１は、（１１）式に従って、この第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）から被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する。

このように算出された分光反射率ｆ^（２）（ｍ，ｎ）が被写体ＯＢＪのもつ色の本質であり、分光反射率ｆ^（２）（ｍ，ｎ）を用いることで、被写体ＯＢＪがどのような照明環境下で観測されたものであっても、その色再現を行なうことができる。

すなわち、任意の分光放射輝度Ｅ（λ）の条件下で、分光反射率ｆ（ｍ，ｎ；λ）の被写体を観測した場合のＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、以下に示す（１４）式のようになる。

（１４）式において、ｈ_ｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）は等色関数であり、人間の視覚感度特性に相当する関数である。

この（１４）式において、色再現に使用する分光放射輝度Ｅ（λ）を任意に決定できるが、本実施の形態においては、被写体ＯＢＪの撮像時と同じ照明環境下における色再現を行なう場合について例示する。

すなわち、画像データ生成部２４は、等色関数ｈと、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）と、被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）（＝Ｗ^（２）・ｇ^（２） _ＲＧＢ（ｍ，ｎ））とを用いて、分光放射輝度Ｅ^（１）である照明環境下において被写体ＯＢＪの色再現を行なった画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）を生成する。すなわち、画像データ生成部２４は、（１５）式に示す演算式を実行する。

ｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）＝ｈ^t・Ｅ^（１）・Ｗ^（２）・ｇ^（２） _ＲＧＢ（ｍ，ｎ） ・・・（１５）
ここで、画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）は、ＸＹＺ表色系の座標値として定義される。

続いて、座標変換部２５は、この画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系において定義される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）に変換する。この座標変換部２５により実行される座標変換処理は、上述した座標変換部１５における処理と同様であるので、詳細な説明は繰返さない。

以上のような処理によって、第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）から被写体ＯＢＪの色再現データである画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）が生成される。

なお、画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）がガンマ特性をもつ表示装置などへ出力される場合には、当該出力先のガンマ特性を打ち消すための処理を行なうことが好ましい。この場合には、座標変換部２５がガンマ特性を付与するような処理を含んでいてもよい。このガンマ特性を付与する処理は、表示装置のガンマ値γｄとすると、生成される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）について、このガンマ値γｄについてのべき乗を演算することで実現される。なお、上述した入力部１０および２０と同様に、ルックアップテーブル（ＬＵＴ）を用いることで、演算量を大幅に低減することもできる。

上述の説明では、画像データ生成部２４が被写体ＯＢＪの撮像時と同じ照明環境下において色再現を行なう構成について例示したが、色再現を行なう照明環境を異なるものとしてもよい。すなわち、画像データ生成部２４が画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）の生成に用いる分光放射輝度Ｅを任意に決定できる。

なお、本発明と図２に示す各要素との対応関係については、分光反射率算出部２１および推定行列算出部２２が「第４算出手段」に相当し、画像データ生成部２４が「生成手段」に相当する。

＜処理手順＞
本実施の形態に従う画像処理装置１における処理手順をまとめると、以下のようになる。

図４は、この発明の実施の形態１に従う画像処理装置１における全体処理手順を示すフローチャートである。

図１および図４を参照して、まず、入力部１０が、被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して撮像した第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１００）。続いて、入力部１０は、受入れた第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を代表する撮像データｇ^（１） _ＲＧＢを生成する（ステップＳ１０２）。なお、入力部１０は、必要に応じて、第１撮像データを線形化する。

次に、推定行列算出部１２が、被写体ＯＢＪにおける照明環境を提供するために用いられ得る光源の分光放射輝度の自己相関行列Ｂ、拡散部材４０２の分光透過率ｆ^（１）、撮像装置４００の分光感度Ｓに基づいて、第１推定行列Ｗ^（１）を算出する（ステップＳ１０４）。続いて、分光放射輝度算出部１１が、ステップＳ１０４で算出された第１推定行列Ｗ^（１）を用いて、撮像データｇ^（１） _ＲＧＢから被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）を算出する（ステップＳ１０６）。

次に、三刺激値変換部１４が、分光放射輝度Ｅ^（１）からＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを算出する（ステップＳ１１０）。続いて、座標変換部１５が、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを、ＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）に変換する（ステップＳ１１２）。さらに、ホワイトバランス算出部１６が、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比に基づいて、撮像装置４００におけるホワイトバランスを算出する（ステップＳ１１４）。

一方、入力部２０が、照明環境下において撮像装置４００により被写体ＯＢＪを撮像することで得られる第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１２０）。なお、入力部２０は、必要に応じて、第２撮像データを線形化する。

次に、推定行列算出部２２が、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列Ａ、照明スペクトル推定部１００によって算出された照明光の分光放射輝度Ｅ^（１）、撮像装置４００の分光感度Ｓに基づいて、第２推定行列Ｗ^（２）を算出する（ステップＳ１２２）。続いて、分光反射率算出部２１が、ステップＳ１２２で算出された第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２）から被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する（ステップＳ１２４）。さらに、画像データ生成部２４が、等色関数ｈ、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）、ステップＳ１２４で算出さされた被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を用いて、被写体ＯＢＪの色再現を行なった画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）を生成する（ステップＳ１２６）。さらに、座標変換部２５が、ステップＳ１２６において生成された画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系において定義される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ１２８）、この変換後の画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。

＜本実施の形態による作用効果＞
この発明の実施の形態１によれば、被写体ＯＢＪを撮像するための撮像装置を用いて、被写体ＯＢＪに照射される照明光の分光放射輝度を算出することができる。そのため、照明光の分光放射輝度を測定するための専用の測定装置を用いることなく、容易に分光放射輝度を取得することができる。

さらに、このように算出された照明光の分光放射輝度に基づいて、被写体ＯＢＪの分光反射率を正確に推定した上で、当該撮像すべき照明環境において撮像（観察）されるであろう色を適切に再現することができる。

また、照明光の分光放射輝度に基づいて、撮像装置のホワイトバランスを適切に調整できるので、撮像素子の特性のバラツキなどに影響されることなく、より正確な色再現を実現することができる。

なお、上述の実施の形態では、「照明光の分光放射輝度の算出処理」、「ホワイトバランス算出処理」、「色再現処理」の３つの処理を１つの画像処理装置で実現する構成について例示したが、少なくとも「照明光の分光放射輝度の算出処理」を実行可能な装置であれば、本願発明の課題は解決可能である。

［実施の形態２］
上述の実施の形態１においては、被写体ＯＢＪに照射される照明光の分光放射輝度を推定するために１種類の自己相関行列Ｂを用いる構成について例示した。一方で、照明光の分光放射輝度（スペクトル）は、光源の種類によって大きく変化することが知られている。これは、光源の発光原理などによって、その発光スペクトル（輝線スペクトル）は様々な固有の特性を有するからである。そのため、被写体ＯＢＪを撮影する照明環境に応じて、光源の種類毎に予め生成した自己相関行列Ｂを選択的に用いることが好ましい。

そこで、実施の形態２においては、複数の光源の種類毎（カテゴリー毎）に自己相関行列を複数格納しておき、被写体ＯＢＪを撮影する照明環境に相応しいものをユーザが選択できる構成について例示する。

＜全体構成＞
図５は、この発明の実施の形態２に従う画像処理装置１Ａの機能構成図である。

図５を参照して、画像処理装置１Ａは、図１に示す画像処理装置１において、照明スペクトル推定部１００に代えて、照明スペクトル推定部１００Ａを設けたものである。一方、色再現部２００については、図１に示す画像処理装置１の色再現部２００と同様であるので、詳細な説明は繰返さない。

照明スペクトル推定部１００Ａは、図１に示す照明スペクトル推定部１００において、光源データ格納部１３に代えて、光源データ格納部１３Ａを設けたものである。その他の部位については、実施の形態１と同様であるので、詳細な説明は繰返さない。

光源データ格納部１３Ａは、照明環境を提供するために用いられ得るＭ種類の光源毎に予め定められた演算行列である、自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_Ｍを予め格納する。そして、光源データ格納部１３Ａは、ユーザなどからの外部指令に応じて、予め格納する自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_Ｍのうち、選択されたものを推定行列算出部１２へ出力する。

以下、この光源データ格納部１３Ａに格納される複数の自己相関行列について説明する。

たとえば、一般的な蛍光灯の分光照射輝度（スペクトル）は、その中に封入されている水銀などの輝線スペクトルに相当する波長にピークを有するような波形を有する。一方、白熱灯の分光照射輝度（スペクトル）には、その発光原理上、ピークが存在しない。このように、光源の分光照射輝度（スペクトル）は、その種類毎に異なったものとなる。そのため、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）（照明スペクトル）を推定するためには、基準となる自己相関行列Ｂを適切に選択する必要がある。

一方、ある程度の予備知識を有するユーザは、撮像装置４００を用いて被写体ＯＢＪを撮影する際に、どのような光源による照明環境下であるかを判断することができる。たとえば、被写体ＯＢＪの撮影場所は屋内であるか、あるいは屋外であるかや、撮影場所が屋内であれば、光源として蛍光灯が用いられているか、あるいは白熱灯が用いられているかといった判断は可能である。そのため、このようなユーザが判断できる程度の分類の下に、光源の種類別に複数の自己相関行列を予め用意しておき、ユーザが被写体ＯＢＪの撮影状況に応じて任意に選択できれば、照明光の分光放射輝度Ｅ^（１）（照明スペクトル）の推定精度を高めることができる。

そこで、本実施の形態に従う光源データ格納部１３Ａは、一例として、「蛍光灯」、「白熱灯」、「キセノン灯」、「水銀灯」、「太陽光」とった種類毎に複数の自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_Ｍを予め格納しており、ユーザなどによる選択指令ＳＥＬに応じて、これらのうち対応するものを自己相関行列Ｂとして推定行列算出部１２へ出力する。すなわち、自己相関行列Ｂ_１は、「蛍光灯」の分光放射輝度の統計データのみから生成し、自己相関行列Ｂ_２は、「白熱灯」の分光放射輝度の統計データのみから生成するといった具合である。

推定行列算出部１２は、この光源データ格納部１３Ａから受けた自己相関行列Ｂに基づいて、照明光の分光放射輝度Ｅ^（１）を推定する。

なお、照明光の分光放射輝度Ｅ^（１）の推定精度を高めるためには、光源の種類をより細別した自己相関行列を予め格納しておくことが好ましい。さらに、単体の光源だけでなく、たとえば「蛍光灯」と「白熱灯」とを組み合わせた場合に生じる分光放射輝度に基づいて、自己相関行列を生成しておいてもよい。すなわち、光源データ格納部１３Ａには、被写体ＯＢＪを撮影する際の照明環境として想定される様々な分光放射輝度に基づいて生成された自己相関行列を予め格納しておくことが好ましい。

その他の処理については、基本的に上述した実施の形態１と同様であるので、詳細な説明は繰返さない。

なお、本発明と図５に示す各要素との対応関係については、入力部１０が「入力手段」に相当し、分光放射輝度算出部１１および推定行列算出部１２が「第１算出手段」に相当し、光源データ格納部１３Ａが「選択手段」に相当し、三刺激値変換部１４および座標変換部１５が「第２算出手段」に相当し、ホワイトバランス算出部１６が「第３算出手段」に相当し、分光反射率算出部２１および推定行列算出部２２が「第４算出手段」に相当し、画像データ生成部２４が「生成手段」に相当する。

＜処理手順＞
図６は、この発明の実施の形態２に従う画像処理装置１Ａにおける全体処理手順を示すフローチャートである。なお、図６に示すフローチャート中の各ステップのうち、図４に示すフローチャート中のステップと同一内容のステップについては、同じ符号を付している。

図５および図６を参照して、まず、入力部１０が、被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して撮像した第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１００）。続いて、入力部１０は、受入れた第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を代表する撮像データｇ^（１） _ＲＧＢを生成する（ステップＳ１０２）。なお、入力部１０は、必要に応じて、第１撮像データを線形化する。

次に、光源データ格納部１３Ａが、予め格納する自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_Ｍのうち、選択指令ＳＥＬに応じて１つの自己相関行列を自己相関行列Ｂとして推定行列算出部１２へ出力する（ステップＳ１０３）。その後、推定行列算出部１２が、光源データ格納部１３Ａからの自己相関行列Ｂ、拡散部材４０２の分光透過率ｆ^（１）、撮像装置４００の分光感度Ｓに基づいて、第１推定行列Ｗ^（１）を算出する（ステップＳ１０４）。続いて、分光放射輝度算出部１１が、ステップＳ１０４で算出された第１推定行列Ｗ^（１）を用いて、撮像データｇ^（１） _ＲＧＢから被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）を算出する（ステップＳ１０６）。

次に、三刺激値変換部１４が、分光放射輝度Ｅ^（１）からＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを算出する（ステップＳ１１０）。続いて、座標変換部１５が、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを、ＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）に変換する（ステップＳ１１２）。さらに、ホワイトバランス算出部１６が、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比に基づいて、撮像装置４００におけるホワイトバランスを算出する（ステップＳ１１４）。

一方、入力部２０が、照明環境下において撮像装置４００により被写体ＯＢＪを撮像することで得られる第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１２０）。なお、入力部２０は、必要に応じて、第２撮像データを線形化する。

次に、推定行列算出部２２が、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列Ａ、照明スペクトル推定部１００によって算出された照明光の分光放射輝度Ｅ^（１）、撮像装置４００の分光感度Ｓに基づいて、第２推定行列Ｗ^（２）を算出する（ステップＳ１２２）。続いて、分光反射率算出部２１が、ステップＳ１２２で算出された第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２）から被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する（ステップＳ１２４）。さらに、画像データ生成部２４が、等色関数ｈ、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）、ステップＳ１２４で算出さされた被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を用いて、被写体ＯＢＪの色再現を行なった画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）を生成する（ステップＳ１２６）。さらに、座標変換部２５が、ステップＳ１２６において生成された画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系において定義される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ１２８）、この変換後の画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。

＜本実施の形態による作用効果＞
この発明の実施の形態２によれば、上述の実施の形態１と同様の作用効果を得ることができるとともに、被写体ＯＢＪの撮影状況などに応じて適切な自己相関行列を選択することで、照明光の分光放射輝度をより正確に推定することができる。

［実施の形態２の変形例］
上述の実施の形態２においては、ユーザなどによる選択指令ＳＥＬに応じて、複数の自己相関行列のうちいずれか１つが選択され、さらに、この選択された自己相関行列に基づいて、第１推定行列Ｗ^（１）が生成される構成について例示した。この第１推定行列Ｗ^（１）の生成には、拡散部材４０２の分光透過率ｆ^（１）および撮像装置４００の分光感度Ｓが用いられるが、これらの値は、撮像装置４００および拡散部材４０２が交換されない限り不変である。そこで、実施の形態２の変形例として、複数の自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_Ｍからそれぞれ算出される複数の第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _ｍを予め算出しておく構成について例示する。

＜全体構成＞
図７は、この発明の実施の形態２の変形例に従う画像処理装置１Ｂの機能構成図である。

図７を参照して、画像処理装置１Ｂは、図５に示す画像処理装置１において、照明スペクトル推定部１００に代えて、照明スペクトル推定部１００Ｂを設けたものである。一方、色再現部２００については、図１に示す画像処理装置１と同様であるので、詳細な説明は繰返さない。

照明スペクトル推定部１００Ｂは、図１に示す照明スペクトル推定部１００において、推定行列算出部１２および光源データ格納部１３に代えて、推定行列格納部１７を設けたものである。その他の部位については、実施の形態１と同様であるので、詳細な説明は繰返さない。

推定行列格納部１７は、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて予め算出される第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍを予め格納する。そして、推定行列格納部１７は、ユーザなどからの外部指令に応じて、予め格納する第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍのうち、選択されたものを分光放射輝度算出部１１へ出力する。

この第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍは、実施の形態２に従う画像処理装置１Ａの光源データ格納部１３Ａに格納されるＢ_１，Ｂ_２，・・・，Ｂ_Ｍのからそれぞれ算出される。第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍの算出に際して、既知の拡散部材４０２の分光透過率ｆ^（１）および撮像装置４００の分光感度Ｓが用いられる。

なお、実施の形態２の変形例では、撮像装置４００および拡散部材４０２の少なくとも一方が交換された場合には、光源データ格納部１３Ａに格納されるＢ_１，Ｂ_２，・・・，Ｂ_Ｍを再度計算する必要がある。

その他の処理については、基本的に上述した実施の形態１または２と同様であるので、詳細な説明は繰返さない。

なお、本発明と図７に示す各要素との対応関係については、入力部１０が「入力手段」に相当し、推定行列格納部１７が「第１算出手段」に相当し、三刺激値変換部１４および座標変換部１５が「第２算出手段」に相当し、ホワイトバランス算出部１６が「第３算出手段」に相当し、分光反射率算出部２１および推定行列算出部２２が「第４算出手段」に相当し、画像データ生成部２４が「生成手段」に相当する。

＜処理手順＞
図８は、この発明の実施の形態２の変形例に従う画像処理装置１Ｂにおける全体処理手順を示すフローチャートである。なお、図８に示すフローチャート中の各ステップのうち、図４に示すフローチャート中のステップと同一内容のステップについては、同じ符号を付している。

図７および図８を参照して、まず、入力部１０が、被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して撮像した第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１００）。続いて、入力部１０は、受入れた第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を代表する撮像データｇ^（１） _ＲＧＢを生成する（ステップＳ１０２）。なお、入力部１０は、必要に応じて、第１撮像データを線形化する。

次に、推定行列格納部１７が、予め格納する第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍのうち、選択指令ＳＥＬに応じて１つの第１推定行列を第１推定行列Ｗ^（１）として分光放射輝度算出部１１へ出力する（ステップＳ１０５）。続いて、分光放射輝度算出部１１が、ステップＳ１０５で選択された第１推定行列Ｗ^（１）を用いて、撮像データｇ^（１） _ＲＧＢから被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）を算出する（ステップＳ１０６）。

次に、三刺激値変換部１４が、分光放射輝度Ｅ^（１）からＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを算出する（ステップＳ１１０）。続いて、座標変換部１５が、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを、ＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）に変換する（ステップＳ１１２）。さらに、ホワイトバランス算出部１６が、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比に基づいて、撮像装置４００におけるホワイトバランスを算出する（ステップＳ１１４）。

一方、入力部２０が、照明環境下において撮像装置４００により被写体ＯＢＪを撮像することで得られる第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１２０）。なお、入力部２０は、必要に応じて、第２撮像データを線形化する。

次に、推定行列算出部２２が、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列Ａ、照明スペクトル推定部１００によって算出された照明光の分光放射輝度Ｅ^（１）、撮像装置４００の分光感度Ｓに基づいて、第２推定行列Ｗ^（２）を算出する（ステップＳ１２２）。続いて、分光反射率算出部２１が、ステップＳ１２２で算出された第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２）から被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する（ステップＳ１２４）。さらに、画像データ生成部２４が、等色関数ｈ、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）、ステップＳ１２４で算出さされた被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を用いて、被写体ＯＢＪの色再現を行なった画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）を生成する（ステップＳ１２６）。さらに、座標変換部２５が、ステップＳ１２６において生成された画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系において定義される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ１２８）、この変換後の画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。

＜本実施の形態による作用効果＞
この発明の実施の形態２の変形例によれば、上述の実施の形態１および２と同様の作用効果を得ることができるとともに、複数の第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍの算出処理を簡略化できるので、より演算処理を高速化できる。

［実施の形態３］
上述の実施の形態２においては、光源データの種類毎に複数の自己相関行列を予め格納しておき、任意に選択された自己相関行列を用いて、照明光の分光放射輝度（スペクトル）の推定が行なわれる構成について例示した。一方、以下に説明する実施の形態３においては、複数の自己相関行列の各々を用いた照明光の分光放射輝度の推定結果に対して評価を行なった上で、最も適切な推定結果を出力する構成について例示する。

＜全体構成＞
この発明の実施の形態３に従う画像処理装置は、図１に示す実施の形態１に従う画像処理装置１において、照明スペクトル推定部１００に代えて、照明スペクトル推定部１００Ｃを設けたものである。一方、色再現部２００については、図１に示す画像処理装置１と同様であるので、詳細な説明は繰返さない。

図９は、この発明の実施の形態３に従う画像処理装置の照明スペクトル推定部１００Ｃの機能構成図である。なお、本実施の形態に従う画像処理装置に含まれる色再現部２００については図示しない。

図９を参照して、照明スペクトル推定部１００Ｃは、入力部１０と、分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄと、選択部１８と、評価部１９と、三刺激値変換部１４と、座標変換部１５と、ホワイトバランス算出部１６とをさらに含む。これらのうち、入力部１０と、三刺激値変換部１４と、座標変換部１５と、ホワイトバランス算出部１６とについては、実施の形態１（図１）において説明したので、詳細な説明は繰返さない。

分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄは、照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて算出される第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３，Ｗ^（１） _４を用いて、撮像データｇ^（１）から被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４をそれぞれ算出する。この第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３，Ｗ^（１） _４は、図７に示す推定行列格納部１７が格納する第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，・・・，Ｗ^（１） _Ｍと実質的に同様である。すなわち、第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３，Ｗ^（１） _４は、照明環境を提供するために用いられ得る複数の光源の種類毎に予め定められた自己相関行列Ｂ_１，Ｂ_２，・・・，Ｂ_４に基づいて、上述した手順と同様の手順に従って算出される。なお、図９には４種類の第１推定行列Ｗ^（１）を例示するが、第１推定行列Ｗ^（１）は複数である限りにおいて、その数は制限されない。また、図９には、第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３，Ｗ^（１） _４を予め算出しておく構成を例示するが、図５に示す照明スペクトル推定部１００Ａのように、演算処理毎に動的に算出してもよい。

本実施の形態では、一例として、第１推定行列Ｗ^（１） _１は、蛍光灯の統計データに基づいて作成された自己相関行列Ｂ_１から算出されており、第１推定行列Ｗ^（１） _２は、白熱灯の統計データに基づいて作成された自己相関行列Ｂ_２から算出されており、第１推定行列Ｗ^（１） _３は、キセノン灯の統計データに基づいて作成された自己相関行列Ｂ_３から算出されているものとする。さらに、第１推定行列Ｗ^（１） _４は、蛍光灯、白熱灯、キセノン灯のすべてを含む統計データに基づいて作成された自己相関行列Ｂ_４から算出されているものとする。

分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄは、それぞれ算出した照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４を、選択部１８へそれぞれ出力する。

選択部１８は、後述する評価部１９による評価結果に従って、入力された照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４のうち１つを、照明光の分光放射輝度Ｅ^（１）として出力する。

評価部１９は、分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄがそれぞれ算出した照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４のうち、最も適切に推定がなされたものを評価する。より具体的には、評価部１９は、予め規定した基準パターンと比較することで、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４を評価する。

本実施の形態では、一例として、それぞれ第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３（あるいは、対応する自己相関行列Ｂ_１，Ｂ_２，Ｂ_３）の算出時に用いた光源の分光放射輝度（統計値または実測値）からそれぞれ算出した基準パターンＥ^（１） _１ＡＶＥ，Ｅ^（１） _２ＡＶＥ，Ｅ^（１） _３ＡＶＥを用いる。より具体的には、たとえば、第１推定行列Ｗ^（１） _１に対応する基準パターンＥ^（１） _１ＡＶＥは、第１推定行列Ｗ^（１） _１の算出に用いた自己相関行列Ｂ_１の生成元となった光源の群行列Ｅ_ｓｔ（図３参照）の各要素を平均化することで算出される。すなわち、図３に示すように、光源ｉの群行列Ｅ_ｓｔが成分値ｅ_ｉ（λ_ｊ）｛１≦ｉ≦Ｎ，１≦ｊ≦ｋ｝からなる場合には、対応する基準パターンＥ^（１） _ＡＶＥの各サンプリング波長λ_ｊ（１≦ｊ≦ｋ）における成分値をｅ_ＡＶＥ（λ_ｊ）とすると、以下のような関係が成立する。

成分値ｅ_ＡＶＥ（λ_ｊ）＝｛ｅ_１（λ_ｊ）＋ｅ_２（λ_ｊ）＋・・・＋ｅ_Ｎ（λ_ｊ）｝／Ｎ
本実施の形態では、このような算出手順に従って、基準パターンとして、蛍光灯、白熱灯、キセノン灯のそれぞれを代表する分光放射輝度（スペクトル）が予め算出される。なお、第１推定行列Ｗ^（１） _４に対応する基準パターンについては、必ずしも算出する必要はない。これは、第１推定行列Ｗ^（１） _４に対応する自己相関行列Ｂ_４が蛍光灯、白熱灯、キセノン灯のすべてを含む統計データに基づいて作成されたものであるため、この自己相関行列Ｂ_４から基準パターンを作成したとしても、各光源の特徴がぼやけてしまい、基準パターンとしての効果が薄まるからである。

次に、図１０および図１１を参照して、評価部１９による照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４の評価方法について説明する。

図１０は、評価部１９による照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３と基準パターンＥ^（１） _１ＡＶＥ，Ｅ^（１） _２ＡＶＥ，Ｅ^（１） _３ＡＶＥとの比較処理を説明するための図である。図１１は、図１０における類似度の算出処理を説明するための図である。

図１０を参照して、評価部１９は、分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃがそれぞれ算出した照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３と基準パターンＥ^（１） _１ＡＶＥ，Ｅ^（１） _２ＡＶＥ，Ｅ^（１） _３ＡＶＥとをそれぞれ比較し、比較結果（一例として、類似度）を算出する。なお、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３および基準パターンＥ^（１） _１ＡＶＥ，Ｅ^（１） _２ＡＶＥ，Ｅ^（１） _３ＡＶＥは、いずれも０〜１の範囲に規格化されているものとする。

図１０（ａ）に示すように、蛍光灯の統計データに基づいて作成された基準パターンＥ^（１） _１ＡＶＥでは、特定の波長にピークが存在している。一方、図１０（ｂ）に示すように、白熱灯の統計データに基づいて作成された基準パターンＥ^（１） _２ＡＶＥでは、ピークは存在せず、波長が長くなるほどその輝度が高くなっていることがわかる。また、図１０（ｃ）に示すように、キセノン灯の統計データに基づいて作成された基準パターンＥ^（１） _３ＡＶＥでは、若干のピークが存在するとともに、可視光領域のほぼ全体に亘って高い輝度を有していることがわかる。

評価部１９は、各分光放射輝度が対応する基準パターンにどの程度類似しているかについて評価する。代表的に、評価部１９は、波長領域上の波形同士の偏差に基づいて、類似度を算出する。

図１１は、分光放射輝度算出部１１Ａが算出した照明光の分光放射輝度Ｅ^（１） _１と基準パターンＥ^（１） _１ＡＶＥとの比較処理を説明するための図を示す。図１１（ａ）は、照明光の分光放射輝度Ｅ^（１） _１と基準パターンＥ^（１） _１ＡＶＥとを同一の波長領域上にプロットした状態を示し、図１１（ｂ）は、各波長における偏差を算出する処理を示す。

評価部１９は、各サンプリング波長λ_ｊ（１≦ｊ≦ｋ）において、照明光の分光放射輝度Ｅ^（１） _１と基準パターンＥ^（１） _１ＡＶＥとの間の偏差（規格化値）ｅｒｒ_ｊ（１≦ｊ≦ｋ）を順次算出する。続いて、評価部１９は、サンプリング波長λ_ｊの偏差ｅｒｒ_ｊのすべてについての総和平均を算出することで、評価結果（類似度）を算出する。すなわち、類似度ＳＭは、サンプリング波長λ_ｊの偏差ｅｒｒ_ｊを用いて、以下のような演算式で算出できる。

類似度ＳＭ＝｛１−（ｅｒｒ_１＋ｅｒｒ_２＋・・・＋ｅｒｒ_ｋ）／ｋ｝×１００［％］
なお、図１０には、蛍光灯の照明環境下で本実施の形態に従う画像処理方法を実施した場合に実測された類似度を示す。このような類似度の算出処理の結果、第１推定行列Ｗ^（１） _１に基づいて推定された照明光の分光放射輝度Ｅ^（１） _１の類似度が最も高く、評価部１９は、この照明光の分光放射輝度Ｅ^（１） _１を分光放射輝度Ｅ^（１）として出力する。また、この評価結果は、実際に蛍光灯の照明環境下で実測したという事実に合致する。

また、被写体ＯＢＪの照明環境が、蛍光灯、白熱灯、キセノン灯を組み合わせることで提供されている場合や、これら以外の光源によって提供されている場合には、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３のいずれについても、その類似度が十分高くない場合も想定される。このような場合には、蛍光灯、白熱灯、キセノン灯の特徴をすべて反映した第１推定行列Ｗ^（１） _４に基づいて推定された照明光の分光放射輝度Ｅ^（１） _４を照明光の分光放射輝度Ｅ^（１）として出力する場合が適切な場合もある。そこで、評価部１９は、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３についての評価結果（類似度）がいずれも許容値を下回っている場合などには、分光放射輝度Ｅ^（１） _４を照明光の分光放射輝度Ｅ^（１）として出力する。

なお、上述の説明では、分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄが、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４を並行して同時に算出し、その後類似度を算出する構成について例示したが、第１推定行列の各々について、照明光の分光放射輝度の算出処理と類似度の算出処理とを順次実行するようにしてもよい。この場合には、いずれかの第１推定行列により推定された照明光の分光放射輝度についての類似度が、所定しきい値（たとえば、９５％）を超えたことが判明した時点で、以後の処理を行なうことなく、当該次元の分光放射輝度を出力できるので、処理を簡素化することができる。

また、第１推定行列Ｗ^（１） _４に基づいて照明光の分光放射輝度Ｅ^（１） _４を推定する必然性はない。すなわち、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３についての類似度がいずれも許容値を下回っている場合には、推定不可能を出力してもよい。

また、上述した、偏差に基づく類似度の算出に代えて、相関係数などを用いて類似度を算出してもよい。

その他の処理については、基本的に上述した実施の形態１と同様であるので、詳細な説明は繰返さない。

なお、本発明と図９に示す各要素との対応関係については、入力部１０が「入力手段」に相当し、１１Ａ，１１Ｂ，１１Ｃ，１１Ｄが「第１算出手段」に相当し、選択部１８および評価部１９が「評価手段」に相当する。

＜処理手順＞
本実施の形態に従う画像処理装置における処理手順をまとめると、以下のようになる。

図１２は、この発明の実施の形態３に従う画像処理装置における全体処理手順を示すフローチャートである。なお、図１２に示すフローチャート中の各ステップのうち、図４に示すフローチャート中のステップと同一内容のステップについては、同じ符号を付している。また、図１３は、図１２に示すステップＳ１０８に示す評価サブルーチンの処理手順を示すフローチャートである。

図９および図１２を参照して、まず、入力部１０が、被写体ＯＢＪに入射する光の少なくとも一部を拡散部材４０２を介して撮像した第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１００）。続いて、入力部１０は、受入れた第１撮像データｇ^（１） _ＲＧＢ（ｍ，ｎ）を代表する撮像データｇ^（１） _ＲＧＢを生成する（ステップＳ１０２）。なお、入力部１０は、必要に応じて、第１撮像データを線形化する。

次に、分光放射輝度算出部１１Ａ，１１Ｂ，１１Ｃ，１１Ｄが、それぞれ第１推定行列Ｗ^（１） _１，Ｗ^（１） _２，Ｗ^（１） _３，Ｗ^（１） _４を用いて、撮像データｇ^（１） _ＲＧＢから被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４をそれぞれ算出する（ステップＳ１０７）。続いて、評価部１９が、評価サブルーチンを実行し、ステップＳ１０７で算出された照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４のうち最も推定精度の高いものを評価する（ステップＳ１０８）。さらに、選択部１８が、ステップＳ１０８における評価結果に従って、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３，Ｅ^（１） _４のうち１つを、照明光の分光放射輝度Ｅ^（１）として出力する（ステップＳ１０９）。

次に、三刺激値変換部１４が、分光放射輝度Ｅ^（１）からＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを算出する（ステップＳ１１０）。続いて、座標変換部１５が、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚを、ＲＧＢ表色系において定義される座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）に変換する（ステップＳ１１２）。さらに、ホワイトバランス算出部１６が、座標値Ｒ^（１），Ｇ^（１），Ｂ^（１）の比に基づいて、撮像装置４００におけるホワイトバランスを算出する（ステップＳ１１４）。

一方、入力部２０が、照明環境下において撮像装置４００により被写体ＯＢＪを撮像することで得られる第２撮像データｇ^（２） _ＲＧＢ（ｍ，ｎ）を受入れる（ステップＳ１２０）。なお、入力部２０は、必要に応じて、第２撮像データを線形化する。

次に、推定行列算出部２２が、被写体ＯＢＪに含まれ得る色の分光反射率から算出される自己相関行列Ａ、照明スペクトル推定部１００によって算出された照明光の分光放射輝度Ｅ^（１）、撮像装置４００の分光感度Ｓに基づいて、第２推定行列Ｗ^（２）を算出する（ステップＳ１２２）。続いて、分光反射率算出部２１が、ステップＳ１２２で算出された第２推定行列Ｗ^（２）を用いて、第２撮像データｇ^（２）から被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を算出する（ステップＳ１２４）。さらに、画像データ生成部２４が、等色関数ｈ、被写体ＯＢＪに入射する照明光の分光放射輝度Ｅ^（１）、ステップＳ１２４で算出さされた被写体ＯＢＪの分光反射率ｆ^（２）（ｍ，ｎ）を用いて、被写体ＯＢＪの色再現を行なった画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）を生成する（ステップＳ１２６）。さらに、座標変換部２５が、ステップＳ１２６において生成された画像データｇ^{（ＯＵＴ）} _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系において定義される画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ１２８）、この変換後の画像データｇ^{（ＯＵＴ）} _ＲＧＢ（ｍ，ｎ）を出力する。

図１３を参照して、評価部１９は、照明光の分光放射輝度Ｅ^（１） _１と予め定められた基準パターンＥ^（１） _１ＡＶＥとを比較することで、両者の間の類似度ＳＭ_１を算出する（ステップＳ２００）。同様に、評価部１９は、照明光の分光放射輝度Ｅ^（１） _２と予め定められた基準パターンＥ^（１） _２ＡＶＥとを比較することで、両者の間の類似度ＳＭ_２を算出する（ステップＳ２０２）。同様に、評価部１９は、照明光の分光放射輝度Ｅ^（１） _３と予め定められた基準パターンＥ^（１） _３ＡＶＥとを比較することで、両者の間の類似度ＳＭ_３を算出する（ステップＳ２０４）。

続いて、評価部１９は、ステップＳ２００，Ｓ２０２，Ｓ２０４において算出された類似度ＳＭ_１，ＳＭ_２，ＳＭ_３のうち、その値が最も高いものを抽出する（ステップＳ２０６）。さらに、評価部１９は、ステップＳ２０６で抽出した類似度が所定の許容値以上であるか否かを判断する（ステップＳ２０８）。

類似度が所定の許容値以上である場合（ステップＳ２０８においてＹＥＳの場合）には、評価部１９は、ステップＳ２０６で抽出した類似度に対応する分光放射輝度が最も推定精度の高いと評価する（ステップＳ２１０）。

一方、類似度が所定の許容値以上でない場合（ステップＳ２０８においてＮＯの場合）には、評価部１９は、照明光の分光放射輝度Ｅ^（１） _１，Ｅ^（１） _２，Ｅ^（１） _３以外、すなわち
照明光の分光放射輝度Ｅ^（１） _４が最も推定精度の高いと評価する（ステップＳ２１２）。

その後、処理は図１２のステップＳ１０９に進む。
＜本実施の形態による作用効果＞
この発明の実施の形態３によれば、上述の実施の形態１と同様の作用効果を得ることができるとともに、何らの予備知識を持たないユーザであっても、照明光の分光放射輝度を高い推定精度で取得することができる。そのため、被写体ＯＢＪが様々な条件下で行なわれたとしても、照明光の分光放射輝度の推定精度を維持できる。

［実施の形態１〜３の変形例］
上述の実施の形態１〜３においては、主としてハードウェアで構成された画像処理装置を用いる構成について例示したが、その全部または一部をソフトウェアで実現してもよい。すなわち、コンピュータを用いて、画像処理装置における処理を実現してもよい。

図１４は、この発明の実施の形態の変形例に従う画像処理装置１＃を実現するコンピュータの概略構成図である。

図１４を参照して、コンピュータは、ＦＤ（Flexible Disk）駆動装置１６６およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１６８を搭載したコンピュータ本体１５０と、モニタ１５２と、キーボード１５４と、マウス１５６とを含む。

コンピュータ本体１５０は、相互にバスで接続された、演算装置であるＣＰＵ（Central Processing Unit）１６０と、メモリ１６２と、記憶装置である固定ディスク１６４と、通信インターフェース１７０とをさらに含む。

ＦＤ駆動装置１６６にはＦＤ１６６ａが装着され、ＣＤ−ＲＯＭ駆動装置１６８にはＣＤ−ＲＯＭ１６８ａが装着される。本実施の形態の変形例に従う画像処理装置１＃は、ＣＰＵ１６０がメモリ１６２などのコンピュータハードウェアを用いて、ソフトウェアを実行することで実現できる。一般的に、このようなソフトウェアは、ＦＤ１６６ａやＣＤ−ＲＯＭ１６８ａなどの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなソフトウェアは、ＦＤ駆動装置１６６やＣＤ−ＲＯＭ駆動装置１６８などにより記録媒体から読取られて、または通信インターフェース１７０にて受信されて、固定ディスク１６４に格納される。さらに、固定ディスク１６４からメモリ１６２に読出されて、ＣＰＵ１６０により実行される。

モニタ１５２は、ＣＰＵ１６０が出力する情報を表示するための表示部であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。マウス１５６は、クリックやスライドなどの動作に応じたユーザから指令を受付ける。キーボード１５４は、入力されるキーに応じたユーザから指令を受付ける。ＣＰＵ１６０は、プログラムされた命令を順次実行することで、各種の演算を実施する演算処理部である。メモリ１６２は、ＣＰＵ１６０のプログラム実行に応じて、各種の情報を記憶する。通信インターフェース１７０は、ＣＰＵ１６０が出力した情報を、例えば電気信号に変換して他の装置へ送出するとともに、他の装置から電気信号を受信してＣＰＵ１６０が利用できる情報に変換する。固定ディスク１６４は、ＣＰＵ１６０が実行するプログラムや予め定められたデータなどを記憶する不揮発性の記憶装置である。また、コンピュータには、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

さらに、本実施の形態に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明に係るプログラムに含まれ得る。

また、本実施の形態に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態１に従う画像処理装置の機能構成図である。 この発明の実施の形態１に従う画像処理装置において処理対象となる撮像データの取得方法を説明するための図である。 この発明の実施の形態１に従う分光放射輝度の自己相関行列の生成処理を説明するための図である。 この発明の実施の形態１に従う画像処理装置における全体処理手順を示すフローチャートである。 この発明の実施の形態２に従う画像処理装置の機能構成図である。 この発明の実施の形態２に従う画像処理装置における全体処理手順を示すフローチャートである。 この発明の実施の形態２の変形例に従う画像処理装置の機能構成図である。 この発明の実施の形態２の変形例に従う画像処理装置における全体処理手順を示すフローチャートである。 この発明の実施の形態３に従う画像処理装置の照明スペクトル推定部の機能構成図である。 評価部による照明光の分光放射輝度と基準パターンとの比較処理を説明するための図である。 図１０における類似度の算出処理を説明するための図である。 この発明の実施の形態３に従う画像処理装置における全体処理手順を示すフローチャートである。 図１２に示すステップＳ１０８に示す評価サブルーチンの処理手順を示すフローチャートである。 この発明の実施の形態の変形例に従う画像処理装置を実現するコンピュータの概略構成図である。

符号の説明

Ａｘ１，Ａｘ２ 光軸、ＯＢＪ 被写体、１，１Ａ，１Ｂ 画像処理装置、１０，２０ 入力部、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ 分光放射輝度算出部、１２ 推定行列算出部、１３，１３Ａ 光源データ格納部、１４ 三刺激値変換部、１５ 座標変換部、１６ ホワイトバランス算出部、１７ 推定行列格納部、１８ 選択部、１９ 評価部、２１ 分光反射率算出部、２２ 推定行列算出部、２３ 分光反射率データ格納部、２４ 画像データ生成部、２５ 座標変換部、１００，１００Ａ，１００Ｂ，１００Ｃ 照明スペクトル推定部、１５０ コンピュータ本体、１５２ モニタ、１５４ キーボード、１５６ マウス、１６２ メモリ、１６４ 固定ディスク、１６６ ＦＤ駆動装置、１６８ ＣＤ−ＲＯＭ駆動装置、１７０ 通信インターフェース、２００ 色再現部、３００ 光源、４００ 撮像装置、４０２ 拡散部材。

Claims (11)

1. 撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置であって、
   前記撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、
   外部指令に応じて、前記照明環境を提供するために用いられ得る複数の光源の種類毎に予め定められた複数の演算行列のうち一つを選択する選択手段と、
   前記選択手段によって選択された演算行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度を算出する第１算出手段とを備え、
   前記演算行列の各々は、前記光源の分光放射輝度を示す行列の自己相関行列である、画像処理装置。
2. 撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置であって、
   前記撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、
   外部指令に応じて、前記照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて予め算出される複数の第１推定行列のうち一つを選択する選択手段と、
   前記選択手段によって選択された第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度を算出する第１算出手段とを備え、
   前記第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される、画像処理装置。
3. 撮像装置によって撮像された撮像データに対する画像処理が可能な画像処理装置であって、
   前記撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで得られた第１撮像データを、受入れる入力手段と、
   前記照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいてそれぞれ算出される複数の第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度をそれぞれ算出する第１算出手段と、
   それぞれ算出された前記分光放射輝度を予め定められた基準パターンとの比較によって評価し、そのうち一つを前記照明環境下における照明光の分光放射輝度として出力する評価手段とを備え、
   前記第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される、画像処理装置。
4. 前記拡散部材は、前記撮像装置の光軸上に配置され、
   前記拡散部材の入射強度は、前記光軸に対する角度についての所定の関数値で示される、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記関数値は、前記光軸に対する角度についての余弦関数である、請求項４に記載の画像処理装置。
6. 前記撮像装置は、前記撮像データとして、ＲＧＢ表色系において定義される座標値を出力するように構成され、
   前記画像処理装置は、
   前記照明光の分光放射輝度と等色関数とを用いて、前記照明光の分光放射輝度に対応するＲＧＢ表色系における座標値を算出する第２算出手段と、
   前記第２算出手段において算出された座標値の比に基づいて、前記撮像装置におけるホワイトバランスを算出する第３算出手段とをさらに備える、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記照明光の分光放射輝度と、前記複数の撮像素子の分光感度と、前記被写体に含まれ得る色の分光反射率の自己相関行列と、に基づいて算出される第２推定行列を用いて、前記照明環境下において前記撮像装置により前記被写体を撮像することで得られる第２撮像データから前記被写体の分光反射率を算出する第４算出手段をさらに備える、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記第４算出手段によって算出された前記被写体の分光反射率に基づいて、前記被写体を所定の照明環境下において撮像した場合に取得される撮像データを生成する生成手段をさらに備える、請求項７に記載の画像処理装置。
9. 撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、
   前記照明環境を提供するために用いられ得る複数の光源の種類毎に予め定められた複数の演算行列のうち一つを選択するステップと、
   演算装置が、選択された演算行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度を算出するステップとを備え、
   前記演算行列の各々は、前記光源の分光放射輝度を示す行列の自己相関行列である、画像処理方法。
10. 撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、
    前記照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいて予め算出される複数の第１推定行列のうち一つを選択するステップと、
    演算装置が、選択された第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度を算出するステップとを備え、
    前記第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される、画像処理方法。
11. 撮像装置を用いて、照明環境下において被写体に入射する光の少なくとも一部を拡散部材を介して撮像することで第１撮像データを取得するステップと、
    演算装置が、前記照明環境を提供するために用いられ得る複数の光源の分光放射輝度に基づいてそれぞれ算出される複数の第１推定行列を用いて、前記第１撮像データから前記被写体に入射する照明光の分光放射輝度をそれぞれ算出するステップと、
    演算装置が、それぞれ算出された前記分光放射輝度を予め定められた基準パターンとの比較によって評価し、そのうち一つを前記照明環境下における照明光の分光放射輝度として出力するステップとを備え、
    前記第１推定行列は、対応する光源の分光放射輝度を示す行列の自己相関行列と、前記拡散部材の分光透過率と、前記撮像装置の分光感度と、に基づいて算出される、画像処理方法。

Images