JP2009188807A - 撮像方法および撮像システム - Google Patents

Abstract

【課題】撮像装置の色域を外れる場合であっても、被写体の色を正確に再現可能な撮像方法および撮像システムを提供する。
【解決手段】被写体ＯＢＪにより青味の強い照明光を照射すると、各サンプル点は、ｘｙ色度座標において全体的に青の方向（ｘｙ色度座標上で左下方向）に色シフトする。すなわち、照明環境を変えることで、図２（ａ）において色域外に存在していたサンプル点（相対的に純度の高い黄色であった点）は、より純度の低い黄色に色シフトするので、撮像装置で撮像可能な色域内に納まる。その結果、被写体ＯＢＪの色全体を撮像装置の撮像可能な色域内において撮像できるので、被写体ＯＢＪの分光反射率を正確に推定した上で，図２（ａ）の色域外の色を再現することができる。
【選択図】図２

Description

本発明は、被写体の分光反射率を考慮した撮像方法および撮像システムに関し、特に撮像装置における撮像可能な色域を考慮して撮像を行なう技術に関するものである。

近年、様々な環境下において撮像された被写体の色を、表示装置や印刷装置などの出力装置において、正確に再現するための技術が提案されている。

代表的な技術として、被写体の分光反射率に基づくカラーマネジメント技術が知られている。この技術は、被写体の色をスペクトルとして扱うことで実現され、被写体における照明環境にかかわらず正確な色再現が可能となる。このような被写体の分光反射率に基づいた色再現については、非特許文献１にその原理的な処理が開示されている。

ところで、被写体の分光反射率は、ある照明環境下で分光測色器などを用いて測定するのが一般的である。これは、被写体を撮像装置で撮像する場合には、被写体から光が放射（すなわち、被写体で照明光が反射）されている必要があり、全く照明光が照射されていない状態では被写体の色を判断することができないからである。また、撮像装置で撮像された撮像データから被写体の分光反射率を推定する場合には、当該撮像時に被写体に照射されていた照明環境を正確に特定する必要がある。

特開２０００−０４６６４８号公報（特許文献１）には、被写体の分光反射率を推定するとともに、照明光を変更した場合のシミュレーション画像を生成する構成が開示されている。
特開２０００−０４６６４８号公報 三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日

ところで、一般的な撮像装置は、光の三原色に基づくＲ（赤），Ｇ（緑），Ｂ（青）といった分光感度が互いに異なる複数の撮像素子（代表的に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor））で構成される。このような撮像装置で撮像可能な色域は、搭載されている各撮像素子の分光感度やダイナミックレンジなどによって定まる。このような撮像装置を用いて、色域外にある色を撮像した場合、最も近い色域内の色として誤検出（クリッピング）されることになる。

このように撮像装置から、誤検出された撮像データが出力される場合には、正確に被写体の色再現を行なうことができない。したがって従来の方法では、撮像装置で撮像可能な色域を外れる色を有する被写体については、正確に色再現できないという問題があった。

そこで、この発明は、かかる課題を解決するためになされたものであり、その目的は、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現可能な撮像方法および撮像システムを提供することである。

この発明のある局面に従う撮像方法は、撮像装置を用いて、特定の波長特性をもつ照明光が照射される被写体を撮像することで、第１撮像データを取得するステップと、第１撮像データに対して、照明光の波長特性を用いて被写体の色を推定した色情報を生成するステップと、色情報に基づいて被写体を撮像したデータを再生成するステップとを含む。

好ましくは、色情報を生成するステップは、照明光の分光放射輝度を第１分光放射輝度として取得するステップと、第１分光放射輝度および第１撮像データを用いて被写体の分光反射率を推定した上で、分光反射率および第１分光放射輝度を用いて被写体の色を示す第１色空間上の第１色データを生成するステップと、１色データが装置で撮像可能な色域内に存在していたか否かを評価するステップと、１色データが可能な色域内に存在していなかったと評価された場合に、特定の主波長をもつ照明光を被写体に向けて照射するステップと、照明光の照射中に被写体を再度撮影し、第２撮像データを取得するステップと、照明光の照射中に被写体に照射される光の分光放射輝度を第２分光放射輝度として取得するステップとを含む。再生成するステップは、第２分光放射輝度および第２撮像データを用いて被写体の分光反射率を推定した上で、および第１分光放射輝度を用いて被写体の色を示す第１色空間上の第１色データを再生成するステップを含む。

さらに好ましくは、評価するステップは、第１色データが第１色空間上のいずれの位置で色域外になっているかに基づいて、１色データが可能な色域内に納まるように照明光を決定するステップを含む。

好ましくは、１色データを第２色空間上の第２色データに変換して画像データとして出力するステップをさらに含む。

さらに好ましくは、第１色空間はＸＹＺ表色系であり、第２色空間はＲＧＢ表色系である。

この発明の別の局面に従う撮像システムは、撮像素子の各出力値からなる撮像データを出力する撮像装置と、被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置と、被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、分光放射輝度およびデータを用いて被写体の分光反射率を推定した上で、分光反射率を用いて被写体の色を示す第１色空間上の第１色データを生成する第１色変換手段と、１色データが装置で撮像可能な色域内に存在していたか否かを評価する評価手段とを含む。評価手段は、１色データが可能な色域内に存在していなかったと評価された場合に、照明装置から特定の照明光を被写体に向けて照射させる。

好ましくは、評価手段は、１色データが第１色空間上のいずれの位置で色域外になっているかを評価し、当該位置に応じて１色データが可能な色域内に納まるように、特定の照明光を選択する。

好ましくは、第１色変換手段は、被写体の撮像時に適用すべき第１照明環境が評価手段によって第２照明環境に切換えられた場合に、第２照明環境において取得される分光放射輝度を用いて分光反射率を推定し、さらに分光反射率および第１照明環境において取得された分光放射輝度を用いて第１色データを生成する。

好ましくは、第１色変換手段で変換後の第１色データを第２色空間上の第２色データに変換して画像データとして出力する第２色変換手段をさらに含む。

さらに好ましくは、第１色空間はＸＹＺ表色系であり、前記第２色空間はＲＧＢ表色系である。

この発明によれば、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現できる。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜全体構成＞
図１は、この発明の実施の形態に従う撮像システム１の概略構成図である。

図１を参照して、撮像システム１は、被写体ＯＢＪを撮像し、この撮像した撮像データに所定の画像処理（主として、色再現処理）を行なった上で画像データ（以下「色再現データ」という。）を出力する。より具体的には、撮像システム１は、画像処理装置１００と、撮像装置２００と、分光放射輝度計３００と、照明装置４００とを含む。なお、画像処理装置１００から出力される色再現データは、代表的に表示装置（ディスプレイ）や印刷装置（プリンタ）などの図示しない出力装置へ出力される。あるいは、図示しない記憶装置などに格納されるように構成してもよい。

撮像装置２００は、被写体ＯＢＪを撮像し、この被写体ＯＢＪに応じた撮像データを出力する。代表的に、撮像装置２００は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子で構成されており、行列状に形成される各画素の位置に対応した撮像データを出力する。より具体的には、各画素に対応付けて、分光感度が互いに異なる複数の撮像素子が配置されており、各画素に対応付けられた複数の撮像素子の各出力値（輝度値）を一体とした撮像データが出力される。このように各画素に対応付けられた分光感度が互いに異なる撮像素子の数は、バンド数とも称される。本実施の形態では、一例として、それぞれの分光感度が主としてＲ（赤），Ｇ（緑），Ｂ（青）である３バンドの撮像装置２００を用いる場合について説明する。なお、原理的には、カラー画像を撮像するためには、３バンド以上であればよく、後述する色域を大きくするためには、バンド数は多い方が好ましい。

上述のように、撮像装置２００が出力する撮像データは、Ｒ，Ｇ，Ｂの各輝度値（代表的に、それぞれが１２ビット：０〜４０９５階調）の３次元の色情報となる。すなわち、撮像装置２００が出力する撮像データは、ＲＧＢ表色系として規定される。以下、撮像装置２００における各画素に対応する撮像素子の番号（バンド番号）をｉ（ｉ＝１，２，３）とし、画素の２次元座標を（ｍ，ｎ）として、撮像装置２００から出力される画像データをｇ_ｉ（ｍ，ｎ）と表わす。すなわち、
ｇ_１（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＲの撮像素子で検出された輝度値
ｇ_２（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＧの撮像素子で検出された輝度値
ｇ_３（ｍ，ｎ）＝座標（ｍ，ｎ）におけるＢの撮像素子で検出された輝度値
となる。以下の説明では、撮像装置２００で撮像された撮像データを総称して「撮像データｇ」とも記す。

なお、撮像装置２００は、動画カメラであってもよいし、静止画カメラであってもよい。すなわち、撮像装置２００が動画カメラである場合には、被写体ＯＢＪの撮像および撮像データｇの出力が所定周期（代表的に、１／３０秒）で繰返され、撮像装置２００が静止画カメラである場合には、ユーザなどの操作に応じて撮像および撮像データｇの出力が行なわれる。また、撮像装置２００は、単板のカメラであってもよいし、三板のカメラであってもよい。

照明装置４００は、撮像装置２００による被写体ＯＢＪの撮像に際して、被写体ＯＢＪに対して照明光を照射する。特に、本実施の形態に従う照明装置４００は、画像処理装置１００からの指令に応じて、被写体ＯＢＪに向けて、主波長が互いに異なる複数の照明光を選択的に照射可能に構成される。すなわち、後述するように、被写体ＯＢＪを所定の照明環境で撮像した結果、撮像装置２００で撮像可能な色域外に被写体ＯＢＪの撮像データが存在すると評価された場合には、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域内に納まるように、照明装置４００から被写体ＯＢＪに照射される光が切換えられる。

具体的には、照明装置４００は、フィルタホイール４０２と、フィルタホイール４０２を回転駆動するモータ４０６と、光源４０８とを含む。フィルタホイール４０２には、所定の波長成分を透過させる複数の波長フィルタ（色フィルタ）４０４が装着されている。そして、画像処理装置１００からの指令に応じて、モータ４０６がフィルタホイール４０２を回転駆動することで、特定の波長フィルタ４０４が光源４０８の光軸上にセットされる。光源４０８としては、代表的にハロゲンランプもしくはキセノンランプといった演色性の高い光源（標準光源）が用いられる。その結果、光源４０８から照射される波長成分のうち、選択された波長フィルタ４０４に対応する主波長の光が被写体ＯＢＪに照射されることになる。

後述するように、画像処理装置１００では、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域外に存在する場合に、色空間上のいずれの位置で色域外になっているかを評価し、その評価結果（座標位置）に基づいて、照明装置４００から被写体ＯＢＪへ照射する光を切換える。ここで、撮像装置２００で撮像可能な色域は、撮像装置２００を構成する撮像素子の分光感度に応じて定まるので、フィルタホイール４０２に装着する波長フィルタ（色フィルタ）４０４の特性は、この撮像素子の分光感度に応じて決定することが好ましい。一例として、本実施の形態に従う照明装置４００は、主波長として、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の３つの波長フィルタ４０４を含む。すなわち、照明装置４００は、赤味を帯びた照明光、緑味を帯びた照明光、青味を帯びた照明光を切換えて照射可能に構成される。なお、照明装置４００からは、このような波長フィルタ４０４を通過させることなく、標準の照明光として、光源４０８が発生する光をそのまま照射できるようにしてもよい。

また、上述の波長フィルタ４０４に代えて、あるいは波長フィルタ４０４とともに、色温度変換フィルタを用いることでも主波長が互いに異なる複数の照明光を選択的に照射できる。

さらに、上述のように波長フィルタ４０４を用いる構成に代えて、主発光ピークがそれぞれＲ（赤），Ｇ（緑），Ｂ（青）である複数の光源を配置し、これらの光源を選択的に点灯するようにしてもよい。

分光放射輝度計３００は、被写体ＯＢＪに照射される照明光の分光放射輝度（あるいは、分光放射照度）を測定し、その測定結果を画像処理装置１００へ出力する。これは、撮像装置２００で撮像される被写体ＯＢＪの撮像データは、被写体ＯＢＪに照射される照明光が被写体ＯＢＪの分光反射率に応じて反射される結果生じるものであり、この被写体ＯＢＪの分光反射率を推定してカラーマネジメントを行なうためには、被写体ＯＢＪに照射される照明光の分光放射輝度が必要となるからである。

なお、分光放射輝度は、単位投影面積あたり、単位立体角当たりにおける、照明光の波長毎のエネルギー量を意味する。代替的に、単位面積当たりにおける照明光の波長毎のエネルギー量である分光放射照度を用いてもよい。

本実施の形態に従う撮像システム１では、被写体ＯＢＪを撮像装置２００を用いて撮像するので、実際に照明光の分光放射輝度を測定する場合には、分光放射輝度計３００の配置位置などに工夫を要する。すなわち、分光放射輝度計３００は、被写体ＯＢＪに照射される照明光と実質的に同じ照明光を受光部で受光することで分光放射輝度を測定する。そのため、分光放射輝度計３００自体が撮像されると好ましくない場合も多いと想定されるので、分光放射輝度計３００は、撮像装置２００の撮影範囲外であって、被写体ＯＢＪの照明環境と同一の照明環境とみなせる位置に配置することが好ましい。このような配置は、撮像装置２００の撮影範囲に比較して、照明装置４００の照明光の照射範囲を広くすることでより容易に実現できる。

分光放射輝度計３００を被写体ＯＢＪに近接した位置に配置できない場合には、被写体ＯＢＪに照射される照明光と実質的に同じ照明光が照射される位置に分光反射率が既知である標準白色板を配置し、この標準白色板で反射される光を分光放射輝度計３００の受光部で受光するようにしてよい。

分光放射輝度計３００は、その受光部として、回折格子およびフォトダイオードアレイなどを含み、フォトダイオードアレイからは、波長毎に放射輝度を示す信号が出力される。受光部には、さらに、分光透過率が既知である乳白色の拡散板（コサインコレクタ、コサインディフューザ、コサインレセプタとも称される）を装着することにより、回折格子に入射する光の空間的な明るさのムラ（濃淡）を低減するとともに、分光放射照度の測定が可能となる。

本実施の形態では、分光放射輝度として、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした離散値を用いるものとする。したがって、分光放射輝度計３００が可視光領域（３８０〜７８０ナノメートル）を検出範囲とする場合には、分光放射輝度計３００が出力する分光放射輝度Ｅは、波長λ＝３８０，３８１，・・・，７８０の計４０１個の輝度値を含む４０１次元のデータとなる。

＜画像処理装置の機能構成＞
次に、画像処理装置１００の機能構成について説明する。画像処理装置１００は、分光放射輝度計３００で測定された分光放射輝度を用いて被写体ＯＢＪの分光反射率を推定し、この推定した分光反射率を用いて、ＲＧＢ色空間上に規定される画像データｇ_ｉ（ｍ，ｎ）をＸＹＺ表色系の画像データｇ’_ＸＹＺ（ｍ，ｎ）に変換し、各画像データｇ’_ＸＹＺ（ｍ，ｎ）が撮像装置２００で撮像可能な色域内に存在しているか否かを判断する。そして、撮像装置２００で撮像可能な色域外にいずれかの画像データｇ’_ＸＹＺ（ｍ，ｎ）が存在していれば、照明装置４００に指令を与えて、被写体ＯＢＪに対する照明環境を切換える。そして、適切な照明環境下で撮像された撮像データｇに基づいて、ＲＧＢ表色系の色再現データを生成して出力する。

具体的には、画像処理装置１００は、線形補正部１０２と、色変換部１０４と、座標変換部１０６，１１８と、ガンマ補正部１０８と、分光反射率推定部１１０と、評価部１１２と、評価テーブル１１４と、一次記憶部１１６とを含む。

線形補正部１０２は、撮像装置２００から出力される画像データｇを線形化するための部位である。一般的に、表示装置では、入力信号レベルと実際に表示される輝度レベルとの間は非線形な関係を有しており、このような非線形性はガンマ特性と称される。このような表示装置における非線形性を打ち消して、人間の視覚に適応した画像が表示装置において表示されるように、撮像装置２００からは、表示装置のガンマ特性と逆の非線形性をもつような画像データｇが出力されることが多い。このように、画像データｇの信号レベルと各撮像素子で検出された輝度レベルとの間が非線形である場合には、後述する画像処理を正確に実行することができないので、線形補正部１０２がこの画像データｇを線形化する。

一般的にガンマ特性および逆ガンマ特性はべき乗の関数として表わすことができるので、線形補正部１０２は、撮像装置２００における逆ガンマ値をγｃとすると、以下のような演算式に従って、画像データｇ_ｉ（ｍ，ｎ）を線形化された線形画像データｇｃ_ｉ（ｍ，ｎ）に変換する。

ｇｃ_ｉ（ｍ，ｎ）＝ｇ_ｉ（ｍ，ｎ）^１／γｃ
ここで、逆ガンマ値γｃは、表示装置のガンマ値γｄの逆数に相当する値に設定される。一例として、表示装置のガンマ値γｄ＝２．２であれば、撮像装置２００の逆ガンマ値γｃ＝１／γｄ＝１／２．２≒０．４５となる。

なお、撮像装置２００から１回の撮像によって出力される画像データｇは、撮像装置２００の画素数だけ存在するため、たとえば撮像装置２００の画素が１９２０×１０８０である場合には、画像データｇの数は２０７３６００個となる。そのため、上述のような変換式をそのまま実行すると膨大な演算量になってしまう。画像処理装置１００の演算処理能力が十分に高い場合には、演算を直接実行してもよいが、演算処理能力に制限がある場合には、ルックアップテーブル（ＬＵＴ：Look-Up Table）を用いることが有効である。

本実施の形態に従う線形補正部１０２は、ルックアップテーブル１０２ａを予め格納してり、このルックアップテーブル１０２ａを参照することで、線形化処理を行なう。ルックアップテーブル１０２ａは、入力される画像データｇが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル１０２ａを参照して、入力された画像データｇの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。

なお、ルックアップテーブル１０２ａの内容は、逆ガンマ値γｃによって異なったものとなるので、逆ガンマ値γｃが変更された場合には、ルックアップテーブル１０２ａの内容も変更する必要がある。

なお、撮像装置２００から出力される画像データｇが線形、すなわち逆ガンマ値γｃ＝１の場合には、線形補正部１０２を設ける必要はない。

＜色再現処理＞
次に、色変換部１０４および分光反射率推定部１１０によって実行される色再現処理の内容について説明する。

撮像装置２００の２次元座標（ｍ，ｎ）の画素に入射する被写体ＯＢＪからの光（スペクトル）は、被写体ＯＢＪに照射される照明光の分光放射輝度Ｅ（λ）と、被写体ＯＢＪの当該画素に対応する位置の分光反射率ｆ（ｍ，ｎ；λ）との積に相当する。そして、各画素に入射した光に応じて対応の撮像素子から出力される線形画像データｇｃは、これらの各撮像素子の分光感度Ｓ_ｉ（λ）をさらに乗じた上で、波長領域にわたって光エネルギーを積分したものに相当する。このような関係は、（１）式に示す関係式として表わすことができる。

ここで、ｎ_ｉ（ｍ，ｎ）は、各撮像素子に現れる白色ノイズなどによって生じる加法性ノイズであり、撮像装置２００の撮像素子やレンズの特性、および周辺環境などに依存する値である。

上述したように、本実施の形態では、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングした分光放射輝度Ｅ（λ）を用いるので、（１）式の右辺第１項の積分式を所定の波長幅でサンプリングして得られた離散値の積和演算によって算出する。すなわち、（１）式の右辺第１項の積分式を、各撮像素子の各波長における分光感度を示す行列Ｓと、各波長における分光放射輝度を示す行列Ｅと、各波長における分光反射率を示す行列ｆ（ｍ，ｎ）との行列演算により実現する。

代表的に、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、行列Ｓは、４０１行×３列の行列となり、行列Ｅは、４０１行×１列の行列となり、行列ｆ（ｍ，ｎ）は、１行×４０１列の行列となる。

ここで、加法性ノイズｎ_ｉ（ｍ，ｎ）は、一般的に十分に小さな値であるので、（１）式から無視した上で、被写体ＯＢＪの分光反射率ｆ（ｍ，ｎ）を算出することを考える。具体的には、線形画像データｇｃを用いて、以下の（２）式に従って被写体ＯＢＪの分光反射率ｆ（ｍ，ｎ）を算出する。

ｆ（ｍ，ｎ）＝Ｗ・ｇｃ（ｍ，ｎ） ・・・（２）
（２）式において、Ｗは分光反射率推定行列である。分光反射率推定行列Ｗは、以下に説明するウィナー推定の手法によって算出される。具体的には、分光反射率推定行列Ｗは、システム行列Ｈを以下に示す（３）式と定めた上で、（１）式を変形することで（４）式のように導出される。

Ｈ＝Ｓ・Ｅ ・・・（３）
Ｗ＝Ａ・Ｈ^ｔ・（Ｈ・Ａ・Ｈ^ｔ）^−１ ・・・（４）
但し、Ｈ^ｔは、システム行列Ｈの転置行列である。

（４）式において、Ａは、自己相関行列であり、被写体ＯＢＪの分光反射率を推定するための基準となるべきものである。自己相関行列Ａは、被写体ＯＢＪと同等と考えられる分光反射率の統計データを用いて予め決定することができる。一例として、ＩＳＯ（International Organization for Standardization）において標準化されている分光反射率のデータベースであるＳＯＣＳ（Standard Object Color Sample）を参照して、自己相関行列Ａを決定することができる。あるいは、被写体ＯＢＪの材質などが予め分っている場合には、被写体ＯＢＪ自身の分光反射率を別の方法によって予め測定しておき、自己相関行列Ａを決定してもよい。上述したように、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、自己相関行列Ａは、４０１行×１列の行列となる。また、ウィナー推定の詳細については、上述の非特許文献１（三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、２００６年２月２４日）に詳しいので、こちらを参照されたい。

なお、上述のようなウィナー推定の手法に代えて、主成分分析の手法を用いてもよい。
以上のように、（３）式および（４）式に従って、分光反射率推定行列Ｗを算出した上で、（２）式に従って、線形画像データｇｃから被写体ＯＢＪの分光反射率を示す行列ｆ（ｍ，ｎ）を算出できる。行列ｆ（ｍ，ｎ）が被写体ＯＢＪの色の本質であり、この行列ｆ（ｍ，ｎ）を用いることで、被写体ＯＢＪがどのような照明環境下で観測されたものであっても、その色再現を行なうことができる。

次に、本実施の形態に従う画像処理装置１００は、任意の照明環境において観測した場合の被写体ＯＢＪの色再現データｇｄを生成することができる。より具体的には、任意の分光放射輝度Ｅ（λ）の条件下で、分光反射率ｆ（ｍ，ｎ；λ）の被写体を観測した場合のＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、以下に示す（５）式のようになる。

（５）式において、ｈ_ｉ（λ）（ｉ＝１，２，３）は等色関数であり、人間の視覚感度特性に相当する関数である。この等色関数ｈ_ｉ（λ）は国際照明委員会（ＣＩＥ）によって規定されている。以下、（５）式によって算出される三刺激値Ｘ，Ｙ，Ｚを含む３次元データを画像データｇ’_ＸＹＺ（ｍ，ｎ）として表わす。

上述した分光反射率の算出過程と同様に、所定の波長幅（代表的に、１ナノメータ幅）でサンプリングして得られた離散値の積和演算によって算出する。すなわち、（５）式の各積分式を、各波長における等色関数の値を示す行列ｈと、各波長における分光放射輝度を示す行列Ｅと、各波長における分光反射率を示す行列ｆ（ｍ，ｎ）（＝Ｗ・ｇｃ（ｍ，ｎ））との行列演算により実現する。代表的に、可視光領域（３８０〜７８０ナノメートル）を１ナノメータ幅でサンプリングした場合には、行列ｈは、４０１行×３列の行列となり、行列Ｅは、４０１行×１列の行列となり、行列ｆ（ｍ，ｎ）は、１行×４０１列の行列となる。

したがって、所定の照明環境（分光放射輝度Ｅ）において観測される被写体ＯＢＪの色を示す画像データｇ’_ＸＹＺ（ｍ，ｎ）は、（６）式のようになる。

ｇ’_ＸＹＺ（ｍ，ｎ）＝ｈ・Ｅ・ｆ（ｍ，ｎ）＝ｈ・Ｅ・Ｗ・ｇｃ（ｍ，ｎ） ・・・（６）
ここで、（６）式で用いられる分光放射輝度を示す行列Ｅは、任意の値に設定することができる。これは、ある照明環境下で被写体ＯＢＪを撮像した画像データｇに基づいて、異なる任意の照明環境に設定した場合に観察されるであろう当該被写体ＯＢＪの色を再現できることを意味する。したがって、ある特定の照明環境下で観察されるであろう被写体ＯＢＪの色を再現するにあたって、必ずしもその特定の照明環境下で被写体ＯＢＪを撮像する必要はなく、それとは別の照明環境下で撮像した画像データｇを用いてもよいことを意味する。言い換えれば、撮像装置２００における撮像可能な色域内に納まるように、被写体ＯＢＪを撮像さえできれば、任意の照明環境下で観測されるであろう色を正確に再現できる。そこで、本実施の形態に従う撮像システム１は、撮像装置２００における撮像可能な色域内に納まるように被写体ＯＢＪを撮像することを目的とする。

再度、図１を参照して、分光反射率推定部１１０は、分光放射輝度計３００で測定された分光放射輝度Ｅと、予め格納された撮像装置２００の撮像素子の各波長における分光感度を示す行列Ｓと、予め格納された自己相関行列Ａとを用いて、上述（３）式および（４）式の行列演算を実行し、分光反射率推定行列Ｗを算出する。そして、分光反射率推定部１１０は、算出した分光反射率推定行列Ｗを色変換部１０４へ出力する。

なお、分光反射率推定部１１０が分光反射率推定行列Ｗを算出する周期は、撮像装置２００における撮像周期と同一であることが望ましいが、分光放射輝度計３００による分光放射輝度の測定周期が撮像周期より遅い場合には、分光放射輝度の測定周期で分光反射率推定行列Ｗを算出してもよい。あるいは、被写体ＯＢＪにおける照明環境がほとんど変化しない場合には、分光放射輝度計３００から出力される分光放射輝度が変化した場合に限って、分光反射率推定行列Ｗを算出するようにしてもよい。

色変換部１０４は、線形補正部１０２から出力された線形画像データｇｃと、分光反射率推定部１１０から出力された分光反射率推定行列Ｗと、分光放射輝度計３００で測定された分光放射輝度Ｅと、予め格納された各波長における等色関数の値を示す行列ｈとを用いて、上述（６）式の行列演算を実行し、画像データｇ’_ＸＹＺを算出する。

分光放射輝度計３００と色変換部１０４との間には、一次記憶部１１６が配置されている。この一次記憶部１１６は、後述するように評価部１１２が照明装置４００からの照明光を切換えた場合に、切換前の分光放射輝度を一次的に記憶しておき、この切換前の分光放射輝度を色変換部１０４へ出力するためのバッファとして機能する。一次記憶部１１６の詳細な動作については後述する。

座標変換部１０６は、色変換部１０４で生成されたＸＹＺ表色系の画像データｇ’_ＸＹＺをＲＧＢ表色系の画像データｇ’_ＲＧＢに変換して、ガンマ補正部１０８へ出力する。すなわち、座標変換部１０６は、画像データｇ’_ＲＧＢを色空間の変換を行なった上で出力する。

ガンマ補正部１０８は、座標変換部１０６で変換されたＲＧＢ表色系の画像データｇ’_ＲＧＢは、線形性を維持しているため、表示装置などに出力する場合には、表示装置のガンマ特性を考慮して、予め表示装置のガンマ特性を打ち消すための補正を行なう必要がある。すなわち、ガンマ補正部１０８は、線形補正部１０２における変換処理と逆の変換処理を行なう。より具体的には、ガンマ補正部１０８は、以下のような表示装置のガンマ値γｄを用いた演算式に従って、ＲＧＢ表色系の画像データｇ’_ＲＧＢ（ｍ，ｎ）を色再現データｇｄ_ＲＧＢ（ｍ，ｎ）に変換する。

ｇｄ_ＲＧＢ（ｍ，ｎ）＝ｇ’_ＲＧＢ（ｍ，ｎ）^γｄ
ここで、表示装置のガンマ値γｄは、一例として「２．２」などに設定される。

本実施の形態に従うガンマ補正部１０８は、上述の線形補正部１０２と同様に、ルックアップテーブル（ＬＵＴ：Look-Up Table）を用いて演算処理を実行する。より具体的には、ガンマ補正部１０８は、ルックアップテーブル１０８ａを予め格納してり、このルックアップテーブル１０８ａを参照することで、ガンマ補正処理を行なう。ルックアップテーブル１０８ａは、入力される画像データｇ’_ＲＧＢが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル１０８ａを参照して、入力された画像データｇ’_ＲＧＢの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。

なお、ルックアップテーブル１０８ａの内容は、ガンマ値γｄによって異なったものとなるので、ガンマ値γｄが変更された場合には、ルックアップテーブル１０８ａの内容も変更する必要がある。

＜色域評価処理＞
評価部１１２は、上述のような色再現データｇｄの生成過程において、撮像装置２００で撮像された画像データｇが撮像装置２００の撮像可能な色域内で撮像されたものであるか否かを評価する。そして、評価部１１２は、画像データｇが撮像可能な色域外の色を含むと評価された場合には、被写体ＯＢＪが発する色が撮像装置２００の撮像可能な色域内に納まるように、照明装置４００から特定の照明光を照射する。このような色域内であるか否かの評価は、ＸＹＺ表色系の色空間で行なう必要があるため、評価部１１２は、色変換部１０４から出力される画像データｇ’_ＸＹＺに対して評価を行なう。

図２は、図１に示す評価部１１２における色域評価処理の概略を説明するための図である。

図２に示すように、ＸＹＺ表色系の三刺激値Ｘ，Ｙ，Ｚは、（７）式および（８）式に示すような変換式によって得られる２つの変数ｘおよびｙによって規定される二次元座標（以下「ｘｙ座標」とも称す。）として表わすことができる。

ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ） ・・・（７）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ） ・・・（８）
また、図２には、ＸＹＺ表色系における色度図を示す。この色度図では、中心が白色であり、その外周に向かうほど「純度」が高い色であることを意味する。また、略三角形の各頂点には、主としてＢ（青），Ｇ（緑），Ｒ（赤）が位置している。

図２（ａ）に示すように、Ｒ，Ｇ，Ｂの３つの撮像素子からなる撮像装置２００の撮像可能な色域は、ｘｙ座標において、各撮像素子で検出可能な色（純度）をそれぞれ頂点とする三角形となる。なお、撮像素子の数（バンド数）を増加させた場合には、当該バンド数と同数の多角形となる。

また、図２（ａ）には、撮像装置２００の各画素で撮像された色をサンプル点として例示している。各サンプル点は、上述の色再現処理によって算出される各画素の画像データｇ’_ＸＹＺをｘｙ座標上にプロットしたものである。

図２（ａ）に示すサンプル点のうち、２つのサンプル点の本来の色は、撮像可能な色域外に存在している場合を考える。この場合には、色域外のサンプル点の色は、撮像可能な色域に最も近い色域内の色として誤検出（クリッピング）される。すなわち、撮像可能な色域外に存在している色は、その純度を下げた別の色として検出されることになる。具体的には、図２（ａ）に示す２つのサンプル点の色は、本来、相対的に純度の高い黄色であったが、より赤味を帯びた色として検出されてしまう。

このように、撮像装置２００において画像データｇの色情報が誤検出されてしまうと、上述の色再現処理において分光反射率を正確に算出することができない。その結果、正確に色再現を行なうことができない。

ここで、被写体ＯＢＪから発する光（色）は、照明環境に応じて変化するので、照明環境を適切に切換えることで、撮像可能な色域外に存在しているサンプル点を撮像可能な色域内に納めることができる。

図２（ｂ）は、図２（ａ）と同様の被写体ＯＢＪをより青味の強い照明環境で撮像した場合のサンプル点を示す図である。図２（ｂ）に示すように、被写体ＯＢＪにより青味の強い照明光を照射すると、各サンプル点は、ｘｙ座標において全体的に青の方向（ｘｙ座標上で左下方向）に移動する。すなわち、照明環境を変えることで、図２（ａ）において色域外に存在していたサンプル点（すなわち、相対的に純度の高い黄色であった点）は、より純度の低い黄色を放射するようになるので、撮像装置２００の撮像可能な色域内に納まる。その結果、被写体ＯＢＪの全体を撮像装置２００の撮像可能な色域内において撮像できるので、被写体ＯＢＪの分光反射率を正確に推定することができる。

さらに、上述の（６）式に示すように、任意の照明環境において観測した場合の色再現データｇｄを生成できるので、この切換後の照明環境ではなく、本来の照明環境下において撮像されるべきであった色再現データｇｄを生成することができる。

図２（ｃ）は、図２（ｂ）の照明環境下で撮像された撮像データに基づいて、図２（ａ）の照明環境下で生成されるべきであった色再現データｇｄを生成した場合を示す。このような色再現処理を行なうことにより、撮像装置２００の撮像可能な色域外にある色であっても、正確に色再現を行なうことができる。

照明装置４００からの照明光を適切に切換えるためには、撮像装置２００の撮像可能な色域外にある色を特定する必要がある。そこで、本実施の形態に従う評価部１１２は、ｘｙ座標上においていずれの位置で色域外になっているかを評価し、この位置に応じて照明光を選択する。

なお、撮像された画像データｇのすべての画素について評価する必要はなく、画像データｇに含まれる画素の色情報のうち、当該画像データｇを代表する所定数の画素について評価するようにしてもよい。

図３は、図１に示す評価部１１２における照明光の切換処理の概略を説明するための図である。図３を参照して、ｘｙ座標上において、Ｒの撮像素子によって撮像可能な最大純度の赤色に対応する座標を（ｘ１，ｙ１）とし、Ｇの撮像素子によって撮像可能な最大純度の緑色に対応する座標を（ｘ２，ｙ２）とし、Ｂの撮像素子によって撮像可能な最大純度の青色に対応する座標を（ｘ３，ｙ３）とする。

そして、座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）とを結ぶ直線領域（ａ）上にサンプル点が存在する場合には、Ｙ（黄）の純度が高いと判断し、このＹ（黄）の補色であるＢ（青）の成分を多く含む照明光に切換える。

同様に、座標（ｘ２，ｙ２）と座標（ｘ３，ｙ３）とを結ぶ直線領域（ｂ）上にサンプル点が存在する場合には、Ｃ（シアン）の純度が高いと判断し、このＣ（シアン）の補色であるＲ（赤）の成分を多く含む照明光に切換える。

同様に、座標（ｘ３，ｙ３）と座標（ｘ１，ｙ１）とを結ぶ直線領域（ｃ）上にサンプル点が存在する場合には、Ｍ（マゼンダ）の純度が高いと判断し、このＭ（マゼンダ）の補色であるＧ（緑）の成分を多く含む照明光に切換える。

このように、評価部１１２は、画像データｇ’の色がｘｙ座標上のいずれの位置で色域外になっているかを評価し、当該位置に応じて照明光を選択する。

再度、図１を参照して、座標変換部１１８は、色変換部１０４から順次出力される画像データｇ’の各成分に対して、上述の（７）式および（８）式に示す変換式に従って座標変換を実行する。そして、座標変換部１１８は、変換した座標値（ｘ，ｙ）を評価部１１２へ順次出力する。

評価部１１２は、座標変換部１１８から順次出力される座標値（ｘ，ｙ）を、撮像装置２００による１回の撮像に相当する数だけ格納し、ｘｙ座標上において予め規定された撮像装置２００で撮像可能な色域外に存在するものがあるか否かを判断する。なお、このｘｙ座標上において予め規定された撮像装置２００で撮像可能な色域は、評価テーブル１１４に予め格納される。また、撮像装置２００で撮像可能な色域は、撮像装置２００を構成する撮像素子の特性などに依存するため、撮像装置２００の種類または個体毎に実験的もしくはシミュレーションなどによって予め取得される。

さらに、評価部１１２は、座標変換部１１８から出力される座標値（ｘ，ｙ）のうち、撮像装置２００で撮像可能な色域外に存在するものがある場合には、その座標値（ｘ，ｙ）がいずれの位置で色域外になっているかを評価する。そして、評価部１１２は、当該位置に応じて、照明装置４００に対して照明光の選択指令を出力する。上述したように、具体的には、評価部１１２は、ｘｙ座標上のＲ，Ｇ，Ｂに対応する各座標を結ぶいずれかの直線領域に座標値（ｘ，ｙ）が存在しているか否かによって判断する。

照明装置４００に対して照明光の選択指令を出力した場合には、評価部１１２は、一次記憶部１１６に対して、当該時点（照明光の切換前）の分光放射輝度の出力を維持するように指令を与える。これは、切換前の照明環境下（すなわち、本来の照明環境下）において撮像されるべきであった画像データｇ’が色変換部１０４から出力されるようにするためである。

すなわち、被写体ＯＢＪの撮像時に適用すべき照明環境（分光放射輝度Ｅ^（１））を異なる照明環境（分光放射輝度Ｅ^（２））に切換えた場合には、評価部１１２は、以下の数式に従って画像データｇ’が算出されるように、一次記憶部１１６を制御する。

Ｈ＝Ｓ・Ｅ^（１）
Ｗ＝Ａ・Ｈ^ｔ・（Ｈ・Ａ・Ｈ^ｔ）^−１
ｇ’_ＸＹＺ（ｍ，ｎ）＝ｈ・Ｅ^（２）・Ｗ・ｇｃ（ｍ，ｎ）
また、評価部１１２は、座標変換部１１８から出力される座標値（ｘ，ｙ）のうち、撮像装置２００で撮像可能な色域外に存在するものがない場合において、座標変換部１０６における座標変換処理を有効化するための指令を与える一方、撮像装置２００で撮像可能な色域外に存在するものがある場合には、座標変換部１０６における座標変換処理を無効化するための指令を与える。これは、撮像装置２００で撮像可能な色域外の色を含む画像データに基づいて生成された信頼性の低い色再現データｇｄが出力されることを防止するためである。

＜処理手順＞
本実施の形態に従う撮像システム１における処理手順をまとめると、以下のようになる。

図４は、この発明の実施の形態に従う撮像システム１における全体処理手順を示すフローチャートである。図５は、図４に示す色域評価処理サブルーチンの内容を示すフローチャートである。図６は、図４に示す照明環境切換サブルーチンの内容を示すフローチャートである。なお、以下の説明では、その処理内容をより明確化するために、最初の撮像によって得られたデータなどを上付き添え字^（１）を付して表わすとともに、２回目の撮像によって得られたデータなどを上付き添え字^（２）を付して表わす。

図１および図４を参照して、まず、撮像装置２００が被写体ＯＢＪを撮像し、被写体ＯＢＪに応じた撮像データｇ^（１）を出力する（ステップＳ２）。なお、撮像装置２００は、ユーザなどの操作に応答して撮像動作を実行する。続いて、分光反射率推定部１１０が、分光放射輝度計３００で測定された分光放射輝度Ｅ^（１）を取得し（ステップＳ４）、分光反射率推定行列Ｗ^（１）を算出する（ステップＳ６）。

続いて、線形補正部１０２が、撮像装置２００から出力される１つの画素に対応する画像データｇ^（１） _ｉ（ｍ，ｎ）を線形化して線形画像データｇｃ^（１） _ｉ（ｍ，ｎ）を生成する（ステップＳ８）。そして、色変換部１０４が、ステップＳ４において取得された分光放射輝度Ｅ^（１）と、ステップＳ６において算出された分光反射率推定行列Ｗ^（１）と、ステップＳ８において生成された線形画像データｇｃ^（１） _ｉ（ｍ，ｎ）とを用いて、画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）を算出する（ステップＳ１０）。さらに、撮像データｇ^（１）に含まれるすべての画素についての処理が完了したか否かが判断され（ステップＳ１２）、すべての画素についての処理が完了していなければ（ステップＳ１２においてＮＯ）、ステップＳ８以降の処理が再度実行される。

これに対して、すべての画素についての処理が完了していれば（ステップＳ１２においてＹＥＳ）、画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が撮像装置２００で撮像可能な色域内に存在しているか否かを評価するために、色域評価処理サブルーチンが実行される（ステップＳ１４）。なお、後述するように、ステップＳ１４の色域評価処理サブルーチンの評価結果は、評価部１１２などに設けられるメモリ領域に「フラグ」として出力され、フラグ設定がされている場合には、撮像装置２００で撮像可能な色域外に画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が存在することを意味する。

この色域評価処理サブルーチンの実行後、評価部１１２は、いずれかのフラグが設定されているか否か、すなわち撮像装置２００で撮像可能な色域外に画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）が存在するか否かを判断する（ステップＳ１６）。フラグが設定されている場合（ステップＳ１６においてＹＥＳの場合）には、評価部１１２は、一次記憶部１１６に現時点の分光放射輝度Ｅ^（１）を記憶させる（ステップＳ１８）とともに、照明装置４００からの照明光を切換えるために、照明環境切換サブルーチンを実行する（ステップＳ２０）。この照明環境切換サブルーチンの実行後、撮像装置２００が被写体ＯＢＪを再度撮像し、被写体ＯＢＪに応じた撮像データｇ^（２）を出力する（ステップＳ２２）。続いて、分光反射率推定部１１０が、分光放射輝度計３００で測定された分光放射輝度Ｅ^（２）を取得し（ステップＳ２４）、分光反射率推定行列Ｗ^（２）を算出する（ステップＳ２６）。

続いて、線形補正部１０２が、撮像装置２００から出力される１つの画素に対応する画像データｇ^（２） _ｉ（ｍ，ｎ）を線形化して線形画像データｇｃ^（２） _ｉ（ｍ，ｎ）を生成する（ステップＳ２８）。そして、色変換部１０４が、ステップＳ１８において一次記憶部１１６が記憶した分光放射輝度Ｅ^（１）と、ステップＳ２６において算出された分光反射率推定行列Ｗ^（２）と、ステップＳ２８において生成された線形画像データｇｃ^（２） _ｉ（ｍ，ｎ）とを用いて、画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）を算出する（ステップＳ３０）。さらに、撮像データｇ^（２）に含まれるすべての画素のついての処理が完了したか否かが判断され（ステップＳ３２）、すべての画素についての処理が完了していなければ（ステップＳ３２においてＮＯ）、ステップＳ２８以降の処理が再度実行される。

これに対して、すべての画素についての処理が完了していれば（ステップＳ３２においてＹＥＳ）、座標変換部１０６が、ステップＳ３０で算出された画像データｇ’^（２） _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系の画像データｇ’_ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ３４）、続いて、ガンマ補正部１０８が、画像データｇ’_ＲＧＢ（ｍ，ｎ）を色再現データｇｄ_ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ３６）、外部出力する。

一方、フラグが設定されていない場合（ステップＳ１６においてＮＯの場合）には、座標変換部１０６が、ステップＳ１０で算出された画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）をＲＧＢ表色系の画像データｇ’_ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ３８）、続いて、ガンマ補正部１０８が、画像データｇ’_ＲＧＢ（ｍ，ｎ）を色再現データｇｄ_ＲＧＢ（ｍ，ｎ）に変換し（ステップＳ４０）、外部出力する。

次に、ステップＳ１４の色域評価処理サブルーチンの内容について説明する。図５を参照して、まず、座標変換部１１８が画像データｇ’^（１） _ＸＹＺ（ｍ，ｎ）をｘｙ座標上の座標値（ｘ，ｙ）に変換する（ステップＳ１００）。そして、評価部１１２は、評価テーブル１１４から撮像装置２００の撮像可能なｘｙ座標上の色域を読出す（ステップＳ１０２）。

そして、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図３に示すようなＲ（赤）に対応する座標（ｘ１，ｙ１）とＧ（緑）に対応する（ｘ２，ｙ２）とを結ぶ直線領域（ａ）上に存在するか否かを判断する（ステップＳ１０４）。座標値（ｘ，ｙ）が直線領域（ａ）上に存在する場合（ステップＳ１０４においてＹＥＳの場合）には、評価部１１２は、フラグＢ（青）を設定する（ステップＳ１０６）。

座標値（ｘ，ｙ）が直線領域（ａ）上に存在しない場合（ステップＳ１０４においてＮＯの場合）には、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図３に示すようなＧ（緑）に対応する座標（ｘ２，ｙ２）とＢ（青）に対応する（ｘ３，ｙ３）とを結ぶ直線領域（ｂ）上に存在するか否かを判断する（ステップＳ１０８）。座標値（ｘ，ｙ）が直線領域（ｂ）上に存在する場合（ステップＳ１０８においてＹＥＳの場合）には、評価部１１２は、フラグＲ（赤）を設定する（ステップＳ１１０）。

座標値（ｘ，ｙ）が直線領域（ｃ）上に存在しない場合（ステップＳ１０８においてＮＯの場合）には、評価部１１２は、ステップＳ１００において算出された座標値（ｘ，ｙ）が、図３に示すようなＢ（青）に対応する座標（ｘ３，ｙ３）とＲ（赤）に対応する（ｘ１，ｙ１）とを結ぶ直線領域（ｃ）上に存在するか否かを判断する（ステップＳ１１２）。座標値（ｘ，ｙ）が直線領域（ｃ）上に存在する場合（ステップＳ１１２においてＹＥＳの場合）には、評価部１１２は、フラグＧ（緑）を設定する（ステップＳ１１４）。

さらに、撮像データｇ^（１）に含まれるすべての画素のついての処理が完了したか否かが判断され（ステップＳ１１６）、すべての画素についての処理が完了していなければ（ステップＳ１１６においてＮＯ）、ステップＳ１００以降の処理が再度実行される。

これに対して、すべての画素についての処理が完了していれば（ステップＳ１１６においてＹＥＳ）、処理は、図４のステップＳ１６に移行する。

次に、ステップＳ２０の照明環境切換サブルーチンの内容について説明する。図６を参照して、評価部１１２は、まず、フラグＢ（青）が設定されているか否かを判断する（ステップＳ２００）。フラグＢ（青）が設定されている場合（ステップＳ２００においてＹＥＳの場合）には、評価部１１２は、Ｂ（青）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２０２）。

フラグＢ（青）が設定されていない場合（ステップＳ２００においてＮＯの場合）には、評価部１１２は、フラグＲ（赤）が設定されているか否かを判断する（ステップＳ２０４）。フラグＲ（赤）が設定されている場合（ステップＳ２０４においてＹＥＳの場合）には、Ｒ（赤）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２０６）。

フラグＲ（赤）が設定されていない場合（ステップＳ２０４においてＮＯの場合）には、評価部１１２は、フラグＧ（緑）が設定されているか否かを判断する（ステップＳ２０８）。フラグＧ（緑）が設定されている場合（ステップＳ２０８においてＹＥＳの場合）には、Ｇ（緑）の成分を多く含む照明光を照明装置４００から被写体ＯＢＪに向けて放射させる（ステップＳ２１０）。

ステップＳ２０２，２０６，２１０のいずれかの処理が実行された後、処理は、図４のステップＳ２２に移行する。

＜本実施形態による作用効果＞
この発明の実施の形態によれば、撮像装置で撮像可能な色域を考慮して被写体を撮像する際の照明環境を決定することができる。そのため、撮像装置を用いて被写体の色を正しく撮像できるので、この撮像された撮像データから被写体の分光反射率を正確に推定できる。したがって、被写体を撮像すべき照明環境において被写体の色が撮像装置の撮像可能な色域外に存在している場合であっても、分光反射率を正確に推定した上で、当該撮像すべき照明環境において撮像（観察）されるであろう色を適切に再現することができる。

この結果、撮像装置の撮像可能な色域に比較して表示装置の表示可能な色域が広い場合などにおいて、表示装置では、撮像装置の撮像能力を超えた純度の色を表示させることも可能となる。

＜変形例＞
上述の実施の形態においては、主としてハードウェアで構成された画像処理装置１００を用いる構成について例示したが、その全部または一部をソフトウェアで実現してもよい。すなわち、コンピュータを用いて、画像処理装置１００における処理を実現してもよい。

図７は、この発明の実施の形態の変形例に従う画像処理装置１００＃を実現するコンピュータの概略構成図である。

図７を参照して、コンピュータは、ＦＤ（Flexible Disk）駆動装置１６６およびＣＤ−ＲＯＭ（Compact Disk-Read Only Memory)駆動装置１６８を搭載したコンピュータ本体１５０と、モニタ１５２と、キーボード１５４と、マウス１５６とを含む。

コンピュータ本体１５０は、相互にバスで接続された、演算装置であるＣＰＵ（Central Processing Unit）１６０と、メモリ１６２と、記憶装置である固定ディスク１６４と、通信インターフェース１７０とをさらに含む。

ＦＤ駆動装置１６６にはＦＤ１６６ａが装着され、ＣＤ−ＲＯＭ駆動装置１６８にはＣＤ−ＲＯＭ１６８ａが装着される。本実施の形態の変形例に従う画像処理装置１００＃は、ＣＰＵ１６０がメモリ１６２などのコンピュータハードウェアを用いて、ソフトウェアを実行することで実現できる。一般的に、このようなソフトウェアは、ＦＤ１６６ａやＣＤ−ＲＯＭ１６８ａなどの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなソフトウェアは、ＦＤ駆動装置１６６やＣＤ−ＲＯＭ駆動装置１６８などにより記録媒体から読取られて、または通信インターフェース１７０にて受信されて、固定ディスク１６４に格納される。さらに、固定ディスク１６４からメモリ１６２に読出されて、ＣＰＵ１６０により実行される。

モニタ１５２は、ＣＰＵ１６０が出力する情報を表示するための表示部であって、一例としてＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などから構成される。マウス１５６は、クリックやスライドなどの動作に応じたユーザから指令を受付ける。キーボード１５４は、入力されるキーに応じたユーザから指令を受付ける。ＣＰＵ１６０は、プログラムされた命令を順次実行することで、各種の演算を実施する演算処理部である。メモリ１６２は、ＣＰＵ１６０のプログラム実行に応じて、各種の情報を記憶する。通信インターフェース１７０は、コンピュータと撮像装置２００、分光放射輝度計３００、照明装置４００（図１）などとの間の通信を確立するための装置であり、ＣＰＵ１６０が出力した情報を、例えば電気信号に変換して他の装置へ送出するとともに、他の装置から電気信号を受信してＣＰＵ１６０が利用できる情報に変換する。固定ディスク１６４は、ＣＰＵ１６０が実行するプログラムや予め定められたデータなどを記憶する不揮発性の記憶装置である。また、コンピュータには、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。

さらに、本実施の形態に係るプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本実施の形態に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。

＜その他の形態＞
上述の実施の形態においては、分光放射輝度計３００が被写体ＯＢＪにおける照明環境（分光放射輝度）を直接測定する構成について例示したが、被写体ＯＢＪへ照射される照明光が主として照明装置４００からの照明光に依存する場合などには、分光放射輝度を直接測定する代わりに、予め測定して分光放射輝度を用いてもよい。すなわち、照明装置４００から選択的に照射される各照明光に対応付けて予め分光放射輝度を測定しておき、これらの予め測定された分光放射輝度のうち、照明装置４００から放射される照明光の選択に応じて、対応する分光放射輝度を読出すようにしてもよい。

また、照明装置４００から照射する照明光は、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域外に存在する場合い限って照射するようにしてよい。すなわち、通常の撮像時には、所望の照明環境下で被写体ＯＢＪを測定するとともに、この照明環境下において、被写体ＯＢＪの撮像データが撮像装置２００で撮像可能な色域外に存在する場合に、はじめて照明装置４００から特定の照明光を照射するような運用としてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態に従う撮像システムの概略構成図である。 図１に示す評価部における色域評価処理の概略を説明するための図である。 図１に示す評価部における照明光の切換処理の概略を説明するための図である。 この発明の実施の形態に従う撮像システム１における全体処理手順を示すフローチャートである。 図４に示す色域評価処理サブルーチンの内容を示すフローチャートである。 図４に示す照明環境切換サブルーチンの内容を示すフローチャートである。 この発明の実施の形態の変形例に従う画像処理装置を実現するコンピュータの概略構成図である。

符号の説明

１ 撮像システム、１００，１００＃ 画像処理装置、１０２ 線形補正部、１０２ａ，１０８ａ ルックアップテーブル（ＬＵＴ）、１０４ 色変換部、１０６，１１８ 座標変換部、１０８ ガンマ補正部、１１０ 分光反射率推定部、１１２ 評価部、１１４ 評価テーブル、１１６ 一次記憶部、１５０ コンピュータ本体、１５２ モニタ、１５４ キーボード、１５６ マウス、１６０ ＣＰＵ、１６２ メモリ、１６４ 固定ディスク、１６６ ＦＤ駆動装置、１６８ ＣＤ−ＲＯＭ駆動装置、１７０ 通信インターフェース、２００ 撮像装置、３００ 分光放射輝度計、４００ 照明装置、４０２ フィルタホイール、４０４ 波長フィルタ、４０６ モータ、４０８ 光源、ＯＢＪ 被写体。

Claims (10)

1. 撮像装置を用いて、特定の波長特性をもつ照明光が照射される被写体を撮像することで、第１撮像データを取得するステップと、
   前記第１撮像データに対して、前記照明光の波長特性を用いて前記被写体の色を推定した色情報を生成するステップと、
   前記色情報に基づいて被写体を撮像したデータを再生成するステップとを備える、撮像方法。
2. 前記色情報を生成するステップは、
   前記照明光の分光放射輝度を第１分光放射輝度として取得するステップと、
   前記第１分光放射輝度および前記第１撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率および前記第１分光放射輝度を用いて前記被写体の色を示す第１色空間上の第１色データを生成するステップと、
   前記第１色データが前記撮像装置で撮像可能な色域内に存在していたか否かを評価するステップと、
   前記第１色データが前記撮像可能な色域内に存在していなかったと評価された場合に、特定の主波長をもつ照明光を前記被写体に向けて照射するステップと、
   前記照明光の照射中に前記被写体を再度撮影し、第２撮像データを取得するステップと、
   前記照明光の照射中に前記被写体に照射される光の分光放射輝度を第２分光放射輝度として取得するステップとを含み、
   前記再生成するステップは、前記第２分光放射輝度および前記第２撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率および前記第１分光放射輝度を用いて前記被写体の色を示す第１色空間上の第１色データを再生成するステップを含む、請求項１に記載の撮像方法。
3. 前記評価するステップは、前記第１色データが前記第１色空間上のいずれの位置で色域外になっているかに基づいて、前記第１色データが前記撮像可能な色域内に納まるように前記照明光を決定するステップを含む、請求項２に記載の撮像方法。
4. 前記第１色データを第２色空間上の第２色データに変換して画像データとして出力するステップをさらに備える、請求項２または３に記載の撮像方法。
5. 前記第１色空間はＸＹＺ表色系であり、前記第２色空間はＲＧＢ表色系である、請求項４に記載の撮像方法。
6. 撮像素子の各出力値からなる撮像データを出力する撮像装置と、
   前記被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置と、
   前記被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、
   前記分光放射輝度および前記撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率を用いて前記被写体の色を示す第１色空間上の第１色データを生成する第１色変換手段と、
   前記第１色データが前記撮像装置で撮像可能な色域内に存在していたか否かを評価する評価手段とを備え、
   前記評価手段は、前記第１色データが前記撮像可能な色域内に存在していなかったと評価された場合に、前記照明装置から特定の照明光を前記被写体に向けて照射させる、撮像システム。
7. 前記評価手段は、前記第１色データが前記第１色空間上のいずれの位置で色域外になっているかを評価し、当該位置に応じて前記第１色データが前記撮像可能な色域内に納まるように、前記特定の照明光を選択する、請求項６に記載の撮像システム。
8. 前記第１色変換手段は、前記被写体の撮像時に適用すべき第１照明環境が前記評価手段によって第２照明環境に切換えられた場合に、前記第２照明環境において取得される分光放射輝度を用いて前記分光反射率を推定し、さらに前記分光反射率および前記第１照明環境において取得された分光放射輝度を用いて第１色データを生成する、請求項６または７に記載の撮像システム。
9. 前記第１色変換手段で変換後の前記第１色データを第２色空間上の第２色データに変換して画像データとして出力する第２色変換手段をさらに備える、請求項６〜８のいずれか１項に記載の撮像システム。
10. 前記第１色空間はＸＹＺ表色系であり、前記第２色空間はＲＧＢ表色系である、請求項９に記載の撮像システム。