JP2012028973A - 照明光推定装置、照明光推定方法および照明光推定プログラム - Google Patents

Abstract

【課題】照明光色が未知の画像から、画像中の色分布の影響を受けることなく照明光の色を正しく推定し、所定の照明光の下での画像に変換することができる照明光推定装置を提供する。
【解決手段】照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置であって、入力した画像から入力機器の特性を除去した色情報に変換する色情報変換部と、色情報から照明光の色を推定する照明光推定部と、照明光推定部で得られた推定結果を用いて所定の照明光下の画像に変換する照明光変換部とを備えた。
【選択図】図１

Description

本発明は、カメラ等の入力機器で得られた画像から照明光の色を推定し、所定の照明光下の画像に変換する照明光推定装置、照明光推定方法および照明光推定プログラムに関する。

従来より、得られた画像から照明光の色を推定する技術として、画像中の鏡面反射成分を利用する技術や画像中の無彩色領域を利用する技術、シーン中の物体の色に関する仮定を利用する技術などが知られている。元々、画像の色は、式（１）に示すように照明光Ｅ（λ）が物体ρ（λ）に反射した光に対して入力機器の分光感度特性

を用いて積分した値（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）である。

但し、ρの右下にあるインデックスは画像中にあるｉ番目の物体の表面反射率を表す。したがって、画像から照明光の色を推定することは、ＲＧＢ画素値からＥ（λ）を求めることに対応する。しかしながら、物体の表面反射率やカメラの分光特性が未知の状況下で照明光の色を推定するには照明光や物体の色に関する仮定を設けることが必要になる。鏡面反射成分を利用する技術（非特許文献１）では、誘電体からの反射光成分のうち鏡面反射成分が照明光の色を表すことを利用し、照明光の色を推定する。

一方、無彩色領域を利用する手法（特許文献１、２）は、無彩色の領域からの反射光の色は照明光の色を反映していることを利用する。この技術は事前に様々な照明光の下での白色（紙、色票）の画像を取得し、無彩色領域が照明光によって変化する色の範囲を求めることにより、画像中から無彩色領域の動く範囲に含まれる画素値を抽出し、それらの平均を照明光の色として推定する。また、非特許文献２に示す技術はシーン中の物体の色の平均が灰色（無彩色）であるとする仮説（灰色仮説）であり、この仮説が成立する場合には、シーン中の反射光の色を照明光の色として推定する。

特開２０１０−５０６５１号公報 特開２００２−２９０９８８号公報

G.J.Klinker, S.A.Shafer, T.Kanade, "Using a color reflection model to a separate highlights from object color", Proceedings of the First International Conference on Computer Vision, pp.145-150 (1987). R.Gershon and A.D.Jepson,"The Computation of Color Constant Descriptors in Chromatic Images", Color Research and Application, Vol.14, No.6, pp.325-334 (1989).

しかしながら、上述した従来手法には以下のような課題がある。すなわち、鏡面反射成分を利用する手法の場合、画像中に鏡面反射成分があることを前提としているため、無い場合には適用できないという問題がある。また、無彩色領域を利用する手法は画像中に鏡面反射は不要であるが、推定精度が無彩色領域の有無に依存すること、および、彩度の低い領域の色を照明光の色として誤推定するという問題がある。一方、灰色仮説を利用する手法では、仮説が成立しない場合に推定精度が画像中の色分布の影響を強く受けるという問題がある。

本発明は、このような事情に鑑みてなされたもので、照明光色が未知の画像から、画像中の色分布の影響を受けることなく照明光の色を正しく推定し、所定の照明光の下での画像に変換することができる照明光推定装置、照明光推定方法および照明光推定プログラムを提供することを目的とする。

本発明は、照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置であって、入力した画像から入力機器の特性を除去した色情報に変換する色情報変換部と、前記色情報から照明光の色を推定する照明光推定部と、前記照明光推定部で得られた推定結果を用いて所定の照明光下の画像に変換する照明光変換部とを備えたことを特徴とする。

本発明は、前記照明光推定部は、類似の色情報をもつ色を一つのクラスタにまとめてクラスタを生成するクラスタ生成部と、前記クラスタの生成結果に基づいて色を選択する色選択部と、前記色選択部によって選択された色の平均を求める平均計算部と、前記平均計算部の結果に基づいて、前記色選択部で選択された色の平均が無彩色であるか否かを判定する無彩色判定部とから構成することを特徴とする。

本発明は、照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置における照明光推定方法であって、画像を入力する画像入力ステップと、前記画像入力ステップによって得られた前記画像から入力機器の特性を除去した色情報に変換する色情報変換ステップと、前記色情報変換ステップによって得られた前記色情報に対し、類似の色情報をもつ色を一つのクラスタとしてまとめてクラスタを生成するクラスタ生成ステップと、前記色情報変換ステップにより得られた前記色情報から、１種類の色を選択するとともに、選択された色が属するクラスタに対し、反対色に対応するクラスタから色を選択する色選択ステップと、前記色選択ステップによって選択された色の平均を計算する平均計算ステップと、前記平均計算ステップの結果に基づいて、色選択ステップにより選択された色の平均が無彩色であるか否かを判定する無彩色判定ステップと、前記無彩色判定ステップにおいて無彩色と判定された場合には、前記平均計算ステップにおける平均値を照明光の色とし、所定の照明光下の色情報に変換する照明光変換ステップとを有することを特徴とする。

本発明は、照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置上のコンピュータに照明光推定処理を行わせる照明光推定プログラムであって、画像を入力する画像入力ステップと、前記画像入力ステップによって得られた前記画像から入力機器の特性を除去した色情報に変換する色情報変換ステップと、前記色情報変換ステップによって得られた前記色情報に対し、類似の色情報をもつ色を一つのクラスタとしてまとめてクラスタを生成するクラスタ生成ステップと、前記色情報変換ステップにより得られた前記色情報から、１種類の色を選択するとともに、選択された色が属するクラスタに対し、反対色に対応するクラスタから色を選択する色選択ステップと、前記色選択ステップによって選択された色の平均を計算する平均計算ステップと、前記平均計算ステップの結果に基づいて、色選択ステップにより選択された色の平均が無彩色であるか否かを判定する無彩色判定ステップと、前記無彩色判定ステップにおいて無彩色と判定された場合には、前記平均計算ステップにおける平均値を照明光の色とし、所定の照明光下の色情報に変換する照明光変換ステップとを前記コンピュータに行わせることを特徴とする。

本発明によれば、照明光色が未知の画像から、画像中の色分布の影響を受けることなく照明光の色を正しく推定し、所定の照明光の下での画像に変換することが可能となる。所定の照明光が白色である場合は、被写体の色からなる画像が得られる。特に、本発明では、画像中に無彩色領域が存在しない場合であっても複数の色を組み合わせることにより無彩色を生成できるため、既存手法よりも精度よく照明光の色を推定できる。また、黒体放射軌跡をはさんで反対色となるように色を選択することによって、少ない色数で照明光推定が可能になるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す装置の動作を示すフローチャートである。 クラスタ生成の様子を説明する図である。

以下、図面を参照して、本発明の一実施形態による照明光推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ｈは、被写体である。符号１は、デジタルカメラやスキャナ等の入力機器によって被写体Ｈをデジタルのカラー画像として取得する画像取得部である。符号２は、画像取得部１において取得した画像を入力する画像入力部である。符号３は、画像やデータを記憶する画像・データ記憶部であり、画像入力部２により入力した画像や、各処理で得られた画像や途中の処理結果のデータ等を記憶する。符号４は、画像・データ記憶部３に記憶されているＲ，Ｇ，Ｂ成分から構成されるカラー画像をモニタ９に出力することにより画像表示を行う画像出力部である。

符号５は、画像入力部２によって得られた画像を入力機器の特性を排除した色情報に変換し、画像・データ記憶部３に記憶する色情報変換部である。ここでいう色情報とは、ＣＩＥ（国際照明委員会）で規定されたＸＹＺ三刺激値とするが、機器特性に依存しない色空間で表現されたものであれば何でも構わない。符号６は、ＸＹＺ三刺激値で表現されている色情報を、Ｒ，Ｇ，Ｂの三成分からなるカラー画像に変換し、画像・データ記憶部３に記憶する画像変換部である。符号７は、画像・データ記憶部３に記憶されている色情報から照明光の色を推定し、その結果を出力する照明光推定部である。符号８は、照明光推定部７における処理結果を受け、所定の照明光下での色情報に変換し、画像・データ記憶部３に記憶する照明光変換部である。

符号７１は、色情報変換部５の処理により得られた色情報を画像・データ記憶部３から取得し、似た色をもつ色の群（クラスタ）を形成し、その結果を画像・データ記憶部３に記憶するクラスタ生成部である。符号７２は、クラスタ生成部７１において得られた結果に基づいて、画像中から色を選択して出力する色選択部である。符号７３は、色選択部７２において選択した色から平均色を算出して出力する平均計算部である。符号７４は、平均計算部７３において得られた平均色に基づいて、色選択部７２で選択された色の組み合わせが無彩色であるか否かを判定し、無彩色であると判定された場合には、平均の色を照明光の色として推定し、照明光変換部８へ出力し、無彩色と判定されない場合には、再度、色選択部７２の処理を繰り返し行う無彩色判定部である。

図１に示す画像入力部２、画像・データ記憶部３、画像出力部４、色情報変換部５、画像変換部６、照明光推定部７及び照明光変換部８は、パソコン等のコンピュータ装置によって構成する。

なお、前述した説明においては、画像が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三成分から構成されるものとして説明したが、ＨＳＶやＹＣｂＣｒ、ＣＩＥＬＡＢ等色空間の値を画素値とする画像であってもよい。

次に、図２を参照して、図１に示す照明光推定装置の処理動作を説明する。図２は、図１に示す照明光推定装置の処理動作を示すフローチャートである。まず、画像入力部２は、カラー画像を入力し、画像・データ記憶部３に記憶する（ステップＳ１）。

次に、色情報変換部５は、入力したカラー画像に対して入力機器での特性を取り除く処理を施して、入力機器での特性を取り除いたカラー画像に変換する（ステップＳ２）。入力機器の特性とは、式（１）に示す分光感度特性に対応するが、直接入手できない場合も多いのでその場合は、式（２）に示す関係式に基づいてγ係数と３×３の行列（α_ｉ，ｊ）を求めることで代用可能である。色情報変換部５は、以下の式（２）、（３）を用いてＲＧＢ画素値からＸＹＺ三刺激値を求めることにより色情報への変換を行う。

色情報への変換後、クラスタ生成部７１は、類似の色情報をもつ色を一つにまとめる（Ｓ３）ことによってクラスタを生成する（ステップＳ３）。ｘｙ色度図上で色情報からクラスタを生成する様子を図３に示す。図３では、各色情報は「・」で示し、黒体放射軌跡を破線で示す。黒体放射軌跡とは、温度に応じて黒体から放射されるエネルギー（プランクの方程式で表される）を色度に変換したものである。自然光の分光特性は黒体の分光特性で近似できることが知られており、以下、照明光の色は黒体放射軌跡上に限定されると仮定する。クラスタ生成部７１におけるクラスタ生成では、黒体放射軌跡（破線）をはさんで上部、下部にある色を別なクラスタに分類する。また、図３では、ｘｙ色度図上でクラスタ生成する様子を示しているが、色の三属性を表すＨＳＶ空間におけるＨＳ平面（色相と彩度からなる平面）や、均等色空間のｕ’ｖ’色度図上であっても構わない。

次に、照明光推定部７が色選択から無彩色判定までを行う処理動作を説明する。まず、色選択部７２は、初期値とする色を一つ選択する（ステップＳ４）。最初に選択する色は、乱数で決めても構わないし、最も輝度の高い色や彩度の高い色としても構わない。その後、色選択部７２は、最初に選択した色と黒体放射軌跡をはさんで反対側のクラスタから次の色を選択する（ステップＳ５）。反対側のクラスタから次の色を選択するとは、例えば、最初の色が図３に符号Ａで示すクラスタから選択された場合は、次の色を符号Ｄで示すクラスタから選択することを意味する。最初の色が符号Ｃのクラスタの場合には次の色を符号Ｂのクラスタから選択する。

このように、黒体放射軌跡は照明光の色の範囲、すなわち、無彩色のとりうる範囲に対応するので、色情報は照明光の色を中心に同心円状に分布する。黒体放射軌跡をはさんで両側の色は反対色の関係にあり、それらの平均は無彩色になる可能性があることを利用し、このような色選択を行う。色選択部７２により選択された色に対し平均計算部７３は、平均の色を計算する（ステップＳ６）。平均はＸＹＺ三刺激値の平均値を色度座標に変換して求める（式（４）、（５））が、ｘｙ色度の平均を求めても構わない。ここで、各Ｘｉ、Ｙｉ、Ｚｉはｉ番目に選択した色に対応するＸＹＺ三刺激値である。

次に、無彩色判定部７４は、平均計算部７３において得られた平均値の結果より、選択した複数の色の平均が灰色仮説を満たすか否かを判定する（ステップＳ７）。式（６）、（７）に具体的な判定式を示す。

一つめの判定式は、選択した色の平均（Ｐ_ｋ）が黒体放射軌跡の近傍にあるか否かを判定するものであり、ｄｉｓ（）が黒体放射軌跡Ｌと選択した色の平均Ｐ_ｋとの距離を表す。ｔｈ_１は閾値である。二つめの判定式は、平均の色のばらつきが小さくなることを示すものであり、平均値の標準偏差の差が閾値ｔｈ_２より小さくなることを条件とする。この二つの判定条件の両方を満足する場合に、選択された複数の色が灰色仮説を満たす、即ち、平均が灰色であると見なせると判定する。もし、この二つの条件のうち一つでも満たさない場合には灰色仮説が成立しないと判定し、再度、次の色選択（ステップＳ５）に戻り、処理を続ける。色を選択する際には、平均の色に近いクラスタを求め、黒体放射軌跡をはさんで反対側にあるクラスタから次の色を選択する。

この処理動作により選択された色の平均が無彩色であると判定された場合、照明光変換部８は、照明光推定部７において得られた平均値を照明光の色とし、式（８）にしたがって所定の照明光下の色情報に変換する（ステップＳ８）。￣ｘ，￣ｙ（￣はそれぞれｘ、ｙの頭に付く）は、推定照明光の色度、ｘ’，ｙ’は事前に決められた照明光の色度であり、例えば、白色光源や昼光、Ｄ６５光源等の標準で用いられる照明光の色度とする。Ｘ，Ｙ，Ｚは色情報変換部５において得られた入力画像の色情報であり、Ｘ’，Ｙ’，Ｚ’は、照明光変換後の色情報である。

最後に、画像変換部６は、式（２）、（３）に基づいて出力機器の特性に応じた変換行列およびγ係数を色情報に適用することによってカラー画像に変換し（ステップＳ９）、画像出力部４によりモニタ９にカラー画像を出力する（ステップＳ１０）。

なお、前述した説明においては、図２に示すステップＳ４における初期値の選択後、ステップＳ７の無彩色判定まで色選択を繰り返すことによって照明光推定を行う処理について説明したが、初期値の選択依存性を減らすため、複数の初期値での照明光推定結果を求め、それらの平均を推定照明光として求めてもよい。

以上説明したように、照明光色が未知の画像から、画像中の色分布の影響を受けることなく照明光の色を正しく推定し、所定の照明光の下での画像に変換することが可能となる。また、所定の照明光が白色である場合は、被写体の色からなる画像が得られる。本発明では、画像中に無彩色領域が存在しない場合であっても複数の色を組み合わせることにより無彩色を生成できるため、既存手法よりも精度よく照明光の色を推定することができる。また、黒体放射軌跡をはさんで反対色となるように色を選択することによって、少ない色数で照明光推定が可能となる。

なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより照明光推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

カメラ等の入力機器で得られた画像の照明光の色を推定し、所定の照明光下の画像に変換することが不可欠な用途に適用できる。

Ｈ…被写体、１…画像取得部、２…画像入力部、３…画像・データ記憶部、４…画像出力部、５…色情報変換部、６…画像変換部、７…照明光推定部、８…照明光変換部、９…モニタ、７１…クラスタ生成部、７２…色選択部、７３…平均計算部、７４…無彩色判定部

Claims (4)

1. 照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置であって、
   入力した画像から入力機器の特性を除去した色情報に変換する色情報変換部と、
   前記色情報から照明光の色を推定する照明光推定部と、
   前記照明光推定部で得られた推定結果を用いて所定の照明光下の画像に変換する照明光変換部と
   を備えたことを特徴とする照明光推定装置。
2. 前記照明光推定部は、
   類似の色情報をもつ色を一つのクラスタにまとめてクラスタを生成するクラスタ生成部と、
   前記クラスタの生成結果に基づいて色を選択する色選択部と、
   前記色選択部によって選択された色の平均を求める平均計算部と、
   前記平均計算部の結果に基づいて、前記色選択部で選択された色の平均が無彩色であるか否かを判定する無彩色判定部と
   から構成することを特徴とする請求項１に記載の照明光推定装置。
3. 照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置における照明光推定方法であって、
   画像を入力する画像入力ステップと、
   前記画像入力ステップによって得られた前記画像から入力機器の特性を除去した色情報に変換する色情報変換ステップと、
   前記色情報変換ステップによって得られた前記色情報に対し、類似の色情報をもつ色を一つのクラスタとしてまとめてクラスタを生成するクラスタ生成ステップと、
   前記色情報変換ステップにより得られた前記色情報から、１種類の色を選択するとともに、選択された色が属するクラスタに対し、反対色に対応するクラスタから色を選択する色選択ステップと、
   前記色選択ステップによって選択された色の平均を計算する平均計算ステップと、
   前記平均計算ステップの結果に基づいて、色選択ステップにより選択された色の平均が無彩色であるか否かを判定する無彩色判定ステップと、
   前記無彩色判定ステップにおいて無彩色と判定された場合には、前記平均計算ステップにおける平均値を照明光の色とし、所定の照明光下の色情報に変換する照明光変換ステップと
   を有することを特徴とする照明光推定方法。
4. 照明光色が未知の画像から照明光の影響を除去した画像を生成する照明光推定装置上のコンピュータに照明光推定処理を行わせる照明光推定プログラムであって、
   画像を入力する画像入力ステップと、
   前記画像入力ステップによって得られた前記画像から入力機器の特性を除去した色情報に変換する色情報変換ステップと、
   前記色情報変換ステップによって得られた前記色情報に対し、類似の色情報をもつ色を一つのクラスタとしてまとめてクラスタを生成するクラスタ生成ステップと、
   前記色情報変換ステップにより得られた前記色情報から、１種類の色を選択するとともに、選択された色が属するクラスタに対し、反対色に対応するクラスタから色を選択する色選択ステップと、
   前記色選択ステップによって選択された色の平均を計算する平均計算ステップと、
   前記平均計算ステップの結果に基づいて、色選択ステップにより選択された色の平均が無彩色であるか否かを判定する無彩色判定ステップと、
   前記無彩色判定ステップにおいて無彩色と判定された場合には、前記平均計算ステップにおける平均値を照明光の色とし、所定の照明光下の色情報に変換する照明光変換ステップと
   を前記コンピュータに行わせることを特徴とする照明光推定プログラム。

Images