JP2016086280A - 色変換パラメータ選択装置および色変換パラメータ選択方法 - Google Patents

Abstract

【課題】ユーザのプロファイル選択作業が発生したり、意図しないカラープロファイルを選択してしまうことがある。【解決手段】所定の被写体を予め光源毎に撮像して得られた光源別の画素値を取得する。被写体を撮像した画像データを入力する。そして、入力した画像データに含まれる被写体に対応する領域の画素の画素値と取得した光源別の画素値との差分が最小となる光源を決定する。決定した光源に対応する色変換パラメータを選択する。【選択図】図２

Description

本発明は、撮像画像の色変換を行うための技術に関する。

デジタル一眼レフカメラやデジタルシネマカメラでは、シーンによらず同じ色調で撮像することを可能にするホワイトバランス機能が備えられている。ホワイトバランス機能を実現するために、例えば、太陽光、曇天、日陰、白熱灯、蛍光灯などのカラープロファイルが用意されていることが多い。基本的に、使用するカラープロファイルをこれらのプリセットされたカラープロファイルにセットすると、それぞれの光源下にて白を白として撮像することができるようになる。このようなプリセットされたカラープロファイルを用いるワークフローの一例として、デジタルシネマカメラのＲＧＢデータをデジタルシネマの色空間であるＡＣＥＳ色空間に変換する処理がある。この処理では光源や撮像ＩＳＯ感度毎に被写体の色温度を所望のホワイトバランスに変換するためのカラープロファイル（ＩＤＴプロファイル）が用意されている。そして、色変換に適したＩＤＴ（Input Device Transform）プロファイルをユーザが直接選択することが行なわれている。

ＩＤＴプロファイルは撮像光源や撮像ＩＳＯ感度に応じて多数用意されていることがある。ユーザ環境によってはカラープロファイル名が類似している場合や、色変換結果が類似している場合があり、ユーザの操作により不適切なカラープロファイルが選択されるという問題が発生することがある。また、対応するカラープロファイルが用意されていない場合、既存のカラープロファイルの中から所望の色変換に近いものを選択し色変換を行う必要が発生する。このようなカラープロファイルの選択作業には、ワークフローならびにカラーマネジメントに関する深い知識と熟練度の高い主観判断が要求されるため、ユーザにとって負荷が大きい。

このような問題を解決するため、あらかじめプリセットされた複数のカラープロファイルの中から、最も適したカラープロファイルを自動選択する技術が特許文献１に開示されている。特許文献１は、色特性が不明な用紙の分光反射特性から算出される特徴量に基づいて、予め登録された複数の既登録用紙のうち、色再現特性が最も近いカラープロファイルを自動抽出する技術を開示している。

特開２０１２−１６９８６６号公報

しかしながら、特許文献１の技術をカメラの撮影シーンに適用して撮影シーンの分光反射特性のみからカラープロファイルを選択すると、ユーザの意図しない色変換となる場合がある。

本発明に係る色変換パラメータ選択装置は、所定の被写体を予め光源毎に撮像して得られた光源別の画素値を記憶する画素値記憶手段から光源別の画素値を取得する取得手段と、前記被写体を撮像した画像データを入力する画像データ入力手段と、前記画像データに含まれる前記被写体に対応する領域の画素の画素値と前記取得した光源別の画素値との差分が最小となる光源を決定する決定手段と、前記決定した光源に対応する色変換パラメータを、光源別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択する選択手段とを有することを特徴とする。

本発明によれば、ユーザのプロファイル選択作業を削減し作業効率を高めるとともに、意図しないカラープロファイルの選択を防止することができる。

本発明の実施形態にかかる色変換処理装置の構成を示す図である。 第１の実施形態における色変換処理装置の論理構成を示すブロック図である。 第１の実施形態における色変換処理を示すフローチャート図である。 第１の実施形態における反射率が既知である被写体を光源毎に撮像しておいた画素値情報の一例を示す図である。 第１の実施形態における光源に対応する色変換パラメータの模式図である。 第１の実施形態における光源選択処理を示すフローチャート図である。 第２の実施形態における色変換処理装置の論理構成を示すブロック図である。 第２の実施形態における色変換処理を示すフローチャート図である。 第２の実施形態における光源選択処理を示すフローチャート図である。 第３の実施形態における色変換処理を示すフローチャート図である。 第３の実施形態における被写体の光源および撮像条件別画素値の一例を示す図である。 第３の実施形態における光源および撮像条件選択処理を示すフローチャート図である。 第４の実施形態における色変換処理装置の論理構成を示すブロック図である。 第４の実施形態における色変換処理を示すフローチャート図である。 第４の実施形態における光源に対応する色変換特性情報の模式図である。 第４の実施形態における画素値比較部の論理構成を示すブロック図である。 第４の実施形態における光源および撮像条件選択処理を示すフローチャート図である。

以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜＜第１の実施形態＞＞
＜システム構成例＞
図１は本実施形態における情報処理装置の構成図である。なお、以下で説明するように、本実施形態における情報処理装置は、色変換処理に用いるカラープロファイルを選択する色変換パラメータ選択装置であり、その後、選択したカラープロファイルを用いて色変換処理も行なうことができる。よって、以下では、情報処理装置を色変換処理装置として説明することにする。

色変換処理装置は、ＣＰＵ１０１、メインメモリ１０２、ＨＤＤ１０３、汎用インタフェース１０４、ディスプレイ１０５、メインバス１０６、キーボードやマウス等の指示入力部１０７、外部記憶装置１０８、カメラ１０９、測定器１１０を備える。汎用インタフェース１０４は、指示入力部１０７や外部記憶装置１０８などをメインバス１０６に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１は、指示入力部１０７に対するユーザの指示により、ＨＤＤ１０３や外部記憶装置１０８に格納されている色変換アプリケーションを起動する。そして、色変換アプリケーションをメインメモリ１０２に展開する。続いて、ＨＤＤ１０３や外部記憶装置１０８に格納されている各種データが、ＣＰＵ１０１からの指令に基づきメインバス１０６経由によりメインメモリ１０２に転送される。メインメモリ１０２に転送された各種データは、ＣＰＵ１０１からの指令により所定の演算処理が行われ、演算処理の結果がメインバス１０６経由によってディスプレイ１０５上に表示あるいは、ＨＤＤ１０３や外部記憶装置１０８に格納される。

次に、色変換アプリケーションが、画像データに適したカラープロファイルを自動で選択する処理について説明する。本実施形態のユースケースの例として、まずプレ撮像を行って得られた画像データを入力する。そして、その入力された画像データに適したカラープロファイルを自動で選択する。その後、選択されたカラープロファイルを用いてその場所で本撮像を行なう。以下の実施形態では、このプレ撮像を行なってカラープロファイルを自動で選択する処理を中心に説明を行なうものとする。なお、プレ撮像において入力する画像データは、各光源で撮像した際の画素値が既知である被写体を含むものとする。また、光源の一例として、太陽光やタングステン光をはじめ、ＣＩＥ（国際照明委員会）で定める標準光源や補助標準光源などのユーザが作業を行う光源が挙げられる。また、画素値が既知である被写体の一例として、色校正用のカラーチャートを用いるものとして説明を行う。なお、光源別に撮像した際の画素値が既知な被写体であればどのようなものでもよく、カラーチャートを用いなくても構わない。

図２は、本実施形態における色変換処理装置の論理構成を示す図である。なお前述の通り、本実施形態においては、色変換処理アプリケーションソフトウェアとして実現される。

図２において色変換処理装置は、画像データ入力部２０１、光源別画素値記憶部２０２、画素値比較部２０３、色変換部２０４、出力部２０５を有する。画像データ入力部２０１は、カメラ１０９で撮像した画像データを入力する。光源別画素値記憶部２０２は、予め分光反射率が既知である被写体を光源毎に撮像した場合の画素値が記憶されている。画素値比較部２０３では、光源別画素値記憶部２０２に記憶された画素値と入力された画像データのうち画素値が既知である被写体領域の画素値とを比較し差分が最小となる光源を選択する。色変換部２０４は、画素値比較部２０３で選択した光源から決定される、ＨＤＤ１０３や外部記憶装置１０８に記憶されたカラープロファイル（色変換パラメータ）を用いて画像データの色変換を行う。つまり、ＨＤＤ１０３や外部記憶装置１０８は色変換パラメータ記憶部として機能し、色変換パラメータ部には後述するように光源毎の色変換パラメータが記憶されている。出力部２０５では、選択されたカラープロファイルを用いた色変換結果を出力し、ＨＤＤ１０３や外部記憶装置１０８にデータを保存する。

＜色変換処理動作＞
図３は色変換アプリケーションにて実行される色変換処理のフローチャートである。ステップＳ３０１で画素値比較部２０３は、画像データ入力部２０１に入力された画像データを取得する。入力される画像データは、光源別画素値記憶部２０２に記憶されている画素値の元となる被写体と同じ被写体を含む画像データである。

ステップＳ３０２で画素値比較部２０３は、予め分光反射率が既知である被写体を光源毎に撮像した場合の画素値を光源別画素値記憶部２０２から取得する。光源別画素値記憶部２０２に記憶されたデータの例を図４に示す。本実施形態では、ＲＧＢの各画素値を記憶しているものとする。図４に示すように、左から光源番号，Ｒ画素値、Ｇ画素値、Ｂ画素値の順に表記されている。

ステップＳ３０３で画素値比較部２０３は、ステップＳ３０２で取得した光源別の画素値とステップＳ３０１で取得した画像データの画素値との差分が最小となる光源を選択する。この処理の詳細については後述する。

ステップＳ３０４で色変換部２０４は、ステップＳ３０３で選択された光源に対応するカラープロファイルを決定する。ＨＤＤ１０３や外部記憶装置１０８に記憶されたカラープロファイルの例を図５に示す。色変換装置は、図５に示すような各光源に対応した複数のカラープロファイルを予めＨＤＤ１０３や外部記憶装置１０８に記憶している。図５に示すように、各カラープロファイルには、左から光源番号，γ値、マトリクスが表記されている。γ値やマトリクスを用いて色変換処理が行なわれる。ステップＳ３０４では、このような予め用意された複数のカラープロファイルの中から、ステップＳ３０３で選択された光源に対応するカラープロファイルを、色変換処理で用いるプロファイルとして決定する。なお、カラープロファイルに記載されている変換情報の一例として、ここではγと３ｘ３マトリクスを用いるものとするが、γの代わりに１ＤＬＵＴやゲインであっても構わないのは言うまでもない。また、３ｘ３マトリクスの代わりに定数項を用いる３ｘ４マトリクスや、多次項を用いたマトリクスであっても構わないのは言うまでもない。さらに３ＤＬＵＴを用いてもよい。

ステップＳ３０５で色変換部２０４は、ステップＳ３０１で取得した画像データとステップＳ３０４で取得したカラープロファイルとから色変換を行う。例えば、ステップＳ３０４で決定したプロファイルが適切なものかをディスプレイ１０５に出力された色変換された画像を見てユーザが確認する。なお、このステップＳ３０５の色変換処理は、上記で説明したプレ撮像の段階では行なわなくてもよい。

＜画素値比較部動作＞
次に、ステップＳ３０３の画素値の差分が最小となる光源を決定する処理の詳細について説明する。図６はステップＳ３０３で実行する処理のフローチャートである。

ステップＳ６０１で画素値比較部２０３は、画像データ入力部２０１に入力された画像データの被写体領域における画素の画素値を取得するとともに、光源の番号を表す変数ｉに０を設定する。また、後述の処理に用いる閾値Ｔの初期値に６５５３５を設定する。なお、閾値Ｔの初期値は一例であり、十分大きい値であればよく別の値であっても良い。本実施形態では、カラーチャートのうちの特定の色の領域を被写体として扱うものとする。また、画素値比較部２０３は、入力された画像データのうち、被写体の領域を抽出し、被写体領域における画素の画素値を抽出する。被写体領域の抽出は、ユーザによって指示入力部１０７を介して行なわれてもよいし、光源別画素値記憶部２０２に記憶されている画素値の元となる被写体との間でブロックマッチングなどを行い抽出してもよい。

ステップＳ６０２で画素値比較部２０３は、ｉ（ｉ＝０〜Ｎ）番目の光源に対応する画素値を光源別画素値記憶部２０２から取得する。

ステップＳ６０３で画素値比較部２０３は、光源別画素値記憶部２０２から取得したｉ番目の光源に対応する画素値とステップＳ６０１で取得した画像データの画素値とを比較し評価値を算出する。評価値は、例えば式１から求めることができる。式１において、評価値をＥ、ｉ番目の光源に対応する被写体の画素値をそれぞれＲ_ｉ、Ｇ_ｉ、Ｂ_ｉ、画像データの画素値をそれぞれＲ、Ｇ、Ｂとする。

ステップＳ６０４で画素値比較部２０３は、ステップＳ６０３で算出した評価値Ｅと閾値Ｔとを比較し、評価値Ｅが閾値Ｔより小さければステップＳ６０５へ、そうでなければステップＳ６０６へ進む。

ステップＳ６０５で画素値比較部２０３は、式２で示すように、閾値Ｔを評価値Ｅで置き換えるとともに、差分が最小となる光源を表す番号ｌに現在の処理対象の光源を表すｉを設定する。

ステップＳ６０６で画素値比較部２０３は、全ての光源に対応する被写体の画素値と画像データの画素値とを比較したかを判定する。すなわち、ｉ＝Ｎであるかを判定する。全ての光源に対応する画素値と画像データの比較を行っていれば終了に関する動作を行い、そうでなければ光源を表す変数ｉに１を加えてステップＳ６０２へジャンプする。図６の処理が終了した場合における光源lが差分が最小となる光源として選択される。

なお、本実施形態では、ステップＳ３０３及び図６では、ある特定の画素に対する画素値を比較する例を挙げて説明したが、複数の画素に対して同様の処理を行ない、差分が最小となる光源を求めても良い。例えば、カラーチャートのうちの複数の色の画素について図６に示す処理を繰り返し行ない、選択された光源の回数が最も多い光源をカラープロファイルの選択に用いても良い。

本実施形態によれば、プレ撮像前に予め分光反射率が既知である被写体を光源毎に撮像した場合の画素値とプレ撮像時の画像データの被写体領域の画素値とを比較して、差分が最小となる光源を自動選択してカラープロファイルを決定する。本撮像では、この決定したカラープロファイルを用いて色変換を行う。これにより、ユーザのプロファイル選択作業を削減し作業効率を高めるとともに、適切なカラープロファイルを選択することが可能になる。また、本実施形態によれば、予め光源毎に撮像した画素値との差分に基づいて処理を行なっているので、全く同じ光源のカラープロファイルがない場合であっても、類似した光源のカラープロファイルを選択することが可能となる。

＜＜第２の実施形態＞＞
第１の実施形態では、プレ撮像前に予め分光反射率が既知である被写体を光源毎に撮像した場合の画素値を用いてカラープロファイルを決定する処理について説明した。しかしながら、第１の実施形態の方法では、プレ撮像前に予め反射率が既知である被写体を光源毎に撮像した場合の画素値が用意されていない場合、差分が最小となる光源を自動選択することができない。以下では、プレ撮像前に予め光源に対応した画素値が用意されていない場合において、差分が最小となる光源を自動選択し、選択した光源に対応するカラープロファイルを決定する処理について説明する。なお、説明を簡単にするために、第１の実施形態と異なる部分のみ説明する。

本実施形態では、入力する画像データ内の少なくとも一部の被写体について、ＨＤＤ１０３や外部記憶装置１０８に分光反射率を保持するか、測定器１１０から分光反射率を取得するものとする。

図７は、本実施形態における色変換処理装置の論理構成を示す図である。なお前述の通り、本実施形態においては、色変換処理アプリケーションソフトウェアとして実現される。

図７において色変換処理装置は、被写体分光反射率入力部７０１、分光特性記憶部７０２、画素値算出部７０３、画像データ入力部７０４、画素値比較部７０５、色変換部７０６、出力部７０７を有する。

被写体分光反射率入力部７０１は、ＨＤＤ１０３や外部記憶装置１０８に保持された被写体の分光反射率データか、測定器１１０にて測定した被写体の分光反射率データを入力する。画像データ入力部７０４は、この分光反射率データが保持されている被写体と同じ被写体をカメラ１０９で撮像した画像データを入力する。

分光特性記憶部７０２にはカメラ１０９のカラーフィルタの分光透過率及び前述の様々な光源に対応する分光分布データなどの分光特性データが記憶されている。

画素値算出部７０３は、被写体分光反射率入力部７０１より入力される被写体の分光反射率データと、分光特性記憶部７０２に記憶された分光特性データとから、被写体を各光源の下で撮像した際に取得される理想的な画素値である理想画素値を算出する。

画素値比較部７０５は、算出した理想画素値と入力された画像データの被写体領域の画素値とを比較し差分が最小となる光源を選択する。色変換部７０６や出力部７０７は、図２の色変換部２０４と出力部２０５と同様である。

＜色変換アプリケーションにおける動作＞
図８は第２の実施形態での色変換アプリケーションにて実行される処理のフローチャートである。

ステップＳ８０１で画素値比較部７０５は、画像データ入力部７０４に入力された画像データを取得する。入力される画像データは、被写体分光反射率入力部７０１より分光反射率データが入力される処理対象の被写体と同じ被写体を含む画像データである。また、画素値比較部２０３は、入力された画像データのうち、被写体の領域を抽出し、被写体領域における画素の画素値を抽出する。

ステップＳ８０２で画素値算出部７０３は、各光源の下で処理対象の被写体を撮像した際に取得される理想画素値を算出する。ここで、理想画素値とは、被写体分光反射率入力部７０１より入力される被写体の分光反射率と、分光特性記憶部７０２に記憶された分光特性データの組み合わせにおいて、各光源で撮像した場合に記憶されるシミュレーション画素値である。

ステップＳ８０３で画素値比較部７０５は、ステップＳ８０２で算出した理想画素値と画像データ入力部７０４から入力された画像データの被写体領域の画素値とを比較し、差分が最小となる光源を選択する。ステップＳ８０２の処理は、対象が理想画素値であるか光源別画素値記憶部２０２に記憶されている光源別画素値かが違うのみであり、その他の処理はステップＳ３０３で説明したものと同様である。また、ステップＳ８０４のプロファイル決定処理と、ステップＳ８０５の色変換処理は、図３のステップＳ３０４とステップＳ３０５で説明したものと同様である。

＜理想画素値算出動作＞
図９は第２の実施形態でのステップＳ８０２にて実行される理想画素値算出処理のフローチャートである。

ステップＳ９０１で画素値算出部７０３は、処理対象の被写体の分光反射率データを取得する。また、光源情報の番号を表す変数ｉに０を設定する。ステップＳ９０２で画素値算出部７０３は、カメラのカラーフィルタの分光特性を取得する。

ステップＳ９０３で画素値算出部７０３は、ｉ番目の光源に対応する分光特性を取得する。ステップＳ９０４で画素値算出部７０３は、ステップＳ９０１で取得した分光反射率とステップＳ９０２で取得したカメラのカラーフィルタの分光特性と、ステップＳ９０３で取得した光源の分光特性とから理想画素値を算出する。すなわち、ｉ番目の光源下で撮像した場合の理想画素値Ｒ_ｉＧ_ｉＢ_ｉを式３より算出する。ここで、分光反射率をＲ（λ）、カラーフィルタの分光特性をＴ（λ）、光源の分光特性をＳ（λ）、Ｋを定数とする。

ステップＳ９０５で画素値算出部７０３は、全ての光源に対応する理想画素値を算出したかを判定し、全ての光源に対して行っていれば終了に関する処理を行い、そうでなければ光源の番号を表す変数ｉに１を加えてステップＳ９０３へジャンプする。このように処理を繰り返すことで、実際の各光源下で撮像して得られた画素値ではないものの、分光特性データに基づいて各光源下での理想画素値を算出することができる。そして、このように算出した理想画素値を第１の実施形態の光源別画素値の代わりに用いても、第１の実施形態と同様の効果を得ることができる。

すなわち、本実施形態によれば、被写体の分光反射率とカメラのカラーフィルタの分光特性と光源の分光特性とから、光源各々の下で撮像した際に取得される理想画素値を算出する。さらに、理想画素値とカメラで撮像したデータの画素値とを比較することによりその撮像場所の光源に最も近い光源を自動選択し、選択した光源に対応するカラープロファイルを決定することができる。これにより、あらかじめ光源各々の下で撮像した際に取得される画素値が用意されていない場合であっても、ユーザのプロファイル選択作業を削減し作業効率を高めるとともに、常に適切なカラープロファイルを選択することが可能になる。

＜＜第３の実施形態＞＞
近年、デジタルシネマカメラでは、広い露光範囲の撮像とデータ量の削減を両立するため、リニア特性の撮像データではなくｌоｇ特性を用いた撮像データの記録が普及している。このような撮像データに対しては、あらかじめｌоｇ特性をキャンセルしてリニア特性に変換してから現像処理が行われる。しかしながら、ｌоｇ特性のキャンセルを行なう場合、ＩＳО感度等の撮像条件ごとにパラメータが異なっていることがある。すなわち、ｌｏｇ特性からリニア特性への変換は撮像条件に依存することがある。そのため、ユーザは撮像データの現像の際に、光源だけでなく撮像条件の両方に対応したカラープロファイルを選択する必要がある。本実施形態では、このように光源及び撮像条件の両方に対応したカラープロファイルを選択する処理に関するものである。

以下では、光源ならびに撮像条件の両方に対応したカラープロファイルを自動選択する方法について説明する。なお、説明を簡単にするために、第１の実施形態と異なる部分のみ説明する。

＜色変換アプリケーションにおける動作＞
図１０は色変換アプリケーションにて実行される処理のフローチャートである。

ステップＳ１００１で画素値比較部２０３は、画像データ入力部２０１に入力された画像データを取得する。第３の実施形態において入力される画像データも、第１の実施形態と同様に光源別画素値記憶部２０２に記憶されている画素値の元となる被写体と同じ被写体を含む画像データである。この画像データ入力部２０１に入力された画像データは、前述のようにｌｏｇ特性をキャンセルしてリニア特性に変換された画像データである。撮像データにはその撮像時の撮像条件を記録したメタデータが付加されており、このメタデータから得られる撮像条件を用いてｌｏｇ特性のキャンセルが行なわれているものとする。

ステップＳ１００２で画素値比較部２０３は、被写体の光源および撮像条件別画素値を光源別画素値記憶部２０２から取得する。図１１は、光源別画素値記憶部２０２に記憶されている被写体の画素値の例を示す図である。図１１に示すように、左から光源番号，撮像条件、Ｒ画素値、Ｇ画素値、Ｂ画素値の順に記憶されている。本実施形態では、このように処理対象の被写体の光源および撮像条件別の画素値が予め光源別画素値記憶部２０２に記憶されている。これらの画素値はリニア特性の画素値である。なお、図１１では撮像条件の一例として露光量に対応するＩＳＯ感度を用いる例を示しているが、シャッタースピード、絞り値等、撮像条件を示すものであればよい。

ステップＳ１００３で画素値比較部２０３は、ステップＳ１００２で取得した被写体の光源および撮像条件別画素値とステップＳ１００１で取得した画像データの画素値とを比較し差分が最小となる光源および撮像条件を決定する。

ステップＳ１００４で画素値比較部２０３は、ステップＳ１００３で決定した、差分が最小となる光源および撮像条件に対応するカラープロファイルを決定する。ステップＳ１００５の色変換処理は、第１の実施形態で説明したものと同様である。

＜画素値比較部動作＞
図１２はステップＳ１００３で実行する差分が最小となる光源および撮像条件を決定する処理のフローチャートである。

ステップＳ１２０１で画素値比較部２０３は、画像データ入力部２０１に入力された画像データのうち、被写体の領域を抽出し、被写体領域における画素の画素値を取得するとともに、光源の番号を表す変数ｉに０を設定する。また、撮像条件を表す変数ｊに０を設定する。また、後述の処理に用いる閾値Ｔの初期値に６５５３５を設定する。

ステップＳ１２０２で画素値比較部２０３は、ｉ（ｉ＝０〜Ｎ）番目の光源のうち、撮像条件ｊ（ｊ＝０〜Ｍ）に対応する被写体の画素値を光源別画素値記憶部２０２から取得する。

ステップＳ１２０３で画素値比較部２０３は、ｉ番目の光源かつ撮像条件ｊに対応する被写体の画素値と画像データの画素値とを比較し式４から評価値を算出する。式４において、評価値をＥ、ｉ番目の光源かつ撮像条件ｊに対応する被写体の画素値Ｒ_ｉｊＧ_ｉｊＢ_ｉｊ、画像データの画素値をＲＧＢとする。

ステップＳ１２０４で画素値比較部２０３は、ステップＳ１２０３で算出した評価値Ｅと閾値Ｔとを比較し、評価値Ｅが閾値Ｔより小さければステップＳ１２０５へ、そうでなければステップＳ１２０６へ進む。

ステップＳ１２０５で画素値比較部２０３は、閾値Ｔを評価値Ｅで置き換えるとともに、差分が最小となる光源を表す変数ｋおよび撮像条件を表す変数ｍの各々に、光源ｉと撮像条件ｊを設定する。

ステップＳ１２０６で画素値比較部２０３は、ｉ番目の光源における全ての撮像条件に対する被写体の画素値と画像データの画素値とを比較したかを判定する。すなわち、ｊ＝Ｍかを判定する。全ての撮像条件に対して比較を行っていればステップＳ１２０７へ、そうでなければ撮像条件を表す変数ｊに１を加えてステップＳ１２０２へジャンプする。

ステップＳ１２０７で画素値比較部２０３は、全ての光源に対する被写体の画素値と画像データの画素値とを比較したかを判定する。すなわち、ｉ＝Ｎであるかを判定する。全ての光源に対して比較を行っていれば終了に関する動作を行い、そうでなければ光源を表す変数ｉに１を加えてステップＳ１２０２へジャンプする。

本実施形態によれば、予め記憶されている、各光源および各撮像条件の下で撮像した際の画素値と画像データとを比較して、差分が最小となる光源および撮像条件を自動選択し、選択した光源および撮像条件に対応するカラープロファイルを用いて色変換を行う。これにより、ユーザのプロファイル選択作業を削減し作業効率を高めるとともに、適切なカラープロファイルを選択することが可能になる。

＜＜第４の実施形態＞＞
第３の実施形態の処理は、各光源および各撮像条件で撮像した画素値が予め用意されていることを前提とした処理である。第４の実施形態においては、予め各光源および各撮像条件に撮像した画素値が用意されていない場合において、適切なカラープロファイルを決定する処理について説明する。なお、説明を簡単にするために、第３の実施形態と異なる部分のみ説明する。

第３の実施形態では、入力する画像データ内の少なくとも一部の被写体について、ＨＤＤ１０３や外部記憶装置１０８に分光反射率を保持するか、測定器１１０にて分光反射率を測定するものとする。

図１３は、本実施形態における色変換処理装置の論理構成を示す図である。なお前述の通り、本実施形態においては、色変換処理アプリケーションソフトウェアとして実現される。

図１３において色変換処理装置は、被写体分光反射率入力部７０１、分光特性記憶部７０２、画素値算出部７０３、画像データ入力部７０４、色特性比較部１３０１、色変換部７０６、出力部７０７を有する。図１３の構成では、色特性比較部１３０１以外の構成は、第２の実施形態で説明したものと同様の構成である。

＜色変換アプリケーションにおける動作＞
図１４は第４の実施形態での色変換アプリケーションにて実行される処理のフローチャートである。ステップＳ１４０１で色特性比較部１３０１は、画像データ入力部７０４に入力された画像データを取得する。

ステップＳ１４０２で色特性比較部１３０１は、式３及び式５から各光源下における理想画素値を算出する。なお、式５の計算は式３の計算が行われた後に行う。ここで、α、β、γおよびＫ、Ｌ、Ｍは各々撮像条件毎に設定される値であり、画像データ入力部７０４に入力された画像データを撮像した際のメタデータをＨＤＤ１０３や外部記憶装置１０８から取得することで設定される。

ステップＳ１４０３で色特性比較部１３０１は、最も近い色再現特性を有する光源を選択し、さらにゲインを算出する。なお、ゲインとは、ステップＳ１４０２で算出される理想画素値と画像データ入力部７０４から入力される画素値との比を表す。

ステップＳ１４０４で色特性比較部１３０１は、差分が最小となる光源とゲインとに対応するプロファイルを取得する。ＨＤＤ１０３や外部記憶装置１０８に記憶されたプロファイル情報の例を図１５に示す。図１５に示すように、左から光源番号，ゲイン、γ値、マトリクス順に表記されている。

ステップＳ１４０５で色変換部７０６は、ステップＳ１４０１で取得した画像とステップＳ１４０４で取得したプロファイルから色変換を行う。

＜色特性比較＞
図１６は、本実施形態における色特性比較部１３０１の論理構成を示す図である。図１６において、色特性比較部１３０１は、理想画素値入力部１６０１、画像データ入力部１６０２、カラーバランス算出部１６０３、カラーバランス比較部１６０４、ゲイン算出部１６０５、出力部１６０６を有する。理想画素値入力部１６０１から入力される理想画素値と画像データ入力部１６０２から入力される画像データの画素値とはカラーバランス算出部１６０３に入力される。カラーバランス算出部１６０３では入力された理想画素値のカラーバランスと画像データの画素値のカラーバランスとをそれぞれ算出する。カラーバランス比較部１６０４では理想画素値と画像データの画素値とのカラーバランスの差分が最小となる光源を決定する。ゲイン算出部１６０５では理想画素値と画像データの画素値とからゲインを算出する。出力部１６０６は、最も近い色再現特性を有する光源とゲインを出力する。なお、本実施形態では、全ての撮像条件を網羅したデータを予め持つようなことは想定していない。従って、実施形態３で説明したような画素値での比較をする代わりに、ＲＧＢのカラーバランスを比較して、近いものを選択する処理を採用している。

図１７は本実施形態での色特性比較部１３０１における色特性比較にて実行される処理のフローチャートである。

ステップＳ１７０１で色特性比較部１３０１は、理想画素値入力部１６０１から入力された理想画素値と画像データ入力部１６０２から入力された画像データの画素値とを取得するとともに、光源情報の番号を表す変数ｉに０を設定する。また、後述の処理に用いる閾値Ｔの初期値に６５５３５を設定する。

ステップＳ１７０２で色特性比較部１３０１は、理想画素値のカラーバランスと画像データの画素値のカラーバランスとを式６のようにそれぞれ算出する。なお、理想画素値Ｒ_refＧ_refＢ_refのカラーバランスをｒ_refｇ_refｂ_ref、画像データＲ_picＧ_picＢ_picの画素値のカラーバランスをｒ_picｇ_picｂ_picとする。

ステップＳ１７０３で色特性比較部１３０１は、ｉ番目の光源情報に対応する理想画素値のカラーバランスｒ_refｇ_refｂ_refと画像データの画素値のカラーバランスｒ_picｇ_picｂ_picとを比較し式７から評価値を算出する。このとき、評価値をＥとする。

ステップＳ１７０４で色特性比較部１３０１は、ステップＳ１７０３で算出した評価値Ｅと閾値Ｔとを比較し、評価値Ｅが閾値Ｔより小さければステップＳ１７０５へ、そうでなければステップＳ１７０６へ進む。

ステップＳ１７０５で色特性比較部１３０１は、閾値Ｔを評価値Ｅで置き換えるとともに、最も近い色再現特性を有する光源を表す番号ｊに光源情報を表すｉを設定する。

ステップＳ１７０６で色特性比較部１３０１は、全ての光源の情報に対する被写体の理想画素値と画像データのカラーバランスを比較したかを判定する。全ての光源に対して比較を行っていればステップＳ１７０７へ進み、そうでなければ光源を表す変数ｉに１を加えてステップＳ１７０２へジャンプする。

ステップＳ１７０７で色特性比較部１３０１は、式８からゲイン値Ｖ_gain演算を行う。

本実施形態によれば、被写体の分光反射率とカメラのカラーフィルタの分光特性と光源の分光特性とから、各光源の下で撮像した際の理想画素値を算出する。次に、理想画素値と画像データの画素値のカラーバランスとを比較して、最も近い色再現特性を有する光源情報を選択する。さらに、理想画素値と撮像データとの比からゲインを算出し、最も近い撮像条件を選択する。最後に選択した光源および撮像条件に対応したプロファイルを用いて色変換を行う。これにより、あらかじめ光源に対応した画素値光源毎に撮像した際の画素値が用意されていない場合であっても、ユーザのプロファイル選択作業を削減し作業効率を高めるとともに、適切なカラープロファイルを選択することが可能になる。

＜他の実施形態＞
また、前記実施形態においては、光源別画素値と撮像画素値の比較、あるいは光源下での理想画素値と撮像画素値の比較においてRGB色空間上の値で評価値を算出していた。しかしながら、例えば、CIEXYZ空間や、CIELAB空間やCIELUV空間やCIECAM97、CIECAM02空間等の値に変換しても良いことは言うまでもない。また、この際の評価値Ｅの一例として、変換後の色空間におけるユークリッド距離やマハラノビス距離を用いても構わない。また、色度成分の差を用いても構わない。例えばCIEXYZ空間ではΔxy、CIELAB空間ではΔabが相当する。

また、実施形態４において、撮像条件を表す値としてゲインを用いたが、撮像条件情報の少なくとも一つをパラメータとしても構わない。例えば、ＩＳＯ感度やシャッタースピードや絞り値の何れか一つを用いても良い。また、ゲインと撮像条件の関係として、適正露出のＩＳＯ感度をＳ_ref、シャッタースピードをＴ_ref、絞りをＦ_refとすると、少なくとも一つをパラメータとして用いる場合、各パラメータは次のように算出される。

なお、ＩＳＯ感度やシャッタースピードや絞り値のうちいずれが該当するかは、撮像データにおけるメタデータから参照しても構わない。

また、前記実施形態では、色変換アプリケーションを例に説明したが、例えば、カメラやのＲＡＷ現像機能としてデバイスに組み込むようにしても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するコンピュータ読取り可能なソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

２０１ 画像データ入力部
２０２ 光源別画素値記憶部
２０３ 画素値比較部
２０４ 色変換部
２０５ 出力部

Claims (8)

1. 所定の被写体を予め光源毎に撮像して得られた光源別の画素値を記憶する画素値記憶手段から光源別の画素値を取得する取得手段と、
   前記被写体を撮像した画像データを入力する画像データ入力手段と、
   前記画像データに含まれる前記被写体に対応する領域の画素の画素値と前記取得した光源別の画素値との差分が最小となる光源を決定する決定手段と、
   前記決定した光源に対応する色変換パラメータを、光源別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択する選択手段と
   を有することを特徴とする色変換パラメータ選択装置。
2. 前記取得手段は、光源別でありかつ撮像条件別の画素値を記憶する前記画素値記憶手段から、前記光源別でありかつ撮像条件別の画素値を取得し、
   前記決定手段は、前記画像データに含まれる前記被写体に対応する領域の画素の画素値と前記光源別でありかつ撮像条件別の画素値との差分が最小となる光源と撮像条件とを決定し、
   前記選択手段は、前記決定した光源と撮像条件とに対応する色変換パラメータを、光源別でありかつ撮像条件別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択することを特徴とする請求項１に記載の色変換パラメータ選択装置。
3. 所定の被写体の分光反射率を入力する分光反射率入力手段と、
   撮像装置を用いて前記被写体を撮像して得られた画像データを入力する画像データ入力手段と、
   光源の分光特性と前記撮像装置の分光特性とを予め記憶する分光特性記憶手段から、前記光源の分光特性と前記撮像装置の分光特性とを取得する取得手段と、
   前記入力された被写体の分光反射率と、前記取得した分光特性とに基づいて、前記被写体の各光源下での画素値をそれぞれ算出する算出手段と、
   前記算出した各光源下での画素値と前記画像データに含まれる前記被写体に対応する領域の画素の画素値との差分が最小となる光源を決定する決定手段と、
   前記決定した光源に対応する色変換パラメータを、光源別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択する選択手段と
   を有することを特徴とする色変換パラメータ選択装置。
4. 前記決定手段は、
   前記算出した各光源の画素値のカラーバランスと前記画像データの画素値のカラーバランスとの差分が最小となる光源を決定し、
   前記差分が最小となるカラーバランスの比を決定し、
   前記決定した比に対応する撮像条件を決定し、
   前記選択手段は、前記決定した光源と撮像条件とに対応する色変換パラメータを、光源別でありかつ撮像条件別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択することを特徴とする請求項３に記載の色変換パラメータ選択装置。
5. 請求項３または４に記載の色変換パラメータ選択装置を備えた前記撮像装置であって、
   画像データを撮像する撮像手段と、
   前記撮像手段で撮像した画像データを、前記色変換パラメータ選択装置で選択された色変換パラメータを用いて色変換する色変換手段と
   を有することを特徴とする撮像装置。
6. 所定の被写体を予め光源毎に撮像して得られた光源別の画素値を記憶する画素値記憶手段から光源別の画素値を取得する取得ステップと、
   前記被写体を撮像した画像データを入力する画像データ入力ステップと、
   前記画像データに含まれる前記被写体に対応する領域の画素の画素値と前記取得した光源別の画素値との差分が最小となる光源を決定する決定ステップと、
   前記決定した光源に対応する色変換パラメータを、光源別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択する選択ステップと
   を有することを特徴とする色変換パラメータ選択方法。
7. 所定の被写体の分光反射率を入力する分光反射率入力ステップと、
   撮像装置を用いて前記被写体を撮像して得られた画像データを入力する画像データ入力ステップと、
   光源の分光特性と前記撮像装置の分光特性とを予め記憶する分光特性記憶手段から、前記光源の分光特性と前記撮像装置の分光特性とを取得する取得ステップと、
   前記入力された被写体の分光反射率と、前記取得した分光特性とに基づいて、前記被写体の各光源下での画素値をそれぞれ算出する算出ステップと、
   前記算出した各光源下での画素値と前記画像データに含まれる前記被写体に対応する領域の画素の画素値との差分が最小となる光源を決定する決定ステップと、
   前記決定した光源に対応する色変換パラメータを、光源別の色変換パラメータを記憶する色変換パラメータ記憶手段から選択する選択ステップと
   を有することを特徴とする色変換パラメータ選択方法。
8. コンピュータを請求項１から４のいずれか一項に記載の色変換パラメータ選択装置として機能させるためのプログラム。