JP2009118262A - 色処理装置およびその方法 - Google Patents

Abstract

【課題】 色再現モードに応じた色処理パラメータを生成する。
【解決手段】 画像処理装置12は、撮像部101によって撮影された複数のパッチを有する色票13の撮影データ、および、色票13の測色データを入力する。そして、色再現モードの設定に応じて、ターゲットデータ補正部204により、測色データが示す各パッチの色値を目標値に補正する。そして、パラメータ編集部205により、撮影データが示す各パッチの色値を、測色データが示す各パッチの色値に変換するための色処理パラメータを生成する。
【選択図】 図5

Description

本発明は、撮影データを色処理するための色処理パラメータの生成に関する。

ディジタルカメラは、その内部に予め複数の色処理パラメータを保持し、ユーザが選択したモードに応じた色処理パラメータを使用して、撮影画像の色処理などの画像処理を行う。言い換えれば、予め用意されているモードのみしか、ディジタルカメラの画像処理を設定することができず、ユーザの好みの色再現などを実現することができない。

発明者は、ディジタルカメラの色再現をユーザの好みによって自由に設定することを目的として、色処理パラメータをカスタマイズする装置を発明した（特許文献1参照）。

特許文献1の装置は、肌色、空や草の色、原色などを含むカラーチャートをディジタルカメラで撮影したときの撮影データを、カラーチャートの本来の色に近付ける（色の忠実色再現用の）色処理パラメータを求めることができる。あるいは、撮影データを、肌色、空や草の色、原色などを、ユーザが好ましいと思う色に近付ける（好ましい色再現用の）色処理パラメータを求めることができる。撮影データの色に対応する目標色を示すデータを、以下では「ターゲットデータ」と呼ぶ。

このように、特許文献1の装置は、ユーザが設定したターゲットデータに近付くように色処理パラメータを設定することができる。しかし、ユーザのニーズに合わせて色処理パラメータを切り替えて設定すること、つまり、色の忠実色再現用（忠実色再現モード）の色処理パラメータと、好ましい色再現用（好ましい色再現モード）の色処理パラメータを切り替えて設定することはできない。

特開2004-341923公報

本発明は、色再現モードに応じた色処理パラメータを生成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明は、撮像部が撮影した撮影データを色処理するための色処理パラメータを生成する際に、色再現モードを設定し、前記撮像部によって撮影された複数のパッチを有する色票の撮影データ、および、前記色票の測色データを入力し、前記色再現モードの設定に応じて、前記測色データが示す各パッチの色値を目標値に補正し、前記撮影データが示す各パッチの色値を、前記測色データが示す各パッチの色値に変換するための色処理パラメータを生成することを特徴とする。

本発明によれば、色再現モードに応じた色処理パラメータを生成することができる。

以下、本発明にかかる実施例の色処理（画像処理）を図面を参照して詳細に説明する。

［システムの構成］
図1は実施例1のシステムの構成例を示すブロック図で、ディジタルカメラ11、色補正パラメータをカスタマイズする画像処理装置12、色票13を有する。

ディジタルカメラ11の撮像部101は、撮影レンズとCCDなどの画像センサから構成される。データ入出力部102は、画像データおよび色処理パラメータなどのデータを外部機器との間で送受信するインタフェイスである。画像処理部103は、撮像部101で取得した被写体像に各種画像処理を施す。保持部104は、被写体像の画像データ、画像処理後の画像データ、色処理パラメータなどのデータを保持する。表示部105は、撮影中や撮影後、色処理後の画像などを表示する液晶パネルなどを有する。

なお、画像処理部103は、保持部104に格納された色処理パラメータを用いて画像処理を行う。また、データ入出力部102には、ケーブルなどを介して画像処理装置12を接続したり、メモリカードなどの記録媒体を接続することができる。

画像処理装置12のデータ入出力部201は、画像データ、色処理パラメータ、ターゲットデータなどのデータを外部機器との間で送受信するインタフェイスである。画像処理部202は、入力画像データに各種画像処理を施す。平均値算出部203は、入力画像データが表すパッチのRGB平均値を算出する。ターゲットデータ補正部204は、指定された色再現に応じて、データ保持部207が保持するターゲットデータを補正する。

パラメータ編集部205は、パラメータ保持部206が保持する色処理パラメータを例えば後述するDLS法などを用いて編集する。パラメータ保持部206は、ディジタルカメラ11の色処理パラメータを保持する。データ保持部207は、入力画像データ、画像処理後の画像データ、ターゲットデータなどのデータを保持する。表示部208は、撮影中や撮影後、色処理後の画像などを表示する液晶パネルなどを有する。

操作部209は、表示部208に表示されるユーザインタフェイスを操作してユーザ指示を入力するスイッチ、ダイヤル、ホイールまたはキーなどから構成される。

なお、画像処理部202は、パラメータ保持部206に格納された色処理パラメータを用いて画像処理を行い、処理後の画像を表示部208に表示する。また、データ入出力部201には、ケーブルなどを介してディジタルカメラ11などの画像取得デバイスを接続したり、メモリカードなどの記録媒体を接続することができる。

また、シリアルバスなどを介してディジタルカメラ11と画像処理装置12が接続されている場合、表示部208および操作部209の代わりに、ディジタルカメラ11が備える表示部105および操作部（不図示）を利用することができる。つまり、画像処理装置12は、ディジタルカメラ11と通信して、ユーザインタフェイスを表示するためのデータをディジタルカメラ11に送信する。ディジタルカメラ11は、表示部105にユーザインタフェイスを表示し、ユーザインタフェイスに対する操作を示すデータを画像処理装置12に返す。

［ディジタルカメラの処理］
被写体を撮影する場合、ユーザによって電源スイッチ（不図示）がオンにされると、撮像部101による画像データの取得が開始される。画像処理部103は、保持部104に格納された色処理パラメータを使用して、撮像部101から継続的に入力される画像データに画像処理を施し、画像処理後の画像データから表示用画像を生成して表示部105に表示する。表示部105には継続的に画像が表示される。

ユーザは、表示部105に表示された画像を観察して、画面の構図を決め、シャッタボタン（不図示）を押して撮影を行う。シャッタボタンが押されると、画像処理部103は、シャッタボタンが押されたタイミングで撮像部101が取得した画像データに、保持部104に格納されたパラメータによる画像処理（色、明るさの処理など）を施す。画像処理が施された画像データは、データ入出力部102を介して、外部機器（画像処理装置12やメモリカードなど）に出力される。

また、撮影時、撮像部101から取得した画像データをそのままデータ入出力部102へ出力するようなパラメータが保持部104に設定されている場合がある。この場合、撮像部101によって取得された画像データそのもの（RAWデータ、撮影データ）がディジタルカメラ11から出力される。

［色票］
図2は色票13の一例を示す図である。色票は、複数のパッチを有する例えばグレタグマクベス社のColorChecker for DC（240色）やColorChecker（24色）など色設計に利用可能なカラーチャートを使用すればよい。

［画像処理装置］
図3は画像処理装置12における処理の流れを示すフローチャートである。

画像処理装置12は、データ入出力部201を介してディジタルカメラ11またはメモリカードなどから画像データを入力し(S11)、入力した画像データをデータ保持部207に格納する(S12)。なお、入力する画像データは、色票13を所定の照明下で撮影した画像（以下、色票画像）を表すRAWデータである。

次に、画像処理装置12は、詳細は後述するが、パラメータ編集部205により色処理パラメータを最適化する(S13)。そして、最適化した色処理パラメータのデータ（三次元ルックアップテーブル(3DLUT)データ）をデータ入出力部201を介してディジタルカメラ11にアップロードする(S14)。

データ入出力部102を介して3DLUTを受信したディジタルカメラ11は、受信した3DLUTを保持部104に格納し、以降、当該3DLUT（色処理パラメータ）を用いて、撮像部101から入力される画像データを画像処理する。

［色処理パラメータ最適化］
図4は色処理パラメータ最適化(S13)を説明するフローチャートである。

画像処理装置12は、画像処理部202により、データ保持部207に格納した色票画像のRAWデータをIEC61966-2-1で規定されるsRGB空間のRGBデータに変換する(S21)。そして、平均値算出部203により、色票画像の各パッチのRGB平均値を計算し(S22)、画像処理部202により、入力データを計算する(S23)。

画像処理部202は、パラメータ保持部206に予め設定されている色処理パラメータを使用して、平均値算出部203が計算したRGB平均値を色処理し、色票13の各パッチに対応する入力データ（CIELab値）を計算する。色処理パラメータは、3×3マトリクス、3×9マトリクス、3×19マトリクスなどである。

次に、画像処理装置12は、データ入力部201を介してメモリカードなどからターゲットデータを入力し、データ保持部207に格納する(S24)。ターゲットデータは、色票13の各パッチをグレタグマクベス社のSpectroLinoなどで測色した測色データ（CIEXYZ値など）である。

次に、画像処理装置12は、操作部209を介して設定されている色再現モードに応じて処理を分岐する(S25)。好ましい色再現モードが設定されている場合は、詳細は後述するが、ターゲットデータ補正部204により、入力したターゲットデータを補正する(S26)。また、忠実色再現モードが設定されている場合はターゲットデータを補正しない。

次に、画像処理装置12は、画像処理部202により、ターゲットデータをLab値に変換し(S27)、パラメータ編集部205により、色処理パラメータを編集（最適化）する(S28)。そして、詳細は後述するが、パラメータ編集部205により、編集した色処理パラメータから3DLUTを作成する(S29)。

図5は表示部208に表示される再現モード設定用のユーザインタフェイスの一例を示す図である。つまり、画像処理装置12は、操作部209によって忠実色再現モードが設定されている場合はターゲットデータを補正しない。従って、ディジタルカメラ11が撮影した色票画像の各パッチの色値を、対応する、ターゲットデータの各パッチの色値に補正する色処理パラメータが作成されることになる。

また、画像処理装置12は、好ましい色再現モードが設定されている場合は、デフォルトの好ましい色またはユーザインタフェイスによって設定された好ましい色がその目標色になるように、ターゲットデータ補正部204にターゲットデータを補正させる。従って、ディジタルカメラ11が撮影した色票画像の各パッチの色値を、対応する、好ましい色の目標色に補正されたターゲットデータの各パッチの色値に補正する色処理パラメータが作成されることになる。

●ターゲットデータ補正部
ターゲットデータ補正部204は、任意のターゲットXYZ値を補正する。まず、ターゲットXYZ値を式(1)によりxy値に変換する。
x = X/(X + Y +Z)
y = Y/(X + Y +Z) …(1)

そして、xy値が存在する領域に応じて、xy値を補正する。例えば、デフォルトの場合、肌色、空や草の色などを好ましく感じられる色に近付けるとすると、xy値が肌色領域(x, y)=(0.41, 0.38)付近にある場合は赤みを増加（xを増加）させる方向の目標値に補正する。草の緑の領域(x, y)=(0.36, 0.45)付近にある場合は彩度を減少（xyをそれぞれ0.33に近付ける）させる方向の目標値に補正する。さらに、空の青の領域(x, y)=(0.24, 0.22)付近にある場合は彩度を増加（xyをそれぞれ減少）させる方向の目標値に補正する。

なお、ターゲットデータ補正部204の補正対象補正、つまり、補正すべき好ましい色（補正対象色）とその目標色（目標値）は、表示部208に表示されるユーザインタフェイスによって設定可能である。

上記の補正後、式(2)によりxy値をXYZ値に変換する。なお、Y値は補正前の値をそのまま使用する。
X' = x/y×Y
Y' = Y …(2)
Z' = (1 - x - y)/y×Y

●パラメータ編集部
パラメータ編集部205は、データ保持部207に格納された入力データL_ia_ib_iと、対応するターゲットデータL_tia_tib_tiから、DLS法などを用いて、入力データが対応するターゲットデータに近付くように色処理パラメータを編集する。例えば、式(3)に示す評価関数Eを最小とするような色処理パラメータを算出すればよい。
E = ΣE_i
= Σ√{(L_Ti - L_i)² + (a_Ti - a_i)² - (b_Ti - b_i)²} …(3)
ここで、E_iは各パッチの評価関数

また、各パッチに、重みを個別に設定してもよい。
E = Σw_iE_i
= Σw_i√{(L_Ti - L_i)² + (a_Ti - a_i)² - (b_Ti - b_i)²} …(4)
ここで、w_iは評価関数の重み値

なお、DLS法とはDumped Least Square method（減衰最小二乗法）の略である。あるデータ列をある処理パラメータ（本実施例ではマトリックス）で処理した後のデータ列と対応するターゲットデータ列の差が目標値列（本実施例ではΔE）に近づくように、処理パラメータを求める方法である。DLS法は、例えば、高橋友力「レンズ設計」東海大学出版会、194頁に詳しい説明が掲載されている。

つまり、パラメータ編集部205は、色処理パラメータを用いて撮影データのLab値を色処理した結果（色処理後の各パッチの色値）と、ターゲットデータの各パッチの色値の差の合計を最小にする色処理パラメータを生成する。

●3DLUTの作成
パラメータ編集部205は、編集した色処理パラメータから3DLUTを作成する。ディジタルカメラ11の入力RGBデータが10ビット(0-1023)、3DLUTのスライス数が17であると仮定した場合の3DLUTの作成方法を以下に示す。
(R, G, B) = (0, 0, 0)(0, 0, 64)(0, 0, 128)
…(0, 0, 1023)(0, 64, 0)(0, 64, 64)
…(0, 64, 1023)(0, 128, 0)(0, 128, 64)
…(1023, 1023, 1023)

上記の17³=4913個のRGB値を順番に入力し、sRGB色空間のデータとしてLab値に変換する。そして、編集した色処理パラメータを用いて、Lab値に対するL'a'b'値を計算して、算出した4913組のRGB値-L'a'b'値のペアを3DLUTとしてパラメータ保持部206に格納する。

［処理パラメータ］
以下に色処理パラメータの一例を示す。なお、下に示す式で計算を行う前に入力RGBデータを正規化する必要がある。正規化は入力RGBデータが10ビットの場合、各値を2¹⁰-1=1023で割る。
┌ ┐ ┌ ┐
│R'│ │R│
│G'│= M1│G│ …(5)
│B'│ │B│
└ ┘ └ ┘
ここで、M1は3×3マトリクス
┌ ┐
│ R│
│ G│
┌ ┐ │ B│
│R'│ │RR│
│G'│= M2│RG│ …(6)
│B'│ │RB│
└ ┘ │GG│
│GB│
│BB│
└ ┘
ここで、M2は3×9マトリクス
┌ ┐
│ R │
│ G │
│ B │
│ RR│
│ RG│
│ RB│
│ GG│
┌ ┐ │ GB│
│R'│ │ BB│
│G'│= M2│RRR│ …(7)
│B'│ │RRG│
└ ┘ │RRB│
│RGG│
│RGB│
│RBB│
│GGG│
│GGB│
│GBB│
│BBB│
└ ┘
ここで、M3は3×19マトリクス

［変換式］
以下に、sRGB → CIEXYZ変換式、CIEXYZ → CIELab変換式、CIEXYZ → sRGB変換式の一例を以下に示す。

● sRGB → CIEXYZ変換
R_sRGB≦0.04045 のとき R_liner = R_sRGB/12.92
R_sRGB＞0.04045 のとき R_liner = {(R_sRGB+0.055)/1.055)}^2.4
G_sRGB≦0.04045 のとき G_liner = G_sRGB/12.92
G_sRGB＞0.04045 のとき G_liner = {(G_sRGB+0.055)/1.055)}^2.4 …(8)
B_sRGB≦0.04045 のとき B_liner = B_sRGB/12.92
B_sRGB＞0.04045 のとき B_liner = {(B_sRGB+0.055)/1.055)}^2.4
┌ ┐ ┌ ┐┌ ┐
│X'│ │0.4124 0.3576 0.1805││R_liner│
│Y'│=│0.2126 0.7152 0.0722││G_liner│×100.0 …(9)
│Z'│ │0.0193 0.1192 0.9505││B_liner│
└ ┘ └ ┘└ ┘
撮影時の照明の色温度から算出したXYZ値が(Xn, Yn, Zn)とする。
X = X'×Xn/95.045
Y = Y'×Yn/100.000 …(10)
Z = Z'×Zn/108.892

● CIEXYZ → CIELab変換
X/Xn＞0.00856 のとき X_Rate = (X/Xn)^1/3
X/Xn≦0.00856 のとき X_Rate = 7.787(X/Xn) + 16.0/116.0
Y/Yn＞0.00856 のとき Y_Rate = (Y/Yn)^1/3
Y/Yn≦0.00856 のとき Y_Rate = 7.787(Y/Yn) + 16.0/116.0 …(11)
Z/Zn＞0.00856 のとき Z_Rate = (Z/Zn)^1/3
Z/Zn≦0.00856 のとき Z_Rate = 7.787(Z/Zn) + 16.0/116.0
Y/Yn＞0.00856 のとき L = 116.0(Y/Yn)^1/3 - 16.0
Y/Yn≦0.00856 のとき L = 903.29(Y/Yn)
a = 500×(X_Rate - Y_Rate) …(12)
b = 200×(Y_Rate - Z_Rate)
●CIEXYZ → sRGB変換
┌ ┐ ┌ ┐┌ ┐
│R_liner│ │ 3.2406 -1.5372 -0.4986││X│
│G_liner│=│-0.9689 1.8758 0.0415││Y│×100.0 …(13)
│B_liner│ │ 0.0557 -0.2040 1.0570││Z│
└ ┘ └ ┘└ ┘
R_liner≦0.0031308 のとき R_sRGB = R_liner×12.92
R_liner＞0.0031308 のとき R_sRGB = 1.055×R_liner ^1.0/2.4 - 0.055
G_liner≦0.0031308 のとき G_sRGB = G_liner×12.92
G_liner＞0.0031308 のとき G_sRGB = 1.055×G_liner ^1.0/2.4 - 0.055 …(14)
B_liner≦0.0031308 のとき B_sRGB = B_liner×12.92
B_liner＞0.0031308 のとき B_sRGB = 1.055×B_liner ^1.0/2.4 - 0.055

［変形例］
上記では、入力データをRAWデータとして、ターゲットデータをXYXデータとして取得する例を説明したが、図6に示すようなテキストデータとして入力してもよい。

また、ターゲットデータ補正部204がターゲットデータを補正する際の再現モードの設定は、ユーザインタフェイスの操作により設定する例を説明した。しかし、図6のテキストデータの一行目に示すように、モデル名を記載し、そのモデル名によって忠実色再現モードまたは好ましい色再現モードを選択するようにしてもよい。

また、上記では、評価関数として式(3)のEを使用する例を説明したが、式(15)または(16)で表される△E94を使用してもよい。
E_i = ΔE₉₄
= √[ΔL² +{ΔC/(1 + 0.045C₁)}² + {ΔH/(1 + 0.015C₁)}²] …(15)
E_i = W_iΔE₉₄
= W_i√[ΔL² +{ΔC/(1 + 0.045C₁)}² + {ΔH/(1 + 0.015C₁)}²] …(16)
ここで、ΔL = L_Ti - L_i
ΔC = √(a_Ti ² + b_Ti ²) - √(a_i ² + b_i ²)
ΔH = √(ΔE² - ΔL² - ΔC²)
C₁ = √(a_Ti ² + b_Ti ²)

このように、ディジタルカメラ11の色再現モードを忠実色再現モードにするか、ユーザに好まれる色を再現する好ましい色再現モードにするかによって、ディジタルカメラ11が撮影した撮影データを色処理する色処理パラメータを最適化することができる。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

実施例のシステムの構成例を示すブロック図、 色票の一例を示す図、 画像処理装置における処理の流れを示すフローチャート、 色処理パラメータ最適化を説明するフローチャート、 表示部に表示される再現モード設定用のユーザインタフェイスの一例を示す図、 入力データ、ターゲットデータ、モデル名をテキストファイルから読み込む場合のテキストデータの一例を示す図である。

Claims (8)

1. 撮像部が撮影した撮影データを色処理するための色処理パラメータを生成する色処理装置であって、
   色再現モードを設定するモードの設定手段と、
   前記撮像部によって撮影された複数のパッチを有する色票の撮影データ、および、前記色票の測色データを入力する入力手段と、
   前記色再現モードの設定に応じて、前記測色データが示す各パッチの色値を目標値に補正する補正手段と、
   前記撮影データが示す各パッチの色値を、前記測色データが示す各パッチの色値に変換するための色処理パラメータを生成する生成手段とを有することを特徴とする色処理装置。
2. 前記補正手段は、前記色再現モードとして、忠実色再現モードが設定されている場合は前記補正を行わず、好ましい色再現モードが設定されている場合は前記補正を行うことを特徴とする請求項1に記載された色処理装置。
3. さらに、前記補正手段の補正対象色と、その目標値を設定する補正対象の設定手段を有することを特徴とする請求項1または請求項2に記載された色処理装置。
4. 前記生成手段は、前記色処理パラメータを用いて前記撮影データを色処理した結果の各パッチの色値と、前記測色データが示す各パッチの色値の差の合計を最小にする色処理パラメータを生成することを特徴とする請求項1から請求項3の何れか一項に記載された色処理装置。
5. さらに、前記撮像部を有する外部装置に前記色処理パラメータを出力する出力手段を有することを特徴とする請求項1から請求項4の何れか一項に記載された色処理装置。
6. 撮像部が撮影した撮影データを色処理するための色処理パラメータを生成する色処理方法であって、
   色再現モードを設定するステップと、
   前記撮像部によって撮影された複数のパッチを有する色票の撮影データ、および、前記色票の測色データを入力するステップと、
   前記色再現モードの設定に応じて、前記測色データが示す各パッチの色値を目標値に補正するステップと、
   前記撮影データが示す各パッチの色値を、前記測色データが示す各パッチの色値に変換するための色処理パラメータを生成するステップとを有することを特徴とする色処理方法。
7. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された色処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
8. 請求項7に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。