JP2005045446A

JP2005045446A - 色変換マトリクス算出方法および色補正方法

Info

Publication number: JP2005045446A
Application number: JP2003201792A
Authority: JP
Inventors: Toru Chiba; 亨千葉
Original assignee: Pentax Corp
Current assignee: Pentax Corp
Priority date: 2003-07-25
Filing date: 2003-07-25
Publication date: 2005-02-17

Abstract

【課題】色相に関して再現色を本来の色に高精度に近似できる色変換マトリクスを得る。
【解決手段】カラーチャートを撮影して複数のカラーパッチに対応する入力色ＣｉｎのＲＧＢ信号を求めるとともに、各カラーパッチの測色値から目標色ＣｍｅのＲＧＢ信号を求める。この入力色Ｃｉｎが目標色Ｃｍｅに対して色相および彩度が一致するような色変換マトリクスＭを減衰最小自乗法により求める。入力色Ｃｉｎに色変換マトリクスＭを作用させて補正色Ｃｅｓを得、補正色Ｃｅｓおよび目標色Ｃｍｅの色相角差（θｍｅ−θｅｓ）を求め、全カラーパッチの色相角差の２乗和θｒｍｓが許容誤差以下であれば、色変換マトリクスＭを有効であると認定する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体に対する再現カラー画像の色再現性を向上させるために色信号を補正する色補正方法、および色補正に用いる色変換マトリクスを算出する色変換マトリクス算出方法に関するものである。
【０００２】
【従来の技術】
近年、画像の色情報を異なるメディア間で精度よく伝達するためにデジタル化することが多くなっており、例えばデジタルカメラやスキャナ等の画像入力装置は取り込んだ被写体のカラー画像を光の３原色のＲＧＢ信号に変換してこれをモニタやプリンタ等の画像出力装置に出力し、画像出力装置ではＲＧＢ信号に基づいてカラー画像を再現する（例えばモニタ画面に表示したり紙等に印刷する）ことが一般的に行われている。画像入力装置で得られるＲＧＢ信号は撮影レンズ等の光学系、カラーフィルタおよび撮像素子等の受光センサの撮像特性に依存し、また画像出力装置も再現の仕方によって同じＲＧＢ信号を入力しても再現される色が異なるだけでなく、画像入力装置および画像出力装置の特性にはそれぞれ固有の個体差が存在するため、ＲＧＢ信号に基づく再現カラー画像は被写体に対する色再現性が悪い、即ち正確な色再現が行えない。
【０００３】
そこで、近年では画像入力装置及び画像出力装置間で共通化したｓＲＧＢ規格に準拠した色信号を採用することが多くなっており、画像入力装置では撮像系で得られるＲＧＢ信号をｓＲＧＢ規格に応じて色補正し、これを出力している。これによりｓＲＧＢ規格対応の画像出力装置では正確な色再現ができる、即ち同じＲＧＢ値が与えられれば近似した色味が再現できる。色補正の手法は様々であり、例えば撮像系に設ける光学フィルタの分光特性をｓＲＧＢ規格に合わせる光学的な補正や、ＲＧＢ信号をマトリクス演算する電子的な補正によって、再現色を本来の色に近似させている。
【０００４】
従来、電子的な色補正で用いる色変換マトリクスの色変換精度を向上させる手法として重回帰分析法が提案されている。重回帰分析法は本来の色と再現色との関係を原因と結果ととらえた統計解析によってマトリクス要素を最適化する、即ち撮像系で得られたＲＧＢ信号に色変換マトリクスを作用させることにより予測した再現色と本来の色との信号レベル差が許容値以下となるようなマトリクス要素を求める手法であり、例えば特許文献１には３原色のＲＧＢ信号を異なる表色系のＸＹＺ信号に変換するためのマトリクスを重回帰分析により求める技術が示されている。
【０００５】
【特許文献１】
特開平１０−１６４３８１号公報
【０００６】
再現色と本来の色との一致の度合いは、人間の生理的色感に応じた色相、彩度および明度の３つの要素を表すＣＩＥ−Ｌ^＊ａ^＊ｂ^＊表色系のＬ^＊ａ^＊ｂ^＊信号で評価することが多い。しかしながら、Ｌ^＊ａ^＊ｂ^＊信号で評価することと重回帰分析によるマトリクス算出とを組合せる場合、重回帰分析で求められたマトリクスを作用させたＲＧＢ信号をＬ^＊ａ^＊ｂ^＊信号に変換し、色の一致度を評価し、その評価結果をフィードバックさせるためにＬ^＊ａ^＊ｂ^＊信号からＲＧＢ信号に逆変換するという煩雑な手順を踏むことになる。特に、ＲＧＢ信号とＬ^＊ａ^＊ｂ^＊信号とは線形的な関係にないため、相互変換のための演算処理が複雑になるという問題がある。
【０００７】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、特に再現色を本来の色に高精度に近似できる色変換マトリクスを容易に得ることを課題としている。
【０００８】
【課題を解決するための手段】
本発明の色変換マトリクス算出方法は、第１色空間の任意の色信号を第２色空間の色信号に変換するための色変換マトリクスを算出する色変換マトリクス算出方法であって、彩度および色相が段階的に変化する複数のカラーパッチに各々対応する第１色空間の色信号と、カラーパッチに各々対応する第２色空間の色信号とに基づいて、減衰最小自乗法により色変換マトリクスが求められることを特徴とする。
【０００９】
上記色変換マトリクス算出方法において、カラーパッチに各々対応する第１色空間の色信号に色変換マトリクスを作用させて得られる色信号と、カラーパッチに対応する第２色空間の色信号とのＣＩＥ−Ｌ^＊ａ^＊ｂ^＊均等色空間における色差および色相角の差が最小となるように、色変換マトリクスが求められることが好ましい。
【００１０】
上記色変換マトリクス算出方法において、例えば第２色空間の色信号がカラーパッチの測色信号である。
【００１１】
上記色変換マトリクス算出方法で用いられるカラーパッチは、例えばマクベスカラーチェッカーの１８色の有彩色カラーパッチであり、この場合１８色の有彩色カラーパッチに対応する第１色空間の色信号は、マクベスカラーチェッカーの６色の無彩色カラーパッチに対応する第１色空間の色信号に基づいてホワイトバランス補正が施されることが好ましい。
【００１２】
上記色変換マトリクス算出方法において、例えば第１色空間の色信号はカラーフィルタを設けた撮像素子によって得られた３原色ＲＧＢ信号であり、第２色空間の色信号がｓＲＧＢ（スタンダード・レッド・グリーン・ブルー）信号である。
【００１３】
また、本発明に係る色補正方法は、画像の第１色空間における任意の色の色信号を色変換マトリクスを用いて第２の色空間における色信号に変換する色補正方法であって、彩度および色相が段階的に変化する複数のカラーパッチに各々対応する第１色空間の色信号と、カラーパッチに各々対応する第２色空間の色信号とに基づいて、減衰最小自乗法により色変換マトリクスが求められることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【００１５】
図１は、本発明の色変換マトリクス算出方法および色変換方法の実施形態を示す模式図である。
【００１６】
デジタルカメラ１０は、撮像素子により被写体のフルカラー画像を得る画像入力装置であり、撮影光学系１２と、撮像素子、例えばＲＧＢ３原色のカラーチップフィルタ１６が撮像面上に設けられた単板式のＣＣＤ１４とを備える。撮影光学系１２により撮像素子に結像された光学的被写体像はＣＣＤ１４により光電変換された後ＣＣＤ１４から読み出されてアナログ信号処理を受けた後Ａ／Ｄ変換され、１フレーム分のＲＡＷデータとしてデジタル信号処理回路２０に送られる。
【００１７】
デジタル信号処理回路２０では、ＲＡＷデータから画素毎のＲＧＢ信号を生成する色分解処理、白色基準値に応じてＲ、ＧおよびＢのゲインを調整するホワイトバランス補正処理、第１色空間の色信号である原色ＲＧＢ信号の色域をｓＲＧＢ規格で定義された色域に変換することにより再現色を目的の色（例えば被写体本来の色）に近づけるための色補正処理、およびモニタ装置３０のγ特性を相殺する様に階調を調整する階調補正処理等を順次施して、第２色空間の色信号であるｓＲＧＢ信号を生成する。デジタル信号処理回路２０は、ｓＲＧＢ信号をＵＳＢケーブル等のインターフェース（図示せず）を介して外部装置、例えばパーソナルコンピュータに接続されたモニタ装置３０（ＣＲＴディスプレイモニタまたはＬＣＤモニタ）やプリンタ等（図示せず）の画像出力装置に出力できる。
【００１８】
ｓＲＧＢ信号はＩＥＣ規定の色再現国際規格に準拠した信号であり、ｓＲＧＢ規格では標準のＣＲＴディスプレイモニタ装置に応じて色再現性および色域が規定されている。この場合、ホワイトバランス補正処理においては白基準値がＣＩＥ−Ｄ_６５に定められ、色補正処理においてはＲＧＢ信号の色域が定義された色域に補正され、階調補正処理においてはγ値が２．２に定められる。
【００１９】
デジタル信号処理回路２０ではｓＲＧＢ規格に準じて信号が処理されるが、撮像系（撮影光学系１２、ＣＣＤ１４、ＲＧＢカラーチップフィルタ１６等）にはｓＲＧＢ規格に準拠した特性値をもつ素子が用いられているわけではなく、このため、被写体の色情報をｓＲＧＢ規格に合わせて正確に撮ることができず、再現色が本来の色と一致しない現象が生じる。この現象を回避するために撮像系の感度特性をｓＲＧＢ規格に一致させるための光学的な補正が成されているが十分ではなく、完全に一致させることは実質上困難である。このため、撮像系で得られたＲＧＢ信号の信号レベルを調節して電子的に補正するが、撮像系の感度特性は個々のデジタルカメラ１０によって異なり、被写体本来の色情報とデジタルカメラ１０により得られる色情報との関係に規則性がないことから両者の関係を理論的に定義することは困難であり、個々の色毎に異なる信号処理をしなければならない。Ｒ、ＧおよびＢ信号が８ビットデータである場合には色数は（２^８）^３＝１６７７７７２１６となり、全色に最適な色補正処理を行うことは現実的ではない。
【００２０】
そこで、彩度および色相が段階的に変化する複数の色サンプルから成るカラーチャート、例えば、図１に示すマクベスカラーチャート（登録商標）４０の２４色のカラーパッチＰ_１〜Ｐ_２４（図１では２４色のカラーパッチの一部のみに符号を付す）を、色彩計等により正確に測色するとともに個々のデジタルカメラ１０によって測色時と同じ照明環境下で撮影し、撮影で得られたＲＧＢ信号を測色したＲＧＢ信号に一致させるような色変換マトリクスをそれぞれ求めておき、デジタルカメラ１０に設定する。被写体を撮影したときには、デジタル信号処理回路２０はこの色変換マトリクスによって色補正処理を行っている。これにより測色値に忠実な色再現が行える。
【００２１】
色変換マトリクスは外部の色変換マトリクス算出装置３４、例えばパーソナルコンピュータにより算出され、予めデジタルカメラ１０のメモリ２２に格納される。一方、デジタルカメラ１０は、色変換マトリクスを算出するためにマクベスカラーチャート４０を撮影して得られるＲＡＷデータを、デジタル信号処理回路２０から色変換マトリクス算出装置３４に出力する。色変換マトリクスは、デジタルカメラ１０の製造工程の終段において色変換マトリクス算出装置３４との協働によって求められる３×３のマトリクスであり、個々のデジタルカメラ１０の撮像系の色感度特性に応じて９個のマトリクス要素の値が定められる。
【００２２】
ＲＡＷデータから得られる所定の色を入力色Ｃｉｎ、色変換マトリクスをＭ、色変換マトリクスＭによる色補正処理後の色を補正色Ｃｅｓと定義すると、それぞれのＲＧＢ信号Ｃｉｎ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）およびＣｅｓ（Ｒｅｓ，Ｇｅｓ，Ｂｅｓ）について下記の（１）式に示す線形１次式が成り立つ。この（１）式と等価なマトリクス要素による表現式を（２）式に示す。ｍ_１〜ｍ_９は色変換マトリクスＭのマトリクス要素である。
【００２３】
【数１】

【００２４】
なお、本実施形態では正確な色再現を行うことを目的としているため、色変換マトリクスＭを算出する際に設定される目標値はカラーパッチＰ_１〜Ｐ_２４の測色信号であるが、人物の肌色や青空の色等のよく使われる特定色を、正確な色ではなく使用者の望む色に再現する場合には、特定色に関して測色信号を修正した値を目標値に設定してもよい。なお、測色によるＲＧＢ信号は、色彩計でＲ、ＧおよびＢの信号レベルを直接測定して得る他、例えば分光光度計によって分光反射率を測定する、または色彩計によってＲＧＢ表色系と異なる表色系で表現されたＸＹＺ信号やＬ^＊ａ^＊ｂ^＊信号を測定して、分光反射率、ＸＹＺ信号またはＬ^＊ａ^＊ｂ^＊信号をＲＧＢ信号に変換して得てもよい。
【００２５】
マクベスカラーチャート４０は、市販の既製品であるため手に入れ易く、各カラーパッチＰ_１〜Ｐ_２４の測色信号が既知であり測色の手間が省ける。例えば、標準光の照明環境下のもとでの第１番のカラーパッチＰ_１（色名；暗い肌色）の測色信号は、ｘ＝０．４００２、ｙ＝０．３５０４およびＹ＝１０．０５であり、これら測色信号ｘ、ｙおよびＹを公知の変換式によってＲＧＢ信号に変換することができる。但し、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）であり、Ｘ、ＹおよびＺはＸＹＺ表色系における三刺激値である。第１〜１８番のカラーパッチＰ_１〜Ｐ_１８は有彩色であり、最終列の第１９〜２４番のカラーパッチＰ_１９〜Ｐ_２４は無彩色である。
【００２６】
なお、カラーチャートとしては本実施形態のマクベスカラーチャートに限らず、複数のカラーパッチが均等色空間上に一様に分布するものであればよく、例えばＪＩＳ標準色標でもよい。マクベスカラーチャート４０に基づいて得た色変換マトリクスは、各カラーパッチＰ_１〜Ｐ_２４の色については精度良く色再現できるが、他の色については保障されない。従って、良く使用される特定色（人物の肌色、青空の色、緑など）をカラーパッチにした独自のカラーチャートを作成しておけば、特定色について特に忠実に色再現できることになる。
【００２７】
図２および図３を参照して、色変換マトリクス算出方法について説明する。図２には、色温度が６５０４Ｋの昼光を代表する標準の光ＣＩＥ−Ｄ_６５を照明用光源とするＣＩＥ−Ｌ^＊ａ^＊ｂ^＊色空間（以下、Ｌａｂ色空間と記載する）が示され、このＬａｂ色空間において、所定の１色に関する入力色Ｃｉｎと、入力色Ｃｉｎおよび色変換マトリクスＭに基づいて予測した補正色Ｃｅｓと、補正すべき目標の色Ｃｍｅ（以下、目標色と記載する）とがそれぞれ点で示されている。なお、説明のために図２では３点の相対距離を強調して示す。目標色ＣｍｅのＬ^＊ａ^＊ｂ^＊信号は測色で得られた値である。図３は、色変換マトリクス算出処理の処理流れおよび各種色信号の関係を模式的に示すブロック図である。
【００２８】
マトリクス演算では色はＲＧＢ信号で扱われるが、色の一致度の評価ではＬ^＊ａ^＊ｂ^＊信号で扱われる。これは、Ｌａｂ色空間が人間の色知覚と座標上の距離との相関性が良好な均等色空間であることによる。図２に示すＬａｂ色空間においては、明度を表すＬ^＊、色相および彩度を示すａ^＊、ｂ^＊の座標により任意の色を表すことができる。明度指数Ｌ^＊は任意の色の相対的な明るさや暗さを示し、黒の０％から白の１００％の範囲である。色相はａ^＊ｂ^＊平面における座標原点周りの角度で示され、０°から３６０°の範囲である。ａ^＊軸において正の数字が大きくなる程赤が強くなり、負の数字が大きくなるほど緑が強くなる。ｂ^＊軸において正の数字が大きくなる程黄が強くなり、負の数字が大きくなるほど青が強くなる。また、座標原点からの距離が大きくなるほど彩度が高く、鮮やかな色になる。座標原点は無彩色である。
【００２９】
ＲＧＢ信号からＬ^＊ａ^＊ｂ^＊信号への変換は下記に示す公知の（３）式および（４）式により行う。（３）式はＲＧＢ信号をＸＹＺ信号に変換するための変換式であり、（４）式はＸＹＺ信号をＬ^＊ａ^＊ｂ^＊信号に変換するための変換式である。色の一致度の評価時にはＲＧＢ信号はＲＧＢ→ＸＹＺ→Ｌ^＊ａ^＊ｂ^＊変換によりＬ^＊ａ^＊ｂ^＊信号に変換される。
【００３０】
【数２】

【００３１】
【数３】

【００３２】
本実施形態では、カラーパッチＰ_１〜Ｐ_１８の１８色について入力色Ｃｉｎから予測した補正色Ｃｅｓの全てがそれぞれ対応する目標色Ｃｍｅに略一致するように色変換マトリクスＭを最適化する。具体的には、補正色Ｃｅｓと目標色Ｃｍｅとの色差ΔＥの１８色分の２乗和が許容誤差以下となるような色変換マトリクスＭの要素ｍ_１〜ｍ_９を、減衰最小自乗法により求める。個々の色相補正色入力色Ｃｉｎに求めた色変換マトリクスＭを作用させて得られる補正色Ｃｅｓは、対応する目標色Ｃｍｅに略一致する。
【００３３】
所定の１色について補正色Ｃｅｓと目標色Ｃｍｅの色差ΔＥは（５）式により定義され、Ｌａｂ色空間において評価される。（５）式において、補正色ＣｅｓのＬ^＊ａ^＊ｂ^＊信号を（Ｌ^＊ｅｓ，ａ^＊ｅｓ，ｂ^＊ｅｓ）、目標色ＣｍｅのＬ^＊ａ^＊ｂ^＊信号を（Ｌ^＊ｍｅ，ａ^＊ｍｅ，ｂ^＊ｍｅ）で表す。
【００３４】
【数４】

【００３５】
ここで、１８色に対応する色差ΔＥを区別するために、カラーパッチの番号を添え字として付し、ΔＥ_１、ΔＥ_２、…、ΔＥ_１８として表す。カラーパッチの番号を示すパラメータをｉ（ｉ＝１、２、…、１８）とすると、各色差はΔＥｉで表される。また、マトリクス要素ｍ_１、ｍ_２、…、ｍ_９の順番を示すパラメータをｊ（ｊ＝１、２、…、９）とすると、各マトリクス要素はｍｊで表される。補正色Ｃｅｓは上記（１）式または（２）式により入力色Ｃｉｎに色変換マトリクスＭを作用させたものであることから、色差ΔＥはマトリクス要素ｍｊをパラメータとする関数ΔＥｉ（ｍｊ）とみなすことができる。
【００３６】
減衰最小自乗法においては、１８色についてそれぞれ求めた色差ΔＥｉ（ｉ＝１、２、…、１８）の２乗和をメリット関数φとして定義し（（６）式参照）、このメリット関数φが所定の閾値以下となるようにマトリクス要素ｍｊ（ｊ＝１、２、…、９）を最適化する。メリット関数φが極小になるための条件は（７）式で示される９個の式で与えられるが、（６）式は非線形式でありマトリクス要素ｍｊの解を直接求めることはできない。そこで、色差ΔＥｉをｍｊに関してその出発点ｍｊ０の近傍で線形近似する。このとき、線形近似された色差ΔＥｉを使った時のメリット関数φはｍｊに関する２次式となるので、これを（７）式に代入するとメリット関数φの極値は９元連立１次方程式を満たし、これを解くとマトリクス要素ｍｊ（ｊ＝１、２、…、９）の近似解が得られる。
【００３７】
【数５】

【００３８】
近似した９元連立１次方程式は最小自乗法の正規方程式と呼ばれ、この正規方程式を出発点ｍｊ０から解への移動量Δｍｊを求める式に変形し、行列で示したものが（８）式である。（８）式において、Δｍはｍｊに関して出発点ｍ_１０〜ｍ_９０からそれぞれの解への移動量Δｍ_１、Δｍ_２、…、Δｍ_９を要素とする列ベクトルであり、ΔＥは色差ΔＥ_１、ΔＥ_２、…、ΔＥ_１８を要素とする列ベクトルであり、Ａは出発点ｍｊ０におけるΔＥのヤコビ行列である。「（）^ｔ」は転置行列を示し、「（）^−１」は逆行列を示す。従って、（８）式によりベクトルΔＥとヤコビ行列Ａとに基づいてベクトルΔｍ即ち解への移動量Δｍ_１、Δｍ_２、…、Δｍ_９を求めることができる。
【００３９】
【数６】

【００４０】
従って、出発点ｍ_１０〜ｍ_９０に既知の初期値を与え、（８）式により移動量Δｍ_１〜Δｍ_９を求め、得られた移動量Δｍ_１〜Δｍ_９を出発点ｍ_１０〜ｍ_９０に加算すればマトリクス要素ｍ_１〜ｍ_９の近似解が得られる。そして、得られた近似解を新たな出発点ｍｊ０としてマトリクス要素ｍ_１〜ｍ_９の近似解を得るという処理を、メリット関数φが閾値以下に達するまで繰り返し行う。メリット関数φが許容誤差以下に達すると、そのときの近似解を解に収束したものとしてマトリクス要素ｍ_１〜ｍ_９に定める。
【００４１】
なお、メリット関数φは（６）式に限定されず、例えば下記の（９）式に定義するように、解の収束を保証しつつその効率を高めるためにダンピング因子と呼ばれる係数Ｄ（＞０）を設定し、Δｍｊの２乗和とダンピング因子Ｄとの積を色差ΔＥｉの２乗和に加算したものをメリット関数φとしてもよい。このダンピング因子Ｄを用いる手法は公知であり詳述しないが、ダンピング因子Ｄの値が大きいほど近似誤差が少ないが解への接近速度が遅くなる特徴がある。本実施形態では所定値に固定するが、近似解を繰り返し求める際にダンピング因子Ｄの値を変化させてもよい。このときの正規方程式は（１０）式に示される。（１０）式中のＩは単位行列である。
【００４２】
【数７】

【００４３】
また、上述のマトリクス最適化においては補正色Ｃｅｓと目標色Ｃｍｅとの色の違いはＬａｂ色空間における色差ΔＥのみで評価しているが、人間の知覚では色相の違いが彩度の違いに比べて別の色として認識され易いので、色相を優先的に一致させるためにさらに両者の色相角θｅｓおよびθｍｅの差Δθ（下記の（１１）式を参照）を加味してもよい。色相角θｅｓおよびθｍｅは、補正色Ｃｅｓおよび目標色Ｃｍｅからそれぞれａ^＊ｂ^＊面に下ろした点のａ^＊軸からの原点周りの回転角である（図２参照）。（９）式の右辺第１項に色相角差Δθの２乗和を加算した式を（１２）式に示す。なお、色差ΔＥに比べて色相角差Δθは相対的に小さい値のため、色相の一致度を高めるために（１２）式において色相角差Δθに重みをつけてもよい。
【００４４】
【数８】

【００４５】
またさらに、（６）式や（９）式および（１２）式で定義されるメリット関数φを用いたマトリクス最適化では、各色について補正色Ｃｅｓと目標色Ｃｍｅとの色差がほぼ均等にばらつくが、肌色等の特定色に限定して特定色の色一致の精度を向上させたい場合には、１８色についてそれぞれ設定した重み係数Ｗｉ（ｉ＝１，２，…１８）を色差ΔＥｉに乗算して重み付けをする。重み係数Ｗ_１〜Ｗ_１８の総和は１である。（１３）式には（９）式のメリット関数φに重み係数Ｗｉを加味したものを示す。この重み付けにより、重みを大きくした特定色ほど、より忠実な色再現を行うことができる。
【００４６】
【数９】

【００４７】
最適化計算における出発点ｍ_１０、ｍ_２０、…、ｍ_９０の適正な初期値の設定は、計算時間を短くする。即ち繰り返し行う処理のループ回数を少なくするために、解にできるだけ近い値に設定することが好ましい。本実施形態では、まず補正色Ｃｅｓと目標色Ｃｍｅとが略一致する、即ちＲｅｓ＝Ｒｍｅ、Ｇｅｓ＝Ｇｍｅ、Ｂｅｓ＝Ｂｍｅとなると仮定して出発点ｍ_１０、ｍ_２０、…、ｍ_９０の初期値を順に１、０、０、０、１、０、０、０、１に定め、さらに８つの初期値を固定したままで残り１つの初期値を微少間隔（例えば０．０１）毎に１（または０）から一定の範囲（例えば±０．３）で単独に変化させつつそれぞれ最適化計算を行うことにより、個々の初期値に対応した複数の解を得、それら解の中から目的に叶う最良の解を選択する。従来では設計者の経験や過去のデータを参照して定めてられていたが、本実施形態の初期値設定では経験者がいない場合でも容易に解を得ることができる。
【００４８】
次に、図４〜図６のフローチャートを参照して、色変換マトリクス算出処理について詳細に説明する。
【００４９】
まずステップＳ１０２において、２４色のカラーパッチＰ_１〜Ｐ_２４を有するマクベスカラーチャート４０を用意し、これら２４個のカラーパッチＰ_１〜Ｐ_２４をＣＩＥ−Ｄ_６５の照明光源下でデジタルカメラ１０により撮影し、得られたＲＡＷデータを色変換マトリクス算出装置３４に転送する。
【００５０】
色変換マトリクス算出装置３４は、ＲＡＷデータに基づいて１８個の有彩色カラーパッチＰ_１〜Ｐ_１８に対応する入力色ＣｉｎのＲＧＢ信号を得る（ステップＳ１０４）。ここで、個々の有彩色カラーパッチＰ_１〜Ｐ_１８に対応する色データを区別するために、有彩色カラーパッチＰ_１〜Ｐ_１８の順番を示すパラメータｉ（ｉ＝１、２、…、１８）を設定し、ｉ番目のカラーパッチＰｉに対応する入力色をＣｉｎ（ｉ）、そのＲＧＢ信号を（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））で表す。入力色Ｃｉｎ（ｉ）のＲＧＢ信号（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））は、カラーパッチＰｉに相当する撮像領域から抽出された３０×３０画素のＲ、ＧおよびＢの信号レベルのそれぞれの平均値（以下、ＲＧＢ平均値と記載する）であり、８ビットデータである。ＲＧＢ平均値の信頼性を高めるために、３０×３０画素のうち欠陥画素などは取り除かれる。なお、ＲＧＢ信号（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））は１０ビットデータまたは１２ビットデータであってもよい。
【００５１】
マクベスカラーチャート４０の第１９〜２４番のカラーパッチＰ_１９〜Ｐ_２４は６段階の無彩色カラーパッチであり、詳しくは第１９番のカラーパッチＰ_１９（色名；白色）、第２０番のカラーパッチＰ_２０（色名；グレイ８）、第２１番のカラーパッチＰ_２１（色名；グレイ６．５）、第２２番のカラーパッチＰ_２２（色名；グレイ５）、第２３番のカラーパッチＰ_２３（色名；グレイ３．５）、第２４番のカラーパッチＰ_２４（色名；黒色）から成る。
【００５２】
これら無彩色の６個のカラーパッチＰ_１９〜Ｐ_２４はグレー階調の補正に用いられる。具体的には、各カラーパッチＰ_１９〜Ｐ_２４にそれぞれ相当する撮像領域から抽出された３０×３０画素のＲＧＢ平均値が求められ、６つの無彩色カラーパッチＰ_１９〜Ｐ_２４のＲＧＢ平均値とそれぞれの目標値（例えば測色信号）との誤差が最小となるようなオフセット値がＲ、ＧおよびＢのそれぞれについて求められる。ステップＳ１０４で有彩色カラーパッチＰｉ（ｉ＝１、２、…、１８）の入力色Ｃｉｎ（ｉ）のＲＧＢ信号（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））を得る前に、ＲＡＷデータのＲ、ＧおよびＢ信号からそれぞれオフセット値が差し引かれ、これにより画像の白基準レベルおよび黒基準レベルが補正されるとともに、グレー階調、即ち色の濃さが適切なレベルに補正される。
【００５３】
また、６個の無彩色カラーパッチＰ_１９〜Ｐ_２４は、ホワイトバランス補正にも用いられ、ＲＡＷデータから得られる各無彩色カラーパッチＰ_１９〜Ｐ_２４のＲＧＢ平均値に基づいて、Ｒ、ＧおよびＢのゲインがそれぞれ決定され、１８個の有彩色カラーパッチＰ_１〜Ｐ_１８のＲＧＢ平均値がゲイン調整される。
【００５４】
従って、ステップＳ１０４で得られる１８色の有彩色カラーパッチＰｉ（ｉ＝１、２、…、１８）の入力色Ｃｉｎ（ｉ）のＲＧＢ信号（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））は、グレー階調補正およびホワイトバランス補正が施され、γ＝１．０で正規化されたものである。
【００５５】
ステップＳ１０６において既知である１８個のカラーパッチＰ_１〜Ｐ_１８の測色信号（ＲＧＢ信号）を色変換マトリクス算出装置３４に入力する。なお、入力したデータが、ＲＧＢ信号でない場合、例えばＸＹＺ信号、Ｌ^＊ａ^＊ｂ^＊信号、分光反射率等の場合には公知の変換式によりＲＧＢ信号に変換しておく。また、測色信号の値が未知の場合には、ステップＳ１０６の前に撮影と同じ照明環境下でカラーパッチＰ_１〜Ｐ_１８を測色する。
【００５６】
そして次のステップＳ１０８において、ｉ番目（ｉ＝１、２、…、１８）のカラーパッチＰｉの目標色をＣｍｅ（ｉ）、そのＲＧＢ信号を（Ｒｍｅ（ｉ），Ｇｍｅ（ｉ），Ｂｍｅ（ｉ））と定義し、ステップＳ１０６で得られた測色信号を目標色Ｃｍｅ（ｉ）のＲＧＢ信号（Ｒｍｅ（ｉ），Ｇｍｅ（ｉ），Ｂｍｅ（ｉ））に設定する。本実施形態では正確な色再現を行うことを目的としているので、測色信号を目標色Ｃｍｅ（ｉ）のＲＧＢ信号（Ｒｍｅ（ｉ），Ｇｍｅ（ｉ），Ｂｍｅ（ｉ））としているが、特定色を好ましい色に再現することを目的とする場合などでは、目的に応じて任意にＲｍｅ（ｉ）、Ｇｍｅ（ｉ）、Ｂｍｅ（ｉ）の値を変更する。なお、ステップＳ１０６およびＳ１０８は次のステップＳ１１０の前であればいつ行ってもよい。
【００５７】
ステップＳ１１０では、ステップＳ１０４で得られた１８色の入力色Ｃｉｎ（ｉ）のＲＧＢ信号（Ｒｉｎ（ｉ），Ｇｉｎ（ｉ），Ｂｉｎ（ｉ））（ｉ＝１、２、…、１８）を、ＲＧＢ→ＸＹＺ→Ｌ^＊ａ^＊ｂ^＊変換（（３）式および（４）式）によりＬ^＊ａ^＊ｂ^＊信号（Ｌ^＊ｉｎ（ｉ），ａ^＊ｉｎ（ｉ），ｂ^＊ｉｎ（ｉ））に変換する。同様に、ステップＳ１０８で得られた１８色の目標色Ｃｍｅ（ｉ）のＲＧＢ信号（Ｒｍｅ（ｉ），Ｇｍｅ（ｉ），Ｂｍｅ（ｉ））（ｉ＝１、２、…、１８）をＬ^＊ａ^＊ｂ^＊信号（Ｌ^＊ｍｅ（ｉ），ａ^＊ｍｅ（ｉ），ｂ^＊ｍｅ（ｉ））に変換する。
【００５８】
ステップＳ１１２〜Ｓ１２６では、減衰最小自乗法により色変換マトリクスＭの９個のマトリクス要素ｍ_１、ｍ_２、…、ｍ_９の値を求める。ステップＳ１１２では、まずＲｅｓ＝Ｒｍｅ、Ｇｅｓ＝Ｇｍｅ、Ｂｅｓ＝Ｂｍｅとなると仮定して最適化計算における出発点ｍ_１０、ｍ_２０、…、ｍ_９０の初期値に１、０、０、０、１、０、０、０、１が与えられる。
【００５９】
そしてステップＳ１１４では、上述した最小自乗法の正規方程式（８）式により出発点から解への移動量Δｍ_１〜Δｍ_９を求め、得られた移動量を出発点ｍ_１０〜ｍ_９０にそれぞれ加算してマトリクス要素ｍ_１〜ｍ_９の近似解を得る。ステップＳ１１６では、解が収束しているか否か、具体的には、得られた解をマトリクス要素とする色変換マトリクスＭを入力色Ｃｉｎ（１）〜Ｃｉｎ（１８）に作用させて得られる補正色Ｃｅｓ（１）〜Ｃｅｓ（１８）と、目標色Ｃｍｅ（１）〜Ｃｍｅ（１８）とのＬａｂ色差ΔＥ_１〜ΔＥ_１８の２乗和が許容誤差以下に収まるか否かを判定し、解が収束していればステップＳ１１４で得られた解を色変換マトリクス算出装置３４のメモリ（図示せず）に一時的に保存してステップＳ１２４に進む。ステップＳ１１６で解が収束していないと判定されると、さらにステップＳ１２０においてステップＳ１１４の計算回数が１０回を超えていないか否かが判定され、超えていなければステップＳ１２２において出発点ｍ_１０〜ｍ_９０の値が現在の解（ｍ_１０〜ｍ_９０の初期値と移動量Δｍ_１〜Δｍ_９との和）に更新され、ステップＳ１１４に戻る。ステップＳ１１４の計算回数が１０回を超えると、ステップＳ１２０からステップＳ１２４に進む。
【００６０】
要約すると、ステップＳ１１２〜ステップＳ１２２では、出発点ｍ_１０〜ｍ_９０の初期値を１、０、０、０、１、０、０、０、１に定め、算出したマトリクス要素ｍ_１〜ｍ_９の近似解を求め、その解を新たな出発点ｍ_１０〜ｍ_９０にするという処理を色差が許容誤差以下となるまで繰り返す。但し、１０回繰り返しても収束しないときには最適化計算を終了する。なお、ここでは４〜５回計算すればほぼ解が収束すると予測しているため回数制限は１０回に定めているが、特に回数は制限されず、色変換マトリクス算出装置３４の性能に応じて変えてもよい。
【００６１】
ステップＳ１１４〜ステップＳ１２２の最適化計算によって得られる解は、ステップＳ１１２で定められた出発点ｍ_１０〜ｍ_９０の初期値に依存し、初期値が変われば通常異なる解が得られる。このため、ここでは８つの初期値を１または０に固定したままで残り１つの初期値を０．０１毎に１または０から一定の範囲（±０．３）で単独に変化させた初期値の組を２７０組（＝３０×９）用意し、それぞれに対応する解を求める。ステップＳ１２４では、全ての初期値の組合せについて最適化計算が終了したか否かが判定され、終了していない場合にはステップＳ１１２に戻って、未だ用いられていない組の初期値が設定され、最適化計算が行われる。全ての初期値の組合せについて最適化計算が終了したと判定されるとステップＳ１２６に進む。このとき、メモリには１８色分の色差ΔＥ_１〜ΔＥ_１８の２乗和が許容誤差以下となる条件を満たすマトリクス要素ｍ_１〜ｍ_９の解の組が複数保存されている。
【００６２】
ステップＳ１２６では、複数のマトリクス要素ｍ_１〜ｍ_９の解の中から最適解を選出する。具体的には、得られた解の組合せをマトリクス要素とする色変換マトリクスＭを入力色Ｃｉｎ（１）〜Ｃｉｎ（１８）に作用させて得られる補正色Ｃｅｓ（１）〜Ｃｅｓ（１８）と、目標色Ｃｍｅ（１）〜Ｃｍｅ（１８）との色相角差Δθ_１〜Δθ_１８の２乗和が最も小さいという条件を満たす解が選出される。従って、ステップＳ１２６で得られたマトリクス要素ｍ_１〜ｍ_９は、マクベスカラーチャート４０の１８色分について、色差ΔＥ_１〜ΔＥ_１８の２乗和を許容誤差以下にし、なおかつ色相角差Δθ_１〜Δθ_１８の２乗和を最も小さくする値である。
【００６３】
なお最適解の選出条件としては、本実施形態に限定されず、目的に応じて変更してもよい。例えば、肌色等の特定色に関して色の一致度を優先させたい場合には、その特定色に関する補正色Ｃｅｓと目標色Ｃｍｅとの色差が限りなく零に近い許容誤差以下であることを選出条件に加えればよい。
【００６４】
ステップＳ１３２〜Ｓ１４２では、得られた色相最適化マトリクスＭの有効性が評価される。まず、ステップＳ１３２において、得られた解を色変換マトリクスＭとして、入力色Ｃｉｎ（１）〜Ｃｉｎ（１８）のＲＧＢ信号をそれぞれ色変換マトリクスＭで変換することにより補正色Ｃｅｓ（１）〜Ｃｅｓ（１８）のＲＧＢ信号（Ｒｅｓ（１），Ｇｅｓ（１），Ｂｅｓ（１））〜（Ｒｅｓ（１８），Ｇｅｓ（１８），Ｂｅｓ（１８））を求め（上述の（１）式および（２）式を参照）、さらにステップＳ１３４において、（３）式および（４）式のＲＧＢ→ＸＹＺ→Ｌ^＊ａ^＊ｂ^＊変換により、補正色Ｃｅｓ（１）〜Ｃｅｓ（１８）のＬ^＊ａ^＊ｂ^＊信号（Ｌ^＊ｅｓ（１），ａ^＊ｅｓ（１），ｂ^＊ｅｓ（１））〜（Ｌ^＊ｅｓ（１８），ａ^＊ｅｓ（１８），ｂ^＊ｅｓ（１８））を求める。
【００６５】
そしてステップＳ１３６において、直前のステップＳ１３４で得られた補正色Ｃｅｓ（１）〜Ｃｅｓ（１８）のＬ^＊ａ^＊ｂ^＊信号（Ｌ^＊ｅｓ（１），ａ^＊ｅｓ（１），ｂ^＊ｅｓ（１））〜（Ｌ^＊ｅｓ（１８），ａ^＊ｅｓ（１８），ｂ^＊ｅｓ（１８））と、ステップＳ１１０で得られた目標色Ｃｍｅ（１）〜Ｃｍｅ（１８）のＬ^＊ａ^＊ｂ^＊信号を（Ｌ^＊ｍｅ（１），ａ^＊ｍｅ（１），ｂ^＊ｍｅ（１））〜（Ｌ^＊ｍｅ（１８），ａ^＊ｍｅ（１８），ｂ^＊ｍｅ（１８））とに基づいて、上述の（１１）式により色相角差Δθ_１〜Δθ_１８をそれぞれ求め、その２乗和である色相誤差θｒｍｓを下記の（１４）式により求める。
【００６６】
【数１０】

【００６７】
ステップＳ１３８では、色相誤差θｒｍｓが許容値α以下であるか否かが判定され、色相誤差θｒｍｓが許容値αを超えた場合はステップＳ１０８に戻り、目標色Ｃｍｅ（１）〜Ｃｍｅ（１８）のＲＧＢ信号のいずれかを変更して新たに色変換マトリクスＭを求める。なお、ステップＳ１０８に戻って目標色Ｃｍｅ（１）〜Ｃｍｅ（１８）のＲＧＢ信号を再設定する際は、色相の変化が僅かとなるように、即ちモニタ装置３０における再現色の色味が被写体本来の色と変わらないように、各値が定められることが必要である。
【００６８】
ステップＳ１３８において色相誤差θｒｍｓが許容値α以下であると判定された場合には、入力色Ｃｉｎを目標色Ｃｍｅに対して色相に関して高精度に近似できる色変換マトリクスＭが得られたと見做され、ステップＳ１４０において色変換マトリクスＭの係数が現在の値に確定し、ステップＳ１４２において色変換マトリクス算出装置３４からデジタルカメラ１０へ色変換マトリクスＭの係数データを転送してメモリ２２に書き込んで終了する。
【００６９】
以上のように求められた色変換マトリクスＭをデジタルカメラ１０の色補正処理で用いると、測色信号に忠実な色再現ができるｓＲＧＢ信号を得ることができ、モニタ装置３０の画面に被写体本来の色に極めて近い色味で被写体像を表示できる。
【００７０】
このように、本実施形態では色補正に用いる色変換マトリクスＭを減衰最小自乗法によって求めている。この減衰最小自乗法においては、Ｌ^＊ａ^＊ｂ^＊色空間上で色差や色相が一致することをメリット関数φの収束条件に含めることができる（（６）式、（９）式、（１２）式、（１３）式を参照）ので、ＲＧＢ色信号を均等色空間（例えばＬ^＊ａ^＊ｂ^＊色空間）の色信号に変換することや、Ｌ^＊ａ^＊ｂ^＊色空間上での制約条件（色差や色相が一致すること等）を設定することが容易である。また、減衰最小自乗法においては色差ΔＥｉを線形近似するため、最適化計算が単純化され、計算時間も短縮される。ＲＧＢ色空間とＬ^＊ａ^＊ｂ^＊色空間との変換は乗数計算が含まれるので極めて複雑であるが、減衰最小自乗法を用いる場合には、入力色Ｃｉｎに色変換マトリクスＭを作用させた補正色Ｃｅｓと、目標色ＣｍｅとのＬ^＊ａ^＊ｂ^＊色空間における一致度の評価結果に基づいて色変換マトリクスＭを修正するためにＬ^＊ａ^＊ｂ^＊信号からＲＧＢ信号に戻す処理を必要としないので、処理時間の短縮が図れる。
【００７１】
なお、画像入力装置としては本実施形態のデジタルカメラ１０の他、デジタルビデオカメラ、スキャナ、電子内視鏡等であってもよい。また、本実施形態では色変換マトリクス算出装置３４をデジタルカメラ１０と別体にしているが、デジタルカメラ１０に色変換マトリクス算出機能を搭載してもよい。またさらに、色変換マトリクスを算出するとともに色補正できる画像処理ソフトウェアとしてパーソナルコンピュータにインストールし、デジタルカメラ１０から出力されたＲＡＷデータをパーソナルコンピュータで色補正できるように構成してもよい。
【００７２】
本実施形態では、撮像系で得られたＲＧＢ信号をｓＲＧＢ規格に合わせて色補正する色変換マトリクスを求めているが、本発明のマトリクス算出方法は特に色補正を目的とする色変換マトリクスの算出に限定されない。例えば異なる色空間の色信号を相互変換する（ＲＧＢ信号をＸＹＺ信号や印刷のためのＣＭＹＫ信号に変換する、補色のＣＭＹ信号をＲＧＢ信号に変換する等）ための色変換マトリクスの算出にも適用できる。
【００７３】
【発明の効果】
以上説明したように、本発明によると、色相に関して再現色を本来の色に高精度に近似できる色変換マトリクスを容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の色変換マトリクス算出方法および色変換方法の実施形態を示す図であって、色変換を行うデジタルカメラと、色変換マトリクスを算出する色変換マトリクス算出装置とを示すブロック図である。
【図２】色変換マトリクス算出の原理を示す図であって、所定の色に関してＬａｂ色空間における変換前の入力色と変換すべき目標色との位置を示す図である。
【図３】色変換マトリクス算出処理の処理流れおよび各種色信号の関係を模式的に示すブロック図である。
【図４】色変換マトリクス算出処理を示すフローチャートの第１の部分である。
【図５】色変換マトリクス算出処理を示すフローチャートの第２の部分である。
【図６】色変換マトリクス算出処理を示すフローチャートの最後の部分である。
【符号の説明】
１０デジタルカメラ
２０デジタル信号処理回路
３０モニタ装置
３４色変換マトリクス算出装置
４０カラーチャート

Claims

第１色空間の任意の色信号を第２色空間の色信号に変換するための色変換マトリクスを算出する色変換マトリクス算出方法であって、彩度および色相が段階的に変化する複数のカラーパッチに各々対応する第１色空間の色信号と、前記カラーパッチに各々対応する第２色空間の色信号とに基づいて、減衰最小自乗法により前記色変換マトリクスが求められることを特徴とする色変換マトリクス算出方法。
前記カラーパッチに各々対応する第１色空間の色信号に前記色変換マトリクスを作用させて得られる色信号と、前記カラーパッチに対応する前記第２色空間の色信号とのＣＩＥ−Ｌ^＊ａ^＊ｂ^＊均等色空間における色差および色相角の差が最小となるように、前記色変換マトリクスが求められることを特徴とする請求項１に記載の色変換マトリクス算出方法。
前記第２色空間の色信号が前記カラーパッチの測色信号であることを特徴とする請求項１に記載の色変換マトリクス算出方法。
前記カラーパッチが、マクベスカラーチャートの１８色の有彩色カラーパッチであることを特徴とする請求項１に記載の色変換マトリクス算出方法。
前記１８色の有彩色カラーパッチに対応する第１色空間の色信号は、前記マクベスカラーチャートの６色の無彩色カラーパッチに対応する第１色空間の色信号に基づいてホワイトバランス補正が施されることを特徴とする請求項４に記載の色変換マトリクス算出方法。
前記第１色空間の色信号がカラーフィルタを設けた撮像素子によって得られた３原色ＲＧＢ信号であり、前記第２色空間の色信号がｓＲＧＢ（スタンダード・レッド・グリーン・ブルー）信号であることを特徴とする請求項１に記載の色変換マトリクス算出方法。
画像の第１色空間における任意の色の色信号を色変換マトリクスを用いて第２の色空間における色信号に変換する色補正方法であって、彩度および色相が段階的に変化する複数のカラーパッチに各々対応する第１色空間の色信号と、前記カラーパッチに各々対応する第２色空間の色信号とに基づいて、減衰最小自乗法により前記色変換マトリクスが求められることを特徴とする色補正方法。