JP2014222823A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 撮影シーンの光源特性とは異なるホワイトバランスで撮影を行う場合であっても、色変換精度を向上させるための画像処理を提供することを目的とする。
【解決手段】 本発明に係る画像処理装置は、撮影照明下の光源情報に基づき撮影画像データを変換する第１変換部と、ホワイトバランスの設定情報と前記光源情報とに基づき、前記第１変換部により変換された撮影画像データを変換する第２変換部とを有する。
【選択図】 図３

Description

ホワイトバランス処理における色変換処理に関する。

一般的に、デジタルカメラの撮影では、撮影照明下での白色がＲ、Ｇ、Ｂの各信号値が等しくなるようにカメラ内部でホワイトバランス処理を行う。特許文献１では、白色を撮影した画像信号を元に撮影光源を推定し、推定した撮影光源に対応する光源パラメータに基づいて撮影照明下での白色が無彩色になるようにＲＧＢ値を調整する技術が開示されている。

一方で、撮影シーンの照明の雰囲気を残すため、敢えて実際の光源とは異なるホワイトバランス設定で撮影を行う場合がある。例えば、３０００Ｋの赤い照明下で撮影を行う場合に、カメラのホワイトバランス設定を照明下よりも高い５５００Ｋにすると、白色を赤っぽい色として記録することができる。このような撮影手法は、写真撮影や映画などの動画撮影などで用いられている。

特開２００６−３１９８３０号公報

しかしながら、上述のようにＲＧＢのゲイン調整によるホワイトバランス処理では、色順応を考慮していないため、人が知覚する色に対して、白色以外の色変換精度が低下してしまうという課題があった。その結果、撮影シーンの光源特性とは異なるホワイトバランスで撮影を行った画像の色は、設定したホワイトバランスで順応した時に人が知覚する色とは異なる色として認識されてしまっていた。

そこで本発明では、撮影シーンの光源特性とは異なるホワイトバランスで撮影を行う場合であっても、色変換精度を向上させるための画像処理を提供することを目的とする。

本発明に係る画像処理装置は、撮影照明下の光源情報に基づき撮影画像データを変換する第１変換部と、ホワイトバランスの設定情報と前記光源情報とに基づき、前記第１変換部により変換された撮影画像データを変換する第２変換部とを有する。

本発明は、撮影シーンの光源特性とは異なるホワイトバランスで撮影を行う場合であっても、色変換精度を向上させることができる。

デジタルカメラの構成を示すブロック図。 コンピューターシステムの構成を示すブロック図。 実施例１に係る画像処理の構成を示すブロック図。 実施例１に係る画像処理のフローチャート。 実施例２に係る画像処理の構成を示すブロック図。 実施例２に係る画像処理のフローチャート。 実施例３に係る画像処理の構成を示すブロック図。 実施例３に係る画像処理における処理を示すフローチャート。 実施例４に係る画像処理の構成を示すブロック図。 実施例４に係る画像処理における処理を示すフローチャート。 実施例４におけるユーザーインタフェースの一例を示す図。

以下、本発明の実施例に係る画像処理を図面を参照して詳細に説明する。なお、同一の構成については、同じ符号を付して説明する。

＜デジタルカメラの構成＞
図１は撮像装置としてのデジタルスティルカメラ１０（以下、デジタルカメラとも呼ぶ）の構成図である。デジタルカメラ１０は、光学部１０１、ＣＣＤ１０２、タイミング信号発生部１０３、Ａ／Ｄ変換回路１０４、画像処理回路１０５、エンコーダ／デコーダ１０６、制御部１０７、入力部１０８、グラフィックＩ／Ｆ（インターフェース）１０９を具備する。また、ディスプレイ１１０、Ｒ／Ｗ（リーダ／ライタ）１１１、メモリカード１１２、出力Ｉ／Ｆ１１３を具備する。

これらのうち、光学部１０１、タイミング信号発生部１０３、Ａ／Ｄ変換回路１０４、画像処理回路１０５、エンコーダ／デコーダ１０６、入力部１０８、グラフィックＩ／Ｆ１０９、Ｒ／Ｗ１１１、出力Ｉ／Ｆ１１３は、制御部１０７に接続されている。

光学部１０１は、被写体からの光をＣＣＤ１０２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。これらは制御部１０７からの制御信号に基づいて駆動される。

ＣＣＤ１０２は、タイミング信号発生部１０３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。

タイミング信号発生部１０３は、制御部１０７の制御の下でタイミング信号を出力する。

Ａ／Ｄ変換回路１０４は、ＣＣＤ１０２から出力された画像信号に対して、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

画像処理回路１０５は、Ａ／Ｄ変換回路１０４からの画像信号に対して、デモザイキング処理、ホワイトバランス処理、色補正処理、ＡＦ処理、ＡＥ処理などのカメラ信号処理の全てまたは一部の処理を実行する。

エンコーダ／デコーダ１０６は、画像処理回路１０５からの画像信号に対して、ＪＰＥＧ方式などの所定の静止画像データフォーマットで（圧縮）符号化処理を行う。また、制御部１０７から供給された静止画像の符号化データを（伸張）復号化処理する。

制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、デジタルカメラの各部を統括的に制御する。

入力部１０８は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザーによる入力操作に応じた制御信号を制御部１０７に出力する。

グラフィックＩ／Ｆ１０９は、制御部１０７から供給された画像信号から、ディスプレイ１１０に表示させるための画像信号を生成して、この信号をディスプレイ１１０に供給し、画像を表示させる。

ディスプレイ１１０は、例えば液晶ディスプレイであり、撮像中のカメラスルー画像や記録されたデータを再生した画像などを表示する。

Ｒ／Ｗ１１１には、撮像により生成された画像データなどを記録する記録媒体として、可搬型のフラッシュメモリからなるメモリカード１１２が着脱可能に接続される。Ｒ／Ｗ１１１は、制御部１０７から供給されたデータをディスプレイ１１０に書き込み、また、メモリカード１１２から読み出したデータを制御部１０７に出力する。なお、記録媒体としては、他に、例えば書き込み可能な光ディスクやＨＤＤなどが用いられてもよい。

出力Ｉ／Ｆ１１３は、例えばＵＳＢ、ＨＤＭＩ（登録商標）、ＨＤ−ＳＤＩなどの接続端子であり、メモリカード１１２に記録された画像信号をＰＣなどの外部機器に送信する。

＜デジタルカメラの動作＞
ここで、上記のデジタルカメラにおける基本的な動作について説明する。

撮像前には、ＣＣＤ１０２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換回路１０４に供給される。Ａ／Ｄ変換回路１０４では、ＣＣＤで受光により発生した信号をデジタル信号に変換する。

画像処理回路１０５は、Ａ／Ｄ変換回路１０４から供給されたデジタル画像信号に基づいて画質補正処理し、カメラスルー画像の信号として、制御部１０７を介してグラフィックＩ／Ｆ１０９に供給する。これにより、カメラスルー画像がディスプレイ１１０に表示され、ユーザーはディスプレイ１１０を見て画角合わせを行うことが可能となる。

この状態で、ユーザーは、入力部１０８を介して、画像記録するためのホワイトバランスの設定を行う。そして、入力部１０８のシャッタレリーズボタンが押下されると、制御部１０７は、光学部１０１およびタイミング発生回路１０３に制御信号を出力して、光学部１０１のシャッタを動作させる。これによりＣＣＤ１０２からは、画像信号が出力される。

画像処理回路１０５は、ＣＣＤ１０２からＡ／Ｄ変換回路１０４を介して供給された画像信号に、ユーザーの入力に基づいた画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ１０６に供給する。

エンコーダ／デコーダ１０６は、入力された画像信号を（圧縮）符号化し、生成した符号化データを、制御部１０７を介してＲ／Ｗ１１１に供給する。そして、撮像された画像データ及びホワイトバランス設定や撮影シーンの光源情報などの撮影条件がメモリカード１１２に記憶される。

そして、ＰＣなど外部機器との接続があった場合は、出力Ｉ／Ｆ１１３を解してメモリカード１１２に記録された画像データと撮影条件情報を外部機器に出力する。

なお、ＣＣＤ１０２は、ＣＣＤに限定せず、例えばＣＭＯＳなど違う方式の撮像素子でも構わない。

＜コンピューターシステムの構成＞
図２はコンピューターシステム２０の構成図である。コンピューターシステム２０は、ＣＰＵ２０１、メインメモリ２０２、ＨＤＤ２０３、汎用インターフェース２０４、表示装置２０５、メインバス２０６、キーボードやマウス等の指示入力部２０７、外部記憶装置２０８を備える。汎用インターフェース２０４は、指示入力部２０７や外部記憶装置２０８などをメインバス２０６に接続する。

＜コンピューターシステムの動作＞
以下では、ＣＰＵ２０１がＨＤＤ２０３に格納されたソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について説明する。まず、ＣＰＵ２０１は、指示入力部２０７に対するユーザーの指示により、ＨＤＤ２０３や外部記憶装置２０８に格納されている、画像処理装置のソフトウェアとしてのコンピュータープログラムを起動する。そして、アプリケーションをメインメモリ２０２に展開すると共にモニタである表示装置２０５にユーザーインタフェースを表示する。

続いて、ＨＤＤ２０３や外部記憶装置２０８に格納されている各種データが、ＣＰＵ２０１からの指令に基づきメインバス２０６経由によりメインメモリ２０２に転送される。前記メインメモリ２０２に転送された各種データは、ＣＰＵ２０１からの指令により所定の演算処理が行われ、演算処理の結果がメインバス２０６経由によって表示装置２０５上に表示、あるいは、ＨＤＤ２０３や外部記憶装置２０８に格納される。

＜画像処理の構成＞
次に、画像処理装置としてのコンピューターシステム２０のＣＰＵ２０１がデジタルカメラ１０の画像データの色補正を行う処理について図３を用いて説明する。

図３において、ホワイトバランス設定部３０１はユーザーが入力部１０８を介して指示したホワイトバランスの設定情報を設定する。

シーン光源情報算出部３０２は撮影シーンの光源の情報（撮影照明下の光源情報）を算出する。シーン光源情報算出部３０２は、撮影シーン（以下、シーンとも呼ぶ）の光源の情報を画像信号から計算する計算回路でも構わないし、または、ＣＣＤ１０２とは別の、分光情報を測定して出力するセンサでも構わない。

第１補正量決定部３０３はシーン光源情報算出部３０２の情報に基づいて第１の補正処理を行うための補正量を決定する。

第１画像変換部３０４は第１補正量決定部３０３が決定した補正量に基づいて、第１の補正処理を行う。

第２補正量計算部３０５はホワイトバランス設定部３０１が設定した設定情報とシーン光源情報算出部３０２の情報を使って第２の補正処理のための補正量を計算する。

第２画像変換部３０６は第２補正量計算部３０４の結果に基づいて第２の画像補正処理を行う。

＜画像処理の動作＞
図４は、本実施例における画像処理のフローチャートである。

Ｓ４０１では、ホワイトバランス設定部３０１がデジタルカメラ１０で設定したホワイトバランスの設定情報を第２補正量計算部３０４が取得する。設定情報は、例えば、Ｄ５０、Ｄ６５、Ａなどの光源名称や３０００Ｋ、５０００Ｋといった色温度でもよい。

Ｓ４０２では、第１補正量決定部３０３および第２補正量計算部３０４がシーン光源情報算出部３０２より撮影シーンの光源情報を取得する。シーン光源情報算出部３０２においてシーンの光源情報を算出する方法については任意である。本実施例では、ホワイトバランス補正前の画像データ中で、Ｇの画素値（信号値）が最大となる画素値Ｒ_ｗＧ_ｗＢ_ｗを撮影シーンの光源情報として算出する。他の算出手法としては、例えばデジタルカメラ１０内に分光センサを設け、センサから得られる分光放射輝度とデジタルカメラ１０の予め保持しているカラーフィルタ特性との出力値を解析して画素値Ｒ_ｗＧ_ｗＢ_ｗを算出する方法がある。また、撮影前にユーザーが撮影シーンの光源情報を指示し、光源情報とＲＧＢ値との対応関係を示す複数の組を予め保持しておき、この組から指示された光源情報に対応するＲＧＢ値を求めることで画素値Ｒ_ｗＧ_ｗＢ_ｗを算出する方法もある。

Ｓ４０３では、第１補正量決定部３０３において、撮影シーンの光源情報に対応させて予め用意された複数の変換マトリクスの中から変換マトリクスＭを選択し、選択された変換マトリクスＭを補正量とする。この複数の変換マトリクスは、撮影データのＲＧＢ値を共通色空間に変換するための補正量である。また、この変換マトリクスは、撮影シーンの光源情報毎に異なり、Ｓ４０３ではシーンに応じて最適なマトリクスを選択するものとする。

Ｓ４０４では、第１画像変換部３０４において、Ｓ４０３で得られた補正量に基づいて第１の色補正処理を実施する。本実施例では、入力画像データとしての撮影データであるＲＧＢ信号値に対して撮影シーンの光源情報に基づいたホワイトバランス処理を行い、任意の色を表す数値に変換する。本実施例では、例として３刺激値であるＸＹＺ値に変換する。なお、ホワイトバランス処理を行うのは、入力画像データがＲＡＷ形式である場合であり、ＪＰＥＧなどのディベイヤ後の形式であれば、ホワイトバランス処理は不要である。

まず、式（２）によってホワイトバランス処理を実施する。

続いて、（３）式によりＸＹＺ値に変換する。

なお、本実施例では式（３）のマトリクスＭを、カメラＲＧＢから３刺激値へのＸＹＺの変換として説明したがこれに限定しない。たとえば式（３）のマトリクスＭによる変換はカメラのＲＧＢから標準色空間であるｓＲＧＢ、ＡｄｏｂｅＲＧＢ、ＡＣＥＳＲＧＢへの変換であってもよい。そして、標準色空間のＲＧＢからＸＹＺへの変換は規定の変換式を用いればよい。

Ｓ４０５では、第２補正量計算部３０５において、Ｓ４０１で得られたホワイトバランスの設定情報とＳ４０２で得られた撮影シーンの光源情報とを用いて第２の補正量を計算する。まず、ホワイトバランスの設定情報と３刺激値であるＸＹＺとの対応関係を示す複数の組を予め保持しておき、この組からホワイトバランスの設定情報に対応した白色の３刺激値であるＸ_ｗｂＹ_ｗｂＺ_ｗｂを読み込む。ここで、Ｙ_ｗｂの値は１．０に正規化されているとする。このＸＹＺを式（４）により、人の視覚におけるＬＭＳ錐体の感度をあらわすＬ_ｗｂＭ_ｗｂＳ_ｗｂに変換する。この変換により、人が錐体上で知覚している知覚量に変換することができる。なお、本実施例ではＣＡＴ０２として規定されている周知の変換式を用いるが、Ｂｌａｄｆｏｒｄ変換式など他の変換式でもかまわない。

次に、撮影シーンの光源情報から得られる、撮影シーンの白色を表すＲ_ｗＧ_ｗＢ_ｗの値を式（１）、（３）を用いてＸ_ｗＹ_ｗＺ_ｗに変換する。次に、式（４）と同様に次の式（５）を用いて、Ｘ_ｗＹ_ｗＺ_ｗを人の錐体上での知覚量として、ＬＭＳ錐体の感度をあらわすＬ_{ｓｃｅｎｅ}Ｍ_{ｓｃｅｎｅ}Ｓ_{ｓｃｅｎｅ}にする。

最後に、式（４）、（５）の結果より、式（６）を用いて第２の補正量であるｇａｉｎ＿Ｌ、ｇａｉｎ＿Ｍ、ｇａｉｎ＿Ｓを計算する。

Ｓ４０６では、Ｓ４０５で算出した補正量を用いて画像信号を補正する。この補正量は、ＬＭＳ錐体上における、ホワイトバランスの白に対するシーンの白の知覚量の比率を表している。この補正量を用いることで、ホワイトバランスで設定した白に順応したときに知覚される色に変換することが可能となる。まず、次の式（７）を用いて、Ｓ４０４で得られたＸＹＺをＳ４０５と同様にＬＭＳの情報に変換する。

続いて、次の式（８）によってＬＭＳに対して、Ｓ４０５で得られた補正量を乗算してＬ´Ｍ´Ｓ´を計算する。

続いて、Ｌ´Ｍ´Ｓ´を３刺激値であるＸ´Ｙ´Ｚ´に変換する。

最後に３刺激値Ｘ´Ｙ´Ｚ´をカメラのＲＧＢ値であるＲ´Ｇ´Ｂ´に変換する。

以上で、本実施例における画像処理装置の動作は終了である。

なお、上記では、Ｓ４０５において、Ｓ４０１で得られたホワイトバランスの設定情報に対応した白色の３刺激値であるＸ_ｗｂＹ_ｗｂＺ_ｗｂを求めたが、Ｓ４０１で求めておいてもよい。

以上、本実施例では、撮影シーンに応じた色変換で色変換精度を保ち、その後でホワイトバランス設定に応じた色補正を行うので、撮影時の照明とホワイトバランス設定を考慮した高精度な画像変換が可能となる。さらに、本発明では、撮影シーンとホワイトバランス設定の組み合わせ毎に変換プロファイルとしての変換マトリクスを持つ代わりに、撮影シーンの種類の分だけ変換プロファイルを持っておけばよいので、メモリを削減できるというメリットがある。

なお、本実施例では、デジタルカメラとコンピューターシステムの構成で発明の説明をしたが、コンピューターシステムの処理をデジタルカメラ内に組み込んだデジタルカメラのみの構成であっても同様の処理が可能である。

実施例１では、静止画を撮影する場合の画像処理について説明した。本実施例では動画を撮影する場合の画像処理について説明する。なお、実施例１と異なる点を中心に簡潔に説明する。デジタルビデオカメラとコンピューターシステムの構成は実施例１と同じであるが、デジタルビデオカメラの構成である図５が異なる。

＜ビデオカメラの構成＞
本実施例におけるデジタルビデオカメラの構成について図１を用いて説明する。１０１〜１１３の名称及び構成はデジタルカメラ１０と同じである。

タイミング信号発生部１０３は、撮影する動画のフレームレート（一秒間の撮影数）に応じて一定の時間間隔で信号を発生する。

エンコーダ／デコーダ１０６は、画像処理回路１０５からの画像信号に対して、Ｈ．２６４やＡＶＩ、ＤＰＸ、ＲＡＷなどの所定の動画画像データフォーマットで（圧縮）符号化処理を行う。

＜ビデオカメラの動作＞
ここで、上記のデジタルビデオカメラにおける基本的な動作について、図１を用いて実施例１との差分を説明する。

ユーザーは、入力部１０８を介して、動画記録するためのホワイトバランスの設定以外に、動画の解像度及びフレームレートを設定する。

入力部１０８を介して動画録画開始ボタンが押下されると、制御部１０７は光学部１０１およびタイミング発生回路１０３に、フレームレートに応じた時間間隔で制御信号を出力して光学部１０１のシャッタを動作させる。これによりＣＣＤ１０２からは一定の時間間隔で画像信号が出力される。その後、ユーザーが入力部１０８を介して動画録画終了ボタンを押下するまで、実施例１と動揺に記録の動作を繰り返す。

＜画像処理装置の構成＞
次に、画像処理装置としてのコンピューターシステムのＣＰＵ２０１がデジタルビデオカメラの画像データの色補正を行う処理について図５を用いて説明する。図５において、３０１〜３０６は実施例１と同じである。シーン切り替え判定部５０１は画像信号及び画像信号に付属する情報からシーンの切り替えが行われたかどうかを判定する。

＜画像処理の動作＞
図６は、本実施例における画像処理のフローチャートである。

Ｓ６０１では、シーン切り替え判定部５０１において動画撮影データを解析し、シーンの切り替えがあったかどうかを判定する。判定方法は任意でよい。例えば、動画撮影データに付与された記録時間のデータから判定する方法がある。他の方法としては画像内のＲＧＢの信号情報を解析し変化量の大小から判定する方法がある。シーンの切り替えがあった場合は、Ｓ６０２に移動する。シーンの切り替えがない場合はＳ６０９に移動する。

Ｓ６０２〜６０７については実施例１におけるＳ４０１から４０６と同じである。

Ｓ６０８では、シーンの切り替えがないと判断され、第１画像変換部３０４において前フレームで行った処理と同じ処理を行う。

Ｓ６０９では、第２画像変換部３０６において前フレームで行った処理と同じ処理を行う。

Ｓ６１０では、動画の全フレームの変換が終了したかどうかを判定する。終了していない場合はＳ６０１に戻り処理を繰り返す。

以上、本実施例では、動画撮影データに対して撮影シーンの切り替え検出し、撮影シーンの切り替えに応じて、撮影シーンの照明情報に基づいた色補正とユーザーが設定したホワイトバランス設定の情報に応じた色補正を行う。そのため、撮影シーンに適した高精度な色補正を行うことができる。さらに、撮影シーンの切り替えに応じて撮影シーンの照明情報とホワイトバランスの設定情報を取得すればよいので、動画の全フレームに対して撮影シーンの照明情報とホワイトバランス設定の情報を取得する必要がなく、処理の負荷を軽減できる。なお、本実施例では、デジタルビデオカメラとコンピューターシステムの構成で発明の説明をしたが、コンピューターシステムの処理をデジタルカメラ内に組み込んだデジタルカメラのみの構成であっても同様の処理が可能である。

本実施例の画像処理装置の構成について、図７のブロック図を参照して説明する。画像処理装置１は、画像入力機器２、ホワイトバランス設定部４、シーン光源情報取得部６と接続し、各種データの入出力を行う。

画像入力機器２は、デジタルカメラやデジタルビデオカメラ等、シーンや被写体を撮影し、画像データに変換する。画像入力部３は、画像入力機器２にて撮影した画像データを画像処理装置１に入力する。ホワイトバランス設定部４は、撮影したシーンのホワイトバランス処理に用いるパラメータを設定する。ホワイトバランス設定入力部５は、ホワイトバランス設定部４にて設定したホワイトバランス処理のパラメータを画像処理装置１に読み込む。シーン光源情報取得部６は、画像入力機器２にて撮影したシーンの光源情報を設定する。シーン光源情報入力部７は、シーン光源情報取得部６にて設定したシーンの光源情報を画像処理装置１に読み込む。ホワイトバランス処理部８は、ホワイトバランス設定入力部５にて入力されたホワイトバランス処理のパラメータに基づき、ホワイトバランス処理を行う。色変換パラメータ算出部９は、画像入力機器２にて撮影された画像データの色変換パラメータを算出する。色変換処理部１９は、色変換パラメータ算出部９にて算出した色変換パラメータに基づき、ホワイトバランス処理部８にてホワイトバランス処理を行った後の画像データの色変換を行う。

また、画像処理装置１は、カメラ分光特性記憶部１１、教師データ分光特性記憶部１２、色変換画像記憶部１８と接続し、各種データの入出力を行う。

カメラ分光特性記憶部１１は、画像入力機器２であるカメラの分光特性を記憶しておく。教師データ分光特性記憶部１２は、色変換パラメータの算出に用いるための、教師データの分光特性を記憶しておく。カメラ分光特性入力部１３は、カメラ分光特性１１に記憶してあるカメラの分光特性を画像処理装置１に読み込む。教師データ分光特性入力部１４は、教師データ分光特性記憶部１２に記憶してある教師データの分光特性を画像処理装置１に読み込む。カメラ出力値推定部１５は、教師データ分光特性入力部にて入力した教師データの分光特性と、カメラ分光特性入力部１３にて入力したカメラ分光特性、および、シーン光源情報入力部７にて入力したシーン光源情報を用いて、カメラ出力値を推定する。色再現目標算出部１６は、教師データ分光特性入力部にて入力した教師データの分光特性と、シーン光源情報入力部７にて入力したシーン光源情報を用いて、色再現目標値を算出する。画像出力部１７は、色変換処理部にて色変換処理を行った画像データを出力する。

色変換画像記憶部１８は、画像出力部１７から出力された画像データを記憶しておく。

図８は、本実施例にて行われる画像処理のフローチャートである。

Ｓ２０１では、画像入力機器２にて、実シーンの撮影を行い、画像入力部２より、撮影画像データを画像処理装置１に読み込む。

Ｓ２０２では、ホワイトバランス設定部４にて、ユーザーが任意の光源情報をホワイトバランスの設定値として設定を行う。ここで、設定するホワイトバランス設定値は、必ずしもシーンの光源の情報と一致している必要はない。たとえば、シーンの光源がタングステン光源である場合、タングステンの赤みがかった雰囲気を撮影データに反映するため、敢えて、５０００Ｋ（中白色）や、６５００Ｋ（昼光色）に設定してもよい。

Ｓ２０３では、シーン光源情報取得部６にて、シーンの実際の光源情報を取得する。この取得方法は、ユーザーが目視、或いは測色機を用いて測定した色温度を設定するようにしてもよいし、一般的なホワイトバランス処理のように、撮影画像の色分布を解析し、シーンの実際の色温度を取得するようにしてもよい。

Ｓ２０４では、教師データ分光特性記憶部１２に記憶されている教師データの分光特性を、教師データ分光特性入力部１４から、画像処理装置１に読み込む。

Ｓ２０５では、カメラ分光特性記憶部１１に記憶されている画像入力装置２の分光特性を、カメラ分光特性入力部１３から、画像処理装置１に読み込む。

Ｓ２０６では、色再現目標算出部１６にて、色再現目標値（ Ｘ_{＿ｔａｒｇｅｔ}（ｉ）， Ｙ_{＿ｔａｒｇｅｔ}（ｉ）， Ｚ_{＿ｔａｒｇｅｔ}（ｉ） ）を算出する。この時、Ｓ２０３にて取得したシーン光源情報、Ｓ２０４にて取得した教師データの分光特性を用い、式（１１）に基づき処理を行う。

Ｓ２０７では、カメラ出力推定部１５にて、カメラ出力推定値（ Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ） ）を算出する。この時、Ｓ２０３にて取得したシーン光源情報、Ｓ２０４にて取得した教師データの分光特性、および、Ｓ２０５にて取得したカメラ分光特性を用い、式（１２）に基づき処理を行う。

Ｓ２０８では、ホワイトバランス処理部８にて、Ｓ２０１にて読み込んだ撮影データ、および、Ｓ２０７にて推定したカメラ出力推定値に対し、式（１３）に基づきホワイトバランス処理を行う。

Ｓ２０９では、Ｓ２０６にて算出した色再現目標との誤差が小さくなるように、色変換パラメータ算出部９にて、式（１４）にて表される色変換により、カメラ出力推定値を変換するための、色変換パラメータ（Ｍ）を最適化処理する。

Ｓ２１０では、Ｓ２０９にて算出した色変換パラメータを用い、ホワイトバランス処理を行った撮影データを、色変換処理部１９にてＸＹＺ値に変換した後、一般的なＸＹＺ値からＲＧＢ値への変換処理を用いて、ＲＧＢ値に変換する。ここで、出力ＲＧＢ値の色空間は、例えば、デジタルカメラであれば、ｓＲＧＢ色空間やＡｄｏｂｅＲＧＢ色空間、また、シネマカメラであれば、ＡＣＥＳ色空間やＤＣＩ色空間等でよく、特に限定するものではない。

Ｓ２１１では、Ｓ２１０にて色変換を行った色変換画像を、画像出力部１７より出力する。

Ｓ２１２では、Ｓ２１１にて出力された色変換画像を、色変換画像記憶部１８に記憶する。

＜教師データの分光特性＞
上記Ｓ２０４にて取得する教師データの分光特性は、例えば、ＳＯＣＳに代表されるような、一般的な分光データベースの値を用いても良いし、カメラメーカーが、色再現を重要視する色（肌色や、植物の緑色等）の実測値を用いてもよい。或いは、ユーザーが重要視する色の分光データを用意し、読み込むようにしても良い。

＜カメラ分光特性＞
上記Ｓ２０５にて取得するカメラの分光特性は、ＲＧＢカラーフィルタのみの分光特性ではなく、レンズ、或いはセンサの分光特性も含んだ、画像入力機器トータルの分光特性であることが望ましい。

＜ホワイトバランス処理＞
上記、式（１３）において、ホワイトバランス用の光源のＲＧＢ値は、分光データから算出するとしたが、この方法に限定されるものではない。たとえば、予め、ホワイトバランス設定に対応したＲＧＢ値（Ｒ_ＷＢ， Ｇ_ＷＢ， Ｂ_ＷＢ）を準備しておき、取得したホワイトバランス設定に応じて、（Ｒ_ＷＢ， Ｇ_ＷＢ， Ｂ_ＷＢ）を選択するようにしてもよい。

＜カメラ出力値推定＞
上記、Ｓ２０７にて算出するカメラ出力値の推定値は、式（１２）に示されるように、分光データに基づいて算出するとしたが、これに限定されるものではない。例えば、実際に、測色値が既知であるカラーチャートを撮影し、実際の撮影データのＲＧＢ値を用いるようにしてもよい。

以上、説明した実施例３によれば、ユーザーが設定したホワイトバランス設定値と、実際に撮影したシーンの光源情報とを用いて色変換パラメータを作成することで、好適な色変換を行うことが可能となる。

実施例３では、教師データ分光特性、およびカメラ分光特性を用い、撮影後に色変換バラメータを算出する方法に関して説明した。実施例４では、予め、複数のホワイトバランス設定とシーン光源情報について色変換パラメータを作成しておき、それら算出済みの色変換パラメータから好適なものを選択する方法について説明する。

実施例４における画像処理装置のブロック図を図９に示す。ただし、実施例３と異なる点を中心に簡潔に説明する。

色変換パラメータ記憶部９０１は、予め作成しておいた、複数のホワイトバランス設定とシーン光源情報に対応する色変換パラメータを記憶しておく。

色変換パラメータ選択部９０２は、取得したホワイトバランス設定値、およびシーン光源情報に基づき、色変換パラメータ記憶部３１９に記憶されている複数の色変換パラメータから、好適なものを選択する。

図１０は、実施例４にて行われる画像処理のフローチャートである。ただし、Ｓ１００１からＳ１００３、および、Ｓ１００５からＳ１００７までは、実施例３における、Ｓ２０１、Ｓ１０３、および、Ｓ２１０からＳ２１２までと同一の処理であるため、説明を省略する。

Ｓ１００４では、色変換パラメータ選択部９０２にて以下の処理を行う。即ち、Ｓ１００２にて取得したホワイトバランス設定値、およびＳ１００３にて取得したシーン光源情報に基づき、色変換パラメータ記憶部９０１に記憶されている複数の色変換パラメータから好適なものを選択する。

＜複数の色変換パラメータの選択方法＞
Ｓ１００４にて選択する色変換パラメータに関し、予め複数のホワイトバランス設定値、及びシーン光源情報を複数用意し、取得されたホワイトバランス設定値、及びシーン光源情報と最も近い条件で算出した色変換パラメータを選択するようにしてもよい。この時、例えば、図１１に示すようなユーザーインタフェースを用い、予め用意したホワイトバランス用光源、及び、シーン光源から、ユーザーがプルダウン方式等により選択してもよい。

＜カメラの階調特性＞
上記、実施例３および実施例４においては、簡単のため、カメラの階調特性に関する説明を省略した。実際のカメラでは、センサ特性や、内部の画像処理等により、出力値が、被写体の反射率、或いは輝度に対してリニアになっていない場合がある。そのため、センサの出力値が、被写体の反射率、或いは輝度に対してリニアになるような階調変換処理を行うようにするのが望ましい。

以上、実施例４により、ユーザーが設定したホワイトバランス設定値と、実際に撮影したシーンの光源情報とを用いて複数の色変換パラメータから最適なものを選択し、最適な色変換を行うことが可能となる。

また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。

Claims (12)

1. 撮影照明下の光源情報に基づき撮影画像データを変換する第１変換部と、
   ホワイトバランスの設定情報と前記光源情報とに基づき、前記第１変換部により変換された撮影画像データを変換する第２変換部と
   を有することを特徴とする画像処理装置。
2. 前記光源情報は、前記撮影照明下における白色を示す値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影画像データはＲＧＢ信号であり、
   前記光源情報は、前記ＲＧＢ信号のＧの信号値が前記撮影画像データの中で最大であるＲＧＢ信号であることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記設定情報は、前記撮影画像データが撮影された際に設定された撮影照明を示す情報であることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
5. 前記設定情報は、ユーザーの指示により設定された情報であることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記第１変換部は、光源情報に対応させて予め用意された複数の変換マトリクスの中から前記撮影照明下の光源情報に対応する変換マトリクスを選択し、選択されたマトリクスを用いて前記撮影画像データを変換することを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
7. 前記第２変換部は、前記設定情報と前記光源情報とに基づき、視覚の感度における補正量を求め、該補正量に基づき前記第１変換部により変換された撮影画像データを変換することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
8. 前記画像処理装置は、デジタルスティルカメラまたはデジタルビデオカメラであることを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
9. 前記撮影画像データは動画撮影データであり、
   前記動画撮影データの中にシーン切り替えがあるか否かを判定する判定部を有し、
   前記シーンの切り替えに応じて、前記第１変換部による変換と前記第２変換部による変換とを行うことを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
10. 前記第２変換部は、予め用意している教師データの分光特性と、前記撮影画像データを撮影する画像入力機器の分光特性とを用い、前記ホワイトバランスの設定情報と前記撮影照明下の光源情報とに基づき最適化処理して前記第１変換部により変換された撮影画像データを変換することを特徴とする請求項１に記載の画像処理装置。
11. コンピュータを、請求項１乃至請求項１０の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
12. 第１変換部が、撮影照明下の光源情報に基づき撮影画像データを変換する第１変換工程と、
    第２変換部が、ホワイトバランスの設定情報と前記光源情報とに基づき、前記第１変換工程により変換された撮影画像データを変換する第２変換工程と
    を有することを特徴とする画像処理方法。