JP2006217169A - 画像処理装置及びカラー撮像装置 - Google Patents

Abstract

【課題】任意のカラー画像信号に対して最適な色補正マトリクス係数を求めることができ、どのような光源下で撮影された画像に対しても良好な色再現を実現可能にする。
【解決手段】予め設定された複数の基準光源に対応する最適な色補正マトリクス係数を記憶しておき、入力するカラー画像信号に対して検出した撮影時の照明光源を使用し、前記記憶した色補正マトリクス係数を補間演算して、そのカラー画像信号に対する色補正マトリクス係数を算出する。所定の色空間上における前記複数の基準光源が通る軌跡に対して、前記検出された照明光源の前記色空間上の位置から最短距離にある軌跡上の点を求める。前記求めた軌跡上の点の位置と、この点を挟む軌跡上の２点の基準光源の位置とに基づいて２点の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算して、入力するカラー画像信号に対する色補正マトリクス係数を算出する。
【選択図】 図４

Description

本発明は画像処理装置及びカラー撮像装置に係り、特に任意の光源下で撮像したカラー画像に対して好ましい色再現を実現する技術に関する。

従来、カラー画像を示す色信号から色温度を検出し、この検出した色温度に応じてホワイトバランス補正係数と色補正のための色補正マトリクス係数を算出するようにしたオートホワイトバランス装置が提案されている（特許文献１）。

この特許文献１における色補正マトリクス係数の算出方法は、ホワイトバランス調整前の色差信号Ｃｂの１画面分の平均値を輝度信号Ｙの平均値で規格化した値Ｃｂｙの色温度で、３０００Ｋ及び６０００Ｋの相対色温度における色補正マトリクス係数を直線補間して、入力する色信号に対する色補正マトリクス係数を算出するようにしている。

また、特許文献２には、カラー画像を示す色信号から照明光源を推定し、予め各照明光源に対応してテーブルに記憶した色補正マトリクス係数の中から前記推定した照明光源に近い色補正マトリクス係数を読み出し、又はテーブルに記憶した色補正マトリクス係数の値から補間してその光源に対する色補正マトリクス係数を求め、この色補正マトリクス係数に使用して前記色信号にマトリクス演算を行うことで色補正する記載がある。
特開平６−３５１０３８号公報 特開平１０−１９１３７８号公報

特許文献１に記載の装置は、３０００Ｋ及び６０００Ｋの相対色温度における色補正マトリクス係数を直線補間して、入力する色信号に対する色補正マトリクス係数を算出しているため、前記３０００Ｋ及び６０００Ｋの相対色温度における色補正マトリクス係数を結ぶ直線から色補正マトリクス係数が大きく外れている相対色温度４０００Ｋの白色蛍光灯、相対色温度４５００Ｋの三波長形蛍光灯が照明光源の場合の色信号に対しては、色補正マトリクス係数を求めることができないという問題がある。また、前記直線は、相対色温度４５００Ｋにおいて折れ線となっており、相対色温度４５００Ｋの近傍の相対色温度を有する色信号に対しても適正な色補正マトリクス係数を算出することができないという問題がある。

一方、特許文献２には、代表的な光源に対する色補正マトリクス係数をテーブルに保持し、入力する色信号から推定した照明光源を使用して、その照明光源に近いテーブル上の複数の光源の色補正マトリクス係数を補間して、その照明光源の色補正マトリクス係数を求める記載があるが、具体的な補間方法に関する記載がなく、特に照明光源の色空間上の位置が、複数の光源の色空間上の位置を結ぶ線分上にない場合には、前記複数の光源の色補正マトリクス係数を補間することができない。

本発明はこのような事情に鑑みてなされたもので、入力する任意のカラー画像信号に対して、予め複数の光源（基準光源）に対して設定された最適な色補正マトリクス係数と同程度の精度で色補正マトリクス係数を求めることができ、どのような光源下で撮影された画像に対しても良好な色再現を実現することができる画像処理装置及びカラー撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、入力するカラー画像信号に対して撮影時の照明光源を検出する光源検出手段と、前記入力するカラー画像信号に対してホワイトバランス調整を行うホワイトバランス調整手段と、予め設定された複数の光源を基準光源とし、各基準光源ごとに該基準光源下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を記憶する記憶手段と、所定の色空間上に位置する前記複数の基準光源の点を通る軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記軌跡上の点を求める手段と、前記求めた前記軌跡上の点の位置と、この点の近傍の前記軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算し、前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、前記ホワイトバランス調整されたカラー画像信号に対して前記色補正マトリクス係数演算手段によって算出された色補正マトリクス係数を使用したマトリクス演算によって色補正を行う色補正手段と、を備えたことを特徴としている。

即ち、予め設定された複数の光源（基準光源）にそれぞれ対応する最適な色補正マトリクス係数を記憶しておき、入力するカラー画像信号に対して検出した撮影時の照明光源を使用して、前記記憶した色補正マトリクス係数を補間演算して、そのカラー画像信号に対する色補正マトリクス係数を算出するようにしている。ここで、前記補間演算に先立って、所定の色空間上に位置する前記複数の基準光源の点を通る軌跡に対して、前記検出された照明光源の前記所定の色空間上の位置から最短距離にある前記軌跡上の点を求める。そして、前記求めた軌跡上の点の位置と、この点の近傍の前記軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算することにより、入力するカラー画像信号に対する色補正マトリクス係数を算出するようにしている。これにより、入力する任意のカラー画像信号に対して、基準光源に対して設定された最適な色補正マトリクス係数と同程度の精度で色補正マトリクス係数を算出することができ、良好な色再現を実現することができる。

請求項２に示すように請求項１に記載の画像処理装置において、前記記憶手段は、前記所定の色空間における黒体軌跡上の複数の点を前記基準光源として設定してそれぞれ色補正マトリクス係数を記憶することを特徴としている。

請求項３に示すように請求項１又は２に記載の画像処理装置において、前記色補正マトリクス係数演算手段は、前記求めた前記軌跡上の点の位置と、この点を挟む前記軌跡上の２つの基準光源の位置とに基づいて前記２つの基準光源に対して記憶された最適な色補正マトリクス係数を線形補間して、前記入力するカラー画像信号に対する色補正マトリクス係数を算出することを特徴としている。

請求項４に示すように請求項１乃至３のいずれかに記載の画像処理装置において、前記色補正手段は、Ｒ，Ｇ，Ｂの色信号からなる前記カラー画像信号に対するマトリクス演算、及び輝度信号Ｙと色差信号Ｃｒ，Ｃｂからなる前記カラー画像信号の前記色差信号Ｃｒ，Ｃｂに対するマトリクス演算の双方又はいずれか一方を行うことを特徴としている。

請求項５に示すように請求項１乃至４のいずれかに記載の画像処理装置において、前記ホワイトバランス調整手段は、前記光源検出手段によって検出された照明光源に基づいてホワイトバランス補正値を決定し、該ホワイトバランス補正値に基づいて前記カラー画像信号のホワイトバランス調整を行うことを特徴としている。前記光源検出手段によって検出される照明光源は、色補正マトリクス係数を算出するために使用されるとともに、ホワイトバランス調整にも使用される。

請求項６に示すように請求項１乃至５のいずれかに記載の画像処理装置において、前記入力するカラー画像信号がストロボＯＦＦの下で撮影されたカラー画像信号か否かストロボＯＮの下で撮影されたカラー画像信号かを判別する判別手段とを更に備え、前記記憶手段は、各基準光源ごとにストロボＯＦＦ用の第１の色補正マトリクス係数と、ストロボＯＮ用の第２の色補正マトリクス係数とを記憶し、前記軌跡上の点を求める手段は、ストロボＯＦＦの場合には前記所定の色空間上に位置するストロボＯＦＦ時の前記複数の基準光源の点を通る第１の軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記第１の軌跡上の点を求め、ストロボＯＮの場合には前記所定の色空間上に位置するストロボＯＮ時の前記複数の基準光源の点を通る第２の軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記第２の軌跡上の点を求め、前記色補正マトリクス係数演算手段は、ストロボＯＦＦの場合には前記求めた前記第１の軌跡上の点の位置と、この点の近傍の前記第１の軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された第１の色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出し、ストロボＯＮの場合には前記求めた前記第２の軌跡上の点の位置と、この点の近傍の前記第２の軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された第２の色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出することを特徴としている。即ち、前記基準光源は、ストロボ発光ＯＮとＯＦＦとでは異なる基準光源からなる軌跡（第１の軌跡と第２の軌跡）が設定され、前記記憶手段には第１、第２の軌跡上の基準光源に対する第１の色補正マトリクス係数と、ストロボＯＮ用の第２の色補正マトリクス係数とが記憶される。そして、入力するカラー画像信号がストロボＯＦＦの下で撮影されている場合には、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記第１の軌跡上の点を求め、この第１の軌跡上の点の位置と、この点の近傍の前記第１の軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された第１の色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出する。入力するカラー画像信号がストロボＯＮの下で撮影されている場合には、上記と同様に第２の軌跡及び第２の色補正マトリクス係数を利用して入力するカラー画像信号に対する色補正マトリクス係数を算出する。これにより、ストロボＯＮの下で撮影されている場合には、ストロボ光の色温度が考慮された色補正マトリクス係数が算出される。

請求項７に係るカラー撮像装置は、カラー画像信号を取り出すことが可能な撮像手段と、前記カラー撮像手段から取り出されたカラー画像信号に対して撮影時の照明光源を検出する光源検出手段と、前記撮像手段から取り出されたカラー画像信号に対してホワイトバランス調整を行うホワイトバランス調整手段と、予め設定された複数の光源を基準光源とし、各基準光源ごとに該基準光源下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を記憶する記憶手段と、所定の色空間上に位置する前記複数の基準光源の点を通る軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記軌跡上の点を求める手段と、前記求めた前記軌跡上の点の位置と、この点の近傍の前記軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算し、前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、前記光源検出手段によって検出された照明光源と前記複数の基準光源とに基づいて前記記憶手段に記憶された色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、前記ホワイトバランス調整されたカラー画像信号に対して前記色補正マトリクス係数演算手段によって算出された色補正マトリクス係数を使用したマトリクス演算によって色補正を行う色補正手段と、を備えたことを特徴としている。

請求項８に示すように請求項７に記載のカラー撮像装置において、前記色補正手段は、Ｒ，Ｇ，Ｂの色信号からなる前記カラー画像信号に対するマトリクス演算、及び輝度信号Ｙと色差信号Ｃｒ，Ｃｂからなる前記カラー画像信号の前記色差信号Ｃｒ，Ｃｂに対するマトリクス演算の双方又はいずれか一方を行うことを特徴としている。

本発明によれば、入力する任意のカラー画像信号に対して、予め複数の光源（基準光源）に対して設定された最適な色補正マトリクス係数と同程度の精度で色補正マトリクス係数を求めることができ、どのような光源下で撮影された画像に対しても良好な色再現を実現することができる。

以下添付図面に従って本発明に係る画像処理装置及びカラー撮像装置の好ましい実施の形態について詳説する。

図１は本発明に係るカラー撮像装置の実施の形態を示すブロック図である。

図１に示すカラー撮像装置は、例えばデジタルカメラであり、装置全体の動作は中央処理装置（ＣＰＵ）１０によって統括される。

カラー撮像装置の操作部１２には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モード）を選択するためのモードダイヤル、表示部３２にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するＢＡＣＫボタンなどが含まれる。操作部１２からの出力信号は、ＣＰＵ１０に入力される。

カラー撮像装置には、被写体にストロボ光を照射するためのストロボ発光装置１４が含まれ、また、各種クロック・パルス等を生成するためのタイミング・ジェネレータ１６が含まれている。このタイミング・ジェネレータ１６から出力されるクロック・パルス等は、ＣＣＤ１８及びアナログ・フロント・エンド（ＡＦＥ）２０に加えられる。

ＣＣＤ１８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ１８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１０は、タイミング・ジェネレータ１６を介してＣＣＤ１８での電荷蓄積時間を制御する。

このＣＣＤ１８からは、タイミング・ジェネレータ１６から出力されるクロック・パルスに基づいてフォトセンサに蓄積された信号が順番に電圧信号として読み出される。これらのＣＣＤ信号は、ＡＦＥ２０に加えられる。

ＡＦＥ２０は、ＣＤＳ回路やＡ／Ｄコンバータ等を有し、ＣＤＳ回路はタイミング・ジェネレータ１６から加えられるＣＤＳパルスに基づいて入力するＣＣＤ信号を相関二重サンプリング処理し、Ａ／Ｄコンバータは、ＣＤＳ回路によって処理された信号を画素ごとにデジタルのカラー画像データ（点順次のＲ，Ｇ，Ｂ信号）に変換する。

Ｒ，Ｇ，Ｂ信号は、信号処理部２２を介してメモリ２４に一時的に記憶される。このＲ，Ｇ，Ｂ信号は、メモリ２４から読み出され、信号処理部２２に入力され、所要の画像処理が行われる。尚、信号処理部２２での画像処理の詳細については、後述する。

信号処理部２２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、再びメモリ２４に記憶される。メモリ２４に記録された輝度信号Ｙ，色差信号Ｃr,Ｃｂは、圧縮回路２６に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、記録装置２８を介してメモリカード３０に記録される。

また、表示部３２には、撮像準備中に映像（スルームービー画）が表示され、また、再生モード時にメモリカード３０に記録された画像が表示される。

図２は図１に示した信号処理部２２の詳細な回路構成を示すブロック図である。

前述したようにメモリ２４に一時記憶されたＲ，Ｇ，Ｂ信号は、ホワイトバランス調整回路１００に点順次で加えられる。ホワイトバランス調整回路１１０は、Ｒ，Ｇ，Ｂ信号ごとにそれぞれホワイトバランス調整用のホワイトバランス補正値（ゲイン値）をかけることによりホワイトバランス調整を行う。

前記ホワイトバランス補正値は、ＣＰＵ１０又は図示しないＡＷＢ検出回路により、以下のようにして求める。

まず、１画面を複数のエリア（例えば、１６×１６の２５６個の分割エリア）に分割し、分割エリアごとにＲ，Ｇ，Ｂ信号の色別の平均積算値を算出し、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求める。

図３は２５６個の分割エリアの測色値（Ｒ／Ｇ値，Ｂ／Ｇ値）のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。ＣＰＵ１０は、これらの分割エリアの各測色値のＲ／Ｇ、Ｂ／Ｇの色空間上の重心位置を算出し、その重心位置から日陰、青空、蛍光灯、タングステン電球等の各照明光源のうちのいずれの照明光源の下で撮影されたかを検出し、その検出した照明光源に適したホワイトバランス補正値を演算する。このホワイトバランス補正値は、ホワイトバランス調整回路１００に出力され、ここでＲ，Ｇ，Ｂ信号に対するゲイン補正（ホワイトバランス調整）が行われる。

例えば、前記検出した照明光源に適したホワイトバランス補正値に従って、Ｒ／Ｇ、Ｂ／Ｇ比の値がおよそ１（つまり、１画面においてＲ，Ｇ，Ｂの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるようにＲ，Ｇ，Ｂ信号のゲイン補正を行うことでホワイトバランス調整を行う。また、Ｒ／Ｇ、Ｂ／Ｇ比の値を１以外の値になるようにホワイトバランス補正値を調整すると、ある色味が残ったホワイトバランス調整を行うことができる。

尚、ホワイトバランス調整回路１００に与えるホワイトバランス補正値の算出方法は、この実施の形態に限らない。

図２に戻って、ホワイトバランス調整回路１００によってホワイトバランス調整されたＲ，Ｇ，Ｂ信号は、リニアマトリクス回路１１０に出力される。リニアマトリクス回路１１０は、３行×３列の色補正マトリクス係数と前記ホワイトバランス調整されたＲ，Ｇ，Ｂ信号とのマトリクス演算を行い、グレーを中心とする色相などの色補正を行う。

即ち、入力するＲ，Ｇ，Ｂ信号と、３行×３列の色補正マトリクス係数（ａ₁₁，ａ_12, …，ａ₃₃）とから、次式のマトリクス演算を行って、色補正されたＲ’，Ｇ’，Ｂ’信号を算出する。

尚、マトリクス演算に使用される３行×３列の色補正マトリクス係数（ａ₁₁，ａ_12, …，ａ₃₃）の詳細については後述する。

リニアマトリクス回路１１０から出力されたＲ，Ｇ，Ｂ信号は、ガンマ補正回路１２０に出力され、ここで中間調等を強調するガンマ補正（階調変換）が行われる。ガンマ補正されたＲ，Ｇ，Ｂ信号は、同時化処理回路１３０に出力される。

同時化処理回路１３０は、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路１４０に出力する。

ＲＧＢ／ＹＣ変換回路１４０は、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路１５０に出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路１６０に出力する。輪郭補正回路１５０は、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行う。

色差マトリクス回路１６０は、２行×２列の色補正マトリクス係数と入力する色差信号Ｃr,Ｃｂとのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。

即ち、入力する色差信号Ｃr,Ｃｂと、２行×２列の色補正マトリクス係数（ｃ_11, ｃ_12, ｃ_21, ｃ₂₂）とから、次式のマトリクス演算を行って、色補正された色差信号Ｃｒ’，Ｃｂ’を算出する。

尚、マトリクス演算に使用される２行×２列の色補正マトリクス係数（ｃ_11, ｃ_12, ｃ_21, ｃ₂₂）の詳細については後述する。

このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃｒ’，Ｃｂ’は、一旦メモリ２４に保存された後、圧縮回路２６によりJPEG方式に従って圧縮され、記録装置２８を介してメモリカード３０に記録される。

次に、リニアマトリクス回路１１０で使用される３行×３列の色補正マトリクス係数（ａ₁₁，ａ_12, …，ａ₃₃）について詳述する。

予め無彩色（ここでは、グレー）の物体（被写体）に色温度がそれぞれ異なる光源（基準光源）から照明光を照射し、各基準光源下で得られたＲ，Ｇ，Ｂ信号から測色値（Ｒ／Ｇ値，Ｂ／Ｇ値）を算出する。

図４は各基準光源（Ａ〜Ｅ）ごとに算出されたＲ／Ｇ値，Ｂ／Ｇ値のＲ／Ｇ、Ｂ／Ｇの色空間上の位置を結んで得られる軌跡（以下、「基準光源軌跡」と称する。）を示している。尚、基準光源軌跡としては、例として黒体軌跡も含まれる。

図４に示す基準光源軌跡上の５つの基準光源Ａ〜Ｅのうちの基準光源Ａ，Ｃ，Ｅは、例えば３０００°Ｋ，５０００°Ｋ〜６０００°Ｋ，及び８０００°Ｋ〜９０００°Ｋの色温度の光源に相当する。そして、予め各基準光源Ａ〜Ｅの下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を求めておき、それを装置内のメモリに保持しておく。

いま、ホワイトバランス調整前のＲ，Ｇ，Ｂ信号から撮影画像の照明光源を検出し、この照明光源をＲ／Ｇ、Ｂ／Ｇの色空間上でＸする。この照明光源Ｘ（照明光源のＲ／Ｇ、Ｂ／Ｇの色空間上で位置）は、図３で説明したように各分割エリアの測色値のＲ／Ｇ、Ｂ／Ｇの色空間上の重心位置を算出することによって検出することができる。

図４に示した照明光源Ｘは、基準光源軌跡から外れているため、照明光源Ｘから最短距離にある基準光源軌跡上の点Ｘ’の位置を求め、これを光源Ｘ’とする。

そして、この光源Ｘ’の位置と、この光源Ｘ’を挟む基準光源軌跡上の２つの基準光源（図４に示す例では、基準光源Ａ，Ｂ）の位置とに基づいて２つの基準光源Ａ，Ｂに対して設定された色補正マトリクス係数を補間演算し、前記リニアマトリクス回路１１０に使用する色補正マトリクス係数を算出する。

いま、基準光源Ａ，Ｂ，及び光源Ｘ’におけるＲ／Ｇの座標をそれぞれRG_A,RG_B,RG_Xとし、また、基準光源Ａ，Ｂの１行１列目の色補正マトリクス係数をａ₁₁_A, ａ₁₁_Bとすると、光源Ｘ’の１行１列目の色補正マトリクス係数ａ₁₁_Xは、次式によって算出することができる。

［数３］
ａ₁₁_X＝ａ₁₁_A＋ (ａ₁₁_B−ａ₁₁_A）×((RG_A−RG_X）／（RG_A−RG_B))
尚、３行×３列の他の色補正マトリクス係数についても同様に線形補間演算によって算出することができる。また、色差マトリクス回路１６０で使用される２行×２列の色補正マトリクス係数（ｃ_11, ｃ_12, ｃ_21, ｃ₂₂）も上記と同様に算出される。

次に、カラー画像がストロボ撮影されたものか否かによって適用する色補正マトリクス係数を異ならせる他の実施の形態について説明する。

ストロボ発光下での撮影では、基本的に被写体の照明光源は、各色温度の光源（環境光）とストロボ光とのミックス光源になる。

従って、この実施の形態では、ストロボ発光装置１４からストロボ光を発光しないストロボＯＦＦ時の撮影と、ストロボ光を発光するストロボＯＮ時の撮影とでは、各撮影時に得られたＲ，Ｇ，Ｂ信号、及び色差信号Ｃr,Ｃｂに対する色補正マトリクス係数の算出方法を異ならせるようにしている。

図５はストロボＯＦＦ時の基準光源軌跡と、ストロボＯＮ時に前記基準光源軌跡がストロボ光の色温度の方向にシフトした軌跡（以下、「ミックス基準光源軌跡」と称する。）とを示している。

図５上の実線で示した基準光源軌跡は、図４に示したものと同一である。一方、図５上の破線で示したミックス基準光源軌跡は、例えば、ストロボ光のみで無彩色物体を撮影したときの測色値のＲ／Ｇ、Ｂ／Ｇの色空間上に位置が、基準光源Ｃ，Ｄの位置の間の斜め上方の位置（図示せず）とすると、各基準光源Ａ〜Ｅの位置が、前記ストロボ光の色空間上に位置に向かってシフトした位置Ａ’〜Ｅ’を結んで得られる軌跡である。

また、ミックス基準光源軌跡は、各基準光源ごとに、それぞれ基準光源とストロボ光とがミッスクされた光源（ミッスク基準光源）下で得られたＲ，Ｇ，Ｂ信号から測色値（Ｒ／Ｇ値，Ｂ／Ｇ値）を算出し、これらのＲ／Ｇ値，Ｂ／Ｇ値のＲ／Ｇ、Ｂ／Ｇの色空間上の位置を結ぶことで求めることができる。

尚、各ミックス基準光源の測色値は、カメラと被写体との距離が近い場合には、ストロボ光の方が支配的になり、距離が離れるほど、環境光の方が支配的になる。また、環境光の明るさによってもいずれの光が支配的になるかが変わる。従って、図５の破線で示したミックス基準光源軌跡は、ストロボ光が支配的な場合、環境光が支配的な場合、その中間の場合のうちのいずれの状況を想定するか、また、ストロボ撮影時の環境光の明るさを考慮してミックス基準光源軌跡を決めることが好ましい。

そして、ストロボＯＮ時に取得したＲ，Ｇ，Ｂ信号及び色差信号Ｃr,Ｃｂに対するストロボＯＮ時の色補正マトリクス係数は、ストロボＯＮ時に取得したＲ，Ｇ，Ｂ信号から撮影画像の照明光源を検出し、この照明光源のＲ／Ｇ、Ｂ／Ｇの色空間上の位置から最短距離にあるミックス基準光源軌跡上の位置を求め、この求めた位置と、予め装置内のメモリに保持したミックス基準光源Ａ’〜Ｅ’のＲ／Ｇ、Ｂ／Ｇの色空間上の位置、及び各ミックス基準光源Ａ’〜Ｅ’の下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を使用して、前述した［数３］式に示した線形補間演算により算出する。

このように、この実施の形態では、ストロボＯＦＦ時に取得したＲ，Ｇ，Ｂ信号か、ストロボＯＮ時に取得したＲ，Ｇ，Ｂ信号かによってマトリクス演算に適用する色補正マトリクス係数を異なるようにしている。尚、ストロボＯＦＦ時に取得したＲ，Ｇ，Ｂ信号か、ストロボＯＮ時に取得したＲ，Ｇ，Ｂ信号かは、ストロボ発光装置１４を制御するＣＰＵ１０にて判別することができる。

この実施の形態では５つの基準光源及びミックス基準光源を設定したが、基準光源やミックス基準光源の数や各軌跡上の位置は、この実施の形態に限らず、補間演算の精度に応じて適宜設定することができる。

また、この実施の形態では、カラー撮像装置について説明したが、カラー撮像装置内の画像処理装置（図２に示した信号処理部）に限らず、未処理のカラー画像信号を処理する画像処理装置にも本発明は適用できる。

図１は本発明に係るカラー撮像装置の実施の形態を示すブロック図である。 図２は図１に示した信号処理部の詳細な回路構成を示すブロック図である。 図３は各分割エリアの測色値のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。 図４は基準光源軌跡を利用して照明光源に対する色補正マトリクス係数の算出方法を説明するための用いたグラフである。 図５はストロボＯＮ／ＯＦＦ時に適用される基準光源軌跡及びミックス基準光源軌跡を示すグラフである。

符号の説明

１０…中央処理装置（ＣＰＵ）、１２…操作部、１８…ＣＣＤ、２０…アナログ・フロント・エンド（ＡＦＥ）、２２…信号処理部、２４…メモリ、２６…圧縮回路、２８…記録装置、３０…メモリカード、３２…表示部、１００…ホワイトバランス調整回路、１１０…リニアマトリクス回路、１２０…ガンマ補正回路、１３０…同時化処理回路、１４０…ＲＧＢ／ＹＣ変換回路、１５０…輪郭補正回路、１６０…色差マトリクス回路

Claims (8)

1. 入力するカラー画像信号に対して撮影時の照明光源を検出する光源検出手段と、
   前記入力するカラー画像信号に対してホワイトバランス調整を行うホワイトバランス調整手段と、
   予め設定された複数の光源を基準光源とし、各基準光源ごとに該基準光源下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を記憶する記憶手段と、
   所定の色空間上に位置する前記複数の基準光源の点を通る軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記軌跡上の点を求める手段と、
   前記求めた前記軌跡上の点の位置と、この点の近傍の前記軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算し、前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、
   前記ホワイトバランス調整されたカラー画像信号に対して前記色補正マトリクス係数演算手段によって算出された色補正マトリクス係数を使用したマトリクス演算によって色補正を行う色補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記記憶手段は、前記所定の色空間における黒体軌跡上の複数の点を前記基準光源として設定してそれぞれ色補正マトリクス係数を記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記色補正マトリクス係数演算手段は、前記求めた前記軌跡上の点の位置と、この点を挟む前記軌跡上の２つの基準光源の位置とに基づいて前記２つの基準光源に対して記憶された最適な色補正マトリクス係数を線形補間して、前記入力するカラー画像信号に対する色補正マトリクス係数を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記色補正手段は、Ｒ，Ｇ，Ｂの色信号からなる前記カラー画像信号に対するマトリクス演算、及び輝度信号Ｙと色差信号Ｃｒ，Ｃｂからなる前記カラー画像信号の前記色差信号Ｃｒ，Ｃｂに対するマトリクス演算の双方又はいずれか一方を行うことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記ホワイトバランス調整手段は、前記光源検出手段によって検出された照明光源に基づいてホワイトバランス補正値を決定し、該ホワイトバランス補正値に基づいて前記カラー画像信号のホワイトバランス調整を行うことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記入力するカラー画像信号がストロボＯＦＦの下で撮影されたカラー画像信号か否かストロボＯＮの下で撮影されたカラー画像信号かを判別する判別手段とを更に備え、
   前記記憶手段は、各基準光源ごとにストロボＯＦＦ用の第１の色補正マトリクス係数と、ストロボＯＮ用の第２の色補正マトリクス係数とを記憶し、
   前記軌跡上の点を求める手段は、ストロボＯＦＦの場合には前記所定の色空間上に位置するストロボＯＦＦ時の前記複数の基準光源の点を通る第１の軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記第１の軌跡上の点を求め、ストロボＯＮの場合には前記所定の色空間上に位置するストロボＯＮ時の前記複数の基準光源の点を通る第２の軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記第２の軌跡上の点を求め、
   前記色補正マトリクス係数演算手段は、ストロボＯＦＦの場合には前記求めた前記第１の軌跡上の点の位置と、この点の近傍の前記第１の軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された第１の色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出し、ストロボＯＮの場合には前記求めた前記第２の軌跡上の点の位置と、この点の近傍の前記第２の軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された第２の色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出する、
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. カラー画像信号を取り出すことが可能な撮像手段と、
   前記カラー撮像手段から取り出されたカラー画像信号に対して撮影時の照明光源を検出する光源検出手段と、
   前記撮像手段から取り出されたカラー画像信号に対してホワイトバランス調整を行うホワイトバランス調整手段と、
   予め設定された複数の光源を基準光源とし、各基準光源ごとに該基準光源下で取得されるカラー画像信号に対する最適な色補正マトリクス係数を記憶する記憶手段と、
   所定の色空間上に位置する前記複数の基準光源の点を通る軌跡に対して、前記光源検出手段によって検出された照明光源の前記所定の色空間上の位置から最短距離にある前記軌跡上の点を求める手段と、
   前記求めた前記軌跡上の点の位置と、この点の近傍の前記軌跡上の複数の基準光源の位置とに基づいて該複数の基準光源に対して記憶された最適な色補正マトリクス係数を補間演算し、前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、
   前記光源検出手段によって検出された照明光源と前記複数の基準光源とに基づいて前記記憶手段に記憶された色補正マトリクス係数を補間演算して前記入力するカラー画像信号に対する色補正マトリクス係数を算出する色補正マトリクス係数演算手段と、
   前記ホワイトバランス調整されたカラー画像信号に対して前記色補正マトリクス係数演算手段によって算出された色補正マトリクス係数を使用したマトリクス演算によって色補正を行う色補正手段と、
   を備えたことを特徴とするカラー撮像装置。
8. 前記色補正手段は、Ｒ，Ｇ，Ｂの色信号からなる前記カラー画像信号に対するマトリクス演算、及び輝度信号Ｙと色差信号Ｃｒ，Ｃｂからなる前記カラー画像信号の前記色差信号Ｃｒ，Ｃｂに対するマトリクス演算の双方又はいずれか一方を行うことを特徴とする請求項７に記載のカラー撮像装置。
   

Images