JP2006270135A - 電子的撮像装置における色再現補正装置 - Google Patents

Abstract

【課題】 撮影時の被写体の照明条件、例えば複数の光源が混じり合ったような環境下においても、最適なホワイトバランス補正処理、並びに色再現補正処理を的確に行うことができ、しかも色再現補正処理を短時間で行うことが可能な色再現補正装置の提供。
【解決手段】 光学系から入射した被写体像を、撮像素子２により画像信号として取り出し、該画像信号を処理して電子的に画像記録を行う電子的撮像装置の色再現補正装置であって、撮像画像の色再現を補正する色再現信号算出部５と、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する映像信号処理部４とを具備し、色再現信号算出部５には、撮像素子２の画像信号に基づいて被写体の照明光源の種類を推定する光源推定処理手段５２が設けられ、光源推定処理手段５２の推定結果に基づいて、映像信号処理部４に対し補正信号を出力し、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する。
【選択図】 図１

Description

本発明は、電子的撮像装置における色再現補正装置に係わり、特にデジタルカメラ、ビデオカメラなどに搭載されているＣＣＤなどの撮像素子で得られた画像信号に各種の処理を施すことにより、自然な色再現性が得られるように施される補正処理のうち、ホワイトバランス補正処理、並びに色再現マトリクスを用いた色再現補正処理を行う補正装置に関する。

昨今、映像記録を行うカメラとして、いわゆるデジタルスチルカメラ、デジタルビデオカメラ（電子的撮像装置）の普及が顕著である。一般的に、デジタルカメラでは、撮影レンズから入射する被写体像を、従来の銀塩カメラのフイルムの代わりに、ＣＣＤなどの光電変換を行う撮像素子によってデジタルＲＧＢ色信号として取り出し、得られた画像信号をデジタル信号処理回路により、各種の信号処理を行い画像記録が行われる。一方で、ＣＣＤなどの撮像素子から取り出されるＲＧＢ色信号には、暗電流ショットノイズが混入したり、撮像素子固有のランダムノイズなどが存在するため、得られたデジタルＲＧＢ信号からノイズを除去するＣＤＳ回路による処理等の信号処理を施した後、Ａ／Ｄ変換し電子的な画像データ（ＲＡＷデータ）を生成する。

更に、画像データ（ＲＡＷデータ）はデジタルカメラ内部において、現像処理が施されるが、この現像処理には、ガンマ補正処理、ホワイトバランス補正処理、色再現マトリクス変換など、数多くの電子的処理がある。
このうち、ホワイトバランス補正処理は、照明光源によっては肉眼で観察した被写体像と、撮影された画像との間に色彩上の差異が生じるが、特に白色の被写体が純白に再現されるようにするための補正処理である。例えば、日光などの自然光と、蛍光灯などの人工光とでは、両光源の色温度に相違があり、この結果、撮影された画像の白色再現性に大きな影響を及ぼすこととなるため、ホワイトバランス補正処理を施すことにより再現される画像に違和感が生じないようにするものである。

また、デジタルカメラには、ホワイトバランス補正処理に加え、色再現性をよくするために、ＲＧＢカラー画像データを色補正する画像信号処理回路が組み込まれている。ホワイトバランス補正処理では、一般的に撮像素子から出力されるＲＧＢ各信号の出力レベルが一定となるように、つまりＲ＝Ｇ＝Ｂとなるように、入力されたＲＧＢ色信号に対し、ホワイトバランスゲイン係数Ｋｒ，Ｋｇ，Ｋｂを乗算する。即ち、例えばＧのレベルが最大であった場合には、ホワイトバランス補正処理後のカラー画像の各データをＲ１，Ｇ１，Ｂ１とすると、式１〜式６に示される下記の演算を行うことによりホワイトバランス補正処理が行われる。
Ｋｒ＝Ｇ／Ｒ ・・・式１
Ｋｇ＝Ｇ／Ｇ＝１．０・・・式２
Ｋｂ＝Ｇ／Ｂ ・・・式３
Ｒ１＝Ｒ×Ｋｒ ・・・式４
Ｇ１＝Ｇ×Ｋｇ ・・・式５
Ｂ１＝Ｂ×Ｋｂ ・・・式６

また、色再現補正処理においては、ホワイトバランス補正処理を行った上記のカラー画像データＲ１，Ｇ１，Ｂ１に対し、３行３列からなる色再現マトリクス係数を行列演算して補正する。具体的には、色補正処理後のカラー画像データＲ２，Ｇ２，Ｂ２とすると、入力カラー画像データＲ１，Ｇ１，Ｂ１との間で以下の次式７に示す演算を行うことによって色再現補正処理が行われる。

一方、撮影時の被写体の光源には、様々な条件があるため、上記のようにＲ＝Ｇ＝Ｂとなるホワイトバランス補正処理を一律に適用すると、ある特定の光源下において、実際に人が肉眼で感じている被写体像と、再現される撮像画像との間に違和感が生じる場合がある。また、特定の光源に基づいて予め一律に設定されている色再現マトリクス係数のみを用いて演算しただけでは、撮影時の照明光源によっては撮像画像に良好な色再現性が得られない場合がある。特に、演色性の悪い蛍光灯が光源の場合、その傾向が顕著である。

そこで、このような違和感を解消し、自然な撮像画像を得ることを目的に、特開平11-113006号公報記載の電子的撮像装置に関する発明が提案されている。同公報記載の発明は、被写体の照明光源を認識する光源認識手段の認識結果に基づいて、予め準備されている色補正係数行列（色再現マトリクス係数）を適宜、切り換えることで、最適な色再現性を確保するとしている。
特開平11-113006号公報

しかしながら、前述した特開平11-113006号公報記載の発明のように、照明光源を認識し、その認識結果に基づいて、色補正係数行列（色再現マトリクス係数）を切り換えるだけでは、認識結果の閾値付近において色再現性が大きく変わるため、安定した色再現性が得られないと言う問題点がある。例えば、複数の光源下の撮影では、カメラのわずかな動きによって光源認識手段の認識結果に差異が生じることになり、安定した色再現性を確保することが困難な場合がある。

本発明は、このような諸事情に対処するために提案されたものであって、撮影時の被写体の照明条件、例えば複数の光源が混じり合ったような環境下においても、最適なホワイトバランス補正処理、並びに色再現補正処理を的確に行うことができ、しかも色再現補正処理を短時間で行うことが可能な色再現補正装置を提供することを目的とする。

上記目的を達成するために、請求項１記載の発明は、光学系から入射した被写体像を、撮像素子により光電変換することにより画像信号として取り出し、該画像信号を処理して電子的に画像記録を行う電子的撮像装置の色再現補正装置であって、撮像画像の色再現を補正する色再現信号算出部と、色再現補正係数であるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する映像信号処理部とを具備し、前記色再現信号算出部には、前記撮像素子により得られた画像信号に基づいて撮像された被写体の照明光源の種類を推定する光源推定処理手段が設けられ、該光源推定処理手段の推定結果に基づいて、前記映像信号処理部に対し補正信号を出力し、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出することを特徴とする。

請求項２記載の発明は、請求項１において、前記光源推定処理手段は、撮像素子により得られたＲＧＢ色信号を二次元空間に投影して光源推定座標とし、該光源推定座標に基づいて被写体の照明光源を推定することを特徴とする。

請求項３記載の発明は、請求項1又は２において、前記光源推定処理手段は、前記撮像素子により得られたＲＧＢ色信号に対し、３行３列からなるマトリクス演算により、ＣＩＥ１９３１に定める等色関数におけるＸＹＺ近似値を得るとともに、該ＸＹＺ近似値によりｘｙ色度座標を光源推定座標として算出し、該光源推定座標に基づいて被写体の照明光源を推定することを特徴とする。

請求項４記載の発明は、請求項３において、前記色再現信号算出部は、前記撮像素子より得られたＲＧＢ色信号を複数のエリアに分割するブロック分割を行うとともに、ＲＧＢ各色毎に累積加算を行ってブロック分割積算値ΣＲ，ΣＧ，ΣＢとして前記光源推定処理手段に伝達するブロック積算手段を具備し、該光源推定処理手段は、ブロック積算手段によって累積加算したブロック分割積算値ΣＲ，ΣＧ，ΣＢを、３行３列からなるマトリクス演算することによってＸＹＺ信号に変換し、該ＸＹＺ信号に基づいてｘｙ色度座標を光源推定座標として算出し、ブロック毎に算出されたｘｙ色度座標が、予め設定してある各光源に対応する光源推定座標の範囲内にあるかどうかを判定し、光源推定座標内であると判断された場合にはｘｙ色度座標を累積加算した上で平均することにより、被写体の照明光源の種類を推定することを特徴とする。

請求項５記載の発明は、請求項１乃至４において、前記色再現信号算出部は、複数の基準光源にそれぞれ対応させた色再現補正係数であるホワイトバランスゲイン係数、色再現マトリクス係数、及びそのｘｙ色度座標を予め基準光源演算用係数として保持する基準光源データ格納手段と、前記光源推定処理手段の推定結果により、撮像画像の補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を、前記基準光源演算用係数に基づいて補間算出する色再現係数補間算出手段と、を具備することを特徴とする。

請求項６記載の発明は、請求項５において、前記色再現信号算出部は、前記基準光源データ格納手段に基準光源演算用係数として格納されている複数のｘｙ色度座標を、前記ホワイトバランスゲイン係数、及び色再現マトリクス係数を補間算出するための補間基準座標として選択し、選択された補間基準座標を前記色再現係数補間算出手段に出力する基準光源選択処理手段を具備することを特徴とする。

請求項７記載の発明は、請求項６において、前記基準光源データ格納手段には、少なくとも３点以上の補間基準座標で構成される多角形が、光源選択エリアとしてメッシュ状に配置して格納されており、前記基準光源選択処理手段は、前記光源選択基準エリアのうち、前記光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）が内包されている光源選択エリアを構成する補間基準座標を補間算出に用いる補間基準点として選択することを特徴とする。

請求項８記載の発明は、請求項６において、前記色再現係数補間算出手段は、前記基準光源データ格納手段に格納されている複数の補間基準座標、並びに前記光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）の位置情報に基づいて、該基準光源推定座標のホワイトバランスゲイン係数及び、色再現マトリクス係数の補間データ混合率を算出し、該補間データ混合率に基づいて撮像画像の補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出することを特徴とする。

上述のように、請求項１乃至４記載の発明によれば、撮像素子により得られた画像信号に基づいて被写体の照明光源の種類を推定する光源推定処理手段を設け、光源推定処理手段の推定結果に基づいて、前記映像信号処理部に対し、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出するようにしている。このため、光源に最適なホワイトバランスゲイン係数、及び色再現マトリクス係数を設定することができる。

特に、請求項５又は６記載の発明によれば、複数の光源が入り混じった状況下や、光源の種類が変化する際でも、基準光源データ格納手段に予め登録されている複数の基準光源に対応させた色再現補正係数を、基準光源演算用係数に基づいて補間算出することができるため、補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を、最適化した撮像画像を生成することができる。

さらに、請求項７記載の発明によれば、光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）が、基準光源データ格納手段に格納されている光源選択エリアを構成する多角形のうち、いずれのエリアに内包されるかをベクトルを用いて判定計算して検索するため、光源の種類の判定を速やかに行うことができ、カメラ内部での色再現補正処理が迅速化できる。

請求項８記載の発明によれば、基準光源データ格納手段に格納されている複数の補間基準座標、並びに光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）の位置情報に基づいて、基準光源推定座標のホワイトバランスゲイン係数及び、色再現マトリクス係数の補間データ混合率を算出し、この混合率に基づいて補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出するため、撮影状況に応じて最適なホワイトバランス補正、並びに色再現補正処理を行うことが可能である。

以下、本発明に係る電子的撮像装置における色再現補正装置の好適な実施形態について添付図面を参照して説明する。図１は本発明の一実施形態に係る電子的撮像装置の回路構成を示すブロック図である。

図１に示されるように、本実施形態の色再現補正装置が適用される電子的撮像装置は、主として撮影レンズ１、図示しない絞り機構、オートフォーカス機構などを含む光学系と、撮影レンズ１からの入射光を光電変換するＣＣＤ、ＣＭＯＳなどの撮像素子２と、撮像素子２によって取り出された画像データをデジタル変換するＡ／Ｄコンバータ３と、映像信号処理部４と、色再現信号算出部５等とを具備して構成されている。
撮影時の被写体像は、撮影レンズ１を介して撮像素子２上に結像し、光電変換された画像データは、図示しないＣＤＳ回路、ＡＧＣ回路を経由しＡ／Ｄコンバータ３により、アナログ信号からデジタルＲＧＢ信号に変換され、映像信号処理部４、及び色再現信号算出部５へと出力される。

図１に示されるように、映像信号処理部４は、ホワイトバランスアンプ４１、色再現マトリクス処理手段４２を含んで構成されている。ホワイトバランスアンプ４１は、Ａ／Ｄコンバータ３から供給されたデジタルＲＧＢ信号を、後述する処理によりホワイトバランス補正処理を行った後、色再現マトリクス処理手段４２により色再現マトリクス演算による色再現補正処理を行い映像信号として出力するようになっている。

色再現信号算出部５は、ブロック積算手段５１と、光源推定処理手段５２と、基準光源選択処理手段５３と、色再現係数補間算出手段５４と、基準光源データ格納手段５５等とを具備して構成されているが、このうち、光源推定処理手段５２による被写体の光源の種類を推定する場合の信号処理の流れを説明する。

図２〜図４は、光源の種類を推定する際の処理についての説明図である。まず、ブロック積算手段５１は、Ａ／Ｄコンバータ３から供給されたデジタルＲＧＢ色信号を、図２に示されるＭ×Ｎの複数のエリアに分割するブロック分割を行うとともに、ＲＧＢ各色毎に累積加算を行ってブロック分割積算値ΣＲ，ΣＧ，ΣＢとして光源推定処理手段５２へ伝達する。
このとき、補色フィルタを使用している撮像素子の場合は、ＣＭＹＧ色信号をデジタルＲＧＢ信号に変換した上で、同様な処理を行うことが可能なのは勿論である。

光源推定処理手段５２は、ブロック分割積算値ΣＲ，ΣＧ，ΣＢをブロック毎に、次式８で示されるように、３行３列からなるＸＹＺ変換マトリクス演算によってＸＹＺ信号に変換する。

そして、光源推定処理手段５２は、得られたＸＹＺ信号を次式９，１０に示される演算により算出し、撮像素子２から得られたＲＧＢ色信号を二次元空間にｘｙ色度座標として投影したものである。

前述したＸＹＺ変換マトリクス係数は、基準光源下での無彩色の被写体を撮像したときのＡ／Ｄコンバータにより供給されるＲＧＢ色信号の値と、前記無彩色の被写体について色彩色度計などの計測機を用いて実測したｘｙ色度座標に対応付けられるように予め算出してあるＸＹＺ変換マトリクス係数をデータとして用いる。ＲＧＢ色信号の値とｘｙ色度座標との対応付けは、例えば太陽光、白色蛍光灯、白熱電球等の複数の光源データを元に適応的選択手法を用いて算出するなどの手法が用いられる。

なお、ブロック毎に算出されたｘｙ色度座標に変換されたデータは、例えば、図３に示される光源判定マップを用いて、ｘｙ色度座標が光源選択エリア１０内であるかどうかを光源推定処理手段５２によって判定する。光源推定処理手段５２によって光源エリア１０内に座標が存在する場合は、太陽光、白色蛍光灯、白熱電球等の光源と判断され、そのｘｙ色度座標は光源推定座標として利用されるために累積加算が行われる。なお、光源エリア１０以外の部分は、光源とみなすことのできない色彩などが該当する。

図４は、光源を推定する際の流れを示すフローチャートであるが、同図に示されるように、光源推定座標として利用されるｘｙ色度座標は、前述した図３における光源推定処理手段５２による判定後、ステップ１００において、光源推定座標として利用するｘｙ色度座標を光源毎に累積加算した後、ステップ１０１において、平均値が算出され、光源推定座標（ｘ、ｙ推定値）として基準光源選択処理手段５３及び色再現係数補間算出手段５４へと伝達される。

基準光源選択処理手段５３では、基準光源演算用係数が予め登録されている基準光源データ格納手段５５を参照して、光源推定座標の補間計算に利用するために、例えば登録されているｘｙ色度座標から３点の補間基準座標を選択する。
図５は、基準光源データ格納手段５５に格納されている情報をｘｙ色度座標上に表したグラフであり、同図に示されるように、基準光源データ格納手段５５には、複数の基準光源に対応させたｘｙ色度座標、色再現係数であるホワイトバランスゲイン係数Ｋｒ，Ｋｇ，Ｋｂ、３行３列からなる色再現マトリクスが予め作成され、複数登録されている。図５中の複数の×印で示される座標は、基準光源の色度座標を表している。基準光源データ格納手段５５に登録されている複数のホワイトバランスゲイン係数、並びに色再現マトリクス係数は、複数の基準光源下で撮影した実写データを元に決定された値である。

図６は、基準光源選択処理手段５３における補間算出の際、補間算出に用いる３点の補間基準座標を、基準光源データ格納手段５５から選択する際に、ｘｙ色度座標上でデータの選択をどのように行うかを模式的に示したグラフである。図６に示されるように、補間基準座標を構成座標とする複数の三角形ａ〜ｋが光源選択エリアとして、メッシュ状に配置されており、補間算出に使用する光源選択エリアを構成する各三角形のベクトルのデータが基準光源データ格納手段５５に登録されている。

基準光源選択処理手段５３は、光源推定処理手段５２から伝達された光源推定座標であるｘｙ座標が、図６に示される基準光源データ格納手段５５に格納されている三角形ａ〜ｋのうち、いずれに内包されるかを図７に示されるようにベクトルを用いて判定計算し検索する。具体的には、推定光源Ｔ、光源選択エリアである三角形を構成する基準光源をＰ，Ａ，Ｂとすると、以下の計算式により算出される。
前述した計算により検索された三角形を構成する補間基準座標が、補間算出に使用される基準点となり、該３つの補間基準座標のデータが、基準光源選択処理手段５３から色再現係数補間算出手段５４へ出力される。

図８は、色再現係数補間算出手段５４にて、基準光源選択処理手段５３から伝達された３つの補間基準座標のデータから、ホワイトバランスゲイン係数と、色再現マトリクス係数とを算出する際の基本概念を示す説明図である。図８に示される光源選択エリアである三角形を構成しているＰ，Ａ，Ｂは、基準光源選択処理手段５３で選択された補間算出に用いる３点の補間基準座標の座標データを表し、光源推定座標をＴ１またはＴ２とした場合の補間混合率の算出方法をイメージ化したものである。

光源推定座標Ｔ１に対するＰ点の補間データの混合率を算出する場合は、まず、Ｐ点からＴ１を通る直線を引き、Ｐ点の対辺であるＡ−Ｂ間の直線の交点をｐとする。そして、Ｐ−ｐ間の長さに対するＴ１−ｐ間の長さの比率を求めることにより、Ｔ１における基準光源データの混合率、ｒａｔｅＰ，ｒａｔｅＡ，ｒａｔｅＢが、それぞれ２０％、５０％、３０％と言った具合に算出される。つまり、補間基準座標（Ｐ，Ａ，Ｂ）の対辺の平行線上が同一の混合率となる。
ｒａｔｅＰ＋ｒａｔｅＡ＋ｒａｔｅＢ＝１００％であるので、実際の計算に際しては、２点の混合率を求めればよい。また、補間対象の点がＴ２のように、光源選択エリアである三角形を構成しているＰ，Ａ，Ｂの外側にある場合でも計算は可能である。

図９は、図８で示した基本概念を元に、補間基準座標（Ｐ，Ａ，Ｂ）の補間データ混合率を求めるベクトル計算の方法を示した説明図である。光源推定座標Ｔに適用する各補間基準座標（Ｐ，Ａ，Ｂ）の混合率は、次式１１、次式１２、次式１３に示される計算式によって各補間基準座標の混合率が算出される。前述したように、混合率の計算は色再現係数補間算出手段５４によって行われる。

図１０は、前述した補間データ混合率の算出方法を、光源推定座標Ｔから、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する場合の概念を示す説明図である。基準光源データ格納手段５５に登録されている各補間基準座標（Ｐ，Ａ，Ｂ）には、それぞれホワイトバランスゲイン係数、及び色再現マトリクス係数が割り当てられているが、前述した式１１、式１２、式１３で求められた混合率を用いて、次式１４により、光源推定座標Ｔにおけるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する。
Ｔｄ＝（Ｐｄ×ｒａｔｅＰ）＋（Ａｄ×ｒａｔｅＡ）＋（Ｂｄ×ｒａｔｅＢ）・・・式１４

ここで、Ｔｄ，Ｐｄ，Ａｄ，Ｂｄは、各点におけるホワイトバランスゲイン係数、及び色再現マトリクス係数を表している。

色再現補間係数算出手段５４によって補間算出されたホワイトバランスゲイン係数、及び色再現マトリクス係数は、映像信号処理部４へと伝達され、それぞれホワイトバランスアンプ４１においてホワイトバランス補正処理を行い、色再現マトリクス処理手段４２において色再現補正を行い、映像信号として図示しない各種処理回路、ＬＣＤ、記録媒体等に出力される。

なお、本実施形態では、補間算出に用いる補間基準座標として３点を用い、これらの３点で構成される三角形を光源選択エリアとして用いたが、３点に限らず、例えば４点で構成される四角形、５点で構成される五角形など、補間基準座標の数は、限定されない。また、補間算出の際に、基準光源推定座標の位置情報に基づいて補間データ混合率を算出し、この混合率に基づいて、ホワイトバランスゲイン係数、色再現マトリクス係数を算出しているが、補間の仕方は、これに限らず、複数の基準光源推定座標を用いた方法であれば、どのような方法でもよい。

以上説明したように、本実施形態の色再現補正装置によれば、光源推定処理手段５２によって撮影時の照明光源を推定し、この推定結果に基づいてホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する際に、予め基準光源データ格納手段５５に登録されている補間基準座標を用いて補間するため、撮影時の照明条件に左右されることなく、又、被写体の照明の変化にもスムーズに対応することが可能であり、記録される撮像画像の色再現補正を的確、且つ自然な画像となるように行うことができる。
また、基準光源データ格納手段５５に格納されている三角形ａ〜ｋのうち、いずれに内包されるかをベクトルを用いて判定計算し検索するため、光源の種類の判定を速やかに行うことができ、カメラ内部での色再現補正処理を迅速に行うことができる。

以上説明したように、本発明によれば、照明条件に対応した最適なホワイトバランス補正処理、並びに色再現補正処理を行うことができ、しかも色再現補正処理を短時間で行うことが可能である。

本発明の一実施形態に係る色補正再現装置の回路構成を示すブロック図である。 本発明の一実施形態に係る色補正再現装置のうち、デジタルＲＧＢ色信号を、Ｍ×Ｎの複数のエリアに分割するブロック分割を行う場合の説明図である。 本発明の一実施形態に係る色補正再現装置において、照明の種類の判定を行う光源判定マップの模式図である。 光源推定処理手段によって光源を推定する際の流れを示すフローチャートである。 本発明の一実施形態に係る色補正再現装置における基準光源データ格納手段に格納されている情報をｘｙ色度座標上に表したグラフである。 本発明の一実施形態に係る色補正再現装置において、補間算出に用いる３点の補間基準座標を選択する際に、ｘｙ色度座標上でデータの選択をどのように行うかを模式的に示したグラフである。 本発明の一実施形態に係る色補正再現装置において、基準光源選択処理手段から伝達された３つの補間基準座標のデータから、ホワイトバランスゲイン係数と、色再現マトリクス係数とを算出する際の基本概念を示す説明図である。 同じく、本発明の一実施形態に係る色補正再現装置において、３つの補間基準座標のデータから、ホワイトバランスゲイン係数と、色再現マトリクス係数とを算出する際の基本概念を示す説明図である。 本発明の一実施形態に係る色補正再現装置において、補間基準座標の補間データ混合率を求めるベクトル計算の方法を示した説明図である。 同じく、本発明の一実施形態に係る色補正再現装置において、補間データ混合率の算出方法を、光源推定座標Ｔからホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する場合の概念を示す説明図である。

符号の説明

１ レンズ
２ 撮像素子
３ Ａ／Ｄコンバータ
４ 映像信号処理部
４１ ホワイトバランスアンプ
４２ 色再現マトリクス処理手段
５ 色再現信号算出部
５１ ブロック積算手段
５２ 光源推定処理手段
５３ 基準光源選択処理手段
５４ 色再現係数補間算出手段
５５ 基準光源データ格納手段

Claims (8)

1. 光学系から入射した被写体像を、撮像素子により光電変換することにより画像信号として取り出し、該画像信号を処理して電子的に画像記録を行う電子的撮像装置の色再現補正装置であって、
   撮像画像の色再現を補正する色再現信号算出部と、
   色再現補正係数であるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出する映像信号処理部とを具備し、
   前記色再現信号算出部には、前記撮像素子により得られた画像信号に基づいて撮像された被写体の照明光源の種類を推定する光源推定処理手段が設けられ、該光源推定処理手段の推定結果に基づいて、前記映像信号処理部に対し補正信号を出力し、ホワイトバランスゲイン係数、及び色再現マトリクス係数を算出することを特徴とする色再現補正装置。
2. 前記光源推定処理手段は、撮像素子により得られたＲＧＢ色信号を二次元空間に投影して光源推定座標とし、該光源推定座標に基づいて被写体の照明光源を推定することを特徴とする請求項１に記載の色再現補正装置。
3. 前記光源推定処理手段は、前記撮像素子により得られたＲＧＢ色信号に対し、３行３列からなるマトリクス演算により、ＣＩＥ１９３１に定める等色関数におけるＸＹＺ近似値を得るとともに、該ＸＹＺ近似値によりｘｙ色度座標を光源推定座標として算出し、該光源推定座標に基づいて被写体の照明光源を推定することを特徴とする請求項１又は２に記載の色再現補正装置。
4. 前記色再現信号算出部は、
   前記撮像素子より得られたＲＧＢ色信号を複数のエリアに分割するブロック分割を行うとともに、ＲＧＢ各色毎に累積加算を行ってブロック分割積算値ΣＲ，ΣＧ，ΣＢとして前記光源推定処理手段に伝達するブロック積算手段を具備し、
   該光源推定処理手段は、ブロック積算手段によって累積加算したブロック分割積算値ΣＲ，ΣＧ，ΣＢを、３行３列からなるマトリクス演算することによってＸＹＺ信号に変換し、該ＸＹＺ信号に基づいてｘｙ色度座標を光源推定座標として算出し、ブロック毎に算出されたｘｙ色度座標が予め設定してある各光源に対応する光源推定座標の範囲内にあるかどうかを判定し、光源推定座標内であると判断された場合にはｘｙ色度座標を累積加算した上で平均することにより、被写体の照明光源の種類を推定することを特徴とする請求項３に記載の色再現補正装置。
5. 前記色再現信号算出部は、
   複数の基準光源にそれぞれ対応させた色再現補正係数であるホワイトバランスゲイン係数、色再現マトリクス係数、及びそのｘｙ色度座標を予め基準光源演算用係数として保持する基準光源データ格納手段と、
   前記光源推定処理手段の推定結果により、撮像画像の補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を、前記基準光源演算用係数に基づいて補間算出する色再現係数補間算出手段と、
   を具備することを特徴とする請求項１〜４に記載の色再現補正装置。
6. 前記色再現信号算出部は、
   前記基準光源データ格納手段に基準光源演算用係数として格納されている複数のｘｙ色度座標を、前記ホワイトバランスゲイン係数、及び色再現マトリクス係数を補間算出するための補間基準座標として選択し、選択された補間基準座標を前記色再現係数補間算出手段に出力する基準光源選択処理手段を具備することを特徴とする請求項５に記載の色再現補正装置。
7. 前記基準光源データ格納手段には、少なくとも３点以上の補間基準座標で構成される多角形が、光源選択エリアとしてメッシュ状に配置して格納されており、
   前記基準光源選択処理手段は、
   前記光源選択基準エリアのうち、前記光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）が内包されている光源選択エリアを構成する補間基準座標を補間算出に用いる補間基準点として選択することを特徴とする請求項６に記載の色再現補正装置。
8. 前記色再現係数補間算出手段は、前記基準光源データ格納手段に格納されている複数の補間基準座標、並びに前記光源推定処理手段によって算出された光源推定座標（ｘｙ色度座標）の位置情報に基づいて、該基準光源推定座標のホワイトバランスゲイン係数及び、色再現マトリクス係数の補間データ混合率を算出し、該補間データ混合率に基づいて撮像画像の補正に用いるホワイトバランスゲイン係数、及び色再現マトリクス係数を算出することを特徴とする請求項６に記載の色再現補正装置。