JP2004186879A

JP2004186879A - 固体撮像装置及びデジタルカメラ

Info

Publication number: JP2004186879A
Application number: JP2002349922A
Authority: JP
Inventors: Yasuo Aozuka; 康生青塚
Original assignee: Fujifilm Microdevices Co Ltd; Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp; Fujifilm Microdevices Co Ltd
Priority date: 2002-12-02
Filing date: 2002-12-02
Publication date: 2004-07-02
Anticipated expiration: 2022-12-02
Also published as: US7317478B2; JP4049257B2; US20040105017A1

Abstract

【課題】被写体が複数種類の光源によって照明されている場合でも黄色の色かぶりが抑制され色再現性の優れた画像データを得る。
【解決手段】被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、複数の色信号のうちの少なくとも一色を検出する画素として分光感度の異なる二種類（Ｇ１，Ｇ２）の画素を固体撮像素子に設けると共に、入射光の光源種類が複数種類存在するとき二種類の分光感度を有する画素によって得られた撮像画像データから複数種類の光源による照明光の混合比を画素毎に求める混合比推定手段５２と、ホワイトバランス補正を行うゲイン量を前記混合比に応じて画素毎に算出するゲイン量算出手段５３とを設ける。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は固体撮像装置及びデジタルカメラに係り、特に、複数種類の光源下にある被写体を撮像したときのホワイトバランスを良好にとり色かぶりの少ない画像を得ることができる固体撮像装置及びデジタルカメラに関する。
【０００２】
【従来の技術】
デジタルスチルカメラ（携帯電話機に搭載されているものを含む。）やデジタルビデオカメラ等のデジタルカメラでは、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子によって被写体を撮像し、得られた画像データのホワイトバランスを、被写体の照明光源種類に応じて補正し、出力している。
【０００３】
光源としては、太陽光（Ｄ６５光源，Ｄ７５光源など），普通型白色蛍光灯（Ｆ６光源），フラッシュライトなど代表的な種々の光源が予め想定されており、デジタルカメラが自動的にホワイトバランス補正を行う場合、撮像画像データを解析して光源種類を識別し、この光源種類に応じた補正値を使用する様になっている。
【０００４】
しかし、撮影を行う場合、１種類の光源によってのみ被写体が照明される場合の他、複数種類の光源によって被写体が照明されるシーンを撮影する場合がある。例えば、蛍光灯で照明されている室内に窓から太陽光が射し込んでいる状態で、室内シーンを撮影する場合などである。
【０００５】
複数種類の光源によって照明されている被写体を撮像して得た画像データをホワイトバランス補正する場合、従来は、メインとなる１種類の光源種類だけを判別し、画像全体をその光源種類に基づいて補正していた。このため、画像中のメインの被写体から外れた画像部分つまり他の種類の光源による照明が強い部分の画像が色かぶりを起こして例えば黄色味の強い画像になり、色の再現性（特に肌色の再現性）が低下するという問題があった。
【０００６】
そこで、例えば、特開平８―３４０５４２号公報（特許文献１）の段落番号〔００２６〕に記載された従来技術では、Ｆ６光源で照明されている室内でメインの被写体をフラッシュを焚いて撮影したとき、フラッシュ発光前に固体撮像素子から得られた画像データとフラッシュ発光後に固体撮像素子から得られた画像データとから、撮像画像の画像領域毎にフラッシュ光の影響量を求め、この影響量に応じて画像領域毎のホワイトバランス補正量を決め、画像全体でホワイトバランスのとれた画像を生成することが提案されている。
【０００７】
【特許文献１】
特開平８―３４０５４２号公報（段落番号〔００２６〕）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の従来技術は、フラッシュ発光を行った場合のホワイトバランスだけを対象としており、フラッシュ発光前の画像データとフラッシュ発光後の画像データの２枚の画像データを用いなければならない構成となっている。
【０００９】
このため、この特許文献１の技術は、フラッシュ光以外の複数種類の光源下にある被写体を撮像した場合のホワイトバランス補正に適用することはできない。何故ならば、室内を蛍光灯で照明している室の窓から太陽光が射し込んでいる状態で室内シーンを撮影した場合、１枚の画像データが得られるだけであり、太陽光照射前の画像データと太陽光照射後の画像データの２枚の画像データを得ることができないからである。
【００１０】
本発明の目的は、任意の複数種類の光源下で撮影した画像のホワイトバランス補正を良好に行い、色かぶりが少なく色再現性が高い固体撮像装置及びデジタルカメラを提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成する本発明の固体撮像装置は、被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に、前記入射光の光源種類が複数種類存在するとき前記二種類の分光感度を有する画素によって得られた撮像画像データから前記複数種類の光源による照明光の混合比を画素毎に求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて画素毎に算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする。
【００１２】
この構成により、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。
【００１３】
本発明の固体撮像装置は、更に、前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを前記信号処理手段が備えることを特徴とする。この構成により、ホワイトバランス補正だけでは肌色の色相補正が不十分な場合でも十分な色相補正が可能となり、肌色の色再現性を高めることができる。
【００１４】
本発明の固体撮像装置は、更に、前記撮像画像データから光源種類を判別する光源種別判定手段を前記信号処理手段が備えることを特徴とする。この構成により、自動的に光源種類やその混合比に応じたホワイトバランス補正、色差マトリクス補正が可能となる。
【００１５】
本発明のデジタルカメラは、被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備えるデジタルカメラにおいて、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に、前記入射光の光源種類が複数種類存在するとき前記二種類の分光感度を有する画素によって得られた撮像画像データから前記複数種類の光源による照明光の混合比を画素毎に求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて画素毎に算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする。
【００１６】
この構成により、被写体が複数種類の光源によって照明されている場合でも黄色などの色かぶりが抑制され色再現性の優れた画像を撮像することができる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１９】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサであるが、本実施形態では、ハニカム画素配置のＣＣＤ（図２参照）を用いる。
【００２０】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力された色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２１】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを色信号毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２２】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２３】
図２は、図１に示す固体撮像素子１１の一部平面を示す模式図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。
【００２４】
本実施形態では緑の色フィルタとして、Ｇ１，Ｇ２の二種類を用意し、Ｇ１，Ｇ２を交互に配置した構成としている。図示する例では、「Ｒ」「Ｇ１」「Ｇ２」「Ｂ」と記載された８角形の枠が夫々赤（Ｒ），緑（Ｇ１，Ｇ２），青（Ｂ）の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（例えば８角形や４角形）で設けられる。
【００２５】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路６０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路６０に沿って転送されて水平転送路６１に至り、今度は矢印ｃに示す様に水平転送路６１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【００２６】
この様に、固体撮像素子の各フォトダイオードの表面には色フィルタが重ねて設けられるが、この色フィルタは、例えば顔料や染料を用いて製造される。図３に、各色フィルタ（Ｒ，Ｇ１，Ｇ２，Ｂ）を設けた分光感度（赤外線カットフィルタ１３やカメラレンズ１０等を組み合わせた後の分光感度）を示す。
【００２７】
各色フィルタＲ，Ｇ１，Ｇ２，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、赤色フィルタＲは、図３に示すように、波長約５８０ｎｍ以上の光を透過し、それより低い波長の光は一律にカットする様に製造され、青色フィルタＢは、波長約４６０ｎｍ付近に透過光のピークを持ち、波長約４００ｎｍ以下の光と波長約５１０ｎｍ以上の光をカットする様に製造される。
【００２８】
二種類の緑色フィルタＧ１，Ｇ２は、その差が大きくても小さくても良いが、その分光特性の波形が全く同じでないことが必要である。ここで、同じ波形とは、カメラの分光感度のピークを“１００”として両方の分光特性の波形を正規化したとき全く一致することをいう。
【００２９】
本実施形態の緑色フィルタＧ１の分光特性と緑色フィルタＧ２の分光特性とは、その基本的波形形状は同じであり、波長約４８０ｎｍ以下の光と波長約６００ｎｍ以上の光をカットし、両者間の光を透過する波形となっているが、緑色フィルタＧ２の方が緑色フィルタＧ１に比べて、波長約５２０ｎｍ付近の光をより多く透過する様になっている。図３に、Ｇ１−Ｇ２の波形を示す（スケールは右側の縦軸）。本実施形態では、この差Ｇ１−Ｇ２を利用して、複数種類の光源の混合比を高精度に判別する様にしている。
【００３０】
図４は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。
【００３１】
図示する例のデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ１，Ｇ２，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整を後述のゲイン量算出回路５３で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備える。
【００３２】
Ａ／Ｄ変換回路２３から出力される色信号は、Ｒ，Ｇ１，Ｇ２，Ｂの４色信号であり、オフセット補正回路４１は、これらの４色信号を取り込んでオフセット処理を行い、次のゲイン補正回路４２は、取り込んだ色信号Ｒ，Ｇ１，Ｇ２，Ｂに対して夫々ホワイトバランス補正処理を施す。
【００３３】
ガンマ補正回路４３では、取り込んだ色信号Ｒ，Ｇ１，Ｇ２，Ｂの内、Ｇ１とＧ２を区別なく取り扱い、いずれも緑色信号Ｇとして出力する。あるいは、緑色信号Ｇ１，Ｇ２を、例えば次の数１に従い線形結合して緑色信号Ｇを求めてもよい。
【００３４】
［数１］
Ｇ＝ｎ・Ｇｉ＋（１−ｎ）・Ｇｊ
ｎ：定数（０＜ｎ＜１）
ｉ，ｊ：“１”または“２”の値をとり、かつｉ≠ｊ
Ｇｉ：ガンマ補正回路への直接の入力信号
Ｇｊ：Ｇｉの最近隣の信号。Ｇｊは複数存在するので、それら全ての平均値を用いても良い。
あるいは、数１として、Ｇ＝ｎ・Ｇ１＋（１−ｎ）・Ｇ２を用いてもよい。
【００３５】
そして、この緑色信号Ｇと、他の赤色信号Ｒ，青色信号Ｂとを合わせたＲＧＢ３色の色信号として従来と同様に処理する。尚、オフセット補正回路４１の前段で、上記の数１を用いて緑色信号Ｇを求め、以下、Ｒ，Ｇ，Ｂの３色信号で処理を進める構成でもよい。
【００３６】
デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクス（Ｃ―ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００３７】
更に、デジタル信号処理２６は、積算部２８から出力される色信号Ｒ，Ｇ１，Ｇ２，Ｂ毎の積算値を取り込んで光源種別を判定する光源種別判定回路５１と、色信号Ｒ，Ｇ１，Ｇ２，Ｂを取り込んで光源混合比を推定する光源混合比推定回路５２と、ホワイトバランスゲイン量算出回路５３とを備える。
【００３８】
このホワイトバランスゲイン量算出回路５３は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、被写体照明光源が１種類の場合にはその光源種類に応じたホワイトバランスのゲイン量をゲイン補正回路４２に出力し、被写体照明光源が複数種類の場合には夫々の光源種類の照明光混合比に応じたホワイトバランスゲイン量を算出し、ゲイン補正回路４２に出力する。
【００３９】
ここで、光源種類Ｌ１が１００％のときのホワイトバランスゲイン量をｋ１ｒ，ｋ１ｇ１，ｋ１ｇ２，ｋ１ｂ（これらの添え字ｒ，ｇ１，ｇ２，ｂは夫々色Ｒ，Ｇ１，Ｇ２，Ｂに対応する。以下、同様）とし、光源種類Ｌ２が１００％のときのホワイトバランスゲイン量をｋ２ｒ，ｋ２ｇ１，ｋ２ｇ２，ｋ２ｂとするが、これらのゲイン量は、デジタルスチルカメラのメモリに予め設定されている値である。
【００４０】
ゲイン量算出回路５３は、光源種類が複数種類あった場合、この例では、光源Ｌ１と光源Ｌ２の両方が被写体を照明していた場合、ホワイトバランスゲインの画素毎のゲイン量ｋｒ，ｋｇ１，ｋｇ２，ｋｂを以下の数２により演算して求める。ここで、光源Ｌ１と光源Ｌ２の画素毎の混合比を、光源混合比推定回路５２がｍ：（１−ｍ）であると推定したとする。
【００４１】
［数２］
１／ｋｒ＝ｍ／ｋ１ｒ＋（１−ｍ）／ｋ２ｒ
１／ｋｇ１＝ｍ／ｋ１ｇ１＋（１−ｍ）／ｋ２ｇ１
１／ｋｇ２＝ｍ／ｋ１ｇ２＋（１−ｍ）／ｋ２ｇ２
１／ｋｂ＝ｍ／ｋ１ｂ＋（１−ｍ）／ｋ２ｂ
この演算式で、０≦ｍ≦１である。
【００４２】
色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路５１が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス〔Ｃ―ＭＴＸ〕を、入力してくる色差信号Ｃｒ，Ｃｂに、次の数３に示す様に乗算し、色調補正された色差信号Ｃｒ’，Ｃｂ’を出力する。
【００４３】
［数３］

【００４４】
更にこの色差マトリクス回路４８は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、光源種類が複数種類ある場合には、光源種類毎の照明光混合比に応じて、色差マトリクスの係数を補正する。
【００４５】
今、光源Ｌ１の照明光が１００％のときの色差マトリクス〔Ｃ１―ＭＴＸ〕と、光源Ｌ２の照明光が１００％のときの色差マトリクス〔Ｃ２―ＭＴＸ〕の係数が夫々次の数４で
【００４６】
［数４］

表され、光源Ｌ１と光源Ｌ２の混合比がｍ：（１−ｍ）のとき、色差マトリクス回路４８で使用する色差マトリクスの係数ａ，ｂ，ｃ，ｄは、次の数５
【００４７】
［数５］
ａ＝ｍ・ａ１＋（１−ｍ）・ａ２
ｂ＝ｍ・ｂ１＋（１−ｍ）・ｂ２
ｃ＝ｍ・ｃ１＋（１−ｍ）・ｃ２
ｄ＝ｍ・ｄ１＋（１−ｍ）・ｄ２
で求める。
【００４８】
尚、光源Ｌ１，Ｌ２の色差マトリクスは、ホワイトバランスの補正込みで最適な値に決めたものを使用するのがよい。特に、肌色の色相が良好で、かつ光源種にかかわらず同じであるように決めるのが好ましい。同時に、一般色の再現性も、基準光源で撮影した時の状態になるべく近づけて決めるのが良い。
【００４９】
光源種別判定回路５１は、固体撮像素子１１で撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ，ΣＧ１，ΣＢの値を積算部２８からの信号により求め、ΣＲ／ΣＧ１のデータとΣＢ／ΣＧ１のデータの組を求め、これら６４組のデータをＲ／Ｇ１軸とＢ／Ｇ１軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。
【００５０】
分布の形状が、ある種類の光源による分布の形状と、別の種類の光源による分布の形状の両方にまたがる分布を示す場合、光源種類が２つあると判断し、光源種類を判別する。また、ユーザが、図１に示す操作部２１から光源種別を入力した場合には、その光源種別を使用する。
【００５１】
尚、光源種類の自動判定は、上述した例に限るものではなく、例えば、固体撮像素子１１の無効領域に、光源種別判定専用のセンサを設けることでもよい。このセンサの分光感度の例としては、６４０ｎｍ以上の感度、５８０ｎｍ付近の感度、５２０ｎｍ付近の感度、これらを適宜組み合わせた感度などが特に有効である。また、Ｒ，Ｇ１，Ｇ２，Ｂの４つの分光感度から光源種類を判別することも可能である。例えば、Ｇ１とＧ２の差が５２０ｎｍ付近になるように設計すればよい。あるいは、Ｇ２を５２０ｎｍに感度を持つように設計すればよい。いずれにしても、緑色の分光感度としてＧ１，Ｇ２の二種類を設けることで、光源識別は可能となる。
【００５２】
光源混合比推定回路５２で行う推定処理は、画素毎に、その４つのデータ（Ｒ，Ｇｌ，Ｇ２，Ｂ）を用いて行う。４つの分光感度が固体撮像素子１１の表面にモザイク状に配列されている場合、基本的には、最近隣のＲ，Ｇ１，Ｇ２，Ｂを用いて混合比を推定する。且つ、なるべく、等方的配置によるＲ，Ｇ１，Ｇ２，Ｂを用いるのがよい。ある画素の推定混合比としては、周辺画素の推定混合比を含めてその平均値を用いることも可能である。こうすることで、推定混合比のＳＮ比が向上する。
【００５３】
ホワイトバランスゲインの補正とは、すなわち、グレーをグレーに補正することであるので、被写体色をグレーの場合に限って推定式を立てる。光源Ｌｌと光源Ｌ２の各照明光の混台比が変わると共に変化するデータは、全て推定式に用いることができる。例えば、Ｒ／Ｇｌ，Ｇ２／Ｇｌ，（Ｇｌ−Ｇ２）／（Ｇｌ＋Ｇ２），Ｂ／Ｒ、等々である。
【００５４】
これらは、いずれもＲ，Ｇ１，Ｇ２，Ｂのいずれか、もしくは、それらの線形結合の「比」の形になっている。こうすることで、白から黒までの全てのグレーに対して同じホワイトバランス補正を行なうこととなり、好ましい。
【００５５】
更に、上記の「比」を任意に線形結合した式の値をもって混合比の推定を行なうことも可能である。特に、基準となる光源がＬｌであるとすると、光源Ｌ１が１００％のときに、グレー画素での混合比推定値と肌色画素での混合比推定値とが同じ値（即ち光源Ｌｌが１００％であると推定すること）となるように推定式を立てることが好ましい。
【００５６】
しかし、これに限定されることなく推定式を立てても構わない。例えば葉緑の再現性を重視して推定式を決めることもできる。また例えば、赤の色相再現性をやや黄味を減らした色相にするといったことも可能である。いずれにしても、推定式を決めると、それによるホワイトバランス補正を込みにした色再現性（光源Ｌｌと光源Ｌ２の混合比に依存する）が決まる。
【００５７】
その色再現性において、例えば、肌色の変化（光源Ｌｌと光源Ｌ２の照明光混合比に伴う変化）が大きくて好ましくない場合にも、色差マトリクスの上述した係数補正を行なうことで、肌色の色再現性が安定で且つ良好となる。
【００５８】
尚、複数種類の光源の組合わせが異なれば、それに合わせて混合比推定式も別の最適式とするのがよく、また、色差マトリクスの補正（係数算出式）も、光源種の組合わせ毎に最適なものとするのがよい。それは、フラッシュ光とＦ６光源とが混合している場合でフラッシュ光１００％での最適色差マトリクスは、フラッシュ光とＡ光源とが混合している場合でフラッシュ光１００％での最適色差マトリクスと違うからである。なぜなら、グレー以外の一般色においては、フラッシュ光１００％であっても、推定値としては１００％にならず、従って、ホワイトバランス係数が第２光源寄りに修正されてしまうので、これを逆修正するような色差マトリクスが最適色差マトリクスとなるからである。
【００５９】
以下、具体的な例について説明する。
（具体例１）
分光感度がＲ，Ｇ１，Ｇ２，ＢよりなるＣＣＤを組み込んだデジタルカメラにて、Ｄ６５光源の照明光とＦ６光源の照明光とが混合した被写体画像を撮像し、その撮像画像データの補正を次の様に行った。
【００６０】
カメラの分光感度は、図３に示す通りである。（Ｇ２−Ｇｌ）は、図３中に示すように、波長５２０ｎｍにピークを持つ特性となっている。この例では、光源種類は、ユーザがマニュアルにてカメラに入力している。
【００６１】
各画素毎に、Ｄ６５光源とＦ６光源の各照明光の混合比を、次の数６により推定し、画素毎にホワイトバランスと色差マトリクスを補正した。
【００６２】
［数６］
ｍ（推定混合比）＝２．７２ｘ−２．２０
ここで、ｍ＝１はＤ６５光源が１００％を意味し、ｍ＞１のときはｍ＝１とし、ｍ＜０のときはｍ＝０とする。
【００６３】
また、上記の数６におけるｘは、次の数７で算出する。
【００６４】
［数７］
ｘ＝（Ｇ２−Ｇｌ）／（０．５・Ｇ２＋０．５・Ｇｌ）＋０．１５５・（０．１５・Ｒ＋０．５・Ｇｌ＋０．５・Ｇ２）／Ｂ
【００６５】
尚、（０．５・Ｇ２＋０．５・Ｇｌ）・Ｂ＝０のときは、ｍ＝１とする。また、上式におけるＲ，Ｇｌ，Ｇ２，Ｂの値は、ＣＣＤ出力値にＤ６５光源用のホワイトバランス係数を掛けて求めた値を使用した。緑信号Ｇは、Ｇ＝０．５・Ｇ１＋０．５・Ｇ２として求めた。
【００６６】
図５はこの具体例１における補正効果を示す図であり、図５（ａ）に補正前の状態、図５（ｂ）にホワイトバランス補正及び色差マトリクス補正後の状態を示す。図５（ａ）の各○印はＤ６５光源下での各色の測色点を示し、各○印付近から延びる線は、Ｄ６５光源にＦ６光源の照明光を混ぜていったときの再現色の軌跡を示している。
【００６７】
ほぼ全ての色で、再現色の軌跡は縦軸の上方向すなわちｂ＊方向に延びている。この方向は黄色方向を示し、Ｆ６光源の照明光が太陽光（Ｄ６５光源）に混じると、全ての色が黄色に色かぶりしてしまうことを示している。
【００６８】
これに対し、この具体例１のホワイトバランス補正及び色差マトリクス補正を行うと、図５（ｂ）に示す様に、特に肌色や白色において、Ｆ６光源の照明光が太陽光（Ｄ６５光源）に混じっても、黄色の色かぶりが抑制されることが分かる。
【００６９】
（具体例２）
図６は、この具体例２で用いたカメラの分光感度Ｇ１，Ｇ２を示す図である。Ｒ，Ｂの分光感度は、図３と同じであるため、図６では省略している。この具体例２では、Ｆ６光源により照明されている室内にてフラッシュ光を焚いて撮影を行ない、次の様に撮像画像データを補正した。
【００７０】
まずプレ露光にて室内の照明光がＦ６光源の照明光であることを確認した。その確認は、次の数８にて光源種パラメータＰ
【００７１】
［数８］
Ｐ＝（Ｇ２−０．４・Ｇ１＋０．０５・Ｒ−０．１・Ｂ）／（Ｇｌ−０．２・Ｇ２＋０．４・Ｂ）
を求めることで行う。
【００７２】
この式中のＲ，Ｇ１，Ｇ２，Ｂは、撮影画像を６４分割し、各区画毎の全画素の値を合計して求めた値である。またこの時のＲ，Ｇｌ，Ｇ２，Ｂは、カメラの初期のホワイトバランスゲイン（Ｄ５５光源用ホワイトバランスゲイン）を掛けた値である。区画毎に光源種パラメータＰを算出し、予めＦ６光源の場合のパラメータとして割り出してある値の範囲に入る区画の数が多数であったので．光源はＦ６光源であるとカメラが自動的に判別した。
【００７３】
次に、フラッシュ発光を行って撮影し、撮影画像の画素毎に光源種の混合比を推定した。混合比推定式は、次の数９である。
【００７４】
［数９］
ｍ（推定混合比）＝１．４５−√（ｘ／０．２１５−５．８２）ｘ＝Ｇｌ／Ｇ２＋０．２９４・Ｇ１／Ｒ
但し、ｘ／０．２１５−５．８２＜０の時は、ｍ＝１とし、
Ｇ２・Ｒ＝０の時は、ｍ＝０とし、
ｍ＞１の時は、ｍ＝１とし、
ｍ＜０の時は、ｍ＝０とする。
【００７５】
また、上式のＲ，Ｇｌ，Ｇ２，Ｂは、フラッシュ光用のホワイトバランスゲインを掛けた値を用いている。更に、画像信号形成用のＧは、ＳＮ比を最大にする観点から、Ｇ＝０．５２７・Ｇ１＋０．４７３・Ｇ２として求めた。
【００７６】
図７はこの具体例２における補正効果を示す図であり、図７（ａ）に補正前の状態、図７（ｂ）にホワイトバランス補正及び色差マトリクス補正後の状態を示す。
【００７７】
図７（ａ）の各○印は、図５と同様に、Ｄ６５光源下での各色の測色点を示す。フラッシュ光はＤ６５光源に近いため、○印がフラッシュ光源下での各色の測色点と見ることができる。各○印付近から延びる線は、フラッシュ光源にＦ６光源の照明光を混ぜていったときの再現色の軌跡を示している。この具体例２においても、ほぼ全ての色で、再現色の軌跡は縦軸の上方向すなわちｂ＊方向に延びており、Ｆ６光源の照明光がフラッシュ光に混じることで、黄色に色かぶりしてしまうことを示している。
【００７８】
これに対し、この具体例２のホワイトバランス補正及び色差マトリクス補正を行うと、図７（ｂ）に示す様に、特に肌色や白色において、Ｆ６光源の照明光がフラッシュ光に混じっても、黄色の色かぶりが抑制されることが分かる。
【００７９】
以上述べた様に、緑色を検出する画素に二種類の分光感度Ｇ１，Ｇ２を設け、このＧ１，Ｇ２の信号によって複数種類の光源からの照明光混合比を求め、ホワイトバランス補正のゲイン量を各種類の光源の寄与を考慮して算出したため、被写体が複数種類の光源からの光で照明されていても、ホワイトバランス補正を良好に行うことができ、色再現性とくに肌色の再現性が向上し、色かぶりの抑制された画像を撮像することが可能となる。
【００８０】
尚、上述した実施形態では、Ｒ，Ｇ，ＢのうちＧの分光感度をＧ１，Ｇ２の二種類設けたが、Ｇの代わりに、Ｒの分光感度をＲ１，Ｒ２の二種類設けても、また、Ｂの分光感度をＢ１，Ｂ２の二種類設けても同様のに照明光混合比を求めることができる。更に、原色系のＲ，Ｇ，Ｂの代わりに、補色系のＹｅ（イエロー），Ｃｙ（シアン），Ｍｇ（マゼンタ），Ｇ（グリーン）の固体撮像素子を搭載した場合には、これらの中のいずれか１つの分光感度を二種類設ければよい。
【００８１】
【発明の効果】
本発明によれば、任意の複数種類の光源下で撮影した画像のホワイトバランス補正を良好に行うことができ、更に色かぶりが少なく色再現性が高い撮像画像を得ることができる。また、この効果により、カメラに付属させるフラッシュ装置の発光パワーを必要最小限にとどめることができる。即ち、フラッシュ光量が小さいと、アベイラブルライトの光量が相対的に上がることになり色カブリが顕著となるが、本発明の効果によりその色カブリを補正できるからである。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示す固体撮像素子の表面の模式図である。
【図３】図１に示すデジタルスチルカメラの分光感度を示すグラフである。
【図４】図１に示すデジタル信号処理部の詳細構成図である。
【図５】本発明の具体例の効果を示す図である。
【図６】本発明の別の具体例におけるデジタルカメラの分光感度を示すグラフである。
【図７】本発明の別の具体例の効果を示す図である。
【符号の説明】
１０撮影レンズ
１１固体撮像素子
１５ＣＰＵ
２６デジタル信号処理部
２８積算部
４８色差マトリクス回路
５１光源種別判定回路
５２光源混合比推定回路
５３ホワイトバランスゲイン量算出回路

Claims

被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に、前記入射光の光源種類が複数種類存在するとき前記二種類の分光感度を有する画素によって得られた撮像画像データから前記複数種類の光源による照明光の混合比を画素毎に求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて画素毎に算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする固体撮像装置。
前記信号処理手段は前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを備えることを特徴とする請求項１に記載の固体撮像装置。
前記信号処理手段は、前記撮像画像データから光源種類を判別する光源種別判定手段を備えることを特徴とする請求項１または請求項２に記載の固体撮像装置。
被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備えるデジタルカメラにおいて、前記複数の色信号のうちの少なくとも一色を検出する前記画素として分光感度の異なる二種類の画素を前記固体撮像素子に設けると共に、前記入射光の光源種類が複数種類存在するとき前記二種類の分光感度を有する画素によって得られた撮像画像データから前記複数種類の光源による照明光の混合比を画素毎に求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて画素毎に算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とするデジタルカメラ。