JP2005080190A - ホワイトバランス調整方法及び電子カメラ - Google Patents

Abstract

【課題】 感度が異なる主画素と副画素とを多数配置したカラー撮像手段で光電変換された色信号に基づいて広ダイナミックレンジの色信号を生成する際、副画素の色信号も主画素の色信号と同様に的確な色再現を可能にすること。
【解決手段】 主画素の色信号に基づいて第１のホワイトバランス補正値を求め（Ｓ１６）、この第１のホワイトバランス補正値に従って主画素の色信号を補正する（Ｓ１８）。一方で、主画素の色信号の色間の出力差と副画素の色信号の色間の出力差との比である感度比を第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求め（Ｓ２６）、この第２のホワイトバランス補正値に従って副画素の色信号を補正する（Ｓ２８）。副画素の色信号の積算値を前記感度比で補正し、この補正された積算値に基づいて求めたホワイトバランス補正値を更に前記感度比で補正して、副画素の色信号のホワイトバランス補正値としてもよい。
【選択図】 図６

Description

本発明はホワイトバランス調整方法及び電子カメラに係り、特に、感度が異なる高感度の色信号と低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法及び電子カメラに関する。

感度の高い主画素と主画素よりも感度の低い副画素とを多数配置したカラー撮像手段によって被写体を撮像し、主画素で光電変換して得られた色信号と副画素で光電変換して得られた色信号とを合成することにより広ダイナミックレンジの色信号が得られるようにした電子カメラが提案されている。この電子カメラによれば、被写体の中間輝度領域の再現を適切に保ったまま、ハイライト領域を白飛びさせることなく再現させることができる。

一方で、光源種を判別し、その判別した光源種に適したホワイトバランス調整を行うようにしたホワイトバランス調整方法が提案されている（例えば特許文献１参照）。

静止画と動画とでホワイトバランス補正値を切り替えるようにした電子カメラも提案されている（特許文献２参照）。具体的には、静止画撮影時には目標の補正が瞬時に完了するホワイトバランス補正値を用い、動画撮影時には高速性よりも時系列での円滑性を重視したホワイトバランス補正値を用いるようになっている。
特開２０００−２２４６０８号公報 特開平５−１３０６３５号公報

主画素と副画素とを多数配置したカラー撮像素子の色信号に対してホワイトバランス調整をする場合、主画素の色信号のみ的確に色再現されても、副画素の色信号での色再現がくずれていれば、主画素の色信号と副画素の色信号とを合成して得た広ダイナミックレンジの色信号も色再現が十分でないことになり、結果として、利用者が画像を視認した際に違和感を抱きかねない。即ち、従来の単一種類の画素を多数配置した電子カメラでのホワイトバランス調整方法を、主画素の色信号と副画素の色信号とに対してそれぞれ独立に適用しただけでは、十分な色再現は困難であろう。

特許文献２には、２種類の色信号（静止画及び動画）に対するホワイトバランス調整方法が開示されてはいるが、このような公知の方法を主画素の色信号及び副画素の色信号のホワイトバランス調整に仮に適用したとしても、やはり的確な色再現をすることができない。この特許文献２に開示されたものでは、せっかく一方の色信号（静止画）に対して色再現可能な適切なホワイトバランス補正値を決めても、他方の色信号（動画）では円滑性を重視したホワイトバランス補正値を用いるため、シーンによっては色再現が異なってしまう。

本発明はこのような事情に鑑みてなされたもので、低感度の色信号についても高感度の色信号と同様に的確な色再現をすることができ、これらの高感度の色信号と低感度の色信号とに基づいて生成した広ダイナミックレンジの色信号でも的確な色再現を可能とするホワイトバランス調整方法及び電子カメラを提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置されたカラー撮像手段の前記主画素で光電変換された色信号と該主画素に対応する位置の副画素で光電変換された色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、前記カラー撮像手段から取り出された主画素の色信号に基づいて第１のホワイトバランス補正値を求めるステップと、前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正するステップと、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を、前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求めるステップと、前記第２のホワイトバランス補正値に従って前記副画素の色信号を補正するステップとを含む構成となっている。

この構成によって、副画素の色信号に対するホワイトバランス補正値が、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を主画素の色信号に対するホワイトバランス補正値に乗算して求められ、このようにして求められたホワイトバランス補正値に従って副画素の色信号のホワイトバランスが調整されるので、副画素の色信号についても主画素の色信号と同様に的確な色再現がされることになる。

また、請求項２に記載の発明は、感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置されたカラー撮像手段の前記主画素で光電変換された色信号と該主画素に対応する位置の副画素で光電変換された色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、前記カラー撮像手段から取り出された主画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求めるステップと、前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正するステップと、前記カラー撮像手段から取り出された副画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求めるステップと、前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求めるステップと、前記第３のホワイトバランス補正値に従って前記副画素の色信号を補正するステップとを含む構成となっている。

この構成によって、副画素の色信号のＲ／Ｇ及びＢ／Ｇが主画素の色信号のＲ／Ｇ及びＢ／Ｇに相当するように補正されて、これらの補正された副画素の色信号のＲ／Ｇ及びＢ／Ｇに基づいて主画素の色信号に対するホワイトバランス補正値に相当する副画素の色信号のホワイトバランス補正値が求められるとともに、この副画素の色信号のホワイトバランス補正値に、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比が乗算されて、この補正されたホワイトバランス補正値に従って副画素の色信号のホワイトバランスが調整されるので、副画素の色信号についても主画素の色信号と同様に的確な色再現がされることになる。

また、請求項３に記載の発明は、請求項１又は２に記載の発明において、前記感度比を予め記憶した記憶手段から該感度比を読み出すステップを更に含む構成となっている。

この構成によって、シミュレーションの結果や実際の回路での試験結果等に基づく適当な感度比を記憶手段に予め記憶させておき、この予め記憶させた感度比に基づいて的確な色再現をさせることが可能になる。

また、請求項４に記載の発明は、請求項１又は２に記載の発明において、前記感度比を前記主画素の色信号及び前記副画素の色信号に基づいて算出するステップを更に含む構成となっている。

この構成によって、実際に個々の電子カメラで感度比を算出して各電子カメラに適した色再現をさせることも可能になる。

また、請求項５に記載の発明は、感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置され、前記主画素及び副画素で光電変換された色信号をそれぞれ取り出すことが可能なカラー撮像手段と、前記カラー撮像手段から取り出された主画素の色信号に基づいて第１のホワイトバランス補正値を求める手段と、前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正する手段と、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求める手段と、前記第２のホワイトバランス補正値に従って前記副画素の色信号を補正する手段と、前記補正された主画素の色信号と該主画素に対応する位置の補正された副画素の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段とを備えた構成となっている。

また、請求項６に記載の発明は、感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置され、前記主画素及び副画素で光電変換されたＲ，Ｇ，Ｂの色信号をそれぞれ取り出すことが可能なカラー撮像手段と、前記カラー撮像手段から取り出された主画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、該第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求める手段と、前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正する手段と、前記カラー撮像手段から取り出された副画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求める手段と、前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求める手段と、前記第３のホワイトバランス補正値に従って前記副画素の色信号を補正する手段と、前記補正された主画素の色信号と該主画素に対応する位置の補正された副画素の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段とを備えた構成となっている。

本発明によれば、低感度の色信号についても高感度の色信号と同様に的確な色再現がされ、これらの高感度の色信号と低感度の色信号とに基づいて生成した広ダイナミックレンジの色信号でも的確な色再現がされる。

以下添付図面に従って本発明に係るホワイトバランス調整方法及び電子カメラの好ましい実施の形態について詳説する。

（第１の実施の形態） 図１は本発明を適用した電子カメラのブロック図である。

この電子カメラは、静止画や動画の記録及び再生の機能を備えたデジタルカメラであり、電子カメラ全体の動作は中央処理装置（ＣＰＵ）６０によって統括制御される。ＣＰＵ６０は、所定のプログラムに従って本電子カメラの各部を制御する制御手段として機能する。また、自動露出（ＡＥ）、自動焦点調節（ＡＦ）、及び、自動ホワイトバランス調整（ＡＷＢ）などの制御を行う際には、これらの制御に必要な各種の演算もＣＰＵ６０で実施するようになっている。

カラー撮像素子（ＣＣＤ）１４には、撮影レンズ１０及び絞り１２を透過した光が入射される。このＣＣＤ１４は、複数のフォトダイオード（後述の受光セルを構成する）が二次元配列されており、これらのフォトダイオードによって被写体像が入射光量に応じた信号電荷に変換される。図２は、ハニカム配列と呼ばれる配列形態のカラー撮像素子を示す平面模式図であり、互いに隣接する受光セル１４２０の行同士（又は列同士）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配列されている。

各受光セル１４２０は、感度の異なる二つの受光領域１４２１、１４２２を含む。第１の受光領域１４２１は、第２の受光領域１４２２よりも相対的に広い面積を有する感光部（以下「主画素」と称する）を構成する。第２の受光領域１４２２は、第１の受光領域１４２１よりも相対的に狭い面積を有する従たる感光部（以下「副画素」と称する）を構成する。ここで、副画素１４２２は主画素１４２１よりも感度が低い。各受光セル１４２０を構成する一対の主画素１４２１と副画素１４２２には同色のカラーフィルタが配置されている。すなわち、各受光セル１４２０に対応してそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の何れか一色の原色カラーフィルタが割り当てられている。尚、図２では受光セル１４２０の開口形状が四角形であるが、開口形状はこのような四角形に限定されず、六角形や八角形等の多角形、或いは円形であってもよい。また、受光セル１４２０の分割形態についても、図２に示した形状に限定されず、面積の大小関係など適宜設計される。

受光セル１４２０に近接して垂直転送路（ＶＣＣＤ）１４３０が設けられている。垂直転送路１４３０上には４相駆動（φ１、φ２、φ３、φ４）に必要な転送電極１４３１、１４３２、１４３３、１４３４が配置されている。また、受光セル１４２０が並んだ撮像エリア１４４０に近接して、転送電極１４３１乃至１４３４にパルス電圧を印加するＶＣＣＤ駆動回路１４４２と、垂直転送路１４３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）１４４４が設けられている。水平転送路１４４４は、２相駆動であり、水平転送路１４４４の最終段は出力部１４４６に接続されている。出力部１４４６は出力アンプを含み、入力された信号電荷の電荷検出を行って、信号電圧として出力端子１４４８に色信号を出力する。こうして、各受光セル１４２０で光電変換した色信号（Ｒ，Ｇ，Ｂ信号）が、点順次の信号列として出力される。

このようなＣＣＤ１４において、一度の露光により主画素１４２１及び副画素１４２２で蓄積された信号電荷は、それぞれ独立に読み出される。具体的には、主画素１４２１及び副画素１４２２でそれぞれ生成された信号電荷は、受光セル１４２０に近接した垂直転送路１４３０に別々に読み出され、混ざり合うことなく転送される。すなわち、ひとつの受光セル１４２０から感度の異なる２種類の色信号（即ち、主画素のＲ，Ｇ，Ｂ信号と副画素のＲ，Ｇ，Ｂ信号）が別々に取り出される。

主画素１４２１の出力は、入射光量（被写体反射率）に比例して次第に増加し、入射光量が所定値（ｃ）のときに飽和値（以下「飽和光量」と称する）に達する。以後、入射光量が増加しても主画素１４２１の出力は一定となる。一方で、副画素１４２２の出力は、入射光量が主画素１４２１の飽和光量ｃを超えても飽和しないようになっている。

ＣＣＤ１４は、電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。ＣＣＤ１４に蓄積された電荷は、ＣＰＵ６０の指令に従いＣＣＤ駆動回路１６から与えられる駆動パルスによって信号電荷に応じた電圧信号（Ｒ，Ｇ，Ｂ信号）として順次読み出される。以下、主画素から取り出されたＲ，Ｇ，Ｂ信号を「主画素の色信号」、副画素から取り出されたＲ，Ｇ，Ｂ信号を「副画素の色信号」ともいう。

ＣＣＤ１４から順次取り出された主画素及び副画素の色信号は、相関二重サンプリング回路（ＣＤＳ回路）１８に与えられ、サンプリングホールド（相関二重サンプリング処理）された後、Ａ／Ｄ変換器２０に与えられ、アナログからデジタルに変換される。これらのＣＣＤ駆動回路１６、ＣＤＳ回路１８、及びＡ／Ｄ変換器２０は、タイミング発生器２２から与えられるタイミング信号によって同期して動作するようになっている。

Ａ／Ｄ変換器２０から出力された主画素及び副画素の色信号は、一旦メモリ２４に格納され、その後、デジタル信号処理回路２６に加えられる。デジタル信号処理回路２６は、同時化回路２８、ホワイトバランス補正回路３０、ガンマ処理回路３２、合成回路３３、ＹＣ信号生成回路３４及びメモリ３６から構成されている。同時化回路２８は、Ａ／Ｄ変換器２０でデジタルに変換された点順次の主画素及び副画素の色信号を同時式に変換し、ホワイトバランス補正回路３０は、同時化回路２８から出力された主画素及び副画素の色信号のホワイトバランスを補正し、ガンマ処理回路３２は、ホワイトバランス補正回路３０から出力された主画素及び副画素の色信号が所望のガンマ特性となるように入出力特性を変更し、合成回路３３は主画素の色信号と副画素の色信号とを合成して広ダイナミックレンジの色信号を生成する。

図３は、ガンマ処理回路３２から出力された主画素の色信号３２０Ｐ及び副画素の色信号３２０Ｓと、合成回路３３から出力された広ダイナミックレンジの色信号３３０の例を示す。図３において、横軸は被写体反射率、縦軸は各色信号のレベルにしてある。このように主画素の色信号と副画素の色信号とを合成して広ダイナミックレンジの色信号を生成することにより、被写体の中間輝度領域の再現を適切に保ったまま、ハイライト領域を白飛びさせることなく再現させることができる。

ＹＣ信号生成回路３４は、合成回路３３から出力された広ダイナミックレンジの色信号（Ｒ，Ｇ，Ｂ信号である）から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成し、メモリ３６はＹＣ信号生成回路３４から出力されたＹＣ信号を一時記憶する。

メモリ３６内に一時記憶されたＹＣ信号は、液晶モニタ５２に表示させることができる。また、圧縮／伸長回路５４は、ＪＰＥＧなどの所定のフォーマットでＹＣ信号を圧縮し、記録部５６は、メモリカードその他の所定の記録媒体に画像データとして記録する。また、記録部５６によって記録媒体から読み出された画像データは、圧縮／伸長回路５４によって伸長処理された後、液晶モニタ５２に出力されるようになっている。

操作部４０には、モード選択スイッチ、撮影ボタン、メニューキー、ＯＫキー、十字キー、キャンセルキーなどが設けられている。モードスイッチは、被写体を撮影して画像データを記録するための撮影モードと、記録した画像データを再生する再生モードとを切り替えるための操作手段である。撮影ボタンは、撮影開始の指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。メニューキーは、液晶モニタ５２の画面上にメニューを表示させる指示を入力するための操作手段である。ＯＫキーは、選択内容の確定及び実行などの指示を入力するための操作手段である。十字キーは、メニュー上の項目の選択などのために上下左右４方向の指示を入力する操作手段である。キャンセルキーは、選択項目や指示内容などの取消の指示を入力する操作手段である。

図４は、第１の実施の形態の電子カメラにおけるホワイトバランス補正値の算出に関連する部分を示すブロック図である。

主画素積算値算出回路５０Ｐは、ＣＣＤ１４の有効な受光面全体に相当する１画面を複数のエリア（例えば８×８個）に分割し、これらの分割エリアごとに主画素のＲ，Ｇ，Ｂ信号をそれぞれ積算し、Ｒ，Ｇ，Ｂ信号別の積算値（「主画素積算値」と称する）を出力する。副画素積算値算出回路５０Ｓは、ＣＣＤ１４の有効な受光面全体に相当する１画面を複数のエリア（例えば８×８個）に分割し、これらの分割エリアごとに副画素のＲ，Ｇ，Ｂ信号をそれぞれ積算し、Ｒ，Ｇ，Ｂ信号別の積算値（「副画素積算値」と称する）を出力する。これらの主画素積算値算出回路５０Ｐ及び副画素積算値算出回路５０Ｓは、図１の積算値算出回路５０を構成する。

主画素積算値算出回路５０Ｐ及び副画素積算値算出回路５０Ｓは、それぞれ、ＣＣＤ１４に発生する暗電流に起因する黒レベルのオフセットを調整するための所定の黒レベル調整値を出力する黒レベル調整値回路（ＯＢ回路）５０２Ｐ、５０２Ｓと、入力されたＲ，Ｇ，Ｂ信号から黒レベル調整値を減算する減算器５０３Ｐ、５０３Ｓと、カメラ間のバラツキを調整するための所定の微補正マトリクスゲインを出力する微補正マトリクスゲイン回路５０４Ｐ、５０４Ｓと、黒レベル調整後のＲ，Ｇ，Ｂ信号に微補正マトリクスゲインを乗算する乗算器５０５Ｐ、５０５Ｓと、カメラ間のバラツキが補正されたＲ，Ｇ，Ｂ信号について、分割エリアごとにＲ，Ｇ，Ｂ信号をそれぞれ積算して、Ｒ，Ｇ，Ｂ信号別の積算値を出力する積算器５０６Ｐ、５０６Ｓとを有する。

主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐは、分割エリアごとに、主画素のＲ信号の積算値と主画素のＧ信号の積算値との比（「主画素Ｒ／Ｇ」と称する）、及び、主画素のＢ信号の積算値と主画素のＧ信号の積算値との比（「主画素Ｂ／Ｇ」と称する）を算出する。言い換えれば、主画素積算値を、（Ｒ，Ｇ，Ｂ）座標から、（Ｒ／Ｇ，Ｂ／Ｇ）座標（「表色座標」ともいう）に変換する。

副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓは、分割エリアごとに、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（「副画素Ｒ／Ｇ」と称する）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（「副画素Ｂ／Ｇ」と称する）を算出する。言い換えれば、副画素積算値を、（Ｒ，Ｇ，Ｂ）座標から、（Ｒ／Ｇ，Ｂ／Ｇ）座標（「表色座標」ともいう）に変換する。

補正係数算出手段６０４は、数１に示すように、副画素Ｒ／Ｇを主画素Ｒ／Ｇで除算して第１の感度比ａを算出するとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇで除算して第２の感度比ｂを算出し、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする。
［数１］
ａ＝（副画素Ｒ／Ｇ）／（主画素Ｒ／Ｇ）
ｂ＝（副画素Ｂ／Ｇ）／（主画素Ｂ／Ｇ）
第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比を示す。

これらの補正係数１／ａ及び１／ｂは、感度比ａ及びｂのそれぞれ逆数であるから、補正係数１／ａ及び１／ｂも、主画素の色信号の色間の出力差と副画素の色信号の色間の出力差との比である感度比（ただし主画素／副画素である）を示す。

尚、感度比ａ、ｂを算出する際に用いる副画素Ｒ／Ｇ、主画素Ｒ／Ｇ、及び、副画素Ｂ／Ｇ、主画素Ｂ／Ｇは、特定の分割エリア（例えば光源種を示す分割エリア）のものを用いる方法、複数の分割エリア（検出個数が最も多かった検出枠内の複数の分割エリア）のものを積算して用いる方法、１画面内の積算値を用いる方法等がある。

主画素ゲイン算出手段６０６は、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐで算出された主画素Ｒ／Ｇ及び主画素Ｂ／Ｇに基づいて、主画素のＲ，Ｇ，Ｂ信号のホワイトバランスを調整するためのホワイトバランスゲイン（「主画素ゲイン」と称する）を算出する。

この主画素ゲイン算出手段６０６は、検出枠判別手段６０６２、重み付け演算手段６０６４及び光源色補正手段６０６６を有している。

検出枠判別手段６０６２は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした表色座標上で、各分割エリアの積算値に対応する点（Ｒ／Ｇ，Ｂ／Ｇ）が、予め決められた複数の検出枠のうち、何れの検出枠内に入るかを判別する。

検出枠の例を図５に示す。図５において、表色座標２００における青空検出枠２０２、日陰検出枠２０４、曇り検出枠２０６、昼光色検出枠２０８、昼白色−白色検出枠２１０、肌色検出枠２１２、温白色検出枠２１４、タングステン灯検出枠２１６は、光源種ごとに範囲を規定したものである。尚、検出枠の種類や数、範囲等については本例に限定されず、多様な設計が可能である。

重み付け演算手段６０６４は、表色座標上の検出枠を用い、撮影画面の各分割エリアにおける各点（例えば８×８個の点）の分布状態を得るとともに、この分布状態と検出枠ごとの重み付けとに基づいて、色味をグレーに合わせるようなゲイン（基本ゲイン）を算出する。

光源色補正手段６０６６は、重み付け演算手段６０６４の演算で求められた基本ゲインに対して光源色の後味を残すための補正を施す。

副画素ゲイン算出手段６０７は、主画素ゲイン算出手段６０６で算出された主画素ゲインと補正係数算出手段６０４で算出された補正係数（１／ａ、１／ｂ）とに基づいて、副画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（「副画素ゲイン」と称する）を算出する。

Ｒ，Ｇ，Ｂ信号別の主画素ゲインをそれぞれ主画素Ｒｇ、主画素Ｇｇ、主画素Ｂｇとし、Ｒ，Ｇ，Ｂ信号別の副画素ゲインをそれぞれ副画素Ｒｇ、副画素Ｇｇ、副画素Ｂｇとすると、数式２に示すようにして副画素ゲインが算出される。
［数２］
副画素Ｒｇ＝主画素Ｒｇ×１／ａ
副画素Ｇｇ＝主画素Ｇｇ
副画素Ｂｇ＝主画素Ｂｇ×１／ｂ
主画素ゲイン算出手段６０６から出力されたＲ，Ｇ，Ｂ信号別の主画素ゲインは、主画素ホワイトバランス補正回路３０Ｐにおいて、主画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算される。また、副画素ゲイン算出手段６０７から出力されたＲ，Ｇ，Ｂ信号別の副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓにおいて、副画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算される。これらの乗算により主画素のＲ，Ｇ，Ｂ信号及び副画素のＲ，Ｇ，Ｂ信号のホワイトバランスがそれぞれ調整されるようになっている。

ホワイトバランス補正前の主画素の色信号を主画素Ｒ，主画素Ｇ，主画素Ｂとし、ホワイトバランス補正後の主画素の色信号を主画素Ｒ'、主画素Ｇ'、主画素Ｂ'とすると、数３に示すようになる。
［数３］
主画素Ｒ'＝主画素Ｒｇ×主画素Ｒ
主画素Ｇ'＝主画素Ｇｇ×主画素Ｇ
主画素Ｂ'＝主画素Ｂｇ×主画素Ｂ
同様に、ホワイトバランス補正前の副画素の色信号を副画素Ｒ，副画素Ｇ，副画素Ｂとし、ホワイトバランス補正後の副画素の色信号を副画素Ｒ'、副画素Ｇ'、副画素Ｂ'とすると、数４に示すようになる。
「数４」
副画素Ｒ'＝副画素Ｒｇ×副画素Ｒ
副画素Ｇ'＝副画素Ｇｇ×副画素Ｇ
副画素Ｂ'＝副画素Ｂｇ×副画素Ｂ
尚、図４において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、補正係数算出手段６０４、主画素ゲイン算出手段６０６、及び、副画素ゲイン算出手段６０７は、ＣＰＵ６０によって構成している。

図６は、本実施の形態におけるホワイトバランス調整及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。

撮影ボタンが全押しされて撮影が開始されると、主画素１４２１で光電変換して得られた色信号（主画素Ｒ，Ｇ，Ｂ信号）のホワイトバランス調整処理と、副画素１４２２で光電変換して得られた色信号（副画素Ｒ，Ｇ，Ｂ信号）のホワイトバランス調整処理とが並行して行われる。

主画素のホワイトバランス調整では、まず、主画素積算値算出回路５０Ｐによって、分割エリアごとに主画素Ｒ，Ｇ，Ｂ信号がそれぞれ積算され、Ｒ，Ｇ，Ｂ信号別の積算値（主画素積算値）が得られる（Ｓ１０）。この分割エリアごとの主画素積算値は、（Ｒ，Ｇ，Ｂ）座標から（Ｒ／Ｇ，Ｂ／Ｇ）座標（表色座標）に変換される。具体的には、主画素のＲ信号の積算値と主画素のＧ信号の積算値との比（主画素Ｒ／Ｇ）、及び、主画素のＢ信号の積算値と主画素のＧ信号の積算値との比（主画素Ｂ／Ｇ）が算出される（Ｓ１１）。そして、これらの主画素Ｒ／Ｇ及び主画素Ｂ／Ｇに基づいて、主画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算するＲ，Ｇ，Ｂ信号別のホワイトバランスゲイン（主画素ゲイン）が算出される（Ｓ１６）。算出されたＲ，Ｇ，Ｂ信号別の主画素ゲインは、主画素ホワイトバランス補正回路３０Ｐによって、主画素のＲ，Ｇ，Ｂ信号に乗算される（Ｓ１８）。ホワイトバランス補正が施された主画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ１９）。

副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに副画素Ｒ，Ｇ，Ｂ信号がそれぞれ積算され、Ｒ，Ｇ，Ｂ信号別の積算値（副画素積算値）が得られる（Ｓ２０）。この分割エリアごとの副画素積算値は、Ｒ，Ｇ，Ｂ座標からＲ／Ｇ，Ｂ／Ｇ座標（表色座標）に変換される。具体的には、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。また、副画素Ｒ／Ｇを主画素Ｒ／Ｇで除算して第１の感度比ａが算出されるとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇで除算して第２の感度比ｂが算出され、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする（Ｓ２２）。そして、主画素ゲインに補正係数（１／ａ及び１／ｂ）を乗算して、副画素ゲインが算出される（Ｓ２６）。算出された副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓによって、副画素のＲ，Ｇ，Ｂ信号に乗算される（Ｓ２８）。ホワイトバランス補正が施された副画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。

ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素Ｒ，Ｇ，Ｂ信号と副画素Ｒ，Ｇ，Ｂ信号とは、合成回路３３によって合成されて広ダイナミックレンジのＲ，Ｇ，Ｂ信号が生成される（Ｓ４０）。生成された広ダイナミックレンジのＲ，Ｇ，Ｂ信号は、ＹＣ信号生成回路３４によってＹ，Ｃ信号に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。

ここで、主画素ゲイン算出手段６０６でのホワイトバランスゲイン算出の一例について詳細に説明する。

まず、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした表色座標上で、各分割エリアが、図５に示すような複数の検出枠のうち、何れの検出枠内に入るかを判別する。具体的には、（Ｒ／Ｇ，Ｂ／Ｇ）座標に変換された、分割エリアごとの色信号の積算値が、何れの検出枠内に入るかを判別する。

次に、数５に示すように、各検出枠（ｉ）について、積算値の平均座標（Σ｛（Ｒｉ／Ｇｉ）／ｎ｝）を求めるとともに、この平均座標を原点Ｏ（１，１）に合わせるための基本ゲイン、即ち色味をグレーに合わせるためのホワイトバランスゲイン（ｇｒｉ及びｇｂｉ）を算出する。
［数５］
ｇｒｉ＝１／Σ｛（Ｒｉ／Ｇｉ）／ｎ｝
ｇｂｉ＝１／Σ｛（Ｂｉ／Ｇｉ）／ｎ｝
ここで、ｎは各検出枠（ｉ）内に入った点の個数（検出個数）である。尚、何れの検出枠にも入らなかった点（積算値）は除外され、検出枠内に入った点の座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）及び検出個数に基づいて基本ゲインｇｒｉ，ｇｂｉが算出される。

また、各検出枠内に入った検出個数と予め検出枠ごとに決められた重み付けのための係数とに基づいて、評価値Ｈｉが算出される。具体的には、数６に示すように、検出枠（ｉ）ごとに、明るさ依存係数（０〜１）を検出個数に乗じて、評価値Ｈｉが得られる。
［数６］
Ｈｉ＝検出個数×明るさ依存係数
そして、数７に示すように、主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）が算出される。
［数７］
主画素Ｒｇ＝Σ（Ｔｘｉ×ｇｒｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
主画素Ｂｇ＝Σ（Ｔｙｉ×ｇｂｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
主画素Ｇｇ＝Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
ここで、ＴｘｉはＲ／Ｇ軸上での目標値、ＴｙｉはＢ／Ｇ軸上での目標値、である。

さらに光源色の色味を残すための補正（光源色補正）を施す。具体的には、Ｒ，Ｇ，Ｂ信号別のホワイトバランスゲインＲｇ，Ｂｇ，Ｇｇのそれぞれに、０から１００％までの順応率を乗じて、実際に色信号に乗じる最終のホワイトバランスゲイン（最終ゲイン）が求められる。

ここで、図１３の表色座標を用いて、本実施の形態におけるホワイトバランス調整の作用について説明する。

本来、一対の主画素及び副画素はＣＣＤ１４の受光面上で略同一位置に配置されているので、同一の分割エリア内での主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とは、表色座標上で同一の座標となるのが理想である。しかしながら、実際には、一対の主画素及び副画素であっても、光電変換された色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差が、主画素の色信号と副画素の色信号とで異なっている（即ち感度比が「１」でない）。例えば、主画素及び副画素自体の形態等の相違による違いや、黒レベル調整で生じる違いがある。したがって、図１３の表色座標上に示されるように、主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とはどうしても異なった座標となってしまう。

仮に、原点Ｏ（１，１）、即ちグレーに色味を合わせるためのホワイトバランスゲイン（基本ゲイン）を、主画素と副画素とでそれぞれ独立に積算値から求めたとすると、主画素の基本ゲインが直線Ｐ−Ｏ、副画素の基本ゲインが直線Ｓ−Ｏでそれぞれ表されるから、これらの基本ゲインに光源色の色味を残すための順応率を乗じて求めた最終ゲインで色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の主画素積算値が点Ｐ’、副画素積算値が点Ｓ’でそれぞれ表されることになる（ただし、ホワイトバランス補正後の主画素積算値及び副画素積算値は実際には算出しない）。これは、光源色の色味を残そうとした場合、主画素の色信号と副画素の色信号とでは、互いに異なる色再現性を持ってしまうことを示している。

本実施の形態において、副画素ゲイン（副画素Ｒｇ、Ｇｇ、Ｂｇ）は、主画素ゲイン（主画素Ｒｇ、Ｇｇ、Ｂｇ）に、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を乗算して求められ、このようにして求められたホワイトバランスゲイン（副画素Ｒｇ、Ｇｇ、Ｂｇ）に従って副画素の色信号のホワイトバランスが調整されるので、副画素の色信号についても主画素の色信号と同様に的確な色再現がされることになる。

（第２の実施の形態） 図７は、第２の実施の形態の電子カメラにおけるホワイトバランス補正値の算出に関連する部分を示すブロック図である。尚、図４に示した第１の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。

図７において、補正係数記憶手段６１４は、不揮発性メモリによって構成されており、第１の補正係数１／ａ及び第２の補正係数１／ｂを予め記憶するものである。これらの補正係数１／ａ及び１／ｂは、主画素の色信号（主画素Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間，ＢＧ間）の出力差と副画素の色信号（副画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差との比を示す。本実施の形態において、第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（主画素／副画素である）を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（主画素／副画素である）を示す。これらの補正係数１／ａ、１／ｂは、一般に、シミュレーションの結果や実際の回路での試験結果等に基づいて予め求められて、補正係数記憶手段６１４に記憶されるようになっている。

第２の実施の形態では、副画素ゲイン算出手段６０７が、補正係数記憶手段６１４に記憶された補正係数（１／ａ、１／ｂ）と、主画素ゲイン算出手段６０６で算出された主画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（主画素ゲイン）とに基づいて、副画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（副画素ゲイン）を算出するようになっている。

尚、図７において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、主画素ゲイン算出手段６０６、及び、副画素ゲイン算出手段６０７は、ＣＰＵ６０によって構成している。

図８は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図６に示す第１の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。

副画素のホワイトバランス調整では、補正係数記憶手段６１４から第１の補正係数１／ａ及び第２の補正係数１／ｂが読み出され（Ｓ２３）、主画素ゲイン算出手段６０６で算出された主画素ゲインに補正係数を乗算して、副画素ゲインが算出される（Ｓ２６）。算出された副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓによって、副画素の色信号に乗算される（Ｓ２８）。

ホワイトバランス補正が施された副画素の色信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。

そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。

（第３の実施の形態） 図９は、第３の実施の形態の電子カメラにおけるホワイトバランスゲイン算出に関連する部分を示すブロック図である。尚、図４に示した第１の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。

図９において、補正係数記憶手段６１４は、不揮発性メモリによって構成されており、第１の補正係数１／ａ及び第２の補正係数１／ｂを予め記憶するものである。これらの補正係数１／ａ及び１／ｂは、主画素の色信号（主画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差と副画素の色信号（副画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差との比を示す。本実施の形態において、第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（ただし主画素／副画素である）を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（ただし主画素／副画素である）を示す。これらの補正係数１／ａ、１／ｂは、一般に、シミュレーションの結果や実際の回路での試験結果等に基づいて予め求められて、補正係数記憶手段６１４に記憶されるようになっている。

副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５は、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓによって（Ｒ，Ｇ，Ｂ）座標から（Ｒ／Ｇ，Ｂ／Ｇ）座標（表色座標）に変換された副画素積算値（副画素Ｒ／Ｇ，副画素Ｂ／Ｇ）を、第１の補正係数１／ａ及び第２の補正係数１／ｂに基づいて補正し、主画素積算値（主画素Ｒ／Ｇ，主画素Ｂ／Ｇ）に相当する副画素積算値（副画素Ｒ／Ｇ'，副画素Ｂ／Ｇ'）を求めるものである。具体的には、乗算器によって構成されており、数８に示すように、副画素Ｒ／Ｇ（分割エリアごとの副画素のＲ信号の積算値と副画素のＧ信号の積算値との比）に第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇ（分割エリアごとの副画素のＢ信号の積算値と副画素のＧ信号の積算値との比）に第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求めるようになっている。
[数８]
副画素Ｒ／Ｇ'＝（副画素Ｒ／Ｇ）×１／ａ
副画素Ｂ／Ｇ'＝（副画素Ｂ／Ｇ）×１／ｂ
ホワイトバランスゲイン算出手段６１６は、第１の実施の形態で説明した検出枠判別手段６０６２と、重み付け演算手段６０６４と、光源色補正手段６０６６とを有する。このホワイトバランスゲイン算出手段６１６は、主画素Ｒ／Ｇ（分割エリアごとの主画素のＲ信号の積算値と主画素のＧ信号の積算値との比）及び主画素Ｂ／Ｇ（分割エリアごとの主画素のＢ信号の積算値と主画素のＧ信号の積算値との比）に基づいて主画素の色信号（主画素Ｒ，Ｇ，Ｂ）に乗算する主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）を算出するようになっている。また、副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５から出力された副画素Ｒ／Ｇ'及び副画素Ｂ／Ｇ'に基づいて副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）を算出するようになっている。ここでの主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）の算出方法は、第１の実施の形態における主画素ゲインの算出方法と同一である。また、副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）の算出方法は、副画素Ｒ／Ｇ及び副画素Ｂ／Ｇに基づいて算出する点で主画素ゲインの算出方法と異なり、その他は主画素ゲインの算出方法と略同一である。

副画素ゲイン補正手段６１８は、ホワイトバランスゲイン算出手段６１６で算出された副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）を、第１の補正係数１／ａ及び第２の補正係数１／ｂに基づいて補正して、主画素と同様な色再現を可能とする副画素ゲイン（副画素Ｒｇ'，Ｇｇ'，Ｂｇ'）を求めるものである。具体的には、乗算器によって構成されており、数９に示すように、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求めるようになっている。尚、副画素Ｇｇには「１」を乗算して（或いは乗算を行わず）副画素Ｇｇ'とする。
[数９]
副画素Ｒｇ'＝副画素Ｒｇ×１／ａ
副画素Ｇｇ'＝副画素Ｇｇ
副画素Ｂｇ'＝副画素Ｂｇ×１／ｂ
ホワイトバランス補正前の主画素の色信号を主画素Ｒ，主画素Ｇ，主画素Ｂとし、ホワイトバランス補正回路３０によるホワイトバランス補正後の主画素の色信号を主画素Ｒ'、主画素Ｇ'、主画素Ｂ'とすると、数１０に示すようになる。
[数１０]
主画素Ｒ'＝主画素Ｒｇ×主画素Ｒ
主画素Ｇ'＝主画素Ｇｇ×主画素Ｇ
主画素Ｂ'＝主画素Ｂｇ×主画素Ｂ
また、ホワイトバランス補正前の副画素の色信号を副画素Ｒ，副画素Ｇ，副画素Ｂとし、ホワイトバランス補正回路３０によるホワイトバランス補正後の副画素の色信号を副画素Ｒ'、副画素Ｇ'、副画素Ｂ'とすると、数１１に示すようになる。
[数１１]
副画素Ｒ'＝副画素Ｒｇ'×副画素Ｒ
副画素Ｇ'＝副画素Ｇｇ'×副画素Ｇ
副画素Ｂ'＝副画素Ｂｇ'×副画素Ｂ
尚、図９において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５、ホワイトバランスゲイン算出手段６１６、及び、副画素ゲイン補正手段６１８は、ＣＰＵ６０によって構成している。

図１０は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。

撮影ボタンが全押しされて撮影が開始されると、主画素１４２１で光電変換して得られた色信号（主画素Ｒ，Ｇ，Ｂ）のホワイトバランス調整処理（Ｓ１０からＳ１９まで）と、副画素１４２２で光電変換して得られた色信号（副画素Ｒ，Ｇ，Ｂ）のホワイトバランス調整処理（Ｓ２０からＳ２９まで）とが並行して行われる。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図６に示す第１の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。

副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに、副画素のＲ，Ｇ，Ｂ信号別の積算値（副画素積算値）が算出される（Ｓ２０）。

次に、分割エリアごとに、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。

ここで、補正係数記憶手段６１４から第１の補正係数１／ａ及び第２の補正係数１／ｂが読み出され（Ｓ２３）、前記数８に示されるように、副画素Ｒ／Ｇに第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇに第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求める（Ｓ２４）。

このような乗算により得られた副画素Ｒ／Ｇ'，Ｂ／Ｇ'に基づいて、副画素ゲイン（副画素Ｒｇ、Ｇｇ、 Ｂｇ）が算出される（Ｓ２６）。

ここで、前記数９に示されるように、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求める（Ｓ２７）。尚、副画素Ｇｇには「１」を乗算して（或いは乗算を行わず）副画素Ｇｇ'とする。

このような乗算により得られた副画素ゲイン（副画素Ｒｇ'、Ｇｇ'、 Ｂｇ'）は、副画素ホワイトバランス補正回路３０Ｓによって、前記数１１に示されるように副画素の色信号（副画素Ｒ、Ｇ、Ｂ）に乗算される（Ｓ２８）。

ホワイトバランス補正が施された副画素の色信号（副画素Ｒ'，Ｇ'，Ｂ'）は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。

そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。

ここで、図１３の表色座標を用いて、本実施の形態におけるホワイトバランス調整の作用について説明する。

本来、一対の主画素及び副画素はＣＣＤ１４の受光面上で略同一位置に配置されているので、同一の分割エリア内での主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とは、表色座標上で同一の座標となるのが理想である。しかしながら、実際には、一対の主画素及び副画素であっても、光電変換された色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差が、主画素の色信号と副画素の色信号とで異なっている（即ち感度比が「１」でない）。例えば、主画素及び副画素自体の形態等の相違による違いや、黒レベル調整で生じる違いがある。したがって、図１３の表色座標上に示されるように、主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とはどうしても異なった座標となってしまう。

仮に、原点Ｏ（１，１）、即ちグレーに色味を合わせるためのホワイトバランスゲイン（基本ゲイン）を、主画素と副画素とでそれぞれ独立に積算値から求めたとすると、主画素の基本ゲインが直線Ｐ−Ｏ、副画素の基本ゲインが直線Ｓ−Ｏでそれぞれ表されるから、これらの基本ゲインに光源色の色味を残すための順応率を乗じて求めた最終ゲインで色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の主画素積算値が点Ｐ’、副画素積算値が点Ｓ’でそれぞれ表されることになる。これは、光源色の色味を残そうとした場合、主画素の色信号と副画素の色信号とでは、互いに異なる色再現性を持ってしまうことを示している。

そこで、本実施の形態においては、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を、副画素積算値（Ｓ点）に乗算して副画素積算値を補正することにより、主画素積算値（Ｐ点）に相当する副画素積算値が得られる。この副画素積算値の補正は、図１３では第１の矢印３０５に相当する。

ここで、仮に、この補正された副画素積算値を用いて副画素ゲインを算出し、この副画素ゲインそのままで副画素の色信号を補正したとすると、過補正となってしまうことになる。即ち、副画素の基本ゲインが直線Ｓ−Ｏ’で表されるから、光源色の色味を残すための順応率を乗じて求めた最終ゲインで副画素の色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の副画素積算値が点Ｓ”で表されることになり、ホワイトバランス補正後の主画素積算値の点Ｐ’と異なってしまう。

そこで、本実施の形態においては、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を、補正後の副画素積算値に基づいて求めた副画素の最終ゲインに乗じる。これにより、ホワイトバランス補正後、副画素積算値が表色座標上で主画素積算値（点Ｐ’）に相当する座標に移動することになる（ただし、ホワイトバランス補正後の主画素積算値及び副画素積算値は実際には算出されない）。この副画素ゲインの補正は、図１３では第２の矢印３０８に相当する。これは、光源色の色味を残すようなホワイトバランス補正を行った場合であっても、主画素の色信号と副画素の色信号とで、同じ色再現性になることを示している。

（第４の実施の形態） 図１１は、第４の実施の形態の電子カメラにおけるホワイトバランスゲイン算出に関連する部分を示すブロック図である。尚、図９に示した第３の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。

図１１において、補正係数算出手段６０４は、主画素Ｒ／Ｇ及びＢ／Ｇと副画素Ｒ／Ｇ及びＢ／Ｇとに基づいて補正係数１／ａ及び１／ｂを算出する。この補正係数算出手段６０４は、第１の実施の形態における補正係数算出手段６０４と同様である。

尚、図１１において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、補正係数算出手段６０４、ホワイトバランスゲイン算出手段６１６、及び、副画素ゲイン補正手段６１８は、ＣＰＵ６０によって構成している。

図１２は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図１０に示す第３の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。

副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに、副画素のＲ，Ｇ，Ｂ信号別の積算値（副画素積算値）が算出され（Ｓ２０）、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。

ここで、副画素Ｒ／Ｇを主画素Ｒ／Ｇ（主画素のＲ信号の積算値と主画素のＧ信号の積算値との比）で除算して感度比ａが算出されるとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇ（主画素のＢ信号の積算値と主画素のＧ信号の積算値との比）で除算して感度比ｂが算出され、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする（Ｓ２２）。

そして、副画素Ｒ／Ｇに第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇに第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求める（Ｓ２４）。

このような乗算により得られた副画素Ｒ／Ｇ'，Ｂ／Ｇ'に基づいて、副画素ゲイン（副画素Ｒｇ、Ｇｇ、 Ｂｇ）が算出される（Ｓ２６）。

ここで、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求める（Ｓ２７）。尚、副画素Ｇｇには「１」を乗算し（或いは乗算を行わず）副画素Ｇｇ'とする。

このような乗算により得られた副画素ゲイン（副画素Ｒｇ'、Ｇｇ'、 Ｂｇ'）は、副画素ホワイトバランス補正回路３０Ｓによって副画素の色信号（副画素Ｒ、Ｇ、Ｂ）に乗算される（Ｓ２８）。

ホワイトバランス補正が施された副画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。

そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。

尚、前述の第１から第４の実施の形態では、１画面を複数の分割エリアに分割して色信号の積算値を算出し、これらの積算値に基づいてホワイトバランス補正値を算出する例について説明したが、本発明はこれに限るものではない。また、例えば１画面全体の積算値を算出し、この１画面の積算値に基づいてホワイトバランス補正値を算出するような態様にも適用可能である。また、例えば、画素ごとの色信号に基づいて、直接、ホワイトバランス補正値を算出するような態様にも適用可能である。

また、積算値をそのまま用いるのではなく、積算値を分割エリア内の画素数で除算して得た画素あたりの値（平均値）を用いるようにしてもよい。即ち、本発明の積算値は積算値から求めた平均値を含む。

また、表色座標が（Ｒ／Ｇ，Ｂ／Ｇ）座標である場合を例に説明したが、これと異なる座標系を用いてホワイトバランス補正値を算出してもよい。

また、色信号に最終的に乗算する最終ゲインを光源色に応じて求める場合を例に説明したが、本発明はこれに限るものではない。例えば、操作手段で順応率をマニュアルで入力し、この入力された順応率に応じて最終ゲインを求めるようにしてもよい。

また、本発明のホワイトバランス調整方法は、オートホワイトバランス調整に限らず、マニュアルのホワイトバランス調整に適用してもよい。

また、本発明において、ホワイトバランス算出の際に感度比を「乗算する」とは、実質的に乗算することを示し、感度比の分母と分子の関係によっては、「除算する」場合も含むことは言うまでもない。また、対数表現であれば「加算（或いは減算）する」場合を含むことも言うまでもない。

また、本発明のホワイトバランス調整方法は、プログラムによって全てＣＰＵに各ステップを実行させるようにしてもよい。

本発明を適用した電子カメラの内部構成を示すブロック図 主画素及び副画素を有したカラー撮像素子の例を示す構成図 主画素の色信号と副画素の色信号との合成の説明に用いる図 第１の実施の形態におけるホワイトバランス補正値算出に関する構成の例を示すブロック図 検出枠の説明に用いる表色座標図 第１の実施の形態におけるホワイトバランス調整処理の説明に用いるフローチャート 第２の実施の形態におけるホワイトバランス補正値算出に関する構成の例を示すブロック図 第２の実施の形態におけるホワイトバランス調整処理の説明に用いるフローチャート 第３の実施の形態におけるホワイトバランス補正値算出に関する構成の例を示すブロック図 第３の実施の形態におけるホワイトバランス調整処理の説明に用いるフローチャート 第４の実施の形態におけるホワイトバランス補正値算出に関する構成の例を示すブロック図 第４の実施の形態におけるホワイトバランス調整処理の説明に用いるフローチャート ホワイトバランス調整処理の説明に用いる表色座標

符号の説明

１０…撮影レンズ、１２…絞り、１４…ＣＣＤ（カラー撮像素子）、１８…相関二重サンプリング回路、２０…Ａ／Ｄ変換器、２８…同時化回路、３０Ｐ…主画素ホワイトバランス補正回路、３０Ｓ…副画素ホワイトバランス補正回路、３２…ガンマ処理回路、３３…合成回路、３４…ＹＣ信号生成回路、４０…操作部、５０Ｐ…主画素積算値算出回路、５０Ｓ…副画素積算値算出回路、５４…圧縮／伸長回路、５６…記録部、６０…ＣＰＵ、６０２Ｐ…主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段、６０２Ｓ…副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段、６０４…補正係数算出手段、６０６…主画素ゲイン算出手段、６０７…副画素ゲイン算出手段、６１４…補正係数記憶手段、６１５…副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段、６１８…副画素ゲイン補正手段

Claims (6)

1. 感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置されたカラー撮像手段の前記主画素で光電変換された色信号と該主画素に対応する位置の副画素で光電変換された色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、
   前記カラー撮像手段から取り出された主画素の色信号に基づいて第１のホワイトバランス補正値を求めるステップと、
   前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正するステップと、
   前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を、前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求めるステップと、
   前記第２のホワイトバランス補正値に従って前記副画素の色信号を補正するステップと、
   を含むホワイトバランス調整方法。
2. 感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置されたカラー撮像手段の前記主画素で光電変換された色信号と該主画素に対応する位置の副画素で光電変換された色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、
   前記カラー撮像手段から取り出された主画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
   前記第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求めるステップと、
   前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正するステップと、
   前記カラー撮像手段から取り出された副画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
   前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
   前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求めるステップと、
   前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求めるステップと、
   前記第３のホワイトバランス補正値に従って前記副画素の色信号を補正するステップと、
   を含むホワイトバランス調整方法。
3. 前記感度比を予め記憶した記憶手段から該感度比を読み出すステップを更に含む請求項１又は２に記載のホワイトバランス調整方法。
4. 前記感度比を前記主画素の色信号及び前記副画素の色信号に基づいて算出するステップを更に含む請求項１又は２に記載のホワイトバランス調整方法。
5. 感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置され、前記主画素及び副画素で光電変換された色信号をそれぞれ取り出すことが可能なカラー撮像手段と、
   前記カラー撮像手段から取り出された主画素の色信号に基づいて第１のホワイトバランス補正値を求める手段と、
   前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正する手段と、
   前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求める手段と、
   前記第２のホワイトバランス補正値に従って前記副画素の色信号を補正する手段と、
   前記補正された主画素の色信号と該主画素に対応する位置の補正された副画素の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段と、
   を備えたことを特徴とするカメラ。
6. 感度の高い主画素と該主画素よりも感度の低い副画素とが所定の配列形態で多数配置され、前記主画素及び副画素で光電変換されたＲ，Ｇ，Ｂの色信号をそれぞれ取り出すことが可能なカラー撮像手段と、
   前記カラー撮像手段から取り出された主画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
   該第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求める手段と、
   前記第１のホワイトバランス補正値に従って前記主画素の色信号を補正する手段と、
   前記カラー撮像手段から取り出された副画素の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
   前記主画素の色信号の色間の出力差と前記副画素の色信号の色間の出力差との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
   前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求める手段と、
   前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求める手段と、
   前記第３のホワイトバランス補正値に従って前記副画素の色信号を補正する手段と、
   前記補正された主画素の色信号と該主画素に対応する位置の補正された副画素の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段と、
   を備えたことを特徴とするカメラ。
   

Images