JP2007306320A - ホワイトバランス制御方法、撮像装置、及びホワイトバランス制御プログラム - Google Patents

Abstract

【課題】様々な画像に対して好適なホワイトバランス制御を行うことができるホワイトバランス制御方法、撮像装置、及びホワイトバランス制御プログラムを提供すること。
【解決手段】撮像素子を介して得られた画像データを複数のブロックに分割し、分割したブロック毎の色信号を表す色座標をホワイトバランス判定空間座標に変換する。その後にホワイトバランス判定空間内に特定光源毎の光源推定領域と色相毎の彩度判定領域とを設定し、光源推定領域内のホワイトバランス判定空間座標の分布から光源を推定し、彩度判定領域内のホワイトバランス判定空間座標の分布から実際に被写体を照明している光源を決定し、この光源決定結果に従ってホワイトバランス制御を行う。
【選択図】図２

Description

本発明は、ホワイトバランス制御方法、ホワイトバランス制御を行うことが可能な撮像装置、及びホワイトバランス制御プログラムに関する。

画像の色信号を利用してホワイトバランス制御を行うホワイトバランス制御方法において、撮像素子において取得された色信号に基づいて光源を判定してホワイトバランス制御を行うホワイトバランス制御方法がある。このような色信号を用いたホワイトバランス制御方法においては、例えば色信号を輝度信号と色差信号に分離し、輝度信号に基づいて屋内外を判定することで光源を判定したり、色差信号に基づいて彩度を判定し、低彩度部分の色信号を利用してホワイトバランス制御を行ったりする手法がある。

また、特許文献１においては、撮像素子において取得された色信号における低彩度部分の色信号を積算し、その積算結果に基づいてホワイトバランス制御を行うようにしている。

ここで、ホワイトバランス制御に低彩度部分の色信号を利用するのは、被写体の低彩度部分は広い波長帯で光源からの光を反射しているため光源の特性（種類）を正しく推定しやすいのに対して、高彩度部分は狭い波長帯で光源からの光を反射しているため光源の特性（種類）を推定するのが困難なためである。
特開２００５−１３６８５４号公報

ここで、画面中に低彩度部分がない場合や中間的な彩度の色の部分等は、低彩度部分の色信号を的確に抽出することは必ずしも容易ではない。このような場合には、上述した手法では好適なホワイトバランス制御を行うことが困難である。

本発明は、上記の事情に鑑みてなされたもので、様々な画像に対して好適なホワイトバランス制御を行うことができるホワイトバランス制御方法、このようなホワイトバランス制御を行うことが可能な撮像装置、及びホワイトバランス制御プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様によるホワイトバランス制御方法は、画面内を複数のブロックに分割した各ブロックの色信号を用いてホワイトバランス制御を行うホワイトバランス制御方法であって、上記分割した各ブロックの色信号を表す色空間座標を、上記画面内のホワイトバランスを判定するためのホワイトバランス判定空間座標に変換し、上記変換されたホワイトバランス判定空間座標が属するホワイトバランス判定空間内に、上記ホワイトバランス制御の際の光源の種類を推定するための光源推定領域と上記画面内の各ブロックの色信号が高彩度であるか否かを判定するための高彩度判定領域とをそれぞれ設定し、上記光源推定領域におけるホワイトバランス判定空間座標の分布に基づいて上記光源の種類を推定した後、該推定された光源の種類と上記高彩度判定領域におけるホワイトバランス判定空間座標の分布とに基づいて上記光源の種類を決定し、上記決定された光源の種類に基づいてホワイトバランス制御情報を算出し、上記算出されたホワイトバランス制御情報に基づいて画像信号に対してホワイトバランス制御を行うことを特徴とする。

また、本発明の第２の態様による撮像装置は、被写体を撮像して色信号を得る撮像手段と、上記特定光源毎に設定されたホワイトバランス制御情報を記憶する記憶手段と、上記記憶された上記ホワイトバランス制御情報を読み出す読出手段と、上記読み出された上記ホワイトバランス制御情報と上記撮像手段から得られる色信号とに基づいて第１の態様に記載のホワイトバランス制御方法を行うホワイトバランス制御手段とを具備することを特徴とする。

また、本発明の第３の態様による撮像装置は、被写体を撮像して色信号を得る撮像手段と、上記撮像手段の特性情報を記憶する第１の記憶手段と、当該撮像装置に対して着脱自在に構成された撮影レンズであって、該撮影レンズの特性情報を記憶する第２の記憶手段を有する撮影レンズと、上記特定光源毎の特性情報を記憶する第３の記憶手段と、上記第１の記憶手段から上記撮像手段の特性情報を、上記第２の記憶手段から上記撮影レンズの特性情報を、上記第３の記憶手段から上記特定光源毎の特性情報をそれぞれ読み出す読出手段と、上記それぞれ読み出された上記撮像手段の特性情報と、上記撮影レンズの特性情報と、上記特定光源毎の特性情報とから上記特定光源のそれぞれに対応したホワイトバランス制御情報を算出する算出手段と、上記算出された上記ホワイトバランス制御情報と上記撮像手段から得られる色信号とに基づいて第１の態様に記載のホワイトバランス制御方法を行うホワイトバランス制御手段とを具備することを特徴とする。

また、本発明の第４の態様によるホワイトバランス制御プログラムは、画面内を複数のブロックに分割した各ブロックの色信号を用いてホワイトバランス制御を行うためのホワイトバランス制御プログラムであって、コンピュータに、上記分割した各ブロックの色信号を表す色空間座標を、上記画面内のホワイトバランスを判定するためのホワイトバランス判定空間座標に変換させ、上記変換されたホワイトバランス判定空間座標が属するホワイトバランス判定空間内に、上記ホワイトバランス制御の際の光源の種類を推定するための光源推定領域と上記画面内の各ブロックの色信号が高彩度であるか否かを判定するための高彩度判定領域とをそれぞれ設定させ、上記光源推定領域における上記ホワイトバランス判定空間座標の分布に基づいて上記光源の種類を推定した後、該推定された光源の種類と上記高彩度判定領域における上記ホワイトバランス判定空間座標の分布とに基づいて上記光源の種類を決定させ、上記決定した光源の種類に基づいてホワイトバランス制御情報を算出させ、上記算出したホワイトバランス制御情報に基づいて画像信号に対してホワイトバランス制御を行わせることを特徴とする。

これら第１〜第４の態様によれば、画像の色信号に基づいて光源を推定した後、この推定結果が画面内の高彩度部分の影響を受けているか否かを判定し、この判定結果に基づいてホワイトバランス制御の際の光源を決定することにより、低彩度部分がないような画像に対しても適切に光源を決定することができ、正しいホワイトバランス制御を行うことが可能である。

本発明によれば、様々な画像に対して好適なホワイトバランス制御を行うことができるホワイトバランス制御方法、このようなホワイトバランス制御を行うことが可能な撮像装置、及びホワイトバランス制御プログラムを提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係るホワイトバランス制御方法を実行するためのデジタルカメラの構成を示すブロック図である。図１のデジタルカメラは、撮影レンズ１００と、該撮影レンズ１００が着脱自在に構成されたカメラ本体２００とから主に構成されている。

撮影レンズ１００は、レンズ系１０１と、レンズ駆動回路１０２と、レンズ側ＣＰＵ１０３と、インターフェイス（Ｉ/Ｆ）１０４と、ＲＯＭ１０５とから構成されている。

レンズ系１０１は、複数のレンズと該レンズを駆動するレンズ駆動部とから構成され、図示しない被写体からの光をカメラ本体２００内部の撮像素子２０１に集光する。レンズ駆動回路１０２は、レンズ系１０１のレンズ駆動部を駆動して、本デジタルカメラの焦点調節やズーミングを行う。

レンズ側ＣＰＵ１０３は、撮影レンズ１００がカメラ本体２００に装着されたときにデジタルカメラ内部のカメラ側ＣＰＵ２０７と通信可能に接続され、カメラ本体２００内部のカメラ側ＣＰＵ２０７の制御の下、レンズ駆動回路１０２等の撮影レンズ１００内の各部の制御を行う。Ｉ/Ｆ１０４は、レンズ側ＣＰＵ１０３がＲＯＭ１０５に記憶されているデータを読み出すための通信インターフェイスである。第２の記憶手段としてのＲＯＭ１０５には、レンズ系１０１の分光透過率特性データや焦点距離データ等のレンズ系１０１に関する各種データが記憶されている。

また、カメラ本体２００は、撮像素子２０１と、撮像回路２０２と、Ａ/Ｄ変換回路２０３と、データバス２０４と、ＲＡＭ２０５と、ＡＳＩＣ２０６と、カメラ側ＣＰＵ２０７と、ＲＯＭ２０８と、インターフェイス（Ｉ/Ｆ）２０９と、記録メディア２１０とから構成されている。

撮像素子２０１は、例えばベイヤ配列のカラーフィルタが設けられた撮像素子であり、撮影レンズ１００を介して入射した被写体からの光を受光して電気信号（撮像信号）に変換する。撮像回路２０２は、撮像素子２０１からの撮像信号を前処理してＡ/Ｄ変換回路２０３に出力する。Ａ/Ｄ変換回路２０３は、撮像回路２０２において前処理された撮像信号をデジタル変換し、画像データを得る。

データバス２０４は、Ａ/Ｄ変換回路２０３から出力された画像データ等の各種データを媒介する。ＲＡＭ２０５は、Ａ/Ｄ変換回路２０３において得られた画像データや後述するホワイトバランス制御情報等の各種データを一時記憶する。ホワイトバランス制御手段としてのＡＳＩＣ２０６は、Ａ/Ｄ変換回路２０３において得られ、ＲＡＭ２０５に記憶された画像データに対してホワイトバランス制御等の各種画像処理を施す。算出手段としてのカメラ側ＣＰＵ２０７は、ＡＳＩＣ２０６におけるホワイトバランス制御に用いられるホワイトバランス制御情報等の各種データの算出や、本デジタルカメラの各回路の動作制御等を行う。

第１及び第３の記憶手段としてのＲＯＭ２０８は、ホワイトバランス制御情報（ホワイトバランスゲイン）を算出するためのホワイトバランス制御情報算出プログラムやホワイトバランス制御情報算出パラメータ、ホワイトバランス制御を行うためのホワイトバランス制御プログラムの他、本デジタルカメラの各種制御に係るプログラムやパラメータを記憶している。カメラ側ＣＰＵ２０７は、ＲＯＭ２０８に記憶されているプログラムやパラメータを、データバス２０４を介して読み出して各種処理を実行する。

ここで、第１の実施形態においては、ホワイトバランス制御情報算出パラメータとして、撮像素子２０１の分光感度特性データ及び特定光源毎の分光放射輝度データがＲＯＭ２０８に記憶されている。なお、特定光源とは、太陽光や電球等の、色温度が既知である特定の光源のことである。

また、図１のデジタルカメラは、撮影レンズ１００とカメラ本体２００とが別体として構成されたレンズ着脱自在なデジタルカメラであるが、本一実施形態のホワイトバランス制御方法は、レンズ系１０１がカメラ内部に組み込まれている、所謂コンパクトタイプのデジタルカメラに適用することも可能である。この場合には、ＲＯＭ２０８に特定光源毎のホワイトバランス制御情報（ホワイトバランスゲイン）を記憶させておいても良い。つまり、撮影レンズ１００が組み込まれている場合には、予めホワイトバランス制御情報を算出しておくことが可能である。

Ｉ/Ｆ２０９は、データバス２０４と記録メディア２１０との間の通信インターフェイスである。記録メディア２１０は、ＡＳＩＣ２０６によって処理された画像データを記録するためのメディアである。この記録メディア２１０は、種々のものを用いることが可能である。

以下、本一実施形態に係るホワイトバランス制御方法を含むデジタルカメラの動作について説明する。
図示しない被写体からレンズ系１０１に入射した光はカメラ本体２００内部の撮像素子２０１に集光される。そして、入射した光に応じた撮像信号が撮像素子２０１から出力され、撮像回路２０２においてノイズ除去や増幅等の各種の前処理が施される。撮像回路２０２において処理された撮像信号はＡ/Ｄ変換回路２０３においてデジタル信号（画像データ）に変換され、データバス２０４を介してＲＡＭ２０５に記憶される。

ＲＡＭ２０５に画像データが記憶された後、カメラ側ＣＰＵ２０７においてホワイトバランス制御情報の算出が行われ、このホワイトバランス制御情報に基づいてＡＳＩＣ２０６においてＲＡＭ２０５から読み出された画像データに対してホワイトバランス制御が行われる。ＡＳＩＣ２０６においては、ホワイトバランス制御の他に、色変換や階調変換等の画像処理が施される。更に、画像データの記録の際には処理後の画像データが圧縮された後、ＲＡＭ２０５に記憶される。その後、ＲＡＭ２０５に記憶された圧縮画像データがＩ/Ｆ２０９を介して読み出されて記録メディア２１０に記録される。

次に、本一実施形態の要部であるホワイトバランス制御方法について説明する。図２は、本一実施形態に係るホワイトバランス制御方法の処理の流れについて示すフローチャートである。なお、図２のフローチャートは、撮影レンズ１００がカメラ本体２００に組み込まれているデジタルカメラにおけるホワイトバランス制御にも適用可能な例を示している。

まず、カメラ側ＣＰＵ２０７は、本カメラが、撮影レンズ１００が着脱自在に構成されているか否かを判定する（ステップＳ１）。ステップＳ１の判定において、撮影レンズ１００が着脱自在に構成されている場合に、カメラ側ＣＰＵ２０７は、ＲＯＭ１０５からレンズ系１０１の分光透過率特性データを、ＲＯＭ２０８から撮像素子２０１の分光感度特性データ及び特定光源毎の分光放射輝度データを読み出して特定光源毎のホワイトバランス制御情報を算出する（ステップＳ２）。ここで、ホワイトバランス制御情報は、従来周知の手法で算出すれば良く、例えば撮像素子２０１の分光感度特性データと、レンズ系１０１の分光透過率特性データと、特定光源の分光放射輝度特性データとを可視波長域で積算することにより、撮影レンズ１００が装着された状態でのR、G、Bのそれぞれに対する分光感度を求め、これらR、G、Bそれぞれの分光感度から算出することができる。具体的には、G分光感度/R分光感度によりRに係るホワイトバランス制御情報を、G分光感度/B分光感度によりBに係るホワイトバランス制御情報を算出する。

また、ステップＳ１の判定において、撮影レンズ１００が着脱自在に構成されていない場合に、カメラ側ＣＰＵ２０７は、ＲＯＭ２０８に予め記憶されている特定光源毎のホワイトバランス制御情報を読み出す（ステップＳ３）。

ステップＳ２又はステップＳ３の何れかにより、特定光源毎のホワイトバランス制御情報を取得した後、カメラ側ＣＰＵ２０７は、特定光源毎のホワイトバランス制御情報を後述するホワイトバランス判定空間座標に変換する（ステップＳ４）。その後に、カメラ側ＣＰＵ２０７は、ＲＡＭ２０５に記憶された画像データを読み出して複数のブロックに分割し、分割したブロック毎の色信号を表すための色空間座標を求め、更にブロック毎に求めた色空間座標をホワイトバランス判定空間座標に変換する（ステップＳ５）。

ここで、色空間座標とホワイトバランス判定空間との間の座標変換について説明する。図３は、画像データをｎ個のブロックに分割した際の概念図である。また、図４は、ホワイトバランス判定空間について示した図である。

図３に示すｍ番目のブロックの色信号を表すための色空間座標（Rm，Gm，Bm）は、ｍ番目のブロック内の各画素から得られる色信号を成分毎に平均したものとする。ただし、撮像素子２０１の画素配列がベイヤ配列の場合には１ブロック内にR、Gr、Gb、Bの４つの成分が存在するので、Gmに関してはGr信号の平均値とGb信号の平均値の和を１/２したものとする。

このように定義された色座標空間からホワイトバランス判定空間への変換は、ブロック毎のGに対するR、Bの比（つまり、ブロック毎のホワイトバランス）とする。即ち、色空間座標（Rm，Gm，Bm）からホワイトバランス判定空間座標（i1m，i2m，i3m）への変換は、
i1m＝Rm/Gm
i2m＝Bm/Gm （式１）
i3m＝Gm
の式に基づいて行われる。ここで、特定光源毎のホワイトバランス制御情報をホワイトバランス判定空間座標に変換する場合には、特定光源毎のホワイトバランス制御情報の逆数を求めれば良い。

ステップＳ５において、（式１）に示す座標変換を、画面内の全てのブロックについて行った後、カメラ側ＣＰＵ２０７は、ホワイトバランス判定空間内に光源推定領域を設定する（ステップＳ６）。
ステップＳ６の光源推定領域の設定について更に詳しく説明する。図５（ａ）〜図５（ｃ）は光源推定領域について示した図である。ここで、図５（ａ）はホワイトバランス判定空間をR/G軸とB/G軸とからなる平面から見た図であり、図５（ｂ）はホワイトバランス判定空間をR/G軸とG軸とからなる平面から見た図であり、図５（ｃ）はホワイトバランス判定空間をB/G軸とG軸とからなる平面から見た図である。

ステップＳ４の処理により、ホワイトバランス判定空間内に、特定光源に対応するホワイトバランス判定空間座標が設定されている。図５（ａ）の例では、３種類の特定光源に対応した座標PD75、PD55、PD30が設定されている。ここで、PD75(X_PD75，Y_PD75)は、色温度７５００Ｋの光源（例えば、日陰における太陽光等の青みのある光源）に対応する座標であり、PD55(X_PD55，Y_PD55)は、色温度５５００Ｋの光源（例えば、晴天時の太陽光）に対応する座標であり、PD30(X_PD30，Y_PD30)は、色温度３０００Ｋの光源（例えば、電球等の赤みのある光源）に対応する座標である。

このような特定光源毎のホワイトバランス判定空間座標が設定された状態で、R/G軸とB/G軸とからなる平面上に、光源推定領域を設定するための直線を設定する。図５（ａ）の例では、３種類の特定光源に対応した３つの光源推定領域を設定するために２本の直線Line1、Line2を設定する。ここで、Line1は一定の傾きを持ち、PD75とPD55の間を通る直線である。一方、Line2はLine1と同じ傾きを持ち、PD55とPD30の間を通る直線である。これらLine1及びLine2の設定手法の例について説明する。まず、Line1を、
Y＝mX＋c_7_5 （ただし、X＝R/G，Y＝B/G） （式２）
で示す直線式で表せるとする。このようにして定義したLine1のＹ切片c_7_5を、７５００Ｋと５５００Ｋの間である６０００Ｋに対応する座標を目安として設定する。つまり、Line1が６０００Ｋに対応するホワイトバランス判定空間座標(X_PBDR_7_5，Y_PBDR_7_5)を通るとすると、この点は、PD75とPD55とを３：１に分ける点であるから、
X_PBDR_7_5＝(1×X_PD_75＋3×X_PD_55)/4
Y_PBDR_7_5＝(1×Y_PD_75＋3×Y_PD_55)/4 （式３）
の関係が成り立つ。したがって、Ｙ切片c_7_5は、
c_7_5＝Y_PBDR_7_5−m×X_PBDR_7_5
＝(Y_PD_75＋3×Y_PD_55)/4−m×(X_PD_75＋3×X_PD_55)/4 （式４）
となる。また、傾きmは例えば0.9とする。mを0.9とすることにより、Line1は図示しない黒体輻射軌跡を表す線分と略直交するようになる。

次に、Line2を設定する。まず、Line2を、
Y＝mX＋c_5_3 （ただし、X＝R/G，Y＝B/G） （式５）
で示す直線式で表せるとする。このようにして定義したLine2のＹ切片c_5_3を、５５００Ｋと３０００Ｋの間である４０００Ｋに対応する座標を目安として設定する。つまり、Line2が４０００Ｋに対応するホワイトバランス判定空間座標(X_PBDR_5_3，Y_PBDR_5_3)を通るとすると、この点は、PD55とPD30とを３：２に分ける点であるから、
X_PBDR_5_3＝(2×X_PD_55＋3×X_PD_30)/5
Y_PBDR_5_3＝(2×Y_PD_55＋3×Y_PD_30)/5 （式６）
の関係が成り立つ。したがって、Ｙ切片c_5_3は、
c_5_3＝Y_PBDR_5_3−m×X_PBDR_5_3
＝(Y_PD_55＋3×Y_PD_30)/4−m×(X_PD_55＋3×X_PD_30)/4 （式７）
となる。

以上のようにしてR/G軸とB/G軸とからなる平面を３つの領域に分割した後、図５（ｂ）及び図５（ｃ）に示す輝度判定閾値th_light_gを設定する。このth_light_gは、色信号のうち、輝度情報を多く有しているG信号に基づいて設定する。ここでは、th_light_gを、
th_light_g＝G_ave （式８）
とする。（式８）において、G_aveは、１画面分のホワイトバランス判定空間座標のi3の平均値である。なお、輝度判定閾値th_light_gは必ずしも設定しなくとも良いが、輝度判定閾値th_light_gを設定することにより、後述する光源の決定の際に撮影時の露出条件が変化しても、常に同一の光源決定結果を得ることが可能である。

以上のようにしてLine1、Line2、及びth_light_gを設定した後、特定光源毎の光源推定領域を設定する。ここでは、図５（ａ）〜図５（ｃ）に示すように、
Gがth_light_g以上かつR/G軸とB/G軸とからなる平面上でB/GがLine1以上の領域を光源推定領域１、
Gがth_light_g以上かつR/G軸とB/G軸とからなる平面上でB/GがLine1未満かつLine2以上の領域を光源推定領域２、
Gがth_light_g以上かつR/G軸とB/G軸とからなる平面上でB/GがLine2未満の領域を光源推定領域３、
とする。

ステップＳ６において光源推定領域を設定した後、カメラ側ＣＰＵ２０７は、ホワイトバランス制御を行うために、現在、被写体を照明している光源を推定する（ステップＳ７）。この光源の推定の際には、まず、図５（ａ）〜図５（ｃ）に示す光源推定領域１、光源推定領域２、光源推定領域３の各光源推定領域に存在するホワイトバランス判定空間座標の平均位置(X_ave，Y_ave)を求め、この求めた平均座標(X_ave，Y_ave)の位置により光源の推定を行う。つまり、平均座標(X_ave，Y_ave)が光源推定領域１に属する場合には、撮像素子２０１において取得された画像データに青系色が多いので７５００Ｋの光源と推定する。同様の考え方に基づき、平均座標(X_ave，Y_ave)が光源推定領域２に属する場合には５５００Ｋの光源と推定し、平均座標(X_ave，Y_ave)が光源推定領域３に属する場合には３０００Ｋの光源と推定する。

ステップＳ７において光源を推定した後、カメラ側ＣＰＵ２０７は、ホワイトバランス判定空間内に高彩度判定領域を設定する（ステップＳ８）。
ステップＳ８の高彩度判定領域の設定手法について説明する。図６（ａ）〜図６（ｃ）は高彩度判定領域について示した図である。ここで、図６（ａ）はホワイトバランス判定空間をR/G軸とB/G軸とからなる平面から見た図であり、図６（ｂ）はホワイトバランス判定空間をR/G軸とG軸とからなる平面から見た図であり、図６（ｃ）はホワイトバランス判定空間をB/G軸とG軸とからなる平面から見た図である。

高彩度判定領域は、色相毎に、かつ特定光源毎に設定した光源推定領域（図６（ａ）の破線で示すLine1及びLine2によって分けられる領域）の少なくとも何れか１つと重複するように設定される。このように高彩度判定領域を光源推定領域と重複するように設定することで、画面内の高彩度色が光源推定に与える影響を判定することが可能となる。

高彩度判定領域の設定においては、R/G軸とB/G軸とからなる平面上に、
th_rsat1＝0.7×X_PD30
th_rsat2＝1.3×Y_PD30
th_gsat1＝0.8×X_PD55 （式９）
th_gsat2＝0.7×Y_PD55
th_bsat1＝1.2×X_PD75
th_bsat2＝0.8×Y_PD75
で定義される６本の直線を設定する。なお、（式９）の係数は一例である。更に、G軸上に閾値th_sat_gを設定する。th_sat_gは、１画面分のホワイトバランス判定空間座標のi3の最大値をG_maxとすると、
th_sat_g＝（G_ave＋G_max）/2 （式１０）
とする。

次に、以上設定した、th_rsat1、th_rsat2、th_gsat1、th_gsat2、th_bsat1、th_bsat2、及びth_sat_gから色相毎の高彩度判定領域を設定する。ここでは、図６（ａ）〜図６（ｃ）に示すように、
Gがth_sat_g以下かつR/G軸とB/G軸とからなる平面上でR/Gがth_bsat1以下かつB/Gがth_bsat2以上の領域を高彩度判定領域１、
Gがth_sat_g以下かつR/G軸とB/G軸とからなる平面上でR/Gがth_gsat1以下かつB/Gがth_gsat2以下の領域を高彩度判定領域２、
Gがth_sat_g以下かつR/G軸とB/G軸とからなる平面上でR/Gがth_rsat1以上かつB/Gがth_rsat2以下の領域を高彩度判定領域３、
とする。

ステップＳ８において高彩度判定領域を設定した後、カメラ側ＣＰＵ２０７は、撮像された画像における高彩度の色を判定する（ステップＳ９）。この高彩度色の判定においては、まず、図６（ａ）〜図６（ｃ）に示したようにして設定された高彩度判定領域１〜３内に存在するホワイトバランス判定空間座標の数を比較し、数の大きい順に高彩度判定領域の順位付けを行う。ここで、高彩度判定領域１におけるホワイトバランス判定空間座標の数をcnt_satarea1、高彩度判定領域２におけるホワイトバランス判定空間座標の数をcnt_satarea2、高彩度判定領域３におけるホワイトバランス判定空間座標の数をcnt_satarea3、１位の高彩度判定領域をsatarea_rank1、２位の高彩度判定領域をsatarea_rank2、３位の高彩度判定領域をsatarea_rank3としたとき、例えばcnt_satarea1＝30、cnt_satarea2＝0、cnt_satarea3＝70であった場合には、
satarea_rank1＝satearea3
satarea_rank2＝satearea1
satarea_rank3＝satearea2
となる。この場合には、画面内の高彩度色の中で赤系色の高彩度が最も多い。

ステップＳ９において高彩度色の判定を行った後、カメラ側ＣＰＵ２０７は、光源推定結果に対する高彩度色の影響度合いを算出する（ステップＳ１０）。このために、まず各高彩度判定領域におけるホワイトバランス判定空間座標の数の、１画面の総ブロック数に対する比を求める。ここで、高彩度判定領域１における比率をratio_sat1、高彩度判定領域２における比率をratio_sat2、高彩度判定領域３における比率をratio_sat3、１画面の総ブロック数をcnt_blkallとすると、
ratio_sat1＝cnt_satarea1/cnt_blkall
ratio_sat2＝cnt_satarea2/cnt_blkall （式１１）
ratio_sat3＝cnt_satarea3/cnt_blkall
である。

次に、光源推定領域と高彩度判定領域とが重複する領域におけるホワイトバランス判定空間座標の数を比較し、数の大きい順に各重複領域を順位付けする。ここで、図５（ａ）の例においては、重複領域１はth_light_g≦G≦th_sat_gかつR/G≦th_bsat1かつB/G≧th_bsat2の領域であり、重複領域２はth_light_g≦G≦th_sat_gかつR/G≦th_gsat1かつB/G≦th_gsat2の領域であり、重複領域３はth_light_g≦G≦th_sat_gかつR/G≧th_rsat1かつB/G≦th_rsat2の領域である。また、重複領域１におけるホワイトバランス判定空間座標の数をcnt_overlaparea1、重複領域２におけるホワイトバランス判定空間座標の数をcnt_overlaparea2、重複領域３におけるホワイトバランス判定空間座標の数をcnt_overlaparea3、１位の重複領域をoverlaparea_rank1、２位の重複領域をoverlaparea_rank2、３位の重複領域をoverlaparea_rank3としたとき、例えばcnt_overlaparea1＝15、cnt_overlaparea2＝0、cnt_overlaparea3＝35であった場合には、
overlaparea_rank1＝overlaparea3
overlaparea_rank2＝overlaparea1
overlaparea_rank3＝overlaparea2
となる。

次に、重複領域内のホワイトバランス判定空間座標の数の１画面の総ブロック数に対する比率を求める。ここで、重複領域１内における比率をratio_overlap1、重複領域２内における比率をratio_overlap2、重複領域３内における比率をratio_overlap3、１画面の総ブロック数をcnt_blkallとすると、
ratio_overlap1＝cnt_overlaparea1/cnt_blkall
ratio_overlap2＝cnt_overlaparea2/cnt_blkall （式１２）
ratio_overlap3＝cnt_overlaparea3/cnt_blkall
である。この比率が大きいほど画面内において該当する色の影響が大きいことになる。

ステップＳ１０の後、カメラ側ＣＰＵ２０７は、ステップＳ７における光源の推定結果を補正する（ステップＳ１１）。その後にカメラ側ＣＰＵ２０７は、実際に被写体を照明している光源の種類を決定し（ステップＳ１２）、この光源の決定結果に応じてホワイトバランス制御情報を算出する（ステップＳ１３）。
ここで、ステップＳ１１〜ステップＳ１３の処理について図７を参照して具体的に説明する。例えば、ステップＳ７において求めたホワイトバランス判定空間座標の平均位置(X_ave，Y_ave)が図７に示すものであった場合、この位置は光源推定領域２にあるので、光源は５５００Ｋであると推定される。これに対し、ステップＳ１０における処理の結果、satarea_rank1＝satearea1、ratio_sat1＝0.4、overlaparea_rank1＝overlaparea1、ratio_overlap1＝0.35であった場合、画面内の高彩度色の中で青系色の高彩度色が最も多い。つまり、青系色の被写体の占める面積が大きいと言える。したがって、実際の光源が５５００Ｋ近辺の光源であるとすれば、ホワイトバランス判定空間座標の平均位置(X_ave，Y_ave)は、図７の位置よりも更に光源推定領域１寄りになるはずであるので、光源推定結果は被写体の青系色の影響を受けていると考え、実際の光源は推定した光源よりも低い色温度の光源（５５００Ｋよりも赤みのある光源）となるように補正する。この補正としては、例えばratio_sat1及びratio_overlap1で示される比に基づいて５５００Ｋと３０００Ｋとを分ける点を算出し、この点の光源を補正後の光源とする方法がある。また、より簡単な方法としては単に５５００Ｋと３０００Ｋの間の真中の点を実際の光源としても良い。

光源を決定した後は、この光源のホワイトバランス判定空間座標の逆数を求めることによりホワイトバランス制御情報（ホワイトバランスゲイン）を求める。

以上のようにしてホワイトバランス制御情報を求めた後、カメラ側ＣＰＵ２０７は、ホワイトバランス制御情報をＡＳＩＣ２０６に通信する。ＡＳＩＣ２０６は、色信号のR成分にR成分に係るホワイトバランス制御情報（ホワイトバランスＲゲイン）を乗じ、色信号のB成分にB成分に係るホワイトバランス制御情報（ホワイトバランスＢゲイン）を乗じることによりホワイトバランス制御を行い（ステップＳ１４）、図２の処理が終了する。

以上説明したように、本一実施形態によれば、ホワイトバランス判定空間内に光源推定領域と高彩度判定領域とを設定することにより、高彩度の色が光源推定に与える影響度合いを判定し、この判定結果に基づいて光源の推定結果を補正することにより、画面内に低彩度部分があるか否かにかかわらずに好適なホワイトバランス制御を行うことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した例においては、ホワイトバランス制御はＡＳＩＣ２０６において行われるが、ホワイトバランス制御プログラムに従ってカメラ側ＣＰＵ２０７が行うようにしても良い。

更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係るホワイトバランス制御方法を実行するためのデジタルカメラの構成を示すブロック図である。 本発明の一実施形態に係るホワイトバランス制御方法の処理の流れについて示すフローチャートである。 画像データをｎ個のブロックに分割した際の概念図である。 ホワイトバランス判定空間について示した図である。 光源推定領域について示した図である。 高彩度判定領域について示した図である。 光源決定の例について説明するための図である。

符号の説明

１００…撮影レンズ、１０１…レンズ系、１０２…レンズ駆動回路、１０３…レンズ側ＣＰＵ、１０４，２０９…インターフェイス（Ｉ/Ｆ）、１０５，２０８…ＲＯＭ、２００…カメラ本体、２０１…撮像素子、２０２…撮像回路、２０３…Ａ/Ｄ変換回路、２０４…データバス、２０５…ＲＡＭ、２０６…ＡＳＩＣ、２０７…カメラ側ＣＰＵ、２１０…記録メディア

Claims (9)

1. 画面内を複数のブロックに分割した各ブロックの色信号を用いてホワイトバランス制御を行うホワイトバランス制御方法であって、
   上記分割した各ブロックの色信号を表す色空間座標を、上記画面内のホワイトバランスを判定するためのホワイトバランス判定空間座標に変換し、
   上記変換されたホワイトバランス判定空間座標が属するホワイトバランス判定空間内に、上記ホワイトバランス制御の際の光源の種類を推定するための光源推定領域と上記画面内の各ブロックの色信号が高彩度であるか否かを判定するための高彩度判定領域とをそれぞれ設定し、
   上記光源推定領域におけるホワイトバランス判定空間座標の分布に基づいて上記光源の種類を推定した後、該推定された光源の種類と上記高彩度判定領域におけるホワイトバランス判定空間座標の分布とに基づいて上記光源の種類を決定し、
   上記決定された光源の種類に基づいてホワイトバランス制御情報を算出し、
   上記算出されたホワイトバランス制御情報に基づいて画像信号に対してホワイトバランス制御を行う、
   ことを特徴とするホワイトバランス制御方法。
2. 上記光源推定領域と上記高彩度判定領域とは相互に重複する領域を持つように設定され、
   上記光源の種類は、上記光源推定領域におけるホワイトバランス判定空間座標の分布と、上記高彩度判定領域におけるホワイトバランス判定空間座標の分布と、上記光源推定領域と上記高彩度判定領域とが相互に重複する領域におけるホワイトバランス判定空間座標の分布とに基づいて決定されることを特徴とする請求項１に記載のホワイトバランス制御方法。
3. 上記光源推定領域は特定光源に対応した１つ以上の領域が設定されると共に、上記高彩度判定領域は色相に対応した１つ以上の領域が設定され、
   上記設定された光源推定領域のそれぞれが、１つ以上の高彩度判定領域と相互に重複する領域を有することを特徴とする請求項２に記載のホワイトバランス制御方法。
4. 上記特定光源に対応した光源推定領域と上記色相に対応した高彩度判定領域とはそれぞれ上記特定光源毎に設定されたホワイトバランス制御情報に基づいて設定されることを特徴とする請求項３に記載のホワイトバランス制御方法。
5. 上記ホワイトバランス判定空間座標は上記画面内の輝度に関する情報を含み、
   上記光源推定領域と上記高彩度判定領域とは、上記輝度に関する情報の分布に基づいて設定されることを特徴とする請求項１に記載のホワイトバランス制御方法。
6. 被写体を撮像して色信号を得る撮像手段と、
   上記特定光源毎に設定されたホワイトバランス制御情報を記憶する記憶手段と、
   上記記憶された上記ホワイトバランス制御情報を読み出す読出手段と、
   上記読み出された上記ホワイトバランス制御情報と上記撮像手段から得られる色信号とに基づいて請求項４に記載のホワイトバランス制御方法を行うホワイトバランス制御手段と、
   を具備することを特徴とする撮像装置。
7. 被写体を撮像して色信号を得る撮像手段と、
   上記撮像手段の特性情報を記憶する第１の記憶手段と、
   当該撮像装置に対して着脱自在に構成された撮影レンズであって、該撮影レンズの特性情報を記憶する第２の記憶手段を有する撮影レンズと、
   上記特定光源毎の特性情報を記憶する第３の記憶手段と、
   上記第１の記憶手段から上記撮像手段の特性情報を、上記第２の記憶手段から上記撮影レンズの特性情報を、上記第３の記憶手段から上記特定光源毎の特性情報をそれぞれ読み出す読出手段と、
   上記それぞれ読み出された上記撮像手段の特性情報と、上記撮影レンズの特性情報と、上記特定光源毎の特性情報とから上記特定光源のそれぞれに対応したホワイトバランス制御情報を算出する算出手段と、
   上記算出された上記ホワイトバランス制御情報と上記撮像手段から得られる色信号とに基づいて請求項４に記載のホワイトバランス制御方法を行うホワイトバランス制御手段と、
   を具備することを特徴とする撮像装置。
8. 上記撮像手段の特性情報は該撮像手段の分光感度特性を含み、上記撮影レンズの特性情報は該撮影レンズの分光透過率特性を含み、上記特定光源毎の特性情報は上記特定光源毎の分光放射輝度特性を含むことを特徴とする請求項７に記載の撮像装置。
9. 画面内を複数のブロックに分割した各ブロックの色信号を用いてホワイトバランス制御を行うためのホワイトバランス制御プログラムであって、コンピュータに、
   上記分割した各ブロックの色信号を表す色空間座標を、上記画面内のホワイトバランスを判定するためのホワイトバランス判定空間座標に変換させ、
   上記変換されたホワイトバランス判定空間座標が属するホワイトバランス判定空間内に、上記ホワイトバランス制御の際の光源の種類を推定するための光源推定領域と上記画面内の各ブロックの色信号が高彩度であるか否かを判定するための高彩度判定領域とをそれぞれ設定させ、
   上記光源推定領域における上記ホワイトバランス判定空間座標の分布に基づいて上記光源の種類を推定した後、該推定された光源の種類と上記高彩度判定領域における上記ホワイトバランス判定空間座標の分布とに基づいて上記光源の種類を決定させ、
   上記決定した光源の種類に基づいてホワイトバランス制御情報を算出させ、
   上記算出したホワイトバランス制御情報に基づいて画像信号に対してホワイトバランス制御を行わせる、
   ことを特徴とするホワイトバランス制御プログラム。

Images