JP2005033332A

JP2005033332A - White balance control unit and electronic equipment

Info

Publication number: JP2005033332A
Application number: JP2003193815A
Authority: JP
Inventors: Toshinori Tsuchiya; 憲法土屋
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03

Abstract

<P>PROBLEM TO BE SOLVED: To provide a white balance control apparatus and electronic equipment capable of properly carrying out white balance adjustment of an image so as to make the coloring of the image more natural. <P>SOLUTION: The white balance control apparatus (e.g., a digital camera 100 or the like) is provided with an adjustment amount setting means (e.g., a CPU 8 or the like) for setting a white balance adjustment amount on the basis of color data of an image G corresponding to a received digital image signal, and a luminance coefficient setting means (e.g., the CPU 8 or the like) for setting a luminance coefficient of each block related to weighting of the white balance adjustment amount on the basis of the luminance value of each block and chromaticity coordinates of each block on a chromaticity plane S. The adjustment amount setting means sets the white balance adjustment amount on the basis of color data taking the setting luminance coefficient into account. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ホワイトバランス制御装置及び電子機器に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラには、撮像した白い被写体をヒトの見た目に合わせるように、被写体の出力信号を自動的に調整するホワイトバランス調整を行うものがある。
ホワイトバランス調整の方式には、大別して、外部測定方式とＴＴＬ（ＴｈｒｏｕｇｈＴｈｅＬｅｎｓ）方式とがあり、後者は、さらに、全画面平均方式と無彩色検出方式とに分けられる。
【０００３】
上記のうち、ＴＴＬの無彩色検出方式は、ホワイトバランス調整の主流となってきており、具体的には、画像中から白やグレー等の無彩色の領域を抽出して、その部分の色差が０「ゼロ」となるように補正する方式である。ここで、無彩色の領域を抽出（検出）する方法として、例えば、画像の色度情報を用いて色度平面上で黒体輻射軌跡の近傍の画素を無彩色と判定する方法が提案されている（例えば、特許文献１参照。）
そして、無彩色検出方式は、無彩色と判定した画素の色度情報を積分して、積分値のＲＧＢがＲ：Ｇ：Ｂ＝１：１：１となるように色調補正するのが一般的となっている。
しかしながら、上記の場合、光源に照らされた白やグレーの被写体と、黒体輻射軌跡の近傍に位置する有彩色の被写体が混在していると、無彩色の被写体だけでなく有彩色の被写体の画素の色度情報も積分され、有彩色の被写体の彩度を下げるように色調補正してしまい、ホワイトバランス調整を適正に行うことが困難となる。
【０００４】
そこで、ホワイトバランス調整に画素の輝度値を利用するホワイトバランス制御装置が提案されており、輝度値が大きい画素ほどホワイトバランス調整量の重み付けを大きくする加重処理を施して積分することによって、ホワイトバランス調整量を算出するようになっている（例えば、特許文献２参照。）。
【０００５】
【特許文献１】
特開２００２−１１２２８２号公報
【特許文献２】
特開２００２−２３２９０６号公報
【０００６】
【発明が解決しようとする課題】
ところで、例えば、撮像装置の撮像領域の一部に青空が入るシーンでは、青空部分に対応する画素の輝度値が、撮像領域の全ての画素の輝度値の平均値以上になることが多く、特に、半逆光のようなシーンにおいて顕著となっている。
しかしながら、上記の場合において、特許文献２等のように、画素の輝度値が大きいほどホワイトバランス調整量の重み付けが大きくなるように加重処理を施して積分すると、積分結果であるホワイトバランス調整量に対して青空部分に対応する画素の影響度合が大きくなり、青空の彩度を下げる方向に色調補正されてしまう。この結果、青空が色あせ、画像全体が黄ばんだ印象になるといった画質劣化を招いてしまう。
このように、画素の輝度値が大きいほどホワイトバランス調整量の重み付けが大きくなるように加重処理を施して積分しただけでは、最適なホワイトバランス調整量を算出することができず、画像のホワイトバランス調整を適正に行うことができなかった。
【０００７】
本発明の課題は、画像のホワイトバランス調整を適正に行うことができ、これにより、画像の色合いをより自然なものとすることができるホワイトバランス制御装置及び電子機器を提供することである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、入力された画像情報に対応する画像の色情報に基づいてホワイトバランス調整量を設定する調整量設定手段を備えるホワイトバランス制御装置であって、
前記画像情報のうちの色情報に基づいて、前記画像の色空間における色座標を算出する色座標算出手段と、
前記色情報に基づいて、前記画像の輝度値を算出する輝度値算出手段と、
前記輝度値算出手段により算出された画像の輝度値と、前記色座標算出手段により算出された画像の色座標とに基づいて、前記ホワイトバランス調整量の重み付けに係る輝度係数を設定する輝度係数設定手段と、を備え、
前記調整量設定手段は、前記輝度係数設定手段により設定された輝度係数を考慮した色情報に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【０００９】
請求項１に記載の発明によれば、輝度値算出手段により算出された画像の輝度値と、色座標算出手段により算出された画像の色座標とに基づいて、ホワイトバランス調整量の重み付けに係る輝度係数を設定する輝度係数設定手段を備え、調整量設定手段は、輝度係数設定手段により設定された輝度係数を考慮した色情報に基づいて、ホワイトバランス調整量を設定する。即ち、画像の輝度値と、画像の色空間における色座標とに基づいて設定された輝度係数を考慮した色情報に基づいて、ホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整を従来よりも適正に行うことができることとなって、画像の色合いをより自然なものとすることができる。
【００１０】
請求項２に記載の発明は、請求項１に記載のホワイトバランス制御装置において、
前記画像を複数のブロックに分割する画像分割手段を備え、
前記色座標算出手段は、前記画像情報のうち、前記画像分割手段により分割された複数のブロックの各々に対応する部分の色情報に基づいて、色度空間における各ブロックの色度座標を算出し、
前記輝度値算出手段は、前記複数のブロックの各々に対応する前記色情報に基づいて、各ブロックの輝度値を算出し、
前記輝度係数設定手段は、前記輝度値算出手段により算出された各ブロックの輝度値と、前記色座標算出手段により算出された各ブロックの色度座標とに基づいて、前記ホワイトバランス調整量の重み付けに係る各ブロックの輝度係数を設定し、
前記調整量設定手段は、前記輝度係数設定手段により設定された各ブロックの輝度係数を考慮した色情報に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【００１１】
請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、各ブロックの輝度値と、各ブロックの色度座標とに基づいて、ホワイトバランス調整量の重み付けに係る各ブロックの輝度係数を設定し、各ブロックの輝度係数を考慮した色情報に基づいて、ホワイトバランス調整量をより適正な値に設定することができる。
【００１２】
請求項３に記載の発明は、請求項２に記載のホワイトバランス制御装置において、
前記色度空間が色度に応じて区切られた各色区域毎の輝度値と輝度係数とが対応付けられた輝度係数設定テーブルを記憶する設定テーブル記憶手段を備え、
前記輝度係数設定手段は、前記各ブロックの色度座標から色区域を特定し、前記設定テーブル記憶手段に記憶された輝度係数設定テーブルに基づいて、各ブロックの輝度値から輝度係数を設定することを特徴としている。
【００１３】
請求項３に記載の発明によれば、請求項２に記載の発明と同様の効果が得られるのは無論のこと、特に、各ブロックの色度座標から色度空間が色度に応じて区切られた色区域を特定して、色区域毎の輝度値と輝度係数とが対応付けられた輝度係数設定テーブルに基づいて、各ブロックの輝度値から輝度係数を設定することができる。即ち、色度空間の色区域を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００１４】
請求項４に記載の発明は、請求項３に記載のホワイトバランス制御装置において、
前記色区域毎に設定された前記ホワイトバランス調整量の重み付けに係る色区域係数を記憶する色区域係数記憶手段と、
前記各ブロックの色度座標が属する色区域の色区域係数を前記色区域係数記憶手段から取得して設定する色区域係数設定手段と、を備え、
前記調整量設定手段は、さらに、前記色区域係数設定手段により設定された色区域係数を考慮した色情報に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【００１５】
請求項４に記載の発明によれば、請求項３に記載の発明と同様の効果が得られるのは無論のこと、特に、色区域毎に設定されたホワイトバランス調整量の重み付けに係る色区域係数を記憶する色区域係数記憶手段から、各ブロックの色度座標が属する色区域の色区域係数を取得して設定して、設定された色区域係数を考慮した色情報に基づいて、ホワイトバランス調整量を設定することができる。即ち、色区域係数を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００１６】
請求項５に記載の発明は、請求項２〜４の何れか一項に記載のホワイトバランス制御装置において、
前記ブロックの各々の色度座標に基づいて、前記ホワイトバランス調整量の重み付けに係る各ブロックの色度係数を設定する色度係数設定手段を備え、
前記調整量設定手段は、さらに、前記色度係数設定手段により設定された各ブロックの色度係数を考慮した色情報に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【００１７】
請求項５に記載の発明によれば、請求項２〜４に記載の発明と同様の効果が得られるのは無論のこと、特に、ブロックの各々の色度座標に基づいて、ホワイトバランス調整量の重み付けに係る各ブロックの色度係数を設定して、設定された各ブロックの色度係数を考慮した色情報に基づいて、ホワイトバランス調整量を設定することができる。即ち、色度係数を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００１８】
請求項６に記載の発明は、請求項４に記載のホワイトバランス制御装置において、
前記ブロックの各々の色度座標に基づいて、前記ホワイトバランス調整量の重み付けに係る各ブロックの色度係数を設定する色度係数設定手段と、
前記色度係数設定手段により設定された各ブロックの色度係数と、前記輝度係数設定手段により設定された各ブロックの輝度係数と、前記色区域係数設定手段により設定された色区域係数とに基づいて、無彩色点を判定する無彩色点判定手段と、
前記無彩色点判定手段により判定された無彩色点の前記色度座標に基づいて、前記色区域係数を前記色区域係数記憶手段から取得して再設定する色区域係数再設定手段と、を備え、
前記調整量設定手段は、さらに、前記色区域係数再設定手段により再設定された色区域係数を考慮した色情報に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【００１９】
請求項６に記載の発明によれば、請求項４に記載の発明と同様の効果が得られるのは無論のこと、特に、各ブロックの色度係数と、各ブロックの輝度係数と、色区域係数とに基づいて、無彩色点を判定することができる。さらに、判定された無彩色点の色度座標に基づいて、色区域係数を再設定して、再設定された色区域係数を考慮した色情報に基づいて、ホワイトバランス調整量を設定することができる。即ち、各ブロックの色度係数と各ブロックの輝度係数と色区域係数とを考慮して無彩色点の判定を適正に行うことができ、さらに、無彩色点の色度座標を考慮して色区域係数をより適正な値に再設定することができることとなって、再設定された色区域係数を用いてホワイトバランス調整量をより適正な値に設定することができる。
【００２０】
請求項７に記載の発明は、請求項６に記載のホワイトバランス制御装置において、
前記色区域係数再設定手段により再設定された色区域係数に基づいて、前記無彩色点を再判定する再判定手段を備え、
前記調整量設定手段は、前記再判定手段にて再判定された無彩色点の前記色度座標に基づいて、前記ホワイトバランス調整量を設定することを特徴としている。
【００２１】
請求項７に記載の発明によれば、請求項６に記載の発明と同様の効果が得られるのは無論のこと、特に、再設定された色区域係数に基づいて、無彩色点を再判定して、再判定された無彩色点の色度座標に基づいて、ホワイトバランス調整量を設定することができる。即ち、色区域係数を用いて無彩色点の再判定を適正に行うことができることとなって、再判定された無彩色点の色度座標を考慮してホワイトバランス調整量をより適正な値に設定することができる。
【００２２】
請求項８に記載の発明は、請求項２〜７の何れか一項に記載のホワイトバランス制御装置において、
前記輝度係数設定手段は、前記色度空間における青色側の特定の範囲内に含まれる前記ブロックの輝度係数を、前記ブロックの輝度値が大きいほど小さく設定することを特徴としている。
【００２３】
請求項８に記載の発明によれば、請求項２〜７に記載の発明と同様の効果が得られるのは無論のこと、特に、色度空間における青色側の特定の範囲内に含まれるブロックの輝度係数を、ブロックの輝度値が大きいほど小さく設定することができる。これにより、色度空間における青色側の特定の範囲内に含まれるブロックのホワイトバランス調整量に対する寄与度を小さくすることができ、画像の青色の部分（例えば、青空）の彩度を下げることがなくなって、ホワイトバランス調整が適正に施された画像を得ることができる。
【００２４】
請求項９に記載の発明は、請求項２〜８の何れか一項に記載のホワイトバランス制御装置において、
前記輝度係数設定手段は、前記色度空間における青色側の特定の範囲以外の所定の範囲内に含まれる前記ブロックの輝度係数を、前記ブロックの輝度値が大きいほど大きく設定することを特徴としている。
【００２５】
請求項９に記載の発明によれば、請求項２〜８に記載の発明と同様の効果が得られるのは無論のこと、特に、色度空間における青色側の特定の範囲以外の所定の範囲内に含まれるブロックの輝度係数を、ブロックの輝度値が大きいほど大きく設定することができる。これにより、色度空間における青色側の特定の範囲以外の所定の範囲内に含まれるブロックのホワイトバランス調整量に対する寄与度を大きくすることができ、画像の青色以外の部分、即ち、例えば白色の部分等の彩度を高めて、ホワイトバランス調整が適正に施された画像を得ることができる。
【００２６】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載のホワイトバランス制御装置を備える電子機器であって、
前記画像を撮像する撮像手段を備えることを特徴としている。
【００２７】
請求項１０に記載の発明によれば、画像を撮像する撮像手段を備える電子機器であっても、請求項１〜９に記載の発明と同様の効果を得ることができる。
【００２８】
【発明の実施の形態】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明に係るホワイトバランス制御装置を備える電子機器の好適な一例として例示するデジタルカメラの要部構成を示すブロック図である。
【００２９】
図１に示すように、デジタルカメラ１００は、撮像部１、Ａ／Ｄ変換回路２、画像用メモリ３、表示装置４、不揮発性メモリ５、ＲＡＭ６、ＲＯＭ７、ＣＰＵ８、電源スイッチ９、レリーズスイッチ１０、照明用光源１１等を備えて構成されている。
【００３０】
撮像部１は、光路上において被写体の光学像を結像する撮像レンズ１ａと、撮像レンズ１ａの合焦位置調整のために当該撮像レンズ１ａを光軸方向に移動させる駆動モータ１ｂと、撮像レンズ１ａにより結像された光学像を光電変換し、光電変換した画像信号（アナログ信号）をＡ／Ｄ変換回路２に出力する、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の撮像素子１ｃ（撮像手段）と、ＣＰＵ８により開放量が制御されることで撮像素子１ｃに入射する光の量を調節する絞り部１ｄとを備えている。
【００３１】
Ａ／Ｄ変換回路２は、撮像素子１ｃから出力され入力されたアナログ信号をデジタル信号に変換し、変換したデジタル画像信号を画像用メモリ３に出力する。ここで、本実施の形態におけるＡ／Ｄ変換回路２は、撮像素子１ｃに入射した光の強度が大きいほど大きな値のデジタル画像信号に変換するものとする。
画像用メモリ３は、Ａ／Ｄ変換回路２を介して入力されたデジタル画像信号を一時的に格納する。
表示装置４は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等により構成され、ＣＰＵ８から出力され入力された表示信号に従って撮像画像や操作画面等を表示する。
不揮発性メモリ５は、例えばメモリカード等により構成され、画像用メモリ３に記憶されたデジタル画像信号のうち、ＣＰＵ８の制御下にて各種の画像処理が施されたデジタル画像信号を記憶する。
【００３２】
ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）６は、例えば、揮発性の半導体メモリであり、ＣＰＵ８が処理中のプログラム、データ等を一時的に記憶する作業領域を有している。
【００３３】
ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）７は、読み出し専用のメモリであり、ＣＰＵ８により実行されるデジタルカメラ１００としての各種の処理にかかるアプリケーションプログラムや、各種動作に使用するデータ等を記憶する。具体的には、ＲＯＭ７は、調整量設定プログラム７ａと、画像分割プログラム７ｂと、色度座標算出プログラム７ｃと、輝度値算出プログラム７ｄと、輝度係数設定プログラム７ｅと、無彩色点判定プログラム７ｆと、再判定プログラム７ｇ等を記憶している。
【００３４】
また、ＲＯＭ７は、設定テーブル記憶手段を構成しており、色度平面Ｓ（色度空間（色空間）：図３参照）が色度に応じて区切られた各光源領域（色区域）毎の輝度値と輝度係数とが対応付けられた輝度係数設定テーブルＴ１を記憶している。
さらに、ＲＯＭ７は、各ブロックの色度座標と、ホワイトバランス調整量の重み付けに係る各ブロックの色度係数（図４及び図５参照）とが対応付けられた色度係数設定テーブルＴ２を記憶している。
また、ＲＯＭ７は、色区域係数記憶手段を構成しており、各光源領域と、ホワイトバランス調整量の重み付けに係る光源領域係数（色区域係数）とが対応付けられた光源領域係数設定テーブルＴ３を記憶している。具体的には、光源領域係数設定テーブルＴ３として、第一の光源領域係数に係る第一の光源領域係数設定テーブルＴ３１（図７参照）と、第二の光源領域係数に係る第二の光源領域係数設定テーブルＴ３２（図８（ａ）〜図８（ｂ）参照）とが挙げられる。
【００３５】
ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）８は、ＲＯＭ７に記憶されているデジタルカメラ１００としての各種機能に関る各種アプリケーションプログラムを読み出してＲＡＭ６内の作業領域に展開し、当該プログラムに従って動画や静止画の撮像処理等の各種処理を実行する。
具体的には、撮像処理において、ＣＰＵ８は、調整量設定手段として、調整量設定プログラム７ａに従って、画像用メモリ３に格納されたデジタル画像信号に基づき、撮像画像Ｇ（図２（ａ）参照）の色データ（色情報）に基づいてホワイトバランス調整量を設定するホワイトバランス調整処理を行う。
【００３６】
また、ホワイトバランス調整処理にて、ＣＰＵ８は、画像分割手段として、画像分割プログラム７ｂに従って、画像用メモリ３に格納したデジタル画像信号に基づいて、撮像画像Ｇを複数（例えば、横：６４×縦：４８）のブロックに分割する（図２（ｂ）参照）。
さらに、ＣＰＵ８は、色座標算出手段として、色度座標算出プログラム７ｃに従って、デジタル画像信号のうち、分割された複数のブロックの各々に対応する信号に含まれる色データに基づいて、色度平面Ｓにおける各ブロックの色度座標を算出する。
【００３７】
さらに、ＣＰＵ８は、色度係数設定手段として、色度係数設定テーブルＴ２を用いて、ブロックの各々の色度座標に基づいてホワイトバランス調整量の重み付けに係る各ブロックの色度係数を設定する。
また、ＣＰＵ８は、色区域係数設定手段として、各ブロックの色度座標が属する光源領域（色区域：光源領域Ｈ、光源領域Ｍ、光源領域Ｌ、光源領域Ｆ；図５参照）の色区域係数としての第一の光源領域係数を第一の光源領域係数設定テーブルＴ３１から取得して設定する（図７参照）。
【００３８】
さらに、ＣＰＵ８は、輝度値算出手段として、輝度値算出プログラム７ｄに従って、複数のブロックの各々に対応する色データに基づいて、各ブロックの輝度値Ｙを算出する。
また、ＣＰＵ８は、輝度係数設定手段として、輝度係数設定プログラム７ｅに従って、各ブロックの輝度値Ｙと各ブロックの色度座標とに基づいて、ホワイトバランス調整量の重み付けに係る各ブロックの輝度係数を設定する。即ち、ＣＰＵ８は、各ブロックの色度座標から光源領域を特定し、ＲＯＭ７に記憶されている輝度係数設定テーブルＴ１（図６参照）に基づいて、各ブロックの輝度値から輝度係数を設定する。
【００３９】
さらに、ＣＰＵ８は、無彩色点判定手段として、無彩色点判定プログラム７ｆに従って、各ブロックの色度係数と、光源領域に応じて設定された各ブロックの輝度係数と、第一の光源領域係数とに基づいて、色度平面Ｓにおける無彩色点を判定する。
【００４０】
また、ＣＰＵ８は、色区域係数再設定手段として、色度平面Ｓおける無彩色点の色度座標に基づいて、第二の光源領域係数設定テーブルＴ３２から色区域係数としての第二の光源領域係数を取得して設定（再設定）する（図８参照）。
さらに、ＣＰＵ８は、再判定手段として、再判定プログラム７ｇに従って、設定された第二の光源領域係数に基づいて無彩色点を再判定する。
【００４１】
また、ＣＰＵ８は、算出した無彩色点の色度座標に基づいて、ホワイトバランス調整量を算出して、この値を最終的なホワイトバランス調整量として設定する。
【００４２】
電源スイッチ９は、ユーザの操作に基づいて、デジタルカメラ１００の電源を投入或いは遮断するための指示信号を出力する。
レリーズスイッチ１０は、ユーザの操作に基づいて、ＣＰＵ８に撮像動作の開始を指示する指示信号を出力する。ここで、出力された指示信号がＣＰＵ８に入力されると、ＣＰＵ８は、図示しないシャッター装置を駆動して画像の撮像を行うようになっている。
照明用光源１１は、ストロボ等により構成され、ＣＰＵ８から出力され入力された発光タイミング制御信号に従って照明補助用としての光を発光する。
【００４３】
次に、ＣＰＵ８の制御下におけるホワイトバランス調整処理について、図２〜図８を参照して説明する。
ここで、図２（ａ）は、デジタルカメラ１００により撮像された画像Ｇを模式的に示した図であり、図２（ｂ）は、撮像画像Ｇを複数のブロックに分割した状態を示すものである。また、図３は、ホワイトバランス調整処理に係る色度平面Ｓを複数のセルに分割した状態を模式的に示した図であり、図４は、複数のセルに分割された色度平面Ｓにおける黒体輻射軌跡ＢＬを模式的に示した図であり、図５は、複数のセルに分割された色度平面Ｓ内にて設定された光源領域を模式的に示した図である。なお、図４及び図５の色度平面Ｓ内に記載された各数値は、色度係数を表している。
また、図６（ａ）及び図６（ｂ）は、ホワイトバランス調整処理に係る輝度係数設定テーブルＴ１を模式的に示した図である。さらに、図７は、ホワイトバランス調整処理に係る第一の光源領域係数設定テーブルＴ３１を模式的に示した図であり、図８（ａ）〜図８（ｄ）は、ホワイトバランス調整処理に係る第二の光源領域係数設定テーブルＴ３２を模式的に示した図である。
【００４４】
ＣＰＵ８は、被写体の撮像処理中に、撮像された画像Ｇ（図２（ａ）参照）のホワイトバランス調整処理を実行するようになっている。
このホワイトバランス調整処理において、ＣＰＵ８は、ＲＯＭ７から調整量設定プログラム７ａを読み出してＲＡＭ６に展開し、この調整量設定プログラム７ａに基づいて、当該撮像処理において取得して画像用メモリ３に格納したデジタル画像信号に基づいて、撮像画像Ｇのホワイトバランス調整量を設定する。
以下に、ＣＰＵ８の制御下におけるホワイトバランス調整量の算出方法について詳細に説明する。
【００４５】
先ず、ＣＰＵ８は、ＲＯＭ７から画像分割プログラム７ｂを読み出してＲＡＭ６に展開し、この画像分割プログラム７ｂに従って、画像用メモリ３に格納したデジタル画像信号に基づく１フレームの画像Ｇ１を、例えば横：６４×縦：４８のブロックに分割する（図２（ｂ）参照）。
【００４６】
次に、ＣＰＵ８は、ＲＯＭ７から色度座標算出プログラム７ｃを読み出してＲＡＭ６に展開し、この色度座標算出プログラム７ｃに従って、各ブロックの色データに基づいて、色度平面Ｓ（図３参照）における各ブロックの色度座標を算出する。
具体的には、ＣＰＵ８は、先ず、図示しないＲＧＢ分離回路によってデジタル画像信号をＲ、Ｇ、Ｂの３成分に分離し、各ブロック毎にＲ、Ｇ、Ｂ信号の平均値（Ｒ、Ｇ、Ｂ）を算出する。なお、このとき、飽和した画素を検出し、飽和画素については平均値の算出には用いないものとする。
続けて、ＣＰＵ８は、所定の演算プログラムに従って、算出したブロック毎のＲ、Ｇ、Ｂ平均値（Ｒ、Ｇ、Ｂ）に、色度座標を調整するための基準（例えば、Ｄ５０）のＲＧＢゲインを乗算して、各画素のＲ’、Ｇ’、Ｂ’データ（Ｒ’、Ｇ’、Ｂ’）を算出する。
ここで、
Ｒ’＝ｇＲ＿Ｄ５０×Ｒ
Ｇ’＝ｇＧ＿Ｄ５０×Ｇ
Ｂ’＝ｇＢ＿Ｄ５０×Ｂ
とする。
そして、ＣＰＵ８は、所定の演算プログラムに従って、各画素のＲ’、Ｇ’、Ｂ’データを用いて色度値を算出し、その値を各ブロック毎の色度座標とする。即ち、縦軸：ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、横軸：ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）の色度平面Ｓにおける色度値として、
ｒ＝Ｒ’／（Ｒ’＋Ｇ’＋Ｂ’）
ｇ＝Ｇ’／（Ｒ’＋Ｇ’＋Ｂ’）
を算出する。
【００４７】
＜第一の評価＞
次に、ＣＰＵ８は、色度平面Ｓにおける無彩色点を判定する第一の評価を行う。
この第一の評価として、具体的には、ＣＰＵ８は、先ず、色度平面Ｓを、例えば横：３２×縦：１６のセルに分割して（図３参照）、色度平面Ｓ内にて所定の光源（例えば、太陽光）下にて表現される黒体輻射軌跡ＢＬ（図４参照）に基づいて、複数のセルのうちの所定数のセルが属する光源領域として、例えば光源領域Ｈ、光源領域Ｍ、光源領域Ｌ、光源領域Ｆの４つを設定する（図５参照）。
【００４８】
そして、ＣＰＵ８は、ＲＯＭ７に記憶されている色度係数設定テーブルＴ２を用いて、各ブロックの色度座標に基づいて各ブロックの色度係数を設定する。ここで、色度係数設定テーブルＴ２には、各ブロックに対応する複数のセルのうちの各光源領域内に存するセルの色度係数のみが、例えば黒体輻射軌跡ＢＬからの距離に応じて設定されている。即ち、光源領域内に存するセル以外のセルに対しては、色度係数として０「ゼロ」が設定されている。
次に、ＣＰＵ８は、ＲＯＭ７に記憶されている第一の光源領域係数設定テーブルＴ３１を用いて、光源領域毎に第一の光源領域係数を設定する。具体的には、図７に示すように、ＣＰＵ８は、例えば、光源領域Ｈの光源領域係数として０．２を、光源領域Ｍの光源領域係数として０．４を、光源領域Ｌの光源領域係数として０．２を、光源領域Ｆの光源領域係数として０．２をそれぞれ設定する。
【００４９】
そして、ＣＰＵ８は、ＲＯＭ７から輝度値算出プログラム７ｄを読み出してＲＡＭ６に展開し、この輝度値算出プログラム７ｄに従って、各ブロックに対応する色データに基づいて、各ブロックの輝度値Ｙを算出する。具体的には、ＣＰＵ８は、各ブロックの（Ｒ’、Ｇ’、Ｂ’）データに基づいて、
Ｙ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
の式を用いて各ブロックの輝度値Ｙを算出する。
続けて、ＣＰＵ８は、ＲＯＭ７から輝度係数設定プログラム７ｅを読み出してＲＡＭ６に展開し、この輝度係数設定プログラム７ｅに従って、各ブロックの輝度値Ｙと各ブロックの色度平面Ｓにおける色度座標とに基づいて、ホワイトバランス調整量の重み付けに係る各ブロックの輝度係数を設定する。具体的には、ＣＰＵ８は、各ブロックの色度座標から光源領域を特定し、ＲＯＭ７に記憶されている輝度係数設定テーブルＴ１に基づいて、各ブロックの輝度値から輝度係数を設定するようになっている。これにより、例えば、図６（ｂ）に示すように、光源領域Ｈ（色度空間における青色側の特定の範囲）内の色度座標に対応するブロックの輝度係数は、それらブロックの輝度値が大きいほど小さくなるように設定され、また、図６（ａ）に示すように、光源領域Ｆ、Ｍ、Ｌ（色度空間における青色側の特定の範囲以外の所定の範囲）内の色度座標に対応するブロックの輝度係数は、それらブロックの輝度値が大きいほど大きくなるように設定される。
【００５０】
次に、ＣＰＵ８は、ＲＯＭ７から無彩色点判定プログラム７ｆを読み出してＲＡＭ６に展開し、この無彩色点判定プログラム７ｆに従って、各ブロックの色度係数と、光源領域に応じて設定された各ブロックの輝度係数と、光源領域係数とに基づいて、色度平面Ｓにおける無彩色点を判定する。
具体的には、先ず、ＣＰＵ８は、所定の演算プログラムに従って、各ブロックの（Ｒ’、Ｇ’、Ｂ’）データに色度係数と輝度係数とを乗算し、続けて、係数が乗算された（Ｒ’、Ｇ’、Ｂ’）データを光源領域毎に積算する。
ここで、算出された各光源領域の（Ｒ’、Ｇ’、Ｂ’）データの積算値を、
光源領域Ｈの積算値：（Ｒ＿ｓｕｍ＿Ｈ、Ｇ＿ｓｕｍ＿Ｈ、Ｂ＿ｓｕｍ＿Ｈ）
光源領域Ｍの積算値：（Ｒ＿ｓｕｍ＿Ｍ、Ｇ＿ｓｕｍ＿Ｍ、Ｂ＿ｓｕｍ＿Ｍ）
光源領域Ｌの積算値：（Ｒ＿ｓｕｍ＿Ｌ、Ｇ＿ｓｕｍ＿Ｌ、Ｂ＿ｓｕｍ＿Ｌ）
光源領域Ｆの積算値：（Ｒ＿ｓｕｍ＿Ｆ、Ｇ＿ｓｕｍ＿Ｆ、Ｂ＿ｓｕｍ＿Ｆ）
とする。
そして、ＣＰＵ８は、所定の演算プログラムに従って、各光源領域の（Ｒ’、Ｇ’、Ｂ’）データの積算値を光源領域係数によって加重積分して、画像全体の積分結果を算出する。
ここで、算出された画像全体の積分結果を、
（Ｒ＿ｓｕｍ１、Ｇ＿ｓｕｍ１、Ｂ＿ｓｕｍ１）
とする。
続けて、ＣＰＵ８は、所定の演算プログラムに従って、算出された画像全体の積分結果（Ｒ＿ｓｕｍ１、Ｇ＿ｓｕｍ１、Ｂ＿ｓｕｍ１）を用いて色度値を算出して、その値を画像の無彩色点とする。即ち、色度値として、
ｒ＿ｓｕｍ１＝Ｒ＿ｓｕｍ１／（Ｒ＿ｓｕｍ１＋Ｇ＿ｓｕｍ１＋Ｂ＿ｓｕｍ１）
ｇ＿ｓｕｍ１＝Ｇ＿ｓｕｍ１／（Ｒ＿ｓｕｍ１＋Ｇ＿ｓｕｍ１＋Ｂ＿ｓｕｍ１）
を算出する。
【００５１】
＜第二の評価＞
次に、ＣＰＵ８は、第一の評価にて判定された無彩色点を再判定する第二の評価を行う。
この第二の評価として、具体的には、ＣＰＵ８、先ず、色度平面Ｓにおける無彩色点の色度座標に基づいて、第二の光源領域係数設定テーブルＴ３２から第二の光源領域係数を取得して設定する。
即ち、ＣＰＵ８は、例えば、無彩色点の色度座標が色度平面Ｓ内にて６０００Ｋよりも高色温度側の範囲に存する場合には、光源領域Ｈに対応する係数が大きく、且つ、光源領域Ｌに対応する係数が０「ゼロ」となるように第二の光源領域係数を再設定し（図８（ａ）参照）、また、無彩色点の色度座標が色度平面Ｓ内にて３０００Ｋよりも低色温度側の範囲に存する場合には、光源領域Ｌに対応する係数が大きく、且つ、光源領域Ｈに対応する係数が０「ゼロ」となるように第二の光源領域係数を再設定する（図８（ｂ）参照）。また、ＣＰＵ８は、上記以外の場合には、光源領域Ｍに対応する係数が大きくなるように第二の光源領域係数を再設定するようになっているが（図８（ｃ）参照）、撮像画像が蛍光灯下にて撮像された画像である可能性が高いと判断した場合には、光源領域Ｆに対応する係数が大きくなるように第二の光源領域係数を再設定する（図８（ｄ）参照）。
なお、ＣＰＵ８は、撮像画像が蛍光灯下にて撮像された画像である可能性の判断を、例えば、所定のプログラムに従って、無彩色点の色度座標と自然光源下における黒体輻射軌跡ＢＬとを比較することで、縦軸方向（＋ｇ方向）に対するズレ量が所定値よりも大きいか否かにより行うようになっている。
【００５２】
次に、ＣＰＵ８は、ＲＯＭ７から再判定プログラム７ｇを読み出してＲＡＭ６に展開し、この再判定プログラム７ｇに従って、上記のようにして再設定された第二の光源領域係数に基づいて、無彩色点を再判定する。
具体的には、ＣＰＵ８は、先ず、所定の演算プログラムに従って、各光源領域の（Ｒ’、Ｇ’、Ｂ’）データの積算値を、再設定された光源領域係数によって加重積分して、画像全体の積分結果を算出する。
ここで、算出された画像全体の積分結果を、
（Ｒ＿ｓｕｍ２、Ｇ＿ｓｕｍ２、Ｂ＿ｓｕｍ２）
とする。
続けて、ＣＰＵ８は、所定の演算プログラムに従って、算出された画像全体の積分結果（Ｒ＿ｓｕｍ２、Ｇ＿ｓｕｍ２、Ｂ＿ｓｕｍ２）を用いて色度値を算出して、その値を画像の無彩色点とする。即ち、色度値として、
ｒ＿ｓｕｍ２＝Ｒ＿ｓｕｍ２／（Ｒ＿ｓｕｍ２＋Ｇ＿ｓｕｍ２＋Ｂ＿ｓｕｍ２）
ｇ＿ｓｕｍ２＝Ｇ＿ｓｕｍ２／（Ｒ＿ｓｕｍ２＋Ｇ＿ｓｕｍ２＋Ｂ＿ｓｕｍ２）
を算出する。
【００５３】
次に、ＣＰＵ８は、所定の演算プログラムに従って、算出した無彩色点のＲＧＢ信号がＲ：Ｇ：Ｂ＝１：１：１となるようにホワイトバランス調整量を算出して、この値を最終的なホワイトバランス調整量として設定する。
ここで、算出されたホワイトバランス調整量を、
Ｒｇａｉｎ＝ｇ＿ｓｕｍ２／ｒ＿ｓｕｍ２
Ｂｇａｉｎ＝ｇ＿ｓｕｍ２／ｂ＿ｓｕｍ２
とする。なお、ｂ＿ｓｕｍ２＝１−ｇ＿ｓｕｍ２−ｒ＿ｓｕｍ２とする。
【００５４】
そして、ＣＰＵ８は、上記のようにして設定されたホワイトバランス調整量を用いて撮像画像Ｇにホワイトバランス調整処理を施して不揮発性メモリ５に記憶する。
【００５５】
以上のように、本実施の形態のデジタルカメラ１００によれば、各ブロックの輝度値と、各ブロックの色度平面Ｓにおける色度座標とに基づいて、ホワイトバランス調整量の重み付けに係る各ブロックの輝度係数を設定するので、各ブロックの輝度係数を各ブロックの輝度値と各ブロックの色度平面Ｓにおける色度座標とを考慮したものとすることができる。
具体的には、ＣＰＵ８は、各ブロックの色度座標から光源領域を特定して、光源領域毎の輝度値と輝度係数とが対応付けられた輝度係数設定テーブルＴ１に基づいて、各ブロックの輝度値から輝度係数を設定することができる。例えば、光源領域Ｈ内の色度座標に対応するブロックの輝度係数を、それらブロックの輝度値が大きいほど小さくなるように設定するので、光源領域Ｈに対応するブロックのホワイトバランス調整量に対する寄与度を小さくすることができ、画像Ｇのうち、例えば青空等の青色の部分の彩度を下げることがなくなる。また、光源領域Ｆ、Ｍ、Ｌ内の色度座標に対応するブロックの輝度係数を、それらブロックの輝度値が大きいほど大きくなるように設定するので、光源領域Ｆ、Ｍ、Ｌに対応するブロックのホワイトバランス調整量に対する寄与度を大きくすることができ、画像Ｇのうち、例えば白色の部分等の彩度を高めることができる。
従って、各ブロックの輝度係数を考慮した色データに基づいてホワイトバランス調整量を適正に設定することができる。
【００５６】
即ち、本実施の形態によれば、上記のようにして設定された輝度係数と、光源領域毎のホワイトバランス調整量の重み付けに係る第一の光源領域係数と、ブロックの各々のホワイトバランス調整量の重み付けに係る色度係数とに基づいて、画像の無彩色点を判定することができる。
さらに、無彩色点の色度座標を考慮して第二の光源領域係数をより適正な値に再設定することができる。
また、再設定された第二の光源領域係数を用いて無彩色点の再判定を適正に行うことができ、再判定された無彩色点の色度座標に基づいて、ホワイトバランス調整量を設定することができる。
このようにして、撮像画像Ｇのホワイトバランス調整量をより適正な値に設定することができることとなって、画像のホワイトバランス調整を従来よりも適正に行うことができ、画像の色合いをより自然なものとすることができる。
【００５７】
＜色空間の変形例＞
上記実施の形態では、色空間として色度平面Ｓを例示したが、これに限られるものではなく、画像の無彩色点の検出に用いることができる色空間であれば良く、例えば、図９（ａ）に示す色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を座標軸とする色空間や、図９（ｂ）に示す色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）を座標軸とする色空間や、図９（ｃ）に示すＲ信号とＧ信号との比Ｒ／Ｇ、Ｂ信号とＧ信号との比Ｂ／Ｇを座標軸とする色空間等が挙げられる。これらの場合、例えば、各色空間において、黒体輻射軌跡ＢＬに基づいて所定の大きさの矩形状の領域Ｓ１、Ｓ２、Ｓ３を設定し、各領域Ｓ１、Ｓ２、Ｓ３内に存する画像の色座標に基づいて設定されたホワイトバランス調整量の重み付け係数を用いて、画像の無彩色点を検出するような構成となっている。
【００５８】
なお、本発明は、上記実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、輝度係数、光源領域係数及び色度係数の具体的な値は、例えば画像や光源等の種類に応じて適宜任意に変更可能となっていることは勿論である。
また、上記実施の形態では、光源領域Ｈに対応するブロックの輝度係数を設定し、且つ、光源領域Ｆ、Ｍ、Ｌに対応するブロックの輝度係数を設定するような構成としたが、これら輝度係数の設定は常時両方とも行う必要はなく、例えば画像や光源等の種類によっては、何れか片方のみを設定する構成であっても良い。
さらに、上記実施の形態では、電子機器としてデジタルカメラ１００を例示したが、これに限られるものではなく、画像Ｇを撮像する撮像手段を備える電子機器であれば如何なるものであっても良い。
また、設定テーブル記憶手段や色区域係数記憶手段としてＲＯＭ７を例示したが、これに限られるものではなく、例えば、電気的に書き換え可能な記憶手段であっても良く、これにより、ユーザは必要に応じて輝度係数設定テーブルＴ１や第一の光源領域係数設定テーブルＴ３１や第二の光源領域係数設定テーブルＴ３２の内容を変更することができる。また、同様に、色度係数設定テーブルＴ２の内容も変更することもできる。
【００５９】
【発明の効果】
請求項１に記載の発明によれば、画像の輝度値と、画像の色空間における色座標とに基づいて設定された輝度係数を考慮した色情報に基づいて、ホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整を従来よりも適正に行うことができることとなって、画像の色合いをより自然なものとすることができる。
【００６０】
請求項２に記載の発明によれば、各ブロックの輝度係数を考慮した色情報に基づいて、ホワイトバランス調整量をより適正な値に設定することができる。
【００６１】
請求項３に記載の発明によれば、色度空間の色区域を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００６２】
請求項４に記載の発明によれば、色区域係数を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００６３】
請求項５に記載の発明によれば、色度係数を考慮してホワイトバランス調整量を適正な値に設定することができ、画像のホワイトバランス調整をより適正に行うことができる。
【００６４】
請求項６に記載の発明によれば、各ブロックの色度係数と各ブロックの輝度係数と色区域係数とを考慮して無彩色点の判定を適正に行うことができ、さらに、無彩色点の色度座標を考慮して色区域係数をより適正な値に再設定することができることとなって、再設定された色区域係数を用いてホワイトバランス調整量をより適正な値に設定することができる。
【００６５】
請求項７に記載の発明によれば、色区域係数を用いて無彩色点の再判定を適正に行うことができることとなって、再判定された無彩色点の色度座標を考慮してホワイトバランス調整量をより適正な値に設定することができる。
【００６６】
請求項８に記載の発明によれば、色度空間における青色側の特定の範囲内に含まれるブロックのホワイトバランス調整量に対する寄与度を小さくすることができ、画像の青色の部分（例えば、青空）の彩度を下げることがなくなって、ホワイトバランス調整が適正に施された画像を得ることができる。
【００６７】
請求項９に記載の発明によれば、色度空間における青色側の特定の範囲以外の所定の範囲内に含まれるブロックのホワイトバランス調整量に対する寄与度を大きくすることができ、画像の青色以外の部分、即ち、例えば白色の部分等の彩度を高めて、ホワイトバランス調整が適正に施された画像を得ることができる。
【００６８】
請求項１０に記載の発明によれば、電子機器は画像を撮像する撮像手段を備えるので、請求項１〜９に記載の発明と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明に係るホワイトバランス制御装置を備える電子機器の好適な一例として例示するデジタルカメラの要部構成を示すブロック図である。
【図２】図１のデジタルカメラにより撮像された画像を模式的に示した図である。
【図３】図１のデジタルカメラによるホワイトバランス調整処理に係る色度平面を複数のセルに分割した状態を模式的に示した図である。
【図４】図３の複数のセルに分割された色度平面における黒体輻射軌跡を模式的に示した図である。
【図５】図３の複数のセルに分割された色度平面内にて設定された光源領域を模式的に示した図である。
【図６】図１のデジタルカメラによるホワイトバランス調整処理に係る輝度係数設定テーブルを模式的に示した図である。
【図７】図１のデジタルカメラによるホワイトバランス調整処理に係る第一の光源領域係数設定テーブルを模式的に示した図である。
【図８】図１のデジタルカメラによるホワイトバランス調整処理に係る第二の光源領域係数設定テーブルを模式的に示した図である。
【図９】色空間の変形例を模式的に示した図である。
【符号の説明】
１００デジタルカメラ（電子機器）
１ｃ撮像素子（撮像手段）
７ＲＯＭ（ホワイトバランス制御装置、設定テーブル記憶手段、色区域係数記憶手段）
８ＣＰＵ（ホワイトバランス制御装置、調整量設定手段、画像分割手段、色座標算出手段、輝度値算出手段、輝度係数設定手段、色区域係数設定手段、色度係数設定手段、無彩色点判定手段、色区域係数再設定手段、再判定手段）
Ｇ画像
Ｓ色度平面（色空間）
Ｈ、Ｍ、Ｌ、Ｆ光源領域（色区域）
Ｔ１輝度係数設定テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a white balance control device and an electronic apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, some digital cameras perform white balance adjustment that automatically adjusts an output signal of a subject so that a captured white subject matches a human appearance.
The white balance adjustment methods are roughly classified into an external measurement method and a TTL (Through The Lens) method, and the latter is further divided into a full screen average method and an achromatic color detection method.
[0003]
Among the above, the TTL achromatic detection method has become the mainstream of white balance adjustment. Specifically, an achromatic region such as white or gray is extracted from the image, and the color difference of that portion is detected. This is a method of correcting so as to be 0 “zero”. Here, as a method for extracting (detecting) an achromatic region, for example, a method for determining a pixel near a black body radiation locus on the chromaticity plane as an achromatic color using chromaticity information of an image has been proposed. (For example, see Patent Document 1)
The achromatic color detection method generally integrates the chromaticity information of pixels determined to be achromatic color, and corrects the color tone so that RGB of the integrated value becomes R: G: B = 1: 1: 1. It has become.
However, in the above case, if a white or gray subject illuminated by a light source and a chromatic subject located near the black body radiation locus are mixed, not only an achromatic subject but also a chromatic subject. The chromaticity information of the pixels is also integrated, and the color tone is corrected so as to lower the saturation of the chromatic subject, making it difficult to adjust the white balance appropriately.
[0004]
Therefore, a white balance control device that uses the luminance value of a pixel for white balance adjustment has been proposed, and the white balance is integrated by performing a weighting process that increases the weight of the white balance adjustment amount as the luminance value of the pixel increases. The adjustment amount is calculated (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP 2002-112282 A
[Patent Document 2]
Japanese Patent Laid-Open No. 2002-232906
[0006]
[Problems to be solved by the invention]
By the way, for example, in a scene where a blue sky enters a part of the imaging area of the imaging device, the luminance value of the pixel corresponding to the blue sky part often becomes equal to or higher than the average value of the luminance values of all the pixels in the imaging area. This is particularly noticeable in scenes like semi-backlight.
However, in the above case, as in Patent Document 2, when the weighting process is performed so that the weighting of the white balance adjustment amount increases as the luminance value of the pixel increases, the white balance adjustment amount as the integration result is obtained. On the other hand, the degree of influence of the pixels corresponding to the blue sky portion increases, and the color tone is corrected in the direction of decreasing the saturation of the blue sky. As a result, the image quality deteriorates such that the blue sky fades and the entire image becomes yellowish.
As described above, it is not possible to calculate the optimal white balance adjustment amount by simply performing weighting and integration so that the weight of the white balance adjustment amount increases as the luminance value of the pixel increases. Adjustment could not be performed properly.
[0007]
An object of the present invention is to provide a white balance control device and an electronic apparatus that can appropriately adjust the white balance of an image and thereby can make the color of the image more natural.
[0008]
[Means for Solving the Problems]
The invention according to claim 1 is a white balance control device comprising an adjustment amount setting means for setting a white balance adjustment amount based on color information of an image corresponding to input image information.
Color coordinate calculation means for calculating color coordinates in a color space of the image based on color information of the image information;
A luminance value calculating means for calculating a luminance value of the image based on the color information;
A luminance coefficient setting for setting a luminance coefficient related to the weighting of the white balance adjustment amount based on the luminance value of the image calculated by the luminance value calculating unit and the color coordinate of the image calculated by the color coordinate calculating unit Means, and
The adjustment amount setting means sets the white balance adjustment amount based on color information considering the luminance coefficient set by the luminance coefficient setting means.
[0009]
According to the first aspect of the present invention, the white balance adjustment amount is weighted based on the luminance value of the image calculated by the luminance value calculating unit and the color coordinate of the image calculated by the color coordinate calculating unit. Luminance coefficient setting means for setting the luminance coefficient is provided, and the adjustment amount setting means sets the white balance adjustment amount based on the color information considering the luminance coefficient set by the luminance coefficient setting means. That is, the white balance adjustment amount can be set to an appropriate value based on the color information considering the luminance coefficient set based on the luminance value of the image and the color coordinates in the color space of the image, White balance adjustment can be performed more appropriately than before, and the color of the image can be made more natural.
[0010]
The invention according to claim 2 is the white balance control device according to claim 1,
Image dividing means for dividing the image into a plurality of blocks;
The color coordinate calculation means calculates chromaticity coordinates of each block in the chromaticity space based on color information of a portion corresponding to each of a plurality of blocks divided by the image division means in the image information. ,
The luminance value calculating means calculates a luminance value of each block based on the color information corresponding to each of the plurality of blocks,
The luminance coefficient setting unit weights the white balance adjustment amount based on the luminance value of each block calculated by the luminance value calculating unit and the chromaticity coordinate of each block calculated by the color coordinate calculating unit. Set the luminance coefficient of each block related to
The adjustment amount setting means sets the white balance adjustment amount based on color information considering the luminance coefficient of each block set by the luminance coefficient setting means.
[0011]
According to the second aspect of the present invention, it is possible to obtain the same effect as the first aspect of the invention, in particular, based on the luminance value of each block and the chromaticity coordinates of each block. The luminance coefficient of each block related to the weighting of the white balance adjustment amount can be set, and the white balance adjustment amount can be set to a more appropriate value based on the color information considering the luminance coefficient of each block.
[0012]
According to a third aspect of the present invention, in the white balance control device according to the second aspect,
A setting table storage unit that stores a luminance coefficient setting table in which a luminance value and a luminance coefficient are associated with each color area in which the chromaticity space is divided according to chromaticity;
The luminance coefficient setting means specifies a color area from the chromaticity coordinates of each block, and sets the luminance coefficient from the luminance value of each block based on the luminance coefficient setting table stored in the setting table storage means. It is characterized by.
[0013]
According to the third aspect of the invention, it is possible to obtain the same effect as the second aspect of the invention, and in particular, the chromaticity space is divided according to the chromaticity from the chromaticity coordinates of each block. The specified color area is specified, and the brightness coefficient can be set from the brightness value of each block based on the brightness coefficient setting table in which the brightness value and the brightness coefficient for each color area are associated with each other. That is, the white balance adjustment amount can be set to an appropriate value in consideration of the color area of the chromaticity space, and the white balance adjustment of the image can be performed more appropriately.
[0014]
The invention according to claim 4 is the white balance control device according to claim 3,
A color area coefficient storage means for storing a color area coefficient related to the weighting of the white balance adjustment amount set for each color area;
Color gamut coefficient setting means for obtaining and setting the color gamut coefficient of the color gamut to which the chromaticity coordinate of each block belongs from the color gamut coefficient storage means, and
The adjustment amount setting means is further characterized in that the white balance adjustment amount is set based on color information in consideration of the color area coefficient set by the color area coefficient setting means.
[0015]
According to the invention described in claim 4, it is obvious that the same effect as that of the invention described in claim 3 can be obtained. In particular, the color area relating to the weighting of the white balance adjustment amount set for each color area. Obtain and set the color gamut coefficient of the color gamut to which the chromaticity coordinate of each block belongs from the color gamut coefficient storage means for storing the coefficient, and perform white balance based on the color information considering the set color gamut coefficient An adjustment amount can be set. That is, the white balance adjustment amount can be set to an appropriate value in consideration of the color area coefficient, and the white balance adjustment of the image can be performed more appropriately.
[0016]
The invention according to claim 5 is the white balance control device according to any one of claims 2 to 4,
Chromaticity coefficient setting means for setting a chromaticity coefficient of each block related to the weighting of the white balance adjustment amount based on the chromaticity coordinates of each of the blocks;
The adjustment amount setting means is further characterized in that the white balance adjustment amount is set based on color information in consideration of the chromaticity coefficient of each block set by the chromaticity coefficient setting means.
[0017]
According to the invention described in claim 5, it is natural that the same effect as that of the invention described in claims 2 to 4 can be obtained, and in particular, the white balance adjustment amount based on the chromaticity coordinates of each block. The white balance adjustment amount can be set based on the color information in consideration of the set chromaticity coefficient of each block. That is, the white balance adjustment amount can be set to an appropriate value in consideration of the chromaticity coefficient, and the white balance adjustment of the image can be performed more appropriately.
[0018]
According to a sixth aspect of the present invention, in the white balance control device according to the fourth aspect,
Chromaticity coefficient setting means for setting the chromaticity coefficient of each block related to the weighting of the white balance adjustment amount based on the chromaticity coordinates of each of the blocks;
Based on the chromaticity coefficient of each block set by the chromaticity coefficient setting means, the luminance coefficient of each block set by the luminance coefficient setting means, and the color area coefficient set by the color area coefficient setting means Achromatic point judging means for judging the achromatic point,
Color area coefficient resetting means for obtaining the color area coefficient from the color area coefficient storage means and resetting the color area coefficient based on the chromaticity coordinates of the achromatic color point determined by the achromatic color point determination means. ,
The adjustment amount setting means is further characterized in that the white balance adjustment amount is set based on color information in consideration of the color area coefficient reset by the color area coefficient resetting means.
[0019]
According to the invention described in claim 6, it is possible to obtain the same effect as that of the invention described in claim 4, in particular, the chromaticity coefficient of each block, the luminance coefficient of each block, and the color area. The achromatic point can be determined based on the coefficient. Further, based on the chromaticity coordinates of the determined achromatic color point, the color area coefficient is reset, and the white balance adjustment amount is set based on the color information considering the reset color area coefficient. it can. In other words, the achromatic color point can be properly determined in consideration of the chromaticity coefficient of each block, the luminance coefficient of each block, and the color area coefficient, and the color coordinates in consideration of the chromaticity coordinates of the achromatic color point. The area coefficient can be reset to a more appropriate value, and the white balance adjustment amount can be set to a more appropriate value using the reset color area coefficient.
[0020]
The invention according to claim 7 is the white balance control device according to claim 6,
Re-determination means for re-determining the achromatic color point based on the color area coefficient reset by the color area coefficient resetting means;
The adjustment amount setting means sets the white balance adjustment amount based on the chromaticity coordinates of the achromatic color point re-determined by the re-determination means.
[0021]
According to the seventh aspect of the present invention, the same effect as that of the sixth aspect of the invention can be obtained. In particular, the achromatic color point is re-determined based on the reset color gamut coefficient. Thus, the white balance adjustment amount can be set based on the chromaticity coordinates of the achromatic color point determined again. In other words, the achromatic color point can be re-determined using the color area coefficient, and the white balance adjustment amount is set to a more appropriate value in consideration of the chromaticity coordinates of the re-determined achromatic color point. Can be set.
[0022]
The invention according to claim 8 is the white balance control device according to any one of claims 2 to 7,
The luminance coefficient setting means is characterized in that the luminance coefficient of the block included in a specific range on the blue side in the chromaticity space is set to be smaller as the luminance value of the block is larger.
[0023]
According to the eighth aspect of the invention, it is possible to obtain the same effect as that of the second to seventh aspects of the invention, in particular, a block included in a specific range on the blue side in the chromaticity space. Can be set smaller as the luminance value of the block increases. Thereby, the contribution to the white balance adjustment amount of the block included in the specific range on the blue side in the chromaticity space can be reduced, and the saturation of the blue portion (for example, blue sky) of the image can be reduced. Thus, it is possible to obtain an image appropriately adjusted for white balance.
[0024]
The invention according to claim 9 is the white balance control device according to any one of claims 2 to 8,
The luminance coefficient setting means sets the luminance coefficient of the block included in a predetermined range other than the specific range on the blue side in the chromaticity space as the luminance value of the block increases. .
[0025]
According to the ninth aspect of the present invention, it is possible to obtain the same effect as that of the second to eighth aspects of the invention, in particular, a predetermined range other than the specific range on the blue side in the chromaticity space. The luminance coefficient of the block included in the block can be set larger as the luminance value of the block is larger. As a result, the degree of contribution to the white balance adjustment amount of the block included in a predetermined range other than the specific range on the blue side in the chromaticity space can be increased. It is possible to obtain an image in which white balance adjustment is appropriately performed by increasing the saturation of a portion or the like.
[0026]
Invention of Claim 10 is an electronic device provided with the white balance control apparatus as described in any one of Claims 1-9,
An image pickup means for picking up the image is provided.
[0027]
According to the tenth aspect of the present invention, even an electronic device including an image pickup unit that picks up an image can obtain the same effects as those of the first to ninth aspects of the invention.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram illustrating a main configuration of a digital camera exemplified as a preferred example of an electronic apparatus including a white balance control device according to the present invention.
[0029]
As shown in FIG. 1, the digital camera 100 includes an imaging unit 1, an A / D conversion circuit 2, an image memory 3, a display device 4, a nonvolatile memory 5, a RAM 6, a ROM 7, a CPU 8, a power switch 9, and a release switch 10. The illumination light source 11 is provided.
[0030]
The imaging unit 1 includes an imaging lens 1a that forms an optical image of a subject on the optical path, a drive motor 1b that moves the imaging lens 1a in the optical axis direction to adjust the focus position of the imaging lens 1a, and an imaging lens. An optical image formed by 1a is photoelectrically converted, and an image signal (analog signal) obtained by photoelectric conversion is output to the A / D conversion circuit 2, for example, an imaging device 1c (imaging means) such as a CCD (Charge Coupled Device) And a diaphragm portion 1d that adjusts the amount of light incident on the image sensor 1c by controlling the amount of opening by the CPU 8.
[0031]
The A / D conversion circuit 2 converts the input analog signal output from the image sensor 1 c into a digital signal, and outputs the converted digital image signal to the image memory 3. Here, it is assumed that the A / D conversion circuit 2 in the present embodiment converts a digital image signal having a larger value as the intensity of the light incident on the image sensor 1c increases.
The image memory 3 temporarily stores the digital image signal input via the A / D conversion circuit 2.
The display device 4 includes, for example, an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, and the like, and displays a captured image, an operation screen, and the like according to a display signal output from the CPU 8 and input.
The non-volatile memory 5 is composed of, for example, a memory card, and stores digital image signals that have been subjected to various image processes under the control of the CPU 8 among the digital image signals stored in the image memory 3.
[0032]
A RAM (Random Access Memory) 6 is, for example, a volatile semiconductor memory, and has a work area for temporarily storing a program, data, and the like being processed by the CPU 8.
[0033]
A ROM (Read Only Memory) 7 is a read-only memory, and stores application programs related to various processes performed by the CPU 8 as the digital camera 100, data used for various operations, and the like. Specifically, the ROM 7 includes an adjustment amount setting program 7a, an image division program 7b, a chromaticity coordinate calculation program 7c, a luminance value calculation program 7d, a luminance coefficient setting program 7e, and an achromatic color point determination program 7f. The re-determination program 7g and the like are stored.
[0034]
Further, the ROM 7 constitutes a setting table storage means, and for each light source region (color area) in which the chromaticity plane S (chromaticity space (color space): see FIG. 3) is divided according to chromaticity. A luminance coefficient setting table T1 in which luminance values and luminance coefficients are associated is stored.
Further, the ROM 7 stores a chromaticity coefficient setting table T2 in which the chromaticity coordinates of each block are associated with the chromaticity coefficients (see FIGS. 4 and 5) of each block related to the weighting of the white balance adjustment amount. ing.
The ROM 7 constitutes a color area coefficient storage means, and includes a light source area coefficient setting table T3 in which each light source area is associated with a light source area coefficient (color area coefficient) related to weighting of the white balance adjustment amount. I remember it. Specifically, as the light source area coefficient setting table T3, the first light source area coefficient setting table T31 (see FIG. 7) related to the first light source area coefficient and the second light source area related to the second light source area coefficient. The coefficient setting table T32 (see FIG. 8A to FIG. 8B) may be mentioned.
[0035]
A CPU (Central Processing Unit) 8 reads out various application programs related to various functions as the digital camera 100 stored in the ROM 7, develops them in a work area in the RAM 6, and captures moving images and still images according to the programs. Etc. are executed.
Specifically, in the imaging process, the CPU 8 serves as an adjustment amount setting unit based on the digital image signal stored in the image memory 3 in accordance with the adjustment amount setting program 7a (see FIG. 2A). A white balance adjustment process for setting a white balance adjustment amount based on the color data (color information) is performed.
[0036]
Further, in the white balance adjustment process, the CPU 8 serves as an image dividing unit based on the digital image signal stored in the image memory 3 according to the image dividing program 7b (for example, horizontal: 64 × vertical). : 48) (see FIG. 2B).
Further, the CPU 8 serves as a color coordinate calculation unit based on color data included in a signal corresponding to each of a plurality of divided blocks in the digital image signal according to the chromaticity coordinate calculation program 7c. The chromaticity coordinates of each block at are calculated.
[0037]
Further, the CPU 8 uses the chromaticity coefficient setting table T2 as chromaticity coefficient setting means, and sets the chromaticity coefficient of each block related to the weighting of the white balance adjustment amount based on the chromaticity coordinates of each block.
Further, the CPU 8 serves as a color area coefficient setting unit, which is a color area coefficient of a light source area (color area: light source area H, light source area M, light source area L, light source area F; see FIG. 5) to which the chromaticity coordinates of each block belong. The first light source area coefficient is acquired from the first light source area coefficient setting table T31 and set (see FIG. 7).
[0038]
Further, the CPU 8 calculates the luminance value Y of each block based on the color data corresponding to each of the plurality of blocks according to the luminance value calculation program 7d as the luminance value calculation means.
Further, the CPU 8 sets the luminance coefficient of each block related to the weighting of the white balance adjustment amount based on the luminance value Y of each block and the chromaticity coordinates of each block according to the luminance coefficient setting program 7e as the luminance coefficient setting means. Set. That is, the CPU 8 specifies the light source region from the chromaticity coordinates of each block, and sets the luminance coefficient from the luminance value of each block based on the luminance coefficient setting table T1 (see FIG. 6) stored in the ROM 7.
[0039]
Further, the CPU 8 serves as the achromatic color point determination means according to the achromatic color point determination program 7f, the chromaticity coefficient of each block, the luminance coefficient of each block set according to the light source area, and the first light source area coefficient. Based on the above, the achromatic color point in the chromaticity plane S is determined.
[0040]
Further, the CPU 8 serves as the color area coefficient resetting means, based on the chromaticity coordinates of the achromatic point on the chromaticity plane S, from the second light source area coefficient setting table T32, and as the second light source area coefficient as the color area coefficient. Is acquired and set (re-set) (see FIG. 8).
Further, the CPU 8 re-determines the achromatic color point based on the set second light source region coefficient as the re-determination means according to the re-determination program 7g.
[0041]
Further, the CPU 8 calculates a white balance adjustment amount based on the calculated chromaticity coordinates of the achromatic color point, and sets this value as a final white balance adjustment amount.
[0042]
The power switch 9 outputs an instruction signal for turning on or off the power of the digital camera 100 based on a user operation.
The release switch 10 outputs an instruction signal that instructs the CPU 8 to start an imaging operation based on a user operation. Here, when the output instruction signal is input to the CPU 8, the CPU 8 drives a shutter device (not shown) to capture an image.
The illumination light source 11 includes a strobe or the like, and emits light for assisting illumination in accordance with a light emission timing control signal output from the CPU 8 and input.
[0043]
Next, the white balance adjustment process under the control of the CPU 8 will be described with reference to FIGS.
Here, FIG. 2A is a diagram schematically illustrating an image G captured by the digital camera 100, and FIG. 2B illustrates a state in which the captured image G is divided into a plurality of blocks. It is. FIG. 3 is a diagram schematically showing a state in which the chromaticity plane S related to the white balance adjustment process is divided into a plurality of cells, and FIG. 4 is a diagram in the chromaticity plane S divided into a plurality of cells. FIG. 5 is a diagram schematically illustrating a black body radiation locus BL, and FIG. 5 is a diagram schematically illustrating a light source region set in a chromaticity plane S divided into a plurality of cells. Each numerical value written in the chromaticity plane S of FIGS. 4 and 5 represents a chromaticity coefficient.
FIGS. 6A and 6B are diagrams schematically showing a luminance coefficient setting table T1 related to white balance adjustment processing. Further, FIG. 7 is a diagram schematically showing the first light source region coefficient setting table T31 related to the white balance adjustment processing, and FIGS. 8A to 8D are related to the white balance adjustment processing. It is the figure which showed typically the 2nd light source area | region coefficient setting table T32.
[0044]
The CPU 8 executes a white balance adjustment process for the captured image G (see FIG. 2A) during the subject imaging process.
In this white balance adjustment process, the CPU 8 reads the adjustment amount setting program 7 a from the ROM 7 and expands it in the RAM 6. Based on the adjustment amount setting program 7 a, the CPU 8 obtains the digital image stored in the image memory 3 in the imaging process. Based on the image signal, the white balance adjustment amount of the captured image G is set.
Hereinafter, a method for calculating the white balance adjustment amount under the control of the CPU 8 will be described in detail.
[0045]
First, the CPU 8 reads out the image division program 7b from the ROM 7, develops it in the RAM 6, and in accordance with the image division program 7b, the image G1 of one frame based on the digital image signal stored in the image memory 3 is, for example, horizontal: 64 × Vertical: Divide into 48 blocks (see FIG. 2B).
[0046]
Next, the CPU 8 reads out the chromaticity coordinate calculation program 7c from the ROM 7 and develops it in the RAM 6, and in accordance with the chromaticity coordinate calculation program 7c, on the chromaticity plane S (see FIG. 3) based on the color data of each block. Calculate the chromaticity coordinates of each block.
Specifically, the CPU 8 first separates the digital image signal into three components R, G, and B by an RGB separation circuit (not shown), and averages the R, G, and B signals (R, G, and B) for each block. B) is calculated. At this time, saturated pixels are detected, and the saturated pixels are not used for calculating the average value.
Subsequently, the CPU 8 performs an RGB gain of a reference (for example, D50) for adjusting the chromaticity coordinates to the calculated R, G, B average values (R, G, B) for each block according to a predetermined calculation program. To calculate R ′, G ′, B ′ data (R ′, G ′, B ′) of each pixel.
here,
R ′ = gR_D50 × R
G ′ = gG_D50 × G
B ′ = gB_D50 × B
And
Then, the CPU 8 calculates chromaticity values using the R ′, G ′, and B ′ data of each pixel in accordance with a predetermined calculation program, and uses the value as the chromaticity coordinates for each block. That is, as chromaticity values in the chromaticity plane S of the vertical axis: g = G / (R + G + B) and the horizontal axis: r = R / (R + G + B),
r = R ′ / (R ′ + G ′ + B ′)
g = G ′ / (R ′ + G ′ + B ′)
Is calculated.
[0047]
<First evaluation>
Next, the CPU 8 performs a first evaluation for determining an achromatic color point in the chromaticity plane S.
Specifically, as the first evaluation, the CPU 8 first divides the chromaticity plane S into, for example, horizontal: 32 × vertical: 16 cells (see FIG. 3), and within the chromaticity plane S. Based on a black body radiation locus BL (see FIG. 4) expressed under a predetermined light source (for example, sunlight), as a light source region to which a predetermined number of cells among a plurality of cells belong, for example, a light source region H, Four light source areas M, L, and F are set (see FIG. 5).
[0048]
Then, the CPU 8 uses the chromaticity coefficient setting table T2 stored in the ROM 7 to set the chromaticity coefficient of each block based on the chromaticity coordinates of each block. Here, in the chromaticity coefficient setting table T2, only the chromaticity coefficients of the cells existing in each light source region among the plurality of cells corresponding to each block are set according to the distance from the black body radiation locus BL, for example. Has been. That is, 0 “zero” is set as the chromaticity coefficient for the cells other than the cells existing in the light source region.
Next, the CPU 8 sets the first light source region coefficient for each light source region using the first light source region coefficient setting table T31 stored in the ROM 7. Specifically, as illustrated in FIG. 7, for example, the CPU 8 sets the light source region coefficient of the light source region H to 0.2, the light source region coefficient of the light source region M to 0.4, and the light source region coefficient of the light source region L. 0.2 and 0.2 as the light source region coefficient of the light source region F.
[0049]
Then, the CPU 8 reads the luminance value calculation program 7d from the ROM 7, develops it in the RAM 6, and calculates the luminance value Y of each block based on the color data corresponding to each block according to the luminance value calculation program 7d. Specifically, the CPU 8 is based on the (R ′, G ′, B ′) data of each block,
Y = 0.3 × R + 0.6 × G + 0.1 × B
Is used to calculate the luminance value Y of each block.
Subsequently, the CPU 8 reads the luminance coefficient setting program 7e from the ROM 7 and develops it in the RAM 6. Based on the luminance value Y of each block and the chromaticity coordinates on the chromaticity plane S of each block according to the luminance coefficient setting program 7e. Thus, the luminance coefficient of each block relating to the weighting of the white balance adjustment amount is set. Specifically, the CPU 8 specifies the light source region from the chromaticity coordinates of each block, and sets the luminance coefficient from the luminance value of each block based on the luminance coefficient setting table T1 stored in the ROM 7. ing. Thereby, for example, as shown in FIG. 6B, the luminance coefficient of the blocks corresponding to the chromaticity coordinates in the light source region H (a specific range on the blue side in the chromaticity space) has the luminance value of those blocks. 6 is set so as to be smaller, and as shown in FIG. 6A, chromaticity coordinates in the light source regions F, M, and L (predetermined ranges other than the specific range on the blue side in the chromaticity space). The luminance coefficient of the block corresponding to is set so as to increase as the luminance value of the block increases.
[0050]
Next, the CPU 8 reads the achromatic color point determination program 7f from the ROM 7 and develops it in the RAM 6, and in accordance with the achromatic color point determination program 7f, the chromaticity coefficient of each block and each block set in accordance with the light source region. Based on the luminance coefficient and the light source area coefficient, the achromatic color point in the chromaticity plane S is determined.
Specifically, first, the CPU 8 multiplies the (R ′, G ′, B ′) data of each block by the chromaticity coefficient and the luminance coefficient in accordance with a predetermined calculation program, and then the coefficient is multiplied. (R ′, G ′, B ′) Data is integrated for each light source region.
Here, the calculated integrated value of the (R ′, G ′, B ′) data of each light source region,
Integrated value of light source region H: (R_sum_H, G_sum_H, B_sum_H)
Integrated value of light source region M: (R_sum_M, G_sum_M, B_sum_M)
Integrated value of light source region L: (R_sum_L, G_sum_L, B_sum_L)
Integrated value of light source region F: (R_sum_F, G_sum_F, B_sum_F)
And
Then, the CPU 8 weights and integrates the integrated value of the (R ′, G ′, B ′) data of each light source region by the light source region coefficient according to a predetermined calculation program, and calculates the integration result of the entire image.
Here, the integration result of the entire image calculated is
(R_sum1, G_sum1, B_sum1)
And
Subsequently, the CPU 8 calculates a chromaticity value using the calculated integration result (R_sum1, G_sum1, B_sum1) of the entire image according to a predetermined calculation program, and sets the value as an achromatic point of the image. That is, as the chromaticity value,
r_sum1 = R_sum1 / (R_sum1 + G_sum1 + B_sum1)
g_sum1 = G_sum1 / (R_sum1 + G_sum1 + B_sum1)
Is calculated.
[0051]
<Second evaluation>
Next, the CPU 8 performs a second evaluation for re-determining the achromatic color point determined in the first evaluation.
Specifically, as the second evaluation, the CPU 8 first obtains the second light source region coefficient from the second light source region coefficient setting table T32 based on the chromaticity coordinates of the achromatic point on the chromaticity plane S. And set.
That is, for example, when the chromaticity coordinate of the achromatic color point is in the range on the higher color temperature side than 6000 K in the chromaticity plane S, the CPU 8 has a large coefficient corresponding to the light source region H and the light source. The second light source region coefficient is reset so that the coefficient corresponding to the region L becomes 0 “zero” (see FIG. 8A), and the chromaticity coordinates of the achromatic point are within the chromaticity plane S. The second light source region coefficient so that the coefficient corresponding to the light source region L is large and the coefficient corresponding to the light source region H is 0 “zero”. Is reset (see FIG. 8B). In other cases, the CPU 8 resets the second light source region coefficient so that the coefficient corresponding to the light source region M becomes larger (see FIG. 8C). When it is determined that there is a high possibility that the image is an image captured under a fluorescent lamp, the second light source region coefficient is reset so that the coefficient corresponding to the light source region F is increased (FIG. 8 ( d)).
The CPU 8 determines the possibility that the captured image is an image captured under a fluorescent lamp, for example, according to a predetermined program, the chromaticity coordinates of the achromatic point and the black body radiation locus BL under a natural light source. Are compared depending on whether or not the amount of deviation with respect to the vertical axis direction (+ g direction) is larger than a predetermined value.
[0052]
Next, the CPU 8 reads the re-determination program 7g from the ROM 7 and develops it in the RAM 6. Based on the second light source area coefficient reset as described above, the achromatic color point is determined according to the re-determination program 7g. Re-determine.
Specifically, the CPU 8 first performs weighted integration of the integrated values of the (R ′, G ′, B ′) data of each light source region using the reset light source region coefficients in accordance with a predetermined calculation program, Calculate the overall integration result.
Here, the integration result of the entire image calculated is
(R_sum2, G_sum2, B_sum2)
And
Subsequently, the CPU 8 calculates a chromaticity value using the calculated integration result (R_sum2, G_sum2, B_sum2) of the entire image according to a predetermined calculation program, and sets the value as an achromatic point of the image. That is, as the chromaticity value,
r_sum2 = R_sum2 / (R_sum2 + G_sum2 + B_sum2)
g_sum2 = G_sum2 // (R_sum2 + G_sum2 + B_sum2)
Is calculated.
[0053]
Next, the CPU 8 calculates the white balance adjustment amount so that the calculated RGB signal of the achromatic point becomes R: G: B = 1: 1: 1 in accordance with a predetermined calculation program, and finally calculates this value. Set as the correct white balance adjustment amount.
Here, the calculated white balance adjustment amount is
Rgain = g_sum2 / r_sum2
Bgain = g_sum2 / b_sum2
And Note that b_sum2 = 1−g_sum2-r_sum2.
[0054]
Then, the CPU 8 performs white balance adjustment processing on the captured image G using the white balance adjustment amount set as described above, and stores it in the nonvolatile memory 5.
[0055]
As described above, according to the digital camera 100 of the present embodiment, each block related to the weighting of the white balance adjustment amount based on the luminance value of each block and the chromaticity coordinates on the chromaticity plane S of each block. Therefore, the luminance coefficient of each block can be determined in consideration of the luminance value of each block and the chromaticity coordinates on the chromaticity plane S of each block.
Specifically, the CPU 8 specifies the light source region from the chromaticity coordinates of each block, and based on the luminance coefficient setting table T1 in which the luminance value and the luminance coefficient for each light source region are associated, the luminance of each block. The luminance coefficient can be set from the value. For example, since the luminance coefficient of the block corresponding to the chromaticity coordinates in the light source region H is set so as to decrease as the luminance value of the block increases, the contribution to the white balance adjustment amount of the block corresponding to the light source region H And the saturation of a blue portion of the image G such as a blue sky is not lowered. In addition, since the luminance coefficient of the blocks corresponding to the chromaticity coordinates in the light source regions F, M, and L is set so as to increase as the luminance value of these blocks increases, the blocks corresponding to the light source regions F, M, and L The degree of contribution to the white balance adjustment amount can be increased, and the saturation of, for example, a white portion of the image G can be increased.
Accordingly, the white balance adjustment amount can be appropriately set based on the color data considering the luminance coefficient of each block.
[0056]
That is, according to the present embodiment, the luminance coefficient set as described above, the first light source region coefficient relating to the weighting of the white balance adjustment amount for each light source region, and the white balance adjustment amount of each block The achromatic color point of the image can be determined based on the chromaticity coefficient related to the weighting.
Furthermore, the second light source area coefficient can be reset to a more appropriate value in consideration of the chromaticity coordinates of the achromatic color point.
In addition, the achromatic color point can be re-determined properly using the reset second light source area coefficient, and the white balance adjustment amount is set based on the chromaticity coordinates of the re-determined achromatic color point. can do.
In this way, the white balance adjustment amount of the captured image G can be set to a more appropriate value, the white balance adjustment of the image can be performed more appropriately than before, and the color of the image can be made more natural. Can be.
[0057]
<Modification of color space>
In the above embodiment, the chromaticity plane S is exemplified as the color space. However, the present invention is not limited to this, and any color space that can be used for detecting an achromatic color point of an image may be used. The color space having the color difference signals (R−Y) and (B−Y) shown in a) as coordinate axes, and the color having the color difference signals (R−G) and (B−G) shown in FIG. 9B as coordinate axes. Examples thereof include a space, a color space having a ratio R / G between the R signal and the G signal and a ratio B / G between the B signal and the G signal as coordinate axes shown in FIG. In these cases, for example, in each color space, rectangular areas S1, S2, and S3 having a predetermined size are set based on the black body radiation locus BL, and the color coordinates of the images existing in the areas S1, S2, and S3 are set. The achromatic color point of the image is detected using the weighting coefficient of the white balance adjustment amount set based on the above.
[0058]
The present invention is not limited to the above embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, the specific values of the luminance coefficient, the light source region coefficient, and the chromaticity coefficient can be arbitrarily changed as appropriate according to the type of image, light source, and the like.
In the above embodiment, the luminance coefficient of the block corresponding to the light source region H is set, and the luminance coefficient of the block corresponding to the light source region F, M, L is set. It is not necessary to always set both coefficients. For example, depending on the type of image or light source, only one of the coefficients may be set.
Furthermore, in the above embodiment, the digital camera 100 is exemplified as the electronic device. However, the present invention is not limited to this, and any electronic device including an imaging unit that captures the image G may be used.
Further, the ROM 7 is exemplified as the setting table storage unit and the color area coefficient storage unit. However, the ROM 7 is not limited to this. For example, the storage unit may be an electrically rewritable storage unit. Accordingly, the contents of the luminance coefficient setting table T1, the first light source area coefficient setting table T31, and the second light source area coefficient setting table T32 can be changed. Similarly, the contents of the chromaticity coefficient setting table T2 can be changed.
[0059]
【The invention's effect】
According to the first aspect of the invention, the white balance adjustment amount is set to an appropriate value based on the color information considering the luminance coefficient set based on the luminance value of the image and the color coordinate in the color space of the image. Therefore, the white balance adjustment of the image can be performed more appropriately than before, and the color of the image can be made more natural.
[0060]
According to the second aspect of the present invention, the white balance adjustment amount can be set to a more appropriate value based on the color information in consideration of the luminance coefficient of each block.
[0061]
According to the third aspect of the invention, the white balance adjustment amount can be set to an appropriate value in consideration of the color area of the chromaticity space, and the white balance adjustment of the image can be performed more appropriately.
[0062]
According to the fourth aspect of the invention, the white balance adjustment amount can be set to an appropriate value in consideration of the color area coefficient, and the white balance adjustment of the image can be performed more appropriately.
[0063]
According to the fifth aspect of the present invention, the white balance adjustment amount can be set to an appropriate value in consideration of the chromaticity coefficient, and the white balance adjustment of the image can be performed more appropriately.
[0064]
According to the invention described in claim 6, it is possible to appropriately determine the achromatic color point in consideration of the chromaticity coefficient of each block, the luminance coefficient of each block, and the color area coefficient, and further, the achromatic color point. The color gamut coefficient can be reset to a more appropriate value in consideration of the chromaticity coordinates, and the white balance adjustment amount is set to a more appropriate value using the reset gamut coefficient. Can do.
[0065]
According to the seventh aspect of the present invention, the achromatic color point can be re-determined appropriately using the color area coefficient, and the white color is considered in consideration of the chromaticity coordinates of the re-determined achromatic color point. The balance adjustment amount can be set to a more appropriate value.
[0066]
According to the eighth aspect of the present invention, it is possible to reduce the contribution to the white balance adjustment amount of the block included in the specific range on the blue side in the chromaticity space, and to reduce the blue portion (for example, blue sky) of the image ) Is not lowered, and an image with appropriate white balance adjustment can be obtained.
[0067]
According to the ninth aspect of the present invention, it is possible to increase the contribution to the white balance adjustment amount of a block included in a predetermined range other than the specific range on the blue side in the chromaticity space, and to make the image other than the blue color of the image In other words, the saturation of the white portion, for example, the white portion, is increased, and an image in which white balance adjustment is appropriately performed can be obtained.
[0068]
According to the invention described in claim 10, since the electronic device includes the image pickup means for picking up an image, the same effect as that of the invention described in claims 1-9 can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a main configuration of a digital camera exemplified as a preferred example of an electronic apparatus including a white balance control device according to the invention.
FIG. 2 is a diagram schematically showing an image captured by the digital camera of FIG. 1;
FIG. 3 is a diagram schematically showing a state in which a chromaticity plane related to white balance adjustment processing by the digital camera of FIG. 1 is divided into a plurality of cells.
4 is a diagram schematically showing a black body radiation locus in a chromaticity plane divided into a plurality of cells in FIG. 3. FIG.
5 is a diagram schematically showing a light source region set in a chromaticity plane divided into a plurality of cells in FIG. 3. FIG.
6 is a diagram schematically showing a luminance coefficient setting table related to white balance adjustment processing by the digital camera of FIG. 1. FIG.
7 is a diagram schematically showing a first light source region coefficient setting table related to white balance adjustment processing by the digital camera of FIG. 1. FIG.
FIG. 8 is a diagram schematically showing a second light source area coefficient setting table related to white balance adjustment processing by the digital camera of FIG. 1;
FIG. 9 is a diagram schematically showing a modification of the color space.
[Explanation of symbols]
100 Digital camera (electronic equipment)
1c Image sensor (imaging means)
7 ROM (white balance control device, setting table storage means, color area coefficient storage means)
8 CPU (white balance control device, adjustment amount setting means, image division means, color coordinate calculation means, luminance value calculation means, luminance coefficient setting means, color area coefficient setting means, chromaticity coefficient setting means, achromatic color point determination means, Color area coefficient resetting means, redetermination means)
G image
S Chromaticity plane (color space)
H, M, L, F Light source area (color area)
T1 brightness coefficient setting table

Claims

A white balance control device comprising adjustment amount setting means for setting a white balance adjustment amount based on color information of an image corresponding to input image information,
Color coordinate calculation means for calculating color coordinates in a color space of the image based on color information of the image information;
A luminance value calculating means for calculating a luminance value of the image based on the color information;
A luminance coefficient setting for setting a luminance coefficient related to the weighting of the white balance adjustment amount based on the luminance value of the image calculated by the luminance value calculating unit and the color coordinate of the image calculated by the color coordinate calculating unit Means, and
The white balance control device, wherein the adjustment amount setting means sets the white balance adjustment amount based on color information considering the luminance coefficient set by the luminance coefficient setting means.

Image dividing means for dividing the image into a plurality of blocks;
The color coordinate calculation means calculates chromaticity coordinates of each block in the chromaticity space based on color information of a portion corresponding to each of a plurality of blocks divided by the image division means in the image information. ,
The luminance value calculating means calculates a luminance value of each block based on the color information corresponding to each of the plurality of blocks,
The luminance coefficient setting unit weights the white balance adjustment amount based on the luminance value of each block calculated by the luminance value calculating unit and the chromaticity coordinate of each block calculated by the color coordinate calculating unit. Set the luminance coefficient of each block related to
The white adjustment amount according to claim 1, wherein the adjustment amount setting unit sets the white balance adjustment amount based on color information in consideration of a luminance coefficient of each block set by the luminance coefficient setting unit. Balance control device.

A setting table storage unit that stores a luminance coefficient setting table in which a luminance value and a luminance coefficient are associated with each color area in which the chromaticity space is divided according to chromaticity;
The luminance coefficient setting means specifies a color area from the chromaticity coordinates of each block, and sets the luminance coefficient from the luminance value of each block based on the luminance coefficient setting table stored in the setting table storage means. The white balance control device according to claim 2.

A color area coefficient storage means for storing a color area coefficient related to the weighting of the white balance adjustment amount set for each color area;
Color gamut coefficient setting means for obtaining and setting the color gamut coefficient of the color gamut to which the chromaticity coordinate of each block belongs from the color gamut coefficient storage means, and
The said adjustment amount setting means further sets the said white balance adjustment amount based on the color information which considered the color area coefficient set by the said color area coefficient setting means. White balance control device.

Chromaticity coefficient setting means for setting a chromaticity coefficient of each block related to the weighting of the white balance adjustment amount based on the chromaticity coordinates of each of the blocks;
3. The adjustment amount setting unit further sets the white balance adjustment amount based on color information considering the chromaticity coefficient of each block set by the chromaticity coefficient setting unit. The white balance control apparatus as described in any one of -4.

Chromaticity coefficient setting means for setting the chromaticity coefficient of each block related to the weighting of the white balance adjustment amount based on the chromaticity coordinates of each of the blocks;
Based on the chromaticity coefficient of each block set by the chromaticity coefficient setting means, the luminance coefficient of each block set by the luminance coefficient setting means, and the color area coefficient set by the color area coefficient setting means Achromatic point judging means for judging the achromatic point,
Color area coefficient resetting means for obtaining the color area coefficient from the color area coefficient storage means and resetting the color area coefficient based on the chromaticity coordinates of the achromatic color point determined by the achromatic color point determination means. ,
5. The white balance adjustment amount according to claim 4, wherein the adjustment amount setting unit further sets the white balance adjustment amount based on color information in consideration of the color area coefficient reset by the color area coefficient resetting unit. The white balance control device described.

Re-determination means for re-determining the achromatic color point based on the color area coefficient reset by the color area coefficient resetting means;
7. The white balance according to claim 6, wherein the adjustment amount setting unit sets the white balance adjustment amount based on the chromaticity coordinates of the achromatic color point re-determined by the re-determination unit. Control device.

The brightness coefficient setting means sets the brightness coefficient of the block included in a specific range on the blue side in the chromaticity space to be smaller as the brightness value of the block is larger. The white balance control device according to any one of the above.

The luminance coefficient setting means sets the luminance coefficient of the block included in a predetermined range other than the specific range on the blue side in the chromaticity space as the luminance value of the block increases. The white balance control apparatus as described in any one of Claims 2-8.

An electronic apparatus comprising the white balance control device according to any one of claims 1 to 9,
An electronic apparatus comprising: an imaging unit that captures the image.