JP2010050651A - ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 - Google Patents

Abstract

【課題】 安定したホワイトバランス制御を行う。
【解決手段】 画像から検出された顔領域に対応するブロックに対し、画像全体に基づいて算出した第１のホワイトバランス補正値を適用して肌色評価値を取得する。この肌色評価値が予め定めた肌色補正対象領域に含まれる場合、肌色評価値を肌色目標値に補正する第２のホワイトバランス補正値を、過去の値と現在の値とに基づいて求める。そして、第１及び第２のホワイトバランス補正値の合計を最終的なホワイトバランス補正値として決定する。
【選択図】 図７

Description

本発明はホワイトバランス制御装置及び制御方法に関し、特に画像に対して顔検出を行った結果を用いて画像のホワイトバランスを制御するホワイトバランス制御装置及び制御方法に関する。
本発明はさらに、本発明のホワイトバランス制御装置を用いた撮像装置に関する。

デジタルカメラやデジタルビデオカメラなどの、撮像素子を用いる撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御は、白い物体が白く撮像されるよう、ホワイトバランス係数（補正値）により画素値を補正する処理である。

ホワイトバランス制御には、白く撮像したい物体を撮像してホワイトバランス係数を求めるマニュアルホワイトバランス制御と、撮像した画像から白色と思われる部分を自動検出してホワイトバランス係数を求めるオートホワイトバランス制御とがある。

ここで、従来のオートホワイトバランス制御について説明する。
撮像素子から出力された信号はAD変換によってデジタル化され、図２に示すように複数のブロックに分割される。

各ブロックはR、G、Bの色画素で構成されており、ブロック毎に、例えば以下の算出式（１）により、色評価値（Cx[i]、Cy[i]）を求める。
Cx[i] =（R[i]−B[i]）/ Y[i] × 1024
Cy[i] =（R[i] + B[i]−2G[i]）/ Y[i] × 1024 ・・・（1）
（ただし、iはブロックの番号、R[i],G[i],B[i]はブロックiに含まれるＲＧＢ画素の平均値、Y[i] = R[i] + 2G[i] + B[i]）

予め設定した白検出範囲に色評価値（Cx[i]、Cy[i]）が含まれる場合は、そのブロックが白であると判定する。そして、そのブロックに含まれる色画素の積分値SumR、SumG、SumBを算出して、以下（2）式のようにホワイトバランス係数（WBCo_R,WBCo_G,WBCo_B）を算出する。
WBCo_R = SumY × 1024 / sumR
WBCo_G = SumY × 1024 / sumG ・・・ （2）
WBCo_B = SumY × 1024 / sumB
ただし、SumY = （sumR + 2 × sumG + SumB） /4

しかし、このようなホワイトバランス制御においては、次のような問題があった。
太陽光源下において、白の色評価値は図３の領域Ａ付近に分布する。また、太陽光源下における肌色の色評価値は、低色光源下における白点の色評価値とほぼ同等の領域である領域Ｂに分布する。

従って、人物のアップのように、白色が少なく肌色が多い画像の場合、上述の式を用いて求めた色評価値は図３の領域Ｂに分布することになる。この結果、肌色を低色温度光源下の白色と誤判別し、肌色を白色に補正するようなホワイトバランス係数を算出してしまうことにより、人の肌が白色に誤補正されてしまうという問題があった。同様に、肌色に近い有彩色が多く含まれる画像では、その有彩色を白と誤判別し、肌色を白に誤補正してしまう場合もあった。

この問題に対し、被写体輝度が高い場合は外光（太陽光）と判断し、白色と検出する範囲（白検出範囲）を狭めて肌色を低色温度光源下の白と誤判別しないことが行われていた。しかし、室内光源で低照度の高色温度蛍光灯や中色温度蛍光灯などを用いた場合、肌色は黒体放射軸の下方向（図３、領域Ｃ）に分布する。そのため、これらの蛍光灯に対してもオートホワイトバランス制御を行うためには、白検出範囲を拡大しなければならず、肌色を白と誤判別するようなケースがあった。

そのため、特許文献１においては、顔検出技術を利用し、顔として検出された領域（顔領域）は、白色画素の検出対象から外してホワイトバランス制御を行うことが提案されている。

また、特許文献２では、画像から顔を検出し、顔が検出された場合は顔領域の色情報を抽出して基準肌色と比較し、その結果を基にホワイトバランス補正を行うことが提案されている。

特開２００３−１８９３２５号公報 米国特許第６９７５７５９号公報

しかしながら、特許文献１記載のホワイトバランス制御方法においては、顔を誤検出した場合や、顔を検出できなかった場合の対策が考慮されていない。そのため、人顔でない領域を顔領域と誤検出した場合、白検出の対象領域が必要以上に少なくなり、得られる色温度情報の精度、ひいてはホワイトバランス制御の精度が低下するという問題がある。また、人顔を誤検出した場合、顔でない領域を基にホワイトバランス制御してしまうため、誤補正を引き起こす要因となってしまう。

さらに、顔が検出された画像と未検出の画像が頻繁に入れ替わる場合、顔検出の結果に応じてホワイトバランス補正を行うと、ホワイトバランスが頻繁に変動してしまう。このような状況は、例えば、図１１に示すように、被写体が顔の向きを変えることにより、顔検出に成功したり失敗したりする場合に起こりうる。この場合、同一被写体を連続して撮像した画像であるにもかかわらず、ホワイトバランスが頻繁に変動してしまうという問題があった。

また、人顔がアップで撮像された場合や、集合写真のように多くの顔が含まれる場合、白検出対象領域が非常に少なくなり、はやりホワイトバランス制御の精度が低下してしまうという問題があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、顔領域の検出結果を用いてホワイトバランス補正を実現するホワイトバランス制御装置及び制御方法において、安定したホワイトバランス補正を実現することを目的とする。

上述の目的は、撮像された画像のホワイトバランス補正を行うホワイトバランス制御装置であって、画像の全体に基づいて第１のホワイトバランス補正値を算出する第１の補正値算出手段と、画像から検出された顔領域に対して第１のホワイトバランス補正値を適用し、肌色評価値を取得する取得手段と、肌色評価値が予め定めた肌色補正対象領域に含まれる場合、肌色評価値と予め定めた肌色目標値とのズレを補正する第２のホワイトバランス補正値を算出する第２の補正値算出手段と、肌色評価値が予め定めた肌色補正対象領域に含まれる場合、第１のホワイトバランス補正値と第２のホワイトバランス補正値との合計を最終的なホワイトバランス補正値として決定する決定手段と、撮像された画像を、最終的なホワイトバランス補正値として決定したホワイトバランス補正値を用いて補正する補正手段とを有し、第２の補正値算出手段は、画像から算出した第２のホワイトバランス補正値に対し、過去に算出した第２のホワイトバランス補正値を顔領域の検出結果の遷移に応じた割合で反映させて第２のホワイトバランス補正値を算出することを特徴とするホワイトバランス制御装置によって達成される。

また、上述の目的は、表示用の画像を撮像するためのＥＶＦ駆動モードと、記録用の画像を撮像するための本露光駆動モードとを有する撮像素子を備え、画像を撮像する撮像手段と、画像から顔領域を検出する顔検出手段と、本発明のホワイトバランス制御装置とを有する撮像装置であって、第２の補正値算出手段は、撮像素子がＥＶＦ駆動モードから本露光駆動モードに切り替えられて撮像された画像に対する第２のホワイトバランス補正値を算出する際には、切り替え前にＥＶＦ駆動モードで撮像された画像に対して算出した第２のホワイトバランス補正値を過去に算出した第２のホワイトバランス補正値として用いることを特徴とする撮像装置によっても達成される。

また、上述の目的は、撮像された画像のホワイトバランス補正を行うホワイトバランス制御方法であって、画像の全体に基づいて第１のホワイトバランス補正値を算出する第１の補正値算出工程と、画像から検出された顔領域に対して第１のホワイトバランス補正値を適用し、肌色評価値を取得する取得工程と、肌色評価値が予め定めた肌色補正対象領域に含まれる場合、肌色評価値と予め定めた肌色目標値とのズレを補正する第２のホワイトバランス補正値を算出する第２の補正値算出工程と、肌色評価値が予め定めた肌色補正対象領域に含まれる場合、第１のホワイトバランス補正値と第２のホワイトバランス補正値との合計を最終的なホワイトバランス補正値として決定する決定工程と、撮像された画像を、最終的なホワイトバランス補正値として決定したホワイトバランス補正値を用いて補正する補正工程とを有し、第２の補正値算出工程は、画像から算出した第２のホワイトバランス補正値に対し、過去に算出した第２のホワイトバランス補正値を顔領域の検出結果の遷移に応じた割合で反映させて第２のホワイトバランス補正値を算出することを特徴とするホワイトバランス制御方法によっても達成される。

このような構成により、本発明によれば、安定したホワイトバランス補正を実現することができる。

以下、添付図面を参照して、本発明の例示的かつ好適な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るホワイトバランス制御装置を適用可能な撮像装置の機能構成例を示すブロック図である。

図１において、光学系１１６は絞り、メカニカルシャッター、レンズなどを備え、制御回路の制御に従って被写体光学像を撮像素子１０１上に結像する。撮像素子１０１はＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像の撮像が可能である。本実施形態において、撮像素子１０１は、Ａ／Ｄ変換器等の前処理回路を含むものとし、メモリ１０２には撮像された画像データが格納される。

顔検出部１１４は、メモリ１０２に記憶された画像データに対し、公知の顔検出技術を適用し、画像中に含まれる人間の顔を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

ここで、テンプレートマッチングを用いたパターン認識について簡単に説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。

図４は、図１における顔検出部１１４が実行するパターン認識処理の一例を示すフローチャートである。
顔検出部１１４は、まず、メモリ１０２から取得した画像データを前処理する（Ｓ５０１）。前処理には、例えば画像特徴を抽出する際に用いるための輝度情報の生成などが含まれる。

そして、顔検出部１１４は、前処理された画像データから予め定められた画像特徴を有する領域（パターン）を抽出する（Ｓ５０２）。次に、顔検出部１１４は、抽出したパターンを、予め用意されたテンプレート（標準パターン）６０１と比較する（テンプレートマッチング）。そして、テンプレートの中から、例えば相関が所定以上大きいものがあれば、抽出したパターンがそのテンプレートに対応したパターンであると認識する（Ｓ５０３）。さらに顔検出部１１４は、認識したパターンを特定する情報を出力し（Ｓ５０４）、パターン認識処理を終了する。

ここで、Ｓ５０３において顔検出部１１４が実行しうるテンプレートマッチングの例を、図５を参照して説明する。
図５において、顔検出部１１４が、画像データ６０３をメモリ１０２から取得したものとする。

まず、顔検出部１１４に予め記憶されたテンプレート６０１の中心点６０２を、メモリ１０２から取得した画像データ６０３のある座標点（ｉ，ｊ）に対応させる。そして、テンプレート６０１と、画像データ６０３のテンプレート６０１と重なる部分領域との類似度を算出する。この類似度の算出動作を、テンプレート６０１の中心点６０２をずらしながら画像データ６０３全体に対して実行し、類似度が最大となる中心点６０２の位置を探索する。類似度が所定の閾値以上となる中心点６０２の位置が検出された場合、テンプレート６０１に対応する部分領域はテンプレート６０１と類似したパターンであると認識することができる。

従って、例えば、目や耳等の形状に対応したテンプレート６０１を用いることにより、画像データ６０３中に含まれる目の位置や顔領域の大きさ並びに位置（顔座標）を検出することができる。顔検出部１１４は、顔が検出された場合、顔領域の位置や大きさに関する情報を顔情報として出力する。

ＣＰＵ１１５は、顔検出部１１４により顔が検出されていれば、顔領域が適正露出で撮像されるよう、シャッター速度、絞り値を計算する。また、顔領域を焦点検出領域として合焦制御を行い、フォーカスレンズの駆動量を計算する。

一方、顔検出部１１４により顔が検出されていなければ、ＣＰＵ１１５は画像全体の輝度に基づいてシャッター速度、絞り値を計算する共に、予め定めた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を計算する。

ＣＰＵ１１５で計算された露出値（シャッター速度、絞り値）およびフォーカスレンズの駆動量は制御回路１１３に送られる。制御回路１１３は、これら各値に基づいて光学系１１６が有する絞り、シャッター、フォーカスレンズを駆動する。

ホワイトバランス制御部１０３は、メモリ１０２に記憶された画像データおよび顔検出部１１４から得られる顔情報に基づいてホワイトバランス（ＷＢ）補正値を算出する。そして、ホワイトバランス制御部１０３は、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像データのホワイトバランスを補正する。ホワイトバランス制御部１０３の詳細構成およびＷＢ補正値の算出方法については、後述する。

色マトリックス(MTX)回路１０４は、ホワイトバランス制御部１０３によりＷＢ補正された画像データが最適な色で再現されるよう色ゲインを乗じ、２つの色差信号データR-Y、B-Yに変換する。ローパスフィルタ（LPF）回路１０５は、色差信号データR-Y、B-Yの帯域を制限する。CSUP（Chroma Supress）回路１０６は、LPF回路１０５で帯域制限された色差信号データの飽和部分の偽色信号を抑圧する。

一方、ホワイトバランス制御部１０３によりＷＢ補正された画像データは輝度信号（Y）生成回路１１１にも供給され、輝度信号生成回路１１１で輝度信号データYが生成される。エッジ強調回路１１２は、生成された輝度信号データYに対してエッジ強調処理を適用する。

CSUP回路１０６から出力される色差信号データR-Y、B-Yと、エッジ強調回路１１２から出力される輝度信号データYは、RGB変換回路１０７にてRGB信号データに変換される。ガンマ補正回路１０８は、ＲＧＢ信号データに対し、予め定められたγ特性に従った階調補正を適用する。ガンマ補正されたＲＧＢ信号データは、色輝度変換回路１０９によってYUV信号データに変換された後、ＪＰＥＧ圧縮回路１１０にて圧縮符号化され、記録回路１１７によって記録媒体に画像データファイルとして記録される。ここで、記録媒体は着脱可能であっても、内蔵されていても良い。また、ガンマ補正回路１０８から出力されるＲＧＢ信号データを図示しない表示装置に表示してもよい。撮像素子１０１で被写体を連続的に撮像し、得られた画像を順次表示装置に表示することで、表示装置をＥＶＦ(Electronic View Finder)として機能させることができる。

図６及び図７は、ホワイトバランス制御部１０３におけるホワイトバランス補正値の算出動作を説明するフローチャートである。
図６は、第１の補正値算出手段としてのホワイトバランス制御部１０３の動作を、図７は、第２の補正値算出手段としてのホワイトバランス制御部１０３の動作を、それぞれ示している。

まず、ホワイトバランス制御部１０３は、メモリ１０２に記憶された１画面（フレーム又はフィールド）分の画像データを読み出し、図２に示すような任意のｍ（ｍは１以上の整数）個のブロックに分割する（Ｓ１０１）。

そして、ホワイトバランス制御部１０３は、ブロックに含まれる画素値を各色成分ごとに加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、さらに式（１）を用いてブロックごとに色評価値（Cx[i]、Cy[i]）を算出する（Ｓ１０２）。
Cx[i] =（R[i] − B[i]）/ Y[i] × 1024
Cy[i] =（R[i] + B[i] − ２G[i]）/ Y[i] × 1024
ただし、Y[i] = R[i] + ２G[i] + B[i]、i=1...m

次に、ホワイトバランス制御部１０３は、Ｓ１０２で算出したi番目のブロックの色評価値（Cx[i]、Cy[i]）が、図３に示す、予め設定した白検出範囲３０１に含まれるかどうかを判断する（Ｓ１０３）。
白検出範囲３０１は、白色物体を特性（色温度など）の異なる光源下で予め撮像し、算出した色評価値をプロットしたものである。

図３におけるx座標（Cx）の負方向が高色温度光源下で白色物体を撮像したときの色評価値、正方向が低色温度光源下で白色物体を撮像したときの色評価値である。またy座標（Cy）は光源の緑(G)成分の度合いを意味しており、負方向になるにつれG成分が大きくなる。つまり、光源が蛍光灯である場合には、負の方向に色評価値が分布する。

算出した色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合（Ｓ１０３でYES）、ホワイトバランス制御部１０３はそのブロックが白色であると判断する。そして、ホワイトバランス制御部１０３は、白色であると判断したブロックの色平均値（R[i]、G[i]、B[i]）を積算する（Ｓ１０４）。一方、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれない場合、ホワイトバランス制御部１０３は、そのブロックの色平均値を積算せずに処理をＳ１０５に進める。

このＳ１０３及びＳ１０４における処理は、以下の式（３）により表すことができる。

式（３）において、色評価値（Cx[i]、Cy[i]）が白検出範囲（図３の３０１）に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。これにより、色評価値（Cx[i]、Cy[i]）が白検出範囲（図３の３０１）に含まれるブロックの色平均値（R[i]、G[i]、B[i]）のみが積算される。

Ｓ１０５でホワイトバランス制御部１０３は、すべてのブロックについてＳ１０２〜Ｓ１０４の処理を行ったかどうかを判断し、未処理のブロックがあれば処理をＳ１０２に戻し、すべてのブロックで処理したならば処理をＳ１０６に進める。

Ｓ１０６でホワイトバランス制御部１０３は、得られた色平均値の積分値（sumR、SumG、SumB）から、以下の式（４）式を用いて、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_B）を算出する。
WBCol_R = sumY × 1024 / sumR
WBCol_G = sumY × 1024 / sumG ・・・（４）
WBCol_B = sumY × 1024 / sumB
ただし、sumY = （sumR + ２ × sumG ＋ sumB）/ ４

図７に移り、Ｓ２０２においてホワイトバランス制御部１０３は、顔検出部１１４で顔（顔領域）が検出されているかどうかを判断する。なお、ここでの顔領域の検出はホワイトバランス補正の対象となるフレーム画像を用いるのが好ましいが、その画像よりも前に撮像された他のフレーム画像に基づき検出してもよい。顔が検出されていなければ、既に算出した第１のＷＢ補正値を最終的なＷＢ補正値として決定し（Ｓ２１０）、ホワイトバランス補正値算出処理を終了する。

一方、顔が検出されていれば、ホワイトバランス制御部１０３は、Ｓ２０３において顔領域に対応するブロック全体についての色平均値（FR、FG、FB）を取得する。なお、顔領域がブロック単位で検出され無い場合には、顔領域に完全に含まれるブロックだけでなく、所定割合（例えば５０％以上）が顔領域であるブロックを顔領域に対応するブロックに含めてよい。

次に、Ｓ２０４でホワイトバランス制御部１０３は、Ｓ２０３で取得した色平均値（FR、FG、FB）に、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_B）をそれぞれ乗じて、肌色平均値を求める。肌色平均値は、顔領域の色平均値を第１のＷＢ補正値により補正した値であり、肌色評価値の一例である。

すなわち、肌色平均値（SR, SG, SB）を、
SR=FR × WBCol_R
SG=FG × WBCol_G
SB=FB × WBCol_B
として求める。
そして、ホワイトバランス制御部１０３は、肌色平均値（SR, SG, SB）が肌色補正対象領域（図８の領域（Ｂ））内にあるか否かを判断する。

なお、図８において、肌色領域（Ａ）は第１の色信号領域に対応し、肌色補正対象領域（Ｂ）は、第１の色信号領域からのズレが所定範囲内の周辺領域である第２の色信号領域に対応する。ここで、図８においては、所定の色空間座標系としてＣｘ、Ｃｙ座標系が用いられているので、ＲＧＢデータをＣｘ＝SR-SB、Ｃｙ＝SR+SB-2SGと色差信号に変換してから、判断を行う。もちろん、公知の色空間変換方法を適用することにより、任意の色空間で判断を行うことができる。

なお、図８に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光（昼光）などの白色光下で予め肌色を複数撮像し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）を特定する情報は、ホワイトバランス制御部１０３に予め登録しておいても、別の記憶装置に記憶しておき、必要な際にホワイトバランス制御部１０３が参照しても良い。

肌色平均値が図８の肌色領域（Ａ）に入っている場合、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判断できるため、ホワイトバランス制御部１０３は、第１のＷＢ補正値を最終的に使用するＷＢ補正値に決定する（Ｓ２１０）。

また、肌色平均値が肌色補正対象外領域（Ｃ）にある場合は、ホワイトバランス制御部１０３は、肌色平均値が人の肌を表していないと判断し、やはり第１のＷＢ補正値を最終的に使用するＷＢ補正値に決定する（Ｓ２１０）。

一方、肌色平均値が肌色補正対象領域（Ｂ）内にある場合、第１のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判断できる。従って、ホワイトバランス制御部１０３は、肌色平均値と肌色領域（Ａ）とのズレを補正する第２のホワイトバランス補正値（現在値）を算出する（Ｓ２０５）。

ここでは、図９に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるような補正量を第２のホワイトバランス補正値（第２のＷＢ補正値）として算出するものとする。すなわち、肌色平均値の座標を(Cx1, Cy1)、肌色領域内で、かつ肌色平均値に最も近い点（肌色目標値）の座標を(Cx2, Cy2)とすると、補正量は、
ΔＣｘ＝Ｃｘ２−Ｃｘ１
ΔＣｙ＝Ｃｙ２−Ｃｙ１
となる。そして、この補正量（ΔＣｘ，ΔＣｙ）を第２のＷＢ補正値ΔＦＷとする。

なお、ここで肌色目標値を肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなる座標にしているのは、第２のＷＢ補正値による過補正があっても適正な肌色の範囲内に入るようにするための制御の一例である。従って、肌色目標値が肌色領域（Ａ）の内部に設定されてもよい。

次に、Ｓ２０６において、ホワイトバランス制御部１０３は、最終的な第２のＷＢ補正値を算出する。本実施形態においては、顔の誤検出や顔検出の成功、失敗が短時間に繰り返されたりする状況におけるＷＢ補正値の変動を抑制し、安定したＷＢ補正値を算出するため、過去の第２のＷＢ補正値を反映させて最終的な第２のＷＢ補正値を算出する。
より具体的には、過去の第２のＷＢ補正値（過去値）と、現在の第２のＷＢ補正値（現在値）を加重加算して、最終的な第２のＷＢ補正値（最終値）を求める。

加重加算方法の例を以下に示す。

ここで、ゲイン値Ａ及びＢは、顔検出結果の状態遷移に応じて変化する。なお、顔検出結果の状態遷移とは、顔が検出されない状態から検出される状態へ、あるいは顔が検出されていた状態から検出されない状態への変化を意味する。このように、過去に算出した第２のＷＢ補正値を、顔検出結果の状態遷移に応じた割合で反映させて、最終的な第２のＷＢ補正値を算出する。

図１０は、本実施形態における最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）と顔検出結果の状態遷移との関係例を示す図である。
図１０において、顔が検出されない状態から検出される状態に遷移した場合、それから予め定めた期間（ａ）の間、ホワイトバランス制御部１０３は、現在の第２のＷＢ補正値ΔＦＷ（ｔ）に対するゲイン値Ｂを増加させる。これにより、最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）の追従性を速くする。

その後、ホワイトバランス制御部１０３は、顔が検出される状態が予め定めた期間続いている区間（ｂ）では、ゲイン値Ｂを０（すなわち、過去の第２のＷＢ補正値ΔＦＷ’（ｔ−１）に対するゲイン値Ａを１）とする。そして、ホワイトバランス制御部１０３は、過去の第２のＷＢ補正値ΔＦＷ’（ｔ−１）をそのまま最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）とする。

顔が検出されていた状態から検出されない状態に遷移した場合、ホワイトバランス制御部１０３は、その後、（ｃ）に示すように、所定の時間ｔ１が経過するまでは過去の補正値ΔＦＷ’（ｔ−１）をそのまま最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）とする。そして、顔が検出されない状態が所定の時間ｔ１の継続した後、ホワイトバランス制御部１０３は、ゲイン値Ｂを段階的または徐々に減少（ゲイン値Ａを段階的また徐々に増加）させる。
あるいはホワイトバランス制御部１０３は、（ｄ）に示すように、顔が検出されていた状態から検出されない状態に遷移した場合、直ちにゲイン値Ｂを減少（ゲイン値Ａを増加）させ始めてもよい。

いずれの場合も、顔が検出されていた状態と検出されない状態との間で状態遷移した場合に、第２のＷＢ補正値の現在の値をそのまま用いるのではなく、一定期間は過去の値を保持したり、過去の値を加味しながら徐々に補正値を変化させることができる。従って、図１１で説明したように、顔が検出できる場合とできない場合とが短時間に繰り返し発生する場合であっても、第２のＷＢ補正値ΔＦＷ’（ｔ）の値の変動は抑制される。そのため、安定したホワイトバランス補正を行うことが可能になる。

例えば（ｃ）や（ｄ）に示すようにゲイン値Ｂを制御している際に再び顔が検出される状態に遷移した場合、ホワイトバランス制御部１０３は、その時点における第２のＷＢ補正値ΔＦＷ’（ｔ）の値に応じて、ゲイン値Ｂの増加率を制御することができる。例えば、第２のＷＢ補正値ΔＦＷ’（ｔ）が０に近いほど、追従性を高めるためにゲイン値Ｂの増加率を高める。
なお、この場合も、（ｃ）と同様に、所定時間経過後にゲイン値Ｂを増加させ始めるようにしてもよいし、（ｄ）と同様に、直ちにゲイン値Ｂを増加させ始めてもよい。

ここで、顔が検出されていた状態から検出されない状態に遷移した場合のゲイン値Ｂの減少率は、顔が検出されていない状態から検出された状態に遷移した場合の増加率よりも低いことが好ましい。
これは、前者の場合には、図１１で説明したように、一時的に検出できない状態であり、直ちに検出できる状態に復帰する可能性があるため、第２のホワイトバランス補正値の変動抑制を優先させることが望ましいからである。一方で、後者の場合は、第２のホワイトバランス補正値の変動抑制よりも追従性を優先させる方が好ましい。

ホワイトバランス制御部１０３は、このようにして算出した最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）と、第１のＷＢ補正値の合計を、最終的にホワイトバランス制御部１０３で使用するＷＢ補正値と決定する（Ｓ２０８）。
そして、ホワイトバランス制御部１０３は、このようにして決定したＷＢ補正値を用いてホワイトバランス制御を行う。

このようにして算出した最終的な第２のＷＢ補正値ΔＦＷ’（ｔ）に対応する補正量を（ΔＣｘ’，ΔＣｙ’）とすると、ホワイトバランス補正後の顔領域の肌色平均値（Ｃｘ’，Ｃｙ’）は、
Ｃｘ’＝ΔＣｘ’＋Ｃｘ１
Ｃｙ’＝ΔＣｙ’＋Ｃｙ１
となる。

以上説明したように本実施形態によれば、まず、画像全体の情報を用いた第１のホワイトバランス補正値を、検出された顔領域の色平均値に適用し、正しい補正結果となっていれば、第１のホワイトバランス補正値を用いる。つまり、顔検出結果を用いて、画像全体の情報を用いた第１のホワイトバランス補正値の精度を評価し、十分な精度であると判断されれば、第１のホワイトバランス補正値を用いる。

従って、顔領域を除外せずに算出したホワイトバランスが適正であれば、それを利用することができるため、顔領域を除外した場合よりも精度の良いホワイトバランス制御が実現できる。また、顔領域の検出結果を利用するので、第１のホワイトバランス補正値の精度をより正しく評価することができる。

さらに、本実施形態によれば、第１のホワイトバランス補正値による補正結果と正しい補正結果とのズレが所定範囲内でなければ、顔領域の検出精度（信頼度）が低いものとして、第１のホワイトバランス補正値を用いる。そのため、やはり顔領域の誤検出による過補正、誤補正を軽減することができる。
また、顔検出が出来なかった場合も、第１のホワイトバランス補正値を用いるので、ホワイトバランス制御が可能である。

さらに、本実施形態によれば、第１のホワイトバランス補正値で正しく補正できていない場合、正しい補正結果からのズレが所定範囲内であれば、そのズレを小さくする第２のホワイトバランス補正値を顔領域に基づいて算出する。そして、第１及び第２のホワイトバランス補正値の合計を用いてホワイトバランス補正を行う。
そのため、画像全体の情報に基づいて算出したホワイトバランス補正値のみを用いる場合よりも精度の良いホワイトバランス制御が可能である。

さらに、本実施形態によれば、第２のホワイトバランス補正値の算出時に、過去の値を用いて現在の値を補正することにより、顔検出結果の変動に対する第２のホワイトバランス補正値の変動を抑制する。そのため、顔が検出できる場合とできない場合とが短時間に繰り返し発生する場合であっても、安定したホワイトバランス補正を行うことが可能になる。

（第２の実施形態）
第１の実施形態では第１のホワイトバランス補正値を顔領域に適用した結果に基づいて肌色評価値（肌色平均値）を求め、色評価値が肌色領域からのズレが所定範囲内にある場合に第２のＷＢ補正値を算出していた。

これに対し、本実施形態では、所定の色空間座標系における肌色平均値の座標と、肌色領域内の予め定められた座標、ここでは例えば肌色として最も好ましい色に対応する中心座標との距離に応じて第２のＷＢ補正値を算出する。
本実施形態のホワイトバランス制御装置を適用可能な撮像装置の機能構成は第１の実施形態と同様で良いため、各機能ブロックの詳細についての説明は省略する。

図１２は、本実施形態の撮像装置におけるホワイトバランス制御部１０３が実行するホワイトバランス補正値算出処理を説明するフローチャートである。
図１２において、図７と同じ処理には同じ参照数字を付した。

Ｓ３０１でホワイトバランス制御部１０３は、図６のＳ１０１〜Ｓ１０６と同様の処理を行い、第１のホワイトバランス補正値を算出する。

Ｓ２０２においてホワイトバランス制御部１０３は、顔検出部１１４で顔（顔領域）が検出されているかどうかを判断する。顔が検出されていなければ、既に算出した第１のＷＢ補正値を最終的なＷＢ補正値として決定し（Ｓ２１０）、ホワイトバランス補正値算出処理を終了する。
一方、顔が検出されていれば、ホワイトバランス制御部１０３は、Ｓ２０３において顔領域に対応するブロック全体についての色平均値（FR、FG、FB）を取得する。

次に、Ｓ３０４でホワイトバランス制御部１０３は、Ｓ２０３で取得した色平均値（FR、FG、FB）に、第１のＷＢ補正値（WBCol_R、WBCol_G、WBCol_B）をそれぞれ乗じて、肌色平均値(Cx1, Cy1)を求める。肌色平均値(Cx1, Cy1)は、顔領域の色平均値を第１のＷＢ補正値により補正した値、補正画像信号データである。
そして、ホワイトバランス制御部１０３は、予め設定した肌色中心値の座標と肌色平均値の座標との距離を算出する。

図１３は、本発明の第２の実施形態に係るホワイトバランス制御部１０３が第２のＷＢ補正値を求める際の距離算出について説明する図である。図１３では、肌色領域の中心座標(Cx2, Cy2)、即ち補正の肌色目標値と、肌色平均値(Cy1, Cy1)との距離を、Cx成分(DisCx)、Cy成分(DisCy)で表している。
Ｓ３０５でホワイトバランス制御部１０３は、Ｓ３０４で求めた距離DisCx, DisCyと、予め用意した、距離−補正値の対応情報に基づいて、補正値を求める。

図１４は、ホワイトバランス制御部１０３が有する距離−補正値の対応情報の一例を示す図である。
ここでは、２次元グラフの形式で、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応を示している。実際には、この対応関係を表す関数式を記憶してもよいし、代表的な距離と補正値との対応をルックアップテーブルとして記憶し、他の値は補間におり求めても良い。
Cy成分についても同様に、Cx成分の距離DisCxとCx成分の補正値ΔCxとの対応情報を用いて求めることができる。

そして、ホワイトバランス制御部１０３は、このようにして求めた現在の第２のＷＢ補正値ΔＦＷ（ｔ）＝（ΔＣｘ，ΔＣｙ）を、第１の実施形態と同様に過去の値で補正して、最終的な第２のＷＢ補正値を求める（Ｓ２０６）。
Ｓ２０８においてホワイトバランス制御部１０３は、第１のＷＢ補正値と、第２のＷＢ補正値（最終値）との合計を、最終的なＷＢ補正値に決定する。

本実施形態によれば、第１の実施形態より簡便な方法により、同様の効果が実現できる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上述の第１及び第２の実施形態における第２のＷＢ補正値の算出方法は、撮像素子１０１の駆動モードが変化した場合であっても実施可能である。

例えば、図１に示した撮像装置において、撮像素子１０１で被写体を連続的に撮像し、得られた画像を順次表示装置に表示することで、表示装置をＥＶＦ(Electronic View Finder)として機能させることができる。通常、表示装置の画素数は撮像素子１０１の有効画素数よりも少ないため、表示装置をＥＶＦとして機能させるための画像は表示装置の画素数に合わせた画素数で生成し、撮像装置の処理負荷を軽減している。

このような、表示用の画像を得るための撮像素子の駆動モードをＥＶＦ駆動モードと呼ぶ。一方、シャッターボタンが押下されて静止画の撮像並びに記録を行う場合などには、有効画素数に等しい画素数を有する記録用の画像を得るための本露光駆動モードで撮像素子１０１を駆動する。従って、表示装置をＥＶＦとして機能させている際にシャッターボタンが押下されて静止画撮影を行う場合、ＥＶＦ駆動モードから本露光駆動モードに切り替えて撮像を行う。

そして、ＥＶＦ駆動モードで撮像した表示用の画像で算出した第２のＷＢ補正値を過去の値として、本露光駆動モードで撮像した記録用の画像で算出した第２のＷＢ補正値を現在の値として用い、上述の第２のＷＢ補正値の算出方法を適応することができる。

具体的には、本露光駆動モードで撮像した記録用の画像から算出した第２のＷＢ補正値と、その直前にＥＶＦ駆動モードで撮像した表示用の画像から算出した第２のＷＢ補正値とを加重加算し、記録用の画像に適用する最終的な第２のＷＢ補正値を求めればよい。

ただし、本実施形態で過去の値として用いる、駆動モード切り替えの直前にＥＶＦ駆動モードで撮像した画像から得られた第２のＷＢ補正値は、さらに過去の第２のＷＢ補正値による加重加算結果でない点で第１及び第２の実施形態と異なる。そのため、駆動モード切り替えの直前にＥＶＦ駆動モードで撮像した画像から得られた第２のＷＢ補正値（以下、単にＥＶＦ補正値と呼ぶ）の信頼性を考慮した加重加算を行う。

加重加算方法の例を以下に示す。

ここで、ゲイン値ＡはＥＶＦ補正値の信頼度の指標と見なすことができる。
本実施形態では、ＥＶＦ補正値の信頼度の一例として、顔の存在確率（顔累積確率）を求め、顔の存在確率に応じたゲイン値Ａを設定する。

図１５は、本実施形態における顔累積確率の時間変化と、顔累積確率から判定される、ＥＶＦ用画像中の顔の有無との関係例を示す図である。
本実施形態において、顔累積確率Ｆ’（ｔ）は、ホワイトバランス制御部１０３が、顔検出部１１４からの検出結果に基づいて以下のように算出する。

なお、顔検出結果は、検出された場合＝１、検出されない場合＝０である。顔累積確率Ｆ’（ｔ）が予め定めた閾値（Ｔｈ）以下の場合は顔が存在しないか、顔が未検出状態になって時間が経過していることを表す指標になる。すなわち、顔累積確率Ｆ’（ｔ）≦Ｔｈの場合のＥＶＦ補正値は信頼度が低いことを表す。

このようにして算出した顔累積確率をＥＶＦ補正値の信頼度指標として使用し、過去の値として用いるＥＶＦ補正値に乗じるゲイン値Ａを求める。
図１６は、顔累積確率とゲイン値Ａとの関係例を示す図である。
図１６では、
・ＥＶＦ補正値の信頼度が低く最終的な第２のＷＢ補正値の算出に反映しない範囲（ゲイン値Ａ＝０）、
・ＥＶＦ補正値の信頼度が高く、ＥＶＦ補正値をそのまま最終的な第２のＷＢ補正値として用いる範囲（ゲイン値Ａ＝１）
を決定する２つの閾値Ｔｈ０、Ｔｈ１を定めた例を示している。
また、顔累積確率が閾値Ｔｈ０とＴｈ１の間の領域では、顔累積確率に正比例するようにゲイン値Ａを増加させている。

得られたゲイン値Ａ（及び１−ゲイン値Ａからもとまるゲイン値Ｂ）とを用い、ホワイトバランス制御部１０３は、上述の式に従い、最終的な第２のＷＢ補正値を算出する。
第１の実施形態では図７、第２の実施形態では図１２のそれぞれＳ２０６において上述の処理によって最終的な第２のＷＢ補正値を算出することができる。

このように、本実施形態によっても、上述の実施形態と同様、顔が検出できる場合とできない場合とが短時間に繰り返し発生する場合にも安定したホワイトバランス補正を行うことが可能になる。

（他の実施形態）
なお、上述の実施形態においては、ホワイトバランス制御装置を適用した撮像装置について説明したが、本発明に係るホワイトバランス制御装置は、顔検出情報と画像データが取得可能であれば、撮像装置に限らず他の任意の画像処理装置に適用可能である。

また、上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の第１の実施形態に係るホワイトバランス制御装置を適用可能な撮像装置の機能構成例を示すブロック図である。 本発明の実施形態においてホワイトバランス補正値の算出時に行う画面分割の例を示す図である。 本発明の実施形態における色評価値の白検出範囲の例を示す図である。 図１における顔検出部１１４が実行するパターン認識処理の一例を示すフローチャートである。 図４のＳ５０３において顔検出部１１４が実行しうるテンプレートマッチングの例を説明するための図である。 、 本発明の第１の実施形態に係るホワイトバランス制御部１０３が実行するホワイトバランス補正値の算出動作を説明するフローチャートである。 本発明の第１の実施形態に係るホワイトバランス制御部１０３が参照する肌色領域の例を表す図である。 本発明の第１の実施形態に係るホワイトバランス制御部１０３が算出する第２のＷＢ補正値による補正量を説明する図である。 本発明の第１の実施形態に係るホワイトバランス制御部１０３が算出する最終的な第２のＷＢ補正値と顔検出結果の状態遷移との関係例を示す図である。 顔が検出された画像と未検出の画像が頻繁に入れ替わる場合の例を示す図である。 本発明の第２の実施形態に係るホワイトバランス制御部１０３が実行するホワイトバランス補正値の算出動作を説明するフローチャートである。 本発明の第２の実施形態に係るホワイトバランス制御部１０３が第２のＷＢ補正値を求める際の距離算出について説明する図である。 本発明の第２の実施形態に係るホワイトバランス制御部１０３が有する距離−補正値の対応情報の一例を示す図である。 本発明の第３の実施形態に係るホワイトバランス制御部１０３が算出する顔累積確率の時間変化と、顔累積確率から判定されるＥＶＦ用画像中の顔の有無との関係例を示す図である。 本発明の第３の実施形態に係るホワイトバランス制御部１０３が算出する顔累積確率とゲイン値Ａとの関係例を示す図である。

Claims (10)

1. 撮像された画像のホワイトバランス補正を行うホワイトバランス制御装置であって、
   前記画像の全体に基づいて第１のホワイトバランス補正値を算出する第１の補正値算出手段と、
   前記画像から検出された顔領域に対して前記第１のホワイトバランス補正値を適用し、肌色評価値を取得する取得手段と、
   前記肌色評価値が予め定めた肌色補正対象領域に含まれる場合、前記肌色評価値と予め定めた肌色目標値とのズレを補正する第２のホワイトバランス補正値を算出する第２の補正値算出手段と、
   前記肌色評価値が前記予め定めた肌色補正対象領域に含まれる場合、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との合計を最終的なホワイトバランス補正値として決定する決定手段と、
   撮像された画像を、前記最終的なホワイトバランス補正値として決定したホワイトバランス補正値を用いて補正する補正手段とを有し、
   前記第２の補正値算出手段は、前記画像から算出した第２のホワイトバランス補正値に対し、過去に算出した第２のホワイトバランス補正値を前記顔領域の検出結果の遷移に応じた割合で反映させて前記第２のホワイトバランス補正値を算出することを特徴とするホワイトバランス制御装置。
2. 前記第２の補正値算出手段は、前記顔領域が検出される状態から検出されない状態に遷移した場合、前記割合を段階的に減少させることを特徴とする請求項１記載のホワイトバランス制御装置。
3. 前記第２の補正値算出手段は、前記顔領域が検出されない状態から検出される状態に遷移した場合は、前記顔領域が検出される状態が続いている場合よりも前記割合を小さくすることを特徴とする請求項１又は請求項２記載のホワイトバランス制御装置。
4. 前記第２の補正値算出手段は、前記顔領域が検出される状態が予め定めた期間続いている場合には、前記過去に算出した第２のホワイトバランス補正値を前記第２のホワイトバランス補正値とすることを特徴とする請求項１乃至請求項３のいずれか１項に記載のホワイトバランス制御装置。
5. 前記決定手段は、前記肌色評価値が予め定めた肌色領域に含まれる場合、前記第１のホワイトバランス補正値を前記最終的なホワイトバランス補正値として決定することを特徴とする請求項１乃至請求項４のいずれか１項に記載のホワイトバランス制御装置。
6. 前記決定手段は、前記画像から顔領域が検出されない場合、前記第１のホワイトバランス補正値を前記最終的なホワイトバランス補正値として決定することを特徴とする請求項１乃至請求項５のいずれか１項に記載のホワイトバランス制御装置。
7. 表示用の画像を撮像するためのＥＶＦ駆動モードと、記録用の画像を撮像するための本露光駆動モードとを有する撮像素子を備え、前記画像を撮像する撮像手段と、
   前記画像から前記顔領域を検出する顔検出手段と、
   請求項１乃至請求項６のいずれか１項に記載のホワイトバランス制御装置とを有する撮像装置であって、
   前記第２の補正値算出手段は、前記撮像素子が前記ＥＶＦ駆動モードから前記本露光駆動モードに切り替えられて撮像された画像に対する第２のホワイトバランス補正値を算出する際には、前記切り替え前に前記ＥＶＦ駆動モードで撮像された画像に対して算出した第２のホワイトバランス補正値を前記過去に算出した第２のホワイトバランス補正値として用いることを特徴とする撮像装置。
8. 前記第２の補正値算出手段は、前記ＥＶＦ駆動モードで撮像された画像に対する前記顔検出手段による検出結果の遷移に基づいて前記切り替え前に前記ＥＶＦ駆動モードで撮像された画像に対して算出した第２のホワイトバランス補正値の信頼度を算出し、前記切り替え前に前記ＥＶＦ駆動モードで撮像された画像に対して算出した第２のホワイトバランス補正値を前記信頼度に応じた割合で反映させて前記第２のホワイトバランス補正値を算出することを特徴とする請求項７記載の撮像装置。
9. 撮像された画像のホワイトバランス補正を行うホワイトバランス制御方法であって、
   前記画像の全体に基づいて第１のホワイトバランス補正値を算出する第１の補正値算出工程と、
   前記画像から検出された顔領域に対して前記第１のホワイトバランス補正値を適用し、肌色評価値を取得する取得工程と、
   前記肌色評価値が予め定めた肌色補正対象領域に含まれる場合、前記肌色評価値と予め定めた肌色目標値とのズレを補正する第２のホワイトバランス補正値を算出する第２の補正値算出工程と、
   前記肌色評価値が前記予め定めた肌色補正対象領域に含まれる場合、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値との合計を最終的なホワイトバランス補正値として決定する決定工程と、
   撮像された画像を、前記最終的なホワイトバランス補正値として決定したホワイトバランス補正値を用いて補正する補正工程とを有し、
   前記第２の補正値算出工程は、前記画像から算出した第２のホワイトバランス補正値に対し、過去に算出した第２のホワイトバランス補正値を前記顔領域の検出結果の遷移に応じた割合で反映させて前記第２のホワイトバランス補正値を算出することを特徴とするホワイトバランス制御方法。
10. コンピュータを請求項１乃至請求項６のいずれか１項に記載のホワイトバランス制御装置の各手段として動作させるためのプログラム。

Images