JP2007295062A - ホワイトバランス調整方法 - Google Patents

Abstract

【課題】有彩単色領域が撮影画面内に広範囲に含まれる場合であっても、その有彩単色領域の影響を排除して良好なホワイトバランス調整を行うことが可能な、ホワイトバランス調整方法を得る。
【解決手段】本発明に係るホワイトバランス調整方法は、画像１０内に評価エリアＡ１〜Ａ４を規定するステップと、（Ｂ）各評価エリアＡ１〜Ａ４毎に、その評価エリアが有彩単色領域であるか否かを判定するステップと、（Ｃ）評価エリアＡ１〜Ａ４の一部が有彩単色領域であると判定された場合に、その評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いて、画像１０のホワイトバランスを調整するステップとを備える。
【選択図】図２

Description

本発明は、ホワイトバランス調整方法に関し、特に、ディジタルスチルカメラやディジタルビデオカメラ等に搭載されるオートホワイトバランス調整機能に関する。

従来より、グレーワールドアルゴリズム（Gray World algorithm）を用いたホワイトバランス調整が知られている（例えば下記特許文献１）。グレーワールドアルゴリズムは、画面内の全ての色を平均すれば無彩色に近くなるという統計的事実を前提としたアルゴリズムであり、画面内のＲ（赤），Ｇ（緑），Ｂ（青）の各色の平均信号レベルが等しくなるように、ホワイトバランスのゲインを設定するものである。

特開２００２−１８５９７７号公報

しかしながら、一般的に、グレーワールドアルゴリズムを用いたホワイトバランス調整方法によると、青空を含む風景撮影や、果実や花をクローズアップしたマクロ撮影等、有彩色の被写体が撮影画面内の広範囲を占める状況で撮影が行われた場合には、その有彩色の被写体の色に強い影響を受けて、ホワイトバランス調整が正しく行われないことがある。

本発明はかかる事情に鑑みて成されたものであり、有彩色の単色領域（以下「有彩単色領域」と称す）が撮影画面内に広範囲に含まれる場合であっても、その有彩単色領域の影響を排除して良好なホワイトバランス調整を行うことが可能な、ホワイトバランス調整方法を得ることを目的とする。

第１の発明に係るホワイトバランス調整方法は、（Ａ）画像内に複数の評価エリアを規定するステップと、（Ｂ）前記複数の評価エリアの各々ごとに、その評価エリアが有彩単色領域であるか否かを判定するステップと、（Ｃ）前記複数の評価エリアのうちの一部の評価エリアが有彩単色領域であると判定された場合に、その評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いて、前記画像のホワイトバランスを調整するステップとを備える。

第２の発明に係るホワイトバランス調整方法は、第１の発明に係るホワイトバランス調整方法において特に、（Ｄ）前記複数の評価エリアの全てが有彩単色領域であると判定された場合に、予め設定されているデフォルト値を用いて前記画像のホワイトバランスを調整するステップをさらに備えることを特徴とする。

第３の発明に係るホワイトバランス調整方法は、第１又は第２の発明に係るホワイトバランス調整方法において特に、前記ステップ（Ｂ）は、（Ｂ−１）前記評価エリアを複数の小エリアに分割するステップと、（Ｂ−２）前記複数の小エリアの各々ごとに、色ベクトルを求めるステップと、（Ｂ−３）前記複数の小エリアに関して求めた複数の色ベクトルの平均値及び均一度に基づいて、前記評価エリアが有彩単色領域であるか否かを判定するステップとを有することを特徴とする。

第４の発明に係るホワイトバランス調整方法は、第１又は第２の発明に係るホワイトバランス調整方法において特に、前記ステップ（Ｂ）は、（Ｂ−１）前記評価エリアを複数の小エリアに分割するステップと、（Ｂ−２）前記複数の小エリアの各々ごとに、色ベクトル及び輝度値を求めるステップと、（Ｂ−３）前記複数の小エリアに関して求めた、複数の色ベクトルの平均値及び均一度並びに複数の輝度値の均一度に基づいて、前記評価エリアが有彩単色領域であるか否かを判定するステップとを有することを特徴とする。

第５の発明に係るホワイトバランス調整方法は、第３又は第４の発明に係るホワイトバランス調整方法において特に、前記ステップ（Ｂ−３）は、（Ｂ−３−１）前記複数の色ベクトルに関する平均色ベクトルを求めるステップと、（Ｂ−３−２）前記平均色ベクトルと前記複数の色ベクトルの各々との差分値を求めるステップと、（Ｂ−３−３）前記ステップ（Ｂ−３−２）で求められた複数の差分値の二乗平均値を求めるステップと、（Ｂ−３−４）前記平均色ベクトルのベクトル長が予め定められた第１のしきい値より大きく、かつ、前記二乗平均値が、予め定められた第２のしきい値以下である場合に、前記評価エリアが有彩単色領域であると判定するステップとを有することを特徴とする。

第６の発明に係るホワイトバランス調整方法は、第５の発明に係るホワイトバランス調整方法において特に、前記ステップ（Ｂ−３−３）では、前記ステップ（Ｂ−３−２）で求められた全ての差分値のうち、その値が大きい上位所定割合の差分値を計算対象から除外して、前記二乗平均値が求められることを特徴とする。

第７の発明に係るホワイトバランス調整方法は、第１〜第６のいずれか一つの発明に係るホワイトバランス調整方法において特に、前記ステップ（Ｃ）では、前記評価エリア自身と、前記評価エリアの近傍領域とが、グレーワールドアルゴリズムの計算対象から除外されることを特徴とする。

第８の発明に係るホワイトバランス調整方法は、第１〜第７のいずれか一つの発明に係るホワイトバランス調整方法において特に、前記ステップ（Ａ）は、（Ａ−１）前記画像の水平方向及び垂直方向に並ぶ複数の評価エリアを規定するステップと、（Ａ−２）前記画像の中央領域に位置する評価エリアと、前記画像の周縁領域に位置する評価エリアとを規定するステップとを有し、前記ステップ（Ｂ）及び（Ｃ）は、前記ステップ（Ａ−１）及び（Ａ−２）のそれぞれに対応して順に実行されることを特徴とする。

第９の発明に係るホワイトバランス調整方法は、第１〜第７のいずれか一つの発明に係るホワイトバランス調整方法において特に、前記ステップ（Ａ）では、前記画像の中央領域に位置する評価エリアと、前記画像の周縁領域内で前記画像の水平方向及び垂直方向に並ぶ複数の評価エリアとが規定されることを特徴とする。

第１０の発明に係るホワイトバランス調整方法は、第１〜第１０のいずれか一つの発明に係るホワイトバランス調整方法において特に、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いたホワイトバランス調整と、有彩単色領域の評価エリアを計算対象から除外しないグレーワールドアルゴリズムを用いたホワイトバランス調整とが任意の順で時間的に連続する場合、先のホワイトバランス調整における調整量から、後のホワイトバランス調整における調整量への遷移は、段階的に行われることを特徴とする。

第１の発明に係るホワイトバランス調整方法によれば、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いて、画像のホワイトバランス調整が行われる。従って、撮影画面内に有彩単色領域が広範囲に含まれる場合であっても、有彩単色領域の影響を排除して良好なホワイトバランス調整を行うことが可能となる。

第２の発明に係るホワイトバランス調整方法によれば、全ての評価エリアが有彩単色領域である場合には、グレーワールドアルゴリズムを用いたホワイトバランス調整ではなく、予め設定されているデフォルト値を用いたホワイトバランス調整が行われる。従って、太陽光や蛍光灯等の光源の種類に応じて適切なデフォルト値を設定しておくことにより、全ての評価エリアが有彩単色領域である場合であっても、良好なホワイトバランス調整を行うことができる。

第３の発明に係るホワイトバランス調整方法によれば、複数の色ベクトルの平均値及び均一度に基づく判定手法によって、評価エリアが有彩単色領域であるか否かを、簡易かつ高精度に判定することができる。

第４の発明に係るホワイトバランス調整方法によれば、複数の色ベクトルの平均値及び均一度並びに複数の輝度値の均一度に基づく判定手法によって、評価エリアが有彩単色領域であるか否かを、簡易かつ高精度に判定することができる。

第５の発明に係るホワイトバランス調整方法によれば、差分値や二乗平均値を求めるという簡単な演算によって、評価エリアが有彩単色領域であるか否かを判定することができる。

第６の発明に係るホワイトバランス調整方法によれば、ノイズの影響や、ノイズに相当する希有な色ベクトルに起因する影響を排除できるため、良好なホワイトバランス調整を行うことができる。

第７の発明に係るホワイトバランス調整方法によれば、有彩単色領域の評価エリア自身のみならず、その評価エリアの近傍領域をもグレーワールドアルゴリズムの計算対象から除外することにより、評価エリアからはみ出している部分の有彩単色領域の影響を排除することができる。

第８の発明に係るホワイトバランス調整方法によれば、複数のパターンで評価エリアを規定することにより、撮影画面内における有彩単色の被写体の位置に関わらず、有彩単色領域の評価エリアを特定することができる。

第９の発明に係るホワイトバランス調整方法によれば、メインの被写体が含まれる可能性が高い画面中央領域に評価エリアを規定しつつ、画面周縁領域にも複数の評価エリアを規定することにより、撮影画面内における有彩単色の被写体の位置に関わらず、有彩単色領域の評価エリアを特定することができる。

第１０の発明に係るホワイトバランス調整方法によれば、ホワイトバランスの調整量が頻繁に変化することに起因する画面のちらつきを防止することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係るディジタルカメラの全体構成を概略的に示すブロック図である。撮像部１の後段には、アナログ信号処理回路２が接続されている。アナログ信号処理回路２の後段には、ＳＰＵ（Sensor Processing Unit）３ａが接続されている。ＳＰＵ３ａの後段には、ＲＰＵ（Real-time Processing Unit）４が接続されている。ＳＰＵ３ａ及びＲＰＵ４は、メインバス５に接続されている。メインバス５には、ＳＰＵ３ａ及びＲＰＵ４のほかに、ＤＭＡコントローラ６及びメモリインタフェース７が接続されている。メモリインタフェース７にはＳＤＲＡＭ等のメモリ８が接続されている。

撮像部１は、ＣＣＤ等の撮像素子（画像センサ）を有している。また、撮像部１は、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）等の３色系のカラーフィルタを有しており、光学レンズを用いて画像を撮像して、得られた画像信号Ｓ１を出力する。なお、ＣＣＤの代わりに、ＣＭＯＳイメージセンサ等の他の撮像素子が設けられていてもよい。また、３色系のカラーフィルタの代わりに、Ｙ（イエロー），Ｍ（マゼンタ），Ｃ（シアン），Ｗ（ホワイト）等の４色系のカラーフィルタが設けられていてもよい。

アナログ信号処理回路２は、撮像部１から入力されたアナログの画像信号Ｓ１に対して、ノイズ除去、信号増幅、及びＡ／Ｄ変換等の信号処理を施し、ディジタルの画像信号Ｄ１を出力する。

ＳＰＵ３ａは、アナログ信号処理回路２から入力された画像信号Ｄ１に対して、画像センサの特性に起因する問題点に関連する各種の信号処理を施して、画像信号Ｄ２を出力する。特に、ＳＰＵ３ａは、画像信号Ｄ１に対してホワイトバランス調整を行うオートホワイトバランス処理部（以下「ＡＷＢ処理部」と称す）９を有している。

ＲＰＵ４は、ＳＰＵ３ａから入力された画像信号Ｄ２に対して、画素補間、色空間変換、輪郭強調、及び偽色抑圧等の各種の信号処理を施して、画像信号Ｄ３を出力する。ＲＰＵ４から出力された画像信号Ｄ３は、ＤＭＡコントローラ６の制御により、メインバス５及びメモリインタフェース７を介してメモリ８に格納される。

ＳＰＵ３ａとメモリ８との間では、ＤＭＡコントローラ６の制御により、メインバス５及びメモリインタフェース７を介した画像信号Ｄ１の相互伝送が可能である。

図２は、図１に示したＡＷＢ処理部９によるホワイトバランス調整の処理の流れを示すフローチャートである。この例では、ホワイトバランス調整前の画像信号Ｄ１が一旦メモリ８に格納され、ＡＷＢ処理部９は、メモリ８からフレーム毎に画像信号Ｄ１を読み出して、ホワイトバランス調整処理を行う。

まずステップＳＰ１において、ＡＷＢ処理部９は、メモリ８から読み出した画像信号Ｄ１で表される画像内に、複数の評価エリアを規定する。図３は、画像１０内に４個の評価エリアＡ１〜Ａ４が規定された例を示す図である。評価エリアＡ１，Ａ２，Ａ３，Ａ４は、画像１０を４等分した左上領域内、右上領域内、左下領域内、右下領域内に、それぞれ規定されている。評価エリアＡ１，Ａ２は画像１０の水平方向に並び、同様に評価エリアＡ３，Ａ４も画像１０の水平方向に並んでいる。評価エリアＡ１，Ａ３は画像１０の垂直方向に並び、同様に評価エリアＡ２，Ａ４も画像１０の垂直方向に並んでいる。

図２を参照して、次にステップＳＰ２において、ＡＷＢ処理部９は、各評価エリアＡ１〜Ａ４が有彩単色領域であるか否かを判定する。つまり、各評価エリアＡ１〜Ａ４が有彩色かつ単色の画像領域（又はそれに近い画像領域）から成る評価エリアであるか否かを判定する。かかる判定の具体的手法については後述する。図４は、画像１０の第１の例を示す図である。山４０の背景に青空４１が写っている。第１の例の場合、評価エリアＡ１，Ａ２内には青空４１の青色だけが含まれるので、評価エリアＡ１，Ａ２は有彩単色領域であると判定される。

図２を参照して、評価エリアＡ１〜Ａ４内に有彩単色領域が存在する場合（つまりステップＳＰ２の判定結果が「ＹＥＳ」の場合）は、次にステップＳＰ３において、ＡＷＢ処理部９は、評価エリアＡ１〜Ａ４の全てが有彩単色領域であるか否かを判定する。

評価エリアＡ１〜Ａ４の一部が有彩単色領域である場合（つまりステップＳＰ３の判定結果が「ＮＯ」の場合）は、次にステップＳＰ４において、ＡＷＢ処理部９は、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムによってホワイトバランスゲインの値を決定し、画像１０のホワイトバランス調整を行う。

図５は、図４に示した第１の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。評価エリアＡ１自身と評価エリアＡ１の近傍領域とを含む画像領域Ｂ１（斜線ハッチング部分）が、計算対象から除外される。同様に、評価エリアＡ２自身と評価エリアＡ２の近傍領域とを含む画像領域Ｂ１（散点ハッチング部分）が、計算対象から除外される。従って、ＡＷＢ処理部９は、画像１０の下半分の領域に対応する画像信号に基づいて、ホワイトバランスゲインの値を決定する。このように、評価エリアＡ１，Ａ２よりも広い領域を計算対象から除外することにより、評価エリアＡ１，Ａ２からはみ出している部分の有彩単色領域（第１の例では青空４１）の影響をも排除することができる。

図２を参照して、ステップＳＰ３において、評価エリアＡ１〜Ａ４の全てが有彩単色領域である場合（つまりステップＳＰ３の判定結果が「ＹＥＳ」の場合）は、次にステップＳＰ７において、ＡＷＢ処理部９は、予め定められているデフォルト値を用いて、画像１０のホワイトバランス調整を行う。デフォルト値としては、太陽光や蛍光灯等の光源の種類に応じたホワイトバランスゲインの値が、予め設定されている。ＡＷＢ処理部９は、画像１０の平均輝度値を算出し、その平均輝度値が所定のしきい値以上である場合には、太陽光用に設定されたホワイトバランスゲインの値を用いてホワイトバランス調整を行う。一方、画像１０の平均輝度値が上記所定のしきい値未満である場合には、蛍光灯用に設定されたホワイトバランスゲインの値を用いてホワイトバランス調整を行う。各ホワイトバランスゲインの値を適切に設定しておくことにより、全ての評価エリアが有彩単色領域である場合であっても、グレーワールドアルゴリズムによらずに良好なホワイトバランス調整を行うことが可能となる。

ステップＳＰ２において、評価エリアＡ１〜Ａ４内に有彩単色領域が存在しない場合（つまりステップＳＰ２の判定結果が「ＮＯ」の場合）は、次にステップＳＰ５において、ＡＷＢ処理部９は、図３に示した評価エリアＡ１〜Ａ４の規定パターンとは異なる規定パターンの評価エリアを、画像１０内に規定する。図６は、画像１０内に２個の評価エリアＡ５，Ａ６が規定された例を示す図である。評価エリアＡ５は、画像１０の中心を含む中央領域に規定されている。評価エリアＡ６は、評価エリアＡ５の周囲を取り囲むように、画像１０の周縁領域内に規定されている。

図２を参照して、次にステップＳＰ６において、ＡＷＢ処理部９は、各評価エリアＡ５，Ａ６が有彩単色領域であるか否かを判定する。図７は、画像１０の第２の例を示す図である。壁５２に接して配置された机５１の上にリンゴ５０が置かれている。第２の例の場合、評価エリアＡ５内にはリンゴ５０の赤色だけが含まれるので、評価エリアＡ５は有彩単色領域であると判定される。図８は、画像１０の第３の例を示す図である。熱気球６０の背景に青空６１が写っている。第３の例の場合、評価エリアＡ６内には青空６１の青色だけが含まれるので、評価エリアＡ６は有彩単色領域であると判定される。このように、複数の規定パターンで評価エリアを規定することにより、撮影画面内における有彩単色の被写体の位置に関わらず、有彩単色領域の評価エリアを特定することができる。

図２を参照して、ステップＳＰ６において、評価エリアＡ５，Ａ６内に有彩単色領域が存在する場合（つまりステップＳＰ６の判定結果が「ＹＥＳ」の場合）は、次にステップＳＰ３において、ＡＷＢ処理部９は、評価エリアＡ５，Ａ６の全てが有彩単色領域であるか否かを判定する。

評価エリアＡ５，Ａ６の全てが有彩単色領域である場合（つまりステップＳＰ３の判定結果が「ＹＥＳ」の場合）は、上記と同様に、次にステップＳＰ７において、ＡＷＢ処理部９は、予め定められているデフォルト値を用いて、画像１０のホワイトバランス調整を行う。一方、評価エリアＡ５，Ａ６の一部が有彩単色領域である場合（つまりステップＳＰ３の判定結果が「ＮＯ」の場合）は、上記と同様に、次にステップＳＰ４において、ＡＷＢ処理部９は、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムによってホワイトバランスゲインの値を決定し、画像１０のホワイトバランス調整を行う。

図９は、図７に示した第２の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。評価エリアＡ５自身と評価エリアＡ５の近傍領域とを含む画像領域Ｂ５（斜線ハッチング部分）が、計算対象から除外される。従って、ＡＷＢ処理部９は、画像１０から画像領域Ｂ５を除いた残りの画像領域に対応する画像信号に基づいて、ホワイトバランスゲインの値を決定する。また、図１０は、図８に示した第３の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。評価エリアＡ６自身と評価エリアＡ６の近傍領域とを含む画像領域Ｂ６（斜線ハッチング部分）が、計算対象から除外される。従って、ＡＷＢ処理部９は、画像１０から画像領域Ｂ６を除いた残りの画像領域に対応する画像信号に基づいて、ホワイトバランスゲインの値を決定する。

図２を参照して、ステップＳＰ６において、評価エリアＡ５，Ａ６内に有彩単色領域が存在しない場合（つまりステップＳＰ６の判定結果が「ＮＯ」の場合）は、次にステップＳＰ８において、ＡＷＢ処理部９は、通常のグレーワールドアルゴリズムによってホワイトバランス調整を行う。つまり、画像１０の全領域を対象とした計算によってホワイトバランスゲインの値を決定し、ホワイトバランス調整を行う。

なお、以上の説明では、評価エリアの規定パターンが２種類である例について述べたが、規定パターンは３種類以上であってもよい。また、第１の規定パターン（図３）を用いた判定で有彩単色領域が発見されなかった場合に第２の規定パターン（図６）を用いて再判定を行う例について述べたが、第１の規定パターンを用いた判定で有彩単色領域が発見された場合であっても、第２の規定パターンを用いた判定を行ってもよい。

これとは逆に、２種類の規定パターンを用いた２回の判定を行うのではなく、１種類の規定パターンを用いて１回の判定のみを行うこともできる。図１１は、画像１０内に５個の評価エリアＡ７〜Ａ１１が規定された例を示す図である。評価エリアＡ７は、画像１０の中心を含む中央領域に規定されている。評価エリアＡ８〜Ａ１１は、評価エリアＡ７の周囲を取り囲むように、画像１０の周縁領域内に規定されている。評価エリアＡ８，Ａ９，Ａ１０，Ａ１１は、画像１０を４等分した左上領域内、右上領域内、左下領域内、右下領域内に、それぞれ規定されている。評価エリアＡ８，Ａ８は画像１０の水平方向に並び、同様に評価エリアＡ１０，Ａ１１も画像１０の水平方向に並んでいる。評価エリアＡ８，Ａ１０は画像１０の垂直方向に並び、同様に評価エリアＡ９，Ａ１１も画像１０の垂直方向に並んでいる。このように、メインの被写体が含まれる可能性が高い画面中央領域に評価エリアＡ７を規定しつつ、画面周縁領域にも複数の評価エリアＡ８〜Ａ１１を規定することにより、撮影画面内における有彩単色の被写体の位置に関わらず、有彩単色領域の評価エリアを１回の判定で特定することができる。

さて次に、上記の評価エリアＡ１〜Ａ１１（以下総称して「評価エリアＡ」と称す）の各々が有彩単色領域であるか否かを判定する処理について、詳細に説明する。

図１２は、図１に示したＡＷＢ処理部９による、各評価エリアＡが有彩単色領域であるか否かの判定処理の流れを示すフローチャートである。まずステップＳＰ２０において、ＡＷＢ処理部９は、図３，６，１１に示したように各評価エリアＡを複数の小エリア１１に分割する。図３，６，１１には、評価エリアＡのみならず画像１０の全領域が小エリア１１に分割された例が示されているが、評価エリアＡ以外の画像領域は、必ずしも小エリア１１に分割する必要はない。

図１３は、一つの小エリア１１を拡大して示す図である。図１３に示した例では、一つの小エリア１１内に８行×８列の合計６４個の画素が含まれている。但し、一つの小エリア１１内に含まれる画素数は、これに限定されるものではない。

図１２を参照して、次にステップＳＰ２１において、ＡＷＢ処理部９は、各評価エリアＡ内に含まれる複数の小エリア１１の色ベクトルを、それぞれ求める。具体的には、図１３を参照して、小エリア１１内に含まれるＲ，Ｇ，Ｂ各色の複数の画素値を各色毎に平均することにより、平均画素値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEを算出する。次に、平均画素値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEをＹＵＶ色空間に変換することにより、Ｙ値、Ｕ値、及びＶ値を算出する。そして、Ｕ値を縦軸、Ｖ値を横軸とする座標系において、座標の原点と、上記で算出したＵ値及びＶ値をプロットした点とを結ぶベクトルとして、その小エリア１１の色ベクトル（換言すれば色差信号）を求める。なお、ＹＵＶ色空間のほかにも、Ｒ／Ｇ，Ｂ／Ｇゲイン空間等、２次元以上の座標系で色ベクトルを表現できる色空間であれば、どのような色空間に変換してもよい。

図１２を参照して、次にステップＳＰ２２において、ＡＷＢ処理部９は、ステップＳＰ２１で求めた複数の色ベクトルを各評価エリアＡ毎に平均することにより、各評価エリアＡ毎の平均色ベクトルを算出する。

次にステップＳＰ２３において、ＡＷＢ処理部９は、平均色ベクトルのベクトル長（換言すれば飽和度）が、予め定められた所定のしきい値ＴＨ₁以下であるか否かを、各評価エリアＡ毎に判定する。しきい値ＴＨ₁は、実験等によって最適値を求めることが可能である。

平均色ベクトルのベクトル長が短い（つまり飽和度が低い）ということは、その平均色ベクトルがグレーに近いことを意味する。従って、そのような評価エリアＡをグレーワールドアルゴリズムの計算対象から除外したのでは、正確なホワイトバランス調整は望めない。よって、平均色ベクトルがしきい値ＴＨ₁以下である場合（つまりステップＳＰ２３の判定結果が「ＹＥＳ」の場合）は、ＡＷＢ処理部９は、その評価エリアＡは有彩単色領域ではないと判定する。これにより、その評価エリアＡがグレーワールドアルゴリズムの計算対象から除外される事態が回避される。

平均色ベクトルのベクトル長がしきい値ＴＨ₁より大きい場合（つまりステップＳＰ２３の判定結果が「ＮＯ」の場合）は、次にステップＳＰ２４において、ＡＷＢ処理部９は、各評価エリアＡ毎に、平均色ベクトルと、複数の小エリア１１に関する複数の色ベクトルの各々との差分値を算出する。

次にステップＳＰ２５において、ＡＷＢ処理部９は、各評価エリアＡ毎に、ステップＳＰ２４で求めた複数の差分値のうち、その値が大きい上位所定割合（例えば上位５％）の差分値を特定する。特定された差分値は、続くステップＳＰ２６における計算対象から除外される。これにより、ノイズの影響や、ノイズに相当する希有な色ベクトルに起因する影響を排除できるため、良好なホワイトバランス調整を行うことができる。但し、上位所定割合の差分値を除外するのではなく、予め定められた所定のしきい値よりも大きい差分値を除外してもよい。

次にステップＳＰ２６において、ＡＷＢ処理部９は、各評価エリアＡ毎に、ステップＳＰ２４で求めた複数の差分値からステップＳＰ２５で求めた上位所定割合の差分値を除外した残りの差分値に関して、二乗平均値（Root Means Square：ＲＭＳ）を算出する。ここで、二乗平均値の代わりに標準偏差を求めてもよいが、すでに平均色ベクトルとの差分値というかたちで正規化されているため、あえて複雑な標準偏差演算を行う必要はなく、より簡単な二乗平均値の演算で足りる。

次にステップＳＰ２７において、ＡＷＢ処理部９は、ステップＳＰ２６で求めた二乗平均値が、予め定められた所定のしきい値ＴＨ₂以下であるか否かを、各評価エリアＡ毎に判定する。しきい値ＴＨ₂は、実験等によって最適値を求めることが可能である。

二乗平均値が大きいということは、その評価エリアＡに関する複数の色ベクトルの均一度が低いこと、つまり、その評価エリアＡ内に複数の色が存在することを意味する。よって、二乗平均値がしきい値ＴＨ₂より大きい場合（つまりステップＳＰ２７の判定結果が「ＮＯ」の場合）は、ＡＷＢ処理部９は、その評価エリアＡは有彩単色領域ではないと判定する。

一方、二乗平均値がしきい値ＴＨ₂以下である場合（つまりステップＳＰ２７の判定結果が「ＹＥＳ」の場合）は、ＡＷＢ処理部９は、その評価エリアＡは有彩単色領域であると判定する。

なお、以上の説明では、複数の小エリア１１に関して求めた複数の色ベクトルの平均値及び均一度に基づいて、各評価エリアＡが有彩単色領域であるか否かを判定したが、図１３に示したＵ値及びＶ値に加えて、Ｙ値（輝度値）も判定に利用することができる。つまり、上記した色ベクトルに基づく判定に加えて、ステップＳＰ２１で複数の画素の輝度値の平均値として各小エリア１１毎の輝度値を算出し、ステップＳＰ２２で複数の小エリア１１の輝度値の平均値として各評価エリアＡ毎の平均輝度値を算出し、ステップＳＰ２４で平均輝度値と各小エリア１１の輝度値との差分値を算出し、ステップＳＰ２５で上位所定割合の差分値を除外し、ステップＳＰ２６で二乗平均値を算出する。そして、ステップＳＰ２７では、色ベクトルの二乗平均値がしきい値ＴＨ₂以下であり、かつ輝度の二乗平均値が予め定められた所定のしきい値ＴＨ₃以下である場合に、ＡＷＢ処理部９はその評価エリアＡが有彩単色領域であると判定する。しきい値ＴＨ₃は、実験等によって最適値を求めることが可能である。このように、複数の色ベクトルの平均値及び均一度並びに複数の輝度値の均一度に基づく判定手法によって、各評価エリアＡが有彩単色領域であるか否かを、簡易かつ高精度に判定することができる。

また、以上の説明では、しきい値ＴＨ₁及びしきい値ＴＨ₃は固定値であると仮定しているが、状況に応じてしきい値ＴＨ₁及びしきい値ＴＨ₃の値を変更することも、より高精度なホワイトバランスを行うためには有効である。例えば、平均色ベクトルのベクトル長が大きい場合は色ベクトルのばらつきも大きくなることが予測されるため、しきい値ＴＨ₃を大きく設定するほうが有彩単色を検出できる確率が上がる。平均色ベクトルのベクトル長に応じて段階的にしきい値ＴＨ₃の値を変更しても良いし、平均色ベクトルのベクトル長に応じて連続的にしきい値ＴＨ₃の値を変更しても良い。さらに、平均色ベクトルのベクトル長が非常に大きい場合は、しきい値ＴＨ₃の値をゼロに設定して、平均色ベクトルのみを判断材料に有彩単色を検出することも有効である。

図１４は、連続する複数のフレームに関してホワイトバランスゲインを設定する状況を示す図である。本実施の形態に係るホワイトバランス調整方法では、図２に示したように、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムによるＡＷＢ調整（ステップＳＰ４）、デフォルト値を用いたホワイトバランス調整（ステップＳＰ７）、及び、通常のグレーワールドアルゴリズムによるＡＷＢ調整（ステップＳＰ８）の、３種類のＡＷＢ調整手法が用意されており、画像に応じて適切な調整手法が選択される。

図１４では、第ｎ−１フレーム以前に関してはステップＳＰ４のＡＷＢ調整によってホワイトバランスゲインＧ１が設定されており、第ｎフレーム以降に関してはステップＳＰ８のＡＷＢ調整によってホワイトバランスゲインＧ４を設定すべきものとする。但し、ＡＷＢ調整手法の種類や順序はこの例に限らず、任意である。

撮影者によるフレーミング動作によって、撮影画面内における有彩単色の被写体の有無、大きさ、位置等が変化する。従って、フレーミングが変更される度にＡＷＢ調整手法が切り替わり、それに伴ってホワイトバランスゲインの値も変化するという事態が想定される。図１４の（Ａ）に示した例では、小さな値のホワイトバランスゲインＧ１から大きな値のホワイトバランスゲインＧ４への遷移が隣接フレーム間で行われている。従って、ＡＷＢ調整手法の切り替えが頻繁に行われると、ホワイトバランスゲインの変化に起因して画面がちらつく可能性がある。

これに対して、図１４の（Ｂ）に示した例では、ホワイトバランスゲインＧ１からホワイトバランスゲインＧ４への遷移が、複数フレーム（この例では３フレーム）を掛けて行われている。つまり、図１に示したＡＷＢ処理部９は、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムによるＡＷＢ調整（図２のステップＳＰ４）と、それ以外のＡＷＢ調整（図２のステップＳＰ７，ＳＰ８）とが任意の順で時間的に連続する状況においては、先のＡＷＢ調整におけるゲインＧ１から後のＡＷＢ調整におけるゲインＧ４への遷移を、複数フレームを掛けて段階的に行う。これにより、ホワイトバランスの調整量が頻繁に変化することに起因する画面のちらつきを防止又は抑制することができる。

このように本実施の形態に係るホワイトバランス調整方法によれば、図２に示したように、画像１０内に規定された複数の評価エリアＡのうちの一部の評価エリアが有彩単色領域であると判定された場合には、有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いて、画像１０のホワイトバランス調整が行われる。従って、撮影画面内に有彩単色領域が広範囲に含まれる場合であっても、有彩単色領域の影響を排除して良好なホワイトバランス調整を行うことが可能となる。

図１５は、図１に対応して、本実施の形態に係るディジタルカメラの変形例を示すブロック図である。図１では、ホワイトバランス調整前の画像信号Ｄ１が一旦メモリ８に格納され、ＡＷＢ処理部９は、メモリ８からフレーム毎に画像信号Ｄ１を読み出して、ホワイトバランス調整を行う例を示した。これに対し、図１５では、図１に示したＳＰＵ３ａの代わりに、ＡＷＢ処理部９と平均値演算回路１０とを有するＳＰＵ３ｂが設けられている。平均値演算回路１０は、アナログ信号処理回路２から入力された画像信号Ｄ１で表される画像１０を複数の小エリア１１に分割し、図１３と同様に、小エリア１１内に含まれるＲ，Ｇ，Ｂ各色の複数の画素値を各色毎に平均することにより、平均画素値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEを算出する。そして、各小エリア１１毎の平均画素値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEに関するデータＤ４を、メインバス５及びメモリインタフェース７を介してメモリ８に格納する。ＡＷＢ処理部９は、メモリ８からフレーム毎にデータＤ４を読み出し、その後は上記と同様の手法によってホワイトバランス調整を行う。これにより、メモリ８に格納するデータ量を削減することができる。なお、データＤ４は、メモリ８ではなく、ＳＰＵ３ｂに接続されたレジスタ等に格納してもよい。

本発明の実施の形態に係るディジタルカメラの全体構成を概略的に示すブロック図である。 図１に示したＡＷＢ処理部によるホワイトバランス調整の処理の流れを示すフローチャートである。 画像内に４個の評価エリアが規定された例を示す図である。 画像の第１の例を示す図である。 図４に示した第１の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。 画像内に２個の評価エリアが規定された例を示す図である。 画像の第２の例を示す図である。 画像の第３の例を示す図である。 図７に示した第２の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。 図８に示した第３の例に対応して、グレーワールドアルゴリズムの計算対象から除外すべき画像領域を示す図である。 画像内に５個の評価エリアが規定された例を示す図である。 各評価エリアが有彩単色領域であるか否かの判定処理の流れを示すフローチャートである。 一つの小エリアを拡大して示す図である。 連続する複数のフレームに関してホワイトバランスゲインを設定する状況を示す図である。 図１に対応して、本発明の実施の形態に係るディジタルカメラの変形例を示すブロック図である。

符号の説明

３ａ，３ｂ ＳＰＵ
９ ＡＷＢ処理部
１０ 画像
１１ 小エリア
Ａ１〜Ａ１１ 評価エリア
Ｂ１，Ｂ２，Ｂ５，Ｂ６ 画像領域

Claims (10)

1. （Ａ）画像内に複数の評価エリアを規定するステップと、
   （Ｂ）前記複数の評価エリアの各々ごとに、その評価エリアが有彩単色領域であるか否かを判定するステップと、
   （Ｃ）前記複数の評価エリアのうちの一部の評価エリアが有彩単色領域であると判定された場合に、その評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いて、前記画像のホワイトバランスを調整するステップと
   を備える、ホワイトバランス調整方法。
2. （Ｄ）前記複数の評価エリアの全てが有彩単色領域であると判定された場合に、予め設定されているデフォルト値を用いて前記画像のホワイトバランスを調整するステップ
   をさらに備える、請求項１に記載のホワイトバランス調整方法。
3. 前記ステップ（Ｂ）は、
   （Ｂ−１）前記評価エリアを複数の小エリアに分割するステップと、
   （Ｂ−２）前記複数の小エリアの各々ごとに、色ベクトルを求めるステップと、
   （Ｂ−３）前記複数の小エリアに関して求めた複数の色ベクトルの平均値及び均一度に基づいて、前記評価エリアが有彩単色領域であるか否かを判定するステップと
   を有する、請求項１又は２に記載のホワイトバランス調整方法。
4. 前記ステップ（Ｂ）は、
   （Ｂ−１）前記評価エリアを複数の小エリアに分割するステップと、
   （Ｂ−２）前記複数の小エリアの各々ごとに、色ベクトル及び輝度値を求めるステップと、
   （Ｂ−３）前記複数の小エリアに関して求めた、複数の色ベクトルの平均値及び均一度並びに複数の輝度値の均一度に基づいて、前記評価エリアが有彩単色領域であるか否かを判定するステップと
   を有する、請求項１又は２に記載のホワイトバランス調整方法。
5. 前記ステップ（Ｂ−３）は、
   （Ｂ−３−１）前記複数の色ベクトルに関する平均色ベクトルを求めるステップと、
   （Ｂ−３−２）前記平均色ベクトルと前記複数の色ベクトルの各々との差分値を求めるステップと、
   （Ｂ−３−３）前記ステップ（Ｂ−３−２）で求められた複数の差分値の二乗平均値を求めるステップと、
   （Ｂ−３−４）前記平均色ベクトルのベクトル長が予め定められた第１のしきい値より大きく、かつ、前記二乗平均値が、予め定められた第２のしきい値以下である場合に、前記評価エリアが有彩単色領域であると判定するステップと
   を有する、請求項３又は４に記載のホワイトバランス調整方法。
6. 前記ステップ（Ｂ−３−３）では、前記ステップ（Ｂ−３−２）で求められた全ての差分値のうち、その値が大きい上位所定割合の差分値を計算対象から除外して、前記二乗平均値が求められる、請求項５に記載のホワイトバランス調整方法。
7. 前記ステップ（Ｃ）では、前記評価エリア自身と、前記評価エリアの近傍領域とが、グレーワールドアルゴリズムの計算対象から除外される、請求項１〜６のいずれか一つに記載のホワイトバランス調整方法。
8. 前記ステップ（Ａ）は、
   （Ａ−１）前記画像の水平方向及び垂直方向に並ぶ複数の評価エリアを規定するステップと、
   （Ａ−２）前記画像の中央領域に位置する評価エリアと、前記画像の周縁領域に位置する評価エリアとを規定するステップと
   を有し、
   前記ステップ（Ｂ）及び（Ｃ）は、前記ステップ（Ａ−１）及び（Ａ−２）のそれぞれに対応して順に実行される、請求項１〜７のいずれか一つに記載のホワイトバランス調整方法。
9. 前記ステップ（Ａ）では、前記画像の中央領域に位置する評価エリアと、前記画像の周縁領域内で前記画像の水平方向及び垂直方向に並ぶ複数の評価エリアとが規定される、請求項１〜７のいずれか一つに記載のホワイトバランス調整方法。
10. 有彩単色領域の評価エリアを計算対象から除外したグレーワールドアルゴリズムを用いたホワイトバランス調整と、有彩単色領域の評価エリアを計算対象から除外しないグレーワールドアルゴリズムを用いたホワイトバランス調整とが任意の順で時間的に連続する場合、先のホワイトバランス調整における調整量から、後のホワイトバランス調整における調整量への遷移は、段階的に行われる、請求項１〜９のいずれか一つに記載のホワイトバランス調整方法。
    

Images