JP2021136661A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】赤外線センサを用いることなしに、精度の良いホワイトバランス補正を行う画像処理装置を提供する。【解決手段】画像処理装置において、画像処理部のＷＢ制御部は、画像データを取得すし、取得した画像データから特定領域を判別し、特定領域以外の領域を含む領域の白画素に応じて、第１のホワイトバランス補正値を算出し、特定領域の色評価値に基づいて、第２のホワイトバランス補正値を算出し、特定領域の色評価値の分布に基づいて、第１のホワイトバランス補正値と第２のホワイトバランス補正値の混合率を算出し、第１のホワイトバランス補正値と第２のホワイトバランス補正値を混合率で加重加算して最終的なホワイトバランス補正値を算出する。【選択図】図４

Description

本発明は、画像処理装置におけるホワイトバランス調整技術に関する。

近年、撮像装置などにおいて行われるオートホワイトバランス処理では、いわゆるＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式が広く用いられている。ＴＴＬ方式によるオートホワイトバランス処理においては、撮影の結果得られた画像に応じて光源の色を推定している。そして、ホワイトバランス（以下ＷＢ）補正値を精度よく算出するためには、画像において光源色と被写体色とを区別する必要がある。

また、ニューラルネットワークを活用して、予め設定された個々の参照シーンと撮影シーンの類似度を判定し、撮影シーンに相応する色空間座標を特定する画像処理装置が知られている（特許文献１参照）。

特開２０１３−１６８７２３号公報

しかしながら、上述の特許文献１に記載の画像処理装置においては、判定を誤った場合、適切ではないホワイトバランス補正値が算出される可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、精度の良いホワイトバランス調整を可能とすることである。

本発明に係わる画像処理装置は、画像データを取得する取得手段と、取得した画像データから特定領域を判別する判別手段と、前記特定領域以外の領域を含む領域の白画素に応じて、第１のホワイトバランス補正値を算出する第１の算出手段と、前記特定領域の色評価値に基づいて、第２のホワイトバランス補正値を算出する第２の算出手段と、前記特定領域の色評価値の分布に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出する第３の算出手段と、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を前記混合率で加重加算して最終的なホワイトバランス補正値を算出する第４の算出手段と、を備えることを特徴とする。

本発明によれば、精度の良いホワイトバランス調整を可能とすることができる。

本発明の画像処理装置の一実施形態であるデジタルカメラの構成例を示すブロック図。 画像処理部の機能構成例を示すブロック図。 検出部の領域分割の例を示す図。 ＷＢ制御部のＷＢ補正値の算出処理を示すフローチャート。 ＷＢ制御部の第１のＷＢ補正値の算出処理を示すフローチャート。 白検出範囲と特定領域の検出範囲を示す図。 ＷＢ制御部の第２のＷＢ補正値の算出処理を示すフローチャート。 緑領域の色評価値分布を示す図。 特定領域による色温度推定の困難事例を示した色評価値の分布図。 ＷＢ補正値の混合率を算出する例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の画像処理装置の一実施形態であるデジタルカメラ１００の構成例を示すブロック図である。

図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。シャッター１０２は、絞り機能を備え、システム制御部１５０の制御に応じて撮像部１０３に含まれる撮像素子を露光させる。撮像部１０３は、ＣＣＤ／ＣＭＯＳイメージセンサ等の撮像素子を含み、レンズ群１０１を通して得られる光学像を光電変換により電気信号に変換する。Ａ／Ｄ変換部１０４は、撮像部１０３から読みだされたアナログ信号をデジタル信号に変換して画像処理部１０５に画像データを出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データまたはメモリ制御部１０７から出力された画像データに対して、ホワイトバランス調整、γ補正などの各種画像処理を行う。また、画像処理部１０５は、顔検出部１１３の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値に基づいてシステム制御部１５０が露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動慮出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像データを記憶するほか、記録媒体インターフェース（Ｉ／Ｆ）１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データを記憶する。メモリ制御部１０７は、メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、入力デジタル信号をアナログ信号に変換する。例えばメモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。

表示部１０９は、ＬＣＤ等の表示装置を有し、撮影された画像、記録媒体１１２から読み出された画像、ライブビュー画像等を表示するほか、操作を行うためのユーザインターフェースを表示する。コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、メモリ１０６に記録された画像データを、例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。

記録媒体Ｉ／Ｆ１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。顔検出部１１３は、画像データを解析して画像内の顔が映っている領域を検出する。

システム制御部１５０は、ＣＰＵまたはＭＰＵを含み、不揮発性メモリ１２１に記憶されていたプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、デジタルカメラ１００全体の各機能を制御する。

操作部１２０は、上述したインターフェースを表示するタッチパネルやボタン、スイッチを含み、ユーザによる操作をシステム制御部１５０に通知する。

不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性の半導体メモリを含む。システムメモリ１２２は、主記憶装置として、不揮発性メモリ１２１から読み出したプログラム等を展開するほか、システム制御部１５０の動作用の定数、変数を記憶する。

次に画像処理部１０５の構成と各部の処理について図２を参照して説明する。 図２において、画像信号生成部２０１には、Ａ／Ｄ変換部１０４から出力された画像データが入力される。画像信号生成部２０１は、入力されたベイヤー配列で構成されたＲＧＢの画像データに対して同時化処理を行って、１画素あたりの複数の色を有する画像信号Ｒ、Ｇ、Ｂを生成する。画像信号生成部２０１は、生成した画像信号を検出部２０２とＷＢ制御部２０３に出力する。

検出部２０２は、画像信号生成部２０１により出力された画像信号から、草、葉、芝などの緑領域や人物の肌色領域など特定の領域を検出する。画像から対象領域を検出する手法として、機械学習を用いた意味的領域分割（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）がある。意味的領域分割とは、画像内の認識対象が占める領域のカテゴリを、その領域の特徴量等から認識する画像認識である。図３に意味的領域分割における入力と出力の一例を示す。図３（ａ）に対し、ＰｅｒｓｏｎやＳｋｙ、Ｇｒａｓｓ等、認識対象の領域カテゴリを人間が定義し、図３（ｂ）のように画素単位で領域カテゴリを出力する。本実施形態では、画素単位で領域カテゴリを出力するとともに、画素単位または特定のブロック単位で、そのカテゴリである確からしさを示す信頼度を出力するものとする。例えば図３（ｂ）であれば、カテゴリ「芝」については「Ｇｒａｓｓ」の領域に含まれる画素またはブロックについては高い信頼度が出力される。信頼度は例えば０〜１００のパーセント単位で表現することが可能である。一般にこの認識及び分割を達成する手法として、理想的に領域分割され、領域ごとにカテゴリがタグ付けされたデータを正解画像とした教師あり学習をベースにした手法等が用いられている。

ＷＢ制御部２０３は、画像信号生成部２０１により出力された画像信号と、検出部２０２内の領域検出回路によって出力（判別）された特定領域情報とに基づいてＷＢ補正値を算出する。そして、ＷＢ制御部２０３は、算出したＷＢ補正値を用いて、画像データのホワイトバランスを補正する。ＷＢ制御部２０３の詳細構成及びＷＢ補正値の算出方法に関しては後述する。

色変換マトリックス（ＭＴＸ）回路２０４は、ＷＢ制御部２０３により補正された画像データが最適な色で再現されるよう色ゲインを乗じ、２つの色差信号データＲ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路２０５は、色差信号データＲ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路２０６は、ＬＰＦ回路２０５で帯域制限された色差信号データの飽和部分の偽色信号を抑圧する。

一方、ＷＢ制御部２０３により補正された画像データは輝度信号（Ｙ）生成回路２１１にも供給され、輝度信号生成回路２１１で輝度信号データＹが生成される。エッジ強調回路２１２は、生成された輝度信号データＹに対してエッジ強調処理を適用する。

ＣＳＵＰ回路２０６から出力される色差信号データＲ−Ｙ、Ｂ−Ｙと、エッジ強調回路２１２から出力される輝度信号データＹは、ＲＧＢ変換回路２０７においてＲＧＢ信号データに変換される。

ガンマ（γ）補正回路２０８は、ＲＧＢ信号データに対し、予め定められたγ特性に従った階調補正を適用する。ガンマ補正されたＲＧＢ信号データは、色輝度変換回路２０９によってＹＵＶ信号データに変換された後、ＪＰＥＧ圧縮回路２１０において圧縮符号化され、記録媒体１１２に画像データファイルとして記録される。

次に、ＷＢ制御部２０３において行われるＷＢ補正値の算出処理について図４のフローチャートを用いて説明する。

ステップＳ４０１では、ＷＢ制御部２０３は、特定領域以外の領域を含む領域の白画素に対して第１のＷＢ補正値を算出する。第１のＷＢ補正値の算出について、図５のフローチャートを用いて説明する。

ステップＳ５０１では、ＷＢ制御部２０３は、メモリ１０６に記憶された画像信号を読み出し、その画面を任意のｍ個のブロックに分割する。

ステップＳ５０２では、ＷＢ制御部２０３は、ブロックｉ（ｉ＝１〜ｍの整数）毎に、画素値を各色ごとに加算平均して色平均値（Ｒ[ｉ]，Ｇ[ｉ]，Ｂ[ｉ]）を算出し、以下の式を用いて色評価値（Ｃｘ[ｉ]，Ｃｙ[ｉ]）を算出する。

Ｃｘ[i]＝（Ｒ[i]−Ｂ[i]）／Ｙ[i]×１０２４
Ｃｙ[i]＝（Ｒ[i]＋Ｂ[i]−２Ｇ[i]）／Ｙ[i]×１０２４
ただし、Ｙ[i]＝（Ｒ[i]＋２Ｇ[i]＋Ｂ[i]）／４
ステップＳ５０３では、ＷＢ制御部２０３は、図６（ａ）のような座標軸を持つグラフを用いて白検出を行う。ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。またｙ座標（Ｃｙ）は光源の緑成分の度合いを示しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。より具体的には、ステップＳ５０３では、ＷＢ制御部２０３は、ステップＳ５０２で算出したｉ番目のブロックの色評価値（Ｃｘ[ｉ]，Ｃｙ[ｉ]）が、図６に示す予め設定した白検出範囲６０１に含まれるか否かを判断する。

白検出範囲６０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲は撮影モードによって別々に設定できるものとする。ステップＳ５０３において、ＷＢ制御部２０３は、算出した色評価値（Ｃｘ[ｉ]，Ｃｙ[ｉ]）がこの白検出範囲に含まれると判断した場合には、処理をステップＳ５０４に進める。また、そうではないと判断した場合には、処理をステップＳ５０５に進める。

ステップＳ５０４では、ＷＢ制御部２０３は、その色評価値に対応するブロックが白色であると判断して、そのブロックの色平均値（Ｒ[ｉ]，Ｇ[ｉ]，Ｂ[ｉ]）を積算していく。このステップＳ５０３及びステップＳ５０４の処理は、以下の式により表すことができる。

ここで、色評価値（Ｃｘ[ｉ]，Ｃｙ[ｉ]）が白検出範囲に含まれる場合はＳｗ[ｉ]を１に、含まれない場合にはＳｗ[ｉ]を０とすることにより、ステップＳ５０３の判断により色評価値（（Ｒ[ｉ]，Ｇ[ｉ]，Ｂ[ｉ]）の加算を行うか、行わないかの処理を実質的に行っている。

ステップＳ５０５では、ＷＢ制御部２０３は、すべてのブロックについて上記処理を行ったか否かを判断する。ＷＢ制御部２０３は、全てのブロックについて処理を行ったと判断した場合は、処理をステップＳ５０６に進め、そうではないと判断した場合は、処理をステップＳ５０２に戻し、未処理のブロックについて上記処理を繰り返す。

ステップＳ５０６では、ＷＢ制御部２０３は、得られた色評価値の積分値（ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢ）から、以下の式を用いて、第１のホワイトバランス補正値ＷＢＣｏ１（ＷＢＣｏ１＿Ｒ，ＷＢＣｏ１＿Ｇ，ＷＢＣｏ１＿Ｂ）を算出する。

ＷＢＣｏ１＿Ｒ＝ＳｕｍＹ×１０２４／ＳｕｍＲ
ＷＢＣｏ１＿Ｇ＝ＳｕｍＹ×１０２４／ＳｕｍＧ
ＷＢＣｏ１＿Ｂ＝ＳｕｍＹ×１０２４／ＳｕｍＢ
ただし、ＳｕｍＹ＝（ＳｕｍＲ＋２×ＳｕｍＧ＋ＳｕｍＢ）／４である。

処理は、図４のステップＳ４０２に戻り、ステップＳ４０２では、ＷＢ制御部２０３は、特定領域の評価値から第２のＷＢ補正値を算出する。第２のＷＢ補正値の算出について、図７のフローチャートを用いて説明する。

ステップＳ７０１では、ＷＢ制御部２０３は、検出部２０２から出力された特定領域の信頼度を取得する。ここでは、前述したように、ブロックごとに出力された草、芝、葉などの自然の緑らしさや人物の肌らしさの信頼度Ａを取得する。緑や肌を抽出する理由としては、自然の緑や人物の肌が特定の色評価値範囲内に存在し、その評価値を判断することにより適正なホワイトバランス補正値を類推しうる要素であるからである。

ステップＳ７０２では、ＷＢ制御部２０３は、取得した各ブロックの信頼度Ａと、対応するブロックのＲＧＢ信号値を乗算し、新たに（Ｒ‘［ｉ］, Ｇ’［ｉ］, Ｂ‘［ｉ］）とした上で、図５と同様の手法でブロックごとの特定領域の色評価値（Ｃｘ［ｉ］, Ｃｙ［ｉ］）を算出する。さらに、下式に示すように、ブロックごとの信頼度とＲＧＢごとの信号値を積分し、画像全体における特定色の色評価値を算出する。下式におけるＡ［ｉ］×Ｒ［ｉ］、Ａ［ｉ］×Ｇ［ｉ］、Ａ［ｉ］×Ｂ［ｉ］が、それぞれ前述したＲ‘［ｉ］, Ｇ’［ｉ］, Ｂ‘［ｉ］に相当する。

または、先に説明した白検出範囲６０１と同様に、予め設定した緑領域の検出範囲（図６（ｂ）参照）や肌領域の検出範囲（図６（ｃ）参照）に入っているか否かを判断し、積分してもよい。

上記で算出した積分値（ＳｕｍＲ’，ＳｕｍＧ’，ＳｕｍＢ’）から特定領域の色評価値（Ｃｘ’，Ｃｙ’）を算出する。ここで積分値が０、もしくは特定領域の信頼度Ａが０の場合はすでに求めた第１のＷＢ補正値を使用することとする。

ステップＳ７０３では、ＷＢ制御部２０３は、ステップＳ７０２で算出した色評価値（Ｃｘ’，Ｃｙ’）から環境光源の色温度を推定する。図８は様々な草、芝などの評価値分布を示した図である。光源色温度毎に緑分布が異なるため、その分布から、環境光源の色温度を推定することができる。すなわち、ステップＳ７０２で算出した色評価値がどの緑分布に存在するかで、色温度を推定する。例えば８０００Ｋ付近の緑分布に色評価値（Ｃｘ’，Ｃｙ’）が存在する場合は、環境光源の色温度を８０００Ｋと推定して、黒体放射軸上の８０００Ｋを第２のホワイトバランス補正値（ＷＢＣｏ２）とする。
図８では草、芝などの評価値分布を示したが、人物の肌も環境光源の色温度により分布が異なるので、緑分布と同様に色温度を推定可能であり、人物の肌領域から第２のＷＢ補正値を決定してもよい。

図４のステップＳ４０３に戻り、ステップＳ４０３では、ＷＢ制御部２０３は、特定領域と判断された領域のブロックごとの色評価値分布から、第２のＷＢ補正値の信頼度を算出する。ここでは、検出部２０２からの出力結果が誤っている場合の検知や、環境光源の色温度が推定しにくい状況であることの検知などのために信頼度を算出する。

例えば、特定領域のブロックごとの色評価値分布が図９（ａ）で示すように、分かれて分布している場合は、どちらか一方は誤検出の可能性がある。この場合は、環境光源の色温度が推定しにくい状況であると判断し、ブロックを積分して求めた第２のＷＢ補正値の信頼度が低いと判断する。また、図９（ｂ）のようにブロックごとの色評価値のばらつきが大きい場合は、環境光源の色温度推定精度が低いと判断し、第２のＷＢ補正値の信頼度が低いと判断する。

信頼度を算出する方法として、検出部２０２によって抽出したブロックごとの特定領域の色評価値の分散値を算出する方法がある。下記式のように分散値を算出し、ある閾値以上の場合は第２のＷＢ補正値の信頼度が低いと判断する。

ＡｖｅＣｘ：特定領域の平均色評価値（Ｃｘ）
ＡｖｅＣｙ：特定領域の平均色評価値（Ｃｙ）
図１０（ａ）、１０（ｂ）のように、色評価値の分散値からＧａｉｎＡ，ＧａｉｎＢを求め、分散値による第２のＷＢ補正値の信頼度を算出する。

ＧａｉｎＣ＝ＧａｉｎＡ×ＧａｉｎＢ
上記では分散が大きい場合は、第２のＷＢ補正値の信頼度が低いと判断したが、図８に示すように草、芝などの様々な自然緑の色評価値をプロットすると、同一色温度環境下で、一定の広がりを持った分布形状になっている。この特性から、緑領域の色評価値は分散値が大きい場合も同一色温度環境下の分布相関を算出し、相関が高ければ、第２のＷＢ補正値の信頼度が高いと判断できる。

相関を算出する方法として、緑領域の色評価値から直線近似式の相関（直線相関値）を算出し、その相関から第２のＷＢ補正値の信頼度を算出する。その相関計算式は以下のようになる。

この相関係数は０〜１の値をとり、１に近い値だと相関がある、つまり緑分布の形状であると判断する。

上記で算出したr²を相関係数とし、図１０（ｃ）のようにＧａｉｎＤを算出する。緑領域において第２のＷＢ補正値を算出する際は、ＧａｉｎＣとＧａｉｎＤの最大値をとることで、信頼度を判断することとする。肌領域において第２のＷＢ補正値を算出する際はＧａｉｎＣのみの判断でよい。

α＝ｍａｘ｛ＧａｉｎＣ，ＧａｉｎＤ｝
また、特定領域の面積比率（面積の割合）が低い場合は、第２のＷＢ補正値の算出精度が低い可能性があるので、面積比率についても第２のＷＢ補正値の信頼度を算出する要素とする。図１０（ｄ）のように面積比率ＡＲ（特定領域の面積／特定領域以外の領域を含む領域 ）に応じてＧａｉｎＥを算出する。したがって、第２のＷＢ補正値の信頼度βは以下のようになる。

β＝α×ＧａｉｎＥ
上記で算出した信頼度βを第１のＷＢ補正値と第２のＷＢ補正値を加重加算する混合率とする。

ステップＳ４０４では、上記で算出した混合率で第１のＷＢ補正値と第２のＷＢ補正値を加重加算することにより、最終的なホワイトバランス補正値（ＷＢＣｏ）を算出する。

ＷＢＣｏ＝（１−β）×ＷＢＣｏ１＋β×ＷＢＣｏ２
なお、上記の実施形態では、本発明の画像処理装置として、デジタルカメラを例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、デジタルビデオカメラや、デジタルカメラを含む情報処理装置（例えば、パーソナルコンピュータ、携帯端末）等に適用されうる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：レンズ群、１０３：撮像部、１０５：画像処理部、１１３：顔検出部、１２１：不揮発性メモリ、１２２：システムメモリ、１５０：システム制御部

Claims (17)

1. 画像データを取得する取得手段と、
   取得した画像データから特定領域を判別する判別手段と、
   前記特定領域以外の領域を含む領域の白画素に応じて、第１のホワイトバランス補正値を算出する第１の算出手段と、
   前記特定領域の色評価値に基づいて、第２のホワイトバランス補正値を算出する第２の算出手段と、
   前記特定領域の色評価値の分布に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出する第３の算出手段と、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を前記混合率で加重加算して最終的なホワイトバランス補正値を算出する第４の算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判別手段は、機械学習を用いて前記特定領域を判別することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定領域とは、自然に存在する緑領域であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記特定領域とは、人物の肌色領域であることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記判別手段は、機械学習によって、前記特定領域の信頼度を判別することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２の算出手段は、前記特定領域の信頼度に応じて色評価値を積分することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記第２の算出手段は、前記特定領域の色評価値が、予め設定した範囲に入っているか否かを判定し、その結果に基づいて色評価値を積分することを特徴とする請求項６に記載の画像処理装置。
8. 前記第３の算出手段は、前記特定領域が前記画像データに存在する場合は、第２のホワイトバランス補正値の混合率を高くすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第３の算出手段は、前記特定領域が前記画像データに存在しない場合は、第２のホワイトバランス補正値の混合率を０にすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第３の算出手段は、前記特定領域の色評価値の分散値を算出し、その結果に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第３の算出手段は、前記特定領域の色評価値の直線相関値を算出し、その結果に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記第３の算出手段は、前記特定領域以外の領域を含む領域に対する特定領域の面積の割合を算出し、その結果に基づいて前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
13. 前記第３の算出手段は、前記特定領域の面積の割合が高くなるにつれて、前記第２のホワイトバランス補正値の混合率を高くすることを特徴とする請求項１２に記載の画像処理装置。
14. 前記第３の算出手段は、前記特定領域の面積の割合が低くなるにつれて、前記第１のホワイトバランス補正値の混合率を高くすることを特徴とする請求項１２に記載の画像処理装置。
15. 画像データを取得する取得工程と、
    取得した画像データから特定領域を判別する判別工程と、
    前記特定領域以外の領域を含む領域の白画素に応じて、第１のホワイトバランス補正値を算出する第１の算出工程と、
    前記特定領域の色評価値に基づいて、第２のホワイトバランス補正値を算出する第２の算出工程と、
    前記特定領域の色評価値の分布に基づいて、前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値の混合率を算出する第３の算出工程と、
    前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を前記混合率で加重加算して最終的なホワイトバランス補正値を算出する第４の算出工程と、
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images