JP2016019081A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】被写体における色情報と赤外線情報とに応じてＷＢ補正値を算出する際、フラッシュ発光を行っても適切にＷＢ補正値を求める。【解決手段】ブロック分割部２０１は画像を分割した複数のブロック領域の各々について色を検出する。色判定部２０５は画像を得た際にフラッシュ発光があったか否かに応じて色検出枠の範囲を変更して、検出された色が色検出枠に含まれるか否かを判定する。赤外線量判定部２０７はブロック領域の各々における赤外線量に応じて、色検出枠に含まれるブロック領域の色が光源の色であるか又は被写体の色であるか判別する。ＲＧＢ値加算部２０８は被写体の色であると判別されたブロック領域の色を色検出枠における位置と赤外線量とに応じて加算比率を変更して加算し、光源色推定部２０９は加算値の色検出枠における位置に応じて色温度を推定する。赤外線ＷＢ補正値算出部２１１は色温度に応じてＷＢ処理に用いるＷＢ補正値を算出する。【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画像処理装置において行われるホワイトバランス処理に関する。

近年、撮像装置などの画像処理装置において行われるオートホワイトバランス処理では、所謂ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式が広く用いられている。ＴＴＬ方式によるオートホワイトバランス処理においては、撮影の結果得られた画像に応じて光源の色を推定している。そして、ホワイトバランス（以下ＷＢという）補正値を算出するためには、画像において光源色と被写体色とを精度よく区別する必要がある。

例えば、水銀灯又は蛍光灯などの光源下で無彩色の被写体を撮影した場合と太陽光下で草木などの緑の被写体を撮影した場合とを比べると、撮影の結果得られた画像の色はどちらも同一の緑色となって、光源を判別することは困難である。

このような問題を解決するため、例えば、被写体における赤外線情報に応じて、光源が蛍光灯などであるか否かを区別するようにした画像処理装置がある（特許文献１参照）。つまり、ここでは、太陽光などの自然光には赤外線成分が多く含まれているが、水銀灯又は蛍光灯などの光には赤外線成分が含まれていないことを考慮して光源を判別するようにしている。そして、赤外線量によって光源を判別する手法については様々な手法がある。

ＴＴＬ方式によるＷＢ処理においては、前述のように、撮影の結果得られた画像から無彩色らしい色を抽出して光源色を推定している。一方、赤外線情報を用いれば光源色の緑と自然光下の草木の緑とが区別できるので、画像から自然光下の草木の緑の色を抽出して、当該緑色に基づいて光源の色を推定するという手法もある。

特開２００３−１６３９４４号公報

ところで、赤外線量が多い被写体の緑色から光源の色を推定する手法では、光源は自然光であることを前提とした上で緑色から光源色を推定することになる。このため、フラッシュ撮影を行った際には、自然光とフラッシュ光とが混ざって、適切なホワイトバランス補正値が求められないことがある。

そこで、本発明の目的は、緑色の被写体における色情報と当該被写体における赤外線情報とに応じてＷＢ補正値を算出する際、フラッシュ発光を行っても適切なＷＢ補正値を求めることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、画像に対してホワイトバランス処理を行う画像処理装置であって、前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出手段と、前記色検出手段により検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定手段と、前記ブロック領域の各々において検出された赤外線量に応じて、前記判定手段によって前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別手段と、前記色判別手段によって被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定手段と、前記色温度推定手段によって推定された色温度に応じて、前記ホワイトバランス処理に用いられる第１のホワイトバランス補正値を算出する第１の補正値算出手段と、前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御手段と、を有することを特徴とする。

本発明による制御方法は、画像に対してホワイトバランス処理を行う画像処理装置の制御方法であって、前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、前記色検出ステップで検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定ステップと、前記ブロック領域の各々において検出された赤外線量に応じて、前記判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、前記色判別ステップで被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定ステップと、前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出する補正値算出ステップと、前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、画像に対してホワイトバランス処理を行う画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、前記色検出ステップで検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定ステップと、前記ブロック領域の各々において検出された赤外線量に応じて、前記判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、前記色判別ステップで被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定ステップと、前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出する補正値算出ステップと、前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御ステップと、を実行させることを特徴とする。

本発明によれば、フラッシュ発光があっても適切にホワイトバランス補正値を算出することができる。

本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置に備えられたホワイトバランス制御部の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる撮影処理を説明するためのフローチャートである。 図３に示すＷＢ補正値の演算処理を説明するためのフローチャートである。 図２に示す白判定部で行われる判定処理を説明するための図である。 図４に示す白ＷＢ補正値の信頼度算出を説明するためのフローチャートである。 図２に示すＷＢ制御部で行われる信頼度算出に用いられるテーブルを説明するための図であり、（Ａ）は割合信頼度の算出に用いられるテーブルを示す図、（Ｂ）は距離信頼度の算出に用いられるテーブルを示す図、（Ｃ）は赤外線信頼度の算出に用いられるテーブルの一例を示す図、（Ｄ）は赤外線信頼度の算出に用いられるテーブルの他の例を示す図、（Ｅ）は緑信頼度の算出に用いられるテーブルを示す図である。 図４に示す赤外線判定に基づいた緑検出の一例を説明するための図であり、（Ａ）はＲＡＷデータが示す画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を所定の数のブロックに分割した状態を示す図である。 図４に示す赤外線判定に基づいた緑検出処理の一例を説明するためのフローチャートである。 図２に示すＷＢ制御部で行われるＷＢ補正値の算出を説明するための図であり、（Ａ）は赤外線判定に応じた緑検出に関する処理を示す図、（Ｂ）は緑検出積分値に応じた光源色の推定処理を示す図、（Ｃ）はフラッシュ光比率が０％の際の緑検出積分値と光源との関係を示す図、（Ｄ）は色温度推定に基づいたＷＢ補正値の算出処理を示す図、図１０（Ｅ）は白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を示す図である。 図４に示す緑検出に基づいた光源推定を説明するためのフローチャートである。 図４に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であるが、例えば、デジタルビデオカメラであってもよい。さらに、撮像装置１００はカメラ機能付き携帯電話機又はカメラ付きコンピュータなどカメラ機能を備える電子機器であってもよい。

図示のカメラ１００は光学系１０１を有しており、光学系１０１はレンズ、シャッター、および絞りを備えている。光学系１０１を介して被写体像（光学像）が撮像素子１０２に結像する。この際、光学系１０１から焦点距離、シャッター速度、および絞り値などの光学系情報が中央演算装置（以下ＣＰＵと呼ぶ）１０３に送られる。

撮像素子１０２は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサであり、複数の画素が２次元マトリックス状に配列されている。そして、これら画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが、例えば、ベイヤー配列で配列されている。そして、撮像素子１０２は光学像を画素毎の輝度情報を示すアナログ信号に変換する。

撮像素子１０２の出力であるアナログ信号はＡ／Ｄ変換器（図示せず）によって、例えば、１画素当たり１２ビットのデジタル画像信号に変換される。このデジタル画像信号は現像処理前のＲＡＷデータであり、ＣＰＵ１０３によって一次記憶装置１０４に記憶される。なお、撮像素子１０２の電気的利得（以下ＩＳＯ感度という）はＣＰＵ１０３によって設定される。

測光センサ１０５は複数の測光領域を備えており（例えば、水平方向に１２、垂直方向に８の合計９６個の測光領域）、光学系１０１を介して入射した光量に応じて測光領域毎に被写体輝度を検出する。そして、これら被写体輝度はＡ／Ｄ変換器（図示せず）によってデジタル輝度信号に変換されてＣＰＵ１０３に送られる。

なお、測光センサ１０５の測光領域の数については正数であればよく、上記の例には限定されない。

赤外線センサ１０６は、測光センサ１０５と同一の数の領域に分割されており、光学系１０１を介して入射した光量に応じで領域毎に赤外線量を検出する。そして、これら赤外線量はＡ／Ｄ変換器（図示せず）によってデジタル赤外線信号に変換されて、ＣＰＵ１０３に送られる。

ＣＰＵ１０３はカメラ１００全体の制御を司り、予め記憶されたプログラムに応じてカメラ１００を制御する。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部はＡＳＩＣなどの専用ハードウェアによって実現するようにしてもよい。

ＣＰＵ１０３は、測光センサ１０５で得られた測光信号（つまり、デジタル輝度信号）に応じてフラッシュユニット（以下単にフラッシュと呼ぶ）１１２の発光および非発光を制御する。さらには、ユーザは操作部１１１を用いて、フラッシュ１１２の発光又は非発光を設定することができる。

さらに、後述するプリ発光撮影によって、測光センサ１０５で得られた測光信号に応じて、ＣＰＵ１０３はフラッシュ１１２における発光量を制御する（フラッシュ調光）。なお、ユーザは操作部を用いて発光量を設定することができる。

ここでは、フラッシュ１１０はシャッターの先幕の走行が終わって、後幕の走行が開始される前に発光する通常の閃光発光の他に、所謂ハイスピードシンクロ撮影に対応した発光を行うことができる。ハイスピードシンクロ撮影においてはシャッターの先幕および後幕がスリットを形成して走行する高速シャッター速度においても所定の期間、フラッシュ発光を継続して発光を撮影に同調させることができる。

図示のフラッシュ１１２はカメラ１００に対して着脱可能である。さらに、フラッシュ１１２には、フラッシュ光を拡散させるパネルおよびフラッシュ光の色を変換するフィルタなどを装着することができる。そして、フラッシュ光で直接被写体を照明しない所謂バウンス撮影においてもフラッシュ１１２を用いることができる。

なお、フラッシュ１１２に色変換フィルタを用いることなく、ＲＧＢ３色のＬＥＤなどを用いてフラッシュ光自体の色を調色するようにしてもよい。

一次記憶装置１０４は、例えば、ＲＡＭなどの揮発性記憶装置であり、ＣＰＵ１０３の作業用エリアとして用いられる。また、一次記憶装置１０４に記憶されたデータおよび情報は、画像処理装置１０７で利用され、さらには記録媒体１０８に記録される。

二次記憶装置１０９は、例えば、ＥＥＰＲＯＭなどの不揮発性記憶装置である。二次記憶装置１０９には、カメラ１００を制御するためのプログラム（ファームウェア）および各種の設定情報が記憶されて、ＣＰＵ１０３によって用いられる。

記録媒体１０８には、一次記憶装置１０４に記憶された画像データなどが記録される。なお、記録媒体１０８は、例えば、半導体メモリカードなどのようにカメラ１００に対して着脱可能である。そして、記録媒体１０８に記録された画像データなどは、パーソナルコンピュータなど他の機器で読み出すことができる。つまり、カメラ１００は、記録媒体１０８の着脱機構および読み書き機能を有している。

表示部１１０には、撮影の際にビューファインダー画像が表示されるとともに、撮影の結果得られた撮影画像が表示される。さらには、表示部１１０には対話的な操作のためのＧＵＩ画像などが表示される。

操作部１１１は、ユーザ操作を受け付けてＣＰＵ１０３に入力情報を送る入力デバイス群である。操作部１１１には、例えば、ボタン、レバー、およびタッチパネルなどが備えられる。さらには、操作部１１１は、音声および視線などを用いた入力機器であってもよい。そして、操作部１１１には撮影開始を行うレリーズボタンが備えられている。

図示のカメラ１００には、画像処理装置１０７によって行われる画像処理のパターンが複数備えられ、これら画像処理パターンを撮像モードとして操作部１１１で設定することができる。

画像処理装置１０７は、撮影の結果得られた画像データに対して、所定の画像処理を行う。例えば、画像処理装置１０７はホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、および色相補正などの現像処理と呼ばれる画像処理を行う。

なお、図示の例では、後述するように、画像処理装置１０７がホワイトバランス処理に係る演算を行うが、画像処理装置１０７の機能の少なくとも一部を、ＣＰＵ１０３がソフトウェア的に実現するようにしてもよい。

図２は、図１に示す画像処理装置１０７に備えられたホワイトバランス制御部２００の一例についてその構成を示すブロック図である。

なお、図示のホワイトバランス（ＷＢ）制御部２００はホワイトバランス処理を行うための制御部である。そして、ＷＢ制御部２００においては、白と推定される画素に係るＷＢ補正値（以下白ＷＢ補正値という）と赤外線量に係るＷＢ補正値（以下赤外線ＷＢ補正値という）とに応じて混合ＷＢ補正値を算出する。

図示のように、ＷＢ制御部２００は、ブロック分割部２０１、白判定部２０２、白ＷＢ補正値算出部２０３、白ＷＢ補正値信頼度算出部２０４、色判定部２０５、輝度判定部２０６、赤外線量判定部２０７、ＲＧＢ値加算部２０８、光源色推定部２０９、赤外線ＷＢ補正値算出部２１０、赤外線ＷＢ補正値信頼度算出部２１１、ＷＢ補正値加算比率算出部２１２、および混合ＷＢ補正値算出部２１３を備えている。なお、各ブロックで行われる処理については後述する。

図３は、図１に示すカメラ１００で行われる撮影処理を説明するためのフローチャートである。

なお、前述のレリーズボタンは２段階で操作され、以下の説明において、操作部１１１におけるＳＷ１はレリーズボタンの半押しをいい、操作部１１１におけるＳＷ２はレリーズボタンの全押しをいう。また、図示のフローチャートに係る処理は、ＣＰＵ１０３の制御下で行われる。

撮影処理を開始すると、ＣＰＵ１０３は、操作部１１０からユーザ入力を受け付ける（ステップＳ３０１：操作部の制御）。そして、ＣＰＵ１０３は、ユーザ入力に応じて光学系１０１の焦点距離、シャッター速度、および絞り値などの設定を調節する（ステップＳ３０２：光学系の制御）。

続いて、ＣＰＵ１０３は、ユーザ入力に応じて測光センサ１０５における測光領域を調節する（ステップＳ３０３：測光センサの制御）。さらに、ＣＰＵ１０３は、ユーザ入力に基づいて赤外線センサ１０６における測光領域を調節する（ステップＳ３０４：赤外線センサの制御）。そして、ＣＰＵ１０３は、ユーザ入力に応じて撮像素子１０２のＩＳＯ感度などの設定を調節する（ステップＳ３０５：撮像素子の制御）。

続いて、ＣＰＵ１０３は、ステップＳ３０２〜Ｓ３０５において変更された設定に係る変更情報を表示部１０９に表示する（ステップＳ３０６：表示部の制御）。なお、ステップＳ３０２〜Ｓ３０５の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

次に、ＣＰＵ１０３は操作部１１１においてＳＷ１がオン又はオフのいずれかであるかを判定する（ステップＳ３０７）。ＳＷ１がオフであると（ステップＳ３０７において、ＯＦＦ）、ＣＰＵ１０３はステップＳ３０１の処理に戻る。一方、ＳＷ１がオンであると（ステップＳ３０７において、ＯＮ）、ＣＰＵ１０３は測光センサ１０５によって被写体の明るさを計測（測光）する（ステップＳ３０８）。さらに、ＣＰＵ１０３は自動露出（ＡＥ）モードの際には、シャッター速度、絞り値、およびＩＳＯ感度に応じて露出の調節（露出制御）を行う。

ＣＰＵ１０３は、測光の際には、測光領域毎にその明るさを計測して、被写体輝度の平均値ＢｖＡｖｅを求める。さらに、フラッシュ１１２を自動発光させる自動発光モードの場合には、ＣＰＵ１０３は被写体の明るさ（つまり、被写体輝度の平均値）に応じて発光又は非発光を決定する。さらには、ＣＰＵ１０３は測光センサ１０５の測光領域毎の輝度パターンに応じて逆光などを検知して発光の有無を制御する場合もある。

続いて、ＣＰＵ１０３は、赤外線センサ１０６によって測光センサと同一の領域について領域毎の赤外線量を検出する（ステップＳ３０９）。そして、ＣＰＵ１０３は、自動フォーカス（ＡＦ）モードが設定されている場合には、測距センサ（図示せず）によってピントの調節を行う（ステップＳ３１０）。なお、ステップＳ３０８〜Ｓ３１０の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

次に、ＣＰＵ１０３は操作部１１１のＳＷ２がオン又はオフのいずれであるかを判定する（ステップＳ３１１）。ＳＷ２がオフであると（ステップＳ３１１において、ＯＦＦ）、ＣＰＵ１０３はステップＳ３０１の処理に戻る。一方、ＳＷ２がオンであると（ステップＳ３１１において、ＯＮ）、ＣＰＵ１０３はフラッシュ１１２を発光制御してプリ発光処理を行う（ステップＳ３１２）。

ここでは、ＣＰＵ１０３は、露光開始前にフラッシュ１１２の微小発光を行う。そして、ＣＰＵ１０は、ステップＳ３０８の処理で得た被写体の明るさと微小発光の際の明るさとの差分に応じて露光中のフラッシュ発光（以下メイン発光という）の際の発光量を決定する。

ここで、フラッシュ発光量の決定手法について説明すると、前述のステップＳ３０８の処理において、被写体輝度の平均値ＢｖＡｖｅが求められている。そして、発光量Ｖｐｒｅにおいてプリ発光した際の被写体輝度の平均値をＢｖＰｒｅＡｖｅとすると、メイン発光量Ｖｍａｉｎは次の式（１）によって求められる。

Ｖｍａｉｎ＝（ＢｖＴｇｔ−ＢｖＡｖｅ）／（ＢｖＰｒｅＡｖｅ−ＢｖＡｖｅ）×Ｖｐｒｅ （１）
なお、ＢｖＴｇｔは被写体が狙いの明るさ（目標の明るさ）となる輝度である。

その後、ＣＰＵ１０３は発光量Ｖｍａｉｎに応じて、露光開始とともにフラッシュ１１２によるメイン発光を開始する。なお、フラッシュ発光は撮影時のシャッター秒時に応じて行われ、シャッター秒時が所定の値以上の高速秒時であると、ＣＰＵ１０３はハイスピードシンクロ発光を行う。シャッター秒時が所定の値よりも低い低速秒時であると、ＣＰＵ１０３は通常の閃光発光を行う。

この際、ＣＰＵ１０３は、次の式（２）を用いて、フラッシュ光と撮影シーンに存在する定常光の明るさとの比ＦｌａｓｈＲａｔｉｏも算出する。

ＦｌａｓｈＲａｔｉｏ＝（ＢｖＴｇｔ−ＢｖＡｖｅ）／ＢｖＴｇｔ×１００ （２）
このフラッシュ光比率（光量比率ともいう）ＦｌａｓｈＲａｔｉｏは定常光が０％、フラッシュ光が１００％の比率となると１００となり、定常光が１００％、フラッシュ光が０％の比率になると０となる。

続いて、ＣＰＵ１０３は撮像素子１０２を露光し、一次記憶装置１０４にＲＡＷデータを記憶する（ステップＳ３１３）。そして、ＣＰＵ１０３は、画像処理装置１０７を制御して、後述すようにして一次記憶装置１０４に記憶されたＲＡＷデータに係るＷＢ補正値を求める（ステップＳ３１４）。さらに、ＣＰＵ１０３は、一次記憶装置１０４に記憶されたＲＡＷデータを、ＷＢ補正値（混合ＷＢ補正値）によって補正して（つまり、現像して）画像データを得る（ステップＳ３１５）。

この際には、画像処理装置１０７は、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正処理、色相補正処理などのいわゆる現像処理を行って８ビットのＲＧＢ又はＹＵＶの画像データに変換する。

その後、ＣＰＵ１０３は、現像後の画像データに応じた画像を表示部１１０に表示する（ステップＳ３１６）。ＣＰＵ１０３は、記録媒体１０８に現像後の画像データを記録して（ステップＳ３１７）、撮影処理を終了する。なお、ステップＳ３１６およびＳ３１７の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

図４は、図３に示すＷＢ補正値の演算処理を説明するためのフローチャートである。

図２および図４を参照して、ブロック分割部２０１は、一次記憶装置１０４に記憶されたＲＡＷデータを受けて、ＲＡＷデータが示す画像を水平方向および垂直方向に所定の数（例えば、水平方向に１２、垂直方向に８の合計９６個）のブロック領域（以下単にブロックと呼ぶ）に分割する。そして、ブロック分割部２０１はブロック毎のＲ、Ｇ、およびＢの積分値を求める。

なお、ブロックの分割数は上述の例に限らず、ブロック分割数は正数であればよい。また、ここでは、ブロックの分割数およびその領域は、測光センサ１０５および赤外線センサ１０６における領域の分割数および領域に対応している。

続いて、白判定部２０２はブロック毎にそのＲ、Ｇ、およびＢの積分値に応じて、色評価値としてのＲ／ＧおよびＢ／Ｇを求める。そして、白判定部２０２は、後述するようにして、Ｒ／ＧおよびＢ／Ｇ座標に設定した白色領域に含まれるブロックについてそのＲ、Ｇ、およびＢを積分して、積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇを得る（ステップＳ４０１）。つまり、ここでは、画像から無彩色らしい画素を抽出することになる。

図５は、図２に示す白判定部２０２で行われる判定処理を説明するための図である。

図５において、横軸はＲ／Ｇを示し、縦軸はＧ／Ｂを示す。ここでは、黒体輻射軌跡が参照番号５０１で示されている。カメラ１００において日向、日陰、タングステン光、水銀灯、蛍光灯、又はフラッシュ光などの様々な光源で無彩色被写体を撮影した際のＲ／Ｇ、Ｂ／Ｇ値がその領域内に存在するように白色領域５０２が設定される。

なお、図５においては、Ｒ／ＧおよびＢ／Ｇ座標を用いて被写体から無彩色らしい画素を抽出して光源色を推定することによってＷＢ補正値の演算を行うようにしたが、他の手法で被写体から無彩色らしい画素を抽出してＷＢ補正値の演算を行うようにしてもよい。

再び図２および図４を参照して、白ＷＢ補正値算出部２０３は、白色領域５０２内のブロックにおいて算出したＲ、Ｇ、およびＢ積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇに応じて、式（３）を用いてＷＢ補正値（白ＷＢ補正値）を算出する（ステップＳ４０２）。

白ＷＢ補正値のＲゲインＷ＿ＷＢ＿Ｒｇａｉｎ＝Ｇｉｎｔｅｇ／Ｒｉｎｔｅｇ
白ＷＢ補正値のＧゲインＷ＿ＷＢ＿Ｇｇａｉｎ＝Ｇｉｎｔｅｇ／Ｇｉｎｔｅｇ（３）
白ＷＢ補正値のＢゲインＷ＿ＷＢ＿Ｂｇａｉｎ＝Ｇｉｎｔｅｇ／Ｂｉｎｔｅｇ
続いて、白ＷＢ補正値信頼度算出部２０４は、後述するようにして、白ＷＢ補正値の信頼度を算出する（ステップＳ４０３）。

図６は、図４に示す白ＷＢ補正値の信頼度算出を説明するためのフローチャートである。

白ＷＢ補正値信頼度算出部２０４は、ステップＳ４０１において抽出された白ブロックのブロック全体（つまり、画像全体）に対する割合に応じて割合信頼度Ｔｒａｔｉｏを算出する（ステップＳ６０１）。

図７は、図２に示すＷＢ制御部２００で行われる信頼度算出に用いられるテーブルを説明するための図である。そして、図７（Ａ）は割合信頼度の算出に用いられるテーブルを示す図であり、図７（Ｂ）は距離信頼度の算出に用いられるテーブルを示す図である。また、図７（Ｃ）は赤外線信頼度の算出に用いられるテーブルの一例を示す図であり、図７（Ｄ）は赤外線信頼度の算出に用いられるテーブルの他の例を示す図である。さらに、図７（Ｅ）は緑信頼度の算出に用いられるテーブルを示す図である。

割合信頼度Ｔｒａｔｉｏを算出する際には、白ＷＢ補正値信頼度算出部２０４は図７（Ａ）に示すテーブル（割合信頼度テーブル）を参照して、割合信頼度Ｔｒａｔｉｏ（％）を算出する。

図７（Ａ）において、横軸は白ブロックの数、縦軸は割合信頼度Ｔｒａｔｉｏ（％）を示す。なお、ここでは、ブロック全体の数は９６個である。図７（Ａ）に示すブロック全体の数は一例であり、図示の例に限定するものではない。つまり、白ブロックの割合が多い程、割合信頼度Ｔｒａｔｉｏが高くなるようにテーブルを設定するようにすればよい。

続いて、白ＷＢ補正値信頼度算出部２０４は、ステップＳ４０２で求められた白ＷＢ補正値Ｗ＿ＷＢ＿ＲｇａｉｎおよびＷ＿ＷＢ＿Ｂｇａｉｎに応じて、式（４）を用いて、図５に示すＲ／Ｇ，Ｂ／Ｇ座標における座標５０３を求める。

白ＷＢ補正値に対応するＲ／Ｇ＝１／Ｗ＿ＷＢ＿Ｒｇａｉｎ
白ＷＢ補正値に対応するＢ／Ｇ＝１／Ｗ＿ＷＢ＿Ｂｇａｉｎ （４）
そして、白ＷＢ補正値信頼度算出部２０４は、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離５０４に応じて、図７（Ｂ）に示すテーブル（距離信頼度テーブル）から距離信頼度Ｔｄｉｓｔ（％）を算出する（ステップＳ６０２）。

図７（Ｂ）において、横軸は白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離５０４を示し、縦軸は黒体輻射軌跡５０１からの距離信頼度Ｔｄｉｓｔを示す。なお、距離信頼度Ｔｄｉｓｔは、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離が近い程、高くなるように設定すればよい。図７（Ｂ）における最小距離Ｄｍｉｎと最大距離Ｄｍａｘは任意に設定する。そして、距離信頼度Ｔｄｉｓｔが大きい程、水銀灯又は蛍光灯ではなく、自然光下の無彩色が検出された可能性が高いことを示す。

続いて、白ＷＢ補正値信頼度算出部２０４は、式（５）によって割合信頼度Ｔｒａｔｉｏと距離信頼度Ｔｄｉｓｔとを乗算して、白ＷＢ補正値の信頼度Ｔｗｈｉｔｅを算出する（ステップＳ６０３）。そして、白ＷＢ補正値信頼度算出部２０４は、白ＷＢ補正値の信頼度算出を終了して、図４に示す処理に戻る。

Ｔｗｈｉｔｅ＝Ｔｒａｔｉｏ×Ｔｄｉｓｔ／１００ （５）
次に、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅの判定を行う（ステップＳ４０４）。ここでは、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅが所定の閾値以上であると、自然光下で無彩色が検出されているとして、信頼度Ｔｗｈｉｔｅは高信頼度であるとする。一方、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅが所定の閾値未満であると、信頼度Ｔｗｈｉｔｅは低信頼度であるとする。

信頼度Ｔｗｈｉｔｅが高信頼度であると（ステップＳ４０４において、高信頼度）、ＣＰＵ１０３はＷＢ補正値演算を終了して、図３に示すステップＳ３１４の処理に進む。そして、ＣＰＵ１０３は、画像処理装置１０７を制御して白ＷＢ補正値に応じて、一次記憶装置１０４に記憶されたＲＡＷデータを画像データに変換する。

一方、信頼度Ｔｗｈｉｔｅが低信頼度であると（ステップＳ４０４において、低信頼度）、ＣＰＵ１０３は、ＷＢ制御部２００を制御して以下の処理を行う。

ここでは、まず、ＣＰＵ１０３の制御下で、赤外線判定に応じた緑の検出が行われる（ステップＳ４０５）。つまり、一次記憶装置１０４に記憶されたＲＡＷデータが示す画像が、ブロック分割部２０１の処理と同様にして所定のブロックに分割される。次に、赤外線センサ１０６において同一の領域（つまり、ブロック）で検出された赤外線量に基づいて緑と判定されたブロックが水銀灯などの光源の影響による色か又は被写体の色かが判別される。そして、被写体の色であると判別されたブロックのみがＷＢ補正値の算出に用いられる。

図８は、図４に示す赤外線判定に基づいた緑検出の一例を説明するための図である。そして、図８（Ａ）はＲＡＷデータが示す画像の一例を示す図であり、図８（Ｂ）は図８（Ａ）に示す画像を所定の数のブロックに分割した状態を示す図である。

図８（Ｂ）において、緑の芝のブロックを参照番号７０１で示し、青い空のブロックを参照番号７０２で示す。また、白い看板のブロックを参照番号７０３で示す。いま、図８（Ａ）に示す画像が自然光下の撮影で得られたとすると、太陽光は赤外線を含むので、緑の芝のブロック７０１は赤外線を反射する結果被写体の色と判別されて、ＷＢ補正値算出の対象となる。なお、青い空のブロック７０２および白い看板のブロック７０３は、緑ではないためＷＢ補正値算出の対象外となる。

一方、図８（Ａ）に示す画像が夜間に水銀灯下の撮影で得られたとすると、水銀灯の色の影響を受けて、白い看板のブロック７０３が緑と判別されることがある。また、緑の芝のブロック７０１も水銀灯の色の影響を受けるので、本来の緑と異なる色になる。この場合、水銀灯は赤外線成分を含まないので、緑の芝のブロック７０１および白い看板のブロック７０３は水銀灯の影響による色であると判別される。この結果、緑ではあるがＷＢ補正値算出の対象外となる。

図９は、図４に示す赤外線判定に基づいた緑検出処理の一例を説明するためのフローチャートである。

色判定部２０５は、ブロックの各々について予め設定された緑検出領域（色検出枠）に含まれるか否かを判定して、当該判定結果に応じて緑の信頼度を求める（ステップＳ８０１）する。ここでは、緑検出領域に含まれるブロックは、緑の信頼度（色信頼度Ｔｇｒｅｅｎ）が１００％とされ、緑検出領域に含まれないブロックは、色信頼度Ｔｇｒｅｅｎが０％とされる。

ところで、フラッシュ発光および自然光下において同一の緑被写体を撮影しても、Ｒ／ＧおよびＢ／Ｇ座標にプロットされる色評価値の座標位置が異なる。このため、自然光に対応する緑検出領域のみではフラッシュ発光の際に検出できない緑被写体が存在することになって、緑検出の精度が低下する。

そこで、フラッシュ発光の際には、緑検出領域をフラッシュ光と定常光（つまり、自然光）との比率（フラッシュ光比率）ＦｌａｓｈＲａｔｉｏに応じて変化させる。フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％の場合には、緑検出領域は自然光に対応する範囲の枠とする。一方、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが１００％の場合には、緑検出領域はフラッシュ光のみに対応する範囲の枠とされる。

フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％と１００％との間にある場合には、当該比率に応じて緑検出領域が設定される。例えば、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが５０％の場合には、自然光に対応する緑検出領域とフラッシュ光に対応する緑検出領域とを用いてフラッシュ光比率ＦｌａｓｈＲａｔｉｏに応じて補間を行って、その中間に位置する緑検出領域を設定する。

ここでは、予め様々な色温度（例えば、約４０００Ｋから約１００００Ｋ）における自然光下で種々の草木の緑を撮影する。そして、そのプロット範囲を算出して、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％の際の緑検出領域を得て、これら緑検出領域を二次記憶装置１０９に記録する。

また、予めフラッシュ１１２を発光させて種々の草木の緑を撮影する。そして、そのプロット範囲を算出して、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが１００％の際の緑検出領域を得て、これら緑検出領域を二次記憶装置１０９に記録する。

上述のように、フラッシュ光比率ＦｌａｓｈＲａｔｉｏに応じて緑検出領域を変更するようにすれば、フラッシュ光および自然光が存在する撮影シーンにおいても適切に緑被写体を検出することができる。

なお、前述のように、カメラには種々の種類のフラッシュが着脱可能であり、フラッシュの種類毎に緑検出領域を記憶するようにしてもよい。また、閃光発光モード／ハイスピードシンクロモード、フラッシュ光拡散パネルの有無、バウンス撮影の有無、およびフラッシュ光色変換フィルタ装着の有無に応じて緑検出領域を記憶するようにしてもよい。さらに、調色可能なフラッシュの場合には、フラッシュ光の色毎に緑検出領域を記憶するようにしてもよい。

このように、撮影条件によってフラッシュ光の色は異なるので、撮影条件に応じて緑検出領域を記憶しておけば、精度よく緑検出を行うことができる。

なお、以下の説明では、フラッシュ光比率ＦｌａｓｈＲａｔｉｏは５０％であるものとする。

続いて、輝度判定部２０６は、測光センサ１０５によって検出された被写体輝度に基づいて色信頼度を求めるために十分な明るさがあるかを判定して、当該判定結果に応じて輝度信頼度Ｔｌｕｍｉを求める（ステップＳ８０２）する。ここでは、被写体輝度が所定の輝度閾値以上であると、輝度信頼度Ｔｌｕｍｉは１００％とされ。被写体輝度が輝度閾値未満であると、輝度信頼度Ｔｌｕｍｉは０％とされる。

このように、輝度信頼度Ｔｌｕｍｉを考慮することによって、極端に暗い夜景シーンなどにおいて低輝度性能限界によって測光センサ１０７および赤外線センサ１０５において適切な検出出力が得られない場合に、自然光判定の際の誤判定を回避することができる。

続いて、赤外線量判定部２０７は、赤外線センサ１０６で検出された赤外線量に基づいて、図７（Ｃ）に示すテーブル（赤外線信頼度テーブル）を参照して赤外線量の信頼度（赤外線信頼度）Ｔｉｒを求める（ステップＳ８０３）。この赤外線信頼度Ｔｉｒは、例えば、無彩色の被写体が水銀灯などの緑色の光源下で撮影されたか又は草木の緑が自然光下で撮影されたかのいずれの可能性が高いかを示す信頼度である。

なお、赤外線量については、測光センサ１０５で得られる被写体輝度によって正規化して、被写体輝度における赤外線量の比率を用いることによって、明るさの変化によるばらつきを抑えることができる。

図７（Ｃ）を参照すると、最小値（閾値）Ｉｍｉｎよりも赤外線量が少ない場合には、光源の影響による色とされ、最大値（閾値）Ｉｍａｘよりも赤外線量が多い場合には、被写体の色とされる。そして、最小値Ｉｍｉｎと最大値Ｉｍａｘとの間においては、線形補間によって、赤外線量に応じて徐々に赤外線信頼度Ｔｉｒが変化するようにする。

次に、ＲＧＢ値加算部２０８は、処理対象ブロックのＲ、Ｇ、およびＢの各々ついて、色信頼度Ｔｇｒｅｅｎ、輝度信頼度Ｔｌｕｍｉ、および赤外線信頼度Ｔｉｒに応じて、式（６）によって重み付け積分を行う（ステップＳ８０４）。以下、当該重み付け積分によって得られた積分値（つまり、加算値）をそれぞれ緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧとする。なお、緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧは最初のブロックを処理する前に１度だけ０で初期化される。

ＲｉｎｔｅｇＧ＝ＲｉｎｔｅｇＧ＋Ｒｉｊ×（Ｔｇｒｅｅｎ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００）
ＧｉｎｔｅｇＧ＝ＧｉｎｔｅｇＧ＋Ｇｉｊ×（Ｔｇｒｅｅｎ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００）
ＢｉｎｔｅｇＧ＝ＢｉｎｔｅｇＧ＋Ｂｉｊ×（Ｔｇｒｅｅｎ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００） （６）
但し、Ｒｉｊは、ｉおよびｊ番目のブロック内のＲの積分値、Ｇｉｊは、ｉおよびｊ番目のブロック内のＧの積分値であり、Ｂｉｊは、ｉおよびｊ番目のブロック内のＢの積分値である。また、ｉは水平方向のブロック数（０〜１１）であり、ｊは垂直方向のブロック数（０〜７）である。

図１０は、図２に示すＷＢ制御部２００で行われるＷＢ補正値の算出を説明するための図である。そして、図１０（Ａ）は赤外線判定に応じた緑検出に関する処理を示す図であり、図１０（Ｂ）は緑検出積分値に応じた光源色の推定処理を示す図である。また、図１０（Ｃ）はフラッシュ光比率が０％の際の緑検出積分値と光源との関係を示す図であり、図１０（Ｄ）は色温度推定に基づいたＷＢ補正値の算出処理を示す図である。さらに、図１０（Ｅ）は白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を示す図である。

図１０（Ａ）を参照すると、ここでは、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。全信頼度が高い色を参照番号９０３で示し、輝度信頼度Ｔｌｕｍｉ又は赤外線信頼度Ｔｉｒが低い色を参照番号９０４で示す。また、緑検出領域９０２ｂには含まれず、色信頼度Ｔｇｒｅｅｎが低い色を参照番号９０５で示す。そして、緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧに対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標（ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ，ＢｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）を参照番号９０６で示す。

まず、全信頼度が高い色９０３は、全ての条件を満たしているので、そのまま積分される。輝度信頼度Ｔｌｕｍｉ又は赤外信頼度Ｔｉｒが低い色９０４は、少なくとも一方の信頼度が０％であると、緑検出領域９０２に含まれていても積分されない。次に、緑検出領域９０２に含まれない色９０５については、輝度信頼度Ｔｌｕｍｉおよび赤外線信頼度Ｔｉｒの双方が高くても積分されない。

なお、図１０（Ａ）において、緑検出領域９０２ａは自然光に対応する緑検出領域であり、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％の場合には、緑検出領域９０２ａが用いられることになる。一方、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが１００％の場合には、フラッシュ光のみに対応する緑検出領域９０２ｃが用いられる。そして、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％と１００％との間にある場合には、前述のようフラッシュ光比率に応じて緑検出領域が設定される。例えば、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが５０％の場合には、緑検出領域９０２ａおよび９０２ｃによってフラッシュ光比率に応じて補間を行って中間に位置する緑検出領域９０２ｂが用いられる。

再び図９を参照して、ＣＰＵ１０３は、緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧが更新されているか否かを判定する（ステップＳ８０５）。緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧが更新されていると（ステップＳ８０５において、ＹＥＳ）、ＣＰＵ１０３は処理対象のブロックについて自然光下において緑色であるとする。

ＣＰＵ１０３の制御下で、赤外線ＷＢ信頼度算出部２１０は、緑検出積分が行われたブロックにおける平均赤外線量を求めるため、該当ブロックに対応する輝度で正規化した後の赤外線量ＩＲｉｊを、式（７）によって累計赤外線量ＩＲｔｏｔａｌに加算する（ステップＳ８０６）。なお、ここで行われる正規化処理は、ブロックの赤外線量を該当ブロックに対応する測光センサ１０５の輝度値で除算する処理である。また、累計赤外線量ＩＲｔｏｔａｌは最初のブロックを処理する前に１度だけ０で初期化される。

ＩＲｔｏｔａｌ＝ＩＲｔｏｔａｌ＋ＩＲｉｊ （７）
但し、ＩＲｉｊはｉおよびｊ番目のブロック内の輝度値で正規化した後の赤外線量であり、ｉは水平方向のブロック数（０〜１１）、ｊは垂直方向のブロック数（０〜７）である。

次に、赤外線ＷＢ信頼度算出部２１０は、被写体の色を検出したブロックの画像全体に対する割合を算出するため、式（８）によって累計緑ブロック数Ｎｔｏｔａｌをカウントする（ステップＳ８０７）。なお、累計緑ブロック数Ｎｔｏｔａｌは最初のブロックを処理する前に１度だけ０で初期化される。

Ｎｔｏｔａｌ＝Ｎｔｏｔａｌ＋１ （８）
続いて、ＣＰＵ１０３は、分割された全ブロックについて確認を行ったか否かを判定する（ステップＳ８０８）。なお、緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧの少なくとも一つが更新されていないと（ステップＳ８０５において、ＮＯ）、ＣＰＵ１０３は被写体の色を検出できていないとして、ステップＳ８０８の処理に進む。

全ブロックについて確認していないと（ステップＳ８０８において、ＮＯ）、ＣＰＵ１０３は次のブロックに処理を移動して（ステップＳ８０９）、ステップＳ８０１の処理に戻る。

一方、ＣＰＵ１０３が全ブロックについて確認すると（ステップＳ８０８において、ＹＥＳ）、赤外線ＷＢ信頼度算出部２１０は累計赤外線量ＩＲｔｏｔａｌと累計緑ブロック数Ｎｔｏｔａｌとに応じて、式（９）によって被写体の色を検出したブロックの平均赤外線量ＩＲａｖｅを算出する（ステップＳ８１０）。

ＩＲａｖｅ＝ＩＲｔｏｔａｌ／Ｎｔｏｔａｌ （９）
さらに、ステップＳ８１０において、赤外線ＷＢ信頼度算出部２１０は、次の式（１０）によって緑色の被写体と判定されたブロックの画像全体に対する割合（緑被写体比率）Ｎｒａｔｉｏを求める。その後、ＣＰＵ１０３は図４に示す処理に戻る。

Ｎｒａｔｉｏ＝Ｎｔｏｔａｌ／合計ブロック数×１００ （１０）
但し、ここでは、合計ブロック数は１２×８＝９６である。

自然光下における緑被写体の色であると判定されたブロックのＲ、Ｇ、およびＢ積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧ、緑被写体比率Ｎｒａｔｉｏ、そして、緑被写体であると判定されたブロックの平均赤外線量ＩＲａｖｅを用いて、後述するようにして次の処理が行われる。

再び図４を参照して、光源色推定部２０９は、緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧに対応する座標９０６（図１０（Ａ）参照）に基づいて、撮影の際の光源（光源の逆色温度と黒体輻射軌跡とからの距離）を推定する（ステップＳ４０６）。

ここで、光源の逆色温度と黒体輻射軌跡とからの距離の推定処理について説明をする前に、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％際の緑検出積分値の（Ｒ／Ｇ，Ｂ／Ｇ）座標と当該座標に対応する光源の（Ｒ／Ｇ，Ｂ／Ｇ）座標との関係について説明する。

図１０（Ｃ）を参照すると、線分９１３上にプロットされた緑検出積分値は全て同一の光源の色９１８となる。同様に、線分９１４から９１７にプロットされる緑検出積分値はそれぞれ光源の色９１９から９２２となる。様々な草木の緑を黒体輻射軌跡上の様々な色温度の光源で撮影しておくことによって、各光源における（Ｒ／Ｇ，Ｂ／Ｇ）座標における草木の緑のプロット位置との関係を予め把握することができる。そして、その関係を二次記憶装置１０９に記録しておけば、緑検出積分値から光源の色を推定することができる。

なお、様々な草木の緑を、所定の光源下で撮影すると、実際には図１０（Ｃ）に示す線上ではなく広がりを持って（Ｒ／Ｇ，Ｂ／Ｇ）座標上に分布する。例えば、光源９２０の下で様々な草木の緑を撮影すると、範囲９２３で示す分布となる。

上記のような広がりについては、線分９１５の長さよりも少ないので、光源の色推定処理としては無視することができる。実際には、図１０（Ｃ）に示す線分９１３から９１７の線として、様々な草木の緑を撮影した際の広がりの中央に位置するように線引きが行われる。例えば、範囲９２３の緑の分布に対応して線分９１５が線引きされる。

図１０（Ｃ）に示す例では、色温度９１８から９２２の光源における緑検出積分値に対応する座標が示されているが、他の色温度の光源についても同様の関係が存在する。また、図１０（Ｃ）においては、フラッシュ光の（Ｒ／Ｇ，Ｂ／Ｇ）座標が示されているが、フラッシュ光の場合、自然光と比べてその分光特性が異なるので、必ずしも黒体輻射軌跡５０１上には乗らず、黒体輻射軌跡５０１から外れた位置になることもある。例えば、フラッシュ光においては、図１０（Ｃ）に示す座標９２４の位置となる。

このように、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％の際（つまり、フラッシュ非発光又はフラッシュ光が被写体に届かない場合）の緑検出積分値については、前述の対応関係をテーブル化しておけば光源を推定することができる。一方、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％以外の場合には、図１０（Ｃ）に示す対応関係が得られないので、同一のテーブルを用いても光源の色を適切に推定することができない。そこで、次のようにして、テーブルを変換処理して光源色を算出する必要がある。

図１１は、図４に示す緑検出に基づいた光源（逆色温度と黒体輻射軌跡とからの距離）推定を説明するためのフローチャートである。

図１０（Ｂ）および図１１を参照して、図１０（Ｂ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。

図１０（Ｂ）においては、フラッシュ光比率ＦｌａｓｈＲａｔｉｏが０％に相当する緑検出領域９０２ａが示されている。この緑検出領域９０２ａの４つの角の座標上の緑検出積分値に対応する光源の逆色温度Ｔと黒体輻射軌跡５０１からの距離Ｄを予め二次記憶装置１０９に記録する。ここで、上側の低色温度側の点（ａ）を参照番号９０７で示し、上側の高色温度側の点（ｂ）を参照番号９０８で示す。また、下側の低色温度側の点（ｃ）を参照番号９０９で示し、下側の高色温度側の点（ｄ）を参照番号９１０で示す。

そして、これら点９０７から９１０の各々に対応した光源の逆色温度Ｔ、黒体輻射軌跡５０１からの距離Ｄをそれぞれ（Ｔａ０，Ｄａ０）、（Ｔｂ０，Ｄｂ０）、（Ｔｃ０，Ｄｃ０）、（Ｔｄ０，Ｄｄ０）としてテーブル化する。

距離推定処理を開始すると、ＣＰＵ１０３の制御下で光源色推定部２０９は、フラッシュ光比率ＦｌａｓｈＲａｔｉｏに対応した緑検出積分値と光源色との関係を示すテーブル（以下補間テーブルという）を、次の式（１１）によって変換する（ステップＳ１１０１）。ここで、変換後の４点９０７から９１０に対応する光源の逆色温度、黒体輻射軌跡５０１からの距離Ｄをそれぞれ（Ｔａ，Ｄａ）、（Ｔｂ，Ｄｂ）、（Ｔｃ，Ｄｃ）、（Ｔｄ，Ｄｄ）とする。

Ｔａ＝Ｔａ０＋（Ｔｆ−Ｔａ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｔｂ＝Ｔｂ０＋（Ｔｆ-Ｔｂ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｔｃ＝Ｔｃ０＋（Ｔｆ-Ｔｃ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｔｄ＝Ｔｄ０＋（Ｔｆ-Ｔｄ０）×ＦｌａｓｈＲａｔｉｏ／１００ （１１）
Ｄａ＝Ｄａ０＋（Ｄｆ-Ｄａ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｄｂ＝Ｄｂ０＋（Ｄｆ-Ｄｂ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｄｃ＝Ｄｃ０＋（Ｄｆ-Ｄｃ０）×ＦｌａｓｈＲａｔｉｏ／１００
Ｄｄ＝Ｄｄ０＋（Ｄｆ-Ｄｄ０）×ＦｌａｓｈＲａｔｉｏ／１００
ここでＴｆはフラッシュ光比率ＦｌａｓｈＲａｔｉｏが１００％の際のフラッシュ光の逆色温度を示し、Ｄｆはフラッシュ光比率ＦｌａｓｈＲａｔｉｏが１００％の際のフラッシュ光の黒体輻射軌跡からの距離を示す。

なお、逆色温度Ｔｆおよび距離Ｄｆはフラッシュ１１２の種類毎に変えるようにしてもよい。また、閃光発光モード／ハイスピードシンクロモード、フラッシュ光拡散パネルの有無、バウンス撮影の有無、およびフラッシュ光色変換フィルタ毎に逆色温度Ｔｆおよび距離Ｄｆを備えるようにしてもよい。さらに、調色可能なフラッシュの場合には、フラッシュ光の色毎に逆色温度Ｔｆおよび距離Ｄｆを備えるようにしてもよい。

続いて、光源色推定部２０９は、フラッシュ光比率ＦｌａｓｈＲａｔｉｏに応じて変換後の４点９０７から９１０に対応する光源の逆色温度および黒体輻射軌跡５０１からの距離Ｄ（Ｔａ，Ｄａ）、（Ｔｂ，Ｄｂ）、（Ｔｃ，Ｄｃ）、および（Ｔｄ，Ｄｄ）を用いて、以下の補間処理によって、前述のステップＳ４０５で求めた緑検出積分値に応じて光源の逆色温度および黒体輻射軌跡を算出する（ステップＳ１１０２）。

まず、光源色推定部２０９は、低色温度側の点９０７に対応する光源の逆色温度Ｔａと黒体輻射軌跡５０１からの距離Ｄａおよび高色温度側の点９０８に対応する光源の逆色温度Ｔｂと黒体輻射軌跡からの距離Ｄｂを、次の式（１２）によって線形補間する。これによって、ステップＳ４０５で得られた緑検出積分値のＲ／Ｇ成分ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧに対応する上側の点（ａｂ）９１１における光源の逆色温度Ｔｘ＿ａｂと黒体輻射軌跡からの距離Ｄｘ＿ａｂが得られる。

Ｔｘ＿ａｂ＝（Ｔａ−Ｔｂ）×｛（ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＲＧｂ｝／（ＲＧａ - ＲＧｂ）＋Ｔｂ
Ｄｘ＿ａｂ＝（Ｄａ−Ｄｂ）×｛（ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＲＧｂ｝／（ＲＧａ - ＲＧｂ）＋Ｄｂ （１２）
ここで、ＲＧａは点９０７のＲ／Ｇ座標を示し、ＲＧｂは点９０８のＲ／Ｇ座標を示す。

次に、光源色推定部２０９は、低色温度側の点９０９に対応する光源の逆色温度Ｔｃと黒体輻射軌跡からの距離Ｄｃおよび高色温度側の点９１０に対応する光源の逆色温度Ｔｄと黒体輻射軌跡からの距離Ｄｄを式（１３）によって線形補間する。これによって、ステップＳ４０５で得られた緑検出積分値のＲ／Ｇ成分ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧに対応する点（ｃｄ）９１２における光源の逆色温度Ｔｘ＿ｃｄと黒体輻射軌跡からの距離Ｄｘ＿ｃｄが得られる。

Ｔｘ＿ｃｄ＝（Ｔｃ−Ｔｄ）×｛（ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＲＧｄ｝／（ＲＧｃ-ＲＧｄ）＋Ｔｄ
Ｄｘ＿ｃｄ＝（Ｄｃ−Ｄｄ）×｛（ＲｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＲＧｄ｝／（ＲＧｃ-ＲＧｄ）＋Ｄｄ （１３）
ここで、ＲＧｃは点９０９のＲ／Ｇ座標を示し、ＲＧｄは点９１０のＲ／Ｇ座標を示す。

続いて、光源色推定部２０９は、点９１１に対応する光源の逆色温度Ｔｘ＿ａｂと黒体輻射軌跡からの距離Ｄｘ＿ａｂおよび点９１２に対応する光源の逆色温度Ｔｘ＿ｃｄと黒体輻射軌跡からの距離Ｄｘ＿ｃｄを式（１４）によって線形補間する。これによって、ステップＳ４０５で得られた緑検出積分値のＢ／Ｇ成分ＢｉｎｔｅｇＧ／ＧｉｎｔｅｇＧに対応する光源の逆色温度Ｔｙと黒体輻射軌跡からの距離Ｄｙが得られる。

Ｔｙ＝（Ｔｘ＿ａｂ-Ｔｘ＿ｃｄ）×｛（ＢｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＢＧｃｄ｝／（ＢＧａｂ-ＢＧｃｄ）＋Ｔｘ＿ｃｄ
Ｄｙ＝（Ｄｘ＿ａｂ-Ｄｘ＿ｃｄ）×｛（ＢｉｎｔｅｇＧ／ＧｉｎｔｅｇＧ）−ＢＧｃｄ｝／（ＢＧａｂ-ＢＧｃｄ）＋Ｄｘ＿ｃｄ （１４）
ここで、ＢＧａｂは点９１１のＢ／Ｇ座標を示し、ＢＧｃｄは点９１２のＢ／Ｇ座標を示す。

上述のようにして得られた光源の逆色温度Ｔｙと黒体輻射軌跡からの距離Ｄｙが、ステップＳ４０５で得られた緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧに対応した光源の色となる。

このようにして、フラッシュ光比率ＦｌａｓｈＲａｔｉｏに応じて緑検出積分値ＲｉｎｔｅｇＧ、ＧｉｎｔｅｇＧ、およびＢｉｎｔｅｇＧに対応した光源の逆色温度Ｔおよび黒体輻射軌跡からの距離Ｄを算出するためのテーブルを変更する。これによって、フラッシュ発光の際にフラッシュ光と自然光とが存在する撮影環境においても、光源色を適切に算出することができる。

逆色温度と黒体輻射軌跡とからの距離の推定処理が終了すると、ＷＢ制御部２００は図４に示すフローチャートの処理に戻る。

続いて、ＣＰＵ１０３の制御下で、赤外線ＷＢ補正値算出部２１１は、ステップＳ４０６で得られた光源の逆色温度Ｔｙと黒体輻射軌跡からの距離Ｄｙに対応するＷＢ補正値（赤外線ＷＢ補正値）を算出する（ステップＳ４０７）。

図１０（Ｄ）を参照すると、ここでは、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。赤外線ＷＢ補正値算出部２１１は、光源の逆色温度Ｔｙに応じて、図１０（Ｄ）に示す黒体輻射軌跡５０１上の対応する逆色温度の座標９２５を求める。そして、赤外線ＷＢ補正値算出部２１１は、座標９２５に応じて黒体輻射軌跡５０１距離Ｄｙ９２６に対応する点９２７の座標を求める。続いて、赤外線ＷＢ補正値算出部２１１は、式（１５）を用いて点９２７の座標（ＲＧｇ，ＢＧｇ）に対応する赤外線ＷＢ補正値を算出する。

赤外線ＷＢ補正値のＲゲインＩＲ＿ＷＢ＿Ｒｇａｉｎ＝１／ＲＧｇ
赤外線ＷＢ補正値のＧゲインＩＲ＿ＷＢ＿Ｇｇａｉｎ＝１ （１５）
赤外線ＷＢ補正値のＢゲインＩＲ＿ＷＢ＿Ｒｇａｉｎ＝１／ＢＧｇ
上述のようにして求められた赤外線ＷＢ補正値と白ＷＢ補正値とを用いて、次の処理が行われる。ここでは、ＷＢ補正値加算比率算出部２１２および混合ＷＢ補正値算出部２１３によって、白ＷＢ補正値と赤外線ＷＢ補正値とを所定の割合で加算して最終的なＷＢ補正値（混合ＷＢ補正値）が算出される（ステップＳ４０８）。

図１２は、図４に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。

図１０（Ｅ）および図１２を参照して、図１０（Ｅ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。加算処理を開始すると、ＷＢ補正値加算比率算出部２１２は、図９で説明したステップＳ８１０で得られた平均赤外線量ＩＲａｖｅに基づいて、図７（Ｄ）に示す赤外線信頼度テーブルを参照して赤外線信頼度Ｔｉｒ２を算出する（ステップＳ１２０１）。

なお、赤外線信頼度Ｔｉｒ２は、図７（Ｄ）に示すテーブル（赤外線信頼度テーブル）を参照して算出されることになるが、当該テーブルは図７（Ｃ）に示すテーブルと同様であるので、ここでは説明を省略する。

続いて、ＷＢ補正値加算比率算出部２１２は、ステップＳ８１０で得られた割合Ｎｒａｔｉｏに基づいて、図７（Ｅ）に示すテーブルを参照して緑信頼度Ｔｇｒｅｅｎを算出する（ステップＳ１２０２）。

なお、緑信頼度Ｔｇｒｅｅｎは、図７（Ｅ）に示すテーブル（緑信頼度テーブル）を参照して算出されるが、当該テーブルは図７（Ａ）に示すテーブルと同様であるので、ここでは説明を省略する。また、図７（Ｅ）に示すテーブルにおいて、横軸の数値は一例であって、これに限定するものではない。つまり、緑ブロックの割合が多い程、緑信頼度Ｔｇｒｅｅｎが高くなるように設定するようにすればよい。

次に、ＷＢ補正値加算比率算出部２１２は、赤外線信頼度Ｔｉｒ２と緑信頼度Ｔｇｒｅｅｎとに基づいて、式（１６）によって白ＷＢ補正値と赤外線ＷＢ補正値との加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを算出する（ステップＳ１２０３）。なお、前述のステップＳ４０３で算出された白ＷＢ補正値の信頼度Ｔｗｈｉｔｅを加味するようにしてもよい。また、信頼度によっては、白ＷＢ補正値および赤外線ＷＢ補正値の一方を用いるように加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを設定してもよい。

Ｒａｔｉｏ＿Ｗ＿ＩＲ＝Ｔｉｒ２×Ｔｇｒｅｅｎ／１００ （１６）
続いて、混合ＷＢ補正値算出部２１３は、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに基づいて、式（１７）によって白ＷＢ補正値と赤外線ＷＢ補正値を加算したＷＢ補正値（混合ＷＢ補正値）ＷＢ＿Ｒｍｉｘを算出する（ステップＳ１２０４）。そして、処理は図４に示すフローチャートの処理に戻る。

ＷＢ＿Ｒｍｉｘ＝（ＷＢ＿Ｒｗ×（１００−Ｒａｔｉｏ＿Ｗ＿ＩＲ）＋ＷＢ＿Ｒｉｒ×Ｒａｔｉｏ＿Ｗ＿ＩＲ）／１００ （１７）
但し、白ＷＢ補正値のＲゲインをＷＢ＿Ｒｗで示し、赤外線ＷＢ補正値のＲゲインをＷＢ＿Ｒｉｒで示す。また、混合ＷＢ補正値のＲゲインをＷＢ＿Ｒｍｉｘで示す。なお、混合ＷＢ補正値のＧゲインおよびＢゲインについてもＲゲインを算出する際の式と同様の式を用いて算出する。

図１０（Ｅ）において、赤外線ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号９２７で示し、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号９２８で示す。また、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号９２９で示す。

（Ｒ／Ｇ，Ｂ／Ｇ）座標９２７と（Ｒ／Ｇ，Ｂ／Ｇ）座標９２８とを繋ぐ直線を、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに応じて分割した箇所が混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標９２９となる。この処理によって、白ＷＢ補正値と赤外線ＷＢ補正値との遷移を滑らかにすることができる。

そして、上述のようにして得られた混合ＷＢ補正値によって、一次記憶装置１０４に記憶されたＲＡＷデータが画像データに変換される。

このように、本発明の実施の形態では、緑色の被写体の色情報とその被写体の赤外線量情報とに応じてＷＢ補正値を算出する際、フラッシュ発光があっても適切にＷＢ補正値を算出することができる。

上述の説明から明らかなように、図２に示す例では、ＣＰＵ１０３およびブロック分割部２０１が色検出手段として機能し、ＣＰＵ１０３および色判定部２０５が判定手段として機能する。また、ＣＰＵ１０３および赤外線量判定部２０７が色判別手段として機能する。

さらに、ＣＰＵ１０３、ＲＧＢ値加算部２０８、および光源色推定部２０９が色温度推定手段として機能し、ＣＰＵ１０３および赤外線ＷＢ補正値算出部２１０が第１のホワイトバランス補正値算出手段として機能する。そして、ＣＰＵ１０３およびＷＢ補正値加算比率算出部２１２は、第１の変更手段および第２の変更手段として機能する。

また、ＣＰＵ１０３、白判定部２０２、白ＷＢ補正値算出部２０３は第２のホワイトバランス補正値算出手段として機能し、ＣＰＵ１０３および混合ＷＢ補正値算出部２１３は補正値加算手段として機能する。さらに、ＣＰＵ１０３および赤外線ＷＢ補正値信頼度算出部２１１は平均算出手段として機能する。なお、ＣＰＵ１０３および色判定部２０５は制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも色検出ステップ、判定ステップ、色判別ステップ、色温度推定ステップ、補正値算出ステップ、および制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２０２ 白判定部
２０３ 白ＷＢ補正値算出部
２０４ 白ＷＢ補正値信頼度算出部
２０５ 色判定部
２０６ 輝度判定部
２０７ 赤外線量判定部
２１０ 赤外線ＷＢ補正値信頼度算出部
２１１ 赤外線ＷＢ補正値算出部
２１２ ＷＢ補正値加算比率算出部
２１３ 混合ＷＢ補正値算出部

Claims (15)

1. 画像に対してホワイトバランス処理を行う画像処理装置であって、
   前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出手段と、
   前記色検出手段により検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定手段と、
   前記ブロック領域の各々において検出された赤外線量に応じて、前記判定手段によって前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別手段と、
   前記色判別手段によって被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定手段と、
   前記色温度推定手段によって推定された色温度に応じて、前記ホワイトバランス処理に用いられる第１のホワイトバランス補正値を算出する第１の補正値算出手段と、
   前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記色温度推定手段は、被写体の色であると判別されたブロック領域の色を、前記色検出枠における位置と前記赤外線量とに応じて加算比率を変更して加算して得られた加算値の前記色検出枠における位置に応じて、前記色温度を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色検出手段は、前記色として緑色を検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、前記フラッシュの光と自然光との光量比率を求めて、前記光量比率に基づいて前記色検出枠の範囲を変更することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記フラッシュの光に対応する色検出枠を第１の色検出枠とし、前記自然光に対応する色検出枠を第２の色検出枠として、前記光量比率における前記フラッシュの光の割合が高くなる程、色検出枠を第１の色検出枠に近づけるように前記色検出枠の範囲を変更することを特徴とする請求項４に記載の画像処理装置。
6. 前記制御手段は、前記第１の色検出枠の範囲を前記フラッシュの種類、その発光モード、フラッシュ光拡散パネルの有無、バウンス撮影の有無、フラッシュ光の色変換フィルタ装着の有無、色変換フィルタの種類、およびフラッシュの光が調色可能であるか否かの少なくとも一つの条件に応じて変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の補正値算出手段は、前記第１のホワイトバランス補正値を算出する際、前記光量比率に応じて前記第１のホワイトバランス補正値を求めることを特徴とする請求項４に記載の画像処理装置。
8. 前記第１の補正値算出手段は、前記第１のホワイトバランス補正値を算出する際、前記フラッシュの種類、その発光モード、フラッシュ光拡散パネルの有無、バウンス撮影の有無、フラッシュ光の色変換フィルタ装着の有無、色変換フィルタの種類、およびフラッシュの光が調色可能であるか否かの少なくとも一つの条件に応じて前記第１のホワイトバランス補正値を求めることを特徴とする請求項４に記載の画像処理装置。
9. 前記第１の補正値算出手段は、前記色温度推定手段によって推定された色温度に対応する黒体輻射軌跡上の前記第１のホワイトバランス補正値を算出することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 被写体の輝度に応じて、前記色温度推定手段における加算比率を変更する第１の変更手段を有することを特徴とする請求項２に記載の画像処理装置。
11. 前記第１のホワイトバランス補正値と異なる第２のホワイトバランス補正値を求める第２の補正値算出手段と、
    前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を加算比率に応じて加算する補正値加算手段とを有することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記第２の補正値算出手段は、予め設定された白色領域に含まれる画素に係る積分値に応じて、前記第２ホワイトバランス補正値を算出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記色判別手段によって被写体の色であると判別されたブロック領域における平均赤外線量を算出する平均算出手段と、
    前記平均算出手段によって算出された平均赤外線量に応じて、前記補正値加算手段で用いられる前記加算比率を変更する第２の変更手段とを有することを特徴とする請求項１１に記載の画像処理装置。
14. 画像に対してホワイトバランス処理を行う画像処理装置の制御方法であって、
    前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、
    前記色検出ステップで検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定ステップと、
    前記ブロック領域の各々において検出された赤外線量に応じて、前記判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、
    前記色判別ステップで被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定ステップと、
    前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出する補正値算出ステップと、
    前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御ステップと、
    を有することを特徴とする制御方法。
15. 画像に対してホワイトバランス処理を行う画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、
    前記色検出ステップで検出された色に対応する色評価値が所定の色検出枠に含まれるか否かを判定する判定ステップと、
    前記ブロック領域の各々において検出された赤外線量に応じて、前記判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、
    前記色判別ステップで被写体の色であると判別されたブロック領域の色に基づいて色温度を推定する色温度推定ステップと、
    前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出する補正値算出ステップと、
    前記画像を得た際にフラッシュの発光があったか否かに応じて、前記色検出枠の範囲を変更する制御ステップと、
    を実行させることを特徴とする制御プログラム。