JP2015228546A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】同様の色が多く検出される画像について、当該色が光源の色か又は被写体の色かを判別して適切にホワイトバランス制御を行う。
【解決手段】ブロック分割部２０１は画像を複数のブロック領域に分割して当該ブロック領域の各々についてその色を検出する。色判定部２０５は検出された色が色検出枠に含まれるか否かを判定する。赤外線量判定部２０７はブロック領域の各々において検出された赤外線量に応じて、色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する。ＲＧＢ値加算部２０８は被写体の色であると判別されたブロック領域の色を色検出枠における位置と赤外線量とに応じて加算比率を変更して加算し、光源色推定部２０９は当該加算値の色検出枠における位置に応じて色温度を推定する。赤外線ＷＢ補正値算出部２１０は色温度に応じてＷＢ処理に用いるＷＢ補正値を算出する。
【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画像処理装置において行われるホワイトバランス処理に関する。

近年、撮像装置などの画像処理装置において行われるオートホワイトバランス処理では、所謂ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式が広く用いられている。ＴＴＬ方式によるオートホワイトバランス処理においては、撮影の結果得られた画像に応じて光源の色を推定している。そして、ホワイトバランス（以下ＷＢという）補正値を算出するため、画像において光源色と被写体色とを精度よく区別する必要がある。

例えば、色信号の評価値を判定する白色変化範囲を撮影条件および被写体条件に応じて変化させて、輝度信号レベルに依存しない正確な色温度検出とホワイトバランス制御とを行うようにした撮像装置がある（特許文献１参照）。

さらに、白抽出範囲に含まれ無彩色にする作用が働く緑の被写体（例えば、日陰などの暗い場所で緑の草木又は芝を撮影する場合）について適切なホワイトバランス制御を行うようにした撮像装置がある（特許文献２参照）。ここでは、照度、緑の量、Ｒゲインを座標軸とする３次元座標系の分布に応じて、屋内の蛍光灯であるか又は屋外の日向／日陰であるかを判定して、ホワイトバランスを制御するようにしている。

特開平１１−２６２０２９号公報 特開２００６−１７４２８１号公報

ところで、水銀灯のような光源自体の色が緑色で、撮影の結果得られる画像が全体的に緑がかってしまうシーン（第１のシーン）を撮影したとする。また、日陰などの暗い場所で緑の草木又は芝が多いシーン（第２のシーン）を撮影したとする。この場合、上述の特許文献１および２に記載の撮像装置においては、第１のシーンと第２のシーンとの判別が難しい。

つまり、特許文献１に記載の撮像装置においては、第１のシーンおよび第２のシーンともに被写体の明るさおよび色の評価値は同様の値となるので、第１のシーンおよび第２のシーンともにＷＢ補正値が同様となる可能性が高い。

さらに、特許文献２に記載の撮像装置においても、光源の色の影響によって画像全体が緑がかってしまうので、緑の量とＲゲインとを用いたとしても、第１のシーンと第２のシーンとの判別が困難となる。

第１のシーンのように光源に起因する緑は無彩色としたいが、第２のシーンの場合には被写体の緑を鮮やかにしたい。よって、第１のシーンと第２のシーンとを判別して、シーンに応じてＷＢ補正値が切り替えることが望ましい。

そこで、本発明の目的は、同様の色が多く検出される画像について、当該色が光源の色か又は被写体の色かを判別して、適切にホワイトバランス制御を行うことができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記目的を達成するために、本発明による画像処理装置は、画像にホワイトバランス処理を行う画像処理装置であって、前記画像を複数のブロック領域に分割して、当該ブロック領域の各々についてその色を検出する色検出手段と、前記色検出手段により検出された色が所定の色検出枠に含まれるか否かを判定する色判定手段と、前記ブロック領域の各々において検出された赤外線量に応じて、前記色判定手段によって前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別手段と、前記色判別手段によって被写体の色であると判別されたブロック領域の色を、前記色検出枠における位置と前記赤外線量とに応じて加算比率を変更して加算する色加算手段と、前記色加算手段によって得られた加算値の前記色検出枠における位置に応じて、色温度を推定する色温度推定手段と、前記色温度推定手段によって推定された色温度に応じて、前記ホワイトバランス処理に用いられる第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、を有することを特徴とする。

本発明によれば、画像内の色が光源の色か又は被写体の色かを判別して、適切にホワイトバランス制御を行うことができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置に備えられたホワイトバランス制御部の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる撮影処理を説明するためのフローチャートである。 図３に示すＷＢ補正値の演算処理を説明するためのフローチャートである。 図２に示す白判定部で行われる判定処理を説明するための図である。 図４に示す白ＷＢ補正値の信頼度算出を説明するためのフローチャートである。 図２に示すＷＢ制御部で行われる信頼度算出に用いられるテーブルを説明するための図であり、（Ａ）は割合信頼度の算出に用いられるテーブルを示す図、（Ｂ）は距離信頼度の算出に用いられるテーブルを示す図、（Ｃ）は色信頼度の算出に用いられるテーブルを示す図、（Ｄ）は輝度信頼度の算出に用いられるテーブルを示す図、（Ｅ）は赤外線信頼度の算出に用いられるテーブルの一例を示す図、（Ｆ）は赤外線信頼度の算出に用いられるテーブルの他の例を示す図、（Ｇ）は緑信頼度の算出に用いられるテーブルを示す図、（Ｈ）は夕景信頼度の算出に用いられるテーブルを示す図である。 図４に示す緑検出の一例を説明するための図であり、（Ａ）はＲＡＷデータが示す画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を所定の数のブロックに分割した状態を示す図である。 図４に示す赤外線判定による緑検出処理の一例を説明するためのフローチャートである。 図２に示すＷＢ制御部で行われるＷＢ補正値の算出を説明するための図であり、（Ａ）は赤外線判定に応じた緑検出に関する処理を示す図、（Ｂ）は緑検出に応じた色温度推定処理を示す図、（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図、（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。 図４に示す緑検出に基づいた色温度推定を説明するためのフローチャートである。 図４に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置で行われるＷＢ補正値の演算処理を説明するためのフローチャートである。 図１３に示す夕景検出処理を説明するための図であり、（Ａ）は夕景を撮影した画像の一例を示す図、（Ｂ）は（Ａ）に示す画像を所定数のブロックに分割した状態を示す図、（Ｃ）は体育館内を撮影した画像の一例を示す図、（Ｄ）は（Ｃ）に示す画像を所定数のブロックに分割した状態を示す図である。 図１３に示す夕景検出処理を説明するためのフローチャートである。 本発明の第２の実施形態に備えられたＷＢ制御部で行われるＷＢ補正値の算出を説明するための図であり、（Ａ）は赤外線判定に応じた夕景検出に関する処理を示す図、（Ｂ）は夕景検出に応じた色温度推定処理を示す図、（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図、（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。 図１３に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であるが、例えば、デジタルビデオカメラであってもよい。さらに、撮像装置１００はカメラ機能付き携帯電話機又はカメラ付きコンピュータなどカメラ機能を備える電子機器であってもよい。

図示のカメラ１００は光学系１０１を有しており、光学系１０１はレンズ、シャッター、および絞りを備えている。光学系１０１を介して被写体像（光学像）が撮像素子１０２に結像する。この際、光学系１０１から焦点距離、シャッター速度、および絞り値などの光学系情報が中央演算装置（以下ＣＰＵと呼ぶ）１０３に送られる。

撮像素子１０２は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサであり、複数の画素が２次元マトリックス状に配列されている。そして、これら画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが、例えば、ベイヤー配列で配列されている。そして、撮像素子１０２は光学像を画素毎の輝度情報を示すアナログ信号に変換する。

撮像素子１０２の出力であるアナログ信号はＡ／Ｄ変換器（図示せず）によってデジタル画像信号に変換される。このデジタル画像信号は現像処理前のＲＡＷデータであり、ＣＰＵ１０３によって一次記憶装置１０４に記憶される。なお、撮像素子１０２の電気的利得（以下ＩＳＯ感度という）はＣＰＵ１０３によって設定される。

測光センサ１０５は複数の測光領域を備えており（例えば、水平方向に１２、垂直方向に８の合計９６個の測光領域）、光学系１０１を介して入射した光量に応じて測光領域毎に被写体輝度を検出する。そして、これら被写体輝度はＡ／Ｄ変換器（図示せず）によってデジタル輝度信号に変換されてＣＰＵ１０３に送られる。

なお、測光センサ１０５の測光領域の数については正数であればよく、上記の例には限定されない。

赤外線センサ１０６は、測光センサ１０５と同一の数の領域に分割されており、光学系１０１を介して入射した光量に応じで領域毎に赤外線量を検出する。そして、これら赤外線量はＡ／Ｄ変換器（図示せず）によってデジタル赤外線信号に変換されて、ＣＰＵ１０３に送られる。

ＣＰＵ１０３はカメラ１００全体の制御を司り、予め記憶されたプログラムに応じてカメラ１００を制御する。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部はＡＳＩＣなどの専用ハードウェアによって実現するようにしてもよい。

一次記憶装置１０４は、例えば、ＲＡＭなどの揮発性記憶装置であり、ＣＰＵ１０３の作業用エリアとして用いられる。また、一次記憶装置１０４に記憶されたデータおよび情報は、画像処理装置１０７で利用され、さらには記録媒体１０８に記録される。

二次記憶装置１０９は、例えば、ＥＥＰＲＯＭなどの不揮発性記憶装置である。二次記憶装置１０９には、カメラ１００を制御するためのプログラム（ファームウェア）および各種の設定情報が記憶されて、ＣＰＵ１０３によって用いられる。

記録媒体１０８には、一次記憶装置１０４に記憶された画像データなどが記録される。なお、記録媒体１０８は、例えば、半導体メモリカードなどのようにカメラ１００に対して着脱可能である。そして、記録媒体に記録された画像データなどは、パーソナルコンピュータなど他の機器で読み出すことができる。つまり、カメラ１００は、記録媒体１０８の着脱機構および読み書き機能を有している。

表示部１１０には、撮影の際にビューファインダー画像が表示されるとともに、撮影の結果得られた撮影画像が表示される。さらには、表示部１１０には対話的な操作のためのＧＵＩ画像などが表示される。

操作部１１１は、ユーザ操作を受け付けてＣＰＵ１０３に入力情報を送る入力デバイス群である。操作部１１１には、例えば、ボタン、レバー、およびタッチパネルなどが備えられる。さらには、操作部１１１は、音声および視線などを用いた入力機器であってもよい。そして、操作部１１１には撮影開始を行うレリーズボタンが備えられている。

図示のカメラ１００には、画像処理装置１０７によって行われる画像処理のパターンが複数備えられ、これら画像処理パターンを撮像モードとして操作部１１１で設定することができる。

画像処理装置１０７は、撮影の結果得られた画像データに対して、所定の画像処理を行う。例えば、画像処理装置１０７はホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、および色相補正などの現像処理と呼ばれる画像処理を行う。

なお、図示の例では、後述するように、画像処理装置１０７がホワイトバランスに係る演算を行うが、画像処理装置１０７の機能の少なくとも一部を、ＣＰＵ１０３がソフトウェア的に実現するようにしてもよい。

図２は、図１に示す画像処理装置１０７に備えられたホワイトバランス制御部２００の一例についてその構成を示すブロック図である。

なお、図示のホワイトバランス（ＷＢ）制御部２００はホワイトバランス処理を行うための制御部である。そして、ＷＢ制御部２００においては、白と推定される画素に係るＷＢ補正値（以下白ＷＢ補正値という）と赤外線量に係るＷＢ補正値（以下赤外線ＷＢ補正値という）とに応じて混合ＷＢ補正値を算出する。

図示のように、ＷＢ制御部２００は、ブロック分割部２０１、白判定部２０２、白ＷＢ補正値算出部２０３、白ＷＢ補正値信頼度算出部２０４、色判定部２０５、輝度判定部２０６、赤外線量判定部２０７、ＲＧＢ値加算部２０８、光源色推定部２０９、赤外線ＷＢ補正値算出部２１０、赤外線ＷＢ補正値信頼度算出部２１１、ＷＢ補正値加算比率算出部２１２、および混合ＷＢ補正値算出部２１３を備えている。なお、各ブロックで行われる処理については後述する。

図３は、図１に示すカメラ１００で行われる撮影処理を説明するためのフローチャートである。

なお、前述のレリーズボタンは２段階で操作され、以下の説明において、操作部１１１におけるＳＷ１はレリーズボタンの半押しをいい、操作部１１１におけるＳＷ２はレリーズボタンの全押しをいう。また、図示のフローチャートに係る処理は、ＣＰＵ１０３の制御下で行われる。

撮影処理を開始すると、ＣＰＵ１０３は、操作部１１０からユーザ入力を受け付ける（ステップＳ３０１：操作部の制御）。そして、ＣＰＵ１０３は、ユーザ入力に応じて光学系１０１の焦点距離、シャッター速度、および絞り値などの設定を調節する（ステップＳ３０２：光学系の制御）。

続いて、ＣＰＵ１０３は、ユーザ入力に応じて測光センサ１０５における測光領域を調節する（ステップＳ３０３：測光センサの制御）。さらに、ＣＰＵ１０３は、ユーザ入力に基づいて赤外線センサ１０６における測光領域を調節する（ステップＳ３０４：赤外線センサの制御）。そして、ＣＰＵ１０３は、ユーザ入力に応じて撮像素子１０２のＩＳＯ感度などの設定を調節する（ステップＳ３０５：撮像素子の制御）。

続いて、ＣＰＵ１０３は、ステップＳ３０２〜Ｓ３０５において変更された設定に係る変更情報を表示部１０９に表示する（ステップＳ３０６：表示部の制御）。なお、ステップＳ３０２〜Ｓ３０５の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

次に、ＣＰＵ１０３は操作部１１１においてＳＷ１がオン又はオフのいずれかであるかを判定する（ステップＳ３０７）。ＳＷ１がオフであると（ステップＳ３０７において、ＯＦＦ）、ＣＰＵ１０３はステップＳ３０１の処理に戻る。一方、ＳＷ１がオンであると（ステップＳ３０７において、ＯＮ）、ＣＰＵ１０３は測光センサ１０５によって被写体の明るさを計測する（ステップＳ３０８）。さらに、ＣＰＵ１０３は自動露出（ＡＥ）モードの際には、シャッター速度、絞り値、およびＩＳＯ感度に応じて露出の調節を行う。

続いて、ＣＰＵ１０３は、赤外線センサ１０６によって測光センサと同一の領域について領域毎の赤外線量を検出する（ステップＳ３０９）。そして、ＣＰＵ１０３は、自動フォーカス（ＡＦ）モードが設定されている場合には、測距センサ（図示せず）によってピントの調節を行う（ステップＳ３１０）。なお、ステップＳ３０８〜Ｓ３１０の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

次に、ＣＰＵ１０３は操作部１１１のＳＷ２がオン又はオフのいずれであるかを判定する（ステップＳ３１１）。ＳＷ２がオフであると（ステップＳ３１１において、ＯＦＦ）、ＣＰＵ１０３はステップＳ３０１の処理に戻る。一方、ＳＷ２がオンであると（ステップＳ３１１において、ＯＮ）、ＣＰＵ１０３はシャッターを制御して撮像素子１０２を露光し、一次記憶装置１０４にＲＡＷデータを記憶する（ステップＳ３１２）。

続いて、ＣＰＵ１０３は、画像処理装置１０７を制御して、後述すようにして一次記憶装置１０４に記憶されたＲＡＷデータに係るＷＢ補正値を求める（ステップＳ３１３）。そして、ＣＰＵ１０３は、一次記憶装置１０４に記憶されたＲＡＷデータを、ＷＢ補正値（混合ＷＢ補正値）によって補正して（つまり、現像して）画像データを得る（ステップＳ３１４）。

その後、ＣＰＵ１０３は、現像後の画像データに応じた画像を表示部１１０に表示する（ステップＳ３１５）。ＣＰＵ１０３は、記録媒体１０８に現像後の画像データを記録して（ステップＳ３１６）、撮影処理を終了する。なお、ステップＳ３１５およびＳ３１６の処理順は、図示の例に限らず処理順を変更するようにしてもよい。

図４は、図３に示すＷＢ補正値の演算処理を説明するためのフローチャートである。

図２および図４を参照して、ブロック分割部２０１は、一次記憶装置１０４に記憶されたＲＡＷデータを受けて、ＲＡＷデータが示す画像を水平方向および垂直方向に所定の数（例えば、水平方向に１２、垂直方向に８の合計９６個）のブロック領域（以下単にブロックと呼ぶ）に分割する。そして、ブロック分割部２０１はブロック毎のＲ、Ｇ、およびＢの積分値を求める。

なお、ブロックの分割数は上述の例に限らず、ブロック分割数は正数であればよい。また、ここでは、ブロックの分割数およびその領域は、測光センサ１０５および赤外線センサ１０６における領域の分割数および領域に対応している。

続いて、ブロック分割部２０１はブロック毎にそのＲ、Ｇ、およびＢの積分値に応じてＲ／ＧおよびＢ／Ｇを求める。そして、白判定部２０２は、後述するようにして、Ｒ／ＧおよびＢ／Ｇ座標に設定した白色領域に含まれるブロックについてそのＲ、Ｇ、およびＢを積分して、積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇを得る（ステップＳ４０１：白検出）。

図５は、図２に示す白判定部２０２で行われる判定処理を説明するための図である。

図５において、横軸はＲ／Ｇを示し、縦軸はＧ／Ｂを示す。ここでは、黒体輻射軌跡が参照番号５０１で示されている。カメラ１００において日向、日陰、タングステン光、水銀灯、蛍光灯、又はフラッシュ光などの様々な光源で無彩色被写体を撮影した際のＲ／Ｇ、Ｂ／Ｇ値がその領域内に存在するように白色領域５０２が設定される。

なお、図５においては、Ｒ／ＧおよびＢ／Ｇ座標を用いて被写体から無彩色らしい画素を抽出して光源色を推定することによってＷＢ補正値の演算を行うようにしたが、他の手法で被写体から無彩色らしい画素を抽出してＷＢ補正値の演算を行うようにしてもよい。

再び図２および図４を参照して、白ＷＢ補正値算出部２０３は、白色領域５０２内のブロックにおいて算出したＲ、Ｇ、およびＢ積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇに応じて、式（１）を用いてＷＢ補正値（白ＷＢ補正値）を算出する（ステップＳ４０２）。

白ＷＢ補正値のＲゲインＷ＿ＷＢ＿Ｒｇａｉｎ＝Ｇｉｎｔｅｇ／Ｒｉｎｔｅｇ
白ＷＢ補正値のＧゲインＷ＿ＷＢ＿Ｇｇａｉｎ＝Ｇｉｎｔｅｇ／Ｇｉｎｔｅｇ
白ＷＢ補正値のＢゲインＷ＿ＷＢ＿Ｂｇａｉｎ＝Ｇｉｎｔｅｇ／Ｂｉｎｔｅｇ（１）
続いて、白ＷＢ補正値信頼度算出部２０４は、後述するようにして、白ＷＢ補正値の信頼度を算出する（ステップＳ４０３）。

図６は、図４に示す白ＷＢ補正値の信頼度算出を説明するためのフローチャートである。

白ＷＢ補正値信頼度算出部２０４は、ステップＳ４０１において抽出された白ブロックのブロック全体（つまり、画像全体）に対する割合に応じて割合信頼度Ｔｒａｔｉｏを算出する（ステップＳ６０１）。

図７は、図２に示すＷＢ制御部２００で行われる信頼度算出に用いられるテーブルを説明するための図である。そして、図７（Ａ）は割合信頼度の算出に用いられるテーブルを示す図であり、図７（Ｂ）は距離信頼度の算出に用いられるテーブルを示す図である。また、図７（Ｃ）は色信頼度の算出に用いられるテーブルを示す図であり、図７（Ｄ）は輝度信頼度の算出に用いられるテーブルを示す図である。さらに、図７（Ｅ）は赤外線信頼度の算出に用いられるテーブルの一例を示す図であり、図７（Ｆ）は赤外線信頼度の算出に用いられるテーブルの他の例を示す図である。加えて、図７（Ｇ）は緑信頼度の算出に用いられるテーブルを示す図であり、図７（Ｈ）は夕景信頼度の算出に用いられるテーブルを示す図である。

割合信頼度Ｔｒａｔｉｏを算出する際には、白ＷＢ補正値信頼度算出部２０４は図７（Ａ）に示すテーブル（割合信頼度テーブル）を参照して、割合信頼度Ｔｒａｔｉｏ（％）を算出する。

図７（Ａ）において、横軸は白ブロックの数、縦軸は割合信頼度Ｔｒａｔｉｏ（％）を示す。なお、ここでは、ブロック全体の数は９６個である。図７（Ａ）に示すブロック全体の数は一例であり、図示の例に限定するものではない。つまり、白ブロックの割合が多い程、割合信頼度Ｔｒａｔｉｏが高くなるようにテーブルを設定するようにすればよい。

続いて、白ＷＢ補正値信頼度算出部２０４は、ステップＳ４０２で求められた白ＷＢ補正値Ｗ＿ＷＢ＿ＲｇａｉｎおよびＷ＿ＷＢ＿Ｂｇａｉｎに応じて、式（２）を用いて、図５に示すＲ／Ｇ，Ｂ／Ｇ座標における座標５０３を求める。

白ＷＢ補正値に対応するＲ／Ｇ＝１／Ｗ＿ＷＢ＿Ｒｇａｉｎ
白ＷＢ補正値に対応するＢ／Ｇ＝１／Ｗ＿ＷＢ＿Ｂｇａｉｎ （２）
そして、白ＷＢ補正値信頼度算出部２０４は、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離５０４に応じて、図７（Ｂ）に示すテーブル（距離信頼度テーブル）から距離信頼度Ｔｄｉｓｔ（％）を算出する（ステップＳ６０２）。

図７（Ｂ）において、横軸は白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離５０４を示し、縦軸は黒体輻射軌跡５０１からの距離信頼度Ｔｄｉｓｔを示す。なお、距離信頼度Ｔｄｉｓｔは、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離が近い程、高くなるように設定すればよい。図７（Ｂ）における最小距離Ｄｍｉｎと最大距離Ｄｍａｘは任意に設定する。そして、黒体輻射軌跡５０１に近い程、水銀灯ではなく自然光下の無彩色が検出された可能性が高いことを示す。

次に、白ＷＢ補正値信頼度算出部２０４は、式（３）によって割合信頼度Ｔｒａｔｉｏと距離信頼度Ｔｄｉｓｔとを乗算して、白ＷＢ補正値の信頼度Ｔｗｈｉｔｅを算出する（ステップＳ６０３）。そして、白ＷＢ補正値信頼度算出部２０４は、白ＷＢ補正値の信頼度算出を終了して、図４に示す処理に戻る。

Ｔｗｈｉｔｅ＝Ｔｒａｔｉｏ×Ｔｄｉｓｔ／１００ （３）
次に、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅの判定を行う（ステップＳ４０４）。ここでは、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅが所定の閾値以上であると、自然光下で無彩色が検出されているとして、信頼度Ｔｗｈｉｔｅは高信頼度であるとする。一方、ＣＰＵ１０３は白ＷＢ補正値の信頼度Ｔｗｈｉｔｅが所定の閾値未満であると、信頼度Ｔｗｈｉｔｅは低信頼度であるとする。

信頼度Ｔｗｈｉｔｅが高信頼度であると（ステップＳ４０４において、高信頼度）、ＣＰＵ１０３はＷＢ補正値演算を終了して、図３に示すステップＳ３１４の処理に進む。そして、ＣＰＵ１０３は、画像処理装置１０７を制御して白ＷＢ補正値に応じて、一次記憶装置１０４に記憶されたＲＡＷデータを画像データに変換する。

一方、信頼度Ｔｗｈｉｔｅが低信頼度であると（ステップＳ４０４において、低信頼度）、ＣＰＵ１０３は、色判定部２０５、輝度判定部２０６、赤外線量判定部２０７、ＲＧＢ値加算部２０８、および赤外線ＷＢ補正値信頼度算出部２１１を制御して以下の処理を行う。

ここでは、まず、ＣＰＵ１０３の制御下で、赤外線判定に応じた緑の検出が行われる（ステップＳ４０５）。つまり、一次記憶装置１０４に記憶されたＲＡＷデータが示す画像が、ブロック分割部２０１の処理と同様にして所定のブロックに分割される。次に、赤外線センサ１０６において同一の領域（つまり、ブロック）で検出された赤外線量に基づいて緑と判定されたブロックが水銀灯などの光源の影響による色か又は被写体の色かが判別される。そして、被写体の色であると判別された緑のみが積分される。

図８は、図４に示す緑検出の一例を説明するための図である。そして、図８（Ａ）はＲＡＷデータが示す画像の一例を示す図であり、図８（Ｂ）は図８（Ａ）に示す画像を所定の数のブロックに分割した状態を示す図である。

図８（Ｂ）において、緑の芝のブロックを参照番号８０１で示し、青い空のブロックを参照番号８０２で示す。また、白い看板のブロックを参照番号８０３で示す。いま、図８（Ａ）に示す画像が自然光下の撮影で得られたとすると、太陽光は赤外線を含むので、緑の芝のブロック８０１は赤外線を反射する結果被写体の色と判別されて、積分対象となる。なお、青い空のブロック８０２および白い看板のブロック８０３は、緑ではないため積分対象外となる。

一方、図８（Ａ）に示す画像が夜間に水銀灯下の撮影で得られたとすると、水銀灯の色の影響を受けて、白い看板のブロック８０３が緑と判別されることがある。また、緑の芝のブロック８０１も水銀灯の色の影響を受けるので、本来の緑と異なる色になる。この場合、水銀灯は赤外線成分を含まないので、緑の芝のブロック８０１および白い看板のブロック８０３は水銀灯の影響による色であると判別される。この結果、緑ではあるが積分対象外となる。

図９は、図４に示す赤外線判定による緑検出処理の一例を説明するためのフローチャートである。

色判定部２０５は、予め設定された緑検出領域（色検出枠）に含まれる色を抽出して、図７（Ｃ）に示すテーブル（色信頼度テーブル）を参照して色信頼度Ｔｃｏｌｏｒを算出する（ステップＳ９０１）。

図７（Ｃ）において、横軸はブロック毎の色に対応するＲ／Ｇ，Ｂ／Ｇ）座標を示し、縦軸は色信頼度Ｔｃｏｌｏｒを示す。ここでは、後述するように、緑検出領域の内側に色信頼度が１００％となる領域が設けられ、緑検出領域にブロックが含まれない場合には色信頼度は０％とされる。また、緑検出領域にブロックが含まれ、かつ色信頼度１００％となる領域にもブロックが含まれる場合には色信頼度は１００％とされる。そして、緑検出領域１００１にのみブロックが含まれる場合には、線形補間によって、赤外線量に応じて徐々に色信頼度Ｔｃｏｌｏｒが変化するようにする。

なお、緑検出領域の内側に色信頼度１００％となる領域を設定することは一例であって、これに限定されるものではない。つまり、色信頼度Ｔｃｏｌｏｒは、緑検出領域の中心部に近い程、高くなるように設定すればよい。このように、色信頼度Ｔｃｏｌｏｒを考慮することによって、色のバラツキによるＷＢ補正値の極端な差を抑制することができる。

次に、輝度判定部２０６は、測光センサ１０５で検出された被写体輝度に基づいて、色信頼度Ｔｃｏｌｏｒを算出するために十分な明るさであるかについて、図７（Ｄ）に示すテーブル（輝度信頼度テーブル）を参照して輝度信頼度Ｔｌｕｍｉを算出する（ステップＳ９０２）。

図７（Ｄ）において、横軸はブロック毎の被写体輝度に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を示し、縦軸は輝度信頼度Ｔｌｕｍｉを示す。ここでは、輝度信頼度Ｔｌｕｍｉは、被写体輝度が高い程、高くなるように設定される。このように、輝度信頼度Ｔｌｕｍｉを考慮することによって、極端に暗い夜景シーンなどにおいて自然光判定を確実に行わないようにすることができる。

続いて、赤外線量判定部２０７は、赤外線センサ１０６で検出された赤外線量に基づいて、図７（Ｅ）に示すテーブル（赤外線信頼度テーブル）を参照して赤外線信頼度Ｔｉｒを算出する（ステップＳ９０３）。赤外線信頼度Ｔｉｒは、例えば、無彩色の被写体が水銀灯などの緑色の光源下で撮影されたか又は草木の緑が自然光下で撮影されたかのいずれの可能性が高いかを表す信頼度である。

なお、赤外線量は測光センサ１０５における被写体輝度で正規化して、被写体輝度における赤外線量の比率を用いるようにすれば、明るさ変化によるバラツキを抑えることができる。

図７（Ｅ）を参照すると、最小値Ｉｍｉｎよりも赤外線量が少ない場合には、光源の影響による色とされ、最大値Ｉｍａｘよりも赤外線量が多い場合には、被写体の色とされる。そして、最小値Ｉｍｉｎと最大値Ｉｍａｘとの間においては、線形補間によって、赤外線量に応じて徐々に赤外線信頼度Ｔｉｒが変化するようにする。

次に、ＲＧＢ値加算部２０８は、処理対象ブロックのＲ、Ｇ、およびＢの各々ついて、色信頼度Ｔｃｏｌｏｒ、輝度信頼度Ｔｌｕｍｉ、および赤外線信頼度Ｔｉｒに応じて、式（４）によって重み付け積分を行う（ステップＳ９０４）。以下、当該重み付け積分によって得られた積分値（つまり、加算値）をそれぞれ緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡとする。なお、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡは最初のブロックを処理する前に１度だけ０で初期化される。

ＲｉｎｔｅｇＡ＝ＲｉｎｔｅｇＡ＋Ｒｉｊ×（Ｔｃｏｌｏｒ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００）
ＧｉｎｔｅｇＡ＝ＧｉｎｔｅｇＡ＋Ｇｉｊ×（Ｔｃｏｌｏｒ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００）
ＢｉｎｔｅｇＡ＝ＢｉｎｔｅｇＡ＋Ｂｉｊ×（Ｔｃｏｌｏｒ／１００×Ｔｌｕｍｉ／１００×Ｔｉｒ／１００） （４）
但し、Ｒｉｊは、ｉおよびｊ番目のブロック内のＲの積分値、Ｇｉｊは、ｉおよびｊ番目のブロック内のＧの積分値であり、Ｂｉｊは、ｉおよびｊ番目のブロック内のＢの積分値である。また、ｉは水平方向のブロック数（０〜１１）であり、ｊは垂直方向のブロック数（０〜７）である。

図１０は、図２に示すＷＢ制御部２００で行われるＷＢ補正値の算出を説明するための図である。そして、図１０（Ａ）は赤外線判定に応じた緑検出に関する処理を示す図であり、図１０（Ｂ）は緑検出に応じた色温度推定処理を示す図である。また、図１０（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図であり、図１０（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。

図１０（Ａ）を参照すると、ここでは、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。全信頼度が高い色１００３。緑検出領域１００１には含まれているが、色信頼度が１００％となる領域１００２には含まれない、色信頼度Ｔｃｏｌｏｒが低い色１００４とする。また、輝度信頼度Ｔｌｕｍｉ又は赤外線信頼度Ｔｉｒが低い色を参照番号１００５で示し、緑検出領域１００１に含まれない色を参照番号１００６で示す。そして、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標（ＲｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ，ＢｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ）を参照番号１００７で示す。

まず、全信頼度が高い色１００３は、全ての条件を満たしているので、そのまま加算される。一方、色信頼度Ｔｃｏｌｏｒが低い色１００４は、例えば、その５割で加算される。なお、加算される割合は、緑検出領域１００１と緑検出領域１００１の内側の色信頼度１００％となる領域１００２との間においていずれの割合の位置に存在するかに応じて決定される。

次に、輝度信頼度Ｔｌｕｍｉ又は赤外線信頼度Ｔｉｒが低い色１００５は、両信頼度ともに所定の閾値以上であれば、所定の割合で加算されるが、一方でも所定の閾値未満であれば、たとえ緑検出領域１００１に含まれていても加算されない。最後に、緑検出領域１００１に含まれない色１００６については、輝度信頼度Ｔｌｕｍｉおよび赤外線信頼度Ｔｉｒの双方が高くても積分されない。

再び図９を参照して、ＣＰＵ１０３は、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡが更新されているか否かを判定する（ステップＳ９０５）。緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡが更新されていると（ステップＳ９０５において、ＹＥＳ）、ＣＰＵ１０３は被写体の色であるとする。そして、赤外線ＷＢ補正値信頼度算出部２１１は被写体の色を検出したブロックにおける平均赤外線量を算出するため、該当ブロックに対応する輝度で正規化した後の赤外線量ＩＲｉｊを、式（５）によって累計赤外線量ＩＲｔｏｔａｌに加算する（ステップＳ９０６）。なお、ここで行われる正規化処理は、ブロックの赤外線量を該当ブロックに対応する測光センサ１０５の輝度値で除算する処理である。また、累計赤外線量ＩＲｔｏｔａｌは最初のブロックを処理する前に１度だけ０で初期化される。

ＩＲｔｏｔａｌ＝ＩＲｔｏｔａｌ＋ＩＲｉｊ （５）
但し、ＩＲｉｊはｉおよびｊ番目のブロック内の輝度値で正規化した後の赤外線量であり、ｉは水平方向のブロック数（０〜１１）、ｊは垂直方向のブロック数（０〜７）である。

次に、赤外線ＷＢ補正値信頼度算出部２１１は、被写体の色を検出したブロックの画像全体に対する割合を算出するため、式（６）によって累計緑ブロック数Ｎｔｏｔａｌをカウントする（ステップＳ９０７）。なお、累計緑ブロック数Ｎｔｏｔａｌは最初のブロックを処理する前に１度だけ０で初期化される。

Ｎｔｏｔａｌ＝Ｎｔｏｔａｌ＋１ （６）
続いて、ＣＰＵ１０３は、分割された全ブロックについて確認を行ったか否かを判定する（ステップＳ９０８）。なお、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡの少なくとも一つが更新されていないと（ステップＳ９０５において、ＮＯ）、ＣＰＵ１０３は被写体の色を検出できていないとして、ステップＳ９０８の処理に進む。

全ブロックについて確認していないと（ステップＳ９０８において、ＮＯ）、ＣＰＵ１０３は次のブロックに処理を移動して（ステップＳ９０９）、ステップＳ９０１の処理に戻る。一方、ＣＰＵ１０３が全ブロックについて確認すると（ステップＳ９０８において、ＹＥＳ）、赤外線ＷＢ補正値信頼度算出部２１１は累計赤外線量ＩＲｔｏｔａｌと累計緑ブロック数Ｎｔｏｔａｌとに応じて、式（７）によって被写体の色を検出したブロックの平均赤外線量ＩＲａｖｅを算出する（ステップＳ９１０）。その後、ＣＰＵ１０３は図５に示す処理に戻る。

ＩＲａｖｅ＝ＩＲｔｏｔａｌ／Ｎｔｏｔａｌ （７）
上述の処理によって算出された被写体の色であると判別されたブロックのＲ、Ｇ、およびＢ積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡ、次の式（８）で算出される被写体の色であると判別されたブロックの画像全体に対する割合Ｎｒａｔｉｏ、そして、被写体の色であると判別されたブロックの平均赤外線量ＩＲａｖｅを用いて、後述するようにして次の処理が行われる。

Ｎｒａｔｉｏ＝Ｎｔｏｔａｌ／合計ブロック数×１００ （８）
但し、ここでは、合計ブロック数は１２×８＝９６である。

再び図４を参照して、光源色推定部２０９は、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに対応する座標１００７に基づいて、撮影の際の光源、つまり、自然光の色温度を推定する（ステップＳ４０６）。

図１１は、図４に示す緑検出に基づいた色温度推定を説明するためのフローチャートである。

図１０（Ｂ）および図１１を参照して、図１０（Ｂ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。なお、緑検出領域１００１の角の点１００８〜１０１１は、光源の逆色温度を保持するものとする。そして、点１００８は低色温度側の点、点１００９は高色温度側の点、点１０１０は低色温度側の点、点１０１１は高色温度側の点である。

色温度推定処理を開始すると、光源色推定部２０９は低色温度側の点１００８に対応する光源の逆色温度と高色温度側の点１００９に対応する光源の逆色温度とを線形補間する。これによって、光源色推定部２０９は、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡのＲ／Ｇ成分に対応する点１０１２における光源の逆色温度を算出する（ステップＳ１１０１）。

続いて、光源色推定部２０９は、低色温度側の点１０１０に対応する光源の逆色温度と高色温度側の点１０１１に対応する光源の逆色温度とを線形補間する。これによって、光源色推定部２０９は、緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡのＲ／Ｇ成分に対応する点１０１３における光源の逆色温度を算出する（ステップＳ１１０２）。

光源色推定部２０９は点１０１２に対応する光源の逆色温度と点１０１３に対応する光源の逆色温度とを線形補間する。これによって、光源色推定部２０９は緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡのＢ／Ｇ成分に対応する光源の逆色温度を算出する（ステップＳ１１０３）。

続いて、光源色推定部２０９は、ステップＳ１１０３で算出した光源の逆色温度を色温度に変換する（ステップＳ１１０４）。そして、光源色推定部２０９は色温度推定処理を終了して、図４に示すフローチャートの処理に戻る。

上述の色温度推定処理によって得られた緑検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに対応する座標１００７の光源色温度を用いて、次の処理が行われる。

図４および図１０（Ｃ）を参照して、赤外線ＷＢ補正値算出部２１０は、ステップＳ４０６において推定された光源色温度に対応するＷＢ補正値（赤外線ＷＢ補正値）を算出する（ステップＳ４０７）。

図１０（Ｃ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。ここでは、赤外線を含む緑の被写体が検出されているので、自然光下における撮影と判定することができる。このため、赤外線ＷＢ補正値算出部２１０は、黒体輻射軌跡５０１上の色温度に対応する点の座標（ＲＧｇ，ＢＧｇ）を算出する。そして、赤外線ＷＢ補正値算出部２１０は、式（９）を用いて当該座標に対応する赤外線ＷＢ補正値１０１４を算出する。

赤外線ＷＢ補正値のＲゲインＩＲ＿ＷＢ＿Ｒｇａｉｎ＝１／ＲＧｇ
赤外線ＷＢ補正値のＧゲインＩＲ＿ＷＢ＿Ｇｇａｉｎ＝１
赤外線ＷＢ補正値のＢゲインＩＲ＿ＷＢ＿Ｂｇａｉｎ＝１／ＢＧｇ （９）
上述のようにして求められた赤外線ＷＢ補正値１０１４と白ＷＢ補正値とを用いて、次の処理が行われる。ここでは、ＷＢ補正値加算比率算出部２１２および混合ＷＢ補正値算出部２１３によって、白ＷＢ補正値と赤外線ＷＢ補正値とを所定の割合で加算して最終的なＷＢ補正値（混合ＷＢ補正値）が算出される（ステップＳ４０８）。

図１２は、図４に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。

図１０（Ｄ）および図１２を参照して、図１０（Ｄ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。加算処理を開始すると、ＷＢ補正値加算比率算出部２１２は、ステップＳ４０５において被写体の色であると判定されたブロックの平均赤外線量ＩＲａｖｅに基づいて、赤外線信頼度Ｔｉｒ２を算出する（ステップＳ１２０１）。

なお、赤外線信頼度Ｔｉｒ２は、図７（Ｆ）に示すテーブル（赤外線信頼度テーブル）を参照して算出されるが、当該テーブルは図７（Ｅ）に示すテーブルと同様であるので、ここでは説明を省略する。

続いて、ＷＢ補正値加算比率算出部２１２は、ステップＳ４０５において被写体の色であると判定されたブロックの全ブロックに対する割合Ｎｒａｔｉｏに基づいて、緑信頼度Ｔｇｒｅｅｎを算出する（ステップＳ１２０２）。

なお、緑信頼度Ｔｇｒｅｅｎは、図７（Ｇ）に示すテーブル（緑信頼度テーブル）を参照して算出されるが、当該テーブルは図７（Ａ）に示すテーブルと同様であるので、ここでは説明を省略する。また、図７（Ｇ）に示すテーブルにおいて、横軸の数値は一例であって、これに限定するものではない。つまり、緑ブロックの割合が多い程、緑信頼度Ｔｇｒｅｅｎが高くなるように設定するようにすればよい。

次に、ＷＢ補正値加算比率算出部２１２は、赤外線信頼度Ｔｉｒ２と緑信頼度Ｔｇｒｅｅｎとに基づいて、式（１０）によって白ＷＢ補正値と赤外線ＷＢ補正値との加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを算出する（ステップＳ１２０３）。なお、前述のステップＳ４０３で算出された白ＷＢ補正値の信頼度を加味するようにしてもよい。また、信頼度によっては、白ＷＢ補正値および赤外線ＷＢ補正値の一方を用いるように加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを設定してもよい。

Ｒａｔｉｏ＿Ｗ＿ＩＲ＝Ｔｉｒ２×Ｔｇｒｅｅｎ／１００ （１０）
次に、混合ＷＢ補正値算出部２１３は、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに基づいて、式（１１）によって白ＷＢ補正値と赤外線ＷＢ補正値を加算したＷＢ補正値（混合ＷＢ補正値）ＷＢ＿Ｒｍｉｘを算出する（ステップＳ１２０４）。そして、処理は図４に示すフローチャートの処理に戻る。

ＷＢ＿Ｒｍｉｘ＝（ＷＢ＿Ｒｗ×（１００−Ｒａｔｉｏ＿Ｗ＿ＩＲ）＋ＷＢ＿Ｒｉｒ×Ｒａｔｉｏ＿Ｗ＿ＩＲ）／１００ （１１）
但し、白ＷＢ補正値のＲゲインをＷＢ＿Ｒｗで示し、赤外線ＷＢ補正値のＲゲインをＷＢ＿Ｒｉｒで示す。また、混合ＷＢ補正値のＲゲインをＷＢ＿Ｒｍｉｘで示す。なお、混合ＷＢ補正値のＧゲインおよびＢゲインについてもＲゲインを算出する際の式と同様の式を用いて算出する。

図１０（Ｄ）において、赤外線ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１０１４で示し、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１０１５で示す。また、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１０１６で示す。

（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１４と（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１５とを繋ぐ直線を、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに応じて分割した座標を、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１６とする。この処理によって、白ＷＢ補正値と赤外線ＷＢ補正値との遷移を滑らかにすることができる。

そして、上述のようにして得られた混合ＷＢ補正値によって、一次記憶装置１０４に記憶されたＲＡＷデータが画像データに変換される。

このように、本発明の第１の実施形態では、同様の色が多く検出される画像に対して、光源の色であるか又は被写体の色であるかを判定する。これによって、ホワイトバランス制御を適切に行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態による画像処理装置を備えるカメラの一例について説明する。

なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様であり、また、第２の実施形態による画像処理装置に備えられたホワイトバランス制御部の構成は図２に示す例と同様である。さらに、第２の実施形態に係るカメラで行われる撮影処理は、ＷＢ補正値演算処理を除いて、図３に示す撮影処理と同様である。

第２の実施形態においては、蛍光灯下の赤い被写体と夕景とを判別してホワイトバランス制御を行う例について説明する。

図１３は、本発明の第２の実施形態による画像処理装置で行われるＷＢ補正値の演算処理を説明するためのフローチャートである。

なお、図示のフローチャートに係る処理はＣＰＵ１０３の制御下で行われる。また、図示のフローチャートにおいて、図４に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ４０４において、信頼度Ｔｗｈｉｔｅが低信頼度であると、ＣＰＵ１０３は、色判定部２０５、輝度判定部２０６、赤外線量判定部２０７、ＲＧＢ値加算部２０８、および赤外線ＷＢ補正値信頼度算出部２１１を制御して赤外線判定に基づいた夕景検出を行う（ステップＳ１３０５）。ここでは、一次記憶装置１０４に記憶されたＲＡＷデータに係る画像が所定数のブロックに分割される。そして、赤外線センサ１０６において当該ブロック毎に検出された赤外線量に基づいて、夕景と同一の色（以下夕景色という）と判定されたブロックが赤い被写体の色であるか又は夕日によって赤く染まっている空の色であるかが判定される。そして、夕日によって赤く染まっている空の色であると判定された夕景色のブロックのみが積分される。

図１４は、図１３に示す夕景検出処理を説明するための図である。そして、図１４（Ａ）は夕景を撮影した画像の一例を示す図であり、図１４（Ｂ）は図１４（Ａ）に示す画像を所定数のブロックに分割した状態を示す図である。また、図１４（Ｃ）は体育館内を撮影した画像の一例を示す図であり、図１４（Ｄ）は図１４（Ｃ）に示す画像を所定数のブロックに分割した状態を示す図である。

図１４（Ｂ）において、夕日によって赤く染まっている空のブロックを参照番号１４０１で示し、夕日に照らされた青い海のブロックを参照番号１４０２で示す。図１４（Ａ）に示す例では、夕日が赤外線を発しているので、夕日によって赤く染まっている空のブロック１４０１は赤外線成分を含む。このため、夕景であると判定されて積分対象となる。なお、夕日に照らされた青い海のブロック１４０２については、夕景色ではないので積分対象外となる。

図１４（Ｄ）において、体育館のフローリングを参照番号１４０３で示す。図１４（Ｃ）に示す例では、体育館のフローリングの色と夕景色とが類似色であるので、夕景色と判定されることがある。一方、蛍光灯などの光源は赤外線を発していないので、赤い被写体と判定される結果、フローリングは積分対象外となる。

図１５は、図１３に示す夕景検出処理を説明するためのフローチャートである。

夕景検出処理を開始すると、図９に示すステップＳ９０１の処理と同様にして、色判定部２０５は予め設定された夕景色検出領域に含まれる色を抽出する。そして、色判定部２０５は、図７（Ｃ）に示すテーブルを参照して色信頼度Ｔｃｏｌｏｒを算出する（ステップＳ１５０１）。

続いて、図９に示すステップＳ９０２の処理と同様にして、輝度判定部２０６は、測光センサ１０５で検出された被写体輝度に基づいて、図７（Ｄ）に示すテーブルを参照して輝度信頼度Ｔｌｕｍｉを算出する（ステップＳ１５０２）。そして、赤外線量判定部２０７は、赤外線センサ１０６で検出された赤外線量に基づいて、赤外線信頼度Ｔｉｒを算出する（ステップＳ１５０３）。ここでは、赤外線信頼度Ｔｉｒは、例えば、体育館などの屋内において赤い被写体を撮影したか又は夕日によって赤く染まっている空を撮影したかいずれの可能性が高いかを示す信頼度である。

なお、赤外線量については、第１の実施形態と同様に、測光センサ１０５で得られる被写体輝度で正規化して、被写体輝度における赤外線量の比率を用いれば、明るさの変化によるバラツキを抑えることができる。

赤外線信頼度Ｔｉｒを算出する際には、図７（Ｅ）に示すテーブルが用いられるが、ここでは、第１の実施形態と異なり、最小値Ｉｍｉｎよりも赤外線量が少ない場合には被写体の色とされる。また、最大値Ｉｍａｘよりも赤外線量が多い場合には、光源の影響による色とされる。

夕景も広義では被写体の色となるが、日が傾くことによって、日の光が長い空気の層を通るようになって、周波数の高い青系統の光がより多く分散されるようになった結果、夕景は赤くなる。従って、ここでは、赤い被写体の色と夕景とを区別するため、夕景を光源の影響による色とする。

なお、最小値Ｉｍｉｎと最大値Ｉｍａｘとの間の場合には、線形補間によって赤外線量に応じて徐々に赤外線信頼度Ｔｉｒが変化する。

続いて、図９に示すステップＳ９０４の処理と同様にして、ＲＧＢ値加算部２０８はステップＳ１５０１〜Ｓ１５０３において算出された信頼度に基づいて、前述の式（４）によって夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡを算出する（ステップＳ１５０４）。

図１６は、本発明の第２の実施形態に備えられたＷＢ制御部で行われるＷＢ補正値の算出を説明するための図である。そして、図１６（Ａ）は赤外線判定に応じた夕景検出に関する処理を示す図であり、図１６（Ｂ）は夕景検出に応じた色温度推定処理を示す図である。また、図１６（Ｃ）は色温度推定に応じたＷＢ補正値の算出処理を示す図であり、図１６（Ｄ）は白ＷＢ補正値および赤外線ＷＢ補正値に応じて最終的なＷＢ補正値の算出処理を示す図である。

図１６（Ａ）を参照すると、ここでは、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。なお、夕景色検出領域１６０１の内側に色信頼度１００％となる領域１６０２が設定されているが、この領域１６０２は図１０（Ａ）に示す緑検出領域１００１内に設定される色信頼度１００％となる領域１００２と同一である。

全信頼度が高い色１６０３。夕景検出領域１６０１には含まれているが、色信頼度が１００％となる領域１６０２には含まれない、色信頼度Ｔｃｏｌｏｒが低い色１６０４とする。また、輝度信頼度Ｔｌｕｍｉ又は赤外線信頼度Ｔｉｒが低い色を参照番号１６０５で示し、夕景検出領域１６０１に含まれない色を参照番号１６０６で示す。そして、夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標（ＲｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ，ＢｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ）を参照番号１６０７で示す。

色１６０３〜１６０６および座標１６０７は、図１０（Ａ）に示す色１００３〜１００６および座標と１００７と同様であるので、ここでは、説明を省略する。

続いて、図９に示すステップＳ９０５の処理と同様にして、ＣＰＵ１０３は夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡが更新されているかを判定する（ステップＳ１５０５）。夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、ＢｉｎｔｅｇＡの少なくとも一つが更新されていると（ステップＳ１５０５において、ＹＥＳ）、つまり、夕景と判定されると、図９に示すステップＳ９０６の処理と同様にして、赤外線ＷＢ補正値信頼度算出部２１１は夕景を検出したブロックの平均赤外線量を算出するため、該当ブロックに対応する輝度で正規化した後の赤外線量ＩＲｉｊを、式（５）によって累計赤外線量ＩＲｔｏｔａｌに加算する（ステップＳ１５０６）。なお、ここで行われる正規化処理は、ブロックの赤外線量を該当ブロックに対応する測光センサ１０５の輝度値で除算する処理である。

続いて、図９に示すステップＳ９０７の処理と同様にして、赤外線ＷＢ補正値信頼度算出部２１１は、夕景を検出したブロックの画像全体に対する割合を算出するため、式（６）によって累計夕景ブロック数Ｎｔｏｔａｌでカウントする（ステップＳ１５０７）。そして、図９に示すステップＳ９０８の処理と同様にして、ＣＰＵ１０３は全ブロックについて確認したか否かを判定する。

全ブロックについて確認してない場合には（ステップＳ１５０８において、ＮＯ）、ＣＰＵ１０３は次のブロックに処理を移動して（ステップＳ１５０９）、ステップＳ１５０１の処理に戻る。なお、夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、ＢｉｎｔｅｇＡが更新されていないと（ステップＳ１５０５において、ＮＯ）、処理はステップＳ１５０８に進む。

全ブロックについて確認されると（ステップＳ１５０８において、ＹＥＳ）、図９に示すステップＳ９１０の処理と同様にして、赤外線ＷＢ補正値信頼度算出部２１１は、累計赤外線量ＩＲｔｏｔａｌと累計夕景ブロック数Ｎｔｏｔａｌとに応じて、式（７）によって夕景を検出したブロックの平均赤外線量ＩＲａｖｅを算出する（ステップＳ１５１０）。その後、ＣＰＵ１０３は図１３に示す処理に戻る。

上述の処理によって算出された夕景であると判別されたブロックのＲ、Ｇ、およびＢ積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡ、前述の式（８）で算出される夕景であると判別されたブロックの画像全体に対する割合Ｎｒａｔｉｏ、そして、夕景であると判別されたブロックの平均赤外線量ＩＲａｖｅを用いて、後述するようにして次の処理が行われる。

再び図１３を参照して、図４に示すステップＳ４０６の処理と同様にして、光源色推定部２０９は、夕景検出積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに対応する座標１６０７に基づいて、夕景の色温度を推定する（ステップＳ１３０６）。

なお、ステップＳ１３０６で行われる夕景検出に基づいた色温度推定については、図１１にフローチャートと同様の処理で行われるので、ここでは説明を省略する。

図１６（Ｂ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。図１６（Ｂ）に示す例は、図１０（Ｂ）に示す例と同様であり、点１６０８〜１６１３は点１００８〜１０１３に対応するので、ここでは説明を省略する。

続いて、図４に示すステップＳ４０７の処理と同様にして、赤外線ＷＢ補正値算出部２１０は、ステップＳ１３０６において推定された夕景の色温度に対応するＷＢ補正値（赤外線ＷＢ補正値）を算出する（ステップＳ１３０７）。

図１６（Ｃ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。図１６（Ｃ）に示す例は、図１０（Ｃ）に示す例と同様であり、赤外線ＷＢ補正値１６１４は赤外線ＷＢ補正値点１０１４に対応するので、ここでは説明を省略する。

次に、ＷＢ補正値加算比率算出部２１２および混合ＷＢ補正値算出部２１３は白ＷＢ補正値と赤外線ＷＢ補正値とを所定の割合で加算する（ステップＳ１３０８）。そして、加算の結果得られたＷＢ補正値を所定の値だけシフトさせて、最終的なＷＢ補正値が算出される。

図１７は、図１３に示す白ＷＢ補正値と赤外線ＷＢ補正値との加算処理を説明するためのフローチャートである。

図１６（Ｄ）および図１７を参照して、図１６（Ｄ）においては、横軸をＲ／Ｇ、縦軸をＢ／Ｇとして、位置関係を把握しやすくするため黒体輻射軌跡５０１が図示されている。加算処理を開始すると、ＷＢ補正値加算比率算出部２１２は、ステップＳ１３０５において夕景であると判定されたブロックの平均赤外線量ＩＲａｖｅに基づいて、赤外線信頼度Ｔｉｒ２を算出する（ステップＳ１７０１）。

なお、赤外線信頼度Ｔｉｒ２は、図７（Ｆ）に示すテーブル（赤外線信頼度テーブル）を参照して算出されるが、当該テーブルは図７（Ｅ）に示すテーブルと同様であるので、ここでは説明を省略する。

続いて、ＷＢ補正値加算比率算出部２１２は、ステップＳ１３０５において夕景であると判定されたブロックの全ブロックに対する割合Ｎｒａｔｉｏに基づいて、夕景信頼度Ｔｅｖｅｎｉｎｇを算出する（ステップＳ１７０２）。

なお、夕景信頼度Ｔｅｖｅｎｉｎｇは、図７（Ｈ）に示すテーブル（夕景信頼度テーブル）を参照して算出されるが、当該テーブルは図７（Ａ）に示すテーブルと同様であるので、ここでは説明を省略する。また、図７（Ｈ）に示すテーブルにおいて、横軸の数値は一例であって、これに限定するものではない。つまり、夕景ブロックの割合が多い程、夕景信頼度Ｔｅｖｅｎｉｎｇが高くなるように設定するようにすればよい。

次に、ＷＢ補正値加算比率算出部２１２は、赤外線信頼度Ｔｉｒ２と夕景信頼度Ｔｅｖｅｎｉｎｇとに基づいて、式（１２）によって白ＷＢ補正値と赤外線ＷＢ補正値との加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを算出する（ステップＳ１７０３）。なお、前述のステップＳ１３０３で算出された白ＷＢ補正値の信頼度を加味するようにしてもよい。また、信頼度によっては、白ＷＢ補正値および赤外線ＷＢ補正値の一方を用いるように加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲを設定してもよい。

Ｒａｔｉｏ＿Ｗ＿ＩＲ＝Ｔｉｒ２×Ｔｅｖｅｎｉｎｇ／１００ （１２）
次に、混合ＷＢ補正値算出部２１３は、図１２に示すステップＳ１２０４の処理と同様にして、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに基づいて、前述の式（１１）によって白ＷＢ補正値と赤外線ＷＢ補正値を加算したＷＢ補正値（混合ＷＢ補正値）ＷＢ＿Ｒｍｉｘを算出する（ステップＳ１７０４）。その後、混合ＷＢ補正値算出部２１３は混合ＷＢ補正値を予め設定された所定の値だけ赤みを強調する方向にシフトさせて、赤みが強調されたＷＢ補正値（夕景ＷＢ補正値）を算出する（ステップＳ１７０５）。そして、処理は図１３に示すフローチャートの処理に戻る。

図１６（Ｄ）において、赤外線ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１６１４で示し、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１６１５で示す。また、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１６１６で示し、夕景ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標を参照番号１６１７で示す。

（Ｒ／Ｇ，Ｂ／Ｇ）座標１６１４と（Ｒ／Ｇ，Ｂ／Ｇ）座標１６１５とを繋ぐ直線を、加算比率Ｒａｔｉｏ＿Ｗ＿ＩＲに応じて分割した座標を、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標１６１６とする。そして、所定の値だけ黒体輻射軌跡５０１に沿って（黒体輻射軌跡上に沿って）高色温度側へシフトさせた座標を夕景ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標１６１７とする。

上述の処理によって、白ＷＢ補正値と赤外線ＷＢ補正値との遷移を滑らかするとともに、夕景らしい赤みを強調した色合いにすることができる。

そして、上述のようにして得られた夕景ＷＢ補正値によって、一次記憶装置１０４に記憶されたＲＡＷデータが画像データに変換される。

上述の説明から明らかなように、図２に示す例では、ＣＰＵ１０３およびブロック分割部２０１が色検出手段として機能し、ＣＰＵ１０３および色判定部２０５が色判定手段として機能する。また、ＣＰＵ１０３および赤外線量判定部２０７が色判別手段として機能し、ＣＰＵ１０３およびＲＧＢ値加算部２０８が色加算手段として機能する。

さらに、ＣＰＵ１０３および光源色推定部２０９が色温度推定手段として機能し、ＣＰＵ１０３および赤外線ＷＢ補正値算出部２１０が第１のホワイトバランス補正値算出手段として機能する。そして、ＣＰＵ１０３およびＷＢ補正値加算比率算出部２１２は、第１の変更手段、第２の変更手段、第３の変更手段、および第４の変更手段として機能する。

また、ＣＰＵ１０３、白判定部２０２、白ＷＢ補正値算出部２０３は第２のホワイトバランス補正値算出手段として機能し、ＣＰＵ１０３および混合ＷＢ補正値算出部２１３は補正値加算手段として機能する。さらに、ＣＰＵ１０３および赤外線ＷＢ補正値信頼度算出部２１１は平均赤外線量算出手段およびブロック割合算出手段として機能する。加えて、ＣＰＵ１０３よび白ＷＢ補正値信頼度算出部２０４は距離算出手段および画素割合算出手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも色検出ステップ、色判定ステップ、色判別ステップ、色加算ステップ、色温度推定ステップ、およびホワイトバランス補正値算出ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２０２ 白判定部
２０３ 白ＷＢ補正値算出部
２０４ 白ＷＢ補正値信頼度算出部
２０５ 色判定部
２０６ 輝度判定部
２０７ 赤外線量判定部
２１０ 赤外線ＷＢ補正値算出部
２１１ 赤外線ＷＢ補正値信頼度算出部
２１２ ＷＢ補正値加算比率算出部
２１３ 混合ＷＢ補正値算出部

Claims (13)

1. 画像にホワイトバランス処理を行う画像処理装置であって、
   前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出手段と、
   前記色検出手段により検出された色が所定の色検出枠に含まれるか否かを判定する色判定手段と、
   前記ブロック領域の各々において検出された赤外線量に応じて、前記色判定手段によって前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別手段と、
   前記色判別手段によって被写体の色であると判別されたブロック領域の色を、前記色検出枠における位置と前記赤外線量とに応じて加算比率を変更して加算する色加算手段と、
   前記色加算手段によって得られた加算値の前記色検出枠における位置に応じて、色温度を推定する色温度推定手段と、
   前記色温度推定手段によって推定された色温度に応じて、前記ホワイトバランス処理に用いられる第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記色温度推定手段は、前記色温度として、自然光の色温度を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のホワイトバランス補正値算出手段は、前記色温度推定手段によって推定された色温度に対応する黒体輻射軌跡上の前記第１のホワイトバランス補正値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 被写体の輝度に応じて、前記色加算手段における加算比率を変更する第１の変更手段を有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１のホワイトバランス補正値と異なる第２のホワイトバランス補正値を求める第２のホワイトバランス補正値算出手段と、
   前記第１のホワイトバランス補正値と前記第２のホワイトバランス補正値を加算比率に応じて加算する補正値加算手段とを有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記第２のホワイトバランス補正値算出手段は、予め設定された白色領域に含まれる画素に係る積分値に応じて、前記第２ホワイトバランス補正値を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記色判別手段によって被写体の色であると判別されたブロック領域における平均赤外線量を算出する平均赤外線量算出手段と、
   前記平均赤外線量算出手段によって算出された平均赤外線量に応じて、前記補正値加算手段で用いられる前記加算比率を変更する第２の変更手段とを有することを特徴とする請求項５に記載の画像処理装置。
8. 前記色判別手段によって被写体の色であると判別されたブロック領域の全てのブロック領域に対する割合をブロック割合として算出するブロック割合算出手段と、
   前記ブロック割合算出手段によって算出された前記ブロック割合に応じて、前記補正値加算手段で用いられる前記加算比率を変更する第２の変更手段とを有することを特徴とする請求項５に記載の画像処理装置。
9. 前記第２のホワイトバランス補正値と黒体輻射軌跡との最短距離を算出する距離算出手段と、
   前記最短距離に応じて前記補正値加算手段で用いられる加算比率を変更する第３の変更手段とを有することを特徴とする請求項５〜８のいずれか１項に記載の画像処理装置。
10. 予め設定された白色領域に含まれる画素の全ての画素に対する割合を画素割合として算出する画素割合算出手段と、
    前記画素割合に応じて、前記補正値加算手段の加算比率を変更する第４の変更手段とを有することを特徴とすることを特徴とする請求項５〜９のいずれか１項に記載の画像処理装置。
11. 画像にホワイトバランス処理を行う画像処理装置の制御方法であって、
    前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、
    前記色検出ステップで検出された色が所定の色検出枠に含まれるか否かを判定する色判定ステップと、
    前記ブロック領域の各々において検出された赤外線量に応じて、前記色判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、
    前記色判別ステップで被写体の色であると判別されたブロック領域の色を、前記色検出枠における位置と前記赤外線量とに応じて加算比率を変更して加算する色加算ステップと、
    前記色加算ステップで得られた加算値の前記色検出枠における位置に応じて、色温度を推定する色温度推定ステップと、
    前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出するホワイトバランス補正値算出ステップと、
    を有することを特徴とする制御方法。
12. 画像にホワイトバランス処理を行う画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出ステップと、
    前記色検出ステップで検出された色が所定の色検出枠に含まれるか否かを判定する色判定ステップと、
    前記ブロック領域の各々において検出された赤外線量に応じて、前記色判定ステップで前記色検出枠に含まれると判定されたブロック領域の色が光源の色であるか又は被写体の色であるか判別する色判別ステップと、
    前記色判別ステップで被写体の色であると判別されたブロック領域の色を、前記色検出枠における位置と前記赤外線量とに応じて加算比率を変更して加算する色加算ステップと、
    前記色加算ステップで得られた加算値の前記色検出枠における位置に応じて、色温度を推定する色温度推定ステップと、
    前記色温度推定ステップで推定された色温度に応じて、前記ホワイトバランス処理に用いられるホワイトバランス補正値を算出するホワイトバランス補正値算出ステップと、
    を実行させることを特徴とする制御プログラム。
13. 画像にホワイトバランス処理を行う画像処理装置であって、
    前記画像を複数のブロック領域に分割して、当該ブロック領域の各々について色を検出する色検出手段と、
    前記ブロック領域の各々において検出された赤外線量に応じて、前記色検出手段により検出された色が、光源の色であるか又は被写体の色であるか判別する色判別手段と、
    前記色判別手段によって被写体の色であると判別されたブロック領域の色を加算して得られた加算値から色温度を推定する色温度推定手段と、
    前記色温度推定手段によって推定された色温度に応じて、前記ホワイトバランス処理に用いられる第１のホワイトバランス補正値を算出する第１のホワイトバランス補正値算出手段と、
    を有することを特徴とする画像処理装置。