JP2012054827A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の光源が混在する場合であっても、適正な色味とする画像を生成できるようにする。
【解決手段】まず、メモリ１０２に記憶された画像信号に対して、第１の光源に対応した第１のＷＢ補正値を決定し、次に、第２の光源に対応した第２のＷＢ補正値を決定する。そして、第１のＷＢ補正値を用いて現像し、現像画像信号Yuv1を生成するとともに、第２のＷＢ補正値を用いて現像し、現像画像信号Yuv2を生成する。次に、メモリ１０２に記憶された画像信号の各ブロックの色評価値を算出して、前記各ブロックの色評価値と前記第２の光源の白の色評価値との差分に基づいて合成比率を算出する。そして、合成比率に基づいて現像画像信号Yuv1と現像画像信号Yuv2とを合成する。
【選択図】図１

Description

本発明は、ホワイトバランス補正を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

一般に、デジタルカメラやデジタルビデオカメラなど、撮像素子を用いる撮像装置は、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。このホワイトバランス制御には、予め白色被写体を撮像してホワイトバランス係数を求めておき、算出したホワイトバランス係数を画面全体に適用するマニュアルホワイトバランス制御がある。また、撮像した画像から白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御もある。

ここで、従来のオートホワイトバランス制御について説明する。撮像素子から出力されたアナログ信号はＡ／Ｄ変換によってデジタル信号に変換され、図３に示すように複数のブロックに分割される。各ブロックはＲ、Ｇ、Ｂの色画素で構成されており、ブロック毎に、例えば以下の式（１）により、色評価値（Cx[i]，Cy[i]）を求める。

そして、算出した色評価値（Cx[i]，Cy[i]）が予め設定した白検出範囲に含まれる場合は、そのブロックが白であると判定する。そして、そのブロックに含まれる色画素の積分値（SumR，SumG，SumB）を算出して、以下の式（２）によりホワイトバランス係数（WBCo＿R，WBCo＿G，WBCo＿B）を算出する。

しかしながら、このようなオートホワイトバランス制御の場合、画像内に異なる複数の光源が存在するシーンであっても、上記算出したホワイトバランス係数を画面全体に適用してホワイトバランス制御を行う。このため、各光源を共に適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、高色温度光源であるストロボ光を発光しているシーンで、環境光に電球色光源のような低色温度光源が存在する場合、ストロボ光にホワイトバランスを合わせると、環境光の低色温度光源にホワイトバランスが合わなくなってしまう。一方、環境光の低色温度光源にホワイトバランスを合わせると、ストロボ光にホワイトバランスが合わなくなってしまう。また、両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行ったとしても、両方の光源にホワイトバランスが合わず、ストロボ光で照射されている領域は青みを帯び、低色温度光源で照射されている領域は赤味を帯びてしまう。

そこで、このような課題に対して、例えば特許文献１に記載の技術では、ストロボ発光画像とストロボ非発光画像とを、任意の被写体領域ごとに比較してデータの比を求め、求めた比の値によりストロボ光の寄与度を判定する。そして、寄与度に応じてストロボ発光して露光させたときの映像データに対して領域ごとにホワイトバランス制御値を選択して、ホワイトバランス制御を行っている。

特許第３５４０４８５号公報

しかしながら、特許文献１に開示された技術では、ストロボ光を発光した時のホワイトバランス制御であり、ストロボ光を発光していない場合には適用することができない。また、ホワイトバランス制御値を各領域で可変させた後に現像処理を行うため、色の再現などその他の制御がホワイトバランス制御値に対して適正にならなくなってしまう場合がある。このため、適正な色味を十分に再現できない。

本発明は前述の問題点に鑑み、複数の光源が混在する場合であっても、適正な色味とする画像を生成できるようにすることを目的としている。

本発明の画像処理装置は、画像データにおける第１の光源に対応した第１のホワイトバランス補正値を決定する第１の決定手段と、前記画像データにおける第２の光源に対応した第２のホワイトバランス補正値を決定する第２の決定手段と、前記第１の決定手段により決定された第１のホワイトバランス補正値を用いて前記画像データを補正して第１の現像画像データを生成するとともに、前記第２の決定手段により決定された第２のホワイトバランス補正値を用いて前記画像データを補正して第２の現像画像データを生成する補正手段と、前記画像データを複数のブロックに分割する分割手段と、前記画像データの各画素の色評価値を前記分割手段によって分割された各ブロックで加算平均して、前記各ブロックの色評価値を算出する色評価値算出手段と、前記色評価値算出手段により算出された各ブロックの色評価値と前記第２の光源の白の色評価値との差分に基づいて合成比率を算出する合成比率算出手段と、前記合成比率算出手段により算出された合成比率により、前記補正手段により生成された第１の現像画像データと第２の現像画像データとを合成する合成手段とを有することを特徴とする。

本発明によれば、複数の光源が混在する場合であっても、適正な色味とする画像を生成することができる。

実施形態に係るデジタルカメラの構成例を示すブロック図である。 画像を合成する処理手順の一例を示すフローチャートである。 Ｒ、Ｇ、Ｂの色画素で構成されているブロックを示す図である。 白検出を行うための色評価値の関係の一例を示す特性図である。 第１のＷＢ補正値を決定する処理手順の一例を示すフローチャートである。 合成比率の算出に用いられる色評価値の関係の一例を示す図である。 合成比率の算出に用いられる色評価値の関係の他の一例を示す図である。 低色温度光源を用いた場合の色評価値の関係の一例を示す図である。 低色温度光源の場合の入力と出力との関係を示す特性図である。

以下に、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、固体撮像素子１０１はＣＣＤやＣＭＯＳ等からなる撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が固体撮像素子１０１上で結像されると、画像データ（画像信号）を生成して、メモリ１０２に記憶される。

制御部１１４は、画像全体が明るくなるようなシャッター速度、絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。そして、制御部１１４により計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量の情報が撮像制御回路１１３に送られ、各値に基づいてそれぞれ制御される。ホワイトバランス（ＷＢ）制御部１０３は、メモリ１０２に記憶された画像信号に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部１０３の詳細な構成及びＷＢ補正値の算出方法については、後述する。

色マトリックス回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Chroma Supress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像信号のうち、飽和部分の偽色信号を抑圧するための回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は、輝度信号生成回路１１１にも出力される。輝度信号生成回路１１１は、入力された画像信号から輝度信号Ｙを生成する。エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正回路１０８は、変換されたＲＧＢ信号に対して階調補正を施す。その後、色輝度変換回路１０９は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換し、さらに圧縮回路１１０は、ＪＰＥＧ方式などにより圧縮して、外部または内部の記録媒体１１５に画像信号として記録する。

次に、ＷＢ制御部１０３によるＷＢ補正値の算出方法について詳細に述べる。図５は、第１の決定手段として機能するＷＢ制御部１０３による第１のホワイトバランス補正値（第１のＷＢ補正値）を決定する処理手順の一例を示すフローチャートである。ここで、第１のＷＢ補正値とは、第１の光源に対する通常のホワイトバランス制御により算出される補正値である。

まず、ステップＳ５０１において、メモリ１０２に記憶された画像信号を読み出し、その画面を任意のｍ個のブロックに分割する。そして、ステップＳ５０２において、ｍ個のブロック毎に、画素値を各色に加算平均して色平均値（R[i]，G[i]，B[i]）を算出する。そして、以下の式（３）を用いてさらに色評価値（Cx[i]，Cy[i]）を算出する。

次に、ステップＳ５０３において、白検出を行い、白検出範囲内であるか否かを判断する。ここで、白検出する方法について説明する。

図４は、白検出を行うための色評価値の関係を示す特性図である。
図４（ａ）において、ｘ座標（Cx）の負方向は、高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Cy）は光源の緑成分の度合いを示しており、負方向になるにつれGreen成分が大きくなり、つまり蛍光灯であることを示している。ステップＳ５０３では、ステップＳ５０２で算出したｉ番目のブロックの色評価値（Cx[i]，Cy[i]）が、図４（ａ）に示す、予め設定した白検出範囲４０１に含まれるかどうかを判断する。

図４（ａ）に示す白検出範囲４０１は、予め異なる光源下で白を撮影し、算出した色評価値を黒体放射軸に沿ってプロットしたものである。なお、この白検出範囲４０１は撮影モードによって異なるように設定できるものとする。算出した色評価値（Cx[i]，Cy[i]）がこの白検出範囲４０１に含まれる場合には（ステップＳ５０３／ＹＥＳ）、そのブロックが白色であると判断する。そこで、ステップＳ５０４において、そのブロックの色平均値（R[i]，G[i]，B[i]）を積算する。一方、白検出範囲４０１に含まれない場合には（ステップＳ５０３／ＮＯ）、そのブロックの色平均値を加算せずにステップＳ５０５に進む。このステップＳ５０４の処理では、以下の式（４）を用いて色平均値（R[i]，G[i]，B[i]）を積算する。

ここで、式（４）において、色評価値（Cx[i]，Cy[i]）が白検出範囲４０１に含まれる場合はSw[i]を１に設定し、含まれない場合にはSw[i]を０に設定する。これにより、色評価値（R[i]，G[i]，B[i]）加算を行うか、行わないかの処理を行っている。

次に、ステップＳ５０５において、すべてのブロックについて色検出範囲内か否かを判断する処理を行ったかどうかを判断する。この判断の結果、未処理のブロックがある場合はステップＳ５０２に戻り、すべてのブロックの処理が終了している場合は次のステップＳ５０６に進む。このように、すべてのブロックの処理が終了した段階で、式（４）に示す積分値（SumR1，SumG1，SumB1）が決定される。

次に、ステップＳ５０６において、得られた色評価値の積分値（SumR1，SumG1，SumB1）から、以下の式（５）を用いて、第１のＷＢ補正値（WBCol＿R1，WBCol＿G1，WBCol＿B1）を算出する。

また、ストロボ光を発光する時には、図４（ｂ）に示すようなストロボ光用の白検出範囲４０２を用いて、上記のＷＢ補正値算出方法と同様に第１のＷＢ補正値を算出する。これはストロボ光という既知の光源であることから、白検出範囲を限定できるためである。ここで、ストロボ光を発光する時には、第１のＷＢ補正値としてストロボ光のＷＢ補正値を既知のものとして予め設定してもよい。

次に、第２の光源に対する第２のホワイトバランス補正値（第２のＷＢ補正値）の決定方法について説明する。第２のＷＢ補正値については、第２の決定手段として機能するＷＢ制御部１０３が光源ごとに予め決められた値を用いて決定する。この値には、予め各光源下で白を撮影し、算出した値を用いる。まず、光源を推定するためにシーン判別を行い、例えば、シーン判別の結果、光源を水銀灯と判別した場合には、水銀灯用に予め決められているＷＢ補正値を第２のＷＢ補正値として用いる。ここで、光源に複数の種類がある場合、光源の種類に応じて第２のＷＢ補正値を可変にしてもよい。例えば、水銀灯に２つの種類がある場合には、それぞれの水銀灯に応じてＷＢ補正値を可変にする。

また、ストロボ光を発光するシーンで背景が電球色光源のような低色温度光源の場合に、シーンの雰囲気を考慮し、色味を残すように第２のＷＢ補正値を算出してもよい。例えば、図９に示すような関係により、入力される画像と出力する画像とで色温度が異なるようにする。このように、第２のＷＢ補正値の色温度が低い場合に色味を残すように制御することにより、例えば、電球色光源の赤味を残すような画像を生成することができる。

続いて、画像合成処理について図２のフローチャートを参照しながら説明する。図２は、ＷＢ制御部１０３により画像を合成する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、メモリ１０２に記憶された画像信号からシーン判別を行い、光源を判別可能か否か判断する。この判断の結果、光源を判別できない場合には、ステップＳ２０８において、画像合成処理を行わず、図５に示した手順により算出された第１のＷＢ補正値を用いて通常のホワイトバランス制御を行う。一方、ステップＳ２０１の判断の結果、光源が判別可能である場合には画像合成処理を行うために、次のステップＳ２０２に進む。

次に、ステップＳ２０２において、メモリ１０２に記憶されている画像信号に対し、上記第１のＷＢ補正値を用いてホワイトバランス補正を行い、第１の現像画像データとして現像画像信号Yuv1を生成する。そして、ステップＳ２０３において、同様に上記第２のＷＢ補正値を用いてホワイトバランス補正を行い、第２の現像画像データとして現像画像信号Yuv2を生成する。次に、ステップＳ２０４において、メモリ１０２に記憶されている画像信号、現像画像信号Yuv1、及び現像画像信号Yuv2をそれぞれｎ個のブロックに分割する。

次に、ステップＳ２０５において、メモリ１０２に記憶されている画像信号から、ブロックごとに画素値を各色に加算平均して色平均値（R[i]，G[i]，B[i]）を算出する。そして、ＷＢ制御部１０３は色評価値算出手段として機能し、前述した式（３）を用いてさらに色評価値（Cx[i]，Cy[i]）を算出する。なお、ステップＳ５０１で算出した色評価値（Cx[i]，Cy[i]）をそのまま用いてもよい。このとき、飽和画素が存在する場合にはその飽和画素の画素値とその画素に対応する別色の画素の画素値とを加算処理に含めなくてもよい。例えば、あるＲ画素が飽和画素である場合には、Ｒ画素の画素値とそのＲ画素に対応するＧ画素の画素値及びＢ画素の画素値とを加算処理に含めないようにする。

次に、ステップＳ２０６において、ＷＢ制御部１０３は合成比率算出手段として機能し、各光源に応じて評価枠を設定して、上記の第２のＷＢ補正値と各ブロックの色評価値との差分を基にブロックごとの合成比率を算出する。例えば、光源に水銀灯を用いたシーンでは、図６に示すように、第２のＷＢ補正値として予め決められた水銀灯下の白の色評価値を重心とした水銀灯用の評価枠６０１を設定する。そして、予め決められた水銀灯下の白の色評価値と各ブロックの色評価値との距離を基に各ブロックの合成比率を算出する。なお、評価枠６０１は予め水銀灯下で白の被写体を撮影し算出された色評価値を基に設定したものである。

まず、色評価値と水銀灯下の白の色評価値との差分が小さく、図６に示す内枠６０２の内部に色評価値が存在するブロックに対しては、当該ブロックの合成比率α[i]を１とする。次に、図６に示す内枠６０２と評価枠６０１との間の領域に色評価値が存在するブロックに対しては、以下のように合成比率α[i]を算出する。すなわち、内枠６０２を合成比率α[i]＝１、評価枠６０１を合成比率α[i]＝０とするように、内枠６０２から評価枠６０１に向かって合成比率を線形的に減少させ、当該ブロックの合成比率α[i]を算出する。そして、評価枠６０１の外部に色評価値が存在するブロックに対しては、合成比率α[i]を０とする。

ここで、評価枠６０１や内枠６０２の設定は四角形ではなく任意の形にしてもよい。例えば、図７に示すように評価枠６０１を楕円形（円形）にしてもよい。また、例えば、電球色光源のような低色温度光源を用いたシーンの場合においても、図８に示すような評価枠６０１及び内枠６０２を設定すればよい。そして、水銀灯を光源としたシーンにおける合成比率算出方法と同様の処理により合成比率を算出することができる。

次に、ステップＳ２０７において、ブロックごとの合成比率α[i]を用いて現像画像信号Yuv1と現像画像信号Yuv2とを合成し、合成画像信号Yuv3を生成する。合成画像信号Yuv3の色評価値（Y3[i]，u3[i]，v3[i]）を算出する際に、現像画像信号Yuv1の色評価値（Y1[i]，u1[i]，v1[i]）と現像画像信号Yuv2の色評価値（Y2[i]，u2[i]，v2[i]）とを用いる。すなわち、以下の式（６）により合成画像信号Yuv3の色評価値（Y3[i]，u3[i]，v3[i]）を算出する。

ここで、ブロックの境界部分に生じる色味ずれを緩和するために、ステップＳ２０７でさらに画素補間処理を行うことにより、ブロックごとの合成比率α[i]から画素ごとの合成比率α'[j]を算出してもよい。例えば、画素補間処理としてバイリニア補間を用い、ブロックごとの合成比率α[i]から画素ごとの合成比率α'[j]を算出する。このとき、ステップＳ２０７では、画素ごとの合成比率α'[j]を用いて現像画像信号Yuv1と現像画像信号Yuv2とを合成し、合成画像信号Yuv3を生成する。合成画像信号Yuv3の色評価値（Y3[j]，u3[j]，v3[j]）を算出する際に、現像画像信号Yuv1における色評価値（Y1[j]，u1[j]，v1[j]）と現像画像信号Yuv2の色評価値（Y2[j]，u2[j]，v2[j]）とを用いる。すなわち、以下の式（７）により合成画像信号Yuv3の色評価値（Y3[j]，u3[j]，v3[j]）を算出する。

また、回路における計算量を低減するために、色成分であるｕ成分及びｖ成分のみを合成してもよい。例えば、画像合成処理において合成画像信号Yuv3の色評価値（Y3[i]，u3[i]，v3[i]）を以下の式（８）により算出する。

また、前述した画像合成処理において現像画像信号はＹｕｖ形式を用いたが、例えば、画像形式としてＲＧＢ形式を用いた場合、ステップＳ２０７において用いた式（６）の代わりに、以下の式（９）を用いる。つまり、まず、第１のＷＢ補正値を用いて現像した現像画像信号RGB1の色評価値（R1[i]，G1[i]，B1[i]）と、第２のＷＢ補正値を用いて現像した現像画像信号RGB2の色評価値（R2[i]，G2[i]，B2[i]）とを算出する。そして、合成画像信号RGB3の色評価値（R3[i]，G3[i]，B3[i]）を式（９）により算出する。

また、前述した画像合成処理では、光源が２種類以上存在する場合に、現像画像を２枚以上にして合成してもよい。例えば、水銀灯を用いたシーンにおいてストロボ光を発光した時には、上記第１のＷＢ補正値、第２のＷＢ補正値に加えて、上記第２のＷＢ補正値を決定する方法と同様にストロボ光に対応した第３のＷＢ補正値を決定する。そして、３つのＷＢ補正値をそれぞれ用いて３枚の画像を現像して画像合成処理を行う。

以上のように本実施形態の画像処理によれば、異なる複数の光源が混在するシーンにおいて、主被写体と背景とを共に適正な色味とする画像を生成し、ユーザーにとって好ましい画像を提供することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３ ＷＢ制御部、１０４ 制御部

Claims (10)

1. 画像データにおける第１の光源に対応した第１のホワイトバランス補正値を決定する第１の決定手段と、
   前記画像データにおける第２の光源に対応した第２のホワイトバランス補正値を決定する第２の決定手段と、
   前記第１の決定手段により決定された第１のホワイトバランス補正値を用いて前記画像データを補正して第１の現像画像データを生成するとともに、前記第２の決定手段により決定された第２のホワイトバランス補正値を用いて前記画像データを補正して第２の現像画像データを生成する補正手段と、
   前記画像データを複数のブロックに分割する分割手段と、
   前記画像データの各画素の色評価値を前記分割手段によって分割された各ブロックで加算平均して、前記各ブロックの色評価値を算出する色評価値算出手段と、
   前記色評価値算出手段により算出された各ブロックの色評価値と前記第２の光源の白の色評価値との差分に基づいて合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段により算出された合成比率により、前記補正手段により生成された第１の現像画像データと第２の現像画像データとを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記第１の決定手段は、黒体放射軸を用いたホワイトバランス制御に基づいて前記第１のホワイトバランス補正値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の決定手段は、光源ごとに予め決められた値を用いて第２のホワイトバランス補正値を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記画像データの光源を判別できない場合は、前記合成手段による合成を行わないようにすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記合成比率算出手段は、補間処理により画素ごとの合成比率を算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記色評価値算出手段は、飽和画素が存在する場合には、前記飽和画素の画素値とその画素に対応する別色の画素の画素値とを色平均値の算出に含めないようにすることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記第２の決定手段は、光源に対して色味を残すように前記第２のホワイトバランス補正値を決定することを特徴とする請求項３に記載の画像処理装置。
8. 前記合成手段は、前記第１の現像画像データ及び前記第２の現像画像データの色成分を合成することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 画像データにおける第１の光源に対応した第１のホワイトバランス補正値を決定する第１の決定工程と、
   前記画像データにおける第２の光源に対応した第２のホワイトバランス補正値を決定する第２の決定工程と、
   前記第１の決定工程において決定された第１のホワイトバランス補正値を用いて前記画像データを補正して第１の現像画像データを生成するとともに、前記第２の決定工程において決定された第２のホワイトバランス補正値を用いて前記画像データを補正して第２の現像画像データを生成する補正工程と、
   前記画像データを複数のブロックに分割する分割工程と、
   前記画像データの各画素の色評価値を前記分割工程において分割された各ブロックで加算平均して、前記各ブロックの色評価値を算出する色評価値算出工程と、
   前記色評価値算出工程において算出された各ブロックの色評価値と前記第２の光源の白の色評価値との差分に基づいて合成比率を算出する合成比率算出工程と、
   前記合成比率算出工程において算出された合成比率により、前記補正工程において生成された第１の現像画像データと第２の現像画像データとを合成する合成工程とを有することを特徴とする画像処理方法。
10. 画像データにおける第１の光源に対応した第１のホワイトバランス補正値を決定する第１の決定工程と、
    前記画像データにおける第２の光源に対応した第２のホワイトバランス補正値を決定する第２の決定工程と、
    前記第１の決定工程において決定された第１のホワイトバランス補正値を用いて前記画像データを補正して第１の現像画像データを生成するとともに、前記第２の決定工程において決定された第２のホワイトバランス補正値を用いて前記画像データを補正して第２の現像画像データを生成する補正工程と、
    前記画像データを複数のブロックに分割する分割工程と、
    前記画像データの各画素の色評価値を前記分割工程において分割された各ブロックで加算平均して、前記各ブロックの色評価値を算出する色評価値算出工程と、
    前記色評価値算出工程において算出された各ブロックの色評価値と前記第２の光源の白の色評価値との差分に基づいて合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率により、前記補正工程において生成された第１の現像画像データと第２の現像画像データとを合成する合成工程とをコンピュータに実行させることを特徴とするプログラム。

Images