JP2010088113A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】長時間露光画像データと短時間露光画像データとを合成した画像に於いても、画面全体に色ずれを生じさせない良好なホワイトバランス補正を実行可能な撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供すること。
【解決手段】短時間露光画像データは、短時間露光画像データ及び長時間露光画像データに基づきホワイトバランス補正を行い、長時間露光画像データは、短時間露光画像データ及び長時間露光画像データに基づきホワイトバランス補正を行い、これらを合成することを特徴とする。
【選択図】図３

Description

本発明は、ホワイトバランス制御を行う撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体に関するものである。

デジタルスチルカメラ等の撮像装置の分野において、被写体の色温度が異なる場合であっても一定の色再現性を得るために、ホワイトバランス補正が行われている。
しかしながら、このホワイトバランス補正に係る技術によっても、例えば室内風景を撮像した場合、室内に存在する被写体の映像が良好であっても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうと言う問題がある。これは画像のダイナミックレンジが狭いためである。

そこで、この問題を解決するために、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが従来から行われている。例えば、高速シャッタを切って１枚目の短時間露光画像を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像を撮像し、２枚の画像を合成することで、低感度画像中で良好に映っている窓の外の風景が、室内風景が良好に映っている高感度画像に重なるようにしている。

さらに特許文献１では、固体撮像装置で撮影した高出力画像と低出力画像とから合成してダイナミックレンジの広い画像を出力する撮像装置に於いて、合成前の高出力画像と低出力画像両方に適用する、または高出力画像のみに適用する、若しくは高出力画像と低出力画像とを合成した画像に対して適用するホワイトバランスゲインに、高出力画像から算出したホワイトバランスゲインを使用する方法が開示されている。
またさらに特許文献２では、色バランスが調整された短時間露光画像と長時間露光画像とが合成された画像に対するホワイトバランスゲインに、長時間露光画像から算出したものを適用する方法が開示されている。

しかしながら上記した方法によると、長時間露光画像に対して設定するホワイトバランスゲインは長時間露光画像からのみで算出しているため、通常の合成処理を用いない撮像装置の撮影画像の露光時間よりも長い若しくは同じ長時間露光画像からでは、光源色がより反映される高輝度部分の白が抽出できないため、精度の高いホワイトバランス補正を行うことができないと言う問題がある。

本発明は以上の従来技術における問題に鑑みてなされたもので、長時間露光画像データと短時間露光画像データとを合成した画像に於いても、画面全体に色ずれを生じさせない良好なホワイトバランス補正を実行可能な撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決するために本発明に係る撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体は、具体的には下記（１）〜（１３）に記載の技術的特徴を有する。

（１）：光学系から短時間入射した光を電気信号に変換して短時間露光画像データを出力し、光学系から長時間入射した光を電子信号に変換して長時間露光画像データを出力する撮像素子と、前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得手段と、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定手段と、前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出手段と、前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出手段と、前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正手段と、前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成手段と、を備えることを特徴とする撮像装置。

（２）：前記白抽出範囲設定手段は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（１）に記載の撮像装置である。

（３）：前記白抽出範囲設定手段は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（１）に記載の撮像装置である。

（４）：前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割手段を備え、前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、前記補正係数算出手段は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする上記（１）に記載の撮像装置である。

（５）：光学系から短時間入射した光を撮像素子で電気信号に変換して短時間露光画像データを出力し、光学系から長時間入射した光を撮像素子で電子信号に変換して長時間露光画像データを出力する光電変換工程と、前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得工程と、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定工程と、前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出工程と、前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出工程と、前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正工程と、前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成工程と、を備えることを特徴とする撮像方法である。

（６）：前記白抽出範囲設定工程は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（５）に記載の撮像方法である。

（７）：前記白抽出範囲設定工程は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（５）に記載の撮像方法である。

（８）：前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割工程を備え、前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、前記補正係数算出工程は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする（５）に記載の撮像方法である。

（９）：画像処理機能を有する装置が備えるコンピュータに、光学系から短時間入射した光を撮像素子で電気信号に変換して短時間露光画像データを出力し、光学系から長時間入射した光を撮像素子で電子信号に変換して長時間露光画像データを出力する光電変換処理と、前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得処理と、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定処理と、前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出処理と、前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出処理と、前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正処理と、前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成処理と、を実行させるためのプログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体である。

（１０）：前記白抽出範囲設定処理は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（９）に記載のコンピュータに読み取り可能な記録媒体である。

（１１）：前記白抽出範囲設定工程は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする上記（９）に記載のコンピュータに読み取り可能な記録媒体である。

（１２）：前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割処理を備え、前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、前記補正係数算出処理は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする（９）に記載のコンピュータに読み取り可能な記録媒体である。

（１３）：光学系から短時間入射した光を電気信号に変換して短時間露光画像データを出力し、光学系から長時間入射した光を電子信号に変換して長時間露光画像データを出力する撮像素子と、前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得手段と、高輝度部分については前記短時間露光画像データを用い、低輝度部分については前記長時間露光画像データを用いて、前記短時間露光画像データ及び前記長時間露光画像データを日向領域と日陰領域とに分割する日向日陰領域分割手段と、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定手段と、前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出手段と、前記短時間露光画像データ白抽出結果を用いて短時間露光画像ホワイトバランス補正係数を算出し、前記長時間露光画像データ白抽出結果を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出手段と、前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正手段と、前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成手段と、を備え、前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、前記補正係数算出手段は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする撮像装置である。

本発明によれば、長時間露光画像と短時間露光画像と合成した画像に於いても画面全体に色ずれを生じさせない良好なホワイトバランス補正を実行可能な撮像装置及び撮像方法、並びに該撮像方法をコンピュータに実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体を提供することができる。

本発明に係る撮像装置の一実施の形態であるデジタルカメラにおける外観を示す概略図である。 本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。 本発明に係る撮像装置の第１の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 （Ａ）本発明に係る撮像装置の第１の実施の形態における短時間露光画像データ用白抽出範囲の一例をＧ／Ｒ−Ｇ／Ｂ座標上に示したグラフである。（Ｂ）本発明に係る撮像装置の第１の実施の形態における長時間露光画像データ用白抽出範囲の一例をＧ／Ｒ−Ｇ／Ｂ座標上に示したグラフである。 ＡＥ制御値の一例を示す図である。 本発明に係る撮像装置の第２の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第３の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 （Ａ）Ｇ／Ｒと、ＡＧＣとの関係の一例を示すグラフである。（Ｂ）Ｇ／Ｂと、ＡＧＣとの関係の一例を示すグラフである。 本発明に係る撮像装置の第４の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 低輝度部分及び高輝度部分の具体例を示す説明図である。 輝度値Ｙと、青成分と赤成分との比Ｂ／Ｒとの相関図である。 大きな領域内に存在する微小領域の一例を示す概略図である。 本発明に係る撮像装置の１実施の形態における撮像信号が格子状のブロックに分割された模式図と、該模式図における被写体領域と背景領域を説明する説明図である。 本発明に係る撮像装置の第５の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第６の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第７の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第８の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第９の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第１０の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第１１の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第１２の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。 本発明に係る撮像装置の第１３の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。

本発明に係る撮像装置は、光学系から短時間入射した光を電気信号に変換して短時間露光画像データを出力し、光学系から長時間入射した光を電子信号に変換して長時間露光画像データを出力する撮像素子と、前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得手段と、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定手段と、前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出手段と、前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出手段と、前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正手段と、前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成手段と、を備えることを特徴する。

また、長時間露光画像と短時間露光画像とで撮像素子（以下、イメージャーとも称する。）の駆動周波数が異なることによるサンプリングホールドのタイミングの違い、又は、イメージャーに印加する電圧の違いから、共通の白抽出範囲を用いた白抽出では正しくホワイトランス補正が行えないと言った問題もある。
このため、本発明に係る撮像装置では、前記白抽出範囲設定手段は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定すること、及び／または、前記白抽出範囲設定手段は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することが好ましい。

次に、本発明に係る撮像装置の基本的な構成について図面を用いてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。

図１は、本発明に係る撮像装置の一実施の形態であるデジタルカメラにおける外観を示す概略図である。
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部（フラッシュ）、光学ファインダが設けられている。

デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。

（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子（イメージャー）としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。

鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット（不図示）、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。

ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。

信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。

操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。

ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。また、ＯＳＤ（オンスクリーンディスプレイ）とは、ＬＣＤディスプレイに表示させるデータであり、ＹＵＶデータ若しくはＪＰＥＧ画像の上に操作系の設定情報を重ねたものとなる。

なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、デジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラでは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタンをＯＮにし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮにされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。

そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換される。

このＲＡＷ−ＲＧＢデータは、信号処理部のＣＣＤＩ／Ｆに取り込まれてメモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。

そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤディスプレイ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤディスプレイ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤディスプレイ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤディスプレイ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本実施形態において、ホワイトバランス評価値とは、ＡＷＢ評価値であり、ホワイトバランス評価値取得手段とは、信号処理部のＣＣＤＩ／Ｆの一部である。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤの全画素の受光面に対応した画面が２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
尚、本発明においてブロックの分割数は、１６×１６＝２５６に限定されるものではない（但し、ｎ個のブロックとしたとき、ｎ≧４を満たす。）。また、本発明においては等分割であることを必ずしも要するものではないが、全てのブロックが等面積かつ同形状に分割されてなることが好ましい。

ここでＲＧＢ積算値について詳細に説明する。
このＲＧＢ積算値の算出は、上述したブロックの夫々に対して行うものである。本実施の形態においてブロックは、上述したように、撮影画像が２５６に等分割されたものなので、例えば撮影画像が約１０００万画素を有していると、ブロックの夫々は約３．９万画素を有する。ここで、この各々のブロックが有する画素の夫々は、対応する被写体部分のＲ，Ｇ，またはＢ成分の情報であり、本実施の形態では各成分は８ｂｉｔの情報（０乃至２５５）として記録・利用されている。即ち、２５６個あるブロックの夫々において、各ブロックが有する画素の数（約１０００万画素÷２５６＝約３．９万画素）だけ８ｂｉｔのＲ，Ｇ，Ｂ成分の情報がある。

ＲＧＢ積算値は、このブロックの夫々について、各ブロックが有する画素全てのＲ成分、Ｇ成分、Ｂ成分夫々について加算平均して算出するものである。本実施の形態では、２５６個に分割したブロックの夫々において、Ｒ，Ｇ，Ｂ成分毎に８ｂｉｔの情報として出力される。
尚、本実施の形態の場合、Ｒ，Ｇ，Ｂ各画素の比率は、Ｒ：Ｇ：Ｂ＝１：２：１となっていて、ブロックの夫々はＲ画素＝約０．９７５万画素、Ｇ画素＝約１．９５万画素、Ｂ画素＝０．９７５万画素から構成されている。

そして、制御部は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなＷＢ（ホワイトバランス）のゲインを算出する。また、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆで算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。

このとき本実施の形態では、長時間露光画像データと、短時間露光画像データとが撮像され、これらを合成して１枚の画像とする（合成手段）。本発明における合成とは、従来公知の方法を適用することができ、例えば、長時間露光画像データと、短時間露光画像データとを全ての画素において加算し、２で除算することで合成する方法や、所望の重み付けをして合成する方法等が挙げられる。
また、長時間露光画像データとは、通常の１枚撮影と同様の露光時間、若しくはそれよりも１Ｅｖシャッタースピードを遅くした露光時間で撮影した画像データであり、短時間露光画像データとは、長時間露光画像よりも１〜４Ｅｖシャッタースピードを速くした露光時間で撮影した画像データである。

そして、このＲＡＷ−ＲＧＢデータ（撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ、ホワイトバランス補正が行われた後、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。

ここで、本発明の特徴となるホワイトバランス補正について説明する。
（ホワイトバランス補正の第１の実施の形態）
本実施の形態では合成前の短時間露光画像データと長時間露光画像データとに対してホワイトバランス補正（以下、ＷＢ補正とも称する。）を行い、その後γ補正を行う。但し、後述する短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とが同一の場合は、γ補正前であれば合成後の画像データに対してＷＢ補正を行っても良い。

図３は本発明に係る撮像装置の第１の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
最初に、短時間露光画像データと長時間露光画像データとが信号処理前のＲａｗ−ＲＧＢデータとしてＳＤＲＡＭに格納される。
次に、短時間露光画像データと長時間露光画像データとがＳＤＲＡＭより読み出され、ＣＣＤ−Ｉ／Ｆに入力された後に、それぞれの画像データ単位で、ＣＣＤ−Ｉ／Ｆ内の検波回路にて予め設定してある検波枠のサイズ及び分割数を基に画面全体に対して格子状に分割されたブロック単位において、Ｒ、Ｇ、Ｂそれぞれが積算され、ＳＤＲＡＭ若しくはＣＰＵより読み出し可能なレジスタにＲＧＢ積算値が出力される（Ｓ１−１）。またＲａｗ−ＲＧＢを直接ＣＣＤ−Ｉ／Ｆに入力してブロック単位のＲＧＢ積算値を取得する構成としても良い。

さらに、長時間露光画像データと短時間露光画像データのそれぞれでブロック単位において取得されたＲＧＢ積算値に対して、当該ブロック内に含まれる画素数で割り、１画素あたりのＲＧＢにした後、ＡＷＢ評価値（短時間露光画像データホワイトバランス用評価値、長時間露光画像データホワイトバランス用評価値）であるＧ／Ｒ、Ｇ／Ｂに変換される（ホワイトバランス評価値取得手段）。このＡＷＢ評価値が、白抽出範囲設定手段により予め設定してある白抽出範囲（短時間露光画像データ用白抽出範囲、長時間露光画像データ用白抽出範囲）内であれば白抽出ブロック（短時間露光画像データ白抽出結果、長時間露光画像データ白抽出結果）として記憶する（Ｓ１−２；白抽出手段）。

このとき、短時間露光画像データ用白抽出範囲と長時間露光画像データ用白抽出範囲とは、同一であっても良く、異なっていても良いものであって、白抽出範囲設定手段により撮像状況に応じて適宜設定され得るものである。
また、短時間露光画像データ用白抽出範囲と長時間露光画像データ用白抽出範囲とが同一である場合には、短時間露光画像データ白抽出結果と、長時間露光画像データ白抽出結果とが同一となる為、後述するＳ１−３を経ずにＳ１−４に移行する。さらにこの場合、後述するＳ１−４では、補正短時間露光画像データ白抽出結果及び補正長時間露光画像データ白抽出結果は用いずに高輝度加重処理を行う。

ここで、白抽出範囲について説明する。図４（Ａ）は本発明に係る撮像装置の第１の実施の形態における短時間露光画像データ用白抽出範囲の一例をＧ／Ｒ−Ｇ／Ｂ座標上に示したグラフである。また、図４（Ｂ）は本発明に係る撮像装置の第１の実施の形態における長時間露光画像データ用白抽出範囲の一例をＧ／Ｒ−Ｇ／Ｂ座標上に示したグラフである。
白抽出範囲は図４に示すように、Ｇ／Ｒをｘ軸、Ｇ／Ｂをｙ軸とする２次元の色座標上で、図４において破線Ａで示す黒体輻射カーブに沿った、複数の楕円若しくは矩形の枠により設定される。この白抽出範囲によって、長時間露光画像データで飽和する高輝度部分の白抽出を短時間露光画像データから行い、高輝度から低輝度までの全域に亘って精度の高い白抽出を行うことができ、後述する高輝度加重処理にて精度の高いＷＢゲイン（ホワイトバランス補正係数）を算出することができる。
また、図４に示すように、短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲とを比較すると、Ｇ／Ｒ−Ｇ／Ｂ座標上において、長時間露光画像データ用白抽出範囲のほうが短時間露光画像データ用白抽出範囲よりも右上（Ｇ／ＢおよびＧ／Ｒが大きい）方向に位置していることがわかる。

そして、抽出された白抽出ブロック（短時間露光画像データ白抽出結果、長時間露光画像データ白抽出結果）からそれぞれの白抽出ブロックに対応したＧ／Ｒ、Ｇ／Ｂ（短時間露光画像データホワイトバランス用評価値、長時間露光画像データホワイトバランス用評価値）を算出する。

次いで、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とを算出する。（Ｓ１−３〜Ｓ１−５；補正係数算出手段）
短時間露光画像ホワイトバランス補正係数の算出には、短時間露光画像データ白抽出結果と短時間露光変換係数でシフト処理した補正長時間露光画像データ白抽出結果とを積算する。また、長時間露光画像ホワイトバランス補正係数の算出には、長時間露光画像データ白抽出結果と長時間露光変換係数でシフト処理した補正短時間露光画像データ白抽出結果とを積算する（Ｓ１−３）。

Ｓ１−３では、例えば下記式１を用いて補正短時間露光画像データ白抽出結果、及び、補正長時間露光画像データ白抽出結果を算出する。

ここで、短時間露光変換係数とは、長時間露光画像データ白抽出結果を短時間露光画像データ白抽出結果相当に変換する為に、長時間露光画像データ用白抽出範囲と短時間露光画像データ用白抽出範囲の差の比率を係数としたものである。
また、長時間露光変換係数とは、短時間露光画像データ白抽出結果を長時間露光画像データ白抽出結果相当に変換する為に、長時間露光画像データ用白抽出範囲と短時間露光画像データ用白抽出範囲の差の比率を係数としたものである。

そして、短時間露光画像データ白抽出結果と短時間露光変換係数でシフト処理した補正長時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果と長時間露光変換係数でシフト処理した補正短時間露光画像データ白抽出結果のそれぞれに、高輝度加重処理を行った後に、積算する（Ｓ１−４）。
高輝度加重処理は、短時間露光画像データ白抽出結果と補正長時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果と補正短時間露光画像データ白抽出結果の各白抽出ブロックのＧ／Ｒ、Ｇ／Ｂ（短時間露光画像データホワイトバランス用評価値、及び、長時間露光画像データホワイトバランス用評価値のそれぞれ）に対して当該白抽出ブロックの平均輝度による重み付けを行う。しかる後に積算して、さらに後述するＳ１−５を経て１画素あたりの短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とが算出される。
高輝度加重処理の計算式は下記式２となる。

但し、前記式２において、短時間露光画像データと長時間露光画像データとで露光時間が異なることによる画像データ白抽出結果の輝度差を無くすため、それぞれの画像撮影時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣ）から、ＡＥ制御値を基にした得失点で短時間露光画像データ白抽出結果の輝度値（各白抽出ブロックにおける平均輝度値）を長時間露光画像データ白抽出結果の輝度値（各白抽出ブロックにおける平均輝度値）を基準とした相対値に変換する。また、長時間露光画像データ白抽出結果の輝度値を短時間露光画像データ白抽出結果の輝度値を基準とした相対値に変換する。これらの変換は、いずれも下記式３を用いて行われる。また、図５にＡＥ制御値を示す。
尚、下記式３において、短時間露光画像データ白抽出結果の輝度値を長時間露光画像データ白抽出結果の輝度値を基準とした相対値に変換する場合には、指数部分のｄｅｌｔａＥｖを正として、逆の場合は指数部分のｄｅｌｔａＥｖを負として算出する。

また、短時間露光画像データ白抽出結果の輝度値（各白抽出ブロックにおける平均輝度値）と、長時間露光画像データ白抽出結果の輝度値（各白抽出ブロックにおける平均輝度値）とは、いずれも下記式４で表される。

前記Ｓ１−４において高輝度加重処理、並びに積算された後、１画素毎個別にＧ／Ｒ、Ｇ／Ｂの色座標上のエリア別に補正を加えて、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とする（Ｓ１−５）。エリア別に補正とは例えばＧ／Ｒの値が小さくＧ／Ｂが大きい低色温度側のシーンで光源色を残すようＧ／Ｒを大きくしＧ／Ｂを小さくする、Ｇ／Ｒの値が大きくＧ／Ｂが小さい高色温度側のシーンでＧ／Ｒが一定以上であればリミット処理を行うといったものである。

短時間露光画像データのＲ、Ｂデータに対して、短時間露光画像ホワイトバランス補正係数（Ｒ、Ｂそれぞれに対応したもの）を掛け、長時間露光画像データのＲ、Ｂデータに対しては、長時間露光画像ホワイトバランス補正係数（Ｒ、Ｂそれぞれに対応したもの）を掛けることでホワイトバランス補正処理を行う（Ｓ１−６；ホワイトバランス補正手段）。

（ホワイトバランス補正の第２の実施の形態）
図６は本発明に係る撮像装置の第２の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
第１の実施の形態では短時間露光画像データと長時間露光画像データとで白抽出範囲が同一である場合をも含むものであったが、本実施の形態では短時間露光画像データと長時間露光画像データとでそれぞれ白抽出範囲が異なる。従って、第１の実施の形態と、本実施の形態とでは、Ｓ１−２と、Ｓ２−２とが相違している以外は同じである。即ち、Ｓ１−１はＳ２−１と同一の工程であり、Ｓ１−３〜Ｓ１−６はＳ２−３〜Ｓ２−６と同一の工程である。

２枚撮影による合成では、手振れ及び被写体ぶれによる画像間でのずれが問題となる。これを最小限に抑えるため短時間露光画像撮影に於いては高速にデータを読み出すためにイメージャー（撮像素子）の読み出し駆動モードを、水平垂直２画素を加算して読み出すモードに切り替わる。これによりデータレートが半分になり高速に読み出すことが可能となるが、イメージャーに印加される電圧は、水平垂直２画素を加算して読み出すモード合わせた設定に切り替える必要がある。しかしながら、イメージャーに印加される電圧によって、同じ被写体を撮像した場合でも出力される信号のＲ成分、Ｇ成分、Ｂ成分が異なってくる。

そこで、本実施の形態は読み出し駆動モードに応じた複数の白抽出範囲を保持しておき撮影時の読み出し駆動モードに応じて対応する白抽出範囲を用いて白抽出を行う。
よって、短時間露光画像の撮影の際は短時間露光画像時の読み出し駆動モードに対応した白抽出範囲（短時間露光画像データ用白抽出範囲）を用いて白抽出を行い、長時間露光画像の撮影の際は長時間露光画像時の読み出し駆動モードに対応した白抽出範囲（長時間露光画像データ用白抽出範囲）を用いて白抽出を行う（Ｓ２−２）。
これにより、短時間露光画像と長時間露光画像で読み出し駆動モードが切り替わっても安定した白抽出を行うことができる。

（ホワイトバランス補正の第３の実施の形態）
図７は本発明に係る撮像装置の第３の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
第１の実施の形態では短時間露光画像データと長時間露光画像データとで白抽出範囲が同一である場合をも含むものであったが、本実施の形態では短時間露光画像データと長時間露光画像データとでそれぞれ白抽出範囲が異なる。従って、第１の実施の形態と、本実施の形態とでは、Ｓ１−２と、Ｓ３−２とが相違している以外は同じである。即ち、Ｓ−１はＳ３−１と同一の工程であり、Ｓ１−３〜Ｓ１−６はＳ３−３〜Ｓ３−６と同一の工程である。

２枚撮影による合成では、手振れ及び被写体ぶれによる画像間でのずれが問題となる。これを最小限に抑えるため短時間露光画像撮影に於いては高速にデータを読み出すためにイメージャー（撮像素子）の駆動周波数が切り替わる。ところが、イメージャーの駆動周波数によって当該イメージャーから出力される信号を取り込むための最適なサンプリング位置が変わってくる。そして、サンプリング位置が変わるとその後Ａ／Ｄ変換されて出力される信号も変わり、同じ被写体を撮像した場合でも、それぞれの駆動周波数によって出力される信号のＲ成分、Ｇ成分、Ｂ成分が異なってくる。

図８（Ａ）は、第３の実施の形態におけるＧ／Ｒと、ＡＧＣとの関係の一例を示すグラフであり、図８（Ｂ）は、第３の実施の形態におけるＧ／Ｂと、ＡＧＣとの関係の一例を示すグラフである。
図（Ａ）及び図（Ｂ）のいずれにおいても、縦軸はＧをＲ或いはＢで除したものを１００倍した数値であり、横軸は制御値とＩＳＯ値を示す。横軸における制御値０（ＩＳＯ＝１００）の点と、制御値１６（ＩＳＯ＝２００）の点とでは、増幅率が倍になることを意味している。

図８によればサンプリング位置の切り替えポイントを示すＢ点の前後でＧ／Ｒ、Ｇ／Ｂが大きく変化することが確認できる。本実施の形態はサンプリング位置に応じた複数の白抽出範囲を保持しておき撮影時のサンプリング位置に応じて対応する白抽出範囲を用いて白抽出を行う。
よって、短時間露光画像の撮影の際は短時間露光画像に対応した白抽出範囲（短時間露光画像データ用白抽出範囲）を用いて白抽出を行う（Ｓ３−２）。
最適な白抽出範囲は基板の配線パターンやインピーダンスによって変化するため、これらに応じて最適な値に合わせ込む必要がある。
これにより、短時間露光画像と長時間露光画像とでイメージャーの駆動周波数が切り替わっても安定した白抽出を行うことができる。

（ホワイトバランス補正の第４の実施の形態）
図９は、本発明に係る撮像装置の第４の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
本実施の形態におけるＳ４−１のＲＧＢ積算値の取得については、上述した第１の実施の形態におけるＳ１−１と同一であるため、説明を省略する。

（Ｓ４−２；領域分割用のＲＧＢ積算値を作成）
次に青空領域判定、日向領域と日陰領域の領域分割用にＲＧＢ積算値を用意する。
青空領域判定及び日向領域と日陰領域で領域分割処理に入力するＲＧＢ積算値は短時間露光画像データと長時間露光画像データとから成り、低輝度部分は長時間露光画像データから、高輝度部分は短時間露光画像データから取得したものを使用する。
具体的には短時間露光画像データと長時間露光画像データそれぞれの１６×１６＝２５６のブロックに対して下記式（５）を満たすブロックでは長時間露光画像データを選択し、下記式（５）を満たさないブロックでは短時間露光画像データを選択し、領域分割用の２５６個に分割されたブロックを作成する。尚、本実施の形態では好ましい形態を例示しているため、下記式（５）を満たすブロックでは長時間露光画像データを選択したが、本発明はこれに限られるものではなく、長時間露光画像データまたは短時間露光画像データから選択するものとしても良い。

図１０に例を示す。グレーで塗りつぶされたブロックＣは下記式（５）を満たすもので、長時間露光画像データのＲＧＢ積算値となる。ブロックＤは下記式（５）を満たさないもので、短時間露光画像データのＲＧＢ積算値となる。

Ｙ＜Ｙｔｈｒｅ ・・・式（５）

（Ｓ４−３；青空領域判定）
次いで、取得したブロック夫々のＲＧＢ積算値について青空領域判定を行う。この青空領域判定は、ブロックの中で、Ｂ成分が高いブロックが存在するか、否かを判定することで、そのブロックが青空領域であるか否かを判定する。かかる判定の具体例を挙げると、Ｇ／Ｒ＞＝２で、且つＧ／Ｂ＜＝１．５であるようなブロックを青空領域として判定する。

（Ｓ４−４；日向日陰領域分割）
そして、ＲＧＢ積算値を基にした輝度値（Ｙ）及びＲＧＢ積算値から、ブロックの夫々について日向領域と日陰領域とに分類（日向日陰領域分割）を行う。本実施の形態においては、ブロックの夫々について、日向領域と日陰領域とからなる２つの領域に分類することにより、画面全体を２つに分割するが、本発明はこれに限定されるものではない。即ち、ｎの分割ブロックに分割された撮影画像において、分割ブロックを統合することでｍ（但し、ｎ＞ｍ≧２を満たす。）の分割領域に分割するものであれば特に限定されるものではない。

尚、本実施の形態において、輝度値（輝度信号）Ｙは前記式（４）を用いて算出する。また、下記式（６）及び（７）を用いて、色差信号Ｕ（Ｃｂ）、色差信号Ｖ（Ｃｒ）を算出することができる。

Ｕ＝−０．１６９×Ｒ−０．３３１６×Ｇ＋０．５００×Ｂ ・・・式（６）
Ｖ＝０．５００×Ｒ−０．４１８６×Ｇ−０．０８１３×Ｂ ・・・式（７）

ここで、日向日陰領域分割の具体的な方法について以下に例を示す。尚、言うまでもなく本発明は以下の例に何ら限定されるものではない。
日向日陰領域分割には、ブロックの夫々について輝度値Ｙ、及びＲＧＢ積算値から算出される赤成分の値Ｒと青成分の値Ｂとの比であるＲ／Ｂを用いて、分割条件に従い日向領域と日陰領域とに分割する。

この分割条件の具体例について説明する。図１１に、前記式（５）と下記式（８）により、日向領域と日陰領域とに分割する具体例を示す。
図１１において縦軸が輝度値Ｙを表し、横軸が比Ｂ／Ｒを表す。

Ｂ／Ｒ ＞ Ｋ ・・・式（８）

即ち、本実施の形態では少なくとも上記式（５）または（８）を満たさないものを日向と判定し、上記式（５）及び（８）の両方を満たすものを日陰と判定するものであって、上記式（５）及び（８）が分割条件として撮像装置に記憶されている。そして、Ｓ４−１で分割されたブロックの夫々について、ＲＧＢ積算値から算出される輝度値Ｙと、ＲＧＢ積算値の比Ｒ／Ｂと、を用いて、ブロックが日向領域であるか日陰領域であるかを判定して日向日陰領域分割を行う。

本実施の形態では、Ｋ＝２（Ｂ画素の積算値がＲ画素の積算値の２倍より大きい）、Ｙｔｈｒｅ＝１００（但し、８ｂｉｔデータ（０乃至２５５）における値である。）として日向日陰分割を行う。
本実施の形態では、日向日陰領域分割を、短時間露光画像データ（の一部）及び長時間露光画像データ（の一部）に基づき行うことで、高精度の日向日陰領域分割が実現できる。即ち、短時間露光画像データのみ、若しくは長時間露光画像データのみでは良好な日向日陰領域分割が行えないような領域について、互いに補完することで高精度の日向日陰領域分割が実現できる。

そして、しかる後に本実施の形態では、Ｓ４−３において青空領域と判定され、且つ、日向日陰領域分割において日陰領域とされたブロックを、日向領域に変更する。これにより青空に対して日陰領域のＷＢをかけないようにすることができるため、精度の高いＷＢ処理を行うことができる。

さらに、ブロックの夫々において、隣接するブロックにおけるＲＧＢ積算値の連続性を判断し、大きな領域内に存在する微小領域を、当該大きな領域に属するものに変更する。即ち、大きな日向領域内に微小な日陰領域が存在する場合において、該微小な日陰領域に対しても大きな日向領域と同じＷＢをかけることで、ある程度まとまった領域に同じＷＢをかけることができる（日向と日陰とが逆の場合であっても同様）。即ち、細かな日向領域または日陰領域が混在するような被写体を撮影する場合であっても自然なＷＢをかけることができる。

具体的には、図１２において示すように、判定対象である１個のブロックの周囲を取り囲む８個のブロックの中、６個のブロックが当該１個のブロックの日向日陰領域判定結果とは異種の領域である場合に、ＲＧＢ積算値の連続性を判断する。
ＲＧＢ積算値の連続性は、この６個のブロックと当該１個のブロックとでＲＧＢ積算値を比較し、６個のＲＧＢ積算値が当該１個のブロックのＲＧＢ積算値との誤差が５％以内であれば、連続性があると判断し、当該１個のブロックの日向／日陰領域判定結果を、６個のブロックと同じ判定結果に置き換える。このときの対象ブロックと異種の６個のブロックの積算値の範囲との関係の一例を図１２に併せて示す。

そしてさらに、日向日陰領域分割された撮影画像に対して更に合焦情報を使用して、Ｓ４−１で分割された夫々のブロックの中で微小な領域を、合焦情報に応じて大きな領域にまとめてもよい。

尚、ここで言う合焦情報とは、前記ＡＦ評価値を使用したものである。
前述したＡＦ動作時に、前記ＡＦ評価値を水平１６×垂直１６分割の分割ブロック毎に取得し、分割ブロック夫々において、ＡＦ評価値が極大となるフォーカス位置が前記ＡＦ動作時において合焦位置としたフォーカス位置と同一である場合は、その分割ブロックを合焦ブロックとし、非同一である場合は、その分割ブロックを非合焦ブロックとする。

図１３は分割ブロック単位で領域分割を行ったもので、被写体領域５は合焦ブロックであり、背景領域６は非合焦ブロックである。
合焦情報を用いた領域のまとめ方としては、判定対象である１個のブロックの日向日陰領域判定結果が、当該１個のブロックの上下あるいは左右に配置されている２個のブロックのいずれに対しても異種の領域である場合に、合焦情報を用いて、領域をまとめる動作を行う。
具体的には、当該１個のブロックが合焦ブロックであり、当該１個のブロックの上下あるいは左右に配置されている２個のブロックも合焦ブロックである場合に、当該１個のブロックの日向／日陰領域判定結果を、２個のブロックと同じ判定結果に置き換える。

（Ｓ４−５；白ブロック抽出）
白抽出は長時間露光画像データと短時間露光画像データとのそれぞれにおいて、ブロック単位で取得したＲＧＢ積算値に対して、ＲＧＢ積算値をＧ／Ｒ、Ｇ／Ｂに変換し、予め設定してある白抽出範囲内であれば白抽出ブロックとして記憶する。このとき、本実施の形態では、領域分割結果に基づいて日陰領域と日向領域とのそれぞれで白抽出範囲を変えて行う。

即ち、短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなる。また、長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなる。
このように、日向領域と日陰領域とで白抽出範囲を変えて、それぞれの領域に適した白抽出範囲とすることで、良好な白抽出を行うことができる。

上記第１の実施の形態にいて述べたとおり、白抽出範囲は図４のようにＧ／Ｒをｘ軸、Ｇ／Ｂをｙ軸とする２次元の色座標上で、破線Ａで示す黒体輻射カーブに沿った複数の楕円若しくは矩形の枠にて設定されるものである。また、短時間露光画像データ用白抽出範囲と長時間露光画像データ用白抽出範囲とは、図４（Ａ）及び図４（Ｂ）にそれぞれ示すが如く異なるものであることが好ましい。
これにより長時間露光画像データで飽和する高輝度部分の白抽出を短時間露光画像データから行い、高輝度から低輝度までの全域に亘って精度の高い白抽出を行うことができ、後述する高輝度加重処理にて精度の高いＷＢゲインを算出することができる。

さらに本実施の形態では、例えば、図４に示される領域のうち、約２３００〜約５８００Ｋに対応する領域を（短時間露光画像データ用、長時間露光画像データ用）日向領域白抽出範囲とし、約５８００〜約８０００Ｋに対応する領域を（短時間露光画像データ用、長時間露光画像データ用）日陰領域白抽出範囲とする。

（Ｓ４−６〜Ｓ４−８；白抽出結果の補正、ホワイトバランス補正係数の算出・設定）
次いで、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とを算出する。
短時間露光画像ホワイトバランス補正係数の算出には、短時間露光画像データ白抽出結果と短時間露光変換係数でシフト処理した補正長時間露光画像データ白抽出結果とを積算する。また、長時間露光画像ホワイトバランス補正係数の算出には、長時間露光画像データ白抽出結果と長時間露光変換係数でシフト処理した補正短時間露光画像データ白抽出結果とを積算する。

ただしこのとき、短時間露光画像ホワイトバランス補正係数は、日向領域と日陰領域とにおいて夫々別個に算出し、また、長時間露光画像ホワイトバランス補正係数は、日向領域と日陰領域とにおいて夫々別個に算出する。
即ち本実施の形態では、上述した第１の実施の形態におけるＳ１−３〜Ｓ１−５と同様の処理を、日向領域と日陰領域との夫々について行うものである。
以下、Ｓ４−６〜Ｓ４−８について、前記Ｓ１−３〜Ｓ１−５と対比しながら詳細に説明する。

・Ｓ４−６
本実施の形態における補正短時間露光画像データ白抽出結果、及び、補正長時間露光画像データ白抽出結果の算出は、前記Ｓ１−３と同様に前記式１を用いて行う。
但し、本実施の形態では短時間露光画像データ白抽出結果を日向領域と日陰領域とに分けて夫々を別個で算出し、長時間露光画像データ白抽出結果を日向領域と日陰領域とに分けて夫々を別個で算出する点で前記Ｓ１−３と相違する。このため、補正短時間露光画像データ白抽出結果は日向領域と日陰領域とに分かれて出力され、補正長時間露光画像データ白抽出結果は日向領域と日陰領域とに分かれて出力される。

・Ｓ４−７
そして、短時間露光画像データ白抽出結果と短時間露光変換係数でシフト処理した補正長時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果と長時間露光変換係数でシフト処理した補正短時間露光画像データ白抽出結果のそれぞれに、高輝度加重処理を行った後に、積算する。この積算は前記Ｓ１−４と同様に前記式２を用いて行う。しかる後に後述するＳ４−８を経て１画素あたりの短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とが算出される。これをＷＢ補正係数Ｒgain、Ｂgainとする。
但し、本実施の形態では短時間露光画像データ白抽出結果と補正長時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果と補正短時間露光画像データ白抽出結果の各白抽出ブロックのＧ／Ｒ、Ｇ／Ｂに対して当該白抽出ブロックの平均輝度による重み付けを行う際に、日向領域と日陰領域とに分けて夫々を別個で算出する点で前記Ｓ１−４と相違する。このため、平均輝度による重み付けは、当該白抽出ブロックが属する日向領域もしくは日陰領域における重み付けがなされるものであって、当該白抽出ブロックが属しない領域については加味されない。

このとき、上述した第１の実施の形態と同様に、前記式（３）を用いて輝度値を調整することが望ましい。

・Ｓ４−８
前記Ｓ４−７において高輝度加重処理、並びに積算された後、１画素毎個別にＧ／Ｒ、Ｇ／Ｂの色座標上のエリア別に補正を加えて、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とする。この短時間露光画像ホワイトバランス補正係数及び長時間露光画像ホワイトバランス補正係数の具体的な算出については前記Ｓ１−５と同様である。
但し、日向領域と日陰領域とに分けて夫々を別個で算出することが好ましく、かかる点で前記Ｓ１−５と相違する。

（ホワイトバランス補正の第５の実施の形態）
図１４は、本発明に係る撮像装置の第５の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、第４の実施の形態と、本実施の形態とでは、Ｓ４−５と、Ｓ５−５とが相違している以外は同じである。即ち、Ｓ４−１〜Ｓ４−４はＳ５−１〜Ｓ５−４と同一の工程であり、Ｓ４−６〜Ｓ４−８はＳ５−６〜Ｓ５−８と同一の工程であるため、説明を省略する。

本実施の形態では（上述した第２の実施の形態と同様に）読み出し駆動モードに応じた複数の白抽出範囲を保持しておき撮影時の読み出し駆動モードに応じて対応する白抽出範囲を用いて白抽出を行う。
よって、短時間露光画像の撮影の際は短時間露光画像時の読み出し駆動モードに対応した白抽出範囲（短時間露光画像データ用白抽出範囲）を用いて白抽出を行い、長時間露光画像の撮影の際は長時間露光画像時の読み出し駆動モードに対応した白抽出範囲（長時間露光画像データ用白抽出範囲）を用いて白抽出を行う（Ｓ５−５）。
これにより、短時間露光画像と長時間露光画像で読み出し駆動モードが切り替わっても安定した白抽出を行うことができる。

（ホワイトバランス補正の第６の実施の形態）
図１５は、本発明に係る撮像装置の第６の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、第４の実施の形態と、本実施の形態とでは、Ｓ４−５と、Ｓ６−５とが相違している以外は同じである。即ち、Ｓ４−１〜Ｓ４−４はＳ６−１〜Ｓ６−４と同一の工程であり、Ｓ４−６〜Ｓ４−８はＳ６−６〜Ｓ６−８と同一の工程であるため、説明を省略する。

本実施の形態では（上述した第３の実施の形態と同様に）短時間露光画像の撮影の際は短時間露光画像に対応した白抽出範囲（短時間露光画像データ用白抽出範囲）を用いて白抽出を行う（Ｓ６−５）。
最適な白抽出範囲は基板の配線パターンやインピーダンスによって変化するため、これらに応じて最適な値に合わせ込む必要がある。
これにより、短時間露光画像と長時間露光画像とでイメージャーの駆動周波数が切り替わっても安定した白抽出を行うことができる。

（ホワイトバランス補正の第７の実施の形態）
図１６は、本発明に係る撮像装置の第７の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態では、第４の実施の形態に加えてＳ７−８〜Ｓ７−１０を具備している点、及びＳ７−１１がＳ４−８とは異なる点で相違している以外は同じである。即ち、Ｓ４−１〜Ｓ４−７はＳ７−１〜Ｓ７−７と同一の工程であるため、説明を省略する。

・Ｓ７−８
本実施の形態では、通常撮影画像データをＳＤＲＡＭより読み出しＣＣＤ−Ｉ／Ｆに入力して、それぞれの画像単位でＣＣＤ−Ｉ／Ｆ内の検波回路にて、予め設定してある検波枠のサイズ及び分割数を基に画面全体に対して格子状に分割されたブロック単位で、Ｒ、Ｇ、Ｂそれぞれが積算されＳＤＲＡＭ若しくはＣＰＵより読み出し可能なレジスタに出力される。
尚、通常撮影画像データとは、前述の短時間露光画像データよりも露光時間が長く、また、前述の長時間露光画像データよりも露光時間が短いものである。

・Ｓ７−９〜７−１０
次いで、通常撮影画像データにおけるブロック単位で取得したＲＧＢ積算値に対して、Ｓ７−５，Ｓ７−７（またはＳ４−５，Ｓ４−７）と同様に、白ブロック抽出、ホワイトバランス補正係数の算出を行う。
このときの通常撮影画像データにおける日向領域、日陰領域は、前記Ｓ７−４でなされた領域分割結果に基づくものであり、通常撮影画像データを用いて新たに領域分割することを要しない。これにより、一回の領域分割で同時に撮影される複数画像データの日向、日陰領域の分割が可能になり高速に処理を行うことができる。

尚、通常撮影画像データにおける白抽出範囲は、白抽出範囲設定手段により予め設定されてあるものである。また、前述の短時間露光画像データ用白抽出範囲及び長時間露光画像データ用白抽出範囲とは異なるものであることが好ましい。さらに、前述の短時間露光画像データ用白抽出範囲及び長時間露光画像データ用白抽出範囲と同様に、日向領域と日陰領域とで、異なる範囲を設定することがさらに好ましい。

・Ｓ７−１１
以上Ｓ７−１０までで得られたＷＢ補正係数Ｒgain、Ｂgainに基づき、短時間露光画像データと長時間露光画像データのＲ、Ｂデータ及び通常撮影画像データのＲ、Ｂデータそれぞれに対して、ＷＢ補正係数Ｒgain、Ｂgainを設定する。

（ホワイトバランス補正の第８の実施の形態）
図１７は、本発明に係る撮像装置の第８の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態では、Ｓ８−１がＳ４−１とは異なる点、第４の実施の形態に加えてＳ８−８〜Ｓ８−１０を具備している点、及びＳ８−１１がＳ４−８とは異なる点で相違している以外は同じである。即ち、Ｓ４−２〜Ｓ４−７はＳ８−２〜Ｓ８−７と同一の工程であるため、説明を省略する。

・Ｓ８−１
先ず、ブラケット撮影にて露出条件を変えた複数の画像がＲａｗ−ＲＧＢとして信号処理前のデータがＳＤＲＡＭに格納されてなる。
このとき本実施の形態では、ＳＤＲＡＭに格納されてなる複数の画像の中の任意の２枚の画像データがＳＤＲＡＭより読み出され、ＣＣＤ−Ｉ／Ｆに入力された後に、それぞれの画像データ単位で、ＣＣＤ−Ｉ／Ｆ内の検波回路にて予め設定してある検波枠のサイズ及び分割数を基に画面全体に対して格子状に分割されたブロック単位において、Ｒ、Ｇ、Ｂそれぞれが積算され、ＳＤＲＡＭ若しくはＣＰＵより読み出し可能なレジスタにＲＧＢ積算値が出力される。
尚、本実施の形態では、前記任意の２枚の画像データの中で、低露出である露出条件で撮影された画像を短時間露光画像データとみなし、高露出である露出条件で撮影された画像を長時間露光画像データとみなすと、上述した第１の実施の形態におけるＳ４−１の処理と同様の処理とみなすことができる。

・Ｓ８−８
次に、ＳＤＲＡＭに格納されてなる複数の画像の中で、Ｓ８−１により選択された任意の２枚の画像データ以外の任意の１枚がＳＤＲＡＭより読み出され、ＣＣＤ−Ｉ／Ｆに入力された後に、それぞれの画像データ単位で、ＣＣＤ−Ｉ／Ｆ内の検波回路にて予め設定してある検波枠のサイズ及び分割数を基に画面全体に対して格子状に分割されたブロック単位において、Ｒ、Ｇ、Ｂそれぞれが積算され、ＳＤＲＡＭ若しくはＣＰＵより読み出し可能なレジスタにＲＧＢ積算値が出力される。

・Ｓ８−９〜Ｓ８−１０
次いで、Ｓ８−８においてブロック単位で取得したＲＧＢ積算値に対して、Ｓ８−５，Ｓ８−７（またはＳ４−５，Ｓ４−７）と同様に、白ブロック抽出、ホワイトバランス補正係数の算出を行う。
このときの日向領域、日陰領域は、前記Ｓ８−４でなされた領域分割結果に基づくものであり、新たに領域分割することを要しない。これにより、一回の領域分割で同時に撮影される複数画像データの日向、日陰領域の分割が可能になり高速に処理を行うことができる。

尚、Ｓ８−９における白抽出範囲は、白抽出範囲設定手段により予め設定されてあるものである。また、前述の短時間露光画像データ用白抽出範囲及び長時間露光画像データ用白抽出範囲（前記任意の２枚の画像データに用いられた白抽出範囲）とは異なるものであることが好ましい。さらに、前述の短時間露光画像データ用白抽出範囲及び長時間露光画像データ用白抽出範囲と同様に、日向領域と日陰領域とで、異なる範囲を設定することがさらに好ましい。

・Ｓ８−１１
以上、Ｓ８−１０までで得られたＷＢ補正係数Ｒgain、Ｂgainに基づき、ブラケット撮影にて露出条件を変えた複数の画像データのＲ、Ｂデータそれぞれに対して、ＷＢ補正係数Ｒgain、Ｂgainを設定する。
但し、ブラケット撮影にて露出条件を変えた複数の画像データの全てに対してＷＢ補正係数Ｒgain、Ｂgainが算出されていない場合は、前記Ｓ８−８〜Ｓ８−１０を繰り返し行う。

（ホワイトバランス補正の第９の実施の形態）
図１８は、本発明に係る撮像装置の第９の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態と、第４の実施の形態とでは、Ｓ４−６における白抽出結果の補正を行わない点で相違している以外は同じである。即ち、Ｓ９−１〜Ｓ９−５は、Ｓ４−１〜Ｓ４−５と同一の工程であるため、説明を省略する。

（Ｓ９−６〜Ｓ９−７；ホワイトバランス補正係数の算出・設定）
次いで、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とを算出する。
短時間露光画像ホワイトバランス補正係数の算出には、短時間露光画像データ白抽出結果を用いる。また、長時間露光画像ホワイトバランス補正係数の算出には、長時間露光画像データ白抽出結果を用いる。

ただしこのとき、短時間露光画像ホワイトバランス補正係数は、日向領域と日陰領域とにおいて夫々別個に算出し、また、長時間露光画像ホワイトバランス補正係数は、日向領域と日陰領域とにおいて夫々別個に算出する。
以下、Ｓ９−６〜Ｓ９−７について、詳細に説明する。

・Ｓ９−６
短時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果のそれぞれに、高輝度加重処理を行った後に、積算する。この積算は前記Ｓ４−７と同様に前記式２を用いて行う。しかる後に後述するＳ９−７を経て１画素あたりの短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とが算出される。これをＷＢ補正係数Ｒgain、Ｂgainとする。
但し、本実施の形態では短時間露光画像データ白抽出結果、及び、長時間露光画像データ白抽出結果の各白抽出ブロックのＧ／Ｒ、Ｇ／Ｂに対して当該白抽出ブロックの平均輝度による重み付けを行う際に、日向領域と日陰領域とに分けて夫々を別個で算出する。このため、平均輝度による重み付けは、当該白抽出ブロックが属する日向領域もしくは日陰領域における重み付けがなされるものであって、当該白抽出ブロックが属しない領域については加味されない。（前記Ｓ４−７と同様である。）

このとき、上述した第１の実施の形態と同様に、前記式（３）を用いて輝度値を調整することが望ましい。

・Ｓ９−７
前記Ｓ９−６において高輝度加重処理、並びに積算された後、１画素毎個別にＧ／Ｒ、Ｇ／Ｂの色座標上のエリア別に補正を加えて、短時間露光画像ホワイトバランス補正係数と、長時間露光画像ホワイトバランス補正係数とする。この短時間露光画像ホワイトバランス補正係数及び長時間露光画像ホワイトバランス補正係数の具体的な算出については前記Ｓ４−８と同様である。
但し、日向領域と日陰領域とに分けて夫々を別個で算出することが好ましく、かかる点については前記Ｓ４−８と同様である。

（ホワイトバランス補正の第１０の実施の形態）
図１９は、本発明に係る撮像装置の第１０の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態は、上述した第５の実施形態においてＳ５−６の工程を除いたＷＢ補正の一連の処理と同一であり、重複する内容については説明を省略する。
本実施の形態におけるＳ１０−６〜Ｓ１０−７は、第９の実施の形態におけるＳ９−６〜Ｓ９−７と同様である。

（ホワイトバランス補正の第１１の実施の形態）
図２０は、本発明に係る撮像装置の第１１の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態は、上述した第６の実施形態においてＳ６−６の工程を除いたＷＢ補正の一連の処理と同一であり、重複する内容については説明を省略する。
本実施の形態におけるＳ１１−６〜Ｓ１１−７は、第９の実施の形態におけるＳ９−６〜Ｓ９−７と同様である。

（ホワイトバランス補正の第１２の実施の形態）
図２１は、本発明に係る撮像装置の第１２の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態は、上述した第７の実施形態においてＳ７−６の工程を除いたＷＢ補正の一連の処理と同一であり、重複する内容については説明を省略する。
本実施の形態におけるＳ１２−６は、第９の実施の形態におけるＳ９−６と同様であり、Ｓ１２−７〜Ｓ１２−１０は、第７の実施の形態におけるＳ７−８〜Ｓ７−１１と同様である。

（ホワイトバランス補正の第１３の実施の形態）
図２２は、本発明に係る撮像装置の第１３の実施の形態におけるＷＢ補正の一連の処理をフローにしたフロー図である。
尚、本実施の形態は、上述した第８の実施形態においてＳ８−６の工程を除いたＷＢ補正の一連の処理と同一であり、重複する内容については説明を省略する。
本実施の形態におけるＳ１３−６は、第９の実施の形態におけるＳ９−６と同様であり、Ｓ１３−７〜Ｓ１３−１０は、第８の実施の形態におけるＳ８−８〜Ｓ８−１１と同様である。

従来では、１つの画像において領域分割を行うことはあったが、１つの画像ではデータの幅や量が少なく、領域分割を精度よく行うことができないことがあった。
一方、以上説明した第９〜１３の実施の形態では、日向・日陰領域の分割において、長時間露光画像データと短時間露光画像データの両方のデータを用いて分割を行うため、長時間露光画像データあるいは短時間露光画像データのどちらかのみのデータを用いて分割を行うよりも、精度の高い日向・日陰領域分割を行うことができる。
結果、長時間露光画像と短時間露光画像において精度よく分割された日向・日陰領域それぞれにおいて、ホワイトバランス補正係数を算出し、それぞれに対して精度よいホワイトバランス補正を行うことができ、結果として合成した画像においても画面全体に色ずれを生じさせない良好なホワイトバランス補正を行うことができる。

（参考例１）
また、第８の実施の形態において例えば、ブラケット撮影にて露出条件を変えたｋ枚の画像データを格納した場合、ｋ枚の画像データをｋ／２の２枚ずつの組み合わせとし、それぞれについてＳ８−１からＳ８−７までを行う、即ちＳ８−１からＳ８−７までをｋ／２回繰り返し、ｋ／２枚の画像データを得るものとしてもよい。（このとき、Ｓ８−８からＳ８−１０までは省略される。）

（参考例２）
さらに、第８の実施の形態において例えば、Ｓ８−１で選択される任意の２枚の画像に換えて、任意の１枚の画像を用い、この１枚の画像についてＳ８−２からＳ８−５、及びＳ８−７を行うこととしてもよい。言うまでもなく、任意の１枚の画像を用いていることから、Ｓ８−６は省略される。
Ｓ８−７の後は、Ｓ８−８からＳ８−１０を繰り返し、ブラケット撮影にて露出条件を変えた複数の画像データの全てに対してＷＢ補正係数Ｒgain、Ｂgainを算出して、得られたＷＢ補正係数Ｒgain、Ｂgainを用いてＳ８−１１によりＷＢ補正係数Ｒgain、Ｂgainを設定する。
このとき、Ｓ８−４で得られた領域分割結果をＳ８−８からＳ８−１０の繰り返しのいずれにおいても用いる。これにより、一回の領域分割で同時に撮影される複数画像データの日向、日陰領域の分割が可能になり高速に処理を行うことができる。

〔記録媒体〕
本発明に係る記録媒体は、上記した実施の形態の撮像動作を、画像処理機能を有する装置が備えるコンピュータに実行可能とするプログラムを記録したものである。また、記録媒体の形態やプログラムの記録方法（コンピュータ言語）等は従来公知のものであれば何れのものであっても良い。

Ａ 黒体輻射カーブ
Ｂ サンプリング位置

特開２００４−４８５６３号公報 特開２００４−１２０２２９号公報

Claims (13)

1. 光学系から短時間入射した光を電気信号に変換して短時間露光画像データを出力し、
   光学系から長時間入射した光を電子信号に変換して長時間露光画像データを出力する撮像素子と、
   前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、
   前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得手段と、
   短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定手段と、
   前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、
   前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出手段と、
   前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、
   該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、
   前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、
   該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出手段と、
   前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、
   前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正手段と、
   前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記白抽出範囲設定手段は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記白抽出範囲設定手段は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項１に記載の撮像装置。
4. 前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割手段を備え、
   前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、
   前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、
   前記補正係数算出手段は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする請求項１に記載の撮像装置。
5. 光学系から短時間入射した光を撮像素子で電気信号に変換して短時間露光画像データを出力し、
   光学系から長時間入射した光を撮像素子で電子信号に変換して長時間露光画像データを出力する光電変換工程と、
   前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、
   前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得工程と、
   短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定工程と、
   前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、
   前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出工程と、
   前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、
   該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、
   前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、
   該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出工程と、
   前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、
   前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正工程と、
   前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成工程と、
   を備えることを特徴とする撮像方法。
6. 前記白抽出範囲設定工程は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項５に記載の撮像方法。
7. 前記白抽出範囲設定工程は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項５に記載の撮像方法。
8. 前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割工程を備え、
   前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、
   前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、
   前記補正係数算出工程は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする請求項５に記載の撮像方法。
9. 画像処理機能を有する装置が備えるコンピュータに、
   光学系から短時間入射した光を撮像素子で電気信号に変換して短時間露光画像データを出力し、
   光学系から長時間入射した光を撮像素子で電子信号に変換して長時間露光画像データを出力する光電変換処理と、
   前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、
   前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得処理と、
   短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定処理と、
   前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、
   前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出処理と、
   前記長時間露光画像データ白抽出結果から、前記短時間露光画像データ用白抽出範囲に基づき補正長時間露光画像データ白抽出結果を算出し、
   該補正長時間露光画像データ白抽出結果と、前記短時間露光画像データ白抽出結果と、を用いて短時間露光画像ホワイトバランス補正係数を算出し、
   前記短時間露光画像データ白抽出結果から、前記長時間露光画像データ用白抽出範囲に基づき補正短時間露光画像データ白抽出結果を算出し、
   該補正短時間露光画像データ白抽出結果と、前記長時間露光画像データ白抽出結果と、を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出処理と、
   前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、
   前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正処理と、
   前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成処理と、
   を実行させるためのプログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。
10. 前記白抽出範囲設定処理は、前記撮像素子に印加する電圧に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項９に記載のコンピュータに読み取り可能な記録媒体。
11. 前記白抽出範囲設定工程は、前記撮像素子の駆動周波数に応じて短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定することを特徴とする請求項９に記載のコンピュータに読み取り可能な記録媒体。
12. 前記短時間露光画像データ及び前記長時間露光画像データを用いて日向領域と日陰領域とに分割する日向日陰領域分割処理を備え、
    前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、
    前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、
    前記補正係数算出処理は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出することを特徴とする請求項９に記載のコンピュータに読み取り可能な記録媒体。
13. 光学系から短時間入射した光を電気信号に変換して短時間露光画像データを出力し、
    光学系から長時間入射した光を電子信号に変換して長時間露光画像データを出力する撮像素子と、
    前記短時間露光画像データから短時間露光画像データホワイトバランス用評価値を取得し、
    前記長時間露光画像データから長時間露光画像データホワイトバランス用評価値を取得するホワイトバランス評価値取得手段と、
    高輝度部分については前記短時間露光画像データを用い、低輝度部分については前記長時間露光画像データを用いて、前記短時間露光画像データ及び前記長時間露光画像データを日向領域と日陰領域とに分割する日向日陰領域分割手段と、
    短時間露光画像データ用白抽出範囲と、長時間露光画像データ用白抽出範囲と、を設定する白抽出範囲設定手段と、
    前記短時間露光画像データホワイトバランス用評価値と、前記短時間露光画像データ用白抽出範囲と、を基に短時間露光画像データ白抽出結果を抽出し、
    前記長時間露光画像データホワイトバランス用評価値と、前記長時間露光画像データ用白抽出範囲と、を基に長時間露光画像データ白抽出結果を抽出する白抽出手段と、
    前記短時間露光画像データ白抽出結果を用いて短時間露光画像ホワイトバランス補正係数を算出し、
    前記長時間露光画像データ白抽出結果を用いて長時間露光画像ホワイトバランス補正係数を算出する補正係数算出手段と、
    前記短時間露光画像データを、前記短時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正短時間露光画像データに補正し、
    前記長時間露光画像データを、前記長時間露光画像ホワイトバランス補正係数を用いてホワイトバランス補正長時間露光画像データに補正するホワイトバランス補正手段と、
    前記ホワイトバランス補正短時間露光画像データと、前記ホワイトバランス補正長時間露光画像データと、を合成する合成手段と、を備え、
    前記短時間露光画像データ用白抽出範囲は、前記日向領域に対応した短時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した短時間露光画像データ用日陰領域白抽出範囲と、からなり、
    前記長時間露光画像データ用白抽出範囲は、前記日向領域に対応した長時間露光画像データ用日向領域白抽出範囲と、前記日陰領域に対応した長時間露光画像データ用日陰領域白抽出範囲と、からなり、
    前記補正係数算出手段は、前記短時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出し、前記長時間露光画像ホワイトバランス補正係数を前記日向領域と前記日陰領域との夫々について算出する
    ことを特徴とする撮像装置。