JP2014165865A - 画像処理装置及び画像処理方法、プログラム並びに記憶媒体 - Google Patents

Abstract

【課題】ＨＤＲ撮影において、光源の色温度が異なるシーンに対して、適切な色シェーディング補正やホワイトバランス処理を行える技術を実現する。
【解決手段】露出を変えて撮像される複数の画像を合成する画像処理装置において、前記複数の画像から色温度を検出する色温度検出手段と、前記複数の画像のそれぞれから検出された色温度に基づいて各画像の色シェーディング補正値を決定する決定手段と、前記複数の画像のそれぞれについて、前記決定手段により決定された色シェーディング補正値を用いて色シェーディングを補正する補正手段と、前記色シェーディングが補正された複数の画像を合成する画像合成手段と、を有する。
【選択図】図３

Description

本発明は、露出を変えて撮影した複数の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

近年、ＣＣＤやＣＭＯＳからなる撮像素子のダイナミックレンジを超えるダイナミックレンジを実現するために、ハイダイナミックレンジ（ＨＤＲ）合成と呼ばれる技術が提案されている。このＨＤＲ合成は、白飛びが少ない画像と黒潰れが少ない画像を、露出条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法である。ＨＤＲ合成は明暗差の大きいシーンにおいて有効であり、日向と日陰、屋外と屋内といったシーンで活用されている。

特開平５−１４５９３１号公報 特開２０１２−５４８２７号公報 特開２００９−２２４９７１号公報 特開平５−６４２１９号公報

ところで、従来のＨＤＲ撮影での色シェーディング補正処理は適正露出の画像から色シェーディング補正値を算出しているが、ＨＤＲ撮影で想定される屋外と屋内が混在するシーンでは双方の光源の色温度が異なる。このため、屋外と屋内が混在するシーンでは色シェーディング発生量も異なり、同一の色シェーディング補正値で補正することが困難となる場合もある。このような課題に対して、被写体の輝度に応じてホワイトバランスゲインを変化させる方法が提案されている（例えば、特許文献１〜４参照）。

しかしながら、ＨＤＲ撮影で同一シーン内で明暗差が大きく、照射される光源の色温度が異なる場合、ホワイトバランスの検出を一様に行うと最適なホワイトバランスゲインが求められないことがある。

また、上記特許文献１では、従来の構成に加えて光源の色温度を検出する手段を設ける必要がある。また、上記特許文献２では、ＨＤＲ撮影に特化して考えた場合、最終画像から領域ごとの色温度を検出することは可能であるが、色温度の検出精度を考えた場合には好ましいとは言えない。また、上記特許文献３では、異なる明暗部それぞれの照射される光源の色温度が異なっている場合であっても、あくまでも撮影された画像からのみ算出している。また、上記特許文献４では、光源の色温度が異なっている場合に撮影された画像ごとにホワイトバランスの制御範囲を変更することは考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、ＨＤＲ撮影において、光源の色温度が異なるシーンに対して、適切な色シェーディング補正やホワイトバランス処理を行える技術を実現することである。

上記課題を解決し、目的を達成するために、本発明に係る撮像装置は、露出を変えて撮像される複数の画像を合成する画像処理装置において、前記複数の画像から色温度を検出する色温度検出手段と、前記複数の画像のそれぞれから検出された色温度に基づいて各画像の色シェーディング補正値を決定する決定手段と、前記複数の画像のそれぞれについて、前記決定手段により決定された色シェーディング補正値を用いて色シェーディングを補正する補正手段と、前記色シェーディングが補正された複数の画像を合成する画像合成手段と、を有する。

本発明によれば、ＨＤＲ撮影において、光源の色温度が異なるシーンに対して、適切な色シェーディング補正やホワイトバランス処理を行うことができる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の画像処理部の構成を示すブロック図。 本実施形態のＨＤＲ合成処理を示すフローチャート。 本実施形態のＨＤＲ合成処理における色シェーディング補正処理を示すフローチャート。 本実施形態のＲＧＢ値の積分処理を説明する図。 本実施形態のＣｘ−色温度テーブルを例示する図。 本実施形態の色温度−色シェーディング補正値テーブルを例示する図。 本実施形態の色シェーディング補正処理を説明する図。 実施形態２の画像処理部の構成を示すブロック図。 実施形態２のＨＤＲ合成処理における色シェーディング補正処理を示すフローチャート。 実施形態２の色温度−輝度−色シェーディング補正値テーブルを例示する図。 実施形態５のＨＤＲ合成処理を示すフローチャート。 実施形態５のＨＤＲ合成比率テーブルを例示する図。 実施形態５の輝度ごとのホワイトバランス検出範囲を例示する図。 実施形態５のホワイトバランスゲインを混合する例を示す図。 実施形態５のＨＤＲ合成処理における適正画像、アンダー画像、オーバー画像のデータフローを示す図。 実施形態６のＨＤＲ合成処理における適正画像、アンダー画像、オーバー画像のデータフローを示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の画像処理装置を、例えば、動画や静止画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置１００において、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、前処理部１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。なお、上記機械式シャッター１２以外にも、撮像素子１４のリセットタイミングを制御することによって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

前処理部１６は、撮像素子１４からのアナログ信号に含まれるリセットノイズなどのノイズ成分を除去する相関２重サンプリング回路（ＣＤＳ回路）やノイズが除去された出力信号の振幅を調整するゲインコントールアンプ、振幅が調整されたアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器を備える。

２０は画像処理部であり、前処理部１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理部２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及び測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御部であり、前処理部１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。前処理部１６のデータが画像処理部２０、メモリ制御部２２を介して、或いは前処理部１６のデータが直接メモリ制御部２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ ＬＣＤ等からなる表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御部２２を介して表示部２８により表示される。表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、表示部２８は、システム制御部５０の制御により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には装置の電力消費を大幅に低減することができる。

３０は撮影した静止画や動画を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用可能である。

不揮発性メモリ３１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ３１には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。また、不揮発性メモリ３１にはシステム情報を記憶する領域や、ユーザ設定情報を記憶する領域が設けられ、起動時に各種の情報や設定が読み出され、起動前の状態に復元される。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備える機械式シャッター１２を制御する露光制御部であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御部である。

６０、６２、６４、６６、７０及び７２は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、並びに本実施形態のＨＤＲ画像撮影モードやＨＤＲ動画撮影モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号を前処理部１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行う処理、記録媒体１５０に画像データを書き込む処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、表示部２８の表示を切替えることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

被写体検出部７４は、撮影画像中の人物の顔の位置や大きさ等の被写体の特徴情報を検出する。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる電源部である。

９０はメモリカードやハードディスク等の記録媒体１５０とのインタフェース、９２はメモリカードやハードディスク等の記録媒体１５０と接続を行うコネクタである。

１０４は光学ファインダであり、表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する通信部である。

１１２は、通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１５０はメモリカードやハードディスク等の記録媒体である。記録媒体１５０は、半導体メモリや磁気ディスク等から構成される記録部１５２、撮像装置１００とのインタフェース１５４、撮像装置１００と接続を行うコネクタ１５６を備えている。

＜画像処理部の構成＞次に、図２を参照して、図１の画像処理部２０の構成について説明する。

色温度検出部２０１は、前処理部１６から出力される画像データの、光源の色温度を検出する。

ここで、図５及び図６を参照して、色温度検出部２０１の機能について説明する。

まず、図５を参照して、撮影された画像データから色温度を検出するためのパラメータの算出方法について説明する。

なお、本実施形態のＨＤＲ合成処理では、適正露出に対して異なる露出量（アンダー、オーバー）で複数の画像を撮影し、それらを合成することで１枚の合成画像を作成するものとする。図５の５０１はＨＤＲ合成用に撮影される複数の画像のうちの１枚を示しており、５０２は画像５０１の色温度の検出領域を示している。

色温度検出領域５０２は、当該領域内の画素値を求め、色の比率から当該領域内の被写体を照らす光源の色温度を検出するため広いことが望ましい。

具体的な色温度の算出方法は以下の通りである。

最初に、画像５０１の色温度検出領域５０２のＲＧＢ値を積分し、積分値をそれぞれＲｓｕｍ、Ｇｓｕｍ、Ｂｓｕｍとする。

一般的に被写体の色をすべて混ぜ合わせると、混ぜた色は無彩色になると考えられている。よって、混ぜた色が有彩色であれば、それは光源の色によるものであると考えられる。例えば、色温度検出領域５０２の積分値Ｒｓｕｍ、Ｇｓｕｍ、Ｂｓｕｍを比較して、Ｂｓｕｍの比率が高い場合、光源の色温度によるものであると考えられる。このような考え方に従って、光源の色温度検出を行う。

色温度は、表色系の色評価値Ｃｘの算出処理と、Ｃｘ−色温度変換処理とを行うことで算出される。

最初に、ＲＧＢ積分値から色評価値Ｃｘを算出する処理について説明する。

式１〜式３はＲＧＢ積分値を表色系に座標変換する変換式である。

式１〜式３にＲｓｕｍ、Ｇｓｕｍ、Ｂｓｕｍを代入して、表色系に座標変換し、色評価値Ｃｘを求める。

Ｙｓｕｍ＝（Ｒｓｕｍ＋Ｇｓｕｍ＋Ｂｓｕｍ）／３・・・（１）
Ｃｘ＝（Ｒｓｕｍ＋Ｂｓｕｍ）／Ｙｓｕｍ・・・（２）
Ｃｙ＝（Ｒｓｕｍ＋Ｂｓｕｍ−Ｇｓｕｍ）／Ｙｓｕｍ・・・（３）
式２で求められる色評価値Ｃｘは色温度と相関がある。

また、同じ色温度でも、撮像装置の分光感度によって、色評価値Ｃｘは異なる値をとることがわかっている。

そこで、撮像装置ごとにＣｘ−色温度変換テーブルを用意しておくことで、求めた色評価値Ｃｘを色温度に変換することが可能になる。

次に、図６に示すＣｘ−色温度テーブルを用いて、表色系の座標ＣｘとＣｘ−色温度テーブルとを比較して、色温度を推定する方法について説明する。

Ｃｘ−色温度テーブルは色温度と、色温度に対応する色評価値Ｃｘとを離散的に保持している。

図６の色評価値Ｃｘは、式２を用いて、色温度ごとに予め求めておいた値ａ〜ｅを示し、ａ＜ｂ＜ｃ＜ｄ＜ｅであるとする。

図６に示されていない色評価値Ｃｘと色温度とは、線形補間等の補間処理を行うことで、Ｃｘに対応する色温度を求めることができる。

以上の処理により５０２の色温度検出領域内の色温度を検出することができる。

図２の説明に戻り、色シェーディング補正値決定部２０２は、色シェーディング補正部２０３で色シェーディングを補正する際に使用する補正値を決定する。

色シェーディングとは、画像の特定の領域で発生する色むらのことをいう。

撮像素子の特定の色の感度が、特定の領域で他の領域と異なることが原因で発生する。

例えば、特定の色の感度が特定の領域で低下した場合、その領域は他の領域と比較して色がずれた画像が生成される。

一例として、均一輝度の被写体を撮影した場合を考える。

図８（ａ）に示す画像のように、撮像素子１４の画面左側のＲ感度が低かった場合、中央や右側と比較して、左側はＲの出力が低くなる。

すると、他の領域と比較して、画面左側はＧ、Ｂ出力がＲ出力より割合として高くなり、画面左側はシアンになる。

また、色シェーディングは光源の種類によって発生量が異なることがわかっている。例えば、低色温度光源である白熱灯下で撮影された画像の色シェーディングを補正する補正値を、高色温度光源である蛍光灯下で撮影された画像に適用しても適切に補正できないことがある。

そこで、光源ごとの色シェーディング補正値を記憶しておき、色温度検出部２０１で検出した色温度から色シェーディング補正値を決定する処理を行う。

ここで、図７を参照して、色シェーディング補正値を決定する具体的な方法について説明する。図７は、色温度−色シェーディング補正値テーブルを示し、テーブルには色温度と、色温度に対応する色シェーディング補正値とが離散的に保持されている。

図７の下段の補正値Ａ〜Ｆは、上段のそれぞれの色温度に対応する色シェーディング補正値であり、予め求めておいた値である。

図７に示す色シェーディング補正値は、例えば、色温度３０００〜４０００［Ｋ］間では補正値Ｂが用いられるように、色温度に応じて段階的に設定されている。なお、補正値の決定方法はこれに限らず、色シェーディング補正値と色温度とをある値で対応づけて、中間値は線形補間等の補間処理を行うことで、色温度に対応する色シェーディング補正値を決定してもよい。

以上の処理により色シェーディング補正値を決定することができる。

なお、図６及び図７では、色評価値Ｃｘから色温度、色温度から色シェーディング補正値をそれぞれ求めているが、簡単のため、図６と図７を合わせて、色評価値Ｃｘから色シェーディング補正値を直接求めてもよい。

図２に戻り、色シェーディング補正部２０３は、入力画像に対して、色シェーディング補正値決定部２０２で決定された補正値を用いて色シェーディングの補正を行う。

ここで、図８を参照して、色シェーディング補正方法について説明する。

図８（ａ）は色シェーディングが発生した画像を例示し、画面左側のＲの出力がＧやＢの出力と比較して低下している状態を示している。図８（ｂ）は図８（ａ）の画像の感度分布を例示し、色シェーディングの発生により、水平座標左側のＲの感度がＧやＢの感度と比較して低下している状態を示している。

色シェーディングは均一輝度の被写体を撮影したときに顕著に出現し、図８（ｂ）の感度分布で画像を撮影すると、画面左側がシアンになる。

理想的には画像の領域に関係なく、Ｒ、Ｇ、Ｂの感度の割合は一定であることが望ましい。

図８（ｃ）は図８（ｂ）の色シェーディングを補正した後の感度分布を示している。

なお、ここでの色シェーディング補正処理は、Ｒの感度が低下した左側の領域に対して、Ｒのゲインをアップする処理である。このゲインアップ処理によって、画面内の感度は見かけ上一定となっている。

図８（ｄ）は図８（ａ）の画像に対して色シェーディングを補正した後の画像を例示している。

図２に戻り、画像合成部２０４は、適正露出に対して露出をシフトさせて複数の画像を撮影し、それらを合成することで１枚の合成画像を作成するＨＤＲ合成処理を行う。

＜ＨＤＲ合成処理＞次に、図３を参照して、本実施形態のＨＤＲ合成処理について説明する。

なお、図３の処理は、システム制御部５０が、不揮発性メモリ３１に格納された制御プログラムを、メモリ３０のワークエリアに展開し、実行することで実現される。

以下ではＨＤＲ合成処理として、適正露出に対してアンダー露出で撮影されたアンダー画像とオーバー露出で撮影されたオーバー画像の２枚を撮影し、それらを合成することで１枚の合成画像を作成する処理について説明する。ここで、オーバー画像とは、適正露出で撮影された適正画像と比較して画像信号の出力値が高くなる撮影条件で撮影された画像である。同様に、アンダー画像とは、適正画像と比較して画像信号の出力値が低くなる撮影条件で撮影された画像である。なお、各画像の露出量は撮像素子１４の露光時間を制御することで実現する。

図３において、Ｓ３０１、Ｓ３０２では、システム制御部５０はアンダー画像を撮影し、画像処理部２０が撮影画像に対して色シェーディング補正を行う。

Ｓ３０３、Ｓ３０４では、システム制御部５０はオーバー画像を撮影し、画像処理部２０が撮影画像に対して色シェーディング補正を行う。

Ｓ３０５では、画像処理部２０が色シェーディング補正後の２枚の画像の合成処理を行い、システム制御部５０は合成画像を記録媒体１５０に記録する。なお、このＨＤＲ合成処理では、アンダー画像とオーバー画像についてホワイトバランス処理も行っている。画像処理部２０は、アンダー画像とオーバー画像について所定のホワイトバランスゲインを適用した後、所定の合成比率でアンダー画像とオーバー画像を加算して合成画像を生成する。なお、ホワイトバランスゲインや合成比率の決定方法については実施形態５で後述する。

ここで、図４を参照して、図３のＳ３０２及びＳ３０４の色シェーディング補正処理について説明する。なお、アンダー画像とオーバー画像の色シェーディング補正処理は同じ内容であるので、以下ではアンダー画像の色シェーディング補正処理について説明する。

図４において、Ｓ４０１では、画像処理部２０は撮影したアンダー画像における予め決められた領域のＲＧＢ値の積分値を求める。

Ｓ４０２では、画像処理部２０はＲＧＢ値の積分値を表色系座標に変換する。

Ｓ４０３では、画像処理部２０の色温度検出部２０１は式１〜式３と図６のテーブルを用いて色温度を求める。

Ｓ４０４では、画像処理部２０の色シェーディング補正値決定部２０２は図７のテーブルとＳ４０３で検出された色温度を用いて色シェーディング補正値を決定する。

Ｓ４０５では、画像処理部２０の色シェーディング補正部２０３が色シェーディング補正を実行する。

以上説明したように、本実施形態によれば、ＨＤＲ合成前に各画像に色シェーディング補正を実施することで、合成画像に色シェーディング補正を施す場合と比較して、高精度な補正を実現することができる。

［実施形態２］次に、図９乃至図１１を参照して、実施形態２の色シェーディング補正処理について説明する。

実施形態１では、画像処理部２０は、色温度を用いて色シェーディング補正値を決定していたが、一般的には、白熱灯等の低輝度の光源の場合、被写体の輝度も考慮することにより光源の色温度の検出精度が向上する。

そこで、本実施形態では、画像処理部２０に輝度検出部９０５を追加し、色温度と輝度を考慮した色シェーディング補正を行う。

図９は、本実施形態の画像処理部２０の構成を示しており、輝度検出部９０５が追加されている点が実施形態１と異なっているが、その他の構成や機能は実施形態１と同様である。

図１０は、実施形態２の色シェーディング補正処理を示している。

図１０において、Ｓ１００１、Ｓ１００２では、図４のＳ４０１、Ｓ４０２と同様に、、画像処理部２０は撮影した画像における予め決められた領域のＲＧＢ値の積分値を求め、表色系座標に変換する。

Ｓ１００３では、画像処理部２０の輝度検出部９０５が撮影画像の上記領域の輝度値を求める。

Ｓ１００４では、画像処理部２０の色温度検出部２０１は式１〜式３と図６のテーブルを用いて色温度を求める。

Ｓ１００５では、画像処理部２０の色シェーディング補正値決定部２０２が図１１のテーブルを用いて色温度と輝度値から色シェーディング補正値を決定する。図１１は、色温度−輝度値−色シェーディング補正値テーブルを示し、テーブルには色温度と、輝度値と、色温度と輝度値に対応する色シェーディング補正値とが離散的に保持されている。例えば、図１１のテーブルにおいて、色温度５５００Ｋ、輝度ＬＶ９の被写体を考えた場合、輝度がＬＶ７より大きく、色温度が５５００Ｋであるので、ＲとＳを線形補間して、５５００Ｋ相当の箇所の色シェーディング補正値が求められる。

Ｓ１００６の補正処理は実施形態１で説明した図４のＳ４０５と同様である。

以上説明したように、本実施形態によれば、ＨＤＲ合成前に各画像に色温度と輝度値を考慮した色シェーディング補正を実施することで、輝度値を考慮しない場合と比較して、高精度な補正を実現することができる。

［実施形態３］次に、実施形態３の色シェーディング補正処理について説明する。

実施形態２では、色温度検出部２０１は、ＨＤＲ合成前の各画像の色温度を検出していたが、一般的に、画像中の画素値が適正露出値に近いほど光源の色を強く反映する。

そこで、本実施形態は、画像中の画素値と適正露出値とを比較し、比較の結果から、色温度検出に用いる画素値に重みづけを行う。

以下に、本実施形態の色温度検出処理について説明するが、画像処理部２０の構成や機能は実施形態１、２と同様である。

本実施形態の色温度検出処理は、色評価値Ｃｘの算出までは実施形態１と同様である。

実施形態１では色評価値Ｃｘを算出した後、色温度を求めていたが、本実施形態では、式４により色評価値Ｃｘに対して輝度値と適正露出値の差分から重みづけを行った色評価値Ｃｘ’を求める。

Ｃｘ’＝Ｃｘ×｛１−｜（Ｅｘｐｏ−Ｙ）／Ｅｘｐｏ｜｝・・・（４）
Ｃｘ’＜０のとき、Ｃｘ’＝０
Ｅｘｐｏ：適正露出値（目標輝度値）
式４から求めた色評価値Ｃｘ’をＣｘの代わりに用いて図６で説明した色温度変換を行うことで、白飛び、黒潰れの影響が小さい色温度を求めることができる。

以上説明したように、本実施形態によれば、ＨＤＲ合成前に各画像において適正露出値に近い画素値に重みづけを行って色温度を検出し、検出した色温度と輝度値を考慮した色シェーディング補正を実施することで、重みづけをしない場合と比較して、高精度な補正を実現することができる。

［実施形態４］次に、実施形態４の色シェーディング補正処理について説明する。

実施形態２では、色シェーディング補正部２０３は、ＨＤＲ合成前の各画像に対して、色シェーディング補正値決定部２０２で決定された補正値を用いて色シェーディングを補正していた。一般に画像中の画素値が適正露出値に近いほど色シェーディングの影響が画像に強く現れるため、画素値に応じて色シェーディング補正の強さを変えられることが望ましい。

そこで、本実施形態は、画像中の画素値と適正露出値とを比較し、比較の結果から、色シェーディング補正値に重みづけを行う。

以下に、本実施形態の色温度検出処理について説明するが、画像処理部２０の構成や機能は実施形態１、２と同様である。

実施形態２の色シェーディング補正値は２次元データとして保持されているが、式５により重みづけを行う。式５は画像の画素値と輝度値、色シェーディング補正値とから、補正後の画像の画素値を出力する計算式である。輝度値が適正露出値から離れていると補正値Ｄｅｔが小さくなり、元の画素値を出力する。

ＤｅＳｉｇ＝Ｓｉｇ×Ｄｅｔ×｛１−｜（Ｅｘｐｏ−Ｙ）／Ｅｘｐｏ｜｝・・・（５）
ＤｅＳｉｇ：色シェーディング補正後の画素値
Ｓｉｇ：色シェーディング補正前の画素値
Ｄｅｔ：色シェーディング補正値
以上説明したように、本実施形態によれば、ＨＤＲ合成前に各画像において適正値に近い画素の補正値に重みづけを行って色シェーディング補正を実施することで、重みづけをしない場合と比較して、高精度な補正を実現することができる。

［実施形態５］次に、図１２を参照して、本実施形態のＨＤＲ合成処理ついて説明する。

上記実施形態１〜４では、ＨＤＲ合成処理における色シェーディング補正処理について説明した。これに対して、本実施形態では、ＨＤＲ合成処理におけるホワイトバランス処理について説明する。

なお、本実施形態の装置構成は、実施形態１の図１と同様であり、図２とは色シェーディング補正値決定部が白検出範囲決定部となり、色シェーディング補正部がホワイトバランス処理部となって、以下の処理を行う。

以下では、本実施形態のＨＤＲ合成処理では、露出が適正、アンダー、オーバーの３枚の画像を撮影し、それらを合成することで１枚の合成画像を作成するものとする。

図１２において、Ｓ１２０１では、システム制御部５０は適正露出の画像（適正画像）を撮影し、Ｓ１２０２ではアンダー画像を撮影し、Ｓ１２０３ではオーバー画像を撮影する。

Ｓ１２０４では、画像処理部２０は、アンダー画像の画素値を基準として図３に示す合成比率テーブルから各画像の合成比率α、β、γを求め、３枚の画像の合成処理を行う。なお、Ｓ１２０４ではホワイトバランス処理も行っているが、詳細については後述する。

Ｓ１２０５では、画像処理部２０は、Ｓ１２０４で合成された画像は撮像素子から出力されたＲＡＷデータ形式のままであるため、ＹＵＶ形式に現像処理を行った後、符号化処理を行う。

Ｓ１２０６では、システム制御部５０は、記録媒体１５０へ合成画像の記録を行い、Ｓ１２０７で記録終了と判定されたならば、本処理を終了する。

図１３はＨＤＲ合成処理における合成比率テーブルを示している。

本実施形態のＨＤＲ合成では、露出が適正、アンダー、オーバーで撮影された３枚の画像のうち、白飛びが発生しにくいアンダー画像の画素値を基準にＨＤＲ合成比率を決定する。

アンダー画像を画素単位、もしくは領域単位で輝度レベルを求め、図１３の合成比率テーブルを参照して、オーバー画像の合成比率α、適正画像の合成比率β、アンダー画像の合成比率γを決定する。

上記のように決定された合成比率α、β、γに基づき、式６を用いて合成画像を生成する。

ＨＤＲ＿Ｉｍａｇｅ［ｘ，ｙ］＝ＯｖｅｒＩｍａｇｅ［ｘ，ｙ］×α＋ＮｏｒｍａｌＩｍａｇｅ［ｘ，ｙ］×β＋ＵｎｄｅｒＩｍａｇｅ［ｘ，ｙ］×γ・・・（６）
図１４は、本実施形態のホワイトバランス処理における白検出範囲を示している。

本実施形態のホワイトバランス処理では、撮影画像の色温度検出領域のＲＧＢ値を式７〜式９を用いて座標変換を行い、白判定を行っている。

Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３・・・（７）
Ｃｘ＝（Ｒ−Ｂ）／Ｙ・・・（８）
Ｃｙ＝（Ｒ＋Ｂ−Ｇ）／Ｙ・・・（９）
入力された画素の色評価値Ｃｘ、Ｃｙが求まったら、図１４に示す座標系にプロットし、白検出範囲内に収まっていれば当該画素は白判定と見なし、ＲＧＢ積分値（Ｒｓｕｍ、Ｇｓｕｍ、Ｂｓｕｍ）の対象となる。これらをすべての有効画素に対して行い、ＲＧＢ積分値から、ホワイトバランスゲインを式１から求めたＹｓｕｍと式１０〜式１２を用いて算出する。このとき白判定された画素の総数から、式１３を用いて白検出率も求める。

ＷＢ＿Ｒｇａｉｎ＝Ｒｓｕｍ／Ｙｓｕｍ・・・（１０）
ＷＢ＿Ｇｇａｉｎ＝Ｇｓｕｍ／Ｙｓｕｍ・・・（１１）
ＷＢ＿Ｂｇａｉｎ＝Ｂｓｕｍ／Ｙｓｕｍ・・・（１２）
ＤｅｔｅｃｔＲａｔｉｏ＝ＷｈｉｔｅＰｉｘｅｌＮｕｍ／ＥｆｆｅｃｔｉｖｅＰｉｘｅｌＮｕｍ・・・（１３）
図１４に示すように、通常ＷＢの白検出範囲に対して、被写体輝度に応じて高輝度用白検出範囲（高輝度ＷＢ）、低輝度用白検出範囲（低輝度ＷＢ）が設けられている。これはシーンを輝度から予測しているためであり、被写体の輝度に応じて白検出範囲を決定している。また、中間輝度では線形補間等の補間処理を行い、白検出範囲を決定する。

適正露出の画像は、適正画像の被写体輝度をＢｖＲｅｆとし、適正画像の白検出範囲をＢｖＲｅｆに基づいて決定する。これに対し、アンダー画像やオーバー画像は、式１４、式１５のように露出シフト量ＥｘｐＳｈｉｆｔを加味して白検出範囲を決定する。

ＢｖＵｎｄｅｒ＝ＢｖＲｅｆ＋ＥｘｐＳｈｉｆｔ・・・（１４）
ＢｖＯｖｅｒ＝ＢｖＲｅｆ−ＥｘｐＳｈｉｆｔ・・・（１５）
図１５は本実施形態のホワイトバランスゲインを混合する例を示している。

適正画像、アンダー画像、オーバー画像のそれぞれからホワイトバランスゲインと白検出率を求め、以下の式によりホワイトバランスゲインを混合する。

適正画像：ＷＢ＿ＲｇａｉｎＮｏｒｍ、ＷＢ＿ＧｇａｉｎＮｏｒｍ、ＷＢ＿ＢｇａｉｎＮｏｒｍ、ＤｅｔｅｃｔＲａｔｉｏＮｏｒｍ
アンダー画像：ＷＢ＿ＲｇａｉｎＵｎｄｅｒ、ＷＢ＿ＧｇａｉｎＵｎｄｅｒ、ＷＢ＿ＢｇａｉｎＵｎｄｅｒ、ＤｅｔｅｃｔＲａｔｉｏＵｎｄｅｒ
オーバー画像：ＷＢ＿ＲｇａｉｎＯｖｅｒ、ＷＢ＿ＧｇａｉｎＯｖｅｒ、ＷＢ＿ＢｇａｉｎＯｖｅｒ、ＤｅｔｅｃｔＲａｔｉｏＯｖｅｒ
ＤｅｔｅｃｔＲａｔｉｏＳｕｍ＝ＤｅｔｅｃｔＲａｔｉｏＮｏｒｍ＋ＤｅｔｅｃｔＲａｔｉｏＵｎｄｅｒ＋ＤｅｔｅｃｔＲａｔｉｏＯｖｅｒ
適正ＷＢ混合率：ＭｉｘＮｏｒｍ＝ＤｅｔｅｃｔＲａｔｉｏＮｏｒｍ／ＤｅｔｅｃｔＲａｔｉｏＳｕｍ
アンダーＷＢ混合率：ＭｉｘＵｎｄｅｒ＝ＤｅｔｅｃｔＲａｔｉｏＵｎｄｅｒ／ＤｅｔｅｃｔＲａｔｉｏＳｕｍ
オーバーＷＢ混合率：ＭｉｘＯｖｅｒ＝ＤｅｔｅｃｔＲａｔｉｏＯｖｅｒ／ＤｅｔｅｃｔＲａｔｉｏＳｕｍ
混合ＷＢ：
ＭｉｘＲｇａｉｎ＝ＷＢ＿ＲｇａｉｎＮｏｒｍ×ＭｉｘＮｏｒｍ＋ＷＢ＿ＲｇａｉｎＵｎｄｅｒ×ＭｉｘＵｎｄｅｒ＋ＷＢ＿ＲｇａｉｎＯｖｅｒ×ＭｉｘＯｖｅｒ
ＭｉｘＧｇａｉｎ＝ＷＢ＿ＧｇａｉｎＮｏｒｍ×ＭｉｘＮｏｒｍ＋ＷＢ＿ＧｇａｉｎＵｎｄｅｒ×ＭｉｘＵｎｄｅｒ＋ＷＢ＿ＧｇａｉｎＯｖｅｒ×ＭｉｘＯｖｅｒ
ＭｉｘＢｇａｉｎ＝ＷＢ＿ＢｇａｉｎＮｏｒｍ×ＭｉｘＮｏｒｍ＋ＷＢ＿ＢｇａｉｎＵｎｄｅｒ×ＭｉｘＵｎｄｅｒ＋ＷＢ＿ＢｇａｉｎＯｖｅｒ×ＭｉｘＯｖｅｒ
そして、ＭｉｘＲｇａｉｎ、ＭｉｘＢｇａｉｎ、ＭｉｘＧｇａｉｎを最終ホワイトバランスゲインとして合成画像に適応させる。

ただし、適正画像の白検出率ＤｅｔｅｃｔＲａｔｉｏＮｏｒｍが所定値以上であれば、適正画像の白検出結果の信頼性が高いと考えられるので、ＷＢ＿ＲｇａｉｎＮｏｒｍ、ＷＢ＿ＧｇａｉｎＮｏｒｍ、ＷＢ＿ＢｇａｉｎＮｏｒｍをそのまま最終ホワイトバランスゲインとする。

また、図１の被写体検出部７４により主被写体が検出されている場合には、主被写体が適正に撮影されている画像のホワイトバランスゲインをそのまま使用する。適正輝度をＹｒｅｆとし、主被写体部分の輝度を各露出の画像から算出した結果をＹｎｏｒｍ、Ｙｕｎｄｅｒ、Ｙｏｖｅｒとする。これらの値でＹｒｅｆに最も近い値を求めて、最も近い値を持つ画像のホワイトバランスゲインを、そのまま最終ホワイトバランスゲインとする。

例えば、Ｙｏｖｅｒが一番Ｙｒｅｆに近い場合は、ＷＢ＿ＲｇａｉｎＯｖｅｒ、ＷＢ＿ＧｇａｉｎＯｖｅｒ、ＷＢ＿ＢｇａｉｎＯｖｅｒが最終ホワイトバランスゲインとなる。

図１６は、本実施形態のＨＤＲ合成処理における適正画像、アンダー画像、オーバー画像のデータフローを示している。

図１６において、適正画像、アンダー画像、オーバー画像の各ホワイトバランスゲインを混合して１つの混合ホワイトバランスゲインＭｉｘＷＢｇａｉｎを算出し、それぞれの画像に適用する。その後、合成比率ＭｉｘＲａｔｉｏ＿α、β、γを乗算して、３枚の画像を加算することで１枚のＨＤＲ合成画像が生成される。

以上説明したように、本実施形態によれば、適正画像の被写体の輝度と各画像の露出シフト量とに基づいて白検出範囲を決定することで、ホワイトバランスの誤検出を低減し、ＨＤＲ撮影において最適なホワイトバランス処理を実施することができる。

［実施形態６］
実施形態５では、ＨＤＲ合成において最適なホワイトバランスゲインを算出する方法について説明した。しかしながら、露出をシフトさせた各画像の最適なホワイトバランスゲインが大きく異なっている場合、ホワイトバランスゲインを混合して１つにしてしまうと不自然になることがある。このような場合には、以下のようにＨＤＲ合成処理を行うことが望ましい。

なお、本実施形態において、適正画像、アンダー画像、オーバー画像の各ホワイトバランスゲインを算出する処理は実施形態５で説明した通りである。

図１７は、本実施形態のＨＤＲ合成処理における適正画像、アンダー画像、オーバー画像のデータフローを示している。

図１７において、適正画像、アンダー画像、オーバー画像の各ホワイトバランスゲインＷＢｇａｉｎＯｖｅｒ、Ｎｏｒｍ、Ｕｎｄｅｒを算出し、それぞれの画像に適用する。その後、合成比率ＭｉｘＲａｔｉｏ＿α、β、γを乗算して、３枚の画像を加算することで１枚のＨＤＲ合成画像が生成される。

このように、適正画像、アンダー画像、オーバー画像それぞれの最適なホワイトバランスゲインが異なる場合には、各画像のホワイトバランスゲインを適用してからＨＤＲ合成処理を行うことで、画像ごとに異なるホワイトバランス処理を実施することができる。

本実施形態ではＨＤＲ合成を行う際に適正画像、アンダー画像、及びオーバー画像を使用しているが適正画像とオーバー画像、または適正画像とアンダー画像、またはアンダー画像とオーバー画像を使用してもよい。

また、本実施形態のＨＤＲ合成処理は、静止画だけでなく動画にも適用可能である。動画に適用する場合は、露出をシフトさせて生成された複数のフレーム画像に対して上述した各実施形態の処理を実施すればよい。

さらに、本実施形態のＨＤＲ合成処理において色シェーディング補正処理とホワイトバランス処理とを組み合わせて構成しても良い。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (17)

1. 露出を変えて撮像される複数の画像を合成する画像処理装置において、
   前記複数の画像から色温度を検出する色温度検出手段と、
   前記複数の画像のそれぞれから検出された色温度に基づいて各画像の色シェーディング補正値を決定する決定手段と、
   前記複数の画像のそれぞれについて、前記決定手段により決定された色シェーディング補正値を用いて色シェーディングを補正する補正手段と、
   前記色シェーディングが補正された複数の画像を合成する画像合成手段と、を有することを特徴とする画像処理装置。
2. 前記複数の画像の被写体の輝度を検出する輝度検出手段を更に有し、
   前記決定手段は、前記輝度検出手段により検出された被写体輝度と、前記色温度検出手段により検出された色温度とに基づいて前記色シェーディング補正値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色温度検出手段は、各画像の画素値を座標変換した評価値から色温度を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記色温度検出手段は、適正露出の画像の画素値との差分を用いて、露出をシフトさせた画像の画素値に重みづけを行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記補正手段は、適正露出の画像の画素値との差分を用いて、前記決定手段により決定された各画像の色シェーディング補正値に重みづけを行うことを特徴とする請求項１または２に記載の画像処理装置。
6. 露出を変えて撮像される複数の画像を合成する画像処理装置において、
   前記複数の画像から色温度に関する評価値を算出する算出手段と、
   被写体の輝度を検出する輝度検出手段と、
   前記複数の画像のそれぞれから算出された評価値に基づいて各画像のホワイトバランスを制御するホワイトバランス処理手段と、
   前記ホワイトバランス処理された複数の画像を合成する画像合成手段と、を有し、
   前記ホワイトバランス処理手段は、前記輝度検出手段により検出された被写体の輝度と各画像の露出シフト量とに応じて白判定を行うための白検出範囲を決定することを特徴とする画像処理装置。
7. 前記輝度検出手段は、適正露出の画像の被写体の輝度を検出し、
   前記ホワイトバランス処理手段は、適正露出の画像の被写体の輝度と、各画像の適正露出からの露出シフト量とに基づいて前記白検出範囲を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記ホワイトバランス処理手段は、複数の画像のそれぞれの白検出率を求め、白判定された画素の総数に対する各画像の白検出率の比率に基づいて、複数の画像のホワイトバランスゲインを混合し、最終ホワイトバランスゲインを決定することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記ホワイトバランス処理手段は、適正露出の画像の白検出率が所定値以上の場合には、適正露出の画像のホワイトバランスゲインを最終ホワイトバランスゲインとすることを特徴とする請求項８に記載の画像処理装置。
10. 画像中の主被写体を検出する被写体検出手段を更に有し、
    前記ホワイトバランス処理手段は、前記主被写体の輝度が適正輝度に最も近い画像のホワイトバランスゲインを最終ホワイトバランスゲインとすることを特徴とする請求項８に記載の画像処理装置。
11. 前記複数の画像は、露出が適正の画像、アンダーの画像、オーバーの画像の少なくとも２つを含み、
    前記ホワイトバランス処理手段は、適正画像、アンダー画像、オーバー画像の各ホワイトバランスゲインを混合して１つの最終ホワイトバランスゲインを算出し、それぞれの画像に適用することを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理装置。
12. 前記複数の画像は、露出が適正の画像、アンダーの画像、オーバーの画像の少なくとも２つを含み、
    前記ホワイトバランス処理手段は、適正画像、アンダー画像、オーバー画像の各ホワイトバランスゲインを算出してそれぞれの画像に適用し、
    前記画像合成手段は、前記ホワイトバランスゲインが適用された各画像を合成することを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理装置。
13. 予め決定された露出量で複数の画像を撮像する撮像手段をさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 露出を変えて撮像される複数の画像を合成する画像処理方法であって、
    前記複数の画像から色温度を検出する色温度検出ステップと、
    前記複数の画像のそれぞれから検出された色温度に基づいて各画像の色シェーディング補正値を決定する決定ステップと、
    前記複数の画像のそれぞれについて、前記決定された色シェーディング補正値を用いて色シェーディングを補正する補正ステップと、
    前記色シェーディングが補正された複数の画像を合成する画像合成ステップと、を有することを特徴とする画像処理方法。
15. 露出を変えて撮像される複数の画像を合成する画像処理方法において、
    前記複数の画像から色温度に関する評価値を算出する算出ステップと、
    被写体の輝度を検出する輝度検出ステップと、
    前記複数の画像のそれぞれから算出された評価値に基づいて各画像のホワイトバランスを制御するホワイトバランス処理ステップと、
    前記ホワイトバランス処理された複数の画像を合成する画像合成ステップと、を有し、を有し、
    前記ホワイトバランス処理ステップでは、前記検出された被写体の輝度と各画像の露出シフト量とに応じて白判定を行うための白検出範囲を決定することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１３のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。