JP2012165213A - 画像処理装置 - Google Patents

Abstract

【課題】被写体ぶれや撮像装置の振動が発生した場合であっても、自然に合成されたダイナミックレンジが拡張された画像を提供する。
【解決手段】第１の露出量で撮像された第１の画像、及び第１の露出量よりも高い第２の露出量で撮像された第２の画像を取得る。そしてガンマ変換処理を適用した第１の画像を縮小し、当該縮小された画像の各画素について、当該画素の画素値を、当該画素を中心とする予め設定された画素数の範囲内の画素の画素値のうち、最大の画素値に変換する。さらに画素値が変換されて得られた画像を、ガンマ変換処理が適用された第１の画像の画素数まで拡大することにより、合成の基準となる第３の画像を生成する。このように生成された第３の画像の画素値に対して予め対応づけられた加算係数を用いて、第１の画像と第２の画像とを加算合成することにより、ダイナミックレンジが拡張された画像を生成する。
【選択図】図６

Description

本発明は、ダイナミックレンジを拡張した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、通常の撮影で得られる画像よりもダイナミックレンジを拡張した画像を生成する、所謂ＨＤＲ（High Dynamic Range）技術が知られている。具体的にはＨＤＲ技術を用いた画像処理方法では、露出量を異ならせて撮像された複数の合成を好適に合成することによりダイナミックレンジが拡張された画像（ＨＤＲ画像）を生成することができる。

しかしながら、このように生成されたＨＤＲ画像では複数の画像を合成するため、被写体ぶれや撮像装置に加わる振動の影響により、得られた画像のエッジ部分においてエッジが多重にみえることが生じうる。生成されたＨＤＲ画像においてエッジが多重して見える現象は、特に明度の高い部分と低い部分との境界部において顕著に確認される。

ここで、ＨＤＲ画像においてエッジが多重して見える現象について、図を用いて詳細に説明する。なお、簡単のため、ここでは異なる露出量の２つの画像を合成することによりＨＤＲ画像を生成する例について説明する。

例えば図４（ａ）のように、輝度の高い背景画像に対して、主被写体である人物が逆光の関係で立っている構図を考える。このとき撮影される画像において主被写体が描画される領域は輝度が低い領域となるため、主被写体が動いた、または撮像装置が振動した場合、ＨＤＲ画像において主被写体と背景の境界部に多重エッジが現れる。

このとき図４（ａ）の画像の水平ライン４０１に注目すると、合成に用いる露出量の低い撮像画像及び露出量の高い撮像画像では、当該水平ラインのｘ座標において画素値ＤＬ及びＤＨは図５（ａ）に示すような挙動を示す。図５（ａ）では、２つの画像の画素値は、主被写体の動き、あるいは撮像装置の振動により画素値が低下している座標がずれていることがわかる。なお、露出量の高い撮像画像は露出量の低い撮像画像の４倍の露出量であり、露出量の高い撮像画像では、輝度の高い背景領域において画素値が飽和している。

露出量の異なる２つの画像を合成するために、当該２つの画像をガンマ変換する。それぞれの画像において露出量の条件が異なるため、ガンマ変換は図５（ｂ）のようなそれぞれの画像ごとに異なる変換特性曲線を用いてなされる。このように変換されたガンマ変換出力ＧＬ及びＧＨは、図５（ｃ）のような挙動を示している。

露出量の異なる２つの画像のガンマ変換出力からも明らかなように、背景領域が飽和している露出量の高い画像は、背景領域において露出量の低い撮像画像とは異なるガンマ変換出力を呈している。また、露出量の低い撮像画像では一般的に、輝度の低い領域については黒つぶれが生じやすく、当該領域において被写体が鮮明に表現されない。即ち、生成するＨＤＲ画像では、輝度の高い領域については露出量の低い撮像画像、輝度の低い領域については露出量の高い撮像画像が用いられることが好ましい。

このため、ＨＤＲ画像を生成するための基準の露出量を有する画像として、飽和領域がない露出量の低い撮像画像を選択し、当該画像のガンマ変換出力Ｇ_Ｌに応じて、図５（ｄ）に示すような加算係数Ｋを決定する。加算係数Ｋは、生成するＨＤＲ画像において露出量の低い撮像画像と露出量の高い画像の合成方法を決定するためにあらかじめ定められた係数であり、ＨＤＲ画像のガンマ出力Ｇ_Ｏは、
Ｇ_Ｏ＝Ｋ×Ｇ_Ｌ＋ＫＫ×Ｇ_Ｈ 式１
で表すことができる。加算係数Ｋは、図５（ｄ）に示すように所定のガンマ変換出力の範囲で０から１に変化している。また加算係数ＫＫは（１−Ｋ）である。当該０＜Ｋ＜１の範囲においては２つの画像が合成され、Ｋ＝１の範囲で露出量の低い撮像画像のみ、Ｋ＝０の範囲で露出量の高い撮像画像のみが生成に用いられることが示されている。

このように生成されたＨＤＲ画像のガンマ変換出力は、図５（ｅ）に示すような挙動を呈する。図からもわかるように、ＨＤＲ画像を生成する異なる露出量の画像の撮像において被写体ぶれ、あるいは撮像装置の振動がある場合は、輝度の低い領域において、露出量の高い画像の輝度の高い領域の画像が合成されている。この場合、生成されたＨＤＲ画像には疑似輪郭と呼ばれるエッジが多重して見える現象が、輝度の低い領域と高い領域との境界において発生してしまう。

このように被写体ぶれや撮影時の撮像装置の振動が存在する場合は、輝度の低い領域と高い領域との境界においてエッジが多重して見えてしまうことがあり、ＨＤＲ画像において画質低下や違和感をユーザに対して与えてしまう。

特許文献１には、露出量の異なる複数の画像のうち、１つの画像を基準の露出量を有する画像として設定して平均化フィルタを適用することで、明暗度の異なる境界近辺で濃淡値を平均化し、合成画像における多重エッジを軽減する技術が開示されている。

また特許文献２には、領域において合成する露出量の異なる２つの画像のガンマ変換出力の差分を検出し、当該差分が閾値より大きい場合は露出量の低い画像、当該差分が別の閾値より小さい場合は露出量の高い画像を選択して生成することが開示されている。

特開２００９−０１０５６６号公報 特開２００５−２２３７６９号公報

しかしながら、上述の特許文献１の技術では、明暗度の異なる境界付近においても平均化処理を適用するため、境界付近の画像の合成において、次のような不自然な合成がなされることがある。即ち、境界付近で平均化処理が適用されているため、輝度の高い領域において飽和を示している露出量の高い画像が合成される、あるいは輝度の低い領域において黒つぶれした露出量の低い画像が合成される。このため、境界を挟んで輝度の高い領域では白い領域が、輝度の低い領域においては黒い領域が合成されるため、不自然なＨＤＲ画像が生成される。

また、特許文献２の技術では、急峻な輝度勾配を示す領域では、ガンマ変化出力の差分値が小さい領域において細い疑似輪郭が発生する。

本発明は、上述の問題点に鑑みてなされたものであり、被写体ぶれや撮像装置の振動が発生した場合であっても、自然に合成されたダイナミックレンジが拡張された画像を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
第１の露出量で撮像された第１の画像、及び第１の露出量よりも高い第２の露出量で撮像された第２の画像を取得する取得手段と、取得手段により取得された第１及び第２の画像に対してガンマ変換処理を適用するガンマ変換手段と、ガンマ変換手段によりガンマ変換処理が適用された第１の画像から、合成の基準となる第３の画像を生成する生成手段と、第３の画像の画素値に対して予め対応づけられた加算係数を用いて、第１の画像と第２の画像とを画素ごとに加算合成する合成手段と、を備え、生成手段は、ガンマ変換処理が適用された第１の画像を縮小し、当該縮小された画像の各画素について、当該画素の画素値を、当該画素を中心とする予め設定された画素数の範囲内の画素の画素値のうちの最大の画素値に変換し、当該画素値が変換されて得られた画像を、ガンマ変換処理が適用された第１の画像の画素数まで拡大することにより、第３の画像を生成することを特徴とする。

このような構成により本発明によれば、被写体ぶれや撮像装置の振動が発生した場合であっても、自然に合成されたダイナミックレンジが拡張された画像を提供することを可能とする。

本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図 実施形態に係るＨＤＲ画像を生成するための処理を説明するためのブロック図 実施形態１及び２に係る基準明暗度生成部の回路構成を示した図 実施形態に係るＨＤＲ画像を生成するシーン例を示した図 従来技術に係るＨＤＲ画像の生成における問題を説明するための図 実施形態１に係る信号処理部における処理を説明するための図 実施形態２に係る信号処理部における処理を説明するための図 実施形態３に係る基準明暗度生成部の回路構成を示した図 実施形態３に係る信号処理部における処理を説明するための図 実施形態３に係る信号処理部における処理を説明するための別の図

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、露出量の異なる複数の画像を用いて、ダイナミックレンジを拡張した１つの画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、露出量の異なる複数の画像を用いて、ダイナミックレンジを拡張した１つの画像を生成することが可能な任意の機器に適用可能である。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばマイクロコンピュータであり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えばＲＯＭ１０２に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、例えばＥＥＰＲＯＭ等の電気的に書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要な設定値等の情報が格納される。

ＲＡＭ１０３は、揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に格納する領域としても用いられる。メモリ制御部１０８は、ＲＡＭ１０３からのデータ読み出し、及びＲＡＭ１０３へのデータの書き込みを制御するブロックであり、制御部１０１の制御により動作する。

なお、本実施形態ではデジタルカメラ１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４を介して撮像素子上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、デジタル画像信号を出力する。

本実施形態では、撮像部１０５は露光時間を異ならせることにより露出量の異なる２種類の画像を撮影し、Ａ／Ｄ変換部１０６においてＡ／Ｄ変換処理が適用されて得られた２つの画像がＲＡＭ１０３に格納される。なお、以下では短い露出時間で得られた画像を「低露出画像」、長い露出時間で得られた画像を「高露出画像」として説明するものとする。

信号処理部１０７は、撮像された画像に対して種々の画像処理を適用するブロックである。本実施形態では信号処理部１０７は、ダイナミックレンジを拡張したＨＤＲ画像を生成するための合成処理に限らず、例えば低露出画像及び高露出画像の被写体の位置ずれを検出して補正する処理等を実行可能であるものとして説明する。

（ＨＤＲ画像生成処理）
このような構成をもつ本実施形態のデジタルカメラ１００のＨＤＲ画像生成処理について、図２を用いて具体的な処理を説明する。図２は、ＲＡＭ１０３に記憶されている低露出画像及び高露出画像からＨＤＲ画像を生成する流れを説明するために、信号処理部１０７で行われる処理をブロック図として示したものである。

まず信号処理部１０７には、メモリ制御部１０８によりＲＡＭ１０３から読み出された低露出画像及び高露出画像が入力される。信号処理部１０７に入力された低露出画像及び高露出画像は、低露出ガンマ変換部２０１及び高露出ガンマ変換部２０２でそれぞれガンマ変換処理が適用される。なお、本実施形態では上述したＨＤＲ画像の説明と同様に、図４（ａ）のような撮影シーンにおけるＨＤＲ画像の生成について説明する。また、当該ＨＤＲ画像の生成において高露出ガンマ変換部２０２で適用されるガンマ変換処理の変換特性は、上述した説明と同様に図５（ｂ）のような変換特性曲線が用いられるものとする。

ガンマ変換処理が適用された低露出画像は、低露出ガンマ変換部２０１から基準明暗度生成部２０３に出力され、基準明暗度生成部２０３にて基準明暗度画像を生成する。基準明暗度画像とは、ＨＤＲ画像を生成するために低露出画像及び高露出画像をどのように組み合わせるかを決定するための基準となる画像であり、当該基準明暗度画像の明暗度を用いて上述したような加算係数Ｋを決定する。なお、本実施形態では、低露出画像を基準の露出量を有する画像として用いるものとして説明するが、本発明の実施はこれに限らない。

ここで、本実施形態における基準明暗度画像の生成方法について、図を用いてさらに説明する。本実施形態では、ＨＤＲ画像における多重エッジの発生を回避するために、合成後のＨＤＲ画像内の輝度の低い領域での合成において、高露出画像におけるエッジが合成されにくくする。具体的には、基準明暗度生成部２０３において出力される基準明暗度画像の明暗度が、輝度の低い領域において高くなるようにする。即ち、低露出画像の加算係数が高くなるようにすることにより、輝度の低い領域と輝度の高い領域の境界付近において、被写体ぶれや撮像装置の振動により輝度の低い領域に合成され得る高露出画像のエッジの加算係数が低くなるようにする。

このように、基準明暗度生成部２０３では生成されるＨＤＲ画像内の輝度の低い領域において、高露出画像のエッジの加算係数が低くなるような明暗度となるように、ガンマ変換されて得られた低露出画像の明暗度の情報を変形する。以下、本実施形態に係る基準明暗度生成部２０３で行われる基準明暗度画像の生成処理について、図３を用いて詳細を説明する。

図３は基準明暗度生成部２０３内部で行われる処理を示した回路図であり、画像の縮小処理を行う縮小回路３０１、画像の拡大処理を行う拡大回路３０２、及びＭＡＸフィルタ回路３０３を備える。

縮小回路３０１は、入力された画像の縮小処理を行うが、当該縮小処理によりエイリアシング等が生じないように、予め設定されたローパスフィルタ処理（低域通過フィルタ処理）が適用された後に縮小処理を実行する。

ＭＡＸフィルタ回路３０３は、入力された画像の各画素に対して、当該画素を中心とする周辺３×３画素について探索し、周辺画素のうちの最大の明度の画素値を当該画素の新たな画素値として置換する変換フィルタである。即ち、ＭＡＸフィルタ回路３０３により出力される画像は入力された画像に比べ、単純に明度の高い領域が上下左右に１画素分だけ拡張させられ、逆に明度の低い領域が上下左右に１画素分だけ縮減されている。

本実施形態では、基準明暗度画像の生成に係る計算量を削減するために、基準明暗度生成部２０３に入力された画像に対して縮小処理あるいは拡大処理を適用して得られた画像に対してＭＡＸフィルタ回路３０３における変換処理を適用させる。例えば縮小回路３０１において縦横それぞれの画素数を１／２倍にする縮小処理を２回適用した画像、即ち画素数が１／１６倍である画像において、ＭＡＸフィルタ回路３０３における変換処理を適用した場合を考える。このときＭＡＸフィルタ回路３０３から出力される画像は、基準明暗度生成部２０３に入力された画像の１／１６倍の画素数の画像において明度の高い領域が上下左右に１画素分だけ拡張させられている。そして当該出力された画像に対して、拡大回路３０２において縦横それぞれの画素数を２倍にする拡大処理を２回適用すると、基準明暗度生成部２０３に入力された画像と同一の画素数を有する画像が得られ、基準明暗度生成部２０３は当該画像を出力する。即ち、当該基準明暗度生成部２０３から出力される画像において明度の高い領域は、基準明暗度生成部２０３に入力された画像に比べて、上下左右に４画素分だけ拡張させられていることになる。

このように基準となる露出量を有する画像を変換することで、被写体ぶれや撮像装置の振動によってＨＤＲ画像を生成するための画像間にずれが生じていた場合であっても、輝度の低い領域において高露出画像のエッジが合成されることを回避することができる。つまり、輝度の低い領域において低露出画像の加算係数が高くなるよう、即ち当該領域において基準明暗度画像の明暗度が高くなるように、明度の高い領域を拡張して明度の低い領域を縮減する処理が基準明暗度生成部２０３において適用される。

即ち、被写体ぶれや撮像装置の振動によってＨＤＲ画像を生成するための画像間に生じるずれの許容量（画素数）を予め定めておくことにより、基準明暗度生成部２０３で実行される処理は毎回決まった計算量とすることができる。上述した例では、画像間のずれを４画素まで許容可能な例であるが、例えば６画素まで許容する場合は、次のようにすればよい。
１．基準明暗度生成部２０３に入力された画像の１／１６倍の画素数の画像に対してＭ
ＡＸフィルタ回路３０３の変換処理を適用する
２．変換処理後の画像に対して拡大回路３０２で縦横それぞれ２倍の画素数にする拡大
処理を適用する
３．拡大処理後の画像に対してＭＡＸフィルタ回路３０３の変換処理を適用する
４．２回目の変換処理後の画像に対して、拡大回路３０２でさらに縦横それぞれ２倍の
画素数にする拡大処理を適用する

このようにすることで、基準明暗度生成部２０３から出力する画像は、明度の高い領域を任意の画素数分だけ拡張することができ、ＨＤＲ画像の輝度の低い領域にエッジが多重に合成されないような基準明暗度画像を生成することができる。

図６（ａ）は、基準明暗度生成部２０３に入力されるガンマ変換後の低露出画像の明暗度ＧＬ、縮小処理と拡大処理のみを実行して得られた画像の明暗度Ｇ_Ｂ’、及びＭＡＸフィルタ回路３０３における変換処理により得られた画像の明暗度Ｇ_Ｂが示されている。このような場合、図６（ｂ）及び（ｃ）に示すように、ＭＡＸフィルタ回路３０３における変換処理が実行されて得られた基準明暗度画像Ｇ_Ｂは、高露出画像における輝度の低い領域と輝度の高い領域との境界（エッジ）であっても、加算係数Ｋは１．０となる。即ち、高露出画像のエッジが合成されることを回避でき、図６（ｄ）のような明暗度Ｇ_Ｏを有するＨＤＲ画像を生成することができる。

なお、本実施形態では、被写体ぶれや撮像装置の振動によってＨＤＲ画像を生成するための画像間に生じるずれの許容量を予め定めておくものとして説明したが、本発明の実施はこれに限らない。即ち、例えばジャイロセンサ等により撮像装置の振動を検出して、当該振動量に従って基準明暗度生成部２０３の処理を異ならせるように制御してもよいし、合成する画像間のずれを検出して基準明暗度生成部２０３の処理を異ならせるように制御してもよい。ジャイロセンサを用いる場合であれば、例えばジャイロセンサが出力する撮像装置の回転情報と合成する画像間の被写体のずれ量を示す画素数との関係を、製造時にあらかじめ計測しておいて、その計測結果を撮影時に適用してもよい。例えばピッチ方向の回転角が０°〜１°であれば被写体のずれ量を５画素、１°〜２°であれば１０画素、３°以上であれば２０画素、等として製造時の測定により決定する。また合成する画像から画像間のずれ量を示す画素数を検出する場合は、例えばパターンマッチングなど既知の技術を用いて両画像で同じ被写体像を探索し、当該被写体の動きベクトルを求めることで、ずれ量を示す画素数を検出してもよい。合成する画像間の被写体のずれ量を示す画素数が検出できれば、その画素数に応じて基準明暗度生成部２０３におけるずれの許容量を異ならせるように制御してもよい。例えば、検出の誤差を見込んで、検出された被写体のずれ量を示す画素数の２倍を、ずれの許容量とする。

また、本実施形態では、ＭＡＸフィルタ回路３０３において適用する変換処理を、対象画素を中心とする周辺３×３画素の範囲内について探索を行うものとして説明したが、本発明の実施はこれに限らない。即ち、対象画素に対して探索を行う画素の範囲の設定方法はいかなる方法でもよく、例えば処理量は増加するが周辺５×５画素について探索を行うものとしてもよい。なお、周辺５×５画素について探索を行う場合、縮小回路３０１において実行される縮小処理の倍率を減らしてもよい。つまりＭＡＸフィルタ回路３０３において探索を行う対象画素を中心とする範囲は、ＨＤＲ画像を生成するための画像間の被写体のずれの許容量、あるいは検出されたずれ量に対して、縮小回路３０１でなされる縮小処理の縮小率を乗じた画素数とすればよい。

以上説明したように、本実施形態の画像処理装置は被写体ぶれや撮像装置の振動が発生した場合であっても、自然に合成されたダイナミックレンジが拡張された画像を提供する。具体的には画像処理装置は、第１の露出量で撮像された第１の画像、及び第１の露出量よりも高い第２の露出量で撮像された第２の画像を取得する。そしてガンマ変換処理を適用した第１の画像を縮小し、当該縮小された画像の各画素について、当該画素の画素値を、当該画素を中心とする予め設定された画素数の範囲内の画素の画素値のうち、最大の画素値に変換する。さらに画素値が変換されて得られた画像を、ガンマ変換処理が適用された第１の画像の画素数まで拡大することにより、合成の基準となる第３の画像を生成する。このように生成された第３の画像の画素値に対して予め対応づけられた加算係数を用いて、第１の画像と第２の画像とを加算合成することにより、ダイナミックレンジが拡張された画像を生成する。

このようにすることで、ＨＤＲ画像の生成に使用する露出量の異なる画像を撮影中に被写体ぶれや撮像装置の振動が発生した場合であっても、輝度の低い領域において露出量の高い画像の輝度勾配により生じるエッジが合成されることを回避することができる。即ち、本実施形態の画像処理装置は、多重エッジが生じていないＨＤＲ画像を生成することができる。

以上では、露出の異なる画像を２枚合成してＨＤＲ画像を生成する場合を説明したが、本発明は露出の異なる画像を３枚以上合成してＨＤＲ画像を生成する場合に適用してもよい。例えば露出の異なる３枚の画像Ｇ_１、Ｇ_２、Ｇ_３（露出量の大小関係はＧ_１＜Ｇ_２＜Ｇ_３）を、図１０の加重加算係数Ｋ_１、Ｋ_２、Ｋ_３を用いてＨＤＲ合成する場合を説明する。

図１０において縦軸は加重加算係数、横軸は最も露出が低い画像Ｇ１から生成した基準明暗度、である。つまり、いずれの加重加算係数も最も露出が低い画像Ｇ１から生成した基準明暗度を基準とする。

まず、Ｇ_１とＧ_２をＨＤＲ合成して中間ＨＤＲ画像Ｇ_１２を生成する。つまり、式１より、Ｇ_１２＝Ｋ_１×Ｇ_１＋Ｋ_２×Ｇ_２、となる。

次に、Ｇ_１２とＧ_３をＨＤＲ合成して最終ＨＤＲ画像Ｇ_Ｏを生成する。つまり、式１より、Ｇ_Ｏ＝１×Ｇ_１２＋Ｋ_３×Ｇ_３、となる。また基準明暗度画像は、中間ＨＤＲ画像Ｇ_１２を生成した時と同じものを用いる。

本実施の形態によれば、露出が異なる３枚以上の画像をＨＤＲ合成する場合においても基準明暗度として最低露出画像を用いるため、１枚の基準明暗度画像から、低露出から高露出まで、すべての明るさにおける加重加算係数を算出することができる。

（実施形態２）
上述した実施形態１では、図４（ａ）のように輝度の高い背景の領域に対して、輝度の低い主被写体である人物の領域が存在する例について説明した。本実施形態では、図４（ｂ）のように、例えば木漏れ日やスポット光等により、輝度の低い領域内に小規模な輝度の高い領域が存在する場合のＨＤＲ画像生成処理について説明する。

図４（ｂ）に示すようなシーンの場合、上述した実施形態のようにＭＡＸフィルタ回路３０３における変換処理を適用することにより、小規模な輝度の高い領域は拡張されることになる。しかしながら、このように小規模な輝度の高い領域であっても、低露出画像の加算係数が高くなるようにしてしまうと、黒つぶれ画像で囲まれた小規模な領域が生成され、かえって不自然な画像という印象をユーザに与えてしまうことになる。このため本実施形態では、基準となる露出量の画像の明暗度の補正を行わないとみなす、小規模な輝度の高い領域の大きさを予め定める場合の処理について以下に示す。

例えば明暗度の補正を行わないとみなす、小規模な輝度の高い領域の大きさを１６画素として予め定め、ＨＤＲ画像を生成するための画像間に生じるずれの許容量が４画素である場合は、基準明暗度生成部２０３において基準明暗度画像を以下のように生成する。
１．基準明暗度生成部２０３に入力された画像を、縮小回路３０１において縦横それぞ
れ１／１６倍の画素数にする縮小処理を実行する
２．縮小処理後の画像に対して拡大回路３０２で縦横それぞれ４倍の画素数にする拡大
処理を適用する
３．拡大処理後の画像に対してＭＡＸフィルタ回路３０３の変換処理を適用する
４．変換処理後の画像に対して、拡大回路３０２でさらに縦横それぞれ４倍の画素数に
する拡大処理を適用する

即ち、まず縮小回路３０１において小規模な輝度の高い領域がない、あるいは当該領域の輝度勾配が急峻ではないとみなせる画素数まで縮小処理を実行することにより、当該領域について明暗度の補正を行わないようにすることができる。さらに基準明暗度生成部２０３に入力された画像に対して、縦横それぞれが１／４倍の画素数となるまで拡大処理を適用する。そして、ＭＡＸフィルタ回路３０３における変換処理を実行することにより、４画素までの画像間のずれを許容することができる基準明暗度画像を生成することができる。

図７（ａ）は、基準明暗度生成部２０３に入力されるガンマ変換後の低露出画像の明暗度Ｇ_Ｌ、縮小処理と拡大処理のみを実行して得られた画像の明暗度Ｇ_Ｂ’、及びＭＡＸフィルタ回路３０３における変換処理により得られた画像の明暗度Ｇ_Ｂが示されている。図からもわかるように、縮小処理によって小規模な輝度の高い領域の輝度勾配が急峻ではないとみなせるように変換されたている。このような場合、図７（ｂ）及び（ｃ）に示すように、ＭＡＸフィルタ回路３０３における変換処理が実行されて得られた基準明暗度画像Ｇ_Ｂは、輝度の高い領域において常に加算係数Ｋが１．０以下となる。即ち、低露出画像の黒つぶれ部分が、小規模な輝度の高い領域の周囲に合成されることを回避でき、図７（ｄ）のような明暗度Ｇ_Ｏを有するＨＤＲ画像を生成することができる。

このように、基準となる露出量を有する画像の明暗度の補正を行わないとみなす、小規模な輝度の高い領域があった場合においても、不自然な印象をユーザに与えないＨＤＲ画像を生成することができる。

（実施形態３）
上述した実施形態１及び２では、ガンマ変換された低露出画像の明暗度を変換することにより、ＨＤＲ画像を生成する際の各画像の加算係数を決定する方法について説明した。本実施形態では、低露出画像と高露出画像の各画素の加算係数を表す加算係数画像をそれぞれ異なる縮小率で縮小することで、それぞれで異なる空間周波数特性の加算係数画像を決定する加算係数方法について説明する。なお、本実施形態では、実施形態１と同様に図４（ａ）のようなシーンにおいてＨＤＲ画像を生成するものとして説明する。

図８は、本実施形態に係る基準明暗度生成部２０３内部で行われる処理を示した回路図であり、画像の縮小処理を行う縮小回路３０１、拡大回路３０２、及びＭＡＸフィルタ回路３０３、に加え、縮小回路８０１、拡大回路８０２、ＭＩＸフィルタ回路８０３、および合成係数決定回路８０４を備える。縮小回路８０１、拡大回路８０２は、縮小回路３０１、拡大回路３０２と同様の回路である。

合成係数決定回路８０４は、ガンマ変換出力の画素値を、低露出画像と高露出画像の加算係数画像Ｇ_Ｋ０とＧ_ＫＫ０に変換する。例えば入力される低露出画像のガンマ変換出力Ｇ_Ｌが図９（ａ）である場合、図９（ｂ）の変換特性により図９（ｃ）、（ｄ）のような加算係数画像Ｇ_Ｋ０、Ｇ_ＫＫ０を生成する。

ＭＩＮフィルタ回路８０３は、ＭＡＸフィルタ回路３０３とは反対に、入力された画像の各画素に対して、当該画素を中心とする周辺３×３画素について探索し、周辺画素のうちの最小の画素値を当該画素の新たな画素値として置換する変換フィルタである。即ち、ＭＩＮフィルタ回路８０２により出力される画像は入力された画像に比べ、単純に画素値の小さい領域、即ち明度の高い領域が上下左右に１画素分だけ拡張させられ、逆に明度の低い領域が上下左右に１画素分だけ縮減されることになる。

加算係数画像Ｇ_Ｋ０は実施形態１および実施形態２の図３で説明されていた方法と同様の方法で縮小、ＭＡＸフィルタ、拡大され、加算係数画像Ｇ_Ｋが生成される。ＭＡＸフィルタを適用する画像サイズは実施形態１および実施形態２と同様の方法で決定される。例えば低露出画像において明暗度の補正を行わないとみなす、小規模な輝度の低い領域の大きさを８画素とする場合は、加算係数画像Ｋ_０の縮小率は１／８とする。

加算係数画像Ｇ_ＫＫ０も同様の方法で縮小、ＭＩＮフィルタ、拡大され、加算係数画像Ｇ_ＫＫが生成される。例えば高露出画像において明暗度の補正を行わないとみなす、小規模な輝度の高い領域の大きさを１６画素とする場合は、加算係数画像Ｋ_０の縮小率は１／１６とする。

生成された加算係数画像Ｇ_Ｋ、Ｇ_ＫＫは低露出画像、高露出画像の基準明暗度画像出力として合成係数決定部２０４に出力され、図９（ｅ）、（ｆ）の変換特性で加算係数Ｋ、ＫＫに変換される。この加算係数Ｋ、ＫＫが、合成部２０５で式１のＫ、ＫＫとして低露出画像Ｇ_Ｌと高露出画像Ｇ_Ｈに乗算され、加算結果としてＨＤＲ画像Ｇ_Ｏが生成される。

加算係数画像Ｇ_Ｋは、ＭＡＸフィルタ処理で生成されるので画素値が大きい領域が広がっており、高露出画像における輝度の低い領域と輝度の高い領域との境界（エッジ）であっても画素値は大きな値となっている。そのため、対応する加算係数Ｋもその領域で１．０となる。

一方、加算係数画像Ｇ_ＫＫは、ＭＩＮフィルタ処理で生成されるので画素値が小さい領域が広がっており、高露出画像における輝度の低い領域と輝度の高い領域との境界（エッジ）であっても画素値は小さな値となっている。そのため、対応する加算係数ＫＫもその領域で０．０となる。

即ち、高露出画像のエッジが合成されることを回避でき、図９（ｇ）のような明暗度Ｇ_Ｏを有するＨＤＲ画像を生成することができる。つまり、加算係数画像Ｇ_Ｋは、実施形態１と同様に、ＭＡＸフィルタ回路３０３における変換処理により明度の高い領域が拡張され、加算係数画像Ｇ_ＫＫは、ＭＩＮフィルタ回路８０３における変換処理により明度の高い領域が拡張されているため、低露出画像及び高露出画像を加算合成する領域が輝度の低い人物領域にある。このため、被写体ぶれ及び撮像装置の振動により、ＨＤＲ画像を生成するための画像間にずれが生じていた場合であっても、輝度の低い領域において高露出画像のエッジが合成されることを回避することができる。

このように低露出画像と高露出画像で加算係数画像の空間周波数特性を変化させることで、小規模な輝度の低い領域と小規模な輝度の高い領域が混在していても、補正の対象とするか否かを低露出画像と高露出画像でそれぞれ独立に制御することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 第１の露出量で撮像された第１の画像、及び前記第１の露出量と異なる第２の露出量で撮像された第２の画像を取得する取得手段と、
   前記第１の画像から、合成の基準となる第３の画像を生成する生成手段と、
   前記第３の画像の画素値に対して予め対応づけられた加算係数を用いて、前記第１の画像と前記第２の画像とを画素ごとに加算合成する合成手段と、を備え、
   前記生成手段は、
   前記第１の画像の各画素について、当該画素の画素値を、当該画素を中心とする予め設定された画素数の範囲内の画素の画素値のうちの最大の画素値に変換する
   ことにより、前記第３の画像を生成することを特徴とする画像処理装置。
2. 第１の露出量で撮像された第１の画像、及び前記第１の露出量と異なる第２の露出量で撮像された第２の画像を取得する取得手段と、
   前記第１の画像から、合成の基準となる第３の画像を生成する生成手段と、
   前記第３の画像の画素値に対して予め対応づけられた加算係数を用いて、前記第１の画像と前記第２の画像とを画素ごとに加算合成する合成手段と、を備え、
   前記生成手段は、
   前記第１の画像に、明るい被写体に小さい画素値を割り当てる変換を適用し、
   当該変換された画像の各画素について、当該画素の画素値を、当該画素を中心とする予め設定された画素数の範囲内の画素の画素値のうちの最小の画素値に変換する
   ことにより、前記第３の画像を生成することを特徴とする画像処理装置。
3. 前記第１の画像に低域通過フィルタ処理を適用し、
   当該低域通過フィルタ処理が適用された画像から、第３の画像を生成することを特徴とする請求項１と請求項２に記載の画像処理装置。
4. 前記低域通過フィルタ処理は縮小処理であり、
   当該縮小処理が適用された画像から、第３の画像を生成し、
   当該生成された前記第３の画像を、前記撮像された第１の画像の画素数まで拡大し、
   当該拡大された画像の画素値に対して予め対応づけられた加算係数を用いて、前記第１の画像と前記第２の画像とを画素ごとに加算合成することを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の露出量は前記第１の露出量よりも高いことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記予め設定された画素数は、前記取得手段により取得された第１及び第２の画像の間に生じている被写体のずれを許容する画素数に応じて決定されることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記予め設定された画素数は、前記被写体のずれを許容する画素数に、前記第１の画像を縮小した縮小率を乗じた値により決定されることを特徴とする請求項６に記載の画像処理装置。
8. 前記取得手段により取得された第１及び第２の画像の間で、被写体のずれ量を示す画素数を検出する検出手段をさらに備え、
   前記予め設定された画素数は、前記検出手段により検出された前記被写体のずれ量を示す画素数に応じて決定されることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
9. 前記予め設定された画素数は、前記被写体のずれ量を示す画素数に、前記第１の画像を縮小した縮小率を乗じた値により決定されることを特徴とする請求項８に記載の画像処理装置。

Images