JP2008165312A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ＤＲ圧縮を行うに際してエッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得る。
【解決手段】基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像を生成する生成手段と、前記基画像及び前記複数の生成画像のうちの少なくとも１つの画像からエッジ情報を検出する検出手段と、前記エッジ情報に基づいて前記複数の生成画像を合成する合成手段とを備える。
【選択図】図３

Description

本発明は、画像の高画質化においてエッジを維持することが可能な画像処理装置及び画像処理方法に関するものである。

近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。このＤＲの拡大に関し、線形特性及び対数特性（線形／対数特性という）からなる光電変換特性を有する撮像センサ（リニアログセンサという）が知られている（リニアログセンサによる線形／対数特性を有した撮影画像のことを線形／対数画像という）。リニアログセンサは、対数特性において入射光量に対して自然対数的に変換された出力が得られることから、線形特性だけの光電変換特性を有する撮像センサと比べてより広いＤＲが確保される。

ところで、上記線形／対数特性の場合、線形特性は通常のイメージセンサと同じであるので高コントラストである。主被写体が明確な場合、適正露光レベルが線形領域になるように露光制御することで主被写体を高コントラストで撮影できる。しなしながら、対数特性は線形特性の１００倍以上の入射光範囲を有するにも拘わらず、出力は線形特性の数分の１に圧縮されているため低コントラストである。このまま通常の処理を行い、モニタやプリンタ等などの出力系に出力すると、主被写体は高コントラストであり、全体としては広ＤＲであるものの、高輝度領域（対数特性領域）は低コントラストな画像となる。また、対数特性を線形特性に変換すると非常に広い出力ＤＲが必要となり、そのままではＤＲが狭い出力系へは出力できない。ＤＲをこの出力系のＤＲに合わせて単純に圧縮すると、画像全体が低コントラストとなってしまう。そこで、広ＤＲ画像を高コントラストで出力系へ出力できる画像処理が必要となる。

広ＤＲ画像をこれより狭いＤＲ画像へ高コントラストで変換する技術は、ＤＲ圧縮技術と呼ばれる。このＤＲ圧縮技術に関し、例えばＲｅｔｉｎｅｘ理論によれば、目に入る光は物体の照明成分と反射率成分との積で決まるが、目の知覚は反射率成分に強い相関を有している。すなわち広ＤＲ画像において、照明成分のＤＲだけを狭くすれば、目の知覚と相関の強い反射率成分は維持されて、高コントラストで且つＤＲが狭められた画像（圧縮画像）が得られる。

画像から照明成分と反射率成分とを正確に分離するのは困難であるが、通常、ＤＲ圧縮では周波数で分離することが多い。照明成分は緩やかに変化している場合が多く、反射率成分に比べて低周波であるとして、ローパスフィルタ（ＬＰＦ）を用いて照明成分を抽出する。このとき、ＬＰＦのサイズが小さい、例えば２次元デジタルフィルタで３×３や５×５のサイズでは、抽出した照明成分に反射率成分が残留し、照明成分を圧縮する際に反射率成分も圧縮されてしまい、コントラストが低下する。したがって、かなり大きなサイズ、例えば５０×５０のサイズのＬＰＦが必要となる。

上記大きなサイズであって単純に重み付け平均するＬＰＦ（線形ＬＰＦ；ガウシアンＬＰＦ）では、画像における照明成分が急激に変化するような箇所でハローと呼ばれる不具合が発生する。これは、抽出された照明成分が真の照明成分と異なることに起因し、特にエッジ部において顕著に現れる。図１２は、１次元の信号波形を用いてＤＲ圧縮のプロセスを概念的に示す図である。同図中、符号Ａで示す図（Ａ図：以降Ｂ〜Ｅ図も同様）における画像Ｉの真の照明成分は、Ｅ図の上段に示すようにエッジは保存されて且つ他は平滑化されたものであるが（Ｅ図の下段は真の反射率成分を示す）、画像Ｉを単純なＬＰＦに通すと、Ｂ図の上段に示すようにエッジの劣化した照明成分Ｌが抽出される。このとき照明成分Ｌと画像Ｉとから反射率成分Ｄを求めると、Ｂ図の下段に示すものとなり、エッジ付近で異常を来す。Ｃ図に示すように照明成分Ｌを圧縮して照明成分Ｌ’を作成し、反射率成分Ｄとの積を求めると、ＤＲ圧縮された画像Ｉ’が得られるが、Ｄ図に示すようにオーバーシュート及びアンダーシュート（上記ハロー）が発生する。したがって、当該ハローを解消するには、照明成分の抽出に際してできる限りエッジ情報を残すようなＬＰＦ、すなわちエッジ維持フィルタと呼ばれる非線形フィルタが必要となる。

このエッジ維持フィルタとしては、例えば非特許文献１に開示されているイプシロンフィルタや、非特許文献２に開示されている両側性フィルタ（bilateral filter）が知られている。図１３は、暗部及び明部を有した或る画像Ｇにおける輝度差が大きな部分すなわちエッジ部９０１、９０２について説明するものである。同図上方に示す波形図は、謂わばステップ状の物体におけるエッジ部９０１について示している。上記線形フィルタは、空間的な重みしか考慮しないが、エッジ維持フィルタは、輝度方向（図中の符号Ｐで示す上下方向）にも重みや閾値が考慮される。すなわち或るサイズを有したＬＰＦを符号９１０で示すものとすると、線形フィルタでは、符号９１１で示す空間方向（水平方向）の大きさを変化させることしかできないが、エッジ維持フィルタでは符号９１２で示す輝度方向（上下方向）の大きさを変化させることもできる。

イプシロンフィルタを例えば符号９２０の枠で示すものとすると、イプシロンフィルタによってこの枠内の輝度値は、或る注目輝度値（注目画素値）９２１を通る直線９２２で示す値となるよう全て平滑化される。枠外の輝度値、例えば輝度値９２３は直線９２２上の輝度値９２４に置き換えられる。このようなイプシロンフィルタは閾値Ｅによって輝度方向の大きさが変化する。一方、両側性フィルタは、これを同じく符号９２０の枠で示すものとすると、注目輝度値９２１から離間するほど、ウエイトがゼロに近づいていくガウシアン９２５すなわち上記閾値Ｅに該当する輝度方向の「重み」によって輝度方向の大きさが変化する。このようにエッジ維持フィルタでは、輝度方向の閾値や重みを変化させることによって輝度方向のフィルタサイズが変化する。
"ε−分離非線形ディジタルフィルタとその応用",信学論(A),Vol.J65-A,No.4,pp.297-304,(Apr.1982). Fredo Durand and Julie Dorsey,’Fast Bilateral Filtering for the Display of High-Dynamic-Range Images’,SIGGRAPH 2002

ところで、出力画像のコントラスト確保のためにも、照明成分は、平滑度を高くする必要があるため、すなわち照明成分に反射率成分が入り込むと平滑度が低くなるため、エッジ維持フィルタのサイズは所定量確保する必要がある。上記画像Ｇにおけるエッジ部９０２は、例えば符号９０３で示す線状或いは棒状物体上の或る箇所を示している。このようなエッジ部９０２の場合、本来、エッジ部は反射率成分として抽出すべきであるが、符号９３０の図で示すエッジ維持フィルタの出力９３１は、符号９３２で示す実線のように頂上部がへこむ形或いは切り取られる形となり、反射率成分であるエッジ成分が照明成分に残る（ディテイル成分が中途半端に残る）ため、この線状或いは棒状物体のエッジに乱れ（擬似エッジ）が生じるなど、エッジの不具合を招く。そこで、輝度方向の重みや閾値を大きくする（重みや閾値のレベルを上げる）ことで、符号９４０で示す図のようにエッジ成分を反射率成分として抽出すればよいのであるが、これによって、エッジ部９０２とは別の箇所のエッジ部例えば上記エッジ部９０１において、符号９５１で示すように実際の輝度レベルとズレを生じる、換言すれば上記通常の線形ＬＰＦと同様に全体が平滑化されてしまうため、結果として、すなわちこれがＤＲ圧縮されることにより、上述と同様にエッジ部９０１にハローが発生してしまう。

本発明は、上記事情に鑑みてなされたもので、低輝度部及び高輝度部の高コントラスト化を図るべくＤＲ圧縮処理を行う場合等において、エッジ部にハロー等を発生させることなくエッジ部を好適に維持することができる、すなわち低輝度部及び高輝度部が高コントラストであるとともに、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像を生成する生成手段と、前記基画像及び前記複数の生成画像のうちの少なくとも１つの画像からエッジ情報を検出する検出手段と、前記エッジ情報に基づいて前記複数の生成画像を合成する合成手段とを備えることを特徴とする。

上記構成によれば、生成手段によって、基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像が生成され、検出手段によって、基画像及び複数の生成画像のうちの少なくとも１つの画像からエッジ情報が検出され、合成手段によって、エッジ情報に基づいて複数の生成画像が合成されるので、エッジ維持度の異なる画像、すなわちエッジ維持度の低い画像と高い画像とを生成しておき、これらエッジ維持度の低い画像と高い画像とを、エッジ情報に基づいてつまり例えばエッジ強度から求めた合成係数の情報を用いて、例えばエッジ維持度の低い画像におけるエッジ部がエッジ維持度の高い画像に置き換えられるように合成することが可能となる。これにより、当該合成により得られた画像に対して例えばＤＲ圧縮処理を行う場合、このＤＲ圧縮処理によって低輝度部、高輝度部とも高コントラスト化されるとともに、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることができる。

また、上記構成において、前記合成手段は、前記エッジ維持度の異なる複数の生成画像を、エッジ維持度の低い生成画像におけるエッジ部の画像がエッジ維持度の高い生成画像に置き換えられるように合成することが好ましい。（請求項２）

これによれば、合成手段によって、エッジ維持度の異なる複数の生成画像が、エッジ維持度の低い生成画像におけるエッジ部の画像がエッジ維持度の高い生成画像に置き換えられるように合成されるので、ＤＲ圧縮処理等を行うに際して、エッジ部にハロー等を発生させることなく該エッジ部を好適に維持することが可能となる。

また、上記構成において、前記検出手段は、前記１つの画像を縮小して縮小画像を得る縮小手段と、前記縮小画像から前記エッジ情報としてのエッジ強度を抽出する抽出手段と、前記エッジ強度に基づいて、前記複数の生成画像を合成する際の合成係数を算出する係数算出手段とを備え、前記合成手段は、前記合成係数を用いて前記複数の生成画像を合成
することが好ましい。（請求項３）

これによれば、検出手段において、縮小手段によって基画像及び複数の生成画像のうちの少なくとも１つの画像が縮小されて縮小画像が得られ、抽出手段によって縮小画像からエッジ情報としてのエッジ強度が抽出され、係数算出手段によって、エッジ強度に基づいて、複数の生成画像を合成する際の合成係数が算出される。そして、合成手段によって、この合成係数を用いて複数の生成画像が合成されるので、上記１つの画像からエッジ情報を検出し、このエッジ情報に基づいて複数の生成画像を合成する構成を容易に実現することができる。また、上記縮小画像を得ることで、画像から高周波成分を取り除くことができる（より低周波の画像を得ることができる）とともに、処理の負荷が低減され処理速度が高速になる。

また、上記構成において、前記係数算出手段は、前記合成に関する所定の閾値によって定められる変換特性に基づいて、前記エッジ強度から前記合成係数を算出することが好ましい。（請求項４）

これによれば、係数算出手段によって、合成に関する所定の閾値によって定められる変換特性に基づいて、エッジ強度から合成係数が算出されるので、エッジ強度から合成係数を算出することが容易に行えるようになる。

また、上記構成において、前記生成手段は、前記基画像に対して所定のエッジ維持フィルタを用いたフィルタ処理を行うことによりエッジ維持度の異なる複数の照明成分画像を生成することが好ましい。（請求項５）

これによれば、生成手段によって、基画像に対して所定のエッジ維持フィルタを用いたフィルタ処理を行うことによりエッジ維持度の異なる複数の照明成分画像が生成されるので、基画像から、エッジ維持度の異なる複数の照明成分画像を生成することが容易に行えるようになる。

また、上記構成において、前記生成手段は、下段の階層となるにつれてより低周波画像が得られるように前記基画像を段階的に縮小し、階層毎に、前記低周波画像を拡大する拡大処理と、該低周波画像から検出したエッジ情報に基づいて該低周波画像におけるエッジ部の画像が上段の階層の低周波画像に置き換えられるように合成する合成処理とを行う階層処理によって、エッジ維持度の異なる複数の照明成分画像を生成することが好ましい。（請求項６）

これによれば、生成手段において、下段の階層となるにつれてより低周波画像が得られるように基画像が段階的に縮小され、階層毎に、低周波画像が拡大される拡大処理と、該低周波画像から検出したエッジ情報に基づいて該低周波画像におけるエッジ部の画像が上段の階層の低周波画像に置き換えられるように合成する合成処理とが行われる階層処理によって、エッジ維持度の異なる複数の照明成分画像が生成されるので、当該階層処理によって、エッジ維持度の異なる複数の照明成分画像を容易に生成することができる。また、生成手段においてこのような階層処理が行われるので、より一層、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることが可能となる。

また、上記構成において、前記合成手段により前記複数の照明成分画像が合成されてなる合成照明成分画像に対するダイナミックレンジ圧縮処理を行う圧縮手段をさらに備えることが好ましい。（請求項７）

これによれば、圧縮手段によって、合成手段により複数の照明成分画像が合成されてなる合成照明成分画像に対するＤＲ圧縮処理が行われるので、低輝度部、高輝度部とも高コントラスト化された画像を得ることが可能となる。ただし、この高コントラスト化処理においてはエッジ部にハロー等が発生することなく該エッジ部が好適に維持される。

また、上記構成において、前記生成手段は、ダイナミックレンジ圧縮処理を行う圧縮機能を有したものであって、少なくとも前記フィルタ処理及び前記階層処理のいずれかの処理により得られた前記照明成分画像に対する前記ダイナミックレンジ圧縮処理を行い、当該ダイナミックレンジ圧縮された照明成分画像を用いて、エッジ維持度の異なる複数の出力画像を生成することが好ましい。（請求項８）

これによれば、生成手段がＤＲ圧縮処理を行う圧縮機能を有したものとされ、生成手段によって、少なくともフィルタ処理及び階層処理のいずれかの処理により得られた照明成分画像に対するＤＲ圧縮処理が行われ、当該ＤＲ圧縮された照明成分画像を用いて、エッジ維持度の異なる複数の出力画像が生成されるので、上述のように複数の照明成分画像が合成されてなる合成照明成分画像を求めておいて、この後でＤＲ圧縮処理を行うのではなく、エッジ維持度の異なる画像を生成する時点で既にＤＲ圧縮処理が行われる構成を実現することができる。ひいては、上述のように低輝度部及び高輝度部が高コントラスト化され且つエッジ部が好適に維持された高画質な画像を得るための構成の自由度が高くなる。

また、上記構成において、前記エッジ維持フィルタは、イプシロンフィルタ又は両側性フィルタであることが好ましい。（請求項９）

これによれば、エッジ維持フィルタがイプシロンフィルタ又は両側性フィルタとされるので、エッジ維持度を、イプシロンフィルタにおける輝度方向の閾値、又は両側性フィルタにおける輝度方向の重みの違いによって制御することができ、エッジ維持度の異なる複数の画像を容易に生成することができる。

また、本発明に係る画像処理方法は、基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像を生成する生成工程と、前記基画像及び前記複数の生成画像のうちの少なくとも１つの画像からエッジ情報を検出する検出工程と、前記エッジ情報に基づいて前記複数の生成画像を合成する合成工程とを有することを特徴とする。（請求項１０）

上記構成によれば、生成工程において、基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像が生成され、検出工程において、基画像及び複数の生成画像のうちの少なくとも１つの画像からエッジ情報が検出され、合成工程において、エッジ情報に基づいて複数の生成画像が合成されるので、エッジ維持度の異なる画像、すなわちエッジ維持度の低い画像と高い画像とを生成しておき、これらエッジ維持度の低い画像と高い画像とを、エッジ情報に基づいてつまり例えばエッジ強度から求めた合成係数の情報を用いて、例えばエッジ維持度の低い画像におけるエッジ部がエッジ維持度の高い画像に置き換えられるように合成することが可能となる。これにより、当該合成により得られた画像に対して例えばＤＲ圧縮処理を行う場合、このＤＲ圧縮処理によって低輝度部、高輝度部とも高コントラスト化されるとともに、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることができる。

さらに、上記構成において、前記生成工程は、所定の第１のエッジ維持度と該第１のエッジ維持度よりもエッジ維持度が低い第２のエッジ維持度との２つの画像を生成する工程であり、前記検出工程は、前記第２のエッジ維持度の生成画像を縮小して縮小画像を作成し、該縮小画像から前記エッジ情報としてのエッジ強度を抽出し、該エッジ強度に基づいて、前記２つの生成画像を合成する際の合成係数を算出する工程であり、前記合成工程は、前記２つの生成画像を、前記合成係数を用いて合成する工程であることが好ましい。（請求項１１）

これによれば、生成工程において、所定の第１のエッジ維持度と該第１のエッジ維持度よりもエッジ維持度が低い第２のエッジ維持度との２つの画像が生成され、検出工程において、第２のエッジ維持度の生成画像が縮小されて縮小画像が作成され、該縮小画像からエッジ情報としてのエッジ強度が抽出され、該エッジ強度に基づいて、２つの生成画像を合成する際の合成係数が算出される。そして、合成工程において、２つの生成画像が、合成係数を用いて合成されるので、第２のエッジ維持度の生成画像からエッジ情報を検出し、このエッジ情報に基づいて第１及び第２のエッジ維持度の生成画像を合成する構成を容易に実現することができる。また、上記縮小画像を作成することで、画像から高周波成分を取り除くことができる（より低周波の画像を得ることができる）とともに、処理の負荷が低減され処理速度が高速になる。

低輝度部及び高輝度部が高コントラストであるとともに、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることが可能となる。

（実施形態１）
図１は、第１の実施形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラ１の主に撮像処理に関するブロック構成図である。デジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によってこの絞りやシャッタの駆動制御がなされる。

撮像センサ３は、レンズ部２で結像された被写体光像の光量に応じてＲ、Ｇ、Ｂ各成分の画像信号に光電変換してアンプ４へ出力するものである。本実施形態では、撮像センサ３として、異なる複数の光電変換特性を有する光電変換特性、すなわち図２に示すようなセンサ入射輝度が低い場合つまり暗時に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合つまり明時に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性（低輝度側が線形、高輝度側が対数の光電変換特性）を有する固体撮像素子が用いられる。具体的には、ＮチャンネルやＰチャンネルＭＯＳＦＥＴ、或いはＦＤを用いた二次元のＭＯＳ型固体撮像素子（ＣＭＯＳイメージセンサ）である。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。なお、撮像センサ３は、上記線形／対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、この光電変換特性の線形特性領域と対数特性領域との切り替り点（変曲点という）は、撮像センサ３の各画素回路に対する所定の制御信号に基づいて任意に制御可能とされている。

アンプ４は、撮像センサ３から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号をデジタル値の画像信号に変換するＡ／Ｄ変換処理を行うものであり、撮像センサ３からの画素信号を例えば１２ビットの画素データに変換する。

画像処理部６は、上記Ａ／Ｄ変換処理により得られた画像信号に対する各種画像処理、具体的には、例えば色補間処理、色補正処理及び色空間変換処理といった所謂色処理、或いはホワイトバランス（ＷＢ）補正処理やＤＲ圧縮処理を行うものである。本実施形態では、ＤＲ圧縮処理においてエッジが維持されて且つハロー等の発生が抑止された高コントラストな画像が得られるようにするための処理（高コントラスト化用処理という）を行うことに主な特徴点を有しているが、これについては後に詳述する。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６にて画像処理される前のＲＡＷ画像データ、或いは画像処理部６や制御部８での各種処理時又は処理後の画像データ等のデータを保存（記憶）するものである。制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。特に、制御部８は、画像処理部６における後述の高コントラスト化用処理に関する画像処理制御を行う。

モニタ部９は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、撮像センサ３で撮影された画像、すなわち画像処理部６で処理された画像や画像メモリ７に保存されている画像等を表示するものである。操作部１０は、デジタルカメラ１に対するユーザによる指示入力を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ（ボタン）群からなる。例えばレリーズスイッチがオンされることで、撮像動作すなわち撮像センサ３により被写体光が撮像され、これにより得られた撮影画像に対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作が実行される。

ここで、画像処理部６には、撮像センサ３による撮影により得られた広ＤＲ画像が入力されるが（入力されるこの広ＤＲ画像のことを適宜、入力画像或いは基画像とも表現する）、この広ＤＲ画像に対する上記高コントラスト化用処理について説明する。図３は、画像処理部６における高コントラスト化用処理に関する機能部（高コントラスト化用処理部６０という）の一構成例を示すブロック図である。図３に示すように高コントラスト化用処理部６０は、第１エッジ維持部６１ａ、第２エッジ維持部６１ｂ、合成係数算出部６２、第１乗算部６３ａ、第２乗算部６３ｂ及び加算部６４を備えている。

第１エッジ維持部６１ａは、第１のエッジ維持度を有する第１エッジ維持フィルタによって、入力画像Ｉに対するフィルタ処理（エッジ維持フィルタ処理）を行うものである。第２エッジ維持部６１ｂは、第２のエッジ維持度を有する第２エッジ維持フィルタによって、入力画像Ｉに対するフィルタ処理（エッジ維持フィルタ処理）を行うものである。第１及び第２エッジ維持部６１ａ、６１ｂによるこのエッジ維持フィルタ処理によって、入力画像Ｉからそれぞれエッジが維持された照明成分Ｌ１、Ｌ２が抽出される。

ここで、「エッジ維持度」とは、基画像のエッジをどれだけ維持するかを示すエッジ維持の度合いを示すもの、例えば係数、パラメータであり、上述した輝度方向の閾値や重みに相当する。エッジ維持フィルタが上記イプシロンフィルタである場合には閾値Ｅによって、また、エッジ維持フィルタが上記両側性フィルタである場合にはガウシアン（影響関数）ｇの標準偏差σｇ（両側性フィルタの重み）によって、当該エッジ維持度が決定される。なお、エッジ維持度の代わりに、例えば「エッジ再現度合い」と表現としてもよい。

ここでは、第１エッジ維持部６１ａ（第１エッジ維持フィルタ）は、第２エッジ維持部６１ｂ（第２エッジ維持フィルタ）よりもエッジ維持度が高くなっている。すなわち、第１エッジ維持フィルタの閾値Ｅや標準偏差σｇは、第２エッジ維持フィルタの閾値Ｅや標準偏差σｇよりも小さい値となっている（閾値Ｅや標準偏差σｇが小さいほど、図１３中の符号９３０で示す図のように、エッジ成分が残るつまりエッジが維持される）。このことから、高コントラスト化用処理部６０は、第１及び第２エッジ維持部６１ａ、６１ｂによって、エッジ維持度を変えてエッジ維持フィルタ処理を行うものである、換言すれば入力画像Ｉからエッジ維持度の異なる複数の画像（照明成分画像、照明成分Ｌ１、Ｌ２）を生成するものであると言える。なお、照明成分Ｌ１はエッジ維持度の高い処理により得られた画像つまり高周波の画像であり（エッジは反射率成分つまり高周波成分であるので）、照明成分Ｌ２はエッジ維持度の低い処理により得られた画像つまり低周波の画像であると言える。

合成係数算出部６２は、第１及び第２エッジ維持部６１ａ、６１ｂにより抽出されたエッジ維持度の異なる照明成分Ｌ１、Ｌ２を合成するに際しての合成係数（後述の加重係数ｗから得られる合成係数ｗ、１−ｗ）を算出するものである。

第１乗算部６３ａは、第１エッジ維持部６１ａから出力された照明成分Ｌ１と、合成係数算出部６２から出力された照明成分Ｌ２（後述の各機能部６５〜６９による処理が施された照明成分Ｌ２）とを合成係数（ｗ）を用いて乗算（合成）するものである。第２乗算部６３ｂは、第２エッジ維持部６１ｂから出力された照明成分Ｌ２と、合成係数算出部６２からの上記照明成分Ｌ２とを合成係数（１−ｗ）を用いて乗算（合成）するものである。加算部６４は、第１及び第２乗算部６３ａ、６３ｂそれぞれから出力された照明成分同士を加算（合成）するものである。加算部６４はこの加算処理後、照明成分Ｌとして出力する。

合成係数算出部６２は、縮小部６５、エッジ抽出部６６、ＬＰＦ部６７、ＬＵＴ部６８及び拡大部６９を備えている。縮小部６５は、第２エッジ維持部６１ｂから出力された照明成分画像（照明成分Ｌ２）に対する縮小処理を行うものである。この縮小処理は、例えば通常の線形ＬＰＦ（単純に重み付け平均するＬＰＦ処理）を用いたＬＰＦ処理と、画素の間引き処理とを行うこと（ＬＰＦ＋間引き）により実現される。この縮小処理は、謂わば高周波成分を取り除く（より低周波成分だけにする）ために行うものである。この縮小処理によって、照明成分Ｌ２は例えば２０分の１の画像サイズまで縮小される。このように画像の縮小を行うことで、具体的には例えば後述の図５において、空の部分に送電線等の線状或いは手摺り等の棒状の物体がある場合、これら線状や棒状の物体の絵が消去されることになる。なお、このように画像を縮小する、すなわち縮小画像を扱うので、処理の負荷が低減され、後段の各機能部での処理速度或いは高コントラスト化用処理部６０全体としての処理速度が高速になる。

エッジ抽出部６６は、照明成分画像からエッジ強度を抽出（算出、検出）するものである。エッジ抽出部６６は、Ｓｏｂｅｌ（ソベル）フィルタ等のエッジ強度抽出用フィルタを用いたフィルタ処理（エッジ強度抽出処理）を行うことで、上記縮小画像からエッジ強度を算出する。Ｓｏｂｅｌフィルタとは、微分計算に基づいて謂わば画像中の各画素値間の傾きを検出するフィルタであり、これにより画像のエッジの強度を検出できる。エッジ抽出部６６により抽出されたエッジ強度の情報は、後段のＬＵＴ部６８へ出力される。なお、Ｓｏｂｅｌフィルタに限らず例えばＰｒｅｗｉｔｔ（プレウィット）フィルタを用いてもよい。

ＬＰＦ部６７は、エッジ抽出部６６から出力された照明成分画像（照明成分Ｌ２）に対して、上記線形ＬＰＦ或いはメディアンフィルタ等を用いたフィルタ処理（ＬＰＦ処理）を行うものである。ただし、ＬＰＦ部６７は、エッジ強度抽出処理後の照明成分画像におけるノイズ成分の除去を行うために備えていることが望ましいが、備えなくてもよい。

ＬＵＴ部６８は、エッジ抽出部６６からのエッジ強度の情報を受けて、これを正規化するとともに、この正規化されたエッジ強度に対して所定の閾値例えばｔｈ１、ｔｈ２を用いて、該エッジ強度を所定の加重係数へ変換する変換処理を行うものである。この変換処理はＬＵＴ（ルックアップテーブル）を用いて行う。加重係数（記号ｗで表す）は、照明成分Ｌ１及びＬ２を合成するに際して、これら照明成分Ｌ１、Ｌ２を謂わばどれ位の割合で合成するのかについての重みを加えるための係数（重み値）である。この加重係数ｗは、後述の拡大部６９により拡大処理された照明成分画像（照明成分Ｌ２）と共に、第１乗算部６３ａでの照明成分Ｌ１に対する乗算処理における合成係数「ｗ」として、また第１乗算部６３ｂでの照明成分Ｌ２に対する乗算処理における合成係数「１−ｗ」として用いられる。

図４は、上記閾値ｔｈ１及びｔｈ２を用いたＬＵＴによる変換処理について説明するものである。同図中右側の符号２１０で示す図は、縦軸が画素値、横軸が上記空間方向の座標値である、上記エッジ抽出部６６により抽出されたエッジ強度の一例を示すグラフである。同図中左側の符号２２０で示す図は、縦軸が画素値、横軸が加重係数値である、上記ＬＵＴによる変換特性を示すグラフ（変換特性２２１とする）である。同各図に示すように、閾値ｔｈ１はエッジ強度が低い側の所定の値であり、閾値ｔｈ２はエッジ強度が高い側の所定の値となっている。

変換特性２２１は、画素値がゼロから閾値ｔｈ１までの区間はｗの値がゼロであり、閾値ｔｈ２より大きいところ（区間）はｗの値が１．０であり、閾値ｔｈ１から閾値ｔｈ２までの区間はｗの値がゼロから１．０に線形的に増加する（ただし閾値での値はいずれの区間に含めてもよい）。すなわち、変換特性２２１は閾値ｔｈ１、ｔｈ２によって、ｗの値がゼロ、又は１．０、又はゼロから１．０の間の所定の値（中間値と表現する）をとる特性である。換言すれば、閾値ｔｈ１、ｔｈ２の値に応じて上記閾値ｔｈ１から閾値ｔｈ２までの区間の特性の傾きが異なるものである。

ＬＵＴ部６８は、変換特性２２１（ＬＵＴ）に基づいて、エッジ強度に対応する加重係数ｗを算出する。すなわち、区間２３１のエッジ強度に対応するｗの値はゼロ、区間２３２のエッジ強度に対応する加重係数ｗの値はゼロから１．０までの中間値、そして区間２３３のエッジ強度に対応する加重係数ｗの値は１．０となるように、当該ｗの値が算出される。なお、これに従ってＬＵＴ部６８により加重係数ｗの値がゼロ（０）と算出された場合、上記拡大部６９から第１及び第２乗算部６３ａ、６３ｂに出力される合成係数「ｗ」、「１−ｗ」の値はそれぞれ「０」、「１」となり、加重係数ｗの値が１．０と算出された場合、合成係数「ｗ」、「１−ｗ」の値はそれぞれ「１」、「０」となる。加重係数ｗの値が上記中間値であるαと算出された場合、合成係数「ｗ」、「１−ｗ」の値はそれぞれ「α」、「１−α」となる。なお、閾値ｔｈ１、ｔｈ２は、例えば制御部８に固定値として記憶されており、当該変換処理に際してこの制御部８から与えられる。

拡大部６９は、ＬＵＴ部６８から出力された照明成分画像（照明成分Ｌ２）に対する拡大処理を行うものである。この拡大処理は、照明成分Ｌ２に対する例えば一般的な線形補間処理である。なお、ＬＵＴ部６８とこの拡大部６９との位置、つまり変換処理と拡大処理との処理順を入れ替えてもよい。

ところで、エッジ部の不具合（ハロー等）は、画像における輝度差が大きく且つサイズ（幅）が大きな領域（領域Ｋ）における境界部、例えば図５に示す建物；ビル（暗部）と空（明部）との境界部で目立つため、上述のように縮小部６５によって照明画像Ｌ２を縮小してこの縮小画像からエッジ抽出部６６によってエッジ強度を求めるとともに、エッジ強度の大きい部分（例えば上記領域Ｋ）はエッジ維持度の高い照明成分Ｌ１、それ以外は照明成分Ｌ２となるような加重係数ｗを求める。図４では、エッジ強度における区間２３３の部分（斜線でハッチングされた部分）が照明成分Ｌ１、これ以外の区間２３２、２３１の部分が照明成分Ｌ２となる。

換言すれば、ｗが１．０となる範囲（エッジ強度が閾値ｔｈ２より大きい範囲）は、照明成分Ｌ１、Ｌ２の合成において照明成分Ｌ１が１００％使用され、ｗがゼロとなる範囲（エッジ強度が閾値ｔｈ１より小さい範囲）は、当該合成において照明成分Ｌ２が１００％使用される。ｗがゼロから１．０の中間値となる範囲（エッジ強度が閾値ｔｈ１からｔｈ２までの範囲）は、当該合成において照明成分Ｌ１及びＬ２がそれぞれ所定％（合計して１００％）使用される。このことから、閾値ｔｈ１、ｔｈ２の値を変化させるつまり大きな値としたり小さい値（ただしいずれも固定値）とすることで、例えば図６の概念図に示すように、照明成分Ｌ１と照明成分Ｌ２とが混在する領域を広げたり狭めたりすることができる。この場合、例えば閾値ｔｈ１を下げて（値を小さくして）且つ閾値ｔｈ２を上げる（値を大きくする）と、エッジ部の近傍位置（周辺）まで合成可能となる、すなわち照明成分Ｌ２における照明成分Ｌ１に置き換えられる領域の境界を、エッジ部とこのエッジ部の周辺画像との境界に近い位置にまで迫ることが可能となる。

なお、別法として、上記変換特性２２１の代わりに例えばガンマ（γ）関数を用いてもよい。この場合、閾値ｔｈ１、ｔｈ２に相当するものはガンマの係数である。また、エッジ強度からの合成係数の算出を、上述のように変換テーブル（ＬＵＴ）を用いるのではなく、所定の変換式（演算式）を用いて行っても構わない。

このように合成係数算出部６２により算出された加重係数ｗを用いて、第１及び第２乗算部６３ａ、６３ｂ及び加算部６４によって積算、加算（積和演算）が行われ、結果的に、照明成分Ｌ２においてそのエッジ部はエッジ維持度の高い照明成分Ｌ１が選択されてなる画像（照明成分Ｌ）が作成（合成）される。換言すれば、高コントラスト化用処理部６０では、エッジ維持度の低い照明成分Ｌ２からエッジ部（エッジ領域）を抽出して、そのエッジ部がエッジ維持度の高い照明成分Ｌ１に置き換えられる。この「置き換え」とは、謂わば、照明成分Ｌ２に対し照明成分Ｌ１をどれ位の割合でブレンド（混合）するかを示すものであり、このブレンドする割合を決めるものが加重係数ｗである。

画像処理部６内において、高コントラスト化用処理部６０から出力された上記照明成分Ｌは、後段に配設されたＤＲ圧縮部（図示省略）によってＤＲ圧縮されて照明成分Ｌ’とされる。照明成分Ｌ及びこの照明成分Ｌ’並びに基画像Ｉから、出力画像（最終出力画像）Ｏ（Ｏ＝Ｌ／Ｌ’＊Ｉ；但し記号「／」は除算、「＊」は乗算を示す）が作成される。

図７は、第１の実施形態に係る高コントラスト化用処理に関する動作の一例を示すフローチャートである。先ず撮像センサ３による撮像等により画像Ｉが取得され、高コントラスト化用処理部６０に入力される（ステップＳ１）。そしてこの入力画像Ｉに対し、第１エッジ維持部６１ａによって第１のエッジ維持度によるエッジ維持フィルタ処理が行われて、照明成分Ｌ１が抽出される（ステップＳ２）。一方、入力画像Ｉに対し、第２エッジ維持部６１ｂによって第２のエッジ維持度によるエッジ維持フィルタ処理が行われて、照明成分Ｌ２が抽出される（ステップＳ３）。照明成分Ｌ２は合成係数算出部６２に入力され、先ず縮小部６５によって縮小処理が施されて縮小画像とされる（ステップＳ４）。次にエッジ抽出部６６によって上記縮小画像（縮小された照明成分Ｌ２）からエッジ強度が抽出される（ステップＳ５）。

次に、エッジ抽出部６６からの照明成分画像に対して、ＬＰＦ部６７によってＬＰＦ処理が行われた後（ステップＳ６）、このＬＰＦ処理後の照明成分画像に対して、ＬＵＴ部６８によってＬＵＴを用いた変換処理が行われて上記エッジ強度に対応する加重係数ｗが算出される（ステップＳ７）。そして、この変換処理後の照明成分画像に対して拡大部６９によって拡大処理が行われて、合成係数算出部６２に入力された照明成分Ｌ２と同様のサイズに復元された照明成分Ｌ２が得られる（ステップＳ８）。そして、第１乗算部６３ａによって、この復元された照明成分Ｌ２と第１エッジ維持部６１ａからの照明成分Ｌ１とが合成係数ｗを用いて合成（乗算処理）されるとともに、第２乗算部６３ｂによって、上記復元された照明成分Ｌ２と第２エッジ維持部６１ｂからの照明成分Ｌ２とが合成係数１−ｗを用いて合成される。さらに、加算部６４によって、第１及び第２乗算部６３ａ、６３ｂそれぞれから出力された照明成分Ｌ１、Ｋ２が加算されて、照明成分Ｌが出力される（ステップＳ９）。

（実施形態２）
図８は、第２の実施形態に係る高コントラスト化用処理部６０ａの一構成例を示すブロック図である。高コントラスト化用処理部６０ａは、図３に示す高コントラスト化用処理部６０と比べて主に第１エッジ維持部６１ｃ及び第２エッジ維持部６１ｄが異なっている。第１及び第２エッジ維持部６１ａ、６１ｂでは、イプシロンフィルタや両側性フィルタのエッジ維持フィルタを用いてエッジが維持された照明成分を得るが、第１及び第２エッジ維持部６１ｃ、６１ｄでは、階層ＬＰＦ処理を行うことによってエッジが維持された照明成分を得る。以下に第１及び第２エッジ維持部６１ｃ、６１ｄの構成及びこの階層ＬＰＦ処理について説明する。

図９は、第２エッジ維持部６１ｄの一構成例を示すブロック図である。第２エッジ維持部６１ｄと第１エッジ維持部６１ｃとの構成は同様であるので、ここでは第２エッジ維持部６１ｄについて説明する。第２エッジ維持部６１ｄは、複数の階層における処理すなわち段階的（階層的）な処理ステップに対応する、複数個の例えばＬＰＦ部５０１〜５０３及びＤＳ部５０４〜５０６と、複数個の例えばＵＳ部５０７〜５０９と、複数個の例えばＭＩＸ部５１１〜５１３とを備えている。本実施形態では当該階層を３つの階層（３段）で示しているが、２階層或いは４階層以上でも構わない。なお、４階層以上のｎ階層である場合には、ＬＰＦ部５０１及びＤＳ部５０４の階層が第１階層目、ＬＰＦ部５０３、ＤＳ部５０６及びＵＳ部５０７の階層が最下段の階層つまり第ｎ階層目となる。

ＬＰＦ部５０１〜５０３は通常のＬＰＦ処理すなわち上記単純に重み付け平均するＬＰＦ処理を行うものである。ＤＳ部５０４〜５０６は、それぞれＬＰＦ部５０１〜５０３によりＬＰＦ処理された画像に対するダウンサンプリング（ＤＳ）を行うものである。ＬＰＦ部５０１とＤＳ部５０４とは、謂わばペアとなって画像を縮小する縮小部５１０である。この縮小部５１０は縮小部６５（図３参照）に相当する。すなわちＬＰＦ部５０１によるＬＰＦ処理とＤＳ部５０４による画素の間引き処理と（ＬＰＦ＋間引き）とを行うことにより、入力画像Ｉから第１階層目の縮小画像を作成する。このように先ずＬＰＦ処理することで画像を平滑化しておき、これに対して間引き処理を行うことで、モアレ等の発生を防止することができる。

他の階層についても同様に、縮小部５１０により得られた縮小画像に対して、縮小部５２０により上記ＬＰＦ＋間引き処理を行い、さらに縮小部５２０により得られた縮小画像に対して縮小部５３０によりＬＰＦ＋間引き処理を行う。互いに連結されたこれら縮小部５１０〜５３０による一連のＬＰＦ＋間引き処理によって、基画像Ｉが段階的に縮小される。なお、このように複数の縮小部を連結して画像を縮小していくすなわち画像サイズを小さくしていくことは、フィルタのウインドウサイズの縦幅（高さ）は同じで、横幅を何段階にも変えて広げながら画像を作成していく、すなわち下の階層にいくほどウインドウサイズを大きくしていくことであると言える。

ＵＳ部５０７〜５０９は、画像に対するアップサンプリング（ＵＳ）を行う、すなわち画像の拡大処理を行うものである。ＭＩＸ部５１１〜５１３は、或る階層のＵＳ部から出力された画像と、この階層より１段上の階層におけるＤＳ部から出力された画像（最上段のＭＩＸ部５１３では入力画像Ｉ）とを合成するものである。ただし、ＭＩＸ部５１１〜５１３はそれぞれエッジ強度に応じた合成係数を算出し、この合成係数に基づいて当該画像の合成を行う。

図９中の符号５００で示す図は、ＭＩＸ部５１１の一構成例を示すものである（他のＭＩＸ部も同じ）。ＭＩＸ部５１１は、エッジ抽出部５２１、ＬＵＴ部５２２、第１及び第２乗算部５２３ａ、５２３ｂ並びに加算部５２４を備えている。図９に示すようにＭＩＸ部５１１には、或る階層、ここでは最下段の階層での各処理の結果としての画像（低周波画像（Ｌｏｗ））と、この階層より１段上の階層における縮小部、ここでは縮小部５２０により得られた縮小画像（高周波画像（Ｈｉｇｈ））とが入力される。このように低周波画像、高周波画像と称するのは、上記ＬＰＦ＋間引き処理を繰り返すほど、入力画像Ｉから、より低周波の周波数成分（周波数帯；帯域成分）が分離抽出されて、謂わばボケ度（平滑度）が大きい画像が得られることによる。このことから各ＭＩＸ部５１１〜５１３は、ボケ度の異なる２枚の画像を合成する処理であるとも言える。

エッジ抽出部５２１及びＬＵＴ部５２２はそれぞれ上記エッジ抽出部６６及びＬＵＴ部６８に相当するものである。エッジ抽出部５２１は、入力された上記低周波画像からエッジ強度を抽出し、このエッジ強度の情報をＬＵＴ部５２２へ出力する。ＬＵＴ部５２２は、ＬＵＴ部６８と同様、エッジ強度の情報を受けて、これを正規化するとともに、この正規化されたエッジ強度に対して閾値ｔｈｂ１、ｔｈｂ２を用いて、該エッジ強度を加重係数ｕへ変換する変換処理を行う。この加重係数ｕから合成係数ｕ、１−ｕが得られ、上記第１及び第２乗算部６３ａ、６３ｂ並びに加算部６４での処理と同様に、第１及び第２乗算部５２３ａ、５２３ｂ並びに加算部５２４によって、合成係数ｕ、１−ｕを用いて高周波画像と低周波画像との積和演算による合成処理が行われ、この合成処理後の画像がＵＳ部５０８に出力される。ＭＩＸ部５１２、５１３も同様の処理が行われ、最終的に入力画像Ｉと合成され、照明成分Ｌが出力される。なお、図９では第２エッジ維持部６１ｄでの処理を説明しているので、ＭＩＸ部５１３から出力されるこの照明成分Ｌは、図８における照明成分Ｌ２を示している。また、閾値ｔｈｂ１、ｔｈｂ２は、例えば制御部８に固定値として記憶されており、当該変換処理に際してこの制御部８から与えられる。

上記第２エッジ維持部６１ｄの処理は、下段の階層となるにつれてより低周波画像が得られるように（解像度の異なる画像が得られるように）基画像Ｉを段階的に縮小し、階層毎に、低周波画像を拡大する拡大処理と、該低周波画像から検出したエッジ情報に基づいて該低周波画像におけるエッジ部の画像が上段の階層の低周波画像に置き換えられるように合成する合成処理とを行う処理であると言える。別の表現をすれば、単純に重み付け平均するＬＰＦ処理とＤＳとを繰り返して多重解像度化し、エッジを置き換えながらＵＳしていく処理であると言える。なお、この処理のことを適宜、階層ＬＰＦ処理と表現する。

第２エッジ維持部６１ｄでも上記高コントラスト化用処理部６０と同様、低周波画像からエッジ部を抽出し（エッジ強度から合成係数ｕ、１−ｕを求め）、このエッジ部は高周波画像を使用し、エッジ部でない部分は低周波画像を使用するという処理を行う。第１エッジ維持部６１ｃでも当該第２エッジ維持部６１ｄと同様の処理が行われるが、各ＭＩＸ部に与えられる上記２つの閾値は、ｔｈａ１、ｔｈａ２となる。ただし、これら閾値ｔｈａ１、ｔｈａ２と閾値ｔｈｂ１、ｔｈｂ２とは互いに異なる値となっている。また、第１エッジ維持部６１ｃは第２エッジ維持部６１ｄよりもエッジ維持度を高くするので、閾値の値は、ｔｈａ１＞ｔｈｂ１、ｔｈａ２＜ｔｈｂ２となっている。なお、上記第１の実施形態では、エッジ維持フィルタの輝度方向の閾値（Ｅ）や重み（標準偏差σｇ）がエッジ維持度に相当したが、ここでは閾値ｔｈａ１、ｔｈａ２及びｔｈｂ１、ｔｈｂ２がエッジ維持度に相当するとしてもよい（後述の第３の実施形態も同様）。

このように、高コントラスト化用処理部６０ａは、高コントラスト化用処理部６０に対してさらに第１及び第２エッジ維持部６１ｃ、６１ｄでの上記高コントラスト化用処理が追加されたものとされるので、高画質化の性能を向上させることができる、すなわち、エッジを維持し且つハロー等を防止してＤＲ圧縮するといったことを高精度で行うことが可能となり、ひいてはより高画質な画像を得ることができる。

図１０は、第２の実施形態に係る高コントラスト化用処理に関する動作の一例を示すフローチャートである。ただし、第２の実施形態は、高コントラスト化用処理部６０における第１及び第２エッジ維持部６１ａ、６１ｂによる処理が第１及び第２エッジ維持部６１ｃ、６１ｄによる処理に置き換えられたものであることから、第１の実施形態のフローチャート（図７参照）におけるステップＳ２、Ｓ３の動作がこの図１０のフローチャートに示す動作であるとして説明する。ここでは、図９で説明した第２エッジ維持部６１ｄの場合におけるステップＳ３での動作について説明する（第１エッジ維持部６１ｃの動作に相当するステップＳ２については以下の動作と同様でありその説明を省略する）。

本実施形態では上記ステップＳ３において、第２エッジ維持部６１ｄへの入力画像Ｉに対して、図９に示すように各縮小部５１０〜５３０によって各階層毎に順々にＬＰＦ＋間引き処理が行われて、より低周波の画像が作成されていく（ステップＳ２１）。この各階層の低周波画像に対してＵＳ部によって画像拡大処理が行われる。すなわち、先ず最下段の階層におけるＵＳ部５０７によって画像拡大処理が行われる（ステップＳ２２）。当該画像拡大された低周波画像と、上段の階層の低周波画像（高周波画像；下段の低周波画像よりは高周波である）とがＭＩＸ部５１１に入力され、該ＭＩＸ部５１１のエッジ抽出部５２１によって低周波画像からエッジ強度が抽出される（ステップＳ２３）。そして、ＬＵＴ部５２２によって、ＬＵＴ（閾値ｔｈｂ１、ｔｈｂ２）に基づいてエッジ強度が加重係数ｕへ変換され、この加重係数ｕから合成係数ｕ、１−ｕが算出される（ステップＳ２４）。この合成係数を用いて、第１及び第２乗算部５２３ａ、５２３ｂ並びに加算部５２４によって低周波画像と高周波画像との積和演算による合成処理が行われ、次の上段階層における低周波画像として出力される（ステップＳ２５）。この処理が下段の階層から上段の階層へと繰り返される（ステップＳ２６のＮＯからステップＳ２２へと戻り、ステップＳ２２〜Ｓ２５のループが繰り返される）。全階層に亘って当該処理が終了すると（ステップＳ２６のＮＯ）、図９に示すように照明成分Ｌとして、すなわち図８では照明成分Ｌ２として出力される。

（実施形態３）
図１１は、第３の実施形態に係る高コントラスト化用処理部６０ｂの一構成例を示すブロック図である。高コントラスト化用処理部６０ｂは、上記高コントラスト化用処理部６０又は６０ａと比べて主に第１ＤＲ圧縮部６１ｅ及び第２ＤＲ圧縮部６１ｆが異なっている。第１及び第２エッジ維持部６１ａ、６１ｂ（図３参照）、並びに第１及び第２エッジ維持部６１ｃ、６１ｄ（図８参照）では、いずれもＤＲ圧縮前の画像を扱うものであったが、換言すれば加算部６４から出力される照明成分Ｌは、高コントラスト化用処理部６０、６０ａの後段におけるＤＲ圧縮部によってＤＲ圧縮されるものであったが、第１ＤＲ圧縮部６１ｅ及び第２ＤＲ圧縮部６１ｆにおいてＤＲ圧縮処理が行われた画像を扱うようにしてもよい。この場合、第１ＤＲ圧縮部６１ｅ及び第２ＤＲ圧縮部６１ｆでは、それぞれ、入力画像Ｉから照明成分Ｌを求め、この照明成分ＬをＤＲ圧縮して照明成分Ｌ’とした後、上述と同様のＯ＝Ｌ／Ｌ’＊Ｉの処理を行うことによってそれぞれ出力画像Ｏ１、Ｏ２を出力する。

第１ＤＲ圧縮部６１ｅと第２ＤＲ圧縮部６１ｆとは、当該入力画像Ｉから照明成分Ｌを求める際のエッジ維持度が異なる。ただし、第１ＤＲ圧縮部６１ｅ（出力画像Ｏ１）の方が第２ＤＲ圧縮部６１ｆ（出力画像Ｏ２）よりもエッジ維持度が高く設定されている。このエッジ維持度が異なるように各照明成分Ｌを求める方法は、例えば第１の実施形態による方法、すなわち第１及び第２エッジ維持部６１ａ、６１ｂにおけるエッジ維持度の異なるエッジ維持フィルタ（イプシロンフィルタや両側性フィルタ）を用いる方法であってもよいし、例えば第２の実施形態による方法、すなわち第１及び第２エッジ維持部６１ｃ、６１ｄにおける階層ＬＰＦ処理（図９参照）による方法であってもよい。なお、当該エッジ維持度の異なる画像は、第１及び第２の実施形態のように中間画像（一連の処理における中間段階の画像）であってもよいし、本実施形態のように謂わば最終的な画像（例えばＤＲ圧縮後の画像）であってもよいと言える。

このようにして得られた画像Ｏ１、Ｏ２は、上記第１及び第２の実施形態における照明成分Ｌ１、Ｌ２の場合と同様に、エッジ維持度の低い画像Ｏ２から、エッジ強度を抽出して加重係数（ｗ）ひいては合成係数（ｗ、１−ｗ）を算出し、この合成係数を用いて画像Ｏ１と画像Ｏ２とを合成して合成画像Ｏを出力する。本実施形態のフローチャートは、図７のステップＳ２、Ｓ３の動作がそれぞれ第１ＤＲ圧縮部６１ｅ及び第２ＤＲ圧縮部６１ｆにおける上述の動作となり、ステップＳ９の動作が、合成係数を用いた画像Ｏ１、Ｏ２の合成（画像Ｏの出力）となる。

以上のように各実施形態における画像処理装置（画像処理部６）によれば、生成手段（第１及び第２エッジ維持部６１ａ、６１ｂ、第１及び第２エッジ維持部６１ｃ、６１ｄ、第１及び第２ＤＲ圧縮部６１ｅ、６１ｆ）によって、基画像Ｉから、エッジを維持する度合いであるエッジ維持度の異なる複数の画像（例えば照明成分Ｌ１、Ｌ２、出力画像Ｏ１、Ｏ２）が生成され、検出手段（合成係数算出部６２）によって、基画像Ｉ及び複数の生成画像のうちの少なくとも１つの画像からエッジ情報（例えばエッジ強度）が検出され（基画像Ｉ或いはエッジ維持度の高い画像から検出する場合は、後述の変形態様に記載している。以降同様。）、合成手段（第１及び第２乗算部６３ａ、６３ｂ、加算部６４）によって、エッジ情報に基づいて（例えばエッジ強度から算出した合成係数ｗ、１−ｗを用いて）上記エッジ維持度の異なる複数の生成画像（照明成分Ｌ１、Ｌ２、出力画像Ｏ１、Ｏ２）が合成される。

また、上記各実施形態における画像処理方法によれば、生成工程において、基画像Ｉから、エッジ維持度の異なる複数の画像（例えば照明成分Ｌ１、Ｌ２、出力画像Ｏ１、Ｏ２）が生成され、検出工程において、基画像Ｉ及び複数の生成画像のうちの少なくとも１つの画像からエッジ情報（例えばエッジ強度）が検出され、合成工程において、エッジ情報（例えばエッジ強度から算出した合成係数ｗ、１−ｗを用いて）に基づいて上記エッジ維持度の異なる複数の生成画像が合成される。

上記画像処理装置及び画像処理方法によれば、エッジ維持度の異なる画像、すなわちエッジ維持度の低い画像と高い画像とを生成しておき、これらエッジ維持度の低い画像と高い画像とを、エッジ情報に基づいてつまり例えばエッジ強度から求めた合成係数の情報を用いて、例えばエッジ維持度の低い画像におけるエッジ部がエッジ維持度の高い画像に置き換えられるように合成することが可能となる。これにより、当該合成により得られた画像に対して例えばＤＲ圧縮処理を行う場合、このＤＲ圧縮処理によって低輝度部、高輝度部とも高コントラスト化されるとともに、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることができる。

また、上記合成手段によって、エッジ維持度の異なる複数の生成画像が、エッジ維持度の低い生成画像（例えば照明成分Ｌ２、出力画像Ｏ２）におけるエッジ部の画像がエッジ維持度の高い生成画像（例えば照明成分Ｌ１、出力画像Ｏ１）に置き換えられるように合成されるので、ＤＲ圧縮処理等を行うに際して、エッジ部にハロー等を発生させることなく該エッジ部を好適に維持することが可能となる。

また、上記検出手段において、縮小手段（縮小部６５）によって基画像Ｉ及び複数の生成画像のうちの少なくとも１つの画像（例えば照明成分Ｌ２、出力画像Ｏ２）が縮小されて縮小画像が得られ、抽出手段（エッジ抽出部６６）によって縮小画像からエッジ情報としてのエッジ強度が抽出され、係数算出手段（ＬＵＴ部６８）によって、エッジ強度に基づいて、複数の生成画像を合成する際の合成係数（ｗ、１−ｗ）が算出される。そして、上記合成手段によって、この合成係数を用いてこのエッジ維持度の異なる複数の生成画像が合成されるので、上記１つの画像からエッジ情報を検出し、このエッジ情報に基づいて複数の生成画像を合成する構成を容易に実現することができる。また、上記縮小画像を得ることで、画像から高周波成分を取り除くことができる（より低周波の画像を得ることができる）とともに、処理の負荷が低減され処理速度が高速になる。

また、上記係数算出手段によって、合成に関する所定の閾値（例えばｔｈ１、ｔｈ２）によって定められる変換特性に基づいて、すなわち変換テーブル（ＬＵＴ；変換特性２２１）或いは所定の変換式を用いて、エッジ強度から合成係数（或いは加重係数ｗ）が算出されるので、エッジ強度から合成係数を算出することが容易に行えるようになる。

また、上記生成手段によって、基画像Ｉに対して所定のエッジ維持フィルタを用いたフィルタ処理（エッジ維持フィルタ処理）を行うことによりエッジ維持度の異なる複数の照明成分画像（照明成分Ｌ１、Ｌ２）が生成されるので、基画像Ｉから、エッジ維持度の異なる複数の照明成分画像を生成することが容易に行えるようになる。

また、上記生成手段において、下段の階層となるにつれてより低周波画像が得られるように基画像Ｉが段階的に縮小され（縮小部５１０、５２０及び５３０による処理）、階層毎に、低周波画像が拡大される拡大処理（ＵＳ部５０７〜５０９による処理）と、該低周波画像から検出したエッジ情報（エッジ抽出部５２１により抽出されたエッジ強度）に基づいて該低周波画像におけるエッジ部の画像が上段の階層の低周波画像（高周波画像）に置き換えられるように合成する合成処理（ＭＩＸ部５１１〜５１３による処理）とが行われる階層処理（階層ＬＰＦ処理）によって、エッジ維持度の異なる複数の照明成分画像（照明成分Ｌ１、Ｌ２；図９での照明成分Ｌ）が生成されるので、当該階層処理によって、エッジ維持度の異なる複数の照明成分画像（照明成分Ｌ１、Ｌ２）を容易に生成することができる。また、生成手段においてこのような階層処理が行われるので、より一層、エッジ部にハロー等が発生することなく該エッジ部が好適に維持された高画質な画像を得ることが可能となる。

また、圧縮手段（例えば画像処理部６内における高コントラスト化用処理部６０、６０ａの後段に配設されたＤＲ圧縮部）によって、上記合成手段により複数の照明成分画像が合成されてなる合成照明成分画像（図３及び図８に示す加算部６４から出力される照明成分Ｌ）に対するＤＲ圧縮処理が行われるので、低輝度部、高輝度部とも高コントラスト化された画像を得ることが可能となる。ただし、この高コントラスト化処理においてはエッジ部にハロー等が発生することなく該エッジ部が好適に維持される。

また、生成手段（第１及び第２ＤＲ圧縮部６１ｅ、６１ｆ）がＤＲ圧縮処理を行う圧縮機能を有したものとされ、この生成手段によって、少なくとも上記エッジ維持フィルタ処理及び階層処理のいずれかの処理により得られた照明成分画像に対するＤＲ圧縮処理が行われ、当該ＤＲ圧縮された照明成分画像を用いて、エッジ維持度の異なる複数の出力画像Ｏ１、Ｏ２が生成されるので、上述のように複数の照明成分画像（照明成分Ｌ１、Ｌ２）が合成されてなる合成照明成分画像（照明成分Ｌ）を求めておいて、この後でＤＲ圧縮処理を行うのではなく、エッジ維持度の異なる画像を生成する時点で既にＤＲ圧縮処理が行われる構成を実現することができる。ひいては、上述のように低輝度部及び高輝度部が高コントラスト化され且つエッジ部が好適に維持された高画質な画像を得るための構成の自由度が高くなる。

また、エッジ維持フィルタがイプシロンフィルタ又は両側性フィルタとされるので、エッジ維持度を、イプシロンフィルタにおける輝度方向の閾値、又は両側性フィルタにおける輝度方向の重みの違いによって制御することができ、エッジ維持度の異なる複数の画像を容易に生成することができる。

また、上記画像処理方法の生成工程において、所定の第１のエッジ維持度と該第１のエッジ維持度よりもエッジ維持度が低い第２のエッジ維持度との２つの画像（照明成分Ｌ１、Ｌ２、出力画像Ｏ１、Ｏ２）が生成され、検出工程において、第２のエッジ維持度の生成画像（照明成分Ｌ２、出力画像Ｏ２）が縮小されて縮小画像が作成され、該縮小画像からエッジ情報としてのエッジ強度が抽出され、該エッジ強度に基づいて、２つの生成画像を合成する際の合成係数（ｗ、１−ｗ）が算出される。そして、合成工程において、この２つの生成画像が合成係数を用いて合成されるので、第２のエッジ維持度の生成画像からエッジ情報を検出し、このエッジ情報に基づいて第１及び第２のエッジ維持度の生成画像を合成する構成を容易に実現することができる。また、上記縮小画像を作成することで、画像から高周波成分を取り除くことができる（より低周波の画像を得ることができる）とともに、処理の負荷が低減され処理速度が高速になる。なお、本発明は、以下の態様をとることができる。

（Ａ）上記各実施形態では、広ＤＲ画像の撮影が可能な、複数の異なる光電変換特性を有する撮像センサ３として、低輝度側が線形特性、高輝度側が対数特性（線形／対数特性）である光電変換特性を有するリニアログセンサを用いているが、これに限らず、例えば、低輝度側及び高輝度側共に線形の光電変換特性（第１線形特性及び第２線形特性）を有しており、輝度レベルに応じて各線形特性におけるグラフ上の傾きが変化するつまり傾きが異なるようなセンサを用いてもよい。また、このように２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなる撮像センサでなくともよく、３つ以上の異なる光電変換特性からなる撮像センサであってもよい。また、一度の撮影（露光）で高輝度領域の画像と低輝度領域の画像との２枚の画像を取得し、これらを合成することで広ＤＲ画像を得るような撮像センサであってもよい。要は、ＤＲの広い画像が取得可能な撮像センサであれば何れの撮像センサであってもよい。

（Ｂ）上記第１〜第３の実施形態では、エッジ維持度の低い側からエッジ強度すなわち合成係数を求める構成であるが、これに限らず、エッジ維持度の高い側から合成係数を求める構成としてもよい。この場合、第１の実施形態と同様、第１エッジ維持部６１ａの方がエッジ維持度が高くなるようにしておき、合成係数算出部６２の入力ライン６２１を、第１エッジ維持部６１ａの出力ライン（例えば符号６２２の箇所）に接続してもよい。この場合、照明成分Ｌ１とＬ２とのエッジ維持度の違いが吸収される（なくなる）まで、或いは照明成分Ｌ２の方がＬ１よりもエッジ維持度が小さくなるまで、縮小部６５によって、より大きな圧縮度合いで照明成分Ｌ２が圧縮されるものとする。ただしこの場合は、照明成分Ｌ１とＬ２との合成におけるウエイトが逆となる、すなわち、照明成分Ｌ１に対して合成係数１−ｗが、照明成分Ｌ２に対して合成係数ｗが用いられる。このことは、図８及び図１１に示す場合も同様である。

（Ｃ）上記変形態様（Ｂ）に関し、要は、いずれかの画像からエッジ強度を抽出し、エッジ維持度の異なる画像を合成するに際しての合成係数を求めることができればよいので、例えば入力画像Ｉから当該合成係数を求めるようにしてもよい。具体的には例えば図３に示すように、合成係数算出部６２の入力ライン６２１を符号６２３で示す箇所（第１及び第２エッジ維持部６１ａ、６１ｂへ入力される前段のライン位置）に接続してもよい。このことは、図８及び図１１に示す場合も同様である。

（Ｄ）上記各実施形態では、エッジ維持度が異なる画像として２つの画像（照明成分Ｌ１、Ｌ２或いは出力画像Ｏ１、Ｏ２）が生成される構成であるが、これに限らず、３つ以上のエッジ維持度が異なる画像、例えばエッジ維持度の高い２つの画像、エッジ維持度の低い２つの画像の合成４つの画像が生成される構成としてもよい。この場合、これらのうちから少なくとも１つの画像を縮小し（複数の画像を縮小してもよい）、上述と同様にこの縮小画像からエッジ強度を抽出して合成係数を算出し、この合成係数を用いて当該複数のエッジ維持度が異なる画像の合成を行えばよい。

（Ｅ）上記各実施形態においては、撮影画像に対するノイズ除去に関する各種処理（周波数分離・合成処理、コアリング処理やエッジ保存処理など）を、デジタルカメラ１内における画像処理部６の処理により実行する構成となっているが、これに限らず、当該各種処理をカメラ外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いたデジタルカメラ１との直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成された、ユーザーインターフェイスを備える所定のホスト、例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）において当該処理が実行されてもよい。

第１の実施形態に係る画像処理装置が適用される撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。 図１に示す撮像センサの光電変換特性の一例を示すグラフ図である。 図１に示す画像処理部における高コントラスト化用処理部の一構成例を示すブロック図である。 図３に示すＬＵＴ部における閾値ｔｈ１及びｔｈ２を用いたＬＵＴによる変換処理について説明するグラフ図である。 エッジ部におけるハロー等の不具合について説明するための一風景画像である。 閾値ｔｈ１、ｔｈ２と照明成分Ｌ１及びＬ２の混在領域との関係等について説明するための概念図である。 第１の実施形態に係る高コントラスト化用処理に関する動作の一例を示すフローチャートである。 第２の実施形態に係る高コントラスト化用処理部の一構成例を示すブロック図である。 図８に示す第２エッジ維持部の一構成例を示すブロック図である。 第２の実施形態に係る高コントラスト化用処理に関する動作の一例を示すフローチャートである。 第３の実施形態に係る高コントラスト化用処理部の一構成例を示すブロック図である。 １次元の信号波形を用いてＤＲ圧縮のプロセスを説明するための模式図である。 暗部及び明部を有した或る画像Ｇにおける輝度差が大きな部分（エッジ部）について説明するための模式図である。

符号の説明

１ デジタルカメラ
３ 撮像センサ
６ 画像処理部（画像処理装置）
６０、６０ａ、６０ｂ 高コントラスト化用処理部
６１ａ、６１ｃ 第１エッジ維持部（生成手段）
６１ｂ、６１ｄ 第２エッジ維持部（生成手段）
６１ｅ 第１ＤＲ圧縮部（生成手段）
６１ｆ 第２ＤＲ圧縮部（生成手段）
６２ 合成係数算出部（検出手段）
６３ａ 第１乗算部（合成手段）
６３ｂ 第２乗算部（合成手段）
６４ 加算部（合成手段）
６５ 縮小部（縮小手段）
６６ エッジ抽出部（抽出手段）
６７ ＬＰＦ部
６８ ＬＵＴ部（係数算出手段）
６９ 拡大部
２２１ 変換特性
５０１〜５０３ ＬＰＦ部
５１０、５２０、５３０ 縮小部
５０４〜５０６ ＤＳ部
５０７〜５０９ ＵＳ部
５１１〜５１３ ＭＩＸ部
５２１ エッジ抽出部
５２２ ＬＵＴ部
５２３ａ 第１乗算部
５２３ｂ 第２乗算部
５２４ 加算部

Claims (11)

1. 基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像を生成する生成手段と、
   前記基画像及び前記複数の生成画像のうちの少なくとも１つの画像からエッジ情報を検出する検出手段と、
   前記エッジ情報に基づいて前記複数の生成画像を合成する合成手段とを備えることを特徴とする画像処理装置。
2. 前記合成手段は、前記エッジ維持度の異なる複数の生成画像を、エッジ維持度の低い生成画像におけるエッジ部の画像がエッジ維持度の高い生成画像に置き換えられるように合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、
   前記１つの画像を縮小して縮小画像を得る縮小手段と、
   前記縮小画像から前記エッジ情報としてのエッジ強度を抽出する抽出手段と、
   前記エッジ強度に基づいて、前記複数の生成画像を合成する際の合成係数を算出する係数算出手段とを備え、
   前記合成手段は、前記合成係数を用いて前記複数の生成画像を合成することを特徴とする請求項２に記載の画像処理装置。
4. 前記係数算出手段は、前記合成に関する所定の閾値によって定められる変換特性に基づいて、前記エッジ強度から前記合成係数を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記基画像に対して所定のエッジ維持フィルタを用いたフィルタ処理を行うことによりエッジ維持度の異なる複数の照明成分画像を生成することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記生成手段は、下段の階層となるにつれてより低周波画像が得られるように前記基画像を段階的に縮小し、階層毎に、前記低周波画像を拡大する拡大処理と、該低周波画像から検出したエッジ情報に基づいて該低周波画像におけるエッジ部の画像が上段の階層の低周波画像に置き換えられるように合成する合成処理とを行う階層処理によって、エッジ維持度の異なる複数の照明成分画像を生成することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
7. 前記合成手段により前記複数の照明成分画像が合成されてなる合成照明成分画像に対するダイナミックレンジ圧縮処理を行う圧縮手段をさらに備えることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記生成手段は、ダイナミックレンジ圧縮処理を行う圧縮機能を有したものであって、
   少なくとも前記フィルタ処理及び前記階層処理のいずれかの処理により得られた前記照明成分画像に対する前記ダイナミックレンジ圧縮処理を行い、当該ダイナミックレンジ圧縮された照明成分画像を用いて、エッジ維持度の異なる複数の出力画像を生成することを特徴とする請求項５又は６に記載の画像処理装置。
9. 前記エッジ維持フィルタは、イプシロンフィルタ又は両側性フィルタであることを特徴とする請求項５に記載の画像処理装置。
10. 基画像から、エッジを維持する度合いであるエッジ維持度の異なる複数の画像を生成する生成工程と、
    前記基画像及び前記複数の生成画像のうちの少なくとも１つの画像からエッジ情報を検出する検出工程と、
    前記エッジ情報に基づいて前記複数の生成画像を合成する合成工程とを有することを特徴とする画像処理方法。
11. 前記生成工程は、所定の第１のエッジ維持度と該第１のエッジ維持度よりもエッジ維持度が低い第２のエッジ維持度との２つの画像を生成する工程であり、
    前記検出工程は、前記第２のエッジ維持度の生成画像を縮小して縮小画像を作成し、該縮小画像から前記エッジ情報としてのエッジ強度を抽出し、該エッジ強度に基づいて、前記２つの生成画像を合成する際の合成係数を算出する工程であり、
    前記合成工程は、前記２つの生成画像を、前記合成係数を用いて合成する工程であることを特徴とする請求項１０に記載の画像処理方法。

Images