JP2018128764A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】コントラストの低下を防ぎつつ、鮮鋭感を残した階調処理を実現可能にすることを課題とする。【解決手段】ノイズ抑圧処理部（１０２）は撮像画像に対してノイズ抑圧を行う。変化量算出部（１０３）は、撮像画像のノイズ抑圧前後の変化量を求める。ゲイン算出部（１０４）は、撮像画像から低周波画像を生成し、撮像画像と低周波画像とから画素毎のゲイン値よりなるゲインマップをそれぞれ生成し、それら生成したゲインマップを合成する。そして、ゲイン算出部（１０４）は、所定の合成比率の合成パラメータを、変化量を基に補正し、その補正した合成パラメータを用いてゲインマップの合成を行う。ゲイン処理部（１０５）は、ノイズ抑圧後の撮像画像に対し、合成されたゲインマップを用いてゲイン処理を行う。【選択図】図１

Description

本発明は、階調処理等の画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

従来、撮像等で得られた画像信号に対して階調処理を行う場合、画像の輝度信号から低周波画像を生成し、その低周波画像を基に生成したゲイン信号を用いて階調処理を行うことで画像のコントラストを向上させるローカルトーンマッピング技術がある。ここで、例えばフィルタ処理などによるノイズ抑圧後の画像に対して階調処理を行う場合、そのフィルタ処理でコントラストが低くなった画像を用いてゲイン信号の生成を行うため、階調処理後の画像も鮮鋭感がない低コントラストの画像になることが多い。

特許文献１には、ノイズを考慮してコントラストを強調するような階調変換を行う技術が開示されている。特許文献１に記載の技術では、階調変換を行う際、入力画像を高周波成分と低周波成分に分離し、さらに高周波成分をノイズに起因する無効成分とそれ以外のエッジなどの領域である有効成分とに分離する。そして、低周波成分と高周波成分中の有効成分に対しては、低周波成分から生成した階調変換特性を用いて階調処理を行い、その階調処理後の両信号と高周波成分中の無効成分とを合成して、最終的な出力画像が生成される。

特開２００８−７２２３３号公報

上述の特許文献１に開示された技術では、高周波成分中のノイズ以外の有効成分と低周波成分に対してはコントラスト強調処理が行われ、高周波成分中にあるノイズかエッジか不明な領域に対しては階調変換処理が行われず、そのまま出力される。この処理の場合、ノイズを強調してしまうことはないが、ノイズとエッジを分離することは難しく、また、階調処理を行う部分と行わない部分とで階調の不連続が発生し、不自然な合成画像が生成されてしまう。一方、例えばノイズかエッジか不明な領域にもノイズ抑圧処理を行えば、階調が不連続になるのを抑えることはできるが、不明な領域が例えばエッジであった場合、ノイズ抑圧のためのフィルタ処理によりエッジの鮮鋭度が低下してしまうことになる。

そこで、本発明は、コントラストの低下を防ぎつつ、鮮鋭感を残した階調処理を実現可能にすることを目的とする。

本発明は、入力画像に対してノイズ抑圧を行う抑圧手段と、前記ノイズ抑圧前の入力画像と前記ノイズ抑圧後の入力画像との間の変化量を求める算出手段と、前記ノイズ抑圧後の入力画像から低周波画像を生成する生成手段と、前記ノイズ抑圧後の入力画像と前記低周波画像とから、画素毎に対応したゲイン値よりなるゲイン情報を、それぞれ生成する変換手段と、前記ノイズ抑圧後の入力画像から生成されたゲイン情報と前記低周波画像から生成されたゲイン情報とを合成する合成手段と、前記ノイズ抑圧後の入力画像に対し、前記合成されたゲイン情報を用いてゲイン処理を行う処理手段と、を有し、前記合成手段は、前記変化量を基に所定の合成パラメータを補正し、前記補正した合成パラメータを用いて前記ゲイン情報の合成を行うことを特徴とする。

本発明によれば、コントラストの低下を防ぎつつ、鮮鋭感を残した階調処理が実現可能となる。

本実施形態の画像処理装置の概略構成を示す図である。 ゲイン算出部の概略構成例を示す図である。 第１の実施形態の画像処理装置の処理の流れを示すフローチャートである。 ゲイン算出処理のフローチャートである。 ゲインマップ生成処理の説明に用いる図である。 ノイズの変化量に対する許容値を説明する図である。 下階層から生成したゲインマップを優先する処理を説明する図である。 各階層画像から生成したゲインマップを合成する概念を示した図である。 第２の実施形態の画像処理装置の処理の流れを示すフローチャートである。 輝度ヒストグラムの変化量算出を説明する図である。 輝度ヒストグラム変化量に対する許容値を説明する図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態の画像処理装置は、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。また、本実施形態に係る画像処理は、ハードウェア構成により実現される場合だけでなく、例えばパーソナルコンピュータやデジタルカメラ等に内蔵されたコンピュータ等においてソフトウェアにより実現されてもよい。
本実施形態の画像処理装置は、ノイズ抑圧後の画像信号に対してゲイン処理による階調処理を行う際に、ノイズ抑圧前後の画像の変化量に応じて、ローカルトーンマッピングで使用するゲイン情報を補正して階調処理を行う。なお、本実施形態におけるノイズ抑圧には、ノイズ低減やノイズ軽減、さらにはノイズ除去も含まれている。
ここで、階調処理を行う際、画像信号に対してノイズ抑圧処理を行うが、ノイズ抑圧後の画像はフィルタ処理が行われることによりエッジ部分などの領域の鮮鋭感が失われる。そして、鮮鋭感のない画像から生成した階調特性を用いて、その領域に対して階調処理を行うと、鮮鋭感がないままの画像が出力されることになる。このため、本実施形態では、後述するように、鮮鋭感が失われた領域に対しても階調差をつけるような処理を実現することにより、コントラストの低下を防ぎつつ、鮮鋭感を残した画像の生成を可能としている。

＜第１の実施形態＞
第１の実施形態について、図１から図８を用いて説明する。
図１は、本実施形態の画像処理装置の概略構成例を示す図である。本実施形態の画像処理装置は、撮像画像取得部１０１、ノイズ抑圧処理部１０２、変化量算出部１０３、ゲイン算出部１０４、ゲイン処理部１０５、信号処理部１０６を有して構成されている。以下、図１を用いて、本実施形態の画像処理装置の構成について説明する。

図１において、撮像画像取得部１０１は、本実施形態の画像処理において使用する入力画像として撮像画像を取得し、その撮像画像信号をノイズ抑圧処理部１０２へ出力する。なお、本実施形態の場合、撮像画像取得部１０１は、いわゆるベイヤー配列のＲ（赤），Ｇ（緑），Ｂ（青）の色フィルタを備えた撮像デバイス（不図示）により撮像された撮像画像信号を取得する例を挙げる。

ノイズ抑圧処理部１０２は、撮像画像信号に対してノイズ抑圧処理を行う。そして、ノイズ抑圧処理部１０２は、そのノイズ抑圧後の撮像画像信号と、ノイズ抑圧前の撮像画像信号とを、変化量算出部１０３へ送る。また、ノイズ抑圧処理部１０２によるノイズ抑圧後の撮像画像信号は、後述するゲイン算出部１０４とゲイン処理部１０５へも送られる。

変化量算出部１０３は、ノイズ抑圧前の撮像画像の各画素の画素値と、それら各画素の座標位置とそれぞれ同座標位置の、ノイズ抑圧後の撮像画像の各画素値との差分値を算出する。つまり、変化量算出部１０３は、ノイズ抑圧前後の撮像画像の画素毎の差分値を算出する。本実施形態では、このノイズ抑圧前後の差分値を、変化量と定義する。変化量算出部１０３は、ノイズ抑圧前後の変化量を示す信号をゲイン算出部１０４へ出力する。なお、本実施形態の例では、撮像画像の画素はベイヤー配列のＲ，Ｇ，Ｂの一組の色に対応した画素であるため、変化量算出部１０３は、それら画素毎の差分値が算出される。以下の各構成要素においても、画素とは、ベイヤー配列のＲ，Ｇ，Ｂの一組の色に対応した画素であるとする。

ゲイン算出部１０４は、ノイズ抑圧処理部１０２によるノイズ抑圧後の撮像画像信号と、変化量算出部１０３にて求められた変化量の信号とを基に、ノイズ抑圧後の撮像画像に対する階調処理としてのコントラスト強調処理に使用するゲイン情報を算出する。詳細は後述するが、ゲイン算出部１０４は、ローカルトーンマッピングで使用するゲイン情報として、撮像画像の画素毎の輝度に対応した各ゲイン値が配列されたゲインマップを生成する。このゲインマップはゲイン処理部１０５へ送られる。

ゲイン処理部１０５は、ゲイン算出部１０４で求められたゲインマップをローカルトーンマッピングにおけるゲインマップとして用いて、ノイズ抑圧後の撮像画像信号に対するゲイン処理を行う。そして、ゲイン処理部１０５は、そのゲイン処理後の画像信号を信号処理部１０６へ出力する。信号処理部１０６は、ゲイン処理部１０５によるゲイン処理後の画像信号に対し、現像処理などの所定の信号処理を行って出力画像信号を生成する。

図２は、図１のゲイン算出部１０４の概略構成例を示す図である。なお、図２には図１の変化量算出部１０３とゲイン処理部１０５も描かれている。ゲイン算出部１０４は、階層画像生成部２０１、ゲイン変換部２０２、階層ゲイン合成部２０３を有して構成されている。階層画像生成部２０１には、ノイズ抑圧処理部１０２によるノイズ抑圧後の撮像画像信号が供給される。また、階層ゲイン合成部２０３には、変化量算出部１０３から変化量の信号が供給される。

図２において、階層画像生成部２０１は、ノイズ抑圧後の撮像画像から低周波の画像を生成する。低周波の画像を生成する処理の詳細は後述する。本実施形態では、撮像画像を上階層画像、低周波画像を下階層画像と定義し、階層画像生成部２０１からは、これら上階層画像と下階層画像の信号が、階層画像信号としてゲイン変換部２０２へ送られる。

ゲイン変換部２０２は、階層画像生成部２０１にて生成された各階層画像を基に、所定の階調特性を用いて階層毎のゲインマップを生成する。各階層のゲインマップを生成する処理の詳細は後述する。そして、ゲイン変換部２０２は、階層毎のゲインマップを階層ゲイン合成部２０３へ送る。

階層ゲイン合成部２０３は、変化量算出部１０３にて求められた変化量を基に、ゲイン変換部２０２にて生成された各階層のゲインマップを合成することにより、後段のゲイン処理部１０５におけるゲイン処理で用いられる最終的なゲインマップを生成する。詳細は後述するが、階層ゲイン合成部２０３は、各階層のゲインマップを合成する際の合成パラメータを、変化量を基に補正し、その補正後の合成パラメータを用いて各階層のゲインマップを合成する。言い換えると、本実施形態のゲイン算出部１０４では、ノイズ抑圧前後の変化量に基づいて合成パラメータを補正することにより、ローカルトーンマッピングで使用するゲインマップの補正を実現している。そして、階層ゲイン合成部２０３にて合成されたゲインマップの信号は、ゲイン処理部１０５に送られる。

ゲイン処理部１０５は、階層ゲイン合成部２０３から供給されたゲインマップを、ローカルトーンマッピングにおけるゲインマップとして用いて、ノイズ抑圧処理部１０２によるノイズ抑圧後の撮像画像信号に対するゲイン処理を行う。このように、本実施形態のゲイン算出部１０４では、ノイズ抑圧前後の変化量に応じて補正されたゲインマップを、ローカルトーンマッピングで使用するゲインマップとして用いた階調処理が行われる。

図３は、図１の画像処理装置にて行われる画像処理の流れを示すフローチャートである。なお、以下の説明では、図３のフローチャートにおける各ステップＳ３０１〜ステップＳ３０６をＳ３０１〜Ｓ３０６と略記し、このことは後述する他のフローチャートにおいても同様とする。また、これらフローチャートに示す各処理は、例えばＣＰＵ等が本実施形態に係る画像処理プログラムを実行することにより実現されてもよいし、それら処理の一部又は全部が電子回路などのハードウェアにより実現されてもよい。

図３のＳ３０１において、撮像画像取得部１０１は、階調処理としてのコントラスト強調処理の対象となる撮像画像を取得する。次に、Ｓ３０２において、ノイズ抑圧処理部１０２は、撮像画像取得部１０１にて取得された撮像画像信号に対して、ノイズ抑圧処理を行う。ここでのノイズ抑圧処理は、例えば画像に含まれるエッジ成分の方向を検出し、その方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減するような公知の方法を用いて行われる。そして、ノイズ抑圧処理部１０２は、そのノイズ抑圧後の撮像画像信号とノイズ抑圧前の撮像画像信号とを、変化量算出部１０３へ出力する。また、ノイズ抑圧処理部１０２によるノイズ抑圧後の撮像画像信号は、ゲイン算出部１０４とゲイン処理部１０５へも送られる。

次のＳ３０３において、変化量算出部１０３は、ノイズ抑圧前の撮像画像とノイズ抑圧後の撮像画像の同座標の信号値（画素値）の差分値を算出し、その算出した差分値をノイズ抑圧前後の変化量とする。そして、変化量算出部１０３は、その変化量を示す信号をゲイン算出部１０４へ出力する。なお、変化量の算出は、下記の式（１）の演算により行われる。式（１）において、ｐｉｘ（ｘ，ｙ）はノイズ抑圧前の撮像画像の画素値、ｎｒ（ｘ，ｙ）はノイズ抑圧後の撮像画像の画素値、Ｄｉｆ（ｘ，ｙ）は変化量である。

Ｄif(x,y)＝|pix(x,y)−nr(x,y)|・・・式（１）

次にＳ３０４において、ゲイン算出部１０４は、ノイズ抑圧後の撮像画像を基に、階調処理としてのコントラスト強調処理に使用するゲインマップを生成する。本実施形態の場合、ゲイン算出部１０４は、ノイズ抑圧後の撮像画像から階層画像を生成し、それら階層毎のゲインマップを生成する。さらに、ゲイン算出部１０４は、前述した変化量を基に、各階層のゲインマップを合成する際の合成パラメータを補正し、その補正後の合成パラメータを基に各階層のゲインマップを合成する。この合成により得られたゲインマップが、コントラスト強調処理に使用される最終的なゲインマップとなされる。

図４は、図２のゲイン算出部１０４における階層毎のゲインマップの生成、変化量に基づく合成パラメータの補正、補正後の合成パラメータを用いた各階層のゲインマップの合成による最終的なゲインマップの生成までの各処理の流れを示すフローチャートである。

図４のフローチャートのＳ４０１において、ゲイン算出部１０４の階層画像生成部２０１は、ノイズ抑圧後の撮像画像を用いて低周波画像を生成することにより、前述した各階層画像を生成する。階層画像は、前述したように、撮像画像である上階層画像と、低周波画像である下階層画像とからなる。本実施形態の場合、階層画像生成部２０１は、入力された画像（ノイズ抑圧後の撮像画像）に対して縮小処理を行うことにより、下階層画像として第１の低周波画像と第２の低周波画像を生成する。第１の低周波画像と第２の低周波画像は画像サイズが異なり、第１の低周波画像は入力された撮像画像を縮小処理することにより生成され、第２の低周波画像は第１の低周波画像を更に縮小処理することにより生成されている。すなわち、階層画像生成部２０１は、周波数レベルが異なる複数の低周波画像として第１の低周波画像と第２の低周波画像を生成する。縮小処理の方法は、バイリニア法を用いた縮小等、一般的な方法が用いられる。

次のＳ４０２において、ゲイン変換部２０２は、階層画像生成部２０１にて生成された各階層画像を基に、所定の階調特性を用いて階層毎のゲインマップを生成する。図５（ａ）〜図５（ｃ）は、ゲイン変換部２０２におけるゲインマップ生成処理の説明に用いる図である。図５（ａ）は入力された撮像画像５０１の一例を示す図である。図５（ｂ）は所定の階調特性を表すグラフ５０２を示した図である。図５（ｃ）は生成されたゲインマップ５０３を表す図である。

ゲイン変換部２０２は、ゲインマップを生成する際、先ず、上階層画像である撮像画像５０１におけるベイヤー配列のＲ，Ｇ，Ｂの色信号の組から、下記式（２）を用いて、画素毎の輝度値Ｙを算出する。同様に、ゲイン変換部２０２は、下位階層画像の信号についても式（２）を用いて輝度値Ｙを算出する。

Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ ・・・式（２）

次に、ゲイン変換部２０２は、各階層画像の画素毎に算出した輝度値Ｙと図５（ｂ）に示した所定の階調特性のグラフ５０２とを用い、階層毎に図５（ｃ）に示すような各画素の輝度値Ｙに対応した各ゲイン値が配列されたゲインマップ５０３を生成する。本実施形態において、ゲインマップ生成処理で使用する所定の階調特性は、図５（ｂ）のグラフ５０２に示すように、横軸が輝度信号の輝度値Ｙ、縦軸がゲイン信号（ゲイン値）となされたテーブルにより表される。そして、ゲイン変換部２０２は、この図５（ｂ）のグラフ５０２を用い、式（２）で画素毎に算出した輝度値Ｙに対応したゲイン値を求め、図５（ｃ）に示すように各画素位置に対応して各ゲイン値を配列したゲインマップ５０３を生成する。図５（ｃ）に示したゲインマップ５０３は、画像が例えばＨ画素×Ｗ画素で表される場合に、各画素の座標（ｘ，ｙ）の位置に対してそれぞれ適用されるゲイン値Ｇａｉｎ（ｘ，ｙ）が２次元配列されたマップである。なお、図５（ｃ）の例の場合、座標（ｘ，ｙ）のｘは０，１，２，・・・，Ｗ−１の何れか、ｙは０，１，２，・・・，Ｈ−１の何れかとなる。ゲイン変換部２０２は、階層毎に求めたゲインマップと、階層毎に算出した各画素の輝度値Ｙとを、階層ゲイン合成部２０３へ出力する。本実施形態では、輝度値Ｙを求める際に式（２）を使用したが、これに限定されるものではなく、他の方式を用いて輝度値Ｙを求めてもよい。

次のＳ４０３において、階層ゲイン合成部２０３は、各階層のゲインマップを合成する際の合成パラメータとして所定の合成比率の合成パラメータを生成し、さらに、その生成した合成パラメータを、変化量算出部１０３にて算出された変化量を基に補正する。なお、所定の合成比率の合成パラメータは、合成する２つのゲイン信号の差分に応じて合成の重みを決定する公知の手法（例えば特開２０１４−１５４１０８号公報等に記載の手法）により生成される。

図６は、所定の合成比率の合成パラメータを補正する際に使用する許容値と輝度値との関係を表すグラフ６０１を示した図であり、横軸が輝度信号の輝度値Ｙ、縦軸が前述した変化量に対する許容値Ｎを表している。ここで、図６で用いる許容値Ｎは、各輝度値に応じたノイズ特性を反映した値となされており、ノイズ特性として光ショットノイズの影響を考慮した値が設定されている。

より具体的に説明すると、先ず、階層ゲイン合成部２０３は、式（２）にて算出される各画素位置の輝度値Ｙに対応した許容値Ｎを、図６に示したグラフ６０１を用いて求める。次に、階層ゲイン合成部２０３は、各画素位置で求めた許容値Ｎと、変化量算出部１０３にて算出された同画素位置の変化量とを比較する。

そして、階層ゲイン合成部２０３は、変化量と許容値の比較の結果、変化量が許容値以下となる画素位置については、前述した所定の合成比率の合成パラメータを設定する。一方で、変化量が許容値を超える場合には、ノイズ抑圧のフィルタ処理などでエッジ部分が失われている可能性が高いと考えられる。このため階層ゲイン合成部２０３は、変化量が許容値を超える画素位置については階調処理でコントラストがつくように、下階層画像から生成されたゲイン信号の割合を大きくするような重みを設定することで、所定の合成比率の合成パラメータの補正を行う。すなわち、階層ゲイン合成部２０３は、変化量が許容値を超える領域については、下階層画像（低周波画像）から生成されたゲイン値を優先させるように合成パラメータを補正する。

以下、図７（ａ）〜図７（ｄ）を参照して、変化量が許容値を超える領域について下階層画像（低周波画像）から生成されたゲイン値を優先させるように合成パラメータを補正する理由について説明する。図７（ａ）は撮像画像７０１の一例を示す図である。図７（ｂ）は所定の階調特性を表すグラフ７０２を示した図であり、前述した図５（ｂ）のグラフ５０２と同じものである。図７（ｃ）の画像７０３は、図７（ａ）の撮像画像７０１の中で図中黒枠７１０により囲われた一部の画像を抜き出して示した図である。図７（ｄ）の画像７０４は、図７（ａ）の黒枠７１０により囲われた一部の画像（図７（ｃ）の画像７０３）について、図７（ｂ）の階調特性に基づく階調処理が行われた場合の階調処理後の画像例を示した図である。

ここで、図７（ｃ）に示した画像７０３のように、被写体領域（建物）の中で局所的に暗い部分（例えば建物の窓の部分）が存在する画像に対し、図７（ｂ）のグラフ７０２に示す階調特性を基にゲインをかけたとする。この場合、画像７０３の暗い領域に対して、明るくなるようにゲインがかけられることになる。このため、そのゲイン処理後の画像は、図７（ｄ）に示す画像７０４のように、被写体領域内で暗い領域（窓部分）と他の領域（建物の壁部分）との輝度差が少なくなり、コントラストが低下した画像になってしまう。しがたって、このような被写体領域に対しては、同被写体領域内の代表的な輝度値に準じたゲインを一律にかけるようにして、画像のコントラストを維持できるようにした階調処理を行う必要がある。このように、被写体領域に対して一律なゲインをかけるためには、ゲイン信号の生成に使用する画像として、撮像画像７０１から生成した低周波画像を使用することが好ましい。ゲイン信号の生成に使用する画像として低周波画像を生成するのは、元の撮像画像内の局所的な輝度変化（つまり画像内の細かいディテール）に対するゲインの敏感度を下げるためである。そこで、本実施形態では、コントラストを向上させた階調処理後の画像を生成可能にするために、変化量が許容値を超える領域については、低周波画像から生成されたゲイン値を優先するような合成処理が行われるように、合成パラメータを補正する。

本実施形態のように、低周波画像（つまり下階層画像）から生成されたゲイン値を優先させるような合成パラメータは、前述した変化量と許容値とを用いた下記式（３）により求めることができる。式（３）において、Ｗ（ｘ，ｙ）は、ゲイン信号の差分から算出した前述した所定の合成比率の合成パラメータである。Ｗ（ｘ，ｙ）は、０≦Ｗ（ｘ，ｙ）≦１の値であり、Ｗ（ｘ，ｙ）が１に近いほど低周波画像から生成されたゲイン値を優先して合成を行う。Ｎ（ｘ，ｙ）は、図６に示したグラフ６０１を使用して入力の輝度値Ｙから求められる前述した許容値である。Ｄｉｆ（ｘ，ｙ）は、変化量算出部１０３により求められる前述した変化量である。Ｗ'（ｘ，ｙ）は各階層のゲインマップを合成する際に最終的に使用される合成パラメータである。前述した変化量が許容値を越える場合、すなわちＤｉｆ（ｘ，ｙ）／Ｎ（ｘ，ｙ）の値が１を超える場合に式（３）の計算が行われる。なお、式（３）のＷ'（ｘ，ｙ）は、０≦Ｗ'（ｘ，ｙ）≦１の値となる。

Ｗ'(x,y)＝Ｗ(x,y)×Ｄif(x,y)／Ｎ(x,y) ・・・式（３）

図４のフローチャートに説明を戻す。図４のフローチャートのＳ４０４において、階層ゲイン合成部２０３は、前述のように補正した合成パラメータを用いて、ゲイン変換部２０２にて生成された各階層のゲインマップを合成する。すなわち階層ゲイン合成部２０３は、変化量が許容値以下の領域には所定の合成比率の合成パラメータを使用し、変化量が許容値を超える領域には下階層画像から生成されたゲイン値を優先させる合成パラメータを使用して、各階層のゲインマップを合成する。この合成されたゲインマップが、ゲイン処理部１０５において階調処理に使用される最終的なゲインマップとなされる。

図８は各階層画像から生成されたゲインマップを合成して最終的なゲインマップを生成する概念を示した図である。図８において、撮像画像８０１は撮像画像取得部１０１により取得されてノイズ抑圧処理された上階層画像であり、第１の低周波画像８０２と第２の低周波画像８０２は階層画像生成部２０１での縮小処理により生成された下階層画像である。図８の等倍ゲインマップ８０４は、縮小されていない撮像画像８０１から生成されたゲインマップである。一方、第１ゲインマップ８０５は第１の低周波画像８０２から生成されたゲインマップであり、第２ゲインマップ８０６は第２の低周波画像から生成されたゲインマップである。これら等倍ゲインマップ８０４、第１ゲインマップ８０５、第２ゲインマップ８０６は、図２のゲイン変換部２０２により生成される。

図２の階層ゲイン合成部２０３は、これら等倍ゲインマップ８０４、第１ゲインマップ８０５、第２ゲインマップ８０６を、前述した合成パラメータを用いて合成する。この合成の際、階層ゲイン合成部２０３は、第２ゲインマップ８０６を第１ゲインマップ８０５に相当する大きさに拡大した後、合成部８０７にて第１ゲインマップ８０５と合成する。さらに、階層ゲイン合成部２０３は、合成部８０７にて合成されたゲインマップを、等倍ゲインマップ８０４に相当する大きさに拡大した後、合成部８０８にて等倍ゲインマップ８０４と合成する。この合成部８０８による合成後のゲインマップが、最終的なゲインマップとして図２のゲイン処理部１０５に送られる。

図３のフローチャートに説明を戻す。図３のフローチャートのＳ３０５において、ゲイン処理部１０５は、ノイズ抑圧後の撮像画像信号に対し、ゲイン算出部１０４で生成された最終的なゲインマップを用いたゲイン処理を行う。このゲイン処理部１０５におけるゲイン処理は、下記式（４）により表される。式（４）において、ｏｕｔ（ｘ，ｙ）は座標（ｘ，ｙ）におけるゲイン処理後の出力信号値、ｉｎ（ｘ，ｙ）は座標（ｘ，ｙ）における入力信号値、Ｇａｉｎ（ｘ，ｙ）は座標（ｘ，ｙ）に対するゲイン値である。

out(x,y)＝Ｇain(x,y)×in(x,y) ・・・式（４）

そして、ゲイン処理部１０５によるゲイン処理後の画像信号は、図１に示した信号処理部１０６へ送られる。このゲイン処理後の画像信号はＲ，Ｇ，Ｂの色信号からなるベイヤー信号であり、信号処理部１０６は、そのベイヤー信号と、ベイヤー信号から生成した色差信号に対し、現像処理などの所定の信号処理を行って、出力画像信号を生成する。

前述したように、第１の実施形態の画像処理装置によれば、ノイズ抑圧処理によって鮮鋭感が低下する場合でも、ノイズ抑圧前後のノイズの変化量を基に、階調差がつくようなコントラストを強くするゲインマップを生成している。したがって、第１の実施形態の画像処理装置においては、コントラストの低下を防ぎ、鮮鋭感を残した階調処理を行うことができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。
第２の実施形態では、ノイズ抑圧後の撮像画像に対して階調処理を行う際、ノイズ抑圧前後の画像のヒストグラムの差分を変化量として求め、その変化量に応じて、ローカルトーンマッピングで使用するゲインマップを補正する。

第２の実施形態の画像処理装置の構成は前述した図１、図２と同様であるため、その図示と説明は省略する。第２の実施形態において、第１の実施形態との差異は、変化量算出部１０３とゲイン算出部１０４における処理である。第２の実施形態の変化量算出部１０３は、ノイズ抑圧前の撮像画像の輝度ヒストグラムとノイズ抑圧後の撮像画像の輝度ヒストグラムとを生成し、それら輝度ヒストグラムの差分を、ヒストグラムの変化量として算出する。第２の実施形態のゲイン算出部１０４は、ノイズ抑圧後の撮像画像信号と、変化量算出部１０３にて求められたヒストグラムの変化量の信号とを基に、ノイズ抑圧後の撮像画像に対する階調処理としてのコントラスト強調処理に使用するゲインマップを求める。

図９は、第２の実施形態の画像処理装置にて行われる画像処理の流れを示すフローチャートである。図９において、前述した第１の実施形態における図３のフローチャートとの差異は、変化量算出部１０３にて行われるＳ９０３の処理と、ゲイン算出部１０４にて行われるＳ９０４の処理である。Ｓ９０１は前述した図３のＳ３０１、Ｓ９０２はＳ３０２、Ｓ９０５はＳ３０５、Ｓ９０６はＳ３０６と同じ処理であるため、以下、Ｓ９０３とＳ９０４の処理についてのみ説明する。

図９のＳ９０３において、変化量算出部１０３は、ノイズ抑圧前の撮像画像から求めた輝度ヒストグラムと、ノイズ抑圧後の撮像画像から求めた輝度ヒストグラムとの差分を、ヒストグラムの変化量として算出する。図１０（ａ）〜図１０（ｃ）は、ヒストグラムの変化量算出処理の説明に用いる図である。図１０（ａ）は、撮像画像１００１の一例を示す図である。図１０（ｂ）は、図１０（ａ）の画像内の着目画素を中心とした所定の大きさの範囲内の画像領域１００２におけるノイズ抑圧前の画像の輝度ヒストグラム１０１１をグラフとして示す図であり、横軸が輝度、縦軸がカウント数を表している。また、図１０（ｂ）の図中ポイント１０１２は輝度ヒストグラム１０１１の中の最小輝度値、ポイント１０１３は輝度ヒストグラム１０１１の中の最大輝度値を表している。図１０（ｃ）は、図１０（ａ）の着目画素を中心とした所定の大きさの範囲内の画像領域１００２におけるノイズ抑圧後の画像の輝度ヒストグラム１０２１をグラフとして示す図であり、横軸が輝度、縦軸がカウント数を表している。また、図１０（ｃ）の図中ポイント１０２２は輝度ヒストグラム１０２１の中の最小輝度値、ポイント１０２３は輝度ヒストグラム１０２１の中の最大輝度値を表している。

変化量算出部１０３は、先ず、ノイズ抑圧前の撮像画像信号とノイズ抑圧前の撮像画像信号とから、着目画素を中心とする所定の範囲内の画像領域１００２から輝度ヒストグラムをそれぞれ生成して、それらの輝度ヒストグラムを比較する。ここで、輝度ヒストグラムを比較する理由としては、ノイズ抑圧処理によりフィルタ処理が行われることで、画像のコントラストが下がった場合、着目画素を中心とする所定の範囲内の画像領域１００２の輝度ヒストグラムの範囲は狭くなる。このため、それらノイズ抑圧前後の輝度ヒストグラムの差分を変化量として求めれば、その変化量によりコントラストが低下しているかどうかを調べることができる。そこで、第２の実施形態では、ノイズ抑圧前の画像の輝度ヒストグラム１０１１とノイズ抑圧後の画像の輝度ヒストグラム１０２１の差分を変化量として定義し、その変化量を下記式（５）により算出する。式（５）において、Ｐｍａｘは、ノイズ抑圧前の撮像画像における輝度ヒストグラムの最大輝度値（図１０（ｂ）のポイント１０１３の輝度値）である。Ｐｍｉｎは、ノイズ抑圧前の撮像画像における輝度ヒストグラムの最小輝度値（図１０（ｂ）のポイント１０１２の輝度値）である。ＮＲｍａｘは、ノイズ抑圧後の撮像画像における輝度ヒストグラムの最大輝度値（図１０（ｃ）のポイント１０２３の輝度値）である。ＮＲｍｉｎは、ノイズ抑圧後の撮像画像における輝度ヒストグラムの最小輝度値（図１０（ｃ）のポイント１０２２の輝度値）である。Ｄｉｆ（ｘ，ｙ）は、ヒストグラムの変化量である。

Ｄif(x,y)＝|(Ｐmax−Ｐmin)−(ＮＲmax−ＮＲmin)| ・・・式（５）

図９のフローチャートに説明を戻す。ゲイン算出部１０４は、図９のＳ９０４において、ノイズ抑圧後の撮像画像信号であるベイヤー信号から階調処理に使用するゲインマップを生成する。ここでの処理は、前述した第１の実施形態の図４に示したフローチャートと概ね同様であるが、第１の実施形態の場合と異なる処理は、変化量を基に合成パラメータを補正するＳ４０３の処理である。第２の実施形態の場合、前述した輝度ヒストグラムの変化量を基に合成パラメータの補正が行われる。以下、第２の実施形態におけるＳ４０３の処理について説明する。

第２の実施形態の場合、Ｓ４０３において、階層ゲイン合成部２０３は、変化量算出部１０３にて算出された輝度ヒストグラムの変化量を基に、前述した所定の合成比率の合成パラメータを補正する。図１１は、第２の実施形態の階層ゲイン合成部２０３において、所定の合成比率の合成パラメータを補正する際に使用する許容値Ｈと輝度値Ｙとの関係を表すグラフ１１０１を示した図である。図１１の横軸は輝度値Ｙ、縦軸が輝度ヒストグラムの変化量に対する許容値Ｈを表している。

第２の実施形態の場合、階層ゲイン合成部２０３は、先ず、前述した式（２）にて算出される各画素位置の輝度値Ｙに対応した許容値Ｈを、図１１に示したグラフ１１０１を用いて求める。次に、階層ゲイン合成部２０３は、各画素位置で求めた許容値Ｈと、変化量算出部１０３にて算出された同画素位置のヒストグラム変化量とを比較する。

そして、階層ゲイン合成部２０３は、輝度ヒストグラムの変化量と許容値の比較の結果、輝度ヒストグラムの変化量が許容値以下となる画素位置については、前述した所定の合成比率の合成パラメータを設定する。一方で、輝度ヒストグラムの変化量が許容値を超える場合には、ノイズ抑圧のフィルタ処理などでコントラストが低下している可能性が高いと考えられる。このため、階層ゲイン合成部２０３は、変化量が許容値を超える画素位置については階調処理でコントラストがつくように、下階層画像から生成されたゲイン信号の割合を大きくするような重みを設定して、所定の合成比率の合成パラメータの補正を行う。すなわち、第２の実施形態の階層ゲイン合成部２０３は、輝度ヒストグラムの変化量が許容値を超える領域については、下階層画像（低周波画像）から生成されたゲイン値を優先させるように合成パラメータを補正する。

第２の実施形態において、下階層画像から生成されたゲイン値を優先させるような合成パラメータは、前述した輝度ヒストグラムの変化量と許容値とを用いた下記式（６）により求めることができる。式（６）において、Ｗ（ｘ，ｙ）は、ゲイン信号の差分から算出した前述した所定の合成比率の合成パラメータである。Ｗ（ｘ，ｙ）は、０≦Ｗ（ｘ，ｙ）≦１の値であり、Ｗ（ｘ，ｙ）が１に近いほど低周波画像から生成されたゲイン値を優先して合成を行う。Ｈ（ｘ，ｙ）は、図１１に示したグラフ１１０１を使用して入力の輝度値Ｙから求められる許容値である。Ｄｈｉｆ（ｘ，ｙ）は、変化量算出部１０３により求められる前述した輝度ヒストグラムの変化量である。Ｗｈ'（ｘ，ｙ）は各階層のゲインマップを合成する際に使用される最終的な合成パラメータである。前述した変化量が許容値を越える場合、すなわちＤｉｆ（ｘ，ｙ）／Ｈ（ｘ，ｙ）の値が１を超える場合に式（６）の計算が行われる。なお、式（６）のＷｈ'（ｘ，ｙ）は、０≦Ｗｈ'（ｘ，ｙ）≦１の値となる。

Ｗh'(x,y)＝Ｗ(x,y)×Ｄhif(x,y)／Ｈ(x,y) ・・・式（６）

その後、第２の実施形態では、階層ゲイン合成部２０３は、前述のようにして生成した合成パラメータを用い、ゲイン変換部２０２にて生成された各階層のゲインマップを合成する。すなわち、階層ゲイン合成部２０３は、変化量が許容値以下の領域には所定の合成比率の合成パラメータを使用し、変化量が許容値を超える領域には下階層画像から生成されたゲイン値を優先させる合成パラメータを使用して各階層のゲインマップを合成する。この合成されたゲインマップが、第２の実施形態のゲイン処理部１０５において階調処理に使用される最終的なゲインマップとなされる。

前述したように、第２の実施形態の画像処理装置によれば、ノイズ抑圧処理によって鮮鋭感が低下する場合でも、ノイズ抑圧前後の輝度ヒストグラムの変化量を基に、階調差がつくようなコントラストを強くするゲインマップを生成している。したがって、第２の実施形態の画像処理装置においては、コントラストの低下を防ぎ、鮮鋭感を残した階調処理を行うことができる。

＜その他の実施形態＞
前述した各実施形態では、図４のＳ４０６の合成パラメータ補正処理において、画素単位で合成パラメータを決める方法を挙げたが、任意の領域毎に合成パラメータを決める方法を用いてもよい。具体的には、ゲイン算出部１０４は、撮像画像を任意の複数の領域に分割し、その分割した領域内の輝度値の平均値を算出する。さらに、ゲイン算出部１０４は、算出した輝度値の平均値に対応する変化量の許容値を基に、合成パラメータを補正するかどうかを判断する。そして、合成パラメータを補正すると判断した場合、ゲイン算出部１０４は、分割領域に対応した合成パラメータを前述のように補正する。

また、各実施形態では、Ｓ４０６の合成パラメータの補正処理において、ノイズ抑圧前後の画像の変化量やヒストグラムを比較して合成パラメータを補正する例を挙げたが、撮像画像の周波数特性をも加えて合成パラメータを補正する方法を用いてもよい。具体的には、ゲイン算出部１０４は、撮像画像に対してバンドパスフィルタによるフィルタ処理を行うことで高周波数特性を有するエッジ成分を抽出する。そして、ゲイン算出部１０４は、その抽出したエッジ成分の積分値を算出することでエッジ強度を求め、そのエッジ強度の値を変化量として合成パラメータを補正するかどうかを評価する。例えば、エッジ強度が所定の閾値（つまり許容値）を超える場合には、そのエッジ成分が抽出された領域はノイズではなくエッジ部分であると判断できる。このため、エッジ部分と判断された領域の画素位置については合成パラメータの補正を行い、下階層画像から生成したゲイン値を優先して使用することで、コントラストを向上させるような階調処理が可能となる。この例においても、前述した式（３）を用いることで補正後の合成パラメータを算出することができる。一方、エッジ強度が所定の閾値以下である場合には、そのエッジ成分が抽出された領域はエッジ部分ではなくノイズの可能性が高いため、ノイズを強調しないように、その画素位置については合成パラメータの補正を行わないようにする。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像画像取得部、１０２：ノイズ抑圧処理部、１０３：変化量算出部、１０４：ゲイン算出部、１０５：ゲイン処理部、１０６：信号処理部

Claims (12)

1. 入力画像に対してノイズ抑圧を行う抑圧手段と、
   前記ノイズ抑圧前の入力画像と前記ノイズ抑圧後の入力画像との間の変化量を求める算出手段と、
   前記ノイズ抑圧後の入力画像から低周波画像を生成する生成手段と、
   前記ノイズ抑圧後の入力画像と前記低周波画像とから、画素毎に対応したゲイン値よりなるゲイン情報を、それぞれ生成する変換手段と、
   前記ノイズ抑圧後の入力画像から生成されたゲイン情報と前記低周波画像から生成されたゲイン情報とを合成する合成手段と、
   前記ノイズ抑圧後の入力画像に対し、前記合成されたゲイン情報を用いてゲイン処理を行う処理手段と、を有し、
   前記合成手段は、前記変化量を基に所定の合成パラメータを補正し、前記補正した合成パラメータを用いて前記ゲイン情報の合成を行うことを特徴とする画像処理装置。
2. 前記合成手段は、前記入力画像の画像信号に応じた許容値と前記変化量との比較の結果を基に、前記合成パラメータの補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記変化量が許容値を越えている場合には、前記低周波画像から生成されたゲイン情報の割合を大きくする合成がなされるように前記合成パラメータを補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記変化量が許容値以下である場合には、前記所定の合成パラメータを用いて前記ゲイン情報の合成を行うことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記生成手段は、前記ノイズ抑圧後の入力画像から周波数レベルが異なる複数の低周波画像を生成することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記算出手段は、前記ノイズ抑圧前の入力画像の各画素の輝度値と前記ノイズ抑圧後の入力画像の各画素の輝度値との差分を前記変化量として算出することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記算出手段は、前記ノイズ抑圧前の入力画像の輝度ヒストグラムと前記ノイズ抑圧後の入力画像の輝度ヒストグラムとの差分を前記変化量として算出することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
8. 前記算出手段は、前記入力画像を分割した領域毎に前記変化量を求め、
   前記合成手段は、前記領域毎に求められた変化量を基に前記合成パラメータの補正を行うことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
9. 前記算出手段は、前記入力画像の周波数特性をも加えて前記変化量を求めることを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 前記算出手段は、前記入力画像から高周波数特性を有するエッジ成分を抽出し、前記エッジ成分を基にエッジ強度を算出し、前記エッジ強度を加えた前記変化量を求めることを特徴とする請求項９に記載の画像処理装置。
11. 入力画像に対してノイズ抑圧を行う抑圧工程と、
    前記ノイズ抑圧前の入力画像と前記ノイズ抑圧後の入力画像との間の変化量を求める算出工程と、
    前記ノイズ抑圧後の入力画像から低周波画像を生成する生成工程と、
    前記ノイズ抑圧後の入力画像と前記低周波画像とから、画素毎に対応したゲイン値よりなるゲイン情報を、それぞれ生成する変換工程と、
    前記ノイズ抑圧後の入力画像から生成されたゲイン情報と前記低周波画像から生成されたゲイン情報とを合成する合成工程と、
    前記ノイズ抑圧後の入力画像に対し、前記合成されたゲイン情報を用いてゲイン処理を行う処理工程と、を有し、
    前記合成工程では、前記変化量を基に所定の合成パラメータを補正し、前記補正した合成パラメータを用いて前記ゲイン情報の合成を行うことを特徴とする画像処理装置の画像処理方法。
12. コンピュータを、請求項１から１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images