JP2010178302A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】微細構造を極力保持しつつ高いノイズ低減効果を得ることが可能な画像処理装置等を提供する。
【解決手段】本発明の画像処理装置は、注目画素と、注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出手段と、注目画素の画素値に対する近傍領域の各画素値の類似度を夫々算出する類似度算出手段と、類似度に対してフィルタ処理を行う類似度フィルタ処理手段と、類似度フィルタ処理手段のフィルタ処理において用いられる第１のフィルタを決定する第１のフィルタ決定手段と、類似度フィルタ処理手段によりフィルタ処理された類似度に基づいて、抽出領域に対して用いる第２のフィルタを決定する第２のフィルタ決定手段と、第２のフィルタ決定手段により決定された前記第２のフィルタに基づき、注目画素に対するノイズ低減処理を行うノイズ低減処理手段と、を有する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、画像信号に対してノイズ低減処理を行う画像処理装置及び画像処理方法に関するものである。

一般的に、ＣＣＤまたはＣＭＯＳ等の撮像素子を備えた撮像装置は、レンズを経て撮像面上に光学的に結像された像を、各画素毎の微小領域において夫々光電変換することにより、電気信号としての画像信号を出力する。また、前述の画像信号は、増幅器により所定の輝度レベルとなるように増幅され、かつ、Ａ／Ｄ変換器によりデジタル化されたデジタル画像として更なる処理が施される。

そして、前述のようにデジタル化されたデジタル画像においては、撮像素子に起因する種々のノイズが混入する。前述のノイズとしては、例えば、暗電流、各画素のバラツキに付随した増幅器のゲインのバラツキに起因する固定パターンノイズ、及び、光電変換時の統計的な性質に起因するショットノイズとしてのランダムノイズ等が挙げられる。また、前述のノイズの統計的な特性は、輝度レベルと共に変化することが知られている。特に、ショットノイズは、輝度レベルの平方根に比例する平均振幅を有している。

一方、撮像素子に起因するノイズが混入したデジタル画像のノイズレベルを低減させることによりＳＮ比を向上可能な処理としては、例えば、画像信号の空間的な相関性とノイズの空間的な無相関性とを利用した、空間的な平滑化フィルタによる処理が広く知られている。しかし、空間的な平滑化フィルタは、画像のエッジ部分に対して悪影響を与える場合が多くある。そのため、画像のエッジ部とエッジ部以外の部分とにおいて適応的に平滑化フィルタの重み係数が変化するような、エッジ保存型のフィルタを用いたノイズ低減方法が特許文献１に記載されている。

特許文献１に記載のノイズ低減フィルタは、対象領域内の処理対象となる注目画素とその周辺画素との画素値の差分値に応じて、重みを適応的に変更するフィルタである。具体的には、特許文献１に記載のノイズ低減フィルタは、前述の差分値の絶対値が閾値ＳＨより大きい場合においては重みを０にする一方、前述の差分値の絶対値が閾値ＳＨ以下の場合においては、前述の差分値の絶対値が０から大きくなるにしたがって所定値までは単調減少し、かつ、前述の差分値の絶対値が該所定値以上になると単調増加する関数を用いて重みに変換するフィルタ係数を利用して構成されている。このように、注目画素とその周辺画素との差分値に基づいて設計されたフィルタを利用することにより、画像のエッジ部を保存しつつ平坦部のノイズを抑えることができる。

また、画像の構造に応じて重みが適応変化する適応平滑化フィルタとしては、例えば、有理フィルタ、及び、下記数式（１）として示すバイラテラルフィルタと呼ばれるものがある。

F(x,y)＝N・exp{−(|空間距離(x,y)|／σ_s)² ／2}・exp{−(|画素値差(x,y)|／σ_d)² ／2}
…（１）

バイラテラルフィルタは、上記数式（１）に示すように、空間距離に応じたガウスフィルタと画素値差に応じたガウスフィルタとを乗算したフィルタ係数を有している。上記数式（１）の右辺第１項は、画像の構造に依存しない固定した重みを与えることを示しており、また、上記数式（１）の右辺第２項は、画像の構造に依存して適応的に変化する重みを与えることを示している。

上記数式（１）として示すバイラテラルフィルタによれば、処理対象画素とその周辺画素との画素値の差が大きな画素を平滑化処理からできるだけ排除するように作用するため、画素値の差が大きいエッジ部を鈍らせることがない。その結果、上記数式（１）として示すバイラテラルフィルタによれば、解像度を保持しつつ多くのノイズを低減することができるため、効果的なノイズ低減結果を得ることができる。

ところで、上記数式（１）の右辺第２項によれば、平滑化に利用する画素の画素値の差が高々σ_d程度の差であることが示されている。そして、このσ_dの値を固定した場合、画像内において平滑化に利用される画素の選択基準が一定となる。しかし、撮像素子に起因するノイズの発生量は、前述のように輝度レベルに応じて変化するものである。そのため、σ_dの値を固定することは、実際に処理を行う場合においては都合が悪い。そして、このような事情を考慮し、上記数式（１）として示すバイラテラルフィルタにおいて、右辺第２項のσ_dの値を発生ノイズ量に応じて変更する技術が特許文献２に記載されている。

特許文献２には、輝度レベルに応じて決まる予め測定しておいたノイズ量である標準偏差値をテーブルとして保持し、処理対象画素の輝度レベルに対する推定ノイズ量を出力し、該推定ノイズ量に上記σ_dの値を対応させる、という技術が記載されている。特許文献２に記載のこのような技術によれば、画像の空間的な構造だけでなく輝度レベルにも適応してフィルタ重みを設計することができるので、より小さなエッジ構造についても潰すことなく、効果的なノイズ低減結果を得ることができる。

しかし、特許文献２に記載の技術によれば、σ_dの値を推定ノイズ量に対応させて変化させたとしても、微細構造の振幅がσ_dの値に近似したものになるにつれ、このような微細構造をノイズと共に潰してしまうという欠点があった。また、特許文献２に記載の技術によれば、微細構造を残すために更にσ_dの値を小さくするように制御すると、今度はノイズ低減効果が悪くなってしまうという問題があった。

このような問題は、他のエッジ保存型平滑化フィルタとしての、有理フィルタを利用する場合においても略同様に存在する。例えば下記数式（２）として示す有理フィルタによれば、前述のバイラテラルフィルタほどに微細構造を潰すことはない反面、ノイズ低減効果もバイラテラルフィルタ程には得られない。すなわち、下記数式（２）として示す有理フィルタにおいても、微細構造を残しつつ高いノイズ低減効果を得るという特性を十分に得ることができない。

F(x,y)＝T／（|画素値差｜＋T） …（２）

なお、上記数式（２）として示す有理フィルタの場合においては、Ｔが上記σ_dに対応するパラメータとなる。そして、上記数式（２）として示す有理フィルタによれば、Ｔの値が|画素値差｜の値に対して十分小さい場合にはノイズ低減効果が得られなくなり、また、|画素値差｜の値をＴの値に比べて小さくした場合には微細構造を消してしまうという特性しか得られなかった。

特許文献１及び特許文献２に記載のエッジ保存型の平滑化フィルタを用いた場合においては、微細構造を極力保持しつつ高いノイズ低減効果を得る、という特性を十分に得ることができない。

本発明は、前述した事情に鑑みてなされたものであり、画像信号に対するノイズ低減処理において、微細構造を極力保持しつつ高いノイズ低減効果を得ることが可能な画像処理装置及び画像処理方法を提供することを目的としている。

本発明における画像処理装置は、注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出手段と、前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出手段と、前記類似度に対してフィルタ処理を行う類似度フィルタ処理手段と、前記類似度フィルタ処理手段の前記フィルタ処理において用いられる第１のフィルタを決定する第１のフィルタ決定手段と、前記類似度フィルタ処理手段により前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第２のフィルタを決定する第２のフィルタ決定手段と、前記第２のフィルタ決定手段により決定された前記第２のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理手段と、を有することを特徴とする。

本発明における画像処理装置は、好ましくは、前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値である。

本発明における画像処理装置は、好ましくは、前記第１のフィルタ決定手段は、前記抽出領域の類似度の統計量と、前記注目画素の推定ノイズ量とに基づいて前記第１のフィルタを決定する。

本発明における画像処理装置は、好ましくは、前記第２のフィルタ決定手段は、前記第１のフィルタ決定手段において決定された前記第１のフィルタに基づき、前記抽出領域に対して用いる前記第２のフィルタの特性パラメータを決定する。

本発明における画像処理装置は、好ましくは、前記第２のフィルタの特性パラメータは、前記類似度に対する正規化量である。

本発明における画像処理装置は、好ましくは、前記第２のフィルタ決定手段は、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第２のフィルタを決定する。

本発明における画像処理装置は、好ましくは、前記第２のフィルタ決定手段により決定される前記第２のフィルタは、バイラテラルフィルタである。

本発明における画像処理装置は、好ましくは、前記第１のフィルタ決定手段は、前記フィルタ処理に用いられる前記第１のフィルタとして複数のフィルタ候補を選択し、前記類似度フィルタ処理手段において前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、１種類の類似度を選択する類似度選択手段をさらに有する。

本発明における画像処理方法は、注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出ステップと、前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出ステップと、前記類似度に対してフィルタ処理を行う類似度フィルタ処理ステップと、前記類似度フィルタ処理ステップの前記フィルタ処理において用いられる第１のフィルタを決定する第１のフィルタ決定ステップと、前記類似度フィルタ処理ステップにより前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第２のフィルタを決定する第２のフィルタ決定ステップと、前記第２のフィルタ決定ステップにより決定された前記第２のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理ステップと、を有することを特徴とする。

本発明における画像処理方法は、好ましくは、前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値である。

本発明における画像処理方法は、好ましくは、前記第１のフィルタ決定ステップは、前記抽出領域の類似度の統計量と、前記注目画素の推定ノイズ量とに基づいて前記第１のフィルタを決定する。

本発明における画像処理方法は、好ましくは、前記第２のフィルタ決定ステップは、前記第１のフィルタ決定ステップにおいて決定された前記第１のフィルタに基づき、前記抽出領域に対して用いる前記第２のフィルタの特性パラメータを決定する。

本発明における画像処理方法は、好ましくは、前記第２のフィルタの特性パラメータは、前記類似度に対する正規化量である。

本発明における画像処理方法は、好ましくは、前記第２のフィルタ決定ステップは、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第２のフィルタを決定する。

本発明における画像処理方法は、好ましくは、前記第２のフィルタ決定ステップにより決定される前記第２のフィルタは、バイラテラルフィルタである。

本発明における画像処理方法は、好ましくは、前記第１のフィルタ決定ステップは、前記フィルタ処理に用いられる前記第１のフィルタとして複数のフィルタ候補を選択し、前記類似度フィルタ処理ステップにおいて前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、１種類の類似度を選択する類似度選択ステップをさらに有する。

本発明における画像処理装置及び画像処理方法によると、画像信号に対するノイズ低減処理において、微細構造を極力保持しつつ高いノイズ低減効果を得ることが可能である。

本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図。 図１の画像処理装置におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図。 バイラテラルフィルタの周波数特性の一例を示す図。 輝度値に対して画素に重畳されるノイズ量の関係の一例を示す図。 画素値間の差分値に対して処理するフィルタ種の選択閾値とノイズ量の関係の一例を示す図。 画素値間の差分値のフィルタ処理前後の周波数特性の一例を示す模式図。 画素値間の差分値のフィルタ処理前後の周波数特性の、図６Ａとは異なる例を示す模式図。 抽出領域における画素値間の差分値へのフィルタ処理を模式的に示す図。 抽出領域に対して処理を行う際のフィルタ係数の一例を示す図。 抽出領域に対して処理を行う際のフィルタ係数の、図７Ｂとは異なる例を示す図。 ノイズ低減処理部の具体的な構成の一例を示す機能ブロック図。 ５×５画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図。 図９Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図。 図９Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図。 ５×５画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図。 図１０Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図。 図１０Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図。 バイラテラルフィルタの画素値間の差分値を正規化する２種類の係数値の関係を示す図。 本発明の第２の実施形態に係る差分抽出領域フィルタ処理部の具体的な構成の一例を示す機能ブロック図。 図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の一例を示す図。 図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａとは異なる例を示す図。 図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ及び図１３Ｂとは異なる例を示す図。 図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ、図１３Ｂ及び図１３Ｃとは異なる例を示す図。 図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ、図１３Ｂ、図１３Ｃ及び図１３Ｄとは異なる例を示す図。 図１２の差分抽出領域フィルタ処理部を具備した構成におけるノイズ低減処理の処理手順を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１から図１１は、本発明の第１の実施形態に係るものである。図１は、本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図である。図２は、図１の画像処理装置におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図である。図３は、バイラテラルフィルタの周波数特性の一例を示す図である。図４は、輝度値に対して画素に重畳されるノイズ量の関係の一例を示す図である。図５は、画素値間の差分値に対して処理するフィルタ種の選択閾値とノイズ量の関係の一例を示す図である。図６Ａは、画素値間の差分値のフィルタ処理前後の周波数特性の一例を示す模式図である。図６Ｂは、画素値間の差分値のフィルタ処理前後の周波数特性の、図６Ａとは異なる例を示す模式図である。図７Ａは、抽出領域における画素値間の差分値へのフィルタ処理を模式的に示す図である。図７Ｂは、抽出領域に対して処理を行う際のフィルタ係数の一例を示す図である。図７Ｃは、抽出領域に対して処理を行う際のフィルタ係数の、図７Ｂとは異なる例を示す図である。

図８は、ノイズ低減処理部の具体的な構成の一例を示す機能ブロック図である。図９Ａは、５×５画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図である。図９Ｂは、図９Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図である。図９Ｃは、図９Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図である。図１０Ａは、５×５画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図である。図１０Ｂは、図１０Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図である。図１０Ｃは、図１０Ａの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図である。図１１は、バイラテラルフィルタの画素値間の差分値を正規化する２種類の係数値の関係を示す図である。

画像処理装置１１０は、図１に示すように、撮像部１００と、色信号分離部１０１と、複数のノイズ低減部１０２と、補間処理部１０３と、色補正処理部１０４と、階調補正部１０５と、圧縮記録部１０６と、システム制御部１０７と、を有して構成されている。

撮像部１００は、図示しないレンズ及び撮像素子を具備して構成されている。撮像部１００の前記レンズを経て前記撮像素子上に結像した画像は、光電変換されつつアナログ信号として出力される。そして、前記アナログ信号は、図示しない増幅部により増幅され、図示しないＡ／Ｄ変換部によりデジタルデータに変換された後、色信号分離部１０１へ出力される。

なお、本実施形態においては、撮像部１００の撮像素子は、ＣＣＤまたはＣＭＯＳセンサ等のチップ上にＲＧＢ原色カラーフィルタが市松状に各画素に１色配置された、ベイヤ配列の単板素子を前提に説明するが、特にこのような配列等に限定されるものではない。具体的には、撮像部１００の撮像素子は、例えば、複数のモノクロ撮像素子とダイクロイックプリズムとを具備するとともに、該ダイクロイックプリズムを介して色分離した光を夫々の撮像素子に結像させるような、多板構成としても良い。この場合は、以下で示す色信号分離部１０１の分離する信号が異なり、また補間処理部１０３は不要となる。また、撮像部１００の撮像素子は、前述の２種類の構成を組み合わせることにより、マルチバンドに対応可能な構成としても良い。

色信号分離部１０１は、撮像部１００からのデジタルデータをＲ、Ｇｒ、Ｇｂ及びＢ画素信号毎に分離する。そして、色信号分離部１０１は、分離した各画素信号に対してホワイトバランス処理を施し、Ｇ信号に対するゲインをＲ信号及びＢ信号にかけた後、４つの色信号を夫々対応するノイズ低減部１０２へ出力する。

ノイズ低減部１０２は、色信号分離部１０１から出力される色信号毎にノイズ低減処理を施した後、該ノイズ低減処理後の各色信号を補間処理部１０３へ出力する。

補間処理部１０３は、一の画素に１色しかない色信号に対し、該一の画素の周辺画素における同色及び異色の画素値を用いることにより、該一の画素に存在しない２色の補間信号を作成する。このような処理により、補間処理部１０３は、１画素につき３色の色信号を具備する、同時化されたＲＧＢ信号を生成して色補正処理部１０４へ出力する。

色補正処理部１０４は、補間処理部１０３からの出力信号としての、撮像部１００の特性に起因するデバイス色空間上のＲＧＢ信号を、出力先となるモニタ等の色域（例えばｓＲＧＢ）に変換する処理を行う。そして、色補正処理部１０４は、前記処理を行った後のＲＧＢ信号を階調補正部１０５へ出力する。

階調補正部１０５は、出力先となるモニタ等の特性に応じた階調変換処理を色補正処理部１０４からのＲＧＢ信号に対して施した後、該階調変換処理後のＲＧＢ信号を圧縮記録部１０６へ出力する。

圧縮記録部１０６は、階調補正部１０５からのＲＧＢ信号を輝度色差信号であるＹＣｂＣｒ信号に変換し、ＪＰＥＧまたはＭＰＥＧ等の高能率圧縮処理を該ＹＣｂＣｒ信号に対して施した後、該高能率圧縮処理後の信号を記録媒体に記録する。

システム制御部１０７は、前述の各部の処理を、画像処理装置１１０の全体で機能的に動作させるための制御信号を出力する。すなわち、画像処理装置１１０の各部は、システム制御部１０７から出力される制御信号に基づいて夫々動作する。

ここで、ノイズ低減部１０２の具体的な構成について説明を行う。

ノイズ低減部１０２は、図２に示すように、メモリ２００と、領域抽出部２０１と、差分値算出部２０２と、統計量算出部２０３と、ノイズ量推定部２０４と、フィルタ係数テーブル２０５と、フィルタ係数選択部２０６と、差分抽出領域フィルタ処理部２０７と、重み係数変換用ＬＵＴ２０８と、フィルタ係数算出部２０９と、ノイズ低減処理部２１０と、制御部２１１と、を具備して構成されている。

メモリ２００には、色信号分離部１０１から出力される１種類の色信号が画像データとして入力される。前記画像データは、ノイズ低減処理の時間遅延を吸収するために、メモリ２００において一時的に保持される。

領域抽出部２０１は、メモリ２００に保持された画像データを読み込み、ノイズ低減処理を行う対象画素Ｐ（ｘ０，ｙ０）と、該対象画素Ｐを中央に具備する所定サイズの領域としての、例えば７×７画素の領域画像とを抽出する。そして、領域抽出部２０１は、抽出した前記領域画像を差分値算出部２０２及びノイズ量推定部２０４へ出力する。

差分値算出部２０２は、領域抽出部２０１からの領域画像に基づき、該領域画像の中央に位置する対象画素Ｐ（ｘ０，ｙ０）とその周辺領域の画素Ｐ（ｘ，ｙ）との類似度を示す、差分値Ｄ（ｘ，ｙ）を下記数式（３）により算出する。

D(x,y)＝P(x,y)− P(x0,y0) …（３）

但し、上記数式（３）において、Ｄ（ｘ０，ｙ０）＝０であるとする。また、本実施形態においては、類似度を差分値Ｄ（ｘ，ｙ）として以降の説明を行うが、これに限定する必要はない。例えば、前記類似度は、差分値Ｄ（ｘ，ｙ）の絶対値であっても良く、また、差分値Ｄ（ｘ，ｙ）の二乗の値であって良い。

そして、差分値算出部２０２は、算出した差分値Ｄ（ｘ，ｙ）を統計量算出部２０３及びノイズ量推定部２０４へ夫々出力する。

統計量算出部２０３は、差分値算出部２０２からの差分値Ｄ（ｘ，ｙ）に応じた標準偏差σ_Dを算出してフィルタ係数選択部２０６へ出力する。なお、統計量算出部２０３は、統計量として標準偏差σ_Dを算出するものに限らず、例えば、差分値Ｄ（ｘ，ｙ）の抽出領域内のダイナミックレンジを算出するものであっても良い。

一方、ノイズ量推定部２０４は、差分値算出部２０２からの差分値Ｄ（ｘ，ｙ）の抽出領域と、該抽出領域の対象画素Ｐ（ｘ０，ｙ０）に対応する１つの代表輝度値Ｒと、を算出する。なお、代表輝度値Ｒは、例えばＤ（ｘ０，ｙ０）＝Ｐ（ｘ０，ｙ０）として算出されても良く、差分値Ｄ（ｘ，ｙ）の抽出領域内での平均値をＰ（ｘ０，ｙ０）に加えたものとして算出されても良く、または、下記数式（４）、（５）及び（６）として示すバイラテラルフィルタの処理結果として算出されても良い。

R＝Σ_xΣ_yexp{−S(x,y)²／(2σ_s ²)}exp{−(D(x,y)² ／(2σ_d ²)}}・{D(x,y)＋P(x0,y0)}／No
…（４）
No＝Σ_xΣ_yexp{−S(x,y)²／(2σ_s ²)}exp{−(D(x,y)² ／(2σ_d ²)}} …（５）
S(x,y)²＝(x−x0)² ＋ (y−y0)² …（６）

ここで、上記数式（４）及び（５）におけるΣ_x及びΣ_yは、ｘ及びｙが取り得る値の範囲における総和を示すものとする。

ノイズ量推定部２０４は、例えば図４に示すような、事前の測定により求めておいたノイズモデルＮｍ（Ｒ）に代表輝度値Ｒを適用することにより、該代表輝度値Ｒをノイズ推定量Ｎ（Ｒ）に変換する。

撮像装置におけるノイズモデルＮｍ（Ｒ）は、特定の撮像装置にて予め均一輝度領域となる複数のパッチを撮影した後、その各パッチ内の所定領域の平均輝度値と標準偏差とを測定することにより得られる多項式近似曲線に対して最小二乗法を適用した関数として算出される。なお、このようなノイズモデルＮｍ（Ｒ）は、多項式係数を保持したままのものであっても良く、また、複数点からなる折れ線データとしてＬＵＴ化されたものであっても良い。

ノイズ推定量Ｎ（Ｒ）は、例えば、撮像部１００において指定されるゲイン量、ＩＳＯ感度、露出時間、センサ自体の温度、及び、色信号分離部１０１のホワイトバランス処理に伴うゲイン量等の、ノイズ量を増大させるパラメータの関数Ｐ（ゲイン量，露出時間，温度，…）を、前述のノイズモデルＮｍ（Ｒ）に対して乗算することにより算出される。

ノイズ量推定部２０４は、制御部２１１を介して入力される前述の各パラメータに基づき、前記関数Ｐを算出する。なお、前記関数Ｐは、例えば多項式またはＬＵＴのような、関数値を求められるように表現されているものとする。

従って、ノイズ推定量Ｎ（Ｒ）は、下記数式（７）により求められる。

N(R)＝Nm(R)×P(ゲイン量,露出時間,温度,…) …（７）

フィルタ係数選択部２０６には、統計量算出部２０３からの標準偏差σ_Dと、ノイズ量推定部２０４からのノイズ推定量Ｎ（Ｒ）とが入力される。そして、フィルタ係数選択部２０６は、ノイズ推定量Ｎ（Ｒ）に基づいて閾値Ｔｈ（Ｒ）を決定し、σ_DとＴｈ（Ｒ）との大小判定に基づいてフィルタ係数テーブル２０５に格納されている複数のフィルタの中から１つのフィルタを選択する。

なお、閾値Ｔｈ（Ｒ）は、下記数式（８）に示すように、ノイズ推定量Ｎ（Ｒ）と所定値α（Ｒ）との加算値として求められる。

Th(R)＝N(R)＋α(R) …（８）

図５に示すように、閾値Ｔｈ（Ｒ）は、輝度値に応じてノイズ推定量Ｎ（Ｒ）が増えることに伴い、ノイズ推定量Ｎ（Ｒ）の増加に応じて値が大きくなるように設定されている。

フィルタ係数選択部２０６は、σ_D≧Ｔｈ（Ｒ）であることを検出した場合には、エッジ強度が強い構造領域に対応した第１のフィルタを選択する。一方、フィルタ係数選択部２０６は、σ_D＜Ｔｈ（Ｒ）であることを検出した場合には、微細構造または平坦部の領域に対応した第２のフィルタを選択する。また、フィルタ係数選択部２０６は、選択したフィルタの係数値を差分抽出領域フィルタ処理部２０７に出力し、第１のフィルタまたは第２のフィルタのどちらを選択したかを示すフィルタ選択情報ＳＷをフィルタ係数算出部２０９へ出力する。

ところで、閾値Ｔｈ（Ｒ）と差分値Ｄ（ｘ，ｙ）の抽出領域の標準偏差σ_Dとの比較判定は、処理対象となる抽出領域中にノイズ推定量Ｎ（Ｒ）に対して大きなエッジ成分が存在するかどうかを判定することを意味する。すなわち、フィルタ係数選択部２０６は、大きなエッジの有無に応じ、抽出領域の差分値Ｄ（ｘ，ｙ）に対して作用させるフィルタの種類を選択的に変更する。

そして、フィルタ係数テーブル２０５は、フィルタ係数選択部２０６による選択対象となるフィルタを夫々格納している。例えば、前述の第１のフィルタとしては図７Ｂの係数が対応し、また、前述の第２のフィルタとしては図７Ｃの係数が対応する。

前述の第１のフィルタは、全ての帯域を通過させるフィルタ特性を有している。一方、前述の第２のフィルタは、ローパスフィルタと同等の特性を有しており、空間的に高周波な成分の構造とともに高周波ノイズをカットする。

すなわち、閾値Ｔｈ（Ｒ）と差分値Ｄ（ｘ，ｙ）の抽出領域の標準偏差σ_Dとの比較判定において、大きなエッジがあると判定された場合には、抽出領域の差分値Ｄ（ｘ，ｙ）をそのままとすることにより、例えば図６Ａに示すように空間周波数特性を維持するため、該抽出領域の差分値Ｄ（ｘ，ｙ）中に含まれるエッジ成分は保存される。一方、閾値Ｔｈ（Ｒ）と差分値Ｄ（ｘ，ｙ）の抽出領域の標準偏差σ_Dとの比較判定において、大きなエッジがないと判定された場合には、ローパスフィルタと同等の特性を有する第２のフィルタを作用させることにより、例えば図６Ｂに示すように空間周波数特性を変更する。

なお、フィルタ係数テーブル２０５に格納されている第１のフィルタ及び第２のフィルタが有するフィルタ特性は、図７Ｂ及び図７Ｃとして示したフィルタ係数に基づくものに限らない。具体的には、第１のフィルタは、周波数帯域をできるだけ残しつつ、ナイキスト周波数の近傍の周波数を減衰する急峻なローパスフィルタとして構成されていても良い。このような構成の場合、第１のフィルタにおいてもナイキスト周波数近傍のノイズ成分を除去することができるため、構造に対するノイズの影響を減らすことができる。但し、前述のような構成の場合、第１のフィルタのフィルタサイズを、差分値Ｄ（ｘ，ｙ）の抽出領域に比べて大きなサイズにする必要がある。

差分抽出領域フィルタ処理部２０７は、差分値算出部２０２から出力された抽出領域の差分値Ｄ（ｘ，ｙ）と、フィルタ係数選択部２０６から出力されたフィルタ係数とに基づき、抽出領域の差分値Ｄ（ｘ，ｙ）に対してフィルタ処理を施した後、処理結果をフィルタ係数算出部２０９へ出力する。

なお、図７Ａは、抽出領域の差分値Ｄ（ｘ，ｙ）＝Ｄ_xyへのフィルタ処理に対する模式図である。図７Ａに示す７×７画素の抽出領域の差分値Ｄ（ｘ，ｙ）に対して、図７Ｂまたは図７Ｃに示す３×３のタップ数の２次元フィルタを１画素毎にコンボリューション処理することにより、差分抽出領域フィルタ処理部２０７による処理結果としてのＤ’（ｘ，ｙ）を得る。なお、Ｄ’（ｘ，ｙ）の領域は、例えば、図７Ａに示す７×７画素の抽出領域から周辺１画素分のフィルタ処理できない部分を除いた領域である、Ｄ₃₃の処理対象画素位置の周辺に存在する５×５画素からなる領域となる。

フィルタ係数算出部２０９は、差分抽出領域フィルタ処理部２０７から出力されたＤ’（ｘ，ｙ）と、フィルタ係数選択部２０６から出力されたフィルタ選択情報ＳＷとに基づき、領域抽出部２０１において抽出された抽出領域に対する平滑化処理用フィルタ係数を算出する。

フィルタ係数算出部２０９により算出されるフィルタ係数は、下記数式（９）及び（１０）として示されるバイラテラルフィルタに応じたものであり、また、Ｄ’（ｘ，ｙ）のサイズに対応した、５×５のタップ数を具備するものとなる。

F(x,y)＝exp{−S(x,y)²／(2σ_s ²)}exp{−(D’(x,y)² ／(2σ_d(SW)²)} …（９）
S(x,y)² ＝(x−x0)²＋(y−y0)² …（１０）

上記数式（９）の右辺第１項のガウス関数exp{−S(x, y)²／(2σ_s ²)}は、空間距離に基づく重み係数であり、予め計算しておくことによりテーブルとして保持することが可能である。

一方、重み係数変換用ＬＵＴ２０８は、フィルタ選択情報ＳＷを、上記数式（９）の右辺第２項のガウス関数exp{−(D’(x, y)²／(2σ_d(SW)²)}に対応するガウス関数値へ変換するための変換テーブルを、複数個のルックアップテーブルＬＵＴ_Gとして予め保持している。このような構成によれば、例えば、ルックアップテーブルＬＵＴ_G（ＳＷ）のアドレスがＤ’（ｘ，ｙ）となる格納場所の値を参照することにより、前述のガウス関数値を得ることができる。

そして、フィルタ係数算出部２０９は、重み係数変換用ＬＵＴ２０８に保持されているルックアップテーブルＬＵＴ_Gと、上記数式（９）及び（１０）とを用いて算出したフィルタ係数Ｆ（ｘ，ｙ）をノイズ低減処理部２１０へ出力する。なお、フィルタ係数算出部２０９により算出されたフィルタ係数Ｆ（ｘ，ｙ）の正規化処理については、ノイズ低減処理部２１０における積和演算処理後に行うものとする。

ノイズ低減処理部２１０は、領域抽出部２０１から出力される７×７画素の抽出領域のうち、該抽出領域の中心に位置する対象画素Ｐ（ｘ０，ｙ０）と、該対象画素Ｐ（ｘ０，ｙ０）の周辺５×５画素とを選択する。その後、ノイズ低減処理部２１０は、対象画素Ｐ（ｘ０，ｙ０）の周辺５×５画素とフィルタ係数算出部２０９から出力される５×５タップのフィルタ係数との間で積和演算処理を行い、さらにフィルタ係数の総和Ｎoを算出して正規化処理を行うことにより、平滑化処理対象画素Ｐ’（ｘ０，ｙ０）を得る。そして、ノイズ低減処理部２１０は、処理結果としての平滑化処理対象画素Ｐ’（ｘ０，ｙ０）を、ノイズ低減処理出力画素値Ｐo（ｘ０，ｙ０）として出力する。

なお、ノイズ低減処理部２１０は、前述した処理と略同等の処理を行うものとして、例えば図８として具体的に示すような構成を有しても良い。

ノイズ低減処理部２１０は、図８に示すように、積和演算処理部８０１と、正規化処理部８０２と、ノイズ推定量算出部８０３と、コアリング処理部８０４と、を有して構成されている。

積和演算処理部８０１は、抽出領域に含まれる対象画素Ｐ（ｘ０，ｙ０）と、該対象画素Ｐ（ｘ０，ｙ０）の周辺５×５画素からなるＰ（ｘ，ｙ）と、５×５タップのフィルタ係数Ｆ（ｘ，ｙ）との間において積和演算処理を行った後、積和演算処理結果Ｐ”（ｘ０，ｙ０）を正規化処理部８０２へ出力する。

正規化処理部８０２は、フィルタ係数Ｆ（ｘ，ｙ）の総和No(SW)＝Σ_xΣ_yexp{−S(x,y)²／(2σ_s ²)} exp{−(D’(x,y)² ／(2σ_d(SW)²)}を算出し、自身が保持するＮo（ＳＷ）の逆数変換テーブルにより算出結果を逆数に変換した後、変換後の値に積和演算処理結果Ｐ”（ｘ０，ｙ０）を乗ずることにより、平滑化処理対象画素Ｐ’（ｘ０，ｙ０）を算出する。そして、正規化処理部８０２は、算出した平滑化処理対象画素Ｐ’（ｘ０，ｙ０）をノイズ推定量算出部８０３及びコアリング処理部８０４へ夫々出力する。

ノイズ推定量算出部８０３は、図４に示したノイズモデルＮｍ（Ｒ）と制御部２１１から出力される撮影条件情報（露出時間、ゲイン量、ＩＳＯ感度及びセンサ温度等）とに基づき、Ｒ＝Ｐ’（ｘ０，ｙ０）としてノイズ推定量Ｎ（Ｒ）を算出する。ここで、ノイズ推定量算出部８０３におけるノイズ推定量は、ノイズ量推定部２０４の説明として既述の方法と同一の方法により算出される。そして、ノイズ推定量算出部８０３は、算出したノイズ推定量Ｎ（Ｒ）をコアリング処理部８０４へ出力する。

コアリング処理部８０４は、領域抽出部２０１から出力される対象画素Ｐ（ｘ０，ｙ０）と、正規化処理部８０２から出力される平滑化処理対象画素Ｐ’（ｘ０，ｙ０）と、ノイズ推定量算出部８０３から出力されるノイズ推定量Ｎ（Ｐ’（ｘ０，ｙ０））とに基づいてコアリング処理を行うことにより、最終的な出力画素値Ｐo（ｘ０，ｙ０）を得る。

具体的には、コアリング処理部８０４は、｜Ｐ（ｘ０，ｙ０）−Ｐ’（ｘ０，ｙ０）｜＜Ｎ（Ｐ’（ｘ０，ｙ０））の場合においては、Ｐ’（ｘ０，ｙ０）を最終的な出力画素値Ｐo（ｘ０，ｙ０）とする。また、コアリング処理部８０４は、Ｐ（ｘ０，ｙ０）−Ｐ’（ｘ０，ｙ０）≧Ｎ（Ｐ’（ｘ０，ｙ０））の場合においては、Ｐ（ｘ０，ｙ０）−Ｎ（Ｐ’（ｘ０，ｙ０））を最終的な出力画素値Ｐo（ｘ０，ｙ０）とする。一方、コアリング処理部８０４は、Ｐ（ｘ０，ｙ０）−Ｐ’（ｘ０，ｙ０）≦−Ｎ（Ｐ’（ｘ０，ｙ０））の場合においては、Ｐ（ｘ０，ｙ０）＋Ｎ（Ｐ’（ｘ０，ｙ０））を最終的な出力画素値Ｐo（ｘ０，ｙ０）とする。

ここで、以上に述べたノイズ低減部１０２の構成における作用的な面についての説明を行う。

ノイズ低減部１０２を構成するにあたって用いた、エッジ保存型平滑化フィルタとしてのバイラテラルフィルタは、例えば図３に示すように、適用する画像領域の構造に依存して異なる周波数特性を持つフィルタである。

このような周波数特性の変化は、輝度差により得られるバイラテラルフィルタの重みによって発生する。つまり、輝度差の絶対値をσ_dにより除した値（｜輝度差｜／σ_dの値）が１に対して大きい値となる画素が平滑化処理の対象となる抽出領域（フィルタタップ数により規定される領域であり、前述の説明においては５×５画素のサイズからなる領域）にある場合には、ガウス関数の値がゼロに近い値を取るため、平滑化処理の際に用いる画素からほぼ排除された状態となる。

このような性質により、処理対象画素がエッジ境界に存在したとしても、該処理対象画素の周辺画素との輝度差が大きなエッジである場合においては、エッジ方向と直交する方向に位置する画素が平滑化処理に加わらないため、エッジ部の空間的な周波数帯域を保存可能なフィルタを得ることができる。

一方、処理対象画素と該処理対象画素の周辺画素との輝度差が小さい微細構造領域の場合、つまり、輝度差の絶対値をσ_dにより除した値（｜輝度差｜／σ_dの値）が１に対して小さい値となる場合には、ガウス関数の値が１に近い値となるため、該微細構造領域を含む画素が全て平滑化処理に使用される。このような場合、平滑化フィルタの周波数特性は、バイラテラルフィルタの空間距離に関するもう一つのガウス関数により決定される特性のローパスフィルタに漸近することになる。

従って、画像の微細構造を保持できるか否かにおいては、バイラテラルフィルタの輝度差の絶対値に対するパラメータσ_dの大きさが支配的な要素となる。つまり、σ_dが比較的小さな値として設定されることにより、相対的に、輝度差の絶対値が小さい領域に対応する微細な構造を残すことが可能となる。但し、このような場合においては、輝度差の絶対値がノイズ量（ノイズが重畳されることにより得られる輝度差）に相当する大きさになると、ノイズによる変動が輝度差の絶対値をσ_dにより除した値（｜輝度差｜／σ_dの値）を大きく変化させるため、フィルタ係数に対して大きな影響を及ぼす。

図９Ａ乃至図９Ｃ、及び、図１０Ａ乃至図１０Ｃは、前述の説明を模式的に示した図である。なお、図９Ａ及び図１０Ａにおける各マス毎の濃淡は、差分値の違いを可視的に表現したものである。（色が濃いほど差分値が大きくなる。）また、図９Ｂ、図９Ｃ、図１０Ｂ及び図１０Ｃにおける各マス毎の濃淡は、フィルタ係数の違いを可視的に表現したものである。（白い箇所の重みが大きくなる。）
図９Ａは、５×５画素の平坦領域に高周波ノイズ（ノイズ量Ｎ）が重畳された場合の差分値Ｄ（ｘ，ｙ）を模式的に示している。

このような状態においてＮ≒σ_dとした場合、Ｄ（ｘ，ｙ）／σ_dの変動が大きくなるに伴い、例えば図９Ｂに示すように、算出したフィルタ係数が高周波ノイズのパターンに合わせて変動することとなり、平滑化に使用する画素が限定されてしまうため、結果的に十分なノイズ低減効果を得ることができない。

前述のように、微細構造を保持する目的においてノイズレベルに近い値までσ_dを小さくした場合、ノイズ低減効果が無くなってしまう。一方、σ_dを大きくした場合、ノイズ低減効果を十分に得ることができる反面、微細構造を保持することができない。

この相反性を克服するために、本実施形態のノイズ低減部１０２によれば、ノイズ低減処理を行う対象画素と、該対象画素の周辺領域画像とが微細構造領域であると判定された場合には、差分値Ｄ（ｘ，ｙ）に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより、Ｄ’（ｘ，ｙ）を求めている。これにより、Ｄ’（ｘ，ｙ）／σ_dを１よりも小さな値とすることができるため、例えば図９Ｃに示すように、５×５タップの全てのフィルタ係数を均一な係数として得ることができる。

一方、図１０Ａは、空間的に縦方向に微細構造（小さなエッジ）を具備した抽出領域に高周波ノイズが重畳された場合の差分値Ｄ（ｘ，ｙ）を模式的に示している。

図１０Ａの微細構造領域に対する差分値Ｄ（ｘ，ｙ）からフィルタ係数を算出した場合、例えば図１０Ｂに示すように、平滑化に使用する画素が限定されてしまうため、十分なノイズ低減効果が得られないフィルタ係数となる。一方、差分値Ｄ（ｘ，ｙ）に含まれる高周波ノイズをカットするローパスフィルタを作用させたＤ’（ｘ，ｙ）を用いることにより、例えば図１０Ｃに示すように、縦方向の低周波の微細構造に沿った画素位置に存在する多くの画素を平滑化に利用可能なフィルタ係数を得ることができる。

つまり、σ_dを小さくしたとしても、画像構造の周波数成分に対してノイズ成分が多く含まれることが見込まれる周波数帯域を低減した差分値Ｄ’（ｘ，ｙ）を算出してからバイラテラルフィルタの係数を算出することにより、ノイズの影響を極力抑えた係数を得ることができる。

なお、画像の構造物として強調すべき周波数帯域が予め分かっている場合には、該周波数帯域を抽出するバンドパスフィルタを作用させても良い。この場合においても、画像構造を保存しつつ、効果的なノイズ低減結果を得ることができる。

また、差分値Ｄ（ｘ，ｙ）に作用させるローパスフィルタのタップ数を図７Ｃのように大きくできない場合においては、残しておきたい微細構造の振幅を得るために、Ｄ’（ｘ，ｙ）を所定倍する、あるいは、ローパスフィルタを作用させない場合のσ_dをローパスフィルタを作用させた場合のσ_dLに近づくように小さくすればよい。

図１１は、σ_dとσ_dLの関係を示す図であり、ノイズ量Ｎ（Ｒ）に応じてσ_dが変化する場合の例を示している。そして、この例においては、前述の第２のフィルタに対応するローパスフィルタ処理時のσ_dL（Ｎ（Ｒ））をσ_dL（Ｎ（Ｒ）)＝βσ_d（Ｎ（Ｒ））とすればよい。（βは予め決められた１以下の所定の定数である。）これにより、微細構造領域のようなノイズの影響を相対的に受けやすい領域において、ノイズの影響を出来るだけ排除可能な、より適したバイラテラルフィルタの係数を算出できる。

一方、十分にエッジ強度がある構造領域と判定された場合、バイラテラルフィルタの係数は、ノイズの影響を相対的に受けない。そのため、本実施形態のノイズ低減部１０２は、差分値Ｄ（ｘ，ｙ）に対してフィルタ処理による帯域制限を施すことなくフィルタ係数を算出する。これにより、相関の無い構造に対応する画素を平滑化処理に加えることを排除できるため、エッジ保存性能を維持しつつノイズ低減を行うことができる。

また、前述のフィルタ係数算出処理は、バイラテラルフィルタに限定されず、例えば有理フィルタのような、差分値Ｄ（ｘ，ｙ）をフィルタ係数算出に利用するフィルタにおいても同様に利用できる。

以上に述べたように、本実施形態の画像処理装置１１０によれば、画像領域の構造に応じ、差分値Ｄ（ｘ，ｙ）に対してローパスフィルタまたはバンドパスフィルタによる処理を施した処理結果としての差分値Ｄ’（ｘ，ｙ）を用いつつ、バイラテラルフィルタのフィルタ係数を算出する。そのため、本実施形態の画像処理装置１１０によれば、微細構造を極力保持しつつ高いノイズ低減効果を得ることができる。

（第２の実施形態）
図１２から図１４は、本発明の第２の実施形態に係るものである。図１２は、本発明の第２の実施形態に係る差分抽出領域フィルタ処理部の具体的な構成の一例を示す機能ブロック図である。図１３Ａは、図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の一例を示す図である。図１３Ｂは、図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａとは異なる例を示す図である。図１３Ｃは、図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ及び図１３Ｂとは異なる例を示す図である。図１３Ｄは、図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ、図１３Ｂ及び図１３Ｃとは異なる例を示す図である。図１３Ｅは、図１２の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図１３Ａ、図１３Ｂ、図１３Ｃ及び図１３Ｄとは異なる例を示す図である。図１４は、図１２の差分抽出領域フィルタ処理部を具備した構成におけるノイズ低減処理の処理手順を示すフローチャートである。

なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態におけるノイズ低減部の構成は、第１の実施形態におけるノイズ低減部１０２と類似の構成を有している。そのため、本実施形態においては、第１の実施形態におけるノイズ低減部１０２と異なる部分について主に説明を行うものとする。具体的には、本実施形態においては、フィルタ係数選択部２０６及び差分抽出領域フィルタ処理部２０７の処理内容が第１の実施形態と異なるため、これについて主に説明を行うものとする。

差分抽出領域フィルタ処理部２０７は、図１２に示すように、第１フィルタ処理部１２０１と、第２フィルタ処理部１２０２と、第３フィルタ処理部１２０３と、Ｄレンジ（ダイナミックレンジ）算出比較部１２０４と、類似度選択部１２０５と、を有して構成されている。

また、図１２に示す差分抽出領域フィルタ処理部２０７によれば、差分値算出部２０２から出力される差分値Ｄ（ｘ，ｙ）が、第１フィルタ処理部１２０１、第２フィルタ処理部１２０２及び第３フィルタ処理部１２０３に夫々入力される。

一方、フィルタ係数選択部２０６は、例えば図１３Ａ乃至図１３Ｅに示すような、フィルタ係数テーブル２０５に格納されている５種類のフィルタ係数群の中から所定のフィルタを選択する。そして、フィルタ係数選択部２０６は、選択した前記所定のフィルタを、第１フィルタ処理部１２０１、第２フィルタ処理部１２０２及び第３フィルタ処理部１２０３に夫々出力する。

第１フィルタ処理部１２０１、第２フィルタ処理部１２０２及び第３フィルタ処理部１２０３においては、並列的にフィルタ処理がなされる。ここで、差分値Ｄ（ｘ，ｙ）は、図７Ａに示した７×７画素領域の差分値（Ｄ₀₀乃至Ｄ₆₆）を意味するものとする。

フィルタ係数選択部２０６がフィルタ係数テーブル２０５に格納されている５個のフィルタ係数群から所定のフィルタを選択する際には、具体的には、以下のような処理が行われる。

まず、フィルタ係数選択部２０６は、第１の実施形態において既述の判定方法により、エッジ強度が強い構造領域であるか、微細構造であるか、または、平坦部領域であるかの判定を行う。

そして、フィルタ係数選択部２０６は、エッジ強度が強い構造領域であると判定した場合には、図１３Ａのフィルタ係数を選択し、第１フィルタ処理部１２０１、第２フィルタ処理部１２０２及び第３フィルタ処理部１２０３へ夫々出力する。従って、この場合においては、３つのフィルタ処理部１２０１、１２０２及び１２０３は、同じ処理結果を出力する。そのため、無駄な処理を省く目的において、例えば第２フィルタ処理部１２０２及び第３フィルタ処理部１２０３の処理を停止することにより、この場合の出力をゼロとしても良い。

一方、フィルタ係数選択部２０６は、微細構造または平坦部領域である判定した場合には、図１３Ｂのフィルタ係数を選択して第１フィルタ処理部１２０１へ出力し、図１３Ｄのフィルタ係数を選択して第２フィルタ処理部１２０２へ出力し、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄ及び図１３Ｅの５種類全てのフィルタ係数を第３フィルタ処理部１２０３へ出力する。

この場合、第１フィルタ処理部１２０１は、水平方向に平滑化処理を行うことになり、処理結果としてＤｈ’（ｘ，ｙ）を出力する。また、第２フィルタ処理部１２０２は、垂直方向に平滑化処理を行うことになり、処理結果としてＤｖ’（ｘ，ｙ）を出力する。さらに、第３フィルタ処理部１２０３は、中心位置に対して放射状の方向に対して平滑化処理を行うことになり、処理結果としてＤｒ’（ｘ，ｙ）を出力する。

第１フィルタ処理部１２０１及び第２フィルタ処理部１２０２については、フィルタ処理位置に依存せず１種類のフィルタ係数をかけることになるため、詳細を示さずとも処理内容が明確である。一方、第３フィルタ処理部１２０３については、フィルタ処理位置によりフィルタ係数の種類を変更する必要があるため、処理内容の詳細を以下に示す。

まず、図１３ＡのフィルタをＦ０（ｎ，ｍ）と定義し、図１３ＢのフィルタをＦ１（ｎ，ｍ）と定義し、図１３ＣのフィルタをＦ２（ｎ，ｍ）と定義し、図１３ＤのフィルタをＦ３（ｎ，ｍ）と定義し、図１３ＥのフィルタをＦ４（ｎ，ｍ）と定義する。このような場合、差分値Ｄ（ｘ，ｙ）＝Ｄ_xyのフィルタ処理結果としてのＤｒ’（ｘ，ｙ）＝Ｄ_xy’は、下記数式（１１）乃至数式（３５）として夫々示す通りになる。

D₁₁’＝Σ_nΣ_mF2(n,m)D_nm ／4 …（１１）
D₁₂’＝Σ_nΣ_m{F2(n,m)+F3(n,m)}D_n(m+1)／8 …（１２）
D₁₃’＝Σ_nΣ_mF3(n,m)D_n(m+2)／4 …（１３）
D₁₄’＝Σ_nΣ_m{F3(n,m)+F4(n,m)}D_n(m+3)／8 …（１４）
D₁₅’＝Σ_nΣ_mF4(n,m)D_n(m+4)／4 …（１５）
D₂₁’＝Σ_nΣ_m{F1(n,m)+F2(n,m)}D_(n+1)m／8 …（１６）
D₂₂’＝Σ_nΣ_mF2(n,m)D_(n+1)(m+1)／4 …（１７）
D₂₃’＝Σ_nΣ_mF3(n,m)D_(n+1)(m+2)／4 …（１８）
D₂₄’＝Σ_nΣ_mF4(n,m)D_(n+1)(m+3)／4 …（１９）
D₂₅’＝Σ_nΣ_m{F1(n,m)+F4(n,m)}D_(n+1)(m+4)／8 …（２０）
D₃₁’＝Σ_nΣ_mF1(n,m)D_(n+2)m／4 …（２１）
D₃₂’＝Σ_nΣ_mF1(n,m)D_(n+2)(m+1)／4 …（２２）
D₃₃’＝Σ_nΣ_mF0(n,m)D_(n+2)(m+2) …（２３）
D₃₄’＝Σ_nΣ_mF1(n,m)D_(n+2)(m+3)／4 …（２４）
D₃₅’＝Σ_nΣ_mF1(n,m)D_(n+2)(m+4)／4 …（２５）
D₄₁’＝Σ_nΣ_m{F1(n,m)+F4(n,m)}D_(n+3)m／8 …（２６）
D₄₂’＝Σ_nΣ_mF4(n,m)D_(n+3)(m+1)／4 …（２７）
D₄₃’＝Σ_nΣ_mF3(n,m)D_(n+3)(m+2)／4 …（２８）
D₄₄’＝Σ_nΣ_mF2(n,m)D_(n+3)(m+3)／4 …（２９）
D₄₅’＝Σ_nΣ_m{F1(n,m)+F2(n,m)}D_(n+3)(m+4)／8 …（３０）
D₅₁’＝Σ_nΣ_mF4(n,m)D_(n+4)m／4 …（３１）
D₅₂’＝Σ_nΣ_m{F3(n,m)+F4(n,m)}D_(n+4)(m+1)／8 …（３２）
D₅₃’＝Σ_nΣ_mF3(n,m)D_(n+4)(m+2)／4 …（３３）
D₅₄’＝Σ_nΣ_m{F2(n,m)+F3(n,m)}D_(n+4)(m+3)／8 …（３４）
D₅₅’＝Σ_nΣ_mF2(n,m)D_(n+4)(m+4)／4 …（３５）

上記数式（１１）乃至数式（３５）におけるｎ及びｍは、夫々０、１または２のいずれかの値を取るものとする。また、上記数式（１１）乃至数式（３５）におけるΣ_n及びΣ_mは、ｎ及びｍが取り得る値の範囲における総和を示すものとする。

第１フィルタ処理部１２０１における処理結果としてのＤｈ’（ｘ，ｙ）、第２フィルタ処理部１２０２における処理結果としてのＤｖ’（ｘ，ｙ）、及び、第３フィルタ処理部１２０３における処理結果としてのＤｒ’（ｘ，ｙ）は、図７Ａの７×７画素領域に対してｘ＝ｙ＝３を中心とする５×５画素の領域が抽出された状態として、Ｄレンジ算出比較部１２０４及び類似度選択部１２０５へ出力される。

Ｄレンジ算出比較部１２０４は、３種類の５×５画素のＤｈ’（ｘ，ｙ）、Ｄｖ’（ｘ，ｙ）及びＤｒ’（ｘ，ｙ）に対応する、最大値ＭａｘＨ、ＭａｘＶ及びＭａｘＲと、最小値ＭｉｎＨ、ＭｉｎＶ及びＭｉｎＲとを夫々求める。そして、Ｄレンジ算出比較部１２０４は、３種類の５×５画素のＤｈ’（ｘ，ｙ）、Ｄｖ’（ｘ，ｙ）及びＤｒ’（ｘ，ｙ）に対応する
ダイナミックレンジを、ＤＲｈ＝ＭａｘＨ−ＭｉｎＨ、ＤＲｖ＝ＭａｘＶ−ＭｉｎＶ、及び、ＤＲｒ＝ＭａｘＲ−ＭｉｎＲの演算を行うことにより夫々算出する。さらに、Ｄレンジ算出比較部１２０４は、ＤＲｈ、ＤＲｖ及びＤＲｒの３つのダイナミックレンジを比較することにより、ダイナミックレンジが最大となるフィルタ処理部（第１、第２または第３のいずれか）のフィルタ情報を類似度選択部１２０５へ出力する。

類似度選択部１２０５は、Ｄレンジ算出比較部１２０４からのフィルタ情報に基づき、Ｄｈ’（ｘ，ｙ）、Ｄｖ’（ｘ，ｙ）及びＤｒ’（ｘ，ｙ）のうち、対応する一種類の５×５画素のフィルタ処理済み差分値を選択し、選択結果をフィルタ係数算出部２０９へ出力する。

前述の処理においては、３種類の方向依存のフィルタ処理を並列に行う構成としたが、その数をさらに増やすことにより、さらに多くのパターンの２次元微細構造にマッチした構成とすることも可能である。具体的には、例えば、Ｆ２（ｎ，ｍ）のみを処理する第４フィルタ処理、及び、Ｆ４（ｎ，ｍ）のみを処理する第５フィルタ処理を前述の３種類のフィルタ処理に加えることにより、合わせて５種類の方向依存のフィルタ処理を並列に行う構成としても良い。

第１の実施形態においては、差分値Ｄ（ｘ，ｙ）に作用させるフィルタを等方的なローパスフィルタまたはバンドパスフィルタとしていた一方、本実施形態においては、例えば図１３Ａ乃至図１３Ｅに示すような、方向性を持った５種類の平滑化フィルタを用いた処理により複数方向の平滑化処理結果を取得した後、最もコントラストが得られる方向（微細構造のエッジ方向）の平滑化処理結果を、該複数方向の平滑化処理結果の中から１つ選択している。これにより、対象画素の微細構造が極力保存されつつ高周波ノイズが低減された状態のＤ’（ｘ，ｙ）を得ることができるため、結果的に、微細なエッジ構造にマッチしたバイラテラルフィルタのフィルタ係数を得ることができる。

ここで、前述のノイズ低減処理の処理手順について、図１４のフローチャートを参照しつつ説明を行う。

まず、メモリに格納されている単色画像から処理対象画素Ｐ（ｘ０，ｙ０）と、該処理対象画素の所定周辺領域（例えば７×７画素）の画素Ｐ（ｘ，ｙ）とからなる画素領域を抽出する。（ステップ１４０１）
次に、抽出された７×７画素領域の中心に位置する処理対象画素Ｐ（ｘ０，ｙ０）と、該処理対象画素の周辺画素Ｐ（ｘ，ｙ）との間において差分値Ｄ（ｘ，ｙ）を算出する。（ステップ１４０２）
続いて、差分値Ｄ（ｘ，ｙ）の７×７画素の抽出領域に対して標準偏差σ_Dを算出する。（ステップ１４０３）
その後、処理対象の画素Ｐ（ｘ，ｙ）に含まれるノイズ量を推定し、抽出領域の差分値Ｄ（ｘ，ｙ）が微細構造領域であるか否かを判定するために用いられる閾値Ｔｈを、推定した該ノイズ量に基づいて決定する。（ステップ１４０４）
ここで、前述のノイズ量は、予め撮像部１００において発生するノイズ量を測定して得られた輝度レベルに対応するノイズ量（標準偏差）をノイズモデルとして保持した関数（または折れ線テーブル）と、撮影パラメータ（ゲイン量、露出時間及び温度等）とから求めることができる。

続いて、算出した抽出領域の標準偏差σ_Dと、微細構造領域判定閾値Ｔｈとの比較を行う。（ステップ１４０５）
そして、ステップ１４０５の処理において、閾値Ｔｈが標準偏差σ_D以上であると判定された場合には、ステップ１４０２の処理により得られた差分値Ｄ（ｘ，ｙ）の抽出領域に対し、高周波成分まで周波数帯域を残す第１のフィルタを選択してフィルタ処理を行うことによりＤ’（ｘ，ｙ）を算出する。（ステップ１４０６）
一方、ステップ１４０５の処理において、閾値Ｔｈが標準偏差σ_D未満であると判定された場合には、ステップ１４０２の処理により得られた差分値Ｄ（ｘ，ｙ）の抽出領域に対し、Ｍ種類のフィルタを選択して夫々フィルタ処理を行うことにより、Ｍ種類のＤ’（ｘ，ｙ）を算出（ステップ１４０７）する。そして、前記Ｍ種類の差分値Ｄ’（ｘ，ｙ）に対応するＭ個のＤレンジを夫々算出（ステップ１４０８）した後、Ｄレンジが最大となるフィルタ処理後の差分値Ｄ’（ｘ，ｙ）を選択（ステップ１４０９）する。

その後、ステップ１４０９において選択された差分値Ｄ’（ｘ，ｙ）に基づき、ノイズ低減処理を行う処理対象画素Ｐ（ｘ０，ｙ０）と、該処理対象画素の所定周辺領域（５×５画素）とに対するフィルタ係数を算出する。（ステップ１４１０）
そして、ステップ１４１０において算出されたフィルタ係数に基づいて処理対象位置の画素Ｐ（ｘ０，ｙ０）と、該処理対象画素の所定周辺領域（５×５画素）に対するフィルタ処理を行うことにより、画素Ｐ（ｘ０，ｙ０）に対してノイズが低減された状態の出力画素値Ｐo（ｘ０，ｙ０）を得る。（ステップ１４１１）
ステップ１４１１の処理が完了すると、全ての処理対象画素が処理終了であるか否かを判定（ステップ１４１２）し、終了していない場合には、ステップ１４０１からの一連の処理を繰り返し行う。そして、全ての画素の処理が終了した時点において、一連のノイズ低減処理を終了する。

以上に述べた本実施形態の処理により、空間的な相関を利用した平滑化フィルタを用いて行うノイズ低減において、従来潰していた微細構造を残しつつ、十分なノイズ低減効果を得ることができる。

特に、以上に述べた本実施形態の処理は、予め被写体が限定される内視鏡画像等の医療画像のような、血管等の急峻でないエッジの微細構造を具備する画像に対して効果的に作用する。すなわち、以上に述べた本実施形態の処理によれば、空間周波数のうち重要となる中間帯域に重みが与えられ、かつ、高周波ノイズの影響を抑えたパラメータD’(x,y)を用いてフィルタ係数を算出するため、血管等の微細な構造物を残しつつノイズ低減を行うことができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１００ 撮像部
１０１ 色信号分離部
１０２ ノイズ低減部
１０３ 補間処理部
１０４ 色補正処理部
１０５ 階調補正部
１０６ 圧縮記録部
１０７ システム制御部
１１０ 画像処理装置
２００ メモリ
２０１ 領域抽出部
２０２ 差分値算出部
２０３ 統計量算出部
２０４ ノイズ量推定部
２０５ フィルタ係数テーブル
２０６ フィルタ係数選択部
２０７ 差分抽出領域フィルタ処理部
２０８ 重み係数変換用ＬＵＴ
２０９ フィルタ係数算出部
２１０ ノイズ低減処理部
２１１ 制御部
８０１ 積和演算処理部
８０２ 正規化処理部
８０３ ノイズ推定量算出部
８０４ コアリング処理部
１２０１ 第１フィルタ処理部
１２０２ 第２フィルタ処理部
１２０３ 第３フィルタ処理部
１２０４ Ｄレンジ算出比較部
１２０５ 類似度選択部

特開２００６−３０２０２３号公報 Ｕ．Ｓ． Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００７／０００９１７５

Claims (16)

1. 注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出手段と、
   前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出手段と、
   前記類似度に対してフィルタ処理を行う類似度フィルタ処理手段と、
   前記類似度フィルタ処理手段の前記フィルタ処理において用いられる第１のフィルタを決定する第１のフィルタ決定手段と、
   前記類似度フィルタ処理手段により前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第２のフィルタを決定する第２のフィルタ決定手段と、
   前記第２のフィルタ決定手段により決定された前記第２のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のフィルタ決定手段は、前記抽出領域の類似度の統計量と、前記注目画素の推定ノイズ量とに基づいて前記第１のフィルタを決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２のフィルタ決定手段は、前記第１のフィルタ決定手段において決定された前記第１のフィルタに基づき、前記抽出領域に対して用いる前記第２のフィルタの特性パラメータを決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記第２のフィルタの特性パラメータは、前記類似度に対する正規化量であることを特徴とする請求項４に記載の画像処理装置。
6. 前記第２のフィルタ決定手段は、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第２のフィルタを決定することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２のフィルタ決定手段により決定される前記第２のフィルタは、バイラテラルフィルタであることを特徴とする請求項６に記載の画像処理装置。
8. 前記第１のフィルタ決定手段は、前記フィルタ処理に用いられる前記第１のフィルタとして複数のフィルタ候補を選択し、
   前記類似度フィルタ処理手段において前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、１種類の類似度を選択する類似度選択手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
9. 注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出ステップと、
   前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出ステップと、
   前記類似度に対してフィルタ処理を行う類似度フィルタ処理ステップと、
   前記類似度フィルタ処理ステップの前記フィルタ処理において用いられる第１のフィルタを決定する第１のフィルタ決定ステップと、
   前記類似度フィルタ処理ステップにより前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第２のフィルタを決定する第２のフィルタ決定ステップと、
   前記第２のフィルタ決定ステップにより決定された前記第２のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理ステップと、
   を有することを特徴とする画像処理方法。
10. 前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値であることを特徴とする請求項９に記載の画像処理方法。
11. 前記第１のフィルタ決定ステップは、前記抽出領域の類似度の統計量と、前記注目画素の推定ノイズ量とに基づいて前記第１のフィルタを決定することを特徴とする請求項９または１０に記載の画像処理方法。
12. 前記第２のフィルタ決定ステップは、前記第１のフィルタ決定ステップにおいて決定された前記第１のフィルタに基づき、前記抽出領域に対して用いる前記第２のフィルタの特性パラメータを決定することを特徴とする請求項１１に記載の画像処理方法。
13. 前記第２のフィルタの特性パラメータは、前記類似度に対する正規化量であることを特徴とする請求項１２に記載の画像処理方法。
14. 前記第２のフィルタ決定ステップは、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第２のフィルタを決定することを特徴とする請求項９乃至１３のいずれか一項に記載の画像処理方法。
15. 前記第２のフィルタ決定ステップにより決定される前記第２のフィルタは、バイラテラルフィルタであることを特徴とする請求項１４に記載の画像処理方法。
16. 前記第１のフィルタ決定ステップは、前記フィルタ処理に用いられる前記第１のフィルタとして複数のフィルタ候補を選択し、
    前記類似度フィルタ処理ステップにおいて前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、１種類の類似度を選択する類似度選択ステップをさらに有することを特徴とする請求項１１に記載の画像処理方法。

Images