JP2010147568A - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

【課題】Ｓ／Ｎが悪い原画像信号を分離した場合に、充分なノイズ低減効果を得ることができない。
【解決手段】原画像信号を、複数の成分画像に分離し（Ｓ２０）、複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出する（Ｓ４０）。また、ノイズを含む成分画像から、任意の画像領域を抽出し（Ｓ６０）、抽出された画像領域に対応する原画像信号上の画像領域、および、注目領域に対応する原画像信号上の画像領域間の類似度を算出する（Ｓ７０）。そして、抽出された画像領域および類似度に基づいて、注目領域のノイズ低減処理を行う（Ｓ１１０）。
【選択図】図４

Description

本発明は、画像のノイズを除去する画像処理技術に関する。

従来、原画像信号Ｆを、複数の成分、例えば、骨格成分（幾何学的画像構造）である第１成分Ｕと、骨格成分以外の成分である第２成分Ｖとに分離し、第２成分Ｖに含まれる信号依存性雑音に対し、軟判定閾値処理によりノイズ低減を行う手法が特許文献１に開示されている。特許文献１の手法では、第２成分Ｖ上の画素ごとに含まれるノイズ量を推定し、推定したノイズ量に基づいて、軟判定閾値処理の閾値を制御することにより、ノイズが多く含まれると考えられる画素に対して強いノイズ低減処理を行っている。
特開２００８−１７２４３１号公報

しかしながら、特許文献１に記載の方法では、Ｓ／Ｎが悪い原画像信号を分離した場合に、ノイズが全て第２成分Ｖに分離されない場合がある。この場合、第２成分Ｖ上の画素に含まれるノイズ量の推定精度が低くなる場合があるため、充分なノイズ低減効果を得ることができない可能性があった。

本発明は、上記の課題に鑑みてなされたものであり、Ｓ／Ｎが悪い原画像信号に対しても、充分なノイズ低減効果を得ることを目的とする。

本発明のある態様に係る画像処理装置は、原画像信号を、複数の成分画像に分離する成分分離部と、前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出する注目領域抽出部と、前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出する画像領域抽出部と、前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出する類似度算出部と、前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うノイズ低減部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理方法は、原画像信号を、複数の成分画像に分離するステップと、前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出するステップと、前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出するステップと、前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出するステップと、前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、原画像信号を、複数の成分画像に分離するステップと、前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出するステップと、前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出するステップと、前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出するステップと、前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うステップと、をコンピュータに実行させるためのプログラムである。

これら態様によれば、ノイズを含む成分画像上の注目領域と他の画像領域間の類似度を、原画像信号の対応する領域に基づいて算出するので、類似度を高精度に算出することができ、高精度に算出した類似度を用いて、効果的なノイズ低減処理を行うことができる。これにより、Ｓ／Ｎが悪い原画像信号に対しても、充分なノイズ低減効果を得ることができる。

本発明によれば、Ｓ／Ｎが悪い原画像信号に対しても、充分なノイズ低減効果を得ることができる。

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置を撮像装置に適用した場合の構成図である。撮像装置は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像用電子機器であるが、これらの撮像用電子機器以外にも、正しく作動するために電流または電磁界に依存する機器である電子機器に適用可能である。

撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３（以下、単にＡ／Ｄ１０３と呼ぶ）、信号処理部１０４、分離部１０５、注目領域抽出部１０６、類似領域抽出部１０７、類似度算出部１０８、加算係数算出部１０９、加算部１１０、合成部１１１、圧縮部１１２、出力部１１３を備える。これら各部を、論理回路から構成してもよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成するようにしてもよい。

撮像素子１０２は、Ａ／Ｄ１０３を介して、信号処理部１０４へ接続されている。信号処理部１０４は、分離部１０５、注目領域抽出部１０６、類似領域抽出部１０７へ接続されている。分離部１０５は、注目領域抽出部１０６、類似領域抽出部１０７、合成部１１１へ接続されている。注目領域抽出部１０６は、類似領域抽出部１０７、類似度算出部１０８、加算部１１０へ接続されている。類似領域抽出部１０７は、類似度算出部１０８、加算部１１０へ接続されている。類似度算出部１０８は、加算係数算出部１０９へ接続されている。

加算係数算出部１０９は、加算部１１０へ接続されている。加算部１１０は、合成部１１１へ接続されている。合成部１１１は、圧縮部１１２へ接続されている。圧縮部１１２は、出力部１１３へ接続されている。各処理部は、システムコントローラ１００に接続されており、システムコントローラ１００により動作を制御される。

撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。アナログ画像信号は、Ａ／Ｄ１０３へ転送される。Ａ／Ｄ１０３は、アナログ画像信号をデジタル信号に変換し、信号処理部１０４へ転送する。

信号処理部１０４は、デジタル信号に対し、所定の信号処理、例えばγ補正処理等を施し、モノクロ原画像信号（以下、原画像信号Ｆと呼ぶ）を生成する。原画像信号Ｆは、分離部１０５、注目領域抽出部１０６、類似領域抽出部１０７へ転送される。

分離部１０５は、原画像信号Ｆを、第１成分Ｕおよび第２成分Ｖに分離する。ここで、第１成分Ｕは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）である。第２成分Ｖは、骨格成分以外の成分であり、原画像信号に対する第１成分Ｕの残差成分を表している。

図２（ａ）は、原画像信号Ｆのラインプロファイルの一例と、原画像の一例を示す図である。図２（ｂ）は、図２（ａ）に示す原画像の骨格成分のラインプロファイルの一例と、その画像の一例を示す図である。図２（ｃ）は、図２（ａ）に示す原画像の骨格成分以外の成分のラインプロファイルの一例と、その成分画像の一例を示す図である。

図２（ｂ）に示すように、骨格成分としての第１成分Ｕは、原画像信号の大局的な構造を表す成分である。大局的な構造は、原画像信号が有する特徴の概要を表す概要成分であり、エッジ成分と、エッジによって区分された輝度変化の滑らかな領域の平坦成分（緩やかに変化する成分）から構成される。

図２（ｃ）に示すように、骨格成分以外の成分（第２成分Ｖ）は、原画像信号の局所的な構造を表す成分である。局所的な構造は、原画像信号が有する特徴の詳細を表す概要成分であり、上記大局的な構造に対して、相対的に微細な詳細構造成分（テクスチャのような細かい構造成分）と、ノイズとから構成される。

再度、念のため、本実施形態に係る第１成分と第２成分を分かりやすく言い換えれば、第１成分Ｕは、エッジ成分およびエッジ以外の部分から抽出した平坦成分（緩やかに変化する成分）を含む原画像信号の骨格成分（幾何学的画像構造）であり、“原画像信号に含まれる急峻なエッジ、及びエッジによって区分された輝度変化の滑らかな平坦領域”を含み、“原画像信号の大局的な構造を示す成分”、または、“原画像信号よりテクスチャの様な細かな構造成分（以下、テクスチャ成分）を除いた成分”として定義される。第２成分Ｖは、テクスチャ成分とノイズを含む、原画像信号に対する第１成分Ｕの残差成分として定義される。

画像分解の手法には、加算型分離と乗算型分離がある。本実施形態においては、加算型分離に関して説明を行い、乗算型分離に関する詳細な説明は省略する。

加算型分離では、次式（１）で示すように、原画像信号Ｆが第１成分Ｕと第２成分Ｖの和として表される。

原画像信号Ｆの分解では、有界変動関数とノルムを用いた分解方法が使用される。分解を行うために、既知のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。最適解として求められる第１成分Ｕの性質は、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化される。第１成分Ｕのエネルギーは全変動エネルギーとして、次式（２）のＴＶ(Total Variation)ノルムＪ（Ｕ）で定義される。

ただし、式（２）において、ｘは第１成分Ｕの横方向の画素位置であり、ｙは縦方向の画素位置である。

一方、式（１）中の第２成分Ｖの関数空間は、振動関数空間Ｇとモデル化される。振動関数空間Ｇは、振動母関数ｇ１、ｇ２によって式（３）のように表現された関数の空間であり、そのエネルギーは式（４）のＧノルム‖Ｖ‖_Gとして定義される。

原画像信号Ｆの分解問題は、エネルギー汎関数を最小化する式（５）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。

原画像信号Ｆから分解される第２成分Ｖはノイズの影響を受ける。しかし、第１成分Ｕはノイズの影響をほとんど受けないため、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。

なお、乗算型分離では、原画像信号Ｆが第１成分Ｕと第２成分Ｖの積によって式（６）のように表されるが、原画像信号Ｆを対数変換した対数原画像信号をｆとすると、式（７）のように加算型分離問題に変換することができる。

従って、乗算型分離の場合、原画像信号Ｆの画素毎に対数変換した信号値に対し、加算型分離と同様の処理を施して成分分離した後、分離成分毎に逆対数変換を行うことにより、式（６）に示す乗算型の分離処理が実現できる。

分離部１０５で分離された第１成分Ｕは合成部１１１へ、第２成分Ｖは、注目領域抽出部１０６、類似領域抽出部１０７へ転送される。

第２成分Ｖに対するノイズ低減処理は、注目領域抽出部１０６、類似領域抽出部１０７、類似度算出部１０８、加算係数算出部１０９、加算部１１０により構成される。これらのユニットにより構成されるノイズ低減処理は、第２成分Ｖ上に含まれる全画素に対して同様に適用されるが、ここでは例として、第２成分Ｖに対する注目画素Ｐａ（ｉ，ｊ）（ｉ，ｊは、注目画素のＸ，Ｙ座標値）に対する処理を、図３を参照しながら、具体的に説明する。図３（ａ）、図３（ｂ）はそれぞれ、第２成分Ｖおよび原画像信号Ｆにおける各領域を示している。

注目領域抽出部１０６は、まず第２成分Ｖに対して、ノイズ低減対象である注目画素Ｐａ（ｉ，ｊ）を選択すると同時に、注目画素を中心とする所定範囲の注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する（図３（ａ）参照）。所定範囲として、例えば縦横３×３画素の領域（ｔ₁＝−１〜１，ｔ₂＝−１〜１）が予め設定される。

次に、信号処理部１０４から取得した原画像信号Ｆから、注目領域と対応する領域、すなわちＶａ（ｉ＋ｔ₁，ｊ＋ｔ₂）に属する画素群の座標値と、原画像信号Ｆにおける同じ座標上に位置する画素群により構成される領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する（図３（ｂ）参照）。

注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）は加算部１１０へ、注目領域に対応する原画像上の領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）は類似度算出部１０８へ転送される。また注目画素Ｐａ（ｉ，ｊ）の座標値が類似領域抽出部１０７へ転送される。

類似領域抽出部１０７は、まず注目領域抽出部１０６より転送された注目画素Ｐａ（ｉ，ｊ）の座標値に基づき、分離部１０５から転送された第２成分Ｖに対して、画素Ｐｃ（ｌ，ｍ）を中心とし、注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と同サイズ（縦横３×３画素）の領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）を抽出する。画素Ｐｃ（ｌ，ｍ）は、注目画素Ｐａ（ｉ，ｊ）の周辺の所定の範囲内から抽出される（図３（ａ）参照）。領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）は、注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）内の注目画素Ｐａ（ｉ，ｊ）のノイズ低減処理を行うために用いる画像領域である。

次に、信号処理部１０４から取得した原画像信号Ｆから、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）と対応する領域、すなわち領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）に属する画素群の座標値と、原画像信号Ｆにおける同じ座標上に位置する画素群により構成される領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）を抽出する（図３（ｂ）参照）。

画素Ｐｃ（ｌ，ｍ）、および領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）は加算部１１０へ、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）に対応する原画像信号Ｆ上の領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）は、類似度算出部１０８へ転送される。

ここで、本実施形態においては、画素Ｐｃ（ｌ，ｍ）は、注目画素Ｐａ（ｉ，ｊ）を中心とした縦横７×７画素の範囲内から抽出する。この場合、注目画素Ｐａ（ｉ，ｊ）と重なる点を除き、最大Ｎ＝４８通りの異なる画素Ｐｃ（ｌ，ｍ） 、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）が抽出可能である。

以降４８通りの画素Ｐｃ（ｌ，ｍ）_(n) 、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)に対して、４８通りの類似度、及び加算係数の算出を行う。ここで、ｎは４８通りの画素Ｐｃ（ｌ，ｍ）、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）に対する通し番号を表し、ｎ＝０〜Ｎ−１である。

類似度算出部１０８は、注目領域抽出部１０６から取得した領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と、類似領域抽出部１０７から取得した領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)間の類似度を評価する。類似度を表す評価指標としては、例えば信号値の差分の総和（ＳＡＤ：Sum of absolute Difference）、信号値の差分の２乗和（ＳＳＤ：Sum of Squared Difference）、正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）等を用いることができる。ここでは、信号値の差分の２乗和ＳＳＤを次式（８）により算出する。

なお、ＳＳＤ_(n)を算出する際、注目画素の座標値と画素（ｉ，ｊ）との距離ｔ₁，ｔ₂に応じて、例えばガウス分布に従う重みを掛けることで重み付けを行っても良い。その場合、注目画素と距離が近い画素ほど、差分値の類似度算出への寄与が大きくなり、逆に距離が遠いほど、差分値の類似度算出への寄与が小さくなる。

類似度算出部１０８で算出された類似度は、加算係数算出部１０９に転送される。

加算係数算出部１０９は、類似度算出部１０８から転送されたＳＳＤ_(n)に基づき、次式（９）から、加算係数Ｗを算出する。

ここで、σは所定の定数である。式（９）により、ＳＳＤ_(n)が小さく、類似度が高いほど、加算係数Ｗ_(n)が大きくなる。

加算係数算出部１０９で算出された加算係数Ｗ_(n)は、加算部１１０へ転送される。

以上の類似度算出処理、加算係数算出処理が４８通りの画素Ｐｃ（ｌ，ｍ）_(n)、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)の全てに対して行われた後、次の重み付け加算処理に移行する。

加算部１１０は、注目領域抽出部１０６から転送された注目画素Ｐａ（ｉ，ｊ）の信号値、及び、類似領域抽出部１０７から転送された画素Ｐｃ（ｌ，ｍ）_(n)の信号値、および、加算係数算出部１０９から転送された加算係数Ｗ_(n)に基づき、式（１０）による重み付け加算処理を行うことで、ノイズ低減処理を行う。

式（１０）において、Ｐａ（ｉ，ｊ）’は、ノイズ低減後のＰａ（ｉ，ｊ）を表している。

すなわち、処理対象の注目画素Ｐａ（ｉ，ｊ）に対して、類似度に応じて周辺画素の信号値（画素値）を重み付け加算することにより、注目画素Ｐａ（ｉ，ｊ）のノイズを低減している。このとき、第２成分Ｖ上で類似度を判定するのではなく、原画像信号Ｆ上で類似度を判定するので、類似度を高精度に判定することができ、ノイズを効果的に低減することができる。

以上により、注目画素Ｐａ（ｉ，ｊ）に対するノイズ低減が行われる。上記処理を第２成分Ｖに含まれる全ての画素に対して行うことで、ノイズ低減処理を終了する。ノイズ低減後の第２成分Ｖは、合成部１１１へ転送される。

合成部１１１は、分離部１０５から転送された第１成分Ｕと、加算部１１０から転送されたノイズ低減後の第２成分Ｖとを所定の比率で合成し、合成成分Ｆ’を得る。所定の比率は通常１：１の比率であるが、例えば、Ｖの比率を多くすることにより、細部コントラストの強調などが可能となる。合成成分Ｆ’は圧縮部１１２へ転送され、ＪＰＥＧ形式等に圧縮された後、出力部１１３へ転送される。出力部１１３は、合成成分Ｆ’を、フラッシュメモリ等で構成される出力部等に記録する。

なお、上述した説明では、式（１０）に基づき、注目画素Ｐａ（ｉ，ｊ）、および周辺の各画素Ｐｃ（ｌ，ｍ）_(n)の重み付け加算を行うものとした。しかし、注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)とに基づいて、領域全体に対して重み付け加算処理を行っても良い。この場合、それぞれの領域に含まれ、領域内の相対的位置が同じ画素（ｔ₁，ｔ₂が同じ画素）間において、重み付け加算処理を行う。

なお、本実施形態において、骨格成分に相当する第１成分Ｕと、ノイズを含むテクスチャ成分に相当する第２成分Ｖに分離しているが、これに限定されるものではなく、他の成分に分離するようにしてもよい。例えば、骨格成分に相当する第１成分Ｕと、原画像信号Ｆおよび第１成分Ｕに基づいて算出される第２成分とを含む複数の成分画像に分解してもよい。また、直交変換等による周波数分解を行い、ノイズを含む帯域（周波数成分）をノイズ低減対象とする構成としてもよい。

上述した説明では、ハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えばＩＳＯ感度などの撮像条件など）をＲａｗデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。

なお、記録媒体（コンピュータ読み取り可能な記録媒体）には、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が含まれる。また、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。すなわち、画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行する。

図４は、画像処理プログラムによる処理のメインルーチンを示すフローチャートである。ステップＳ１０では、Ｒａｗ画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Ｒａｗ画像に対して所定の処理を施すことにより、モノクロの原画像信号Ｆを生成する。

ステップＳ２０では、原画像信号Ｆに対して成分分離処理を行い、第１成分Ｕと第２成分Ｖに分離する。

ステップＳ３０では、第２成分Ｖにおいて、処理対象である注目画素Ｐａ（ｉ，ｊ）を設定する。

ステップＳ４０では、第２成分Ｖ上に位置する注目画素Ｐａ（ｉ，ｊ）を中心とした注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）、および注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と同座標上に位置する原画像Ｆ上の領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する。

ステップＳ５０では、注目画素Ｐａ（ｉ，ｊ）の周辺に位置する画素Ｐｃの通し番号ｎの初期値として、ｎ＝０を設定する。

ステップＳ６０では、注目画素Ｐａ（ｉ，ｊ）の周辺に位置する画素Ｐｃ（ｌ，ｍ）_(n)、第２成分Ｖ上に位置し、画素Ｐｃ（ｌ，ｍ）_(n)を中心とした領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)と同座標上に位置する原画像信号Ｆ上の領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)を抽出する。

ステップＳ７０では、原画像信号Ｆ上の領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)間の類似度を求めるため、式（８）より、ＳＳＤ_(n)を算出する。

ステップＳ８０では、ステップＳ７０で求めたＳＳＤ_(n)を用いて、式（９）より、加算係数Ｗ_(n)を算出する。

ステップＳ９０では、ｎを１増分する。

ステップＳ１００では、ｎが予め設定された最大値Ｎに達したか否かを判定する。上述したように、画素Ｐｃ（ｌ，ｍ）を、注目画素Ｐａ（ｉ，ｊ）を中心とした縦横７×７画素の範囲内から抽出する場合には、Ｎ＝４８となる。ｎ＜Ｎの場合には、ステップＳ６０に戻り、ｎがＮと等しくなった場合には、ステップＳ１１０に進む。

ステップＳ１１０では、注目画素Ｐａ（ｉ，ｊ）の信号値、画素Ｐｃ（ｌ，ｍ）_(n)の信号値、加算係数Ｗ_(n)に基づいて、式（１０）より、重み付け加算処理を行うことにより、ノイズ低減後の信号値を求める。

ステップＳ１２０では、第２成分Ｖ上の全画素に対して、ノイズ低減処理が施されたか否かを判定する。未処理の画素が存在する場合には、ステップＳ１３０に進み、未処理の画素を、処理対象画素である注目画素に設定して、ステップＳ４０に戻る。一方、第２成分Ｖ上の全画素に対して、ノイズ低減処理が施された場合には、ステップＳ１４０に進む。

ステップＳ１４０では、第１成分Ｕと、ノイズ低減処理が行われた第２成分Ｖを合成して、ノイズ低減処理が行われた合成成分を得る。

第１の実施形態における画像処理装置によれば、まず、原画像信号を、複数の成分画像に分離し、分離した複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出する。また、ノイズを含む成分画像から、任意の画像領域を抽出し、抽出した画像領域に対応する原画像信号上の画像領域、および、注目領域に対応する原画像信号上の画像領域間の類似度を算出する。そして、抽出した画像領域および類似度に基づいて、注目領域のノイズ低減処理を行う。ノイズを含む成分画像上の注目領域および各画像領域間の類似度を、原画像信号上の対応する領域に基づいて算出するので、ノイズの影響を受けることなく、高精度に類似度を算出することができる。これにより、効果的なノイズ低減処理を行うことができる。

特に、第１の実施形態における画像処理装置によれば、ノイズを含む成分画像上の画像領域ごとに、類似度に基づいて、注目領域に対する加算係数を算出し、算出した加算係数に基づいて、ノイズを含む成分画像上の画像領域内の画素値と注目領域内の画素値を重み付け加算することにより、注目領域のノイズ低減を行う。これにより、注目領域と各画像領域間で類似する微細構造を保持することができ、ノイズのみ平滑化することができる。

また、第１の実施形態における画像処理装置によれば、原画像信号を、大局的構造を表すエッジ成分および平坦成分を含む骨格成分である第１成分と、原画像信号に対する第１成分の残差成分であって、テクスチャおよびノイズを含む局所的な微細構造を表す第２成分とに分離する。これにより、各成分に対して、それぞれの特徴に沿った最適な処理を行うことが可能となる。例えば、第１成分に対して階調変換を行い合成することで、ノイズの増幅のない階調変換を実現することができる。また、第２成分に対してノイズ低減処理を行うことで、第１成分に含まれる骨格成分に影響を与えないノイズ低減が可能となる。さらに、第２成分に対して、所定のゲインを乗算して、第１成分と合成することにより、テクスチャ等の微細構造のみ先鋭化することができる。

＜第２の実施形態＞
図５は、第２の実施形態に係る画像処理装置を撮像装置に適用した場合の構成図である。図１に示す第１の実施形態と同様の構成部分には、同じ符号を付し、詳しい説明は省略する。以下では、第１の実施形態と異なる構成について、主に説明する。なお、第１の実施形態と同様に、本発明はデジタルカメラやデジタルビデオカメラ等（撮像用電子機器）に適用されるものとして説明するが、これに限定されることなく、撮像用電子機器以外の電子機器等にも適用可能である。

第２の実施形態における撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子４０１、Ａ／Ｄ変換部１０３、補間部４０２、輝度信号算出部４０３、分離部１０５、注目領域抽出部１０６、類似領域抽出部１０７、類似度算出部１０８、加算係数算出部４０５、加算部１１０、ノイズ推定部４０４、合成部１１１、信号処理部４０６、圧縮部１１２、出力部１１３を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。

撮像素子４０１は、Ａ／Ｄ１０３を介して、補間部４０２へ接続されている。補間部４０２は、分離部１０５、輝度信号算出部４０３へ接続されている。分離部１０５は、注目領域抽出部１０６、類似領域抽出部１０７、ノイズ推定部４０４、合成部１１１へ接続されている。

輝度信号算出部４０３は、注目領域抽出部１０６、類似領域抽出部１０７へ接続されている。注目領域抽出部１０６は、類似領域抽出部１０７、類似度算出部１０８、加算部１１０、ノイズ推定部４０４へ接続されている。類似領域抽出部１０７は、類似度算出部１０８、加算部１１０へ接続されている。類似度算出部１０８およびノイズ推定部４０４は、加算係数算出部４０５へ接続されている。

加算係数算出部４０５は、加算部１１０へ接続されている。加算部１１０は、合成部１１１へ接続されている。合成部１１１は、信号処理部４０６へ接続されている。信号処理部４０６は、圧縮部１１２へ接続されている。圧縮部１１２は、出力部１１３へ接続されている。各処理部は、システムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。

撮像素子４０１は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子４０１面上に結像した光学像をアナログ画像信号として出力する。本実施形態において、撮像素子４０１は、色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子４０１は、単板方式、多板方式のいずれでもよい。

補間部４０２は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Ｆと呼ぶ）を生成する。本実施形態において、原画像信号Ｆは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色信号により構成されている。以後、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色信号をそれぞれＦｒ、Ｆｇ、Ｆｂと呼ぶこととする。原画像信号Ｆｒ、Ｆｇ、Ｆｂは、分離部１０５および輝度信号算出部４０３へ転送される。

輝度信号算出部４０３は、原画像信号Ｆｒ、Ｆｇ、Ｆｂに基づき、式（１１）により輝度信号Ｙを算出する。なお、式（１１）において、ＣｂおよびＣｒは、色差信号である。

輝度信号算出部４０３で算出された輝度信号Ｙは、注目領域抽出部１０６および類似領域抽出部１０７へ転送される。

分離部１０５は、第１の実施形態と同様の方法により、原画像信号Ｆｒ、Ｆｇ、Ｆｂ のそれぞれに対して独立に、第１成分および第２成分に分離する成分分離を行う。ここでは、各色信号別に生成された第１成分をそれぞれＵｒ、Ｕｇ、Ｕｂ、第２成分をそれぞれＶｒ、Ｖｇ、Ｖｂと呼ぶ。生成された第１成分Ｕｒ、Ｕｇ、Ｕｂは、ノイズ推定部４０４および合成部１１１へ転送され、第２成分Ｖｒ、Ｖｇ、Ｖｂは、注目領域抽出部１０６および類似領域抽出部１０７へ転送される。

なお、以下の説明では、各色信号別に生成された第１成分Ｕｒ、Ｕｇ、Ｕｂを総称して、第１成分Ｕと呼び、第２成分Ｖｒ、Ｖｇ、Ｖｂを総称して、第２成分Ｖとも呼ぶ。

第２成分Ｖｒ、Ｖｇ、Ｖｂに対するノイズ低減処理は、注目領域抽出部１０６、類似領域抽出部１０７、類似度算出部１０８、ノイズ推定部４０４、加算係数算出部４０５、および、加算部１１０により構成される。これらのユニットにより構成されるノイズ低減処理は、第２成分Ｖｒ、Ｖｇ、Ｖｂに対して、基本的に独立に適用される。

ただし、第１の実施形態においては、類似度の算出を原画像信号Ｆに基づき行ったことに対し、本実施形態においては、輝度信号Yに基づき行う点が異なる。ここでは例として第２成分Ｖｇに対する注目画素Ｐａ（ｉ，ｊ）（ｉ，ｊは、注目画素のｘ、ｙ座標値）に対する処理を具体的に説明する。

注目領域抽出部１０６は、第１の実施形態と同様の処理により、まず第２成分Ｖｇに対してノイズ低減対象である注目画素Ｐａ（ｉ，ｊ）を選択すると同時に、注目画素を中心とする所定範囲の注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する。

次に、第１の実施形態とは異なり、輝度信号算出部４０３より輝度信号Ｙを取得し、輝度信号Ｙから、注目領域と対応する領域、すなわち注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）に属する画素群の座標値と、輝度信号Ｙにおける同じ座標上に位置する画素群により構成される領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する。

注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）は加算部１１０へ転送され、注目領域に対応する輝度信号Ｙ上の領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）は類似度算出部１０８へ転送される。また、注目画素Ｐａ（ｉ，ｊ）の座標値が類似領域抽出部１０７、ノイズ推定部４０４へ転送される。

類似領域抽出部１０７は、第１の実施形態と同様の処理により、まず分離部１０５から転送された第２成分Ｖｇに対して、画素Ｐｃ（ｌ，ｍ）を中心とし、注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と同サイズの領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）を抽出する。

次に、第１の実施形態とは異なり、輝度信号算出部４０３より輝度信号Ｙを取得し、輝度信号Ｙから、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）と対応する領域、すなわち領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）に属する画素群の座標値と、輝度信号Ｙにおける同じ座標上に位置する画素群により構成される領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）を抽出する。

画素Ｐｃ（ｌ，ｍ）、および領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）は加算部１１０へ転送され、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）に対応する輝度信号Ｙ上の領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）は、類似度算出部１０８へ転送される。

ここで、第１の実施形態と同様に、７×７の範囲内で注目画素と重ならないＮ＝４８通りの画素Ｐｃ（ｌ，ｍ）_(n)、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)（ｎ＝０〜Ｎ−１）が抽出されるものとし、これらに対し４８通りの類似度、及び加算係数の算出を行う。

類似度算出部１０８は、注目領域抽出部１０６から取得した注目領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と、類似領域抽出部１０７から取得した領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)間の類似度を第１の実施形態と同様に式（８）により算出する。算出した類似度は、加算係数算出部４０５に転送される。

次に、ノイズ推定部４０４において、注目画素Ｐａ（ｉ，ｊ）に対して付加されているノイズ量の推定を行う。ノイズ推定部４０４は、まず、注目領域抽出部１０６より、注目画素Ｐａ（ｉ，ｊ）の座標値を取得する。ノイズ推定部４０４には、図６に示すような、信号レベルとノイズ量との関係を定めた信号レベル−ノイズ分散モデル（以降、ノイズモデルと呼ぶ）が予め設定されている。ノイズ推定部４０４は、分離部１０５から取得した第１成分Ｕｇ上の、注目画素Ｐａ（ｉ，ｊ）と同座標上に位置する画素値の信号レベルに基づいて、ノイズモデルを参照することにより、注目画素Ｐａ（ｉ，ｊ）に対するノイズ量σ_SDを推定する。ノイズモデル、および、ノイズ推定部４０４におけるノイズ量の推定方法の詳細は後述する。

推定したノイズ量σ_SDは、加算係数算出部４０５へ転送される。加算係数算出部４０５は、類似度算出部１０８から転送されたＳＳＤ_(n)、および、ノイズ推定部４０４から転送されたノイズ量σ_SDに基づき、式（１２）に従い、加算係数Ｗ_(n)を算出する。ただし、式（１２）において、Ｃは、所定の定数である。

式（１２）により算出される加算係数Ｗ_(n)は、ＳＳＤ_(n)が小さく、類似度が高いほど、大きい値となり、また、ノイズ量σ_SDが多いほど、大きい値となる。

加算係数算出部４０５で算出された加算係数Ｗ_(n)は、加算部１１０へ転送される。

上述した類似度算出処理、加算係数算出処理は、４８通りの画素Ｐｃ（ｌ，ｍ）_(n)、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)の全てに対して行われた後、次の重み付け加算処理に移行する。

加算部１１０は、第１の実施形態と同様に、注目領域抽出部１０６から転送された注目画素Ｐａ（ｉ，ｊ）の信号値、および類似領域抽出部１０７から転送された画素Ｐｃ（ｌ，ｍ）_(n)の信号値、および加算係数算出部４０５から転送された加算係数Ｗ_(n)に基づいて、式（１０）による重み付け加算処理を行うことで、ノイズ低減処理を行う。上述したように、ノイズ量σ_SDが多いほど、加算係数Ｗ_(n)は大きい値となるので、ノイズ量が多い画素ほど、平滑化の度合いが強くなる。

以上により、第２成分Ｖｇ上の注目画素Ｐａ（ｉ，ｊ）に対するノイズ低減が行われる。上記処理を色信号毎の第２成分Ｖｒ、Ｖｇ、Ｖｂに含まれる全ての画素に対して行うことでノイズ低減処理を終了する。ノイズ低減後の第２成分Ｖｒ’、Ｖｇ’、Ｖｂ’は、合成部１１１へ転送される。

なお、各色信号それぞれ共通に、輝度信号に基づいて類似度ＳＳＤを算出するため、各色信号の類似度ＳＳＤに差は出ず、同じ値が算出される。そのため、重み付け加算処理において、同座標上に位置する領域は、色信号によらず同一の重みが掛けられるため、色ずれを抑制することが可能となる。

また、本実施形態においては、色信号毎に独立に処理する例を説明するため、色信号毎に類似度ＳＳＤを算出するものとした。しかし、第２成分Ｖｒ、Ｖｇ、Ｖｂ上の同座標上に位置する各注目画素Ｐｒａ（ｉ，ｊ）、Ｐｇａ（ｉ，ｊ）、Ｐｂａ（ｉ，ｊ）に対して、共通の類似度（ＳＳＤ）を１回だけ算出する構成とすることにより、処理を高速化することが可能となる。

合成部１１１は、分離部１０５から転送された第１成分Ｕｒ、Ｕｇ、Ｕｂと、加算部１１０から転送されたノイズ低減後の第２成分Ｖｒ’、Ｖｇ’、Ｖｂ’とを所定の比率で合成し、合成成分Ｆ’を得る。所定の比率は通常１：１の比率であるが、例えば、第２成分の比率を多くすることにより、細部コントラストの強調などが可能となる。合成成分Ｆ’は、信号処理部４０６へ転送される。

合成成分Ｆ’は、信号処理部４０６において所定の信号処理、例えばγ補正処理等を施された後、圧縮部１１２へ転送される。圧縮部１１２は、所定の信号処理が施された合成成分Ｆ’をＪＰＥＧ形式等に圧縮した後、出力部１１３へ転送する。出力部１１３は、圧縮部１１２で圧縮されたデータを、フラッシュメモリ等で構成される出力部等に記録する。

次に、図６を参照して、ノイズ推定部４０４におけるノイズ量の推定方法について説明する。ノイズ量の推定において、原画像信号Ｆに対し、あらかじめ実測に基づき測定されたノイズモデルを記録しておき、ノイズモデルを参照することで、原画像信号Ｆの信号値に対するノイズ量σ_SDを推定することが可能である。

ところで、原画像信号Ｆに対し成分分離処理を行い、第１成分Ｕ、第２成分Ｖに分離した際、大部分のノイズは第２成分Ｖに含まれるため、第２成分Ｖの所定の画素に付加されるノイズ量は、原画像信号Ｆ上の同座標上に位置する画素に含まれるノイズ量と、ほぼ等しいと考えられる。すなわち、原画像信号Ｆに対するノイズモデルを近似的に第２成分Ｖに対するノイズモデルとして用いることが可能である。

原画像信号Ｆに対するノイズモデルにおいて、ノイズ量σ_SDは、Ａ／Ｄ１０３による変換直後の信号レベルに対して、２次曲線的に増加する。特開２００５−１７５７１８号公報に開示されているように、信号レベル−ノイズ分散モデルを２次関数で表すと、式（１３）のように近似できる。

式（１３）において、α、β、γは定数項であり、ＬはＡ／Ｄ１０３での変換直後の信号レベルを表す。しかしながら、ノイズ量σ_SDは信号レベルだけではなく、素子の温度やゲインによっても変化する。図６では、一例として、ある温度ｔにおけるゲインに関連する３種類のＩＳＯ感度（ゲイン）１００、２００、４００に対するノイズ量σ_SDをプロットしている。個々の曲線は、式（１３）に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でノイズモデルの定式化を行うと式（１４）で表すことができる。式（１４）において、α_gt、β_gt、γ_gtは、温度ｔ、ゲインｇに応じて決まる定数項である。

カラー映像信号の場合、このノイズモデルは、各色信号に対して独立に適用する。

上述のノイズモデルを、第２成分Ｖの注目画素Ｐａ（ｉ，ｊ）に対するノイズ量の推定に用いる場合、信号レベルＬとして、第２成分Ｖ上の注目画素Ｐａ（ｉ，ｊ）と同座標上に位置する（分離部１０５より取得した）第１成分Ｕ上の画素の信号レベルを用いる。これにより、ノイズの影響を抑えた高精度なノイズ量の推定が可能となる。

上述した説明では、ハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えばＩＳＯ感度などの撮像条件など）をＲａｗデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。

なお、記録媒体（コンピュータ読み取り可能な記録媒体）には、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が含まれる。また、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。すなわち、画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行する。

図７は、第２の実施形態において、画像処理プログラムによる処理のメインルーチンを示すフローチャートである。なお、図４に示すフローチャートの処理と同一の処理を行うステップについては、同一のステップ番号を付して、詳しい説明は省略する。

ステップＳ７００では、Ｒａｗ画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Ｒａｗ画像に対して、デモザイク処理等の所定の処理を施すことにより、カラー原画像信号Ｆを生成する。

ステップＳ７１０では、カラー原画像信号Ｆに基づいて、輝度信号Ｙを生成する。

ステップＳ３０に続くステップＳ４０Ａでは、第２成分Ｖ上に位置する注目画素Ｐａ（ｉ，ｊ）を中心とした注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）、および、注目領域Ｖａ（ｉ＋ｔ₁，ｊ＋ｔ₂）と同座標上に位置する輝度信号Ｙ上の領域Ｆａ（ｉ＋ｔ₁，ｊ＋ｔ₂）を抽出する。

ステップＳ５０に続くステップＳ６０Ａでは、注目画素Ｐａ（ｉ，ｊ）の周辺に位置する画素Ｐｃ（ｌ，ｍ）_(n)、第２成分Ｖ上に位置し、画素Ｐｃ（ｌ，ｍ）_(n)を中心とした領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)、輝度信号Ｙ上において、領域Ｖｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)と同座標上に位置する領域Ｆｃ（ｌ＋ｔ₁，ｍ＋ｔ₂）_(n)を抽出する。

ステップＳ７０に続くステップＳ７２０では、注目画素Ｐａ（ｉ，ｊ）に対するノイズ量を推定する。

ステップＳ７２０に続くステップＳ８０Ａでは、式（１２）に基づいて、加算係数Ｗ_(n)を算出する。

ステップＳ９０以後の処理は、図４に示すフローチャートの処理と同じである。

第２の実施形態における画像処理装置によれば、注目領域内の画素に対するノイズ量を推定し、推定したノイズ量および画像領域間の類似度に基づいて、ノイズ低減処理で用いる加算係数を算出するので、平滑化の程度をノイズ量に応じて適切に制御することができる。

また、第２の実施形態における画像処理装置によれば、原画像信号は、複数の色成分を含んでおり、原画像信号の色成分ごとに、成分分離処理、注目領域抽出処理、画像領域抽出処理、類似度算出処理、および、ノイズ低減処理を順次適用する。特に、原画像信号から輝度信号を算出する輝度信号算出部４０３を備え、類似度算出部１０８は、ノイズを含む成分画像から抽出された画像領域ごとに対応する輝度信号の画像領域、および、注目領域に対応する輝度信号の画像領域間の類似度を算出する。これにより、色成分間で同座標上に位置する画像領域に対して同一の類似度が算出されることになり、ノイズ低減による色成分間の色ずれが抑えられる。

さらに、複数の色成分に共通の類似度として、複数の色成分のうちのいずれか一つの色成分に対して類似度を算出することにより、色成分ごとに類似度を算出する必要がなくなり、処理を高速化することができる。

本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、第１の実施形態では、式（９）により、加算係数Ｗ_(n)を算出したが、第２の実施形態と同様に、式（１２）から、加算係数Ｗ_(n)を算出してもよい。

第１の実施形態に係る画像処理装置を撮像装置に適用した場合の構成図である。 図２（ａ）は、原画像信号のラインプロファイルの一例と、原画像の一例を示す図である。図２（ｂ）は、図２（ａ）に示す原画像の骨格成分のラインプロファイルの一例と、その画像の一例を示す図である。図２（ｃ）は、図２（ａ）に示す原画像の骨格成分以外の成分のラインプロファイルの一例と、その成分画像の一例を示す図である。 図３（ａ）、図３（ｂ）はそれぞれ、第２成分および原画像信号における各領域を示している。 画像処理プログラムによる処理のメインルーチンを示すフローチャートである。 第２の実施形態に係る画像処理装置を撮像装置に適用した場合の構成図である。 信号レベルとノイズ量との関係を定めた信号レベル−ノイズ分散モデルの一例を示す図である。 第２の実施形態において、画像処理プログラムによる処理のメインルーチンを示すフローチャートである。

符号の説明

１００…システムコントローラ
１０１…光学系
１０２、４０１…撮像素子
１０３…Ａ／Ｄ変換部
１０４、４０６…信号処理部
１０５…分離部
１０６…注目領域抽出部
１０７…類似領域抽出部
１０８…類似度算出部
１０９、４０５…加算係数算出部
１１０…加算部
１１１…合成部
１１２…圧縮部
１１３…出力部
４０２…補間部
４０３…輝度信号算出部
４０４…ノイズ推定部

Claims (14)

1. 原画像信号を、複数の成分画像に分離する成分分離部と、
   前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出する注目領域抽出部と、
   前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出する画像領域抽出部と、
   前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出する類似度算出部と、
   前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うノイズ低減部と、
   を備えることを特徴とする画像処理装置。
2. 前記ノイズ低減部は、
   前記抽出された画像領域ごとに、前記類似度に基づいて、前記注目領域に対する加算係数を算出する加算係数算出部と、
   前記加算係数に基づいて、前記抽出された画像領域内の画素値と前記注目領域内の画素値を重み付け加算することにより、前記注目領域のノイズ低減処理を行う加算部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域内の画素に対するノイズ量を推定するノイズ推定部をさらに備え、
   前記加算係数算出部は、前記類似度および前記ノイズ量に基づいて、前記加算係数を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ推定部は、前記成分分離部で分離された複数の成分画像のうち、前記ノイズを含む成分画像以外の成分画像上の画素であって、前記注目領域内の画素に対応する画素の信号レベルに基づいて、前記注目領域内の画素に対するノイズ量を推定することを特徴とする請求項３に記載の画像処理装置。
5. ノイズ低減処理が行われたノイズを含む成分画像と、前記成分分離部によって分離されたその他の成分画像とを合成する合成部をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記合成部は、前記ノイズ低減処理が行われたノイズを含む成分画像と、前記成分分離部によって分離されたその他の成分画像とを所定の比率で合成することを特徴とする請求項５に記載の画像処理装置。
7. 前記成分分離部は、前記原画像信号を、大局的構造を表すエッジ成分および平坦成分を含む骨格成分である第１成分と、前記原画像信号および前記第１成分に基づいて算出される第２成分とを含む複数の成分画像に分離することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
8. 前記成分分離部は、前記原画像信号を、前記第１成分と、前記原画像信号に対する前記第１成分の残差成分であって、テクスチャおよびノイズを含む局所的な微細構造を表す第２成分とに分離することを特徴とする請求項７に記載の画像処理装置。
9. 前記原画像信号は、複数の色成分を含み、
   前記原画像信号の色成分ごとに、前記成分分離部、前記注目領域抽出部、前記画像領域抽出部、前記類似度算出部、および、前記ノイズ低減部を順次適用することを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
10. 前記原画像信号から輝度信号を抽出する輝度信号抽出部をさらに備え、
    前記類似度算出部は、前記抽出された画像領域に対応する前記輝度信号の画像領域、および、前記注目領域に対応する前記輝度信号の画像領域間の類似度を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記類似度算出部は、前記複数の色成分に共通の類似度として、前記複数の色成分のうちのいずれか一つの色成分に対して、前記類似度を算出することを特徴とする請求項９または請求項１０に記載の画像処理装置。
12. 請求項１から請求項１１のいずれか一項に記載の画像処理装置を備えることを特徴とする電子機器。
13. 原画像信号を、複数の成分画像に分離するステップと、
    前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出するステップと、
    前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出するステップと、
    前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出するステップと、
    前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うステップと、
    を備えることを特徴とする画像処理方法。
14. 原画像信号を、複数の成分画像に分離するステップと、
    前記複数の成分画像のうち、ノイズを含む成分画像から注目領域を抽出するステップと、
    前記ノイズを含む成分画像から、前記注目領域のノイズ低減処理を行うために用いる画像領域を抽出するステップと、
    前記抽出された画像領域に対応する前記原画像信号の画像領域、および、前記注目領域に対応する前記原画像信号の画像領域間の類似度を算出するステップと、
    前記抽出された画像領域および前記類似度に基づいて、前記注目領域のノイズ低減処理を行うステップと、
    をコンピュータに実行させるための画像処理プログラム。