JP2017130167A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】撮影画像等に対して残留ノイズの発生を抑制しつつノイズ低減処理を行う。【解決手段】画像処理装置７０４は、入力画像を複数の第１の画像に周波数分解し、第１の画像に含まれる信号成分であって信号値の絶対値が閾値以下である第１の信号成分に対して第１のノイズ低減処理を行うことで第２の画像を生成する。第２の画像における信号値の絶対値が閾値より大きい第２の信号成分に対して、第２のノイズ低減処理を行って第３の画像を生成する。第２のノイズ低減処理は、第２の信号成分から対象画素を抽出し、第２の画像から複数の参照画素を抽出し、相関値算出画像から対象領域データと参照領域データを抽出し、各参照領域データに対して対象領域データとの相関値を算出し、相関値に基づいて各参照画素に対する重みを設定する。参照画素と重みから算出した信号値により対象画素に対応する出力画素を生成する。【選択図】図１１

Description

本発明は、画像のノイズを低減する画像処理技術に関する。

デジタルカメラ等の撮像装置による撮影光学系（以下、単に光学系という）を通した撮像では、該光学系で発生する回折や収差等の影響により１点から発生した光が１点に収束することができず、微小な広がりを持つ。このような微小な広がりを持った分布をＰＳＦ（Point Spread Function:点像強度分布関数）という。撮像により生成された撮影画像には、理想的な被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。撮影画像に対して上記光学系による解像度劣化を補正する高解像度化処理が行われている。

ただし、実際にエッジ強調処理、画像回復処理および超解像処理等の高解像度化処理を行って劣化を受ける前の元の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させてしまう場合がある。すなわち、高解像度化処理を強くすると画像の解像度が向上するが、ノイズが著しく増幅されてしまう。一方、ノイズの増幅を抑制しようとすると、高解像度化処理の効果を抑制する必要がある。高解像度化処理の効果とノイズの抑制とを両立させるには、高解像度化処理を行って取得した高解像度画像に対してノイズ低減処理を行うことが好ましい。

画像に対してノイズ低減処理を行う方法として、特許文献１や非特許文献１にはウェーブレット変換を用いた方法が開示されている。特許文献１には、３次元データに対してウェーブレット変換を用いたノイズ低減処理を行っており、この処理は２次元画像に対しても適用することが可能である。ウェーブレット変換を用いたノイズ低減処理は、従来はノイズ低減処理に用いられてきたガウシアンフィルタやメディアンフィルタ等の２次元フィルタに比べてエッジを保存することが可能である。このため、撮影画像や高解像度画像に対するノイズ低減処理として、ウェーブレット変換を用いたノイズ低減処理は有効である。

特開２０１１−１８０１３４号公報

David L. Donoho, "De-Noising by Soft-Thresholding," IEEE TRANSACTIONS ON INFORMATION THEORY, VOL.41, NO.3 (1995).

しかしながら、特許文献１や非特許文献１にて開示されたウェーブレット変換を用いたノイズ低減処理では、残留ノイズが発生する場合がある。ウェーブレット変換を用いたノイズ低減処理では、設定した閾値より小さい信号成分に対してノイズ低減処理を行うため、閾値より大きい信号成分のノイズが存在する場合にはこれが処理されず残留する。また、残留ノイズが発生しないように閾値を大きく設定すると、必要な信号成分に対してもノイズ低減処理が施され、その結果、ノイズ低減処理後の画像が劣化する。

本発明は、撮影画像や高解像度画像に対して、残留ノイズの発生を抑制しつつ効果的にノイズ低減処理を行うことができるようにした画像処理装置および撮像装置等を提供する。

本発明の一側面としての画像処理装置は、撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像を複数の周波数帯域成分からなる複数の第１の画像に周波数分解する周波数分解手段と、複数の第１の画像のうち少なくとも１つの第１の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第１の信号成分に対して第１のノイズ低減処理を行うことにより第２の画像を生成する第１のノイズ低減手段と、第２の画像における信号値の絶対値が閾値より大きい第２の信号成分に対して、第２のノイズ低減処理を行って第３の画像を生成する第２のノイズ低減手段とを有する。第２のノイズ低減手段は、第２の信号成分から対象画素を抽出し、第２の画像から複数の参照画素を抽出し、入力画像から得られる相関値算出画像から対象画素に対応した画素を含む部分領域である対象領域データと参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、複数の参照領域データのそれぞれに対して、対象領域データとの相関値を算出し、相関値に基づいて、複数の参照画素のそれぞれに対する重みを設定し、複数の参照画素と重みから算出した信号値を用いて対象画素に対応する出力画素を生成することを特徴とする。

なお、上記画像処理装置と入力画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。

また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、撮影画像や高解像度画像等の入力画像に対して、残留ノイズの発生を抑制しつつ効果的にノイズ低減処理を行うことができ、高画質の画像を生成することができる。

本発明の実施例１における画像処理を示すフローチャート。 実施例１における入力画像をウェーブレット変換により複数のサブバンド画像に周波数分解する例を示す図。 実施例１における第１のノイズ低減処理を行った後のサブバンド画像における注目画素と参照画素を示す図。 実施例１における第１のノイズ低減処理を行った後の画像における注目画素と参照画素を示す図。 実施例１における第１のノイズ低減処理を行う前のサブバンド画像における注目データと参照データを示す図。 実施例１における第１のノイズ低減処理を行う前の画像における注目データと参照データを示す図。 本発明の実施例２における画像処理を示すフローチャート。 実施例２における画像回復処理のシフトインバリアント領域と光学伝達関数を示す図。 実施例２におけるサブバンド画像の領域を示す図。 実施例２におけるサブバンド画像における領域ごとの増幅量を示す図。 本発明の実施例３である撮像装置を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である画像処理装置が行う画像処理（画像処理方法）の流れを示している。この画像処理は、画像処理装置を構成するコンピュータ（パーソナルコンピュータやＣＰＵ等）がコンピュータプログラムとして画像処理プログラムに従って実行する。該画像処理は、デジタルカメラ等の撮像装置から取得した撮影画像である入力画像に対してノイズ低減処理を行う。

ステップＳ１０１において、コンピュータは、撮像装置から入力画像としての撮影画像を取得する。撮像装置は、撮影光学系（以下、単に光学系という）により形成された被写体像をＣＭＯＳセンサやＣＣＤセンサ等の撮像素子により撮像（光電変換）して撮影画像を生成する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置（コンピュータ）とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮影画像には、撮影時の焦点距離、Ｆ値、撮影距離、画素サイズ等といった撮影条件情報が付加されている。

次にステップＳ１０２において、コンピュータ（ノイズ取得手段）は、入力画像に含まれるノイズ量σ_０を算出する。ここにいうノイズ量は、ノイズ分布の標準偏差である。

撮影画像である入力画像に含まれるノイズ量σ_０としては、撮像装置のＩＳＯ感度や輝度レベル等の撮影条件に対するノイズ量データを予め測定してメモリに記憶しておき、撮影画像を取得した撮影時の撮影条件に合致するノイズ量を取得してもよい。なお、ノイズ量そのものを取得しない場合であっても、ＩＳＯ感度や輝度レベル等の撮影条件を用いてノイズ量に関する情報を取得する場合は、本発明におけるノイズ量の取得に相当するものとする。

また、ノイズ量σ_０を算出する別手法として、ＭＡＤ（Median Absolute Deviation）を用いてもよい。ＭＡＤは、入力画像をウェーブレット変換して取得した最も高周波なＨＨ１のサブバンド画像のウェーブレット係数ｗ_ＨＨ１において、（１）式により算出される。
ＭＡＤ＝ｍｅｄｉａｎ（｜ｗ_ＨＨ１−ｍｅｄｉａｎ（ｗ_ＨＨ１）｜） （１）
入力画像に含まれるノイズ量σ_０は、ＭＡＤと標準偏差が（２）式の関係であることから推定することができる。
σ_０＝ＭＡＤ／０．６７４５ （２）
また、ノイズ量σ_０は、入力画像における部分領域等の一定の範囲を持つ領域ごとに取得してもよいし、画素ごとに取得してもよい。

次にステップＳ１０３において、コンピュータ（周波数分解手段）は、入力画像に対してウェーブレット変換（離散ウェーブレット変換）を行う。これにより、撮影画像は、図２に示すような互いに異なる複数の周波数帯域成分ＨＨ，ＨＬ，ＬＨ，ＬＬとしての複数のサブバンド画像に周波数分解される。ウェーブレット変換で用いる基底関数は予め数列データとしてメモリに記憶しておき、選択した基底関数の数列を取得してウェーブレット変換を行う。本実施例では、変換レベルを３としたときの処理の例について説明するが、変換レベルは３に限定されるものではなく、変更が可能である。

次にステップＳ１０４（第１のノイズ低減ステップ）において、コンピュータ（第１のノイズ低減手段）は、閾値を設定し、サブバンド画像に対して、該閾値に基づいた第１のノイズ低減処理を行う。第１のノイズ低減処理は、（３）式に示すように、サブバンド画像におけるウェーブレット係数ｗ_{ｓｕｂｂａｎｄ}（ｉ，ｊ）の絶対値が設定した閾値以下の信号成分（第１の信号成分）をノイズとみなして０に置き換える閾値処理を行う。

閾値の設定は、重みパラメータとして（２ｌｏｇ（Ｑ））^1/2を用い、ステップＳ１０２で算出したノイズ量に基づいて設定する。Ｑはサブバンド画像ごとのデータ数である。ただし、閾値の設定はこれに限定されない。

次にステップＳ１０５〜Ｓ１０９において、コンピュータ（第２のノイズ低減手段）は、第２のノイズ低減処理を行う。第１のノイズ低減処理では、絶対値が閾値以下の信号成分に対してノイズ低減処理を行うため、閾値より絶対値が大きい信号成分のノイズが存在する場合には処理されずに残留する。そこで、第２のノイズ低減処理では、ウェーブレット係数が上記閾値より大きい信号成分（第２の信号成分）に対してノイズ低減処理を行う。本実施例では、第２のノイズ低減処理としてＮＬＭ（Non-Local Means）フィルタと呼ばれる被写体空間の自己相似性を利用したノイズ低減処理を用いる。

ＮＬＭフィルタは、画像の劣化が少ないノイズ低減処理として知られており、対象画素（注目画素）の信号値を、該注目画素を含む部分領域の構造に似ている複数の部分領域における各画素の加重平均信号値で置換してノイズを低減する。この際、加重平均で用いる重みは、注目画素を中心とする部分領域の各信号値を成分としたベクトルと、該注目画素の周辺にある画素から同様に生成したベクトルの距離に応じて決定される。
以下、第２のノイズ低減処理としてＮＬＭフィルタを用いるノイズ低減処理に関して詳細に説明する。

ステップＳ１０５では、コンピュータは、注目画素と複数の参照画素を抽出する。注目画素とは、１回の処理で第２のノイズ低減処理を行う画素であり、単数でも複数でもよい。コンピュータは、注目画素を、サブバンド画像内においてウェーブレット係数が上記閾値より大きい信号成分（第２の信号成分）から抽出する。例えば、図３に示すように、第１のノイズ低減処理を行った後のサブバンド画像２００から注目画素２０１を抽出する。ただし、注目画素のサイズや形状および抽出位置は図３に示すものに限定されない。

参照画素とは、加重平均に用いる画素であり、第１のノイズ低減処理後のサブバンド画像から抽出する。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域成分であるサブバンド画像から抽出することが望ましい。また、サブバンド画像のある色成分（例えばＧｒｅｅｎ）から注目画素を抽出している場合は、サブバンド画像の他の色成分（ＲｅｄやＢｌｕｅ）から参照画素を取得してもよい。

また、注目画素の相似形状はその近傍に存在している可能性が高いことから、処理の高速化のため、参照画素の抽出領域を注目画素の近傍に絞ってもよい。また、注目画素におけるノイズ量に応じて参照画素の抽出領域を決定してもよく、ノイズ量が大きくなるほど抽出領域を大きく設定することでノイズ低減処理の効果を向上することができる。

例えば図３に示すように、第１のノイズ低減処理を行った後のサブバンド画像２００において抽出領域２０２を設定する。ただし抽出領域のサイズおよび形状は図３に示すものに限定されない。また、参照画素は、抽出領域内から抽出し、例えば図３の参照画素２０３のように抽出する。ただし、参照画素のサイズや形状および抽出位置は図３に示すものに限定されない。

さらに、注目画素および参照画素を、第１のノイズ低減処理を行った後の画像から抽出してもよく、この場合は、サブバンド画像における閾値より大きい絶対値を持つウェーブレット係数に対応する画素を注目画素として抽出する。第１のノイズ低減処理を行った後の画像から注目画素および参照画素を抽出する場合は、後述するステップ１１０のウェーブレット逆変換（合成）をステップＳ１０４とＳ１０５の間に行い、第１のノイズ低減処理を行った後の画像（第２の画像）を生成しておく。例えば、図４に示すように第１のノイズ低減処理を行った後の画像３００から注目画素３０１を抽出し、抽出領域３０２内から参照画素３０３を抽出する。

ステップＳ１０６では、コンピュータは、後述する相関値算出画像から注目画素に対応する画素を含む部分領域である注目データ（対象領域データ）と参照画素に対応する画素を含む部分領域である参照データ（参照領域データ）を抽出する。

注目データおよび参照データは、信号の分布に関する情報を持っている必要があるため、複数の画素を含む必要がある。したがって、注目画素および参照画素が１画素の場合は、注目データおよび参照データは必ず注目画素および参照画素より画素数が多くなる。また、注目画素に対応する画素および参照画素に対応する画素を注目画素および参照画素としてもよい。

ここで、相関値算出画像は、第１のノイズ低減処理を行う前のサブバンド画像または第１のノイズ低減処理を行った後のサブバンド画像である。注目データおよび参照データは、これらいずれかの相関値算出画像から抽出すればよい。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域であるサブバンド画像から抽出することが望ましい。例えば、図５に示すように、ノイズ低減処理を行う前のサブバンド画像４００から注目画素に対応する画素４０１および参照画素に対応する画素４０２を含む部分領域を注目データ４０３および参照データ４０４として抽出する。ただし、注目データおよび参照データのサイズや形状および抽出位置は図５に示すものに限定されない。

また、相関値算出画像を、第１のノイズ低減処理を行う前の撮影画像または第１のノイズ低減処理を行った後の画像（サブバンド画像以外の画像）としてもよい。第１のノイズ低減処理を行った後の画像である相関値算出画像から注目データおよび参照データを抽出する場合は、第１のノイズ低減処理を行った後のサブバンド画像をウェーブレット逆変換（合成）して第１のノイズ低減処理を行った後の画像（第２の画像）を生成しておく。

例えば、図６に示すように、第１のノイズ低減処理を行う前の撮影画像５００から注目画素に対応する画素５０１および参照画素に対応する画素５０２を含む部分領域を注目データ５０３および参照データ５０４として抽出する。

ステップＳ１０７では、コンピュータは、ステップＳ１０６で取得した注目データと参照データの相関値を算出する。相関値の算出方法として、注目データと参照データの信号差の二乗平均平方根を使用する手法について説明する。ただし、これ以外の方法で相関値を算出してもよい。また、以下の説明においては、簡単のため色成分（ＲＧＢ）を考えず、単色信号の場合で式を記述するが、複数の色成分を持つ場合にも同様に適用できる。

注目データおよび参照データを画像の部分領域として、つまりは行列として扱う場合は、相関算出式ｇは以下の（４）式のようになる。

Ｔは注目データにおける各画素の信号値を成分ｔ_ｉｊとする行列、ＮはＴの行数、ＭはＴの列数、Ｒ_ｋはｋ番目の参照データの各信号値を成分ｒ_ｉｊとする行列である。（４）式で表される相関値の算出式は、注目データと参照データの差分を見ているため、値が０に近いほど両者の相似性が高いことを意味する。

ここで、注目データおよび参照データの信号から直流成分（平均値を意味し、画像の明るさに相当する）を減算してもよい。相関算出によって判定したいのは、注目データと参照データの持つ構造がどの程度似ているかであるため、その明るさ（直流成分）は無関係である。また両者の相関が最も高くなるように、参照データのコントラストを調整してもよい。これは参照データの交流成分をスカラー倍することに相当する。

また、注目画素におけるノイズ量に応じて、注目データおよび参照データの画素数を決定してもよい。例えば、ノイズ量が大きい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を少なくする。注目データおよび参照データの画素数を少なくすると、相関値が大きくなり、重みが大きくなる参照画素が増加するため、ノイズ低減処理の効果を向上することができる。ノイズ量が小さい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を多くすることでノイズ低減処理の効果を抑制することもできる。

次にステップＳ１０８では、コンピュータは、各参照画素に対する重みをステップＳ１０７で求めた相関値から設定する。相関が高いほど、その参照データが注目データと類似しているので、重みを大きく設定する。これによって注目画素周辺の構造を保ったままノイズ低減処理を行うことができる。また、ステップＳ１０２で算出したノイズ量に基づいて重みを設定する。つまり、ノイズ量が大きいほど重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の（５）式のように重みを設定する。

ｗ_ｋはｋ番目の参照画素に対応した重みであり、ｃは重み調整パラメータである。重み調整パラメータは定数としてもよいし、ユーザが調整できるようなパラメータとしてもよい。Ｚは重みｗ_ｋの規格化因子であり、以下の（６）式を満たす。

この際、注目画素におけるノイズ量に応じて重みを設定する。または、注目画素と参照画素におけるノイズ量に応じて重みを設定してもよい。例えば、注目画素におけるノイズ量に対して参照画素におけるノイズ量が大きい場合は、ノイズが強い画素が参照され、効果の低減や弊害の要因となり得るため、重みを小さく設定する。ただし、重みの算出方法はこれに限らない。

次にステップＳ１０９では、コンピュータは、ステップＳ１０８で設定した重みを用いて参照画素の加重平均を算出し、その値で注目画素の信号値を置換する。これにより、注目画素のノイズ低減処理が完了する。加重平均信号値ｓ_ａｖｅは、例えば以下の（７）式のように算出する。

ｓ_ｋは、ｋ番目の参照データにおける参照画素の信号値である。ただし、加重平均の算出方法はこれに限らない。例えば、非線型結合を用いてもよい。

複数の画素を合成することで信号値が平均化され、ノイズが低減される。この加重平均信号値ｓ_ａｖｅで注目画素を置換することで、該注目画素をノイズ低減処理した出力画素が生成される。注目画素が複数の場合は、（７）式を各注目画素に対して算出すればよい。またこの際、同時に他のノイズ低減処理の手法を併用してもよい。さらに、前述した置換処理の代わりに、加重平均信号値を参考にして学習型のノイズ低減処理を使用してもよい。

上述した第２のノイズ低減処理を第１のノイズ低減処理を行った後のサブバンド画像または第１のノイズ低減処理を行った後の画像（サブバンド画像以外の画像）に対して行うことで、第２のノイズ低減処理後のサブバンド画像または画像を生成する。または、予めノイズ低減処理を行うサブバンド画像や領域を設定しておき、そのサブバンド画像や領域に対してのみノイズ低減処理を行ってもよい。

次にステップＳ１１０において、コンピュータ（合成手段）は、ノイズ低減処理後の複数のサブバンド画像ＨＨ，ＨＬ，ＬＨ，ＬＬをウェーブレット逆変換により合成する。これにより、ステップＳ１１１において、ノイズ低減処理後の出力画像（第３の画像）を取得する。ただし、ステップＳ１０５において、注目画素および参照画素を第１のノイズ低減処理を行った後の画像から抽出した場合は、ステップＳ１１０は行わなくてよい。

以上の画像処理によって取得されたノイズ低減処理後の画像は、残留ノイズの発生を抑制しつつ効果的なノイズ低減処理が行われたものである。

次に、本発明の実施例２について説明する。本実施例では、撮影画像に対して高解像度化処理を行った後にノイズ低減処理を行う。

まず、本実施例における前提技術である高解像度化処理について説明する。撮像光学系（以下、単に光学系ともいう）を用いた撮像により得られた撮影画像における該光学系の回折や収差に起因する劣化を補正するための高解像度化処理の１つとして、以下の画像回復処理が行われる。

実空間（ｘ，ｙ）上において光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）とし、光学系のＰＳＦをｈ（ｘ，ｙ）とし、劣化した画像をｇ（ｘ，ｙ）とすると、これらの関係は以下に示す（８）式で表現することができる。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）・ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ （８）
（８）式に対してフーリエ変換を行い、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・Ｈ（ｕ，ｖ） （９）
となる。Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。すなわち、Ｈ（ｕ，ｖ）はＯＴＦ（Optical Transfer Function:光学伝達関数）である。

さらに、（９）式を変形すると、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） （１０）
となる。これは周波数空間上で劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で除することにより、劣化を受ける前の元の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。したがって、Ｆ（ｕ，ｖ）に逆フーリエ変換を行うことにより、劣化前の元の画像ｆ（ｘ，ｙ）を得ることができる。

ただし、実際にこのような処理を行って元の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させ、画像上にリンギングを発生させたりエッジの掘り込み（アンダーシュート）を発生させたりする等の弊害が生ずるおそれがある。このようなノイズの増幅を抑制するための画像回復手法として、（１１）式で表されるウィナーフィルタを用いることが知られている。Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。さらに言えば、画像回復処理を施す対象の画像に全くノイズが発生していなくても、増幅率が大きくなりすぎると上記リンギングその他の弊害が発生しやすくなる。したがって、Γは増幅率を制御する調整項として利用することが可能であると言える。また、Γは定数ではなくΓ（ｕ，ｖ）として、周波数特性を考慮した調整項としてもよい。以下、λ^f（ｕ，ｖ）を高解像度化処理の周波数特性といい、Γを増幅率調整項という。

また、光学系の光学伝達関数Ｈ（ｕ，ｖ）は像面、つまりは入力画像における領域（部分）ごとに異なる。したがって、（１１）式で示す高解像度化処理の周波数特性λ^f（ｕ，ｖ）も領域ごとに異なる特性としてもよい。ただし、ここでいう領域とは、画素単位の領域も含む。

（１１）式を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗ずれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０とし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）・λ^ｆ（ｕ，ｖ） （１２）
が得られる。

ウィナーフィルタにおいて、Γを調節して増幅率を強くすると、高解像度化処理の効果は向上するが、ノイズが著しく増幅されてしまう。また、Γを調節して増幅率を弱くすると、ノイズの増幅を抑制することができるが、同時に高解像度化処理の効果が低下する。

以下、本実施例について説明する。図７には、本実施例において行う画像処理（画像処理方法）の流れを示している。この画像処理は、画像処理装置を構成するコンピュータ（パーソナルコンピュータやＣＰＵ等）がコンピュータプログラムとして画像処理プログラムに従って実行する。該画像処理は、デジタルカメラ等の撮像装置から取得した撮影画像に対して高解像度化処理を行った後、高解像度化処理の周波数特性に基づいてノイズ低減処理を行う。本実施例では、高解像度化処理の一例として、上記した画像回復処理を用いる手法について説明する。

まずステップＳ６０１において、コンピュータは、撮像装置から撮影画像を取得する。撮像装置は、撮影光学系（以下、単に光学系という）により形成された被写体像をＣＭＯＳセンサやＣＣＤセンサ等の撮像素子により撮像（光電変換）して撮影画像を生成する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置（コンピュータ）とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮影画像には、撮影時の焦点距離、Ｆ値、撮影距離、画素サイズ等といった撮影条件情報が付加されている。

図８には、撮影画像を水平方向にＭ分割、垂直方向にＮ分割して示している。光学系の光学特性は一様ではないが、狭い領域ならばその中の光学特性は一様であるとみなすことができる。以下、この光学系の光学特性が一様である領域をシフトインバリアント領域といい、シフトインバリアント領域（ｍ，ｎ）ごとに処理を行う。なお、シフトインバリアント領域は、予め光学系の光学特性を考慮して決定しておくことが好ましい。分割数を増やしてシフトインバリアント領域を細かくすると、後述する画像回復処理等の精度は向上するが、一方で処理速度やデータ量は増えることになる。したがって、処理のコストを考慮してシフトインバリアント領域を決定するとよい。

次にステップＳ６０２において、コンピュータ（ノイズ取得手段）は、撮影画像に含まれる第１のノイズ量σ_０を算出する。第１のノイズ量の算出は、実施例１におけるステップＳ１０２で説明したように行う。なお、ステップＳ６０２の処理は、ステップＳ６０５を実行する前であれば、ステップＳ６０３およびステップＳ６０４を実行した後に行ってもよい。

次にステップＳ６０３において、コンピュータは、光学系の光学伝達関数を取得する。光学伝達関数とは、式（９）にてＨ（ｕ，ｖ）で表されるように２次元空間におけるＰＳＦの周波数特性である。すなわち、光学伝達関数はＰＳＦによってその特性が変化する。光学伝達関数は、光学系の状態によって膨大な量のバリエーションがある。例として焦点距離が可変なズームレンズの場合は、焦点距離、Ｆ値、撮影距離、画面位置、色（波長）等の組み合わせ分だけ光学伝達関数が存在する。したがって、現実的にはこれらの組み合わせの中から画像回復処理に必要なものだけ保持しておけばよい。なお、保持している撮影条件以外の光学伝達関数は補間処理によって生成してもよい。これら光学伝達関数データは予め光学ＣＡＤ等で計算しておき、上記画像回復処理に適したデータベースにしてメモリに保持しておく。光学伝達関数データベースの画面位置は図８のシフトインバリアント領域に対応するようにしておくことが望ましい。また、光学伝達関数は測定によって求め、データとして保持しておいて使用するときに取得してもよい。

そして、コンピュータは、取得した撮影画像から撮影時の焦点距離、Ｆ値、撮影距離、画素サイズ等の情報を取得し、予め保持された光学伝達関数データベースの中から上記に合致した光学伝達関数を取得する。

次にステップＳ６０４において、コンピュータは、高解像度化処理の周波数特性を算出する。ユーザは画像回復処理の強さを指定し、取得した光学伝達関数を用いて（１３）式により高解像度化処理の周波数特性λ^f（ｕ，ｖ）を算出する。
図７のシフトインバリアント領域（ｍ，ｎ）を代表する光学伝達関数をＨ_ｍ,ｎ（ｕ，ｖ）とする。このとき、（１１）式は、

と書き改めることができる。

（１３）式により、シフトインバリアント領域（ｍ，ｎ）ごとに高解像度化処理の周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）を算出することができる。

画像回復処理の強さはユーザが分かりやすい０〜１００等のような数値範囲でよい。このとき、ユーザが指定した値に対して、実際に適用する画像回復処理の信号増幅量を設定する。この信号増幅量は、（１３）式の絶対値（｜λ^f _ｍ,ｎ（ｕ，ｖ）｜）として計算され、Γ_ｍ,ｎによって制御を行う。ここで、信号増幅量は、例えば特定の周波数位置（ｕ，ｖ）における値｜λ^f _ｍ,ｎ（ｕ，ｖ）｜としてもよいし、｜λ^f _ｍ,ｎ（ｕ，ｖ）｜の帯域内の最大値や平均値としてもよい。

次にステップＳ６０５において、コンピュータ（高解像度化手段）は、撮影画像に対して、算出した高解像度化処理の周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）に基づいて画像回復処理を行い、高解像度画像を取得する。本実施例では、この高解像度画像が入力画像となる。

高解像度化処理において、シフトインバリアント領域（ｍ，ｎ）ごとに算出した高解像度化処理の周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）を用いることによって、シフトインバリアント領域（ｍ，ｎ）ごとに最適な画像回復処理を行うことが可能となる。さらに言えば、シフトインバリアント領域の切り替わりで不連続にならないような補間処理を用いると、より良好な画像回復処理による高解像度化処理を行うことが可能となる。画像回復処理は、（１３）式をフーリエ逆変換して得られる実空間のフィルタを用いて、撮影画像に畳み込むことで行ってもよい。その場合、予め生成された実空間のフィルタを前記の光学伝達関数データベースに格納して用いることも可能である。

次にステップＳ６０６において、コンピュータは、高解像度画像に対してウェーブレット変換（離散ウェーブレット変換）を行う。高解像度画像に対してウェーブレット変換を行う方法は、実施例１におけるステップＳ１０３で説明したものと同じである。

ウェーブレット変換により分解して得られた複数のサブバンド画像は、図９に示すように、画像回復処理時に入力画像を分割して処理したときと同様に、水平方向にＭ分割され、垂直方向にＮ分割される。サブバンド画像における各分割領域は、撮像光学系の光学特性（光学伝達関数：ＯＴＦ）に基づいて分割された領域に相当する。そして、各サブバンド画像おけるＭ×Ｎ個の分割領域における分割領域（ｍ，ｎ）ごとに処理を行う。

次にステップＳ６０７において、コンピュータは、入力画像のシフトインバリアント領域（ｍ，ｎ）で行った高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）を取得し、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を算出する。光学伝達関数データベースに実空間のフィルタを格納した場合の増幅量は、予め実空間のフィルタとともに格納したものを用いてもよいし、実空間のフィルタをフーリエ変換して求めてもよい。

上述したように光学系の光学伝達関数Ｈ_ｍ，ｎ（ｕ，ｖ）はシフトインバリアント領域ごとに異なるため、高解像度化処理は入力画像におけるシフトインバリアント領域ごとの周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）に基づいて行われる。このため、高解像度画像には、シフトインバリアント領域における高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）に基づいて増幅されたノイズを含んでいる。つまり、高解像度化処理によるノイズの増幅量は、各サブバンド画像の複数の分割領域において一様ではなく、分割領域ごとに異なる。したがって、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を（１４）式により算出する。（１４）式において、Ｎは高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）のデータ数である。

図１０には、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）の算出結果の例を示している。

なお、周波数分解の周波数特性Ψ_{ｓｕｂｂａｎｄ}（ｕ，ｖ）は、ウェーブレット変換時に取得した基底関数の数列をフーリエ変換することで取得する。また、予めウェーブレット変換の各基底関数の数列からサブバンドの周波数特性Ψ_{ｓｕｂｂａｎｄ}（ｕ，ｖ）を算出して、メモリに記憶しておき、これを取得してもよい。

次にステップＳ６０８において、コンピュータは、サブバンド画像の各分割領域（ｍ，ｎ）におけるノイズ量（第２のノイズ量）を取得する。上述したように入力画像のシフトインバリアント領域（ｍ，ｎ）ごとに行った高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）は、シフトインバリアント領域ごとの撮像光学系の光学伝達関数Ｈ_ｍ，ｎ（ｕ，ｖ）に基づいて算出される。このため、サブバンド画像の分割領域ごとにノイズ量が異なる。よって、高解像度化処理の周波数特性に基づいて、サブバンド画像の分割領域（ｍ，ｎ）ごとのノイズ量σ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を取得する必要がある。

サブバンド画像の分割領域（ｍ，ｎ）ごとのノイズ量σ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）は、ステップＳ６０２で取得した撮影画像に含まれるノイズ量σ_０と、ステップＳ６０７で算出した増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）とを用いて（１５）式により算出する。

次にステップＳ６０９において、コンピュータ（第１のノイズ低減手段）は、閾値を設定し、サブバンド画像における該閾値以下の信号値を有する第１の信号成分に対して第１のノイズ低減処理を行う。第１のノイズ低減処理は、（１６）式に示すように、サブバンド画像の領域（ｍ，ｎ）内の位置（ｉ，ｊ）ごとのウェーブレット係数ｗ_ｍ,ｎ ^{ｓｕｂｂａｎｄ}（ｉ，ｊ）のうち、その絶対値が閾値以下の係数を０に置き換えることで閾値処理を行う。

閾値は、ステップＳ６０８で算出したサブバンド画像の領域（ｍ，ｎ）におけるノイズ量に基づいて設定する。つまり、第１のノイズ低減処理は、撮影画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して適応化されている。したがって、設定した閾値を用いて第１のノイズ低減処理を行うことで、シフトインバリアント領域ごとの高解像度化処理の周波数特性に基づいて、増幅されたノイズを効果的に低減することができる。

次にステップＳ６１０〜Ｓ６１４において、コンピュータ（第２のノイズ低減手段）は、サブバンド画像の分割領域（ｍ，ｎ）ごとに取得した第２のノイズ量に基づいて、該分割領域ごとにＮＬＭフィルタを用いた第２のノイズ低減処理を行う。本実施例における第２のノイズ低減処理も実施例１と同様に、設定した閾値よりウェーブレット係数の絶対値が大きい成分に対してノイズ低減処理を行う。

ステップＳ６１０では、コンピュータは、第１のノイズ低減処理を行った後のサブバンド画像または第１のノイズ低減処理を行った後の画像（サブバンド画像以外の画像）から注目画素と参照画素を抽出する。ここで、注目画素における第２のノイズ量に応じて参照画素の抽出領域を決定してもよい。第２のノイズ量が大きくなるほど抽出領域を大きく設定することでノイズ低減処理の効果を向上することができる。

また、第１のノイズ低減処理を行った後の画像から注目画素と参照画素を抽出する場合は、第２のノイズ量として高解像度画像に含まれるノイズ量も取得してよい。すなわち、サブバンド画像と高解像度画像の両方に含まれるノイズ量を第２のノイズ量として取得してもよい。高解像度画像に含まれるノイズ量は、（１５）式で求められる。

高解像度画像における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）は（１７）式により求めることができる。

注目画素と参照画素の抽出に関しては、実施例１のステップＳ１０５で説明した通りである。

ステップＳ６１１では、コンピュータは、相関値算出画像から注目データと参照データを抽出する。相関値算出画像および注目データと参照データの抽出に関しては、実施例１のステップＳ１０６で説明した通りである。

ステップＳ６１２では、コンピュータは、ステップＳ６１１で取得した注目データと参照データの相関値を算出する。ここで、注目画素における第２のノイズ量に応じて、注目データおよび参照データの画素数を決定してもよい。相関値の算出に関して、実施例１のステップＳ１０７で説明した通りである。

ステップＳ６１３では、コンピュータは、各参照画素に対応する重みをステップＳ６１２で求めた相関値から設定する。また、ステップＳ６０８で算出した第２のノイズ量に基づいて重みを設定する。つまり、第２のノイズ量が大きいほど重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の（１８）式のように重みを設定する。

Ｚは重みｗ_ｋの規格化因子であり、以下の（１９）式を満たす。

この際、注目画素における第２のノイズ量に応じて重みを設定する。あるいは、注目画素と参照画素における第２のノイズ量に応じて重みを設定してもよい。ただし、重みの算出方法はこれに限らない。

ステップＳ６１４では、コンピュータは、実施例１のステップＳ１０９と同様に、ステップ６１３で設定した重みを用いて参照画素の加重平均を算出し、その値で注目画素の信号値を置換する。

次にステップＳ６１５では、コンピュータは、ノイズ低減処理後の複数のサブバンド画像ＨＨ，ＨＬ，ＬＨ，ＬＬをウェーブレット逆変換により合成する。これにより、ステップＳ６１６において、ノイズ低減処理後の出力画像（第３の画像）を取得する。ただし、ステップＳ６１０において、注目画素および参照画素を第１のノイズ低減処理を行った後の画像から抽出した場合は、ステップＳ６１５は行わなくてよい。

上記したノイズ低減処理は、サブバンド画像の領域（ｍ，ｎ）における第２のノイズ量に基づいたものであり、撮影画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して適応化されている。したがって、本実施例によれば、ノイズ低減処理により、高解像度化処理によって増幅されたノイズを残留ノイズの発生を抑制しつつ効果的に低減することができる。

なお、本実施例では高解像度化処理の一例として画像回復処理を用いる手法について説明したが、高解像度化処理の周波数特性を取得できる場合であれば、エッジ強調処理や超解像処理等の他の高解像度化処理を行ってもよい。

次に、本発明の実施例３について説明する。図１１には、実施例１または実施例２で説明した画像処理装置を内蔵した撮像装置の構成を示している。ここでは、実施例２の画像処理装置が内蔵されている場合について説明する。

撮影光学系７０１により形成された被写体の光学像は、撮像素子７０２により撮像（光電変換）される。撮像素子７０２から出力されたアナログ電気信号は、Ａ／Ｄ変換器７０３によりデジタル信号に変換されて画像処理装置としての画像処理部７０４に入力される。撮影光学系７０１および撮像素子７０２により撮像部（撮像手段）が構成される。

画像処理部７０４は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像を生成する。

表示部７０５には、高解像度化処理およびノイズ低減処理を行うか否かをユーザに選択させるためのＧＵＩ（グラフィカルユーザーインターフェース）と、高解像度化処理の強さを決定させるためのＧＵＩとが表示される。ＧＵＩにおいてユーザが高解像度化処理およびノイズ低減処理を行うことを選択し、かつ高解像度化処理の強さを決定すると、画像処理部７０４は、実施例１で説明した高解像度化処理およびノイズ低減処理を行う。また、予めユーザが高解像度化処理およびノイズ低減処理を行うことおよび高解像度化処理の強さを決定しておき、画像処理部７０４が取得した撮影画像に対して自動的に高解像度化処理およびノイズ低減処理を行うようにしてもよい。

画像処理部７０４に高解像度化処理を行わせるために、状態検知部７０７は、撮影画像を生成する際における撮像装置の撮影条件の情報を得る。状態検知部７０７は、撮影条件の情報をシステムコントローラ７１０から得てもよい。また、撮像光学系７０１に関する撮影条件の情報については、撮像光学系７０１の絞り７０１ａの動作やフォーカスレンズ７０１ｂの移動を制御する撮像光学系制御部７０６から得てもよい。撮影条件情報は撮影画像に付加され、該撮影画像は画像処理部７０４に接続されている画像記録媒体７０９に記録される。

光学伝達関数情報は、撮像光学系７０１の識別情報及び焦点距離、Ｆ値、撮影距離、画面位置等の撮影条件の組み合わせ毎に、予め記憶部７０８に保持されている。

画像処理部７０４は、高解像度化処理およびノイズ低減処理により生成された出力画像（第３の画像）を半導体メモリや光ディスク等の画像記録媒体７０９に出力して記録させたり、表示部７０５に出力して表示させたりする。以上説明した一連の動作は、ＣＰＵやＭＰＵ等によって構成されるシステムコントローラ７１０により制御される。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

７０１ 撮影光学系
７０２ 撮像素子
７０４ 画像処理部

Claims (21)

1. 撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像を複数の周波数帯域成分からなる複数の第１の画像に周波数分解する周波数分解手段と、
   前記複数の第１の画像のうち少なくとも１つの第１の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第１の信号成分に対して第１のノイズ低減処理を行うことにより第２の画像を生成する第１のノイズ低減手段と、
   前記第２の画像における信号値の絶対値が前記閾値より大きい第２の信号成分に対して、第２のノイズ低減処理を行って第３の画像を生成する第２のノイズ低減手段とを有し、
   前記第２のノイズ低減手段は、
   前記第２の信号成分から対象画素を抽出し、
   前記第２の画像から複数の参照画素を抽出し、
   前記入力画像から得られる相関値算出画像から前記対象画素に対応した画素を含む部分領域である対象領域データと前記参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、
   前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
   前記相関値に基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
   前記複数の参照画素と前記重みから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理装置。
2. 前記入力画像に含まれるノイズ量を取得するノイズ取得手段を有し、
   前記第１のノイズ低減手段は、前記ノイズ量に基づいて前記閾値を設定し、
   前記第２のノイズ低減手段は、前記ノイズ量と前記相関値に基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影画像に対して高解像度化処理を行うことにより高解像度画像としての前記入力画像を生成する高解像度化手段を有し、
   前記ノイズ取得手段は、
   前記撮影画像に含まれる第１のノイズ量を取得し、
   前記第１のノイズ量と前記高解像度化処理の特性とに基づいて、前記複数の第１の画像または前記複数の第１の画像と前記高解像度画像の両方に含まれる第２のノイズ量を算出し、
   前記ノイズ量は、前記第２のノイズ量であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第２のノイズ量は、前記高解像度化処理の特性と前記周波数分解に用いる基底関数の周波数特性とに基づいて算出されることを特徴とする請求項３に記載の画像処理装置。
5. 前記第２のノイズ低減手段は、少なくとも前記対象画素における前記ノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
6. 前記第２のノイズ低減手段は、前記対象画素および前記参照画素における前記ノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
7. 前記第２のノイズ低減手段は、前記ノイズ量に基づいて抽出された抽出領域から前記参照画素を抽出することを特徴とする請求項２から６のいずれか一項に記載の画像処理装置。
8. 前記第２のノイズ低減手段は、前記対象画素における前記ノイズ量に基づいて前記対象領域データおよび前記参照領域データの画素数を設定することを特徴とする請求項２から７のいずれか一項に記載の画像処理装置。
9. 前記相関値算出画像は、前記入力画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記相関値算出画像は、前記第１の画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
11. 前記相関値算出画像は、前記第１のノイズ低減処理が行われた前記第１の画像を含む前記複数の第１の画像を合成することで生成された画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
12. 前記相関値算出画像は、前記第１のノイズ低減処理が行われた前記第１の画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
13. 前記第２の画像は、前記第１のノイズ低減処理が行われた前記第１の画像を含む前記複数の第１の画像を合成することで生成された画像であることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記第２の画像は、前記第１のノイズ低減処理が行われた前記第１の画像であり、
    前記第２のノイズ低減手段は、前記対象画素を含む前記第１の画像から前記参照画素を抽出することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
15. 前記第２のノイズ低減手段は、前記対象画素が含まれる周波数帯域に対応する前記第１の画像としての前記相関値算出画像から前記対象領域データと前記参照領域データを抽出することを特徴とする請求項１から８、１０、１２および１４のいずれか一項に記載の画像処理方法。
16. 前記周波数分解は、離散ウェーブレット変換により行われることを特徴とする請求項１から１５のいずれか一項に記載の画像処理装置。
17. 前記高解像度化処理は、前記撮像に用いられた光学系の光学特性に基づいて行われることを特徴とする請求項３に記載の画像処理装置。
18. 前記高解像度化処理の特性は、前記入力画像における前記撮像に用いられた光学系の光学特性に基づいて分割される領域ごとに異なることを特徴とする請求項３に記載の画像処理装置。
19. 前記高解像度化処理の特性は、前記撮像に用いられた光学系の光学特性に基づく周波数特性であることを特徴とする請求項３に記載の画像処理装置。
20. 請求項１から１９のいずれか一項に記載の画像処理装置と、
    前記撮像を行う撮像手段とを有することを特徴とする撮像装置。
21. コンピュータに撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像に対する画像処理を行わせるコンピュータプログラムであって、
    前記画像処理は、
    前記入力画像を複数の周波数帯域成分からなる複数の第１の画像に周波数分解するステップと、
    前記複数の第１の画像のうち少なくとも１つの第１の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第１の信号成分に対して第１のノイズ低減処理を行うことにより第２の画像を生成する第１のノイズ低減ステップと、
    前記第２の画像における信号値の絶対値が前記閾値より大きい第２の信号成分に対して、第２のノイズ低減処理を行って第３の画像を生成する第２のノイズ低減ステップとを有し、
    前記第２のノイズ低減ステップにおいて、
    前記第２の信号成分から対象画素を抽出し、
    前記第２の画像から複数の参照画素を抽出し、
    前記入力画像から得られる相関値算出画像から前記対象画素に対応した画素を含む部分領域である対象領域データと前記参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、
    前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
    前記相関値に基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
    前記複数の参照画素と前記重みから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理プログラム。