JP2017130168A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】高解像度化処理を行って増幅されたノイズをＮＬＭフィルタを用いて低減する。
【解決手段】画像処理装置４０４は、入力画像に対して高解像度化処理を行って生成した第１の画像を複数の第２の画像に周波数分解し、複数の第２の画像のうち対象画像に対して高解像度化処理の特性に基づいてノイズ低減処理を行う。ノイズ低減画像を含む複数の第２の画像を合成して第３の画像を生成する。ノイズ低減手段は、対象画像から対象画素を抽出し、対象画像またはそれ以外の第２の画像から複数の参照画素を抽出し、対象画像から対象画素に対応した画素を含む部分領域である対象領域データと複数の参照画素に対応した画素を含む複数の部分領域である複数の参照領域データとの相関値を算出する。高解像度化処理の特性と相関値とに基づいて参照画素に対する重みを与え、複数の参照画素と重みとから算出した信号値を用いて対象画素に対応する出力画素を生成する。
【選択図】図８

Description

本発明は、画像のノイズを低減する画像処理技術に関し、特に高解像度化処理を行った画像からノイズを低減する画像処理技術に関する。

デジタルカメラ等の撮像装置による撮影光学系（以下、単に光学系という）を通した撮像では、該光学系で発生する回折や収差等の影響により１点から発生した光が１点に収束することができず、微小な広がりを持つ。このような微小な広がりを持った分布をＰＳＦ（Point Spread Function:点像強度分布関数）という。撮像により生成された撮影画像には、理想的な被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。撮影画像に対して上記光学系による解像度劣化を補正する高解像度化処理が行われている。高解像度化処理の１つとして従来行われている画像回復処理を以下に示す。

実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下に示す（１）式で書くことができる。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）・ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ （１）
（１）式にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・Ｈ（ｕ，ｖ） （２）
となる。Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。Ｈ（ｕ，ｖ）はＯＴＦ（Optical Transfer Function:光学伝達関数）である。

さらに、（２）式を変形すると、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） （３）
となる。これは周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）をＰＳＦであるｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で除することにより、劣化を受ける前の元の画像ｆ（ｘ，ｙ）のフーリエ変換であるＦ（ｕ，ｖ）を得ることができることを意味する。したがって、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、元の画像ｆ（ｘ，ｙ）を得ることができる。

ただし、実際にこのような処理を行って元の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させ、画像上にリンギングを発生させたりエッジの掘り込み（アンダーシュート）を発生させたりする等の弊害が生ずるおそれがある。このようなノイズの増幅を抑制するための画像回復手法として、（４）式で表されるウィナーフィルタを用いることが知られている。Ｈ（ｕ，ｖ）はＯＴＦ（光学伝達関数）であり、Γはノイズの増幅量を低減するための定数である。さらに言えば、画像回復処理を施す対象の画像に全くノイズが発生していなくても、増幅率が大きくなりすぎると上記リンギングその他の弊害が発生しやすくなる。したがって、Γは増幅率を制御する調整項として利用することが可能であると言える。また、Γは定数ではなくΓ（ｕ，ｖ）として、周波数特性を考慮した調整項としてもよい。以下、λ^f（ｕ，ｖ）を高解像度化処理の周波数特性といい、Γを増幅率調整項という。

また、光学系の光学伝達関数Ｈ（ｕ，ｖ）は、撮影画像のうち領域（部分領域）ごとに異なる特性を持つ。したがって、（４）式で示す高解像度化処理の周波数特性λ^f（ｕ，ｖ）も部分領域ごとに異なる特性としてもよい。ただし、ここでいう部分領域とは、画素単位も含むこととする。（４）式を劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗ずれば、光学系の回折や収差によって発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）・λ^f（ｕ，ｖ） （５）
が得られる。

ウィナーフィルタにおいて、Γを小さくして増幅率を強くすると、高解像度化処理の効果が向上するが、ノイズが著しく増幅されてしまう。一方、Γを大きくして増幅率を弱くすると、ノイズの増幅を抑制することができるが、高解像度化処理の効果が低下する。

高解像度化処理の効果とノイズの抑制とを両立させる方法として、特許文献１および特許文献２にて開示されているように、高解像度化処理を行って取得した高解像度画像に対してノイズ低減処理を行う方法がある。

特許文献１には、高解像度化処理後の画像に対して、シグマフィルタや平均化フィルタ等の２次元フィルタを用いてノイズ低減処理を行う際に、画像位置の関数として決定されたノイズレベルに応じてノイズ低減処理のパラメータを変更する方法が開示されている。

また、特許文献２には、ＮＬＭ（Non-Local Means）フィルタと呼ばれる被写体空間の自己相似性を利用したノイズ低減処理の手法が提案されている。ＮＬＭフィルタは、画像の劣化が少ないノイズ低減処理として知られており、対象画素（注目画素）の信号値を、該注目画素を含む部分領域の構造に似ている複数の部分領域における各画素の加重平均信号値で置換してノイズを低減する。この際、加重平均で用いる重みは、注目画素を中心とする部分領域の各信号値を成分としたベクトルと、該注目画素の周辺にある画素から同様に生成したベクトルの距離に応じて決定される。

特許第５３３７０４９号公報 米国特許第８，４２７，５５９号明細書

しかしながら、特許文献１にて開示されているような局所的なノイズ低減処理では、エッジ等の劣化が生じる場合があり、高解像度化処理の効果を低下させてしまうことがある。また、高解像度化処理を行って取得した高解像度画像に対して特許文献２にて開示されたＮＬＭフィルタによるノイズ低減処理を行うことで、増幅されたノイズを効果的に低減する方法については従来提案されてない。さらに、ＮＬＭフィルタは解像度を保ちつつノイズを低減できる手法として知られているが、設定するパラメータによっては画像の劣化や残留ノイズが生じる場合がある。

本発明は、ＮＬＭフィルタを用いて、高解像度化処理を行って増幅されたノイズを効果的に低減する画像処理装置および撮像装置等を提供する。

本発明の一側面としての画像処理装置は、撮像により生成された入力画像に対して高解像度化処理を行うことにより第１の画像を生成する高解像度化処理手段と、第１の画像を互いに異なる周波数帯域成分からなる複数の第２の画像に周波数分解する周波数分解手段と、複数の第２の画像のうち少なくとも１つの対象画像に対して高解像度化処理の特性に基づいてノイズ低減処理を行うことによりノイズ低減画像を生成するノイズ低減手段と、ノイズ低減画像を含む複数の第２の画像を合成して第３の画像を生成する合成手段とを有する。ノイズ低減手段は、対象画像から対象画素を抽出し、複数の第２の画像のうち対象画像または該対象画像以外の少なくとも１つの参照用の第２の画像から複数の参照画素を抽出し、第１の画像または複数の第２の画像のうち対象画像もしくは該対象画像以外の少なくとも１つのデータ抽出用の第２の画像から、対象画素に対応した画素を含む部分領域である対象領域データと複数の参照画素に対応した画素を含む複数の部分領域である複数の参照領域データとを抽出し、複数の参照領域データのそれぞれに対して、対象領域データとの相関値を算出し、高解像度化処理の特性と相関値とに基づいて、複数の参照画素のそれぞれに対する重みを与え、複数の参照画素と重みとから算出した信号値を用いて対象画素に対応する出力画素を生成することを特徴とする。

なお、上記画像処理装置と入力画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。

また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、高解像度化処理を行って増幅されたノイズをＮＬＭフィルタを用いて効果的に低減することができ、高画質な画像を生成することができる。

本発明の実施例１における画像処理を示すフローチャート。 実施例１における画像回復処理のシフトインバリアント領域と光学伝達関数を示す図。 実施例１における高解像度化処理を行った画像をウェーブレット変換により複数のサブバンド画像に周波数分解した例を示す図。 実施例１におけるサブバンド画像の領域を示す図。 実施例１におけるサブバンド画像における領域ごとの増幅量を示す図。 実施例１におけるサブバンド画像における注目画素と参照画素および注目データと参照データの抽出に関する図。 実施例１における高解像度画像における注目データと参照データの抽出に関する図。 本発明の実施例２である画像処理装置を内蔵した撮像装置を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である画像処理装置が行う画像処理（画像処理方法）の流れを示している。この画像処理は、画像処理装置を構成するコンピュータ（パーソナルコンピュータやＣＰＵ等）がコンピュータプログラムとして画像処理プログラムに従って実行する。該画像処理は、デジタルカメラ等の撮像装置から取得した撮影画像である入力画像に対して高解像度化処理を行った後、高解像度化処理の周波数特性に基づいてノイズ低減処理を行う。本実施例では、高解像度化処理の例として、画像回復処理を用いる手法について説明する。

まず、ステップＳ１０１において、コンピュータは、撮像装置から入力画像としての撮影画像を取得する。撮像装置は、撮影光学系（以下、単に光学系という）により形成された被写体像をＣＭＯＳセンサやＣＣＤセンサ等の撮像素子により撮像（光電変換）して撮影画像を生成する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置（コンピュータ）とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮影画像には、撮影時の焦点距離、Ｆ値、撮影距離、画素サイズ等といった撮影条件情報が付加されている。

図２には、撮影画像を水平方向にＭ分割、垂直方向にＮ分割して示している。撮像装置の光学系の光学特性は一様ではないが、狭い領域であればその中の光学特性を一様とみなすことができる。以下の説明なおいて、この光学系の光学特性が一様である領域をシフトインバリアント領域といい、画像処理もシフトインバリアント領域（ｍ，ｎ）ごとに行う。なお、シフトインバリアント領域は、予め光学系の光学特性を考慮して決定しておくことが好ましい。分割数を増やしてシフトインバリアント領域を細かくすると、後述する画像回復処理等の精度は向上するが、処理速度やデータ量は増えることになる。したがって、処理のコストを考慮してシフトインバリアント領域を決定するとよい。

次にステップＳ１０２では、コンピュータは、入力画像に含まれる第１のノイズ量σ_０を算出する。ここにいうノイズ量とはノイズ分布の標準偏差である。

撮影画像である入力画像に含まれる第１のノイズ量σ_０としては、撮像装置のＩＳＯ感度や輝度レベル等の撮影条件に対するノイズ量データを予め測定してメモリに記憶しておき、撮影画像を取得した撮影時の撮影条件に合致するノイズ量を取得してもよい。

また、第１のノイズ量σ_０を算出する別手法として、ＭＡＤ（Median Absolute Deviation）を用いてもよい。ＭＡＤは、入力画像をウェーブレット変換して取得した最も高周波なＨＨ１のサブバンド画像のウェーブレット係数ｗ_ＨＨ１において、（６）式により算出される。
ＭＡＤ＝ｍｅｄｉａｎ（｜ｗ_ＨＨ１−ｍｅｄｉａｎ（ｗ_ＨＨ１）｜） （６）
入力画像に含まれる第１のノイズ量σ_０は、ＭＡＤと標準偏差が（７）式の関係であることから推定することができる。
σ_０＝ＭＡＤ／０．６７４５ （７）
また、第１のノイズ量σ_０は、入力画像におけるシフトインバリアント領域（ｍ，ｎ）等の一定の範囲を持つ領域ごとに取得してもよいし、画素ごとに取得してもよい。なお、ステップＳ１０２の処理は、ステップＳ１０５を実行する前であれば、ステップＳ１０３およびステップＳ１０４を実行した後で行ってもよい。

次にステップＳ１０３において、コンピュータは、撮像装置の光学系の光学伝達関数を取得する。

光学伝達関数は、式（２）においてＨ（ｕ，ｖ）で表されるように２次元空間におけるＰＳＦの周波数特性である。このため、光学伝達関数はＰＳＦによってその特性が変化する。光学伝達関数は光学系の状態によって膨大な量のバリエーションがある。例として焦点距離が可変なズームレンズの場合は、焦点距離、Ｆ値、撮影距離、画面位置、色（波長）等の組み合わせ分だけ光学伝達関数が存在する。したがって、現実的にはこれらの組み合わせの中から画像回復処理に必要なものだけを保持しておけばよい。なお、保持している撮影条件以外の光学伝達関数は補間処理によって生成してもよい。これら光学伝達関数データは予め光学ＣＡＤ等で計算しておき、上記画像回復処理に適したデータベースにしてメモリに保持しておく。光学伝達関数データベースの画面位置は図２のシフトインバリアント領域に対応するようにしておくことが望ましい。また、光学伝達関数は測定によって求め、データとして保持しておいて使用するときに取得してもよい。

そして、コンピュータは、取得した撮影画像から撮影時の撮影条件（焦点距離、Ｆ値、撮影距離、画素サイズ等）の情報を取得し、予め保持された光学伝達関数データベースの中から上記撮影条件に合致した光学伝達関数を取得する。

次にステップＳ１０４において、コンピュータは、高解像度化処理の周波数特性を算出する。ユーザは画像回復処理の強さを指定し、取得した光学伝達関数を用いて（４）式により高解像度化処理の周波数特性λ^f（ｕ，ｖ）を算出する。

図２に示したシフトインバリアント領域（ｍ，ｎ）を代表する光学伝達関数をＨ_ｍ,ｎ（ｕ，ｖ）とする。このたき、（４）式は、

と書き改めることができる。（８）式により、シフトインバリアント領域（ｍ，ｎ）ごとに高解像度化処理の周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）を算出することができる。

画像回復処理の強さはユーザが分かりやすい０〜１００等のような数値範囲でよい。このときユーザが指定した値に対して、実際に適用する画像回復処理の信号増幅量を設定する。この信号増幅量は（８）式の絶対値（｜λ^f _ｍ,ｎ（ｕ，ｖ）｜）として計算され、Γ_ｍ,ｎによって制御を行う。ここで、信号増幅量は、例えば特定の周波数位置（ｕ，ｖ）における値｜λ^f _ｍ,ｎ（ｕ，ｖ）｜としてもよいし、｜λ^f _ｍ,ｎ（ｕ，ｖ）｜の帯域内の最大値や平均値としてもよい。

次にステップＳ１０５において、コンピュータ（高解像度化手段）は、入力画像に対して、算出した周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）に基づいて高解像度化処理としての画像回復処理を行い、高解像度画像（第１の画像）を取得する。シフトインバリアント領域（ｍ，ｎ）ごとに算出した高解像度化処理の周波数特性λ^f _ｍ,ｎ（ｕ，ｖ）を用いることによって、シフトインバリアント領域（ｍ，ｎ）ごとに最適な画像回復処理を行うことが可能となる。さらに言えば、シフトインバリアント領域の切り替わりで不連続にならないような補間処理を用いると、より良好な画像回復処理による高解像度化処理を行うことが可能となる。また、画像回復処理は、（８）式をフーリエ逆変換して得られる実空間のフィルタを用いて、入力画像に畳み込むことで行ってもよい。その場合、予め生成された実空間のフィルタを前述した光学伝達関数データベースに格納して用いることも可能である。

次にステップＳ１０６において、コンピュータ（周波数分解手段）は、高解像度画像に対してウェーブレット変換（離散ウェーブレット変換）を行う。これにより、高解像度画像は、図３に示すような互いに異なる複数の周波数帯域成分ＨＨ，ＨＬ，ＬＨ，ＬＬからなる複数のサブバンド画像（第２の画像）に周波数分解される。ウェーブレット変換で用いる基底関数は予め数列データとしてメモリに記憶される。そして、コンピュータは、選択した基底関数の数列を取得してウェーブレット変換を行う。本実施例では、変換レベルを３としたときの処理の例について説明するが、変換レベルは３に限定されるものではなく、変更が可能である。

ウェーブレット変換により分解して得られた複数のサブバンド画像は、図４に示すように、画像回復処理時に入力画像を分割処理したときと同様に、水平方向にＭ分割され、垂直方向にＮ分割される。サブバンド画像における各分割領域は、光学系の光学特性（光学伝達関数：ＯＴＦ）に基づいて分割された領域に相当する。そして、各サブバンド画像おけるＭ×Ｎ個の分割領域における分割領域（ｍ，ｎ）ごとに処理を行う。

次にステップＳ１０７において、コンピュータは、入力画像のシフトインバリアント領域（ｍ，ｎ）で行った高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）を取得し、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を算出する。光学伝達関数データベースに実空間のフィルタを格納した場合の増幅量は、予め実空間のフィルタとともに格納したものを用いてもよいし、実空間のフィルタをフーリエ変換して求めてもよい。

上述したように光学系の光学伝達関数Ｈ_ｍ，ｎ（ｕ，ｖ）はシフトインバリアント領域ごとに異なるため、高解像度化処理は撮影画像におけるシフトインバリアント領域ごとの周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）に基づいて行われる。このため、高解像度画像には、シフトインバリアント領域における高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）に基づいて増幅されたノイズを含んでいる。つまり、高解像度化処理によるノイズの増幅量は、各サブバンド画像の複数の分割領域において一様ではなく、分割領域ごとに異なる。したがって、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を（９）式により算出する。（９）式において、Ｎは高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）のデータ数である。

図５には、サブバンド画像の分割領域（ｍ，ｎ）における増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）の算出結果の例を示している。なお、周波数分解の周波数特性Ψ_{ｓｕｂｂａｎｄ}（ｕ，ｖ）は、ウェーブレット変換時に取得した基底関数の数列をフーリエ変換することで取得する。また、予めウェーブレット変換の各基底関数の数列からサブバンドの周波数特性Ψ_{ｓｕｂｂａｎｄ}（ｕ，ｖ）を算出して、メモリに記憶しておき、これを取得してもよい。

次にステップＳ１０８において、コンピュータは、サブバンド画像の各分割領域（ｍ，ｎ）におけるノイズ量（第２のノイズ量）を取得する。ここにいうノイズ量も、ノイズ分布の標準偏差である。

上述したように撮影画像のシフトインバリアント領域（ｍ，ｎ）ごとに行った高解像度化処理の周波数特性λ^ｆ _ｍ，ｎ（ｕ，ｖ）は、シフトインバリアント領域ごとの撮像光学系の光学伝達関数Ｈ_ｍ，ｎ（ｕ，ｖ）に基づいて算出される。このため、サブバンド画像の分割領域ごとにノイズ量が異なる。よって、高解像度化処理の周波数特性に基づいて、サブバンド画像の分割領域（ｍ，ｎ）ごとのノイズ量σ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）を取得する必要がある。

サブバンド画像の分割領域（ｍ，ｎ）ごとのノイズ量σ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）は、ステップＳ１０２で取得した入力画像に含まれるノイズ量σ_０と、ステップＳ１０７で算出した増幅量Ａ_{ｓｕｂｂａｎｄ}（ｍ，ｎ）とを用いて（１０）式により算出される。

次にステップＳ１０９〜Ｓ１１３（ノイズ低減ステップ）において、コンピュータ（ノイズ低減手段）は、サブバンド画像の分割領域（ｍ，ｎ）ごとに取得したノイズ量に基づいて、該分割領域ごとにノイズ低減処理を行う。以下に、ＮＬＭ（Non Local Means）フィルタを用いたノイズ低減処理に関して詳細に説明する。

ステップＳ１０９では、コンピュータは、処理対象となる対象画素（以下、注目画素という）を抽出するとともに複数の参照画素とを抽出する。注目画素は、１回の処理でノイズ低減処理を行う画素であり、単数でも複数でもよい。注目画素は、複数のサブバンド画像（第２の画像）のうち少なくとも１つのサブバンド画像（対象画像）から抽出される。例えば図６に示すように、サブバンド画像２００から注目画素２０１が抽出される。ただし、注目画素のサイズや形状および抽出位置は図６に示したものに限定されない。参照画素は加重平均に用いる画素であり、対象画像または該対象画像以外の少なくとも１つの参照用のサブバンド画像から抽出される。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域成分であるサブバンド画像（対象画像）から抽出することが望ましい。

また、サブバンド画像のある色成分（例えばＧｒｅｅｎ）から注目画素を抽出している場合、サブバンド画像の他の色成分（ＲｅｄやＢｌｕｅ）から参照画素を取得してもよい。また、注目画素の相似形状はその近傍に存在している可能性が高いことから、処理の高速化のため、参照画素の抽出領域を注目画素の近傍に絞ってもよい。または、参照画素の抽出領域を注目画素における高解像度化処理による増幅量に基づいて決定してもよい。例えば、注目画素における高解像度化処理による増幅量から予め設定した範囲内の増幅量である領域から参照画素を抽出する。さらに言うと、注目画素における第２のノイズ量に応じて参照画素の抽出領域を決定してもよく、第２のノイズ量が大きくなるほど抽出領域を大きく設定することでノイズ低減処理の効果を向上することができる。

例えば図６のように、サブバンド画像２００において抽出領域２０２を設定する。ただし抽出領域のサイズや形状は図６に示すものに限定されない。また、参照画素は抽出領域内から抽出し、例えば図６の参照画素２０３のように抽出する。ただし、参照画素のサイズや形状および抽出位置は図６に示すものに限定されない。

ステップＳ１１０では、コンピュータは、注目画素に対応する画素を含む部分領域である注目データ（対象領域データ）と、参照画素に対応する画素を含む部分領域である参照データ（参照領域データ）とを抽出する。ただし、注目データおよび参照データは信号の分布に関する情報を持っている必要があるため、複数の画素のデータである必要がある。したがって、注目画素および参照画素が１画素の場合、注目データおよび参照データは必ず注目画素および参照画素より画素数が多くなる。

また、注目データおよび参照データは、複数のサブバンド画像（第２の画像）のうち対象画像もしくは該対象画像以外の少なくとも１つのデータ抽出用のサブバンド画像から抽出する。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域成分であるサブバンド画像（対象画像）から抽出することが望ましい。例えば、図６のように、サブバンド画像２００から注目データ２０４および参照データ２０５を抽出する。ただし、注目データおよび参照データのサイズや形状および抽出位置は図６に示すものに限定されない。

また、注目データおよび参照データを高解像度画像（第１の画像）から抽出してもよい。例えば、図７に示すように、注目画素に対応する画素３０１および参照画素に対応する画素３０２を含む部分領域を高解像度画像３００から注目データ３０３および参照データ３０４として抽出する。

ステップＳ１１１では、コンピュータは、ステップＳ１１０で取得した注目データと参照データとの相関値を算出する。相関値の算出方法の例として、注目データと参照データの信号差の二乗平均平方根を使用する手法について説明する。ただし、これは例であり、他の算出方法を用いてもよい。また、以下の説明に際しては簡単のため色成分（ＲＧＢ）を考えず、単色信号の場合で式を記述するが、複数の色成分を持つ場合にも同様に適用できる。

注目データおよび参照データを画像の部分領域として、つまりは行列としい扱う場合は、相関算出式ｇは以下の（１１）式のようになる。

式（１１）において、Ｔは注目データにおける各画素の信号値を成分ｔ_ｉｊとする行列、ＮはＴの行数、ＭはＴの列数、Ｒ_ｋはｋ番目の参照データの各信号値を成分ｒ_ｉｊとする行列である。（１１）式で表される相関算出式は、注目データと参照データの差分を見ているため、値が０に近いほど両者の相似性が高いことを意味する。

ここで、注目データおよび参照データの信号から直流成分（平均値を意味し、画像の明るさに相当する）を減算してもよい。相関算出によって判定したいのは、注目データと参照データの持つ構造がどの程度似ているかであるため、その明るさ（直流成分）は無関係である。また両者の相関が最も高くなるように、参照データのコントラストを調整してもよい。これは参照データの交流成分をスカラー倍することに相当する。
また、注目画素における第２のノイズ量に応じて、注目データおよび参照データの画素数を決定してもよい。例えば、第２のノイズ量が大きい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を少なくする。注目データおよび参照データの画素数を少なくすると、相関値が大きくなり、重みが大きくなる参照画素が増加するため、ノイズ低減処理の効果を向上することができる。第２のノイズ量が小さい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を多くすることでノイズ低減処理の効果を抑制することもできる。

ステップＳ１１２では、コンピュータは、各参照画素に対する重みをステップＳ１１１で求めた相関値から設定する。相関が高いほど、その参照データが注目データと類似しているので、重みを大きく設定する。これにより、注目画素周辺の構造を保ったままノイズ低減処理を行うことができる。また、ステップＳ１０８で算出した第２のノイズ量に基づいて重みを設定する。つまり、第２のノイズ量が大きいほど重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の（１２）式のように重みを設定する。

ここでｗ_ｋはｋ番目の参照画素に対応した重みであり、ｃは重み調整パラメータである。重み調整パラメータは定数としてもよいし、ユーザが調整できるようなパラメータとしてもよい。Ｚは重みｗ_ｋの規格化因子であり、以下の（１３）式を満たす。

この際、注目画素における第２のノイズ量に応じて重みを設定する。また、注目画素と参照画素における第２のノイズ量に応じて重みを設定してもよい。例えば、注目画素における第２のノイズ量に対して参照画素における第２のノイズ量が大きい場合は、ノイズが強い画素が参照され、効果の低減や弊害の要因となり得るため、重みを小さく設定する。

ただし、重みの算出方法はこれに限らない。例えばステップＳ１０７で算出した高解像度化処理による増幅量を用いて重みを算出してもよい。その場合は、ステップＳ１０２における第１のノイズ量の取得とステップＳ１０８における第２のノイズ量の取得は省略してもよい。

ステップＳ１１３では、コンピュータは、ステップＳ１１２で設定した重みを用いて参照画素の加重平均を算出し、その値で注目画素の信号値を置換する。これにより、注目画素のノイズ低減処理が完了する。加重平均信号値ｓ_ａｖｅは、例えば以下の（１４）式のように算出する。

ここでｓ_ｋは、ｋ番目の参照データにおける参照画素の信号値である。ただし、加重平均の算出方法はこれに限らない。例えば、非線型結合を用いてもよい。

このように複数の画素の信号値を合成することで信号値が平均化され、ノイズが低減される。この加重平均信号値ｓ_ａｖｅで注目画素を置換することで、該注目画素をノイズ低減処理した出力画素が生成される。注目画素が複数である場合は、（１４）式を各注目画素に対して算出すればよい。またこの際、同時に他のノイズ低減処理の手法を併用してもよい。さらに、前述した置換処理の代わりに、加重平均信号値を参考にして学習型のノイズ低減処理を使用してもよい。

以上のノイズ低減処理をサブバンド画像の全画素に対して行うことで、ノイズ低減処理後のサブバンド画像（ノイズ低減画像）を生成する。また、予めノイズ低減処理を行うサブバンド画像や領域を設定しておき、そのサブバンド画像や領域に対してのみノイズ低減処理を行ってもよい。

次にステップＳ１１４において、コンピュータ（合成手段）は、ノイズ低減処理後の１または複数のノイズ低減画像を含むサブバンド画像（ノイズ低減画像以外のサブバンド画像があればそれらを含む）ＨＨ，ＨＬ，ＬＨ，ＬＬをウェーブレット逆変換により合成する。これにより、ステップＳ１１５において、ノイズ低減処理後の出力画像（第３の画像）を取得する。

上述したノイズ低減処理は、サブバンド画像の領域（ｍ，ｎ）における第２のノイズ量に基づいたものであり、入力画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して適応化されている。したがって、本実施例におけるノイズ低減処理により、高解像度化処理によって増幅されたノイズを効果的に低減することができる。

なお、本実施例では高解像度化処理の例として画像回復処理を用いる手法について説明したが、高解像度化処理の周波数特性を取得できる場合であれば、エッジ強調や超解像等による高解像度化処理を行ってもよい。

次に、本発明の実施例２について説明する。図８には、実施例１で説明した画像処理装置を内蔵した撮像装置の構成を示している。

撮影光学系４０１により形成された被写体の光学像は、撮像素子４０２により撮像（光電変換）される。撮像素子４０２から出力されたアナログ電気信号は、Ａ／Ｄ変換器４０３によりデジタル信号に変換されて画像処理装置としての画像処理部４０４に入力される。撮影光学系４０１および撮像素子４０２により撮像部（撮像手段）が構成される。

画像処理部４０４は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像を生成する。

表示部４０５には、高解像度化処理およびノイズ低減処理を行うか否かをユーザに選択させるためのＧＵＩ（グラフィカルユーザーインターフェース）と、高解像度化処理の強さを決定させるためのＧＵＩとが表示される。ＧＵＩにおいてユーザが高解像度化処理およびノイズ低減処理を行うことを選択し、かつ高解像度化処理の強さを決定すると、画像処理部４０４は撮影画像を入力画像として、実施例１で説明した高解像度化処理およびノイズ低減処理を行う。また、予めユーザが高解像度化処理およびノイズ低減処理を行うことおよび高解像度化処理の強さを決定しておき、画像処理部４０４が取得した撮影画像に対して自動的に高解像度化処理およびノイズ低減処理を行うようにしてもよい。

画像処理部４０４に高解像度化処理を行わせるために、状態検知部４０７は、撮影画像を生成する際における撮像装置の撮影条件の情報を得る。状態検知部４０７は、撮影条件の情報をシステムコントローラ４１０から得てもよい。また、撮像光学系４０１に関する撮影条件の情報については、撮像光学系４０１の絞り４０１ａの動作やフォーカスレンズ４０１ｂの移動を制御する撮像光学系制御部４０６から得てもよい。撮影条件情報は撮影画像に付加され、該撮影画像は画像処理部４０４に接続されている画像記録媒体４０９に記録される。

光学伝達関数情報は、撮像光学系４０１の識別情報及び焦点距離、Ｆ値、撮影距離、画面位置等の撮影条件の組み合わせ毎に、予め記憶部４０８に保持されている。

画像処理部４０４は、高解像度化処理およびノイズ低減処理により生成された出力画像（第３の画像）を半導体メモリや光ディスク等の画像記録媒体４０９に出力して記録させたり、表示部４０５に出力して表示させたりする。以上説明した一連の動作は、ＣＰＵやＭＰＵ等によって構成されるシステムコントローラ４１０により制御される。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

４０１ 撮像光学系
４０２ 撮像素子
４０４ 画像処理部

Claims (15)

1. 撮像により生成された入力画像に対して高解像度化処理を行うことにより第１の画像を生成する高解像度化処理手段と、
   前記第１の画像を互いに異なる周波数帯域成分からなる複数の第２の画像に周波数分解する周波数分解手段と、
   前記複数の第２の画像のうち少なくとも１つの対象画像に対して前記高解像度化処理の特性に基づいてノイズ低減処理を行うことによりノイズ低減画像を生成するノイズ低減手段と、
   前記ノイズ低減画像を含む前記複数の第２の画像を合成して第３の画像を生成する合成手段とを有し、
   前記ノイズ低減手段は、
   前記対象画像から対象画素を抽出し、
   前記複数の第２の画像のうち前記対象画像または該対象画像以外の少なくとも１つの参照用の第２の画像から複数の参照画素を抽出し、
   前記第１の画像または前記複数の第２の画像のうち前記対象画像もしくは該対象画像以外の少なくとも１つのデータ抽出用の第２の画像から、前記対象画素に対応した画素を含む部分領域である対象領域データと前記複数の参照画素に対応した画素を含む複数の部分領域である複数の参照領域データとを抽出し、
   前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
   前記高解像度化処理の特性と前記相関値とに基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
   前記複数の参照画素と前記重みとから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理装置。
2. 前記ノイズ低減手段は、
   前記入力画像に含まれる第１のノイズ量を取得し、
   該第１のノイズ量と前記高解像度化処理の特性とに基づいて、前記複数の第２の画像に含まれる第２のノイズ量を算出し、
   前記第２のノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ低減手段は、少なくとも前記対象画素における前記第２のノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ低減手段は、前記対象画素および前記参照画素における前記第２のノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項２に記載の画像処理装置。
5. 前記ノイズ低減手段は、前記対象画素における前記第２のノイズ量に基づいて前記対象領域データおよび前記参照領域データの画素数を設定することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
6. 前記ノイズ低減手段は、前記第２のノイズ量を、前記高解像度化処理の特性と前記周波数分解に用いる基底関数の周波数特性とに基づいて算出することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記ノイズ低減手段は、前記対象画像から前記複数の参照画素を抽出することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記ノイズ低減手段は、前記対象画像から前記対象領域データと前記参照領域データを抽出することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記ノイズ低減手段は、前記高解像度化処理の特性に基づいて選択した抽出領域から前記参照画素を抽出することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記周波数分解手段は、前記周波数分解を、離散ウェーブレット変換により行うことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記高解像度化処理手段は、前記高解像度化処理を前記撮像に用いられた光学系の光学特性に基づいて行うことを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記高解像度化処理の特性は、前記入力画像のうち前記撮像に用いられる光学系の光学特性に基づいて分割される領域ごとに異なることを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記高解像度化処理の特性は、前記撮像に用いられた光学系の光学特性に基づく周波数特性であることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 請求項１から１３のいずれか一項に記載の画像処理装置と、
    前記撮像を行う撮像手段とを有することを特徴とする撮像装置。
15. コンピュータに撮像により生成された入力画像に対する画像処理を行わせるコンピュータプログラムであって、
    前記画像処理は、
    前記入力画像に対して高解像度化処理を行うことにより第１の画像を生成するステップと、
    前記第１の画像を互いに異なる周波数帯域成分からなる複数の第２の画像に周波数分解するステップと、
    前記複数の第２の画像のうち少なくとも１つの対象画像に対して前記高解像度化処理の特性に基づいてノイズ低減処理を行うことによりノイズ低減画像を生成するノイズ低減ステップと、
    前記ノイズ低減画像を含む前記複数の第２の画像を合成して第３の画像を生成するステップとを有し、
    前記ノイズ低減ステップにおいて、
    前記対象画像から対象画素を抽出し、
    前記複数の第２の画像のうち前記対象画像または該対象画像以外の少なくとも１つの参照用の第２の画像から複数の参照画素を抽出し、
    前記第１の画像または前記複数の第２の画像のうち前記対象画像もしくは該対象画像以外の少なくとも１つのデータ抽出用の第２の画像から、前記対象画素に対応した画素を含む部分領域である対象領域データと前記複数の参照画素に対応した画素を含む複数の部分領域である複数の参照領域データとを抽出し、
    前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
    前記高解像度化処理の特性と前記相関値とに基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
    前記複数の参照画素と前記重みとから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理プログラム。