JP2016201037A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像データを用いるノイズ低減処理において、残留ノイズムラを抑制した画像データのノイズ低減処理を行う。
【解決手段】本発明における画像処理装置は、ノイズ低減対象の基準画像データの着目画素を含む着目領域と、基準画像データとは異なる参照画像データの複数の参照画素のうち少なくとも１つを含む参照領域と、を比較することにより、着目画素と複数の参照画素それぞれとの類似度を導出する。画像処理装置は、参照画像データにおいて着目画素に対応する位置に存在する対応画素と、複数の参照画素それぞれとの距離を導出し、類似度と、距離とに基づいて複数の参照画素それぞれの重みを導出する。画像処理装置は、複数の参照画素それぞれの画素値に重みによる加重平均を適用することにより、着目画素の画素値を決定する。
【選択図】図４

Description

本発明は、画像データに含まれるノイズ低減処理を行う画像処理装置、画像処理方法およびプログラムに関する。

従来より、デジタルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く一般に利用されている。これらのようなデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することにより、画像データを生成する。画像データを生成する過程において、撮像素子や回路の特性によっては暗電流ノイズ、熱ノイズ、ショットノイズなどが発生し、画像データにノイズが混入する場合がある。近年の撮像素子の小型化、高画素化に伴い、画像データの画素ピッチが極小化する傾向にあるため、画像データに混入するノイズが目立ちやすくなっている。特に、デジタル撮像装置の撮影感度を高くした場合には、画像データに混入するノイズが顕著となり、その結果撮像した画像データの画質が劣化する大きな要因となっている。

画像処理の分野では、空間方向または時間方向に画素値を平均処理することにより、画像データに含まれるノイズを低減する手法が知られている。空間方向のノイズ低減処理では、処理対象の着目画素近傍の画素値を平均することにより、着目画素の画素値を補正し、ノイズを低減する。また、時間方向のノイズ低減処理では、連続撮影した複数の画像データ間で、着目画素と同じ位置に存在する対応画素の画素値を平均することにより、着目画素の画素値を補正し、ノイズを低減する。

ところが、時間方向のノイズ低減処理において、着目画素が動被写体領域の画素である場合、平均処理を施した画像の動被写体が多重になったりぼけたりすることがある。これは、着目画素が動被写体領域の画素、対応画素が静止被写体領域の画素のように、着目画素と対応画素のそれぞれの画素値が大きく乖離している場合、着目画素の画素値がそれぞれの乖離した画素値の平均によって置き換えられるからである。

このような課題を解決するために、画像処理の分野では、複数の参照画素に対してそれぞれ重み付けを行い、当該重みによる加重平均を適用することにより、画像データのノイズを低減する手法が知られている。例えば、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法では、着目画素を含む画素の集合である着目領域と、着目領域近傍の画素の集合である参照領域とのブロックマッチングを用いて各参照画素の重みを決定する技術が提案されている（特許文献１）。あるいはまた、着目画素を含む画素の集合である着目領域と、対応画素を含む画素の集合である対象領域とのブロックマッチングを、連続撮影した複数の画像データや、動画撮影した複数のフレームに適用する技術も提案されている（特許文献２）。このように、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法などのブロックマッチングを用いて各参照画素の重みを決定し、当該重みによる加重平均を施すことにより、出力画像の動被写体が多重になったりぼけたりする現象を低減することができる。

特表２００７−５３６６６２号公報 特開２０１０−１４１６６３号公報

しかしながら、上記説明したＮｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法などのブロックマッチングを適用したノイズ低減処理では、出力画像に残留ノイズムラが目立ってしまうという課題が生じていた。一般に、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法などのブロックマッチングを適用してノイズ低減処理を行う場合、着目領域と近似する画素値を有する参照領域の画素に対して大きな重みが付与される。そのため、着目領域にノイズが混入していた場合、本来近似しない参照領域の画素に対して大きな重み付けがなされてしまう場合がある。逆に、参照領域にノイズが混入していた場合、本来近似しているはずの参照領域の画素に対して小さな重み付けがなされてしまう場合がある。誤った重みに基づいて加重平均処理が行われ、着目画素に対して誤った画素値の補正が施されると、画像データにノイズが残留したままになってしまう。この結果、出力画像に残留ノイズムラと呼ばれるムラが発生してしまう場合がある。複数の画像データに対してブロックマッチングを適用する場合、空や建物などの静止被写体が存在する平坦領域において、特に残留ノイズムラが目立ってしまうという課題があった。

本発明にかかる画像形成装置は、複数の画像データを用いて基準画像データに含まれるノイズを低減する画像処理装置であって、ノイズ低減対象の基準画像データの着目画素を含む着目領域と、前記基準画像データとは異なる参照画像データの複数の参照画素のうち少なくとも１つを含む参照領域と、を比較することにより、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する類似度導出手段と、前記参照画像データにおいて前記着目画素に対応する位置に存在する対応画素と、前記複数の参照画素それぞれとの距離を導出する距離導出手段と、前記類似度と、前記距離とに基づいて前記複数の参照画素それぞれの重みを導出する重み導出手段と、前記複数の参照画素それぞれの画素値に前記重みによる加重平均を適用することにより、前記着目画素の画素値を決定する決定手段とを備えることを特徴とする。

本発明の画像処理装置、画像処理方法及びプログラムによれば、複数の画像データを用いるノイズ低減処理において、残留ノイズムラを抑制したノイズ低減処理を行うことができる。

実施形態における画像処理装置のハードウェア構成を示すブロック図である。 実施形態における画像データのノイズ低減方法を示す図である。 実施形態におけるノイズ低減方法で参照される関数を示す図である。 実施形態における画像処理装置のソフトウェア機能構成を示すブロック図である。 実施形態における画像処理装置の処理内容を示すフローチャートである。 実施形態における参照画素の選択方法を示す模式図である。 実施形態における参照領域の選択方法を示す模式図である。 実施形態における距離の導出方法を示す模式図である。 実施形態２における画像処理装置のソフトウェア機能構成を示すブロック図である。 実施形態２における画像処理装置の処理内容を示すフローチャートである。 実施形態２における係数テーブルの一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らない。

［実施形態１］
図１は、本実施形態における画像処理装置１の構成を示す図である。本実施形態における画像処理装置１の構成について、図１を参照して説明する。画像処理装置１は、ＣＰＵ１０１、ＲＡＭ１０２、ハードディスクドライブ（以下「ＨＤＤ」と記す）１０３、汎用インターフェース（以下インターフェースは「Ｉ／Ｆ」と記す）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆ１０４は、カメラなどの撮像装置１０５、マウスやキーボードなどの入力装置１０６、及びメモリーカードなどの外部メモリ１０７と、画像処理装置１のメインバス１０９とを相互に通信可能に接続する。

本実施形態において説明される各種処理は、ＨＤＤ１０３に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって動作されることにより実現される。まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを呼び出し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェースを表示させる処理を実行する。次に、画像処理アプリケーションの処理に従って、ＣＰＵ１０１は、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データをＲＡＭ１０２に読み込む。同様に、ＣＰＵ１０１は、画像処理アプリケーションの処理に従って、撮像装置１０５で撮影されたＲＡＷ画像データや、入力装置１０６を介して入力を受け付けたユーザからの指示などをＲＡＭ１０２に読み込む。次に、ＣＰＵ１０１は、画像処理アプリケーションの処理に従って、ＲＡＭ１０２に格納された各種データに対して各種演算処理を施す。

ＣＰＵ１０１は、画像処理アプリケーションの処理に従って、演算結果をモニタ１０８に表示し、または再びＨＤＤ１０３や外部メモリ１０７に格納する処理を実行する。尚、各種データと各種データの格納領域とは実施形態に限定されるものではない。ＨＤＤ１０３や外部メモリ１０７に格納されたＲＡＷ画像データが、ＲＡＭ１０２に読み込まれる態様であってもよい。さらには、画像処理装置１のネットワークＩ／Ｆ（不図示）が、画像処理装置１とネットワークを介して接続される外部サーバからＲＡＷ画像データを受信し、受信したＲＡＷ画像データをＲＡＭ１０２に読み込んでもよい。

次に、本実施形態の要部である、入力された画像データに対してノイズ低減処理を施し、補正した画像データを出力する処理内容の詳細について説明する。

（Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法）
本実施形態では、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ法（以下「ＮＬＭ法」と記す）を用いて画像データに含まれるノイズを低減する。ＮＬＭ法では、加重平均処理と呼ばれる処理により着目画素の画素値を置き換える。より詳細には、ノイズ低減対象となる着目画素の画素値と、着目画素の周辺に存在する複数の参照画素の画素値とに対して適応的な重みをかけ、重みかけした画素値を全て加算した結果で着目画素の画素値を置き換える。画像データに含まれる画素それぞれに対して、上述の着目画素の画素値の置き換え処理を施すことにより、画像データに含まれるノイズを低減する。

参照画素の画素数をＮＳ、参照画素の画素値をＩｊ（ｊ＝１〜ＮＳ）、参照画素の重みをｗｊ（ｊ＝１〜ＮＳ）とすると、ノイズ低減処理後の着目画素の画素値Ｉnewは次式によって表される。

次に、参照画素の重みを算出する方法について、図２及び図３を参照して説明する。図２（ａ）は、左上の画素を原点（０，０）として各画素の画素値をＩ（ｘ，ｙ）と表すことができる画像データ２００の一例を示す。画像データ２００は、ノイズ低減対象となる着目画素２０１を有し、着目画素２０１の画素値はＩ（４，４）である。着目画素２０１を中心とした３×３画素の矩形領域は、着目領域２０２である。着目画素２０１を含む５×５画素（ＮＳ＝２５）の矩形領域は、参照画素２０３が存在する領域である。本実施例においては、着目画素２０１を含む５×５画素の矩形領域のいずれかに参照画素２０３が存在する。

一方、参照画素２０３を中心とした３×３画素の矩形領域は、参照領域２０４である。本実施例では、参照領域２０４は、着目領域２０２と同サイズの３×３画素の矩形領域である。尚、参照領域２０４は参照画素２０３毎に存在するが、図２（ａ）の図示例では、参照画素２０４が画像データ２００の座標系（２，２）に存在する場合の参照領域２０４のみを示している。

参照画素２０３の重みを得るために、まず、着目領域２０２と参照領域２０４とを比較して類似度Ｃｊを算出する。例えば、図２（ｂ）に示されるように、着目領域２０２に存在するそれぞれの画素の画素値をｂｓ（ｐ，ｑ）、参照領域２０４に存在するそれぞれの画素の画素値をｂｊ（ｐ，ｑ）（ｊ＝１〜ＮＳ）とする。着目領域２０２における（ｘ，ｙ）＝（０，１）と、参照領域２０４における（ｘ，ｙ）＝（０，１）等のように、着目領域２０２と参照領域２０４のそれぞれの座標系において空間的に対応する画素の画素値の差を２乗する。次いで、それぞれの座標系において空間的に対応する画素の画素値の差を２乗したものを、さらに合計した値を類似度とする。このとき、類似度Ｃjは次式によって表される。

本実施形態においては、類似度Ｃｊの値が小さいほど着目領域２０２と参照領域２０４の濃淡が類似する。すなわち、着目領域２０２の画素の画素値と、参照領域２０４の画素の画素値とが近似する値となる。尚、本実施例では上記の数式を用いて類似度を取得する態様について説明したが、これに限定されず、類似度を他の方法により取得することもできる。

次に、算出された類似度Ｃｊに応じて、参照画素２０３の重みＷｊを決定する。図３は、類似度Ｃｊから重みＷｊを決定するために参照される関数の一例を示す図である。図３に示される関数によると、類似度Ｃｊの値が小さいほど重みＷｊの値が大きくなり、類似度Ｃｊの値が大きいほど重みＷｊの値が小さくなるように重みＷｊを決定することができる。本実施例において、図３に示される関数は例えば次式によって表される。

ここで、ｈは重みＷｊの大きさを制御する変数である。変数ｈを大きくすると着目画素２０１のノイズ低減効果が高くなるが、着目画素２０１のエッジがぼける。

以下同様に、着目領域２０２と、参照領域２０４とを順次比較して類似度Ｃｊを算出し、算出した類似度Ｃｊに基づいて参照画素２０３それぞれの重みＷｊを得ることができる。

尚、本実施例のノイズ低減処理において、着目画素２０１が存在する画像データ２００から参照画素２０３を選択する態様を示したが、着目画素２０１が存在しない異なる画像データから参照画素２０３を選択してもよい。異なる画像データから参照画素２０３を選択する場合、異なる画像データは、同じ撮像装置で同じ被写体を連写して得られた画像データのように、同じ被写体に由来する異なる画像データであることが望ましい。あるいはまた、着目画素２０１が存在する画像データ２００と、着目画素２０１が存在しない異なる画像データとの、双方から参照画素２０３を選択することもできる。尚、本実施形態では、着目画素２０１を含む画像データ２００を基準画像データとし、参照画素２０３を含む画像データを参照画像データとして説明する。

（画像処理装置１のソフトウェア機能構成）
図４は、本実施形態における画像処理装置１のソフトウェア機能構成を示すブロック図である。以下、図４のブロック図を参照して画像処理装置１のソフトウェア機能について説明する。なお、図４のソフトウェア機能ブロック図によって説明される処理は、ＨＤＤ１０３に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

図４において、制御部４００は、類似度導出部４０２、距離導出部４０３などの各処理モジュールを管理する。入力部４０１は、撮像装置１０５、ＨＤＤ１０３、または外部メモリ１０７から画像データを入力する。本実施形態では、入力部４０１は、ノイズ低減対象である基準画像データと、基準画像データのものと同じ被写体を撮影することにより生成された１または複数の参照画像データとを入力する。入力部４０１は、撮像装置１０５から画像データを入力してもよいし、撮像装置１０５で撮影した画像データを一旦ＨＤＤ１０３などの記憶装置に記憶した後で、記憶装置から画像データを入力してもよい。

類似度導出部４０２は、入力部４０１が入力した基準画像データの各画素と、参照画像データの各参照画素との類似度を導出する。尚、類似度導出方法の詳細については後述する。

距離導出部４０３は、入力部４０１が入力した基準画像データの各画素間と、基準画像データまたは参照画像データの各参照画素との距離を導出する。尚、距離導出方法の詳細については後述する。

重み導出部４０４は、類似度導出部４０２及び距離導出部４０３で導出した類似度及び距離に基づいて各参照画素の重みを導出する。尚、重み導出方法の詳細については後述する。

決定部４０５は、各参照画素の画素値に、重み導出部４０４で導出した重みによる加重平均を適用することにより、着目画素の画素値を決定する。尚、画素値の決定方法の詳細については後述する。

出力部４０６は、入力部４０１によって入力された複数の画像データと、決定部４０５が決定した各着目画素の画素値と、に基づいて基準画像データを補正し、補正後の画像データを、モニタ１０８やＨＤＤ１０３等に出力する。尚、出力先はこれらに限られるものではなく、例えば、出力部４０６は、汎用Ｉ／Ｆ１０４を介して接続される外部メモリ１０７や、不図示のプリンタ、またはネットワークを介して接続される外部サーバ等に出力してもよい。

（メイン処理フロー）
図５は、本実施形態における画像処理装置１の処理の内容を示すフローチャートである。以下、図５のフローチャートを参照して画像処理装置１の処理内容について説明する。なお、図５に示されるフローチャートによる処理は、ＨＤＤ１０３に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。

Ｓ５０１において、入力部４０１は複数の画像データを入力する。本実施形態では、入力部４０１は、ノイズ低減対象である基準画像データと、基準画像データのものと同じ被写体を撮影することにより生成された１または複数の参照画像データとを入力する。尚、本実施例では、複数の画像データのサイズは各々幅Ｘ画素、高さＹ画素であることを前提に説明する。また、本実施例において、入力部４０１は、１つの基準画像データと、２つの参照画像データとを入力する態様について説明する。また、実施例の説明において、各画像データの左上の画素を基準として、基準画像データの画素値をＩ０（ｘ，ｙ）、２つの参照画像データの画素値をそれぞれＩ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）と表現して説明する。但し、ｘ，ｙは０≦ｘ＜Ｘ，０≦ｙ＜Ｙを満たす整数である。勿論、参照画像データの数は２つに限られるものではなく、１つでもよいし、３つ以上でもよい。

Ｓ５０２において、制御部４００は、ノイズ低減対象である基準画像データから着目画素を選択する。制御部４００は着目画素を任意に選択可能であり、例えば左上Ｉ０（０，０）から右下Ｉ０（ｘ−１，ｙ−１）へと順次選択することができる。

Ｓ５０３において、制御部４００は基準画像データまたは参照画像データから参照画素を選択する。制御部４００は参照画素を任意に選択可能であるが、一般に基準画像データにおける着目画素の近傍画素及び、参照画像データにおける着目画素に対応する対応画素の近傍を選択すれば、基準画像データについて充分なノイズ低減効果を得ることができる。

ここで、図６を参照して参照画素の選択方法の例について説明する。図６は、本実施形態における参照画素の選択方法を示す模式図である。図６において、基準画像データ６０１は、着目画素Ｉ０（ｘ０，ｙ０）６０４を有する。同様に、参照画像データ６０２、６０３は、着目画素６０４に対応する対応画素Ｉ１（ｘ０，ｙ０）６０５、対応画素Ｉ２（ｘ０，ｙ０）６０６をそれぞれ有する。さらに、着目画素６０４を含む５×５画素の矩形領域は、参照画素６０７が存在する領域である。本実施例においては、着目画素６０４を含む５×５画素の矩形領域のいずれかに参照画素６０７が存在する。同様に、対応画素６０５、６０６を含む５×５画素の矩形領域は、参照画素６０８、６０９が存在する領域である。本実施例においては、対応画素６０５、６０６を含む５×５画素の矩形領域のいずれかに参照画素６０８、６０９が存在する。

図６に示されるように、制御部４００は、着目画素近傍及び対応画素近傍に存在する画素の中から参照画素を選択することができる。尚、本実施形態では図６において、着目画素６０４または対応画素６０５、６０６の近傍５×５画素の領域に存在する画素の中から参照画素を選択する態様を示している。しかし、他の実施形態では、参照画素の選択方法はこれに限られない。例えば、制御部４００は、着目画素６０４または対応画素６０５、６０６の近傍３×３や７×７など異なる領域に存在する画素の中から参照画素を選択してもよい。あるいはまた、制御部４００は、基準画像データ６０１または参照画像データ６０２、６０３に存在する画素の中からそれぞれランダムに参照画素を選択してもよい。さらに、制御部４００は、必ずしも基準画像データ６０１と参照画像データ６０２、６０３の全てについて参照画素を設定しなくてもよい。例えば、制御部４００は、参照画像データ６０２、６０３のみについて参照画素を設定する態様であってもよい。また、入力部２０１が入力した画像データが、ベイヤ配列などのカラーフィルタを備える撮像装置で撮影されたＲＡＷ画像データであった場合、制御部４００は入力された画像データについて１画素おきに参照画素を設定する態様であってもよい。

再び図５に戻り、Ｓ５０４において、類似度導出部４０２は、Ｓ５０２で選択した着目画素を含む着目領域と、Ｓ５０３で選択した参照画素を含む参照領域とを比較する。

Ｓ５０５において、類似度導出部４０２は、Ｓ５０２で選択した着目画素と、Ｓ５０３で選択した参照画素との類似度Ｃｊを導出する。本実施形態において、類似度導出部４０２は、Ｓ５０４の比較処理およびＳ５０５の導出処理を、前述の数式（２）に従って行うことができる。類似度導出部４０２は、Ｓ５０４およびＳ５０５の処理の結果、類似度Ｃｊを導出することができる。

ここで、図７を参照して参照領域の選択方法の例について説明する。図７において、基準画像データ６０１は、着目画素６０４を含む着目領域６１０を有する。本実施形態では、着目画素６０４を中心とした３×３画素の矩形領域は、着目領域６１０である。

一方、図７の基準画像データ６０１において、参照画素６０７を中心とした３×３画素の矩形領域は、参照領域６１１である。同様に、図７の参照画像データ６０２、６０３において、参照画素６０８、６０９を中心とした３×３画素の矩形領域は、それぞれ参照領域６１２、６１３である。本実施形態では、参照領域６１１、６１２、６１３は、それぞれ着目領域６０４と同サイズの３×３画素の矩形領域である。

再び図５に戻り、Ｓ５０６において、制御部４００は、Ｓ５０５で導出した類似度Ｃｊが所定の閾値Ｅｔｈ以下か否かを判定する。即ち、制御部４００は、着目画素６０４と参照画素とが類似しているか否かを判定する。類似度Ｃｊが閾値Ｅｔｈ以下であれば（Ｓ５０６：Ｙｅｓ）着目画素６０４と参照画素とが類似していると判定され、Ｓ５０７に移行する。類似度Ｃｊが閾値Ｅｔｈよりも大きければ（Ｓ５０６：Ｎｏ）着目画素６０４と参照画素とが類似していないと判定され、再びＳ５０３に戻る。Ｓ５０６において、類似度Ｃｊが閾値Ｅｔｈよりも大きいか判定することにより、後述のＳ５０８において、重み導出部４０４は、着目画素６０４と類似していない参照画素を予め除外して重みを導出することができる。

これは、基準画像データ６０１と参照画像データ６０２、６０３とが動被写体を連続して撮影した複数の画像である場合に有効な処理である。つまり、着目画素６０４が動被写体領域に属する画素であり、参照画素６０８、６０９が静止被写体領域に属する画素である場合、着目画素６０４と参照画素６０８、６０９の画素値が大きく相違することがある。本実施形態では、このような着目画素６０４と類似していない参照画素を予め除外して重みを導出することにより、画像データに対するノイズ低減処理の精度を向上させることができる。

Ｓ５０７において、距離導出部４０３は、着目画素６０４または対応画素６０５、６０６と、参照画素６０７、６０８、６０９との距離Ｄｊを導出する。ここで、距離Ｄｊは、例えば基準画像データ６０１における着目画素６０４と参照画素６０７との間、または参照画像データ６０２における対応画素６０５と参照画素６０８との間のように、画像データ毎に決定される空間方向の距離である。

ここで、図８を参照して距離Ｄｊの導出方法について説明する。図８は、本実施形態における距離Ｄｊの導出方法を示す模式図である。図８において、符号６０１から６０９は、図７と同じ構成を示す。

距離導出部４０３は、基準画像データ６０１における着目画素６０４と参照画素６０７との間の距離８０１を導出する。同様に、距離導出部４０３は、参照画像データ６０２、６０３における対応画素６０５、６０６と参照画素６０８、６０９との間のそれぞれの距離８０２、８０３を導出する。

図８に示される通り、本実施形態においては、距離Ｄｊは画像データ毎の空間方向の距離であるから、着目画素と参照画素とが同一の画素である場合（例えば参照画素６０４となる場合）、常に距離Ｄｊは最小値が導出される。同様に、対応画素６０５、６０６と参照画素６０８、６０９とがそれぞれ同一の画素である場合、常にそれぞれ距離Ｄｊは最小値が導出される。尚、重み導出部４０４は、ユークリッド距離やマンハッタン距離など所望の方法を用いて距離Ｄｊを導出することができる。

再び図５に戻り、Ｓ５０８において、重み導出部４０４は、Ｓ５０５で導出された類似度Ｃｊと、Ｓ５０７で導出された距離Ｄｊとに基づき、参照画素の重みを導出する。より詳細には、重み導出部４０４は、次式より重みＷｊを得ることができる。

ここで、Ｈは重みＷｊの大きさを制御する変数である。本実施形態において、重み導出部４０４は、着目画素（または対象画素）と参照画素との距離Ｄｊが小さいほど、当該参照画素の重みを大きく導出する。逆に、重み導出部４０４は、着目画素（または対象画素）と参照画素との距離Ｄｊが大きいほど、当該参照画素の重みを小さく導出する。対応画素と参照画素との関係も同様である。本実施形態における重み導出処理では、上記の通り類似度Ｃｊに加えて、距離Ｄｊを加味したうえで参照画素の重みを導出している。そのため、類似度Ｃｊが大きくても（すなわち、着目画素と参照画素とが互いに似ていない場合）、距離Ｄｊが小さければ大きい重みＷｊが導出される場合がある。逆に、類似度Ｃｊが小さくても（すなわち、着目画素と参照画素とが互いに似ている場合）、距離Ｄｊが大きければ小さい重みＷｊが導出される場合がある。尚、本実施形態における重み導出部４０４は、類似度Ｃｊ、距離Ｄｊ、および変数Ｈを用いて上記の式（４）を参照することにより重みＷｊを導出した。しかし、重みＷｊの導出方法は、距離Ｄｊが小さいほど重みＷｊの値が大きく、距離Ｄｊが大きいほど重みＷｊの値が小さくなるように決定できれば、実施形態のものに限られるものではない。

再び図８を参照し、本実施形態のノイズ低減処理について、具体的数値を適用して説明する。着目画素６０４と、参照画素６０４、６０５、６０６、６０７、６０８、６０９との類似度それぞれをＣ６０４、Ｃ６０５，Ｃ６０６、Ｃ６０７、Ｃ６０８、Ｃ６０９で表し、本実施例において、それぞれの類似度は以下の値であるとする。尚、このとき参照画素６０４は、基準画像データ６０１の座標系において、着目画素６０４と同じ座標に位置している。対応画素６０５、６０６と参照画素６０５、６０６についても同様である。
Ｃ６０４＝０．０
Ｃ６０５＝２．７
Ｃ６０６＝１．３
Ｃ６０７＝０．６
Ｃ６０８＝２．７
Ｃ６０９＝１．９

次に、着目画素６０４と、参照画素６０４、６０７との距離をそれぞれＤ６０４、Ｄ６０７で表す。同様に、対応画素６０５と、参照画素６０５、６０８との距離をそれぞれＤ６０５、Ｄ６０８で表す。同様に、対応画素６０６と、参照画素６０６、６０９との距離をそれぞれＤ６０５、Ｄ６０８で表す。本実施例において、それぞれの距離は以下の値であるとする。
Ｄ６０４＝０．０
Ｄ６０５＝０．０
Ｄ６０６＝０．０
Ｄ６０７＝２．８
Ｄ６０８＝２．０
Ｄ６０９＝１．４

類似度および距離がそれぞれ上記の値となる場合、参照画素６０４、６０５、６０６、６０７、６０８、６０９の重みは、それぞれＷ６０４、Ｗ６０５、Ｗ６０６、Ｗ６０７、Ｗ６０８、Ｗ６０９で表す。Ｈ＝１０．０とした場合、前述の数式（４）を適用すると、それぞれの重みは以下の値となる。
Ｗ６０４＝１．００
Ｗ６０５＝０．７６
Ｗ６０６＝０．８８
Ｗ６０７＝０．７１
Ｗ６０８＝０．６３
Ｗ６０９＝０．７２

以上説明した通り、本実施例において、類似度Ｃの値が小さい参照画素６０７よりも、距離Ｄの値が小さい参照画素６０５、６０６、６０９の方が、対応する重みＷ６０５、Ｗ６０６、Ｗ６０９の値が大きくなる。つまり、従来技術におけるＮＬＭ法によるブロックマッチングとは異なり、本実施形態における画像処理装置１は、着目領域と参照領域との類似度に加えて、着目画素（または対応画素）と参照画素との距離を加味したうえで、参照画素の重みを導出する。そのため、本実施形態における画像処理装置１は、参照領域の画素にノイズが含まれているような場合、本来とは異なる重みの値が導出され、着目画素に対して誤った画素値の補正が行われるのを抑制することができる。このような処理の結果、本実施形態における画像処理装置１は、ＮＬＭ法によるブロックマッチングに起因して発生する残留ノイズムラを抑制することが可能になる。

動被写体に現れる多重やぼけを抑制し、さらに静止被写体に現れる残留ノイズムラを抑制するために、動被写体領域に対してはブロックマッチングによるノイズ低減処理を、静止被写体領域に対しては平均処理によるノイズ低減処理を施す手法も考えられる。しかしながら、この手法によるノイズ低減処理では、複数の画像データそれぞれに対して、画像データにおける動被写体領域と静被写体領域とを区分するための処理が別途必要になる。複数の画像データが動画を構成するフレームなどであった場合、画像形成装置１のＣＰＵ１０１の負荷が高くなり、画像データに対して煩雑な処理を行う必要が生じる。

一方、上記の例において、参照画素６０７よりも参照画素６０５、６０６、６０９の方が大きい重み付けがなされる。一般に、参照画素６０５、６０６、６０９のような参照画素は、着目画素６０４との関係において、平均処理を行う際に用いられる画素群である。本実施形態のノイズ低減処理によれば、例えば数式（４）に表されるように、着目領域と参照領域との類似度に加えて、着目画素（または対応画素）と参照画素との距離を加味したうえで、参照画素の重みを導出する。そのため、従来技術におけるノイズ低減処理に対して、大幅な変更を加えることを必要とせずに、残留ノイズムラを抑制したノイズ低減処理を実現することができる。

尚、前述の数式（２）において、類似度Ｃｊは、着目領域の画素数Ｎｂ（例えば、図２の参照領域２０４においてはＮｂ＝９）の値に応じて可変し、Ｎｂの値が大きくなるほど、類似度Ｃｊの値も大きくなる。そのため、類似度Ｃｊは、着目領域の画素数Ｎｂの値に応じて導出されることが好ましい。一方、距離Ｄｊは、着目画素から最も離れた参照画素との距離Ｄｍａｘとその導出方法に応じて可変する（例えば、図２（ａ）において、着目画素２０１と参照画素２０３との距離Ｄｊを、ユークリッド距離を用いて算出した場合、Ｄｍａｘ＝２．８となる）。そこで、距離Ｄｊは、着目領域の画素数Ｎｂ及び距離Ｄｊの最大値Ｄｍａｘに基づいて導出してもよい。例えば、着目画素と参照画素との距離をｄとすると、着目画素と参照画素との距離は次式によって表される。

ここで、ｋは距離Ｄｊの大きさを制御する変数である。変数ｋを小さくすると類似度Ｃｊにより重みが決定される割合が大きくなり、変数ｋを大きくすると距離Ｄｊにより重みが決定される割合が大きくなる。

再び図５に戻り、Ｓ５０９において、Ｓ５０３で選択した全参照画素の重みの導出が完了したかを判定する。全参照画素の重みの導出が完了している場合（Ｓ５０９：Ｙｅｓ）、Ｓ５１０に移行し、全参照画素の重みの導出が完了していない場合（Ｓ５０９：Ｎｏ）、再びＳ５０３に移行して処理を継続する。

Ｓ５１０において、決定部４０５は、各参照画素の画素値に、重み導出部４０４で導出した重みによる加重平均を適用することにより、着目画素の画素値を決定する。本実施形態において、決定部４０５は、Ｓ５１０の画素値決定処理を、前述の数式（１）に従って行うことができる。具体的には、各参照画素それぞれの画素値に対して、Ｓ５０８で導出された各重みによる加重平均を適用することにより画素値を決定する。決定部４０５は、Ｓ５１０の処理の結果、ノイズ低減処理後の着目画素の画素値を決定することができる。

Ｓ５１１において、Ｓ５０１で入力された基準画像データの全画素について、画素値決定処理（Ｓ５１０）が完了したかを判定する。基準画像データの全画素について画素値決定処理が完了している場合（Ｓ５１１：Ｙｅｓ）、Ｓ５１２に移行し、基準画像データの全画素について画素値決定処理が完了していない場合（Ｓ５１１：Ｎｏ）、再びＳ５０３に移行して処理を継続する。

最後に、Ｓ５１２において、出力部４０６は、Ｓ５０１で入力された画像データと、Ｓ５１０で決定された画素値と、に基づいて基準画像データを補正し、補正後の画像データを出力する。

以上説明した通り、本実施形態における画像処理装置は、複数の画像データを用いるノイズ低減処理において、残留ノイズムラを抑制したノイズ低減処理を行うことができる。

［実施形態２］
実施形態１では、複数の画像データを用いるノイズ低減処理において、着目画素と参照画との類似度に加えて、着目画素と参照画素との距離を加味して重みを決定する、画像データのノイズ低減処理について説明した。ここで、手持ちの撮像装置で撮影した複数の画像データに対して、画像データのノイズ低減処理を施した場合について考える。この場合、複数の画像データがそれぞれ静止被写体を撮影したものであっても、手ブレに起因するエッジ部分の画素ズレが生じる可能性があり、補正後の画像データに多重像やぼけが含まれる場合がある。そこで、本実施形態では、実施形態１におけるノイズ低減処理に加えて、着目画素がエッジ部に存在するか平坦部に存在するかをさらに判定し、当該判定結果を考慮して重みを導出するノイズ低減処理について説明する。尚、以下の実施形態２の説明において、実施形態１の説明と重複する内容については説明を割愛し、実施形態１と差異を有する内容のみ説明する。

図９は、本実施形態における画像処理装置１のソフトウェア機能構成を示すブロック図である。以下、図９のブロック図を参照して画像処理装置１のソフトウェア機能について説明する。なお、図９のソフトウェア機能ブロック図によって説明される処理は、ＨＤＤ１０３に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。図９において、入力部４０１〜距離導出部４０３、および決定部４０５〜出力部４０６は、実施形態１の図４における入力部４０１〜距離導出部４０３、および決定部４０５〜出力部４０６と同じ構成のため説明は割愛する。

本実施形態における特徴量導出部４０７は、入力部４０１が入力した基準画像データの各画素の特徴量を導出する。特徴量の導出方法の詳細は後述する。

さらに、本実施形態における重み導出部４０４は、類似度導出部４０２で導出した類似度、距離導出部４０３で導出した距離、および特徴量導出部４０７で導出した特徴量に基づいて重みを導出する。尚、重み導出方法の詳細については後述する。

（実施形態２メイン処理フロー）
図１０は、本実施形態における画像処理装置１の処理の内容を示すフローチャートである。以下、図１０のフローチャートを参照して画像処理装置１の処理内容について説明する。なお、図１０に示されるフローチャートによる処理は、ＨＤＤ１０３に格納されたプログラムコードがＲＡＭ１０２に展開され、ＣＰＵ１０１によって実行される。尚、以下のメイン処理フローの説明において、実施形態１と重複する処理内容については説明を割愛し、実施形態１と差異を有するＳ１００３及びＳ１００９の処理内容のみを説明する。

Ｓ１００３において、特徴量導出部４０７は、着目画素６０４の特徴量Ｐを導出する。本実施例では、特徴量Ｐとしてエッジ強度を用いる態様を例として説明する。エッジ強度は、例えば、Ｒｏｂｅｒｔｓフィルタ、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｌａｐｌａｃｉａｎフィルタなどによって、入力画像データに対してフィルタ処理を施した結果から得られるエッジ強度を用いることができる。この場合、制御部４００は、特徴量Ｐが大きいほど着目画素６０４がエッジ領域の画素であることを特定できる。逆に、特徴量Ｐが小さいほど着目画素６０４が平坦領域の画素であることを特定できる。尚、エッジ強度を特徴量Ｐとして用いる態様と同様に、着目画素６０４近傍の画素値の分散も特徴量Ｐとして用いることができる。即ち、特徴量Ｐは、着目画素６０４がエッジ領域の画素か、平坦領域の画素かを判断可能であれば任意の特徴量を用いることができる。

Ｓ１００９において、重み導出部４０４は、類似度Ｃｊと、距離Ｄｊと、特徴量Ｐとに基づき参照画素の重みを導出する。このとき、重みＷｊは次式によって表される。ここで、ｋは特徴量Ｐの値に応じて決定される変数である。

図１１は、特徴量Ｐの値と、変数ｋの値との対応関係を示した係数テーブル１１０１の例である。本実施形態においては、係数テーブル１１０１に示される通り、特徴量Ｐの値が小さいほど変数ｋの値は大きくなり、逆に特徴量Ｐの値が大きいほど変数ｋの値が小さくなるように、特徴量Ｐの値と変数ｋの値とが対応付けられている。

例えば、特徴量Ｐ＝０、即ちＳ１００３において、特徴量導出部４０７が着目画素を平坦領域に存在する画素であると判定した場合、係数ｋ（Ｐ）＝１．０となる。この場合、距離Ｄｊに対する係数ｋ（Ｐ）の値が大きくなり、数式（５）において距離Ｄｊの寄与度が大きい重みＷｊが算出される。この結果、例えば参照画素６０８や６０９よりも対応画素６０５や６０６（図６，図７）の重みＷｊが大きくなり、画像データの残留ノイズムラを低減する効果を高めることができる。

一方、特徴量Ｐ＝１、即ちＳ１００３において、特徴量導出部４０７が着目画素をエッジ領域に存在する画素であると判定した場合、係数ｋ（Ｐ）＝０となる。この場合、距離Ｄｊに対する係数ｋ（Ｐ）の値が小さくなり、数式（６）において類似度Ｃｊの寄与度が大きい重みＷｊが算出される。この結果、例えば対応画素６０５や６０６よりも参照画素６０８や６０９（図６，図７）の重みＷｊが大きくなり、画像データの多重像やぼけを低減する効果を高めることができる。

尚、本実施形態においては、重み導出部４０４が係数テーブル１１０１を参照して係数ｋ（Ｐ）の値を特定していた。しかし、実施形態はこれに限られず、特徴量Ｐの値に応じて類似度Ｃｊまたは距離Ｄｊの寄与度を決定する関数を用いる態様であってもよい。

以上説明した通り、本実施形態における画像処理装置においては、特徴量Ｐに応じて距離Ｄｊの寄与度が異なる重みＷｊを導出する。そのため、本実施形態における画像処理装置は、撮像装置側のブレに起因する多重像やぼけが含まれる複数の画像データを用いる場合であっても、残留ノイズムラを抑制しつつ画像データのノイズ低減処理を行うことができる。

［その他の実施例］
実施形態２において、特徴量としてエッジ強度を用いる例を説明したが、着目画素が属する領域の被写体の種類に応じて可変する値を、特徴量として用いることも可能である。例えば、着目画素が動被写体領域の画素である場合をＰ＝１、静止被写体領域の画素である場合をＰ＝０とする。着目画素が動被写体領域の画素である場合（Ｐ＝１）、変数ｋ＝０となり、数式（６）において距離Ｄｊが重みＷｊの導出に与える寄与度が小さくなる。結果として、類似度Ｃｊの寄与度が大きい重みＷｊが導出されることとなり、動被写体が多重になったりぼけたりするのを低減することができる。一方、着目画素が静止被写体領域の画素である場合（Ｐ＝０）、変数ｋ＝１となり、数式（６）において距離Ｄｊが重みＷｊの導出に与える寄与度が大きくなる。結果として、距離Ｄｊの寄与度が大きい重みＷｊが導出されることとなり、残留ノイズムラを抑制しつつ画像データのノイズ低減処理を行うことができる。尚、上述の変形例においては、着目画素が動被写体領域に属する場合と、着目画素が静止被写体領域に属する場合とに応じて特徴量Ｐを可変させていたが、着目画素が属する領域が３以上であり、それぞれの領域に応じて変数ｋを設定する実施例であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１・・・・画像処理装置
４００・・制御部
４０１・・入力部
４０２・・類似度導出部
４０３・・距離導出部
４０４・・重み導出部
４０５・・決定部
４０６・・出力部

Claims (13)

1. 複数の画像データを用いて基準画像データに含まれるノイズを低減する画像処理装置であって、
   ノイズ低減対象の基準画像データの着目画素を含む着目領域と、前記基準画像データとは異なる参照画像データの複数の参照画素のうち少なくとも１つを含む参照領域と、を比較することにより、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する類似度導出手段と、
   前記参照画像データにおいて前記着目画素に対応する位置に存在する対応画素と、前記複数の参照画素それぞれとの距離を導出する距離導出手段と、
   前記類似度と、前記距離とに基づいて前記複数の参照画素それぞれの重みを導出する重み導出手段と、
   前記複数の参照画素それぞれの画素値に前記重みによる加重平均を適用することにより、前記着目画素の画素値を決定する決定手段とを備える
   ことを特徴とする画像処理装置。
2. 前記重み導出手段は、
   前記距離が小さいほど前記重みを大きく導出し、
   前記距離が大きいほど前記重みを小さく導出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記類似度導出手段は、
   前記着目領域と、前記対応画素近傍の前記複数の参照画素のうち少なくとも１つを含む前記参照領域と、を比較することにより、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記重み導出手段は、
   前記複数の参照画素のうち、前記類似度が所定の閾値よりも大きい前記参照画素を除外して前記重みを導出する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記着目画素の特徴量を導出する特徴量導出手段をさらに備え、
   前記重み導出手段は、前記類似度と、前記距離と、前記特徴量とに基づいて前記複数の参照画素それぞれの重みを導出する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記重みは、
   前記特徴量が小さいほど前記距離の寄与度が大きくなるように導出され、
   前記特徴量が大きいほど前記距離の寄与度が小さくなるように導出される
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記特徴量はエッジ強度である
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記特徴量は前記着目画素が属する領域の被写体の種類に応じて可変する値である
   ことを特徴とする請求項５または６に記載の画像処理装置。
9. 前記類似度導出手段は、
   前記着目領域と、前記基準画像データの複数の参照画素のうち少なくとも１つを含む参照領域と、をさらに比較することにより、前記着目画素と前記複数の参照画素それぞれとの類似度をさらに導出し、
   前記距離導出手段は、
   前記着目画素と、前記複数の参照画素それぞれとの距離をさらに導出する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記類似度導出手段は、
    前記着目領域および前記参照領域のそれぞれの座標系において空間的に対応するそれぞれの画素の画素値の差を合計した値を、前記着目画素と前記参照画素との類似度として導出する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記基準画像データに対して、前記決定された前記画素値を適用した画像データを出力する出力手段をさらに備える
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 複数の画像データを用いて基準画像データに含まれるノイズを低減する画像処理方法であって、
    ノイズ低減対象の基準画像データの着目画素を含む着目領域と、前記基準画像データとは異なる参照画像データの複数の参照画素のうち少なくとも１つを含む参照領域と、を比較することにより、前記着目画素と前記複数の参照画素それぞれとの類似度を導出する類似度導出ステップと、
    前記参照画像データにおいて前記着目画素に対応する位置に存在する対応画素と、前記複数の参照画素それぞれとの距離を導出する距離導出ステップと、
    前記類似度と、前記距離とに基づいて前記複数の参照画素それぞれの重みを導出する重み導出ステップと、
    前記複数の参照画素それぞれの画素値に前記重みによる加重平均を適用することにより、前記着目画素の画素値を決定する決定ステップとを備える
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至請求項１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。