JP2016110341A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 画像データの特徴に応じて適切に参照画素の類似度を算出することにより、より高いノイズ低減効果を実現する。【解決手段】 入力された画像データにおいて前記着目領域に含まれる画素の画素値を合計した着目領域の合計値と前記参照領域に含まれる画素の画素値を合計した参照領域の合計値との第１の類似度を算出する第１の類似度算出手段と、前記着目領域に含まれる各画素と前記参照領域に含まれる各画素との画素値の差分を累積して得られる第２の類似度を算出する第２の類似度算出手段と、前記着目領域と前記参照領域について、前記第１の類似度と前記第２の類似度とに基づいて前記参照領域に対応する前記参照画素に対する重みを導出する重み導出手段と、前記参照画素の画素値と、前記参照画素に対応する前記重みとに基づき、前記参照画素の重み付き平均を算出することにより、前記着目画素の画素値を算出する算出手段とを有することを特徴とする。【選択図】 図６

Description

本発明は、画像データのノイズを低減する技術に関する。

近年、より暗いシーンやより速い被写体を撮影するために、カメラを従来よりもさらに高感度にすることが望まれている。しかしながら、カメラの感度を上げると撮像画像におけるノイズが増えるため、ノイズをより強く低減するためのノイズ低減処理が必要となる。単純な加重平均によるノイズ低減処理を施すと解像感が低下する。そこでエッジやテクスチャ等の画像の特徴を保存しつつ、ノイズを低減する技術が求められている。そのようなエッジを保存するノイズ低減技術の一般的な手法は、ノイズを低減しようとしている着目画素とその周辺の参照画素との類似度を求め、その類似度に応じた参照画素毎の重みを決定して重み付き平均を計算する方法がある。非特許文献１は、Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法と呼ばれるノイズ低減処理を開示している。着目画素と参照画素の類似度を算出するために、着目画素近傍の着目領域と参照画素近傍の参照領域の対応する各々の画素を比較するブロックマッチングを用いることを開示している。着目領域に含まれる各画素と参照領域に含まれる各画素との差分二乗和を類似度として算出している。

"Ａ ｎｏｎ ｌｏｃａｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ" ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００５，Ｖｏｌ．２，６０−６５，（２００５）

非特許文献１に開示された方法によれば、画像データの特徴によっては算出される着目画素に対する参照画素の類似度算出の精度が不十分であるという課題がある。例えば平坦な画像の場合、領域における画素値の分布としては類似していても、各画素間の差分の二乗を合計するため、差分二乗和の値が大きくなりやすく、類似していないと判定されやすくなる。このように類似度の算出の精度が不十分であると、類似していない参照画素の重みを大きくするまたは類似している参照画素の重みを小さくすることになり、結果的にノイズ低減効果が低下する。そこで本発明は、画像データの特徴に応じて適切に参照画素の類似度を算出することにより、より高いノイズ低減効果を実現することを目的とする。

上位課題を解決するため本発明は、ノイズ低減処理をする画像処理装置であって、入力された画像データにおける着目画素および着目画素に対応する着目領域と、参照画素および参照画素に対応する参照領域とを設定する設定手段と、前記着目領域に含まれる画素の画素値を合計した着目領域の合計値と前記参照領域に含まれる画素の画素値を合計した参照領域の合計値との第１の類似度を算出する第１の類似度算出手段と、前記着目領域に含まれる各画素と前記参照領域に含まれる各画素との画素値の差分を累積して得られる第２の類似度を算出する第２の類似度算出手段と、前記着目領域と前記参照領域について、前記第１の類似度と前記第２の類似度とに基づいて前記参照領域に対応する前記参照画素に対する重みを導出する重み導出手段と、前記参照画素の画素値と、前記参照画素に対応する前記重みとに基づき、前記参照画素の重み付き平均を算出することにより、前記着目画素の画素値を算出する算出手段とを有することを特徴とする。

本発明は、画像データの特徴に応じて適切に参照画素の類似を算出することにより、より高いノイズ低減効果を実現することができる。

画像処理装置の構成を示すブロック図 着目画素、着目領域、参照画素、参照領域の関係を説明する図 着目領域と参照領域の画素値の例を示した図 平坦部における差分和と差分二乗和の確率密度分布の例を示した図 縞画像における差分和と差分二乗和の確率密度分布の例を示した図 ノイズ低減処理部の論理構成を示すブロック図 ノイズ低減処理の流れを示すフローチャート ノイズ低減処理部の論理構成を示すブロック図 ノイズ低減処理の流れを示すフローチャート グラデーション画像の一例を説明するための図 ノイズ低減処理部の論理構成を示すブロック図 グラデーション部における類似度算出を説明する図 ノイズ低減処理の流れを示すフローチャート ノイズ低減処理部の論理構成を示すブロック図 ノイズ低減処理の流れを示すフローチャート

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
第１実施形態における画像処理装置のハードウェア構成について、図１を参照して説明する。本実施形態における画像処理装置は一例として、パーソナルコンピュータ（ＰＣ）において実行される画像処理アプリケーションを例として説明する。画像処理アプリケーションは、入力された画像データに対してＮｏｎ−ｌｏｃａｌ ｍｅａｎｓ法を用いたノイズ低減処理を行う。画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆはカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、画像処理装置全体を制御する。なおここでは、ＣＰＵ１００が装置全体を制御する場合を説明するが、複数のハードウェアが処理を分担することにより、装置全体を制御するようにしてもよい。

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像、入力装置１０６からの指示などがＲＡＭ１０２に転送される。ＲＡＭ１０２は受信したデータを一時的に記憶する記憶領域を有する。画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションにノイズ低減の対象となる画像を入力し、ノイズ低減処理を行う処理の詳細について説明する。まず、Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法の基本的な処理について説明する。

＜Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法の概要＞
撮影で得られる画像は、ノイズのない本来の値であるシグナル成分にノイズ成分が加わったものであることが知られている。理想的なノイズ低減処理は、着目画素のシグナル成分と同じシグナル成分をもつ複数の画素の画素値の平均を計算することである。これによりシグナル成分はそのままに、平均によりノイズ成分の標準偏差が低下して着目画素のノイズ成分が削減され、ノイズ低減画像が得られる。ただし、ノイズ成分があるために画像における各画素のシグナル成分は正確には分かり得ない。

そこでＮｏｎ−ｌｏｃａｌ ｍｅａｎｓ法においては、着目画素に対応する着目領域と参照画素に対応する参照領域における画素値の分布の類似度に基づいて、参照画素の重みを決定し、重み付き平均を実行することにより着目画素のノイズ成分を低減する。図２は、Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ法を説明するための図である。着目画素（黒塗りの画素）に対して着目画素を含む５画素×５画素の領域を着目領域とする。また、参照画素（グレーの画素）に対して参照画素を含む５画素×５画素の領域を参照領域とする。着目領域における各画素と参照領域における各画素との画素値の差分に基づいて、着目領域と参照領域とがどれくらい似ているかを示す類似度を算出する。画素値の差分により算出される類似度は、類似度が示す値が小さい（０に近い）ほど着目領域と参照領域とが似ていることを意味し、類似度が示す値が大きいほど着目領域と参照領域とが似ていないことを意味する。このように算出された類似度を参照画素群（図２における着目画素を含む９画素×９画素の８１画素）の画素全てに対して算出し、類似度に応じた重みを決定する。重みは、類似度が示す値が小さい（似ている）ほど大きく、類似度が示す値が大きい（似ていない）ほど小さくなるように導出すればよい。

以上のようなノイズ低減処理について、式（１）によって表すことができる。ｊ番目の参照画素の画素値をＩ_ｊ、ｉ番目の着目画素に対するｊ番目の参照画素の重みをｗ_ｉｊとすると、ｉ番目の着目画素のノイズ低減処理後の画素値Ｉ_{ｉ，ｎｅｗ}が、式（１）によって算出される。

なお、分母は重みの和が１となるように規格化を行うものである。また、図２に示す例では着目領域は着目画素を含み、参照領域は参照画素を含む構成としたが、着目領域は必ずしも着目画素を含む必要はなく、各参照領域も必ずしも各参照画素を含む必要はない。

＜類似度の算出方法について＞
着目領域と参照領域との類似度について、本実施形態では、差分二乗和を用いた類似度と差分和を用いた類似度の両方に着目する。式（２）は、着目領域と参照領域の類似度の指標として差分二乗和Ｓ_ｉｊを計算している。

なおｋは、各領域における対応する位置を示す。つまりＩ_ｉｋは、ｉ番目の着目画素に対応する着目領域においてｋ番目の位置の画素の画素値を示し、Ｉ_ｊｋは、ｊ番目の参照画素に対応する参照領域においてｋ番目の位置の画素の画素値を示す。また、Ｎ_ｂはｉ番目の着目領域に対応する参照画素群の数（本実施形態では８１）を示す。従って、ｉ番目の着目画素については、Ｎ_ｂ画素の参照画素について、類似度Ｓ_ｉｊを算出する。差分二乗和は、着目領域を構成する各画素と参照領域を構成する各画素とについて、対応する画素間の画素値の差分の二乗を算出することにより算出される。つまり差分二乗和Ｓ_ｉｊは、画素毎の画素値の違いを判定した結果を領域全体についてまとめた指標であると言える。

一方式（３）は、着目領域と参照領域の類似度の指標として差分和Ｍ_ｉｊを計算する。

差分和は、着目領域を構成する各画素と参照領域を構成する各画素との差分を順に合計することにより算出される。また式（３）によれば差分和Ｍ_ｉｊは、着目領域を構成する画素の加算値（合計）と、参照領域を構成する画素の加算値（合計）との差分と言い換えることができる。

ここで、差分二乗和と差分和との特性について詳細に説明する。図３（ａ）は画像データが、着目領域と参照領域のシグナル成分がそれぞれ一定であるような平坦部である場合の例を示す。図３（ａ）に示すように、平坦画像において着目領域の画素値と参照領域の画素値には少しの差Δがある状況を考える。なおシグナル成分とは、ノイズ成分を含まない成分を意味する。

この状況において、図４（ａ）に平坦画像における着目領域と参照領域との差分二乗和Ｓ_ｉｊの統計的振る舞いを示し、図４（ｂ）に平坦画像における着目領域と参照領域との差分和Ｍ_ｉｊの統計的振る舞いを示す。図４（ａ）の実線は、Δ≠０である（着目領域と参照領域とではΔの差がある）状況における差分二乗和Ｓ_ｉｊの確率密度関数を示している。また図４（ａ）の破線は、Δ＝０である（着目領域と参照領域の画素値に差が無い）状況における差分二乗和Ｓ_ｉｊの確率密度関数を示している。同様に、図４（ｂ）の実線は、Δ≠０である（着目領域と参照領域の画素値に差がΔである）状況の差分和の確率密度関数である。また図４（ｂ）の破線は、Δ＝０である（着目領域と参照領域の画素値に差が無い）状況における差分二乗和Ｓ_ｉｊの確率密度関数を示している。図４（ａ）と図４（ｂ）を比較すると、着目領域と参照領域の画素値の差がある（Δ≠０）場合と０である場合とで、確率密度関数の重なりの程度に違いがあることがわかる。この確率密度関数の重なりの程度は、画素値の差があるときと０であるときを区別する精度と密接に関わっている。ある類似度指標に対する確率密度関数が重なっているということは、着目領域と参照領域とで画素値の差があっても０であっても同じ類似度の値を取り得ることを意味する。したがって、着目領域に対する参照領域の類似度を、精密に算出することができない、つまり画素値の差がΔであるか０であるかを判定することが困難であると言える。

一方図４（ｂ）に示す差分和の確率密度関数は、図４（ａ）よりも確率密度関数の重なりが小さい。つまり、差分二乗和よりも差分和の方が画素値の差がΔであるか０であるかを精度よく判定できる。本来シグナル成分にΔの差があるはずの参照画素を類似していると判定した上で値の大きい重みを与え、着目画素と重み付き平均をとってしまうと、ノイズ低減処理後の画像はぼけたものとなってしまう。そこで平坦な画像の場合は、差分二乗和Ｓ_ｉｊよりも差分和Ｍ_ｉｊを用いる方が、画素値の差Δをより高精度に判定できることがわかる。

次に、参照領域と着目領域が平坦部ではなく、例えば図３（ｂ）に示すような１ラインごとに白画素と黒画素が繰り返された縞々であるような場合について考える。図５（ａ）には縞々画像における着目領域と参照領域との差分二乗和Ｓ_ｉｊの確率分布関数を示す、図５（ｂ）に縞々画像における参照領域と着目領域との差分和Ｍ_ｉｊの確率分布関数を示す。図４の場合と同様、図５における実線は着目領域の画素に対して参照領域の画素はΔ（≠０）の差がある場合を示し、破線は着目領域の画素に対して参照領域の各画素は差がない場合の確率分布関数をそれぞれ示している。縞々画像の場合、差分二乗和Ｓ_ｉｊの方が、差分和Ｍ_ｉｊよりも確率密度関数の重なりが小さいことがわかる。縞々画像の場合、差分和Ｍ_ｉｊで算出すると、着目画素のシグナル成分に対して参照画素のシグナル成分にΔの差があってもなくても、ほとんど区別できないことがわかる。従って縞々画像においては、差分二乗和Ｓ_ｉｊの方が、差分和Ｍ_ｉｊよりも参照領域の着目領域に対する類似度を精度高く算出することができると言える。

なお、差分二乗和よりも差分和の方が類似度の算出精度が低くなってしまう画像の特徴は、縞々画像に限らない。例えば、白画素と黒画素が千鳥格子状の画像や、参照領域の画像が着目領域の画像を９０°ないしは１８０°回転しているような場合が挙げられる。差分和とは、着目領域における画素値の合計値と参照領域における画素値の合計値との差分と言い換えることができる。従って、着目領域および参照領域に含まれる画素値の合計値それぞれに差がない場合は、縞々画像と同様、差分二乗和によって着目領域に対する類似度を算出した方がよい。これは着目領域および参照領域のサイズ程度の低周波成分の差が小さいような画像は、差分和による類似度の算出より、差分二乗和の類似度の算出の方が適していると言える。

以上のように、差分二乗和Ｓ_ｉｊと差分和Ｍ_ｉｊのどちらかが類似度の指標としてより高精度であるのかは、画像の特徴（被写体）に依存する。ノイズ低減処理において良好なノイズ低減画像を得るためには、重み付き平均に用いる参照画素に適切な重みを与えることが必要である。着目画素に対して、シグナル成分が近い参照画素に対してのみ重みを与え、シグナル成分が異なる参照画素に対しては０か非常に小さい値の重みを与えることが大事である。そこで本実施形態では、差分二乗和Ｓ_ｉｊと差分和Ｍ_ｉｊとの両方を用いて参照画素の重みを決定することにより、画像における被写体に関わらず精度の高いノイズ低減処理を実現する。

＜ノイズ低減処理部の構成について＞
図６に、本実施形態におけるノイズ低減処理部の詳細な論理構成を示す。領域設定部６０１は、入力された画像データに対してｉ番目の着目画素に対する着目領域と複数の参照画素、参照領域を設定し、画素値を取得する。ここで入力される画像データは、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）各色に対応する画像データが入力されるとする。各画像データは０〜２５５いずれかの画素値が格納された画素からなる８ビットのデータを例とする。以降の処理は、各色に対応する画像データに対して実行される。領域設定部６０１は、図２の通り着目画素、着目領域、参照画素、参照領域を設定する。つまり領域設定部６０１は、着目画素ｉを設定すると、着目画素ｉを中心とする５画素×５画素を着目領域として設定する。また、１つの着目画素に対して、参照画素群から順に参照画素を設定し、着目領域と同様、参照画素を中心とする５画素×５画素の参照領域を設定する。本実施形態では１つの着目画素に対して、９１画素分参照領域を設定することになる。

まず第１の類似度算出部として領域間類似度算出部６０２は、着目領域における画素値の加算値（合計）と参照領域における画素値の加算値（合計）とによって決まる第１の類似度を算出する。ここでは、式（３）によって算出する差分和Ｍ_ｉｊを求める。なお、領域間類似度算出部６０２は、式（３）を用いた差分和の他、着目領域における各画素の平均画素値と参照領域における各画素の平均画素値との差分でもよい。

第２の類似度算出部として画素間類似度算出部６０３は、着目領域における各画素と参照領域における各画素について、対応する画素間の画素値ごとに類似度を判定可能な第２の類似度を算出する。ここでは、式（２）を用いて差分二乗和Ｓ_ｉｊを求める。なお、画素間類似度のその他の算出方法については、後述の変形例で詳細に説明する。

重み算出部６０４は、領域間類似度算出部６０２から得られる領域間類似度（差分和Ｍｉｊ）と、画素間類似度算出部６０３から得られる画素間類似度（差分二乗和Ｓ_ｉｊ）との両方に基づいて、参照画素に対する重みを導出する。本実施形態では、領域間類似度および画素間類似度の何れもが、着目領域と参照領域とが類似していることを示す場合のみ、参照画素に０より大きな値の重みを与えることとする。

重み付き平均算出部６０５は、重み算出部６０４によって得られる各参照画素に対する重みに基づいて、参照画素の画素値と対応する重みを積算し、式（１）の通りに着目画素のノイズ低減処理後の画素値を算出する。

＜ノイズ低減処理における処理のフロー＞
図７は、第１実施形態におけるノイズ低減処理のフローチャートである。ＣＰＵ１０１は、図７に示すフローチャートを実行するプログラムをＲＡＭ１０２から読み込み、実行すればよい。

まずステップＳ７０１において領域設定部６０１は、入力された画像データからｉ番目の着目画素に対する着目領域と複数の参照画素、参照領域を設定する。次にステップＳ７０２において領域間類似度算出部６０２は、着目領域とｊ番目の参照領域について、着目領域とｊ番目の参照領域の差分和Ｍ_ｉｊを式（３）により算出する。なお、差分和Ｍ_ｉｊの算出は、着目領域と参照領域の対応する画素毎に差分を取ってから加算しても、着目領域の画素値の加算値と参照領域の画素値の加算値を計算してから差分を取っても数学的に等価であるためどちらでもよい。

ステップＳ７０３において画素間類似度算出部６０３は、着目領域と参照領域の差分二乗和Ｓ_ｉｊを式（２）により算出する。ステップＳ７０４において、重み算出部６０４は参照領域の差分和Ｍ_ｉｊと差分二乗和Ｓ_ｉｊを元に、ｊ番目の参照画素に対する重みｗ_ｉｊを算出する。ここでは、式（４）の通りに重みｗ_ｉｊを導出する

つまり、差分二乗和Ｓ_ｉｊが閾値Ｓ_ｔｈより小さく、かつ差分和Ｍ_ｉｊが閾値Ｍ_ｔｈより小さい場合に、重み１が与えられ、それ以外の場合は重み０が与えられる。

ステップＳ７０５において、ステップＳ７０１で設定された全ての参照画素に対して処理を行ったかを判定し、まだ残っている場合はステップＳ７０２に戻り、ステップＳ７０２からステップＳ７０４を繰り返し行う。全ての参照画素に対してステップＳ７０２からステップＳ７０４までの処理を行い重みを計算した場合は、ステップＳ７０６に進む。

ステップＳ７０６において重み付き平均算出部６０５は、算出された全ての参照画素に対する重みに基づき、各参照画素の重み付き平均を、着目画素の画素値として出力する。以上の処理を、入力された画像データにおける全ての画素を着目画素として設定して実行することで、画像データに対するノイズ低減処理が完了する。

以上のように、本実施形態では参照領域と着目領域の差分二乗和あるいは差分絶対値だけではなく、その両方差分和も考慮して重みを算出することにより、画像データの特徴によってノイズ低減効果が低減するのを防ぎ、良好な画像を得ることが可能である。

＜第１実施形態の変形例１＞
第１実施形態では、第２の類似度である画素間類似度として式（２）による差分二乗和を用いた類似度の算出を説明した。差分二乗和ではなく、例えば、式（５）による差分絶対値和Ａ_ｉｊを画素間類似度としてもよい。

差分二乗和Ｓ_ｉｊも差分絶対値和Ａ_ｉｊも着目領域と参照領域の類似度を画素毎の違いを判定し、まとめるものであり、同様の性能を示す。差分絶対値和Ａ_ｉｊ以外にも、以下の式（６）から式（８）で示すような値なども画素間類似度として用いることができる。

いずれも、参照領域における画素と、対応する参照領域における画素間の画素値の類似を領域に含まれる画素分まとめるものである。

また、第１の類似度である領域間類似度は、着目領域の画素の合計値と参照領域の画素の合計値との差分により算出したが、着目画素の合計値／参照領域の合計値のように、比率を用いて着目領域と参照領域の類似度を算出してもよい。

＜第１実施形態の変形例２＞
第１実施形態では、式（４）が表す通り、第１の類似度（差分和Ｍ_ｉｊ）と第２の類似度（差分二乗和Ｓ_ｉｊ）とがいずれも参照領域を類似していると判定した場合のみ、参照画素に対して０でない重みを与える構成とした。しかしながらこれに限らない。例えば式（９）による重み算出を用いてもよい。式（９）は、変形例２における重み導出の式である。

ここで、ｈおよびｋはパラメータである。式（９）の重み関数は、差分絶対和Ｓ_ｉｊおよび差分和Ｍ_ｉｊの絶対値が大きくなるほど小さな値の重みが与えられるようになっている。

＜第２実施形態＞
第１実施形態では、入力された画像データにおける全ての画素において、画素間類似度（例えば、差分二乗和）と領域間類似度（例えば、差分和）との両方から重みを導出した。前述の通り、差分二乗和による類似度判定が好ましいか差分和による類似度判定が好ましいかは、画像データにおける特徴（被写体、テクスチャなど）に依存する。そこで第２実施形態では、予め画像データの特徴を検出し、差分二乗和と差分和のいずれかによる類似度を用いて重みを導出する例について説明する。なお、第１実施形態と同様の構成については同一の符号を付し、その詳細な説明は省略する。

図８は、第２実施形態に適用可能なノイズ低減処理部の詳細な論理構成を示す。第２実施形態におけるノイズ低減処理部は、特徴検出部８０１を有する。特徴検出部８０１は、画像データにおける所定の領域毎に画像を表す特徴を検出する。第１実施形態と同様、図２の通りに着目領域、参照領域および、参照画素群を設定する場合、着目画素のノイズ低減処理後の画素値を算出するためには、着目画素を中心とする１１画素×１１画素の領域の画素値を必要とする。そこで特徴検出部８０１は、着目領域を中心とする１１画素×１１画素の領域が平坦部であるかどうかを検出する。

重み算出部６０４は、特徴検出部８０１から得られる画像の特徴に応じて、参照画素の類似度として、領域間類似度算出部６０２から得られる領域間類似度か画素間類似度算出部６０３から得られる画素間類似度のいずれかの類似度のいずれかを選択する。そして、選択した類似度に基づいて参照画素に対応する重みを導出し、重み付き平均を算出することにより着目画素のノイズ低減処理後の画素値を出力する。

図９は、第２実施形態におけるノイズ低減処理のフローチャートを示す。ステップＳ９０４において重み算出部６０４は、画像の特徴に応じて類似度を選択し、ステップＳ９０５において何れか一方の類似度を用いて重みを算出する。

以上のように、着目画素のノイズ低減処理に必要な画素を含む領域における画像の特徴に応じて、類似度の算出を切り替える。その結果、画像の特徴に応じてより適切に類似度を算出することができ、良好なノイズ低減処理を実現する。

なお、第２実施形態では、着目画素における全ての参照画素に対して、画素間類似度と領域間類似度の両方を算出した。しかしながら、画像の特徴に応じて何れかの類似度を算出するかを事前に処理を切り替える方法でもよい。これによれば、参照画素につき画素間類似度か領域間類似度の何れかを算出すればよいので、計算の負荷を軽減することができる。

また、特徴検出部８０１は、領域が平坦部かどうかを検出する構成に限らない。着目領域に含まれる画素の画素値合計と参照領域に含まれる画素の画素値合計との差分と所定の閾値を比較することにより画像の特徴を簡易的に分類してもよい。具体的には、合計の差分が小さい（例えば５以下）の場合は、参照領域に対して画素間類似度を割り当て、それ以外の場合は参照領域に対して領域間類似度を割り当てるような構成でもよい。

＜第３実施形態＞
前述の実施形態では、画像の特徴に応じて画素間類似度と領域間類似度を類似度として用いる方法について説明した。第３実施形態ではさらに、画像の特徴として滑らかなグラデーション画像に着目する。ここで、グラデーション部における類似度について説明する。図１０は、下から上へと画素値が徐々に減少していくグラデーション部の画像の１例である。各々のマスは画素を示しており、マスの中に書かれた数字が画素に格納された画素値を示している。なお、以後の説明を容易にするため、画素値はシグナル成分のみを示している。中央部に太線で囲んだ画素を着目画素とする。着目領域は着目画素を中心とした５画素×５画素のサイズとする。図１０（ａ）に示す通りに着目領域を設定した場合、着目領域に対して画素間差分和により類似度が小さい（似ている）と判定される参照領域に対応する参照画素は、図１０（ｂ）に太線で囲まれた水平方向のおおよそ１次元的な画素群に限られる。なぜならば、垂直方向に１画素以上ずれた参照領域と着目領域の類似度の計算においては、領域間で対応する各々の画素間には画素値の差が生じ、全ての画素間の差が累積するためである。したがって、垂直方向に１画素以上ずれた参照領域と着目領域とは類似しないという判定となり、０より大きい値の重みが与えられる参照画素は少なくなる。その結果、着目画素のノイズ低減処理後の画素値を算出するために重み付き平均に用いられる参照画素が少なくなり、ノイズ低減効果が低減してしまう。そこで第３実施形態では、グラデーション部におけるノイズ低減効果の低下を避けるために、着目領域と参照領域の平均値の差を無視した第３の類似度を計算し、その類似度に応じた重みを計算する方法について説明する。

図５は、第３実施形態に適用可能なノイズ低減処理部の論理構成を示す図である。なお前述の実施形態と同様の構成については同一の符号を付し、その詳細な説明は省略する。

着目領域平均値算出部１１０１は、領域設定部６０１から着目領域に含まれる画素の画素値を取得し、着目領域の平均値Ｍ_ｉを式（１０）の通りに算出する。

参照領域平均値算出部１１０２は、領域設定部６０１から参照領域に含まれる画素の画素値を取得し、参照領域の平均値Ｍ_ｊを式（１１）の通りに算出する。

第３の類似度算出部として類似度算出部１１０３は、式（１２）の通りに、参照領域の類似度Ｄ_ｉｊ（第３の類似度）を算出する。

図１２を用いて類似度Ｄ_ｉｊについて説明する。図１２（ａ）（ｂ）はともに、グラデーション部の画像におけるある１ラインを横軸に示している。縦軸は画素値を示し、画素位置が右に進むに従って徐々に画素値が増えているグラデーション画像になっていることがわかる。図１２（ａ）に示す通り、着目領域に対してグラデーションと直交する方向にずれた参照領域については、それぞれ対応する画素間の画素値には差がある。そのため、それらの差が累積する結果、類似度が大きくなり、参照領域は着目領域と似ていないと判定されることになる。そこで式（１２）は、着目領域における各画素からは着目領域の平均値を引き、参照領域における各画素からは参照領域の平均値を引いた上で、各画素の差分を算出している。これにより図１２（ｂ）に示すように、領域における平均値が異なっていても、その領域を表す画像の特徴（グラデーション構造）が類似している場合は、着目領域に対して参照領域は類似していると判定される。

重み算出部６０４は、類似度算出部１１０３によって算出される類似度Ｄ_ｉｊに基づいて、参照画素に対応する重みｗ_ｉｊを式（１３）の通りに算出する。

重み付き平均算出部６０５は、式（１）にしたがって重み付き平均を計算し、着目画素のノイズ低減処理後の画素値として出力する。

図１３は、第３実施形態におけるノイズ低減処理部による処理のフローチャートを示す。ステップＳ１３０１において着目領域平均値算出部１１０１は、着目領域に対応する平均値を算出し、ステップＳ１３０２において参照領域平均値算出部１１０２は、参照領域に対応する平均値を算出する。ステップＳ１３０３において類似度算出部１１０３は、類似度Ｄ_ｉｊを算出する。全ての参照画素に対して類似度Ｄ_ｉｊを算出すれば、ステップＳ７０６において重み付き平均算出部６０５は、重み付き平均することにより着目画素のイズ低減処理後の画素値を算出する。

なお第３実施形態において重み付き平均算出部６０５は、無視した平均値の差を考慮するため、式（１４）によって重み付き平均を計算してもよい。

式（１）と式（７）は、重み付き平均に使用する参照画素の画素値から平均値の差を足すか足さないかの差がある。式（１）によって重み付き平均を計算した場合は低周波ノイズが低減されやすく、式（７）によって重み付き平均を計算した場合はコントラストが高くなる傾向にある。

以上のように、着目領域の平均値と参照領域の平均値との差を無視した類似度を計算することにより、次のような線形の式であらわされるグラデーション部においても、平坦部と同等のノイズ低減効果を得ることができる。
Ｉ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ｉ（ｘ，ｙ）＋ｈΔｘ＋ｖΔｙ 式（１５）
ここで、ｘ，ｙはそれぞれ水平、垂直方向の画素位置であり、Δｘ，Δｙはそれぞれ水平、垂直方向の画素位置の移動量である。ｈ，ｖはそれぞれ水平方向と垂直方向の勾配である。

＜第４実施形態＞
第３実施形態では、参照領域と着目領域とにおける平均値の差を無視して類似度を算出する方法について説明した。第４実施形態では、着目領域と参照領域の平均値を比較して、その比較結果次第で平均値の差を無視するかしないかを決定する。なお前述の実施形態と同様の構成については同一の符号を付し、その詳細な説明は省略する。

図１４は、第４実施形態に適用可能なノイズ低減処理部の詳細な論理構成を示すブロック図である。平均値比較部１４０４は、着目領域の平均値と参照領域の平均値を比較し、それら平均値があらかじめ決められた近さにあるかどうかを判定する。

重み算出部６０４は、着目領域の平均値と参照領域の平均値とが近い場合は、第３実施形態における式（１２）（１３）を用いて参照画素の重みを算出する。また、着目領域の平均値と参照領域の平均値が近くない場合は、第１実施形態における式（４）による重み算出方法を用いる。

図１５は、第４実施形態におけるノイズ低減処理部による処理のフローチャートを示す。ステップＳ１５０１において平均値比較部１４０４は、着目領域の平均値と参照領域の平均値を比較する。具体的な比較の方法としては、例えば減算や除算を行えばよく、減算であれば減算結果の絶対値ないしは二乗値が閾値以下であるかを判定する。除算であれば除算結果が１に近いかどうかを判定する。これにより、着目領域の平均値と参照領域の平均値が近いかどうかを判定することができる。近いと判定される場合はステップＳ１３０３に進み、それ以外の場合はステップＳ１３０３に進む。

以上のように、本実施例では着目領域の平均値と参照領域の平均値を比較し、それらの差がある程度小さい場合にのみ、着目領域の平均値との差を許容して類似度を算出する。このように重みを大きくする条件を限定することで、全く異なる平均値を有する参照画素の重みは小さいままとなる。従って第４実施形態によれば、画像の特徴に応じてより適応的に類似度を算出し、高いノイズ低減効果を実現することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

６０１ 領域設定部
６０２ 領域間類似度算出部
６０３ 画素間類似度算出部
６０４ 重み算出部
６０５ 重み付き平均算出部

Claims (11)

1. 入力された画像データにおける着目画素および着目画素に対応する着目領域と、参照画素および参照画素に対応する参照領域とを設定する設定手段と、
   前記着目領域に含まれる画素の画素値を合計した着目領域の合計値と前記参照領域に含まれる画素の画素値を合計した参照領域の合計値との第１の類似度を算出する第１の類似度算出手段と、
   前記着目領域に含まれる各画素と前記参照領域に含まれる各画素との画素値の差分を累積して得られる第２の類似度を算出する第２の類似度算出手段と、
   前記着目領域と前記参照領域について、前記第１の類似度と前記第２の類似度とに基づいて前記参照領域に対応する前記参照画素に対する重みを導出する重み導出手段と、
   前記参照画素の画素値と、前記参照画素に対応する前記重みとに基づき、前記参照画素の重み付き平均を算出することにより、前記着目画素の画素値を算出する算出手段とを有することを特徴とする画像処理装置。
2. 前記第１の類似度算出部は、前記着目領域の合計値と前記参照領域の合計値の差分もしくは比に基づいて前記第１の類似度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の類似度算出部は、前記着目領域における画素の画素値と、対応する前記参照領域における画素の画素値との差分の二乗、もしくは絶対値に基づいて第２の類似度を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記重み導出手段は、前記第１の類似度および前記第２の類似度に基づいて前記参照画素の重みを決定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記重み導出手段は、前記第１の類似度が第１の閾値より小さく、かつ、前記第２の類似度が第２の閾値より小さい場合に、前記参照画素の重みとして０でない値を導出することを特徴とする請求項４に記載の画像処理装置。
6. 前記重み導出手段は、前記第１の類似度および前記第２の類似度が大きくなるほど小さな値の重みが与えられる重み関数を用い、前記参照画素の重みを導出することを特徴とする請求項４に記載の画像処理装置。
7. 前記重み導出手段は、前記第１の類似度、または前記第２の類似度のいずれかを前記参照画素の類似度として選択し、前記選択した類似度に応じて前記参照画素の重みを導出することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
8. さらに、前記画像データにおける所定の領域の特徴を検出する検出手段を有し、
   前記重み導出手段は、前記検出手段が検出した特徴に応じて前記参照画素の重みを導出することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 前記着目領域に含まれる画素の画素値の平均値と、前記参照領域に含まれる画素の画素値の平均値とを算出し、前記着目領域について、前記着目領域の平均値と前記参照領域の平均値との差を許容した第３の類似度を算出する第３の類似度算出手段を有し、
   前記重み導出手段は、前記第３の類似度に基づいて前記参照画素の重みを導出することを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
10. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至９の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
11. 入力された画像データにおける着目画素および着目画素に対応する着目領域と、参照画素および参照画素に対応する参照領域とを設定し、
    前記着目領域に含まれる画素の画素値を合計した着目領域の合計値と前記参照領域に含まれる画素の画素値を合計した参照領域の合計値との第１の類似度を算出し、
    前記着目領域に含まれる各画素と前記参照領域に含まれる各画素との画素値の差分を累積して得られる第２の類似度を算出し、
    前記着目領域と前記参照領域について、前記第１の類似度と前記第２の類似度とに基づいて前記参照領域に対応する前記参照画素に対する重みを導出し、
    前記参照画素の画素値と、前記参照画素に対応する前記重みとに基づき、前記参照画素の重み付き平均を算出することにより、前記着目画素の画素値を算出することを特徴とする画像処理方法。

Images