JP2007536662A - 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段 - Google Patents

Abstract

本発明は、学習領域（ＺＡ）を画像（ＩＭ）の基準点（Ｐref）に関連付けるステップと、学習領域の各可変点（ＰＣ,ＰＣ’）について、基準点に中心を有する、画像の第１のウインドウ（ｆ1）内の点の値と、第１のウインドウと同様のフォーマットで、可変点に中心を有する、画像の第２のウインドウ（ｆ2、ｆ'2、）内の点の値の差間の距離（ｄ、ｄ’、）を求めるステップと、学習領域のすべての点について前記距離計算を繰り返し、基準点に割り当てる平均値を求めるステップを有し、前記平均は各可変点について求められた距離に基づいて重み付けされたものである、ノイズ低減による画像データ処理に関する。

Description

本発明は、画像ノイズを低減することによる画像データ処理方法に関するものである。

本発明は、一般大衆のための写真撮影、ディジタルビデオ、医療画像化、あるいは新しい画像取得システムに適用される。本発明は、有利なことに、フィルムの復元に適用できることも指摘される。

特に、一般大衆に対するディジタルカメラの成功によって、しばしば不利な条件下で一緒に撮影されたディジタル画像を復元するニーズが最近生じてきた。しかし、これらの画像は、不利な画像撮影条件によるものであれ、ディジタル復元動作によるものであれ、ノイズを有することがある。

既存の、公知の復元方法は、該方法が、特に、ノイズの性質の非常に正確な知識を必要とするパラメータ設定に依存しているので、産業上利用できない。さらに、これらの方法はすべて、にじみ（ｂｌｕｒ）、ぶれ（ｏｓｃｉｌｌａｔｉｏｎｓ）、階段波（ｓｔａｉｒ ｃａｓｉｎｇ）、細部およびテクスチャ（ｔｅｘｔｕｒｅ）の喪失などの、人工物と呼ばれる受け入れられない劣化を生じる。これは、そのとき、通常少なくとも１００分の１（ａ ｆａｃｔｏｒ of １００）に相当する高いＳＮ比がディジタルカメラでは必要であるからである。露光不足の画像は低いＳＮ比を有し、現在知られている技術では復元できない。

一旦ディジタル化されると、画像は概ね矩形のアレイの値を取る。映画のような時間シーケンスの画像の場合、そのようなアレイの集合が時間にわたって存在する。

アレイ中の点とグレイレベル（白黒の画像に対する）の、またはカラーレベル（通常、カラー画像に対する赤、青、緑）の、この点における関連は、
−二次元画像に対する「ピクセル」と、
−三次元画像（特に医療画像化における）に対する「ボクセル」
と呼ばれる。
時間にわたる画像のシーケンスに属する点、たとえば、映画中の１つの画像から他の画像へ発展する点の「時間的（ｔｅｍｐｏｒａｌ）ピクセル」についても述べる。従来のピクセルについての時間座標が「時間的ピクセル」と関連することが理解されるであろう。一次元の画像、すなわち信号の場合、点とその値の関連についてサンプルと呼ぶ。

各点は、一般に、ＣＣＤ（「結合電荷素子」を表す）のような、マトリックス条のまたはストリップ状の光センサによってなされた測定の結果である。１つの点がＣＣＤマトリックスの小さな自乗に相当し、ＣＣＤ行列内では到着する光子の数がカウントされる。光子の到着に平均値のまわりのばらつきを生じるランダムな処理が続く。さらに、各センサはそれ自身、光子のカウント値に重畳されることになる「ダークノイズ」を生じる。

したがって、多くの画像は、当該点の値のランダムな擾乱であるノイズを含む。言い方を変えると、Iで示される、観察された画像は、I０をノイズのない理想的な画像、ｂをノイズとしてタイプＩ＝I０＋ｂの関係式に従う。

感光紙印刷のような他の方法で得られた画像も、用いられた裏張り材料（ｂａｃｋｉｎｇ）の化学的特性によるノイズを示す。このノイズは勿論、写真（すなわち「走査」）のディジタル化の間保持される。カメラ用フィルムの印刷も、ここではノイズと呼ぶ小さなしみ（ｂｌｏｔｃｈ）の出現につながる。

このノイズは、各点において、その点のグレイレベルに依存する。このように、一般に、画像の明るい部分では、そこではＳＮ比が比較的良くてもノイズが多い。

ここで、「ＳＮ比」をも定義する。このパラメータは、ノイズから生じることがあるグレイレベルまたはカラーレベルの割合を指す。例えば、１００のＳＮ比は、グレイレベルの「真値」の１００分の１の変動に相当する。標準のディジタル画像の場合、グレイレベルまたはカラーレベルは０（黒）と２５５（白）の間にある。ノイズは、それが一旦、平均の振幅、または約５０のＳＮ比に相当する、４または５の標準偏差を超えると、知覚できるようになる。ノイズは画像を見るのに妨げになり、その詳細のある部分を隠すので、全ての種類のノイズを画像から除去できることが非常に有用である。通常、ノイズのない画像はよりシャープになる。

ＣＣＤセンサのサイズは、それ自身、一部はノイズ低減の要件によって決まる。ノイズを効率的に除去する方法を知りたければ、検出された信号にノイズ低減処理を施すことによってより小さなセンサを作ることができるであろう。このようにして、より少ないＣＣＤセンサを用いて、既存のカメラとピクセルの数が同数のより小さなカメラを作ることが可能であるが、既存のカメラと同数のピクセルを有する。同じ特性を有するが、高い解像度を有するカメラ、あるいは露光時間がより短い同一のカメラを作ることも可能であろう。

最後に、ディジタル画像に対する多くの復元動作がノイズを増幅し、したがってこれをノイズ除去処理と組み合わせる必要がある。露光が不十分な画像のコントラストを増大させる動作がノイズを増幅する。同様に、画像からボケを除去する動作がノイズの増大の一因となる。

あいにく、公知のノイズ除去アルゴリズムはノイズを画像の小さな細部と混同する傾向がある。たとえば、特に米国特許６，６８１，０５４および米国特許６，５３９，１２５に記載されているノイズ低減方法は、処理する点と、この処理する点を囲む、複数の現在の点の間の空間距離に基づく重み付けを用いて、処理する点の複数の値に割り当てられる平均を計算する。したがって、画像が局部的に多くの種類の濃淡（ｓｈａｄｅ）を呈する場合、空間距離に関する重み付けに基づくノイズ低減処理の後には、この種類の濃淡はもはや見出されなくなる。

このような方法は、画像を部分的に破壊することになる。したがって、画像品質におけるゲインは不確実である。

本発明はこの状況を改善する。

この目的のために、本発明は、
ａ）自身に関連する値をそれぞれが有する、画像の複数の点を得るステップと、
ｂ）学習領域を前記画像の基準点に関連付けるステップと、
ｃ）前記基準点に、前記学習領域に含まれる前記点の値を用いて、重み付き平均値または重み付き中間値タイプの、重み付けされた統計的推定によって得られた新しい値を割り当てるステップと
を有する、画像データを、画像ノイズを減らすことによって処理する方法を提案する。

本発明の方法は特に次のステップ、すなわち
ｃ１）前記学習領域の現在の点のそれぞれについて、前記基準点に中心を有する、前記画像の第１のウインドウ内の前記各点の値と、前記第１のウインドウと同じフォーマットの、前記現在の点に中心を有する第２のウインドウ内の前記各点の値の間の類似度を特徴付ける距離を求めるステップと、
ｃ２）ステップｃ）の重み付き統計的推定において用いられる重みを計算するために、全ての現在の点について得られた距離を用いて、前記学習領域の全ての点について、連続した現在の点としてステップｃ１）を繰り返すステップと
を有する。

ステップｃ）が、画像全体を全体的（ｇｌｏｂａｌｌｙ）に処理するように、前記画像の全ての点に適用されるのが好ましい。

前記学習領域が前記画像の全体に対応することも望ましいことも指摘しておく。しかしながら、有利な変形例では、前記学習領域は、処理される画像と異なる、１つまたは複数のモデル画像に属する。

前に指摘したように、前記点は、二次元画像用のピクセル、または三次元の画像用のボクセル、または処理される画像が映画の場合、時間のピクセルである。最後に、一画像当たり１ピクセルの映画のような一次元画像を表す信号の場合、これらの点は最終的に連続したサンプルとなる。

前記したように、本発明のノイズ低減処理を用いることによって、カメラの光センサのサイズあるいはそれらセンサの露光時間を再び定めることが今や可能となる。

このようにして、本発明による方法のステップａ）において、画像の複数の点が所与の領域の１つまたは複数の光センサから得られ、単位面積当たり、所定の露光時間がこの１つまたは複数の光センサ上に課せられる。一般に、露光時間の減少はノイズの現象をもたらすことを指摘しておく。

もしステップｃ１）、ｃ２）およびｃ）の実行が係数Ｋ（Ｋ分の１）のノイズの減少をもたらすならば、１つまたは複数の光センサの露光時間の、ほぼＫ²分の１の減少が、ほぼ一定のＳＮ比での動作するように許可するのが有利である。

一定のＳＮ比、かつ一定の露光時間で動作する構成では、単位面積当たりのセンサの数は、取得され処理された画像の分解能を、ほぼ係数Ｋ²（Ｋ²分の１）だけ増大させるように増加させるのが有利である。

この点に関して、本発明は、１つまたは複数のセンサを備え、上記した方法を実施するためにセンサの露光時間を制御する手段を有するカメラをも目的としている。このカメラに、本発明による処理方法を、該カメラの１つまたは複数のセンサによって取得された信号に適用するように適切にプログラムされた処理ユニット備える対処も有利なことに存在する。特に、この処理ユニットは、上記したステップの全てまたは一部を実施するための命令を有するコンピュータプログラム製品を格納できるメモリを有している。

この点に関して、本発明は、上記した種類の処理ユニットのメモリに、あるいは、処理ユニットの読み取り器と協働するようになった、ＣＤ‐ＲＯＭやディスケットのような取り外し可能な記憶媒体に格納されるようになっているそのようなコンピュータプログラム製品も目的としている。

本発明の他の利点および特徴は、非限定的な例として与えられた以下の詳細な説明を読み、添付の図面を調べることによって明らかになる。

まず、図１を参照すると、上記で定めたカメラは、物体ＯＢＪから出てくる光束を受け取るＣＣＤセンサの行列を有し、２つの要素が、例えばブラックボックス（不図示）に収容されている。カメラは、特に、ＣＣＤセンサから出てくる信号を、プロセッサ３によって処理されるように作業メモリ２内に一時的に格納されるディジタルサンプル、通常、ピクセルに変換する取得カード１をも有している。

ディジタル画像は、グレイ値またはカラーレベルを備えた、格子上の複数の点になぞえられる複数のピクセルから構成されていることを思い出すべきである。

例えば読み出し専用メモリであるメモリ４が、本発明による方法を実施するためのコンピュータプログラム製品の命令を格納している。これらピクセルは、その後、記載されている例では、ディスプレイスクリーンＥＣＲによって処理される画像を可視化するためのグラヒィックインターフェースであるインターフェース５によって送信される。しかし、変形例として、インターフェース５は、処理されたピクセルを遠隔のエンティティ（ｅｎｔｉｔｙ）に送信する通信インターフェースでもよいことを指摘しておく。インターフェース５は、本発明の方法によって取得され処理されたピクセルをその後に復元するように、例えば記憶媒体上に格納するための記憶ユニットとのインターフェースであってもよい。最後に、インターフェース５は紙の上に印刷するユニットとのインターフェースであってもよい。

さらに他の変形例においては、取得されたサンプルは、これらサンプルをカメラ自体で処理するために備えるのではなく、本発明によるノイズ低減プロセスをこれらのサンプルに適用する処理ユニットを有する遠隔のエンティティに直接送信される。

以下、本発明の好ましい実施形態を説明する前に、本発明の方法の原理をおおまかに説明する。

図２を参照すると、ディジタル画像ＩＭとピクセルＰｒｅｆが考慮されている。図２に示されているのは二次元の画像である。したがって、以後、画像の点を指すピクセルについて述べる。しかしながら、上記したように、画像は三次元で、ボクセルを含んでいてもよい。画像は、映画であって、時間のピクセルを含んでいてもよく、これらの種々の相違点は、理解されるように、本発明の原理に影響するものではない。

I(Ｐref)は、ピクセルＰrefに関連する色（または白黒画像に対するグレイレベル）の値を指す。この値は、（グレイレベルの画像に対する）整数または実数または（赤−緑−青を表す）ＲＧＢ標準におけるカラー画像の場合における３組（ｔｒｉｐｌｅ）、あるいはマルチスペクトル画像の場合におけるｎ組であり、これらの種々の相違点も、理解されるように、本発明の原理に影響するものではない。

劣化した画像IＭの場合、目的は、画像の主要な特性および小さな寸法の細部とテクスチャを維持しつつ、劣化を抑えることである。この目的を達成するために、本発明による処理は、ノイズの性質および画像の性質に関するいかなる仮定も立てない。しかし、ノイズの種類を知れば、実行される統計計算の種類（例えば、重み付き平均や重み付き中央値）、または類似ウインドウのための決定されたサイズのような、本方法のいくつかの要素を特定し、改変することが可能である。それにもかかわらず、本処理は、全ての標準の画像が高い程度の冗長度を示すことに基づいている。したがって、各ピクセルの周りには、それに非常に似た複数のピクセルが存在することが考慮される。

したがって、該処理は非常に一般的な用語で以下のように記載することができる。
−値I(p)の値I(ｐ)の各ピクセルｐについて、これに最も類似する画像のピクセル（これらピクセルをｐ_１,・・・,ｐ_ｎと表す）を探索する、
-その後、初期値I(ｐ)を、Ｉ(ｐ_１),・・・,Ｉ(ｐ_ｎ)の値の平均に置き換える
この平均動作はノイズを減少させる。しかし、この処理の質は所与のピクセルに最も類似するピクセルを見つけ出す能力にかかっている。

「ノイズ低減」の公知の技術の多くはこのように進行する。通常、先に引用した米国特許６，６８１，０５４および米国特許６，５３９，１２５に記載された技術は、最も近いピクセルはそれに最も類似するピクセルでもあると仮定して、各値Ｉ(ｐ)を、空間距離に関して最も近いピクセルの値の重み付き平均に取って代える。

本発明による処理において、類似の要件は空間的に近いことの規準に対して支持される。

図２を参照すると、処理される画像ＩＭ内またはしばしばより有利には、モデルと見なされる他の画像内に位置する学習領域ＺＡに属する複数の点ＰＣ、ＰＣ’、・・・が表されている。処理され、一部が必ず画像ＩＭに属する基準点Ｐｒｅｆも考慮されている。点Ｐｒｅｆ、ＰＣ、ＰＣ’、・・・を中心としてそれぞれ同じフォーマットのウインドウｆ１、ｆ２、ｆ’２、・・・を作る。ウインドウｆ１とｆ２間、そしてウインドウｆ１とｆ’２間等のそれぞれの距離ｄ、ｄ’等が求められる。図２に示されている例では、点ＰＣを含むウインドウｆ２は、斜めのストライプの形態をした画像パターンＭＯＡを有し、基準点Ｐｒｅｆ、他の現在の点ＰＣ’をそれぞれ含むウインドウｆ１とｆ’２は共に「白」である。この場合、本発明による処理は、たとえ点ＰＣが距離において点ＰＣ’よりも基準点Ｐｒｅｆに近くても、ウインドウｆ’２に割り当てられている距離ｄ’よりも大きな距離ｄをウインドウｆ２に割り当てる。

本発明における２つのピクセル間の類似度は次のように求めることができる。
−図２に示されている２つのピクセルＰｒｅｆとＰＣを考慮する、
−ピクセルＰｒｅｆに中心を有する、例えば正方形の、第１の「類似ウインドウ」ｆ１、そしてピクセルＰｆに中心を有する、同じ形状の、第２の「類似ウインドウ」ｆ２を考慮する、
−ピクセルＰｒｅｆとＰＣは、ウインドウｆ１とｆ２が互いに類似しているならば（類似は、好ましい例と後で指定される規準に対して測定される）、互いに類似しているとみなされる。

中央のピクセルから所定の距離にあるピクセルの集合を「ピクセルに中心を有するウインドウ」と呼ぶ。これらのウインドウはここでは正方形であることが好ましいことを指摘しておく。しかし、それらの形状は矩形、楕円形あるいはその他の形状であってもよい。

ウインドウ同士間の距離の規準は通常の方法で確立され、この距離は例えば、第１のウインドウと第２のウインドウ間の、複数の点の値の差の重み付き自乗和に基づいて求められる。２つのウインドウの類似度を求める何らかの他の距離、基準または測定値も考えられる。

２つのウインドウの間の類似度は、後で詳しくわかるように、各ウインドウピクセルにおけるグレイレベルまたはカラーレベルの差の自乗和の合計の関数として求められるのが好ましい。

互いに類似するウインドウ間および互いに類似しないウインドウ間の閾値を設定する必要がないことを指摘しおく。各類似ウインドウについて、距離ｄとは逆に変化する重みが求められる。したがって、I(Ｐｒｅｆ)の復元されたピクセルに割り当てられる値を計算することを可能にする重み付き平均は、互いに類似するウインドウが多くをカウントし、互いに類似しないウインドウが少ししかまたは全くカウントしない平均である。

通常、ノイズが２の係数によって除算されるためには、真に互いに類似するウインドウの数が４を超えるだけで十分であり、このことは実際には常にそうである。通常の技術によって生じる誤差は、平均が求められる複数のピクセルの類似は、完全に考慮されるパラメータではないということに特に基づいている。

図４はこれらのステップを要約するものである。画像内の処理される基準ピクセルＰｒｅｆがステップ４１において指定される。ステップ４２において、それに、所定の寸法のウインドウｆ１が関連付けられる。ステップ４３において、処理される基準ピクセルの指定は、それに学習領域ＺＡを関連付け、したがって、この学習領域ＺＡに属し、平均の計算を行うベースとなる現在のピクセルＰＣ、ＰＣ’、・・・を指定することも可能にすることを指摘する。

ステップ４４において、本方法は、現在のピクセルＰＣ、ＰＣ’、等と関連する第２のウインドウｆ２、ｆ’２、・・・を作ることによって継続する。ステップ４５において、それぞれの距離ｄ、ｄ’等がウインドウｆ１とウインドウｆ２の間、ウインドウｆ１とウインドウｆ’２の間等の類似度の規準に従って求められる。

ステップ４６において、重み付き平均ＭＯＹが、現在の点ＰＣ、ＰＣ’、・・・のピクセルの値ｖａｌ(ＰＣ)、ｖａｌ(ＰＣ’)およびステップ４５で計算されたそれぞれの距離ｄ、ｄ’、・・・の関数として求められる。
通常、
ＭＯＹ＝ｖａｌ(ＰＣ)/Ｄ＋ｖａｌ(ＰＣ’)/Ｄ’＋．．．
ここで、Ｄ，Ｄ’，．．．は距離ｄ，ｄ’，．．．と同様に変化する値である。

ステップ４７において、値ＭＯＹは基準ピクセルＰｒｅｆに割り当てられ、この新しい値ｖａｌ(Ｐｒｅｆ)は、画像を後で表示するために、またはその他のためにメモリに格納されるのが好ましい（ステップ５０）。ステップ４８において、処理される画像の他のピクセルが未だ存在するかどうか調べられ、この場合この新しいピクセルは、次のステップ４２から５０で再び実施される、ステップ４１において基準ピクセルと指定される。処理される画像の他のピクセルが存在しなければ、本方法はステップ４９で終了する。

図４の方法のあるいくつかのステップで、典型的な実施形態として、そしてそれにもかかわらずノイズを係数２（２分の１）だけ低減するのに十分な処理効率を達成するのを可能にする計算を以下で詳細に述べる。

０に中心を有し、（２Ｎ＋１）×（２Ｎ＋１）の一定サイズを有する任意の形状（正方形、円、あるいはその他）のウインドウＡ(ｐ，Ｎ)として定義された「ｐ”に中心を有する学習領域」ＺＡに各ピクセルｐが関連付けられる。

ｐと関連する新しい値Ｉ_RES(ｐ)は、数(１)の式にしたがって、学習領域Ａ(ｐ，Ｎ)に属するピクセル群ｑの値Ｉ(ｑ)の重み付き平均として書くことができる。

ここで、重みｗ(ｐ，ｑ)は、関連するそれぞれのウインドウの類似度の規準にしたがって、ピクセルｐとｑ間の距離に対して逆方向に変化する。

ピクセルｐと関連する学習領域の重みのファミリーは

であるようなものである。

ピクセル同士間の類似度を求めるために、ピクセルｐに中心を有し、（２Ｍ＋１）×（２Ｍ＋１）の一定サイズを有する、Ｗ(ｐ，Ｍ)で表される「ピクセルｐ”に中心を有する類似ウインドウ」をまず定める。

ピクセル同士間の類似度はウインドウＷ(ｐ，Ｍ)とＷ(ｑ，Ｍ)間のカラー値（またはグレイレベル）の類似度に依存する。式(1)で表される平均では、重みｗ(ｐ，ｑ)は、Ｗ(ｐ，Ｍ)とＷ(ｑ，Ｍ)内の互いに類似するピクセルの数が多いほどそれだけ大きい。通常、図２に示されている例では、重みＷ(Ｐｒｅｆ，ＰＣ’)は、それぞれＰｒｅｆ，ＰＣ’を含むウインドウｆ１とｆ’２間の類似度が大きいので大きい。他方、類似ウインドウは異なるので、重みＷ(Ｐｒｅｆ，ＰＣ)は小さく、ウインドウｆ２は上記したようにストライプを含む。

ウインドウ間の類似度を計算するために、まず、Ｗ(ｐ，ｉ)とＷ(ｑ，ｉ)の間の距離を、式（２）にしたがって、差ベクトルのユークリッドノルムと定義する。

ここで、
−Ｗ(ｐ，ｉ)(ｊ)は、サイズが（２ｉ＋１）×（２ｉ＋１）で、点ｐに中心を有するウインドウの点の（２ｉ＋１）²個の値であり、
−Ｗ(ｑ，ｉ)(ｊ)は、サイズが（２ｉ＋１）×（２ｉ＋１）で、点ｑに中心を有するウインドウの点の（２ｉ＋１）²個の値である。

２つのウインドウＷ(ｐ，ｉ)とＷ(ｑ，ｉ)は、上記のノルムが小さければ「類似する」と言われる。

しかし、好ましい実施形態において、図３を参照すると、同じサイズ（２Ｍ＋１）×（２Ｍ＋１）の２つのウインドウｆ１とｆ２はＷ(ｐ，Ｍ)とＷ(ｐ，Ｍ)で表され、サイズが（２ｉ＋１）×（２ｉ＋１）（ただし、１≦i≦Ｍ）のそれらのサブウインドウＷ(ｐ，ｉ)とＷ(ｑ，ｉ)がそうである場合にのみ類似している。

図３を参照すると、図２のように、基準点Ｐｒｅｆに中心を有するウインドウｆ１は、互いにネスト構造で、点Ｐｒｅｆに中心を有し、Ｗ(ｐ，１)からＷ(ｐ，Ｍ)へそれぞれ増大するサイズ（３×３，５×５，７×７，．．．，（２ｉ＋１）×（２ｉ＋１），．．．，（２Ｍ＋１）×（２Ｍ＋１））を有する複数のサブウインドウ（Ｗ(ｐ，１)，Ｗ(ｐ，２)，Ｗ(ｐ，３)，．．．，Ｗ(ｐ，ｉ)，．．．，Ｗ(ｐ，Ｍ)）を有している。

同様に、図２におけるように、現在の点ＰＣに中心を有するウインドウｆ２は、互いにネスト構造で、現在の点ＰＣに中心を有し、Ｗ(ｑ，１)からＷ(ｑ，Ｍ)へそれぞれ増大するサイズ（３×３，５×５，７×７，．．．，（２ｉ＋１）×（２ｉ＋１），．．．，（２Ｍ＋１）×（２Ｍ＋１））を有する複数のサブウインドウ（Ｗ(ｑ，１)，Ｗ(ｑ，２)，Ｗ(ｑ，３)，．．．，Ｗ(ｑ，ｉ)，．．．，Ｗ(ｑ，Ｍ)）を有している。サブウインドウＷ(ｐ，ｉ)とＷ(ｑ，ｉ)（１からＭの全てのｉについて）と同様にウインドウｆ１とｆ２は同じフォーマットで、特にそれぞれ同じサイズを有する。

次に、ウインドウｆ１とｆ２間の距離を、式（３）の関係式にしたがって、ここでは差ベクトルの「一般化」と呼ばれる「ノルム」と定義する。

Ｍは、（２Ｍ＋１）×（２Ｍ＋１）が，ウインドウｆ１とｆ２の、点の数における、Ｗ(ｐ，Ｍ)とＷ(ｑ，Ｍ)と表されるサイズであるような整数である。

しかし、ＲＧＢ標準におけるカラー画像に対して、前記距離は次の式に基づいて求められる。

ここで、
-Ｗｕ(p,i)(j)は、第１のウインドウｆ１に含まれ、基準点ｐに中心を有する、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の座標ｕを有する（２ｉ＋１）²個のベクトル値であり、
−Ｗｕ(ｑ,i)(j)は、第１のウインドウｆ２に含まれ、現在の点ｑに中心を有する、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の座標ｕを有する（２ｉ＋１）²個のベクトル値である。

これらの座標ｕはしたがって青、赤、および緑のそれぞれのレベルである。

一般に、現在の点ｑに割り当てられた重み付けは、点ｑに関連する値と、基準点ｐに関連する値の距離と共に小さくなる。

基準点ｑに割り当てられる平均値の算出のために、現在の点ｑに割り当てられた重み付けを表す重みｗ(ｐ,ｑ)は次の式にしたがって定められる。

ここで、
−Ａ(ｐ,Ｎ)は、基準点ｐに中心を有し、サイズが（２Ｎ＋１）×（２Ｎ＋１）である学習領域であり、
−ｈは、画像のフィルタリングの程度を示すパラメータである。

ここで、Ｚ(p)は、重みｗ(ｐ,ｑ)の合計が１に等しくなるような定数であることを明確に述べる。したがって、Ｚ(p)は、単に次の式に基づいて定められる。

したがって、この方法は、一般大衆のための用途に適したディジタル画像のために決めることができる次の３つのパラメータを含んでいる。

第１のパラメータは、学習領域のサイズ（２Ｎ＋１）×（２Ｎ＋１）である。この領域は、画像の統計的性質を考慮に入れることを可能にするに十分な大きさでなければならない。試験によって、学習領域の、点の数におけるサイズが２０×２０よりも大きいことが好ましいことがわかった。通常、２１×２１個のピクセルの領域が適切な学習を保証するのに十分である。

第２のパラメータは、類似ウインドウのサイズ（２Ｍ＋１）×（２Ｍ＋１）である。あまりにも小さなウインドウはあまりにも局所的な比較につながることがある。他方、あまりも大きなウインドウは、どのウインドウも真に類似していないという結果を有することがある。ここで、再び、試験によって、第１のウインドウｆ１と第２のウインドウｆ２のサイズが１０×１０よりも大きく、好ましくは、１５×１５よりも大きいか１５×１５に等しいことがわかった。通常、１５×１５の類似ウインドウｆ１およびｆ２のサイズは標準偏差が２０のガウスノイズに最適である。１１×１１のウインドウサイズは非常に良い結果をもたらす。このサイズは、グレイレベルを有する画像に対して示されている。カラー画像の場合、類似ウインドウのサイズは７×７に小さくなり、弱いノイズでは３×３に下がる。

第３のパラメータは画像のフィルタリングの程度を示すパラメータｈである。このパラメータは約３の値に定めるのが好ましい。

しかしながら、この値は、画像が過度に劣化している場合にはより小さな値を選択してもよい。

しかしながら、他のパラメータ集合は、医療画像化や映画の復元などのような、より的をしぼった用途に対して適切かもしれない。

上記した、Ｎ，Ｍおよびｈの値を有する二次元画像に適用された本方法は、ＳＮ比を２よりも大きい割合だけ上げることを可能にする。この方策は、そんなにノイズが多くない画像を取り、その後人工的ノイズをそれに加えることによって検証できる。本処理の性能は、復元された画像の平均相対誤差を、ノイズのないオリジナルおよび、ノイズによって発生した相対誤差と比較することによって正確に測定される。次に、いつものように、ＳＮ比の、２よりも大きい係数との乗算に言及する。したがって、４倍小さい（２²）ＣＣＤセンサを、上記したように、ノイズを増加させることなく用いることができる。本発明によるコンピュータプログラム製品を、ディジタルカメラの、写真現像装置の、またはディジタル画像を復元する装置のメモリに格納できるが、本発明のアプリケーションは、ＳＮ比を４よりも大きい係数（４分の１）だけ下げること可能にすることによって何らかの新しいカメラや新しい写真装置のセンサの設計に影響を与えることもある。

しかしながら、高性能の実施形態では、画像に存在するノイズの標準偏差を計算し、それに応じて類似ウインドウの最適サイズ（２Ｍ＋１）×（２Ｍ＋１）を決めることが好ましい。処理され、従来のズームが用いられた画像では、好ましい実施形態を参照して後でわかるように、サイズはＭ＝１からＭ＝７にわたる。したがって、類似ウインドウのピクセルのサイズは、ズーム画像で３×３と１５×１５の間で変化する。１３よりも小さいか約１３の標準偏差のノイズを有するカラー画像の３×３のサイズは最も細かい細部を復元するのを可能にする。

図５を参照すると、本発明による方法は、有利な実施形態において、ステップ５１で生の画像ＩＭを取得した後、次の全体的なステップを含む。
−ステップ５２において、処理される画像ＩＭがディジタルズーム動作によって拡大され、
−本発明における処理ＴＲおよび図４のステップ４１から５０が適用され、
−ステップ５５において、処理された画像Iresが、これを復元するために、ズームアウト動作によって逆方向に縮小される。

正しいＴＲの処理ステップの前に、上記したように、
−処理される画像中のノイズIｂのレベルを推定し（ステップ５３）、
−類似ウインドウの、特に点の数でのフォーマットＭを、推定されたノイズレベルの関数として改変する（ステップ５４）。

処理は、シャノンのサンプリング定理にしたがってズーム（ＦＦＴによるズーム）後にそれを適用するならばより有効であることが実際にわかった。類似ウインドウの位置はより正確になり、こまかなテクスチャの復元が改善される。

処理は、復元されたピクセルの値が類似ウインドウの値の平均のみならず、それ自体公知の方法によって推定できる、これら値の分散に依存しているならば、より有効である。

このようにして、本発明のノイズ低減による処理は、画像の各ピクセルにおける値を、画像のピクセルの全ての値の重み付き平均に置き換えることにある。重み付けは、ピクセルに中心を有するウインドウに非常に類似するウインドウが平均に大いに貢献し、一方それに大して類似しないウインドウが平均にほとんど貢献しないように行われる。同じフォーマットの２つのウインドウ間の類似度が、該２つのウインドウの各ピクセル間の値の差の関数、例えばこれらの差の二次平均、あるいは該２つのウインドウの類似度をより細かく測定するその他のノルム、偏差または距離に基づいて求められる。

この重み付き平均は、画像中に固有の冗長のために、２よりも大きい係数だけノイズによる誤差を減らしつつ、良好な値を裏付ける。本発明による方法はノイズまたは画像についてのいかなる事前の知識も前提としない。

この方法は、４倍を超えて大きい内部ノイズまたは光子ノイズを有するセンサを使用し、様々な復元動作（通常、曇りの取り除き（ｄｅｂｌｕｒｒｉｎｇ）、露光不測の写真用のグレイスケールの延長、その他）によって生じたノイズを除去することを可能にする。

勿論、本発明は、一例としてのみの上記した実施形態に限定されるものではなく、他の変形例に拡張する。

一般に、重み付け平均は、考察するノイズの種類にしたがって、中央値、または重み付き中央値のような他の統計的な評価子に置き換えてもよいことが指摘される。重み付き平均または重み付き中央値の重みの計算が、上記した類似規準に基づく距離に基づくのとは別に、例えば各ウインドウの分散や画像中のノイズの推定分散などのような、画像中で全体的に推定された他の統計的パラメータや各類似ウインドウに基づいてもよい。

再び、上記した本方法は、元（セルロースまたはディジタル）に無関係に、カラーであれ白黒であれ、任意の次元の画像、フィルムまたは三次元の画像に適している。画像が元々ディジタル形式でなければ、それは前もって走査される。

本発明による処理の実施に入るカメラの要素を非常に概略的に示す図である。 距離の評価およびそれによって重み付けの評価のために比較されるウインドウのフォーマットを概略的に示す図である。 距離の評価の働きをする、それぞれ増大するサイズを有する一連のウインドウを実施形態において概略的に示す図である。 好ましい実施形態による本方法の主なステップを要約する図である。 好ましい実施形態における、上記した方法の追加のステップを表す図である。

Claims (20)

1. ａ）自身に関連する値をそれぞれが有する、画像の複数の点を得るステップと、
   ｂ）学習領域を前記画像の基準点に関連付けるステップと、
   ｃ）前記基準点に、前記学習領域に含まれる前記各点の値を用いて、重み付き平均値または重み付き中間値のタイプの、重み付けされた統計的推定によって得られた新しい値を割り当てるステップと
   を有する、画像データを、画像ノイズを減らすことによって処理する方法において、
   ｃ１）前記学習領域の現在の点のそれぞれについて、前記基準点に中心を有する、前記画像の第１のウインドウ内の各点の値と、前記第１のウインドウと同じフォーマットで、前記現在の点に中心を有する第２のウインドウ内の各点の値の間の類似度を特徴付ける距離を求めるステップと、
   ｃ２）ステップｃ）の重み付き統計的推定において用いられる重みを計算するために、全ての現在の点について得られた距離を用いて、前記学習領域の全ての点について、連続した現在の点としてステップｃ１）を繰り返すステップと
   を有することを特徴とする、画像データを、画像ノイズを減らすことによって処理する方法。
2. ステップｃ）が、前記画像の全ての点に、連続した基準点として適用されることを特徴とする、請求項１に記載の方法。
3. 前記学習領域が前記画像の全体に対応することを特徴とする、請求項１または２に記載の方法。
4. 前記学習領域が、処理される画像と異なる、１つまたは複数のモデル画像に属することを特徴とする、請求項１に記載の方法。
5. 前記点は、二次元画像用のピクセル、または三次元画像用のボクセル、または処理される画像が映画の場合、時間のピクセルであることを特徴とする、請求項１から４までのいずれか１項に記載の方法。
6. 前記距離を、前記第１のウインドウと前記第２のウインドウの、各点の値の差の自乗の合計に基づいて求めることを特徴とする、請求項１から５までのいずれか１項に記載の方法。
7. 前記距離を次式
   

   

   ここで、
   Ｍは、（２Ｍ＋１）×（２Ｍ＋１）が前記第１のウインドウの、点の数におけるサイ ズであるような整数、
   Ｗ（ｐ，ｉ）（ｊ）は、前記第１のウインドウに含まれ、前記基準点ｐに中心を有す る、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の（２ｉ＋１） ²個の値、
   Ｗ（ｑ，ｉ）（ｊ）は、前記第２のウインドウに含まれ、前記現在の点ｑに中心を有 する、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の（２ｉ＋１ ）²個の値、
   から求めることを特徴とする、請求項１から６までのいずれか１項に記載の方法。
8. 前記距離を次式
   

   

   ここで、
   Ｍは、（２Ｍ＋１）×（２Ｍ＋１）が前記第１のウインドウの、点の数におけるサイ ズであるような整数、
   Ｗｕ（ｐ，ｉ）（ｊ）は、前記第１のウインドウに含まれ、前記基準点ｐに中心を有 する、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の、座標ｕを 有する（２ｉ＋１）²個のベクトル値、
   Ｗ（ｑ，ｉ）（ｊ）は、前記第２のウインドウに含まれ、前記現在の点ｑに中心を有 する、サイズが（２ｉ＋１）×（２ｉ＋１）の現在のサブウインドウの点の、座標ｕを 有する（２ｉ＋１）²個のベクトル値、
   から求めることを特徴とする、請求項１から６までのいずれか１項に記載の方法。
9. 前記座標ｕが青、赤、緑の各レベルであることを特徴とする、前記画像がカラー画像である、請求項８に記載の方法。
10. 現在の点ｑに割り当てられた重みが、この点ｑに関連する値と前記基準点ｐに関連する値の間の距離とともに小さくなることを特徴とする、請求項１から９までのいずれか１項に記載の方法。
11. 現在の点ｑに割り当てられた重みが次式
    

    

    ここで、
    Ａ（ｐ，Ｎ）は基準点ｐに中心を有し、サイズが（２Ｎ＋１）×（２Ｎ＋１）である 前記学習領域、
    ｈは、前記画像のフィルター度を示すパラメータ
    によって与えられることを特徴とする、請求項１０に記載の方法。
12. 前記学習領域のサイズが、点の数で、２０×３０よりも大きいことを特徴とする、請求項１から１１までのいずれか１項に記載の方法。
13. 前記第１および第２のウインドウのサイズが１０×１０よりも大きく、好ましくは１５×１５よりも大きいかこれと等しく、そしてカラー画像においては、好ましくは５×５よりも大きいかこれと等しく、あるいはたいしてノイズを含んでいない画像の場合には３×３であることを特徴とする、請求項１２に記載の方法。
14. 前記パラメータｈが約３の値を有することを特徴とする、請求項１２と組み合わされた、請求項１２または１３に記載の方法。
15. ステップａ）において、前記画像の点を、与えられた領域の１つまたは複数の光センサから、該センサを、単位面積当たり、所定の露光時間、光に曝すことによって取得し、前記露光時間の減少はノイズの増加をもたらす、請求項１から１４のいずれかに記載の方法において、前記ノイズの、Ｋ分の１の減少、前記１つまたは複数のセンサの露光時間の、ほぼＫ²分の１の減少をもたらすステップｃ１）、ｃ２）、およびｃ）の実行が、ほぼ一定のＳＮ比で動作するように許可されていることを特徴とする請求項１から１４のいずれかに記載の方法。
16. 取得され、処理された画像の解像度をほぼＫ²分の１だけ上げるように、単位面積当たりのセンサの数を増加させつつ、一定のＳＮ比および一定の露光時間で動作することを特徴とする、請求項１５に記載の方法。
17. 処理される画像中のノイズのレベルを推定するステップと、
    前記第１および第２のウインドウの、特に点の数に関してのフォーマットを、前記の推定されたノイズレベルの関数として変えるステップと、
    を含む先行するステップを有することを特徴とする、請求項１から１６のいずれか１項に記載の方法。
18. 処理される画像をディジタルズーム動作によって拡大するステップと、
    ステップa）,ｂ),ｃ１),ｃ２),およびｃ）を実行するステップと、
    処理された画像を、ズームアウト動作によって逆方向に減少させるステップと、
    を含む全体的なステップを有することを特徴とする、請求項１から１７までのいずれか１項に記載の方法。
19. 処理ユニットのメモリに、または前記処理ユニットの読み取り器と協働するようになっている取り外し可能な記憶媒体に格納されるようになっているコンピュータプログラム製品において、請求項１から１８のいずれか１項に記載のすべてまたは一部のステップを実行するための命令を含むことを特徴とするコンピュータプログラム製品。
20. １つまたは複数のセンサと、メモリを含む処理ユニットを備えたカメラにおいて、前記メモリは、請求項１９に記載のコンピュータプログラムプロダクトを格納することができ、前記カメラは、請求項１５または１６に記載の方法を実行するために、前記センサの露光時間を制御する手段を有することを特徴とするカメラ。

Images