JP2017516233A - 雑音を有する画像の雑音を除去する方法 - Google Patents

Abstract

方法が、雑音を有する画像内の各ピクセルについて、最初にパッチからキーを作成することによって、雑音を有する画像の雑音を除去する。このパッチは、上記ピクセルの周囲の局所的に近傍のピクセルを含む。このキーを用いて関数ライブラリーから関数が選択される。次に、この関数がパッチに適用されて、上記ピクセルの対応する雑音のないピクセルが生成される。

Description

本発明は、包括的には、画像処理に関し、より詳細には、画像を処理して雑音を低減し、画像コンテンツの画質を高めることに関する。

画像の雑音除去の目標は、雑音によって破損された画像から「雑音のない」画質が高められた画像を再構成することである。画像の雑音を除去する多くの画像処理方法が存在する。

第１のグループの方法は、対象ピクセルの雑音のない推定値が、当該対象ピクセルの小さな空間近傍内のピクセル値の加重平均として再構成される局所的な方法を用いる。１つのそのような方法は、雑音を有する画像を、重みが関数に従って対象ピクセルからの距離とともに減少するガウスカーネル関数等の平滑化フィルターと畳み込む。近傍内の局所的な画像構造（ピクセル値）の影響を受けない線形フィルタリング演算に起因して、結果の画像は、通常、ぼやけたアーティファクトを有する。

このぼやけたアーティファクトを克服するために、他の局所的な方法は、非線形フィルターを用いることによってフィルターを「エッジ保存型（ｅｄｇｅ−ａｗａｒｅ）」にするように試みる。メディアンフィルターが、ピクセル値を近傍内のピクセル値の中央値として再構成する。

別の方法は異方性拡散を用いる。この異方性拡散では、拡散プロセスの結果としてフィルターの形状を局所的な画像構造に適合させることができ、これは、画像の不連続点の影響を受ける。

シグマフィルターは、対象ピクセルとその近傍内の他のピクセルとの絶対ピクセル値差を閾値処理することによって、近傍内で対象ピクセルに類似したピクセルを識別する。次に、対象ピクセルは、近傍内の類似のピクセル値（類似性閾値内の差を有するピクセル）のみの平均によって再構成される。そのモデルにおける重みは、類似性基準に従って０又は１であるとみなすことができる。

シグマフィルターに対する幾つかの拡張が知られている。例えば、ハード閾値処理演算子（０又は１の重み）の代わりに、重みが、空間領域にあるカーネル関数とレンジ（ピクセル値）領域にあるカーネル関数との２つのカーネル関数の乗算に従って連続的に変化するバイラテラルフィルターを用いることができる。

別の方法は、対象となるピクセルの周囲のそれぞれ異なる局所的な画像エリアを調べ、これらの局所的なエリアごとに雑音のない推定値を求める。次に、対象となるピクセルの推定値が、局所的なエリアの推定値の或る加重平均として求められる。

別の方法は、各ピクセル値の雑音分散を求める。この雑音分散は、ルックアップテーブルに記憶されている。次に、類似性閾値及び重みが、この雑音モデルに基づいて調整される。

局所的な雑音除去方法は、高速計算を可能にする空間的局所性から利益を得る。しかしながら、それらの方法は、画像の雑音除去の重要な手がかりとなる繰り返しパターン等の画像の大域的な統計量を用いることができない。

第２のグループの方法は、非局所的な雑音除去方法を用いる。この非局所的な方法は、画像内の全てのパッチを探索することによって、対象画像パッチに類似した画像パッチを取り出す。次に、この対象パッチは、類似のパッチの加重平均に置き換えられる。

代替の非局所的な方法は、同じ画像からの学習辞書と変換領域非局所的フィルタリングとを用いた画像パッチのスパース再構成を含む。それらの方法の非局所的な探索ステップによって、計算制約及びメモリ制約を有するシステムでは、画像パッチを用いることが困難になる。

代替的に、非局所的な雑音除去は、グラフ切断又は確率伝搬を用いてマルコフ確率場（ＭＲＦ）に対して推論を実行することによって達成することができる。高速性能を達成するために、反復回数は少なく、その結果、かなりの雑音が残る。

本発明の実施の形態は、雑音を有する画像の雑音を除去して、雑音のない画質が高められた画像を生成する方法を提供する。本方法は、局所的雑音除去関数のライブラリーを用いる。画像の各ピクセルについて、そのピクセルの周囲の局所的な近傍（パッチ）を用いて、キーが作成される。このキーは、各ピクセルを関数ライブラリー内の雑音除去関数にマッピングする。ピクセルを雑音のないものに再構成したものは、選択された関数をピクセルのパッチに適用することによって求められる。

雑音除去関数のライブラリーは、例えば、オフラインプロセスにおいてトレーニング画像を用いて学習することができる。この学習プロセスは再構成誤差を最小にする。本方法は、キーを通じて非線形マッピングをこれらの関数と組み合わせる。これらの関数は、様々なパッチ構成について最適化され、既存の手動調節型の局所的雑音除去方法よりも良好な再構成を提供するとともに、それでも高速な処理を可能にしている。

本発明の実施形態による雑音除去方法のフロー図である。 本発明の実施形態による雑音除去方法の詳細なフロー図である。 本発明の実施形態による空間マッピングの概略図である。 本発明の実施形態による雑音マッピングのフロー図である。 本発明の実施形態による関数マッピングのフロー図である。 本発明の実施形態によるライブラリー関数を用いた雑音除去の概略図である。 本発明の実施形態による関数ライブラリーを作成するフロー図である。

図１は、本発明の実施形態による、局所的雑音除去関数のライブラリー５０１を用いて、雑音が除去された画像１０２を生成する、雑音を有する画像１０１の雑音を除去する方法１１０のフロー図である。本方法は、当該技術分野において知られているように、バスによってメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。

図２は、上記雑音除去方法の詳細なフロー図である。雑音を有する画像内のピクセルｘは、値Ｉ（ｘ）を有する。このピクセルの周囲の局所的な近傍、すなわち「パッチ」はＰ（ｘ）である。このパッチは、方形、楕円、又は画像コンテンツに適合したピクセルの不規則な配置等の任意の形状を有することができる。

雑音推定器２１０は、雑音を有する画像１０１内のピクセルの局所的な近傍、すなわちパッチＰ（ｘ）を用いて各ピクセルの雑音分散σ２１１を求める。関数マッピングｍ（ｘ）５１０は、ピクセルの雑音分散推定及び局所的な近傍を用いて各ピクセルを関数２３０にマッピングする（図５参照）。選択された関数ｆ２３０は、雑音を有する画像内のパッチＰ（ｘ）に適用され（２４０）、雑音が除去された画像１０２の対応する雑音が除去されたピクセルを生成する。

雑音推定
雑音推定２１０の間、本方法は、各ピクセルの雑音の分散を推定する。１つの実施形態では、分散σは、同じ値ｖを有する全てのピクセルについて同一であると仮定される。すなわち、Ｉ（ｘ）＝ｖ及びＩ（ｙ）＝ｖである場合、σ（ｘ）＝σ（ｙ）＝σ_ｖであると仮定される。

この分散は、各ピクセルの周囲の局所的なパッチを用いて推定される。平均値ｖを有する画像内の各パッチについて、そのパッチの強度値の分散が求められる。各パッチにつき１つの分散が求められる。パッチが一定カラーエリアに由来する場合、このパッチの分散は、雑音の経験的推定に等しい。

しかしながら、パッチは、非一定カラーエリアに由来する可能性もあるので、パッチ分散推定値は、近似的に、値ｖを有するピクセルの雑音分散分布の下限とされる。値ｖの雑音分散は、平均値ｖを有するパッチの中心ピクセルの雑音分散の分布のｋ次統計量として推定される。１つの実施形態では、ｋは、例えば、パッチの中心ピクセル値の分散計算の分布の値ｖを有するピクセルの数の０．１として選択される。

一般に、分散は、ピクセル値の変化とともに平滑に変化する。値ごとに独立した雑音推定の結果、平滑でない雑音プロファイルが得られる。したがって、分散は、平滑な雑音プロファイルを生成するように平滑化される。

関数マッピング
画像の各ピクセルｘについて、そのピクセルｘの周囲のパッチＰ（ｘ）と、そのピクセル値の雑音推定値とを用いて、キーが作成される。このキーは、空間キー及び雑音キーを含む。

図３に示すように、空間キー３０２は、例えば、ピクセルｘの周囲の３×３ピクセルからなるパッチＰ（ｘ）３０１のＩ（ｘ_ｉ），ｘ_ｉ∈Ｐ（ｘ）を用いて、空間マッピング関数３１０によって作成される。パッチＰ（ｘ）のサイズ及び形状は、雑音の分散を推定するのに用いられたパッチと異なることができる。

１つの実施形態では、空間キーは、局所ｎ値パターン（ＬｎＰ）３２０であり、例えば、局所２値パターン（ＬｂＰ）である。パッチ内のピクセルｘ_ｉごとに、１つのビットの情報が取得される。パッチ内のピクセル値Ｉ（ｘ_ｉ）と雑音を有する画像内のピクセル値Ｉ（ｘ）との差がピクセルの分散σ（ｘ）よりも小さい場合には、ビットは０に設定され、そうでない場合には、ビットは１に設定される（３２１）。

空間キーは、｜ｓ｜個のビットを有する。求められた局所２値パターンの例を図３に示す。図３では、黒のピクセル（０のビット）は、雑音を有する画像内のピクセルと類似の値を有するパッチ内のピクセル、すなわち、パッチ内の中心ピクセルに対応し、白のピクセル（１のビット）は、雑音を有する画像内のピクセルと類似していない値を有するパッチ内のピクセルに対応する。

図４は、雑音マッピングのフロー図である。雑音キー４０２は、雑音を有する画像内のピクセルの分散４０１の推定を用いて雑音マッピング関数４１０によって作成される。１つの実施形態では、雑音キーは、以下のように、分散σ（ｘ）のｎビット一様量子化によって与えられる。

ピクセルのキーｍは、以下のように、空間キーと雑音キーとを連結したものである。

図５に示すように、キーｍ５０２は、画像のピクセルを、ピクセルの雑音を除去するのに用いられる雑音除去関数ライブラリー５０１内の雑音除去関数ｆにマッピングする（５１０）。

ライブラリー関数を用いた雑音除去
図６に示すように、キーｋ５０２は、雑音を有する画像ピクセルｘから求められ、ｆ^ｋは、関数ライブラリー内の対応する関数である。雑音除去関数は、このピクセルの周囲のパッチＰ（ｘ）６０１を用いる。すなわち、このパッチは、ピクセルｘの周囲の局所的に近傍のピクセルを含む。このパッチのサイズ及び形状は、キーを求めるのに用いられたパッチと異なることができる。１つの実施形態では、雑音除去関数は、以下のように、パッチ内のピクセル強度の線形関数である。

ここで、Ｗ^ｋ６０２は、この線形関数の重み行列であり、Ｉ（Ｐ（ｘ））は、パッチＰ（ｘ）のピクセル強度の行列であり、

は、行列の列を積重して列ベクトルにすることによるベクトル化の後の２つの行列間の内積演算子である。

雑音除去関数ライブラリーの学習
図７に示すように、雑音除去関数ライブラリー５０１は、トレーニング画像サンプル７２１を用いて学習される。トレーニング画像サンプル７２１は、雑音のないトレーニング画像サンプル７０１及び対応する雑音を有するトレーニング画像サンプル７１１のペアを含む。トレーニングサンプル７２１は、トレーニングサンプルコンストラクター７２０によって生成される。１つの実施形態では、雑音を有する画像７１１は、合成雑音を雑音のない画像７０１に加える（７１０）ことによって取得される。

トレーニング又は関数フィッティング７３０は、以下の式のように、雑音を有する画像７１１を用いて雑音のない画像を再構成したものと、雑音のない画像７０１との差が最小になるように関数を最適化する。

ここで、Ｉ及び

は、雑音のないトレーニング画像サンプル及び雑音を有するトレーニング画像サンプルのペア７２１であり、ｌは、関数ライブラリー内の雑音除去関数の数であり、雑音除去関数Ｆは、以下の式のように、画像ピクセルごとに、最初に関数マッピング５１０を用いてそのピクセルを雑音除去関数にマッピングすることによって動作し、次に、マッピングされた関数を用いて、そのピクセルの雑音を除去する。

１つの実施形態では、トレーニングは、トレーニング画像ペアのピクセルをキーに従ってグループ化することによって解決される。次に、各グループは別々に最適化される。ライブラリー関数は、線形関数であるとき、線形最小二乗問題を解くことによって最適に学習される。ライブラリー関数は、非線形関数であるとき、勾配降下法又はニュートン法等の非線形最適化技法を用いて学習される。

Claims (12)

1. 雑音を有する画像の雑音を除去する方法であって、前記雑音を有する画像内の各ピクセルについて、
   パッチからキーを作成するステップであって、前記パッチは、前記ピクセルの周囲の局所的に近傍のピクセルを含む、ステップと、
   前記キーを用いて関数ライブラリーから関数を選択するステップと、
   前記関数を前記パッチに適用して、対応する雑音のないピクセルを生成するステップと、
   を含み、前記ステップはプロセッサにおいて実行される方法。
2. 前記ピクセルの雑音分散を求めることを更に含む、
   請求項１に記載の方法。
3. 前記雑音分散は、同じ値ｖを有する全てのピクセルについて同一であり、前記雑音分散は、ｖの平均値を有するパッチの中心ピクセルの雑音分散の分布のｋ次統計量を用いて推定される、
   請求項２に記載の方法。
4. 前記雑音分散を平滑化することを更に含む、
   請求項２に記載の方法。
5. 空間キーと雑音キーとを連結して前記キーを形成することを更に含む、
   請求項３に記載の方法。
6. 前記空間キーは、局所ｎ値パターンを用いて作成される、
   請求項５に記載の方法。
7. 前記ピクセルと前記パッチ内の近傍のピクセルとの差が前記雑音分散の一定乗数よりも小さい場合には、前記空間キーにおけるビットを０に設定し、そうでない場合には、前記ビットを１に設定することを更に含む、
   請求項５に記載の方法。
8. 前記雑音キーは、前記雑音分散のｎビット一様量子化
   

   

   である、
   請求項５に記載の方法。
9. 前記関数は、前記パッチ内の前記ピクセルの強度の線形関数である、請求項１に記載の方法。
10. 雑音のないトレーニング画像サンプル及び対応する雑音を有するトレーニング画像サンプルのペアを含むトレーニング画像サンプルから前記関数ライブラリーを学習することを更に含む、
    請求項１に記載の方法。
11. 前記学習することは、雑音のないトレーニング画像サンプル及び対応する雑音が除去されたトレーニング画像サンプルの各ペアの差を最小にすることを含む、
    請求項１０に記載の方法。
12. 前記キーの前記作成中における前記パッチの形状は、前記関数の前記適用中におけるものと異なる、
    請求項１に記載の方法。

Images