JP2014154141A - ノイズを含む画素からなる入力画像のノイズを除去する方法 - Google Patents

ノイズを含む画素からなる入力画像のノイズを除去する方法 Download PDF

Info

Publication number
JP2014154141A
JP2014154141A JP2013250807A JP2013250807A JP2014154141A JP 2014154141 A JP2014154141 A JP 2014154141A JP 2013250807 A JP2013250807 A JP 2013250807A JP 2013250807 A JP2013250807 A JP 2013250807A JP 2014154141 A JP2014154141 A JP 2014154141A
Authority
JP
Japan
Prior art keywords
noise
patch
variance
image
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013250807A
Other languages
English (en)
Other versions
JP2014154141A5 (ja
JP6057881B2 (ja
Inventor
Fatih Porikli
ファティー・ポリクリ
Soni Akshay
アクシャイ・ソニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2014154141A publication Critical patent/JP2014154141A/ja
Publication of JP2014154141A5 publication Critical patent/JP2014154141A5/ja
Application granted granted Critical
Publication of JP6057881B2 publication Critical patent/JP6057881B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】ノイズを含む画素からなる入力画像のノイズを除去する方法を提供する。
【解決手段】入力画像から画素単位のノイズ分散マップをまず構築することにより、入力画像のノイズが除去される。ノイズは、空間的に一様でない分散を有する。ノイズ分散マップを用いて入力画像を複数のパッチへと分割する。それらのパッチから中間画像を求める。ノイズ分散マップを用いて協調フィルタリングを中間画像内の各パッチに適用して、フィルタ済みパッチを作り出す。次いで、フィルタ済みパッチを出力画像に投影する。
【選択図】図1

Description

本発明は、一般に画像処理に関し、より詳細には画像のノイズ除去に関する。
画像のノイズは、一般にノイズモジュールを使用して、または画像クラスに応じて除去される。それらの全ての方法は、ノイズモデルまたはノイズを除去するための画像信号に関するある仮定に基づく。最も広く使われている仮定の1つは、変換領域における信号のスパース性である。
変換領域係数の殆どの大きさがゼロまたは取るに足らない場合、画像は、変換領域においてスパースである。その場合、画素単位の一貫したパターンに対応する少数の基底の一次結合として画像を上手く概算することができる。ノイズを除去した画像は、第1の閾値を上回る主に原信号に起因する変換係数だけを保ち、第2の閾値を下回る主にノイズに起因する係数を破棄することによって得ることができる。
変換領域における画像のスパース性水準は、信号特性およびノイズ特性の両方に著しく依存する。変換を引き起こす優れたスパース性の選択は、技能であり、事実上、ノイズが除去される基礎的信号およびノイズの関数である。例えば、多重解像度変換は、エッジや特異点などの空間的に局在する細部について優れたスパース性を実現する。殆どの画像は、典型的にはこのような細部に満ちているので、変換領域方法が画像のノイズ除去に成功裏に適用されてきた。
例えば、離散コサイン変換(DCT)やウェーブレットを使用する従来の変換表現は、その計算が単純なため有利であり、平滑な信号または局部的な特異点を有する信号のそれぞれについて、スパース表現を提供する。したがって、従来の直交変換は、特定の信号のクラスでなければ、スパース表現を提供することができない。他の全ての信号のクラスでは、あるクラスについて学習された表現が、よりスパースな表現をもたらすことが今では知られている。過完全性は、原信号を表現するさらなる自由度を与え、変換領域におけるスパース性をさらに高める。
辞書学習は、所与の信号のクラスについてのスパース表現を学習する方法を提供する。非局所平均(NLM)によるノイズ除去は、画像内の全画素の非局所的な平均化に基づく。画素の重みの量は、画素の小さなパッチと、ノイズが除去されている画素を中心とする別の画素のパッチとの類似性に基づく。
ピーク信号対ノイズ比、PSNRの観点から、3Dにおけるブロックマッチング(BM3D)は、一定の分散ノイズでは最適な結果に近づくが、0.1dBの値よりも優れては改善され得ない。BM3Dは、二段階のプロセスである。第1のステップは、ブロックマッチングによって構築される画像ブロックのスタックを処理することにより、ノイズが除去された画像の初期バージョンを与える。第2の段階では、同様の方法で統計フィルタを適用する。基準ブロックについて、画素単位の類似ブロックが探され、3Dスタック内に配置される。次いで、そのスタックに直交変換が施され、変換係数を閾値処理し、その後、逆変換を行うことによってノイズが低減される。3Dスタック内の2Dブロック間の類似性により、スパース性が高められる。ノイズを除去した画像の概算が得られた後、第2のステップが、処理済みのブロックに類似するブロックの位置を見つけ、ノイズの多い画像からのグループと、概算からの他のグループとの2つのグループを形成する。次いで、両方のグループに直交変換が再度施され、真のエネルギスペクトルとして概算のエネルギスペクトルを用いて、ノイズの多いグループに対してウィーナフィルタリングが施される。
辞書学習の殆どの方法ならびに非局所平均およびBM3Dを含むノイズ除去のほぼ全ての方法は、定常ノイズによって信号が損なわれると仮定する。このことは、従来の殆どの撮像法に当てはまる。しかし、レンジ、奥行き、レーダー、および合成開口レーダー(SAR)に関しては、この仮定は当てはまらない。例えば、光ベースのレンジスキャナを使って奥行きを直接測定する場合、透過面もしくは反射面付近のまたは境界付近のスキャナ光パルスの異なる反射により、ノイズは、局所的に異なる。同様に、単一画素よりも小さい物体の不規則変動に起因するレーダー撮像におけるスペックルノイズの分散も、画素ごとに著しく異なる。
本願の出願人によって出願された(特許文献1)、「Image Filtering by Sparse Reconstruction on Affinity Net」には、画素の類似パッチをクラスタへと集団化することにより、画像画素内の乗法性ノイズおよび相加性ノイズを減らす方法が記載されている。クラスタは、節点および頂点からなる類縁性ネット内の節点を形成する。各クラスタから、辞書内の対応する原子のスパース結合によって辞書が学習される。ノイズを除去した画像を構築するために、辞書を使ってパッチを協調的に集約する。
米国特許出願第13/330、795号明細書
自然画像のノイズを除去するための従来の殆どの方法は、定常ガウスノイズまたは一定の分散を伴う同様の確率分布関数(pdf)によって画像が損なわれると仮定する。しかし、レンジ、レーザー、レーダー撮像などの他の取得技術に関しては、一定分散ノイズの仮定は、当てはまらない。
したがって、本発明の実施の形態は、空間的に一様でない分散のノイズ、すなわち、非定常ノイズによって損なわれる画像のノイズを除去するための方法を提供する。かかる画像のノイズを除去するために、第1のステップでは、ことによると全ての画素においてノイズ分散を推定し、推定した分散情報を用いて画像のノイズを除去する。
この方法は、二段階の手順を用いる。第1のステップでは、無作為ノイズの確率分布のとがりの程度である尖度のスケール不変な特性に基づく最適化問題を解くことにより、非定常ノイズの分散マップを構築する。第2のステップでは、分散マップおよび協調フィルタリングを使用し、入力画像を出力画像としてパッチごとに再構築する。
利点として、この方法は、PSNRおよびMSSIM(mean structure similarity:平均構造的類似性)指数の両方の点で、最先端の手順よりも最大+5dBまで、はるかに優れて機能する。
本発明の実施の形態による、画像のノイズを除去するための方法の流れ図である。
全体的なノイズ除去方法
図1は、空間的に一様でない分散のノイズ、すなわち、非定常ノイズによって損なわれる入力画像101のノイズを除去するための方法を示す。ノイズの確率分布のとがりの程度である尖度のスケール不変な特性に基づく目的関数105を使って最適化問題を解くことにより、非定常ノイズの分散マップ111を入力画像から構築する(110)。入力画像を、重複するパッチを含む複数の領域113へと分割する(112)。パッチとの間に1対1対応があるように、分散マップも同様に分割する。
中間画像115を構築するために、前置フィルタ処理114を施す。次いで、ノイズが除去された出力画像を作り出すための分散マップ111、中間画像115、および協調フィルタリングを使用し、入力画像101を出力画像121としてパッチごとに再構築する(120)。
この方法は、当該技術分野で知られているメモリおよび入出力インターフェイスに接続されるプロセッサ100内で実行され得る。唯一の入力は、ノイズの多い画像なので、本発明者らの方法は、自律的であることに留意すべきである。
ノイズモデル
画像のノイズを除去するための本発明の実施の形態は、以下のノイズモデル
(i、j)=I(i、j)+η(i、j) (1)
を使用し、ここで、I(i、j)は、位置(i、j)における画像画素pの輝度であり、η(i、j)は、分散σ(i、j)を有するノイズである。
本発明者らは、従来の殆どのノイズモデルにあるように、ノイズ分散が一定だとは仮定しない。むしろ、本発明者らのモデルによるノイズは、空間的に一様でない。つまり、本発明者らは、ノイズに関する一定なガウスの仮定は、行わない。実際に、大きい領域内でノイズ分布関数が著しく異なってもよい。十分に小さい局所的な画像パッチには、
η(i、j):N(0、σ(i、j))
を使用する。
本発明者らのMIND(複数画像ノイズのノイズ除去)法は、一様でない分散の複数のノイズによって入力画像が損なわれる場合に対処することができる。このMIND法は、各色(例えば赤、緑、青)のチャネルを別々にノイズ除去することにより、色彩画像に適用することができる。
本発明者らは、自然画像の統計的規則性を利用することにより分散マップを構築するために、全ての画素位置においてノイズの分散を推定する。つまり、帯域通過フィルタリングされた全体的な領域内の自然画像の尖度値は、正定数に近い傾向があり、それは、自然画像が球対称な分布を有しがちだからである。
本発明者らは、様々なスケール、すなわち、離散コサイン変換(DCT)またはウェーブレットの帯域通過フィルタリングされた様々なチャネルにわたり、正定数である尖度を与えることにより、目的関数を用いて全画像内のノイズの大域的分散を推定する。各画素位置における局所的分散に関し、本発明者らは、近隣画素の小さいパッチの統計情報を使用する。2D変換などの他の変換が、離散フーリエ変換、主成分分析(PCA)、独立成分分析(ICA)、部分空間マッピングからなるグループから選択され、それらのものの組合せが使用されてもよい。
本発明者らは、推定した局所的ノイズ分散を考慮することによって入力画像のパッチのノイズを除去する。本発明者らは、複数の類似パッチのクラスタを求め、3Dデータ構造内に配置されるクラスタにフィルタにかける。
発明者らの方法は、PSNRおよびMSSIMの点で、最先端のBM3DおよびNLMよりも性能が優れている。大域的ノイズ分散推定器を使用する従来のBM3Dに比べ、MINDは、過小におよび過大にフィルタされるパッチのまばらなアーチファクトを回避しながら、+2dBから+5dBの追加の利得を一貫して提供する。
MIND法
尖度に基づく分散マップの推定
ノイズの多い単一の画像から正確な分散マップを構築することは、空間的に変化する分散を有するノイズを成功裏に除去するための重要なステップである。従来技術では、尖度に基づくノイズ分散の推定手順は、画像の切り貼りや偽造検出など、一般に完全に異なる用途で使用される。
ランダム変数xでは、尖度が
Figure 2014154141
として定義され、ここで、分散は、σ=E[(x−E[x])]であり、四次の非中心モーメントは
Figure 2014154141
であり、Eは、期待値関数である。この定義によれば、ガウス変数は、ゼロの尖度を有する。本質的に発明者らの方法の基礎である重要な特性は、自然画像では、DCTやウェーブレットの分解など、帯域通過フィルタリングされた領域にわたり、尖度がほぼ一定であることである。
ノイズが定常の場合、どのように分散を推定し、非定常ノイズおよび局所的に変化するノイズにその推定を拡大適用することができるのかを、まず要約する。
大域的ノイズ分散の推定
等式(1)にあるような信号モデルでは、ノイズの多い入力画像Iがまず周波数領域に変換される。Kチャネルの帯域通過フィルタリングされた領域、すなわちKの異なる帯域通過フィルタで畳み込まれる画像の応答では、k番目のチャネル内の元の(ノイズのない)画像およびノイズの多い画像の尖度は、それぞれκおよび
Figure 2014154141
である。
入力画像内の白色ガウスノイズの独立性および四次キュムラントの加成性を仮定し、k番目のチャネルの分散に
Figure 2014154141
を使用すると、統計は、以下のように関係となる。
Figure 2014154141
帯域通過フィルタリングされた領域内の自然画像の統計的規則性は、正の尖度値を有する傾向があり、スーパーガウスと呼ばれることもある。ノイズ除去済み画像の精度を改善するために、等式(3)の両辺の平方根を取ることができる。
様々なスケールにわたるほぼ一定の尖度値では、κ≒κ(k=1、・・・、K)が成立する。この場合、作業は、κおよびσを推定することであり、この作業は、全てのスケールにわたって平方根を取った後、等式(3)の両辺の差を最小限にする。これは、目的関数を使用する最適化問題
Figure 2014154141
として書くことができ、ここで、最小化(min)は、ノイズの分散の解を与える。等式(4)の最小化は、その凸性により可能であり、最適解は、閉形式を有する。
局所的ノイズ分散の推定
発明者らの目標は、等式(4)の閉形式解を用いて、各画素位置におけるノイズ分散σ=(i、j)を推定することであり、統計は、画素の矩形パッチの周囲にある全ての画素から集められる。非中心モーメントμ=E[x]を用いた分散および尖度は、下式となる。
Figure 2014154141
直接的な手法は、等式(5)を用いて、サイズD×Dの各重複画像パッチの帯域ごとに分散および尖度を推定し、空間的平均化を用いて素モーメントが推定され、次いで、等式(4)の閉形式解を適用して局所的ノイズ分散を推定する。しかし、この直接的な手法は、計算的に複雑である。したがって、本発明者らは、画像を積分画像に変換し、こうすることでモーメントの推定作業をわずかな加算および減算の問題にしている。
分散マップに基づくノイズ除去
尖度に基づく手法を使って分散マップを構築した後、次のステップでは、ノイズの多い入力画像のノイズを除去する。分散マップおよび入力画像を用いて、入力画像101を複数の領域113へと分割することから始める。領域ごとにノイズの多い画像からサイズP×Pの重複パッチを抽出し、前置フィルタ114を使用して中間画像115を求め、各パッチに対して協調フィルタリングを実行する。特に、ノイズの多い全てのパッチ
Figure 2014154141
(ここで、Nは、pのパッチの総数である)について、パッチが分散
Figure 2014154141
を有するガウスノイズによって損なわれると仮定する。画像のノイズは、画素ごとにではなくパッチごとに異なるので、この仮定は、正当である。さらに、単一のガウス分布、例えば、12×12から32×32によってノイズをモデル化するのに、パッチは十分小さい。
ノイズ分散を各画素において推定するので、p番目のパッチの単一ノイズ分散
Figure 2014154141
は、そのパッチの全画素における推定ノイズ分散の加重平均である。あるいは、ノイズ分散は、全ての画素の極大である。
全てのパッチについて単一ノイズ分散
Figure 2014154141
を得た後、重複する指数pの現在のパッチ
Figure 2014154141
ごとに、以下のステップを適用する。
前置フィルタ
現在のパッチ
Figure 2014154141
ごとに、近隣が属する領域内で、現在のパッチの近隣の中の最も似ているパッチ
Figure 2014154141
を突き止め、クラスタ
Figure 2014154141
を求める。クラスタは、異なるパッチ数を含んでもよいことに留意されたい。
ノイズの多い画像のパッチについて得られるクラスタは、画像の無ノイズバージョンと全く異なる場合がある。したがって、クラスタを求める前に、変換領域フィルタリングを適用する。この前処理は、性能を著しく改善する。局所的分散は、既に求めているので、パッチpとパッチqとの類似性の測度として、変換領域内の正規化相互相関(ncc)
Figure 2014154141
を使用し、ここで、φは
Figure 2014154141
の閾値を有するハード閾値作用素であり、
Figure 2014154141
はDCTである。本発明者らは、相対スコアに関心があるので、空間領域分散を用いてスケーリングが行われる。このステップの結果は、組
Figure 2014154141
をもたらし、この組は、
Figure 2014154141
と似ているパッチの座標を含む。これらのパッチを3D構造
Figure 2014154141
内に配置し、この3D構造上では、同じパッチ位置における画素値に対してパッチ指数に沿って1D変換およびハード閾値法が二度目に適用され、その後に、逆1D変換
Figure 2014154141
が続き、ここで、φは、閾値
Figure 2014154141
を有するハード閾値作用素である。この各画素に沿った第2の変換領域ハード閾値法の背後にある洞察は、輝度発散を抑制するために、複数のパッチからの支援を取り入れることである。
画像座標上に
Figure 2014154141
を再度マップし、加重平均を使用して画素単位の、すなわち、画素ごとの応答を組み合わせることにより、事前にフィルタにかけられた中間画像Iが得られ、重みは、局所的分散
Figure 2014154141
によって定義され、ここで、Nφ(p)は、ハード閾値法の後に保たれる係数の数である。
協調フィルタリング
このステップでは、ウィーナフィルタ(w)をクラスタに適用することにより、パッチのクラスタ
Figure 2014154141
を、今回は、前のステップからの中間画像Iから修正する。
中間パッチ
Figure 2014154141
および現在のパッチ
Figure 2014154141

Figure 2014154141
および
Figure 2014154141
のそれぞれに構成する。ウィーナデコンボリューション係数をより正確に求めるために
Figure 2014154141
を使用し、フィルタにかけられていないノイズの多いパッチ
Figure 2014154141
から形成されるクラスタにこれらの係数を適用する。その結果、正しいパッチのクラスタリングおよび歪みのないノイズ分布が得られる。ノイズが小さい場合、ウィーナフィルタは、単にノイズインパルス関数の逆であることを思い出されたい。しかし、一定の周波数のノイズが増加すると、ウィーナフィルタは、SNRに依存する周波数を減衰させる。
離散フーリエ変換(DFT)領域におけるウィーナデコンボリューション係数は、
Figure 2014154141
として変換領域係数のエネルギから定義され、ここで、f3Dは、DFTである。前に求めた局所的分散を、ここでも使用する。等式(8)内での変換領域係数
Figure 2014154141
との要素ごとの乗算により、変換領域内のウィーナフィルタにかけられた応答がもたらされ、次いでフィルタ済みパッチ
Figure 2014154141
を得るために、この応答が
Figure 2014154141
によって空間領域に再びマップされる。次いで、より高い不確実性を有する画素の寄与が、より少ないようにウィーナ係数および分散値
Figure 2014154141
に逆比例する重みを有する各画素位置の複数の推定値を集約するために、フィルタ済みパッチを出力画像Iに投影する。
別の実施の形態では、協調フィルタリングのために、ウィーナフィルタリングではなく、辞書学習によるスパースコーディングが使用される。3Dデータクラスタ
Figure 2014154141
ごとに、類縁性ネットに適用される択一決定プロセスを使用することによって、不完全辞書が学習される。同じクラスタ内のパッチは、対応する辞書原子のスパース結合によって符号化される。再構築されたパッチを協調的に集約して、ノイズが除去された画像を構築する((特許文献1)参照)。
乗法性ノイズ
対数輝度領域内で演算して乗法性ノイズ除去を相加性ノイズ除去に変換することにより、本発明者らのMINDは、レーダー撮像およびレーザー撮像によく見られる乗法性ノイズに適用することができる。協調フィルタリングの間、クラスタは、どんなサイズでもよく、クラスタデータ内の同じ画素位置におけるコヒーレント変動を最もよく表すように設計される、対応する一意の辞書によって表すことができる。
本発明者らは、本発明者らのノイズ除去法が、空間的に一様でないガウスノイズを除去するためのおそらく最良の方法だと考える。この方法では、従来のBM3Dの方法よりも、最大+5dBまで優れた性能を実現することができる。
この方法は、尖度に基づく局所的分散推定および協調フィルタリングを利用する。この方法は、訓練を必要とせず、入力だけがノイズの多い画像であることに留意すべきである。
MINDは、PSNRおよびMSSIMの点で、従来技術の方法よりも著しく性能が優れていることを結果が示している。

Claims (20)

  1. ノイズを含む画素からなる入力画像のノイズを除去する方法であって、
    前記入力画像からノイズ分散マップを構築するステップであって、前記ノイズは、空間的に一様でない分散を有し、前記ノイズ分散マップは、画素単位である、構築するステップと、
    前記ノイズ分散マップを使用し、前記入力画像を複数の領域へと分割するステップであって、各領域は、重複するパッチを含む、分割するステップと、
    前記パッチから中間画像を求めるステップと、
    前記ノイズ分散マップを用いて前記中間画像内の各パッチに対して協調フィルタリングを適用し、フィルタ済みパッチをもたらすステップと、
    前記フィルタ済みパッチを出力画像に投影するステップと
    を含み、
    前記ステップがプロセッサ内で実行される、方法。
  2. 前記構築するステップが、前記ノイズ分散マップを得るために、前記ノイズの確率分布のとがりの程度に基づく目的関数を使って最適化問題を解くステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記とがりの程度が尖度である、請求項2に記載の方法。
  4. 前記尖度が、平均付近の四次モーメント割る、確率分布の分散の二乗引く3に等しく、つまり、次式
    Figure 2014154141
    が成立し、ここで、分散は、σ=E[(x−E[x])]であり、四次の非中心モーメントは
    Figure 2014154141
    であり、Eは、期待値関数である、請求項3に記載の方法。
  5. 前記ノイズのモデルが、
    (i、j)=I(i、j)+η(i、j)
    であり、ここで、I(i、j)は、前記入力画像内の位置(i、j)における前記画素pの輝度であり、η(i、j)は、分散σ(i、j)を有する前記ノイズである、請求項1に記載の方法。
  6. 前記ノイズ分散マップが、前記入力画像内の全画素について構築される、請求項1に記載の方法。
  7. いずれか1つのパッチ内の前記画素が、同様のノイズ分散を有する、請求項1に記載の方法。
  8. 同じ領域の前記パッチに対して変換領域フィルタリングを適用するステップ
    をさらに含み、前記パッチの類似性の測度が、変換領域内の正規化相互相関である、請求項1に記載の方法。
  9. 変換領域パッチを得るために各パッチに対して二次元(2D)周波数変換を適用するステップと、
    ハード閾値処理された変換領域パッチを得るために、前記変換領域パッチの第1の閾値を上回る周波数係数をゼロに設定するステップと、
    前記ノイズ分散マップを用いて、前記ハード閾値処理された変換領域パッチ間の正規化相互相関を求めるステップと、
    前記正規化相互相関を用いて1組の類似するパッチを求めるステップと、
    第2の3Dデータ構造を得るために、類似するパッチを三次元(3D)データ構造内に配置し、前記3Dデータ構造の各行に対して一次元(1D)変換を適用するステップであって、行は前記パッチの中心画素の周りの画素位置に対応する、一次元(1D)変換を適用するステップと、
    第2のハード閾値処理された3Dデータを得るために、前記第2の3Dデータの第1の閾値を上回る周波数係数をゼロに設定するステップと、
    前記フィルタ済みパッチを得るために、前記第2のハード閾値処理された3Dデータに対して逆1D変換を適用するステップと
    をさらに含み、前記投影するステップがパッチごとに加重平均を使用する、請求項1に記載の方法。
  10. 前記画素単位のノイズ分散マップを用いて、前記中間画像のパッチ間の正規化相互相関を求めるステップと、
    前記正規化相互相関を用いて、1組の類似するパッチの位置を求めるステップと、
    1組の類似するパッチの位置を用いて、前記パッチから三次元(3D)データを構築するステップと、
    前記出力画像を得るために、3Dデータに対して前記協調フィルタリングを適用するステップと
    をさらに含む、請求項1に記載の方法。
  11. 前記協調フィルタリングが、ウィーナフィルタを使用する、請求項10に記載の方法。
  12. 前記協調フィルタリングが、辞書学習によるスパースコーディングを使用する、請求項10に記載の方法。
  13. 前記協調フィルタリングが、各パッチの前記分散を使用する、請求項10に記載の方法。
  14. 各パッチの前記分散が、前記パッチ内の全画素における前記ノイズ分散の加重平均である、請求項13に記載の方法。
  15. 前記ノイズの前記分散が、前記パッチ内の全ての前記画素の最大分散である、請求項13に記載の方法。
  16. 前記入力画像が、積分画像に変換される、請求項2に記載の方法。
  17. 前記入力画像を1組の周波数サブバンド画像へと分解するステップと、
    前記積分画像および空間的平均化を用いて、前記周波数サブバンド画像のパッチごとに1組の非中心モーメントを求めるステップと、
    各画素の周りの局所的分散を、その画素における前記ノイズ分散マップの値として推定するステップと
    をさらに含む、請求項16に記載の方法。
  18. 前記入力画像が色彩画像であり、各色のチャネルが、別々にノイズ除去される、請求項1に記載の方法。
  19. 前記ノイズが、乗法性ノイズであり、
    前記入力画像を対数輝度領域に変換するステップ
    をさらに含む、請求項1に記載の方法。
  20. 前記2D変換が、離散フーリエ変換、ウェーブレット変換、主成分分析、独立成分分析、部分空間マッピング、およびそれらのものの組合せからなるグループから選択される、請求項9に記載の方法。
JP2013250807A 2013-02-07 2013-12-04 ノイズを含む画素からなる入力画像のノイズを除去する方法 Expired - Fee Related JP6057881B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/762,022 US9262808B2 (en) 2013-02-07 2013-02-07 Denoising of images with nonstationary noise
US13/762,022 2013-02-07

Publications (3)

Publication Number Publication Date
JP2014154141A true JP2014154141A (ja) 2014-08-25
JP2014154141A5 JP2014154141A5 (ja) 2016-09-23
JP6057881B2 JP6057881B2 (ja) 2017-01-11

Family

ID=51259259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250807A Expired - Fee Related JP6057881B2 (ja) 2013-02-07 2013-12-04 ノイズを含む画素からなる入力画像のノイズを除去する方法

Country Status (2)

Country Link
US (1) US9262808B2 (ja)
JP (1) JP6057881B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017529596A (ja) * 2014-09-23 2017-10-05 インテル・コーポレーション 自己相似性によって推進するブレンドを用いた詳細部保存性を有する非局所平均画像ノイズ除去
KR20180078002A (ko) * 2016-12-29 2018-07-09 동국대학교 경주캠퍼스 산학협력단 확률 에지 맵을 이용한 초음파 영상에서의 콘트라스트 개선 방법 및 장치
US11257189B2 (en) 2019-05-02 2022-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
JP7203287B1 (ja) 2020-06-08 2023-01-12 グァンチョウ コンピューテーショナル スーパー-レゾリューション バイオテック カンパニー リミテッド 画像処理のためのシステム及び方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007982B2 (en) * 2013-05-30 2018-06-26 H. Lee Moffitt Cancer Center And Research Institute, Inc. Automated percentage of breast density measurements for full field digital mammography
US9342870B2 (en) * 2013-10-22 2016-05-17 Adobe Systems Incorporated Tree-based linear regression for denoising
US9189834B2 (en) * 2013-11-14 2015-11-17 Adobe Systems Incorporated Adaptive denoising with internal and external patches
US9286540B2 (en) 2013-11-20 2016-03-15 Adobe Systems Incorporated Fast dense patch search and quantization
US9230161B2 (en) * 2013-12-06 2016-01-05 Xerox Corporation Multiple layer block matching method and system for image denoising
US9607362B2 (en) * 2014-05-16 2017-03-28 North Carolina State University Compressive imaging using approximate message passing with denoising
US9767540B2 (en) 2014-05-16 2017-09-19 Adobe Systems Incorporated Patch partitions and image processing
US9852353B2 (en) * 2014-11-12 2017-12-26 Adobe Systems Incorporated Structure aware image denoising and noise variance estimation
US9576345B2 (en) * 2015-02-24 2017-02-21 Siemens Healthcare Gmbh Simultaneous edge enhancement and non-uniform noise removal using refined adaptive filtering
US10140249B2 (en) 2015-06-05 2018-11-27 North Carolina State University Approximate message passing with universal denoising
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
DE102016213217A1 (de) * 2016-07-20 2018-01-25 pmdtechnologies ag Lichtlaufzeitkamerasystem
US10768328B2 (en) * 2017-01-12 2020-09-08 Pgs Geophysical As Seismic noise attenuation using dip map data structure
WO2018152071A1 (en) * 2017-02-15 2018-08-23 Flir Systems, Inc. Systems and methods for efficient enhanced image filtering by collaborative sharpening in similarity domain
CN108389218B (zh) * 2018-01-12 2021-06-15 西安理工大学 基于间断自适应非局部均值的sar图像变化检测方法
CN109035152B (zh) * 2018-05-23 2022-03-18 电子科技大学 一种合成孔径雷达图像非局部均值滤波方法
US11189017B1 (en) 2018-09-11 2021-11-30 Apple Inc. Generalized fusion techniques based on minimizing variance and asymmetric distance measures
US11094039B1 (en) * 2018-09-11 2021-08-17 Apple Inc. Fusion-adaptive noise reduction
CN111177190B (zh) * 2018-11-13 2023-05-30 杭州海康威视数字技术股份有限公司 数据处理方法、装置、电子设备及可读存储介质
CN110111264A (zh) * 2019-04-03 2019-08-09 成都航天通信设备有限责任公司 基于车载视频图传图像的去噪方法
CN110349112B (zh) * 2019-07-16 2024-02-23 山东工商学院 一种基于自适应奇异值阈值的两阶段图像去噪方法
EP3822663B1 (en) * 2019-11-15 2022-02-23 Axis AB A method, a computer program product, an apparatus and a frequency-modulated continuous-wave radar system
CN112085667B (zh) * 2020-08-10 2023-07-11 同济大学 一种基于伪模拟视频传输的去分块效应方法和装置
CN112465719A (zh) * 2020-11-27 2021-03-09 湖南傲英创视信息科技有限公司 变换域图像去噪方法及系统
CN112927169B (zh) * 2021-04-06 2023-08-15 江苏海洋大学 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法
CN113129235A (zh) * 2021-04-22 2021-07-16 深圳市深图医学影像设备有限公司 一种医学图像噪声抑制算法
CN113759375B (zh) * 2021-09-15 2024-02-09 云南师范大学 基于统计特性的sar图像非局部均值去噪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524455A (ja) * 2009-04-14 2012-10-11 トムソン ライセンシング スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP2013130573A (ja) * 2011-12-20 2013-07-04 Mitsubishi Electric Corp 類縁性ネット上のスパース再構成による画像フィルタリング

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918633A (en) * 1985-11-25 1990-04-17 Eastman Kodak Company Digital image noise reduction method and transmission system
EP0449478A3 (en) * 1990-03-29 1992-11-25 Microtime Inc. 3d video special effects system
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5466918A (en) * 1993-10-29 1995-11-14 Eastman Kodak Company Method and apparatus for image compression, storage, and retrieval on magnetic transaction cards
US5675550A (en) * 1995-06-08 1997-10-07 Ekhaus; Ira B. Reduced wavenumber synthetic aperture
US7430257B1 (en) * 1998-02-12 2008-09-30 Lot 41 Acquisition Foundation, Llc Multicarrier sub-layer for direct sequence channel and multiple-access coding
FR2790852B1 (fr) * 1999-03-08 2001-04-20 Thomson Multimedia Sa Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede
US6870962B2 (en) * 2001-04-30 2005-03-22 The Salk Institute For Biological Studies Method and apparatus for efficiently encoding chromatic images using non-orthogonal basis functions
US7130484B2 (en) * 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
US7085426B2 (en) * 2001-10-15 2006-08-01 Jonas August Volterra filters for enhancement of contours in images
US6563937B1 (en) * 2001-11-28 2003-05-13 Sony Corporation Method and apparatus to detect watermark that are resistant to arbitrary deformations
US7433489B2 (en) * 2001-11-28 2008-10-07 Sony Electronics Inc. Method to ensure temporal synchronization and reduce complexity in the detection of temporal watermarks
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
US8111889B2 (en) * 2004-03-31 2012-02-07 General Electric Company Method and apparatus for efficient calculation and use of reconstructed pixel variance in tomography images
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
JP2012510202A (ja) * 2008-11-25 2012-04-26 トムソン ライセンシング ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
US20110075935A1 (en) * 2009-09-25 2011-03-31 Sony Corporation Method to measure local image similarity based on the l1 distance measure
US9117262B2 (en) * 2012-11-30 2015-08-25 Adobe Systems Incorporated Learned piece-wise patch regression for image enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524455A (ja) * 2009-04-14 2012-10-11 トムソン ライセンシング スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP2013130573A (ja) * 2011-12-20 2013-07-04 Mitsubishi Electric Corp 類縁性ネット上のスパース再構成による画像フィルタリング

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6016041323; 齋藤太郎 外1名: '注目領域と離散コサイン変換に基づいたDCT係数を用いた新しい画像符号化手法' 電子情報通信学会技術研究報告 Vol.107,No.486, 20080211, pp.91-96, 社団法人電子情報通信学会 *
JPN6016041324; DABOV, K. et al.: 'Image denoising by sparse 3D transform-domain collaborative filtering' IEEE Transactions on Image Processing [online] Vol. 16, No. 8, 20070716, pp. 2080 - 2095, IEEE *
JPN6016041325; PAN, X. et al.: 'Exposing image splicing with inconsistent local noise variances' ICCP 2012 IEEE International Conference on Computational Photography [online] , 201204, IEEE *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017529596A (ja) * 2014-09-23 2017-10-05 インテル・コーポレーション 自己相似性によって推進するブレンドを用いた詳細部保存性を有する非局所平均画像ノイズ除去
KR20180078002A (ko) * 2016-12-29 2018-07-09 동국대학교 경주캠퍼스 산학협력단 확률 에지 맵을 이용한 초음파 영상에서의 콘트라스트 개선 방법 및 장치
KR101886936B1 (ko) * 2016-12-29 2018-08-08 동국대학교 경주캠퍼스 산학협력단 확률 에지 맵을 이용한 초음파 영상에서의 콘트라스트 개선 방법 및 장치
US11257189B2 (en) 2019-05-02 2022-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
US11861809B2 (en) 2019-05-02 2024-01-02 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
JP7203287B1 (ja) 2020-06-08 2023-01-12 グァンチョウ コンピューテーショナル スーパー-レゾリューション バイオテック カンパニー リミテッド 画像処理のためのシステム及び方法
JP2023502544A (ja) * 2020-06-08 2023-01-24 グァンチョウ コンピューテーショナル スーパー-レゾリューション バイオテック カンパニー リミテッド 画像処理のためのシステム及び方法

Also Published As

Publication number Publication date
US20140219552A1 (en) 2014-08-07
US9262808B2 (en) 2016-02-16
JP6057881B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
JP6057881B2 (ja) ノイズを含む画素からなる入力画像のノイズを除去する方法
Zoran et al. Scale invariance and noise in natural images
JP5984138B2 (ja) 類縁性ネット上のスパース再構成による画像フィルタリング
Zhang et al. Joint image denoising using adaptive principal component analysis and self-similarity
Thaipanich et al. Improved image denoising with adaptive nonlocal means (ANL-means) algorithm
Parrilli et al. A nonlocal approach for SAR image denoising
CN103077508B (zh) 基于变换域非局部和最小均方误差的sar图像去噪方法
CN109919870B (zh) 一种基于bm3d的sar图像相干斑抑制方法
JP2014154141A5 (ja)
Sulam et al. Image denoising through multi-scale learnt dictionaries
CN103020922A (zh) 基于pca变换的sar图像相干斑抑制方法
Fevralev et al. Efficiency analysis of DCT-based filters for color image database
Chen et al. Image denoising games
Gupta A review and comprehensive comparison of image denoising techniques
CN111652810A (zh) 一种基于小波域奇异值差分模型的图像去噪方法
Sheta Restoration of medical images using genetic algorithms
Mastriani Denoising based on wavelets and deblurring via self-organizing map for Synthetic Aperture Radar images
Zhang et al. Bayesian-based speckle suppression for SAR image using contourlet transform
CN112927169A (zh) 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法
Liu et al. Robust blind deconvolution for PMMW images with sparsity presentation
Kaur et al. Study of Image Denoising and Its Techniques
CN110674930A (zh) 一种基于学习下采样和跳跃连接网络sar图像去噪方法
Talbi et al. A hybrid technique of image denoising using the curvelet transform based denoising method and two-stage image denoising by PCA with local pixel grouping
Kim et al. A despeckling method using stationary wavelet transform and convolutional neural network
Ranjitha et al. High Density Impulse Noise Removal and Edge Detection in SAR Images Based on DWT-SVM-NN Technique

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160804

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161206

R150 Certificate of patent or registration of utility model

Ref document number: 6057881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees