JP2019096222A - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents
画像処理装置、画像処理方法、コンピュータプログラム Download PDFInfo
- Publication number
- JP2019096222A JP2019096222A JP2017227047A JP2017227047A JP2019096222A JP 2019096222 A JP2019096222 A JP 2019096222A JP 2017227047 A JP2017227047 A JP 2017227047A JP 2017227047 A JP2017227047 A JP 2017227047A JP 2019096222 A JP2019096222 A JP 2019096222A
- Authority
- JP
- Japan
- Prior art keywords
- patch
- noise
- image
- pixel
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 title claims description 11
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000013398 bayesian method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Abstract
Description
(画像処理装置のハードウェア構成例)
本実施形態に係る画像処理装置100のハードウェア構成例について、図1のブロック図を用いて説明する。なお、画像処理装置100のハードウェア構成は一例であり、適宜変更/変形が可能である。
先ず、本実施形態においてノイズ低減処理の対象となる入力画像について説明する。デジタル撮像装置の撮像素子(センサ)では、入射した光量に依存する(輝度依存性のある)ノイズ量のノイズが発生する。これは、物理的な光子の揺らぎに起因するものである。したがって、明るさが一様な被写体を撮影しない限り、センサで撮像された画像には画素毎に異なる量のノイズが付加されている。本実施形態では、このようなディジタル撮像装置のセンサで撮像された画像、すなわち、画素毎に異なる量のノイズが付加されている画像を入力画像として取得し、該入力画像に対するノイズ低減処理を行う。
次に、本実施形態の前提となる、NLベイズ法によるノイズ低減処理ついて確認しておく。まず、入力画像における複数の画素を着目画素として設定し、着目画素毎にパッチ集合を生成する。次に、生成したパッチ集合に含まれる各パッチのノイズを低減する。まず、パッチの各画素の平均値と、各パッチの任意の2つの画素値の積をパッチ集合の全てのパッチについて和をとり計算する共分散行列とを算出する。この平均値と共分散行列により、ノイズのない理想的な画像の画素値が従う事前確率をモデル化(仮定)する。次に、「事後確率=尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定する。すなわち、モデル化された事前確率と、尤度に相当する予め測定された画像のノイズ分散(デジタル撮像装置の撮像素子(センサ)に依拠)とを上記ベイズの定理に当て嵌め、事後確率を最大化するように各パッチの画素値を決定する。これにより、ノイズが低減されたパッチが得られる。そして、ノイズ低減後のパッチそれぞれを合成して、ノイズが低減された出力画像を生成する。このパッチの合成はアグリゲーションなどと呼ばれる。具体的には、ノイズ低減後の各パッチを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については画素値を平均化、あるいは類似度に基づいた加重平均を行う。以上が、NLベイズ法によるノイズ低減処理の内容である。
ここで、以降の説明において使用する用語について確認しておく。「パッチ」とは、入力画像の一部に相当する矩形の画像領域を意味し、複数の画素で構成される。入力画像内の画素のうち着目画素を基準とする複数の画素で構成されたパッチを、以下では「着目パッチ」と呼ぶこととする。そして着目パッチについてノイズ低減を行うときに参照する、着目パッチの周辺に設定するパッチを「参照パッチ」と呼ぶこととする。参照パッチとは、着目画素に対する参照画素を基準とする複数の画素で構成されたパッチである。1つの着目画素に対して複数の参照画素が設定されるため、1つの着目画素あたり複数の参照パッチが存在することになる。前述したパッチ集合は、着目パッチと、複数の参照パッチのうち着目パッチとの類似度が高い参照パッチと、の集合である。
まず、入力画像のノイズが一定でない(画素ごとのノイズ量が同じではない)ケースに対応したNLベイズ法の理論式とその理論式に基づいて算出したアルゴリズムについて説明する。以下の式(1)に示すように、撮像された画像の各画素の画素値は、ノイズのない本来の画素値に標準偏差σのノイズが加算されていると考える。
を得る条件付き確率密度関数は以下の式(2)のように表される。
を得る条件付き確率密度関数は次の式(5)のようになる。
の場合に、ノイズの無いパッチがPである事後確率
は、以下の式(6)となる。
を最大化することでノイズの無いパッチを推定する。パッチPの類似パッチQが多次元正規分布で表されると仮定し、以下の式(7)に示す如く事前確率P(Q)を式(6)のP(P)として与える。
を最大化することと等価の問題を次の式(8)のように導ける。
と
をそれぞれ、以下の式(9)〜(10)のように仮定する。
、類似パッチ集合
の平均ベクトルを算出し直す。
次に、本実施形態に係る画像処理装置100の機能構成例について、図2のブロック図を用いて説明する。なお、図2に示した構成は適宜変形/変更が可能である。例えば、1つの機能部を機能別に複数の機能部に分割しても良いし、2つ以上の機能部を1つの機能部に統合しても良い。また、図2の構成は、2以上の装置によって構成しても良い。その場合、各装置は回路や有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、以下に画像処理装置が行うものとして後述する各処理を実現する。
生成部203の機能構成例について、図3のブロック図を用いて説明する。算出部301は、パッチ設定部202で設定された参照パッチごとに、該参照パッチと着目パッチとの類似度を算出する。具体的には、Iを着目パッチ、Tを参照パッチとしたときに、着目パッチIと参照パッチTとの類似度は、例えば以下の式(17)や式(18)を用いて算出することができる。
推定部204によるノイズ量パラメータの推定処理について説明する。デジタル撮像装置の撮像素子(センサ)では、ノイズ量が入射した光量に依存するようなノイズが発生する。センサのノイズモデルは、正確には温度や露光時間にも依存し、光量の二次の項も存在するため、厳密なモデル化及びパラメータの推定は困難である。しかしながら、ほとんどの条件においては、例えば、以下の式(19)、図4に示すような簡単な一次式近似によって、ノイズ低減処理に用いる上では実用上十分な精度でノイズ量パラメータを推定することが可能である。
推定部205の機能構成例について、図5のブロック図を用いて説明する。算出部501は、類似パッチ集合に含まれる各パッチから座標位置(x、y)における画素値を収集し、該収集した画素値の平均値を座標位置(x、y)に対する平均値として求める。なお、パッチが3画素×3画素のサイズを有し、且つパッチの中心の座標位置を(0,0)とすると、−1≦x、y≦1となる。このように、推定部205は、パッチ上の各座標位置について画素値の平均値を求める。その結果、例えば、−1≦x、y≦1であるとすると、9(=3×3)個の平均値を要素とする1次元ベクトルが得られる。ここで、この先の行列演算のため、図6に示すようにパッチは1次元ベクトルとして表現して扱うものとする。
は類似パッチ集合を構成するパッチ(着目パッチ、類似パッチ)を示す。また、
は類似パッチ集合を構成する各パッチの列ベクトルを示す。また、N1は類似パッチ集合を構成するパッチの枚数、
は類似パッチ集合の平均列ベクトルである。また、
は類似パッチ集合の分散共分散行列である。
であり、
、
ではない。そこで、入力画像から算出可能な
、
から修正NLベイズ法の理論で示した式(9)、(10)の仮定を用いて
を推定する。これにより、ノイズのない理想的な画素値が従う着目パッチ(とその類似パッチ)の多次元正規分布を表すパラメータが推定できる。
以下、処理部206が行う処理について説明する。NLベイズ法では、「事後確率=尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定することで各パッチのノイズ低減結果を得る。具体的には、式(21)で得られたパラメータに基づいて、式(22)の行列演算を行えばよい。ここで、Q1stはノイズ低減後のパッチを表し、類似パッチ集合を構成する各パッチ
に対して求まる。
画像合成部207は上記の通り、ノイズが低減された類似パッチ集合を構成する各パッチの合成(アグリゲーション)を行う。具体的には、画像合成部207は、ノイズ低減後の各パッチを元のパッチ位置に戻し、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の平均値を適用する。このときの様子を図7に示した。なお、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の重み付き平均値を適用しても良く、重みには例えば類似度を用いることが考えられる。以上のようにして、ノイズが低減された画像が得られる。
次に、本実施形態に係る画像処理装置100が行う、入力画像に対するノイズ低減処理について、図8のフローチャートに従って説明する。
第1の実施形態では、入力画像における画素ごとのノイズが一定でない形に対応させた修正NLベイズ法を導き、このアルゴリズムの1stSTEPまでを実施する基本的な様態について示した。次に、第1の実施形態の構成にさらに2ndSTEPを加えて、パッチのノイズ量の推定方法を工夫した様態について、第2の実施形態として説明する。なお、以下では第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。
第1の実施形態で示した修正NLベイズ法により、画素ごとのノイズ量が一定でない入力画像に対しても高精度にノイズを低減することが可能になる。ただし、第1の実施形態で示した方法では、入力画像中の被写体によっては本来のノイズ低減性能が発揮できない。なぜならば、事前確率をモデル化(仮定)するにあたって生成したパッチ集合が、常に着目パッチと十分に類似度が高い参照パッチだけで構成されているとは限らないからである。すなわち、修正NLベイズ法の理論では、着目パッチと類似パッチのノイズ量が同じであることを仮定しており、この仮定が成り立たないと式(9)に基づいてノイズのない理想的な画像の画素値が従う事前確率を推定できない。パッチサイズに依存して、パッチ集合を構成する類似パッチ数が大量に必要になるため、一般的な被写体が撮影された入力画像においては、しばしばパッチ集合に類似していない参照パッチが含まれることになる。そこで、以下では、パッチのノイズ量の推定方法を工夫することによって、類似していないパッチが含まれるパッチ集合に対しても高精度にノイズ低減することを可能にする方法を示す。
本実施形態に係る画像処理装置900の機能構成例について、図9のブロック図を用いて説明する。図9に示した構成において、図2と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。
<<ノイズ量パラメータ推定の課題>>
ノイズ量パラメータ推定部で推定したノイズ量パラメータは、着目パッチ(とその類似パッチ)のノイズのない理想的な画素値が従う事前確率モデルのパラメータの推定と、ノイズ低減処理で用いられることになる。このとき、修正NLベイズ法では、着目パッチと類似パッチ集合を構成する類似パッチとのノイズ量が同じであることを前提として導出していることに注意する必要がある。すなわち、修正NLベイズ法の理論の式(8)の
に対応する左項のexpに存在するΣ−1は、着目パッチのノイズ分散の逆行列(=逆数)を表す。一方で、同じ右項のexpに存在するCp −1を算出するために式(9)においても同じΣを用いているが、これは類似パッチ集合を構成する各パッチのノイズ分散が着目パッチのノイズ分散と等しいことを意味する。つまり、式(9)の仮定が成り立ち、修正NLベイズ法が理論上正しく適用できるのは、着目パッチに対して非常に類似度の高い類似パッチのみから構成される類似パッチ集合が構築されているときだけである。
推定部204’の機能構成例について、図10のブロック図を用いて説明する。算出部1001は、類似パッチ集合を構成する各パッチに対する共通のノイズ量パラメータを推定するために、ノイズ量パラメータ推定用の画素値(推定用画素値)を算出する。推定部1002は、算出部1001で推定されたパッチの各画素値に基づいて式(19)よりノイズ量パラメータを推定する。以下に、推定用画素値の算出方法とノイズ量パラメータ推定の一連の流れの詳細を示す。
(1) 類似パッチ集合を構成する全パッチの画素毎の平均値に基づいて式(19)よりノイズ量パラメータを推定する。これを仮のノイズ量パラメータとする。式(19)ではノイズ分散が推定されるため、仮のノイズ量パラメータの平方根をとってノイズ標準偏差を算出する。
(2) パッチを構成する画素毎に、式(23)で示すようにS/Nに基づいて平均化に使用する画素数を決定する。すなわち、S/Nの低い暗部ほど多くの画素で平均化することを意味する。
(4) 推定用画素値に基づいて式(19)を用いてノイズ量パラメータを推定する。
生成部903は先ず、ノイズ低減後画像について第1の実施形態と同様にして類似パッチ集合を生成する。次に生成部903は、入力画像に対応する類似パッチ集合を同様にして生成するのであるが、その際、ノイズ低減後画像について生成した類似パッチ集合と同じ参照パッチを用いて、入力画像に対応する類似パッチ集合を生成する点が第1の実施形態と異なる。このようにすることで、ノイズのある入力画像ではなく、ノイズ低減後画像で算出した類似度に基づいて、参照パッチをより高精度に選別することが可能となる。
(第二事前確率推定の詳細)
推定部905の機能構成例について、図13のブロック図を用いて説明する。算出部1302は、入力画像およびノイズ低減後画像のそれぞれについて生成した類似パッチ集合に基づいて分散共分散行列を算出し、これを第二分散共分散行列と呼ぶ。第二平均ベクトルと第二分散共分散行列は、以下の式(24)に基づいて算出することができる。
は、入力画像の類似パッチ集合を構成する各パッチの列ベクトル、N2は、類似パッチ集合を構成するパッチの枚数である。また、
は、入力画像の類似パッチ集合の平均列ベクトル、
は、類似パッチ集合の分散共分散行列である。
であるため、式(24)で算出された
、
と式(25)の仮定を用いて推定する。
処理部906は、入力画像の類似パッチ集合を構成する各パッチのノイズを低減する。具体的には、式(24)で得られたパラメータに基づいて、式(26)の行列演算を行えばよい。ここで、Q2ndは最終的なノイズ低減後のパッチを表し、入力画像の類似パッチ集合を構成する各パッチ
に対して求まる。
次に、本実施形態に係る画像処理装置900が行う、入力画像に対するノイズ低減処理について、図14のフローチャートに従って説明する。図14において図8に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
ステップS1409における処理の詳細について、図15のフローチャートに従って説明する。ステップS1501では、CPU101は、類似パッチ集合を構成する全パッチの画素値の平均値を算出し、該平均値に基づいて式(19)により仮のノイズ量パラメータを推定し、該仮のノイズ量パラメータの平方根をとってノイズ標準偏差を算出する。
ステップS1416における処理の詳細について、図16のフローチャートに従って説明する。ステップS1601では、CPU101は、入力画像の各画素に対応するカウンタ(第1の実施形態と同様のカウンタ)を0に初期化する。
第1,2の実施形態では、撮像装置105による撮像画像に対して画像処理装置100(900)がノイズ低減処理を行う例を説明したが、画像処理装置100(900)が行うものとして上述したノイズ低減処理を撮像装置105内で行うようにしても良い。この場合、撮像装置105に上記のノイズ低減処理用のハードウェアを設けて該ハードウェアにより上記のノイズ低減処理を行うようにしても良い。また、上記のノイズ低減処理用のコンピュータプログラムを撮像装置105のメモリに格納し、撮像装置105のプロセッサが該コンピュータプログラムを実行することで上記のノイズ低減処理を実行するようにしても良い。つまり、上記の画像処理装置100(900)の構成を撮像装置105に組み込むようにしても良い。
上記の通り、第1の実施形態において生成したノイズ低減後画像や第2の実施形態において生成したSTEP2のノイズ低減後画像の出力先は特定の出力先に限らない。例えばCPU101は、入力画像、第1の実施形態において生成したノイズ低減後画像、第2の実施形態において生成したSTEP2のノイズ低減後画像、を並べて若しくは切り替え可能にモニタ108に表示させるようにしても良い。この3つの画像の画像のうち1つ以上を表示するようにしても良い。その際の表示方法は特定の表示方法に限らない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (20)
- 入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定手段と、
前記設定手段が設定した参照パッチのうち前記着目パッチと類似する類似パッチを前記着目パッチとの類似度に基づいて特定し、前記着目パッチと前記類似パッチとを含むパッチ集合を生成する生成手段と、
前記パッチ集合に含まれている各パッチの各画素に対応するノイズ量パラメータを、該各画素の画素値に基づいて推定する第1の推定手段と、
前記パッチ集合と前記ノイズ量パラメータとに基づいて、前記パッチ集合に対応する、ノイズが付加される前の画像の事前確率を推定する第2の推定手段と、
前記パッチ集合と前記ノイズ量パラメータと前記事前確率とに基づいて、前記パッチ集合に含まれている前記着目パッチのノイズを低減した第1のパッチ、前記パッチ集合に含まれている前記類似パッチのノイズを低減した第2のパッチ、を推定する処理手段と、
前記第1のパッチおよび前記第2のパッチに対して画像合成処理を行う合成手段と
を備えることを特徴とする画像処理装置。 - 前記第2の推定手段は、ノイズが付加される前の前記パッチ集合を多次元正規分布でモデル化できると仮定し、事前確率モデルとして多次元正規分布を用いて、前記事前確率モデルを表すパラメータを事前確率パラメータとして推定することを特徴とする請求項1に記載の画像処理装置。
- 前記第2の推定手段は、前記パッチ集合の平均ベクトルと前記パッチ集合の分散共分散行列と前記ノイズ量パラメータとに基づいて前記事前確率パラメータを推定することを特徴とする請求項2に記載の画像処理装置。
- 前記処理手段は、前記パッチ集合における各パッチを構成する画素に付加されているノイズが全て独立に正規分布に従うことを尤度としたときに、ノイズが付加される前のパッチの事後確率を最大化するようなノイズ低減後のパッチを、前記各パッチと前記事前確率と前記尤度と前記ノイズ量パラメータとに基づいてベイズの定理により推定することを特徴とする請求項3に記載の画像処理装置。
- 前記処理手段は、Pをノイズが付加される前の本来の画像に基づいて構成されるパッチ、
を撮像素子によるノイズが付加された入力画像に基づいて構成されるパッチ、Σをパッチを構成する各画素のノイズ量パラメータを表した対角行列、
をノイズが付加される前の本来の画像に基づいて構成されるパッチと該パッチに対する類似パッチとから生成されるパッチ集合の分散共分散行列、とするとき、前記事前確率がP(P)、前記尤度が
、前記事後確率が
にそれぞれ対応し、前記事後確率を最大化するような式
と同じものとみなせる計算に基づいて、前記第1のパッチおよび前記第2のパッチを推定することを特徴とする請求項4に記載の画像処理装置。 - 前記生成手段は、
前記設定手段が設定したそれぞれの参照パッチと前記着目パッチとの類似度を算出する算出手段と、
前記算出手段が算出した類似度に基づいて、前記パッチ集合に前記類似パッチとして含める参照パッチを選別する選別手段と
を備え、
前記着目パッチと前記選別手段で選別された参照パッチとを含むパッチ集合を生成することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記選別手段は、前記算出手段が算出した類似度と規定値との比較により、前記パッチ集合に前記類似パッチとして含める参照パッチを選別することを特徴とする請求項6に記載の画像処理装置。
- 前記選別手段は、前記算出手段が算出した類似度が高い順に上位の規定の数の参照パッチを、前記類似パッチとして選別することを特徴とする請求項6に記載の画像処理装置。
- 前記第1の推定手段は、パッチの各画素値と前記入力画像を撮像した撮像素子のノイズ特性とに基づいてノイズ量パラメータを推定することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記第1の推定手段は、前記パッチ集合に含まれる各パッチに対して共通のノイズ量パラメータを推定することを特徴とする請求項9に記載の画像処理装置。
- 前記第1の推定手段は、ノイズ量パラメータを推定する際に使用する画素値を算出する第2の算出手段を有し、前記画素値と前記ノイズ特性とに基づいてノイズ量パラメータを推定することを特徴とする請求項9又は10に記載の画像処理装置。
- 前記第2の算出手段は、前記パッチ集合における画素位置ごとの画素値の平均値を算出することを特徴とする請求項11に記載の画像処理装置。
- 前記第2の算出手段は、前記パッチ集合のうち、前記着目パッチと一枚以上の前記参照パッチとにおいて対応する画素位置ごとの画素値の重み付き平均値を算出することを特徴とする請求項11に記載の画像処理装置。
- 前記第2の算出手段は、前記パッチ集合のうち、前記着目パッチと、該着目パッチとの類似度が高い順に上位の規定の数の前記参照パッチと、において対応する画素位置ごとの画素値の重み付き平均値を算出し、前記規定の数は前記パッチ集合のノイズ量に応じて決定されることを特徴とする請求項11に記載の画像処理装置。
- 前記入力画像は、撮像素子による輝度依存性のあるノイズが付加された画像であることを特徴とする請求項1乃至14の何れか1項に記載の画像処理装置。
- 更に、
前記入力画像における複数の画素を前記着目画素として、前記設定手段、前記生成手段、前記第1の推定手段、前記第2の推定手段、前記処理手段、前記合成手段、により得られる画像を、前記入力画像に対するノイズ低減処理を行ったノイズ低減後画像として出力する出力手段を備えることを特徴とする請求項1乃至15の何れか1項に記載の画像処理装置。 - 前記出力手段は、前記ノイズ低減後画像および/または前記入力画像を表示することを特徴とする請求項16に記載の画像処理装置。
- 前記画像処理装置はデジタル撮像装置であることを特徴とする請求項1乃至17の何れか1項に記載の画像処理装置。
- 画像処理装置が行う画像処理方法であって、
前記画像処理装置の設定手段が、入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定工程と、
前記画像処理装置の生成手段が、前記設定工程で設定した参照パッチのうち前記着目パッチと類似する類似パッチを前記着目パッチとの類似度に基づいて特定し、前記着目パッチと前記類似パッチとを含むパッチ集合を生成する生成工程と、
前記画像処理装置の第1の推定手段が、前記パッチ集合に含まれている各パッチの各画素に対応するノイズ量パラメータを、該各画素の画素値に基づいて推定する第1の推定工程と、
前記画像処理装置の第2の推定手段が、前記パッチ集合と前記ノイズ量パラメータとに基づいて、前記パッチ集合に対応する、ノイズが付加される前の画像の事前確率を推定する第2の推定工程と、
前記画像処理装置の処理手段が、前記パッチ集合と前記ノイズ量パラメータと前記事前確率とに基づいて、前記パッチ集合に含まれている前記着目パッチのノイズを低減した第1のパッチ、前記パッチ集合に含まれている前記類似パッチのノイズを低減した第2のパッチ、を推定する処理工程と、
前記画像処理装置の合成手段が、前記第1のパッチおよび前記第2のパッチに対して画像合成処理を行う合成工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至18の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017227047A JP7032913B2 (ja) | 2017-11-27 | 2017-11-27 | 画像処理装置、画像処理方法、コンピュータプログラム |
US16/199,554 US10740878B2 (en) | 2017-11-27 | 2018-11-26 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017227047A JP7032913B2 (ja) | 2017-11-27 | 2017-11-27 | 画像処理装置、画像処理方法、コンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019096222A true JP2019096222A (ja) | 2019-06-20 |
JP2019096222A5 JP2019096222A5 (ja) | 2020-12-17 |
JP7032913B2 JP7032913B2 (ja) | 2022-03-09 |
Family
ID=66633420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017227047A Active JP7032913B2 (ja) | 2017-11-27 | 2017-11-27 | 画像処理装置、画像処理方法、コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10740878B2 (ja) |
JP (1) | JP7032913B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111405206A (zh) * | 2020-02-25 | 2020-07-10 | 南京邮电大学 | 基于帧平均及权值调整二阶盲识别的泊松-高斯联合噪声图像序列分离降噪方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501522B2 (en) * | 2017-12-06 | 2022-11-15 | Nec Corporation | Image recognition model generating device, image recognition model generating method, and image recognition model generating program storing medium |
JP2020061080A (ja) | 2018-10-12 | 2020-04-16 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
CN115908154B (zh) * | 2022-09-20 | 2023-09-29 | 盐城众拓视觉创意有限公司 | 基于图像处理的视频后期颗粒噪声去除方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025368A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズレベル推定装置、ノイズレベル推定方法及びプログラム |
JP2015035198A (ja) * | 2012-10-25 | 2015-02-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2015219603A (ja) * | 2014-05-14 | 2015-12-07 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2016167253A (ja) * | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017059220A (ja) * | 2015-09-15 | 2017-03-23 | 三菱電機株式会社 | 画像のノイズを除去する方法及びシステム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9911060B2 (en) | 2015-03-03 | 2018-03-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for reducing color noise in an image |
-
2017
- 2017-11-27 JP JP2017227047A patent/JP7032913B2/ja active Active
-
2018
- 2018-11-26 US US16/199,554 patent/US10740878B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025368A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズレベル推定装置、ノイズレベル推定方法及びプログラム |
JP2015035198A (ja) * | 2012-10-25 | 2015-02-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2015219603A (ja) * | 2014-05-14 | 2015-12-07 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2016167253A (ja) * | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017059220A (ja) * | 2015-09-15 | 2017-03-23 | 三菱電機株式会社 | 画像のノイズを除去する方法及びシステム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111405206A (zh) * | 2020-02-25 | 2020-07-10 | 南京邮电大学 | 基于帧平均及权值调整二阶盲识别的泊松-高斯联合噪声图像序列分离降噪方法 |
CN111405206B (zh) * | 2020-02-25 | 2022-07-26 | 南京邮电大学 | 一种泊松-高斯联合噪声图像序列分离降噪方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7032913B2 (ja) | 2022-03-09 |
US20190164258A1 (en) | 2019-05-30 |
US10740878B2 (en) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108492287B (zh) | 一种视频抖动检测方法、终端设备及存储介质 | |
US9275464B2 (en) | Method for determining the extent of a foreground object in an image | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
EP3598385B1 (en) | Face deblurring method and device | |
JP6465563B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20140321738A1 (en) | Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
WO2019010932A1 (zh) | 一种利于模糊核估计的图像区域选择方法和系统 | |
JP2021060989A (ja) | マルチモーダル密対応関係撮像システム | |
US11741615B2 (en) | Map segmentation method and device, motion estimation method, and device terminal | |
US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
WO2019123554A1 (ja) | 画像処理装置、画像処理方法、及び、記録媒体 | |
JPWO2013089261A1 (ja) | 画像処理システム及び画像処理方法 | |
JP5617841B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
Chen et al. | A novel face super resolution approach for noisy images using contour feature and standard deviation prior | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios | |
CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
JP2015179426A (ja) | 情報処理装置、パラメータの決定方法、及びプログラム | |
Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6451300B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
CN110232401B (zh) | 基于图片转换的病灶判断方法、装置、计算机设备 | |
JP2011154634A (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201105 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7032913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |