JP2014165874A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2014165874A
JP2014165874A JP2013037743A JP2013037743A JP2014165874A JP 2014165874 A JP2014165874 A JP 2014165874A JP 2013037743 A JP2013037743 A JP 2013037743A JP 2013037743 A JP2013037743 A JP 2013037743A JP 2014165874 A JP2014165874 A JP 2014165874A
Authority
JP
Japan
Prior art keywords
pixel
value
target pixel
weighted average
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013037743A
Other languages
English (en)
Other versions
JP6161326B2 (ja
Inventor
Kazuhiro Yahata
和浩 矢幡
Yoshitaka Sasaki
良隆 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013037743A priority Critical patent/JP6161326B2/ja
Priority to US14/183,730 priority patent/US9569682B2/en
Publication of JP2014165874A publication Critical patent/JP2014165874A/ja
Application granted granted Critical
Publication of JP6161326B2 publication Critical patent/JP6161326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】着目画素を基準にした類似度に応じて重みを算出して重みつきの平均値を計算すると、その平均値は着目画素自身に含まれるノイズの影響を受けので、ノイズのない真の画素値からずれた値に収束し、残留ノイズとして現れる。
【解決手段】着目画素に対する複数の参照画素の画素値の重み付き平均値と、着目画素の画素値と、着目画素の真の画素値と、の間に成り立っている相関関係に基づいて着目画素に対する新たな値を導出する。
【選択図】図4

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。より詳細には、本発明は、画像データのノイズを低減する技術に関する。
より暗いシーンあるいはより速く運動する被写体を撮像するために、カメラの感度を従来よりも高める事が望まれている。しかしながらカメラの感度を高めるとノイズが増えるため、ノイズをより強く減衰させるノイズ低減処理が必要となる。単純な平均化などによってノイズ低減処理を施すと解像感が低下するため、エッジやテクスチャを保存しつつノイズを低減する技術が公開されている(例えば特許文献1、特許文献2)。これらのノイズ低減技術は、ノイズを低減しようとしている着目画素と周辺の参照画素との類似度を計算し、その類似度に応じて重みを決定して重み付き平均値を計算する。そして重み付け平均値を用いて着目画素の値を決定するものである。
特開2010−245977号公報 特表2007−536662号公報
しかしながら、このように着目画素を基準にした類似度に応じて重みを算出して重みつきの平均値を計算すると、その平均値は着目画素自身の画素値に含まれるノイズの影響を受ける。このため、参照画素の数を増やしたとしても着目画素の真の画素値には収束せず、ノイズのない真の画素値からずれた値に収束し、これが残留ノイズとして現れるという課題がある。
本発明に係る画像処理装置は、着目画素に対する複数の参照画素の画素値の重み付き平均値と、前記着目画素の画素値と、前記着目画素の真の画素値と、の間に成り立っている相関関係に基づいて前記着目画素に対する新たな値を導出する導出手段を備えることを特徴とする。
本発明によれば、残留ノイズを低減する事ができ、より良好なノイズ低減後の画像データを得る事ができる。
実施形態に係る画像処理装置の構成の一例を示すブロック図である。 着目画素と参照画素の例を示す図である。 non local means法における着目領域と参照領域との例を示す図である。 残留ノイズが生じる原因を示す概念図である。 残留ノイズを低減させた例を示す図である。 第1実施形態の画像処理部の構成の一例を示すブロック図である。 第1実施形態における処理の流れの一例を示すフローチャートである。 第2実施形態の画像処理部の構成の一例を示すブロック図である。 第2実施形態における処理の流れの一例を示すフローチャート図である。 第3実施形態の画像処理部の構成の一例を示すブロック図である。 第3実施形態における処理の流れの一例を示すフローチャートである。 第4実施形態の画像処理部の構成の一例を示すブロック図である。 第4実施形態における処理の流れの一例を示すフローチャート図である。
以下に図面を参照して、発明の実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
<第1実施形態>
本実施形態における画像処理装置の構成について、図1を参照して説明する。
図1において、画像処理装置はCPU101、RAM102、HDD103、汎用インターフェース(I/F)104、モニタ108、メインバス109を備える。汎用I/Fはカメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、メモリーカードなどの外部メモリ107をメインバス109に接続する。
以下では、CPU101がHDD103に格納された各種ソフトウェア(コンピュータプログラム)を動作させることで実現する各種処理について述べる。
まず、CPU101はHDD103に格納されている画像処理アプリケーションを起動し、RAM102に展開するとともに、モニタ108にユーザインターフェース(UI)を表示する。続いて、HDD103や外部メモリ107に格納されている各種データ、撮像装置105で撮像された画像データ、入力装置106からの指示データなどがRAM102に転送される。さらに、画像処理アプリケーション内の処理に従って、RAM102に格納されているデータに対してCPU101からの指令に基づく各種演算が行れる。演算結果はモニタ108に表示されたり、HDD103、外部メモリ107に格納されたりする。
上記の構成に於いて、CPU101からの指令に基づき、画像処理アプリケーションにノイズ低減の対象となる画像データとノイズ低減パラメータとを入力し、ノイズ低減処理をかける。その上で、そのノイズ低減処理した画像データに対してさらに残留ノイズ低減処理を行う処理の詳細について説明する。まず、ノイズ低減技術について説明する。その後、ノイズ低減処理したデータにおける残留ノイズについて説明する。次に、その残留ノイズのノイズ低減処理について説明する。
<ノイズ低減処理の説明>
画像処理におけるノイズ低減処理は、一般に、ノイズを低減しようと着目している着目画素近傍に複数の参照画素を設定し、それぞれの参照画素の画素値と着目画素の画素値とを用いて平均値を計算する。そして、計算した平均値をノイズ低減後の着目画素の画素値とするものである。最も単純なノイズ低減処理は平滑化フィルタを掛ける処理である。例えば図2に示すように、着目画素を中心とした5×5サイズの領域にある全ての画素を参照画素群とし、それら参照画素群の画素値の平均値を計算し、着目画素の画素値とする。ただしこのような平滑化フィルタを掛ける処理では、エッジや細かなテクスチャがぼけて失われる。
エッジやテクスチャを保存するようなノイズ低減処理として最も簡単な処理は、平均値の計算に着目画素の画素値と参照画素の画素値との差分を考慮する処理である。差分がある閾値Sよりも小さい時にその参照画素を平均値の計算に使用し、逆に大きいときにはその参照画素は平均値の計算に使用しないと判定する。例えば、着目画素の画素値が50であり、閾値Sを10とするとき、画素値が40から60の範囲である参照画素は平均の計算に使用し、この範囲に無いものは平均の計算には使用しないと判定する。この判定により、エッジやテクスチャをある程度残すことができる。
上記の閾値を用いて平均値の算出に用いる参照画素を判定するノイズ低減処理よりもさらに高度な処理としては、例えばバイラテラルフィルタやNon-local means法が挙げられる。これらのエッジ保存型のノイズ低減処理は、一般に参照画素群の画素値の重み付き平均値を用いている。ここで、ノイズ低減処理を行おうとしている入力画像のi番目の画素を着目画素とし、また参照画素群におけるj番目の画素の画素値をIjとして、さらに着目画素に対応するノイズ低減処理後の画像のi番目の画素の画素値をIi,newとする。また、参照画素群に含まれる参照画素数をNpとする。このとき、ノイズ低減処理後の画像のi番目の画素値Ii,newは以下の式で書き表される。
Figure 2014165874
ここで、Σは和をとる事を意味し、複数存在する参照画素を識別するインデックスjについて和を取ることを意味する。またwijは、i番目の着目画素におけるj番目の参照画素に対する重みである。なお、複数ある参照画素の中には着目画素が含まれる場合、上の式でj=iとなってもよい。
ノイズ低減処理方法の違いは参照画素に対する重みwijの計算方法の違いで説明される。一般に、重みwijは着目画素と参照画素との類似度に応じて決定される。例えば、先述した最も簡単な例では、重みwijは以下のようになる。
Figure 2014165874
この処理においては類似度は画素値の差の絶対値を用いる。画素値の差の絶対値が小さい参照画素は、着目画素と参照画素は類似しているとみなし、着目画素の画素値を求めるための平均値算出に用いる。画素値の差の絶対値が大きい参照画素は、着目画素と参照画素は類似していないとみなし、着目画素の画素値を求めるための平均値算出に用いない。
また、バイラテラルフィルタでは、j番目の参照画素に対する重みwijは以下の様に定義されている。
Figure 2014165874
ここで、σIとσrはノイズ低減の強さを決めるパラメータである。また、rijはi番目の着目画素とj番目の参照画素との画像上での距離である。画素値の差分が小さく距離的にも近い場合に着目画素に対する参照画素の類似度が高いとみなし、重みが大きくなるように定義した式となっている。
Non-local means法では、類似度の評価にブロックマッチングが取り入れられている。すなわち図3に示すように、着目画素周辺の領域を着目領域と設定し、また、参照画素周辺の領域を参照領域と設定する。そして着目領域に含まれる各画素と参照領域に含まれる各画素とで対応する画素毎に画素値の差分の二乗を計算し、さらにそれらの和を取って類似度Sijを計算している。式で表現すると以下のようになる。
Figure 2014165874
ここでNbは参照領域画素数であり、Iikは、着目領域を構成しているk番目の画素の画素値であり、Ijkはj番目の参照画素に対応する参照領域を構成しているk番目の画素の画素値である。そしてj番目の参照画素に対する重みは以下の通り計算される。この類似度Sijは、着目領域と参照領域を構成する画素の画素値がそれぞれ完全に一致した場合は0となり、画素値の差が異なるほど大きな値となる。そして、重みwijは類似度Sijを使用して以下のように計算される。
Figure 2014165874
ここでhはノイズ低減の強さを決めるパラメータである。なお、non-local meansという名前は、参照画素を画像の局所領域ではなく画像全体に設定する事からこう名付けられているが、参照画素を画像の局所領域に限定してもノイズ低減効果は得られる。
以上が代表的なエッジ保存型ノイズ低減技術の説明である。
<残留ノイズの説明>
次に、このようなエッジ保存型のノイズ低減技術である重み付き平均処理によって生じる残留ノイズについて、図4を用いて説明する。残留ノイズとは、重み付き平均処理を用いたノイズ低減処理を行う場合に、参照画素の数を増やしても低減されない(すなわち、残留する)特殊なノイズのことである。
図4は、従来技術のように着目画素と参照画素との類似度に応じた重み付き平均値を計算した場合に得られる期待値と真の画素値との間の差を示す概念図である。真の画素値とは、ノイズが全く含まれない理想値のことである。換言すれば、真の画素値とは、ノイズが完全に除去された値のことである。この図は簡単のために簡略化しているが、従来技術の期待値が真の画素値とならない事を示すには十分である。図4の横軸は画素値を示す。画素値分布は、各画素値に対する頻度の分布であり、重み関数は各画素値に対応する重みを示している。
まず、着目画素の真の画素値をIi,trueとする。ここで参照画素群の画素の真の画素値も全てIi,trueと同じ値だと仮定する。つまり、ノイズが発生していない場合には全ての画素値が同じである画像データにおいて、着目画素と参照画素群とについて考える。このとき、参照画素のノイズを含んだ画素値(すなわち、ノイズが発生した実際の画像データにおける参照画素の画素値)の分布は、真の画素値Ii,trueを中心に広がっている(図4の「画素値分布」参照)。ノイズを含んだ参照画素の画素値が、真の画素値Ii,trueを中心に広がって分布している理由は、各参照画素に対して、それぞればらついたノイズ量が含まれているからである。
ここで、ある着目画素の画素値Iiが、ノイズによって真の画素値Ii,trueよりも大きな値であったとする。上述したように、参照画素に対する重みは着目画素と参照画素との類似度に応じて決まる。着目画素と参照画素との類似度は、参照画素の画素値が着目画素の画素値Iiから離れるに従って低くなるのが一般的である。従って重みも参照画素の画素値が着目画素の画素値Iiから離れるに従って減少する(図4の「重み分布」参照)。すなわち、参照画素に対する重みは、着目画素の画素値Ii近傍では高く、着目画素の画素値Iiから遠い部分では低くなる。この時計算される重み付き平均の値は、式(1)に示すように、参照画素の画素値と参照画素に対する重みとに基づく。図4からわかるように、参照画素の画素値が真の画素値Ii,true近傍かそれよりも小さい場合(図4のA)は、画素値分布の値が大きいためそのような値を持つ画素数はそれなりに多いものの対応する重みが小さい。また、参照画素の画素値が着目画素の画素値Ii近傍かそれよりも大きい場合(図4のB)には、重みは大きいもののその値を持つ画素数が少ない。結局、重み付き平均値に主に寄与するのは、図4において画素値分布における頻度と重みとがともに大きな値をもつ画素値である。したがって、重み付き平均値である着目画素の画素値Ii,newは、真の画素値Ii,trueと着目画素の画素値Iiとの間に分布することになる(図4の「従来技術結果の頻度分布」参照)。ここで、従来技術結果の確率分布における期待値をIi,new,expとする。
重み付き平均値のばらつき(分布の広がり)は参照画素の数を増やすほど減少していくが、その収束先は真の画素値Ii,trueではなく、期待値Ii,new,expとなる。この期待値Ii,new,expは、ノイズが含まれる着目画素の画素値Iiに依存し、真の画素値Ii,trueと期待値Ii,new,expとの差は参照画素の数を増やしても縮まる事はない。すなわち、重みを着目画素の画素値Iiに基づいて決める場合には、期待値Ii,new,expは、真の画素値Ii,trueとはならないのである。この真の画素値Ii,trueと、期待値Ii,new,expとの差が重み付き平均のばらつきよりも大きい場合に、この差が残留ノイズとして認識される。図4から判る通り、この残留ノイズは元々のノイズ(すなわち、着目画素の画素値Iiと真の画素値Ii,trueとの差)より小さい。したがって元々のノイズがそれほど大きくない場合には、残留ノイズはそれよりもさらに小さいために目立ちにくい。しかし元々のノイズ量が大きくなると、それにつれて残留ノイズも大きくなるため目立つようになる。特に、空や壁面など、均一な色が大面積で広がっている領域においてはこの残留ノイズが目立つため、この残留ノイズを低減する必要がある。以上が残留ノイズについての説明である。
なお、図4で説明した残留ノイズは、着目画素の画素値に基づいて重みを決定する場合に生じるものである。仮に着目画素の画素値に基づいて重みを決定しないような処理、例えば上述した平均フィルタを用いるような手法では、重みは定数となる。この場合、期待値Ii,new,expは真の画素値Ii,trueと一致する。したがって、図4の従来技術結果分布は、図4においては真の画素値Ii,trueを中心とする分布となる。換言すれば、図4で説明するような残留ノイズは着目画素の画素値に基づいて重みを決定する場合には避けることができない問題となる。
本実施形態ではこの残留ノイズを低減する処理を説明とする。
<残留ノイズ低減処理の原理>
次に、本実施形態の残留ノイズ低減処理の原理について説明を行う。先述したとおり、残留ノイズとはノイズ低減処理後の着目画素の期待値Ii,new,expと真の画素値Ii,trueとのずれである。そこで、以下では、ノイズ低減処理後の着目画素の期待値Ii,new,expと真の画素値Ii,trueとのずれを縮めることによって残留ノイズを低減するための原理について説明する。
まず、ノイズ低減処理後の着目画素の画素値Ii,newの期待値Ii,new,expは以下のように計算する。
Figure 2014165874
ここで、式中の山括弧は統計的な期待値を計算する事を意味する。この式(6)に重み付き平均の式(1)を代入すると、
Figure 2014165874
となる。重みwijは少なくとも着目画素の画素値Iiと参照画素の画素値Ijとに依存するとする。重みの具体的な計算方法は、個々のノイズ低減処理技術によるものである。あるノイズ低減処理技術において、重みの計算に1つ以上のパラメータξmethodを使用するならば、その重みはξmethodにも依存する。以下、ξmethodをノイズ低減パラメータと呼ぶ。ノイズ低減パラメータξmethodは、例えばバイラテラルフィルタではσIとσrが、non-local meansであればhがそれぞれ対応する。
次に、ノイズ低減処理後の着目画素の期待値Ii,new,expを統計的に計算する方法について説明する。なお、本実施形態において期待値を求めようとしている着目画素の画素値Iiについては、画像データから取得することができる。従って、着目画素の画素値Iiが定まっている条件の元で期待値Ii,new,expを計算する。ノイズ低減処理後の着目画素の画素値Ii,newの期待値Ii,new,expの計算は、次のように行われる。重みの計算に必要な画素は、図3が示す通り、着目画素と参照画素の他に、参照画素群には含まれないがいずれかの参照画素に対応する参照領域には含まれる画素である。ここで参照画素群には含まれないが重みの計算に必要な画素の画素値をIothersとする。重みの計算に関わる着目画素および参照画素以外のあらゆる画素の画素値Iothersと参照画素の画素値Ijとの確率分布関数をノイズ低減処理後の着目画素の画素値Ii,newに乗じて、IjとIothersとについて積分を取ることで計算される。ここで画素値Iothersはベクトルとしておく。参照画素の画素値Ijと、着目画素および参照画素以外のあらゆる画素の画素値Iothersと、の画素値分布は、それぞれの画素の真の画素値とノイズ量とによって決まる。これらの画素値分布を決める1つ以上のパラメータをまとめてσtrueであらわす。以下、σtrueを画素値分布モデルパラメータと呼ぶ。以上の点を踏まえ式(7)を変形すると、
Figure 2014165874
となる。上記の通り、重みwijは、少なくとも着目画素の画素値Iiと参照画素の画素値Ijとノイズ低減パラメータξmethodとに依存するので、式(8)ではwij内にこれらの値を明示している。なお、式(8)でwij内にIothersを含めている理由は、たとえばnon local meansの場合には参照領域を構成する、参照画素以外の画素も重みの計算に用いられることを考慮しているからである。すなわち、重みの計算方法によっては、着目画素の画素値Iiと参照画素の画素値Ij以外の画素値Iothersに依存する場合もあるので、式(8)のwijには画素値Iothersも含めている。P(Ij,Iothers,σtrue)は、上述した参照画素の画素値Ijと着目画素および参照画素以外のあらゆる画素の画素値Iothersとの確率分布関数を示している。また、P(Ij,Iothers,σtrue)は、これらの画素値の分布に関わる画素値分布モデルパラメータσtrueをパラメータとして含めている。確率分布関数P(Ij,Iothers,σtrue)は、撮像センサーのノイズの統計的な性質と、真の画像の画素値などから具体的な形にモデル化できる。すなわち、画素値分布モデルパラメータσtrueに応じて具体的な形にモデル化できる。例えば、ノイズ分布として標準偏差σを持つガウス分布を仮定し、参照画素の画素値Ijと着目画素および参照画素以外のあらゆる画素の画素値Iothersとの真の画素値を、それぞれIj,trueと Iothers,trueと仮定する。すると、確率分布関数P(Ij,Iothers,σtrue)は以下のような式で表せる。
Figure 2014165874
ここでNothersはIothersの要素数を表している。参照画素の真の画素値Ij,trueと 他の画素の真の画素値Iothers,trueとを仮定している理由は、画素値の分布は、真の画素値を中心にノイズの標準偏差σに応じてばらつくことを示すためである。式(9)においては、参照画素の真の画素値Ij,true,他の画素の真の画素値Iothers,true,およびノイズの標準偏差σが、式(8)で示す画素値分布モデルパラメータσtrueに対応している。式(9)はノイズ分布に標準偏差σを持つガウス分布を仮定した例を示したものであるが、他の分布に従う場合には、式(8)で示す画素値分布モデルパラメータσtrueは、その分布に従った関数や値に対応させることができる。
次に、ノイズ低減後の着目画素の画素値の期待値の計算に説明を戻す。
式(8)の重みWijに、個々の重み付け平均に応じた重み計算方法を代入する事で、個々の重み付け平均ごとの期待値Ii,new,expを計算できる。式(8)の右辺には様々な変数が表れている。しかし、積分によって消える変数(Ij, Iothers)を考慮する。すると、ノイズ低減処理後の着目画素の画素値の期待値Ii,new,expは、着目画素の画素値Ii、ノイズ低減パラメータξmethodそして画素値分布モデルパラメータσtrueに依存する事がわかる。すなわち、ノイズ低減処理後の着目画素の画素値の期待値Ii,new,expは、着目画素の画素値Ii、ノイズ低減パラメータξmethodと、画素値分布モデルパラメータσtrueとに応じて求められる。
これを形式的に表現すると、以下の様な関数hで表す事ができる。
Figure 2014165874
上記式を考慮する前に、まずノイズ低減処理の根本的な考え方について言及する。ノイズ低減処理は参照画素のいくつかにその参照画素の真の画素値が着目画素の真の画素値と同じものが含まれていないと成立しない。特に、重み付け平均を行う場合には、着目画素の画素値と同じ画素値を有する参照画素に対して重みを重くするという手法を採用していることからも上記の考えは裏付けされる。したがって、着目画素の真の画素値Ii,trueと同じ値が、画素値分布モデルパラメータσtrueに含まれていると考えても差し支えない。その事を明示的に示すために、画素値分布モデルパラメータσtrueから真の画素値Ii,trueを分離して式(10)を書きなおすと、以下の様な関数fであらわす事ができる。
Figure 2014165874
式(11)は、図4に示すグラフと合わせるとその意味が把握しやすい。式(11)の着目画素の真の画素値Ii,trueとノイズ低減処理後の着目画素の画素の期待値Ii,new,expとは、図4のIi,trueとIi,new,expとにそれぞれ対応する。式(11)の画素値分布モデルパラメータσtrueの一部が、図4の画素値分布に対応する。式(11)のノイズ低減パラメータξmethodの一部が、図4の重み関数に対応する。
この式(11)を、真の画素値Ii,trueについて解く。これにより、真の画素値Ii,trueを着目画素の画素値Iiと、ノイズ低減処理後の画素値の期待値Ii,new,expと、ノイズ低減パラメータξmethodと、画素値分布モデルパラメータσtrueとの関数gとして求める事ができる。
Figure 2014165874
重みの計算方法、つまりノイズ低減処理技術の種類によっては、これらの計算を解析的に行って関数gを得る事は困難である事が多い。しかし、様々な近似を用いて大まかに評価する事は可能であるし、また、コンピュータを使って数値的に関数gを評価する事はいつでも可能である。
式(12)は入力画像データがσtrueによって特定されるある画素値分布モデルに従っている場合、次のことを意味する。すなわち、着目画素の真の画素値Ii,trueが、ξmethodによって特定されるノイズ低減処理によるノイズ低減処理後の画素値の期待値Ii,new,expと着目画素の画素値Iiとから決まる事を意味する。ノイズ低減後の着目画素の画素値Ii,newは、図4の従来技術結果の頻度分布に示すように、ノイズ低減処理後の画素値の期待値Ii,new,expの周辺にいくらかばらついている。期待値は、試行を行ったとき,その結果として得られる数値の平均値のことであり、実際の処理結果は期待値の周辺にばらつくことは周知である。
式(12)の意味を言い変えると、着目画素の画素値Iiとノイズ低減後の画素値Ii,newと着目画素の真の画素値Ii,trueにはノイズ低減処理方法に応じた相関関係が成りたっているということである。ノイズ低減処理方法に応じた相関関係とは、画素値の分布を特定するパラメータσtrueとノイズ低減処理を特定するパラメータξmethodとに応じた相関関係のことである。
本実施形態ではこの相関関係に基づいて残留ノイズの低減処理を行う。式(12)によって真の画素値Ii,trueを推定にするには、着目画素の画素値Iiと、ノイズ低減パラメータξmethodと、画素値分布モデルパラメータσtrueの他に、ノイズ低減処理後の画素値の期待値Ii,new,expが必要である。上述したように、ノイズ低減後の着目画素の画素値Ii,newは、ノイズ低減処理後の画素値の期待値Ii,new,expの周辺にいくらかばらついている。したがって、厳密にはノイズ低減処理によって得られたIi,newが期待値Ii,new,expと一致しない場合があるが、ノイズ低減後の着目画素の画素値Ii,newは期待値Ii,new,expのよい推定値である。よって本実施形態では、実際に得られる重み付き平均値(すなわち、ノイズ低減後の画素値)Ii,newを期待値Ii,new,expだとみなして、重み付き平均値Ii,newを式(12)の期待値Ii,new,expに代入する。これによって着目画素の画素値Ii、ノイズ低減処理後の画素値Ii,new、パラメータξmethodおよびσtrueから真の画素値Ii,trueの推定値を算出する事ができる。このようにして得た推定値には上述の残留ノイズは低減されている。この推定値に残る主なノイズは、ノイズ低減処理によって得られる重み付き平均値Ii,newがその期待値Ii,new,expに対して持つばらつきに起因するものとなる。
なお一般的には式(12)の通りであるが、着目画素周辺領域や参照画素周辺領域が着目画素と同一の画素値を持ち、さらにノイズ低減処理がノイズ分散を考慮しているような場合には、関数gが画素値分布モデルパラメータσtrueに依存しない場合がある。つまり以下に示すより簡単な式になる場合がある。
Figure 2014165874
さらに、関数gがIiとIi,new,expに対して線形であるか、あるいは近似的に線形である場合、式(13)は以下のように表される場合もある。
Figure 2014165874
ここで、γはノイズ低減パラメータξmethodから計算されるパラメータであり、1よりも大きな値を持つ。典型的には1~1.5程度の値である。つまり、式(14)においては、真の画素値Ii,trueはノイズ低減処理前の画素値Iiとノイズ低減処理後の画素値Ii,newのIi,new側(重み付き平均値側)の外分点であると解釈できる。これは図4のIi,true、Ii,new,exp、Iiの大小関係からも理解できる。
前述の通り、関数gの評価には真の画素値の分布に対するモデル(画素値分布モデルパラメータσtrue)が必要である。例えば空や壁のようにどの画素も一定の値を持つのか、それともエッジが存在するのか、といったモデルが考えられる。厳密にいえば、ノイズ画像からは真の画素値の分布は知り得ないため、どのような画像に対しても誤差無く厳密に残留ノイズを消す事は不可能である。しかしながら、残留ノイズの量は元々のノイズよりも小さく、また残留ノイズが特に目立つのは主に画素値がほぼ一定であるような領域である。そのため、画素値一定という仮定をおいて評価した関数gを利用して残留ノイズ低減処理を行っても画質改善効果が得られる。より精度が必要であれば、画像の領域毎にその領域が一定の画素値を持つ部分であるか、あるいはエッジを有するかなどを推定し、その結果に基づいて適した関数gを選択する事が可能である。また、上述したように、関数gの評価は、あらかじめ様々な近似を用いて大まかに評価しておいてもよいし、また、コンピュータを使って評価していてもよい。あるいは、関数gに対応する4次元ルックアップテーブルを用意しておいて、かかるテーブルに基づいて処理を行っても良い。関数gは、ノイズ低減処理方法や画素値分布などに応じて変化するものである。よって、それぞれのノイズ低減処理方法(たとえばnon local mensやバイラテラルフィルタなど)や、画素値分布(エッジかベタかなど)に応じて適切な関数gを適用することができる。
また、上記の例では、ノイズ低減処理を単一の画像データに対して行う例を説明したが、本実施形態は、複数の画像データを用いたノイズ低減処理に適用することも可能である。たとえば、同一の被写体に対して連続して撮像した画像データを用いるノイズ低減処理にも適用することができる。
また、本実施形態は、辞書(あらかじめ用意された複数の画像)を利用するタイプのノイズ低減処理にも適用可能である。辞書を利用するタイプのノイズ低減処理では、参照画素と参照領域を事前に用意した辞書の中から選び、着目領域と比較する。このような場合、式(8)にある確率分布関数P(Ij,Iothers,σtrue)のうち、次の要素が辞書によって決まる。すなわち、参照画素Ijと、着目画素および参照画素以外のあらゆる画素の画素値Iohtersおよび画素値分布モデルパラメータσtrueの要素のうちの参照領域に対応する要素と、が辞書によって決まる。従って、それらの値の確率分布を考える必要がない。この事を式によって明記すると、以下のようになる。
Figure 2014165874
ここで、dicは辞書の要素数を示す。また、It,othersは、Iothersの要素のうち着目領域に対応したものを指す。たとえば、non local meansの場合には、着目領域を構成する画素の画素値のうち、着目画素Iiを除いた画素に対応する。同様に、σt,trueもσtureの要素のうち、着目領域に関連したものを指す。上述したように、参照領域に対応する画素については辞書の中から選択されるので、式(15)の確率分布関数P(It,others, σt,ture)には含まれていない。辞書を利用するタイプのノイズ低減処理においても、辞書と着目画素の真の画素値の間に相関がなければノイズ低減処理としてそもそも成り立たないことを考慮すると、式(15)も式(11)さらには式(12)の形に帰着できる。ただし画素値分布モデルパラメータσtrueは、着目領域に関連したσt,trueである。従って、辞書を利用するタイプのノイズ低減処理においても同様に本実施形態で説明した残留ノイズ低減処理が適用可能である。
以上が本実施形態における残留ノイズ低減処理の原理であるが、最後に図5を用いて残留ノイズ低減処理の効果の実例を示す。図5(a)はノイズのない画像の5×5の領域の画素値を示したものである。この例では全ての画素値が100である。すなわち、図5(a)は、真の画素値が全て100である画像データであるといえる。図5(b)は、図5(a)の画像データに標準偏差が約24のガウス分布に従うノイズがのった画像の、ある5×5の領域の画素値を示したものである。図5(b)の画像データは、ノイズ低減の対象となる画像データの一部である。この領域だけでノイズの標準偏差を計算すると25.6であった。図5(c)はノイズをのせた図5(b)の画像データにnon-local meansフィルタを適用して得た画像の、同じ5×5の領域の画素値を示したものである。non-local meansフィルタを適用した結果、ノイズの標準偏差は3.57にまで減り、ノイズが低減されている事がわかる。しかしながら、図5(b)で画素値が真の画素値である100よりも小さい画素は、non-local meansフィルタを適用した図5(c)でも100より小さい傾向にある。逆に、図5(b)で100よりも大きな画素値をもつ画素では、non-local meansフィルタを適用した図5(c)でも100より大きな画素値を持つ傾向がある事が確認できる。これが残留ノイズである。図5(d)は、本実施形態で説明した処理によって残留ノイズを低減させた結果である。具体的には式(14)に従って処理を行い、パラメータγを1.167とした例である。例えば最も左上の画素でみると、Ii,new,expには図5(c)に含まれている102を、Iiには図5(b)に含まれている110を、それぞれ代入する。式14は1.167×102 - 0.167×110 = 100.664となるから、残留ノイズ低減後の画素値はこれを四捨五入した101となる。このような処理の結果、図5(d)におけるノイズの標準偏差は0.73となり、図5(c)よりもさらにノイズが低減し、真の画素値である図5(a)に近づいている事が確認できる。
<残留ノイズ低減処理>
次に、具体的な残留ノイズ低減処理を行う画像処理装置およびその方法について、図6のブロック図と図7のフローチャートを用いて説明する。ここでは、前述のnon-local means法のように、着目画素と参照画素との類似度について、着目領域における各画素と参照領域における各画素との差分に基づいて類似度を算出する方法を例とする。
図6は、本実施形態にかかる画像処理装置の画像処理部600の一例を示すブロック図であり、入力画像に対して画素毎に処理を行う。この処理を全ての画素に対して行うことで、残留ノイズの少ない画像を得ることができる。画像処理部600は、重み付け平均値導出部601と、残留ノイズ低減部602とを有する。
重み付き平均値導出部601は、全ての参照領域の画素情報と、着目領域の画素情報と、ノイズ低減パラメータとを入力し、重み付き平均値を出力する。残留ノイズ低減部602は、重み付き平均値導出部で出力された重み付き平均値と、ノイズ低減パラメータと、着目画素の画素値と、必要に応じてノイズ標準偏差とを入力し、残留ノイズ低減後画素値を出力する。
画像処理全体としては、まず重み付き平均値導出部601においてノイズ低減処理を行い、その後、残留ノイズ低減部602において残留ノイズを低減する処理を行う。
図7のステップS701において、まず、重み付き平均値導出部601は、着目領域の画素情報と全ての参照領域の画素情報とを取得する。ここで、画素情報とは、例えば画素値や画素位置などの情報を含む。次に、ステップS702において、重み付き平均値導出部601は、ノイズ低減パラメータを取得する。なお、ステップS701とS702は逆の順序でも並行して行われても良い。ステップS703において、重み付き平均値導出部601は、ステップS701で得た着目領域の画素情報及び全ての参照領域の画素情報と、ステップS702で得たノイズ低減パラメータとに基づいて重み付き平均値を導出する。
ここで、着目領域と参照領域とは、それぞれ着目画素と参照画素について類似度を計算するために必要な領域を指す。着目領域および参照領域の具体的な形状は、類似度と重みをどのように計算するかに依存する。例えばnon-local meansフィルタの場合はブロックマッチングを行うため、そのブロックの形状が着目領域と参照領域の形状である。バイラテラルフィルタの場合は、着目画素と参照画素の画素値の差と画素間の距離とによって類似度を計算するため、着目領域には着目画素そのもの、および参照領域には参照画素そのものがそれぞれ対応する。
ノイズ低減パラメータには例えばノイズの標準偏差あるいは分散などが含まれうる。一般にノイズの標準偏差あるいは分散などは感度などの撮像パラメータに依存するが、撮像パラメータを考慮した値を取得する事はよく知られておりここでは詳しい説明を省略する。この重み付き平均値を導出するまでの処理については、<ノイズ低減処理の説明>で説明したような公知技術を用いて行うことができる。重み付き平均値導出部601は、導出した重み付き平均値を残留ノイズ低減部602に出力する。
次に、ステップS704において、残留ノイズ低減部602は、重み付き平均値導出部601で導出された重み付き平均値、着目画素の画素値、ノイズ低減パラメータ、さらには必要に応じてノイズの標準偏差を取得する。すなわち、上述したノイズ低減後の画素値Ii,newと、着目画素の画素値Iiと、ノイズ低減パラメータξmethodと、必要に応じてノイズの特性を表す画素値分布モデルパラメータσtrueとを取得する。
次にステップS705において、残留ノイズ低減部602は、先述した通り関数gに従って残留ノイズを低減した出力値(画素値)を導出する。上述したように、関数gは、ノイズ低減パラメータξmethodや画素値分布モデルパラメータσtrueに応じて変化するものであり、個々の具体的な処理については説明を省略する。いずれの処理によっても、着目画素の真の画素値Ii,trueはノイズ低減処理前の画素値Iiとノイズ低減処理後の画素値Ii,newのIi,new側の外分点となり、残留ノイズが低減される。
ステップS706において、画像処理部600は、全ての画素を処理したかどうかを判定する。すなわち、全ての画素を着目画素としてステップS701からステップS705の処理を行ったかを判定する。画像処理部600が処理していないと判定した場合、ステップS701に戻り、処理していると判定した場合、処理を終了する。
以上のとおり、本実施形態によれば、着目画素と参照画素との類似度に応じて重みを計算し、重み付き平均値を導出してノイズを低減する場合に生じる残留ノイズを低減する事ができる。したがって、より良好なノイズ低減後の画像データを得る事ができる。
<第2実施形態>
第2実施形態における画像処理装置の構成は第1実施形態の図1と同様であるため説明を省略し、以下、第1実施形態と異なる部分について説明する。
第1実施形態は、近似などを用いて関数gの形が解析的に評価できる場合の実施形態である。一方、第2実施形態は、関数gの形が解析的に評価できない場合について説明する。関数gの形が解析的に評価できない場合は、あらかじめ数値計算をして補正テーブルを作成しておく。そして、パラメータに応じて補正テーブルを参照して残留ノイズの低減を行う。
以下、第2実施形態の処理に関して、図8のブロック図と図9のフローチャートを用いて説明する。図8も図6と同様、入力画像に対して画素毎に処理を行う部分のブロック図である。図8に示す画像処理部800は、重み付き平均値導出部801と、補正テーブル記憶部802と、残留ノイズ低減部803とを有する。図6と異なる点は、補正テーブル記憶部802を有している点である。残留ノイズ低減部803は補正テーブル記憶部に格納されている補正テーブルを参照して残留ノイズ低減処理を行う。
補正テーブルは、重み付き平均値、着目画素値、ノイズ低減パラメータ、および画素値分布モデルパラメータより残留ノイズ低減後の画素値を得るために用いられる。この補正テーブルは関数gを数値的に評価して作成したものである。あるいは補正テーブルは、シミュレーションによって関数gを求めて作成したものでもよい。シミュレーションによって関数gを求める場合は、例えば以下のようにすればよい。まずCGなどによって作られた、ノイズが非常に少ない既知の画像を示す正解画像データを生成する。次にその正解画像データに対してノイズを付加してノイズ付加画像データを生成し、さらに所定の公知技術によるノイズ低減処理を行いノイズ低減画像データを生成する。そして最後に、正解画像データとノイズ付加画像データとノイズ低減画像データとの間の相関を調べ、関数gの形状を決定する。正解画像データ、ノイズ付加画像データ、ノイズ低減画像データがそれぞれIi,true、Ii、Ii,new,expに対応する。
次に、具体的な残留ノイズ低減処理方法について、図8のブロック図と図9のフローチャートを用いて説明する。なお、上述したような手法によって作成された補正テーブルが、補正テーブル記憶部に格納されているものとする。ステップS901からステップS903までの処理については第1実施形態で説明したものと同様であるため、説明を省略する。ステップS904において、残留ノイズ低減部803は、重み付き平均値導出部801で導出された重み付き平均値、着目画素の画素値、ノイズ低減パラメータ、さらには必要に応じてノイズの標準偏差を取得する。そしてステップS905において、残留ノイズ低減部803はステップS904で得た画素値やパラメータを基に補正テーブル記憶部802から残留ノイズを補正するための値を取得する。ステップS905では、残留ノイズ低減部803は、例えば着目画素の真の画素値Ii,trueやノイズ低減後の画素の期待値Ii,new,expなどの値を取得する。次に、ステップS906において、残留ノイズ低減部803は、ステップS904及びステップS905で得られた情報に基づいて、先述した通り関数gに従って残留ノイズ低減後の画素値を導出する。
ステップS907において、画像処理部800は、全ての画素を処理したかどうかを判定する。画像処理部800は、全ての画素を処理していないと判定した場合、ステップS901に戻り、処理していると判定した場合、処理を終了する。
以上により、本実施形態によれば、関数gの形が解析的に評価できない場合であっても残留ノイズの少ない良好なノイズ低減後の画像データを取得する事ができる。
<第3実施形態>
第3実施形態では、画素値がほぼ一定である領域に対してのみ残留ノイズ低減を行う処理について説明する。第3実施形態における画像処理装置の構成は第1実施形態の図1と同様であるため説明を省略する。
以下、第3実施形態の処理に関して、図10のブロック図と図11のフローチャートを用いて説明する。図10も図6と同様、入力画像に対して画素毎に処理を行う部分のブロック図である。図10に示す画像処理部1000は、重み付き平均値導出部1001と、残留ノイズ低減部1002とを有する。図6と異なる点は、残留ノイズ低減処理を行う残留ノイズ低減部1002に、画素値一定領域判定情報を入力する点である。画素値一定領域判定情報は、着目画素周辺の領域において、各画素の画素値がほぼ一定であるかどうかを判定した結果を示す情報である。画素値がほぼ一定である領域かどうかの判定は、公知技術を用いればよく、例えば、着目画素周辺の画素値の分散を計算し、それがノイズの分散の2倍程度より小さければほぼ画素値が一定である領域だと判定する事ができる。
以下、図11を用いて具体的な残留ノイズ低減処理方法について述べる。ステップS1101からステップS1103までは第1実施形態と同様の処理であるので、説明を省略する。
ステップS1104において、残留ノイズ低減部1002は着目画素周辺の画素値がほぼ一定かどうかを判定した結果を示す情報を取得する。ステップS1105において、残留ノイズ低減部1002は、ステップS1104で取得した情報に基づいて残留ノイズ低減処理を行うか否かを判定する。ステップS1105において、着目画素周辺の画素値がほぼ一定であると判定した場合、残留ノイズ低減部1002は、処理をステップS1106に進める。一方、ステップS1105において、着目画素周辺の画素値がほぼ一定でないと判定した場合、残留ノイズ低減部1002は、処理をステップS1108に進める。
画素値がほぼ一定であると判定した場合、ステップS1106において、残留ノイズ低減部1002は、ステップS1103で導出された重み付き平均値、着目画素の画素値、ノイズ低減パラメータ、さらには必要に応じてノイズの標準偏差を取得する。ステップS1107において、残留ノイズ低減部1002は、関数gに従って残留ノイズを低減した画素値を導出して、出力する。
一方、画素値が一定領域ではないと判定した場合には、ステップS1108において、残留ノイズ低減部1002は、重み付き平均値を残留ノイズ低減後の画素値として出力する。ステップS1109において、画像処理部1000は、全ての画素を処理したかどうかを判定する、画像処理部1000は、全ての画素を処理していないと判定した場合、ステップS1101に戻り、処理したと判定した場合、処理を終了する。
本実施形態によれば、画素値がほぼ一定である領域を示す情報を用いることにより、残留ノイズが認識されやすい領域に対してのみ残留ノイズ低減処理を行うことができる。
<第4実施形態>
第3実施形態では、画素値がほぼ一定である領域に対してのみ残留ノイズ低減を行う処理について説明した。第4実施形態では、着目画素周辺のテクスチャを詳しく識別した情報が得られた場合に、それに応じて補正処理を切り替える例を示す。具体的には着目画素が(1)エッジ部、(2)画素値一定領域、(3)その他の領域と3つのカテゴリに分類される場合に、エッジ部か否かで補正に用いるテーブルを変更する例を示す。
第4実施形態における画像処理装置の構成は第1実施形態の図1と同様であるため説明を省略する。
以下、第4実施形態の処理に関して、図12のブロック図と図13のフローチャートを用いて説明する。図12も図8と同様、入力画像に対して画素毎に処理を行う部分のブロック図である。図12の画像処理部1200は、重み付き平均値導出部1201と、補正テーブル記憶部1202と、残留ノイズ低減部1203とを有する。図12が図8と異なる点は、残留ノイズの低減処理を行う残留ノイズ低減部1203が、着目画素が画素値一定の領域であるのか、エッジを含んだ領域であるのか、あるいはいずれでもないのかを判定した結果を示すテクスチャ判定情報が入力される事である。エッジである場合のテクスチャ判定情報にはエッジの両サイドの画素値あるいはそれらの差が含まれる。これは、画素値分布モデルパラメータσtrueの1つである。なお、補正テーブル記憶部1202に格納されている補正テーブルは、画素値一定領域とエッジ部とのそれぞれに対してシミュレーションによって関数gを評価して作成したものである。すなわち、補正テーブル記憶部1202には、画素値一定領域用の補正テーブルと、エッジ部用の補正テーブルとが格納されている。
以下、図12を参照して具体的な残留ノイズ低減処理方法について述べる。ステップS1301からステップS1303までの処理については第1実施形態と同様であるので説明を省略する。
ステップS1304において、残留ノイズ低減部1203は着目画素周辺のテクスチャ判定情報を取得する。そしてステップS1305において、残留ノイズ低減部1203はテクスチャ判定情報に基づいて残留ノイズ補正処理を行うか否かを判定する。例えば、残留ノイズ低減部1203は、テクスチャ判定情報が、着目画素がエッジ部であるかまたは画素値一定領域であることを示す場合、残留ノイズ低減処理を行うと判定する。これらの判定は、たとえば公知の各種フィルタを入力画像データに対して適用することで行うことができる。一方、テクスチャ判定情報がその他の領域を示す場合、残留ノイズ低減処理を行わないと判定する。
残留ノイズ低減処理を行うと判定した場合、ステップS1306において、残留ノイズ低減部1203は、ステップS1303で導出された重み付き平均値、着目画素の画素値、ノイズ低減パラメータと、必要に応じてノイズ標準偏差を取得する。ステップS1307において、残留ノイズ低減部1203は、ステップS1304で得たテクスチャ判定情報を基にエッジ部かどうかを判定する。
エッジ部であると判定した場合、残留ノイズ低減部1203はステップS1308に処理を進める。ステップS1308において、残留ノイズ低減部1203は、エッジ部に対応する補正テーブルを参照して補正テーブル記憶部1202から残留ノイズを補正するための値を取得する。
エッジ部でないと判定した場合、残留ノイズ低減部1203はステップS1309に処理を進める。ステップS1309において、残留ノイズ低減部1203は、画素値一定領域に対応する補正テーブルを参照して、補正テーブル記憶部1202から残留ノイズを補正するための値を取得する。
ステップS1310において、残留ノイズ低減部1203は、ステップS1308またはステップS1309で得た値を用いて残留ノイズ低減後の画素値を導出して出力する。
ステップS1305にて、残留ノイズ補正処理を行わないと判定した場合には、残留ノイズ低減部1203は、ステップS1311において重み付き平均値を低減した画素値として出力する。
ステップS1311において、画像処理部1200は全ての画素を処理したかどうかを判定する。全ての画素を処理していないと判定した場合、画像処理部1200は、ステップS1301に戻り、処理していると判定した場合、処理を終了する。
本実施形態によれば、着目画素のテクスチャを示す情報を用いることにより、より好適な残留ノイズ処理を着目画素毎に選択して実行することが可能となる。
なお、第4実施形態ではその他の領域と判定される着目画素に対しては重み付き平均値を出力する例を説明したが、画素値一定領域だけでなくその他の領域と判定された着目画素に対しても画素値一定領域と共通の補正処理を行ってもよい。
<その他の実施形態>
本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ(又はCPUやMPU)がコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。

Claims (14)

  1. 着目画素に対する複数の参照画素の画素値の重み付き平均値と、前記着目画素の画素値と、前記着目画素の真の画素値と、の間に成り立っている相関関係に基づいて前記着目画素に対する新たな値を導出する導出手段を備えることを特徴とする画像処理装置。
  2. 前記重み付き平均値は、着目画素の画素値に応じた重みによる重み付き平均によって得られることを特徴とする請求項1に記載の画像処理装置。
  3. 前記導出手段は、さらに前記着目画素が有するノイズの特性に基づいて前記新たな画素値を導出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記ノイズの特性は前記ノイズの標準偏差であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記相関関係は、前記重み付き平均値を算出するためのノイズ低減パラメータと、画素値分布モデルパラメータとに応じて特定されることを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
  6. 前記導出手段は、前記相関関係に基づいて予め作成されたテーブルを参照する事によって前記新しい値を導出する事を特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
  7. 前記導出手段は、前記着目画素の画素値と前記重み付き平均値との前記重み付き平均値側の外分点を前記新たな値として導出することを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
  8. 画素値が一定の領域に前記着目画素が属するかを判定する判定手段と、
    前記判定手段によって画素値が一定の領域に前記着目画素が属すると判定された場合、前記導出手段によって導出された前記新しい値を前記着目画素の値として出力し、
    前記判定手段によって画素値が一定の領域に前記着目画素が属すると判定されない場合、前記重み付き平均値の値を前記着目画素の値として出力する出力手段と
    をさらに備えることを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。
  9. 着目画素の周辺のテクスチャを識別するテクスチャ判定情報を取得する取得手段をさらに備え、
    前記導出手段は、前記取得手段で取得したテクスチャ判定情報に基づいて前記新しい値を導出するかを決定することを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。
  10. 前記取得手段で取得したテクスチャ判定情報に基づいて、前記着目画素の値を、前記新しい値として出力するか、前記重み付き平均値の値として出力するかを判定する判定手段をさらに備えることを特徴とする請求項9に記載の画像処理装置。
  11. 画像データにおいて画素ごとにノイズを低減する画像処理装置であって、
    前記画像データにおける着目画素と該着目画素近傍の参照画素との類似度に基づいて前記参照画素に対する重みを決定する決定手段と、
    前記重みに基づいて、前記参照画素の画素値を重み付き平均により前記着目画素に対応する重み付き平均値を算出する算出手段と、
    前記着目画素の画素値と前記重み付き平均値との相関関係に基づいて、前記着目画素の出力値を導出する導出手段とを有することを特徴とする画像処理装置。
  12. 着目画素に対する複数の参照画素の画素値の重み付き平均値と、前記着目画素の画素値と、前記着目画素の真の画素値と、の間に成り立っている相関関係に基づいて前記着目画素に対する新たな値を導出する導出ステップを備えることを特徴とする画像処理方法。
  13. 画像データにおいて画素ごとにノイズを低減する画像処理方法であって、
    前記画像データにおける着目画素と該着目画素近傍の参照画素との類似度に基づいて前記参照画素に対する重みを決定する決定ステップと、
    前記重みに基づいて、前記参照画素の画素値を重み付き平均により前記着目画素に対応する重み付き平均値を算出する算出ステップと、
    前記着目画素の画素値と前記重み付き平均値との相関関係に基づいて、前記着目画素の出力値を導出する導出ステップとを有することを特徴とする画像処理方法。
  14. コンピュータを、請求項1から11のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
JP2013037743A 2013-02-27 2013-02-27 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP6161326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013037743A JP6161326B2 (ja) 2013-02-27 2013-02-27 画像処理装置、画像処理方法、及びプログラム
US14/183,730 US9569682B2 (en) 2013-02-27 2014-02-19 Image processing apparatus and method to perform noise reduction on an image and determine an output pixel value

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013037743A JP6161326B2 (ja) 2013-02-27 2013-02-27 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014165874A true JP2014165874A (ja) 2014-09-08
JP6161326B2 JP6161326B2 (ja) 2017-07-12

Family

ID=51387777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013037743A Expired - Fee Related JP6161326B2 (ja) 2013-02-27 2013-02-27 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US9569682B2 (ja)
JP (1) JP6161326B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114233A (ja) * 2017-01-20 2018-07-26 キヤノンメディカルシステムズ株式会社 画像処理装置及びx線診断装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362333B2 (ja) 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6625165B2 (ja) 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9262810B1 (en) * 2014-09-03 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Image denoising using a library of functions
US9911060B2 (en) * 2015-03-03 2018-03-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for reducing color noise in an image
JP6199461B1 (ja) * 2016-09-13 2017-09-20 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
CN113129221B (zh) * 2019-12-31 2023-08-18 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备及存储介质
CN111709894B (zh) * 2020-06-16 2022-09-02 展讯通信(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JPH11308448A (ja) * 1998-04-24 1999-11-05 Canon Inc 画像処理装置及び画像処理方法
JP2005176388A (ja) * 2003-12-11 2005-06-30 Samsung Electronics Co Ltd 動画データのノイズ除去方法
JP2011035776A (ja) * 2009-08-04 2011-02-17 Sanyo Electric Co Ltd 映像情報処理装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6191794B1 (en) * 1998-04-08 2001-02-20 Nvidia Corporation Method and apparatus for scaling texture maps for graphical images
FR2870071B1 (fr) 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
WO2006075546A1 (ja) * 2005-01-11 2006-07-20 Hitachi Medical Corporation X線撮影装置
JP5220677B2 (ja) 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JPH11308448A (ja) * 1998-04-24 1999-11-05 Canon Inc 画像処理装置及び画像処理方法
JP2005176388A (ja) * 2003-12-11 2005-06-30 Samsung Electronics Co Ltd 動画データのノイズ除去方法
JP2011035776A (ja) * 2009-08-04 2011-02-17 Sanyo Electric Co Ltd 映像情報処理装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114233A (ja) * 2017-01-20 2018-07-26 キヤノンメディカルシステムズ株式会社 画像処理装置及びx線診断装置

Also Published As

Publication number Publication date
US9569682B2 (en) 2017-02-14
JP6161326B2 (ja) 2017-07-12
US20140240556A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
JP6161326B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Zhang et al. High-quality exposure correction of underexposed photos
Zhao et al. Multisensor image fusion and enhancement in spectral total variation domain
Guo et al. LIME: Low-light image enhancement via illumination map estimation
Fu et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation
JP7030493B2 (ja) 画像処理装置、画像処理方法およびプログラム
Shen et al. Adaptive norm selection for regularized image restoration and super-resolution
JP5895703B2 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
Bindilatti et al. A nonlocal poisson denoising algorithm based on stochastic distances
JP2014179971A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4692856B2 (ja) モデルベースの異方性拡散の方法および装置
JP6663285B2 (ja) 画像生成方法及び画像生成システム
Deng et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution
US20220076385A1 (en) Methods and systems for denoising media using contextual information of the media
CN108665421B (zh) 人脸图像高光分量去除装置和方法、存储介质产品
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
WO2022088976A1 (zh) 图像处理方法及装置
Choi et al. Resolution improvement of infrared images using visible image information
CN113763535A (zh) 一种特征潜码提取方法、计算机设备及存储介质
JP6645442B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Shi et al. A non-divergence diffusion equation for removing impulse noise and mixed Gaussian impulse noise
US11803950B2 (en) Universal style transfer using multi-scale feature transform and user controls
CN115511744A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111091504B (zh) 图像偏差场矫正方法、计算机设备和存储介质
JP6780073B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R151 Written notification of patent or utility model registration

Ref document number: 6161326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees