JP2021071906A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】 欠陥画素等が含まれている画像に対しても、高精度にノイズを低減する。【解決手段】 ノイズ低減処理を行う画像処理装置であって、入力画像における着目画素に対応する着目パッチと、該複数の参照画素それぞれを基準とした複数の画素で構成される参照パッチを設定する設定手段と、前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、類似パッチを含むパッチ集合を生成する生成手段と、前記パッチ集合に含まれる特定画素位置を取得する取得手段と、前記特定画素位置に基づいて前記パッチ集合の事前確率モデルパラメータを算出するパラメータ算出手段と、前記パッチ集合と前記事前確率モデルパラメータとに基づいて、前記パッチ集合のノイズを低減したノイズ低減後パッチを生成するノイズ低減処理手段と、前記ノイズ低減後パッチを合成する合成処理手段と、を備えることを特徴とする。【選択図】 図２

Description

本発明は、画像のノイズを低減する画像処理技術に関するものである。

デジタルカメラなどのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、その結果、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには混入したノイズを低減する必要があり、このノイズを低減する技術が数多く知られている。

非特許文献１では、撮影画像からパッチ集合を生成し、該パッチ集合の各パッチに対してノイズ低減処理を行い、さらにこれらパッチの合成処理を行うことでデノイズされた画像を生成する手法が開示されている。非特許文献１に記載された手法は、ＮＬベイズ法と呼ばれる。ＮＬベイズ法では、エッジやテクスチャを出来るだけぼかさずにノイズを高精度に低減することが可能である。ただし、入力画像に含まれるノイズの特性が画素毎に独立な正規分布であることが前提となっている。

Ａ Ｎｏｎ−ｌｏｃａｌ Ｂａｙｅｓｉａｎ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ａｌｇｏｒｉｔｈｍ， ＳＩＡＭ Ｊｏｕｒｎａｌ ｏｎ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ， ２０１３．

ところで、ＣＭＯＳイメージセンサ等の撮像素子は、製造過程や外部環境、経時劣化等によって、異常なレベルを出力する欠陥画素が生じることがある。欠陥画素を含んだ画像に対してＮＬベイズ法を適用すると、欠陥画素の画素値を被写体の特性とみなして処理することに起因して、ノイズ低減精度が低下する。また、仮に欠陥画素を公知の欠陥画素補正処理によって補正したとしても、処理による影響で画像に含まれるノイズの特性が変動してしまう。したがって、非特許文献１に記載されたようなＮＬベイズ法をデジタル撮像装置で生成された画像にそのまま適用しても、処理において仮定しているノイズ特性と乖離があるため、高精度にノイズを低減することができない。そこで本発明は、デジタル撮像装置で生成された欠陥画素等が含まれている画像に対しても、高精度にノイズを低減することを目的とする。

上記課題を解決するため本願発明はノイズ低減処理を行う画像処理装置であって、入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定手段と、前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成する生成手段と、前記パッチ集合に含まれる特定画素位置を取得する取得手段と、前記特定画素位置に基づいて前記パッチ集合の事前確率モデルパラメータを算出するパラメータ算出手段と、前記パッチ集合と前記事前確率モデルパラメータとに基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目パッチのノイズを低減したノイズ低減後パッチを生成するノイズ低減処理手段と、前記ノイズ低減後パッチに基づいて前記入力画像のノイズを低減した画像を合成する合成処理手段と、を備えることを特徴とする。

本発明により、デジタル撮像装置で生成された欠陥画素等が含まれている画像に対しても、高精度にノイズを低減することが可能になる。

画像処理装置１００のハードウェア構成例を示すブロック図。 画像処理装置１００の機能構成例を示すブロック図。 生成部２０３の機能構成例を示すブロック図。 センサのノイズ特性を一次近似でモデル化した模式図。 パラメータ算出部の機能構成例を示すブロック図。 パッチをベクトルで表現した模式図。 アグリゲーション処理を説明した模式図。 画像処理装置１００が行うノイズ低減処理のフローチャート。 画像処理装置９００の機能構成例を示すブロック図。 第二パラメータ算出部の機能構成例を示すブロック図。 ノイズ低減処理の流れを図解した模式図。 画像処理装置９００が行うノイズ低減処理のフローチャート。 ステップＳ１２１７における処理の詳細を示すフローチャート。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
図１は、本実施形態に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施形態では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを出力する態様について説明するものとする。

（入力画像データと特定画素）
まず、本発形態の前提となる入力画像について説明する。デジタル撮像装置の撮像素子（センサ）では、ノイズ量が入射した光量に依存するノイズが発生する。撮像素子において発生するノイズは、輝度依存性があると言い換えることもできる。これは、物理的な光子の揺らぎに起因するものである。したがって、明るさが一様な被写体を撮影しない限り、センサで撮像された画像には画素毎に異なる量のノイズが付加されていることになる。また、撮像素子における製造過程や外部環境、経時劣化等による結果によって、正常に被写体の光情報をデジタル信号値に変換できなかった画素が存在する。このような画素は欠陥画素やキズ画素と呼ばれる。欠陥画素では、被写体の撮像によって得られる値としては異常なレベルの信号値（画素値）となっている。より具体的には、白キズと呼ばれる、撮像によって得られるべき本来よりも異常に明るい画素値の画素や、黒キズと呼ばれる、本来よりも異常に暗い画素値の画素等がある。このような欠陥画素は主に製造過程で発生するが、出荷後にも宇宙線、静電気破壊等の外部環境や経時変化による影響で増加してしまう。また、近年では、撮像素子における撮像領域内に、撮像目的以外の特定用途向け画素を備えたものがある。特定用途向け画素は例えば、位相差を検出するための像面位相差画素や、距離を測定するための測距用画素等がある。このような特定用途向け画素は、撮像によって得られる光情報を電気信号に変換する画素ではなく、意図的に画像データを生成するための画素値を取得できない。本実施形態では、欠陥画素や特定用途向け画素を総称として特定画素と呼ぶこととする。本実施形態における入力画像データは、以上のような画素毎に異なる量のノイズが付加され、かつ特定画素を含むものである。

（ＮＬベイズ法の処理の概要）
続いて、本実施形態の前提となる、ＮＬベイズ法によるノイズ低減処理について確認しておく。まず、入力画像における複数の画素を着目画素として設定し、その着目画素毎にパッチ集合を生成する。次に、生成したパッチ集合に含まれる各パッチのノイズを低減する。まず、パッチの各画素の平均値と、各パッチの任意の２つの画素値の積をパッチ集合の全てのパッチについて和をとり計算する共分散行列とを算出する。この平均値と共分散行列により、ノイズのない理想的な画像の画素値が従う事前確率をモデル化（仮定）する。次に、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定する。すなわち、モデル化された事前確率と、尤度に相当する予め測定された画像のノイズ分散（カメラの撮像センサに依拠）とを上記ベイズの定理に当て嵌め、事後確率を最大化するように各パッチの画素値を決定する。これにより、ノイズが低減されたパッチが得られる。そして、ノイズ低減後のパッチそれぞれを合成して、ノイズが低減された出力画像を生成する。このパッチ合成処理はアグリゲーションなどと呼ばれる。具体的には、ノイズ低減後の各パッチを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均化、あるいは類似度に基づいた加重平均を行う。以上が、ＮＬベイズ法によるノイズ低減処理の概要である。

本実施形態では、上述したＮＬベイズ法によるノイズ低減処理を入力画像のノイズが一定でない形に対応させた修正ＮＬベイズ法に基づいて、特定画素によるノイズ低減精度の低下を抑制する基本的な様態について説明する。

（用語の定義）
ここで、本実施形態における用語について確認しておく。「パッチ」は、入力画像の一部に相当する矩形の領域を意味し、複数の画素で構成される。入力画像内の画素のうち着目画素を基準とする複数の画素で構成されたパッチを、以下では「着目パッチ」と呼ぶこととする。そして着目パッチについてノイズ低減を行うときに参照する、着目パッチの周辺に設定するパッチを「参照パッチ」と呼ぶこととする。参照パッチは参照画素を基準とする複数の画素で構成されたパッチである。１つの着目画素に対して複数の参照画素が設定されるため、１つの着目画素あたり複数の参照パッチが存在することになる。前述したパッチ集合は、着目パッチと、複数の参照パッチのうち、着目パッチとの類似度が高い参照パッチとの集合である。

（輝度依存性のあるノイズに対応した修正ＮＬベイズ法）
まず、入力画像のノイズが一定でない場合に対応したＮＬベイズ法の理論式とその理論式に基づいて算出したアルゴリズムについて説明する。以下の式（１）に示すように、撮影された画像の各画素は、ノイズのない本来の画素値に標準偏差σのノイズが加算されていると考える。

このとき、ｘという画素値があるときに撮影された画素値

を得る条件付き確率密度関数は以下の式（２）のように表される。

次に、Ｎ次元（ｋ×ｋ）のパッチで考える。確率変数ｘ_ｉ（ｉ＝１，…，Ｎ）を考え、この確率変数は全て独立にガウス分布に従うとする。Ｎ個の確率変数は全て独立なので、その同時分布ｐ（ｘ_１，…，ｘ_Ｎ）＝ｐ（ｘ）は、以下の式（３）、（４）のように表される。

したがって、ノイズのないパッチＰがあるときに撮影されたパッチ

を得る条件付き確率密度関数は次の式（５）のようになる。

この時、ベイズの定理より、撮影されたノイズのあるパッチが

の場合に、ノイズの無いパッチがＰである事後確率

は、以下の式（６）となる。

ＮＬベイズでは、事後確率である

を最大化することでノイズの無いパッチを推定する。パッチＰの類似パッチＱが多次元正規分布で表されると仮定し、以下の式（７）に示す如く事前確率Ｐ（Ｑ）を式（６）のＰ（Ｐ）として与える。

ここで、αは正規化定数である。式（５）〜（７）から

を最大化することと等価の問題を次の式（８）のように導ける。

また、

と

をそれぞれ、以下の式（９）〜（１０）のように仮定する。

式（８）は以下の式（１１）に示すようにＰで微分すると０となる。

したがって、撮影されたノイズのある画像のパッチからノイズの無いパッチは、以下の式（１４）のように求められる。これを１ｓｔＳＴＥＰの結果と呼ぶ。

さらに、１ｓｔＳＴＥＰの結果に基づいて、以下のように、より高精度に共分散行列

類似パッチ集合

の平均ベクトルを算出し直す。

すると、２ｎｄＳＴＥＰでは以下の式（１６）でより高精度なノイズ低減結果を得られる。

（画像処理装置の機能構成例）
次に、本実施形態に係る画像処理装置１００の機能構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は適宜変形／変更が可能である。例えば、１つの機能部を機能別に複数の機能部に分割しても良いし、２つ以上の機能部を１つの機能部に統合しても良い。また、図２の構成は、２以上の装置によって構成しても良い。その場合、各装置は回路や有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、以下に画像処理装置が行うものとして後述する各処理を実現する。

以下では、図２，３，５，９，１０に示す機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、該機能部の機能が実現される。なお、図２，３，５，９，１０に示す機能部は、専用の画像処理回路などハードウェアで実装しても良い。

設定部２０１には、入力画像の画像データが入力される。入力画像は、ＲＡＷ画像でもよいし、グレースケールの画像でもよい。あるいは、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３ｃｈの画像からなるカラー画像やＲＧＧＢの４ｃｈのカラー画像でも良い。なお、本実施形態においては、１ｃｈの画像であることを前提に説明を行うが、これに限るものではない。設定部２０１は、入力画像に対して任意の画素を指定する座標値を生成して、着目画素と複数の参照画素を設定する。そして、設定部２０１は、着目座標位置における画素である着目画素基準とした複数の画素からなるパッチを着目パッチとして設定する。さらにパッチ設定部２０１は、参照座標位置ごとに、該参照座標位置における画素である参照画素を基準とした複数の画素からなるパッチを参照パッチとして設定する。

生成部２０２は、複数の参照パッチから着目パッチとの類似度の高い参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含むパッチ集合である類似パッチ集合を生成する。

特定画素位置取得部２０３は、処理対象とする画像における特定画素の位置を示す特定画素位置情報を取得する。ここで特定画素情報取得部２０３は、少なくとも類似パッチ集合を構成する各パッチに含まれる特定画素を検出可能な範囲の特定画素情報を取得すればよい。特定画素位置取得部２０３は、撮像装置１０５の生産時に予め調べ、保持しておいた特定画素位置情報を読み込んでもよいし、公知の欠陥画素検出技術を用いて検出することによって特定画素位置情報を取得してもよい。出荷後に増加する欠陥画素に対応するため、当然のことながら、事前に分かっている特定画素位置情報と欠陥画素検出技術を用いて検出した特定画素位置情報を組み合わせても取得してもよい。

パラメータ算出部２０４は、まず着目パッチ（類似パッチ集合）のノイズ量パラメータを推定する。そして、パラメータ算出部２０４は、類似パッチ集合と推定したノイズ量パラメータとに基づいて、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率を推定する。ベイズの定理に基づいてノイズ低減処理を行うＮＬベイズ法においては、推定した事前確率の精度がノイズ低減性能に非常に大きな影響を与える。入力画像に特定画素が含まれている場合、特定画素の影響を受けて事前確率の精度が低下してしまい、本来のノイズ低減性能が発揮できないという課題がある。そこで、本実施形態では特定画素の影響による推定精度の低下を抑制できる方法に基づいて事前確率を算出する。なお、ＮＬベイズ法では、類似パッチ集合（類似パッチ群）が多次元正規分布で表せるものと仮定し、事前確率モデルとして多次元正規分布を用いている。したがって、パラメータ算出部２０４は、多次元正規分布を表すパラメータである平均ベクトルと分散共分散行列を事前確率パラメータ（事前確率モデルパラメータ）として算出する。以下では、事前確率パラメータ（事前確率モデルパラメータ）を事前確率として説明する場合がある。

ノイズ低減処理部２０５は、パラメータ算出部２０４で算出した事前確率パラメータに基づいて、類似パッチ集合を構成する各パッチのノイズを低減する。

合成処理部２０６は、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。

（生成部２０２の機能構成例）
生成部２０２の機能構成例について、図３のブロック図を用いて説明する。

算出部３０１は、設定部２０２で設定された各参照パッチに対して、着目パッチとの類似度を算出する。具体的には、Ｉを着目パッチ、Ｔを参照パッチとしたときに、例えば以下の式（１７）、（１８）を用いて算出することができる。

式（１７）では、着目パッチＩと参照パッチＴとの類似度として差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求めている。また、式（１８）では、着目パッチＩと参照パッチＴとの類似度として差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を求めている。式（１７）、式（１８）では、パッチ（着目パッチＩ、参照パッチＴ）のサイズをＭ画素×Ｍ画素としている。また、式（１７）、式（１８）では、着目パッチＩ内の座標位置（ｉ，ｊ）における画素の画素値をＩ（ｉ，ｊ）、参照パッチＴ内の座標位置（ｉ，ｊ）における画素の画素値をＴ（ｉ，ｊ）としている。式（１７）や式（１８）で算出した類似度は、値（Ｒ_ＳＡＤ，Ｒ_ＳＳＤ）が小さいほど着目パッチと参照パッチとの類似度が高いことを意味している。なお、類似度を求めるための方法は式（１７）や式（１８）に限るものではなく、他の手法を用いてもよい。

選別部３０２は、パッチ設定部２０２が設定した参照パッチのうち着目パッチと類似する参照パッチ（類似パッチ）を、算出部３０１で算出した類似度に基づいて選別（特定）する。そして選別部３０２は、着目パッチと該選別した参照パッチとを含むパッチ集合（類似パッチ集合）を生成する。選別部３０２は、着目パッチとの類似度が高い順に上位Ｎ（Ｎの定義は後述する）枚の参照パッチを選別しても良いし、式（１７）又は式（１８）で算出された類似度と規定値とを比較して類似度が規定値以上となる参照パッチを選別しても良い。このように、着目パッチと類似する参照パッチを選別する方法は特定の方法に限らない。

ただし、類似パッチ集合を構成するパッチの数は事前確率をモデル化（仮定）する上で大きな影響を与える。例えば、着目パッチとの類似度が低い参照パッチを含む類似パッチ集合を生成してしまうと、事前確率の精度の低下に繋がってしまう。一方で、着目パッチとの類似度が高い参照パッチのみを選別して類似パッチ集合を生成する場合、着目パッチとの類似度が高い参照パッチが十分に存在しない場合、パッチの枚数が足りないことに起因してノイズ低減処理が破綻してしまう。そこで本実施形態では、着目パッチとの類似度が高い順に上位Ｎ枚の参照パッチを選別する方式を採用する。ノイズ低減処理が成立し、好適な結果が得られるＮの値を入力画像あるいは入力画像のノイズ量（例えば入力画像の撮影感度）に応じて定めておく。以下では、類似パッチ集合に含まれるパッチの総数をＮとして説明する場合がある。

（ノイズ量パラメータの推定の詳細）
パラメータ算出部２０４によるノイズ量パラメータの推定処理について説明する。デジタル撮像装置の撮像素子（センサ）では、ノイズ量が入射した光量に依存するようなノイズが発生する。センサのノイズモデルは、正確には温度や露光時間にも依存し、光量の二次の項も存在するため、厳密なモデル化及びパラメータの推定は困難である。しかしながら、ほとんどの条件においては、例えば、以下の式（１９）、図４に示すような簡単な一次式近似によって、ノイズ低減処理に用いる上では実用上十分な精度でノイズ量パラメータを推定することが可能である。

ここで、左辺のσ_Ｉ ^２は、入力画像の画素値に対応するノイズ量、ｋとＩ_０は、入力画像を撮像したセンサのノイズ特性を表す。ノイズ特性のパラメータは、ノイズ評価用のチャートを撮影して解析する等の作業（処理）を行うことで、事前に推定しておくものとする。これにより、着目パッチのノイズ量パラメータは、類似パッチ集合に含まれる各パッチの各画素の画素値と式（１９）に基づいて推定することができる。着目パッチのノイズ量パラメータは、以下の式（２０）で表され、σ_１ ^２、σ_２ ^２、…、σ_ｎ ^２は各パッチを構成する各画素のノイズ分散を示している。なお、Σは対角行列（対角成分以外が０）となっているが、これはセンサで発生したノイズが画素毎に独立であることを意味する。

（事前確率推定の詳細）
パラメータ算出部２０４の機能構成例について、図５のブロック図を用いて説明する。平均ベクトル算出部５０１は、類似パッチ集合に含まれる各パッチから座標位置（ｘ、ｙ）における画素値を収集し、該収集した画素値の平均値を座標位置（ｘ、ｙ）に対する平均値として算出する。このとき、特定画素の影響を受けないように特定画素の画素値を除外して平均値を算出する。なお、パッチが３画素×３画素のサイズを有し、且つパッチの中心の座標位置を（０，０）とすると、−１≦ｘ、ｙ≦１となる。このように、平均ベクトル算出部５０１は、パッチ上の各座標位置について画素値の平均値を算出する。その結果、例えば、−１≦ｘ、ｙ≦１であるとすると、９（＝３×３）個の平均値を要素とする１次元ベクトル（平均ベクトル）が得られる。ここで、この先の行列演算のため、図６に示すようにパッチは１次元ベクトルとして表現して扱うものとする。

分散共分散行列算出部５０２は、類似パッチ集合に基づいて分散共分散行列を算出する。このとき、特定画素の影響を受けないように、分散は計算対象となる座標位置の画素群において、特定画素であるパッチの情報を除外して算出する。また、共分散行列は計算対象となる二組の座標位置の画素群において、片方でも特定画素であるパッチの情報は除外して算出する。特定画素の影響を受けないように対策した平均ベクトル、分散共分散行列は、それぞれ以下の式（２１）、（２２）に従って算出することができる。

は着目パッチ、

は類似パッチ集合を構成するパッチ（着目パッチ、類似パッチ）を示す。また、

は類似パッチ集合を構成する各パッチの列ベクトルを示す。また、

は、

を構成する各画素の特定画素情報を対角成分に持つ対角行列である。具体的には、対角成分について、特定画素であるとき０、特定画素ではない通常の画素のとき１の値を持ち、対角成分以外は全て０となるような行列である。なお、ここではパッチのサイズをｋ画素×ｋ画素として考えているため、対角成分の要素数はｋ^２となる。

は特定画素の影響を受けないように対策した類似パッチ集合の平均列ベクトルである。また、

は特定画素の影響を受けないように対策した類似パッチ集合の分散共分散行列である。Ｘは類似パッチ集合における、ある座標位置の画素群を表している。したがって、Ｘの要素数は類似パッチの枚数Ｎとなる。また、パッチのサイズをｋ画素×ｋ画素として考えているため、Ｘはパッチを構成する画素数分であるｋ^２個存在する。

はある座標位置についての画素群の特定画素情報を対角成分に持つ対角行列である。具体的には、対角成分について、特定画素であるとき０、特定画素ではない通常の画素のとき１の値を持ち、対角成分以外は全て０となるような行列である。なお、ここでは類似パッチ数をＮとして考えているため、対角成分の要素数はＮとなる。また、Ｖ［Ｘ］、Ｃｏｖ［Ｘ，Ｙ］はそれぞれ特定画素の影響を受けないように対策して算出する分散、共分散の算出式を表している。

推定部５０３は、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率モデルのパラメータを推定する。ＮＬベイズ法では、類似パッチ集合（類似パッチ群）が多次元正規分布で表せるものと仮定し、事前確率モデルとして多次元正規分布を用いている。したがって、多次元正規分布を表すパラメータである平均ベクトルと分散共分散行列を求めた。このとき、事前確率モデルのパラメータは、ノイズのある入力画像から推定しなくてはならないことに注意が必要である。すなわち、推定したい事前確率モデルのパラメータは、

であり、

ではない。そこで、入力画像から算出可能な

から修正ＮＬベイズ法の理論で示した式（９）、（１０）の仮定を用いて、

を推定する。これにより、ノイズのない理想的な画素値が従う着目パッチ（とその類似パッチ）の多次元正規分布を表すパラメータが推定できる。

（画像パッチノイズ低減処理の詳細）
以下、ノイズ低減処理部２０５が行う処理について説明する。ＮＬベイズ法では、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定することで各パッチのノイズ低減結果を得る。具体的には、式（２１）、（２２）で得られたパラメータに基づいて、式（２３）の行列演算を行えばよい。ここで、Ｑ^１ｓｔはノイズ低減後のパッチを表し、類似パッチ集合を構成する各パッチ

に対して求まる。

なお、式（２３）で算出されたノイズ低減後のパッチＱ^１ｓｔは１ｓｔＳＴＥＰの結果であり、１ｓｔＳＴＥＰの結果を用いて事前確率モデルのパラメータを推定し直すことで、さらにノイズ低減精度を向上させた２ｎｄＳＴＥＰの結果を得ることも可能である。なおこの形態については実施形態２で説明する。

（画像合成処理の詳細）
合成処理部２０６は上記の通り、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。具体的には、合成処理部２０６は、ノイズ低減後の各パッチを元のパッチ位置に戻し、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の平均値を適用する。このときの様子を図７に示した。なお、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の重み付き平均値を適用しても良く、重みには例えば類似度を用いることが考えられる。以上のようにして、ノイズが低減された画像が得られる。

（ノイズ低減処理フロー）
次に、本実施形態に係る画像処理装置１００が行う、入力画像に対するノイズ低減処理について、図８のフローチャートに従って説明する。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ８０１では、ＣＰＵ１０１は、入力画像の各画素に対応するカウンタを０に初期化する。このカウンタは、アグリゲーション時に複数のパッチが重なるため、各画素に何回（何枚）のパッチが積み重ねられたかを記憶（カウント）するために用いる。

Ｓ８０２では、ＣＰＵ１０１は、撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から入力画像をＲＡＭ１０２に取得する。そしてＣＰＵ１０１は、該入力画像における任意の画素（着目画素）の座標位置（着目座標位置）と、該着目画素に対応する複数の参照画素のそれぞれの座標位置（参照座標位置）と、を設定する。参照画素は通常、着目画素の近傍の画素を用いる。具体的には、着目画素を中心とした周囲の規定サイズの探索範囲（矩形領域）に含まれる画素を参照画素とする。このとき、計算量の増大も招くが、一般的に探索範囲はできるだけ大きい方が性能は向上する。その理由は、参照画素を増やすことによって、着目パッチに対する類似度の高い類似パッチがより多く集められることになるからである。ここでは、入力画像において左から右方向へ、上方のラインから下方のラインへラスタ順に、着目画素が設定されるものとする。また、探索範囲は、着目画素を中心として３１画素×３１画素の範囲とする。

Ｓ８０３では、ＣＰＵ１０１は、着目座標位置における画素である着目画素を含むパッチを着目パッチとして設定する。さらにＣＰＵ１０１は、参照座標位置ごとに、該参照座標位置における画素である参照画素を含むパッチを参照パッチとして設定する。なお、着目パッチや参照パッチのサイズ（パッチサイズ）は入力画像のノイズ量や被写体領域によって最適なサイズが異なり、例えば３画素×３画素、５画素×５画素、７画素×７画素などのサイズが用いられる。ここでは、入力画像を撮像したセンサのノイズ特性に基づいてパッチサイズを設定しておくものとする。

Ｓ８０４では、ＣＰＵ１０１は、Ｓ８０３で設定された複数の参照パッチ（参照画素ごとに設定した参照パッチ）から未選択（未処理）の参照パッチを１つ、選択参照パッチとして選択する。そしてＣＰＵ１０１は、着目パッチと選択参照パッチとの類似度を算出する。

Ｓ８０５では、ＣＰＵ１０１は、Ｓ８０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っているか否かを判断する。この判断の結果、Ｓ８０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っている場合には、処理はＳ８０４に戻る。一方、Ｓ８０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っていない場合には、処理はＳ８０６に進む。

Ｓ８０６では、ＣＰＵ１０１は、複数の参照パッチの中から着目パッチとの類似度が高い上位Ｎ枚の参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含む類似パッチ集合を生成する。

Ｓ８０７では、ＣＰＵ１０１は、Ｓ８０６で生成した類似パッチ集合に含まれる特定画素の位置を示す特定画素位置情報を取得する。特定画素位置情報は、撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から読み込んでもよいし、入力画像に対して公知の欠陥画素検出技術を用いて検出することによって取得してもよい。当然のことながら、読み込んだ特定画素位置情報と欠陥画素検出技術を用いて検出した特定画素位置情報を組み合わせても取得することも考えられる。

Ｓ８０８では、ＣＰＵ１０１は、Ｓ８０７で取得した特定画素位置情報に基づいて、Ｓ８０６で生成した類似パッチ集合の平均ベクトルを算出する。上記の通り、平均ベクトルの算出は式（２１）に基づいて行う。

Ｓ８０９では、ＣＰＵ１０１は、Ｓ８０７で取得した特定画素位置情報に基づいて、Ｓ８０６で生成した類似パッチ集合の分散共分散行列を算出する。上記の通り、分散共分散行列の算出は式（２２）に基づいて行う。

Ｓ８１０では、ＣＰＵ１０１は、着目パッチ（類似パッチ集合）を構成する各画素のノイズ量を推定する。具体的には上記の通り、着目パッチの各画素の画素値を式（１９）に代入してノイズ分散を算出し、ノイズ量パラメータとして式（２０）の形で表す。

Ｓ８１１では、ＣＰＵ１０１は、Ｓ８０８で算出した平均ベクトル、Ｓ８０９で算出し分散共分散行列、Ｓ８１０で算出しノイズ量パラメータ、に基づいて事前確率モデルを推定する。ここで、ノイズのないときに類似パッチ集合（類似パッチ群）が多次元正規分布でモデル化できると仮定している。したがって、ノイズのある入力画像に基づいて算出された平均ベクトル、分散共分散行列より、式（９）、（１０）の仮定を用いて、ノイズのないときの平均ベクトルと分散共分散行列を推定する。

Ｓ８１２では、ＣＰＵ１０１は、類似パッチ集合に含まれているパッチの中から未選択のパッチを１つ選択パッチとして選択する。そしてＣＰＵ１０１は、選択パッチに対して、式（２３）の行列演算に基づいてノイズを低減するノイズ低減処理を行う。

Ｓ８１３では、ＣＰＵ１０１は、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択したか否かを判断する。この判断の結果、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択した場合には、処理はＳ８１４に進む。一方、類似パッチ集合に含まれているパッチのうち選択パッチとして選択していないパッチが残っている場合には、処理はＳ８１２に戻る。

Ｓ８１４では、ＣＰＵ１０１は、Ｓ８１２においてノイズ低減された全てのパッチをＲＡＭ１０２やＨＤＤ１０３に保持し、入力画像における各パッチの画素位置に対応するカウンタを更新する。つまり、入力画像の各画素について、該画素に重なるパッチの数をカウントして該画素のカウンタの値に累積する。

Ｓ８１５では、ＣＰＵ１０１は、Ｓ８０２で入力画像の全ての画素を着目画素として設定したか否かを判断する。この判断の結果、Ｓ８０２で入力画像の全ての画素を着目画素として設定した場合には、処理はＳ８１６に進み、入力画像において未だ着目画素として設定してない画素が残っている場合には、処理はＳ８０２に戻る。

なお、このとき必ずしも入力画像の全ての画素を着目画素として設定する必要はなく、例えば類似パッチ集合として一度でも使用されたパッチは着目パッチとしないように設定してもよい。このようにすることで、一般的なケースにおいて、ノイズ低減効果にはそれほど影響を与えずに、処理を大幅に高速化することができる。

Ｓ８１６では、ＣＰＵ１０１は、Ｓ８１４でＲＡＭ１０２やＨＤＤ１０３に保持している全てのノイズ低減された類似パッチ集合とカウンタに基づいてアグリゲーションを行う。そしてＣＰＵ１０１は、上記の処理によって得られるノイズ低減後画像を出力する。ノイズ低減後画像の出力先は特定の出力先に限らず、ＨＤＤ１０３、外部メモリ１０７、汎用Ｉ／Ｆ１０４に接続される他の機器（例えばネットワークを介して画像処理装置１００と接続される外部機器）であっても良い。以上説明した一連のノイズ低減処理の大まかな流れを図１２に示した。

このように本実施形態によれば、デジタル撮像装置による撮像画像など、欠陥画素や撮像目的以外の特定用途向け画素を含んだ画像であっても、事前確率モデルのパラメータの算出精度の低下を抑制できる。その結果、該画像におけるノイズを高精度に低減することが可能になる。

［実施形態２］
実施形態１では修正ＮＬベイズ法において、特定画素を除外して事前確率モデルのパラメータを算出することにより、入力画像に特定画素が含まれていても高精度にノイズを低減することができる基本的な様態について示した。次に、事前確率モデルのパラメータを算出する際に、特定画素を除外しても算出に用いるデータ数に違いが生じないように対策した様態について、実施形態２として説明する。実施形態２は、実施形態１の構成に２ｎｄＳＴＥＰを加え、ノイズ低減処理後に欠陥画素補正処理を行うことで、さらにノイズ低減性能を向上させた構成である。なお、実施形態１と共通する部分は説明を省略し、以下では差異点を中心に説明するものとする。

実施形態１で示した修正ＮＬベイズ法により、特定画素が含まれている入力画像に対しても高精度にノイズを低減することが可能になる。しかし、事前確率モデルパラメータを構成する各統計量の算出に使用できるデータ数にバラつきが生じてしまうという課題がある。また、それ以外にも、実施形態１で示した方法では、欠陥画素等の特定画素が前段の処理で補正されたデータを入力画像として考えているため、ＮＬベイズ法の本来の理想的なノイズ低減性能が発揮できないという課題がある。その理由は、前段の補正処理の影響でノイズが画素毎に独立であることを仮定しているＮＬベイズの理論と入力画像のノイズの特性が乖離してしまうからである。そこで、以下では、特定画素を除外しても各統計量の算出に規定のデータ数を使用可能な事前確率モデルパラメータの算出方法を示す。また併せて、欠陥画素補正を行わずにＮＬベイズ法を実施し、ノイズ低減処理後に欠陥画素補正を行うことによって、さらに高精度にノイズ低減することを可能にする方法を示す。

（画像処理装置の機能構成例）
本実施形態に係る画像処理装置９００の機能構成例について、図９のブロック図を用いて説明する。図９に示した構成において、図２と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

第二設定部９０１は、入力された二枚の画像のそれぞれに対して第１の実施形態と同様に着目画素と参照画素とを設定する。設定部９０１に入力される二枚の画像とは、入力画像と、合成処理部２０６で得られたノイズ低減後の画像（ノイズ低減後画像）であり、設定する着目画素及び参照画素の座標は入力画像とノイズ低減後画像とで共通である。そして、第二設定部９０１は、入力画像およびノイズ低減後画像のそれぞれについて設定した着目画素の座標位置および参照画素の座標位置に基づいて、第１の実施形態と同様に、上記の二枚の画像に対して着目パッチと参照パッチとを設定する。

第二生成部９０２は、ノイズ低減後画像に対応する複数の参照パッチから着目パッチとの類似度の高い参照パッチを選別し、入力画像およびノイズ低減後画像のそれぞれに対して類似パッチ集合を生成する。

第二パラメータ算出部９０３は、入力画像、合成処理部２０６で得られたノイズ低減後画像に基づいて、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う第二事前確率（事前確率の第二パラメータ）を推定する。具体的には、実施形態１で示した通り、多次元正規分布を表すパラメータである平均ベクトルと分散共分散行列を算出する。そして、その際に特定画素の影響による事前確率の推定精度の低下を抑制できる算出方法を用いる。

第二ノイズ低減処理部９０４は、入力画像及びノイズ低減後画像のそれぞれについて生成した類似パッチ集合と第二パラメータとに基づいて、入力画像に対応する類似パッチ集合を構成する各パッチのノイズを低減する。

傷補正処理部９０５は合成処理部２０６で合成されたノイズ低減後画像に含まれる欠陥画素等の特定画素を補正する。特定画素の検出に入力画像を用いることも考えられる。特定画素の補正は公知の欠陥画素補正技術を用いることができる。

（生成部９０２の詳細）
生成部９０２は先ず、ノイズ低減後画像について第１の実施形態と同様にして類似パッチ集合を生成する。次に生成部９０２は、入力画像に対応する類似パッチ集合を同様にして生成するのであるが、その際、ノイズ低減後画像について生成した類似パッチ集合と同じ参照パッチを用いて、入力画像に対応する類似パッチ集合を生成する点が第１の実施形態と異なる。このようにすることで、ノイズのある入力画像ではなく、ノイズ低減後画像で算出した類似度に基づいて、参照パッチをより高精度に選別することが可能となる。

（第二事前確率推定の詳細）
第二パラメータ算出部９０３の機能構成例について、図１０のブロック図を用いて説明する。平均ベクトル算出部１００１は、入力画像及びノイズ低減後画像のそれぞれについて生成した類似パッチ集合に基づいて、特定画素の影響を受けないように特定画素の画素値を除外して平均ベクトルを算出し、これを第二平均ベクトルと呼ぶ。第二平均ベクトルは、以下の式（２４）に基づいて算出することができる。

分散共分散行列算出部１００２は、入力画像及びノイズ低減後のそれぞれについて生成した類似パッチ集合に基づいて、特定画素の影響を受けないように分散共分散行列を算出し、これを第二分散共分散行列と呼ぶ。第二分散共分散行列は、以下の式（２５）に基づいて算出することができる。

Ｐ^１ｓｔは１ｓｔＳＴＥＰ処理後（ノイズ低減後）画像の着目パッチ、Ｓｉｍ（Ｐ^１ｓｔ）を１ｓｔＳＴＥＰ処理後の画像データの類似パッチ集合を構成するパッチ（着目パッチと着目パッチの類似パッチ）である。また、

は、入力画像データの類似パッチ集合を構成する各パッチの列ベクトルである。また、

は、入力画像データの類似パッチ集合の平均列ベクトル、

は類似パッチ集合の分散共分散行列である。ここで、第１の実施形態と異なる点は、分散共分散行列をノイズ低減後画像から生成した類似パッチ集合に基づいて算出している点である。なお、平均ベクトルについては、式（２４）では入力画像から生成した類似パッチ集合に基づいて算出しているが、ノイズ低減後画像から生成してもよい。

なお、式（２４）、（２５）に従って、特定画素位置の画素を除外して第二平均ベクトル、第二分散共分散行列を算出すると、座標位置毎（画素位置毎）に計算するデータ数が異なってしまう。そこで、第二平均ベクトル、第二分散共分散行列を構成する分散、共分散を算出する際に、特定画素位置の画素を除外した画素群の数が全て同じ規定の数になるようにしてもよい。すなわち、規定の類似パッチ数Ｎで構成される類似パッチ集合を予め多く収集しておく。そして、特定画素位置の情報を除外したときに、各統計量の算出に使用できるデータ数が全て同じ規定の数になるように、類似度が高いパッチ情報から優先して使用する。また、当然のことながら、式（２１）、（２２）においても同じ考え方が適用可能である。

推定部１００３は、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率モデルの第二パラメータを推定する。２ｎｄＳＴＥＰにおいては、１ｓｔＳＴＥＰ処理後のノイズの低減された画像を用いて生成した類似パッチ集合に基づいて分散共分散行列を算出することによって、事前確率モデルのパラメータを推定部５０３よりも高精度に推定する。また、式（２６）を仮定して、推定したい事前確率モデルのパラメータは、

であるため、式（２４）、（２５）で算出された

と式（２６）の仮定を用いて推定する。

以上により、ノイズのない理想的な画素値が従う着目パッチ（とその類似パッチ）の多次元正規分布を表すパラメータをより高精度に推定できる。

（第二画像パッチノイズ低減処理の詳細）
第二ノイズ低減処理部９０４は、入力画像データの類似パッチ集合を構成する各パッチのノイズを低減する。具体的には、式（２４）、（２５）、（２６）で得られたパラメータに基づいて、式（２７）の行列演算を行えばよい。ここで、Ｑ^２ｎｄは最終的なノイズ低減後のパッチを表し、入力画像データの類似パッチ集合を構成する各パッチ

に対して求まる。

以上より、特定画素によるノイズ低減効果への影響を抑制して算出した１ｓｔＳＴＥＰの結果を用いて、さらに高精度な事前確率パラメータを推定し直すことができる。このような方法で２ｎｄＳＴＥＰの結果を算出することにより、ノイズ低減性能が向上する。さらに、ノイズ低減処理の前段の処理で欠陥画素補正を行わずに、ノイズ低減処理後に欠陥画素補正を行うと、ノイズ低減性能効果をさらに高められる場合がある。

次に、本実施形態に係る画像処理装置９００が行う、入力画像に対するノイズ低減処理について、図１２のフローチャートに従って説明する。図１２において図８に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

Ｓ１２１７では、ＣＰＵ１０１は、Ｓ８１６で生成されたノイズ低減後画像と入力画像とに基づいてＳＴＥＰ２のノイズ低減処理を実施する。Ｓ１２１７のＳＴＥＰ２のノイズ低減処理の詳細については後述する。

Ｓ１２１８では、ＣＰＵ１０１は、Ｓ１２１７で生成されたノイズ低減後画像に対して、欠陥画素補正処理を実施してノイズ低減後画像に含まれる欠陥画素等の特定画素を補正する。

（Ｓ１２１７のＳＴＥＰ２のノイズ低減処理の詳細）
Ｓ１２１７における処理の詳細について、図１３のフローチャートに従って説明する。Ｓ１３０１では、ＣＰＵ１０１は、入力画像の各画素に対応するカウンタ（第１の実施形態と同様のカウンタ）を０に初期化する。

Ｓ１３０２では、ＣＰＵ１０１は、入力画像およびノイズ低減後画像のそれぞれについて第１の実施形態と同様にして、着目座標位置と参照座標位置とを設定する。上記の通り、着目画素位置と参照画素位置は、ノイズ低減後画像と入力画像とで共通である。

Ｓ１３０３でＣＰＵ１０１は、入力画像およびノイズ低減後画像のそれぞれについて第１の実施形態と同様にして、着目パッチおよび複数の参照パッチを設定する。着目パッチと参照パッチのそれぞれの座標位置は、ノイズ低減後画像と入力画像とで共通である。

Ｓ１３０４では、ＣＰＵ１０１は、入力画像およびノイズ低減後画像のそれぞれについて、次の処理を行う。即ちＣＰＵ１０１は、Ｓ１３０３で設定された複数の参照パッチから未選択（未処理）の参照パッチを１つ、選択参照パッチとして選択し、着目パッチと選択参照パッチとの類似度を算出する。類似度の算出にはノイズ低減後画像のみを用いる。

Ｓ１３０５では、ＣＰＵ１０１は、Ｓ１３０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っているか否かを判断する。この判断の結果、Ｓ１３０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っている場合には、処理はＳ１３０４に戻る。一方、Ｓ１３０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っていない場合には、処理はＳ１３０６に進む。

Ｓ１３０６では、ＣＰＵ１０１は、入力画像およびノイズ低減後画像のそれぞれについて、次の処理を行う。即ちＣＰＵ１０１は、複数の参照パッチの中から着目パッチとの類似度の高い上位Ｎ枚の参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含む類似パッチ集合を生成する。すなわち、ノイズ低減後画像に基づいて選別して類似パッチ集合を生成し、それと同じ座標値のパッチに基づく入力画像の類似パッチ集合を生成する。

Ｓ１３０７では、ＣＰＵ１０１は、Ｓ１３０６で生成した類似パッチ集合に含まれる特定画素の位置を示す特定画素位置情報を取得する。特定画素位置情報は、撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から読み込んでもよいし、入力画像に対して公知の欠陥画素検出技術を用いて検出することによって取得してもよい。当然のことながら、読み込んだ特定画素位置情報と欠陥画素検出技術を用いて検出した特定画素位置情報を組み合わせても取得することも考えられる。

Ｓ１３０８では、ＣＰＵ１０１は、Ｓ１３０７で取得した特定画素位置情報に基づいてＳ１３０６で生成した類似パッチ集合の平均ベクトルを算出する。上記の通り、平均ベクトルの算出は式（２４）に基づいて行う。その際、特定画素位置の情報を除外したときに、各画素位置の画素群のデータ数がＮ個になるように、画素位置毎に類似パッチ数を修正して算出する。

Ｓ１３０９では、ＣＰＵ１０１は、Ｓ１３０７で取得した特定画素位置情報に基づいてＳ１３０６で生成した類似パッチ集合の分散共分散行列を算出する。上記の通り、分散共分散行列の算出は式（２５）に基づいて行う。その際、特定画素位置の情報を除外したときに、分散共分散行列を構成する分散、共分散の算出に利用できる画素群のデータ数が全てＮ個になるように、計算毎に類似パッチ数を修正して算出する。

Ｓ１３１０では、ＣＰＵ１０１は、着目パッチ（類似パッチ集合）を構成する各画素のノイズ量を推定する。具体的には上記の通り、ノイズ低減後画像の着目パッチの各画素の画素値を式（１９）に代入してノイズ分散を算出し、ノイズ量パラメータとして式（２０）の形で表す。なお、式（１９）への代入に使用する画素値はノイズ低減後画像の着目パッチの画素値に限らず、例えばノイズ低減後の類似パッチ集合の平均値でもよい。また、入力画像の画素値を用いても良い。ただし、一般的にはノイズ低減後画像を用いて推定した方がよい。

Ｓ１３１１では、ＣＰＵ１０１は、Ｓ１３８７で求めた平均ベクトル、Ｓ１３０９で求めた分散共分散行列、Ｓ１３１０で求めたノイズ量パラメータ、に基づいて事前確率モデルを推定する。具体的には、式（２６）の仮定を用いて、１ｓｔＳＴＥＰのノイズ低減処理によってノイズを低減したノイズ低減後画像に基づいて算出された平均ベクトル、分散共分散行列をノイズのないときの平均ベクトルと分散共分散行列と考える。

Ｓ１３１２では、ＣＰＵ１０１は、入力画像の類似パッチ集合に含まれているパッチの中から未選択のパッチを１つ選択パッチとして選択する。そしてＣＰＵ１０１は、選択パッチに対して、式（２７）の行列演算に基づいてノイズを低減するノイズ低減処理を行う。

Ｓ１３１３では、ＣＰＵ１０１は、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択したか否かを判断する。この判断の結果、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択した場合には、処理はＳ１３１４に進む。一方、類似パッチ集合に含まれているパッチのうち選択パッチとして選択していないパッチが残っている場合には、処理はＳ１３１２に戻る。

Ｓ１３１４では、ＣＰＵ１０１は、ノイズ低減された全てのパッチ（入力画像）をＲＡＭ１０２やＨＤＤ１０３に保持し、入力画像における各パッチの画素位置に対応するカウンタを更新する。つまり、入力画像の各画素について、該画素に重なるパッチの数をカウントして該画素のカウンタの値に累積する。

Ｓ１３１５では、ＣＰＵ１０１は、Ｓ１３０２で入力画像の全ての画素を着目画素として設定したか否かを判断する。この判断の結果、Ｓ１３０２で入力画像の全ての画素を着目画素として設定した場合には、処理はＳ１３１６に進み、入力画像において未だ着目画素として設定してない画素が残っている場合には、処理はＳ１３０２に戻る。なお、このとき必ずしも入力画像の全ての画素を着目画素として設定する必要はなく、例えば類似パッチ集合として一度でも使用されたパッチは着目パッチとしないように設定してもよい。このようにすることで、一般的なケースにおいて、ノイズ低減効果にはそれほど影響を与えずに、処理を大幅に高速化することができる。

Ｓ１３１６では、ＣＰＵ１０１は、Ｓ１３１３でＲＡＭ１０２やＨＤＤ１０３に保持している全てのノイズ低減された類似パッチ集合（入力画像）とカウンタに基づいてアグリゲーションを行う。そしてＣＰＵ１０１は、上記の処理によって得られるノイズ低減後画像（ＳＴＥＰ２のノイズ低減後画像）を出力する。第１の実施形態と同様、ＳＴＥＰ２のノイズ低減後画像の出力先は特定の出力先に限らない。

このように、本実施形態によれば、事前確率モデルのパラメータを構成する各統計量を算出する際に、特定画素を除外しても全て規定のデータ数を使用可能となり、算出に用いるデータ数のバラつきを防ぐことができる。また、本実施形態では、欠陥画素補正処理をノイズ低減処理の前段で行わずにノイズ低減処理後に行う。これにより、画像のノイズ特性に影響を与えることがないため、特定画素が含まれている入力画像に対して、ＮＬベイズ法の性能をより効果的に発揮することができ、さらに精度にノイズを低減することが可能となる。

［第３の実施形態］
第１，２の実施形態では、撮像装置１０５による撮像画像に対して画像処理装置１００（９００）がノイズ低減処理を行う例を説明したが、画像処理装置１００（９００）が行うものとして上述したノイズ低減処理を撮像装置１０５内で行うようにしても良い。この場合、撮像装置１０５に上記のノイズ低減処理用のハードウェアを設けて該ハードウェアにより上記のノイズ低減処理を行うようにしても良い。また、上記のノイズ低減処理用のコンピュータプログラムを撮像装置１０５のメモリに格納し、撮像装置１０５のプロセッサが該コンピュータプログラムを実行することで上記のノイズ低減処理を実行するようにしても良い。つまり、上記の画像処理装置１００（９００）の構成を撮像装置１０５に組み込むようにしても良い。

また、画像処理装置１００（９００）は、ネットワークを介してクライアント装置から送信された撮像画像に対してノイズ低減処理を行い、ノイズ低減後画像を自身に登録する若しくはクライアント装置に対して返信するようなシステムを構成しても良い。

［第４の実施形態］
上記の通り、第１の実施形態において生成したノイズ低減後画像や第２の実施形態において生成したＳＴＥＰ２のノイズ低減後画像の出力先は特定の出力先に限らない。例えばＣＰＵ１０１は、入力画像、第１の実施形態において生成したノイズ低減後画像、第２の実施形態において生成したＳＴＥＰ２のノイズ低減後画像、を並べて若しくは切り替え可能にモニタ１０８に表示させるようにしても良い。この３つの画像のうち１つ以上を表示するようにしても良い。その際の表示方法は特定の表示方法に限らない。

また、ＣＰＵ１０１は、第１の実施形態において生成したノイズ低減後画像をモニタ１０８に表示すると共に、更なるノイズ低減処理（図１６のフローチャートに従った処理）を実行するか否かをユーザに問い合わせる画面をモニタ１０８に表示してもよい。この場合、ユーザが入力装置１０６を操作して更なるノイズ低減処理の実行指示を入力した場合には、ＣＰＵ１０１は図１６のフローチャートに従った処理を行う。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。また、以上説明した各処理のうち処理の内容によっては一部の処理の処理順を上記の処理順から変更しても構わないし、一部の処理を並列で行うようにしても良い。

（その他の実施形態）
本実施形態は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (9)

1. 入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定手段と、
   前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成する生成手段と、
   前記パッチ集合に含まれる特定画素位置を取得する取得手段と、
   前記特定画素位置に基づいて前記パッチ集合の事前確率モデルパラメータを算出するパラメータ算出手段と、
   前記パッチ集合と前記事前確率モデルパラメータとに基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目パッチのノイズを低減したノイズ低減後パッチを生成するノイズ低減処理手段と、
   前記ノイズ低減後パッチに基づいて前記入力画像のノイズを低減した画像を合成する合成処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記パラメータ算出手段は、前記特定画素位置の画素の影響を受けないように前記パッチ集合の平均ベクトルと分散共分散行列とを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ算出手段は、前記パッチ集合の画素位置毎に前記特定画素位置の画素を除外した画素群の平均値を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記パラメータ算出手段は、前記パッチ集合の画素位置毎に前記特定画素位置の画素を除外した画素群に基づいて分散を算出することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記パラメータ算出手段は、前記特定画素位置の画素が共にない画素群に基づいて共分散を算出することを特徴とする請求項２乃至４の何れか一項に記載の画像処理装置。
6. 前記パラメータ算出手段は、前記特定画素位置の画素を除外した画素群の数が全て同じ規定の数になるように、前記パッチ集合を構成する前記類似パッチ数を増加させるように修正したパッチ集合に基づいて平均ベクトルと分散共分散行列とを算出することを特徴とする請求項２乃至５の何れか一項に記載の画像処理装置。
7. さらに前記ノイズを低減した画像に対して傷補正処理を行う傷補正処理手段を備えることを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. コンピュータを請求項１乃至７の何れか一項に記載の画像処理装置として機能させるためのプログラム。
9. 入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定し、
   前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成し、
   前記パッチ集合に含まれる特定画素位置を取得し、
   前記特定画素位置に基づいて前記パッチ集合の事前確率モデルパラメータを算出し、
   前記パッチ集合と前記事前確率モデルパラメータとに基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目パッチのノイズを低減したノイズ低減後パッチを生成し、
   前記ノイズ低減後パッチに基づいて前記入力画像のノイズを低減した画像を合成することを特徴とする画像処理方法。

Images