JP2021071816A

JP2021071816A - 画像処理装置および画像処理方法、並びにプログラム

Info

Publication number: JP2021071816A
Application number: JP2019196806A
Authority: JP
Inventors: 敦 ▲高▼濱; Atsushi Takahama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-05-06

Abstract

【課題】パッチベースノイズ低減処理において、デジタル撮像装置で生成された欠陥画素等が含まれている画像に対しても、ノイズ低減効果を実現することが可能になる。【解決手段】ノイズ低減処理を行う画像処理装置であって、入力画像における着目画素に対応する着目パッチと、該複数の参照画素それぞれを基準とした複数の画素で構成される参照パッチを設定する設定手段と、前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、類似パッチを含むパッチ集合を生成する生成手段と、前記パッチ集合に基づいて、ノイズ低減後パッチを生成するノイズ低減処理手段と、特定画素の位置を示す情報を含んだ特定画素情報を取得する特定画素情報取得手段と、前記特定画素情報と前記ノイズ低減後パッチとに基づいて前記入力画像のノイズを低減した画像を合成する合成処理手段と、を備えることを特徴とする画像処理装置。【選択図】図１

Description

本発明は、画像のノイズを低減する画像処理技術に関するものである。

デジタルカメラなどのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、その結果、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像を得るためには混入したノイズを低減する必要があり、このノイズを低減する技術が数多く知られている。

高精度なノイズ低減手法として、撮影画像からパッチ集合を生成し、該パッチ集合の各パッチに対してノイズ低減処理を行い、パッチの合成処理を行う手法であるパッチベースノイズ低減処理が知られている。パッチベースノイズ低減処理としては、非特許文献１で開示されているＮＬベイズ法が挙げられる。ＮＬベイズ法を始めとするパッチベースノイズ低減処理においては、基本的に入力画像に含まれるノイズの特性が画素毎に独立な正規分布であることが前提となっている。

ＡＮｏｎ−ｌｏｃａｌＢａｙｅｓｉａｎｉｍａｇｅｄｅｎｏｉｓｉｎｇａｌｇｏｒｉｔｈｍ，ＳＩＡＭＪｏｕｒｎａｌｏｎＩｍａｇｉｎｇＳｃｉｅｎｃｅ，２０１３．

ところで、ＣＭＯＳイメージセンサ等の撮像素子は、製造過程や外部環境、経時劣化等によって、異常なレベルを出力する欠陥画素が生じることがある。この欠陥画素を補正する欠陥画素補正処理技術は数多く知られている。しかし、仮にこれらの公知技術を用いて欠陥画素を補正したとしても、処理による影響で画像に含まれるノイズの特性が変動してしまう。したがって、非特許文献１、２をはじめとするパッチベースノイズ低減処理をデジタル撮像装置で生成された画像にそのまま適用しても、アルゴリズムで仮定しているノイズ特性と乖離があるため、高精度にノイズを低減することができない。

上記課題を解決するため本発明は画像処理装置であって、入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定手段と、前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成する生成手段と、前記パッチ集合に基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目画素のノイズを低減したノイズ低減後パッチを生成するノイズ低減処理手段と、少なくとも前記着目画素の近傍における特定画素の位置を示す情報を含んだ特定画素情報を取得する特定画素情報取得手段と、前記特定画素情報と前記ノイズ低減後パッチとに基づいて前記入力画像のノイズを低減した画像を合成する合成処理手段と、を備える。

本発明により、パッチベースノイズ低減処理において、デジタル撮像装置で生成された欠陥画素等が含まれている画像に対しても、ノイズ低減効果を実現することが可能になる。

画像処理装置１００のハードウェア構成例を示すブロック図。画像処理装置１００の機能構成例を示すブロック図。生成部２０３の機能構成例を示すブロック図。合成処理部２０５の機能構成例を示すブロック図。アグリゲーション処理を説明した模式図。画像処理装置１００が行うノイズ低減処理のフローチャート。画像処理装置７００の機能構成例を示すブロック図。ノイズ低減処理部７０１の機能構成例を示すブロック図。センサのノイズ特性を一次近似でモデル化した模式図。パッチをベクトルで表現した模式図。合成処理部７０２の機能構成例を示すブロック図。画像処理装置７００が行うノイズ低減処理のフローチャート。ノイズ低減処理の流れを図解した模式図。

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
図１は、本実施形態に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。

まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施形態では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを出力する態様について説明するものとする。

（入力画像データと特定画素）
まず、本発明の前提となる入力画像について説明する。デジタル撮像装置の撮像素子（センサ）では、ノイズが発生する。このとき発生するノイズは、輝度依存性、すなわち、ノイズ量が入射した光量に依存する。これは、物理的な光子の揺らぎに起因するものである。したがって、明るさが一様な被写体を撮影しない限り、センサで撮像された画像には画素毎に異なる量のノイズが付加されることになる。また、撮像素子における製造過程や外部環境、経時劣化等による結果によって、正常に被写体の光情報をデジタル信号値に変換できなかった画素が存在する。このような画素は欠陥画素やキズ画素と呼ばれる。欠陥画素では、被写体の撮像によって得られる値としては異常なレベルの信号値（画素値）とになる。より具体的には、白キズと呼ばれる、撮像によって得られるべき本来よりも異常に明るい画素値の画素や、黒キズと呼ばれる、本来よりも異常に暗い画素値の画素等がある。このような欠陥画素は主に製造過程で発生するが、出荷後にも宇宙線、静電気破壊等の外部環境や経時変化による影響で増加してしまう。また、近年では、撮像素子における撮像領域内に、撮像目的以外の特定用途向け画素を備えたものがある。特定用途向け画素は例えば、位相差を検出するための像面位相差画素や、距離を測定するための測距用画素等がある。このような特定用途向け画素は、撮像によって得られる光情報を電気信号に変換する画素ではなく、意図的に画像データを生成するための画素値を取得できない。本実施形態では、欠陥画素や特定用途向け画素を総称として特定画素と呼ぶこととする。本実施形態における入力画像は、以上のような画素毎に異なる量のノイズが付加され、かつ特定画素を含むものである。

（画像処理装置の機能構成例）
次に、本実施形態に係る画像処理装置１００の機能構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は適宜変形／変更が可能である。例えば、１つの機能部を機能別に複数の機能部に分割しても良いし、２つ以上の機能部を１つの機能部に統合しても良い。また、図２の構成は、２以上の装置によって構成しても良い。その場合、各装置は回路や有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、以下に画像処理装置が行うものとして後述する各処理を実現する。

以下では、図２，３，４，７，８，１１に示す機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、該機能部の機能が実現される。なお、図２，３，４，７，８，１１に示す機能部は、専用の画像処理回路などハードウェアで実装しても良い。

設定部２０１には、入力画像の画像データが入力される。入力画像は、ＲＡＷ画像でもよいし、グレースケールの画像でもよい。あるいは、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３ｃｈの画像からなるカラー画像やＲＧＧＢの４ｃｈのカラー画像でも良い。なお、本実施形態においては、１ｃｈの画像であることを前提に説明を行うが、これに限るものではない。設定部２０１は、入力画像に対して任意の画素を指定する座標値を生成して、着目画素と複数の参照画素を設定する。そして、設定部２０１は、着目座標位置における画素である着目画素を基準とした複数の画素からなるパッチを着目パッチとして設定する。さらにパッチ設定部２０１は、参照座標位置ごとに、該参照座標位置における画素である参照画素を基準とした複数の画素からなるパッチを参照パッチとして設定する。

生成部２０２は、複数の参照パッチから着目パッチとの類似度の高い参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含むパッチ集合である類似パッチ集合を生成する。

ノイズ低減処理部２０３は、生成部２０２で生成した類似パッチ集合を構成する各パッチのノイズを低減する。ノイズ低減処理手法は、公知の一般的なパッチベースノイズ低減処理技術を用いることができる。その際、ノイズ低減対象パッチ内に特定画素が存在すると、ノイズ低減精度は低下してしまう。

特定画素情報取得部２０４は、着目画素の近傍の特定画素の位置を示す特定画素位置情報を含んだ特定画素情報を取得する。ここで特定画素情報取得部２０４は、少なくとも類似パッチ集合を構成する各パッチに含まれる特定画素を検出可能な範囲の特定画素情報を取得する。特定画素情報取得部２０４は、撮像装置１０５の生産時に予め調べ、保持しておいた特定画素位置情報を読み込んでもよいし、公知の欠陥画素検出技術を用いて検出することによって特定画素位置情報を取得してもよい。出荷後に増加する欠陥画素に対応するため、当然のことながら、事前に分かっている特定画素位置情報と欠陥画素検出技術を用いて検出した特定画素位置情報を組み合わせても取得してもよい。また、特定画素位置情報に加えて、例えば特定画素の欠陥度合いを表す情報を併せて取得することも考えられる。

合成処理部２０５は、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。その際、各パッチに含まれる特定画素情報に基づいて、特定画素が含まれないノイズ低減後パッチが優先的に使用されるような合成（アグリゲーション）を行う。これは、出来るだけノイズ低減精度の高いノイズ低減後パッチに基づいてノイズ低減後の画像を生成するためである。

（生成部２０２の機能構成例）
生成部２０２の機能構成例について、図３のブロック図を用いて説明する。

算出部３０１は、設定部２０２で設定された各参照パッチに対して、着目パッチとの類似度を算出する。具体的には、Ｉを着目パッチ、Ｔを参照パッチとしたときに、例えば以下の数式（１）、（２）を用いて算出することができる。

式（１）では、着目パッチＩと参照パッチＴとの類似度として差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を求めている。また、式（２）では、着目パッチＩと参照パッチＴとの類似度として差分二乗和（ＳＳＤ：ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）を求めている。式（１）、式（２）では、パッチ（着目パッチＩ、参照パッチＴ）のサイズをＭ画素×Ｍ画素としている。また、式（１）、式（２）では、着目パッチＩ内の座標位置（ｉ，ｊ）における画素の画素値をＩ（ｉ，ｊ）、参照パッチＴ内の座標位置（ｉ，ｊ）における画素の画素値をＴ（ｉ，ｊ）としている。式（１）や式（２）で算出した類似度は、値（Ｒ_ＳＡＤ，Ｒ_ＳＳＤ）が小さいほど着目パッチと参照パッチとの類似度が高いことを意味している。なお、類似度を求めるための方法は式（１）や式（２）に限るものではなく、他の手法を用いてもよい。

選別部３０２は、パッチ設定部２０２が設定した参照パッチのうち着目パッチと類似する参照パッチ（類似パッチ）を、算出部３０１で算出した類似度に基づいて選別（特定）する。そして選別部３０２は、着目パッチと該選別した参照パッチとを含むパッチ集合（類似パッチ集合）を生成する。選別部３０２は、着目パッチとの類似度が高い順に上位Ｎ（Ｎの定義は後述する）枚の参照パッチを選別してもよいし、式（１）又は式（２）で算出された類似度と規定値とを比較して類似度が規定値以上となる参照パッチを選別してもよい。このように、着目パッチと類似する参照パッチを選別する方法は特定の方法に限らない。

（合成処理部２０５の機能構成例）
合成処理部２０５の機能構成例について、図４のブロック図を用いて説明する。

重み決定部４０１は、類似パッチ集合を構成し、ノイズ低減処理された各パッチ（ノイズ低減後パッチ）を合成（アグリゲーション）する時に用いる重みを決定する。前述の通り、パッチ内に特定画素が存在するとき、ノイズ低減処理部２０３によるノイズ低減精度が低下してしまう。そこで、本実施形態では、出来るだけノイズ低減精度が高いパッチを用いて合成（アグリゲーション）することを考える。そこで、対象パッチ内に特定画素が含まれている場合、対象パッチに対して、重みを特定画素が含まれていないときよりも小さい所定の値（＞０）に決定する。ここで、ゼロよりは大きい値とする理由は、特定画素自身や特定画素が周囲の存在する画素においては、特定画素を含まないパッチが存在しないためである。重みの具体的な決定方法は、例えば対象パッチ内に特定画素が含まれていない場合にパッチを構成する各画素に対して１とし、対象パッチ内に特定画素が一つでも含まれている場合には各画素に対して０．１といった所定の値とする。このとき、特定画素の数に応じて特定画素の数が多いほど小さい重みとなるように決定しても良い。また、例えば特定画素の欠陥度合いを表す情報に基づいて、特定画素の欠陥度合いが強いときほど小さい重みとなるように決定すること等も考えられる。

重み付きアグリゲーション処理部４０２は、重み決定部４０１で設定した重みに基づいて重み付きアグリゲーション処理を行う。具体的には、ノイズ低減後の各パッチを元のパッチ位置に戻し、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の重み付き平均を適用する。このときの様子を図５に示した。重み付きアグリゲーション処理は以下の式（３）で実施することができる。

ｕ（ｘ）は重み付きアグリゲーション処理後の画素値、

は着目パッチ、

は類似パッチ集合を構成するパッチ（着目パッチ、類似パッチ）を示す。また、

は類似パッチ集合を構成する各パッチを、ｗは重み算出部４０１で決定した重みを示す。これにより、ある画素についての合成結果の画素値は、特定画素が含まれないノイズ低減処理後パッチの結果に重きを置いた値となる。以上のようにして、ノイズが低減された画像が得られる。

（ノイズ低減処理フロー）
次に、本実施形態に係る画像処理装置１００が行う、入力画像に対するノイズ低減処理について、図６のフローチャートに従って説明する。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ６０１では、ＣＰＵ１０１は、入力画像の各画素に対応するカウンタを０に初期化する。このカウンタは、アグリゲーション時に複数のパッチが重なるため、各画素に積み重ねられたパッチの重みを記憶（カウント）するために用いる。

Ｓ６０２では、ＣＰＵ１０１は、撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から入力画像をＲＡＭ１０２に取得する。そしてＣＰＵ１０１は、該入力画像における任意の画素（着目画素）の座標位置（着目座標位置）と、該着目画素に対応する複数の参照画素のそれぞれの座標位置（参照座標位置）と、を設定する。参照画素は通常、着目画素の近傍の画素を用いる。具体的には、着目画素を中心とした周囲の規定サイズの探索範囲（矩形領域）に含まれる画素を参照画素とする。このとき、計算量の増大も招くが、一般的に探索範囲はできるだけ大きい方が性能は向上する。その理由は、参照画素を増やすことによって、着目パッチに対する類似度の高い類似パッチがより多く集められることになるからである。ここでは、入力画像において左から右方向へ、上方のラインから下方のラインへラスタ順に、着目画素が設定されるものとする。また、探索範囲は、着目画素を中心として３１画素×３１画素の範囲とする。

Ｓ６０３では、ＣＰＵ１０１は、着目座標位置における画素である着目画素を含むパッチを着目パッチとして設定する。さらにＣＰＵ１０１は、参照座標位置ごとに、該参照座標位置における画素である参照画素を含むパッチを参照パッチとして設定する。なお、着目パッチや参照パッチのサイズ（パッチサイズ）は入力画像のノイズ量や被写体領域によって最適なサイズが異なり、例えば３画素×３画素、５画素×５画素、７画素×７画素などのサイズが用いられる。ここでは、入力画像を撮像したセンサのノイズ特性に基づいてパッチサイズを設定しておくものとする。

Ｓ６０４では、ＣＰＵ１０１は、Ｓ６０３で設定された複数の参照パッチ（参照画素ごとに設定した参照パッチ）から未選択（未処理）の参照パッチを１つ、選択参照パッチとして選択する。そしてＣＰＵ１０１は、着目パッチと選択参照パッチとの類似度を算出する。

Ｓ６０５では、ＣＰＵ１０１は、Ｓ６０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っているか否かを判断する。この判断の結果、Ｓ６０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っている場合には、処理はＳ６０４に戻る。一方、Ｓ６０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っていない場合には、処理はＳ６０６に進む。

Ｓ６０６では、ＣＰＵ１０１は、複数の参照パッチの中から着目パッチとの類似度が高い参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含む類似パッチ集合を生成する。

Ｓ６０７では、ＣＰＵ１０１は、類似パッチ集合を構成する各パッチに対して、パッチベースノイズ低減処理技術を用いてノイズ低減処理を行う。

Ｓ６０８では、ＣＰＵ１０１は、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）に対し、少なくとも特定画素の位置情報を含む特定画素情報を取得する。

Ｓ６０９では、ＣＰＵ１０１は、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）に対し、特定画素情報に基づいて重みを算出する。本実施形態では、特定画素がないパッチに対しては重みを１とし、特定画素が１つ含まれるパッチには重みを０．３、特定画素が２つ以上含まれるパッチに対しては重みを０．１とする。

テップＳ６１０では、ＣＰＵ１０１は、Ｓ６０７においてノイズ低減された全てのパッチに対し、Ｓ６０９で算出した重みに基づいて重み付けしてＲＡＭ１０２やＨＤＤ１０３に保持する。そして、入力画像における各パッチの画素位置に対応するカウンタを重みに基づいて更新する。つまり、入力画像の各画素について、該画素に重なるパッチの重みをカウントして該画素のカウンタの値に累積する。

Ｓ６１１では、ＣＰＵ１０１は、Ｓ６０２で入力画像の全ての画素を着目画素として設定したか否かを判断する。この判断の結果、Ｓ６０２で入力画像の全ての画素を着目画素として設定した場合には、処理はＳ６１２に進み、入力画像において未だ着目画素として設定してない画素が残っている場合には、処理はＳ６０２に戻る。

Ｓ６１２では、ＣＰＵ１０１は、Ｓ６１３でＲＡＭ１０２やＨＤＤ１０３に保持している全てのノイズ低減された上で重み付けされた類似パッチ集合と重みが累積されているカウンタとに基づいてアグリゲーションを行う。アグリゲーション処理は式（３）に基づいて行う。そしてＣＰＵ１０１は、上記の処理によって得られるノイズ低減後画像を出力する。ノイズ低減後画像の出力先は特定の出力先に限らず、ＨＤＤ１０３、外部メモリ１０７、汎用Ｉ／Ｆ１０４に接続される他の機器（例えばネットワークを介して画像処理装置１００と接続される外部機器）であっても良い。

このように本実施形態によれば、特定画素位置に応じて、ノイズ低減精度の高い結果に重きを置いた方法で合成する。これにより、デジタル撮像装置による撮像画像など、欠陥画素や撮像目的以外の特定用途向け画素を含んだ画像であっても、該画像におけるノイズ低減効果を実現することが可能になる。

［実施形態２］
実施形態１では、一般的なパッチベースノイズ低減処理において、特定画素が含まれていても、ノイズ低減精度の高い結果に重きを置いた方法で合成することにより、ノイズ低減効果の低下を抑制できる基本的な様態について示した。次に、パッチベースノイズ低減処理の具体例として、ＮＬベイズ法を適用し、ノイズ低減精度の低い結果（ノイズ低減後パッチ）を極力使わずに合成する様態について、実施形態２として説明する。なお、実施形態１と共通する部分は説明を省略し、以下では差異点を中心に説明するものとする。

（ＮＬベイズ法の処理の概要）
本実施形態においては、パッチベースノイズ低減処理として、具体的にＮＬベイズ法を適用した場合について説明する。そこで、ＮＬベイズ法によるノイズ低減処理ついて確認しておく。まず、入力画像における複数の画素を着目画素として設定し、その着目画素毎にパッチ集合を生成する。次に、生成したパッチ集合に含まれる各パッチのノイズを低減する。まず、パッチの各画素の平均値と、各パッチの任意の２つの画素値の積をパッチ集合の全てのパッチについて和をとり計算する共分散行列とを算出する。この平均値と共分散行列により、ノイズのない理想的な画像の画素値が従う事前確率をモデル化（仮定）する。次に、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定する。すなわち、モデル化された事前確率と、尤度に相当する予め測定された画像のノイズ分散（カメラの撮像センサに依拠）とを上記ベイズの定理に当て嵌め、事後確率を最大化するように各パッチの画素値を決定する。これにより、ノイズが低減されたパッチが得られる。そして、ノイズ低減後のパッチそれぞれを合成して、ノイズが低減された出力画像を生成する。このパッチ合成処理はアグリゲーションなどと呼ばれる。具体的には、ノイズ低減後の各パッチを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均化、あるいは類似度に基づいた加重平均を行う。以上が、ＮＬベイズ法によるノイズ低減処理の内容である。

本実施形態では、上述したＮＬベイズ法によるノイズ低減処理を入力画像のノイズが一定でない形に対応させた修正ＮＬベイズ法に基づいて、特定画素によるノイズ低減効果の低下を抑制する基本的な様態について説明する。

（輝度依存性のあるノイズに対応した修正ＮＬベイズ法）
まず、入力画像のノイズが一定でない場合に対応したＮＬベイズ法の理論式とその理論式に基づいて算出したアルゴリズムについて説明する。以下の式（４）に示すように、撮影された画像の各画素は、ノイズのない本来の画素値に標準偏差σのノイズが加算されていると考える。

このとき、ｘという画素値があるときに撮影された画素値

を得る条件付き確率密度関数は以下の式（５）ように表される。

次に、Ｎ次元（ｋ×ｋ）のパッチで考える。確率変数ｘ_ｉ（ｉ＝１，…，Ｎ）を考え、この確率変数は全て独立にガウス分布に従うとする。Ｎ個の確率変数は全て独立なので、その同時分布ｐ（ｘ_１，…，ｘ_Ｎ）＝ｐ（ｘ）は、以下の式（６）、（７）のように表される。

ここで、

とする。

したがって、ノイズのないパッチＰがあるときに撮影されたパッチ

を得る条件付き確率密度関数は次の式（８）のようになる。

この時、ベイズの定理より、撮影されたノイズのあるパッチが

の場合に、ノイズの無いパッチがＰである事後確率

は、以下の式（９）となる。

ＮＬベイズでは、事後確率である

を最大化することでノイズの無いパッチを推定する。パッチＰの類似パッチＱが多次元正規分布で表されると仮定し、以下の式（１０）に示す如く事前確率Ｐ（Ｑ）を式（９）のＰ（Ｐ）として与える。

ここで、αは正規化定数である。式（８）〜（１０）から

を最大化することと等価の問題を次の式（１１）のように導ける。

（１１）

ここで、

とする。

また、

と

をそれぞれ、以下の式（１２）〜（１３）のように仮定する。

式（１１）は以下の式（１４）に示すようにＰで微分すると０となる。

（１４）

ここで、

したがって、撮影されたノイズのある画像のパッチからノイズの無いパッチは、以下の式（１７）のように求められる。これを１ｓｔＳＴＥＰの結果と呼ぶ。

（１７）

さらに、１ｓｔＳＴＥＰの結果に基づいて、以下のように、より高精度に共分散行列

類似パッチ集合

の平均ベクトルを算出し直す。

すると、２ｎｄＳＴＥＰでは以下の式（１９）でより高精度なノイズ低減結果を得られる。

（１９）

（画像処理装置の機能構成例）
本実施形態に係る画像処理装置７００の機能構成例について、図７のブロック図を用いて説明する。図７に示した構成において、図２と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

ノイズ低減処理部７０１は、生成部２０２で生成した類似パッチ集合を構成する各パッチのノイズをＮＬベイズ法により低減する。ＮＬベイズ法においては、類似パッチ集合に基づいて算出した事前確率パラメータに基づいて、類似パッチ集合を構成する各パッチのノイズを低減する。

合成処理部７０２は、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。その際、各パッチに含まれる特定画素情報に基づいて、特定画素が含まれないノイズ低減後パッチが存在する画素については、特定画素を含んだノイズ低減後パッチの結果を使用せずに合成（アグリゲーション）を行う。これは、極力ノイズ低減精度の高いノイズ低減後パッチのみを使用してノイズ低減後の画像を生成するためである。

傷補正処理部７０３は合成処理部７０２で合成されたノイズ低減後画像に含まれる欠陥画素等の特定画素を補正する。特定画素の検出に入力画像を用いることも考えられる。特定画素の補正は公知の欠陥画素補正技術を用いることができる。

（ノイズ低減処理７０１の機能構成例）
ノイズ低減処理部７０１の機能構成例について、図８のブロック図を用いて説明する。ノイズ量推定部８０１は、着目パッチ（類似パッチ集合）のノイズ量パラメータを推定する。平均ベクトル算出部８０２は、類似パッチ集合に含まれる各パッチから座標位置（ｘ、ｙ）における画素値を収集し、該収集した画素値の平均値を座標位置（ｘ、ｙ）に対する平均値として求める。

分散共分散行列算出部８０３は、類似パッチ集合に基づいて分散共分散行列を算出する。

パッチ推定部８０４は、ノイズ量パラメータと平均ベクトルと分散共分散行列とに基づいて、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率（事前確率モデルのパラメータ）を推定する。そして、推定した事前確率モデルのパラメータに基づいて、類似パッチ集合を構成する各パッチのノイズを低減する。

（ノイズ量パラメータの推定の詳細）
ノイズ量推定部８０１によるノイズ量パラメータの推定処理について説明する。デジタル撮像装置の撮像素子（センサ）では、ノイズ量が入射した光量に依存するようなノイズが発生する。センサのノイズモデルは、正確には温度や露光時間にも依存し、光量の二次の項も存在するため、厳密なモデル化及びパラメータの推定は困難である。しかしながら、ほとんどの条件においては、例えば、以下の式（２０）、図９に示すような簡単な一次式近似によって、ノイズ低減処理に用いる上では実用上十分な精度でノイズ量パラメータを推定することが可能である。

ここで、左辺のσ_Ｉ ^２は、入力画像の画素値に対応するノイズ量、ｋとＩ_０は、入力画像を撮像したセンサのノイズ特性を表す。ノイズ特性のパラメータは、ノイズ評価用のチャートを撮影して解析する等の作業（処理）を行うことで、事前に推定しておくものとする。これにより、着目パッチのノイズ量パラメータは、類似パッチ集合に含まれる各パッチの各画素の画素値と式（２０）に基づいて推定することができる。着目パッチのノイズ量パラメータは、以下の式（２１）で表され、σ_１ ^２、σ_２ ^２、…、σ_ｎ ^２は各パッチを構成する各画素のノイズ分散を示している。なお、Σは対角行列（対角成分以外が０）となっているが、これはセンサで発生したノイズが画素毎に独立であることを意味する。

（事前確率推定の詳細）
ノイズ低減処理部７０１で実施する事前確率推定（事前確率モデルのパラメータの推定）について、図８のブロック図を用いて説明する。平均ベクトル算出部８０２は、類似パッチ集合に含まれる各パッチから座標位置（ｘ、ｙ）における画素値を収集し、該収集した画素値の平均値を座標位置（ｘ、ｙ）に対する平均値として算出する。なお、パッチが３画素×３画素のサイズを有し、且つパッチの中心の座標位置を（０，０）とすると、−１≦ｘ、ｙ≦１となる。このように、平均ベクトル算出部４０２は、パッチ上の各座標位置について画素値の平均値を求める。その結果、例えば、−１≦ｘ、ｙ≦１であるとすると、９（＝３×３）個の平均値を要素とする１次元ベクトル（平均ベクトル）が得られる。ここで、この先の行列演算のため、図１０に示すようにパッチは１次元ベクトルとして表現して扱うものとする。

分散共分散行列算出部８０３は、類似パッチ集合に基づいて分散共分散行列を算出する。平均ベクトル、分散共分散行列は、それぞれ以下の式（２２）、（２３）に従って算出することができる。

（２２）

（２３）

は着目パッチ、

は類似パッチ集合を構成する各パッチの列ベクトルを示す。また、Ｎは類似パッチ集合を構成するパッチの枚数（類似パッチ数）、

は類似パッチ集合の平均列ベクトルである。また、

は類似パッチ集合の分散共分散行列である。

パッチ推定部８０４は、着目パッチ（とその類似パッチ）のノイズのない理想的な画素値が従う事前確率モデルのパラメータを推定する。ＮＬベイズ法では、類似パッチ集合（類似パッチ群）が多次元正規分布で表せるものと仮定し、事前確率モデルとして多次元正規分布を用いている。したがって、平均ベクトル算出部８０２、分散共分散行列算出部８０３において、多次元正規分布を表すパラメータである平均ベクトルと分散共分散行列を求めた。このとき、事前確率モデルのパラメータは、ノイズのある入力画像から推定しなくてはならないことに注意が必要である。すなわち、推定したい事前確率モデルのパラメータは、

であり、

ではない。そこで、入力画像から算出可能な

から修正ＮＬベイズ法の理論で示した式（１２）、（１３）の仮定を用いて、

を推定する。これにより、ノイズのない理想的な画素値が従う着目パッチ（とその類似パッチ）の多次元正規分布を表すパラメータが推定できる。

（画像パッチノイズ低減処理の詳細）
以下、パッチ推定部８０４が行うノイズ低減処理について説明する。ＮＬベイズ法では、「事後確率＝尤度×事前確率」で表わされるベイズの定理を用いて、事後確率が最大となるようなパッチの画素値を決定することで各パッチのノイズ低減結果を得る。具体的には、式（２２）、（２３）で得られたパラメータ（パッチ推定部８０４で推定した事前確率モデルのパラメータ）に基づいて、式（２４）の行列演算を行えばよい。ここで、Ｑ^１ｓｔはノイズ低減後のパッチを表し、類似パッチ集合を構成する各パッチ

に対して求まる。

なお、式（２４）で算出されたノイズ低減後のパッチ

は１ｓｔＳＴＥＰの結果であり、１ｓｔＳＴＥＰの結果を用いて事前確率モデルのパラメータを推定し直すことで、さらにノイズ低減精度を向上させた２ｎｄＳＴＥＰの結果を得ることも可能である。

（合成処理部７０２の機能構成例）
合成処理部７０２は上記の通り、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。合成処理部７０２の機能構成例について、図１１のブロック図を用いて説明する。

特定画素情報保持部１１０１は、類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）に対して、特定画素情報取得部２０４で取得した特定画素情報を保持しておく。

対策画素検出部１１０２は、類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）に対して、特定画素情報保持部１１０１で保持した特定画素情報に基づいて、対象パッチ内に特定画素が含まれているか否か調べる。そして、対象パッチを構成する画素毎にその結果を保持する。

対策アグリゲーション処理部１１０３は、対策画素検出部１１０２の結果に基づいて、ノイズが低減された類似パッチ集合を構成する各パッチ（ノイズ低減後パッチ）の合成（アグリゲーション）を行う。本実施形態では、ノイズ低減精度の低いパッチを極力使用せずに合成（アグリゲーション）することを考える。したがって、原則として、特定画素が含まれているノイズ低減後パッチの結果は使用せずに合成（アグリゲーション）する。しかし、特定画素自身や特定画素の近傍画素においては、特定画素を含まないパッチが存在しない。そのため、特定画素を含むパッチを全く合成に使用しないと、特定画素自身や特定画素の近傍画素の画素値はノイズ低減効果を得られない。そこで、そのような画素については、例外として特定画素を含んだパッチの結果に基づいて合成（アグリゲーション）を行うこととする。具体的には、ノイズ低減後の各パッチを元のパッチ位置に戻し、複数のパッチが重なる画素の画素値は、該複数のパッチにおいて該画素に重なる画素の画素値の平均値を適用する。対策アグリゲーション処理は以下の式（２５）により実行することができる。

は重み付きアグリゲーション処理後の画素値、

は着目パッチ、

は類似パッチ集合を構成するパッチの中で特定画素を含まない各パッチを示す。また、

は類似パッチ集合を構成するパッチの中で特定画素を含む各パッチを示す。

は、着目画素が、特定画素を含まないパッチの一部である場合には１、それ以外には０とする重みを示す。また

は、着目画素が、特定画素を含むパッチの一部であり、特定画素を含まないパッチには属さない場合、すなわち着目画素は、特定画素を含むパッチのノイズ低減結果しかない場合には１、それ以外の場合には０とする重みである。従って式（２５）は、着目画素が、特定画素を含まないパッチのいずれかに属する場合には、特定画素を含むパッチのノイズ低減結果は使用せず、特定画素を含まないパッチのノイズ低減結果のみを用いて、ノイズ低減処理後の画素値が算出される。一方、着目画素が、特定画素を含まないパッチに一切属していない場合には、特定画素を含むパッチのノイズ低減結果を用いて、ノイズ低減処理後の画素値が算出される。これにより、ある画素についての合成結果の画素値は、特定画素を含まないパッチが存在しない画素を除いて、特定画素を含むノイズ低減処理後パッチの結果を使用せずに平均化した結果となる。以上のようにして、ノイズが低減された画像が得られる。

（ノイズ低減処理フロー）
次に、本実施形態に係る画像処理装置７００が行う、入力画像に対するノイズ低減処理について、図１２のフローチャートに従って説明する。

Ｓ１２０１では、ＣＰＵ１０１は、入力画像の各画素に対応するカウンタを０に初期化する。このカウンタは、アグリゲーション時に複数のパッチが重なるため、各画素に何回（何枚）のパッチが積み重ねられたかを記憶（カウント）するために用いる。なお、特定画素を含むパッチと特定画素を含まないパッチとを分けて処理するため、カウンタを２種類用意する。

Ｓ１２０２では、ＣＰＵ１０１は、撮像装置１０５、ＨＤＤ１０３、外部メモリ１０７等から入力画像をＲＡＭ１０２に取得する。そしてＣＰＵ１０１は、該入力画像における任意の画素（着目画素）の座標位置（着目座標位置）と、該着目画素に対応する複数の参照画素のそれぞれの座標位置（参照座標位置）と、を設定する。参照画素は通常、着目画素の近傍の画素を用いる。具体的には、着目画素を中心とした周囲の規定サイズの探索範囲（矩形領域）に含まれる画素を参照画素とする。このとき、計算量の増大も招くが、一般的に探索範囲はできるだけ大きい方が性能は向上する。その理由は、参照画素を増やすことによって、着目パッチに対する類似度の高い類似パッチがより多く集められることになるからである。

Ｓ１２０３では、ＣＰＵ１０１は、着目座標位置における画素である着目画素を含むパッチを着目パッチとして設定する。さらにＣＰＵ１０１は、参照座標位置ごとに、該参照座標位置における画素である参照画素を含むパッチを参照パッチとして設定する。なお、着目パッチや参照パッチのサイズ（パッチサイズ）は入力画像のノイズ量や被写体領域によって最適なサイズが異なり、例えば３画素×３画素、５画素×５画素、７画素×７画素などのサイズが用いられる。ここでは、入力画像を撮像したセンサのノイズ特性に基づいてパッチサイズを設定しておくものとする。

Ｓ１２０４では、ＣＰＵ１０１は、Ｓ１２０３で設定された複数の参照パッチ（参照画素ごとに設定した参照パッチ）から未選択（未処理）の参照パッチを１つ、選択参照パッチとして選択する。そしてＣＰＵ１０１は、着目パッチと選択参照パッチとの類似度を算出する。

Ｓ１２０５では、ＣＰＵ１０１は、Ｓ１２０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っているか否かを判断する。この判断の結果、Ｓ１２０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っている場合には、処理はＳ１２０４に戻る。一方、Ｓ１２０３で設定された複数の参照パッチのうち選択参照パッチとして選択されていない参照パッチが残っていない場合には、処理はＳ１２０６に進む。

Ｓ１２０６では、ＣＰＵ１０１は、複数の参照パッチの中から着目パッチとの類似度が高い上位Ｎ枚の参照パッチを類似パッチとして選別し、該選別した類似パッチと該着目パッチとを含む類似パッチ集合を生成する。

Ｓ１２０７では、ＣＰＵ１０１は、Ｓ１２０６で生成した類似パッチ集合の平均ベクトルを算出する。

テップＳ１２０８では、ＣＰＵ１０１は、Ｓ１２０６で生成した類似パッチ集合の分散共分散行列を算出する。上記の通り、平均ベクトルと分散共分散行列の算出は、それぞれ式（２２）、（２３）に基づいて行う。

Ｓ１２０９では、ＣＰＵ１０１は、着目パッチ（類似パッチ集合）を構成する各画素のノイズ量を推定する。具体的には上記の通り、着目パッチの各画素の画素値を式（２０）に代入してノイズ分散を算出し、ノイズ量パラメータとして式（２１）の形で表す。

Ｓ１２１０では、ＣＰＵ１０１は、Ｓ１２０７で求めた平均ベクトル、Ｓ１２０８で求めた分散共分散行列、Ｓ１２０９で求めたノイズ量パラメータ、に基づいて事前確率モデルを推定する。ここで、ノイズのないときに類似パッチ集合（類似パッチ群）が多次元正規分布でモデル化できると仮定している。したがって、ノイズのある入力画像に基づいて算出された平均ベクトル、分散共分散行列より、式（１２）、（１３）の仮定を用いて、ノイズのないときの平均ベクトルと分散共分散行列を推定する。

Ｓ１２１１では、ＣＰＵ１０１は、類似パッチ集合に含まれているパッチの中から未選択のパッチを１つ選択パッチとして選択する。そしてＣＰＵ１０１は、選択パッチに対して、式（２４）の行列演算に基づいてノイズを低減するノイズ低減処理を行う。

Ｓ１２１２では、ＣＰＵ１０１は、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択したか否かを判断する。この判断の結果、類似パッチ集合に含まれている全てのパッチを選択パッチとして選択した場合には、処理はＳ１２１３に進む。一方、類似パッチ集合に含まれているパッチのうち選択パッチとして選択していないパッチが残っている場合には、処理はＳ１２１１に戻る。

Ｓ１２１３では、ＣＰＵ１０１は、Ｓ１２１１においてノイズが低減された全てのパッチに対し、特定画素の位置情報を含む特定画素情報を取得して、対象パッチが特定画素を含むパッチであるか否か判定する。

Ｓ１２１４では、ＣＰＵ１０１は、Ｓ１２１１においてノイズが低減された全てのパッチに対し、Ｓ１２１３で判定した結果（特定画素を含むパッチであるか否かの除法）を対象パッチの画素毎に保持する。

Ｓ１２１５では、ＣＰＵ１０１は、Ｓ１２１１においてノイズ低減された全てのパッチについて、特定画素を含むパッチと特定画素を含まないパッチとに分けてＲＡＭ１０２やＨＤＤ１０３に保持する。そして、入力画像における各パッチの画素位置に対応するカウンタを更新する。つまり、入力画像の各画素について、該画素に重なるパッチの数をカウントして該画素のカウンタの値に累積する。なお、カウンタは特定画素を含むパッチ用と特定画素を含まないパッチ用との２種類用意しておき、それぞれ別々に更新する。

Ｓ１２１６では、ＣＰＵ１０１は、Ｓ１２０２で入力画像の全ての画素を着目画素として設定したか否かを判断する。この判断の結果、Ｓ１２０２で入力画像の全ての画素を着目画素として設定した場合には、処理はＳ１２１７に進み、入力画像において未だ着目画素として設定してない画素が残っている場合には、処理はＳ１２０２に戻る。なお、このとき必ずしも入力画像の全ての画素を着目画素として設定する必要はなく、例えば類似パッチ集合として一度でも使用されたパッチは着目パッチとしないように設定してもよい。このようにすることで、一般的なケースにおいて、ノイズ低減効果にはそれほど影響を与えずに、処理を大幅に高速化することができる。

Ｓ１２１７では、ＣＰＵ１０１は、Ｓ１２１５でＲＡＭ１０２やＨＤＤ１０３に保持しているノイズ低減された全てのパッチとカウンタとに基づいてアグリゲーションを行う。その際、特定画素を含むパッチと特定画素を含まないパッチと、それぞれに対応する二種類のカウンタに基づいて別々に処理する。アグリゲーション処理は式（２５）に基づいて行う。そしてＣＰＵ１０１は、上記の処理によって得られるノイズ低減後画像を出力する。以上説明した一連のノイズ低減処理の大まかな流れを図１３に示した。第１の実施形態と同様、ノイズ低減後画像の出力先は特定の出力先に限らない。なお、Ｓ１２１５で出力されたノイズ低減後画像を用いて、さらにＳＴＥＰ２のノイズ低減処理を行ってもよい。

Ｓ１２１８では、ＣＰＵ１０１は、Ｓ１２１７で生成されたノイズ低減後画像に対して、欠陥画素補正処理を実施してノイズ低減後画像に含まれる欠陥画素等の特定画素を補正する。欠陥画素補正処理をノイズ低減処理前ではなくノイズ低減後に行うことで、特定画素によるノイズ低減処理の入力画像のノイズ特性の変化を防ぐことが可能となる。これにより、特定画素が含まれている入力画像に対して、ＮＬベイズ法をはじめとするパッチベースノイズ低減処理性能をより効果的に発揮できる。

このように、本実施形態によれば、パッチベースノイズ低減処理の具体例としてＮＬベイズ法を適用し、ノイズ低減精度の低い結果（ノイズ低減処理後パッチ）を極力使用せずに合成して、ノイズ低減後画像を得る。これにより、さらにノイズ低減効果低下の抑制効果を高めることができる。

［第３の実施形態］
第１，２の実施形態では、撮像装置１０５による撮像画像に対して画像処理装置１００（９００）がノイズ低減処理を行う例を説明したが、画像処理装置１００（９００）が行うものとして上述したノイズ低減処理を撮像装置１０５内で行うようにしても良い。この場合、撮像装置１０５に上記のノイズ低減処理用のハードウェアを設けて該ハードウェアにより上記のノイズ低減処理を行うようにしても良い。また、上記のノイズ低減処理用のコンピュータプログラムを撮像装置１０５のメモリに格納し、撮像装置１０５のプロセッサが該コンピュータプログラムを実行することで上記のノイズ低減処理を実行するようにしても良い。つまり、上記の画像処理装置１００（９００）の構成を撮像装置１０５に組み込むようにしても良い。

また、画像処理装置１００（９００）は、ネットワークを介してクライアント装置から送信された撮像画像に対してノイズ低減処理を行い、ノイズ低減後画像を自身に登録する若しくはクライアント装置に対して返信するようなシステムを構成しても良い。

［第４の実施形態］
上記の通り、第１の実施形態において生成したノイズ低減後画像や第２の実施形態において生成したＳＴＥＰ２のノイズ低減後画像の出力先は特定の出力先に限らない。例えばＣＰＵ１０１は、入力画像、第１の実施形態において生成したノイズ低減後画像、第２の実施形態において生成したＳＴＥＰ２のノイズ低減後画像、を並べて若しくは切り替え可能にモニタ１０８に表示させるようにしても良い。この３つの画像のうち１つ以上を表示するようにしても良い。その際の表示方法は特定の表示方法に限らない。

また、ＣＰＵ１０１は、第１の実施形態において生成したノイズ低減後画像をモニタ１０８に表示すると共に、更なるノイズ低減処理（図１６のフローチャートに従った処理）を実行するか否かをユーザに問い合わせる画面をモニタ１０８に表示してもよい。この場合、ユーザが入力装置１０６を操作して更なるノイズ低減処理の実行指示を入力した場合には、ＣＰＵ１０１は図１６のフローチャートに従った処理を行う。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。また、以上説明した各処理のうち処理の内容によっては一部の処理の処理順を上記の処理順から変更しても構わないし、一部の処理を並列で行うようにしても良い。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定する設定手段と、
前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成する生成手段と、
前記パッチ集合に基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目画素のノイズを低減したノイズ低減後パッチを生成するノイズ低減処理手段と、
少なくとも前記着目画素の近傍における特定画素の位置を示す情報を含んだ特定画素情報を取得する取得手段と、
前記特定画素情報と前記ノイズ低減後パッチとに基づいて前記入力画像のノイズを低減した画像を合成する合成処理手段と、
を備えることを特徴とする画像処理装置。
前記合成処理手段は、前記特定画素情報を含む前記ノイズ低減後パッチに対し、前記特定画素情報を含まない前記ノイズ低減後パッチより小さい重みをつけて合成することを特徴とする請求項１に記載の画像処理装置。
前記合成処理手段は、前記特定画素情報を含む前記ノイズ低減後パッチに対し、所定の重みをつけることを特徴とする請求項２に記載の画像処理装置。
前記合成処理手段は、前記特定画素情報を含む前記ノイズ低減後パッチに対し、前記特定画素の数が多いほど小さい重みをつけることを特徴とする請求項２に記載の画像処理装置。
前記取得手段は、さらに前記特定画素の欠陥度合いを表す情報を取得し、前記合成処理手段は、前記特定画素位置を含む前記ノイズ低減後パッチに対し、前記欠陥度合いが大きいほど小さい重みをつけることを特徴とする請求項２又は４に記載の画像処理装置。
前記合成処理手段は、前記特定画素を含まない前記ノイズ低減後パッチが存在する画素について、前記特定画素を含む前記ノイズ低減後パッチを使用せずに合成することを特徴とする請求項１に記載の画像処理装置。
前記合成処理手段は、前記特定画素を含まない前記ノイズ低減後パッチが存在する画素について、前記特定画素を含まない前記ノイズ低減後パッチに基づいて合成し、前記特定画素を含まない前記ノイズ低減後パッチが存在しない画素について、前記特定画素を含む前記ノイズ低減後パッチに基づいて合成することを特徴とする請求項６に記載の画像処理装置。
前記特定画素は、前記パッチ集合に基づいて合成することを特徴とする請求項７に記載の画像処理装置。
ノイズ低減処理手段は、ＮＬベイズ法におけるパッチ集合のノイズ低減処理を実行することを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
さらに前記ノイズを低減した画像に対して傷補正処理を行う傷補正処理手段を備えることを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
入力画像における着目画素を基準とした複数の画素で構成される着目パッチを設定し、該入力画像において該着目画素に対応する複数の参照画素のそれぞれについて、該参照画素を基準とした複数の画素で構成される参照パッチを設定し、
前記着目パッチと前記参照パッチそれぞれとの類似度に基づいて、前記着目パッチに類似している類似パッチを含むパッチ集合を生成し、
前記パッチ集合に基づいて、前記パッチ集合に含まれるパッチのうち少なくとも前記着目画素のノイズを低減したノイズ低減後パッチを生成し、
少なくとも前記着目画素の近傍における特定画素の位置を示す情報を含んだ特定画素情報を取得し
前記特定画素情報と前記ノイズ低減後パッチとに基づいて前記入力画像のノイズを低減した画像を合成することを特徴とする画像処理方法。