JP2020181402A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ノイズが低減された高画質が画像を、画像の内容によらず安定して得られるようにすることを課題とする。【解決手段】画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理装置（１００）であり、画像に対して着目パッチを設定する設定手段（２０１）と、着目パッチを基に、画像から類似パッチを探索する探索手段（２０２）と、着目パッチと類似パッチの少なくともいずれかを基に、画像に含まれるパッチとは異なった合成パッチを生成する生成手段（２０４）と、着目パッチと類似パッチと一つ以上の合成パッチと、を含むパッチ群を用いて、着目パッチのノイズを低減するノイズ低減手段（２０５）と、を有する。【選択図】図２

Description

本発明は、画像のノイズを低減する画像処理技術に関する。

近年のデジタルカメラ等の撮像装置は、暗所や夜間などの環境下でも高画質な画像を取得可能であることが要求されている。このような環境下では高感度撮影を行う必要があり、十分なＳＮ比が得られないためにノイズによって画質が低下してしまう。このため、ノイズ低減技術の重要性が認識されてきている。

これに対し、近年、例えば特許文献１や非特許文献１に開示されたように、パッチベースのノイズ低減手法（以降、「パッチベース手法」と呼ぶ。）が有効であることが広く知られている。パッチベース手法は、画像を小領域（以降、「パッチ」と呼ぶ。）に分解すると、同一の画像の中には類似したパッチが多数含まれているという性質を利用することで、従来のノイズ低減手法よりも高いノイズ低減性能を得る手法である。

特開２０１３−２６６６９号公報

A. Buades, M. Lebrun, and J.M. Morel. A Non-local Bayesian image denoising algorithm, SIAM Journal on Imaging Science, 2013.

パッチベース手法は、画像中の任意のパッチの各々に対し、類似したパッチが十分な数だけ存在しなければ十分な効果が得られない。しかし、現実の画像はテクスチャの種類や頻度に偏りがあるために、任意のパッチに対し必ずしも十分な数の類似したパッチが存在する保証はない。その結果として、従来のパッチベース手法を用いたノイズ低減手法では、画像の領域によってノイズ低減効果にばらつきが発生し、画像全体としては画質が低下してしまうことがある。

そこで、本発明は、ノイズが低減された高画質が画像を、画像の内容によらず安定して得られるようにすることを目的とする。

本発明は、画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理装置であって、前記画像に対して着目パッチを設定する設定手段と、前記着目パッチを基に、前記画像から類似パッチを探索する探索手段と、前記着目パッチと前記類似パッチの少なくともいずれかを基に、前記画像に含まれるパッチとは異なった合成パッチを生成する生成手段と、前記着目パッチと前記類似パッチと一つ以上の前記合成パッチと、を含むパッチ群を用いて、前記着目パッチのノイズを低減するノイズ低減手段と、を有することを特徴とする。

本発明によれば、ノイズが低減された高画質の画像を、画像の内容によらずに安定して得ることが可能となる。

実施形態の情報処理装置の概略構成を示す図である。 情報処理装置の機能構成を示す機能ブロック図である。 探索部の機能構成を示す機能ブロック図である。 第１の実施形態の生成部の機能構成を示す機能ブロック図である。 画像処理の流れを示すフローチャートである。 画像処理の内容を表す模式図である。 ノイズ低減性能の一例を表で示した図である。 第２の実施形態の生成部の機能構成を示す機能ブロック図である。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また以下の説明において同一の構成については同じ参照符号を付して説明する。
図１は、本発明の画像処理装置が適用される一例としての情報処理装置の概略構成を示す図である。本実施形態の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力ＩＦ１０５、及び出力ＩＦ１０６等を構成要素として含む。情報処理装置１００の各構成要素は、システムバス１０７によって相互に接続されている。また、情報処理装置１００は、入力ＩＦ１０５を介して外部記憶装置１０８および操作部１１０に接続されている。また、情報処理装置１００は、出力ＩＦ１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。

ＣＰＵ１０１は中央処理装置であり、ランダムアクセスメモリであるＲＡＭ１０２をワークメモリとして、リードオンリーメモリであるＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、情報処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態では例えばＨＤＤ（ハードディスクドライブ）が用いられる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読み出しを行う。

入力ＩＦ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。情報処理装置１００は、入力ＩＦ１０５を介して、不図示の外部装置からデータや命令等を入力する。本実施形態では、情報処理装置１００は、入力ＩＦ１０５を介して、外部記憶装置１０８からデータを取得する。外部記憶装置１０８は、記憶媒体として例えばハードディスク、ＣＦカード（ＣＦは登録商標）やＳＤカード等のメモリカード、ＵＳＢメモリなどを備えた装置である。また本実施形態において、情報処理装置１００は、操作部１１０を介して入力されたユーザからの指示を、入力ＩＦ１０５を介して取得する。操作部１１０は、マウスやキーボードなどの入力装置であり、ユーザからの指示入力を取得する。

出力ＩＦ１０６は、入力ＩＦ１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力ＩＦ１０６は、ＤＶＩやＨＤＭＩ（ＨＤＭＩは登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力ＩＦ１０６を介して、不図示の外部装置にデータ等を出力する。本実施形態では、情報処理装置１００は、出力ＩＦ１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理されたデータ（例えば画像データ）を出力する。なお、情報処理装置１００の構成要素は、前述した各構成要素以外にも存在するが、ここでは説明を省略する。

＜第１の実施形態＞
以下、第１の実施形態の情報処理装置１００が行う画像処理について説明する。なお本実施形態の情報処理装置１００に入力される画像は、デジタルカメラ等の撮像装置によって取得されたものであるとする。本実施形態の情報処理装置１００は、画像を小領域（パッチ）に分解し、同一の画像内に含まれる複数の類似したパッチを用いたパッチベース手法に基づくノイズ低減処理を行う例を挙げて説明する。以降の説明では、類似したパッチを類似パッチと呼ぶ。

図２は、本実施形態の情報処理装置１００の機能構成を示した機能ブロック図である。図２に示すように、本実施形態の情報処理装置１００は、設定部２０１、探索部２０２、判定部２０３、生成部２０４、ノイズ低減部２０５、及び統合部２０６の各機能部を有する。また図３は、探索部２０２の機能構成を示した機能ブロック図である。図３に示すように探索部２０２は、参照設定部３０１、算出部３０２、及び類似選択部３０３の各機能部を有する。また図４は、生成部２０４の機能構成を示した機能ブロック図である。図４に示すように、生成部２０４は、ベース選択部４０１、中間生成部４０２、付加部４０３の各機能部を有する。なお、情報処理装置１００は、それら各機能部に相当する専用の処理回路を備えるように構成されていてもよい。また図５は、本実施形態の情報処理装置１００において画像のノイズを低減する画像処理（ノイズ低減処理）の流れを示したフローチャートである。なお図５に示されるフローチャートの処理は、ＣＰＵ１０１がＲＯＭ１０３などの記憶領域に格納されたプログラムコードをＲＡＭ１０２に読み出して実行することにより実現される。

以下、本実施形態の情報処理装置１００が行うノイズ低減処理について、図２から図４の機能ブロック図及び図５のフローチャートを参照して説明する。
まずステップＳ５０１において、設定部２０１は、処理対象である入力画像から着目パッチを抽出する。設定部２０１は、ノイズ低減処理を行うべき全ての画素が包含されるように、入力画像の中から着目パッチを順に設定する。例えば、設定部２０１は、入力画像に含まれる全画素の各画素を、いわゆるラスタ走査の順に着目画素として順次設定し、それら順次設定される着目画素の位置ごとに、既定の画素数分のサイズで且つ既定の形状となるパッチを、順に着目パッチとして設定する。着目パッチは、例えば、着目画素の位置を中心とした既定の画素数分のサイズ及び既定の形状のパッチでもよいし、着目画素の位置を左上端とした既定の画素数分のサイズ及び既定の形状のパッチでもよい。なお、入力画像の全画素を順に着目画素にして着目パッチを設定すると処理時間及び処理量が膨大になるため、設定部２０１は、着目画素の設定を例えば一定画素間隔ごとにスキップさせて着目パッチを適切に間引くことで処理時間及び処理量を低減してもよい。

次にステップＳ５０２において、探索部２０２は、入力画像から、着目パッチに類似したパッチを類似パッチとして抽出する。
図３に示した探索部２０２の参照設定部３０１は、まず入力画像に対して複数の参照パッチを設定する。参照パッチは、着目パッチを基準として定められた一定の座標範囲内に含まれるパッチであり、着目パッチと同サイズ及び同形状となされる。また参照パッチは隣接する参照パッチ同士の一部が互いに重複していてもよい。本実施形態において、着目パッチを基準とした一定の座標範囲は、例えば、着目パッチを水平方向にＷ画素分に相当する距離だけずらした位置で且つ着目パッチを垂直方向にＷ画素分に相当する距離だけずらした位置までで表される矩形の範囲とする。参照設定部３０１は、着目パッチを基準とした一定の座標範囲内に含まれる各画素のうち、着目画素を除いた各画素をそれぞれ参照画素とし、それら各参照画素のごとに、着目パッチと同サイズで且つ同形状のパッチを参照パッチとして設定する。

次に、探索部２０２の算出部３０２は、着目パッチと、当該着目パッチを基準とした一定の座標範囲内に含まれる個々の参照パッチとの間で類似度を算出する。例えば算出部３０２は、着目パッチと参照パッチの両パッチ内で同位置の画素の差分二乗和（ＳＳＤ）や絶対値和（ＳＡＤ）など一般に知られている距離指標を算出し、その距離指標を類似度として取得する。

次に、探索部２０２の類似選択部３０３は、前述した一定の座標範囲内の複数の参照パッチの中から、類似度に基づいてＮ１個の参照パッチを選択し、それら選択した参照パッチを類似パッチとして取得する。例えば、類似選択部３０３は、類似度である距離指標が予め設定された閾値以下になる参照パッチを、類似パッチとして選択する。なお、類似度（距離指標）に対する閾値は、一定の値であってもよいし、着目パッチに依存した適応的な値として決定されてもよい。また、類似選択部３０３は、類似度が閾値以下となる参照パックの個数Ｎ１が、予め設定された所定パッチ数Ｎを超える場合、それら各参照パッチを類似度である距離指標を基にソートし、上位Ｎ個の参照パッチだけを類似パッチとして選択し直してもよい。

ここで、前述した一定の座標範囲内の複数の参照パッチの中から類似度を基に選択される類似パッチの個数Ｎ１は、一般的に着目パッチ及び入力画像におけるテクスチャの特徴に依存して変化する。例えば着目パッチ及び入力画像におけるテクスチャの特徴によって、着目パッチに類似したパッチが入力画像内において低い頻度でしか現れない場合、類似パッチとして選択される個数Ｎ１は少なくなる。例えば、着目パッチのテクスチャが複雑で鮮鋭であるほど、その着目パッチに類似したパッチは見つかり難くなり、その結果として類似パッチの個数Ｎ１は少なくなる傾向がある。しかしながら、パッチベースのノイズ低減処理が行われる場合において、類似パッチの個数が十分な数だけ得られないと、画像の領域によってノイズ低減効果にばらつきが発生し、画像全体としては画質が低下してしまうことになる。

そこで情報処理装置１００は、着目パッチと類似パッチの少なくともいずれかを基に、入力画像に含まれているパッチとは異なった合成パッチを生成し、その合成パッチと類似パッチを用いて、着目パッチに画質低下の少ないノイズ低減処理を施す。例えば情報処理装置１００は、着目パッチとＮ１個の類似パッチとを用いて、Ｎ−Ｎ１個の合成パッチを新たに生成し、着目パッチと類似パッチと合成パッチを連結したＮ＋１個のパッチの集合（以降、「パッチ群」と呼ぶ。）を生成する。この処理の目的は、着目パッチと少ない数の類似パッチだけをパッチ群として用いてノイズ低減処理を行うと、ノイズ低減性能が低くなるという課題を解決することである。換言すると、この処理は、ノイズ低減処理の性能が類似パッチ数に依存することを抑制するために行う。このように情報処理装置１００は、着目パッチと類似パッチとを基に合成パッチを生成し、その合成パッチも用いて疑似的にパッチ数を増やすことで、ノイズ低減処理の性能が着目パッチごとに変動しないようにして良好なノイズ低減処理を実現する。

このため、本実施形態の情報処理装置１００では、次のステップＳ５０３において、判定部２０３が、合成パッチの生成処理を行うか否かを判定する。例えば、判定部２０３は、選択された類似パッチの個数Ｎ１が予め設定された所定のパッチ数未満（パッチ数Ｎ未満）であれば、合成パッチの生成処理を行うと判定する。一方、判定部２０３は、選択された類似パッチの個数Ｎ１が所定パッチ数Ｎ以上であれば、合成パッチの生成処理を行わない判定する。そして、情報処理装置１００の処理は、ステップＳ５０３において合成パッチの生成処理を行うと判定された場合にはステップＳ５０４に進み、一方、合成パッチの生成処理を行わないと判定された場合にはステップＳ５０５に進む。

ステップＳ５０４に進むと、生成部２０４は、着目パッチとＮ１個の類似パッチとを用いて、Ｎ−Ｎ１個の合成パッチを新たに生成し、それら着目パッチと類似パッチと合成パッチを連結したＮ＋１個のパッチの集合からなるパッチ群を生成する。
このステップＳ５０４の処理として、図４に示す生成部２０４のベース選択部４０１は、まず着目パッチ及びＮ１個の類似パッチの中からＮ２個のパッチをベースパッチとして選択する。ベースパッチは、一様な確率でランダムに選択してもよいし、類似パッチの特性に基づいて決定される確率重みに従ってランダムに選択してもよい。もしくは、ベースパッチは、前述した類似度である距離指標を用いた既定の規則に従い選択してもよい。既定の規則は、例えばルックアップテーブルとして用意されていてもよい。この場合のルックアップテーブルは、例えば、着目パッチと全ての類似パッチがまんべんなく選択されるように、着目パッチ及び類似パッチの組み合わせと距離指標とを対応付けて定義したものとなされる。なお、ベースパッチの個数のＮ２は予め設定されている値でもよいし、類似パッチの特性に基づいて適応的に決定されてもよい。

次に中間生成部４０２は、Ｎ２個のベースパッチを重み付き平均して一つの中間パッチを生成する。重みは、全てのベースパッチに対し同じ値でもよいし、類似度である距離指標などに基づきベースパッチごとに異なる値が与えられてもよい。

次に付加部４０３は、中間パッチの各画素にランダムノイズ（以降、「合成ノイズ」と呼ぶ。）を付加することで、合成パッチを生成する。合成ノイズは、同一の分散値を持つ確率分布に従い画素ごとに独立に決定される。合成パッチは、類似パッチが共通して持っている性質を備えつつも、パッチ群のいずれのパッチとも異なることが望ましい。中間パッチは、平均化の影響で類似パッチよりもノイズが低減される。より詳細には、中間パッチがＮ２個のベースパッチの単純平均である場合には、大数の法則に従い、中間パッチに含まれるノイズの分散は１／Ｎ２に低減する。ただし、合成パッチには類似パッチと同様にノイズが含まれていることが望ましいため、中間パッチに前述の合成ノイズを加えることが有効である。また、本発明者らは、合成ノイズの分散値を、実際に入力画像に含まれているノイズの分散値より大きくすることで、より高いノイズ低減性能が得られることを検証した。この理由として、合成パッチは、入力画像に含まれるノイズに加えて類似パッチ間の差異を疑似的に再現する必要があり、そのために合成ノイズの分散値が入力画像に含まれているノイズより大きいことが有効と考えられる。一方、合成ノイズを付加しないと、ノイズ低減性能は低下する。以上の効果を検証した結果については、後述する図７において説明する。

また、付加部４０３は、撮影時のカメラの設定値である例えばＩＳＯ感度と、ノイズの分散値とを対応付けて定義されたルックアップテーブルを参照することで、入力画像に含まれるノイズの分散値もしくは合成ノイズの分散値を決定してもよい。また、付加部４０３は、公知の手法により入力画像を解析してノイズの分散値を推定し、これに基づき合成ノイズの分散値を決定してもよい。以上の処理は、下記の式（１）によって表される。

式（１）中のｘｉはパッチ群においてｉ番目の合成パッチであり、ｘｊはｊ番目の類似パッチ、ｗｊは合成パッチｘｊに対する重み係数、Ｓｉはベースパッチを同定するインデクスの集合、ｎｉは合成ノイズである。なお、着目パッチはｘ０とする。また、これらｘｉ、ｘｊ、ｎｉは、いずれもパッチ内の画素を並べた列ベクトルである。ｉはＮ１＋１以上Ｎ以下の自然数であり、ｊは０以上Ｎ１以下の整数である。
生成部２０４は、図４に示す構成によって以上の処理をＮ−Ｎ１回反復することで、Ｎ−Ｎ１個の合成パッチを生成する。

次に図５のステップＳ５０５に進むと、ノイズ低減部２０５は、入力されたパッチ群に対しノイズ低減処理を行う。ノイズ低減処理は任意のパッチベース手法を用いることができる。例えば、ノイズ低減部２０５は、まず式（２）で表されるように、ｘｉの集合であるパッチ群を表す行列Ｐを生成する。次にノイズ低減部２０５は、式（３）で表されるように、行列Ｐの行（水平）方向に平均をとって得られる平均パッチをＮ＋１列繰り返し、行列Ｐｍを生成する。さらにノイズ低減部２０５は、式（４）で表されるように、共分散行列Ｃを算出する。ここで、Ｔは行列の転置を表す。そして、ノイズ低減部２０５は、共分散行列Ｃを用いてノイズが低減されたパッチの集合Ｐｄを式（５）に従い算出する。このように、ノイズ低減部２０５は、着目パッチ及び類似パッチを基に、着目パッチ内の各画素の相関を表す共分散行列で表現される確率モデルを推定し、その推定した確率モデルに基づいて着目パッチの全画素に対しノイズ低減処理を行う。ノイズ低減部２０５は、これらの演算処理を行うことで、入力されたパッチ群の各パッチに対しノイズが低減されたノイズ低減済みパッチ群を生成する。

ここで、式（４）のＴは行列の転置を表す。また、式（５）のｖは、入力画像に含まれるノイズの分散値を表す。式（５）によるＰｄの各列は、Ｐの各列に対応するパッチに対しノイズが低減されたパッチとなっている。

図６（Ａ）と図６（Ｂ）は、一例としてＮ＝５でＮ１＝３の場合に、前述した処理を模式的に表した図である。ノイズ低減部２０５は、図６（Ａ）に示すように、入力画像６００の中から任意に設定された着目パッチｘ０に対し、３個の類似パッチｘ１〜ｘ３を抽出する。そして、ノイズ低減部２０５は、図６（Ｂ）に示すように、着目パッチｘ０と類似パッチｘ１〜ｘ３とを基に２個の合成パッチｘ４及びｘ５を生成し、それら各パッチｘ０〜ｘ５を列ベクトルに変換し連結することで行列Ｐを生成する。次に、ノイズ低減部２０５は、行列Ｐに対してノイズ低減処理を行い、そのノイズが低減された後の６個の各パッチｘ０'〜ｘ５'を連結した行列Ｐｄを生成する。

またノイズ低減部２０５は、ノイズ低減処理として２段階の処理を行っている。ノイズ低減部２０５は、１段階目の処理として、各着目パッチに対して式（２）から式（５）までの演算処理を行うことによりノイズが低減されたパッチ群を生成し、後述のパッチ統合処理によりノイズが低減された第１の画像を生成する。そしてノイズ低減部２０５は、２段階目の処理として、１段階目の処理で生成した第１のノイズ低減済み画像を入力画像として同様の処理を行うことで、第２のノイズ低減済み画像を生成する。

上述したノイズ低減処理は、下記の式（６）で表されるように、共分散行列の対角成分からｖを差し引いて得られる行列が、ノイズが除去されたパッチ群に対して同様に算出される共分散行列Ｃ０の良い近似であることが前提となっている。

ここで、式（６）のＩは単位行列を表す。式（６）の近似精度は、パッチ数Ｎが増えるほど向上する。より詳細には、式（６）の右辺の各要素のＣ０に対する誤差は大数の法則に従い、Ｎ＋１の平方根に逆比例する。このため、Ｎを増やすことは式（５）の精度を高め、結果としてノイズ低減性能の向上につながる。

次にステップＳ５０６において、設定部２０１は、次に処理すべき未処理の着目パッチが存在するか否かを判定する。そして、ステップＳ５０６において未処理の着目パッチが存在すると判定された場合、情報処理装置１００の処理はステップＳ５０１に戻り、前述したステップＳ５０１〜ステップＳ５０５のノイズ低減処理が行われる。なお、このとき、処理時間を短縮するために、一度類似パッチとして選択されたパッチは以後着目パッチとして選択しない、などの方法を採ってもよい。一方、ステップＳ５０６において未処理の着目パッチが存在しないと判定された場合、情報処理装置１００は、ステップＳ５０１〜Ｓ５０５のノイズ低減処理を終了してステップＳ５０７の処理に進む。

そしてステップＳ５０７に進むと、統合部２０６は、前述のステップＳ５０１〜ステップＳ５０５によるノイズ低減済みパッチ群を用いて、ノイズ低減済み画像を生成する。ここで、ノイズ低減済みパッチ群は互いに重複しうる。そのため、統合部２０６は、各画素に対して複数のパッチからの画素値を統合した一つの値を決定する必要がある。なお、統合部２０６は、画素値の平均値を統合して一つの値を決定するが、この方法に限定されるものではない。

図７は、合成パッチを用いない場合と、合成ノイズを加えない場合と、合成ノイズの分散値ｖ'を入力画像に含まれるノイズの分散値ｖと同一とした場合と、ｖ'をｖの２倍とした場合との、４通りについて、ノイズ低減性能の例を表に示した図である。図７では、合成パッチを用いない場合を条件１、合成ノイズを加えない場合を条件２、合成ノイズの分散値ｖ'を入力画像のノイズの分散値ｖと同一とした場合を条件３、ｖ'をｖの２倍とした場合を条件４としている。

ここで、パッチは、幅が１２画素分で高さが１２画素分の正方形とし、類似パッチの個数Ｎ１は２１６個としている。図７に示された値は、ノイズ低減後の着目パッチのＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ―ｔｏ―Ｎｏｉｓｅ Ｒａｔｉｏ）である。ＰＳＮＲは、画質指標の一つであり、ＰＳＮＲの値が高いほど、ノイズ低減結果が真値に近いことを意味する。この図７からわかるように、本実施形態の情報処理装置１００の合成パッチを用いたノイズ低減処理は、条件１から条件４のいずれの条件であっても、ＰＳＮＲの値が高く且つほぼ同様の値が得られている。すなわち、本実施形態によれば、ノイズを低減した高画質の画像を、画像の内容によらずに安定して取得可能な処理であることがわかる。

＜第２の実施形態＞
前述した第１の実施形態は、合成パッチ生成処理において、ベースパッチの重み付き平均を中間パッチとして生成した例である。以下の第２の実施形態では、基底分解によって中間パッチを生成する例について説明する。なお、第２の実施形態の情報処理装置１００の基本的な装置構成や処理フローは第１の実施形態と同様であるため、その図示と説明は省略する。第２の実施形態では、主に生成部２０４における処理について説明する。
図８は、第２の実施形態における生成部２０４の機能構成を示した機能ブロック図である。第２の実施形態に係る生成部２０４は、基底生成部８０１、中間生成部８０２、付加部８０３を有する。

第２の実施形態の場合、図５のステップＳ５０４において、生成部２０４は、着目パッチとＮ１個の類似パッチとを用いてＮ−Ｎ１個の合成パッチを新たに生成し、パッチ群を出力する。第２の実施形態の生成部２０４において、基底生成部８０１は、着目パッチ及び類似パッチを用いて、複数の基底パッチを生成する。基底パッチは、着目パッチ及び類似パッチと同一のサイズで且つ同形状を有し、公知の手法を用いて生成される。公知の手法としては、主成分分析が挙げられるが、これに限定されることはない。

あるいは、生成部２０４は、着目パッチを予め用意された基底パッチ群を用いて近似し、この近似に用いられた基底パッチだけを次の中間パッチ生成に用いる方法を用いてもよい。例えば生成部２０４は、近似の処理として、複数の基底パッチを選択し重み付き平均をとって得られる近似パッチと着目パッチの類似度である距離指標が最小になるように、基底パッチと重みの組を求める。距離指標が最小になる基底パッチと重みの組を求める手法は、最小二乗法などの様々な最適化手法を用いることができる。また、予め用意された基底パッチ群は、事前に多数の学習用画像から学習されたものでもよいし、関数によって与えられたものでもよい。このような関数としては、離散コサイン変換基底、放射基底関数（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）などが挙げられる。

次に、中間生成部８０２は、基底パッチの全てあるいは一部を用いて、中間パッチを生成する。具体的には、中間生成部８０２は、基底パッチの各々に対しランダムに決定される重みを乗じ加重平均をとる手法などにより中間パッチを生成する。この重みは、生成される中間パッチが着目パッチと類似している要請を満たすために、適切な範囲内にあることが望ましい。このようにして生成されたパッチは、着目および類似パッチのいずれとも異なり、かつ類似したテクスチャを有する。

次に、付加部８０３は、第１の実施形態の付加部４０３と同様の処理によって中間パッチに合成ノイズを付加することにより、合成パッチを生成する。
第２の実施形態の情報処理装置１００は、以上の方法により生成した合成パッチを加えたパッチ群を用いてノイズ低減処理を行うことで、合成パッチを用いない場合に比べノイズ低減性能を向上させることが可能になる

＜その他の実施形態＞
前述した実施形態では、デジタルカメラ等の撮像装置で撮像された入力画像のノイズ低減例を挙げたが、入力画像はデジタルカメラによって撮像されたものに限定されない。入力画像は、例えばデジタルカメラ機能を備えたパーソナルコンピュータやタブレット端末、スマートフォン、携帯ゲーム機などの各種情報端末、カムコーダ、車載カメラ、監視カメラ、医療用カメラ、あるいは工業用カメラ等で取得された画像であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、２０１：設定部、２０２：探索部、２０３：判定部、２０４：生成部、２０５：ノイズ低減部、２０６：統合部

Claims (20)

1. 画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理装置であって、
   前記画像に対して着目パッチを設定する設定手段と、
   前記着目パッチを基に、前記画像から類似パッチを探索する探索手段と、
   前記着目パッチと前記類似パッチの少なくともいずれかを基に、前記画像に含まれるパッチとは異なった合成パッチを生成する生成手段と、
   前記着目パッチと前記類似パッチと一つ以上の前記合成パッチと、を含むパッチ群を用いて、前記着目パッチのノイズを低減するノイズ低減手段と、
   を有することを特徴とする画像処理装置。
2. 前記探索手段は、前記着目パッチの位置に基づいて複数の参照パッチを設定し、前記着目パッチと前記参照パッチとの類似度に基づいて、前記参照パッチの中から類似パッチを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記探索手段は、前記類似度が閾値を超える参照パッチを全て前記類似パッチとして選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記探索手段は、前記選択した類似パッチの数が所定のパッチ数を超える場合、前記選択した類似パッチを前記類似度の順にソートして、上位の前記所定のパッチ数のパッチだけを類似パッチとして選択し直すことを特徴とする請求項３に記載の画像処理装置。
5. 前記合成パッチを生成するかどうかを判定する判定手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、前記探索された類似パッチの数が所定のパッチ数未満である場合に前記合成パッチを生成すると判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記探索された類似パッチの数である第１の数が、前記所定のパッチ数である第２の数未満である場合に、前記第２の数から前記第１の数を引いた個数の合成パッチを生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記探索された複数の類似パッチから選択した一部の類似パッチを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記着目パッチおよび前記類似パッチからなるパッチ群からランダムに複数のパッチを選択して前記中間パッチを生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記選択された複数のパッチの加重平均により前記中間パッチを生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記着目パッチおよび前記類似パッチを基に複数の基底パッチを生成して、前記生成した複数の基底パッチの一部もしくはすべてを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
12. 前記生成手段は、前記着目パッチを、予め用意された基底パッチ群を用いて近似し、前記近似に用いた複数の基底パッチを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
13. 前記生成手段は、前記複数の基底パッチの加重平均により前記中間パッチを生成することを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記生成手段は、前記中間パッチにランダムノイズを付加して前記合成パッチを生成することを特徴とする請求項８から１３のいずれか１項に記載の画像処理装置。
15. 前記ランダムノイズの分散値は、前記着目パッチの各画素に含まれるノイズの分散値よりも大きいことを特徴とする請求項１４に記載の画像処理装置。
16. 前記ランダムノイズの分散値は、前記画像が撮影により取得された際のＩＳＯ感度に基づき決定されることを特徴とする請求項１５に記載の画像処理装置。
17. 前記ノイズ低減手段は、前記着目パッチおよび前記類似パッチから確率モデルを取得し、前記確率モデルに基づいて前記着目パッチの全画素に対しノイズ低減処理を行うことを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記確率モデルは、着目パッチ内の各画素の相関を表す共分散行列で表現されることを特徴とする請求項１７に記載の画像処理装置。
19. 画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理方法であって、
    前記画像に対して着目パッチを設定する設定工程と、
    前記着目パッチを基に、前記画像から類似パッチを探索する探索工程と、
    前記着目パッチと前記類似パッチの少なくともいずれかを基に、前記画像に含まれるパッチとは異なった合成パッチを生成する生成工程と、
    前記着目パッチと前記類似パッチと一つ以上の前記合成パッチと、を含むパッチ群を用いて、前記着目パッチのノイズを低減するノイズ低減工程と、
    を有することを特徴とする画像処理方法。
20. コンピュータを請求項１から１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images