JP2021082196A - 画像処理装置、画像処理方法、パラメータ生成方法、及びプログラム - Google Patents

Abstract

【課題】計算コストやデータ量を抑制しながら、多様なノイズレベルに対応して、画像に対する有効なノイズ低減を行う。【解決手段】対象画像に対するノイズ低減処理を行う画像処理装置は、対象画像および対象画像のノイズレベルを表す対象ノイズレベルを取得する対象データ取得部２０１、第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、第２の参照ノイズレベルで学習したノイズ推定手段の第２の参照パラメータとを取得する参照パラメータ取得部２０２、第１の参照ノイズレベルと、第２の参照ノイズレベルと、対象ノイズレベルとに基づいて、第１の参照パラメータおよび第２の参照パラメータを合成して、対象ノイズレベルに対応する対象パラメータを生成するパラメータ合成部２０３、及び対象パラメータを用いて、ノイズ推定手段により対象画像に対するノイズ低減処理を行うノイズ低減処理部２０４を有する。【選択図】図２

Description

本発明は、一般に、画像処理に関し、より具体的には、画像のノイズ低減に関する。

近年、ディープニューラルネットワーク（ＤＮＮ）が、多くの画像復元のアプリケーションに応用されている。ＤＮＮとは、具体的には、２層以上の隠れ層を有するニューラルネットワークを指し、隠れ層の数を多くすることで性能が向上してきている。画像復元とは、具体的には、ノイズ低減、ボケ除去、超解像、欠損補完などの、劣化画像から元画像を復元する処理を指す。画像復元におけるＤＮＮの課題として、特定のパラメータで表現できる画像劣化に対しては従来の手法を上回る復元性能を示すものの、多様な画像劣化に対しては単一のネットワークでは性能が十分でないことが知られている。例えば、画像のノイズ低減の場合、ネットワークの学習に用いる画像に含まれているノイズレベルが単一、あるいは十分に狭い範囲にある場合、学習時と同じノイズレベルの画像は良好にノイズが低減される。しかし、学習時と異なるノイズレベルの画像に対しては、十分なノイズ低減効果が得られない。

この課題に対して、多様なノイズレベルの画像を混在させてネットワークを学習させる方法が知られている（非特許文献１参照）。この方法によれば、学習に用いた画像のいずれかのノイズレベルのノイズを有する画像に対しては、十分なノイズ低減効果が得られる。

K． Zhang， W． Zuo， Y． Chen， D． Meng， and L． Zhang， "Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising，" IEEE Trans． Image Process．， vol． 26， no． 7， pp． 3142 − 3155， 2017． Foi， A．， M． Trimeche， V． Katkovnik， and K． Egiazarian， "Practical Poissonian−Gaussian noise modeling and fitting for single−image raw−data"， IEEE Trans． Image Process．， vol． 17， no． 10， pp． 1737−1754， 2008．

しかしながら、非特許文献１に開示されたように、多様なノイズレベルの画像を混在させて学習させたネットワークでは、処理対象の画像と同一、かつ単一のノイズレベルで学習したネットワークを用いた場合に比べると、ノイズ低減後の画質が十分でない。そのため、画質を優先する場合には、処理対象の画像に生じ得る全てのノイズレベルの各々に対して個別に学習したネットワークを複数用意し、処理対象の画像のノイズレベルに応じてそれらを使い分ける必要がある。この場合、複数のネットワークを学習するための計算コストや、複数のネットワークのパラメータのデータ量が増加し、実装可能なデバイスや環境が制約を受けてしまう。

本発明は、このような問題に鑑みてなされたものであり、計算コストやデータ量を抑制しながら、多様なノイズレベルに対応して、画像に対する有効なノイズ低減を行うことを目的とする。

本発明の一実施形態において、対象画像に対するノイズ低減処理を行う画像処理装置は、前記対象画像および前記対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得手段と、第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得手段と、前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する対象パラメータを生成する生成手段と、前記対象パラメータを用いて、前記ノイズ推定手段により前記対象画像に対する前記ノイズ低減処理を行うノイズ低減手段とを有する。

本発明によると、計算コストやデータ量を抑制しながら、多様なノイズレベルに対応して、画像に対する有効なノイズ低減を行うことができる。

第１の実施形態における情報処理装置のハードウェア構成の一例を示す図である。 第１の実施形態における情報処理装置の機能ブロック図である。 一般的なニューラルネットワークの構造の一例を示す図である。 一般的なスキップ接続のあるニューラルネットワークの構造の一例を示す図である。 第１の実施形態におけるニューラルネットワークの学習方法を示す図である。 第１の実施形態におけるノイズ低減処理のフローチャートである。 第２の実施形態における情報処理装置の機能ブロック図である。 第２の実施形態におけるニューラルネットワークの学習方法を示す図である。 第２の実施形態におけるノイズ低減処理フローチャートである。 第５の実施形態におけるニューラルネットワークの学習方法を示す図である。 第６の実施形態におけるニューラルネットワークの学習方法を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は、本発明を限定するものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。本発明には、本発明の要旨を逸脱しない範囲の様々な変形形態も含まれる。また、本発明は、以下の実施形態の一部を組み合わせるようにして構成してもよい。

（第１の実施形態）
本実施形態では、異なるノイズレベルで学習させたニューラルネットワーク（ＮＮ）のパラメータをもとに、任意の処理対象のノイズレベルに対応するパラメータを生成する。そして、当該パラメータを適用したＮＮにより、処理対象の画像に対するノイズ低減処理（すなわち、画像処理）を行う。なお、以下では、ニューラルネットワーク（ＮＮ）を単にネットワークとも称する。また、本実施形態は、画像のノイズ推定手段としてニューラルネットワークを用いて説明するが、これに限定されず、同様の性質を有するノイズ推定手段に適用可能である。

図１は、本実施形態における情報処理装置のハードウェア構成の一例を示す。本実施形態の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。情報処理装置１００の各構成要素は、システムバス１０７によって相互に接続されている。また、情報処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８および操作部１１０に接続されている。また、情報処理装置１００は、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用い、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して情報処理装置１００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、情報処理装置１００で取り扱われる種々のデータを記憶し、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行う。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々なタイプの記憶装置を用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。情報処理装置１００は、入力インターフェース１０５を介して、外部装置からデータや命令等を入力する。本実施形態では、情報処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また、本実施形態では、情報処理装置１００は、操作部１１０に入力されたユーザの指示を、入力インターフェース１０５を介して取得する。操作部１１０は、マウスやキーボードなどの入力装置であり、ユーザの指示を入力する。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力インターフェース１０６を介して、外部装置にデータ等を出力する。本実施形態では、情報処理装置１００は、出力インターフェース１０６を介して表示装置１０９（例えば、液晶ディスプレイなどの各種画像表示装置）に、ＣＰＵ１０１によって処理されたデータ（例えば、画像データ）を出力する。

なお、情報処理装置１００は、上記以外の構成要素を備えてもよい。

図２は、本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、対象データ取得部２０１、参照パラメータ取得部２０２、パラメータ合成部２０３、ノイズ低減処理部２０４、及びパラメータ保持部２０５を有する。情報処理装置１００は、各機能部が処理を実施することにより、画像処理装置として機能する。各機能部が実施する処理については、図６を参照して後述する。

図３は、一般的なＮＮの構造の一例を示す。本実施形態では、一般的なＮＮの構造を、畳み込みニューラルネットワーク（ＣＮＮ）を例に用いて説明するが、この構造には限定されない。

図３（ａ）に示すように、ＮＮは、入力層３０１、１つまたは複数の中間層３０２（ブロック１〜Ｘ）、及び出力層３０３を含む。入力層３０１には、ノイズを含む画像が入力される。その後、逐次的にブロック１からブロックＸまでの処理が実行され、最後に出力層３０３にデータが出力される。ブロック間を伝達するデータは、入力データと同サイズ、またはより低い解像度の複数チャネルの画像の形態をとる。出力データは、推定されたノイズ、もしくはノイズが低減された画像である。推定されたノイズを出力データとして学習した学習モデルを用いてノイズ低減処理する場合には、入力データから出力データを差し引くことで、ノイズが低減された画像が得られる。

また、図３（ｂ）に示すように、各ブロックは、畳み込み層３０４、正規化層３０５、及び活性化層３０６を連結した構造となっている。なお、必ずしも全ての層を含む必要はなく、ブロックによって構造が異なっていてもよい。

畳み込み層３０４は、入力されるデータの各チャネルに対し所定のフィルタを畳み込んだ結果を加算し出力する。フィルタ係数は、後述する学習によって決定する。畳み込み層３０４の出力のチャネル数は任意に決めることができ、出力チャネル数に応じた種類のフィルタを用意すればよい。

正規化層３０５は、入力されるデータに対し、平均と分散を補正する線形変換を行う。例えば、学習用データをネットワークに入力したときの正規化層３０５の出力が、平均が０、分散が１になるように線形変換係数を、後述する学習によって決定する。

活性化層３０６は、入力されるデータに対し、要素ごとに独立に非線形変換を行う。非線形変換は具体的には、ｓｉｇｍｏｉｄ関数、ｔａｎｈ関数、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）など、一般に知られている関数を用いることができる。

図４は、一般的なスキップ接続のあるニューラルネットワークの構造の一例を示す。図示されるように、一般的なＮＮは、入力層３０１または任意のブロックの出力と、別のブロックの出力とを加算または連結するようなスキップ接続を有してもよい。

次に、ＮＮの学習について説明する。ＮＮの学習とは、学習用データを用いて、ＮＮを構成するパラメータを決定することを指す。パラメータとしては、例えば、畳み込み層のフィルタ係数、正規化層の線形変換の係数などが挙げられる。

学習用データは、入力データ（生徒データ）と出力データの正解値（教師データ）のペアの集合である。ノイズ低減を目的とする場合には、生徒データは実写画像またはＣＧ画像に人工的なノイズを付加して得られるノイズ画像とし、教師データはノイズを付加する前の元画像、または付加したノイズ自体とする。人工ノイズは、一般的に、分散値が同一のガウス乱数を画素ごと独立に加算することで生成されるが、輝度依存性ノイズなど、より現実に近いノイズモデルを用いて生成してもよい。人工ノイズにおける分散値は、特定のＩＳＯ感度に対応した値とすることができる。また、人工ノイズを用いる代わりに、ＩＳＯ感度が異なる条件で撮影された同一被写体の画像のペアの集合を学習用データとしてもよい。この方法は、現実のノイズを用いて学習できるため、実写画像に対するノイズ低減効果が人工ノイズを用いて学習する場合に比べて高くなるメリットがある。しかしその反面、画像のペア間でわずかな位置ずれも許容されないため、撮影は困難であり、撮影シーンが制約される。

実写画像のノイズレベルは、撮影の設定（主にＩＳＯ感度）や機材の状態（主に長時間連続使用による発熱）などによって変化することが知られている。そのため、ノイズ低減処理は多様なノイズレベルに対応する必要がある。

そこで本実施形態では、異なるノイズレベルで学習させたＮＮのパラメータをもとに、新たなネットワークを生成して、任意の処理対象のノイズレベルに対して用いる。特に、本実施形態では、２つのノイズレベルのそれぞれで学習させた２つのネットワークを用いる方法について説明する。

次に、新たなネットワークを生成する方法について説明する。具体的には、まず、同じ層構造を有するネットワークを、パラメータのみが異なるようにして、２つの参照ノイズレベルのそれぞれで学習させる。次に、学習済みネットワークのそれぞれのパラメータ（参照パラメータとも称する）を、処理対象の画像のノイズレベルに応じて合成し、新たなパラメータ（対象パラメータとも称する）を生成する。このようにして、処理対象のノイズレベルに対応する新たなネットワークを生成する。

上記の方法で生成した対象パラメータを用いるネットワークで所望の効果を得るためには、２つの参照ノイズレベル間で各畳み込みフィルタの役割（すなわち、抽出する特徴量）が同一である必要がある。しかし、それぞれの参照ノイズレベルでの学習を独立に行った場合には、このような同一性は保証されない。そこで、２つの参照ノイズレベル間で各畳み込みフィルタの役割を同一にするために、本実施形態では、以下に述べる方法で追加学習を行う。

図５は、本実施形態におけるニューラルネットワークの学習方法を示す。本実施形態では、異なる参照ノイズレベルのそれぞれでネットワークを学習させ、各参照ノイズレベルに対応した参照パラメータを生成する方法について説明する。なお、本学習方法は、図２の情報処理装置１００が実施してもよいし、その他の装置が実施してもよい。本学習方法を実施する装置は、図示された機能部を有するように構成される。

まず、初期パラメータ取得部５００が、ネットワーク学習のための初期パラメータを取得する。初期パラメータは、ランダムに生成したものでも良いし、何かしらの事前学習が行われたものでも良いし、恣意的にデザインされたものでも良い。

続けて、第１の学習部５０１が、上記の初期パラメータに対する追加学習として、ネットワークの第１の学習を行う。第１の学習では、生徒データとして、教師データに第１の参照ノイズレベルに相当する人工ノイズが付加された画像データを用いる。これにより、第１の参照ノイズレベルに対応する第１の参照パラメータを得ることができる。

続けて、第２の学習部５０２が、上記の第１の参照パラメータに対する追加学習として、同じ層構造を有するネットワークの第２の学習を行う。第２の学習では、生徒データとして、教師データに第２の参照ノイズレベルに相当する人工ノイズが付加された画像データを用いる。これにより、第２の参照ノイズレベルに対応する第２の参照パラメータを得ることができる。

このようにして、本実施形態では、異なる参照ノイズレベルのそれぞれでネットワークを学習させ、各参照ノイズレベルに対応する参照パラメータをパラメータ保持部２０５に記憶する。

次に、異なる参照ノイズレベルに対応する２つの参照パラメータを合成して、対象パラメータを生成する方法について説明する。対象パラメータの生成処理は、上述した情報処理装置１００のパラメータ合成部２０３が実施する。

本実施形態では、以下の２つの性質を満たす方法で新たなパラメータを生成することで、生成したパラメータを用いたノイズ低減処理の効果をより好適にすることができる。

性質１：処理対象の画像のノイズレベルが第１の参照ノイズレベルに近いほど、対象パラメータは第１の参照パラメータに近く、処理対象の画像のノイズレベルが第２の参照ノイズレベルに近いほど、対象パラメータは第２の参照パラメータに近い。

性質２：処理対象の画像のノイズレベルが第１の参照ノイズレベルと等しい場合、対象パラメータは第１の参照パラメータに等しく、処理対象の画像のノイズレベルが第２の参照ノイズレベルと等しい場合、対象パラメータは第２の参照パラメータと等しい。

上述した２つの性質を満たす対象パラメータの生成方法（すなわち、パラメータ生成方法）の一例を以下で説明する。

まず、処理対象の画像のノイズレベルを表す対象ノイズレベルＮＬ_targetと、２つの参照ノイズレベルＮＬ_ref1、ＮＬ_ref2を用いて、以下の式（１）により合成係数ｒを求める。

次いで、合成係数ｒを用いて、以下の式（２）により２つの参照パラメータＰＲ_ref1、ＰＲ_ref2を合成して、対象パラメータＰＲ_targetを求める。

このようにして、本実施形態では、２つの異なる参照ノイズレベルのそれぞれに対応する参照パラメータを合成して、処理対象の画像のノイズレベルに対応した対象パラメータを生成することができる。すなわち、多様なノイズレベルに対応して、画像に対する有効なノイズ低減を行うことができる。また、複数のネットワークを学習するための計算コストや、複数のネットワークのパラメータのデータ量を抑制することができる。

図６は、本実施形態におけるノイズ低減処理のフローチャートを示す。なお、本実施形態では、対象ノイズレベルとして、画像の撮影時のＩＳＯ感度情報を使用する。さらに２つの参照ノイズレベルとして、想定する撮像装置で設定可能な最小及び最大のＩＳＯ感度を使用する。したがって、この２つの参照ノイズレベルである最小及び最大のＩＳＯ感度でそれぞれ予め学習させた２つのＮＮの参照パラメータが、パラメータ保持部２０５に保持されている。

フローチャートで示される一連の処理は、情報処理装置１００のＣＰＵ１０１がＲＯＭ１０３または二次記憶装置１０４に格納されている制御プログラムをＲＡＭ１０２に展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。フローチャートの説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

まず、Ｓ６０１において、対象データ取得部２０１は、二次記憶装置１０４または外部記憶装置１０８から対象データを取得する。対象データは、少なくとも対象画像と対象ノイズレベルＮＬ_targetを含む。対象画像は、撮像装置によって撮像された撮像画像とすることができる。対象ノイズレベルは、当該撮像画像が撮像された際のＩＳＯ感度情報とすることができる。

Ｓ６０２において、参照パラメータ取得部２０２は、異なる参照ノイズレベルで予め生成された参照パラメータＰＲ_ref1、ＰＲ_ref2を、パラメータ保持部２０５から取得する。参照パラメータは、撮像装置で設定可能な最小及び最大のＩＳＯ感度で予め学習させた２つのＮＮの参照パラメータである。

Ｓ６０３において、パラメータ合成部２０３は、対象ノイズレベルに応じて２つの参照パラメータＰＲ_ref1、ＰＲ_ref2を合成し、対象パラメータＰＲ_targetを生成する。合成方法は、上述の通りである。

Ｓ６０４において、ノイズ低減処理部２０４は、対象パラメータを用いるＮＮに対象画像を入力することで、ノイズ低減処理を実行する。ノイズ低減処理部２０４は、ＮＮの出力として、対象画像からノイズが低減された画像を取得することができる。

なお、画像のノイズ成分が出力されるように、ＮＮを学習させる方法もある。その場合、ノイズ低減処理部２０４は、対象画像から、出力されたノイズ成分を減算することで、ノイズが低減された画像を取得することができる。

以上説明したように、本実施形態によると、計算コストやデータ量を抑制しながら、多様なノイズレベルに対応して、画像に対する有効なノイズ低減を行うことができる。したがって、例えば、蓄積及び読み込み可能なデータサイズが限られたデバイスにおいて、本実施形態によるノイズ低減処理を実施することができる。

（第２の実施形態）
第１の実施形態では、異なるノイズレベルで学習させたニューラルネットワーク（ＮＮ）のパラメータをもとに、任意の処理対象のノイズレベルに対応するパラメータを生成して、新たなＮＮによるノイズ低減処理を行う方法について述べた。

本実施形態では、異なるノイズレベルで学習させた３つ以上のＮＮの中から選択した２つのＮＮのパラメータをもとに、任意の処理対象のノイズレベルに対応するパラメータを生成して、新たなＮＮによるノイズ低減処理を行う方法について述べる。

図７は、本実施形態における情報処理装置の機能ブロック図である。ここでは、図２に示した第１の実施形態の機能ブロック図と比較して、異なる部分を主に説明する。

本実施形態におけるパラメータ保持部２０５は、異なる参照ノイズレベルで学習させた３つ以上のＮＮの参照パラメータを保持している。参照ノイズレベル決定部７０１は、対象ノイズレベルを取得し、対象パラメータを生成するための２つの参照ノイズレベルを決定して出力する。

図８は、本実施形態におけるニューラルネットワークの学習方法を示す。ここでは、Ｎ（Ｎは３以上の整数）個の異なる参照ノイズレベルのそれぞれで予めネットワークを学習させ、Ｎ個の参照パラメータを生成する方法について説明する。なお、本学習方法は、図７の情報処理装置１００が実施してもよいし、その他の装置が実施してもよい。本学習方法を実施する装置は、図示された機能部を有するように構成される。

まず、初期パラメータ取得部８００が、本実施形態におけるネットワーク学習のための初期パラメータを取得する。初期パラメータは、ランダムに生成したものでも良いし、何かしらの事前学習が行われたものでも良いし、恣意的にデザインされたものでも良い。

続けて、第１の学習部８０１が、上記の初期パラメータに対する追加学習として、ネットワークの第１の学習を行う。第１の学習では、生徒データとして、教師データに第１の参照ノイズレベルに相当する人工ノイズが付加された画像データを用いる。これにより、第１の参照ノイズレベルに対応する第１の参照パラメータを得ることができる。

続けて、第２の学習部８０２が、上記の第１の参照パラメータに対する追加学習として、同じ層構造を有するネットワークの第２の学習を行う。第２の学習では、生徒データとして、教師データに第２の参照ノイズレベルに相当する人工ノイズが付加された画像データを用いる。これにより、第２の参照ノイズレベルに対応する第２の参照パラメータを得ることができる。

同様に、第Ｎの学習部８０３が、第（Ｎ−１）の参照パラメータに対する追加学習として、同じ層構造を有するネットワークの第Ｎの学習を行う。第Ｎの学習により、第Ｎの参照ノイズレベルに対応する第Ｎの参照パラメータを得ることができる。

なお、各参照ノイズレベルは、単調に増加または減少するようにしておくとよい。

このようにして、本実施形態では、Ｎ個の異なる参照ノイズレベルのそれぞれで予めノットワークを学習させ、各参照ノイズレベルに対応する参照パラメータを生成する。

図９は、本実施形態におけるノイズ低減処理のフローチャートを示す。本実施形態における処理フローは、図６で示した第１の実施形態の処理フローと比較して、Ｓ９０１が追加されていることと、Ｓ６０２及びＳ６０３の処理内容とが異なる。以下では、これらの相違点について主に説明する。

Ｓ９０１において、参照ノイズレベル決定部７０１は、対象ノイズレベルに応じて１つまたは２つの参照ノイズレベルを決定する。参照ノイズレベルは、パラメータ保持部２０５が参照パラメータを保持している複数の参照ノイズレベルの中から選択される。２つの参照ノイズレベルを選択する場合は、対象ノイズレベルより大きいものと小さいものを１つずつ選択するとよい。すなわち、選択される２つの参照ノイズレベルは、一方が対象ノイズレベルより大きく、もう一方が対象ノイズレベルより小さいものとする。なお、対象ノイズレベルによってそのように選択できない場合には、そうでなくともよい。

本実施形態では、より好適には、対象ノイズレベルより大きいものの内、最小の参照ノイズレベルと、対象ノイズレベルより小さいものの内、最大の参照ノイズレベルとを選択する。

なお、対象ノイズレベルと同じものが複数の参照ノイズレベルの中にある場合には、その参照ノイズレベル１つを選択する。

Ｓ６０２において、参照パラメータ取得部２０２は、Ｓ９０１で決定した参照ノイズレベルに対応する参照パラメータをパラメータ保持部２０５から取得する。

Ｓ６０３において、パラメータ合成部２０３は、Ｓ６０２で取得した参照パラメータを用いて対象パラメータを生成する。Ｓ９０１で決定された参照ノイズレベルが１つの場合は、その参照ノイズレベルに対応してＳ６０２で取得された参照パラメータを対象パラメータとする。一方、Ｓ９０１で決定された参照ノイズレベルが２つの場合は、第１の実施形態と同じ方法で参照パラメータを合成し、対象パラメータを生成する。

以上説明したように、本実施形態では、予め学習して生成し、保持しておく参照パラメータを多くすることで、第１の実施形態の方法と比較して、より精度の良いパラメータを合成により生成することができる。なぜなら、複数の参照ノイズレベルの中から、対象ノイズレベルにより近い、あるいは同一の参照ノイズレベルを選択して、対象パラメータを生成することができるからである。ただし、この場合、予め学習しておくための計算コストが増加し、蓄積が必要なデータサイズが増大するので、デバイスで蓄積可能なデータサイズや要求される画像品質に応じて、保持しておく参照パラメータの数を適切に設定するとよい。

（第３の実施形態）
第１の実施形態では、上述した式（１）及び式（２）を用いて、異なる参照ノイズレベルに対応する２つの参照パラメータを合成して、対象パラメータを生成するパラメータ生成方法を説明した。

本実施形態では、上述した式とは異なる式を用いて、２つの参照パラメータを合成し、対象パラメータを生成する別のパラメータ生成方法を説明する。

まず、処理対象の画像のノイズレベルを表す対象ノイズレベルＮＬ_targetと、２つの参照ノイズレベルＮＬ_ref1、ＮＬ_ref2を用いて、以下の式（３）により合成係数ｒを求める。

次いで、合成係数ｒを用いて、以下の式（４）により２つの参照パラメータＰＲ_ref1、ＰＲ_ref2を合成して、対象パラメータＰＲ_targetを求める。

本実施形態によるパラメータ生成方法も、第１の実施形態で説明した性質１、２を満たすことができる。

（第４の実施形態）
上述した実施形態では、２つの参照パラメータを合成して、対象パラメータを生成する方法を説明した。具体的には、処理対象の画像のノイズレベルを表す対象ノイズレベルと２つの参照ノイズレベルとを用いて合成係数ｒを求め、当該合成係数ｒを用いて２つ参照パラメータを合成した。本実施形態では、上述した実施形態で示された合成方法の包括的な概念を説明する。

まず、関数ｆ（ｔ，ａ，ｂ）（ｔは実数）は、以下の式（５）によって表現される性質を有するものとする。

また、対象ノイズレベルと２つの参照ノイズレベルは、合成係数ｒを用いて、以下の式（６）によって表現されるものとする。

この場合、２つの参照パラメータＰＲ_ref1、ＰＲ_ref2を合成して、対象パラメータＰＲ_targetを生成する方法は、以下の式（７）によって表現することができる。

第１の実施形態における合成方法は、以下の式（８）によって示される関数の例である。

また、第３の実施形態の合成方法は、以下の式（９）によって示される関数の例である。

以上説明したように、参照パラメータの合成方法を表現することができる。

（第５の実施形態）
第１及び第２の実施形態では、それぞれ図５及び図８を参照して、参照パラメータの生成方法を説明した。本実施形態では、上述した実施形態とは異なる参照パラメータの生成方法の例を説明する。

図１０は、本実施形態におけるニューラルネットワークの学習方法を示す。本実施形態では、第１の参照パラメータに対して、それぞれ第ｉ（ｉは２からＮまでの整数）のノイズレベルで追加学習を行い、第ｉの参照パラメータを逐次生成する。

まず、初期パラメータ取得部１０００が、初期パラメータを取得する。次いで、第１の学習部１００１が、初期パラメータに対する追加学習として、第１の参照ノイズレベルで第１の学習を行う。第１の学習では、第１の参照パラメータを得ることができる。

次いで、第２の学習部１００２から第Ｎの学習部１００３がそれぞれ、第１の参照パラメータに対する追加学習として、それぞれの参照ノイズレベルで第２から第Ｎの学習を行う。第２から第Ｎの学習ではそれぞれ、第２から第Ｎの参照パラメータを得ることができる。

このように、第２から第Ｎの参照パラメータはそれぞれ、同一の参照パラメータである第１の参照パラメータに対する追加学習を行うことによって、生成してもよい。

（第６の実施形態）
本実施形態では、第５の実施形態とは異なるさらに別の参照パラメータの生成方法の例を説明する。

図１１は、本実施形態におけるニューラルネットワークの学習方法を示す。本実施形態では、第２及び第５の実施形態で説明した学習方法を組み合わせて、図示されるような所謂ツリー構造で追加学習を行い、参照パラメータを生成する。

まず、初期パラメータ取得部１１００が、初期パラメータを取得する。次いで、第１の学習部１１０１及び第２の学習部１１０２がそれぞれ、初期パラメータに対する追加学習として、それぞれの参照ノイズレベルで第１及び第２の学習を行う。

次いで、第３の学習部１１０３及び第４の学習部１１０４がそれぞれ、第１の参照パラメータに対する追加学習として、それぞれの参照ノイズレベルで第３及び第４の学習を行う。また、第５の学習部１１０５及び第６の学習部１１０６はそれぞれ、第２の参照パラメータに対する追加学習として、それぞれの参照ノイズレベルで第５及び第６の学習を行う。

このように、所謂ツリー構造のもとで、同一の参照パラメータに対する追加学習を、異なる参照ノイズレベルで行うことで、参照パラメータを生成してもよい。

（その他の実施形態）
なお、ノイズレベルはＩＳＯ感度に限らず、撮像装置内の温度計によって計測した計測温度や直近の使用履歴などからより高精度にノイズ強度を推定しても良い。

また、全てのパラメータを同一の式により合成する必要はなく、パラメータ毎に異なる式を用いて合成しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 対象データ取得部
２０２ 参照パラメータ取得部
２０３ パラメータ合成部
２０４ ノイズ低減処理部
２０５ パラメータ保持部

Claims (15)

1. 対象画像に対するノイズ低減処理を行う画像処理装置であって、
   前記対象画像および前記対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得手段と、
   第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得手段と、
   前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する対象パラメータを生成する生成手段と、
   前記対象パラメータを用いて、前記ノイズ推定手段により前記対象画像に対する前記ノイズ低減処理を行うノイズ低減手段と
   を有することを特徴とする画像処理装置。
2. 対象画像に対するノイズ低減処理を行う画像処理装置であって、
   前記対象画像および前記対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得手段と、
   前記対象ノイズレベルに応じて、３つ以上の参照ノイズレベルの中から第１の参照ノイズレベルおよび第２の参照ノイズレベルを決定する決定手段と、
   前記第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、前記第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得手段と、
   前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する対象パラメータを生成する生成手段と、
   前記対象パラメータを用いて、前記ノイズ推定手段により前記対象画像の前記ノイズ低減処理を行うノイズ低減手段と
   を有することを特徴とする画像処理装置。
3. 前記第１の参照ノイズレベル及び前記第２の参照ノイズレベルは、一方が前記対象ノイズレベルより大きく、もう一方が前記対象ノイズレベルより小さいことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記３つ以上の参照ノイズレベルの中に前記対象ノイズレベルと同じノイズレベルがある場合、当該参照ノイズレベルを１つだけ選択し、
   前記第２の取得手段は、前記選択された参照ノイズレベルの参照パラメータを取得し、
   前記生成手段は、前記取得したパラメータを前記対象パラメータとすることを特徴とする請求項２に記載の画像処理装置。
5. 前記第２の参照パラメータは、前記第１の参照パラメータを基に追加学習して生成した前記ノイズ推定手段のパラメータであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の参照パラメータ及び前記第２の参照パラメータは、同一のパラメータを基に追加学習して生成した前記ノイズ推定手段のパラメータであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記対象パラメータは、
   前記対象ノイズレベルが前記第１の参照ノイズレベルに近いほど、前記第１の参照パラメータに近く、前記対象ノイズレベルが前記第２の参照ノイズレベルに近いほど、前記第２の参照パラメータに近く、
   前記対象ノイズレベルが前記第１の参照ノイズレベルと等しい場合、前記第１の参照パラメータと等しく、前記対象ノイズレベルが前記第２の参照ノイズレベルと等しい場合、前記第２の参照パラメータと等しい、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記ノイズ推定手段は、ニューラルネットワークであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記対象パラメータ、前記第１の参照パラメータ、及び前記第２の参照パラメータは、前記ニューラルネットワークのフィルタ係数、及び線形変換係数の少なくとも１つを含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記ノイズレベルは、ＩＳＯ感度、撮像装置の計測温度、及び、前記撮像装置の使用履歴のうちの少なくとも１つを含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ノイズ推定手段は、ノイズが低減された画像、または、ノイズ成分を推定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
13. 対象画像に対するノイズ低減処理を行う画像処理方法であって、
    前記対象画像および前記対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得ステップと、
    第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得ステップと、
    前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する対象パラメータを生成する生成ステップと、
    前記対象パラメータを用いて、前記ノイズ推定手段により前記対象画像に対する前記ノイズ低減処理を行うノイズ低減ステップと
    を含むことを特徴とする画像処理方法。
14. 対象画像に対するノイズ低減処理を行う画像処理方法であって、
    前記対象画像および前記対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得ステップと、
    前記対象ノイズレベルに応じて、３つ以上の参照ノイズレベルの中から第１の参照ノイズレベルおよび第２の参照ノイズレベルを決定する決定ステップと、
    前記第１の参照ノイズレベルで学習したノイズ推定手段の第１の参照パラメータと、前記第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得ステップと、
    前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する対象パラメータを生成する生成ステップと、
    前記対象パラメータを用いて、前記ノイズ推定手段により前記対象画像の前記ノイズ低減処理を行うノイズ低減ステップと
    を含むことを特徴とする画像処理方法。
15. ノイズ推定手段に適用するパラメータの生成方法であって、
    対象画像のノイズレベルを表す対象ノイズレベルを取得する第１の取得ステップと、
    第１の参照ノイズレベルで学習した前記ノイズ推定手段の第１の参照パラメータと、第２の参照ノイズレベルで学習した前記ノイズ推定手段の第２の参照パラメータとを取得する第２の取得ステップと、
    前記第１の参照ノイズレベルと、前記第２の参照ノイズレベルと、前記対象ノイズレベルとに基づいて、前記第１の参照パラメータおよび前記第２の参照パラメータを合成して、前記対象ノイズレベルに対応する前記パラメータを生成する生成ステップと
    を含むことを特徴とするパラメータ生成方法。

Images