JP2020197915A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】入力画像の内容によらず、ノイズを適切に低減することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像のノイズ低減処理を実行する画像処理装置は、画像に含まれるノイズを推定する第１の推定手段と、画像からノイズが除去された元画像を推定する第２の推定手段と、画像の部分領域の各々について部分領域の内容に応じて第１の推定手段または第２の推定手段を用いてノイズ低減処理を行うノイズ低減手段と、を含むノイズ低減処理部２０５と、ノイズ低減処理が行われた部分領域を統合する統合手段であるパッチ統合部２０６とを有する。【選択図】図２

Description

本発明は、画像におけるノイズを低減する技術に関する。

従来、ニューラルネットワークを用いてノイズ低減処理を行う技術として、ノイズが含まれた入力画像からノイズが除去された元画像を直接推定する手法が知られている（非特許文献１）。しかし、入力画像の内容によっては、ニューラルネットワークを用いない従来手法の方がノイズ低減効果が大きくなることがあった。例えば、ニューラルネットワークを用いる従来手法の方が、テクスチャが多く含まれている箇所では、ノイズ低減後の残留ノイズが相対的に大きくなってしまっていた。

特許文献１には、特定のテクスチャに特化したニューラルネットワーク（専門ＮＮ）を用いてノイズ低減処理を行う技術が開示されている。しかし、特許文献１の方法では、学習においてニューラルネットワークの中間データ（注目ニューロン）に対し教師データを与える必要があること、また、ニューラルネットワークの構造が複雑であることから、学習が困難であった。また、専門ＮＮは、予め特定の種類の被写体の画像を用いて学習されており、当該特定の種類の被写体が含まれない画像、または認識されない画像に対しては全て一般的なニューラルネットワーク（一般ＮＮ）のみで処理される。そのため、ノイズ低減効果の向上は限定的であった。

一方で、ノイズが含まれた入力画像からノイズ自体を推定するニューラルネットワークが近年提案されている（非特許文献２）。しかし、このようなニューラルネットワークは、学習における高速化や収束性の向上を目的としており、ノイズ低減効果が入力画像の内容に依存する点は解決されていなかった。

特開２０１６−３１７４７号公報

H． Burger， C． Schuler， and S． Harmeling． Image denoising: Can plain neural networks compete with BM3D? In IEEE Conf． Computer Vision and Pattern Recognition， pages 2392-2399， 2012． K． Zhang， W． Zuo， Y． Chen， D． Meng， and L． Zhang， "Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising，" IEEE Trans． Image process． 2017．

上述したように、従来のノイズ低減処理では、入力画像の内容に応じてノイズ低減効果が異なってしまい、ノイズを適切に低減することができなかった。

本発明はこのような問題に鑑みてなされたものであり、入力画像の内容によらず、ノイズを適切に低減することを目的とする。

本発明の一実施形態において、画像のノイズ低減処理を実行する画像処理装置は、前記画像に含まれるノイズを推定する第１の推定手段と、前記画像からノイズが除去された元画像を推定する第２の推定手段と、前記画像の部分領域の各々について、前記部分領域の内容に応じて、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理が行われた部分領域を統合する統合手段とを有する。

本発明によれば、入力画像の内容によらず、ノイズを適切に低減することができる。

第１の実施形態の情報処理装置のハードウェア構成例を示す図。 第１の実施形態の情報処理装置の機能ブロック図。 第１の実施形態の画像解析部の構成例を示す機能ブロック図。 第１の実施形態のノイズ低減処理部の構成例を示す機能ブロック図。 第１の実施形態のノイズ低減処理のフローチャート。 第１の実施形態のニューラルネットワークの構造を示す模式図。 第２の実施形態の情報処理装置の機能ブロック図。 第２の実施形態のノイズ低減処理のフローチャート。 第３の実施形態の情報処理装置の機能ブロック図。 第３の実施形態のノイズ低減処理のフローチャート。 第３の実施形態の選択ニューラルネットワークの構造を示す模式図。 第４の実施形態の情報処理装置の機能ブロック図。 第４の実施形態のノイズ低減処理のフローチャート。

以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。なお、以下の実施形態は例であり、本発明の範囲を限定するものではない。また、以下で説明される特徴の組み合わせの全てが本発明に必須のものとは限らない。同一の構成要素については、同じ符号を付す。

＜第１の実施形態＞
第１の実施形態では、入力された画像データを複数のパッチ（すなわち、部分領域）に分割し、このパッチを解析した結果に基づき２つのニューラルネットワークを使い分けることで、良好なノイズ低減を実現する例を述べる。

図１は、本実施形態の情報処理装置のハードウェア構成例を示す。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、及び出力インターフェース１０６を含む。各構成要素は、システムバス１０７を介して相互に接続されている。また、情報処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８及び操作部１１０に接続されている。また、情報処理装置１００は、出力インターフェース１０６を介して外部記憶装置１０８及び表示装置１０９に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして使用して、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。二次記憶装置１０４は、情報処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込み及び二次記憶装置１０４に記憶されたデータの読出しを行う。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。情報処理装置１００は、入力インターフェース１０５を介して、外部装置からデータや命令等を入力する。本実施形態では、情報処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。また、本実施形態では、情報処理装置１００は、操作部１１０に入力されたユーザの指示を、入力インターフェース１０５を介して取得する。操作部１１０は、マウスやキーボードなどの入力装置であり、ユーザの指示を入力する。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。情報処理装置１００は、出力インターフェース１０６を介して、外部装置にデータ等を出力する。本実施形態では、情報処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理されたデータ（例えば、画像データ）を出力する。なお、情報処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。

以下、本実施形態の情報処理装置１００で行われる処理について、図２、図３、及び図４に示される機能ブロック図と、図５に示されるフローチャートを参照して説明する。

図２は、本実施形態の情報処理装置の機能ブロック図である。本実施形態の情報処理装置１００は、画像データ取得部２０１、パッチ分割部２０２、画像解析部２０３、ニューラルネットワーク選択部２０４、ノイズ低減処理部２０５、及びパッチ統合部２０６を有する。本実施形態において、情報処理装置１００は、画像に対してノイズ低減処理を実行する画像処理装置である。

図３は、本実施形態の画像解析部２０３の構成例を示す。画像解析部２０３は、画像変換部３０１、高周波成分判定部３０２、及び輝度成分判定部３０３を有する。

図４は、本実施形態のノイズ低減処理部２０５の構成例を示す。ノイズ低減処理部２０５は、元画像推定ニューラルネットワーク４０１、及びノイズ推定ニューラルネットワーク４０２を有する。

上述した各機能部の詳細は、図５のフローチャートを参照しながら後述する。

なお、各機能部に相当する専用の処理回路を備えるように情報処理装置１００を構成してもよい。

図５は、本実施形態のノイズ低減処理のフローチャートを示す。以下、本実施形態におけるノイズ低減処理の流れについて、図５のフローチャートを参照して説明する。フローチャートで示される一連の処理は、ＣＰＵ１０１がＲＯＭ１０３などの記憶領域に格納されたプログラムコードをＲＡＭ１０２に読み出して実行することにより実現される。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。また、以下の記号「Ｓ」は、フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

Ｓ５０１において、画像データ取得部２０１が、処理対象である画像データを取得する。画像データは、ＲＡＷやＪＰＥＧなどの任意の形式でよい。

Ｓ５０２において、パッチ分割部２０２が、画像データを既定のサイズの複数のパッチ（すなわち、部分領域）に分割する。これらのパッチは互いに重複していてもよく、形状やサイズが必ずしも同一である必要はない。

Ｓ５０３において、画像解析部２０３が、複数のパッチの各々に対して画像解析を行う。画像解析の目的は、対象パッチに複雑なテクスチャ（高周波成分）が含まれるかどうかを判定すること、及び対象パッチの輝度依存性ノイズが一定以上の大きさを有するかどうかを判定することである。輝度依存性ノイズは、分散が輝度に依存する種類のノイズで、イメージセンサにおいて発生する光ショットノイズなどにより必ず画像に含まれる。画像解析は、具体的には、周波数解析及び輝度解析を含む。

周波数解析では、まず、画像解析部２０３の画像変換部３０１が、対象パッチにフーリエ変換、ウェーブレット変換などの変換を行う。次いで、画像解析部２０３の高周波成分判定部３０２が、変換結果において、例えば高周波成分の統計値（最大、平均、中央値）が所定の閾値を超える場合には、対象パッチは高周波成分を有意に含むと判定する。

輝度解析では、画像解析部２０３の輝度成分判定部３０３が、対象パッチの輝度成分の統計値（最大、平均、中央値）が所定の閾値を超える場合には、対象パッチは高輝度であると判定する。すなわち、輝度依存性ノイズが一定以上の大きさを有すると判定する。

なお、本実施形態では、高周波成分及び輝度成分のうちの少なくとも一方を解析し、所定の閾値を超えるかどうか判定すればよい。

Ｓ５０４において、ニューラルネットワーク選択部２０４が、画像解析部２０３の解析結果に基づき、複数のパッチの各々について元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらを用いて処理するかを選択する。

一般的に、ニューラルネットワークは、出力すべきデータの確率密度分布を学習していると解釈することができる。確率密度分布が複雑であるほど学習は困難となり、またニューラルネットワークによって推定された出力データは真の複雑な確率密度分布から乖離しやすくなる。そのため、確率密度分布が単純な形状に従うデータほど推定精度が高くなる。ノイズが除去された理想的な画像（元画像）の確率密度分布は、テクスチャが多いほど複雑な形状となる。そのため、元画像のテクスチャが少なく、元画像の確率密度分布が比較的単純な形状であるほど、元画像を推定するニューラルネットワークによる推定精度は高くなる。

一方、ノイズの確率密度分布の複雑さはノイズの大きさに依存せず、輝度依存性ノイズの場合でもガウス分布という形状にしたがう。そのため、元画像のテクスチャが多い、もしくはノイズが大きいために元画像の推定精度が落ちる場合には、ノイズを推定するニューラルネットワークによる推定精度の方が相対的に高くなる。

このような性質をふまえ、ニューラルネットワーク選択部２０４は、以下に説明するようにニューラルネットワークを選択する。

対象パッチが高周波成分を有意に含む、または高輝度であると画像解析部２０３が判定した場合には、ニューラルネットワーク選択部２０４は、ノイズ推定ニューラルネットワークを選択する。その他の場合には、元画像推定ニューラルネットワークを選択する。

元画像推定ニューラルネットワークは、非特許文献１に開示されているように、従来から知られている。一方、ノイズ推定ニューラルネットワークは、画質の高さに加えて学習における高速化及び収束性の面で優位であることが近年知られるようになってきた（非特許文献２）。しかしながら、これらの２つのタイプのニューラルネットワークの優位性が画像の内容によって変化し、互いに相補的な関係にあることに着目した技術は存在しなかった。本実施形態によれば、学習の難しさを上げることなく、相補的な効果を有するニューラルネットワークを使い分けることで、画像の内容の変化にロバストなノイズ低減効果を得ることができる。

Ｓ５０５において、ノイズ低減処理部２０５が、選択された元画像推定ニューラルネットワーク４０１またはノイズ推定ニューラルネットワーク４０２のいずれかを用いて、複数のパッチの各々に対しノイズ低減処理を実行する。

ここで、図６を参照して、ニューラルネットワークの構造について説明する。図６（ａ）は、元画像推定及びノイズ推定の双方に共通するニューラルネットワークの構造の一例を示す。本実施形態では、畳み込みニューラルネットワークを例に用いて説明するが、この構造には限定されない。入力層には、対象パッチの画素値（入力データ）が入力される。その後、逐次的にブロック１からブロックＮまでの処理を実行し、最後に出力層にデータが出力される。元画像推定ニューラルネットワークの場合には、出力データは推定された元画像の画素値であり、ノイズ推定ニューラルネットワークの場合には、出力データは推定されたノイズの画素値である。後者の場合、入力データから出力データを差し引くことで、元画像が推定される。

ブロック間を伝達するデータは、入力データと同サイズ、またはより低い解像度の複数チャネルの画像の形態をとる。しかしこのデータは、入力データまたは出力データとは直接関連の無い、画像としては意味を持たないデータである。

図６（ｂ）に示すように、畳み込みニューラルネットワークの各ブロックは、畳み込み層、正規化層、及び活性化層を連結した構造となっているが、必ずしも全てを含む必要はなく、ブロックによって構造が異なってもよい。

また、入力層または任意のブロックの出力と、別のブロックの出力とを加算または連結するようなスキップ連結を有してもよい。図６（ｃ）は、元画像推定ニューラルネットワークの構造の一例として、入力層とブロックＮの出力とを加算するスキップ連結を有する構造を示す。

畳み込み層は、入力されるデータの各チャネルに対し、所定のフィルタを畳み込んだ結果を加算して出力する。フィルタ係数は、後述する学習によって決定する。畳み込み層の出力チャネル数は任意に決めることができ、出力チャネル数に応じた種類のフィルタを用意すればよい。

正規化層は、入力データの平均と分散を補正する線形変換を行う。例えば、学習用データを入力した場合の正規化層の出力が、平均が０、分散が１になるように線形変換の係数を決定する。

活性化層は、入力されるデータに対し、要素ごとに独立に非線形変換を行う。非線形変換は具体的には、ｓｉｇｍｏｉｄ関数、ｔａｎｈ関数、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）などの一般に知られている関数を用いることができる。

元画像推定及びノイズ推定ニューラルネットワークは、同一の学習用データを用いて独立に学習させる。ここで学習とは、ニューラルネットワークを構成するパラメータを、学習用データを用いて決定することを指す。パラメータとしては、畳み込み層のフィルタ係数、正規化層の線形変換の係数が挙げられる。

学習用データは、入力データ（生徒データ）と出力データの正解値（教師データ）のペアの集合である。ノイズ低減を目的とする場合には、生徒データは実写画像またはＣＧ画像に人工的なノイズを付加して得られるノイズ画像とし、教師データはノイズを付加する前の元画像、または付加したノイズ自体とする。

人工ノイズは、分散値が同一のガウス乱数を画素ごと独立に加算する方法が一般的だが、輝度依存性ノイズなど、より現実に近いノイズモデルを用いてもよい。

また、人工ノイズを用いない方法として、ＩＳＯ感度など、ノイズの大きさに関与する設定が異なる条件で撮影された同一被写体の画像のペアの集合を学習用データとして用いてもよい。この方法では、現実のノイズを用いて学習させることができるため、現実のノイズを推定する精度が人工ノイズを用いる方法に比べて高くなるメリットがある。しかしその反面、画像のペア間でわずかな位置ずれが発生することがあり、正しく学習を行うために画像間位置合わせ処理を行うと誤差が混入し、その誤差がノイズ推定精度の低下を引き起こす可能性があるというデメリットがある。

本実施形態では、元画像推定及びノイズ推定ニューラルネットワークは、従来の方法を用いて独立して学習させることができるため、特許文献１に開示された技術のように学習の難易度が上がらない。

Ｓ５０６において、パッチ統合部２０６が、ノイズ低減処理が実行された全パッチを統合して、ノイズが低減された補正画像を出力する。複数のパッチに互いに重複が存在する場合には、重複する画素には例えば複数パッチ間の平均値を与えることで、パッチ形状を反映したアーティファクトのない画像を生成することができる。

以上説明したように、本実施形態によると、パッチ毎に画像の内容に適したニューラルネットワークを用いてノイズ低減を行うことができるので、入力画像の内容によらず、ノイズを適切に低減することができる。

＜第２の実施形態＞
第１の実施形態では、ノイズが含まれた画像に対して周波数解析を行うため、ノイズによって誤った高周波成分の判定をしてしまう可能性がある。そこで、本実施形態では、ノイズが低減されたパッチに対して周波数解析を行うことで、高周波成分の判定をより高精度に行う。パッチには、元画像推定ニューラルネットワークまたはノイズ推定ニューラルネットワークによるノイズ低減処理が行われる。

本実施形態における情報処理装置のハードウェア構成は、第１の実施形態と同様である。以下では、本実施形態の情報処理装置１００で行われる処理について、図７に示す機能ブロック図と、図８に示すフローチャートを用いて説明する。

図７は、本実施形態における情報処理装置の機能ブロック図である。情報処理装置１００は、画像データ取得部７０１、パッチ分割部７０２、ノイズ低減処理部７０３、画像解析部７０４、ニューラルネットワーク選択部７０５、及びパッチ統合部７０６としての機能を有する。本実施形態では、第１の実施形態と比較して、ノイズ低減処理部７０３、画像解析部７０４、及びニューラルネットワーク選択部７０５による処理が異なる。

ノイズ低減処理部７０３は、第１の実施形態と同様に、図４に示すように、元画像推定ニューラルネットワーク４０１、及びノイズ推定ニューラルネットワーク４０２としての機能を有する。第１の実施形態では、ニューラルネットワーク選択部２０４によって選択された一方のニューラルネットワークを使用したが、本実施形態では、パッチの内容によらず、予め決められた一方もしくは両方のニューラルネットワークを使用してノイズを低減する。

画像解析部７０４は、第１の実施形態と同様に、図３に示すように、画像変換部３０１、高周波成分判定部３０２、及び輝度成分判定部３０３としての機能を有する。本実施形態では、第１の実施形態と異なり、ノイズが低減されたパッチ画像に対して画像解析を行う。

ニューラルネットワーク選択部７０５は、画像解析部７０４の解析結果にしたがい、元画像推定及びノイズ推定ニューラルネットワークのいずれかを使用してノイズが低減されたパッチ画像を選択する。

なお、各部に相当する専用の処理回路を備えるように、情報処理装置１００を構成してもよい。

図８は、本実施形態のノイズ低減処理のフローチャートを示す。以下、本実施形態におけるノイズ低減処理の流れについて、図８のフローチャートを参照して説明する。

Ｓ８０１において、画像データ取得部７０１が、処理対象である画像データを取得する。画像データは、ＲＡＷやＪＰＥＧなどの任意の形式でよい。

Ｓ８０２において、パッチ分割部７０２が、画像データを既定のサイズの複数のパッチに分割する。これらのパッチは互いに重複していてもよく、形状やサイズが必ずしも同一である必要はない。

Ｓ８０３において、ノイズ低減処理部７０３が、元画像推定ニューラルネットワーク４０１またはノイズ推定ニューラルネットワーク４０２のいずれか、若しくは両方を用いて、複数のパッチの各々に対しノイズ低減処理を実行する。

Ｓ８０４において、画像解析部７０４が、ノイズ低減処理部７０３によってノイズ低減処理が実行された複数のパッチの各々に対して画像解析を行う。

Ｓ８０５において、ニューラルネットワーク選択部７０５が、画像解析の結果に基づき、複数のパッチの各々について、元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらで処理したノイズ低減結果を用いるかを選択する。選択されたニューラルネットワークの出力がＳ８０３で得られていない場合には、ノイズ低減処理部７０３が追加でノイズ低減処理を行う。

Ｓ８０６において、パッチ統合部７０６が、ニューラルネットワーク選択部７０５によって選択された全パッチを統合して、ノイズが低減された補正画像を出力する。複数のパッチに互いに重複が存在する場合には、重複する画素は例えば複数パッチ間の平均値を与えることで、パッチ形状を反映したアーティファクトのない画像を生成することができる。

以上説明したように、本実施形態のような機能構成によっても、入力画像の内容によらず、ノイズを適切に低減することができる。また、本実施形態では、ノイズが低減されたパッチに対して画像解析を行うので、画像解析をより高精度に行うことができる。

＜第３の実施形態＞
第１の実施形態では、ニューラルネットワークの選択を、画像解析と判定という２段階で行っていた。この処理は、元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらを用いるかを選択するための第３のニューラルネットワーク（以降では、選択ＮＮと呼ぶ）で代替することが可能である。以下では、第１の実施形態と同様に、ノイズ低減処理の前にニューラルネットワークの選択を行う場合を例に取り説明するが、第２の実施形態にも同様に適用することができる。

本実施形態における情報処理装置のハードウェア構成は、第１の実施形態と同様である。以下では、本実施形態の情報処理装置１００で行われる処理について、図９に示す機能ブロック図と、図１０に示すフローチャートを用いて説明する。

図９は、本実施形態の情報処理装置の機能ブロック図である。情報処理装置１００は、図９に示すように、画像データ取得部９０１、パッチ分割部９０２、ニューラルネットワーク選択部９０３、ノイズ低減処理部９０４、及びパッチ統合部９０５としての機能を有する。本実施形態では、第１の実施形態と異なり、画像解析部を有しておらず、ニューラルネットワーク選択部９０３が、選択ＮＮを用いて元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらかを選択する。

なお、各部に相当する専用の処理回路を備えるように情報処理装置１００を構成してもよい。

図１０は、本実施形態のノイズ低減処理のフローチャートを示す。以下、本実施形態におけるノイズ低減処理の流れについて、図１０のフローチャートを参照して説明する。

本実施形態のノイズ低減処理では、第１の実施形態と異なり、画像解析は行わない。本実施形態では、Ｓ１００３においてニューラルネットワーク選択部９０３が選択ＮＮを用いて、パッチからニューラルネットワークの選択を１段階で行う。このため、事前に選択ＮＮの学習を行う必要がある。選択ＮＮの学習においては、まず、パッチ（生徒データ）と判定結果（教師データ）のペアの集合を学習用データとして用意する。この判定結果は、元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらを用いるかを表すデータである。また、第１の実施形態の画像解析部２０３の出力と同様に、高周波成分の有無と高輝度か否かの判定結果を表すデータであってもよい。データの形式は、１ビット（２値）のスカラー値でもよく、その場合、例えば元画像推定が選ばれるなら０、ノイズ推定が選ばれるなら１としてもよい。また後者の場合は、２ビット（４値）のスカラー値であってもよい。教師データは人手で設定してもよいし、第１の実施形態で用いられた画像解析部２０３とニューラルネットワーク選択部２０４を用いて自動的に生成してもよい。また、選択ＮＮの精度向上とロバスト性のために、学習に用いる生徒データはできる限り大量かつ多様な画像（パッチ）を用いることが望ましい。

以下、図１１を参照して、選択ＮＮの構造について説明する。図１１（ａ）は、選択ＮＮの全体構造の一例を示す。本実施形態では、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＮＮ）を例に用いて説明するが、この構造には限定されない。

図１１（ａ）に示した構造では、最初に、入力層に対象パッチの画素値（入力データ）が入力される。その後、逐次的にブロック１からブロックＮまでの処理を実行し、全結合層１から全結合層Ｍ、活性化層、そして最後に出力層にデータが出力される。図１１（ｂ）に示すように、各ブロックは、複数の畳み込み層１〜Ｋとプーリング層を連結した構造でもよい。プーリング層は、入力画像を重複しない同形状のパッチに分割し、パッチごとに画素値の最大値または平均値などを出力することで、解像度の低い画像を生成する。また、ブロックによって構造が異なっていてもよく、例えば畳み込み層によって解像度（各チャネルの画像サイズ）が低減され、後のブロック程チャネル数が多いという構造でもよい。選択ＮＮの出力データは、例えば前述の１ビットまたは２ビットのスカラー値の形式をとる。

なお、その他の処理は第１の実施形態と同様であるため、説明を省略する。

以上説明したように、本実施形態では、元画像推定ニューラルネットワークまたはノイズ推定ニューラルネットワークの選択を、第３のニューラルネットワークである選択ＮＮで代替する。そうすることで、対象パッチのノイズ低減処理に用いるニューラルネットワークの選択を、１段階で行うことができる。

＜第４の実施形態＞
第１から第３の実施形態では、パッチ単位で同一のニューラルネットワークの出力を用いるため、ノイズ低減効果が画像内で階段状に変化し、結果としてパッチ形状を反映したアーティファクトが発生する可能性がある。そこで、本実施形態では、画素単位で元画像推定ニューラルネットワークとノイズ推定ニューラルネットワークのどちらの出力を用いるかを選択することにより、見た目に違和感のないノイズ低減画像を生成する例を説明する。

本実施形態における情報処理装置のハードウェア構成は、第１の実施形態と同様である。以下では、本実施形態の情報処理装置１００で行われる処理について、図１２に示す機能ブロック図と、図１３に示すフローチャートを用いて説明する。

図１２は、本実施形態の情報処理装置の機能ブロック図である。図１２（ａ）は、第１の実施形態と同様に、ニューラルネットワークの選択に関する判定をノイズ低減処理前に行う場合の機能ブロック図である。図１２（ｂ）は、第２の実施形態と同様に、ニューラルネットワークの選択に関する判定をノイズ低減処理後に行う場合の機能ブロック図である。情報処理装置１００は、図１２（ａ）及び図１２（ｂ）に示すように、画像データ取得部１２０１、ノイズ低減処理部１２０２、選択マップ生成部１２０３、及び画像統合部１２０４としての機能を有する。

図１３は、本実施形態のノイズ低減処理のフローチャートを示す。以下、本実施形態におけるノイズ低減処理の流れについて、図１３のフローチャートを参照して説明する。図１３（ａ）は、図１２（ａ）に示した機能部を有する情報処理装置１００によって実施されるフローチャートである。図１３（ｂ）は、図１２（ｂ）に示した機能部を有する情報処理装置１００によって実施されるフローチャートである。

まず、図１３（ａ）のフローチャートについて説明する。

Ｓ１３０１において、画像データ取得部１２０１が、処理対象である画像データを取得する。画像データは、ＲＡＷやＪＰＥＧなどの任意の形式でよい。

Ｓ１３０２において、選択マップ生成部１２０３が、取得した画像データの画素単位で、元画像推定及びノイズ推定ニューラルネットワークのどちらの出力を用いるかの選択情報を表す選択マップを生成する。選択マップは、入力画像と同サイズの画像の形態をとり、各画素の値は、第３の実施形態と同様に１ビットまたは２ビットのスカラー値など、どちらの出力を用いるかを表すデータであればよい。選択マップを生成する方法としては、着目画素を中心としたパッチ毎に画像解析を行って、当該着目画素に選択情報を付与する方法と、画像解析を行わずに、入力された画像から直接選択マップを導出する方法がある。

パッチ毎に画像解析を行って選択情報を付与する方法では、選択マップ生成部１２０３に入力された画像から、着目画素を中心としたパッチを抽出し、第１の実施形態と同様に、抽出したパッチに対して画像解析を行うことによって、選択情報を決定する。入力画像を１画素ずつ走査して処理を繰り返すことで、入力画像と同サイズの画像（すなわち、選択マップ）を得ることができる。

画像解析を行わずに、選択マップを直接導出する方法としては、第３の実施形態と同様に選択ＮＮを用いる方法がある。本実施形態では、選択ＮＮの入力及び出力はともに、パッチではなく、画像全体とする。この選択ＮＮを学習させるために、生徒データとして元画像、あるいはノイズが付加された画像を用い、教師データとして正解の選択マップを用いる。正解の選択マップは、人手で生成してもよいし、パッチを走査して第１の実施形態と同様に画像解析部２０３とニューラルネットワーク選択部２０４を用いて自動的に生成してもよい。

このように、図１３（ａ）のフローチャートでは、選択マップは、取得した画像データから直接生成される。

Ｓ１３０３において、ノイズ低減処理部１２０２が、取得した画像データに対して、元画像推定及びノイズ推定ニューラルネットワークを用いて、それぞれノイズが低減された画像を生成する。ノイズ低減処理部１２０２は、第１の実施形態の図４に示すように、元画像推定ニューラルネットワーク４０１、及びノイズ推定ニューラルネットワーク４０２としての機能を有する。第１の実施形態と異なり、本実施形態では、元画像推定及びノイズ推定ニューラルネットワークの両方の出力画像を生成する。

Ｓ１３０４において、画像統合部１２０４が、選択マップに従い、画素ごとに元画像推定ニューラルネットワークまたはノイズ推定ニューラルネットワークのいずれかの出力画像から画素値を取得して画像を統合し、ノイズが低減された補正画像を生成する。

図１３（ｂ）のフローチャートは、選択マップが、元画像推定及びノイズ推定ニューラルネットワークのそれぞれを用いてノイズが低減された出力画像から生成される点で、図１３（ａ）のフローチャートとは異なる。その他の処理は、図１３（ａ）のフローチャートと同様である。

以上説明したように、本実施形態によると、画素単位で元画像推定ニューラルネットワークまたはノイズ推定ニューラルネットワークを選択するので、見た目に違和感のないノイズ低減画像を生成することができる。

＜第５の実施形態＞
第１から第４の実施形態では、元画像推定ニューラルネットワークまたはノイズ推定ニューラルネットワークのいずれか一方の出力画像の画素値だけを用いてノイズが低減された補正画像を生成した。この場合、パッチあるいは画素間でノイズ低減効果が異なるため、結果として、補正画像に不自然なムラが生じる可能性がある。そこで、本実施形態では、２つのニューラルネットワークの出力の加重平均を用いて補正画像を生成する方法を説明する。

パッチ単位の画像解析を用いる場合には、第１の実施形態で述べたように、周波数解析による高周波成分の統計値と、輝度解析による輝度成分の統計値を算出し、これらから重み係数αを決定し、以下の式（１）に従う加重平均を補正画像の画素値とする。

ここで、ｙは補正結果のパッチの画素値の集合を表すベクトル、ｘ₁はノイズ推定ニューラルネットワークの出力値の集合を表すベクトル、ｘ₂は元画像推定ニューラルネットワークの出力値の集合を表すベクトル、αは０以上１以下の実数である。パッチに互いに重複が存在する場合には、重複領域の画素値はパッチごとに算出されたｙの平均値などを用いる。

また、画素単位で加重平均を行う場合には、ｙ、ｘ₁、ｘ₂はαの決定に用いたパッチの代表画素（例えばパッチの中心画素）の１画素の値とする。αは、対象パッチの高周波成分の統計値をＨ、その閾値をθ_H、対象パッチの輝度成分の統計値をＬ、その閾値をθ_Lとして、例えば以下の式（２）によって与えることができる。ここで、ａ_H、ａ_Lはαの変化の急峻さを決定する実数のパラメータである。

一方で、画像解析の代わりにαを第４のニューラルネットワーク（以降では、重み決定ＮＮと呼ぶ）によって決定することもできる。重み決定ＮＮは、第３の実施形態における選択ＮＮを出力が多値または連続値となるように拡張したものである。重み決定ＮＮの学習は、教師データを多値または連続値に置き換えて学習を行う点以外は、選択ＮＮと同じである。

上述したように、本実施形態では、高周波成分の割合が大きいほど、ノイズ推定ニューラルネットワークの出力値に対する重みを増加させる。なお、高周波成分の統計値が所定の閾値を超える場合には、元画像推定ニューラルネットワークの出力値に対する重みを０にしてもよい。また、輝度成分の割合が大きいほど、ノイズ推定ニューラルネットワークの出力値に対する重みを増加させる。なお、輝度成分の統計値が所定の閾値を超える場合には、元画像推定ニューラルネットワークの出力値に対する重みを０とし、所定の閾値以下の場合にはノイズ推定ニューラルネットワークの出力値に対する重みを０としてもよい。

以上説明したように、本実施形態では、２つのニューラルネットワークの出力の加重平均を用いて補正画像を生成するため、補正画像に生じる可能性がある不自然なムラを抑制することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 二次記憶装置
１０５ 入力インターフェース
１０６ 出力インターフェース
１０７ バス
１０８ 外部記憶装置
１０９ 表示装置
１１０ 操作部

Claims (27)

1. 画像のノイズ低減処理を実行する画像処理装置であって、
   前記画像に含まれるノイズを推定する第１の推定手段と、
   前記画像からノイズが除去された元画像を推定する第２の推定手段と、
   前記画像の部分領域の各々について、前記部分領域の内容に応じて、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理が行われた部分領域を統合する統合手段と
   を有することを特徴とする画像処理装置。
2. 少なくとも前記部分領域の高周波成分または輝度成分を解析する解析手段をさらに有し、
   前記ノイズ低減手段は、前記高周波成分または前記輝度成分が所定の閾値を超える部分領域に対して、前記第１の推定手段を用いて前記ノイズ低減処理を行い、そうでない場合は前記第２の推定手段を用いて前記ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記部分領域の各々に対して、前記第１の推定手段または前記第２の推定手段を選択する選択手段をさらに備え、
   前記ノイズ低減手段は、前記選択された前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記選択手段は、前記部分領域に対して前記第１の推定手段または前記第２の推定手段を選択するように学習させたニューラルネットワークであることを特徴とする請求項３に記載の画像処理装置。
5. 画像のノイズ低減処理を実行する画像処理装置であって、
   前記画像に含まれるノイズを推定する第１の推定手段と、
   前記画像からノイズが除去された元画像を推定する第２の推定手段と、
   前記画像の部分領域の各々について、少なくとも前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理を行うノイズ低減手段と、
   前記ノイズ低減処理が行われた部分領域の内容に応じて、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理が行われた部分領域を統合する統合手段と
   を有することを特徴とする画像処理装置。
6. 前記ノイズ低減処理が行われた部分領域の高周波成分を解析する解析手段をさらに有し、
   前記統合手段は、前記高周波成分が所定の閾値を超える場合に、前記第１の推定手段を用いて前記ノイズ低減処理が行われた部分領域を統合し、そうでない場合は前記第２の推定手段を用いて前記ノイズ低減処理が行われた部分領域を統合することを特徴とする請求項５に記載の画像処理装置。
7. 前記ノイズ低減処理が行われた部分領域の各々に対して、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理が行われた部分領域を選択する選択手段をさらに備え、
   前記統合手段は、前記選択手段によって選択された前記第１の推定手段または前記第２の推定手段によって前記ノイズ低減処理が行われた部分領域を統合することを特徴とする請求項５に記載の画像処理装置。
8. 前記選択手段は、前記ノイズ低減処理が行われた部分領域に対して前記第１の推定手段または前記第２の推定手段によって前記ノイズ低減処理が行われた部分領域を選択するように学習させたニューラルネットワークであることを特徴とする請求項７に記載の画像処理装置。
9. 画像のノイズ低減処理を実行する画像処理装置であって、
   前記画像に含まれるノイズを推定する第１の推定手段と、
   前記画像からノイズが除去された元画像を推定する第２の推定手段と、
   前記画像の画素単位で、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理がなされた画像のいずれかを選択するための選択マップを生成する生成手段と、
   前記画像に対して、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理を行うノイズ低減手段と、
   前記選択マップに従い、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理がなされた画像の画素値を取得して、前記画像を統合する統合手段と
   を有することを特徴とする画像処理装置。
10. 前記生成手段は、前記画像の着目画素を中心とした部分領域の高周波成分及び輝度成分を解析し、前記高周波成分または前記輝度成分が所定の閾値を超える場合は、前記着目画素について前記第１の推定手段を用いて前記ノイズ低減処理が行われた画像の画素値を選択するように前記選択マップを生成し、そうでない場合は、前記第２の推定手段を用いて前記ノイズ低減処理が行われた画像の画素値を選択するように前記選択マップを生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記画像の画素単位で、前記第１の推定手段を用いて前記ノイズ低減処理が行われた画像、または前記第２の推定手段を用いて前記ノイズ低減処理が行われた画像のどちらかの画素を選択するように学習させたニューラルネットワークを用いて、前記選択マップを生成することを特徴とする請求項９に記載の画像処理装置。
12. 画像のノイズ低減処理を実行する画像処理装置であって、
    前記画像に含まれるノイズを推定する第１の推定手段と、
    前記画像からノイズが除去された元画像を推定する第２の推定手段と、
    前記画像に対して、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理を行うノイズ低減手段と、
    前記ノイズ低減処理がなされた画像の画素単位で、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理がなされた画像のいずれかを選択するための選択マップを生成する生成手段と、
    前記選択マップに従い、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理がなされた画像の画素値を取得して、前記画像を統合する統合手段と
    を有することを特徴とする画像処理装置。
13. 前記生成手段は、前記ノイズ低減処理がなされた画像の着目画素を中心とした部分領域の高周波成分及び輝度成分を解析し、前記高周波成分または前記輝度成分が所定の閾値を超える場合は、前記着目画素について前記第１の推定手段を用いて前記ノイズ低減処理が行われた画像の画素値を選択するように前記選択マップを生成し、そうでない場合は、前記第２の推定手段を用いて前記ノイズ低減処理が行われた画像の画素値を選択するように前記選択マップを生成することを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記ノイズ低減処理がなされた画像の画素単位で、前記第１の推定手段を用いて前記ノイズ低減処理が行われた画像、または前記第２の推定手段を用いて前記ノイズ低減処理が行われた画像のどちらかの画素を選択するように学習させたニューラルネットワークを用いて、前記選択マップを生成することを特徴とする請求項１２に記載の画像処理装置。
15. 画像のノイズ低減処理を実行する画像処理装置であって、
    前記画像に含まれるノイズを推定する第１の推定手段と、
    前記画像からノイズが除去された元画像を推定する第２の推定手段と、
    前記画像に対して、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理を行うノイズ低減手段と、
    前記画像の内容に基づいて、前記ノイズ低減処理が行われた画像の各々の出力値に対して重みを付与する付与手段と、
    前記重みに基づいて前記出力値の加重平均を算出し、前記ノイズが低減された補正画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
16. 前記付与手段は、前記画像の部分領域が有する高周波成分の割合が大きいほど、前記第１の推定手段を用いて前記ノイズ低減処理が行われた画像の出力値に対する重みを増加させることを特徴とする請求項１５に記載の画像処理装置。
17. 前記付与手段は、前記部分領域が有する高周波成分の統計値が所定の閾値を超える場合に、前記第２の推定手段を用いて前記ノイズ低減処理が行われた画像の出力値に対する重みを０にすることを特徴とする請求項１６に記載の画像処理装置。
18. 前記付与手段は、前記部分領域が有する輝度成分の割合が大きいほど、前記第１の推定手段によって前記ノイズ低減処理が行われた画像の出力値に対する重みを増加させることを特徴とする請求項１６または１７に記載の画像処理装置。
19. 前記付与手段は、前記部分領域の輝度成分の統計値が所定の閾値を超える場合に、前記第２の推定手段によって前記ノイズ低減処理が行われた画像の出力値に対する重みを０とし、前記所定の閾値以下の場合には前記第１の推定手段によって前記ノイズ低減処理が行われた画像の出力値に対する重みを０とすることを特徴とする請求項１８に記載の画像処理装置。
20. 前記付与手段は、前記ノイズ低減処理が行われた画像の各々の出力値に対して重みを付与するように学習させたニューラルネットワークであることを特徴とする請求項１５乃至１９のいずれか１項に記載の画像処理装置。
21. 前記第１の推定手段は、前記画像に含まれる前記ノイズを推定するように学習させたニューラルネットワークであり、
    前記第２の推定手段は、前記画像から前記ノイズが除去された元画像を推定するように学習させたニューラルネットワークであることを特徴とする請求項１乃至２０のいずれか１項に記載の画像処理装置。
22. コンピュータを請求項１乃至２１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
23. 画像のノイズ低減のための画像処理方法であって、
    前記画像の部分領域の各々について、前記部分領域の内容に応じて、前記部分領域に含まれるノイズを推定する第１の推定手段、または、前記部分領域からノイズが除去された部分領域の画像を推定する第２の推定手段を用いて、ノイズ低減処理を行うノイズ低減ステップと、
    前記ノイズ低減処理が行われた部分領域を統合する統合ステップと
    を含むことを特徴とする画像処理方法。
24. 画像のノイズ低減のための画像処理方法であって、
    前記画像の部分領域の各々について、少なくとも前記部分領域に含まれるノイズを推定する第１の推定手段または前記部分領域からノイズが除去された部分領域の画像を推定する第２の推定手段を用いて、ノイズ低減処理を行うノイズ低減ステップと、
    前記ノイズ低減処理が行われた部分領域の内容に応じて、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理が行われた部分領域を統合する統合ステップと
    を含むことを特徴とする画像処理方法。
25. 画像のノイズ低減のための画像処理方法であって、
    前記画像の画素単位で、前記画像に含まれるノイズを推定する第１の推定手段及び前記画像からノイズが除去された元画像を推定する第２の推定手段の各々を用いてノイズ低減処理がなされた画像のいずれかを選択するための選択マップを生成する生成手段と、
    前記画像に対して、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理を行うノイズ低減ステップと、
    前記選択マップに従い、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理がなされた画像の画素値を取得して、前記画像を統合する統合ステップと
    を含むことを特徴とする画像処理方法。
26. 画像のノイズ低減のための画像処理方法であって、
    前記画像に対して、前記画像に含まれるノイズを推定する第１の推定手段及び前記画像からノイズが除去された元画像を推定する第２の推定手段の各々を用いてノイズ低減処理を行うノイズ低減ステップと、
    前記ノイズ低減処理がなされた画像の画素単位で、前記第１の推定手段及び前記第２の推定手段の各々を用いて前記ノイズ低減処理がなされた画像のいずれかを選択するための選択マップを生成する生成手段と、
    前記選択マップに従い、前記第１の推定手段または前記第２の推定手段を用いて前記ノイズ低減処理がなされた画像の画素値を取得して、前記画像を統合する統合ステップと
    を含むことを特徴とする画像処理方法。
27. 画像のノイズ低減のための画像処理方法であって、
    前記画像に対して、前記画像に含まれるノイズを推定する第１の推定手段及び前記画像からノイズが除去された元画像を推定する第２の推定手段の各々を用いてノイズ低減処理を行うノイズ低減ステップと、
    前記画像の内容に基づいて、前記ノイズ低減処理が行われた画像の各々の出力値に対して重みを付与する付与ステップと、
    前記重みに基づいて前記出力値の加重平均を算出し、前記ノイズが低減された補正画像を生成する生成ステップと
    を含むことを特徴とする画像処理方法。

Images