JP2021060847A - ノイズ除去システム - Google Patents

Abstract

【課題】ノイズ除去性能を向上させる。【解決手段】ニューラルネットワーク３０に基づいて、イメージセンサ２１から入力される画像データＤｉｎのノイズＮＳを除去するノイズ除去システムＳであって、イメージセンサ２１のノイズ特性を解析した解析結果に基づいてノイズＮＳを生成するノイズ生成部１１と、ノイズＮＳの無いクリーン画像Ｄ０に、ノイズ生成部１１により生成されたノイズＮＳを付加してノイズ画像Ｄ１を生成し、ニューラルネットワーク３０に基づいてノイズ画像Ｄ１からクリーン画像Ｄ０を推定できるように、パラメータセットＷを最適化する学習器１２と、最適化されたパラメータセットＷを用いたニューラルネットワーク３０に基づいて、画像データＤｉｎのノイズＮＳを除去して出力画像データＤｏｕｔを生成する出力データ生成部２３とを備える。【選択図】図１

Description

本発明は、ニューラルネットワークを用いて、入力データのノイズを除去するノイズ除去システムに関する。

この種のノイズ除去システムとして、例えば、特許文献１のものが知られている。

特許文献１の画像処理システムは、ノイズの無い教師画像をニューラルネットワークの出力側に設定し、この教師画像に人工的なノイズを付加した学習用画像（学習用データ）をニューラルネットワークに入力する。そして、ニューラルネットワークで処理を受けた学習用画像が教師画像（教師データ）に近づくように、ニューラルネットワークの内部パラメータを決定する機械学習を行う。

特開２０１８−２０６３８２号公報

ところで、ニューラルネットワークを用いたノイズ除去システムでは、高性能のノイズ除去を行うために、機械学習を行う学習用データ及び教師データ（以下、学習用データ及び教師データをまとめて「教師データ」という。）が入力データのノイズを忠実に再現していることが重要である。

しかし、入力データをセンサにより取得する場合、入力データのノイズはセンサの影響を受けるが、従来のノイズ除去システムでは、機械学習を行う教師データがセンサのノイズ特性を忠実に反映していない。このため、高性能のノイズ除去を行うことができない。

本発明は、斯かる点に鑑みてなされたものであり、ニューラルネットワークを用いたノイズ除去装置において、ノイズ除去性能を向上させることを目的とする。

前記の目的を達成するために、この発明では、センサのノイズ特性を反映したノイズを生成するために、センサのノイズ特性を解析することとした。

本開示の第１の態様は、ニューラルネットワークに基づいて、センサから入力される入力データのノイズを除去するノイズ除去システムであって、前記センサのノイズ特性を解析した解析結果に基づいてノイズを生成するノイズ生成部と、ノイズの無いクリーンデータに、前記ノイズ生成部により生成されたノイズを付加してノイズデータを生成し、前記ニューラルネットワークに基づいて該ノイズデータから前記クリーンデータを推定できるように、ネットワークパラメータを最適化する学習部と、最適化された前記ネットワークパラメータを用いた前記ニューラルネットワークに基づいて、前記入力データのノイズを除去して出力データを生成する出力データ生成部とを備えることを特徴とする。

第１の態様では、ノイズ生成部は、センサのノイズ特性を解析した解析結果に基づいてノイズを生成するので、センサのノイズ特性を反映したノイズを生成することができる。そして、学習部は、このノイズが付加されたノイズデータからクリーンデータを推定できるように、ネットワークパラメータを最適化し、出力データ生成部は、この最適化されたネットワークパラメータを用いたニューラルネットワークに基づいて、出力データを生成する。従って、センサのノイズ特性を反映したノイズが除去された、出力データが出力される。その結果、ノイズ除去性能が向上する。

本開示の第２の態様は、第１の態様において、前記センサは、イメージセンサであり、前記入力データは、画像データであることを特徴とする。

第２の態様では、第１の態様と同様の作用効果によって、画像データのノイズ除去性能が向上する。

本開示の第３の態様は、第２の態様において、前記センサのノイズ特性についての前記解析結果は、前記イメージセンサから入力される画像データの輝度及び温度に対するノイズ特性の関係式であることを特徴とする。

第３の態様では、解析結果は、イメージセンサから入力される画像データの輝度及び温度に対するノイズ特性の関係式であるので、この解析結果が得られれば、輝度及び温度からノイズを簡単に生成することができる。従って、ノイズ生成をするたびにセンサのノイズ特性を解析するのではなく、解析結果である関係式を事前に取得しておき、この関係式を利用することで、クリーンデータのみからノイズデータを生成することができる。その結果、ノイズ生成部によるノイズ生成の動作と学習部によるネットワークパラメータの最適化の動作とのスループットをよくすることができる。

本開示の第４の態様は、第２又は第３の態様において、前記センサの前記ノイズ特性は、光ショットノイズの輝度に対する分布特性、並びに、暗電流ショットノイズ及び読み出しノイズの温度に対する分布特性を少なくとも含むことを特徴とする。

第４の態様では、センサのノイズ特性が、光ショットノイズの輝度に対する分布特性、並びに、暗電流ショットノイズ及び読み出しノイズの温度に対する分布特性を少なくとも含むので、出力データ生成部は、センサの光ショットノイズ、並びに、温度依存性が考慮された暗電流ショットノイズ及び読み出しノイズを反映したノイズが除去された画像を出力する。その結果、ノイズ除去性能が向上する。

本開示の第５の態様は、第１〜第４の態様のいずれか１つにおいて、前記出力データ生成部の前記ニューラルネットワークは、入力データを入力する入力層と、前記入力データから中間出力データとしてのノイズ成分を推定する中間層と、前記入力データと前記中間出力データとの差をとって生成された出力データを出力する出力層とを含むことを特徴とする。

第５の態様では、中間層が中間出力データとしてのノイズ成分を推定し、出力層が入力データと中間出力データとの差をとって生成された出力データを出力する。すなわち、中間層は、ノイズデータではなく、ノイズデータからクリーンデータを引いた差分であるノイズ成分を推定するように、ネットワークパラメータが最適化されている。ノイズ成分は、ノイズデータよりも値が小さいので、ノイズデータを推定するよりもノイズ成分を推定する方が、学習の収束性が向上する。従って、ネットワークパラメータを最適化させやすくなる。

本開示の第６の態様は、第５の態様において、前記中間層は、前記入力データの解像度を下げながら、各解像度におけるノイズを抽出する複数のダウンサンプリング層と、前記複数のダウンサンプリング層で抽出された前記各解像度におけるノイズを結合して、高解像度におけるノイズを復元する複数のアップサンプリング層とを含むことを特徴とする。

第６の態様では、中間層は、複数のダウンサンプリング層により入力データの解像度を下げながら、各解像度におけるノイズを抽出し、複数のアップサンプリング層により各解像度におけるノイズを結合して、高解像度におけるノイズを復元するので、低周波数を含む、広い周波数領域でノイズ除去できる。その結果、ノイズ除去性能が向上する。

本開示の第７の態様は、第１〜第６の態様のいずれか１つにおいて、前記ノイズ生成部と、前記学習部とを有する情報処理装置と、ノイズ特性が解析された前記センサと、前記学習部で最適化された前記ネットワークパラメータが格納された格納部と、前記出力データ生成部とを有する撮像装置とを備え、前記出力データ生成部は、前記センサで撮像された画像データを前記入力データとし、前記格納部に格納された前記ネットワークパラメータを用いた前記ニューラルネットワークに基づいて、前記出力データを生成することを特徴とする。

第７の態様では、情報処理装置がノイズ生成部と学習部とを有し、撮像装置が学習部で最適化されたネットワークパラメータが格納された格納部とセンサと出力データ生成部とを有する。すなわち、情報処理装置がノイズ生成部と学習部とを用いて機械学習を行い、撮像装置が最適化されたネットワークパラメータを用いて撮像された画像データのノイズ除去を行う。従って、第１〜第６の態様の効果を奏するノイズ除去性能を備えた撮像装置を提供できる。

本開示の第８の態様は、ニューラルネットワークに基づいて、イメージセンサから入力される画像データのノイズを除去して出力データを生成する撮像装置であって、前記ニューラルネットワークのネットワークパラメータは、ノイズの無いクリーン画像に、前記イメージセンサのノイズ特性を解析した解析結果に基づいて生成されたノイズを付加してノイズ画像を生成し、前記ニューラルネットワークに基づいて該ノイズ画像から前記クリーン画像を推定できるように、最適化されていることを特徴とする。

第８の態様では、イメージセンサから入力される画像データから、イメージセンサのノイズ特性を反映したノイズが除去された出力画像データが出力される。すなわち、ノイズ除去性能の高い撮像装置を提供できる。

以上説明したように、本発明によると、ノイズ除去性能を向上させることができる。

本発明の実施形態に係るノイズ除去システムの概略図である。 ノイズ除去システムに用いるニューラルネットワーク構造の概略図である。 ノイズの標準偏差と輝度との関係を示すグラフである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

≪実施形態≫
＜構成＞
ノイズ除去システムＳは、図１に示すように、情報処理装置１０と撮像装置２０とを備えている。ノイズ除去システムＳは、図２に示すニューラルネットワーク３０に基づいて、撮像装置２０の、後述するイメージセンサ２１（センサ）から入力される画像データＤ_ｉｎ（入力データ）のノイズＮＳを除去するためのものである。ここで、ノイズＮＳは、光ショットノイズＮＳ_１、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の和である。尚、以下では、ノイズＮＳを「ノイズ成分」という場合がある。

以下、情報処理装置１０及び撮像装置２０の構成並びにニューラルネットワーク３０の構造を詳細に説明する。

―情報処理装置―
情報処理装置１０は、ニューラルネットワーク３０に基づいて機械学習を行うためのものであり、ノイズ生成部１１と、学習器１２（学習部）とを有している。情報処理装置１０は、例えば、汎用のコンピュータである。

ノイズ生成部１１は、イメージセンサ２１に固有のノイズ特性を解析するノイズ解析部１３を有し、このノイズ解析部１３の解析結果に基づいてイメージセンサ２１に固有のノイズＮＳを生成する。ここで、「イメージセンサ２１に固有のノイズ特性」とは、このイメージセンサ２１の光ショットノイズＮＳ_１の輝度に対する分布特性、並びに、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の温度に対する分布特性である。

また、ノイズＮＳの輝度Ｙに対する分布特性は、ガウス分布に従うことを前提とし、その標準偏差をσで表す。この標準偏差σは、輝度Ｙ及び温度Ｔの関数σ＝ｆ（Ｙ）＋ｇ（Ｔ）として表すことができる。この関数を、ノイズＮＳの標準偏差σを縦軸に、輝度Ｙを横軸にとって表示すると、例えば、図３のようになる。ノイズＮＳの標準偏差σが、輝度Ｙ及び温度Ｔによって異なっているのは、光ショットノイズＮＳ_１の標準偏差σＡが光子量によって異なっていること、並びに、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の標準偏差σＢが、温度Ｔによって異なっていることに起因している。

学習器１２は、機械学習を行うためのニューラルネットワーク３０を実装している。

―撮像装置―
撮像装置２０は、光を電気信号に変換するイメージセンサ２１を有している。撮像装置２０は、デジタルカメラである。イメージセンサ２１は、ノイズ特性が互いに異なるＩ個のイメージセンサ２１_ｉ（ｉ＝１〜Ｉ）のいずれか一つである。尚、ｉは、イメージセンサを区別する場合に付すインデックスであり、センサ情報（例えば、イメージセンサの型番号）を区別するものである。

撮像装置２０は、出力データ生成部２３を有している。この出力データ生成部２３は、学習器１２に実装されているものと同じ構造の、ノイズ除去を行うためのニューラルネットワーク３０を実装している。

撮像装置２０は、情報処理装置１０の学習器１２によって最適化されたネットワークパラメータの組Ｗ（以下、「パラメータセット」という。）が格納されたメモリ２４（格納部）を有している。このパラメータセットＷは、後述するように、イメージセンサ２１_ｉごとに異なっており、撮像時の温度Ｔによっても異なっている。すなわち、メモリ２４には、Ｉ個のイメージセンサ２１_ｉ及びＪ種類の温度Ｔ_ｊについてそれぞれ最適化された、Ｉ×Ｊ組のパラメータセットＷが格納されている。尚、ｊは、温度Ｔを区別する場合に付すインデックスであり、Ｊは、考慮する温度Ｔの種類の総数である。

―ニューラルネットワーク―
ニューラルネットワーク３０は、図２に示すように、画像データＤ_ｉｎを入力する入力層３１と、画像データＤ_ｉｎから中間出力データＤ_ｍｉｄとしてのノイズ成分ＮＳを推定する中間層３２と、入力データＤ_ｉｎと中間出力データＤ_ｍｉｄとの差をとって生成された出力画像データＤ_ｏｕｔ（出力データ）を出力する出力層３３とを含んでいる。尚、「ノイズ成分ＮＳを推定する」とは、特定温度条件の特定輝度レベルの入力画素に対するノイズ特性に応じて、ノイズ量を算出することをいう。

中間層３２は、複数のダウンサンプリング層３２ａ，３２ａ，…及び複数のアップサンプリング層３２ｂ，３２ｂ，…を含んでいる。複数のダウンサンプリング層３２ａ，３２ａ，…は、入力データＤ_ｉｎの解像度を下げながら、各解像度におけるノイズを抽出する。複数のアップサンプリング層３２ｂ，３２ｂ，…は、複数のダウンサンプリング層３２ａ，３２ａ，…で抽出された各解像度におけるノイズを結合して、高解像度におけるノイズＮＳを復元するように構成されている。

＜動作＞
以下、ノイズ除去システムＳによって行う動作、すなわち、ノイズ除去方法について説明する。ノイズ除去方法は、イメージセンサ２１の光ショットノイズＮＳ_１を解析する第１解析段階、イメージセンサ２１の暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３を解析する第２解析段階、ノイズ画像生成段階、機械学習段階、並びにノイズ除去段階の５つの段階からなる。

まず、第１解析段階及び第２解析段階を行い、その解析結果として、イメージセンサ２１から入力される画像データＤ_ｉｎの輝度Ｙ及び温度Ｔに対するノイズ特性の関係式が得られる。次いで、ノイズ画像生成段階と、それに続く機械学習段階と、それに続くノイズ除去段階とを行う。尚、第１解析段階及び第２解析段階は、いずれを先に行ってもよい。

以下、各段階について詳細に説明する。

―第１解析段階―
第１解析段階では、ノイズ生成部１１のノイズ解析部１３が、イメージセンサ２１に固有の光ショットノイズＮＳ_１を解析する。具体的に、光ショットノイズＮＳ_１はガウス分布に従うことを前提とする。そして、以下の手順により、その標準偏差σＡと輝度Ｙとの関係式を求める。

まず、使用するすべてのイメージセンサ２１_ｉ（ｉ＝１〜Ｉ）によって、光ショットノイズＮＳ_１解析用の複数の第１画像ＩＭ１_ｋ（ｋ＝１〜Ｋ）を準備する。尚、ｋは、第１画像ＩＭ１を区別する場合に付すインデックスであり、Ｋは、第１画像ＩＭ１の総数である。

各第１画像ＩＭ１_ｋは、輝度Ｙが互いに異なる複数のグレーパッチＲ_ｌ（ｌ＝１〜Ｌ）を含む。各グレーパッチＲ_ｌは、輝度Ｙが均一である。尚、ｌは、複数のグレーパッチＲ_ｌを互いに区別する場合に付すインデックスであり、Ｌは、グレーパッチＲ_ｌの総数である。

次いで、各第１画像ＩＭ１_ｋにおけるグレーパッチＲ_ｌごとの輝度Ｙ_ｋ，ｌを測定する。

次いで、各グレーパッチＲ_ｌについてすべての第１画像ＩＭ１_ｋ（すべてのｋ）の光ショットノイズＮＳ_１の標準偏差σＡ_ｌを算出する。具体的に、ガウス分布に従うノイズＮＳ_１を含む画素データは複数データを平均化することでノイズの含まれない画素値に漸近する特性に従い、各グレーパッチＲ_ｌについてすべての第１画像ＩＭ１_ｋ（すべてのｋ）で平均化した平均輝度Ｙ_ｌを算出し、すべての第１画像ＩＭ１_ｋの各グレーパッチＲ_ｌの平均輝度Ｙ_ｌを引いた輝度値Ｙ_ｌ’を算出する。すなわち、Ｙ_ｌ’はノイズ成分の輝度値（ここでは、光ショットノイズＮＳ_１の信号レベル）を表し、すべての第１画像ＩＭ１_ｋから得られた各グレーパッチの輝度値Ｙ_ｌ’のばらつきから標準偏差σＡ_ｌを算出する。

次いで、前記のようにしてグレーパッチＲ_ｌの平均輝度Ｙ_ｌ及び標準偏差σＡ_ｌをすべてのｌについて算出した後、注目するイメージセンサ２１_ｉについて、輝度Ｙ及び標準偏差σＡの関係を表す関係式σＡ＝ｆ_ｉ（Ｙ）を求める。関係式σＡ＝ｆ_ｉ（Ｙ）を求める方法は、例えば、横軸に輝度Ｙ、縦軸に標準偏差σＡをとったグラフに、算出した前記の平均輝度Ｙ_ｌ及び標準偏差σＡ_ｌを、すべてのｌについてプロットし、これにモデルとなる多項式をフィッティングする方法である。すべてのイメージセンサ２１_ｉ（すべてのｉ）について得られるこの関係式σＡ＝ｆ_ｉ（Ｙ）は、記憶部（図示しない）に記憶される。

―第２解析段階―
第２解析段階では、ノイズ生成部１１のノイズ解析部１３が、イメージセンサ２１に固有の暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３を解析する。具体的に、暗電流ショットノイズＮＳ_２と読み出しノイズＮＳ_３とが両方含まれた複合ノイズは、温度Ｔによって異なるガウス分布に従うことを前提とする。そして、以下の手順により、その標準偏差σＢと温度Ｔとの関係式を求める。

まず、使用するすべてのイメージセンサ２１_ｉ（ｉ＝１〜Ｉ）によって、複数の（周辺）温度Ｔ_ｊ（ｊ＝１〜Ｊ２）での暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３解析用の複数の第２画像ＩＭ２_ｍ（ｍ＝１〜Ｍ）を準備する。尚、ｍは、第２画像ＩＭ２を区別する場合に付すインデックスであり、Ｊ２及びＭは、それぞれ温度Ｔの種類及び第２画像ＩＭ２の総数である。各第２画像ＩＭ２_ｍは、遮光状態で撮像された暗黒画像である。尚、遮光状態で撮像された暗黒画像に含まれる支配的なノイズは、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３であることを前提とする。

次いで、各第２画像ＩＭ２_ｍにおける各温度Ｔ_ｊについて各画素の輝度Ｙ_ｍ，ｊを測定する。

次いで、各温度Ｔ_ｊについてすべての第２画像ＩＭ２_ｍ（すべてのｍ）の暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の標準偏差σＢ_ｊを算出する。具体的に、ガウス分布に従う暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３は、複数の画素データの輝度を平均化することでノイズの含まれない画素値に漸近する特性に従い、各温度Ｔ_ｊについてすべての第２画像ＩＭ２_ｍ（すべてのｍ）で平均化した平均輝度Ｙ_ｊを算出し、すべての第２画像ＩＭ２_ｍから平均輝度Ｙ_ｊを減算した輝度値Ｙ_ｊ’を算出する。すなわち、Ｙ_ｊ’はノイズ成分の輝度値（ここでは、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の信号レベル）を表し、すべての第２画像ＩＭ２_ｍから得られた輝度値Ｙ_ｊ’のばらつきから標準偏差σＢ_ｊを算出する。

次いで、前記のようにして温度Ｔ_ｊの平均輝度Ｙ_ｊ及び標準偏差σＢ_ｊをすべてのｊについて算出した後、注目するイメージセンサ２１_ｉについて、温度Ｔ及び標準偏差σＢの関係を表す関係式σＢ＝ｇ_ｉ（Ｔ）を求める。関係式σＢ＝ｇ_ｉ（Ｔ）を求める方法は、例えば、横軸に温度Ｔ、縦軸に標準偏差σＢをとったグラフに、Ｔ_ｊ及び標準偏差σＢ_ｊを、すべてのｊについてプロットし、これにモデルとなる多項式をフィッティングする方法である。すべてのイメージセンサ２１_ｉ（すべてのｉ）について得られるこの関係式σＢ＝ｇ_ｉ（Ｔ）は、記憶部に記憶される。以上が、第２解析段階である。

第１解析段階で求めた関係式（σＡ＝ｆ_ｉ（Ｙ））及び第２解析段階で求めた関係式（σＢ＝ｇ_ｉ（Ｔ））から、光ショットノイズＮＳ_１と暗電流ショットノイズＮＳ_２と読み出しノイズＮＳ_３とを含むノイズＮＳの標準偏差（σ＝σＡ＋σＢ）と、輝度Ｙ及び温度Ｔとの関係を表す解析結果σＡ＋σＢ＝ｆ_ｉ（Ｙ）＋ｇ_ｉ（Ｔ）がイメージセンサ２１_ｉごとに得られ、解析終了となる。解析終了後は、この解析結果σ＝σＡ＋σＢ＝ｆ_ｉ（Ｙ）＋ｇ_ｉ（Ｔ）を用いることで、すべてのイメージセンサ２１_ｉ（すべてのｉ）について、任意の輝度Ｙ及び温度Ｔにおける標準偏差σを求めることができ、標準偏差σのガウス分布に従うノイズＮＳを生成できる。

―ノイズ画像生成段階―
学習器１２は、ノイズ画像生成段階を行う。具体的に、学習器１２は、以下の手順により、ノイズＮＳの無い（又はノイズＮＳが非常に少ない）Ｎ枚のクリーン画像Ｄ_０（クリーンデータ）に、ノイズ生成部１１により生成されたノイズＮＳを付加してＩ×Ｊ×Ｎ枚のノイズ画像Ｄ_１（ノイズデータ）を生成する。

まず、いずれのイメージセンサ２１_ｉ（ｉ＝１〜Ｉ）よりも、発生するノイズの少ないイメージセンサを備えた撮像装置によって、異なるＮ種類の被写体を撮像することにより、Ｎ枚のクリーン画像Ｄ_０を準備する。

次いで、ノイズ生成部１１により、各クリーン画像Ｄ_０の各画素の輝度Ｙ及び考慮する温度Ｔに対応する、ノイズＮＳの標準偏差σを、前記の関係式σ＝ｆ_ｉ（Ｙ）＋ｇ_ｉ（Ｔ）を用いて算出する。尚、「考慮する温度」とは、機械学習段階で機械学習を行うために考慮するＪ種類の温度Ｔ_ｊを意味する。この標準偏差σの算出を、すべてのイメージセンサ２１_ｉ（すべてのｉ）及び温度Ｔ_ｊ（すべてのｊ）について行い、Ｉ×Ｊ種類のノイズＮＳの標準偏差σを生成する。そして、各標準偏差σのガウス分布に従う乱数としてノイズＮＳを発生させる。発生させたＩ×Ｊ種類のノイズＮＳを、Ｎ枚のクリーン画像Ｄ_０に付加することにより、Ｉ×Ｊ×Ｎ枚のノイズ画像Ｄ₁を生成する。

―機械学習段階―
学習器１２は、ニューラルネットワーク３０に基づいてノイズ画像Ｄ_１からクリーン画像Ｄ_０を推定できるように、パラメータセットＷを最適化する。具体的に、学習器１２は、Ｉ個のイメージセンサ２１_ｉによって、異なるＪ種類の温度Ｔ_ｊを撮像条件とする、異なるＮ種類の被写体についてのＩ×Ｊ×Ｎ枚のノイズ画像Ｄ_１及びＮ種類の被写体についてのＮ枚のクリーン画像Ｄ_０を対とする教師データとして、機械学習を行う。Ｉ個のイメージセンサ２１_ｉ及びＪ種類の温度Ｔ_ｊについて、パラメータセットＷを最適化するので、Ｉ×Ｊ組の最適化されたパラメータセットＷが得られる。これらの最適化されたパラメータセットＷは、記憶部に記憶される。

―ノイズ除去段階―
前記の機械学習によって最適化されたパラメータセットＷを用いて、ノイズ除去を行う撮像装置２０の動作について説明する。

まず、撮像装置２０のメモリ２４に、学習器１２の記憶部に記憶された最適化されたパラメータセットＷを複製する。

次いで、撮像装置２０は、イメージセンサ２１で画像を撮像し、この画像の電気信号である画像データＤ_ｉｎをイメージセンサ２１_ｉから出力データ生成部２３へ送る。

次いで、出力データ生成部２３は、最適化されたパラメータセットＷを用いたニューラルネットワーク３０に基づいて、イメージセンサ２１で撮像された画像の画像データを入力データＤ_ｉｎとし、以下に記載するように、この入力データＤ_ｉｎのノイズＮＳを除去して出力画像データＤ_ｏｕｔを生成する。ここで、パラメータセットＷは、前記のようにＩ×Ｊ組からなるので、適切な１組のパラメータセットＷを選択するためにイメージセンサ２１_ｉのｉ及び温度Ｔ_ｊのｊを特定する必要がある。そのため、撮像装置２０が備えるイメージセンサ２１_ｉを特定するセンサ情報（例えば、型番号）及び撮像時の温度Ｔが、撮像装置２０の操作部（図示しない）から供給される。

そして、出力データ生成部２３は、Ｉ×Ｊ組のパラメータセットＷから、供給されたセンサ情報に対応するイメージセンサ２１_ｉ及び撮像時の温度Ｔに最も近い温度Ｔ_ｊについて最適化された、１組のパラメータセットＷを選択する。

そして、選択したパラメータセットＷを用いたニューラルネットワーク３０に基づいて、出力画像データＤ_ｏｕｔを生成する。具体的に、ニューラルネットワーク３０では、画像データＤ_ｉｎが入力層３１に入力される。入力層３１の画像データＤ_ｉｎは、中間層３２へ引き渡される。そして、中間層３２では、選択されたパラメータセットＷを用いて、複数のダウンサンプリング層３２ａ，３２ａ，…及び複数のアップサンプリング層３２ｂ，３２ｂ，…により、中間出力データＤ_ｍｉｄとして画像データＤ_ｉｎのノイズ成分ＮＳが生成される。そして、画像データＤ_ｉｎからノイズ成分ＮＳを引くことにより、クリーンデータに相当する出力画像データＤ_ｏｕｔが生成され、出力画像データＤ_ｏｕｔが出力層３３に引き渡される。以上のようにして、出力画像データＤ_ｏｕｔが得られたら、ノイズ除去段階が終了となる。

＜作用・効果＞
本実施形態では、ノイズ生成部１１は、イメージセンサ２１のノイズ特性を解析した解析結果に基づいてノイズＮＳを生成するので、イメージセンサ２１_ｉのノイズ特性を反映したノイズＮＳを生成することができる。そして、学習器１２は、このノイズＮＳが付加されたノイズ画像Ｄ_１からクリーン画像Ｄ_０を推定できるように、パラメータセットＷを最適化し、出力データ生成部２３は、この最適化されたパラメータセットＷを用いたニューラルネットワーク３０に基づいて、出力画像データＤ_ｏｕｔを生成する。従って、イメージセンサ２１_ｉのノイズ特性を反映したノイズＮＳが除去された、出力画像データＤ_ｏｕｔが出力される。その結果、画像データのノイズ除去性能が向上する。

ところで、本実施形態のノイズ生成部１１によってノイズ画像Ｄ_１を生成する方法の代わりに、イメージセンサからノイズ画像Ｄ_１を取得して、これとクリーン画像Ｄ_０との差をとることにより、ノイズＮＳを生成する方法も考えられる。しかし、イメージセンサからノイズ画像Ｄ_１を取得すること、及び、ノイズ画像Ｄ_１とクリーン画像Ｄ_０との差をとるための画素位置を調整することに手間がかかるという問題、そして、このことによって、ノイズ生成とそれに続く機械学習段階の動作のスループットが悪くなるという問題、並びに、動く物体を被写体にできないという問題がある。

ここで、本実施形態では、ノイズＮＳを生成するたびにイメージセンサ２１のノイズ特性を解析するのではなく、ノイズ特性を解析した解析結果を利用することで、クリーン画像Ｄ_０のみからノイズ画像Ｄ_１を生成することができる。その結果、ノイズ画像Ｄ_１の取得及び画素位置調整の手間を回避でき、更に、ノイズ生成部１１によるノイズ生成の動作と学習器１２によるパラメータセットＷの最適化の動作とのスループットをよくすることができる。そして、動く物体も被写体にできる。

また、本実施形態では、ノイズ解析部１３の解析結果は、イメージセンサ２１から入力される画像データＤ_ｉｎの輝度Ｙ及び温度Ｔに対するノイズ特性の関係式であるので、この関係式が得られれば、輝度Ｙ及び温度ＴからノイズＮＳを簡単に生成することができる。従って、ノイズ生成部１１によるノイズ生成の動作と学習器１２によるパラメータセットＷの最適化の動作とのスループットを更によくすることができる。

また、本実施形態では、イメージセンサ２１_ｉのノイズ特性が、光ショットノイズＮＳ_１の輝度Ｙに対する分布特性、並びに、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の温度Ｔに対する分布特性を含むので、出力データ生成部２３は、イメージセンサ２１_ｉの光ショットノイズＮＳ_１、並びに、温度依存性が考慮された暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３を反映したノイズＮＳが除去された出力画像データＤ_ｏｕｔを出力する。その結果、ノイズ除去性能が向上する。

また、本実施形態では、中間層３２が中間出力データＤ_ｍｉｄとしてのノイズ成分ＮＳを推定し、出力層３３が入力データＤ_ｉｎと中間出力データＤ_ｍｉｄとの差をとって生成された出力画像データＤ_ｏｕｔを出力する。すなわち、中間層３２は、ノイズデータＤ_ｏｕｔではなく、ノイズデータＤ_ｏｕｔからクリーンデータＤ_ｉｎを引いた差分であるノイズ成分ＮＳを推定するように、パラメータセットＷが最適化されている。ノイズ成分ＮＳは、ノイズデータＤ_ｏｕｔよりも値が小さいので、ノイズデータＤ_ｏｕｔを推定するよりもノイズ成分ＮＳを推定する方が、学習の収束性が向上する。従って、パラメータセットＷを最適化させやすくなる。

また、本実施形態では、中間層３２は、複数のダウンサンプリング層３２ａ，３２ａ，…により入力データＤ_ｉｎの解像度を下げながら、各解像度におけるノイズを抽出し、複数のアップサンプリング層３２ｂ，３２ｂ，…により各解像度におけるノイズを結合して、高解像度におけるノイズＮＳを復元するので、低周波数を含む、広い周波数領域でノイズ除去できる。その結果、ノイズ除去性能が向上する。

また、本実施形態では、情報処理装置１０がノイズ生成部１１と学習器１２とを有し、撮像装置２０が学習器１２で最適化されたパラメータセットＷが格納されたメモリ２４とイメージセンサ２１と出力データ生成部２３とを有する。すなわち、情報処理装置１０がノイズ生成部１１と学習器１２とを用いて機械学習を行い、撮像装置２０が最適化されたパラメータセットＷを用いて撮像された画像データＤ_ｉｎのノイズ除去を行う。従って、高いノイズ除去性能を備えた撮像装置２０を提供することができる。

≪その他の実施形態≫
前記実施形態では、情報処理装置１０によって第１解析段階、第２解析段階、ノイズ画像生成段階、及び機械学習段階を行い、撮像装置２０によってノイズ除去段階を行うが、これに限られない。両解析段階によって解析結果が一旦得られれば、ノイズ画像生成段階及び機械学習段階を、連続してスループットよく行うことができるので、例えば、情報処理装置によって、解析段階を行った上で、その解析結果を格納する撮像装置によって、ノイズ画像生成段階、機械学習段階及びノイズ除去段階を連続して行ってもよい。

また、前記実施形態では、ノイズ生成部１１はノイズ解析部１３を有する構成としたが、イメージセンサ２１のノイズ特性を解析した解析結果があれば、ノイズ解析部１３は必須ではない。

また、前記実施形態では、イメージセンサ２１に固有のノイズ特性は、光ショットノイズＮＳ_１の輝度Ｙに対する分布特性、並びに、暗電流ショットノイズＮＳ_２及び読み出しノイズＮＳ_３の温度Ｔに対する分布特性としたが、これに限られず、例えば、画素感度ばらつきの輝度に対する分布特性や暗電流ノイズの輝度に対する分布特性を更に含んでいてもよい。

また、前記実施形態では、ニューラルネットワーク３０の入力層３１は、画像データを入力データＤ_ｉｎとし、パラメータセットＷは、イメージセンサ２１_ｉ及び温度Ｔ_ｊの両方によって異なるが、これに限られない。例えば、画像データ及び温度Ｔを入力データＤ_ｉｎとし、パラメータセットＷをイメージセンサ２１のみによって異なるＩ組からなるものとしてもよい。

前記実施形態は、情報処理装置１０と撮像装置２０とを備えたノイズ除去システムＳであるが、ニューラルネットワーク３０に基づいて、イメージセンサ２１から入力される画像データＤ_ｉｎのノイズＮＳを除去して出力画像データＤ_ｏｕｔを生成する撮像装置２０のみの構成であってもよい。ここで、ニューラルネットワーク３０のパラメータセットＷが、ノイズＮＳの無いクリーン画像Ｄ_０に、イメージセンサ２１のノイズ特性を解析した解析結果に基づいて生成されたノイズＮＳを付加してノイズ画像Ｄ_１を生成し、ニューラルネットワーク３０に基づいてノイズ画像Ｄ_１からクリーン画像Ｄ_０を推定できるように、最適化されていればよい。これによって、イメージセンサ２１から入力される画像データＤ_ｉｎから、イメージセンサ２１のノイズ特性を反映したノイズＮＳが除去された出力画像データＤ_ｏｕｔが出力される。すなわち、ノイズ除去性能の高い撮像装置を提供できる。

また、前記実施形態では、撮像装置２０はデジタルカメラであるが、スマートフォンなどの他の機器に搭載されていてもよい。

また、前記実施形態では、センサは、イメージセンサ２１であり、入力データＤ_ｉｎは、画像データであるが、これに限られない。例えば、センサは音声マイクロホンであり、入力データは音声データであってもよい。

本発明は、ノイズ除去システムとして有用である。

Ｓ ノイズ除去システム
ＮＳ ノイズ
１０ 情報処理装置
１１ ノイズ生成部
１２ 学習器（学習部）
２０ 撮像装置
２１ イメージセンサ（センサ）
２３ 出力データ生成部
２４ メモリ（格納部）
３０ ニューラルネットワーク
３１ 入力層
３２ 中間層
３２ａ ダウンサンプリング層
３２ｂ アップサンプリング層
３３ 出力層
Ｗ パラメータセット（ネットワークパラメータ）

Claims (8)

1. ニューラルネットワークに基づいて、センサから入力される入力データのノイズを除去するノイズ除去システムであって、
   前記センサのノイズ特性を解析した解析結果に基づいてノイズを生成するノイズ生成部と、
   ノイズの無いクリーンデータに、前記ノイズ生成部により生成されたノイズを付加してノイズデータを生成し、前記ニューラルネットワークに基づいて該ノイズデータから前記クリーンデータを推定できるように、ネットワークパラメータを最適化する学習部と、
   最適化された前記ネットワークパラメータを用いた前記ニューラルネットワークに基づいて、前記入力データのノイズを除去して出力データを生成する出力データ生成部と
   を備える、ノイズ除去システム。
2. 請求項１に記載のノイズ除去システムおいて、
   前記センサは、イメージセンサであり、
   前記入力データは、画像データである、ノイズ除去システム。
3. 請求項２に記載のノイズ除去システムにおいて、
   前記センサのノイズ特性についての前記解析結果は、前記イメージセンサから入力される画像データの輝度及び温度に対するノイズ特性の関係式である、
   ノイズ除去システム。
4. 請求項２又は３に記載のノイズ除去システムおいて、
   前記センサの前記ノイズ特性は、光ショットノイズの輝度に対する分布特性、並びに、暗電流ショットノイズ及び読み出しノイズの温度に対する分布特性を少なくとも含む、ノイズ除去システム。
5. 請求項１〜４のいずれか１項に記載のノイズ除去システムおいて、
   前記出力データ生成部の前記ニューラルネットワークは、
   入力データを入力する入力層と、
   前記入力データから中間出力データとしてのノイズ成分を推定する中間層と、
   前記入力データと前記中間出力データとの差をとって生成された出力データを出力する出力層と
   を含む、ノイズ除去システム。
6. 請求項５に記載のノイズ除去システムおいて、
   前記中間層は、
   前記入力データの解像度を下げながら、各解像度におけるノイズを抽出する複数のダウンサンプリング層と、
   前記複数のダウンサンプリング層で抽出された前記各解像度におけるノイズを結合して、高解像度におけるノイズを復元する複数のアップサンプリング層と
   を含む、ノイズ除去システム。
7. 請求項１〜６のいずれか１項に記載のノイズ除去システムにおいて、
   前記ノイズ生成部と、前記学習部とを有する情報処理装置と、
   ノイズ特性が解析された前記センサと、前記学習部で最適化された前記ネットワークパラメータが格納された格納部と、前記出力データ生成部とを有する撮像装置と
   を備え、
   前記出力データ生成部は、前記センサで撮像された画像データを前記入力データとし、前記格納部に格納された前記ネットワークパラメータを用いた前記ニューラルネットワークに基づいて、前記出力データを生成する、
   ノイズ除去システム。
8. ニューラルネットワークに基づいて、イメージセンサから入力される画像データのノイズを除去して出力データを生成する撮像装置であって、
   前記ニューラルネットワークのネットワークパラメータは、ノイズの無いクリーン画像に、前記イメージセンサのノイズ特性を解析した解析結果に基づいて生成されたノイズを付加してノイズ画像を生成し、前記ニューラルネットワークに基づいて該ノイズ画像から前記クリーン画像を推定できるように、最適化されている、撮像装置。
   

Images