JP2021122106A - 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム - Google Patents

Abstract

【課題】ノイズの推定精度を向上させるための学習用の画像データを容易に取得することを目的とする。【解決手段】撮像装置は、固体撮像素子と、固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、固体撮像素子から取得され第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する学習手段と、第１補正情報による補正がされた画像を学習済みモデルに入力して、ノイズが重畳された画素信号を推定する推定手段と、を備えることを特徴とする。【選択図】図４

Description

本発明は、撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラムに関する。

デジタルカメラ等の撮像装置は、固体撮像素子を用いて画像信号を取得する。取得した画像信号には、固体撮像素子の画素や読み出し回路の欠陥等に起因するノイズ、或いは製造ばらつきに起因するノイズが重畳されることがある。画像信号に重畳されたノイズは、画像信号のＳ／Ｎ比を低下させるため、補正されることが望ましい。

画像信号に重畳されるノイズの一例として、固体撮像素子の画素欠陥によるホワイトピクセルやブラックピクセルがある。該ノイズは、例えば、撮像装置の出荷前に予め欠陥画素の検査が行われ、欠陥画素の位置情報が補正情報として登録される。そして、予め登録された補正情報を用いて、欠陥画素の信号が補正される。

また、画素信号に確率的に発生するノイズの一例として、ランダムテレグラフノイズ（ＲＴＮ）がある。画素信号の読み出し回路のＭＯＳ−ＦＥＴでＲＴＮが発生すると、画像信号のＳ／Ｎ比が低下する。また、画素に対する放射線が入射したこと等に起因するハードエラーにより、後発的に欠陥画素が生じることがある。

関連する技術として、静電破壊や経時変化に伴う欠陥変化に対応することを目的とした特許文献１の技術が提案されている。特許文献１の技術は、ある１画素とそれに隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値に対する判定を行う。さらに、特許文献１の技術は、その周辺に存在する異種同色画素の各画素信号間のレベル差に基づいて欠陥画素を検出し、所定の閾値に対する判定を行うことで、欠陥画素を検出する。

特開平０６−０３０４２５号公報

特許文献１の技術では、上述したＲＴＮや経時的に発生する画素欠陥等のように、補正情報に予め登録されていない未知のノイズを画像から検出する際、誤検出をする可能性がある。例えば、細線等の高周波の被写体がノイズとして検出されることがあり、またノイズが被写体として検出されることがある。

ここで、ノイズの誤検出を抑制し、未知の欠陥画素によるノイズの検出精度を向上させるために、機械学習により学習された学習済みモデルを用いることが考えられる。この場合、学習用の画像データの数を多くし、様々なバリエーションの学習用の画像データを用いて機械学習が行われることが望ましい。しかしながら、様々なバリエーションの学習用の画像データを大量に用意することは難しい。

本発明は、ノイズの推定精度を向上させるための学習用の画像データを容易に取得することを目的とする。

上記目的を達成するために、本発明の学習装置は、固体撮像素子と、前記固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する学習手段と、前記第１補正情報による補正がされた画像を前記学習済みモデルに入力して、ノイズが重畳された画素信号を推定する推定手段と、を備えることを特徴とする。

本発明によれば、ノイズの推定精度を向上させるための学習用の画像データを容易に取得することができる。

第１実施形態の撮像装置のハードウェア構成を示すブロック図である。 第１補正情報を示す模式図である。 推定部におけるデータの入出力の流れを示す図である。 学習部におけるデータの入出力の流れを示す図である。 図１の各部のソフトウェア機能を示す機能ブロック図である。 第１補正部、学習部、推定部および第２補正部の処理の流れを示すフローチャートである。 第２実施形態の撮像システムの構成を示すブロック図である。 第２実施形態の撮像装置のハードウェア構成を示すブロック図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
以下、図面を参照して、第１実施形態について説明する。図１は、第１実施形態の撮像装置１００のハードウェア構成を示すブロック図である。本実施形態の撮像装置１００は、固体撮像素子を含むデジタルカメラであるものとして説明する。ただし、撮像装置１００は、図１の例には限定されない。また、撮像装置１００は、ビデオカメラやスマートフォン、タブレット端末、工業用カメラ、医療用カメラ等であってもよい。

撮像装置１００は、固体撮像素子１、第１補正部２、第１記憶部３、推定部４、第２記憶部５、第２補正部６、制御部７および学習部８を有する。また、撮像装置１００は、レンズ駆動部９、撮影レンズ１０、記録部１１、表示部１２および指示部１３を有する。撮影レンズ１０（撮像光学系、レンズユニット）は、撮像装置１００の本体から着脱可能であってもよいし、着脱不能であってもよい。撮影レンズ１９は、被写体からの光学像を固体撮像素子１の撮像面に結像させる。

固体撮像素子１は、撮影レンズ１９により結像された被写体の光学像を、入射光量に応じた電気信号である画像信号に変換し、画像信号を第１補正部２に出力する。固体撮像素子１の撮像面には光電変換を行う複数の画素が配置される。読み出し回路により各々の画素で蓄積された電荷に応じた電気信号が読み出され、画像信号として利用される。

固体撮像素子１から読み出された第１画像信号には、被写体光に応じた光信号に加えて、様々なノイズが重畳される。例えば、画素や読み出し回路の欠陥、製造ばらつき、読み出し回路の駆動条件や駆動タイミング、（周辺の装置の動作に伴う電磁ノイズ）の影響によるノイズも第１画像信号に重畳される。ノイズの要因は、上述した例には限定されない。

固体撮像素子１の画素において生じるノイズの要因としては、例えば、ホワイトピクセルやブラックピクセルといった画素自体の欠陥がある。ホワイトピクセルは、画素信号が本来の信号レベルよりも白側になる欠陥画素であり、ブラックピクセルは、画素信号が本来の信号レベルより黒側になる欠陥画素である。

このような欠陥画素は、被写体像に応じた光信号に対して定常的にノイズが重畳された画素信号を出力する。このため、欠陥画素の信号値は、その周囲の正常な画素に対して信号値が乖離するため、画像信号のＳ／Ｎ比を悪化させるノイズとなる。第１補正手段としての第１補正部２は、このような欠陥画素により定常的に重畳されるノイズを補正する。

第１記憶部３は、第１画像信号の中から、第１補正部２が補正対象とする画素信号を識別するための識別情報を含む第１補正情報を記憶する。例えば、撮像装置１００の出荷前に、工場等において、ホワイトピクセルやブラックピクセル等の欠陥画素が予め検査される。そして、画像信号における欠陥画素の相対位置を示すアドレス情報が、第１補正情報の識別情報として登録される。

図２を参照して、第１補正情報について説明する。図２は、第１補正情報を示す模式図である。図２（ａ）は、固体撮像素子から出力された、欠陥画素からのノイズを含む画像信号に基づいて生成される画像データ２０１の一例である。図２（ｂ）は、画像信号２０１に含まれる欠陥画素を検査するための検査用画像データ２０２の一例と、検査用画像データ２０２における欠陥画素のアドレスを示す図である。

検査用画像データ２０２は、１以上の欠陥画素を含む画像データである。検査用画像データ２０２は、固体撮像素子１を遮光した状態や均一光を照射した状態で撮影することにより得られる画像データである。検査用画像データ２０２は、欠陥画素信号が補正されていない。

図２において、ｉ番目の欠陥画素をＤｉ、画像信号上での水平アドレスをＨｎ、垂直アドレスをＶｍ、欠陥画素同士のノイズ信号量の大小関係を示す欠陥レベルをＬｖｉで示される。「ｉ」、「ｎ」および「ｍ」は、それぞれ自然数である。欠陥画素Ｄｉは予め特定されており、欠陥画素Ｄｉを識別するための識別情報が、第１補正情報に登録される。図２において、識別情報は、アドレス情報（Ｈｎ、Ｖｍ）として示される。

なお、欠陥画素のノイズ信号量は、画素ごとに異なる。このため、アドレス情報に、欠陥画素同士のノイズ信号量の大小関係を示す欠陥レベルＬｖｉを示す欠陥レベル情報が紐づけられて登録されてもよい。図２（ｃ）は、欠陥画素のアドレス情報に欠陥レベル情報が紐づけられた欠陥画素リスト２０３を示す。欠陥画素のノイズ信号量は、蓄積時間や温度に応じても変化する。このため、第１補正部２は、欠陥レベル情報を参照して、蓄積時間や読み出しゲイン、温度等の撮影条件に応じて、個々の欠陥画素の補正要否を判定し、補正が必要な画素信号のみを補正してもよい。

図１において、第１補正部２は、第１記憶部３に記憶されている第１補正情報を参照し、固体撮像素子１が出力する第１画像信号を補正して、第２画像信号を生成する。第１補正部２は、第１補正情報に含まれる識別情報に基づき、登録された欠陥画素の画素信号を補正対象として、周辺画素の画素値を用いた置換処理や補間処理等、任意の手法により補正を行う。

一方、上述したとおり、固体撮像素子１において、ＲＴＮや後発的に発生する画素欠陥等、経時変化するノイズが発生することがある。このような経時変化するノイズは、第１補正情報の識別情報に登録されていない画素においても発生することがある。従って、当該ノイズが発生した画素信号は、第１補正情報に基づいて補正されない可能性がある。

推定部４は、第１補正情報に登録されていないノイズ（後発的に生じる画素欠陥によるノイズや偶発的に生じたノイズ）が重畳された画素信号を推定する。第２補正部６は、推定部４が推定したノイズを補正する。推定手段としての推定部４は、第１補正部２による第１補正情報に基づく補正が適用された後の第２画像信号からノイズが重畳された画素信号を検出し、該ノイズを補正するための第２補正情報を推定する。ここで、推定部４が推定するノイズは、上述したようなＲＴＮや後発的に生じる画素欠陥のようなノイズ（第１補正情報により補正されないノイズ）である。

第２補正情報は、第１補正情報と同様に、入力した画像信号から検出された欠陥画素信号の識別情報（例えば、画像信号中の相対位置を示すアドレス情報）を少なくとも含む。また、第２補正情報は、第１補正情報と同様に、推定された欠陥画素の欠陥レベルを含んでいてもよい。さらに、第２補正情報は、信号値の補間に用いる周辺画素の選択についての推定結果や推定した欠陥画素信号を補正するための補正係数の推定結果、補正後の推定信号値の推定結果等を含んでもよい。

推定部４は、第２記憶部５に記憶されている学習済みモデルを用いて、上述した推定を行う。図３（ａ）および図３（ｂ）は、推定部４における学習済みモデルを用いたデータの入出力の流れを示す図である。

図３（ａ）において、推定部４は、第２記憶部５から取得した学習済みモデル３０３を用いて推定処理を行う。推定部４は、例えば、学習済みモデル自体を第２記憶部５から取得してもよいし、学習済みモデルに適用される学習済み係数パラメータを第２記憶部５から取得してもよい。なお、図３の学習済みモデルには、ニューラルネットワークが適用されている。

学習済みモデル３０３には、推定用の入力データ３０１として、第１補正部２による第１補正情報に基づく補正が適用された第２画像信号が入力される。推定部４は、学習済みモデル３０３に基づいて入力された第２画像信号から第２補正情報を推定する。そして、推定された第２補正情報に基づいて第２画像信号に含まれるノイズを補正し、補正された画像信号（推定画像信号）を出力データ３０２として差分回路３０４に入力する。

差分回路３０４は、第２補正情報に基づく補正を施されていない入力データ（第２画像信号）３０１と第２補正情報に基づく補正を施された出力データ３０２との各画素の差分値をそれぞれ求め、差分データ３０５として出力する。

第２補正情報生成部３０６は、差分データ３０５に基づいて、第１補正情報に登録されていない欠陥画素の識別情報を含む第２補正情報を出力データ３０７として出力する。

第２補正情報生成部３０６は、例えば、差分データ３０５のうち、差分値が所定の閾値を超える１以上の画素信号を出力する画素を新たな欠陥画素として検出する。そして、第２補正情報生成部３０６は、新たに検出した欠陥画素の識別情報を含む情報を出力データ３０７として生成してもよい。この場合、差分値が所定の閾値を超える画素が第２補正部６により補正される。

図３（ｂ）は、推定部４の他の例である。図３（ｂ）において、推定部４ｂは、差分回路３０４および第２補正情報生成部３０６を有していない。推定部４ｂの学習済みモデル３０３ｂには、推定用の入力データ３０１として、第１補正部２による第１補正情報に基づく補正が適用された第２画像信号が入力される。推定部４ｂは、第１補正情報に登録されていないノイズ（後発的に生じる画素欠陥によるノイズや偶発的に生じたノイズ）が重畳された第２画素信号から第１補正情報に登録されていない欠陥画素を推定する。そして、推定部４ｂは、推定された新たな欠陥画素の識別情報を含む第２補正情報を生成し、生成した第２補正情報を出力データ３０７として出力する。

図３（ａ）および（ｂ）の例において、推定部４、４ｂに、第１補正部２による第１補正情報に基づく補正が適用された第２画像信号ではなく、第１補正部２による第１補正情報に基づく欠陥画素信号の補正が適用されていない第３画像信号が入力されてもよい。この場合、推定部４、４ｂは、第１補正部２が補正していない欠陥画素信号についても合わせて推定することができる。その結果、本来であれば第１補正部２により補正される欠陥画素信号が、推定部４、４ｂにより検出される。

図１において、推定部４が推定した第２補正情報は、第２画像信号と紐づけられて、第２画像信号とともに第２補正部６に提供（出力）される。つまり、推定部４は、推定した第２補正情報だけでなく、推定に用いられた第２画像信号も第２補正部６に提供する。第２補正部６は、提供された第２補正情報に基づき、第１補正部２と同様の処理（補間処理等）を行い、第２画像信号の欠陥画素信号を補正する。

第２補正部６は、第２補正情報に基づく補正を施した第２画像信号を、記録や表示等に用いるために、制御部７に出力する。第２記憶部５は、後述の学習部８が機械学習した学習済みモデル３０３を記憶する。上述したように、推定部４は、第２記憶部５から学習済みモデル３０３を取得する。第１記憶部３と第２記憶部５とは同じ記憶部（メモリやストレージ等）であってもよいし、別個の記憶部であってもよい。

第２補正手段としての第２補正部６は、推定部４が推定した第２補正情報に基づいて第２画像信号を補正する。第２補正部６は、第２補正情報に基づき識別情報により識別された画素信号を、近接画素値を用いた置換処理や補間処理等の補正方法を用いて補正する。図１において、第１補正部２と第２補正部６とは共通の回路ブロックであってもよいし、別途の回路ブロックであってもよい。

学習手段としての学習部８は、推定部４による推定に用いられる学習済みモデルの機械学習を行う。本実施形態では、学習済みモデルとして、ニューラルネットワークが用いられるものとする。このため、学習部８は、ニューラルネットワークを利用した深層学習を行う。ただし、学習部８は、最近傍法やナイーブベイズ法、決定木、サポートベクターマシン等の任意のアルゴリズムを用いて、機械学習を行ってもよい。

図４は、学習部８におけるデータの入出力の流れを示す図である。学習部８は、モデル４０３、誤差検出部４０６および更新部４０７を有する。モデル４０３は、学習部８が機械学習を行う対象のモデルである。機械学習されたモデル４０３が、推定部４の学習済みモデル３０３となる。従って、学習部８のモデル４０３と推定部４の学習済みモデル３０３とは同じアルゴリズムが適用される。学習部８により生成された学習済モデル３０３は、第２記憶部５に記憶される。

学習部８は、第１補正部２から、第１画像信号に対して第１補正情報に基づく補正を行う前の画像信号（第３画像信号）とともに、第１記憶部３に記憶されている第１補正情報を取得する。学習部８は、第３画像信号を学習用の入力データ４０１とし、第１補正情報を教師データ４０４として、モデル４０３の機械学習を行う。

ここで、第３画像信号は、学習部８における機械学習の対象である欠陥画素信号以外のノイズについては、補正されていてもよい。例えば、第１補正部２は、第１画像信号に対して、固体撮像素子１の画素列ごとに設けた列回路のばらつきに起因する、オフセットばらつきや回路ゲインばらつきによるノイズ（シェーディング）を補正してもよい。第１補正部２は、このような補正を行い、第３画像信号を生成してもよい。

第１補正部２が上記の補正を行うために、第１記憶部３は、第１補正情報とは別に、列回路のばらつきに起因するオフセットばらつきや回路ゲインばらつきを補正するための補正情報を記憶してもよい。この場合、第１補正部２は、第１記憶部３に記憶されている補正情報を参照して、上記の補正を行う。

また、ＲＴＮの検出精度向上を目的とした場合、第１補正部２は、第１補正情報の欠陥レベルＬｖｉを参照して、ＲＴＮが示す値と欠陥レベルＬｖｉとの差分が一定値以上であるかによって、第１画像信号を補正して第３画像信号を生成してもよい。例えば、第１補正部２は、上記差分が一定値以上の欠陥画素に対しては、周辺画素の画素値を用いた置換処理や補間処理等の補正を行い、上記差分が一定値未満の欠陥画素に対しては、補正を行わないようにして、第３画像信号を生成してもよい。

モデル４０３は、学習用の入力データ４０１である第３画像信号を入力として、ノイズが重畳された画素信号を推定し、推定された画素信号を識別するための識別情報を含む第２補正情報を出力データ４０２として出力する。誤差検出部４０６は、モデル４０３が出力した出力データ４０２と教師データ４０４との誤差４０５（損失）を検出する。

更新部４０７は、誤差検出部４０６が検出した誤差４０５が小さくなるように、モデル４０３を更新する。本実施形態では、モデル４０３は、ニューラルネットワークであるため、更新部４０７は、誤差４０５が小さくなるように、ニューラルネットワークの係数パラメータを調整して、更新する。例えば、更新部４０７は、勾配降下法等を用いた誤差逆伝搬法により、ニューラルネットワークの係数パラメータを調整することで、更新してもよい。

上述したように、学習用の入力データ４０１として、固体撮像素子１から出力された第１画像信号に対して、第１補正情報に基づく補正がされていない第３画像信号が使用される。すなわち、入力データ４０１である第１画像信号は、画素欠陥によるノイズが重畳された画像信号となる。画素欠陥は、第１補正情報におけるアドレスに生じている。学習部８は、第１補正情報に基づく補正が行われる前の画像を、第１補正部２から取得するだけで、学習用の入力データ４０１としての第３画像信号を得ることができる。従って、特別な処理（画像信号の加工や合成等の処理）を要することなく、学習用の入力データ４０１を簡易に取得できる。

入力データ４０１である第３画像信号は、第１補正情報が示すアドレスに、画素欠陥によるノイズが重畳されたままの画像信号である。従って、第１補正情報を教師データとして用いることができる。これにより、被写体像を含む画像信号からノイズを推定する際に、被写体像自体に含まれる点像や細線等をノイズとして判定するような推定の誤りが抑制され、モデル４０３の推定精度が向上する。

また、入力データ４０１には、第１補正情報が紐づけられている。従って、学習部８は、第１補正情報を参照することで、教師データ４０４を容易に取得することができる。なお、第１補正部２が、欠陥レベル情報と第１画像信号の撮影条件とに応じて、個々の欠陥画素の補正要否を判定する場合、教師データ４０４は、第１補正情報のうち、補正が必要であると判定された画素信号に関する情報のみのデータであってよい。

ユーザ等は、撮像装置１００に、被写体や構図、撮影条件等を任意に設定して、撮影を行うことができる。撮影された第１画像信号に対して補正がされる前の第３画像信号は、モデル４０３に対する入力データ４０１となる。これにより、被写体や構図、撮影条件等の様々なバリエーションにおける学習用の入力データ４０１を容易に取得することができる。その結果、学習済みモデル３０３による推定精度を向上させることができる。

学習部８は、ＣＰＵを含む単独の装置（学習装置）で構成されてよい。ただし、学習部８が機械学習を行う際の演算を行う際の演算量は多い。例えば、学習部８が深層学習を行う場合、積和演算の演算量が非常に多くなる。そこで、学習部８は、ＧＰＵ（グラフィックス・プロセッシング・ユニット）により実現されてもよいし、ＣＰＵとＧＰＵとにより実現されてもよい。

推定部４も、学習部８と同様に、ＣＰＵとＧＰＵとのうち何れか一方または両方が適用されてよい。このとき、ＣＰＵとＧＰＵとが協働して、処理を行うことが好適である。また、推定部４と学習部８とは、共通のＣＰＵやＧＰＵが用いられてもよい。さらに、ＧＰＵの代わりに、またはＧＰＵとともに機械学習の演算に特化した回路が用いられてもよい。

図１に示される制御部７は、指示部１３の指示に基づき、撮像装置１００の各機能ブロックを駆動するための制御信号を生成し、出力する。さらに、制御部７は、第２補正部６が出力した画像信号に対して、各種の処理（現像や圧縮等の所定の信号処理、データ付与等の処理）を行い、表示用画像信号や記録用画像信号等を生成する。

記録部１１は、所定の記録媒体に情報の記録をすることができる。記録媒体は、記録部１１から着脱可能であってもよいし、着脱不能であってもよい。記録部１１は、制御部７によって信号処理が施された記録用画像信号等を記録媒体に記録する。記録媒体としては、例えば、フラッシュメモリ等の半導体メモリ等を適用できる。

表示部１２は、制御部７が生成した表示用画像信号や撮像装置の各種設定情報等を表示する。指示部１３は、撮影の実行指示等に関する指示を受け付ける。該指示は、例えば、ユーザ等が行う。レンズ駆動部９は、撮影レンズ１０を駆動する。レンズ駆動部９は、制御部７からの制御信号に従って、ズーム制御やフォーカス制御、絞り制御等を行う。

図５は、図１の各部のソフトウェア機能を示す機能ブロック図である。

固体撮像素子１は、画像信号を出力する。画像信号生成部５１１は、画像信号を生成する。画像信号提供部５１２は、生成した画像信号を、第１画像信号として第１補正部２へ提供する。

第１補正部２の画像信号受信部５２３は、固体撮像素子１から第１画像信号を受信する。画像信号記憶部５２２は、受信した画像信号を一時的に記憶する。補正情報受信部５２５は、第１記憶部３から第１補正情報を受信する。補正情報記憶部５２１は、第１補正情報を一時的に記憶する。画像信号補正部５２４は、補正情報記憶部５２１から受信した第１補正情報を参照し、画像信号記憶部５２２に記憶されている第１画像信号を補正する。

画像信号提供部５２７は、第１画像信号に対して、第１補正情報に基づく補正を適用する前の、第３画像信号を学習部８へ提供する。また、画像信号提供部５２７は、第１補正情報に基づき補正された第２画像信号を推定部４に提供する。補正情報提供部５２６は、学習部８へ第３画像信号を提供する際、第３画像信号に紐づけて、第１補正情報を学習部８へ提供する。

第１記憶部３は、第１補正情報を予め記憶する。補正情報記憶部５３２は、第１画像信号を補正するための第１補正情報を記憶する。補正情報提供部５３１は、第１補正情報を第１補正部２へ提供する。

推定部４は、受信した第２画像信号から補正対象とするノイズを推定し、推定されたノイズを補正するための第２補正情報を生成する。画像信号受信部５４３は、第１補正部２から第２画像信号を受信する。画像信号記憶部５４２は、受信した第２画像信号を一時的に記憶する。モデル受信部５４７は、第２記憶部５から学習済みモデルを受信する。

モデル記憶部５４８は、学習済みモデルを一時的に記憶する。モデル記憶部５４８は、学習済み係数パラメータを記憶していてもよい。この場合、モデル受信部５４７は、第２記憶部５から学習済み係数パラメータを受信する。

推定処理部５４５は、受信した学習済みモデルを用いて、第２画像信号から補正内容を推定し、推定した補正内容に応じて第２補正情報を生成する。推定内容は、補正対象とするノイズの検出と、補正方法の選択または決定と、補正係数の推定とのうち少なくとも１つを含む。

補正情報記憶部５４１は、第２補正情報を一時的に記憶する。画像信号提供部５４４は、第２画像信号を第２補正部６へ提供する。補正情報提供部５４６は、第２補正部に提供する第２画像信号に紐づけて、第２画像信号から推定した第２補正情報を、第２補正部６へ提供する。

第２補正部６は、第２補正情報に基づき、第２画像信号を補正する。画像信号受信部５６３は、推定部４から第２画像信号を受信する。画像信号記憶部５６２は、受信した第２画像信号を一時的に記憶する。補正情報受信部５６５は、推定部４から第２補正情報を受信する。

補正情報記憶部５６１は、受信した第２補正情報を一時的に記憶する。画像信号補正部５６４は、補正情報記憶部５６１に記憶した第２補正情報に基づき、画像信号記憶部５６２に記憶した第２画像信号を補正する。画像信号提供部５６６は、補正した画像信号を、記録用の画像信号や表示用の画像信号等として出力する。

学習部８は、入力された第３画像信号から補正対象としてのノイズを検出し、検出したノイズを補正するための第２補正情報を推定するための機械学習を行う。学習部８は、第１補正情報に基づく補正が適用される前の第３画像信号を学習用の入力データとし、第１補正情報を教師データとして、機械学習を行う。機械学習に先立ち、画像信号受信部５８１は、第１補正部２から、第３画像信号を受信する。画像信号記憶部５８６は、第３画像信号を一時的に記憶する。

補正情報受信部５８２は、第１補正部２から第１補正情報を受信する。補正情報記憶部５８５は、受信した第１補正情報を一時的に記憶する。学習処理部５８３は、画像信号記憶部５８６に記憶された第３画像信号を入力データとし、補正情報記憶部５８５に記憶された第１補正情報を教師データとして、機械学習を行う。これにより、学習済みモデルが生成される。モデル提供部５８４は、生成した学習済みモデルを、第２記憶部５へ提供する。このとき、モデル提供部５８４は、学習済みモデル自体ではなく、学習済み係数パラメータを第２記憶部５へ提供してもよい。

第２記憶部５は、学習部８が学習した学習済みモデルを記憶し、推定部４へ提供する。モデル受信部５５３は、学習部８から学習済みモデルを受信する。モデル記憶部５５２は、学習済みモデルを記憶する。モデル提供部５５１は、モデル記憶部５５２に記憶した学習済みモデルを推定部４へ提供する。

図６は、第１補正部２、学習部８、推定部４および第２補正部６の処理の流れを示すフローチャートである。第１補正部２の処理の流れを、図６（ａ）を参照して、説明する。なお、図６（ａ）の処理が行われる前に、固体撮像素子１は、画像信号を生成し、第１画像信号として出力しているものとする。ステップＳ７２１で、第１補正部２は、第１画像信号と、第１画像信号を補正するための第１補正情報を受信する。ステップＳ７２２で、第１補正部２は、学習指示がされたかを判定する。例えば、指示部１３に対して学習指示がされた場合、制御部７は、学習指示があったことを示す情報を第１補正部２に出力する。

第１補正部２は、ステップＳ７２２でＮＯと判定した場合、処理をステップＳ７２４に進める。例えば、指示部１３から所定間隔以下の間隔で連続撮影が指示された場合等、学習部８の処理能力を上回るフレームレートで画像信号が取得されたとする。このような場合、制御部７は、学習処理を行うことが可能なフレーム間隔で学習部８に学習指示を行ってもよい。この場合、全てのフレーム（画像）が学習対象とならず、一部のフレームが学習対象となる。例えば、学習部８の処理能力に合うように、各フレームのうち一部のフレームが学習対象から除外されてもよい。

第１補正部２は、ステップＳ７２２でＹｅｓと判定した場合、処理をステップＳ７２３に進める。ステップＳ７２３で、画像信号提供部５２７は、学習用の入力データである第３画像信号に教師データとしての第１補正情報を紐づけて、学習部８に提供する。

ステップＳ７２４で、画像信号補正部５２４は、第１画像信号に対して、第１補正情報に基づく補正を行う。ステップＳ７２５で、画像信号提供部５２７は、第１補正情報に基づく補正が適用された第２画像信号を、推定部４に提供する。そして、第１補正部２の処理は終了する。

次に、図５（ｂ）を参照して、学習部８の処理の流れについて説明する。ステップＳ７８１で、画像信号受信部５８１は、第３画像信号と第１補正情報を受信したかを判定する。学習部８は、ステップＳ７８１でＮＯと判定した場合、機械学習は行われないため、処理を終了させる。

学習部８は、ステップＳ７８２でＹｅｓと判定した場合、第３画像信号を入力とし、第１補正情報を教師データとしたモデル４０３の機械学習を学習処理部５８３に行わせる。学習処理部５８３は、モデル４０３が推定した補正情報が、教師データとしての第１補正情報に近づくように機械学習を行う。

学習処理部５８３が行う機械学習は、所定条件を満たしたときに、完了する。例えば、モデル４０３の学習量が所定量に達したときに、学習処理部５８３は、機械学習を完了してもよい。ステップＳ７８４で、モデル提供部５８４は、学習が完了したモデル４０３を、学習済みモデル３０３として第２記憶部５に提供する。第２記憶部５は、提供された学習済みモデル３０３を記憶する。以上により、学習部８の処理は終了する。

次に、図５（ｃ）を参照して、推定部４の処理の流れについて説明する。ステップＳ７４１で、モデル受信部５４７は、第２記憶部５から学習済みモデル３０３を受信する。ステップＳ７４２で、モデル記憶部５４８は、受信した学習済みモデル３０３をモデル記憶部５４８に記憶する。ステップＳ７４３で、画像信号受信部５４３は、第１補正部２から第２画像信号を受信する。

ステップＳ７４４で、推定処理部５４５は、受信した第２画像信号を、入力データとして学習済みモデルに入力し、第２補正情報を推定する。ステップＳ７４５で、画像信号提供部５４４は、第２画像信号を第２補正部６に提供し、補正情報提供部５４６は、推定された第２補正情報を推定結果として第２補正部６に提供する。そして、推定部４の処理は終了する。

次に、図５（ｄ）を参照して、第２補正部６の処理の流れについて説明する。ステップＳ７６１で、画像信号受信部５６３は、推定部４から第２画像信号を受信し、補正情報受信部５６５は、推定部４から第２補正情報を受信する。

ステップＳ７６２で、画像信号補正部５５４が、第２補正情報に基づき第２画像信号を補正する。ステップＳ７６３で、画像信号提供部５６６は、第２補正情報に基づき補正された画像信号を、記録用画像や表示用画像として記録部１１や表示部１２に提供する。

以上説明したように、本実施形態では、学習部８は、固体撮像素子１が撮像した第１画像信号が補正される前の第３画像信号を学習用の入力データとし、予め登録された欠陥画素を識別するための第１補正情報を教師データとして、機械学習を行う。撮像装置１００の実際の使用に応じて、補正される前の第３画像信号が取得できるため、学習用の入力データを予め用意することなく、様々な学習用の入力データを容易に取得できる。

また、本実施形態では、第１画像信号を補正するための第１補正情報は事前に登録されており、事前に登録された第１補正情報が、学習部８が行う機械学習の教師データとして利用される。このため、教師データを別途に用意する必要がない。これにより、補正対象のノイズの推定精度を向上させるための学習用の画像データを容易に取得することができる。

上述した例では、ＲＴＮや後発の画素欠陥によるノイズの検出を学習するための学習用データの取得について説明した。しかし、本実施形態は、画素列や画素行に沿って発生する筋状や帯状のノイズの推定にも適用できる。この場合、例えば、固体撮像素子１の画素列ごとに設けた列回路のばらつきに起因するオフセットばらつきや回路ゲインばらつきを補正するための補正情報が教師データとなる。そして、補正情報が適用される前の画像信号を入力とし、上記の教師データを用いて、モデルの機械学習により学習済みモデルが生成されてもよい。

また、第１補正部２は、固体撮像素子１の内部に設けられていてもよい。この場合、画素を含む撮像部が固体撮像素子１の第１基板に設けられようにし、第１補正部２が第１基板とは異なる第２基板に設けられようにしてもよい。この場合、第１基板と第２基板とが積層される構成が採用され得る。

また、推定部４が、第１基板および第２基板と異なる第３基板に設けられるようにしてもよい。この場合、第１基板と第２基板と第３基板とが積層される構成が採用され得る。固体撮像素子１、第１補正部２、第１記憶部３、推定部４、第２記憶部５、第２補正部６、制御部７および学習部８は、それぞれ異なる基板に設けられ、各基板が積層される構成であってもよい。

また、第１補正部２と第２補正部６とは一体の構成であってもよいし、別途の構成であってもよい。さらに、推定部４は、学習部８の機能を有していてもよい。図１の第１補正部２から学習部８までは、別途に設けられるハードウェアであってもよいし、一体に設けられるハードウェアであってもよい。例えば、所定の回路で実現される制御部７が、第１補正部２から学習部８までの機能を有していてもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。図７は、第２実施形態の撮像システムの構成を示すブロック図である。撮像システムは、撮像装置８０２、クライアント端末８０３、データ収集サーバー８０４および学習サーバー８０５を含む。撮像装置８０２は、ローカルネットワーク８０１に接続されている。

撮像装置８０２は、ローカルネットワーク８０１およびインターネット８０９を介して、学習サーバー８０５と通信可能である。また、撮像システムは、ローカルネットワーク８０１に接続されるクライアント端末８０３を含む。なお、クライアント端末８０３は撮像システムに含まれなくてもよい。撮像装置８０２がクライアント端末８０３と通信し、クライアント端末８０３が学習サーバー８０５およびデータ収集サーバー８０４と通信してもよい。

図８は、第２実施形態の撮像装置８０２のハードウェア構成を示すブロック図である。第１実施形態の撮像装置１００との違いは、学習部８が学習サーバー８０５として撮像装置８０２の外部に設けられる点、および外部装置と通信するための通信部９０１が撮像装置８０２に設けられる点である。第１補正部２は、固体撮像素子１から読み出され、第１補正情報に基づく補正を適用する前の第３画像信号を、学習用の入力データとして制御部７に提供する。

制御部７は、撮像装置８０２または固体撮像素子１の個体を識別するための個体識別情報を第３画像信号に付与する。制御部７は、個体識別情報が付与された第３画像信号を、通信手段としての通信部９０１を介して、外部のデータ収集サーバー８０４に送信するように制御する。

データ収集サーバー８０４は、複数の撮像装置または複数の固体撮像素子のそれぞれの個体識別情報に対応する第１補正情報を予め記憶している。データ収集サーバー８０４は、撮像装置８０２から第３画像信号を受信すると、第３画像信号に付与された個体識別情報を参照し、対応する第１補正情報を特定する。そして、データ収集サーバー８０４は、特定された第１補正情報を、受信した第３画像信号に紐づけて、学習サーバー８０５へ送信する。

学習サーバー８０５は、第１実施形態の学習部８に対応する学習装置である。学習サーバー８０５は、データ収集サーバー８０４から受信した第３画像信号を学習用の入力データとし、画像信号に紐づけられた第１補正情報を教師データとして、モデルの機械学習を行う。これにより、学習済みモデルが生成される。なお、学習サーバー８０５は、複数の撮像装置のそれぞれについての機械学習を行ってもよい。

学習サーバー８０５は、生成した学習済みモデルを、撮像装置８０２へ送信する。このとき、学習サーバー８０５は、学習済みモデル自体ではなく、学習済み係数パラメータを撮像装置８０２に送信してもよい。学習サーバー８０５から受信した学習済みモデルは、撮像装置８０２の通信部９０１が受信し、制御部７へ送られる。

制御部７は、学習済みモデルを第２記憶部５に記憶させる。推定部４は、第２記憶部５に記憶された学習済みモデルを用いて、第１補正部２が提供した第２画像信号から、補正対象となる画素信号を推定する。

以上のように、撮像装置８０２が、学習部８を有しない構成でも、第１実施形態と同様の効果を得ることができる。ここで、撮像装置８０２は、推定部４を有しない構成であってもよい。例えば、クライアント端末８０３が、推定部４として機能する推定装置であってもよい。クライアント端末８０３としては、例えば、エッジコンピュータが適用され得る。クライアント端末８０３は、学習サーバー８０５から学習済みモデルを取得する。

また、クライアント端末８０３は、撮像装置８０２から第２画像信号を取得する。そして、クライアント端末８０３は、第２画像信号を入力として、学習済みモデルを用いた推定処理を行い、推定結果である第２補正情報を撮像装置８０２に送信する。これにより、撮像装置８０２の第２補正部６は、第２補正情報を用いて補正を行うことができる。この場合、撮像装置８０２は、学習部８だけでなく、推定部４の機能も有しない。

また、第２実施形態の撮像装置８０２は、第１補正部２および第１記憶部３を有しない構成であってもよい。この場合、推定部４は、学習済みモデルを用いて推定を行い、推定結果に基づき、第１補正情報に相当する補正情報を含む第２補正情報を生成する。第２補正部６は、第２補正情報に基づいて第３画像信号を補正する。

この場合、第２補正部６は、第３補正手段に対応する。このため、第１補正部２による第１補正情報に基づく補正処理を省略することができる。なお、学習部８が機械学習を行う際の教師データとして使用される第１補正情報は、例えば、第２記憶部５に記憶される。以上の例は、第１実施形態にも適用できる。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 固体撮像素子
２ 第１補正部
４ 推定部
６ 第２補正部
７ 制御部
８ 学習部
１００ 撮像装置
３０３ 学習済みモデル

Claims (20)

1. 固体撮像素子と、
   前記固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する学習手段と、
   前記第１補正情報による補正がされた画像を前記学習済みモデルに入力して、ノイズが重畳された画素信号を推定する推定手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１補正情報は、前記補正対象として欠陥画素のアドレス情報が予め登録された情報であることを特徴とする請求項１に記載の撮像装置。
3. 前記複数の画素のうち前記欠陥画素ではない画素信号に対して、所定の補正がされることを特徴とする請求項２に記載の撮像装置。
4. 前記所定の補正は、前記固体撮像素子の列回路のばらつきによるノイズの補正であることを特徴とする請求項３に記載の撮像装置。
5. 前記学習手段は、前記第１補正情報により補正された画像を前記学習済みモデルに入力したときに出力される第２補正情報と前記第１補正情報との誤差が小さくなるように前記学習済みモデルの機械学習を行うことを特徴とする請求項１乃至４のうち何れか１項に記載の撮像装置。
6. 前記固体撮像素子が出力した画像を、前記第１補正情報を用いて補正する第１補正手段、をさらに備え、
   前記第１補正手段により補正された画像が前記推定手段に入力されることを特徴とする請求項１乃至５のうち何れか１項に記載の撮像装置。
7. 前記固体撮像素子と前記第１補正手段と前記推定手段とはそれぞれ異なる基板に設けられ、それぞれの基板は積層されることを特徴とする請求項６に記載の撮像装置。
8. 前記第１補正手段は、蓄積時間と読み出しゲインと温度とのうち少なくとも１つに基づいて、前記補正対象の画素信号を判定し、前記補正対象であると判定された画素信号のみを、前記第１補正情報を用いて補正することを特徴とする請求項６または７に記載の撮像装置。
9. 前記推定手段が推定した画素信号を識別する第２補正情報に基づいて、前記第１補正情報により補正された画像を補正する第２補正手段、をさらに備えることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
10. 前記推定手段が推定した画素信号を識別する第２補正情報に基づいて、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を補正する第３補正手段、をさらに備えることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
11. 前記推定手段は、前記学習済みモデルに対して入力する画像と前記学習済みモデルによる推定結果に基づく画像との画素ごとの画素信号の差分値を求め、該差分値を超える画素信号を前記ノイズが重畳された画素信号として推定することを特徴とする請求項１乃至１０のうち何れか１項に記載の撮像装置。
12. 前記推定手段の処理能力と画像を取得するフレームレートとに応じて、前記固体撮像素子から取得される画像の一部が学習対象から除外されることを特徴とする請求項１乃至１１のうち何れか１項に記載の撮像装置。
13. 固体撮像素子と、
    前記固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する学習装置から前記学習済みモデルを取得する通信手段と、
    前記第１補正情報による補正がされた画像を前記学習済みモデルに入力して、ノイズが重畳された画素信号を推定する推定手段と、
    を備えることを特徴とする撮像装置。
14. 固体撮像素子と、
    前記固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により生成された学習済みモデルに、前記第１補正情報による補正がされた画像を前記学習済みモデルに入力して、ノイズが重畳された画素信号を推定する推定装置から推定結果を取得する通信手段と、
    を備えることを特徴とする撮像装置。
15. 固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する学習手段、
    を備えることを特徴とする学習装置。
16. 固体撮像素子を有する撮像装置の制御方法であって、
    前記固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する工程と、
    前記第１補正情報による補正がされた画像を前記学習済みモデルに入力して、ノイズが重畳された画素信号を推定する工程と、
    を備えることを特徴とする撮像装置の制御方法。
17. 固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により学習済みモデルを生成する工程、
    を備えることを特徴とする学習方法。
18. 固体撮像素子の複数の画素のうちノイズの補正対象である画素信号を識別する第１補正情報を教師データとし、前記固体撮像素子から取得され前記第１補正情報による補正がされていない画像を入力とした機械学習により生成されることを特徴とする学習済みモデル。
19. 請求項１乃至１４のうち何れか１項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。
20. 請求項１５に記載の学習装置の学習手段をコンピュータに実行させるためのプログラム。

Images