JP2021097278A - 画像処理装置および画像処理方法ならびにプログラム - Google Patents

Abstract

【課題】欠陥画素値の補正を行う画像処理システムで、特徴の特定を自動化し、よりロバストかつ精度よく補正を行うことが可能な画像処理装置を提供する。【解決手段】画像処理システム１００において、学習装置は、撮像素子で撮像された入力画像を取得する取得部と、入力画像を深層学習に用いるモデルに入力して、撮像素子の１つ以上の欠陥画素による信号値を補正した推定画像を生成する生成部と、推定画像と正解画像との損失評価に基づいてモデルのパラメータを更新する更新部と、を有する。更新部は、推定画像における１つ以上の欠陥画素による信号値が、第１の種別の信号値であるか第１の種別の信号値より低い第２の種別の信号値であるかに応じて、推定画像及び正解画像の階調を補正したうえで損失評価を行うか、推定画像及び正解画像の階調を補正しないで損失評価を行うかを異ならせる。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法ならびにプログラムに関する。

近年、デジタルカメラなどの撮像装置では、撮像素子として、一般にＣＣＤセンサやＣＭＯＳセンサなどが用いられている。このような撮像素子では、構造上の要因や製造過程における要因、或いは製造後の外的な要因などによって、一部の画素が欠陥画素（欠陥状態の画素そのものをいう）の状態になる場合がある。

欠陥画素は、発生頻度がばらつくことが知られている。そのため、発生した欠陥画素を検出し、検出した欠陥画素の画素出力を補正する技術が提案されている（特許文献１及び特許文献２）。撮像装置内で欠陥画素を検出して補正することにより、製造過程で特定の位置に発生した欠陥画素に限らず、製造後に新たに発生した欠陥画素の画素出力を補正することができる。

特開２００４−２９７２６７号公報 特開２００１−０８６５１７号公報

ところで、上述の従来技術のようにルールベースのアルゴリズムで欠陥画素の信号を補正する方法に代えて、機械学習を適用して欠陥画素の信号を補正することが考えられる。例えば、ディープニューラルネットワークを用いた機械学習を適用し、人手で特徴量を設計するルールベースの手法よりも特徴量の特定そのものを機械学習で導出することで、よりロバストかつ精度よく欠陥画素の信号を補正可能になることが期待される。

本発明は、上記課題に鑑みてなされ、その目的は、特徴の特定が自動化され、よりロバストかつ精度よく欠陥画素の信号の補正を行うことが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像素子で撮像された入力画像を取得する取得手段と、前記入力画像を深層学習に用いるモデルに入力して、前記撮像素子の１つ以上の欠陥画素による信号値を補正した推定画像を生成する生成手段と、前記推定画像と正解画像との損失評価に基づいて前記モデルのパラメータを更新する更新手段と、を有し、前記更新手段は、前記推定画像における前記１つ以上の欠陥画素による信号値のそれぞれが、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を補正したうえで前記損失評価を行うか、前記推定画像及び前記正解画像の前記階調を補正しないで前記損失評価を行うかを異ならせる、あるいは、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を異なる変換特性を用いて補正したうえで前記損失評価を行うことを特徴とする。

本発明によれば、特徴の特定が自動化され、よりロバストかつ精度よく欠陥画素の信号の補正を行うことが可能になる。

実施形態１に係る画像処理システムにおける各装置の機能構成例を示す図 実施形態１に係る画像処理システムを構成する各種装置の一例を説明するための図 実施形態１に係るニューラルネットワークの構成を模式的に説明する図 実施形態１に係る欠陥画素補正のための学習段階の一連の動作を示すフローチャート 実施形態１において適用されるガンマ補正を説明するための図 実施形態１において説明するパターンノイズの一例を示す図 実施形態１に係る欠陥画素補正のための推定段階の処理を含む、欠陥画素補正処理の一連の動作を示すフローチャート 実施形態２に係る欠陥画素補正のための学習段階の一連の動作を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態の概要）
以下で説明する実施形態では、ディープニューラルネットワークなどの機械学習モデルを用いて欠陥画素による信号を補正する技術について説明する。画像を対象としてニューラルネットワークなどの機械学習モデルを用いる場合、訓練データと正解データとを生データであるＲＡＷ画像として学習を行う場合がある。これに対して、ＲＡＷ画像にガンマ補正を適用した後の訓練データと正解データを用いる場合、ユーザが鑑賞する際の画像に近い状態の信号値を用いて機械学習を行うことができ、鑑賞する際の違和感を低減できる点で学習精度を向上させることができる。

他方、ガンマ補正の特性は、信号値が高い（白に近い）ほどガンマ補正後の階調の分解能が低下するため、いわゆる白傷と呼ばれる信号状態となる欠陥画素に対して検出精度が低下することが考えられる。反対に、信号値が低い（黒に近い）ほどガンマ特性後の階調の分解能が向上するため、いわゆる黒傷と呼ばれる信号状態となる欠陥画素に対してより高い検出精度が得られることが考えられる。このため、以下の実施形態では、欠陥画素による信号の補正を、ディープニューラルネットワークを用いて、よりロバストかつ精度よく行うことに加えて、処理対象の欠陥画素がいずれの種別の欠陥画素であるかを考慮した、欠陥画素補正技術について説明する。

（実施形態１）
以下で説明する画像処理装置は、例えば、多層のニューラルネットワークを用いて欠陥画素補正処理を実行可能なパーソナルコンピュータである場合を例を説明する。しかし、本実施形態は、このようなパーソナルコンピュータに限らず、当該欠陥画素補正処理を実行可能な他の機器にも適用可能である。これらの機器には、例えばデジタルカメラ、スマートフォンやタブレット端末を含む携帯型端末、ゲーム機、時計型や眼鏡型の情報端末、医療機器、監視カメラシステムのサーバや車載用システムの処理ユニットなどが含まれてよい。

また、各装置の機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

（画像処理システムの構成）
図１は、本実施形態の画像処理システム全体の構成例と、当該画像処理システムを構成する装置の機能構成例を示している。本実施形態の画像処理システム１００は、例えば、学習装置１０１と、撮影画像を撮影する撮像装置１０２と、画像推定装置１０３と、表示装置１０４と、記録媒体１０５と、出力装置１０６と、ネットワーク１０７とを含む。学習装置１０１は、本実施形態における画像処理装置の一例であり、多層のニューラルネットワークを用いて欠陥画素補正のための学習処理（学習段階の処理）を実行する。また、画像推定装置１０３も、本実施形態における画像処理装置の一例であり、欠陥画素補正のための欠陥画素補正処理（推定段階の処理）を実行する。このとき、画像推定装置１０３は、学習装置１０１が学習処理を経て取得した学習パラメータ（多層ニューラルネットワークの各ニューロンに係るウェイト）を、学習装置１０１から取得して、推定段階の処理に用いる。

図２には、画像処理システム１００を構成する装置の具体例を示している。例えば、学習装置１０１及び推定装置１０３は、例えば、パーソナルコンピュータであるが、ＬＡＮ内或いはクラウド上に配置される情報処理サーバであってもよいし、上述の他の端末や処理ユニットであってもよい。撮像装置１０２は、例えば、デジタルカメラであるが、撮像素子を備え、撮影画像を取得できる電子機器であれば他の装置であってもよい。

表示装置１０４は、例えばＬＣＤや有機ＥＬ等で表示パネルが構成される液晶ディスプレイやプロジェクタなどであり、推定装置１０３から出力される画像信号を表示する。ユーザは、表示装置１０４を介して、欠陥画素補正処理が適用された画像を確認することができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバ等である。出力装置１０６は、例えばプリンタである。

（各装置の機能構成例）
学習装置１０１は、記憶部（記憶手段）１０１ａ、取得部（取得手段）１０１ｂ、生成部（生成手段）１０１ｃ、更新部（学習手段）１０１ｄ及び制御部１０１ｅを含む。制御部１０１ｅは、１つ以上のプロセッサ（ＣＰＵ或いはＧＰＵ）とＲＡＭを含み、取得部１０１ｂ、生成部１０１ｃ及び更新部１０１ｄの動作を制御する。この例では、画像処理部１０１ｄ等を制御部１０１ｅの内部の構成として説明しているが、その１つ以上が制御部１０１ｅと別体であってもよい。取得部１０１ｂ、生成部１０１ｃ及び更新部１０１ｄの説明は、欠陥画素補正に係る処理において後述する。

撮像装置１０２は、撮像部１０２ａ、Ａ／Ｄ変換部１０２ｂ、画像処理部１０２ｃ、記録部１０２ｄを有する。撮像部１０２ａは図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されている。撮像部１０２ａから出力されるアナログ信号は、Ａ／Ｄ変換部１０２ｂによってデジタル信号に変換される。Ａ／Ｄ変換部１０２ｂによってデジタル信号に変換された画像信号には、撮像素子およびその駆動回路等で発生する欠陥画素による信号が含まれている。また、Ａ／Ｄ変換部１０２ｂによってデジタル信号に変換された画像信号は、ＲＡＷ画像として記録部１０２ｄに保存される。そして、画像処理部１０２ｃで公知のセンサ補正、ＮＲ処理、ガンマ補正を含む色／輝度信号処理が行われた画像もＪＰＥＧ画像として記録部１０２ｄに保存される。

画像推定装置１０３は、記憶部１０３ａ、取得部１０３ｂ、推定部１０３ｃ、画像処理部１０３ｄ及び制御部１０３ｅを含む。制御部１０３ｅは、１つ以上のプロセッサ（ＣＰＵ或いはＧＰＵ）とＲＡＭを含み、取得部１０３ｂ、推定部１０３ｃ及び画像処理部１０３ｄの動作を制御する。この例では、画像処理部１０３ｄ等を制御部１０３ｅの内部の構成として説明しているが、その１つ以上が制御部１０３ｅと別体であってもよい。取得部１０３ｂ、推定部１０３ｃ及び画像処理部１０３ｄの説明は、欠陥画素補正に係る処理において後述する。

画像推定装置１０３は、撮像画像を取得し、欠陥画素の予測を行って推定画像を生成する。欠陥画素の推定には、機械学習モデルとして多層のニューラルネットワークを用いた方法（深層学習或いはディープラーニングともいわれる）を使用する。ウエイトの情報は記憶部１０３ａから読み出される。ウエイトの情報は、ニューラルネットワークを構成する各ニューロンへの入力に対するウェイト（重み付けパラメータ）の値を示す情報である。ウェイトの情報は、学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して学習装置１０１の記憶部１０１ａからウエイトの情報を読み出し、記憶部１０３ａに保存している。保存されるウエイトの情報は、各ニューロンの重み付けパラメータの数値そのものでもよいし、符号化された形式でもよい。ウエイトの学習、およびウエイトを用いた欠陥画素補正処理に関する詳細は、後述する。

画像推定装置１０３は、推定画像に対して欠陥画素補正を行って、欠陥画素補正が行われた出力画像を生成する。欠陥画素補正が行われた出力画像は信号処理部１０３ｄで公知のＮＲ処理、輝度信号処理、色信号処理等が行われ、信号処理後の出力画像が出力される。

信号処理後の出力画像は、表示装置１０４、記録媒体１０５、および、出力装置１０６の少なくとも１つに出力される。画像推定装置１０３は、画像処理部１０２ｃにより、必要に応じて現像処理やその他の画像処理を行う。

（欠陥画素補正のための学習処理に係る一連の動作）
次に、図３及び図４を参照して、欠陥画素補正のための学習処理に係る一連の動作を説明する。なお、本処理は、学習装置１０１の制御部１０１ｅが記憶部１０１ａに記憶されたプログラムを制御部１０１ｅ内のＲＡＭの作業用領域に展開、実行すると共に、生成部１０１ｃ等の学習装置１０１の各部を動作させることにより実現される。

図３は、多層のニューラルネットワーク（ディープニューラルネットワーク）のモデルを用いた学習の流れを示しており、図４は、欠陥画素補正のための学習処理に係る一連の動作を示している。以下の説明では、図４を参照して、欠陥画素補正のための学習処理に係る一連の動作を順に説明しながら、適宜、図３を参照する。

ステップＳ４０１において、取得部１０１ｂは、正解パッチ（正解データ或いは正解画像ともいう）と訓練パッチ（訓練データ或いは訓練画像ともいう）を取得する。本実施形態において、正解パッチは記録部１０２ｄに記録された画像の欠陥画素が少ない画像である。訓練パッチは、正解パッチと同一の被写体が映っており、かつ画像の欠陥画素が発生した際に現れる信号（欠陥画素による信号）を含んでいる。すなわち、正解パッチは相対的に欠陥画素による信号が少ない画像であり、訓練パッチは相対的に欠陥画素による信号が多い画像である。なお、パッチとは所定の画素数（例えば、６４×６４画素など）を有する画像を指す。また、正解パッチと訓練パッチの画素数は、必ずしも一致する必要はない。また、訓練パッチは、後述する方法で取得部１０１ｂが正解パッチから生成する場合を例に説明するが、訓練パッチが記録部１０２ｄにある正解パッチに基づいて予め生成されていてもよい。

本実施形態では、多層のニューラルネットワークのモデルの学習（すなわちウェイトの決定）に、ミニバッチ学習を使用する。ミニバッチ学習は学習用のデータセットを構成する複数の訓練パッチのうちの一部（例えばｎ個）を取り出し、当該ｎ個のデータでニューラルネットワークのウェイトを（１回）更新する学習方法をいう。このためステップＳ４０１では、学習用のデータセットとして、複数組の正解パッチと訓練パッチを取得する。ただし本発明は、これに限定されるものではなく、オンライン学習（１つのデータでウェイトを更新する学習方法）またはバッチ学習（データセットの全てのデータでウェイトを更新する学習方法）を用いてもよい。

ここで、正解パッチと訓練パッチの取得方法の一例を説明する。本実施形態は、記憶部１０１ａに記憶されている複数の原画像を被写体として、現画像２０２を正解パッチ２０１とする。また、現画像２０２に対してシミュレーションで欠陥画素２０３の発生した際に現れる信号を付与した画像を訓練パッチ２０４とする。そして、同一位置の部分領域を抽出することで、複数の正解パッチと訓練パッチを取得する。本実施形態において、原画像は未現像のＲＡＷ画像であり、正解パッチと訓練パッチも同様にＲＡＷ画像である。原画像は、実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成した画像でもよい。なお、正解パッチと訓練パッチの取得方法は、これに限定されるものではない。

欠陥画素２０３の生成方法の一例を示す。１０ｘ１０の画素領域の中で、第１の所定の値（例えば信号の最高の値）を有する白傷（２０３ａ、２０３ｂ）と、第２の所定の値（例えば信号の最低の値）を有する黒傷（２０３ｃ、２０３ｄ）と定義する。この例では１００画素中、白傷が２つ、黒傷が２つ定義されている。したがって、白傷黒傷ともに１／５０の確率で発生している。

ステップＳ４０２において、生成部１０１ｃは、訓練パッチ２０４を多層のニューラルネットワークへ入力し、推定パッチ（推定画像）２０５を生成する。推定パッチ２０５は、欠陥画素補正が行われた画像であり、理想的には正解パッチ２０１と一致する。

本実施形態では、生成部１０１ｃは、図２に示す構成のディープニューラルネットワークのモデルを使用する場合を例に説明するが、本実施形態はこれに限定されるものではない。図２において「ＣＮ」は畳み込み層、「ＤＣ」は逆畳み込み層を表す。各層の各ニューロンでは、まず、入力とフィルタの畳み込み、およびバイアスとの和を算出する（すなわち、ｕ＝Ｗｘ＋ｂを算出する（ｘは入力ベクトル、Ｗはウェイトのパラメータの行列、ｂはバイアスのベクトルを表す））。その結果を活性化関数によって非線形変換する（すなわち、ｙ＝ｆ（ｕ）を算出する。（ｙは出力ベクトル、ｆは活性化関数））。フィルタの各成分とバイアスの初期値は任意であり、本実施形態では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを使うことができる。最終層を除く各層の出力は、特徴マップと呼ばれる。スキップコネクション２１２、２１３は、連続していない層から出力された特徴マップを合成する。特徴マップの合成は要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施形態では要素ごとの和を採用する。スキップコネクション２１１は、訓練パッチ２０４と推定パッチの推定された残差と、訓練パッチ２０４との和を取り、推定パッチ２０５を生成する。複数の訓練パッチ２０４のそれぞれに対して、推定パッチ２０５を生成する。

ステップＳ４０３において、制御部１０１ｅは、着目画素が白傷であるかもしくは黒傷であるかを判定する。具体的には、訓練パッチ２０４の着目画素と推定パッチの着目画素値の差分をとり、値が正の場合は白傷であると判定し、負の場合は黒傷であると判定する。制御部１０１ｅは、着目画素が白傷であると判定した場合はステップＳ４０４に進み、黒傷であると判定した場合にはステップＳ４０５に進む。

ステップＳ４０４では、生成部１０１ｃは、推定パッチ２０５と正解パッチ２０１との誤差Ｌを計算する。誤差関数は、公知のＬ２ノルムやＬ１ノルムなどを用いればよく、例えば誤差Ｌは下記のような（式１）に従って算出することができる。

なお、（式１）において、ｔは正解パッチ２０１の信号値、ｙは推定パッチ２０５の信号値、ｊは画素の番号、Ｎは総画素数を示す。

ステップＳ４０５において、更新部１０１ｄは、推定パッチ２０５に対してガンマ補正を適用し、ガンマ補正後の推定パッチ２０６を生成するとともに、正解パッチ２０１に対してガンマ補正を行い、ガンマ補正後の正解パッチ２０７を生成する。ガンマ補正の詳細は後述する。

ステップＳ４０６において、更新部１０１ｄは、ステップＳ４０５でガンマ補正を行ったガンマ補正後の推定パッチ２０６とガンマ補正後の正解パッチ２０７との誤差Ｌを計算する。本ステップでは、ステップＳ４０４と同様に誤差関数は公知のＬ２ノルムやＬ１ノルムなどを用いればよい。

ここで図５を参照して、本実施形態で適用するガンマ補正の一例について説明する。横軸はガンマ補正前の信号値、縦軸はガンマ補正後の信号値を表している。ガンマ補正前とガンマ補正後の信号値の両方とも最大出力が１で正規化されている。ガンマ補正を表す具体的な例としては、以下の（式２）に従う補正が挙げられる。

（式２）において、ｓはガンマ補正前の正規化された信号値であり、γ＞１は定数である。ただし、ガンマ補正は（式２）の形に限定されず、区分線形関数やルックアップテーブルでもよい。上述したように、ガンマ補正値は高輝度側に行くほど圧縮される特性を持っている。具体的にはｉ２−ｉ１とｉ４−ｉ３の値が同じであるとすると、ｏ２−ｏ１の方がｏ４−ｏ３よりも大きな値となる。ここで、白傷の画素値がｉ３で、白傷周辺の画素値がｉ１〜ｉ２であるとすると、白傷と周辺画素の分離性はガンマ補正前の信号の方が分離性がよくなり、白傷を検出しやすくなる。一方、黒傷の画素値がｉ１で黒傷周辺の画素値がｉ３〜ｉ４とすると、黒傷と周辺画素の分離性はガンマ補正後の信号の方が分離性がよくなり、検出しやすくなる。

また、欠陥画素のように一般的に発生頻度が低い場合、誤差を計算すると欠陥画素以外の値の影響を強く受けて、欠陥画素の補正が行われにくいという特徴がある。具体的には１／５０の確率で欠陥画素が発生すると、（式１）で誤差値は１／５０に平均化されるので、欠陥画素が検出しにくくなる。

上述したように、白傷はガンマ補正前の信号を入力として損失評価を行うことで傷とノイズの分離性をあげることでき、白傷の検出精度を向上させることができる。逆に黒傷はガンマ補正後の信号を入力として損失評価を行うことで傷とノイズの分離性をあげることができ、黒傷の検出精度を向上させることができる。

ステップＳ４０７において、更新部１０１ｄは、推定パッチ２０５と正解パッチ２０１、または、ガンマ補正後の推定パッチ２０６とガンマ補正後の正解パッチ２０７との誤差から、ウエイトの情報（ニューラルネットワークの重み付けパラメータ）を更新する。ここで、ウエイトは、各層の各ニューロンに対するフィルタの成分とバイアスを含む。ウエイトの更新には、例えば誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本発明はこれに限定されるものではない。本実施形態では、ミニバッチ学習を行うため、複数の正解パッチとそれらに対応する推定パッチとの誤差を求め、当該誤差に基づいてウエイトの更新量を求める。そして求めた当該ウェイトの更新量に基づいて各ウェイトを更新する。

ステップＳ４０８において、更新部１０１ｄは、学習が完了したか否かを判定する。更新部１０１ｄは、学習の反復回数（ウエイトの更新回数）が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより、学習の完了を判定することができる。更新部１０１ｄは、学習が完了していないと判定した場合、ステップＳ４０１へ戻り、新たな正解パッチと訓練パッチを複数取得する。一方、更新部１０１ｄは、学習が完了したと判定した場合、学習装置１０１（更新部１０１ｄ）は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。制御部１０１ｅは、その後本処理を終了する。

（欠陥画素補正処理の一連の動作）
次に、図７を参照して、欠陥画素補正処理の一連の動作について説明する。なお、欠陥画素補正処理は、画像推定装置１０３の推定部１０３ｃが実行する欠陥画素補正のための推定段階の処理を含んでいる。

ステップＳ７０１において、取得部１０３ｂは、撮像装置１０２または記録媒体１０５から、撮像画像を取得して入力画像とする。撮像画像は、未現像のＲＡＷ画像である。ＲＡＷ画像の信号値が符号化されている場合、取得部１０３ｂは復号処理を実行する。

ステップＳ７０２において、取得部１０３ｂは、ウェイトの情報（ニューラルネットワークの重み付けパラメータ）を取得する。重み付けパラメータは学習装置１０１の記憶部１０１ａから読みだされる。またはあらかじめ画像推定装置１０３の記憶部１０３から読みだしてもよい。

ステップＳ７０３において、推定部１０３ｃは、入力画像と重み付けパラメータに基づいて、推定画像を生成する。推定画像の生成には学習工程と同様に、図２に示す多層のニューラルネットワークのモデルが用いられる。ただし、図中の出力画像２０５が推定画像となり、ガンマ補正は行われない。なお、推定段階での入力画像サイズは学習工程における訓練画像サイズと必ずしも一致する必要はない。

ステップＳ７０４において、推定部１０３ｃは、撮像画像の所定の領域に対して推定が完了したか否かを判定する。推定部１０３ｃは、推定が完了していないと判定した場合は、ステップＳ７０３に戻り、推定部１０３ｃは撮像画像の所定の領域から新たな入力画像を取得する。一方、推定部１０３ｃは、推定が完了したと判定した場合は、ステップＳ７０５に進む。

Ｓ７０５において、推定部１０３ｃは、生成された複数の推定画像を合成して、欠陥画素補正が行われた撮像画像を出力する。制御部１０３ｅは、その後本処理を終了する。

このような推定段階の処理により欠陥画素補正が行われた撮像画像を得ることができる。得られた撮像画像は、更に、画像処理部１０３ｄにより公知のＮＲ処理、ガンマ補正を含む色／輝度信号処理等が行われる。画像処理部１０３ｄで出力された画像は、表示装置１０４で表示されたり、記録媒体１０５に記録されたり、出力装置１０６に出力されたりする。

以上説明したように、本実施形態では、入力画像に深層学習を適用して欠陥画素の推定結果を含む推定画像を生成し、推定画像の欠陥画素が白傷であるか黒傷であるか否かに応じて、白傷補正の場合はガンマ補正前の画像を用いて誤差関数を計算する。一方、黒傷補正の場合はガンマ補正後画像を入力として誤差関数を計算する。このようにすることで、よりロバストかつ精度よく欠陥画素の信号の補正を行うとともに、欠陥画素補正における補正精度を向上させることができる。

本実施形態では、白傷補正の場合はガンマ補正前、黒傷補正の場合はガンマ補正後とした。しかし、これに限られるものではなく、白傷補正の場合には、白傷に対して適用する入出力に対する変換特性がガンマ特性よりも相対的にリニアに近い特性であれば当該特性による信号値の補正を行ってもよい。

なお、本実施形態では１画素の欠陥画素を対象として実施形態の説明を行ったが、これに限られるものではなく、図６のパッチ６０３に示すように、６０３ａや６０３ｂのようなパターンノイズに対しても適応することが可能である。より具体的には、６０３ａは白のパターンノイズなので、ガンマ補正前の画像に対して誤差関数を計算する。６０３ｂは黒のパターンノイズなのでガンマ補正後の画像に対して誤差関数を計算する。

（実施形態２）
次に実施形態２について説明する。実施形態２では、ガンマ補正を考慮した損失関数を用いて損失評価を行う構成を特徴とする。従って、欠陥画素補正における学習段階の処理が実施形態１と異なるが、学習装置１０１及び画像推定装置１０３の構成は実質的に同一である。このため、実施形態１と同一又は実質的に同一である構成には同一の符号を付して、その説明は省略する。

（欠陥画素補正のための学習段階の一連の動作）
図３及び図８を参照して、本実施形態における学習装置１０１により実行される多層のニューラルネットワークモデルを用いた学習段階の処理（学習済みモデルの生成）に関して説明する。

図８は、欠陥画素補正のための学習段階の一連の動作を示している。図８の各ステップは図４と同様に、主に、学習装置１０１の制御部１０１ｅ（と、そのなかの取得部１０１ｂ、生成部１０１ｃ及び更新部１０１ｄ）により実行される。ここで、学習装置１０１の制御部１０１ｅは、図８のステップＳ４０１からステップＳ４０３までと同様に、処理を実行する。ステップＳ４０３において、制御部１０１ｅは、着目画素が白傷であるかもしくは黒傷であるかを判定し、白傷であると判定した場合はステップＳ４０４に進む。一方、制御部１０１ｅは、黒傷であると判定した場合はステップ８０１に進む。

ステップＳ４０４において、生成部１０１ｃは、実施形態と同様に、推定パッチ２０５と正解パッチ２０１との誤差Ｌを計算する。すなわち、このステップにおける誤差Ｌは、ガンマ補正を考慮しない誤差である。

ステップＳ８０１において、生成部１０１ｃは、ガンマ補正を考慮した損失関数で誤差を算出する。例えば誤差Ｌは下記のような（式３）を用いるとよい。

（式３）において、ｔは正解パッチ２０１の信号値、ｙは推定パッチ２０５の信号値、ｊは画素の番号、Ｎは総画素数、ｇ（）はガンマ補正の関数を示す。ガンマ補正の詳細については実施形態１と同様である。

このように、白傷の場合はガンマ補正を考慮しない損失関数で損失評価を行うことにより欠陥画素の信号とノイズの分離性を向上させることができるため、白傷の検出精度を向上させることができる。一方、黒傷はガンマ補正を考慮した損失関数で損失評価を行うことにより、欠陥画素の信号とノイズの分離性を向上させることができるため、黒傷の検出精度を向上させることができる。

その後、制御部１０１ｅは、実施形態１のＳ４０７〜４０９と同様に、ニューラルネットワークのウェイトを更新し、所定の条件を満たすと判定した場合には、本一連の処理を終了する。

以上説明したように本実施形態では、推定画像における着目画素が白傷であるか黒傷であるかに応じて、白傷の場合はガンマ補正を考慮しない損失関数で損失を計算し、黒傷の場合はガンマ補正を考慮した損失関数で損失を計算するようにした。このようにすることで、ロバストかつ精度よく欠陥画素の信号の補正を行うことができると共に、白傷及び黒傷の両方の場合において欠陥画素の信号とノイズの分離性を向上させることができ、欠陥画素の白傷及び黒傷の両方の検出精度を向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…学習装置、１０１ｂ…取得部、１０１ｃ…生成部、１０１ｄ…更新部、１０３…画像推定装置、１０３ｂ…取得部、１０３ｃ…推定部

Claims (12)

1. 撮像素子で撮像された入力画像を取得する取得手段と、
   前記入力画像を深層学習に用いるモデルに入力して、前記撮像素子の１つ以上の欠陥画素による信号値を補正した推定画像を生成する生成手段と、
   前記推定画像と正解画像との損失評価に基づいて前記モデルのパラメータを更新する更新手段と、を有し、
   前記更新手段は、前記推定画像における前記１つ以上の欠陥画素による信号値のそれぞれが、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を補正したうえで前記損失評価を行うか、前記推定画像及び前記正解画像の前記階調を補正しないで前記損失評価を行うかを異ならせる、あるいは、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を異なる変換特性を用いて補正したうえで前記損失評価を行うことを特徴とする画像処理装置。
2. 前記更新手段は、前記１つ以上の欠陥画素による信号値のそれぞれが、前記第１の種別の信号値である場合には、前記推定画像及び前記正解画像の階調を補正しないで前記推定画像と前記正解画像との間の誤差を算出し、前記第２の種別の信号値である場合には、前記推定画像及び前記正解画像の前記階調を補正したうえで前記推定画像と前記正解画像との間の誤差を算出する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記更新手段は、前記１つ以上の欠陥画素による信号値のそれぞれが、前記第１の種別の信号値である場合には、前記推定画像及び前記正解画像の階調が補正されない損失関数を用いて前記損失評価を行い、前記第２の種別の信号値である場合には、前記推定画像及び前記正解画像の前記階調が補正される損失関数を用いて前記損失評価を行う、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記更新手段は、前記１つ以上の欠陥画素による信号値のそれぞれが、前記第１の種別の信号値である場合には、前記推定画像及び前記正解画像の階調を第１の特性で補正したうえで前記推定画像と前記正解画像との間の誤差を算出し、前記第２の種別の信号値である場合には、前記推定画像及び前記正解画像の前記階調を、入出力の変換特性が前記第１の特性よりもリニアに近い第２の特性で補正したうえで前記推定画像と前記正解画像との間の誤差を算出する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記更新手段は、前記１つ以上の欠陥画素による信号値のそれぞれが、前記第１の種別の信号値である場合には、前記推定画像及び前記正解画像の前記階調が第１の特性で補正される損失関数を用いて前記損失評価を行い、前記第２の種別の信号値である場合には、前記推定画像及び前記正解画像の前記階調が、入出力の変換特性が前記第１の特性よりもリニアに近い第２の特性で補正される損失関数を用いて前記損失評価を行う、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記第１の種別の信号値は、欠陥画素における白傷の信号値を表し、前記第２の種別の信号値は、前記欠陥画素における黒傷の信号値を表す、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記深層学習に用いるモデルは、畳み込み層と逆畳み込み層とを含む、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記階調の補正は、信号値が高いほど前記信号値の分解能が低くなる特性を有する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記階調の補正は、ガンマ補正である、ことを特徴とする請求項８に記載の画像処理装置。
10. 前記１つ以上の欠陥画素による信号値はパターンノイズを含む、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
11. 撮像素子で撮像された入力画像を取得する取得工程と、
    前記入力画像を深層学習に用いるモデルに入力して、前記撮像素子の１つ以上の欠陥画素による信号値を補正した推定画像を生成する生成工程と、
    前記推定画像と正解画像との損失評価に基づいて前記モデルのパラメータを更新する更新工程と、を有し、
    前記更新工程では、前記推定画像における前記１つ以上の欠陥画素による信号値のそれぞれが、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を補正したうえで前記損失評価を行うか、前記推定画像及び前記正解画像の前記階調を補正しないで前記損失評価を行うかを異ならせる、あるいは、第１の種別の信号値であるか前記第１の種別の信号値より低い第２の種別の信号値であるかに応じて、前記推定画像及び前記正解画像の階調を異なる変換特性を用いて補正したうえで前記損失評価を行うことを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images