JP2021170197A - 画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法 - Google Patents

Abstract

【課題】色ごとの補正量のばらつきを低減したニューラルネットワークを取得可能な画像処理方法を提供する。【解決手段】画像処理方法は、訓練画像と正解画像とを取得する工程と、訓練画像をニューラルネットワークへ入力して出力画像を生成する第１生成工程と、訓練画像の第１色差情報と正解画像の第２色差情報と出力画像の第３色差情報とを算出する第１算出工程と、第１色差情報と第２色差情報と第３色差情報とを用いて正解画像と出力画像との差を算出する第２算出工程と、差に基づいてニューラルネットワークのネットワークパラメータを更新する更新工程とを有する。【選択図】図１

Description

本発明は、ディープラーニングを用いた画像処理方法に関する。

特許文献１には、ＲＡＷ画像を入力とする多層のニューラルネットワークを学習する際に、ガンマ補正の影響を考慮することで、高解像度化や高コントラスト化（鮮鋭化）に伴うアンダーシュートやリンギングを抑制する手法が開示されている。非特許文献１には、様々な回帰問題に対して汎用的に適用可能なネットワーク構成が開示されている。また非特許文献１には、ネットワークを用いて、入力画像のアップサンプリング、ＪＰＥＧデブロッキング（圧縮ノイズの除去）、デノイジング、ノンブラインドなデブラー、または、インペインティングを実行することが開示されている。

特開２０１９−１２１２５２号公報

Ｘ． Ｍａｏ， Ｃ． Ｓｈｅｎ， Ｙ． Ｙａｎｇ， "Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｕｓｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ−ｅｎｃｏｄｅｒｓ ｗｉｔｈ Ｓｙｍｍｅｔｒｉｃ Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎｓ"，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０６．０８９２１．

しかし、非特許文献１に開示された方法では、入力画像がＲＡＷ画像である際に適切な推定を行うことができない。また、特許文献１では、ガンマ補正の影響を考慮した誤差を用いて学習することにより、現像された画像の輝度の大きさに対して、推定精度が影響されにくいニューラルネットワークを実現している。しかしながら、一般的にニューラルネットワークを用いて補正した場合、補正結果には少なからず補正誤差が含まれる。画像を補正する場合、補正誤差が小さければ特に問題にはならないが、補正誤差が大きくなってくると、色成分ごとの補正量のばらつきによって、色が滲んでみえる。

そこで本発明は、色ごとの補正量のばらつきを低減したニューラルネットワークを取得可能な画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法を提供することを目的とする。

本発明の一側面としての画像処理方法は、訓練画像と正解画像とを取得する工程と、前記訓練画像をニューラルネットワークへ入力して出力画像を生成する第１生成工程と、前記訓練画像の第１色差情報と前記正解画像の第２色差情報と前記出力画像の第３色差情報とを算出する第１算出工程と、前記第１色差情報と前記第２色差情報と前記第３色差情報とを用いて前記正解画像と前記出力画像との差を算出する第２算出工程と、前記差に基づいて前記ニューラルネットワークのネットワークパラメータを更新する更新工程とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、色ごとの補正量のばらつきを低減したニューラルネットワークを取得可能な画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法を提供することができる。

実施例１における畳み込みニューラルネットワークを示す図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１における学習工程のフローチャートである。 各実施例における画像の色成分に関する説明図である。 各実施例における色差に関する説明図である。 実施例１および実施例２における推定工程のフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における学習工程のフローチャートである。 各実施例におけるガンマ補正に関する説明図である。 実施例３における画像推定装置のブロック図である。 実施例３における推定工程のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、以下に用語を定義する。本発明は、ディープラーニングによって回帰問題を解き、入力画像から様々な出力画像を推定する方法に関する。ディープラーニングとは、多層のニューラルネットワークを用いた機械学習である。大量の訓練画像とそれに対応する正解画像（得たい出力）のペアから、ネットワークパラメータ（ウエイトとバイアス）を学習することで、未知の入力画像に対しても高精度な推定が可能となる。

多層のニューラルネットワークを用いた画像処理には、ネットワークパラメータ（ウエイトとバイアス）を更新するための処理工程と、更新されたパラメータを用いて未知の入力に対して推定を行う処理工程の二つが存在する。以下、前者を学習工程と呼び、後者を推定工程と呼ぶ。

次に、学習工程と推定工程における画像の名称を定める。ネットワークへ入力する画像を入力画像とし、特に学習工程の際に用いる、正解画像が既知の入力画像を訓練画像と呼称する。ネットワークから出力された画像を出力画像とし、特に推定工程の際の出力画像を推定画像と呼称する。ネットワークの入力画像と、正解画像はＲＡＷ画像である。ここでＲＡＷ画像とは、撮像素子から出力された未現像の画像データであり、各画素の光量と輝度値とが略線型の関係にある。ユーザが画像を鑑賞する前にＲＡＷ画像は現像されるが、その際にガンマ補正が実行される。ガンマ補正は、例えば入力の輝度値を冪乗する処理であり、その冪指数として１／２．２などが用いられる。各実施例中では、正解画像または訓練画像を生成する際の元となる無劣化相当の画像を原画像と呼称する。

また出力画像も、推定によって正解画像に準ずる画像として生成されるため、ＲＡＷ画像の性質を有する。推定工程には、様々な処理が含まれる。例えば、アップサンプリング、デノイジング、圧縮ノイズの除去、デブラー（ぼけ補正）、インペインティング、デモザイキング、ディヘイズ（Ｄｅｈａｚｅ）、高階調化、リライティング（照明環境の変更）がある。

各実施例の具体的な説明へ入る前に、本発明の要旨を述べる。本発明は、ＲＡＷ画像を入力とする多層のニューラルネットワークの学習工程において、出力画像の色差が訓練画像や正解画像に対して大きくずれないように学習を行う。このため、まず、訓練画像、正解画像、および出力画像のそれぞれの色差情報を算出し、これらを比較する。そして、出力画像が訓練画像と正解画像の色差の範囲から外れる場合に、誤差が大きくなるようにすることで範囲内に収まるようなネットワークパラメータを学習させる。本発明では、このような学習を実行することで、補正量のばらつきを低減することが可能なネットワークパラメータを生成する。実現方法の詳細については、以下の各実施例で説明する。

まず、本発明の実施例１における画像処理システムに関して説明する。本実施例では、多層のニューラルネットワークにぼけ補正を学習、実行させる。ただし本実施例は、ぼけ補正に限定されるものではなく、その他の画像処理にも適用可能である。

図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、学習装置（画像処理装置）１０１、撮像装置１０２、画像推定装置（画像処理装置）１０３、表示装置１０４、記録媒体１０５、出力装置１０６、およびネットワーク１０７を有する。

学習装置１０１は、学習工程を実行する画像処理装置であり、記憶部１０１ａ、取得部１０１ｂ、誤差算出部１０１ｃ、更新部１０１ｄ、生成部１０１ｅ、および色差算出部１０１ｆを有する。取得部１０１ｂは、訓練画像および正解画像を取得する。生成部１０３ｅは、訓練画像を多層のニューラルネットワークへ入力して出力画像を生成する。更新部１０３ｄは、誤差算出部１０１ｃにより算出された出力画像と正解画像との差（誤差）および色差算出部１０１ｆにより算出された色差情報に基づいて、ニューラルネットワークのネットワークパラメータを更新する。なお、学習工程に関する詳細は、フローチャートを用いて後述する。学習されたネットワークパラメータは、記憶部１０１ａに記憶される。

撮像装置１０２は、光学系１０２ａおよび撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。撮像素子１０２ｂは、光学系１０２ａを介して形成された光学像（被写体像）を受光して（光電変換して）撮像画像を取得する。撮像素子１０２ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。撮像装置１０２によって取得される撮像画像は、光学系１０２ａの収差や回折によるぼけと、撮像素子１０２ｂによるノイズを含む。

画像推定装置１０３は、推定工程を実行する装置であり、記憶部１０３ａ、取得部１０３ｂ、および推定部１０３ｃを有する。画像推定装置１０３は、取得した撮像画像に対してぼけ補正を行って推定画像を生成する。ぼけ補正には、多層のニューラルネットワークを使用し、ネットワークパラメータの情報は記憶部１０３ａから読み出される。ネットワークパラメータは学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して記憶部１０１ａからネットワークパラメータを読み出し、記憶部１０３ａに保存している。保存されるネットワークパラメータはその数値そのものでもよいし、符号化された形式でもよい。なお、ネットワークパラメータの学習、およびネットワークパラメータを用いたぼけ補正処理に関する詳細は、後述する。

出力画像は、表示装置１０４、記録媒体１０５、および出力装置１０６の少なくとも１つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して、処理途中の画像を確認しながら編集作業などを行うことができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置１０６は、プリンタなどである。画像推定装置１０３は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

次に、図４を参照して、本実施例における学習装置１０１により実行されるネットワークパラメータの学習方法（学習済みモデルの製造方法）に関して説明する。図４は、ネットワークパラメータの学習に関するフローチャートである。図４の各ステップは、主に、学習装置１０１の取得部１０１ｂ、誤差算出部１０１ｃ、更新部１０１ｄ、生成部１０１ｅ、および色差算出部１０１ｆにより実行される。

まず、図４のステップＳ１０１において、取得部（取得手段）１０１ｂは、正解パッチ（正解画像）と訓練パッチ（訓練画像）とを取得する（取得工程）。正解パッチは相対的にぼけが少ない画像であり、訓練パッチは相対的にぼけが多い画像である。尚、パッチとは既定の画素数（例えば、６４×６４画素など）を有する画像を指す。また、正解パッチと訓練パッチの画素数は、必ずしも一致する必要はない。本実施例では、多層のニューラルネットワークのネットワークパラメータの学習に、ミニバッチ学習を使用する。このためステップＳ１０１では、複数組の正解パッチと訓練パッチを取得する。ただし本発明は、これに限定されるものではなく、オンライン学習またはバッチ学習を用いてもよい。

本実施例は、以下の方法により正解パッチと訓練パッチを取得するが、これに限定されるものではない。本実施例は、記憶部１０１ａに記憶されている複数の原画像を被写体として、撮像シミュレーションを行うことにより、収差や回折が実質的にない高解像撮像画像と収差や回折のある低解像撮像画像を複数生成する。そして、複数の高解像撮像画像と低解像撮像画像各々から同一位置の部分領域を抽出することで、複数の正解パッチと訓練パッチを取得する。本実施例において、原画像は未現像のＲＡＷ画像であり、正解パッチと訓練パッチも同様にＲＡＷ画像である。ただし本実施例は、これに限定されるものではなく、現像後の画像でもよい。また、部分領域の位置とは、部分領域の中心を指す。複数の原画像は、様々な被写体、すなわち、様々な強さと方向のエッジや、テクスチャ、グラデーション、平坦部などを有する画像である。原画像は、実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成した画像でもよい。

好ましくは、原画像は、撮像素子１０２ｂの輝度飽和値よりも高い輝度値を有しているとよい。これは、実際の被写体においても、特定の露出条件で撮像装置１０２により撮影を行った際、輝度飽和値に収まらない被写体が存在するためである。高解像撮像画像は、原画像を縮小し、撮像素子１０２ｂの輝度飽和値でクリッピング処理することによって生成する。特に、原画像として実写画像を使用する場合、既に収差や回折によってぼけが発生しているため、縮小することでぼけの影響を小さくし、高解像（高品位）な画像にすることができる。なお、原画像に高周波成分が充分に含まれている場合、縮小は行わなくてもよい。低解像撮像画像は、高解像撮像画像と同様に縮小し、光学系１０２ａの収差や回折によるぼけの付与を行った後、輝度飽和値によってクリッピング処理することで生成する。光学系１０２ａは、複数のレンズステート（ズーム、絞り、合焦距離の状態）と像高、アジムスによって異なる収差や回折を有する。このため、原画像ごとに異なるレンズステートや像高、アジムスの収差や回折によるぼけを付与することで、複数の低解像撮像画像を生成する。

なお、縮小とぼけの付与は順序を逆にしてもよい。ぼけの付与を先に行う場合、縮小を考慮して、ぼけのサンプリングレートを細かくする必要がある。ＰＳＦ（点像強度分布）の場合には空間のサンプリング点を細かくし、ＯＴＦ（光学伝達関数）の場合には最大周波数を大きくすればよい。また必要に応じて、付与するぼけには、撮像装置１０２に含まれる光学ローパスフィルタなどの成分を加えてもよい。なお、低解像撮像画像の生成で付与するぼけには、歪曲収差を含めない。歪曲収差が大きいと、被写体の位置が変化し、正解パッチと訓練パッチで被写体が異なる可能性があるためである。このため、本実施例で学習するニューラルネットワークは歪曲収差を補正しない。歪曲収差はバイリニア補間やバイキュービック補間などを用いて、ぼけ補正後、個別に補正する。

次に、生成された高解像撮像画像から、規定の画素サイズの部分領域を抽出し、正解パッチとする。低解像撮像画像から、抽出位置と同じ位置から部分領域を抽出し、訓練パッチとする。本実施例では、ミニバッチ学習を使用するため、生成された複数の高解像撮像画像と低解像撮像画像から、複数の正解パッチと訓練パッチを取得する。なお、原画像はノイズ成分を有していてもよい。この場合、原画像に含まれるノイズを含めて被写体であるとみなして正解パッチと訓練パッチが生成されると考えることができるため、原画像のノイズは特に問題にならない。

なお、収差や回折によるぼけ補正以外の処理に関しても、同様にシミュレーションで訓練画像と正解画像のペアを用意することで、学習工程を実行することができる。デノイジングに関しては、低ノイズの正解画像に想定されるノイズを付与することで、訓練画像を生成することができる。アップサンプリングに関しては、正解画像をダウンサンプリングすることで訓練画像を用意することができる。圧縮ノイズの除去に関しては、無圧縮または圧縮率の小さい正解画像を圧縮することで、訓練画像を生成することができる。

収差や回折以外（デフォーカスぼけなど）のデブラーに関しては、ぼけの少ない正解画像に想定されるぼけを畳み込むことで、訓練画像を生成することができる。デフォーカスぼけの場合、距離に依存するため、複数の訓練画像と正解画像に異なる距離のデフォーカスぼけを畳み込むようにする。インペインティングに関しては、欠損のない正解画像に欠損を与えることで、訓練画像を生成することができる。デモザイキングに関しては、三板式の撮像素子などで撮像された正解画像をＢａｙｅｒ配列などで再サンプリングすることで、訓練画像を生成することができる。ディヘイズに関しては、霧や靄のない正解画像に対して散乱光を付与することで、訓練画像を生成することができる。霧や靄は、濃度や距離によって散乱光の強さが変化するため、異なる濃度や距離の散乱光に対して複数の訓練画像を生成する。高階調化に関しては、高階調な正解画像を低階調化することで訓練画像を得ることができる。リライティングに関しては、正解画像の被写体における法線、形状、反射率の分布が既知であれば、シミュレーションで異なる光源環境の訓練画像を生成することができる。ただし、この場合、計測の負荷が大きいため、実際に異なる照明環境で被写体を撮影して正解画像と訓練画像のペアを生成してもよい。

続いてステップＳ１０２において、生成部（生成手段）１０３ｅは、ステップＳ１０１にて取得された複数の訓練画像のうち少なくとも一の訓練画像を選択し、選択された訓練画像をネットワークへ入力して出力画像を生成する（第１生成工程）。複数の訓練画像の全てを選択する（訓練画像の全てをネットワークへ入力し、それら全ての出力を用いてネットワークパラメータを更新する）場合をバッチ学習と呼ぶ。この方法は、訓練画像の数が増えるにつれて、演算負荷が膨大になる。一枚の訓練画像のみを選択する場合（ネットワークパラメータの更新に一枚の訓練画像のみを用いて、更新ごとに異なる訓練画像を用いる）場合をオンライン学習と呼ぶ。この手法は、訓練画像の総数が増えても演算量が増大しないが、一枚の訓練画像に存在するノイズの影響を受けやすい。このため、複数の訓練画像から少数（ミニバッチ）を選択し、それらを用いてネットワークパラメータの更新を行なうミニバッチ法を用いることが好ましい。次の更新では、異なる少数の訓練画像を選択して用いる。この処理を繰り返すことにより、バッチ学習とオンライン学習の弱点を小さくすることができる。

ここで、図１を参照して、多層のニューラルネットワークで行われる処理に関して説明する。図１は、畳み込みニューラルネットワーク（ＣＮＮ）を示す図である。ただし本実施例は、これに限定されるものではなく、例えばＣＮＮに残差ネットワークを採用することができ、または、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などを用いてもよい。なお図１では、簡単のため、入力する訓練画像２０１を一枚だけ描画しているが、実際には選択された複数の訓練画像それぞれに対して、出力画像が生成される。訓練画像２０１は、ＲＡＷ画像を色成分ごとに三次元方向に配列した画像である。

図５は、画像の色成分に関する説明図である。本実施例において、訓練画像は図５（Ａ）に示されるようなＢａｙｅｒ配列の画像である。ここでＲＧＢは、それぞれ赤、緑、青を表す。図５（Ａ）のＢａｙｅｒ配列から、各色の成分だけを配列し直した構成が図５（Ｂ）である。Ｇは、Ｇ１とＧ２の２種類があるため、それぞれを抽出して配列する。図５（Ｂ）の四枚の画像を三次元方向に配列した４チャンネルの画像が、図１における訓練画像２０１である。この作業は必須ではないが、収差や回折は波長によって変化するため、同一のぼけを持つ色成分を配列させた方が補正しやすい。また、ＲＧＢが同一次元内に配列されていると、局所的に異なる明るさを有する画素が混合されるため、推定精度が低下しやすい。このため、訓練画像を色成分ごとに分離することが好ましい。なお、ここではＢａｙｅｒ配列の場合を示しているが、その他の配列（ハニカム構造など）に関しても同様である。図１では描画を簡略化するため、訓練画像２０１を４×４の４チャンネル画像としているが、縦横の画像サイズはこれに限定されるものではない。

本実施例において、訓練画像および正解画像はそれぞれ、周期的に配列された複数の色成分を有し、訓練画像または正解画像の各色成分のみで構成される色成分画像を生成する工程（第２生成工程）を設けてもよい。ここで、色成分画像を生成する工程は、訓練画像をニューラルネットワークへ入力する前に実行され、正解画像に対する誤差の算出前に実行される。

ＣＮＮは複数の層構造になっており、各層で線型変換と非線型変換が実行される。線型変換は、入力された画像（または特徴マップ）とフィルタの畳み込み、およびバイアス（図１中のｂｉａｓ）との和で表現される。各層におけるネットワークパラメータ（フィルタのウエイトとバイアス）を学習工程によって更新する。非線形変換は、活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）と呼ばれる非線型関数による変換である（図１中のＡＦ）。活性化関数の例としては、シグモイド関数やハイパボリックタンジェント関数などがあり、本実施例では以下の式（１）で表されるＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる。

式（１）において、ｍａｘは、引数のうち最大値を出力するＭＡＸ関数を表す。

入力層に入力された訓練画像２０１は、第１畳み込み層で複数のフィルタ２０２それぞれとのコンボリューションと、バイアスとの和を取られる。フィルタ２０２それぞれのチャンネル数は、訓練画像２０１と一致し、訓練画像２０１のチャンネル数が２以上の場合、３次元フィルタとなる（三次元目がチャンネル数を表す）。なお、フィルタの縦横の大きさは任意である。コンボリューションと和の結果は、活性化関数によって非線形変換が施され、第１特徴マップ２０３が第１中間層に出力される。ここで、第１特徴マップ２０３のチャンネル数（三次元方向の配列数）は、フィルタ２０２の数と同じである。次に、第２畳み込み層へ第１特徴マップ２０３が入力され、前述と同様に複数のフィルタ２０４のそれぞれとのコンボリューションと、バイアスとの和が取られる。その結果を非線形変換し、以下同様に畳み込み層の数だけ繰り返す。一般に、畳み込み層が３層以上あるＣＮＮが、ディープラーニングに該当する。最後の畳み込み層から出力された結果が、ＣＮＮの出力画像２１１である。なお、最後の畳み込み層では、活性化関数による非線形変換を実行しなくてもよい。

続いてステップＳ１０３において、色差算出部（第１算出手段）１０１ｆは、訓練画像２０１、正解画像２２１、出力画像２１１のそれぞれの色差情報（色差に関する情報）を算出する（第１算出工程）。ここで、訓練画像２０１の色差情報を第１色差情報、正解画像２２１の色差情報を第２色差情報、出力画像の色差情報を第３色差情報とする。

本実施例では、色差を基準の色成分（例えばＧ成分）の信号値との差分と定義する。すなわち、第１色差情報と第２色差情報と第３色差情報はそれぞれ、Ｒ成分とＧ成分との差、またはＢ成分とＧ成分との差に関する情報である。従って、基準の色成分以外の色成分であるＲ成分、Ｂ成分の、Ｇ成分に対する色差Ｃｒ、Ｃｂは、以下の式（２）、式（３）により計算される。式（２）、式（３）において（ｘ，ｙ）は画像上の座標値である。

式（２）、式（３）における基準の色成分をＧ成分としたが、ここではＧ１とＧ２の平均値を基準の色成分とする。本実施例ではこのように基準の色成分を設定するが、別の方法で算出したものを基準としてもよい。例えば、画像の輝度を設定してもよく、その場合の詳細については実施例２で説明する。このステップＳ１０３では、出力画像２１１、正解画像２２１、訓練画像２０１に対して式（２）、式（３）を適用し、それぞれの色差Ｃｒ、Ｃｂを算出する。

続いてステップＳ１０４において、誤差算出部（第２算出手段）１０１ｃは、ステップＳ１０３にて算出された第１色差情報と第２色差情報と第３色差情報とを用いて、正解画像２２１と出力画像２１１との差（誤差）を算出する（第２算出工程）。本実施形態において、より具体的には、誤差算出部１０１ｃは、出力画像２１１と、正解画像２２１と、出力画像２１１、正解画像２２１、および訓練画像２０１のそれぞれの色差Ｃｒ、Ｃｂ（色差情報）とを用いて、誤差を算出する。本実施例では、以下の式（４）を用いて誤差Ｌを算出する。

式（４）において、Ｌ１は出力画像２１１、正解画像２２１を用いて算出される誤差、Ｌ２は色差情報を用いて算出される誤差、αは誤差Ｌ１、Ｌ２の比率を調整するための調整係数である。調整係数αが大きくなると、誤差Ｌに占める誤差Ｌ２の割合が増える。このため、調整係数αを変えることで学習時に色差の優先度を調整することができる。

また、本実施例において、式（４）の誤差Ｌ１は式（５）のように表現される。

式（５）において、Ｔは正解画像２２１の輝度値、Ｙは出力画像２１１の輝度値、（ｘ，ｙ）は画像上の座標値、Ｎはｘ方向の画素数、Ｍはｙ方向の画素数を示す。式（５）ではユークリッドノルムを用いているが、正解画像２２１と出力画像２１１の差異を表わす値であれば、他の指標を用いてもよい。なお本実施例では、ガンマ補正を行わずに誤差Ｌ１を算出しているが、ガンマ補正後に誤差Ｌ１を算出してもよい。

次に、本実施例における誤差Ｌ２の算出方法について説明する。誤差Ｌ２は色差情報に基づく誤差であり、本実施例において色差に関して満たすべき条件式は、式（６）、（７）のようになる。

式（６）において、Ｃｒｔは正解画像２２１におけるＲ成分の色差、Ｃｒｉは訓練画像２０１におけるＲ成分の色差、Ｃｒｙは出力画像２１１におけるＲ成分の色差、（ｘ，ｙ）は画像上の座標値である。また、式（７）において、Ｃｂｔは正解画像２２１におけるＢ成分の色差、Ｃｂｉは訓練画像２０１におけるＢ成分の色差、Ｃｂｙは出力画像２１１におけるＢ成分の色差、（ｘ，ｙ）は画像上の座標値である。式（６）、（７）の違いは、Ｒ成分とＢ成分の違いであり、これらを置き換えても説明可能な内容であるため、本実施例では式（６）のＲ成分について説明する。

式（６）において、出力画像２１１の色差は正解画像２２１の色差、または訓練画像２０１の色差の小さい方よりも大きく、正解画像２２１の色差、または訓練画像２０１の色差の大きい方よりも小さくなることを意味している。

図６は、色差に関する説明図であり、正解画像２２１と出力画像２１１と訓練画像２０１のそれぞれの色差の断面を示す。図６の実線は出力画像２１１の色差Ｃｒｙ（第３色差情報）、破線は正解画像２２１の色差Ｃｒｔ（第２色差情報）、一点鎖線は訓練画像２０１の色差Ｃｒｉ（第１色差情報）である。図６において、縦軸は色差Ｃｒ、横軸はｘ座標をそれぞれ示し、各線の交点で領域を５つの領域Ａ〜Ｄに分割している。

図６において、全領域で色差Ｃｒｙと色差Ｃｒｔで完全に一致するのが最も理想的な状態となる。しかしながら、前述のように、ニューラルネットワークの回帰問題において、どのような入力画像に対しても出力画像２１１と正解画像２２１が常に一致する学習を実施するというのは非常に困難である。逆に、このような学習を行うことができたとしても、未知の入力画像に対しては推定精度が低くなる等の問題が生じることもある。

そこで本実施例では、式（６）、（７）に示されるように、ある程度幅を持たせることで誤差が生じる場合であっても、色成分ごとに補正量が大きくばらつかないように抑制する。本実施例では、式（６）を満たすために、式（８）を用いて色差の誤差Ｌ２を算出する。

式（８）において、Ｗｒは誤差Ｌ２の算出に用いるＲ成分のウエイトマップ（重み成分）である。式（８）はｍａｘ関数で表現させる第１項と、ｍｉｎ関数で表現される第２項で構成される。式（８）の第１項は上限値に関する条件であり、色差Ｃｒｔと色差Ｃｒｉの大きい方に対して色差Ｃｒｙがより大きくなった場合、その差分値となる。逆に、色差Ｃｒｔと色差Ｃｒｉの大きい方に対して色差Ｃｒｙが等しいか小さくなった場合はゼロとなる。一方、式（８）の第２項は下限値に関する条件であり、色差Ｃｒｔと色差Ｃｒｉの小さい方に対して色差Ｃｒｙがより小さくなった場合、その差分値となる。逆に、色差Ｃｒｔと色差Ｃｒｉの小さい方に対して色差Ｃｒｙが等しいか大きく場合はゼロとなる。第１項はゼロ以上、第２項はゼロ以下となるが、式（８）は第１項に対して第２項で差分をとる形となっているため、ウエイトマップＷｒはゼロ以上となる。

次に、図６と式（８）との対応について説明する。図６において、領域Ａおよび領域Ｄは、色差Ｃｒｙが色差ＣｒｔとＣｒｉの間に存在する。このため、式（８）において、第１項、第２項ともにゼロとなり、ウエイトマップＷｒもゼロとなる。領域Ｂと領域Ｃは色差Ｃｒｙが色差Ｃｒｔ、色差Ｃｒｉよりも小さい場合となる。この場合、第１項はともにゼロとなるが、第２項は値を有し、領域Ｂは破線の色差Ｃｒｔと実線の色差Ｃｒｙの差分値、領域Ｃは一点鎖線の色差Ｃｒｉと実線の色差Ｃｒｙの差分値となる。領域Ｅは色差Ｃｒｙが色差Ｃｒｔ、色差Ｃｒｉよりも大きい場合となる。この場合、第２項はゼロとなるが、第１項は値を有し、実線の色差Ｃｒｙと破線の色差Ｃｒｔの差分値となる。

なお、図６には存在しないが、色差Ｃｒｙが色差Ｃｒｔ、色差Ｃｒｉよりも大きく、かつ色差Ｃｒｉが色差Ｃｒｔより大きいという場合もある。この場合、第２項はゼロとなるが、第１項は値を有し、実線の色差Ｃｒｙと一点鎖線の色差Ｃｒｉの差分値となる。このように、式（８）は領域Ａ、領域Ｄのように色差Ｃｒｙが色差Ｃｒｔと色差Ｃｒｉの間にある場合はゼロとなり、領域Ｂ、領域Ｃ、領域Ｅのように色差Ｃｒｙが色差Ｃｒｔと色差Ｃｒｉの範囲から外れた場合は、外れた分だけ値が大きくなる。このような処理をＢ成分に対しても同様に実施して、ウエイトマップＷｂ（重み成分）を生成する。そして、ウエイトマップＷｒ、Ｗｂを用いて色差の誤差Ｌ２は式（９）のように表現することができる。

式（５）では、正解画像２２１と出力画像２１１の残差平方和を計算しているのに対して、式（９）では、ウエイトマップＷｒ、Ｗｂによって重み付けされた残差平方和で誤差Ｌ２が算出される。このように重み付けすることで、図６の領域Ａ、領域Ｄのように、Ｒ成分とＢ成分における出力画像２１１の色差が訓練画像２０１の色差と正解画像２２１の色差の間に入っている場合は、誤差Ｌ２もゼロとなる。一方、領域Ｂ、領域Ｃ、領域Ｅのように出力画像２１１の色差が訓練画像２０１の色差と正解画像２２１の色差の範囲から外れている場合は誤差Ｌ２が正の値となる。本実施例に用いる誤差Ｌは、前述のように、式（４）のように表現され、誤差Ｌ１は式（５）、誤差Ｌ２は式（９）より算出される。

以上のように、第２算出工程にて算出される誤差は、正解画像と出力画像とを用いて算出される第１成分（第１誤差成分）と、第１色差情報と第２色差情報と第３色差情報とを用いて算出される第２成分（第２誤差成分）とにより構成される。ここで第１成分は、正解画像と出力画像との誤差に基づいて算出される。好ましくは、第２算出工程において、第１成分（誤差Ｌ１）と第２成分（誤差Ｌ２の重み成分Ｗｒ、Ｗｂ）とを用いて誤差を算出する。また好ましくは、第２成分は、第３色差情報に対応する第３色差が第１色差情報に対応する第１色差と第２色差情報に対応する第２色差との間の色差である場合には減少する。一方、第３色差が第１色差と第２色差のいずれよりも小さいか、または第１色差と第２色差のいずれよりも大きい場合には増加する。

このように本実施例では、誤差Ｌは出力画像２１１の色差が訓練画像２０１の色差と正解画像２２１の色差の範囲から外れるほど、その画素値の誤差がより大きくなる。式（４）において、仮に調整係数αがゼロ、すなわち誤差Ｌが誤差Ｌ１のみで構成されるとする場合、正解画像２２１と出力画像２１１が一致するように学習する。この場合、例えば、図６では出力画像２１１の色差Ｃｒｙは正解画像２２１の色差Ｃｒｔよりも小さくなっているが、逆に出力画像２１１の色差Ｃｒｙが正解画像２２１の色差Ｃｒｔよりも大きくなったとしても差分が等しければ誤差Ｌ１および誤差Ｌは同じ値になる。

一方、調整係数αが正の値であれば、これら２つのパターンは区別される。差分が等しかったとしても、色差Ｃｒｔと色差Ｃｒｉの間に色差Ｃｒｙがある場合は誤差ＬがＬ１のみとなり、色差Ｃｒｔと色差Ｃｒｉの外に色差Ｃｒｙがある場合は誤差Ｌ２の分だけ誤差Ｌが増加する。本実施例では、このような方法で正解画像２２１と出力画像２１１において誤差が生じる場合であっても、大きく色差がずれないような誤差Ｌを利用する。

続いてステップＳ１０５において、更新部（更新手段）１０１ｄは、ステップＳ１０４にて算出された誤差に基づいて、ニューラルネットワークのネットワークパラメータの更新量を算出し、ネットワークパラメータを更新する（更新工程）。ここでは、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）が用いられる。誤差逆伝搬法では、誤差の微分に基づいて更新量を算出する。ただし、本実施例はこれに限定されるものではない。

続いてステップＳ１０６において、更新部１０１ｄは、所定の終了条件を満たすか否か、すなわち、ネットワークパラメータの最適化が終了したか否かを判定する。ここで所定の終了条件とは、例えば、学習工程が既定の時間に達した場合、パラメータの更新回数が既定の回数に達した場合、パラメータ更新には用いない訓練画像と正解画像を用意しておき、その出力画像と正解画像の誤差が所定の値以下になった場合などである。または、ユーザが最適化終了を指示してもよい。所定の終了条件を満たさない場合、ステップＳ１０２に戻り、更新部１０１ｄは新たなミニバッチを取得してネットワークパラメータを更新する。一方、所定の終了条件を満たす場合、ステップＳ１０８へ進む。

ステップＳ１０７において、更新部１０１ｄにて更新されたネットワークパラメータを記憶部１０１ａに出力する。本実施例では、式（４）の調整係数αの値、正解画像２２１、出力画像２１１、訓練画像２０１に対してガンマ補正の実施の有無等、学習に関する設定条件（学習条件情報）を変えてネットワークパラメータを学習する。そして、ネットワークパラメータとそれに対応する学習条件情報とを合わせて記憶部１０１ａに記憶する。

例えば、調整係数αの値を変えながら学習した場合、調整係数αの値を小さくすると、より正解画像２２１と出力画像２１１が一致することを優先するネットワークパラメータを生成する。逆に、調整係数αの値を大きくすると、出力画像２１１の色ごとのばらつきをより抑制したネットワークパラメータを生成することができる。このように、調整係数αを変えることで、推定精度と色ごとの補正量のばらつきのバランスを調整することが可能となる。以上の学習工程により、色ごとの補正量のばらつきを低減した多層のニューラルネットワークを得ることができる。

次に、図７を参照して、画像推定装置１０３で実行される推定工程に関して説明する。図７は、推定工程のフローチャートである。まずステップＳ２０１において、取得部１０３ｂは、撮像装置１０２または記録媒体１０５から、撮像画像を取得する。撮像画像は、未現像のＲＡＷ画像である。ＲＡＷ画像の輝度値が符号化されている場合、推定部１０３ｃは復号処理を実行する。また取得部１０３ｂは、撮像装置１０２または記録媒体１０５から、学習条件情報を取得する。ここでは、学習時の調整係数αの値を学習条件情報とする。

続いてステップＳ２０２において、推定部１０３ｃは、ステップＳ２０１にて取得した学習条件情報に対応するネットワークパラメータを取得する。ネットワークパラメータは、学習装置１０１の記憶部１０１ａから読み出される。または、画像推定装置１０３の記憶部１０３ａに複数のネットワークパラメータを保存しておき、記憶部１０３ａから読み出してもよい。取得するネットワークパラメータは、ステップＳ２０１にて取得した学習条件情報と学習工程で用いられた学習条件情報とが互いに一致するもの、または、最も近いものである。

続いてステップＳ２０３において、推定部１０３ｃは、撮像画像からＣＮＮへ入力する入力画像を取得する。入力画像は、訓練画像と同様に、色成分ごとに配列して三次元方向にスタックされる。なお、推定工程の入力画像のサイズは、学習工程における訓練画像のサイズと一致していなくてもよい。

続いてステップＳ２０４において、推定部１０３ｃは、入力画像とネットワークパラメータとを用いて、推定画像（出力画像）を生成する。推定画像の生成には、学習工程と同様に、図１に示されるＣＮＮが用いられる。ただし、図１中の出力画像２１１が推定画像となり、それ以降の正解画像との誤差算出等の処理は行わない。

続いてステップＳ２０５において、推定部１０３ｃは、撮像画像の所定の領域に対して推定が完了したか否かを判定する。推定が完了していない場合、ステップＳ２０３へ戻り、推定部１０３ｃは、撮像画像の所定の領域から新たな入力画像を取得する。推定に用いられるＣＮＮにおいて、出力画像のサイズが入力画像よりも小さくなる場合、所定の領域からオーバーラップして入力画像を取得する必要がある。所定の領域は、撮像画像の全体または一部である。撮像画像はＲＡＷ画像であるため、受光して得られた画像の他に、ヘッダー情報（前記画像の画素数や撮影時刻などの情報）や撮像素子のオプティカルブラックの情報が含まれていることがある。ヘッダー情報やオプティカルブラックは、収差・回折のぼけと無関係であるため、所定の領域からそれらを除いてもよい。

続いてステップＳ２０６において、推定部１０３ｃは、収差や回折によるぼけが補正された撮像画像を出力する。必要に応じて、推定部１０３ｃは、ヘッダー情報やオプティカルブラックの情報を含めて出力する。

以上の推定処理により、色ごとの推定精度のばらつきが少ないネットワークパラメータ用いて推定を行うことができる。これにより、収差や回折によるぼけの補正効果も色によって補正量がばらつくことなく、より高精度な補正を実現することができる。また、推定工程後、ユーザが任意で露出補正などの編集を行い、現像処理により最終的な現像画像を得る。

本実施例では、学習条件情報によってネットワークパラメータを切り替えて補正を実施する方法について述べたが、複数のネットワークパラメータを取得して、入力画像をそれぞれのネットワークに入力することで複数の出力画像を生成してもよい。これにより、学習条件情報が異なる出力画像を複数生成することができるため、例えばそれらを補間することにより、中間の学習条件情報の出力画像を生成することができる。また、逆に学習条件情報は１つだけでもよく、特定のネットワークパラメータのみ撮像装置１０２または記録媒体１０５に保持しておいてもよい。

なお本実施例は、収差や回折によるぼけの補正に関するが、これに限定されるものではない。例えば、アップサンプリングやデノイジング等の他の手法であっても、それらに対応する訓練画像と正解画像とを用いて式（４）の誤差Ｌを用いた学習を実施することで、同様の効果を得ることができる。

次に、本発明の実施例２における画像処理システムに関して説明する。
図８は、本実施例における画像処理システム３００のブロック図である。図９は、画像処理システム３００の外観図である。画像処理システム３００は、ネットワーク３０３を介して接続された学習装置３０１と撮像装置３０２とを含む。

学習装置３０１は、記憶部３１１、取得部３１２、誤差算出部３１３、更新部３１４、生成部３１５、および色差算出部３１６を有し、ニューラルネットワークで収差や回折によるぼけを補正するためのネットワークパラメータを学習する。

撮像装置３０２は、被写体空間を撮像して撮像画像を取得し、読み出したネットワークパラメータを用いて撮像画像中の収差や回折によるぼけを補正する。撮像装置３０２は、光学系３２１および撮像素子３２２を有する。画像推定部３２３は、取得部３２３ａおよび推定部３２３ｂを有し、記憶部３２４に保存されたネットワークパラメータを用いて、撮像画像の補正を実行する。ネットワークパラメータは、学習装置３０１で事前に学習され、記憶部３１１に保存されている。撮像装置３０２は、記憶部３１１からネットワーク３０３を介してネットワークパラメータを読み出し、記憶部３２４に保存する。収差や回折によるぼけを補正した撮像画像（出力画像）は、記録媒体３２５に保存される。ユーザから出力画像の表示に関する指示が出された場合、保存された出力画像が読み出され、表示部３２６に表示される。なお、記録媒体３２５に既に保存された撮像画像を読み出し、画像推定部３２３でぼけ補正を行ってもよい。以上の一連の制御は、システムコントローラ３２７によって行われる。

次に、本実施例における多層のニューラルネットワークで行われる処理に関して説明する。本実施例において、学習工程は学習装置３０１において実行され、推定工程は画像推定部３２３によって実行される。なお本実施例における推定工程は、実施例１にて説明した図７と同様の処理になるため、その説明は省略する。

次に、図１０を参照して、本実施例における学習装置３０１により実行されるネットワークパラメータの学習方法（学習済みモデルの製造方法）に関して説明する。図１０は、ネットワークパラメータの学習に関するフローチャートである。図１０の各ステップは、主に、学習装置３０１の取得部３１２、誤差算出部３１３、更新部３１４、生成部３１５、および色差算出部３１６により実行される。図１０は、実施例１にて説明した図４に対して、色差情報の算出方法および、色差情報の算出前にホワイトバランス補正およびガンマ補正を実行する点が異なる。

図１０のステップＳ３０１（取得工程）およびステップＳ３０２（第１生成工程）は、図４のステップＳ１０１、Ｓ１０２とそれぞれ同様である。続いてステップＳ３０３において、生成部３１５は、ステップＳ３０２で取得したホワイトバランス係数を用いて訓練画像３０１、正解画像３２１および出力画像３１１を補正する。通常、デジタルカメラなどの撮像装置３０２は、オートホワイトバランスと称し、自動的に光源の種類を判別して補正する機能を有する。しかしながら、被写体に白色が含まれない場合、光源の種類の判別が難しい。このため撮像装置３０２は、使用者が光源の種類をメニューから選択するプリセットホワイトバランス機能や、光源の色温度等を直接指定できるマニュアルホワイトバランス機能を有することが一般的である。プリセットホワイトバランス機能では、白熱電球、晴天、曇天、蛍光灯というように、それぞれの撮影条件に適したホワイトバランス係数（色別のゲイン値）が用意されている。

ステップＳ３０３において、生成部３１５は、正解画像３２１または訓練画像３０１の元となるＲＡＷ画像の撮影時に設定されたホワイトバランス係数を取得する。ホワイトバランス係数は、ＲＡＷ画像のヘッダー情報から取得してもよいし、撮像装置３０２から取得してもよい。なお以降の説明において、ヘッダー情報と記載されている場合は画像の付加情報を表わしており、フッター情報であってもよい。生成部３１５は、取得したホワイトバランス係数を用いて、出力画像３１１、正解画像３２１、および訓練画像３０１を補正する。Ｒ、Ｇ、Ｂのホワイトバランス係数をそれぞれＷＢｒ、ＷＢｇ、ＷＢｂ、調整前の画像をそれぞれＩｒ０、Ｉｇ０、Ｉｂ０とし、調整後の画像をそれぞれＩｒ、Ｉｇ、Ｉｂとしたとき、ホワイトバランス係数による調整は式（１０）〜（１２）のようになる。

なお、式（１０）〜（１２）のようにホワイトバランス係数を直接色ごとに掛けるのではなく、規格化してから係数を掛けてもよい。その場合、例えばＧの係数で規格化するのであれば、Ｒ、Ｂの係数に対して、Ｇの係数で割り、それぞれＲとＢの画像に対して掛ければよい。また、図５のようにＧをＧ１、Ｇ２のように二つに分ける場合、それぞれのホワイトバランス係数を掛けてもよいし、Ｇ１とＧ２との平均値を計算し、平均のホワイトバランス係数をＧの画像に掛けてもよい。なお、ＲＡＷ画像に含まれるオプティカルブラックは色成分に依存しないため、オプティカルブラックを考慮する場合は式（１０）〜（１２）の計算を実施する前にオプティカルブラックの値を各画像から差し引き、計算後に加算すればよい。

続いてステップＳ３０４において、生成部３１５は、ホワイトバランス補正後の訓練画像３０１、正解画像３２１、および出力画像３１１に対して、ガンマ補正を実施する。図１１は、ガンマ補正の説明図であり、ガンマ補正に用いられるガンマカーブの一例を示す。図１１において、横軸はガンマ補正前の信号値（輝度値）、縦軸はガンマ補正後の信号値（輝度値）をそれぞれ示し、それぞれの信号値は規格化されている。本実施例では、訓練画像３０１、正解画像３２１、および出力画像３１１に対して、図１１に示すガンマカーブを用いてガンマ補正を実施する。

続いてステップＳ３０５において、色差算出部（第１算出手段）３１６は、訓練画像３０１、正解画像３２１、および出力画像３１１から各画像の色差情報を算出する。本実施例では、ＲＧＢ空間からＹＵＶ空間に変換して、Ｕ（Ｂ−Ｙ）とＶ（Ｒ−Ｙ）を色差情報とする。すなわち、
第１色差情報と第２色差情報と第３色差情報はそれぞれ、Ｒ成分と輝度成分（輝度信号）との差、またはＢ成分と輝度成分（輝度信号）との差に関する情報である。

各画像をＲＧＢ空間からＹＵＶ空間へ変換する際には、式（１３）が用いられる。

本実施例では、式（１３）を用いて、訓練画像３０１、正解画像３２１および出力画像３１１のＹＵＶを算出する。そして、Ｖを色差Ｃｒ、Ｕを色差Ｃｂとする。なお本実施例は、色差情報としてＹＵＶ空間を用いているが、これに限定されるものではなく、別のフォーマットの色空間を用いてもよい。

ステップＳ３０６以降の工程については、実施例１のステップＳ１０４以降と同様であるため、説明は省略する。以上が本実施例にて実行される学習工程となる。このように、ＹＵＶに変換することで色差情報として輝度成分とＲ成分またはＧ成分の差分を用いることや、訓練画像３０１、正解画像３２１、および出力画像３１１に対してホワイトバランス調整やガンマ補正を実施してもよい。すなわち本実施例において、第１算出工程（ステップＳ３０４、Ｓ３０５）において、正解画像と出力画像とに対してガンマ補正を行い、ガンマ補正後の正解画像と出力画像のそれぞれの第２色差情報と第３色差情報とを算出する。本実施例の学習方法においても、実施例１と同様に、色ごとの補正量のばらつきを低減することが可能なネットワークパラメータを生成することができる。

次に、本発明の実施例３における画像処理システムに関して説明する。本実施例における画像処理システムの概観図は図３に示す実施例１の概観図と同様である。本実施例におけるブロック図は、基本的には図２に示す実施例１のブロック図と同様であるが、学習装置１０１および画像推定装置１０３の一部が異なる。本実施例の学習装置は、図２の色差算出部１０１ｆが存在しない点を除いて、図２の学習装置１０１と同じである。画像推定装置に関しては、図２に示される画像推定装置１０３の代わりに、図１２に示される画像推定装置４００が用いられる。図１２の画像推定装置４００において、記憶部４０１、取得部４０２、および推定部４０３は、図２の画像推定装置１０３における記憶部１０３ａ、取得部１０３ｂ、および推定部１０３ｃとそれぞれ同様である。画像推定装置４００は、更に、撮影画像および推定画像の色差を算出する色差算出部４０４、および、算出した色差を用いて推定画像の色差を補正する色差補正部４０５を有する。

次に、画像処理システムの画像処理方法について説明する。本実施例では、色ごとの補正量のばらつきによって生じる色付きを低減させるための処理（色付き低減処理）を学習工程ではなく、推定工程で実施する。本実施例における学習工程は、実施例１の図４のフローで実行され、誤差Ｌは調整係数α＝０で学習を行う。それ以外の処理は実施例１と同様であるため、その説明は省略する。

次に、図１３を参照して、画像推定装置４００で実行される本実施例における推定工程について説明する。図１３は、本実施例における推定工程のフローチャートである。図１３のステップＳ４０１〜Ｓ４０６は、実施例１にて説明した図７のステップＳ２０１〜Ｓ２０６とそれぞれ同様である。本実施例では、図７のフローチャートに対してステップＳ４０７が追加されるため、ステップＳ４０７に関して説明する。

ステップＳ４０７において、色差算出部４０４は、撮影画像とステップＳ４０６にて出力された推定画像とを用いて、色付き低減処理を実行する。まず、色差算出部４０４は、撮影画像と推定画像の色差情報を算出する。本実施例では、色差を基準色Ｇに対する信号値の差分と定義する。従って、色差は式（１４）、（１５）により計算される。ここで、Ｒ１、Ｇ１、Ｂ１は、撮影画像のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ１ｒ、Ｃ１ｂはＲ成分、Ｂ成分のＧ成分に対する色差である。

式（１４）、（１５）における基準の色成分をＧ成分としているが、本実施例では撮影画像、推定画像ともにＲＡＷ画像となるため、Ｇ成分には図５のようにＧ１、Ｇ２が存在する。このため本実施例では、Ｇ１とＧ２の平均値を基準の色成分とする。また、式（１４）、（１５）を用いて色差を計算する際は、ＲＡＷ画像を図５（Ｂ）のように分離して、分離した後の画像における同じ座標のそれぞれの色成分の差分をとる。または、図５（Ａ）の状態から存在しない色成分を補間して生成し、補間後の画像に関して各色成分の差分を計算してもよい。

次に、推定画像についても同様に式（１６）、（１７）により色差を算出する。ここで、Ｒ２、Ｇ２、Ｂ２は、推定画像のＲＧＢの各信号値、（ｘ，ｙ）は画像上の座標値、Ｃ２ｒ、Ｃ２ｂはＲ成分、Ｂ成分のＧ成分に対する色差である。

次に、色差補正部４０５は、撮影画像と推定画像の各画素の色差情報Ｃ１ｒ、Ｃ１ｂ、Ｃ２ｒ、Ｃ２ｂに基づき、各色成分に対して補正量の調整が必要か否かを決定する。この決定は、以下のように、色差が増大しているか否か、色差の符号が反転しているか否かに基づいて行うことができる。色差補正部４０５は、ＲＧＢの画素のうちＲ画素とＢ画素（又は、各画素におけるＲ成分とＢ成分）に対してそれぞれ以下の判定を行う。そして色差補正部４０５は、いずれかを満たす場合、その色成分の画素に対し、色付き抑制のための画素値調整が必要と決定する。

＜Ｒに対する判定＞
判定条件１：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
＜Ｂに対する判定＞
判定条件１：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、且つ｜Ｃ１ｂ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｂ（ｘ，ｙ）｜
判定条件２：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号
この判定結果により、補正量の調整が必要と決定された画素について、色差補正部４０５は色付き抑制のための画素値調整を適用する。画素値調整は例えば以下に示すように、色差が増大した場合は推定前の撮影画像の色差を使用し、色差の符号が反転した場合は色差を０とするものであってよい。

＜Ｒに対する画素値調整＞
判定条件１を満たす場合（色差増大）：Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｒ（ｘ，ｙ）
判定条件２を満たす場合（色差反転）：Ｒ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）
判定条件１、２をいずれも満たさない場合：出力画像のＲ２（ｘ、ｙ）をそのままＲ成分として用いる
＜Ｂに対する画素値調整＞
判定条件１を満たす場合（色差増大）：Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）＋ Ｃ１ｂ（ｘ，ｙ）
判定条件２を満たす場合（色差反転）：Ｂ２（ｘ，ｙ）＝ Ｇ２（ｘ，ｙ）
判定条件１、２をいずれも満たさない場合：出力画像のＢ２（ｘ、ｙ）をそのままＢ成分として用いる。

ステップＳ４０７では、前述の画素値調整を行い、調整後の画像を最終的な推定画像として出力する。ステップＳ４０７は、算出工程と補正工程とを含む。算出工程において、色差算出部（算出手段）４０４は、撮影画像の第１色差情報と出力画像（推定画像）の第２色差情報とを算出する。続いて補正工程において、色差補正部（補正手段）４０５は、第１色差情報と第２色差情報とを用いて第２色差情報を補正する。

好ましくは、補正工程において、第２色差情報に対応する第２色差が第１色差情報に対応する第１色差よりも広がっている場合、第２色差を小さくするように第２色差情報を補正する。また好ましくは、補正工程において、第１色差情報に対応する第１色差の符号と第２色差情報に対応する第２色差の符号とが異なる場合、第２色差の絶対値を小さくするように第２色差情報を補正する。

このように本実施例では、推定工程において、推定前の撮影画像と推定画像に対して色差を算出し、算出した色差を評価する。評価した結果、色差が増大する場合や色差が反転する場合に推定画像に対して画素値の調整を行うことで、色成分の補正量のずれに起因した色付きを抑制することができる。このような方法でも、他の実施例と同様に色ごとの補正量のばらつきを抑制した推定画像を生成することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、色ごとの補正量のばらつきを低減したニューラルネットワークを取得可能な画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１：学習装置（画像処理装置）
１０１ｂ：取得部（取得手段）
１０１ｃ：誤差算出部（第２算出手段）
１０１ｄ：更新部（更新手段）
１０１ｅ：生成部（生成手段）
１０１ｆ：色差算出部（第１算出手段）

Claims (17)

1. 訓練画像と正解画像とを取得する取得工程と、
   前記訓練画像をニューラルネットワークへ入力して出力画像を生成する第１生成工程と、
   前記訓練画像の第１色差情報と前記正解画像の第２色差情報と前記出力画像の第３色差情報とを算出する第１算出工程と、
   前記第１色差情報と前記第２色差情報と前記第３色差情報とを用いて、前記正解画像と前記出力画像との差を算出する第２算出工程と、
   前記差に基づいて前記ニューラルネットワークのネットワークパラメータを更新する更新工程と、を有することを特徴とする画像処理方法。
2. 前記訓練画像および前記正解画像はそれぞれ、周期的に配列された複数の色成分を有し、
   前記画像処理方法は、前記訓練画像または前記正解画像の各色成分のみで構成される色成分画像を生成する第２生成工程を更に有し、
   前記第２生成工程は、前記訓練画像を前記ニューラルネットワークへ入力する前に実行され、前記差の算出前に実行されることを特徴とする請求項１に記載の画像処理方法。
3. 前記第１色差情報と前記第２色差情報と前記第３色差情報はそれぞれ、Ｒ成分とＧ成分との差、またはＢ成分とＧ成分との差に関する情報であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第１色差情報と前記第２色差情報と前記第３色差情報はそれぞれ、Ｒ成分と輝度成分との差、またはＢ成分と輝度信号との差に関する情報であることを特徴とする請求項１または２に記載の画像処理方法。
5. 前記第１算出工程において、前記正解画像と前記出力画像とに対してガンマ補正を行い、ガンマ補正後の前記正解画像と前記出力画像のそれぞれの前記第２色差情報と前記第３色差情報とを算出することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記第２算出工程にて算出される前記差は、前記正解画像と前記出力画像とを用いて算出される第１成分と、前記第１色差情報と前記第２色差情報と前記第３色差情報とを用いて算出される第２成分と、により構成されることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
7. 前記第２算出工程において、前記第１成分と前記第２成分とを用いて前記差を算出することを特徴とする請求項６に記載の画像処理方法。
8. 前記第２成分は、
   前記第３色差情報に対応する第３色差が前記第１色差情報に対応する第１色差と前記第２色差情報に対応する第２色差との間の色差である場合には減少し、
   前記第３色差が前記第１色差と前記第２色差のいずれよりも小さいか、または前記第１色差と前記第２色差のいずれよりも大きい場合には増加することを特徴とする請求項６または７に記載の画像処理方法。
9. 訓練画像と正解画像を取得する取得手段と、
   前記訓練画像をニューラルネットワークへ入力して出力画像を生成する生成手段と、
   前記訓練画像の第１色差情報と前記正解画像の第２色差情報と前記出力画像の第３色差情報とを算出する第１算出手段と、
   前記第１色差情報と前記訓練画像と前記正解画像の前記色差情報とを用いて、前記正解画像と前記出力画像との差を算出する第２算出手段と、
   前記差に基づいて前記ニューラルネットワークのネットワークパラメータを更新する更新手段と、を有することを特徴とする画像処理装置。
10. 請求項１乃至８のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
11. 訓練画像と正解画像とを取得する取得工程と、
    前記訓練画像をニューラルネットワークへ入力して出力画像を生成する第１生成工程と、
    前記訓練画像の第１色差情報と前記正解画像の第２色差情報と前記出力画像の第３色差情報とを算出する第１算出工程と、
    前記第１色差情報と前記第２色差情報と前記第３色差情報とを用いて、前記正解画像と前記出力画像との差を算出する第２算出工程と、
    前記差に基づいて前記ニューラルネットワークのネットワークパラメータを更新する更新工程と、を有することを特徴とする学習済みモデルの製造方法。
12. 撮影画像をニューラルネットワークへ入力し出力画像を生成する生成工程と、
    前記撮影画像の第１色差情報と前記出力画像の第２色差情報とを算出する算出工程と、
    前記第１色差情報と前記第２色差情報とを用いて前記第２色差情報を補正する補正工程と、を有することを特徴とする画像処理方法。
13. 前記補正工程において、前記第２色差情報に対応する第２色差が前記第１色差情報に対応する第１色差よりも広がっている場合、前記第２色差を小さくするように前記第２色差情報を補正することを特徴とする請求項１２に記載の画像処理方法。
14. 前記補正工程において、前記第１色差情報に対応する第１色差の符号と前記第２色差情報に対応する第２色差の符号とが異なる場合、前記第２色差の絶対値を小さくするように前記第２色差情報を補正することを特徴とする請求項１２または１３に記載の画像処理方法。
15. 撮影画像をニューラルネットワークへ入力し出力画像を生成する生成手段と、
    前記撮影画像の第１色差情報と前記出力画像の第２色差情報とを算出する算出手段と、
    前記第１色差と前記第２色差に基づき前記出力画像の色差を補正する補正手段と、を有することを特徴とする画像処理装置。
16. 請求項１２乃至１４のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。

Images