JP2021189929A - 画像処理方法、プログラム、画像処理装置、および、画像処理システム - Google Patents

Abstract

【課題】輝度飽和した被写体を含む撮像画像のぼけを良好に補正することが可能な画像処理方法を提供する。【解決手段】画像処理方法は、第１のモデルと第２のモデルとに基づく第３のモデルを用いて補正画像を出力する出力ステップ（Ｓ２０３）を有し、第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルであり、第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルであり、第１の原画像の輝度飽和部における第１の正解画像のぼけに対する第１の訓練画像のぼけは、第２の原画像の輝度飽和部における第２の正解画像のぼけに対する第２の訓練画像のぼけよりも小さく、かつ光学特性に起因するぼけよりも小さい。【選択図】図５

Description

本発明は、撮像画像の光学特性に起因するぼけを補正した補正画像を出力する画像処理方法に関する。

特許文献１には、ニューラルネットワークを用いて、撮像画像から収差・回折によるぼけを補正し、高解像な画像を得る方法が開示されている。

特開２０１９−１２１２５２号公報

輝度飽和部（輝度飽和した被写体）に関しては、真の輝度がわからないため、従来の線形フィルタを用いた画像処理では収差補正が難しい。ニューラルネットワークを用いると、収差補正の効果を向上させることはできるが、収差補正による鮮鋭化時に輝度飽和部周囲に弊害（オーバーシュート、アンダーシュート、リンギングなど）が生じやすい。このため、補正効果と補正により生じる弊害を適切に調整して補正する必要がある。以降、輝度飽和部における補正効果（または弊害）について述べる場合、輝度飽和部周囲の画素における補正効果（または弊害）を含む。

しかしながら、特許文献１に開示された方法では、撮像時に輝度飽和した被写体と輝度飽和していない被写体を一様に補正しているため、輝度飽和した被写体に対するぼけを良好に補正できない。すなわち、効果が不足するか弊害が強くなりすぎる。

そこで本発明は、輝度飽和した被写体を含む撮像画像のぼけを良好に補正することが可能な画像処理方法等を提供することを目的とする。

本発明の一側面としての画像処理方法は、撮像画像の光学特性に起因するぼけを補正した補正画像を出力する画像処理方法であって、第１のモデルと第２のモデルとに基づく第３のモデルを用いて前記補正画像を出力する出力ステップを有し、前記第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルであり、前記第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルであり、前記第１の原画像の輝度飽和部における前記第１の正解画像のぼけに対する前記第１の訓練画像のぼけは、前記第２の原画像の輝度飽和部における前記第２の正解画像のぼけに対する前記第２の訓練画像のぼけよりも小さく、かつ前記光学特性に起因するぼけよりも小さい。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、輝度飽和した被写体を含む撮像画像のぼけを良好に補正することが可能な画像処理方法等を提供することができる。

実施例１におけるニューラルネットワークの学習の流れを示す図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１におけるウエイトの学習に関するフローチャートである。 実施例１における補正画像の生成に関するフローチャートである。 実施例１における第３のモデルの構成を示す図である。 実施例１における第３のモデルの別の構成を示す図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における第３のモデルの構成を示す図である。 実施例２における第３のモデルの変形例を示す図である。 実施例２における第３のモデルの別の変形例を示す図である。 実施例３における画像処理システムのブロック図である。 実施例３における補正画像の生成に関するフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、実施例の具体的な説明を行う前に、本発明の要旨を説明する。本発明は、輝度飽和部を含む撮像画像の光学特性（収差・回折、ローパスフィルタ、画素開口影響等）に起因するぼけを補正する鮮鋭化処理に関する。ここで、ぼけとは点像強度分布（ＰＳＦ）であり、撮像画像上で輝度飽和した被写体のぼけは輝度飽和部およびその周辺部に影響する。それらの画像領域における補正効果と弊害を最適化するため、多層のニューラルネットワークを複数使用する（第１のモデル、第２のモデル）。また、これらのニューラルネットワークは学習データに後述する特徴を有することで、補正効果と弊害の強度が異なる。一般的に補正効果が強いほど弊害も大きくなり、各ニューラルネットワークは輝度飽和部およびその周辺画素において異なる補正効果と弊害を有するように学習されている。弊害とは、オーバーシュート、アンダーシュート、リンギングなど、補正画像に生じる本来の被写体には存在しない構造を指す。これら複数のニューラルネットワークに基づいて補正画像を出力するような第３のモデルを用いることで、補正効果と弊害のバランスが最適化され、良好にぼけが補正された補正画像を取得することができる。

多層のニューラルネットワークで使用するウエイト（フィルタ、バイアスなど）の学習において、正解画像を基準として相対的にぼけが大きい訓練画像を用いる。訓練画像をニューラルネットワークに入力し、その出力と正解画像との誤差が小さくなるようにウエイトを最適化する。このとき、相対的なぼけの大きさ（ぼけ量）の違いを補正するようにニューラルネットワークは学習される。輝度飽和部におけるニューラルネットワークの補正効果と弊害とが最適にバランスされているかを確認するには、学習されたモデルで実際に撮像画像を補正する必要がある。そこで最適なニューラルネットワークを学習するには、訓練画像と正解画像のぼけ量の関係を変えながら幾度も学習しなおす必要があり、現実的ではない。そこでさらに、訓練画像と正解画像の相対的なぼけ量の違いが異なるように第１のモデルと第２のモデルが学習されることで、異なる補正効果と弊害を有するニューラルネットワークを取得することができる。第１のモデルと第２のモデルとに基づいて第３のモデルを取得することで、新たなモデルを学習しなおすことなく、補正効果と弊害とが適切に（好ましくは最適に）バランスされたニューラルネットワークを取得することができる。

まず、図２および図３を参照して、本発明の実施例１における画像処理システムに関して説明する。本実施例では、多層のニューラルネットワークにぼけ補正を学習、実行させる。図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。

画像処理システム１００は、学習装置（画像処理装置）１０１、撮像装置１０２、画像推定装置（画像処理装置）１０３、表示装置１０４、記録媒体１０５、出力装置１０６、および、ネットワーク１０７を有する。学習装置１０１は、記憶部（記憶手段）１０１ａ、取得部（取得手段）１０１ｂ、生成部（生成手段）１０１ｃ、および、更新部（学習手段）１０１ｄを有する。

撮像装置１０２は、光学系（撮像光学系）１０２ａおよび撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。撮像素子１０２ｂは、光学系１０２ａを介して形成された光学像（被写体像）を受光して（光電変換して）撮像画像を取得する。撮像素子１０２ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。撮像装置１０２によって取得される撮像画像は、光学系１０２ａの収差や回折によるぼけと、撮像素子１０２ｂによるノイズを含む。

画像推定装置１０３は、記憶部１０３ａ、取得部（取得手段）１０３ｂ、および、ぼけ補正部（推定手段、出力手段）１０３ｃを有する。画像推定装置１０３は、撮像画像を取得し、ぼけ補正を行って後述する第３のモデルによる推定画像（補正画像）を生成する。ぼけ補正には、多層のニューラルネットワークを含む第３のモデルを使用し、ウエイトの情報は記憶部１０３ａから読み出される。ウエイト（ウエイトの情報）は学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して記憶部１０１ａからウエイトの情報を読み出し、記憶部１０３ａに保存している。保存されるウエイトの情報は、ウエイトの数値そのものでもよいし、符号化された形式でもよい。ウエイトの学習、およびウエイトを用いたぼけ補正処理に関する詳細は、後述する。画像推定装置１０３は、補正画像に対してぼけ補正の強度調整を行って、最終的な補正画像を生成する。

補正画像は、表示装置１０４、記録媒体１０５、および、出力装置１０６の少なくとも１つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して、処理途中の画像を確認しながら編集作業などを行うことができる。記録媒体１０５は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなどである。出力装置１０６は、プリンタなどである。画像推定装置１０３は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

次に、図１および図４を参照して、本実施例における学習装置１０１により実行されるウエイト（ウエイトの情報）の学習方法（学習済みモデルの製造方法）に関して説明する。図１は、ニューラルネットワーク（第１のモデル、第２のモデル）のウエイトの学習の流れを示す図である。図４は、ウエイトの学習に関するフローチャートである。図４の各ステップは、主に、学習装置１０１の取得部１０１ｂ、生成部１０１ｃ、または、更新部１０１ｄにより実行される。

ここで、第１のモデルおよび第２のモデルの学習方法を説明する。まず、図４のステップＳ１０１において、取得部１０１ｂは、第１の原画像（被写体画像）を取得する。本実施例において、原画像は、光学系１０２ａの収差や回折によるぼけが少ない高解像（高品位）な画像である。原画像は複数取得し、様々な被写体、すなわち、様々な強さと方向のエッジや、テクスチャ、グラデーション、平坦部などを有する画像である。原画像は、実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成した画像でもよい。特に、原画像として実写画像を使用する場合、既に収差や回折によってぼけが発生しているため、縮小することでぼけの影響を小さくし、高解像（高品位）な画像にすることができる。なお、原画像に高周波成分が充分に含まれている場合、縮小は行わなくてもよい。

好ましくは、原画像は、撮像素子１０２ｂの輝度飽和値よりも高い信号値を有する。これは、実際の被写体においても、特定の露出条件で撮像装置１０２により撮影を行った際、輝度飽和値に収まらない被写体が存在するためである。原画像として実写画像を使用する場合、ＨＤＲ撮影や撮像装置１０２より高いダイナミックレンジを持つ撮像装置で撮影することで取得可能である。撮像装置１０２と同等のダイナミックレンジを持つ撮像装置で撮影した画像を原画像とする場合、信号値を比例倍する等して高い信号値とすることも可能である。ただし、比例倍による階調の低下が学習結果に影響を与えない範囲で行うことが好ましい。また、原画像はノイズ成分を有していてもよい。この場合、原画像に含まれるノイズを含めて被写体であるとみなせるため、原画像のノイズは特に問題にならない。

続いてステップＳ１０２において、取得部１０１ｂは、後述する撮像シミュレーションを行うために用いるぼけを取得する。まず取得部１０１ｂは、光学系１０２ａのレンズステート（ズーム、絞り、合焦距離の状態）に対応する撮影条件を取得する。そして取得部１０１ｂは、撮影条件と像高、アジムスによって決まるぼけを取得する。ここで、ぼけとは、光学系１０２ａのＰＳＦ（点像強度分布）またはＯＴＦ（光学伝達関数）である。ぼけは、光学系１０２ａにおける光学シミュレーションや測定により取得することができる。なお、原画像ごとに異なるレンズステートや像高、アジムスの収差や回折によるぼけを取得する。これにより、複数の撮影条件、像高、アジムスに対応した撮像シミュレーションを行うことができる。また必要に応じて、付与するぼけには、撮像装置１０２に含まれる光学ローパスフィルタなどの成分を加えてもよい。

続いてステップＳ１０３において、生成部１０１ｃは、正解パッチ（第１の正解画像、第２の正解画像）と訓練パッチ（第１の訓練画像、第２の訓練画像）を生成する。正解パッチと訓練パッチはそれぞれ複数生成し、１枚の原画像に対応して１以上のパッチを生成する。本実施例において、正解パッチと訓練パッチは同一の被写体が写った画像である。本実施例では、正解パッチと訓練パッチの組み合わせを複数まとめたものを学習データとして、光学系１０２ａの収差や回折を補正するモデルを学習するために用いる。このため、正解パッチは訓練パッチと比較してぼけが少ない画像である。ただし、後述するように原画像の条件次第で補正しない場合があってもよいため、学習データは正解パッチと訓練パッチで同一の画像である場合を含んでもよい。

なお、パッチとは既定の画素数（例えば、６４×６４画素など）を有する画像を指す。また、正解パッチと訓練パッチの画素数は、必ずしも一致していなくてもよい。本実施例では、多層のニューラルネットワークのウエイトの学習に、ミニバッチ学習を使用する。このためステップＳ１０３では、複数組の正解パッチと訓練パッチを取得する。ただし本実施例は、これに限定されるものではなく、オンライン学習またはバッチ学習を用いてもよい。

本実施例では、以下の方法により正解パッチと訓練パッチを取得するが、本実施例はこれに限定されるものではない。本実施例は、記憶部１０１ａに記憶されている複数の原画像を被写体として、撮像シミュレーションを行うことにより、収差や回折によるぼけの影響が相対的に異なる正解画像と訓練画像とのペアを複数生成する。この時点では、正解画像と訓練画像は学習データとして用いるパッチの画素数と同じかそれより大きい画素数を有する。そして、正解画像と訓練画像との複数のペアから同一位置で規定の画素サイズの部分領域を抽出することで、複数の正解パッチと訓練パッチを取得する。本実施例において、原画像は未現像のＲＡＷ画像であり、正解パッチと訓練パッチも同様にＲＡＷ画像である。ただし本実施例は、これに限定されるものではなく、現像後の画像でもよい。また、部分領域の位置とは、部分領域の中心を指す。

第１の学習データは、以下の方法で生成される。まず、原画像の全領域に光学系１０２ａの収差や回折によるぼけ、すなわちステップＳ１０２で取得したぼけを付与する（畳み込む）。その後、撮像素子１０２ｂの輝度飽和値でクリップした画像から部分領域を抽出することで、第１の訓練画像を取得する。次に、原画像のうち信号値が輝度飽和値より大きい領域を輝度飽和部、それ以外を非輝度飽和部として領域分割する。そして、原画像の非輝度飽和部は原画像のまま、輝度飽和部にのみステップＳ１０２で取得したぼけを付与し、輝度飽和値でクリップする。生成された画像から第１の訓練画像と同一の部分領域を抽出することで、第１の正解画像を取得する。ここで、輝度飽和部を原画像において輝度飽和値より大きい信号値の領域としたが、原画像の全領域にぼけを付与した画像における輝度飽和値より大きい信号値の領域としてもよい。

本実施例において、第２の訓練画像は、第１の訓練画像と同様に取得される。すなわち、原画像の全領域にステップＳ１０２にて取得したぼけを付与した後に輝度飽和値でクリップした画像から抽出する。第２の正解画像は、原画像にぼけを付与せずに輝度飽和値でクリップした画像から、第２の訓練画像と同一の部分領域を抽出する。ここで、第２の学習データを生成する際に用いる原画像は、第１の学習データで用いた原画像を用いてもよいし、異なる原画像を用いてもよい。また、第１の学習データで用いた原画像を用いる場合、第１の学習データと同一の部分領域を抽出してもよく、その場合、第２の訓練画像は第１の訓練画像を流用できる。

なお、実写画像を縮小して原画像とする場合、縮小とぼけの付与は順序を逆にしてもよい。ぼけの付与を先に行う場合、縮小を考慮して、ぼけのサンプリングレートを細かくする必要がある。ＰＳＦ（点像強度分布）であれば空間のサンプリング点を細かくし、ＯＴＦ（光学伝達関数）であれば最大周波数を大きくすればよい。

付与するぼけには、歪曲収差を含めないことが好ましい。歪曲収差が大きいと、被写体の位置が変化し、正解パッチと訓練パッチで被写体が異なる可能性があるためである。このため、本実施例で学習するニューラルネットワークは歪曲収差を補正しない。歪曲収差はバイリニア補間やバイキュービック補間などを用いて、ぼけ補正後、個別に補正する。

なお、実際の撮像時には、撮像素子１０２ｂでノイズが発生するため、学習データにもノイズの付与を行うことが好ましい。撮像素子１０２ｂのノイズ特性に対応した乱数を生成して付与すればよく、ＩＳＯ感度等の撮影条件を考慮してもよい。訓練画像にのみノイズを付与した場合や、訓練画像と正解画像で相関のないノイズを付与した場合は、学習時にぼけ補正と同時にデノイズも学習される。訓練画像と正解画像で同一のノイズを付与した場合、ノイズの変化を抑制したぼけ補正が学習される。

続いてステップＳ１０４において、生成部１０１ｃは、図１の訓練パッチ（第１の訓練画像、第２の訓練画像）２１２を多層のニューラルネットワークへ入力し、推定パッチ（推定画像）２１３を生成する。ミニバッチ学習のため、複数の訓練パッチ２１２に対応する推定パッチ２１３を生成する。図１は、ステップＳ１０４からステップＳ１０５までの流れを示している。ステップＳ１０４からステップＳ１０６を通じて、第１の学習データを用いた学習と第２の学習データを用いた学習では個別のニューラルネットワークを用いる。第１の訓練画像は第１の学習データ用のニューラルネットワークへ入力し、第２の訓練画像は第２の学習データ用のニューラルネットワークへ入力する。推定パッチ２１３は、ぼけを補正した訓練パッチ２１２であり、理想的には正解パッチ（第１の正解画像、第２の正解画像）２１１と一致する。なお本実施例では、図１に示されるニューラルネットワークの構成を使用するが、本実施例はこれに限定されるものではない。

図１中のＣＮは畳み込み層、ＤＣは逆畳み込み層をそれぞれ表す。畳み込み層ＣＮおよび逆畳み込み層ＤＣのいずれでも、入力とフィルタの畳み込み、およびバイアスとの和が算出され、その結果を活性化関数によって非線形変換する。フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを使うことができる。最終層を除く各層の出力は、特徴マップと呼ばれる。スキップコネクション２２２、２２３は、連続していない層から出力された特徴マップを合成する。特徴マップの合成は、要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施例では、要素ごとの和を採用する。スキップコネクション２２１は、訓練パッチ２１２と正解パッチ２１１とから推定された残差と、訓練パッチ２１２との和を取り、推定パッチ２１３を生成する。複数の訓練パッチ２１２のそれぞれに対して、推定パッチ２１３を生成する。

続いてステップＳ１０５において、更新部１０１ｄは、推定パッチ２１３と正解パッチ（第１の正解画像、第２の正解画像）２１１との誤差から、ニューラルネットワークのウエイト（ウエイトの情報）を更新する。ここで、ウエイトは、各層のフィルタの成分とバイアスを含む。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本実施例はこれに限定されるものではない。ミニバッチ学習のため、複数の正解パッチ２１１とそれらに対応する推定パッチ２１３の誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いればよい。

続いてステップＳ１０６において、更新部１０１ｄは、ウエイトの学習が完了したか否かを判定する。完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより判定することができる。ウエイトの学習が完了していないと判定された場合、ステップＳ１０４へ戻り、新たな正解パッチと訓練パッチを複数取得する。一方、ウエイトの学習が完了したと判定された場合、学習装置１０１（更新部１０１ｄ）は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。

第２の学習データでは、訓練パッチ２１２には光学系１０２ａの収差や回折によるぼけが常に付与され、正解パッチ２１１には原画像のままであり、ぼけが付与されていない。したがって、第２の学習データを用いて学習されたニューラルネットワークは画像の全領域において光学的なぼけを補正するモデルとなる（第２のモデル）。第１の学習データで学習された第１のモデルは、非輝度飽和部では訓練パッチにのみぼけが付与されているため、第２のモデルと同様に光学的なぼけを補正する。一方で、輝度飽和部では訓練パッチおよび正解パッチの両方に同じぼけが付与されている。したがって、第１のモデルは輝度飽和部を補正しない。

次に、図５および図６を参照して、本実施例における画像推定装置１０３で実行される補正画像の生成に関して説明する。図５は、補正画像の生成に関するフローチャートである。図６は、本実施例における第３のモデルである。図５の各ステップは、主に、画像推定装置１０３の取得部１０３ｂまたはぼけ補正部１０３ｃにより実行される。

まずステップＳ２０１において、取得部１０３ｂは、撮像画像とウエイトの情報を取得する。撮像画像は、学習と同様で未現像のＲＡＷ画像であり、本実施例では撮像装置１０２から送信されたものである。ウエイトの情報は、第１のモデルと第２のモデルのウエイトを学習装置１０１から送信されて記憶部１０３ａに記憶されたものである。

続いてステップＳ２０２において、取得部１０３ｂは、ステップＳ２０１にて取得した第１のモデルと第２のモデルのウエイトに基づいて、第３のモデルを取得する。第３のモデルにおける処理を以下で説明する。まず、図６に示されるように、入力画像（撮像画像）４０１を取得して第１のモデルに入力し、第１のモデルの推定画像として第１の中間補正画像４０２を取得する。また、入力画像４０１を第２のモデルに入力し、第２のモデルの推定画像として第２の中間補正画像４０３を取得する。その後、第１の中間補正画像４０２と第２の中間補正画像４０３を予め決められたウエイトで加重平均して、第３のモデルによる推定画像（補正画像）４０４を取得する。加重平均のウエイトが規定されていれば、第１のモデルのウエイトと第２のモデルのウエイトから第３のモデルを取得することができる。

第３のモデルでは、輝度飽和部の補正効果が異なる第１のモデルと第２のモデルによる推定画像を加重平均した画像を出力する。したがって、最適に調整された加重平均のウエイトを規定しておくことで、輝度飽和部における補正効果と弊害が最適化された良好なぼけ補正画像を取得することができる。なお本実施例において、加重平均のウエイトは予め規定された値であるが、取得部１０３ｂがユーザからの入力に基づいて取得してもよい。この場合、ユーザの好みを反映した補正効果を持つ第３のモデルが得られる。

続いて、図５のステップＳ２０３において、ぼけ補正部１０３ｃは、取得された第３のモデルの入力画像として、ステップＳ２０１にて取得された撮像画像を入力し、補正画像を生成する。補正画像は、輝度飽和部飽和部の補正効果を最適に調整された画像である。なお、ニューラルネットワークへ撮像画像を入力する際には、学習時に使用した訓練パッチと同サイズに切り出す必要はない。

続いてステップＳ２０４において、ぼけ補正部１０３ｃは、ユーザの選択に基づいて、非輝度飽和部も含めたぼけ補正の強度を調整する。ぼけ補正の強度調整は、撮像画像と第３のモデルの推定画像（補正画像）４０４との加重平均によって行う。取得される画像はＲＡＷ画像であるため、必要に応じて現像処理が実行される。なお、ステップＳ２０４で行う処理を第３のモデルに含めてもよい。その場合、第１の中間補正画像４０２、第２の中間補正画像４０３、および入力画像（撮像画像）４０１の３つの画像間の加重平均で最終的な補正画像４０４を取得することができる。本実施例における画像間の加重平均のウエイトは、加重平均後の画像を見ながら調整できてもよい。

また本実施例において、第３のモデルは、第１のモデルにより生成された第１の中間補正画像４０２と第２のモデルにより生成された第２の中間補正画像４０３とを加重平均して補正画像を生成するが、本実施例はこれに限定されるものではない。例えば、第１のモデルと第２のモデルを同じ構成のニューラルネットワークとすることで、それぞれのウエイトを対応付けることができる。そして、図７に示されるように、第１のモデルと第２のモデルの対応するウエイト同士を予め規定された一律の係数で線形補間することで、第３のモデルを生成してもよい。図７は、第３のモデルの別の構成を示す図である。

これにより、輝度飽和部の補正効果が異なる第１のモデルと第２のモデルから、弊害を考慮して補正効果を調整した第３のモデルを取得することができる。この場合、第２のモデルを学習により取得する際に、学習済みの第１のモデルのウエイトを初期値として、第２の学習データを用いて追加学習することが好ましい。これにより、モデル間の対応するウエイトが関連付けられ、第３のモデルを取得する際に補正効果を連続的に変化させることができる。

なお本実施例では、第１のモデルのウエイトと第２のモデルのウエイトとが関連付けられればよく、第１のモデルの学習経過におけるウエイトを第２のモデルを学習する際の初期値としてもよい。また、第１のモデルを学習する際に、学習済みの第２のモデルのウエイトを初期値として用いてもよい。本実施例で用いた中間補正画像同士の加重平均では、加重平均のウエイトを後から調整してもニューラルネットワークの計算を再度行う必要がない。したがって、画像を見ながら輝度飽和部の補正効果を調整する場合に好ましい。一方、上述したモデル同士の補間ではニューラルネットワークの計算を一度行うだけで補正画像を生成できる。したがって、計算負荷を抑えられ、輝度飽和部の補正効果を予め調整しておく場合に好ましい。また、モデル同士の補間では、学習装置内の生成部１０１ｃで予め第１のモデルと第２のモデルとのウエイトを線形補間しておき、画像推定装置１０３の取得部１０３ｂでは線形補間されたウエイトを第３のモデルとして取得してもよい。この場合、学習装置１０１で記憶しておくウエイトや学習装置１０１から画像推定装置１０３へ通信するウエイトの情報量を削減することができる。

また、ステップＳ２０３において、学習時のステップＳ１０２と同じ形式の撮影条件を撮像画像に関して取得し、第３のモデルへ撮像画像とともに入力してもよい。これにより、レンズステートに対応した輝度飽和部の補正を行うことができる。撮影条件を取得する場合、画像間やモデル間の加重平均のウエイトを撮影条件に基づいて取得してもよい。また、第１のモデルおよび第２のモデルによる処理に撮影条件を用いてもよい。この場合、第１のモデルおよび第２のモデルの学習時にも撮影条件を入力して学習する必要がある。

以上の構成により、本実施例では、輝度飽和部の補正効果の調整と、非輝度飽和部を含めた全体のぼけ補正の強度調整を個別に行うことができる。これにより、非輝度飽和部でユーザが望む補正効果にしつつ、輝度飽和部の補正効果も独立して決められ、ユーザの意図した編集を実現できる。なお本実施例では、学習装置１０１と画像推定装置１０３とが別体である場合を例に説明したが、本実施例はこれに限定されるものではない。本実施例は、学習装置１０１と画像推定装置１０３とが一体的に構成されている場合にも適用可能である。すなわち、一体の装置内で学習（図４に示す処理）と推定（図５に示す処理）を行ってもよい。

以上のように、本実施例の画像処理方法は、撮像画像の光学特性に起因するぼけを補正した補正画像を出力する画像処理方法である。本実施例の画像処理方法は、第１のモデルと第２のモデルとに基づく第３のモデルを用いて補正画像を出力する出力ステップ（Ｓ２０３）を有する。第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルである。第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルである。第１の原画像の輝度飽和部における第１の正解画像のぼけに対する第１の訓練画像のぼけは、第２の原画像の輝度飽和部における第２の正解画像のぼけに対する第２の訓練画像のぼけよりも小さく、かつ光学特性に起因するぼけよりも小さい。

本実施例によれば、輝度飽和した被写体を含む撮像画像のぼけを良好に補正することが可能な画像処理方法を提供することが可能である。

次に、図８および図９を参照して、本発明の実施例２における画像処理システムに関して説明する。本実施例は、撮像装置内の画像推定部３２３における補正画像の生成、第１のモデルと第２のモデルの学習方法、および、第３のモデルの構成の点で、実施例１とは異なる。

図８は、本実施例における画像処理システム３００のブロック図である。図９は、画像処理システム３００の外観図である。画像処理システム３００は、ネットワーク３０３を介して接続された学習装置（画像処理装置）３０１と撮像装置３０２とを含む。学習装置３０１は、記憶部（記憶手段）３１１、取得部（取得手段）３１２、生成部（生成手段）３１３、および、更新部（学習手段）３１４を有し、ニューラルネットワークでぼけ補正を行うためのウエイト（ウエイトの情報）を学習する。撮像装置３０２は、被写体空間を撮像して撮像画像を取得し、読み出したウエイトの情報を用いて撮像画像中のぼけを補正する。撮像装置３０２は、光学系３２１および撮像素子３２２を有する。画像推定部（画像処理装置）３２３は、取得部（取得手段）３２３ａおよびぼけ補正部（出力手段）３２３ｂを有し、記憶部３２４に保存されたウエイトの情報を用いて、撮像画像のぼけ補正を実行する。

ウエイトの情報は、学習装置３０１で事前に学習され、記憶部３１１に保存されている。撮像装置３０２は、記憶部３１１からネットワーク３０３を介してウエイトの情報を読み出し、記憶部３２４に保存する。ぼけ補正された撮像画像（補正画像）は、記録媒体３２５に保存される。ユーザから補正画像の表示に関する指示が出された場合、保存された補正画像が読み出され、表示部３２６に表示される。なお、記録媒体３２５に既に保存された撮像画像を読み出し、画像推定部３２３でぼけ補正を行ってもよい。以上の一連の制御は、システムコントローラ３２７によって行われる。

本実施例の学習装置３０１で実行される第１のモデルおよび第２のモデルの学習に関する処理フローは、基本的には実施例１と等しいが、ステップＳ１０３における学習データの生成方法に関して実施例１とは異なる。

まず、取得部３１２は、原画像の輝度飽和部のみにステップＳ１０２で取得したぼけを付与した後、撮像素子３２２の輝度飽和値でクリップした画像から部分領域を抽出することで、第１の訓練画像を取得する。次に、取得部３１２は、原画像の輝度飽和部のみにステップＳ１０２で取得したぼけよりもぼけ量が小さいぼけを付与した後、輝度飽和値でクリップした画像から同一の部分領域を抽出することで、第１の正解画像を取得する。

第２の訓練画像は、第１の訓練画像と同様に取得される。第２の正解画像も、第１の正解画像と同様に取得される。すなわち、原画像の輝度飽和部のみにステップＳ１０２で取得したぼけよりもぼけ量が小さいぼけを付与した後、輝度飽和値でクリップした画像から同一の部分領域を抽出することで取得する。ただし、付与するぼけ量は第１の正解画像を取得する際に付与したぼけよりも小さいぼけを付与する。

本実施例において、第１の正解画像および第２の正解画像に付与するぼけは、ステップＳ１０２にて取得したＰＳＦの空間ひろがりを縮小することで取得する。すなわち、光学特性に起因するぼけとは異なるぼけは、光学特性に基づいて取得される。第１の正解画像に付与するぼけはＰＳＦを０．８倍に縮小し、第２の正解画像に付与するぼけは０．２倍に縮小する。縮小処理は、ダウンサンプリングとバイキュービック補間等の補間処理を用いて行う。これにより、第１の正解画像に与えたぼけを基準とした第１の訓練画像のぼけは、第２の正解画像を基準とした第２の訓練画像のぼけよりも小さい。ニューラルネットワークの学習は、訓練画像を正解画像に近づけるように、すなわち訓練画像と正解画像の相対的な関係に基づいて学習する。したがって、本実施例の第１のモデルは、第２のモデルよりも輝度飽和部の補正効果が小さい。また、第１のモデルおよび第２のモデルともに、非輝度飽和部は補正しないように学習される。このように本実施例では、輝度飽和部の補正効果が異なる第１のモデルと第２のモデルを取得する。

なお、第１の正解画像および第２の正解画像に付与するぼけは、上述のぼけに限定されるものではない。ガウスぼけ等のぼかしフィルタでもよく、ステップＳ１０２に基づいて取得したぼけに基づいて生成してもよい。例えば、ステップＳ１０２で取得したＰＳＦをダウンサンプリングや既存の縮小処理等によって縮小してもよい。ステップＳ１０２でＯＴＦとしてぼけを取得した場合、アップサンプリング等で拡大することや、ＯＴＦにゲインをかけて向上させることで、ぼけを小さくすることができる。本実施例におけるぼけ量の大小は所定の指標で表すことができ、例えばＰＳＦの最大値が大きい、ＰＳＦのメリ断面における半値幅が小さい、規定された空間周波数のＭＴＦが大きい、ＭＴＦの空間周波数に対する積分値が大きい等の場合にぼけ量が小さいと言える。また、ＰＳＦにぼかしフィルタ（ローパスフィルタ）を畳み込むことや、ＯＴＦにローパスフィルタの周波数特性をかけることで、ぼけ量を大きくしたと言える。ある画像のぼけを基準としたぼけの大きさ（ある画像のぼけに対するぼけの大きさ）とは、上述の指標の差分や比で表してもよく、ＯＴＦの差分や比に対して上述の指標を用いてもよい。

次に、本実施例における画像推定部３２３で実行されるぼけ補正画像の生成について述べる。本実施例は、第３のモデルが実施例１と異なり、図１０に示される処理を行う。図１０は、本実施例における第３のモデルの構成を示す図である。

まず、画像推定部３２３は、入力画像５０１を取得して第１のモデルおよび第２のモデルとは異なる非輝度飽和部のみを補正するように学習したニューラルネットワーク（非輝度飽和部補正モデル）に入力する。その結果、画像推定部３２３は、非輝度飽和部補正画像５０２を取得する。このニューラルネットワークは、実施例１における第１のモデルと等しい。次に、画像推定部３２３は、非輝度飽和部補正画像５０２を第１のモデルおよび第２のモデルのそれぞれに入力し、輝度飽和部の補正度合いが異なる第１の中間補正画像５０３と第２の中間補正画像５０４を取得する。そして画像推定部３２３は、実施例１と同様に、加重平均によって第３のモデルの推定画像（補正画像）５０５を取得する。なお、本実施例におけるその他の処理は、実施例１と同様である。

次に、図１１および図１２を参照して、本実施例における第３のモデルの変形例について説明する。図１１および図１２は、本実施例における第３のモデルの変形例である。

まず、図１１（Ａ）を参照して、変形例の１つを説明する。撮像画像をまず第１のモデルおよび第２のモデルにそれぞれ入力して、輝度飽和部のみが補正された第１の中間補正画像５０３および第２の中間補正画像５０４を取得する。その後、第１の中間補正画像５０３および第２の中間補正画像５０４を加重平均して画像５０６を取得する。さらに、非輝度飽和部補正モデルを用いて第３のモデルの推定画像（補正画像）５０５を取得することで、輝度飽和部および非輝度飽和部を良好に補正することができる。第３のモデルが図１１（Ａ）に示される構成の場合、第１のモデルおよび第２のモデルには、非輝度飽和部が補正されない画像が入力される。したがって、第１の訓練画像、第１の正解画像、第２の訓練画像、および第２の正解画像の非輝度飽和部には、ステップＳ１０２で取得したぼけを付与することがより好ましい。

また、変形例として、第１のモデルおよび第２のモデルはそれぞれ、第１の学習データおよび第２の学習データを用いて学習された処理を含み、入力された画像に処理を実行して画像を出力するものであればよい。すなわち、一括で学習されたニューラルネットワークに限定されない。

次に、図１１（Ｂ）を参照して変形例の１つを説明する。実施例２の非輝度飽和部補正モデルを前処理として用い、さらに実施例２の第１のモデル（輝度飽和部補正モデル１）を接続した構成を第１のモデルとする。また、実施例２の非輝度飽和部補正モデルを前処理として用い、さらに実施例２の第２のモデル（輝度飽和部補正モデル２）を接続した構成を第２のモデルとする。撮像画像を第１のモデル、第２のモデルにそれぞれ入力して得られた第１の中間補正画像５０３、第２の中間補正画像５０４を加重平均することで、第３のモデルの推定画像（補正画像）５０５を取得できる。この場合、第１の学習データおよび第２の学習データはそれぞれ、実施例２と等しい。

また、図１１（Ｂ）の第１のモデルで輝度飽和部を補正しない場合、
図１２（Ａ）に示される構成となる。すなわち、非輝度飽和部補正モデルを第１のモデルとする。この場合、第１の学習データは実施例２の非輝度飽和部補正モデルの学習に用いた学習データである。第２の学習データは実施例２と等しい。このとき、第１のモデルと第２のモデルで非輝度飽和部補正モデルによる処理が共通となるため、共通する処理を省略してもよい。

次に、図１２（Ｂ）を参照して、処理の省略方法を説明する。まず、非輝度飽和部補正モデルによる処理のみを実行した画像を第１の中間補正画像５０３とし、さらに輝度飽和部補正モデルによる処理を実行して第２の中間補正画像５０４を取得する。その後、第１の中間補正画像５０３と第２の中間補正画像５０４を加重平均することで第３のモデルによる推定画像（補正画像）５０５を取得する。したがって、第１のモデルと第２のモデルに基づいて第３のモデルは取得されているが、本実施例はそれぞれのモデルを独立して処理する場合に限定されるものではない。この場合、ステップＳ２０１でウエイトの情報を取得する際にも共通するウエイト情報を重複して取得する必要はない。

本実施例は、実施例１と異なり、非輝度飽和部を常に同一のモデルで補正する。したがって、加重平均を行っても非輝度飽和部の補正効果を高い精度で一定に保ちつつ、輝度飽和部の補正効果を調整することができる。

輝度飽和部の補正効果を学習時に調整する場合、正解画像に付与するぼけ量を適切に決める必要がある。一方、補正効果を知るには学習済みの第３のモデルによる推定画像（補正画像）を見なければならない。したがって、通常は補正効果を調整するために学習データの修正と学習とを幾度も繰り返す必要がある。しかし、本実施例の方法によれば、輝度飽和部においてぼけの異なる２つの学習データによって学習された第１のモデル、第２のモデルに基づいて第３のモデルを取得することで、容易に補正効果を調整することができる。

本実施例によれば、輝度飽和部を含む被写体のぼけを良好に補正する画像処理方法、および該画像処理を実行する撮像装置を提供することができる。

次に、図１３を参照して、本発明の実施例３における画像処理システムに関して説明する。本実施例の画像処理システムは、画像推定装置に対して画像処理の対象である撮像画像を送信し処理済みの出力画像（補正画像）を画像推定装置から受信する処理装置（コンピュータ）を有する点で、実施例１、２と異なる。

図１３は、本実施例における画像処理システム６００のブロック図である。画像処理システム６００は、学習装置６０１、撮像装置６０２、画像推定装置６０３、および、処理装置（コンピュータ）６０４を有する。学習装置６０１および画像推定装置６０３は、例えばサーバである。コンピュータ６０４は、例えばユーザ端末（パーソナルコンピュータまたはスマートフォン）である。処理装置６０４は、ネットワーク６０５を介して画像推定装置６０３に接続されている。画像推定装置６０３はネットワーク６０６を介して学習装置６０１に接続されている。

すなわち、コンピュータ６０４と画像推定装置６０３は通信可能に構成され、画像推定装置６０３と学習装置６０１は通信可能に構成されている。コンピュータ６０４は第１の装置に相当し、画像推定装置６０３は第２の装置に相当する。

学習装置６０１および撮像装置６０２の構成は、実施例１の学習装置１０１および撮像装置１０２とそれぞれ同様のため、それらの説明を省略する。

画像推定装置６０３は、記憶部６０３ａ、取得部６０３ｂ、ぼけ補正部６０３ｃ、および、通信部（受信手段）６０３ｄを有する。記憶部６０３ａ、取得部６０３ｂ、および、ぼけ補正部６０３ｃは、実施例１の画像推定装置１０３の記憶部１０３ａ、取得部１０３ｂ、および、ぼけ補正部１０３ｃとそれぞれ同様である。通信部６０３ｄは、コンピュータ６０４から送信される要求を受信する機能と、画像推定装置６０３によって生成された出力画像をコンピュータ６０４に送信する機能を有する。

コンピュータ６０４は、通信部（送信手段）６０４ａ、表示部６０４ｂ、画像処理部６０４ｃ、および、記録部６０４ｄを有する。通信部６０４ａは、撮像画像に対する処理を画像推定装置６０３に実行させるための要求を画像推定装置６０３に送信する機能、および、画像推定装置６０３によって処理された出力画像を受信する機能を有する。表示部６０４ｂは、種々の情報を表示する機能を有する。表示部６０４ｂによって表示される情報は、例えば画像推定装置６０３に送信する撮像画像と、画像推定装置６０３から受信した出力画像を含む。画像処理部６０４ｃは、画像推定装置６０３から受信した出力画像に対してさらに画像処理を施す機能を有する。記録部６０４ｄは、撮像装置６０２から取得した撮像画像や、画像推定装置６０３から受信した出力画像等を記録する。

次に、図１４を参照して、本実施例における画像処理について説明する。本実施例における画像処理は、図５を参照して実施例１にて説明したぼけ補正処理と同等である。図１４は、本実施例における補正画像の生成（画像処理）に関するフローチャートである。図１４に示される画像処理は、コンピュータ６０４を介してユーザにより画像処理開始の指示が成されたことを契機として開始される。まず、コンピュータ６０４における動作について説明する。

ステップＳ７０１において、コンピュータ６０４は、撮像画像に対する処理の要求を画像推定装置６０３へ送信する。なお、処理対象である撮像画像を画像推定装置６０３に送信する方法は問わない。例えば、撮像画像はステップＳ７０１と同時に画像推定装置６０３にアップロードされてもよく、または、ステップＳ７０１以前に画像推定装置６０３にアップロードされていてもよい。また撮像画像は、画像推定装置６０３とは異なるサーバ上に記憶された画像でもよい。なお、ステップＳ７０１において、コンピュータ６０４は、撮像画像に対する処理の要求と共に、ユーザを認証するＩＤ情報等を送信してもよい。

続いてステップＳ７０２において、コンピュータ６０４は、画像推定装置６０３内で生成された出力画像を受信する。出力画像は、実施例１と同様に撮像画像に対してぼけ補正が成された画像である。

次に、画像推定装置６０３の動作について説明する。まずステップＳ８０１において、画像推定装置６０３は、コンピュータ６０４から送信された撮像画像に対する処理の要求を受信する。画像推定装置６０３は、撮像画像に対する処理（ぼけ補正処理）が指示されたと判定し、ステップＳ８０２以降の処理を実行する。

ステップＳ８０２において、画像推定装置６０３は、ウエイトの情報を取得する。ウエイトの情報は、図４を参照して実施例１にて説明した方法と同様の方法で学習された情報（学習済みモデル）である。画像推定装置６０３は、学習装置６０１からウエイトの情報を取得してもよく、または、予め学習装置６０１から取得され記憶部６０３ａに記憶されたウエイトの情報を取得してもよい。続くステップＳ８０３〜Ｓ８０５は、実施例１のステップＳ２０２〜Ｓ２０４とそれぞれ同様である。続いてステップＳ８０６において、画像推定装置６０３は、出力画像をコンピュータ６０４へ送信する。

本実施例は、実施例１のぼけ補正処理を行うものとして説明したが、実施例２（変形例を含む）のぼけ補正処理にも同様に適用可能である。なお本実施例では、ぼけ補正の強度の調整は画像推定装置６０３内で行われる例について述べたが、ぼけ補正の強度はユーザがコンピュータ６０４を介して画像推定装置に指示することで行ってもよい。本実施例のように、ぼけ補正処理を画像推定装置６０３内で行う場合、ぼけ補正処理による処理負荷を画像推定装置６０３内で担うことができるため、コンピュータ６０４側に求められる処理能力を減じることが可能である。

以上のように、本実施例のように、画像推定装置６０３を、画像推定装置６０３と通信可能に接続されたコンピュータ６０４を用いて制御するように構成してもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、輝度飽和した被写体を含む撮像画像のぼけを良好に補正することが可能な画像処理方法、プログラム、画像処理装置、および、画像処理システムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 画像推定装置（画像処理装置）
１０３ｂ 取得部（取得手段）
１０３ｃ ぼけ補正部（出力手段）

Claims (16)

1. 撮像画像の光学特性に起因するぼけを補正した補正画像を出力する画像処理方法であって、
   第１のモデルと第２のモデルとに基づく第３のモデルを用いて前記補正画像を出力する出力ステップを有し、
   前記第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルであり、
   前記第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルであり、
   前記第１の原画像の輝度飽和部における前記第１の正解画像のぼけに対する前記第１の訓練画像のぼけは、前記第２の原画像の輝度飽和部における前記第２の正解画像のぼけに対する前記第２の訓練画像のぼけよりも小さく、かつ前記光学特性に起因するぼけよりも小さいことを特徴とする画像処理方法。
2. 前記第１のモデルと前記第２のモデルとに基づいて前記第３のモデルを取得する取得ステップを更に有することを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の訓練画像は、少なくとも前記第１の原画像の前記輝度飽和部において、前記第１の原画像にぼけが付与された画像であり、
   前記第１の正解画像は、少なくとも前記第１の原画像の前記輝度飽和部において、前記第１の訓練画像の同一位置に付与されたぼけと比較して同一または小さいぼけが付与された画像であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記第２の訓練画像は、少なくとも前記第２の原画像の前記輝度飽和部において、前記第２の原画像にぼけが付与された画像であり、
   前記第２の正解画像は、少なくとも前記第２の原画像の前記輝度飽和部において、ぼけが付与されないか、または、前記第２の訓練画像の同一位置に付与されたぼけと比較して小さいぼけが付与された画像であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記第１の訓練画像は、前記第１の原画像の前記輝度飽和部において、前記光学特性に起因するぼけが付与された画像であり、
   前記第２の訓練画像は、前記第２の原画像の前記輝度飽和部において、前記光学特性に起因するぼけが付与された画像であり、
   前記第１の正解画像は、前記第１の原画像の前記輝度飽和部において、前記光学特性に起因するぼけと比較して同一または小さいぼけが付与された画像であり、
   前記第２の正解画像は、前記第２の原画像の前記輝度飽和部において、ぼけが付与されないか、または、前記光学特性に起因するぼけと比較して小さいぼけが付与された画像であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記第１の訓練画像と前記第１の正解画像は、前記第１の原画像の非輝度飽和部において、ぼけが付与されないか、または、前記第１の原画像と同一のぼけが付与された画像であり、
   前記第２の訓練画像と前記第２の正解画像は、前記第２の原画像の非輝度飽和部において、ぼけが付与されないか、または、前記第２の原画像と同一のぼけが付与された画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
7. 前記第１の訓練画像は、前記第１の原画像に対して、前記光学特性に起因するぼけが付与された画像であり、
   前記第２の訓練画像は、前記第２の原画像に対して、前記光学特性に起因するぼけが付与された画像であり、
   前記第１の原画像の非輝度飽和部において、前記第１の正解画像は、前記第１の原画像にぼけが付与されない画像であり、
   前記第２の原画像の非輝度飽和部において、前記第２の正解画像は、前記第２の原画像にぼけが付与されない画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
8. 前記光学特性に起因するぼけとは異なるぼけは、前記光学特性に基づいて取得されることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 前記撮像画像の複数の撮影条件を取得するステップと、
   前記複数の撮影条件に基づいて前記光学特性を取得するステップと、を更に有し、
   前記第１のモデルと前記第２のモデルは、前記複数の撮影条件に対応する学習データを用いて学習され、
   前記出力ステップにおいて、前記撮像画像と、前記撮像画像に対応する前記撮影条件とを、前記第３のモデルに入力することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
10. 前記第３のモデルは、前記第１のモデルによる第１の中間補正画像と前記第２のモデルによる第２の中間補正画像との加重平均により前記補正画像を生成することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
11. 前記第３のモデルは、前記第１のモデルのウエイトと前記第２のモデルのウエイトとを加重平均することで取得され、
    前記第２のモデルは、前記第１のモデルを追加学習することで学習されることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
12. 前記加重平均の重みは、ユーザからの入力に基づいて決定されることを特徴とする請求項１０または１１に記載の画像処理方法。
13. 撮像画像の光学特性に起因するぼけを補正した補正画像を出力する画像処理装置であって、
    第１のモデルと第２のモデルとに基づく第３のモデルを用いて前記補正画像を出力する出力手段を有し、
    前記第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルであり、
    前記第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルであり、
    前記第１の原画像の輝度飽和部における前記第１の正解画像のぼけに対する前記第１の訓練画像のぼけは、前記第２の原画像の輝度飽和部における前記第２の正解画像のぼけに対する前記第２の訓練画像のぼけよりも小さく、かつ前記光学特性に起因するぼけよりも小さいことを特徴とする画像処理装置。
14. 前記第１のモデルと前記第２のモデルとに基づいて前記第３のモデルを取得する取得手段を更に有することを特徴とする請求項１３に記載の画像処理装置。
15. 請求項１乃至１２のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
16. 第１の装置と、前記第１の装置と通信可能な第２の装置とを含む画像処理システムであって、
    前記第１の装置は、撮像画像に対する処理を前記第２の装置に実行させるための要求を送信する送信手段を有し、
    前記第２の装置は、
    前記送信手段により送信された前記要求を受信する受信手段と、
    第１のモデルと第２のモデルに基づいて取得された第３のモデルを用いて、前記撮像画像の光学特性に起因するぼけを補正した補正画像を出力する出力手段と、を有し、
    前記第１のモデルは、第１の原画像に基づく第１の訓練画像と第１の正解画像とを含む第１の学習データを用いて学習されたモデルであり、
    前記第２のモデルは、第２の原画像に基づく第２の訓練画像と第２の正解画像とを含む第２の学習データを用いて学習されたモデルであり、
    前記第１の原画像の輝度飽和部における前記第１の正解画像のぼけに対する前記第１の訓練画像のぼけは、前記第２の原画像の輝度飽和部における前記第２の正解画像のぼけに対する前記第２の訓練画像のぼけよりも小さく、かつ前記光学特性に起因するぼけよりも小さいことを特徴とする画像処理システム。
    

Images