JP2023000274A - 画像処理方法、画像処理装置、画像処理システム、およびプログラム - Google Patents

Abstract

【課題】画像の明るさやシーンに応じて適切なぼけ補正が可能な画像処理方法を提供する。【解決手段】画像処理方法は、撮像光学系を通して得られた撮像画像を取得する工程と、撮像画像のぼけ成分を補正して第１の画像を生成する工程と、撮像画像と第１の画像と重みマップとに基づいて第２の画像を生成する工程とを有し、重みマップは、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と、撮像画像における飽和領域に基づく情報とに基づいて生成される。【選択図】図７

Description

本発明は、画像のぼけを低減する画像処理方法に関する。

特許文献１には、機械学習モデルの１つである畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、撮像画像のぼけを先鋭化する方法が開示されている。撮像画像の輝度飽和値以上の信号値を有する画像をぼかすことで訓練データセットを生成し、該訓練データセットでＣＮＮを訓練することで、輝度飽和した領域の周辺でも弊害を抑制して、ぼけの先鋭化を行うことができる。また、撮像画像と推定画像（ぼけ先鋭化画像）を輝度飽和した領域に基づいて加重平均し、先鋭化の強度を調整する方法が開示されている。

特許文献２には、撮像画像のぼけをデコンボリューションにて補正し、得られた補正画像と撮像画像を合成することで、飽和画素に対応する位置の周囲のリンギングと呼ばれる縞状のアーティファクトを低減する手法が開示されている。特許文献２では、合成時の重みとして、飽和している画素については撮像画像の合成比率を１にし、そうでない画素については合成比率が０にされる。

特開２０２０－１６６６２８号公報 特開２０１８－２０１１３７号公報

特許文献１に開示された方法は、入力する画像によっては黒沈みやリンギング等を抑制できず、推定画像（ぼけ先鋭化画像）にこれらの弊害が生じることがある。具体的には、光学系の収差によって被写体が大きくぼけていた場合に弊害が発生しやすい。また、輝度飽和した領域の周辺で発生する黒沈みは、画像の明るさによって、目立ちやすさが異なる。例えば、日中の屋外で撮影された明るい画像においては、飽和領域周辺での黒沈みが目立つが、夜景のような暗い画像においては、黒沈みは目立たない。

また、特許文献１や特許文献２に開示された方法では、画像の明るさ（またはシーン）で異なる黒沈みの目立ちやすさに関係なしに、決められた重みに応じて平均化される。つまり、入力画像と推定画像の加重平均を行うと、明るい画像（明るいシーン）では飽和領域周辺で目立つ黒沈みが低減されるが、暗い画像（暗いシーン）においては、必要以上に飽和領域周辺の補正効果が低減してしまう。

そこで本発明は、画像の明るさやシーンに応じて適切なぼけ補正が可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。

本発明の一側面としての画像処理方法は、撮像光学系を通して得られた撮像画像を取得する工程と、前記撮像画像のぼけ成分を補正して第１の画像を生成する工程と、前記撮像画像と前記第１の画像と重みマップとに基づいて第２の画像を生成する工程とを有し、前記重みマップは、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に基づく情報とに基づいて生成される。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像の明るさやシーンに応じて適切なぼけ補正が可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。

実施例１における機械学習モデルの構成図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１乃至４における先鋭化による弊害の説明図である。 実施例１、３、４における機械学習モデルの訓練のフローチャートである。 実施例１または３におけるモデル出力の生成のフローチャートである。 実施例１乃至４における先鋭化の強度調整のフローチャートである。 実施例１乃至４における平均信号値に対する重みマップの調整値の説明図である。 実施例１における撮像画像と飽和影響マップの説明図である。 実施例１における撮像画像と飽和影響マップの説明図である。 実施例１における重みマップの説明図である。 実施例１における重みマップの説明図である。 実施例２における画像回復フィルタの説明図である。 実施例２における画像回復フィルタの説明図（断面図）である。 実施例２における点像分布関数ＰＳＦの説明図である。 実施例２における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。 実施例２における画像処理システムのブロック図である。 実施例２におけるぼけ先鋭化画像の生成のフローチャートである。 実施例３における画像処理システムのブロック図である。 実施例３における画像処理システムの外観図である。 実施例４における画像処理システムのブロック図である。 実施例４における画像処理システムの外観図である。 実施例４におけるモデル出力および先鋭化の強度調整のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

実施例の具体的な説明を行う前に、本発明の要旨を説明する。本発明は、光学系（撮像光学系）を用いて撮像された撮像画像から、光学系に起因するぼけを先鋭化した推定画像（ぼけ先鋭化画像、第１の画像）を生成する。推定画像は、例えば機械学習モデルを用いて生成される。そして、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と、撮像画像における飽和領域（輝度飽和領域）に基づく情報とに基づいて重みマップを生成し、撮像画像と推定画像とを加重平均する。ここで、光学系に起因するぼけとは、収差、回折、デフォーカスによるぼけや、光学ローパスフィルタによる作用、撮像素子の画素開口劣化などを含む。

機械学習モデルは、例えば、ニューラルネットワーク、遺伝的プログラミング、ベイジアンネットワークなどを含む。ニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを含む。

ぼけの先鋭化とは、ぼけによって低下または消失した被写体の周波数成分を復元する処理を指す。ぼけの先鋭化の際、撮像画像によってはアンダーシュート（黒沈み）やリンギング等を抑制できず、推定画像にこれらの弊害が生じることがある。具体的には、光学系の収差によって被写体が大きくぼけていた場合や、画像中に輝度飽和領域が存在する場合、弊害が生じる。撮像素子のダイナミックレンジや撮像時の露出によって、画像中には輝度飽和領域が発生し得る。輝度飽和領域においては、被写体空間の構造に関する情報を取得することができずに弊害が発生しやすい。また、輝度飽和した領域の周辺で発生するアンダーシュートは、画像の明るさによって、目立ちやすさが異なる。例えば、日中の屋外で撮影された明るい画像においては、輝度飽和領域周辺でのアンダーシュートが目立つが、夜景のような暗い画像においては、アンダーシュートは目立たない。

そこで各実施例は、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と、撮像画像における飽和領域に基づく情報とに基づいて生成された重みマップを用いて、撮像画像と推定画像とを加重平均する。これにより、撮像画像の明るさやシーンに応じて異なる飽和領域周辺の弊害を抑制しつつぼけ補正効果を保つことが可能になる。

なお以下では、機械学習モデルのウエイトを学習する段階のことを学習フェーズとし、学習済みのウエイトを用いた機械学習モデルでぼけの先鋭化を行う段階のことを推定フェーズとする。

まず、本発明の実施例１における画像処理システム１００に関して説明する。本実施例では、機械学習モデルにより輝度飽和を含む撮像画像に対してぼけの先鋭化を行う。また、先鋭化するぼけは、光学系で発生する収差や回折、光学ローパスフィルタによるぼけを対象とする。ただし、画素開口やデフォーカス、ぶれによるぼけを先鋭化する場合も、同様に発明の効果を得ることができる。また、ぼけ先鋭化以外のタスクに関しても、同様に発明を実施し、効果を得ることが可能である。

図２は、画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、有線または無線のネットワークで接続された訓練装置１０１と画像処理装置１０３とを有する。画像処理装置１０３には、有線または無線によって、撮像装置１０２、表示装置１０４、記録媒体１０５、および出力装置１０６が接続される。撮像装置１０２を用いて被写体空間を撮像した撮像画像は、画像処理装置１０３に入力される。撮像画像には、撮像装置１０２内の光学系（撮像光学系）１０２ａによる収差および回折と、撮像素子１０２ｂの光学ローパスフィルタと、によってぼけが発生しており、被写体の情報が減衰している。

画像処理装置１０３は、機械学習モデルを用いて、撮像画像に対してぼけ先鋭化を行い、飽和影響マップとぼけ先鋭化画像（モデル出力、第１の画像）を生成する。飽和影響マップの詳細は後述する。機械学習モデルは訓練装置１０１で訓練されたものであり、画像処理装置１０３は機械学習モデルに関する情報を予め訓練装置１０１から取得し、記憶部１０３ａに記憶している。また画像処理装置１０３は、撮像画像とぼけ先鋭化画像の加重平均を取ることで、ぼけ先鋭化の強度を調整する機能を有する。機械学習モデルの訓練と推定、ぼけ先鋭化の強度調整の詳細に関しては、後述する。ユーザは、表示部１０４に表示された画像を確認しながら、ぼけ先鋭化の強度調整を行うことができる。強度調整が施されたぼけ先鋭化画像は、記憶部１０３ａまたは記録媒体１０５に保存され、必要に応じてプリンタなどの出力装置１０６に出力される。なお、撮像画像は、グレースケールでも、複数の色成分を有していてもよい。また、未現像のＲＡＷ画像でも、現像後の画像でもよい。

次に、図４（Ａ）乃至（Ｃ）を参照して、機械学習モデルによって、ぼけ先鋭化を行う際に発生する推定精度の低下について説明する。図４（Ａ）乃至（Ｃ）は、先鋭化による弊害の説明図であり、画像の信号値の空間変化を示す。ここで、画像は８ｂｉｔに現像された画像であるため、飽和値は２５５である。図４（Ａ）乃至（Ｃ）の実線が撮像画像（ぼけ画像）、点線は、機械学習モデルを用いて、撮像画像のぼけを先鋭化したぼけ先鋭化画像である。

図４（Ａ）は光学系の収差によるぼけが大きい非輝度飽和被写体、図４（Ｂ）は光学系の収差によるぼけが小さい非輝度飽和被写体、図４（Ｃ）は光学系の収差によるぼけが小さい輝度飽和被写体を鮮鋭化した結果である。光学系の収差によるぼけが大きい場合は、エッジの暗部側でアンダーシュートが発生している。また、光学系の収差によるぼけが小さい場合でも、輝度飽和被写体を鮮鋭化した場合は、非輝度飽和被写体では発生していなかったアンダーシュートや、本来飽和していた画素値が減少する弊害が発生している。輝度飽和を起こした領域（輝度飽和領域）では、被写体空間の構造に関する情報が失われ、各領域の境界で偽エッジが出現することもあり、被写体の正しい特徴量を抽出できない。このため、機械学習モデルの推定精度が低下する。以上の結果より、先鋭化に伴う弊害は、光学系の性能と輝度飽和領域に依存していることがわかる。

先述した補正には、機械学習モデルの入力データとして、撮像画像と撮像画像に対応する輝度飽和マップを用いる手法と、飽和影響マップを生成する手法を盛り込んで学習した機械学習モデルを使用している。つまり、これらの手法を用いることで弊害を低減させることは可能であるが、完全に弊害を消すことは難しい。輝度飽和マップを用いる手法と、飽和影響マップを生成する手法についてそれぞれ詳細に説明する。

輝度飽和マップについて説明する。輝度飽和マップとは、撮像画像において輝度飽和領域を表すマップである。輝度飽和を起こした領域（輝度飽和領域）では、被写体空間の構造に関する情報が失われ、各領域の境界で偽エッジが出現することもあり、被写体の正しい特徴量を抽出できない。そこで、輝度飽和マップを入力することで、ニューラルネットワークが前述のような問題のある領域を特定できるため、推定精度の低下を抑制することができる。

次に、飽和影響マップについて説明する。輝度飽和マップを使用しても、機械学習モデルの判定が正しく行われない場合がある。例えば、輝度飽和した領域の近傍が注目領域だった場合、機械学習モデルは、注目領域の近傍に輝度飽和した領域があるため、注目領域が輝度飽和の影響を受けた領域と判定可能である。しかし、輝度飽和した領域から離れた位置が注目領域の場合、ここが輝度飽和の影響を受けているか否かを判定することは容易でなく、曖昧性が高くなる。その結果、輝度飽和した領域から離れた位置では、機械学習モデルが誤判定を起こすことがある。これによって、タスクがぼけの先鋭化の場合、非飽和ぼけ像に対して、飽和ぼけ像に対応する先鋭化処理を実行する。この際、ぼけを先鋭化した画像にアーティファクトが発生し、タスクの精度が低下する。そのため、機械学習モデルを用いて、ぼけが発生した撮像画像から飽和影響マップを生成することが好ましい。

飽和影響マップは、撮像画像の輝度飽和した領域の被写体が、ぼけによって広がった信号値の大きさと範囲を表すマップ（空間的に配列された信号列）である。つまり、飽和影響マップは、撮像画像における飽和領域に基づく情報である。機械学習モデルに飽和影響マップを生成させることで、機械学習モデルは、撮像画像中の輝度飽和の影響の有無とその大きさを高精度に推定することができる。飽和影響マップが生成されることで、機械学習モデルは、輝度飽和の影響を受けた領域に実行すべき処理と、それ以外の領域に実行すべき処理を、それぞれ適切な領域に実行することができる。そのため、機械学習モデルに飽和影響マップを生成させることで、飽和影響マップの生成を介さない（撮像画像から直接、認識ラベルやぼけ先鋭化画像のみを生成する）場合に対して、タスクの精度が向上する。

上記２つの手法は有効ではあるが、図４（Ａ）乃至（Ｃ）を参照して説明したように、弊害を完全に消すことは難しい。そこで、撮像画像とぼけ先鋭化画像の加重平均を取ることで弊害を抑制する。図４（Ａ）中の一点鎖線は、撮像画像とぼけ先鋭化画像の加重平均を取った信号値である。加重平均を取ることにより、ぼけの先鋭化効果を保ちつつ、暗部のアンダーシュートが軽減されている。本実施例では、撮像画像とぼけ先鋭化画像を加重平均する際に使用する重みマップを、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と飽和領域に基づく情報とに基づいて生成する。それにより、アンダーシュートが目立たない暗い画像においては、補正効果を保ち、アンダーシュートが目立つ明るい画像では補正効果を抑えることで弊害を低減することができる。つまり、シーンによって異なる飽和領域周辺の弊害を抑制しつつぼけ補正効果を保つことが可能となる。

次に、図５を参照して、訓練装置１０１で実行される機械学習モデルの訓練に関して説明する。図５は、機械学習モデルの訓練のフローチャートである。訓練装置１０１は、記憶部１０１ａ、取得部１０１ｂ、演算部１０１ｃ、および更新部１０１ｄを有し、いずれかの部材が以下の各ステップを実行する。

まずステップＳ１０１において、取得部１０１ｂは、記憶部１０１ａから１枚以上の原画像を取得する。原画像は、第２の信号値よりも高い信号値を有する画像である。第２の信号値は、撮像画像の輝度飽和値に相当する信号値である。ただし、機械学習モデルに入力する際、信号値を規格化してもよいため、必ずしも第２の信号値と撮像画像の輝度飽和値が一致する必要はない。原画像を基にして機械学習モデルの訓練を行うため、原画像は様々な周波数成分（異なる向きと強度のエッジ、グラデーション、平坦部など）を有する画像であることが望ましい。原画像は実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）でもよい。

続いてステップＳ１０２において、演算部１０１ｃは、原画像にぼけを付与し、ぼけ画像を生成する。ぼけ画像は、訓練時に機械学習モデルに入力される画像であり、推定時の撮像画像に相当する。付与するぼけは、先鋭化の対象となるぼけである。本実施例では、光学系１０２ａの収差と回折、および撮像素子１０２ｂの光学ローパスフィルタによって発生するぼけを付与する。光学系１０２ａの収差と回折によるぼけの形状は、像面座標（像高とアジムス）によって変化する。また、光学系１０２ａの変倍、絞り、フォーカスの状態によっても変化する。これらのぼけ全てを先鋭化する機械学習モデルを一括で訓練したい場合、光学系１０２ａで発生する複数のぼけを用いて、複数のぼけ画像を生成するとよい。また、ぼけ画像において、第２の信号値を超える信号値はクリップされる。これは、撮像画像の撮像過程で起きる輝度飽和を再現するために行う。必要に応じて、撮像素子１０２ｂで発生するノイズをぼけ画像に付与してもよい。

続いてステップＳ１０３において、演算部１０１ｃは、原画像に基づく画像と信号値の閾値とに基づいて、第１の領域を設定する。本実施例では、原画像に基づく画像として、ぼけ画像を用いるが、原画像そのものなどを用いてもよい。ぼけ画像の信号値と、信号値の閾値と、を比較することで、第１の領域を設定する。より具体的には、ぼけ画像の信号値が、信号値の閾値以上となっている領域を第１の領域とする。実施例１において、信号値の閾値は第２の信号値である。故に、第１の領域は、ぼけ画像の輝度飽和した領域を表す。ただし、信号値の閾値と第２の信号値は、必ずしも一致しなくてもよい。信号値の閾値を、第２の信号値よりやや小さい値（例えば、０．９倍）に設定してもよい。

続いてステップＳ１０４において、演算部１０１ｃは、第１の領域に原画像の信号値を有する第１の領域画像を生成する。第１の領域画像は、第１の領域以外の領域において、原画像とは異なる信号値を有する。さらに望ましくは、第１の領域画像は、第１の領域以外の領域において、第１の信号値を有する。本実施例において、第１の信号値は０であるが、発明はこれに限定されない。実施例１では、第１の領域画像は、ぼけ画像が輝度飽和した領域のみに原画像の信号値を有し、それ以外の領域の信号値は０である。

続いてステップＳ１０５において、演算部１０１ｃは、第１の領域画像にぼけを付与し、飽和影響正解マップを生成する。付与されるぼけは、ぼけ画像に付与したぼけと同じである。これによって、ぼけ画像の輝度飽和した領域にある被写体から、撮像時の劣化によって広がった信号値の大きさと範囲を表すマップ（空間的に配列された信号列）である飽和影響正解マップが生成される。実施例１では、ぼけ画像と同様に、飽和影響正解マップを第２の信号値でクリップするが、必ずしもクリップを行う必要はない。

続いてステップＳ１０６において、取得部１０１ｂは、正解モデル出力を取得する。本実施例では、タスクがぼけ先鋭化のため、正解モデル出力はぼけ画像よりぼけの小さい画像である。実施例１では、原画像を第２の信号値でクリップすることで、正解モデル出力を生成する。原画像に高周波成分が不足している場合、原画像を縮小した画像を正解モデル出力としてもよい。この場合、ステップＳ１０２でぼけ画像を生成する際にも同様に縮小を行う。なおステップＳ１０６は、ステップＳ１０１より後で、ステップＳ１０７より前であれば、いつ実行してもよい。

続いてステップＳ１０７において、演算部１０１ｃは、機械学習モデルを用いて、ぼけ画像に基づき、飽和影響マップとモデル出力を生成する。図１は、機械学習モデルの構成図である。なお本実施例では、図１に示される機械学習モデルを使用するが、これに限定されるものではない。ぼけ画像２０１と輝度飽和マップ２０２が、機械学習モデルに入力される。輝度飽和マップ２０２は、ぼけ画像２０１の輝度飽和した（信号値が第２の信号値以上である）領域を示したマップである。例えば、第２の信号値で、ぼけ画像２０１を二値化することによって生成できる。ただし、輝度飽和マップ２０２は必須ではない。ぼけ画像２０１と輝度飽和マップ２０２は、チャンネル方向に連結されて、機械学習モデルに入力される。ただし、発明はこれに限定されない。例えば、ぼけ画像２０１と輝度飽和マップ２０２をそれぞれ特徴マップに変換し、それらの特徴マップをチャンネル方向に連結してもよい。また、輝度飽和マップ２０２以外の情報を入力に追加してもよい。

機械学習モデルは複数の層を有し、各層で層の入力とウエイトの線型和が取られる。ウエイトの初期値は、乱数などで決定するとよい。実施例１は、線型和として入力とフィルタの畳み込み（フィルタの各要素の値がウエイトに該当。また、バイアスとの和を含んでいてもよい）を用いるＣＮＮを機械学習モデルとするが、発明はこれに限定されない。また、各層では必要に応じて、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などの活性化関数による非線型変換が実行される。さらに、機械学習モデルは必要に応じて、残差ブロックやＳｋｉｐ Ｃｏｎｎｅｃｔｉｏｎ（Ｓｈｏｒｔｃｕｔ Ｃｏｎｎｅｃｔｉｏｎともいう）を有していてよい。複数の層（本実施例では畳み込み層１６層）を介した結果、飽和影響マップ２０３が生成される。本実施例では、層２１１の出力と輝度飽和マップ２０２の要素毎の和を取ることで飽和影響マップ２０３とするが、これに限定されるものではない。飽和影響マップが直接、層２１１の出力として生成されてもよい。或いは、層２１１の出力に対して任意の処理を施した結果を飽和影響マップ２０３としてもよい。

次に、飽和影響マップ２０３とぼけ画像２０１をチャンネル方向に連結して後続の層に入力し、複数の層（実施例１では畳み込み層１６層）を介した結果、モデル出力２０４を生成する。モデル出力２０４も、層２１２の出力とぼけ画像２０１の要素ごとの和を取ることで生成されるが、構成はこれに限定されない。なお実施例１では、各層で３×３のフィルタ６４種類（ただし、層２１１と層２１２は、フィルタ種類の数がぼけ画像２０１のチャンネル数と同数）との畳み込みを実行するが、これに限定されるものではない。

続いてステップＳ１０８において、更新部１０１ｄは、誤差関数に基づいて、機械学習モデルのウエイトを更新する。実施例１において、誤差関数は、飽和影響マップ２０３と飽和影響正解マップの誤差と、モデル出力２０４と正解モデル出力の誤差と、の重み付き和である。誤差の算出には、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用する。重みは両者１とする。ただし、誤差関数と重みはこれに限定されるものではない。ウエイトの更新には、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを用いるとよい。また、誤差は残差成分に対してとってもよい。残差成分の場合、飽和影響マップ２０３と輝度飽和マップ２０２の差分成分と、飽和影響正解マップと輝度飽和マップ２０２の差分成分と、の誤差を用いる。同様に、モデル出力２０４とぼけ画像２０１の差分成分と、正解モデル出力とぼけ画像２０１の差分成分との誤差を用いる。

続いてステップＳ１０９において、更新部１０１ｄは、機械学習モデルの訓練が完了したかの判定を行う。完了は、ウエイトの更新の反復回数が既定の回数に達したかや、更新時のウエイトの変化量が既定値より小さいかなどによって、判定することができる。ステップＳ１０９にて訓練が完了していないと判定された場合、ステップＳ１０１へ戻り、取得部１０１ｂは１枚以上の新たな原画像を取得する。一方、訓練が完了したと判定された場合、更新部１０１ｄは訓練を終了し、機械学習モデルの構成とウエイトの情報を記憶部１０１ａに記憶する。

以上の訓練方法によって、機械学習モデルは、ぼけ画像（推定時には撮像画像）の輝度飽和した領域の被写体がぼけによって広がった信号値の大きさと範囲を表す飽和影響マップを推定することができる。飽和影響マップを明示的に推定することで、機械学習モデルは、飽和ぼけ像と非飽和ぼけ像それぞれに対するぼけの先鋭化を、適切な領域に実行できるようになるため、アーティファクトの発生が抑制される。

次に、図６を参照して、画像処理装置１０３で実行される、訓練済みの機械学習モデルを用いた撮像画像のぼけ先鋭化に関して説明する。図６は、モデル出力の生成のフローチャートである。画像処理装置１０３は、記憶部１０３ａ、取得部（取得手段）１０３ｂ、および先鋭化部（第１の生成手段、第２の生成手段）１０３ｃを有し、いずれかの部材が以下の各ステップを実行する。

まずステップＳ２０１において、取得部１０３ｂは、光学系１０２ａを通して得られた撮像画像と機械学習モデルとを取得する。機械学習モデルの構成とウエイトの情報は、記憶部１０３ａから取得される。続いてステップＳ２０２において、先鋭化部（第１の生成手段）１０３ｃは、機械学習モデルを用いて、撮像画像から、撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力、第１の画像）を生成する。すなわち先鋭化部１０３ｃは、撮像画像のぼけ成分を補正して第１の画像を生成する。なお機械学習モデルは、訓練時と同様に、図１に示される構成を有する。訓練時と同様に、撮像画像の輝度飽和した領域を表す輝度飽和マップを生成して入力し、飽和影響マップとモデル出力を生成する。

次に、図７を参照して、画像処理装置１０３で実行される、撮像画像とモデル出力の合成（先鋭化の強度調整）に関して説明する。図７は、先鋭化の強度調整のフローチャートである。

まずステップＳ２１１において、先鋭化部１０３ｃは、飽和影響マップに基づいて、撮像画像とモデル出力とを合成する際の重みマップを生成する。重みマップの生成について詳細に説明する。重みマップとは、撮像画像とぼけ先鋭化画像を加重平均する際の、各画像の割合を決定するものであり、０から１までの連続的な信号値を有する。例えば、重みマップの数値がぼけ先鋭化画像の割合を決定する場合は、数値が１であれば、加重平均された画像は撮像画像のままとなる。また、重みマップの値が０．５であれば、加重平均された画像は撮像画像とぼけ先鋭化画像の画素値をそれぞれ５０％ずつ加算したものとなる。本実施例では、重みマップの数値は、撮像画像の重みを表す。重みを決定する際は、飽和影響マップを設定した信号値で規格化し、これを撮像画像の重みマップとする。飽和影響マップを規格化する信号値を変化させることで、ぼけ先鋭化効果と弊害のバランスを調整することも可能である。

撮像画像における輝度飽和領域の周辺は、それ以外の領域に対して、輝度飽和による被写体の情報の減衰があるため、ぼけの先鋭化（減衰した被写体情報の推定）の難度が高い。そのため、輝度飽和領域の周辺は、ぼけの先鋭化に伴う弊害（リンギングやアンダーシュートなど）が発生しやすい。この弊害を抑制するために、モデル出力と撮像画像とを合成する。この際、飽和影響マップに基づいて合成することにより、非飽和ぼけ像のぼけ先鋭化効果の低下を抑制しつつ、弊害が出やすい輝度飽和領域の周辺のみ撮像画像の重みを強くすることで弊害を抑制することができる。

続いてステップＳ２１２において、取得部１０３ｂは、撮像画像の明るさに関する情報、または撮像画像のシーンに関する情報を取得する。ここで、撮像画像の明るさに関する情報とは、撮像画像の信号値に関する統計量であって、撮像画像の信号値の平均値や中央値、分散、またはヒストグラムの少なくとも一つに基づく情報である。また、撮像画像の明るさに関する情報である撮像画像の信号値に関する統計量は、撮像画像全体に関するものでもよいし、撮像画像（または、後述の第３の画像）における分割領域毎の統計量を用いてよい。

撮像画像のシーンに関する情報とは、撮像画像のシーンの種類や撮像画像が撮影された際の撮像モードの情報である。ただし、撮像画像の明るさの違いが判別できるような、「日中」、「夜景」等のシーンの種類や「夜景撮像モード」等の撮像モードの情報である必要がある。撮像画像のシーンに関する情報は、撮像画像に対してシーン判定する（シーンの種類を判定する）ことで取得してもよいし、撮像画像に書き込まれたシーンの種類や撮影モード情報から取得してもよい。

本実施例では、撮像画像の明るさに関する情報として、撮像画像の平均信号値を取得する。ただし、撮像画像の平均信号値を取得する場合、撮像画像に飽和領域が多く存在すると、夜景のような暗い画像であっても平均信号値としては大きい値が取得され、明るい画像であると判定してしまう場合がある。したがって、撮像画像から飽和影響マップを除いた第３の画像の平均信号値を取得することが好ましい。第３の画像において、撮像画像で飽和していない領域の平均信号値を取得することで、撮像画像が明るいシーンなのか暗いシーンなのかを適切に判定することができる。

続いてステップＳ２１３において、先鋭化部１０３ｃは、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報に基づいて、撮像画像の重みマップを調整する。すなわち重みマップは、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と、撮像画像における飽和領域に基づく情報とに基づいて生成される。

撮像画像の明るさに関する情報として撮像画像（または第３の画像）の平均信号値を用いた場合、平均信号値が大きいほど（すなわち撮像画像（または第３の画像）が明るいほど）、撮像画像の重みが大きくなるように、重みマップを調整する。具体的には、平均信号値に対する重みマップの調整値との関係を一次関数として所持しておき、撮像画像の平均信号値に応じた調整値を取得して、重みマップに適用（乗算）する。

図８は、平均信号値に対する重みマップの調整値の説明図である。図８において、横軸は平均信号値、縦軸は重みマップの調整値をそれぞれ示す。例えば、図８に示されるような関係１２１から取得した平均信号値に対応する調整値を用いる。ただし、平均信号値に対する重みマップの調整値との関係はこれに限定されない。また、平均信号値を、撮像画像を分割した領域毎に取得した場合、各領域の平均信号値の分布を撮像画像の各画素に対応する平均信号値を表す平均信号値マップに変換し、各画素で平均信号値に応じた調整値を取得して、重みマップを調整してよい。

ステップＳ２０３にて撮像画像のシーンに関する情報を取得した場合には、例えば、撮像画像が暗い画像であるかに基づいて重みマップを調整する。例えば、撮像画像が明るい画像であれば重みマップをそのまま用いるようにし、夜景のように暗い画像であれば重みマップの値を半分に調整した重みマップを取得する。

なお、撮像画像の信号値に関する統計量として、撮像画像の信号値の平均値や中央値、分散、またはヒストグラムを取得した場合、統計量が大きいほど撮像画像の重みが大きくなるように、重みマップを調整する。例えば、撮像画像の信号値のヒストグラムを用いる場合には、ヒストグラムの重心やピークが高いほど撮像画像の重みが大きくなるように、重みマップを調整する。

図９（Ａ）は、明るいシーンである日中の撮像画像、図９（Ｂ）は図９（Ａ）の撮像画像に対する飽和影響マップを示す。図１０（Ａ）は、暗いシーンである夜景の撮像画像、図１０（Ｂ）は図１０（Ａ）の撮像画像に対する飽和影響マップを示す。図１１は、図９（Ｂ）に示される明るいシーンである日中の撮像画像の飽和影響マップに基づく重みを画像の平均信号値に応じて調整した重みマップであり、画像の平均信号値に応じて重みマップが大きく調整されている。重みマップを大きく調整することで、明るいシーンで目立つ弊害を抑制することができる。図１２は、図１０（Ｂ）に示される暗いシーンである夜景の撮像画像の飽和影響マップに基づく重みを画像の平均信号値に応じて調整した重みマップであり、画像の平均信号値に応じて重みマップが小さく調整されている。暗いシーンでは弊害が目立たないため、重みマップを小さく調整することで効果を保つことができる。

なお本実施例において、重みマップは飽和影響マップに基づいて生成されるため、飽和領域とその周辺において適用されるが、飽和影響マップに基づく重みマップ（第１の重みマップ）とは異なる非飽和領域についての第２の重みマップを用いてよい。また、飽和影響マップから算出される重みマップ（第１の重みマップ）に対して飽和領域についての第３の重みマップを適用してもよい。第２の重みマップや第３の重みマップを用いることで、飽和領域と非飽和領域それぞれにおいて強度の調整を行うことができる。その場合、重みマップは、（１－第１の重みマップ）×第２の重みマップ＋第１の重みマップ×調整値×第３の重みマップとして計算できる。さらに取得した重みマップをユーザの指示に応じて調整するようにしてもよい。例えば、重みマップ全体に係数をかけることで強度を調整する。

続いてステップＳ２１４において、先鋭化部（第２の生成手段）１０３ｃは、ステップＳ２１３で調整された重みマップを用いて、撮像画像とぼけ先鋭化画像（モデル出力、第１の画像）を加重平均し、強度調整画像２０５（第２の画像）を生成する。すなわち先鋭化部１０３ｃは、撮像画像と第１の画像と重みマップとに基づいて第２の画像を生成する。本実施例において、ぼけ先鋭化画像に対しては、全て１のマップから撮像画像の重みマップを減算した重みマップが用いられる。

以上の構成により、機械学習モデルを用いたぼけ先鋭化の際に、飽和領域周辺において明るさやシーンに応じて適切な補正効果の画像を生成することが可能な画像処理システムを提供することができる。

次に、本発明の実施例２における画像処理システムに関して説明する。本実施例では、ぼけの先鋭化を機械学習とは異なる手法である画像回復処理で行う方法について説明する。

まず、画像回復処理の概要について説明する。撮像画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮像画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ－１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタなどとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５－１）、（５－２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （
５－２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図１３および図１４を参照して、画像回復フィルタについて説明する。図１３および図１４は、画像回復フィルタの説明図である。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図１３の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図１３では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図１４に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図１５および図１６を参照して、画像回復の実空間と周波数空間での特性について説明する。図１５は、点像分布関数ＰＳＦの説明図であり、図１５（ａ）は画像回復前の点像分布関数ＰＳＦ、図１５（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図１６は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図１６（Ｍ））と位相成分ＰＴＦ（図１６（Ｐ））の説明図である。図１６（Ｍ）中の破線（ａ）は画像回復前のＭＴＦ、一点鎖線（ｂ）は画像回復後のＭＴＦを示す。また図１６（Ｐ）中の破線（ａ）は画像回復前のＰＴＦ、一点鎖線（ｂ）は画像回復後のＰＴＦを示す。図１５（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

また、収差による光学伝達関数（ＯＴＦ）は１つの撮像状態においても撮像光学系の像高（画像の位置）に応じて変化するため、画像回復フィルタは像高に応じて変更して使用する必要がある。一方、Ｆナンバーが大きくなるに従って影響が支配的になる回折による光学伝達関数（ＯＴＦ）は、光学系のビネッティングの影響が小さい場合、像高に対して一律なＯＴＦとして扱うことができる。

画像回復処理の補正対象として、収差を含まず、回折（回折ぼけ）を対象とする場合には、画像回復フィルタは、絞り値と光の波長のみに依存し、像高（画像の位置）に依存しない。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができる。すなわち回折ぼけを補正対象とする画像回復フィルタは、絞り値に応じて発生する回折ぼけによる光学伝達関数に基づいて生成される。波長については、複数の波長での光学伝達関数を計算し、想定する光源の分光や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長で計算を行ってもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

したがって、回折のみを補正対象とする場合、絞り値に依存する画像回復フィルタを予め複数保持しておき、絞り値の撮影条件に応じて画像内を一律の（一定の）画像回復フィルタを用いて処理することができる。また、画素開口の形状に起因した開口劣化成分や光学ローパスフィルタの特性も考慮することがより好ましい。

次に、図１７を参照して、本実施例における画像処理システム２００について説明する。図１７は、画像処理システム２００のブロック図である。なお、画像処理システム２００の外観図は、実施例１にて説明した図３と同様である。画像処理システム２００は、有線または無線のネットワークで接続された画像処理装置２０３を有する。画像処理装置２０３には、有線または無線によって、撮像装置２０２、表示装置２０４、記録媒体２０５、および出力装置２０６が接続される。

撮像装置２０２を用いて被写体空間を撮像した撮像画像は、画像処理装置２０３に入力される。撮像画像には、撮像装置２０２内の光学系２０２ａによる収差および回折と、撮像素子２０２ｂの光学ローパスフィルタと、によってぼけが発生しており、被写体の情報が減衰している。画像処理装置２０３は、撮像画像に対して画像回復処理によるぼけ先鋭化を行い、ぼけ先鋭化画像を生成する。また画像処理装置２０３は、飽和影響マップを取得する。なお、飽和影響マップの詳細は後述する。また画像処理装置２０３は、撮像画像とぼけ先鋭化画像の加重平均を取ることで、ぼけ先鋭化の強度を調整する機能を有する。ユーザは、表示部２０４に表示された画像を確認しながら、ぼけ先鋭化の強度調整を行える。強度調整が施されたぼけ先鋭化画像は、記憶部２０３ａまたは記録媒体２０５に保存され、必要に応じてプリンタなどの出力装置２０６に出力される。なお、撮像画像は、グレースケールでも、複数の色成分を有していてもよい。また、未現像のＲＡＷ画像でも、現像後の画像でもよい。

次に、図１８を参照して、画像処理装置２０３で実行される、撮像画像のぼけ先鋭化に関して説明する。図１８は、ぼけ先鋭化画像の生成のフローチャートである。画像処理装置２０３は、記憶部２０３ａ、取得部２０３ｂ、および先鋭化部２０３ｃを有し、いずれかの部材が以下の各ステップを実行する。

まずステップＳ３０１において、取得部２０３ｂは、撮像画像を取得する。続いてステップＳ３０２において、画像処理装置２０３は、後述の画像回復処理に用いる画像回復フィルタを取得する。本実施例では、撮影条件に基づいて収差情報（光学情報）を取得し、収差情報に基づいて画像回復フィルタを取得する例について説明する。

まず、画像処理装置は、撮像装置が撮像によって撮像画像を生成した際の撮影条件（撮影条件情報）を取得する。撮影条件は、前述したように、撮像光学系の焦点距離、絞り値（Ｆ値）、および、撮影距離のほか、撮像装置の識別情報（カメラＩＤ）等を含む。また、撮像光学系の交換が可能な撮像装置においては、撮影条件に、撮像光学系（交換レンズ）の識別情報（レンズＩＤ）を含めてもよい。撮影条件情報は、前述したように撮像画像に付帯された情報として取得してもよいし、有線または無線による通信や記憶媒体を介して取得してもよい。

続いて、画像処理装置２０３は、撮影条件に適した収差情報を取得する。本実施例において、収差情報は光学伝達関数ＯＴＦである。画像処理装置は、予め保持された複数の光学伝達関数ＯＴＦから、撮影条件に応じて適切な光学伝達関数ＯＴＦを選択して取得する。また、絞り値、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、その撮影条件に対応する光学伝達関数ＯＴＦを、予め保持されている他の撮影条件の光学伝達関数ＯＴＦから補間処理により生成することもできる。この場合、保持する光学伝達関数ＯＴＦのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。

本実施例において、画像処理装置２０３は、収差情報として光学伝達関数ＯＴＦを取得するが、これに限定されるものではない。光学伝達関数ＯＴＦに代えて、点像分布関数ＰＳＦ等の収差情報を取得してもよい。また本実施例において、画像処理装置は、収差情報を所定の関数へのフィッティングによって近似した係数データを取得し、係数データから光学伝達関数ＯＴＦや点像分布関数ＰＳＦを再構成してもよい。例えば、光学伝達関数ＯＴＦはＬｅｇｅｎｄｒｅ多項式を用いてフィッティングを行えばよい。また、Ｃｈｅｂｕｓｈｅｖ多項式など他の関数を用いてフィッティングすることもできる。また、本実施例において、光学伝達関数ＯＴＦは撮像画像内の複数の位置に離散的に配置する。

続いて、画像処理装置２０３は、光学伝達関数ＯＴＦを画像回復フィルタに変換する、すなわち複数の位置に配置された光学伝達関数ＯＴＦを用いて画像回復フィルタを生成する。画像回復フィルタは、光学伝達関数ＯＴＦに基づいて周波数空間での回復フィルタ特性を作成し、逆フーリエ変換により実空間のフィルタ（画像回復フィルタ）に変換することにより生成される。

また、画像回復処理の補正対象として、収差を含まず、回折（回折ぼけ）等、像高（画像の位置）に依存しないぼけを補正対象とする場合には、一つの画像内について一律の（一定の）光学伝達関数ＯＴＦや画像回復フィルタを用いてよい。
以上、画像回復フィルタの生成および取得について説明したが、これに限らず、あらかじめ画像回復フィルタを生成して保持しておき、撮影条件に基づいて画像回復フィルタを取得するようにしてもよい。

続いてステップＳ３０３において、先鋭化部２０３ｃは、撮像画像に対して画像回復処理を行い、撮像画像のぼけが先鋭化されたぼけ先鋭化画像（第１の画像）を生成する。画像回復処理は、ステップＳ３０２で取得した画像回復フィルタに基づいて行われる。

なお、画像回復フィルタのコンボリューションの際に、画像回復フィルタが配置されている位置以外の画素は、近傍に配置された複数のフィルタを用いて補間生成することもできる。このとき、画像回復フィルタは、撮像画像の第１の位置における第１の画像回復フィルタ、および、撮像画像の第２の位置における第２の画像回復フィルタを有する。第１の画像回復フィルタは、展開された光学伝達関数を用いて生成される。第２の画像回復フィルタは、第１の画像回復フィルタを用いて補間することにより生成される。このような補間処理を行うことにより、例えば１画素ごとに画像回復フィルタを変更することができる。

続いてステップＳ３０４において、先鋭化部２０３ｃは、飽和影響マップを推定する。本実施例では、撮像画像における輝度飽和領域および撮像光学系の収差情報に基づいて飽和影響マップを生成する。つまり、撮像画像における輝度飽和領域を表すマップである輝度飽和マップに対して、撮像光学系のぼけを示すＰＳＦを畳み込むことによって飽和影響マップを推定する。ただし、輝度飽和を起こした領域（輝度飽和領域）では、被写体空間の構造に関する情報が失われているため、輝度飽和領域の本来の信号値を推定して得られた輝度飽和マップを用いることが好ましい。

次に、画像処理装置２０３は、撮像画像とぼけ先鋭化画像とを合成する。撮像画像とぼけ先鋭化画像の合成については、図７のフローチャートと同様であるため、詳細な説明は省略する。なお本実施例では、ぼけ先鋭化の手法として画像回復処理を用いたが、これに限定されるものではなく、シャープネスやアンシャープマスク等の種々の先鋭化手法を用いてよい。

以上の構成により、ぼけ先鋭化の際に、飽和領域周辺において明るさやシーンに応じて適切な補正効果の画像を生成することが可能な画像処理システムを提供することができる。

次に、本発明の実施例３における画像処理システム３００に関して説明する。図１９は、画像処理システム３００のブロック図である。図２０は、画像処理システム３００の外観図である。画像処理システム３００は、訓練装置３０１、撮像装置３０２、および画像処理装置３０３を有する。訓練装置３０１と画像処理装置３０３、画像処理装置３０３と撮像装置３０２はそれぞれ、有線または無線のネットワークで接続される。撮像装置３０２は、光学系３２１、撮像素子３２２、記憶部３２３、通信部３２４、および表示部３２５を有する。撮像画像は、通信部３２４を介して画像処理装置３０３へ送信される。

画像処理装置３０３は、通信部３３２を介して撮像画像を受信し、記憶部３３１に記憶された機械学習モデルの構成とウエイトの情報を用いて、ぼけ先鋭化を行う。機械学習モデルの構成とウエイトの情報は、訓練装置３０１によって訓練されたものであり、予め訓練装置３０１から取得され、記憶部３３１に記憶されている。また画像処理装置３０３は、ぼけ先鋭化の強度を調整する機能を有する。撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力）および強度が調整された加重平均画像は、撮像装置３０２に送信され、記憶部３２３に記憶、表示部３２５に表示される。

訓練装置３０１で行う学習データの生成とウエイトの学習（学習フェーズ）と、画像処理装置３０３で実行される訓練済みの機械学習モデルを用いた撮像画像のぼけ先鋭化（推定フェーズ）および撮像画像とモデル出力の合成は実施例１と同様のため、省略する。

以上の構成により、機械学習モデルを用いたぼけ先鋭化の際に、飽和領域周辺において明るさやシーンに応じて適切な補正効果の画像を生成することが可能な画像処理システムを提供することができる。

次に、本発明の実施例４における画像処理システム４００に関して説明する。図２１は、画像処理システム４００のブロック図である。図２２は、画像処理システム４００の外観図である。画像処理システム４００は、学習装置４０１、レンズ装置４０２、撮像装置４０３、制御装置（第１の装置）４０４、画像推定装置（第２の装置）４０５、およびネットワーク４０６、４０７を有する。学習装置４０１および画像推定装置４０５は、例えばサーバである。制御装置４０４は、パーソナルコンピュータやモバイル端末などのユーザが操作する機器である。学習装置４０１と画像推定装置４０５、および、制御装置４０４と画像推定装置４０５はそれぞれ、互いに通信可能である。

学習装置４０１は、記憶部４０１ａ、取得部４０１ｂ、演算部４０１ｃ、および更新部４０１ｄを有し、レンズ装置４０２と撮像装置４０３を用いて撮像された撮像画像からぼけの先鋭化をする機械学習モデルのウエイトを学習する。なお学習方法は、実施例１と同様のため省略する。撮像装置４０３は撮像素子４０３ａを有し、撮像素子４０３ａがレンズ装置４０２の形成した光学像を光電変換して撮像画像を取得する。レンズ装置４０２と撮像装置４０３とは着脱可能であり、互いに複数種類と組み合わることが可能である。

制御装置４０４は、通信部４０４ａ、表示部４０４ｂ、記憶部４０４ｃ、および取得部４０４ｄを有し、有線または無線で接続された撮像装置４０３から取得した撮像画像に対して、実行する処理をユーザの操作に従って制御する。或いは、撮像装置４０３で撮像した撮像画像を予め記憶部４０４ｃに記憶しておき、該撮像画像を読み出してもよい。

画像推定装置４０５は、通信部４０５ａ、取得部４０５ｂ、記憶部４０５ｃ、および先鋭化部４０５ｄを有する。画像推定装置４０５は、ネットワーク４０６を介して接続された制御装置４０４の要求によって、撮像画像のぼけの先鋭化処理を実行する。画像推定装置４０５は、ネットワーク４０６を介して接続された学習装置４０１から、学習済みのウエイトの情報をぼけ先鋭化の推定時または予め取得し、撮像画像のぼけ先鋭化の推定に用いる。ぼけ先鋭化の推定後の推定画像は、先鋭化の強度調整が行われた後に再び制御装置４０４へ伝送されて、記憶部４０４ｃに記憶され、表示部４０４ｂに表示される。なお、学習装置４０１で行う学習データの生成とウエイトの学習（学習フェーズ）は実施例１と同様のため、省略する。

次に、図２３を参照して、制御装置４０４と画像推定装置４０５で実行される撮像画像のぼけ先鋭化に関して説明する。図２３は、モデル出力および先鋭化の強度調整のフローチャートである。

まずステップＳ４０１において、取得部４０４ｄは、撮像画像とユーザが指定した先鋭化の強度を取得する。続いてステップＳ４０２において、通信部４０４ａは、画像推定装置４０５へ撮像画像とぼけ先鋭化の推定処理の実行に関する要求を送信する。

続いてステップＳ４０３において、通信部４０５ａは、送られてきた撮像画像と処理の要求を受信し、取得する。続いてステップＳ４０４において、取得部４０５ｂは、撮像画像に対応する学習済みのウエイトの情報を記憶部４０５ｃから取得する。ウエイトの情報は、予め記憶部４０１ａから読み出され、記憶部４０５ｃに記憶されている。続いてステップＳ４０５において、先鋭化部４０５ｄは、機械学習モデルを用いて、撮像画像から、撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力、第１の画像）を生成する。機械学習モデルは、訓練時と同様、図１で表される構成である。訓練時と同様に、撮像画像の輝度飽和した領域を表す輝度飽和マップを生成して入力し、飽和影響マップとモデル出力を生成する。

続いてステップＳ４０６において、先鋭化部４０５ｄは、重みマップを生成する。重みマップの生成方法および、後述する撮像画像とぼけ先鋭化画像（モデル出力）を合成は、実施例１と同様である。ユーザが指定した先鋭化の強度に合わせて、重みマップを調整することで強度の調整が可能である。例えば、図８に示される平均信号値と調整値の関係式を変更することで飽和領域の強度を調整することができる。あるいは、非飽和領域の強度に関する第２の重みマップや飽和領域の強度に関する第３の重みマップを用いる場合には、第２、第３の重みマップを調整することで非飽和領域や飽和領域の強度を調整するようにしてもよい。また、重みマップ全体を調整するようにしてもよい。

続いてステップＳ４０７において、先鋭化部４０５ｄは、重みマップに基づいて、撮像画像とぼけ先鋭化画像（モデル出力）を合成する。続いてステップＳ４０８において、通信部４０５ａは、合成画像を制御装置４０４へ送信する。続いてステップＳ４０９において、通信部４０４ａは、送信されてきた合成画像を取得する。
以上の構成により、機械学習モデルを用いたぼけ先鋭化の際に、飽和領域周辺において明るさやシーンに応じて適切な補正効果の画像を生成することが可能な画像処理システムを提供することができる。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、画像の明るさやシーンに応じて適切なぼけ補正が可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 画像処理装置
１０３ｂ 取得部（取得手段）
１０３ｃ 先鋭化部（第１の生成手段、第２の生成手段）

本発明の一側面としての画像処理方法は、撮像により得られた撮像画像を取得する工程と、前記撮像画像のぼけ成分を補正することで第１の画像を生成する工程と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する工程とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成される。
本発明の他の側面としての画像処理装置は、撮像により得られた撮像画像を取得する取得手段と、前記撮像画像のぼけ成分を補正することで第１の画像を生成する第１の生成手段と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成される。
本発明の他の側面としての画像処理システムは、互いに通信可能な第１の装置と第２の装置とを有する画像処理システムであって、前記第１の装置は、撮像により得られた撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、前記第２の装置は、前記要求を受信する受信手段と、前記撮像画像を取得する取得手段と、前記要求に基づいて、前記撮像画像のぼけ成分を補正することで第１の画像を生成する第１の生成手段と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成される。

実施例の具体的な説明を行う前に、本発明の要旨を説明する。本発明は、光学系（撮像光学系）を用いて撮像された撮像画像から、光学系に起因するぼけを先鋭化した推定画像（ぼけ先鋭化画像、第１の画像）を生成する。推定画像は、例えば機械学習モデルを用いて生成される。そして、撮像画像の明るさに関する情報または撮像画像のシーンに関する情報と、撮像画像における飽和領域（輝度飽和領域）に基づく情報（飽和領域に関する情報）とに基づいて重みマップ（重み情報）を生成し、撮像画像と推定画像とを加重平均する。ここで、光学系に起因するぼけとは、収差、回折、デフォーカスによるぼけや、光学ローパスフィルタによる作用、撮像素子の画素開口劣化などを含む。

本発明の一側面としての画像処理方法は、撮像により得られた撮像画像を取得する工程と、前記撮像画像のぼけ成分を補正することで第１の画像を生成する工程と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する工程とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記ぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す情報である。
本発明の他の側面としての画像処理装置は、撮像により得られた撮像画像を取得する取得手段と、前記撮像画像のぼけ成分を補正することで第１の画像を生成する第１の生成手段と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記ぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す情報である。
本発明の他の側面としての画像処理システムは、互いに通信可能な第１の装置と第２の装置とを有する画像処理システムであって、前記第１の装置は、撮像により得られた撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、前記第２の装置は、前記要求を受信する受信手段と、前記撮像画像を取得する取得手段と、前記要求に基づいて、前記撮像画像のぼけ成分を補正することで第１の画像を生成する第１の生成手段と、前記撮像画像と前記第１の画像と重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、前記重み情報は、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記ぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す情報である。

Claims (19)

1. 撮像光学系を通して得られた撮像画像を取得する工程と、
   前記撮像画像のぼけ成分を補正して第１の画像を生成する工程と、
   前記撮像画像と前記第１の画像と重みマップとに基づいて第２の画像を生成する工程と、を有し、
   前記重みマップは、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に基づく情報とに基づいて生成されることを特徴とする画像処理方法。
2. 前記第１の画像を生成する工程において、前記撮像画像を機械学習モデルに入力し、前記撮像画像のぼけ成分を補正して前記第１の画像を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記撮像画像の明るさに関する情報は、前記撮像画像の信号値に関する統計量であることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記撮像画像のシーンに関する情報は、前記撮像画像のシーンの種類または前記撮像画像が撮影された際の撮像モードの情報であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記飽和領域に基づく情報は、前記撮像画像における前記飽和領域の被写体が、前記ぼけ成分によって広がった信号値の大きさと範囲を表す飽和影響マップであることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
6. 前記飽和影響マップは、前記撮像画像を機械学習モデルに入力することにより推定されることを特徴とする請求項５に記載の画像処理方法。
7. 前記飽和影響マップは、前記撮像画像における前記飽和領域と前記撮像光学系の光学情報とに基づいて推定されることを特徴とする請求項５に記載の画像処理方法。
8. 前記重みマップは、前記飽和影響マップと、前記撮像画像から前記飽和影響マップを除いた第３の画像とに基づいて生成されることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理方法。
9. 前記重みマップは、前記第３の画像における複数の画素のうち前記撮像画像において飽和していない画素の信号値に基づいて決定されることを特徴とする請求項８に記載の画像処理方法。
10. 前記重みマップは、前記第３の画像における分割領域毎の信号値に基づいて決定されることを特徴とする請求項８または９に記載の画像処理方法。
11. 前記統計量は、平均値、中央値、分散、またはヒストグラムの少なくとも一つであることを特徴とする請求項３に記載の画像処理方法。
12. 前記重みマップは、前記第３の画像の明るさが明るいほど前記撮像画像の重みが大きいことを特徴とする請求項８乃至１１のいずれか一項に記載の画像処理方法。
13. 前記第３の画像の明るさは、前記第３の画像の平均信号値に基づいて決定されることを特徴とする請求項１２に記載の画像処理方法。
14. 前記重みマップは、前記撮像画像の明るさが明るいほど前記撮像画像の重みが大きいことを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理方法。
15. 前記ぼけ成分は、前記撮像光学系の光学情報に基づくことを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理方法。
16. 前記第２の画像を生成する工程において、前記重みマップを用いて前記撮像画像と前記第１の画像とを加重平均して前記第２の画像を生成することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理方法。
17. 撮像光学系を通して得られた撮像画像を取得する取得手段と、
    前記撮像画像のぼけ成分を補正して第１の画像を生成する第１の生成手段と、
    前記撮像画像と前記第１の画像と重みマップとに基づいて第２の画像を生成する第２の生成手段と、を有し、
    前記重みマップは、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に基づく情報とに基づいて生成されることを特徴とする画像処理装置。
18. 互いに通信可能な第１の装置と第２の装置とを有する画像処理システムであって、
    前記第１の装置は、撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、
    前記第２の装置は、前記要求を受信する受信手段と、
    前記撮像画像を取得する取得手段と、
    前記要求に基づいて、前記撮像画像のぼけ成分を補正して第１の画像を生成する第１の生成手段と、
    前記撮像画像と前記第１の画像と重みマップとに基づいて第２の画像を生成する第２の生成手段と、を有し、
    前記重みマップは、前記撮像画像の明るさに関する情報または前記撮像画像のシーンに関する情報と、前記撮像画像における飽和領域に基づく情報に基づいて生成されることを特徴とする画像処理システム。
19. 請求項１乃至１６のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
    

Images