JP2019212139A

JP2019212139A - 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体

Info

Publication number: JP2019212139A
Application number: JP2018109126A
Authority: JP
Inventors: 智暁井上; Tomoaki Inoue; 法人日浅; Norito Hiasa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2019-12-12
Anticipated expiration: 2038-06-07
Also published as: JP7129229B2; WO2019235258A1

Abstract

【課題】撮影画像から高精度に焦点外れ像の変形を推定または補正することが可能な画像処理方法を提供する。【解決手段】画像処理方法は、焦点外れ像の変形が生じている入力画像の少なくとも一部の領域を取得する工程と、焦点外れ像の変形に関して予め学習された学習情報を取得する工程と、学習情報を用いて領域における焦点外れ像の変形を推定または補正する工程とを有し、焦点外れ像の変形を推定または補正する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、領域に対して、学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、中間データに対して、学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程とを含む。【選択図】図１

Description

本発明は、画像処理方法に関する。

一般に、撮像装置の光学性能は合焦物体の結像性能で評価されるが、用途によっては、焦点外れ像（ボケ像）の見え方が撮像装置の光学性能にとって重要な評価指標になる場合がある。特に、デジタルスチルカメラ、ビデオカメラ、または、ＴＶカメラ等の撮像装置では、焦点外れ像の見え方が重要視される傾向にある。

特許文献１には、絞りの近傍にアポダイゼーションフィルタを備えた光学系が開示されている。一般に、広角から中望遠の撮像光学系においては、軸外光束のサジタルハロが画面周辺部における焦点外れ像の強度ムラを引き起こす。アポダイゼーションフィルタは、このようなサジタルハロの除去に効果的である。

特開２０１６−１４５８６２号公報

Ｙ．ＬｅＣｕｎ，ｅｔａｌ．， "Ｇｒａｄｉｅｎｔ−ｂａｓｅｄＬｅａｒｎｉｎｇＡｐｐｌｉｅｄｔｏＤｏｃｕｍｅｎｔＲｅｃｏｇｎｉｔｉｏｎ"，Ｐｒｏｃ．ｏｆＴｈｅＩＥＥＥ，１９９８．Ｇ．Ｅ．Ｈｉｎｔｏｎ，ｅｔａｌ．， "Ａｆａｓｔｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｆｏｒｄｅｅｐｂｅｌｉｅｆｎｅｔｓ"，ＮｅｕｒａｌＣｏｍｐｕｔ．２００６Ｊｕｌ；１８（７）：１５２７−５４．Ｉ．Ｊ．Ｇｏｏｄｆｅｌｌｏｗ，ｅｔａｌ．， "Ｍａｘｏｕｔｎｅｔｗｏｒｋｓ"，ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１３０２．４３８９（２０１３）．Ｇ．Ｅ．Ｈｉｎｔｏｎ＆Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ（２００６−０７−２８）． "ＲｅｄｕｃｉｎｇｔｈｅＤｉｍｅｎｓｉｏｎａｌｉｔｙｏｆＤａｔａｗｉｔｈＮｅｕｒａｌＮｅｔｗｏｒｋｓ"，Ｓｃｉｅｎｃｅ３１３（５７８６）：５０４−５０７．Ｎ．Ｓｒｉｖａｓｔａｖａ，ｅｔａｌ．， "Ｄｒｏｐｏｕｔ：Ａｓｉｍｐｌｅｗａｙｔｏｐｒｅｖｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｒｏｍｏｖｅｒｆｉｔｔｉｎｇ"，ＴｈｅＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，１５（１）：１９２９−１９５８，２０１４．Ａ．Ｋｒｉｚｈｅｖｓｋｙ， "ＬｅａｒｎｉｎｇＭｕｌｔｉｐｌｅＬａｙｅｒｓｏｆＦｅａｔｕｒｅｓｆｒｏｍＴｉｎｙＩｍａｇｅｓ"，２００９，ｈｔｔｐｓ：／／ｗｗｗ．ｃｓ．ｔｏｒｏｎｔｏ．ｅｄｕ／〜ｋｒｉｚ／ｌｅａｒｎｉｎｇ−ｆｅａｔｕｒｅｓ−２００９−ＴＲ．ｐｄｆ

しかしながら、特許文献１に開示されたアポダイゼーションフィルタを備えた光学系では、カダディオプトリックレンズ（反射望遠レンズ）で生じるリングボケ等の口径食により生じる焦点外れ像の形状の補正に対応できない。

そこで本発明は、撮影画像から高精度に焦点外れ像の変形を推定または補正することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理方法は、焦点外れ像の変形が生じている入力画像の少なくとも一部の領域を取得する工程と、前記焦点外れ像の変形に関して予め学習された学習情報を取得する工程と、前記学習情報を用いて前記領域における前記焦点外れ像の変形を推定または補正する工程とを有し、前記焦点外れ像の変形を推定または補正する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程とを含む。

本発明の他の側面としての画像処理装置は、焦点外れ像の変形に関する学習情報を記憶する記憶部と、前記学習情報を用いて入力画像の少なくとも一部の領域における前記焦点外れ像の変形を推定または補正する画像処理部とを有し、前記画像処理部は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成し、前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する。

本発明の他の側面としての撮像装置は、被写体空間の像を入力画像として取得する撮像部と、前記画像処理装置とを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮影画像から高精度に焦点外れ像の変形を推定または補正することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

実施例１および実施例２における焦点外れ像を補正するネットワーク構造を示す図である。実施例１および実施例３における撮像装置のブロック図である。実施例１および実施例３における撮像装置の外観図である。実施例１における焦点外れ像の補正処理を示すフローチャートである。実施例１における学習情報の学習を示すフローチャートである。実施例２における画像処理システムのブロック図である。実施例２における画像処理システムの外観図である。実施例２における焦点外れ像の補正処理を示すフローチャートである。実施例３における焦点外れ像の変形の推定処理を示すフローチャートである。実施例３における焦点外れ像の変形を推定するネットワーク構造を示す図である。実施例３における学習情報の学習を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

各実施例の具体的な説明へ入る前に、本発明の要旨を述べる。本発明では、ディープラーニング（深層学習）を用いて、撮影画像から焦点外れ像の変形（変形した焦点外れ像の形状）を推定または補正する。一般に撮像光学系は、立体被写体の撮影に適用することができる。ここで、「立体被写体」とは、光軸方向の距離が異なる複数の部分からなる被写体であり、特に、撮影時に撮像光学系の焦点面から被写界深度以上離れた点を持つ被写体のことである。このとき、結像面には焦点外れ像が形成され、焦点外れ像の直径が撮像光学系のイメージサークル半径に対して約１〜２％よりも大きくなると、焦点外れ像として認識できるようになる。ここで、「イメージサークル」とは、レンズの有効径内を通った光線が結像する円である。

本実施形態の光学系をデジタルスチルカメラやビデオカメラの撮像光学系として使用する場合、結像面はＣＣＤセンサやＣＭＯＳセンサ等の半導体撮像素子（光電変換素子）の撮像面となる。なお、前述のイメージサークル半径は、撮像装置においては撮像面の最大像高としてもよい。また、一般的な撮像光学系では、軸外光束に口径食が見られる。「口径食」とは、光束の一部がケラレることを意味しており、ビネッティングとも呼ばれる。口径食の影響がない焦点外れ像は、絞りの形状を反映した形状となり、一般的には円形となる。口径食により、一般的な撮像光学系では軸外で円が欠けた様な形状となり、絞り中央部が遮蔽される反射望遠レンズではリング状の形状（リングボケ）となる。

各実施例によれば、焦点外れ像の状態が異なる画像を用いて、その対応関係をディープラーニングによって学習することにより、焦点外れ像の変形（変形した焦点外れ像の形状）を高精度に推定または補正することができる。すなわち各実施例によれば、理想的な焦点外れ像の形状から光学系等の撮影条件により変形した焦点外れ像の形状を高精度に推定することが可能となる。また各実施例によれば、変形した焦点外れ像の形状を理想的な焦点外れ像の形状に高精度に補正する（理想的な焦点外れ像の形状に近づける）ことが可能となる。ここで、理想的な焦点外れ像の形状は、光学系の口径食や収差等の影響がない光学系を用いて取得された焦点外れ像の形状であり、例えば円形形状である。一方、光学系の口径食や収差等の影響により変形した焦点外れ像の形状は、例えばリング形状である。

まず、図２および図３を参照して、本発明の実施例１における撮像装置について説明する。図２は、撮像装置１００のブロック図である。図３は、撮像装置１００の外観図である。本実施例において、撮像装置１００は、画像処理方法を実行し、焦点外れ像の変形（光学系の口径食や収差等の影響により変形した焦点外れ像の形状）をディープラーニングにより補正する。

撮像装置１００は、被写体空間の像を撮影画像（入力画像）として取得する撮像部１０１を有する。撮像部１０１は、被写体空間から入射する光を集光する結像光学系１０１ａと、複数の画素を有する撮像素子１０１ｂとを有する。撮像素子１０１ｂは、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。

画像処理部１０２は、撮影画像（入力画像）に対して、焦点外れ像（焦点外れ像の変形）を補正する。画像処理部１０２は、学習部１０２ａと補正部１０２ｂとを有する。記憶部１０３は、画像処理部１０２による焦点外れ像（焦点外れ像の変形）を補正する際に用いられる学習情報（焦点外れ像の変形に関して予め学習された学習情報）を記憶している。この処理の詳細については後述する。画像処理部１０２により焦点外れ像の変形が補正された画像等の出力画像は、液晶ディスプレイなどの表示部１０４に表示されるか、または、記録媒体１０５に保存される。ただし、撮影画像を記録媒体１０５に保存し、任意のタイミングで焦点外れ像の補正処理を行ってもよい。撮影画像は、静止画だけでなく動画であってもよい。この場合、各フレームに対して焦点外れ像の補正処理を行う。以上の一連の制御は、システムコントローラ１０６により行われる。

次に、図４を参照して、画像処理部１０２による焦点外れ像の補正処理について説明する。画像処理部１０２は、焦点外れ像の補正処理の際に、事前に学習された学習情報を用いるが、この学習の詳細については後述する。図４は、焦点外れ像の補正処理を示すフローチャートである。図４の各ステップは、主に、画像処理部１０２の補正部１０２ｂにより実行される。

まずステップＳ１０１において、画像処理部１０２（補正部１０２ｂ）は、焦点外れ像の変形が生じた撮影画像（入力画像）と学習情報とを取得する。ここで、焦点外れ像の変形とは、理想的な焦点外れ像に対して形状や輝度分布が異なっている状態を意味する。学習情報とは、撮影画像と焦点外れ像（焦点外れ像の変形）が補正された画像とを結び付けるために予め学習された情報である。続いてステップＳ１０２において、補正部１０２ｂは、撮影画像から、撮影画像の少なくとも一部の領域（部分領域）を取得する。焦点外れ像の補正処理は、この領域（部分領域）を単位として（部分領域ごとに）行われる。

続いてステップＳ１０３において、補正部１０２ｂは、学習情報を用いて部分領域から焦点外れ像が補正された部分領域である補正部分領域を生成する。ここで、図１を参照して、焦点外れ像の補正処理について詳述する。図１は、ディープラーニングの一つであるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）のネットワーク構造を示している。ただし、ディープラーニングとして、ＣＮＮ以外の手法、例えばＤＢＮ（ＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋ）を用いても構わない。ＣＮＮおよびＤＢＮの詳細はそれぞれ、非特許文献１および非特許文献２に説明されている。

ＣＮＮは、複数の層構造になっており、各層で学習情報を用いた線型変換と非線型変換とが実行される。ｎを１からＮまでの整数とするとき、ｎ番目の層を第ｎ層、第ｎ層における線型変換と非線型変換とをそれぞれ、第ｎ線型変換と第ｎ非線型変換と呼称する。ただし、Ｎは２以上の整数である。部分領域２０１に関しては、第１層において、複数のフィルタ２０２のそれぞれとのコンボリューション（複数の線型関数による第１線型変換）が実行される。その後、活性化関数（ＡｃｔｉｖａｔｉｏｎＦｕｎｃｔｉｏｎ）と呼ばれる非線型関数を用いて変換（第１非線型変換）が実行される。図１において、活性化関数をＡＦとして示している。また、部分領域２０１が複数枚描画されているのは、入力画像（撮影画像）が複数のチャンネルを有するためである。本実施例において、部分領域はＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３チャンネルを有する。ただし、チャンネルの数はこれに限定されるものではない。後述のように、複数の撮影画像が入力された場合、部分領域は、入力された撮影画像に対応する数のチャンネル数を有していてもよい。また、部分領域が複数のチャンネルを有する場合でも、１チャンネルごとに個別にＣＮＮへ入力しても構わない。

フィルタ２０２は複数存在する。補正部１０２ｂは、複数のフィルタ２０２のそれぞれと部分領域２０１とのコンボリューションを個別に算出する。フィルタ２０２の係数は、学習情報に基づいて決定される。学習情報は、フィルタ２０２の係数（フィルタ係数）そのもの、または、フィルタ２０２を所定の関数でフィッティングした際の係数でもよい。フィルタ２０２のそれぞれのチャンネル数は、部分領域２０１の数と一致する。部分領域２０１のチャンネル数が２以上の場合、３次元フィルタとなる（３次元目がチャンネル数を表す）。また、コンボリューションの結果に対して、学習情報から決定される定数（負もとり得る）を加算してもよい。

活性化関数ｆ（ｘ）の例として、以下の式（１）〜（３）が挙げられる。

式（１）はシグモイド関数、式（２）はハイパボリックタンジェント関数、式（３）はＲｅＬＵ（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ）と呼ばれる。式（３）中のｍａｘは、引数のうち最大値を出力するＭＡＸ関数を表す。式（１）〜（３）に示される活性化関数ｆ（ｘ）は、全て単調増加関数である。また、活性化関数としてＭａｘｏｕｔを使用してもよい。Ｍａｘｏｕｔは、第ｎ線型変換の出力である複数の画像のうち、各画素で最大値である信号値を出力するＭＡＸ関数である。Ｍａｘｏｕｔの詳細は、非特許文献３に説明されている。

図１において、第１線型変換および第１非線型変換が施された部分領域を、第１変換部分領域２０３と呼称する。第１変換部分領域２０３の各チャンネル成分は、部分領域２０１と複数のフィルタ２０２のそれぞれとのコンボリューションから生成される。このため、第１変換部分領域２０３のチャンネル数は、フィルタ２０２の数と同じになる。

第２層では、第１変換部分領域２０３に対して、第１層と同様に学習情報から決定される複数のフィルタ２０４とのコンボリューション（第２線型変換）と、活性化関数による非線型変換（第２非線型変換）とを行う。第２層で用いられるフィルタ２０４は、一般的に、第１層で用いられるフィルタ２０２と同一ではない。フィルタ２０４のサイズや数も、フィルタ２０４と一致しなくてもよい。ただし、フィルタ２０４のチャンネル数と第１変換部分領域２０３のチャンネル数とは互いに一致する。補正部１０２ｂは、同様の演算を第Ｎ層まで繰り返す（第ｎ線型変換および第ｎ非線型変換（ｎ＝１〜Ｎ）を実行する）ことにより、中間データ２１０を取得する。

最後に、第Ｎ＋１層において、中間データ２１０と複数のフィルタ２１１のそれぞれとのコンボリューションに定数を加算すること（第Ｎ＋１線型変換）により、焦点外れ像が補正された補正部分領域２１２が取得される。ここで用いられるフィルタ２１１および定数もそれぞれ、学習情報に基づいて決定される。補正部分領域２１２のチャンネル数は、部分領域２０１と同じである。このため、フィルタ２１１の数も部分領域２０１のチャンネル数と同じである。補正部分領域２１２の各チャンネルの成分は、中間データ２１０とフィルタ２１１のそれぞれ（フィルタ２１１が一つの場合もある）とのコンボリューションを含む演算から求められる。なお、部分領域２０１と補正部分領域２１２とのサイズは互いに一致しなくてもよい。コンボリューションの際に、部分領域２０１の外側にはデータが存在しないため、データの存在する領域のみで演算すると、コンボリューション結果はサイズが小さくなる。ただし、周期境界条件などを設定することにより、サイズを保つこともできる。

ディープラーニングが高い性能を発揮できる理由は、非線型変換を多層構造によって何度も実行することにより、高い非線型性が得られるためである。仮に、非線型変換を担う活性化関数が存在せず、線型変換のみでネットワークが構成されていた場合、いくら多層にしてもそれと等価な単層の線型変換が存在するため、多層構造にする意味がない。ディープラーニングは、より多層にする方が強い非線型を得られるため、高い性能が出やすいと言われている。一般に、少なくとも３層以上を有する場合がディープラーニングと呼ばれる。

続いて、図４のステップＳ１０４において、補正部１０２ｂは、撮影画像のうち所定の領域（部分領域）の全てに対して焦点外れ像の補正が完了したか否かを判定する。所定の領域の全てに対して補正部分領域２１２が生成されている場合、ステップＳ１０５へ進む。一方、焦点外れ像の補正が完了していない領域（部分領域）が残っている場合、ステップＳ１０２へ戻り、補正部１０２ｂは、まだ焦点外れ像が補正されていない部分領域を撮影画像から取得する。

ステップＳ１０５において、補正部１０２ｂは、焦点外れ像が補正された画像（補正画像）を出力する。焦点外れ像が補正された画像は、生成された複数の補正部分領域２１２を合成することにより生成される。ただし、部分領域が撮影画像の全体である場合、補正部１０２ｂは、補正部分領域２１２をそのまま焦点外れ像が補正された画像として出力する。以上の処理により、焦点外れ像が補正された画像（理想的な形状（例えば円形形状）の焦点外れ像）を取得することができる。

なお本実施例では、撮影画像（入力画像）、および、焦点外れ像が補正された画像（出力画像）が共に１枚の場合を説明した。しかし、本実施例はこれに限定されるものではない。例えば、複数の撮影画像（複数の入力画像）を入力し、複数の撮影画像のそれぞれの焦点外れ像が補正された複数の出力画像が一括で取得することができるように、ＣＮＮのネットワークを構成してもよい。また、複数の撮影画像を入力し、１枚の焦点外れ像が補正された画像を取得するように構成してもよい。複数の撮影画像を入力する場合、絞り値（Ｆ値）やピント位置の異なる複数の画像を用いることが好ましい。絞り値やピント位置が変化すると被写体中での焦点外れ像の大きさ、形状、輝度分布等が異なり、同一の被写体に対して、異なる焦点外れ像が生じた複数の画像を入力することにより、精度を向上することができる。また、入力する撮影画像として、複数の色のチャンネルを有する画像を用いることが好ましい。なお本実施例では、焦点外れ像を理想的な形状（円形形状）に補正する場合を説明したが、補正後の焦点外れ像の形状はこれに限定されるものではない。例えば、星型やハート型等のユーザが所望する形状に補正することも可能である。

次に、図５を参照して、本実施例における学習情報の学習について説明する。図５は、学習情報の学習を示すフローチャートである。図５の各ステップは、主に、画像処理部１０２の学習部１０２ａにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、焦点外れ像の補正前であれば、撮像装置１００とは別の装置（演算装置）に設けられた学習部で行ってもよい。本実施例では、撮像装置１００の学習部１０２ａが学習情報を学習する場合について説明する。

まずステップＳ２０１において、学習部１０２ａは、少なくとも一対の学習画像を取得する。一対の学習画像とは、焦点外れ像の変形の状態（光学系の口径食や収差等の撮影条件に応じて変形した焦点外れ像の形状や輝度分布）が異なり、かつ同一の被写体が存在する画像である。焦点外れ像の変形が生じている画像は、焦点外れ像の変形が生じていない画像（理想的な焦点外れ像を含む画像）と一対一に対応しているか、または、１枚の焦点外れ像の変形が生じていない画像に対して複数枚存在していてもよい。後者の場合、焦点外れ像の変形が生じている画像は、焦点外れ像の大きさ、形状、または、輝度分布が異なる複数の画像である。

学習画像を用意する方法として、シミュレーションや実写画像を用いてもよい。シミュレーションを行う場合、焦点外れ像の変形が生じていない画像に対して、口径食や収差の影響を考慮した撮像シミュレーションを行うことで焦点外れ像の変形が生じている画像を生成すればよい。一方、実写画像を用いる場合、同一の被写体を焦点外れ像の変形が異なる条件で撮影した画像を使用すればよい。例えば、焦点外れ像の変形が口径食の影響による場合、変形は絞り値やピント位置などに影響を受ける。または、点光源などの既知の被写体（焦点外れ像の変形が生じていない画像）を、光学系等の撮影条件を変えて撮影することで、焦点外れ像の変形が異なる学習画像を得てもよい。

また、焦点外れ像の変形が生じている画像に対してディープラーニング以外の手法を用いて焦点外れ像が補正された画像を推定し、学習画像を用意してもよい。なお学習画像は、様々な焦点外れ像（様々な変形した焦点外れ像の形状）が含まれる画像を含むことが好ましい。学習画像に含まれない変形の仕方をしている画像は、高精度に焦点外れ像を補正することができないためである。また、学習画像に含まれる焦点外れ像の変形が異なる画像は一対のみでもよいが、前述の理由により複数の画像を含むことが好ましい。

続いてステップＳ２０２において、学習部１０２ａは、ステップＳ２０１にて取得した学習画像から、複数の学習ペアを取得する。学習ペアは、学習部分領域（学習領域）と学習補正部分領域とからなる。学習補正部分領域は焦点外れ像の変形が生じている画像から取得され、そのサイズはステップＳ１０２にて取得した撮影画像の部分領域と同じである。学習部分領域は焦点外れ像の変形が生じていない画像から取得され、学習部分領域の中心は画像において学習補正部分領域の中心と同じ位置である。そのサイズは、ステップＳ１０３にて生成された補正部分領域と同じである。前述と同様に、学習部分領域と学習補正部分領域のペア（学習ペア）は、一対一に対応している必要はない。一つの学習補正部分領域と、複数の学習部分領域とがペア（グループ）になっていてもよい。

続いてステップＳ２０３において、補正部１０２ａは、複数の学習ペア（学習部分領域と学習補正部分領域）から、学習情報を学習によって取得（生成）する。学習では、焦点外れ像を補正するネットワーク構造と同じネットワーク構造を使用する。本実施例では、図１に示されるネットワーク構造に対して学習補正部分領域を入力し、その出力結果と学習部分領域との誤差を算出する。この誤差が最小となるように、例えば誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを用いて、第１乃至Ｎ＋１層で用いる複数のフィルタのそれぞれの係数や加算する定数（学習情報）を更新して最適化する。各フィルタの係数および定数の初期値は任意に設定することができ、例えば乱数から決定される。または、各層ごとに初期値を事前学習するＡｕｔｏＥｎｃｏｄｅｒなどのプレトレーニングを行ってもよい。ＡｕｔｏＥｎｃｏｄｅｒの詳細は、非特許文献４に説明されている。

学習ペアの全てをネットワーク構造へ入力し、それら全ての情報を使って学習情報を更新する手法をバッチ学習と呼ぶ。ただし、この学習方法は、学習ペアの数が増えるにつれて計算負荷が膨大になる。逆に、学習情報の更新に一つの学習ペアのみを使用し、更新ごとに異なる学習ペアを使用する学習手法をオンライン学習と呼ぶ。この手法は、学習ペアが増えても計算量が増大しないが、一つの学習ペアに存在するノイズの影響を大きく受ける。このため、これら２つの手法の中間に位置するミニバッチ法を用いて学習することが好ましい。ミニバッチ法は、全学習ペアの中から少数を抽出し、それらを用いて学習情報の更新を行う。次の更新では、異なる小数の学習ペアを抽出して使用する。これを繰り返すことにより、バッチ学習とオンライン学習の不利な点を小さくすることができ、高い補正効果を得やすくなる。

続いてステップＳ２０４において、補正部１０２ａは、学習された学習情報を出力する。本実施例において、学習情報は記憶部１０３に記憶される。以上の処理により、高精度に焦点外れ像を補正するための学習情報を学習することができる。

また、以上の処理に加えて、ＣＮＮの性能を向上させる工夫を併用してもよい。例えば、ロバスト性の向上のためネットワークの各層において、ドロップアウト（Ｄｒｏｐｏｕｔ）やダウンサンプリングであるプーリング（ｐｏｏｌｉｎｇ）を行ってもよい。または、学習精度の向上のため、学習画像の画素の平均値を０、分散を１に正規化し、隣接する画素の冗長性をなくすＺＣＡホワイトニング（ＺＣＡｗｈｉｔｅｎｉｎｇ）などを併用してもよい。ドロップアウトおよびＺＣＡホワイトニングの詳細はそれぞれ、非特許文献５および非特許文献６に説明されている。

本実施例によれば撮影画像から高精度に焦点外れ像（焦点外れ像の変形）を補正することが可能な撮像装置を提供することができる。

次に、本発明の実施例２における画像処理システムについて説明する。施例の画像処理システムにおいて、焦点外れ像（焦点外れ像の変形）を補正する画像処理装置と、撮影画像を取得する撮像装置、および、学習を行うサーバが個別に設けられている。また本実施例では、焦点外れ像（焦点外れ像領域）の大きさを判定することにより、使用する学習情報を切り替える。焦点外れ像領域の大きさに応じて、焦点外れ像の補正処理に使用する学習情報を個別に学習して使用することにより、より高精度な焦点外れ像の補正が可能となる。

図６および図７を参照して、本実施例における画像処理システムについて説明する。図６は、画像処理システム２００のブロック図である。図７は、画像処理システム２００の外観図である。図６および図７に示されるように、画像処理システム２００は、撮像装置３００、画像処理装置３０１、サーバ３０５、表示装置３０８、記録媒体３０９、および、出力装置３１０を備えて構成される。

撮像装置３００の基本構成は、焦点外れ像の補正と学習情報の学習に関する画像処理部を除いて、図２を参照して説明した撮像装置１００と同様である。撮像装置３００を用いて撮影された撮影画像（入力画像）は、画像処理装置３０１に設けられた記憶部３０２に記憶される。画像処理装置３０１は、ネットワーク３０４と有線または無線で接続されており、ネットワーク３０４を介してサーバ３０５にアクセスすることができる。サーバ３０５は、撮影画像から焦点外れ像を補正するための学習情報を学習する学習部３０７と、学習情報を記憶する記憶部３０６とを有する。画像処理装置３０１に設けられた補正部３０３（画像処理部）は、サーバ３０５の記憶部３０６からネットワーク３０４を介して学習情報を取得し、撮影画像の焦点外れ像を補正する。補正部３０３により焦点外れ像が補正された画像等の出力画像は、表示装置３０８、記録媒体３０９、および、出力装置３１０の少なくとも一つに出力される。表示装置３０８は、例えば液晶ディスプレイやプロジェクタである。ユーザは、表示装置３０８を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０９は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバである。出力装置３１０は、例えばプリンタである。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有してもよい。

次に、図８を参照して、焦点外れ像の補正処理について説明する。図８は、焦点外れ像の補正処理を示すフローチャートである。図８の各ステップは、主に、画像処理装置３０１の補正部３０３（画像処理部）により実行される。

まずステップＳ３０１において、補正部３０３は、記憶部３０２から、撮影画像（入力画像）を取得する。続いてステップＳ３０２において、補正部３０３は、撮影画像に含まれる焦点外れ像領域の大きさを判定する。焦点外れ像領域の大きさとは、像面上のピントずれ量および絞り値に応じて変動する焦点外れ像が生じている領域の大きさである。本実施例では、これらの量を画素サイズで除すことで画素数に換算する。焦点外れ像領域の大きさを判定する方法として、以下に３つの例を示す。

第１の例は、ピント位置が異なる複数の画像を用いる方法である。焦点外れ像領域の大きさは像面上のピントずれ量に応じて変化するため、ピント位置が異なる撮影をすることで焦点外れ像領域の大きさが異なる画像を取得することができる。また、複数の画像から、部分領域ごとに最もコントラストが高くなる画像を選択すると、画像全域でピントが合ったパンフォーカス画像を得ることができる。そのパンフォーカス画像と補正を行う撮影画像とを比較することで、ピントずれによって大きく輝度変化している領域として、焦点外れ像領域を検出することができる。また部分領域ごとに、ボケ量と距離情報との相関を得ることが可能であるため、一般的にＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）として知られている手法により、部分領域ごとに被写体距離を算出することができる。被写体距離に基づいて像面上のピントずれ量を見積もることが可能であるため、前記手法による被写体距離と絞り値とに基づいて焦点外れ像領域の大きさを見積もることができる。

第２の例は、絞り値が異なる複数の画像を用いる方法である。焦点外れ像領域の大きさは絞り値に応じて変化するため、絞り値が異なる撮影をすることで焦点外れ像領域の大きさが異なる画像を取得することができる。また、複数の画像から、部分領域ごとに最もコントラストが高くなる画像を選択すると、画像全域でピントが合ったパンフォーカス画像を得ることができる。そのパンフォーカス画像と補正を行う撮影画像とを比較することで、ピントずれにより大きく輝度変化している領域として、焦点外れ像領域を検出することができる。また部分領域ごとに、ボケ量と距離情報との相関を得ることが可能であるため、一般的にＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）として知られている手法により、部分領域ごとに被写体距離を算出することができる。被写体距離に基づいて像面上のピントずれ量を見積もることが可能であるため、前記手法による被写体距離と絞り値とに基づいて焦点外れ像領域の大きさを見積もることができる。

第３の例は、被写体距離（被写体距離情報）を用いる方法である。被写体距離に基づいて像面上のピントずれ量を見積もることが可能であるため、後述する手法により被写体距離と絞り値とに基づいて焦点外れ像領域の大きさを見積もることができる。被写体距離情報は、例えば、撮像装置３００を多眼構成とすることで、ステレオ原理により距離情報を取得することができる。また、既存のＴＯＦ装置等の測距ユニットを別途備えることで、被写体距離情報を取得することもできる。

なお、画像の位置に応じて焦点外れ像領域の大きさが変わる場合があるため、撮影画像内の複数の位置に対して大きさを判定し、部分領域の位置に応じて学習情報を切り替えてもよい。

続いてステップＳ３０３において、補正部３０３は、ステップＳ３０２にて判定された焦点外れ像領域の大きさに基づいて、使用するネットワーク構造と学習情報、および、部分領域のサイズを決定する。本実施例において、補正部３０３は、図１に示されるＣＮＮを利用して焦点外れ像を補正する。焦点外れ像領域が部分領域のサイズよりも大きいと、補正対象の被写体の情報が欠落してしまうため、高精度な焦点外れ像の補正を行うことができない。また、ＣＮＮでは各層でフィルタをコンボリューションして焦点外れ像を補正するため、それらのフィルタが影響する範囲を合わせた範囲が、撮影画像の焦点外れ像領域より小さいと、焦点外れ像を正しく補正することができない。例えば、全層数が２で、第１層のフィルタサイズが５×５、第２層のフィルタサイズが３×３である場合、ある画素の焦点外れ像の補正に使用できる範囲は、この画素を中心とした７×７画素である。このため、このネットワーク構造では、焦点外れ像領域の大きさが７画素以下になっていない場合、焦点外れ像を高精度に補正することができない。したがって、焦点外れ像領域の大きさに基づいて、ある画素の焦点外れ像の補正に使用される範囲（各層のフィルタのサイズに応じて決定される）を決定することが好ましい。

より詳細には、以下の条件式（４）を満足するように、各層のフィルタのサイズを決定することが好ましい。

条件式（４）において、ｄは撮影画像（入力画像）の画素に対する焦点外れ像領域の大きさであり、焦点外れ像領域の１次元方向における長さを画素数で表している。Ｎ＋１は全層数である。ｓ_ｍ（ｍ＝１〜Ｎ＋１）は、第ｍ線型変換で使用するフィルタのサイズ（第ｍ線型変換（ｍ＝１〜Ｎ＋１）のそれぞれにおけるフィルタの１次元サイズ）である。第ｍ線型変換で複数のサイズのフィルタが混合して使用される場合、ｓ_ｍは最大のフィルタサイズである。条件式（４）の上限は、ある画素の焦点外れ像の補正に使用できる範囲が、焦点外れ像領域の大きさ以上であることを示している。一方、条件式（４）の下限は、理論的に超えることができない。

ネットワーク構造は、各層で使用するフィルタのサイズだけでなく、一つの層で使用されるフィルタの数や層数なども含む。焦点外れ像を高精度に補正するには、焦点外れ像領域が大きいほど層数やフィルタの数を増やす必要がある。学習情報は、焦点外れ像領域の大きさごとに学習されており、その中から撮影画像に含まれる焦点外れ像領域の大きさに対応した学習情報を使用する。これにより、より精度の高い焦点外れ像の補正が可能となる。なお、学習の詳細に関しては後述する。

続いてステップＳ３０４において、補正部３０３は、撮影画像から部分領域（撮影画像の少なくとも一部の領域）を取得する。続いてステップＳ３０５において、補正部３０３は、ステップＳ３０３にて決定された学習情報に基づいて、補正部分領域を生成する。続いてステップＳ３０６において、補正部３０３は、撮影画像のうち所定の領域（部分領域）の全てに対して焦点外れ像の補正処理が完了したか否かを判定する。所定の領域の全てに対して焦点外れ像の補正が完了した場合、ステップＳ３０７へ進む。一方、焦点外れ像の補正が完了していない領域（部分領域）が残っている場合、ステップＳ３０４へ戻り、補正部３０３は、まだ焦点外れ像が補正されていない部分領域（新たな部分領域）を撮影画像から取得する。ステップＳ３０７において、補正部３０３は、焦点外れ像が補正された画像を出力する。

なお、撮影画像中の位置に応じて焦点外れ像領域の大きさが大きく異なる場合、補正部３０３は、ステップＳ３０４をステップＳ３０２、Ｓ３０３の前に実行することが好ましい。このとき補正部３０３は、ステップＳ３０２、Ｓ３０３において、撮影画像の局所領域に対して焦点外れ像領域の大きさを取得し、対応する学習情報などを取得する。

次に、サーバ３０５の学習部３０７により行われる学習情報の学習に関して説明する。本実施例において、学習部３０７は、焦点外れ像領域の大きさに応じて異なる学習情報を学習する。学習方法は、図５を参照して実施例１にて説明した方法と基本的に同様であるが、学習画像の用意の仕方によりその前処理が異なる。

まず、焦点外れ像の変形（変形した焦点外れ像の形状）が異なる学習画像をシミュレーションにより生成する場合に関して説明する。この場合、焦点外れ像領域の大きさを設定して焦点外れ像の変形が生じていない画像から焦点外れ像の変形が生じている画像を生成し、一対の学習画像を得る。学習部３０７は、取得した学習画像に対してステップＳ２０１乃至Ｓ２０４を実行し、その後、異なる焦点外れ像領域の大きさに対して同様の手順を繰り返す。

次に、焦点外れ像の変形が生じている画像から焦点外れ像の変形が生じていない画像を求めて、学習画像を生成する場合に関して説明する。この場合、焦点外れ像の変形が生じていない画像を求める際に焦点外れ像領域の大きさが求まるため、これにより学習画像を複数のグループに分ける。グループ分けは画像単位で行うことができる。１枚の焦点外れ像の変形が生じている画像内で焦点外れ像領域の大きさが変化している場合、画像を分割してグループ分けを行ってもよい。各グループは焦点外れ像領域の大きさが近いものが含まれているため、グループごとにステップＳ２０１乃至Ｓ２０４を実行して、学習情報を生成する。

本実施例によれば、撮影画像から高精度に焦点外れ像（焦点外れ像の変形）を補正することが可能な画像処理システムを提供することができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例の撮像装置は、撮影画像（入力画像）から焦点外れ像の変形（変形した焦点外れ像の形状）を推定する。なお、本実施例における撮像装置の構成および外観は、図２および図３を参照して実施例１にて説明した撮像装置１００と同様である。ただし本実施例の撮像装置には、画像処理部として、補正部１０２ｂに代えて推定部が設けられている。

図９を参照して、撮影画像（入力画像）から焦点外れ像の変形を推定する処理について説明する。図９は、焦点外れ像の変形の推定処理を示すフローチャートである。図９の各ステップは、主に、画像処理部１０２の推定部により実行される。

まずステップＳ４０１において、画像処理部１０２（推定部）は、撮影画像（入力画像）と学習情報とを取得する。学習情報の学習に関しては後述する。この学習により、撮影画像の部分領域と部分領域に生じている焦点外れ像の変形とを結び付ける学習情報が取得されている。続いてステップＳ４０２において、推定部は、撮影画像から、焦点外れ像の変形を推定するための部分領域を取得する。本実施例において、推定部は、部分領域に含まれる画素（例えば中心画素）に焦点外れ像の変化が生じているか否かを、その周辺画素（部分領域に含まれている画素）の情報も利用して推定する。

続いてステップＳ４０３において、推定部は、ステップＳ４０１にて取得した学習情報に基づいて、焦点外れ像の変形を推定する。本実施例において、推定部は、図１０に示されるネットワーク構造を使用して推定を行う。図１０は、本実施例における焦点外れ像の変形を推定するネットワーク構造を示す図である。図１０において、中間データ４１０の生成までの工程は、図１を参照して実施例１で説明した工程と同様であるため、それらの説明を省略する。すなわち、図１０の部分領域４０１、フィルタ４０２、第１変換部分領域４０３、フィルタ４０４、および、中間データ４１０はそれぞれ、図１の部分領域２０１、フィルタ２０２、第１変換部分領域２０３、フィルタ２０４、および、中間データ２１０に相当する。

本実施例では、第Ｎ＋１層における第Ｎ＋１線型変換として、フルコネクション４１１を実行する。フルコネクション４１１は、入力される中間データ４１０の全信号の線型結合をとる。この際、各信号にかかる係数と加算される定数は、学習情報によって決定される。また、係数と定数は複数種類が存在し、それぞれの係数と定数に対して線型結合が計算され、複数の結果が出力される。フルコネクション４１１で出力された複数の値は、活性化関数によって変換され（第Ｎ＋１非線型変換）、ソフトマックス４１２に入力される。ソフトマックス４１２は、以下の式（５）で表されるソフトマックス関数を計算する。

式（５）において、ベクトルｘは第Ｎ＋１非線型変換で出力された複数の値を成分とする列ベクトル、ベクトルｗは学習情報から決定される係数を成分とした列ベクトルである。ベクトルｗの右肩に付いたＴは、転置を表す。式（５）によって、部分領域４０１に生じている焦点外れ像の変形が、分布４１３ａ〜４１３ｄ（４１３ｅ以降は省略）のいずれであるかの確率を求めることができる。ここで分布とは、部分領域に焦点外れ像の変形が存在するか否かを示したものであり、分布４１３ａは大きなリングボケ、分布４１３ｂは小さなリングボケ、分布４１３ｃ、４１３ｄは口径食による周辺部の変形をそれぞれ示している。式（５）のＫは分布の総数、ｊとｋは分布の番号を示すインデックスである。

続いて、図９のステップＳ４０４において、推定部は、撮影画像のうち所定の領域（部分領域）の全てに対して焦点外れ像の変形の推定が完了したか否かを判定する。所定の領域の全てに対して推定が完了した場合、ステップＳ４０５へ進む。一方、推定が完了していない領域（部分領域）が残っている場合、ステップＳ４０２へ戻り、推定部は、まだ焦点外れ像の変形が推定されていない部分領域（新たな部分領域）を撮影画像から取得する。

ステップＳ４０５において、推定部は、所定の領域内の各部分領域における焦点外れ像の変形の推定結果を出力する。焦点外れ像の変形の推定結果は、焦点外れ像の変形が生じた光学系（結像光学系）の撮影状態を解析するためや、撮影画像から焦点外れ像を補正するため等に用いることができる。焦点外れ像を補正する場合、ディープラーニング以外の手法を用いてもよい。以上の処理により、焦点外れ像の変形が生じている撮影画像から、焦点外れ像の変形を高精度に推定することができる。

次に、図１１を参照して、本実施例における学習情報の生成に関して説明する。図１１は、学習情報の学習を示すフローチャートである。図１１の各ステップは、主に、画像処理部１０２の学習部１０２ａにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、撮像装置１００とは別の装置（演算装置）に設けられた学習部で行ってもよい。本実施例では、実施例１と同様に、撮像装置１００の学習部１０２ａが学習情報を学習する場合について説明する。

まずステップＳ５０１において、学習部１０２ａは、学習画像を取得する。本実施例では、焦点外れ像の変形が生じていない画像に対してシミュレーションを用いて口径食のよる焦点外れ像の変形を付与した画像を学習画像とする。学習画像は単数でも複数でもよい。ただし、様々な大きさや形状の焦点外れ像の変形を精度よく推定するには、異なる口径食による焦点外れ像の変形が学習画像に含まれている必要がある。

続いてステップＳ５０２において、学習部１０２ａは、ステップＳ５０１にて取得した学習画像から、複数の学習ペアを取得する。本実施例において、学習ペアは、学習画像（焦点外れ像の変形が生じている画像）の部分領域（学習用変形部分領域）、および、この部分領域に作用している分布に関する情報である。分布に関する情報とは、複数の変形分布のうち特定の分布を示す番号である。複数の分布は、図１０に示される分布４１３ａ〜４１３ｄ（４１３ｅ以降は省略）であり、これらは事前に用意されて記憶部１０３に記憶されている。

続いてステップＳ５０３において、学習部１０２ａは、学習ペア（変形分布に関する情報と学習用変形部分領域）に基づいて、学習情報を生成する。学習情報の生成には、図１０のネットワーク構造が用いられる。続いてステップＳ５０４において、学習部１０２ａは、生成された学習情報を出力する。本実施例において、実施例２と同様に、焦点外れ像領域の大きさごとに学習情報を用意してもよい。

本実施例によれば、撮影画像から高精度に焦点外れ像の変形を推定することが可能な撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮影画像から高精度に焦点外れ像の変形を推定または補正することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

１０２画像処理部
１０２ｂ、３０３補正部（画像処理部）
１０３、３０２記憶部
３０１画像処理装置

Claims

焦点外れ像の変形が生じている入力画像の少なくとも一部の領域を取得する工程と、
前記焦点外れ像の変形に関して予め学習された学習情報を取得する工程と、
前記学習情報を用いて前記領域における前記焦点外れ像の変形を推定または補正する工程と、を有し、
前記焦点外れ像の変形を推定または補正する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、
前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、
前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程と、を含むことを特徴とする画像処理方法。
前記焦点外れ像の変形が生じている焦点外れ像領域の大きさを取得する工程を更に有し、
前記領域の大きさまたは前記学習情報は、前記焦点外れ像領域の大きさに基づいて決定されることを特徴とする請求項１に記載の画像処理方法。
前記焦点外れ像領域の大きさは、前記入力画像とは異なる絞り値またはピント位置の画像を用いて算出されることを特徴とする請求項２に記載の画像処理方法。
前記焦点外れ像の変形が生じている前記画像は、理想的な焦点外れ像の形状から変形した焦点外れ像を含む画像であり、
前記焦点外れ像の変形を推定または補正する工程において、前記焦点外れ像の変形を推定、または、前記焦点外れ像の形状を前記理想的な焦点外れ像の形状に近づけるように前記焦点外れ像を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
前記理想的な焦点外れ像は、光学系の口径食または収差の影響がない状態で取得された焦点外れ像であり、
前記焦点外れ像の変形が生じている前記入力画像は、前記口径食または前記収差の影響により前記理想的な焦点外れ像から変形した焦点外れ像を含む画像であることを特徴とする請求項４に記載の画像処理方法。
前記第ｎ線型変換（ｎ＝１〜Ｎ）のそれぞれは、前記学習情報に基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
前記領域における前記焦点外れ像の変形を補正する工程において、前記第Ｎ＋１線型変換は、前記学習情報に基づくフィルタとのコンボリューションを含むことを特徴とする請求項６に記載の画像処理方法。
前記第ｎ線型変換（ｎ＝１〜Ｎ）および前記第Ｎ＋１線型変換のそれぞれにおける前記フィルタのサイズは、焦点外れ像領域の大きさに基づいて決定されることを特徴とする請求項７に記載の画像処理方法。
前記入力画像の画素に対する焦点外れ像領域の大きさをｄ、前記第ｎ線型変換（ｎ＝１〜Ｎ）および前記第Ｎ＋１線型変換のそれぞれにおける前記フィルタの１次元サイズをｓ_ｍ（ｍ＝１〜Ｎ＋１）とするとき、

なる条件式を満足することを特徴とする請求項７または８に記載の画像処理方法。
前記学習情報は、前記焦点外れ像の変形の状態が異なり、かつ同一の被写体が存在する少なくとも一対の学習画像を用いて学習された情報であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
前記一対の学習画像は、前記焦点外れ像の変形が生じている画像と、前記焦点外れ像の変形が生じていない画像と、を含むことを特徴とする請求項１０に記載の画像処理方法。
前記学習画像のうち前記焦点外れ像の変形が生じていない前記画像は、前記同一の被写体を異なる絞り値またはピント位置で撮影した画像であることを特徴とする請求項１１に記載の画像処理方法。
前記学習画像は、シミュレーションにより生成された画像であることを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理方法。
焦点外れ像の変形に関する学習情報を記憶する記憶部と、
前記学習情報を用いて入力画像の少なくとも一部の領域における前記焦点外れ像の変形を推定または補正する画像処理部と、を有し、
前記画像処理部は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、
前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成し、
前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する、ことを特徴とする画像処理装置。
被写体空間の像を入力画像として取得する撮像部と、
請求項１４に記載の画像処理装置と、を有することを特徴とする撮像装置。
請求項１乃至１３のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。