JP2019212132A - 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影画像から高精度に不要光成分を推定または低減することが可能な画像処理方法を提供する。【解決手段】画像処理方法は、不要光成分を含む入力画像の少なくとも一部の領域を取得する工程と、不要光成分に関して予め学習された学習情報を取得する工程と、学習情報を用いて領域における不要光成分を推定または低減する工程とを有し、不要光成分を推定または低減する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、領域に対して、学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、中間データに対して、学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程とを含む。【選択図】図１

Description

本発明は、画像処理方法に関する。

入力画像を不要光成分と不要光以外の成分とに分離することで、撮影後の画像処理において様々な画像生成を行うことができる。具体的にはゴーストやフレアに代表される不要光成分を入力画像から分離することで、光の輝きを誇張した画像や、不要光成分の無い画像を生成することが可能である。

また、不要光成分の無い画像を生成できれば、コントラストの高い観賞用画像が得られる。更に、画像から被写体を認識する、または、ステレオ画像から距離を算出するなどの各種情報を得るような使い方においても精度の向上が見込まれる。したがって、画像から不要光成分の大きさや強度を推定する技術が必要となる。画像から不要光成分が推定できれば、画像から不要光成分を差し引くことで、不要光成分が除かれた画像が取得可能である。

非特許文献１には、ディープラーニングを用いて画面全体にかかるヘイズ量を推定または低減する方法が開示されている。これにより、画面全体のコントラストを若干向上させることができる。

"Ｉｎｖｅｓｔｉｇａｔｉｎｇ Ｈａｚｅ−ｒｅｌｅｖａｎｔ Ｆｅａｔｕｒｅｓ ｉｎ Ａ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｉｍａｇｅ Ｄｅｈａｚｉｎｇ" Ｋｅｔａｎ Ｔａｎｇ， Ｊｉａｎｃｈａｏ Ｙａｎｇ， Ｊｕｅ Ｗａｎｇ Ｙ．ＬｅＣｕｎ，ｅｔ ａｌ．， "Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ａｐｐｌｉｅｄ ｔｏ Ｄｏｃｕｍｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ"， Ｐｒｏｃ． ｏｆ Ｔｈｅ ＩＥＥＥ， １９９８． Ｇ．Ｅ．Ｈｉｎｔｏｎ，ｅｔ ａｌ．， "Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ"， Ｎｅｕｒａｌ Ｃｏｍｐｕｔ． ２００６ Ｊｕｌ； １８（７）： １５２７−５４． Ｉ．Ｊ．Ｇｏｏｄｆｅｌｌｏｗ，ｅｔ ａｌ．， "Ｍａｘｏｕｔ ｎｅｔｗｏｒｋｓ"， ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１３０２．４３８９ （２０１３）． Ｇ．Ｅ．Ｈｉｎｔｏｎ ＆ Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ （２００６−０７−２８）． "Ｒｅｄｕｃｉｎｇ ｔｈｅ Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ Ｄａｔａ ｗｉｔｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"， Ｓｃｉｅｎｃｅ ３１３（５７８６）： ５０４−５０７． Ｎ．Ｓｒｉｖａｓｔａｖａ，ｅｔ ａｌ．， "Ｄｒｏｐｏｕｔ： Ａ ｓｉｍｐｌｅ ｗａｙ ｔｏ ｐｒｅｖｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｒｏｍ ｏｖｅｒｆｉｔｔｉｎｇ"， Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， １５（１）：１９２９−１９５８， ２０１４． Ａ．Ｋｒｉｚｈｅｖｓｋｙ， "Ｌｅａｒｎｉｎｇ Ｍｕｌｔｉｐｌｅ Ｌａｙｅｒｓ ｏｆ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｔｉｎｙ Ｉｍａｇｅｓ"， ２００９， ｈｔｔｐｓ：／／ｗｗｗ．ｃｓ．ｔｏｒｏｎｔｏ．ｅｄｕ／〜ｋｒｉｚ／ｌｅａｒｎｉｎｇ−ｆｅａｔｕｒｅｓ−２００９−ＴＲ．ｐｄｆ

しかしながら、非特許文献１に開示されているヘイズ推定・低減方法では、ゴーストなどの入力画像の一部分で発生している不要光成分を推定ための学習工程が不足しており、不要光成分を低減することができない。

そこで本発明は、撮影画像から高精度に不要光成分を推定または低減することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理方法は、不要光成分を含む入力画像の少なくとも一部の領域を取得する工程と、前記不要光成分に関して予め学習された学習情報を取得する工程と、前記学習情報を用いて前記領域における前記不要光成分を推定または低減する工程とを有し、前記不要光成分を推定または低減する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程とを含む。

本発明の他の側面としての画像処理装置は、不要光成分に関する学習情報を記憶する記憶部と、前記学習情報を用いて入力画像の少なくとも一部の領域における前記不要光成分を推定または低減する画像処理部とを有し、前記画像処理部は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成し、前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する。

本発明の他の側面としての撮像装置は、被写体空間の像を入力画像として取得する撮像部と、前記画像処理装置とを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮影画像から高精度に不要光成分を推定または低減することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

実施例１および実施例２における不要光成分を低減するネットワーク構造を示す図である。 実施例１および実施例３における撮像装置のブロック図である。 実施例１および実施例３における撮像装置の外観図である。 実施例１における不要光成分の低減処理を示すフローチャートである。 実施例１における学習情報の学習を示すフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における不要光成分の低減処理を示すフローチャートである。 実施例３における不要光成分の推定処理を示すフローチャートである。 実施例３における不要光成分を推定するネットワーク構造を示す図である。 実施例３における学習情報の学習を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

実施例の具体的な説明へ入る前に、本発明の要旨を述べる。本発明では、ディープラーニング（深層学習）を用いて、撮影画像からゴーストやフレアに代表される不要光成分を推定または低減する。不要光成分は、光学系（結像光学系）中を光が被写体側から進入した際に、光学面や鏡筒部において設計時に意図しない反射により、本来結像に寄与しない光線が撮像センサ（撮像素子）に届いてしまい、被写体像に重畳されて写りこむ成分である。また、回折光学素子から発生する設計回折次数ではない回折光（不要回折光）も不要光成分の一種である。

一般的に、不要光成分は、画面内外に太陽などの強い光源が存在する場合に発生しやすい。不要光成分の発生位置は光源の位置に関係する。また、不要光成分の強度は、光源の強度に関係する。また、不要光成分の色は、光学系の透過率分布および光源そのものの色に関係する。不要光成分を推定または低減するため、不要光成分の有無が異なる画像を用いて、その対応関係をディープラーニングによって学習することで、不要光成分を高精度に推定または低減することができる。

まず、図２および図３を参照して、本発明の実施例１における撮像装置について説明する。図２は、撮像装置１００のブロック図である。図３は、撮像装置１００の外観図である。本実施例において、撮像装置１００は、画像処理方法を実行し、不要光成分をディープラーニングにより低減する。

撮像装置１００は、被写体空間の像を撮影画像（入力画像）として取得する撮像部１０１を有する。撮像部１０１は、被写体空間から入射する光を集光する結像光学系１０１ａと、複数の画素を有する撮像素子１０１ｂとを有する。撮像素子１０１ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。

画像処理部１０２は、撮影画像（入力画像）に対して、不要光成分を低減する。画像処理部１０２は、学習部１０２ａと補正部（不要光低減部）１０２ｂとを有する。記憶部１０３は、画像処理部１０２による不要光成分を低減する際に用いられる学習情報を記憶している。この処理の詳細については後述する。画像処理部１０２により不要光成分が低減された画像等の出力画像は、液晶ディスプレイなどの表示部１０４に表示されるか、または、記録媒体１０５に保存される。ただし、撮影画像を記録媒体１０５に保存し、任意のタイミングで不要光成分の低減処理を行ってもよい。撮影画像は、静止画だけでなく動画であってもよい。この場合、各フレームに対して不要光成分の低減処理を行う。以上の一連の制御は、システムコントローラ１０６により行われる。

次に、図４を参照して、画像処理部１０２による不要光成分の低減処理について説明する。画像処理部１０２は、不要光成分の低減処理の際に、事前に学習された学習情報を用いるが、この学習の詳細については後述する。図４は、不要光成分の低減処理を示すフローチャートである。図４の各ステップは、主に、画像処理部１０２の補正部１０２ｂにより実行される。

まずステップＳ１０１において、画像処理部１０２（補正部１０２ｂ）は、不要光成分を含む撮影画像（入力画像）と学習情報とを取得する。不要光成分とは、ゴーストやフレアである。学習情報とは、撮影画像と不要光成分が低減された画像とを結び付けるために予め学習された情報である。続いてステップＳ１０２において、補正部１０２ｂは、撮影画像から、撮影画像の少なくとも一部の領域（部分領域）を取得する。不要光成分の低減処理は、この領域（部分領域）を単位として（部分領域ごとに）行われる。

続いてステップＳ１０３において、補正部１０２ｂは、学習情報を用いて部分領域から不要光成分が低減された部分領域である補正部分領域を生成する。ここで、図１を参照して、不要光成分の低減処理について詳述する。図１は、ディープラーニングの一つであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のネットワーク構造を示している。ただし、ディープラーニングとして、ＣＮＮ以外の手法、例えばＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）を用いても構わない。ＣＮＮおよびＤＢＮの詳細はそれぞれ、非特許文献２および非特許文献３に説明されている。

ＣＮＮは、複数の層構造になっており、各層で学習情報を用いた線型変換と非線型変換とが実行される。ｎを１からＮまでの整数とするとき、ｎ番目の層を第ｎ層、第ｎ層における線型変換と非線型変換とをそれぞれ、第ｎ線型変換と第ｎ非線型変換と呼称する。ただし、Ｎは２以上の整数である。部分領域２０１に関しては、第１層において、複数のフィルタ２０２のそれぞれとのコンボリューション（複数の線型関数による第１線型変換）が実行される。その後、活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）と呼ばれる非線型関数を用いて変換（第１非線型変換）が実行される。図１において、活性化関数をＡＦとして示している。また、部分領域２０１が複数枚描画されているのは、入力画像（撮影画像）が複数のチャンネルを有するためである。

本実施例において、部分領域はＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３チャンネルを有する。ただし、チャンネルの数はこれに限定されるものではないが、チャンネル数は２以上を有していることが好ましい。チャンネル数が１の場合、そのチャンネルで不要光成分が輝度飽和を起こすと本来の被写体の情報が失われるため、不要光成分のみを低減することができない。一方、複数のチャンネルを有する場合、いずれか１つのチャンネルが輝度飽和を起こしていなければ不要光成分の強度を推定することができ、不要光成分を低減することができる。後述のように、複数の撮影画像が入力された場合、部分領域は、入力された撮影画像に対応する数のチャンネル数を有していてもよい。また、部分領域が複数のチャンネルを有する場合でも、１チャンネルごとに個別にＣＮＮへ入力しても構わない。

フィルタ２０２は複数存在する。補正部１０２ｂは、複数のフィルタ２０２のそれぞれと部分領域２０１とのコンボリューションを個別に算出する。フィルタ２０２の係数は、学習情報に基づいて決定される。学習情報は、フィルタ２０２の係数（フィルタ係数）そのもの、または、フィルタ２０２を所定の関数でフィッティングした際の係数でもよい。フィルタ２０２のそれぞれのチャンネル数は、部分領域２０１の数と一致する。部分領域２０１のチャンネル数が２以上の場合、３次元フィルタとなる（３次元目がチャンネル数を表す）。また、コンボリューションの結果に対して、学習情報から決定される定数（負もとり得る）を加算してもよい。

活性化関数ｆ（ｘ）の例として、以下の式（１）〜（３）が挙げられる。

式（１）はシグモイド関数、式（２）はハイパボリックタンジェント関数、式（３）はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）と呼ばれる。式（３）中のｍａｘは、引数のうち最大値を出力するＭＡＸ関数を表す。式（１）〜（３）に示される活性化関数ｆ（ｘ）は、全て単調増加関数である。また、活性化関数としてＭａｘｏｕｔを使用してもよい。Ｍａｘｏｕｔは、第ｎ線型変換の出力である複数の画像のうち、各画素で最大値である信号値を出力するＭＡＸ関数である。Ｍａｘｏｕｔの詳細は、非特許文献４に説明されている。

図１において、第１線型変換および第１非線型変換が施された部分領域を、第１変換部分領域２０３と呼称する。第１変換部分領域２０３の各チャンネル成分は、部分領域２０１と複数のフィルタ２０２のそれぞれとのコンボリューションから生成される。このため、第１変換部分領域２０３のチャンネル数は、フィルタ２０２の数と同じになる。

第２層では、第１変換部分領域２０３に対して、第１層と同様に学習情報から決定される複数のフィルタ２０４とのコンボリューション（第２線型変換）と、活性化関数による非線型変換（第２非線型変換）とを行う。第２層で用いられるフィルタ２０４は、一般的に、第１層で用いられるフィルタ２０２と同一ではない。フィルタ２０４のサイズや数も、フィルタ２０４と一致しなくてもよい。ただし、フィルタ２０４のチャンネル数と第１変換部分領域２０３のチャンネル数とは互いに一致する。補正部１０２ｂは、同様の演算を第Ｎ層まで繰り返す（第ｎ線型変換および第ｎ非線型変換（ｎ＝１〜Ｎ）を実行する）ことにより、中間データ２１０を取得する。

最後に、第Ｎ＋１層において、中間データ２１０と複数のフィルタ２１１のそれぞれとのコンボリューションに定数を加算すること（第Ｎ＋１線型変換）により、不要光成分が低減された補正部分領域２１２が取得される。ここで用いられるフィルタ２１１および定数もそれぞれ、学習情報に基づいて決定される。補正部分領域２１２のチャンネル数は、部分領域２０１と同じである。このため、フィルタ２１１の数も部分領域２０１のチャンネル数と同じである。補正部分領域２１２の各チャンネルの成分は、中間データ２１０とフィルタ２１１のそれぞれ（フィルタ２１１が一つの場合もある）とのコンボリューションを含む演算から求められる。なお、部分領域２０１と補正部分領域２１２とのサイズは互いに一致しなくてもよい。コンボリューションの際に、部分領域２０１の外側にはデータが存在しないため、データの存在する領域のみで演算すると、コンボリューション結果はサイズが小さくなる。ただし、周期境界条件などを設定することにより、サイズを保つこともできる。

また、コンボリューションを行う際に、入力画像を縮小して、縮小した入力画像の大きさに基づいてフィルタのサイズを決定してもよい。不要光成分はある程度大きな領域にまたがっているため、入力画像を大幅に縮小しても不要光成分の情報は残ることが多い。このため、元の大きさの１０分の１や２０分の１などに入力画像を縮小してからフィルタのサイズを決定して、その後にコンボリューションを行うことで処理の高速化を実現することができる。

ディープラーニングが高い性能を発揮できる理由は、非線型変換を多層構造によって何度も実行することにより、高い非線型性が得られるためである。仮に、非線型変換を担う活性化関数が存在せず、線型変換のみでネットワークが構成されていた場合、いくら多層にしてもそれと等価な単層の線型変換が存在するため、多層構造にする意味がない。ディープラーニングは、より多層にする方が強い非線型を得られるため、高い性能が出やすいと言われている。一般に、少なくとも３層以上を有する場合がディープラーニングと呼ばれる。

続いて、図４のステップＳ１０４において、補正部１０２ｂは、撮影画像のうち所定の領域（部分領域）の全てに対して不要光成分の低減が完了したか否かを判定する。所定の領域の全てに対して、不要光成分が低減された補正部分領域２１２が生成されている場合、ステップＳ１０５へ進む。一方、不要光成分の低減が完了していない領域（部分領域）が残っている場合、ステップＳ１０２へ戻り、補正部１０２ｂは、まだ不要光成分が低減されていない部分領域を撮影画像から取得する。

ステップＳ１０５において、補正部１０２ｂは、不要光成分が低減された画像（補正画像）を出力する。不要光成分が低減された画像は、生成された複数の補正部分領域２１２を合成することにより生成される。ただし、部分領域が撮影画像の全体である場合、補正部１０２ｂは、補正部分領域２１２をそのまま不要光成分が低減された画像として出力する。以上の処理により、不要光成分を低減した画像を取得することができる。

なお本実施例では、撮影画像（入力画像）、および、不要光成分が低減された画像（出力画像）が共に１枚の場合を説明した。しかし、本実施例はこれに限定されるものではない。例えば、複数の撮影画像（複数の入力画像）を入力し、複数の撮影画像のそれぞれの不要光成分が低減された複数の出力画像が一括で取得することができるように、ＣＮＮのネットワークを構成してもよい。また、複数の撮影画像を入力し、１枚の不要光成分が低減された画像を取得するように構成してもよい。複数の撮影画像を入力する場合、視点または光源位置が異なる複数の画像を用いることが好ましい。視点や光源位置が変化すると被写体中での不要光成分が出現する位置が異なり、同一の被写体に対して、異なる不要光成分を含む複数の画像を入力することにより、精度を向上することができる。視点や光源位置が異なる複数の画像を用いる場合、撮像装置の位置を変えて同一の被写体を撮影する（構図を変えて撮影する）ことが簡単であるが、本発明はこれに限定されるものではない。また、入力する撮影画像として、複数の色のチャンネルを有する画像を用いることが好ましい。

次に、図５を参照して、本実施例における学習情報の学習について説明する。図５は、学習情報の学習を示すフローチャートである。図５の各ステップは、主に、画像処理部１０２の学習部１０２ａにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、不要光成分を低減する前であれば、撮像装置１００とは別の装置（演算装置）に設けられた学習部で行ってもよい。本実施例では、撮像装置１００の学習部１０２ａが学習情報を学習する場合について説明する。

まずステップＳ２０１において、学習部１０２ａは、少なくとも一対の学習画像を取得する。一対の学習画像とは、不要光成分の有無が異なり、かつ同一の被写体が存在する画像である。不要光成分を含む画像は、不要光成分を含まない画像と一対一に対応しているか、または、１枚の不要光成分を含まない画像に対して複数枚存在していてもよい。後者の場合、不要光成分を含む画像は、被写体中における不要光成分の位置や量が異なる複数の画像である。

学習画像を用意する方法として、シミュレーションや実写画像を用いてもよい。シミュレーションを行う場合、様々な光源位置、光源強度、または、光源色の条件下で、不要光成分の形状または色が異なる複数の画像を生成すればよい。一方、実写画像を用いる場合、光源位置、光源強度、または、光源色が異なる条件で撮影された画像を使用すればよい。光源位置が異なる条件での画像の取得方法としては、撮像装置の位置を変えて同一の被写体を撮影すればよい。また、光源強度が異なる条件での画像の取得方法としては、調光機能を有する光源を用いて光源の強度を変えて撮影すればよい。

また、不要光成分を含む画像に対してディープラーニング以外の手法を用いて不要光成分が低減された画像を推定し、学習画像を用意してもよい。なお学習画像は、様々な不要光成分が含まれる画像を含むことが好ましい。学習画像に含まれない色または形状の不要光成分が存在する画像は、不要光成分を高精度に低減することができないためである。また、学習画像に含まれる不要光成分の有無が異なる画像は一対のみでもよいが、前述の理由により複数の画像を含むことが好ましい。

続いてステップＳ２０２において、学習部１０２ａは、ステップＳ２０１にて取得した学習画像から、複数の学習ペアを取得する。学習ペアは、学習部分領域（学習領域）と学習補正部分領域とからなる。学習補正部分領域は不要光成分を含む画像から取得され、そのサイズはステップＳ１０２にて取得した撮影画像の部分領域と同じである。学習部分領域は不要光成分を含まない画像から取得され、学習部分領域の中心は画像において学習補正部分領域の中心と同じ位置である。そのサイズは、ステップＳ１０３にて生成された補正部分領域と同じである。前述と同様に、学習部分領域と学習補正部分領域のペア（学習ペア）は、一対一に対応している必要はない。一つの学習補正部分領域と、複数の学習部分領域とがペア（グループ）になっていてもよい。

続いてステップＳ２０３において、補正部１０２ａは、複数の学習ペア（学習部分領域と学習補正部分領域）から、学習情報を学習によって取得（生成）する。学習では、不要光成分を低減するネットワーク構造と同じネットワーク構造を使用する。本実施例では、図１に示されるネットワーク構造に対して学習補正部分領域を入力し、その出力結果と学習部分領域との誤差を算出する。この誤差が最小となるように、例えば誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを用いて、第１乃至Ｎ＋１層で用いる複数のフィルタのそれぞれの係数や加算する定数（学習情報）を更新して最適化する。各フィルタの係数および定数の初期値は任意に設定することができ、例えば乱数から決定される。または、各層ごとに初期値を事前学習するＡｕｔｏ Ｅｎｃｏｄｅｒなどのプレトレーニングを行ってもよい。Ａｕｔｏ Ｅｎｃｏｄｅｒの詳細は、非特許文献５に説明されている。

学習ペアの全てをネットワーク構造へ入力し、それら全ての情報を使って学習情報を更新する手法をバッチ学習と呼ぶ。ただし、この学習方法は、学習ペアの数が増えるにつれて計算負荷が膨大になる。逆に、学習情報の更新に一つの学習ペアのみを使用し、更新ごとに異なる学習ペアを使用する学習手法をオンライン学習と呼ぶ。この手法は、学習ペアが増えても計算量が増大しないが、一つの学習ペアに存在するノイズの影響を大きく受ける。このため、これら２つの手法の中間に位置するミニバッチ法を用いて学習することが好ましい。ミニバッチ法は、全学習ペアの中から少数を抽出し、それらを用いて学習情報の更新を行う。次の更新では、異なる小数の学習ペアを抽出して使用する。これを繰り返すことにより、バッチ学習とオンライン学習の不利な点を小さくすることができ、高い不要光低減効果を得やすくなる。

続いてステップＳ２０４において、補正部１０２ａは、学習された学習情報を出力する。本実施例において、学習情報は記憶部１０３に記憶される。以上の処理により、高精度に不要光成分を低減するための学習情報を学習することができる。

また、以上の処理に加えて、ＣＮＮの性能を向上させる工夫を併用してもよい。例えば、ロバスト性の向上のためネットワークの各層において、ドロップアウト（Ｄｒｏｐｏｕｔ）やダウンサンプリングであるプーリング（ｐｏｏｌｉｎｇ）を行ってもよい。または、学習精度の向上のため、学習画像の画素の平均値を０、分散を１に正規化し、隣接する画素の冗長性をなくすＺＣＡホワイトニング（ＺＣＡ ｗｈｉｔｅｎｉｎｇ）などを併用してもよい。ドロップアウトおよびＺＣＡホワイトニングの詳細はそれぞれ、非特許文献６および非特許文献７に説明されている。

本実施例によれば撮影画像から高精度に不要光成分を低減することが可能な撮像装置を提供することができる。

次に、本発明の実施例２における画像処理システムについて説明する。施例の画像処理システムにおいて、不要光成分を低減する画像処理装置と、撮影画像を取得する撮像装置、および、学習を行うサーバが個別に設けられている。また本実施例では、不要光成分を含む領域（不要光領域）の大きさを判定することにより、使用する学習情報を切り替える。不要光領域の大きさに応じて、不要光成分の低減処理に使用する学習情報を個別に学習して使用することにより、より高精度な不要光成分の低減が可能となる。

図６および図７を参照して、本実施例における画像処理システムについて説明する。図６は、画像処理システム２００のブロック図である。図７は、画像処理システム２００の外観図である。図６および図７に示されるように、画像処理システム２００は、撮像装置３００、画像処理装置３０１、サーバ３０５、表示装置３０８、記録媒体３０９、および、出力装置３１０を備えて構成される。

撮像装置３００の基本構成は、不要光成分の補正と学習情報の学習に関する画像処理部を除いて、図２を参照して説明した撮像装置１００と同様である。撮像装置３００を用いて撮影された撮影画像（入力画像）は、画像処理装置３０１に設けられた記憶部３０２に記憶される。画像処理装置３０１は、ネットワーク３０４と有線または無線で接続されており、ネットワーク３０４を介してサーバ３０５にアクセスすることができる。サーバ３０５は、撮影画像から不要光成分を低減するための学習情報を学習する学習部３０７と、学習情報を記憶する記憶部３０６とを有する。画像処理装置３０１に設けられた補正部３０３（画像処理部）は、サーバ３０５の記憶部３０６からネットワーク３０４を介して学習情報を取得し、撮影画像の不要光成分を低減する。補正部３０３により不要光成分が低減された画像等の出力画像は、表示装置３０８、記録媒体３０９、および、出力装置３１０の少なくとも一つに出力される。表示装置３０８は、例えば液晶ディスプレイやプロジェクタである。ユーザは、表示装置３０８を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０９は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバである。出力装置３１０は、例えばプリンタである。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有してもよい。

次に、図８を参照して、不要光成分の低減処理について説明する。図８は、不要光成分の低減処理を示すフローチャートである。図８の各ステップは、主に、画像処理装置３０１の補正部３０３（画像処理部）により実行される。

まずステップＳ３０１において、補正部３０３は、記憶部３０２から、撮影画像（入力画像）を取得する。続いてステップＳ３０２において、補正部３０３は、撮影画像に含まれる不要光領域の大きさを判定する。本実施例では、不要光領域の大きさを判定する方法として、以下に４つの例を示す。

第１の例は、同一の被写体について光源が存在する場合と存在しない場合の画像を用いる方法である。最も単純な手段として、光源を除去すればよい（光源がランプ等であれば電源を切る、太陽であれば太陽が写っている部分を遮光部材で覆い隠すなど）。これにより、光源が存在する場合と存在しない場合とで、不要光成分を含む画像および不要光を含まない画像を生成することが可能であり、それらの差分をとることで不要光成分の大きさを判定することができる。

第２の例は、絞り値が異なる複数の画像を用いる方法である。不要光領域の大きさは絞り値に応じて変化する。このため、絞り値が異なる条件で撮影をすることで、不要光領域の大きさが異なる画像を取得することができる。このため、絞り値が異なる複数の画像同士で差分をとることで、不要光の大きさを判定することができる。

第３の例は、視差画像を用いる方法である。視差が付くことで同じ被写体を撮影した場合でも不要光の強度分布は変化する。このため、視差が異なる条件で撮影をすることで、不要光領域の強度分布が異なる画像を取得することができる。そして、視差が異なる条件で撮影した画像同士の差分をとることで、不要光の大きさを判定することができる。

第４の例は、異なる結像光学系を用いる方法である。結像光学系が異なれば、結像光学系から発生する不要光成分の形状、強度、または、大きさが異なる。このため、異なる結像光学系で撮影した画像同士の差分をとることにより、不要光の大きさを判定することができる。本実施例では、不要光領域の大きさを、検出されたそれぞれの不要光領域における画素数（ピクセル数）で考える。

また、光源に応じて不要光領域の大きさが変わる場合があるため、撮影画像内の複数の位置に対して大きさを判定し、部分領域の位置に応じて学習情報を切り替えてもよい。

続いてステップＳ３０３において、補正部３０３は、ステップＳ３０２にて判定された不要光領域の大きさに基づいて、使用するネットワーク構造と学習情報、および、部分領域のサイズを決定する。本実施例において、補正部３０３は、図１に示されるＣＮＮを利用して不要光成分を低減する。不要光領域が部分領域のサイズよりも大きいと、補正対象の被写体の情報が欠落してしまうため、高精度な不要光成分の低減を行うことができない。また、ＣＮＮでは各層でフィルタをコンボリューションして不要光成分を低減するため、それらのフィルタが影響する範囲を合わせた範囲が、撮影画像の不要光領域よりも小さいと、不要光成分を正しく低減することができない。例えば、全層数が２で、第１層のフィルタサイズが５×５、第２層のフィルタサイズが３×３である場合、ある画素の不要光成分の低減に使用できる範囲は、この画素を中心とした７×７画素である。このため、このネットワーク構造では、不要光領域の大きさが７画素以下になっていない場合、不要光成分を高精度に低減することができない。したがって、不要光領域の大きさに基づいて、ある画素の不要光成分の低減に使用される範囲（各層のフィルタのサイズに応じて決定される）を決定することが好ましい。

また、不要光成分の大きさは、絞り値やズーム位置など、撮影に使用する結像光学系の撮影条件に応じて異なる。このためフィルタのサイズは、撮影条件に基いて決定されることが好ましい。

より詳細には、以下の条件式（４）を満足するように、各層のフィルタのサイズを決定することが好ましい。

条件式（４）において、ｄは撮影画像（入力画像）の画素に対する不要光領域の大きさであり、不要光領域の１次元方向における長さを画素数で表している。Ｎ＋１は全層数である。ｓ_ｍ（ｍ＝１〜Ｎ＋１）は、第ｍ線型変換で使用するフィルタのサイズ（第ｍ線型変換（ｍ＝１〜Ｎ＋１）のそれぞれにおけるフィルタの１次元サイズ）である。第ｍ線型変換で複数のサイズのフィルタが混合して使用される場合、ｓ_ｍは最大のフィルタサイズである。条件式（４）の上限は、ある画素の不要光成分の低減に使用できる範囲が、不要光領域の大きさ以上であることを示している。一方、条件式（４）の下限は、理論的に超えることができない。

ネットワーク構造は、各層で使用するフィルタのサイズだけでなく、一つの層で使用されるフィルタの数や層数なども含む。不要光成分を高精度に低減するには、不要光領域が大きいほど層数やフィルタの数を増やす必要がある。学習情報は、不要光領域の大きさごとに学習されており、その中から撮影画像に含まれる不要光領域の大きさに対応した学習情報を使用する。これにより、より精度の高い不要光成分の低減が可能となる。なお、学習の詳細に関しては後述する。

続いてステップＳ３０４において、補正部３０３は、撮影画像から部分領域（撮影画像の少なくとも一部の領域）を取得する。続いてステップＳ３０５において、補正部３０３は、ステップＳ３０３にて決定された学習情報に基づいて、補正部分領域を生成する。続いてステップＳ３０６において、補正部３０３は、撮影画像のうち所定の領域（部分領域）の全てに対して不要光成分の低減処理が完了したか否かを判定する。所定の領域の全てに対して不要光成分の低減が完了した場合、ステップＳ３０７へ進む。一方、不要光成分の低減が完了していない領域（部分領域）が残っている場合、ステップＳ３０４へ戻り、補正部３０３は、まだ不要光成分が低減されていない部分領域（新たな部分領域）を撮影画像から取得する。ステップＳ３０７において、補正部３０３は、不要光成分が低減された画像を出力する。

なお、撮影画像中の位置に応じて不要光領域の大きさが大きく異なる場合、補正部３０３は、ステップＳ３０４をステップＳ３０２、Ｓ３０３の前に実行することが好ましい。このとき補正部３０３は、ステップＳ３０２、Ｓ３０３において、撮影画像の局所領域に対して不要光領域の大きさを取得し、対応する学習情報などを取得する。

次に、サーバ３０５の学習部３０７により行われる学習情報の学習に関して説明する。本実施例において、学習部３０７は、不要光領域の大きさに応じて異なる学習情報を学習する。また、撮影に使用する結像光学系の光学ごとに、発生する不要光成分は異なるため、撮影に使用する結像光学系ごとに異なる学習情報を有することが好ましい。学習方法は、図５を参照して実施例１にて説明した方法と基本的に同様であるが、学習画像の用意の仕方によりその前処理が異なる。

まず、不要光成分の有無が異なる学習画像をシミュレーションにより生成する場合に関して説明する。この場合、光源の位置や強度などの不要光領域の形状や大きさに関するパラメータを設定して不要光成分を含まない画像から不要光成分を含む画像を生成し、一対の学習画像を得る。学習部３０７は、取得した学習画像に対してステップＳ２０１乃至Ｓ２０４を実行し、その後、異なる不要光領域の大きさに対して同様の手順を繰り返す。また、学習画像のうち不要光成分を含まない画像は、同一の被写体を異なる絞り値、視差、光源の有無、または、異なる結像光学系で撮影して得られた画像である。この理由は、ステップＳ３０２にて説明した内容と同じである。

次に、不要光成分を含む画像から不要光成分を含まない画像を求めて、学習画像を生成する場合に関して説明する。この場合、不要光成分を含まない画像を求める際に不要光成分のみの不要光画像を取得することができ、不要光領域の大きさが求まるため、これにより学習画像を複数のグループに分ける。グループ分けは画像単位で行うことができる。１枚の不要光成分を含む画像内で不要光領域の大きさが変化している場合、画像を分割してグループ分けを行ってもよい。各グループは不要光領域の大きさが近いものが含まれているため、グループごとにステップＳ２０１乃至Ｓ２０４を実行して、学習情報を生成する。

本実施例によれば、撮影画像から高精度に不要光成分を低減することが可能な画像処理システムを提供することができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例の撮像装置は、撮影画像（入力画像）から不要光成分（不要光領域）を推定する。なお、本実施例における撮像装置の構成および外観は、図２および図３を参照して実施例１にて説明した撮像装置１００と同様である。ただし本実施例の撮像装置には、画像処理部として、補正部１０２ｂに代えて推定部が設けられている。

図９を参照して、撮影画像（入力画像）から不要光成分（不要光領域）を推定する処理について説明する。図９は、不要光領域の推定処理を示すフローチャートである。図９の各ステップは、主に、画像処理部１０２の推定部により実行される。

まずステップＳ４０１において、画像処理部１０２（推定部）は、撮影画像（入力画像）と学習情報とを取得する。学習情報の学習に関しては後述する。この学習により、撮影画像の部分領域と部分領域に生じている不要光領域とを結び付ける学習情報が取得されている。続いてステップＳ４０２において、推定部は、撮影画像から、不要光領域を推定するための部分領域を取得する。本実施例において、推定部は、部分領域に含まれる画素（例えば中心画素）に不要光成分が存在するか否かを、その周辺画素（部分領域に含まれている画素）の情報も利用して推定する。

続いてステップＳ４０３において、推定部は、ステップＳ４０１にて取得した学習情報に基づいて、不要光領域を推定する。本実施例において、推定部は、図１０に示されるネットワーク構造を使用して推定を行う。図１０は、本実施例における不要光領域を推定するネットワーク構造を示す図である。図１０において、中間データ４１０の生成までの工程は、図１を参照して実施例１で説明した工程と同様であるため、それらの説明を省略する。すなわち、図１０の部分領域４０１、フィルタ４０２、第１変換部分領域４０３、フィルタ４０４、および、中間データ４１０はそれぞれ、図１の部分領域２０１、フィルタ２０２、第１変換部分領域２０３、フィルタ２０４、および、中間データ２１０に相当する。

本実施例では、第Ｎ＋１層における第Ｎ＋１線型変換として、フルコネクション４１１を実行する。フルコネクション４１１は、入力される中間データ４１０の全信号の線型結合をとる。この際、各信号にかかる係数と加算される定数は、学習情報によって決定される。また、係数と定数は複数種類が存在し、それぞれの係数と定数に対して線型結合が計算され、複数の結果が出力される。フルコネクション４１１で出力された複数の値は、活性化関数によって変換され（第Ｎ＋１非線型変換）、ソフトマックス４１２に入力される。ソフトマックス４１２は、以下の式（５）で表されるソフトマックス関数を計算する。

式（５）において、ベクトルｘは第Ｎ＋１非線型変換で出力された複数の値を成分とする列ベクトル、ベクトルｗは学習情報から決定される係数を成分とした列ベクトルである。ベクトルｗの右肩に付いたＴは、転置を表す。式（５）によって、部分領域４０１に含まれる不要光成分（不要光領域）が、分布４１３ａ〜４１３ｄ（４１３ｅ以降は省略）のいずれであるかの確率を求めることができる。ここで分布とは、部分領域に不要光成分が存在するか否かを示したものであり、白い部分は不要光成分が存在し、黒い部分は不要光成分が存在しないことを示している。式（５）のＫは分布の総数、ｊとｋは分布の番号を示すインデックスである。

続いて、図９のステップＳ４０４において、推定部は、撮影画像のうち所定の領域（部分領域）の全てに対して不要光領域の推定が完了したか否かを判定する。所定の領域の全てに対して推定が完了した場合、ステップＳ４０５へ進む。一方、推定が完了していない領域（部分領域）が残っている場合、ステップＳ４０２へ戻り、推定部は、まだ不要光領域が推定されていない部分領域（新たな部分領域）を撮影画像から取得する。

ステップＳ４０５において、推定部は、所定の領域内の各部分領域における不要光領域の推定結果を出力する。不要光領域の推定結果は、不要光成分が生じた被写体表面の状態を解析するためや、撮影画像から不要光成分を低減するため等に用いることができる。不要光成分を低減する場合、ディープラーニング以外の手法を用いてもよい。

また、不要光成分の発生位置、強度、または、色は、光源の位置、強度、または、色などの光源情報に応じて異なる。このため、不図示であるが、別途光源情報を取得する工程を更に有していることが好ましい。光源情報とは、光源の位置、強度、または、色などの情報であるが、光源に関する情報であればこれらに限定されるものではない。光源情報を用いることにより、不要光成分の位置や大きさをより高精度に推定することができる。光源情報を取得する手法としては、例えば使用する結像光学系よりも広角な光学系で別途撮影して、画面外の光源も含めた画像を用意する方法がある。または、画面内の光源の場合、光源の部分が輝度飽和しない程度に露出を抑えて撮影する方法がある。このような方法により、光源の形状や色情報を取得することが可能である。

また本実施例において、分布４１３ａ〜４１３ｄなどの不要光成分の特徴に関する情報（不要光特徴情報）を取得する工程を更に有することがより好ましい。不要光成分は様々な色や形状が考えられるが、代表的な形状を有しているものも多い。例えば楕円形状や放射形状をした光芒などである。このような形状の不要光成分は事前に不要光特徴情報として記憶部１０３などに記憶しておき、不要光領域の学習や推定に利用することで不要光成分の位置や大きさを高精度に推定することができる。

以上の処理により、不要光成分を含む撮影画像から、不要光領域を高精度に推定することができる。

次に、図１１を参照して、本実施例における学習情報の生成に関して説明する。図１１は、学習情報の学習を示すフローチャートである。図１１の各ステップは、主に、画像処理部１０２の学習部１０２ａにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、撮像装置１００とは別の装置（演算装置）に設けられた学習部で行ってもよい。本実施例では、実施例１と同様に、撮像装置１００の学習部１０２ａが学習情報を学習する場合について説明する。

まずステップＳ５０１において、学習部１０２ａは、学習画像を取得する。本実施例では、シミュレーションにより作成した不要光成分の有無が異なる画像を学習画像とする。学習画像は単数でも複数でもよい。ただし、不要光領域を精度よく推定するには、異なる不要光成分が学習画像に含まれている必要がある。

続いてステップＳ５０２において、学習部１０２ａは、ステップＳ５０１にて取得した学習画像から、複数の学習ペアを取得する。本実施例において、学習ペアは、学習画像（不要光成分を含む画像）の部分領域（学習用不要光部分領域）、および、この部分領域に作用している不要光成分（分布）に関する情報（不要光特徴情報）である。分布に関する情報とは、複数の変形分布のうち特定の分布を示す番号である。複数の分布は、図１０に示される分布４１３ａ〜４１３ｄ（４１３ｅ以降は省略）であり、これらは事前に用意されて記憶部１０３に記憶されている。

続いてステップＳ５０３において、学習部１０２ａは、学習ペア（不要光成分に関する情報と学習用不要光部分領域）に基づいて、学習情報を生成する。学習情報の生成には、図１０のネットワーク構造が用いられる。続いてステップＳ５０４において、学習部１０２ａは、生成された学習情報を出力する。本実施例において、実施例２と同様に、不要光領域の大きさごとに学習情報を用意してもよい。

本実施例によれば、撮影画像から高精度に不要光成分（不要光領域）を推定することが可能な撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮影画像から不要光成分を高精度に推定または低減することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

１０２ 画像処理部
１０２ｂ、３０３ 補正部（画像処理部）
１０３、３０２ 記憶部
３０１ 画像処理装置

Claims (20)

1. 不要光成分を含む入力画像の少なくとも一部の領域を取得する工程と、
   前記不要光成分に関して予め学習された学習情報を取得する工程と、
   前記学習情報を用いて前記領域における前記不要光成分を推定または低減する工程と、を有し、
   前記不要光成分を推定または低減する工程は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、
   前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成する工程と、
   前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する工程と、を含むことを特徴とする画像処理方法。
2. 前記不要光成分を推定または低減する工程において、光源の位置、強度、または、色に基づいて前記不要光成分を推定または低減することを特徴とする請求項１に記載の画像処理方法。
3. 前記不要光成分を含む不要光領域の大きさを取得する工程を更に有し、
   前記領域の大きさまたは前記学習情報は、前記不要光領域の大きさに基づいて決定されることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記不要光領域の大きさは、前記入力画像とは異なる絞り値、視差、光源の有無、または、異なる結像光学系で得られた画像を用いて算出されることを特徴とする請求項３に記載の画像処理方法。
5. 前記第ｎ線型変換（ｎ＝１〜Ｎ）のそれぞれは、前記学習情報に基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記領域における前記不要光成分を低減する工程において、前記第Ｎ＋１線型変換は、前記学習情報に基づくフィルタとのコンボリューションを含むことを特徴とする請求項５に記載の画像処理方法。
7. 前記フィルタのサイズは、前記コンボリューションを行う前に縮小した前記入力画像の大きさに基づいて決定されることを特徴とする請求項６に記載の画像処理方法。
8. 前記第ｎ線型変換（ｎ＝１〜Ｎ）および前記第Ｎ＋１線型変換のそれぞれにおける前記フィルタのサイズは、不要光領域の大きさに基づいて決定されることを特徴とする請求項６または７に記載の画像処理方法。
9. 前記第ｎ線型変換（ｎ＝１〜Ｎ）および前記第Ｎ＋１線型変換のそれぞれにおける前記フィルタのサイズは、撮影条件に基づいて決定されることを特徴とする請求項６に記載の画像処理方法。
10. 前記入力画像の画素に対する不要光領域の大きさをｄ、前記第ｎ線型変換（ｎ＝１〜Ｎ）および前記第Ｎ＋１線型変換のそれぞれにおける前記フィルタの１次元サイズをｓ_ｍ（ｍ＝１〜Ｎ＋１）とするとき、
    
    なる条件式を満足することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
11. 前記学習情報は、前記不要光成分の有無が異なり、かつ同一の被写体が存在する少なくとも一対の学習画像を用いて学習された情報であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 前記学習情報は、光源の位置、強度、または、色に基づいて学習された情報であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 前記学習情報は、前記不要光成分の特徴に関する不要光特徴情報を用いて学習された情報であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
14. 前記学習情報は、撮影に使用する結像光学系に応じて異なることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理方法。
15. 前記学習画像のうち前記不要光成分を含まない画像は、同一の被写体を異なる絞り値、視差、光源の有無、または、異なる結像光学系で撮影して得られた画像であることを特徴とする請求項１１に記載の画像処理方法。
16. 前記学習画像は、シミュレーションにより生成された画像であることを特徴とする請求項１１に記載の画像処理方法。
17. 不要光成分に関する学習情報を記憶する記憶部と、
    前記学習情報を用いて入力画像の少なくとも一部の領域における前記不要光成分を推定または低減する画像処理部と、を有し、
    前記画像処理部は、Ｎを２以上の整数、ｎを１からＮまでの整数とするとき、
    前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第ｎ線型変換と、非線型関数による第ｎ非線型変換とをｎが１からＮになるまで順に実行することで中間データを生成し、
    前記中間データに対して、前記学習情報に基づく少なくとも一つの線型関数による第Ｎ＋１線型変換を実行する、ことを特徴とする画像処理装置。
18. 被写体空間の像を入力画像として取得する撮像部と、
    請求項１７に記載の画像処理装置と、を有することを特徴とする撮像装置。
19. 請求項１乃至１６のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
20. 請求項１９に記載のプログラムを記憶していることを特徴とする記憶媒体。