JP2017076883A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】画像回復処理に要する時間を短縮しつつ、良好な画像回復処理を行う。【解決手段】画像処理装置１０４は、入力画像の生成時における撮像パラメータに応じたＯＴＦデータを用いて画像回復フィルタを生成し、入力画像に対して画像回復フィルタを用いた画像回復処理を行う。該装置は、入力画像としての第１の画像に対する画像回復フィルタである第１のフィルタの生成に用いられたＯＴＦデータを第１の画像の撮像パラメータに対応付けて記憶手段１０８に記憶させる。第１の画像とは異なる入力画像としての第２の画像に対する画像回復フィルタである第２のフィルタを生成する際に、記憶手段に記憶されたＯＴＦデータにおいて第２の画像の撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられたＯＴＦデータとしての利用可能ＯＴＦデータを探索し、該利用可能ＯＴＦデータを用いて第２のフィルタを生成する。【選択図】図１

Description

本発明は、撮像により生成された画像に対する画像処理（画像回復処理）を行う画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系のＯＴＦは、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じてＲＧＢ等の色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明が無い限り、色ずれを倍率色収差と同じものとして扱う。

劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系のＯＴＦの情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系のＯＴＦの情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。そして、詳細は後述するが、画像回復処理の方法の１つとして、ＯＴＦの逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復処理を効果的に行うためには、光学系のより正確なＯＴＦを得る必要があるが、ＯＴＦは光学系の種類、焦点距離、絞り値、被写体までの距離等の撮像装置の撮像パラメータの組み合わせによって変化する。このため、画像回復処理に用いる画像回復フィルタまたはＯＴＦも撮像パラメータの組み合わせに応じて変更する必要がある。

ただし、全ての撮像パラメータの組み合わせに対応する画像回復フィルタやＯＴＦのデータを保持しようとすると、保持するデータ量が膨大になる。保持するデータ量を削減するためには、保持するデータとしての画像回復フィルタやＯＴＦを離散的な撮像パラメータに対応するものに限定することが考えられる。また、ＯＴＦを近似する近似式の係数のデータを保持することで、ＯＴＦや画像回復フィルタを直接保持する場合よりもデータ量を削減することもできる。この場合、係数を近似式に代入してＯＴＦを取得し、該ＯＴＦから画像回復フィルタを生成する。

これらの方法により保持データ量を削減することはできるが、さらなる問題として、撮像パラメータが異なる撮像により得られた複数の画像に対して画像回復処理を行う場合、画像ごとにＯＴＦを取得して画像回復フィルタを生成する必要があることが挙げられる。

特許文献１には、ＯＴＦを用いて生成した画像回復フィルタを保持しておき、撮像時の撮像パラメータからその保持した画像回復フィルタの再利用の可否を判断する方法が開示されている。この方法では、画像回復フィルタの再利用が可能な場合には、保持している画像回復フィルタを再利用する。また、特許文献２には、ある撮像パラメータ範囲内（互いに若干異なる撮像パラメータ）での撮像により得られた複数の画像に対して同じ画像回復フィルタ（または同じＯＴＦから生成した画像回復フィルタ）を用いて画像回復処理を行う方法が開示されている。

特開２０１３−１６１２７８号公報 特開２０１２−１５６７１４号公報

しかしながら、特許文献１にて開示された方法では、保持している画像回復フィルタに対応する撮像パラメータとは異なる撮像パラメータでの撮像により得られた画像に対して画像回復フィルタを生成するためには、その撮像パラメータの取得から処理を行う。このため、画像回復フィルタの生成に時間を要する。

また、特許文献２にて開示された方法では、若干ではあっても互いに異なる撮像パラメータでの撮像により得られた画像に対して同じ画像回復フィルタを用いるため、それら全ての画像に対して必ずしも良好な画像回復処理を行うことができるとは限らない。

本発明は、保持データ量を削減するとともに、画像回復処理に要する時間を短縮しつつ、撮像パラメータが異なる撮像により得られたそれぞれの画像に対して良好な画像回復処理を行えるようにした画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、撮像パラメータが可変である撮像手段により生成された入力画像に対する処理を行う。該画像処理装置は、入力画像の生成時における撮像パラメータに応じた撮像手段の光学伝達関数に関するデータとしてのＯＴＦデータを取得し、該ＯＴＦデータを用いて画像回復フィルタを生成するフィルタ生成手段と、入力画像に対して画像回復フィルタを用いた画像回復処理を行う画像回復処理手段と、入力画像としての第１の画像に対する画像回復フィルタである第１のフィルタの生成に用いられたＯＴＦデータを、第１の画像の生成時における撮像パラメータに対応付けて記憶手段に記憶させる記憶処理手段とを有する。フィルタ生成手段は、第１の画像とは異なる入力画像としての第２の画像に対する画像回復フィルタである第２のフィルタを生成する際に、記憶手段に記憶された少なくとも１つのＯＴＦデータにおいて、第２の画像の生成時における撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられたＯＴＦデータとしての利用可能ＯＴＦデータの探索を行い、利用可能ＯＴＦデータが存在する場合には該利用可能ＯＴＦデータを用いて第２のフィルタを生成することを特徴とする。

なお、上記撮像手段と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、撮像パラメータが可変である撮像手段により生成された入力画像に対する処理をコンピュータに実行させるコンピュータプログラムである。上記処理は、入力画像の生成時における撮像パラメータに応じた撮像手段の光学伝達関数に関するデータとしてのＯＴＦデータを取得し、該ＯＴＦデータを用いて画像回復フィルタを生成するフィルタ生成処理と、入力画像に対して画像回復フィルタを用いた画像回復処理を行う画像回復処理と、入力画像としての第１の画像に対する画像回復フィルタである第１のフィルタの生成に用いられたＯＴＦデータを、第１の画像の生成時における撮像パラメータに対応付けて記憶手段に記憶させる記憶処理とを含む。フィルタ生成処理は、第１の画像とは異なる入力画像としての第２の画像に対する画像回復フィルタである第２のフィルタを生成する際に、記憶手段に記憶された少なくとも１つのＯＴＦデータにおいて、第２の画像の生成時における撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられたＯＴＦデータとしての利用可能ＯＴＦデータの探索を行い、利用可能ＯＴＦデータが存在する場合には該利用可能ＯＴＦデータを用いて第２のフィルタを生成することを特徴とする。

本発明によれば、保持データ量を削減するとともに、画像回復フィルタの生成、つまりは画像回復処理に要する時間を短縮しつつ、撮像パラメータが異なる撮像により得られたそれぞれの画像に対して良好な画像回復処理を行うことができる。

本発明の実施例である画像処理装置を含む撮像装置の構成を示すブロック図。 実施例におけるＲＡＷデータを示す図。 実施例である撮像装置の画像処理部の構成を示すブロック図。 実施例における色成分および画像回復成分を示す図。 実施例における色成分別の周波数特性を示す図。 実施例における画像回復処理を示すフローチャート。 実施例における画像回復フィルタを示す図。 実施例における画像回復フィルタを示す図。 実施例１における処理を示すフローチャート。 実施例２における処理を示すフローチャート。 実施例３における処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。
「入力画像」
入力画像は、撮像装置において撮像光学系により形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像であり、例えばＲＧＢ色成分の情報を有するＲＡＷ画像（ＲＡＷデータ）である。入力画像は、レンズや光学フィルタ等の光学素子を含む撮像光学系の収差を含む光学伝達関数（以下、ＯＴＦという）により劣化した画像である。

撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、撮像光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いて入力画像を生成する信号処理部により撮像系が構成される。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。

入力画像や出力画像には、撮像光学系の焦点距離および絞り値や撮像距離（被写体距離）等の撮像パラメータや、入力画像を補正するための各種補正情報が付帯されていてもよい。
［画像回復処理］
撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（以下、ＯＴＦという）のフーリエペアである点像分布関数（以下、ＰＳＦという）をｈ（ｘ，ｙ）とする。この場合、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
この式（１）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈ（ｕ，ｖ）はＰＳＦであるｈ（ｘ，ｙ）をフーリエ変換して得られたＯＴＦである。Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ），ｆ（ｘ，ｙ）をフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下の式（３）ように、上記式（２）の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
ここで、Ｈ^−１（ｕ，ｖ）を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
式（４）中のＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元画像であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、ＰＳＦの広がり幅等に応じて実現可能なタップ数が設定される。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、ＯＴＦに基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

ただし、実際の画像にはノイズ成分が含まれる。このため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮像光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮像光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。したがってノイズ成分が含まれる入力画像からは鑑賞用画像として良好な回復画像が得られない。

ノイズ成分が含まれる画像を画像回復する方法としては、例えば式（５）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）を示す。後述する実施例では、式（５）のＭ（ｕ，ｖ）が画像回復フィルタの周波数特性を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。画像回復フィルタの具体例については後述する。

図１には、本発明の実施例１である画像処理装置を搭載した撮像装置１００の構成を示している。撮像装置１００において、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１は、不図示の被写体から光束を結像させ、撮像素子１０２上に被写体像を形成する。本実施例では、撮像光学系１０１は交換レンズとして構成され、撮像装置本体に取り外し可能に装着されている。ただし、撮像光学系１０１が撮像装置１００に一体に設けられていてもよい。

撮像光学系１０１の絞り値は、絞り１０１ａによって設定される。絞り１０１ａが形成する絞り開口径を増減させることで、所定の複数の絞り値を設定可能である。

撮像素子１０２は、撮像光学系１０１により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子１０２から出力されたアナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１０４に入力される。撮像光学系１０１および撮像素子１０２により撮像手段が構成される。

画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行うことで、ＲＡＷ画像としての撮像画像を生成する。そして、画像処理装置としての画像処理部１０４は、生成した撮像画像を、前述した画像回復処理およびその他の画像処理用の入力画像として取得する。すなわち、画像処理部１０４は、撮像画像を取得する画像取得手段を含む。

また、画像処理部１０４は、状態検知部１０７から撮像装置１００における可変の撮像パラメータの情報を取得する。本実施例における撮像パラメータは、撮像光学系１０１（交換レンズ）の種類（以下、レンズ種類という）と、撮像に際しての撮像光学系１０１の絞り値（以下、撮像絞り値という）と、撮像光学系１０１がズームレンズである場合のその焦点距離とを含む。また、撮像パラメータは、フォーカスレンズ１０１ｂの位置に対応する撮像距離（または被写体距離）および撮像素子１０２のＩＳＯ感度を含む。なお、撮像パラメータは、必ずしもこれらレンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度を全て含む必要はなく、これらのうち少なくとも１つを含めばよい。

状態検知部１０７は、システムコントローラ１１０から直接に撮像パラメータの情報を取得することが可能であり、撮像光学系１０１に関する撮像パラメータの情報は撮像光学系１０１の動作を制御する光学系制御部１０６から取得することもできる。

記憶部１０８は、画像回復フィルタを生成するためのＯＴＦのデータまたは該ＯＴＦを用いた演算処理の結果を示すデータ（以下、これらのデータをまとめて、ＯＴＦに関するデータという）を記憶（保持）している。記憶部１０８は、データ記憶手段に相当する。

さらに、画像処理部１０４は、画像回復処理部１１１と補正処理部１１２とを含む。画像回復処理部１１１は、記憶部１０８から撮像パラメータに応じた画像回復フィルタを読み出し、該画像回復フィルタを用いて撮像画像に対して画像回復処理を行うことで回復画像を生成する。記憶部１０８にＯＴＦに関するデータが記憶されている場合は、画像回復処理部１１１は撮像パラメータに応じたＯＴＦに関するデータを読み出し、該撮像パラメータに応じた画像回復フィルタを生成して画像回復処理を行う。また、画像回復処理部１１１は、画像回復フィルタの生成に用いたＯＴＦに関するデータを記憶部１０８に記憶させる。画像回復処理部１１１は、フィルタ生成処理を行うフィルタ生成手段、画像回復処理を行う画像回復処理手段および記憶処理を行う記憶処理手段として機能する。

補正処理部１１２は、画像回復処理前の撮像画像または回復画像に対して、画像回復処理以外の画像処理を行う。例えば、画像回復処理部１１１にて生成される回復画像は各画素がＲＧＢの３つの色成分のうち１つの色成分しか有さない画像であるため、補正処理部１１２は回復画像に対して画素補間処理を行うことで、各画素が全ての色成分を有する出力画像を生成する。

画像処理部１０４で生成された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５は、出力画像に対して所定の表示処理を行い、該表示処理後の表示用画像を表示する。

以上のように構成される撮像装置１００における全ての動作や処理は、システムコントローラ１１０により制御される。また、撮像光学系１０１の絞り１０１ａおよびフォーカスレンズ１０１ｂの駆動は、システムコントローラ１１０からの指示に基づいて光学系制御部１０６が制御する。

撮像光学系１０１は、光学ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含んでもよい。光学ローパスフィルタ等のＯＴＦに影響を与える光学フィルタを用いる場合には、その影響に対応する画像回復フィルタを生成することが好ましい。赤外カットフィルタを用いる場合においても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルのそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。また、撮像素子１０２の画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮して画像回復フィルタを生成することが好ましい。

図３には、本実施例の画像処理部１０４における処理ブロックを示す。画像回復処理部１１１に入力される撮像画像は各画素に１色の色成分を持つＲＡＷデータであり、その例を図２に示す。図２には、１画素がＲ，ＧまたはＢの色成分を有するベイヤー配列のＲＡＷデータを示している。

本実施例では、画像回復処理部１１１においてＧ成分をＧ１とＧ２に分離し、Ｒ，Ｇ１，Ｇ２，Ｂの４つの画像回復成分に対して画像回復フィルタを適用する。図３に示すように４つの画像回復成分はそれぞれ、４つの回復フィルタ適用部１１１０〜１１１３に入力される。

ＲＡＷデータにおける各色成分と各画像回復成分の例を図４に示す。図４（ａ），（ｂ），（ｃ）はそれぞれ、ＲＡＷデータにおける３つの色成分であるＧ成分、Ｒ成分およびＢ成分を示している。図中に白で示す画素がそれぞれの色成分を表している。本実施例では図４（ａ）に示すＧ成分を、図４（ｄ），（ｅ）に示すＧ１成分とＧ２成分とに分けて、Ｒ，Ｇ１，Ｇ２，Ｂのそれぞれに対して画像回復処理を行う。これにより、画像回復成分Ｒ、画像回復成分Ｂ、画像回復成分Ｇ１および画像回復成分Ｇ２を生成する。

図５（ａ），（ｂ）には、撮像素子１０２における色成分ごとの画素配列の周波数特性を示している。これらの図において、図４（ａ）〜（ｅ）で示した各色成分の光を感知できる画素（白）を１とし、光を感知できない画素（黒）を０として、それぞれの画素をｍ＿Ｇ（ｘ，ｙ），ｍ＿Ｒ（ｘ，ｙ），ｍ＿Ｂ（ｘ，ｙ），ｍ＿Ｇ１（ｘ，ｙ），ｍ＿Ｇ２（ｘ，ｙ）とする。図５（ａ），（ｂ）に示した周波数特性は、ｍ＿Ｇ（ｘ，ｙ），ｍ＿Ｒ（ｘ，ｙ），ｍ＿Ｂ（ｘ，ｙ），ｍ＿Ｇ１（ｘ，ｙ），ｍ＿Ｇ２（ｘ，ｙ）をフーリエ変換したものに相当する。

図５（ａ）は図４（ａ）に示したＧ成分の周波数特性を示している。この周波数特性は、図中に●で示す位置にのみ１が存在するくし型関数として表現される。一方、図５（ｂ）は図４（ｂ），（ｃ）に示したＲ成分およびＢ成分の周波数特性を示しており、この周波数特性に対して図５（ａ）に示したＧ成分の周波数特性は異なっている。しかし、Ｇ成分をＧ１成分とＧ２成分に分離した場合の周波数特性は、Ｒ成分やＢ成分と同様に図５（ｂ）に示すようになる。

Ｒ，Ｇ，Ｂの３つの色成分に対する画像回復処理は、図５（ａ），（ｂ）に示した通りＧ成分とＲ成分およびＢ成分とで周波数特性が異なることから、画像の高周波成分を含む領域で本来画像に存在しなかった偽色が発生する原因になる。このため、本実施例では、Ｇ成分をＧ１成分とＧ２成分に分離することで、Ｒ，Ｇ１，Ｇ２およびＢ成分のそれぞれの画素配列が互いに同じ周波数特性を示すようにする。これにより、画像回復処理の対象となる周波数帯域が共通になるため、画像回復処理による偽色の発生を抑えることができる。

Ｒ，Ｇ，Ｂの３つの色成分に対して画像回復処理を行う場合も、Ｇ成分に適用する画像回復フィルタの作り方によってはＧ成分の周波数帯域をＲ成分やＢ成分の周波数帯域に一致させることは可能である。ただし、その場合に回復される周波数帯域はＧ成分をＧ１成分とＧ２成分に分離した場合と同等である。前述したように画像回復処理では画像回復フィルタのコンボリューションを行うため、Ｇ成分をＧ１成分とＧ２成分に分離してから画像回復処理を行う方が、処理負荷の観点から有利である。

次に、本実施例において画像処理部１０４（画像回復処理部１１１）が行う画像回復処理の基本的な流れについて、図６のフローチャートを用いて説明する。画像処理コンピュータである画像処理部１０４は、コンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。このことは、後述する他のフローチャートで示す画像回復処理についても同じである。

ステップＳ２０１では、画像回復処理部１１１は、状態検知部１０７から前述した撮像パラメータの情報を取得する。

次にステップＳ２０２では、画像回復処理部１１１は、Ｒ，ＧおよびＢ成分を含む入力画像としてのＲＡＷデータから、図４（ｂ）〜（ｅ）に示したＲ，Ｇ１，Ｇ２およびＢ成分のデータ（以下、色成分データという）を生成する。この際、画像回復処理の対象となる色成分（以下、処理対象色成分という）以外の色成分の部分に０を設定したデータとして、Ｒ，Ｇ１，Ｇ２，Ｂをそれぞれ処理対象色成分とする４つの色成分データを生成してもよい。また、処理対象色成分以外の色成分の部分を間引いた１／４サイズのデータとして、Ｒ，Ｇ１，Ｇ２，Ｂをそれぞれ処理対象色成分とする４つの色成分データを生成してもよい。

次にステップＳ２０３では、画像回復処理部１１１は、ステップＳ２０１で取得した撮像パラメータに対応する画像回復フィルタであって、Ｒ，Ｇ１，Ｇ２，Ｂ成分のそれぞれに適用する４つの画像回復フィルタを図１に示した記憶部１０８から読み出す（選択する）。

このとき、記憶部１０８での保存データ量を低減するために、予め離散的に選択された複数の撮像パラメータに対応する画像回復フィルタのデータのみが記憶部１０８に保存されている場合がある。この場合は、離散的な複数の撮像パラメータのうち実際の撮像パラメータに近い２つ以上の撮像パラメータに対応する画像回復フィルタのデータを用いた補間処理によって、実際の撮像パラメータに対応する画像回復フィルタを生成するようにしてもよい。また、記憶部１０８に画像回復フィルタを生成するためのＯＴＦに関するデータが保存されている場合は、撮像パラメータに対応するＯＴＦに関するデータから画像回復フィルタを生成する。

画像回復フィルタを図７（ａ），（ｂ）を用いて説明する。これらの図に示す画像回復フィルタは、各画素がＲＧＢの３つの色成分を有する画像の各色成分データ（各色プレーン）に適用する画像回復フィルタの例である。画像回復フィルタは、撮像光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。この例では、１１×１１タップの２次元画像回復フィルタを示している。このように画像回復フィルタを１００以上のタップ数を有する２次元フィルタとすることで、撮像光学系において発生する球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差による劣化を良好に回復することができる。

図７（ａ）では、各タップ内の値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図７（ｂ）に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。

画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する画素に対してコンボリューション（畳み込み積分や積和ともいう）される。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。

画像回復フィルタは、撮影光学系のＯＴＦの逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合には、式（５）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。また、画像回復フィルタを生成するためのＯＴＦには、撮像光学系のみならず、画像処理部１０４に入力される撮像画像に対するＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制し、また、撮像素子の画素開口の形状や開口率もＯＴＦの周波数特性に影響する。他にも、光源の分光特性や各種波長フィルタの分光特性がＯＴＦの周波数特性に影響する。これらを含めた広義のＯＴＦに基づいて画像回復フィルタを作成することが望ましい。

なお、上記４つの色成分データのそれぞれに対して生成される画像回復フィルタは、色収差に応じて互いに若干異なる。すなわち、図７（ｂ）に示す断面図が画像回復フィルタごとに異なる。また、画像回復フィルタのタップ配列は、必ずしも図７（ａ）に示したような正方配列である必要はなく、任意に設定することができる。

各色プレーンに適用する画像回復フィルタに対して、図８（ａ），（ｂ）には、各画素が１つの色成分のみを有するＲＡＷデータに適用する画像回復フィルタの例を示す。この画像回復フィルタは、処理対象色成分を有する画素に対して０以外のフィルタ係数を保持する画像回復フィルタであり、０以外のフィルタ係数を保持する箇所を図中に白で示し、０のフィルタ係数を保持する箇所を黒で示している。

図８（ａ）には、Ｒ，Ｇ，Ｂの３つの色成分に対し画像回復処理を行う場合におけるＲ成分およびＢ成分に適用する画像回復フィルタを示し、図８（ｂ）にはＧ成分に適用する画像回復フィルタを示す。ただし、本実施例ではＧ成分をＧ１成分とＧ２成分に分離してそれらに画像回復フィルタを適用するため、Ｒ，Ｇ１，Ｇ２およびＢ成分のいずれにも図８（ａ）に示す画像回復フィルタを用いる。

図６において、次にステップＳ２０４では、画像回復処理部１１１は、ステップＳ２０３で選択した色成分（Ｒ，Ｇ１，Ｇ２，Ｂ）ごとの画像回復フィルタを、対応する色成分の各画素に対してコンボリューションする。このコンボリューション処理により、撮像光学系１０１で発生した収差による画像の劣化成分を除去または低減することができる。また、色成分ごとに画像回復フィルタを用いることで色収差も補正することができる。

本実施例で行うコンボリューション処理は、図４（ｂ）〜（ｅ）に示した4つの色成分データに対して図８（ａ）に示した画像回復フィルタをコンボリューションする処理である。この処理において、ステップＳ２０２で分離した各色成分データの種類に応じて画像回復フィルタの保持方法や適用方法を適宜変更すればよい。例えば、処理対象色成分以外の色成分の部分に０を設定したＲ，Ｇ１，Ｇ２，Ｂの色成分データを用意した場合は、コンボリューションを行う画素を処理対象色成分の画素に限定することで、余計な演算を省くことができる。また、処理対象色成分以外の色成分の部分を間引いた１／４サイズのＲ，Ｇ１，Ｇ２，Ｂの色成分データを用意した場合は、使用されるフィルタ係数以外の係数を間引いた画像回復フィルタを用意する。これにより、１／４サイズの色成分データにそのまま該画像回復フィルタを適用することができる。

これらいずれの場合に用いる画像回復フィルタでも、図７（ａ）に示した各画素がＲＧＢの３つの色成分を有する画像に適用する画像回復フィルタや図８（ｂ）に示した分離されないＧ成分に適用する画像回復フィルタに比べて、有効なフィルタ係数の数が少ない。このため、コンボリューション処理の負荷を低減することができる。こうして、画像回復処理部１１１による画像回復処理が終了する。

なお、ＯＴＦは同じ撮像パラメータにおいても像高（画角）に応じて変化する。このため、画像回復フィルタを像高ごとに変更して画像回復処理を行うことが望ましい。具体的には、ステップＳ２０３とＳ２０４において、各色成分データの画素ごとに異なる画像回復フィルタを選択して適用することが望ましい。

また、本実施例では、画像回復フィルタの適用を画像回復処理として説明しているが、歪曲補正処理、周辺光量補正処理およびノイズ低減処理等の他の処理を図６に示した処理の前後や途中に挿入して、それらを含む全体の処理を画像回復処理としてもよい。

画像回復処理部１１１にて画像回復処理が行われた４つの色成分データは、補正処理部１１２に入力される。これら４つの色成分データはベイヤー配列における色成分ごとのデータであるので、補正処理部１１２はこれらの色成分データに対して補間処理を行うことで画素ごとにＲ，Ｇ，Ｂの３つの色成分を有する画像データを生成する。また、補正処理部１１２は、この補間処理の他に、ガンマ補正やカラーバランス調整等の現像処理を行い、最終的な出力画像のデータを生成する。

次に、本実施例における画像回復処理（画像回復方法）について、図９に示すフローチャートを用いて説明する。ステップＳ３０１において、画像回復処理部１１１は、今回の画像回復処理の対象である撮像画像（第２の画像：以下、今回の処理対象画像という）に対して適用する画像回復フィルタ（第２のフィルタ）の生成に必要なＯＴＦに関するデータの算出処理を行う。具体的には、画像回復処理部１１１は、処理対象画像の色成分データに対する画像回復処理において用いる画像回復フィルタの生成に必要なＯＴＦに関するデータ（以下、必要ＯＴＦデータという）を算出する。

次にステップＳ３０２では、画像回復処理部１１１は、データ検索処理を行う。本実施例では、以前に別の撮像画像（第１の画像）に対して画像回復処理を行った際に画像回復フィルタ（第１のフィルタ）を生成するために必要な演算処理が行われたＯＴＦに関するデータ（以下、処理済みＯＴＦデータという）が記憶部１０８に記憶されている。画像回復フィルタを生成するために必要な演算処理（以下、フィルタ生成用演算処理という）は、後に説明するステップＳ３０６で行われる。画像回復処理部１１１は、ステップＳ３０１で算出した必要ＯＴＦデータに対して、記憶部１０８内に再利用可能な使用済みＯＴＦデータ（利用可能ＯＴＦデータ）が存在するか否かを検索する。本実施例において処理済みＯＴＦデータが再利用可能か否かは、撮像画像の生成時の撮像パラメータ（以下、単に撮像画像の撮像パラメータという）に基づいて判定する。

前述したように、本実施例における撮像パラメータは、レンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度であり、記憶部１０８に記憶されている処理済みＯＴＦデータは上記別の撮像画像の撮像パラメータに対応付けられている。画像回復処理部１１１は、処理済みＯＴＦデータに対応付けられた撮像パラメータと今回の処理対象画像の撮像パラメータとを比較する。そして、これら撮像パラメータが一致する場合に、その撮像パラメータに対応する処理済みＯＴＦデータが再利用可能と判定する。

次にステップＳ３０３では、画像回復処理部１１１は、ステップＳ３０２において再利用可能な処理済みＯＴＦデータが存在したか否かを判定し、存在した場合はステップＳ３０４に進み、存在しなかった場合はステップＳ３０５に進む。

ステップＳ３０４では、画像回復処理部１１１は、記憶部１０８から、今回の処理対象画像の撮像パラメータに対応する、つまりは再利用可能な処理済みＯＴＦデータを取得する。そして、ステップＳ３０８に進む。

一方、ステップＳ３０５では、画像回復処理部１１１は、記憶部１０８から、今回の処理対象画像の撮像パラメータに対応するＯＴＦに関するデータとして、まだフィルタ生成用演算処理が行われていないデータを取得する。以下の説明において、このフィルタ生成用演算処理が行われていないＯＴＦに関するデータを、未処理ＯＴＦデータという。

そして、次のステップＳ３０６では、画像回復処理部１１１は、ステップＳ３０５で取得した未処理ＯＴＦデータに対してフィルタ生成用演算処理を行う。フィルタ生成用演算処理は、具体的には、フィルタ生成に使用する各ＯＴＦデータに対して、撮像パラメータに応じてそれぞれ重み付けを行う。

さらにステップＳ３０７では、画像回復処理部１１１は、ステップＳ３０６でフィルタ用演算処理の結果得られた処理済みＯＴＦデータを、今回の処理対象画像の撮像パラメータに対応付けて記憶部１０８に記憶させる。そして、ステップＳ３０８に進む。

ステップＳ３０８では、画像回復処理部１１１は、Ｒ，Ｇ１，Ｇ２，Ｂの色成分データごとの必要ＯＴＦデータに対応する処理済みＯＴＦデータを全て取得したか否か、すなわち画像回復処理に使用する全ての画像回復フィルタの生成が可能か否かを判定する。全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得していない場合は、ステップＳ３０２に戻ってステップＳＳ３０４またはステップＳＳ３０５〜Ｓ３０７の処理を繰り返す。全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得した場合はステップＳ３０９に進む。

前述したように、本実施例では、画像回復処理部１１１は、ステップＳ３０２〜Ｓ３０８において１つの必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得する処理を行う。そして、４つの色成分データのそれぞれに対する必要ＯＴＦデータに対応する処理済みＯＴＦデータの全てが取得されるまでそれを繰り返す。これに対して、ステップＳ３０２で４つの色成分データの全てに対する必要ＯＴＦデータを算出し、続くステップＳ３０３〜Ｓ３０７にてこれら必要ＯＴＦデータに対応する処理済みＯＴＦデータを一括して取得してもよい。

例えば、ステップＳ３０２で８つの必要ＯＴＦデータが算出され、そのうちの一部（ここでは４つ）に対応する再利用可能な処理済みＯＴＦデータがあり、残りの４つに対応する処理済みＯＴＦデータを新たに取得する場合について説明する。この場合は、ステップＳ３０４で４つの再利用可能な処理済みＯＴＦデータを記憶部１０８から取得し、残りの４つの未処理ＯＴＦデータに対する処理をステップＳ３０５〜Ｓ３０７で一度に行う。これにより、ステップＳ３０２〜Ｓ３０７の繰り返しおよびステップＳ３０８での画像回復フィルタの生成が可能か否かの判定を行うことなく、ステップＳ３０９に進むことができる。

ステップＳ３０９では、画像回復処理部１１１は、ステップＳ３０４およびステップＳ３０６で取得した処理済みＯＴＦデータを用いて、画像回復処理に必要な全ての画像回復フィルタを生成する。

そして、ステップＳ３１０では、画像回復処理部１１１は、ステップＳ３０９で生成した画像回復フィルタを用いて撮像画像（各色成分データ）に対する画像回復処理を行う。こうして、画像回復処理を終了する。

本実施例では、以前に別の撮像画像に対する画像回復処理を行った際に使用した処理済みＯＴＦデータを撮像パラメータと対応付けて記憶部１０８に保存しておき、それを今回の画像回復処理において再利用可能としている。今回の画像回復処理において処理済みＯＴＦデータを再利用することで、新規に利用する未処理ＯＴＦデータに対するフィルタ生成用演算処理が必要最低限で済み、画像回復処理に要する時間を短縮することができる。

なお、画像回復処理を初めて行う場合等、処理済みＯＴＦデータがまだ記憶部１０８に保存されていない場合は、ステップＳ３０３で再利用可能な処理済みＯＴＦデータはないと判定してステップＳ３０５〜Ｓ３０７の処理を行えばよい。これにより、次の撮像画像に対する画像回復処理に要する時間を短縮することができる。

次に、本発明の実施例２について説明する。本実施例では、実施例１に対して、撮像パラメータをより詳細に判定して画像回復フィルタ自体を再利用することで、より画像回復処理に要する時間を短縮する。本実施例において、実施例１の構成要素と共通する構成要素については実施例１と同じ符号を付す。

図１０のフローチャートには、本実施例においての画像処理部１０４（画像回復処理部１１１）が行う画像回復処理の流れを示している。

本実施例でも、以前に別の撮像画像に対して画像回復処理を行った際に使用された処理済みＯＴＦデータがその撮像画像の撮像パラメータと対応付けられて記憶部１０８に記憶されている。また、本実施例では、その以前の画像回復処理において生成した画像回復フィルタも該撮像パラメータと対応付けられて記憶部１０８に記憶されている。撮像画像のデータは、レンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度である撮像パラメータの情報を含んでいる。

ステップＳ４０１では、画像回復処理部１１１は、今回の処理対象画像の撮像パラメータを、記憶部１０８に記憶されている処理済みＯＴＦデータおよび画像回復フィルタに対応付けられている撮像パラメータと比較する。そして、ステップＳ４０２に進む。

ステップＳ４０２では、画像回復処理部１１１は、ステップＳ４０１の比較においてレンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度の全てが一致する撮像パラメータ（以下、共通撮像パラメータという）が記憶部１０８内に存在するか否かを判定する。また、画像回復処理部１１１は、ステップＳ４０１の比較において、レンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度の全ての差が所定値以下である撮像パラメータ（以下、類似撮像パラメータという）が記憶部１０８内に存在するか否かも判定する。共通撮像パラメータまたは類似撮像パラメータが記憶部１０８内に存在する場合はステップＳ４０３に進み、いずれも存在しない場合はステップＳ４０４に進む。

ステップＳ４０３では、画像回復処理部１１１は、記憶部１０８から共通または類似撮像パラメータに対応付けられている再利用可能な画像回復フィルタ（利用可能フィルタ）を取得する。

一方、ステップＳ４０４では、画像回復処理部１１１は、ステップＳ４０１での比較においてＩＳＯ感度以外の撮像パラメータの全てが一致する又はＩＳＯ感度以外の撮像パラメータの差が上記所定値以下であるか否かを判定する。つまり、レンズ種類、焦点距離、撮像距離および絞り値についてのみ共通または類似する撮像パラメータ（以下、部分共通または部分類似撮像パラメータという）が記憶部１０８内に存在するか否かを判定する。部分共通または部分類似撮像パラメータが記憶部１０８内に存在する場合はステップＳ４０５に進み、そうでない場合はステップＳ４０６に進む。

ステップＳ４０５では、画像回復処理部１１１は、記憶部１０８から、部分共通または部分類似撮像パラメータに対応付けられている処理済みＯＴＦデータを取得する。ＩＳＯ感度の相違は、画像回復フィルタの回復強度にのみ関わり、画像回復フィルタのデータ自体とは関係がない。このため、本ステップでは、画像回復処理部１１１は、画像回復フィルタの生成に必要な全ての処理済みＯＴＦデータを一括して取得する。この後、ステップＳ４１４に進む。

ステップＳ４０６〜Ｓ４１３では、画像回復処理部１１１は、実施例１（図９）のステップＳ３０１〜Ｓ３０８と同じ処理を行う。ステップＳ４１３にて全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得していない場合はステップＳ４０６に戻り、全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得した場合はステップＳ４１４に進む。なお、本実施例においても、ステップＳ４０６で４つの色成分データの全てに対する必要ＯＴＦデータを算出し、続くステップＳ４０７〜Ｓ４１２にてこれら必要ＯＴＦデータに対応する処理済みＯＴＦデータを一括して取得してもよい。

ステップＳ４１４では、画像回復処理部１１１は、ステップＳ４０５，Ｓ４０９およびＳ４１２で取得した処理済みＯＴＦデータを用いて、画像回復処理に必要な全ての画像回復フィルタを生成する。

次にステップＳ４１５では、画像回復処理部１１１は、ステップＳ４１４で生成した画像回復フィルタを、今回の処理対象画像の撮像パラメータと対応付けて記憶部１０８に記憶させる。

そして、ステップＳ４１６では、画像回復処理部１１１は、ステップＳ４０３で取得した再利用可能な画像回復フィルタまたはステップＳ４１４で生成した画像回復フィルタ用いて撮像画像（各色成分データ）に対する画像回復処理を行う。こうして、画像回復処理を終了する。

本実施例では、以前に別の撮像画像に対する画像回復処理を行った際に使用した処理済みＯＴＦデータおよび画像回復フィルタを撮像パラメータと対応付けて記憶部１０８に保存しておき、それらを今回の画像回復処理において再利用可能としている。今回の画像回復処理において画像回復フィルタを再利用することで、実施例１に比べてより画像回復処理に要する時間を短縮することができる。また、撮像パラメータのうちＩＳＯ感度のみが異なる場合には、画像回復フィルタの生成に必要な全ての処理済みＯＴＦデータを一度に取得することができるので、判定や探索の処理に要する時間を短縮することができる。

次に、本発明の実施例３について説明する。本実施例では、撮像光学系１０１を有する交換レンズ（レンズ種類）の変更の有無を判定することで、より画像回復処理に要する時間を短縮する。本実施例において、実施例１，２の構成要素と共通する構成要素については実施例１，２と同じ符号を付す。

図１１のフローチャートには、本実施例においての画像処理部１０４（画像回復処理部１１１）が行う画像回復処理の流れを示している。本実施例でも、以前に別の撮像画像に対して画像回復処理を行った際に使用された処理済みＯＴＦデータがその撮像画像の撮像パラメータと対応付けられて記憶部１０８に記憶されている。また、本実施例では、その以前の画像回復処理において生成した画像回復フィルタも該撮像パラメータと対応付けられて記憶部１０８に記憶されている。撮像画像のデータは、レンズ種類、焦点距離、撮像距離、絞り値およびＩＳＯ感度である撮像パラメータの情報を含んでいる。

ステップＳ５０１では、画像回復処理部１１１は、今回の処理対象画像の撮像パラメータに含まれるレンズ種類を、記憶部１０８に記憶されている処理済みＯＴＦデータおよび画像回復フィルタに対応付けられている撮像パラメータに含まれるレンズ種類と比較する。

次にステップＳ５０２では、画像回復処理部１１１は、ステップＳ５０１の比較においてレンズ種類が不一致か否か、つまりは交換レンズが変更（交換）されたか否かを判定する。交換レンズが変更された場合はステップＳ５０３に進み、変更されていない場合はステップＳ５０７に進む。

ステップＳ５０３では、画像回復処理部１１１は、以前に別の撮像画像に対して画像回復処理を行った際に記憶部１０８に保存した処理済みＯＴＦデータおよび画像回復フィルタとしての不要記憶データを、記憶部１０８から削除（破棄）する。ＯＴＦは交換レンズの光学特性により異なるため、交換レンズが変更されると、既に記憶部１０８に保存された処理済みＯＴＦデータや画像回復フィルタを利用できなくなる。このため、本実施例では、交換レンズが変更された時点で、変更前の交換レンズに対応して記憶部１０８に保存されていた不要記憶データを削除する。

ただし、このステップの処理を必ずしも行う必要はない。例えば、記憶部１０８に複数のシュルの交換レンズに対応する処理済みＯＴＦデータおよび画像回復フィルタを保存しておける容量がある場合は本ステップの処理を省いてもよい。この場合、取り外された交換レンズを再度使用して撮像することで生成された撮像画像に対して画像回復処理を行う際に、保存されている処理済みＯＴＦデータおよび画像回復フィルタを再利用することができる。

次にステップＳ５０４〜Ｓ５０６では、画像回復処理部１１１は、実施例１（図９）のステップＳ３０５〜Ｓ３０７および実施例２（図１０）のステップＳ４１０〜Ｓ４１２と同じ処理を行う。そして、ステップＳ５２０に進む。

一方、ステップＳ５０７〜Ｓ５１９では、画像回復処理部１１１は、実施例２のステップＳ４０１〜Ｓ４１３と同じ処理を行う。そして、ステップＳ５１９にて全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得していない場合はステップＳ５１３に戻り、全ての必要ＯＴＦデータに対応する処理済みＯＴＦデータを取得した場合はステップＳ５２０に進む。なお、ステップＳ５０１で判定したレンズ種類が単焦点レンズを示す場合は焦点距離が一定であるので、処理済みＯＴＦデータに対する探索に用いる撮像パラメータとしての焦点距離は用いなくてもよい。

また、本実施例においても、ステップＳ５１２で４つの色成分データの全てに対する必要ＯＴＦデータを算出し、続くステップＳ５１３〜Ｓ５１８にてこれら必要ＯＴＦデータに対応する処理済みＯＴＦデータを一括して取得してもよい。

ステップＳ５２０では、画像回復処理部１１１は、ステップＳ５１１，Ｓ５１５およびＳ５１８で取得した処理済みＯＴＦデータを用いて、画像回復処理に必要な全ての画像回復フィルタを生成する。

次にステップＳ５２１では、画像回復処理部１１１は、ステップＳ５２０で生成した画像回復フィルタを、今回の処理対象画像の撮像パラメータと対応付けて記憶部１０８に記憶させる。

そして、ステップＳ５２２では、画像回復処理部１１１は、ステップＳ５０９で取得した再利用可能な画像回復フィルタまたはステップＳ５２０で生成した画像回復フィルタ用いて撮像画像（各色成分データ）に対する画像回復処理を行う。こうして、画像回復処理を終了する。

本実施例では、ステップＳ５１３での処理済みＯＴＦデータに対する検索に先だって、装着されている交換レンズの種類を比較する。そして、交換レンズが変更された場合は、記憶部１０８に記憶されている別の交換レンズに対応する処理済みＯＴＦデータや画像回復フィルタを破棄する。これにより、交換レンズが変更された場合に、ステップＳ５１３において別の交換レンズに対応する処理済みＯＴＦデータ等に対する余計な検索が不要となり、より画像回復処理に要する時間を短縮することができる。

実施例１〜３では、画像処理装置（画像処理部１０４）を搭載した撮像装置について説明したが、実施例１〜３にて説明した画像回復処理は、パーソナルコンピュータにインストールされた画像処理プログラムに従ってパーソナルコンピュータが行うこともできる。この場合、パーソナルコンピュータが本発明の実施例４としての画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮像画像（入力画像）を、該撮像装置から有線／無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮像画像が記録された画像記録媒体を介して該撮像画像を取得してもよい。そして、撮像画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像等の出力画像を出力する。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０４ 画像処理部
１０８ 記憶部
１１１ 画像回復処理部

Claims (8)

1. 撮像パラメータが可変である撮像手段により生成された入力画像に対する処理を行う画像処理装置であって、
   前記入力画像の生成時における前記撮像パラメータに応じた前記撮像手段の光学伝達関数に関するデータとしてのＯＴＦデータを取得し、該ＯＴＦデータを用いて画像回復フィルタを生成するフィルタ生成手段と、
   前記入力画像に対して前記画像回復フィルタを用いた画像回復処理を行う画像回復処理手段と、
   前記入力画像としての第１の画像に対する前記画像回復フィルタである第１のフィルタの生成に用いられた前記ＯＴＦデータを、前記第１の画像の生成時における前記撮像パラメータに対応付けて記憶手段に記憶させる記憶処理手段とを有し、
   前記フィルタ生成手段は、前記第１の画像とは異なる前記入力画像としての第２の画像に対する前記画像回復フィルタである第２のフィルタを生成する際に、
   前記記憶手段に記憶された少なくとも１つの前記ＯＴＦデータにおいて、前記第２の画像の生成時における前記撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられたＯＴＦデータとしての利用可能ＯＴＦデータの探索を行い、
   前記利用可能ＯＴＦデータが存在する場合には該利用可能ＯＴＦデータを用いて前記第２のフィルタを生成することを特徴とする画像処理装置。
2. 前記フィルタ生成手段は、前記第２のフィルタの生成に用いる複数の前記ＯＴＦデータのうち一部のＯＴＦデータが前記利用可能ＯＴＦデータとして存在し、残りのＯＴＦデータが前記利用可能ＯＴＦデータとして存在しない場合は、前記利用可能ＯＴＦデータと新たに取得した前記残りのＯＴＦデータとを用いて前記第２のフィルタを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像パラメータは、前記撮像手段が有する光学系の種類、前記光学系の焦点距離、前記光学系の絞り値、前記撮像手段から被写体までの距離および前記撮像手段のＩＳＯ感度のうち少なくとも１つを含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記憶処理手段は、前記第１のフィルタを前記第１の画像の生成時における前記撮像パラメータに対応付けて前記記憶手段に記憶させ、
   前記フィルタ生成手段は、
   前記記憶手段に記憶された少なくとも１つの前記第１のフィルタにおいて、前記第２の画像の生成時における前記撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられた第１のフィルタとしての利用可能フィルタの探索を行い、
   前記利用可能フィルタが存在する場合には該利用可能フィルタを前記第２のフィルタとして取得することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記フィルタ生成手段は、
   前記撮像手段の光学系の種類を判定し、
   前記記憶手段の記憶データが、該判定した光学系の種類とは異なる種類の光学系に対するデータである場合は、前記探索を行わずに前記第２のフィルタの生成に用いる前記ＯＴＦデータを取得することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記記憶処理手段は、
   前記撮像手段の光学系の種類を判定し、
   前記記憶手段の記憶データが、該判定した光学系の種類とは異なる種類の光学系に対するデータである場合は前記記憶データを削除することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 撮像パラメータが可変である撮像手段と、
   前記撮像手段により生成された入力画像に対する処理を行う請求項１から５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
8. 撮像パラメータが可変である撮像手段により生成された入力画像に対する処理をコンピュータに実行させるコンピュータプログラムであって、
   前記処理は、
   前記入力画像の生成時における前記撮像パラメータに応じた前記撮像手段の光学伝達関数に関するデータとしてのＯＴＦデータを取得し、該ＯＴＦデータを用いて画像回復フィルタを生成するフィルタ生成処理と、
   前記入力画像に対して前記画像回復フィルタを用いた画像回復処理を行う画像回復処理と、
   前記入力画像としての第１の画像に対する前記画像回復フィルタである第１のフィルタの生成に用いられた前記ＯＴＦデータを、前記第１の画像の生成時における前記撮像パラメータに対応付けて記憶手段に記憶させる記憶処理とを含み、
   前記フィルタ生成処理は、前記第１の画像とは異なる前記入力画像としての第２の画像に対する前記画像回復フィルタである第２のフィルタを生成する際に、
   前記記憶手段に記憶された少なくとも１つの前記ＯＴＦデータにおいて、前記第２の画像の生成時における前記撮像パラメータに対して一致する又は差が所定値以下である撮像パラメータに対応付けられたＯＴＦデータとしての利用可能ＯＴＦデータの探索を行い、
   前記利用可能ＯＴＦデータが存在する場合には該利用可能ＯＴＦデータを用いて前記第２のフィルタを生成することを特徴とする画像処理プログラム。