JP2016100795A - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】保持すべきデータ量の増大を抑えつつ、様々な撮像光学系を用いる場合に撮像に関する機能や性能を低下させることなく画像回復処理を可能とする。【解決手段】画像処理装置１０４は、複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行う。画像処理装置は、画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復処理とを行う処理手段２０１と、第１および第２の画像回復処理のうち一方を選択する選択手段２０２とを有する。第１の画像回復フィルタは、撮像に使用された撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、第２の画像回復フィルタは、第１のデータとは異なる第２のデータを用いて生成される。【選択図】図２

Description

本発明は、撮像により生成された画像（劣化画像）に対して画像回復処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には点像分布関数（point spread function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとにぼけ方が異なることにより生じるぼけ成分と言うことができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ（位相ずれ）により生ずるぼけ成分ということができる。

このような画像のぼけ成分を補正（低減）する方法として、光学系の光学伝達関数（optical transfer function：ＯＴＦ）の情報を用いて生成した画像回復フィルタをぼけ成分を含む画像に適用（例えばコンボリューション）する方法が知られている。ＯＴＦはＰＳＦをフーリエ変換することで得られる。また、画像回復フィルタは、ＯＴＦの逆特性を有するフィルタである。以下、このように光学系のＯＴＦの情報を用いて画像のぼけ成分を補正する処理を画像回復処理または単に回復処理と称する。

ところで、光学系のＯＴＦは、Ｆナンバー（絞り値）、ズーム（焦点距離）および撮像距離等の撮像条件や像高（画像内での位置）に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。ただし、あらゆる撮影条件や全ての像高に対応する画像回復フィルタのデータを予め保持するのでは、保持するデータ量が大きくなる。このため、特許文献１には、撮影条件ごとのＯＴＦに関するデータ（ＯＴＦを再構成するためのデータ）を保持しておき、該データを用いて像高に応じた画像回復フィルタを生成することで、画像回復処理のために保持するデータ量を低減する方法が開示されている。

特開２０１３−３８５６３号公報

撮像装置には、レンズ（撮像光学系）の交換が可能なレンズ交換型カメラがある。前述したようにＯＴＦは撮像条件や像高によって変化するとともに、レンズ交換型カメラに装着されるレンズによっても異なる。このため、レンズ交換型カメラにおいて画像回復処理を行うためには、装着されたレンズに対応した画像回復フィルタが必要である。そして、特許文献１にて開示された方法において保持するＯＴＦに関するデータを、レンズ交換型カメラに対して装着可能なレンズに対応するものとすることは可能である。

しかしながら、特許文献１にて開示された方法を用いる場合でも、レンズ交換型カメラに対して装着可能な全てのレンズに対応するＯＴＦに関するデータを全ての撮像条件に対して用意しようとすると、やはり保持すべきデータ量が増大する。

しかも、将来製造が開始される新レンズに対応するデータを予めカメラに保持させておくことはできない。このため、新レンズを装着したカメラで撮像を行うユーザがその新レンズに対応した画像回復フィルタを生成するために必要なデータをカメラにインストールするまでは画像回復処理を行うことができない。これにより、カメラにおける撮像に関する機能が低下したり、ユーザに負担を強いたりする。

さらに、特許文献１にて開示された方法を連写撮像にて用いる場合には、１回（１コマ）の撮像ごとに、その撮像における撮像条件と各像高に対応する画像回復フィルタをＯＴＦに関するデータから生成した上で画像回復処理を行うことになる。このため、連写撮像における撮像間隔を長くする、つまりは連写速度を遅くする必要が生じ、これによりカメラにおける撮像に関する性能が低下する。

本発明は、保持すべきデータ量の増大を抑えつつ、様々な撮像光学系を用いる場合に撮像に関する機能や性能を低下させたりユーザに負担を強いたりすることなく画像回復処理を行うことができるようにした画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理装置は、複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理とを行う処理手段と、第１および第２の画像回復処理のうち一方を選択する選択手段とを有する。そして、第１の画像回復フィルタは、撮像に使用された撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、第２の画像回復フィルタは、第１のデータとは異なる第２のデータを用いて生成されることを特徴とする。

なお、複数の撮像光学系の交換使用が可能な撮像装置であって、撮像光学系により形成された被写体像を撮像する撮像手段と、該撮像手段を用いて生成された撮像画像を入力画像として画像回復処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理のうち一方を選択し、該選択された画像回復処理を入力画像に対して行う。そして、第１の画像回復フィルタは、撮像に使用された撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、第２の画像回復フィルタは、第１のデータとは異なる第２のデータを用いて生成されることを特徴とする。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行わせるコンピュータプログラムである。該プログラムは、コンピュータに、画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理のうち一方を選択させ、該選択された画像回復処理を入力画像に対して行わせる。そして、第１の画像回復フィルタは、撮像に使用された撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、第２の画像回復フィルタは、第１のデータとは異なる第２のデータを用いて生成されることを特徴とする。

本発明では、撮像に使用された撮像光学系の光学伝達関数に関する第１のデータに基づく第１の画像回復フィルタを用いる第１の画像回復処理と、第１のデータに基づかない第２の画像回復フィルタを用いる第２の画像回復処理とを選択的に行うことができる。このため、全ての撮像光学系、撮像条件、撮像装置の状態および撮像光学系の状態等に対して第１の画像回復処理を行う場合に比べて、第１の画像回復フィルタまたは第１のデータ（光学伝達関数）の保持データ量を少なくすることができる。しかも、撮像に関する機能や性能を低下させたりユーザに負担を強いたりすることなく、適切な画像回復処理を行うことができる。

本発明の実施例１である画像処理装置（画像処理部）を含む撮像装置の構成を示すブロック図。 実施例１における画像処置部と記憶部を示す図。 実施例１における画像回復処理を示すフローチャート。 実施例１における画像回復処理の効果を示す図。 実施例１におけるレンズ別画像回復フィルタの例を示す図。 本発明の実施例２である画像処理部と記憶部を示す図。 実施例２における画像回復処理を示すフローチャート。 実施例２におけるＯＴＦデータの例を示す図。 本発明の実施例３である画像処理部と記憶部を示す図。 実施例３における画像回復処理を示すフローチャート。 本発明の実施例４における画像回復処置を示すフローチャート。 本発明の実施例５における撮像処理と画像処理のタイミングチャート。 本発明の実施例５における画像回復処置を示すフローチャート。 本発明の実施例６における画像回復処置を示すフローチャート。 本発明の実施例７における画像回復処置を示すフローチャート。 本発明の実施例８における画像回復処置を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例で行われる第１の画像回復処理の基本的な概念について説明する。第１の画像回復処理は、撮像に使用されている撮像光学系の光学伝達関数（言い換えれば撮像光学系の収差）に関する第１のデータを用いて生成された第１の画像回復フィルタを用いた画像回復処理である。これにより、第１の画像回復フィルタは、少なくとも、撮像により生成された入力画像における撮像光学系の収差（球面収差、コマ収差、像面湾曲、非点収差等）に起因する第１の劣化成分に対する画像回復作用（補正作用）を有する。

第１の劣化成分としてのぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（１）
上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（２）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（３）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（４）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。

ただし、後述する各実施例では、第１の画像回復フィルタは、上記第１の劣化成分だけでなく、第１の劣化成分とは異なる第２の劣化成分に対しても画像回復作用を有する。第２の劣化成分とは、撮像光学系の絞りによる回折、撮像装置に設けられた光学フィルタ（例えば、ローパスフィルタ）および該撮像装置に設けられた撮像素子の開口特性のうち少なくとも一つによる劣化成分である。撮像素子の開口特性による劣化は、撮像素子よってＯＴＦにローパスフィルタが作用することに相当する。このため、第１の画像回復フィルタは、第１の劣化成分に対応するＯＴＦのデータ（第１のデータ）と、第２の劣化成分をＯＴＦに換算したデータ（第２のデータ）とを組み合わせた複合的なＯＴＦのデータ（以下、複合ＯＴＦデータともいう）を用いて生成される。

また、各実施例では、撮像に使用される撮像光学系の光学伝達関数に関する第１のデータを用いずに生成された第２の画像回復フィルタを用いる第２の画像回復処理も行う。第２の画像回復フィルタは、基本的には、第１の劣化成分に対する画像回復作用を有さず、第２の劣化成分に対する画像回復作用を有する。このため、各実施例における第２の画像回復フィルタは、前述した第２の劣化成分をＯＴＦに換算した第２のデータ（以下、換算ＯＴＦデータともいう）を用いて生成される。

なお、第２の画像回復フィルタによる第２の劣化成分の画像回復作用によって、結果的に第１の劣化成分も画像回復作用を受ける場合がある。つまり、第２の画像回復フィルタは、第１の画像回復フィルタの第１の劣化成分に対する画像回復作用より低い画像回復作用を有していてもよい。

そして、各実施例では、第１の画像回復処理と第２の画像回復処理とを、様々な選択条件に応じて選択的に行う。

図１には、本発明の実施例１である画像処理装置を含む撮像装置（以下、カメラという）の構成を示している。このカメラは、撮像光学系１０１を有する交換レンズ（図中にはレンズと記す）が取り外し可能に装着されることにより、複数の撮像光学系の交換使用が可能なレンズ交換型カメラである。

交換レンズに設けられた撮像光学系１０１は、不図示の被写体からの光に被写体像（光学像）を形成させる。

カメラに設けられたＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である撮像素子（撮像手段）１０２は、被写体像を電気信号に変換する。撮像素子１０２から出力されたアナログ撮像信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換されて画像処理装置としての画像処理部１０４に入力される。

画像処理部１０４は、画像処理用のＣＰＵまたはＭＰＵを含むコンピュータにより構成され、デジタル撮像信号に対して画素補間処理、ホワイトバランス処理、色補正処理等の一般画像処理を行って撮像画像を生成する。さらに、画像処理部１０４は、撮像画像である入力画像に対して前述した第１の画像回復処理と第２の画像回復処理とを選択的に行う。

記憶部１０８は、前述した第１の画像回復フィルタを、本実施例のカメラに対して装着が可能な複数（機種）の交換レンズのそれぞれに対して、かつ予め後述する撮像条件および像高ごとに保持している。ただし、記憶部１０８に保持された第１の画像回復フィルタは、本実施例のカメラに対して装着が可能な全ての交換レンズのうち、限られた複数の交換レンズ（以下、第１の交換レンズという）の撮像光学系に対応するもののみである。これにより、本実施例のカメラに対して装着が可能な全ての交換レンズの撮像光学系に対応する第１の画像回復フィルタを撮像条件および像高ごとに保持する場合に比べて、保持するデータ量を少なく抑えている。

また、記憶部１０８には、本実施例のカメラに対して装着が可能な全ての交換レンズのうち上記複数の第１の交換レンズ以外の複数の交換レンズ（以下、第２の交換レンズという）に対して共通して用いられる前述した第２の画像回復フィルタが保持されている。第２の交換レンズには、本実施例のカメラよりも後で製造が開始された新交換レンズを含む。本実施例のカメラは、この新交換レンズに対応する第１の画像回復フィルタがまだインストールされていない状態にある。

なお、本実施例では、記憶部１０８が画像処理部１０４の外部（カメラの内部）に設けられている場合について説明しているが、画像処理部（画像処理装置）の内部に設けてもよい。

画像処理部１０４は、第１の画像回復処理を行う際には、記憶部１０８から、撮像時における撮像条件と像高とに対応する第１の画像回復フィルタを読み出す。そして、読み出した第１の画像回復フィルタを用いて第１の画像回復処理を行う。また、画像処理部１０４は、第２の画像回復処理を行う際には、記憶部１０８から、撮像時におけるＦナンバー（絞り値）に対応する第２の画像回復フィルタを読み出して、該第２の画像回復フィルタを用いて第２の画像回復処理を行う。

画像処理部１０４は、状態検知部１０７から撮像光学系１０１の絞り状態（Ｆナンバー）、変倍状態（焦点距離）および焦点調節状態（撮像距離）等の状態を示す撮像条件の情報を得る。状態検知部１０７は、撮像条件の情報を、システムコントローラ１１０からの指令に応じて撮像光学系１０１を制御する光学系制御部１０６から得てもよいし、交換レンズとの通信により撮像条件の情報を受け取るシステムコントローラ１１０から得てもよい。

画像処理部１０４において第１または第２の画像回復処理により生成された回復画像は、記録媒体１０９に記録用フォーマットで保存される。また、回復画像は、表示部１０５に、表示される。

システムコントローラ１１０は、ＣＰＵ等のコンピュータにより構成され、撮像素子１０２の駆動や画像処理部１０４による処理を制御する。また、システムコントローラ１１０は、光学系制御部１０６を通じて撮像光学系１０１の絞り１０１ａ、不図示の変倍レンズおよびフォーカスレンズ１０１ｂの駆動を制御する。

撮像光学系において、絞り１０１ａは、その開口径を増減させることで撮像光学系１０１のＦナンバーを変化させる。変倍レンズは、光軸方向に移動して撮像光学系１０１の焦点距離を変化させる。フォーカスレンズ１０１ｂは、光軸方向に移動して撮像光学系１０１の被写体に対する焦点調節を行う。

システムコントローラ１１０は、撮像素子１０２またはＡ／Ｄコンバータ１０３から得られる撮像信号または画像処理部１０４にて生成された撮像画像の信号を用いて撮像光学系１０１の焦点状態を検出する。そして、該検出した焦点状態に基づいて、撮像光学系１０１が被写体に対して合焦状態となるようにフォーカスレンズ１０１ｂの駆動を制御することでオートフォーカスを行う。

撮像光学系１０１は、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを備えていてもよい。ただし、これらの光学フィルタが撮像光学系のＯＴＦに影響を与える場合には、第１の画像回復フィルタを生成する際に該光学フィルタを考慮する必要がある。例えば、赤外カットフィルタは、ＲＧＢチャンネルのうちＲチャンネルのＰＳＦに影響するため、第１の画像回復フィルタを生成する際に作成する時点での考慮が必要になる。

図２には、画像処理部１０４における画像回復処理に関わる構成と記憶部１０８で保持されているデータ（ここでは、第１および第２の画像回復フィルタのデータテーブル）とを示している。記憶部１０８は、上述した複数の第１の交換レンズに対して用意されたレンズ別画像回復フィルタテーブル３０１を保持している。レンズ別画像回復フィルタテーブル３０１は、個々の第１の交換レンズに対する撮像条件（Ｆナンバー、焦点距離および撮像距離等）の複数の組み合わせおよび複数の像高のそれぞれに対応する複数の第１の画像回復フィルタの集合である。以下の説明において、第１の画像回復フィルタをレンズ別画像回復フィルタともいい、第１の画像回復処理をレンズ別画像回復処理ともいう。

図４（ａ）には、レンズ別画像回復フィルタテーブル３０１において像高ごとに保持されているレンズ別画像回復フィルタの例を示している。レンズ別画像回復フィルタは、入力画像（撮像画面）を上下方向と左右方向にそれぞれ２分割ずつして得られる４つの領域のうち１つの領域（以下、１／４領域という）内において離散的に選択された複数の像高に対して保持されている。レンズ別画像回復処理においては、図４（ｂ）に示すように、１／４領域に保持されたレンズ別画像回復フィルタの集合を、左右および上下方向にそれぞれ対称移動させる。これにより、１／４領域以外の３つの領域における離散的な像高に対応したレンズ別画像回復フィルタも得ることができる。さらに、レンズ別画像回復フィルタが保持されていない像高においては、その周辺の複数の像高に対して保持された複数のレンズ別画像回復フィルタを用いた補間処理を行うことでレンズ別画像回復フィルタを生成することができる。

このようにして入力画像の全体の像高ごとに取得されるレンズ別画像回復フィルタを用いたレンズ別画像回復処理を入力画像に対して行うことで、該入力画像の全体における第１の劣化成分と第２の劣化成分を良好に補正することができる。

また、図２に示すように、記憶部１０８は、上述した複数の第２の交換レンズに対して用意されたレンズ共通画像回復フィルタテーブル４０１を保持している。レンズ共通画像回復フィルタテーブル４０１は、複数の第２の交換レンズに対して共通に、かつ複数の像高に対して共通に用いられるフィルタであって、複数のＦナンバーのそれぞれに対応する複数の第２の画像回復フィルタの集合である。以下の説明において、第２の画像回復フィルタをレンズ共通画像回復フィルタともいい、第２の画像回復処理をレンズ共通画像回復処理ともいう。

レンズ共通画像回復フィルタは、撮像光学系の収差に起因した第１の劣化成分に対する画像回復フィルタではないので、像高に依存しない。また、レンズ共通画像回復フィルタが対応する第２の劣化成分の１つである絞りによる回折に起因する劣化は、Ｆナンバーに依存し、他の第２の劣化成分はカメラのローパスフィルタや撮像素子の開口特性に依存する。このため、レンズ共通画像回復フィルタを第２の交換レンズごとに用意したり、像高ごとに用意したりする必要はなく、Ｆナンバーごとに用意すれば足りる。したがって、レンズ共通画像回復フィルタを記憶部１０８に保持しても保持データ量が大幅に増加するようなことはない。しかも、レンズ共通画像回復フィルタを用いたレンズ共通画像回復処理は、像高ごとのレンズ別画像回復フィルタを用いるレンズ別画像回復処理に比べて使用する画像回復フィルタ数が圧倒的に少ない。このため、レンズ共通画像回復処理では、レンズ別画像回復処理に比べて処理負荷が小さく、かつ処理時間も短い。

このようにして入力画像の全体の像高に対して１つ取得されるレンズ共通画像回復フィルタを用いたレンズ共通画像回復処理を入力画像に対して行うことで、該入力画像の全体における第２の劣化成分を良好に補正することができる。なお、上述したように、レンズ共通画像回復処理による第２の劣化成分の補正によって結果的に第１の劣化成分が多少補正されても（レンズ共通画像回復フィルタがレンズ別画像回復フィルタより低い第１の劣化成分に対する画像回復作用を有していても）よい。

画像処理部１０４は、入力画像に対するレンズ別またはレンズ共通画像回復フィルタのコンボリューション（畳み込み演算）を行うことでレンズ別またはレンズ共通画像回復処理を行う処理手段としての画像回復部２０１を有する。また、画像処理部１０４は、画像回復部２０１においてレンズ別およびレンズ共通画像回復処理のうちいずれを行うか、つまりはレンズ別およびレンズ共通画像回復フィルタのうち一方を選択する選択手段としての画像回復フィルタ選択部２０２を有する。画像回復フィルタ選択部２０２は、レンズ別およびレンズ共通画像回復フィルタのうち選択した画像回復フィルタを記憶部１０８から読み出して、画像回復部２０１に使用する画像回復フィルタとして設定する。

図３のフローチャートには、画像回復部２０１および画像回復フィルタ選択部２０２（以下、まとめて画像処理部１０４という）により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。

ステップＳ１００１では、画像処理部１０４は、システムコントローラ１１０と状態検知部１０７から、撮像に使用される（つまりはカメラに装着されている）交換レンズの識別情報（レンズＩＤ）やＦナンバー、焦点距離、撮像距離等の撮像条件の情報を取得する。本実施例では、ここで取得した撮像条件が撮像画像（入力画像）を取得するための撮像時の撮像条件であるとする。

次に、ステップＳ１００２では、画像処理部１０４は、ステップＳ１００１で取得したレンズＩＤに基づいて、撮像に使用される交換レンズ（以下、使用レンズという）に対応するレンズ別画像回復フィルタを記憶部１０８から取得可能であるか否かを判定する。この判定は、例えば、ステップＳ１００１にて取得したレンズＩＤが、レンズ別画像回復フィルタを記憶部１０８にて保持している複数の第１の交換レンズのレンズＩＤのいずれかと一致するか否かを判定することにより行うことができる。レンズ別画像回復フィルタを記憶部１０８から取得可能である場合はステップＳ１００３に進み、取得可能でない場合はステップＳ１００４に進む。

ステップＳ１００３では、画像処理部１０４は、記憶部１０８から使用レンズの撮像時の撮像条件（の組み合わせ：以下の実施例でも同じ）に対応する像高ごとのレンズ別画像回復フィルタを取得する。そして、ステップＳ１００５に進む。

一方、ステップＳ１００４では、画像処理部１０４は、記憶部１０８から、撮像時のＦナンバーに対応するレンズ共通画像回復フィルタを取得する。そして、ステップＳ１００５に進む。

ステップＳ１００５では、画像処理部１０４は、ステップＳ１００３で取得したレンズ別画像回復フィルタまたはステップＳ１００４で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行い、回復画像を生成する。

本実施例におけるレンズ別およびレンズ共通画像回復処理の効果を図５を用いて説明する。図５（ａ）〜（ｃ）は、入力画像および回復画像内のエッジ部の輝度分布を示している。横軸は入力画像内での座標（位置）を示し、縦軸は輝度を示している。図５（ａ）は、第１および第２の劣化成分を含む入力画像（劣化画像）においてぼけたエッジ部の輝度分布を示している。図５（ｂ）はレンズ別画像回復処理により第１および第２の劣化成分が補正されることでぼけが解消され、画質が向上した回復画像のエッジ部の輝度分布を示している。また、図５（ｃ）は、レンズ共通画像回復処理により第２の劣化成分が補正されることで、許容される範囲のぼけが残存した回復画像のエッジ部の輝度分布を示している。図５（ｃ）の回復画像では、第１の劣化成分が残存しているために画質の向上度合いは図５（ｂ）の回復画像に比べて低いものの、図５（ａ）の入力画像に比べてぼけは解消しており、確実に画質は向上している。

本実施例によれば、記憶部１０８にて保持すべきデータ量の増大を抑えつつ、レンズ別画像回復フィルタを取得できない交換レンズを含む様々な交換レンズを使用する場合において良好な画像回復処理を行うことができる。

実施例１では、図２を用いて記憶部１０８にレンズ別およびレンズ共通画像回復フィルタを保持する場合について説明した。これに対して、本実施例では、記憶部に、レンズ別画像回復フィルタの生成に用いられるレンズ別ＯＴＦデータと、レンズ共通画像回復フィルタの生成に用いられるレンズ共通ＯＴＦデータとを保持させる。

図６には、本実施例において画像処理部１０４Ａにおける画像回復処理に関わる構成と記憶部１０８Ａで保持されているデータ（ここではレンズ別およびレンズ共通ＯＴＦデータのデータテーブル）とを示している。記憶部１０８Ａは、上述した複数の第１の交換レンズに対して用意されたレンズ別ＯＴＦデータテーブル５０１を保持している。レンズ別ＯＴＦデータテーブル３０１は、個々の第１の交換レンズに対する撮像条件（Ｆナンバー、焦点距離および撮像距離等）の複数の組み合わせおよび複数の像高のそれぞれに対応する複数のレンズ別ＯＴＦデータの集合である。レンズ別ＯＴＦデータは、第１の劣化成分に対応するＯＴＦのデータと第２の劣化成分をＯＴＦに換算したＯＴＦ換算データとを組み合わせた複合ＯＴＦデータである。

図８（ａ）には、レンズ別ＯＴＦフィルタテーブル５０１において像高ごとに保持されているレンズ別ＯＴＦデータの例を示している。レンズ別ＯＴＦデータは、入力画像（撮像画面）の中心から１つの放射方向に離散的に選択された複数の像高に対して保持されている。レンズ別画像回復処理においては、図８（ｂ）に示すように、この放射方向に保持されたレンズ別ＯＴＦデータの集合を、入力画像の中心回りに回転させる。これにより、入力画像の全体における離散的な像高に対応したレンズ別ＯＴＦデータを得ることができる。さらに、レンズ別ＯＴＦデータが保持されていない像高においては、その周辺の複数の像高に対して保持された複数のレンズ別ＯＴＦデータを用いた補間処理を行うことでレンズ別ＯＴＦデータを生成することができる。

このようにして入力画像の全体の像高ごとに取得されるレンズ別ＯＴＦデータを用いることで、入力画像の全体に対する像高ごとのレンズ別画像回復フィルタを生成できる。そして、これらレンズ別画像回復フィルタを用いたレンズ別画像回復処理を入力画像に対して行うことで、該入力画像の全体における第１の劣化成分と第２の劣化成分を良好に補正することができる。また、画像中心から１放射方向に離散的に保持したＯＴＦデータを回転させて画像全体のＯＴＦデータを生成することで、実施例１の図４（ａ）に示したように１／４領域に離散的に画像回復フィルタを保持する場合に比べて保持データ量を削減することができる。

なお、特許文献１に開示された方法を利用して、撮像条件に対応するレンズ別ＯＴＦデータを記憶部１０８に保持させ、該レンズ別ＯＴＦデータから像高に応じたレンズ別画像回復フィルタを生成するようにしてもよい。

また、記憶部１０８Ａは、上述した複数の第２の交換レンズに対して用意されたレンズ共通ＯＴＦデータテーブル６０１を保持している。レンズ共通ＯＴＦデータテーブル６０１は、複数の第２の交換レンズに対して共通に、かつ複数の像高に対して共通に用いられるデータであって、複数のＦナンバーのそれぞれに対応する複数のレンズ共通ＯＴＦデータの集合である。レンズ共通ＯＴＦデータは、第２の劣化成分をＯＴＦに換算したＯＴＦ換算データである。

レンズ共通ＯＴＦデータから生成されるレンズ共通画像回復フィルタは、実施例１でも説明したように撮像光学系の収差に起因した第１の劣化成分に対する画像回復フィルタではないので、像高に依存しない。また、レンズ共通画像回復フィルタが対応する第２の劣化成分の１つである絞りによる回折に起因する劣化は、Ｆナンバーに依存し、他の第２の劣化成分はカメラのローパスフィルタや撮像素子の開口特性に依存する。このため、レンズ共通画像回復フィルタを生成するためのレンズ共通ＯＴＦデータを第２の交換レンズごとに用意したり、像高ごとに用意したりする必要はなく、Ｆナンバーごとに用意すれば足りる。したがって、レンズ共通ＯＴＦデータを記憶部１０８Ａに保持しても保持データ量が大幅に増加するようなことはない。しかも、レンズ共通画像回復フィルタを用いたレンズ共通画像回復処理は、像高ごとのレンズ別画像回復フィルタを用いるレンズ別画像回復処理に比べて使用する画像回復フィルタ数が圧倒的に少ない。このため、レンズ共通画像回復処理では、レンズ共通ＯＴＦデータからのレンズ共通画像回復フィルタの生成を含めても、レンズ別画像回復処理に比べて処理負荷が小さく、かつ処理時間も短い。

画像処理部１０４Ａは、入力画像に対するレンズ別またはレンズ共通画像回復フィルタのコンボリューションを行うことでレンズ別またはレンズ共通画像回復処理を行う画像回復部２０１を有する。また、画像処理部１０４Ａは、画像回復部２０１においてレンズ別およびレンズ共通画像回復処理のうちいずれを行うか、つまりはレンズ別およびレンズ共通ＯＴＦデータのうち一方を選択する選択手段としてのＯＴＦデータ選択部２０３を有する。さらに、画像回復処理部１０４Ａは、レンズ別およびレンズ共通ＯＴＦデータのうち選択されたＯＴＦデータを記憶部１０８Ａから読み出して、レンズ別またはレンズ共通画像回復フィルタを生成する画像回復フィルタ生成部２０４を有する。画像回復フィルタ生成部２０４は、生成したレンズ別またはレンズ共通画像回復フィルタを、画像回復部２０１に使用する画像回復フィルタとして設定する。

図７のフローチャートには、画像回復部２０１、ＯＴＦデータ選択部２０３および画像回復フィルタ生成部２０４（以下、まとめて画像処理部１０４Ａという）により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４Ａは、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４Ａおよび記憶部１０８Ａ以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ２００１では、画像処理部１０４Ａは、システムコントローラ１１０と状態検知部１０７から、使用レンズのレンズＩＤやＦナンバー、焦点距離、撮像距離等の撮像条件の情報を取得する。本実施例でも、ここで取得した撮像条件が撮像画像（入力画像）を取得するための撮像時の撮像条件であるとする。

次に、ステップＳ２００２では、画像処理部１０４Ａは、ステップＳ２００１で取得したレンズＩＤに基づいて、使用レンズに対応するレンズ別ＯＴＦデータを記憶部１０８Ａから取得可能であるか否かを判定する。この判定は、例えば、ステップＳ２００１にて取得したレンズＩＤが、レンズ別ＯＴＦデータを記憶部１０８Ａにて保持している複数の第１の交換レンズのレンズＩＤのいずれかと一致するか否かを判定することにより行うことができる。レンズ別ＯＴＦデータを記憶部１０８Ａから取得可能である場合はステップＳ２００３に進み、取得可能でない場合はステップＳ２００４に進む。

ステップＳ２００３では、画像処理部１０４Ａは、記憶部１０８Ａから使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ２００５に進む。

一方、ステップＳ２００４では、画像処理部１０４Ａは、記憶部１０８Ａから、撮像時のＦナンバーに対応するレンズ共通ＯＴＦデータを取得する。そして、ステップＳ２００５に進む。

ステップＳ２００５では、画像処理部１０４Ａは、ステップＳ２００３で取得したレンズ別ＯＴＦデータまたはステップＳ２００４で取得したレンズ共通ＯＴＦデータからレンズ別画像回復フィルタまたはレンズ共通画像回復フィルタを生成する。

そして、ステップＳ２００６において、画像処理部１０４Ａは、ステップＳ２００５で生成したレンズ別またはレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

本実施例によれば、記憶部１０８Ａにて保持すべきデータ量の増大を抑えつつ、レンズ別ＯＴＦデータを取得できない交換レンズを含む様々な交換レンズを使用する場合において良好な画像回復処理を行うことができる。

実施例１，２ではそれぞれ、記憶部１０８，１０８Ａにて保持するデータが画像回復フィルタのみおよびＯＴＦデータのみの場合について説明した。これに対して、本実施例では、記憶部に、画像回復フィルタおよびＯＴＦデータの両方を保持させる。

図９には、本実施例において画像処理部１０４Ｂにおける画像回復処理に関わる構成と記憶部１０８Ｂで保持されているデータ（ここではレンズ別ＯＴＦデータおよびレンズ共通画像回復フィルタのデータテーブル）とを示している。記憶部１０８Ｂは、実施例２と同様に、複数の第１の交換レンズに対して用意されたレンズ別ＯＴＦデータテーブル５０１を保持している。また、記憶部１０８Ｂは、実施例１と同様に、複数の第２の交換レンズに対して用意されたレンズ共通画像回復フィルタテーブル４０１を保持している。

画像処理部１０４Ｂは、入力画像に対するレンズ別またはレンズ共通画像回復フィルタのコンボリューションを行うことでレンズ別またはレンズ共通画像回復処理を行う画像回復部２０１を有する。また、画像処理部１０４Ｂは、レンズ別ＯＴＦデータおよびレンズ共通画像回復フィルタのうち一方を選択するＯＴＦデータ選択部２０３および画像回復フィルタ選択部２０２を有する。さらに、画像回復処理部１０４Ｂは、レンズ別ＯＴＦデータを記憶部１０８Ｂから読み出して、レンズ別画像回復フィルタを生成する画像回復フィルタ生成部２０４を有する。画像回復フィルタ生成部２０４および画像回復フィルタ選択部２０２は、生成したレンズ別画像回復フィルタまたは選択したレンズ共通画像回復フィルタを、画像回復部２０１に使用する画像回復フィルタとして設定する。

図１０のフローチャートには、画像回復部２０１、画像回復フィルタ選択部２０２、ＯＴＦデータ選択部２０３および画像回復フィルタ生成部２０４（以下、まとめて画像処理部１０４Ｂという）により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４Ｂは、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４Ｂおよび記憶部１０８Ｂ以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ３００１では、画像処理部１０４Ｂは、システムコントローラ１１０と状態検知部１０７から、使用レンズのレンズＩＤやＦナンバー、焦点距離、撮像距離等の撮像条件の情報を取得する。本実施例でも、ここで取得した撮像条件が撮像画像（入力画像）を取得するための撮像時の撮像条件であるとする。

次に、ステップＳ３００２では、画像処理部１０４Ｂは、ステップＳ３００１で取得したレンズＩＤに基づいて、使用レンズに対応するレンズ別ＯＴＦデータを記憶部１０８Ａから取得可能であるか否かを判定する。この判定は、例えば、ステップＳ３００１にて取得したレンズＩＤが、レンズ別ＯＴＦデータを記憶部１０８Ｂにて保持している複数の第１の交換レンズのレンズＩＤのいずれかと一致するか否かを判定することにより行うことができる。レンズ別ＯＴＦデータを記憶部１０８Ｂから取得可能である場合はステップＳ３００３に進み、取得可能でない場合はステップＳ３００４に進む。

ステップＳ３００３では、画像処理部１０４Ｂは、記憶部１０８Ｂから使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ３００５に進む。

一方、ステップＳ３００４では、画像処理部１０４Ｂは、記憶部１０８Ｂから、撮像時のＦナンバーに対応するレンズ共通画像回復フィルタを取得する。そして、ステップＳ３００６に進む。

ステップＳ３００５では、画像処理部１０４Ｂは、ステップＳ３００３で取得したレンズ別ＯＴＦデータからレンズ別画像回復フィルタを生成する。

そして、ステップＳ３００６において、画像処理部１０４Ｂは、ステップＳ３００５で生成したレンズ別画像回復フィルタまたはステップＳ３００４で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

本実施例によれば、記憶部１０８Ｂにて保持すべきデータ量の増大を抑えつつ、レンズ別ＯＴＦデータを取得できない交換レンズを含む様々な交換レンズを使用する場合において良好な画像回復処理を行うことができる。特に、交換レンズごとに記憶部１０８Ｂに保持させるとデータ量が大きくなるレンズ別画像回復フィルタに代えてレンズ別ＯＴＦデータを記憶部１０８Ｂに保持させるので、実施例１に比べて記憶部１０８Ｂにて保持すべきデータ量を削減することができる。

実施例１〜３ではレンズ別画像回復フィルタまたはレンズ別ＯＴＦデータの取得の可否に応じてレンズ別画像回復処理とレンズ共通画像回復処理のうち一方を選択する場合について説明した。これに対して本実施例では、レンズＩＤや撮像時の撮像条件の取得の可否に応じてレンズ別画像回復処理とレンズ共通画像回復処理を選択する。交換レンズには、レンズＩＤや、Ｆナンバー、焦点距離および撮像距離等の撮像条件をカメラに対して出力することができないものがある。例えば、カメラとの通信機能を有さず、手動によってＦナンバー等を調整するタイプの交換レンズである。

なお、本実施例で行うレンズＩＤや撮像条件の取得の可否判定は、結局は、実施例１〜３のようにレンズ別画像回復フィルタまたはレンズ別ＯＴＦデータの取得の可否判定を行うことに相当する。レンズＩＤや撮像条件を取得できなければレンズ別画像回復フィルタやレンズ別ＯＴＦデータを取得できないからである。

本実施例では、図２に示した記憶部１０８のレンズ共通画像回復フィルタテーブル４０１に、第２の劣化成分のうちカメラのローパスフィルタおよび撮像素子１０２の開口特性に起因した劣化成分のみを補正する１つのレンズ共通画像回復フィルタを保持させる。このレンズ共通画像回復フィルタでは、絞り１０１ａでの回折に起因する劣化成分を補正することはできないが、上記ローパスフィルタと撮像素子の開口特性に起因する劣化成分は補正できる。

図１１のフローチャートには、本実施例における画像処理部（実施例１の画像処理部１０４と同様に画像回復部２０１および画像回復フィルタ選択部２０２を含み、以下、符号１０４′を付す）により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４′は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、記憶部としては、実施例１の記憶部１０８と同様にレンズ別画像回復フィルタとレンズ共通画像回復フィルタを保持するが、レンズ共通画像回復フィルタとしてはＦナンバーに依存しない１つのフィルタを保持した記憶部（符号１０８′を付す）を用いる。

ステップＳ４００１では、画像処理部１０４′は、システムコントローラ１１０および状態検知部１０７に対して、使用レンズのレンズＩＤやＦナンバー、焦点距離、撮像距離等の撮像条件の情報を要求する。

次に、ステップＳ４００２では、画像処理部１０４′は、使用レンズのレンズＩＤや撮像条件の情報を取得できたか否かを判定する。取得できた場合はステップＳ４００３に進み、取得できなかった場合はステップＳ４００４に進む。

ステップＳ４００３では、画像処理部１０４′は、記憶部１０８′から使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別画像回復フィルタを取得する。そして、ステップＳ４００５に進む。

一方、ステップＳ４００４では、画像処理部１０４′は、記憶部１０８′からレンズ共通画像回復フィルタを取得する。そして、ステップＳ４００５に進む。

ステップＳ４００５では、画像処理部１０４′は、ステップＳ４００３で取得したレンズ別画像回復フィルタまたはステップＳ４００４で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行い、回復画像を生成する。

本実施例によれば、記憶部１０８′にて保持すべきデータ量の増大を抑えつつ、レンズＩＤや撮像条件を取得できない交換レンズを含む様々な交換レンズを使用する場合において良好な画像回復処理を行うことができる。

以上の実施例１〜４では、レンズ別画像回復フィルタまたはレンズ別ＯＴＦデータの取得の可否（レンズＩＤや撮像条件の取得の可否）に応じてレンズ別画像回復処理とレンズ共通画像回復処理のうち一方を選択する場合について説明した。これに対して、以下の実施例５〜８では、カメラ（撮像装置）の状態または交換レンズ（撮像光学系）の状態に応じてレンズ別画像回復処理とレンズ共通画像回復処理のうち一方を選択する場合について説明する。

カメラの状態としては、１回の撮像指示（レリーズスイッチの１回オン操作）に対して単写撮像を行う単写モード（第１の状態）と、１回の連続した撮像指示に対して連写撮像を行う連写モード（第２の状態）とがある。実施例５では、撮像モードが単写モードか連写モードかに応じてレンズ別画像回復処理を行うかレンズ共通画像回復処理を行うかを選択する。

カメラおよび交換レンズの基本的な構成は実施例１で図１を用いて説明した構成と同じである。ただし、図１中の画像処理部１０４および記憶部１０８に代えて、実施例３で図９を用いて説明した画像処理部１０４Ｂと同様の構成を有する画像処理部（以下、符号１０４Ｂ′を付す）と、同図に示した記憶部１０８Ｂとを有する。このことは、後述実施例６および実施例８についても同じである。

連写モードでは、連続した複数回の撮像の進行とともにＡ／Ｄコンバータ１０３から順次出力される撮像信号（処理前画像）が画像処理部１０４Ｂ′内の不図示のバッファメモリに格納（蓄積）される。画像処理部１０４Ｂ′は、バッファメモリから読み出した処理前画像に対して上述した一般画像処理を行って撮像画像を生成し、さらにこの撮像画像に対して画像回復処理を行う。この際、画像処理部１０４Ｂ′は、前コマの撮像画像に対する画像回復処理が終了してから、バッファメモリから次コマの処理前画像を読み出し、この次コマの処理前画像に対する一般画像処理を開始する。このため、各コマの撮像画像に対する画像回復処理に要する時間が長くなると、バッファメモリに蓄積される処理前画像のデータが多くなる。この結果、バッファメモリの空き容量が少なくなったり無くなったりすると、自動的に連写速度が減少されるか連写撮像が停止される。連写撮像の開始から停止までに撮像可能なコマ数をここでは連写可能コマ数という。

実施例２，３で説明したように、記憶部１０８Ａ，１０８Ｂにレンズ別画像回復フィルタより少数のレンズ別ＯＴＦデータを保持させることで、記憶部が保持するデータ量を削減できる。しかし、例えば移動する被写体を連写撮像するような場合には、１コマ撮像ごとに撮像条件が変化する。このような場合、画像処理部１０４Ｂ′は、１コマ撮像ごとにそのときの撮像条件に対応するレンズ別ＯＴＦデータからレンズ別画像回復フィルタを生成し、その後に該コマ撮像により得られた撮像画像に対してレンズ別画像回復処理を行う。このため、各コマの撮像画像に対するレンズ別画像回復処理が終了するまでの時間が長くなる。この結果、画像処理部１０４Ｂ′の処理速度（つまりはハードウェアとしての処理性能）を向上させなければ、上述したように連写速度の低下や連写撮像の停止を招き、連写可能コマ数が少なくなる。

図１２には、連写撮像における撮像処理と画像処理のタイミングを示している。ここでの撮像処理は、撮像素子１０２によって被写体像が撮像（光電変換）され、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３を経た撮像信号としての処理前画像が画像処理部１０４Ｂ′のバッファメモリに格納されるまでの処理である。また、ここでの画像処理は、画像処理部１０４Ｂ′が行う一般画像処理と画像回復処理を含み、記録媒体１０９に記録可能な回復画像が生成されるまでの処理である。

図１２（ａ）には、連写撮像における複数回の撮影処理のタイミングを示している。各撮影処理により生成される処理前画像を画像１〜４で示している。図１２（ｂ）には、各撮像処理の後に開始する画像処理において、レンズ別ＯＴＦデータからレンズ別画像回復フィルタを生成してレンズ別画像回復処理を行う場合の画像処理のタイミングを示している。図１２（ｂ）では、前の撮像処理の後に開始した画像処理の終了が次の撮像処理の開始が間に合っていない。このような場合、バッファメモリに処理前画像のデータが蓄積されていき、連写可能コマ数が低下する。本実施例では、このように画像処理に要する時間が長くなることによる連写撮像に対する影響を回避する。

図１３のフローチャートには、画像処理部１０４Ｂ′により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４Ｂ′は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４Ｂ′および記憶部１０８Ｂ以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ５００１では、画像処理部１０４Ｂ′は、カメラの撮像モードが単写モードか連写モードかを示す撮像モード情報をシステムコントローラ１１０から取得する。

次に、ステップＳ５００２では、画像処理部１０４Ｂ′は、使用レンズのレンズＩＤや撮像条件の情報を取得する。

次に、ステップＳ５００３では、画像処理部１０４Ｂ′は、ステップＳ５００１で取得した撮像モード情報から現在の撮像モードが単写モードか連写モードかを判定する。単写モードである場合はステップＳ５００４に進み、連写モードである場合はステップＳ５００５に進む。

ステップＳ５００４では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ５００６に進む。

一方、ステップＳ５００５では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから、撮像時のＦナンバーに対応するレンズ共通画像回復フィルタを取得する。そして、ステップＳ５００７に進む。

ステップＳ５００６では、画像処理部１０４Ｂ′は、ステップＳ５００４で取得したレンズ別ＯＴＦデータを用いてレンズ別画像回復フィルタを生成する。そして、ステップＳ５００７に進む。

ステップＳ５００７では、画像処理部１０４Ｂ′は、ステップＳ５００６で生成したレンズ別画像回復フィルタまたはステップＳ５００５で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

このように本実施例では、高速な画像処理が要求される連写撮像時においては、使用レンズ、Ｆナンバー以外の撮像条件および像高によらず同じ、かつ既に生成済みのレンズ共通画像回復フィルタを用いるレンズ共通画像回復処理を行う。これにより、使用レンズ、撮像条件および像高によって異なるレンズ別画像回復フィルタをレンズ別ＯＴＦデータから生成してレンズ別画像回復処理を行う場合に比べて、画像回復処理（を含む画像処理）に必要な時間を短くすることができる。この結果、画像回復処理に要する時間の影響によって連写速度が減少されたり連写撮像が停止されたりして連写可能コマ数が少なくなることを回避しながらも、第２の劣化成分が補正された良好な画質の回復画像を生成することができる。

図１２（ｃ）には、図１３のフローチャートに従って本実施例における画像回復処理が行われる場合の画像処理のタイミングを示している。この場合、図１２（ａ）に示した前の撮像処理の後に開始した画像処理が次の撮像処理の開始前に終了している。このため、画像回復処理を行うことによって連写速度が減少されたり連写撮像が停止されたりすることはない。

一方、単写撮像では、第１および第２の劣化成分が補正されたより良好な画質の回復画像を生成することができる。

以上説明したように、本実施例によれば、記憶部１０８Ｂにて保持すべきデータ量の増大を抑えつつ、画像回復処理を行うことの連写撮像に対する影響を少なくし、しかも連写撮像および単写撮像における画質を向上させることができる。さらに、画像処理部１０４Ｂ′を構成するハードウェアの処理性能を向上させなくてもこの効果が得られるので、カメラのコスト増加を防止することもできる。

なお、本実施例では、図９に示すようにレンズ別ＯＴＦデータとレンズ共通画像回復フィルタを保持する記憶部１０８Ｂを用いる場合について説明した。しかし、図２に示すようにレンズ別画像回復フィルタとレンズ共通画像回復フィルタを保持する記憶部１０８や、図６に示すようにレンズ別ＯＴＦデータとレンズ共通ＯＴＦデータを保持する記憶部１０８Ａを用いてもよい。連写撮像のように画像回復処理に要する時間を短くする必要がある場合において使用レンズ、Ｆナンバー以外の撮像条件および像高に依存しないレンズ共通画像回復フィルタまたはレンズ共通ＯＴＦデータを用いる限り、本実施例と同様の作用効果が得られる。このことは、後述する実施例６〜８においても同じである。

カメラの状態としては、記録用画像である静止画を生成（取得）するための撮像を行う静止画撮像状態（第１の状態）と、観察用画像であるライブビュー画像を生成するための撮像を行うライブビュー撮像状態（第２の状態）とがある。実施例６では、撮像状態が静止画撮像状態かライブビュー撮像状態かに応じてレンズ別画像回復処理を行うかレンズ共通画像回復処理を行うかを選択する。

ライブビュー画像は、記録媒体１０９には記録されないが、静止画撮像のために被写体の様子をリアルタイムで表示部１０５に表示するための動画である。このライブビュー画像の各フレームに対する画像処理の時間が長くなると、画像処理後の各フレームの表示タイミングが遅延し、ライブビュー画像のリアルタイム性が損なわれる。本実施例では、このような画像処理に要する時間が長くなることによるライブビュー画像に対する影響を回避する。

図１４のフローチャートには、画像処理部１０４Ｂ′により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４Ｂ′は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４Ｂ′および記憶部１０８Ｂ以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ６００１では、画像処理部１０４Ｂ′は、カメラの撮像状態が静止画撮像状態かライブビュー撮像状態かを示す撮像種別情報をシステムコントローラ１１０から取得する。

次に、ステップＳ６００２では、画像処理部１０４Ｂ′は、使用レンズのレンズＩＤや撮像条件の情報を取得する。

次に、ステップＳ６００３では、画像処理部１０４Ｂ′は、ステップＳ６００１で取得した撮像種別情報から現在のカメラが静止画撮像状態かライブビュー撮像状態かを判定する。静止画撮像状態である場合はステップＳ６００４に進み、ライブビュー撮像状態である場合はステップＳ６００５に進む。

ステップＳ６００４では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ６００６に進む。

一方、ステップＳ６００５では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから、撮像時のＦナンバーに対応するレンズ共通画像回復フィルタを取得する。そして、ステップＳ６００７に進む。

ステップＳ６００６では、画像処理部１０４Ｂ′は、ステップＳ６００４で取得したレンズ別ＯＴＦデータを用いてレンズ別画像回復フィルタを生成する。そして、ステップＳ６００７に進む。

ステップＳ６００７では、画像処理部１０４Ｂ′は、ステップＳ６００６で生成したレンズ別画像回復フィルタまたはステップＳ６００５で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

このように本実施例では、高速な画像処理が要求されるライブビュー撮像状態においては、使用レンズ、Ｆナンバー以外の撮像条件および像高によらず同じ、かつ既に生成済みのレンズ共通画像回復フィルタを用いるレンズ共通画像回復処理を行う。これにより、使用レンズ、撮像条件および像高によって異なるレンズ別画像回復フィルタをレンズ別ＯＴＦデータから生成してレンズ別画像回復処理を行う場合に比べて、画像回復処理（を含む画像処理）に必要な時間を短くすることができる。この結果、画像回復処理に要する時間の影響によってライブビュー画像のリアルタイム性が損なわれることを回避しながらも、第２の劣化成分が補正された良好な画質のライブビュー画像（回復画像）を生成することができる。

一方、静止画撮像状態では、第１および第２の劣化成分が補正されたより良好な画質の記録用画像（静止画）を生成することができる。

以上説明したように、本実施例によれば、記憶部１０８Ｂにて保持すべきデータ量の増大を抑えつつ、画像回復処理を行うことのライブビュー画像に対する影響を少なくし、しかもライブビュー画像および記録用静止画の画質を向上させることができる。さらに、画像処理部１０４Ｂ′を構成するハードウェアの処理性能を向上させなくてもこの効果が得られるので、カメラのコスト増加を防止することもできる。

カメラの状態としては、記録用画像である静止画を生成するための撮像を行う静止画記録状態（第１の状態）と、同じく記録用画像である動画を生成するための撮像を行う動画撮像状態（第２の状態）とがある。実施例７では、撮像状態が静止画撮像状態か動画撮像状態かに応じてレンズ別画像回復処理を行うかレンズ共通画像回復処理を行うかを選択する。

記録用画像が動画である場合も、実施例６にて説明したライブビュー画像と同様にリアルタイム性が必要である。このため、本実施例では、動画撮像状態においてはレンズ共通画像回復処理を行う。一方、記録用動画は、同じ動画であるライブビュー画像とは異なり、それ自体が記録されるので、ライブビュー画像よりも画質の安定性が要求される。

しかし、カメラからのＦナンバーの指示に対する使用レンズにおける絞り１０１ａの制御に遅延があったり、カメラから指示されるＦナンバーの分解能と使用レンズにおいて制御可能なＦナンバーの分解能とが異なったりする場合がある。このような場合、動画のフレームの撮像時の実際のＦナンバーと該フレームに対する画像回復処理のために撮像時の撮像条件として取得されたＦナンバーとが異なるおそれがある。この結果、実際のＦナンバー（つまりは絞り１０１ａによる回折の状態）とは異なるＦナンバーに対応するレンズ共通画像回復処理が行われ、画質の安定性が損なわれる可能性がある。

このため、本実施例では、動画に対するレンズ共通画像回復処理を、実施例４と同様に、第２の劣化成分のうちカメラのローパスフィルタおよび撮像素子１０２の開口特性に起因した劣化成分のみを補正する１つのレンズ共通画像回復フィルタを用いて行う。すなわち、Ｆナンバーに依存しないレンズ共通画像回復処理を行う。このため、本実施例では、記憶部（以下、符号１０８″を付す）に、実施例５，６と同様のレンズ別ＯＴＦを保持するとともに、Ｆナンバーに依存しないレンズ共通画像回復フィルタを保持する。

図１５のフローチャートには、本実施例において画像処理部（以下、符号１０４″を付す）にて行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４″は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４″および記憶部１０８″以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ７００１では、画像処理部１０４″は、カメラの撮像状態が静止画撮像状態か動画撮像状態かを示す撮像種別情報をシステムコントローラ１１０から取得する。

次に、ステップＳ７００２では、画像処理部１０４″は、使用レンズのレンズＩＤや撮像条件の情報を取得する。

次に、ステップＳ７００３では、画像処理部１０４″は、ステップＳ７００１で取得した撮像種別情報から現在のカメラが静止画撮像状態か動画撮像状態かを判定する。静止画撮像状態である場合はステップＳ７００４に進み、動画撮像状態である場合はステップＳ７００５に進む。

ステップＳ７００４では、画像処理部１０４″は、記憶部１０８″から使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ７００６に進む。

一方、ステップＳ７００５では、画像処理部１０４″は、記憶部１０８″から、レンズ共通画像回復フィルタを取得する。そして、ステップＳ７００７に進む。

ステップＳ７００６では、画像処理部１０４″は、ステップＳ７００４で取得したレンズ別ＯＴＦデータを用いてレンズ別画像回復フィルタを生成する。そして、ステップＳ７００７に進む。

ステップＳ７００７では、画像処理部１０４″は、ステップＳ７００６で生成したレンズ別画像回復フィルタまたはステップＳ７００５で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

このように本実施例では、高速な画像処理が要求される動画撮像状態においては、使用レンズ、Ｆナンバーを含む撮像条件および像高によらず同じ、かつ既に生成済みのレンズ共通画像回復フィルタを用いるレンズ共通画像回復処理を行う。これにより、使用レンズ、撮像条件および像高によって異なるレンズ別画像回復フィルタをレンズ別ＯＴＦデータから生成してレンズ別画像回復処理を行う場合に比べて、画像回復処理（を含む画像処理）に必要な時間を短くすることができる。この結果、画像回復処理に要する時間の影響によって動画のリアルタイム性が損なわれることを回避しながらも、回折に起因する劣化成分を除く第２の劣化成分が補正された良好な画質のライブビュー画像（回復画像）を生成することができる。また、実際のＦナンバーとは異なるＦナンバーに対応するレンズ共通画像回復処理が行われて画質の安定性が損なわれることを回避することができる。

一方、静止画撮像状態では、第１および第２の劣化成分が補正されたより良好な画質の記録用画像（静止画）を生成することができる。

以上説明したように、本実施例によれば、記憶部１０８″にて保持すべきデータ量の増大を抑えつつ、画像回復処理を行うことの記録用動画に対する影響を少なくし、しかも記録用動画および記録用静止画の画質を向上させることができる。さらに、画像処理部１０４″を構成するハードウェアの処理性能を向上させなくてもこの効果が得られるので、カメラのコスト増加を防止することもできる。

交換レンズ（撮像光学系）の状態として、絞りにより設定されるＦナンバー（絞り値）が所定値より小さい開放側状態（第１の状態）と所定値以上である絞り込み状態（第２の状態）とがある。撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の収差は、開放側状態では大きくなるので、該収差に起因する第１の劣化成分を良好に補正する必要がある。一方、絞り込み状態では上記収差は小さくなるので、第１の劣化成分の補正の必要度は低くなる。ただし、絞り込み状態のうちいわゆる小絞り状態では回折が発生するため、該回折に起因する第２の劣化成分を補正する必要度が高くなる。このため、実施例８では、絞り状態が開放側状態か絞り込み状態か（Ｆナンバーが所定値より小さいか否か）に応じてレンズ別画像回復処理を行うかレンズ共通画像回復処理を行うかを選択する。

図１６のフローチャートには、画像処理部１０４Ｂ′により行われる画像回復処理の流れを示している。コンピュータにより構成される画像処理部１０４Ｂ′は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。また、ここでの説明において、画像処理部１０４Ｂ′および記憶部１０８Ｂ以外の構成要素は実施例１と共通であるので、実施例１と同符号を付す。

ステップＳ８００１では、画像処理部１０４Ｂ′は、システムコントローラ１１０と状態検知部１０７から、使用レンズのレンズＩＤやＦナンバー、焦点距離、撮像距離等の撮像条件の情報を取得する。本実施例でも、ここで取得した撮像条件が撮像画像（入力画像）を取得するための撮像時の撮像条件であるとする。

次に、ステップＳ８００２では、画像処理部１０４Ｂ′は、ステップＳ８００１で取得した使用レンズのＦナンバーが所定値としての閾値より小さいか否かを判定する。閾値は、使用レンズの特性に応じて決定される。Ｆナンバーが閾値より小さい場合はステップＳ８００３に進み、閾値以上である場合（閾値より大きい場合）はステップＳ８００４に進む。

ステップＳ８００３では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから使用レンズの撮像時の撮像条件に対応する像高ごとのレンズ別ＯＴＦデータを取得する。そして、ステップＳ８００５に進む。

一方、ステップＳ８００４では、画像処理部１０４Ｂ′は、記憶部１０８Ｂから、撮像時のＦナンバーに対応するレンズ共通画像回復フィルタを取得する。そして、ステップＳ８００６に進む。

ステップＳ８００５では、画像処理部１０４Ｂ′は、ステップＳ８００３で取得したレンズ別ＯＴＦデータを用いてレンズ別画像回復フィルタを生成する。そして、ステップＳ８００６に進む。

ステップＳ８００６では、画像処理部１０４Ｂ′は、ステップＳ８００５で生成したレンズ別画像回復フィルタまたはステップＳ８００４で取得したレンズ共通画像回復フィルタを入力画像に対してコンボリューションする。これにより、レンズ別またはレンズ共通画像回復処理を行って回復画像を生成する。

このように本実施例では、絞りの開放側状態は、大きな収差に起因する第１の劣化成分を、使用レンズ、撮像状態および像高に依存するレンズ別画像回復処理によって良好に補正する。一方、絞り込み状態では、回折等に起因する第２の劣化成分をレンズ共通画像回復処理によって良好に補正する。このように、画像処理部１０４Ｂ′の処理負荷が増加するレンズ別画像回復処理は絞りの開放側状態に限定して行うことにより、記憶部１０８Ｂにて保持すべきデータ量の増大を抑えつつ、処理の遅延や消費電力の増加の可能性を小さくすることができる。

なお、実施例１〜８で説明したレンズ別およびレンズ共通画像回復処理の選択は、これらをそれぞれ単独で行ってもよいが、これらを組み合わせて行ってもよい。また、カメラの状態および交換レンズ（撮像光学系）の状態は、実施例５〜８にて説明した単写／連写モード、静止画／ライブビュー撮像状態、静止画／動画撮像状態およびＦナンバーに限られず、他の状態を含めてもよい。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０４ 画像処理部
１１０ システムコントローラ

Claims (14)

1. 複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行う画像処理装置であって、
   前記画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理とを行う処理手段と、
   前記第１および第２の画像回復処理のうち一方を選択する選択手段とを有し、
   前記第１の画像回復フィルタは、前記撮像に使用された前記撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、
   前記第２の画像回復フィルタは、前記第１のデータとは異なる第２のデータを用いて生成されることを特徴とする画像処理装置。
2. 前記第１の画像回復フィルタまたは前記第１のデータと、前記第２の画像回復フィルタまたは前記第２のデータとを保持する記憶手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のデータは、前記撮像光学系の収差に関するデータであり、
   前記第２のデータは、前記撮像光学系の絞りによる回折、前記撮像装置に設けられた光学フィルタおよび該撮像装置に設けられた撮像素子の開口特性のうち少なくとも一つに関するデータであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像回復フィルタは、前記入力画像における前記撮像光学系の収差に起因する第１の劣化成分と前記撮像光学系の絞りによる回折、前記撮像装置に設けられた光学フィルタおよび該撮像装置に設けられた撮像素子の開口特性のうち少なくとも一つに起因する第２の劣化成分とに対して画像回復作用を有する画像回復フィルタであり、
   前記第２の画像回復フィルタは、前記第２の劣化成分に対して画像回復作用を有する画像回復フィルタであることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第１の画像回復フィルタは像高に応じて異なる画像回復フィルタであり、
   前記第２の画像回復フィルタは各像高に対して共通の画像回復フィルタであることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記選択手段は、前記第１の画像回復フィルタまたは前記第１のデータの取得が可能な場合は前記第１の画像回復処理を選択し、前記第１の画像回復フィルタまたは前記第１のデータの取得が可能でない場合は前記第２の画像回復処理を選択することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記選択手段は、前記撮像に際しての前記撮像装置の状態または前記撮像光学系の状態に応じて前記第１および第２の画像回復処理のうち一方を選択することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
8. 前記撮像装置の状態は、単写撮像を行う第１の状態か連写撮像を行う第２の状態であり、
   前記選択手段は、前記第１の状態において前記第１の画像回復処理を選択し、前記第２の状態において前記第２の画像回復処理を選択することを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像装置の状態は、記録用画像を生成する第１の状態か観察用画像を生成する第２の状態であり、
   前記選択手段は、前記第１の状態において前記第１の画像回復処理を選択し、前記第２の状態において前記第２の画像回復処理を選択することを特徴とする請求項７に記載の画像処理装置。
10. 前記撮像装置の状態は、静止画を生成する第１の状態か動画を生成する第２の状態であり、
    前記選択手段は、前記第１の状態において前記第１の画像回復処理を選択し、前記第２の状態において前記第２の画像回復処理を選択することを特徴とする請求項７に記載の画像処理装置。
11. 前記撮像光学系の状態は、絞り値が所定値より小さい第１の状態と前記所定値より大きい第２の状態であり、
    前記選択手段は、前記第１の状態において前記第１の画像回復処理を選択し、前記第２の状態において前記第２の画像回復処理を選択することを特徴とする請求項７に記載の画像処理装置。
12. 複数の撮像光学系の交換使用が可能な撮像装置であって、
    前記撮像光学系により形成された被写体像を撮像する撮像手段と、
    該撮像手段を用いて生成された撮像画像を入力画像として画像回復処理を行う請求項１から１１のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
13. 複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行う画像処理方法であって、
    前記画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理のうち一方を選択し、
    該選択された画像回復処理を前記入力画像に対して行い、
    前記第１の画像回復フィルタは、前記撮像に使用された前記撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、
    前記第２の画像回復フィルタは、前記第１のデータとは異なる第２のデータを用いて生成されることを特徴とする画像処理方法。
14. コンピュータに、複数の撮像光学系の交換使用が可能な撮像装置による撮像により生成された入力画像に対して画像回復処理を行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記画像回復処理として、第１の画像回復フィルタを用いた第１の画像回復処理と、第２の画像回復フィルタを用いた第２の画像回復処理のうち一方を選択させ、
    該選択された画像回復処理を前記入力画像に対して行わせ、
    前記第１の画像回復フィルタは、前記撮像に使用された前記撮像光学系の光学伝達関数に関する第１のデータを用いて生成され、
    前記第２の画像回復フィルタは、前記第１のデータとは異なる第２のデータを用いて生成されることを特徴とする画像処理プログラム。