JP2017041672A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】大量の画像を短時間で回復処理可能な画像処理装置を提供する。
【解決手段】画像処理装置は、複数の撮影画像を撮影条件ごとのグループに分類する分類手段（８０４ａ）と、同一のグループに分類された複数の画像に関して共通の演算処理を行い、撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成する演算処理手段（８０４ｂ）と、光学伝達関数情報または点像分布関数情報に基づいて、複数の画像に対する回復処理を行う画像回復手段（８０４ｃ）とを有する。
【選択図】図１

Description

本発明は、撮像光学系による画像の劣化を補正する画像処理装置に関する。

撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つ。このような微小な広がりを持った分布をＰＳＦ（点像分布関数）と呼ぶ。このような撮像光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して撮像光学系による画像の劣化を補正する方法（画像回復処理）が提案されている。ただし、このような画像回復処理を大量の画像に対して実行しようとすると、膨大な時間が必要となる。

特許文献１には、ＯＨＰのデータ補正用前処理の共通化によって種々のネガフィルムやポジフィルムに対して共通の補正処理を行う工程と、 異なる補正処理を行う工程にわけて前処理時間を短縮する方法が開示されている。

特開平１０―３３６４５０号公報

しかしながら、特許文献１には、膨大な量の撮影条件のそれぞれに応じた画像回復処理を高速化する方法は開示されていない。特に、大量の画像に対して画像回復処理を行う場合、処理時間を短縮するために効率的な処理が望まれる。

そこで本発明は、大量の画像を短時間で回復処理可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の撮影画像を撮影条件ごとのグループに分類する分類手段と、同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成する演算処理手段と、前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行う画像回復手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像データに基づいて生成された複数の撮影画像を撮影条件ごとのグループに分類する分類手段と、同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成する演算処理手段と、前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行う画像回復手段とを有する。

本発明の他の側面としての画像処理方法は、複数の撮影画像を撮影条件ごとのグループに分類するステップと、同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成するステップと、前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行うステップとを有する。

本発明の他の側面としての画像処理プログラムは、複数の撮影画像を撮影条件ごとのグループに分類するステップと、同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成するステップと、前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行うステップと、をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、大量の画像を短時間で回復処理可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法のフローチャートである。 実施例１における撮影画像および撮影条件の説明図である。 実施例１における複数の画像のグループ化の説明図である。 実施例１におけるグループごとの複数の画像に関する共通演算処理のフローチャートである。 実施例１における画像処理システムの構成図である。 実施例２における画像処理方法のフローチャートである。 実施例２におけるグループごとの複数の画像に関する共通演算処理のフローチャートである。 実施例２における撮像装置のブロック図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させることになり、また画像上にリンギングを発生させる可能性が高くなる。このような弊害により、単純な逆特性で除算する手法では良好な画像を得ることが困難である。そこで、ノイズの増幅を抑制するための画像回復処理として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。

Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）^２＋Γ） … （４）
式（４）において、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）であり、Γはノイズの増幅量を低減するための調整項（定数）である。

画像回復処理の対象となる画像にノイズが発生していない場合でも、増幅率が大きくなりすぎると、リンギングや、その他のエッジの掘り込みのような弊害が発生しやすい。このため、調整項Γの制御は、非常に重要である。このように、調整項Γは増幅率を制御するために用いられる。なお、調整項Γは定数に限定されるものではなく、周波数特性を考慮した調整項Γ（ｕ，ｖ）を用いてもよい。

式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系（撮像光学系）の回折や収差により発生したＰＳＦの位相成分を０にし、ＰＳＦの振幅成分の周波数特性を増幅することにより、高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタＷ（ｕ，ｖ）を用いた画像回復処理により回復された画像の周波数空間情報Ｒ（ｕ，ｖ）は、以下の式（５）のように表される。

Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） … （５）
本実施形態において、ウィナーフィルタＷ（ｕ，ｖ）を回復ゲイン周波数特性、調整項Γを回復ゲイン調整項ともいう。

ここで、式（４）を実際の撮像装置に適用することを考える。撮像装置における主な構成要素は、撮像光学系、撮像素子、および、画像処理装置である。式（４）中のＨ（ｕ，ｖ）は、特定の撮影条件に関する光学伝達関数である。撮影条件は、撮像光学系のパラメータである焦点距離とＦ値、撮影時の被写体距離、画面内の像高位置、および、撮像素子の画素ピッチなどである。また、光学ローパスフィルタなどの光学素子が挿入されていれば、光学素子の影響を撮影条件として考慮に入れることが好ましい。このように光学伝達関数Ｈ（ｕ，ｖ）は、撮影条件に応じて変化する。

一方、撮像光学系や撮像素子のパラメータなどの撮影条件が一定であれば、撮影対象の被写体が変化しても、光学伝達関数Ｈ（ｕ，ｖ）は（実質的には）変化しない。これは、本実施形態における画像回復処理は、照明光源が十分に大きい形状であることを想定したインコヒーレントなモデルを前提としているためである。

以下、各実施例において、大量の画像を短時間で回復処理可能な画像処理装置および撮像装置について具体的に説明する。

まず、図１を参照して、本発明の実施例１における画像処理方法（画像回復処理）について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップは、画像処理装置の各部（図８に示される分類手段８０４ａ、演算処理手段８０４ｂ、および、画像回復手段８０４ｃと同様の機能を有する各部）により実行される。

画像処理装置は、予め、ユーザの操作などに応じて、画像回復処理の対象となる画像群（複数の画像）を選択する。そして画像処理装置は、選択された画像群に対して、本実施例における画像回復処理を開始する。まずステップＳ１０１において、画像処理装置は、選択された画像群（対象画素群である複数の画像）のそれぞれに付随するＥｘｉｆ情報などに基づいて、撮影条件（撮影条件情報）を取得する。

撮影条件は、撮像光学系の撮影条件として、撮影時のレンズを特定するためのレンズ識別番号（レンズＩＤ）、撮影時の焦点距離、Ｆ値、および、被写体距離などを含む。レンズＩＤ、焦点距離、Ｆ値、および、被写体距離の組み合わせに基づいて、光学空中像の光学伝達関数（ＯＴＦ）を特定することができる。光学空中像とは、撮像装置（カメラ）のセンサ上に結像される離散化されていない光学像である。また撮影条件は、撮像素子の撮影条件として、撮像素子のセンササイズ、画素ピッチ、および、カラーフィルタ配列情報などを含む。撮像素子のセンササイズは、光学空中像を切り出すイメージサークルを指定する情報である。画素ピッチは、光学伝達関数の折りかえり信号に関する情報である。また、光学ローパスフィルタに関する情報を撮影条件に加えてもよい。光学ローパスフィルタに関する情報とは、光学ローパスフィルタの存在、および、それによるＰＳＦの分離幅および分離方向を示す情報である。カラーフィルタ配列情報とは、単版センサの場合、ＲＧＢ画素の配列形態を示す情報である。

続いてステップＳ１０２において、画像処理装置（分類手段）は、選択された画素群（対象画素群である複数の画像）を、ステップＳ１０１にて取得した撮影条件（の組み合わせ）が一致する画像ごとに分類する（グループ化する）。前述のように、撮影条件は、画像の撮影時に取得され、画像に付加情報として記録され得る。このため、撮影条件が一致するとは、全ての撮影条件が一致する場合に限定されるものではなく、被写体距離や焦点距離などの撮影条件に関し、画像の付加情報として取得可能な範囲において撮影条件が一致する場合を含む。

続いてステップＳ１０３において、画像処理装置（演算処理手段）は、各グループの画像群（各グループに分類された複数の画像）に対して、各グループに対応する撮影条件を反映した光学伝達関数（光学伝達関数情報）を生成する。そして画像処理装置は、各グループの撮影条件に対応する光学伝達関数に基づいて画像回復フィルタを生成し、各グループに分類された複数の画像に対して回復処理を行う。なお本実施例において、画像処理装置は、光学伝達関数（光学伝達関数情報）に代えて、点像分布関数（点像分布関数情報）を生成してもよい。光学伝達関数情報および点像分布関数情報は、撮影条件ごとに固有の情報である。

画像処理装置は、画像回復フィルタを生成する際に設定されるパラメータ（回復パラメータ）として、各グループの画像群に共通のパラメータを用いる。共通のパラメータとしては、例えば、式（４）中の調整項Γ（回復ゲインまたは回復ゲイン調整項）がある。ただし本実施例は、これに限定されるものではなく、式（４）を変形した式に関するパラメータを共通化してもよい。なお、共通のパラメータは、光学伝達関数Ｈ（ｕ，ｖ）以外に設定すべきパラメータの全てまたは少なくとも一部である。このように画像処理装置は、各グループの画素群に関して共通化可能な処理（画像回復処理のための各パラメータの設定や画像回復フィルタの生成などの処理）に関して、共通化する（共通演算処理を行う）。

画像回復処理は、光学伝達関数に基づいて画像（撮影画像）の劣化を補正する処理であるため、撮影条件が一致した画像に対しては共通の光学伝達関数を使用可能である。本実施例では、複数の画像に対して画像回復処理を行う場合、使用する光学伝達関数のセットを撮影条件が一致する複数の画像に対して使いまわすことにより、光学伝達関数の生成回数を削減し、画像回復処理を高速化（短縮化）することが可能となる。

最後に、ステップＳ１０４において、画像処理装置（画像回復手段）は、グループごとに、回復画像群（複数の回復画像）を生成して出力する。

次に、図２を参照して、本実施例における画像（撮影画像）、および、それに付随する撮影条件について説明する。図２は、撮影画像および撮影条件の一例を示す図である。前述のように、撮像装置は、各撮影画像とともに、撮影時の撮影条件（撮影条件情報）を詳細に記録する。すなわち、各撮影画像のデータには撮影条件情報が含まれている。撮影条件のうち撮像素子（センサ）に関する情報については、撮像装置はセンサＩＤなどの識別番号を保持しており、センサＩＤに対応するセンササイズおよび画素ピッチに関する情報を照合して撮影画像とともに記録する。同様に、撮像装置は、光学ローパスフィルタに関する情報を照合して撮影画像とともに記録することができる。

次に、図３を参照して、撮影条件ごとの複数の画像のグループ化（グルーピング処理）について説明する。図３は、撮影条件ごとの複数の画像のグループ化の説明図である。画像処理装置は、例えば、レンズＩＤ、焦点距離、Ｆ値、被写体距離、センササイズ、画素ピッチ、光学ローパスフィルタ、およびカラーフィルタの画素配列に関する情報を一組とした撮影条件に応じて、撮影画像群（複数の撮影画像）を撮影条件Ａ〜Ｇに分類する。そして画像処理装置は、撮影画像群に含まれる複数の撮影画像を、撮影条件Ａ〜Ｇごとに並び替えて複数の撮影画像をグループＡ〜Ｇとしてグループ化する（複数の撮影画像のグルーピングを行う）。

本実施例において、撮影条件のうち被写体距離は、所定の距離よりも大きくなると、画像回復処理に実質的な影響を与えるような変化を示さない。このため、ある撮影画像の被写体距離が所定の距離も大きい場合、その撮影画像の被写体距離が所定の距離であるとして扱ってもよい。すなわち、被写体距離が所定の距離よりも大きい複数の撮影画像に関しては、実際には互いに異なる被写体距離を有するが、全て同一の被写体距離（所定の距離）を有する撮影画像として扱ってもよい。これにより、被写体距離の同一性を厳密に要求する場合と比較して、同一のグループに分類される撮影画像の数が増加し、回復処理時間を更に短縮することができる。

なお本実施例において、カラーフィルタの画素配列に関する情報は、様々な撮像装置に関して同じである場合が多いため、撮影条件（または、複数の撮影画像のグルーピングの判定に用いられる条件）に含まなくてもよい。また撮像装置は、撮影条件ごとに複数の撮影画像がグループ化されたことを明示的に示すユーザインターフェースを備えていてもよい。

次に、図４を参照して、グループごと複数の画像に関する共通演算処理について説明する。図４は、グループごとの複数の画像に関する共通演算処理のフローチャートであり、同一の撮影条件としてグループ化（グルーピング）された撮影画像群（複数の撮影画像）に対する画像回復処理のフローチャートを示している。図４の各ステップは、画像処理装置の各部（演算処理手段および画像回復手段）により実行される。

まずステップＳ４０１において、画像処理装置は、レンズＩＤおよびセンサＩＤを取得する。続いてステップＳ４０２において、画像処理装置は、レンズの焦点距離、Ｆ値、および、被写体距離を取得する。前述のように、これらの撮影条件は、撮影画像とともに記録されているため、対象となる撮影画像から取得することができる。続いてステップＳ４０３において、画像処理装置は、センサの画素ピッチを考慮した光学伝達関数情報を取得する。光学伝達関数情報（ＯＴＦ、またはＯＴＦを生成するためのデータ）は、画像処理装置の内部または外部に設けられた記憶部に記憶されており、記憶部から撮影条件に応じた光学伝達関数情報を取得することができる。続いてステップＳ４０４において、画像処理装置は、光学ローパスフィルタおよび画素形状特性を、ステップＳ４０３にて取得した光学伝達関数に付加する（反映させる）。続いてステップＳ４０５において、画像処理装置は、画像回復処理に用いられるパラメータ（回復パラメータ）を一括設定し、画像回復フィルタを生成する。最後にステップＳ４０６において、画像処理装置は、複数の撮影画像のそれぞれに対して（個別に）回復処理を行う。

本実施例において、ステップＳ４０１〜Ｓ４０５は、グループごとの複数の撮影画像に関して共通の演算処理（同一グループ内における共通演算処理）である。この共通演算処理は、グルーピングされた撮影画像群（各グループ内に含まれる複数の画像）に関して共通に実行される演算処理であって、一枚目の画像に対する回復処理の際にのみ実行される。二枚目以降の画像に関しては、一枚目の画像に対して生成されたデータ（共通演算処理により生成されたデータ）が共通に使用される。すなわち、レンズＩＤ、センサＩＤ、レンズの焦点距離、Ｆ値、被写体距離が決定されれば、画素ピッチを反映した光学伝達関数の取得、光学ローパスフィルタ、画素形状特性なども全て一意に決定される。本実施例の画像処理装置は、これらの全てを考慮に入れた光学伝達関数を用いて、各画像に関して共通の強さで画像回復処理を実行する。なお、本実施例の画像回復処理は、例えばＰＣ上で動作するソフトウエアにより実行可能である。

次に、図５を参照して、本実施例における画像処理システム（画像処理装置）について説明する。図５は、本実施例における画像処理システム５００の構成図である。画像処理システム５００は、画像処理装置５０１（情報処理装置としてのハードウエア）、表示装置５０２（モニタ）、および、入力装置５０３（キーボードなどの入力手段）を備えて構成される。ここでは、本実施例の画像処理方法を画像処理システム５００（パソコンのソフトウエア）上で動作させる場合について説明する。なお画像処理装置５０１は、図８に示される分類手段８０４ａ、演算処理手段８０４ｂ、および、画像回復手段８０４ｃと同様の機能を有する各部を有する。

まず、本実施例の画像処理方法を画像処理装置５０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置５０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア５０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。また画像処理装置５０１には、撮影条件ごとに光学伝達関数情報または点像分布関数情報が格納されている。光学伝達関数情報または点像分布関数情報は、メディア５０４やネットワークを介してダウンロードすることにより、画像処理装置５０１に格納される。本実施例において、ソフトウエア（画像処理プログラム）、光学伝達関数情報、点像分布関数情報、および、撮影条件情報などの各データは、画像処理装置５０１内のハードディスクなどの記憶部に記憶される。また画像処理装置５０１は、少なくとも一部のデータを、外部のサーバからネットワークを通じて取得するように構成してもよい。

画像処理装置５０１は、インストールされたソフトウエアを起動し、撮影画像に対して画像回復処理を行う。ソフトウエア上では、画像回復処理の強度（回復ゲイン）や、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示装置５０２上で回復処理後の画像を確認しつつ変更可能であることが好ましい。

次に、図６を参照して、本発明の実施例２における画像処理方法（画像回復処理）について説明する。図６は、本実施例における画像処理方法のフローチャートである。図６の各ステップは、画像処理装置の各部（図８に示される分類手段８０４ａ、演算処理手段８０４ｂ、および、画像回復手段８０４ｃ）により実行される。

本実施例の画像処理装置は、各グループの画像群に対して、回復ゲイン別の処理を行う点で、このような処理を行わない実施例１の画像処理装置とは異なる。なお、図６のステップＳ６０１〜Ｓ６０３、Ｓ６０５は、図１のステップＳ１０１〜Ｓ１０４とそれぞれ同様であるため、それらの説明は省略する。

ステップＳ６０４において、画像処理装置は、各グループの画像群（複数の画像）に対して、回復ゲイン別の処理を行う。すなわち本実施例の画像処理装置は、実施例１と同様に、同一の撮影条件に関する複数の画像に対して、前述のような共通の演算処理により複数の画像に関して共通の光学伝達関数（光学伝達関数情報）または点像分布関数（点像分布関数情報）を生成する。そして画像処理装置は、同一のグループ内の複数のそれぞれに対して互いに異なるパラメータ（回復パラメータ）を設定して画像回復フィルタを生成する（ステップＳ６０４）。

本実施例において、回復パラメータは、例えば、式（４）中の調整項Γ（回復ゲインまたは回復ゲイン調整項）である。ただし本実施例は、これに限定されるものではなく、式（４）を変形した式に関するパラメータを共通化してもよい。なお、パラメータは、光学伝達関数Ｈ（ｕ，ｖ）以外に設定すべきパラメータの全てまたは少なくとも一部である。本実施例において、各パラメータは、画像回復処理を実行するユーザの意図を反映して設定される。これにより、ユーザは、回復処理の強さや弊害抑制などの強さを自由に設定することができる。各画像に適用するパラメータ群は予めファイルなどに記述しておき、バッチ処理などを行うことも可能である。

次に、図７を参照して、グループごとの複数の画像に関する共通演算処理について説明する。図７は、グループごとの複数の画像に関する共通演算処理のフローチャートであり、同一の撮影条件としてグループ化（グルーピング）された撮影画像群（複数の撮影画像）に対する画像回復処理のフローチャートを示している。図７の各ステップは、画像処理装置の各部（図８に示される演算処理手段８０４ｂおよび画像回復手段８０４ｃ）により実行される。

本実施例の画像処理装置は、画像回復処理に用いられる回復パラメータを個別設定する点で、回復パラメータを一括設定する実施例１の画像処理装置とは異なる。なお、図７のステップＳ７０１〜Ｓ７０４、Ｓ７０６は、図４のステップＳ４０１〜Ｓ４０４、Ｓ４０６とそれぞれ同様であるため、それらの説明は省略する。

本実施例において、ステップＳ７０１〜Ｓ７０４がグループ内における共通演算処理である。ステップＳ７０５において、画像処理装置は、画像回復処理に用いられるパラメータ（回復パラメータ）を個別設定し、画像回復フィルタを生成する。本実施例の画像処理方法は、例えば撮像装置内の画像処理装置により実行可能である。

次に、図８を参照して、本実施例における撮像装置の概略構成について説明する。図８は、本実施例における撮像装置８００のブロック図である。撮像装置８００は、前述の画像処理方法を実行可能な画像処理部８０４（画像処理装置）を備えている。

撮像装置８００において、被写体（不図示）は、絞り８０１ａ（または遮光部材）およびフォーカスレンズ８０１ｂを含む撮像光学系８０１（光学系）を介して撮像素子８０２に結像する。本実施例において、撮像光学系８０１は、撮像素子８０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系８０１とが一体的に構成された撮像装置にも適用可能である。

絞り値（Ｆ値）は、絞り８０１ａまたは遮光部材により決定される。撮像素子８０２は、撮像光学系８０１を介して形成された被写体像（光学像）を光電変換して画像信号（撮影画像データ）を出力する。撮像素子８０２から出力された電気信号は、Ａ／Ｄ変換器８０３に出力される。Ａ／Ｄ変換器８０３は、撮像素子８０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部８０４に出力する。なお、撮像素子８０２およびＡ／Ｄ変換器８０３により、撮像光学系８０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。

画像処理部８０４は、Ａ／Ｄ変換器８０３から出力されたデジタル信号（撮像素子８０２から出力された画像信号から生成された画像）に対して、状態検知部８０７および記憶部８０８の各情報を用いて所定の画像処理を行う。特に、本実施例の画像処理部８０４は、撮影画像の画像回復処理を行い、補正画像（回復画像）を出力する。

画像処理部８０４は、分類手段８０４ａ、演算処理手段８０４ｂ、および、画像回復手段８０４ｃを有する。分類手段８０４ａは、複数の撮影画像を撮影条件ごとのグループに分類する。演算処理手段８０４ｂは、同一のグループに分類された複数の画像に関して共通の演算処理を行い、撮影条件ごとに（固有の）光学伝達関数情報または点像分布関数情報を生成する。画像回復手段８０４ｃは、光学伝達関数情報または点像分布関数情報に基づいて、複数の画像に対する回復処理を行う。

記憶部８０８（記憶手段）は、撮影条件（撮影条件情報）ごとに光学伝達関数情報を記憶する。撮影条件は、例えば、撮像光学系制御部８０６または状態検知部８０７により取得される。なお本実施例において、画像処理部８０４の内部に、光学伝達関数情報を記憶する記憶部を含めてもよい。

画像処理部８０４は、取得した撮影条件に対応する光学伝達関数を取得し、光学ローパスフィルタや画素形状特性を光学伝達関数に付加する。また画像処理部８０４（画像回復手段８０４ｃ）は、記憶部８０８から画像データを読み出し、光学伝達関数または点像分布関数を用いて画像回復処理を行う。なお、画像回復処理の際には、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示部８０５上で回復処理後の画像を確認しつつ変更可能であることが好ましい。

画像処理部８０４で処理された出力画像（回復画像）は、画像記録媒体８０９に所定のフォーマットで記録される。表示部８０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部８０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部８０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部８０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ８１０は、本実施例（または、実施例１）の画像処理方法を実行するように画像処理部８０４を制御する。

システムコントローラ８１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置８００の全体の制御を司る。より具体的には、システムコントローラ８１０は、画像処理部８０４、表示部８０５、撮像光学系制御部８０６、状態検知部８０７、および、画像記録媒体８０９の各部を制御する。撮像光学系制御部８０６は、撮像光学系８０１の動作を制御する。状態検知部８０７は、撮像光学系制御部８０６の情報から撮像光学系８０１の状態を検知する。なお撮像装置８００は、前述の画像処理方法を実現するソフトウエア（画像処理プログラム）を、ネットワークまたは記憶媒体を介してシステムコントローラ８１０に供給し、システムコントローラ８１０がそのプログラムを読み出して実行することもできる。

このように各実施例において、画像処理装置（画像処理装置５０１、画像処理部８０４）は、分類手段８０４ａ、演算処理手段８０４ｂ、および、画像回復手段８０４ｃを有する。分類手段は、複数の撮影画像を撮影条件ごとのグループに分類する（複数の撮影画像を同一の撮影条件を有する複数の画像のグループに分類する）。演算処理手段は、同一のグループに分類された複数の画像に関して共通の演算処理を行い、撮影条件ごとに光学伝達関数情報（ＯＴＦまたはＯＴＦを生成するためのデータ）または点像分布関数情報（ＰＳＦまたはＰＳＦを生成するためのデータ）を生成する。画像回復手段は、光学伝達関数情報または点像分布関数情報に基づいて、複数の画像に対する回復処理を行う。

好ましくは、演算処理手段は、共通の演算処理において、複数の画像に関する共通の回復パラメータを設定し、共通の回復パラメータを用いて画像回復フィルタを生成する。また好ましくは、演算処理手段は、共通の演算処理により生成された光学伝達関数情報または点像分布関数情報に基づいて、同一のグループに分類された複数の画像のそれぞれに対する回復パラメータを個別に設定する。そして演算処理手段は、個別に設定された回復パラメータを用いて画像回復フィルタを生成する。より好ましくは、回復パラメータは、回復処理を行うための回復ゲインである。

好ましくは、撮影条件は、撮影の際に用いられる撮像光学系のパラメータと撮像素子のパラメータとの組み合わせに基づいて決定される。そして分類手段は、複数の撮影画像のうち、撮像光学系のパラメータと撮像素子のパラメータとの組み合わせが互いに一致する複数の画像を同一のグループとして分類する。

好ましくは、分類手段は、複数の撮影画像の撮影条件が同一である場合、複数の撮影画像を同一のグループに分類する。より好ましくは、撮影条件は、被写体距離を含む。そして分類手段は、被写体距離が所定の距離よりも大きい場合、被写体距離が所定の距離であるとして、複数の撮影画像の撮影条件が同一であるか否かを判定する。また好ましくは、複数の撮影画像は、被写体距離が第１の被写体距離である第１の撮影画像、および、被写体距離が第１の被写体距離よりも大きい第２の被写体距離である第２の撮影画像を含む。そして分類手段は、第１の被写体距離が所定の距離よりも小さい場合、第１の撮影画像および第２の撮影画像を互いに異なるグループに分類する。一方、第１の被写体距離が所定の距離よりも大きく、かつ、撮影条件のうち被写体距離を除く他の撮影条件が同一である場合、第１の撮影画像および第２の撮影画像を同一のグループに分類する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、大量の画像を短時間で回復処理可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５０１ 画像処理装置
８０４ 画像処理部（画像処理装置）
８０４ａ 分類手段
８０４ｂ 演算処理手段
８０４ｃ 画像回復手段

Claims (12)

1. 複数の撮影画像を撮影条件ごとのグループに分類する分類手段と、
   同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成する演算処理手段と、
   前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
2. 前記演算処理手段は、前記共通の演算処理において、前記複数の画像に関する共通の回復パラメータを設定し、該共通の回復パラメータを用いて画像回復フィルタを生成する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記演算処理手段は、前記共通の演算処理により生成された前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記同一のグループに分類された前記複数の画像のそれぞれに対する回復パラメータを個別に設定し、個別に設定された該回復パラメータを用いて画像回復フィルタを生成する、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記回復パラメータは、前記回復処理を行うための回復ゲインである、ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記撮影条件は、撮影の際に用いられる撮像光学系のパラメータと撮像素子のパラメータとの組み合わせに基づいて決定され、
   前記分類手段は、前記複数の撮影画像のうち、前記撮像光学系のパラメータと前記撮像素子のパラメータとの組み合わせが互いに一致する前記複数の画像を同一のグループとして分類する、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記分類手段は、前記複数の撮影画像の撮影条件が同一である場合、該複数の撮影画像を前記同一のグループに分類する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮影条件は、被写体距離を含み、
   前記分類手段は、前記被写体距離が所定の距離よりも大きい場合、該被写体距離が該所定の距離であるとして、前記複数の撮影画像の撮影条件が同一であるか否かを判定する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記撮影条件は、被写体距離を含み、
   前記複数の撮影画像は、前記被写体距離が第１の被写体距離である第１の撮影画像、および、該被写体距離が前記第１の被写体距離よりも大きい第２の被写体距離である第２の撮影画像を含み、
   前記分類手段は、
   前記第１の被写体距離が所定の距離よりも小さい場合、前記第１の撮影画像および前記第２の撮影画像を互いに異なるグループに分類し、
   前記第１の被写体距離が前記所定の距離よりも大きく、かつ、前記撮影条件のうち前記被写体距離を除く他の撮影条件が同一である場合、前記第１の撮影画像および前記第２の撮影画像を前記同一のグループに分類する、ことを特徴とする請求項６または７に記載の画像処理装置。
9. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
   前記画像データに基づいて生成された複数の撮影画像を撮影条件ごとのグループに分類する分類手段と、
   同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成する演算処理手段と、
   前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
10. 複数の撮影画像を撮影条件ごとのグループに分類するステップと、
    同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成するステップと、
    前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行うステップと、を有することを特徴とする画像処理方法。
11. 複数の撮影画像を撮影条件ごとのグループに分類するステップと、
    同一のグループに分類された複数の画像に関して共通の演算処理を行い、前記撮影条件ごとに光学伝達関数情報または点像分布関数情報を生成するステップと、
    前記光学伝達関数情報または前記点像分布関数情報に基づいて、前記複数の画像に対する回復処理を行うステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。