JP2017118280A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高精度かつ高速に画像回復処理を実行可能な画像処理装置を提供する。【解決手段】画像処理装置は、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する取得手段（７０４ａ）と、画像と光学伝達関数データとを関連付けて記憶手段に記憶する制御手段（７０４ｂ）とを有する。【選択図】図１

Description

本発明は、撮像光学系による画像の劣化を補正する画像処理装置に関する。

撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つ。このような微小な広がりを持った分布をＰＳＦ（点像分布関数）と呼ぶ。このような撮像光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して撮像光学系による画像の劣化を補正する方法（画像回復処理）が提案されている。しかしながら、このような画像回復処理においては、ノイズの増幅やエッジ周辺が波打つようなリンギングなどの弊害が発生する。

ところで、画像回復処理の際に用いられる光学伝達関数および画像回復フィルタは、撮影条件に応じて変化するため、これらの算出は多大な時間を要する。特許文献１には、像高などによるぼけの変化に対して、基本フィルタと座標位置に応じたハイパスフィルタとを組み合わせて適用することにより、高速な画像回復処理を行う画像処理装置が開示されている。

特開２０１３−５５６２２号公報

しかしながら、特許文献１の画像処理装置では、ボケの非対称性を補正することができず、高精度な画像回復処理を行うことは困難である。

そこで本発明は、高精度かつ高速に画像回復処理を実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する取得手段と、前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶する制御手段とを有する。

本発明の他の側面としての画像処理装置は、画像を撮影した際の撮影条件に応じた光学伝達関数データに対応する画像回復フィルタを取得する取得手段と、前記画像と前記画像回復フィルタとを関連付けて記憶手段に記憶する制御手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記撮像素子を用いて画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する取得手段と、前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶する制御手段とを有する。

本発明の他の側面としての画像処理方法は、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得するステップと、前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶するステップとを有する。

本発明の他の側面としての画像処理プログラムは、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得するステップと、前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶するステップと、をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、高精度かつ高速に画像回復処理を実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法のフローチャートである。 実施例１における撮影画像および撮影条件の一例である。 実施例１における具体的な画像処理方法のフローチャートである。 実施例１における光学伝達関数データを生成する説明図である。 実施例１における回復画像を生成する説明図である。 実施例２における画像処理システムの構成図である。 実施例３における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子により生じ得るノイズを著しく増幅させることになり、また画像上にリンギングを発生させる可能性が高くなる。このような画像処理の弊害の発生により、単純な逆特性で除算する方法では、良好な画像を得ることが困難である。そこで、ノイズの増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。

Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）^２＋Γ） … （４）
式（４）において、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）であり、Γはノイズの増幅量を低減するための項（定数項）である。また、画像回復処理を施す対象の画像にノイズが発生していない場合でも、増幅率が大きくなり過ぎると、リンギングやその他エッジの掘り込みのような弊害が発生しやすくなる。このため、項Γの制御は重要である。従って、項Γは、増幅率を制御する調整項として利用可能である。なお項Γとして、定数項に代えて、周波数特性を考慮した調整項Γ（ｕ，ｖ）を用いてもよい。

式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系（撮像光学系）の回折や収差により発生したＰＳＦの位相成分をゼロにし、振幅成分の周波数特性を増幅することができる。その結果、高解像度かつ良好な画像を得る（画像の劣化を補正する）ことが可能である。すなわち、ウィナーフィルタＷ（ｕ，ｖ）を用いた画像回復処理により回復された画像の周波数空間情報Ｒ（ｕ，ｖ）は、以下の式（５）のように表される。

Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） … （５）
本実施形態において、ウィナーフィルタＷ（ｕ，ｖ）は回復ゲイン周波数特性、項Γは回復ゲイン調整項にそれぞれ相当する。

ここで、式（４）を実際の撮像装置に用いることを考える。撮像装置の主な構成要素は、撮像光学系、撮像素子、および、画像処理装置である。式（４）中のＨ（ｕ，ｖ）は、特定の撮影条件での光学伝達関数である。特定の撮影条件は、具体的には、撮像光学系のパラメータとしての焦点距離およびＦ値と、撮影時の被写体距離と、画面内の像高位置とに加え、撮像素子の画素ピッチなどであり、光学伝達関数はこれらの条件に応じて決定される。また、光学ローパスフィルタなどが挿入されている場合、それを考慮に入れることが好ましい。

一方、物体と像とが線形な関係にあるインコヒーレント結像におけるデジタルカメラシステムにおいては、前述の撮像光学系および撮像素子のパラメータに変化がない場合、撮影対象の被写体が変化しても、Ｈ（ｕ，ｖ）に変化はないものと扱うことができる。

しかし、前述の処理を種々の撮像光学系や撮像装置に共通したシステムとして動作させる場合、処理のパラメータを変化させるたびに処理全体の再計算が必要となり、多大な時間が必要となる。従って、パラメータ変更の柔軟性は残しつつ、処理の共通化により処理の効率化および高速化を図る必要がある。以下、この課題を解決するための構成について、各実施例において詳述する。

まず、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップは、画像処理装置（実施例２の画像処理装置６０１や、実施例３の撮像装置７００に設けられた画像処理部７０４）により実行される。なお、本実施例の画像処理装置は、実施例３の画像処理部７０４の取得手段７０４ａ、制御手段７０４ｂ、生成手段７０４ｃ、および、画像回復手段７０４ｄと同様の機能を有する。

画像処理装置は、ユーザの指示などに応じて画像回復処理の対象となる画像（撮影画像）を選択し、選択された画像に対して本実施例における画像回復処理を開始する。まずステップＳ１０１において、画像処理装置は、選択された画像（対象画像）の撮影条件（画像を撮影した際の撮影条件）を取得する。本実施例において、画像処理装置は、画像に付随するＥｘｉｆ情報などから撮影条件を取得する。

撮影条件は、撮像光学系の撮影条件として、撮影時のレンズを特定するためのレンズ識別番号（レンズＩＤ）、撮影時の焦点距離、Ｆ値、および、被写体距離などを含む。レンズＩＤ、焦点距離、Ｆ値、および、被写体距離の組み合わせにより、光学空中像の光学伝達関数を特定することができる。光学空中像とは、撮像装置（カメラ）の撮像素子（センサ）上に結像される離散化されていない光学像である。また撮影条件は、撮像素子の撮影条件として、撮像素子のセンササイズ、画素ピッチ、および、カラーフィルタ配列情報などを含む。撮像素子のセンササイズは、光学空中像を切り出すイメージサークルを指定する情報である。画素ピッチは、光学伝達関数の折りかえり信号に関する情報である。また、光学ローパスフィルタに関する情報を撮影条件として加えてもよい。光学ローパスフィルタに関する情報とは、光学ローパスフィルタの有無、それによるＰＳＦの分離幅、および、分離方向などを示す情報である。カラーフィルタ配列情報とは、単板センサの場合、ＲＧＢ画素の配列を示す情報である。これは、色プレーンごとの折りかえり信号に関する情報ともいえる。

続いてステップＳ１０２において、画像処理装置は、このような撮影条件の組み合わせに対して（撮影条件に基づいて）、撮像素子の各結像位置に対応した光学伝達関数データを生成（取得）する。光学伝達関数データは、光学伝達関数（ＯＴＦ）そのもの、または、光学伝達関数を取得するに用いられる係数などの各種データなど、光学伝達関数に関する情報である。そしてステップＳ１０３において、画像処理装置は、撮影条件に基づいた光学伝達関数データを画像に関連付けて記憶する。

画像処理装置は、ステップＳ１０２にて生成した光学伝達関数データを用いて画像回復フィルタを生成し、画像（撮影画像）に対して画像回復処理を行う。撮影条件の組み合わせは、撮影画素ごとに一意に決定される。すなわち、画像が撮影により取得されれば、撮影時のパラメータは全て決定されるため、１度計算した光学伝達関数（光学伝達関数データ）を画像に関連付けて記憶することにより、画像回復処理の一部を構成する前述の処理を省くことができる。光学伝達関数データは、例えば撮影した画像（画像データ）に添付することができる。または、光学伝達関数データを別途保存し、画像データとの関連付けを行っておいてもよい。ユーザは、任意に、光学伝達関数データまたは関連付けを破棄することができる。また、画像処理装置は、アルゴリズム管理情報を保持してもよい。アルゴリズム管理情報とは、画像回復処理のアルゴリズム（ソフトウエア）のバージョンなどに関する情報である。画像回復処理のアルゴリズムなどが更新された場合、画像処理装置は、自動的に旧データ（更新前の光学伝達関数データ）を破棄して新データ（更新後の光学伝達関数データ）に更新するように構成してもよい。

画像処理装置は、以下の方法を用いて画像回復処理を行ってもよい。すなわち、ユーザは、光学伝達関数データを用いて画像回復フィルタを生成する際において、画像に対する回復の強さを任意に設定することができる。本実施例では、画像に対する回復の強さを、回復ゲイン（画像に対する回復処理に適用される回復ゲイン）と称する。回復ゲインの一例として、回復前の光学伝達関数と回復後の光学伝達関数の、それぞれの絶対値の比とする指標がある。これは、回復前後のＭＴＦ（変調伝達関数、すなわち光学伝達関数の絶対値）の比と等価である。本実施例において、回復ゲインは回復前後のＭＴＦの比に基づいて決定される。回復ゲインを間接的に制御する一例として、式（４）中のΓがある。Γは定数でもよいし、または、周波数特性を有する関数でもよい。また、回復ゲインを制御可能であれば、式（４）を変形した式を用いてもよい。

図２は、撮影画像（撮影画像データ）と、それに付随する撮影条件に関するデータ（撮影条件情報）の一例である。前述のように、画像データのそれぞれに対して、撮影時の撮影条件が詳細に記録される。撮像素子に関する情報については、まとめてセンサＩＤなどの識別番号として記録し、センサＩＤに対応するセンササイズ、画素ピッチ、および、光学ローパスフィルタ情報を照合して用いるように構成してもよい。

次に、図３を参照して、本実施例の画像処理方法について具体的に説明する。図３は、具体的な画像処理方法のフローチャートである。図３の各ステップは、主に画像処理装置により実行される。図３のステップＳ３０１、Ｓ３０２は図１のステップＳ１０１に相当し、ステップＳ３０３、Ｓ３０４はステップＳ１０２に相当し、ステップＳ３０５はステップＳ１０３に相当する。ただし、本実施例は図３の具体的なフローに限定されるものではない。

まずステップＳ３０１において、画像処理装置は、画像（撮影画像データ）からレンズＩＤおよびセンサＩＤを取得する。続いてステップＳ３０２において、画像処理装置は、レンズＩＤに対応した撮像光学系の焦点距離、Ｆ値、および、被写体距離を取得する。また画像処理装置は、センサＩＤから画素ピッチおよび光学ローパスフィルタ情報を取得する。

続いてステップＳ３０３において、画像処理装置は、ステップＳ３０１、Ｓ３０２にて取得した撮影条件に応じて、センサの画素ピッチ（センサピッチ）による折帰り信号を考慮した光学伝達関数データを算出（生成）する。そしてステップＳ３０４において、画像処理装置は、光学ローパスフィルタに関する特性および画素開口形状に関する特性（画素形状特性）を更に付加した光学伝達関数データを取得する。続いてステップＳ３０５において、画像処理装置は、ステップＳ３０４にて取得した光学伝達関数データを、ユーザにより指定された回復ゲインとともに画像に関連付けて保存する。これにより、画像と光学伝達関数データとを関連付けて記憶することができる。

次に、図４を参照して、光学伝達関数データベースから、撮影画像の撮影条件に基づく光学伝達関数データを生成する方法について詳述する。図４は、光学伝達関数データを生成する説明図である。

まず、撮像光学系に関する光学伝達関数データベースの簡単な作成方法について説明する。まず、撮像光学系に関する光学伝達関数は、撮像光学系の焦点距離、Ｆ値、被写体距離、像高、および、波長などに応じて変化する。このため、撮像光学系の光学伝達関数データに関する代表的な組み合わせ（パラメータの組み合わせ）を、画像回復処理に必要な精度を満たすように予め決定しておく。続いて、パラメータの組み合わせに対応した撮像光学系の光学伝達関数データを、光学ＣＡＤなどを用いて計算する。ここで、計算した撮像光学系の光学伝達関数に関するいくつかのパラメータはより限定的にしてもよい。例えば、波長は特定の光源の分光特性を考慮してＲＧＢに変換することができ、また像高も共軸光学系に限定して対称性を考慮することによりデータ量を低減させることができる。ただし本実施例はこれに限定されるのではない。

画像処理装置は、前述のように予め作成された撮像光学系の光学伝達関数データベースから、実際の撮影条件に対応する光学伝達関数データを選択する。光学伝達関数データベースには、撮像光学系のパラメータである焦点距離、Ｆ値、および、被写体距離に対して、実際の撮影条件に対応する光学伝達関数データが存在しないことがあり得る。その場合、最も近傍の撮影条件に対応する光学伝達関数データを取得することができる。また画像処理装置は、精度が求められる場合には近傍の撮影条件から複数の撮影条件を取得し、それらを重み付けして実際の撮影条件に対応する光学伝達関数データを生成するように構成してもよい。

続いて、画像処理装置は、前述のように選択（生成）された撮像光学系の光学伝達関数データに対し、撮像素子に関する情報を考慮することで、より高精度な光学伝達関数データを取得（生成）することができる。撮像素子に関する情報は、撮像素子のサイズ、撮像素子のナイキスト周波数、撮像素子のカラーフィルタ配置、光学ローパスフィルタ特性、および、画素の開口率などを含む。前述のように、これらの情報は、撮影画像に関して一意に決定される。すなわち、レンズＩＤ、センサＩＤ、レンズの焦点距離、Ｆ値、および、被写体距離が決定されれば、画素ピッチを反映した光学伝達関数データ、光学ローパスフィルタ特性、および、画素形状特性の全てが一意に決定される。画像処理装置は、これらのパラメータの全てを考慮に入れた撮影条件に基づく光学伝達関数データを取得（生成）し、撮影画像に対して光学伝達関数データを関連付けることができる。

次に、図５を参照して、画像（画像データ）と、画像に関連付けられた光学伝達関数データとを用いて、回復画像（回復画像データ）を生成する方法について説明する。図５は、回復画像を生成する説明図である。

画像回復処理を行う場合、画像処理装置は、画像に添付された光学伝達関数データから画像回復フィルタを生成する（光学伝達関数データを画像回復フィルタに変換する）。画像回復フィルタは、像高および色成分（色プレーン）ごとに、ユーザにより設定される回復ゲインに基づいて生成される。既に一度画像回復処理が実行されて回復ゲインが画像に添付されている場合、その回復ゲインに関する情報に基づいて光学伝達関数データを画像回復フィルタに変換してもよい。

そして画像処理装置は、前述の方法で生成された画像回復フィルタを、像高および色成分（色プレーン）ごとに画像に適用し、回復画像（回復画像データ）を生成する。このとき、光学伝達関数データ付の画像データには直接の変更が加えられず、回復画像は一般的なｊｐｇ形式やｔｉｆｆ形式、または、メーカ固有のファイル形式などで出力することが好ましい。また、画像に添付された光学伝達関数データは、ユーザが任意に消去または上書きしてもよい。更に撮影画像データに画像回復処理アルゴリズムのバージョン情報（アルゴリズム管理情報）を付加してもよい。アルゴリズムが変更され、使用する光学伝達関数データが変更した場合、光学伝達関数データを自動的に更新するように画像処理装置を構築してもよい。前述の方法は、例えばＰＣ上で動作するソフトウエアで実行可能である。

次に、図６を参照して、本発明の実施例２における画像処理システム（画像処理装置）について説明する。図６は、本実施例における画像処理システム６００の構成図である。画像処理システム６００は、画像処理装置６０１（情報処理装置としてのハードウエア）、表示装置６０２（モニタ）、および、入力装置６０３（キーボードなどの入力手段）を備えて構成される。本実施例は、実施例１の画像処理方法を画像処理システム６００（パソコンのソフトウエア）上で動作させる場合について説明する。本実施例の画像処理装置６０１は、実施例３の画像処理部７０４の取得手段７０４ａ、制御手段７０４ｂ、生成手段７０４ｃ、および、画像回復手段７０４ｄと同様の機能を有する。

まず、実施例１の画像処理方法を画像処理装置６０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置６０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア６０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。

ソフトウエアは、撮影条件に応じた光学伝達関数データを取得（生成）する機能と、画像と光学伝達関数データとを関連付けて記憶する記憶手段に記憶させる機能を有する。好ましくは、ソフトウエアは、画像回復フィルタを生成する機能、および、画像回復処理を行う機能を有する。光学伝達関数データ、画像回復フィルタ、および、複数の撮影条件を記憶する記憶領域（記憶手段）は、画像処理装置６０１のハードディスク内に設けられる。また、光学伝達関数データ（光学伝達関数に関する情報）は、メディア６０４やネットワークを通じて外部のサーバからダウンロードすることにより、画像処理装置６０１の記憶手段に格納される。

次に、図７を参照して、本発明の実施例３における撮像装置の概略構成について説明する。図７は、本実施例における撮像装置７００のブロック図である。撮像装置７００は、実施例１の画像処理方法を実行可能な画像処理部７０４（画像処理装置）を備えている。

撮像装置７００において、被写体（不図示）は、絞り７０１ａ（または遮光部材）およびフォーカスレンズ７０１ｂを含む撮像光学系７０１（光学系）を介して撮像素子７０２に結像する。本実施例において、撮像光学系７０１は、撮像素子７０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系７０１とが一体的に構成された撮像装置にも適用可能である。

絞り値（Ｆ値）は、絞り７０１ａまたは遮光部材により決定される。撮像素子７０２は、撮像光学系７０１を介して形成された被写体像（光学像）を光電変換して画像信号（撮影画像データ）を出力する。撮像素子７０２から出力された電気信号は、Ａ／Ｄ変換器７０３に出力される。Ａ／Ｄ変換器７０３は、撮像素子７０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部７０４に出力する。なお、撮像素子７０２およびＡ／Ｄ変換器７０３により、撮像光学系７０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。

画像処理部７０４は、Ａ／Ｄ変換器７０３から出力されたデジタル信号（撮像素子７０２から出力された画像信号から生成された画像）に対して、状態検知部７０７および記憶部７０８の各情報を用いて所定の画像処理を行う。画像処理部７０４は、取得手段７０４ａ（取得回路）、制御手段７０４ｂ（制御回路）、生成手段７０４ｃ（生成回路）、および、画像回復手段７０４ｄ（画像回復回路）を有する。取得手段７０４ａは、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する。制御手段７０４ｂは、画像と光学伝達関数データとを関連付けて、画像記録媒体７０９などの記憶手段に記憶する。生成手段７０４ｃは、光学伝達関数データと回復ゲインとに基づいて画像回復フィルタを生成する。画像回復手段７０４ｄは、画像回復フィルタを用いて画像に対して回復処理を行う。

記憶部７０８（記憶回路）は、予め作成された撮像光学系７０１の光学伝達関数データベース（複数の光学伝達関数データに関する情報）を記憶するデータ記憶手段である。ただし本実施例において、光学伝達関数データベースを、画像処理部７０４の外部に設けられた記憶部７０８に代えて、画像処理部７０４の内部メモリに記憶させてもよい。

状態検知部７０７は、撮影時の撮影条件（焦点距離、Ｆ値、撮影距離、および、像高など）に関する情報を取得する。システムコントローラ７１０は、撮影条件に関する情報を画像（撮影画像）に付加し、記憶部７０８または画像記録媒体７０９に記憶させる。システムコントローラ７１０は、画像処理部７０４、表示部７０５、撮像光学系制御部７０６、状態検知部７０７、および、画像記録媒体７０９を制御する。

撮像光学系制御部７０６は、撮像光学系７０１の動作を制御する。状態検知部７０７は、撮像光学系制御部７０６により得られた情報から撮像光学系７０１の状態を検知する。撮影後に画像記録媒体７０９から所望の画像が選択されると、画像処理部７０４はその画像に対して画像回復処理を行う。画像回復処理を初めて実行する場合、画像処理部７０４は、記憶部７０８に記憶されている光学伝達関数に関する情報（データベース）から撮影画像の撮影条件に応じた光学伝達関数データを生成する。そして画像処理部７０４は、撮影条件に応じた光学伝達関数に基づいて画像回復フィルタを生成し、画像回復処理を実行する。

画像回復処理において、画像処理部７０４は、撮影条件に基づく光学伝達関数データを撮影画像に関連付ける。既に撮影条件に基づく光学伝達関数情報が関連付けされている画像に対しては、その光学伝達関数データを用いて画像回復フィルタを生成し、画像回復処理を行う。画像への光学伝達関数データの関連付けは、画像回復処理が終了または画像に対応する撮影条件の光学伝達関数を生成した際に実行される。この関連付けの一例として、画像に撮影条件の光学伝達関数を付加する方法がある。また同様に、回復ゲインを付加しておいてもよい。ユーザが撮影条件に基づく光学伝達関数データと回復ゲインとの両方が付加された画像を選択した場合、自動的に回復ゲインを設定して画像回復処理を行うことができる。画像回復フィルタの生成は、主に式（４）に準じて行うことが好ましい。ただし本実施例はこれに限定されるものではなく、式（４）を変形して実行してもよい。

なお本実施例において、取得手段７０４ａは、画像を撮影した際の撮影条件に応じた光学伝達関数データを取得し、制御手段７０４ｂは、画像と光学伝達関数データとを関連付けて記憶手段に記憶するように構成されている。ただし本実施例はこれに限定されるものではない。例えば、取得手段７０４ａは、画像を撮影した際の撮影条件に応じた光学伝達関数データに対応する画像回復フィルタを取得し、制御手段７０４ｂは、画像と画像回復フィルタとを関連付けて記憶手段に記憶するように構成してもよい。また制御手段７０４ｂは、画像と、光学伝達関数データ、回復ゲイン、および、画像回復フィルタの少なくとも二つとを関連付けて記憶手段に記憶するように構成することもできる。また制御手段７０４ｂは、前述のアルゴリズム管理情報を、画像および光学伝達関数データに加えて、前述のアルゴリズム管理情報を関連付けて記憶してもよい。画像に関連付けられた各データは、画像（画像データ）を含む同一のファイルとして記憶手段に記憶することが可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高精度かつ高速に画像回復処理を実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

７０４ 画像処理部（画像処理装置）
７０４ａ 取得手段
７０４ｂ 制御手段

Claims (15)

1. 画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する取得手段と、
   前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶する制御手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記画像の像高位置に応じた前記光学伝達関数データを取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記画像の複数の色プレーンに応じた前記光学伝達関数データを取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記画像と前記光学伝達関数データとを同一のファイルとして前記記憶手段に記憶することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、前記画像に対する回復処理に適用される回復ゲインを取得し、
   前記制御手段は、前記光学伝達関数データと前記回復ゲインとを関連付けて前記記憶手段に記憶することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記画像、前記光学伝達関数データ、および、前記回復ゲインを同一のファイルとして前記記憶手段に記憶することを特徴とする請求項５に記載の画像処理装置。
7. 前記光学伝達関数データと前記回復ゲインとに基づいて画像回復フィルタを生成する生成手段（７０４ｃ）を更に有することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記画像回復フィルタを用いて前記画像に対して回復処理を行う画像回復手段を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、アルゴリズム管理情報を取得し、
   前記制御手段は、前記画像、前記光学伝達関数データ、および、前記アルゴリズム管理情報を同一のファイルとして前記記憶手段に記憶させ、
   前記制御手段は、前記アルゴリズム管理情報が変更された場合、前記記憶手段に記憶された前記光学伝達関数データを更新することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 光学伝達関数データベースを記憶するデータ記憶手段を更に有し、
    前記取得手段は、前記光学伝達関数データベースから、前記撮影条件に応じた前記光学伝達関数データを取得することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像を撮影した際の撮影条件に応じた光学伝達関数データに対応する画像回復フィルタを取得する取得手段と、
    前記画像と前記画像回復フィルタとを関連付けて記憶手段に記憶する制御手段と、を有することを特徴とする画像処理装置。
12. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
    前記撮像素子を用いて画像を撮影した際の撮影条件に応じた光学伝達関数データを取得する取得手段と、
    前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶する制御手段と、を有することを特徴とする撮像装置。
13. 画像を撮影した際の撮影条件に応じた光学伝達関数データを取得するステップと、
    前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶するステップと、を有することを特徴とする画像処理方法。
14. 画像を撮影した際の撮影条件に応じた光学伝達関数データを取得するステップと、
    前記画像と前記光学伝達関数データとを関連付けて記憶手段に記憶するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。