JP2014146107A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】劣化特性により情報が失われた周波数領域に対しても良好に画像回復可能な画像処理装置を提供する。
【解決手段】画像処理装置は、撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得する関数取得手段と、第一の光学伝達関数を用いて画像から補正画像を生成する補正画像生成手段と、補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する画像回復手段とを有する。
【選択図】図１

Description

本発明は、画像回復を行う画像処理装置に関する。

撮像光学系を介して撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する画像回復処理が提案されている。画像回復処理としては、例えば、ウィナーフィルタを用いた画像回復処理が知られている。一般的なデジタルカメラで撮影された画像は、画像の位置（像高）に応じて異なる劣化特性を有する。また、画像の周辺部では、撮像光学系の収差が大きく、非対称に劣化していることが多い。

特許文献１には、撮像光学系の絞り位置の近傍に波面変調のための位相マスクが挿入されたシステムが開示されている。画像全体が一定の劣化特性を有し、かつ周波数特性に０点の発生がなければ、ウィナーフィルタを用いて容易に画像回復が可能である。しかしながら、特許文献１のシステムは、位相マスクを挿入した特殊な光学設計が必要となるため、一般的なデジタルカメラに適用することは困難である。

特許文献２および非特許文献１には、所謂、Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法（ＬＲ法）を用いてブラインドデコンボリューション処理を行う方法が開示されている。また非特許文献２には、既知の情報が撮影画像のみの場合でも劣化特性を推定しながら画像回復処理を行うことが可能なブラインドデコンボリューション処理が開示されている。

国際公開２００７／７４６４９号 国際公開２００６／０４１１２７号

ＯＳＡ ＶＯＬＵＭＥ ６２， ＮＵＭＢＥＲ １ ＪＡＮＵＡＲＹ １９７２ Ｂａｙｅｓｉａｎ−Ｂａｓｅｄ Ｉｔｅｒａｔｉｖｅ Ｍｅｔｈｏｄ ｏｆ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｊ． Ｏｐｔ． Ｓｏｃ． Ａｍ． Ａ／ Ｖｏｌ． １２， Ｎｏ． １／Ｊａｎｕａｒｙ １９９５ Ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｂｙ ｍｅａｎｓ ｏｆ ｔｈｅ Ｒｉｃｈａｒｄｓｏｎ-Ｌｕｃｙ ａｌｇｏｒｉｔｈｍ

しかしながら、従来技術では、撮影された画像がシフトバリアントな劣化特性を有する場合、光学伝達関数が０近傍の値をとる周波数領域における画像を良好に回復することは困難である。

そこで本発明は、劣化特性により情報が失われた周波数領域に対しても良好に画像回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得する関数取得手段と、前記第一の光学伝達関数を用いて前記画像から補正画像を生成する補正画像生成手段と、前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する画像回復手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して被写体像を光電変換する撮像素子と、撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得する関数取得手段と、前記第一の光学伝達関数を用いて前記画像から補正画像を生成する補正画像生成手段と、前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する画像回復手段とを有する。

本発明の他の側面としての画像処理方法は、撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得するステップと、前記第一の光学伝達関数を用いて前記画像から補正画像を生成するステップと、前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得するステップと、前記第一の光学伝達関数を用いて前記画像から補正画像を生成するステップと、前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成するステップと、を情報処理装置に実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを格納している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、劣化特性により情報が失われた周波数領域に対しても良好に画像回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法（画像回復処理）のフローチャートである。 実施例１における補正画像の説明図である。 実施例２における画像処理方法（画像回復処理）のフローチャートである。 実施例２における第一の光学伝達関数および第二の光学伝達関数の説明図である。 実施例２における第一の劣化特性群および第二の劣化特性群の説明図である。 実施例２におけるシフトインバリアント領域の説明図である。 実施例３における画像処理システムの構成図である。 実施例４における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本実施例における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。

しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、また画像上にリンギングを発生させる可能性が高くなる。このため、単純な逆特性で除算することにより良好な画像を得ることは困難である。

そこで、ノイズ増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。

Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜^２／（｜Ｈ（ｕ，ｖ）^２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。

式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差により発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をＲ（ｕ，ｖ）とすると、以下の式（５）が成り立つ。

Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ） … （５）
ウィナーフィルタによる画像回復処理の最大の利点は、空間の位置ごとに異なるＰＳＦなどの劣化特性に対して、容易に回復処理を行うことが可能であるという点である。これを、シフトバリアント（ｓｈｉｆｔ−ｖａｒｉａｎｔ）という。

まず、光学系による劣化モデルを表す式（１）について考える。式（１）において、ＰＳＦであるｈ（ｘ，ｙ）は変化しない。これをシフトインバリアント（ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔ）という。ここで、ｈが座標点（ｘ，ｙ）ごとに変化すると考え、シフトバリアントに適用する。このとき、シフトインバリアントな領域を細かく分割し、１画素単位まで分割すれば、完全にシフトバリアントな処理を行うことと等価になる。ただし、劣化特性に応じて適切な範囲で分割領域を決定すれば、シフトバリアントな処理として十分な効果を得ることができる。また、画像上の代表点ごとに画像回復フィルタを設計し、それらの間の領域は代表点のフィルタを補間生成して回復処理を行う近似を行っても、十分な効果が得られる。

従って、画像上の領域を細かく分割することにより、式（１）が成立する領域を設定し、式（４）を用いて周波数空間上における画像回復フィルタを設計する。これをフーリエ逆変換し、実空間上の画像回復フィルタに変換する。この実空間上の画像回復フィルタを用いて分割領域ごとにフィルタリングすることにより、シフトバリアントな画像回復処理が容易に実現可能となる。

さらに、別の利点として計算コストが小さいことがあげられる。近年は撮像素子の高画素化が著しく、画像処理にかかる計算コストは非常に重要な問題であるといえる。これは、画像処理が理論的には可能でも、実際の数千万画素の画像に適用し、現実的な時間で処理するのにスーパーコンピュータが必要になってしまうということである。ウィナーフィルタは既に最小二乗解として最適化されたフィルタであり、非常に計算コストが小さく、家庭用のＰＣでも十分高速に画像回復処理を行うことができる。

しかしながら、ウィナーフィルタは、光学伝達関数Ｈ（ｕ，ｖ）の周波数空間での値が０近傍の値（０または極めて小さい値）である場合、その周波数領域では実質的に回復効果を得られない。また、実際には画像として好ましくないリンギングや不自然なアンダーシュート（弊害）などが生じやすい。また、撮影条件に応じた光学伝達関数群を正確に取得することが困難な場合があり、このような撮影条件の取得誤差にも上記弊害が生じ得る。

そこで本実施例では、所謂、Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法（ＬＲ法）を用いた画像回復処理を行う。ＬＲ法による画像回復処理は、ウィナーフィルタを用いた画像回復処理とは異なり、式（４）で表されるような除算による方法ではない。ＬＲ法においては、ベイズ推定を用いて画像回復処理を行う。ＬＲ法は、ウィナーフィルタによる画像回復処理とは異なり、失われた周波数情報も推定して復元（回復）することができる。このため、周波数成分が０の領域に対して効果的である。

ＬＲ法による画像回復処理は、実空間において以下の式（６）のように表される。ＬＲ法による画像回復処理の原理であるベイズの定理との関係などの詳細は、非特許文献１に記載されている。

式（６）において、ｆ_ｎは更新後の画像、ｆ_ｎ−１は更新前の画像である。ｈは光学系の劣化特性であり、例えばＰＳＦである。また、ｇは撮影された画像である。

ＬＲ法による画像回復処理は、画像ｆ_ｎ−１を逐次更新し、例えば所定の評価基準で処理を打ち切り、画像ｆ_ｎを出力する。このときの評価基準は、例えば、ｆ_ｎとｆ_ｎ−１の差分値などである。ここで、撮影された画像ｇの劣化が小さい場合、ｆ_０＝ｇとするのが好ましい。しかし、撮影された画像ｇの劣化が大きい場合、ｆ_０＝ｇとしても良好な画像回復が望めない。

ＬＲ法による画像回復処理では、周波数が０または０近傍の値をとる領域において、ベイズ推定の原理に基づいた超解像処理による画像回復処理を行うことができる。しかし、回復処理アルゴリズムがシフトインバリアント領域での繰り返し計算であるため、計算コストが高くなる。特に、初期値ｆ_０（初期条件）として用いる画像の劣化が大きいと、ＬＲ法の原理との乖離が大きくなり、良好な回復が困難となる。また、初期値ｆ_０の劣化が大きいと、画像回復処理が収束するまでに要する計算時間が大きくなる。また一般的に、ＬＲ法による回復効果は、繰り返し数を増やすほど向上するが、同時に弊害も大きくなる。

そこで本実施例では、既知の情報が撮影画像のみの場合でも劣化特性を推定しながら画像回復処理を行うブラインドデコンボリューション処理を用いる。非特許文献２に開示されているように、ＬＲ法で劣化特性ｈを未知、画像ｆを既知であるとした場合、ｈ_ｎを更新していくことで劣化特性を推定する。すなわち、以下の式（７）で表される処理を行うことにより、劣化特性ｈ_ｎを復元（回復）する。

このため、式（６）と式（７）とを組み合わせることにより、逐次、画像ｆ_ｎと劣化特性ｈ_ｎを更新し、画像回復処理を行うことが可能となる。

なお本実施例において、ＬＲ法を用いたブラインドデコンボリューション処理について説明したが、これに限定されるものではない。例えば、Ｉｔｅｒａｔｉｖｅ−Ｂａｃｋｐｒｏｊｅｃｔｉｏｎ法（ＩＢＰ法）やＡｙｅｒｓ−Ｄａｎｉｔｙアルゴリズムなどを用いることもできる。

次に、図１および図２を参照して、本発明の実施例１における画像処理方法（画像回復処理）について説明する。図１は、本実施例における画像処理方法のフローチャートである。図２は、本実施例における補正画像の説明図である。本実施例における画像処理方法は、画像処理装置または撮像装置に設けられた画像処理部により実行される。

まずステップＳ１０１において、画像処理部は、回復処理対象の画像（撮影画像）を特定し、その画像の撮影条件を取得する。本実施例において、撮影条件とは、画像撮影時の各種パラメータ（光学パラメータ）であり、例えば、焦点距離、Ｆ値（絞り値）、被写体距離、像高、撮像素子の情報（画素サイズ、画素ピッチ）、光学ローパスフィルタの情報、撮像光学系（レンズ）の情報である。図２（ａ）、（ｂ）、（ｃ）は、それぞれ、互いに異なる撮影条件で撮影した画像を示している。図２（ａ）、（ｂ）、（ｃ）の各画像には、前述の撮影条件が添付されている。画像処理部は、画像に添付された情報（撮影条件情報）に基づいて、撮影情報を特定することができる。

続いて、ステップＳ１０２において、画像処理部は、ステップＳ１０１にて取得した撮影条件に対応する第一の光学伝達関数群を特定（生成）する。第一の光学伝達関数群は、画像の位置（像高位置）に応じた複数の光学伝達関数ＯＴＦ（第一の光学伝達関数）からなる。このように本実施例において、画像処理部（関数取得手段８０４ａ）は、撮影条件および画像の位置（像高位置）に応じて異なる第一の光学伝達関数（第一の光学伝達関数群）を取得する。

画像処理部は、各画素点位置に対して光学伝達関数ＯＴＦを取得することができる。しかし、光学伝達関数を画素数と同等の数だけ算出するのは、計算量や計算時間を考慮すると現実的でない場合がある。このため本実施例において、図２（ｄ）に示されるように、画像処理部は、像高の代表点を決定し、代表像高ごと（画像の代表点位置ごと）に光学伝達関数ＯＴＦを取得することが好ましい。または、画像処理部は、画像を複数の領域に分割し、分割領域ごとに光学伝達関数ＯＴＦを取得してもよい。このとき、光学特性が急峻に変化しないように代表点位置または分割領域を決定することが好ましい。また、例えば、撮像光学系による劣化特性が理論的に軸対称である場合、その対称性を利用して計算量を削減することがより好ましい。

続いてステップＳ１０３において、画像処理部は、ステップＳ１０２にて特定された第一の光学伝達関数群を用いて画像（撮影画像）を補正することにより、補正画像を生成する。すなわち画像処理部（補正画像生成手段８０４ｂ）は、第一の光学伝達関数を用いて画像（撮影画像）から補正画像を生成する。このとき画像処理部は、第一の光学伝達関数を用いて画像の位相特性を補正することにより補正画像を生成する。ここまでの処理は、ウィナーフィルタによる画像回復処理に相当する。ここで画像処理部は、図２（ｅ）に示されるように、各像高位置（各代表点位置）に応じた光学伝達関数ＯＴＦを用いて、前述したウィナーフィルタベースの画像回復フィルタ（各代表点位置に応じた画像回復フィルタ）を設計する。そして画像処理部は、この画像回復処理を画像に適用することにより、シフトバリアントな劣化特性を補正し、位相成分を補正して解像度を向上させる。このように補正された画像が補正画像である。

本実施例の画像回復フィルタは、式（４）で表されるウィナーフィルタに限定されるものではない。光学伝達関数の逆特性に対して周波数ごとの重み付けを変換させる式（４）のウィナーフィルタに準ずるフィルタであれば、他の画像回復フィルタを用いてもよい。このとき、処理速度を向上させるため、光学伝達関数（第一の光学伝達関数）は、撮像光学系の歪曲収差成分や倍率色収差成分に相当する位相項を除去して生成されることがより好ましい。

続いて、ステップＳ１０４において、画像処理部は、ステップＳ１０３にて生成された補正画像に対してブラインドデコンボリューション処理を行う。すなわち画像処理部（画像回復手段８０４ｃ）は、補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する。これにより、更なる高解像度化を図ることが可能である。ステップＳ１０４は、ＬＲ法による画像回復処理に相当する。本実施例において、ブラインドデコンボリューション処理において、劣化特性の初期値ｈ_０（初期条件）として、任意のガウス関数で作成した劣化特性が用いられる。また、入力画像の初期値（初期条件）として、ステップＳ１０３にて生成された補正画像が用いられる。また、ガウス関数の分散値を任意に変更できるようにしてもよい。

本実施例において、画像処理部（補正画像生成手段８０４ｂ）は、画像（撮影画像）の一部の領域に対してのみ第一の光学伝達関数を適用して、この画像の一部の領域に対応する補正画像を生成するようにしてもよい。このとき、画像回復手段８０４ｃは、この画像の一部の領域に対応する補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する。なお、本実施例の画像処理方法は、画像処理装置および撮像装置において実行される。また、ソフトウエアやハードウエア上で動作する画像処理プログラムとしても提供される。

次に、図３を参照して、本発明の実施例２における画像処理方法（画像回復処理）について説明する。図３は、本実施例における画像処理方法のフローチャートである。図３のステップＳ２０１〜Ｓ２０３は、図１のステップＳ１０１〜Ｓ１０３とそれぞれ同一であるため、それらの説明は省略する。

画像処理部は、ステップＳ２０３において第一の光学伝達関数群を用いて補正画像を生成した後、ステップＳ２０４において、画像処理部は、第一の光学伝達関数群を用いて第二の光学伝達関数群を生成する。すなわち画像処理部（関数変換手段８０４ｄ）は、第一の光学伝達関数（第一の光学伝達関数群）を補正画像に対応する第二の光学伝達関数（第二の光学伝達関数群）に変換する。より具体的には、画像処理部は、補正画像の取得後、第一の光学伝達関数群を第一の光学伝達関数群自身に基づくウィナーフィルタを用いて補正し、第二の光学伝達関数群を生成する。

第二の光学伝達関数群は、第一の光学伝達関数群の位相（複数の第一の光学伝達関数のそれぞれの位相）を補正して、周波数特性の値を周波数ごとに向上させた光学伝達関数群である。すなわち第二の光学伝達関数（第二の光学伝達関数群）は、第一の光学伝達関数（第一の光学伝達関数群）の位相特性を補正することにより生成される。また、第二の光学伝達関数群は、第一の光学伝達関数群の位相成分を主に補正して取得してもよい。いずれの処理を施しても、第二の光学伝達関数群は、第一の光学伝達関数群を比べて、シフトインバリアントな特性に近づいている。

ここで、図４を参照して、第一の光学伝達関数群を、第一の光学伝達関数群自身を用いて補正して第二の光学伝達関数群を生成する処理にについて説明する。図４は、第一の光学伝達関数および第二の光学伝達関数の説明図である。一般的な撮像光学系の劣化特性は、図４（ａ）の第一の光学伝達関数に示されるような特性を有する。また、図４（ｂ）は第二の光学伝達関数を示している。図４（ａ）、（ｂ）には、上から順に、第一の光学伝達関数または第二の光学伝達関数の実数部、虚数部、劣化特性（ＰＳＦ）の実空間プロファイル（第一の劣化特性）が示されている。

まず、第一の光学伝達関数または第二の光学伝達関数の実数部および虚数部は、中心が周波数０のＤＣ成分であって、左右の座標端が±１となっている。また、撮像素子のナイキスト周波数で規格化して表示されている。第一の光学伝達関数または第二の光学伝達関数の実数部は第一の劣化特性または第二の劣化特性（ＰＳＦ）の周波数特性のｃｏｓ成分を示し、虚数部は劣化特性（ＰＳＦ）の周波数特性のｓｉｎ成分を示す。光学伝達関数の位相成分は、ｃｏｓ成分とｓｉｎ成分との比率を示し、ａｔａｎ（虚数部／実数部）で表される。ここで、ｓｉｎ成分が存在するということは、実空間上で非対称なプロファイルを有するということである。このため、ｓｉｎ成分が様々な周波数領域で多く発生すると、非対称で複雑なプロファイルとなる。

ここで、式（４）を用いて第一の光学伝達関数を、第一の光学伝達関数自身で補正すると、図４（ｂ）に示されるような第二の光学伝達関数が得られる。第二の光学伝達関数では、実数部の周波数特性値が増加し、虚数部の周波数特性値が全周波数領域に渡って０になっている。すなわち、劣化特性（ＰＳＦ）のｓｉｎ成分がなくなっているため、実空間上のプロファイルが対称になっている。このため、第二の光学伝達関数は、第一の光学伝達関数に比べて、大きく非対称性が改善され、シフトインバリアントな特性となる。

続いて、図５を参照して、第一の光学伝達関数の各々自身を用いて、第一の光学伝達関数群を第二の光学伝達関数群に補正した場合におけるそれぞれの劣化特性（ＰＳＦ）について説明する。図５は、第一の光学伝達関数群に対応する第一の劣化特性群、および、第二の光学伝達関数群に対応する第二の劣化特性群の説明図である。図５（ａ）は第一の劣化特性（ＰＳＦ）を示し、図５（ａ）中のＡ〜Ｄは画像上の各像高位置における空間プロファイルである。図５（ｂ）は第二の劣化特性（ＰＳＦ）を示し、図４を参照して説明した第一の光学伝達関数自身を用いて図５（ａ）のそれぞれの空間プロファイルに補正を施して得られた空間プロファイルである。このように、図５（ａ）、（ｂ）中のＡ〜Ｄ（各像高位置）に対応する光学伝達関数群が、それぞれ、第一の光学伝達関数群および第二の光学伝達関数群である。

続いて、図３のステップＳ２０５において、画像処理部は、第二の光学伝達関数群を第三の光学伝達関数群に変換する。すなわち画像処理部（関数生成手段８０４ｅ）は、第二の光学伝達関数（第二の光学伝達関数群）から第三の光学伝達関数（第三の光学伝達関数群）を生成する。本実施例では、第二の光学伝達関数群の中から代表として第三の光学伝達関群数を選択する。このような構成によれば、第二の光学伝達関数の各々を用いて補正しなくても、補正画像の更なる高解像度化を図ることができる。本実施例において、第三の光学伝達関数群に含まれる光学伝達関数の数は、第二の光学伝達関数群に含まれる光学伝達関数の数よりも少ないほうが好ましい。例えば第三の光学伝達関数（第三の光学伝達関数群）は、ブラインドデコンボリューション処理を行う画像領域の第二の光学伝達関数（第二の光学伝達関数群）の加重平均を用いて生成される。好ましくは、第三の光学伝達関数は、更に周波数ローパスフィルタを用いて生成される。このようにして光学伝達関数群の数を減らし、それにより新たに作成された光学伝達関数を第三の光学伝達関数群として用いることができる。

ここで、図６を参照して、第二の光学伝達関数群の中から劣化特性（ＰＳＦ）がシフトインバリアントな画像領域を決定する方法について説明する。図６は、本実施例におけるシフトインバリアント領域の説明図である。

図６（ａ）は、撮影画像のシフトインバリアント領域を示している。図６（ａ）中の各領域内に示される黒点は、領域ごとの光学伝達関数を示している。各領域内において光学伝達関数は変化しないため、各領域内において共通の光学伝達関数が用いられる。デジタルカメラ（撮像装置）に用いられる一般的な撮像光学系（光学系）では、光学系の劣化特性がシフトインバリアントな領域は小さい。このため、図６（ａ）に示されるように、撮影画像内の狭い領域がそれぞれシフトインバリアントになる。

このような状態で、第一の光学伝達関数群を用いてブラインドデコンボリューション処理による画像回復を行うと、各シフトインバリアント領域内で複数回の処理（繰り返し処理）が必要となる。また、劣化が大きいため、必要な繰り返し処理の回数が多くなり、多大な計算時間が必要となる。そこで本実施例では、第一の光学伝達関数群を用いて撮影画像を補正して補正画像を生成することにより、シフトインバリアントな領域を広げる。そして、第一の光学伝達関数群を第一の光学伝達関数自身を用いて第二の光学伝達関数群に補正し、シフトインバリアントな各領域に、第二の光学伝達関数群を変換して生成された第三の光学伝達関数を一つずつ割り当てる。このとき、シフトインバリアントな各領域に割り当てられる第三の光学伝達関数のそれぞれは、シフトインバリアントな各領域内の第二の光学伝達関数群から任意の光学伝達関数を選択して取得される。または、第二の光学伝達関数群の光学伝達関数を重み付けして足し合わせて生成したものを用いてもよい。

シフトインバリアントな領域は、第二の光学伝達関数に依存して決定される。例えば、第二の光学伝達関数が補正画像の全領域でシフトインバリアントである場合、図６（ｂ）に示されるように、画像の全領域に対して一つの光学伝達関数を用いればよい。ただし、第一の光学伝達関数群の中に、例えば周波数特性値が微小値であることにより、ほとんど回復できない周波数領域が発生することがある。または、位相成分が完全に補正されたとしても、第二の光学伝達関数群に大きな周波数特性差が発生する場合がある。

このような場合、補正画像の全域をシフトインバリアントな特性とみなすことが難しいため、例えば図６（ｃ）または図６（ｄ）に示されるように、画像領域を分割する必要がある。このとき、シフトインバリアント領域の分割は、必ずしも均等に分割する必要はない。シフトインバリアント領域を決定する評価基準として、例えば、第二の光学伝達関数群の中で相互相関などを計算することにより決定してもよいし、または、単純な差分値などから決定してもよい。

続いて、図３のステップＳ２０６において、画像処理部（画像回復手段８０４ｃ）は、ステップＳ２０３にて生成された補正画像、および、ステップＳ２０５にて得られた第三の光学伝達関数群を用いて、ブラインドデコンボリューション処理を行う。本実施例のブラインドデコンボリューション処理は、式（６）、（７）を交互に用いることにより行われる。本実施例のブラインドデコンボリューション処理における初期条件として、補正画像および第三の光学伝達関数群のそれぞれが初期条件として用いられる。

すなわち画像処理部は、図６を参照して説明した方法により決定された補正画像の各シフトインバリアント領域に対して、第三の光学伝達関数群の中からそれぞれ対応する光学伝達関数を用いてブラインドデコンボリューション処理を行う。このとき、処理速度を向上させるため、光学伝達関数（第一の光学伝達関数）は、撮像光学系の歪曲収差成分や倍率色収差成分に相当する位相項を除去して生成されることがより好ましい。また、ブラインドデコンボリューション処理を行う前に、種々の誤差を考慮して、第三の光学伝達関数群のそれぞれにローパス特性を乗じてもよい。

本実施例では、撮影画像の全体に対する処理について説明したが、本実施例における処理は画像の所定の領域にのみ行ってもよい。また本実施例において、ステップＳ２０５を省略して、画像処理部（画像回復手段８０４ｃ）は、補正画像およびステップＳ２０４で生成された第二の光学伝達関数（第二の光学伝達関数群）を用いてブラインドデコンボリューション処理を行うように構成してもよい。なお、本実施例における画像処理方法は、画像処理装置および撮像装置において実行される。また、ソフトウエアやハードウエア上で動作する画像処理プログラムとしても提供される。

次に、図７を参照して、本発明の実施例３における画像処理システム（画像処理装置）について説明する。図７は、本実施例における画像処理システム７００の構成図である。画像処理システム７００は、画像処理装置７０１（情報処理装置としてのハードウエア）、表示装置７０２（モニタ）、および、入力装置７０３（キーボード）を備えて構成される。画像処理装置７０１には、後述の関数取得手段８０４ａ、補正画像生成手段８０４ｂ、および、画像回復手段８０４ｃが設けられている。また画像処理装置７０１には、必要に応じて、関数変換手段８０４ｄおよび関数生成手段８０４ｅが設けられている。本実施例は、実施例１または実施例２の画像処理方法を画像処理システム７００（パソコンのソフトウエア）上で動作させる場合について説明する。

まず、各実施例の画像処理方法を画像処理装置７０１において動作させるため、画像処理方法を実行するプログラム（画像処理プログラム）を画像処理装置７０１（パソコン）にインストールする。また、別途、光学伝達関数情報をデータ化し、所定のフォルダ（記憶部）に格納する。ここで、光学伝達関数情報は、撮像光学系の撮影条件ごとの光学伝達関数情報の全てであり、多数の撮影条件ごとの第一の光学伝達関数群である。画像処理プログラム（上記各実施例の機能を実現するソフトウエア）および光学伝達関数情報（データ）は、ＣＤ−ＲＯＭなどのメディア７０４（記憶媒体）からインストールすることができる。または、画像処理プログラムおよび光学伝達関数情報を、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。

続いて、画像処理装置７０１にインストールしたソフトウエア（画像処理プログラム）を起動し、画像（撮影画像）に対して各実施例の画像処理方法（画像回復処理）を実行する。ソフトウエア上では、補正画像を生成するステップで終了してもよいし、より高解像度の画像を取得するためにブラインドデコンボリューション処理を行ってもよい。また、ブラインドデコンボリューション処理の繰り返し回数や、画像の所定の対象領域にのみ処理をかけるなど様々な設定が可能であるように構成してもよい。ユーザーは、モニタ上で回復処理後の画像を確認しつつ、各パラメータの設定変更が可能であることがより好ましい。

次に、図８を参照して、本発明の実施例４における撮像装置について説明する。図８は、本実施例における撮像装置８００のブロック図である。撮像装置８００は、各実施例の画像処理方法を行う画像処理装置（画像処理部）を内蔵した撮像装置である。

撮像装置８００において、被写体（不図示）は、絞り８０１ａ（または遮光部材）およびフォーカスレンズ８０１ｂを含む撮像光学系８０１を介して撮像素子８０２に結像する。絞り値は、絞り８０１ａまたは遮光部材により決定される。撮像素子８０２は、撮像光学系８０１を介して形成された被写体像を光電変換して撮影画像を取得する。撮像素子８０２により取得された撮影画像（結像光）は、電気信号に変換され、Ａ／Ｄコンバータ８０３に出力される。Ａ／Ｄコンバータ８０３は、撮像素子８０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号を画像処理部８０４に出力する。

画像処理部８０４は、所定の処理と併せて各実施例の画像回復処理（画像処理方法）を実行する。まず、状態検知部８０７から撮像装置８００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、絞り値、撮影距離、ズームレンズにおける焦点距離などを含む。状態検知部８０７は、システムコントローラ８１０から直接に撮像条件情報を取得可能であり、また、例えば撮像光学系８０１に関する撮像条件情報を撮像光学系制御部８０６から取得することもできる。記憶部８０８は、撮影条件ごと（焦点距離、Ｆ値、撮影距離、像高の組み合わせごと）に、光学伝達関数情報（データ）を記憶している。

画像処理部８０４には、関数取得手段８０４ａ、補正画像生成手段８０４ｂ、および、画像回復手段８０４ｃが設けられている。また画像処理部８０４には、必要に応じて、関数変換手段８０４ｄおよび関数生成手段８０４ｅが設けられている。これらの各手段は、実施例１、２で説明したように機能し、撮影画像から回復画像を生成する。

画像処理部８０４で処理された出力画像（回復画像）は、画像記録媒体８０９に所定のフォーマットで記録される。表示部８０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。

撮像装置８００における一連の制御はシステムコントローラ８１０により行われる。また、撮像光学系８０１の機械的な駆動は、システムコントローラ８１０の指示に基づいて撮像光学系制御部８０６により行われる。絞り８０１ａは、絞り値（Ｆナンバー）の撮影状態設定として、その開口径が制御される。フォーカスレンズ８０１ｂは、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構（いずれも不図示）により、その位置が制御される。

本実施例において、撮像光学系８０１（レンズ装置）は、撮像装置（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。撮像光学系８０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。

本実施例において、画像処理部８０４は、取得した撮影条件に対応する第一の光学伝達関数群を特定し、撮影画像を補正して補正画像を生成する。生成された補正画像は、記憶部８０８に保存される。また画像処理部８０４は、記憶部８０８から第一の画像データを読み出してブラインドデコンボリューション処理を行う。

ユーザーは、補正画像を生成するステップで終了してもよいし、より高解像度の画像を取得するためにブラインドデコンボリューション処理を行ってもよい。また、ブラインドデコンボリューション処理の繰り返し回数や、画像の所定の対象領域にのみ処理をかけるなど様々な設定が可能であるように構成してもよい。ユーザーは、モニタ上で回復処理後の画像を確認しつつ、各パラメータの設定変更が可能であることがより好ましい。

上記各実施例の画像処理装置および撮像装置によれば、シフトバリアントな劣化特性を有する画像を良好に補正し、かつ劣化によって失われた情報を復元することが可能となる。このため各実施例によれば、劣化特性により情報が失われた周波数領域に対しても良好に画像回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

８０４ａ 関数取得手段
８０４ｂ 補正画像生成手段
８０４ｃ 画像回復手段

Claims (15)

1. 撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得する関数取得手段と、
   前記第一の光学伝達関数を用いて前記画像から補正画像を生成する補正画像生成手段と、
   前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する画像回復手段と、を有することを特徴とする画像処理装置。
2. 前記第一の光学伝達関数を前記補正画像に対応する第二の光学伝達関数に変換する関数変換手段を更に有し、
   前記画像回復手段は、前記補正画像および前記第二の光学伝達関数を用いて前記ブラインドデコンボリューション処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の光学伝達関数を前記補正画像に対応する第二の光学伝達関数に変換する関数変換手段と、
   前記第二の光学伝達関数から第三の光学伝達関数を生成する関数生成手段と、を更に有し、
   前記画像回復手段は、前記補正画像および前記第三の光学伝達関数を用いて前記ブラインドデコンボリューション処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像回復手段は、前記第三の光学伝達関数を初期条件として前記ブラインドデコンボリューション処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記第三の光学伝達関数は、前記ブラインドデコンボリューション処理を行う画像領域の前記第二の光学伝達関数の加重平均を用いて生成されることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第三の光学伝達関数は、更に、周波数ローパスフィルタを用いて生成されることを特徴とする請求項５に記載の画像処理装置。
7. 前記第二の光学伝達関数は、前記第一の光学伝達関数の位相特性を補正することにより生成されることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像回復手段は、前記補正画像を初期条件として前記ブラインドデコンボリューション処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第一の光学伝達関数は、歪曲収差成分および倍率色収差成分を除去して生成されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記補正画像生成手段は、前記第一の光学伝達関数を用いて前記画像の位相特性を補正することにより前記補正画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記補正画像生成手段は、前記画像の一部の領域に対してのみ前記第一の光学伝達関数を適用して、該画像の一部の領域に対応する補正画像を生成し、
    前記画像回復手段は、前記画像の一部の領域に対応する前記補正画像を用いてブラインドデコンボリューション処理を行うことにより、前記回復画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 撮像光学系を介して被写体像を光電変換する撮像素子と、
    撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得する関数取得手段と、
    前記第一の光学伝達関数を用いて前記画像から補正画像を生成する補正画像生成手段と、
    前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成する画像回復手段と、を有することを特徴とする撮像装置。
13. 撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得するステップと、
    前記第一の光学伝達関数を用いて前記画像から補正画像を生成するステップと、
    前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成するステップと、を有することを特徴とする画像処理方法。
14. 撮影条件および画像の位置に応じて異なる第一の光学伝達関数を取得するステップと、
    前記第一の光学伝達関数を用いて前記画像から補正画像を生成するステップと、
    前記補正画像を用いてブラインドデコンボリューション処理を行うことにより回復画像を生成するステップと、を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを格納していることを特徴とする記憶媒体。