JP2013016008A - 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 - Google Patents

Abstract

【課題】撮像光学系を介して撮像された画像の撮影条件に対応する光学伝達関数または点像強度分布関数を補間することによって生成し、高精度な画像回復を行うことが可能な画像処理装置および撮像装置を提供すること
【解決手段】画像処理装置２０は、撮像光学系のＯＴＦまたはＰＳＦの情報を撮影条件ごとに記憶する記憶部２４と、前記撮像光学系を介して撮像された画像の撮影条件が前記記憶部に記憶された撮影条件に一致しない場合には前記記憶部に記憶された情報を使用して２つの異なる撮影条件の点像強度分布関数の重心位置を一致させた状態で前記画像の撮影条件に対応するＯＴＦまたはＰＳＦの情報を補間によって取得し、それを使用して前記画像を回復する処理を施す画像処理演算部２２と、を有する。
【選択図】図１

Description

本発明は、光学系の収差によって劣化した画像（劣化画像）を劣化する前の画像（原画像）に回復（復元）する処理を施す画像処理装置、撮像装置、画像処理プログラム、および画像処理方法に関する。

従来、光学系の収差により劣化した画像を回復する技術（以下、画像回復処理とする）が知られている。画像回復処理として、光学系のＯＴＦ（ＯｐｔｉｃａｌＴｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：光学伝達関数）またはこれとフーリエ変換の関係にある光学系のＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点像強度分布関数）の情報を用いる方法がある。

ＯＴＦは、実部と虚部を持ち、一般的には２次元のデータとしてメモリ等の記憶手段に格納される。以下、この２次元のデータをＯＴＦデータと称する。一般的な画像回復処理では、ＲＧＢのごとにＯＴＦデータを用意するので、１像高のＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（色成分）となる。また、ＯＴＦやＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、および被写体距離を含む撮影条件ごとに異なる。

特許文献１は、任意の物体距離のメガネの光学特性を補間生成する方法を提案し、特許文献２は楕円形状のＰＳＦを仮定し、像高位置に応じて補間生成する方法を提案している。

特開２００５−３０８４９０号公報 特開２００３−１３２３５１号公報

上述のようなＯＴＦデータを色成分ごと、および撮影条件ごとに記憶すると膨大なデータ量になってしまう。そこで、本発明者は、ＯＴＦデータを代表的な撮影条件について離散的に画像処理装置（または撮像装置）に記憶させ、残りの撮影条件のＯＴＦデータを、記憶されているＯＴＦデータを補間して生成することを検討した。このとき、ＯＴＦデータのデータ量の削減と補間精度（画像回復精度）とはトレードオフの関係となる。

しかしながら、補間のために用いるＰＳＦの重心位置が一致しない状態で（即ち、ＯＴＦの位相の１次成分が一致しない状態で）ＰＳＦまたはＯＴＦデータを補間すると、高精度な補間を行うことができない。そして、この問題の解決策について上述した従来技術は何ら提案していない。

本発明は、あらかじめ記憶すべきＯＴＦデータの容量を抑えつつ、高精度な画像回復を行うことが可能な画像処理装置、撮像装置、画像処理プログラム、画像処理方法を提供することを例示的な目的とする。

以上の課題は、ＯＴＦデータを例に説明したが、ＰＳＦもＯＴＦとはフーリエ変換の関係にあるので、ＰＳＦのデータを記憶して、画像回復処理に用いる場合も、同様の課題がある。

本発明の画像処理装置または撮像装置は、撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶する記憶手段と、前記撮像光学系を介して撮像された画像の撮影条件が前記記憶手段に記憶された撮影条件に一致しない場合には、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置が一致した状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理手段と、を有することを特徴とする。

本発明によれば、記憶手段の容量を抑えつつ、高精度な画像回復を行うことが可能な画像処理装置、撮像装置、画像処理プログラム、および画像処理装置を提供することができる。

図１（ａ）は画像処理装置のブロック図であり、図１（ｂ）は画像回復処理のフローチャートである。（実施例１） 図１（ａ）に示す記憶部が格納するデータの作成例を説明するための図である。（実施例１） 図１（ｂ）に示すＳ１６を説明するための図である。（実施例１） デジタルカメラのブロック図である。（実施例２）

画像回復において、実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の原画像をｆ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）、劣化した劣化画像をｇ（ｘ，ｙ）とすると、次式が成立する。

数式１にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと次式が成立する。ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換であり、ＯＴＦ（光学伝達関数）である。

数式１、２から次式が成立する。

このため、周波数空間上でフーリエ変換Ｇ（ｕ，ｖ）をＨ（ｕ，ｖ）で割ることにより、Ｆ（ｕ，ｖ）を得ることができ、Ｆ（ｕ，ｖ）に逆フーリエ変換を施せば原画像ｆ（ｘ，ｙ）を得ることができる。

上記処理は実際にはノイズを増幅させることになるため、次式で表されるウィーナー（Ｗｉｎｎｅｒ）フィルタを数式３の１／Ｈ（ｕ，ｖ）の代わりに用いることが知られている。ここで、Γはノイズの増幅量を低減するための定数である。

数式４を、光学系の周波数と位相情報を持つＯＴＦに積算すれば、光学系の回折や収差によって発生したＰＳＦの位相を０にし、振幅の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。

このため、撮像光学系の正確なＯＴＦ情報を得る必要があるが、カメラに用いられる撮像光学系は、一般にその光学性能（Ｆ値、収差等）が像高間で大きく変動する。被写体画像の劣化を補正するためには、数式４をそのままの形で周波数空間上の一括計算はできず、像高ごとに数式４を実空間上のフィルタ（画像回復フィルタ）に変換して劣化を補正する。

画像回復フィルタを利用した画像回復においては、画像回復フィルタまたは画像回復フィルタを作成するためのＯＴＦ情報を装置に記憶させる必要がある。画像回復フィルタの情報を撮像装置内に記憶させれば画像の劣化補正に行う演算はフィルタ処理のみとなり処理は高速になるが画像回復フィルタの変更が不可能となり、劣化補正の強弱を制御することが困難となる。

一方、画像回復フィルタを作成するためのＯＴＦ情報を記憶すれば、被写体画像の劣化の度合いに応じて自由に劣化補正の強弱を制御することができる。ＯＴＦ情報にフーリエ変換を施すことによって画像回復フィルタを生成することができる。

ＯＴＦは２次元データであり、実部と虚部を持ち、一般的な画像回復では波長をＲＧＢ３つの色成分の変数で持つため１像高のＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（色成分）となる。また、ＯＴＦは像高、焦点距離、Ｆ値および被写体距離からなる撮影条件ごとに異なる。従って、ＯＴＦデータを色成分ごとおよび撮影条件ごとに記憶すると膨大なデータ量になるため、現実的ではない。

そこで、ＯＴＦデータを代表的な撮影条件について離散的に画像処理装置（または撮像装置）に記憶させ、残りの撮影条件のＯＴＦデータを、記憶されているＯＴＦデータを用いて補間して生成する場合を考える。このとき、ＯＴＦのデータ量の削減と補間精度（画像回復精度）とはトレードオフの関係となる。

一般的な撮像光学系において収差の絶対量を考えると、波長間の倍率色収差に起因する波長ごとの像点の位置ズレ量は、ＰＳＦの広がりと比べて大きく、特に軸外物点になるほど顕著になる。これはＯＴＦでは位相の１次成分に相当する。ここでＯＴＦの位相成分とはａｔａｎ（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））であり、この１次成分を１次の位相と呼ぶ。

しかし、同一の波長でも撮影条件によってＰＳＦ（点像）の重心位置は異なる。例えば、ＸＹ座標系で第１の位置（例えば、（０，ａ））に重心位置があるＰＳＦと第２の位置（例えば、（０，ｂ））に重心位置があるＰＳＦからその間にある目的位置のＰＳＦを線形補間すると補間したＰＳＦの形状が崩れる。

そこで、本実施形態では、ＰＳＦの形状を高精度に補間する際に、２つの重心位置を一致させた状態で（例えば、原点に移動した状態で）２つの重心位置に応じた重み付けで形状を補間している。即ち、補間時に周波数空間においてＰＳＦの重心位置を表すＯＴＦの位相の１次成分を除去してＰＳＦの形状成分を表すＰＴＦの位相の２次以上の成分を使用して補間している。

図１（ａ）は実施例１の画像処理装置２０のブロック図である。図１（ｂ）は画像処理装置２０によって実行される実施例１の画像回復処理のフローチャートであり、「Ｓ」はステップ（工程）の略である。図１（ｂ）に示す画像処理方法（画像処理プログラム）はコンピュータを各ステップの手段として機能させるものとして働く。

画像処理装置２０は、図１（ａ）ではカメラ（撮像装置）１０と別体であるが、後述するようにカメラ１０に一体的に設けられてもよい。カメラ１０は、被写体を撮像し、撮像光学系の収差による劣化をうけた被写体画像（劣化画像）を生成する。被写体画像は撮像光学系が撮像した光学像を撮像素子が光電変換することによって生成される。

画像処理装置２０は、画像処理演算部２２と記憶部２４とを有し、パーソナルコンピュータとそれにインストールされたソフトウェア（画像処理プログラム）から構成されてもよい。

画像処理演算部２２は、画像回復処理を含む画像処理を実行する画像処理部（画像処理手段）であり、マイクロコンピュータ（プロセッサ）から構成されている。画像処理演算部２２は、記憶部２４に格納された撮像光学系の光学伝達関数（ＯＴＦ）または点像強度分布関数（ＰＳＦ）の情報を用いて画像を回復することができる。

記憶部２４は、画像回復処理を含む画像処理を含むプログラムと、カメラの撮像光学系のＯＴＦまたはＰＳＦの情報を、像高、焦点距離、Ｆ値および被写体距離からなる撮影条件ごとに記憶するメモリ（記憶手段）である。なお、本実施例は、撮影条件として像高、焦点距離、Ｆ値および被写体距離以外の他の組み合わせを妨げるものではない。記憶部２４は、撮影条件の一部の組み合わせについてＯＴＦまたはＰＳＦの情報を記憶しているだけであるので記憶容量を小さく抑えることができる。

本実施例では、記憶部２４が記憶するＯＴＦ（ＯＴＦデータ）またはＰＳＦの情報は、ＯＴＦの位相の１次成分が除かれた２次以上の成分またはＰＳＦの重心位置成分が除かれた形状成分の情報である。しかし、記憶部２４が記憶するＯＴＦまたはＰＳＦの情報はＯＴＦの位相の１次成分またはＰＳＦの重心位置成分を含んでもよい。この場合には、画像処理演算部２２がこれを使用してＯＴＦの位相の１次成分が除かれた２次以上の成分またはＰＳＦの重心位置成分が除かれた形状成分の補間前情報を生成することになる。

図２（ａ）、（ｂ）は、記憶部２４が記憶するデータの作成例を説明するための図である。ＯＴＦはＰＳＦのフーリエ変換で計算できるＰＳＦの周波数応答であり、ＰＳＦとＯＴＦの持つ情報は等価である。ＰＳＦを得るためには、光学系の波面収差を計算してフーリエ変換を施せばよい。

波面収差を計算する際の基準波長と参照球面の取り方は任意であるが、例えば、光学系の近軸倍率で決まる理想像点を中心に計算する場合と、実際の光学系で光線追跡した主光線の到達点を中心に計算する場合などがあり両者で取得できるＰＳＦが異なる。

前者ではＰＳＦに基準波長の歪曲収差の成分が入るためＰＳＦ全体が歪曲収差分だけシフトするのに対して、後者ではＰＳＦに基準波長の歪曲収差の成分が入らないため、ＰＳＦはシフトしない。

本実施例では、ＰＳＦ算出の際の参照球面中心をどのように設定してもよいが、参照球面の中心を主光線の到達点に取らなかった場合には、発生する基準波長の歪曲収差成分は各計算波長においてＰＳＦ計算後に除去するものとする。

一例としてズーム可能な光学系において、焦点距離のみが異なる２つのＰＳＦに対して、その中間の焦点距離のＰＳＦを補間生成する場合について示す。像高間、Ｆ値間、被写体距離間におけるＰＳＦ補間においても同様の手法を用いることが可能である。

補間に用いるＰＳＦは単一波長でもよいが、複数の波長を任意の光源のスペクトル強度分布に応じて重み付けして足し合わせてもよい。

まず、画像処理演算部２２は、第１の撮影条件（ｈ１，ｆ１，Ｆ１，ｄ１）のＰＳＦと第２の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）のＰＳＦを、補間に用いる２つの異なるＰＳＦデータとして選択する。なお、補間には少なくとも２つのＰＳＦまたはＯＴＦが使用されれば足り、また、これらの撮影条件は異なる。補間生成されるＰＳＦデータを画像の撮影条件（ｈｉ，ｆｊ，Ｆｋ，ｄｌ）に対応するＰＳＦとし、像高ｈｉ、焦点距離ｆｊ、Ｆ値Ｆｋ、被写体距離ｄｌを有する。

第１の撮影条件（ｈ１，ｆ１，Ｆ１，ｄ１）のＰＳＦと第２の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）のように撮影条件が異なるＰＳＦでは倍率色収差成分が異なる。第１の撮影条件（ｈ１，ｆ１，Ｆ１，ｄ１）のＰＳＦをｆ（ｘ，ｙ−ａ）、第２の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）のＰＳＦをｇ（ｘ，ｙ−ｂ）とすると倍率色収差成分によってＰＳＦの重心位置はそれぞれｙ方向にａ、ｂだけシフトしている。なお、ＸＹ座標系は数式１において説明したＰＳＦであるｈ（ｘ，ｙ）のｘｙ座標系と一致している。

そのために、画像処理演算部２２は、２つのＰＳＦの最大強度位置もしくは重心位置を座標原点にシフトさせ、２つのＰＳＦの重心位置を一致させる。なお、ＰＳＦの重心位置が一致した状態ではＯＴＦの位相の１次成分が一致している。

次に、画像処理演算部２２は、ＰＳＦにフーリエ変換を施し、ＯＴＦへ変換して撮影条件の数だけ記憶部２４に保存する。図２（ａ）では、実線で囲まれているように、第１の撮影条件のＯＴＦはＨ１（ｕ，ｖ）であり、第２の撮影条件のＯＴＦはＨ２（ｕ，ｖ）であり、これらのＯＴＦが記憶部２４に保存される。

画像の撮影条件（ｈ１，ｆ３，Ｆ１，ｄ１）に対応するＯＴＦであるＨ３（ｕ，ｖ）を取得する場合、第１の撮影条件（ｈ１，ｆ１，Ｆ１，ｄ１）と第２の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）のＯＴＦを記憶部２４から取得して重み付けして足し合わせればよい。

例えば、ｈ１＜ｈ２＜ｈ３なる関係にある像高において、ｈ１とｈ３の像高におけるＯＴＦからｈ２の像高におけるＯＴＦを補間生成してもよい。あるいは、ズーム時の焦点距離がｆ１≦ｆ２≦ｆ３なる関係にある場合において、ｆ１とｆ３の焦点距離におけるＯＴＦからｆ２の焦点距離におけるＯＴＦを補間生成してもよい。若しくは、Ｆ値がＦ１≦Ｆ２≦Ｆ３なる関係にある絞り状態において、Ｆ１とＦ３の絞り状態におけるＯＴＦからＦ２の絞り状態におけるＯＴＦを補間生成してもよい。また、被写体と撮像素子までの距離がｄ１≦ｄ２≦ｄ３なる関係にある被写体距離において、ｄ１とｄ３の被写体距離におけるＯＴＦからｄ２の被写体距離におけるＯＴＦを補間生成してもよい。

また、図２（ｂ）のように、記憶部２４は、ＰＳＦの最大強度位置もしくは重心位置を原点位置にシフトさせたＰＳＦデータを記憶部２４に記憶して上記処理を行ってもよい。即ち、図２（ｂ）では、実線で囲まれた２つのＰＳＦ（ｆ（ｘ、ｙ）とｇ（ｘ、ｙ））が記憶部２４に記憶される。なお、色成分ごとのＰＳＦのＲＭＳ値が最小となるようにＰＳＦのシフト量を決めてもよい。

例えば、ｈ１＜ｈ２＜ｈ３なる関係にある像高において、ｈ１とｈ３の像高におけるＰＳＦからｈ２の像高におけるＰＳＦを補間生成してもよい。あるいは、ズーム時の焦点距離がｆ１≦ｆ２≦ｆ３なる関係にある場合において、ｆ１とｆ３の焦点距離におけるＰＳＦからｆ２の焦点距離におけるＰＳＦを補間生成してもよい。若しくは、Ｆ値がＦ１≦Ｆ２≦Ｆ３なる関係にある絞り状態において、Ｆ１とＦ３の絞り状態におけるＰＳＦからＦ２の絞り状態におけるＰＳＦを補間生成してもよい。また、被写体と撮像素子までの距離がｄ１≦ｄ２≦ｄ３なる関係にある被写体距離において、ｄ１とｄ３の被写体距離におけるＰＳＦからｄ２の被写体距離におけるＰＳＦを補間生成してもよい。

これはＰＳＦで補間を行うこととＯＴＦで補間を行うことが等価であるためである。下記に一例を示す。

なお、ｈ（ｘ，ｙ）は補間後の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）におけるＰＳＦを示しており、ＯＴＦ（ｕ，ｖ）はそのＯＴＦを示している。

なお、第１の撮影条件（ｈ１，ｆ１，Ｆ１，ｄ１）と第２の撮影条件（ｈ１，ｆ２，Ｆ１，ｄ１）のＰＳＦの最大強度位置や、差分二乗平均平方根（ＲｏｏｔＭｅａｎ Ｓｑｕａｒｅ：ＲＭＳ）値が最小になるようにシフトさせてもよい。あるいは、原点ではなく別の位置に一致させてもよい。

画像処理演算部２２は、画像回復処理を開始すると撮影された画像の撮影条件が記憶部２４に記憶された撮影条件と一致するかどうかを判断する（Ｓ１２）。格納されていれば（Ｓ１２のＹｅｓ）、画像処理演算部２２は、それに対応するＯＴＦデータを用いて画像回復フィルタを作成してこれを用いて画像回復を行う（Ｓ１４）。

一方、撮像時の状況に対応するＯＴＦが記憶部２４に格納されていなければ（Ｓ１２のＮｏ）、記憶部２４に格納されたＯＴＦを用いて補間生成し（Ｓ１６）、これを用いて画像回復を行う（Ｓ１８）。

図３は、Ｓ１６の詳細を説明するための図である。まず、図３（ａ）に示すように、撮像領域を、軸上像高から最軸外像高までをＮ分割し、それぞれＯＴＦを撮影条件と共に記憶させておく。撮影条件とＯＴＦが存在しない領域は最も近接した２点の像高位置からその距離に応じた重み付けを行い補間生成する。

撮像光学系のＯＴＦは撮影条件に応じて異なるため、離散的に存在する実際の撮影条件とＯＴＦのデータから被写体を撮影した際の撮影条件のＯＴＦを補間生成する。例えば、撮影条件は、焦点距離ｆ＝２０ｍｍ、Ｆ値＝２．８、被写体距離ｄ＝∞などとなる。

簡単のため、像高位置第Ｉ番目の処理について説明する。実際の撮影条件の位置を、図３（ｂ）に示すように、焦点距離、Ｆ値、被写体距離を変数とする３次元空間の格子点上に配置する。実際にＯＴＦデータが存在する３次元空間上の撮影条件を黒丸で示す。なお、画像が撮影された撮影条件（ｈＩ，ｆＪ，ＦＫ，ｄＬ）を（ｉ，ｊ，ｋ，ｌ）＝（Ｉ，Ｊ，Ｋ，Ｌ）と略する場合がある。

まず、図３（ｂ）の黒丸で示す８つの実際の撮影条件（ｉ，ｊ，ｋ，ｌ）＝（Ｉ，１，１，１）、（Ｉ，２，１，１）、（Ｉ，１，１，２）、（Ｉ，２，１，２）、（Ｉ，１，２，１）、（Ｉ，２，２，１）、（Ｉ，１，２，２）、（Ｉ，２，２，２）を取得する。この時、対応するＯＴＦも取得する。

次に、これらを用いて、図３（ｂ）の黒三角形に示すように、４つの第１補間撮影条件を作成する。即ち、（Ｉ，１，１，１）と（Ｉ，２，１，１）の２点のＯＴＦから（Ｉ，Ｊ，１，１）に対応するＯＴＦを作成し、（Ｉ，１，１，２）と（Ｉ，２，１，２）の２点のＯＴＦから（Ｉ，Ｊ，１，２）に対応するＯＴＦを作成する。また、（Ｉ，１，２，１）と（Ｉ，２，２，１）の２点のＯＴＦから（Ｉ，Ｊ，２，１）に対応するＯＴＦを作成し、（Ｉ，１，２，２）と（Ｉ，２，２，２）の２点のＯＴＦから（Ｉ，Ｊ，２，２）に対応するＯＴＦを作成する。

次に、図３（ｂ）の黒菱形に示すように、４つの第２補間撮影条件から２つの第２補間撮影条件を作成する。即ち、（Ｉ，Ｊ，１，１）と（Ｉ，Ｊ，２，１）の２点のＯＴＦから（Ｉ，Ｊ，Ｋ，１）に対応するＯＴＦを作成し、（Ｉ，Ｊ，１，２）と（Ｉ，Ｊ，２，２）の２点のＯＴＦから（Ｉ，Ｊ，Ｋ，２）に対応するＯＴＦを作成する。

次に、２つの第２補間撮影条件（Ｉ，Ｊ，Ｋ，１）と（Ｉ，Ｊ，Ｋ，２）のＯＴＦから画像の撮影条件（Ｉ，Ｊ，Ｋ，Ｌ）に対応するＯＴＦを作成する。本実施例では、このように補間に際して、像高、焦点距離、Ｆ値および被写体距離のうち３つを共通にした状態で補間している。

上記例では、焦点距離、Ｆ値、被写体距離の順にＯＴＦデータの補間を行ったが、補間順序は特にこの順には限定されない。また、本実施例では線形な重みづけで補間処理した例をあげたが、三次関数を使用するバイキュービック補間等を用いてもよい。

また、同様の手法を用いて実空間領域においてＰＳＦを補間し、これに周波数変換をほどこしてＯＴＦを得てもよい。

Ｓ１４とＳ１８における画像回復処理では、補間されたＯＴＦのＨ３（ｕ，ｖ）を数式３、４のＨ（ｕ、ｖ）として使用する。この時、補間されたＯＴＦは位相の１次成分がないために撮像光学系の収差のうち倍率色収差とディストーションによる劣化を回復することができない。但し、他の収差成分による劣化を回復することはできる。

そこで、ある実施例では、補間によって生成されたＯＴＦまたは補間によって生成されたＰＳＦをフーリエ変換して得られるＯＴＦにＯＴＦの位相の１次成分を加えてから画像を回復する処理を施す。あるいは、本実施例のＳ１４とＳ１８のように、画像処理演算部２２は、（位相の１次成分を有しない）補間によって生成されたＯＴＦまたは補間によって生成されたＰＳＦをフーリエ変換して得られるＯＴＦによって画像を回復する処理を行ってもよい。そして、図１に示す画像回復処理とは別個に、回復された画像に対して倍率色収差またはディストーションを軽減する既知の処理を施してもよい。

図２（ａ）では、２つのＰＳＦの重心位置を一致させた状態でそれぞれをフーリエ変換してＯＴＦを生成し、その位相の２次以上の成分を補間することによってＯＴＦを補間している。また、図２（ｂ）では、２つのＰＳＦの重心位置を一致させた状態で画像の撮影条件に対応するＰＳＦの形状成分を補間によって取得し、その後、フーリエ変換して対応するＯＴＦの位相の２次以上の成分を生成している。

しかしながら、本発明は図２の実施例には限定されない。例えば、画像処理演算部２２は、２つのＰＳＦを重心位置が一致していない状態でそれぞれをフーリエ変換する。そして、画像処理演算部２２は、フーリエ変換によって生成された２つのＯＴＦから位相の１次成分を除去してから補間することによって画像の撮影条件に対応するＯＴＦの位相の２次以上の成分を生成してもよい。

また、上述したように、画像処理演算部２２は、ＲＧＢの色成分別にＯＴＦまたはＰＳＦを補間によって生成してもよい。

図４は、実施例２のデジタルカメラ（撮像装置）のブロック図である。デジタルカメラは絞り４０１ａとフォーカスレンズ４０１ｂを有する撮像光学系４０１によって被写体の光学像を形成し、撮像素子４０２が光学像を光電変換してアナログ電気信号に変換する。Ａ／Ｄ変換器４０３がアナログ電気信号をデジタル信号に変換し、画像処理部４０４がこれに各種の画像処理を施す。

各種の画像処理は、上述した画像回復処理を含んでいる。即ち、本実施例では、上述の画像処理装置は画像処理部４０４としてカメラ内部に組み込まれている。この場合、離散的なＯＴＦデータ（またはＰＳＦデータ）は記憶部４０８に格納されている。画像回復を含む各種の処理が施された画像は、表示部４０５に表示されたり、画像記録媒体４０９に記録される。カメラの各部はシステムコントローラ４１０によって制御される。

以上、本発明の実施例について説明したが、本発明は実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明の画像処理装置はカメラなどの撮像装置が撮影した画像を回復する用途に適用することができる。

２０…画像処理装置、２２、４０４…画像処理部、２４、４０８…記憶部

本発明の画像処理装置または撮像装置は、撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶する記憶手段と、前記撮像光学系を介して撮像された画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置又は最大強度位置が揃った状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理手段と、を有することを特徴とする。
本発明の他の一側面としての画像処理装置または撮像装置は、撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶する記憶手段と、前記撮像光学系を介して撮像された画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の差分二乗平均平方根が最小となる状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理手段と、を有することを特徴とする。

数式４を、光学系の周波数と位相情報を持つＯＴＦに乗算すれば、光学系の回折や収差によって発生したＰＳＦの位相を０にし、振幅の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。

そこで、本実施形態では、ＰＳＦの形状を高精度に補間する際に、２つの重心位置を一致させた（揃った、合わせた）状態で（例えば、原点に移動した状態で）２つの重心位置に応じた重み付けで形状を補間している。即ち、補間時に周波数空間においてＰＳＦの重心位置を表すＯＴＦの位相の１次成分を除去してＰＳＦの形状成分を表すＰＴＦの位相の２次以上の成分を使用して補間している。

図２（ａ）、（ｂ）は、記憶部２４が記憶するデータの作成例を説明するための図である。ＯＴＦはＰＳＦのフーリエ変換で計算できるＰＳＦの周波数応答であり、ＰＳＦとＯＴＦの持つ情報は等価である。ＰＳＦを得るためには、光学系の波面収差を計算して瞳関数を生成後、瞳関数にフーリエ変換を施した後、絶対値の２乗をとればよい。

そのために、画像処理演算部２２は、２つのＰＳＦの最大強度位置もしくは重心位置を座標原点にシフトさせ、２つのＰＳＦの重心位置を一致させる。なお、ＰＳＦの重心位置が一致した状態ではＯＴＦの位相の１次成分が略一致している。

Claims (17)

1. 撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶する記憶手段と、
   前記撮像光学系を介して撮像された画像の撮影条件が、前記記憶手段に記憶された撮影条件に一致しない場合には、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置が一致した状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記記憶手段が記憶する前記情報は、前記光学伝達関数の位相の１次成分が除かれた２次以上の成分または前記点像強度分布関数の重心位置成分が除かれた形状成分の情報であることを特徴とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶手段が記憶する前記情報は、前記光学伝達関数の位相の１次成分または前記点像強度分布関数の重心位置成分を含み、
   前記画像処理手段は、前記記憶手段に記憶された前記情報を使用して前記光学伝達関数の位相の１次成分が除かれた２次以上の成分または前記点像強度分布関数の重心位置成分が除かれた形状成分の補間前情報を生成し、前記補間前情報を使用して補間を行うことを特徴とすることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理手段は、前記補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数をフーリエ変換して得られる光学伝達関数に前記光学伝達関数の位相の１次成分を加えてから前記画像を回復する処理を施すことを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記画像処理手段は、前記補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数をフーリエ変換して得られる光学伝達関数によって前記画像を回復する処理を施し、回復された画像に倍率色収差またはディストーションを軽減する処理を施すことを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
6. 前記画像処理手段は、異なる撮影条件の２つの点像強度分布関数の重心位置を一致させた状態でそれぞれをフーリエ変換し、フーリエ変換によって生成された２つの光学伝達関数の位相の２次以上の成分を補間することによって、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記画像処理手段は、異なる撮影条件の２つの点像強度分布関数の重心位置を一致させた状態で前記画像の撮影条件に対応する点像強度分布関数の形状成分を補間によって取得し、その後、フーリエ変換することによって前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分を生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記画像処理手段は、異なる撮影条件の２つの点像強度分布関数を重心位置が一致していない状態でそれぞれをフーリエ変換し、フーリエ変換によって生成された２つの光学伝達関数から位相の１次成分を除去してから補間することによって、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分を生成することを特徴とする請求項１に記載の画像処理装置。
9. 前記画像処理手段は、ＲＧＢの色成分別に光学伝達関数または点像強度分布関数を補間によって生成することを特徴とする請求項１乃至８のうちいずれか１項に記載の画像処理装置。
10. ｈ１＜ｈ２＜ｈ３なる関係にある像高において、前記異なる撮影条件はｈ１とｈ３の像高を有し、前記画像の撮影条件はｈ２の像高を有することを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
11. ズーム時の焦点距離がｆ１≦ｆ２≦ｆ３なる関係にある場合において、前記異なる撮影条件はｆ１とｆ３の焦点距離を有し、前記画像の撮影条件はｆ２の焦点距離を有することを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
12. Ｆ値がＦ１≦Ｆ２≦Ｆ３なる関係にある絞り状態において、前記異なる撮影条件はＦ１とＦ３の絞り状態を有し、前記画像の撮影条件はＦ２の絞り状態を有することを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
13. ｄ１≦ｄ２≦ｄ３なる関係にある被写体距離において、前記異なる撮影条件はｄ１とｄ３の被写体距離を有し、前記画像の撮影条件はｄ２の被写体距離を有することを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
14. 前記撮影条件は、像高、焦点距離、Ｆ値、および被写体距離であることを特徴とする請求項１乃至１３のうちいずれか１項に記載の画像処理装置。
15. 被写体の光学像を形成する撮像光学系と、
    前記撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶する記憶手段と、
    前記撮像光学系を介して撮像された画像の撮影条件が、前記記憶手段に記憶された撮影条件に一致しない場合には、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置が一致した状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理手段と、
    を有することを特徴とする撮像装置。
16. 記憶手段に、撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶させ、
    前記撮像光学系を介して撮像された画像の撮影条件が、前記記憶手段に記憶された撮影条件に一致しない場合には、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置が一致した状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する処理を行う画像処理方法。
17. コンピュータを、
    撮像光学系の光学伝達関数または点像強度分布関数の情報を、撮影条件ごとに記憶手段に記憶させる手段、
    前記撮像光学系を介して撮像された画像の撮影条件が、前記記憶手段に記憶された撮影条件に一致しない場合には、前記画像の撮影条件に対応する光学伝達関数の位相の２次以上の成分または点像強度分布関数の形状成分を、前記記憶手段に記憶された前記情報から得られ、互いに異なる撮影条件を有する少なくとも２つの光学伝達関数または点像強度分布関数をそれらの点像強度分布関数の重心位置が一致した状態で補間することによって生成し、補間によって生成された光学伝達関数または補間によって生成された点像強度分布関数から得られる光学伝達関数を使用して前記画像を回復する手段、
    として機能させるための画像処理プログラム。