JP2016152481A - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】用意すべきデータ量の増加を抑制しつつ高精度な鮮鋭化処理を行う。【解決手段】画像処理装置１０４は、撮像により生成された入力画像に対して補正処理を行って鮮鋭化画像を生成する。該装置は、撮像における光学系の状態である撮像条件に応じた光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得するＰＳＦ取得手段２０１と、点像強度分布関数に関する情報を用いて複数の特定像高のそれぞれに対応する複数のフィルタを生成するフィルタ生成手段２０２と、入力画像に対して複数のフィルタをそれぞれ適用して複数の第１のデータを生成するデータ生成手段２０２と、像高に応じた重み情報を取得する重み取得手段２０４と、重み情報を用いて複数の第１のデータの重み付け合成を行って補正処理に用いられるデータまたは鮮鋭化画像である第２のデータを生成する合成手段２０５とを有する。【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置により生成された画像に対して鮮鋭化のための処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置による撮像により生成された画像（入力画像）の鮮鋭度を向上させるための処理として、アンシャープマスク処理（鮮鋭化処理）が知られている。アンシャープマスク処理は、入力画像に対してアンシャープマスクを適用することでぼかした画像と元の入力画像との差分をとり、この差分のデータを入力画像に対して加算することで鮮鋭化を実現する。アンシャープマスクには平滑化フィルタ等の画像をぼかすためのフィルタが使用され、ぼかされた画像と入力画像との差分が大きい画像領域ほどより鮮鋭化される。

また、特許文献１には、像高方向（メリジオナル方向）に並んだ画素信号列に対して非対称な１次元フィルタを適用することで、光学系の点像強度分布関数（point spread function：ＰＳＦ）の影響による偽色や不要な色付きを補正する方法が開示されている。

特開２０１０−８１２６３号公報

しかしながら、従来のアンシャープマスク処理では、アンシャープマスクとして回転対称なフィルタを用いている。このため、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した入力画像に対しては正しく鮮鋭化することができない。正しく鮮鋭化することができないとは、収差が大きく発生しているアジムス方向の収差を補正しようとすると収差が小さいアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差を十分に補正できないという意味である。

また、特許文献１にて開示された方法では、ＰＳＦの非対称性や像高に対する変化については考慮されているものの、ＰＳＦの像高方向での非対称性しか考慮されていない。このため、該方法にて用いられる補正フィルタも１次元フィルタである。しかし、これでは像高方向以外の方向での非対称性については改善することができない。さらに、特許文献１にて開示された方法では、フィルタに関してもマイナスタップ係数の個数で該フィルタの非対称性を調整している。しかし、これでは像高方向についても、実際の非対称性が光学系のＰＳＦによるぼけ方とは異なる場合には、十分に鮮鋭化することができない。

また、ＰＳＦの像高による変化に対応するためには、入力画像を複数の領域に分割し、各領域に対応したＰＳＦや光学情報を予め保持しておく必要がある。特に、精度良くアンシャープマスク処理を行うためには、入力画像を多数の領域に細かく分割し、領域ごとにＰＳＦや光学情報を保持しておく必要がある。しかしながら、これでは保持すべきデータ量が増大する。

本発明は、保持すべきデータ量の増加を抑制しつつ高精度な鮮鋭化処理を行えるようにした画像処理装置および画像処理方法等を提供する。

本発明の一側面としての画像処理装置は、光学系を通した撮像により生成された入力画像に対して鮮鋭化のための補正処理を行って鮮鋭化画像を生成する。該装置は、撮像に際しての光学系の状態である撮像条件に応じた光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得するＰＳＦ取得手段と、点像強度分布関数に関する情報を用いて複数の特定像高のそれぞれに対応する複数のフィルタを生成するフィルタ生成手段と、入力画像に対して複数のフィルタをそれぞれ適用して複数の第１のデータを生成するデータ生成手段と、像高に応じた重み情報を取得する重み取得手段と、重み情報を用いて複数の第１のデータの重み付け合成を行って補正処理に用いられるデータまたは鮮鋭化画像である第２のデータを生成する合成手段とを有することを特徴とする。

なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、光学系を通した撮像により生成された入力画像に対して鮮鋭化のための補正処理を行って鮮鋭化画像を生成する方法である。該方法は、撮像に際しての光学系の状態である撮像条件に応じた光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得し、点像強度分布関数に関する情報を用いて複数の特定像高のそれぞれに対応する複数のフィルタを生成し、入力画像に対して複数のフィルタをそれぞれ適用して複数の第１のデータを生成し、像高に応じた重み情報を取得し、重み情報を用いて複数の第１のデータの重み付け合成を行って補正処理に用いられるデータまたは鮮鋭化画像である第２のデータを生成することを特徴とする。

なお、上記画像処理方法をコンピュータに行わせる画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、用意（保持）すべき点像強度分布関数のデータ量を低減しつつ、高精度な鮮鋭化のための補正処理を行うことができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１にて行われる画像処理を示すフローチャート。 実施例１にて行われるアンシャープマスク処理（鮮鋭化処理）を示す図。 実施例１の撮像装置における撮像光学系のＰＳＦを示す図。 回転対称なアンシャープマスクを用いたアンシャープマスク処理を示す図。 非回転対称なアンシャープマスクを用いたアンシャープマスク処理を示す図。 実施例１で用いられるアンシャープマスクを示す図。 上記アンシャープマスクの断面図。 実施例１にて行われる画像処理の詳細を示すフローチャート。 ベイヤー配列を示す図。 実施例１における入力画像の分割方法を説明する図。 実施例１における像高方向の補間方法を示す図。 実施例１において行われる画像処理の詳細を示す別のフローチャート。 実施例１において行われる画像処理の詳細を示す他のフローチャート。 本発明の実施例２において行われる画像処理の詳細を示すフローチャート。 本発明の実施例３において行われる画像処理の詳細を示すフローチャート。 ＰＳＦを保持する像高位置の決定方法を説明する図。 ＰＳＦを保持する像高位置の決定処理を示すフローチャート。 点像強度分布関数の非対称性の変化を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

はじめに、後述する具体的な実施例において行う鮮鋭化処理としてのアンシャープマスク処理について図３を用いて説明する。図３（Ａ）中の実線は、撮像光学系（以下、単に光学系という）を通した撮像により生成された撮影画像を示し、破線は撮影画像をアンシャープマスクによりぼかした画像（アンシャープ画像）を示す。また、点線は鮮鋭化後の画像（鮮鋭化画像）を示す。また、図３（Ｂ）中の実線は、撮影画像とアンシャープ画像との差分である補正成分（補正信号ともいう）を示している。

ここで、撮影画像をｆ（ｘ，ｙ）とし、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化画像ｇ（ｘ，ｙ）は次式（１）で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） ・・・（１）
式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより補正量を調整することができる。ｍは入力画像の位置によらずに一定の定数であってもよいし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整するようにしてもよい。また、調整係数ｍは撮影光学系の焦点距離や絞り値および被写体距離といった撮像条件に応じて異ならせることもできる。
また、補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭとすると、
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） ・・・（２）
または、式（２）の右辺を変形して、
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） ・・・（３）
と表せる。＊は畳み込み積分（コンボリューション）を表し、δはデルタ関数（理想点像）を表す。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心タップの値が１で、それ以外のタップの値がすべて０であるデータである。

式（３）は、式（２）とは処理としての演算方法が異なるが、式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価な処理といえる。ここでは、式（２）を用いて補正成分の生成について説明する。

式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクＵＳＭでぼかしたアンシャープ画像との差分をとることで補正成分ｈ（ｘ，ｙ）を生成している。

一般的なアンシャープマスク処理では、アンシャープマスクＵＳＭにガウシアンフィルタ、メディアンフィルタおよび移動平均フィルタ等の平滑化フィルタが使用される。例えば、図３（Ａ）中の実線で表せるような撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクＵＳＭとしてガウシアンフィルタを使用した場合には、撮影画像ｆ（ｘ，ｙ）をぼかしたアンシャープ画像は図３（Ａ）中の点線で示すようになる。このとき、補正成分ｈ（ｘ，ｙ）は、式（２）に示すように、撮影画像ｆ（ｘ，ｙ）とアンシャープ画像との差分となるため、図３（Ａ）中の実線から同図中の破線を減算することで図３（Ｂ）中の実線で表される補正成分を得ることができる。このように算出された補正成分を用いて式（１）の演算を行うことで、図３（Ａ）中に実線で示す撮影画像ｆ（ｘ，ｙ）を図３（Ａ）中に点線で示すように鮮鋭化することができる。

次に、光学系を通した撮像により劣化した撮影画像に対して、アンシャープマスクＵＳＭとして該光学系の点像強度分布関数（以下、ＰＳＦという）を用いるアンシャープマスク処理（補正処理）を行うことにより鮮鋭化画像を得る方法について説明する。

光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は、撮像前の画像（被写体の像）をＩ（ｘ，ｙ）とし、光学系のＰＳＦをｐｓｆ（ｘ，ｙ）とするとき、
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） ・・・（４）
と表すことができる。

ここで、光学系が回転対称な共軸光学系であれば、撮影画像の中心部に対応するＰＳＦは回転対称となる。このため、撮影画像の中心部については回転対称なアンシャープマスクＵＳＭを適用することで撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づけるような鮮鋭化処理を実現することができる。このときの補正量は、撮影画像とアンシャープ画像との差分値となるため、より精度良く補正するためには、アンシャープマスクＵＳＭとして単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用した方がよい。例えば球面収差により画像が劣化した場合は、球面収差をマスクとして用いると、回転対称に影響を与えるが、ガウシアンフィルタ等の平滑化フィルタのように球面収差によるＰＳＦとは分布形状が異なるマスクを用いる場合に比べて精度良く補正を行えるためである。このように、回転対称な劣化（ぼけ）を低減する場合であっても、光学系のＰＳＦをアンシャープマスクＵＳＭとして使用する方が精度良く補正を行うことができる。

このため、後述する実施例１では、アンシャープマスクＵＳＭとしてＰＳＦを用いる。なお、アンシャープマスク処理の説明の際に用いた図３（Ａ）では、撮影画像ｆ（ｘ，ｙ）は対称な形状を有するが、必ずしも対称形状を有さなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が回転非対称であっても、ｐｓｆ（ｘ，ｙ）に相当する劣化関数が回転対称であれば、回転対称なアンシャープマスクＵＳＭを用いた鮮鋭化を行うことができる。

一方、画像の中心部以外の位置については光学系が回転対称な共軸光学系であっても、ＰＳＦは通常は回転非対称な形状となる。図４には、ｘｙ面における光学系のＰＳＦを示しており、図４（Ａ）は軸上のＰＳＦを、図４（Ｂ）は軸外のＰＳＦをそれぞれ示している。例えば、元の画像（被写体）が理想点像であったとすると、上記式（４）から撮影画像ｆ（ｘ，ｙ）は、光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすれば、撮影画像として得られる画像は図４（Ｂ）の形状のようにぼけた画像となる。このように回転非対称にぼけた画像に対してアンシャープマスク処理による鮮鋭化を行う場合について、以下に説明する。

図５および図６には回転非対称に劣化した画像に対するアンシャープマスク処理を示しており、図５は回転対称なアンシャープマスクを用いた場合を、図６は回転非対称なアンシャープマスクを用いた場合をそれぞれ示している。図５（Ａ）および図６（Ａ）中の実線は図４（Ｂ）に示したようにぼけた撮影画像のｙ軸方向の断面を表しており、点線はその撮影画像をアンシャープマスクによりぼかしたアンシャープ画像を表している。図５における回転対称なアンシャープマスクとしてはガウシアンフィルタを用いており、図６の非回転対称なアンシャープマスクとしては光学系のＰＳＦを用いている。また、図５（Ｂ）および図６（Ｂ）はそれぞれ、ｙ軸方向におけるアンシャープ画像と元の撮影画像との差分、すなわち補正成分を示している。ここでは、図５（Ａ）および図６（Ａ）に示す撮影画像のうちＰＳＦによってより大きくぼけて裾が広くなっている方をｙ軸方向におけるプラス側とする。

まず、図５に示す回転対称なアンシャープマスクを用いた場合は、図５（Ａ）中の実線のピーク位置に対してプラス側においてはぼけた画像と元の画像との差分が小さく、マイナス側においてはぼけた画像と元の画像の差分値が大きくなっている。このため、図５（Ｂ）に示す補正成分も、中心のピーク位置に対してプラス側よりマイナス側において極値が小さくなっている。図５（Ａ）と図５（Ｂ）に示した曲線の比較から分かるように、撮影画像のプラス側は補正成分の補正量が小さく、裾が狭いマイナス側は補正量が大きい。このため、図５（Ｂ）に示す補正成分では、式（４）による鮮鋭化を行っても回転非対称なぼけを補正することはできない。例えば、アンシャープマスクを変えずに補正量を調整する方法として、式（４）の調整係数ｍを変更する方法が考えられる。

しかし、撮影画像のプラス側を十分に補正するために調整係数ｍの値を大きくとろうとすると、撮影画像のマイナス側が補正過剰（アンダーシュート）となってしまう。逆に撮影画像のマイナス側の補正量が適切になるように調整係数ｍの値を設定すると、撮影画像のプラス側では十分な補正が行われずに補正不足となる。

このように、回転非対称にぼけた撮影画像に対して回転対称なアンシャープマスクを用いてアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。また、ここでは回転対称なアンシャープマスクとしてガウシアンフィルタを用いた場合について説明したが、他の種類の回転対称なフィルタを用いた場合でも同様な傾向となり、回転非対称にぼけた撮影画像を十分に鮮鋭化することはできない。

一方、図６に示す回転非対称なアンシャープマスクを用いた場合について説明する。この場合は、図６（Ａ）中の実線のピーク位置に対してプラス側においてぼけた画像と元画像との差分が大きく、マイナス側においてぼけた画像と元の画像との差分が大きい。これは、図５（Ａ）とは逆である。このため、図６（Ｂ）に示す補正成分も、中心のピーク位置対してマイナス側よりプラス側において極値が小さくなっている。図６（Ａ）中の実線で示す撮影画像に対して図６（Ｂ）に示す補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方に対する補正量が大きくなり、マイナス側のぼけが小さい方に対する補正量が小さくなる。

したがって、このような回転非対称なアンシャープマスクを用いると、プラス側とマイナス側における撮影画像のぼけの大小と補正成分（補正量）の大小とが一致するため、回転対称なアンシャープマスクを用いる場合に問題となる補正の過不足も起きにくくなる。しかも、回転対称なアンシャープマスクを用いる場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きく設定することができる。このため、非対称性を低減しつつ、より鮮鋭化した画像を得ることができる。以上のことから、実施例においても、フィルタとして、そのフィルタ面内で回転非対称な係数を有するものを用いる。

また、より精度良く補正を行うためには、補正成分（補正量）の大小はぼけた画像と元の画像との差分により決まるため、光学系のＰＳＦによってより大きくぼけた部分がアンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度に良く補正を行うには、アンシャープマスクとして光学系のＰＳＦを用いることが望ましい。

次に、ＰＳＦをアンシャープマスクに用いる像高の位置の求め方について説明する。先に説明したようにＰＳＦは像高の位置によって変化するため、像高に応じてアンシャープマスクや補正成分も変化させなければならない。より精度良く補正を行えるようにするために、像高を細かく分割し、各像高におけるＰＳＦのデータを保持すると、保持すべきデータ量が増加する。このため、実施例では、ＰＳＦのデータを保持する像高（特定像高）を光学系の光学情報（ＰＳＦや収差等の情報）に基づいて選定することで、少ない保持データ量で高精度なアンシャープマスク処理を行えるようにする。

図１７（Ａ）には、ＰＳＦの像高に対する変化を示している。横軸は像高を、縦軸は軸上でのＰＳＦと軸上以外の各像高でのＰＳＦとの平均二乗誤差（ＭＳＥ：Mean Square Error）を示している。この図では、像高を１０分割し、各像高でのＭＳＥを白丸で示している。光学系の性能は基本的には周辺側の方が軸上より劣ることが多いが、必ずしもそうなるとは限らず、中間像高で性能が低下したり逆に中間像高で性能が良くなったりすることもある。

軸上のＰＳＦをＰ_０（ｘ，ｙ）、像高ｉにおけるＰＳＦをＰｉ（ｘ，ｙ）としたとき、軸上と像高ｉにおけるＰＳＦの平均二乗誤差ＭＳＥは以下の式（１１）ように表すことができる。

ただし、ＮはＰＳＦの総分割数を示す。

また、軸上と１０割像高のＰＳＦを用いて線形近似することにより生成したＰＳＦをＰＬｉ（ｘ，ｙ）とすると、軸上のＰＳＦとＰＬｉ（ｘ，ｙ）の平均二乗誤差ＭＳＥは次式（１２）のようになる。

図１７（Ａ）には、式（１２）で示される軸上のＰＳＦとＰＬｉ（ｘ，ｙ）の平均二乗誤差ＭＳＥを黒丸で表している。例えば、１０割像高ＰＳＦをＰ１０（ｘ，ｙ）、５割像高に対応するＰ０（ｘ，ｙ）とＰ１０（ｘ，ｙ）の線形近似により生成したＰＳＦをＰＬ５（ｘ，ｙ）とすると、ＰＬ５（ｘ，ｙ）は以下の式（１３）のようになる。

さらに、式（１２）に式（１３）を代入することで、

となる。この式（１４）から、Ｐ０（ｘ，ｙ）とＰＬ５（ｘ，ｙ）の平均二乗誤差ＭＳＥはＰ０（ｘ，ｙ）とＰ１０（ｘ，ｙ）の平均二乗誤差ＭＳＥの半分となることがわかる。つまり、像高ｉに対応するＰ０（ｘ，ｙ）とＰＬｉ（ｘ，ｙ）の平均二乗誤差ＭＳＥは、図１７（Ａ）に示すように軸上と１０割像高の白丸を結ぶ点線上にプロットされる。

また、軸上から３割像高までの像高領域Ａ、３割像高から５割像高までの像高領域Ｂおよび５割像高から１０割像高までの像高領域Ｃの３つの領域に分割し、４つのＰＳＦから各像高のＰＳＦを線形近似する場合について説明する。図１７（Ａ）より、像高領域Ａでは各像高の白丸と黒丸の間隔（乖離量）が大きく、白丸に対応する実際のＰＳＦは黒丸に対応する軸上と１０割像高のＰＳＦの線形近似により生成したＰＳＦに比べて、より軸上のＰＳＦに近いことが分かる。

一方、実線で示した軸上、３割、５割および１０割像高の４つの像高間の像高領域ごとに線形近似による補間を行う場合は、点線で示した場合に比べて実際のＰＳＦと乖離が少なく、上記４つの特定像高以外の他の像高でのＰＳＦを精度良く補間することが可能となる。このように特定像高の数（像高領域の数）を増やすことで補間精度を向上させることができるが、保持すべきＰＳＦのデータ量をできるだけ少なくするためには特定像高の数をできるだけ少なく選定する必要がある。特定像高の選定方法としては、例えば図１７（Ａ）に示すように、軸上のＰＳＦと像高ｉでの実際のＰＳＦとのＭＳＥと軸上のＰＳＦと線形近似によって生成したＰＳＦとのＭＳＥの差を乖離量ｄｉとする。そして、軸上から１０割像高までのｄｉの和が最小となるような像高ｉを計算し、その最小となる像高ｉを保持するという手法が考えられる。なお、ここでは実際のＰＳＦと近似のＰＳＦについて軸上のＰＳＦに対する相対値としてＭＳＥを求めその差分を乖離量としたが、実際のＰＳＦと近似のＰＳＦのＭＳＥを乖離量として同様の計算を行ってもよい。

図１８のフローチャートには、特定像高の選定処理の具体的な流れを示している。ここでは、特定像高の選定処理をコンピュータ（像高選定手段）がコンピュータプログラムに従って行うものとして説明する。

まずステップＳ０１１では、コンピュータは、ＰＳＦを保持する特定像高の数（以下、特定像高数という）を取得する。特定像高数として最大値のみを設定して、処理の中でその最大値以下の特定像高数を決めるという処理を行ってもよい。ここでは、例として、特定像高数Ｎを４とする。

次にステップＳ０１２では、コンピュータは、特定像高を仮決めする。ステップＳ０１１でＮ＝４と設定したので、ここでは、例えば軸上、３割像高、５割像高および１０割像高を特定像高として仮決めする。ここで仮決めした特定像高は、最適な特定像高を探索するための繰り返し演算を行う際の初期値（初期の選定パターン）として用いられ、繰り返し演算の中で特定像高を変えながら評価することで最適な特定像高を探索する。ここでは、軸上と１０割像高を固定し、３割像高と５割像高を変数として最適な特定像高を探索する。

続いてステップＳ０１３では、コンピュータは、ステップＳ０１２で仮決めした特定像高に基づいて評価関数を計算する。ここでは、図１７（Ａ）に示すように仮決めした特定像高以外の像高については線形近似によって実線を求め、実線と白丸との間隔（乖離量）ｄｉの和をとり、これを評価値とする。なお、図１７（Ａ）では乖離量ｄｉが点線と白丸との間隔を示しているが、本処理では実線と白丸との間隔となる。

次にステップＳ０１４では、コンピュータは、ステップＳ０１３で求めた評価値が最小か否かを判定する。最初の処理では評価関数から得られる評価値は１つしかないため、これが最小値となる。２回目以降の処理で算出された評価値が、すでに算出された評価値よりも小さければステップＳ０１５に移行し、大きければステップＳ０１５をスキップしてステップＳ０１６に移行する。

ステップＳ０１５では、コンピュータは、ステップＳ０１４で評価値が最小値と判定されたため、変数としている特定像高を更新する。複数の特定像高を変数としている場合はそれらを設定し直す。そして、ステップＳ０１６に移行する。

ステップＳ０１６では、コンピュータは、変数としての特定像高の全ての選定パターンにおいて評価値が計算されたか否かを判定する。全ての選定パターンに対して計算が終了していれば、最後のステップＳ０１５にて更新した特定像高を、正式な特定像高として設定し、本処理を終了する。まだ全選定パターンに対して計算が終了していない場合は、コンピュータは、ステップＳ０１２に戻って別の選定パターンで特定像高を選定して再度、ステップＳ０１３〜ステップＳ０１６の処理を繰り返す。

図１７（Ａ）に示す場合は、軸上と１０割像高を固定し、残りの９つの像高の中から２つの像高を選定することになるため、ステップＳ０１２で設定される３６の選定パターンに対してステップＳ０１３〜ステップＳ０１６の処理を繰り返し演算する。なお、図１７（Ａ）に示した例では、軸上から１０割像高までを１割像高間隔で１０分割しているが、これよりも像高分割数を多くしてもよいし減らしてもよいし、軸上から１０割像高までを不等間隔で分割してもよい。

また、評価関数としては、ＭＳＥに限定されず、ピーク信号対雑音比（Peak signal-to-noise ratio：ＰＳＮＲ）等、他の評価関数を用いてもよい。また、ＰＳＦで評価するのではなく、光学系の波面収差や幾何学的な収差で評価を行ってもよい。

このようにして、図１８に示した選定処理を行うことにより、少ない保持データ量で高精度なアンシャープマスク処理を行うために適切（最適）な特定像高を選定することができる。

なお、評価値として、軸上に対する各像高でのＰＳＦ（ＭＳＥ）の乖離量ｄｉの和を用いたが、この評価値のみ用いるだけでは不都合が生じる場合もある。例えば、図１９には、ある光学系における軸上、５割像高および１０割像高でのＰＳＦを示している。この光学系は、コマ収差等の回転非対称な収差を有し、かつコマ収差の向きが像高によって反転する光学系である。図に示すように５割像高と１０割像高でのＰＳＦがちょうど１８０度回転した関係になっている。この場合、図１８で説明した評価値は、軸上のＭＳＥとの差分（乖離量ｄｉ）を用いているために、５割像高と１０割像高とで評価値が等しくなる。また、５割像高と１０割像高とでＰＳＦが等しい場合も評価値が等しくなるので、これらの区別ができない。

このような問題に対する対策としては、軸上と各像高のＰＳＦのＭＳＥだけでなく、例えば１割像高毎にＰＳＦを計算し、ｎ番目の像高とｎ＋１番目の像高のＰＳＦのＭＳＥを計算してプロットしておくとよい。これにより、図１９に示したようにＰＳＦが回転したり反転したりする場合でも、対処することができる。つまり、図１９に示す例であれば、５割像高と１０割像高とで評価値の変化が大きくなり、ＰＳＦの分布の変化を検出することができる。このように、ｎ番目の像高とｎ＋１番目の像高のＰＳＦのＭＳＥと元の軸上と各像高のＰＳＦのＭＳＥという２つの評価関数（指標）を用いることで、より適切な特定像高を導くことができる。

また、こうした評価関数を用いる方法以外の特定像高を選定する方法として、各像高領域のＰＳＦを関数でフィッティングし、該関数の変局点を求め、該変局点に位置する像高を特定像高として保持するようにしてもよい。このような方法を、図１８にて説明した方法と組み合わせて用いてもよい。

次に、実施例におけるデータ補間処理（重み付け合成）について説明する。図１７（Ａ）では、選定した特定像高間（像高領域）のデータについては線形近似による補間（線形補間）を行う場合について説明した。しかし、補間方法は必ずしも線形補間である必要はなく、光学系の性能に合わせて非線形な補間を行うことで、よりデータ量の削減や補正の高精度化を実現することができる。補間するデータの対象としては、上述したＰＳＦだけでなく、フィルタ、アンシャープ画像、補正成分（補正信号）または鮮鋭化画像でもよく、ここでは鮮鋭化画像を補間する場合について説明する。

図１７（Ｂ）では、特定像高として、軸上、５割像高および１０割像高を選定し、軸上から５割像高までの像高領域Ａと５割像高から１０割像高までの像高領域Ｂとを設けている。像高領域Ａは図１７（Ａ）に示した像高領域Ａ，Ｂに相当し、像高領域Ｂは図１７（Ａ）に示した像高領域Ｃに相当する。そして、図１７（Ｂ）では、像高領域Ａでは非線形補間を行い、像高領域Ｂでは図１７（Ａ）と同様に線形補間を行う。

軸上から５割像高までの像高領域Ａにおいて、軸上でのＰＳＦをアンシャープマスクとして用いてアンシャープマスク処理を行うことで生成された鮮鋭化画像をＸａとする。また、５割像高でのＰＳＦをアンシャープマスクとして用いてアンシャープマスク処理を行うことで生成された鮮鋭化画像をＸｂとする。このとき、像高領域Ａにおける鮮鋭化画像Ｘｗは、次式（１０１）により、
Ｘｗ＝ｗ×Ｘｂ＋（１−ｗ）×Ｘａ ・・・（１０１）
と表すことができる。ここで、像高に対応する変数ｈ（０≦ｈ≦１）用いて、重みｗ＝ｈとすると線形補間になる。ｈ＝０のときは軸上の鮮鋭化画像が得られ、ｈ＝０．５のときは２．５割像高に相当する鮮鋭化画像が得られ、ｈ＝１のときは５割像高の鮮鋭化画像が得られる。

一方、図１７（Ｂ）中の像高領域Ａに示すようにＸｗを非線形に変化させる（つまりは補間処理を像高に対して非線形に行う）ためには、次式（１０２）のように、重みｗを、

と冪級数の形で表現するとよい。これにより、あらゆる非線形な補間処理を実現することができる。式（１０２）において、ｃ_ｎは定数項、Ｎは最大の次数であり、これらｃ_ｎ，Ｎをｈ＝１のときｗ＝１になるよう規格化しておく必要がある。例えば、Ｎ＝２、Ｃ_１＝０、Ｃ_２＞０とすればｗは２次関数となり、線形補間する場合と比較して、式（１０１）による中間像高に対応する鮮鋭化画像は全体的に軸上の鮮鋭化画像側にシフトする。特に光学系の性能は基本的に軸上付近性能が良好で、かつ変化が少ないことが多く、ＳＰＦも同様に軸上付近の変化が少なくなる傾向がある。このことから、式（１０１）および式（１０２）による非線形な処理を行うことでより効率的に中間像高に対応する鮮鋭化画像を生成することができる。なお、ｗの表現方法は式（１０２）に示したような冪級数の形に限らず、別の形（多項式）で表現してもよい。

次に、上述した補間処理以外の補間処理であって、光学系の光学特性（特にＰＳＦ）を考慮した補間処理について説明する。図１７（Ｃ）には、１０割像高よりも７割像高付近で光学系の性能が低下し、７割像高から１０割像高にかけて性能が良くなる場合の軸上のＰＳＦに対する各像高のＰＳＦのＭＳＥの変化を示している。ここでは、特定像高は、軸上、７割像高および１０割像高の３つである。

点線で示すように軸上と１０割像高でのＰＳＦからの線形補間により得られたＰＳＦを用いたアンシャープマスク処理により中間の像高に対応する鮮鋭化画像を生成すると、本来のＰＳＦよりも性能が良い光学系のＰＳＦでアンシャープマスク処理を行う結果になる。このため、このアンシャープマスク処理では補正不足となる。

一方、実線は、特定像高は軸上、７割像高および１０割像高の３つの像高で同じであるが、補間方法を工夫することでより実際の光学特性に近い補間処理を実現している。図１７（Ｃ）に実線で示す補間処理では、軸上から１０割像高までを７割像高を境に像高領域Ａと像高領域Ｂに２分割している。そして、像高領域Ａについては、式（１０１）のＸａを軸上の鮮鋭化画像とし、Ｘｂを７割像高の鮮鋭化画像として処理することで、中間像高に対応する鮮鋭化画像を取得できる。

これに対して像高領域Ｂについては、ＸａとＸｂを入れ替えて、Ｘａを７割像高の鮮鋭化画像とし、Ｘｂを軸上の鮮鋭化画像とすることで、特定像高が２つ（軸上と７割像高）であっても図に実線で示すような近似関数を得ることができる。像高領域Ｂにおいて、変数ｗ＝１にすると軸上の鮮鋭化画像が得られる。また、図１７（Ｃ）に示すように、１０割像高に対応する鮮鋭化画像を７割像高と軸上の鮮鋭化画像との間に収めるには、例えば０≦ｗ≦０．５というように、変数の最大値を１よりも小さい値に設定すればよい。

以上、光学特性を考慮した特定像高の算出方法とデータの補間処理方法について説明したが、特定像高の算出方法とデータの補間処理方法は相互依存の関係にあり、互いに独立してどの方法を採用するかを決めるのではなく、前提を統一して決めることが望ましい。例えば、ある像高領域での補間処理を非線形に行うのであれば、特定像高を算出する際の評価関数も非線形関数であることを前提として図１８に示した処理を行うことで、評価の精度がより向上し、より適切な特定像高を選定することができる。

また、補間処理に関して、図１７（Ａ）〜（Ｃ）についての説明では２つの特定像高に対応するデータを用いた補間処理について説明したが、より多くの数の特定像高に対応するデータを用いて補間処理を行ってもよい。３つの特定像高でのデータを用いて補間処理を行う場合には、式（１０１）を次式（１０３）のように変形して補間処理を行えばよい。
Ｘｗ＝ｗ１×Ｘｃ＋ｗ２×Ｘｂ＋（１−ｗ１−ｗ２）×Ｘａ ・・・（１０３）
ここで、式（１０３）中の重みｗ１，ｗ２はそれぞれ式（１０２）のように表され、Ｎ≧２として非線形にしたり、Ｎ＝１として線形に変化させたりすることができる。式（１０３）を用いて補間処理を行うことで、３つの特定像高のデータを用いた補間処理を行うことができる。また、４つの特定像高のデータを用いる場合も同様に項数を増やすことで実現できる。これらによれば、２つの特定像高でのデータを用いる場合に比べて自由度が増えるため、補間精度を向上させることができる。

次に、後述する実施例１〜３において用いるフィルタ、補正信号（補正データ）および実施例１〜３でのアンシャープマスク処理について説明する。

実施例１では、前述した式（１），（２）により導かれる以下の式（５）を用いてアンシャープマスク処理を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝
・・・（５）
実施例２では、前述した式（１），（３）により導かれる以下の式（６）を用いてアンシャープマスク処理を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝
・・・（６）
実施例３では、式（６）をさらに変形した以下の式（７）を用いてアンシャープマスク処理を行う。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝・・・（７）
式（５）から式（７）中のＵＳＭ（ｘ，ｙ）はアンシャープマスクである。

実施例１ではＵＳＭ（ｘ，ｙ）をフィルタとして用い、実施例２ではアンシャープマスク（ＰＳＦ）と理想点像との差分（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））をフィルタとして用いる。

また、実施例３では、アンシャープマスク（ＰＳＦ）と理想点像との差分に調整係数ｍを乗算して、その結果を理想点像に加算したもの｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝、つまりは補正信号をフィルタとして用いる。

図１には、実施例１の撮像装置の構成を示している。撮像装置１００には、その内部に画像処理部（画像処理装置）１０４が設けられている。画像処理部１０４は、コンピュータプログラムとして画像処理プログラムに従って、撮影画像（入力画像）に対して鮮鋭化処理としてのアンシャープマスク処理（画像処理方法）を実行する。

撮像装置１００は、撮像光学系（以下、撮像レンズという）１０１と撮像装置本体（以下、カメラ本体という）とを備えている。撮像レンズ１０１は、絞り１０１ａとフォーカスレンズ１０１ｂとを含む。本実施例では、撮像レンズ１０１がカメラ本体に一体に設けられたレンズ一体型撮像装置について説明するが、撮像装置１００は、撮像レンズ１０１がカメラ本体に対して交換可能に装着されるレンズ交換型撮像装置であってもよい。

撮像素子（撮像手段）１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の二次元光電変換素子である。撮像素子１０２は、撮像レンズ１０１により形成された被写体像（結像光）を光電変換してアナログ電気信号を生成する。撮像素子１０２から出力されたアナログ電気信号は、Ａ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は撮像信号として画像処理部１０４に入力される。

画像処理部１０４は、入力された撮像信号に対して所定の処理を行って撮影画像を生成するとともに、該撮影画像に対するアンシャープマスク処理を行う。まず、画像処理部１０４は、状態検知部１０７から撮影画像を取得するための撮像時における撮像レンズ１０１の状態である撮像条件の情報を取得する。撮像条件は、絞り値や被写体距離（フォーカスレンズ１０１ｂの位置）を含み、撮像レンズ１０１がズームレンズである場合は、その焦点距離を含む。状態検知部１０７は、システムコントローラ１０６から撮像条件の情報を取得してもよいし、撮像レンズ１０１を制御するレンズ制御部１０５から取得してもよい。

画像処理部１０４は、アンシャープマスク処理を行うために、ＰＳＦ選択部２０１、補正信号生成部２０２、補正信号適用部２０３、重み情報取得部２０４および信号合成部２０５を有する。ＰＳＦ選択部２０１は像高選定手段およびＰＳＦ取得手段に相当し、補正信号生成部２０２はフィルタ生成手段およびデータ生成手段に相当する。補正信号適用部２０３はアンシャープマスク処理（補正処理）を行う補正手段に相当する。また、重み情報取得部２０４は重み取得手段に相当し、信号合成部２０５は合成手段に相当する。そして、画像処理部１０４は、アンシャープマスク処理により生成した鮮鋭化画像を所定のフォーマットのデータに変換して画像記録部１０８に保存する。

画像表示部１１２は、鮮鋭化画像に対して所定の表示処理を行って得られた表示用画像を表示する。これまで説明した各部の制御は、システムコントローラ１０６により行われる。撮像レンズ１０１の機械的な駆動の制御は、システムコントローラ１０６の指示に基づいてレンズ制御部１０５により行われる。

撮像レンズ１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ローパスフィルタ等のＰＳＦの特性に影響を与える光学素子を用いる場合は、アンシャープマスクを作成する段階でこの光学素子の影響を考慮することで、より高精度なアンシャープマスク処理が可能である。また、赤外カットフィルタは、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、アンシャープマスクを作成する段階でこの赤外カットフィルタの影響を考慮することが好ましい。

次に、図２のフローチャートを用いて、本実施例におけるアンシャープマスク処理の基本的な流れについて説明する。本処理は、システムコントローラ１０６から指示を受けたコンピュータとしての画像処理部１０４により、前述した画像処理プログラムに従って実行される。

ステップＳ１１において、画像処理部１０４は、撮影画像を入力画像として取得する。

次にステップＳ１２において、ＰＳＦ選択部２０１は、まず図１８に示した処理によって特定像高を選定する。次に、ＰＳＦ選択部２０１は、特定像高に対応する撮像レンズ１０１のＰＳＦに関する情報をメモリ１０９から選択して取得する。このときＰＳＦ選択部２０１が取得するＰＳＦに関する情報は、ＰＳＦを示す２次元タップのデータでもよいし、データ量の圧縮や処理の高速化のためにＰＳＦの構成要素である複数の１次元タップのデータでもよい。また、ＰＳＦに関する情報としてＰＳＦの係数の情報を取得してもよい。以下の説明では、ＰＳＦに関する情報をＰＳＦ情報という。

次にステップＳ１３において、補正信号生成部２０２は、ステップＳ１２にて取得されたＰＳＦ情報を用いてアンシャープマスクおよび補正信号（補正データ）を生成する。

図７および図８には、アンシャープマスクの例を示している。アンシャープマスクは、撮像レンズ１０１の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７には、アンシャープマスクの例として、２次元に配置された１１×１１タップのフィルターサイズを有するアンシャープマスクを示している。図７では、各タップの値（フィルタ係数：以下、タップ値という）を省略しているが、このアンシャープマスクの一断面でのタップ値を図８に示す。アンシャープマスクにおけるタップ値の分布は、収差により広がった信号値（すなわち撮像レンズ１０１のＰＳＦ）の形状に近い分布、すなわち図７中にハッチングして示す中心タップ回りにおいて回転非対称なタップ値分布が理想的である。このようにＰＳＦ情報を用いてアンシャープマスクを生成してもよいし、あるいはＰＳＦ選択部２０１が取得したＰＳＦ情報が示すＰＳＦをそのままアンシャープマスクとして使用してもよい。

補正信号生成部２０２は、続いてアンシャープマスクを用いて補正信号を生成する。この補正信号の生成処理については後に詳しく説明する。

次にステップＳ１４において、補正信号適用部２０３は、ステップＳ１３で補正信号生成部２０２により生成された補正信号を入力画像に適用する。すなわち、入力画像に対するアンシャープマスク処理を実行する。このステップＳ１４での処理の内容については後に詳しく説明する。

ステップＳ１３においてＰＳＦ情報を用いてアンシャープマスクを生成する場合、ＰＳＦは入力画像の像高（画像内の位置）に応じて変化するため、アンシャープマスクも像高に応じて変化させる必要がある。本実施例では、ＰＳＦ情報、入力画像にアンシャープマスクを適用した後のアンシャープ画像、補正信号およびアンシャープマスク処理後の鮮鋭化画像のうちいずれかを複数の特定像高において中間データ（第１のデータ）として取得（生成）する。そして、これら特定像高に対応する中間データを用いて補間処理を行うことで、すべての像高のＰＳＦに対応する中間データを得る。このときの補間処理についても、後に詳しく説明する。

次に、図９のフローチャートを用いて、図２にて説明したアンシャープマスク処理の流れをより詳細に説明する。

まずステップＳ１１１において、画像処理部１０４は、撮影画像を入力画像として取得する。撮影画像のうち実際にアンシャープマスク処理における入力画像として使用するデータは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データを入力画像としてもよいし、ＲＧＢの全てのチャンネルの画像データを入力画像としてもよい。また、デモザイキング前の画像データを入力画像としてもよい。

図１０には、一般的な撮像素子の画素配列として用いられているベイヤー配列を示す。このようなベイヤー配列の撮像素子からの撮像信号に基づいて生成された撮影画像のうち単純に特定チャンネル（例えばＧチャンネル）の画像データを抜き出して入力画像としてもよいし、全てのチャンネルの画像データを入力画像として用いてもよい。また、図１０では、ＧチャンネルをＧ１，Ｇ２の２つのチャンネルに分けている。Ｇチャンネルを２つに分けることで、Ｒ，Ｇ１，Ｇ２，Ｂのそれぞれのチャンネルの画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

続いてステップＳ１１２において、ＰＳＦ選択部２０１は、図１８に示した処理によって特定像高を選定し、さらに特定像高に対応する撮像レンズ１０１のＰＳＦ情報をメモリ１０９から取得する。図２のステップＳ１２で説明したように、取得するＰＳＦ情報は、ＰＳＦを示す２次元タップのデータでもよいし、ＰＳＦの構成要素である複数の１次元タップのデータでもよい。２次元データを複数の１次元データに分解する方法としては、例えば特異値分解定理がある。このような定理を用いて分解された主成分をメモリ１０９に記録しておき、撮像レンズ１０１の撮像条件に応じてＰＳＦの主成分に対応する複数の１次元タップのデータを取得してきてもよい。

また、前述したようにＰＳＦは像高によって変化するため、より精度良くアンシャープマスク処理を行うには、像高に応じたＰＳＦを用いてアンシャープマスクを生成し、このアンシャープマスクを用いて像高に応じた補正信号を生成する必要がある。しかし、メモリ１０９に記録できるデータ容量には限りがあるので、多数の像高のそれぞれに応じたＰＳＦ情報をメモリ１０９に保存しておくのは好ましくない。このため、本実施例では、入力画像を複数の画像領域に分割し、画像領域ごとに少なくとも２つの特定像高でのＰＳＦ情報を用いて補間処理を行う。これにより、特定像高以外の像高に対応するアンシャープマスクまたはアンシャープマスクの適用によりぼけたアンシャープ画像の生成を可能とする。補間処理の方法は、後のステップＳ１１４，Ｓ１１５にて詳しく説明する。

ここで、入力画像の複数の画像領域への分割について説明する。図１１には、入力画像を示している。ここでは、入力画像の長辺方向をｘ軸方向とし、短辺方向をｙ軸方向とし、入力画像の中心を座標の原点としている。本実施例では、入力画像をＡ〜Ｈの８つの画像領域に分割し、原点と各画像領域の周辺部のＰＳＦ情報を取得する。なお、画像領域の分割数は、８つに限られず、撮像時における撮像レンズ１０１の撮像条件や撮像レンズ１０１の光学特性、あるいはメモリのデータ容量等を考慮し決定する必要がある。

次に、ステップＳ１１３において、補正信号生成部２０２は、ステップＳ１１２で取得されたＰＳＦ情報を用いてフィルタリングを行う。本実施例では、ＰＳＦ情報から得られるＰＳＦからアンシャープマスクを生成し（言い換えればＰＳＦをそのままアンシャープマスクとして用い）、入力画像に対して該アンシャープマスクをコンボリューション（畳み込み積分）することでフィルタリングを行う。ステップＳ１１２において取得されたＰＳＦは、それぞれ特定像高である中心像高（軸上）と８つの周辺像高に対応する９つのＰＳＦがある。このため、これら９つのＰＳＦをアンシャープマスクとしてそれぞれ入力画像にコンボリューションすることで、ぼけたアンシャープ画像が９つ得られる。これら９つのアンシャープ画像は、アンシャープマスク処理（補正処理）のための中間データに相当する。

次に、ステップＳ１１４において、重み情報取得部２０４は、メモリ１０９から、後述するステップＳ１１５において行われる像高方向の補間処理にて用いられる重み情報を取得する。重み情報は、式（１０１），（１０２）におけるｗの情報である。

次に、ステップＳ１１５において、信号合成部２０５は、ステップＳ１１４にて取得された重み情報を用いて、ステップＳ１１３で生成された複数（９つ）のアンシャープ画像（第１のデータ）の重み付け合成処理を行う。この重み付け合成処理では、アンシャープ画像の像高方向での補間処理を行う。

ここで、図１２を用いて像高方向の補間処理について説明する。図１１において、原点に対して画像領域Ｃがある方向をｘ軸方向のうち正の側とし、画像領域Ａがある方向をｙ軸方向の正の側とすると、図１２は入力画像のうちｘ，ｙがともに正となる第１象限の領域を示している。ここで、Ｐ０は原点（中心像高）を示し、Ｐ１，Ｐ２，Ｐ３はそれぞれ画像領域Ａ，Ｂ，Ｃにおける周辺像高を示す。ステップＳ１１２においてＰＳＦ選択部２０１がこれら像高（特定像高）Ｐ０，Ｐ１，Ｐ２，Ｐ３のＰＳＦ情報（以下、単にＰＳＦという）を取得したとする。また、図１２において、白丸で示されたＰｎは、画像領域Ｂ内の任意の像高を表している。

任意像高Ｐｎでは、像高Ｐ０と像高Ｐ２のＰＳＦを用いてステップＳ１１３で作成した該任意像高Ｐｎに対するアンシャープマスクを入力画像にフィルタリング（コンボリューション）して中間データとしてのアンシャープ画像を得る。同様に、画像領域Ａ内の任意像高では、像高Ｐ０と像高Ｐ１のＰＳＦを用いて作成した該任意像高に対するアンシャープマスクを入力画像にフィルタリングして中間データとしてのアンシャープ画像を得る。さらに、画像領域Ｃ内の任意像高では、像高Ｐ０と像高Ｐ３のＰＳＦを用いて作成した該任意像高に対するアンシャープマスクを入力画像にフィルタリングして中間データとしてのアンシャープ画像を得る。

ここで、２つの像高での中間データを用いた補間処理によって任意像高Ｐｎでのフィルタリング結果に相当する中間データを生成する方法について説明する。図１２に示すように、画像領域Ｂ内の任意像高Ｐｎまでの原点Ｐ０からの距離がｄ０であり、像高Ｐ２からの距離がｄ２であるとする。また、ステップＳ１１３において、像高Ｐ０，Ｐ２のＰＳＦを用いたフィルタリング結果としてのアンシャープ画像をそれぞれＦ０，Ｆ２とする。このとき、任意像高Ｐｎにおけるデータ（アンシャープ画像）Ｆｎは、
Ｆｎ＝Ｆ０×（１−ｄ０）＋Ｆ２×ｄ２ ・・・（８）
と表される。この式（８）は、前述した式（１０１），（１０２）においてＸａ＝Ｆ０、Ｘｂ＝Ｆ２およびｗ＝ｄ０と設定することで、これら式（１０１），（１０２）と等価となる。また、式（１０２）においてＮ＝１とすれば線形な補間処理が行われ、Ｎ＞１と設定すれば非線形な補間処理が行われる。

この補間処理方法およびＰＳＦを保持する特定像高Ｐ１，Ｐ２，Ｐ３の位置は、先に述べたように、撮像レンズ１０１の光学特性を考慮して選定する。このような補間処理により各画像領域内の任意像高での中間データを生成することができる。この結果、ステップＳ１１３で生成された９つの中間データ（第１のデータ）としてのアンシャープ画像から、全ての像高ごとのＰＳＦに対応する１つの中間データ（第２のデータ）としてのアンシャープ画像（以下、補間アンシャープ画像という）が生成される。

このようにして、像高ごとに異なるＰＳＦから得たアンシャープマスクによる入力画像のフィルタリング結果に相当する補間アンシャープ画像を、限られた数の特定像高のＰＳＦの少ないデータ量のデータを保持するだけで生成することが可能となる。この方法では、全ての像高のＰＳＦを用意して像高ごとのＰＳＦから得たアンシャープマスクで入力画像に対するフィルタリングを行う場合に比べて若干精度が低くなる可能性がある。しかし、保持データ量を大幅に低減したり、処理速度（メモリデータの読み出し速度）を高速化したりすることができる。

なお、像高方向の補間処理について、式（８）は第１象限の画像領域Ｂに関する計算式を示しているが、他の画像領域や他の象限についても同様な演算を行うことにより補間された中間データを作成することができる。

次に、ステップＳ１１６において、補正信号生成部２０２は、ステップＳ１１５で信号合成部２０５により生成された補間アンシャープ画像を用いて最終的な補正データとしての補正信号を生成する。本実施例において、補正信号（補正成分）は式（２）で示されるものであり、入力画像と補間アンシャープ画像の差分をとることで生成される。

次に、ステップＳ１１７において、補正信号適用部２０３は、ステップＳ１１６にて生成された補正信号を入力画像に適用することで、目的とする鮮鋭化画像を生成する。本実施例において、補正信号の適用は、式（１）により、入力画像に対してｍ倍した補正信号を加算することで行う。この際、画像のノイズや鮮鋭化における補正過剰や補正不足を考慮して調整係数ｍの値を決定する。ここで、式（１）は第１項と第２項を加算する形で表現されているが、これは調整係数ｍが負の場合であり、調整係数ｍが正の場合は減算になる。ただし、加算も減算も単に調整係数ｍの符号の違いによるもので、本質的には同じことを意味するため、本実施例でもこれらをまとめて加算という。

このように、本実施例では、アンシャープマスク処理において撮像レンズ１０１のＰＳＦをアンシャープマスクとして用いているため、撮像レンズ１０１の回転非対称なＰＳＦによって劣化した入力画像から、高い精度で鮮鋭化された鮮鋭化画像を得ることができる。

本実施例では、像高方向の補間処理を入力画像に対するアンシャープマスクのフィルタリング後に行う場合について説明した。しかし、像高方向の補間処理を、補正信号に対して行ったり、補正信号を入力画像に適用した後の鮮鋭化画像に対して行ったりしてもよい。以下、これらの場合におけるアンシャープマスク処理をそれぞれ、図１３および図１４に示すフローチャートを用いて説明する。

図１３には、補正信号に対して像高方向の補間処理を行う場合のアンシャープマスク処理の流れを示している。図１３において、図９に示したステップと同じステップには図９と同符号を付して説明に代える。図１３では、図９に示したステップＳ１１４，Ｓ１１５およびＳ１１６に代えて、ステップＳ１２４，Ｓ１２５およびＳ１２６の処理が行われる。

ステップＳ１２４おいて、補正信号生成部２０２は、ステップＳ１１３で生成された複数の特定像高のＰＳＦに対応したアンシャープ画像のそれぞれから複数の中間データとしての補正信号（第１のデータ）を生成する。各補正信号は、前述した式（２）により、入力画像とアンシャープ画像との差分をとることで生成される。

次に、ステップＳ１２５において、重み情報取得部２０４は、次のステップＳ１２６にて像高方向の補間処理を行うための重み情報をメモリ１０９から取得する。

次に、ステップＳ１２６において、信号合成部２０５は、ステップＳ１２４で生成された複数の補正信号とステップＳ１２５で取得された重み情報とを用いて、補正信号の像高方向での補間処理を行う。これにより、最終的な補正データとしての補正信号（第２のデータ）を生成する。このステップＳ１２６で行われる補間処理は、処理対象が補正信号と図９のステップＳ１１５とは異なるが、基本的な処理の流れはステップＳ１１５にて説明したものと同じである。ステップＳ１１５ではＰＳＦをアンシャープマスクとして用い、このアンシャープマスクを入力画像にコンボリューションして得られたアンシャープ画像を像高方向に補間した。これに対して、ステップＳ１２６では、入力画像とアンシャープ画像との差分である補正信号に対して像高方向での補間処理を行う。数式の上では式（２）における「ｆ（ｘ，ｙ）＊ＵＳＭ」を像高方向に補間するのがステップＳ１１５であり、ｈ（ｘ，ｙ）を像高方向に補間するのがステップＳ１２６となる。このため、ステップＳ１１５におけるｆ（ｘ，ｙ）＊ＵＳＭのデータをｈ（ｘ，ｙ）に置き換えることでステップＳ１２６にて補正信号を像高方向に補間する処理を行うことができる。

また、式（１０１），（１０２）で表現すると、Ｘａ，Ｘｂが各像高の補正成分となり、式（１０２）中のｃ_ｎが重み情報となる。このようにして補正信号の補間処理により得られた補正データとしての補正信号を、補正信号適用部２０３は、ステップＳ１２７において入力画像に適用する。ステップＳ１２７における補正信号の適用処理については前述したステップＳ１１７と同じである。

図１４には、入力画像に補正信号を適用して得られた鮮鋭化画像（第１のデータ）に対して像高方向の補間処理を行う場合のアンシャープマスク処理の流れを示している。図１４において、図９に示したステップと同じステップには図９と同符号を付して説明に代える。図１４では、図９に示したステップＳ１１４，Ｓ１１５，Ｓ１１６およびステップＳ１１７に代えて、ステップＳ１３４，Ｓ１３５，Ｓ１３６およびＳ１３７の処理が行われる。なお、図１４の処理では、補正信号適用部２０３がデータ生成手段に相当し、信号合成部２０５が補正手段に相当する。

ステップＳ１３４において、補正信号生成部２０２は、ステップＳ１１３で生成された複数の特定像高のＰＳＦに対応したアンシャープ画像のそれぞれから複数の補正信号を生成する。各補正信号は、前述した式（２）により、入力画像とアンシャープ画像との差分をとることで生成される。

次に、ステップＳ１３５において、補正信号適用部２０３は、ステップＳ１３４で生成された複数の補正信号を入力画像にそれぞれ適用して複数の中間データとしての鮮鋭化画像（第１のデータ）を生成する。ここでは、式（１）により各補正信号を入力画像に適用することで鮮鋭化画像を生成する。

次に、ステップＳ１３６において、重み情報取得部２０４は、次のステップＳ１３７にて像高方向の補間処理を行うための重み情報をメモリ１０９から取得する。

次に、ステップＳ１３７において、信号合成部２０５は、ステップＳ１３５で生成された複数の鮮鋭化画像とステップＳ１３６で取得された重み情報とを用いて、鮮鋭化画像の像高方向での補間処理を行い、目的とする鮮鋭化画像を生成する。このステップＳ１３７で行われる補間処理は、処理対象が鮮鋭化画像と図９のステップＳ１１５とは異なるが、基本的な処理の流れはステップＳ１１５および図１３のステップＳ１２６と同じである。ステップＳ１２６とステップＳ１３７とを比較すると、数式の上では、式（１）におけるｈ（ｘ，ｙ）を像高方向に補間するのがステップＳ１２６であり、ｇ（ｘ，ｙ）を像高方向に補間するのがステップＳ１３７である。また、式（１０１），（１０２）を用いて表現すると、Ｘａ，Ｘｂが各像高のＰＳＦを用いて鮮鋭化した画像となり、式（１０２）中のｃ_ｎが重み情報となる。

本実施例によれば、特定像高でのＰＳＦのデータを用いた像高方向での補間処理を行うことにより、少ない保持データ量でありながらも、光学特性（ＰＳＦ）の像高変化に対応した高精度の鮮鋭化処理（アンシャープマスク処理）を行うことができる。

次に、本発明の実施例２である撮像装置について説明する。本実施例の撮像装置は、画像処理（アンシャープマスク処理）の内容のみが実施例１の撮像装置と異なり、撮像装置の構成は実施例１の撮像装置と共通である。このため、本実施例の撮像装置の構成については説明を省略する。

図１５のフローチャートには、本実施例におけるアンシャープマスク処理の流れを示している。本実施例でも、システムコントローラ１０６の指示を受けた画像処理部１０４が画像処理プログラムに従って本処理を行う。

本実施例は、補正信号の生成方法において実施例１と異なる。具体的には、実施例１では式（２）により補正信号を生成したのに対して、本実施例では式（３）により補正信号を生成する。なお、ステップＳ２１１とステップＳ２１２は、実施例１（図９，図１３および図１４）のステップＳ１１１とステップＳ１１２と同じであり、これらの説明は省略する。

ステップＳ２１３において、補正信号生成部２０２は、理想点像とステップＳ２１２でＰＳＦ選択部２０１が選択した特定像高のＰＳＦのそれぞれとの差分をとることで複数のフィルタを生成する。

次に、ステップＳ２１４において、補正信号生成部２０２は、ステップＳ２１３にて生成した複数のフィルタをそれぞれ入力画像に対してコンボリューションすることで複数の補正信号を生成する。

次に、ステップＳ２１５において、重み情報取得部２０４は、次のステップＳ２１６にて像高方向の補間処理を行うための重み情報をメモリ１０９から取得する。

次に、ステップＳ２１６において、補正信号生成部２０２は、ステップＳ２１４で生成した複数の補正信号とステップＳ１２５で取得した重み情報とを用いて、補正信号の像高方向での補間処理を行う。このステップＳ２１６および次のステップＳ２１７の処理は、図１３にて説明したステップＳ１２６およびステップＳ１２７の処理と同じであるため、これらの詳細な説明は省略する。本実施例でも、特定像高や補間方法については先に説明したように撮像レンズ１０１の光学特性を考慮して選定する。

以上の処理を行うことで、式（６）によるアンシャープマスク処理を行うことができる。

なお、像高方向の補間処理については、実施例１で説明したように、補正信号に対して行ってもよいし、補正信号を入力画像に適用した後の鮮鋭化画像に対して行ってもよい。

次に、本発明の実施例３である撮像装置について説明する。本実施例の撮像装置は、画像処理（アンシャープマスク処理）の内容のみが実施例１の撮像装置と異なり、撮像装置の構成は実施例１の撮像装置と共通である。このため、本実施例の撮像装置の構成については説明を省略する。

図１６のフローチャートには、本実施例におけるアンシャープマスク処理の流れを示している。本実施例でも、システムコントローラ１０６の指示を受けた画像処理部１０４が画像処理プログラムに従って本処理を行う。

本実施例は、補正信号の生成方法および補正信号の入力画像に対する適用方法が実施例１，２と異なる。具体的には、本実施例では、式（７）によって補正信号を生成し、入力画像に対してこの補正信号を適用する。このため、図１６のフローチャートにおいて、ステップＳ３１３（補正信号の生成）およびステップＳ３１４（補正信号の適用）が実施例１，２とは異なる。なお、ステップＳ３１１とステップＳ３１２は、実施例１（図９，図１３および図１４）のステップＳ１１１とステップＳ１１２と同じであり、これらの説明は省略する。

ステップＳ３１３において、補正信号生成部２０２は、ステップＳ３１２で選択した複数の特定像高のＰＳＦのそれぞれをそのままアンシャープマスクとして用い、式（７）の中括弧内の部分に相当する複数の補正信号を生成する。なお、本実施例では、補正信号生成部２０２が生成する補正信号はフィルタと等価となる。

次に、ステップＳ３１４において、補正信号適用部２０３は、ステップＳ３１３において生成された複数の補正信号（フィルタ）のそれぞれを入力画像に対してコンボリューションすることで複数の中間データとしての鮮鋭化画像（第１のデータ）を生成する。このように、本実施例では、予め撮像レンズ１０１のＰＳＦをアンシャープマスクとして用いて生成したフィルタとしての補正信号を、入力画像に対して一度だけコンボリューションすることで鮮鋭化画像を生成することができる。

ステップＳ３１５（重み情報の取得）およびステップＳ３１６（信号の合成）については、図１４にて説明したステップＳ１３６およびステップＳ１３７と同じであるため、これらの詳しい説明は省略する。本実施例でも、図１４にて説明した処理と同様に、信号合成部２０５での重み付け合成（補間処理）により目的とする鮮鋭化画像（第２のデータ）が得られる。

本実施例でも、特定像高や補間方法については先に説明したように撮像レンズ１０１の光学特性を考慮して選定する。

以上の処理を行うことで、式（７）によるアンシャープマスク処理を行うことができる。

上記各実施例では、画像処理装置としての画像処理部１０４が撮像装置に組み込まれている場合について説明したが、画像処理装置を、パーソナルコンピュータ等、撮像装置とは別の装置として構成してもよい。この場合、画像処理装置は、撮像装置にて取得された撮影画像を、半導体メモリ等の記憶媒体やインターネット，ＬＡＮ等の通信を介して入力画像として取得し、該入力画像に対するアンシャープマスク処理を行う。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像レンズ
１０４ 画像処理部
２０１ ＰＳＦ選択部
２０２ 補正信号生成部
２０３ 補正信号適用部
２０４ 重み情報取得部
２０５ 信号合成部

Claims (12)

1. 光学系を通した撮像により生成された入力画像に対して鮮鋭化のための補正処理を行って鮮鋭化画像を生成する画像処理装置であって、
   前記撮像に際しての前記光学系の状態である撮像条件に応じた前記光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得するＰＳＦ取得手段と、
   前記点像強度分布関数に関する情報を用いて前記複数の特定像高のそれぞれに対応する複数のフィルタを生成するフィルタ生成手段と、
   前記入力画像に対して前記複数のフィルタをそれぞれ適用して複数の第１のデータを生成するデータ生成手段と、
   像高に応じた重み情報を取得する重み取得手段と、
   前記重み情報を用いて前記複数の第１のデータの重み付け合成を行って、前記補正処理に用いられるデータである又は前記鮮鋭化画像である第２のデータを生成する合成手段とを有することを特徴とする画像処理装置。
2. 前記フィルタ生成手段は、前記複数の特定像高での点像強度分布関数のそれぞれから前記複数のフィルタを生成し、
   前記データ生成手段は、前記入力画像に対して前記複数のフィルタをそれぞれ畳み込み積分して前記複数の第１のデータを生成し、
   該装置は、前記補正処理において、前記第２のデータを用いて生成した補正データを前記入力画像に対して加算して前記鮮鋭化画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ生成手段は、前記複数の特定像高での前記点像強度分布関数のそれぞれと理想点像との差分を用いて前記複数のフィルタを生成し、
   前記データ生成手段は、前記入力画像に対して前記複数のフィルタをそれぞれ畳み込み積分して前記複数の第１のデータを生成し、
   該装置は、前記補正処理において、前記第２のデータを用いて生成した補正データを前記入力画像に対して加算して前記鮮鋭化画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記フィルタ生成手段は、前記複数の特定像高での点像強度分布関数のそれぞれと理想点像との差分に対して調整係数を乗算して、その乗算により得られた結果を前記理想点像に加算することによって前記複数のフィルタを生成し、
   前記データ生成手段は、前記入力画像に対して前記複数のフィルタを畳み込み積分して前記複数の第１のデータを生成し、
   該装置は、前記補正処理において、前記複数の第１のデータの前記重み付け合成により前記第２のデータとしての前記鮮鋭化画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記特定像高を前記光学系の光学情報に基づいて選定する像高選定手段を有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記ＰＳＦ取得手段は、前記複数の特定像高での点像強度分布関数に関する情報を記憶した記憶手段から該情報を取得することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記点像強度分布関数は回転非対称な形状を有し、
   前記フィルタは、２次元に配置された複数のタップを有し、該複数のタップの値が該フィルタの中心タップ回りにおいて回転非対称であることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記合成手段は、前記重み付け合成において、前記重み情報に応じて前記複数の第１のデータを像高に対して非線形に合成する特徴とする請求項１から７のいずれか一項３に記載の画像処理装置。
9. 前記合成手段は、前記重み付け合成において、前記第２のデータのうち前記特定像高とは異なる他の像高に対応するデータを、少なくとも２つの前記特定像高から前記他の像高までの距離に応じた補間処理によって生成することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 光学系を通して撮像を行う撮像手段と、
    該撮像手段により取得された前記入力画像に対して前記補正処理を行う請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. 光学系を通した撮像により生成された入力画像に対して鮮鋭化のための補正処理を行って鮮鋭化画像を生成する画像処理方法であって、
    前記撮像に際しての前記光学系の状態である撮像条件に応じた前記光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得し、
    前記点像強度分布関数に関する情報を用いて前記複数の特定像高のそれぞれに対応する複数のフィルタを生成し、
    前記入力画像に対して前記複数のフィルタをそれぞれ適用して複数の第１のデータを生成し、
    像高に応じた重み情報を取得し、
    前記重み情報を用いて前記複数の第１のデータの重み付け合成を行って前記補正処理に用いられるデータまたは前記鮮鋭化画像である第２のデータを生成することを特徴とする画像処理方法。
12. コンピュータに、光学系を通した撮像により生成された入力画像に対して鮮鋭化のための補正処理を行わせて鮮鋭化画像を生成させるコンピュータプログラムであって、
    前記コンピュータに、
    前記撮像に際しての前記光学系の状態である撮像条件に応じた前記光学系の点像強度分布関数であって複数の特定像高での点像強度分布関数に関する情報を取得させ、
    前記点像強度分布関数に関する情報を用いて前記複数の特定像高のそれぞれに対応する複数のフィルタを生成させ、
    前記入力画像に対して前記複数のフィルタをそれぞれ適用することにより複数の第１のデータを生成させ、
    像高に応じた重み情報を取得させ、
    前記重み情報を用いた前記複数の第１のデータの重み付け合成により、前記補正処理に用いられるデータまたは前記鮮鋭化画像である第２のデータを生成させることを特徴とする画像処理プログラム。