JP2019204225A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ノイズの増幅を抑制しつつ、撮像光学系の点像強度分布関数に起因する画質劣化を補正する技術を提供する。【解決手段】撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理手段を備え、前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づくことを特徴とする画像処理装置を提供する。【選択図】図１０

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

情報のデジタル化により画像を信号値として扱うことが可能になった。これに伴い、撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像した場合、得られた画像は、特に撮像光学系の収差によって画質劣化（画像のぼけ）を伴う。画像のぼけは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけは、無収差で回折の影響もないと仮定した場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいる状態に相当する。画像のぼけ成分は、光学的には点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）により生じる成分である。

従来、入力画像をぼかした画像と入力画像との差分を入力画像に加算又は減算することにより入力画像を鮮鋭化するアンシャープマスク処理が知られている。特許文献１では、像高方向の画素信号列に対して非対称な１次元のフィルタを適用することにより光学系の点像強度分布関数の影響を低減する方法が提案されている。

特許第４６１８３５５号公報

アンシャープマスクとして回転対称なフィルタを利用する従来のアンシャープマスク処理では、非対称収差やサジタルハロのような複雑な形状のＰＳＦの影響を受けて劣化した画像を鮮鋭化により補正することは困難である。即ち、収差が大きく発生しているアジムス方向の収差を補正する場合、収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差を十分に補正できない。

特許文献１の方法では、メリジオナル面のアジムス方向である像高方向への非対称性しか考慮しておらず、フィルタは１次元であるため、像高方向以外の方向への非対称性を改善することができない。また、フィルタは、マイナスタップ係数の個数で非対称性が調整され、光学系のＰＳＦのぼけ方とは異なるため、十分に画像を鮮鋭化することができない。

また、回転対称なフィルタを利用する従来のアンシャープマスク処理では、補正の強さを制御することは行われているが、各周波数に対するバランスの制御は考慮されていない。そのため、鮮鋭化の効果を上げるために補正を強めると、特に高周波側でノイズが増幅される。反対に、補正を弱めると、ノイズの問題は緩和されるものの鮮鋭化の効果が低減する。

本発明はこのような状況に鑑みてなされたものであり、ノイズの増幅を抑制しつつ、撮像光学系の点像強度分布関数に起因する画質劣化を補正する技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理手段を備え、前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づくことを特徴とする画像処理装置を提供する。

本発明によれば、ノイズの増幅を抑制しつつ、撮像光学系の点像強度分布関数に起因する画質劣化を補正することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

アンシャープマスク処理（画像鮮鋭化処理）による補正の概念図。 撮像光学系のＰＳＦの概念図。 非対称に劣化した画像に対して回転対称なガウシアンフィルタを用いるアンシャープマスク処理による補正の概念図。 非対称に劣化した画像に対して回転非対称な撮像光学系のＰＳＦを適用するアンシャープマスク処理の概念図。 式１０の括弧｛｝の絶対値を示す図。 アンシャープマスク処理による補正前後の振幅成分ＭＴＦの変化を示す図。 式７の（１−Ｕ（ｕ，ｖ））の周波数特性の例を示す図。 ローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図。 画像処理装置の一例である撮像装置１００の構成を示す図。 撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理のフローチャート。 ベイヤー配列の模式図。 ローパスフィルタ取得部１１２が取得するローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図。 異なる撮影条件における撮像光学系のＭＴＦの例を示す図。 （ａ）ＰＳＦ（ｘ，ｙ）及びローパスフィルタＬＰＦ（ｘ，ｙ）の一例として１５×１５タップの２次元のフィルタを表す図、（ｂ）図１４（ａ）のＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）の断面図。 入力画像の模式図。 図１５の第１象限を拡大した図。 式１５に示す演算方法を実現するための画像処理部１０４の構成を示す図。 式１５に示す演算方法による補正処理のフローチャート。 式２７により生成した補正フィルタのゲインの例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
最初に、本実施形態の画像補正処理の原理を説明する。図１は、アンシャープマスク処理（画像鮮鋭化処理）による補正の概念図である。図１において、横軸は座標を示し、縦軸は画素値又は輝度値を示す。図１（Ａ）において、実線は入力画像を示し、破線は入力画像をぼかした画像（ボケ画像）を示し、点線は鮮鋭化後の画像を示す。図１（Ｂ）は、補正成分を表す。

入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の補正画像ｇ（ｘ，ｙ）は以下の式１で表される。

g(x,y)=f(x,y)+m×h(x,y) ・・・(1)

ここで、ｍは補正の強さを変化させるための調整係数である。調整係数ｍを変化させることで補正量を調整することができる。なお、調整係数ｍは、入力画像の位置によらない定数であってもよいし、入力画像の位置に応じて変化させてもよい。調整係数ｍを入力画像の位置に応じて異ならせることで、入力画像の位置に応じて補正量を調整することができる。また、調整係数ｍは、光学系の焦点距離、絞り値、又は被写体距離といった撮影条件に応じて異なる数であってもよい。また、式１は第１項と第２項を加算する形で表されるが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は、式１は第１項と第２項を減算する形で表される。

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクにおけるボケ画像生成フィルタをＵＳＭ（ｘ，ｙ）とすると、以下の式２で表される。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

h(x,y)=f(x,y)-f(x,y)*USM(x,y) ・・・(2)

ここで、「＊」はコンボリューション（畳み込み積分、積和）を意味する。

式２の右辺を変形すると、補正成分ｈ（ｘ，ｙ）は以下の式３で表される。

h(x,y)=f(x,y)*(δ(x,y)-USM(x,y)) ・・・(3)

ここで、「δ」はデルタ関数（理想点像）である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく、中心の値が１でそれ以外が０で埋まっているデータである。

以下、補正成分ｈ（ｘ，ｙ）の生成について説明する。一般的なアンシャープマスク処理では、ボケ画像生成フィルタとしてガウシアンフィルタ、メディアンフィルタ、又は移動平均フィルタ等の平滑化フィルタが使用される。例えば、図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）に対してＵＳＭ（ｘ，ｙ）としてガウシアンフィルタを適用する場合、入力画像ｆ（ｘ，ｙ）は図１（Ａ）の破線で示されるボケ画像となる。補正成分ｈ（ｘ，ｙ）は、式２に示されるように入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であり、図１（Ａ）の実線から図１（Ａ）の破線を減算することで図１（Ｂ）の実線で表される補正成分ｈ（ｘ，ｙ）が得られる。入力画像ｆ（ｘ，ｙ）は、式１の演算を行うことで、図１（Ａ）の点線で示される鮮鋭化後の補正画像ｇ（ｘ，ｙ）となる。

以下、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を行うことで画像を補正する方法について説明する。

撮像光学系を介して取得される入力画像ｆ（ｘ，ｙ）は、撮影前の元の画像（被写体像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数であるＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式４で表される。

f(x,y)=I(x,y)*psf(x,y) ・・・(4)

撮像光学系が回転対称な共軸光学系である場合、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部に対して回転対称なＵＳＭ（ｘ，ｙ）を適用することで、入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分ｈ（ｘ，ｙ）は入力画像ｆ（ｘ，ｙ）とボケ画像の差分値であるため、ＵＳＭ（ｘ，ｙ）として単純な平滑化フィルタではなく、ＰＳＦに近い形状のフィルタを使用することで入力画像ｆ（ｘ，ｙ）を精度良く補正することができる。例えば、球面収差の影響で入力画像が劣化する場合、球面収差は入力画像に回転対称に影響を与えるが、ガウシアンフィルタのような平滑化フィルタは、球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、入力画像が回転対称にぼける影響を低減する場合、ＰＳＦを使用することで入力画像を精度良く補正することができる。

本実施形態では、ＵＳＭ（ｘ，ｙ）としてＰＳＦを用いる。図１（Ａ）の実線で示される入力画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状としているが、非対称な形状であってもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）の劣化関数が回転対称であれば、回転対称なＵＳＭ（ｘ，ｙ）を用いて鮮鋭化を行うことができる。

画像の中心部以外では、撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図２は、撮像光学系のＰＳＦの概念図である。図２（Ａ）は軸上のＰＳＦを表し、図２（Ｂ）は軸外のＰＳＦを表す。例えば、元の画像（被写体像）が理想点像である場合、入力画像ｆ（ｘ，ｙ）は、式４に示されるように、撮像光学系のＰＳＦになる。図２（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体像）が劣化する場合、入力画像ｆ（ｘ，ｙ）として得られる画像は、図２（Ｂ）に示されるように、ぼけた画像となる。

以下、非対称にぼけた画像に対して、アンシャープマスク処理による補正を行う場合について説明する。図３は、非対称に劣化した画像に対して回転対称なガウシアンフィルタを用いるアンシャープマスク処理による補正の概念図である。図４は、非対称に劣化した画像に対して回転非対称な撮像光学系のＰＳＦを適用するアンシャープマスク処理の概念図である。図１において、横軸は座標を示し、縦軸は画素値又は輝度値を示す。図３（Ａ）及び図４（Ａ）において、実線は入力画像を表し、破線は入力画像をぼかした画像（ボケ画像）を表す。図３（Ｂ）及び図４（Ｂ）は、入力画像とボケ画像の差分値である補正成分を表す。図３及び図４の横軸では、ボケ画像のうち、よりぼけて裾野が広くなっている側を便宜的にプラス側と表現し、その反対側をマイナス側と表現する。

図３（Ａ）では、実線のピーク位置に対してマイナス側の入力画像とボケ画像の差分値が、プラス側の入力画像とボケ画像の差分値より大きい。そのため、図３（Ｂ）に示されるように、ピーク位置に対してマイナス側の補正成分の極値は、プラス側の補正成分の極値に比べて小さい。即ち、プラス側の補正成分が小さく、マイナス側の補正成分は大きいため、式１を用いてアンシャープマスク処理を行っても非対称なボケを補正できない。図３（Ｃ）は、式１の調整係数ｍが１である場合の補正後の画像を表す。補正後の画像は、図３（Ｃ）に示されるように、図３（Ａ）の実線で示される入力画像に対して鮮鋭化されているが、マイナス側の領域がプラス側の領域に比べて大きく凹んでおり、非対称なボケは補正されていない。また、入力画像のプラス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のマイナス側の領域は補正過剰（アンダーシュート）になる。入力画像のマイナス側の領域を適切に補正するように調整係数ｍを設定すると、入力画像のプラス側の領域は補正不足になる。

以上説明したように、非対称にぼけた入力画像に対して回転対称なＵＳＭ（ｘ，ｙ）を適用してアンシャープマスク処理を行う場合、入力画像の非対称性を改善することは困難である。このような問題は、ガウシアンフィルタ以外の回転対称なフィルタを使用する場合でも発生する。

図４（Ａ）では、実線のピーク位置に対してプラス側の入力画像とボケ画像の差分値が、マイナス側の入力画像とボケ画像の差分値より大きい。そのため、図４（Ｂ）に示されるように、ピーク位置に対してプラス側の補正成分の極値は、マイナス側の補正成分の極値に比べて小さい。即ち、ボケ量が大きいプラス側の補正成分は大きく、ボケ量の少ないマイナス側の補正成分は小さくなっている。従って、図４（Ａ）の実線で示される入力画像に対してアンシャープマスク処理を行うと、入力画像のボケのバランスと補正成分の補正量のバランスの傾向が一致するため、補正の過不足も起きにくい。

図４（Ｃ）は、式１の調整係数ｍが１である場合の補正後の画像を表す。補正後の画像は、図４（Ｃ）に示されるように、図４（Ａ）の実線で示される入力画像に対して補正されるとともに、図３（Ｃ）の補正後の画像に比べてマイナス側の領域とプラス側の領域の凹みのバランス差が改善されている。また、回転対称なＵＳＭ（ｘ，ｙ）を適用する場合と比べて、補正過剰になりにくくなるため、調整係数ｍの値も比較的大きく変化させることできる。そのため、補正後の画像は、非対称なボケが低減されるとともにより鮮鋭化される。

また、補正成分の補正量のバランスは入力画像とボケ画像の差分値となるため、より精度良くアンシャープマスク処理を行うためには、撮像光学系のＰＳＦによって大きくぼけた領域がＵＳＭ（ｘ，ｙ）によって他の領域に比べてよりぼかされる必要がある。従って、ＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用することで、より精度良くアンシャープマスク処理を行うことができる。

以下、アンシャープマスク処理の周波数特性の制御について説明する。式１をフーリエ変換して周波数面での表示形式に変換すると、式１は以下の式５で表される。

G(u,v)=F(u,v)+m×H(u,v) ・・・(5)

ここで、Ｈ（ｕ，ｖ）は補正成分ｈ（ｘ，ｙ）のフーリエ変換であり、Ｇ（ｕ，ｖ）及びＦ（ｕ，ｖ）はそれぞれ補正後の画像ｇ（ｘ，ｙ）及び入力画像ｆ（ｘ，ｙ）のフーリエ変換である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。

式２をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式６で表される。

H(u,v)=F(u,v)-F(u,v)×U(u,v) ・・・(6)

ここで、Ｕ（ｕ，ｖ）は、ボケ画像生成フィルタであるＵＳＭ（ｘ，ｙ）のフーリエ変換である。

また、式３をフーリエ変換することで、補正成分ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）は、以下の式７で表される。

H(u,v)=F(u,v)×(1-U(u,v)) ・・・(7)

補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式５に式６を代入することで、以下の式８で表される。

G(u,v)=F(u,v)+m×{F(u,v)-F(u,v)×U(u,v)} ・・・(8)

また、補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、式５に式７を代入することで、以下の式９で表される。

G(u,v)=F(u,v)+m×F(u,v)×{1-U(u,v)} ・・・(9)

ここで、式９は、以下の式のように変形される。

G(u,v)=F(u,v)×{1+m×(1-U(u,v))} ・・・(10)

式８から式１０は、処理する順序等が異なるものの、数式の変形により導出できるため、いずれも等価な関係にある。式１０の括弧｛｝の部分は、アンシャープマスク処理前後の周波数特性の変化に対応する。即ち、式１０の括弧｛｝の絶対値は、アンシャープマスク処理で使用するフィルタのゲイン（鮮鋭化度合い）であり、アンシャープマスク処理の周波数空間における補正効果を表す。

図５は、式１０の括弧｛｝の絶対値を示す図である。図５において、横軸は空間周波数を示し、縦軸はゲインを示す。図５では、点線は調整係数ｍが０．５である場合を表し、高周波側ではゲインＧａが１．５に漸近する。破線は調整係数ｍが１．０である場合を表し、高周波側ではゲインＧａが２．０に漸近する。図５の実線については後で説明する。

ボケ画像生成フィルタＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用する場合、ＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）となる。

図６は、アンシャープマスク処理による補正前後の振幅成分ＭＴＦの変化を示す図である。図６において、一点鎖線は補正前の振幅成分ＭＴＦを表し、点線と破線はそれぞれ図５の点線と破線に対応する補正後の振幅成分ＭＴＦを表す。図６の実線については後で説明する。

振幅成分ＭＴＦは、収差による画像劣化の振幅成分の周波数特性であり、図６に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部及び虚部はゼロに近づき、撮像光学系で解像できる周波数を超えると実部及び虚部は０となる。このとき、ゲインＧａは式１０より（１＋ｍ）となる。そのため、ＵＳＭ（ｘ，ｙ）として撮像光学系のＰＳＦを利用した場合でも、ゲインＧａは図５の点線や破線で示される高周波側で増加する曲線となる。なお、軸外のＰＳＦは回転非対称となるため、ゲインＧａも回転非対称となる。ゲインＧａはＰＳＦが回転対称の場合はどの方向（断面）でも一定となるが、回転非対称な場合は方向によって異なる。また、所定の周波数でゲインＧａはＧａ＞（１＋ｍ）となる場合もある。

以上説明したように、ボケ画像生成フィルタＵＳＭ（ｘ，ｙ）としてガウス分布のような回転対称なフィルタを利用する場合であっても、撮像光学系のＰＳＦを利用する場合であっても、基本的にゲインＧａは低周波側から高周波側にかけて増加する曲線となる。図５に示されるように、調整係数ｍが異なる場合、高周波側でゲインＧａに差が生じるものの、補正後の振幅成分ＭＴＦは周波数ｆｒにおいて差が最大となる。これは、図６の一点鎖線で示される補正前の振幅成分ＭＴＦに図５に示されるゲインＧａが掛け合わされて補正後の振幅成分ＭＴＦとなるためである。補正前の振幅成分ＭＴＦが低い場合、ゲインＧａが大きくても補正による振幅成分ＭＴＦの変化は小さくなる。

図５の点線と破線を比較すると、破線の方が点線を上回っているため補正効果は大きい。しかし、アンシャープマスク処理を適用する入力画像にはノイズ成分が含まれているため、実際にはノイズ成分の影響を考慮する必要がある。入力画像のノイズ成分を考慮すると、式１０は、以下の式１１で表される。

G(u,v)=(F(u,v)+N(u,v))×{1+m×(1-U(u,v))｝ ・・・(11)

ここで、Ｎ（ｕ，ｖ）は、ノイズ成分である。式１１から理解できるように、ノイズ成分を含む入力画像に対してアンシャープマスク処理を行うと、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）とノイズ成分Ｎ（ｕ，ｖ）の両方に括弧｛｝の部分がかかる。また、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）は、式４をフーリエ変換することで取得され、撮影前の元の画像Ｉ（ｘ，ｙ）のフーリエ変換と撮像光学系のＯＴＦの積である。振幅成分ＭＴＦがゼロに近づく高周波側では、ＯＴＦの実部及び虚部はゼロに近づくため、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）も同様にゼロに近づく。

一方、ノイズ成分Ｎ（ｕ，ｖ）は、例えばホワイトノイズのようなノイズ成分であれば、基本的に周波数に依存することなく一様な分布となる。従って、高周波側では、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）に対するノイズ成分Ｎ（ｕ，ｖ）の割合が大きくなる。そのため、ノイズ成分を含む入力画像に対して高周波側に大きなゲインをかけると、補正効果はあまり得られないにも関わらず、ノイズ成分は大きく増幅される。そのため、観賞用画像として良好な画像を得るためには、補正効果よりもノイズ成分の影響が大きい高周波側でのゲインはできる限り小さくする必要がある。

そこで、本実施形態では、観賞用画像として良好な画像を得るために、図５において実線で示すように、補正効果よりノイズ成分に対する影響が大きい高周波側ではゲインＧａを小さくし、ノイズ成分の影響が小さい低周波側ではゲインＧａを大きくする。

ところで、アンシャープマスク処理では、前述したように、調整係数ｍを変化させることでゲインＧａを制御することができる。しかしながら、調整係数ｍによる補正量の調整では、空間周波数に対して一律に補正量を制御することはできるものの、図５の実線のように低周波側のゲインＧａを大きく、高周波側のゲインＧａを小さくすることはできない。そこで、本実施形態では、以下に説明する方法によりゲインＧａを制御する。

式７において画像のノイズ成分の影響を考慮すると、補正成分は以下の式１２で表される。

H(u,v)=(F(u,v)+N(u,v))×(1-U(u,v)) ・・・(12)

ここで、図７は、式１２の（１−Ｕ（ｕ，ｖ））の周波数特性の例を示す図である。（１−Ｕ（ｕ，ｖ））は、低周波側から高周波側にかけて増加する曲線であり、ハイパスフィルタの特性を示す。式１２において、ノイズ成分Ｎ（ｕ，ｖ）に（１−Ｕ（ｕ，ｖ））がかかることで、補正成分Ｈ（ｕ，ｖ）は高周波側が増幅されたノイズ成分を含むことになる。この増幅されたノイズ成分を含む補正成分が、アンシャープマスク処理では式１で表したように入力画像に加算されることで、補正後の画像にノイズ増加が発生する。

本実施形態では、このような補正成分に含まれるノイズ成分を抑制するために、補正成分にローパスフィルタＬＰＦ（ｘ，ｙ）をかける。このときの補正成分ｈ（ｘ，ｙ）は以下の式１３で表される。式１３は、式３のローパスフィルタＬＰＦ（ｘ，ｙ）を適用したものに相当する。

h(x,y)=f(x,y)*(δ(x,y)-USM(x,y))*LPF(x,y) ・・・(13)

ここで、図８は、ローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す図である。このようなローパスフィルタを補正成分に適用することで、補正成分中のノイズ成分を抑制することができる。

ローパスフィルタＬＰＦ（ｘ，ｙ）のフーリエ変換をＬ（ｕ，ｖ）とすると、補正後の画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）は、以下の式１４で表される。

G(u,v)=F(u,v)×{1+m×(1-U(u,v))×L(u,v)} ・・・(14)

ここで、式１４に基づくアンシャープマスク処理を実行した後の振幅成分ＭＴＦは図６の実線で表され、式１４に基づくゲインＧａは図５の実線で表される。

本実施形態では、ローパスフィルタを撮像光学系の特性に基づいて決定することで、補正効果とノイズ抑制のバランスを制御する。例えば、高周波側でＭＴＦがゼロに近い周波数帯域では、ゲインをかけて補正しても補正効果はほとんどなく、ノイズ成分の増幅だけが発生する。従って、その周波数帯域で振幅を下げるローパスフィルタを使用することで、補正効果を維持し、ノイズ成分の増幅を抑制することが可能になる。

本実施形態におけるアンシャープマスク処理の基本式は、式１と式１３から導かれる以下の式１５で表される。なお、本実施形態ではＵＳＭ（ｘ，ｙ）としてＰＳＦを用いるため、式１５以降の式では、ＵＳＭ（ｘ，ｙ）をＰＳＦ（ｘ，ｙ）に置き換えている。

g(x,y)=f(x,y)+m×{f(x,y)*(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(15)

また、式１５は、式１６又は式１７に変形することができる。

g(x,y)=f(x,y)+m×{f(x,y)*LPF(x,y)-f(x,y)*PSF(x,y)*LPF(x,y)}・・・(16)
g(x,y)=f(x,y)*{δ(x,y)+m×(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(17)

なお、ＰＳＦは、光学系を介して形成される像の像高、光学系の焦点距離、Ｆ値、及び被写体距離を含む撮影条件ごとに異なる。以下では撮影条件として像高を例に説明を行っているが、光学系の焦点距離、Ｆ値、及び撮影距離に応じて異なる収差情報を取得し、それに基づいてボケ画像生成フィルタを生成してもよい。

次に、図９を参照して、第１の実施形態に係る画像処理装置の一例である撮像装置１００の構成について説明する。図１において、撮像光学系１０１は、不図示の被写体を撮像素子１０２に結像する。撮像光学系１０１は、絞り１０１ａ及びフォーカスレンズ１０１ｂを備え、撮像装置１００本体と一体的に構成されている。なお、撮像光学系１０１は、撮像装置１００本体に対して着脱可能に構成されてもよい。撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなどのＰＳＦの特性に影響を与える光学素子を用いる場合、挿入した光学素子の影響を考慮してアンシャープマスク処理を行えばより高精度な補正処理が可能である。また、赤外線カットフィルタを用いる場合、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）の各ＰＳＦ（特に、ＲチャンネルのＰＳＦ）に影響が生じる。そのため、アンシャープマスク処理を行う際に赤外線カットフィルタの影響を考慮してもよい。

撮像素子１０２は、結像光を電気信号に変換する。Ａ／Ｄコンバータ１０３は、撮像素子１０２が出力した電気信号をデジタル信号に変換し、画像処理部１０４に入力する。画像処理部１０４は、点像強度分布関数取得部１１１、ローパスフィルタ取得部１１２、補正フィルタ生成部１１３、フィルタ重畳部１１４、及び、その他画像処理部１１５を含む。画像処理部１０４は、点像強度分布関数取得部１１１、ローパスフィルタ取得部１１２、補正フィルタ生成部１１３、及びフィルタ重畳部１１４によって画像補正処理を行う。また、その他画像処理部１１５は、画素補間、ガンマ補正、カラーバランス調整などの所定の画像処理を行い、ＪＰＥＧ等の画像ファイルを生成する。

画像処理部１０４は、状態検知部１０７から撮像装置１００の撮像状態の情報を得る。状態検知部１０７は、システムコントローラ１１０から直接状態情報を得ても良い。例えば、撮像光学系に関する撮像状態情報については、状態検知部１０７は、撮像光学系制御部１０６から得ることもできる。

記憶部１０８は、画像処理部１０４で使用するＰＳＦ及びローパスフィルタに関する情報を保持する。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。また、表示部１０５には、画像処理後の画像が表示される。

システムコントローラ１１０は、撮像装置１００の全体的な制御を行う。撮像光学系の機械的な駆動については、システムコントローラ１１０の指示により撮像光学系制御部１０６が行う。

次に、図１０を参照して、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理について説明する。図１０に示すフローチャートの各ステップの処理は、システムコントローラ１１０の指示に従って画像処理部１０４により実行される。

Ｓ２０１で、画像処理部１０４は、撮影画像に基づいて補正対象の入力画像を取得する。補正対象の入力画像の色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。但し、補正対象の入力画像の色成分データは、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢすべてのチャンネルの画像データ、或いはデモザイキング前の画像データであってもよい。図１１は、離散的な規則配列であるベイヤー配列の模式図である。例えば、画像処理部１０４は、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよいし、特定のチャンネルのみ入力画像として使用してもよい。また、図１１に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、撮影画像を４チャンネルの色成分データとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

Ｓ２０２で、画像処理部１０４の点像強度分布関数取得部１１１は、入力画像の撮影条件に対応する撮像光学系１０１のＰＳＦを記憶部１０８から取得する。点像強度分布関数取得部１１１が取得するＰＳＦは、２次元のタップデータ、ＰＳＦの構成要素となる複数の１次元のタップデータ、又は係数であってもよい。２次元のタップデータは、例えば、特異値分解定理などを用いて複数の１次元のタップデータに分解される。記憶部１０８が分解されたデータを記録し、点像強度分布関数取得部１１１が撮影条件に応じてＰＳＦの主成分に対応する複数の１次元のタップデータを取得してもよい。なお、記憶部１０８から取得するＰＳＦの情報は、必ずしも精度の高い情報である必要はなく、ＰＳＦを近似した情報であっても構わない。

Ｓ２０３で、ローパスフィルタ取得部１１２は、ローパスフィルタＬＰＦ（ｘ，ｙ）を記憶部１０８から取得する。図１２に、ローパスフィルタ取得部１１２が取得するローパスフィルタＬＰＦ（ｘ，ｙ）の周波数特性の例を示す。この例では、ローパスフィルタ取得部１１２は、撮像光学系のＭＴＦに応じて図１２（ａ）、図１２（ｂ）、図１２（ｃ）に示す３つのローパスフィルタのうちの１つを選択する。図１３は、異なる撮影条件における撮像光学系のＭＴＦの例を示す図であり、点線のＭＴＦは破線のＭＴＦよりもより低周波側でゼロに近づいている。例えば、点線のＭＴＦの場合、ＭＴＦがゼロ付近の周波数帯域におけるノイズ増加を抑えるために、ローパスフィルタ取得部１１２は図１２（ａ）のローパスフィルタを選択する。また、図１３の破線で示したＭＴＦの場合、ローパスフィルタ取得部１１２は図１２（ｃ）のローパスフィルタを選択する。また、図１３の点線で示したＭＴＦと破線で示したＭＴＦの間の特性を持つＭＴＦの場合、ローパスフィルタ取得部１１２は図１２（ｂ）のローパスフィルタを選択する。入力画像の撮影条件と選択するローパスフィルタの対応関係を示す情報は、記憶部１０８に格納することができる。なお、ローパスフィルタ取得部１１２は、記憶部１０８から取得したローパスフィルタをそのままローパスフィルタＬＰＦ（ｘ，ｙ）として使用してもよいし、取得したローパスフィルタを加工したものをローパスフィルタＬＰＦ（ｘ，ｙ）として使用してもよい。

図１４（ａ）は、ＰＳＦ（ｘ，ｙ）及びローパスフィルタＬＰＦ（ｘ，ｙ）の一例として１５×１５タップの２次元のフィルタを表している。ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）のタップ数は、必ずしも等しくなくてもよい。例えば、ＬＰＦ（ｘ，ｙ）がＰＳＦ（ｘ，ｙ）よりも分布の広がりが小さい場合、タップ数を減らすことで処理負荷を低減したり、データ量を削減したりすることができる。

図１４（ｂ）は、図１４（ａ）のＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）の断面図である。図１４（ｂ）において、横軸はタップを示し、縦軸はタップの値を示す。図１４（ｂ）では、実線がＰＳＦ（ｘ，ｙ）の断面、点線がＬＰＦ（ｘ，ｙ）の断面を表す。本実施形態では、点像強度分布関数取得部１１１は、記憶部１０８から取得したＰＳＦをそのままＰＳＦ（ｘ，ｙ）として使用してもよいし、取得したＰＳＦを加工したものをＰＳＦ（ｘ、ｙ）として使用してもよい。

Ｓ２０４で、補正フィルタ生成部１１３は、ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）から補正フィルタを生成する。補正フィルタＣ（ｘ，ｙ）は、式１７の括弧｛｝の部分に相当し、以下の式１８で表される。

C(x,y)=δ(x,y)+m×(δ(x,y)-PSF(x,y))*LPF(x,y) ・・・(18)

Ｓ２０５で、フィルタ重畳部１１４は、補正フィルタＣ（ｘ，ｙ）を入力画像に適用する（重畳する）ことにより（即ち、式１７に示す演算を行うことにより）、補正画像ｇ（ｘ，ｙ）を生成する。

式１８において、調整係数ｍは補正量に影響するパラメータである。調整係数ｍを大きくするとアンシャープマスクのゲインＧａは大きくなり、調整係数ｍを小さくするとアンシャープマスクのゲインＧａは小さくなる。図５の点線や破線で示されるように、調整係数ｍを変更すると周波数に対し全体的に補正量が変化する。また、式１８の補正フィルタＣ（ｘ，ｙ）は、ＬＰＦ（ｘ，ｙ）の適用を含んでおり、図５の実線で示されるように、低周波側のゲインＧａを大きく、高周波側のゲインＧａを小さくすることができる。従って、本実施形態の補正処理では、調整係数ｍに基づいてゲインＧａの全体的な調整を行い、ＬＰＦ（ｘ，ｙ）の性質（形状）に基づいてゲインＧａの高周波側と低周波側のバランスの調整を行うことができる。

なお、補正フィルタは、ＰＳＦ（ｘ，ｙ）及びＬＰＦ（ｘ，ｙ）に基づいて生成されるが、ＰＳＦは像高によって変化する。そのため、画像処理部１０４は、補正精度を高めるために像高に応じてＰＳＦ（ｘ，ｙ）を変化させてもよい。しかしながら、記憶部１０８が像高に対し細かい間隔で対応するＰＳＦを記録する場合、データ容量が増えコストアップとなる。そこで、本実施形態では、像高によってＰＳＦを変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも２点の像高におけるＰＳＦの情報を記憶部１０８に記録する。画像処理部１０４は、少なくとも２点の像高におけるＰＳＦに基づく補間処理を行うことで、様々な像高における補正フィルタを生成する。

以下、補間処理の詳細について説明する。図１５は、入力画像の模式図である。図１５において、入力画像の長辺方向をｘ軸、短辺方向をｙ軸とし、画像の中心を座標の原点とする。本実施形態では、図１５に示されるように、一例として、入力画像は領域Ａから領域Ｈの８つの領域に分割され、画像処理部１０４は、各領域の周辺部、及び原点のＰＳＦの情報を取得する。図１６は、図１５の第１象限を拡大した図である。図１６において、Ｐ０は原点、Ｐ１、Ｐ２、Ｐ３はそれぞれ領域Ａ、領域Ｂ、領域Ｃの周辺像高を表す。Ｐｎは画像内の任意の点（像高）を表し、図１６では、点Ｐｎは原点Ｐ０から距離ｄ０、点Ｐ２から距離ｄ２で領域Ｂ内に位置する。点Ｐ０、Ｐ２に対応する補正フィルタをそれぞれＦ０、Ｆ２とすると、任意の点Ｐｎに相当する補間データＦｎは、以下の式１９で表される。

Fn=F0×(1-d0)+F2×d2 ・・・(19)

式１９に示すような補間処理を行うことで、各領域内の任意の像高における補正フィルタを生成することができる。このように補間処理を行って補正フィルタを生成することで、像高に対して連続的に補正フィルタを変化させることができる。

なお、式１９は第１象限の領域Ｂに関する計算式となっているが、他の領域や他の象限についても同様の演算を行うことで補間処理後のデータを作成することができる。また、像高の補間に使用する計算式は式１９に限定されず、計算式に２次曲線を使用したり、或いは補間前の各補正フィルタに対して所定の定数を掛けることで重み付けしたりしてもよい。

また、ここでは２つのデータから任意の補間データを生成する方法について説明したが、補間に利用するデータ数を増やせば補間データの精度を向上させることができる。例えば、原点Ｐ０や点Ｐ１、Ｐ２、Ｐ３に相当する補正フィルタを点Ｐｎとの距離に応じて重み付けして加算することにより、任意の点Ｐｎに相当する補間データＦｎを生成してもよい。

また、調整係数ｍを像高に応じて変化させる場合、式１９の補正フィルタＦ０、Ｆ２の部分に像高に対応する調整係数ｍを代入することで補間後の調整係数ｍを生成することができる。このように、補間した調整係数ｍを補正フィルタに利用することで、像高に対して連続的に補正量を調整することが可能となる。

また、補正フィルタの補間処理を行う代わりに、補正画像ｇ（ｘ，ｙ）の補間処理を行ってもよい。この場合、各像高に対応する補正画像ｇ（ｘ，ｙ）を式１９のＦ０、Ｆ２の部分に代入することで、ＰＳＦの像高方向の変化を考慮した補間後の補正画像を取得することができる。

ところで、図１０では、式１８に示す補正フィルタＣ（ｘ，ｙ）を用いる補正処理、即ち式１７に示す演算方法による補正処理について説明した。しかしながら、本実施形態の補正処理は、式１７に示す演算方法によるものに限定されず、例えば式１５や式１６に示す演算方法によっても本実施形態の補正処理を実現することが可能である。

式１５において、「ｍ×｛ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）｝」は、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分に相当する。補正成分のうち、「｛ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））」は、入力画像にＰＳＦ（ｘ，ｙ）を適用した場合に入力画像に生じる変化に対応する成分（第１の成分）に相当する。また、「ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、この第１の成分に対してＬＰＦ（ｘ，ｙ）を適用した場合に得られる成分（第２の成分）に相当する。従って、式１５の補正処理は、補正成分が第２の成分のｍ倍となるような補正処理、即ち、補正成分が第２の成分に少なくとも部分的に基づく補正処理であると言える。

ここで、式１６及び式１７は、式１５を変形することにより得られるため、数学的には式１５と等価である。従って、式１５〜式１７のいずれの演算方法により補正処理を行っても、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分は、第２の成分のｍ倍となり、第２の成分に少なくとも部分的に基づく。例えば、式１７の場合、「（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））」は、デルタ関数とＰＳＦ（ｘ，ｙ）との差に対応するフィルタ（第１の中間フィルタ）であると言える。また、「（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、第１の中間フィルタにＬＰＦ（ｘ，ｙ）を適用した場合に得られるフィルタ（第２の中間フィルタ）であると言える。従って、式１７の演算方法による補正処理において生成される補正フィルタＣ（ｘ，ｙ）（式１８）は、第２の中間フィルタに少なくとも部分的に基づくフィルタであると言える。そして、このような補正フィルタＣ（ｘ，ｙ）に基づく補正処理を行った場合であっても、結局、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分は、第２の成分に少なくとも部分的に基づく値になる。

ここから理解できるように、本実施形態の補正処理は、補正画像ｇ（ｘ，ｙ）に含まれる補正処理に由来する補正成分が第２の成分に少なくとも部分的に基づく限り、任意の演算方法により実現可能である。

以下、式１５に示す演算方法による補正処理の具体例について説明する。図１７は、式１５に示す演算方法を実現するための画像処理部１０４の構成を示す図である。この例では、図９に示す画像処理部１０４が、図１７に示す画像処理部１０４に置き換えられる。図１７の画像処理部１０４は、図９に示す補正フィルタ生成部１１３の代わりに、画像合成部１１６を含む。

図１８は、式１５に示す演算方法による補正処理のフローチャートである。本フローチャートの各ステップの処理は、システムコントローラ１１０の指示に従って図１７の画像処理部１０４により実行される。

図１８において、Ｓ３０１〜Ｓ３０３の処理は、図１０のＳ２０１〜Ｓ２０３の処理と同様である。

Ｓ３０４で、フィルタ重畳部１１４は、ＰＳＦに基づいて生成したフィルタ（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））を入力画像に重畳し（式２０）、ローパスフィルタＬＰＦ（ｘ，ｙ）を更に重畳する（式２１）。

fp(x,y)=f(x,y)*(δ(x,y)-PSF(x,y)) ・・・(20)
fpl(x,y)=f(x,y)*(δ(x,y)-PSF(x,y))*LPF(x,y) ・・・(21)

Ｓ３０５で、画像合成部１１６は、式１５と式２１から導かれる以下の式２２の演算を行う。

g(x,y)=f(x,y)+m×fpl(x,y) ・・・(22)

式２２に示すように、ＰＳＦに基づいて生成したフィルタとローパスフィルタとを入力画像に重畳することにより得られる画像ｆｐｌ（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）とを合成することで、補正画像の生成が可能である。

また、式１６に示した演算方法による補正処理も可能である。この場合、図１８のＳ３０４において、フィルタ重畳部１１４は、ローパスフィルタＬＰＦ（ｘ，ｙ）を以下の式２３に示したように入力画像に重畳する。

fl(x,y)=f(x,y)*LPF(x,y) ・・・(23)

また、フィルタ重畳部１１４は、以下の式２４及び式２５に示したように、ＰＳＦに基づいて生成したフィルタＰＳＦ（ｘ，ｙ）とローパスフィルタＬＰＦ（ｘ，ｙ）を重畳する。

fp'(x,y)=f(x,y)*PSF(x,y) ・・・(24)
fpl'(x,y)=fp’(x,y)*LPF(x,y)} ・・・(25)

次に、Ｓ３０５で、画像合成部１１６は、式１６、式２３、式２５から導かれる以下の式２６の演算を行う。

g(x,y)=f(x,y)+m×{fl(x,y)-fpl'(x,y)} ・・・(26)

式２６に示すように、ＰＳＦに基づいて生成したフィルタとローパスフィルタとを入力画像に重畳することにより得られる画像ｆｐｌ’（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）とを合成することで、補正画像の生成が可能である。

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する。この補正処理は、補正画像に含まれる補正処理に由来する補正成分が、入力画像にＰＳＦを適用した場合に入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づくように行われる。これにより、ノイズの増幅を抑制しつつ、撮像光学系のＰＳＦに起因する画質劣化を補正することが可能となる。

［第２の実施形態］
次に、第２の実施形態について説明する。本実施形態における撮像装置１００の基本的な構成は、第１の実施形態と同様である（図９及び図１７参照）。以下、主に第１の実施形態と異なる点について説明する。

本実施形態では、撮像装置１００は、ローパスフィルタとしてＰＳＦを用いる。前述の通り、ＰＳＦをフーリエ変換したＯＴＦの絶対値ＭＴＦは、図６に示されるように、低周波側が高く高周波側が低い特性を示す。また、前述の通り、高周波側でＭＴＦがゼロに近い周波数帯域は、ゲインをかけて補正しても補正効果はほとんどなく、ノイズ成分の増幅だけが発生する。第１の実施形態では、ＭＴＦがゼロに近い周波数帯域におけるノイズ成分の増幅を抑制するため、式１５〜式１７に示すようにローパスフィルタの適用を含む補正処理を行った。しかしながら、このローパスフィルタとして、ＰＳＦをそのまま使用することが可能である。この場合、式１５〜式１７におけるＬＰＦ（ｘ，ｙ）は、ＰＳＦ（ｘ，ｙ）に置き換えられる。

ローパスフィルタとしてＰＳＦを使用することで、ＭＴＦが残っている周波数帯域については補正効果を残し、ＭＴＦがゼロに近づきＭＴＦが残っていない周波数帯域についてはゲインを抑制することでノイズ増加を抑制することが可能である。

また、第１の実施形態では、補正成分の全体がローパスフィルタの影響を受ける補正処理について説明したが、第２の実施形態では、ローパスフィルタの影響を調整可能な構成について説明する。

以下、図１０を参照して、第２の実施形態に係る補正処理について説明する。図１０において、Ｓ２０１及びＳ２０２の処理は、第１の実施形態と同様である。

Ｓ２０３で、ローパスフィルタ取得部１１２は、ローパスフィルタＬＰＦ（ｘ，ｙ）として、Ｓ２０２で取得したＰＳＦあるいはＰＳＦを近似した情報を同様に取得する。

Ｓ２０４で、補正フィルタ生成部１１３は、ＰＳＦ（ｘ，ｙ）から、以下の式２７に示す補正フィルタを生成する。なお、式２７において、LPF(x,y)の部分は実際にはPSF(x,y)が代入されるが、この部分がローパスフィルタ適用の目的を持つことを示すためにLPF(x,y)と表記する。

C(x,y)=δ(x,y)+m×{(1-w)×(δ(x,y)-PSF(x,y))
+w×(δ(x,y)-PSF(x,y))*LPF(x,y)} ・・・(27)

式２７において、調整係数ｗは、ローパスフィルタによる高周波側のゲインの調整強度を制御するための係数である。

図１９は、式２７により生成した補正フィルタのゲインの例を示す図である。調整係数ｗが０の時は、ローパスフィルタの影響を受けない補正フィルタとなり、ｗを１に近づけていくと高周波側のゲインを抑えた補正フィルタになる。この調整係数ｗを、画像のノイズ成分に影響する撮像素子１０２のＩＳＯ感度に基づいて設定することで、画像のノイズ量に応じて補正フィルタのゲイン特性をコントロールすることが可能である。

式２７の補正フィルタを式１７の括弧｛｝の部分に代入することにより、調整係数ｗによりローパスフィルタによる高周波側のゲインの調整強度を制御可能な補正処理を実現可能である。この場合、「（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））」は、デルタ関数とＰＳＦ（ｘ，ｙ）との差に対応するフィルタ（第１の中間フィルタ）であると言える。また、「（δ（ｘ，ｙ）−ＰＳＦ（ｘ，ｙ））＊ＬＰＦ（ｘ，ｙ）」は、第１の中間フィルタにＬＰＦ（ｘ，ｙ）を適用した場合に得られるフィルタ（第２の中間フィルタ）であると言える。従って、式２７の補正フィルタＣ（ｘ，ｙ）は、第１の中間フィルタと第２の中間フィルタとを調整係数ｗに基づく所定の合成率で合成した場合に得られるフィルタ（第３の中間フィルタ）に少なくとも部分的に基づくフィルタであると言える。

ところで、第１の実施形態では、補正画像に含まれる補正処理に由来する補正成分が、第１の成分に対してＬＰＦを適用した場合に得られる第２の成分に少なくとも部分的に基づく限り、任意の演算方法により補正処理を実現可能であると説明した。この点は、第２の実施形態においても、第１の成分と第２の成分とが調整係数ｗに基づく所定の合成率で合成される点を除き、ほぼ同様である。即ち、第２の実施形態では、補正画像に含まれる補正処理に由来する補正成分が、第１の成分と第２の成分とを所定の合成率で合成した場合に得られる成分（第３の成分）に少なくとも部分的に基づく。このことは、式１５に基づく式２２に調整係数ｗを適用することにより得られる以下の式２８から確認できる。

g(x,y)=f(x,y)+m×{(1-w)×fp(x,y)+w×fpl(x,y)} ・・・(28)

ここで、ｆｐ（ｘ，ｙ）、ｆｐｌ（ｘ，ｙ）は、それぞれ式２０、式２１に示したものである。

同様に、式１６に基づく式２６に対しても、調整係数ｗを適用して以下の式２９を得ることができる。

g(x,y)=f(x,y)+m×{(1-w)×(f(x,y)-fp'(x,y))
+w×(fl(x,y)-fpl'(x,y)} ・・・(29)

ここで、ｆｌ（ｘ，ｙ）、ｆｐ’（ｘ，ｙ）、ｆｐｌ’（ｘ，ｙ）は、それぞれ式２３、式２４、式２５で示したものである。

以上説明したように、第２の実施形態によれば、撮像装置１００は、撮像光学系の点像強度分布関数（ＰＳＦ）に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する。この補正処理は、第１の成分と第２の成分とを所定の合成率で合成した場合に得られる第３の成分に少なくとも部分的に基づくように行われる。ここで、第１の成分は、入力画像にＰＳＦを適用した場合に入力画像に生じる変化に対応する成分であり、第２の成分は、第１の成分に対してローパスフィルタを適用した場合に得られる成分である。これにより、ローパスフィルタによる高周波側のゲインの調整強度を制御することが可能になる。

撮像装置１００は、入力画像の撮像時のＩＳＯ感度に基づいて所定の合成率を決定してもよい。一般的に、ＩＳＯ感度が大きいほど、ノイズ成分が多くなる。そこで、撮像装置１００は、ＩＳＯ感度が第１の値である場合に、第１の成分に対する第２の成分の比率が、ＩＳＯ感度が第１の値より小さい第２の値である場合よりも大きくなるように、所定の合成率を決定してもよい。

なお、上の説明では、ローパスフィルタとしてＰＳＦをそのまま用いるものとした。しかしながら、撮像装置１００は、ＰＳＦの代わりに、ＰＳＦを基に生成したローパスフィルタを使用してもよい。即ち、撮像装置１００が使用するローパスフィルタは、ＰＳＦに少なくとも部分的に基づくフィルタである。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…撮像光学系、１０２…撮像素子、１０３…Ａ／Ｄコンバータ、１０４…画像処理部、１０５…表示部、１０６…撮像光学系制御部、１０７…状態検知部、１０８…記憶部、１０９…画像記録媒体、１１０…システムコントローラ

Claims (11)

1. 撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理手段を備え、
   前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づく
   ことを特徴とする画像処理装置。
2. 前記画像処理手段は、
   デルタ関数と前記点像強度分布関数との差に対応する第１の中間フィルタに前記ローパスフィルタを適用した場合に得られる第２の中間フィルタに少なくとも部分的に基づく補正フィルタを生成するフィルタ生成手段と、
   前記補正フィルタを前記入力画像に適用するフィルタ適用手段と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、
   デルタ関数と前記点像強度分布関数との差に対応するフィルタを前記入力画像に適用することにより前記第１の成分を取得し、
   前記ローパスフィルタを前記第１の成分に適用することにより前記第２の成分を取得し、
   前記第２の成分、又は前記第２の成分に所定の係数を乗じることにより得られる成分を、前記入力画像に加算する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記補正成分が、前記第１の成分と前記第２の成分とを所定の合成率で合成した場合に得られる第３の成分に少なくとも部分的に基づく
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理手段は、
   デルタ関数と前記点像強度分布関数との差に対応する第１の中間フィルタと、前記ローパスフィルタを前記第１の中間フィルタに適用した場合に得られる第２の中間フィルタとを前記所定の合成率で合成した場合に得られる第３の中間フィルタに少なくとも部分的に基づく補正フィルタを生成するフィルタ生成手段と、
   前記補正フィルタを前記入力画像に適用するフィルタ適用手段と、
   を含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理手段は、
   デルタ関数と前記点像強度分布関数との差に対応するフィルタを前記入力画像に適用することにより前記第１の成分を取得し、
   前記ローパスフィルタを前記第１の成分に適用することにより前記第２の成分を取得し、
   前記第１の成分と前記第２の成分とを前記所定の合成率で合成することにより第３の成分を取得し、
   前記第３の成分、又は前記第３の成分に所定の係数を乗じることにより得られる成分を、前記入力画像に加算する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記入力画像の撮像時のＩＳＯ感度に基づいて、前記ＩＳＯ感度が第１の値である場合に、前記第１の成分に対する前記第２の成分の比率が、前記ＩＳＯ感度が前記第１の値より小さい第２の値である場合よりも大きくなるように、前記所定の合成率を決定する決定手段を更に備える
   ことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記ローパスフィルタは、前記点像強度分布関数に少なくとも部分的に基づく
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記入力画像を生成する撮像手段を更に備える
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    撮像光学系の点像強度分布関数に起因する画質劣化を補正する補正処理を入力画像に適用することにより補正画像を生成する画像処理工程を備え、
    前記補正画像に含まれる前記補正処理に由来する補正成分が、前記入力画像に前記点像強度分布関数を適用した場合に前記入力画像に生じる変化に対応する第１の成分に対してローパスフィルタを適用した場合に得られる第２の成分に少なくとも部分的に基づく
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images