JP2017103617A5 - - Google Patents

Description

本発明の一側面としての画像処理装置および画像処理プログラムにより画像処理を実行するコンピュータは、撮像に関する撮像条件に対応する点像強度分布関数を近似するためのデータを用いて、第１の分布を生成し、第１の分布の一部を鏡映することにより、該第１の分布の一部を含む第２の分布を生成し、第２の分布を用いて鮮鋭化処理に用いる第１のフィルタを生成し、第１のフィルタを用いて入力画像に対する鮮鋭化処理を行って鮮鋭化画像を生成することを特徴とする。なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。

ここで、アンシャープマスクを変えずに式（１）の調整係数ｍを変更することで補正量を調整する場合を考える。撮像画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、撮像画像のマイナス側は補正過剰（アンダーシュート）になり、マイナス側の補正量を適切になるように調整係数ｍの値を設定するとプラス側は補正不足となる。このように、非回転対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、ぼかし画像と撮像画像との差分値が実線のピーク位置に対してプラス側で大きく、マイナス側で差分値が小さくなっており、これは図５（Ａ）と逆になっている。このため、図６（Ｂ）に示した補正成分も、中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値が小さくなっている。

図６（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示している。図６（Ａ）中の実線に対して鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側のプラス側に対する凹みが改善できている。さらに、回転対称なアンシャープマスクを用いる場合と比べて、補正過剰になりにくくなるため、式（１）の調整係数ｍの値も比較的大きくとることができる。この結果、非対称性を低減しつつ、より鮮鋭化することができる。また、補正成分の補正量はぼかし画像と撮像画像との差分であるため、より精度良く補正を行うためには、撮像光学系のＰＳＦによって他の部分より大きくぼけた部分がアンシャープマスクによって該他の部分に比べてよりぼかされる必要がある。このように、さらに精度良く補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

これら式（７）（または式（６））を用いることで式（５）の関数では表現できない楕円形状の分布も再現することができるため、式（５）の関数を用いる場合に比べて補正の精度は向上する。しかし、撮像光学系のＰＳＦに対するフィッティングに式（７）の関数を用いても、非対称収差やサジタルハロのような複雑な形状を再現することができない。

次にステップＳ２において、係数算出装置は、ステップＳ１で取得した撮像条件に対応する撮像光学系１０１の設計値のデータから撮像光学系１０１のＰＳＦ（以下、設計ＰＳＦという）を算出する。図１１には、ステップＳ２で算出される設計ＰＳＦと後述するステップＳ４で生成される近似ＰＳＦの断面を示す。図１１に示すように、ステップＳ２で算出される設計ＰＳＦは分割数（タップ数）がＮ、間隔Ｄｏで離散化されている。設計ＰＳＦのサイズ（カーネルサイズ）は、図１１から明らかなように間隔Ｄｏとタップ数Ｎの積で表すことができる。つまり、離散化された設計ＰＳＦは、間隔Ｄｏ、タップ数Ｎおよびカーネルサイズのうちいずれか２つが分かれば残りの１つも一意に決まる。例えば、間隔Ｄｏ＝２．０μｍでタップ数Ｎ＝１１とすると、カーネルサイズはＤｏｘ（Ｎ−１）＝２０μｍとなる。また、ＤｏｘＮをカーネルサイズと呼んでもよく、この場合は２２μｍとなる。また、間隔Ｄｏはフィッティングする際のピッチとなるため、実在する撮像素子の画素ピッチよりも小さい方がよい。予め小さい画素ピッチでフィッティングしておくことで、様々な画素ピッチの撮像素子に対しても対応することができる。

Claims (11)

1. 光学系を用いた撮像により生成された入力画像に対して画像処理を行う画像処理装置であって、
   前記撮像に関する撮像条件に対応する点像強度分布関数を近似するためのデータを用いて、第１の分布を生成する第１の分布生成手段と、
   前記第１の分布の一部を鏡映することにより、前記第１の分布の一部を含む第２の分布を生成する第２の分布生成手段と、
   前記第２の分布を用いて、鮮鋭化処理に用いる第１のフィルタを生成するフィルタ生成手段と、
   前記第１のフィルタを用いて前記入力画像に対する前記鮮鋭化処理を行って鮮鋭化画像を生成する処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の分布は、楕円分布であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の分布生成手段は、前記第１の分布を、前記入力画像の中心と該入力画像における処理対象画素とを結ぶ直線に重なるように生成し、
   前記第２の分布生成手段は、前記第１の分布の一部を前記直線を含む平面に関して鏡映することにより前記第２の分布を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段は、前記入力画像と該入力画像に前記第１のフィルタを適用して得られた画像との差分をとることで補正データを生成し、該補正データと前記入力画像とから前記鮮鋭化画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記処理手段は、前記第１のフィルタと理想点像に基づいて生成された第２のフィルタとを前記入力画像に適用することで補正データを生成し、該補正データと前記入力画像とを用いて前記鮮鋭化画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記処理手段は、前記第１のフィルタと理想点像に基づいて鮮鋭化フィルタを生成し、該鮮鋭化フィルタを前記入力画像に適用することで前記鮮鋭化画像を生成することを特徴とする請求項１からの３いずれか一項に記載の画像処理装置。
7. 前記データは、前記点像強度分布関数を近似するための関数に含まれる係数のデータであり、
   前記係数は、前記第１の分布の非対称性を制御するための係数と、特定方向において前記第１の分布を非対称化するための係数と、前記第１の分布の拡がりを制御するための係数とを含むことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記係数は、前記第１の分布の拡がりを制御するための係数として、前記第１の分布の拡がりを制限する係数を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像条件は、焦点距離、絞り値、撮像距離および像高のうち少なくとも１つを含むことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 入力画像を生成するための撮像を行う撮像素子と、
    請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. コンピュータに、光学系を用いた撮像により生成された入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    前記撮像に関する撮像条件に対応する点像強度分布関数を近似するためのデータを用いて、非回転対称な第１の分布を生成する処理と、
    前記第１の分布の一部を鏡映することにより、前記第１の分布の一部を含む第２の分布を生成する処理と、
    前記第２の分布を用いて、鮮鋭化処理に用いる第１のフィルタを生成する処理と、
    前記第１のフィルタを用いて前記入力画像に対する前記鮮鋭化処理を行って鮮鋭化画像を生成する処理と、
    を含むことを特徴とする画像処理プログラム。