JP2012073691A5 - - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に撮像光学系による画像の劣化を高解像度かつ高品位に補正するものに関する。

そこで本発明は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及び、プログラムを提供する。

本発明の一側面としての画像処理装置は、撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データを保持するデータ保持部と、撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するタップ数決定部と、周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部と、を有する。
本発明の他の側面としての画像処理装置は、撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データと、前記係数データを用いて再構成される光学伝達関数のタップ数を保持するデータ保持部と、周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部と、を有する。

本発明の他の側面としての撮像装置は、撮像素子と、撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データを保持するデータ保持部と、前記撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するタップ数決定部と、周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部を有する。
本発明の他の側面としての撮像装置は、撮像素子と、撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データと、前記係数データを用いて再構成される光学伝達関数のタップ数を保持するデータ保持部と、周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部を有する。

本発明の他の側面としての画像処理方法は、撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するステップと、周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップを有する。
本発明の他の側面としての画像処理方法は、撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、前記係数データを用いて再構成される光学伝達関数のタップ数を取得するステップと、周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップを有する。

本発明の他の側面としてのプログラムは、撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するステップと、周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップをコンピュータに実行させる。
本発明の他の側面としてのプログラムは、撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、前記係数データを用いて再構成される光学伝達関数のタップ数を取得するステップと、周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップをコンピュータに実行させる。

本発明によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することができる。

１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。

撮像素子の直前における光学像の空間周波数特性は、撮像光学系のＯＴＦで表される。画像回復処理を行う場合、画像回復フィルタの１タップの大きさと撮像素子の１画素の大きさを一致させる必要があり、また、撮像素子の開口特性も反映させることが好ましい。前者はＯＴＦを撮像素子のナイキスト周波数を最大値とする空間周波数で切り出すことに相当し、後者は撮像素子によってＯＴＦにローパスフィルタがかかることに相当する。このため、画像回復フィルタの作成に用いられるＯＴＦ情報は、撮像光学系のみでは一意に決定されず、撮像素子に依存する。

次に、本実施例における係数算出方法について詳述する。本実施例では、撮像光学系（撮像レンズ１１２）のＯＴＦ（設計値又は測定値）を所定の関数へのフィッティング処理により近似することで、係数を作成する。フィッティング処理の際に用いられる関数として、本実施例ではＬｅｇｅｎｄｒｅ多項式が用いられる。ただし、本実施例はこれに限定されるものではなく、例えばＣｈｅｂｕｙｓｈｅｖ多項式などの他の式を用いてもよい。Ｌｅｇｅｎｄｒｅ多項式は、以下の式（５）のように表される。ここで、［ｘ］はｘを超えない最大の整数である。

Claims (15)

1. 撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データを保持するデータ保持部と、
   撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するタップ数決定部と、
   周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部と、を有することを特徴とする画像処理装置。
2. 撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データと、前記係数データを用いて再構成される光学伝達関数のタップ数を保持するデータ保持部と、
   周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部と、を有することを特徴とする画像処理装置。
3. 前記タップ数決定部は、各像高の点像強度分布関数の大きさに応じて、再構成される光学伝達関数のタップ数を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記係数データは、所定の多項式の係数、あるいは、所定の関数の係数であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記光学伝達関数を所定の多項式、あるいは、所定の関数でフィッティング処理を行い、前記係数データを算出する係数算出部、を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記係数算出部は、前記光学伝達関数を、実部と虚部のそれぞれに対して、前記光学伝達関数が対称性を有する領域を対象として前記フィッティング処理を行い、
   前記再構成部は、光学伝達関数の対称性を利用して、前記領域の光学伝達関数から定義域全体の光学伝達関数を再構成することを特徴とする請求項５に記載の画像処理装置。
7. 前記フィッティング処理の精度に応じて前記係数データの次数を決定する次数決定部を更に有し、
   前記所定の多項式は直交多項式であること、あるいは、前記所定の関数は直交関数であることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記再構成部は、前記撮像光学系を特定するＩＤ番号、及び、前記撮像素子を備えた撮像装置から取得された前記撮影条件から、前記係数データを選択することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成し、該画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うフィルタ処理部を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 撮像素子と、
    撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データを保持するデータ保持部と、
    前記撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するタップ数決定部と、
    周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部を有することを特徴とする撮像装置。
11. 撮像素子と、
    撮像光学系の種類及び撮影条件に応じた、該撮像光学系の光学伝達関数を再構成するための係数データと、前記係数データを用いて再構成される光学伝達関数のタップ数を保持するデータ保持部と、
    周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成する再構成部を有することを特徴とする撮像装置。
12. 撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、
    撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するステップと、
    周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、
    再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、
    前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップを有することを特徴とする画像処理方法。
13. 撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、
    前記係数データを用いて再構成される光学伝達関数のタップ数を取得するステップと、
    周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、
    再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、
    前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップを有することを特徴とする画像処理方法。
14. 撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、
    撮像素子の画素ピッチに応じて、前記係数データを用いて再構成される光学伝達関数のタップ数を決定するステップと、
    周波数空間において、前記撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、
    再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、
    前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップをコンピュータに実行させることを特徴とするプログラム。
15. 撮像光学系の種類及び撮影条件に応じて、該撮像光学系の光学伝達関数を再構成するための係数データを選択するステップと、
    前記係数データを用いて再構成される光学伝達関数のタップ数を取得するステップと、
    周波数空間において、撮像素子のナイキスト周波数と前記タップ数と前記係数データを用いて、光学伝達関数を再構成するステップと、
    再構成された光学伝達関数から被写体画像を補正するための画像回復フィルタを作成するステップと、
    前記画像回復フィルタを用いて実空間上で該被写体画像に対するフィルタ処理を行うステップをコンピュータに実行させることを特徴とするプログラム。