JP2014192528A5 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明の一側面としての画像処理装置は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理装置であって、前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記画像処理装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての撮像装置は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する撮像装置であって、前記撮像装置は、前記撮像光学系を介して前記第１画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、前記指示が実行されると、前記撮像装置に、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての画像処理方法は、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理方法であって、前記画像処理方法は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

本発明の他の側面としての画像処理プログラムは、コンピュータに、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する処理を実行させる画像処理プログラムであって、前記処理は、参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする。

図３を参照して説明すると、第１画像は、本来図３（Ａ）中の斜線の画素（注目画素）で取得される情報が、収差や回折によって図３（Ｂ）中の斜線領域（劣化画像の部分領域）へ分散している状態にある。このとき、図３（Ａ）中の破線で示される円が、画像取得部１０１の収差や回折に相当する。そこで、第１画像（撮影画像）を図３（Ａ）の状態になるように回復（復元）することを考える。

前述と同様に、第１画像（撮影画像）内で部分領域を抽出する。そして、抽出した部分領域が補正情報算出時に生成した複数のクラスタのうちいずれのクラスタに属するかを探索し、その補正情報と部分領域の信号値を式（１）に代入する。これにより、収差や回折が補正された画素を生成することができる。クラスタの探索方法に関しては、後述する。これにより、ＭＴＦが非常に小さい周波数帯域の情報も回復することができる。これは、参照画像に基づいて、失われた周波数帯域の情報を含む係数Ｗ（補正情報）を算出することができるためである。

続いてステップＳ１０３において、補正情報算出部１０４は、劣化関数を用いて参照画像を劣化させることにより、劣化画像を生成する。例えば、劣化関数がＰＳＦの場合、参照画像に対してコンボリューションを行うことにより、劣化画像を生成する。また、劣化関数がＯＴＦの場合、参照画像のフーリエ変換との積をとった後に、逆変換を行って劣化画像を生成すればよい。

まずステップＳ２０１において、画像補正部１０５は、画像取得部１０１によって取得された第１画像（撮影画像）を取得する。第１画像は、画像取得部１０１の光学系（撮像光学系）による収差や回折の影響を受けているため、被写体空間に対する周波数情報が減少している。

続いてステップＳ２０８において、画像補正部１０５は、部分領域の情報分布と劣化関数に対応するクラスタ（グループ）の補正情報（各クラスタの補正係数）を読み出す。

Claims (11)

1. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理装置であって、
   前記画像処理装置は、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
   前記指示が実行されると、前記画像処理装置に、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理装置。
2. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記劣化関数は、歪曲収差成分を含み、
   前記画像処理装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する撮像装置であって、
   前記撮像装置は、前記撮像光学系を介して前記第１画像を取得するよう構成された撮像素子と、コンピュータが実行可能な指示を実行するよう構成された処理手段と、前記コンピュータが実行可能な指示を記憶する記憶手段と、を有し、
   前記指示が実行されると、前記撮像装置に、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成させ、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成させ、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出させ、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出させ、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成させ、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする撮像装置。
6. 前記補正情報は、前記参照画像の画素信号値を前記劣化画像の複数の画素信号値による線型結合で表した際、誤差が最小となるような係数であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１画像の部分領域は、前記撮像光学系の収差、又は回折に基づく劣化関数の大きさ、及び形状に基づいて決定されることを特徴とする請求項５または６に記載の撮像装置。
8. 前記劣化関数は、歪曲収差成分を含み、
   前記画像処理装置は、前記劣化画像に対して電子歪曲収差補正を行ってから前記部分領域を抽出することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する画像処理方法であって、
   前記画像処理方法は、
   参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
   前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
   前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
   前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
   前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、
   前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理方法。
10. コンピュータに、撮像光学系を介して得られた第１画像から、該撮像光学系の収差、又は回折により減少した周波数成分が復元された第２画像を生成する処理を実行させる画像処理プログラムであって、
    前記処理は、
    参照画像に複数の劣化関数を作用させて、複数の劣化画像を生成するステップと、
    前記劣化関数と、前記劣化画像の部分領域における情報分布とに基づいて、該部分領域の類似性が高いものを集めたグループを複数生成するステップと、
    前記グループそれぞれに対して、前記参照画像と前記劣化画像とに基づいて、補正情報を算出するステップと、
    前記第１画像の部分領域における情報分布と、該部分領域に対応した前記撮像光学系の収差、又は回折に基づく劣化関数に基づいて、前記複数のグループから該部分領域に該当するグループの補正情報を読み出すステップと、
    前記第１画像の部分領域と前記読み出された補正情報から、前記第２画像を構成する補正画素を生成するステップと、を有し、
    前記参照画像に作用させる劣化関数は、前記撮像光学系の収差、又は回折に基づく劣化関数であることを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。