JP2016036066A5 - 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

そこで本発明は、互いに異なる複数の焦点距離を有する複数の光学系を介して得られた撮影画像から高精細画像を生成可能な画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、複眼撮像装置を用いて撮影された第一の画像を取得するステップと、前記第一の画像の撮影条件情報を取得するステップと、前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得するステップと、前記光学特性情報に基づいて前記第一の画像を補正するステップと、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成するステップを有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての画像処理装置は、複眼撮像装置を用いて撮影された第一の画像を取得する画像取得手段と、前記第一の画像の撮影条件情報を取得する撮影条件取得手段と、前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得する光学特性取得手段と、前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成する画像処理手段を有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての複眼撮像装置は、互いに異なる複数の焦点距離を有する複数の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、前記複数の光学系および前記複数の撮像素子を用いて撮影された第一の画像を取得する画像取得手段と、撮影条件情報を取得する撮影条件取得手段と、前記撮影条件情報に応じて、前記複数の光学系の光学特性情報を取得する光学特性取得手段と、前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成する画像処理手段を有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。

Claims (17)

1. 複眼撮像装置を用いて撮影された第一の画像を取得するステップと、
   前記第一の画像の撮影条件情報を取得するステップと、
   前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得するステップと、
   前記光学特性情報に基づいて前記第一の画像を補正するステップと、
   補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成するステップを有し、
   前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする画像処理方法。
2. 前記複数の焦点距離は固定であり、
   前記複数の光学系は、
   第一の焦点距離を有する複数の第一の光学系と、
   前記第一の焦点距離とは異なる第二の焦点距離を有する複数の第二の光学系を有することを特徴とする請求項１の画像処理方法。
3. 前記光学特性情報は、倍率色収差補正情報、歪曲収差補正情報、および、周辺光量補正情報の少なくとも一つを含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記光学特性情報は、光学伝達関数、または、該光学伝達関数に基づいて生成された画像回復フィルタを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記光学特性情報は、前記複数の光学系に応じて異なることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記第二の画像は、前記補正された第一の画像に対して再構成処理を行うことにより生成されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記第二の画像は、前記補正された第一の画像に対して前記再構成処理を行った後、電子ズーム処理を行うことにより生成されることを特徴とする請求項６に記載の画像処理方法。
8. 前記複数の焦点距離は、広角側の第一の焦点距離および望遠側の第二の焦点距離を含み、
   前記第二の画像は、前記第一の焦点距離と前記第二の焦点距離との間の第三の焦点距離に相当する画角を有する画像であることを特徴とする請求項７に記載の画像処理方法。
9. 前記第二の画像は、前記第一の焦点距離に相当する画角を有する前記第一の画像に対して前記再構成処理を行った後、前記電子ズーム処理を行うことにより生成されることを特徴とする請求項８に記載の画像処理方法。
10. 前記第二の画像は、前記第一の焦点距離および前記第二の焦点距離のそれぞれに相当する画角を有する前記第一の画像に対して前記再構成処理を行った後、前記電子ズーム処理および画像合成処理を行うことにより生成されることを特徴とする請求項８に記載の画像処理方法。
11. 前記補正された第一の画像の前記再構成処理を行う際に、該補正された第一の画像を用いて、前記複数の焦点距離のそれぞれに関する自由視点画像を生成することを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理方法。
12. 前記複数の焦点距離のそれぞれに関する前記自由視点画像は、互いに一致する視点を有することを特徴とする請求項１１に記載の画像処理方法。
13. 前記第二の画像を生成する際に、前記複数の光学系のうち特定の光学系の光学特性情報に基づいて前記第一の画像のうち特定の第一の画像を補正することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理方法。
14. 複眼撮像装置を用いて撮影された第一の画像を取得する画像取得手段と、
    前記第一の画像の撮影条件情報を取得する撮影条件取得手段と、
    前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得する光学特性取得手段と、
    前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、
    補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成する画像処理手段を有し、
    前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする画像処理装置。
15. 互いに異なる複数の焦点距離を有する複数の光学系と、
    前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
    前記複数の光学系および前記複数の撮像素子を用いて撮影された第一の画像を取得する画像取得手段と、
    撮影条件情報を取得する撮影条件取得手段と、
    前記撮影条件情報に応じて、前記複数の光学系の光学特性情報を取得する光学特性取得手段と、
    前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、
    補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成する画像処理手段を有し、
    前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする複眼撮像装置。
16. 請求項１乃至１３のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。