JP2016219982A5 - - Google Patents

Description

本発明の一側面としての画像処理装置は、撮像系を用いて生成された互いに視差を有する複数の視差画像を用いて、撮像系の収差による劣化が抑制された補正画像を生成する。該画像処理装置は、撮像系の光学情報と複数の視差画像における対応画素の画素値および画素値勾配のうち少なくとも一方とに応じて、複数の視差画像のそれぞれに対応する複数の重み付け用データであるウェイトを生成するウェイト生成手段と、複数の視差画像のそれぞれに対してウェイトを適用した結果を用いて補正画像を生成する画像生成手段とを有することを特徴とする。

また、本発明の他の一側面としての画像処理方法は、撮像系を用いて生成された互いに視差を有する複数の視差画像を用いて、撮像系の収差による劣化が抑制された補正画像を生成する方法である。該画像処理方法は、撮像系の光学情報と複数の視差画像における対応画素の画素値および画素値勾配のうち少なくとも一方とに応じて、複数の視差画像のそれぞれに対応する複数の重み付け用データであるウェイトを生成し、複数の視差画像のそれぞれに対してウェイトを適用した結果を用いて補正画像を生成することを特徴とする。

Claims (18)

1. 撮像系を用いて生成された互いに視差を有する複数の視差画像を用いて、前記撮像系の収差による劣化が抑制された補正画像を生成する画像処理装置であって、
   前記撮像系の光学情報と前記複数の視差画像における対応画素の画素値および画素値勾配のうち少なくとも一方とに応じて、前記複数の視差画像のそれぞれに対応する複数の重み付け用データであるウェイトを生成するウェイト生成手段と、
   前記複数の視差画像のそれぞれに対して前記ウェイトを適用した結果を用いて前記補正画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
2. 前記ウェイト生成手段は、前記複数の視差画像のうち前記画素値がより低い視差画像に対応する前記ウェイトの値がより大きくなるように前記複数のウェイトを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記ウェイト生成手段は、前記複数の視差画像のうち前記画素値勾配がより小さい視差画像に対応する前記ウェイトの値がより大きくなるように前記複数のウェイトを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記ウェイト生成手段は、前記光学情報に応じた方向での前記画素値勾配に応じて前記ウェイトを生成することを特徴とする請求項１または３に記載の画像処理装置。
5. 前記光学情報は、前記撮像系の点像分布関数に関する情報であることを特徴する請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記撮像系は、光学系の射出瞳のうち互いに異なる複数の瞳領域からの複数の光束を光電変換することで前記視差画像を生成し、
   前記光学情報は、前記複数の瞳領域の分離方向であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記光学情報は、前記複数の視差画像に対する前記収差の相違に関する情報であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記画像生成手段は、
   前記複数の視差画像において前記撮像系が合焦した領域である合焦領域を検出し、
   前記各視差画像における前記合焦領域に対して前記ウェイトを適用することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記画像生成手段は、
   前記複数の視差画像において画素値が飽和している飽和画素を検出し、
   前記各視差画像における前記飽和画素を含む領域に対して前記ウェイトを適用することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
10. 前記複数の視差画像に対して周辺光量低下量の差を小さくする補正を行って複数の光量補正視差画像を生成する周辺光量補正手段を有し、
    前記ウェイト生成手段は、前記複数の光量補正視差画像における前記画素値および前記画素値勾配のうち少なくとも一方と前記光学情報とに応じて前記複数のウェイトを生成し、
    前記画像生成手段は、前記複数の光量補正視差画像のそれぞれに対して対応する前記ウェイトを適用することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
11. 前記ウェイトは、前記画素値に応じた第１のウェイト成分と前記画素値勾配に応じた第２のウェイト成分とを含み、
    前記ウェイト生成手段は、前記ウェイトを、前記各視差画像における前記画素値がより低い領域に対しては前記第１のウェイト成分が前記第２のウェイト成分に比べてより重みを有し、かつ前記画素値がより高い領域に対しては前記第２のウェイト成分が前記第１のウェイト成分に比べてより重みを有するように生成することを特徴とする請求項１に記載の画像処理装置。
12. 前記光学情報に応じて、前記各視差画像における画像処理対象領域を判定する判定手段を有し、
    前記ウェイト生成手段は、前記画像処理対象領域に対して前記ウェイトを生成し、
    前記画像生成手段は、前記画像処理対象領域に前記ウェイトを適用することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 上記画像生成手段は、前記補正画像として、単一の画像または互いに視差を有する複数の画像を生成することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記複数の視差画像は、撮像光学系の射出瞳のうち互いに異なる領域からの複数の光束を撮像素子における互いに異なる光電変換部により光電変換することで生成された画像であることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 前記対応画素は複数の視差画像において同一位置に位置する画素であることを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 撮像系を用いて互いに視差を有する複数の視差画像を生成する撮像装置であって、
    請求項１から１５のいずれか一項に記載の画像処理装置を有することを特徴とする撮像装置。
17. 撮像系を用いて生成された互いに視差を有する複数の視差画像を用いて、前記撮像系の収差による劣化が抑制された補正画像を生成する画像処理方法であって、
    前記撮像系の光学情報と前記複数の視差画像における対応画素の画素値および画素値勾配のうち少なくとも一方とに応じて、前記複数の視差画像のそれぞれに対応する複数の重み付け用データであるウェイトを生成し、
    前記複数の視差画像のそれぞれに対して前記ウェイトを適用した結果を用いて前記補正画像を生成することを特徴とする画像処理方法。
18. 撮像系を用いて生成された互いに視差を有する複数の視差画像を用いて、前記撮像系の収差による劣化が抑制された補正画像を生成する画像処理をコンピュータに実行させるコンピュータプログラムであって、
    前記画像処理は、
    前記撮像系の光学情報と前記複数の視差画像における対応画素の画素値および画素値勾配のうち少なくとも一方とに応じて、前記複数の視差画像のそれぞれに対応する複数の重み付け用データであるウェイトを生成し、
    前記複数の視差画像のそれぞれに対して前記ウェイトを適用した結果を用いて前記補正画像を生成する処理であることを特徴とする画像処理プログラム。