JP2016163169A5 - - Google Patents

Description

本発明の一側面としての画像処理装置は、複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定する不要成分決定手段と、前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、前記不要成分情報に対して拡大処理を行う拡大処理手段と、前記拡大処理手段によって拡大された不要成分情報に基づいて、前記視差画像から不要成分を低減する不要成分低減手段とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、前記複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定する不要成分決定手段と、前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、前記不要成分情報に対して拡大処理を行う拡大処理手段と、前記拡大処理手段によって拡大された不要成分情報に基づいて、前記視差画像から不要成分を低減する不要成分低減手段とを有する。

本発明の他の側面としての画像処理方法は、複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定するステップと、前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、拡大された前記不要成分情報に基づいて、前記視差画像から不要成分を低減するステップとを有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定するステップと、前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行うステップと、前記不要成分情報に対して拡大処理を行うステップと、拡大された前記不要成分情報に基づいて、前記視差画像から不要成分を低減するステップと、をコンピュータに実行させるように構成されている。

Claims (23)

1. 複数の視差画像間の差分に関する差分情報に基づいて、該視差画像の不要成分情報を決定する不要成分決定手段と、
   前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、
   前記不要成分情報に対して拡大処理を行う拡大処理手段と、
   前記拡大処理手段によって拡大された不要成分情報に基づいて、前記視差画像から不要成分を低減する不要成分低減手段と、を有することを特徴とする画像処理装置。
2. 前記縮小処理手段は、前記複数の視差画像のそれぞれに対して前記縮小処理を行い、
   前記不要成分決定手段は、縮小処理後の前記複数の視差画像に関する前記差分情報に基づいて前記不要成分情報を決定し、
   前記拡大処理手段は、前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記縮小処理手段は、前記差分情報に対して前記縮小処理を行い、
   前記不要成分決定手段は、縮小処理後の前記差分情報に基づいて前記不要成分情報を決定し、
   前記拡大処理手段は、前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記縮小処理手段は、前記複数の視差画像に基づいて決定された前記不要成分情報に対して前記縮小処理を行い、
   前記拡大処理手段は、縮小処理後の前記不要成分情報を縮小処理前のサイズに戻すように前記拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
5. ノイズを低減するための平滑化処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ノイズ低減手段は、前記縮小処理手段が前記縮小処理を行った後に前記平滑化処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記ノイズ低減手段は、前記視差画像、前記差分情報、および、前記不要成分情報の少なくとも一つに対して前記平滑化処理を行うことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記ノイズ低減手段は、前記縮小処理手段が前記縮小処理を行う前に、該縮小処理の縮小率に応じて前記平滑化処理を行うことを特徴とする請求項５に記載の画像処理装置。
9. 前記縮小処理手段は、前記不要成分情報に基づいて決定された縮小率で前記縮小処理を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記不要成分低減手段は、前記複数の視差画像の位置合わせを行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記縮小処理手段は、画素の間引き処理、画素値の平均化処理、または、画素加算処理により前記縮小処理を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記不要成分決定手段は、各位置における前記差分情報の最大値または最小値に基づいて、前記不要成分情報を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該基準画像と該基準画像を除く他の視差画像との差分を算出して得られることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記差分情報は、２つの視差画像の差分の絶対値を算出して得られることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
15. 前記不要成分決定手段は、複数の前記差分情報を所定の閾値以下の値を切り捨てた２次元データとして取得し、該２次元データの各位置における複数の該差分情報の最大値または最小値を抽出することにより、前記基準画像における不要成分の位置および量を決定することを特徴とする請求項１３に記載の画像処理装置。
16. 前記不要成分決定手段は、前記不要成分情報を決定する領域を設定し、
    該領域の範囲内において該不要成分情報を決定することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記複数の視差画像は、光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、
    前記複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定する不要成分決定手段と、
    前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行う縮小処理手段と、
    前記不要成分情報に対して拡大処理を行う拡大処理手段と、
    前記拡大処理手段によって拡大された不要成分情報に基づいて、前記視差画像から不要成分を低減する不要成分低減手段と、を有することを特徴とする撮像装置。
19. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
    前記撮像手段は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１８に記載の撮像装置。
20. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束を、前記撮像手段における互いに異なる画素に導いて生成された複数の画像であることを特徴とする請求項１８に記載の撮像装置。
21. 複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定するステップと、
    前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行うステップと、
    前記不要成分情報に対して拡大処理を行うステップと、
    拡大された前記不要成分情報に基づいて、前記視差画像から不要成分を低減するステップと、を有することを特徴とする画像処理方法。
22. 複数の視差画像間の差分に関する差分情報に基づいて、該複数の視差画像の不要成分情報を決定するステップと、
    前記不要成分決定手段によって前記不要成分が決定される前に前記視差画像、前記差分情報のうちの少なくとも一方に対して縮小処理を行う、または、前記不要成分決定手段によって決定された前記不要成分情報に対して縮小処理を行うステップと、
    前記不要成分情報に対して拡大処理を行うステップと、
    拡大された前記不要成分情報に基づいて、前記視差画像から不要成分を低減するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
23. 請求項２２に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。