JP2017016431A5 - - Google Patents

Claims (10)

1. 光透過性を有する光電変換素子を含む第１の光検出層と、前記第１の光検出層より下層にあり、ストライプ状に形成された反射部材からなる偏光子を含む偏光子層と、前記偏光子層より下層にあり光電変換素子を含む第２の光検出層と、を含む撮像素子をマトリクス状に配置したイメージセンサにより撮影された、共通の画素配列に対する自然光の画像と偏光成分の画像のデータを取得する画像データ取得部と、
   前記偏光成分の画像を用いて被写体表面の法線に係る情報を取得する法線情報取得部と、
   前記自然光の画像を用いて被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得し、前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するデプスマップ生成部と、
   少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記デプスマップ生成部はさらに、同一空間を左右の視点から撮影した偏光成分のステレオ画像から検出した特徴点を利用して、当該偏光成分のステレオ画像のそれぞれと共通の画素配列に対する自然光のステレオ画像における対応する点の視差を求めることにより、被写体の撮像面からの距離を求め、前記デプスマップを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記法線情報取得部は、同一空間を左右の視点から撮影した偏光成分のステレオ画像に基づき被写体表面の法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記法線情報取得部は、前記デプスマップから生成した被写体表面の法線ベクトルのデータを、一の視点から撮影した偏光成分の画像から取得した被写体表面の方位に基づき補正して最終的な法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記デプスマップ生成部は、同一空間を左右の視点から撮影した自然光のステレオ画像に基づき前記デプスマップを生成し、
   前記法線情報取得部は、前記デプスマップから生成した被写体表面の法線ベクトルのデータを、一の視点から撮影した偏光成分の画像から取得した被写体表面の方位に基づき補正して最終的な法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記法線情報取得部は、同一空間を左右の視点から撮影した自然光の画像の対応する領域の輝度差に基づき鏡面反射成分が支配的な領域を抽出し、前記偏光成分の画像における当該領域とそれ以外の領域で、被写体表面の方位を求める手法を切り替えることを特徴とする請求項４または５に記載の画像処理装置。
7. 多視点カメラと、その撮影画像のデータを取得し画像処理を行う画像処理装置を含む画像処理システムであって、
   前記多視点カメラは、
   光透過性を有する光電変換素子を含む第１の光検出層と、前記第１の光検出層より下層にあり、ストライプ状に形成された反射部材からなる偏光子を含む偏光子層と、前記偏光子層より下層にあり光電変換素子を含む第２の光検出層と、を含む撮像素子をマトリクス状に配置したイメージセンサにより撮影した、同じ画素配列に対する自然光の画像と偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置され、
   前記画像処理装置は、
   前記多視点カメラから、少なくとも複数視点から撮影した自然光の画像と、一視点から撮影した偏光成分の画像のデータを取得する画像データ取得部と、
   少なくとも前記偏光成分の画像を利用して被写体表面の法線に係る情報を求める法線情報取得部と、
   前記複数視点から撮影した自然光の画像に基づき被写体の撮像面からの距離を求め、画像平面にマッピングしたデプスマップを生成するデプスマップ生成部と、
   少なくとも前記デプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、
   を備え、
   前記デプスマップ生成部は、前記法線情報取得部が求めた対応する位置における法線に係る情報に基づき、前記デプスマップに表される距離を補間することを特徴とする画像処理システム。
8. 光透過性を有する光電変換素子を含む第１の光検出層と、前記第１の光検出層より下層にあり、ストライプ状に形成された反射部材からなる偏光子を含む偏光子層と、前記偏光子層より下層にあり光電変換素子を含む第２の光検出層と、を含む撮像素子をマトリクス状に配置したイメージセンサにより撮影した、同じ画素配列に対する自然光の画像と偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置されたことを特徴とする多視点カメラ。
9. 光透過性を有する光電変換素子を含む第１の光検出層と、前記第１の光検出層より下層にあり、ストライプ状に形成された反射部材からなる偏光子を含む偏光子層と、前記偏光子層より下層にあり光電変換素子を含む第２の光検出層と、を含む撮像素子をマトリクス状に配置したイメージセンサにより撮影された、同じ画素配列に対する自然光の画像と偏光成分の画像のデータを取得するステップと、
   前記偏光成分の画像を用いて被写体表面の法線に係る情報を取得するステップと、
   前記自然光の画像を用いて被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得するステップと、
   前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するステップと、
   少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力するステップと、
   を含むことを特徴とする画像処理装置による画像処理方法。
10. 光透過性を有する光電変換素子を含む第１の光検出層と、前記第１の光検出層より下層にあり、ストライプ状に形成された反射部材からなる偏光子を含む偏光子層と、前記偏光子層より下層にあり光電変換素子を含む第２の光検出層と、を含む撮像素子をマトリクス状に配置したイメージセンサにより撮影された、同じ画素配列に対する自然光の画像と偏光成分の画像のデータを取得する機能と、
    前記偏光成分の画像を用いて被写体表面の法線に係る情報を取得する機能と、
    前記自然光の画像を用いて被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得する機能と、
    前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成する機能と、
    少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。