JP2020008502A - 偏光ステレオカメラによる深度取得装置及びその方法 - Google Patents
偏光ステレオカメラによる深度取得装置及びその方法 Download PDFInfo
- Publication number
- JP2020008502A JP2020008502A JP2018131841A JP2018131841A JP2020008502A JP 2020008502 A JP2020008502 A JP 2020008502A JP 2018131841 A JP2018131841 A JP 2018131841A JP 2018131841 A JP2018131841 A JP 2018131841A JP 2020008502 A JP2020008502 A JP 2020008502A
- Authority
- JP
- Japan
- Prior art keywords
- point
- image plane
- polarization
- normal vector
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】偏光画像から３次元空間中の対象物の深度情報を取得する深度取得装置を提供する。【解決手段】深度取得装置１００は、計測対象物５を撮像する複数の偏光子を備える第１偏光カメラ１１と第２偏光カメラ１２とを備えるステレオカメラ１により撮像された偏光画像に基づいて、各偏光子を透過した光の輝度を第１画像平面上の各点及び第２画像平面上の各点に対応付けて取得する輝度情報取得部２１と、光の輝度から算出される偏光度に基づいて、第１画像平面上の各点及び第２画像平面上の各点における法線ベクトル値を算出する法線ベクトル算出部２２と、第１画像平面上の各点及び第２画像平面上の各点における法線ベクトル値をマッチングして対応点を算出する対応点算出部２４と、対応点に基づいて計測対象物５の３次元座標値を算出する３次元座標値算出部２５と、を備える。【選択図】図１
Description
本発明は、２台の偏光カメラから構成されるステレオカメラにより、３次元空間中の被写体の深度情報を取得する装置及びその方法に関する。
従来、特許文献１に開示されているように、２台のカメラから構成されたステレオカメラにより、対象物に対してそれぞれ撮像された２つの２次元画像を取得し、一方の２次元画像における画像点と他方の２次元画像における画像点との対応関係を、例えば、色や輝度を用いてマッチングし、三角測量により、対象物の３次元形状（３次元座標値）を取得する方法はよく知られている。
しかしながら、それぞれのカメラによる撮像画像（ステレオ画像）間で色や輝度を用いてマッチングを行う場合、それぞれのカメラにおいて、光源、カメラ間の角度が異なるため、色や輝度の分布にカメラ間で差が生じることで、マッチングに誤差が生じ、ステレオ画像間の視差に基づいて計算する距離に誤差が生じてしまうことはよく知られている。
しかしながら、それぞれのカメラによる撮像画像（ステレオ画像）間で色や輝度を用いてマッチングを行う場合、それぞれのカメラにおいて、光源、カメラ間の角度が異なるため、色や輝度の分布にカメラ間で差が生じることで、マッチングに誤差が生じ、ステレオ画像間の視差に基づいて計算する距離に誤差が生じてしまうことはよく知られている。
他方、非特許文献１には、コンピュータビジョンの分野で利用されている偏光に関する研究や基礎理論が記載されている。非特許文献１には、光の偏光状態を実時間で計測することができる偏光カメラや、偏光度を用いて、不透明物体の形状を計測する手法等が紹介されている。
また、特許文献２には、左右の自然光画像から対応点を検出し、その視差から三角測量の原理で当該対応点の撮像面からの距離を算出して、画像平面にマッピングすることによりデプスマップを生成すること、偏光画像に基づいて算出される、画像平面にマッピングされた被写体表面の法線ベクトルの分布に基づいて、被写体の面の連続性を取得することが開示されている。
また、特許文献３には、対象物の３次元モデルを予め登録しておき、その後、偏光画像に基づいて算出される、画像平面にマッピングされた被写体表面の法線ベクトルの分布を求め、３次元モデルをカメラ座標系が設定されたワールド座標系に対象物の３次元モデルを配置し、それを移動、回転、変形させることにより、法線ベクトルの分布に適合する状態を求めることが開示されている。
また、特許文献４には、被写体のぼけ量に基づいて作成した被写体のデプス画像に対して、法線の情報を適用して、デプス画像の精度を高めることが開示されている。
以上のように、特許文献２、特許文献３、特許文献４には、予め作成された対象物の３次元モデルまたはデプスマップに対して、画像平面にマッピングされた被写体表面の法線ベクトルの分布を利用することで、予め作成された対象物の３次元モデルまたはデプスマップの精度を高めることが開示されている。
また、特許文献３には、対象物の３次元モデルを予め登録しておき、その後、偏光画像に基づいて算出される、画像平面にマッピングされた被写体表面の法線ベクトルの分布を求め、３次元モデルをカメラ座標系が設定されたワールド座標系に対象物の３次元モデルを配置し、それを移動、回転、変形させることにより、法線ベクトルの分布に適合する状態を求めることが開示されている。
また、特許文献４には、被写体のぼけ量に基づいて作成した被写体のデプス画像に対して、法線の情報を適用して、デプス画像の精度を高めることが開示されている。
以上のように、特許文献２、特許文献３、特許文献４には、予め作成された対象物の３次元モデルまたはデプスマップに対して、画像平面にマッピングされた被写体表面の法線ベクトルの分布を利用することで、予め作成された対象物の３次元モデルまたはデプスマップの精度を高めることが開示されている。
以上のように、偏光画像に基づいて、画像平面にマッピングされた被写体表面の法線ベクトルの分布を作成する技術は公知である。そして、特許文献２、特許文献３、及び特許文献４等に示されるように、予め作成された対象物の３次元モデルまたはデプスマップに対して、例えば、当該法線ベクトルの分布を利用することで、対象物の３次元モデルまたはデプスマップの精度を高める方法が知られているが、いずれも、例えば、対象物をステレオカメラ等により撮像した２画像に対して、色や輝度を用いてマッチングし、三角測量により、対象物の３次元形状（３次元座標値）を予め作成しておくことが前提となっており、その後、さらに、偏光画像による調整を行うため、それに係る労力は必ずしも簡単なものではなかった。
宮崎大輔、外１名、"偏光の基礎理論とその応用"、情報処理学会論文誌、コンピュータビジョンとイメージメディア、Ｖｏｌ．１、Ｎｏ．１、２００８年６月、６４−７２頁
上述した従来技術では、対象物を例えばステレオカメラ等により撮像した２画像に対して、色や輝度を用いてマッチングし、三角測量により、対象物の３次元形状（３次元座標値）を作成し、その後、さらに、偏光画像による調整を行うため、手間のかかるものであった。
本発明は、対象物の３次元モデルまたはデプスマップを予め作成することなく、偏光画像から、３次元空間中の対象物の深度情報（３次元位置情報）を取得する装置及びその方法を提供することを目的とする。
（１）本願発明は、少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第１偏光カメラと、少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第２偏光カメラと、を備え、被写体を撮像するステレオカメラと、前記第１偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第１偏光カメラの画像平面である第１画像平面上の各点の位置情報に対応付けて取得する第１輝度情報取得部と、前記第２偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第２偏光カメラの画像平面である第２画像平面上の各点の位置情報に対応付けて取得する第２輝度情報取得部と、前記第１輝度情報取得部により取得された前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から算出される偏光度に基づいて、前記第１画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第１法線ベクトル値を算出して、前記第１画像平面上の各点の位置情報に対応付ける第１法線ベクトル算出部と、前記第２輝度情報取得部により取得された前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、前記第２画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第２法線ベクトル値を算出して、前記第２画像平面上の各点の位置情報に対応付ける第２法線ベクトル算出部と、前記第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点に対応付けられた第２法線ベクトル値と、をマッチングして前記第１画像平面と前記第２画像平面との対応点を算出する対応点算出部と、前記対応点算出部により算出された対応点にもとづいて、前記対応点に射影された前記被写体の表面上の点の予め設定された基準座標系における３次元座標値を算出する３次元座標値算出部と、を備える深度取得装置に関する。
（２） （１）に記載の第１法線ベクトル算出部は、前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から拡散反射光の偏光度及び／又は鏡面反射光の偏光度を算出し、前記拡散反射光の偏光度に基づく第１法線ベクトル値及び／又は前記鏡面反射光の偏光度に基づく第１法線ベクトル値を算出し、前記第２法線ベクトル算出部は、前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から拡散反射光の偏光度及び／又は鏡面反射光の偏光度を算出し、前記拡散反射光の偏光度に基づく第２法線ベクトル値及び／又は前記鏡面反射光の偏光度に基づく第２法線ベクトル値を算出してもよい。
（３） （１）又は（２）に記載の対応点算出部は、前記第１画像平面上の各点とその近傍に対応付けられた第１法線ベクトル値の分布状況と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点とその近傍に対応付けられた第２法線ベクトル値の分布状況と、をマッチングして、前記第１画像平面と前記第２画像平面との対応点を算出してもよい。
（４）（１）〜（３）のいずれかに記載の深度取得装置は、前記第１画像平面上の各点に対応付けられた第１法線ベクトル値が同一となる、前記第１画像平面上の連続する点を含む連続領域を検出するとともに、前記連続領域を除く第１画像平面上の点であって、その点の近傍に法線ベクトル値が同一値となる連続領域があり、かつ、その点における第１法線ベクトル値が前記連続領域における法線ベクトル値から不連続的に急激に変化するエッジ点を検出する平面領域検出部を備え、前記３次元座標値算出部は、前記エッジ点に基づいて、前記第１画像平面上の第１法線ベクトル値が同一となる前記連続領域に対応する前記被写体の表面領域上の各点の前記基準座標系における３次元座標値を算出してもよい。
（５） （４）に記載の対応点算出部は、前記連続領域上の各点の前記基準座標系における３次元座標値に基づいて、前記第１画像平面の前記連続領域上の点と前記第２画像平面における対応点を算出してもよい。
（６） （１）〜（５）のいずれかに記載の深度取得装置は、前記第１偏光カメラ及び前記第２偏光カメラとは別に第３のカメラと、前記第３のカメラにより撮像した画像データに、前記基準座標系における３次元座標値を対応づけることにより点群データを生成する点群データ生成部と、を備えるようにしてもよい。
（７） 本願発明は、少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第１偏光カメラと少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第２偏光カメラとを備える被写体を撮像するステレオカメラと、通信可能に接続されるコンピュータにより、前記第１偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第１偏光カメラの画像平面である第１画像平面上の各点の位置情報に対応付けて取得する第１輝度情報取得ステップと、前記第２偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第２偏光カメラの画像平面である第２画像平面上の各点の位置情報に対応付けて取得する第２輝度情報取得ステップと、前記第１輝度情報取得ステップにおいて取得された前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から算出される偏光度に基づいて、前記第１画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第１法線ベクトル値を算出して、前記第１画像平面上の各点の位置情報に対応付ける第１法線ベクトル算出ステップと、前記第２輝度情報取得ステップにおいて取得された前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、前記第２画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第２法線ベクトル値を算出して、前記第２画像平面上の各点の位置情報に対応付ける第２法線ベクトル算出ステップと、前記第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点に対応付けられた第２法線ベクトル値と、をマッチングして前記第１画像平面と前記第２画像平面との対応点を算出する対応点算出ステップと、前記対応点算出ステップにおいて算出された対応点にもとづいて、前記対応点に射影された前記被写体の表面上の点の予め設定された基準座標系における３次元座標値を算出する３次元座標値算出ステップと、を備える深度情報取得方法に関する。
（８）本願発明は、コンピュータに、（７）に記載の各ステップを実行させるためのコンピュータプログラムに関する。
本発明の深度取得装置及びその方法によれば、対象物の３次元モデルまたはデプスマップを予め作成することなく、偏光画像から、３次元空間中の対象物の深度情報（３次元位置情報）を取得する装置及びその方法を提供することができる。
以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る深度取得装置１００の機能構成を示す図である。なお、本実施形態においては、被写体となる計測対象物５を構成する色素粒子により散乱された光である拡散反射光に基づく深度取得を例示する。
図１は、本実施形態に係る深度取得装置１００の機能構成を示す図である。なお、本実施形態においては、被写体となる計測対象物５を構成する色素粒子により散乱された光である拡散反射光に基づく深度取得を例示する。
図１に示すように、深度取得装置１００は、被写体となる計測対象物５を任意のフレームレート（例えば、３０ｆｐｓ等）で撮影するステレオカメラ１と、ステレオカメラ１で撮影した画像データに基づいて所定の情報処理を行う制御部２と、記憶部３と、を含んで構成される。
＜ステレオカメラ１＞
ステレオカメラ１は、第１偏光カメラ１１と第２偏光カメラ１２とを備えている。
図２に示すように、第１偏光カメラ１１及び第２偏光カメラ１２は、それぞれパターン偏光子１１１、１２１を備える。
パターン偏光子１１１、１２１は、例えば、図２の溝に示されるように、偏光主軸角度が０度、４５度、９０度、及び１３５度の４種類の偏光子を１組として、２次元状に配置された偏光子の集まりである。各偏光子は溝の方向に直交する方向の偏光成分を透過し、溝の方向に平行な方向の偏光成分を透過しない（反射する）という偏光特性を示す。なお、図２に示すパターン偏光子については、例えば、特開２００９−５８５３３号公報、特開２０１７−３８０１１号公報、特開２０１８−４６３４０号公報等に開示されている。
撮像素子１１２、１２２（図示せず）は、パターン偏光子１１１，１２１を透過した光を受光する２次元状に配置された画素（ピクセル）の集まりである。本実施形態における撮像素子は、グレースケールに係る撮像素子の場合を例示する。すなわち、４種類の異なる角度のパターン偏光子が、各画素上に配置され、同時に４つの主軸角度に対応する光の輝度を取得することができる。
透過した偏光成分を撮像素子１１２、１２２（図示せず）に含まれる光検出層（図示せず）で検出することにより、同時に４種類の偏光輝度が取得される。なお、４種類の輝度情報がそれぞれ４つの撮像素子で取得される場合、当該撮像素子に対応する画素に対して４種類の輝度情報を対応付けることができる。また、これらをひとまとめにした画素に対して４種類の輝度情報を対応付けるようにしてもよい。
なお、偏光輝度の取得に際して、グレースケールに係る撮像素子に限られない。例えば、特開２００９−５８５３３号公報、特開２０１７−３８０１１号公報、特開２０１８−４６３４０号公報等に例示された、カラー画像に係る撮像素子（Ｒ，Ｇ，Ｂ）を適用してもよい。この場合は、Ｒ、Ｇ、Ｂそれぞれについて、同時に４種類の偏光輝度を取得することができるため、例えば、Ｒ，Ｇ，Ｂ任意の組み合わせによる偏光輝度を適用してもよい。例えば、ＲＧＢに基づく色空間の色を光度だけで表されるグレースケールに変換（輝度保存変換）したものを適用してもよい。また、Ｒの偏光画像に基づく偏光輝度、Ｇの偏光画像、又はＢの偏光画像に基づく偏光輝度を適用してもよい。
ステレオカメラ１は、第１偏光カメラ１１と第２偏光カメラ１２とを備えている。
図２に示すように、第１偏光カメラ１１及び第２偏光カメラ１２は、それぞれパターン偏光子１１１、１２１を備える。
パターン偏光子１１１、１２１は、例えば、図２の溝に示されるように、偏光主軸角度が０度、４５度、９０度、及び１３５度の４種類の偏光子を１組として、２次元状に配置された偏光子の集まりである。各偏光子は溝の方向に直交する方向の偏光成分を透過し、溝の方向に平行な方向の偏光成分を透過しない（反射する）という偏光特性を示す。なお、図２に示すパターン偏光子については、例えば、特開２００９−５８５３３号公報、特開２０１７−３８０１１号公報、特開２０１８−４６３４０号公報等に開示されている。
撮像素子１１２、１２２（図示せず）は、パターン偏光子１１１，１２１を透過した光を受光する２次元状に配置された画素（ピクセル）の集まりである。本実施形態における撮像素子は、グレースケールに係る撮像素子の場合を例示する。すなわち、４種類の異なる角度のパターン偏光子が、各画素上に配置され、同時に４つの主軸角度に対応する光の輝度を取得することができる。
透過した偏光成分を撮像素子１１２、１２２（図示せず）に含まれる光検出層（図示せず）で検出することにより、同時に４種類の偏光輝度が取得される。なお、４種類の輝度情報がそれぞれ４つの撮像素子で取得される場合、当該撮像素子に対応する画素に対して４種類の輝度情報を対応付けることができる。また、これらをひとまとめにした画素に対して４種類の輝度情報を対応付けるようにしてもよい。
なお、偏光輝度の取得に際して、グレースケールに係る撮像素子に限られない。例えば、特開２００９−５８５３３号公報、特開２０１７−３８０１１号公報、特開２０１８−４６３４０号公報等に例示された、カラー画像に係る撮像素子（Ｒ，Ｇ，Ｂ）を適用してもよい。この場合は、Ｒ、Ｇ、Ｂそれぞれについて、同時に４種類の偏光輝度を取得することができるため、例えば、Ｒ，Ｇ，Ｂ任意の組み合わせによる偏光輝度を適用してもよい。例えば、ＲＧＢに基づく色空間の色を光度だけで表されるグレースケールに変換（輝度保存変換）したものを適用してもよい。また、Ｒの偏光画像に基づく偏光輝度、Ｇの偏光画像、又はＢの偏光画像に基づく偏光輝度を適用してもよい。
＜第１偏光カメラ１１及び第２偏光カメラ１２の座標系＞
ここで、第１偏光カメラ１１及び第２偏光カメラ１２の備える座標系について簡単に説明する。
第１偏光カメラ１１は、固有の座標系、すなわち、第１カメラ座標系、第１正規化画像座標系、及び第１デジタル画像座標系を備える。同様に、第２偏光カメラ１２は、固有の座標系、すなわち、第２カメラ座標系、第２正規化画像座標系、及び第２デジタル画像座標系を備える。以下、第１偏光カメラ１１の座標系について説明する。図３は、第１偏光カメラ１１の備える座標系（第１カメラ座標系及び第１画像座標系）を示す図である。なお、図３では、第１偏光カメラ１１及び第２偏光カメラ１２を共通化して、インデックスを省略している。
なお、本実施例では、第１偏光カメラ１１及び第２偏光カメラ１２において、レンズ歪みの影響をキャンセルした補正画像が得られるものとし、内部パラメータは既知とする。
ここで、第１偏光カメラ１１及び第２偏光カメラ１２の備える座標系について簡単に説明する。
第１偏光カメラ１１は、固有の座標系、すなわち、第１カメラ座標系、第１正規化画像座標系、及び第１デジタル画像座標系を備える。同様に、第２偏光カメラ１２は、固有の座標系、すなわち、第２カメラ座標系、第２正規化画像座標系、及び第２デジタル画像座標系を備える。以下、第１偏光カメラ１１の座標系について説明する。図３は、第１偏光カメラ１１の備える座標系（第１カメラ座標系及び第１画像座標系）を示す図である。なお、図３では、第１偏光カメラ１１及び第２偏光カメラ１２を共通化して、インデックスを省略している。
なお、本実施例では、第１偏光カメラ１１及び第２偏光カメラ１２において、レンズ歪みの影響をキャンセルした補正画像が得られるものとし、内部パラメータは既知とする。
＜第１カメラ座標系＞
第１カメラ座標系は、空間を表す３次元座標として、第１偏光カメラ１１を中心としてみた３次元座標系である。第１カメラ座標系は、一般的に、カメラレンズの中心を原点として、第１偏光カメラ１１の光軸方向をＺ軸とし、第１偏光カメラ１１の上向きをＹ軸とし、第１偏光カメラ１１の横向きをＸ軸とする３次元座標系（右手系）とされる。
以下、特に断らない限り、第１偏光カメラ１１による座標値を（Ｘ１，Ｙ１，Ｚ１）で表す。
第１カメラ座標系は、空間を表す３次元座標として、第１偏光カメラ１１を中心としてみた３次元座標系である。第１カメラ座標系は、一般的に、カメラレンズの中心を原点として、第１偏光カメラ１１の光軸方向をＺ軸とし、第１偏光カメラ１１の上向きをＹ軸とし、第１偏光カメラ１１の横向きをＸ軸とする３次元座標系（右手系）とされる。
以下、特に断らない限り、第１偏光カメラ１１による座標値を（Ｘ１，Ｙ１，Ｚ１）で表す。
＜第１正規化画像座標系＞
第１正規化画像座標系は、光軸上の点を原点とし、ｘ軸、ｙ軸をそれぞれ、Ｘ軸、Ｙ軸に平行にとり、焦点距離ｆ１を１とした２次元座標系（ｘ、ｙ）を第１正規化画像座標系という。
以下、特に断らない限り、第１正規化画像座標系による座標値を（ｘ１，ｙ１）で表す。
このとき、
ｘ１ ＝ Ｘ１／Ｚ１
ｙ１ ＝ Ｙ１／Ｚ１
が成り立つ。
第１正規化画像座標系は、光軸上の点を原点とし、ｘ軸、ｙ軸をそれぞれ、Ｘ軸、Ｙ軸に平行にとり、焦点距離ｆ１を１とした２次元座標系（ｘ、ｙ）を第１正規化画像座標系という。
以下、特に断らない限り、第１正規化画像座標系による座標値を（ｘ１，ｙ１）で表す。
このとき、
ｘ１ ＝ Ｘ１／Ｚ１
ｙ１ ＝ Ｙ１／Ｚ１
が成り立つ。
＜第１画像座標系＞
第１画像座標系は、画素数（ｐｉｘｅｌ）単位で記述される。
第１画像座標系は、左上を原点とし、右方向を第１軸（ｕ軸）、下方向を第２軸（ｖ軸）とする。また、光軸が通る点を画像中心といい（ｃｕ１，ｃｖ１）で表す。
ｆ１を第１偏光カメラ１１の焦点距離、δｕ１及びδｖ１は、それぞれ、撮像素子の画素の横、縦の間隔とすると、
αｕ１ ＝ ｆ１／δｕ１ 及びαｖ１ ＝ ｆ１／δｖ１ は、画素数（ｐｉｘｅｌ）単位で表される焦点距離とする。
このとき、第１正規化画像座標（ｘ１，ｙ１）と第１画像座標（ｕ１，ｖ１）の間には、
ｕ１ ＝ αｕ１ｘ１＋ｃｕ１ ここで、αｕ１ ＝ ｆ１／δｕ１
ｖ１ ＝ αｖ１ｙ１＋ｃｖ１ ここで、αｖ１ ＝ ｆ１／δｖ１
なお、αｕ１ αｖ１とｃｕ１ ｃｖ１をカメラの内部パラメータという。
以上、第１偏光カメラ１１の備える座標系について説明した。第２偏光カメラ１２の備える座標系は、上記説明において、「第１」を「第２」に読み換えるとともに、各インデックス１をインデックス２に読み換えることで説明される。
第１画像座標系は、画素数（ｐｉｘｅｌ）単位で記述される。
第１画像座標系は、左上を原点とし、右方向を第１軸（ｕ軸）、下方向を第２軸（ｖ軸）とする。また、光軸が通る点を画像中心といい（ｃｕ１，ｃｖ１）で表す。
ｆ１を第１偏光カメラ１１の焦点距離、δｕ１及びδｖ１は、それぞれ、撮像素子の画素の横、縦の間隔とすると、
αｕ１ ＝ ｆ１／δｕ１ 及びαｖ１ ＝ ｆ１／δｖ１ は、画素数（ｐｉｘｅｌ）単位で表される焦点距離とする。
このとき、第１正規化画像座標（ｘ１，ｙ１）と第１画像座標（ｕ１，ｖ１）の間には、
ｕ１ ＝ αｕ１ｘ１＋ｃｕ１ ここで、αｕ１ ＝ ｆ１／δｕ１
ｖ１ ＝ αｖ１ｙ１＋ｃｖ１ ここで、αｖ１ ＝ ｆ１／δｖ１
なお、αｕ１ αｖ１とｃｕ１ ｃｖ１をカメラの内部パラメータという。
以上、第１偏光カメラ１１の備える座標系について説明した。第２偏光カメラ１２の備える座標系は、上記説明において、「第１」を「第２」に読み換えるとともに、各インデックス１をインデックス２に読み換えることで説明される。
第１偏光カメラ１１の有する第１カメラ座標系と第２偏光カメラ１２の有する第２カメラ座標系との関係について簡単に説明する。
第１偏光カメラ１１と第２偏光カメラ１２とを予めキャリブレーションすることで、第１偏光カメラ１１の第１カメラ座標系における座標値を第２偏光カメラ１２の第２カメラ座標系における座標値に変換する座標変換行列２Ｔ１を算出しておき、例えば、記憶部３に予め記憶しておく。同様に、第２偏光カメラ１２の第２カメラ座標系における座標値を第１偏光カメラ１１の第１カメラ座標系における座標値に変換する座標変換行列１Ｔ２を算出しておき、予め記憶部３に記憶しておく。
これらの間には以下の関係が成り立つ。
１Ｔ２・２Ｔ１＝Ｅ
２Ｔ１・１Ｔ２＝Ｅ
第１偏光カメラ１１と第２偏光カメラ１２とを予めキャリブレーションすることで、第１偏光カメラ１１の第１カメラ座標系における座標値を第２偏光カメラ１２の第２カメラ座標系における座標値に変換する座標変換行列２Ｔ１を算出しておき、例えば、記憶部３に予め記憶しておく。同様に、第２偏光カメラ１２の第２カメラ座標系における座標値を第１偏光カメラ１１の第１カメラ座標系における座標値に変換する座標変換行列１Ｔ２を算出しておき、予め記憶部３に記憶しておく。
これらの間には以下の関係が成り立つ。
１Ｔ２・２Ｔ１＝Ｅ
２Ｔ１・１Ｔ２＝Ｅ
また、予め基準座標系（いわゆるワールド座標系）を設定しておくことで、被写体の表面上の各点を基準座標系における基準座標であらわすことができる。以下、特に断らない限り、基準座標系による座標値を（ＸＷ，ＹＷ，ＺＷ）で表す。
その際、予めキャリブレーションすることで、第１カメラ座標系における座標値を基準座標系における座標値に変換する座標変換行列ＷＴ１を算出するとともに、基準座標系における座標値を第１カメラ座標系における座標値に変換する座標変換行列１ＴＷを算出しておき、予め記憶部３に記憶しておく。同様に、第２カメラ座標系における座標値を基準座標系における座標値に変換する座標変換行列ＷＴ２を算出するとともに基準座標系における座標値を第２カメラ座標系における座標値に変換する座標変換行列２ＴＷを算出しておき、予め記憶部３に記憶する。
その際、予めキャリブレーションすることで、第１カメラ座標系における座標値を基準座標系における座標値に変換する座標変換行列ＷＴ１を算出するとともに、基準座標系における座標値を第１カメラ座標系における座標値に変換する座標変換行列１ＴＷを算出しておき、予め記憶部３に記憶しておく。同様に、第２カメラ座標系における座標値を基準座標系における座標値に変換する座標変換行列ＷＴ２を算出するとともに基準座標系における座標値を第２カメラ座標系における座標値に変換する座標変換行列２ＴＷを算出しておき、予め記憶部３に記憶する。
＜制御部２＞
制御部２は、深度取得装置１００の全体を制御する部分であり、例えば記憶部３に記憶されたソフトウェア（深度取得プログラム）を適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部２は、ＣＰＵであってよい。制御部２の詳細については後述する。
制御部２は、深度取得装置１００の全体を制御する部分であり、例えば記憶部３に記憶されたソフトウェア（深度取得プログラム）を適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部２は、ＣＰＵであってよい。制御部２の詳細については後述する。
＜記憶部３＞
図４は、記憶部３の概略ブロック図である。記憶部３は、ハードウェア群を制御部２として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。また、後述するように、記憶部３は、第１画像平面上の各画素の位置情報と、第１画像平面にマッピングされた被写体表面の法線ベクトル値との対応テーブル（以下、「第１法線ベクトル分布テーブル３１」という）と、第２画像平面上の各画素の位置情報と、第１画像平面にマッピングされた被写体表面の法線ベクトル値との対応テーブル（以下「第２法線ベクトル分布テーブル３２」という）と、を記憶する。この外、後述する「対応点情報テーブル３３」及び「３次元座標値テーブル３４」を記憶する。詳細については後述する。
図４は、記憶部３の概略ブロック図である。記憶部３は、ハードウェア群を制御部２として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。また、後述するように、記憶部３は、第１画像平面上の各画素の位置情報と、第１画像平面にマッピングされた被写体表面の法線ベクトル値との対応テーブル（以下、「第１法線ベクトル分布テーブル３１」という）と、第２画像平面上の各画素の位置情報と、第１画像平面にマッピングされた被写体表面の法線ベクトル値との対応テーブル（以下「第２法線ベクトル分布テーブル３２」という）と、を記憶する。この外、後述する「対応点情報テーブル３３」及び「３次元座標値テーブル３４」を記憶する。詳細については後述する。
＜制御部２の機能構成＞
図５は、制御部２の備える機能ブロックを示す概略図である。図５に示すように、制御部２は、輝度情報取得部２１と、法線ベクトル算出部２２と、平面領域検出部２３と、対応点算出部２４と、３次元座標値算出部２５と、を備える。輝度情報取得部２１は、さらに第１輝度情報取得部２１１と、第２輝度情報取得部２１２と、を含む。法線ベクトル算出部２２は、さらに第１法線ベクトル算出部２２１と、第２法線ベクトル算出部２２２と、を含む。
図５は、制御部２の備える機能ブロックを示す概略図である。図５に示すように、制御部２は、輝度情報取得部２１と、法線ベクトル算出部２２と、平面領域検出部２３と、対応点算出部２４と、３次元座標値算出部２５と、を備える。輝度情報取得部２１は、さらに第１輝度情報取得部２１１と、第２輝度情報取得部２１２と、を含む。法線ベクトル算出部２２は、さらに第１法線ベクトル算出部２２１と、第２法線ベクトル算出部２２２と、を含む。
＜輝度情報取得部２１＞
輝度情報取得部２１は、第１輝度情報取得部２１１と、第２輝度情報取得部２１２と、を含む。第１輝度情報取得部２１１は、第１偏光カメラ１１により撮像された各フレームに対して、第１偏光カメラ１１における各偏光子をそれぞれ透過した光の輝度をそれぞれ第１偏光カメラ１１の画像平面である第１画像平面上の各点の位置情報に対応付けて取得する。他方、第２輝度情報取得部２１２は、第１偏光カメラ１１により撮像された各フレームに対して、第２偏光カメラ１２における各偏光子をそれぞれ透過した光の輝度をそれぞれ第２偏光カメラ１２の画像平面である第２画像平面上の各点の位置情報に対応付けて取得する。
すなわち、本実施形態においては、第１輝度情報取得部２１１は、第１偏光カメラ１１により撮像されたフレームごとに、当該フレームの第１画像平面上の各画素における、４つの偏光方位（４通りの主軸角度）に対する輝度変化を取得する。同様に、第２輝度情報取得部２１２は、当該フレームの第２画像平面上の各画素における、４つの偏光方位に対する輝度変化を取得する。このように、輝度情報は、各フレームごとに取得される。以下、特に断らない限り、各機能部は、フレームごとに、深度情報及び３次元座標位置情報を算出する。そして、各機能部により作成される情報は、フレームを識別するためのフレーム識別情報（例えばタイムスタンプ）が付与されているものとする。
輝度情報取得部２１は、第１輝度情報取得部２１１と、第２輝度情報取得部２１２と、を含む。第１輝度情報取得部２１１は、第１偏光カメラ１１により撮像された各フレームに対して、第１偏光カメラ１１における各偏光子をそれぞれ透過した光の輝度をそれぞれ第１偏光カメラ１１の画像平面である第１画像平面上の各点の位置情報に対応付けて取得する。他方、第２輝度情報取得部２１２は、第１偏光カメラ１１により撮像された各フレームに対して、第２偏光カメラ１２における各偏光子をそれぞれ透過した光の輝度をそれぞれ第２偏光カメラ１２の画像平面である第２画像平面上の各点の位置情報に対応付けて取得する。
すなわち、本実施形態においては、第１輝度情報取得部２１１は、第１偏光カメラ１１により撮像されたフレームごとに、当該フレームの第１画像平面上の各画素における、４つの偏光方位（４通りの主軸角度）に対する輝度変化を取得する。同様に、第２輝度情報取得部２１２は、当該フレームの第２画像平面上の各画素における、４つの偏光方位に対する輝度変化を取得する。このように、輝度情報は、各フレームごとに取得される。以下、特に断らない限り、各機能部は、フレームごとに、深度情報及び３次元座標位置情報を算出する。そして、各機能部により作成される情報は、フレームを識別するためのフレーム識別情報（例えばタイムスタンプ）が付与されているものとする。
＜法線ベクトル算出部２２＞
第１法線ベクトル算出部２２１は、第１輝度情報取得部２１１により取得された第１偏光カメラ１１の第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、第１画像平面上の各点の位置に投影される被写体となる計測対象物５の表面上の点の位置における法線ベクトル値（第１法線ベクトル値）を算出して、第１画像平面上の各点の位置情報に対応付ける。そうすることで、第１法線ベクトル算出部２２１は、第１画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第１法線ベクトル分布テーブル３１）を記憶部３に記憶する。
同様に、第２法線ベクトル算出部２２２は、第２輝度情報取得部２１２により取得された第２偏光カメラ１２の第２画像平面上の各画素の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、第２画像平面上の各画素の位置に投影される被写体となる計測対象物５の表面上の点の位置における法線ベクトル値（第２法線ベクトル値）を算出して、第２画像平面上の各画素の位置情報に対応付ける。そうすることで、第２法線ベクトル算出部２２２は、第２画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第２法線ベクトル分布テーブル３２）を記憶部３に記憶する。
第１法線ベクトル算出部２２１は、第１輝度情報取得部２１１により取得された第１偏光カメラ１１の第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、第１画像平面上の各点の位置に投影される被写体となる計測対象物５の表面上の点の位置における法線ベクトル値（第１法線ベクトル値）を算出して、第１画像平面上の各点の位置情報に対応付ける。そうすることで、第１法線ベクトル算出部２２１は、第１画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第１法線ベクトル分布テーブル３１）を記憶部３に記憶する。
同様に、第２法線ベクトル算出部２２２は、第２輝度情報取得部２１２により取得された第２偏光カメラ１２の第２画像平面上の各画素の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、第２画像平面上の各画素の位置に投影される被写体となる計測対象物５の表面上の点の位置における法線ベクトル値（第２法線ベクトル値）を算出して、第２画像平面上の各画素の位置情報に対応付ける。そうすることで、第２法線ベクトル算出部２２２は、第２画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第２法線ベクトル分布テーブル３２）を記憶部３に記憶する。
複数の偏光子を介して観察される輝度情報に基づいて、被写体となる計測対象物５の表面の法線ベクトル値を算出する方法は、例えば、非特許文献１、特開２００９−５８５３３号公報、特許文献３等に開示されており、当業者にとって、公知の技術であり、本実施形態においてはこれらを適用してもよい。以下に、第１法線ベクトル算出部２２１について、その概要を簡単に説明する。なお、第２法線ベクトル算出部２２２については、第１法線ベクトル算出部２２１と同様であり、その説明は省略する。
＜各撮像単位１１３で観察される輝度の最大値、最小値、及び偏光位相の算出＞
偏光子を介して第１画像平面上の各画素ごとに観察される輝度Ｉは、偏光子の主軸角度ｖ（０度≦ｖ≦１８０度）の大きさに応じて、式１で表すことが知られている。ここで、Ｉｍａｘ、Ｉｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは、最大輝度Ｉｍａｘが観察されるときの主軸角度の大きさである位相角である。
Ｉ＝（Ｉｍａｘ＋Ｉｍｉｎ）／２ ＋（（Ｉｍａｘ−Ｉｍｉｎ）／２）ｃｏｓ（２ｖ−２φ）
（式１）
そうすると、ｖ＝０度、４５度、９０度、及び１３５度のときに取得された輝度Ｉ０、Ｉ４５，Ｉ９０，Ｉ１３５に基づいて、それらの座標（Ｉ０，０度）、（Ｉ４５，４５度）、（Ｉ９０，９０度）、（Ｉ１３５，１３５度）を通る曲線を、例えば最小二乗法等を用いてコサイン関数に近似させることにより、Ｉｍａｘ、Ｉｍｉｎ、及び位相角φを求めることができる。
偏光子を介して第１画像平面上の各画素ごとに観察される輝度Ｉは、偏光子の主軸角度ｖ（０度≦ｖ≦１８０度）の大きさに応じて、式１で表すことが知られている。ここで、Ｉｍａｘ、Ｉｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは、最大輝度Ｉｍａｘが観察されるときの主軸角度の大きさである位相角である。
Ｉ＝（Ｉｍａｘ＋Ｉｍｉｎ）／２ ＋（（Ｉｍａｘ−Ｉｍｉｎ）／２）ｃｏｓ（２ｖ−２φ）
（式１）
そうすると、ｖ＝０度、４５度、９０度、及び１３５度のときに取得された輝度Ｉ０、Ｉ４５，Ｉ９０，Ｉ１３５に基づいて、それらの座標（Ｉ０，０度）、（Ｉ４５，４５度）、（Ｉ９０，９０度）、（Ｉ１３５，１３５度）を通る曲線を、例えば最小二乗法等を用いてコサイン関数に近似させることにより、Ｉｍａｘ、Ｉｍｉｎ、及び位相角φを求めることができる。
＜各画素で観察される偏光度の算出＞
第１画像平面上の各画素で観察される偏光度ρは、式２で表すことが知られている。
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ） （式２）
したがって、式１に基づいて算出されたＩｍａｘ、Ｉｍｉｎを式２に適用することで、画素ごとに観察される偏光度ρを求めることができる。
第１画像平面上の各画素で観察される偏光度ρは、式２で表すことが知られている。
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ） （式２）
したがって、式１に基づいて算出されたＩｍａｘ、Ｉｍｉｎを式２に適用することで、画素ごとに観察される偏光度ρを求めることができる。
＜被写体となる計測対象物５の表面の法線＞
各画素に投影される被写体となる計測対象物５の表面上の点における法線については、以下のことが知られている。
すなわち、被写体となる計測対象物５を第１偏光カメラ１１又は第２偏光カメラ１２で撮影するとき、計測対象物５を構成する色素粒子により散乱された光である拡散反射光が主として撮影される場合、光の出射面の角度を表す方位角と、当該面上での拡散反射光の放射角度である天頂角θに基づいて算出されることが知られている。
ここで、光の出射面の角度を表す方位角αは、（式１）において最大輝度Ｉｍａｘを与える主軸角度（すなわち、位相角φ）に等しい。
また、拡散反射の場合の偏光度ρｄは、天頂角θと計測対象物５の屈折率ｎを用いて、（式３）で表されることが知られている。なお、屈折率ｎは、計測対象物５の媒質によって異なる値をとるが、ほとんどの対象物に対して、１．３≦ｎ≦１．８がなりたち、また、ｎがこの範囲の値となる場合には、例えばｎ＝１．３として計算した場合、（式３）で算出されるθの値の誤差は無視できる。
各画素に投影される被写体となる計測対象物５の表面上の点における法線については、以下のことが知られている。
すなわち、被写体となる計測対象物５を第１偏光カメラ１１又は第２偏光カメラ１２で撮影するとき、計測対象物５を構成する色素粒子により散乱された光である拡散反射光が主として撮影される場合、光の出射面の角度を表す方位角と、当該面上での拡散反射光の放射角度である天頂角θに基づいて算出されることが知られている。
ここで、光の出射面の角度を表す方位角αは、（式１）において最大輝度Ｉｍａｘを与える主軸角度（すなわち、位相角φ）に等しい。
また、拡散反射の場合の偏光度ρｄは、天頂角θと計測対象物５の屈折率ｎを用いて、（式３）で表されることが知られている。なお、屈折率ｎは、計測対象物５の媒質によって異なる値をとるが、ほとんどの対象物に対して、１．３≦ｎ≦１．８がなりたち、また、ｎがこの範囲の値となる場合には、例えばｎ＝１．３として計算した場合、（式３）で算出されるθの値の誤差は無視できる。
したがって、式２に基づいて算出された偏光度ρ（＝ρｄ）及びｎ＝１．３を式３に適用することで、天頂角θを求めることができる。
＜法線ベクトル値＞
式１で算出された位相角に等しい、光の出射面の角度を表す方位角α及び式３で算出された天頂角θにより、第１画像平面上の各画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、（式４）により算出することができる。
式１で算出された位相角に等しい、光の出射面の角度を表す方位角α及び式３で算出された天頂角θにより、第１画像平面上の各画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、（式４）により算出することができる。
以上のように、第１法線ベクトル算出部２２１は、第１偏光カメラ１１により撮像されたフレームに対して、第１画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第１法線ベクトル分布テーブル３１）を作成して、記憶部３に記憶する。ここで、第１法線ベクトル分布テーブル３１に記憶させた各法線ベクトル値ｐｘ、ｐｙ、ｐｚは、法線ベクトルの第１カメラ座標系におけるＸ１軸方向に係る成分（Ｘ１軸成分）、Ｙ１軸方向に係る成分（Ｙ１軸成分）、及びＺ１軸方向に係る成分（Ｚ１軸成分）である。
第１法線ベクトル算出部２２１と同様に、第２法線ベクトル算出部２２２は、第２偏光カメラ１２により撮像されたフレームに対して、第２画像平面上の各画素の位置情報と、当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第２法線ベクトル分布テーブル３２）を作成して記憶部３に記憶する。ここで、第２法線ベクトル分布テーブル３２に記憶させた各法線ベクトル値ｐｘ、ｐｙ、ｐｚは、法線ベクトルの第２カメラ座標系におけるＸ２軸方向に係る成分（Ｘ２軸成分）、Ｙ２軸方向に係る成分（Ｙ２軸成分）、及びＺ２軸方向に係る成分（Ｚ２軸成分）である。
以上の説明では、被写体となる計測対象物５を第１偏光カメラ１１又は第２偏光カメラ１２で撮影するとき、計測対象物５を構成する色素粒子により散乱された光である拡散反射光が主として撮影される場合について説明したが、これに限られない。
例えば、被写体となる計測対象物５を第１偏光カメラ１１又は第２偏光カメラ１２で撮影するとき、被写体となる計測対象物５の表面で正反射する光（鏡面反射光）が主として撮影される場合、すなわち、光源からの光が光沢のある表面に反射して見える場合、鏡面反射光に基づいて算出される法線ベクトル値を利用してもよい。
鏡面反射の場合の偏光度ρｓは、天頂角θと計測対象物５の屈折率ｎを用いて、式５で表されることが知られている。なお、屈折率ｎは、計測対象物５の媒質によって異なる値をとるが、ほとんどの対象物に対して、１．３≦ｎ≦１．８がなりたち、また、ｎがこの範囲の値となる場合には、例えばｎ＝１．３として計算した場合、拡散反射の場合と同様に、（式５）で算出されるθの値の誤差は無視できる。
例えば、被写体となる計測対象物５を第１偏光カメラ１１又は第２偏光カメラ１２で撮影するとき、被写体となる計測対象物５の表面で正反射する光（鏡面反射光）が主として撮影される場合、すなわち、光源からの光が光沢のある表面に反射して見える場合、鏡面反射光に基づいて算出される法線ベクトル値を利用してもよい。
鏡面反射の場合の偏光度ρｓは、天頂角θと計測対象物５の屈折率ｎを用いて、式５で表されることが知られている。なお、屈折率ｎは、計測対象物５の媒質によって異なる値をとるが、ほとんどの対象物に対して、１．３≦ｎ≦１．８がなりたち、また、ｎがこの範囲の値となる場合には、例えばｎ＝１．３として計算した場合、拡散反射の場合と同様に、（式５）で算出されるθの値の誤差は無視できる。
また、鏡面反射の場合、光の入射面の角度を表す方位角αは、（式１）において最小輝度Ｉｍｉｎを与える主軸角度（すなわち、位相角φと９０度異なる角度）に等しい。そうすると、光の入射面の角度を表す方位角α（すなわち、位相角φと９０度異なる角度）及び式５で算出された天頂角θにより、各画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、式４で表される。
以下、特に断らない限り、各画素に対応する法線ベクトル値は、拡散反射光の偏光度に基づき算出されたものとする。
以下、特に断らない限り、各画素に対応する法線ベクトル値は、拡散反射光の偏光度に基づき算出されたものとする。
＜平面領域検出部２３＞
＜連続領域＞
平面領域検出部２３は、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を探索して、連続領域に含まれる画素からなる集合（以下、「連続領域集合」という）を作成して、第１法線ベクトル分布テーブル３１を構成する画素に関する属性情報として、当該画素が連続領域に含まれるか否かを示す連続領域識別情報を付加する。
それにより、第１法線ベクトル分布テーブル３１を参照することで、第１画像平面上の画素（以下、簡単のため「点」ともいう）が連続領域に含まれるか否かを判定することができる。
＜連続領域＞
平面領域検出部２３は、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を探索して、連続領域に含まれる画素からなる集合（以下、「連続領域集合」という）を作成して、第１法線ベクトル分布テーブル３１を構成する画素に関する属性情報として、当該画素が連続領域に含まれるか否かを示す連続領域識別情報を付加する。
それにより、第１法線ベクトル分布テーブル３１を参照することで、第１画像平面上の画素（以下、簡単のため「点」ともいう）が連続領域に含まれるか否かを判定することができる。
＜エッジ点＞
また、平面領域検出部２３は、第１画像平面上の各点に対応付けられた第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａであって、点Ａの近傍に法線ベクトル値が同一値となる連続領域があり、かつ、点Ａの第１法線ベクトル値が当該近傍の法線ベクトル値から不連続的に急激に変化している場合、点Ａをエッジ点として検出する。平面領域検出部２３は、第１法線ベクトル分布テーブル３１を構成する点に関する属性情報として、その点がエッジ点か否かを示すエッジ点識別情報を付加する。
そうすることで、第１法線ベクトル分布テーブル３１を参照することで、第１画像平面上の点がエッジ点か否かを判定することができる。
また、平面領域検出部２３は、第１画像平面上の各点に対応付けられた第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａであって、点Ａの近傍に法線ベクトル値が同一値となる連続領域があり、かつ、点Ａの第１法線ベクトル値が当該近傍の法線ベクトル値から不連続的に急激に変化している場合、点Ａをエッジ点として検出する。平面領域検出部２３は、第１法線ベクトル分布テーブル３１を構成する点に関する属性情報として、その点がエッジ点か否かを示すエッジ点識別情報を付加する。
そうすることで、第１法線ベクトル分布テーブル３１を参照することで、第１画像平面上の点がエッジ点か否かを判定することができる。
＜対応点算出部２４＞
対応点算出部２４は、第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、第２画像平面上の各点の位置情報に対応付けられた第２法線ベクトル値と、をマッチングして第１画像平面と前記第２画像平面との対応点を算出する。
前述したように、第１偏光カメラ１１により撮像されたフレームに対して作成された、第１法線ベクトル分布テーブル３１に記憶させた第１法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、第１法線ベクトルｐ１の第１カメラ座標系におけるＸ１軸方向に係る成分（Ｘ１軸成分）、Ｙ１軸方向に係る成分（Ｙ１軸成分）、及びＺ１軸方向に係る成分（Ｚ１軸成分）である。他方、第２偏光カメラ１２により撮像されたフレームに対して作成された、第２法線ベクトル分布テーブル３２に記憶させた第２法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、第２法線ベクトルｐ２の第２カメラ座標系におけるＸ２軸方向に係る成分（Ｘ２軸成分）、Ｙ２軸方向に係る成分（Ｙ２軸成分）、及びＺ２軸方向に係る成分（Ｚ２軸成分）である。
対応点算出部２４は、両者をマッチングするために、第２法線ベクトル分布テーブル３２に記憶させた各第２法線ベクトルｐ２の値を、第１カメラ座標系におけるＸ１軸方向に係る成分（Ｘ１軸成分）、Ｙ１軸方向に係る成分（Ｙ１軸成分）、及びＺ１軸方向に係る成分（Ｚ１軸成分）で表したベクトル値ｐ２´に変換する。
具体的には、対応点算出部２４は、第２カメラ座標系における座標値を第１カメラ座標系における座標値に変換する座標変換行列１Ｔ２を用いて、第２法線ベクトル分布テーブル３２に記憶させた各第２法線ベクトル値ｐ２を（式７）に基づいてｐ２´に変換する。
ｐ２´＝ １Ｔ２・ｐ２ （式７）
以下、当該変換されたベクトル値を、第２法線ベクトル値（変換済）という。対応点算出部２４は、第２法線ベクトル値（変換済）を第２法線ベクトル分布テーブル３２に記憶させてもよい。
対応点算出部２４は、第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、第２画像平面上の各点の位置情報に対応付けられた第２法線ベクトル値と、をマッチングして第１画像平面と前記第２画像平面との対応点を算出する。
前述したように、第１偏光カメラ１１により撮像されたフレームに対して作成された、第１法線ベクトル分布テーブル３１に記憶させた第１法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、第１法線ベクトルｐ１の第１カメラ座標系におけるＸ１軸方向に係る成分（Ｘ１軸成分）、Ｙ１軸方向に係る成分（Ｙ１軸成分）、及びＺ１軸方向に係る成分（Ｚ１軸成分）である。他方、第２偏光カメラ１２により撮像されたフレームに対して作成された、第２法線ベクトル分布テーブル３２に記憶させた第２法線ベクトル値（ｐｘ、ｐｙ、ｐｚ）は、第２法線ベクトルｐ２の第２カメラ座標系におけるＸ２軸方向に係る成分（Ｘ２軸成分）、Ｙ２軸方向に係る成分（Ｙ２軸成分）、及びＺ２軸方向に係る成分（Ｚ２軸成分）である。
対応点算出部２４は、両者をマッチングするために、第２法線ベクトル分布テーブル３２に記憶させた各第２法線ベクトルｐ２の値を、第１カメラ座標系におけるＸ１軸方向に係る成分（Ｘ１軸成分）、Ｙ１軸方向に係る成分（Ｙ１軸成分）、及びＺ１軸方向に係る成分（Ｚ１軸成分）で表したベクトル値ｐ２´に変換する。
具体的には、対応点算出部２４は、第２カメラ座標系における座標値を第１カメラ座標系における座標値に変換する座標変換行列１Ｔ２を用いて、第２法線ベクトル分布テーブル３２に記憶させた各第２法線ベクトル値ｐ２を（式７）に基づいてｐ２´に変換する。
ｐ２´＝ １Ｔ２・ｐ２ （式７）
以下、当該変換されたベクトル値を、第２法線ベクトル値（変換済）という。対応点算出部２４は、第２法線ベクトル値（変換済）を第２法線ベクトル分布テーブル３２に記憶させてもよい。
対応点算出部２４は、第１画像平面上の各点に対応付けられた第１法線ベクトル値が同一値となる連続領域に含まれる点Ａについては、法線ベクトル値のマッチングだけでは、第２画像平面上の対応点Ｂを探索することができない。このため、対応点算出部２４は、まず、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａに対応する第２画像平面上の対応点Ｂを探索する。
その後、対応点算出部２４は、例えば、第１法線ベクトル分布テーブル３１に格納したエッジ点情報を利用することで、第１画像平面上の第１法線ベクトル値が同一値となる連続領域に含まれる点の第２画像平面上の対応点を探索する。なお、連続領域に含まれる点の第２画像平面上の対応点の探索についての詳細な説明は、後述する。
その後、対応点算出部２４は、例えば、第１法線ベクトル分布テーブル３１に格納したエッジ点情報を利用することで、第１画像平面上の第１法線ベクトル値が同一値となる連続領域に含まれる点の第２画像平面上の対応点を探索する。なお、連続領域に含まれる点の第２画像平面上の対応点の探索についての詳細な説明は、後述する。
＜連続領域を除く第１画像平面上の点Ａに対応する第２画像平面上の対応点Ｂの探索＞
対応点算出部２４は、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａに対応付けられた第１法線ベクトル値が、点Ａに対応する第２画像平面上のエピポーラ線上に位置する点Ｂであって、点Ｂに対応付けられた第２法線ベクトル値（変換済）が点Ａの法線ベクトル値と一致するとともに、当該エピポーラ線上で離散的に存在する点Ｂ（＝点Ａの対応点候補）を検索する。
対応点候補Ｂが複数個ある場合、対応点算出部２４は、例えば各対応点候補Ｂの近傍における法線ベクトル値の分布状況が点Ａの近傍における法線ベクトル値の分布状況と一致する（最も類似している）対応点候補Ｂを点Ａの対応点と判定する。ここで、点Ａの近傍とは、点Ａを囲む所定の数の点をいう。
このようにして、対応点算出部２４は、第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａに対する第２画像平面上の対応点Ｂを算出し、記憶部３に点Ａの属性情報（第１画像座標系の座標値、第１法線ベクトル値等）と対応点Ｂの属性情報（第２画像座標系の座標値、第２法線ベクトル値等）をフレーム識別情報に紐づけて記憶する。以下、これを「対応点情報テーブル３３」という。
対応点算出部２４は、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａに対応付けられた第１法線ベクトル値が、点Ａに対応する第２画像平面上のエピポーラ線上に位置する点Ｂであって、点Ｂに対応付けられた第２法線ベクトル値（変換済）が点Ａの法線ベクトル値と一致するとともに、当該エピポーラ線上で離散的に存在する点Ｂ（＝点Ａの対応点候補）を検索する。
対応点候補Ｂが複数個ある場合、対応点算出部２４は、例えば各対応点候補Ｂの近傍における法線ベクトル値の分布状況が点Ａの近傍における法線ベクトル値の分布状況と一致する（最も類似している）対応点候補Ｂを点Ａの対応点と判定する。ここで、点Ａの近傍とは、点Ａを囲む所定の数の点をいう。
このようにして、対応点算出部２４は、第１法線ベクトル値が同一値となる連続領域を除く第１画像平面上の点Ａに対する第２画像平面上の対応点Ｂを算出し、記憶部３に点Ａの属性情報（第１画像座標系の座標値、第１法線ベクトル値等）と対応点Ｂの属性情報（第２画像座標系の座標値、第２法線ベクトル値等）をフレーム識別情報に紐づけて記憶する。以下、これを「対応点情報テーブル３３」という。
＜３次元座標値算出部２５＞
３次元座標値算出部２５は、対応点情報テーブル３３に格納した全ての点Ａ（及び対応点Ｂ）に対して、三角測量に基づいて、第１偏光カメラから、第１画像平面上の点Ａに投影した被写体の表面上の点Ａ´までの距離、及び第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を算出する。同様に、３次元座標値算出部２５は、第２カメラ座標系における３次元座標値（Ｘ２Ａ，Ｙ２Ａ，Ｚ２Ａ）を算出する。
３次元座標値算出部２５は、点Ａ´の基準座標系における３次元座標値（ＸＷＡ，ＹＷＡ，ＺＷＡ）を、第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を変換行列ＷＴ１により変換することで算出することができる。
３次元座標値算出部２５は、対応点情報テーブル３３の各対応点に係る属性情報として、第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）、第２カメラ座標系における３次元座標値（Ｘ２Ａ，Ｙ２Ａ，Ｚ２Ａ）、及び基準座標系における３次元座標値（ＸＷＡ，ＹＷＡ，ＺＷＡ）を記憶することができる。
３次元座標値算出部２５は、対応点情報テーブル３３に格納した全ての点Ａ（及び対応点Ｂ）に対して、三角測量に基づいて、第１偏光カメラから、第１画像平面上の点Ａに投影した被写体の表面上の点Ａ´までの距離、及び第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を算出する。同様に、３次元座標値算出部２５は、第２カメラ座標系における３次元座標値（Ｘ２Ａ，Ｙ２Ａ，Ｚ２Ａ）を算出する。
３次元座標値算出部２５は、点Ａ´の基準座標系における３次元座標値（ＸＷＡ，ＹＷＡ，ＺＷＡ）を、第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を変換行列ＷＴ１により変換することで算出することができる。
３次元座標値算出部２５は、対応点情報テーブル３３の各対応点に係る属性情報として、第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）、第２カメラ座標系における３次元座標値（Ｘ２Ａ，Ｙ２Ａ，Ｚ２Ａ）、及び基準座標系における３次元座標値（ＸＷＡ，ＹＷＡ，ＺＷＡ）を記憶することができる。
＜連続領域上の点Ｒの３次元座標値の算出及び第２画像平面上の対応点の探索＞
次に、連続領域上の点Ｒの３次元座標値の算出について説明する。
３次元座標値算出部２５は、第１法線ベクトル分布テーブル３１を構成する点がエッジ点か否かを示すエッジ点識別情報を利用することで、第１画像平面上の第１法線ベクトル値が同一値となる連続領域に含まれる任意の点Ｒの第１カメラ座標系における３次元座標値を算出することができる。
具体的には、３次元座標値算出部２５は、第１画像平面上の連続領域に含まれる任意の点Ｒから、法線ベクトル値が同一の値となる直線を選択して、その直線の両方向に沿って、法線ベクトル値が不連続的に変化するエッジ点を特定する。エッジ点の特定に際しては、例えば、前記直線上の点であって、第１法線ベクトル分布テーブル３１にエッジ点として記憶されている点を探索してもよい。
３次元座標値算出部２５は、エッジ点Ｐを特定すると、対応点情報テーブル３３を参照して、当該エッジ点Ｐの例えば、第１カメラ座標系における３次元座標値（Ｘ１Ｐ，Ｙ１Ｐ，Ｚ１Ｐ）を取得する。
３次元座標値算出部２５は、当該連続領域を含む平面の第１カメラ座標系における平面方程式を算出する。具体的には、同一値となる第１法線ベクトル値を（ｅＸ、ｅＹ、ｅＺ）とすると、当該連続領域を含む平面方程式は、ｄを定数として、式８で表される。
ｅＸＸ＋ｅＹＹ＋ｅＺＺ＋ｄ＝０ （式８）
３次元座標値算出部２５は、エッジ点Ｐの３次元座標値（Ｘ１Ｐ，Ｙ１Ｐ，Ｚ１Ｐ）を代入して、定数ｄを算出することで、当該連続領域を含む平面方程式を算出することができる。
次に、連続領域上の点Ｒの３次元座標値の算出について説明する。
３次元座標値算出部２５は、第１法線ベクトル分布テーブル３１を構成する点がエッジ点か否かを示すエッジ点識別情報を利用することで、第１画像平面上の第１法線ベクトル値が同一値となる連続領域に含まれる任意の点Ｒの第１カメラ座標系における３次元座標値を算出することができる。
具体的には、３次元座標値算出部２５は、第１画像平面上の連続領域に含まれる任意の点Ｒから、法線ベクトル値が同一の値となる直線を選択して、その直線の両方向に沿って、法線ベクトル値が不連続的に変化するエッジ点を特定する。エッジ点の特定に際しては、例えば、前記直線上の点であって、第１法線ベクトル分布テーブル３１にエッジ点として記憶されている点を探索してもよい。
３次元座標値算出部２５は、エッジ点Ｐを特定すると、対応点情報テーブル３３を参照して、当該エッジ点Ｐの例えば、第１カメラ座標系における３次元座標値（Ｘ１Ｐ，Ｙ１Ｐ，Ｚ１Ｐ）を取得する。
３次元座標値算出部２５は、当該連続領域を含む平面の第１カメラ座標系における平面方程式を算出する。具体的には、同一値となる第１法線ベクトル値を（ｅＸ、ｅＹ、ｅＺ）とすると、当該連続領域を含む平面方程式は、ｄを定数として、式８で表される。
ｅＸＸ＋ｅＹＹ＋ｅＺＺ＋ｄ＝０ （式８）
３次元座標値算出部２５は、エッジ点Ｐの３次元座標値（Ｘ１Ｐ，Ｙ１Ｐ，Ｚ１Ｐ）を代入して、定数ｄを算出することで、当該連続領域を含む平面方程式を算出することができる。
３次元座標値算出部２５は、算出した平面方程式を用いて、当該連続領域に含まれる任意の点Ｒの第１カメラ座標系における３次元座標値を算出することができる。
具体的には、３次元座標値算出部２５は、第１カメラ座標系の原点Ｏ１から第１画像平面上の当該連続領域に含まれる任意の点Ｒを通る直線と、当該連続領域を含む平面方程式との交点Ｒ´の３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）を取得するとともに、交点Ｒ´までの距離を算出することができる。
３次元座標値算出部２５は、例えば、点Ｒ´の第１カメラ座標系における３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）を第２カメラ座標系における座標値（Ｘ２Ｒ，Ｙ２Ｒ，Ｚ２Ｒ）に変換し、第２画像平面に射影することで、点Ｒ´の第２画像座標系における座標値を取得する。また、３次元座標値算出部２５は、点Ｒ´の基準座標系における３次元座標値（ＸＷＲ，ＹＷＲ，ＺＷＲ）を、第１カメラ座標系における点Ｒ´の３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を変換行列ＷＴ１により変換することで算出することができる。
このようにして、３次元座標値算出部２５は、対応点情報テーブル３３に連続領域に含まれる全ての点Ｒとその対応点の属性情報及び第１画像平面上の点Ｒに投影される被写体の表面上の点Ｒ´の第１カメラ座標系における３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）、第２カメラ座標系における３次元座標値（Ｘ２Ｒ，Ｙ２Ｒ，Ｚ２Ｒ）、及び基準座標系における３次元座標値（ＸＷＲ，ＹＷＲ，ＺＷＲ）を記憶することができる。これらの３次元座標値の集合を「３次元座標値テーブル３４」という。
具体的には、３次元座標値算出部２５は、第１カメラ座標系の原点Ｏ１から第１画像平面上の当該連続領域に含まれる任意の点Ｒを通る直線と、当該連続領域を含む平面方程式との交点Ｒ´の３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）を取得するとともに、交点Ｒ´までの距離を算出することができる。
３次元座標値算出部２５は、例えば、点Ｒ´の第１カメラ座標系における３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）を第２カメラ座標系における座標値（Ｘ２Ｒ，Ｙ２Ｒ，Ｚ２Ｒ）に変換し、第２画像平面に射影することで、点Ｒ´の第２画像座標系における座標値を取得する。また、３次元座標値算出部２５は、点Ｒ´の基準座標系における３次元座標値（ＸＷＲ，ＹＷＲ，ＺＷＲ）を、第１カメラ座標系における点Ｒ´の３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）を変換行列ＷＴ１により変換することで算出することができる。
このようにして、３次元座標値算出部２５は、対応点情報テーブル３３に連続領域に含まれる全ての点Ｒとその対応点の属性情報及び第１画像平面上の点Ｒに投影される被写体の表面上の点Ｒ´の第１カメラ座標系における３次元座標値（Ｘ１Ｒ，Ｙ１Ｒ，Ｚ１Ｒ）、第２カメラ座標系における３次元座標値（Ｘ２Ｒ，Ｙ２Ｒ，Ｚ２Ｒ）、及び基準座標系における３次元座標値（ＸＷＲ，ＹＷＲ，ＺＷＲ）を記憶することができる。これらの３次元座標値の集合を「３次元座標値テーブル３４」という。
なお、３次元座標値算出部２５は、第１画像平面上の前記直線上の両端に２つのエッジ点Ｐ，点Ｑを特定した場合、第１画像平面上のエッジ点Ｐからエッジ点Ｑまでの当該直線上の任意の点Ｒの３次元座標値を、（式９）を用いても算出することができる。
具体的には、点Ｐから点Ｑまでの距離（例えば、点Ｐ及び点Ｑを含む当該直線上の点の個数ＮＰ−＞Ｑ）、点Ｐから点Ｒまでの距離（例えば、点Ｐ及び点Ｒを含む当該直線上の点の個数ＮＰ−＞Ｒ）に基づいて、（式９）に示す比例計算により算出することができる。
Ｘ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｘ１Ｑ − Ｘ１Ｐ）
Ｙ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｙ１Ｑ − Ｙ１Ｐ）
Ｚ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｚ１Ｑ − Ｚ１Ｐ）
（式９）
以上のように、深度取得装置１００は、対象物の３次元モデルまたはデプスマップを予め作成することなく、偏光画像から、３次元空間中の対象物の深度情報（３次元位置情報）を取得することができる。
具体的には、点Ｐから点Ｑまでの距離（例えば、点Ｐ及び点Ｑを含む当該直線上の点の個数ＮＰ−＞Ｑ）、点Ｐから点Ｒまでの距離（例えば、点Ｐ及び点Ｒを含む当該直線上の点の個数ＮＰ−＞Ｒ）に基づいて、（式９）に示す比例計算により算出することができる。
Ｘ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｘ１Ｑ − Ｘ１Ｐ）
Ｙ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｙ１Ｑ − Ｙ１Ｐ）
Ｚ１Ｒ＝（ＮＰ−＞Ｒ／ＮＰ−＞Ｑ）・（Ｚ１Ｑ − Ｚ１Ｐ）
（式９）
以上のように、深度取得装置１００は、対象物の３次元モデルまたはデプスマップを予め作成することなく、偏光画像から、３次元空間中の対象物の深度情報（３次元位置情報）を取得することができる。
以上、本発明の実施形態の深度取得装置１００の各機能部の実施形態を、ステレオカメラ１、制御部２等の構成に基づいて説明した。
＜拡散反射と鏡面反射＞
本実施形態では、第１法線ベクトル値と第２法線ベクトル値によるマッチング処理において、両者ともに、拡散反射光の偏光度に基づいて算出されたものを例示したが、これに限られない。
例えば、同一の場所であっても光源の位置等によって、被写体としての計測対象物５の表面において鏡面反射した大きな反射光が第１偏光カメラ１１又は第２偏光カメラ１２に対して入力されるケースが発生する可能性は排除することができない。
このため、対応点算出部２４による第１法線ベクトル値と第２法線ベクトル値とのマッチングに際しては、第１法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第１法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第１法線ベクトル値（鏡面反射）の２者を利用してもよい。
同様に、第２法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第２法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第２法線ベクトル値（鏡面反射）の２者を利用してもよい。
そうすることで、両者のマッチングに際しては、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（拡散反射）に一致する場合の外、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（鏡面反射）に一致する場合、第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（拡散反射）に一致する場合、又は第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（鏡面反射）に一致する場合を含めるようにしてもよい。
本実施形態では、第１法線ベクトル値と第２法線ベクトル値によるマッチング処理において、両者ともに、拡散反射光の偏光度に基づいて算出されたものを例示したが、これに限られない。
例えば、同一の場所であっても光源の位置等によって、被写体としての計測対象物５の表面において鏡面反射した大きな反射光が第１偏光カメラ１１又は第２偏光カメラ１２に対して入力されるケースが発生する可能性は排除することができない。
このため、対応点算出部２４による第１法線ベクトル値と第２法線ベクトル値とのマッチングに際しては、第１法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第１法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第１法線ベクトル値（鏡面反射）の２者を利用してもよい。
同様に、第２法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第２法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第２法線ベクトル値（鏡面反射）の２者を利用してもよい。
そうすることで、両者のマッチングに際しては、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（拡散反射）に一致する場合の外、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（鏡面反射）に一致する場合、第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（拡散反射）に一致する場合、又は第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（鏡面反射）に一致する場合を含めるようにしてもよい。
次に、本発明の実施形態の深度取得装置１００における一連の処理の流れについて図６を参照しながら説明する。図６Ａ及び図６Ｂは、深度取得装置１００における一連の処理の流れを示すフロー図である。なお、以下の動作を始める前に、各初期設定、第１偏光カメラ１１、第２偏光カメラ１２はキャリブレーション済みであり、第１偏光カメラ１１の第１カメラ座標系、第２偏光カメラ１２の第２カメラ座標系、及び基準座標系の間の座標変換行列２Ｔ１１Ｔ２、ＷＴ１、ＷＴ２等は算出済とする。
図６Ａを参照すると、ＳＴ１において、ステレオカメラ１により撮像されたフレームに対して、第１輝度情報取得部２１１及び第２輝度情報取得部２１２は、それぞれ、第１偏光カメラ１１における各偏光子及び第２偏光カメラ１２における各偏光子を透過した光の輝度を、それぞれ第１画像平面上の各点の位置情報及び第２画像平面上の各点の位置情報に対応付けて取得する。
ＳＴ２において、第１法線ベクトル算出部２２１及び第２法線ベクトル算出部２２２は、それぞれステップＳＴ１において取得された第１偏光カメラ１１の第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度及び第２偏光カメラ１２の第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、第１画像平面上の各画素の位置情報と当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第１法線ベクトル分布テーブル３１）、及び第２画像平面上の各画素の位置情報と当該画素に投影される被写体となる計測対象物５の表面上の点における法線ベクトル値との対応テーブル（第２法線ベクトル分布テーブル３２）を算出して、記憶部３に記憶する。
ＳＴ３において、平面領域検出部２３は、第１画像平面上の第１法線ベクトル値が同一値となる連続領域を探索して、連続領域に含まれる点からなる集合を検出するとともに、エッジ点を検出する。
ＳＴ４において、対応点算出部２４は、ＳＴ３において検出された連続領域を除く第１画像平面上の点Ａに対応付けられた第１法線ベクトル値が、点Ａに対応する第２画像平面上のエピポーラ線上に位置する点Ｂであって、点Ｂに対応付けられた第２法線ベクトル値（変換済）が点Ａの法線ベクトル値と一致するとともに当該エピポーラ線上で離散的に存在する点Ｂ（＝点Ａの対応点候補）を探索する。
ＳＴ５において、対応点算出部２４は、点Ａの対応点候補が複数あるか否かをチェックする。対応点候補が複数存在する場合（Ｙｅｓの場合）、ＳＴ６に移る。対応点候補が１つの場合（Ｎｏの場合）、ＳＴ７に移る。
ＳＴ６において、対応点算出部２４は、各対応点候補Ｂの近傍における法線ベクトル値の分布状況が点Ａの近傍における法線ベクトル値の分布状況と一致する（最も類似している）対応点候補Ｂを１つ選択する。
ＳＴ７において、対応点算出部２４は、ＳＴ５において探索された１つの対応点候補Ｂ又はＳＴ６において選択された１つの対応点候補Ｂを点Ａの対応点として、対応点情報テーブル３３に記録する。
ＳＴ８において、連続領域を除く第１画像平面上の全ての点Ａの探索が終了したか否かを判定する。連続領域を除く第１画像平面上の全ての点Ａの探索が終了した場合（Ｙｅｓの場合）、ＳＴ９に移る。連続領域を除く第１画像平面上の全ての点Ａの探索が終了していない場合（Ｎｏの場合）、ＳＴ４に移る。
図６Ｂを参照すると、ＳＴ９において、３次元座標値算出部２５は、対応点情報テーブル３３に格納した、連続領域を除く第１画像平面上の全ての点Ａに対して、三角測量に基づいて、第１偏光カメラから、第１画像平面上の点Ａに投影される被写体の表面上の点Ａ´までの距離と第１カメラ座標系における３次元座標値（Ｘ１Ａ，Ｙ１Ａ，Ｚ１Ａ）、第２偏光カメラから、被写体の表面上の点Ａ´までの距離と第２カメラ座標系における３次元座標値（Ｘ２Ａ，Ｙ２Ａ，Ｚ２Ａ）、及び点Ａ´の基準座標系における３次元座標値（ＸＷＡ，ＹＷＡ，ＺＷＡ）を算出して、フレーム識別情報（例えばタイムスタンプ）に紐づけて記憶部３に記憶する。
ＳＴ１０において、平面領域取得部２４は、各連続領域について、対応するエッジ点に基づいて当該連続領域を含む平面の第１カメラ座標系における平面方程式を算出する。
ＳＴ１１において、ＳＴ１０において算出された平面方程式に基づいて、３次元座標値算出部２５は、当該連続領域に含まれる任意の点Ｒに投影される被写体の表面上の点Ｒ´の第１カメラ座標系における３次元座標値を算出するとともに、第１偏光カメラから第被写体の表面上の点Ｒ´までの距離を３次元座標値テーブル３４に格納する。同様に、第２偏光カメラから、被写体の表面上の点Ｒ´までの距離と第２カメラ座標系における３次元座標値、及び点Ａ´の基準座標系における３次元座標値を算出して、フレーム識別情報（例えばタイムスタンプ）に紐づけて記憶部３に記憶する。
ＳＴ１２において、当該連続領域に含まれる全ての点Ｒに投影される被写体の表面上の点Ｒ´の３次元座標値を算出したか否かを判定する。当該連続領域に含まれる全ての点Ｒに投影される被写体の表面上の点Ｒ´の３次元座標値を算出した場合（Ｙｅｓの場合）、ＳＴ１３に移る。当該連続領域に含まれる全ての点Ｒに投影される被写体の表面上の点Ｒ´の３次元座標値の算出が終了していない場合（Ｎｏの場合）、ＳＴ１１に移る。
ＳＴ１３において、全ての連続領域に含まれる全ての点Ｒに投影される被写体の表面上の点Ｒ´の３次元座標値の算出が終了したか否かを判定する。終了した場合（Ｙｅｓの場合）、ＳＴ１４に移る。終了していない場合（Ｎｏの場合）、ＳＴ１０に移る。
ＳＴ１４において、当業者にとって公知の３次元表示技術に基づいて、作成した点群データを、例えばスマートフォンやタブレット等の表示部に表示する。
ＳＴ１５において、ステレオカメラ１による所定フレームレートにおけるフレームの撮像が終了したか否かを判定する。終了した場合（Ｙｅｓの場合）、処理を終了する。終了していない場合（Ｎｏの場合）、ＳＴ１に移る。
以上のようにして、フレームレートに応じて、各フレームにおける合成点群データが作成され、ユーザにより設定された任意の視点から見た３次元動画を、例えばスマートフォンやタブレット等でリアルタイムでみることができる。
以上のようにして、フレームレートに応じて、各フレームにおける合成点群データが作成され、ユーザにより設定された任意の視点から見た３次元動画を、例えばスマートフォンやタブレット等でリアルタイムでみることができる。
以上、本発明の深度取得装置１００の好ましい実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
＜変形例１＞
本実施形態では、第１法線ベクトル値と第２法線ベクトル値によるマッチング処理において、両者ともに、拡散反射光の偏光度に基づいて算出されたものを例示したが、これに限られない。
例えば、同一の場所であっても光源の位置等によって、被写体としての計測対象物５の表面において鏡面反射した大きな反射光が第１偏光カメラ１１又は第２偏光カメラ１２に対して入力されるケースが発生する可能性は排除することができない。
このため、対応点算出部２４による第１法線ベクトル値と第２法線ベクトル値とのマッチングに際しては、第１法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第１法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第１法線ベクトル値（鏡面反射）の２者を利用してもよい。
同様に、第２法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第２法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第２法線ベクトル値（鏡面反射）の２者を利用してもよい。
そうすることで、両者のマッチングに際しては、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（拡散反射）に一致する場合の外、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（鏡面反射）に一致する場合、第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（拡散反射）に一致する場合、又は第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（鏡面反射）に一致する場合を含めるようにしてもよい。
本実施形態では、第１法線ベクトル値と第２法線ベクトル値によるマッチング処理において、両者ともに、拡散反射光の偏光度に基づいて算出されたものを例示したが、これに限られない。
例えば、同一の場所であっても光源の位置等によって、被写体としての計測対象物５の表面において鏡面反射した大きな反射光が第１偏光カメラ１１又は第２偏光カメラ１２に対して入力されるケースが発生する可能性は排除することができない。
このため、対応点算出部２４による第１法線ベクトル値と第２法線ベクトル値とのマッチングに際しては、第１法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第１法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第１法線ベクトル値（鏡面反射）の２者を利用してもよい。
同様に、第２法線ベクトル値として、拡散反射光の偏光度に基づいて算出した第２法線ベクトル値（拡散反射）と鏡面反射光の偏光度に基づいて算出した第２法線ベクトル値（鏡面反射）の２者を利用してもよい。
そうすることで、両者のマッチングに際しては、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（拡散反射）に一致する場合の外、第２法線ベクトル値（拡散反射）が第１法線ベクトル値（鏡面反射）に一致する場合、第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（拡散反射）に一致する場合、又は第２法線ベクトル値（鏡面反射）が第１法線ベクトル値（鏡面反射）に一致する場合を含めるようにしてもよい。
＜変形例２＞
上記実施形態において、ステレオカメラ１は、第１偏光カメラ１１及び第２偏光カメラ１２とは別に第３のカメラ（２次元画像取得部）を備えてもよい。予め、第１偏光カメラ１１又は第２偏光カメラ１２との間でキャリブレーションしておくことで、例えば、被写体としての計測対象物５の表面上の点を第３のカメラ座標系で表し、第３の画像平面に射影することで、第３のカメラ（２次元画像取得部）により撮像した画像データに対して、基準座標系における３次元座標値を対応づけることで、点群データを作成することｐができる。
上記実施形態において、ステレオカメラ１は、第１偏光カメラ１１及び第２偏光カメラ１２とは別に第３のカメラ（２次元画像取得部）を備えてもよい。予め、第１偏光カメラ１１又は第２偏光カメラ１２との間でキャリブレーションしておくことで、例えば、被写体としての計測対象物５の表面上の点を第３のカメラ座標系で表し、第３の画像平面に射影することで、第３のカメラ（２次元画像取得部）により撮像した画像データに対して、基準座標系における３次元座標値を対応づけることで、点群データを作成することｐができる。
＜変形例３＞
本実施形態の深度取得装置１００において、例えば、制御部２の機能の一部（例えば、対応点算出部２４等）を、クラウド上の仮想コンピュータを含めて、特定のコンピュータに分散させることについては、ユーザにとって適宜成しえる設計事項である。また、クラウド上の仮想コンピュータに制御部の機能の一部を持たせるようにしてもよい。
本実施形態の深度取得装置１００において、例えば、制御部２の機能の一部（例えば、対応点算出部２４等）を、クラウド上の仮想コンピュータを含めて、特定のコンピュータに分散させることについては、ユーザにとって適宜成しえる設計事項である。また、クラウド上の仮想コンピュータに制御部の機能の一部を持たせるようにしてもよい。
＜変形例４＞
本実施形態の深度取得装置１００において、ステレオカメラ１（第１偏光カメラ１１及び第２偏光カメラ１２）のフレームレートとして３０ｆｐｓを例示し、各フレームごとに、被写体５の法線ベクトル値の算出、対応点の算出、及び３次元座標値を算出したが、これに限られない。フレームレート値は、第１偏光カメラ１１及び第２偏光カメラ１２の対応可能な高速フレームレートに応じて適宜設定することができる。
本実施形態の深度取得装置１００において、ステレオカメラ１（第１偏光カメラ１１及び第２偏光カメラ１２）のフレームレートとして３０ｆｐｓを例示し、各フレームごとに、被写体５の法線ベクトル値の算出、対応点の算出、及び３次元座標値を算出したが、これに限られない。フレームレート値は、第１偏光カメラ１１及び第２偏光カメラ１２の対応可能な高速フレームレートに応じて適宜設定することができる。
１００ 深度取得装置
１ ステレオカメラ
１１ 第１偏光カメラ
１１１ パターン偏光子
１１２ 撮像素子
１２ 第２偏光カメラ
１２１ パターン偏光子
１２２ 撮像素子
２ 制御部
２１ 輝度情報取得部
２１１ 第１輝度情報取得部
２１２ 第２輝度情報取得部
２２ 法線ベクトル算出部
２２１ 第１法線ベクトル算出部
２２２ 第２法線ベクトル算出部
２３ 平面領域検出部
２４ 対応点算出部
２５ ３次元座標値算出部
３ 記憶部
３１ 第１法線ベクトル分布テーブル３１
３２ 第２法線ベクトル分布テーブル
３３ 対応点情報テーブル
３４ ３次元座標値テーブル
５ 計測対象物
１ ステレオカメラ
１１ 第１偏光カメラ
１１１ パターン偏光子
１１２ 撮像素子
１２ 第２偏光カメラ
１２１ パターン偏光子
１２２ 撮像素子
２ 制御部
２１ 輝度情報取得部
２１１ 第１輝度情報取得部
２１２ 第２輝度情報取得部
２２ 法線ベクトル算出部
２２１ 第１法線ベクトル算出部
２２２ 第２法線ベクトル算出部
２３ 平面領域検出部
２４ 対応点算出部
２５ ３次元座標値算出部
３ 記憶部
３１ 第１法線ベクトル分布テーブル３１
３２ 第２法線ベクトル分布テーブル
３３ 対応点情報テーブル
３４ ３次元座標値テーブル
５ 計測対象物
Claims (8)
- 少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第１偏光カメラと、少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第２偏光カメラと、を備え、被写体を撮像するステレオカメラと、
前記第１偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第１偏光カメラの画像平面である第１画像平面上の各点の位置情報に対応付けて取得する第１輝度情報取得部と、
前記第２偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第２偏光カメラの画像平面である第２画像平面上の各点の位置情報に対応付けて取得する第２輝度情報取得部と、
前記第１輝度情報取得部により取得された前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から算出される偏光度に基づいて、前記第１画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第１法線ベクトル値を算出して、前記第１画像平面上の各点の位置情報に対応付ける第１法線ベクトル算出部と、
前記第２輝度情報取得部により取得された前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、前記第２画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第２法線ベクトル値を算出して、前記第２画像平面上の各点の位置情報に対応付ける第２法線ベクトル算出部と、
前記第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点に対応付けられた第２法線ベクトル値と、をマッチングして前記第１画像平面と前記第２画像平面との対応点を算出する対応点算出部と、
前記対応点算出部により算出された対応点にもとづいて、前記対応点に射影された前記被写体の表面上の点の予め設定された基準座標系における３次元座標値を算出する３次元座標値算出部と、
を備える深度取得装置。 - 前記第１法線ベクトル算出部は、
前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から拡散反射光の偏光度及び／又は鏡面反射光の偏光度を算出し、前記拡散反射光の偏光度に基づく第１法線ベクトル値及び／又は前記鏡面反射光の偏光度に基づく第１法線ベクトル値を算出し、
前記第２法線ベクトル算出部は、
前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から拡散反射光の偏光度及び／又は鏡面反射光の偏光度を算出し、前記拡散反射光の偏光度に基づく第２法線ベクトル値及び／又は前記鏡面反射光の偏光度に基づく第２法線ベクトル値を算出する、請求項１に記載の深度取得装置。 - 前記対応点算出部は、
前記第１画像平面上の各点とその近傍に対応付けられた第１法線ベクトル値の分布状況と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点とその近傍に対応付けられた第２法線ベクトル値の分布状況と、をマッチングして、前記第１画像平面と前記第２画像平面との対応点を算出する、請求項１又は請求項２に記載の深度取得装置。 - 前記第１画像平面上の各点に対応付けられた第１法線ベクトル値が同一となる、前記第１画像平面上の連続する点を含む連続領域を検出するとともに、
前記連続領域を除く第１画像平面上の点であって、その点の近傍に法線ベクトル値が同一値となる連続領域があり、かつ、その点における第１法線ベクトル値が前記連続領域における法線ベクトル値から不連続的に急激に変化するエッジ点を検出する平面領域検出部を備え、
前記３次元座標値算出部は、
前記エッジ点に基づいて、前記第１画像平面上の第１法線ベクトル値が同一となる前記連続領域に対応する前記被写体の表面領域上の各点の前記基準座標系における３次元座標値を算出する、請求項１から請求項３の何れか１項に記載の深度取得装置。 - 前記対応点算出部は、
前記連続領域上の各点の前記基準座標系における３次元座標値に基づいて、前記第１画像平面の前記連続領域上の点と前記第２画像平面における対応点を算出する、請求項４に記載の深度取得装置。 - 前記第１偏光カメラ及び前記第２偏光カメラとは別に第３のカメラ（２次元画像取得部）と、
前記第３のカメラにより撮像した画像データに、前記基準座標系における３次元座標値を対応づけることにより点群データを生成する点群データ生成部と、
を備える、請求項１から請求項５の何れか１項に記載の深度取得装置。 - 少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第１偏光カメラと少なくとも３方向の偏光成分をそれぞれ透過させる複数の偏光子を備える第２偏光カメラとを備える被写体を撮像するステレオカメラと、通信可能に接続されるコンピュータにより、
前記第１偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第１偏光カメラの画像平面である第１画像平面上の各点の位置情報に対応付けて取得する第１輝度情報取得ステップと、
前記第２偏光カメラにおける各偏光子をそれぞれ透過した光の輝度をそれぞれ前記第２偏光カメラの画像平面である第２画像平面上の各点の位置情報に対応付けて取得する第２輝度情報取得ステップと、
前記第１輝度情報取得ステップにおいて取得された前記第１偏光カメラの前記第１画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度から算出される偏光度に基づいて、前記第１画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第１法線ベクトル値を算出して、前記第１画像平面上の各点の位置情報に対応付ける第１法線ベクトル算出ステップと、
前記第２輝度情報取得ステップにおいて取得された前記第２偏光カメラの前記第２画像平面上の各点の位置情報に対応付けられた各偏光子を透過した光の輝度に基づいて、前記第２画像平面上の各点の位置に射影された前記被写体の表面上の点の位置における第２法線ベクトル値を算出して、前記第２画像平面上の各点の位置情報に対応付ける第２法線ベクトル算出ステップと、
前記第１画像平面上の各点の位置情報に対応付けられた第１法線ベクトル値と、前記各点に対応する前記第２画像平面上のエピポーラ線上の各点に対応付けられた第２法線ベクトル値と、をマッチングして前記第１画像平面と前記第２画像平面との対応点を算出する対応点算出ステップと、
前記対応点算出ステップにおいて算出された対応点にもとづいて、前記対応点に射影された前記被写体の表面上の点の予め設定された基準座標系における３次元座標値を算出する３次元座標値算出ステップと、を備える深度情報取得方法。 - コンピュータに、請求項７に記載の各ステップを実行させるためのコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018131841A JP6580761B1 (ja) | 2018-07-11 | 2018-07-11 | 偏光ステレオカメラによる深度取得装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018131841A JP6580761B1 (ja) | 2018-07-11 | 2018-07-11 | 偏光ステレオカメラによる深度取得装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6580761B1 JP6580761B1 (ja) | 2019-09-25 |
| JP2020008502A true JP2020008502A (ja) | 2020-01-16 |
Family
ID=68053586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018131841A Expired - Fee Related JP6580761B1 (ja) | 2018-07-11 | 2018-07-11 | 偏光ステレオカメラによる深度取得装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6580761B1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー４Ｄ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｉｅｓ，Ｌｌｃ | 画像取得および解析用の能動パルス式４ｄカメラのための方法および装置 |
| CN111343368A (zh) * | 2020-02-18 | 2020-06-26 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
| WO2023095375A1 (ja) * | 2021-11-29 | 2023-06-01 | パナソニックＩｐマネジメント株式会社 | 三次元モデル生成方法及び三次元モデル生成装置 |
| JP7488451B2 (ja) | 2020-04-01 | 2024-05-22 | 株式会社デンソーウェーブ | 三次元計測装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911465B (zh) * | 2024-03-20 | 2024-05-17 | 深圳市森歌数据技术有限公司 | 一种基于双目立体匹配的自然保护区稠密点云生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160261844A1 (en) * | 2015-03-06 | 2016-09-08 | Massachusetts Institute Of Technology | Methods and Apparatus for Enhancing Depth Maps with Polarization Cues |
| JP2017016431A (ja) * | 2015-07-01 | 2017-01-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法 |
| JP2018041278A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像領域分割方法 |
| US20180100731A1 (en) * | 2016-10-07 | 2018-04-12 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Depth and/or orientation tracker using division of focal plane polarization and/or color camera |
-
2018
- 2018-07-11 JP JP2018131841A patent/JP6580761B1/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160261844A1 (en) * | 2015-03-06 | 2016-09-08 | Massachusetts Institute Of Technology | Methods and Apparatus for Enhancing Depth Maps with Polarization Cues |
| JP2017016431A (ja) * | 2015-07-01 | 2017-01-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法 |
| JP2018041278A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像領域分割方法 |
| US20180100731A1 (en) * | 2016-10-07 | 2018-04-12 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Depth and/or orientation tracker using division of focal plane polarization and/or color camera |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー４Ｄ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｉｅｓ，Ｌｌｃ | 画像取得および解析用の能動パルス式４ｄカメラのための方法および装置 |
| CN111343368A (zh) * | 2020-02-18 | 2020-06-26 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
| CN111343368B (zh) * | 2020-02-18 | 2021-08-20 | 清华大学 | 基于偏振的散射介质深度恢复方法及装置 |
| JP7488451B2 (ja) | 2020-04-01 | 2024-05-22 | 株式会社デンソーウェーブ | 三次元計測装置 |
| WO2023095375A1 (ja) * | 2021-11-29 | 2023-06-01 | パナソニックＩｐマネジメント株式会社 | 三次元モデル生成方法及び三次元モデル生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6580761B1 (ja) | 2019-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6580761B1 (ja) | 偏光ステレオカメラによる深度取得装置及びその方法 | |
| JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
| US20150369593A1 (en) | Orthographic image capture system | |
| TWI624170B (zh) | 影像掃描系統及其方法 | |
| CN109377551B (zh) | 一种三维人脸重建方法、装置及其存储介质 | |
| JP2012058076A (ja) | ３次元計測装置及び３次元計測方法 | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| JP2012088114A (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| US8456645B2 (en) | Method and system for fast three-dimensional imaging using defocusing and feature recognition | |
| US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
| WO2014084181A1 (ja) | 画像計測装置 | |
| CN111192235A (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
| Ahmad et al. | An improved photometric stereo through distance estimation and light vector optimization from diffused maxima region | |
| CN112184811A (zh) | 单目空间结构光系统结构校准方法及装置 | |
| EP3769035B1 (en) | Replicated dot maps for simplified depth computation using machine learning | |
| US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
| Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
| JP2008275366A (ja) | ステレオ３次元計測システム | |
| JP2018009927A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20180033200A1 (en) | System and method for multiple device augmented surface | |
| JP6266580B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
| JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR102503976B1 (ko) | 증강현실 영상 보정 장치 및 방법 | |
| JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP5727969B2 (ja) | 位置推定装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190828 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6580761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |