JP2016075637A - 情報処理装置およびその方法 - Google Patents

Abstract

【課題】 物体形状の再現精度が高い三次元形状モデルを作成する。
【解決手段】 二次元画像取得部110は、物体100を含む光景を撮影した二次元画像を取得する。パラメータ取得部120は、二次元画像の撮影位置姿勢を示すパラメータを取得する。三次元モデル取得部130は、物体100の三次元形状を表す三次元形状モデルを取得する。幾何特徴抽出部140は、二次元画像から物体100の二次元幾何特徴を抽出する。近傍三次元情報算出部150は、二次元幾何特徴の近傍の物体100の面に関する三次元情報を、三次元形状モデルから算出する。幾何情報算出部160は、二次元幾何特徴、パラメータ、面に関する三次元情報に基づき、二次元幾何特徴に対応する三次元形状モデルにおける三次元幾何特徴を算出する。
【選択図】 図3

Description

本発明は、物体の三次元形状モデルを作成する情報処理に関する。

物体の三次元形状モデルを、当該物体の複数の位置姿勢を計測した距離画像から生成するリバースエンジニアリング技術がある。リバースエンジニアリングによる形状再構成は、一般に、物体の位置姿勢を多数回変えて距離計測装置によって距離画像を撮影する。そして、それら膨大な距離画像の距離点群からノイズ除去や各距離画像（三次元点群）の位置合わせを行い、表面生成などの作業により細密な形状を再現する（非特許文献1参照）。

しかし、物体のエッジ部は三次元計測が難しく、形状計測精度の限界により、物体形状の再現精度が高い三次元形状モデルの生成が難しい。

Tamas Varady、 Ralph R. Martin、Jordan Cox「Reverse engineering of geometric models - an introduction」Computer-Aided Design 29.4、255-268頁、1997年 Roger Y. Tsai「A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses」IEEE Journal of Robotics and Automation、Vol. RA-3、No. 4、323-344頁、1987年8月 S. Uchiyama etal.「MR Platform: A Basic Body on Which Mixed Reality Applications Are Built」Proceedings of the 1st International Symposium on Mixed and Augmented Reality、246-253頁 P. J. Besl、N. D. McKay「A method for registration of 3-D shapes」IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol. 14、No. 2、239-256頁、1992年 William E. Lorensen、Harvey E. Cline「Marching cubes: A high resolution 3D surface construction algorithm」ACM Siggraph Computer Graphics、Vol. 21、No. 4、163-169頁、1987年 Mostafa, MG-H.、Sameh M. Yamany、Aly A. Farag「Integrating shape from shading and range data using neural networks」Computer Vision and Pattern Recognition、IEEE Computer Society Conference on、Vol. 2、1999年 A. E. Johnson、M. Hebert「Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes」IEEE Trans. on PAMI、Vol. 21、No. 5、433-449頁、1999年 T. W. Drummond、R. Cipolla「Real-time tracking of complex structures withon-line camera calibration」Proc. The 10th British Machine Vision Conference (BMVC '99)、Nottingham、UK、1999年9月 立野圭祐、小竹大輔、内山晋二「ビンピッキングのための距離・濃淡画像を最ゆうに統合する高精度高安定なモデルフィッティング手法」電子情報通信学会論文誌 D、Vol. J94-D、No. 8、1410-1422頁、2011年 丸山健一、河井良浩、富田文明「遮蔽輪郭線を用いたモデルベース三次元位置姿勢計測」画像の認識・理解シンポジウム MIRU2009、1630-1637頁、2009年 井口、佐藤「三次元画像計測」昭晃堂、1990年

本発明は、物体形状の再現精度が高い三次元形状モデルを作成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる情報処理は、物体を含む光景を撮影した二次元画像を取得し、前記二次元画像の撮影位置姿勢を示すパラメータを取得し、前記物体の三次元形状を表す三次元形状モデルを取得し、前記二次元画像から二次元幾何特徴を抽出し、前記二次元幾何特徴の近傍の前記物体の面に関する三次元情報を、前記三次元形状モデルから算出し、前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記二次元幾何特徴に対応する三次元幾何特徴を算出する。

また、物体を含む光景を撮影した二次元画像を取得し、前記二次元画像の撮影位置姿勢を示すパラメータを取得し、前記物体の三次元形状を表す三次元形状モデルを取得し、前記三次元形状モデルから三次元幾何特徴を抽出し、前記二次元画像から前記三次元幾何特徴に対応する二次元幾何特徴を抽出し、前記三次元幾何特徴に近接する前記物体の面に関する三次元情報を、前記三次元形状モデルから算出し、前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記三次元幾何特徴の三次元情報を補正する。

本発明によれば、物体形状の再現精度が高い三次元形状モデルを作成することができる。

実施例1における三次元形状モデルの生成原理を説明する図。 三次元形状モデルの生成処理の概略を説明する図。 情報処理装置の構成例を示すブロック図。 三次元形状モデルの生成処理を説明するフローチャート。 実施例2の三次元形状モデルの補正処理の概略を説明する図。 情報処理装置の構成例を示すブロック図。 情報処理装置による三次元形状モデルの補正処理を説明するフローチャート。 実施例3の情報処理装置の構成例を示すブロック図。

以下、本発明にかかる実施例の情報処理装置および情報処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決部に必須とは限らない。

［概要］
実施例1では、三次元モデルの生成対象の物体（以下、対象物体）の形状誤差を含む三次元形状モデル（参照三次元モデル）と、対象物体を撮影した二次元画像を用いて、高精度な三次元形状モデルを生成する方法を説明する。なお、実施例1では、以下の条件における三次元形状モデルの生成を説明する。
・参照三次元モデルが、対象物体を三次元計測した三次元点の集合である距離画像（三次元点群）、
・三次元幾何特徴が、対象物体形状のエッジ上の三次元点とエッジの向きを表す三次元エッジサンプル点、
・生成する三次元形状モデルが、三次元エッジサンプル点の集合。

図1により実施例1における三次元形状モデルの生成原理を説明する。図1は対象物体のエッジ部分の拡大図を示す。非接触三次元計測装置による計測データを用いて作成した三次元形状モデル（参照三次元モデル）10は、広い面の部分は精度よく再現することができる。一方、エッジ部は三次元計測が難しいため、エッジ部の精度が低下し易い。そのため三次元形状モデル10のエッジ部から、エッジ上の三次元点と、その向きを表す三次元エッジサンプル点12を抽出すると、対象物体の真の形状13上の正しい三次元エッジサンプル点15との間で位置、向きのずれが発生する。

他方、エッジ部は見た目の輝度変化が大きいため、二次元画像11においては対象物体のエッジ部が明瞭に観察される。従って、二次元画像11に写った対象物体のエッジ部から二次元エッジサンプル点14を精度よく検出することができる。エッジ部は、隣接する面の間の境界である。そこで、対象物体のエッジ部が、二次元画像のエッジ上に存在し、かつ、参照三次元モデル10において隣接する面（近接面16）上に存在すると仮定する。この仮定を満たす三次元幾何情報（三次元エッジサンプル点）を算出し、対象物体の三次元形状モデルに登録する。これにより、三次元計測が難しく、精度よく三次元形状を構成することが難しいエッジ部の形状を高精度に生成することができる。

図2により実施例1における三次元形状モデルの生成処理の概略を説明する。実施例1では、二次元画像から抽出した二次元エッジサンプル点の三次元位置と向きを三次元エッジサンプル点として算出する。二次元エッジサンプル点は、二次元画像から検出されるエッジ上の二次元点であり、二次元座標と画像上での向き（二次元）情報を有する。

前記の仮定に基づき、二次元画像111上の二次元エッジサンプル点112を求め、二次元エッジサンプル点112の近傍の近傍面114を参照三次元モデル113から取得する。二次元エッジサンプル点112と二次元画像111の撮影視点（撮像装置115の位置）を結ぶ直線（視線116）が、近傍面114と交差する交点を二次元エッジサンプル点112に対応する三次元エッジサンプル点117とする。三次元エッジサンプル点117の方向は、近傍面114の法線に直交し、かつ、二次元エッジサンプル点112の向きに平行な向きとして算出する。

［装置の構成］
図3のブロック図により実施例1における情報処理装置104の構成例を示す。情報処理装置104において、二次元画像取得部110は、撮像装置115が撮像した対象物体100を含む光景（シーン）の二次元画像111を取得する。なお、二次元画像111は、各画素に輝度値が格納された濃淡画像とする。また、撮像装置115には、CCDやCMOSなどの撮像素子を有するカメラを用いる。

対象物体100の撮影時、後に撮影時の撮像装置115の外部パラメータを求めるため、位置と形状が既知の模様を平面に記したマーカや形状が既知の構造物などの指標105を対象物体100の周囲のワークスペース103内に配置する。そして、対象物体100と指標105を一緒に撮影する。

パラメータ取得部120は、撮像装置115の内部パラメータ（焦点距離やレンズ歪みパラメータなど）を取得し、二次元画像取得部110が取得した二次元画像111における外部パラメータを算出する。撮像装置115の内部パラメータは、事前に既知のパターンを撮影するなどして、非特許文献2などに記載された技術を用いて校正しておく。外部パラメータは、対象物体100に対する撮像装置115または二次元画像111の位置姿勢（以下、撮影位置姿勢）を示す。外部パラメータは、対象物体100と指標105が一緒に撮影された二次元画像111、および、撮像装置115の内部パラメータから非特許文献3などに記載された技術を用いて算出される。

三次元モデル取得部130は、対象物体100の三次元形状を示す参照三次元モデル113として距離画像を取得する。距離画像の取得は、例えば、投影装置102によって構造的なパターン光を対象物体100に投影する。そして、撮像装置115によってパターン光を撮影した画像からパターンを復号して投影装置102の投影位置を特定し、撮像と投影の位置関係から三角測量により距離を計算すればよい（非特許文献11参照）。

勿論、二次元画像取得部110が用いる撮像装置115は、投影装置102からパターンなしの光を投影したり、投影を行わずに二次元画像111を取得することで、三次元モデル取得部130が用いる撮像装置115と共用することができる。従って、二次元画像111と距離画像の座標系は同一とする。

幾何特徴抽出部140は、対象物体100の二次元幾何特徴として、二次元画像111に写った対象物体100のエッジ部から二次元エッジサンプル点112を抽出する。近傍三次元情報算出部150は、三次元モデル取得部130が取得した距離画像から、幾何特徴抽出部140が抽出した二次元エッジサンプル点112の近傍の近傍面114のパラメータを近傍三次元情報として算出する。

近傍面114のパラメータは平面で近似し、平面方程式のパラメータ、つまり面の法線と原点からの距離を表す。近傍三次元情報算出部150は、距離画像から二次元エッジサンプル点112に対応する三次元点近傍の画素群をサンプリングする。そして、サンプリングした画素群に相当する三次元点群に三次元平面の方程式を当て嵌めることで、平面方程式のパラメータを近傍面114のパラメータとして算出する。

幾何情報算出部160は、外部パラメータ、二次元エッジサンプル点112の二次元情報（座標と向き）、および、近傍面114のパラメータから、三次元エッジサンプル点117の三次元情報（位置と方向）を算出する。幾何情報算出部160は、前記の仮定に基づき、外部パラメータが表す二次元画像111の撮影位置と二次元エッジサンプル点112を結ぶ直線（視線116）が近傍面114と交差する交点を三次元エッジサンプル点117として算出する。また、三次元エッジサンプル点117の方向は、近傍面114の法線に直交し、かつ、二次元エッジサンプル点112の向きに平行な向きとして算出される。

［三次元形状モデルの生成］
図4のフローチャートにより実施例1の情報処理装置104による三次元形状モデルの生成処理を説明する。なお、撮像装置115の内部パラメータ（焦点距離やレンズ歪みパラメータなど）は、パラメータ取得部120によって事前に取得済みとして説明する。

二次元画像取得部110は、対象物体100を含むシーンの二次元画像111を取得し(S101)、三次元モデル取得部130は、対象物体100の三次元形状を表す距離画像を参照三次元モデル113として取得する(S102)。

次に、パラメータ取得部120は、事前に取得した撮像装置115の内部パラメータと、二次元画像取得部110が取得した二次元画像111から外部パラメータ（撮影位置姿勢）を算出する(S103)。外部パラメータ（撮影位置姿勢）は、内部パラメータによる逆変換で歪みを補正した二次元画像111上の指標105の座標と指標105の三次元座標に基づき算出される。

次に、幾何特徴抽出部140は、二次元画像111から二次元エッジサンプル点112を二次元幾何特徴として抽出する(S104)。例えば、二次元画像111にCannyオペレータを適用してエッジ検出画像を生成し、エッジ検出画像から二次元エッジサンプル点を一画素ごとにサンプリングし、二次元エッジサンプル点112の座標（二次元）と向き（二次元）を一つ以上抽出する。

続く、ステップS105からS108において、二次元幾何特徴として抽出された二次元エッジサンプル点112ごとに三次元エッジサンプル点117の位置と向きが算出される。以下では、一つの二次元エッジサンプル点112に対する処理を説明するが、他の二次元エッジサンプル点112についても同様の処理が行われる。

近傍三次元情報算出部150は、距離画像（参照三次元モデル113）から、二次元エッジサンプル点112に隣接する近傍面114のパラメータを算出する(S106)。参照三次元モデル113である距離画像は、二次元画像111と同じ二次元格子状に計測された三次元点の二次元座標を有する。従って、同じ二次元座標に格納された値を得ることで二次元画像と、距離画像の間の対応を一意に求めることができる。

そこで、近傍三次元情報算出部150は、二次元エッジサンプル点112に隣接する二次元領域から距離画像上の画素群をサンプリングし、画素群に相当する三次元点群をサンプリングする。そして、三次元点群に平面当て嵌め（平面フィッティング）を行い、近傍面114のパラメータを算出する。面当て嵌め行うには、連続する面を可能な限り広い範囲でサンプリングすることが望ましい。そこで、サンプリング領域を徐々に広げ、平面当て嵌めの誤差が大きくなるところで領域拡張を中止し、そのときの平面を近傍面114とする。つまり、以下の手順で近傍面114のパラメータを算出する。
ステップR1：二次元エッジサンプル点112に隣接する円形領域内から参照三次元モデル113の表面上の三次元点をサンプリングし、
ステップR2：サンプリングした三次元点群に平面当て嵌めを行い平面パラメータを算出し、
ステップR3：平面当て嵌めの誤差の分散値を算出し、所定の閾値と比較し、
ステップR4：平面当て嵌めの誤差の分散値が所定の閾値内であれば、円形領域を広げて、処理をステップR2に戻し、
ステップR5：平面当て嵌めの誤差の分散値が所定の閾値を超える場合、直前のステップR2で算出した平面パラメータを近傍面114のパラメータとする。

ステップR1：対象物体100のエッジ部は二つの面の境界と仮定し、二次元エッジサンプル点112の両側、つまり二次元エッジサンプル点112の方向に直交する二方向についてそれぞれ、参照三次元モデル113の表面上の三次元点をサンプリングする。サンプリング領域は中心座標b（二次元ベクトル）から半径r（スカラ）の円領域とし、中心座標bから半径rの円領域内の三次元点を距離画像からサンプリングする。
b = q ± r(q×t) …(1)
ここで、bはサンプリング領域の中心座標（二次元ベクトル）、
qは二次元エッジサンプル点112の二次元座標（二次元ベクトル）、
tは二次元エッジサンプル点112の方向ベクトル（二次元ベクトル）、
rは円領域の半径（スカラ、初期値は一画素）、
「×」は外積を表し、以下「・」は内積を表す。

ステップR2：ステップR1で得られた三次元点群に対して、最小二乗法による平面当て嵌めを行い、平面のパラメータを算出する。ステップR3：ステップR2における平面当て嵌めの誤差の分散値を算出し、所定の閾値と比較する。ステップR4：平面当て嵌めの誤差の分散値が所定の閾値内であれば円領域の半径rをΔrだけ増加してステップR1の処理に戻る。なお、Δrは例えば一画素とする。平面当て嵌めの誤差の分散値が所定の閾値より大きい場合、直前のステップR2で算出した平面のパラメータを近傍面114のパラメータとして出力する。

次に、幾何情報算出部160は、外部パラメータ、二次元エッジサンプル点112の二次元情報（座標と向き）、および、近傍面114のパラメータから、三次元エッジサンプル点117の三次元情報（位置と方向）を算出する(S107)。三次元エッジサンプル点117の位置p'は、二次元エッジサンプル点mと撮影位置115を結んだ直線（視線116）上に規定され、以下のように表すことができる。
p' = km …(2)
ここで、p'は三次元エッジサンプル点117の位置（三次元ベクトル）、
mは二次元エッジサンプル点112の三次元座標（m=(u, v, 1)^T）、
kは係数（スカラ）。

三次元エッジサンプル点117の位置p'は、近傍面114上に存在するという仮定を導入する。
p'・n - h = 0 …(3)
ここで、nは近傍面114の法線方向（三次元ベクトル）、
hは原点から近傍面114までの距離（スカラ）。

式(2)(3)から係数kは次のように表される。
k = h/(m・n) …(4)

式(2)(4)から位置p'は次のように表される。
p' = {h/(m・n)}m …(5)

三次元エッジサンプル点117の向きs（三次元ベクトル）は、視線116と、三次元空間における二次元エッジサンプル点112の方向が成す平面の法線方向に直交し、かつ、近傍面114の法線方向nに直交することから、下式で表すことができる。
s = {(λ×m)×n}/||{(λ×m)×n}|| …(6)
ここで、λは二次元エッジサンプル点112の方向（λ=(λu, λv, 0)^T）、
||x||はベクトルxの長さ（スカラ）。

隠れがなければ、三次元点群をサンプリングする領域は二次元エッジサンプル点112を中心に二つ存在するので、近傍面114が最大二つ算出され、三次元エッジサンプル点も二つ算出される。これら二つの三次元エッジサンプル点のうち、近傍面114への三次元点群の平面当て嵌めの誤差が小さい方を三次元エッジサンプル点117の位置と向きとする。

次に、抽出された二次元エッジサンプル点112すべてに対応する三次元エッジサンプル点117の位置と向きの算出処理が終了したか否かが判定される(S108)。そして、算出処理が終了した場合は、三次元エッジサンプル点117の集合が三次元形状モデルとして出力され(S109)、三次元形状モデルの生成処理が終了する。

このように、三次元計測が難しく、精度よく三次元形状を構成することが難しいエッジ部の三次元形状を高精度に算出して、対象物体100の高精度な三次元形状モデルを生成することができる。

［変形例］
幾何特徴抽出部140は、二次元画像から二次元幾何特徴を抽出することができればよく、二次元エッジサンプル点に限らず、HarrisやSIFT (scale-invariant feature transform)などの画像特徴を用いてもよい。これにより、テクスチャがある対象物体であっても高精度な三次元形状モデルを生成することができる。なおHarrisやSIFTなどの画像特徴を用いる場合、近傍三次元情報算出部150は、画像特徴を中心とする近傍領域から近傍面を算出してもよい。

ステップS108の処理後、算出した三次元幾何情報を参照三次元モデルに追加して三次元形状モデルを再構築してもよい。例えば、参照三次元モデルが距離画像（三次元点群）であれば、算出した三次元幾何情報の三次元座標を三次元点として参照三次元モデルに追加する。参照三次元モデルがメッシュモデルなどの面情報をもつ三次元形状モデルであれば、算出した三次元幾何情報の三次元座標を三次元点として参照三次元モデルに追加し、面情報を再算出する。

さらに、再構築した三次元形状モデルを参照三次元モデルとし、繰り返し上記の処理（ステップS105-S108）を行ってもよい。高精度化した三次元形状モデルを基に三次元幾何情報を算出するため、対象物体100の三次元形状の再現精度をさらに向上することができる。

また、二次元画像取得部110は、二次元画像を取得することができれば、どのような構成でもよい。つまり、濃淡画像を取得してもよいし、例えば三色のカラーフィルタを利用したカラー画像を取得しても構わない。また、可視光以外にも赤外域や紫外域の光線を利用して二次元画像を取得しても構わないし、蛍光などを観察しても構わない。なお、二次元画像のフォーマットや画像サイズは計測システムに応じて設定すればよく、二次元画像の供給元も撮像装置に限らず、事前に撮影された二次元画像を記憶装置から読み出してもよい。勿論、撮像装置は複数あってもよい。

参照三次元モデル取得部130は、距離画像に限らず、対象物体の三次元表面形状を表すデータを取得することができればどのような構成でもよい。また、距離画像は、特定の視点から観測された対象物体の表面までの距離値や三次元座標を保持するもので、二次元格子の画像形状になっているものや、リスト形状になっているものなどがある。距離画像は、二次元画像と同じサイズの二次元格子を用いなくてもよく、撮像装置の内部パラメータを用いて下式により距離画像の三次元点座標を二次元座標に変換すれば、二次元画像と三次元点の対応をとることができる。
(u, v)^T = (f・x/z, f・y/z)^T …(7)
ここで、(u, v)は二次元画像上の座標、
(x, y, z)は三次元座標、
fは焦点距離（内部パラメータ）。

式(7)は、内部パラメータの焦点距離がfである場合の三次元座標(x, y, z)を二次元画像上の座標(u, v)に投影（透視投影変換）する式である。

また、距離画像の取得に二次元画像取得部110と同じ撮像装置を使わなくてもよい。また、投影装置はプロジェクタでもよいし、光源の前にマスクパターンを配置した装置でもよく、構造的なパターンが投影できれば如何なる装置でもよい。さらに、距離画像の取得方法は、投影装置と撮像装置を用いた方法に限らず、二台以上のカメラの相対位置姿勢を事前に校正して利用するステレオカメラであってもよい。さらに、距離画像の取得方法には次のような方法がある。
・ランダムドットを照射して、画像の局所相関係数を計算し、相関の強さから対応付けを行い、ステレオのパラメータから三角測量により距離を算出する方法、
・光を発光して反射して戻ってくるまでの時間を測定するTime of Flight (TOF)式の距離画像取得方法、
・ラインレーザを利用して、対象物体を直線運動させた場合のレーザの反射位置を計測して三次元の位置に変換した距離画像を得る方法、
・接触式CMMなどの接触式の三次元計測装置を用いて三次元点群を取得する方法。

また、参照三次元モデルは、三次元点群と局所平面を表す三次元点間の連結情報の集合であるメッシュモデルでもよい。メッシュモデルは、距離画像や三次元点群を計測する三次元計測装置で対象物体を少なくとも一つの視点から計測し、計測した三次元点群を非特許文献4などが記載する技術で位置合わせする。そして、非特許文献5などが記載する技術を用いて表面を生成すればメッシュモデルを作成することができる。位置合わせとは、計測データ間の相対位置姿勢を算出し、一つの座標系に変換する位置姿勢パラメータを求め、計測データを統合することである。

また、異なる視点から撮影した複数の二次元画像からStructure from X-rayなどの技術を用いて三次元形状モデルを作成してもよい。三次元形状モデルは、メッシュモデルのほか、一つ以上の陰多項式で三次元形状を表現した陰多項式モデル、解析曲面で表現された解析曲面モデル、三次元格子で表現されたボクセルモデルなど、三次元表面形状を表していればどのような表現形式であってもよい。さらに、距離画像や三次元モデルを事前に取得して記憶装置に記録しておき、それを記憶装置から読み出して用いてもよい。

パラメータ取得部120は、二次元画像に対応する内部パラメータ（焦点距離やレンズ歪みパラメータなど）および外部パラメータ（撮影位置姿勢）が取得可能であれば、どのようなものでもよい。位置と形状が既知の指標を撮影して公知技術により外部パラメータを算出してもよいし、記憶装置から内部パラメータを読み出してもよい。また、二次元画像のExIF情報に記述された内部パラメータを利用してもよい。

また、外部パラメータは、Structure from Motionなどのレンジイメージング技術やVisual SLAMなどのトラッキング技術を用いて複数の二次元画像から外部パラメータを算出してもよい。また、同時に内部パラメータを算出してもよい。また撮像装置に撮影位置姿勢を計測するセンサや指標を取り付け、外部のセンサ情報から外部パラメータを取得してもよい。ロボットなどの装置に撮像装置を設置し、ロボットなどの装置の位置姿勢に基づいて外部パラメータを算出してもよい。

また、複数の計測データから参照三次元モデルを作成する場合、距離画像と二次元画像が同時撮影可能な撮像装置を利用し、距離画像（三次元点群）同士の位置合わせの結果得られる撮影位置姿勢を各距離画像に対応する二次元画像の外部パラメータとしてもよい。その際、二次元画像と距離画像を同一視点で撮影できなくても、両者の相対位置姿勢が分かれば、距離画像の撮影位置姿勢から二次元画像の撮影位置姿勢を算出することができる。また、撮像装置が複数ある場合、それぞれの撮像装置を固定設置して、それらの位置姿勢を前記の方法で事前に校正し記憶装置に保存しておき、記憶装置からそれらの位置姿勢を読み出して利用してもよい。

幾何特徴抽出部140は、二次元画像から二次元幾何特徴が抽出可能であればよい。二次元幾何特徴は、二次元画像に含まれる対象物体の撮影領域に含まれる図形的な特徴であり、二次元のエッジやコーナなどの画像特徴である。また、二次元特徴の抽出間隔は、一画素ごとに限られず、対象物体の大きさや撮像装置の特性などに応じて抽出間隔や抽出密度を決定してもよいし、ユーザ指示に応じた抽出間隔や抽出密度としてもよい。

近傍三次元情報算出部150は、参照三次元モデルから二次元幾何特徴の近傍の面情報を表す近傍三次元情報が算出可能であればよい。近傍三次元情報は、平面、Bスプラインや陰多項式などで表現された曲面、面からの距離に応じた値を格納したボクセルである距離場などである。また、法線付き三次元点を局所平面と見做して利用してもよく、三次元の面を表すものであればよい。

近傍三次元情報は、参照三次元モデルからサンプリングした三次元点群に面当て嵌めを行って算出すればよい。また、参照三次元モデルを構成するメッシュや参照三次元モデルを領域分割した分割面などから二次元幾何特徴の近傍の局所面を抽出し、法線の向きが近傍の局所面と最も類似する面を近傍三次元情報として選択してもよい。同様に、二次元幾何特徴の近傍の局所面のパラメータの平均や、重み付き平均、中央値などを算出して求めた面でもよい。

また、近傍三次元情報を算出するための三次元点群をサンプリングする領域中心に最も近い三次元点とその法線を局所平面と見做して近傍三次元情報として取得してもよい。また、サンプリング範囲内にある複数の法線付き三次元点の中から、三次元点とその法線が作る平面からの距離が閾値以下である他の三次元点の数が多い三次元点を近傍三次元情報として取得してもよい。さらに、三次元点群に加えて二次元画像も参照し、非特許文献6などに記載された技術を用いて近傍三次元情報のパラメータを求めてもよい。

近傍三次元情報を算出するためのサンプリング領域は円形でなく、矩形や楕円形でもよい。サンプリング方向も、三次元エッジサンプル点の方向に直交する方向でなくとも、二次元エッジサンプル点の方向に直交する方向でもよい。また、一度得られた近傍三次元情報がもつ法線に正対する方向からみて円形などの領域をサンプリングしてもよい。

サンプリング領域を決定する方法は、領域を拡張して行く方法に限らず、所定の大きさの領域のサンプリングや、所定の大きさの領域から面当て嵌めの誤差が閾値内になるまで領域を縮小する方法でもよい。領域拡張や領域縮小の完了を判定する基準には、面当て嵌めの誤差やその分散値、領域変化前後の分散比など、面当て嵌めの成否を判定する方法を用いればよい。さらに、参照三次元モデルの法線を二次元画像に投影した法線マップや二次元画像などを参照してサンプリング領域を決定してもよい。例えば、二次元エッジサンプル点に直交する方向に他の二次元エッジサンプル点を探索し、他の二次元エッジサンプル点を検出した位置までを連続する面領域としてサンプリングを行ってもよい。

幾何情報算出部160は、二次元幾何特徴の位置、外部パラメータ、二次元幾何特徴の近傍の面情報を表す近傍三次元情報に基づき、二次元幾何特徴の三次元幾何情報が算出可能であればよい。三次元幾何情報は、二次元幾何特徴に相当する三次元形状の位置や向きなどのパラメータである。例えば、三次元幾何情報は、三次元座標や、二次元幾何特徴がエッジなどの向きをもつ情報であれば三次元座標と三次元の向きの組み合わせであればよい。二次元幾何特徴が面上にある画像特徴であれば、三次元座標と法線の向きの組み合わせであればよい。さらに、局所的な円形状を表す半径や、矩形の辺の長さを三次元幾何情報に付加してもよい。局所的な三次元幾何形状を表すパラメータであればどのようなものでもよい。

一つの二次元幾何特徴について複数の三次元幾何情報が算出された場合、ステップS107のように面当て嵌めの誤差に基づきその一つを選択してもよいし、すべてまたは基準を満たすものを複数選択してもよい。また、選択基準も平面当て嵌めの誤差に限らず、より高精度な三次元幾何情報が選択できる選択規準であればよい。

異なる視点で複数の二次元画像が撮影されている場合、算出した三次元幾何情報に対応する二次元幾何特徴を、三次元幾何情報の算出に使った二次元画像とは異なる視点の二次元画像から探索し、再投影誤差が最小の三次元幾何情報を選択することができる。再投影誤差とは、三次元幾何情報の三次元座標を二次元画像の外部パラメータに基づいて二次元画像上に射影した座標と、探索した二次元幾何特徴の座標との距離である。また、三次元幾何情報に対応する二次元幾何特徴を異なる視点の二次元画像から探索できない場合や再投影誤差が所定の閾値より大きい場合には三次元幾何情報の選択は行わない。

以下、本発明にかかる実施例2の情報処理装置および情報処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。

［概要］
実施例1では、二次元画像から二次元幾何特徴を抽出して三次元幾何情報を算出して、高精度な三次元形状モデルを作成する方法を説明した。実施例2では、対象物体の三次元形状モデル（参照三次元モデル）を対象物体を撮影した二次元画像を用いて補正する方法、言い替えれば、参照三次元モデルから抽出した三次元幾何情報を補正して、高精度な三次元形状モデルを作成する方法を説明する。なお、実施例2では、参照三次元モデルが三次元点群と局所平面を表す三次元点間の連結情報の集合であるメッシュモデルである場合を説明する。

三次元幾何特徴は、距離画像、三次元点群、三次元形状モデルに含まれる対象物体の撮影領域に含まれる図形的な特徴であり、三次元のエッジ、コーナ、曲率や法線の分布などの三次元的な特徴である。これにより、対象物体の三次元形状モデルの形状の再現精度を向上することができる。

図5により実施例2の三次元形状モデルの補正処理の概略を説明する。図5は対象物体のエッジ部分の拡大図を示す。以下では、対象物体の参照三次元モデル21のエッジ上から抽出した、三次元の位置と方向をもつ三次元エッジサンプル点22の位置と向きを補正する例を説明する。

前述したように、非接触三次元計測装置による計測データを用いて作成した三次元形状モデル21は、広い面の部分は精度よく再現することができるが、エッジ部は三次元計測が難しいため、エッジ部の精度が低下し易い。そのため、三次元形状モデル（参照三次元モデル21）のエッジ部から、エッジ上の三次元点とその向きを表す三次元エッジサンプル点22を抽出すると誤差が多く含まれる。

他方、エッジ部は見た目の輝度変化が大きいため、二次元画像23からは、二次元エッジサンプル点25を精度よく検出することができる。エッジ部は、隣接する面の間の境界である。そこで、三次元エッジサンプル点22に対応する二次元エッジサンプル点25を二次元画像23から探索する。そして、三次元エッジサンプル点22に近接する面（近接面26）上、かつ、二次元エッジサンプル点25上の補正点29を探索し、補正点29によって三次元エッジサンプル点22の位置と向きを補正する。

つまり、三次元エッジサンプル点22を二次元画像23の外部パラメータに基づき二次元画像23上に投影した投影点24の近傍の二次元エッジサンプル点25を探索する。そして、探索した二次元エッジサンプル点25と二次元画像23の撮影地点（撮像装置115の位置）を結ぶ直線（視線28）が三次元エッジサンプル点22の近接面26と交差する交点を三次元エッジサンプル点22の補正点29として算出する。補正点29の方向は、近接面26の法線方向に直交し、かつ、対応する二次元エッジサンプル点25の向きに平行な向きとして算出される。

［装置の構成］
図6のブロック図により実施例2の情報処理装置104の構成例を示す。実施例2の情報処理装置104は、図3に示す構成に加えて三次元幾何特徴を抽出する幾何特徴抽出部17、三次元幾何特徴を補正する幾何特徴補正部180を有する。なお、二次元画像取得部110、パラメータ取得部120、三次元モデル取得部130における処理は実施例1と同様である。ただし、実施例2の三次元モデル取得部130は、対象物体100の参照三次元モデル21として、三次元点群と局所平面を表す三次元点間の連結情報の集合であるメッシュモデルを記憶装置106から読み出して利用する。

幾何特徴抽出部170は、物体100の三次元幾何特徴として、参照三次元モデル21が示す物体100の輪郭線から三次元エッジサンプル点22を抽出する。幾何特徴抽出部140は、幾何特徴抽出部170が抽出した三次元エッジサンプル点22に対応する二次元幾何特徴として、二次元画像23から二次元エッジサンプル点25を抽出する。

近傍三次元情報算出部150は、参照三次元モデル21から、幾何特徴抽出部170が抽出した三次元エッジサンプル点22の近接面26のパラメータを近傍三次元情報として算出する。近接面26のパラメータは、実施例1と同様に、平面方程式のパラメータ、つまり面の法線と原点からの距離を表し、参照三次元モデル21の表面から三次元点をサンプリングすることで、実施例1と同様の方法で算出される。

幾何情報算出部160は、外部パラメータ、二次元エッジサンプル点の二次元情報（座標と向き）、および、近接面26のパラメータから、三次元エッジサンプル点22に対応する補正点29の三次元情報（位置と方向）を算出する。補正点29の方向は、近接面26の法線方向に直交し、かつ、対応する二次元エッジサンプル点25の向きに平行な向きである。幾何情報補正部180は、補正点29の三次元情報に基づき三次元エッジサンプル点22の三次元情報を補正する。

［三次元形状モデルの補正］
図7のフローチャートにより実施例2の情報処理装置104による三次元形状モデルの補正処理を説明する。実施例1と同様に、二次元画像23の取得(S101)、対象物体100の参照三次元モデル21の取得(S102)、外部パラメータの算出(S103)が行われる。ただし、三次元モデル取得部130が参照三次元モデル21として記憶装置106からメッシュモデルを取得する点で実施例1と異なる。

次に、幾何特徴抽出部170は、参照三次元モデル（メッシュモデル）21から三次元エッジサンプル点22を三次元幾何特徴として抽出する(S111)。幾何特徴抽出部170は、三次元エッジサンプル点22として、サンプリング間隔dで、参照三次元モデル21の輪郭線上の三次元点の座標とその座標における輪郭線の三次元方向を抽出する。サンプリング間隔dは下式によって決定される。
d = g/f …(8)
ここで、gは撮像装置115から対象物体100までの平均距離、
fは焦点距離（内部パラメータ）。

式(8)によって決定されるサンプリング間隔dは、二次元画像23上の一画素当りの長さに相当する。また、輪郭線としては、参照三次元モデル21を構成するメッシュ（局所平面）の辺のうち、辺に接する面の向きが大きく変化する辺、つまり辺に接する面と面がなす角度が所定角度θよりも小さい辺を抽出する。なお、所定角度θは例えば120度である。

続く、ステップS112からS118において、三次元幾何特徴として抽出された三次元エッジサンプル点22ごとの処理が実行される。以下では、一つの三次元エッジサンプル点22に対する処理を説明するが、他の三次元エッジサンプル点22についても同様の処理が行われる。

幾何特徴抽出部140は、幾何特徴抽出部170が抽出した三次元エッジサンプル点22を二次元画像23に投影して投影点24を求める(S113)。そして、投影点24の近傍の二次元画像23に写った対象物体100のエッジ部から二次元エッジサンプル点25を二次元幾何特徴として抽出する(S114)。つまり、二次元画像23にCannyオペレータを適用してエッジ検出画像を生成し、外部および内部パラメータを用いて三次元エッジサンプル点22をエッジ検出画像へ投影して投影点24の二次元座標を算出する。そして、エッジ検出画像から、投影点24に最も近い二次元エッジサンプル点25の座標（二次元ベクトル）と向き（二次元ベクトル）を最近傍探索によって取得する。

次に、実施例1とのステップS106と同様に、近傍三次元情報算出部150による近接三次元情（近接面26のパラメータ）の算出が行われる(S115)。なお、参照三次元モデル21の形状が対象物体100の形状と完全に一致していれば、三次元エッジサンプル点22が接するメッシュを近接面26とすればよい。しかし、安定して三次元計測可能な曲率が小さい面は精度よくメッシュを構成することができるが、エッジ部の計測精度が低いため、三次元エッジサンプル点22が接するメッシュの位置や法線は対象物体100の形状と異なる場合が多い。

そこで、三次元エッジサンプル点22に接するメッシュだけではなく、当該メッシュの周囲のメッシュから三次元点がサンプリングされ、サンプリングされた三次元点群に平面を当て嵌めて、近接面26のパラメータが算出される。つまり、外部および内部パラメータを用いて、メッシュモデルを二次元画像に射影して距離画像を生成し、実施例1と同様の方法により、三次元点群のサンプリングと平面当て嵌めが行われる。ただし、サンプリング領域の中心座標cは下式によって算出される。
c = p±r(p×d) …(9)
ここで、pは三次元エッジサンプル点22の三次元座標、
dは三次元エッジサンプル点22の方向ベクトル、
rは円領域の半径。

次に、幾何情報算出部160は、外部パラメータ、二次元エッジサンプル点25の二次元情報（座標と向き）、三次元エッジサンプル点22の近接面26のパラメータから、補正点29の三次元情報（位置と方向）を算出する(S116)。

次に、幾何情報補正部180は、補正点29の三次元情報に基づき、三次元エッジサンプル点22の三次元情報を補正する(S117)。なお、実施例1と同様、隠れがなければ近接面26が複数算出され、補正点29も複数算出される。幾何情報補正部180は、補正量、つまり三次元エッジサンプル点22との間の距離が小さい補正点29を選択して、三次元エッジサンプル点22の補正に用いる。

次に、抽出された三次元エッジサンプル点22すべてに対する補正処理が終了したか否かが判定される(S118)。そして、補正処理が終了した場合は、補正後の三次元エッジサンプル点22の集合が三次元形状モデルとして出力され(S119)、三次元形状モデルの補正処理が終了する。

このように、三次元形状モデルの三次元幾何特徴を補正して、精度の低い三次元形状モデルを高精度化し、形状再現精度が高い三次元形状モデルを得ることができる。

［変形例］
幾何特徴抽出部170は、参照三次元モデルから三次元幾何特徴を抽出することができればよく、参照三次元モデルの輪郭線から抽出した三次元エッジサンプル点、参照三次元モデルの角などの特徴的な三次元点を三次元幾何特徴として抽出してもよい。また、参照三次元モデルの構造を解析して特徴的な部分（三次元点の位置や法線や曲率などの変化が大きい部分）を抽出してもよい。また、参照三次元モデルにSpin Images（非特許文献7参照）などの三次元特徴検出器を適用して三次元幾何特徴を抽出してもよい。また、参照三次元モデルを様々な方向から観察したシミュレーション画像を作成し、シミュレーション画像から二次元幾何特徴が検出される位置に投影される参照三次元モデルの表面点や輪郭線上の点を抽出してもよい。

ステップS118の処理後、補正した三次元幾何特徴を参照三次元モデルに反映して三次元形状モデルを再構築してもよい。例えば、参照三次元モデルがメッシュモデルなどの面情報をもつ三次元形状モデルであれば、補正した三次元幾何情報の三次元座標を三次元点として参照三次元モデルに追加して面情報を再構成する。また、参照三次元モデルが距離画像（三次元点群）であれば、補正した三次元幾何情報の三次元座標を三次元点として追加する。

さらに、再構築した三次元形状モデルを参照三次元モデルとし、繰り返し上記の処理（ステップS1112-S1118）を行ってもよい。高精度化した三次元形状モデルを基に三次元幾何情報を補正するため、対象物体100の三次元形状の再現精度をさらに向上することができる。

以下、本発明にかかる実施例3の情報処理装置および情報処理方法を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。

［概要］
実施例1、2では、高精度な三次元形状モデルの作成方法を説明した。実施例3では、高精度な三次元形状モデルを用いて対象物体の位置姿勢を推定する方法を説明する。これにより、実物体と位置姿勢推定に用いる三次元形状モデルの形状差異が小さくなり、高精度に対象物体の位置姿勢を算出することができる。

［装置の構成］
図8のブロック図により実施例3の情報処理装置104の構成例を示す。実施例3の情報処理装置104は、図3に示す構成に加えて、計測データ取得部190および位置姿勢算出部200を有する。つまり、実施例3の情報処理装置104は、算出した対象物体100の三次元幾何情報を対象物体100を含むシーンを計測した計測データに当て嵌めて、対象物体100の位置姿勢を算出する。なお位置姿勢の算出対象の対象物体100は、同一の物体である必要はなく、同じ形状を有する異なる物体でもよい。

二次元画像取得部110、パラメータ取得部120、三次元モデル取得部130、幾何特徴抽出部140、近傍三次元情報算出部150、幾何情報算出部160における処理は実施例1と同様である。計測データ取得部190は、撮像装置115が撮像した対象物体100を含むシーンの二次元画像を取得する。二次元画像は、各画素に輝度値が格納された濃淡画像とする。位置姿勢算出部200は、幾何情報算出部160が算出した三次元幾何情報を、計測データ取得部190が取得した計測データに当て嵌めて、対象物体100の位置姿勢を算出する。なお、位置姿勢は、非特許文献8などに記載された技術を用いて算出すればよい。

このように、高精度化された三次元形状モデルを用いて、高精度に対象物体の位置姿勢を算出することができる。

［変形例］
実施例3では、実施例1の構成に計測データ取得部190および位置姿勢算出部200を加えた例を説明したが、実施例2の構成に計測データ取得部190および位置姿勢算出部200を加えた構成も可能である。つまり、実施例2の情報処理装置104において補正された対象物体100の三次元形状モデルを、対象物体100を含むシーンを計測した計測データに当て嵌めて、対象物体100の位置姿勢を算出してもよい。

計測データ取得部190は、対象物体100を含むシーンが取得可能であれば、どのような構成でもよく、計測データとして、濃淡画像を取得してもよいし、三色のカラーフィルタを利用したカラー画像を取得しても構わない。また、可視光以外にも赤外域や紫外域の光線を利用して計測データを取得しても構わないし、蛍光などを観察しても構わない。なお、計測データのフォーマットやサイズは計測システムに応じて設定すればよく、計測データの供給元も撮像装置に限らず、事前に取得された計測データを記憶装置から読み出してもよい。勿論、計測データ取得部190は、二次元画像取得部110と同じ撮像装置115を使わずに、別の撮像装置を使用してもよい。

位置姿勢算出部200は、幾何情報算出部160が算出した三次元形状モデルと計測データから対象物体100の位置姿勢が算出可能であれば、どのような構成でも構わない。二次元画像と距離画像に三次元幾何情報を当て嵌める非特許文献9に記載された方法を用いてもよいし、非特許文献4に記載された方法を用いて距離画像に三次元幾何情報を当て嵌めて対象物体100の位置姿勢を算出してもよい。あるいは、三眼カメラによって計測した対象物体100の三次元遮蔽輪郭エッジに、幾何情報算出部160が算出した三次元エッジサンプル点を当て嵌めて、対象物体100の位置姿勢を算出する非特許文献10に記載された方法を利用してもよい。

また、情報処理装置104の機能は、実施例1-3における三次元形状モデルの作成または補正、あるいは、位置姿勢の算出を行う処理を実行するプログラムを記録媒体を介してコンピュータ機器に供給することで実現可能である。

［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。

110 … 二次元画像取得部、120 … パラメータ取得部、130 … 三次元モデル取得部、140 … 幾何特徴抽出部、150 … 近傍三次元情報算出部、160 … 幾何情報算出部

Claims (15)

1. 物体を含む光景を撮影した二次元画像を取得する第一の取得手段と、
   前記二次元画像の撮影位置姿勢を示すパラメータを取得する第二の取得手段と、
   前記物体の三次元形状を表す三次元形状モデルを取得する第三の取得手段と、
   前記二次元画像から前記物体の二次元幾何特徴を抽出する抽出手段と、
   前記二次元幾何特徴の近傍の前記物体の面に関する三次元情報を、前記三次元形状モデルから算出する第一の算出手段と、
   前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記二次元幾何特徴に対応する前記三次元形状モデルにおける三次元幾何特徴を算出する第二の算出手段とを有する情報処理装置。
2. 前記抽出手段は、前記二次元幾何特徴として、前記二次元画像に写った前記物体のエッジ部を示す複数の二次元エッジサンプル点を抽出する請求項1に記載された情報処理装置。
3. 前記第二の算出手段は、前記三次元幾何特徴として、前記複数の二次元エッジサンプル点に対応する複数の三次元エッジサンプル点を算出する請求項2に記載された情報処理装置。
4. 前記第二の算出手段は、前記三次元エッジサンプル点の集合を前記物体の三次元形状モデルとして出力する請求項3に記載された情報処理装置。
5. 前記第二の算出手段は、前記二次元幾何特徴の位置と前記二次元画像の撮影位置を結ぶ直線と、前記第一の算出手段が算出した前記物体の面との交点を、前記三次元幾何特徴の位置として算出する請求項1から請求項4の何れか一項に記載された情報処理装置。
6. 物体を含む光景を撮影した二次元画像を取得する第一の取得手段と、
   前記二次元画像の撮影位置姿勢を示すパラメータを取得する第二の取得手段と、
   前記物体の三次元形状を表す三次元形状モデルを取得する第三の取得手段と、
   前記三次元形状モデルから前記物体の三次元幾何特徴を抽出する第一の抽出手段と、
   前記二次元画像から前記三次元幾何特徴に対応する二次元幾何特徴を抽出する第二の抽出手段と、
   前記三次元幾何特徴に近接する前記物体の面に関する三次元情報を、前記三次元形状モデルから算出する算出手段と、
   前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記三次元幾何特徴の三次元情報を補正する補正手段とを有する情報処理装置。
7. 前記第一の抽出手段は、前記三次元幾何特徴として、前記三次元形状モデルが表す前記物体の輪郭線を示す複数の三次元エッジサンプル点を抽出する請求項6に記載された情報処理装置。
8. 前記第二の抽出手段は、前記二次元幾何特徴として、前記二次元画像に写った前記物体のエッジ部から前記複数の三次元エッジサンプル点に対応する複数の二次元エッジサンプル点を抽出する請求項7に記載された情報処理装置。
9. 前記第二の抽出手段は、前記三次元エッジサンプル点を前記二次元画像に投影した投影点を求め、前記投影点の近傍の前記エッジ部から前記二次元エッジサンプル点を抽出する請求項8に記載された情報処理装置。
10. 前記補正手段は、
    前記二次元エッジサンプル点、前記パラメータ、前記面に関する三次元情報に基づき、前記二次元エッジサンプル点に対応する前記三次元形状モデルにおける補正点を算出する手段と、
    前記補正点の三次元情報に基づき、前記二次元エッジサンプル点に対応する前記三次元エッジサンプル点の三次元情報を補正する手段とを有する請求項8または請求項9に記載された情報処理装置。
11. 前記補正手段は、前記補正後の三次元エッジサンプル点の集合を前記物体の三次元形状モデルとして出力する請求項10に記載された情報処理装置。
12. 前記補正手段は、前記二次元幾何特徴の位置と前記二次元画像の撮影位置を結ぶ直線と、前記算出手段が算出した前記物体の面との交点を、前記三次元幾何特徴の位置として算出する請求項6から請求項11の何れか一項に記載された情報処理装置。
13. 第一の取得手段が、物体を含む光景を撮影した二次元画像を取得し、
    第二の取得手段が、前記二次元画像の撮影位置姿勢を示すパラメータを取得し、
    第三の取得手段が、前記物体の三次元形状を表す三次元形状モデルを取得し、
    抽出手段が、前記二次元画像から前記物体の二次元幾何特徴を抽出し、
    第一の算出手段が、前記二次元幾何特徴の近傍の前記物体の面に関する三次元情報を、前記三次元形状モデルから算出し、
    第二の算出手段が、前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記二次元幾何特徴に対応する前記三次元形状モデルにおける三次元幾何特徴を算出する情報処理方法。
14. 第一の取得手段が、物体を含む光景を撮影した二次元画像を取得し、
    第二の取得手段が、前記二次元画像の撮影位置姿勢を示すパラメータを取得し、
    第三の取得手段が、前記物体の三次元形状を表す三次元形状モデルを取得し、
    第一の抽出手段が、前記三次元形状モデルから前記物体の三次元幾何特徴を抽出し、
    第二の抽出手段が、前記二次元画像から前記三次元幾何特徴に対応する二次元幾何特徴を抽出し、
    算出手段が、前記三次元幾何特徴に近接する前記物体の面に関する三次元情報を、前記三次元形状モデルから算出し、
    補正手段が、前記二次元幾何特徴、前記パラメータ、前記面に関する三次元情報に基づき、前記三次元幾何特徴の三次元情報を補正する情報処理方法。
15. コンピュータを請求項1から請求項12の何れか一項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images