JP2010079452A - 位置姿勢計測装置及び方法 - Google Patents

位置姿勢計測装置及び方法 Download PDF

Info

Publication number
JP2010079452A
JP2010079452A JP2008244945A JP2008244945A JP2010079452A JP 2010079452 A JP2010079452 A JP 2010079452A JP 2008244945 A JP2008244945 A JP 2008244945A JP 2008244945 A JP2008244945 A JP 2008244945A JP 2010079452 A JP2010079452 A JP 2010079452A
Authority
JP
Japan
Prior art keywords
image
orientation
feature
geometric
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008244945A
Other languages
English (en)
Other versions
JP2010079452A5 (ja
JP5253066B2 (ja
Inventor
Keisuke Tateno
圭祐 立野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008244945A priority Critical patent/JP5253066B2/ja
Priority to US12/563,670 priority patent/US8520931B2/en
Publication of JP2010079452A publication Critical patent/JP2010079452A/ja
Publication of JP2010079452A5 publication Critical patent/JP2010079452A5/ja
Application granted granted Critical
Publication of JP5253066B2 publication Critical patent/JP5253066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Abstract

【課題】観察対象物体の３次元モデルデータから抽出した特徴のうち、位置姿勢の算出に用いる特徴を適切に選別することにより、位置姿勢検出処理の安定化、効率化を図る
【解決手段】位置姿勢算出装置は、観察対象物体の表面形状を表す３次元モデルデータを描画することにより前記観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する。そして、観察対象物体に対する撮像装置の位置姿勢が算出済みとなっている参照画像において複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を、抽出された複数の幾何特徴より選別する。位置姿勢算出装置は、こうして選別された幾何特徴を入力画像における観察対象物体の画像に対応付けることにより、撮像装置の観察対象物体に対する位置姿勢を算出する。
【選択図】 図１

Description

本発明は、観察対象物体の表面形状を表す３次元モデルデータと撮像装置が撮像した観察対象物体の撮像画像を利用して、撮像装置と観察対象物体との相対的な位置姿勢を算出する位置姿勢計測装置及び方法に関するものである。
従来より、現実空間を撮像するカメラなどの撮像装置を用いて、観察対象物体と当該観察対象物体を撮像する撮像装置との相対的な位置姿勢を計測する技術が提案されている。この種の位置姿勢計測技術は、現実空間と仮想空間を融合表示する複合現実感システムや、ロボットの位置姿勢計測において、非常に有用な技術である。
従来より、撮像装置の位置姿勢を計測する方法として、３次元位置が既知の指標を用いる方法が提案されている。この方法では、撮像装置のおおよその位置姿勢を用いて各指標の３次元位置を撮像面へ投影した投影位置と、撮像画像から検出される指標の撮像画像上の位置との距離を誤差として、この誤差を小さくする目的関数を最適化するように位置姿勢を推定する。指標としては、予め検出が容易な幾何学的特徴を有するもの、または色相が特異な特徴を有するものを利用することが多い。
また、画像中でのエッジと観察対象の３次元モデルとの対応をもとに撮像装置の位置及び姿勢を求める方法も提案されている。ここで、撮影画像上で撮像される観察対象物体により観察される輝度が不連続に変化する領域をエッジと呼称する。エッジはスケールや観察方向に対して不変であるため、エッジを利用した位置合わせは精度が高いという特徴がある。非特許文献１で鄭なされているエッジを利用した位置合わせは、次の１から３の処理によって実現される。
（１）前フレームでのカメラの位置及び姿勢及び予め校正済みのカメラの固有パラメータに基づいて、前述の３次元線分モデルを画像上に投影する。
（２）投影された各線分を、画像上で一定間隔となるように分割し、分割点を設定する。そして各分割点について、該分割点を通過し向きが投影された線分の法線方向である線分（探索ライン）上でエッジ探索を行い、探索ライン上における輝度値の勾配が極大でありかつ分割点に最も近い点を対応エッジとして検出する。
（３）分割点毎に検出された対応エッジと、投影される線分との間の画像上での距離の総和が最小となるようなカメラの位置及び姿勢の補正値を算出し、カメラの位置及び姿勢を補正する。
エッジを利用した位置合わせでは、３次元線分モデル中のエッジが撮影画像から検出できない場合がある。また、撮影画像から３次元線分モデルとしてモデル化されていないエッジが多量に検出される場合には、誤った点を対応点として検出する誤対応が発生する場合がある。誤対応がある場合には、位置姿勢の最適化計算において繰り返し計算が収束しない、局所解に陥る、得られる撮像装置の位置及び姿勢の精度が低いものになるなどの問題が発生する。この課題に対して、非特許文献２では、ロバスト推定手法の一つであるＭ推定を用いることが記載されている。即ち、非特許文献２は、前述の対応点と線分との距離が大きいデータについては重みを小さく、距離が小さいデータについては重みを大きくして、重み付き誤差の和を最小化することにより誤検出の影響を排除する。
また、非特許文献４では、画像上での線分周辺の見えの情報を保持しておくことにより、３次元線分モデルと撮影画像中のエッジとの対応付けの精度をより向上させている。撮影画像から３次元線分モデルと対応付いたエッジの見え情報を随時更新することで、照明変化や視点変化に起因する誤検出の影響を排除している。
また、非特許文献３では、３次元線分モデルの情報以外に、撮影画像中に撮像される観察対象物体から抽出した点特徴の情報を併用し、エッジを利用した位置合わせが破綻することを回避している。撮影画像中から抽出した点特徴のフレーム間対応に基づいて現フレームにおけるカメラの位置及び姿勢を反復演算により算出し、エッジによる位置合わせの結果と統合することで、位置姿勢推定の安定性を向上させている。
また一方、エッジを利用した位置合わせでは、３次元の線分の集合により記述されている観察対象物体の３次元線分モデルを持つことが前提となっている。非特許文献１、２、３、４では、観察対象物体の３次元線分モデルは、現実の観察対象物体を利用し、手動で作成されている。しかし、現実の観察対象物体から観察されるであろう３次元エッジを選別し、手動で生成するのは、比較的複雑で、多くの時間を要する。また、曲面が形作る輪郭に基づくエッジは、オフラインの３次元線分モデルとして記述することは困難である。
これに対し、ＣＡＤモデルなどの観察対象物体の形状を表す３次元モデルデータから３次元線分モデルを生成して、エッジによる位置姿勢推定を行う方法が、特許文献１で提案されている。この手法では、あらかじめ３次元モデルデータを描画し、描画結果から３次元モデルデータの幾何的な情報に基づくエッジを検出することで、３次元線分モデルを生成する。また、非特許文献５では、対象物体の３次元モデルデータをあらかじめ描画し、描画した視点の奥行き値から幾何的情報に基づくエッジを抽出することで、３次元線分モデルを生成している。これらの手法では、あらかじめ観察対象物体の３次元モデルを描画し、描画画像からエッジを抽出することで、観察対象物体の３次元線分モデルを生成している。これにより、観察対象物体の３次元線分モデルを手動で作成する手間を低減することができる。
しかし、上記の手法は、曲面を有する物体を様々な方向から見るような場面のように、あらかじめ描画した観察対象物体の見えと、オンラインでの見えが同じとは限らないものに対しては対応できないという問題がある。これに対して、テクスチャの設定された３次元モデルをオンラインで描画し、その描画画像から３次元線分モデルを随時生成して、位置姿勢推定を行う手法が非特許文献６で提案されている。この手法によれば、現実空間中の観察対象物体と同様の見えとなるように、テクスチャの設定された３次元モデルデータを随時描画することで、様々な方向から見る場面に対しても対応することができる。
一方、３次元モデルデータを利用せず、撮影画像のみから特徴の抽出と３次元位置計算を行い、オンラインで３次元線分モデルを生成しながら位置姿勢推定を行う手法が非特許文献７で提案されている。この手法では、観察対象物体の３次元モデルを必要とせず、時系列的な撮影画像のみから３次元線分モデルを生成して位置姿勢推定することが可能である。
T. Drummond and R. Cipolla,"Real-time visual tracking of complex structures," IEEE Transactions on PatternAnalysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002. L. Vacchetti, V. Lepetit, and P.Fua, "Combining edge and texture information for real-time accurate 3D cameratracking," Proc. The 3rd IEEE/ACM International Symposium on Mixed andAugmented Reality (ISMAR04), pp.48-57, 2004. E. Rosten and T. Drummond, "Fusingpoints and lines for high performance tracking," Proc. The 10th IEEEInternational Conference on Computer Vision (ICCV’05), pp.1508-1515, 2005. H. Wuest, F. Vial, and D.Stricker, "Adaptive line tracking with multiple hypotheses for augmentedreality," Proc. The Fourth Int’l Symp. on Mixed and Augmented Reality(ISMAR05), pp.62-69, 2005. G . Bleser, H . Wuest, D.Stricker, "Online camera pose estimation in partially known and dynamicscenes," Proc. The 5th IEEE/ACM International Symposium on Mixed and AugmentedReality (ISMAR06), pp.56-65, 2006. G. Reitmayr and T. W. Drummond,"Going out: robust model-based tracking for outdoor augmented reality," Proc.The 5th IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR06),pp.109-118 2006. E. Eade and T. Drummond, "Edgelandmarks in monocular SLAM," Proc. BMVC06, pp.7-16, 2006. K. Satoh, S. Uchiyama, H.Yamamoto, and H. Tamura, "Robust vision-based registration utilizing bird’s-eyeview with user’s view," Proc. The 2nd IEEE/ACM International Symposium on Mixedand Augmented Reality (ISMAR03), pp.46-55, 2003. I. Skrypnyk and D. G. Lowe, "Scenemodelling, recognition and tracking with invariant image features," Proc. The3rd IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR04),pp.110-119, 2004. 特開２００７-２０７２５１号公報
特許文献１で提案されている従来技術では、観察対象物体の表面形状を表す３次元モデルデータの幾何的な情報に基づいて３次元線分モデルを生成している。しかし、オフラインであらかじめ３次元モデルデータを描画して３次元線分モデルを生成する手法では、生成した３次元線分モデルに対応付く特徴が撮影画像から常に検出されるという保証はない。３次元線分モデルに対応付く特徴を撮影画像から検出できるか否かが、対象物体の表面色や撮像時の照明環境に依存しているからである。生成された３次元線分モデルに対応付く特徴が撮影画像から検出できない場合、その線分が誤対応を起こす可能性が高くなり、位置姿勢推定精度が低下するという課題が発生する。
また、非特許文献５で開示されている手法でも、あらかじめ３次元モデルを描画して、その描画画像の奥行き値から３次元線分モデルを生成しているため、生成した３次元線分モデルに対応付く特徴が実際の撮影画像から検出できるとは限らない。そのため、特許文献１と同様の課題が発生する。
このような誤対応問題に対しては、非特許文献２に提案されるようなＭ推定を利用した誤対応に対するロバスト化を適用することが考えられる。しかし、この手法は、撮影画像から安定して検出されるエッジのみから構成された３次元線分モデルを前提としているため、３次元線分モデルに登録してある線分が撮影画像から観察されない場合には、アウトライヤとして排除する処理しか行わない。そのため、３次元線分モデル自体が不正確である場合など、誤対応として排除される特徴が多くある場合には、位置姿勢推定が不安定になるという課題がある。また、非特許文献４に提案されているような、線分周辺の見えを利用した対応付けロバスト化手法でも、３次元線分モデルに対応付く特徴が撮影画像から検出できない場合はアウトライヤとして排除するだけである。そのため、非特許文献４の手法を用いても、３次元線分モデルが不正確な場合には、位置姿勢推定が不安定になる。
一方、物体表面の模様などの、幾何的には検出できないが色の不連続領域としては検出できる特徴が観察対象物体に存在する場合、前述の従来手法では、このような色に基づく特徴を利用することはできず、逆に特徴が誤対応する原因となる。これに対し、非特許文献６で提案されている手法では、観察時の見た目と同様の見た目を描画できるようなテクスチャデータが設定された３次元モデルデータを利用することで、色に基づく特徴を含めて３次元線分モデルを生成し位置姿勢推定を行っている。しかし、非特許文献６の手法は、観察時の見た目と同様の見た目を描画できるようなテクスチャデータが設定された３次元モデルデータを利用することを前提としている。したがって、３次元モデルデータの設定が不正確、あるいは、実環境に光源変化があるような場合などの３次元モデルデータと実際の観察対象物体の見た目が異なる場合には、生成される３次元線分モデルが不正確になる。そのため、観察対象物体の見た目に合わせて、同様な見た目になるように３次元モデルデータを作成する必要があり、また、実環境が変化した場合には対応できないという課題がある。
また、非特許文献３で提案されている手法では、観察対象物体を撮像した撮影画像から色に基づく特徴を随時抽出し、３次元線分モデルに加えて、抽出した特徴も利用して位置姿勢推定を行っている。しかし、この手法は、３次元線分モデルとともに、撮影画像から抽出した特徴を併用することに焦点を当てた手法であり、３次元線分モデルは、十分に特徴として観察されるエッジのみから構成されていることを前提としている。そのため、３次元線分モデルが不正確な場合、上記手法と同様に、３次元線分データと撮影画像中のエッジとの間に誤対応が頻出し、位置姿勢推定が不安定になるという課題がある。
また、非特許文献７で提案されているような、純粋に撮影画像のみから３次元線分モデルを生成し位置姿勢推定する手法では、位置姿勢推定の精度が十分ではないという課題がある。３次元モデルデータを利用して３次元線分モデルを生成する手法と比較して、３次元線分モデルの精度が低くなってしまうためである。
本発明は、以上の問題を鑑みてなされたものであり、観察対象物体の３次元モデルデータから抽出した特徴のうち、位置姿勢の算出に用いる特徴を適切に選別することにより、位置姿勢検出処理の安定化、効率化を図ることを目的とする。また、観察対象物体の３次元モデルデータから抽出した特徴が、撮影画像中に撮像される観察対象物体から抽出できる特徴と大きく異なる場合でも、安定して位置姿勢推定可能とすることを目的とする。
上記の目的を達成するための本発明の一態様による位置姿勢計測装置は以下の構成を備える。即ち、
撮像装置が撮像した画像を入力する入力手段と、
観察対象物体の表面形状を表す３次元モデルデータを格納する格納手段と、
前記３次元モデルデータを描画することにより前記観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する幾何特徴抽出手段と、
前記観察対象物体に対する前記撮像装置の位置姿勢が既知の参照画像において前記複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を前記複数の幾何特徴より選別する幾何特徴選別手段と、
前記幾何特徴選別手段で選別された幾何特徴を前記入力手段により入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出する算出手段とを備える。
また、本発明の他の態様による位置姿勢計測装置は、更に、
前記参照画像から、明度または色に基づいて前記観察対象物体に関連する複数の画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出した画像特徴と、前記幾何特徴選別手段で選別した幾何特徴とを物体特徴として統合する統合手段とを更に備え、
前記算出手段は、前記物体特徴を前記入力手段により入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出する。
また、上記の目的を達成するための本発明の他の態様による位置姿勢計測方法は、
撮像装置が撮像した画像を入力する入力工程と、
観察対象物体の表面形状を表す３次元モデルデータを格納した格納手段より前記３次元モデルデータを読み出し、前記３次元モデルデータを描画することにより前記観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する幾何特徴抽出工程と、
前記観察対象物体に対する前記撮像装置の位置姿勢が既知の参照画像において前記複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を前記複数の幾何特徴より選別する幾何特徴選別工程と、
前記幾何特徴選別工程で選別された幾何特徴を前記入力工程で入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出する算出工程とを有する。
本発明によれば、観察対象物体の３次元モデルデータから抽出した特徴のうち、位置姿勢の算出に用いる特徴を適切に選別するので、位置姿勢検出処理の安定化、効率化を図ることができる。また、観察対象物体の３次元モデルデータから抽出した特徴が、撮影画像中に撮像される観察対象物体から抽出できる特徴と大きく異なる場合でも、安定して位置姿勢推定することができる。
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
［第１実施形態］
本実施形態では、本発明を、画像上のエッジを利用した位置合わせ手法に適用した場合について説明する。
図１は、第１実施形態における位置姿勢計測装置１の機能構成を示している。なお、位置姿勢計測装置１は、例えば一般的なコンピュータ装置に以下で説明する機能を実現するためのソフトウエアを実行させることによっても実現され得る。この場合、以下に説明する各機能構成の一部或いは全てが、コンピュータ装置のＣＰＵによって実行されることになる。なお、第２、第３実施形態についても同様である。
図１に示したように、位置姿勢計測装置１は、画像取得部１１０、モデル保存部１２０、参照画像保存部１３０、幾何特徴抽出部１４０、色特徴抽出部１５０、画像特徴検出部１６０、位置姿勢算出部１７０を有する。画像取得部１１０は撮像装置１００に接続されている。撮像装置１００は、動画撮影が可能であり、観察対象物体１０を撮影する。位置姿勢計測装置１は、観察対象物体の３次元モデルデータ２０に記述された観察対象物体１０と撮像装置１００との相対的な位置姿勢を、撮像装置１００により得られた撮像画像の情報を用いて求める。なお、本実施形態において位置姿勢計測装置１による位置姿勢計算処理が適用できる条件として、撮像装置１００が撮像した情景の撮像画像中に該観察対象物体が映っていることを前提としている。以下、位置姿勢計測装置１を構成する各部について説明する。
画像取得部１１０は、撮像装置１００によって撮像された画像を位置姿勢計測装置１に入力する。画像取得部１１０は、撮像装置の出力がＮＴＳＣなどのアナログ出力であればアナログビデオキャプチャボードによって実現される。また撮像装置の出力がＩＥＥＥ１３９４などのデジタル出力であれば、例えばＩＥＥＥ１３９４インタフェースボードによって実現される。また、予め記憶装置に記憶してある静止画像や動画像のデジタルデータを読み出してもよい。
モデル保存部１２０は、位置姿勢計測の基準となる観察対象物体１０の表面形状を表す３次元モデルデータ２０を記憶する。３次元モデルデータ２０は、観察対象物体の３次元の幾何的な情報を有するモデルであり、頂点情報及び各頂点を結んで構成される面の情報によって定義される。位置姿勢計測装置１では、観察対象物体の３次元形状を表す面の情報を含んでいれば良いので、３次元モデルデータとしては、面の情報がパラメトリックに記述されたソリッドモデルでも良いし、ポリゴンモデルでも良い。また、任意の３次元モデラーのフォーマットを変換する処理部を位置姿勢計測装置１に含むようにしても構わない。なお、本実施形態では、頂点情報及び各頂点を結んで構成される面の情報を含むポリゴンモデルを３次元モデルデータとして利用する。
参照画像保存部１３０は、過去フレームにおいて観察対象物体が撮像された撮影画像と、撮像されたときの観察対象物体と撮像装置との相対的な位置姿勢とを保存する。参照画像保存部１３０で参照画像として保持する撮影画像としては、直前のフレームの撮影画像のみとしても良いし、過去フレームの複数の撮影画像としても良いし、また、過去フレームにおいて位置姿勢推定精度の高かったフレームの撮影画像のみとしても良い。即ち、撮影画像中に撮像される観察対象物体と撮像装置との相対位置姿勢が既知の撮影画像であれば、数を問わず、またいずれの撮影画像でもよい。本実施形態では直前フレームの撮影画像を参照画像として保持するものとする。
幾何特徴抽出部１４０は、モデル保存部１２０に保存された観察対象物体１０の３次元モデルデータ２０を画像平面上に描画することにより観察対象物体１０の幾何的な情報に基づく特徴（以後、幾何特徴）を抽出する。なお、３次元モデルデータ２０の描画においては、撮像装置１００の位置姿勢として、初期値として設定された位置姿勢、或いは撮像装置１００に関して算出されている現在の位置姿勢が用いられる。そして、幾何特徴抽出部１４０は、抽出した幾何特徴の中で、撮像装置により撮像された撮影画像中から検出が期待できる幾何特徴のみを、参照画像保存部１３０に保持されている位置姿勢が既知の画像（参照画像）を参照して選別する。幾何特徴の抽出方法および選別方法については後述する。
色特徴抽出部１５０は、参照画像保存部１３０に参照画像として保持されている過去フレームの撮影画像中の観察対象物体の画像から、観察対象物体の明度や色の少なくともいずれかに基づく画像特徴（以後、色特徴という）を抽出する。そして、色特徴抽出部１５０は、参照画像保存部１３０に保存された観察対象物体の位置姿勢の情報と、モデル保存部１２０に保存された３次元モデルデータ２０に基づいて、参照画像が保存された位置姿勢から観察される観察対象物体の幾何特徴を抽出する。そして、色特徴抽出部１５０は、抽出した色特徴と幾何特徴とを比較し、対応する幾何特徴が検出された色特徴を除去することで、色に基づいて抽出される特徴のみを選別する。色に基づく特徴の抽出方法については後述する。
画像特徴検出部１６０は、画像取得部１１０によって入力された画像上において、撮像装置と観察対象物体との位置姿勢を算出するのに用いられる画像特徴を検出する。本実施形態では、画像特徴検出部１６０は画像上のエッジの検出を行う。エッジの検出方法については後述する。
概略位置姿勢を反復演算の初期値として、撮像装置と観察対象物体との相対的な位置姿勢を算出する。より具体的には、位置姿勢算出部１７０は、
・画像特徴検出部１６０が検出した画像特徴の情報と、
・幾何特徴抽出部１４０が抽出した幾何特徴と、
・色特徴抽出部１５０が抽出した色特徴とに基づいて、観察対象物体１０を基準とした座標系（以下、基準座標系）における撮像装置１００の位置及び姿勢を算出する。
次に、第１実施形態における位置姿勢計測方法の処理手順について説明する。図２は、第１実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。
（ステップＳ１０１０）
まずステップＳ１０１０では初期化を行う。ここでは、位置姿勢計測装置１のＣＰＵが、基準座標系における撮像装置１００と観察対象物体１０との相対的な概略位置姿勢の設定を行う。第１実施形態における位置姿勢計測方法は、概略の撮像装置の位置姿勢を、撮影画像上に撮像される観察対象物体のエッジ情報を利用して逐次更新していく方法である。そのため、位置姿勢計測を開始する前に予め撮像装置の概略の位置及び姿勢を初期位置及び初期姿勢として与える必要がある。
概略の位置及び姿勢を与える初期化の方法としては、例えば予め決まった位置及び姿勢を設定しておき、撮像装置をその位置及び姿勢になるように移動することで初期化を行うことが挙げられる。または、画像内で検出するだけで認識可能な人工的な指標を配置し、該指標の各頂点の画像座標と基準座標系における３次元位置との対応から撮像装置の位置姿勢を求めて概略の位置姿勢としてもよい。また、識別性の高い自然特徴点を予め検出してその３次元位置を求めておき、初期化時に画像上で該特徴点を検出し、その画像座標と３次元位置との対応から撮像装置の位置姿勢を求めてもよい。さらに、磁気式や光学式、超音波式などの６自由度位置姿勢センサによって撮像装置の位置姿勢を計測し、それを概略の位置姿勢としてもよい。人工的な指標や自然特徴点などの画像情報と、前述の６自由度位置姿勢センサや３自由度の姿勢センサ、３自由度の位置センサを併用して計測される撮像装置の位置姿勢を用いて初期化してもよい。
（ステップＳ１０２０）
ステップＳ１０２０では、撮像装置１００が撮像した画像を画像取得部１１０を介して位置姿勢計測装置１に取り込む。
（ステップＳ１０３０）
次にステップＳ１０３０において、幾何特徴抽出部１４０は、観察対象物体の幾何的情報に基づく特徴を検出する。第１実施形態で検出する幾何的情報に基づく特徴はエッジである。図３は、本実施形態における観察対象物体の幾何特徴の検出方法について詳細な処理手順を示すフローチャートである。
まず、ステップＳ１２１０において、幾何特徴抽出部１４０は、モデル描画を行う。モデル描画とは、撮像装置１００に設定されている位置姿勢に基づいて、モデル保存部１２０に保存された観察対象物体の３次元モデルを画像平面上に投影することである。最初のモデル描画では、ステップＳ１０１０で求めた観察対象物体の概略位置姿勢（初期値）が用いられることになる。また、２回目以降の処理では、撮像装置１００と観察対象物体１０との間の直前に取得された相対位置姿勢が用いられる。
モデル描画を行うためには、撮像装置１００の位置姿勢とともに、射影行列の内部パラメータ（焦点距離や主点位置など）を設定する必要がある。本実施形態では、カメラの内部パラメータをあらかじめ計測しておき、実際に用いるカメラ（撮像装置１００）と内部パラメータを一致させておく。また、視点からモデルまでの距離の最大値と最小値を設定しておき、その範囲外のモデルの描画は行わないことで、描画処理の計算コストを低減する。図４にステップ１２１０により描画された結果を示す。概略位置姿勢により３次元モデルを画像平面上に投影することにより、画像平面上での２次元座標とその輝度値、２次元座標に対応する画像平面から３次元モデルまでの奥行き値（デプス値）が格納されたデプスバッファが算出される。
次にステップＳ１２２０において、幾何特徴抽出部１４０は、ステップＳ１２１０の描画過程において生成されたデプスバッファに対して、エッジ検出を行う。デプスバッファに対してエッジ検出することで、奥行きが不連続に変化する領域を求めることができる。エッジ検出では、例えば、Cannyアルゴリズムなどによってエッジが抽出され、２値画像形式として利用できるようになる。この過程において、抽出されたエッジは、画像中で白く表され、それ以外は黒く表される。
次にステップＳ１２３０において、幾何特徴抽出部１４０は、ステップＳ１２２０で生成された２値化画像について、隣接エッジのラベリングを行い、エッジの連結成分を抽出する。ラベリングは、例えばある画素の周囲8画素の中にエッジが存在すれば、同一ラベルを割り当てることにより行う。
図５は、ステップＳ１２３０において、連結成分を抽出したエッジを撮影画像上に重ねた結果を示す図である。図５（ａ）は撮像された画像そのものであり、図５（ｂ）は撮影画像上に抽出したエッジを重ね合わせた図である。ステップＳ１０１０で算出した概略の位置姿勢と、実際の位置姿勢が異なる場合には、図５（ｂ）に示すように実際に撮像される物体と抽出したエッジとの間にずれが生じる。
次にステップＳ１２４０において、幾何特徴抽出部１４０は、ステップＳ１２３０で連結成分を抽出したエッジに対して、エッジ素の抽出を行う。エッジ素とは、画像上での端点間の距離が極短いエッジのことをいう。同一ラベルにラベリングされたエッジを画像上で等間隔に分割するように分割点を算出して、この分割点の周辺の極短い連結成分を求めることでエッジ素を抽出する。図６はラベリングされたエッジから等間隔に抽出したエッジ素を表す図である。本実施形態では、分割点から３pixel離れた連結成分を端点（始点と終点）に設定して、分割点を中心としたエッジ素を抽出している。デプスバッファから抽出したエッジ素の総数をＮとして、各エッジ素をGfi（i=1,2…N）で表す。エッジ素の数Ｎが多いほど、処理時間が長くなる。そのため、画像上でのエッジ素を抽出する間隔を変えることで処理時間を制御できる。また、エッジ素の数を一定として処理時間が一定になるように、画像上でのエッジ素間の間隔を逐次変更してもよい。
次にステップＳ１２５０において、幾何特徴抽出部１４０は、ステップＳ１２４０で算出されたエッジ素に対して、基準座標系における３次元座標を求める。これには、ステップＳ１２１０で生成したデプスバッファを利用する。前述の通り、デプスバッファには、画像座標に対応する奥行き値が格納されている。但し、デプスバッファに格納されている奥行き値は、ステップ１２１０のレンダリング過程で用いた、視点からモデルまでの距離の最大値と最小値により０から１の値に正規化されている。そのため、デプスバッファの奥行き値から直接、基準座標系における３次元座標を求めることはできない。そこで、上述の距離の最大値と最小値を利用して、まずはデプスバッファの値を、カメラ座標系における視点からエッジ素までの距離に変換する。同時に射影行列の内部パラメータを利用して、カメラ座標系におけるエッジ素の３次元座標を求める。そして、カメラ座標系における３次元座標に対して、レンダリング過程で用いた位置姿勢の逆変換をほどこすことで、基準座標系におけるエッジ素の３次元座標を求める。３次元座標が算出されたエッジ素GFiの集合を以後、幾何特徴モデルと呼ぶ。
（ステップＳ１０４０）
次に、ステップＳ１０４０において、参照画像保存部１３０に、参照画像としての過去フレームの撮影画像が保存されているか否かが判定される。参照画像が保存されている場合は、ステップＳ１０５０に進み、保存されていない場合は、ステップＳ１０５０以降の過去フレームの撮影画像を利用するステップをスキップして、ステップＳ１０８０へ進む。特に最も初期のフレームについては、過去フレームの撮影画像（参照画像）が存在しないため、処理は自動的にステップＳ１０８０に進む。
（ステップＳ１０５０）
ステップＳ１０５０において、幾何特徴抽出部１４０は、参照画像保存部１３０に保存された過去フレームの撮影画像を利用して、ステップＳ１０３０で抽出した幾何特徴の選別を行う。即ち、幾何特徴抽出部１４０は、観察対象物体１０に対する撮像装置１００の位置姿勢が算出済みとなっている（既知である）参照画像において、ステップＳ１０３０で抽出した複数の幾何特徴に対応する画像特徴を探索する。そして、対応する画像特徴が検出された幾何特徴を当該複数の幾何特徴より取り出すことにより選別が行われる。図７は、本実施形態における観察対象物体の幾何特徴の選別方法について詳細な処理手順を示すフローチャートである。
まず、ステップＳ１３１０において、幾何特徴抽出部１４０は、変数ｉを１にセットする。処理は、ステップＳ１３２０に進む。
ステップＳ１３２０において、幾何特徴抽出部１４０は、参照画像保存部１３０に参照画像とともに保存されている、観察対象物体と撮像装置との相対位置姿勢の情報を取得する。そして、幾何特徴抽出部１４０は、取得した相対位置姿勢に基づいて、ステップＳ１０３０で求めた幾何特徴モデルのエッジ素GFiの３次元座標を当該参照画像中に投影し、幾何特徴モデルのエッジ素GFiの参照画像中における２次元座標を求める。図８は、参照画像上にエッジ素を投影した図である。図８（ａ）は参照画像保存部１３０に保存された参照画像であり、図８（ｂ）は参照画像上に投影したエッジ素を重ね合わせた図である。図８（ｂ）に示すように、エッジ素は、参照画像保存部１３０に保存されている位置姿勢の情報に基づいて、参照画像上に撮像される観察対象物体と重なる位置に投影される。
次に、ステップＳ１３３０において、幾何特徴抽出部１４０は、ステップＳ１３２０で求めた２次元座標の端点（始点と終点）を結んだ直線の法線方向に平行でかつエッジ素の中心点を通過する線分（以下、探索ライン）上における濃度勾配を計算する。
次に、ステップ１３４０において、幾何特徴抽出部１４０は、濃度勾配の極値が存在するかを算出する。図９は、本実施形態における特徴判別を説明する図である。図９に示される下側の２つのエッジ素のように、影等によりエッジ素の近傍の探索ライン上に極値がない場合は、撮影画像中から検出できない幾何特徴であると見なして、ステップ１３５０において、エッジ素GFiを除去し、幾何特徴モデルの総数Ｎから１減分する。図９上に示される、上側３つのエッジ素のように、近傍に極値がある場合は、撮影画像から検出できる幾何特徴であると見なして、ステップ１３６０に進む。本実施形態では、エッジ素の近傍を、中心点から探索ライン両端方向に５[pixel]以内の範囲と定義する。
次にステップＳ１３６０において、幾何特徴抽出部１４０は、変数ｉを１増分し、処理はステップＳ１３７０に進む。ステップＳ１３７０において、幾何特徴抽出部１４０は、全てのエッジ素GFiについて上記処理が終了したか否かを判断する。全てのエッジ素GFiについて上記処理が終了している場合には、当該判別処理を終了し、終了していない場合は処理はステップＳ１３２０に戻る。以上の処理により、幾何特徴モデルの中で、参照画像から検出されない可能性が高いエッジ素が除去される。除去されなかったエッジ素は、撮影画像から検出が期待できるエッジとして選別されたことになる。
（ステップＳ１０６０）
次にステップＳ１０６０において、色特徴抽出部１５０は、参照画像保存部１３０において保存されている過去フレームの撮影画像（参照画像）から観察対象物体の色情報に基づく特徴（画像特徴）を検出する（画像特徴抽出処理）。図１０は、本実施形態における前フレームの撮影画像（参照画像）からの、観察対象物体の色に基づく特徴の検出方法について詳細な処理手順を示すフローチャートである。
まず、ステップＳ１４１０において、色特徴抽出部１５０は、参照画像保存部１３０に保存された参照画像からエッジを抽出する。参照画像に対してエッジ検出することで、輝度値が不連続に変化する領域を求めることができる。エッジの検出方法は、ステップＳ１２２０で記載した処理と同様である。ただし、ステップＳ１２２０の処理と異なり、参照画像を対象としてエッジ検出を行う。
次に、ステップＳ１４２０において、色特徴抽出部１５０は、ステップＳ１４１０で抽出したエッジのラベリングを行い、エッジの連結成分を抽出する。ラベリング方法は、ステップＳ１２３０で記載した処理と同様である。
次に、ステップＳ１４３０において、色特徴抽出部１５０は、ステップＳ１４２０で抽出したエッジの連結成分からエッジ素を抽出する。エッジ素の抽出方法は、ステップＳ１２４０で記載した処理と同様である。
次に、ステップＳ１４４０において、色特徴抽出部１５０は、ステップＳ１４３０で抽出したエッジ素の基準座標上の３次元座標を計算する。まず、色特徴抽出部１５０は、参照画像保存部１３０に保存された観察対象物体と撮像装置との相対位置姿勢に基づいて、モデル保存部１２０に保存されている３次元モデルデータ２０を描画し、参照画像のデプスバッファを取得する。そして、色特徴抽出部１５０は、取得したデプスバッファを利用して、エッジ素の３次元座標を計算する。デプスバッファからのエッジ素の３次元座標の算出方法は、ステップＳ１２５０で記載した処理と同様である。以上の処理により、基準座標系における３次元座標が算出された参照画像の色の境界に基づくエッジ素CFjの集合を以後、色特徴モデルと呼ぶ。
（ステップＳ１０７０）
次に、ステップＳ１０７０において、色特徴抽出部１５０は、ステップＳ１４４０で生成したデプスバッファを利用して、ステップＳ１０６０で抽出した色特徴の選別（画像特徴選別処理）を行う。図１１は、本実施形態における観察対象物体の色特徴モデルのエッジ素CFiの選別方法について詳細な処理手順を示すフローチャートである。
まず、ステップＳ１５１０において、色特徴抽出部１５０は、変数ｊを１にセットし、処理はステップＳ１５２０に進む。
次に、ステップＳ１５２０において、色特徴抽出部１５０は、ステップＳ１４３０で求めた、色の特徴に基づくエッジ素CFiの探索ライン上における、ステップＳ１４４０で求めたデプスバッファ上のデプス値の勾配を計算する。
次に、ステップＳ１５３０において、色特徴抽出部１５０は、ステップＳ１５２０で求めたデプスバッファ上の濃度勾配から極値が検出されるかを判別する。エッジ素の近傍でデプスバッファ上から極値が検出された場合、そのエッジ素は幾何的にも抽出されるエッジ素であると見なして、ステップＳ１５４０において、エッジ素CFjを除去する。エッジ素の近傍でデプスバッファ上から極値が検出されない場合は、色特徴抽出部１５０は、当該エッジ素は物体表面の色に基づくエッジであると見なして、処理をステップＳ１５５０に進める。
次にステップＳ１５５０において、色特徴抽出部１５０は、変数ｊを１増分し、処理をステップＳ１５６０に進める。ステップＳ１５６０において、全てのエッジ素CFjについて処理が終了しているどうかが判断される。全てのエッジ素について処理が終了している場合には、当該判別処理を終了し、終了していない場合は処理をステップ１３２０に戻す。以上の処理により、色特徴モデルの中で、幾何的にも検出できるエッジ素が除去され、物体表面の色の境界に基づくエッジのみが選別される。
（ステップＳ１０８０）
次にステップＳ１０８０において、画像特徴検出部１６０は、画像特徴選別処理で選別した色特徴と、幾何特徴選別処理で選別した幾何特徴とを物体特徴として統合する。より具体的には、画像特徴検出部１６０は、ステップＳ１０３０で生成した幾何特徴モデルとステップＳ１０６０で生成した色特徴モデルを統合した物体特徴モデルの生成を行う。物体特徴モデルは、幾何特徴モデルのエッジ素と色特徴モデルのエッジ素の集合であり、総数をＬとし、各エッジ素をOFk（k=1,2,…,L）で表す。エッジ素の総数Ｌは、幾何特徴モデルの総数Ｍと色特徴モデルの総数Ｎを足したものである。但し、本実施形態では、幾何特徴モデルの総数Ｍと色特徴モデルの総数Ｎは、それぞれステップＳ１０５０、Ｓ１０７０の選別処理によって選別された数となっている。図１２は、本実施形態における観察対象物体の幾何特徴モデルと色特徴モデルの統合方法について詳細な処理手順を示すフローチャートである。
まず、ステップＳ１６１０において、画像特徴検出部１６０は、ステップＳ１０３０で生成され、ステップＳ１０５０で選別されたエッジ素で構成された幾何特徴モデルを物体特徴モデルに登録する。物体特徴モデルの総数Ｌには幾何特徴モデルの総数Ｍが加えられる。
次に、ステップＳ１６２０において、画像特徴検出部１６０は、ステップＳ１０６０において色特徴モデルが生成されている場合は、ステップＳ１６３０に進み、生成されていない場合は、処理を終了する。
次に、ステップＳ１６３０において、画像特徴検出部１６０は、ステップＳ１０１０で求めた概略位置姿勢に基づいて、色特徴モデルの３次元座標を投影し、現フレームの撮影画像上での画像座標を算出する。幾何特徴モデルの３次元座標に対応する撮影画像上での画像座標は、ステップＳ１０３０中のモデル描画・エッジ素抽出処理により既に算出されている。
次に、ステップＳ１６４０では、ステップＳ１６３０で、画像座標を求めた色特徴モデルを物体特徴モデルに登録し、物体特徴モデルの総数Ｌに色特徴モデルの総数Ｌを加える。
（ステップＳ１０９０）
ステップ１０９０において、画像特徴検出部１６０は、ステップＳ１０９０で求めた物体特徴モデルのエッジ素OFk（k=1,2,…,L）に対応する、撮像装置１００によって撮像された現フレーム撮影画像の画像特徴の検出を行う。本実施形態における画像特徴はエッジである。図１３は、本実施形態におけるエッジ検出方法の詳細な処理手順を示すフローチャートである。図１４は、物体特徴モデルのエッジ素OFkを撮影画像上に重ねた結果を示す図である。図１４（ａ）は撮像された画像そのものであり、図１４（ｂ）は物体特徴モデルのエッジ素を重ね合わせた図である。ステップＳ１３３０やＳ１５２０と同様に、エッジ素の画像座標周辺のエッジを撮影画像から抽出する。
まず、ステップＳ１７１０において、画像特徴検出部１６０は、変数ｋを１にセットし、処理素ステップＳ１７２０に進める。
次に、ステップＳ１７２０において、画像特徴検出部１６０は、物体特徴モデルのエッジ素OFkに対応するエッジを画像から検出する。エッジ素OFkの探索ライン（エッジ素の法線方向の線分）上において、撮影画像上の濃度勾配から極値を算出する。エッジは、探索ライン上において濃度勾配が極値をとる位置に存在する。本実施形態では、探索ライン上でエッジが複数存在する場合には、最もエッジ素の中心点に近いエッジを対応点とし、その画像座標とエッジ素OFkの３次元座標を保持する。なお、本実施形態では最もエッジ素OFkに近いエッジを対応点としているが、これに限るものではなく、濃度勾配の極値の絶対値が最も大きいエッジを対応点としてもよい。また、非特許文献２に示すように、１つではなく複数の点を対応点候補として保持しても本発明の本質が損なわれることはない。
ステップＳ１７３０において、画像特徴検出部１６０は、変数ｋを１増分し、処理をステップＳ１７４０に進める。すべてのエッジ素OFkについて処理が終了している場合には当該処理を終了する。一方、すべてのエッジ素OFkについて処理が終了していない場合にはステップＳ１７２０に処理を戻し、上記処理が繰り返される。
（ステップＳ１１００）
ステップＳ１１００において、位置姿勢算出部１７０は、撮像装置１００の観察対象物体１０に対する相対的な位置姿勢を算出する。相対的な位置姿勢は、幾何特徴選別処理で選別された幾何特徴と画像特徴選別処理で選別された色特徴を統合して得られた物体特徴を、現フレームにおける観察対象物体の画像に対応付けることにより算出される。より、具体的には、位置姿勢算出部１７０は、非線形最適化計算を用いて、撮像装置と観察対象物体との概略の相対的な位置姿勢を反復演算により補正することにより撮像装置の位置姿勢を算出する。ここで、ステップＳ１０８０において生成された物体特徴モデルのエッジ素OFkのうち、ステップＳ１０９０において対応点が求まったエッジ素の総数をLcとする。図１５は、エッジの情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。図１５では、画像の水平方向、垂直方向をそれぞれｘ軸、ｙ軸としている。あるエッジ素の中心点の投影された画像座標を（ｕ0,ｖ0）、エッジ素の直線の画像上での傾きをｘ軸に対する傾きθと表す。傾きθは、エッジ素端点(始点と終点)の撮影画像上での２次元座標を結んだ直線の傾きとして算出する。エッジ素の直線の画像上での法線ベクトルは（ｓｉｎθ, −ｃｏｓθ）となる。また、該エッジ素の対応点の画像座標を（ｕ’, ｖ’）とする。
ここで、点（ｕ , ｖ）を通り、傾きがθである直線の方程式は、
Figure 2010079452
 と表せる。
エッジ素の撮影画像上での画像座標は撮像装置の位置及び姿勢により変化する。また、撮像装置の位置及び姿勢の自由度は６自由度である。ここで撮像装置の位置及び姿勢を表すパラメータをｓで表す。ｓは６次元ベクトルであり、撮像装置の位置を表す３つの要素と、姿勢を表す３つの要素からなる。姿勢を表す３つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す３次元ベクトルなどによって表現される。エッジ素中心点の画像座標（ｕ , ｖ）は（ｕ０ , ｖ０）の近傍で１次のテイラー展開によって数３のように近似できる。
Figure 2010079452
上記数３におけるｕ、ｖの偏微分の導出方法は例えば非特許文献８に開示されるように広く知られているのでここではその詳細は述べない。数２を数１に代入することにより、数３が得られる。
Figure 2010079452
ここで、数３に示す直線が該エッジ素の対応点の画像座標（ｕ’, ｖ’）を通過するように、撮像装置の位置及び姿勢ｓの補正値Δｓを算出する。r0=u0sinθ-v0cosθ（定数）、d=u’sinθ-v’ cosθ（定数）とすると、
Figure 2010079452
 が得られる。数４はLc個のエッジ素について成り立つため、数５のようなΔｓに対する線形連立方程式が成り立つ。
Figure 2010079452
ここで数５を数６のように簡潔に表す。
Figure 2010079452
数６をもとにＧａｕｓｓ−Ｎｅｗｔｏｎ法などによって、行列Ｊの一般化逆行列（ＪT・Ｊ）−1を用いてΔｓが求められる。しかしながら、エッジの検出には誤検出が多いので、次に述べるようなロバスト推定手法を用いる。一般に、誤検出されたエッジに対応するエッジ素では誤差d−rが大きくなる。そのため数５、数６の連立方程式に対する寄与度が大きくなり、その結果得られるΔｓの精度が低下してしまう。そこで、誤差d−rが大きいエッジ素のデータには小さな重みを与え、誤差d−rが小さいエッジ素のデータには大きな重みを与える。重みは例えば数７Ａに示すようなＴｕｋｅｙの関数により与える。
Figure 2010079452
cは定数である。なお、重みを与える関数はＴｕｋｅｙの関数である必要はなく、例えば次式（数７Ｂ）で示されるようなＨｕｂｅｒの関数など、誤差d−rが大きいエッジ素には小さな重みを与え、誤差d−rが小さいエッジ素には大きな重みを与える関数であればなんでもよい。
Figure 2010079452
エッジ素OFkに対応する重みをwiとする。ここで数８のように重み行列Ｗを定義する。
Figure 2010079452
重み行列Ｗは、対角成分以外はすべて0のLc×Lc正方行列であり、対角成分には重みwiが入る。この重み行列Ｗを用いて、数６を数９のように変形する。
Figure 2010079452
数１０のように数９を解くことにより補正値Δｓを求める。
Figure 2010079452
これにより得られたΔｓを用いて、撮像装置の位置及び姿勢を更新する。次に、撮像装置の位置及び姿勢の反復演算が収束しているかどうかを判定する。補正値Δｓが十分に小さかったり、誤差r−dの総和が十分小さい、誤差r−dの総和が変化しないといった場合には、撮像装置の位置及び姿勢の計算が収束したと判定する。収束していないと判定された場合には、更新された撮像装置の位置及び姿勢を用いて再度線分の傾きθ、r0、d及びｕ、ｖの偏微分を計算し直し、数１０より再度補正値Δｓを求め直す。なお、ここでは非線形最適化手法としてＧａｕｓｓ−Ｎｅｗｔｏｎ法を用いた。しかしながら、非線形最適化手法はこれに限るものではなく、Ｎｅｗｔｏｎ−Ｒａｐｈｓｏｎ法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法、最急降下法、共役勾配法などのその他の非線形最適化手法を用いてもよい。以上、ステップＳ１１００における撮像装置の位置姿勢算出方法について説明した。
（ステップＳ１１１０）
ステップＳ１１１０において、位置姿勢算出部１７０は、位置姿勢算出を終了する入力がなされたかどうかを判定し、入力された場合には当該処理を終了し、入力されなかった場合には処理をステップＳ１１２０に進める。
（ステップＳ１１２０）
ステップＳ１１２０において、位置姿勢算出部１７０は、位置姿勢の算出結果と位置姿勢計測の対象にした撮影画像を参照画像保存部１３０に参照画像として保存する。その後、処理はステップＳ１０２０に戻り、新たな画像の取得と、再度の位置姿勢算出が行われる。
以上述べたように、第１実施形態では、
・随時撮影画像上で撮像される観察対象物体から色に基づく画像特徴を抽出し、
・これと同時に、観察対象物体の３次元モデルから抽出した幾何情報のうち撮影画像から検出されるものを選別し、
・観察対象物体の色に基づく画像特徴と選別された幾何情報を統合して位置姿勢計測に利用する。このため、第１実施形態によれば、３次元モデルから得られる特徴と撮影画像から得られる特徴が大きく異なる場合や、撮像の途中に光源変化があった場合にも、観察対象物体と撮像装置との相対位置姿勢を安定かつ高精度に算出することができる。
［変形例１−１］
上述の第１実施形態では、ステップＳ１０６０の色特徴抽出処理において、参照画像中に撮像された観察対象物体のデプスバッファを算出するために、参照画像保存部１３０に保存されている参照画像の位置姿勢を利用して３次元モデルデータを描画した。しかし、ステップＳ１０３０の幾何特徴抽出処理で利用する概略位置姿勢として、前フレームの位置姿勢を利用する場合には、参照画像部に保存された位置姿勢と、ステップＳ１０３０で利用する概略位置姿勢は同じとなる。
したがって、ステップＳ１０６０の色特徴抽出処理では、ステップＳ１０３０で算出したデプスバッファをそのまま利用することができ、３次元モデルデータの描画を行わなくてすむ。これにより、色特徴抽出処理で３次元モデルデータの描画処理を行う必要が無くなり、計算コストを減少させることが可能である。
［変形例１−２］
上述の第１実施形態において、ステップＳ１０６０とステップＳ１０７０の色特徴抽出処理及び色特徴選別処理を行わず、幾何特徴のみを利用して位置姿勢推定を行うようにしても良い。この場合、色特徴抽出処理を省略し、幾何情報のみを利用した位置姿勢推定が行われることになる。即ち、位置姿勢算出部１７０は、幾何特徴抽出部１４０により選別された幾何特徴を、入力された画像中の観察対象物体１０の画像に対応付けることにより、撮像装置１００の観察対象物体１０に対する位置姿勢を算出する。この構成によれば、テクスチャのない一色の物体のような、色に基づく特徴が検出されない観察対象物体に関しては、位置姿勢推定に利用する情報を損失することなく、色特徴抽出処理を省略する分の計算コストを減少させることが可能である。また、色特徴選別処理（ステップＳ１０７０）を行わず、ステップＳ１０６０で抽出された色特徴は全て用いるようにしてもよい。但し、この場合、現フレーム中の画像における同一の画像特徴が、色特徴と幾何特徴の両方に関連して検出される可能性が大きくなるため、処理効率が下がる可能性がある。
［第２実施形態］
第１実施形態では、位置姿勢推定後、参照画像保存部１３０に撮影画像を毎フレーム保存し、過去フレームの撮影画像として常に直前のフレームの撮影画像を利用していた。それに対して、第２実施形態では、参照画像保存部に保存した撮影画像を上書きせず、複数の撮影画像を保存しておき、複数の参照画像を利用して位置姿勢推定を行う方法について述べる。
図１６は、第２実施形態における位置姿勢計測装置２の構成を示している。同図に示したように、位置姿勢計測装置２は、画像取得部２１０、モデル保存部２２０、参照画像保存部２３０、参照画像選択部２４０、幾何特徴抽出部２５０、色特徴抽出部２６０、画像特徴検出部２７０、位置姿勢算出部２８０を有する。画像取得部２１０は撮像装置２００に接続されている。撮像装置２００は、観察対象物体３０を撮影する。位置姿勢計測装置２は、３次元モデルデータ４０に記述された観察対象物体３０と撮像装置２００との相対的な位置姿勢を、撮像装置２００により得られた撮像画像の情報を用いて求める。なお、第２実施形態において位置姿勢計測装置２が適用できる条件として、撮像装置２００が撮像した情景の撮像画像中に該観察対象物体が映っていることを前提としている。以下、位置姿勢計測装置２を構成する各部について説明する。
画像取得部２１０、モデル保存部２２０、画像特徴検出部２７０、位置姿勢算出部２８０は、それぞれ第１実施形態における画像取得部１１０、モデル保存部１２０、画像特徴検出部１６０、位置姿勢算出部１７０と同様の処理を行う。
参照画像保存部２３０は、過去フレームにおいて撮像装置２００によって観察対象物体３０が撮像された撮影画像と、撮像されたときの観察対象物体と撮像装置との相対位置姿勢を保存する。同時に、参照画像保存部２３０は、保存する撮影画像から抽出した色特徴（本実施形態では色の境界に基づくエッジ）も基準座標系における３次元座標とともに保存しておく。第２実施形態では、あらかじめ定められた保存条件を満足する過去フレームの撮影画像が参照画像保存部２３０に保存される。保存条件の例としては、
・位置姿勢の推定精度が一定以上高いこと、
・保存してある参照画像から十分離れていること、即ち、保存してある参照画像に対応する位置姿勢と現フレームに関連する位置姿勢の差が所定値より大きいこと、
・以前に参照画像を保存したときから一定フレーム（所定の時間）を経過していること、
等が挙げられる。
参照画像選択部２４０は、参照画像保存部２３０に保存された複数の参照画像から、以後のステップ（幾何特徴抽出処理）で利用する参照画像を選択する。第２実施形態では、撮像装置２００に設定されている現在の位置姿勢に最も位置姿勢が近い参照画像が選択され、以後のステップの処理に利用される。
幾何特徴抽出部２５０は、モデル保存部２２０に保存された観察対象物体３０の３次元モデルデータ４０と概略位置姿勢から、観察対象物体の幾何的な情報に基づく特徴を抽出する。また、幾何特徴抽出部２５０は、参照画像選択部２４０で選択された参照画像を利用して、３次元モデルデータ４０から抽出した幾何特徴の中で、撮像装置２００により撮像された撮影画像中から検出が期待できる特徴のみを選別する。
色特徴抽出部２６０は、位置姿勢が推定された撮影画像を利用して、撮影画像中に撮像される観察対象物体の色に基づく特徴を抽出する。また、色特徴抽出部２６０は、推定された位置姿勢とモデル保存部２２０に保存された３次元モデルデータ４０に基づいて、当該位置姿勢から観察される観察対象物体の幾何特徴を抽出して、比較することで、色に基づくエッジのみを抽出する。同時に、色特徴抽出部２６０は、色に基づくエッジの基準座標における３次元座標を求める。求めた色特徴は、参照画像保存部２３０にて保存される。
次に、第２実施形態における位置姿勢計測方法の処理手順について説明する。図１７は、第２実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。
（ステップＳ２０１０）
ステップＳ２０１０では初期化を行う。ステップＳ２０１０の処理内容は基本的に第１実施形態におけるステップＳ１０１０と同様であるので。
（ステップＳ２０２０）。
ステップＳ２０２０の処理は第１実施形態におけるステップＳ１０２０の処理と同様である。
（ステップＳ２０３０）
ステップＳ２０３０において、幾何特徴抽出部２５０は、観察対象物体３０の３次元モデルデータ４０に基づいて、幾何的情報に基づく特徴を検出する。ステップＳ２０３０の処理内容は、基本的に第１実施形態におけるステップＳ１０３０の処理と同様である。
（ステップＳ２０４０）
参照画像保存部に過去フレームの撮影画像が保存されている場合は、処理はステップＳ２０４０からステップＳ２０５０に進む。一方、保存されていない場合は、処理は、ステップＳ２０５０以降の過去フレームの撮影画像を利用するステップをスキップして、ステップＳ２０７０へ進む。
（ステップＳ２０５０）
ステップＳ２０５０において、参照画像選択部２４０は、参照画像保存部２３０に保存されている複数の参照画像から、適切な参照画像を選択する。本実施形態では、参照画像の選択に、現在の位置姿勢と参照画像の位置姿勢の差を利用する。なお、本実施形態では、現在の位置姿勢として、直前フレームの撮影画像から推定した位置姿勢を用いるものとする。参照画像選択部２４０は、現在の位置姿勢と参照画像保存部２３０に保存してある各参照画像の位置姿勢とを比較して、現在の位置姿勢に最も近い参照画像を選択する。ステップＳ２０５０において選択された参照画像は、以後のステップにおいて参照画像として利用される。
（ステップＳ２０６０）
次に、ステップＳ２０６０において、幾何特徴抽出部２５０は、ステップＳ２０３０で抽出した幾何特徴の選別を行う。ステップＳ２０６０の処理内容は、基本的に第１実施形態におけるステップＳ１０５０の処理と同様である。但し、参照画像としてステップＳ２０５０で選択した参照画像を利用する点がステップＳ１０５０と異なる。
（ステップＳ２０７０）
次にステップＳ２０７０において、画像特徴検出部２７０は、ステップＳ２０５０で生成した幾何特徴モデルと、ステップＳ２０５０で選択した参照画像に対応する色特徴モデルを利用して、幾何特徴モデルと色特徴モデルを統合した物体特徴モデルを生成する。ステップＳ２０７０の処理内容は、基本的に第１実施形態におけるステップＳ１０８０の処理と同様である。ステップＳ１０８０と異なる点は、ステップＳ２０７０で利用する色特徴モデルはステップＳ２０５０で選択した参照画像に対応する色特徴モデルを利用する点である。なお、選択した参照画像に対応する色特徴モデルは、参照画像が保存される過程のステップＳ２１３０で生成され、参照画像保存部２３０に保存されている（後述）。
（ステップＳ２０８０）
ステップＳ２０８０において、画像特徴検出部２７０は、ステップＳ２０８０で求めた物体特徴モデルのエッジ素に対応する画像特長を、撮像装置２００によって撮像された現フレームの撮影画像から検出する。ステップＳ２０８０の処理内容は、基本的に第１実施形態におけるステップＳ１０９０の処理と同様である。
（ステップＳ２０９０）
ステップＳ２０９０において、位置姿勢算出部２８０は、ステップＳ２０７０で生成した物体特徴モデルと、ステップＳ２０８０で対応付けた画像特徴の位置情報から、撮像装置２００の位置姿勢を算出する。ステップＳ２０９０の処理内容は、基本的に第１実施形態におけるステップＳ１１００の処理と同様である。
（ステップＳ２１００）
ステップＳ２１００において、位置姿勢計測装置２は、位置姿勢算出を終了する指示の入力がなされたかどうかを判定し、終了する指示が入力された場合には本処理を終了する。一方、終了する指示が入力されなかった場合には、処理をステップＳ２１１０に進める。
（ステップＳ２１１０）
ステップＳ２１１０において、参照画像保存部２３０は、位置姿勢推定した撮影画像を参照画像として保存するかを判定する。保存する場合は、処理をステップＳ２１２０に進める。また、保存しない場合は、処理をステップＳ２０２０に戻し、新たな画像を取得して、上述の位置姿勢算出を行う。第２実施形態では、参照画像として保存する条件は、本例では、保存しようとする撮影画像が参照画像保存部２３０に保存されている参照画像の位置姿勢から一定以上離れており、かつ、最近に保存した参照フレームから一定フレーム経過していることとする。
（ステップＳ２１２０）
ステップＳ２１２０において、色特徴抽出部２６０は、ステップＳ２０９０で推定された位置姿勢を利用して、ステップＳ２１１０で保存すると判定された撮影画像から観察対象物体の色情報に基づく特徴を検出し、色特徴モデルを生成する。なお、色特徴モデルの生成方法は、基本的に第１実施形態におけるステップＳ１０６０の処理と同様である。
（ステップＳ２１３０）
次に、ステップＳ２１３０において、色特徴抽出部２６０は、ステップＳ２１２０で抽出した色特徴モデルの選別を行う。ステップＳ２１３０の処理内容は、基本的に第１実施形態におけるステップＳ１０７０の処理と同様である。
（ステップＳ２１４０）
次に、ステップＳ２１４０において、参照画像保存部２３０は、ステップＳ２１２０で生成した色特徴モデルとステップＳ２０９０で算出した観察対象物体の位置姿勢と、位置姿勢算出の対象とした撮影画像とを保存する。その後、ステップＳ２０２０に戻り、新たな画像を取得して、再度位置姿勢算出を行う。
以上述べたように、第２実施形態では、位置姿勢の異なる複数の参照画像を保持しつづけることで、毎フレーム撮影画像を参照画像として保存する必要を無くすことができる。また、該参照画像から抽出した色特徴モデルを参照画像保存部２３０に保持することにより、毎フレームについて色特徴を算出する必要がなくなる。さらに、複数の参照画像から、現在の観察対象物体の位置姿勢に最も近い位置姿勢の参照画像とその色特徴モデルを利用することにより、計算コストを抑えながら、幾何特徴と色特徴を統合利用した位置姿勢推定が可能である。
［変形例２−１］
上述の第２実施形態では、参照画像として保存する撮影画像は、前回保存したときよりも一定フレーム過ぎており、かつ、保存してある撮影画像の位置姿勢と現在の位置姿勢が一定以上離れている場合に、無条件で保存していた。しかしながら、保存する位置姿勢の推定精度が低いような場合、位置姿勢の推定精度の低い参照画像から色特徴モデルを生成することになる。そのため、不正確な特徴モデルを利用することによる位置姿勢推定の精度低下が発生する。そこで、参照画像として保存するときに、位置姿勢の推定精度も算出して、推定精度が一定以上の場合のみ参照画像として保存するという制限を加える。これにより、位置姿勢の推定が不安定な場合でも、一定以上推定精度が高い位置姿勢とそのときの撮影画像のみが参照画像として保存されるため、安定した位置姿勢推定が可能となる。推定精度算出方法としては、例えば、非特許文献６で開示されているような位置姿勢推定の破綻検出手法を用いればよい。
［変形例２−２］
上述の第２実施形態では、一旦、参照画像として保存した撮影画像は、本位置姿勢計測装置が動作している間ずっと保存されていた。しかし、撮像の途中で、光源環境が変化して、観察対象物体の色合いが変化することも考えられる。
そこで、ステップＳ２１４０において、撮影画像を参照画像として保存するときに、時刻情報を付加しておき、一定時間が過ぎた参照画像は削除するようにしてもよい。即ち、時系列的に古い画像特徴を判別して、時系列的に画像特徴を随時更新していくようにしてもよい。これにより、時系列的に参照画像が更新されていき、撮影環境に変化が生じた場合にも柔軟に対応することが可能になる。また、単純に一定時間過ぎた参照画像を削除するのではなく、一定時間過ぎた参照画像は上書きフラグをＯＮにしておき、撮影画像を参照画像として保存する際に、当該参照画像で上書きフラグがＯＮの参照画像を上書きするようにしてもよい。更に、撮影画像を参照画像として保存する際に、保存する撮影画像の位置姿勢と上書きフラグがＯＮになった参照画像の位置姿勢とを比較して、両者が十分に近い場合に、その参照画像に上書きするようにしてもよい。このようにすれば、一定時間位置姿勢が変化しなかったときに、有用な参照画像が削除されることを防ぐことができる。また、参照画像として保持する撮影画像の枚数を一定数に設定しておき、保存された時刻情報が一番古い参照画像から上書きすることにしてもよい。
［変形例２−３］
上述の第２実施形態では、参照画像として保存する処理は、位置姿勢の算出が終わったあとステップＳ２１１０の参照画像保存判定後に行っていた。しかし、保存処理は、非同期的に行っても問題のない処理である。そこで、参照画像の保存・色特徴抽出処理、すなわち、ステップＳ２１２０〜Ｓ２１４０の処理を、別スレッドで行うようにしてもよい。これにより、位置姿勢の算出と参照画像の保存処理を独立して実行することが可能となり、参照画像の保存処理が実行された場合でも、位置姿勢推定のフレームレートへの影響を低減することができる。また、参照画像から特徴抽出する処理に計算コストがかかる処理を入れ込むことも可能である。例えば、参照画像からの色特徴抽出処理において、複数の参照画像から抽出した色特徴から画像間対応をとり、参照画像のみから色特徴の３次元再構成を行えば、物体の３次元モデルからは得られない特徴も利用して、位置姿勢推定することが可能となる。
［変形例２−４］
上述の第２実施形態では、参照画像保存部２３０に保存された複数の参照画像の中で、一つだけを選択して、色特徴モデルや幾何特徴の判別に利用していた。しかしながら、観察対象物体の表面属性によっては、鏡面反射などの視点位置によって見た目が変わる情報も存在する。視点位置によって変わる特徴を色特徴モデルとして抽出してしまうと、色特徴モデルを利用した位置姿勢推定が不安定になる。また、観察物体に対して、オクルージョンが発生した場合にも同様の問題が発生する。
そこで、ステップＳ２０５０において、現在の位置姿勢に近い参照画像を複数選択しておき、複数の色特徴モデルを比較して、これら複数の色特徴モデルの中で安定的に検出されている色特徴を利用するようにしてもよい。なお、「安定的に検出される色特徴」とは、例えば、複数の（２つ以上の）参照画像から検出され得る色特徴である。このようにすれば、鏡面反射やオクルージョンによる、偽の色特徴の影響を除去しながら位置姿勢推定することが可能となる。また、ステップＳ２０６０において、複数の参照画像から幾何特徴選別処理を行うことで、複数の参照画像から、幾何特徴の検出判定を行い、複数の画像において、安定して検出できる幾何特徴を利用するように構成することができる。なお、「安定して検出できる幾何特徴」とは、例えば、複数の（２つ以上の）参照画像から対応する色特徴が検出され得る幾何特徴である。これにより、鏡面反射やオクルージョンが生じた場合にも安定した位置姿勢推定を行うことが可能になる。
［第３実施形態］
第１・第２実施形態では、位置姿勢推定後、参照画像保存部１３０，２４０に撮影画像のフレーム画像を参照画像として保存し、参照画像から対象物体の色に基づく特徴を抽出していた。それに対し、第３実施形態では、撮影画像から３次元モデルの表面色の情報を推定し、３次元モデルを描画した結果として得られる描画画像から対象物体の色に基づく特徴を抽出し、位置姿勢推定を行う方法について述べる。
図１８は、第３実施形態における位置姿勢計測装置３の構成を示している。同図に示したように、位置姿勢計測装置３は、画像取得部３１０、モデル保存部３２０、幾何特徴抽出部３３０、色特徴抽出部３４０、画像特徴検出部３５０、位置姿勢算出部３６０、物体表面色推定部３７０を有する。画像取得部３１０は撮像装置３００に接続されている。撮像装置３００は、観察対象物体３０を撮影する。位置姿勢計測装置３は、３次元モデルデータ６０に記述された観察対象物体と撮像装置３００との相対的な位置姿勢を撮像画像の情報を用いて求める。なお、第３実施形態において位置姿勢計測装置３が適用できる条件として、撮像装置３００が撮像した情景の撮像画像中に該観察対象物体が映っていることを前提としている。以下、位置姿勢計測装置３を構成する各部について説明する。
画像取得部３１０、画像特徴検出部３５０、位置姿勢算出部３６０は、第１実施形態における画像取得部１１０、画像特徴検出部１６０、位置姿勢算出部１７０と同様の処理を行う。
モデル保存部３２０は、位置姿勢計測の基準となる観察対象物体５０の３次元モデルデータ６０を記憶する。３次元モデルデータ６０は、観察対象物体５０の表面形状を表す３次元の幾何的な情報、および物体表面の色情報を有するモデルであり、頂点情報及び各頂点を結んで構成される面の情報と表面の色情報を表すテクスチャ画像によって定義される。第３実施形態では、頂点情報及び各頂点を結んで構成される面の情報を含むポリゴンモデルを３次元モデルデータ６０として利用する。また、同時に３次元モデルデータ６０は、観察対象物体の表面の色情報をテクスチャ画像として保持する。テクスチャ画像上での２次元座標と３次元モデル中の頂点との相対位置関係は、テクスチャ変換行列としてあらかじめ求めておく。テクスチャ画像は、物体表面色推定部３７０において撮影画像からオンライン、すなわち実行時点で推定するため、最初期フレームでは、観察対象物体の表面色は未知である。そこで、テクスチャ画像は、あらかじめ一定色に初期化しておく。
幾何特徴抽出部３３０は、モデル保存部３２０に保存された観察対象物体５０の３次元モデルデータ６０と概略位置姿勢から、３次元モデルデータを描画する。そして、描画結果として得られた画像平面上での３次元モデルデータの輝度値と、そのときの奥行き値を保存する。そして、幾何特徴抽出部３３０は、奥行き値から観察対象物体５０の幾何的な情報に基づく特徴を抽出する。
色特徴抽出部３４０は、上述の画像平面上での３次元モデルデータ６０の輝度値から、観察対象物体の色に基づく特徴（エッジ）を抽出する。同時に、色に基づく特徴（エッジ）の基準座標における３次元座標を求める。
物体表面色推定部３７０は、位置姿勢が推定された撮影画像を利用して観察対象物体５０の表面色を推定する。本実施形態では、撮影画像上に撮像される観察対象物体５０の輝度値を、テクスチャ画像に対してマッピングすることで、観察対象物体の表面色の推定を行う。
次に、第３実施形態における位置姿勢計測方法の処理手順について説明する。図１９は、第３実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。
（ステップＳ３０１０）
ステップＳ３０１０では初期化を行う。ステップＳ３０１０の処理内容は基本的に第１実施形態におけるステップＳ１０１０と同様である。
（ステップＳ３０２０）。
ステップＳ３０２０の処理は第１実施形態におけるステップＳ１０２０の処理と同様である。
（ステップＳ３０３０）
ステップＳ３０３０において、幾何特徴抽出部３３０は、３次元モデルデータ６０を用いて観察対象物体５０を描画し、幾何的情報に基づく特徴を検出する。ステップＳ３０３０の処理内容は基本的に第１実施形態におけるステップＳ１０１０と同様である。ステップＳ１０１０と異なる点は、３次元モデルを描画する際にモデル保存部３２０に保持しているテクスチャ画像によるテクスチャマッピングを行い、描画結果をカラーバッファとして保存する点である。表面色が推定された３次元モデルを描画することで、実際の撮影画像に撮像される観察対象物体の見た目に近い、３次元モデルの描画結果が得られる。この描画結果として得られる画像平面上における３次元モデルデータの輝度値をカラーバッファとして保存し、以後の処理に利用する。
（ステップＳ３０４０）
ステップＳ３０４０では、モデル保存部３２０に保持しているテクスチャ画像が更新されている場合は、ステップＳ３０５０に処理を進める。一方、最初期フレームなどで、テクスチャ画像が更新されていない場合は、ステップＳ３０５０〜Ｓ３０７０をスキップして、ステップＳ３０９０へ処理を進める。
（ステップＳ３０５０）
ステップＳ３０５０において、幾何特徴抽出部３３０は、ステップＳ３０３０で抽出した幾何特徴の選別を行う。ステップＳ３０５０の処理内容は、基本的に第１実施形態におけるステップＳ１０５０の処理と同様である。ステップＳ１０５０と異なる点は、参照画像の代わりに、ステップS３０３０で保存したカラーバッファを利用する点である。
（ステップＳ３０６０）
ステップＳ３０６０において、色特徴抽出部３４０は、ステップＳ３０３０で保存したカラーバッファから、観察対象物体の色情報に基づく特徴を検出し、色特徴モデルを生成する。色特徴モデルの生成方法は、基本的に第１実施形態におけるステップＳ１０６０の処理と同様である。ステップＳ１０６０と異なる点は、参照画像の代わりに、ステップＳ３０３０で保存したカラーバッファを利用する点である。また、色特徴の逆投影に利用する位置姿勢には、ステップ３０３０において３次元モデルデータの描画に利用した位置姿勢と同一のものを利用する。
（ステップＳ３０７０）
次に、ステップＳ３０７０において、色特徴抽出部３４０は、ステップＳ３０６０で抽出した色特徴モデルの選別を行う。ステップＳ３０７０の処理内容は、基本的に第１実施形態におけるステップＳ１０７０の処理と同様である。ステップＳ１０６０と異なる点は、参照画像の代わりに、ステップＳ３０３０で保存したカラーバッファを利用する点である。また、色特徴の逆投影に利用する位置姿勢には、ステップ３０３０において３次元モデルデータの描画に利用した位置姿勢と同一のものを利用する。
（ステップＳ３０８０）
次にステップＳ３０８０において、画像特徴検出部３５０は、ステップＳ３０３０で生成した幾何特徴モデルと、ステップS３０６０で生成した色特徴モデルを統合した物体特徴モデルを生成する。ステップＳ３０８０の処理内容は、基本的に第１実施形態におけるステップＳ１０８０の処理と同様である。
（ステップＳ３０９０）
ステップ３０９０において、画像特徴検出部３５０は、ステップＳ３０８０で求めた物体特徴モデルのエッジ素に対応する画像特長を、撮像装置３００によって撮像された現フレーム撮影画像より検出する。ステップＳ３０９０の処理内容は、基本的に第１実施形態におけるステップＳ１０９０の処理と同様である。
（ステップＳ３１００）
ステップＳ３１００において、位置姿勢算出部３６０は、ステップＳ３０８０で生成した物体特徴モデルと、ステップＳ３０９０で対応付けた画像特徴の位置情報から、撮像装置３００の位置姿勢を算出する。ステップＳ３１００の処理内容は、基本的に第１実施形態におけるステップＳ１１００の処理と同様である。
（ステップＳ３１１０）
ステップＳ３１１０において、位置姿勢計測装置３は、位置姿勢算出を終了する入力がなされたかどうかを判定する。位置姿勢算出を終了する入力がなされた場合には当該終了し、位置姿勢算出を終了する入力がなされなかった場合には処理をステップＳ３１２０に進める。
（ステップＳ３１２０）
ステップＳ３１２０において、物体表面色推定部３７０は、位置姿勢推定した撮影画像から、観察対象物体の表面色を推定する。まず、物体表面色推定部３７０は、ステップＳ３０３０において基準座標系におけるエッジ素の３次元座標を求めた手順と同様の処理により、撮影画像上の２次元座標に対応する基準座標系における３次元座標を求める。次に、求めた３次元座標に対応するテクスチャ画像上の２次元座標を、モデル保存部３２０に保存されているテクスチャ変換行列を利用することで求める。以上の手順により、撮影画像上の２次元座標とテクスチャ画像上の２次元座標の関係を求め、撮影画像上に撮像される観察対象物体の輝度値をテクスチャ画像上にマッピングすることで、テクスチャ画像を更新し、観察対象物体の表面色を推定する。このとき、撮影画像上の輝度値をそのままテクスチャ画像上の輝度値として設定せずに、学習係数に応じて徐々にテクスチャ画像の輝度値を更新する。これにより、位置姿勢推定精度が低い撮影画像が混入した場合や、オクルージョンが発生した場合の影響を低減し、確からしい表面色のみを更新することができる。学習係数は、位置姿勢推定精度の高さと、表面色がどのくらい急激に変化しうるかにより適切な値を設定する。以上の処理により表面色を更新した後は、ステップＳ３０２０に戻り、新たな画像を取得して、再度位置姿勢算出を行う。
以上述べたように、第３実施形態では、位置姿勢推定した撮影画像から毎フレームのテクスチャ画像を更新し、物体の表面色を直接推定する。これにより、参照画像として撮影画像を保存する必要をなくした。以上のように、第３実施形態では、物体の表面色が推定された３次元モデルデータを描画し、実際に撮影画像に撮像される観察対象物体の見た目に近い描画結果から観察対象物体の色に基づく特徴を抽出する。これにより、観察対象物体の幾何特徴と色特徴とを統合利用した位置姿勢推定が可能となる。
［他の実施形態］
第１〜第３実施形態では、参照画像から抽出する色に基づく特徴として、エッジを用いたが、これに限るものでない。例えば、Harris検出器や、非特許文献９に示されるSIFT検出器などによって検出される点特徴を利用しても良い。このとき、点特徴の記述子としては、点特徴周辺の輝度分布を利用しても、非特許文献９に示されるSIFT記述子を利用しても良く、点特徴の検出子と記述子の選択に特に制限はない。
また、色に基づく特徴として点特徴を利用する場合、色特徴モデルとしては、参照画像に撮像される観察対象物体から検出される点特徴の、基準座標系における３次元位置と点特徴が検出された画像上での画像座標、その画像へのポインタが保存される。そして、色特徴モデル中の点特徴と、現フレームの撮影画像から検出した点特徴とを対応付けることで、位置姿勢が推定される。点特徴は、細かい模様のある物体など、特徴としてエッジを利用した場合には誤対応が頻出するような物体に対して、特に検出されやすい。そのため、対象に細かい模様があるような場合には、エッジを特徴として利用するよりも、安定した位置姿勢推定が行うことが可能である。
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
以上のように、上記各実施形態によれば、位置姿勢が既知である参照画像（過去フレームにおいて観察対象物体が撮像された撮影画像やテクスチャが設定されたモデル画像）を利用して、使用すべき画像特徴が決定される。そして、このような画像特徴を用いて現在のフレームに関する撮像装置の位置姿勢を算出するので、位置姿勢推定の安定性が向上する。即ち、各実施形態によれば、観察対象物体の３次元モデルデータから抽出した３次元線分モデルが、撮影画像中に撮像される観察対象物体から抽出できる特徴と大きく異なる場合でも、安定して位置姿勢推定することができる。また、３次元モデルから抽出される幾何的特徴に加えて、観察対象物体の表面の色に基づく特徴を利用することで、３次元モデルデータの中に含まれていない情報も利用して位置姿勢推定することが可能である。
第１実施形態における位置姿勢計測装置１の構成を示す図である。 第１実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。 第１実施形態における対象幾何特徴抽出の詳細な処理手順を示すフローチャートである。 ３次元モデルデータの描画を示す図である。 デプスバッファから抽出したエッジを撮影画像に重ね合わせた図である。 エッジ素の抽出を示す図である。 本発明の一実施形態における対象幾何特徴選別の詳細な処理手順を示すフローチャートである。 幾何特徴モデルのエッジ素の参照画像への投影を示す図である。 幾何特徴モデルのエッジ素近傍のエッジ探索を示す図である。 第１実施形態における対象色特徴抽出の詳細な処理手順を示すフローチャートである。 第１実施形態における対象色特徴選別の詳細な処理手順を示すフローチャートである。 第１実施形態における幾何特徴モデルと色特徴モデルとの統合の詳細な処理手順を示すフローチャートである。 第１実施形態における現フレームの撮影画像からの画像特徴抽出の詳細な処理手順を示すフローチャートである。 物体特徴モデルのエッジ素を現フレームの撮影画像に重ね合わせた図である エッジの情報を利用して撮像装置の位置及び姿勢を算出する方法を説明する図である。 第２実施形態における位置姿勢計測装置２の構成を示す図である 第２実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。 第３実施形態における位置姿勢計測装置３の構成を示す図である 第３実施形態における位置姿勢計測方法の処理手順を示すフローチャートである。

Claims (14)

  1. 撮像装置が撮像した画像を入力する入力手段と、
    観察対象物体の表面形状を表す３次元モデルデータを格納する格納手段と、
    前記３次元モデルデータを画像平面に描画することにより前記観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する幾何特徴抽出手段と、
    前記観察対象物体に対する前記撮像装置の位置姿勢が既知の参照画像において前記複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を前記複数の幾何特徴より選別する幾何特徴選別手段と、
    前記幾何特徴選別手段で選別された幾何特徴を前記入力手段により入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出する算出手段とを備えることを特徴とする位置姿勢計測装置。
  2. 前記参照画像から、明度または色に基づいて前記観察対象物体に関連する複数の画像特徴を抽出する画像特徴抽出手段と、
    前記画像特徴抽出手段で抽出した画像特徴と、前記幾何特徴選別手段で選別した幾何特徴とを物体特徴として統合する統合手段とを更に備え、
    前記算出手段は、前記物体特徴を前記入力手段により入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出することを特徴とする請求項１に記載の位置姿勢計測装置。
  3. 前記参照画像の位置姿勢によって前記３次元モデルデータを画像平面に描画することにより前記複数の画像特徴に対応する幾何特徴を探索し、対応する幾何特徴が検出された画像特徴を除去することで選別された画像特徴を取得する画像特徴選別手段を更に備え、
    前記統合手段は、前記画像特徴選別手段で選別した画像特徴と、前記幾何特徴選別手段で選別した幾何特徴とを物体特徴として統合することを特徴とする請求項２に記載の位置姿勢計測装置。
  4. 前記算出手段で算出された位置姿勢と共に、前記入力手段で入力した画像を、前記参照画像として保持する保持手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の位置姿勢計測装置。
  5. 前記幾何特徴抽出手段は、幾何特徴として、前記３次元モデルデータを画像平面に描画して得られたデプス値に基づいてエッジを抽出することを特徴とする請求項１乃至４のいずれか１項に記載の位置姿勢計測装置。
  6. 前記画像特徴抽出手段は、画像特徴として、前記参照画像から色または明度の境界に基づくエッジを抽出することを特徴とする請求項２に記載の位置姿勢計測装置。
  7. 前記算出手段において算出された位置姿勢の推定精度を算出する推定精度算出手段を更に備え、
    前記保持手段は、前記推定精度が所定値を超える場合のみ、前記入力手段で入力した画像を前記参照画像として保持することを特徴とする請求項４に記載の位置姿勢計測装置。
  8. 前記保持手段は、複数の参照画像を保持し、
    前記幾何特徴選別手段は、前記複数の参照画像から、前記算出手段によって算出された現在の位置姿勢に最も近い位置姿勢を有する参照画像を選択して用いることを特徴とする請求項４に記載の位置姿勢計測装置。
  9. 前記保持手段は、前記入力手段で入力した画像に更に時刻情報を付加して前記参照画像として保持し、時系列的に古い参照画像から更新していくことを特徴とする請求項８に記載の位置姿勢計測装置。
  10. 前記保持手段は、複数の参照画像を保持し、
    前記幾何特徴選別手段は、複数の参照画像で検出され得る画像特徴のみを選別することを特徴とする請求項４に記載の位置姿勢計測装置。
  11. 前記３次元モデルデータはテクスチャの情報を有し、
    前記３次元モデルデータを前記撮像装置について算出された直前の位置姿勢を用いて画像平面上にテクスチャと共に描画する描画手段を更に備え、
    前記参照画像は前記描画手段により描画された画像であることを特徴とする請求項１乃至３のいずれか１項に記載の位置姿勢計測装置。
  12. 撮像装置が撮像した画像を入力する入力工程と、
    観察対象物体の表面形状を表す３次元モデルデータを格納した格納手段より前記３次元モデルデータを読み出し、前記３次元モデルデータを描画することにより前記観察対象物体の幾何的情報に基づく複数の幾何特徴を抽出する幾何特徴抽出工程と、
    前記観察対象物体に対する前記撮像装置の位置姿勢が既知の参照画像において前記複数の幾何特徴に対応する画像特徴を探索し、対応する画像特徴が検出された幾何特徴を前記複数の幾何特徴より選別する幾何特徴選別工程と、
    前記幾何特徴選別工程で選別された幾何特徴を前記入力工程で入力された画像における前記観察対象物体の画像に対応付けることにより、前記撮像装置の前記観察対象物体に対する位置姿勢を算出する算出工程とを有することを特徴とする位置姿勢計測方法。
  13. 請求項１２に記載された位置姿勢計測方法をコンピュータに実行させるためのプログラム。
  14. 請求項１２に記載された位置姿勢計測方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2008244945A 2008-09-24 2008-09-24 位置姿勢計測装置及び方法 Active JP5253066B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008244945A JP5253066B2 (ja) 2008-09-24 2008-09-24 位置姿勢計測装置及び方法
US12/563,670 US8520931B2 (en) 2008-09-24 2009-09-21 Position and orientation measurement apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008244945A JP5253066B2 (ja) 2008-09-24 2008-09-24 位置姿勢計測装置及び方法

Publications (3)

Publication Number Publication Date
JP2010079452A true JP2010079452A (ja) 2010-04-08
JP2010079452A5 JP2010079452A5 (ja) 2011-10-27
JP5253066B2 JP5253066B2 (ja) 2013-07-31

Family

ID=42075875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008244945A Active JP5253066B2 (ja) 2008-09-24 2008-09-24 位置姿勢計測装置及び方法

Country Status (2)

Country Link
US (1) US8520931B2 (ja)
JP (1) JP5253066B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038105A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP2016502216A (ja) * 2012-12-31 2016-01-21 ゼネラル・エレクトリック・カンパニイ 物的資産の改良された自動外観検査のための方法およびシステム
KR20160019512A (ko) * 2013-06-14 2016-02-19 퀄컴 인코포레이티드 점 특징 및 선 특징을 사용한 강력한 추적
JP2016142624A (ja) * 2015-02-02 2016-08-08 株式会社日立ソリューションズ 位置推定装置、位置推定システム、位置推定方法及び位置推定プログラム
JP2016218920A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017045081A (ja) * 2015-08-24 2017-03-02 株式会社アマダホールディングス ワーク位置検出装置及び方法、並びに、ワーク保持用ロボットの制御装置及び制御方法
KR20170113122A (ko) * 2016-04-01 2017-10-12 캐논 가부시끼가이샤 정보 처리장치 및 그 제어방법
JP2017203742A (ja) * 2016-05-13 2017-11-16 株式会社トプコン 位置特定装置、位置特定方法および位置特定用プログラム
JP2018186528A (ja) * 2011-03-18 2018-11-22 ソニー株式会社 画像処理装置および画像処理方法
US10534974B2 (en) 2017-02-09 2020-01-14 Toyota Jidosha Kabushiki Kaisha Image area extraction method and storage program
JP2021136028A (ja) * 2020-02-25 2021-09-13 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
KR101697184B1 (ko) * 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
CN101915738B (zh) * 2010-06-23 2013-06-12 江苏大学 基于高光谱成像技术的茶树营养信息快速探测方法及装置
EP2608149B1 (en) * 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
WO2012079617A1 (de) * 2010-12-13 2012-06-21 Incca Gmbh Vorrichtung und verfahren zur unterstuetzung der durchfuehrung eines wartungs- und/oder bedienvorgangs
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
JP5899951B2 (ja) * 2012-01-18 2016-04-06 セイコーエプソン株式会社 ロボット装置および位置姿勢検出方法
US9349218B2 (en) 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
US20140270362A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Fast edge-based object relocalization and detection using contextual filtering
US9999038B2 (en) 2013-05-31 2018-06-12 At&T Intellectual Property I, L.P. Remote distributed antenna system
EP2851868A1 (en) * 2013-09-20 2015-03-25 ETH Zurich 3D Reconstruction
US9754192B2 (en) * 2014-06-30 2017-09-05 Microsoft Technology Licensing, Llc Object detection utilizing geometric information fused with image data
US10063280B2 (en) 2014-09-17 2018-08-28 At&T Intellectual Property I, L.P. Monitoring and mitigating conditions in a communication network
US9615269B2 (en) 2014-10-02 2017-04-04 At&T Intellectual Property I, L.P. Method and apparatus that provides fault tolerance in a communication network
US9503189B2 (en) 2014-10-10 2016-11-22 At&T Intellectual Property I, L.P. Method and apparatus for arranging communication sessions in a communication system
US9973299B2 (en) 2014-10-14 2018-05-15 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a mode of communication in a communication network
US9312919B1 (en) 2014-10-21 2016-04-12 At&T Intellectual Property I, Lp Transmission device with impairment compensation and methods for use therewith
US9769020B2 (en) 2014-10-21 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for responding to events affecting communications in a communication network
US9954287B2 (en) 2014-11-20 2018-04-24 At&T Intellectual Property I, L.P. Apparatus for converting wireless signals and electromagnetic waves and methods thereof
US10243784B2 (en) 2014-11-20 2019-03-26 At&T Intellectual Property I, L.P. System for generating topology information and methods thereof
US9461706B1 (en) 2015-07-31 2016-10-04 At&T Intellectual Property I, Lp Method and apparatus for exchanging communication signals
US10009067B2 (en) 2014-12-04 2018-06-26 At&T Intellectual Property I, L.P. Method and apparatus for configuring a communication interface
US9800327B2 (en) 2014-11-20 2017-10-24 At&T Intellectual Property I, L.P. Apparatus for controlling operations of a communication device and methods thereof
US9997819B2 (en) 2015-06-09 2018-06-12 At&T Intellectual Property I, L.P. Transmission medium and method for facilitating propagation of electromagnetic waves via a core
US9544006B2 (en) 2014-11-20 2017-01-10 At&T Intellectual Property I, L.P. Transmission device with mode division multiplexing and methods for use therewith
US9876570B2 (en) 2015-02-20 2018-01-23 At&T Intellectual Property I, Lp Guided-wave transmission device with non-fundamental mode propagation and methods for use therewith
US10224981B2 (en) 2015-04-24 2019-03-05 At&T Intellectual Property I, Lp Passive electrical coupling device and methods for use therewith
US9705561B2 (en) 2015-04-24 2017-07-11 At&T Intellectual Property I, L.P. Directional coupling device and methods for use therewith
US9793954B2 (en) 2015-04-28 2017-10-17 At&T Intellectual Property I, L.P. Magnetic coupling device and methods for use therewith
US9871282B2 (en) 2015-05-14 2018-01-16 At&T Intellectual Property I, L.P. At least one transmission medium having a dielectric surface that is covered at least in part by a second dielectric
US9490869B1 (en) 2015-05-14 2016-11-08 At&T Intellectual Property I, L.P. Transmission medium having multiple cores and methods for use therewith
US10650940B2 (en) 2015-05-15 2020-05-12 At&T Intellectual Property I, L.P. Transmission medium having a conductive material and methods for use therewith
US9917341B2 (en) 2015-05-27 2018-03-13 At&T Intellectual Property I, L.P. Apparatus and method for launching electromagnetic waves and for modifying radial dimensions of the propagating electromagnetic waves
US10812174B2 (en) 2015-06-03 2020-10-20 At&T Intellectual Property I, L.P. Client node device and methods for use therewith
US9912381B2 (en) 2015-06-03 2018-03-06 At&T Intellectual Property I, Lp Network termination and methods for use therewith
US9866309B2 (en) 2015-06-03 2018-01-09 At&T Intellectual Property I, Lp Host node device and methods for use therewith
US9913139B2 (en) 2015-06-09 2018-03-06 At&T Intellectual Property I, L.P. Signal fingerprinting for authentication of communicating devices
US9820146B2 (en) 2015-06-12 2017-11-14 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
US9640850B2 (en) 2015-06-25 2017-05-02 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a non-fundamental wave mode on a transmission medium
US9865911B2 (en) 2015-06-25 2018-01-09 At&T Intellectual Property I, L.P. Waveguide system for slot radiating first electromagnetic waves that are combined into a non-fundamental wave mode second electromagnetic wave on a transmission medium
US9509415B1 (en) 2015-06-25 2016-11-29 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a fundamental wave mode on a transmission medium
US10148016B2 (en) 2015-07-14 2018-12-04 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array
US9847566B2 (en) 2015-07-14 2017-12-19 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a field of a signal to mitigate interference
US10044409B2 (en) 2015-07-14 2018-08-07 At&T Intellectual Property I, L.P. Transmission medium and methods for use therewith
US9853342B2 (en) 2015-07-14 2017-12-26 At&T Intellectual Property I, L.P. Dielectric transmission medium connector and methods for use therewith
US9628116B2 (en) 2015-07-14 2017-04-18 At&T Intellectual Property I, L.P. Apparatus and methods for transmitting wireless signals
US10205655B2 (en) 2015-07-14 2019-02-12 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array and multiple communication paths
US9882257B2 (en) 2015-07-14 2018-01-30 At&T Intellectual Property I, L.P. Method and apparatus for launching a wave mode that mitigates interference
US10090606B2 (en) 2015-07-15 2018-10-02 At&T Intellectual Property I, L.P. Antenna system with dielectric array and methods for use therewith
US9912027B2 (en) 2015-07-23 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for exchanging communication signals
US9948333B2 (en) 2015-07-23 2018-04-17 At&T Intellectual Property I, L.P. Method and apparatus for wireless communications to mitigate interference
US9749053B2 (en) 2015-07-23 2017-08-29 At&T Intellectual Property I, L.P. Node device, repeater and methods for use therewith
US9871283B2 (en) 2015-07-23 2018-01-16 At&T Intellectual Property I, Lp Transmission medium having a dielectric core comprised of plural members connected by a ball and socket configuration
US9967173B2 (en) 2015-07-31 2018-05-08 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
US9904535B2 (en) 2015-09-14 2018-02-27 At&T Intellectual Property I, L.P. Method and apparatus for distributing software
US9769128B2 (en) 2015-09-28 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for encryption of communications over a network
US9876264B2 (en) 2015-10-02 2018-01-23 At&T Intellectual Property I, Lp Communication system, guided wave switch and methods for use therewith
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
US10355367B2 (en) 2015-10-16 2019-07-16 At&T Intellectual Property I, L.P. Antenna structure for exchanging wireless signals
EP3206164B1 (en) * 2016-02-12 2022-05-25 Cognex Corporation System and method for efficiently scoring probes in an image with a vision system
US9860075B1 (en) 2016-08-26 2018-01-02 At&T Intellectual Property I, L.P. Method and communication node for broadband distribution
JP6867132B2 (ja) * 2016-09-30 2021-04-28 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
US10811767B2 (en) 2016-10-21 2020-10-20 At&T Intellectual Property I, L.P. System and dielectric antenna with convex dielectric radome
US10312567B2 (en) 2016-10-26 2019-06-04 At&T Intellectual Property I, L.P. Launcher with planar strip antenna and methods for use therewith
US10225025B2 (en) 2016-11-03 2019-03-05 At&T Intellectual Property I, L.P. Method and apparatus for detecting a fault in a communication system
US10178445B2 (en) 2016-11-23 2019-01-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for load balancing between a plurality of waveguides
US10637149B2 (en) 2016-12-06 2020-04-28 At&T Intellectual Property I, L.P. Injection molded dielectric antenna and methods for use therewith
US10727599B2 (en) 2016-12-06 2020-07-28 At&T Intellectual Property I, L.P. Launcher with slot antenna and methods for use therewith
US10819035B2 (en) 2016-12-06 2020-10-27 At&T Intellectual Property I, L.P. Launcher with helical antenna and methods for use therewith
US10694379B2 (en) 2016-12-06 2020-06-23 At&T Intellectual Property I, L.P. Waveguide system with device-based authentication and methods for use therewith
US10168695B2 (en) 2016-12-07 2019-01-01 At&T Intellectual Property I, L.P. Method and apparatus for controlling an unmanned aircraft
US10139820B2 (en) 2016-12-07 2018-11-27 At&T Intellectual Property I, L.P. Method and apparatus for deploying equipment of a communication system
US10446936B2 (en) 2016-12-07 2019-10-15 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system and methods for use therewith
US10243270B2 (en) 2016-12-07 2019-03-26 At&T Intellectual Property I, L.P. Beam adaptive multi-feed dielectric antenna system and methods for use therewith
US10389029B2 (en) 2016-12-07 2019-08-20 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system with core selection and methods for use therewith
US9893795B1 (en) 2016-12-07 2018-02-13 At&T Intellectual Property I, Lp Method and repeater for broadband distribution
US10547348B2 (en) 2016-12-07 2020-01-28 At&T Intellectual Property I, L.P. Method and apparatus for switching transmission mediums in a communication system
US10359749B2 (en) 2016-12-07 2019-07-23 At&T Intellectual Property I, L.P. Method and apparatus for utilities management via guided wave communication
US9911020B1 (en) 2016-12-08 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for tracking via a radio frequency identification device
US9998870B1 (en) 2016-12-08 2018-06-12 At&T Intellectual Property I, L.P. Method and apparatus for proximity sensing
US10326689B2 (en) 2016-12-08 2019-06-18 At&T Intellectual Property I, L.P. Method and system for providing alternative communication paths
US10103422B2 (en) 2016-12-08 2018-10-16 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US10601494B2 (en) 2016-12-08 2020-03-24 At&T Intellectual Property I, L.P. Dual-band communication device and method for use therewith
US10530505B2 (en) 2016-12-08 2020-01-07 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves along a transmission medium
US10069535B2 (en) 2016-12-08 2018-09-04 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves having a certain electric field structure
US10777873B2 (en) 2016-12-08 2020-09-15 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US10389037B2 (en) 2016-12-08 2019-08-20 At&T Intellectual Property I, L.P. Apparatus and methods for selecting sections of an antenna array and use therewith
US10938108B2 (en) 2016-12-08 2021-03-02 At&T Intellectual Property I, L.P. Frequency selective multi-feed dielectric antenna system and methods for use therewith
US10264586B2 (en) 2016-12-09 2019-04-16 At&T Mobility Ii Llc Cloud-based packet controller and methods for use therewith
US9838896B1 (en) 2016-12-09 2017-12-05 At&T Intellectual Property I, L.P. Method and apparatus for assessing network coverage
US10340983B2 (en) 2016-12-09 2019-07-02 At&T Intellectual Property I, L.P. Method and apparatus for surveying remote sites via guided wave communications
US9973940B1 (en) 2017-02-27 2018-05-15 At&T Intellectual Property I, L.P. Apparatus and methods for dynamic impedance matching of a guided wave launcher
US10298293B2 (en) 2017-03-13 2019-05-21 At&T Intellectual Property I, L.P. Apparatus of communication utilizing wireless network devices
US10097241B1 (en) 2017-04-11 2018-10-09 At&T Intellectual Property I, L.P. Machine assisted development of deployment site inventory
WO2019057179A1 (zh) * 2017-09-22 2019-03-28 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10488371B1 (en) 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US11333603B2 (en) * 2018-10-30 2022-05-17 Canon Kabushiki Kaisha Processing apparatus, processing method, and storage medium
US11049275B2 (en) * 2018-11-21 2021-06-29 Samsung Electronics Co., Ltd. Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
DE102021203608A1 (de) 2021-04-13 2022-10-13 Robert Bosch Gesellschaft mit beschränkter Haftung Erfassungsvorrichtung zu einer zumindest teilautomatisierten Erfassung von multiplen Objektdatensätzen zumindest eines Objekts

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103715A (ja) * 1993-10-01 1995-04-18 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH08114416A (ja) * 1994-10-14 1996-05-07 Nippondenso Co Ltd 画像データに基づく三次元物体認識装置
JPH10111934A (ja) * 1996-10-03 1998-04-28 Oojisu Soken:Kk ３次元形状モデル作成方法及び媒体
JPH10162147A (ja) * 1996-07-09 1998-06-19 General Electric Co <Ge> 被検体内のカメラ開口の位置と向きを決定する装置
JP2000194863A (ja) * 1998-12-28 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体
JP2001143073A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定の方法
JP2002032743A (ja) * 2000-07-13 2002-01-31 Sony Corp ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
JP2005322002A (ja) * 2004-05-07 2005-11-17 Kazuo Iwane 複合人工知能装置
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
US6362875B1 (en) * 1999-12-10 2002-03-26 Cognax Technology And Investment Corp. Machine vision system and method for inspection, homing, guidance and docking with respect to remote objects
US7643685B2 (en) * 2003-03-06 2010-01-05 Animetrics Inc. Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery
FI117217B (fi) * 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103715A (ja) * 1993-10-01 1995-04-18 Nippondenso Co Ltd 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH08114416A (ja) * 1994-10-14 1996-05-07 Nippondenso Co Ltd 画像データに基づく三次元物体認識装置
JPH10162147A (ja) * 1996-07-09 1998-06-19 General Electric Co <Ge> 被検体内のカメラ開口の位置と向きを決定する装置
JPH10111934A (ja) * 1996-10-03 1998-04-28 Oojisu Soken:Kk ３次元形状モデル作成方法及び媒体
JP2000194863A (ja) * 1998-12-28 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体
JP2001143073A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定の方法
JP2002032743A (ja) * 2000-07-13 2002-01-31 Sony Corp ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
JP2005322002A (ja) * 2004-05-07 2005-11-17 Kazuo Iwane 複合人工知能装置
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. DRUMMOND, R. CIPOLLA: ""Real-Time Visual Tracking of Complex Structures "", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 24, no. 7, JPN6012036381, 31 July 2002 (2002-07-31), US, pages 932 - 946, XP011094540, ISSN: 0002483616, DOI: 10.1109/TPAMI.2002.1017620 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038105A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP2018186528A (ja) * 2011-03-18 2018-11-22 ソニー株式会社 画像処理装置および画像処理方法
JP2016502216A (ja) * 2012-12-31 2016-01-21 ゼネラル・エレクトリック・カンパニイ 物的資産の改良された自動外観検査のための方法およびシステム
KR101722654B1 (ko) 2013-06-14 2017-04-03 퀄컴 인코포레이티드 점 특징 및 선 특징을 사용한 강력한 추적
KR20160019512A (ko) * 2013-06-14 2016-02-19 퀄컴 인코포레이티드 점 특징 및 선 특징을 사용한 강력한 추적
JP2016142624A (ja) * 2015-02-02 2016-08-08 株式会社日立ソリューションズ 位置推定装置、位置推定システム、位置推定方法及び位置推定プログラム
JP2016218920A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017045081A (ja) * 2015-08-24 2017-03-02 株式会社アマダホールディングス ワーク位置検出装置及び方法、並びに、ワーク保持用ロボットの制御装置及び制御方法
KR20170113122A (ko) * 2016-04-01 2017-10-12 캐논 가부시끼가이샤 정보 처리장치 및 그 제어방법
KR102169309B1 (ko) * 2016-04-01 2020-10-23 캐논 가부시끼가이샤 정보 처리장치 및 그 제어방법
JP2017203742A (ja) * 2016-05-13 2017-11-16 株式会社トプコン 位置特定装置、位置特定方法および位置特定用プログラム
US10534974B2 (en) 2017-02-09 2020-01-14 Toyota Jidosha Kabushiki Kaisha Image area extraction method and storage program
JP2021136028A (ja) * 2020-02-25 2021-09-13 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器
JP7150074B2 (ja) 2020-02-25 2022-10-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器
US11574414B2 (en) 2020-02-25 2023-02-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Edge-based three-dimensional tracking and registration method and apparatus for augmented reality, and storage medium

Also Published As

Publication number Publication date
US20100086218A1 (en) 2010-04-08
US8520931B2 (en) 2013-08-27
JP5253066B2 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
JP5253066B2 (ja) 位置姿勢計測装置及び方法
JP5094663B2 (ja) 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
JP5290864B2 (ja) 位置姿勢推定装置及び方法
JP5290865B2 (ja) 位置姿勢推定方法および装置
US10088294B2 (en) Camera pose estimation device and control method
Aubry et al. Painting-to-3D model alignment via discriminative visual elements
US20180276885A1 (en) Method for 3D modelling based on structure from motion processing of sparse 2D images
JP5618569B2 (ja) 位置姿勢推定装置及びその方法
US8467596B2 (en) Method and apparatus for object pose estimation
JP2020526818A (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
US8675972B2 (en) Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2006520055A (ja) ２次元画像からの３次元オブジェクトの不変視点検出および識別
JP2013089252A (ja) 映像処理方法及び装置
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019192022A (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2015008732A1 (ja) 光学文字認識装置
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
Maiwald et al. An automatic workflow for orientation of historical images with large radiometric and geometric differences
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
JP2006113832A (ja) ステレオ画像処理装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130416

R151 Written notification of patent or utility model registration

Ref document number: 5253066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3