JP2012026895A - 位置姿勢計測装置、位置姿勢計測方法、およびプログラム - Google Patents

位置姿勢計測装置、位置姿勢計測方法、およびプログラム Download PDF

Info

Publication number
JP2012026895A
JP2012026895A JP2010166500A JP2010166500A JP2012026895A JP 2012026895 A JP2012026895 A JP 2012026895A JP 2010166500 A JP2010166500 A JP 2010166500A JP 2010166500 A JP2010166500 A JP 2010166500A JP 2012026895 A JP2012026895 A JP 2012026895A
Authority
JP
Japan
Prior art keywords
dimensional
orientation
measurement data
measurement
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010166500A
Other languages
English (en)
Other versions
JP5627325B2 (ja
Inventor
Daisuke Kotake
大輔 小竹
Shinji Uchiyama
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010166500A priority Critical patent/JP5627325B2/ja
Priority to PCT/JP2011/067178 priority patent/WO2012011608A1/en
Priority to US13/810,731 priority patent/US20130114886A1/en
Publication of JP2012026895A publication Critical patent/JP2012026895A/ja
Application granted granted Critical
Publication of JP5627325B2 publication Critical patent/JP5627325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】計測データに質の低いデータが含まれている場合に、高速・高精度に物体の位置姿勢を計測する。
【解決手段】対象物体の3次元モデルを保持する保持部と、対象物体の位置姿勢の概略値を入力する入力部と、対象物体の距離画像を取得する取得部と、距離画像に保持される情報を3次元座標系上の3次元点の位置情報に変換する変換部と、距離画像に含まれる計測誤差に起因する3次元点の位置情報の信頼度を算出する信頼度算出部と、信頼度が高い3次元点から順に、所定の数だけ位置姿勢計測に用いる3次元点を選択する選択部と、概略値に基づいて3次元モデルを平行回転移動することにより、3次元モデルを構成する面と選択部により選択された所定の数の3次元点のそれぞれとを対応付ける対応付け部と、対応付けられた所定の数の3次元点と3次元モデルを構成する面との3次元距離の二乗和が最小となる位置姿勢を、対象物体の位置姿勢として決定する決定部と、を備える。
【選択図】 図1

Description

本発明は、3次元形状情報が既知である位置姿勢計測装置、位置姿勢計測方法、およびプログラムに関する。
近年のロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このようなロボットは、ハンドなどのエンドエフェクタによって部品を把持して組立を行う。ロボットが部品を把持するためには、把持の対象となる部品とロボット(ハンド)との間の相対的な位置及び姿勢を計測する必要がある。このような位置及び姿勢の計測は、ロボットによる部品把持のためだけでなく、ロボットが自律移動するための自己位置推定や、拡張現実感における現実空間(現実物体)と仮想物体の位置合わせなど様々な目的に応用される。
位置及び姿勢を計測する方法として、カメラ等の撮像装置から得られる2次元画像や距離センサから得られる距離画像を用いて行う方法がある。非特許文献1では、2次元画像上の特徴であるエッジに対して、線分の集合で表される物体の3次元モデルの投影像を当てはめることにより、物体の位置及び姿勢を計測する方法が開示されている。
この方法では、既知の情報として与えられる概略の位置及び姿勢に基づいて、3次元モデル中の線分を2次元画像上に投影し、投影された線分上に離散的に配置される制御点の夫々に対応するエッジを2次元画像上で検出する。このようにして得られたモデル(制御点)とエッジとの対応に基づいて、制御点が属する線分の投影像と対応するエッジとの画像上での距離の二乗和が最小となるように概略の位置及び姿勢を補正することで最終的な位置及び姿勢が得られる。また、非特許文献2では、距離画像を変換して得られる物体表面上の3次元点群に物体の3次元モデル(ポリゴンモデル)を当てはめることにより物体の位置及び姿勢を計測する方法が開示されている。非特許文献1で開示される方法と同様に、この方法でも概略の位置及び姿勢が既知の情報として与えられることが前提となっている。概略の位置及び姿勢に基づいてポリゴンモデルを平行移動・回転し、点群中の各点ごとに最も近接するポリゴンと対応付ける。そして、対応付けられたポリゴンと計測点との3次元空間における3次元距離の二乗和が最小となるように概略の位置及び姿勢を補正することで最終的な位置及び姿勢が得られる。このような計測データにモデルを当てはめる方法では、計測データの数が多いほど個々の計測データに含まれる計測誤差の影響が小さくなるため、多数の計測データを利用することで計測精度が向上することが期待される。
T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002. D. A. Simon, M. Hebert, and T. Kanade, "Real-time 3-D pose estimation using a high-speed range sensor," Proc. 1994 IEEE International Conference on Robotics and Automation (ICRA’94), pp.2235-2241, 1994. N. Gelfand, L. Ikemoto, S. Rusinkiewicz, and M. Levoy, "Geometrically stable sampling for the ICP algorithm," Proc. 4th International Conference on 3-D Digital Imaging and Modeling (3DIM 2003), pp.260-267, 2003. W. Hoff and T. Vincent, "Analysis of head pose accuracy in augmented reality," IEEE Transactions on Visualization and Computer Graphics, vol.6, no.4, pp.319-334, 2000. G. Welch and G. Bishop, "SCAAT: incremental tracking with incomplete information," Proc. 24th annual conference on Computer graphics and interactive techniques (SIGGRAPH’97), pp.333-344, 1997.
一方、工業製品の組立といった作業をロボットが行うことにより、作業を高速化することが期待される。ロボットによる作業を高速化するためには、ロボットの動作を高速化するだけでなく、動作を決定するのに必要なロボットと作業対象との相対的な位置及び姿勢の計測も高速に行う必要がある。また、ロボットを利用することでより精密な作業を行うことが期待されるため、位置及び姿勢の計測の高速化だけでなく高精度化も要求される。上述の3次元モデルを当てはめる方法では、多数の計測データを利用することにより高精度に部品の位置及び姿勢を計測することが期待される。しかし、多数の計測データを利用すると計算時間が増加してしまうため、なるべく少ない計測データから高精度に位置及び姿勢を計測することが求められる。
多数の計測データから必要な数の計測データを抽出する最もシンプルな方法は、等間隔のサンプリングである。しかし、等間隔にサンプリングする場合、サンプリングされる計測データの組合せによっては位置及び姿勢を一意に決定できないことが起こりうる。これに対して、非特許文献3では、既にサンプリングされた計測データから、決定するための計測データが不足している自由度を判定し、その自由度の決定に必要な計測データを優先的にサンプリングする方法が開示されている。しかし、この方法では、計測データとモデルとの対応情報のみからサンプリングされる計測データが決定されており、計測誤差などの計測データ自体の質は考慮されていない。少ない計測データから位置及び姿勢の算出を行う場合には個々の計測データの影響が大きくなるため、質の低い計測データが含まれる場合には計測精度が低下したり、場合によっては計算が発散したりといった課題が生じる。
上記の課題に鑑み、本発明は計測データ自体の質に基づいて計測データをサンプリングすることで、高速・高精度に物体の位置及び姿勢を計測することを目的とする。
上記の目的を達成する本発明に係る位置姿勢計測装置は、
3次元形状情報が既知である対象物体の位置および姿勢を計測する位置姿勢計測装置であって、
前記3次元形状情報を表す3次元モデルを保持する保持手段と、
前記対象物体の位置および姿勢の概略値を入力する入力手段と、
撮像手段により撮像された前記対象物体の距離情報を取得する取得手段と、
前記距離情報を3次元座標系における3次元点の位置情報に変換する変換手段と、
前記距離情報に含まれる計測誤差に起因する前記位置情報に含まれる誤差の小ささを示す指標である、前記位置情報のそれぞれに対する信頼度を算出する信頼度算出手段と、
前記信頼度が高い前記3次元点から順に、所定の数だけ位置および姿勢の計測に用いる前記3次元点を選択する選択手段と、
前記入力手段に入力された前記概略値に基づいて前記3次元モデルを平行移動または回転移動することにより、前記3次元モデルを構成する面と、前記選択手段により選択された前記所定の数の3次元点のそれぞれと、を対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記所定の数の3次元点と、前記3次元モデルを構成する面との3次元距離の二乗和が最小となる位置および姿勢を、前記対象物体の位置および姿勢として決定する決定手段と、
を備えることを特徴とする。
本発明によれば、計測データに質の低い計測データが含まれている場合であっても、少ない計測データから高速・高精度に物体の位置及び姿勢を計測することが可能になる。
(a)第1実施形態に係る位置姿勢計測装置100のハードウェア構成を示す図、(b)第1実施形態に係る位置姿勢計測装置100の各処理部の構成を示す図。 第1実施形態に係る3次元形状モデルを説明する図。 第1実施形態に係る位置及び姿勢の計測の処理手順を示すフローチャート。 第1実施形態に係る計測データ選択の処理手順を示すフローチャート。 第2実施形態に係る位置姿勢計測装置の構成を示す図。 第2実施形態に係る位置及び姿勢の計測の処理手順を示すフローチャート。 第2実施形態に係る位置及び姿勢の更新の処理手順を示すフローチャート。
(第1実施形態)
本実施形態は、3次元形状情報が3次元モデルとして既知である対象物体に対して、当該対象物体の位置および姿勢を計測する位置姿勢計測装置を対象とする。第1実施形態では、距離センサが計測する距離画像を変換して得られる3次元座標系における3次元点群に、物体の3次元モデルを当てはめて位置及び姿勢の計測を行う際に、本実施形態に係る計測データのサンプリング方法を適用する場合について説明する。なお、必要なデータをすべて選択してから位置姿勢の計測を行う。
まず、図1(a)を参照して、本実施形態に係る位置姿勢計測装置のハードウェア構成を説明する。CPU11は装置全体の動作、具体的には後述の各処理部の動作を制御する。メモリ12は、CPU11の動作に用いるプログラムやデータを格納する。バス13は各構成モジュール間のデータ転送を司る。インタフェース14はバス13と各種装置とのインタフェースである。また、外部記憶装置15は、CPU11に読み込むためのプログラムやデータを格納する外部記憶装置である。キーボード16およびマウス17はプログラムを起動したり、プログラムの動作を指定したりするための入力装置を構成する。表示部18はプロセスの動作結果を表示する。データ入出力部19は装置外部とのデータ入出力を行う。不図示の距離画像計測装置はデータ入出力部19を介して接続されている。
次に、図1(b)を参照して、本実施形態における位置姿勢計測装置100の構成について説明する。図1(b)に示されるように、位置姿勢計測装置100は、3次元モデル保存部101と、概略位置姿勢入力部102と、計測データ入力部103と、計測データ選択部104と、位置姿勢算出部105とを備える。また、位置姿勢計測装置100には、3次元データ計測部106が接続されている。以下、位置姿勢計測装置100を構成する各部の機能について説明する。
3次元データ計測部106は、計測対象となる物体表面上の点の3次元情報を計測する。本実施形態では、3次元データ計測部106は、例えば、物体表面までの距離を表す距離情報として、距離画像を出力する距離センサである。距離画像とは、画像を構成する各画素が奥行きの情報を持つ画像である。本実施形態では、距離センサとして、対象物体に照射したレーザ光の反射光をカメラで撮影し、三角測量の原理によって距離を計測するアクティブ式のものを利用する。しかしながら、距離センサはこれに限るものではなく、光の飛行時間を利用するTime−of−flight方式であってもよいし、ステレオカメラが撮影する画像間の対応に基づいて三角測量の原理によって各画素の奥行きを計算するパッシブ式であってもよい。その他、距離を計測するものであればいかなるものであっても本発明の本質を損なうものではない。3次元データ計測部106により計測された3次元データは、計測データ入力部103を介して位置姿勢計測装置100に入力される。
3次元モデル保存部101は、位置及び姿勢を計測する対象である計測対象物体の3次元モデルを保存する。本実施形態では、物体を線分と面から構成される3次元モデルとして記述する。図2は本実施形態に係る3次元モデルを説明する図である。3次元モデルは、点の集合及び各点を結んで構成される線分の集合によって定義される。図2(a)に示されるように、計測対象物体20の3次元モデルは点P1〜点P14の合計14点により構成されている。また、図2(b)に示されるように、計測対象物体20の3次元モデルは線分L1〜L16により構成されている。ここで、図2(c)に示されるように、点P1〜点P14は夫々3次元座標を持つ。また、図2(d)に示されるように、線分L1〜L16は、線分を構成する点のIDによって表される。例えば、線分L1は、点のIDである点P1と点P6によって表される。さらに、3次元モデルは、面の情報を保持する。各面は、各面を構成する点のIDによって表される。図2に示される3次元モデルでは、直方体を構成する6つの面の情報が記憶されている。3次元モデルは、計測データ選択部104において計測データをサンプリングする際、及び位置姿勢算出部105において物体の位置及び姿勢を算出する際に用いられる。
概略位置姿勢入力部102は、位置姿勢計測装置100に対する物体の位置及び姿勢の概略値を入力する。位置姿勢計測装置100には、位置及び姿勢計測の基準となる3次元の座標系(基準座標系)が規定されているものとする。位置姿勢計測装置100に対する物体の位置及び姿勢とは、基準座標系における物体の位置及び姿勢を表す。本実施形態では、距離センサを構成するカメラの光軸をz軸とした座標系を基準座標系とする。また本実施形態では、位置姿勢計測装置100は時間軸方向に連続して計測を行うものとして、前回(前時刻)の計測値を概略の位置及び姿勢として用いる。しかしながら、位置及び姿勢の概略値の入力方法はこれに限るものではない。例えば、過去の位置及び姿勢の計測結果に基づいて位置及び姿勢の変化量を推定し、過去の位置及び姿勢と推定された変化量から現在の位置及び姿勢の概略値を予測してもよい。また、物体が置かれているおおよその位置や姿勢が予めわかっている場合にはその値を概略値として用いる。
計測データ入力部103は、距離画像の各画素に格納されている奥行き値を基準座標系(3次元座標系)における3次元座標に変換し、3次元点群の各位置情報として位置姿勢計測装置100に入力する。
計測データ選択部104は、計測データ入力部103によって入力された3次元点群から、計測データの質または位置及び姿勢算出への寄与度に基づいて、必要な計測データをサンプリングする。
位置姿勢算出部105は、計測データ選択部104によって選択された計測データ(3次元点群)に対して、3次元モデル保存部101に保存される3次元モデルを当てはめることにより物体の位置及び姿勢を計測する。
以上説明した各処理部の動作について説明する。図3は、第1実施形態に係る位置及び姿勢の計測の処理手順を示すフローチャートである。ステップS301において、概略位置姿勢入力部102を介して、位置姿勢計測装置100に対する物体の位置及び姿勢の概略値が位置姿勢計測装置100に入力される。前述したように、本実施形態では、前回(前時刻)の計測値を概略の位置及び姿勢として用いる。
ステップS302において、計測データ入力部103を介して、物体の位置及び姿勢を算出するための計測データが取得される。ここで計測データとは、計測対象物体の3次元データである。前述したように、3次元データ計測部106は距離画像を出力する。従って、計測データ入力部103は、距離画像の各画素に保持される奥行き情報を、基準座標系における3次元座標を持つ3次元点群データに変換して位置姿勢計測装置100に入力する。距離画像から3次元点群への変換は、例えば、画素位置に対応する視線ベクトルに奥行き値を乗算することにより行う。
ステップS303において、計測データ入力部103を介して入力された3次元点群データから、位置及び姿勢を算出するのに必要な計測データを選択する。この必要な計測データの選択処理の詳細について、図4を参照して説明する。図4は、計測データ選択の処理手順を示すフローチャートである。
まず、ステップS401において、計測データ選択部104は、各計測データについて、計測データの質(信頼性)に相当する信頼度を算出する(信頼度算出処理)。信頼度とは、距離画像に含まれる計測誤差に起因する、位置情報に含まれる誤差の小ささを示す指標である。本実施形態では、計測点が局所的に平面である場合、平面の法線ベクトルが距離センサに正対する場合に安定に計測ができると仮定して、位置姿勢計測装置に対する平面の法線ベクトルの角度に基づいて信頼度を決定する。ここでは、カメラ(撮像装置)の光軸である基準座標系のz軸(撮像方向ベクトル)と平面の法線ベクトルとに基づいて信頼度が算出される。計測点周辺の平面の法線ベクトルは、距離画像における近傍の点(周辺点)に平面当てはめを行うことにより推定する。平面当てはめによって得られた法線ベクトルと基準座標系のz軸との双方を正規化し、それらの内積の絶対値を信頼度とする。しかしながら、信頼度の決定方法はこれに限るものではない。例えば、ステレオカメラを用いたレンジセンサの場合には、画像間でのパッチのマッチング度合いを表す数値(例えば、輝度差の2乗和を示すSSD)に基づいて信頼度が決定されてもよい。その他、いかなるものであっても、計測データの質を妥当に表現できる指標であれば信頼度として使用されてもよい。
ステップS402において、計測データ選択部104は、ステップS401で算出された信頼度の降順に計測データをソートする。各計測データは既に選択されたかどうかのフラグF(i=1,…,N)を保持している。このフラグFはFALSE(未選択であることを示す)により初期化しておく。ここでNは計測データの総数である。
ステップS403において、計測データ選択部104は、ステップS402でソートされた計測データから、信頼度が高い所定の数である上位M個の計測データを選択する。そして、選択された計測データのフラグFをTRUE(選択されたことを示す)に変更する。ここでMの値は、計測対象物体の位置及び姿勢を決定するのに必要な最小の計測データの数であるとする。例えば、点と面の対応に基づいて位置及び姿勢を算出する場合には、Mは6となる。選択されたM個の計測データの夫々を、3次元モデル中の面と対応づける。この計測データと3次元モデル中の面との対応付けは、ステップS301で入力された概略の位置及び姿勢に基づいて3次元モデルを平行移動・回転移動し、計測データに最も近接する3次元モデル中の面を選択することにより行う。
ステップS404において、計測データ選択部104は、ステップS403で選択されたM個の計測データにより、一意に位置及び姿勢を決定できるかどうかの判定を行う。すなわち、決定されるべき位置及び姿勢のうち、選択されたM個の計測データからでは決定できない位置及び姿勢の成分(もしくはその線形和)を判定する。ここでは、物体の位置及び姿勢の補正値を算出する際に用いる方程式の係数ベクトルを用いて判定を行う。方程式の係数ベクトルは、点と面の符号付距離の位置及び姿勢に関する偏微分係数を成分として並べたものである。以下、判定方法について具体的に説明する。説明を簡単にするため、位置及び姿勢を、基準座標系に対する物体の位置及び姿勢ではなく、物体座標系に対するカメラの位置及び姿勢であるとする。基準座標系における点群の3次元座標は、前述の位置及び姿勢s(位置姿勢を表す6次元ベクトル)を用いて物体座標系における3次元座標(x,y,z)に変換される。ある位置及び姿勢sにより、基準座標系における3次元座標が物体座標系における3次元座標(x,y,z)に変換される。(x,y,z)は位置及び姿勢の関数であり、(x,y,z)の近傍で1次のテイラー展開によって以下の式(1)のように近似できる。
Figure 2012026895
ここで、Δs(i=1,2,・・・,6)は位置及び姿勢の各成分の微小変化を表す。ある点に対応付けされた面の物体座標系における方程式をax+by+cz=e(a+b+c=1;a,b,c,eは定数)とする。概略の位置及び姿勢を微小変化させることにより、物体座標系を基準とした計測データ(点)の3次元座標(x,y,z)が平面の方程式ax+by+cz=eを満たすと仮定すると、式(1)と平面の方程式とから以下の式(2)が得られる。
Figure 2012026895
ただし、q=ax+by+cz(定数)とした。式(2)は位置及び姿勢の各成分の微小変化についての方程式であり、選択されたM個の点に基づいて以下の式(3)のようなΔsに関する線形連立方程式を立てることができる。
Figure 2012026895
ここで式(3)を式(4)のように表す。
Figure 2012026895
非特許文献3に開示されているように、M個の計測データから位置及び姿勢を一意に決定できるかどうかは、行列JJのランクによって決定される。行列JJは、3次元点と3次元モデルを構成する面との位置関係を規定する係数行列の転置と当該係数行列との積で表される行列である。行列JJがランク落ちしている場合には、行列JJの固有値0の固有ベクトルに相当する位置及び姿勢の成分を一意に決定することができない。そこで、ステップS404においては、行列JJを固有値分解して6個の固有ベクトルEVi(i=1,…,6)と、それに対応する固有値を算出する。そして、各固有ベクトルに相当する位置及び姿勢成分を決定するための情報量Ei(i=1,…,6)を保持する。本実施形態では、情報量Eiの値がある閾値Thより大きい場合には一意に位置及び姿勢が決定できるものとする。情報量Eiとして、非特許文献3と同様に、固有ベクトルEViとM個の各計測データの係数ベクトル(式(3)の左辺の行列の行に相当する)との内積を二乗した値の総和を保持する。固有値がほぼ0の固有ベクトルの場合には、EViはほぼ0になる。
すなわち、この行列JJを固有値分解して取得される固有ベクトルおよび固有値に基づいて、固有ベクトルに対応する対象物体の位置および姿勢を決定することができるか否かを示す特徴量(情報量Ei(i=1,…,6))を算出する特徴量算出処理を行う。
次に、ステップS405において、計測データ選択部104は、位置及び姿勢を一意に決定するためにさらに計測データを追加選択する必要があるかどうかを判定する。この判定は、前述の情報量Eiが閾値Thより大きいかどうかを判定することにより行う。閾値Th以下のEiがある場合には(ステップS405;YES)、情報不足の成分があるため、ステップS406に進む。ステップS406において、計測データ選択部104は新たな計測データを追加選択した後ステップS405に戻る。ステップS406の具体的な処理については後述する。ステップS405において、すべてのEiが閾値Thより大きいと判定された場合には(ステップS405;NO)、情報不足の成分はないため、ステップS303のデータ選択処理を終了し、ステップS304へ進む。なお、計算時間に余裕がある場合には、ステップS405における閾値Thを大きくし、ステップS406のデータ追加処理を実行する回数を多くする。これにより多くの計測データを利用して高精度化を図ることができる。一方、計算時間に余裕がない場合には閾値Thを小さくして、ステップS406のデータ追加処理を実行する回数をなるべく少なくすることで高速化する。
ステップS406において、計測データ選択部104は、最もEiが小さい固有ベクトルに近い係数ベクトルを持つ計測データを選択する。すなわち、特徴量(情報量Ei(i=1,…,6))が閾値以下であるか否かを判定し、その特徴量が閾値以下である場合に、既に選択された所定の数の3次元点では対象物体の位置および姿勢を決定できないとして、新たに3次元点を追加選択する処理を行う。具体的には、ソートされた計測データからフラグFがFALSEである計測データを選択し、最も近接する面との対応付けを行い、固有ベクトルと係数ベクトルとの内積の絶対値が閾値以上(≧Th_dot)であるか否か判断し、閾値以上(≧Th_dot)であれば選択する。一方、閾値未満(<Th_dot)の場合には計測データを選択せずに、再びステップS405に戻る。計測データを選択した場合には、各固有ベクトルEViに対して情報量Eiを算出し直す。すなわち、選択された計測データの係数ベクトルと各固有ベクトルとの内積の二乗値をEViに加算する。
以上でステップS303の処理が終了する。
ステップS304において、位置姿勢算出部105は、ステップS303で選択された計測データを用いて、物体の位置及び姿勢を算出する。ここでは、対応付けられたモデル中の面と計測点(所定の数の3次元点およびさらに追加された3次元点)との3次元空間における3次元距離の二乗和が最小となるようにステップS301で入力された概略の位置及び姿勢を繰り返し補正する。具体的には、選択された各計測データについて立式される式(2)を、位置及び姿勢の補正値Δs(i=1,2,…,6)に関する連立方程式としてΔsを算出する。算出されたΔsをもとに位置及び姿勢sを補正する。なお、位置及び姿勢による3次元位置の変換は非線形の変換であるため、sを補正した後に式(2)の右辺の係数や左辺の値を算出し直して、Δsの算出と補正を繰り返し行う。
以上述べたように、本実施形態では、計測データの質に基づいて計測データを選択し、位置及び姿勢算出を行うことで、高精度かつ高速な位置及び姿勢の計測を行うことができる。
(第2実施形態)
第1実施形態では、まず計測データを選択した後に位置及び姿勢の算出を行った。これに対して第2実施形態では、計測データを選択するごとに位置及び姿勢を逐次的に更新する場合について説明する。
まず図5を参照して、本実施形態に係る位置姿勢計測装置500の構成を説明する。図5に示されるように、位置姿勢計測装置500は、3次元モデル保存部501と、概略位置姿勢入力部502と、計測データ入力部503と、計測データ選択部504と、位置姿勢更新部505とを備える。また、位置姿勢計測装置500には、3次元データ計測部506が接続されている。以下、位置姿勢計測装置500を構成する各部について説明する。3次元モデル保存部501、概略位置姿勢入力部502、計測データ入力部503、3次元データ計測部506は、第1実施形態における3次元モデル保存部101、概略位置姿勢入力部102、計測データ入力部103、3次元データ計測部106と同一であるため説明を省略する。
位置姿勢更新部505は、計測データ入力部503を介して入力された計測データ(3次元点群)から、計測データを抽出して該計測データに基づいて位置及び姿勢を更新することを繰り返し行う。
図6は、第2実施形態に係る位置及び姿勢の計測の処理手順を示すフローチャートである。ステップS601の処理は、第1実施形態におけるステップS301の処理と同じである。ステップS602の処理は、第1実施形態におけるステップS302の処理と同じである。次にステップS603において、位置姿勢更新部505は、計測データの質と位置及び姿勢計測への寄与度に基づいて、計測データ入力部503を介して入力された計測データから計測データを選択して、位置及び姿勢を更新する処理を繰り返すことにより位置及び姿勢を算出する。
図7を参照して、このステップS603における位置及び姿勢の更新の具体的な処理手順について説明する。
ステップS701の処理は、第1実施形態におけるステップS401の処理と同じである。加えて、位置姿勢更新部505は、概略の位置及び姿勢のあいまい性(概略値信頼度)を表す指標となる6×6共分散行列Pを入力する(概略値信頼度入力処理)。共分散行列とは、対角要素に位置及び姿勢の各成分の分散を持ち、非対角成分に成分間の共分散を持つ行列である。本実施形態では、概略の位置及び姿勢の共分散行列は固定値として不図示の入力部を介して与えられるものであり、6行6列の行列として与えられる。
ステップS702の処理も、第1実施形態におけるステップS402の処理と同じである。ステップS703において、計測データ選択部504は、現在の位置及び姿勢の共分散行列Pに基づいて、最もあいまい性の高い位置及び姿勢の成分を推定し、その成分を更新するのに適した計測データを選択する。
まず、最もあいまい性の高い位置及び姿勢の成分を推定するために、共分散行列Pの逆行列を固有値分解し、6個の固有値とそれに対応する固有ベクトルEVi(i=1,…,6)を算出する(固有ベクトル算出処理)。線形近似の範囲内では、共分散行列Pの逆行列は第1実施形態における行列JJに相当する(非特許文献4参照)。
次に計測データ選択部504は、最もあいまい性の高い位置及び姿勢の成分として、最も固有値が小さい固有ベクトルEViを選択し、その固有ベクトルに最も近い係数ベクトルを持つ計測データを選択する。ここで、係数ベクトルとは、点と面の符号付距離の位置及び姿勢についての偏微分係数を並べたものであり、式(3)の左辺の行列の行に相当する。具体的には、ステップS702でソートされた計測データからフラグFがFALSEである計測データを選択し、最も近接する面との対応付けを行う。選択された計測データのフラグFをTRUEに変更する。得られた対応情報に基づいて、点と面の符号付距離の位置及び姿勢についての偏微分係数を算出して係数ベクトルを得る(係数ベクトル算出処理)。そして固有ベクトルと係数ベクトルとの内積の絶対値が閾値Th_dot以上であればステップS704において位置及び姿勢の更新を行う。
ステップS704において、位置姿勢更新部505は、ステップS703で選択された一つの計測データを用いて、拡張カルマンフィルタの原理を応用したSCAAT(Single Constraint At A Time)アルゴリズム(非特許文献5参照)により、概略の位置及び姿勢の更新と、位置及び姿勢の共分散行列の更新とを行う。通常の拡張カルマンフィルタは、位置及び姿勢のすべての成分が決定できる数の計測データが必要となるが、SCAATアルゴリズムでは単一の計測データから位置及び姿勢を部分的に更新することができる。
上記更新の後、ステップS705において、位置及び姿勢の更新を継続するかどうかの判定を行う。ステップS704で更新された共分散行列の各要素の大きさが一定値以下になった場合や、予め定められた計算時間に到達した場合に、更新処理を終了する(ステップS705;NO)。一方、そうでない場合(ステップS705;YES)、ステップS703に戻る。
以上述べたように、本実施形態では、計測データの質と位置及び姿勢計測の寄与度との双方に基づいて計測データを選択し、位置及び姿勢を更新する処理を繰り返すことにより、高精度かつ高速な位置及び姿勢の計測を行うことができる。
(第3実施形態)
前述の実施形態では、計測点の周辺が局所的に平面であると想定し、該平面とカメラが正対するときに安定して計測が行えるとして、平面の法線ベクトルと視線ベクトルの角度をもとに計測データの質を算出していた。しかしながら、計測データの質の算出方法はこれに限るものではない。例えば、計測点近傍の3次元座標が類似していれば計測の品質が高いとして、計測点の距離画像上における周辺点の3次元位置のばらつきに基づいて、計測データの質を算出してもよい。具体的には、距離画像における計測点の近傍の複数の点の3次元座標を算出し、3次元座標の共分散行列を求め、共分散行列を固有値分解したときの最大固有値を計測データの質としてもよい。
(第4実施形態)
前述の実施形態では、距離センサが計測する距離画像を変換して得られる3次元点群に物体の3次元モデルを当てはめて位置及び姿勢の計測を行う場合について説明した。しかしながら、本発明を適用可能な計測データは距離画像(3次元点群)に限るものではなく、例えば2次元画像上で検出される画像特徴であってもよい。画像特徴としては、特徴点やエッジを用いることができる。エッジを用いる場合には、3次元空間中における面と点の符号付距離ではなく、3次元画像上における線と点の符号付距離を位置及び姿勢の関数としたときの偏微分係数を係数行列とする。また、特徴点を用いる場合には、2次元画像上における座標の違いを位置及び姿勢の関数としたときの偏微分係数を係数行列とする。
エッジを用いる場合には、計測データの質として、2次元画像上で周辺に存在するエッジの数を利用することができる。すなわち、あるモデル中の線分に対応付けられるエッジの近辺に多数のエッジがある場合には誤対応である可能性が高いため、計測データの質を低く設定する。また、エッジ検出カーネルのサイズを計測データの質として利用してもよい。すなわち、2次元画像上において異なるサイズのエッジ検出カーネルによってエッジ検出を行い、対応付けされたエッジを検出したときのカーネルのサイズが大きいほどエッジ位置の精度が低いため、計測データの質を低く設定する。
一方、特徴点を用いる場合には、計測データの質として、特徴点をマッチングする際のマッチング度を利用してもよい。3次元モデルが点群によって表されており、各点が周辺の輝度情報をパッチとして保持する場合には、画像上の特徴点周辺のパッチとモデル上のパッチの輝度値の差の2乗和を示すSSDに基づいて計測データの質を決定する。すなわち、輝度値のマッチング度が低い場合には計測データの質を低く設定する。
しかしながら、計測データの質の算出方法はこれに限るものではなく、計測データの質を妥当に表現できる指標であればいかなる指標であってもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 3次元形状情報が既知である対象物体の位置および姿勢を計測する位置姿勢計測装置であって、
    前記3次元形状情報を表す3次元モデルを保持する保持手段と、
    前記対象物体の位置および姿勢の概略値を入力する入力手段と、
    撮像手段により撮像された前記対象物体の距離情報を取得する取得手段と、
    前記距離情報を3次元座標系における3次元点の位置情報に変換する変換手段と、
    前記距離情報に含まれる計測誤差に起因する前記位置情報に含まれる誤差の小ささを示す指標である、前記位置情報のそれぞれに対する信頼度を算出する信頼度算出手段と、
    前記信頼度が高い前記3次元点から順に、所定の数だけ位置および姿勢の計測に用いる前記3次元点を選択する選択手段と、
    前記入力手段に入力された前記概略値に基づいて前記3次元モデルを平行移動または回転移動することにより、前記3次元モデルを構成する面と、前記選択手段により選択された前記所定の数の3次元点のそれぞれと、を対応付ける対応付け手段と、
    前記対応付け手段により対応付けられた前記所定の数の3次元点と、前記3次元モデルを構成する面との3次元距離の二乗和が最小となる位置および姿勢を、前記対象物体の位置および姿勢として決定する決定手段と、
    を備えることを特徴とする位置姿勢計測装置。
  2. 前記信頼度算出手段は、前記3次元点のそれぞれについて、前記3次元点の周辺点から構成される平面に対する、前記3次元点を基準とした正規化された法線ベクトルと、前記撮像手段を基準とした正規化された撮像方向ベクトルとの内積の絶対値を信頼度として算出することを特徴とする請求項1に記載の位置姿勢計測装置。
  3. 前記3次元点と前記3次元モデルを構成する面との位置関係を規定する係数行列の転置と、当該係数行列と、の積で表される行列を固有値分解して取得される固有ベクトルおよび固有値に基づいて、前記固有ベクトルに対応する前記対象物体の位置および姿勢を前記決定手段により決定することができるか否かを示す特徴量を算出する特徴量算出手段と、
    前記特徴量が閾値以下であるか否かを判定する判定手段と、
    前記判定手段により前記特徴量が閾値以下であると判定された場合に、新たに3次元点を追加選択する追加選択手段と、
    を更に備え、
    前記対応付け手段は、前記入力手段に入力された前記概略値に基づいて前記3次元モデルを平行移動または回転移動することにより、前記3次元モデルを構成する面と、前記追加選択手段により選択された3次元点と、をさらに対応付け、
    前記決定手段は、前記対応付け手段により対応付けられた前記所定の数の3次元点および前記対応付け手段によりさらに対応付けられた3次元点と、前記3次元モデルを構成する面との3次元距離の二乗和が最小となる位置および姿勢を、前記対象物体の位置および姿勢として決定することを特徴とする請求項1または2に記載の位置姿勢計測装置。
  4. 前記対象物体の位置および姿勢の概略値の信頼性を示す概略値信頼度を6行6列の行列として入力する概略値信頼度入力手段と、
    前記行列の逆行列を固有値分解して6個の固有値および当該固有値に対応する6個の固有ベクトルを算出する固有ベクトル算出手段と、
    前記6個の固有値および当該固有値に対応する6個の固有ベクトルのうち、前記固有値が最も小さい固有ベクトルに対応する、3次元点と前記3次元モデルを構成する面との位置関係を規定する係数ベクトルを算出する係数ベクトル算出手段と、
    前記固有ベクトルと前記係数ベクトルとの内積の絶対値が閾値以上であるか否か判断する判断手段と、
    前記判断手段により前記内積の絶対値が閾値以上であると判断された場合に、前記位置および姿勢の概略値を更新する更新手段と、
    をさらに備えることを特徴とする請求項1乃至3の何れか1項に記載の位置姿勢計測装置。
  5. 3次元形状情報が既知である対象物体に対して、当該対象物体の位置および姿勢を計測する位置姿勢計測方法であって、
    入力手段が、前記対象物体の位置および姿勢の概略値を入力する入力工程と、
    取得手段が、撮像工程で撮像された前記対象物体の距離情報を取得する取得工程と、
    変換手段が、前記距離情報を3次元座標系における3次元点の位置情報に変換する変換工程と、
    信頼度算出手段が、前記距離情報に含まれる計測誤差に起因する前記位置情報に含まれる誤差の小ささを示す指標である、前記位置情報のそれぞれに対する信頼度を算出する信頼度算出工程と、
    選択手段が、前記信頼度が高い前記3次元点から順に、所定の数だけ位置および姿勢の計測に用いる前記3次元点を選択する選択工程と、
    対応付け手段が、前記入力工程で入力された前記概略値に基づいて、保持手段に保持された前記3次元形状情報を表す3次元モデルを平行移動または回転移動することにより、前記3次元モデルを構成する面と、前記選択工程で選択された前記所定の数の3次元点のそれぞれと、を対応付ける対応付け工程と、
    決定手段が、前記対応付け工程で対応付けられた前記所定の数の3次元点と、前記3次元モデルを構成する面との3次元距離の二乗和が最小となる位置および姿勢を、前記対象物体の位置および姿勢として決定する決定工程と、
    を有することを特徴とする位置姿勢計測方法。
  6. 請求項5に記載の位置姿勢計測方法をコンピュータに実行させるためのプログラム。
JP2010166500A 2010-07-23 2010-07-23 位置姿勢計測装置、位置姿勢計測方法、およびプログラム Active JP5627325B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010166500A JP5627325B2 (ja) 2010-07-23 2010-07-23 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
PCT/JP2011/067178 WO2012011608A1 (en) 2010-07-23 2011-07-21 Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US13/810,731 US20130114886A1 (en) 2010-07-23 2011-07-21 Position and orientation measurement apparatus, position and orientation measurement method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010166500A JP5627325B2 (ja) 2010-07-23 2010-07-23 位置姿勢計測装置、位置姿勢計測方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2012026895A true JP2012026895A (ja) 2012-02-09
JP5627325B2 JP5627325B2 (ja) 2014-11-19

Family

ID=45497016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010166500A Active JP5627325B2 (ja) 2010-07-23 2010-07-23 位置姿勢計測装置、位置姿勢計測方法、およびプログラム

Country Status (3)

Country Link
US (1) US20130114886A1 (ja)
JP (1) JP5627325B2 (ja)
WO (1) WO2012011608A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104006740A (zh) * 2013-02-20 2014-08-27 国立大学法人九州工业大学 物体检测方法和物体检测装置
DE102016214035A1 (de) 2015-07-30 2017-02-02 Keyence Corporation Messzielobjekt-Messprogramm, Messzielobjekt-Messverfahren und vergrössernde Beobachtungseinrichtung
JP2017102529A (ja) * 2015-11-30 2017-06-08 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP2018179876A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置
KR102261498B1 (ko) * 2020-07-10 2021-06-07 주식회사 두산 픽킹 대상물의 자세 추정 장치 및 방법
WO2023139675A1 (ja) * 2022-01-19 2023-07-27 日立Astemo株式会社 撮像装置、視差ずれ補正方法、及び視差ずれ補正プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5624394B2 (ja) 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP5671281B2 (ja) 2010-08-20 2015-02-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP6004809B2 (ja) 2012-03-13 2016-10-12 キヤノン株式会社 位置姿勢推定装置、情報処理装置、情報処理方法
JP2015184054A (ja) * 2014-03-20 2015-10-22 株式会社東芝 同定装置、方法及びプログラム
US9565363B1 (en) * 2015-08-10 2017-02-07 X Development Llc Stabilization of captured images for teleoperated walking biped robots
CN106500617A (zh) * 2016-09-30 2017-03-15 长春理工大学 复杂曲面轨迹规划及离线编程方法
TWI672207B (zh) * 2017-11-03 2019-09-21 財團法人工業技術研究院 機械設備之定位系統及其方法
JP6937995B2 (ja) * 2018-04-05 2021-09-22 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法
CN111339612B (zh) * 2020-02-21 2024-03-22 广州明珞汽车装备有限公司 三维数据模型快速装配方法、系统、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0391917A (ja) * 1989-09-04 1991-04-17 Nikon Corp 位置合わせ方法及び露光装置
JP2010127819A (ja) * 2008-11-28 2010-06-10 Fuji Electric Holdings Co Ltd 多面体位置検出装置及び検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4752433B2 (ja) * 2005-10-03 2011-08-17 コニカミノルタホールディングス株式会社 モデリングシステム、モデリング方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0391917A (ja) * 1989-09-04 1991-04-17 Nikon Corp 位置合わせ方法及び露光装置
JP2010127819A (ja) * 2008-11-28 2010-06-10 Fuji Electric Holdings Co Ltd 多面体位置検出装置及び検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6014021034; Simon,D.A.,Hebert,M. and Kanade, T.: 'Browse Conference Publications > Robotics and Automation, 1994 ... Help Working with AbstractsReal-t' Proc IEEE Int Conf Rob Autom Vol.1994 No.Vol 3, 1994, p.2235-2241 *
JPN6014021037; Gelfand,N.,Ikemoto,L.,Rusinkiewicz,S. and Levoy,M.: 'Geometrically stable sampling for the ICP algorithm' 3-D Digital Imaging and Modeling, 2003. 3DIM 2003. Proceedings. Fourth International Conference on , 2003, p.260-267 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104006740A (zh) * 2013-02-20 2014-08-27 国立大学法人九州工业大学 物体检测方法和物体检测装置
CN104006740B (zh) * 2013-02-20 2016-10-19 国立大学法人九州工业大学 物体检测方法和物体检测装置
DE102016214035A1 (de) 2015-07-30 2017-02-02 Keyence Corporation Messzielobjekt-Messprogramm, Messzielobjekt-Messverfahren und vergrössernde Beobachtungseinrichtung
US9970745B2 (en) 2015-07-30 2018-05-15 Keyence Corporation Measurement target measuring program, measurement target measuring method, and magnifying observation device
JP2017102529A (ja) * 2015-11-30 2017-06-08 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
US10286557B2 (en) 2015-11-30 2019-05-14 Fanuc Corporation Workpiece position/posture calculation system and handling system
JP2018179876A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置
KR102261498B1 (ko) * 2020-07-10 2021-06-07 주식회사 두산 픽킹 대상물의 자세 추정 장치 및 방법
WO2023139675A1 (ja) * 2022-01-19 2023-07-27 日立Astemo株式会社 撮像装置、視差ずれ補正方法、及び視差ずれ補正プログラム

Also Published As

Publication number Publication date
WO2012011608A1 (en) 2012-01-26
JP5627325B2 (ja) 2014-11-19
US20130114886A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5839971B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5393318B2 (ja) 位置姿勢計測方法及び装置
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
US10684116B2 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
JP6323993B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
JP4650750B2 (ja) 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP5924862B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
CN114494629A (zh) 一种三维地图的构建方法、装置、设备及存储介质
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6766229B2 (ja) 位置姿勢計測装置及び方法
Vitiuk et al. Software Package for Evaluation the Stereo Camera Calibration for 3D Reconstruction in Robotics Grasping System.
JP5938201B2 (ja) 位置姿勢計測装置、その処理方法及びプログラム
Nagaranjan Sundar Creating Digital Twins of an indoor environment from an operator’s perspective
JP2021077290A (ja) 情報処理装置、情報処理方法、プログラム、システム及び物品の製造方法
JP2011174878A (ja) 位置姿勢計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140930

R151 Written notification of patent or utility model registration

Ref document number: 5627325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151