JP2014202567A - 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム - Google Patents

位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム Download PDF

Info

Publication number
JP2014202567A
JP2014202567A JP2013078090A JP2013078090A JP2014202567A JP 2014202567 A JP2014202567 A JP 2014202567A JP 2013078090 A JP2013078090 A JP 2013078090A JP 2013078090 A JP2013078090 A JP 2013078090A JP 2014202567 A JP2014202567 A JP 2014202567A
Authority
JP
Japan
Prior art keywords
image
orientation
distance
measurement
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013078090A
Other languages
English (en)
Other versions
JP6180158B2 (ja
Inventor
大輔 渡邊
Daisuke Watanabe
大輔 渡邊
Original Assignee
キヤノン株式会社
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社, Canon Inc filed Critical キヤノン株式会社
Priority to JP2013078090A priority Critical patent/JP6180158B2/ja
Publication of JP2014202567A publication Critical patent/JP2014202567A/ja
Application granted granted Critical
Publication of JP6180158B2 publication Critical patent/JP6180158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】複数画像から生成した距離画像へのモデルフィッティングにおいて、撮像装置と計測対象との幾何関係に変化があった場合においても位置姿勢を高精度に計測する。【解決手段】位置姿勢計測装置1であって、対象物体のモデルデータを保持するモデル保持部190と、対象物体に距離計測用パターンを照射する照明部120と、距離計測用パターンが照射されていない対象物体を撮像して二次元画像を取得し、距離計測用パターンが照射された対象物体を撮像して距離計測用画像を取得する撮像部110と、複数の距離計測用パターンが撮像された距離計測用画像群から距離画像を生成する距離画像処理部140と、対象物体と撮像部との幾何関係の変化を検出する検出部150と、検出部150の検出結果に応じて、二次元画像および距離画像の少なくとも1つとモデルデータとに基づいて、対象物体の位置姿勢を算出する位置姿勢算出部200とを備える。【選択図】図1

Description

本発明は、位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラムに関し、特に三次元形状が既知である物体の位置姿勢を計測する技術に関する。
近年のロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このようなロボットは、ハンドなどのエンドエフェクタによって部品を把持して組立を行う。この組立には、把持対象となる部品とロボットのハンドとの間の相対的な位置姿勢を計測する必要がある。
位置姿勢を計測する方法として、カメラで撮像した濃淡画像やカラー画像(以下、総称して「二次元画像」と称する)上から検出される特徴データや、距離センサで画像について計測して得られた距離データに対して、物体の三次元形状モデルをあてはめるモデルフィッティングによる方法がある。二次元画像に対するモデルフィッティングでは、物体の位置姿勢に基づいて三次元形状モデルを画像上に投影したときの投影像が、検出された特徴に当てはまるように位置姿勢を計測する。距離データに対するモデルフィッティングでは、距離データを表現する距離画像の各点を、三次元座標を持つ三次元点群に変換し、三次元空間において三次元形状モデルが三次元点群に当てはまるように位置姿勢を計測する。
さらに、特許文献1では、二次元画像から得られる計測情報と、距離画像から得られる計測情報とを併用して位置姿勢計測する技術が開示されている。二次元画像上で画像特徴が検出されにくい平坦な部分では、距離画像が安定的に計測できる。一方、背景と物体との境界や面の切り替わりなど距離計測の精度が低い部分においては2次元画像上で特徴(エッジ)が多く検出される。そのため、両者を相補的に組み合わせて情報量を増やすことにより位置姿勢を高精度に計測することができる。
なお、距離データに対するモデルフィッティングにおいて利用するための距離データを得る方法として、複数の計測用パターンを計測対象物体に投影して撮像した画像(以下、「距離計測用画像」と称する)から各画素の距離値を求めることで距離画像を生成する方法がある。このような距離画像計測方法では、複数撮像した画像間での画素の対応に基づいて距離値を算出する。
特願2009−175387号公報
R. Y. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the- shelf TV cameras and lenses", IEEE Journal of Robotics and Automation, vol. RA-3, no.4, 1987. Z. Zhang, "A flexible new technique for camera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.11, pp.1330-1334, 2000 井口征士, 佐藤宏介『三次元画像計測』(昭晃堂, 1990)
しかしながら、距離画像を取得するには、計測対象物体が静止した状態で複数の計測用パターンを投影して撮像を行う必要があるため、通常の二次元画像の撮像に比べ、撮像処理に要する時間が必要計測枚数分だけ長くなる。したがって、この方法では、複数の撮像処理の間に、撮像装置と計測対象物体との幾何関係が変化すると、正しい画素の対応関係が求まらず、得られる距離画像の正確性に問題が生じることがある。
そのため、撮像装置が移動する場合や計測対象がベルトコンベア上を移動する場合には、信頼できる距離画像を得るのは難しい。このような状況で、距離画像の情報を利用した位置姿勢計測を行うと、計測精度が低下してしまう。
上記の課題に鑑み、本発明は、複数画像から生成した距離画像へのモデルフィッティングにおいて、複数の画像の撮像間に、撮像装置と計測対象との幾何関係に変化があった場合においても位置姿勢を高精度に計測することを目的とする。
上記の目的を達成する本発明に係る位置姿勢計測装置は、
対象物体のモデルデータを保持するモデル保持手段と、
前記対象物体に距離計測用パターンを照射する照明手段と、
前記距離計測用パターンが照射されていない前記対象物体を撮像して二次元画像を取得し、前記距離計測用パターンが照射された前記対象物体を撮像して距離計測用画像を取得する撮像手段と、
複数の前記距離計測用パターンがそれぞれ照射されて撮像された距離計測用画像群から距離画像を生成する距離画像処理手段と、
前記対象物体と前記撮像手段との幾何関係の変化を検出する検出手段と、
前記検出手段による検出結果に応じて、前記二次元画像および前記距離画像の少なくとも1つと前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出する位置姿勢算出手段と、
を備えることを特徴とする。
本発明によれば、複数画像から距離画像を取得して対象物体の位置姿勢計測を行う手法において、距離計測用画像の取得中に撮像装置と対象物体との位置関係に変化があった場合でも、高精度に計測を行うことができる。
第1実施形態に係る位置姿勢計測装置の構成を示す図。 第1実施形態に係る三次元形状モデルを説明する図。 第1実施形態に係る位置姿勢計測装置が実施する処理のフローチャート。 画像からのエッジ検出を説明する図。 線分の投影像と検出されたエッジとの関係を説明する図。 照明部が照射するコードパターンを説明する図。 第2実施形態に係る位置姿勢計測装置の構成を示す図。 第2実施形態に係る位置姿勢計測装置が実施する処理の手順を示すフローチャート。 第3実施形態に係る位置姿勢計測装置の構成を示す図。
(第1実施形態)
第1実施形態では、距離計測用画像取得の前後における、撮像領域上での動的変化の検出を行う。その後、検出結果に応じて、位置姿勢計測に距離画像を利用するかどうかを判定する。本実施形態では、撮像領域に動的変化があった場合には「二次元画像情報を利用したモデルフィッティング」、動的変化がなければ「距離画像情報(三次元点群)を利用したモデルフィッティング」をそれぞれ選択して物体の位置姿勢計測を行う。なお、本実施形態では、物体の概略の位置及び姿勢は既知であるものとする。
図1は、本実施形態に係る位置姿勢計測装置1の構成を示している。位置姿勢計測装置1は、撮像部110と、照明部120と、二次元画像処理部130と、距離画像処理部140と、動き検出部150と、モード選択・切替部160と、二次元画像特徴検出部170と、概略位置姿勢入力部180と、三次元形状モデル保持部190と、位置姿勢算出部200とを備えている。以下、位置姿勢計測装置1を構成する各部について説明する。
撮像部110は、二次元画像を撮像するカメラである。本実施形態では、撮像部110は、通常照明下での画像(以下、「二次元画像」)を撮像するとともに、距離計測用のパターンが照射された状態での画像(以下、「距離計測用画像」)の撮像も行う。本実施形態では、距離画像取得のためにN枚の距離計測用画像を撮像するものとし、これらの一連の距離計測用画像群に基づいて1枚の距離画像が生成されるものとする。また、距離計測用画像の撮像間における撮像領域と撮像装置との幾何関係の変化を検出するため、N枚の距離計測用画像の撮像の前後に一枚ずつ、通常照明下での二次元画像の撮像を行う。ここで、距離計測用画像の撮像前に取得した二次元画像を二次元画像A、距離計測用画像の撮像後に取得した二次元画像を二次元画像Bとする。撮像部110が撮像する二次元画像は二次元画像処理部130に入力され、距離計測用画像は距離画像処理部140に入力される。カメラの焦点距離や主点位置、レンズ歪みパラメータなどの内部パラメータは、例えば非特許文献1、非特許文献2に示される方法によって事前にキャリブレーションしておく。
照明部120は、距離計測用のパターンを計測対象物体に対して照射する。照明部120として、ここでは液晶プロジェクタを用いる。液晶プロジェクタでは、任意の2次元パターンを照射することが可能である。距離計測に必要な、液晶プロジェクタの内部パラメータ及びカメラに対する外部パラメータは、例えば非特許文献3に開示される方法により事前に校正しておく。ただし照明部120は、液晶プロジェクタに限るものではなく、距離計測用パターンを照射する照明装置であればいかなる照明装置であってもよい。例えば、DMD(デジタル・ミラー・デバイス)やLCOS(リキッド・クリスタル・オン・シリコン)を用いたプロジェクタであってもよい。本実施形態では、空間コード化法によって距離計測を行う。
空間コード化法では、図6に示すような複数のコードパターン(図6の例では、パターン1乃至パターン6)を計測対象物体に投影し、撮像された画像の各画素と照射されたパターンとの対応付けを行い、画素単位での距離計測を行う。ただし、距離計測方法はこれに限るものではなく、方向を変えたスリット光を時系列に投影することによって距離計測を行う光切断法であってもよい。
二次元画像処理部130は、撮像部110が撮像する二次元画像を取得して、動き検出部150および二次元画像特徴検出部170へ入力する。
距離画像処理部140は、撮像部110が撮像する距離計測用画像を取得して、三次元形状モデル(面)が距離画像から生成される三次元点群に当てはまるように位置姿勢を推定する上で、必要な処理を行う。具体的には、撮像部110が撮像するN枚の距離計測用画像群から1枚の距離画像を作成する。距離画像作成の処理の詳細については後述する。さらに作成された距離画像を位置姿勢算出部200へ入力する
動き検出部150は、距離計測用画像群を取得する前後で、計測対象物体と撮像装置との間の幾何関係に変化があったか否かを検出する。具体的には、撮像部110が距離計測用画像取得前に撮像した二次元画像Aと、距離計測用画像取得後に撮像した二次元画像Bとを比較して、距離計測用画像取得中の幾何関係の変化を検出する。なお、本実施形態では、計測対象物体の概略の位置および姿勢があらかじめわかっているものとして二次元画像Aの中から着目領域を設定し、二次元画像Bの同一領域と比較することでその領域内での幾何関係の変化を検出する。
まず、二次元画像Aにおいて着目領域の設定を行う。着目領域の設定は、たとえば、概略位置姿勢入力部180から入力される概略位置姿勢に基づいて計測対象物体を二次元画像Aの画像面上に投影し、計測対象物体の投影領域面に属する画素を着目領域とする。ただし、着目領域の指定方法はこの限りではない。たとえば、計測対象物体を画像面上に投影した領域のBounding Boxを着目領域としてもよいし、人手によってあらかじめ指定した領域であってもよい。あるいは二次元画像Aの画像全体であってもよい。
次に、設定された着目領域において、二次元画像Aと二次元画像Bとを利用して、計測対象物体と撮像装置との間の幾何関係の変化を検出する。幾何関係変化の検出には、たとえば二次元画像Aと二次元画像Bの着目領域における差分画像を用いる。画素(i,j)における二次元画像Aの画素値をA(i,j)、二次元画像Bの画素値をB(i,j)として、着目領域の各画素に対して差分C(i,j) = |A(i,j)−B(i,j)|求めることで差分画像Cを作成する。このときの画素値を0〜255として着目領域における差分画像の全画素値の平均値が閾値(たとえば、10)以上であった場合、着目領域に幾何関係の変化があったと判定する。ただし、幾何関係変化の検出方法はこの限りではない。たとえば、二次元画像Aと二次元画像Bとのオプティカルフローを求め、求まった対応のオプティカルフローのベクトル長の平均値が閾値(たとえば5pixel)以上であった場合は着目領域に変化があったと判定する。このほか、撮像装置と計測対象物体との間において、距離値の算出制度を低下させてしまうような幾何関係の変化を検出できる方法であればいかなる方法であってもかまわない。
モード選択・切り替え部160は、動き検出部150による幾何関係の変化の検出結果に応じて、位置姿勢算出部200が計測対象物体の位置姿勢を算出するモードを選択し切り替える。本実施形態では、「距離画像を利用して三次元形状モデルをあてはめる第1モード」と、「二次元画像を利用して三次元形状モデルをあてはめる第2モード」とを備えている。動き検出部150による検出の結果、着目領域上で幾何関係の変化が検出された場合は、距離画像の計測は信用できないものとし、「二次元画像を利用して三次元形状モデルをあてはめる第2モード」を利用する。これに対し、動き検出部150による検出の結果、着目領域上で幾何関係の変化が検出されなかった場合は、距離画像の計測結果を信用し、「距離画像を利用して三次元形状モデルをあてはめる第1モード」を利用する。
二次元画像特徴検出部170は、二次元画像処理部130から入力された二次元画像から画像特徴を検出する。本実施形態では画像特徴としてエッジを検出する。概略位置姿勢入力部180は、位置姿勢計測装置1に対する計測対象物体の位置及び姿勢の概略値を、動き検出部150および位置姿勢算出部200へ入力する。位置姿勢計測装置1には、位置及び姿勢の計測の基準となる三次元の座標系(基準座標系)が規定されているものとする。位置姿勢計測装置1に対する計測対象物体の位置及び姿勢とは、基準座標系における計測対象物体の位置及び姿勢を表す。本実施形態では、カメラ中心を原点とし、カメラの光軸をz軸とした座標系を基準座標系とする。
本実施形態では、位置姿勢計測装置1は時間軸方向に連続して計測を行うものとして、前回(前時刻)の計測値を概略の位置及び姿勢として用いる。しかしながら、位置及び姿勢の概略値の入力方法はこれに限るものではない。例えば、過去の位置及び姿勢の計測結果に基づいて位置及び姿勢の変化量を推定し、過去の位置及び姿勢と推定された変化量とから現在の位置及び姿勢を予測したものでもよい。また、計測対象物体が置かれているおおよその位置や姿勢があらかじめわかっている場合にはその値を概略値として用いる。
三次元形状モデル保持部190は、位置及び姿勢を計測する対象である計測対象物体の三次元形状モデルデータを保持する。本実施形態では、物体を線分と面から構成される三次元形状モデルとして記述する。位置姿勢算出手部200では、三次元形状モデル中の線分が二次元画像上のエッジに当てはまるように、そして、面が距離画像から得られる三次元点群に当てはまるように位置及び姿勢を推定する。
図2は、本実施形態における三次元形状モデルを説明する図である。三次元形状モデルは、点の集合及び各点を結んで構成される線分の集合によって定義される。図2(a)に示すように、計測対象物体10の三次元形状モデルは点P1〜点P14までの14点から構成される。また図2(b)に示すように、計測対象物体10の三次元形状モデルは線分L1〜線分L16により構成されている。図2(c)に示すように、点P1〜点P14は三次元座標値によって表される。また図2(d)に示すように、線分L1〜線分L16は、線分を構成する点のIDによって表される。さらに三次元形状モデルは、面の情報を保持する。各面は、各面を構成する点のIDによって表される。図2に示す三次元形状モデルでは、直方体を構成する6つの面の情報が記憶されている。
位置姿勢算出部200は、モード選択・切り替え部160により選択されて切り替えられたモードに基づいて、計測対象物体の位置姿勢を算出する。第1モードが選択された場合は、距離画像処理部140から入力された三次元点群に対して、三次元形状モデル保持部190に保持される三次元形状モデルをあてはめる。これらのあてはめによって、物体の位置姿勢を計測する。一方、第2モードが選択された場合は、二次元画像特徴検出部170により検出されて入力された画像特徴に対して、三次元形状モデル保持部190に保持される3次元形状モデルをあてはめる。このあてはめによって、計測対象物体の位置姿勢を計測する。
次に、図3のフローチャートを参照して、上述の構成を有する第1実施形態に係る位置姿勢計測装置1が実施する処理の手順を説明する。
(ステップS3010)
概略位置姿勢入力部180は、位置姿勢計測装置1(カメラ)に対する計測対象物体の位置姿勢の概略値を、動き検出部150および位置姿勢算出部200へ入力する。前述したように、本実施形態では、前の時刻において計測された位置姿勢を用いる。
(ステップS3020)
撮像部110は、通常照明下で計測対象物体の二次元画像Aを撮像する。ここで、通常照明とは、一般的な環境に配置されている蛍光灯などの照明であってもよいし、照明部120による同一色(例えば白色)の照明であってもよい。すなわち、距離計測などを目的とした特殊なパターンの照明以外の照明であればいかなる照明であってもよい。本ステップで撮像された二次元画像Aは、二次元画像処理部130へ入力される。なお、ここで取得した画像は、ステップS3080において二次元画像特徴検出部170が位置姿勢算出部200の位置姿勢算出時に利用する画像特徴を検出するために使用されると同時に、ステップS3050において動き検出部150が撮像領域の動的変化を検出する際にも使用される。
(ステップS3030)
撮像部110は、距離計測用画像の撮像を行う。本実施形態では空間コード化法による距離計測を行うことを想定しているため、異なるコードパターンを照射した複数の画像を撮像する必要がある。照明部120は図6に示すコードパターンを計測対象物体に照射する。
図6には6ビットのグレイコードパターンが示されている。照明部120はパターン1から順に各コードパターンを照射し、撮像部110は各コードパターンが照射されるごとに距離計測用画像を撮像する。撮像された距離計測用画像は距離画像処理部140へ入力される。この処理を、すべてのコードパターンを照射したときの画像が撮像されるまで、コードパターンを変更し、コードパターンを計測対象物体に照射して撮像を行う。なお、図6の例では、6ビットのコードパターンを利用するため、距離計測用画像を計6枚取得する。
(ステップS3040)
撮像部110は、通常照明下で計測対象物体の二次元画像Bを撮像する。本ステップでの処理自体はステップS3020の処理と同様である。ここで取得した二次元画像Bは、ステップS3050において動き検出部150が二次元画像Aとの比較から撮像領域の動的変化を検出する際に利用される。
(ステップS3050)
動き検出部150は、画像領域中の動き検出を行う。具体的にはステップS3020で取得した二次元画像Aと、ステップS3040で取得した二次元画像Bとの2つの画像間において、撮像領域中の幾何関係の変化を検出する。本実施形態では、二次元画像Aと二次元画像Bとの着目領域での差分画像を求め、差分画像の画素値が0〜255であったとして、平均画素値の絶対値が閾値(たとえば10)以上であった場合、着目領域に動きがあったと判定する。
(ステップS3060)
モード選択・切り替え部160は、ステップS3050における撮像領域の動的変化の検出結果に基づいて、位置姿勢算出部200が位置姿勢を計測する際のモードを選択し切り替える。第1モードは、「距離データから得られる計測情報(三次元点群)を利用してモデルフィッティングを行うモード」である。第2モードは、「二次元画像から得られる計測情報を利用してモデルフィッティングを行うモード」である。
ステップS3050において着目領域中で幾何関係の変化が検出された場合には、距離計測は正確に行われていないものとして第2モードを選択し、ステップS3080へ進む。この場合、第2モードで、計測精度が低い距離データを用いずに位置姿勢を計測するため、高精度で計測することができる。これに対し、ステップS3050において着目領域中で幾何関係の変化が検出されなかった場合には、距離計測は正確に行われているものとして第1モードを選択して、ステップS3070へ進む。
(ステップS3070)
距離画像処理部140は、ステップS3030において撮像された距離計測用画像群から距離画像を生成する。まず、各距離計測用画像に対して2値化処理を施して各画素を2値化する。2値化結果より、各画素にはnビット(ビット数は利用するコードパターン数となる。本実施形態では6ビットである)のコードが割り当てられる。このコードを2進コードに変換して照明パターンの画像座標と対応づけを行い、その対応関係と前述の構成パラメータに基づいて画素ごとの奥行き値を計算して距離画像を生成する。距離画像の各画素に対し画素位置に対応する視線ベクトルに奥行き値を乗算することにより、基準座標系における三次元座標を持つ三次元点群データに変換する。
(ステップS3080)
二次元画像特徴検出部170は、ステップS3020で入力された二次元画像上での画像特徴の検出を行う。本実施形態では、画像特徴としてエッジを検出する。エッジは濃度勾配の極値となる。
図4(a)および図4(b)は、本実施形態におけるエッジ検出を説明する図である。まず、ステップS3010において入力された計測対象物体の概略位置姿勢と校正済みの二次元画像処理部130の内部パラメータとを用いて、三次元形状モデルを構成する各線分の画像上への投影像を算出する。線分の投影像は画像上でも線分となる。次に、図4(a)に示すように、画像上で等間隔になるように投影された線分上に制御点を設定し、制御点ごとに、投影された線分の法線方向に1次元のエッジの検出を行う。エッジは画素値の濃度勾配の極値として検出されるため、図4(b)に示すように、複数のエッジが検出されることがある。本実施形態では、検出されるエッジのうち最も濃度勾配の大きいものを対応するエッジとする。
(ステップS3090)
位置姿勢算出部200は、ステップS3060において切り替えられた第1モードあるいは第2モードの何れかを利用して計測対象物体の位置姿勢を算出する。以下、第1モードでの計測対象物体の位置姿勢の算出手順、第2モードでの計測対象物体の位置姿勢の算出手順を順に説明する。
(第1モード)
位置姿勢算出部200は、ステップS3070で求められた三次元点群データとモデル面との対応に基づいて、位置及び姿勢を算出するための観測方程式を立式する。まず、点群データの各点とモデル面との対応付けを行う。ここでは、位置及び姿勢の概略値に基づいて三次元形状モデルもしくは点群データを座標変換し、点群データ中の各点につき、三次元空間における距離が最小のモデル面と対応付ける。
基準座標系における点群の三次元座標は、計測対象物体の位置及び姿勢sによって計測対象物体の座標系における三次元座標(x,y,z)に変換される。位置及び姿勢の概略値によって、点群データ中のある点が計測対象物体座標(x0,y0,z0)に変換されるとする。(x,y,z)は計測対象物体の位置及び姿勢により変化するものであり、(x0,y0,z0)の近傍で1次のテイラー展開によって式(1)のように近似できる。
点群データ中のある点に対応付けられた三次元形状モデルの面の、計測対象物体座標系における方程式をax+by+cz=e(a2+b2+c2=1、a,b,c,eは定数)とする。正しい位置及び姿勢sによって変換される(x,y,z)は、平面の方程式ax+by+cz=eを満たすと仮定する。式(1)を平面の方程式に代入すると式(2)が得られる。
ただし、q=ax0+by0+cz0(定数)とした。式(2)の観測方程式は対応付けが行われたすべての点群データについて立式することができるため、以下のようなΔsiに関する線形連立方程式を立てることができる。
ここで式(3)を式(4)のように表す。
式(4)の両辺に対して行列Jの一般化逆行列(JT・J)−1・JTを乗じることにより位置及び姿勢の補正値Δsを求め、当該補正値Δsを使用して位置及び姿勢の概略値を補正することで、計測対象物体の位置及び姿勢sを算出する。なお、以上述べた実施形態では位置及び姿勢の補正は一度しか行われないが、補正された位置及び姿勢の概略値に基づいて本ステップの処理をやり直すことで、位置及び姿勢の補正を反復してもよい。
次に、第2モードでの計測対象物体の位置姿勢の算出手順を説明する。
(第2モード)
位置姿勢算出部200は、ステップS3080で検出されたエッジに対して、モデル側のエッジとの対応を求める。ステップS3080の説明でも述べたように、本実施形態におけるエッジ検出方法はトップダウン型の方法であり、モデル側から対応するエッジを探索する方法であるため、検出と対応付けとが一度に行われる。次に、モデルの線分上の制御点と画像上のエッジとの対応に基づいて、位置及び姿勢を算出するための観測方程式を立式する。ここで、計測対象物体の位置及び姿勢を6次元ベクトルsで表す。
図5は、線分の投影像と検出されたエッジとの関係を説明する図である。図5では、画像の水平方向、垂直方向をそれぞれu軸、v軸としている。ある制御点の画像上での位置を(u0,v0)、該制御点が所属する線分の画像上での傾きをu軸に対する傾きθと表す。傾きθは、線分の両端の三次元座標をsの概略値(s0)に基づいて画像上に投影し、画像上での両端の座標を結んだ直線の傾きとして算出する。該線分の画像上での法線ベクトルは(sinθ,- cosθ)となる。また、該制御点の対応点(エッジ)の画像座標を(u’,v’)とする。ここで、点(u’,v’)を通り、傾きがθである直線(図5の破線)上の点(u,v)は、
と表せる(θは定数とする)。ここで、d = u’sinθ - v’cosθ(定数)である。制御点の画像上での位置は計測対象物体の位置及び姿勢により変化する。また、計測対象物体の位置及び姿勢の自由度は6自由度である。すなわちsは6次元ベクトルであり、計測対象物体の位置を表す3つの要素と、姿勢を表す3つの要素とからなる。姿勢を表す3つの要素は、例えばオイラー角による表現や、方向が原点を通る回転軸を表してノルムが回転角を表す三次元ベクトルなどによって表現される。位置及び姿勢により変化する制御点の画像座標(u,v)は(u0,v0)の近傍で1次のテイラー展開によって式(6)のように近似できる。但しΔsi(i=1,2,・・・,6)はsの各成分の微小変化を表す。
位置及び姿勢の概略値と実際の位置及び姿勢との差がそれほどないと仮定すると、正しいsによって得られる制御点の画像上での位置は式(5)が表す直線上にあると仮定できる。式(6)によって近似されるu、vを式(5)に代入することにより、観測方程式、式(7)が得られる。
ただし、r = u0sinθ- v0cosθ(定数)である。式(7)の観測方程式は対応付けが行われたすべての制御点について立式することができるため、以下の式(8)ようなΔsiに関する線形連立方程式を立てることができる。
この連立方程式に対して式(3)、式(4)と同様の方法により、位置および姿勢の補正値を求めて位置および姿勢の概略値を補正することにより、計測対象物体の位置及び姿勢sを算出する。
以上説明したように、本実施形態では、距離計測用画像群の撮像前後に撮像した2つの二次元画像から計測対象物体と撮像装置との相対的な幾何関係の変化を検出し、検出結果に応じて位置姿勢計測の方法を選択した。距離画像が正確に撮像されていないと想定される状況には、位置姿勢計測時に距離画像を用いず、二次元画像の情報を利用して位置姿勢計測することで、精度の高い計測を可能にしている。
[変形例]
第1実施形態では、「距離画像情報(三次元点群)を利用したモデルフィッティング」と、「二次元画像情報(画像特徴)を利用したモデルフィッティング」とのうちいずれかを選択して物体の位置姿勢計測を行った。この変形例として、距離計測用画像群の取得中において幾何関係の変化が検出されなかった場合には、「二次元画像情報(画像特徴)と距離画像情報(三次元点群)を併用してモデルあてはめを行う第3モード」により物体の位置姿勢計測を行ってもよい。この場合、距離画像の情報と二次元画像の情報とを共に利用することで、より高精度な位置姿勢計測が可能となる。なお、基本的な構成や処理の流れは第1実施形態と同様のため、詳細な説明は省略する。本変形例では、「二次元画像情報(画像特徴)を利用してモデルあてはめを行う第2モード」と、「二次元画像情報(画像特徴)と距離画像情報(三次元点群)を併用してモデルあてはめを行う第3モード」とを備えることになる。
モード選択・切り替え部160は、動き検出部150により撮像装置と計測対象物体との幾何関係の変化が検出された場合は第2モード、検出されなかった場合は第3モードを選択する。位置姿勢算出部200は、第2モードが選択された場合は、第1実施形態と同様の処理を行う。第3モードが選択された場合は、距離画像処理部140から入力された三次元点群、および二次元画像特徴検出部170により検出されて入力された画像特徴に対して、三次元形状モデル保持部190に保持される三次元形状モデルをそれぞれあてはめる。
次に、第3モードでの計測対象物体の位置姿勢の算出手順を説明する。
(第3モード)
位置姿勢算出部200は、ステップS3070で求めた距離画像点群と、モデル面との対応から第1モードと同様に式(3)を立式する。また、ステップS3080で求めた二次元画像エッジと、モデル側のエッジとの対応から、第2モードと同様に式(8)を立式する。ここで、式(3)、式(8)はsの各成分の微小変化Δsi(i=1,2,・・・,6)についての方程式であるため、式(9)のようなΔsiに関する線形連立方程式を立てることができる。
この連立方程式を解くことによって、位置姿勢の補正値Δsiが得られる。補正値Δsiを用いて位置及び姿勢の概略値を補正することによって最終的な位置姿勢を算出する。ところで、式(9)の右辺の値は、エッジについては画像上での符号付距離、点群については三次元空間中での符号付距離であるため、尺度が一致していない。そこで、画像上での誤差にエッジの奥行きを乗じることにより三次元空間中の誤差に近似する。具体的には、エッジについての方程式の両辺に、エッジの奥行きを乗じることによって尺度を三次元空間中の距離に統一する。二次元画像からは奥行き情報を得ることはできないため、エッジの奥行きは何らかの近似的な方法により求める必要がある。ここでは、位置及び姿勢の概略値によって算出された各制御点の奥行きを、画像上の誤差に乗じることによって三次元空間中の誤差に変換する。このとき、解くべき連立方程式は式(10)のようになる。
ここで、z、z…は各エッジの奥行きを表している。なお、奥行きz、z…の代わりに、三次元空間中の制御点から画像面におけるエッジを通過する視線ベクトルに対して下ろした垂線の長さとなるようなスケーリング係数を乗じてもよい。この連立方程式に対して式(3)、式(4)と同様の方法で、位置および姿勢の補正値を求めて位置および姿勢の概略値を補正することにより、計測対象物体の位置及び姿勢sを算出する。
(第2実施形態)
第1実施形態では、全距離計測用画像の取得を一続きの処理としてまとめて行い、その前後における撮像装置と計測対象との幾何関係の変化を検出して距離画像を使用するかどうかを判定した。
これに対し、第2実施形態では、N枚の距離計測用画像の取得において、距離計測用画像を一枚取得するごとに逐一幾何関係の変化を検出する。変化が検出された場合、その時点で以後の距離計測は行わず、二次元画像のみを利用して位置姿勢を計測する第1モードへと切り替える。
図7は、本実施形態に係る位置姿勢計測装置2の構成を示している。基本的な構成は図1に示される位置計測装置1の構成と同様である。位置姿勢計測装置2は、撮像部710と、照明部720と、二次元画像処理部730と、距離画像処理部740と、動き検出部750と、モード選択・切替部760と、二次元画像特徴検出部770と、概略位置姿勢入力部780と、三次元形状モデル保持部790と、位置姿勢算出部800とを備えている。第1実施形態との違いは、撮像部710の処理、動き検出部750の処理、およびモード選択・切替部760の処理にある。撮像部710は、距離画像生成に必要な距離計測用画像を取得する。ただし、全画像の取得を一続きの処理として行うのではなく、距離計測用画像を一枚取得するごとに動き検出部750が動き検出を行う。また、モード選択・切替部760は、距離計測用画像を一枚取得する度に逐一行われる動き検出の結果に基づいて、使用するモードを切り替えるとともに、その後の距離計測用画像の撮像を行うか否かを判定する。
次に、図8のフローチャートを参照して、上述の構成を有する第2実施形態に係る位置姿勢計測装置2が実施する処理の手順を説明する。ただし、ステップS8010、S8020、S8080、S8090、およびS8100の各処理は、それぞれ第1実施形態におけるステップS3010、S3020、S3070、S3080、およびS3090の各処理と同様の処理を行うため、説明を省略する。
(ステップS8030)
撮像部710は、距離計測用画像の撮像を1枚行う。本実施形態では、距離計測用画像を一枚取得するごとに、逐一動き検出を行う。したがって、図6に示すコードパターンのうち、パターン1から順に、1つのコードパターンを照射した画像を1枚だけ撮像する。次のコードパターンを照射した画像を撮像するか否かはこの後の処理により判定される。
(ステップS8040)
撮像部710は、通常照明下で計測対象物体の二次元画像Bを撮像する。処理自体はステップS8020と同様である。本実施形態では、距離計測用画像が1枚撮像されるごとに二次元画像Bを取得して更新する。ここで取得した二次元画像Bは、ステップS8050において動き検出部750が二次元画像Aとの比較から撮像領域の動的変化を検出する際に利用される。
(ステップS8050)
動き検出部750は、画像領域中の動き検出を行う。具体的にはステップS8020で取得した二次元画像Aと、ステップS8040で取得した二次元画像Bとの2つの画像間において、撮像領域中の幾何関係の変化を検出する。処理の内容はステップS3050の処理と同様であるため説明を省略する。
ただし、より短い時間間隔での幾何関係の変化を検出するため、距離計測用画像を取得する前後に取得した二次元画像を用いて動き検出を行ってもよい。具体的には、1枚目の距離計測用画像を撮像したときのみ、二次元画像Aと二次元画像Bとを用いて動き検出を行い、それ以後は、1つ前の距離計測用画像取得後に撮像した二次元画像Bを二次元画像B’として、二次元画像Bと二次元画像B’とを用いて動き検出を行ってもよい。
(ステップS8060)
モード選択・切替部760は、ステップS8050 における撮像領域の動的変化の検出結果に基づいて、この後の距離計測用画像の撮像を行うかどうかを判定するとともに、位置姿勢算出部800が位置姿勢計測を行う際のモードを選択し切り替える。各モードは第1実施形態と同様である。まず、初期モードは第1モードとする。ステップS8050の結果、画像領域中である一定量以上の動きが観測された場合には、その時点で距離計測は正確に行われていないものと判定する。
この場合、それ以後の距離計測用画像の取得は行わない。したがって、撮像に伴う次のコードパターンの照射や撮像、距離画像生成処理は実施されない。これと同時に、第1モードから、第2モードに切り替え、ステップS8090へ進む。これに対し、観測された動的変化が一定量未満の場合は、第1モードを維持したまま、ステップS8070へ進む。なお、本実施形態においても、第1実施形態の変形例と同様に、第1モードの代わりに第3モードを使用してもよい。
(ステップS8070)
距離画像処理部740は、すべてのコードパターンを照射したときの画像が撮像されることによりすべての距離計測用画像が撮像されたか否かを判定する。すべての距離計測用画像が撮像されたと判定された場合(S8070;YES)、ステップS8080へ進む。一方、まだすべての距離計測用画像が撮像されていないと判定された場合(S8070;NO)、ステップS8030に戻って、コードパターンを変更し、次のコードパターンを計測対象物体に照射して撮像を行う。
以上説明したように、第2実施形態では、距離計測用画像の取得を行う度に逐一幾何関係の変化を検出する。距離計測用画像の撮像精度が低下したと判断された時点でその後の距離計測用画像の撮像を行わないため、位置姿勢計測全体の処理が効率化される。また、精度が低下した距離画像は使用せずに位置姿勢を計測するため、計測の高精度化も可能となる。
(第3実施形態)
第1実施形態および第2実施形態では、距離計測用画像の撮像の前後に撮像した二次元画像に基づいて、撮像装置と計測対象との幾何関係の変化を検出し、距離画像を使用するかどうかを判定した。
これに対し、第3実施形態では、撮像装置に対して動きを検出するためのセンサを取り付けておき、距離計測用画像の取得時にセンサの値を参照することで、撮像装置と計測対象との幾何関係の変化を検出する。図9は、本実施形態に係る位置姿勢計測装置3の構成を示している。基本的な構成は図1に示される位置計測装置1の構成と同様である。位置姿勢計測装置3は、撮像部910と、照明部920と、二次元画像処理部930と、距離画像処理部940と、動き検出部950と、モード選択・切替部960と、二次元画像特徴検出部970と、概略位置姿勢入力部980と、三次元形状モデル保持部990と、位置姿勢算出部1000とを備えている。第1実施形態との違いは、撮像部910の処理および動き検出部950の処理にある。
撮像部910は、距離計測用画像の取得を行うと同時に、撮像が行われた時刻tを動き検出部950に入力する。
動き検出部950は、撮像部910の入力する時刻tにおいて、撮像装置と計測対象との幾何関係が変化しているかどうかを判定して動きを検出する。幾何関係の変化の検出には、たとえば、撮像装置に対してジャイロセンサを取り付けておき、センサの出力値を利用する。なお、撮像装置がロボット(ハンド)に取り付けられているような場合には、撮像装置の代わりにロボットに対してジャイロセンサを取り付けてもよい。時刻tにおいてジャイロセンサの出力する3軸の角速度をそれぞれ、θx、θy、θzとして、これらの値のどれか一つでも閾値(たとえば1deg/s)以上であった場合は、撮像装置と計測対象物体との幾何関係が変化していると判定する。あるいは、センサを撮像装置に対してだけでなく、撮像領域(たとえば計測対象物体の乗った台)にも取り付けておき、双方の出力値を利用してもよい。時刻tにおいて、撮像装置、撮像領域の双方に取り付けた各センサの出力する3軸の角速度成分のうち、一つでも閾値以上のものがあった場合は、撮像装置と計測対象との幾何関係が変化していると判定する。
ただし、幾何関係の変化の検出方法はこの限りではない。たとえば、ジャイロセンサの代わりに加速度センサを用いても同様の方法で動き検出が可能である。あるいは、位置姿勢センサを利用して、2つの時刻における位置姿勢を比較することで動きを検出してもよい。位置姿勢センサを用いる場合には、距離計測用画像の取得前の時刻t1、取得後の時刻をt2として、2つの時刻における撮像装置の位置姿勢をそれぞれ取得しておき、2つの時刻での撮像装置の位置姿勢を比較して幾何関係の変化を検出する。
たとえば、時刻t1における位置、姿勢をT1、R1、時刻t2における位置、姿勢をT2、R2とする。このとき、T1とT2との差分の長さをΔT、姿勢R1とR2の差分の大きさをΔθとして、ΔTもしくはΔθのどちらか一方でも閾値(たとえばΔt:1cm、Δθ:3度)以上であった場合は、撮像装置と計測対象物体との幾何関係に変化があったと判定する。このほかにも、距離計測用画像を複数取得する間の撮像装置と計測対象物体との幾何関係の変化を検出できる方法であればいかなる方法であってもかまわない。
なお、本実施形態における位置姿勢計測の処理手順は、図3のフローチャートで説明した処理手順と同様である。ただし、本実施形態では、S1020 、S1040 において、二次元画像の取得と同時に、上述したようにセンサの値を取得する。また、S1050では、取得したセンサの値から幾何関係の変化を検出する。その他の処理は第1実施形態と同様であるため、説明を省略する。
また、第2実施形態と同様に、距離計測用画像を1枚取得する度に上で述べたような方法で撮像装置と計測対象物体との幾何関係の変化を検出し、変化が検出された時点でモードを切り替え、その後の距離計測用画像の取得を中止してもよい。
以上説明したように、第3実施形態では、撮像装置あるいは撮像対象に対して取り付けたセンサの情報を利用することで幾何関係の変化を検出し、距離画像が信頼できない場合には、距離画像を使用せずに位置姿勢計測を行うことで高精度に位置姿勢を計測することができる。
なお、これまで述べたように位置姿勢計測を行うモードを排他的に切り替えるのではなく、状況に応じて連続的に切り替えてもよい。その場合、第1実施形態における第3モードで説明した式(10)のスケーリング係数を操作することで、モードを連続的に切り替えることになる。
また、ユーザが操作することができるユーザインタフェース(入力受付部)を利用してモードを切り替えてもよい。ユーザインタフェースは、ディスプレイ画面に表示したGUIメニューや、ハードウェアスイッチで構成してもよい。
また、対象物体の計測を行う状況に応じて、システムが自動的に切り替えを行うのではなく、ディスプレイ画面上でどのモードが望ましいか示唆してくれるように構成してもよい。この場合、ユーザはユーザインタフェースを利用してモードを選択することができる。
また、ユーザに対して現在どのモードでシステムが動いているか提示してもよい。提示は、ディスプレイ画面に表示してもよいし、ランプやLEDなどでハードウェア的に提示してもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

  1. 対象物体のモデルデータを保持するモデル保持手段と、
    前記対象物体に距離計測用パターンを照射する照明手段と、
    前記距離計測用パターンが照射されていない前記対象物体を撮像して二次元画像を取得し、前記距離計測用パターンが照射された前記対象物体を撮像して距離計測用画像を取得する撮像手段と、
    複数の前記距離計測用パターンがそれぞれ照射されて撮像された距離計測用画像群から距離画像を生成する距離画像処理手段と、
    前記対象物体と前記撮像手段との幾何関係の変化を検出する検出手段と、
    前記検出手段による検出結果に応じて、前記二次元画像および前記距離画像の少なくとも1つと前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出する位置姿勢算出手段と、
    を備えることを特徴とする位置姿勢計測装置。
  2. 前記位置姿勢算出手段は、
    前記検出手段により前記変化が検出された場合、前記二次元画像と前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出し、
    前記検出手段により前記変化が検出されなかった場合、前記距離画像と前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出する
    ことを特徴とする請求項1に記載の位置姿勢計測装置。
  3. 前記位置姿勢算出手段は、前記検出手段により前記変化が検出されなかった場合、前記二次元画像および前記距離画像と前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出することを特徴とする請求項2に記載の位置姿勢計測装置。
  4. 前記検出手段は、前記撮像手段により前記距離計測用画像群が取得される前後に前記撮像手段により取得された複数の二次元画像に基づいて、前記幾何関係の変化を検出することを特徴とする請求項1乃至3の何れか1項に記載の位置姿勢計測装置。
  5. 前記検出手段は、前記撮像手段により前記距離計測用画像群のうち1つの距離計測用画像が取得される前後に前記撮像手段により取得された複数の二次元画像に基づいて、前記幾何関係の変化を検出することを特徴とする請求項1乃至3の何れか1項に記載の位置姿勢計測装置。
  6. 前記撮像手段の前記対象物体に対するを検出するセンサをさらに備え、
    前記検出手段は、前記センサを参照して前記幾何関係の変化を検出することを特徴とする請求項1乃至3の何れか1項に記載の位置姿勢計測装置。
  7. ユーザからの入力を受け付ける入力受付手段をさらに備え、
    前記位置姿勢算出手段は、前記入力受付手段による入力に応じて、
    前記距離画像と前記モデルデータとに基づいて前記位置姿勢を算出する第1モードと、 前記二次元画像と前記モデルデータとに基づいて前記位置姿勢を算出する第2モードと、
    前記二次元画像および前記距離画像と前記モデルデータとに基づいて前記位置姿勢を算出する第3モードと、
    を切り替えて前記対象物体の位置姿勢を算出することを特徴とする請求項1に記載の位置姿勢計測装置。
  8. 前記位置姿勢算出手段が、
    前記距離画像と前記モデルデータとに基づいて前記位置姿勢を算出する第1モードと、 前記二次元画像と前記モデルデータとに基づいて前記位置姿勢を算出する第2モードと、
    前記二次元画像および前記距離画像と前記モデルデータとに基づいて前記位置姿勢を算出する第3モードと、
    の何れのモードで前記対象物体の位置姿勢を算出しているかをユーザへ提示する提示手段をさらに備えることを特徴とする請求項1乃至7の何れか1項に記載の位置姿勢計測装置。
  9. 対象物体のモデルデータを保持するモデル保持手段と、前記対象物体に距離計測用パターンを照射する照明手段と、撮像手段と、距離画像処理手段と、検出手段と、位置姿勢算出手段とを備える位置姿勢計測装置の制御方法であって、
    前記撮像手段が、前記距離計測用パターンが照射されていない前記対象物体を撮像して二次元画像を取得し、前記距離計測用パターンが照射された前記対象物体を撮像して距離計測用画像を取得する撮像工程と、
    前記距離画像処理手段が、複数の前記距離計測用パターンがそれぞれ照射されて撮像された距離計測用画像群から距離画像を生成する距離画像処理工程と、
    前記検出手段が、前記対象物体と前記撮像手段との幾何関係の変化を検出する検出工程と、
    前記位置姿勢算出手段が、前記検出工程による検出結果に応じて、前記二次元画像および前記距離画像の少なくとも1つと前記モデルデータとに基づいて、前記対象物体の位置姿勢を算出する位置姿勢算出工程と、
    を有することを特徴とする位置姿勢計測装置の制御方法。
  10. 請求項1乃至8の何れか1項に記載の位置姿勢計測装置の各手段としてコンピュータを機能させるためのプログラム。
JP2013078090A 2013-04-03 2013-04-03 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム Active JP6180158B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013078090A JP6180158B2 (ja) 2013-04-03 2013-04-03 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013078090A JP6180158B2 (ja) 2013-04-03 2013-04-03 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014202567A true JP2014202567A (ja) 2014-10-27
JP6180158B2 JP6180158B2 (ja) 2017-08-16

Family

ID=52353130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013078090A Active JP6180158B2 (ja) 2013-04-03 2013-04-03 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6180158B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186469A (ja) * 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN106338261A (zh) * 2016-09-13 2017-01-18 湖北航天技术研究院总体设计所 一种两束干涉仪出射平面波光束间角度偏差标定方法
WO2020148899A1 (ja) * 2019-01-18 2020-07-23 三菱電機株式会社 レーダ装置および位置姿勢計測方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207324A (ja) * 2002-01-16 2003-07-25 Olympus Optical Co Ltd 3次元情報取得装置及び3次元情報取得方法
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2012021958A (ja) * 2010-07-16 2012-02-02 Canon Inc 位置姿勢計測装置、その計測処理方法及びプログラム
WO2012146253A1 (en) * 2011-04-29 2012-11-01 Scape Technologies A/S Pose estimation and classification of objects from 3d point clouds

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003207324A (ja) * 2002-01-16 2003-07-25 Olympus Optical Co Ltd 3次元情報取得装置及び3次元情報取得方法
JP2006292385A (ja) * 2005-04-05 2006-10-26 Hiroshima Univ 視覚情報処理システム及びその視覚情報処理方法
JP2012021958A (ja) * 2010-07-16 2012-02-02 Canon Inc 位置姿勢計測装置、その計測処理方法及びプログラム
WO2012146253A1 (en) * 2011-04-29 2012-11-01 Scape Technologies A/S Pose estimation and classification of objects from 3d point clouds

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186469A (ja) * 2015-03-27 2016-10-27 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN106338261A (zh) * 2016-09-13 2017-01-18 湖北航天技术研究院总体设计所 一种两束干涉仪出射平面波光束间角度偏差标定方法
WO2020148899A1 (ja) * 2019-01-18 2020-07-23 三菱電機株式会社 レーダ装置および位置姿勢計測方法
JPWO2020148899A1 (ja) * 2019-01-18 2021-04-01 三菱電機株式会社 レーダ装置および位置姿勢計測方法

Also Published As

Publication number Publication date
JP6180158B2 (ja) 2017-08-16

Similar Documents

Publication Publication Date Title
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP5612916B2 (ja) 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
US9279661B2 (en) Information processing apparatus and information processing method
JP5567908B2 (ja) 3次元計測装置、その計測方法及びプログラム
JP5839971B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6092530B2 (ja) 画像処理装置、画像処理方法
US20130230235A1 (en) Information processing apparatus and information processing method
JP5393318B2 (ja) 位置姿勢計測方法及び装置
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6317618B2 (ja) 情報処理装置およびその方法、計測装置、並びに、作業装置
JP6370038B2 (ja) 位置姿勢計測装置及び方法
JP2015106287A (ja) キャリブレーション装置及び方法
US10502557B2 (en) Method for the three dimensional measurement of a moving objects during a known movement
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2019168473A (ja) 位置姿勢計測装置及び方法
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
JP6285765B2 (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170718

R151 Written notification of patent or utility model registration

Ref document number: 6180158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151