JP2011174891A - 位置姿勢計測装置、位置姿勢計測方法、及びプログラム - Google Patents
位置姿勢計測装置、位置姿勢計測方法、及びプログラム Download PDFInfo
- Publication number
- JP2011174891A JP2011174891A JP2010041001A JP2010041001A JP2011174891A JP 2011174891 A JP2011174891 A JP 2011174891A JP 2010041001 A JP2010041001 A JP 2010041001A JP 2010041001 A JP2010041001 A JP 2010041001A JP 2011174891 A JP2011174891 A JP 2011174891A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- target object
- invalid area
- dimensional
- distance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】3次元形状が既知である対象物体の3次元の位置姿勢を計測する位置姿勢計測装置であって、対象物体までの距離情報が画素値として保持された距離画像を撮像する撮像部と、距離画像から、撮像部と対象物体との距離情報が取得できない領域である無効領域を選別する選別部と、無効領域の特徴を示す特徴量を抽出する抽出部と、距離画像を撮像した時の撮像部と対象物体との相対的な位置姿勢を示す情報と、撮像部により複数の異なる方向から撮像された距離画像ごとの特徴量とを関連付けて記憶する記憶部と、抽出部により抽出された特徴量に対応する記憶部に記憶された特徴量を求めて、当該求められた特徴量と関連付けられた位置姿勢を示す情報から対象物体の3次元の概略位置姿勢を決定するする概略位置姿勢決定部と、を備える。
【選択図】 図2
Description
3次元形状が既知である対象物体の3次元の位置姿勢を計測する位置姿勢計測装置であって、
前記対象物体までの距離情報が画素値として保持された距離画像を撮像する撮像手段と、
前記距離画像から、前記撮像手段と前記対象物体との距離情報が取得できない領域である無効領域を選別する選別手段と、
前記無効領域の特徴を示す特徴量を抽出する抽出手段と、
前記距離画像を撮像した時の前記撮像手段と前記対象物体との相対的な位置姿勢を示す情報と、前記撮像手段により複数の異なる方向から撮像された前記距離画像ごとの前記特徴量とを関連付けて記憶する記憶手段と、
前記抽出手段により抽出された特徴量に対応する前記記憶手段に記憶された特徴量を求めて、
当該求められた特徴量と関連付けられた前記位置姿勢を示す情報から前記対象物体の3次元の概略位置姿勢を決定するする概略位置姿勢決定手段と、
を備えることを特徴とする。
第1実施形態では、対象物体までの距離情報が画素値として保持された距離画像の画素値が無効になっている領域を選別する。そして、複数の視点から撮影して検出した領域特徴を視点位置ごとに記述したモデルを登録したデータベースと照合することで、物体の概略位置姿勢を推定する方法を説明する。距離画像の画素値が無効になっている領域とは、対象物体の形状または反射特性の影響で距離値が取得できない領域(欠損領域)を意味する。以下、距離画像の画素値が無効になっている領域特徴を「2次元無効領域特徴」と称する。複数の視点から撮影して検出した領域特徴(2次元無効領域特徴)を視点の位置ごとに記述したモデルを「2次元無効領域特徴モデル」と称する。2次元無効領域特徴モデルを登録したデータベースを「2次元無効領域特徴データベース」と称する。
第2実施形態では、物体の概略位置姿勢が既知であると仮定し、より精度の高い物体の位置姿勢を推定する方法を説明する。処理は大きく2つに分けられる。なお、概略位置姿勢を算出してから精度の高い位置姿勢算出処理を行ってもよい。
第3の実施形態では、無効領域から抽出した特徴に加えて距離画像の距離値が有効な領域(以下、「有効領域」と称する。)から抽出した特徴を用いて位置姿勢を求める場合を説明する。
第4実施形態では、無効領域の特徴のみを用いた結果、無効領域と有効領域の両方の特徴を用いた結果、又は有効領域の特徴のみを用いた結果をそれぞれ比較することで、求められた位置姿勢の妥当性を評価する方法を説明する。
第5実施形態では、物体の識別子と共に無効領域の2次元特徴が記述された2次元特徴モデルが登録されている2次元特徴モデルデータベースを用いて、物体の認識を行う場合について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (8)
- 3次元形状が既知である対象物体の3次元の位置姿勢を計測する位置姿勢計測装置であって、
前記対象物体までの距離情報が画素値として保持された距離画像を撮像する撮像手段と、
前記距離画像から、前記撮像手段と前記対象物体との距離情報が取得できない領域である無効領域を選別する選別手段と、
前記無効領域の特徴を示す特徴量を抽出する抽出手段と、
前記距離画像を撮像した時の前記撮像手段と前記対象物体との相対的な位置姿勢を示す情報と、前記撮像手段により複数の異なる方向から撮像された前記距離画像ごとの前記特徴量とを関連付けて記憶する記憶手段と、
前記抽出手段により抽出された特徴量に対応する前記記憶手段に記憶された特徴量を求めて、
当該求められた特徴量と関連付けられた前記位置姿勢を示す情報から前記対象物体の3次元の概略位置姿勢を決定するする概略位置姿勢決定手段と、
を備えることを特徴とする位置姿勢計測装置。 - 前記特徴量は、前記距離画像における前記無効領域の位置、前記無効領域の重心の位置、又は前記無効領域の輪郭の位置の少なくとも1つを示す情報であることを特徴とする請求項1に記載の位置姿勢計測装置。
- 前記特徴量が前記無効領域の位置を示す情報である場合、
前記概略位置姿勢決定手段は、前記抽出手段により前記距離画像から抽出された無効領域の位置及び前記記憶手段に記憶された無効領域の位置が重複する領域の距離画像全体の領域に占める割合が最大となる無効領域の位置を示す情報を求めて、
当該求められた無効領域の位置を示す情報に関連付けられた対象物体の位置姿勢を示す情報から前記対象物体の概略位置姿勢を決定することを特徴とする請求項2に記載の位置姿勢計測装置。 - 前記特徴量が前記無効領域の重心の位置を示す情報である場合、
前記概略位置姿勢決定手段は、前記抽出手段により前記距離画像から抽出された無効領域の各重心の位置を示す情報と、前記記憶手段に記憶された無効領域の各重心の位置を示す情報とから、対応する重心間の距離の総和を算出し、
前記距離の総和が最小となる重心の位置を示す情報を求めて、
当該求められた重心の位置を示す情報に関連付けられた対象物体の位置姿勢を示す情報から前記対象物体の概略位置姿勢を決定することを特徴とする請求項2に記載の位置姿勢計測装置。 - 前記特徴量が前記無効領域の輪郭の位置を示す情報である場合、
前記概略位置姿勢決定手段は、前記抽出手段により前記距離画像から抽出された無効領域の輪郭を示す情報と、前記記憶手段に記憶された無効領域の輪郭を示す情報とに基づいて、前記記憶手段に記憶された無効領域の輪郭の位置を示す情報に関連付けられた対象物体の位置姿勢を示す情報から前記対象物体の概略位置姿勢を決定することを特徴とする請求項2に記載の位置姿勢計測装置。 - 前記撮像手段により撮像された距離画像における前記無効領域を、前記対象物体の3次元の形状を示す3次元形状モデル上に投影した3次元無効領域の位置、輪郭の位置、又は重心の位置の少なくとも1つを示す情報と、前記対象物体の位置姿勢を示す情報とを関連付けて登録する登録手段と、
前記概略位置姿勢決定手段により決定された前記対象物体の概略位置姿勢に対応する位置姿勢で前記登録手段に登録されている、3次元形状モデルを選択する選択手段と、
前記選択手段により選択された3次元形状モデルの3次元無効領域を前記距離画像と同じ画像面に射影する射影手段と、
前記射影手段により前記画像面に射影された無効領域と前記撮像手段により撮像された距離画像における無効領域とのそれぞれにおいて、無効領域の位置、輪郭の位置、又は重心の位置の少なくとも1つを構成する各点から、前記対象物体の前記概略位置姿勢からの変化量を算定する算定手段と、
前記概略位置姿勢と前記変化量とから前記対象物体の位置姿勢を決定する位置姿勢決定手段と、
をさらに備えることを特徴とする請求項3乃至5の何れか1項に記載の位置姿勢計測装置。 - 3次元形状が既知である対象物体の3次元の位置姿勢を計測する位置姿勢計測方法であって、
撮像手段が、前記対象物体までの距離情報が画素値として保持された距離画像を撮像する撮像工程と、
選別手段が、前記距離画像から、前記撮像工程と前記対象物体との距離情報が取得できない領域である無効領域を選別する選別工程と、
抽出手段が、前記無効領域の特徴を示す特徴量を抽出する抽出工程と、
記憶手段が、前記距離画像を撮像した時の前記撮像工程と前記対象物体との相対的な位置姿勢を示す情報と、前記撮像工程により複数の異なる方向から撮像された前記距離画像ごとの前記特徴量とを関連付けて記憶する記憶工程と、
概略位置姿勢決定手段が、前記抽出工程により抽出された特徴量に対応する前記記憶工程で記憶された特徴量を求めて、
当該求められた特徴量と関連付けられた前記位置姿勢を示す情報から前記対象物体の3次元の概略位置姿勢を決定するする概略位置姿勢決定工程と、
を有することを特徴とする位置姿勢計測方法。 - 請求項7に記載の位置姿勢計測方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041001A JP5462662B2 (ja) | 2010-02-25 | 2010-02-25 | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010041001A JP5462662B2 (ja) | 2010-02-25 | 2010-02-25 | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011174891A true JP2011174891A (ja) | 2011-09-08 |
JP2011174891A5 JP2011174891A5 (ja) | 2013-04-11 |
JP5462662B2 JP5462662B2 (ja) | 2014-04-02 |
Family
ID=44687862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010041001A Expired - Fee Related JP5462662B2 (ja) | 2010-02-25 | 2010-02-25 | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5462662B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042889A1 (ja) | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 送信装置及び送信方法 |
JP2018077837A (ja) * | 2016-10-28 | 2018-05-17 | Jfeスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
CN109754419A (zh) * | 2017-11-06 | 2019-05-14 | 株式会社日立制作所 | 位置推测系统 |
JP2021105862A (ja) * | 2019-12-26 | 2021-07-26 | ファナック株式会社 | 三次元データを補間する三次元データ生成装置及びロボットシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001143073A (ja) * | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定の方法 |
JP2002008012A (ja) * | 2000-06-26 | 2002-01-11 | National Institute Of Advanced Industrial & Technology | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 |
JP2004326314A (ja) * | 2003-04-23 | 2004-11-18 | Shimizu Corp | 3次元位置姿勢の画像推定方法 |
JP2006012178A (ja) * | 2005-07-15 | 2006-01-12 | Natl Inst For Land & Infrastructure Management Mlit | 駐車車両検知方法及び駐車車両検知システム |
-
2010
- 2010-02-25 JP JP2010041001A patent/JP5462662B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001143073A (ja) * | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定の方法 |
JP2002008012A (ja) * | 2000-06-26 | 2002-01-11 | National Institute Of Advanced Industrial & Technology | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 |
JP2004326314A (ja) * | 2003-04-23 | 2004-11-18 | Shimizu Corp | 3次元位置姿勢の画像推定方法 |
JP2006012178A (ja) * | 2005-07-15 | 2006-01-12 | Natl Inst For Land & Infrastructure Management Mlit | 駐車車両検知方法及び駐車車両検知システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042889A1 (ja) | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 送信装置及び送信方法 |
JP2018077837A (ja) * | 2016-10-28 | 2018-05-17 | Jfeスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
CN109754419A (zh) * | 2017-11-06 | 2019-05-14 | 株式会社日立制作所 | 位置推测系统 |
CN109754419B (zh) * | 2017-11-06 | 2023-03-10 | 株式会社日立制作所 | 位置推测系统 |
JP2021105862A (ja) * | 2019-12-26 | 2021-07-26 | ファナック株式会社 | 三次元データを補間する三次元データ生成装置及びロボットシステム |
JP7405607B2 (ja) | 2019-12-26 | 2023-12-26 | ファナック株式会社 | 三次元データを補間する三次元データ生成装置及びロボットシステム |
Also Published As
Publication number | Publication date |
---|---|
JP5462662B2 (ja) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP5393531B2 (ja) | 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体 | |
Veľas et al. | Calibration of rgb camera with velodyne lidar | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
Song et al. | CAD-based pose estimation design for random bin picking using a RGB-D camera | |
JP6004809B2 (ja) | 位置姿勢推定装置、情報処理装置、情報処理方法 | |
JP5839929B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
JP5863440B2 (ja) | 情報処理装置および方法 | |
US20120268567A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
Chen et al. | A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 | |
Wang et al. | Work area monitoring in dynamic environments using multiple auto-aligning 3-D sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5462662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |