JP2015111128A - 位置姿勢計測装置、位置姿勢計測方法、およびプログラム - Google Patents
位置姿勢計測装置、位置姿勢計測方法、およびプログラム Download PDFInfo
- Publication number
- JP2015111128A JP2015111128A JP2014257828A JP2014257828A JP2015111128A JP 2015111128 A JP2015111128 A JP 2015111128A JP 2014257828 A JP2014257828 A JP 2014257828A JP 2014257828 A JP2014257828 A JP 2014257828A JP 2015111128 A JP2015111128 A JP 2015111128A
- Authority
- JP
- Japan
- Prior art keywords
- point
- target object
- image
- distance
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】対象物体の2次元画像を取得する画像取得部と、対象物体の距離画像を取得する距離画像取得部と、距離画像の計測不能領域を対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出部と、対象物体の位置姿勢の概略値に基づいて3次元モデルを2次元画像上に投影する投影部と、投影された線分を構成する点とエッジを構成する点とを組として対応付ける対応付け部と、エッジを構成する点が被遮蔽領域内に存在するか否かを判定する判定部と、存在する場合の組が位置姿勢計測に用いられる重み係数を、存在しない場合の重み係数よりも小さく設定する設定部と、対応付けられた線分を構成する点とエッジを構成する点との距離に重み係数を乗じた値の総和が最小となる位置姿勢を計測する計測部と、を備える。
【選択図】図3
Description
前記対象物体の3次元形状情報を含む3次元モデルを保持する保持手段と、
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記対象物体の距離画像を取得する距離画像取得手段と、
前記距離画像において前記対象物体までの距離値が計測できない計測不能領域を、前記2次元画像において前記対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出手段と、
前記対象物体の位置および姿勢の概略値に基づいて、前記3次元モデルを構成する線分を前記2次元画像上に投影する投影手段と、
前記投影手段により投影された投影線分を構成する点と、前記2次元画像上のエッジを構成する点とを組として対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記2次元画像上のエッジを構成する点が前記被遮蔽領域の範囲内に前記2次元画像上のエッジを構成する点が存在するか否かを判定する判定手段と、
前記判定手段により前記被遮蔽領域の範囲内に存在すると判定された場合に、前記組に対して、前記被遮蔽領域の範囲内に存在しないと判定された場合よりも小さな重み係数を設定する設定手段と、
前記対応付け手段により対応付けられた前記投影線分を構成する点と、前記2次元画像上のエッジを構成する点との、前記2次元画像上における距離に前記重み係数を乗じた値の総和が最小となる位置および姿勢を前記対象物体の位置および姿勢として計測する位置姿勢計測手段と、
を備えることを特徴とする。
本実施形態では、物体を撮影した画像に既知である物体の3次元形状モデルをフィッティングすることによって物体の位置姿勢を推定する位置姿勢計測装置について説明する。3次元モデルの3次元形状情報が既知である対象物体の位置および姿勢を計測する。以下、位置姿勢を推定する対象となる物体を「計測対象物体」と称する。
第1実施形態では、被遮蔽領域内の対応点については一様に位置姿勢推定計算への重み係数を比較的低く設定した。しかし、誤った対応点が検出される可能性は被遮蔽領域内で一様ではなく、影の先端部(たとえば、図1の例では線分105b上)で誤った対応点が検出される可能性が特に高い。
第1実施形態および第2実施形態の方法は、計測対象物体の位置姿勢推定において被遮蔽領域の悪影響を軽減する方法である。しかし、本発明の方法が適用できるのは位置姿勢推定に限定されず、位置属性を持つ画像特徴を用いる任意の画像処理に適用できる。
上述の実施形態では、モデルフィッティングやマッチング処理における重み係数を低く設定したり、処理対象から除外する対象となる対応が存在する領域(被遮蔽領域、影先端部、遮蔽領域・被遮蔽領域境界)を、対応の探索処理に先立って抽出したりしている。しかしながら、探索された対応の候補がこれらの領域内あるいは近傍に存在するか否かを逐一判定してもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
対象物体の3次元形状情報を含む3次元モデルを保持する保持手段と、
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記2次元画像において前記対象物体に照射される照明が遮蔽される影領域の先端部と、前記影領域ではない非影領域との境界領域である、影先端境界領域を特定する特定手段と、
前記特定手段により特定された影先端境界領域と、前記対象物体の位置および姿勢の概略値とに基づいて、前記3次元モデルから抽出される第1の幾何特徴と、該第1の幾何特徴に対応する、前記2次元画像上の第2の幾何特徴とを対応付ける対応付け手段と、
前記対応付け手段により対応づけられた前記第1の幾何特徴と前記第2の幾何特徴とのずれが小さくなるように前記概略値を補正することにより、前記対象物体の位置および姿勢を計測する位置姿勢計測手段と、
を備えることを特徴とする。
Claims (8)
- 対象物体の3次元形状情報を含む3次元モデルを保持する保持手段と、
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記対象物体の距離画像を取得する距離画像取得手段と、
前記距離画像において前記対象物体までの距離値が計測できない計測不能領域を、前記2次元画像において前記対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出手段と、
前記対象物体の位置および姿勢の概略値に基づいて、前記3次元モデルを構成する線分を前記2次元画像上に投影する投影手段と、
前記投影手段により投影された投影線分を構成する点と、前記2次元画像上のエッジを構成する点とを組として対応付ける対応付け手段と、
前記対応付け手段により対応付けられた前記2次元画像上のエッジを構成する点が前記被遮蔽領域の範囲内に存在するか否かを判定する判定手段と、
前記判定手段により前記被遮蔽領域の範囲内に存在すると判定された場合に、前記組に対して、前記被遮蔽領域の範囲内に存在しないと判定された場合よりも小さな重み係数を設定する設定手段と、
前記対応付け手段により対応付けられた前記投影線分を構成する点と、前記2次元画像上のエッジを構成する点との、前記2次元画像上における距離に前記重み係数を乗じた値の総和が最小となる位置および姿勢を前記対象物体の位置および姿勢として計測する位置姿勢計測手段と、
を備えることを特徴とする位置姿勢計測装置。 - 前記被遮蔽領域の輪郭を抽出する輪郭抽出手段と、
前記輪郭を構成する第1の点を選択する選択手段と、
前記被遮蔽領域外であって前記第1の点との距離が最も近い位置にある第2の点を探索する第1探索手段と、
前記輪郭と、前記第1の点を通るエピポーラ線との他の交点となる第3の点を検出する検出手段と、
前記被遮蔽領域外であって前記第2の点との距離が最も近い位置にある第4の点を探索する第2探索手段と、
前記第2の点に対応する前記距離画像上の距離値と、前記第4の点に対応する前記距離画像上の距離値とのいずれが大きいかを判別する判別手段と、をさらに備え、
前記設定手段は、前記判別手段により前記第2の点に対応する前記距離画像上の距離値が大きいと判別された場合、前記第1の点に対する、前記対応付け手段により対応付けられた前記組の前記重み係数をさらに小さく設定することを特徴とする請求項1に記載の位置姿勢計測装置。 - 対象物体の3次元形状情報を含む3次元モデルを保持する保持手段と、
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記対象物体の距離画像を取得する距離画像取得手段と、
前記距離画像において前記対象物体までの距離値が計測できない計測不能領域を、前記2次元画像において前記対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出手段と、
前記対象物体の位置および姿勢の概略値に基づいて、前記3次元モデルを構成する線分を前記2次元画像上に投影する投影手段と、
前記投影手段により投影された投影線分を構成する点と、前記2次元画像上のエッジを構成する点とを組として対応付ける対応付け手段と、
前記被遮蔽領域の輪郭を抽出する輪郭抽出手段と、
前記輪郭を構成する第1の点を選択する選択手段と、
前記被遮蔽領域外であって前記第1の点との距離が最も近い位置にある第2の点を探索する第1探索手段と、
前記輪郭と、前記第1の点を通るエピポーラ線との交点となる第3の点を算出する算出手段と、
前記被遮蔽領域外であって前記第2の点との距離が最も近い位置にある第4の点を探索する第2探索手段と、
前記第2の点に対応する前記距離画像上の距離値と、前記第4の点に対応する前記距離画像上の距離値とのいずれが大きいかを判別する判別手段と、
前記判別手段により前記第2の点に対応する前記距離画像上の距離値が大きいと判別された場合、前記第1の点に対する前記組の重み係数を、前記第1の点以外の前記組の前記重み係数よりも小さく設定する設定手段と、
前記対応付け手段により対応付けられた前記投影線分を構成する点と、前記2次元画像上のエッジを構成する点との、前記2次元画像上における距離に前記重み係数を乗じた値の総和が最小となる位置および姿勢を前記対象物体の位置および姿勢として計測する位置姿勢計測手段と、
を備えることを特徴とする位置姿勢計測装置。 - 前記2次元画像が、濃淡画像またはカラー画像であることを特徴とする請求項1乃至3の何れか1項に記載の位置姿勢計測装置。
- 2次元画像取得手段が、前記対象物体の2次元画像を取得する2次元画像取得工程と、
距離画像取得手段が、前記対象物体の距離画像を取得する距離画像取得工程と、
抽出手段が、前記距離画像において前記対象物体までの距離値が計測できない計測不能領域を、前記2次元画像において前記対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出工程と、
投影手段が、前記対象物体の位置および姿勢の概略値に基づいて、保持手段に保持された前記対象物体の3次元形状情報を含む3次元モデルを構成する線分を前記2次元画像上に投影する投影工程と、
対応付け手段が、前記投影工程により投影された投影線分を構成する点と、前記2次元画像上のエッジを構成する点とを組として対応付ける対応付け工程と、
判定手段が、前記対応付け工程により対応付けられた前記2次元画像上のエッジを構成する点が前記被遮蔽領域の範囲内に存在するか否かを判定する判定工程と、
設定手段が、前記判定工程により前記被遮蔽領域の範囲内に存在すると判定された場合に、前記組に対して、前記被遮蔽領域の範囲内に存在しないと判定された場合よりも小さな重み係数を設定する設定工程と、
位置姿勢計測手段が、前記対応付け工程により対応付けられた前記投影線分を構成する点と、前記2次元画像上のエッジを構成する点との、前記2次元画像上における距離に前記重み係数を乗じた値の総和が最小となる位置および姿勢を前記対象物体の位置および姿勢として計測する位置姿勢計測工程と、
を有することを特徴とする位置姿勢計測方法。 - 2次元画像取得手段が、前記対象物体の2次元画像を取得する2次元画像取得工程と、
距離画像取得手段が、前記対象物体の距離画像を取得する距離画像取得工程と、
抽出手段が、前記距離画像において前記対象物体までの距離値が計測できない計測不能領域を、前記2次元画像において前記対象物体に照射される照明が遮蔽される被遮蔽領域として抽出する抽出工程と、
投影手段が、前記対象物体の位置および姿勢の概略値に基づいて、保持手段に保持された前記対象物体の3次元形状情報を含む3次元モデルを構成する線分を前記2次元画像上に投影する投影工程と、
対応付け手段が、前記投影工程により投影された投影線分を構成する点と、前記2次元画像上のエッジを構成する点とを組として対応付ける対応付け工程と、
輪郭抽出手段が、前記被遮蔽領域の輪郭を抽出する輪郭抽出工程と、
選択手段が、前記輪郭を構成する第1の点を選択する選択工程と、
第1探索手段が、前記被遮蔽領域外であって前記第1の点との距離が最も近い位置にある第2の点を探索する第1探索工程と、
算出手段が、前記輪郭と、前記第1の点を通るエピポーラ線との交点となる第3の点を算出する算出工程と、
第2探索手段が、前記被遮蔽領域外であって前記第2の点との距離が最も近い位置にある第4の点を探索する第2探索工程と、
判別手段が、前記第2の点に対応する前記距離画像上の距離値と、前記第4の点に対応する前記距離画像上の距離値とのいずれが大きいかを判別する判別工程と、
設定手段が、前記判別工程により前記第2の点に対応する前記距離画像上の距離値が大きいと判別された場合、前記第1の点に対する重み係数を、前記第1の点以外の前記組の前記重み係数よりも小さく設定する設定工程と、
位置姿勢計測手段が、前記対応付け工程により対応付けられた前記投影線分を構成する点と、前記2次元画像上のエッジを構成する点との、前記2次元画像上における距離に前記重み係数を乗じた値の総和が最小となる位置および姿勢を前記対象物体の位置および姿勢として計測する位置姿勢計測工程と、
を有することを特徴とする位置姿勢計測方法。 - 請求項5または6に記載の位置姿勢計測方法をコンピュータに実行させるためのプログラム。
- コンピュータに請求項5又は6に記載の位置姿勢計測方法を実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257828A JP5976089B2 (ja) | 2014-12-19 | 2014-12-19 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257828A JP5976089B2 (ja) | 2014-12-19 | 2014-12-19 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010185576A Division JP5671281B2 (ja) | 2010-08-20 | 2010-08-20 | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015111128A true JP2015111128A (ja) | 2015-06-18 |
JP5976089B2 JP5976089B2 (ja) | 2016-08-23 |
Family
ID=53526022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014257828A Expired - Fee Related JP5976089B2 (ja) | 2014-12-19 | 2014-12-19 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976089B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101822505B1 (ko) * | 2017-09-22 | 2018-01-26 | 성균관대학교 산학협력단 | 위치 정보 기반의 수확 장치 및 방법 |
CN111862199A (zh) * | 2020-06-17 | 2020-10-30 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
CN114105043A (zh) * | 2020-08-31 | 2022-03-01 | 三菱物捷仕株式会社 | 托板感测装置、叉车、托板感测方法以及程序 |
CN114370842A (zh) * | 2021-12-30 | 2022-04-19 | 烟台拾一环保科技有限公司 | 一种测量膨胀节的两端面平行度的装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59107202A (ja) * | 1982-12-10 | 1984-06-21 | Matsushita Electric Ind Co Ltd | 微小部品装着位置検査装置 |
WO1991005984A1 (en) * | 1989-10-18 | 1991-05-02 | Iggesund Pulp Fibre Oy Ab | A method and a device for determining the longitudinal direction of wood chips and the like |
JPH0628478A (ja) * | 1992-07-06 | 1994-02-04 | Fujitsu Ltd | 3次元特徴抽出方式 |
JPH11345319A (ja) * | 1998-06-02 | 1999-12-14 | Fujitsu Ltd | 画像の影除去方法、画像処理装置及び記録媒体 |
JP2001074432A (ja) * | 1999-09-08 | 2001-03-23 | Fuji Xerox Co Ltd | 画像撮像装置 |
JP2003141507A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | ランドサットtm画像の精密幾何補正方法及び衛星画像の精密幾何補正方法 |
-
2014
- 2014-12-19 JP JP2014257828A patent/JP5976089B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59107202A (ja) * | 1982-12-10 | 1984-06-21 | Matsushita Electric Ind Co Ltd | 微小部品装着位置検査装置 |
WO1991005984A1 (en) * | 1989-10-18 | 1991-05-02 | Iggesund Pulp Fibre Oy Ab | A method and a device for determining the longitudinal direction of wood chips and the like |
JPH0628478A (ja) * | 1992-07-06 | 1994-02-04 | Fujitsu Ltd | 3次元特徴抽出方式 |
JPH11345319A (ja) * | 1998-06-02 | 1999-12-14 | Fujitsu Ltd | 画像の影除去方法、画像処理装置及び記録媒体 |
JP2001074432A (ja) * | 1999-09-08 | 2001-03-23 | Fuji Xerox Co Ltd | 画像撮像装置 |
JP2003141507A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | ランドサットtm画像の精密幾何補正方法及び衛星画像の精密幾何補正方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101822505B1 (ko) * | 2017-09-22 | 2018-01-26 | 성균관대학교 산학협력단 | 위치 정보 기반의 수확 장치 및 방법 |
CN111862199A (zh) * | 2020-06-17 | 2020-10-30 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
CN111862199B (zh) * | 2020-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
CN114105043A (zh) * | 2020-08-31 | 2022-03-01 | 三菱物捷仕株式会社 | 托板感测装置、叉车、托板感测方法以及程序 |
CN114105043B (zh) * | 2020-08-31 | 2023-02-21 | 三菱物捷仕株式会社 | 托板感测装置、叉车、托板感测方法以及程序 |
CN114370842A (zh) * | 2021-12-30 | 2022-04-19 | 烟台拾一环保科技有限公司 | 一种测量膨胀节的两端面平行度的装置 |
CN114370842B (zh) * | 2021-12-30 | 2023-11-14 | 山东九纳医疗设备有限公司 | 一种测量膨胀节的两端面平行度的装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5976089B2 (ja) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
JP6736257B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US10189162B2 (en) | Model generation apparatus, information processing apparatus, model generation method, and information processing method | |
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
US11830216B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP2012123781A (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
JP2015184767A (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
JP6860620B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2011179909A (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
JP2016148649A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP2014053018A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160719 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5976089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |