JP2011129094A - シーンにおける物体の姿勢を求めるためのシステム及び方法 - Google Patents
シーンにおける物体の姿勢を求めるためのシステム及び方法 Download PDFInfo
- Publication number
- JP2011129094A JP2011129094A JP2010215389A JP2010215389A JP2011129094A JP 2011129094 A JP2011129094 A JP 2011129094A JP 2010215389 A JP2010215389 A JP 2010215389A JP 2010215389 A JP2010215389 A JP 2010215389A JP 2011129094 A JP2011129094 A JP 2011129094A
- Authority
- JP
- Japan
- Prior art keywords
- image
- real
- virtual
- images
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】前処理中、仮想カメラのレンズのまわりに仮想点光源を配置することにより、さまざまな姿勢について物体の3Dモデルがレンダリングされる。影を使用して、複数の方向から照明された物体の配向された奥行きエッジが得られる。配向された奥行きエッジは、データベースに保存される。異なる方向からシーン上に影を投じることによって、カメラがシーンの画像を取得する。シーンは、互いに対して任意の姿勢で配置された1つ又は複数の物体を含むことができる。物体の姿勢は、取得された画像から得られる配向された奥行きエッジを、データベースに保存された配向された奥行きエッジと比較することによって求められる。この比較により、各ピクセルにおいて、面取り照合に基づきコスト関数の値が求められる。これは、滑降シンプレックス最適化を使用して高速化することができる。
【選択図】図1
Description
図1は、本発明者の発明の実施形態による物体の3D姿勢を求めるための前処理手順を示す。この手順は、この技術で知られているようにメモリ及び入出力インターフェースを含むプロセッサで実行することができる。姿勢は、x、y、z平行移動位置及び
奥行きエッジは、物体の境界と背景との間の不連続性を表す。
図3に示すように、配向された実奥行きエッジ221は、対応する距離画像及びコスト関数309を使用して、データベース130に保存された仮想奥行きエッジと比較されて(310)、可能性のある姿勢311〜313が求められ、最も良く照合した既知の姿勢が、物体の姿勢として選択される。
この方法は、データベース内のすべての可能性のある姿勢を比較して、物体の回転角度及び位置について最も良く照合するものを見つける。dp iを、データベースにおけるp番目の姿勢についてi番目の配向されたエッジ変換の距離変換を示すものとする。ds iを、シーンのi番目の配向されたエッジ変換の距離変換を示すものとする。データベース内の各姿勢pについて、姿勢p(x,y)の方向iの照合コストは、
データベース内のあらゆる姿勢pに関する最良のピクセル(x,y)及びその関連したコストCp(x,y)は、滑降シンプレックス手順を使用して求められる。例えば100個の最小コスト及びそれらの対応する姿勢パラメータが保持される。これらのコストは、次に、その位置に基づいて分類され、物体及びその対応する姿勢が識別される。
Claims (13)
- シーンにおける物体の姿勢を求めるための方法であって、該方法のステップを実行するためのプロセッサを備え、
前記物体のモデルの仮想画像のセットを生成するステップであって、各仮想画像のセットは、前記モデルの異なる既知の姿勢についてのものであり、前記モデルは、仮想光源のセットによって照明され、特定の既知の姿勢について特定のセットにおける各仮想光源につき1つの仮想画像がある、生成するステップと、
各仮想画像の仮想奥行きエッジを作成するステップと、
前記シーンにおける前記物体の実画像のセットを取得するステップであって、前記物体は、未知の姿勢を有し、前記物体は、実光源のセットによって照明され、各実光源につき1つの実画像がある、取得するステップと、
各実画像に関する実奥行きエッジを作成するステップと、
コスト関数を使用して、前記実画像のセットの前記実奥行きエッジを各仮想画像のセットの前記仮想奥行きエッジと比較するステップであって、それによって、前記未知の姿勢と最も良く照合する前記既知の姿勢を求める、比較するステップと、
を含む、方法。 - 前記シーンは、異なる未知の姿勢を有する複数の前記物体を含む、請求項1に記載の方法。
- 前記複数の前記物体は異なり、混合され、
各異なる物体の前記モデルの前記仮想画像のセットを生成すること、
をさらに含む、請求項2に記載の方法。 - 前記仮想奥行きエッジをデータベースに保存すること、
をさらに含む、請求項1に記載の方法。 - 前記姿勢は、位置及び配向を含む、請求項1に記載の方法。
- 各実画像のセットについて環境光画像を生成すること、及び
各実画像から前記環境光画像を差し引くこと、
をさらに含む、請求項1に記載の方法。 - 前記セットにおいて、前記仮想光源の個数及び位置と、前記実光源の個数及び位置とが、対応している、請求項1に記載の方法。
- 前記実画像のセットは、作業空間に配置されたカメラによって取得され、
前記既知の姿勢に従ってロボットアームにより前記物体をピッキングすること、
をさらに含む、請求項1に記載の方法。 - 各比画像の前記エッジから距離画像を作成することであって、前記比較することは、前記距離画像における面取り距離に従う、各比画像の前記エッジから距離画像を作成すること、
をさらに含む、請求項9に記載の方法。 - 滑降シンプレックス手順を使用して前記コスト関数の値を求めること、
をさらに含む、請求項1に記載の方法。 - シーンにおける物体の姿勢を求めるためのシステムであって、
前記物体のモデルの仮想画像のセットを生成するように構成されたレンダリングエンジンであって、各仮想画像のセットは、前記モデルの異なる可能性のある既知の姿勢についてのものであり、前記モデルは、仮想光源のセットによって照明され、特定の既知の姿勢について特定のセットの各仮想光源につき1つの仮想画像がある、レンダリングエンジンと、
各仮想画像の仮想奥行きエッジを作成する手段と、
前記物体の実画像のセットを取得するように構成されたカメラであって、前記物体は、未知の姿勢を有し、前記物体は、実光源のセットによって照明され、各実光源につき1つの実画像がある、カメラと、
各実画像の実奥行きエッジを作成する手段と、
コスト関数を使用して、前記実画像のセットの前記実奥行きエッジを各仮想画像のセットの前記仮想奥行きエッジと比較し、前記未知の姿勢と最も良く照合する前記既知の姿勢を求める、比較する手段と、
を含む、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/624,892 US8472698B2 (en) | 2009-11-24 | 2009-11-24 | System and method for determining poses of objects |
US12/624,892 | 2009-11-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011129094A true JP2011129094A (ja) | 2011-06-30 |
JP5539138B2 JP5539138B2 (ja) | 2014-07-02 |
Family
ID=44062129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215389A Expired - Fee Related JP5539138B2 (ja) | 2009-11-24 | 2010-09-27 | シーンにおける物体の姿勢を求めるためのシステム及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8472698B2 (ja) |
JP (1) | JP5539138B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101743926B1 (ko) * | 2010-09-20 | 2017-06-08 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
KR101791590B1 (ko) * | 2010-11-05 | 2017-10-30 | 삼성전자주식회사 | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 |
JP5767464B2 (ja) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
US8855366B2 (en) | 2011-11-29 | 2014-10-07 | Qualcomm Incorporated | Tracking three-dimensional objects |
US9818220B2 (en) * | 2011-12-28 | 2017-11-14 | General Electric Company | Method and system for indicating light direction for a volume-rendered image |
JP5642738B2 (ja) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
US9227323B1 (en) * | 2013-03-15 | 2016-01-05 | Google Inc. | Methods and systems for recognizing machine-readable information on three-dimensional objects |
US10701999B1 (en) | 2015-12-17 | 2020-07-07 | A9.Com, Inc. | Accurate size selection |
US9875546B1 (en) * | 2016-03-29 | 2018-01-23 | A9.Com, Inc. | Computer vision techniques for generating and comparing three-dimensional point clouds |
US9990535B2 (en) | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
WO2019079598A1 (en) | 2017-10-18 | 2019-04-25 | Brown University | PROBABILISTIC PROBABILISTIC OBJECTS-ROBUST AND REPRODUCIBLE PLACEMENT |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
CN109523629B (zh) * | 2018-11-27 | 2023-04-07 | 上海交通大学 | 一种基于物理仿真的物体语义和位姿数据集生成方法 |
US11130237B1 (en) * | 2020-03-05 | 2021-09-28 | Mujin, Inc. | Method and computing system for performing container detection and object detection |
CN111921189B (zh) * | 2020-08-21 | 2022-03-01 | 腾讯科技(深圳)有限公司 | 虚拟对象控制方法和装置 |
CN111931691B (zh) * | 2020-08-31 | 2021-01-05 | 四川骏逸富顿科技有限公司 | 一种在岗监测方法及其监测系统 |
CN112270764B (zh) * | 2020-09-30 | 2022-07-08 | 北京理工大学 | 一种用于合影的虚拟人姿态生成方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04130587A (ja) * | 1990-09-20 | 1992-05-01 | Agency Of Ind Science & Technol | 3次元画像評価装置 |
JP2008269572A (ja) * | 2007-04-23 | 2008-11-06 | Mitsubishi Electric Research Laboratories Inc | レンジ画像から物体の姿勢を求める方法及びシステム |
JP2009115783A (ja) * | 2007-11-07 | 2009-05-28 | Mitsubishi Electric Research Laboratories Inc | シーン内の物体の3d姿勢を求める方法及びシステム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206449B2 (en) * | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
JP4709723B2 (ja) * | 2006-10-27 | 2011-06-22 | 株式会社東芝 | 姿勢推定装置及びその方法 |
-
2009
- 2009-11-24 US US12/624,892 patent/US8472698B2/en active Active
-
2010
- 2010-09-27 JP JP2010215389A patent/JP5539138B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04130587A (ja) * | 1990-09-20 | 1992-05-01 | Agency Of Ind Science & Technol | 3次元画像評価装置 |
JP2008269572A (ja) * | 2007-04-23 | 2008-11-06 | Mitsubishi Electric Research Laboratories Inc | レンジ画像から物体の姿勢を求める方法及びシステム |
JP2009115783A (ja) * | 2007-11-07 | 2009-05-28 | Mitsubishi Electric Research Laboratories Inc | シーン内の物体の3d姿勢を求める方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
JP5539138B2 (ja) | 2014-07-02 |
US20110123122A1 (en) | 2011-05-26 |
US8472698B2 (en) | 2013-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5539138B2 (ja) | シーンにおける物体の姿勢を求めるためのシステム及び方法 | |
EP2058761B1 (en) | Method and system for determining 3D pose of object in scene | |
JP5570126B2 (ja) | 物体の姿勢を求める方法及び装置 | |
JP5455873B2 (ja) | シーンにおける物体の姿勢を求めるための方法 | |
JP6871712B2 (ja) | ロボットを案内するための特徴位置の特定 | |
JP6338421B2 (ja) | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム | |
US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
US20080082213A1 (en) | Workpiece picking apparatus | |
JP2017096939A (ja) | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 | |
JP6983828B2 (ja) | ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法 | |
JP6503153B2 (ja) | ビジョンシステムにおいて3dアライメントアルゴリズムを自動選択するためのシステム及び方法 | |
JP2004090183A (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
Agrawal et al. | Vision-guided robot system for picking objects by casting shadows | |
JP2020047049A (ja) | 画像処理装置及び画像処理方法 | |
JPS60200111A (ja) | 3次元物体認識装置 | |
Kinnell et al. | Autonomous metrology for robot mounted 3D vision systems | |
EP4245480A1 (en) | Measuring system, measuring device, measuring method, and measuring program | |
Zaki et al. | Digital model reconstruction through 3D Stereo Depth camera: a faster method exploiting robot poses | |
Motai et al. | SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping | |
JP2015132523A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びプログラム | |
CN211915840U (zh) | 一种基于单目视觉的三维五轴激光切割机床 | |
Radkowski | HoloLens integration into a multi-kinect tracking environment | |
JP2013254300A (ja) | 画像処理方法 | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 | |
WO2023157964A1 (ja) | ピッキング装置及びピッキング制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5539138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140430 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |