JP2022551885A - 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム - Google Patents
物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム Download PDFInfo
- Publication number
- JP2022551885A JP2022551885A JP2022521516A JP2022521516A JP2022551885A JP 2022551885 A JP2022551885 A JP 2022551885A JP 2022521516 A JP2022521516 A JP 2022521516A JP 2022521516 A JP2022521516 A JP 2022521516A JP 2022551885 A JP2022551885 A JP 2022551885A
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- database
- determining
- gripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 210000000078 claw Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
Description
S110)物体を表す物体画像を受け取り、少なくとも1つの把持点で把持されている物体を表す把持画像を受け取るステップであって、前記物体画像及び前記把持画像は、前記物体に対して同じ視点から取得される、ステップと、
S120)前記物体画像に基づいて、前記物体及び該物体の形状特徴を検出し、検出された前記物体の前記形状特徴のローカル記述子及び二次元位置を決定するステップであって、画像内で検出された物体の形状特徴のローカル記述子は、前記画像内の前記形状特徴の二次元位置と、前記形状特徴を特徴付ける形状情報(HG)とを含むデータである、ステップと、
S130)前記把持画像において、検出された前記物体の少なくとも1つの把持点の二次元位置を決定するステップと、
S140)前記物体に関する三次元情報を決定するステップと、
S150)ステップS130で決定された少なくとも1つの把持点の二次元位置と、前記物体に関する三次元情報とに基づいて、前記物体の少なくとも1つの把持点(GPOD1)の三次元位置を決定するステップと、
S170)前記物体に関する把持点のレコードをデータベースに保存するステップであって、前記レコードは、検出された前記物体の前記形状特徴の決定されたローカル記述子及び決定された二次元位置と、前記物体の少なくとも1つの把持点の二次元位置及び/又は三次元位置とを含む、ステップと、を含む。
物体を表す物体画像を受け取り、
少なくとも1つの把持点で把持されている物体を表す把持画像を受け取り、
物体画像及び把持画像は、物体に対して同じ視点から取得され、
少なくとも1つのプロセッサは、物体画像に基づいて、
物体及び該物体の形状特徴を検出し、
検出された物体の形状特徴のローカル記述子及び二次元位置を決定し、
把持画像において、検出された物体の少なくとも1つの把持点の二次元位置を決定し、
物体に関する三次元情報を決定し、
ステップS130で決定された少なくとも1つの把持点の二次元位置と、物体に関する三次元情報とに基づいて、物体の少なくとも1つの把持点の三次元位置を決定し、
物体に関する把持点のレコードをデータベースに保存し、このレコードは、検出された物体の形状特徴の決定されたローカル記述子及び決定された二次元位置と、物体の少なくとも1つの把持点の二次元位置及び三次元位置とを含む。
S10)シーン内の把持すべき物体を表すシーン画像を受け取るステップと、
S20)シーン画像に基づいて、物体及び該物体の形状特徴を検出し、検出された物体の形状特徴のローカル記述子及び二次元位置を決定するステップと、
S30)物体の把持点のレコードを含むデータベースに基づいて、少なくとも8対のローカル記述子を決定するステップであって、レコードは、物体の形状特徴のデータベースローカル記述子及びデータベース二次元位置と、物体の少なくとも1つの把持点のデータベース三次元位置とを含み、各対は、データベースの選択されたローカル記述子及びステップS20で決定されたローカル記述子のうちの対応する選択されたローカル記述子からなり、データベースローカル記述子と決定されたローカル記述子との距離は最小である、ステップと、
S40)選択されたデータベースローカル記述子を対応する選択されたローカル記述子に変換するレジストレーションを決定するステップと、
S50)物体の少なくとも1つの把持点のデータベース三次元位置にレジストレーションを適用することにより、シーン画像において、物体の少なくとも1つの把持点の二次元位置を決定するステップと、
S60)物体に関する三次元情報を決定するステップと、
S70)ステップS50で決定された、シーン画像内の少なくとも1つの把持点の二次元位置と、物体に関する三次元情報とに基づいて、物体の少なくとも1つの把持点の三次元位置を決定するステップと、を含む。
X′=rot×X+h; Y′=rot×Y+h; Z′=rot×Z+h
シーン内の把持すべき物体を表すシーン画像を受け取り、
シーン画像に基づいて、把持すべき物体及び該物体の形状特徴を検出し、検出された物体の形状特徴のローカル記述子及び二次元位置を決定し、
データベースに基づいて、少なくとも8対のローカル記述子のマッチングセットを決定し、各対は、データベースの選択されたローカル記述子及びステップS20で決定されたローカル記述子のうちの対応する選択されたローカル記述子からなり、ローカル記述子の対は最適な適合を実現、すなわちデータベースローカル記述子と決定されたローカル記述子との距離を最小化し、
1つ以上のプロセッサは、
選択されたデータベースローカル記述子を対応する選択されたローカル記述子に変換するレジストレーションを決定し、
物体の少なくとも1つの把持点のデータベース三次元位置にレジストレーションを適用することにより、シーン画像において、物体の少なくとも1つの把持点の二次元位置を決定し、
物体に関する三次元情報を決定し、
ステップS50で決定された、シーン画像内の少なくとも1つの把持点の二次元位置と、物体に関する三次元情報とに基づいて、物体の少なくとも1つの把持点の三次元位置を決定する。
(1)物体の把持点の2D位置及び3D位置が、画像内の物体の形状特徴のローカル記述子及び2D位置とともに記録される、把持点レコードのデータベースDの作成。
(2)物体を検出できる画像をロボット100が取得する際の、物体の把持点のそれぞれの位置、ローカル基準フレーム及び把持パターンの決定。
プログラムP1が実行されるとき、ロボット100は、把持点及び把持パターンの識別システムとして使用される。
S100)先ず、物体をロボット100の前に置く。ここでは、おもちゃの車ODをロボットの前のスタンドに置く(図5)。
S110)次に、物体の画像I1をカメラ10で取得する(図6)。この画像I1は、物体画像であり、物体のいかなる部分も遮られることなく、物体全体を示す。
S120)次に、物体OD及びその最も顕著な形状特徴、さらに各形状特徴について、形状特徴を記述し又は特徴付けるローカル記述子及び2D位置が、物体画像I1に基づいてECU50によって決定される。この決定は、以下のステップを実行することで行われる。
S121)第一に、プログラムOIを使用して、ECU50が画像I1、I2に表示される物体を検出する。ここでは、プログラムOIは、検出された物体ODのタイプ(又は識別子)とそのバウンディングボックスとを画像I1に出力する。
S122)第二に、物体画像I1に基づいて、かつローカル形状特徴検出プログラムLFDを使用して、検出された物体ODの各形状特徴について、ECU50が、物体ODの形状特徴のローカル記述子及び2D位置を計算する(図6)。
S130)次に、把持画像I2に基づいて、ECU50が、手が物体を把持する把持点の2D位置を決定する。ここでは、単一の把持点GPが識別される。
S140)ロボット100は、物体ODの一部の深度マップを、(物体ODに関する3D情報として)決定する。この目的のため、カメラ119は、第2の物体画像I1′も取得し、この画像では物体は、ロボットに対して画像I1と同じ位置にある。深度画像は、画像I1及びI1′に基づいてステレオビジョンによって計算される。もちろん、深度マップは、画像I1及びI1′の双方に表示される物体の部分のみを含む。
S150)次に、この3D情報(深度マップ)に基づいて、EUC50は、把持点GPの3D位置を決定する。この3D位置は、把持点GPの画像I2において決定された2D位置に対応する、物体の表面上の点の位置(x,y,z)である。
S160)なおECU50は、把持点GPにおいてローカル参照フレームを決定する。この目的のため、ECU50は先ず、物体ODの深度マップを使用して、物体の表面の点GPにおける法線ベクトルXを計算する。次にECU50は、点GPを通る水平ベクトルYを計算する(水平面はロボット100によって既知であり、故に物体の3Dモデルは水平方向に対して参照される)。最後にECU50は、ローカル参照フレームの第3のベクトルZを、ベクトルX及びYのベクトル積として計算する。
S170)最後に、ECU50は、検出された物体ごとに、データベース内に把持点レコードを作成する。データベースDには、検出された物体ODについて、把持点レコードが保存され、把持点レコードは、物体ODについて検出された把持点GPの2D位置及び3D位置を含む把持点の組と、検出された全ての形状特徴について検出されたローカル記述子LDODj及び2D位置とを含む。
データベースDが作成されると、物体がロボットの周囲で識別されるとき(つまり、ロボットのカメラによって取得された、ロボット周囲のシーンを表すシーン画像内で物体が識別されるとき)に、ロボット100を使用して物体の把持点を決定することができる。
S00)先ず、物体(おもちゃの車OG)をロボット100の前に配置する(図5)。
S10)次に、シーン画像I3がカメラ10によって取得され、物体OGが画像内に明瞭に表示される。画像I3はECU50に送信される。
S20)次に、画像I3において以下の操作が実行される。
S21)第一に、プログラムOIを使用して、ECU50が、1つ以上の物体が画像I3に表示されているか否かを検出する。ここでは、おもちゃの車OGがシーン画像I3で検出される。OIプログラムは、検出された物体OGのタイプ(又は識別子)と、その境界ボックスBBOGとを画像I3に出力する。
S22)第二に、シーン画像I3に基づいて、ローカル特徴検出プログラムLFDを使用して、検出された物体ODの各特徴について、ECU50が、物体OGの形状特徴のローカル記述子及び2D位置を計算する。
S30)次に、物体OGのデータベースDに存在する把持点レコードに基づいて、ECU50が、互いに最もよく対応するローカル記述子の対を決定します。すなわちECUは、最適なフィット(つまり、形状特徴空間における最小距離)を実現するローカル記述子の対を決定する(各対は、物体の把持点レコード内のローカル記述子レコードと、画像I3で検出された形状徴のローカル記述子とを含む)。
S40)次に、レジストレーションが決定され、これは、ステップS30で識別されたローカル記述子の各対について、選択されたデータベースローカル記述子LDODiを、対応する選択されたローカル記述子LDOGjに変換する。
S50)次に、シーン画像I3において物体の把持点GPの2D位置が決定される。この2D位置は、ステップS40で決定されたレジストレーションを、データベースDに記録された物体の把持点GPの3D位置に適用することで決定される。この変換は、カメラ117の座標系(画像シーンI3の視点)における3D位置を出力する。次に、この3D位置は、zを無視し、画像I3の2D座標のみを使用することにより、シーン画像I3の2D位置に変換される。
S60)次に、ステップS140のように、ロボット100は、3Dスキャナ115を使用して、画像I3に表示されている物体ODの深度マップを決定する。
S70)次に、ECU50は、物体OGの把持点GPの3D位置を決定する。この3D位置は、物体表面の点の位置(x,y,z)であり、ステップS50で決定された把持点GPの2D位置に対応する。
S80)さらに、ECU50は、把持点GPにおけるローカル参照フレーム及び把持パターン(図10のL)を決定する。ローカル参照フレーム及び把持パターンは、ステップS40で決定されたレジストレーションを、データベースDの物体の把持点レコードに記録された把持点のローカル参照フレーム及び把持パターンに適用することで得られる。
S90)次に、ECU50は、物体OGのデータベース内に把持点レコードを作成する。データベースDに保存される把持点レコードは、
物体OGについて検出された2D位置、3D位置、ローカル参照フレーム、及び把持パターンを含む把持点セットと、
検出された全ての形状特徴のローカル記述子LDOGj及び2D位置と、を含む。
Claims (14)
- 把持点のデータベースを作成する方法であって、
S110)物体を表す物体画像(I1)を受け取り、少なくとも1つの把持点(GPOD1)で把持されている物体を表す把持画像(I2)を受け取るステップであって、前記物体画像及び前記把持画像は、前記物体に対して同じ視点から取得される、ステップと、
S120)前記物体画像(I1)に基づいて、前記物体及び該物体の形状特徴を検出し、検出された前記物体の前記形状特徴のローカル記述子(LDODi)及び二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))を決定するステップと、
S130)前記把持画像(I2)において、検出された前記物体の少なくとも1つの把持点(GPOD)の二次元位置を決定するステップと、
S140)前記物体に関する三次元情報を決定するステップと、
S150)ステップS130で決定された少なくとも1つの把持点(GP)の二次元位置と、前記物体に関する三次元情報とに基づいて、前記物体の少なくとも1つの把持点(GPOD1)の三次元位置を決定するステップと、
S170)前記物体に関する把持点のレコードをデータベース(D)に保存するステップであって、前記レコードは、検出された前記物体の前記形状特徴の決定されたローカル記述子(LDODi)及び決定された二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))と、前記物体の少なくとも1つの把持点(GP)の二次元位置及び/又は三次元位置とを含む、ステップと、
を含む方法。 - 前記物体の前記少なくとも1つの把持点(GP)の法線(X)、ローカル参照フレーム(X,Y,Z)及び/又は把持パターン(L)を決定するステップS160をさらに含む、請求項1に記載の方法。
- 前記把持画像は、前記物体を把持するハンド(140)を示し、ステップS130において、検出された前記物体の前記少なくとも1つの把持点(GPOD)の二次元位置は、前記ハンドのポーズを決定することにより決定される、請求項1又は2に記載の方法。
- 1つ以上のプロセッサ及びメモリを有する、把持点データベースの作成システムであって、
前記メモリは指示を保存し、前記1つ以上のプロセッサによる前記指示の実行によって、少なくとも1つのプロセッサが、
物体を表す物体画像(I1)を受け取り、
少なくとも1つの把持点(GPOD1)で把持されている物体を表す把持画像(I2)を受け取り、
前記物体画像及び前記把持画像は、前記物体に対して同じ視点から取得され、
前記少なくとも1つのプロセッサは、
前記物体画像(I3)に基づいて、前記物体(OD)及び該物体の形状特徴を検出し、
検出された前記物体の前記形状特徴のローカル記述子(LDODi)及び二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))を決定し、
前記把持画像において、検出された前記物体の少なくとも1つの把持点(GPOD)の二次元位置を決定し、
前記物体に関する三次元情報を決定し、
ステップS130で決定された少なくとも1つの把持点(GP)の二次元位置と、前記物体に関する三次元情報とに基づいて、前記物体の少なくとも1つの把持点(GPOD1)の三次元位置を決定し、
前記物体に関する把持点のレコードをデータベース(D)に保存し、前記レコードは、検出された前記物体の前記形状特徴の決定されたローカル記述子(LDODi)及び決定された二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))と、前記物体の少なくとも1つの把持点(GP)の二次元位置及び三次元位置とを含む、
作成システム。 - 前記指示が前記少なくとも1つのプロセッサによって実行されたときに、前記システムは、前記物体の前記少なくとも1つの把持点(GP)の法線(X)、ローカル参照フレーム(X,Y,Z)及び/又は把持パターンを決定する、請求項4に記載の作成システム。
- 前記指示が前記少なくとも1つのプロセッサによって実行され、かつ前記把持画像が前記物体を把持するハンド(140)を示しているときに、前記システムは、検出された前記物体の前記少なくとも1つの把持点(GPOD)の二次元位置を、前記ハンドのポーズを決定することにより決定する、請求項4又は5に記載の作成システム。
- 把持点を決定する方法であって、
S10)シーン内の把持すべき物体を表すシーン画像(I3)を受け取るステップと、
S20)前記シーン画像(I3)に基づいて、前記物体及び該物体の形状特徴を検出し、検出された前記物体の前記形状特徴のローカル記述子(LDOGj)及び二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))を決定するステップと、
S30)前記物体の把持点のレコードを含むデータベース(D)に基づいて、少なくとも8対のローカル記述子を決定するステップであって、前記レコードは、前記物体の形状特徴のデータベースローカル記述子(LDODi)及びデータベース二次元位置と、前記物体の少なくとも1つの把持点(GP)のデータベース三次元位置とを含み、各対は、前記データベースの選択されたローカル記述子(LDODi)及びステップS20で決定されたローカル記述子のうちの対応する選択されたローカル記述子(LDOGj)からなり、データベースローカル記述子と決定されたローカル記述子(LDOGi)との距離は最小である、ステップと、
S40)選択されたデータベースローカル記述子(LDODi)を対応する選択されたローカル記述子(LDOGj)に変換するレジストレーション(R)を決定するステップと、
S50)前記物体の少なくとも1つの把持点(GPCMO)のデータベース三次元位置に前記レジストレーション(R)を適用することにより、前記シーン画像において、前記物体の少なくとも1つの把持点(GPOG)の二次元位置を決定するステップと、
S60)前記物体に関する三次元情報を決定するステップと、
S70)ステップS50で決定された、前記シーン画像内の少なくとも1つの把持点(GP)の二次元位置と、前記物体に関する前記三次元情報とに基づいて、前記物体の少なくとも1つの把持点(GP)の三次元位置を決定するステップと、
を含む方法。 - 対応するローカル記述子の対は、ステップS30において、最近傍アルゴリズム及びRANSACメソッドを連続して使用することで特定される、請求項7に記載の方法。
- ステップS70において、前記物体の前記少なくとも1つの把持点(GP)の法線(X)、又はローカル参照フレーム(X,Y,Z)、及び/又は把持パターンを決定することをさらに含む、請求項7又は8に記載の方法。
- 1つ以上のプロセッサ及びメモリを有する、物体の把持点(GP)の三次元位置を決定する把持点決定システムであって、
前記メモリは、前記物体の把持点のレコードを含むデータベースを保存し、前記把持点のレコードは、前記物体の形状特徴のデータベースローカル記述子(LDODi)及びデータベース二次元位置と、前記物体の少なくとも1つの把持点(GP)のデータベース三次元位置とを含み、
前記メモリは指示を保存し、前記1つ以上のプロセッサによる前記指示の実行によって、前記1つ以上のプロセッサが、
シーン内の把持すべき物体を表すシーン画像(I3)を受け取り、
前記シーン画像(I3)に基づいて、把持すべき前記物体及び該物体の形状特徴を検出し、検出された前記物体の前記形状特徴のローカル記述子(LDOGi)及び二次元位置((u1,v1)、(u2,v2)、(u3,v3)、(u4,v4))を決定し、
前記データベースに基づいて、少なくとも8対のローカル記述子を決定し、
各対は、前記データベースの選択されたローカル記述子(LDODi)及びステップS20で決定されたローカル記述子のうちの対応する選択されたローカル記述子(LDOGi)からなり、データベースローカル記述子と決定されたローカル記述子(DLD)との距離は最小であり、
前記1つ以上のプロセッサは、
選択されたデータベースローカル記述子(LDODi)を対応する選択されたローカル記述子(LDOGi)に変換するレジストレーション(R)を決定し、
前記物体の少なくとも1つの把持点(GPCMO)のデータベース三次元位置に前記レジストレーション(R)を適用することにより、前記シーン画像において、前記物体の少なくとも1つの把持点(GPOG)の二次元位置を決定し、
前記物体に関する三次元情報を決定し、
ステップS50で決定された、前記シーン画像内の少なくとも1つの把持点(GP)の二次元位置と、前記物体に関する前記三次元情報とに基づいて、前記物体の少なくとも1つの把持点(GP)の三次元位置を決定する、
把持点決定システム。 - 前記指示は前記メモリに保存され、前記指示が前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサは、対応するローカル記述子の対を、最近傍アルゴリズム及びRANSACメソッドを連続して使用することで特定する、請求項10に記載の把持点決定システム。
- 前記指示は前記メモリに保存され、前記指示が前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサは、前記物体の前記少なくとも1つの把持点(GP)の法線(X)、又はローカル参照フレーム(X,Y,Z)、及び/又は把持パターンを決定する、請求項10又は11に記載の把持点決定システム。
- コンピュータが読み取り可能な記録媒体に保存され、コンピュータでの実行に適したコンピュータプログラムであって、前記コンピュータで実行されたときに請求項1、2、3、7、8及び9のいずれか1項に記載の方法のステップを実行するように構成された指示を含む、コンピュータプログラム。
- 請求項13に記載のコンピュータプログラムの指示を含む、コンピュータが読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2019/077656 WO2021069084A1 (en) | 2019-10-11 | 2019-10-11 | Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022551885A true JP2022551885A (ja) | 2022-12-14 |
JP7385747B2 JP7385747B2 (ja) | 2023-11-22 |
Family
ID=68240752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521516A Active JP7385747B2 (ja) | 2019-10-11 | 2019-10-11 | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230100238A1 (ja) |
JP (1) | JP7385747B2 (ja) |
WO (1) | WO2021069084A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11275942B2 (en) * | 2020-07-14 | 2022-03-15 | Vicarious Fpc, Inc. | Method and system for generating training data |
WO2023083273A1 (zh) * | 2021-11-10 | 2023-05-19 | 梅卡曼德(北京)机器人科技有限公司 | 抓取点信息获取方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002098B1 (en) * | 2012-01-25 | 2015-04-07 | Hrl Laboratories, Llc | Robotic visual perception system |
JP2015071206A (ja) * | 2013-10-03 | 2015-04-16 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びプログラム |
JP2015176217A (ja) * | 2014-03-13 | 2015-10-05 | オムロン株式会社 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9687983B1 (en) * | 2016-05-11 | 2017-06-27 | X Development Llc | Generating a grasp pose for grasping of an object by a grasping end effector of a robot |
US11030766B2 (en) * | 2019-03-25 | 2021-06-08 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
JP6984633B2 (ja) * | 2019-04-26 | 2021-12-22 | オムロン株式会社 | 対象物の位置姿勢を検出する装置、方法およびプログラム |
DE102019121889B3 (de) * | 2019-08-14 | 2020-11-19 | Robominds GmbH | Automatisierungssystem und Verfahren zur Handhabung von Produkten |
US11559885B2 (en) * | 2020-07-14 | 2023-01-24 | Intrinsic Innovation Llc | Method and system for grasping an object |
-
2019
- 2019-10-11 US US17/768,058 patent/US20230100238A1/en active Pending
- 2019-10-11 JP JP2022521516A patent/JP7385747B2/ja active Active
- 2019-10-11 WO PCT/EP2019/077656 patent/WO2021069084A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002098B1 (en) * | 2012-01-25 | 2015-04-07 | Hrl Laboratories, Llc | Robotic visual perception system |
JP2015071206A (ja) * | 2013-10-03 | 2015-04-16 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びプログラム |
JP2015176217A (ja) * | 2014-03-13 | 2015-10-05 | オムロン株式会社 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021069084A1 (en) | 2021-04-15 |
JP7385747B2 (ja) | 2023-11-22 |
US20230100238A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
US9436987B2 (en) | Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
JP5631086B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
CN111151463B (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
JP2022542858A (ja) | ディープネットワークの訓練方法 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
JP2011523742A (ja) | Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知 | |
JP2010541065A (ja) | 3次元飲料容器位置決定装置 | |
CN112651944B (zh) | 基于cad模型的3c部件高精度六维位姿估计方法及系统 | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
JP7385747B2 (ja) | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム | |
WO2018235219A1 (ja) | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム | |
JP2002215655A (ja) | 情報検索方法、情報検索装置およびロボットの動作制御装置 | |
JP2007271408A (ja) | 三次元環境情報取得装置,三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体 | |
JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN114939891A (zh) | 一种基于物体平面特征的复合机器人3d抓取方法及系统 | |
CN110348351A (zh) | 一种图像语义分割的方法、终端和可读存储介质 | |
CN110458177B (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
JP6584139B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2002008014A (ja) | 3次元形状抽出方法及び装置並びに記録媒体 | |
Chiu et al. | Class-specific grasping of 3D objects from a single 2D image | |
Muhlbauer et al. | A model-based algorithm to estimate body poses using stereo vision | |
JP2007272578A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7385747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |