JP2019164836A - 学習装置、学習方法、学習モデル、検出装置及び把持システム - Google Patents
学習装置、学習方法、学習モデル、検出装置及び把持システム Download PDFInfo
- Publication number
- JP2019164836A JP2019164836A JP2019113637A JP2019113637A JP2019164836A JP 2019164836 A JP2019164836 A JP 2019164836A JP 2019113637 A JP2019113637 A JP 2019113637A JP 2019113637 A JP2019113637 A JP 2019113637A JP 2019164836 A JP2019164836 A JP 2019164836A
- Authority
- JP
- Japan
- Prior art keywords
- information
- target object
- learning
- posture
- gripping device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
前記検知手段により検知された前記教示ツールの情報を前記教示ツールの位置及び姿勢の情報へと変換し、前記物体の存在する位置情報と当該物体を把持している前記教示ツールの位置及び姿勢の情報とを紐付けたデータである教師データを生成する、教師データ生成手段と
複数の層を備えるニューラルネットワークモデルで表される学習モデルであって、前記検知手段を介してターゲット物体の存在する位置が入力されると、前記ターゲット物体を把持可能な把持手段の位置及び姿勢のデータを出力する学習モデルを、前記教師データを用いて学習する、学習部と、
を備える学習装置。
layer1 = chainer.functions.Convolution2d(4, 16, 3, stride=1, pad=1)(input)
としたものである。
layer1 = chainer.functions.relu(chainer.functions.BatchNormalization(layer1))としたものである。
layer2 = chainer.functions.Convolution2d(16, 32, 4, stride=2, pad=1)(layer1)
としたものである。ダウンサンプリングは、25×25×64の第6層まで、3×3サイズのカーネルによるストライド1の畳み込み(サイズ変更なし)と、4×4サイズのカーネルによるストライド2の畳み込み(ダウンサンプリング)とを交互に行うことにより実行される。さらに、上記と同様に、
layer2 = chainer.functions.relu(chainer.functions.BatchNormalization(layer2))として正規化及び活性化を行う。
layer7 = chainer.functions.Deconvolution2d(64, 64, 4, stride=2, pad=1)(layer6)と表される。そして、200×200×16のサイズである第11層まで、ダウンサンプリングと逆の操作を行うことにより、アップサンプリングが実行される。アップサンプリングの過程においても同様に正規化及び活性化が実行され、例えば、
layer7 = chainer.functions.relu(chainer.functions.BatchNormalization(layer7))と表される。
10:コンピュータ
102:教師データ生成部
104:学習部
106:推定部
14:ロボット
16:グリッパ
18:カメラ
2:教示ツール
Claims (24)
- メモリと、
少なくとも1つのプロセッサと、を備える推定装置であって、
前記少なくとも1つのプロセッサは、
ターゲット物体に関する情報を取得することと、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定することと、
を実行するよう構成され、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
推定装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の3次元姿勢角の情報を含む、
請求項1に記載の推定装置。 - 前記3次元姿勢角の情報は、前記把持装置の所定の基準姿勢に対するロール角、ピッチ角及びヨー角に関する情報を含む、
請求項2に記載の推定装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の所定の基準姿勢に対するオイラー角、偏角及び方向余弦の少なくとも1つに関する情報を含む、
請求項1に記載の推定装置。 - 前記把持装置の位置に関する情報は、前記把持装置の所定の基準点に対する直交座標系及び円柱座標系のいずれかで表された情報を含む、
請求項1乃至請求項4のいずれか一項に記載の推定装置。 - 前記把持装置の位置及び姿勢に関する情報は、前記把持装置の角度情報を含む6次元以上の自由度を有する、
請求項1乃至請求項5のいずれか一項に記載の推定装置。 - 前記少なくとも1つのプロセッサは、前記把持装置の姿勢の複数の分類に関する情報を推定する、
請求項1乃至請求項6のいずれか一項に記載の推定装置。 - 前記複数の分類は、学習データに含まれる姿勢の情報をクラスタリングして得られたものである請求項7に記載の推定装置。
- ターゲット物体を把持する前記把持装置と、
前記把持装置を支持するロボットと、
前記ロボットを制御するコントローラと、を備え、
前記コントローラは、請求項1乃至請求項8のいずれか一項に記載の推定装置の推定結果に基づいて、前記ロボットを制御する、
把持システム。 - 前記ターゲット物体の画像情報を取得するカメラが、前記把持装置に設置されている、
請求項9に記載の把持システム。 - メモリと、
少なくとも1つのプロセッサと、を備える学習装置であって、
前記少なくとも1のプロセッサは、
ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習すること、
を実行するよう構成され、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
学習装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の3次元姿勢角の情報を含む、
請求項11に記載の学習装置。 - 前記3次元姿勢角の情報は、前記把持装置の所定の基準姿勢に対するロール角、ピッチ角及びヨー角に関する情報を含む、
請求項12に記載の学習装置。 - 前記複数の軸周りの回転角度を表現可能な情報は、前記把持装置の所定の基準姿勢に対するオイラー角、偏角及び方向余弦の少なくとも1つに関する情報を含む、
請求項11に記載の学習装置。 - 前記把持装置の位置に関する情報は、前記把持装置の所定の基準点に対する直交座標系及び円柱座標系のいずれかで表された情報を含む、
請求項11乃至請求項14のいずれか一項に記載の学習装置。 - 前記把持装置の位置及び姿勢に関する情報は、前記把持装置の角度情報を含む6次元以上の自由度を有する、
請求項11乃至請求項15のいずれか一項に記載の学習装置。 - 前記学習モデルは、前記把持装置の姿勢に関する情報として、前記把持装置の姿勢の複数の分類に関する情報を出力する、
請求項11乃至請求項16のいずれか一項に記載の学習装置。 - 前記複数の分類は、学習データに含まれる姿勢の情報をクラスタリングして得られたものである請求項17に記載の学習装置。
- 少なくとも1つのプロセッサにより、
ターゲット物体に関する情報を取得し、
少なくとも1つのプロセッサにより、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定する、
推定方法であって、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
推定方法。 - 少なくとも1つのプロセッサにより、
ニューラルネットワークで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習する、
学習方法であって、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
学習方法。 - コンピュータを、
ターゲット物体に関する情報を取得する手段、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定する手段、
として機能させるプログラムであって、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
プログラム。 - コンピュータを、
ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習する手段、
として機能させるプログラムであって、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
プログラム。 - コンピュータにより実行されると、前記コンピュータに、
ターゲット物体に関する情報を取得するステップと、
前記ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力するニューラルネットワークモデルに、前記ターゲット物体に関する情報を入力し、前記把持装置が前記ターゲット物体を把持可能な位置及び姿勢に関する情報を推定するステップと、
を実施させるプログラムであって、
推定される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
プログラムを格納する、非一時的な記憶媒体。 - コンピュータにより実行されると、前記コンピュータに、
ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習するステップ、
を実施させるプログラムであって、
出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、
プログラムを格納する非一時的な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113637A JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
JP2020206993A JP7349423B2 (ja) | 2019-06-19 | 2020-12-14 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019113637A JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017108550A Division JP6546618B2 (ja) | 2017-05-31 | 2017-05-31 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020206993A Division JP7349423B2 (ja) | 2019-06-19 | 2020-12-14 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019164836A true JP2019164836A (ja) | 2019-09-26 |
JP7051751B2 JP7051751B2 (ja) | 2022-04-11 |
Family
ID=68065684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019113637A Active JP7051751B2 (ja) | 2019-06-19 | 2019-06-19 | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7051751B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107928A1 (en) * | 2019-11-26 | 2021-06-03 | Hewlett-Packard Development Company, L.P. | Holding devices |
WO2021192225A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 教師データ変換装置、教師データ変換方法、及び、非一時的な記録媒体 |
WO2024106606A1 (ko) * | 2022-11-15 | 2024-05-23 | 주식회사 에딘트 | 행동 모니터링을 위한 딥러닝 모델의 학습 방법, 프로그램 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203166A (ja) * | 1993-01-06 | 1994-07-22 | Fujitsu Ltd | 多次元位置測定,制御装置,及び、学習方法 |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JP2009083095A (ja) * | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
JP2012135820A (ja) * | 2010-12-24 | 2012-07-19 | Ihi Corp | 自動ピッキング装置及び自動ピッキング方法 |
-
2019
- 2019-06-19 JP JP2019113637A patent/JP7051751B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203166A (ja) * | 1993-01-06 | 1994-07-22 | Fujitsu Ltd | 多次元位置測定,制御装置,及び、学習方法 |
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JP2009083095A (ja) * | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
JP2012135820A (ja) * | 2010-12-24 | 2012-07-19 | Ihi Corp | 自動ピッキング装置及び自動ピッキング方法 |
Non-Patent Citations (3)
Title |
---|
二宮 宏史 HIROSHI NINOMIYA: "深層学習を用いた多様体構築による3次元物体の姿勢推定に関する予備検討 Preliminary study on deep mani", 電子情報通信学会技術研究報告 VOL.116 NO.91 IEICE TECHNICAL REPORT, vol. 第116巻, JPN6020014610, 6 June 2016 (2016-06-06), JP, pages 25 - 30, ISSN: 0004258784 * |
荒木 諒介: "Graspabilityを導入したDCNNによる物体把持位置検出", 第34回日本ロボット学会学術講演会予稿集DVD−ROM 2016年, JPN6020014608, 7 September 2016 (2016-09-07), JP, pages 102 - 105, ISSN: 0004258783 * |
長谷川 昂宏: "Heterogeneous Learningによるオブジェクトネスと物体把持位置の検出", 第22回 画像センシングシンポジウム SSII2016 [USB] THE 22ND SYMPOSIUM ON SENSING VI, JPN6020014606, 8 June 2016 (2016-06-08), JP, pages 330, ISSN: 0004258782 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107928A1 (en) * | 2019-11-26 | 2021-06-03 | Hewlett-Packard Development Company, L.P. | Holding devices |
WO2021192225A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 教師データ変換装置、教師データ変換方法、及び、非一時的な記録媒体 |
JPWO2021192225A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
JP7283631B2 (ja) | 2020-03-27 | 2023-05-30 | 日本電気株式会社 | 教師データ変換装置、教師データ変換方法、及び、プログラム |
WO2024106606A1 (ko) * | 2022-11-15 | 2024-05-23 | 주식회사 에딘트 | 행동 모니터링을 위한 딥러닝 모델의 학습 방법, 프로그램 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP7051751B2 (ja) | 2022-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018221614A1 (ja) | 学習装置、学習方法、学習モデル、推定装置及び把持システム | |
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
Wan et al. | Teaching robots to do object assembly using multi-modal 3d vision | |
JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
Wu et al. | Pixel-attentive policy gradient for multi-fingered grasping in cluttered scenes | |
US7664571B2 (en) | Controlling a robot using pose | |
WO2022017131A1 (zh) | 点云数据的处理方法、智能行驶控制方法及装置 | |
US20210334599A1 (en) | Training a deep neural network model to generate rich object-centric embeddings of robotic vision data | |
JP2018169660A (ja) | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム | |
US11964400B2 (en) | Device and method for controlling a robot to pick up an object in various positions | |
JP7349423B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
CN114882113A (zh) | 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法 | |
Liang et al. | Visual reconstruction and localization-based robust robotic 6-DoF grasping in the wild | |
WO2022114042A1 (ja) | 情報処理装置及びピッキング装置 | |
WO2023273271A1 (zh) | 目标位姿估计方法、装置、计算设备、存储介质及计算机程序 | |
JP2024001876A (ja) | 物体を操作するロボット、特に物体を受容するロボットを制御するための方法 | |
Beguiel Bergor et al. | Recent Developments in Robotic Grasping Detection | |
JP2024005599A (ja) | データ収集装置および制御装置 | |
Rungta | Using Novel Visuo-Tactile Sensors to Recognize Contact in Robotic Manipulation | |
CN116619387A (zh) | 一种基于手部姿态估计的灵巧手遥操作方法 | |
JP2023148859A (ja) | 制御方法、制御システム及び保持制御プログラム | |
CN116141318A (zh) | 物体的抓取方法、装置、电子设备和存储介质 | |
CN116894988A (zh) | 一种基于Transformer的抓取位姿检测方法 | |
KR20230046038A (ko) | 기계학습을 기반으로 하는 물체 자세 추정 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190719 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200706 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201222 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210105 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210226 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210302 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210817 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220204 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220304 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7051751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |