JP2020508888A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020508888A5 JP2020508888A5 JP2019545742A JP2019545742A JP2020508888A5 JP 2020508888 A5 JP2020508888 A5 JP 2020508888A5 JP 2019545742 A JP2019545742 A JP 2019545742A JP 2019545742 A JP2019545742 A JP 2019545742A JP 2020508888 A5 JP2020508888 A5 JP 2020508888A5
- Authority
- JP
- Japan
- Prior art keywords
- markers
- processor
- user
- model
- skill
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001503 Joints Anatomy 0.000 claims 11
- 230000004044 response Effects 0.000 claims 11
- 230000003993 interaction Effects 0.000 claims 9
- 239000003550 marker Substances 0.000 claims 8
- 210000004279 Orbit Anatomy 0.000 claims 5
- 230000000007 visual effect Effects 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 claims 1
- 230000001131 transforming Effects 0.000 claims 1
Claims (14)
- メモリと、
プロセッサと、
操作要素と、
1組のセンサと、を備え、
前記プロセッサは、前記メモリ、前記操作要素及び前記1組のセンサに動作可能に結合され、前記プロセッサは、
前記1組のセンサのうちのセンサの第1サブセットを介して、環境の表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を使用して前記環境の表現内の複数のマーカを識別することであって、前記複数のマーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
ユーザインターフェースを介してユーザに、前記環境の表現内の前記複数のマーカのうちの各マーカの位置を示す情報を提示することと、
ユーザインターフェースを介して前記ユーザから、前記複数の物理的物体のうちの1組の物理的物体に関連付けられた前記複数のマーカのうちの1組のマーカの選択を受信することと、
前記ユーザが、前記操作要素と前記1組の物理的物体との物理的相互作用を含む技能の実演を通じて前記操作要素を移動させる場合、前記1組のセンサのうちのセンサの第2サブセットを介して、前記実演中に複数のポイントでセンサ情報を取得することであって、前記センサ情報は、前記操作要素の1組の特徴に関連付けられたセンサデータを含む、取得することと、
前記ユーザインターフェースを介して前記ユーザに、前記1組の特徴から前記技能の学習に関連する特徴のサブセットを前記ユーザが選択することができるように、前記1組の特徴を提示することと、
前記ユーザによって選択された前記特徴のサブセットに関連付けられたセンサデータを使用して前記技能を実行するためのモデルを生成することと、
前記1組のマーカを示すマーカ情報及び前記センサ情報を前記モデルに関連付けることと、を行うように構成される、装置。 - 前記操作要素は、前記1組の物理的物体のうちの物理的物体のサブセットに係合するように構成されたエンドエフェクタを含む、請求項1に記載の装置。
- 前記センサの第2サブセットは前記センサの第1サブセットと異なる、請求項1に記載の装置。
- 前記操作要素は、複数のジョイントを介して連結された複数の可動構成要素を含み、
前記1組のセンサは、
前記複数のジョイントのうちのジョイントに作用する力を測定するように構成された第1センサ、又は
前記複数の可動構成要素のうちの可動構成要素と前記1組の物理的物体のうちの物理的物体との係合を検出するように構成された第2センサの少なくとも1つを含み、
前記プロセッサは、前記第1センサによって測定された力又は前記第2センサによって検出された係合を示すセンサデータを少なくとも使用して前記技能を実行するための前記モデルを生成するように構成される、請求項1に記載の装置。 - 前記操作要素は、(i)複数のジョイントと、(ii)前記1組の物理的物体のうちの物理的物体を移動させるように構成されたエンドエフェクタと、を含み、
前記1組のセンサは、前記エンドエフェクタが前記物理的物体を移動させる場合、前記エンドエフェクタの少なくとも1つ又は前記エンドエフェクタに結合された前記複数のジョイントのうちのジョイントにかけられる力を測定するように構成されたセンサを含み、
前記プロセッサは、前記センサによって測定された力を示すセンサデータを少なくとも使用して前記技能を実行するための前記モデルを生成するように構成される、請求項1に記載の装置。 - 前記プロセッサは、
前記メモリに記憶された機械学習ライブラリから隠れマルコフモデル(HMM)又はサポートベクターマシーン(SVM)アルゴリズムを選択し、
前記ユーザによって選択された前記特徴のサブセットに関連付けられた前記センサデータを使用して前記HMM又はSVMアルゴリズムの1以上のパラメータを設定することによって、前記技能を実行するための前記モデルを生成するように構成される、請求項1に記載の装置。 - 前記環境の表現は前記環境の第1表現であり、前記複数のマーカは複数の第1マーカであり、
前記プロセッサは、前記技能を実行するための前記モデルの生成後に、
前記センサの第2サブセットを介して、前記環境の第2表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を介して、前記環境の第2表現内の複数の第2マーカを識別することであって、前記複数のマーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
前記モデル及び前記複数の第2マーカのうちの1組のマーカを使用して、前記操作要素を使用して前記技能を実行するための軌道を生成することと、を行うように更に構成される、請求項1に記載の装置。 - 前記プロセッサは、
前記ユーザインターフェースを介して前記ユーザに、前記ユーザが前記軌道を許容する又は拒絶することができるように前記軌道を提示することと、
前記軌道の拒絶を示す前記ユーザからの入力を受信することに応答して、前記モデルの1以上のパラメータを変更することと、を行うように更に構成される、請求項7に記載の装置。 - 前記プロセッサは、
前記操作要素を使用して前記技能を実行することと、
前記1組のセンサを使用して、前記技能の実行中にデータを取得することと、
前記ユーザインターフェースを介して前記ユーザから、前記技能の実行が成功したかどうかを示す入力を受信することと、
前記技能の実行が成功したことを示す前記入力に応答して、前記メモリに前記技能の成功した実行に関連付けられた前記データを記憶することと、
前記技能の実行が成功しなかったことを示す前記入力に応答して、前記モデルの1以上のパラメーラを変更することと、を行うように更に構成される、請求項7に記載の装置。 - ロボットデバイスのプロセッサにより実行される命令を表すコードを記憶した非一時的プロセッサ可読媒体であって、前記コードは、前記プロセッサに、
前記ロボットデバイスの1組のセンサを介して環境の表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を使用して前記環境の表現内の複数のマーカを識別することであって、前記複数のマーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
前記ロボットデバイスのユーザインターフェースを介してユーザに、前記複数の物理的物体のうちの1組の物理的物体に関連付けられた前記複数のマーカのうちの1組のマーカを前記ユーザが選択することができるように前記環境の表現内の前記複数のマーカのうちの各マーカの位置を示す情報を提示することと、
前記1組のマーカの選択を受信することに応答して、前記ロボットデバイスの操作要素と前記1組の物理的物体との物理的相互作用の実行に関連付けられたモデルを識別することであって、前記操作要素は複数のジョイント及びエンドエフェクタを含む、識別することと、
前記モデルを使用して、前記物理的相互作用の実行に関連付けられた前記複数のジョイント及び前記エンドエフェクタの移動を含む軌道を生成することと、
前記ユーザインターフェースを介して前記ユーザに、前記ユーザが前記軌道を許容する又は拒絶することができるように前記軌道を提示することと、
前記軌道の許容を示す前記ユーザからの入力を受信することに応答して、前記複数のジョイント及び前記エンドエフェクタの移動を実施して前記物理的相互作用を実行することと、
前記軌道の拒絶を示す前記ユーザからの入力を受信することに応答して、前記モデルの1以上のパラメータを変更して変更モデルを生成し、前記変更モデルを使用して第2軌道を生成することと、を行わせるコードを含む、非一時的プロセッサ可読媒体。 - 前記プロセッサに、前記軌道の許容を示す前記ユーザからの前記入力を受信することに応答して、
前記1組のセンサを介して、前記物理的相互作用の前記実行に関連付けられたセンサ情報を取得することと、
前記センサ情報に基づいて、前記物理的相互作用の前記実行が成功基準を満たすかどうかを判断することと、を行わせるコードを更に含む、請求項10に記載の非一時的プロセッサ可読媒体。 - 前記プロセッサに、
前記物理的相互作用の前記実行が前記成功基準を満たすとの判断に応答して、前記物理的相互作用が成功したことを示す信号を生成することと、
前記物理的相互作用の前記実行が前記成功基準を満たさないとの判断に応答して、
前記センサ情報に基づいて前記モデルを変更して変更モデルを生成することと、
前記変更モデルを使用して、前記操作要素の第2軌道を生成することと、を行わせるコードを更に含む、請求項11に記載の非一時的プロセッサ可読媒体。 - 前記モデルには、(i)記憶された1組のマーカ、(ii)前記記憶された1組のマーカに関連付けられた前記操作要素の記憶された軌道に沿ったポイントにおける前記操作要素の位置又は向きの少なくとも一方を示すセンサ情報、及び(iii)前記記憶された軌道に沿った前記ポイントにおける前記複数のジョイントの構成を示すセンサ情報が関連付けられ、
前記プロセッサに前記軌道を生成させる前記コードは、前記プロセッサに、
前記1組のマーカと前記記憶された1組のマーカとの間の変換関数を計算することと、
各ポイントについて、前記変換関数を使用して、前記操作要素の前記位置又は前記向きの少なくとも一方を変換することと、
各ポイントについて、前記記憶された軌道に沿った前記ポイントにおける前記複数のジョイントの前記構成に基づいて、前記複数のジョイントの計画構成を決定することと、
各ポイントについて、そのポイントの前記複数のジョイントの前記計画構成に基づいて、そのポイントと連続ポイントとの間の前記軌道の部分を特定することと、を行わせるコードを含む、請求項10に記載の非一時的プロセッサ可読媒体。 - 前記プロセッサに、
前記1組のマーカの選択を受信することに応答して、前記ユーザによって選択された前記1組のマーカに対して前記ロボットデバイスを移動させるかどうかを決定することと、
前記1組のマーカに対して前記ロボットデバイスを移動させる決定に応答して、前記ロボットデバイスの搬送要素を使用して前記ロボットデバイスを移動させて、前記操作要素のロケーション又は向きを調整し、前記軌道を生成する前に前記環境の第2表現を取得することと、を行わせるコードを更に含む、請求項10に記載の非一時的プロセッサ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023171232A JP2024001106A (ja) | 2017-02-25 | 2023-10-02 | ロボットが技能を学習し実行するシステム、装置及び方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762463630P | 2017-02-25 | 2017-02-25 | |
US201762463628P | 2017-02-25 | 2017-02-25 | |
US62/463,630 | 2017-02-25 | ||
US62/463,628 | 2017-02-25 | ||
PCT/US2018/019520 WO2018156952A1 (en) | 2017-02-25 | 2018-02-23 | Systems, apparatus, and methods for robotic learning and execution of skills |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023171232A Division JP2024001106A (ja) | 2017-02-25 | 2023-10-02 | ロボットが技能を学習し実行するシステム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020508888A JP2020508888A (ja) | 2020-03-26 |
JP2020508888A5 true JP2020508888A5 (ja) | 2021-04-08 |
Family
ID=61599650
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019545742A Pending JP2020508888A (ja) | 2017-02-25 | 2018-02-23 | ロボットが技能を学習し実行するシステム、装置及び方法 |
JP2023171232A Pending JP2024001106A (ja) | 2017-02-25 | 2023-10-02 | ロボットが技能を学習し実行するシステム、装置及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023171232A Pending JP2024001106A (ja) | 2017-02-25 | 2023-10-02 | ロボットが技能を学習し実行するシステム、装置及び方法 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP3585569B1 (ja) |
JP (2) | JP2020508888A (ja) |
ES (1) | ES2957271T3 (ja) |
WO (1) | WO2018156952A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11148288B2 (en) | 2017-02-25 | 2021-10-19 | Diligent Robotics, Inc. | Systems, apparatus, and methods for robotic learning and execution of skills |
US11833684B2 (en) | 2017-02-25 | 2023-12-05 | Diligent Robotics, Inc. | Systems, apparatus, and methods for robotic learning and execution of skills |
EP3566824B1 (en) * | 2018-05-11 | 2023-06-28 | Siemens Aktiengesellschaft | Method, apparatus, computer-readable storage media and a computer program for robotic programming |
JP6895128B2 (ja) * | 2018-11-09 | 2021-06-30 | オムロン株式会社 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
US11288883B2 (en) * | 2019-07-23 | 2022-03-29 | Toyota Research Institute, Inc. | Autonomous task performance based on visual embeddings |
EP3960392A1 (en) * | 2020-08-24 | 2022-03-02 | ABB Schweiz AG | Method and system for robotic programming |
EP4288254A1 (en) | 2021-02-08 | 2023-12-13 | Diligent Robotics, Inc. | Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6587752B1 (en) * | 2001-12-25 | 2003-07-01 | National Institute Of Advanced Industrial Science And Technology | Robot operation teaching method and apparatus |
JP2003256025A (ja) * | 2001-12-25 | 2003-09-10 | National Institute Of Advanced Industrial & Technology | ロボット動作教示方法及び装置 |
JPWO2004106009A1 (ja) * | 2003-06-02 | 2006-07-20 | 松下電器産業株式会社 | 物品取扱いシステムおよび物品取扱いサーバ |
JP3920317B2 (ja) * | 2004-08-02 | 2007-05-30 | 松下電器産業株式会社 | 物品運搬用ロボット |
ATE524784T1 (de) * | 2005-09-30 | 2011-09-15 | Irobot Corp | Begleitroboter für persönliche interaktion |
FR2898824B1 (fr) * | 2006-03-27 | 2009-02-13 | Commissariat Energie Atomique | Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif |
US8843236B2 (en) * | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
US9643314B2 (en) * | 2015-03-04 | 2017-05-09 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
JP6164319B2 (ja) * | 2016-03-02 | 2017-07-19 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
-
2018
- 2018-02-23 EP EP18709902.3A patent/EP3585569B1/en active Active
- 2018-02-23 JP JP2019545742A patent/JP2020508888A/ja active Pending
- 2018-02-23 ES ES18709902T patent/ES2957271T3/es active Active
- 2018-02-23 EP EP23177804.4A patent/EP4292775A2/en active Pending
- 2018-02-23 WO PCT/US2018/019520 patent/WO2018156952A1/en unknown
-
2023
- 2023-10-02 JP JP2023171232A patent/JP2024001106A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020508888A5 (ja) | ||
EP3869464B1 (en) | Learning apparatus and learning method | |
JP2024001106A5 (ja) | ||
US10350768B2 (en) | Control device, robot, and robot system | |
JP2019063984A5 (ja) | 情報処理装置及び情報処理方法 | |
JP2018501973A5 (ja) | ||
JP2018161692A5 (ja) | ||
JP2013043271A5 (ja) | ||
US20160136807A1 (en) | Determination of Object-Related Gripping Regions Using a Robot | |
WO2010136961A1 (en) | Control device and method for controlling a robot | |
JP2018051652A (ja) | ロボットシステム | |
CN110293553B (zh) | 控制机械臂操作物体的方法、装置及模型训练方法、装置 | |
JP6570540B2 (ja) | マニュピュレータ及び入力ツールを用いて対象体をハンドリングする方法 | |
JP2010064155A (ja) | 把持装置 | |
JP2015112654A (ja) | 制御装置、ロボット、教示データ生成方法及びロボットシステム | |
JP2018526727A (ja) | ツールオフセットを決定するシステムおよび方法 | |
CN110293549B (zh) | 机械臂控制方法、装置及神经网络模型训练方法、装置 | |
JP6838833B2 (ja) | 把持装置、把持方法、及びプログラム | |
JP2015186834A (ja) | ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム | |
Budiharto | Robust vision-based detection and grasping object for manipulator using SIFT keypoint detector | |
JP2021045810A (ja) | モーション情報生成装置、エンドエフェクタ、ロボット及びロボットシステム | |
JP2015145050A (ja) | ロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム | |
JP2006315128A (ja) | ロボットハンドの持ち替え把持制御方法。 | |
JP6947908B2 (ja) | 少なくとも1つの使用者の動きを支援する方法及び対応する装置 | |
JP2015160292A (ja) | ロボット制御装置、ロボットおよびロボット制御方法 |