JP2016196079A - ロボットの動作を改善する方法 - Google Patents
ロボットの動作を改善する方法 Download PDFInfo
- Publication number
- JP2016196079A JP2016196079A JP2016038697A JP2016038697A JP2016196079A JP 2016196079 A JP2016196079 A JP 2016196079A JP 2016038697 A JP2016038697 A JP 2016038697A JP 2016038697 A JP2016038697 A JP 2016038697A JP 2016196079 A JP2016196079 A JP 2016196079A
- Authority
- JP
- Japan
- Prior art keywords
- action
- actions
- original
- composite
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40499—Reinforcement learning algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
【解決手段】アクションライブラリに保存されているオリジナルアクションのセットのうちの少なくとも2つのアクションを組み合わせて複合アクションを生成するステップと、前記オリジナルアクションに加えて前記複合アクションをアクションライブラリに保存するステップと、アクションライブラリ内に現在保存されているアクションのセットに強化学習アルゴリズムを適用して前記オリジナルアクションと前記複合アクションとを用いる制御ポリシーを学習するステップと、最終的に、結果として得られたアクションライブラリに基づいてロボットを作動させるステップと、を有する。
【選択図】図2
Description
モーション:この場合、ロボットアクチュエータを用いて環境が操作され、あるいはロボットが移動される。
実現可能性は、アクションの組合せがロボットの制約条件を満たしているということだけで判断されるのではなく、関連する状況に対してその複合アクションが有用であるか否かをも考慮しなければならない。このことは、生成された複合アクションを追加した後のアクションライブラリに基づいて新しい制御ポリシーを学習することにより評価され得る。学習そのものは、すでに述べたように、最新の強化学習テクニックを用いて実行される。図4は、学習プロセスが開始されたときの初期テーブルであり得るテーブルを示している。使用されるQ学習アルゴリズムは、複合アクションを学習するためいくつかの特別な態様を考慮しなければならない。
Q学習は、開拓ステップ(exploitation step)の際に最高のQ値を持つアクションを選択するので、本アルゴリズムは、新しい複合アクションの探索に集中するように強制され、学習速度が大幅に改善される。強化学習ステップの結果は、以前の既存のアクションと、(可能であれば)いくつかの複合アクションと、を用いる制御ポリシーである。すなわち、ポリシーは、どのアクションが実現可能であるかについての情報を含むのみならず、それらを使用し得る状況についての情報も含む。
Claims (9)
- 予め定義されたアクションのセットに基づいて作動される少なくとも一つのロボットの動作を改善する方法であって、
−アクションライブラリに保存されているオリジナルアクションのセットのうちの少なくとも2つのアクションを組み合わせて複合アクション(S1、S3)を生成するステップと、
−前記オリジナルアクションに加えて前記複合アクションをアクションライブラリ(6)に保存するステップと、
−アクションライブラリ(6)内に現在保存されているアクションのセットに強化学習アルゴリズムを適用して、前記オリジナルアクションと前記複合アクションとを用いる制御ポリシーを学習するステップと、
−結果として得られたアクションライブラリ(6)に基づいて、ロボット(10、15.1、15.2)を作動させるステップと、
を有する方法。 - 前記学習ステップの後で使用しないことに決定された複合アクションが、前記アクションライブラリ(6)から削除される(S5)、
ことを特徴とする、請求項1に記載の方法。 - 前記複合アクションは、2つのオリジナルアクションの組み合わせであり、そのような組み合わせは、前記アクションライブラリ(6)の全てのオリジナルアクションのうちのオリジナルアクションの、全ての可能なペアについて実行される(S1)、
ことを特徴とする、請求項1又は2に記載の方法。 - どの複合アクションが不可能かを決定し、それら不可能な複合アクションを前記ライブラリに保存することを行わない、
ことを特徴とする、請求項3に記載の方法。 - 前記生成するステップ(S3)では、前記アクションライブラリ(6)のオリジナルアクションの前記セットに以前に適用された強化学習ステップ(S2)の結果である制御ポリシー内でシーケンシャルに現れる任意の2つのオリジナルアクションが結合される、
ことを特徴とする、請求項1又は2に記載の方法。 - 前記オリジナルアクションと前記複合アクションとを含むアクションの前記セットについての制御ポリシーの学習が、前記強化学習アルゴリズムを適用することにより実行される(S4)際に、前記オリジナルアクションのみに基づいて生成された制御ポリシー(S2)についての知識が使用される、
ことを特徴とする、請求項1ないし5のいずれか一項に記載の方法。 - 前記強化学習アルゴリズムの適用のため、複合アクション及び又はより速いタスク達成を良しとする報酬関数が用いられる、
ことを特徴とする、請求項1ないし6のいずれか一項に記載の方法。 - 少なくとも、前記複合アクションを生成するステップ(S1、S3)、前記複合アクションを保存するステップ、及び強化学習アルゴリズムを適用するステップ(S4)が、シミュレーションとして実行される、
ことを特徴とする、請求項1ないし7のいずれか一項に記載の方法。 - 少なくとも、前記複合アクションを生成するステップ(S1、S3)、前記複合アクションを保存するステップ、及び強化学習アルゴリズムを適用するステップ(S4)は、複数回実行され、各繰り返し実行の際に、結果として得られたアクションライブラリ(6)のすべてのアクションが、次の繰り返し実行のためのオリジナルアクションを構成する、
ことを特徴とする、請求項1ないし8のいずれか一項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15162447.5 | 2015-04-02 | ||
EP15162447.5A EP3075496B1 (en) | 2015-04-02 | 2015-04-02 | Method for improving operation of a robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016196079A true JP2016196079A (ja) | 2016-11-24 |
JP6695170B2 JP6695170B2 (ja) | 2020-05-20 |
Family
ID=52824077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016038697A Active JP6695170B2 (ja) | 2015-04-02 | 2016-03-01 | ロボットの動作を改善する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10279474B2 (ja) |
EP (1) | EP3075496B1 (ja) |
JP (1) | JP6695170B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3305860A1 (en) | 2016-10-04 | 2018-04-11 | Shin-Etsu Chemical Co., Ltd. | Copolymer of triisopropylsilyl (meth)acrylate with (meth)acrylic acid derivative and making method |
WO2022013933A1 (ja) * | 2020-07-14 | 2022-01-20 | 日本電気株式会社 | 制御装置、制御方法及び記憶媒体 |
JP2022027567A (ja) * | 2020-07-30 | 2022-02-10 | ネイバーラボス コーポレーション | ロボット作業の学習方法及びロボットシステム |
WO2022085339A1 (ja) * | 2020-10-19 | 2022-04-28 | オムロン株式会社 | 動作計画装置、動作計画方法、及び動作計画プログラム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9358685B2 (en) * | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
JP6457473B2 (ja) * | 2016-12-16 | 2019-01-23 | ファナック株式会社 | ロボットおよびレーザスキャナの動作を学習する機械学習装置,ロボットシステムおよび機械学習方法 |
US10453345B2 (en) * | 2017-01-30 | 2019-10-22 | International Business Machines Corporation | Autonomous presentation of a self-driving vehicle |
US11568236B2 (en) | 2018-01-25 | 2023-01-31 | The Research Foundation For The State University Of New York | Framework and methods of diverse exploration for fast and safe policy improvement |
JP6933167B2 (ja) * | 2018-03-14 | 2021-09-08 | オムロン株式会社 | ロボットの制御装置 |
US11235467B2 (en) * | 2018-04-23 | 2022-02-01 | University Of Southern California | System and method for trajectory planning for manipulators in robotic finishing applications |
US11000950B2 (en) * | 2018-06-01 | 2021-05-11 | X Development Llc | Robotic motion planning |
US12005578B2 (en) | 2018-09-04 | 2024-06-11 | Ocado Innovations Limited | Real-time real-world reinforcement learning systems and methods |
US11292133B2 (en) * | 2018-09-28 | 2022-04-05 | Intel Corporation | Methods and apparatus to train interdependent autonomous machines |
JP2021033685A (ja) | 2019-08-26 | 2021-03-01 | 株式会社デンソー | 学習プログラム及び学習方法 |
WO2021037869A1 (en) | 2019-08-28 | 2021-03-04 | Ventana Medical Systems, Inc. | Assessing antigen retrieval and target retrieval progression quantitation with vibrational spectroscopy |
EP4022287A1 (en) | 2019-08-28 | 2022-07-06 | Ventana Medical Systems, Inc. | Systems and methods for assessing specimen fixation duration and quality using vibrational spectroscopy |
JP2022546430A (ja) | 2019-08-28 | 2022-11-04 | ベンタナ メディカル システムズ, インコーポレイテッド | 振動分光法によるバイオマーカー発現の無標識評価 |
CN110658829B (zh) * | 2019-10-30 | 2021-03-30 | 武汉理工大学 | 一种基于深度强化学习的群无人艇智能避碰方法 |
CN112297005B (zh) * | 2020-10-10 | 2021-10-22 | 杭州电子科技大学 | 一种基于图神经网络强化学习的机器人自主控制方法 |
CN112580582B (zh) * | 2020-12-28 | 2023-03-24 | 达闼机器人股份有限公司 | 动作学习方法、装置、介质及电子设备 |
US11999060B2 (en) | 2020-12-28 | 2024-06-04 | Cloudminds Robotics Co., Ltd. | Action learning method, medium, and electronic device |
CN117697763A (zh) * | 2024-01-23 | 2024-03-15 | 北京智源人工智能研究院 | 一种基于大模型的双臂操作任务学习方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5367449A (en) * | 1992-05-27 | 1994-11-22 | Michael Manthey | Artificial intelligence system |
JP2000122992A (ja) * | 1998-08-12 | 2000-04-28 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
JP2006268812A (ja) * | 2005-02-23 | 2006-10-05 | Sony Corp | 学習制御装置および学習制御方法、並びに、プログラム |
WO2013192490A2 (en) * | 2012-06-21 | 2013-12-27 | Rethink Robotics, Inc. | Training and operating industrial robots |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5608843A (en) * | 1994-08-01 | 1997-03-04 | The United States Of America As Represented By The Secretary Of The Air Force | Learning controller with advantage updating algorithm |
US8265789B2 (en) | 2007-12-03 | 2012-09-11 | Electronics And Telecommunications Research Institute | Network-based robot system and method for action execution of robot |
WO2013049633A1 (en) * | 2011-09-28 | 2013-04-04 | Causata Inc. | Online asynchronous reinforcement learning from concurrent customer histories |
JP2013242761A (ja) * | 2012-05-22 | 2013-12-05 | Internatl Business Mach Corp <Ibm> | マルコフ決定過程システム環境下における方策パラメータを更新するための方法、並びに、その制御器及び制御プログラム |
US9358685B2 (en) * | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
CN106030427B (zh) * | 2014-02-20 | 2020-09-08 | M·奥利尼克 | 用于在机器人烹饪厨房中制备食物的方法和系统 |
US9555545B2 (en) * | 2014-05-21 | 2017-01-31 | Bot & Dolly, Llc | Systems and methods for time-based parallel robotic operation |
US10585548B2 (en) * | 2015-03-03 | 2020-03-10 | Soroco Private Limited | Software robots for programmatically controlling computer programs to perform tasks |
-
2015
- 2015-04-02 EP EP15162447.5A patent/EP3075496B1/en active Active
-
2016
- 2016-03-01 JP JP2016038697A patent/JP6695170B2/ja active Active
- 2016-03-30 US US15/084,705 patent/US10279474B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5367449A (en) * | 1992-05-27 | 1994-11-22 | Michael Manthey | Artificial intelligence system |
JP2000122992A (ja) * | 1998-08-12 | 2000-04-28 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
JP2006268812A (ja) * | 2005-02-23 | 2006-10-05 | Sony Corp | 学習制御装置および学習制御方法、並びに、プログラム |
WO2013192490A2 (en) * | 2012-06-21 | 2013-12-27 | Rethink Robotics, Inc. | Training and operating industrial robots |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3305860A1 (en) | 2016-10-04 | 2018-04-11 | Shin-Etsu Chemical Co., Ltd. | Copolymer of triisopropylsilyl (meth)acrylate with (meth)acrylic acid derivative and making method |
WO2022013933A1 (ja) * | 2020-07-14 | 2022-01-20 | 日本電気株式会社 | 制御装置、制御方法及び記憶媒体 |
JPWO2022013933A1 (ja) * | 2020-07-14 | 2022-01-20 | ||
JP7452657B2 (ja) | 2020-07-14 | 2024-03-19 | 日本電気株式会社 | 制御装置、制御方法及びプログラム |
JP2022027567A (ja) * | 2020-07-30 | 2022-02-10 | ネイバーラボス コーポレーション | ロボット作業の学習方法及びロボットシステム |
JP7230128B2 (ja) | 2020-07-30 | 2023-02-28 | ネイバーラボス コーポレーション | ロボット作業の学習方法及びロボットシステム |
WO2022085339A1 (ja) * | 2020-10-19 | 2022-04-28 | オムロン株式会社 | 動作計画装置、動作計画方法、及び動作計画プログラム |
JP7480670B2 (ja) | 2020-10-19 | 2024-05-10 | オムロン株式会社 | 動作計画装置、動作計画方法、及び動作計画プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6695170B2 (ja) | 2020-05-20 |
EP3075496B1 (en) | 2022-05-04 |
EP3075496A1 (en) | 2016-10-05 |
US20160288323A1 (en) | 2016-10-06 |
US10279474B2 (en) | 2019-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695170B2 (ja) | ロボットの動作を改善する方法 | |
US11458626B2 (en) | Trajectory generating method, and trajectory generating apparatus | |
Kaltsoukalas et al. | On generating the motion of industrial robot manipulators | |
US8924016B2 (en) | Apparatus for planning path of robot and method thereof | |
JP5686775B2 (ja) | ロボット制御インターフェイスの動的最適化のための方法 | |
US20190232496A1 (en) | Method for collision-free motion planning | |
JP7387920B2 (ja) | ロボットを制御するための方法及びロボットコントローラ | |
KR20100081824A (ko) | 로봇의 경로계획장치 및 그 방법 | |
CN114063446A (zh) | 用于控制机器人设备的方法和机器人设备控制器 | |
US11890758B2 (en) | Robot planning from process definition graph | |
US11806872B2 (en) | Device and method for controlling a robotic device | |
Mayr et al. | Skill-based multi-objective reinforcement learning of industrial robot tasks with planning and knowledge integration | |
Guerin et al. | Adjutant: A framework for flexible human-machine collaborative systems | |
CN114516060A (zh) | 用于控制机器人装置的设备和方法 | |
US11577392B2 (en) | Splitting transformers for robotics planning | |
US11747787B2 (en) | Combining transformers for robotics planning | |
JP5272447B2 (ja) | 数値制御機械の動作シミュレータ | |
Petschnigg et al. | Online simulation for flexible robotic manufacturing | |
Kojcev et al. | Evaluation of deep reinforcement learning methods for modular robots | |
Sheetz et al. | Composable Causality in Semantic Robot Programming | |
KR20100078040A (ko) | 멀티모달 시스템 및 그 입력처리방법 | |
Rodríguez et al. | Optimization of robot coordination using temporal synchronization | |
Phan et al. | Systematic Review of Smart Robotic Manufacturing in the Context of Industry 4.0 | |
Akbulut et al. | Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration | |
US20230141855A1 (en) | Device and method for controlling a robot device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170802 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6695170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |