JP2019005834A - 学習システム及び学習方法 - Google Patents
学習システム及び学習方法 Download PDFInfo
- Publication number
- JP2019005834A JP2019005834A JP2017122289A JP2017122289A JP2019005834A JP 2019005834 A JP2019005834 A JP 2019005834A JP 2017122289 A JP2017122289 A JP 2017122289A JP 2017122289 A JP2017122289 A JP 2017122289A JP 2019005834 A JP2019005834 A JP 2019005834A
- Authority
- JP
- Japan
- Prior art keywords
- control
- learning
- condition
- robot
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000013016 learning Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000010354 integration Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 11
- 239000000470 constituent Substances 0.000 description 8
- 230000006399 behavior Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Feedback Control In General (AREA)
Abstract
Description
(第1実施形態)
<1−1.構成>
まず、本実施形態に係る学習システム100の構成について、図1を参照して説明する。学習システム100は、ロボットの手先10と、PC50と、カメラ60と、を備える。学習システム100は、直線運動する動的な障害物30を回避して、手先10で掴んだ物体11を目標地Taまで運ぶための手先10の行動系列を獲得することを想定している。
カメラ60は、所定周期で手先10を観察した観察画像を撮影し、観察画像をPC50へ入力する。観察画像は、手先10と物体11と障害物30と目標地Taを撮影した画像データである。本実施形態では、行動系列として、各モータに対する制御信号であるトルク値の系列を獲得するが、トルク値以外の制御信号の系列を獲得してもよい。
次に、第1実施形態に係る手先10の行動系列を学習する処理手順について、図7のフローチャートを参照して説明する。本処理手順は、PC50が実行する。
続いて、S20では、condに1を設定する。コンディションは、予めコンディション1からコンディションmax_condの異なるmax_cond個のコンディションが設定されている。
続いて、S40では、コンディションcondについて、最適制御による軌道Trの生成の収束性を判定する。最適制御による軌道Trの生成が収束しなかった場合には、S50へ進み、最適制御による軌道Trの生成が収束した場合には、S60へ進む。
続いて、S90では、itrがmax_itr未満か否か判定する。itrがmax_itr未満の場合には、itrの値を「1」増加させて、S20の処理へ戻り、S20〜S90の処理を繰り返し実行する。一方、itrがmax_itrと一致する場合、つまり、予め設定された学習回数の学習を終了した場合には、本処理を終了する。
図7のフローチャートに示す処理手順により獲得された行動系列を用いて、手先10を制御した場合における手先10の動作について、図8を参照して説明する。時刻T及びT+1のコンディションは、障害物30が目標地Taに近く、学習時に最適制御による軌道Trの生成が収束しないコンディションである。また、時刻T+1のコンディションは、障害物30が目標地Taから遠ざかり、学習時に最適制御による軌道Trの生成が収束するコンディションである。学習時に、時刻T及びT+1のような収束しないコンディションについは、例外制御によりその場に停止する軌道Trが生成された。これにより、制御時に、障害物30が目的地Taの近くに存在する時刻T及びT+1では、手先10はその場に留まり、障害物30が目標地Taから遠ざかった時刻T+2になってから、手先10目標Taへ向かって移動する。すなわち、手先10の安定した動作が実現される。
以上説明した第1実施形態によれば、以下の効果が得られる。
(1)動的な障害物30の異なる位置とロボットの初期状態とからなる複数のコンディションのそれぞれについて、最適制御により目標地Taまでの軌道Trが生成される。そして、ロボットの挙動が不安になりやすいコンディションである、最適制御による軌道Trの生成が収束しないコンディションについて、例外制御により軌道Trが生成される。そして、生成された各コンディションについての軌道Trがニューラルネット学習により一般化されて、行動系列が獲得される。したがって、障害物30が移動する動的環境下において、安全かつ最適な行動系列を獲得することができる。
<2−1.第1実施形態との相違点>
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
次に、第2実施形態に係る手先10の行動系列を学習する処理手順について、図9のフローチャートを参照して説明する。本処理手順は、PC50が実行する。
続いて、S130では、itrが予め設定された回数であるNi以上か否か判定する。Niは自然数である。図10に、コンディション1〜3について、学習回数に対するコスト関数の値を示す。コンディション1〜3のうち、コンディション1及び2は収束するコンディションであり、コンディション3は収束しないコンディションである。図10に示すように、コンディション1及び2は、学習の経過に伴い収束に向かうが、学習の初期では収束していない。そのため、学習の初期に収束性を判定すると、収束するようなコンディションも収束しないと判定してしまう可能性がある。
以上説明した第2実施形態によれば、前述した第1実施形態の効果(1),(2)に加え、以下の効果が得られる。
(4)最適制御のコスト関数の値が閾値未満となる場合に、収束したと判定することで、適切に収束性を判定することができる。
<3−1.第1実施形態との相違>
第3実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
次に、第3実施形態に係る手先10の行動系列を学習する処理手順について、図11のフローチャートを参照して説明する。本処理手順は、PC50が実行する。
以上説明した第3実施形態によれば、前述した第1実施形態及び第2実施形態の効果(1),(3),(4)に加え、以下の効果が得られる。
<4−1.第3実施形態との相違>
第4実施形態は、基本的な構成は第3実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第3実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。第4実施形態は、回避目標地Taaまでの軌跡Trの生成手法が第3実施形態と異なる。
まず、S400〜S450では、S200〜S250と同様の処理を行う。
以上説明した、説明した第4実施形態によれば、前述した第1〜第3実施形態の効果(1),(3),(4),(5)に加え、以下の効果が得られる。
(6)最適制御により回避目標地Taaまでの軌跡Trが生成されるため、逆運動学や逆動力学による計算を解く必要がない。すなわち、ロボットモデルが必要ない。
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(b)上記各実施形態では、最適制御は、障害物30の座標値と各関節の間接角を入力としたが、これに限定されるものではない。例えば、最適制御は、障害物30の座標値と各間接角の角速度を入力としてもよい。
Claims (12)
- ロボット(10)の状態と、前記ロボットの観察画像とから、前記ロボットの制御信号を生成する学習システム(100)であって、
前記ロボットの状態の初期値と障害物(30)の互いに異なる位置とからなる予め設定された複数のコンディションのそれぞれについて、最適制御により前記ロボットが前記障害物を回避して目標位置へ到達する制御出力を生成するように構成された出力生成部(50,S30,S120)と、
前記コンディションごとに、前記最適制御による制御出力の生成の収束性を判定するように構成された判定部(50)と、
前記判定部により収束しないと判定された前記コンディションについて、例外制御による制御出力を生成するように構成された例外生成部(50,S50)と、
ニューラルネットワークの汎化性能を利用して、前記コンディションごとに生成された前記制御出力を統合するように構成された統合部(50,S80)と、
前記統合部による統合結果を前記最適制御にフィードバックして、前記コンディションごとの前記制御出力の生成と、前記コンディションごとに生成された前記制御出力の統合とを、予め設定された学習回数繰り返して学習するように構成された学習部(50,S90)と、
を備える、学習システム。 - 前記判定部(S130)は、前記学習部により前記学習回数のうちの予め設定された回数の学習が経過した後で、前記収束性の判定を行うように構成されている、
請求項1に記載の学習システム。 - 前記判定部(S140)は、前記最適制御のコスト関数の値を用いて、前記収束性を判定するように構成されている、
請求項1又は2に記載の学習システム。 - 前記例外生成部(S50)は、前記例外制御として、その場に留まる制御出力を生成するように構成されている、
請求項1〜3のいずれか1項に記載の学習システム。 - 前記例外生成部は、
センシングにより前記ロボットと前記障害物との距離を算出するように構成された距離算出部(S240)と、
前記距離算出部により算出された距離が、予め設定された距離閾値未満の場合に、前記障害物を回避しつつ、前記目標位置へ到達可能な回避目標位置を算出するように構成された回避目標算出部(S250)と、
前記回避目標算出部により算出された前記回避目標位置に到達する制御出力を生成するように構成された回避出力生成部(S260)と、を備え、
前記距離算出部、前記回避目標算出部、及び前記回避出力生成部が、前記例外制御を実行する、
請求項1〜3のいずれか1項に記載の学習システム。 - 前記回避出力生成部(S460)は、前記最適制御により、前記回避目標算出部により算出された前記回避目標位置に到達する前記制御出力を生成するように構成されている、
請求項5に記載の学習システム。 - ロボット(10)の状態と、前記ロボットの観察画像とから、前記ロボットの制御信号を生成する学習方法であって、
前記ロボットの状態の初期値と障害物(30)の互いに異なる位置とからなる予め設定された複数のコンディションのそれぞれについて、最適制御により前記ロボットが前記障害物を回避して目標位置へ到達する制御出力を生成し、
前記コンディションごとに、前記最適制御による制御出力の生成の収束性を判定し、
収束しないと判定された前記コンディションについて、例外制御による制御出力を生成し、
ニューラルネットワークの汎化性能を利用して、コンディションごとに生成された前記制御出力を統合し、
前記制御出力の統合結果を前記最適制御にフィードバックして、前記コンディションごとの前記制御出力の生成と、前記コンディションごとに生成された前記制御出力の統合とを、予め設定された学習回数繰り返して学習する、
学習方法。 - 前記学習回数のうちの予め設定された回数の学習が経過した後で、前記収束性を判定する、
請求項7に記載の学習方法。 - 前記収束性を判定する際に、前記最適制御のコスト関数の値を用いて、前記収束性を判定する、
請求項7又は8に記載の学習方法。 - 収束しないと判定された前記コンディションについて、前記例外制御により、その場に留まる制御出力を生成する、
請求項7〜9のいずれか1項に記載の学習方法。 - 収束しないと判定された前記コンディションについて、前記例外制御として、
センシングにより前記ロボットと前記障害物との距離を算出し、
算出された前記距離が、予め設定された距離閾値未満の場合に、前記障害物を回避しつつ、前記目標位置へ到達可能な回避目標位置を算出し、
算出された前記回避目標位置に到達する制御出力を生成する、
請求項7〜9のいずれか1項に記載の学習方法。 - 収束しないと判定された前記コンディションについて、前記例外制御として、
前記最適制御により、算出された前記回避目標位置に到達する前記制御出力を生成する、
請求項11に記載の学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122289A JP2019005834A (ja) | 2017-06-22 | 2017-06-22 | 学習システム及び学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122289A JP2019005834A (ja) | 2017-06-22 | 2017-06-22 | 学習システム及び学習方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019005834A true JP2019005834A (ja) | 2019-01-17 |
Family
ID=65025670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017122289A Pending JP2019005834A (ja) | 2017-06-22 | 2017-06-22 | 学習システム及び学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019005834A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020162136A1 (ja) * | 2019-02-08 | 2020-08-13 | コベルコ建機株式会社 | 損害推定装置及び機械学習装置 |
JP2020194432A (ja) * | 2019-05-29 | 2020-12-03 | トヨタ自動車株式会社 | 機械学習方法および移動ロボット |
CN112230649A (zh) * | 2019-06-28 | 2021-01-15 | 丰田自动车株式会社 | 机器学习方法及移动机器人 |
JPWO2021033315A1 (ja) * | 2019-08-22 | 2021-02-25 | ||
JP2021091079A (ja) * | 2019-12-10 | 2021-06-17 | 富士フイルム株式会社 | ロボットの制御装置、制御方法、及びプログラム |
US11673271B2 (en) | 2020-02-05 | 2023-06-13 | Denso Corporation | Trajectory generation apparatus, multi-link system, and trajectory generation method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05119823A (ja) * | 1991-10-24 | 1993-05-18 | Hitachi Ltd | ロボツトの軌道計画方法及び制御装置 |
JPH07223181A (ja) * | 1994-02-09 | 1995-08-22 | Yaskawa Electric Corp | マニピュレータの干渉チェック装置 |
JP2004001217A (ja) * | 2002-05-30 | 2004-01-08 | Kuka Roboter Gmbh | ロボットと他の物体との衝突を回避する方法と装置 |
-
2017
- 2017-06-22 JP JP2017122289A patent/JP2019005834A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05119823A (ja) * | 1991-10-24 | 1993-05-18 | Hitachi Ltd | ロボツトの軌道計画方法及び制御装置 |
JPH07223181A (ja) * | 1994-02-09 | 1995-08-22 | Yaskawa Electric Corp | マニピュレータの干渉チェック装置 |
JP2004001217A (ja) * | 2002-05-30 | 2004-01-08 | Kuka Roboter Gmbh | ロボットと他の物体との衝突を回避する方法と装置 |
Non-Patent Citations (1)
Title |
---|
SERGEY LEVINE 他: "End-to-End Training of Deep Visuomotor Policies", JOURNAL OF MACHINE LEARNING RESEARCH, JPN7021001981, April 2016 (2016-04-01), pages 1 - 40, ISSN: 0004720659 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020162136A1 (ja) * | 2019-02-08 | 2020-08-13 | コベルコ建機株式会社 | 損害推定装置及び機械学習装置 |
JP2020128656A (ja) * | 2019-02-08 | 2020-08-27 | コベルコ建機株式会社 | 損害推定装置及び機械学習装置 |
JP7206985B2 (ja) | 2019-02-08 | 2023-01-18 | コベルコ建機株式会社 | 損害推定装置及び機械学習装置 |
JP2020194432A (ja) * | 2019-05-29 | 2020-12-03 | トヨタ自動車株式会社 | 機械学習方法および移動ロボット |
JP7188279B2 (ja) | 2019-05-29 | 2022-12-13 | トヨタ自動車株式会社 | 機械学習方法および移動ロボット |
CN112230649A (zh) * | 2019-06-28 | 2021-01-15 | 丰田自动车株式会社 | 机器学习方法及移动机器人 |
CN112230649B (zh) * | 2019-06-28 | 2024-01-09 | 丰田自动车株式会社 | 机器学习方法及移动机器人 |
JPWO2021033315A1 (ja) * | 2019-08-22 | 2021-02-25 | ||
JP7334784B2 (ja) | 2019-08-22 | 2023-08-29 | 日本電気株式会社 | ロボット制御システム、ロボット制御方法、及び、プログラム |
JP2021091079A (ja) * | 2019-12-10 | 2021-06-17 | 富士フイルム株式会社 | ロボットの制御装置、制御方法、及びプログラム |
JP7270580B2 (ja) | 2019-12-10 | 2023-05-10 | 富士フイルム株式会社 | ロボットの制御装置、制御方法、及びプログラム |
US11673271B2 (en) | 2020-02-05 | 2023-06-13 | Denso Corporation | Trajectory generation apparatus, multi-link system, and trajectory generation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019005834A (ja) | 学習システム及び学習方法 | |
Martinsen et al. | Straight-path following for underactuated marine vessels using deep reinforcement learning | |
Haidegger et al. | Cascade control for telerobotic systems serving space medicine | |
Cho et al. | Neural network based adaptive actuator fault detection algorithm for robot manipulators | |
Yang et al. | Integrating visual foundation models for enhanced robot manipulation and motion planning: A layered approach | |
Koutras et al. | Dynamic movement primitives for moving goals with temporal scaling adaptation | |
Chocron et al. | Dynamic reconfiguration of autonomous underwater vehicles propulsion system using genetic optimization | |
Blekas et al. | RL-based path planning for an over-actuated floating vehicle under disturbances | |
Veer et al. | Adaptation of limit-cycle walkers for collaborative tasks: A supervisory switching control approach | |
Wang et al. | Learning robotic insertion tasks from human demonstration | |
Krug et al. | Representing movement primitives as implicit dynamical systems learned from multiple demonstrations | |
Mohammad Hossein Fallah et al. | Conjugated visual predictive control for constrained visual servoing | |
Yu et al. | A robotic auto-focus system based on deep reinforcement learning | |
Petrovic et al. | Sim2real deep reinforcement learning of compliance-based robotic assembly operations | |
Wang et al. | Hand movement prediction based collision-free human-robot interaction | |
Kim et al. | Image-based visual servoing using sliding mode control | |
Jasna et al. | Remodeled A* algorithm for mobile robot agents with obstacle positioning | |
Trimble et al. | Context-aware robotic arm using fast embedded model predictive control | |
Liu et al. | Human robot cooperation based on human intention inference | |
Kim et al. | Epsilon-greedy babbling | |
Cheng et al. | Consensus of multiple Euler-Lagrange systems using one Euler-Lagrange System’s velocity measurements | |
Dehkordi et al. | Dynamic modeling and decoupled control of linear and angular velocity for robotic fish | |
Gholipour et al. | Designing a robust control scheme for robotic systems with an adaptive observer | |
Satak | Behavior learning in differential games and reorientation maneuvers | |
Li et al. | Towards coordination in human-robot interaction by adaptation of robot's cost function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220906 |