JP2011031349A - ロボットおよび制御システム - Google Patents
ロボットおよび制御システム Download PDFInfo
- Publication number
- JP2011031349A JP2011031349A JP2009181070A JP2009181070A JP2011031349A JP 2011031349 A JP2011031349 A JP 2011031349A JP 2009181070 A JP2009181070 A JP 2009181070A JP 2009181070 A JP2009181070 A JP 2009181070A JP 2011031349 A JP2011031349 A JP 2011031349A
- Authority
- JP
- Japan
- Prior art keywords
- module
- action
- robot
- candidate
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 251
- 230000005021 gait Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000000087 stabilizing effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 abstract description 14
- 238000011156 evaluation Methods 0.000 description 54
- 238000000034 method Methods 0.000 description 50
- 101100457838 Caenorhabditis elegans mod-1 gene Proteins 0.000 description 33
- 101150110972 ME1 gene Proteins 0.000 description 33
- 230000007246 mechanism Effects 0.000 description 33
- 210000002414 leg Anatomy 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 238000013459 approach Methods 0.000 description 14
- 210000001503 joint Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 210000002683 foot Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 210000000629 knee joint Anatomy 0.000 description 5
- 210000000544 articulatio talocruralis Anatomy 0.000 description 4
- 210000004394 hip joint Anatomy 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【解決手段】周波数帯域の高低に応じて階層化されている複数のモジュールmodiのそれぞれが、自己モジュールが主担当する主目的を他のモジュールが主担当する副目的よりも優先させながら、主目的および副目的に適合するロボットRの行動形態の候補である行動候補を探索するように構成されている。低周波の第j+1モジュールにより探索されたロボットRの行動候補よりも、高周波の第jモジュールにより探索されたロボットRの行動候補を優先的に反映させた形でロボットRの行動が制御される。
【選択図】 図14
Description
まず、本発明の一実施形態としてのロボットの構成について説明する。
図2に示されている制御システム1は、制御モジュールmod0と、第1モジュール(安定化モジュール)mod1と、第2モジュール(障害物回避モジュール)mod2と、第3モジュール(経路生成モジュール)mod3とを備えている。
第1モジュールmod1はロボットRの姿勢を安定させることを主目的(第1行動目的)として主担当する。第1モジュールmod1は第1演算周期T1ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
第2モジュールmod2はロボットRに物体との接触を回避させることを主目的(第2行動目的)として主担当する。第2モジュールmod2は第1演算周期T1より長い第2演算周期T2(たとえばT2=2T1)ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
第3モジュールmod3はロボットRを目標位置まで移動させることを主目的(第3行動目的)として主担当する。第3モジュールmod3は第2演算周期T2より長い第3演算周期T3(たとえばT3=2T2)ごとに入力信号を演算処理することにより出力信号の生成を繰り返すように構成されている。
前記構成のロボットRの機能について説明する。
制御システム1により、次の手順にしたがってアクチュエータ2の動作およびロボットRの行動が制御される。
外乱発生直後における各モジュールによる並列処理の手順について説明する。
第1モジュールmod1により実行される「第1行動探索処理」、第2モジュールmod2により実行される「第2行動探索処理」および第3モジュールmod3により実行される「第3行動探索処理」の詳細について説明する。
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP100)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。
e2^(ai1)=Π1=1~q1exp(−poserr(ai1;k1)/Lstep) ‥(120)
f1=w1e1(w2e2^+1) ‥(142)
ここで「w2」および「w1(=(w2+1)-1)」は重み係数である。
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP200)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。なお、第1モジュールmod1により予測されたロボットRの直近未来状態が、第1モジュールmod1から第2モジュールmod2に出力されてもよい(図3/矢印D2+参照)。
e3^(ai2)=Πk2=2~q2exp(−poserr(ai2;k2)/Lstep) ‥(230)
f2=w2e2(w1e1(w3e3^+1)+1) ‥(242)
ここで「w1」「w3」および「w2(={w1(w3+1)+1}-1」は重み係数である。
まず、現在状態に基づき、ロボットRの挙動を表わす挙動予測モデルにしたがって、ロボットRの直近未来状態が予測される(図5/STEP300)。これにより、たとえば、ロボットRが現在位置から1歩進んだときの着地位置が予測される。なお、第1モジュールmod1または第2モジュールmod2により予測されたロボットRの直近未来状態が、第2モジュールmod2から第3モジュールmod3に出力されてもよい(図3/矢印D3+参照)。
f3=w3e3(w2e2+1) ‥(342)
行動候補の探索方法について説明する。探索方法としては「収束性」および「多様性」がある方法が採用される。「収束性」がある方法により、探索範囲(行動候補により定義される空間における範囲を意味する。)のうち前回評価が高かった行動候補の近くにおいて、今回評価がより高くなるような行動候補が探索されうる。「多様性」がある当該方法により、前回評価に拘泥されすぎることなく、今回評価がよりより高くなるような行動候補が広範囲で探索されうる。
まず、図9(a)に示されている複数の親個体(行動候補aに対応している。「●」により表現されている。)のうち、円で囲まれた親個体が選択される。選択確率は適合度f(a)(実線で示されている評価曲線にしたがって評価される。)が高いほど高い。
図12(a)〜(c)のそれぞれの下側に示されているロボットRのZMPおよび重心位置(「◎」により表現されている。)により表現される当該ロボットRの挙動状態は、図12(a)〜(c)のそれぞれの上側に示されている倒立振子の着地位置および重心位置(「◎」により表現されている。)により表現される当該倒立振子の挙動状態にモデル化して考えることができる。
この場合、第4モジュールmod4により第4総合適合度f4(ai4)は、第3総合適合度f3(ai3)の評価式(34)と同様の評価式にしたがって評価される。
×(e1(ai2)(e3^(ai2)(e4^(ai2)+1)+1)+1) ‥(244)
Claims (9)
- 周波数帯域の高低に応じて階層化されている複数のモジュールを備え、
前記モジュールのそれぞれが、自己が主担当する主目的を他のモジュールが主担当する副目的よりも優先させながら、前記主目的および前記副目的に適合する制御対象の行動形態の候補である行動候補を探索するように構成され、
低周波の下位モジュールにより探索された前記制御対象の行動候補よりも、高周波の上位モジュールにより探索された前記制御対象の行動候補を優先的に反映させた形で前記制御対象の行動を制御するように構成されていることを特徴とする制御システム。 - 請求項1記載の制御システムにおいて、
前記モジュールのそれぞれが、前記制御対象の行動候補の自己の前回探索結果を、前記他のモジュールによる前記制御対象の行動候補の前回探索結果よりも優先させながら、前記自己の前回探索結果と、前記他のモジュールによる前記制御対象の行動候補の前回探索結果とに応じた探索戦略にしたがって前記制御対象の行動候補の今回探索を実行するように構成されていることを特徴とする制御システム。 - 請求項2記載の制御システムにおいて、
前記モジュールのそれぞれが、自ら探索した前記制御対象の行動候補のそれぞれについて、前記主目的および前記副目的に対する総合適合度を評価し、
前回探索された前記行動候補の一部を、前回評価された前記総合適合度が高いほど高確率で選択し、前記行動候補により定義される状態空間における、当該選択された前記行動候補の周辺領域において前記行動候補の今回探索を実行するように構成されていることを特徴とする制御システム。 - 請求項3記載の制御システムにおいて、
前記モジュールのそれぞれが、前記状態空間において、前回探索された前記行動候補のうち選択された前記行動候補を基準として、前回評価された前記総合適合度が高いほど狭い周辺領域において前記行動候補の今回探索を実行するように構成されていることを特徴とする制御システム。 - 請求項3または4記載の制御システムにおいて、
前記モジュールのそれぞれが、前回探索された前記行動候補のうち選択された前記行動候補の周辺領域に加えて、前記状態空間において不規則に選択された点の周辺領域において前記行動候補の今回探索を実行するように構成されていることを特徴とする制御システム。 - 請求項1〜5のうちいずれか1つに記載の制御システムにおいて、
前記モジュールのそれぞれが、自己よりも1階位だけ上位のモジュールが存在する場合には当該上位モジュールを前記他のモジュールとするとともに、自己よりも1階位だけ下位のモジュールが存在する場合には当該下位モジュールを前記他のモジュールとして、前記制御対象の行動候補を探索するように構成されていることを特徴とする制御システム。 - 請求項1〜6のうちいずれか1つに記載の制御システムにおいて、
前記モジュールのそれぞれが、前記制御対象としての移動装置の位置または位置および姿勢を定めるような前記行動候補を探索するように構成され、
高周波の上位モジュールであるほど、低周波の下位モジュールと比較して前記移動装置の短期間にわたる前記行動候補を探索するように構成されていることを特徴とする制御システム。 - 請求項7記載の制御システムにおいて、
基体と、前記基体から延設された複数の脚体とを有する前記移動装置としてのロボットの位置軌道および姿勢軌道を前記行動候補として探索するように構成されている第1モジュール、第2モジュールおよび第3モジュールを前記複数のモジュールとして備え、
前記第1モジュールが前記ロボットに姿勢を安定させるための前記ロボットの第1指定歩数にわたる歩容を第1行動候補として探索するように構成され、
前記第2モジュールが前記ロボットに物体との接触を回避させるための前記第1指定歩数よりも多い第2指定歩数にわたる歩容を定める局所経路を第2行動候補として探索するように構成され、
前記第3モジュールが前記ロボットに目標位置に到達させるための大局経路を第3行動候補として探索するように構成されていることを特徴とする制御システム。 - 基体と、前記基体から延設されている複数の脚体とを備え、前記複数の脚体の動作により移動するロボットであって、
請求項1〜8のうちいずれか1つに記載の制御システムを備えていることを特徴とする前記制御対象としてのロボット。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009181070A JP5306933B2 (ja) | 2009-08-03 | 2009-08-03 | ロボットおよび制御システム |
DE201011000035 DE112010000035B4 (de) | 2009-08-03 | 2010-05-25 | Roboter und Regelungs- /Steuerungssystem |
PCT/JP2010/058806 WO2011016280A1 (ja) | 2009-08-03 | 2010-05-25 | ロボットおよび制御システム |
US12/999,791 US8849452B2 (en) | 2009-08-03 | 2010-05-25 | Robot and control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009181070A JP5306933B2 (ja) | 2009-08-03 | 2009-08-03 | ロボットおよび制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011031349A true JP2011031349A (ja) | 2011-02-17 |
JP5306933B2 JP5306933B2 (ja) | 2013-10-02 |
Family
ID=43760936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009181070A Expired - Fee Related JP5306933B2 (ja) | 2009-08-03 | 2009-08-03 | ロボットおよび制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5306933B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015201832A1 (de) | 2014-02-04 | 2015-08-06 | Honda Motor Co., Ltd. | Roboter |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334785A (ja) * | 2002-03-15 | 2003-11-25 | Sony Corp | ロボットの行動制御システム及び行動制御方法、並びにロボット装置 |
JP2004167666A (ja) * | 2002-08-30 | 2004-06-17 | Sony Corp | ロボット装置及びその動作制御方法 |
JP2007125631A (ja) * | 2005-11-01 | 2007-05-24 | Sony Corp | ロボット装置及びその行動制御方法 |
-
2009
- 2009-08-03 JP JP2009181070A patent/JP5306933B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334785A (ja) * | 2002-03-15 | 2003-11-25 | Sony Corp | ロボットの行動制御システム及び行動制御方法、並びにロボット装置 |
JP2004167666A (ja) * | 2002-08-30 | 2004-06-17 | Sony Corp | ロボット装置及びその動作制御方法 |
JP2007125631A (ja) * | 2005-11-01 | 2007-05-24 | Sony Corp | ロボット装置及びその行動制御方法 |
Non-Patent Citations (6)
Title |
---|
CSNG200200051008; 鮫島 和行,銅谷 賢治,川人 光男: '複数モデルベース強化学習におけるモジュール間の評価割り付け Module-level Credit Assignment in Multip' 電子情報通信学会技術研究報告 IEICE Technical Report Vol.100 No.191, 20000711, 51-58, 社団法人電子情報通信学会 The Institute of Electro * |
CSNG200300273003; 鮫島 和行,銅谷 賢治,川人 光男: '強化学習MOSAIC:予測性によるシンボル化と見まね学習 MOSAIC Reinforcement Learning Architecture' 日本ロボット学会誌 Journal of the Robotics Society of Japan 第19巻 第5号, 200107, 551-556, 社団法人日本ロボット学会 The Robotics Society of * |
JPN6010042832; 鮫島 和行,銅谷 賢治,川人 光男: '強化学習MOSAIC:予測性によるシンボル化と見まね学習 MOSAIC Reinforcement Learning Architecture' 日本ロボット学会誌 Journal of the Robotics Society of Japan 第19巻 第5号, 200107, 551-556, 社団法人日本ロボット学会 The Robotics Society of * |
JPN6010042833; 鮫島 和行,銅谷 賢治,川人 光男: '複数モデルベース強化学習におけるモジュール間の評価割り付け Module-level Credit Assignment in Multip' 電子情報通信学会技術研究報告 IEICE Technical Report Vol.100 No.191, 20000711, 51-58, 社団法人電子情報通信学会 The Institute of Electro * |
JPN6010042834; Kazuyuki SAMEJIMA, Kenji DOYA, Mitsuo KAWATO: 'Inter-module credit assignment in modular reinforcement learning' Neural Networks Volume 16, Issue 7, 200309, 985-994 * |
JPN6010042835; D. M. WOLPERT, M. KAWATO: 'Multiple paired forward and inverse models for motor control' Neural Networks Volume 11, Issues 7-8, 19981011, 1317-1329 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015201832A1 (de) | 2014-02-04 | 2015-08-06 | Honda Motor Co., Ltd. | Roboter |
US9415506B2 (en) | 2014-02-04 | 2016-08-16 | Honda Motor Co., Ltd. | Robot |
DE102015201832B4 (de) * | 2014-02-04 | 2017-02-02 | Honda Motor Co., Ltd. | Roboter mit einer Steuer-/Regeleinheit zum Erzeugen einer Gangart |
Also Published As
Publication number | Publication date |
---|---|
JP5306933B2 (ja) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011016280A1 (ja) | ロボットおよび制御システム | |
JP5465137B2 (ja) | ロボットおよび制御システム | |
US9193072B2 (en) | Robot and control method thereof | |
JP5330138B2 (ja) | 強化学習システム | |
US8855814B2 (en) | Robot and control method thereof | |
JP5480799B2 (ja) | 移動装置およびロボットならびにこれらの制御システム | |
US20120078419A1 (en) | Robot and control method thereof | |
JP5489965B2 (ja) | 行動制御システムおよびロボット | |
JP2006239844A (ja) | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 | |
JP5465142B2 (ja) | ロボットおよびその行動制御システム | |
US20210394362A1 (en) | Information processing device, control method, and program | |
KR20120074887A (ko) | 로봇 및 그 제어 방법 | |
JP5306934B2 (ja) | ロボットおよび制御システム | |
JP5404519B2 (ja) | ロボット、制御システムおよび制御プログラム | |
JP2013520327A (ja) | 関節システムの制御方法、記憶媒体、制御システム | |
JP2017019030A (ja) | 移動ロボットの動作環境情報生成装置 | |
JP6026393B2 (ja) | 移動装置 | |
JP5306933B2 (ja) | ロボットおよび制御システム | |
JP5450218B2 (ja) | ロボットおよび制御システム | |
JP6647143B2 (ja) | 機能装置ならびにその制御装置および制御方法 | |
JP5539001B2 (ja) | 制御装置 | |
JP5456557B2 (ja) | ロボット、制御システムおよび制御プログラム | |
JP5539000B2 (ja) | 制御装置 | |
JP5921979B2 (ja) | 制御システム | |
JP4488811B2 (ja) | ロボット制御方法およびロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130626 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5306933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |