JP2002189502A

JP2002189502A - ロバスト強化学習方式

Info

Publication number: JP2002189502A
Application number: JP2000386265A
Authority: JP
Inventors: Atsushi Morimoto; 淳森本; Kenji Dotani; 賢治銅谷
Original assignee: ATR Advanced Telecommunications Research Institute International; Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency; ATR Advanced Telecommunications Research Institute International
Priority date: 2000-12-20
Filing date: 2000-12-20
Publication date: 2002-07-05
Anticipated expiration: 2020-12-20
Also published as: JP3465236B2

Abstract

(57)【要約】【課題】環境モデルが未知の場合にも対応することがで
きるとともに、環境の変動に比較的強いロバスト制御の
学習方法およびロバスト制御器を提供する。【解決手段】環境（１）に行動信号ｕ（ｔ）を出力する
とともに学習機能を具備する行動生成器（２）と、環境
に外乱信号ｗ（ｔ）を出力するとともに学習機能を具備
する外乱生成器（４）と、目標の達成度に応じた報酬
に、前記外乱生成器からの外乱に耐えうることに応じた
報酬を加味した報酬信号である評価信号ｑ（ｔ）を生成
し、現在の状態ｘ（ｔ）から将来に向けて得られる評価
信号の和の期待値を予測し、その予測誤差信号を生成す
る状態評価器（３）とを備え、現在の状態から将来に向
けて得られる評価信号の和の期待値を最大化するべく行
動生成器は学習し、一方、外乱生成器は前記評価信号の
和の期待値を最小化すべく学習する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、強化学習において
環境の不確かさに対してロバストな行動則を学習する方
式に関するものである。さらに、詳しくは、ロボット、
自動車、航空機などの物理的システムの制御、また、広
く人間に代わって情報検索、ユーザー応答、資源割当、
市場取引などを行うコンピュータプログラムなどにおい
て、環境の様々な外乱や、想定していたモデルと現実と
の環境のズレに対応することができる強化学習方式およ
び強化学習された制御器である。なお、この明細書にお
いては、特許明細書では使用不可能な文字に対応するた
めに、下記の様にして対処している。

【外１】

【０００２】

【従来の技術】従来の強化学習方式について説明する。
図２は従来の学習方式に用いる回路のブロック図であ
る。図３は制御対象と制御器とのフィードバックのブロ
ック図であり、Ｈ∞制御理論を説明するための図であ
る。環境１は制御対象をはじめ、行動の対象となるシス
テム一般を表し、状態信号ｘ(t) を行動生成器２および
状態評価器３に出力している。行動生成器２は状態信号
ｘ(t) が入力されると行動信号ｕ(t) を環境１に出力し
ている。また、環境１から報酬信号ｒ(t) が状態評価器
３に入力される。状態評価器３は、目標の達成度に応じ
た報酬ｒ(t) が入力されると、現在の状態ｘ(t) から将
来に向けて得られる、報酬ｒ(t) の荷重和の期待値すな
わち、評価関数Ｖ（ｘ(t) ）を予測し、その予測値を用
いて予測誤差信号δ(t) を生成し、行動生成器２に出力
する。行動生成器２は、状態評価器３から予測誤差信号
δ(t) が入力されると、現在の状態ｘ(t) から将来に向
けて得られる、報酬ｒ(t) の荷重和の期待値すなわち、
評価関数Ｖ（ｘ(t) ）が最大となる様に学習し、その入
出力の関係を変更する。ただし、前記評価関数Ｖ（ｘ
(t)）は、連続の場合、

【数１】この学習方式では、ある環境のもとで最適な行動が学習
されるが、異なる環境では動作は保証されていない。ま
た、異なる環境に適応するためには再学習を行う必要が
あり、その再学習の時間が新たに必要となる。

【０００３】次に、従来のＨ∞制御について説明する。
図３において、制御対象Ｇから観測信号ｙ(t) が制御器
Ｋに入力される。制御器Ｋは観測信号ｙ(t) が入力され
ると、制御信号である行動信号ｕ(t) を制御対象Ｇに出
力する。また、制御対象Ｇには外乱信号ｗ(t) および行
動信号ｕ(t) が入力され、これらの信号が入力される
と、評価用信号ｚ(t) および観測信号ｙ(t) を出力す
る。なお、外乱の影響を評価するための評価用信号ｚ
(t) と、制御対象Ｇを観測して制御器Ｋに入力するフィ
ードバック信号である観測信号ｙ(t) とは、同じにする
ことも可能であるが、異ならしめることも可能である。
そして、ロバスト制御の代表的な定式化であるＨ∞制御
問題の要請は、図３に図示するフィードバック系で未知
外乱やモデル誤差に起因する外乱信号ｗ(t) による評価
用信号ｚ(t) への影響を少なく抑えつつ、出力を安定化
する。すなわち、評価用信号ｚ(t) ＝０に近づけること
である。具体的には、Ｈ∞ノルムによりシステムの外乱
に対する感度を測り、ロバスト性の基準値γ以下となる
ような制御器Ｋの設計を行う。ノルムとは、ある種の大
きさの指標であり、外乱信号ｗ(t) から評価用信号ｚ
(t) への伝達関数行列をＴ _ZWとしたとき、そのＨ∞ノル
ム、‖Ｔ_ZW‖∞は次の（式２）のように定義される。

【数２】ただし、 sup_wは外乱信号ｗ(t) に関する上限を表し、
外乱信号ｗ(t) を変化させたときに、‖ｚ‖₂／‖ｗ‖
₂が sup_w( ‖ｚ‖₂／‖ｗ‖₂）より大きくならない
ことを示している。また、‖ｚ‖₂および‖ｗ‖₂はそ
れぞれ評価用信号ｚ(t) および外乱信号ｗ(t) のＬ₂ノ
ルムであり、次の（式３）および（式４）で定義され
る。

【数３】

【数４】

【０００４】ここで、評価関数Ｖを次の（式５）の様に
定義する。

【数５】これを行動信号ｕ(t) に関しては最大化し、外乱信号ｗ
(t) に対しては最小化する問題を考える。その結果、Ｖ
≧０を満たす解を得られれば、（式２）の条件のもと
で、評価用信号ｚ(t) の安定化が実現できる。

【０００５】強化学習の課題のうち、予め与えられた目
標点あるいは目標軌道への近さを報酬信号とするもの
は、学習制御の課題と考えることができる。前記ロバス
ト制御の代表的な方法であるＨ∞制御は、システムの外
乱による影響の受けやすさをＨ∞ノルムで評価し、フィ
ードバック系のＨ∞ノルムを一定以下に抑える制御器を
設計することにより、外乱やモデル誤差に対するロバス
ト性を保証するものである。しかし、その制御器の解析
的な構成手法は線形システムに対し示されており、非線
形システムに対してはある限定されたシステムを除いて
は、一般に解析的に制御器を構築する方式はない。非線
形システムにおいて、多層神経回路網を用いて未知外乱
を考慮した状態価値関数を近似しロバスト制御を実現す
る手法が提案されているが、これらは、制御器の適応可
能範囲が線形近似可能な領域付近に限られていたり、学
習がオフラインのバッチ学習に限られている。また、こ
れらの学習には環境のモデルを必要としている。さら
に、状態を離散化し動的計画法を用いる方式も提案され
ているが、制御器の構築には、状態を離散化する過程
と、オフラインの計算過程とを必要とし、かつ、環境モ
デルを必要とする。また、ここまでに挙げたロバスト制
御器はレギュレータ（目標点を原点とし、その原点に制
御対象の状態を持って行く制御）としてのみ機能する。

【０００６】ところで、従来のミニマックス戦略を用い
る強化学習方式では、オセロやバックギャモンの学習を
行っている。また、戦闘機やミサイルの逃亡追従問題に
適用した例もある。一方、本発明では、仮想的な敵を想
定して学習を行った後、実際に制御器を適用する際に
は、その外乱生成器を除いて制御器を構成するという点
で異なる。これは、外乱を仮想的な敵とみなすことによ
ってロバストな制御器を強化学習により構築するという
新しい発想に依存している。また、後述の（式８−２）
で定義される評価関数の予測誤差に重み付けをして学習
することで、ロバストな行動則を強化学習によって獲得
する手法とは異なり、本発明はＨ∞制御との関連や目的
関数が明確である。よって、最悪の外乱を求めていると
いう点において、より確実にロバストな制御器を獲得す
ることができる。

【０００７】そして、後述のように、本発明の実施の形
態においては、非線形、オンライン、モデル非依存性の
動的最適化手法である強化学習方式に、ロバスト制御に
おける最悪外乱に対する感度の最小化の原理を導入する
ことにより、ロバスト強化学習方式を実現し、その制御
課題への適用により、非線形、オンライン、モデル非依
存性のロバスト学習制御を実現する。また、環境の近似
モデルが既知の場合、あるいは未知の場合でも、環境の
モデルを学習することにより、モデル依存の強化学習方
式を拡張し適用することにより、効率良く非線形ロバス
ト制御器をオンラインで構築することができる。

【０００８】この様なことができる利点は、環境が非定
常であった場合に、一度学習によって構築した非線形ロ
バスト制御器や環境モデルを用いれば、ある程度の環境
の変動なら再学習することなく対応することができるこ
とである。また、従来のロバスト制御は出力をある目標
値に収束させるレギュレータ問題に対してのみ定式化さ
れていたが、本発明のロバスト強化学習方式は、任意の
評価基準に対して適用可能である。

【０００９】

【発明が解決しようとする課題】この様に、従来の強化
学習では、環境の変動が生じた場合には、再学習する必
要があり、従来のロバスト制御の方式は環境のモデルが
未知の場合には対応することができなかった。さらに、
非線形系に適用可能な制御則の具体的方法は与えていな
い。

【００１０】そこで本発明は、環境モデルが未知の場合
にも対応することができるとともに、非線形系に適用可
能な環境の変動に強いロバスト強化学習方式およびロバ
スト制御器を提供することを目的とする。

【００１１】

【課題を解決するための手段】このため、本発明が採用
した課題解決手段は、制御対象あるいは環境に行動信号
を出力するとともに学習機能を具備する行動生成器、お
よび制御対象あるいは環境に外乱信号を出力するととも
に学習機能を具備する外乱生成器を備え、目標の達成度
に応じた報酬に、前記外乱生成器からの外乱に耐えうる
ことに応じた報酬を加味した報酬信号である評価信号を
生成し、現在の状態から将来に向けて得られる評価信号
の荷重和の期待値を最大化（または最小化）するべく行
動生成器は学習し、一方、外乱生成器は前記評価信号の
荷重和の期待値を最小化（または最大化）すべく学習す
ることを特徴とする強化学習方式であり、前記学習方式
において、現在の状態から将来に向けて得られる評価信
号の和の期待値を予測する状態評価器を備え、その予測
誤差信号を、状態評価器、行動生成器、および外乱生成
器の少なくとも１個の学習に用いることを特徴とする強
化学習方式であり、前記状態評価器、行動生成器および
外乱生成器の少なくとも一個は、関数近似手段として、
入出力関係を示す参照テーブルを具備していることを特
徴とする強化学習方式であり、前記状態評価器、行動生
成器および外乱生成器の少なくとも一個は、関数近似手
段として、線形モデルまたは多項式モデルを具備してい
ることを特徴とする強化学習方式であり、前記状態評価
器、行動生成器および外乱生成器の少なくとも一個は、
関数近似手段として、多層神経回路網を具備しているこ
とを特徴とする強化学習方式であり、前記方式により、
予め学習された前記状態評価器と行動生成器または行動
生成器のみを用いた制御方式であり、前記方式を計算機
シミュレーションによって実現される環境モデルに適用
し、それによって学習された前記状態評価器と行動生成
器または行動生成器のみを実環境に適用することを特徴
とする制御方式であり、前記状態評価器または行動生成
器の少なくとも一方は、関数近似手段として、入出力関
係を示す参照テーブルを具備していることを特徴とする
ロバスト制御器であり、前記状態評価器または行動生成
器の少なくとも一方は、関数近似手段として、線形モデ
ル、多項式モデルまたは多層神経回路網を具備している
ことを特徴とするロバスト制御器である。

【００１２】

【実施の形態】次に、本発明における強化学習方式およ
びロバスト制御器の実施の一形態を説明する。図１は本
発明の実施の形態のロバスト強化学習方式に用いる回路
のブロック図である。図４は第１具体例の説明図で、
（ａ）が概略図、（ｂ）が１ｍの長さの振り子の角度変
化のグラフである。図５は第１具体例の角度変化のグラ
フで、（ａ）が０．５ｍの長さの振り子のグラフ、
（ｂ）が２ｍの長さの振り子のグラフである。図６は第
２具体例の概略図である。図７は第２具体例の位置変化
のグラフで、（ａ）が１ｋｇの質量の搬送物を用いた場
合のグラフ、（ｂ）が３ｋｇの質量の搬送物を用いた場
合のグラフである。

【００１３】本発明では、外乱や環境の変化に対してロ
バストな強化学習を実現するため、目標の達成度に応じ
た報酬ｒ（ｔ）に対して、外乱に耐えうることに応じた
報酬ｓ（ｔ）を加えた新たな報酬である評価信号ｑ(t)
を次のように定義した時、

【００１４】

【数６】この評価信号ｑ（ｔ）を報酬とした最大最小問題を強化
学習方式の枠組みにおいて解く。よって、前述のＨ∞制
御の問題設定は、本発明の実現例の一つとなっているこ
とがわかる。以上を考慮した上で、次のようにロバスト
強化学習の学習方式に用いる回路を図１に図示するよう
に構築する。

【００１５】この図１の説明において、図２の従来の回
路と同じ構成要素には同じ符号を付して、その説明は省
略する。この図１においては、外乱生成器４が設けられ
ている。そして、環境１からの観測信号ｙ（ｔ）が、状
態推定器を介して状態信号ｘ(t) となり、行動生成器
２、状態評価器３および外乱生成器４に入力されてい
る。この外乱生成器４は状態信号ｘ(t) が入力される
と、外乱信号ｗ(t) を環境１および状態評価器３に出力
する。この状態評価器３は、環境１からの目標報酬信号
ｒ(t) と、外乱生成器４からの外乱信号ｗ(t) に基づい
て生成した外乱報酬信号ｓ(t) とに基づいて、現在の状
態ｘ(t) から将来に向けて得られる評価信号ｑ(t) の荷
重和の期待値を予測し、その予測値に基づいて予測誤差
信号δ(t) を生成し、行動生成器２および外乱生成器４
に出力する。この様にして、状態評価器３は、外乱報酬
信号ｓ(t) に目標報酬信号ｒ(t) を加算して評価信号ｑ
(t) を得て、予測誤差信号δ(t) を生成し出力してい
る。そして、行動生成器２は予測誤差信号δ(t) が入力
されると、現在の状態ｘ(t) から将来に向けて得られる
上記評価信号ｑ(t) の荷重和の期待値を最大化するべく
学習し、その入出力関係を変更する。一方、外乱生成器
４は予測誤差信号δ(t) が入力されると、現在の状態ｘ
(t) から将来に向けて得られる上記評価信号ｑ(t) の荷
重和の期待値を最小化するべく学習し、その入出力関係
を変更する。

【００１６】状態評価器３は、（式７）で定義される現
在の状態ｘ(t) から将来に向けて得られる評価信号ｑ
(t) の期待値Ｖ（ｘ(t))を予測する。ただし、τは評価
の時定数である。

【数７】行動生成器２および外乱生成器４は、この期待値Ｖ（ｘ
(t))がそれぞれ、最大化、最小化される様に行動信号ｕ
(t) 、外乱信号ｗ(t) を学習する。なお、行動生成器
２、状態評価器３および外乱生成器４としては、参照テ
ーブル、線形モデル、多項式モデル、多層神経回路網な
どを用いることができる。

【００１７】ロバスト強化学習を行う時点においては、
状態評価器３、行動生成器２および外乱生成器４は同時
に作動させるが、実際に学習した行動則を制御対象また
は環境に用いる段階においては、状態評価器３および行
動生成器２、或いは、行動生成器２のみを用いて動作さ
せる。この行動生成器２には、観測信号ｙ(t) として状
態信号ｘ(t) が直接得られる場合はそれを用いるが、一
般にはオブザーバ、カルマンフィルタなどにより状態信
号ｘ(t) を推定し入力として用い、また、学習時には、
環境１はモデルでも、実際の環境でも可能である。そし
て、実際の環境の場合には、行動信号ｕ(t) および外乱
信号ｗ(t) は、アクチュエータなどの駆動源や、低レベ
ルの制御プログラムへの指令などの作動手段を介して環
境１に入力される。一方、報酬信号ｒ(t) や状態信号ｘ
(t) は、センサーなどの検知手段を介して環境１から出
力される。

【００１８】そして、状態評価器３は、評価関数Ｖ（ｘ
(t))のパラメータｖ＝｛ｖ₁，ｖ₂，…，ｖ_i，…｝を
持つ近似器Ｖ（ｘ(t) ；ｖ）として実現され、その手段
としては、前述の参照テーブル、線形モデル、多項式モ
デルおよび多層神経回路網を用いることができる。

【００１９】この様にして、状態評価器３は、環境１か
ら目標報酬信号ｒ(t) を得る手段と、外乱生成器４から
外乱信号ｗ(t) を得る手段と、目標報酬に外乱報酬を加
味した評価信号ｑ(t) を得る手段と、現在の状態から将
来に向けて得られる評価信号ｑ(t) の和の期待値を予測
し、予測誤差信号δ(t) を生成する手段とを有してい
る。また、行動生成器２は、環境１から状態信号ｘ(t)
を得る手段と、状態評価器３から予測誤差信号δ(t) を
得る手段と、環境１に行動信号ｕ(t) を出力する手段
と、現在の状態から将来に向けて得られる評価信号ｑ
(t) の和の期待値が最大化する様に学習する手段とを有
している。そして、外乱生成器４は、環境１から状態信
号ｘ(t) を得る手段と、状態評価器３から予測誤差信号
δ(t) を得る手段と、環境１に外乱信号ｗ(t) を出力す
る手段と、現在の状態から将来に向けて得られる評価信
号ｑ(t) の和の期待値が最小化する様に学習する手段と
を有している。

【００２０】以降、離散系での評価関数の学習、連続系
での評価関数の学習、離散系での行動決定方法、連続系
での行動決定方法の順に示す。離散系での評価関数の学
習：次の様な確率分布Ｐにしたがう動的制御対象を考え
る。Ｐ（ｘ_T+1｜ｘ_T，ｕ_T，ｗ_T）ただし、ｘ_Tは状態変数、ｕ_Tは制御入力、ｗ_Tは外乱
入力を表す。このとき、求めるべき評価関数Ｖ_Tは次の
式で表される。

【数８】ただし、ｑ_Tはただちに得られる評価信号、α（０≦α
≦１）は評価の減衰率を表す。そこで、状態評価値の予
測誤差δ_Tは次式のように表される。 δ_T＝ｑ_T＋αＶ_T+1−Ｖ_T （式８−２）

【００２１】よって、この予測誤差δ_Tと、次の（式
９）で表される各パラメータの寄与度の履歴ｅ_iTを用い
て、

【数９】パラメータの更新量Δｖ_iは、次式のように表される。 Δｖ_i＝ηδ_Tｅ_iT ただし、λはパラメータの寄与度の履歴の減衰率を、η
は学習率を表す。また、各パラメータの寄与度の履歴ｅ
_iTは（式９）の定義より次式を用いて更新される。

【数１０】

【００２２】連続系での評価関数の学習：次の様な動的
制御対象を考える（状態変数ｘ(t)の時間変化ｄｘ／ｄ
ｔを、状態変数ｘ(t) 、制御入力ｕ(t) 、外乱入力ｗ
(t) 、ノイズ入力ｎ（ｔ）の関数として考える）。ｄｘ／ｄｔ＝ｆ（ｘ(t),ｕ(t),ｗ(t))＋ｎ（ｔ）ただし、このとき、求めるべき評価関数Ｖ(t) は次式で
表される。

【数１１】ただし、ｑ(t) はただちに得られる報酬であり、τは評
価値の時定数である。よって、状態評価値の予測誤差δ
(t) は次式のように表される。 δ(t) ＝ｑ(t) −（１／τ）×Ｖ(t) ＋ｄＶ(t) ／ｄｔ

【００２３】ここで得られる状態評価値の予測誤差δ
(t) と、次式で表される各パラメータの寄与度の履歴を
用いて、

【数１２】ただし、ｋはパラメータの寄与度の履歴の時定数であ
る。状態評価器のパラメータの更新量ｄｖ_i／ｄｔ（連
続系ではパラメータｖ_iの時間微分で表される）は次式
のように表される。ｄｖ_i／ｄｔ＝ηδ(t) ｅ_i(t) ただし、ηは学習率を表す。

【００２４】また、各パラメータの寄与度の履歴ｅ
_i(t) の更新量ｄｅ_i(t) ／ｄｔは、（式１２）の定義
により次式を用いて更新される。

【数１３】

【００２５】離散系での行動決定方法：（モデル非依存の場合）次式で示す確率分布Ｐｒに従っ
て、状態ｓにおける行動ａを決定する。

【数１４】ただし、Ａ(s,a) は行動決定のためのパラメータであ
り、状態ｓにおける行動ａの取りやすさを表している。
また、βは行動のランダムさを表すパラメータである。
この時、行動生成器のパラメータ更新量ΔＡ_u(s_T, ａ
_uT) と、外乱生成器のパラメータ更新量ΔＡ_w(s_T, ａ
_wT) は（式８−２）の予測誤差δ_Tを用いて次式でそれ
ぞれ表される。 ΔＡ_u(s_T, ａ_uT) ＝η^A _Uδ_T ΔＡ_w(s_T, ａ_wT) ＝−η^A _Wη_Aδ_T ただし、η^A _U，η^A _Wは学習率を表す。また、ａ_uT，
ａ_wTはそれぞれ、時刻Ｔにおける行動生成器と外乱生成
器の行動を表す。

【００２６】モデル非依存の学習方式として、行動価値
関数を学習することによって、ロバスト強化学習を実現
することができる。つまり、次式で表される行動価値関
数の予測誤差δ_Tを用いて、

【数１５】行動価値関数の更新量ΔＱ( ｓ_T, ａ_uT,ａ_wT）は次式
のようになる。 ΔＱ( ｓ_T, ａ_uT,ａ_wT）＝η_Qδ_T ただし、η_Qは学習率、αは評価の減衰率である。

【００２７】次式で示す確率分布Ｐｒ_wに従って、状態
ｓにおいて、外乱生成器の行動ａ_wT _jをすべての行動生
成器の行動ａ_ujに関して決定する。

【数１６】この場合、確率分布Ｐｒ_wに従うことで、小さい行動価
値を持つ外乱生成器の行動ａ_wを高い確率で選択するこ
とになる。これによって、目的とする課題の達成にとっ
て外乱生成器が最悪の外乱を生成するようになる。ただ
し、βは行動のランダムさを表すパラメータである。

【００２８】次に、次式で表される確率分布Ｐｒ_uに従
って、状態ｓにおいて、行動生成器の行動ａ_uTをすでに
決定した外乱生成器のａ_ujに対する行動ａ_wTjを用いて
決定する。

【数１７】ただし、行動生成器が行動ａ_uT＝ａ_ujを選択した時、外
乱生成器は行動ａ_wT＝ａ_wTjを選択する。この場合、確
率分布Ｐｒ_uに従うことで、大きい行動価値を持つ行動
生成器の行動ａ_ujを高い確率で選択することになる。こ
れによって、目的とする課題の達成にとって行動生成器
が最高の行動出力を生成するようになる。ただし、βは
行動のランダムさを表すパラメータである。

【００２９】離散系での行動決定方法：（モデル依存の場合）状態Ｘ_Tにおいて、行動生成器の
行動がｕで、外乱生成器の行動がｗであり、その結果状
態Ｘ_T+1にたどり着いたとする。そのときに得られる評
価信号ｑ_T+1とすれば、環境のモデルを用いて、行動生
成器の行動ｕ_Tは

【数１８】ただし、αは評価の減衰率、Ｐ（ｘ_T+1｜ｘ_T，ｕ，
ｗ）は状態ｘ_Tにおいて行動生成器が行動ｕを出力し外
乱生成器が外乱ｗを出力した時、状態ｘ_T+1に遷移する
確率。

【００３０】連続系での行動決定方法：（モデル非依存の場合）行動生成器の行動をｕ（ｔ），
外乱生成器の行動をｗ（ｔ）とすると、それぞれ、ｕ（ｔ）＝Ａ（ｘ（ｔ）；ｖ^Au）＋ｎ_u（ｔ）ｗ（ｔ）＝Ａ（ｘ（ｔ）；ｖ^Aw）＋ｎ_w（ｔ）のように表される。ただし、ｎ_u（ｔ），ｎ_w（ｔ）は
探索のためのノイズ入力を表す。それぞれの行動は、パ
ラメータｖ^A＝｛ｖ₁ ^A，ｖ₂ ^A，…_,ｖ_i ^A _,…｝を
持つ近似器Ａ（ｘ（ｔ）；ｖ^A）として実現され、その
手段としては、線形モデル、多項式モデルおよび多層神
経回路網などを用いることができる。また、それぞれの
パラメータは、前述の予測誤差信号δ（ｔ）を用いて以
下のように更新する。

【数１９】（モデル依存の場合）環境のモデルを用いることが可能
な場合は、状態評価器の勾配を用いて、モデル非依存性
の場合に比べて効率的に学習を行うことができる。ここ
で、環境モデルと報酬モデルを次式で表す。

【数２０】すると、評価関数の勾配と、環境モデルから得られる入
力ゲインｇ₁(ｘ），ｇ₂(ｘ）を用いて、行動生成器の最
適出力ｕ_opと、外乱生成器の最適出力ｗ_opはそれぞれ次
式で表される。

【数２１】入力ゲインg₁（ｘ），g₂（ｘ）は必ずしも既知ではなく
ても、状態評価の学習と同時に環境モデルを学習するこ
とによって求めることができる。

【００３１】具体例１：単振り子の振り上げ図４の様な単振り子の制御にロバスト強化学習を適用
し、学習された制御器を用いて単振り子の振り上げを行
った例を示す。単振り子は質量ｍ＝１〔ｋｇ〕、長さＬ
〔ｍ〕で、状態変数はｘ＝（θ，ｄθ／ｄｔ）であり、
振り子の角度と角速度で表す。制御指令ｕ＝Ｔは振り子
の回転軸中心での駆動トルクである。したがって、（式
１８−１，式１８−２，式１８−３）との対応を考える
と、振り子の運動方程式を構成するそれぞれの関数は以
下のように与えられる。

【数２２】よって、評価信号は以下の関数で表される。

【００３２】ｑ(t) ＝cos(θ）−１−0.08ｕ²＋γ²ｗ² 状態変数がｘ＝（θ，ｄθ／ｄｔ）であり、学習時の振
り子の質量がｍ＝１〔ｋｇ〕、長さＬ＝１〔ｍ〕である
ことから、（式１９−１、式１９−２、式１９−３）よ
り、行動生成器および外乱生成器は下記のごとくなる。

【数２３】ここで、状態変数は連続であるので、状態評価器の関数
近似手段として多層神経回路網を用いた。

【００３３】このようにして、学習した行動生成器を、
非線形ロバスト制御器として採用し、長さＬ＝0.5,1.0,
2.0 〔ｍ〕の３種の異なる長さを持つシステムに適用し
た。また、従来の強化学習を用いて学習した制御器に対
しても同様の実験を行った。その結果を以下に示す。

【００３４】図４（ｂ）および図５において、実線で図
示するように、全ての環境において、非線形ロバスト制
御器は単振り子の振り上げに成功している。ただし、グ
ラフの縦軸は振り子の回転角を、横軸は時間を表してい
る。一点鎖線は振り上がった状態を示している。そし
て、実線は、一点鎖線で示す直線に収束しているため、
振り上げに成功していることが分かる。

【００３５】一方、破線で示すように、通常の強化学習
で学習した従来の制御器は、学習時に用いた環境と同一
の環境以外では振り子を振り上げることができていな
い。図４（ｂ）に示す様に、学習時の環境（振り子の長
さＬ＝1.0[ｍ])で振り上げを行うと、振り上げ軌道が一
点鎖線に収束していることが分かるが、図５に示したよ
うに、学習時の環境以外（振り子の長さＬ＝0.5[ｍ],2.
0[ｍ])の環境下で振り上げを行うと、振り上げ軌道は一
点鎖線に収束しておらず、振り上げができていないこと
が分かる。

【００３６】具体例２：非線形力場における荷物の搬送ここでは、図６の様な直動アクチュエータ１１に搬送物
１２を載せて運搬することを考える。ただし、勾配のた
めに制御対象に非線形性があり、また、アクチュエータ
１１を小型化するために、大きな出力が出ないような状
況を想定する。制御対象の運動方程式は、勾配をθ、摩
擦係数μ＝0.01, 重力加速度ｇ＝9.8[m/s²] とすると次
式で表される。

【数２４】ただし、状態変数はｘ＝（ａ，da/dt)であり、ａはアク
チュエータ１１の水平方向の位置を、 da/dtは速度を表
す。また、Ｆはアクチュエータ１１が与える力であり、
Ｍは搬送物１２の質量、ｍはアクチュエータ１１の質量
である。そして、勾配θは、水平位置がａの場合には、
θ＝ arctan(cos(πａ))となる。

【００３７】したがって、（式１８−１、式１８−２、
式１８−３）との対応を考えると、運搬用アクチュエー
タ１１の運動方程式を構成するそれぞれの関数は以下の
ように与えられる。

【数２５】ここで、また、（式６）に対応する報酬は以下の関数を
用いた。ｑ(t) ＝1.0 −0.02ｕ²＋γ²ｗ² (if 0.4≦ａ≦0.6) ＝− 0.5−0.02ｕ²＋γ²ｗ² (otherwise)

【００３８】状態変数がｘ＝（ａ，da/dt)であり、学習
時のアクチュエータ１１の質量がｍ＝１〔ｋｇ〕、搬送
物１２の質量Ｍ＝１〔ｋｇ〕であることから、（式１９
−２）（式１９−３）より、行動生成器および外乱生成
器は下記のごとくなる。

【数２６】ここで、状態変数は連続であるので、状態評価器の関数
近似手段として多層神経回路網を用いた。

【００３９】そして、ある目標地点（図７において一点
鎖線で図示する）に移動させることを学習した。なお、
図７では、縦軸にアクチュエータ１１の位置、横軸に時
間を取っている。

【００４０】このようにして、学習した行動生成器を、
非線形ロバスト制御器として採用し、学習時と同じ質量
（Ｍ＝１〔kg〕）の搬送物１２を載せた場合と、学習時
よりも重い搬送物１２（Ｍ＝３〔kg〕）を載せた場合と
で、１５〔ｍ〕離れた地点から目標地点まで搬送するシ
ミュレーション実験を行った結果を図７（ａ）および図
７（ｂ）に実線でそれぞれ示した。図７（ａ）および
（ｂ）の両方の実線は、アクチュエータ１１の軌道が目
標地点を示す一点鎖線に収束していることから、搬送物
１２の質量が、Ｍ＝１〔kg〕，Ｍ＝３〔kg〕の両方の場
合で搬送を行うことができることが分かる。

【００４１】一方、通常の強化学習で学習した従来の制
御器に対しても、同様の実験を行い、その結果を図７に
破線で図示した。図７（ａ）の破線で図示したように、
搬送物１２の質量がＭ＝１〔kg〕の場合には、アクチュ
エータ１１の軌道が、目標地点をしめす一点鎖線に収束
していることから、目標地点への搬送に成功しているこ
とが分かる。しかし、図７（ｂ）の破線で図示したよう
に、搬送物１２の質量がＭ＝３〔kg〕の場合には、アク
チュエータ１１の軌道が、目標地点をしめす一点鎖線に
収束していないことから、目標地点への搬送ができてい
ないことが分かる。この様に、本発明のロバスト強化学
習方式を用いて獲得した制御器は、搬送物１２の質量に
ばらつきがある場合でも、ある程度の範囲内で対応する
ことができる。

【００４２】以上、本発明の実施の形態について説明し
たが、本発明の趣旨の範囲内で種々の形態を実施するこ
とが可能である。

【００４３】

【発明の効果】以上述べた如く、本発明によれば、目標
の達成度に応じた報酬に、外乱に耐えうることに応じた
報酬を加味した報酬信号である評価信号を生成し、現在
の状態から将来に向けて得られる評価信号の和の期待値
を最大化するべく行動生成器は学習し、一方、外乱生成
器は前記評価信号の和の期待値を最小化すべく学習する
ので、環境モデルが未知の場合にも対応することができ
るとともに、環境の変動に強くなることができる。さら
に、非線形の制御対象あるいは環境にも適用可能であ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態のロバスト強化学習方式に
用いる回路のブロック図である。

【図２】従来の強化学習方式に用いる回路のブロック図
である。

【図３】Ｈ∞制御理論を説明するための制御対象と制御
器との制御系のブロック図である。

【図４】第１具体例の説明図で、（ａ）が概略図、
（ｂ）が１ｍの長さの振り子の角度変化のグラフであ
る。

【図５】第１具体例の角度変化のグラフで、（ａ）が
０．５ｍの長さの振り子を制御対象として用いた場合の
グラフ、（ｂ）が２ｍの長さの振り子を制御対象として
用いた場合のグラフである。

【図６】第２具体例の概略図である。

【図７】第２具体例の直動アクチュエータの位置変化の
グラフで、（ａ）が１ｋｇの質量の搬送物を用いた場合
のグラフ、（ｂ）が３ｋｇの質量の搬送物を用いた場合
のグラフである。

【符号の説明】

ｑ(t) 評価信号ｒ(t) 目標報酬信号ｓ(t) 外乱報酬信号ｕ(t) 行動信号ｗ(t) 外乱信号１環境２行動生成器３状態評価器４外乱生成器

───────────────────────────────────────────────────── フロントページの続き (72)発明者銅谷賢治京都府相楽郡精華町光台７−２−１−５ −201 Ｆターム(参考） 5H004 GA07 GA15 GA17 JA13 JB22 KC09 KC18 KC28 KD42 KD62

Claims

【特許請求の範囲】

【請求項１】制御対象あるいは環境に行動信号を出力す
るとともに学習機能を具備する行動生成器、および制御
対象あるいは環境に外乱信号を出力するとともに学習機
能を具備する外乱生成器を備え、目標の達成度に応じた報酬に、前記外乱生成器からの外
乱に耐えうることに応じた報酬を加味した報酬信号であ
る評価信号を生成し、現在の状態から将来に向けて得ら
れる評価信号の荷重和の期待値を最大化（または最小
化）するべく行動生成器は学習し、一方、外乱生成器は
前記評価信号の和の期待値を最小化（または最大化）す
べく学習することを特徴とするロバスト強化学習方式。
【請求項２】前記学習方式において、現在の状態から将
来に向けて得られる評価信号の和の期待値を予測する状
態評価器を備え、その予測誤差信号を、状態評価器、行
動生成器、および外乱生成器の少なくとも１個の学習に
用いることを特徴とするロバスト強化学習方式。
【請求項３】前記状態評価器、行動生成器および外乱生
成器の少なくとも一個は、関数近似手段として、入出力
関係を示す参照テーブルを具備していることを特徴とす
る請求項１または２に記載のロバスト強化学習方式。
【請求項４】前記状態評価器、行動生成器および外乱生
成器の少なくとも一個は、関数近似手段として、線形モ
デルまたは多項式モデルを具備していることを特徴とす
る請求項１または２に記載のロバスト強化学習方式。
【請求項５】前記状態評価器、行動生成器および外乱生
成器の少なくとも一個は、関数近似手段として、多層神
経回路網を具備していることを特徴とする請求項１また
は２に記載のロバスト強化学習方式。
【請求項６】請求項１または請求項２の方式により、予
め学習された前記状態評価器と行動生成器または行動生
成器のみを用いた制御方式。
【請求項７】請求項１または請求項２の方式を計算機シ
ミュレーションによって実現される環境モデルに適用
し、それによって学習された前記状態評価器と行動生成
器または行動生成器のみを実環境に適用することを特徴
とする請求項６に記載の制御方式。
【請求項８】前記状態評価器または行動生成器の少なく
とも一方は、関数近似手段として、入出力関係を示す参
照テーブルを具備していることを特徴とする請求項６ま
たは７に記載のロバスト制御方式を用いたロバスト制御
器。
【請求項９】前記状態評価器または行動生成器の少なく
とも一方は、関数近似手段として、線形モデル、多項式
モデルまたは多層神経回路網を具備していることを特徴
とする請求項６または７に記載のロバスト制御方式を用
いたロバスト制御器。