JP2000020494A

JP2000020494A - マルチエージェントモデルを用いて経験強化型強化学習法と環境同定型強化学習法を統合する分散強化学習法

Info

Publication number: JP2000020494A
Application number: JP10192101A
Authority: JP
Inventors: Satoshi Kurihara; 聡栗原; Toshiharu Sugawara; 俊治菅原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-07-07
Filing date: 1998-07-07
Publication date: 2000-01-21

Abstract

(57)【要約】【課題】経験強化型強化学習法と環境同定型強化学習
法を統合して、学習に要する試行回数が少なく、動的な
環境の変化に対してロバスト性があり、最適な学習効果
が得られるマルチエージェントモデルを用いて経験強化
型強化学習法と環境同定型強化学習法を統合する分散強
化学習法を提供する。【解決手段】経験強化型強化学習法と環境同定型強化
学習法を統合して、学習に要する試行回数が少なく、動
的な環境の変化に対してロバスト性がある経験強化型強
化学習法の特徴と最適に近い学習効果が得られる環境同
定型強化学習法の特徴を具備している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実世界において人
とインタラクションを行う自律移動ロボットやインター
ネットとユーザとの自律的なインタラクションを行うイ
ンタフェースエージェント等のような自律行動主体が行
動計画モジュールに従って行動するだけでなく、環境内
の個々の状況に対して効率よく適用できるための強化学
習を行うマルチエージェントモデルを用いて経験強化型
強化学習法と環境同定型強化学習法を統合する分散強化
学習法に関する。

【０００２】

【従来の技術】プランニングモジュールは自律行動主体
を設計する際の基本的な部分である。特に実世界やイン
ターネットなど、規模が大きく動的に変化するような環
境を対象とする場合は変化に対して柔軟なプランニング
が行えることが必要である。しかしながら、これら自律
行動主体をより効果的に機能させるためには、プランニ
ングモジュールに加えて環境内で遭遇する種々の事態に
効果的に適応させるための強化学習モジュールが必要不
可欠である。

【０００３】従来の強化学習法は、大きく経験強化型と
環境同定型の２種類に分類されているが、以下簡単に概
要を説明する。なお、強化学習法に関しての基本的な説
明は「エージェントアプローチ人工知能、古川康一監
訳、共立出版、１９９７」を参照されたい。

【０００４】経験強化型強化学習法は、これまで提案さ
れてきた多くの強化学習法が属するものであり、古典的
強化学習法とも呼ばれているが、これらの提案されてい
る手法の中で最も代表的なものがprofit-sharing（J.J.
Grefenstette：Credit Assignment in Rule Discovery
Systems Based on Generic Algorithms,Machine Learni
ng,Vol.3,pp.225-245,1988参照）である。なお、経験強
化型強化学習法の具体的なアルゴリズムとして以降prof
it-sharing法を用いる。このprofit-sharing法は、報酬
を得た時にそれまでの行動系列を一括して強化する。こ
の時の行動系列を「エピソード」という。学習に要する
試行回数が少ないこと、また動的な環境の変化に対して
多少のロバスト性があるという特徴を有する。しかしな
がら、最適な学習結果が得られないという欠点が指摘さ
れている。

【０００５】また、環境同定型強化学習法は、近年特に
注目されている手法であり、Q-learning（C.J.C.Watkin
s and P.Dayan:Technical Note:Q-learning,Machine Le
arning,Vol.8,pp.55-68,1992参照）がこれまで提案され
ている中で代表的な手法である。なお、環境同定型強化
学習法の具体的アルゴリズムとして以降Q-learning法を
用いる。このQ-learning法の特徴は、Ｑ値を求める際に
環境の状態が正確に同定されれば必ず最適な学習効果が
得られる点にある。欠点としては、profit-sharingに比
べて非常に多くの試行回数を要することや、環境の動的
な変化に対するロバスト性が乏しく、学習中に環境が変
化してしまうとそれまで得られた学習結果全体に影響が
及んでしまうことが指摘されている。

【０００６】

【発明が解決しようとする課題】対象とする自律行動主
体のための強化学習法について考えてみると、以下２つ
の特徴を合わせ持つことが必要である。

【０００７】（１）環境の動的な変化に対応できるロバ
ストな強化学習法でなければならない。つまり、profit
-sharing法の特徴を有することが必要である。

【０００８】（２）なるべく最適に近い学習結果が得ら
れる必要がある。例えば、学習結果に基づき移動ロボッ
トが移動することを想定すると、ロボットのバッテリを
考慮すれば無駄な移動は避けなければならない。また、
インターネットから有用な情報を収集するためにネット
ワーク上を移動するプログラムであるソフトウェアエー
ジェントを想定すると、やはり無駄なネットワーク上の
移動は避けなければならない。無論これら自律行動主体
を使用しているユーザにとっても、ロボットが与えられ
たタスクを早急に達成できること、またソフトウェアエ
ージェントが俊敏にユーザが欲しい情報を収集してくれ
ることは必須である。つまり、Q-learning法の特徴も有
することが必要である。

【０００９】本発明は、上記に鑑みてなされたもので、
その目的とするところは、経験強化型強化学習法と環境
同定型強化学習法を統合して、学習に要する試行回数が
少なく、動的な環境の変化に対してロバスト性があり、
最適な学習効果が得られるマルチエージェントモデルを
用いて経験強化型強化学習法と環境同定型強化学習法を
統合する分散強化学習法を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、規模が大きく動的に変化
する環境下で動作する自律移動ロボットおよびインタフ
ェースエージェントを含む自律行動主体が環境に自律的
に適用するために行う強化学習に対してマルチエージェ
ントモデルを用いて経験強化型強化学習法と環境同定型
強化学習法を統合することを要旨とする。

【００１１】請求項１記載の本発明にあっては、経験強
化型強化学習法と環境同定型強化学習法を統合するた
め、学習に要する試行回数が少なく、動的な環境の変化
に対してロバスト性がある経験強化型強化学習法の特徴
と最適に近い学習効果が得られる環境同定型強化学習法
の特徴を有することができる。

【００１２】また、請求項２記載の本発明は、請求項１
記載の発明において、前記経験強化型強化学習法が、報
酬を貰えたか否かを判定して報酬を貰えた場合には、環
境同定エージェントを生成し、報酬を貰えない場合に
は、記憶モジュールに出会ったか否かを判定し、記憶モ
ジュールに出会った場合には強化値をセットするように
したことを要旨とする。

【００１３】請求項２記載の本発明にあっては、経験強
化型強化学習法では報酬を貰えた場合には環境同定エー
ジェントを生成し、報酬を貰えない場合には記憶モジュ
ールに出会ったか否かを判定し、記憶モジュールに出会
った場合には強化値をセットするようになっている。

【００１４】更に、請求項３記載の本発明は、請求項１
または２記載の発明において、前記環境同定型強化学習
法が、同定を行うためのヒューリスティック距離を使用
し、移動した状態の環境同定率を計算し、この計算値が
所定の値を下回る場合は移動し、前記計算値が所定の値
以上である場合は、活性伝播を行った後、前記ヒューリ
スティック距離Ｈを順次増加させることを要旨とする。

【００１５】請求項３記載の本発明にあっては、環境同
定型強化学習法ではヒューリスティック距離を使用し、
環境同定率を計算し、計算値が所定の値を下回る場合は
移動し、計算値が所定の値以上である場合は活性伝播を
行った後、ヒューリスティック距離Ｈを順次増加させる
ようにしている。

【００１６】

【発明の実施の形態】本発明の分散強化学習法は、マル
チエージェントモデルの枠組を用いて、経験強化型強化
学習法と環境同定型強化学習法とを効果的に統合したも
のであり、以下”MarLee”（Multi-Agent Reinforcemen
t Learning System using Exploitation and Explorati
on）と称することにする。

【００１７】まず、MarLeeを説明するための例として、
図１に示すような格子状の状態空間Ｓ内を移動する自律
行動主体Ａを考える。状態空間Ｓを構成する個々の状態
はそれぞれＳ_1a，…，Ｓ_7fのように表記される。自律行
動主体Ａは状態空間Ｓ内を上下左右に１ブロックずつ移
動することができ、数箇所存在する報酬獲得ポイントＢ
にて報酬を得ることができる（得られる報酬量はＢ毎に
それぞれ異なる）。また、状態空間Ｓ内には障害物も存
在し、自律行動主体Ａは障害物を通過することはできな
い。報酬獲得ポイントＢの位置と数は変化しないが、障
害物の位置と数は動的に変化するものとする（動的な環
境の変化）。

【００１８】自律行動主体Ａは初期状態では状態空間Ｓ
が格子状の環境で自分が上下左右に移動できること以
外、報酬獲得ポイントＢや障害物の位置に関しての情報
は一切持っていない。また、自分が移動した経路の情報
に関してのみ得ることができる。

【００１９】自律行動主体Ａが行う強化学習は、常に安
定して高い報酬を獲得できる移動経路を学習することで
ある。つまり、単に高い報酬を獲得できる報酬獲得ポイ
ントＢまでの経路を学習するのではなく、状況によって
は獲得報酬量は少なくても想定される移動ステップ数が
少なければ、その報酬獲得ポイントＢへの最適な経路が
学習できなければならない。そして、障害物が動的に消
滅／出現するので、これを察知した時にその時点までに
獲得できた学習結果を柔軟に変更でき、学習の効率を低
下させないようにすることも必要となる。

【００２０】MarLeeはマルチエージェントモデルの枠組
で構成され（マルチエージェントモデルの詳しい説明は
「エージェントアプローチ人工知能、古川康一監訳、共
立出版、１９９７参照）、経験強化型の強化学習を行う
１つのエージェント（経験強化エージェントと呼ぶ）
と、環境同定型の強化学習を行う複数のエージェント
（環境同定エージェントと呼ぶ）が互いに協調すること
で強化学習を行う。

【００２１】経験強化エージェントは、profit-sharing
と同様の経験強化型の強化学習を行う。上述したよう
に、profit-sharingでは「エピソード」が学習の単位で
あり、エピソードとエピソードに割り振られた強化値を
記憶していく。強化値の割り当て方法もprofit-sharing
と同様で、エピソードを構成する各状態に対して報酬ポ
イントからそれだけ過去であるかを引数として強化値を
返す強化関数に基づいた強化値を割り当てる。profit-s
haringにおいては強化関数の性能が学習効率に大きく影
響を与えることが指摘されており、この点に関しては多
くの研究が行われている。なお、MarLeeにおいては標準
的な強化関数を採用する。

【００２２】次に、経験強化エージェントが従来のprof
it-sharingと異なる点について説明する。経験強化エー
ジェントは報酬を得ると、報酬を得たポイントを中心
に、報酬量に応じたエリアを対象として環境同定型強化
学習を行う環境同定エージェントを１つ生成する。生成
された環境同定エージェントは、その後経験強化エージ
ェントとは独立に割り当てられたエリアを対象に環境同
定型強化学習を遂行していく。経験強化エージェントは
その後再び経験強化型学習を続行し、別の報酬ポイント
に出会うと新たな環境同定エージェントを生成し、この
作業を繰り返す上記シミュレーション環境においては、
１つの自律行動主体Ａに経験強化エージェントが実装さ
れ、他の複数の自律行動主体Ａに環境同定エージェント
が実装される構造になる。

【００２３】環境同定エージェントが同定作業を開始し
たエリア内においては、その環境同定エージェントが学
習を終了することにより最適な学習結果が得られるの
で、環境同定エージェントを生成させた後は、経験強化
エージェントは各環境同定エージェントによる同定エリ
アの外周に到達するまでの経路に関する経験強化学習の
みを行う。

【００２４】環境同定エージェントは、Q-learningと同
様の環境同定型強化学習を行う。ただし、ロバスト性を
向上させるために行動選択ネットワークに基づく活性伝
播を用いた環境同定を行う。

【００２５】行動選択ネットワーク（P.Maes:The Agent
Network Architecture(ANA), SIGATR Bulletin,Vol.2,
No.4,pp.115-120,1991参照）は、比較的単機能なエージ
ェント集合が互いに活性値を伝播し合うことで協調し、
エージェント全体として合目的に機能する枠組である。
集中制御が不要で各エージェントがそれぞれ自律的に振
舞うことから、ロバスト性と拡張性を有する。活性伝播
には前向きと後向きがあり、それぞれ環境指向と目的指
向の行動選択を誘発する。なお、MarLeeでは後向きの活
性伝播のみを利用する。

【００２６】まず、環境同定エージェントは与えられた
エリア内をランダムに移動し、初めて移動した各状態に
対して１つずつ記憶モジュールを割り付けていく。各記
憶モジュールに移動能力はなく、自分に伝播された活性
値（後述）や、自分がどの隣接する記憶モジュールと実
際に結合されているかなどの情報を保持している。な
お、記憶モジュール同士は、互いに隣接していても実際
に環境同定エージェントがそれらの間を移動しなければ
結合状態にはならない。なお、各記憶モジュールは、上
下左右の最大４つの記憶モジュールと結合できる。

【００２７】エリア内においてある程度記憶モジュール
が割り付けられ、しかも割り付けられた記憶モジュール
の保有する結合数の合計を基に計算される環境同定率
（後述）がある閾値を越えると、環境同定エージェント
はエリア内の移動を中止し、報酬獲得ポイントを中心と
した活性伝播を開始し、profit-sharingにおける強化値
の割り当てに相当する作業を行う。

【００２８】記憶モジュールは自分と結合状態にある他
の記憶モジュールから強化値が伝播されると、自発的に
自分が結合している別の記憶モジュールに向かって強化
値を伝播する。伝播の仕方は図２に示すように、全体と
してある減衰を行った後、エピソードの一員となってい
る記憶モジュールとそれ以外の記憶モジュールとで異な
る減衰率により強化値を伝播する。エリア内のすべての
記憶モジュールに対して活性値が伝播された時点で活性
伝播は終了となる。環境同定エージェントにおける学習
とは、各記憶モジュールが自分がどの結合されている記
憶モジュールに対し、どれくらいの強化値を伝播したの
かを記憶することである。なお、活性伝播のアルゴリズ
ムについては、「S.Kurihara.T.Sugawara, "Proposal a
nd Evaluation of Learning Agent Network Architectu
re：L-ANA", MACC'97,1997.12.18」を参照されたい。

【００２９】この作業が終了すると、同定するエリアを
拡大した新たな記憶モジュールの割り付け作業を開始
し、この一連の作業を繰り返す。

【００３０】環境同定エリアの拡大について説明する。
環境同定エージェントが同定を行うエリアは、上述した
ように報酬を得られる状態を中心とし、報酬に応じたヒ
ューリスティック距離を半径とする円である。今回用い
るシミュレーションにおいてはマンハッタン距離を用い
ている。そして、エリアがどの程度同定されたかを示す
環境同定率がある閾値を越えると、ヒューリスティック
距離を増加させ、同定エリアを序々に拡大していく。

【００３１】なお、環境同定率は、環境同定エージェン
トが割り付けることができた記憶エージェントの総数を
ｎ、各記憶エージェントをｍi 、記憶エージェントｍi
の結合数をｒi とすると、次式のようになる。

【００３２】

【数１】従って、各環境同定エージェントは、同定エリアを拡大
させていくに従い、次第に他の同定エリアと重なるよう
になり、最終的にはすべての環境の同定が終了すること
になる。従って、十分な学習のための時間が用意できる
状況では、MarLeeは１つの環境同定エージェントのみに
よる全環境を対象とする環境同定型学習を行うことと同
一の結果を得ることになり、最適な学習結果を得ること
ができる。しかしながら、対象とする自律行動主体を考
えると、十分な学習時間を与えられることが困難な状況
が多く考えられる。つまり、上述したように環境同定作
業は経験強化学習に比べ多くの学習時間を必要とするの
で、同定作業が終了できていない状況でも途中段階の学
習結果を利用しなければならない事態が容易に起こり得
るということである。その点、MarLeeでは環境同定が十
分でない段階であっても、同定されていない部分に関し
ては経験強化エージェントがこれを補うことができるた
め、環境同定のみによる強化学習に比べて容易に学習結
果を利用することができる。

【００３３】図３にMarLeeによる学習が行われている途
中段階のスナップショットを示す。黒い部分が各環境同
定エージェントにより同定されつつある環境であり、灰
色の点が経験強化エージェントにより学習されたエピソ
ード群である。２つの環境同定エージェントが分散して
環境同定型強化学習を行っていることを確認できる。

【００３４】次に、MarLeeによる強化学習の性能を従来
の強化学習法、すなわち経験強化型強化学習のみで学習
を行う場合と、環境同定型強化学習のみで学習を行う場
合とで比較した結果を示す。シミュレーションに用いた
環境は２００×２００で報酬ポイントは１６箇所であ
る。各評価実験においてそれぞれ１２００万ステップの
強化学習を行わせた。なお、MarLeeにおいては、例えば
経験強化エージェントと生成された４つの環境同定エー
ジェントがそれぞれ１ステップの学習を行ったとする
と、MarLeeとしては５ステップの学習を行ったと考え
る。

【００３５】学習ステップ数に対する平均学習度の変化
について説明する。図４に学習ステップ数に対する各強
化学習法による平均学習度の推移を示した。平均学習度
とは、上述した学習度の全地点の平均値のことである。
学習度とは、環境内の個々の地点について、その地点を
出発して学習結果に従った移動を行いながら報酬ポイン
トに到達するまでの移動経路の長さを出発した地点から
その報酬ポイントまでのマンハッタン距離で割った値の
ことである。従って、学習度が小さいということはそれ
だけ効率よく報酬ポイントに到達できる経路が学習でき
ていることを示す。なお、自律行動主体Ａが移動を開始
する出発地点がその時点でまだ未学習の状態であった場
合には、エピソードなど学習されている地点に遭遇でき
るまでランダムな移動を行うものとした。

【００３６】図４に示すように、MarLeeは他の強化学習
法に比べ早い段階で高い平均学習度が得られている。経
験強化型強化学習のみで学習を行った場合は、これまで
行ったシミュレーション結果からもわかるように、最適
な経路学習が不可能なことから学習度はなかなか減少せ
ず、また不安定である。

【００３７】環境同定型強化学習のみで学習を行った場
合についても、最終的には最適な学習が得られるのであ
るが、MarLeeの方が早い学習ステップの段階で平均学習
度が減少している。環境同定型のみで学習を行う場合に
は、同定できていない地点に対してはランダムな移動を
行うしかないものの、MarLeeでは各環境同定エージェン
トが同定できていないエリアは学習コストが軽い経験強
化エージェントによってエピソードとして学習されるの
で、MarLeeによる学習の方が学習度の減少する度合が早
くなっている。このことは、MarLeeが経験強化型と環境
同定型強化学習の特徴を効果的に統合できることを示す
ものである。

【００３８】学習時間に対する平均学習度の変化につい
て説明する。図５は、学習を開始してからの学習時間に
対する平均学習度の推移を示している。これは、各学習
法における１ステップ分の学習に要する時間も異なるか
らである。無論、１ステップ分の学習に要する時間が短
いことが望まれる。

【００３９】まず、MarLeeでは環境同定型強化学習を併
用することから学習に多くの時間を要するのではないか
という疑問も考えられるが、環境同定を分散して行って
いることと、同定されたエリアが経験強化エージェント
の学習の対象から除かれることから学習時間は、経験強
化型強化学習のみで学習を行う場合とほとんど差は生じ
ない。

【００４０】次に、MarLeeにおいて１０個の環境同定エ
ージェントがそれぞれ１ステップの学習を行う間に環境
同定型強化学習のみの学習では１０ステップ分の学習を
行うことができるので、同定される面積は大きくなる。
しかしながら、エリアが大きくなると活性伝播効率が２
乗の割合で低下し、学習を完了するまでにMarLeeに比べ
てはるかに多くの時間を必要としてしまう。活性伝播に
要するコストは同定するエリアの大きさに依存するが、
今回のシミュレーションでは、環境同定型強化学習のみ
で学習を行った場合、学習ステップ数が１２００万ステ
ップに近くなってくると、１ステップ分の学習を行うの
にMarLeeに比べて平均５０倍以上の時間を必要とした。
このことは、分散して環境の同定を行うMarLeeが環境の
規模が大きい場合でも効率の低下を抑制できることを示
すものである。

【００４１】次に、図６および図７に示すフローチャー
トを参照して、上述した経験強化エージェントおよび環
境同定エージェントのアルゴリズムについてそれぞれ説
明する。

【００４２】まず、図６を参照して、経験強化エージェ
ントのアルゴリズムについて説明する。同図に示す処理
では、まず経験強化エージェントはより大きな強化値を
有する状態に移動し、候補が複数存在する場合には、ラ
ンダムに選択する（ステップＳ１１）。それから、この
移動した状態をエピソード登録用テーブルに登録し（ス
テップＳ１３）。報酬が貰えたか否かをチェックする
（ステップＳ１５）。報酬が貰えた場合には、環境同定
エージェントを生成し（ステップＳ１７）、報酬が貰え
ない場合には、記憶モジュールに出会ったか否かをチェ
ックする（ステップＳ１９）。記憶モジュールに出会わ
ない場合には、ステップＳ１１に戻って、同じ処理を繰
り返すが、記憶モジュールに出会った場合および上述し
たように環境同定エージェントを生成した場合には、エ
ピソード登録用テーブルに登録された各状態に強化値を
セットした後、テーブルを初期化する（ステップＳ２
１）。

【００４３】それから、強化値がセットされていない状
態に移動するが、セットされている候補しか存在しない
場合には、ランダムに移動する（ステップＳ２３）。そ
して、強化値がセットされていない状態に移動できたか
否かをチェックし（ステップＳ２５）、強化値がセット
されていない状態に移動できない場合には、ステップＳ
２３に戻って、強化値がセットされていない状態に移動
できるまで同じ処理を繰り返すが、強化値がセットされ
ていない状態に移動できた場合には、ステップＳ１１に
戻り、同じ処理を繰り返し行う。

【００４４】次に、図７を参照して、環境同定エージェ
ントのアルゴリズムについて説明する。同図に示す処理
を実施する環境同定エージェントは経験強化エージェン
トで生成されたものである。また、本処理では、同定を
行うためのヒューリスティック距離をＨとする。

【００４５】図７の処理において、環境同定エージェン
トは記憶モジュールが割り付けられてなく、かつ報酬獲
得ポイントからの距離Ｈ以内である状態に移動するが、
候補がない場合にはランダムに移動する（ステップＳ３
１）。それから、記憶モジュールが割り付けられていな
い状態に移動できたか否かをチェックする（ステップＳ
３３）。記憶モジュールが割り付けられていない状態に
移動できない場合には、ステップＳ３１に戻り、同じ処
理を繰り返すが、記憶モジュールが割り付けられていな
い状態に移動できた場合には、この移動した状態に記憶
モジュールを割り付け（ステップＳ３５）、環境同定率
を計算する（ステップＳ３７）。

【００４６】そして、この計算した環境同定率が所定の
値、例えば９０％以上であるか否かをチェックする（ス
テップＳ３９）。９０％以上でない場合には、ステップ
Ｓ３１に戻って、同じ処理を繰り返すが、環境同定率が
９０％以上である場合には、活性伝播を行い（ステップ
Ｓ４１）、それからヒューリスティック距離Ｈを１増加
するというように順次増加させ（ステップＳ４３）、ス
テップＳ３１に戻って、同じ処理を繰り返し行う。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
環境同定エージェントでは仮にある記憶モジュールの機
能が損なわれたとしても、その記憶モジュールを欠いた
状態で活性伝播が行われ、機能が損なわれた部分を迂回
するような経路が自動的に選択される。

【００４８】本発明の分散強化学習法であるMarLeeは、
例えばユーザの嗜好に合った情報などを自律的にインタ
ーネットから獲得するソフトウェアエージェントにおい
て、モバイルエージェントのように任意のポイントにエ
ージェントを送り込むことが可能な状況や、複数のロボ
ットを用いて未知の空間の探索などを行う状況において
有効である。

【００４９】また、単一の自律移動ロボットなどを考え
た場合においても、経験強化エージェントと環境同定エ
ージェントの役割を交互に行うことでMarLeeを実行する
ことが可能である。

【００５０】自律ロボットやインタフェースエージェン
トの学習モジュールにMarLeeを適用することにより、従
来手法に比べより環境の個々の状況に効率的よく適応で
きるようになり、これら自律行動主体の時間的／エネル
ギー的な効率を大きく向上させることができる。

【図面の簡単な説明】

【図１】本発明のマルチエージェントモデルを用いて経
験強化型強化学習法と環境同定型強化学習法を統合する
分散強化学習法を説明するための一例（グリッドワール
ド）を構成する格子状の状態空間内を移動する自律行動
主体を示す説明図である。

【図２】活性伝播の仕方を示す説明図である。

【図３】本発明の分散強化学習法であるMarLeeによる学
習が行われている途中の段階を示す図である。

【図４】本発明の分散強化学習法であるMarLee、経験強
化型強化学習法および環境同定型強化学習法のそれぞれ
による平均学習度の推移を学習ステップ数に対して示す
グラフである。

【図５】本発明の分散強化学習法であるMarLee、経験強
化型強化学習法および環境同定型強化学習法のそれぞれ
による平均学習度の推移を、学習を開始してからの学習
時間に対して示すグラフである。

【図６】本発明の分散強化学習法における経験強化エー
ジェントのアルゴリズムを示すフローチャートである。

【図７】本発明の分散強化学習法における環境同定エー
ジェントのアルゴリズムを示すフローチャートである。

【符号の説明】

Ａ自律行動主体Ｂ報酬獲得ポイントＳ状態空間Ｓ_1a，…，Ｓ_7f 状態空間を構成する個々の状態

Claims

【特許請求の範囲】

【請求項１】規模が大きく動的に変化する環境下で動
作する自律移動ロボットおよびインタフェースエージェ
ントを含む自律行動主体が環境に自律的に適用するため
に行う強化学習に対してマルチエージェントモデルを用
いて経験強化型強化学習法と環境同定型強化学習法を統
合することを特徴とする分散強化学習法。
【請求項２】前記経験強化型強化学習法は、報酬を貰
えたか否かを判定して報酬を貰えた場合には、環境同定
エージェントを生成し、報酬を貰えない場合には、記憶
モジュールに出会ったか否かを判定し、記憶モジュール
に出会った場合には強化値をセットするようにしたこと
を特徴とする請求項１記載のマルチエージェントモデル
を用いて経験強化型強化学習法と環境同定型強化学習法
を統合する分散強化学習法。
【請求項３】前記環境同定型強化学習法は、同定を行
うためのヒューリスティック距離を使用し、移動した状
態の環境同定率を計算し、この計算値が所定の値を下回
る場合は移動し、前記計算値が所定の値以上である場合
は、活性伝播を行った後、前記ヒューリスティック距離
Ｈを順次増加させることを特徴とする請求項１または２
記載のマルチエージェントモデルを用いて経験強化型強
化学習法と環境同定型強化学習法を統合する分散強化学
習法。