JP2013084175A5 - - Google Patents

Claims (15)

1. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成部を備え、
   前記報酬推定機生成部は、
   複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
   前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
   前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰／判別学習により算出する推定関数算出部と、
   を含み、
   前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
   情報処理装置。
2. エージェントがおかれた現在の状態を表す状態データと、当該エージェントが次にとりうる行動を表す行動データとを前記報酬推定機に入力し、当該行動をとった結果として当該エージェントが得る報酬値を推定する報酬値推定部と、
   前記現在の状態において前記エージェントが次にとりうる行動のうち、前記報酬値推定部により推定された報酬値が最も高い値となる行動を選択する行動選択部と、
   をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記行動選択部による選択結果に基づいてエージェントを行動させる行動制御部と、
   前記エージェントの行動に伴って更新される状態データ及び行動データを蓄積し、当該行動の結果としてエージェントが得た報酬を表す報酬値と、蓄積した状態データ及び行動データとを対応付けて前記行動履歴データに追加する履歴データ追加部と、
   をさらに備える、
   請求項２に記載の情報処理装置。
4. 前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
   前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組を間引く分布調整部をさらに備える、
   請求項３に記載の情報処理装置。
5. 前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
   前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する分布調整部をさらに備える、
   請求項３に記載の情報処理装置。
6. 前記分布調整部は、間引き後に残った前記状態データ、前記行動データ、及び前記報酬値の組について、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する、
   請求項４に記載の情報処理装置。
7. 前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
   前記報酬値推定部は、
   現在の時刻における状態データ及び行動データを前記予測機に入力して次の時刻におけるエージェントの状態を表す状態データを予測し、
   前記次の時刻におけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
   請求項２〜６のいずれか１項に記載の情報処理装置。
8. 前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
   前記報酬値推定部は、現在の時刻を時刻ｔ０とした場合に、
   時刻ｔ０における状態データ及び行動データを前記予測機に入力して次の時刻ｔ１におけるエージェントの状態を表す状態データを予測する処理を実行し、
   ｋ＝１〜ｎ−１（ｎ≧２）について、時刻ｔｋにおける状態データ及び時刻ｔｋにおいてエージェントがとりうる行動を表す行動データを前記予測機に入力して時刻ｔｋ＋１におけるエージェントの状態を表す状態データを予測する処理を逐次実行し、
   予測した時刻ｔｎにおけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
   請求項２〜６のいずれか１項に記載の情報処理装置。
9. 前記報酬推定機生成部は、複数のエージェントの状態を表す状態データと、当該状態において各エージェントがとった行動を表す行動データと、当該行動の結果として各エージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する、
   請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記基底関数生成部は、遺伝的アルゴリズムに基づいて前記基底関数を更新し、
    前記特徴量ベクトル算出部は、前記基底関数が更新された場合に、更新後の前記基底関数に前記状態データ及び前記行動データを入力して特徴量ベクトルを算出し、
    前記推定関数算出部は、前記更新後の基底関数を用いて算出された特徴量ベクトルの入力に応じて前記報酬値を推定する推定関数を算出する、
    請求項１〜９のいずれか１項に記載の情報処理装置。
11. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出部と、
    前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成部と、
    を備え、
    前記スコア推定機生成部は、
    複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
    前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
    前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰／判別学習により算出する推定関数算出部と、
    を含み、
    前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
    情報処理装置。
12. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成するステップを含み、
    前記生成するステップは、
    複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
    前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
    前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰／判別学習により算出するステップと、
    を含み、
    前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
    情報処理方法。
13. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するステップと、
    前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するステップと、
    を含み、
    前記生成するステップは、
    複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
    前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
    前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰／判別学習により算出するステップと、
    を含み、
    前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
    情報処理方法。
14. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成機能をコンピュータに実現させるためのプログラムであり、
    前記報酬推定機生成機能は、
    複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
    前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
    前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰／判別学習により算出する推定関数算出機能と、
    を含み、
    前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
    プログラム。
15. エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出機能と、
    前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成機能と、
    をコンピュータに実現させるためのプログラムであり、
    前記スコア推定機生成機能は、
    複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
    前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
    前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰／判別学習により算出する推定関数算出機能と、
    を含み、
    前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
    プログラム。