JP2018151876A5 - - Google Patents

Claims (10)

1. 機械学習に使用される経験を格納する経験データベース、を更新する方法であって、
   学習システムが、エージェントの新しい経験を取得し、
   前記学習システムが、前記新しい経験と前記経験データベースから取得された１以上の過去の経験との間の、類似度を決定し、
   前記経験データベースは、機械学習において、前記エージェントの行動の評価値を決定する評価モデルを学習するために使用され、
   前記学習システムが、前記類似度に基づいて、前記新しい経験を前記経験データベースに格納するか決定する、方法。
2. 請求項１に記載の方法であって、
   前記学習システムが、前記新しい経験と前記経験データベースに格納されている全経験それぞれとの間の類似度の総計に基づいて、前記新しい経験を前記経験データベースに格納するか決定する、方法。
3. 請求項１に記載の方法であって、
   前記学習システムが、前記経験データベースに格納されている既存経験の数が規定数に達している場合に、前記類似度に基づいて、前記新しい経験を前記経験データベースに格納するか決定する、方法。
4. 請求項１に記載の方法であって、
   前記学習システムが、前記類似度と乱数とに基づいて、前記新しい経験を前記経験データベースに格納するか決定する、方法。
5. 請求項１に記載の方法であって、
   前記学習システムが、前記経験データベースに格納されている既存経験の数が規定数に達している場合に、前記既存経験の格納順に基づいて、前記既存経験から削除する経験を選択する、方法。
6. 請求項１に記載の方法であって、
   前記学習システムが、前記経験データベースに格納されている既存経験の数が規定数に達している場合に、前記既存経験間の類似度に基づいて、前記既存経験から削除する経験を選択する、方法。
7. 請求項６に記載の方法であって、
   前記学習システムが、前記既存経験間の類似度を示すテーブルを参照して、前記既存経験間の類似度を決定し、
   前記経験データベースの更新に応じて、前記テーブルを更新する、方法。
8. 請求項１に記載の方法であって、
   前記エージェントは仮想環境におけるロボットであり、
   前記学習システムが、ニューラルネットワークに基づいて、前記仮想環境において前記ロボットの行動を決定し、
   前記新しい経験は、前記ロボットの前記行動による経験であり、
   前記学習システムが、前記経験データベースからサンプリングした経験を使用して、バックプロパゲーションにより、前記ニューラルネットワークのパラメータを更新する、方法。
9. 請求項８に記載の方法であって、
   前記学習システムが、実ロボット端末に、前記ニューラルネットワークのパラメータを送信する、方法。
10. 学習システムであって、
    記憶装置と、
    プロセッサと、
    前記記憶装置は、経験データベースを格納し、
    前記経験データベースは、機械学習において、エージェントの行動の評価値を決定する評価モデルを学習するために使用され、
    前記プロセッサは、
    前記エージェントの新しい経験を取得し、
    前記新しい経験と前記経験データベースから取得された１以上の過去の経験との間の、類似度を決定し、
    前記類似度に基づいて、前記新しい経験を前記経験データベースに格納するか決定する、学習システム。