JP2019219981A5 - 処理装置、方法、およびプログラム - Google Patents

Claims (9)

1. 対象環境に所定の行動を適用したときの状態遷移のシミュレーションを行い、状態遷移後の該対象環境の状態と、第１指標を用いて求められる該適用された行動に対する評価値と、を算出する第１処理部と、
   該対象環境の状態に対する行動の価値を示す価値関数に基づいて行動を選択して前記第１処理部に入力し、前記第１処理部にて算出された該状態と該評価値とに基づいて該価値関数を更新する第２処理部と、を備え、
   前記第２処理部では、前記第１処理部でのシミュレーション結果を第２指標に基づいて選定し、選定したシミュレーション結果と該価値関数とに基づいて施策を定めることを特徴とする処理装置。
2. 前記第２処理部は、第１指標から評価値を算出する評価値計算関数を予め定めておき、入力された第１指標に基づいて前記評価値計算関数を選択する、
   請求項１に記載の処理装置。
3. 前記第２処理部は、重みの比較的大きい第２指標を重みの比較的小さい第２指標よりも優先的に良好な値に維持するようにシミュレーション結果を選定する、
   請求項１に記載の処理装置。
4. 前記第２処理部は、前記第１指標と前記第２指標との相関係数を算出し、前記相関係数が負であれば警告を提示する、
   請求項１に記載の処理装置。
5. 前記第２処理部は、前記価値関数に基づいて行動を選択して前記第１処理部に入力し、前記第１処理部にて算出された該状態と該評価値とに基づいて該価値関数を更新することを繰り返す強化学習と並行して前記相関係数を算出し、前記相関係数が負であると判断した段階で前記強化学習を終了する、
   請求項４に記載の処理装置。
6. 前記第２処理部は、入力された第１指標が、過去の施策探索において第２指標とされた指標であれば、前記過去の施策探索時に得られた価値関数を今回の施策探索における価値関数の初期値として用いる、
   請求項１に記載の処理装置。
7. 前記第１処理部が前記シミュレーションを行って前記状態と前記評価値とを算出し、前記第２処理部が、前記価値関数に基づいて行動を選択して前記第１処理部に入力し、前記第１処理部にて算出された該状態と該評価値とに基づいて該価値関数を更新するまでの一連の処理を複数回繰り返すエピソードを実行し、前記第２指標が所定の条件を満たしたエピソードを蓄積し、前記蓄積したエピソードに基づいて前記価値関数を改善し、前記エピソードの実行から前記価値関数の改善までの一連の処理を所定の終了条件が満たされるまで繰り返し、得られた前記価値関数に基づいて定まる施策を提示する、
   請求項１に記載の処理装置。
8. コンピュータが、
   対象環境の状態に対する行動の価値を示す価値関数に基づいて行動を選択して、対象環境に所定の行動を適用したときの状態遷移のシミュレーションを行い状態遷移後の該対象環境の状態と第１指標を用いて求められる該適用された行動に対する評価値とを算出する処理への入力とし、前記処理にて算出された該状態と該評価値とに基づいて該価値関数を更新し、
   前記処理でのシミュレーション結果を第２指標に基づいて選定し、選定したシミュレーション結果と該価値関数とに基づいて施策を定める、
   処理を実行する処理方法。
9. 対象環境の状態に対する行動の価値を示す価値関数に基づいて行動を選択して、対象環境に所定の行動を適用したときの状態遷移のシミュレーションを行い状態遷移後の該対象環境の状態と第１指標を用いて求められる該適用された行動に対する評価値とを算出する処理への入力とし、前記処理にて算出された該状態と該評価値とに基づいて該価値関数を更新し、
   前記処理でのシミュレーション結果を第２指標に基づいて選定し、選定したシミュレーション結果と該価値関数とに基づいて施策を定める、
   ことをコンピュータに実行させるための処理プログラム。