JP2017064910A5 - - Google Patents

Claims (19)

1. 複数のワークの表面の情報を出力する計測器の出力データを観測する観測部と、
   ハンド部によって前記ワークを取り出すロボットの取り出し動作の結果を取得する動作結果取得部と、
   前記観測部により観測された前記出力データおよび前記動作結果取得部により取得された前記取り出し動作の結果に基づいて、前記ハンド部の位置、姿勢および取り出し方向を設定するための状態変数を更新する学習部と、を備える機械学習装置。
2. 前記学習部は、
   前記取り出し動作の結果に基づいて報酬を計算する報酬計算部と、
   ワークの取り出し動作の価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する価値関数更新部と、を備え、
   前記価値関数に基づいて前記状態変数を更新する請求項１に記載の機械学習装置。
3. 前記価値関数がニューラルネットワークを用いて表現される請求項２に記載の機械学習装置。
4. 前記学習部は、前記出力データに基づいて生成される学習モデルを有し、
   前記学習モデルの出力と前記取り出し動作の結果に基づいて誤差を計算する誤差計算部と、
   前記誤差に基づいて前記学習モデルを更新する学習モデル更新部と、を備え、
   前記更新された学習モデルに基づいて前記状態変数を更新する請求項１に記載の機械学習装置。
5. 前記学習モデルがニューラルネットワークである請求項４に記載の機械学習装置。
6. 前記観測部が、前記ハンド部によって前記ワークを取り出す前記ロボットの取り出し動作に関する状態量を観測する請求項１乃至５のいずれか１項に記載の機械学習装置。
7. 前記計測器の出力データは、前記ワーク毎の位置データ、あるいは、前記ワーク毎の位置データおよび姿勢データを含む請求項１乃至６のいずれか１項に記載の機械学習装置。
8. さらに、
   前記学習部により得られた前記状態変数に基づいて、ワークの取り出し動作を前記ロボットに指令する指令データを決定する意思決定部を備える、請求項１乃至７のいずれか１項に記載の機械学習装置。
9. さらに、
   前記学習部により得られた前記状態変数に基づいて、前記計測器の計測パラメータを決定する意思決定部を備える、請求項１乃至７のいずれか１項に記載の機械学習装置。
10. 請求項８に記載の機械学習装置を備えたロボットシステムであって、
    前記計測器と、
    前記ロボットと、
    前記指令データに基づいて、前記ロボットを制御する制御装置と、
    を備えるロボットシステム。
11. 請求項９に記載の機械学習装置を備えたロボットシステムであって、
    前記計測器と、
    前記ロボットと、
    前記計測パラメータに基づいて、前記計測器を制御する制御装置と、
    を備えるロボットシステム。
12. 前記機械学習装置がクラウドサーバ上に存在する、
    請求項１０または１１に記載のロボットシステム。
13. 前記ロボットシステムは、複数の前記ロボットを備え、
    前記機械学習装置は、前記ロボット毎にそれぞれ設けられ、
    複数の前記ロボットに設けられた複数の前記機械学習装置は、通信媒体を介して相互にデータを共有または交換する請求項１０または１１に記載のロボットシステム。
14. 複数のワークの表面の情報を出力する計測器の出力データを観測するステップと、
    ハンド部によって前記ワークを取り出すロボットの取り出し動作の結果を取得するステップと、
    前記観測された出力データおよび前記取得された取り出し動作の結果に基づいて、前記ハンド部の位置、姿勢および取り出し方向を設定するための状態変数を更新するステップと、
    を備える機械学習方法。
15. 前記状態変数を更新するステップは、
    前記取り出し動作の結果に基づいて報酬を計算するステップと、
    ワークの取り出し動作の価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新するステップと、を含み、
    前記価値関数に基づいて前記状態変数を更新する請求項１４に記載の機械学習方法。
16. 前記価値関数がニューラルネットワークを用いて表現される請求項１５に記載の機械学習方法。
17. 前記状態変数を更新するステップは、前記出力データに基づいて生成される学習モデルを有し、
    前記学習モデルの出力と前記取り出し動作の結果に基づいて誤差を計算するステップと、
    前記誤差に基づいて前記学習モデルを更新するステップと、を含み、
    前記更新された学習モデルに基づいて前記状態変数を更新する請求項１４に記載の機械学習方法。
18. 前記学習モデルがニューラルネットワークである請求項１７に記載の機械学習方法。
19. 前記計測器の出力データは、前記ワーク毎の位置データ、あるいは、位置データおよび姿勢データを含む請求項１４乃至１８のいずれか１項に記載の機械学習方法。