JP2017034852A

JP2017034852A - 機械指令に応じたフィルタを学習する機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法

Info

Publication number: JP2017034852A
Application number: JP2015152682A
Authority: JP
Inventors: 土田　邦夫; Kunio Tsuchida; 邦夫土田
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2017-02-09
Anticipated expiration: 2035-07-31
Also published as: CN106409119B; US10338541B2; DE102016009108A1; CN106409119A; US20170032284A1; JP6259428B2

Abstract

【課題】本発明は、機械学習によって、システム／機械の稼動状態によって変わる、ノイズを除去する最適なフィルタを設定することができ、即時性を失うことなくノイズの除去が可能な機械学習装置及び機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法を提供することを目的とする。
【解決手段】アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する学習部と、を備えることを特徴とする機械学習装置。
【選択図】図２

Description

本発明は、機械学習装置、モータ駆動装置、モータ駆動システム、及び機械学習方法に関し、特に、機械指令に応じたフィルタを学習する機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法に関する。

モータ制御装置において、モータへの電流を検出する回路や、モータの位置を帰還する回路には、アナログ信号が用いられることがある。これらのアナログ信号にノイズが印加されると、システム全体の精度に影響が出る。そこで、アナログ信号にフィルタを入れて検出することにより、ノイズを除去して、システム全体の精度に影響が出ないようにしている（例えば、特許文献１）。

特許文献１には、ノイズ源となる各種機器の搭載された車両に適用され、この車両が関わる無線通信の通信方法を選択する通信制御システムにおいて、ノイズ源となる各種機器の動作状態を検出する検出手段と、検出手段で検出された各種機器の動作状態に基づいて、当該動作状態に特有の電磁ノイズ特性を推定する推定手段と、推定手段で推定された電磁ノイズ特性に応じて通信方法を選択する選択手段とを備える通信制御システムが開示されている。このような構成により、ノイズ源となる各種機器の動作状態、例えば、車両搭載のモータの回転状態に適した通信方法を選択することで、通信を好適に実施することができるというものである。

アナログ信号にかけるフィルタは、大きいほどノイズを除去することができる。しかしながら、フィルタを大きくし過ぎると、応答性を落としてしまい、即時性を失ってしまう。また、システム／機械の状態によって、ノイズの大きさや成分が変わるため、最適なフィルタは一定ではなく、フィルタを固定にすることは必ずしも最適ではない。

特開２０１２−０６２０４４号公報

本発明は、機械学習によって、システム／機械の状態で、外部ノイズを取り除く最適なフィルタを設定することができ、応答性を落とすことなく外部ノイズの除去が可能な機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法を提供することを目的とする。

本発明の一実施例に係る機械学習装置は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する学習部と、を備えることを特徴とする。

本発明の一実施例に係るモータ駆動装置は、上記機械学習装置を備えることを特徴とする。

本発明の一実施例に係るモータ駆動システムは、上記モータ駆動装置と、機械の動作情報を通知する機械指令部と、を有することを特徴とする。

本発明の一実施例に係る機械学習方法は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習方法であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する、ことを含むことを特徴とする。

本発明によれば、機械学習によって、システム／機械の稼動状態で、外部ノイズを取り除く最適なフィルタを設定することができ、応答性を落とすことなく外部ノイズの除去が可能な機械学習装置及び機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法を提供することができる。

本発明の実施例に係る機械学習装置の構成図である。本発明の実施例に係るモータ駆動システムの構成図である。本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートである。本発明の実施例に係るモータ駆動システムの動作手順を説明するためのフローチャートである。

以下、図面を参照して、本発明に係る機械学習装置、モータ駆動装置、モータ駆動システム及び機械学習方法について説明する。

図１は、本発明の実施例に係る機械学習装置の構成図である。図２は、本発明の実施例に係るモータ駆動システムの構成図である。

本発明の実施例に係る機械学習装置１は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置１であって、状態観測部２と、学習部３と、を備える。

状態観測部２は、フィルタ部７（図２参照）の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する。

学習部３は、状態変数によって構成される訓練データセットに従って、フィルタ部７に関連付けられる条件を学習する。

状態観測部２は、機械指令部９からの機械稼働状態の情報を観測し、学習部３は、機械稼働状態の情報に基づいて訓練データセットを更新する。

図２に示したモータ駆動システムの構成図にはフィルタ部７を１つのみ備えた例を示したが、このような例には限られず、フィルタ部を複数備えていてもよい。学習部３が、複数のフィルタ部に対して取得される訓練データセットに従って、条件を学習するように構成されるようにしてもよい。

学習部３が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、訓練データセットに基づいてフィルタを更新する意思決定部４をさらに備えることが好ましい。

機械学習装置１は、ノイズ成分、ノイズ量及び応答性に基づいて報酬を計算する報酬計算部５と、報酬に基づいて、現在の状態変数からフィルタ部を変更するための関数を更新する関数更新部６と、を備える。

報酬計算部５は、ノイズ量が増える、または、応答性が規定値以下の場合に報酬を減少させ、ノイズ量が減り、かつ、応答性が規定値以上の場合に報酬を増加させる。

関数更新部６は、いわゆるＱ学習を用いて強化学習を行うことが好ましい。Ｑ学習は、ある環境ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ，ａ）を学習する方法である。ある状態ｓのとき、Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択するものである。関数更新部６は、下記の式（１）を用いて関数（行動価値関数Ｑ（ｓ_t，ａ_t））を更新する。

ここで、Ｑ（ｓ_t，ａ_t）は行動価値関数、ｓ_tは時刻ｔにおける状態（環境）、ａ_tは時刻ｔにおける行動、αは学習係数、ｒ_t+1は報酬、γは割引率である。行動価値関数は、報酬の期待値を意味する。ｍａｘが付いた項は、環境ｓ_t+1の下で、最もＱ値が高い行動ａを選んだ場合のＱ値にγを掛けたものである。

簡便のため学習係数及び割引率を１とすると、下記の式（２）のように表せる。

この更新式は、環境ｓにおける行動ａの評価値Ｑ（ｓ_t，ａ_t）よりも、行動ａによる次の環境状態における最良の行動の評価値Ｑ（ｓ_t+1，ｍａｘａ_t+1）の方が大きければＱ（ｓ_t，ａ_t）を大きくし、逆に小さければＱ（ｓ_t，ａ_t）を小さくすることを示す。即ち、ある状態におけるある行動の価値を、それによる次の状態における最良の行動の価値に近づけるものである。

図２に示すように、フィルタ部７における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、フィルタ後のノイズ成分、ノイズ量及び応答性が含まれる。行動で直接的に変化する状態には、フィルタが含まれる。

学習部３は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成される。

機械学習装置１がネットワークを介してフィルタ部に接続され、状態観測部２は、ネットワークを介して、現在の状態変数を取得するように構成されるようにしてもよい。

次に、本発明の実施例に係るモータ駆動装置について説明する。本発明の実施例に係るモータ駆動装置８は、上記の機械学習装置１と、可変のフィルタである可変フィルタ部、及び可変フィルタ部のフィルタを変更するフィルタ変更部を含むフィルタ部７と、を有することを特徴とする。

機械学習装置１は、クラウドサーバに存在することが好ましい。

モータ駆動システムは、モータ駆動装置８と、機械指令部９と、機械１０及びアナログの入力信号１１を備える。機械指令部９は、モータ駆動装置８及び機械１０に指令を与えるだけでなく、指令のうち、ノイズに関連付けられる条件を、モータ駆動装置８に送信する。アナログの入力信号１１は、帰還信号であり、モータ駆動装置８及び機械１０から、ノイズが印加される。

次に、本発明の実施例に係る機械学習方法について説明する。本発明の実施例に係る機械学習方法は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習方法であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する、ことを含むことを特徴とする。

図３に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ１０１において、フィルタ部７の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する。

次に、ステップＳ１０２において、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する。

次に、本発明の実施例に係るモータ駆動装置を用いた機械学習方法について説明する。図４に本発明の実施例に係るモータ駆動装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、学習をスタートする。

次に、ステップＳ２０２において、機械指令部９からノイズに関係する状態の情報を入手する。

次に、ステップＳ２０３において、行動価値テーブルに基づいて、フィルタの大きさ、フィルタのカットオフ周波数を選択する。その後、ステップＳ２０８において、行動価値テーブルを更新する。

次に、ステップＳ２０４において、ノイズの絶対値が前回学習と比較して下がったか否かを判断する。ノイズの絶対値が前回学習と比較して下がっていない場合は、ステップＳ２０６において、報酬を減少させる。

一方、ノイズの絶対値が前回学習と比較して下がった場合は、ステップＳ２０５において、応答性の評価を行う。

応答性が規定値未満であった場合は、ステップＳ２０６において、報酬を減少させる。その後、ステップＳ２０８において、行動価値テーブルを更新する。

一方、応答性が規定値以上であった場合は、ステップＳ２０７において、報酬を増加させる。その後、ステップＳ２０８において、行動価値テーブルを更新する。

ステップＳ２０８における行動価値テーブルの更新は、行動価値テーブルから、行動価値の点数の大きい項目を優先して、フィルタを変更する項目を決定することにより行われる。その後、決定された項目に基づいてフィルタを変更しステップＳ２０２に戻ってフィルタのノイズ成分、ノイズ量、応答性に関する行動価値が最良となるようにする。

以上説明したように、本発明の実施例に係る機械学習装置及び機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法によれば、機械学習によって、システム／機械の稼動状態で、外部ノイズを取り除く最適なフィルタを設定することができる。

１機械学習装置
２状態観測部
３学習部
４意思決定部
５報酬計算部
６関数更新部
７フィルタ部
８モータ駆動装置
９機械指令部

Claims

アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置であって、
前記フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記フィルタ部に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
前記状態観測部が更に機械指令部からの機械状態の情報を観測し、
前記学習部が更に前記機械状態の情報に基づいて前記訓練データセットを更新する、請求項１に記載の機械学習装置。
前記学習部が、複数のフィルタ部に対して取得される訓練データセットに従って、前記条件を学習するように構成される、請求項１または２に記載の機械学習装置。
前記学習部が前記訓練データセットに従って学習した結果に基づいて、前記フィルタを更新する意思決定部をさらに備える、請求項１乃至３のいずれか一項に記載の機械学習装置。
前記ノイズ成分、前記ノイズ量及び前記応答性に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から前記フィルタ部を変更するための関数を更新する関数更新部と、
をさらに備える、請求項１乃至４のいずれか一項に記載の機械学習装置。
前記報酬計算部は、前記ノイズ量が増える、または、前記応答性が規定値以下の場合に報酬を減少させ、前記ノイズ量が減り、かつ、前記応答性が規定値以上の場合に報酬を増加させる、請求項５に記載の機械学習装置。
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される、請求項５に記載の機械学習装置。
前記機械学習装置がネットワークを介して前記フィルタ部に接続され、
前記状態観測部は、前記ネットワークを介して、前記現在の状態変数を取得するように構成される、請求項７に記載の機械学習装置。
請求項１乃至８のいずれか一項に記載の機械学習装置と、
可変のフィルタである可変フィルタ部、及び可変フィルタ部のフィルタを変更するフィルタ変更部を含むフィルタ部と、
を有する、モータ駆動装置。
前記機械学習装置がクラウドサーバに存在する、請求項９に記載のモータ駆動装置。
請求項９または１０に記載のモータ駆動装置と、
機械の動作情報を通知する機械指令部と、
を有する、モータ駆動システム。
アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習方法であって、
前記フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記フィルタ部に関連付けられる条件を学習する、
ことを含む、機械学習方法。