JP6106226B2 - ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 - Google Patents
ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 Download PDFInfo
- Publication number
- JP6106226B2 JP6106226B2 JP2015152453A JP2015152453A JP6106226B2 JP 6106226 B2 JP6106226 B2 JP 6106226B2 JP 2015152453 A JP2015152453 A JP 2015152453A JP 2015152453 A JP2015152453 A JP 2015152453A JP 6106226 B2 JP6106226 B2 JP 6106226B2
- Authority
- JP
- Japan
- Prior art keywords
- current
- machine learning
- function
- gain function
- motor control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 78
- 238000005457 optimization Methods 0.000 title description 3
- 230000006870 function Effects 0.000 claims description 131
- 230000009471 action Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004043 responsiveness Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P27/00—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage
- H02P27/04—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage
- H02P27/06—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters
- H02P27/08—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters with pulse width modulation
- H02P27/085—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters with pulse width modulation wherein the PWM mode is adapted on the running conditions of the motor, e.g. the switching frequency
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/12—Observer control, e.g. using Luenberger observers or Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Power Engineering (AREA)
- Control Of Electric Motors In General (AREA)
- Feedback Control In General (AREA)
Description
本発明は、機械学習装置、電動機制御装置、及び機械学習方法に関し、特に、電動機制御における電流ゲインパラメータの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法に関する。
電動機をインバータで可変速制御する場合の電流制御系として、ＰＩ（比例・積分）制御が知られており、その調整項目として比例ゲイン関数と比例ゲイン関数とがある（例えば、特許文献１）。
特許文献１に記載の電流制御ゲイン調整方法は、ＰＩ制御の比例ゲインの調整であって、単相交流の電流指令信号と、電流検出信号の波形を比較して電流検出信号波形の遅れ位相又は遅れ時間を計測し、予め設定した目標遅れ位相又は遅れ時間に対して検出遅れが大きいか否かを判定して検出遅れが大きいときは比例ゲインを増大し、小さいときは比例ゲインを減少する調整を行なうようにしている。
従来技術においては、物理定数等から適正な電流ゲインパラメータを計算して設定している。また、従来技術においては、電流によりインダクタンスが変動する等の理由により、最適値と計算値には差分（ズレ）が多少なりとも存在していた。そのため、パラメータを変えながらステップ応答、あるいは周波数応答を見て人が微調整していた。
このような従来技術は最適とは言い難く、また、調整に時間や手間（人手）がかかるという問題があった。さらに、モータの物理定数には個体差があるため、真に最適なパラメータも個体によって異なり、個体ごとのパラメータの最適化は、なお一層手間がかかり現実的ではないという問題があった。
本発明は、機械学習によって、電流ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することを目的とする。
本発明の一実施例に係る機械学習装置は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。
本発明の他の実施例に係る機械学習装置は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。
本発明の一実施例に係る電動機制御装置は、上記機械学習装置及び電動機制御部を有する電動機制御装置であって、電動機制御部が、トルク指令を入力するトルク指令入力部を備え、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部をさらに備えることを特徴とする。
本発明の一実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習することを含むことを特徴とする。
本発明の他の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする
本発明によれば、機械学習によって、電流ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することができる。
以下、図面を参照して、本発明に係る機械学習装置、電動機制御装置及び機械学習方法について説明する。
図１は、本発明の実施例に係る機械学習装置の構成図である。図３は、本発明の実施例に係る電動機制御装置の構成図である。
本発明の実施例に係る機械学習装置１は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１であって、状態観測部２と、学習部３と、を備える。
状態観測部２は、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。
学習部３は、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
本発明の実施例に係る機械学習装置１は、電動機制御の電流ゲインパラメータ（積分ゲイン，比例ゲイン）を機械学習（強化学習）で最適化するものである。ここで、最適な積分ゲイン、比例ゲインはトルク指令により異なるので、トルク指令を引数とする積分ゲイン関数、比例ゲイン関数を最適化することになる。
本発明の他の実施例に係る機械学習装置１´は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１´であって、状態観測部２´と、学習部３´と、を備える。
上記の本発明の実施例に係る機械学習装置１ではステップ応答を利用しているが、周波数応答でも同じことが出来るため、オーバシュート及び立ち上がり時間を出力／入力の振幅比及び帯域に置き換えることができる。そこで、本発明の他の実施例に係る機械学習装置１´においては、状態観測部２´は、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。
学習部３´は、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
学習部３、３´が、学習に用いる訓練データセットは１つの電動機に対して取得されるものには限られない。即ち、学習部３、３´が、複数の電動機に対して取得される訓練データセットに従って、条件を学習するようにしてもよい。
本発明の実施例に係る機械学習装置１は、訓練データセットに格納された状態変数のうち、オーバシュート量、アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部４と、報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部５と、をさらに備えることが好ましい。例えば、図２（ｂ）に示すように、オーバシュートが小さい場合、アンダーシュートが小さい場合、または立ち上がり時間短い場合のうちの少なくともいずれか１つの条件を満たす場合に報酬を増加させることが考えられる。
ただし、例えば、図４（ｂ）に示すように、トルク指令の増減に対して学習後の積分ゲイン関数または比例ゲイン関数が大きく変化する場合には、応答特性は良好な場合であっても、異音等につながり好ましくない。そこで、このような場合には、報酬を減少させることが好ましい。
本発明の他の実施例に係る機械学習装置１´は、訓練データセットに格納された状態変数のうち、振幅比、位相遅れ量に基づいて報酬を計算する報酬計算部４´と、報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部５´と、をさらに備えることが好ましい。
また、応答性が高すぎると外乱に対し振動しやすくなる。そこで、発振に対する余裕の度合いに基づいて、報酬を増加させるか減少させるかを決定してもよい。具体的には、例えば比例ゲインを固定し、積分ゲインを倍にしたときにステップ応答が振動するか否か、及び周波数応答の振幅比が許容値を超える（これも発振とする）か否かを確認する。このときに、振動しなければ余裕ありと判断して報酬を増加させ、振動すれば余裕なしと判断して報酬を減少させるようにしてもよい。
そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に電流の発振に対する余裕に基づいて報酬を計算するようにしてもよい。
さらに、図４（ａ）に示すように、トルク指令の増加に伴い、積分ゲイン関数は単調減少し、比例ゲイン関数は単調増加することが基本である。そこで、積分ゲイン関数の傾きが正または閾値を下回ったら報酬を減少させ、比例ゲイン関数の傾きが負または閾値を上回ったら報酬を減少させるようにしてもよい。
そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算するようにしてもよい。
関数更新部５、５´は、いわゆるＱ学習を用いて強化学習を行うことが好ましい。Ｑ学習は、ある状態（環境）ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ，ａ）を学習する方法である。ある状態（環境）ｓのとき、Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択するものである。関数更新部５、５´は、下記の式（１）を用いて関数（行動価値関数Ｑ（ｓt，ａt））を更新する。
ここで、Ｑ（ｓt，ａt）は行動価値関数、ｓtは時刻ｔにおける状態（環境）、ａtは時刻ｔにおける行動、αは学習係数、ｒt+1は報酬、γは割引率である。行動価値関数は、報酬の期待値を意味する。ｍａｘが付いた項は、状態（環境）ｓt+1の下で、最もＱ値が高い行動ａを選んだ場合のＱ値にγを掛けたものである。
学習係数及び割引率は、０＜α，γ≦１で設定することが知られているが、ここでは簡便のため学習係数及び割引率を１とすると、下記の式（２）のように表せる。
この更新式は、状態（環境）ｓにおける行動ａの価値Ｑ（ｓt，ａt）よりも、行動ａによる次の環境状態における最良の行動の価値Ｑ（ｓt+1，ｍａｘ ａt+1）の方が大きければＱ（ｓt，ａt）を大きくし、逆に小さければＱ（ｓt，ａt）を小さくすることを示す。即ち、ある状態（環境）におけるある行動の価値を、それによる次の状態における最良の行動の価値に近づけるものである。
本実施例においては、訓練データセットに格納された状態変数のうち、積分ゲイン関数及び比例ゲイン関数が状態（環境）に対応し、積分ゲイン関数及び比例ゲイン関数の変化量であるΔ積分ゲイン関数及びΔ比例ゲイン関数を決定し、Δ積分ゲイン関数及びΔ比例ゲイン関数を基に新たな積分ゲイン関数及び比例ゲイン関数を設定することが行動に対応する。学習部３、３´は、（（積分ゲイン関数，比例ゲイン関数）,（Δ積分ゲイン関数，Δ比例ゲイン関数），行動価値Ｑ）のテーブル（以下、行動価値テーブルと呼ぶ）を、報酬を使った学習で更新する。
本発明の実施例に係る電動機制御装置７は、機械学習装置１、１´及び電動機制御部６を有する。電動機制御部６は、トルク指令を入力するトルク指令入力部８を備える。機械学習装置１、１´は、学習部３、３´が訓練データセットに従って学習した結果に基づいて、現在の状態（環境）の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部９を備える。
意思決定部９は、行動価値Ｑが大きくなる行動（Δ積分ゲイン関数，Δ比例ゲイン関数）を１−εの確率で選択し、εの確率でランダム選択するようにしてもよい（ε−ｇｒｅｅｄｙ法）。
行動価値テーブルに格納される行動価値の初期値は、電動機の巻線抵抗値、及びインダクタンス値から計算するようにしてもよい。通常、学習開始時に行動価値テーブルに格納する行動価値の初期値はランダム値である。そこで、電動機の巻線抵抗、インダクタンスを取得し、初期値を適正に与え、学習の効率を高めることができる。
行動価値を全てテーブルとして格納し、逐次更新することが困難な場合は、多層ニューラルネットワークを用いた深層学習を組み合わせて行動価値Ｑを更新してもよい。深層学習はＱ学習の膨大な計算量を削減する手段として有用であることが知られている。
図３に示すように、電動機制御部６における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、ステップごとのオーバシュート量、アンダーシュート量、及び立ち上がり時間が含まれる。行動で直接的に変化する状態には、積分ゲイン関数及び比例ゲイン関数が含まれる。
学習部３、３´は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成される。
機械学習装置１、１´がネットワークを介して電動機制御部６に接続され、状態観測部２、２´は、ネットワークを介して、現在の状態変数を取得するように構成されるようにしてもよい。
機械学習装置１、１´は、クラウドサーバに存在することが好ましい。
電動機制御部６は、トルク指令入力部８（トルクステップ指令器）を備える。状態観測部２、２´は、電流センサ２１並びに積分ゲイン関数及び比例ゲイン関数を取得するための通信手段２２を備える。機械学習装置１、１´は、電動機制御部６に内蔵されていてもよい。
次に、本発明の実施例に係る機械学習方法について説明する。図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。本発明の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。
本発明の他の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。
図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ１０１において、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。あるいは、ステップＳ１０１において、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測するようにしてもよい。
次に、ステップＳ１０２において、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
次に、本発明の実施例に係る電動機制御装置モータ駆動システムを用いた機械学習方法について説明する。図６に本発明の実施例に係る電動機制御装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、学習をスタートする。
次に、ステップＳ２０２において、積分ゲイン関数及び比例ゲイン関数を設定する。
次に、ステップＳ２０３において、ステップ指令を入力する。例えば、トルク指令を１０％、２０％、・・・と徐々に増加させながら入力する。
次に、ステップＳ２０４において、電流を採取し、トルク指令の大きさごとのオーバシュート量等に変換する。例えば、トルク指令を１０％刻みで増加させながら、各トルク指令におけるオーバシュート量（ＯＳ量）、アンダーシュート量（ＵＳ量）、立ち上り時間（Ｒｉｓｅ Ｔｉｍｅ）に採取した電流を変換する。
次に、ステップＳ２０５において、報酬を計算する。ここで、報酬は０か１かに決定するような場合には限られない。即ち、オーバシュート量に対し単調減少する関数と、アンダーシュート量に対し単調増加する関数と、立ち上り時間に対し単調減少する関数と、により計算される。例えば、積分ゲイン関数、比例ゲイン関数全体に対応する１つの報酬を与えてもよいし、ステップの大きさごとに１つの報酬としてもよい。これは、積分ゲイン関数、比例ゲイン関数を関数として最適化するか、トルク指令ごとの積分ゲイン及び比例ゲインを個別に最適化するか、の違いである。具体的には、１０％刻みで１０ステップなら１０種類の報酬を増減させるようにしてもよい。
次に、ステップＳ２０６において、行動価値テーブルを更新する。
次に、ステップＳ２０７において、更新した行動価値テーブルに基づいて、Δ積分ゲイン関数及びΔ比例ゲイン関数を決定する。以上のステップＳ２０２からＳ２０７を繰り返すことにより、積分ゲイン関数及び比例ゲイン関数を最適化することができる。
以上の説明においては、電流ループのゲインパラメータを用いる例について説明したが、速度ループのゲインパラメータでも同じことが出来る。その場合は、トルク指令を速度指令と置き換える必要がある。
以上説明したように、本発明の実施例に係る機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法によれば、モータの個体差も考慮した電流ゲインパラメータの最適化により、モータの応答性向上、及び送りムラ改善・精度向上を実現し、調整の工数を削減することができる。
１、１´ 機械学習装置
２、２´ 状態観測部
３、３´ 学習部
４、４´ 報酬計算部
５、５´ 関数更新部
６ 電動機制御部
７ 電動機制御装置
８ トルク指令入力部
９ 意思決定部
２、２´ 状態観測部
３、３´ 学習部
４、４´ 報酬計算部
５、５´ 関数更新部
６ 電動機制御部
７ 電動機制御装置
８ トルク指令入力部
９ 意思決定部
Claims (16)
- 電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する前記実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。 - 電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する前記実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。 - 前記学習部が、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される、請求項１または２に記載の機械学習装置。
- 前記オーバシュート量、前記アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項１に記載の機械学習装置。 - 前記振幅比、前記位相遅れ量に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項２に記載の機械学習装置。 - 請求項４または５に記載の機械学習装置であって、
前記報酬計算部は、更に電流の発振に対する余裕に基づいて報酬を計算する、機械学習装置。 - 請求項４乃至６のいずれか一項に記載の機械学習装置であって、
前記報酬計算部は、更に前記積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算する、機械学習装置。 - 請求項４乃至７のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行い、Ｑ学習における行動価値の初期値は、電動機の巻線抵抗値、及びインダクタンス値から計算する、機械学習装置。 - 請求項４乃至８のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行い、Ｑ学習における行動価値の更新には深層学習を用いる、機械学習装置。 - 請求項１乃至９のいずれか一項に記載の機械学習装置及び電動機制御部を有する電動機制御装置であって、
前記電動機制御部が、トルク指令を入力するトルク指令入力部を備え、
前記機械学習装置が、前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、前記積分ゲイン関数及び前記比例ゲイン関数の変更を決定する意思決定部を備える、電動機制御装置。 - 前記学習部は、前記現在の状態変数及び変更された前記積分ゲイン関数及び前記比例ゲイン関数の組合せによって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される、請求項１０に記載の電動機制御装置。
- 前記機械学習装置がネットワークを介して前記電動機制御部に接続され、
前記状態観測部は、前記ネットワークを介して、前記現在の状態変数を取得するように構成される、請求項１０又は１１に記載の電動機制御装置。 - 前記機械学習装置がクラウドサーバに存在する、請求項１２に記載の電動機制御装置。
- 前記機械学習装置が、前記電動機制御部に内蔵されている、請求項１０乃至１３のいずれか一項に記載の電動機制御装置。
- 電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する前記実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。 - 電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する前記実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015152453A JP6106226B2 (ja) | 2015-07-31 | 2015-07-31 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
| DE102016008990.3A DE102016008990A1 (de) | 2015-07-31 | 2016-07-22 | Maschinenlernvorrichtung zum Einlernen einer Verstärkungsoptimierung, Motorsteuervorrichtung mit Maschinenlernvorrichtung und Maschinenlernverfahren |
| CN201610618863.4A CN106411224B (zh) | 2015-07-31 | 2016-07-29 | 机械学习装置、电动机控制装置以及机械学习方法 |
| US15/222,948 US10416618B2 (en) | 2015-07-31 | 2016-07-29 | Machine learning apparatus for learning gain optimization, motor control apparatus equipped with machine learning apparatus, and machine learning method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015152453A JP6106226B2 (ja) | 2015-07-31 | 2015-07-31 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017039267A Division JP6645994B2 (ja) | 2017-03-02 | 2017-03-02 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017034844A JP2017034844A (ja) | 2017-02-09 |
| JP6106226B2 true JP6106226B2 (ja) | 2017-03-29 |
Family
ID=57883563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015152453A Active JP6106226B2 (ja) | 2015-07-31 | 2015-07-31 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10416618B2 (ja) |
| JP (1) | JP6106226B2 (ja) |
| CN (1) | CN106411224B (ja) |
| DE (1) | DE102016008990A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083080A (zh) * | 2018-01-25 | 2019-08-02 | 发那科株式会社 | 机器学习装置及方法、伺服电动机控制装置及系统 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018151215A1 (ja) * | 2017-02-20 | 2018-08-23 | 株式会社安川電機 | 制御装置及び制御方法 |
| JP6789848B2 (ja) * | 2017-02-27 | 2020-11-25 | 株式会社東芝 | アイソレーション管理システムおよびアイソレーション管理方法 |
| JP6474456B2 (ja) | 2017-05-16 | 2019-02-27 | ファナック株式会社 | 機械学習装置、サーボ制御システム及び機械学習方法 |
| JP6538766B2 (ja) * | 2017-07-18 | 2019-07-03 | ファナック株式会社 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
| JP6748135B2 (ja) | 2018-03-19 | 2020-08-26 | ファナック株式会社 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
| JP6740279B2 (ja) * | 2018-04-13 | 2020-08-12 | ファナック株式会社 | 調整装置及び調整方法 |
| CN110417331B (zh) * | 2018-04-28 | 2021-11-19 | 南京德朔实业有限公司 | 电动工具 |
| JP7090243B2 (ja) | 2018-05-08 | 2022-06-24 | 千代田化工建設株式会社 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
| CN109031953B (zh) * | 2018-07-26 | 2021-10-15 | 上海高适软件有限公司 | 基于自学习的电动升降桌遇阻回退方法和系统及升降设备 |
| JP2021018644A (ja) * | 2019-07-22 | 2021-02-15 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
| KR20210012730A (ko) | 2019-07-26 | 2021-02-03 | 삼성전자주식회사 | 인공지능 모델의 학습 방법 및 전자 장치 |
| JP7375403B2 (ja) * | 2019-09-19 | 2023-11-08 | コニカミノルタ株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
| EP4035079A4 (en) * | 2019-09-24 | 2023-08-23 | Nnaisense SA | REVERSE REINFORCEMENT LEARNING |
| AT523109B1 (de) * | 2019-11-13 | 2021-07-15 | Avl List Gmbh | Verfahren und System zum Kalibrieren einer Steuereinrichtung eines Elektromotors |
| EP3825794A1 (de) * | 2019-11-21 | 2021-05-26 | pro-micron GmbH | Verfahren für die überwachung und/oder vorhersage von bearbeitungsprozessen und/oder bearbeitungsergebnissen |
| JP7422291B2 (ja) * | 2020-11-11 | 2024-01-26 | パナソニックＩｐマネジメント株式会社 | 機械学習装置、および機械学習装置と接続するモータ制御装置 |
| CN117134676B (zh) * | 2023-10-24 | 2024-02-06 | 广州匠芯创科技有限公司 | 参数校正方法、伺服系统、电子设备及存储介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02253303A (ja) * | 1989-03-28 | 1990-10-12 | Toshiba Corp | ロボット制御系の調律装置 |
| JP2839679B2 (ja) * | 1990-09-13 | 1998-12-16 | 株式会社東芝 | 制御パラメータのオートチューニング装置 |
| JPH06335279A (ja) * | 1993-05-18 | 1994-12-02 | Fanuc Ltd | 同期電動機の電流制御方法 |
| US5880415A (en) * | 1997-12-22 | 1999-03-09 | Otis Elevator Company | Automatic calibration of current regulator control compensation for an elevator motor drive with locked rotor |
| JP2000184785A (ja) * | 1998-12-21 | 2000-06-30 | Meidensha Corp | 電流制御系の電流制御ゲイン調整方法と調整装置 |
| JP2004126656A (ja) * | 2002-09-30 | 2004-04-22 | Yaskawa Electric Corp | ネットワーク適応型制御システム |
| CN1212702C (zh) * | 2003-02-20 | 2005-07-27 | 东南大学 | 感应电机的神经网络逆控制变频器的构造方法 |
| JP3923047B2 (ja) * | 2003-03-04 | 2007-05-30 | ファナック株式会社 | 同期制御装置 |
| JP2007164406A (ja) * | 2005-12-13 | 2007-06-28 | Oita Univ | 学習機構付意思決定システム |
| JP2008293192A (ja) * | 2007-05-23 | 2008-12-04 | Toshiba Mitsubishi-Electric Industrial System Corp | 制御ゲイン自動設定装置 |
| US8542708B1 (en) * | 2009-11-30 | 2013-09-24 | Pmc-Sierra Us, Inc. | Method and system for transporting constant bit rate clients across a packet interface |
| US9019997B1 (en) * | 2009-11-30 | 2015-04-28 | Pmc-Sierra Us, Inc. | Method and system for transporting constant bit rate clients across a packet interface |
| US8412357B2 (en) * | 2010-05-10 | 2013-04-02 | Johnson Controls Technology Company | Process control systems and methods having learning features |
| JP5205420B2 (ja) * | 2010-06-25 | 2013-06-05 | 株式会社日立製作所 | 電動機システム，電力変換装置および電力変換装置の制御方法 |
| JP5750657B2 (ja) * | 2011-03-30 | 2015-07-22 | 株式会社国際電気通信基礎技術研究所 | 強化学習装置、制御装置、および強化学習方法 |
| JP5172990B2 (ja) * | 2011-05-06 | 2013-03-27 | ファナック株式会社 | テーブル形式データによる運転機能を備えた数値制御装置 |
| US8897919B2 (en) * | 2012-06-13 | 2014-11-25 | Fanuc Corporation | Robot controller which conducts a force control by using a three-axial force sensor |
| JP5696171B2 (ja) * | 2013-03-14 | 2015-04-08 | 株式会社東芝 | 制御パラメータ調整方法、制御パラメータ調整システム及び制御パラメータ設定装置 |
| JP5800886B2 (ja) * | 2013-12-16 | 2015-10-28 | ファナック株式会社 | 単一指令で複数の軸に指令を与える数値制御装置 |
-
2015
- 2015-07-31 JP JP2015152453A patent/JP6106226B2/ja active Active
-
2016
- 2016-07-22 DE DE102016008990.3A patent/DE102016008990A1/de active Pending
- 2016-07-29 US US15/222,948 patent/US10416618B2/en active Active
- 2016-07-29 CN CN201610618863.4A patent/CN106411224B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110083080A (zh) * | 2018-01-25 | 2019-08-02 | 发那科株式会社 | 机器学习装置及方法、伺服电动机控制装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102016008990A1 (de) | 2017-03-16 |
| CN106411224B (zh) | 2019-11-15 |
| JP2017034844A (ja) | 2017-02-09 |
| US10416618B2 (en) | 2019-09-17 |
| US20170032282A1 (en) | 2017-02-02 |
| CN106411224A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6106226B2 (ja) | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 | |
| US10148211B2 (en) | Machine learning apparatus and method for learning correction value in motor current control, correction value computation apparatus including machine learning apparatus and motor driving apparatus | |
| JP6193961B2 (ja) | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 | |
| JP6140229B2 (ja) | 電動機の予測寿命を学習する機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システム | |
| JP6063013B1 (ja) | びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置 | |
| JP6901450B2 (ja) | 機械学習装置、制御装置及び機械学習方法 | |
| US10353351B2 (en) | Machine learning system and motor control system having function of automatically adjusting parameter | |
| JP6050865B1 (ja) | 評価関数によって制御ゲインをオンラインで最適化する機能を有するサーボ制御装置 | |
| JP6259428B2 (ja) | 機械指令に応じたフィルタを学習する機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法 | |
| JP2011003186A5 (ja) | ||
| JP6140225B2 (ja) | 磁束制御器を有するモータ制御装置、ならびに機械学習装置およびその方法 | |
| US10061276B2 (en) | Machine learning system and magnetizer for motor | |
| JP2019087096A (ja) | 行動決定システム及び自動運転制御装置 | |
| US11226599B2 (en) | Machine learning system, control device, and machine learning method for optimizing filter coefficients | |
| JP2016111897A (ja) | 実験モード解析を用いたフィルタ自動調整機能を有するサーボ制御装置 | |
| CN112292642A (zh) | 用于控制技术系统的控制装置和用于配置控制装置的方法 | |
| JPWO2008053772A1 (ja) | モータ制御装置とその制御方法 | |
| JP6645994B2 (ja) | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 | |
| JP2021117699A (ja) | 制御装置、制御方法、及びモータ制御装置 | |
| KR20220101152A (ko) | 위치 결정 제어 장치 및 위치 결정 제어 방법 | |
| WO2023166606A1 (ja) | 制御装置、ｄｃ／ｄｃ変換装置、および制御方法 | |
| CN115398353A (zh) | 机器学习装置、控制装置以及机器学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161216 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6106226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |