CN106411224A - 机械学习装置、电动机控制装置以及机械学习方法 - Google Patents

机械学习装置、电动机控制装置以及机械学习方法 Download PDF

Info

Publication number
CN106411224A
CN106411224A CN201610618863.4A CN201610618863A CN106411224A CN 106411224 A CN106411224 A CN 106411224A CN 201610618863 A CN201610618863 A CN 201610618863A CN 106411224 A CN106411224 A CN 106411224A
Authority
CN
China
Prior art keywords
mentioned
current
gain function
function
learning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610618863.4A
Other languages
English (en)
Other versions
CN106411224B (zh
Inventor
妹尾达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106411224A publication Critical patent/CN106411224A/zh
Application granted granted Critical
Publication of CN106411224B publication Critical patent/CN106411224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P27/00—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage
    • H02P27/04—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage
    • H02P27/06—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters
    • H02P27/08—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters with pulse width modulation
    • H02P27/085—Arrangements or methods for the control of AC motors characterised by the kind of supply voltage using variable-frequency supply voltage, e.g. inverter or converter supply voltage using dc to ac converters or inverters with pulse width modulation wherein the PWM mode is adapted on the running conditions of the motor, e.g. the switching frequency
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
    • H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
    • H02P23/12—Observer control, e.g. using Luenberger observers or Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Power Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Control Of Electric Motors In General (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种机械学习装置、电动机控制装置以及机械学习方法。本发明一个实施例的机械学习装置对与电动机控制中的电流增益参数的调整相关联的条件进行学习，其中，具备：状态观测部，其取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、以及上升时间中的至少一个、积分增益函数、比例增益函数构成的状态变量；学习部，其依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。

Description

机械学习装置、电动机控制装置以及机械学习方法
技术领域
本发明涉及一种机械学习装置、电动机控制装置以及机械学习方法，特别涉及学习电动机控制中的电流增益参数的最优化的机械学习装置、具备机械学习装置的电动机控制装置以及机械学习方法。
背景技术
作为通过逆变器对电动机进行可变速控制的情况下的电流控制系统，已知PI(比例积分)控制，作为其调整项目，有比例增益函数和积分增益函数(例如日本特开2000-184785号公报。以下称为“专利文献1”)。
专利文献1记载的电流控制增益调整方法是PI控制的比例增益的调整，比较单相交流的电流指令信号和电流检测信号的波形，测量电流检测信号波形的延迟相位或延迟时间，判定检测延迟是否比预先设定的目标延迟相位或延迟时间大，进行在检测延迟大时增大比例增益，在检测延迟小时减小比例增益的调整。
在现有技术中，根据物理常数等计算并设定适当的电流增益参数。另外，在现有技术中，由于电感因电流而变动等的理由，最优值和计算值稍微存在差值(偏差)。因此，一边改变参数一边观察阶跃响应或频率响应而由人进行微调整。
这样的现有技术难以说是最优的，另外存在调整花费时间、劳力(工夫)这样的问题。进而，电动机的物理常数有个体差异，因此真正最优的参数也由于个体而不同，每个个体的参数的最优化更加麻烦，存在不现实的问题。
发明内容
本发明的目的在于：提供一种机械学习装置、具备机械学习装置的电动机控制装置以及机械学习方法，通过机械学习而对电流增益参数进行最优化，由此能够提高电动机的响应性、改善进给不稳、提高精度。
本发明的一个实施例的机械学习装置对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习装置具备：状态观测部，其取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、以及上升时间中的至少一个、积分增益函数、比例增益函数构成的状态变量；学习部，其依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
本发明的其他实施例的机械学习装置对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习装置具备：状态观测部，其取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、积分增益函数、比例增益函数构成的状态变量；学习部，其依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
本发明的一个实施例的电动机控制装置具备上述机械学习装置和电动机控制部，其中，电动机控制部具备输入转矩指令的转矩指令输入部，电动机控制装置还具备：意图决定部，其根据由学习部依照训练数据集学习的结果，对当前的状态变量的输入进行响应，决定积分增益函数和比例增益函数的变更。
本发明的一个实施例的机械学习方法对与电动机控制中的电流增益参数的调整相关联的条件进行学习，其中，包括以下步骤：取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、以及上升时间中的至少一个、积分增益函数、比例增益函数构成的状态变量；依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
本发明的其他实施例的机械学习方法对与电动机控制中的电流增益参数的调整相关联的条件进行学习，其中，包括以下步骤：取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、积分增益函数、比例增益函数构成的状态变量；依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
附图说明
根据与附图关联的以下的实施方式的说明，能够进一步了解本发明的目的、特征和优点。
图1是本发明的实施例的机械学习装置的结构图。
图2A是表示不调整电流增益的情况下的电流的时间性变化的图表。
图2B是表示调整电流增益的情况下的电流的时间性变化的图表。
图3是本发明的实施例的电动机控制装置的结构图。
图4A是表示伴随着转矩指令的增加，积分增益函数单调减少、比例增益函数单调增加的情况下的电流增益参数(积分增益、比例增益)和转矩指令之间的关系的图表。
图4B是表示学习后的积分增益函数或比例增益函数相对于转矩指令的增减而大幅度变化的情况下的电流增益参数(积分增益、比例增益)和转矩指令之间的关系的图表。
图5是用于说明本发明的实施例的机械学习装置的动作步骤的流程图。
图6是用于说明本发明的实施例的电动机控制装置的动作步骤的流程图。
具体实施方式
以下，参照附图，说明本发明的机械学习装置、电动机控制装置以及机械学习方法。
图1是本发明的实施例的机械学习装置的结构图。图3是本发明的实施例的电动机控制装置的结构图。
本发明的实施例的机械学习装置1是学习与电动机控制中的电流增益参数的调整相关联的条件的机械学习装置1，具备状态观测部2、学习部3。
状态观测部2取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、以及上升时间中的至少一个、积分增益函数以及比例增益函数构成的状态变量。
学习部3依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
本发明的实施例的机械学习装置1通过机械学习(强化学习)对电动机控制的电流增益参数(积分增益、比例增益)进行最优化。在此，最优的积分增益、比例增益根据转矩指令而不同，因此对将转矩指令作为自变量的积分增益函数、比例增益函数进行最优化。
本发明的另一个实施例的机械学习装置1`学习与电动机控制中的电流增益参数的调整相关联的条件，具备状态观测部2`、学习部3`。
在上述的本发明的实施例的机械学习装置1中，利用了阶跃响应，但对于频率响应也可以同样，因此能够将过冲和上升时间置换为输出/输入的振幅比和频带。因此，在本发明的另一个实施例的机械学习装置1`中，状态观测部2`取得电流控制环路的积分增益函数和比例增益函数，并取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、积分增益函数、比例增益函数构成的状态变量。
学习部3`依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
学习部3、3`在学习中使用的训练数据集并不限于针对一个电动机取得。即，学习部3、3`也可以依照对多个电动机取得的训练数据集而学习条件。
本发明的实施例的机械学习装置1优选还具备：回报计算部4，其根据存储在训练数据集中的状态变量中的过冲量、下冲量以及上升时间，计算回报；函数更新部5，其根据回报，更新用于从当前的状态变量调整电流增益参数的函数。例如，如图2B所示，在满足过冲小的情况、下冲小的情况、或上升时间短的情况中的至少任意一个条件的情况下，考虑增加回报。
但是，例如如图4B所示，在学习后的积分增益函数或比例增益函数相对于转矩指令的增减大幅度地变化的情况下，在响应特性良好的情况下，还与噪声等相关联，并不理想。因此，在这样的情况下，优选减少回报。
本发明的其他实施例的机械学习装置1`优选还具备：回报计算部4`，其根据存储在训练数据集中的状态变量中的振幅比、相位延迟量，计算回报；函数更新部5`，其根据回报，更新用于从当前的状态变量调整电流增益参数的函数。
另外，如果响应性过高，则针对干扰容易振动。因此，也可以根据相对于振荡的富余的程度，决定增加还是减少回报。具体地说，例如在将比例增益固定，并使积分增益成倍时，确认阶跃响应是否振动、以及频率响应的振幅比是否超过允许值(这也是振荡)。这时，也可以如果不振动则判断为有富余而增加回报，如果振动则判断为没有富余而减少回报。
因此，在上述机械学习装置1、1`中，回报计算部4、4`也可以进而根据相对于电流的震荡的富余而计算回报。
进而，如图4A所示，基本上伴随着转矩指令的增加，积分增益函数单调减少，比例增益函数单调增加。因此，也可以如果积分增益函数的斜率为正或低于阈值则减少回报，如果比例增益函数的斜率为负或高于阈值则减少回报。
因此，在上述机械学习装置1、1`中，回报计算部4、4`也可以进而根据积分增益函数的斜率和比例增益函数的斜率计算回报。
函数更新部5、5`优选使用所谓的Q学习进行强化学习。Q学习是在某状态(环境)s下学习选择行为a的价值(行为的价值)Q(s，a)的方法。在某状态(环境)s时，选择Q(s，a)最高的行为a作为最优的行为。函数更新部5、5`使用下述的式(1)更新函数(行为价值函数Q(st，at))。
在此，Q(st，at)是行为价值函数，st是时刻t的状态(环境)，at是时刻t的行为，α是学习系数，rt+1是回报，γ是折扣率。行为价值函数表示回报的期待值。附加了max的项是在状态(环境)st+1下选择了Q值最高的行为a的情况下的Q值乘以γ所得的结果。
已知以0<α，γ≤1下定学习系数和折扣率，但在此，如果为了简化而将学习系数和折扣率设为1，则如下述的式(2)所示那样表示。
该更新式表示如果行为a引起的下一环境状态下的最优的行为的价值Q(st+1，maxat+1)比状态(环境)s下的行为a的价值Q(st，at)大，则增大Q(st，at)，相反，如果比状态(环境)s下的行为a的价值Q(st，at)小，则减小Q(st，at)。即，使某状态(环境)下的行为的价值接近它引起的下一状态下的最优的行为的价值。
在本实施例中，存储在训练数据集中的状态变量中的积分增益函数和比例增益函数对应于状态(环境)，决定积分增益函数和比例增益函数的变化量即Δ积分增益函数和Δ比例增益函数，并根据Δ积分增益函数和Δ比例增益函数设定新的积分增益函数和比例增益函数对应于行为。学习部3、3`通过使用了回报的学习，来更新((积分增益函数，比例增益函数)、(Δ积分增益函数，Δ比例增益函数)，行为价值Q)的表(以下称为“行为价值表”)。
本发明的实施例的电动机控制装置7具备机械学习装置1、1`以及电动机控制部6。电动机控制部6具备输入转矩指令的转矩指令输入部8。机械学习装置1、1`具备：意图决定部9，其根据由学习部3、3`依照训练数据集进行学习的结果，对当前的状态(环境)的输入进行响应，决定积分增益函数和比例增益函数的变更。
意图决定部9也可以以1-ε的概率选择行为价值Q增大的行为(Δ积分增益函数，Δ比例增益函数)，以ε的概率进行随机选择(ε-greedy法)。
可以根据电动机的绕组电阻值以及电感值来计算存储在行为价值表中的行为价值的初始值。通常，在学习开始时存储在行为价值表中的行为价值的初始值是随机值。因此，可以取得电动机的绕组电阻、电感，适当地赋予初始值，提高学习的效率。
在难以将行为价值全部存储为表并逐次更新的情况下，也可以组合使用了多层神经网络的深层学习来更新行为价值Q。已知深层学习作为削减Q学习的巨大计算量的手段是有用的。
如图3所示，电动机控制部6中的状态有因行为而间接地变化的状态、因行为而直接地变化的状态。因行为而间接地变化的状态包含每个步长的过冲量、下冲量、以及上升时间。因行为而直接地变化的状态包含积分增益函数和比例增益函数。
学习部3、3`构成为依照由当前的状态变量构成的追加的训练数据集，再学习条件来进行更新。
也可以构成为机械学习装置1、1`经由网络与电动机控制部6连接，状态观测部2、2`经由网络取得当前的状态变量。
优选机械学习装置1、1`存在于云服务器中。
电动机控制部6具备转矩指令输入部8(转矩步长指示器)。状态观测部2、2`具备电流传感器21以及用于取得积分增益函数和比例增益函数的通信单元22。也可以将机械学习装置1、1`内置于电动机控制部6中。
接着，说明本发明的实施例的机械学习方法。在图5中表示用于说明本发明的实施例的机械学习装置的动作步骤的流程图。本发明的实施例的机械学习方法对与电动机控制中的电流增益参数的调整相关联的条件进行学习，包括：取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、上升时间中的至少一个、积分增益函数、比例增益函数构成的状态变量，依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
本发明的其他实施例的机械学习方法，对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习方法包括：取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、积分增益函数、比例增益函数构成的状态变量，依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
在图5中表示用于说明本发明的实施例的机械学习装置的动作步骤的流程图。首先，在步骤S101中，取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的实际电流的过冲量、下冲量、以及上升时间中的至少一个、积分增益函数、比例增益函数构成的状态变量。或者，也可以在步骤S101中，取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、积分增益函数、比例增益函数构成的状态变量。
接着，在步骤S102中，依照由状态变量构成的训练数据集，学习与电流增益参数的调整相关联的条件。
接着，说明使用了本发明的实施例的电动机控制装置电动机驱动系统的机械学习方法。在图6中表示用于说明本发明的实施例的电动机控制装置的动作步骤的流程图。首先，在步骤S201中，开始学习。
接着，在步骤S202中，设定积分增益函数和比例增益函数。
接着，在步骤S203中，输入步长指令。例如，一边如10％、20％、……那样逐渐地增加一边输入转矩指令。
接着，在步骤S204中，采样电流，并变换为转矩指令的每个大小的过冲量等。例如，一边按照10％的刻度增加转矩指令，一边将采样的电流变换为各转矩指令下的过冲量(OS量)、下冲量(US量)、上升时间(Rise Time)。
接着，在步骤S205中，计算回报。在此，回报并不限于决定为0或1的情况。即，根据相对于过冲量单调减少的函数、相对于下冲量单调增加的函数、相对于上升时间单调减少的函数来计算。例如，既可以赋予与积分增益函数、比例增益函数全体对应的一个回报，也可以对步长的每个大小设为一个回报。这是将积分增益函数、比例增益函数最优化为函数、还是个别地对每个转矩指令的积分增益和比例增益进行最优化的不同。具体地说，可以按照10％的刻度，如果是10步长则增减10种回报。
接着，在步骤S206中，更新行为价值表。
接着，在步骤S207中，根据更新后的行为价值表，决定Δ积分增益函数和Δ比例增益函数。通过重复以上的步骤S202～S207，能够最优化积分增益函数和比例增益函数。
在以上的说明中，说明了使用电流环路的增益参数的例子，但对于速度环路的增益参数也可以同样。在该情况下，需要将转矩指令置换为速度指令。
如以上说明的那样，根据本发明的实施例的机械学习装置和具备机械学习装置的电动机控制装置和机械学习方法，通过还考虑到电动机的个体差异的电流增益参数的最优化，能够提高电动机的响应性，改善进给不稳，提高精度，削减调整的工时。
根据本发明，可以提供一种机械学习装置、具备机械学习装置的电动机控制装置以及机械学习方法，其通过机械学习来对电流增益参数进行最优化，由此能够提高电动机的响应性，改善进给不稳以及提高精度。

Claims (16)

1.一种机械学习装置，其对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习装置的特征在于，具备：
状态观测部，其取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的上述实际电流的过冲量、下冲量、以及上升时间中的至少一个、上述积分增益函数以及上述比例增益函数构成的状态变量；
学习部，其依照由上述状态变量构成的训练数据集，学习与上述电流增益参数的调整相关联的条件。
2.一种机械学习装置，其对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习装置的特征在于，具备：
状态观测部，其取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的上述实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、上述积分增益函数以及上述比例增益函数构成的状态变量；
学习部，其依照由上述状态变量构成的训练数据集，学习与上述电流增益参数的调整相关联的条件。
3.根据权利要求1或2所述的机械学习装置，其特征在于，
上述学习部构成为依照对多个电动机取得的上述训练数据集，学习上述条件。
4.根据权利要求1所述的机械学习装置，其特征在于，
该机械学习装置还具备：
回报计算部，其根据上述过冲量、上述下冲量以及上升时间来计算回报；
函数更新部，其根据上述回报更新用于从当前的状态变量调整电流增益参数的函数。
5.根据权利要求2所述的机械学习装置，其特征在于，
该机械学习装置还具备：
回报计算部，其根据上述振幅比、上述相位延迟量来计算回报；
函数更新部，其根据上述回报更新用于从当前的状态变量调整电流增益参数的函数。
6.根据权利要求4或5所述的机械学习装置，其特征在于，
上述回报计算部进而根据相对于电流的振荡的余量来计算回报。
7.根据权利要求4～6的任意一项所述的机械学习装置，其特征在于，
上述回报计算部进而根据上述积分增益函数的斜率和比例增益函数的斜率来计算回报。
8.根据权利要求4～7的任意一项所述的机械学习装置，其特征在于，
上述函数更新部使用Q学习来进行强化学习，根据电动机的绕组电阻值和电感值计算Q学习中的行为价值的初始值。
9.根据权利要求4～8的任意一项所述的机械学习装置，其特征在于，
上述函数更新部使用Q学习来进行强化学习，对Q学习中的行为价值的更新使用深层学习。
10.一种电动机控制装置，其具备权利要求1～9的任意一项所述的机械学习装置和电动机控制部，该电动机控制装置的特征在于，
上述电动机控制部具备输入转矩指令的转矩指令输入部，
上述机械学习装置具备：意图决定部，其根据上述学习部依照上述训练数据集进行学习的结果，对当前的状态变量的输入进行响应，决定上述积分增益函数和上述比例增益函数的变更。
11.根据权利要求10所述的电动机控制装置，其特征在于，
上述学习部构成为依照由上述当前的状态变量以及变更后的上述积分增益函数和上述比例增益函数的组合构成的追加的训练数据集，再学习上述条件来进行更新。
12.根据权利要求10或11所述的电动机控制装置，其特征在于，
上述机械学习装置经由网络与上述电动机控制部连接，
上述状态观测部构成为经由上述网络取得上述当前的状态变量。
13.根据权利要求12所述的电动机控制装置，其特征在于，
上述机械学习装置存在于云服务器中。
14.根据权利要求10～13的任意一项所述的电动机控制装置，其特征在于，
上述机械学习装置内置于上述电动机控制部中。
15.一种机械学习方法，其对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习方法的特征在于，包括以下步骤：
取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与阶跃状的转矩指令对应的上述实际电流的过冲量、下冲量、上升时间中的至少一个、上述积分增益函数、上述比例增益函数构成的状态变量；
依照由上述状态变量构成的训练数据集，学习与上述电流增益参数的调整相关联的条件。
16.一种机械学习方法，其对与电动机控制中的电流增益参数的调整相关联的条件进行学习，该机械学习方法的特征在于，包括以下步骤：
取得电流控制环路的积分增益函数和比例增益函数，并且取得实际电流，观测由与由不同频率的正弦波的组构成的转矩指令对应的实际电流的振幅比和根据相位延迟量计算出的频带时间中的至少一个、上述积分增益函数以及上述比例增益函数构成的状态变量；
依照由上述状态变量构成的训练数据集，学习与上述电流增益参数的调整相关联的条件。
CN201610618863.4A 2015-07-31 2016-07-29 机械学习装置、电动机控制装置以及机械学习方法 Active CN106411224B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-152453 2015-07-31
JP2015152453A JP6106226B2 (ja) 2015-07-31 2015-07-31 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法

Publications (2)

Publication Number Publication Date
CN106411224A true CN106411224A (zh) 2017-02-15
CN106411224B CN106411224B (zh) 2019-11-15

Family

ID=57883563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610618863.4A Active CN106411224B (zh) 2015-07-31 2016-07-29 机械学习装置、电动机控制装置以及机械学习方法

Country Status (4)

Country Link
US (1) US10416618B2 (zh)
JP (1) JP6106226B2 (zh)
CN (1) CN106411224B (zh)
DE (1) DE102016008990A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108880399A (zh) * 2017-05-16 2018-11-23 发那科株式会社 机器学习装置、伺服控制系统以及机器学习方法
CN109031953A (zh) * 2018-07-26 2018-12-18 上海高适软件有限公司 基于自学习的电动升降桌遇阻回退方法和系统及升降设备
CN109274314A (zh) * 2017-07-18 2019-01-25 发那科株式会社 机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法
CN110286645A (zh) * 2018-03-19 2019-09-27 发那科株式会社 机器学习装置、伺服控制装置、伺服控制系统以及机器学习方法
CN110376969A (zh) * 2018-04-13 2019-10-25 发那科株式会社 调整装置以及调整方法
CN110417330A (zh) * 2018-04-28 2019-11-05 南京德朔实业有限公司 电动工具

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018151215A1 (ja) * 2017-02-20 2018-08-23 株式会社安川電機 制御装置及び制御方法
JP6789848B2 (ja) * 2017-02-27 2020-11-25 株式会社東芝 アイソレーション管理システムおよびアイソレーション管理方法
JP6697491B2 (ja) * 2018-01-25 2020-05-20 ファナック株式会社 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
JP7090243B2 (ja) * 2018-05-08 2022-06-24 千代田化工建設株式会社 プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置
JP2021018644A (ja) 2019-07-22 2021-02-15 コニカミノルタ株式会社 機械学習装置、機械学習方法及び機械学習プログラム
KR20210012730A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 인공지능 모델의 학습 방법 및 전자 장치
JP7375403B2 (ja) * 2019-09-19 2023-11-08 コニカミノルタ株式会社 機械学習装置、機械学習方法及び機械学習プログラム
WO2021061717A1 (en) * 2019-09-24 2021-04-01 Nnaisense SA Upside-down reinforcement learning
AT523109B1 (de) * 2019-11-13 2021-07-15 Avl List Gmbh Verfahren und System zum Kalibrieren einer Steuereinrichtung eines Elektromotors
EP3825794A1 (de) * 2019-11-21 2021-05-26 pro-micron GmbH Verfahren für die überwachung und/oder vorhersage von bearbeitungsprozessen und/oder bearbeitungsergebnissen
JP7422291B2 (ja) * 2020-11-11 2024-01-26 パナソニックＩｐマネジメント株式会社 機械学習装置、および機械学習装置と接続するモータ制御装置
CN117134676B (zh) * 2023-10-24 2024-02-06 广州匠芯创科技有限公司 参数校正方法、伺服系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184785A (ja) * 1998-12-21 2000-06-30 Meidensha Corp 電流制御系の電流制御ゲイン調整方法と調整装置
CN1431769A (zh) * 2003-02-20 2003-07-23 东南大学 感应电机的神经网络逆控制变频器及构造方法
CN1527170A (zh) * 2003-03-04 2004-09-08 发那科株式会社 同步控制装置
JP2007164406A (ja) * 2005-12-13 2007-06-28 Oita Univ 学習機構付意思決定システム
JP2012010488A (ja) * 2010-06-25 2012-01-12 Hitachi Ltd 電動機システム，電力変換装置および電力変換装置の制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02253303A (ja) * 1989-03-28 1990-10-12 Toshiba Corp ロボット制御系の調律装置
JP2839679B2 (ja) * 1990-09-13 1998-12-16 株式会社東芝 制御パラメータのオートチューニング装置
JPH06335279A (ja) * 1993-05-18 1994-12-02 Fanuc Ltd 同期電動機の電流制御方法
US5880415A (en) * 1997-12-22 1999-03-09 Otis Elevator Company Automatic calibration of current regulator control compensation for an elevator motor drive with locked rotor
JP2004126656A (ja) * 2002-09-30 2004-04-22 Yaskawa Electric Corp ネットワーク適応型制御システム
JP2008293192A (ja) * 2007-05-23 2008-12-04 Toshiba Mitsubishi-Electric Industrial System Corp 制御ゲイン自動設定装置
US9019997B1 (en) * 2009-11-30 2015-04-28 Pmc-Sierra Us, Inc. Method and system for transporting constant bit rate clients across a packet interface
US8542708B1 (en) * 2009-11-30 2013-09-24 Pmc-Sierra Us, Inc. Method and system for transporting constant bit rate clients across a packet interface
US8412357B2 (en) * 2010-05-10 2013-04-02 Johnson Controls Technology Company Process control systems and methods having learning features
JP5750657B2 (ja) * 2011-03-30 2015-07-22 株式会社国際電気通信基礎技術研究所 強化学習装置、制御装置、および強化学習方法
JP5172990B2 (ja) * 2011-05-06 2013-03-27 ファナック株式会社 テーブル形式データによる運転機能を備えた数値制御装置
US8897919B2 (en) * 2012-06-13 2014-11-25 Fanuc Corporation Robot controller which conducts a force control by using a three-axial force sensor
JP5696171B2 (ja) * 2013-03-14 2015-04-08 株式会社東芝 制御パラメータ調整方法、制御パラメータ調整システム及び制御パラメータ設定装置
JP5800886B2 (ja) * 2013-12-16 2015-10-28 ファナック株式会社 単一指令で複数の軸に指令を与える数値制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184785A (ja) * 1998-12-21 2000-06-30 Meidensha Corp 電流制御系の電流制御ゲイン調整方法と調整装置
CN1431769A (zh) * 2003-02-20 2003-07-23 东南大学 感应电机的神经网络逆控制变频器及构造方法
CN1527170A (zh) * 2003-03-04 2004-09-08 发那科株式会社 同步控制装置
JP2007164406A (ja) * 2005-12-13 2007-06-28 Oita Univ 学習機構付意思決定システム
JP2012010488A (ja) * 2010-06-25 2012-01-12 Hitachi Ltd 電動機システム，電力変換装置および電力変換装置の制御方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108880399B (zh) * 2017-05-16 2019-12-06 发那科株式会社 机器学习装置、伺服控制系统以及机器学习方法
CN108880399A (zh) * 2017-05-16 2018-11-23 发那科株式会社 机器学习装置、伺服控制系统以及机器学习方法
US11009837B2 (en) 2017-05-16 2021-05-18 Fanuc Corporation Machine learning device that adjusts controller gain in a servo control apparatus
CN109274314A (zh) * 2017-07-18 2019-01-25 发那科株式会社 机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法
CN110286645B (zh) * 2018-03-19 2021-07-23 发那科株式会社 机器学习装置、伺服控制装置、伺服控制系统以及机器学习方法
CN110286645A (zh) * 2018-03-19 2019-09-27 发那科株式会社 机器学习装置、伺服控制装置、伺服控制系统以及机器学习方法
US11023827B2 (en) 2018-03-19 2021-06-01 Fanuc Corporation Machine learning device, servo control device, servo control system, and machine learning method for suppressing variation in position error using feedforward control
CN110376969A (zh) * 2018-04-13 2019-10-25 发那科株式会社 调整装置以及调整方法
CN110376969B (zh) * 2018-04-13 2021-04-20 发那科株式会社 调整装置以及调整方法
CN110417330A (zh) * 2018-04-28 2019-11-05 南京德朔实业有限公司 电动工具
CN110417331A (zh) * 2018-04-28 2019-11-05 南京德朔实业有限公司 电动工具
CN110417325A (zh) * 2018-04-28 2019-11-05 南京德朔实业有限公司 电动工具
CN110417330B (zh) * 2018-04-28 2021-11-19 南京德朔实业有限公司 电动工具
CN110417331B (zh) * 2018-04-28 2021-11-19 南京德朔实业有限公司 电动工具
CN110417325B (zh) * 2018-04-28 2021-11-19 南京德朔实业有限公司 电动工具
CN109031953A (zh) * 2018-07-26 2018-12-18 上海高适软件有限公司 基于自学习的电动升降桌遇阻回退方法和系统及升降设备
CN109031953B (zh) * 2018-07-26 2021-10-15 上海高适软件有限公司 基于自学习的电动升降桌遇阻回退方法和系统及升降设备

Also Published As

Publication number Publication date
JP2017034844A (ja) 2017-02-09
DE102016008990A1 (de) 2017-03-16
JP6106226B2 (ja) 2017-03-29
CN106411224B (zh) 2019-11-15
US10416618B2 (en) 2019-09-17
US20170032282A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN106411224A (zh) 机械学习装置、电动机控制装置以及机械学习方法
CN107390753B (zh) 基于物联网云平台的智能植物生长环境调节装置与方法
CN110503253A (zh) 一种种植环境自适应控制方法及装置
CN106712646B (zh) 使用频率响应调节电机驱动器的方法
EP3412130A1 (de) Verfahren zum betreiben eines autonomen mobilen rasenmähroboters und rasenmähsystem
KR20180086738A (ko) 작물 재배 가이드 정보 제공 장치, 및 그 방법
US10338541B2 (en) Machine learning to establish optimal filter for removing external noise without degrading responsivity
EP3739494A3 (en) Method, apparatus, system, and program for optimizing solid electrolytes for li-ion batteries using bayesian optimization
DE102018201157B4 (de) Lernmodell-Konstruktionsvorrichtung und Steuerinformations-Optimierungsvorrichtung
US10493625B2 (en) System for generating sets of control data for robots
CN105547325B (zh) 一种基于k均值聚类的光纤惯组温度模型系数确定方法
CN107657681A (zh) 生产设备参数调整方法及装置、计算机装置及可读存储器
KR20190037472A (ko) 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
KR20170028721A (ko) 온실의 제어기의 파라미터 및 온실 환경을 제어하는 시스템
CN110531612A (zh) 一种分数阶pid控制器的参数整定方法
CN106411210A (zh) 电动机控制装置、机械学习装置及其方法
CN107703749A (zh) 一种基于自适应遗传算法的pid参数优化方法
WO2015193032A1 (en) Controlling a target system
CN113196320A (zh) 果菜类植物和果树栽培管理装置、学习装置、果菜类植物和果树栽培管理方法、学习模型生成方法、果菜类植物和果树栽培管理程序以及学习模型生成程序
CN109146177B (zh) 一种输配电线路树障预测方法及装置
KR102212875B1 (ko) 해 탐색 시스템 및 방법, 해 탐색 프로그램
KR101606139B1 (ko) 에너지 생산량 극대화를 위한 풍력발전기 운전 시스템
CN116523149A (zh) 微小害虫防治适期预测方法、装置、电子设备和存储介质
CN113353088B (zh) 车辆行驶速度控制方法、装置、控制设备及存储介质
CN110262541A (zh) 无人机控制方法、装置、无人机、遥控器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant