CN108693834B - 调整装置以及调整方法 - Google Patents

调整装置以及调整方法 Download PDF

Info

Publication number
CN108693834B
CN108693834B CN201810282626.4A CN201810282626A CN108693834B CN 108693834 B CN108693834 B CN 108693834B CN 201810282626 A CN201810282626 A CN 201810282626A CN 108693834 B CN108693834 B CN 108693834B
Authority
CN
China
Prior art keywords
machine learning
adjustment
information
control
adjustment device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810282626.4A
Other languages
English (en)
Other versions
CN108693834A (zh
Inventor
猪饲聪史
园田直人
恒木亮太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN108693834A publication Critical patent/CN108693834A/zh
Application granted granted Critical
Publication of CN108693834B publication Critical patent/CN108693834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40937—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of machining or material parameters, pocket machining
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4142—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by the use of a microprocessor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31103—Configure parameters of controlled devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34013—Servocontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/41—Servomotor, servo controller till figures
    • G05B2219/41437—Feedforward of speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Numerical Control (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种调整装置以及调整方法，适当控制使用了机器学习装置的学习。调整装置对控制装置和机器学习装置进行控制，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对控制装置进行机器学习，所述调整装置具有：启动指示输出部，其输出启动机器学习装置的启动指示；反馈信息取得部，其从控制装置取得反馈信息，该反馈信息是根据由控制装置执行的评价用程序而获得的；反馈信息发送部，其将取得的所述反馈信息发送给机器学习装置；参数设定信息取得部，其从机器学习装置取得控制参数设定信息，该控制参数设定信息是通过使用了反馈信息的机器学习而获得的；参数设定信息发送部，其将取得的控制参数设定信息发送给控制装置。

Description

调整装置以及调整方法
技术领域
本发明涉及对控制装置和机器学习装置进行控制的调整装置以及其调整方法，其中，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对控制装置进行机器学习。
背景技术
例如在专利文献1中记载了学习针对机床所使用的电动机的动作指令这样的机器学习装置。专利文献1所记载的机器学习装置是如下这样的机器学习装置：观测针对电动机的电力供给量、电动机的温度、电动机的负载以及所述电动机的振动作为状态变量，按照该状态变量和根据该状态变量判定机床是否产生异常的结果，来学习针对电动机的动作指令是否需要校正。
现有技术文献
专利文献1：日本专利第6063016号
希望的是，在使用机器学习装置进行学习时，通过机床实际要加工的工件的加工程序来进行机器学习。但一般情况下，加工程序涉及的加工处理时间长，为了进行机器学习而需要时间来进行调整。此外，每当要加工的工件发生变化时机器学习装置需要进行机器学习，不适合加工多品种而小数量的情况。
因此，为了评价机床精度，希望与加工程序分开来使用评价用程序。
发明内容
本发明的目的在于提供一种调整装置以及调整方法，在与加工程序等分开来使用机器学习用的评价用程序时，适当控制使用了机器学习装置的学习。
(1)本发明涉及的调整装置(例如后述的调整装置300、320、330)对控制装置(例如后述的CNC装置100、100A、110、120、130)和机器学习装置(例如后述的机器学习装置200、210、220)进行控制，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对所述控制装置进行机器学习，其中，所述调整装置具有：
启动指示输出部(例如后述的启动指示输出部304)，其输出启动所述机器学习装置的启动指示；
反馈信息取得部(例如后述的反馈信息取得部308)，其从所述控制装置取得反馈信息，该反馈信息是根据由所述控制装置执行的评价用程序而获得的；
反馈信息发送部(例如后述的反馈信息发送部310)，其将取得的所述反馈信息发送给所述机器学习装置；
参数设定信息取得部(例如后述的参数设定信息取得部302)，其从所述机器学习装置取得控制参数设定信息，该控制参数设定信息是通过使用了所述反馈信息的机器学习而获得的；以及
参数设定信息发送部(例如后述的参数设定信息发送部309)，其将取得的所述控制参数设定信息发送给所述控制装置。
(2)可以是，在上述(1)的调整装置中，还具有：存储部(例如后述的评价用程序存储部305)，其存储所述评价用程序；评价用程序输出部(例如后述的评价用程序输出部306)，其将所述评价用程序输出给所述控制装置。
(3)可以是，在上述(1)或(2)的调整装置中，还具有：评价用程序执行指示输出部(例如后述的评价用程序执行指示输出部307)，其将执行所述评价用程序的执行指示发送给所述控制装置。
(4)可以是，在上述(1)～(3)中任一项的调整装置中，在通过所述电动机来驱动两轴以上时，所述反馈信息取得部从所述控制装置取得所述反馈信息并发送给所述机器学习装置。
(5)可以是，在上述(1)～(4)中任一项的调整装置中，所述反馈信息包含位置指令、位置反馈以及位置偏差中的至少一个。
(6)可以是，在上述(6)的调整装置中，所述反馈信息还包含速度指令、速度反馈以及速度偏差中的至少一个。
(7)可以是，在上述(5)的调整装置中，所述反馈信息还包含电流指令、电流反馈以及电流偏差中的至少一个。
(8)可以是，在上述(1)～(7)中任一项的调整装置中，所述机器学习是强化学习，
所述反馈信息取得部从所述控制装置取得所述反馈信息作为状态信息，
所述调整装置具有：参数修正信息发送部(例如后述的参数修正信息发送部310)，其将从所述机器学习装置获得的控制参数修正信息作为行为信息发送给所述控制装置。
(9)可以是，在上述(1)～(8)中任一项的调整装置中，所述控制装置具有位置前馈计算部(例如后述的位置前馈计算部1020)、速度前馈计算部(例如后述的速度前馈计算部1021)以及电流前馈计算部(例如后述的电流前馈计算部1025)中的至少一个，所述位置前馈计算部、所述速度前馈计算部以及所述电流前馈计算部中的至少一个通过所述控制参数设定信息而被设定控制参数。
(10)可以是，在上述(1)、(3)～(9)中任一项的调整装置中，所述控制装置存储所述评价用程序。
(11)可以是，在上述(1)～(10)中任一项的调整装置中，所述调整装置(例如后述的调整装置320)包含所述机器学习装置(例如后述的机器学习装置200)。
(12)可以是，在上述(1)～(10)中任一项的调整装置中，所述调整装置(例如后述的调整装置300)包含于所述机器学习装置(例如后述的机器学习装置210)中。
(13)可以是，在上述(1)～(10)中任一项的调整装置中，所述控制装置(例如后述的CNC装置110)包含所述机器学习装置(例如后述的机器学习装置200)。
(14)可以是，在上述(1)～(10)中任一项的调整装置中，所述调整装置包含于所述控制装置(例如后述的控制装置120)中且所述调整装置包含所述机器学习装置(例如后述的机器学习装置200)。
(15)可以是，在上述(1)～(10)中任一项的调整装置中，所述调整装置(例如后述的调整装置300)包含于所述机器学习装置(例如后述的机器学习装置220)中，该机器学习装置包含于所述控制装置(例如后述的控制装置130)中。
(16)可以是，本发明涉及的调整方法是调整装置的调整方法，该调整装置对控制装置(例如后述的CNC装置100、100A、110、120、130)和机器学习装置(例如后述的机器学习装置200、210、220)进行控制，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对所述控制装置进行机器学习，其中，在所述调整方法中，
启动所述机器学习装置，
从所述控制装置取得反馈信息，该反馈信息是根据由所述控制装置执行的评价用程序而获得的，
将取得的所述反馈信息发送给所述机器学习装置，
从所述机器学习装置取得控制参数设定信息，该控制参数设定信息是通过使用了所述反馈信息的机器学习而获得的，
将取得的所述控制参数设定信息发送给所述控制装置。
发明效果
根据本发明，在具有机器学习装置和控制装置，使用评价用程序进行学习的系统中，可以适当控制使用了机器学习装置的学习。此外，在包含机器学习装置的控制装置中，可以适当控制使用了机器学习装置的学习。
附图说明
图1是表示本发明的第一实施方式的调整系统的框图。
图2是表示CNC装置、机器学习装置与调整装置之间的主信号流的框图。
图3是表示CNC装置100的一结构例的框图。
图4A是用于说明加工形状是圆形时的伺服电动机的动作的图。
图4B是表示加工形状是圆形，在位置A1，使工作台在Y轴方向上移动的伺服电动机的旋转方向反转时的惯性移动而产生的轨迹误差的说明图。
图4C是用于说明加工形状是四边形时的伺服电动机的动作的图。
图4D是用于说明加工形状是带角R的四边形时的伺服电动机的动作的图。
图5是表示第一实施方式的机器学习装置200的框图。
图6是表示第一实施方式的调整装置300的一结构例的框图。
图7A是说明调整系统10的启动动作的流程图。
图7B是说明调整系统10的学习动作的流程图。
图7C是说明调整系统10的参数设定信息输出动作的流程图。
图8是表示本发明的第二实施方式的调整系统的框图。
图9是表示本发明的第三实施方式的调整系统的框图。
图10是表示本发明的第四实施方式的调整系统的框图。
图11是表示本发明的第五实施方式的CNC装置的框图。
图12是表示本发明的第六实施方式的CNC装置的框图。
图13是表示本发明的实施方式的CNC装置的其他结构例的框图。
符号说明
10-13 调整系统
100、110、120、130 CNC装置
200、210 机器学习装置
300、310 调整装置
301 反馈信息发送部
302 参数设定信息取得部
303 参数修正信息取得部
304 启动指示输出部
305 评价用程序存储部
306 评价用程序输出部
307 评价用程序执行指示输出部
308 反馈信息取得部
309 数设定信息发送部
310 参数修正信息发送部
311 参数初始设定发送部
312 控制部
具体实施方式
以下，使用附图对本发明的实施方式进行详细说明。
(第一实施方式)
图1是表示本发明的第一实施方式的调整系统的框图。本实施方式的调整系统10如图1所示，具有：n台CNC(Computerized Numerical Control，计算机数值控制)装置100-1～100-n、n台机器学习装置200-1～200-n、调整装置300以及网络400。另外，n是任意的自然数。CNC装置对应于控制装置，是一个数值控制(Numerical Control)装置。
这里，CNC装置100-1与机器学习装置200-1为一对一的组，经由网络400能够通信地与调整装置300连接。对于CNC装置100-2～100-n和机器学习装置200-2～200-n来说，与CNC装置100-1和机器学习装置200-1同样地连接。
调整装置300与CNC装置100-1～100-n、以及调整装置300与机器学习装置200-1～200-n分别经由连接接口直接连接，或者分别经由网络连接，能够彼此进行通信。另外，网络例如是在工厂内构筑的LAN(Local Area Network，局域网)、互联网、公用电话网、或者它们的组合。对于网络中具体的通信方式以及有线连接还是无线连接等没有特别限定。
图2是表示CNC装置、机器学习装置与调整装置之间的信号的主要流的框图。调整装置300在通过CNC装置100对控制对象进行实际控制之前，控制CNC装置100和机器学习装置200，以便为了将CNC装置100的控制参数设定为适当值而通过机器学习装置200来进行学习。这里，CNC装置100与机器学习装置200是n台CNC装置100-1～100-n和n台机器学习装置200-1～200-n的n个组中的一个。
如图2所示，调整装置300在CNC装置100中发送学习时要执行的评价用程序，将启动指示发送给机器学习装置200。
接下来，调整装置300对CNC装置100发送评价用程序的执行指示。CNC装置100执行评价用程序，将根据要执行的评价用程序而获得的反馈信息发送给调整装置300。调整装置300将所取得的反馈信息发送给机器学习装置200。
接下来，机器学习装置200使用反馈信息来进行机器学习，将通过机器学习获得的参数设定信息发送给调整装置300。调整装置300将取得的参数设定信息发送给CNC装置100。这样，CNC装置100被设定为合适的控制参数。
另外，CNC装置100与机器学习装置200经由连接接口直接连接，或者分别经由网络连接，也可以在CNC装置100与机器学习装置200之间而不经由调整装置300收发经由图2所示的调整装置300的信号中的部分信号。此外，在操作员通过CNC装置100来执行评价用程序时，可以不从调整装置300向CNC装置100发送评价用程序的执行指示。
以下，对成为控制装置的CNC装置100、机器学习装置200以及调整装置300的各结构进行说明。在以下的说明中，以机器学习装置200强化学习CNC装置100的控制参数的情况为例来进行说明。
<CNC装置100>
图3是表示CNC装置的一结构例的框图。为了便于说明，图3还表示调整装置300和机器学习装置200。
如图3所示，CNC装置100对控制对象500的伺服电动机600进行控制。在要控制的轴是两轴以上时以轴的数量来设置伺服电动机600。在本实施方式中，由于评价用程序使至少两轴动作，因此伺服电动机的数量至少设置两个。这里，作为电动机使用了伺服电动机，但是也可以使用主轴电动机等其他电动机。控制对象500例如是伺服电动机、包含伺服电动机的、机床、机器人、或者工业机械等。CNC装置100也可以设置成机床、机器人、或工业机械等的一部分。以下，以控制对象500是包含伺服电动机的机床的情况为例进行说明。
如图3所示，CNC装置100具有：数值控制信息处理部1011、存储部1012、减法器1013、位置控制部1014、加法器1015、减法器1016、速度控制部1017、加法器1018、积分器1019、位置前馈计算部1020以及速度前馈计算部1021。除了数值控制信息处理部1011和存储部1012之外的CNC装置100的各结构部设置于每一个伺服电动机。
存储部1012存储评价用程序，该评价程序是机器学习装置200进行学习时供CNC装置100使用的加工程序。评价用程序与进行实际的切削加工等加工时所使用的加工程序分开来设置。评价用程序被从后述的调整装置300发送至数值控制信息处理部1011，数值控制信息处理部1011将评价用程序存储于存储部1012中。
数值控制信息处理部1011根据来自后述的调整装置300的执行指示，从存储部1012读出评价用程序，执行评价用程序。这样，数值控制信息处理部1011根据该评价用程序中所含的代码(code)来制作位置指令值，将其输出给减法器1013。数值控制信息处理部1011设定进给速度来制作位置指令值，以成为评价用程序所指示的加工形状。
减法器1013从数值控制信息处理部1011接收位置指令值，求出位置指令值与位置反馈的检测位置之差，将该差作为位置偏差输出给位置控制部1014并且发送给后述的调整装置300。
位置控制部1014将位置增益Kp乘以位置偏差而得的值作为速度指令值而输出至加法器1015。位置前馈计算部1020对位置指令值进行微分将乘以了前馈系数而得的值输出至加法器1015和速度前馈计算部1021。
加法器1015将速度指令值与位置前馈计算部1020的输出值相加，作为前馈控制的速度指令值输出至减法器1016。减法器1016求出加法器1015的输出与速度反馈的速度检测值之差，将该差作为速度偏差而输出至速度控制部1017。
速度控制部1017将积分增益K1v乘以速度偏差并进行了积分得到的值、比例增益K2v乘以速度偏差而得的值相加，作为转矩指令值输出给加法器1018。
速度前馈计算部1021例如进行数学式1(以下，表示为数学式1)所示的传递函数Gf(s)所示的速度前馈计算处理并输出至加法器2027。
在第一实施方式中，当传递函数Gf(s)的次数是预先设定的值时，机器学习装置200进行机器学习以将各系数ai、bj设为最佳的系数。以下，系数ai、bj被记载为CNC装置100的控制参数。
加法器1018将转矩指令值与速度前馈计算部1021的输出值相加，作为前馈控制的电流指令值(转矩值)而输出给控制对象500的伺服电动机600。
通过与伺服电动机600关联起来的、作为位置检测器的旋转编码器来检测控制对象500的伺服电动机600的旋转角度位置，检测出的信号被用作速度反馈的速度检测值。速度检测值通过积分器1019而被积分，用作位置反馈的位置检测值。
如上所述，构成CNC装置100。
接下来，对机器学习时由机床实际执行的评价用程序进行说明。如上所述，优选的是，在机器学习装置200对CNC装置100的控制参数进行机器学习时，机器学习装置200使CNC装置100进行所有加工品的动作来进行机器学习。但是，实际上机器学习装置200无法使CNC装置100进行所有加工品的动作而进行机器学习，因此，代替这些而预先设定进行与机器学习相适合的加工动作的评价用程序。
例如，评价用程序通过学习时的加工形状来指示轴向的移动距离、进给速度等。学习时的加工形状例如是圆形、四边形、以及带角R的四边形(a square with quarter arc)等。
图4A、图4B是用于对加工形状是圆形时的伺服电动机的动作进行说明的图。图4C是用于对加工形状是四边形时的伺服电动机的动作进行说明的图。图4D是用于对加工形状是带角R的四边形时的伺服电动机的动作进行说明的图。在图4A～图4D中，工作台移动以顺时针来对被加工物(工件)进行加工。
当加工形状是圆形时，如图4A所示，在位置A1使工作台在Y轴方向上移动的伺服电动机旋转方向反转，工作台以在Y轴方向上直线反转的方式移动。在位置A2使工作台在X轴方向上移动的伺服电动机旋转方向反转，工作台以在X轴方向上直线反转的方式移动。
图4B是表示加工形状是圆形，在位置A1使工作台在Y轴方向上移动的伺服电动机的旋转方向反转时，因惯性移动而产生的轨迹误差的说明图。
如图4B所示，使工作台在Y轴方向上移动的伺服电动机的旋转方向在位置A1反转时，产生反转延迟，轨迹误差在半径方向扩大。在进行轨迹误差的扩大显示时轨迹误差被视为突起。
当加工形状是四边形时，如图4C所示，在位置B使工作台在Y轴方向上移动的伺服电动机从停止向旋转动作转移，使工作台在X轴方向上移动的伺服电动机从旋转向停止转移，工作台从X轴方向的直线动作向Y轴方向的直线动作转移。
在加工形状是带角R的四边形时，如图4D所示，在位置C1，使工作台在Y轴方向上移动的伺服电动机从停止向旋转动作转移，工作台从X轴方向的直线动作向圆弧动作转移。在位置C2使工作台在X轴方向上移动的伺服电动机从旋转向停止转移，工作台从圆弧动作向Y轴方向的直线动作转移。
以上所说明的、通过由评价用程序指示的加工形状，评价在旋转方向反转，或从旋转状态停止时产生的惯性移动(因惯性移动而动作)，调查针对位置偏差的影响。
在学习时执行这样的评价用程序，数值控制信息处理部1011以依次为圆形、四边形、带角R的四边形(a square with quarter arc)的加工形状的方式，输出位置指令值。此外，数值控制信息处理部1011可以按圆形、四边形、带角的四边形(a square with quarterarc)的加工形状来变更进给速度，还可以学习针对多个进给速度的影响。数值控制信息处理部1011在加工形状的图形的移动途中，例如在使工作台向四边形的加工形状移动时，可以在通过角时变更进给速度。
<机器学习装置200>
接下来，对第一实施方式中的机器学习装置200进行说明。如上所述，机器学习装置200强化学习控制参数ai、bj。
更具体来说，机器学习装置200进行如下Q学习(Q-learning)：将包含控制参数ai、bj(i、j≥0)的值和通过执行评价用程序而取得的CNC装置100的位置偏差信息在内的指令以及反馈等伺服状态设为状态s，将该状态s涉及的控制参数ai、bj的调整设为行为a。如本领域技术人员所知，Q学习的目的在于：在某种状态s时，从取得的行为a中选择价值Q(s、a)最高的行为a作为最佳行为。
具体来说，智能体(机器学习装置)在某种状态s下选择各种行为a，针对当时的行为a而产生的状态的变化给予回报。并且，智能体根据给予的回报，通过选择更好的行为，继续学习正确的价值Q(s、a)。
此外，智能体想要使到将来获得的回报的总和最大化，所以，目标是最终成为Q(s、a)＝E[Σ(γt)rt]。这里，E[]表示期待值，t表示时刻，γ表示后述的称为折扣率的参数，rt表示时刻t的回报，Σ表示时刻t涉及的总和。该数学式中的期待值是按照最佳的行为进行了状态变化时的期待值。这样的价值Q(s、a)的更新式例如可以通过如下的数学式2(以下表示为数学式2)来表示。
【数学式2】
在上述的数学式(2)中，st表示时刻t的环境状态，at表示时刻t的行为。通过行为at，状态变化为st+1。rt+1表示通过该状态的变化而得到的回报。此外，带有“max”的项是：在状态st+1下，将γ乘以选择出当时知道的Q值最高的行为a时的Q值。这里，γ是0＜γ≤1的参数，被称为折扣率。此外，α是学习系数，设α的范围为0＜α≤1。
上述的数学式(2)表示如下方法：行为at的结果是，根据反馈回来的回报rt+1，更新状态st下的行为at的评价值Q(st、at)。
机器学习装置200观测包含CNC装置100的至少位置偏差信息在内的、包含指令和反馈等伺服状态在内的状态信息s，来决定行为a。根据控制参数ai、bj执行预先设定的评价用程序由此获得位置偏差信息。状态信息对应于反馈信息。每当进行行为a时机器学习装置200都计算回报r。
这里，机器学习装置200以如下方式设定回报r。
在通过行为信息a使得状态信息s被修正为状态信息s’时，根据状态信息s’涉及的修正后的控制参数ai、bj而动作的CNC装置100的位置偏差值，比根据通过行为信息a而被修正前的状态信息s涉及的修正前的控制参数ai、bj而动作的CNC装置100的位置偏差值大时，机器学习装置200将回报值设为负值。
另一方面，根据通过行为信息a而被修正的状态信息s’涉及的修正后的控制参数ai、bj而动作的CNC装置100的位置偏差值，比根据通过行为信息a而被修正前的状态信息s涉及的修正前的控制参数ai、bj而动作的CNC装置100的位置偏差值小时，机器学习装置200将回报值设为正值。
在Q学习中，机器学习装置200例如试错性地探索到将来的回报r的总和为最大的最佳行为a。这样，机器学习装置200能够根据控制参数ai、bj，针对包含执行预先设定的评价用程序而取得的CNC装置100的位置偏差信息在内的、包含指令和反馈等伺服状态在内的状态s，选择最佳的行为a(即，最佳的控制参数ai、bj)。
图5是表示本发明的第一实施方式的机器学习装置200的框图。
为了进行上述强化学习，如图5所示，机器学习装置200具有：状态信息取得部201、学习部202、行为信息输出部203、价值函数存储部204以及最佳化行为信息输出部205。学习部202具有：回报输出部2021、价值函数更新部2022以及行为信息生成部2023。
状态信息取得部201经由后述的调整装置300而从CNC装置100取得包含CNC装置100的指令和反馈等的伺服状态在内的、成为反馈信息的状态信息s。该状态信息s与Q学习中的环境状态s相当。伺服状态包含CNC装置100的至少位置偏差信息。根据CNC装置100中的控制参数ai、bj，执行预先设定的评价用程序而取得位置偏差信息。
状态信息取得部201对学习部202输出取得的状态信息s。
另外，最初开始Q学习的时间点的控制参数ai、bj预先通过用户的指示而由后述的调整装置300生成。在本实施方式中，后述的调整装置300制作出的控制参数ai、bj的初始设定值通过强化学习而调整为最佳的值。控制参数ai、bj例如作为初始设定值而设定为a0＝1、a1＝0、b0＝0、b1＝(控制对象的惯量值)。此外，预先设定系数ai、bj的次数m、n。
即，系数ai的“i”设定为0≤i≤m，系数bj的“j”设定为0≤j≤n。
学习部202是在某种环境状态s下，学习选择某种行为a时的价值Q(s、a)的部分。具体来说，学习部202具有：回报输出部2021、价值函数更新部2022以及行为信息生成部2023。
回报输出部2021在某种状态s下，如上所述计算选择了行为a时的回报r。
价值函数更新部2022根据状态s、行为a、将行为a应用于状态s时的状态s’、如上所述计算出的回报值r来进行Q学习，从而对价值函数存储部204存储的价值函数Q进行更新。
另外，价值函数Q的更新既可以通过在线学习来进行，可以通过批量学习来进行，还可以通过小批量学习来进行。调整装置300可以选择在线学习、批量学习、小批量学习中的任一个。
在线学习是如下学习方法：通过将某种行为a应用于当前状态s，每当状态s向新状态s’转移时，立即进行价值函数Q的更新。此外，批量学习是如下学习方法：通过重复将某种行为a应用于当前状态s，状态s向新状态s’转移，由此收集学习用的数据，使用收集到的所有学习用数据，来进行价值函数Q的更新。并且，小批量学习是在线学习与批量学习中间的学习方法，是每当积攒了某种程度学习用数据时进行价值函数Q的更新的学习方法。
行为信息生成部2023针对当前状态s选择Q学习的过程中的行为a。行为信息生成部2023在Q学习的过程中，为了进行修正控制参数ai、bj的动作(相当于Q学习中的行为a)，而生成行为信息a，针对行为信息输出部203输出所生成的行为信息a。更具体来说，行为信息生成部2023针对状态s所含的控制参数ai、bj，将加上或减去增量(例如，0.01左右)的行为信息a输出给行为信息输出部203。该行为信息a为参数修正信息。
行为信息生成部2023在应用控制参数ai、bj的增加或减少而向状态s’转移，给予正回报(正值的回报)时，作为下一行为a’可以针对控制参数ai、bj与前次的动作同样地加上或减少增量等，选择位置偏差值小的行为a’的方策。
此外，反之，当给予了负回报(负值的回报)时，行为信息生成部2023作为下一行为a’，例如也可以采取针对控制参数ai、bj，与前次的动作相反地，减去或者加上增量等，选择位置偏差比前次的值小的行为a’这样的方策。
行为信息输出部203是经由后述的调整装置300将从学习部202输出的成为行为信息a的参数修正信息发送给CNC装置100的部分。CNC装置100如上所述，根据该行为信息，对当前状态s即当前设定的控制参数ai、bj进行微修正，而向下一状态s(即，进行了修正的控制参数ai、bj)转移。
价值函数存储部204是存储价值函数Q的存储装置。价值函数Q例如按状态s和行为a而存储于表(以下，称为行为价值表)。存储于价值函数存储部204的价值函数Q通过价值函数更新部2022而被更新。
最佳化行为信息输出部205根据进行了更新的价值函数Q输出最佳化行为信息。该最佳化行为信息与行为信息输出部203在Q学习的过程中输出的行为信息一样，包含修正控制参数ai、bj的信息。该修正控制参数ai、bj的信息为机器学习所获得的参数设定信息。
在CNC装置100中，根据参数修正信息来修正控制参数ai、bj。因此，CNC装置100可以将高速前馈的系数设为高次的系数，以降低位置偏差的方式来进行动作。
以上，通过利用本发明涉及的机器学习装置200，使得CNC装置100的速度前馈计算部1021的控制参数调整简易化。
<调整装置300>
接下来，对第一实施方式的调整装置300进行说明。
图6是表示调整装置300的一结构例的框图。调整装置300具有：反馈信息发送部301、参数设定信息取得部302、参数修正信息取得部303、启动指示输出部304、评价用程序存储部305、评价用程序输出部306、评价用程序执行指示输出部307、反馈信息取得部308、参数设定信息发送部309、参数修正信息发送部310、参数初始设定发送部311、以及控制部312。控制部312控制各结构部的动作。
反馈信息发送部301、参数设定信息取得部302、参数修正信息取得部303、启动指示输出部304是为了在与机器学习装置200之间的收发接口而设置的结构部。此外，评价用程序存储部305、评价用程序输出部306、评价用程序执行指示输出部307、反馈信息取得部308、数设定信息发送部309、参数修正信息发送部310、参数初始设定发送部311是为了在与CNC装置100之间的收发接口而设置的结构部。控制部312进行评价用程序相对评价用程序存储部305的存储，修正存储的评价用程序等。
以下，使用图7A、图7B以及图7C来对以调整装置300的动作为中心的调整系统的动作进行说明。
图7A是表示调整系统的启动动作的流程的图。
调整装置300的控制部312，首先在步骤S41中，经由参数初始设定发送部311对CNC装置100指示控制参数初始设定。具体来说，调整装置300的控制部312对速度前馈计算部1021进行指示，例如作为初始设定值而将系数ai、bj设为数学式1的a0＝1、a1＝0、b0＝0、b1＝(控制对象的惯量值)，设定系数ai、bj的次数m、n。CNC装置100在步骤S61中，根据来自调整装置300的指示，来设定速度前馈计算部1021的系数ai、bj的值和次数m、n。
接下来，调整装置300的控制部312在步骤S42中，经由评价用程序输出部306向CNC装置100发送评价用程序。具体来说，控制部312指示评价用程序输出部306发送评价用程序，评价用程序输出部306从评价用程序存储部305读出评价用程序，将评价用程序发送给CNC装置100。CNC装置100的数值控制信息处理部1011在步骤S62中，将评价用程序保存于存储部1012。
接下来，调整装置300的控制部312在步骤S43中，经由启动指示输出部304针对机器学习装置200进行启动指示。机器学习装置200在步骤S31中，从调整装置300接收启动指示，启动装置，之后设为待机状态。
接下来，使用图7B对调整系统10的学习动作进行说明。
图7B是说明调整系统10的学习动作的流程图。
调整装置300的控制部312在步骤S44中，经由评价用程序执行指示输出部307指示CNC装置100的数值控制信息处理部1011执行评价用程序。
在接收了来自调整装置300的执行指示之后，CNC装置100的数值控制信息处理部1011在步骤S63中，从存储部1012读出评价用程序，根据评价用程序来制作位置指令值。CNC装置100控制伺服电动机600，在步骤S64中，将反馈信息发送给调整装置300，该反馈信息包含速度前馈计算部1021的传递函数的各系数ai、bj(i、j≥0)的值和执行评价用程序而取得的CNC装置100的位置偏差信息。该反馈信息为状态信息s。
调整装置300的控制部312通过步骤S45，经由反馈信息取得部308取得反馈信息，经由反馈信息发送部301而将其发送给机器学习装置200。机器学习装置200通过步骤S32接收反馈信息。
CNC装置100通过步骤S65来判断评价用程序涉及的一连串的加工是否结束。这里，所谓评价用程序涉及的一连串的加工结束的状态例如表示将加工形状设为圆形、四边形、以及带角R的四边形的评价用程序结束的状态。如果评价用程序涉及的一连串的加工没有结束(步骤S65：否)，则CNC装置100返回到步骤S63。如果评价用程序涉及的一连串的加工结束(步骤S65：是)，则CNC装置100针对调整装置300通知评价用程序涉及的一连串的加工结束。
调整装置300的控制部312在接收评价用程序涉及的一连串加工的结束通知时，记录、更新接收到评价用程序的结束通知的次数。然后，调整装置300的控制部312在步骤S46中，判断该次数是否超过规定次数，或者是否超过规定的学习期间，判断是否结束机器学习。调整装置300在不结束机器学习时(步骤S46：否)，向步骤S47转移。调整装置300在结束机器学习时(步骤S46：是)，向步骤S49转移。
调整装置300在步骤S47中指示机器学习装置200计算回报、更新价值函数。
机器学习装置200在通过步骤S33接收计算回报、更新价值函数的指示时，在步骤S34中，判断从CNC装置100接收到的控制参数，即速度前馈计算部1021的传递函数的各系数ai、bj(i、j≥0)的值(控制参数的值)是否是初始设定值。换言之，机器学习装置200判断控制参数是初始设定值(状态信息)s0的集合，还是说控制参数是初始设定值(状态信息)s0以后的状态信息s的集合。然后，在控制参数不是初始设定值(状态信息)s0的集合，而是控制参数是初始设定值(状态信息)s0以后的状态信息s的集合时(步骤S34：否)，机器学习装置200向步骤S35转移。在控制参数的值是初始设定值时(步骤S34：是)，机器学习装置200向步骤S36转移。
机器学习装置200在步骤S35中，计算回报，更新价值函数，之后，向步骤S36转移。
机器学习装置200在步骤S36中，生成控制参数修正信息，将控制参数修正信息发送给调整装置300。这里，控制参数修正信息例如是针对状态s所含的速度前馈计算部的各系数使增量(例如0.01左右)加上或减去行为a所含的、速度前馈计算部的各系数ai、bj的信息。
调整装置300在步骤S48中，将从机器学习装置200接收到的控制参数修正信息发送给CNC装置100的速度前馈计算部1021。
速度前馈计算部1021在步骤S66中，在接收控制参数修正信息时，修正系数ai、bj，CNC装置100返回到步骤S63。
这样，CNC装置100根据修正后的控制参数ai、bj，重复评价用程序涉及的一连串的加工。
接下来，对调整系统10的控制参数设定信息输出动作进行说明。图7C是说明调整系统10的控制参数设定信息输出动作的流程图。控制参数设定信息输出动作是在步骤S46中，进行了使机器学习结束的判断之后的动作。控制参数设定信息为最佳化行为信息。
如图7C所示，调整装置300的控制部312在步骤S49中，针对机器学习装置200发送控制参数设定信息的输出指示。
机器学习装置200在步骤S37中，在接收成为最佳化行为信息的控制参数设定信息的输出指示时，计算对应于最后的机器学习的回报，更新价值函数。
机器学习装置200的最佳化行为信息输出部205在步骤S38中，取得存储于价值函数存储部204的价值函数Q，根据取得的价值函数Q，例如生成相对于初始状态s0成为最佳化行为信息的控制参数设定信息，将生成的控制参数设定信息输出给调整装置300。
调整装置300在步骤S50中，在取得控制参数设定信息时，将其输出给CNC装置100。
CNC装置100在步骤S67中，根据从调整装置300接收到的控制参数设定信息，将速度前馈计算部1021的系数ai、bj设定为最佳的值。
调整装置300在步骤S51中，将学习结束指示发送给CNC装置100和机器学习装置200，结束学习。CNC装置100和机器学习装置200在从调整装置300接收学习结束指示时，结束学习。
以上，根据处理流程对CNC装置100、机器学习装置200和调整装置300的动作进行了说明，但是上述的处理流程是一个示例，不限定于此。
为了实现这些功能，CNC装置100、机器学习装置200和调整装置300分别具有CPU(Central Processing Unit，中央处理单元)等运算处理装置。此外，CNC装置100、机器学习装置200和调整装置300分别还具有存储应用软件或OS(Operating System，操作心痛)等各种控制用程序的HDD(Hard Disk Drive，硬盘驱动器)等辅助存储装置、存储运算处理装置执行程序之后暂时需要的数据的RAM(Random Access Memory，随机存取存储器)等主存储装置。
并且，分别在CNC装置100、机器学习装置200和调整装置300中，运算处理装置从辅助存储装置中读入应用软件或OS，一边在主存储装置上展开读入的应用软件或OS，一边进行根据这些应用软件或OS的运算处理。此外，运算处理装置根据该运算结果，来控制各装置具有的各种硬件。由此，实现本实施方式的功能块。也就是说，本实施方式可以通过硬件与软件协作来实现。
机器学习装置200随着机器学习的运算量而增多。因此，希望：例如个人计算机搭载GPU(Graphics Processing Units，图形处理器)，通过称为GPGPU(General-Purposecomputing on Graphics Processing Units，通用图形处理器)的技术，使GPU用于随着机器学习的运算处理，以使机器学习装置200可以进行高速处理。并且，为了进行更高速的处理，使用多台搭载了这样的GPU的计算机来构筑计算机集群，通过该计算机集群所含的多个计算机来进行并列处理。
以上说明的第一实施方式能够存在各种变形例。
例如，在CNC装置100的速度前馈计算部1021中，可以预先初始设定控制参数。该情况下，可以不设置图6的参数初始设定发送部311，以及不设置图7A的调整装置300的步骤S41与CNC装置100的步骤S61。
此外，CNC装置100可以将评价用程序预先存储于存储部1012。该情况下，可以不设置调整装置300的评价用程序存储部305与评价用程序输出部306、以及不设置图7A的调整装置300的步骤S42与CNC装置100的步骤S62。
此外，可以代替评价用程序执行指示输出部307以及图7A的调整装置300的步骤S44，而在CNC装置100在步骤S63中，按照操作员的指示执行评价用程序。
并且，CNC装置100与机器学习装置200之间的信号的收发也可以不经由调整装置300而是直接进行。该情况下，可以不设置调整装置300的反馈信息取得部308和参数初始设定发送部311、不设置图7B所记载的步骤S45中的调整装置300涉及的反馈信息的接收和发送。
同样地，也可以不进行调整装置300的图7B所记载的步骤S46中的、基于调整装置300的评价用程序涉及的一连串加工的结束通知的接收、不进行回报计算、价值函数的更新指示的发送。
(第二实施方式)
图8是表示本发明的第二实施方式的调整系统的框图。本实施方式的CNC装置和机器学习装置与图2、图3和图5所示的CNC装置100和机器学习装置200是相同结构，因此，标注相同符号省略说明。本实施方式的调整系统11是调整装置320包含机器学习装置200的结构。调整装置320的结构除了机器学习装置200之外与图6所示的调整装置300相同。调整装置320与CNC装置100经由连接接口直接连接，或者经由网络连接，能够彼此进行通信。网络例如是在工厂内构筑的LAN(Local Area Network)、互联网、共用电话网、或者它们的组合。对于网络中的具体通信方式、以及有线连接还是无线连接等来说没有特别限定。
(第三实施方式)
图9是表示本发明的第三实施方式的调整系统的框图。本实施方式的CNC装置和调整装置与图2、图3和图6所示的CNC装置100和调整装置300是相同结构，因此，标注相同符号省略说明。本实施方式的调整系统12是机器学习装置210包含调整装置300的结构。机器学习装置210的结构除了调整装置300之外与图5所示的机器学习装置200相同。CNC装置100与机器学习装置210经由连接接口直接连接，或者经由网络连接，能够彼此进行通信。网络例如是在工厂内构筑的LAN(Local Area Network)、互联网、共用电话网、或者它们的组合。对于网络中的具体通信方式、以及有线连接还是无线连接等来说没有特别限定。
(第四实施方式)
图10是表示本发明的第四实施方式的调整系统的框图。本实施方式的机器学习装置和调整装置与图2、图5和图6所示的机器学习装置200和调整装置300是相同结构，因此，标注相同符号省略说明。本实施方式的调整系统13是CNC装置110包含机器学习装置200的结构。CNC装置110的结构除了机器学习装置200之外与图3所示的CNC装置100相同。CNC装置110与调整装置300经由连接接口直接连接，或者经由网络连接，能够彼此进行通信。
(第五实施方式)
图11是表示本发明的第五实施方式的CNC装置的框图。本实施方式的CNC装置120包含调整装置330，并且调整装置330还包含机器学习装置200。CNC装置120的结构除了包含机器学习装置230的调整装置330之外与图3所示的CNC装置100相同，CNC装置120具有与CNC装置100相同结构的控制部。本实施方式中，在CNC装置120的操作系统上，执行如下应用软件：执行包含机器学习装置200的功能在内的调整装置330的功能。
(第六实施方式)
图12是表示本发明的第六实施方式的CNC装置的框图。本实施方式的CNC装置130包含机器学习装置220，并且机器学习装置220还包含调整装置300。CNC装置130的结构除了包含调整装置300的机器学习装置220之外与图3所示的CNC装置100相同，CNC装置130具有与CNC装置100相同结构的控制部。本实施方式中，在CNC装置130的操作系统上，执行如下应用软件：执行包含调整装置300在内的机器学习装置220的功能。
上述的CNC装置100～130、机器学习装置200～220、以及调整装置300、320和330所含的各结构部可以通过硬件、软件或者它们的组合来实现。此外，由上述伺服控制装置所含的各结构部的各自协作而进行的伺服控制方法也可以通过硬件、软件或者它们的组合来实现。这里，所谓通过软件来实现表示计算机通过读入程序来执行从而实现。
可以使用各种类型的非临时性的计算机可读介质(non-transitory computerreadable medium)来存储程序而提供给计算机。非临时性的计算机可读介质包含各种类型的有实体的存储介质(tangible storage medium)。非临时性的计算机可读介质的示例包含：磁存储介质(例如，软盘、磁带、硬盘驱动器)、磁-光存储介质(例如，光磁盘)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(ProgrammableROM)、EPROM(Erasable PROM)、闪存ROM、RAM(random access memory))。
上述实施方式是本发明的最佳实施方式，但是并非将本发明的范围只限定于上述实施方式，可以在不脱离本发明的精神的范围内实现以实施了各种变更的方式的实施。
例如，本实施方式的CNC装置的结构不限定于图3所示的结构。
图13是表示本实施方式的CNC装置的其他结构例的框图。图13所示的CNC装置100A与图3所示的CNC装置100的不同点在于：图13所示的CNC装置100A还包含减法器1022、电流控制部1023、加法器1024、以及电流前馈计算部1025，进行电流反馈。
此外，上述各实施方式的机器学习装置200、210、220是如下示例：通过使CNC装置100来执行评价用程序，作为反馈信息而取得包含位置偏差、和速度前馈计算部1021的传递函数的系数的组合在内的状态信息，将包含状态信息所含的系数的组合的调整信息在内的行为信息输出给CNC装置100的速度前馈计算部1021来进行强化学习。
机器学习装置进行的机器学习不限定于速度前馈计算部1021中的系数的机器学习。例如，机器学习装置除了速度前馈计算部1021，或者代替速度前馈计算部1021，针对位置前馈计算部1020以及/或者电流前馈计算部1025的传递函数的系数(控制参数)进行机器学习(强化学习)。
此外，在第一实施方式中，机器学习装置用于进行强化学习的反馈信息包含位置偏差、速度前馈计算部1021的传递函数的系数的组合。但是，反馈信息不限定于位置偏差，除了位置偏差之外，也可以包含位置指令和位置反馈(位置检测值)中的至少一个。并且，反馈信息除了位置偏差之外，还可以包含速度指令、速度反馈、速度偏差、电流指令、电流反馈、以及电流偏差中的至少一个。位置指令对应于数值控制信息处理部1011的输出，位置反馈对应于积分器1019的输出。速度指令对应于加法器1015的输出，速度反馈(速度检测值)对应于与伺服电动机600关联起来的旋转编码器的输出，速度偏差对应于计算器1016的输出。电流指令对应于加法器1018的输出。电流反馈对应于流向伺服电动机600的电流的检测值，电流偏差对应于减法器1022的输出。
此外，上述各实施方式对强化学习相关的示例进行了说明。但是，本发明也可以应用于其他方法，例如“监督学习”、“无监督学习”。
并且，反馈信息可以通过进行机器学习的对象、或者机器学习的方法适当选择。
<系统结构的自由度>
在上述图1和图2所示的实施方式中，CNC装置100与机器学习装置200作为一对一的组能够通信地连接，但是例如一台机器学习装置200也可以经由网络400与多台CNC装置100能够通信地连接，实施各CNC装置100的机器学习。
此时，机器学习装置200的各功能也可以作为适当分散于多个服务器的分散处理系统。此外，机器学习装置200的各功能也可以在云上利用假想服务器功能等来实现。
此外，当存在分别与多个相同型号名称、相同标准、或者相同系列的CNC装置100-1～100-n对应的多个机器学习装置200-1～200-n时，各机器学习装置200-1～200-n可以共享各机器学习装置200-1～200-n中的学习结果。这样，能够构筑更合适的模型。
此外，图8以及图10所示的第二和第四实施方式中，对一台CNC装置设置一台调整装置，但是也可以对多台CNC装置设置一台调整装置。并且在图9所示的第三实施方式中，对一台CNC装置设置一台机器学习装置，但是也可以对多台CNC装置设置一台机器学习装置。

Claims (16)

1.一种调整装置，其对控制装置和机器学习装置进行控制，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对所述控制装置进行机器学习，其特征在于，所述调整装置具有：
启动指示输出部，其输出启动所述机器学习装置的启动指示；
反馈信息取得部，其从所述控制装置取得反馈信息，该反馈信息是根据由所述控制装置执行的评价用程序而获得的，其中，所述评价用程序通过学习时的加工形状来指示轴向的移动距离、进给速度；
反馈信息发送部，其将取得的所述反馈信息发送给所述机器学习装置；
参数设定信息取得部，其从所述机器学习装置取得控制参数设定信息，该控制参数设定信息是通过使用了所述反馈信息的机器学习而获得的；以及
参数设定信息发送部，其将取得的所述控制参数设定信息发送给所述控制装置。
2.根据权利要求1所述的调整装置，其特征在于，
所述调整装置还具有：
存储部，其存储所述评价用程序；以及
评价用程序输出部，其将所述评价用程序输出给所述控制装置。
3.根据权利要求1或2所述的调整装置，其特征在于，
所述调整装置还具有：评价用程序执行指示输出部，其将执行所述评价用程序的执行指示发送给所述控制装置。
4.根据权利要求1或2所述的调整装置，其特征在于，
在通过所述电动机来驱动两轴以上时，所述反馈信息取得部从所述控制装置取得所述反馈信息并发送给所述机器学习装置。
5.根据权利要求1或2所述的调整装置，其特征在于，
所述反馈信息包含位置指令、位置反馈以及位置偏差中的至少一个。
6.根据权利要求5所述的调整装置，其特征在于，
所述反馈信息还包含速度指令、速度反馈以及速度偏差中的至少一个。
7.根据权利要求5所述的调整装置，其特征在于，
所述反馈信息还包含电流指令、电流反馈以及电流偏差中的至少一个。
8.根据权利要求1或2所述的调整装置，其特征在于，
所述机器学习是强化学习，
所述反馈信息取得部从所述控制装置取得所述反馈信息作为状态信息，
所述调整装置具有：参数修正信息发送部，其将从所述机器学习装置获得的控制参数修正信息作为行为信息发送给所述控制装置。
9.根据权利要求1或2所述的调整装置，其特征在于，
所述控制装置具有位置前馈计算部、速度前馈计算部以及电流前馈计算部中的至少一个，
所述位置前馈计算部、所述速度前馈计算部以及所述电流前馈计算部中的至少一个通过所述控制参数设定信息而被设定控制参数。
10.根据权利要求1所述的调整装置，其特征在于，
所述控制装置存储所述评价用程序。
11.根据权利要求1或2所述的调整装置，其特征在于，
所述调整装置包含所述机器学习装置。
12.根据权利要求1或2所述的调整装置，其特征在于，
所述调整装置包含于所述机器学习装置中。
13.根据权利要求1或2所述的调整装置，其特征在于，
所述控制装置包含所述机器学习装置。
14.根据权利要求1或2所述的调整装置，其特征在于，
所述调整装置包含于所述控制装置中且所述调整装置包含所述机器学习装置。
15.根据权利要求1或2所述的调整装置，其特征在于，
所述调整装置包含于所述机器学习装置中，该机器学习装置包含于所述控制装置中。
16.一种调整装置的调整方法，该调整装置对控制装置和机器学习装置进行控制，该控制装置对驱动至少两轴以上的电动机进行控制，该机器学习装置针对所述控制装置进行机器学习，其特征在于，在所述调整方法中，
启动所述机器学习装置，
从所述控制装置取得反馈信息，该反馈信息是根据由所述控制装置执行的评价用程序而获得的，其中，所述评价用程序通过学习时的加工形状来指示轴向的移动距离、进给速度，
将取得的所述反馈信息发送给所述机器学习装置，
从所述机器学习装置取得控制参数设定信息，该控制参数设定信息是通过使用了所述反馈信息的机器学习而获得的，
将取得的所述控制参数设定信息发送给所述控制装置。
CN201810282626.4A 2017-04-07 2018-04-02 调整装置以及调整方法 Active CN108693834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017076706A JP6474449B2 (ja) 2017-04-07 2017-04-07 調整装置及び調整方法
JP2017-076706 2017-04-07

Publications (2)

Publication Number Publication Date
CN108693834A CN108693834A (zh) 2018-10-23
CN108693834B true CN108693834B (zh) 2019-12-03

Family

ID=63587756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810282626.4A Active CN108693834B (zh) 2017-04-07 2018-04-02 调整装置以及调整方法

Country Status (4)

Country Link
US (1) US10444733B2 (zh)
JP (1) JP6474449B2 (zh)
CN (1) CN108693834B (zh)
DE (1) DE102018205015B4 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474449B2 (ja) * 2017-04-07 2019-02-27 ファナック株式会社 調整装置及び調整方法
JP6748135B2 (ja) * 2018-03-19 2020-08-26 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6740279B2 (ja) * 2018-04-13 2020-08-12 ファナック株式会社 調整装置及び調整方法
JP6860541B2 (ja) * 2018-10-29 2021-04-14 ファナック株式会社 出力装置、制御装置、及び評価関数値の出力方法
JP6799047B2 (ja) * 2018-11-19 2020-12-09 ファナック株式会社 暖機運転評価装置、暖機運転評価方法及び暖機運転評価プログラム
JP6978452B2 (ja) * 2019-02-12 2021-12-08 ファナック株式会社 機械学習装置、制御装置、及び機械学習の探索範囲の設定方法
CN114072742A (zh) * 2019-06-27 2022-02-18 三菱电机株式会社 数控装置、机器学习装置及数控方法
DE112019007578T5 (de) * 2019-09-11 2022-05-05 Mitsubishi Electric Corporation Numerische Steuerung, numerisches Steuerverfahren und Maschinenlernvorrichtung
US11461162B2 (en) * 2020-07-06 2022-10-04 Ringcentral, Inc. Maze-driven self-diagnostics using reinforcement learning
CN112202370B (zh) * 2020-09-28 2022-04-15 北京科技大学 一种同轴双电机模型预测直接转矩控制方法
CN113638808B (zh) * 2021-08-17 2022-11-22 中国联合重型燃气轮机技术有限公司 燃料阀冗余伺服控制方法、装置及系统
US20230205180A1 (en) * 2021-12-23 2023-06-29 Ats Corporation Methods and systems for controlling computer numerical control machines

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6063016A (ja) 1984-07-31 1985-04-11 松下電器産業株式会社 ミル付コ−ヒ−沸し器
JP2851901B2 (ja) * 1990-03-09 1999-01-27 株式会社日立製作所 学習制御装置
JPH04324507A (ja) * 1991-04-25 1992-11-13 Hitachi Ltd 駆動装置の加減速制御方法及びロボットシステム
JPH07501643A (ja) * 1991-12-09 1995-02-16 シーメンス アクチエンゲゼルシヤフト 制御パラメータに依存する実際値特性を有するシステムに対する制御パラメータの最適化方法
JP4745798B2 (ja) * 2005-11-11 2011-08-10 株式会社日立産機システム 電動機制御装置の自動調整法および装置
CN102467113B (zh) * 2010-11-10 2013-09-11 新代科技股份有限公司 机械装置的具有参数学习的控制器及其参数学习方法
CN102374038B (zh) * 2011-09-06 2013-09-11 天津大学 自学习的前馈和主动抗扰反馈结合的vvt控制方法
WO2015021016A1 (en) * 2013-08-05 2015-02-12 Board Of Trustees Of The University Of Alabama Systems, methods and devices for vector control of permanent magnet synchronous machines using artificial neural networks
US9533413B2 (en) * 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US9364950B2 (en) * 2014-03-13 2016-06-14 Brain Corporation Trainable modular robotic methods
JP6063016B1 (ja) 2015-09-29 2017-01-18 ファナック株式会社 電動機に対する動作指令を学習する機械学習方法および機械学習装置並びに該機械学習装置を備えた工作機械
JP6193961B2 (ja) * 2015-11-30 2017-09-06 ファナック株式会社 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置
US11259742B2 (en) * 2016-08-19 2022-03-01 Curiato Inc. System, method, and computer readable medium for dynamic pressure damage risk assessment and response
JP6744208B2 (ja) * 2016-12-27 2020-08-19 株式会社日立製作所 制御装置及び制御方法
JP6457563B2 (ja) * 2017-01-24 2019-01-23 ファナック株式会社 数値制御装置及び機械学習装置
JP2018126796A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2018126799A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6490127B2 (ja) * 2017-03-15 2019-03-27 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6474449B2 (ja) * 2017-04-07 2019-02-27 ファナック株式会社 調整装置及び調整方法
JP6557285B2 (ja) * 2017-05-26 2019-08-07 ファナック株式会社 制御装置及び機械学習装置
JP6499720B2 (ja) * 2017-06-22 2019-04-10 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
JP6538766B2 (ja) * 2017-07-18 2019-07-03 ファナック株式会社 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法
JP6698603B2 (ja) * 2017-09-29 2020-05-27 ファナック株式会社 数値制御システム、及び運転状態異常検知方法
JP2019086928A (ja) * 2017-11-06 2019-06-06 ファナック株式会社 制御装置及び機械学習装置
JP6680748B2 (ja) * 2017-11-17 2020-04-15 ファナック株式会社 制御装置及び機械学習装置
JP6680756B2 (ja) * 2017-12-26 2020-04-15 ファナック株式会社 制御装置及び機械学習装置

Also Published As

Publication number Publication date
DE102018205015A1 (de) 2018-10-11
DE102018205015B4 (de) 2020-08-13
JP2018180764A (ja) 2018-11-15
CN108693834A (zh) 2018-10-23
US20180292808A1 (en) 2018-10-11
US10444733B2 (en) 2019-10-15
JP6474449B2 (ja) 2019-02-27

Similar Documents

Publication Publication Date Title
CN108693834B (zh) 调整装置以及调整方法
JP6063016B1 (ja) 電動機に対する動作指令を学習する機械学習方法および機械学習装置並びに該機械学習装置を備えた工作機械
JP6490127B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
CN110376969A (zh) 调整装置以及调整方法
JP5969676B1 (ja) 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械
JP6059375B1 (ja) 生産制御システムおよび統合生産制御システム
CN109116811B (zh) 机器学习装置和方法、伺服控制装置、伺服控制系统
CN108693833B (zh) 机器学习装置、伺服控制装置和系统以及机器学习方法
JP6740277B2 (ja) 機械学習装置、制御装置、及び機械学習方法
CN109274314A (zh) 机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法
JP6748135B2 (ja) 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
CN104423303B (zh) 最优化的运动控制部件和能量效率的估量和调节方法
JP2017102619A (ja) 制御パラメータ調整装置、制御パラメータ調整方法、制御パラメータ調整プログラム
US20170090452A1 (en) Machine tool for generating speed distribution
JP6740278B2 (ja) 機械学習装置、制御装置、及び機械学習方法
JP6784722B2 (ja) 出力装置、制御装置、及び評価関数値の出力方法
CN108572622A (zh) 处理装置、参数调整方法和存储参数调整程序的记录媒体
US11914333B2 (en) Machine learning device, servo control device, servo control system, and machine learning method
CN110941242B (zh) 电动机控制装置
CN108427378B (zh) 数值控制装置
JP7101091B2 (ja) モータ制御装置のフィードフォワード制御器導出装置、モータ制御装置、制御装置、及びフィードフォワード制御器導出方法
Li et al. Research on Intelligent Control Decision of Manipulator Based on Deep Reinforcement Learning
Molnar et al. FUZZY CONTROLLER FOR ADJUSTING THE WELDING SPEED OF A WELDING ROBOT.
CN116560307A (zh) 基于多目标混合算法的故障预防耦合动态车间调度方法
Li et al. Online Fuzzy Intelligent Control Based on Resultant Cutting Force in the End Milling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant