CN108693832B - 机器学习装置及方法、伺服控制装置、伺服控制系统 - Google Patents

Abstract

本发明提供一种机器学习装置及方法、伺服控制装置、伺服控制系统。能够简单地进行前馈控制的调整，并且能够提升指令跟踪性。机器学习装置(100)具有：标签取得单元(102)，其取得伺服控制装置(200)为了进行控制对象装置(300)的驱动控制而输出给所述控制对象装置的指令作为标签；输入数据取得单元(101)，其取得根据所述指令而驱动的控制对象装置的输出作为输入数据；学习单元(103)，其将所述标签与所述输入数据的组作为教师数据来进行监督学习，由此构筑用于校正所述指令的前馈控制有关的学习模型。

Description

机器学习装置及方法、伺服控制装置、伺服控制系统

技术领域

本发明涉及进行与伺服控制相关的机器学习的、机器学习装置、伺服控制装置、伺服控制系统、以及机器学习方法。

背景技术

以往，已知在伺服控制装置中，通过进行前馈控制(feedforward control)来校正指令这样的技术。此外，还已知有利用神经网络等机器学习来决定设置于控制对象前段的补偿器的参数这样的技术。

例如，在专利文献1中，公开了如下结构：在进行反馈控制和前馈控制的伺服控制装置中，通过机器学习来学习控制对象的输出与线性模型的输出之差，根据机器学习的学习结果来决定设置于控制对象前段的补偿器的参数。

现有技术文献

专利文献1：日本特开平7-210207号公报

上述专利文献1所公开的技术的结构是：以线性模型为参考模型来进行参考模型自适应控制，以便与该线性模型的特性一致。该线性模型例如是通过绕平衡点将非线性控制对象线性化而得的模型。这里，由于利用专利文献1所公开的技术，因此用户需要逐一准备线性模式。

但是，逐一准备线性模型对于用户来说是繁杂的，由此希望可以更简单地进行前馈控制有关的调整的方法。

发明内容

因此，本发明的目的在于提供一种机器学习装置、伺服控制装置、伺服控制系统、以及机器学习方法，能够简单地进行前馈控制的调整，并且能够提升指令跟踪性。

(1)一种机器学习装置(例如，后述的机器学习装置100)具有：标签取得单元(例如，后述的标签取得部102)，其取得伺服控制装置(例如，后述的伺服控制装置200)为了进行控制对象装置(例如，后述的控制对象装置300)的驱动控制而输出给所述控制对象装置的指令作为标签；输入数据取得单元(例如，后述的输入数据取得部101)，其取得根据所述指令而驱动的控制对象装置的输出作为输入数据；学习单元(例如，后述的学习部103)，其将所述标签与所述输入数据的组作为教师数据来进行监督学习，由此构筑用于校正所述指令的前馈控制有关的学习模型。

(2)可以使上述(1)所述的机器学习装置为，所述伺服控制装置是进行用于校正所述指令的反馈控制的伺服控制装置，所述输入数据取得单元取得所述反馈控制中的反馈作为所述控制对象装置的输出。

(2)可以使上述(1)所述的机器学习装置为，所述指令是位置指令、速度指令以及电流指令中的某一个或它们的组合，所述控制对象装置的输出是位置反馈、速度反馈以及电流反馈中的某一个或它们的组合。

(3)可以使上述(2)所述的机器学习装置为，所述指令是位置指令、速度指令以及电流指令中的某一个或它们的组合，所述控制对象装置的输出是位置反馈、速度反馈以及电流反馈中的某一个或它们的组合。

(4)可以使上述(1)～(3)中任一项所述的机器学习装置为，所述标签取得单元作为标签而取得的所述指令中包含计划输出给所述控制对象装置的指令。

(5)可以使上述(1)～(4)中任一项所述的机器学习装置为，该机器学习装置还具有：函数输出单元(例如，后述的推定控制指令生成函数输出部105、推定电流指令生成函数输出部106、推定电压指令生成函数输出部107)，其根据由所述学习单元构筑出的学习模型来生成函数并将其输出，该函数用于生成所述前馈控制中的校正值。

(6)本发明的伺服控制系统(例如，后述的伺服控制系统1)具有：上述(5)所记载的机器学习装置(例如，后述的机器学习装置100)；伺服控制装置(例如，后述的伺服控制装置200)，其具有前馈补偿器(例如，后述的前馈补偿器11、前馈补偿器21、前馈补偿器31)，该前馈补偿器根据所述函数输出单元输出的所述函数进行前馈控制。

(7)本发明的伺服控制装置(例如，后述的伺服控制装置200)具有：上述(1)～(4)所记载的机器学习装置(例如，后述的机器学习装置100)；函数输出单元(例如，后述的推定控制指令生成函数输出部105、推定电流指令生成函数输出部106、推定电压指令生成函数输出部107)，其根据由所述学习单元构筑出的学习模型来生成函数并将其输出，该函数用于生成所述前馈控制中的校正值；前馈补偿器(例如，后述的前馈补偿器11、前馈补偿器21、前馈补偿器31)，其根据所述函数输出单元输出的所述函数进行前馈控制。

(8)本发明的机器学习方法是计算机(例如，后述的机器学习装置100)进行的机器学习方法，具有如下步骤：标签取得步骤，取得伺服控制装置为了进行控制对象装置的驱动控制而输出给所述控制对象装置的指令作为标签；输入数据取得步骤，取得由所述指令驱动的控制对象装置的输出作为输入数据；学习模型构筑步骤，将所述标签与所述输入数据的组作为教师数据来进行监督学习，由此构筑用于校正所述指令的前馈控制有关的学习模型。

发明效果

根据本发明，能够简单地进行前馈控制的调整，并且能够提升指令跟踪性。

附图说明

图1是表示与本发明的各实施方式通用的、实施方式整体的基本结构的功能框图。

图2A是表示本发明的第一实施方式的机器学习时的结构的功能框图。

图2B是表示本发明的第一实施方式的前馈控制时的结构的功能框图。

图3是表示本发明的第一实施方式的机器学习装置的结构的功能框图。

图4是表示与本发明的各实施方式通用的、实施方式整体的基本动作的流程图。

图5A是表示本发明的第二实施方式的机器学习时的结构的功能框图。

图5B是表示本发明的第二实施方式的前馈控制时的结构的功能框图。

图6是表示本发明的第二实施方式的机器学习装置的结构的功能框图。

图7A是表示本发明的第三实施方式的机器学习时的结构的功能框图。

图7B是表示本发明的第三实施方式的前馈控制时的结构的功能框图。

图8是表示本发明的第三实施方式的机器学习装置的结构的功能框图。

具体实施方式

以下，使用附图对本发明的实施方式进行详细说明。另外，以下对三个实施方式进行说明，而成为其前提的整体结构在各实施方式间通用，因此首先对在各实施方式通用的整体结构进行说明。

<与各实施方式通用的整体结构>

图1是表示与各实施方式通用的整体结构的功能框图。如图1所示作为各实施方式的伺服控制系统1构成为包含机器学习装置100、伺服控制装置200以及控制对象装置300。

机器学习装置100是进行机器学习的装置，该机器学习用于进行基于伺服控制装置200的前馈控制的调整。机器学习装置100可以通过个人计算机或服务器装置或者数值控制装置(CN：Computerized Numerical Control)等来实现。

伺服控制装置200是通过进行前馈控制和反馈控制来对控制对象装置300的驱动进行控制的装置，该前馈装置使用了机器学习装置100构筑的学习模型。

控制对象装置300是通过伺服控制装置200的控制来进行驱动的装置，例如可以通过伺服电动机、包含伺服电动机的机床、机器人、工业机械等来实现。上述伺服控制装置200可以作为单独的装置来实现，也可以作为这些机床、机器人、工业机械等的一部分来实现。

机器学习装置100和伺服控制装置200能够通信地连接。此外，伺服控制装置200和控制对象装置300也能够通信地连接。这些通信例如可以通过在工厂内构筑的LAN(LocalArea Network：局域网)来实现，也可以是有线通信和无线通信的某一个或他们的组合，其通信标准等没有特别限制。此外，这些通信可以是经由互联网或公众电话网等网络(省略图示)的通信，该情况下，各装置可以分别设置于附近(例如，相同的工厂内)，也可以分别设置于远方的场所。

另外，在图中图示了这些装置各一台，但这些装置的台数没有特别限制，其连接也不仅是一对一，也可以是一对多、或多对多的连接。

<第一实施方式>

接下来，参照图2A以及图2B对第一实施方式的结构进行说明。这里，在包含本实施方式的各实施方式中，在“机器学习时”与“前馈控制时”各自运转的部分不同。这里，图2A是对应于“机器学习时”的附图，图2B是对应于“前馈控制时”的附图。

如图2A以及图2B所示，本实施方式构成为包含机器学习装置100a、前馈补偿器11、减法器12、PI控制部13、加法器14、以及控制对象装置300。这里，前馈补偿器11、减法器12、PI控制部13以及加法器14是伺服控制装置200a的结构要素。在本实施方式中，作为反馈控制而进行对比例动作施加了积分动作的PI控制。另外，进行PI控制的伺服控制装置的动作本身由本领域技术人员知晓，因此，省略这方面的详细说明。

在包含本实施方式在内的各实施方式中，在机器学习时不进行前馈控制。因此，在图2A中，通过虚线来表示用于进行前馈控制的前馈补偿器11和与前馈补偿器11连接的信号线不发挥功能。另一方面，在前馈控制时，不进行机器学习。因此，在图2B中，通过虚线来表示对机器学习装置100a发送机器学习用信号的信号线不发挥功能。

接下来，参照图1对本实施方式的机器学习时的信号流进行说明。首先，从省略了图示的上位装置(例如，数值控制装置)对伺服控制装置200a输入用于对控制对象装置300a的驱动进行控制的指令。所输入的指令在减法器12中通过反馈被进行减法运算，作为目标值的指令和作为输出值的反馈的偏差被输入到PI控制部13。另外，如上所述在机器学习时，由于前馈补偿器11不发挥功能，因此对于指令分叉而被输入到前馈补偿器11这一点省略说明。

在PI控制部13中，在将积分增益设为K1，将比例增益设为K2时而表现为[K1/s+K2]的传递函数中，根据输入的偏差生成控制指令，对控制对象装置300a输出所生成的控制指令。另外，如上所述，由于在机器学习时前馈补偿器11不发挥功能，因此不会在加法器14中校正控制指令。

从PI控制部13输出的控制指令被输入到控制对象装置300a。然后，控制对象装置300a根据输入的控制指令来进行动作。但是，由于存在驱动控制对象装置300a的负载和干扰等影响，因此在作为目标值的指令与输出值之间产生偏差。因此，将根据控制指令而驱动的控制对象装置300a的输出作为反馈而输出给减法器12。并且，根据该反馈，重复反馈控制以减少偏差。以上，是伺服控制装置200a的反馈控制的流程。

与该反馈控制并行地，从PI控制部13输出的控制指令分叉而被输入到机器学习装置100a。此外，根据控制指令而驱动的控制对象装置300a的输出也输出至机器学习装置100a。然后，机器学习装置100a根据这两个输入来进行机器学习。为了对该机器学习的内容进行说明，首先参照图3来说明机器学习装置100a具有的功能块。

如图3所示，机器学习装置100a构成为包含输入数据取得部101、标签取得部102、学习部103、学习模型存储部104、推定控制指令生成函数输出部105。

输入数据取得部101是如下部分：取得根据控制指令而驱动的控制对象装置300a的输出作为输入数据(也称为特征量)，并将所取得的输入数据输出给学习部103。

标签取得部102是如下部分：取得从PI控制部13输出的控制指令作为标签，并将所取得的标签输出给学习部103。

这样，作为输入数据的输出与作为标签的控制指令成为一组，被输入到学习部103。该输入数据与标签之组相当于机器学习中的教师数据。

学习部103根据像这样输入的教师数据来进行称为监督学习的机器学习，由此构筑学习模型。这里，监督学习本身由于被本领域技术人员所知晓因此省略详细说明，对其概略进行说明。

例如，通过组合感知器而构成的神经网络来进行监督学习。具体来说，将教师数据所包含的输入数据与标签之组给予到神经网络，一边变更各感知器的权重一边重复学习，以使神经网络的输出与标签相同。

例如，在进行了正向传播(Forward-propagation)之后，通过重复进行反向传播(Back-propagation，也称为误差反传播法)这样的处理来调整权重值以减小各感知器的输出的误差。

这样，学习教师数据的特征，归纳性地获得用于从输入推定结果的学习模型。

这里，监督学习如上所述一边使权重的值不同，一边使标签与输出数据的误差缩小为零。并且，本实施方式的标签是针对控制对象装置300a的控制指令，输入是控制对象装置300a的输出。因此，学习部103重复学习而构筑出的学习模型理想的是相当于反函数，该反函数用于使针对控制对象装置300a的控制指令的输入和控制对象装置300a的输出为相同的值。

另外，学习部103用于学习的神经网络可以是三层，也可以在此之上进一步增加层。还可以通过所谓的深度学习(也称为深层学习)来进行学习。

学习部103构筑的学习模型被输出给学习模型存储部204。

学习模型存储部204是存储学习部103构筑而输出给学习模型存储部204的学习模型的存储部。

推定控制指令生成函数输出部105在前馈控制时，从学习模型存储部204取得学习模型。然后，推定控制指令生成函数输出部105根据取得的学习模型，生成使输出与标签近似的函数即推定控制指令生成函数，将生成的推定控制指令生成函数输出给前馈补偿器11。该推定控制指令生成函数在后述的前馈控制时，被前馈补偿器11使用。

对机器学习装置100a的功能块进行了说明。为了实现这些功能块，机器学习装置100a具有CPU(Central Processing Unit：中央处理单元)等运算处理装置。此外，机器学习装置100a还具有存储各种控制用程序的HDD(Hard Disk Drive：硬盘驱动器)等辅助存储装置、和RAM(Random Access Memory：随机存取存储器)这样的主存储装置，该RAM用于存储运算处理装置执行程序之后临时所需的数据。

然后，在机器学习装置100a中，运算处理装置从辅助存储装置读入应用和OS，一边在主存储装置展开读入的应用和OS一边进行基于这些应用和OS的运算处理。此外，根据该运算结果来控制各装置具有的各种硬件。由此，实现本实施方式中的机器学习装置100a的功能块。也就是说，本实施方式可以通过硬件与软件协作来实现。

作为具体例，机器学习装置100a可以通过个人计算机和服务器装置或者数值控制装置(CNC：Computerized Numerical Control)等实现。

其中，对于机器学习装置100a来说，由于伴随机器学习的运算量多，因此例如对个人计算机搭载GPU(Graphics Processing Units，图形处理器)，通过称为GPGPU(General-Purpose computing on Graphics Processing Units，通用计算图形处理器)的技术，在将GPU用于伴随机器学习的运算处理时可以进行高速处理。并且，为了进行更高速的处理，也可以使用多台搭载了这样的GPU的计算机来构筑计算机集群，通过该计算机集群所包含的多台计算机来进行并列处理。

另外，对于后述的第二实施方式中的机器学习装置100b以及第三实施方式中的机器学习装置100c来说，也可以通过与本实施方式的机器学习装置100a一样的方式实现。

接下来，参照图2B对像这样进行了机器学习之后进行的前馈控制时的信号流进行说明。

首先，与机器学习时一样，用于对控制对象装置300a的驱动进行控制的指令从省略了图示的上位装置(例如数值控制装置)输入到伺服控制装置200a。输入的指令在加法器12中通过反馈而被进行减法运算，作为目标值的指令与作为输出值的反馈之偏差被输入到PI控制部13。此外，在前馈控制时，由于前馈补偿器11发挥功能，因此输入的指令分叉而被输入到前馈补偿器11。

然后，前馈补偿器11根据上述推定控制指令生成函数，根据输入的指令生成校正值。然后，将生成的校正值输入到加法器14。

这里，如上所述，推定控制指令生成函数通过机器学习理想的是成为反函数，该反函数用于使针对控制对象装置300a的控制指令的输入与控制对象装置300a的输出为相同的值。因此，该校正值理想的是可以将指令和输出校正为相同的值。

其中，由于在控制对象装置300a产生干扰等影响，因此即使进行了基于校正值的校正，也未必可以使指令与输出一致。因此，在本实施方式中，除了该前馈补偿器11进行的校正之外，为了抑制干扰等影响而一并使用参照图2A所说明的反馈控制。

通过这样，在本实施方式中，可以使控制指令的值为适当的值，能够提升指令跟踪性。此外，该情况下，用户不需要制作作为参考模型的线性模型等，对于用户来说可以简单地进行前馈控制的调整。

另外，在上述实施方式中，假设了进行PI控制的情况，但是例如也可以还进行将微分要素组合的PID控制。

接下来，参照图4的流程图对本实施方式的机器学习装置100a的动作进行说明。

在步骤S11中，机器学习装置100a判定当前机器学习装置100a的动作模式设定成“机器学习模式”，还是设定成“前馈控制模式”(在流程图上，表现为没有设定成“机器学习模式”)。

这里，在当前机器学习装置100a的动作模式设定成“机器学习模式”时，在步骤S11中判定为是，处理向步骤S12前进。另一方面，在当前机器学习装置100a的动作模式没有设定成“机器学习模式”时，在步骤S11中判定为否，处理向步骤S14前进。

在步骤S12和步骤S13中，机器学习装置100a的输入数据取得部101和标签取得部102取得输入数据和标签。这些数据的具体内容如上所述。

在步骤S14中，机器学习装置100a的学习部103使用输入的教师数据来执行机器学习。使用了该教师数据的机器学习的具体内容也如上所述。

在步骤S15中，学习部103通过针对学习模型存储部204输出所构筑的学习模型来更新学习模型。之后，处理再次向步骤S11前进。

这样通过重复步骤S11到步骤S15的处理，学习得以继续下去。然后，当在该重复的过程中动作模式被切换设定为前馈控制模式时，在步骤S11中判定为否，处理向步骤S16前进。另外，例如可以由用户来进行设定切换，还可以在学习模型的输出与标签的误差值为规定值以下时进行设定切换，还可以在重复了机器学习预先规定好的次数时进行设定切换。

在步骤S16中，推定控制指令生成函数输出部105取得学习模型存储部104存储的学习模型。

在步骤S17中，推定控制指令生成函数输出部105根据取得的学习模型，生成使输出与标签近似的函数即推定控制指令生成函数，将生成的推定控制指令生成函数输出给前馈补偿器11。

前馈控制时的、包含了前馈补偿器11的伺服控制装置200a的动作如上所述。

以上，对第一实施方式进行了说明。接下来，对变形了上述第一实施方式而得的第二实施方式进行说明。

<第二实施方式>

接下来，参照图5A以及图5B来对第二实施方式的结构进行说明。这里，图5A是对应于“机器学习时”的附图，图5B是对应于“前馈控制时”的附图。另外，第二实施方式的基本功能和结构与上述第一实施方式通用，因此，以下省略重复说明，对第一实施方式和第二实施方式的差异点进行详细说明。

如图5A和图5B所示，本实施方式构成为包含机器学习装置100b、前馈补偿器21、减法器22、位置控制部23、加法器24、减法器25、速度控制部26、加法器27、控制对象装置300b以及积分器29。

这里，前馈补偿器21、减法器22、位置控制部23、加法器24、减法器25、速度控制部26、加法器27以及积分器29是伺服控制装置200b的构成要素。在本实施方式中，作为反馈控制而进行基于速度反馈和对速度反馈进行积分而生成的位置反馈的反馈控制。另外，与第一实施方式的进行PI控制的伺服控制装置一样，基于速度反馈和位置反馈的反馈控制本身由于被本领域的技术人员所知晓，因此省略这方面的详细说明。

在第二实施方式中，与第一实施方式一样，在机器学习时不进行前馈控制。因此，在图5A中，通过虚线来表示用于进行前馈控制的前馈补偿器21和与前馈补偿器21连接的信号线不发挥功能。另一方面，在前馈控制时，不进行机器学习。因此，在图5B中通过虚线来表示针对机器学习装置100b发送机器学习用信号的信号线不发挥功能。

接下来，参照图5A对本实施方式的机器学习时的信号流进行说明。首先，从省略了图示的上位装置(例如数值控制装置)向伺服控制装置200b输入用于对控制对象装置300b的驱动进行控制的位置指令。输入的位置指令在减法器22中通过位置反馈而被进行减法运算，位置指令与位置反馈之偏差即位置偏差被输入到位置控制部23。

位置控制部23处理该位置偏差而生成速度指令，将生成的速度指令输出给速度控制部26。另外，如上所述在机器学习时，由于前馈补偿器21不发挥功能，因此速度指令不会在加法器24中被校正。

位置控制部23输出的速度指令在减法器25中通过速度反馈而被进行减法运算，速度指令与速度反馈之偏差即速度偏差被输入到速度控制部26。

速度控制部26根据速度偏差，通过进行比例运算和积分运算这样的速度环处理来生成电流指令，将生成的电流指令输出给控制对象装置300b。另外，如上所述，在机器学习时，由于前馈补偿器21不发挥功能，因此电流指令不会在加法器27中被校正。

从速度控制部26输出的电流指令被输入到控制对象装置300b。并且，控制对象装置300b根据输入的电流指令来进行动作。

在控制对象装置300b的驱动部(伺服电动机)安装有速度检测器，该速度检测器检测出的速度反馈分叉而被分别输出给减法器25和积分器29。在减法器25中，如上所述进行基于速度反馈的减法运算。

此外，在积分器29中，通过对速度反馈进行积分，生成位置反馈，将生成的位置反馈输出给减法器22。在减法器22中，如上所述进行基于位置反馈的减法运算。

如上所述，由于存在驱动控制对象装置300b的负载和干扰等影响，因此在作为目标值的位置指令和作为输出值的位置反馈之间产生位置偏差。因此，如上所述，重复反馈控制以使位置偏差减小。以上是伺服控制装置200b的反馈控制的流程。

与该反馈控制并行地，从速度控制部26输出的电流指令分叉而被输入到机器学习装置100b。此外，积分器29对速度反馈进行积分而生成的位置反馈也被输出给机器学习装置100b，该速度反馈是根据控制指令而驱动的控制对象装置300b的输出。并且，虽省略信号线的图示，但是从位置控制部23输出的速度指令分叉而被输入到机器学习装置100b。

然后，机器学习装置100b根据这些输入来进行机器学习。另外，各功能块的功能本身在上述机器学习装置100a和机器学习装置100b之间通用，因此，省略重复的说明。

在本实施方式中，输入数据取得部101取得积分器29积分生成的位置反馈作为输入数据(也称为特征量)。

此外，标签取得部102取得从速度控制部26输出的电流指令和从位置控制部23输出的速度指令作为标签。也就是说，在本实施方式中，进行使用了多个标签的多标签学习。

这样，作为输入数据的位置反馈与作为标签的电流指令和速度指令的组成为一组，输入到学习部103。该输入数据与标签之组相当于机器学习的教师数据。

学习部103根据这样输入的教师数据来进行被称为监督学习的机器学习，由此构筑学习模型。这里，监督学习的内容与第一实施方式的说明时所述的一样。另外，在第二实施方式中，推定控制指令生成函数输出部105置换为推定电流指令生成函数输出部106，根据学习模型输出推定电流指令生成函数。第二实施方式的前馈补偿器21根据该推定电流指令生成函数输出两个校正值作为后述的第一校正与第二校正。

接下来，参照图5B对这样进行机器学习之后进行的前馈控制时的信号流进行说明。

首先，在机器学习时一样，从省略了图示的上位装置(例如数值控制装置)向伺服控制装置200b输入用于对控制对象装置300b的驱动进行控制的位置指令。在前馈控制时，由于前馈补偿器21发挥功能，因此输入的位置指令分叉而被输入到前馈补偿器21。然后，前馈补偿器21根据上述的推定控制电压指令生成函数根据输入的指令生成两个校正值。然后，生成的校正值被分别输出给加法器24和加法器27。

此外，分叉的位置指令在减法器22中减去位置反馈，成为位置偏差而被输入到位置控制部23。

位置控制部23处理该位置偏差而生成速度指令，将生成的速度指令输出给速度控制部26。

位置控制部23输出的速度指令在加法器24中，通过前馈补偿器21输出的第一校正(与将速度指令作为标签的监督学习对应的校正值)而被校正，并且，在减法器25中通过速度反馈而被进行减法运算，被输入到速度控制部26。

速度控制部26根据该输入，通过进行比例运算和积分运算这样的速度环处理来生成电流指令，将生成的电流指令输出给控制对象装置300b。

速度控制部26输出的电流指令通过前馈补偿器21输出的第二校正(与将电流指令作为标签的监督学习对应的校正值)而被校正，被输出到控制对象装置300b。控制对象装置300b根据该控制指令进行驱动。

通过这样，在本实施方式中，除了基于前馈补偿器21的两个校正之外，为了抑制干扰等影响而兼并使用参照图5A所说明的位置反馈以及速度反馈。

因此，在第二实施方式中与上述第一实施方式一样，可以使各指令的值为适当的值，能够提升指令跟踪性。此外，该情况下，用户不需要制作作为参考模型的线性模型等，对于用户来说可以简单地进行反馈控制的调整。

另外，由于第二实施方式中的机器学习装置100b的动作与参照图4所说明的第一实施方式中的机器学习装置100a的动作一样，因此省略再次的说明。

以上，对第二实施方式进行了说明。接下来，对变形了上述第一实施方式和第二实施方式而得的第三实施方式进行说明。

<第三实施方式>

参照图7A和图7B对第三实施方式的结构进行说明。这里，图7A是对应于“机器学习时”的附图，图7B是对应于“前馈控制时”的附图。另外，第三实施方式的基本功能和结构与上述第一实施方式和第二实施方式通用，因此，以下省略重复说明，对与第一实施方式和第二实施方式的差异点进行详细说明。

如图7A和图7B所示，本实施方式构成为包含机器学习装置100c、前馈补偿器31、减法器32、位置控制部33、加法器34、减法器35、速度控制部36、加法器37、减法器38、电流控制部39、加法器40、放大器41、控制对象装置300c以及积分器43。

这里，前馈补偿器31、减法器32、位置控制部33、加法器34、减法器35、速度控制部36、加法器37、减法器38、电流控制部39、加法器40、放大器41和积分器43是控制对象装置300c的构成要素。在本实施方式中，作为反馈控制而进行基于电流反馈、速度反馈、将速度反馈积分而生成的位置反馈的反馈控制。另外，与第一实施方式和第二实施方式的伺服控制装置一样，电流反馈、速度反馈以及基于速度反馈的反馈控制本身被本领域技术人员所知晓，因此省略这方面的详细说明。

在第三实施方式中，与第一实施方式一样，在机器学习时不进行前馈控制。因此，在图7A中，通过虚线来表示用于进行前馈控制的前馈补偿器31和与前馈补偿器31连接的信号线不发挥功能。另一方面，在前馈控制时，不进行机器学习。因此，在图7B中通过虚线来表示对机器学习装置100c发送机器学习用信号的信号线不发挥功能。

接下来，参照图7A对本实施方式中的机器学习时的信号流进行说明。首先，从省略了图示的上位装置(例如数值控制装置)向伺服控制装置200c输入用于对控制对象装置300c的驱动进行控制的位置指令。输入的位置指令在减法器32中通过位置反馈而被进行减法运算，位置指令与位置反馈的偏差即位置偏差被输入到位置控制部33。

位置控制部33处理该位置偏差来生成速度指令，将生成的速度指令输出给速度控制部36。另外，如上所述在机器学习时，由于前馈补偿器31不发挥功能，因此速度指令不会在加法器34中被校正。

位置控制部33输出的速度指令在减法器35中通过速度反馈而被进行减法运算，速度指令与速度反馈的偏差即速度偏差被输入到速度控制部36。

速度控制部36根据速度偏差通过进行比例运算和积分运算这样的速度环处理来生成电流指令，将生成的电流指令输出给电流控制部39。另外，如上所述在机器学习时，由于前馈补偿器31不发挥功能，因此电流指令不会在加法器37中被校正。

从速度控制部36输出的电流指令在减法器38中通过电流反馈而被进行减法运算，电流指令与电流反馈的偏差即电流偏差被输入到电流控制部39。

电流控制部39处理该电流偏差来生成电压指令，将生成的电压指令输出给放大器41。另外，如上所述在机器学习时，由于前馈补偿器31不发挥功能，因此电压指令不会在加法器40中被校正。

放大器41根据该电压指令，生成驱动控制对象装置300c的驱动电流，将生成的驱动电流输出给控制对象装置300c。

该驱动电流输入到控制对象装置300c。然后，控制对象装置300c根据输入的驱动电流来进行动作。

在控制对象装置300c的驱动部(伺服电动机)安装有速度检测器，该速度检测器检测出的速度反馈分叉而被分别输出给减法器35和积分器43。在减法器35中，如上所述进行基于速度反馈的减法运算。

此外，在积分器43中，通过对速度反馈进行积分来生成位置反馈，将生成的位置反馈输出给减法器32。在减法器32中，如上所述进行基于位置反馈的减法运算。

如上所述，由于存在驱动控制对象装置300c的负载和干扰等影响，因此在作为目标值的位置指令与作为输出值的位置反馈之间产生位置偏差。因此，如上所述，重复反馈控制以使位置偏差减少。以上是控制对象装置300c的反馈控制的流程。

与该反馈控制并行，从电流控制部39输出的电压指令分叉也被输入到机器学习装置100c。此外，积分器43对速度反馈进行积分而生成的位置反馈也被输出到机器学习装置100c，该速度反馈是根据控制指令而驱动的控制对象装置300c的输出。并且，虽省略了信号线的图示，但是从位置控制部33输出的速度指令分叉而被输入到机器学习装置100c。同样地，虽省略了信号线的图示，但从速度控制部36输出的电流指令分叉而被输入到机器学习装置100c。

然后，机器学习装置100c根据这些输入来进行机器学习。另外，各功能块的功能本身在上述机器学习装置100a和机器学习装置100c之间通用，因此省略重复的说明。

在本实施方式中，输入数据取得部101取得积分器43积分而生成的位置反馈作为输入数据(也称为特征量)。

此外，标签取得部102取得从电流控制部39输出的电压指令、从位置控制部33输出的速度指令、以及从速度控制部36输出的电流指令作为标签。也就是说，在本实施方式中进行使用了多个标签的多标签学习。

这样，作为输入数据的位置反馈与作为标签的电压指令、电流指令以及速度指令的组成为一组，被输入到学习部103。该输入数据与标签的组相当于机器学习中的教师数据。

学习部103根据这样输入的教师数据来进行称为监督学习的机器学习，由此构筑学习模型。这里，监督学习的内容与第一实施方式的说明时一样。另外，在第三实施方式中，推定控制指令生成函数输出部105置换成推定电压指令生成函数输出部107，根据学习模型输出推定电压指令生成函数。第三实施方式的前馈补偿器31根据该推定电压指令生成函数，输出三个校正值作为后述的第一校正、第二校正、第三校正。

接下来，参照图7B对这样进行了机器学习之后进行的前馈控制时的信号流进行说明。

首先，机器学习时一样，用于对控制对象装置300c的驱动进行控制的位置指令从省略了图示的上位装置(例如数值控制装置)输入到伺服控制装置200c。

在前馈控制时，由于前馈补偿器31发挥功能，因此输入的位置指令分叉而被输入到前馈补偿器31。然后，前馈补偿器31根据上述推定控制电压生成函数，根据输入的指令生成三个校正值。然后，生成的校正值分别输出到加法器34、加法器37、加法器40。

此外，分叉的位置指令在减法器32中减去位置反馈，成为位置偏差而被输入到位置控制部33。

位置控制部33处理该位置偏差而生成速度指令，将生成的速度指令输出给速度控制部36。

位置控制部33输出的速度指令在加法器34中通过前馈补偿器31输出的第一校正(与将速度指令作为标签的监督学习对应的校正值)而被校正，然后，在减法器35中通过速度反馈而被进行减法运算，被输入到速度控制部36。

速度控制部36根据该输入，通过进行比例运算和积分运算这样的速度环处理来生成电流指令，对电流控制部39输出生成的电流指令。

速度控制部36输出的电流指令通过前馈补偿器31输出的第二校正(与将电流指令作为标签的监督学习对应的校正值)而被校正，然后，在减法器38中通过电流反馈而被进行减法运算，被输入到电流控制部39。

电流控制部39处理该输入而生成电压指令，对放大器41输出生成的电压指令。

电流控制部39输出的电压指令通过前馈补偿器31输出的第三校正(与将电压指令作为标签的监督学习对应的校正值)而被校正，被输入到放大器41。

放大器41根据该电压指令，生成驱动控制对象装置300c的驱动电流，对控制对象装置300c输出生成的驱动电流。

该驱动电流输入到控制对象装置300c。然后，控制对象装置300c根据输入的驱动电流而进行动作。

通过这样，在本实施方式中，除了基于前馈补偿器31的三个校正之外，为了抑制干扰等影响而一并使用参照图7A所说明的位置反馈、速度反馈以及电流反馈。

因此，在第三实施方式中，与上述第一实施方式和第二实施方式一样，可以使各指令的值为适当值，能够提升指令跟踪性。此外，该情况下用户不需要制作作为参考模型的线性模型等，对于用户来说可以简单地进行前馈控制的调整。

另外，第三实施方式中的机器学习装置100c的动作与参照图4所说明的第一实施方式的机器学习装置100a的动作一样，因此，省略再次的说明。

以上，对本发明的三个实施方式进行了说明。上述各实施方式是本发明的优选实施方式，但并不是将本发明的范围仅定于上述各实施方式，可以在不脱离本发明精神的范围内以施加了各种变更的方式来进行实施。例如，能够以施加了以下所记载那样的变更的方式来进行实施。

<伺服控制装置具有机器学习装置的变形例>

在上述实施方式中，通过与伺服控制装置200分开的装置来构成机器学习装置100，但是也可以通过伺服控制装置200来实现机器学习装置100的功能的一部分或者全部。

<系统结构的自由度>

在上述实施方式中，机器学习装置100与伺服控制装置200作为一对一的组能够通信地连接，但也可以例如一台机器学习装置100与多台伺服控制装置200直接或者经由网络能够通信地连接，实施各伺服控制装置200的机器学习。

此时，作为分散处理系统可以将机器学习装置100的各功能适当分给多个服务器。此外，可以在云上利用虚拟服务器功能来实现机器学习装置100的各功能。

此外，也可以构成为：当存在分别与多个相同型号名称、相同结构、或者相同系列的多个伺服控制装置200对应的多个控制对象装置300时，共享各伺服控制装置200中的学习结果。这样能够构筑更加合适的模型。

<在线学习、批量学习以及小批量学习>

上述学习部103中的监督学习既可以通过在线学习来进行，也可以通过批量学习来进行，还可以通过小批量来进行。

所谓在线学习是如下学习方法：控制对象装置300进行驱动，每当制作教师数据时，立即进行监督学习。此外，所谓批量学习是如下学习方法：控制对象装置300进行驱动，在重复制作教师数据期间，收集与重复对应的多个教师数据，使用收集到的所有教师数据来进行监督学习。并且，所谓小批量学习是如下学习方法：在线学习与批量学习中间的、每当积攒了某种程度教师数据时进行监督学习。

<计划输出的指令>

各实施方式中，从省略了图示的上位装置(例如数值控制装置)向伺服控制装置200输入用于对控制对象装置300的驱动进行控制的指令。这里，该指令是根据组入到上位装置(例如数值控制装置)的加工程序等而生成的指令，通常情况下是实时输出的指令，但是通过预读加工程序，也能够从其中预读计划输出的指令内容。因此，可以利用该计划输出的指令即未来的指令作为监督学习中的输入数据。

<标签以及校正的选择>

在上述第二实施方式以及第三实施方式中，由于认为机器学习的效率好因此进行多标签学习。但是，也可以根据安装各实施方式的状况等，使标签只为一个。例如，在第二实施方式中可以仅使电流指令为标签。此外，例如在第三实施方式中可以仅使电压指令为标签。

并且，在第二实施方式中，如图5B所示，以针对速度指令的校正值(第一校正)和针对电流指令的校正值(第二校正)这两个为输出的方式进行了机器学习，但是也可以以仅某一个为输出的方式来进行机器学习。同样地，在第三实施方式中，如图7B所示，以针对速度指令的校正值(第一校正)、针对电流指令的校正值(第二校正)、针对电压指令的校正值(第三校正)这三个为输出的方式进行了机器学习，但是也可以以任意两个或者仅一个为输出的方式来进行机器学习。

此外，以上说明的各实施方式可以通过硬件、软件或者它们的组合来实现。这里，所谓通过软件来实现表示计算机通过读入程序进行执行从而来实现。在由硬件构成的情况下，例如可以通过LSI(Large Scale Integrated circuit：大规模电子集成电路)、ASIC(Application Specific Integrated Circuit：专用集成电路)、门阵列、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成电路(IC)构成各实施方式的一部分或者全部。

此外，在通过软件与硬件的组合构成各实施方式的一部分或者全部时，在由存储了程序的硬盘、ROM等存储部、存储运算所需的数据的DRAM、CPU、以及连接各部的总线构成的计算机中，可以通过将运算所需的信息存储于DRAM，通过CPU使该程序运行来实现，其中，上述程序描述了流程图所示的伺服控制装置动作的全部或者一部分。

可以使用各种类型的计算机可读介质(computer readable medium)来存储程序并提供给计算机。计算机可读介质包含各种类型的有实体的存储介质(tangible storagemedium)。计算机可读介质的示例包含：磁存储介质(例如，软盘、磁带、硬盘驱动器)、磁-光存储介质(例如，光磁盘)、CD-ROM(Read Only Memory，只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(Programmable ROM，可编程ROM)、EPROM(Erasable PROM，可擦写PROM)、闪存ROM、RAM(random access memory，随机存取存储器))。

符号说明

1 伺服控制系统

11、21、31 前馈补偿器

12、22、25、32、35、38 减法器

13 PI控制部

14、24、27、34、37、40 加法器

23、33 位置控制部

26、36 速度控制部

29、43 积分器

39 电流控制部

41 放大器

100 机器学习装置

101 输入数据取得部

102 标签取得部

103 学习部

104 学习模型存储部

105 推定控制指令生成函数输出部

106 推定电流指令生成函数输出部

107 推定电压指令生成函数输出部

200 伺服控制装置

300 控制对象装置

Claims (8)

1.一种机器学习装置，其特征在于，具有：

标签取得单元，其取得伺服控制装置为了进行控制对象装置的驱动控制而对所述控制对象装置输出控制指令而生成的多个指令分别作为多个标签；

输入数据取得单元，其取得根据所述控制指令而驱动的控制对象装置的输出作为输入数据；以及

学习单元，其将所述多个标签与所述输入数据的组作为教师数据来进行监督学习，由此构筑用于分别校正所述多个指令的前馈控制有关的学习模型，

在将所述控制对象装置的输出作为输入的情况下，所述学习模型将为了输出用于使所述伺服控制装置对所述控制对象装置进行所述输出的控制指令而因此生成的所述多个指令分别作为输出。

2.根据权利要求1所述的机器学习装置，其特征在于，

所述多个指令是速度指令以及电流指令，

所述控制对象装置的输出是位置反馈。

3.根据权利要求1所述的机器学习装置，其特征在于，

所述多个指令是电压指令、速度指令以及电流指令中的某2个以上，

所述控制对象装置的输出是位置反馈。

4.根据权利要求1所述的机器学习装置，其特征在于，

所述标签取得单元作为多个标签而取得的所述多个指令中包含为了输出计划输出给所述控制对象装置的控制指令而生成的多个指令。

5.根据权利要求1～4中任一项所述的机器学习装置，其特征在于，

该机器学习装置还具有：函数输出单元，其根据由所述学习单元构筑出的学习模型来生成函数并将其输出，该函数用于生成所述前馈控制中与多个指令分别对应的多个校正值。

6.一种伺服控制系统，其特征在于，具有：

权利要求5中记载的机器学习装置；以及

伺服控制装置，其具有前馈补偿器，该前馈补偿器根据所述函数输出单元输出的所述函数进行前馈控制。

7.一种伺服控制装置，其特征在于，具有：

权利要求1～4中任一项所述的机器学习装置；

函数输出单元，其根据由所述学习单元构筑出的学习模型来生成函数并将其输出，该函数用于生成所述前馈控制中与多个指令分别对应的多个校正值；以及

前馈补偿器，其根据所述函数输出单元输出的所述函数进行前馈控制。

8.一种计算机进行的机器学习方法，其特征在于，具有如下步骤：

标签取得步骤，取得伺服控制装置为了进行控制对象装置的驱动控制而对所述控制对象装置输出控制指令因此而生成的多个指令分别作为多个标签；

输入数据取得步骤，取得由所述控制指令驱动的控制对象装置的输出作为输入数据；以及

学习模型构筑步骤，将所述多个标签与所述输入数据的组作为教师数据来进行监督学习，由此构筑用于分别校正所述多个指令的前馈控制有关的学习模型，

在将所述控制对象装置的输出作为输入的情况下，所述学习模型将为了输出用于使所述伺服控制装置对所述控制对象装置进行所述输出的控制指令而因此生成的所述多个指令分别作为输出。