CN106560997B

CN106560997B - 机械学习装置以及电动机控制装置

Info

Publication number: CN106560997B
Application number: CN201610819636.8A
Authority: CN
Inventors: 香月恭平
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-09-30
Filing date: 2016-09-12
Publication date: 2021-01-26
Anticipated expiration: 2036-09-12
Also published as: US20170090434A1; JP6457369B2; CN106560997A; DE102016011526B4; JP2017070105A; DE102016011526A1; US10353351B2

Abstract

本发明提供机械学习装置以及电动机控制装置。本发明的一实施例涉及的机械学习装置具有：状态观测部，其对驱动马达的电动机控制部检测出的马达转速、转矩、电流、电压的各值进行观测；马达输出计算部，其从状态观测部观测到的马达转速、转矩、电流、电压的各值来计算马达输出；回报计算部，其根据马达输出来计算回报；以及学习部，其根据马达转速、转矩、电流、电压的各值来更新行为价值表。

Description

机械学习装置以及电动机控制装置

技术领域

本发明涉及机械学习装置以及电动机控制装置，特别是涉及具有自动调整参数的功能的机械学习装置以及电动机控制装置。

背景技术

通过马达控制装置中的各种驱动参数来控制马达，以便取得所希望的输出特性。在现有的马达控制装置中，针对所希望的输出特性，通过手动来进行马达的驱动参数的调整(例如，日本特开2000-270595号公报)。

但是，在基于手动的情况下，存在驱动参数的调整需要耗费较多工时这样的问题。

发明内容

本发明的目的在于提供一种机械学习装置以及电动机控制装置，能够通过机械学习来针对所希望的输出特性自动调整马达的驱动参数。

本发明的一实施例涉及的机械学习装置具有：状态观测部，其对驱动马达的电动机控制部检测出的马达转速、转矩、电流、电压的各值进行观测；马达输出计算部，其从状态观测部观测到的马达转速、转矩、电流、电压的各值来计算马达输出；回报计算部，其根据马达输出来计算回报；以及学习部，其根据马达转速、转矩、电流、电压的各值来更新行为价值表。

本发明的一实施例涉及的机电动机控制装置具有：机械学习装置、电动机控制部。

附图说明

通过与附图相关的以下的实施方式的说明可以明确本发明的目的、特征以及优点。这些图中，

图1是本发明的实施例涉及的机械学习装置的结构图，

图2是表示本发明的实施例涉及的机械学习装置的参数调整前后的马达输出特性的图表，

图3是表示在本发明的实施例涉及的马达驱动装置的机械学习器中使用的神经元模型的示意图，

图4是表示在本发明的实施例涉及的马达驱动装置的机械学习器中使用的三层神经网络模型的示意图，

图5是用于说明本发明的实施例涉及的机械学习装置的动作过程的流程图，

图6A是表示本发明的实施例涉及的机械学习装置的参数调整前的马达输出特性的表，以及

图6B是表示本发明的实施例涉及的机械学习装置的参数调整后的马达输出特性的表。

具体实施方式

以下，参照附图，对本发明涉及的机械学习装置以及电动机控制装置进行说明。

图1是本发明的实施例涉及的机械学习装置的结构图。本发明的实施例涉及的机械学习装置10具有：状态观测部1、马达输出计算部2、回报计算部3以及学习部4。

状态观测部1对驱动马达(未图示)的电动机控制部20检测出的马达转速、转矩、电流、电压的各值进行观测。其中，这些参数是一个示例也可以设为对其他的参数进行观测。

马达输出计算部2从状态观测部1观测到的马达转速、转矩、电流、电压的各值来计算马达输出。能够通过下述的数学式从转矩T[N·m]以及转速N[min^-1]来计算马达输出W[W]。

W＝(2×π×T×N)/60

回报计算部3根据马达输出来计算回报。对于回报的计算方法将在后面进行叙述。

学习部4根据马达转速、转矩、电流、电压的各值来更新行为价值表。对于行为价值表的更新方法将在后面进行叙述。

优选的是，机械学习装置10还具有：意图决定部5，其根据行为价值表来决定最佳的参数。

对回报的计算方法进行说明。作为一个示例，回报计算部3也可以设为：在马达输出超过马达目标输出的规定范围地大或者小时给予负回报，在马达输出处于目标输出的规定范围内时给予正回报。

例如，如图2所示，假设马达转速为1000[min^-1]时的马达输出[kW]超过目标输出的规定范围地过大。该情况下，回报计算部3给予负回报。此外，假设马达转速为2000[min^-1]时的马达输出[kW]超过目标输出的规定范围地过小。该情况下，回报计算部3也给予负回报。另一方面，设为马达转速为3000[min^-1]时的马达输出[kW]适当。该情况下，由于马达输出是目标输出的规定范围内，因此回报计算部3给予正回报。

优选的是，学习部4通过多层结构来运算由状态观测部1观测到的状态变量，并实时地更新行为价值表。这里，作为通过多层结构运算状态变量的方法，例如，可以使用图4所示那样的多层神经网络。

这里，对图1所示的机械学习装置10进行详细说明。机械学习装置10具有如下功能：通过解析而从输入到装置的数据集合中提取出其中有用的规则和知识表现、判断基准等，输出其判断结果，并且进行知识学习。该方法是多种多样的，但是大致分类为“有教师学习”、“无教师学习”、以及“强化学习”。并且，在实现这些方法的基础上，存在对特征量本身的提取进行学习的、称为“深度学习”的方法。

“有教师学习”是通过将某种输入与结果(label)的数据组大量地给予到学习装置，学习这些数据集(data set)中的特征，能够归纳性地获得从输入推定出结果的模型即其相关性。在本实施方式中，能够根据马达转速(+打滑)、马达转矩、马达电流和马达电压的状态观测部1的观测结果以及回报计算部3的回报，来用于参数的变更设定。上述学习能够使用后述的神经网络等算法来实现。

所谓“无教师学习”是如下技术：通过只将输入数据大量地给予到学习装置(机械学习器)，学习输入数据进行怎样的分布，即使不给予对应的教师输出数据，也能学习针对输入数据进行压缩、分类、整形等的装置。能够将处于这些数据集之中的特征聚类于相似者之间等。使用其结果来进行设定某个基准而使其为最佳这样的输出分配，由此，能够实现预测输出。此外，作为“无教师学习”和“有教师学习”中间的问题设定而被称为“半有教师学习”，其对应于如下情况：仅存在一部分输入和输出的数据组，除此之外仅有输入数据。在本实施方式中，在无教师学习中能够利用即使实际上不使风扇马达动作也能够获得的数据来高效地进行学习。

以如下方式来设定强化学习的问题。

·电动机控制部观测环境的状态，决定行为。

·环境按照某种规则进行变化，并且自身行为有时也对环境给予变化。

·每次行为时反馈回来回报信号。

·想要最大化的是到将来的(折扣)回报的总和。

·从完全不知道行为引起的结果或者从只是不完全知道的状态起，开始学习。以电动机控制部实际使马达工作开始，能够将其结果获得为数据。也就是说，需要一边试错一边探索最佳的行为。

·可以将模仿人类动作这样事前学习(上述的称为有教师学习、逆强化学习这样的技术)了的状态设为初始状态，来从较好的开始点起开始学习。

所谓“强化学习”是用于如下学习的方法：不单进行判定和分类，还通过学习行为而在行为给予环境的相互作用基础上学习适当的行为，即，使将来获得的回报最大化。在本实施方式中，其表示能够获得对未来造成影响的行为。例如，以Q学习的情况继续说明，但是并非局限于此。

Q学习是在某种环境状态s下学习选择行为a的价值Q(s、a)的方法。也就是说，在某种状态s时，将价值Q(s、a)最高的行为a选择为最佳行为。但是，最开始对于状态s与行为a的组合来说，完全不知道价值Q(s、a)的正确值。因此，智能体(行为主体)在某种状态s下选择各种各样的行为a，并针对当时的行为a给予回报。由此，智能体继续学习更好的行为选择，即学习正确的价值Q(s、a)。

行为的结果是想要使到将来获得的回报的总和最大化。因此，目标是最终成为Q(s、a)＝E[Σγ^tr_t](回报的折扣期待值。γ：折扣率)(按最佳行为改变状态时得到期望值。当然，由于不知道期望值，因此不得不一边探索一边学习)。这样的价值Q(s、a)的更新式例如可以通过如下数学式来表示。

这里，s_t表示时刻t的环境状态，a_t表示时刻t的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态的变化而得到的回报。此外，带有max的项是：在状态s_t+1下，将γ乘以选择出当时知道的Q值最高的行为a时的Q值。γ是0＜γ≤1的参数，被称为折扣率。α是学习系数，设α的范围为0＜α≤1。

该数学式表示如下方法：根据试行a_t的结果而反馈回来的回报r_t+1，更新状态s_t下的行为a_t的评价值Q(s_t、a_t)。表示了：若回报r_t+1+行为a导致的下一状态下的最佳行为max a的评价值Q(s_t+1、max a_t+1)比状态s下的行为a的评价值Q(s_t、a_t)大，则增大Q(s_t、a_t)，反之如果小，则减小Q(s_t、a_t)。也就是说，使某种状态下的某种行为价值，接近在作为结果即时反馈回来的回报和该行为导致的下一状态下的最佳的行为价值。

Q(s、a)在计算机上的表现方法有以下方法：针对所有的状态行为对(s、a)，将其值保持为表格(行为价值表)的方法、以及准备近似Q(s、a)这样的函数的方法。在后者的方法中，可以通过随机梯度下降法(Stochastic gradient descent method)等方法来调整近似函数的参数来实现上述的更新式。作为近似函数，可以使用后述的神经网络。

作为有教师学习、无教师学习以及强化学习中的价值函数的近似算法，可以使用神经网络。例如由实现模拟了图3所示那样的神经元模型的神经网络的运算装置以及存储器等来构成神经网络。

如图3所示，神经元输出针对多个输入x(这里，作为一个示例，输入x1～输入x3)的输出y。对各输入x₁～x₃乘以与该输入x对应的权值w(w1～w3)。由此，神经元输出由如下数学式表现的输出y。另外，输入x、输出y以及权值w都是向量。

这里，θ是偏置(bias)，f_k是激活函数(activation function)。

接下来，参照图4对具有组合了上述的神经元而得的三层权值的神经网络进行说明。图4是表示具有D1～D3的三层权值的神经网络的示意图。

如图4所示，从神经元网络的左侧输入多个输入x(这里作为一例是输入x1～输入x3)，从右侧输出结果y(这里作为一例，结果y1～结果y3)。

具体来说，输入x1～输入x3乘以对应的权值而被输入到三个神经元N11～N13的每一个。与这些输入相乘的权值统一标记为W1。

神经元N11～N13分别输出Z11～Z13。这些Z11～Z13可以被统一标记为特征向量Z1，看作是提取出输入向量的特征量而得的向量。该特征向量Z1是权值W1与权值W2间的特征向量。

Z11～Z13乘以对应的权值而被输入到两个神经元N21、N22的每一个。与这些特征向量相乘的权值被统一标记为W2。

神经元N21、N22分别输出Z21、Z22。其被统一标记为特征向量Z2。该特征向量Z2是权值W2与权值W3之间的特征向量。

特征向量Z21、Z22乘以对应的权值而被输入到三个神经元N31～N33的每一个。与这些特征向量相乘的权值被统一标记为W3。

最后，神经元N31～N33分别输出结果y1～结果y3。

在神经网络的动作中有学习模式和价值预测模式，在学习模式中使用学习数据集来学习权值W，在预测模式中使用其参数进行风扇马达的行为判断(为了方便而写为预测，但是也可以是检测、分类、推论等多种多样的任务)。

可以是在预测模式下对实际运行马达而获得的数据进行即时学习，并反映到下一行为中(在线学习)。此外，也可以是使用预先收集好的数据组来进行汇总学习，以后一直用该参数进行检测模式(批量学习)。每当积攒了其中间的某种程度数据时，就可以插入学习模式。

可以通过误差反传播法(back propagation)来学习权值W1～W3。误差信息从右侧进入流向左侧。误差反传播法是如下技术：针对各神经元调整(学习)各自的权值使得降低输入了输入x时的输出y与真的输出y(教师)之间的差量。

这样的神经网络还可以在三层以上进一步增加层(称为深层学习)。可以阶段性地进行输入的特征提取，仅从教师数据自动地获得用于反馈结果的运算装置。

因此，本实施方式的机械学习器10为了实施上述的Q学习，如图1所示而具有状态观测部1、学习部4以及意图决定部5。但是，应用于本发明的机械学习方法并不局限于Q学习。例如在应用有教师学习时，价值函数对应于学习模型、回报对应于误差。

如图1所示，在电动机控制部20的状态中存在通过行为而间接变化的状态、和通过行为而直接变化的状态。在通过行为而间接变化的状态中包含马达转速(+打滑)、马达转矩、马达电流、马达电压。在通过行为而直接变化的状态中包含马达输出。

学习部4根据更新式以及回报，从行为价值表中更新对应于当前的状态变量以及要取得的行为的行为价值。

机械学习装置10经由网络与电动机控制部20连接，状态观测部1也可以构成为经由网络取得当前的状态变量。此外，优选的是，机械学习装置10存在于云端服务器。

机械学习装置10也可以内置于控制马达的电动机控制装置。即，也可以设为电动机控制装置具有：机械学习装置10、电动机控制部20。

此外，在图1所示的示例中，示出了如下示例：使用由自己的机械学习装置的学习部更新而得的行为价值表来更新自己的行为价值表，但是并不局限于这样的示例。即，也可以设定为使用由不同于自己的机械学习装置的其他机械学习装置的学习部更新而得的行为价值表来更新自己的行为价值表。

接下来，对本发明的实施例涉及的机械学习装置的动作进行说明。图5是用于说明本发明的实施例涉及的机械学习装置的动作过程的流程图。

首先，在步骤S101中，通过状态观测部1来观测电动机(马达)的各种状态。即，状态观测部1对驱动马达(马达)的电动机控制部20检测出的马达转速、转矩、电流、电压的各值进行观测。

接下来，在步骤S102中，回报计算部3从观测到的状态来计算回报。例如，回报计算部3在马达输出超过马达目标输出的规定范围地大或者小时给予负回报，在处于马达目标输出的规定范围内时给予正回报。

接下来，在步骤S103中，学习部4从观测到的状态和回报学习行为价值。

接下来，在步骤S104中，根据状态以及行为价值，通过意图决定部5决定最佳的参数(行为)。例如，决定用于取得所希望的马达输出特性的驱动参数(马达转速、转矩、电流、电压的各值)。

接下来，在步骤S105中，通过参数(行为)状态发生变化。即，电动机控制部20实现所希望的马达输出。

如上所述，通过行为而直接变化的状态即马达输出达到目标值。通过本发明图6A以及图6B表示驱动参数的调整例。图6A以及图6B分别是表示本发明的实施例涉及的机械学习装置的参数的调整前后的马达输出特性的表。图6A表示在将特定的参数值设为调整前参数即100(标准设定)时的转速、转矩、电压、电流、打滑、输入、输出、损失、LM、效率、功率因数、电源电压、温度的各值。图6B表示将特定的参数值调整为105时的上述各值。

从图6A以及图6B可以明确，通过将特定的参数从100变化为105，能够将输出从44.39[kW]调整为41.28[kW]。根据本发明，能够通过机械学习自动地进行这样的调整。

如上所述，根据本发明的实施例涉及的机械学习装置以及电动机控制装置，能够通过机械学习，针对所希望的输出特性自动调整马达的驱动参数，能够削减参数调整的工时。

Claims

1.一种机械学习装置，其特征在于，所述机械学习装置具有：

状态观测部，其对驱动马达的电动机控制部检测出的马达转速、转矩、电流、电压进行观测；

马达输出计算部，其从所述状态观测部观测到的马达转速、转矩、电流、电压来计算每单位时间所述马达进行的做功即马达输出；

回报计算部，其根据所述马达输出来计算回报；

学习部，其根据所述马达转速、转矩、电流、电压以及所述回报来更新行为价值表；

意图决定部，其根据所述行为价值表来决定最佳的所述马达转速、转矩、电流、电压，

所述回报计算部在所述马达输出超过马达目标输出的规定范围地大或者小时给予负回报，在处于马达目标输出的规定范围内时给予正回报，

所述学习部通过多层结构来运算由所述状态观测部观测到的作为所述马达转速、转矩、电流、电压的状态变量，并实时地更新所述行为价值表。

2.根据权利要求1所述的机械学习装置，其特征在于，

使用由其他机械学习装置的学习部更新而得的行为价值表来更新自己的所述行为价值表。

3.一种电动机控制装置，其特征在于，所述电动机控制装置具有：

权利要求1或2所述的机械学习装置；以及

所述电动机控制部。