CN106557815A

CN106557815A - 机械学习装置以及电动机用磁化装置

Info

Publication number: CN106557815A
Application number: CN201610814056.XA
Authority: CN
Inventors: 舟久保诚
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-09-30
Filing date: 2016-09-09
Publication date: 2017-04-05
Anticipated expiration: 2036-09-09
Also published as: US10061276B2; JP6140236B2; CN106557815B; DE102016011524A1; US20170090432A1; JP2017069435A

Abstract

本发明提供一种机械学习装置以及电动机用磁化装置。本发明的一实施例涉及的机械学习装置具有：状态观测部，其对具有磁轭和绕组部的磁化器的绕组温度、绕组电阻值、电流值、转子磁通密度进行观测；回报计算部，其从由状态观测部取得的转子磁通密度来计算回报；以及学习部，其根据从转子磁通密度和作为目标的磁通密度计算出的磁化率、绕组温度、绕组电阻值来更新行为价值表。

Description

机械学习装置以及电动机用磁化装置

技术领域

本发明涉及机械学习装置以及电动机用磁化装置，特别是涉及具有如下功能的机械学习装置以及电动机用磁化装置：决定电压指令使得流过用于获得所希望的磁化率的最佳电流。

背景技术

为了进行永久磁铁的磁化，需要给予到达磁铁元件具有的最大磁通密度的饱和点的强度的磁场，为此使用了磁化器。磁化器具有产生用于使磁铁元件获得磁性的磁场的磁轭(Magnetizing yoke)和绕组部。作为磁化器的一例已知有如下电容器式磁化器：通过对电容器进行充电，将蓄积于电容器的能量释放到磁轭从而产生强磁场。

图1表示现有的磁化器的电路的示例(例如，日本特开2006-173447号公报)。现有的磁化器具有：相位控制电路1001，其控制交流电压的相位；升压变压器1002，其对电压进行升压；整流电路1003，其对升压电压进行整流；充电电容器C₁，其通过整流而得的电压而被充电；作为磁化用开关元件的SCR₁，其与充电电容器C₁并联连接；以及磁化绕组L₁。在现有的磁化器中，通过利用触发脉冲使SCR₁导通，从而向磁化绕组L₁供给磁化电流。自充电电容器C₁的充电电压为零的时刻起通过产生于磁化绕组L₁的反电动势使得循环电流流经续流二极管D₁。通过续流二极管D₁的循环电流来避免绕组发热，从而再生反电动势能量。

此外，在使用现有的磁化器来对作为磁铁元件的转子进行磁化时，以一定电压流过电流。但是，在多次连续地进行转子磁化时，构成磁化器的磁化绕组的铜线缓缓地升温造成电阻值增加，流经磁化绕组的电流减少。该结果存在如下问题：转子的磁化率降低，难以维持高磁化率。并且，由于转子的磁化率降低，从而产生了马达转矩减少这样的问题。

发明内容

本发明的目的在于，提供一种提升转子的制造品质的稳定性并且提升电动机的转矩的稳定性的磁化器。

本发明的一实施例涉及的机械学习装置，其特征在于，具有：状态观测部，其对具有磁轭和绕组部的磁化器的绕组温度、绕组电阻值、电流值、转子磁通密度进行观测；回报计算部，其从由状态观测部取得的转子磁通密度来计算回报；以及学习部，其根据从转子磁通密度和作为目标的磁通密度计算出的磁化率、绕组温度、绕组电阻值来更新行为价值表。

本发明的一实施例涉及的电动机用磁化装置，其特征在于，具有：上述机械学习装置、以及具有磁轭和绕组部的磁化器。

附图说明

通过与附图相关的以下的实施方式的说明可以明确本发明的目的、特征以及优点。这些图中，

图1是现有的磁化器的电路图，

图2是本发明的实施例涉及的机械学习装置的结构图，

图3是表示神经元的模型的示意图，

图4是表示三层神经网络模型的示意图，

图5是用于说明本发明的实施例涉及的机械学习装置的动作工序的流程图，

图6A是表示使用本发明的实施例涉及的机械学习装置前的磁化率的变化的图表，以及

图6B是表示使用了本发明的实施例涉及的机械学习装置后的磁化率的变化的图表。

具体实施方式

以下，参照附图，对本发明涉及的机械学习装置以及电动机用磁化装置进行说明。

图2是本发明的实施例涉及的机械学习装置的结构图。本发明的实施例涉及的机械学习装置10具有：状态观测部1、回报计算部2以及学习部3。

状态观测部1对具有磁轭和绕组部的磁化器20的绕组温度、绕组电阻值、电流值、转子磁通密度进行观测。其中，这些参数是一个示例也可以设为对其他的参数进行观测。

回报计算部2从由状态观测部1取得的转子磁通密度来计算回报。对于回报的计算方法在后面进行叙述。

学习部3根据从转子磁通密度和设为目标的磁通密度计算的磁化率、绕组温度、绕组电阻值来更新行为价值表。关于行为价值表的更新方法将在后面进行叙述。

优选的是，机械学习装置10还具有：意图决定部4，其根据学习部3的行为价值表来决定电压指令值。

在本实施例中，并非将绕组电阻值R设为恒定，而是在磁化器20中根据检测出的绕组温度Ta使绕组电阻值发生变化来修正绕组电阻值R。修正后的绕组电阻值R_a通过以下的铜线的电阻式来求出。

R_a＝(234.5+T_a)/(234.5+T₀)×R₀

其中，R₀[Ω]是基准温度T₀[℃]中的基准电阻值，234.5是铜的温度系数。在本实施例中，修正绕组电阻值R_a用作决定用于取得所希望的磁通密度的电流的电阻值。

接下来，对回报的计算方法进行说明。作为一个示例，回报计算部2可以设为：在磁化率超过作为目标的磁化率的规定范围地大或者小时给予负回报，在磁化率处于作为目标的磁化率的规定范围内时给予正回报。例如，将作为目标的磁化率的规定范围假设为95～100％。此时，如果所取得的磁化率是90％，由于处于作为目标的磁化率的规定范围外，因此回报计算部2给予负回报。另一方面，如果所取得的磁化率是98％，由于处于作为目标的磁化率的规定范围内，因此回报计算部2给予正回报。

优选的是，学习部3通过多层结构来运算由状态观测部1观测到的状态变量，并实时地更新行为价值表。这里，作为通过多层结构运算状态变量的方法，例如，可以使用图4所示那样的多层神经网络。

这里，对图2所示的机械学习装置10进行详细说明。机械学习装置10具有如下功能：通过解析从输入到装置的数据集合中提取出其中有用的规则和知识表现、判断基准等，输出其判断结果，并且进行知识学习。该方法是多种多样的，但是大致分类为“有教师学习”、“无教师学习”、“强化学习”。并且，在实现这些方法的基础上，存在对特征量本身的提取进行学习的、称为“深度学习”的方法。

“有教师学习”是通过将某种输入与结果(label)的数据组大量地给予到学习装置，学习这些数据集(data set)中的特征，能够归纳性地获得从输入推定出结果的模型即其相关性。在本实施方式中，能够用于从绕组电阻值和绕组温度来推定出磁化率的部分等。能够使用后述的神经网络等算法来实现。

所谓“无教师学习”是如下技术：通过只将输入数据大量地给予到学习装置，学习输入数据进行怎样的分布，即使不给予对应的教师输出数据，也能学习针对输入数据进行压缩、分类、整形等的装置。能够将处于这些数据集之中的特征聚类于相似者之间等。使用其结果来进行设定某个基准而使其为最佳这样的输出分配，由此，能够实现预测输出。此外，作为“无教师学习”和“有教师学习”中间的问题设定而被称为“半有教师学习”，其对应于如下情况：仅存在一部分输入和输出的数据组，除此之外仅有输入数据。在本实施方式中，在无教师学习中能够利用即使实际上不使磁化器动作也能够获得的数据来高效地进行学习。

以如下方式来设定强化学习的问题。

·磁化器观测环境的状态，决定行为。

·环境按照某种规则进行变化，并且自身行为有时也对环境给予变化。

·每次进行行为时反馈回来回报信号。

·想要最大化的是到将来的(折扣)回报的总和。

·从完全不知道行为引起的结果或者从只是不完全知道的状态起，开始学习。以磁化器实际动作开始，能够将其结果获得为数据。也就是说，需要一边试错一边探索最佳的行为。

·可以将例如模仿人类动作这样事前学习(上述的称为有教师学习、逆强化学习这样的技术)了的状态设为初始状态，来从较好的开始点起开始学习。

所谓“强化学习”是用于如下学习的方法：不单进行判定和分类，还通过学习行为而在行为给予环境的相互作用基础上学习适当的行为，即，使将来获得的回报最大化。在本实施方式中，其表示能够获得对未来造成影响的行为。例如，以Q学习的情况继续说明，但是并非局限于此。

Q学习是在某种环境状态s下学习选择行为a的价值Q(s、a)的方法。也就是说，在某种状态s时，将价值Q(s、a)最高的行为a选择为最佳行为。但是，最开始对于状态s与行为a的组合来说，完全不知道价值Q(s、a)的正确值。因此，智能体(行为主体)在某种状态s下选择各种各样的行为a，并针对当时的行为a给予回报。由此，智能体继续学习更好的行为选择，即学习正确的价值Q(s、a)。

行为的结果是想要使到将来获得的回报的总和最大化，所以目标是最终成为Q(s、a)＝E[Σγ^tr_t](按最佳行为改变状态时得到期望值。当然，由于不知道期望值，因此不得不一边探索一边学习)。这样的价值Q(s、a)的更新式例如可以通过如下数学式来表示。

这里，s_t表示时刻t的环境状态，a_t表示时刻t的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态的变化而得到的回报。此外，带有max的项是：在状态s_t+1下，将γ乘以选择出当时知道的Q值最高的行为a时的Q值。γ是0＜γ≤1的参数，被称为折扣率。α是学习系数，设α的范围为0＜α≤1。

该数学式表示如下方法：根据试行a_t的结果而反馈回来的回报r_t+1，更新状态s_t下的行为a_t的评价值Q(s、a)。表示了：若回报r_t+1+行为a导致的下一状态下的最佳行为max a的评价值Q(s_t+1、max a_t+1)比状态s下的行为a的评价值Q(s_t、a_t)大，则增大Q(s_t、a_t)，反之如果小，则减小Q(s_t、a_t)。也就是说，使某种状态下的某种行为价值，接近在作为结果即时反馈回来的回报和该行为导致的下一状态下的最佳的行为价值。

Q(s、a)在计算机上的表现方法有以下方法：针对所有的状态行为对(s、a)，将其值保存为表格(行为价值表)的方法、以及准备近似Q(s、a)这样的函数的方法。在后者的方法中，可以通过随机梯度下降法(Stochastic gradient descent method)等方法来调整近似函数的参数来实现上述的更新式。作为近似函数，可以使用后述的神经网络。

作为有教师学习、无教师学习以及强化学习中的价值函数的近似算法，可以使用神经网络。例如由实现模拟了图3所示那样的神经元模型的神经网络的运算装置以及存储器等来构成神经网络。图3是表示神经元模型的示意图。

如图3所示，神经元输出针对多个输入x(这里，作为一个示例，输入x1～输入x3)的输出y。对各输入x₁～x₃乘以与该输入x对应的权值W(W1～W3)。由此，神经元输出由如下数学式表现的输出y。另外，输入x、输出y以及权值W都是向量。

这里，θ是偏置(bias)，f_k是激活函数(activation function)。

接下来，参照图4对具有组合了上述的神经元而得的三层权值的神经网络进行说明。图4是表示具有D1～D3的三层权值的神经网络的示意图。

如图4所示，从神经元网络的左侧输入多个输入x(这里作为一例是输入x1～输入x3)，从右侧输出结果y(这里作为一例，结果y1～结果y3)。

具体来说，输入x1～输入x3乘以对应的权值而被输入到三个神经元N11～N13的每一个。与这些输入相乘的权值统一标记为W1。

神经元N11～N13分别输出Z11～Z13。这些Z11～Z13可以被统一标记为特征向量Z1，看作是提取出输入向量的特征量而得的向量。该特征向量Z1是权值W1与权值W2间的特征向量。

Z11～Z13乘以对应的权值而被输入到两个神经元N21、N22的每一个。与这些特征向量相乘的权值被统一标记为W2。

神经元N21、N22分别输出Z21、Z22。其被统一标记为特征向量Z2。该特征向量Z2是权值W2与权值W3之间的特征向量。

特征向量Z21、Z22乘以对应的权值而被输入到三个神经元N31～N33的每一个。与这些特征向量相乘的权值被统一标记为W3。

最后，神经元N31～N33分别输出结果y1～结果y3。

在神经网络的动作中有学习模式和价值预测模式，在学习模式中使用学习数据集来学习权值W，在预测模式中使用其参数进行磁化器的行为判断(为了方便而写为预测，但是也可以是检测、分类、推论等多种多样的任务)。

可以是在预测模式下对实际运行磁化器而获得的数据进行即时学习，并反映到下一行为中(在线学习)，也可以是使用预先收集好的数据组来进行汇总学习，以后一直用该参数进行检测模式(批量学习)。每当积攒了其中间的某种程度数据时，就可以插入学习模式。

可以通过误差反传播法(back propagation)来学习权值W1～W3。误差信息从右侧进入流向左侧。误差反传播法是如下技术：针对各神经元调整(学习)各自的权值使得降低输入了输入x时的输出y与真的输出y(教师)之间的差量。

这样的神经网络还可以在三层以上进一步增加层(称为深层学习)。可以阶段性地进行输入的特征提取，仅从教师数据自动地获得用于反馈结果的运算装置。

因此，本实施方式的机械学习装置10为了实施上述的Q学习，如图2所示而具有状态观测部1、学习部3以及意图决定部4。但是，应用于本发明的机械学习方法并不局限于Q学习。例如在应用有教师学习时，价值函数对应于学习模型、回报对应于误差。

如图2所示，在磁化器20的状态中存在通过行为而间接变化的状态、和通过行为而直接变化的状态。在通过行为而间接变化的状态中包含绕组电阻值、绕组温度、磁化率。在通过行为而直接变化的状态中包含电流值。

学习部3根据更新式以及回报，从行为价值表中更新对应于当前的状态变量以及要取得的行为的行为价值。

机械学习装置10经由网络与磁化器20连接，状态观测部1可以构成为经由网络取得当前的状态变量。此外，优选的是，机械学习装置10存在于云端服务器。

机械学习装置10也可以内置于电动机用磁化装置。即，也可以设为电动机用磁化装置具备：机械学习装置10、具有磁轭和绕组部的磁化器20。

此外，在图2所示的示例中，示出了如下示例：使用由自己的机械学习装置的学习部更新而得的行为价值表来更新自己的行为价值表，但是并不局限于这样的示例。即，也可以设定为使用由不同于自己的机械学习装置的其他机械学习装置的学习部更新而得的行为价值表来更新自己的行为价值表。

接下来，对本发明的实施例涉及的机械学习装置的动作进行说明。图5是用于说明本发明的实施例涉及的机械学习装置的动作工序的流程图。

首先，在步骤S101中，通过状态观测部1来观测磁化器20的各种状态。即，状态观测部1对磁化器20检测出的绕组温度、绕组电阻值、电流值、转子磁通密度进行观测。

接下来，在步骤S102中，回报计算部2从观测到的状态来计算回报。例如，回报计算部2在磁化率是作为目标的磁化率的规定范围外时给予负回报，在磁化率处于作为目标的磁化率的规定范围内时给予正回报。

接下来，在步骤S103中，学习部3从观测到的状态和回报来学习行为价值。

接下来，在步骤S104中，根据状态以及行为价值，通过意图决定部4决定最佳的参数(行为)。例如，决定用于取得所希望的磁化率的参数(绕组温度、绕组电阻值、电流值)。

接下来，在步骤S105中，通过参数(行为)状态发生变化。即，磁化器20决定如下电压指令：产生用于取得所希望的磁化率的电流值。

如上所述，通过行为而直接变化的状态即磁化率达到目标值。图6A以及图6B表示本发明涉及的参数的调整例。图6A以及图6B分别是表示本发明的实施例涉及的机械学习装置的参数的调整前后的磁化率的特性的图表。图6A表示在调整参数值之前，制造多个样本时的电压、电流、磁化率的推移。图6B表示在通过本发明调整了参数的值时，制造多个样本时的电压、电流、磁化率的推移。另外，纵轴是任意刻度。

如图6A所示，在不调整参数时，随着样本数增加电流降低，磁化率减少。这是因为随着样本数增加绕组温度升高，构成绕组的铜线的电阻增大，在将电压设为一定时流经绕组的电流减少。

另一方面，根据本发明的实施例涉及的电动机用磁化装置，考虑到随着样本数增加而升高的铜线电阻，调整电压指令使得取得磁化率在目标规定范围这样的电流值，因此，能够提升磁化率的稳定性。

如以上说明那样，根据本发明的实施例涉及的机械学习装置以及电动机用磁化装置，通过机械学习，针对所希望的磁化率，能够自动调整磁化器的参数，能够提升磁化率的稳定性。

根据本发明的一实施例涉及的机械学习装置以及电动机用磁化装置，可以提供一种能够提升转子的制造品质的稳定性并且能够提升电动机的转矩的稳定性的磁化器。

Claims

1.一种机械学习装置，其特征在于，

所述机械学习装置具有：状态观测部，其对具有磁轭和绕组部的磁化器的绕组温度、绕组电阻值、电流值、转子磁通密度进行观测；

回报计算部，其从由所述状态观测部取得的所述转子磁通密度来计算回报；以及

学习部，其根据从所述转子磁通密度和作为目标的磁通密度计算出的磁化率、所述绕组温度、所述绕组电阻值来更新行为价值表。

2.根据权利要求1所述的机械学习装置，其特征在于，

所述机械学习装置还具有：意图决定部，其根据所述学习部的行为价值表来决定电压指令值。

3.根据权利要求1或2所述的机械学习装置，其特征在于，

所述学习部通过多层结构来运算由所述状态观测部观测到的状态变量，并实时地更新所述行为价值表。

4.根据权利要求1～3中任一项所述的机械学习装置，其特征在于，

使用由其他机械学习装置的学习部更新而得的行为价值表来更新自己的行为价值表。

5.一种电动机用磁化装置，其特征在于，所述电动机用磁化装置具有：

权利要求1～4中任一项所述的机械学习装置；以及

具有磁轭和绕组部的磁化器。