CN106557816A - 具备机械学习器以及组装试验器的生产设备 - Google Patents

Abstract

本发明涉及一种具备机械学习器以及组装试验器的生产设备。本发明一个实施例的生产设备是具备机械学习器、组装试验器的生产设备，组装试验器从特性不同的多个部件群中选择多个部件，使用所选择的多个部件进行产品的组装，进行组装后的产品的试验，机械学习器具备：状态观测部，其观测产品的试验结果和关于多个部件群的按照部件的特性的库存量；回报计算部，其根据试验的结果以及库存量来计算回报；人工智能部，其根据状态观测部的观测结果以及回报计算部的回报来判断行为的价值；以及意图决定部，其根据人工智能部的判断结果，从多个部件群选择用于下一次产品的组装的多个部件。

Description

具备机械学习器以及组装试验器的生产设备

技术领域

本发明涉及一种具备机械学习器以及组装试验器的生产设备，特别涉及一种具有以下功能的具备机械学习器以及组装试验器的生产设备，即，以使利用多个部件组装的产品的性能接近目标值并且按照部件的特性的部件的库存量的失衡变小的方式生产产品。

背景技术

已知一种电动机的组装装置(例如日本特开2003-324909号公报)，使组装工序的大多数自动化，生产率和质量的稳定性良好、能够大量生产低成本的电动机。

在现有的电动机和电动机驱动装置等的组装装置中，多个部件的选择本身通过人工来进行。多个部件各自的特性中具有误差，根据多个部件的误差决定产品的特性。因此，如果随机地选择部件并组装的话，则会有完成后的产品的特性成为每个部件的特性的和的问题。进一步，会有人工进行的部件的分选会需要很多的劳力和时间的问题。

发明内容

本发明的目的在于提供一种不花费人工的工时而生产电路特性的波动少的产品的生产设备。

本发明一个实施例的生产设备是具备机械学习器、组装试验器的生产设备，从特性不同的多个部件群中选择多个部件，使用所选择的多个部件进行产品的组装，进行组装后的产品的试验，机械学习器具备：状态观测部，其观测产品的试验结果和关于多个部件群的按照部件的特性的库存量；回报计算部，其根据试验结果以及库存量来计算回报；人工智能部，其根据状态观测部中的观测结果以及回报计算部中的回报来判断行为的价值；以及意图决定部，其根据人工智能部中的判断结果，从多个部件群选择下一次产品的组装所使用的多个部件。

附图说明

通过与附图关联的以下实施方式的说明，能够更加明确本发明的目的、特征以及优点。在附图中：

图1是本发明实施例的生产设备的结构图。

图2是使用本发明实施例的生产设备从多个部件群选择多个部件来生产电路的工序的概念图。

图3是表示神经元的模型的示意图。

图4是表示3层神经网络模型的示意图。

图5是用于说明本发明实施例的生产设备的动作步骤的流程图。

具体实施方式

以下，参照附图说明本发明的生产设备。

图1是本发明实施例的生产设备的结构图。本发明实施例的生产设备100具备机械学习器10、组装试验器20。机械学习器10具备状态观测部1、回报计算部2、人工智能部(以下也称为“学习部”)3以及意图决定部4。

图2是使用本发明实施例的生产设备从多个部件群选择多个部件来生产电路的工序的概念图。组装试验器20从特性不同的多个部件群(A1、A2、A3、B1、B2、B3)中选择多个部件(11、12)，使用选择出的多个部件(11、12)来进行产品200的组装，进行组装后的产品的试验。

作为部件的特性，能够例举部件的电阻值等的误差，但是不限于这些。例如，部件的特性可以是电压等电气特性，也可以是尺寸等机械特性。

图2中，从部件A第一批次A1到部件A第三批次A3的3个批次选择部件A(11)。同样，从部件B第一批次B1到部件B到第三批次B3的3个批次选择部件B(12)。但是，批次数不限于这个例子，可以是2个或4个以上。

另外，各个批次中包括特性大致均一的多个部件。例如，部件A第一批次A1中包括与部件特性的基准值的误差是+1％左右的1000个部件，部件A第二批次A2包括与部件特性的基准值的误差是+0.5％左右的1000个部件。同样，例如部件B第一批次B1中包括与部件特性的基准值的误差是+0.5％的700个部件，部件B第二批次B2包括与部件特性的基准值的误差是-1％的700个部件。但是，上述部件的种类、批次数、各个批次中包括的部件数、各个批次的部件的特性等是一例，不限于该例子。

如图2所示，生产设备100例如从部件A的第一批次A1选择一个部件A(11)，从部件B的第二批次B2选择一个部件B(12)，生产产品(电路)200。此时，如果部件A的第一批次A1中包括的多个部件的特性的误差是+1％，部件B的第二批次B2中包括的多个部件的特性的误差是-1％，则考虑产品200的性能即与电路输出的目标值的误差为±0％。

一般在由几十～几百个部件构成的电路中，部件误差的和表现为电路输出的误差。在使用每个批次中误差有偏差的部件组装电路时，希望尽量将电路输出设为“误差±0％”。另一方面，希望避免误差大的批次没有被使用而一直留下的情况。

因此，本发明实施例的生产设备进行学习，使得能够很好地使用部件，使电路输出接近±0％，同时避免与特性基准值的误差有偏差的批次作为库存而被留下。机械学习器10最初不知道各个部件的各个批次的误差是多少，但是，通过测量被组合后的电路输出，学习各个批次的误差。为了使电路输出接近误差0％，要优先使用误差小的批次。但是，当误差大的批次作为库存而留下时降低回报，由此使每个特性的部件的库存没有失衡。

状态观测部1观测产品200的试验结果和关于多个部件群(A1、A2、A3、B1、B2、B3)的按照部件的特性的库存量。作为产品200的试验结果的例子，在作为部件A(11)而从部件A的部件群即部件A第一批次A1(误差+1％)选择1个部件，作为部件B(12)而从部件B的部件群即部件B第一批次B1(误差+0.5％)选择1个部件时，认为产品200的性能误差为1.5％左右。另外，作为按照部件的特性的库存量的例子，如果假设部件A第一批次A1中当初包括1000个部件，则在使用了100个部件后，部件特性为误差+1％的部件的库存量为900个。

回报计算部2根据试验结果以及库存量计算回报。回报的计算方法将在后面进行说明。

人工智能部(学习部)3根据状态观察部的观测结果以及回报计算部2的回报来判断行为的价值。行为价值的判断方法将在后面进行说明。

意图决定部4根据人工智能部3的判断结果，从多个部件群(A1、A2、A3、B1、B2、B3)选择下一次产品组装所使用的多个部件(部件A、部件B)

接着，说明回报的计算方法。作为一例，试验结果即产品200的性能越接近目标值，回报计算部2可以计算越高的回报，库存量按照部件特性越失衡，回报计算部2可以计算越低的回报。例如，关于试验结果，将作为目标的性能误差设为±0％。此时，如果得到的产品的误差为+0.5％，则能够赋予比+1％的情况更高的回报。另外，当得到的产品的误差超过预定的值(例如2％)时，可以赋予负的回报。另一方面，关于库存量，当部件A第一批次A1、部件A第二批次A2、部件A第三批次A3的各个库存量的失衡、即各个批次内的部件库存量的最大个数和最小个数的差为20个时，能够赋予比10的情况更低的回报。另外，产品的特性可以是电压等电气特性，也可以是尺寸等机械特性。

人工智能部3最好通过多层构造运算由状态观测部1观测到的状态变量，实时地更新用于判断行为价值的行为价值表。这里，作为通过多层结构运算状态变量的方法，例如能够使用图4所示的多层神经网络。

这里，详细地说明图1所示的机械学习器10。机械学习器10具有以下功能，即通过分析从输入到装置中的数据集合提取其中某个有用的规则、知识表现、判断基准等，输出其判断结果，并且进行知识的学习。该方法各种各样，但是可以大致区分为“有教师学习”、“无教师学习”以及“强化学习”。还存在被称为“深层学习”的方法，即在实现这些方法的基础上，学习特征量本身的提取。

“有教师学习”能够通过将某个输入和结果(标签)的数据组大量地赋予学习装置，归纳地获得学习在这些数据组中的特征，并根据输入推定结果的模型即其关系性。在本实施方式中，能够用于根据产品的试验结果以及部件的按照特性的库存量的失衡即状态观测部中的观测结果以及回报计算部中的回报，推定下一次组装所使用的各个部件批次的部分等。能够使用后述的神经网络等算法来实现。

“无教师学习”是一种通过将输入数据大量地赋予学习装置，学习输入数据有怎样的分布，并且即使不赋予相应的教师输出数据也学习对输入数据进行压缩、分类、整形等的装置的方法。能够将这些数据组中的特征在相似者之间进行聚类。使用其结果制定某种基准并进行使其为最佳的输出分配，由此能够实现输出的预测。另外，作为“无教师学习”和“有教师学习”之间的中间问题设定，有称为“半有教师学习”的方法，这是指仅存在一部分输入和输出的数据组，除此之外，仅是输入的数据的情况与其相当。在本实施方式中，通过无教师学习使用即使组装试验器没有实际动作也能够取得的数据，能够高效地进行学习。

如以下那样设定强化学习的问题。

●组装试验器观测环境的状态，决定行为。

●环境按照某种规则变化，进而自己的行为有时也赋予环境变化。

●每次行为时回报信号都返回来。

●要最大化的是将来的(折扣)回报的合计。

●从完全不知道行为引起的结果的状态、或不完全知道的状态开始学习。组装试验器开始实际进行动作，能够将该结果作为数据而得到。即，需要一边试错一边探索最佳的行为。

●为了模仿人的动作能够将事先学习(上述的有教师学习、逆强化学习的方法)的状态设为初始状态，从好的开始地点开始学习。

“强化学习”是指不仅是判定和分类，还通过学习行为，基于对环境赋予行为的相互作用来学习适当的行为，即为了使将来得到的回报最大而进行学习的方法。该情况表示在本实施方式中能够获得影响未来的行为。例如在Q学习的情况下继续说明，但是不限于这些。

Q学习是在某个环境状态s下，学习选择行为“a”的价值Q(s，a)的方法。即，将某个状态“s”时价值Q(s，a)最高的行为“a”选择为最佳的行为既可。但是，最初关于状态“s”和行为“a”的组合，完全不知道价值Q(s，a)的正确值。因此智能体(行为主体)在某个状态“s”下选择各种行为“a”，对此时的行为“a”赋予回报。从而，智能体学习更好的行为的选择，即正确的价值Q(s，a)。

想要将行为的结果、将来得到的回报的合计最大化。因此，以最终成为Q(s，a)＝E[∑γ^tr_t](回报的折扣期待值。γ：折扣率)为目标(在按照最佳行为，状态发生了变化时取得期待值。当然，因为不知道，所以必需一边探索一边学习)。关于这种价值Q(s，a)的更新式，例如能够通过以下公式表示。

这里，s_t表示时刻t的环境的状态，a_t表示时刻t的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态的变化而得到的回报。另外，带有max的项是对在状态s_t+1下选择了与此时知道的最高Q值的行为a时的Q值乘以γ得到的。γ是0<γ≤1的参数，称为折扣率。α是学习系数，设为0<α≤1的范围。

该公式表示根据试行a_t结果返回的回报r_t+1来更新状态s_t的行为a_t的评价值Q(s_t，a_t)的方法。如果与状态s的行为a的评价值Q(s_t，a_t)相比，回报r_t+1+行为a的下一个状态的最佳行为max a的评价值Q(s_t+1，max a_t+1)大，则Q(s_t，a_t)变大，相反如果评价值Q(s_t+1，maxa_t+1)小，则Q(s_t，a_t)也变小。即，使某个状态中的某个行为的价值接近作为结果立刻返回的回报、基于该行为的下一个状态中的最佳行为的价值。

关于Q(s，a)在计算机上的表现方法，有针对所有的状态行为对(s，a)将该值保持为表(行为价值表)的方法、准备近似Q(s，a)的函数的方法。在后一个方法中，能够通过随机梯度下降法等方法调整近似函数的参数来实现上述的更新式。作为近似函数能够使用后述的神经网络。

作为有教师学习、无教师学习以及强化学习的价值函数的近似算法，能够使用神经网络。神经网络由实现模仿了例如图3所示的神经元的模型的神经网络的运算装置以及存储器等构成。图3是表示神经元的模型的示意图。

如图3所示，神经元输出针对多个输入x(这里作为一例，输入x₁～输入x₃)的输出y。将与该输入x对应的权重值w(w₁～w₃)乘以各个输入x₁～x₃。这样，神经元输出通过以下公式表现的输出y。另外，输入x、输出y以及权重值w全都是向量。

这里，θ是偏置(bias)，f_k是激活函数。

接着，参照图4说明关于具有将上述神经元进行组合后的3层权重值的神经网络。图4是表示具有D1～D3的3层权重值的神经网络的示意图。

如图4所示，从神经网络的左侧输入多个输入x(这里作为一例，输入x₁～输入x₃)，从右侧输出结果y(这里作为一例，结果y₁～结果y₃)。

具体地说，输入x₁～输入x₃被分别乘以相应的权重值后向三个神经元N11～N13输入。对这些输入乘以的权重值被汇总后标记为W1。

神经元N11～N13分别输出Z11～Z13。将这些Z11～Z13汇总后标记为特征向量Z1，并能够视为提取出输入向量的特征量后的向量。该特征向量Z1是权重值W1和权重值W2之间的特征向量。

Z11～Z13被分别乘以对应的权重值后向2个神经元N21、N22输入。与这些特征向量相乘的权重值被统一标记为W2。

神经元N21、N22分别输出Z21、Z22。他们被汇总后标记为特征向量Z2。该特征向量Z2是权重值W2和权重值W3之间的特征向量。

特征向量Z21、Z22被分别乘以对应的权重值后向3个神经元N31～N33输入。与这些特征向量相乘的权重值被汇总标记为W3。

最后，神经元N31～N33分别输出结果y1～结果y3。

神经网络的动作有学习模式和价值预测模式，在学习模式中使用学习数据组来学习权重值W，使用该参数在预测模式中进行组装试验器的行为判断(为了方便，虽然写了预测，但能够是检测、分类、推理等多种任务)。

能够即时学习通过预测模式实际运行组装试验器而得到的数据，并反映到下一个行为(在线学习)，也能够使用预先收集到的数据群进行汇总后的学习，以后一直使用该参数进行检测模式(批学习)。也能够每次在某种程度滞留数据时夹入其中间的学习模式。

权重值W1～W3能够通过误差逆传输法(反向传播)进行学习。误差的信息从右侧进并流向左侧。误差逆传输法是关于各个神经元分别调整(学习)权重值，使得输入了输入x时的输出y和真正的输出y(教师)之间的差值变小的方法。

这种神经网络能够在3层以上还增加层(称为深层学习)。能够分阶段地进行输入的特征提取，只根据教师数据自动地获得使结果回归的运算装置。

因此，本实施方式的机械学习器10应该实施上述Q学习，如图1所示那样具备状态观测部1、人工智能部3以及意图决定部4。但是，适用于本发明的机械学习方法不限定于Q学习。例如在适用有教师学习的情况下，价值函数与学习模型对应，回报与误差对应。

如图1所示，组装试验器20的状态有通过行为间接地发生变化的状态、通过行为直接地发生变化的状态。通过行为间接地发生变化的状态包括各个试验结果。通过行为直接地发生变化的状态中包括下一次组装所使用的各个批次以及每个批次的部件库存量。

人工智能部3根据更新式以及回报来从行为价值表中更新与当前的状态变量以及取得的行为对应的行为价值。

机械学习器10经由网络与组装试验器20连接，状态观测部1经由网络取得当前的状态变量。另外，机械学习器10最好是存在于云服务器中。

机械学习器10可以内置在生产设备100中。即，生产设备100可以具备机械学习器10、组装试验器20。

另外，在图1所示的例子中，表示了使用通过自己的机械学习器的人工智能部更新的行为价值表来更新自己的行为价值表的例子，但是不限于这种例子。即，也可以使用通过与自己的机械学习器不同的其他人工智能部更新的行为价值表来更新自己的行为价值表。

接着，说明本发明实施例的生产设备中包括的机械学习器的动作。图5表示用于说明本发明的实施例的机械学习器的动作步骤的流程图。

首先，在步骤S101中，通过状态观测部1观测组装试验器20的各种状态。即，状态观测部1观测由组装试验器20生产的产品的试验结果以及产品生产后的各个特性的部件的库存量。

接着，在步骤S102中，回报计算部2根据观测到的状态计算回报。例如，试验结果即产品性能越接近目标值，则回报计算部2计算越高的回报，库存量按照部件的特性越失衡则回报计算部2计算越低的回报。

接着，在步骤S103中，人工智能部3根据观测到的状态和回报来学习行为价值。

接着，在步骤S104中，根据状态以及行为价值，通过意图决定部4决定最佳的参数(行为)。例如，决定用于得到希望的产品性能以及库存量的失衡的参数(下一次组装所使用的各个部件批次)。

接着，在步骤S105中，状态根据参数(行为)而变化。即，组装试验器20为了得到希望的产品希望的性能以及库存量的失衡而决定下一次组装所使用的各个部件批次。

本实施例的生产设备所生产的产品的至少一部分中可以包括电动机驱动装置。但是，这是一例也能够将本发明适用于其他的产品。

本实施例的生产设备在进行产品的组装中所使用的多个部件可以包括电动机驱动装置的电流检测电路中的电流传感器以及AD变换器的至少一方。

另外，部件的特性中可以包括补偿(offset)电压，试验结果中也可以包括电动机驱动装置的电流检测电路的补偿值。

如上所述，根据本发明实施例的生产设备，通过机械学习针对希望的产品性能以及库存量的失衡，能够自动调整组装试验器的参数，提高产品性能，避免库存量的失衡。其结果为能够使用有误差的部件，生产电路输出接近理想值(误差±0％)的商品，能够防止偏离的误差的部件作为库存而残留。

根据本发明实施例的生产设备，能够不花费人工的工时而生产电路特性的波动小的电路。

Claims (5)

1.一种生产设备，具备机械学习器、组装试验器，该生产设备的特征在于，

上述组装试验器从特性不同的多个部件群中选择多个部件，使用所选择的上述多个部件进行产品的组装，进行组装后的上述产品的试验，

上述机械学习器具备：

状态观测部，其观测上述产品的试验结果和关于上述多个部件群的按照部件的特性的库存量；

回报计算部，其根据上述试验结果以及上述库存量来计算回报；

人工智能部，其根据上述状态观测部中的观测结果以及上述回报计算部中的回报来判断行为的价值；以及

意图决定部，其根据上述人工智能部中的判断结果，从上述多个部件群选择下一次产品的组装所使用的多个部件。

2.根据权利要求1所述的生产设备，其特征在于，

上述试验结果即产品的性能越接近目标值则上述回报计算部计算出越高的回报，上述库存量按照部件的特性越失衡则上述回报计算部计算出越低的回报。

3.根据权利要求1或2所述的生产设备，其特征在于，

上述人工智能部根据包括结构与上述生产设备的结构相同的其他生产设备的状态观测部中的观测结果以及回报计算部中的回报，来判断自己行为的价值。

4.根据权利要求1～3中的任意一项所述的生产设备，其特征在于，

上述产品的至少一部分包含电动机驱动装置，

上述多个部件中包括上述电动机驱动装置的电流检测电路中的电流传感器以及AD变换器中的至少一方。

5.根据权利要求1～4中的任意一项所述的生产设备，其特征在于，

上述部件的特性中包含补偿电压，

上述试验结果中包括电动机驱动装置的电流检测电路的补偿值。