CN107305370A - 设定与产品的异常相关的变量的判定值的生产系统 - Google Patents

Abstract

本发明提供一种设定与产品的异常相关的变量的判定值的生产系统。生产系统具备连接到机械控制装置以及检查控制装置的单元控制装置。单元控制装置包含存储制造机械的状态的数据、环境的状态的数据以及产品的检查结果的数据的存储部。单元控制装置包含当检查结果中产生了异常时，根据产品的检查结果与制造机械的状态的数据以及环境的状态的数据之间的关联，选择与异常相关的变量的关联分析部和设定与异常相关的变量的判定值的判定值设定部。

Description

设定与产品的异常相关的变量的判定值的生产系统

技术领域

本发明涉及具备制造产品的制造机械的生产系统。

背景技术

在现有技术中，已知通过机器人以及机床等制造机械来制造产品。在制造工厂中，已知通过由制造机械进行部件的加工、搬运等作业来提高生产性。在制造工厂中使用不同种类的制造机械，或使用多台相同的制造机械。在使用多个制造机械时，多个制造机械分担作业来制造产品。

在日本特开平5-12302号公报中，公开有自动地重新设定与制造业中的生产有关的基准值的装置。记载有该装置根据来自制造现场的作业时间以及设备的运转时间等的实绩信息，来改变对在制造现场的实绩进行管理的管理表格中所包含的基准值。

在产品的制造工序中，存在实施由制造机械进行了作业的产品的检查的检查工序。在检查工序中，在制造工序的中途或最终工序中由检查装置实施产品的检查。然而，当在预定的制造工序中实施产品的检查时，针对所需的最低限度的项目实施检查。也就是说，针对选择出的项目实施检查，而不是针对所能想到的全部事项来实施检查。因此，在制造工序中的检查中可能存在即使产品中发生了异常也无法发现异常的情况。当产生了制造缺陷的部分与检查的项目无关时，异常未通过检查装置被检测出而移至下一个制造工序。

另一方面，在产品的设计时，能够设置在制造工序中可以检测的变量(参数)的基准。不过，在检查工序中存在很多可以检测的变量。因此，针对可以检测的很多变量没有设置判定值而未实施检查。另外，在不清楚检查工序中可以检测的参数与产品的缺陷的产生之间的关系时，本来也很难设置判定值。

发明内容

本发明的生产系统具备制造由多个部件构成的产品的制造机械。生产系统具备检测制造机械的状态的机械状态检测器、检测制造机械的周围的环境的状态的环境状态检测器、检查由制造机械所制造出的产品的检查装置。生产系统具备连接到制造机械的控制装置以及检查装置的控制装置的制造管理装置。制造管理装置包含存储制造机械的状态的数据、环境的状态的数据以及产品的检查结果的数据的存储部。制造管理装置包含当检查结果中产生了异常时，根据产品的检查结果与制造机械的状态的数据以及环境的状态的数据之间的关联，选择与异常相关的变量的关联分析部。制造管理装置包含设定与异常相关的变量的判定值的判定值设定部。

在上述发明中，能够将判定值设定部形成为通过强化学习来更新判定值。判定值设定部可以包含：取得制造机械的状态的数据、环境的状态的数据以及产品的检查结果的状态观测部；以及根据制造机械的状态的数据、环境的状态的数据以及产品的检查结果，对于在设定了判定值时的回报进行设定的回报计算部。判定值设定部可以包含根据状态观测部所取得的数据以及由回报计算部所计算出的回报，更新行为的评价函数的函数更新部。

在上述发明中，判定值设定部可以包含根据由函数更新部更新后的评价函数来设定变量的判定值的意图决定部。

在上述发明中，可以具备经由网络连接到制造管理装置的外部存储装置。可以将外部存储装置形成为能够存储与制造机械的状态的数据、环境的状态的数据以及产品的检查结果的数据不同的其他数据。判定值设定部可以根据其他数据来设定变量的判定值。

附图说明

图1是实施方式中的生产系统的框图。

图2是实施方式中的生产系统的单元控制装置的框图。

图3是示意地表示神经元的模型的图。

图4是示意地表示组合神经元来构成的三层的神经网络的图。

图5是设定实施方式中的判定值的控制的流程图。

具体实施方式

参照图1～图5，对实施方式中的生产系统进行说明。在本实施方式的生产系统中，通过多个制造机械来制造预先确定的产品。该产品由多个部件构成。并且，在制造工序的中途或制造工序的最终工序中实施产品的检查。

图1是本实施方式中的生产系统的框图。生产系统10具备多个制造单元4a、4b、4c。在图1所示的例子中，生产系统10具备第1制造单元4a、第2制造单元4b和第3制造单元4c。制造单元是用于实施预先确定的作业的集合。制造单元能够用任意的方法来进行设定。例如，集中类似的作业来设定一个制造单元。或者在把作业按照作业工序的顺序排列时，以成为预先确定的时间的方式来划分作业时间，设定制造单元。

制造单元4a、4b、4c包含制造机械以及检查装置中的至少一方。在本实施方式中，第1制造单元4a包含制造机械3a、3b。第2制造单元4b包含制造机械3c以及检查装置7a。第3制造单元4c包含制造机械3d、3e以及检查装置7b。作为制造机械3a～3e，可以举例表示切削部件的机床、实施部件的安装、焊接等预定的作业的机器人以及印刷机等。另外，作为检查装置，可以举例表示测量产品的尺寸的装置、拍摄产品来实施外观的检查的装置、或检查产品的功能的装置等实施预定的检查的装置。

生产系统10具备作为控制制造单元4a、4b、4c的制造管理装置的单元控制装置5。单元控制装置5包含具有经由总线互相连接的CPU(Central Processing Unit)、RAM(Random Access Memory)以及ROM(Read Only Memory)等的运算处理装置。

生产系统10具备设定产品的制造计划的生产计划装置6。以可以与单元控制装置5通信的方式形成生产计划装置6。本实施方式中的生产计划装置6管理工厂整体的产品的生产。

在本实施方式中，制造单元4a、4b、4c被配置在制造产品的工厂中。相反地，单元控制装置5以及生产计划装置6可以被配置在与工厂不同的建筑物中。例如，单元控制装置5可以被配置在位于制造工厂的场地中的另一个建筑物中。在这种情况下，单元控制装置5和制造单元4a、4b、4c可以经由例如内联网等网络进行连接。另外，生产计划装置6可以被配置在远离制造工厂的地区中配置的办公室中。生产计划装置6经由例如因特网等网络，与单元控制装置5以能够互相进行通信的方式相连接。

图2表示本实施方式中的单元控制装置的框图。在图2中示出了多个制造机械3a～3e中的一个制造机械3。各个制造机械3a～3e具有与制造机械3同样的结构。另外，在图2中示出了多个检查装置7a、7b中的一个检查装置7。各个检查装置7a、7b与检查装置7具有同样的结构。

各个制造机械3具备控制制造机械的机械控制装置67。制造机械3包含作为检测制造机械的状态的机械状态检测器的检测器62。例如，当制造机械是机器人时，在机器人的状态中包含机器人的位置以及姿势、与驱动机器人的手臂的电动机有关的电流、电压、旋转速度、温度、振动、声音的频率以及输出扭矩等。或者，在机器人的状态中包含由机器人的动作所引起的发生变化的变量。例如，包含通过机器人的动作而施加到工作台或夹具的负荷、应变以及振动等。另外，在机器人的状态中包含电动机的过载的警告等的发送。或者，在机器人的状态中可以包含检查装置对产品施加的电压等。

以与机械控制装置67可以互相通信的方式形成了单元控制装置5。检测器62连接到机械控制装置67。单元控制装置5从机械控制装置67取得制造机械3的运转的状态，或向机械控制装置67发送运转指令。

各个检查装置7检查由制造机械3所制造出的产品。检查装置7具备控制检查装置的检查控制装置68。以与检查控制装置68可以互相通信的方式形成了单元控制装置5。单元控制装置5从检查控制装置68取得检查结果，或发送检查的实施指令。

此外，由包含CPU以及RAM等的运算处理装置构成本实施方式中的生产计划装置6、安装在制造机械3中的机械控制装置67以及安装在检查装置7中的检查控制装置68。

生产系统10被配置在制造单元4a、4b、4c的内部或制造单元的周围，并包含作为检测制造机械的周围的环境的状态的环境状态检测器的检测器61。作为制造机械的周围的环境的状态，包含时刻、气温、湿度、噪音、振动、气压、磁性以及标高等。检测器61选择能够检测表示环境的状态的变量的传感器。例如，当取得制造机械的周围的气温时，在制造机械的周围配置温度传感器来作为检测器61。单元控制装置5接收从检测器61输出的信号。也就是说，单元控制装置5取得制造机械3的周围的环境的状态的数据。

作业者可以预先配置检测制造机械的状态的机械状态检测器和检测制造机械的周围的环境的状态的环境状态检测器。作业者可以在制造机械3中安装各种各样的检测器62，以便可以检测各种各样的制造机械的状态的数据。例如，作业者除了检测向电动机提供的电流值的检测器等，还可以配置检测电动机的振动的振动检测器、检测电动机的温度的温度传感器以及对电动机所发出的声音的频率进行检测的检测器等。

另外，作业者可以配置检测器61，使得能够检测制造机械的周围的环境的状态。例如，作业者可以配置测定工厂内部的气温的温度传感器以及检测工厂内部的湿度的湿度传感器等。另外，也可以采用来自已被配置的检测器的输出来作为制造机械的状态的数据或制造机械的周围的环境的状态的数据。

单元控制装置5具备存储与制造单元4a～4c的控制有关的信息的存储部12。另外，单元控制装置5具备作业者用于输入所期望的信息的输入部11。作业者用输入部11所输入的信息存储在存储部12中。单元控制装置5具备对制造机械3的机械控制装置67发送运转指令的运转控制部13。另外，运转控制部13向检查装置7的检查控制装置68发送检查的实施指令。

当用检查装置7检测出产品的异常时，本实施方式的单元控制装置5选择与异常的产生有关联的变量。这里的变量包含与制造机械的状态有关的变量以及与制造机械的周围的环境的状态有关的变量。例如，在变量中包含驱动前述的机器人的手臂的电动机的电流值、电动机的旋转速度、制造装置的周围的气温以及制造装置的周围的湿度等。并且，单元控制装置5设定与异常的产生具有关联的变量的判定值。单元控制装置5还根据在重复产品的制造时所取得的状态来更新变量的判定值。

单元控制装置5具备选择与异常的产生相关的变量的关联分析部31。关联分析部31具有判定产品的检查结果与制造机械的状态的变量以及环境的状态的变量是否具有关联的关联推测部32。关联分析部31具有从用关联推测部32判定出具有关联的变量中选择要设定判定值的变量的变量选择部33。

状态观测部21取得进行产品的制造时的制造机械的状态的数据、环境的状态的数据以及产品的检查结果的数据。状态观测部21取得可以取得的变量的值。存储部12存储各个状态的数据。存储部12可以在每次制造1个产品时存储多个变量的值。

在这里，列举组装印刷基板的制造工序为例进行说明。在组装印刷基板的工序中，机器人把持印刷基板，把部件嵌入印刷基板或进行螺丝固定。通过机器人把持基板，在印刷基板中会产生应变。作为机器人的状态的数据之一，可以检测施加到印刷基板的应变量。作业者预先在印刷基板上安装应变传感器。状态观测部21检测印刷基板的应变量。

参照图1以及图2，例如在第1制造单元4a中实施在印刷基板上安装部件的作业。作为制造机械3a的第1机器人把持印刷基板。作为制造机械3b的第2机器人把多个部件嵌入印刷基板。例如，第2机器人实施在印刷基板上安装连接器的作业。在第2制造单元4b中，在制造机械3c实施了其他作业之后，检查装置7a实施外观检查。检查装置7a包含例如拍摄产品的外观的拍摄装置。检查装置7a通过进行所拍摄出的图像的处理，判断在印刷基板以及印刷基板上所配置的部件是否发生损坏。在这里的例子中，检查装置7a对在印刷基板上所配置的电子部件发生了脱落或破损进行检测。

本实施方式的关联分析部31实施关联解析。关联分析部31的关联推测部32从存储部12取得产品正常时的各个变量。例如，关联推测部32计算最近的预先确定的个数的变量的平均值。然后，关联推测部32从存储部12取得在加工发生了电子部件脱落或破损的印刷基板时的与制造机械的状态有关的变量以及与环境有关的变量。

针对制造产生了异常的印刷基板时的各个变量，关联推测部32提取与过去的正常值的平均值远离的变量。例如，关联推测部32计算从制造产生了异常的印刷基板时的变量减去平均值之后的值的平方即方差。然后，变量选择部33在方差较大的变量中选择与印刷基板的异常相关的变量。例如变量选择部33可以判定方差最大的变量为与异常相关的变量。或者，变量选择部33也可以选择方差比预先确定的判定值更大的变量来作为与异常相关的变量。

在这里，在电子部件发生了脱落或破损的印刷基板的制造工序中，对施加给印刷基板的应变量与平均值偏离最大的情况进行示例。关联分析部31选择施加给印刷基板的应变量来作为与异常相关的变量。也就是说，由于印刷基板中产生的应变量较大，因此关联分析部31判定电子部件发生了脱落或破损。

此外，在上述的说明中，在制造产生了异常的产品时，变量选择部提取与过去的正常值的平均值远离的变量，但是并不限定于该方式，例如，可以预先确定产品为正常时的变量的基准值。然后，关联分析部可以选择与基准值远离的变量来作为与异常的产生相关的变量。

接下来，单元控制装置5设定针对由关联分析部31所选择出的变量的判定值。单元控制装置5具备设定与异常相关的变量的判定值的判定值设定部20。判定值设定部20可以任意地设定变量的判定值的初始值。然后，本实施方式的判定值设定部20通过机器学习来更新判定值。

本实施方式的判定值设定部20具有如下功能：通过分析从所输入的数据的集合中提取其中有用的规则、知识表现、判断基准等，输出判断结果，并且进行知识的学习(机器学习)。机器学习的方法是多样的，但是大致可分为例如“有教师学习”、“无教师学习”以及“强化学习”。而且，在实现这些方法方面，存在对特征量本身的提取进行学习的、被称为“深层学习(Deep Learning)”的方法。

此外，图2所示的判定值设定部20应用了“强化学习”。这些机器学习器(判定值设定部20)也可以使用通用的计算机或处理器，但是如果应用例如GPGPU(General-Purposecomputing on Graphics Processing Units：通用计算图形处理器)、大规模PC集群等，则可以进行更加高速的处理。

首先，有教师学习是指通过大量地向判定值设定部提供教师数据、即某输入和结果(标签：label)的数据的组合，来学习这些数据集(data set)中的特征，并归纳性地获得由输入推测结果的模型(误差模型)、即其相关性。例如，可以使用后述的神经网络等算法来实现。

另外，无教师学习是指如下方法：通过仅大量地向学习装置提供输入数据，学习输入数据进行怎样的分布，即使不提供对应的教师输出数据，也通过对输入数据进行压缩、分类以及整形等的装置来学习。例如，可以把这些数据集中的特征在类似特征之间进行聚类等。使用该结果来进行设置某个基准而使其为最佳那样的输出的分配，由此可以实现输出的预测。

此外，作为无教师学习与有教师学习中间的问题设定，存在被称为半有教师学习的方法。其对应于例如存在仅一部分输入和输出的数据的组，除此之外只有输入数据的情况。在本实施方式中，通过在无教师学习中利用即使实际上不使单元控制装置工作也能够取得的数据(模拟的数据等)能够高效地进行学习。

接下来，针对强化学习进行详细地说明。首先，作为强化学习的问题设定，考虑如下。

·单元控制装置观测环境的状态，并决定行为。

·环境按照某种规则进行变化，并且自身行为有时也对环境赋予变化。

·每次行为时，返回回报信号。

·想要最大化的是到将来的回报的总和。

·从完全不知道行为所引起的结果，或者从只是不完全知道的状态起开始学习。即，单元控制装置实际开始动作，可以获得其结果来作为数据。也就是说，需要一边试错一边探索最佳的行为。

·也可以如模仿人类的动作那样，把事前学习(上述的有教师学习、逆强化学习等方法)后的状态作为初始状态，从较好的开始地点起开始学习。

在这里，强化学习是指以如下方法来学习：通过不只是进行判定、分类，还学习行为，而在考虑行为给予环境的相互作用的基础上学习适当的行为，即，进行用于使将来获得的回报最大化的学习。以下作为例子，在Q学习的情况下继续进行说明，但是并不限定于Q学习。

Q学习是在某种环境状态s下学习选择行为a的价值Q(s,a)的方法。也就是说，在某状态s时，把价值Q(s,a)最高的行为a作为最佳的行为进行选择即可。但是，最初针对状态s与行为a的组合，完全不知道价值Q(s,a)的正确值。因此，智能体(行为主体)在某状态s下选择各种各样的行为a，并对于当时的行为a给予回报。因此，智能体学习更好的行为的选择、即学习正确的价值Q(s,a)。

进一步，行为的结果，是想要使到将来所获得的回报的总和最大化，因此最终目标是成为Q(s,a)＝E[Σ(γ^t)r_t]。在这里，设期待值是针对按照最佳行为进行状态变化时所取的值，由于并不知道期待值，因此要一边探索一边学习。像这样的价值Q(s,a)的更新式，例如可以通过如下式(1)来表示。

在上述的式(1)中，s_t表示时刻t的环境的状态，a_t表示时刻t的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态的变化所获得的回报。另外，带有max的项是在状态s_t+1下，把γ乘以选择出当时已知的Q值最高的行为a时的Q值的结果。在这里，γ是0<γ≤1的参数，并被称为折扣率。另外，α是学习系数，设为0<α≤1的范围。

上述的式(1)表示如下方法：根据试行a_t的结果而返回的回报r_t+1，更新状态s_t下的行为a_t的评价值Q(s_t,a_t)。即，表示如果基于回报r_t+1以及行为a的下一状态下的最优的行为max a的评价值Q(s_t+1,max a_t+1)比状态s下的行为a的评价值Q(s_t,a_t)大，则增大Q(s_t,a_t)，反之，如果小，则减小Q(s_t,a_t)。也就是说，使某种状态下的某种行为的价值，接近基于作为结果而即时返回的回报和该行为的下一状态下的最优的行为的价值。

在这里，Q(s,a)在计算机上的表现方法有如下方法：针对所有的状态行为对(s,a)，将该值作为表格保存的方法和准备近似Q(s,a)的函数的方法。在后者的方法中，可以通过使用随机梯度下降法等方法来调整近似函数的参数，从而实现上述的式(1)。此外，作为近似函数，可以使用后述的神经网络。

在这里，作为强化学习中的价值函数的近似算法，可以使用神经网络。图3是示意性地表示神经元的模型的图，图4是示意性地表示组合图3所示的神经元所构成的三层神经网络的图。即，由例如模仿了图3所示的神经元的模型的运算装置以及存储器等构成神经网络。

如图3所示，神经元输出针对多个输入x(在图3中，作为一个例子，输入x1～x3)的输出(结果)y。对各输入x(x1,x2,x3)乘以与该输入x对应的权值w(w1,w2,w3)。由此，神经元输出由以下的式(2)所表现的结果y。此外，输入x、结果y以及权值w都是矢量。另外，在下面的式(2)中，θ是偏置(bias)，f_k是激活函数。

参照图4，说明组合图3所示的神经元所构成的三层神经网络。如图4所示，从神经网络的左侧输入多个输入x(在这里，作为一个例子，输入x1～输入x3)，从右侧输出结果y(在这里，作为一个例子，结果y1～结果y3)。具体地，输入x1、x2、x3乘以对应的权值来对3个神经元N11～N13的每一个进行输入。与这些输入相乘的权值被统一标记为W1。

神经元N11～N13分别输出z11～z13。在图4中，这些z11～z13被统一标记为特征矢量Z1，并可以视为提取了输入矢量的特征量的矢量。该特征矢量Z1是权值W1与权值W2之间的特征矢量。z11～z13乘以对应的权值来对2个神经元N21、N22的每一个进行输入。与这些特征矢量相乘的权值被统一标记为W2。

神经元N21、N22分别输出z21、z22。在图4中，这些z21、z22被统一标记为特征矢量Z2。该特征矢量Z2是权值W2与权值W3之间的特征矢量。z21、z22乘以对应的权值来对3个神经元N31～N33的每一个进行输入。与这些特征矢量相乘的权值被统一标记为W3。

最后，神经元N31～N33分别输出结果y1～结果y3。在神经网络的动作中，有学习模式和价值预测模式。例如，在学习模式中，使用学习数据集来学习权值W，在预测模式中使用该参数来进行单元控制装置的行为判断。此外，为了方便而写为预测，但是不言而喻，也可以是检测、分类以及推论等多种多样的任务。

在这里，可以是在预测模式中对实际地运行单元控制装置而获得的数据进行即时学习，并反映到下一行为中(在线学习)，也可以是使用预先收集的数据群进行汇总学习，以后也一直用该参数进行检测模式(批量学习)。或者，也可以是其中间的、每当积攒了某种程度数据时插入学习模式。

另外，可以通过误差反向传播法(误差反传播法：Back propagation)来学习权值W1～W3。此外，误差信息从右侧进入流向左侧。误差反向传播法是如下方法：针对各神经元，调整(学习)各个权值，以便减小输入了输入x时的输出y与真的输出y(教师)之间的差值。像这样的神经网络可以在三层以上进一步增加层(被称为深层学习)。另外，也可以阶段性地进行输入的特征提取，仅由教师数据自动地获得进行结果反馈的运算装置。

参照图2，本实施方式的判定值设定部20为了实施Q学习，具备状态观测部21、学习部22以及意图决定部25。此外，如上所述，适用于本发明的机器学习方法并不限定于Q学习。例如，在应用有教师学习时，价值函数对应于学习模型，回报对应于误差。

本实施方式的判定值设定部20在设定了初始的判定值之后，通过强化学习来更新判定值。判定值设定部20包含取得制造机械的状态的数据、环境的状态的数据以及产品的检查结果的状态观测部21。状态观测部21观测各个状态、产品的检查结果。在这里，用判定值进行判定相当于强化学习的行为。

判定值设定部20包含通过学习来设定评价函数(行为价值)的学习部22。学习部22根据由状态观测部21所观测到的状态量来更新行为价值表格。本实施方式的行为价值表格是包含通过学习所设定了的评价函数、回报、制造机械的状态的数据、环境的状态的数据以及产品的检查结果的表。在行为价值表格中包含选择出的变量的值。

学习部22具有根据制造机械的状态的数据、环境的状态的数据以及产品的检查结果，来设定用于计算行为价值的回报的回报计算部23。回报计算部23根据制造产品时的状态量以及检查结果来设定回报。例如，当检查装置7a检测出电子部件发生了脱落或破损时，回报计算部23设定负的回报。其结果，行为价值变低，成为不理想的行为。另外，当电子部件没有发生脱落或破损时，回报计算部23设定正的回报。其结果，行为价值变高，成为理想的行为。

学习部22包含根据状态观测部21所取得的数据和由回报计算部23所计算出的回报来更新行为的评价函数的函数更新部24。函数更新部24计算评价函数(行为价值)，更新行为价值表格。判定值设定部20包含根据由学习部22所设定出的评价函数，来设定选择出的变量的判定值的意图决定部25。例如，意图决定部25可以选择行为价值高的行为(判定值)。然后，用所设定出的判定值来实施判定。

图5表示本实施方式的判定值设定部的控制的流程图。在这个例子中，关联分析部31判定与电子部件的脱落或破损相关的变量是在印刷基板中产生的应变量。

参照图2以及图5，在步骤81中，状态观测部21取得制造机械的状态的数据、环境的状态的数据以及产品的检查结果。状态观测部21在进行作业的期间中取得数据。状态观测部21从检查装置7接收检查结果。存储部12存储状态观测部21所取得的数据。

在步骤82中，学习部22从关联分析部31取得与电子部件的脱落或破损相关的变量是在印刷基板中产生的应变量的内容。回报计算部23设定用于计算行为价值的回报。针对设定回报的方法，作业者可以预先进行确定，并存储在存储部12中。

例如，当电子部件没有发生脱落或破损时，回报计算部23设定正的回报。除此之外，回报计算部23还可以根据把持印刷基板的机器人的驱动电动机的电流值来计算回报。例如，当印刷基板上安装连接器时，如果驱动机器人的电动机的电流小，则有可能无法完全安装连接器。因此，如果机器人的驱动电动机的电流值比判定值小，则可以减小回报。

接下来，在步骤83中，函数更新部24根据计算出的回报来计算价值函数。然后，函数更新部24根据由状态观测部21所观测到的状态量以及价值函数来更新行为价值表格。在步骤84中，意图决定部25根据更新了的行为价值表格来设定应变量的判定值。

通过反复实施图5所示的控制，可以更新判定值来计算最佳的判定值。当应变量的判定值过低时，尽管产品是正常的，但是也可能由于应变量较大而判断为产品中存在异常。另外，当应变量的判定值过大时，尽管是产品中产生异常的较大的应变量，也可能继续作业。判定值设定部20可以通过继续学习来设定合适的判定值。

如果确定了选择出的变量的判定值，则单元控制装置可以使用判定值来实施任意的控制。例如，在超过了判定值的状态下制造出的产品，可以作为缺陷品进行处理。或者，在超过了判定值的状态下制造出的产品，可以实施精密检查。或者，根据判定值，可以实施变更制造机械的状态以及环境的状态中的至少一个的控制。通过实施像这样的基于判定值的控制，可以降低产品中所包含的缺陷品的比率。

参照图1，本实施方式的生产系统10具备经由网络连接到单元控制装置5的外部存储装置41。以能够与单元控制装置5互相通信的方式形成外部存储装置41。外部存储装置41可以存储与制造机械的状态的数据、环境的状态的数据以及产品的检查结果的数据不同的其他数据。例如，存在贩卖出的产品中包含缺陷品的情况。在外部存储装置41中，可以存储像这样的缺陷品的数据。对缺陷品附加了产品编号等，可以确定进行制造时的状态。在外部存储装置中，可以保存过去的制造机械的状态的数据、过去的环境的状态的数据以及过去的检查结果。然后，判定值设定部20从外部存储装置41取得缺陷品的数据。然后，判定值设定部20可以根据制造缺陷品时的过去的制造机械的状态的数据以及环境的状态的数据来设定判定值。通过实施该控制，可以在设定判定值时使用很多的信息，提高判定值的设定精度。

本实施方式的判定值设定部通过机器学习来设定判定值，但是并不限定于该方式，判定值设定部可以通过任意的控制来设定判定值。例如，当在印刷基板的制造时给予了1000μST以上的应变量时发生电子部件的脱落或破损的情况下，判定值设定部可以把应变量的判定值设定为比1000μST稍低的800μST。

或者，判定值设定部可以通过统计的方法来设定判定值。例如，在上述的电子部件的脱落或破损的例子中，判定值设定部可以采用产生了异常时的印刷基板的应变量的平均值来作为判定值。或者，判定值设定部可以根据在印刷基板中产生了异常时的应变的值的偏差来设定判定值。

在上述的实施方式中，列举了在印刷基板中所配置的电子部件中发生了脱落或破损的例子，但是并不限定于该方式，在产品中检测出异常时，可以设定与异常具有关联的任意的变量的判定值。例如，在印刷基板的制造中，存在在预定的部件中发现凹陷的情况。此时，关联分析部有时会判定为在气温较低时异常多发。在这种情况下，判定值设定部可以设定气温的判定值。或者，当把持部件的机器人的电动机的电流相对于指令变大时，关联分析部有时会判断为发生了异常。在这种情况下，判定值设定部可以设定向机器人的电动机提供的电流的判定值。

另外，在通过锡焊对印刷基板安装部件的流程工序中，存在发生焊锡缺陷的情况。在实际的锡焊炉的温度比设定值略低时，关联分析部有时会判定为发生了焊锡缺陷。在这种情况下，判定值设定部可以设定炉的温度的判定值。

另外，在生产系统中，除了上述的印刷基板的制造，还制造各种各样的产品。本发明能够适用于制造任意的产品的生产系统。例如，存在对预定的部件进行涂装的情况。可以在机器人中安装像喷枪那样的作业工具，对车辆的车身等进行涂装。涂装用的作业工具通过对涂料施加压力，可以喷出涂料。但是，在涂装工序中，存在涂料配置不均匀，或发生涂料剩余的情况。在这种情况下，在对作业工具内部的涂料施加的压力比设定值低时，关联分析部有时会判定为发生了涂装的缺陷。并且，判定值设定部可以设定对涂料施加的压力的判定值。此外，当对选择出的变量已经设定了判定值时，判定值设定部可以实施更新判定值的控制。

根据本发明，可以提供选择与在制造工序中产生的产品的异常相关的变量，并能够设定变量的判定值的生产系统。

在上述的各个控制中，在不改变功能以及作用的范围内可以适当地改变步骤的顺序。

上述的实施方式可以适当地组合。在上述的各个图中，对相同或等同部分赋予相同的符号。此外，上述的实施方式是示例而不是用来限定发明的。另外，在实施方式中，包含了在请求专利保护的范围中示出的实施方式的变更。

Claims (4)

1.一种生产系统，其特征在于，具备：

制造机械，其制造由多个部件构成的产品；

机械状态检测器，其检测所述制造机械的状态；

环境状态检测器，其检测所述制造机械的周围的环境的状态；

检查装置，其检查由所述制造机械所制造出的产品；以及

制造管理装置，其连接到所述制造机械的控制装置以及所述检查装置的控制装置，

所述制造管理装置包含：

存储部，其存储所述制造机械的状态的数据、所述环境的状态的数据以及所述产品的检查结果的数据；

关联分析部，其当检查结果中产生了异常时，根据所述产品的检查结果与所述制造机械的状态的数据以及所述环境的状态的数据之间的关联，选择与异常相关的变量；以及

判定值设定部，其设定与异常相关的所述变量的判定值。

2.根据权利要求1所述的生产系统，其特征在于，

将所述判定值设定部形成为通过强化学习来更新所述判定值，

所述判定值设定部包含：

状态观测部，其取得所述制造机械的状态的数据、所述环境的状态的数据以及所述产品的检查结果；

回报计算部，其根据所述制造机械的状态的数据、所述环境的状态的数据以及所述产品的检查结果，对在设定了所述判定值时的回报进行设定；以及

函数更新部，其根据所述状态观测部所取得的数据以及由所述回报计算部计算出的所述回报，更新行为的评价函数。

3.根据权利要求2所述的生产系统，其特征在于，

所述判定值设定部包含意图决定部，其根据由所述函数更新部更新后的所述评价函数来设定所述变量的所述判定值。

4.根据权利要求1～3的任一项所述的生产系统，其特征在于，

所述生产系统具备经由网络连接到所述制造管理装置的外部存储装置，

将所述外部存储装置形成为能够存储与所述制造机械的状态的数据、所述环境的状态的数据以及所述产品的检查结果的数据不同的其他数据，

所述判定值设定部根据所述其他数据来设定所述变量的所述判定值。