CN108090905B - 产线异常的判断方法及系统 - Google Patents

产线异常的判断方法及系统 Download PDF

Info

Publication number
CN108090905B
CN108090905B CN201810011286.1A CN201810011286A CN108090905B CN 108090905 B CN108090905 B CN 108090905B CN 201810011286 A CN201810011286 A CN 201810011286A CN 108090905 B CN108090905 B CN 108090905B
Authority
CN
China
Prior art keywords
image
network
training
output valve
producing line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810011286.1A
Other languages
English (en)
Other versions
CN108090905A (zh
Inventor
王建民
刘英博
王希梅
万英格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810011286.1A priority Critical patent/CN108090905B/zh
Publication of CN108090905A publication Critical patent/CN108090905A/zh
Application granted granted Critical
Publication of CN108090905B publication Critical patent/CN108090905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明提供一种产线异常的判断方法及系统，其中判断方法基于生成式对抗网络进行判断，该判断方法具体包括：将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；将所述预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得所述判别网络的输出值，所述输出值的值域为(0,1)；根据所述输出值靠近的值域端点，判断产线是否异常。发明为分析工序后图像判断产线缺陷异常提供了更可信、高效的自动化方法。

Description

产线异常的判断方法及系统
技术领域
本发明涉及产线质检技术领域，更具体地，涉及产线异常的判断方法及系统。
背景技术
借助工业生产线的单工序前后收集到的成对图像信息，人们可以判断工序运行是否出现缺陷异常。随着工业生产流水线的机械化、自动化，上述图像信息的分析工作需要大量的人工成本，且对于产线缺陷异常的判断标准难以清晰界定。
生成式对抗网络(GAN)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的产线异常的判断方法及系统。
根据本发明的一个方面，提供一种产线异常的判断方法，该判断方法基于生成式对抗网络进行判断，该判断方法具体包括：
将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；
将所述预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得所述判别网络的输出值，所述输出值的值域为(0,1)；
根据所述输出值靠近的值域端点，判断产线是否异常。
优选地，所述根据所述输出值靠近的值域端点，判断产线是否异常的步骤，具体包括：
当所述输出值靠近1时，判断产线正常；当所述输出值靠近0时，判断产线异常。
优选地，所述将工序前的图像输入至预先训练的生成网络的步骤之前，还包括对所述生成网络和判别网络进行单独交替迭代训练的步骤：
获取训练集，所述训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得所述判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程。
优选地，所述对生成网络和判别网络进行单独交替迭代训练的步骤，具体通过以下损失函数进行训练：
其中，G和D分别表示生成网络和判别网络；X表示所有工序前图像的集合；Y表示所有真实的工序后图像的集合；D(y)表示输入实际的工序后的图像y时判别网络的判别结果；G(x)表示向生成网络输入工序前的图像x时输出的预测图像；D(G(x))表示向判别网络输入G(x)时输出的判别结果；表示实际的工序后的图像y取到集合Y中所有值时f的均值；表示工序前的图像x取到集合X中所有值时k的均值。
优选地，所述生成网络包括：
编码模块，包括若干个卷积层，所述若干个卷积层用于提取工序前的图像的特征向量；
转换模块，包括一个可调节深度的深度卷积神经网络，所述深度卷积神经网络用于根据预先获得的映射关系，将工序前的图像的特征向量映射为工序后的图像的特征向量；
解码模块，包括与所述编码模块中卷积层相对应的若干个转置卷积层，所述若干个转置卷积层用于将所述工序后的图像的特征向量还原为预测的工序后的图像。
优选地，所述编码模块还包括在所述若干个卷积层后设置的ReLU层或BN批归一化层。
优选地，所述深度卷积神经网络由6层残差网络单元串联而成。
根据本发明的另一个方面，还提供一种产线异常的判断系统，该判断系统基于生成式对抗网络进行判断，该判断系统具体包括：
预测图像获取装置，用于将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；
判别数值装置，用于将所述预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得所述判别网络的输出值，所述输出值的值域为(0,1)；
异常判断装置，用于根据所述输出值靠近的值域端点，判断产线是否异常。
优选地，所述异常判断装置具体用于：
当所述输出值靠近1时，判断产线正常；当所述输出值靠近0时，判断产线异常。
优选地，所述判断系统还包括：训练装置，用于对所述生成网络和判别网络进行单独交替迭代训练，所述训练装置具体用于：
获取训练集，所述训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得所述判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程。
本发明提出的一种产线异常的判断方法及系统，其中生成网络用于根据工序前的图像生成预测的工序后的图像，由于生成网络是预先训练的，因此可以认为生成网络输出的预测图像是与实际的工序后的图像是一致的，训练好的判别网络用于将预测图像和实际的工序后的图像进行比对并得到一个输出值，因此，当生成网络生成的预测图像与真实的工序后的图像被判决函数判断区别较大时，可以认为真实的工序后的产品并没有按照预测的那样完成，即该工序出现了差错。本发明为分析工序后图像判断产线缺陷异常提供了更可信、高效的自动化方法。
附图说明
图1为根据本发明实施例的产线异常的判断方法的流程示意图；
图2为根据本发明实施例的产线异常的判断系统的功能框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了克服现有技术的上述问题，本发明实施例提供一种产线异常的判断方法，该判断方法基于生成式对抗网络进行判断，参见图1，该判断方法具体包括：
101、将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像。
需要说明的是，本发明实施例的生成网络用于根据工序前的图像生成预测的工序后的图像，工序前的图像是指所拍摄的生产线上某个工序前的产品的图像，而工序后的图像是指在经过该工序后的产品的图像，例如在微波炉组装时，外壳组装工序前的图像是拍摄的微波炉没有安装外壳，微波炉内部结构一览无余的图像，而外壳组装工序后的图像是微波炉已经安装好外壳的图像。由于生成网络是预先训练的，因此可以认为生成网络输出的预测图像是与实际的工序后的图像是一致的。
102、将预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得判别网络的输出值，输出值的值域为(0,1)。
103、根据输出值靠近的值域端点，判断产线是否异常。
需要说明的是，训练好的判别网络用于将预测图像和实际的工序后的图像进行比对并得到一个输出值，根据生成对抗网络的原理可知，经过训练的判决网络无法区别出同样经过训练的生成网络所生成的图片是真实的还是预测的，因此，当生成网络生成的预测图像与真实的工序后的图像被判决函数判断区别较大时，可以认为真实的工序后的产品并没有按照预测的那样完成，即该工序出现了差错。
本发明实施例提出的基于生成式对抗网络的产线异常的判断方法，为分析工序后图像判断产线缺陷异常提供了更可信、高效的自动化方法。
在上述实施例的基础上，根据输出值靠近的值域端点，判断产线是否异常的步骤，具体包括：
当输出值靠近1时，判断产线正常；当输出值靠近0时，判断产线异常。
需要说明的是，由于生成网络和判别网络在训练时需要根据损失函数进行相互博弈，即判别网络的目标在于最大化损失函数的值，而生成网络在于最小化损失函数的值，因此，在进行判断产线是否异常时，判别函数的输出值越大说明生成网络输出的合成图像(即预测的工序后的图像)足以乱真，即表示实际生产时产品符合工序的生产要求，而如果判别函数的输出值越低，则越发说明生产网络输出的合成图像比较虚假，说明产线发生了异常。
在上述实施例的基础上，将工序前的图像输入至预先训练的生成网络的步骤之前，还包括对生成网络和判别网络进行单独交替迭代训练的步骤：
获取训练集，训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程。
需要说明的是，假设存在这样的假样本集，同时真样本集一直都有，现在人为的定义真假样本集的标签，因为希望真样本集的输出尽可能为1，假样本集为0，很明显就已经默认真样本集所有的类标签都为1，而假样本集的所有类标签都为0，现在有了真样本集以及它们的label(都是1)、假样本集以及它们的label(都是0)，这样单就判别网络来说，此时问题就变成了一个再简单不过的有监督的二分类问题了，直接送到神经网络模型中训练就完事了。
对于生成网络，是生成尽可能逼真的样本。对于生成网络的训练其实是对生成-判别网络串接的训练。要把这些假样本的标签都设置为1，也就是认为这些假样本在生成网络训练的时候是真样本。在训练这个串接的网络的时候，一个很重要的操作就是不要判别网络的参数发生变化，也就是不让它参数发生更新，只是把误差一直传，传到生成网络那块后更新生成网络的参数。这样就完成了生成网络的训练了。
在完成生成网络训练后，可以根据目前新的生成网络再对先前的那些工序前的图像生成新的假样本了，并且训练后的假样本应该是更真了才对。然后又有了新的真假样本集(其实是新的假样本集)，这样又可以重复上述过程了。把这个过程称作为单独交替训练。可以实现定义一个迭代次数，交替迭代到一定次数后停止即可。这个时候再去看一看工序前的图像生成的假样本会发现，假样本已经很真了。
对生成网络和判别网络进行单独交替迭代训练的步骤，具体通过以下损失函数进行训练：
其中，G和D分别表示生成网络和判别网络；X表示所有工序前图像的集合；Y表示所有真实的工序后图像的集合；D(y)表示输入实际的工序后的图像y时判别网络的判别结果(也称作判别网络在训练数据集上的输出)；G(x)表示向生成网络输入工序前的图像x时输出的预测图像；D(G(x))表示向判别网络输入G(x)时输出的判别结果(也称作判别网络在生成网络生成的图片的输出)；表示实际的工序后的图像y取到集合Y中所有值时f的均值(也称作使判别网络能够区别输入真实的图像)；表示工序前的图像x取到集合X中所有值时k的均值(也称作使生成网络能够欺骗判别网络)；y～Y表示数据集的真实概率分布；x～X表示生成网络模拟的训练数据集的概率分布。
训练判别网络时使用minGmaxDLGAN(G,D,X,Y)作为损失函数，在训练生成网络时使用作为损失函数；
判别网络训练数据的生成
设用于训练的训练集大小为50，则25个正样本由训练样本(即实际的工序后的图像)中随机选取，25个负样本生成过程如下：
生成25个工序前的图像；
将25个工序前图像作为生成网络的输入，得到25个预测的工序后的图像(也称之为伪造图像)，并标定为判别网络的负样本；
生成网络训练数据的生成
设用于训练的训练集大小为50，则25个正样本生成过程如下：
生成50个工序前图像；
将50个工序前图像作为生成网络的输入，得到50个伪造图像，并标定为生成网络的正样本；
训练过程的具体步骤如下：
设置超参数k，每训练完k次判别网络后再进行一次生成网络的训练；
判别网络的训练：
选取l个工序前图像，先验概率分布为pg(x)，标记为{x(1),…,x(l)}；
选取l个工序后图像，概率分布为pdata(y)，标记为{y(1),…,y(l)}；
根据随机梯度下降方法，修改判别网络的参数，计算随机梯度的公式如下：
生成网络进行训练：
选取l个工序前图像，先验概率分布为pg(x)，标记为{x(1),…,x(l)}，根据随机梯度下降法，修改生成网络的参数，计算随机梯度的公式为：
判别网络进行图片真实概率判断，当判别网络判别图片为真实的工序后的图像的概率为0.5时，训练完成。
在上述实施例的基础上，生成网络包括：
编码模块，包括若干个卷积层，若干个卷积层用于提取工序前的图像的特征向量。每个卷积层的卷积核不同，能够在输入图像上移动并提取特征，步幅大小能决定在图像中卷积核窗口的数量。
转换模块，包括一个可调节深度的深度卷积神经网络，深度卷积神经网络用于根据预先获得的映射关系，将工序前的图像的特征向量映射为工序后的图像的特征向量；
解码模块，包括与编码模块中卷积层相对应的若干个转置卷积层，若干个转置卷积层用于将工序后的图像的特征向量还原为预测的工序后的图像。利用转置卷积层与卷积层的对称性，解码模块的解码过程与编码模块的编码方式完全相反，这样就可以将特征向量转换为图像。
在上述实施例的基础上，编码模块还包括在若干个卷积层后设置的ReLU层或BN批归一化层。ReLU层或BN批归一化层用于保证生成器在训练过程中具有相对稳定的收敛速度，保持良好的训练效果。
在上述实施例的基础上，深度卷积神经网络由6层残差网络(英文名称：resnet)单元串联而成。
根据本发明的另一个方面，还提供一种产线异常的判断系统，该判断系统基于生成式对抗网络进行判断，参见图2，该判断系统具体包括：
预测图像获取装置201，用于将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；
需要说明的是，本发明实施例的生成网络用于根据工序前的图像生成预测的工序后的图像，工序前的图像是指所拍摄的生产线上某个工序前的产品的图像，而工序后的图像是指在经过该工序后的产品的图像，例如在微波炉组装时，外壳组装工序前的图像是拍摄的微波炉没有安装外壳，微波炉内部结构一览无余的图像，而外壳组装工序后的图像是微波炉已经安装好外壳的图像。由于生成网络是预先训练的，因此可以认为生成网络输出的预测图像是与实际的工序后的图像是一致的。
判别数值装置202，用于将预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得判别网络的输出值，输出值的值域为(0,1)；
异常判断装置203，用于根据输出值靠近的值域端点，判断产线是否异常。
需要说明的是，训练好的判别网络用于将预测图像和实际的工序后的图像进行比对并得到一个输出值，根据生成对抗网络的原理可知，经过训练的判决网络无法区别出同样经过训练的生成网络所生成的图片是真实的还是预测的，因此，当生成网络生成的预测图像与真实的工序后的图像被判决函数判断区别较大时，可以认为真实的工序后的产品并没有按照预测的那样完成，即该工序出现了差错。
本发明实施例提出的基于生成式对抗网络的产线异常的判断系统，为分析工序后图像判断产线缺陷异常提供了更可信、高效的自动化方法。
优选地，异常判断装置具体用于：
当输出值靠近1时，判断产线正常；当输出值靠近0时，判断产线异常。
需要说明的是，由于生成网络和判别网络在训练时需要根据损失函数进行相互博弈，即判别网络的目标在于最大化损失函数的值，而生成网络在于最小化损失函数的值，因此，在进行判断产线是否异常时，判别函数的输出值越大说明生成网络输出的合成图像(即预测的工序后的图像)足以乱真，即表示实际生产时产品符合工序的生产要求，而如果判别函数的输出值越低，则越发说明生产网络输出的合成图像比较虚假，说明产线发生了异常。
优选地，判断系统还包括：训练装置，用于对生成网络和判别网络进行单独交替迭代训练，训练装置具体用于：
获取训练集，训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种产线异常的判断方法，其特征在于，该判断方法基于生成式对抗网络进行判断，该判断方法具体包括：
将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；
将所述预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得所述判别网络的输出值，所述输出值的值域为(0,1)；
根据所述输出值靠近的值域端点，判断产线是否异常；
其中，所述根据所述输出值靠近的值域端点，判断产线是否异常的步骤，具体包括：
当所述输出值靠近1时，判断产线正常；当所述输出值靠近0时，判断产线异常；
其中，所述将工序前的图像输入至预先训练的生成网络的步骤之前，还包括对所述生成网络和判别网络进行单独交替迭代训练的步骤：
获取训练集，所述训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得所述判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程；
其中，所述对生成网络和判别网络进行单独交替迭代训练的步骤，具体通过以下损失函数进行训练：
其中，G和D分别表示生成网络和判别网络；X表示所有工序前图像的集合；Y表示所有真实的工序后图像的集合；D(y)表示输入实际的工序后的图像y时判别网络的判别结果；G(x)表示向生成网络输入工序前的图像x时输出的预测图像；D(G(x))表示向判别网络输入G(x)时输出的判别结果；表示实际的工序后的图像y取到集合Y中所有值时f的均值；表示工序前的图像x取到集合X中所有值时k的均值。
2.如权利要求1所述的判断方法，其特征在于，所述生成网络包括：
编码模块，包括若干个卷积层，所述若干个卷积层用于提取工序前的图像的特征向量；
转换模块，包括一个可调节深度的深度卷积神经网络，所述深度卷积神经网络用于根据预先获得的映射关系，将工序前的图像的特征向量映射为工序后的图像的特征向量；
解码模块，包括与所述编码模块中卷积层相对应的若干个转置卷积层，所述若干个转置卷积层用于将所述工序后的图像的特征向量还原为预测的工序后的图像。
3.如权利要求2所述的判断方法，其特征在于，所述编码模块还包括在所述若干个卷积层后设置的ReLU层或BN批归一化层。
4.如权利要求3所述的判断方法，其特征在于，所述深度卷积神经网络由6层残差网络单元串联而成。
5.一种产线异常的判断系统，其特征在于，该判断系统基于生成式对抗网络进行判断，该判断系统具体包括：
预测图像获取装置，用于将工序前的图像输入至预先训练的生成网络，输出预测的工序后的图像，作为预测图像；
判别数值装置，用于将所述预测图像以及与该预测图像配对的实际的工序后的图像一同输入至预先训练的判别网络，获得所述判别网络的输出值，所述输出值的值域为(0,1)；
异常判断装置，用于根据所述输出值靠近的值域端点，判断产线是否异常；
其中，所述异常判断装置具体用于：
当所述输出值靠近1时，判断产线正常；当所述输出值靠近0时，判断产线异常；
其中，所述判断系统还包括
训练装置，用于对所述生成网络和判别网络进行单独交替迭代训练，所述训练装置具体用于：
获取训练集，所述训练集中包括一定数量的工序前的图像以及与每个工序前的图像对应的实际的工序后的图像；
在当前的迭代过程中，将训练集中的工序前的图像输入至训练中的生成网络，输出预测的工序后的图像；
将预测的工序后图像和实际的工序后图像分别与工序前图像进行配对，将配对后的图像输入至训练中的判别网络，获得所述判别网络的判决结果；
若判决结果与0.5的差值的绝对值在预设的极小量ε以内，则停止迭代过程；若判决结果与0.5的差值的绝对值在预设的极小量ε以外，则根据所述判别网络的判决结果调节所述生成网络和判别网络的参数，之后进入下一次迭代过程；
其中，所述训练装置具体通过以下损失函数进行训练：
其中，G和D分别表示生成网络和判别网络；X表示所有工序前图像的集合；Y表示所有真实的工序后图像的集合；D(y)表示输入实际的工序后的图像y时判别网络的判别结果；G(x)表示向生成网络输入工序前的图像x时输出的预测图像；D(G(x))表示向判别网络输入G(x)时输出的判别结果；表示实际的工序后的图像y取到集合Y中所有值时f的均值；表示工序前的图像x取到集合X中所有值时k的均值。
CN201810011286.1A 2018-01-05 2018-01-05 产线异常的判断方法及系统 Active CN108090905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810011286.1A CN108090905B (zh) 2018-01-05 2018-01-05 产线异常的判断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810011286.1A CN108090905B (zh) 2018-01-05 2018-01-05 产线异常的判断方法及系统

Publications (2)

Publication Number Publication Date
CN108090905A CN108090905A (zh) 2018-05-29
CN108090905B true CN108090905B (zh) 2019-02-05

Family

ID=62181594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810011286.1A Active CN108090905B (zh) 2018-01-05 2018-01-05 产线异常的判断方法及系统

Country Status (1)

Country Link
CN (1) CN108090905B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522828B (zh) * 2018-11-01 2021-09-28 上海科技大学 一种异常事件检测方法及系统、存储介质及终端
CN110070935B (zh) * 2019-03-20 2021-04-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN113284150B (zh) * 2021-07-26 2021-10-19 常州微亿智造科技有限公司 基于不成对工业数据的工业质检方法、工业质检装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803082A (zh) * 2017-01-23 2017-06-06 重庆邮电大学 一种基于条件式生成对抗网络的在线笔迹识别方法
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN107180392A (zh) * 2017-05-18 2017-09-19 北京科技大学 一种电力企业电费回收数据模拟方法
CN107330956B (zh) * 2017-07-03 2020-08-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN107423700B (zh) * 2017-07-17 2020-10-20 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN107423701B (zh) * 2017-07-17 2020-09-01 智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN107358626B (zh) * 2017-07-17 2020-05-15 清华大学深圳研究生院 一种利用条件生成对抗网络计算视差的方法

Also Published As

Publication number Publication date
CN108090905A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN110533045B (zh) 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN105975573B (zh) 一种基于knn的文本分类方法
CN110110745A (zh) 基于生成对抗网络的半监督x光图像自动标注
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN107545245A (zh) 一种年龄估计方法及设备
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN108090905B (zh) 产线异常的判断方法及系统
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
CN108537119A (zh) 一种小样本视频识别方法
CN110110610B (zh) 一种用于短视频的事件检测方法
CN108154924A (zh) 基于支持向量机的阿尔茨海默症特征分类方法及系统
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN109598671A (zh) 图像生成方法、装置、设备及介质
CN108986091A (zh) 基于深度哈希网络的铸件缺陷图像检测方法
CN114913923A (zh) 针对单细胞染色质开放性测序数据的细胞类型识别方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN115797637A (zh) 基于模型间和模型内不确定性的半监督分割模型
CN108229505A (zh) 基于fisher多级字典学习的图像分类方法
Sahu et al. Modeling feature representations for affective speech using generative adversarial networks
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant