CN113554645B - 基于wgan的工业异常检测方法和装置 - Google Patents

基于wgan的工业异常检测方法和装置 Download PDF

Info

Publication number
CN113554645B
CN113554645B CN202111090265.1A CN202111090265A CN113554645B CN 113554645 B CN113554645 B CN 113554645B CN 202111090265 A CN202111090265 A CN 202111090265A CN 113554645 B CN113554645 B CN 113554645B
Authority
CN
China
Prior art keywords
detected
workpiece
image
wgan
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111090265.1A
Other languages
English (en)
Other versions
CN113554645A (zh
Inventor
杭天欣
郭骏
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202111090265.1A priority Critical patent/CN113554645B/zh
Publication of CN113554645A publication Critical patent/CN113554645A/zh
Application granted granted Critical
Publication of CN113554645B publication Critical patent/CN113554645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于WGAN的工业异常检测方法和装置,其中,所述方法包括以下步骤:获取待检测工件的异常图集和非异常图集;对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;根据第一数据集和第二数据集构建WGAN异常检测模型;获取待检测工件的待检测图像;采用卷积神经网络对待检测工件的待检测图像进行数据筛选;采用WGAN异常检测模型对筛选后的待检测图像进行异常检测。本发明能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。

Description

基于WGAN的工业异常检测方法和装置
技术领域
本发明涉及工业质检技术领域,具体涉及一种基于WGAN的工业异常检测方法和一种基于WGAN的工业异常检测装置。
背景技术
目前工业质检中,缺陷的异常检测必不可少,因为在工业质检的产线上,往往将工件不加过滤地直接送入目标检测模型,但是这些异常缺陷在检测时可能会被漏掉,影响目标检测的准确度。所以,为了避免这样的错误发生,在目标检测模型工作之前,需要用异常检测模型先进行异常检测。
然而,目前常用的异常检测算法,例如传统的视觉算法,利用OpenCV等开源库的算子来实现异常检测,由于计算资源损耗大、耗时长、一些算法不能用于商业用途等原因,导致该方法在工业中并不适用;又例如深度学习算法,由于深度学习模型的训练需要大量的相应数据,但是异常工件的数量极为有限,所以在工业质检领域,异常缺陷的数据不足以支撑模型的训练,往往导致训练模型的精度难以适应异常检测的需求。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种基于WGAN的工业异常检测方法,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
本发明的第二个目的在于提出一种基于WGAN的工业异常检测装置。
为达到上述目的,本发明第一方面实施例提出了一种基于WGAN的工业异常检测方法,包括以下步骤:获取待检测工件的异常图集和非异常图集;对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;根据所述第一数据集和所述第二数据集构建WGAN异常检测模型;获取待检测工件的待检测图像;采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选;采用所述WGAN异常检测模型对筛选后的所述待检测图像进行异常检测。
根据本发明提出的基于WGAN的工业异常检测方法,通过对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,并根据第一数据集和第二数据集构建WGAN异常检测模型,还采用卷积神经网络对待检测工件的待检测图像进行初步的数据筛选,最终采用WGAN异常检测模型对筛选后的待检测图像进行异常检测,从而判断待检测工件是否为异常工件,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
另外,根据本发明上述实施例提出的基于WGAN的工业异常检测方法还可以具有如下附加的技术特征:
进一步地,对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,具体包括以下步骤:对所述待检测工件的异常图集和非异常图集分别进行灰度处理,以对应得到第一灰度图和第二灰度图;对所述第一灰度图和所述第二灰度图分别进行伸缩和高斯滤波处理,以对应得到第一数据集和第二数据集。
进一步地,根据所述第一数据集和所述第二数据集构建WGAN异常检测模型,具体包括以下步骤:构建原始WGAN模型,其中,所述原始WGAN模型包括生成器和判别器;将所述第一数据集和所述第二数据集输入所述原始WGAN模型中,以对所述原始WGAN模型进行训练得到所述WGAN异常检测模型,其中,所述第一数据集模拟所述原始WGAN模型生成器的随机噪声,所述第二数据集模拟所述原始WGAN模型判别器的标签。
进一步地,采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选,具体包括以下步骤:获取所述待检测工件的标准工件图集;采用全连接DenseNet卷积网络分别对所述待检测工件的标准工件图集和待检测图像进行处理,以对应得到第一特征向量和第二特征向量;计算所述第一特征向量和所述第二特征向量的余弦相似度分数;判断所述余弦相似度分数是否超过设定阈值;若否,则将所述待检测工件标记为异常工件;若是,则将所述待检测工件的待检测图像标记为筛选后的待检测图像。
进一步地,采用所述WGAN异常检测模型对筛选后的所述待检测图像进行异常检测,具体包括以下步骤:对筛选后的所述待检测图像进行数据预处理,以得到二次待检测图像;将所述二次待检测图像输入所述WGAN异常检测模型,以通过所述WGAN异常检测模型的判别器和生成器对所述二次待检测图像进行并行异常检测,进而判断其对应的所述待检测工件是否为异常工件。
为达到上述目的,本发明第二方面实施例提出了一种基于WGAN的工业异常检测装置,包括:第一获取模块,所述第一获取模块用于获取待检测工件的异常图集和非异常图集;处理模块,所述处理模块用于对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;构建模块,所述构建模块用于根据所述第一数据集和所述第二数据集构建WGAN异常检测模型;第二获取模块,所述第二获取模块用于获取待检测工件的待检测图像;第一筛选模块,所述第一筛选模块用于采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选;第二筛选模块,所述第二筛选模块用于采用所述WGAN异常检测模型对筛选后的所述待检测图像进行异常检测。
根据本发明提出的基于WGAN的工业异常检测装置,通过处理模块对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,并通过构建模块根据第一数据集和第二数据集构建WGAN异常检测模型,还可通过第一筛选模块采用卷积神经网络对待检测工件的待检测图像进行初步的数据筛选,最终可通过第二筛选模块采用WGAN异常检测模型对筛选后的待检测图像进行异常检测,从而判断待检测工件是否为异常工件,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
为达到上述目的,本发明第三方面实施例提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现根据第一方面实施例中任一项所述的基于WGAN的工业异常检测方法。
根据本发明实施例提出的计算机设备,通过处理器执行计算机程序时,实现第一方面实施例中任一项的基于WGAN的工业异常检测方法,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
为达到上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据第一方面实施例中任一项所述的基于WGAN的工业异常检测方法。
根据本发明实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现第一方面实施例中任一项的基于WGAN的工业异常检测方法,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
附图说明
图1为本发明实施例的基于WGAN的工业异常检测方法的流程图;
图2为本发明一个实施例的WGAN异常检测模型的训练过程;
图3为本发明一个实施例的基于WGAN异常检测模型的异常检测过程图;
图4为本发明实施例的基于WGAN的工业异常检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明的基于WGAN的工业异常检测方法的流程图。
如图1所示,本发明实施例的基于WGAN的工业异常检测方法,包括以下步骤:
S1,获取待检测工件的异常图集和非异常图集。
在本发明的一个实施例中,可通过工业控制系统的数据库中获取待检测工件的异常图集和非异常图集。
S2,对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集。
具体地,可对待检测工件的异常图集和非异常图集分别进行灰度处理,以对应得到第一灰度图和第二灰度图,进一步可对第一灰度图和第二灰度图分别进行伸缩和高斯滤波处理,以对应得到第一数据集和第二数据集。通过灰度处理,可将三通道图片转换为单通道图片,从而能够减少数据量,并能够提高模型效率,此外还能够提高模型的鲁棒性;通过伸缩处理,能够进一步减少数据量,提高模型效率;通过高斯滤波处理能够提高图片的平滑性,便于后续模型的学习。
S3,根据第一数据集和第二数据集构建WGAN异常检测模型。
具体地,可先构建原始WGAN模型,该原始WGAN模型包括生成器和判别器,进而可将第一数据集和第二数据集输入原始WGAN模型中,以对原始WGAN模型进行训练得到WGAN异常检测模型,其中,第一数据集模拟原始WGAN模型生成器的随机噪声,第二数据集模拟原始WGAN模型判别器的标签。
更具体地,如图2所示,第一数据集可模拟原始WGAN模型生成器的随机噪声输入原始WGAN模型的生成器G,以训练生成器G,并可生成假图F;第二数据集可模拟原始WGAN模型判别器D的标签,并可与假图F共同输入判别器D,以训练判别器D,并可将判别结果返回生成器G,以对生成器G进行更新,从而迭代训练判别器D和生成器G,以得到WGAN异常检测模型。
其中,需要说明的是,在WGAN异常检测模型中,判别器D的损失函数来自于Wasserstein距离(即为由一个分布转变为另一个分布所需要的代价),可通过以下公式计算:
假设第二数据集中某图和生成的假图F都具有n个像素点,从第一个像素点开始,
Figure 502315DEST_PATH_IMAGE001
Figure 753518DEST_PATH_IMAGE002
的代价分数为:
Figure 689988DEST_PATH_IMAGE003
其中,
Figure 733774DEST_PATH_IMAGE001
Figure 141097DEST_PATH_IMAGE002
表示第一个像素点的值。
因此,Wasserstein距离为:
Figure 776519DEST_PATH_IMAGE004
判别器D的损失函数为:
Figure 390165DEST_PATH_IMAGE005
其中,
Figure 175325DEST_PATH_IMAGE006
表示真实样本分布,
Figure 545477DEST_PATH_IMAGE007
表示由生成器G产生的样本分布,E表示数学期 望,
Figure 659189DEST_PATH_IMAGE008
表示WGAN异常检测模型中神经网络的拟合函数。
S4,获取待检测工件的待检测图像。
在本发明的一个实施例中,可通过工业相机对工业流水线进行实时拍摄,以获取工业流水线中待检测工件的待检测图像。
S5,采用卷积神经网络对待检测工件的待检测图像进行数据筛选。
具体地,可先获取待检测工件的标准工件图集,并可采用全连接DenseNet卷积网络分别对待检测工件的标准工件图集和待检测图像进行处理,以对应得到第一特征向量和第二特征向量,进而可计算第一特征向量和第二特征向量的余弦相似度分数,并可判断余弦相似度分数是否超过设定阈值,其中,若否,则可将待检测工件标记为异常工件,并可获取下一个待检测工件的待检测图像进行数据筛选,若是,则可将待检测工件的待检测图像标记为筛选后的待检测图像。
更具体地,可通过以下公式计算第一特征向量和第二特征向量的余弦相似度分数:
Figure 442687DEST_PATH_IMAGE009
其中,A表示第一特征向量,B表示第二特征向量,
Figure 96785DEST_PATH_IMAGE010
表示余弦相似度分数。
S6,采用WGAN异常检测模型对筛选后的待检测图像进行异常检测。
具体地,可对筛选后的待检测图像进行数据预处理,以得到二次待检测图像,并可将二次待检测图像输入WGAN异常检测模型,以通过WGAN异常检测模型的判别器和生成器对二次待检测图像进行并行异常检测,进而判断其对应的待检测工件是否为异常工件。
更具体地,如图3所示,WGAN异常检测模型可包括第一判别器D1、第二判别器D2和生成器G,其中,第一判别器D1、第二判别器D2均与上述实施例中训练得到判别器D相同。由此,在对筛选后的待检测图像进行灰度处理、伸缩处理和高斯滤波处理得到二次待检测图像后,可将二次待检测图像输入WGAN异常检测模型中的第一判别器D1和生成器G。其中,由于第一判别器D1的标签为第二数据集,即非异常图集,所以第一判别器D1对异常图像具有较高的敏感度,从而能够准确判别输入的图像是否异常,因此,若第一判别器D1判定输入的二次待检测图像为YES,则可判定该二次待检测图像对应的待检测工件为非异常工件,若第一判别器D1判定输入的二次待检测图像为NO,则可判定该二次待检测图像对应的待检测工件为异常工件。
此外,由于第二判别器D2的标签为第二数据集,即非异常图集,加上生成器G的输入并非常规的随机噪声,而是由第一数据集,即异常图集组成,因此,当生成器G输入的二次待检测图像为异常工件图像时,生成器G生成的假图F则会极其近似于真正的非异常工件图像,由此,当将生成器G生成的假图F输入第二判别器D2时,若第二判别器D2判定该假图F为YES,则可判定该假图F对应的待检测工件为异常工件。
需要进一步说明的是,二次待检测图像在第一判别器D1,以及生成器G和第二判别器D2中的处理过程是并行的,并且只要第一判别器D1或第二判别器D2中的一个判定二次待检测图像对应的待检测工件为异常工件,就可将该待检测工件确定为异常工件送入NG(NoGood,不良品)物料盒。通过设置生成器G和第二判别器D2的组合对第一判别器D1进行补偿,能够防止第一判别器D1漏检,从而能够提高模型检测的准确性。
根据本发明提出的基于WGAN的工业异常检测方法,通过对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,并根据第一数据集和第二数据集构建WGAN异常检测模型,还采用卷积神经网络对待检测工件的待检测图像进行初步的数据筛选,最终采用WGAN异常检测模型对筛选后的待检测图像进行异常检测,从而判断待检测工件是否为异常工件,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
对应上述实施例,本发明还提出一种基于WGAN的工业异常检测装置。
如图4所示,本发明实施例的基于WGAN的工业异常检测装置,包括第一获取模块10、处理模块20、构建模块30、第二获取模块40、第一筛选模块50、第二筛选模块60。其中,第一获取模块10用于获取待检测工件的异常图集和非异常图集;处理模块20用于对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;构建模块30用于根据第一数据集和第二数据集构建WGAN异常检测模型;第二获取模块40用于获取待检测工件的待检测图像;第一筛选模块50用于采用卷积神经网络对待检测工件的待检测图像进行数据筛选;第二筛选模块60用于采用WGAN异常检测模型对筛选后的待检测图像进行异常检测。
在本发明的一个实施例中,第一获取模块10可通过工业控制系统的数据库中获取待检测工件的异常图集和非异常图集。
在本发明的一个实施例中,处理模块20可具体用于对待检测工件的异常图集和非异常图集分别进行灰度处理,以对应得到第一灰度图和第二灰度图,进一步可对第一灰度图和第二灰度图分别进行伸缩和高斯滤波处理,以对应得到第一数据集和第二数据集。通过灰度处理,可将三通道图片转换为单通道图片,从而能够减少数据量,并能够提高模型效率,此外还能够提高模型的鲁棒性;通过伸缩处理,能够进一步减少数据量,提高模型效率;通过高斯滤波处理能够提高图片的平滑性,便于后续模型的学习。
在本发明的一个实施例中,构建模块30可具体用于先构建原始WGAN模型,该原始WGAN模型包括生成器和判别器,进而可将第一数据集和第二数据集输入原始WGAN模型中,以对原始WGAN模型进行训练得到WGAN异常检测模型,其中,第一数据集模拟原始WGAN模型生成器的随机噪声,第二数据集模拟原始WGAN模型判别器的标签。
更具体地,如图2所示,第一数据集可模拟原始WGAN模型生成器的随机噪声输入原始WGAN模型的生成器G,以训练生成器G,并可生成假图F;第二数据集可模拟原始WGAN模型判别器D的标签,并可与假图F共同输入判别器D,以训练判别器D,并可将判别结果返回生成器G,以对生成器G进行更新,从而迭代训练判别器D和生成器G,以得到WGAN异常检测模型。
其中,需要说明的是,在WGAN异常检测模型中,判别器D的损失函数来自于Wasserstein距离(即为由一个分布转变为另一个分布所需要的代价),可通过以下公式计算:
假设第二数据集中某图和生成的假图F都具有n个像素点,从第一个像素点开始,
Figure 711656DEST_PATH_IMAGE001
Figure 465111DEST_PATH_IMAGE002
的代价分数为:
Figure 572392DEST_PATH_IMAGE011
其中,
Figure 761672DEST_PATH_IMAGE001
Figure 751755DEST_PATH_IMAGE002
表示第一个像素点的值。
因此,Wasserstein距离为:
Figure 735499DEST_PATH_IMAGE012
判别器D的损失函数为:
Figure 683470DEST_PATH_IMAGE013
其中,
Figure 112658DEST_PATH_IMAGE014
表示真实样本分布,
Figure 626423DEST_PATH_IMAGE015
表示由生成器G产生的样本分布,E表示数学期 望,
Figure 111893DEST_PATH_IMAGE016
表示WGAN异常检测模型中神经网络的拟合函数。
在本发明的一个实施例中,第二获取模块40可为工业相机,可具体用于对工业流水线进行实时拍摄,以获取工业流水线中待检测工件的待检测图像。
在本发明的一个实施例中,第一筛选模块50可具体用于获取待检测工件的标准工件图集,并可采用全连接DenseNet卷积网络分别对待检测工件的标准工件图集和待检测图像进行处理,以对应得到第一特征向量和第二特征向量,进而可计算第一特征向量和第二特征向量的余弦相似度分数,并可判断余弦相似度分数是否超过设定阈值,其中,若否,则可将待检测工件标记为异常工件,并可获取下一个待检测工件的待检测图像进行数据筛选,若是,则可将待检测工件的待检测图像标记为筛选后的待检测图像。
更具体地,可通过以下公式计算第一特征向量和第二特征向量的余弦相似度分数:
Figure 429652DEST_PATH_IMAGE017
其中,A表示第一特征向量,B表示第二特征向量,
Figure 288630DEST_PATH_IMAGE018
表示余弦相似度分数。
在本发明的一个实施例中,第二筛选模块60可具体用于对筛选后的待检测图像进行数据预处理,以得到二次待检测图像,并可将二次待检测图像输入WGAN异常检测模型,以通过WGAN异常检测模型的判别器和生成器对二次待检测图像进行并行异常检测,进而判断其对应的待检测工件是否为异常工件。
更具体地,如图3所示,WGAN异常检测模型可包括第一判别器D1、第二判别器D2和生成器G,其中,第一判别器D1、第二判别器D2均与上述实施例中训练得到判别器D相同。由此,在对筛选后的待检测图像进行灰度处理、伸缩处理和高斯滤波处理得到二次待检测图像后,可将二次待检测图像输入WGAN异常检测模型中的第一判别器D1和生成器G。其中,由于第一判别器D1的标签为第二数据集,即非异常图集,所以第一判别器D1对异常图像具有较高的敏感度,从而能够准确判别输入的图像是否异常,因此,若第一判别器D1判定输入的二次待检测图像为YES,则可判定该二次待检测图像对应的待检测工件为非异常工件,若第一判别器D1判定输入的二次待检测图像为NO,则可判定该二次待检测图像对应的待检测工件为异常工件。
此外,由于第二判别器D2的标签为第二数据集,即非异常图集,加上生成器G的输入并非常规的随机噪声,而是由第一数据集,即异常图集组成,因此,当生成器G输入的二次待检测图像为异常工件图像时,生成器G生成的假图F则会极其近似于真正的非异常工件图像,由此,当将生成器G生成的假图F输入第二判别器D2时,若第二判别器D2判定该假图F为YES,则可判定该假图F对应的待检测工件为异常工件。
需要进一步说明的是,二次待检测图像在第一判别器D1,以及生成器G和第二判别器D2中的处理过程是并行的,并且只要第一判别器D1或第二判别器D2中的一个判定二次待检测图像对应的待检测工件为异常工件,就可将该待检测工件确定为异常工件送入NG物料盒。通过设置生成器G和第二判别器D2的组合对第一判别器D1进行补偿,能够防止第一判别器D1漏检,从而能够提高模型检测的准确性。
根据本发明提出的基于WGAN的工业异常检测装置,通过处理模块对待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,并通过构建模块根据第一数据集和第二数据集构建WGAN异常检测模型,还可通过第一筛选模块采用卷积神经网络对待检测工件的待检测图像进行初步的数据筛选,最终可通过第二筛选模块采用WGAN异常检测模型对筛选后的待检测图像进行异常检测,从而判断待检测工件是否为异常工件,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现根据上述实施例中任一项的基于WGAN的工业异常检测方法。
根据本发明实施例提出的计算机设备,通过处理器执行计算机程序时,实现上述实施例中任一项的基于WGAN的工业异常检测方法,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现根据上述实施例中任一项的基于WGAN的工业异常检测方法。
根据本发明实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现上述实施例中任一项的基于WGAN的工业异常检测方法,由此,能够在异常缺陷数据较少的情况下实现工业异常检测,并且采用的算子简单,同时具有较高的检测效率和检测精度。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于WGAN的工业异常检测方法,其特征在于,包括以下步骤:
获取待检测工件的异常图集和非异常图集;
对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;
根据所述第一数据集和所述第二数据集构建WGAN异常检测模型,具体包括构建原始WGAN模型,其中,所述原始WGAN模型包括生成器和判别器,将所述第一数据集和所述第二数据集输入所述原始WGAN模型中,以对所述原始WGAN模型进行训练得到所述WGAN异常检测模型,更具体地,所述第一数据集模拟所述原始WGAN模型生成器的随机噪声,输入所述原始WGAN模型的生成器中,以训练所述生成器,并生成假图,所述第二数据集模拟所述原始WGAN模型判别器的标签,与所述假图共同输入所述原始WGAN模型的判别器,以训练所述判别器,并将判别结果返回所述生成器,以对所述生成器进行更新,从而迭代训练所述判别器和所述生成器,以得到所述WGAN异常检测模型,其中,所述WGAN异常检测模型的判别器包括第一判别器和第二判别器;
获取待检测工件的待检测图像;
采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选;
采用所述WGAN异常检测模型对筛选后的所述待检测图像进行异常检测,具体包括对筛选后的所述待检测图像进行数据预处理,以得到二次待检测图像,将所述二次待检测图像输入所述WGAN异常检测模型,以通过所述WGAN异常检测模型的判别器和生成器对所述二次待检测图像进行并行异常检测,进而判断其对应的所述待检测工件是否为异常工件,更具体地,将所述二次待检测图像输入所述WGAN异常检测模型中的第一判别器和生成器,若所述第一判别器判定输入的所述二次待检测图像为YES,则可判定所述二次待检测图像对应的待检测工件为非异常工件,若所述第一判别器判定输入的所述二次待检测图像为NO,则可判定所述二次待检测图像对应的待检测工件为异常工件,此外,当所述生成器输入的所述二次待检测图像为异常工件图像时,所述生成器生成的假图则会极其近似于真正的非异常工件图像,因此,当将所述生成器生成的假图输入所述第二判别器时,若所述第二判别器判定所述假图为YES,则可判定所述假图对应的待检测工件为异常工件,需要说明的是,所述二次待检测图像在所述第一判别器,以及所述生成器和所述第二判别器中的处理过程是并行的,并且只要所述第一判别器或所述第二判别器中的一个判定所述二次待检测图像对应的待检测工件为异常工件,将所述待检测工件确定为异常工件。
2.根据权利要求1所述的基于WGAN的工业异常检测方法,其特征在于,对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集,具体包括以下步骤:
对所述待检测工件的异常图集和非异常图集分别进行灰度处理,以对应得到第一灰度图和第二灰度图;
对所述第一灰度图和所述第二灰度图分别进行伸缩和高斯滤波处理,以对应得到第一数据集和第二数据集。
3.根据权利要求2所述的基于WGAN的工业异常检测方法,其特征在于,采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选,具体包括以下步骤:
获取所述待检测工件的标准工件图集;
采用全连接DenseNet卷积网络分别对所述待检测工件的标准工件图集和待检测图像进行处理,以对应得到第一特征向量和第二特征向量;
计算所述第一特征向量和所述第二特征向量的余弦相似度分数;
判断所述余弦相似度分数是否超过设定阈值;
若否,则将所述待检测工件标记为异常工件;
若是,则将所述待检测工件的待检测图像标记为筛选后的待检测图像。
4.一种基于WGAN的工业异常检测装置,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取待检测工件的异常图集和非异常图集;
处理模块,所述处理模块用于对所述待检测工件的异常图集和非异常图集分别进行数据预处理,以对应得到第一数据集和第二数据集;
构建模块,所述构建模块用于根据所述第一数据集和所述第二数据集构建WGAN异常检测模型,所述构建模块具体用于构建原始WGAN模型,其中,所述原始WGAN模型包括生成器和判别器,将所述第一数据集和所述第二数据集输入所述原始WGAN模型中,以对所述原始WGAN模型进行训练得到所述WGAN异常检测模型,更具体地,所述第一数据集模拟所述原始WGAN模型生成器的随机噪声,输入所述原始WGAN模型的生成器中,以训练所述生成器,并生成假图,所述第二数据集模拟所述原始WGAN模型判别器的标签,与所述假图共同输入所述原始WGAN模型的判别器,以训练所述判别器,并将判别结果返回所述生成器,以对所述生成器进行更新,从而迭代训练所述判别器和所述生成器,以得到所述WGAN异常检测模型,其中,所述WGAN异常检测模型的判别器包括第一判别器和第二判别器;
第二获取模块,所述第二获取模块用于获取待检测工件的待检测图像;
第一筛选模块,所述第一筛选模块用于采用卷积神经网络对所述待检测工件的待检测图像进行数据筛选;
第二筛选模块,所述第二筛选模块用于采用所述WGAN异常检测模型对筛选后的所述待检测图像进行异常检测,所述第二筛选模块具体用于对筛选后的所述待检测图像进行数据预处理,以得到二次待检测图像,将所述二次待检测图像输入所述WGAN异常检测模型,以通过所述WGAN异常检测模型的判别器和生成器对所述二次待检测图像进行并行异常检测,进而判断其对应的所述待检测工件是否为异常工件,更具体地,将所述二次待检测图像输入所述WGAN异常检测模型中的第一判别器和生成器,若所述第一判别器判定输入的所述二次待检测图像为YES,则可判定所述二次待检测图像对应的待检测工件为非异常工件,若所述第一判别器判定输入的所述二次待检测图像为NO,则可判定所述二次待检测图像对应的待检测工件为异常工件,此外,当所述生成器输入的所述二次待检测图像为异常工件图像时,所述生成器生成的假图则会极其近似于真正的非异常工件图像,因此,当将所述生成器生成的假图输入所述第二判别器时,若所述第二判别器判定所述假图为YES,则可判定所述假图对应的待检测工件为异常工件,需要说明的是,所述二次待检测图像在所述第一判别器,以及所述生成器和所述第二判别器中的处理过程是并行的,并且只要所述第一判别器或所述第二判别器中的一个判定所述二次待检测图像对应的待检测工件为异常工件,将所述待检测工件确定为异常工件。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现根据权利要求1-3中任一项所述的基于WGAN的工业异常检测方法。
6.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1-3中任一项所述的基于WGAN的工业异常检测方法。
CN202111090265.1A 2021-09-17 2021-09-17 基于wgan的工业异常检测方法和装置 Active CN113554645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111090265.1A CN113554645B (zh) 2021-09-17 2021-09-17 基于wgan的工业异常检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111090265.1A CN113554645B (zh) 2021-09-17 2021-09-17 基于wgan的工业异常检测方法和装置

Publications (2)

Publication Number Publication Date
CN113554645A CN113554645A (zh) 2021-10-26
CN113554645B true CN113554645B (zh) 2022-01-11

Family

ID=78134626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111090265.1A Active CN113554645B (zh) 2021-09-17 2021-09-17 基于wgan的工业异常检测方法和装置

Country Status (1)

Country Link
CN (1) CN113554645B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399505B (zh) * 2022-03-25 2022-06-28 江苏智云天工科技有限公司 工业检测中的检测方法、检测装置
CN115984546B (zh) * 2022-12-21 2023-08-08 四川数聚智造科技有限公司 一种针对固定场景的异常检测用的样本底库生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070746A (zh) * 2020-09-09 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 钢带缺陷检测方法和装置
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112508950A (zh) * 2021-02-02 2021-03-16 常州微亿智造科技有限公司 异常检测方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009568A (zh) * 2017-11-14 2018-05-08 华南理工大学 一种基于wgan模型的行人检测方法
CN108734690B (zh) * 2018-03-02 2021-12-14 苏州汉特士视觉科技有限公司 一种视觉缺陷检测设备及其检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070746A (zh) * 2020-09-09 2020-12-11 深兰人工智能芯片研究院(江苏)有限公司 钢带缺陷检测方法和装置
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112508950A (zh) * 2021-02-02 2021-03-16 常州微亿智造科技有限公司 异常检测方法和装置

Also Published As

Publication number Publication date
CN113554645A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN109949305B (zh) 产品表面缺陷检测方法、装置及计算机设备
CN111815572B (zh) 一种基于卷积神经网络对锂电池焊接质量的检测方法
CN109871895B (zh) 电路板的缺陷检测方法和装置
CN109948684B (zh) 激光雷达点云数据标注质量的质检方法、装置及设备
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN112508950B (zh) 异常检测方法和装置
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
US10235629B2 (en) Sensor data confidence estimation based on statistical analysis
US10634621B2 (en) Information processing method, information processing apparatus, and program
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN108492327B (zh) Aoi图像匹配方法、系统、可读存储介质及智能设备
JP2011145179A (ja) 官能検査装置及び官能検査方法
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
CN115629127A (zh) 一种货箱缺陷分析方法、装置、设备及可读存储介质
KR102189951B1 (ko) 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법
US11521120B2 (en) Inspection apparatus and machine learning method
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
JP2006292615A (ja) 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
JP2020042668A (ja) 検査装置及び機械学習方法
CN117274258A (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
CN115249316A (zh) 工业缺陷检测方法和装置
CN115018787A (zh) 一种基于梯度增强的异常检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant