CN113780484B - 工业产品缺陷检测方法和装置 - Google Patents

Abstract

本发明涉及工业质检技术领域，为解决如何实现高精度缺陷检测的技术问题，提出了一种工业产品缺陷检测方法和装置，所述方法包括：将缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到第一缺陷检出框；以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，训练过检分析模型；抽取良品集中的一部分良品图像进行随机抠图操作，训练残缺图恢复模型；通过训练后的目标检测模型得到待检测工业产品图像的第二缺陷检出框；将待检测工业产品图像的第二缺陷检出框输入过检分析模型，得到是否真的包含普通缺陷的过检分析结果；通过训练后的残缺图恢复模型得到待检测工业产品图像是否存在特殊缺陷的漏检分析结果。

Description

工业产品缺陷检测方法和装置

技术领域

本发明涉及工业质检技术领域，具体涉及一种工业产品缺陷检测方法、一种工业产品缺陷检测装置、一种计算机设备和一种非临时性计算机可读存储介质。

背景技术

在工业质检中，对3C产品（计算机类、通信类和消费类电子产品三者的统称）的高精度缺陷检测一直是热门。随着人工智能和深度学习的发展，对3C产品高精度缺陷检测的技术方案已经逐步从传统的机器视觉转向深度视觉算法。

人工智能时代下，对于工业产品的缺陷检测通常利用摄像头拍取产品图像，并且用深度学习中的目标检测模型对图像进行检测。3C产品存在很多常见的细小缺陷，即普通缺陷，例如电脑盖板的划痕、电路元件的缺失或破损、焊点的缺失等，在对3C产品的高精度缺陷检测中，由于很多缺陷和非缺陷区域形态相似，仅用单一的目标检测模型，会出现将非缺陷判定为缺陷的过检，和将缺陷判定为非缺陷的漏检。并且，对于一些特殊缺陷，例如严重的物料形变、大规模面积的缺料等大面积缺陷，由于样本数量极少，且缺陷区域并没有包含上述的普通缺陷，仅用单一的目标检测模型很难学习和成功检测到，这无疑也会出现漏检。因此，相关技术中的缺陷检测方案很难同时具备较低的缺陷过检率和较低的缺陷漏检率。

发明内容

本发明为解决上述技术问题，提供了一种工业产品缺陷检测方法和装置，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

本发明采用的技术方案如下：

一种工业产品缺陷检测方法，包括以下步骤：S1，获取缺陷集，其中，所述缺陷集包括多个缺陷图像，每个所述缺陷图像均包含普通缺陷；S2，抽取所述缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过所述第一训练集训练目标检测模型；S3，将所述缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框；S4，对每个所述第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个所述第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过所述第二训练集训练过检分析模型；S5，获取良品集，其中，所述良品集包括多个良品图像；S6，抽取所述良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过所述第三训练集训练残缺图恢复模型；S7，将所述良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库；S8，获取待检测工业产品图像；S9，将所述待检测工业产品图像输入训练后的目标检测模型，得到所述待检测工业产品图像的第二缺陷检出框；S10，将所述待检测工业产品图像的第二缺陷检出框输入所述过检分析模型，得到所述待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果；S11，将所述待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到所述待检测工业产品图像的特征向量；S12，从所述良品向量库中随机抽取预设数量的特征向量；S13，计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的特征向量的相似度数据；S14，根据所述相似度数据得到所述待检测工业产品图像是否存在特殊缺陷的漏检分析结果；S15，以所述过检分析结果和所述漏检分析结果作为所述待检测工业产品图像的缺陷检测结果。

所述缺陷物理量数据包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。

步骤S13具体包括：计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到所述相似度数据。

步骤S14具体包括：如果所述相似度数据大于或等于预设阈值，则判定所述待检测工业产品图像不存在特殊缺陷；如果所述相似度数据小于所述预设阈值，则判定所述待检测工业产品图像存在特殊缺陷。

一种工业产品缺陷检测装置，包括：第一获取模块，用于获取缺陷集，其中，所述缺陷集包括多个缺陷图像，每个所述缺陷图像均包含普通缺陷；第一训练模块，用于抽取所述缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过所述第一训练集训练目标检测模型；第一检测模块，用于将所述缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框；第二训练模块，用于对每个所述第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个所述第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过所述第二训练集训练过检分析模型；第二获取模块，用于获取良品集，其中，所述良品集包括多个良品图像；第三训练模块，用于抽取所述良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过所述第三训练集训练残缺图恢复模型；第三获取模块，用于将所述良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库；第四获取模块，用于获取待检测工业产品图像；第二检测模块，用于将所述待检测工业产品图像输入训练后的目标检测模型，得到所述待检测工业产品图像的第二缺陷检出框；第三检测模块，用于将所述待检测工业产品图像的第二缺陷检出框输入所述过检分析模型，得到所述待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果；第五获取模块，用于将所述待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到所述待检测工业产品图像的特征向量；抽取模块，用于从所述良品向量库中随机抽取预设数量的特征向量；计算模块，用于计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的特征向量的相似度数据；第六获取模块，用于根据所述相似度数据得到所述待检测工业产品图像是否存在特殊缺陷的漏检分析结果；第七获取模块，用于以所述过检分析结果和所述漏检分析结果作为所述待检测工业产品图像的缺陷检测结果。

所述缺陷物理量数据包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。

所述计算模块具体用于计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到所述相似度数据。

所述第六获取模块具体用于在所述相似度数据大于或等于预设阈值时，判定所述待检测工业产品图像不存在特殊缺陷，并在所述相似度数据小于所述预设阈值时，判定所述待检测工业产品图像存在特殊缺陷。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述工业产品缺陷检测方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述工业产品缺陷检测方法。

本发明的有益效果：

本发明通过训练后的过检分析模型对目标检测模型的检测结果进行过检分析，并基于对良品图像的抠图操作来实现漏检分析，由此，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

附图说明

图1为本发明实施例的工业产品缺陷检测方法的流程图；

图2为本发明实施例的工业产品缺陷检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例的工业产品缺陷检测方法包括以下步骤：

S1，获取缺陷集，其中，缺陷集包括多个缺陷图像，每个缺陷图像均包含普通缺陷。

在本发明的一个实施例中，可在工业产品的生产线上收集大量的包含普通缺陷的工业产品的图像，即缺陷图像，从而构成缺陷集。本发明实施例中的普通缺陷为工业产品中常见的、数量占比较大的细小缺陷，例如电脑盖板的划痕、电路元件的缺失或破损、焊点的缺失等，每个缺陷图像可包含一个或多个普通缺陷。

S2，抽取缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过第一训练集训练目标检测模型。

在本发明的一个实施例中，可从上述的缺陷集中随机抽取若干缺陷图像，对缺陷图像中的缺陷进行标注，标注的内容可以为是否属于缺陷，还可以包括缺陷类型等信息。

在本发明的一个实施例中，目标检测模型可采用任一目标检测网络架构，例如RCNN（一种用于目标检测的卷积神经网络）、SSD（Single Shot Detection，一种目标检测网络）、YOLO（You Only Look Once，一种目标检测网络）等，以缺陷标注作为监督学习的标签，最终训练出的目标检测模型可将任一缺陷图像中的缺陷检测出来。

S3，将缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框。

第一缺陷检出框为缺陷集中的缺陷图像输入目标检测模型后得到的输出结果，其实质上为训练后的目标检测模型在缺陷图像中所检测出来的含有普通缺陷的小区域。

S4，对每个第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过第二训练集训练过检分析模型。

在本发明的一个实施例中，缺陷物理量数据可包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。例如，可以包括第一缺陷检出框的长、宽、中心坐标、框内像素的对比度、前20%最大平均亮度、后20%最小平均亮度、灰度平均值、缺陷的类型、检出分数等。应当理解的是，上述的缺陷物理量数据为有量纲的数据，为便于后续数据的处理，在本发明的实施例中可进一步地对上述的缺陷物理量数据进行归一化，获得归一化后的缺陷物理量数据。

同时，在得到每个缺陷图像的第一缺陷检出框后，还可判断每个第一缺陷检出框内是否真的包含普通缺陷，并以此作为过检标签对相应的第一缺陷检出框的缺陷物理量数据进行标注。例如，如果真的包含普通缺陷，则标注为1，如果不是真的包含普通缺陷，即上述训练后的目标检测模型的检测结果为假阳性，出现了过检，则标注为0。

过检分析模型可采用时序模型，例如LightGBM（Light Gradient BoostingMachine，一种算法模型），以上述过检标签作为监督学习的标签，最终训练出的过检分析模型可根据缺陷检出框得出其是否真的包含普通缺陷，即是否过检。

S5，获取良品集，其中，良品集包括多个良品图像。

在本发明的一个实施例中，可在工业产品的生产线上收集大量的不包含任何缺陷的工业产品的图像，即良品图像，从而构成良品集。

S6，抽取良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过第三训练集训练残缺图恢复模型。

在本发明的一个实施例中，可从上述的良品集中随机抽取若干良品图像，以随机大小的抠图框，在良品图像的随机位置进行抠图，得到残缺图像。

本发明实施例中的特殊缺陷为工业产品中不常见的、数量占比较小的大面积缺陷，例如大面积的凹陷、大面积的元件缺失、大面积的焊点缺失等。上述的残缺图像由于抠去了一部分区域，因此可用以模拟存在特殊缺陷的工业产品图像。

应当理解的是，抠图框的大小、位置，应该在一定的预设范围之内随机选取，以尽可能地能够准确模拟特殊缺陷为准。

第三训练集中包含若干良品图像及其对应的抠图后的残缺图像。残缺图恢复模型可包括特征提取网络和复原网络，特征提取网络可以为DenseNet，复原网络可以为上采样网络，例如反卷积网络，可以以良品图像作为监督学习的标签，最终训练出的残缺图恢复模型能够根据残缺图像恢复出其对应的良品图像。

S7，将良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库。

在本发明的一个实施例中，可将特征提取网络从训练后的残缺图恢复模型中抽取出来，对良品集中的每个良品图像进行特征提取，得到每个良品图像对应的特征向量。为得到有价值的特征并减小计算量，在本发明的实施例中良品图像对应的特征向量可以是降维后的结果。

S8，获取待检测工业产品图像。

S9，将待检测工业产品图像输入训练后的目标检测模型，得到待检测工业产品图像的第二缺陷检出框。

第二缺陷检出框为待检测工业产品图像输入目标检测模型后得到的输出结果，其实质上为训练后的目标检测模型在待检测工业产品图像中所检测出来的含有普通缺陷的小区域。

S10，将待检测工业产品图像的第二缺陷检出框输入过检分析模型，得到待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果。

训练后的目标检测模型输出的第二缺陷检出框可以为一个，也可以为多个。多个第二缺陷检出框可能均是真的包含普通缺陷，也有可能有至少一个是过检的假阳性结果，即实际上并不包含普通缺陷。

如果步骤S9检出的某一个或多个第二缺陷检出框实际上并不包含普通缺陷，则可认为是步骤S9存在过检，因此将步骤S10得到的结果称为过检分析结果。

S11，将待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到待检测工业产品图像的特征向量。

该步骤中的特征向量也可以是进行降维后的结果。

S12，从良品向量库中随机抽取预设数量的特征向量。

S13，计算待检测工业产品图像的特征向量与从良品向量库中抽取的特征向量的相似度数据。

具体地，可计算待检测工业产品图像的特征向量与从良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到相似度数据。

举例而言，可以从良品向量库中随机抽取B1到B100共100个特征向量，然后计算待检测工业产品图像的特征向量A与每个Bi（i取1至100的整数）之间的余弦相似度，进而计算这100个余弦相似度的平均值，得到相似度数据。

S14，根据相似度数据得到待检测工业产品图像是否存在特殊缺陷的漏检分析结果。

具体地，可将上述的相似度数据与预设阈值进行比较，如果相似度数据大于或等于预设阈值，即待检测工业产品图像与预设数量的良品图像较相似，则判定待检测工业产品图像不存在特殊缺陷；如果相似度数据小于预设阈值，即待检测工业产品图像与预设数量的良品图像不相似，则判定待检测工业产品图像存在特殊缺陷。

特殊缺陷通过步骤S9中的训练后的目标检测模型一般是检测不到的，因此如果待检测工业产品图像实际存在特殊缺陷，而步骤S9未检测到，则可认为是在步骤S9对该特殊缺陷漏检，因此将步骤S14得到的结果称为漏检分析结果。

S15，以过检分析结果和漏检分析结果作为待检测工业产品图像的缺陷检测结果。

也就是说，可综合过检分析结果和漏检分析结果判断待检测工业产品是否存在缺陷。应当理解的是，如果过检分析结果为存在至少一个普通缺陷，则最终判定待检测工业产品存在缺陷；如果过检分析结果为不存在普通缺陷，而漏检分析结果为存在特殊缺陷，则最终判定待检测工业产品存在缺陷；如果过检分析结果为不存在普通缺陷，且漏检分析结果为不存在特殊缺陷，则最终判定待检测工业产品不存在缺陷。

综上所述，根据本发明实施例的工业产品缺陷检测方法，通过训练后的过检分析模型对目标检测模型的检测结果进行过检分析，并基于对良品图像的抠图操作来实现漏检分析，由此，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

对应上述实施例的工业产品缺陷检测方法，本发明还提出一种工业产品缺陷检测装置。

如图2所示，本发明实施例的工业产品缺陷检测装置包括：第一获取模块1、第一训练模块2、第一检测模块3、第二训练模块4、第二获取模块5、第三训练模块6、第三获取模块7、第四获取模块8、第二检测模块9、第三检测模块10、第五获取模块11、抽取模块12、计算模块13、第六获取模块14和第七获取模块15。其中，第一获取模块1用于获取缺陷集，其中，缺陷集包括多个缺陷图像，每个缺陷图像均包含普通缺陷；第一训练模块2用于抽取缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过第一训练集训练目标检测模型；第一检测模块3用于将缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框；第二训练模块4用于对每个第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过第二训练集训练过检分析模型；第二获取模块5用于获取良品集，其中，良品集包括多个良品图像；第三训练模块6用于抽取良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过第三训练集训练残缺图恢复模型；第三获取模块7用于将良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库；第四获取模块8用于获取待检测工业产品图像；第二检测模块9用于将待检测工业产品图像输入训练后的目标检测模型，得到待检测工业产品图像的第二缺陷检出框；第三检测模块10用于将待检测工业产品图像的第二缺陷检出框输入过检分析模型，得到待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果；第五获取模块11用于将待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到待检测工业产品图像的特征向量；抽取模块12用于从良品向量库中随机抽取预设数量的特征向量；计算模块13用于计算待检测工业产品图像的特征向量与从良品向量库中抽取的特征向量的相似度数据；第六获取模块14用于根据相似度数据得到待检测工业产品图像是否存在特殊缺陷的漏检分析结果；第七获取模块15用于以过检分析结果和漏检分析结果作为待检测工业产品图像的缺陷检测结果。

在本发明的一个实施例中，第一获取模块1可在工业产品的生产线上收集大量的包含普通缺陷的工业产品的图像，即缺陷图像，从而构成缺陷集。本发明实施例中的普通缺陷为工业产品中常见的、数量占比较大的细小缺陷，例如电脑盖板的划痕、电路元件的缺失或破损、焊点的缺失等，每个缺陷图像可包含一个或多个普通缺陷。

在本发明的一个实施例中，可从上述的缺陷集中随机抽取若干缺陷图像，对缺陷图像中的缺陷进行标注，标注的内容可以为是否属于缺陷，还可以包括缺陷类型等信息。

在本发明的一个实施例中，目标检测模型可采用任一目标检测网络架构，例如RCNN、SSD、YOLO等，第一训练模块2以缺陷标注作为监督学习的标签，最终训练出的目标检测模型可将任一缺陷图像中的缺陷检测出来。

第一缺陷检出框为缺陷集中的缺陷图像输入目标检测模型后得到的输出结果，其实质上为训练后的目标检测模型在缺陷图像中所检测出来的含有普通缺陷的小区域。

在本发明的一个实施例中，缺陷物理量数据可包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。例如，可以包括第一缺陷检出框的长、宽、中心坐标、框内像素的对比度、前20%最大平均亮度、后20%最小平均亮度、灰度平均值、缺陷的类型、检出分数等。应当理解的是，上述的缺陷物理量数据为有量纲的数据，为便于后续数据的处理，在本发明的实施例中第二训练模块4可进一步地对上述的缺陷物理量数据进行归一化，获得归一化后的缺陷物理量数据。

同时，在得到每个缺陷图像的第一缺陷检出框后，第二训练模块4还可判断每个第一缺陷检出框内是否真的包含普通缺陷，并以此作为过检标签对相应的第一缺陷检出框的缺陷物理量数据进行标注。例如，如果真的包含普通缺陷，则标注为1，如果不是真的包含普通缺陷，即上述训练后的目标检测模型的检测结果为假阳性，出现了过检，则标注为0。

过检分析模型可采用时序模型，例如LightGBM，第二训练模块4以上述过检标签作为监督学习的标签，最终训练出的过检分析模型可根据缺陷检出框得出其是否真的包含普通缺陷，即是否过检。

在本发明的一个实施例中，第二获取模块5可在工业产品的生产线上收集大量的不包含任何缺陷的工业产品的图像，即良品图像，从而构成良品集。

在本发明的一个实施例中，第三训练模块6可从上述的良品集中随机抽取若干良品图像，以随机大小的抠图框，在良品图像的随机位置进行抠图，得到残缺图像。

本发明实施例中的特殊缺陷为工业产品中不常见的、数量占比较小的大面积缺陷，例如大面积的凹陷、大面积的元件缺失、大面积的焊点缺失等。上述的残缺图像由于抠去了一部分区域，因此可用以模拟存在特殊缺陷的工业产品图像。

应当理解的是，抠图框的大小、位置，应该在一定的预设范围之内随机选取，以尽可能地能够准确模拟特殊缺陷为准。

第三训练集中包含若干良品图像及其对应的抠图后的残缺图像。残缺图恢复模型可包括特征提取网络和复原网络，特征提取网络可以为DenseNet，复原网络可以为上采样网络，例如反卷积网络，第三训练模块6可以以良品图像作为监督学习的标签，最终训练出的残缺图恢复模型能够根据残缺图像恢复出其对应的良品图像。

在本发明的一个实施例中，第三获取模块7可将特征提取网络从训练后的残缺图恢复模型中抽取出来，对良品集中的每个良品图像进行特征提取，得到每个良品图像对应的特征向量。为得到有价值的特征并减小计算量，在本发明的实施例中良品图像对应的特征向量可以是降维后的结果。

第二缺陷检出框为待检测工业产品图像输入目标检测模型后得到的输出结果，其实质上为训练后的目标检测模型在待检测工业产品图像中所检测出来的含有普通缺陷的小区域。

训练后的目标检测模型输出的第二缺陷检出框可以为一个，也可以为多个。多个第二缺陷检出框可能均是真的包含普通缺陷，也有可能有至少一个是过检的假阳性结果，即实际上并不包含普通缺陷。如果第二检测模块9检出的某一个或多个第二缺陷检出框实际上并不包含普通缺陷，则可认为是第二检测模块9存在过检，因此将第三检测模块10得到的结果称为过检分析结果。

第五获取模块11得到的特征向量也可以是进行降维后的结果。

具体地，计算模块13可计算待检测工业产品图像的特征向量与从良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到相似度数据。

举例而言，抽取模块12可以从良品向量库中随机抽取B1到B100共100个特征向量，然后计算模块13计算待检测工业产品图像的特征向量A与每个Bi（i取1至100的整数）之间的余弦相似度，进而计算这100个余弦相似度的平均值，得到相似度数据。

第六获取模块14具体可将上述的相似度数据与预设阈值进行比较，在相似度数据大于或等于预设阈值时，判定待检测工业产品图像不存在特殊缺陷，并在相似度数据小于预设阈值时，判定待检测工业产品图像存在特殊缺陷。特殊缺陷通过第二检测模块9一般是检测不到的，因此如果待检测工业产品图像实际存在特殊缺陷，而第二检测模块9未检测到，则可认为是第二检测模块9对该特殊缺陷漏检，因此将第六获取模块14得到的结果称为漏检分析结果。

第七获取模块15可综合过检分析结果和漏检分析结果判断待检测工业产品是否存在缺陷。应当理解的是，如果过检分析结果为存在至少一个普通缺陷，则最终判定待检测工业产品存在缺陷；如果过检分析结果为不存在普通缺陷，而漏检分析结果为存在特殊缺陷，则最终判定待检测工业产品存在缺陷；如果过检分析结果为不存在普通缺陷，且漏检分析结果为不存在特殊缺陷，则最终判定待检测工业产品不存在缺陷。

综上所述，根据本发明实施例的工业产品缺陷检测装置，通过训练后的过检分析模型对目标检测模型的检测结果进行过检分析，并基于对良品图像的抠图操作来实现漏检分析，由此，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

对应上述实施例，本发明还提出一种计算机设备。

本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的工业产品缺陷检测方法。

根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过训练后的过检分析模型对目标检测模型的检测结果进行过检分析，并基于对良品图像的抠图操作来实现漏检分析，由此，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的工业产品缺陷检测方法。

根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过训练后的过检分析模型对目标检测模型的检测结果进行过检分析，并基于对良品图像的抠图操作来实现漏检分析，由此，能够大大降低工业产品缺陷的过检率和漏检率，实现工业产品的高精度缺陷检测。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种工业产品缺陷检测方法，其特征在于，包括以下步骤：

S1，获取缺陷集，其中，所述缺陷集包括多个缺陷图像，每个所述缺陷图像均包含普通缺陷；

S2，抽取所述缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过所述第一训练集训练目标检测模型；

S3，将所述缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框；

S4，对每个所述第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个所述第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过所述第二训练集训练过检分析模型；

S5，获取良品集，其中，所述良品集包括多个良品图像；

S6，抽取所述良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过所述第三训练集训练残缺图恢复模型；

S7，将所述良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库；

S8，获取待检测工业产品图像；

S9，将所述待检测工业产品图像输入训练后的目标检测模型，得到所述待检测工业产品图像的第二缺陷检出框；

S10，将所述待检测工业产品图像的第二缺陷检出框输入所述过检分析模型，得到所述待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果；

S11，将所述待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到所述待检测工业产品图像的特征向量；

S12，从所述良品向量库中随机抽取预设数量的特征向量；

S13，计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的特征向量的相似度数据；

S14，根据所述相似度数据得到所述待检测工业产品图像是否存在特殊缺陷的漏检分析结果；

S15，以所述过检分析结果和所述漏检分析结果作为所述待检测工业产品图像的缺陷检测结果。

2.根据权利要求1所述的工业产品缺陷检测方法，其特征在于，所述缺陷物理量数据包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。

3.根据权利要求1或2所述的工业产品缺陷检测方法，其特征在于，步骤S13具体包括：

计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到所述相似度数据。

4.根据权利要求3所述的工业产品缺陷检测方法，其特征在于，步骤S14具体包括：

如果所述相似度数据大于或等于预设阈值，则判定所述待检测工业产品图像不存在特殊缺陷；

如果所述相似度数据小于所述预设阈值，则判定所述待检测工业产品图像存在特殊缺陷。

5.一种工业产品缺陷检测装置，其特征在于，包括：

第一获取模块，用于获取缺陷集，其中，所述缺陷集包括多个缺陷图像，每个所述缺陷图像均包含普通缺陷；

第一训练模块，用于抽取所述缺陷集中的一部分缺陷图像进行缺陷标注，以构成第一训练集，并通过所述第一训练集训练目标检测模型；

第一检测模块，用于将所述缺陷集中的每个缺陷图像分别输入训练后的目标检测模型，得到每个缺陷图像的第一缺陷检出框；

第二训练模块，用于对每个所述第一缺陷检出框进行物理量分析以得到缺陷物理量数据，并判断每个所述第一缺陷检出框内是否真的包含普通缺陷，以及以是否真的包含普通缺陷的判断结果对相应的第一缺陷检出框的缺陷物理量数据进行标注，以得到第二训练集，并通过所述第二训练集训练过检分析模型；

第二获取模块，用于获取良品集，其中，所述良品集包括多个良品图像；

第三训练模块，用于抽取所述良品集中的一部分良品图像进行随机抠图操作，生成模拟特殊缺陷的残缺图像，并以该部分良品图像及其对应的残缺图像构成第三训练集，以及通过所述第三训练集训练残缺图恢复模型；

第三获取模块，用于将所述良品集中的每个良品图像分别输入训练后的残缺图恢复模型中的特征提取网络，得到每个良品图像对应的特征向量，构成良品向量库；

第四获取模块，用于获取待检测工业产品图像；

第二检测模块，用于将所述待检测工业产品图像输入训练后的目标检测模型，得到所述待检测工业产品图像的第二缺陷检出框；

第三检测模块，用于将所述待检测工业产品图像的第二缺陷检出框输入所述过检分析模型，得到所述待检测工业产品图像的第二缺陷检出框内是否真的包含普通缺陷的过检分析结果；

第五获取模块，用于将所述待检测工业产品图像输入训练后的残缺图恢复模型中的特征提取网络，得到所述待检测工业产品图像的特征向量；

抽取模块，用于从所述良品向量库中随机抽取预设数量的特征向量；

计算模块，用于计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的特征向量的相似度数据；

第六获取模块，用于根据所述相似度数据得到所述待检测工业产品图像是否存在特殊缺陷的漏检分析结果；

第七获取模块，用于以所述过检分析结果和所述漏检分析结果作为所述待检测工业产品图像的缺陷检测结果。

6.根据权利要求5所述的工业产品缺陷检测装置，其特征在于，所述缺陷物理量数据包括第一缺陷检出框的尺寸数据、坐标数据、对比度数据、亮度数据、灰度数据、类别、检出分数中的至少一种。

7.根据权利要求5或6所述的工业产品缺陷检测装置，其特征在于，所述计算模块具体用于计算所述待检测工业产品图像的特征向量与从所述良品向量库中抽取的每个特征向量之间的余弦相似度，并求取平均值，得到所述相似度数据。

8.根据权利要求7所述的工业产品缺陷检测装置，其特征在于，所述第六获取模块具体用于在所述相似度数据大于或等于预设阈值时，判定所述待检测工业产品图像不存在特殊缺陷，并在所述相似度数据小于所述预设阈值时，判定所述待检测工业产品图像存在特殊缺陷。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-4中任一项所述的工业产品缺陷检测方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-4中任一项所述的工业产品缺陷检测方法。

Images