CN113592832A - 一种工业品缺陷检测方法和装置 - Google Patents

Abstract

本发明涉及一种工业品缺陷检测方法和装置，包括：获取待检测工业品的图像和相应缺陷品的图像；对待检测工业品的图像和缺陷品的图像进行增强处理；基于预设孪生网络对增强处理后的待检测工业品的图像和缺陷品的图像进行处理以得到差异特征；基于预设卷积神经网络对差异特征进行识别以确定待检测工业品的缺陷类型；基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。解决了样本不平衡、小样本漏检的问题，并结合弱监督目标检测模型，实现缺陷类型判定与位置定位，从而保证了缺陷检测的鲁棒性和稳定性。

Description

一种工业品缺陷检测方法和装置

技术领域

本发明属于机器识别技术领域，具体涉及一种工业品缺陷检测方法和装置。

背景技术

通过计算机视觉技术实现工业品缺陷检测是当前实现制造业生产线智能监控、提升信息化生产水平的主要措施。而我国机器视觉检测技术研究起步较晚，目前国内企业主要集中在国外成熟产品销售代理以及二次开发阶段，受技术限制，我们的二次开发产品多为指定工业品、指定缺陷的定制，产品集成度差，通用性弱。由于技术的不透明性，在产品出现问题时，无法及时、准确的发现问题，不得不依靠国外的技术支持。

在大数据与计算机强大算力的支持下，深度学习技术获得了空前发展，已经在各行各业获得了应用与认可。工业品缺陷视觉检测属于计算机视觉领域，为深度学习技术的应用范畴，这为我国在工业品缺陷视觉检测领域实现弯道超车奠定了理论基础。但由于现有的工业品缺陷视觉检测存在如下的缺陷：

工业品缺陷特征呈现严重的样本非平衡现象。在工业品生产过程中，出现缺陷属于小概率事件，这会导致样本数据出现严重的非平衡现象。缺陷小样本、非平衡数据易于致使目标检测模型过拟合，无法有效鉴别缺陷样本；

工业品缺陷检测属于多目标、多尺度的检测任务。缺陷类型种类多样，相同种类之间又存在多尺度差异，从计算机视觉角度出发，这属于多目标、多尺度检测，对检测模型性能的要求更高；

缺陷特征随机性大。工业品缺陷类型、位置、大小、严重程度均无法预先确定，呈现极大的随机性，采集的样本也难于满足缺陷特征数据的边际效应，严重影响目标检测模型性能。

正是由于上述缺陷的存在使得现有的检测技术稳定性差、准确性差，因此如何提供一种鲁棒性和稳定性更高的检测方案已经成为亟需解决的技术问题。

发明内容

为了解决现有技术存在的稳定性、准确性差的问题，本发明提供了一种工业品缺陷检测方法和装置，其具有高鲁棒性和稳定性等特点。

根据本发明的具体实施方式的一种工业品缺陷检测方法，包括：

获取待检测工业品的图像和相应缺陷品的图像；

对所述待检测工业品的图像和所述缺陷品的图像进行增强处理；

基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征；

基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型；

基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

进一步的，所述获取待检测工业品的图像和相应缺陷品的图像包括：

基于工业相机获取待检测工业品的图像和相应缺陷品的图像。

进一步的，所述对所述待检测工业品的图像和所述缺陷品的图像进行增强处理包括：

基于opencv图像增强技术对所述待检测工业品的图像和所述缺陷品的图像进行增强处理。

进一步的，所述基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征包括：

基于并行设置的CNN特征提取器提取输入的所述待检测工业品的图像和相应缺陷品的图像的差异特征。

进一步的，所述基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型包括：

基于卷积神经网络中的VGG16网络结构对所述差异特征进行逐层提取与抽象以得到相应的缺陷类型。

进一步的，所述VGG16网络结构的输出节点个数与工业品缺陷类型数相一致。

进一步的，所述基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置包括：

将卷积神经网络的最后的全连接层为全局平均池化层，并通过端到端训练方式获取不同通道特征的贡献权重，基于所述贡献权重的加权求和以及通道热力图响应确定相应的缺陷位置。

根据本发明具体实施方式提供的一种工业品缺陷检测装置，包括：

图像获取模块，用于获取待检测工业品的图像和相应缺陷品的图像；

图像增强模块，用于对所述待检测工业品的图像和所述缺陷品的图像进行增强处理；

特征提取模块，用于基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征；

缺陷类型确定模块，用于基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型；以及

缺陷位置确定模块，用于基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

本发明的有益效果为：通过对增强后的图像采用孪生网络实现缺陷特征的差异化提取，强调异类差异，弱化同类属性，由孪生网络和卷积神经网络构成的工业品缺陷类型识别模型解决了样本不平衡、小样本漏检的问题，并结合弱监督目标检测模型，实现缺陷类型判定与位置定位，从而保证了缺陷检测的鲁棒性和稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例提供的工业品缺陷检测方法的流程图；

图2是根据一示例性实施例提供的网络结构图；

图3是根据一示例性实施例提供的孪生网络结构图；

图4是根据一示例性实施例提供的工业品缺陷类别的结构图；

图5是根据一示例性实施例提供的基于CAM的弱监督目标定位的结构图；

图6是根据一示例性实施例提供的基于Grad-CAM的目标弱监督定位模型图；

图7是根据一示例性实施例提供的VGG网络的原理图；

图8是根据一示例性实施例提供的工业品缺陷检测装置的原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

参照图1所示，本发明的实施例提供了一种工业品缺陷检测方法，具体包括以下步骤：

101、获取待检测工业品的图像和相应缺陷品的图像；

为实现以工业品的视觉图像为输入，以缺陷为检测目标，实现缺陷类型判定与定位，在具体实施时可采用普通的CMOS工业相机实现工业品视觉图像获取。

102、对待检测工业品的图像和缺陷品的图像进行增强处理；

图像增强对于后期的目标检测至关重要，通过图像增强技术能够针对性的对存在缺陷的图像区域进行加强，从而更加有利于后边的网络结构的识别。

103、基于预设孪生网络对增强处理后的待检测工业品的图像和缺陷品的图像进行处理以得到差异特征；

通过采用孪生神经网络，以同一场景下，有、无工业品缺陷的两种图片作为输入能将特征差异对应于工业品缺陷特征，将缺陷检测问题转化为特征差异识别问题，可有效解决小样本、非平衡数据、非确定缺陷带来的模型训练难题。

104、基于预设卷积神经网络对差异特征进行识别以确定待检测工业品的缺陷类型；

通过采用卷积神经网络在多层神经网络结构上，通过数据驱动与自学习的方式对输入实现特征逐层提取与抽象，最终实现数据特征的完美拟合

105、基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

可采用基于深度神经网络框架的弱监督目标检测算法实现工业品缺陷目标定位，这样能够在提高检测效果的同时解决了工业品缺陷的小样本问题。

参照图2所示，识别网络不仅能够实现缺陷目标识别，而且能够实现缺陷位置定位。同时检测模型采用孪生网络实现缺陷特征的差异化提取，强调异类差异，弱化同类属性克服小目标样本、非平衡样本在深度学习模型训练中的性能泛化难题，并且结合弱监督目标检测模型，实现缺陷类型判定与位置定位为了消除数据标注压力，从而提高了检测的鲁棒性和稳定性，保证了缺陷识别的效率。

作为上述实施例可行实现方式，对于图像的增强可基于opencv图像增强技术对所述待检测工业品的图像和所述缺陷品的图像进行增强处理。

通过采用直方图均衡化、阈值化操作、调整亮度和对比度、对像素进行log变换和伽马变换等一系列的操作进而得到更加清晰容易辨认的增强图像。

可以理解的是，本领域技术人员还可采用其他方式的图像增强技术进行图像增强的处理，本发明在此不做限制。

参照图3所示，孪生网络实现差异特征提取。工业品缺陷目标小，出现场景不确定，这为获取大量的包含工业品缺陷的图像数据提出了挑战。而通过孪生神经网络，以同一场景下，有、无工业品缺陷的两种图片作为输入，采用并行的CNN特征提取器提取输入样本对的差异特征；将特征差异对应于工业品缺陷特征，将缺陷检测问题转化为特征差异识别问题，可有效解决小样本、非平衡数据、非确定缺陷带来的模型训练难题。

该网络通过“端到端”的训练方式，以并行的CNN特征提取器强化异类差异，弱化同类属性，突出工业品缺陷特征。孪生网络结构具备两点特征：并行CNN结构采用权值共享技术，以实现相同特征的并行提取；采用差异融合方式实现并行特征融合，公式如下：

其中F₁和F₂对应于并行CNN通道的输出，F为最终的差异融合特征，i为对应的特征通道，i＝1,2,…,m，

为通道连接操作。

CNN识别网络即卷积神经网络(Convolutional Neural Networks，CNN)是深度学习模型的最为典型代表，其在多层神经网络结构上，通过数据驱动与自学习的方式对输入实现特征逐层提取与抽象，最终实现数据特征的完美拟合。采用VGG16网络结构，并依据检测任务，对输出节点个数进行了适当的修改。

参照图7所示，VGG16网络的输出节点个数与工业品缺陷类型保持一致，需根据实际需求提前确定，参照图4所示以某工业瓶盖注塑品缺陷视觉检测任务为例，将缺陷发生的位置分为瓶口、瓶身与瓶底区域，将缺陷类型分为污点、缺损与划痕三类，则可设定VGG16网络为27(即3×3×3)类输出，即n＝27。

参照图5所示，确定工业品缺陷发生位置对于助力产品生产线智能改造意义重大。工业品缺陷发生位置随意性大，相对目标尺度较小，传统的目标检测算法效果不佳；工业品缺陷的小样本问题又为强监督目标检测算法提出了挑战。因此采用基于深度神经网络框架的弱监督目标检测算法实现工业品缺陷目标定位。

采用CAM(Class Activate Map)系列的弱监督目标定位模型，在CNN识别网络的基础上，以激活的输出神经元为起点，建立信息前传通道，在特征层实现目标定位。CAM结构简单，但需要对原始神经网络结构进行修改。

在CNN网络的最后一层，CAM改变全连接层为全局平均池化层(Global AveragePooling，GAP)，通过端到端训练方式实现不同通道特征的贡献权重(w)，通过对通道特征计算热力图响应，并依据贡献权重加权求和，最终实现目标定位。

为进一步优化该技术方案，参照图6所示CAM算法改变了网络结构，导致需要重新训练该模型，这大大限制了它的使用场景。采用Grad-CAM网络以梯度之和求解特征图对类别属性的贡献权重，贡献权重计算如下：

其中，N为特征图像素个数，y^c为对应类别c的分数，

为第k个特征图中，(i,j)位置的像素值。因为Grad-CAM是CAM算法的一般化形式，其权重计算具有一致性。则对所有类别对应的特征图加权求和后，便可得到热力图：

基于同样的设计思路，参照图8所示，本发明的实施例还提供了一种工业品缺陷检测装置，适用于执行本发明实施例提供给的一种工业品缺陷检测方法，具体包括：

图像获取模块，用于获取待检测工业品的图像和相应缺陷品的图像；

图像增强模块，用于对待检测工业品的图像和缺陷品的图像进行增强处理；

特征提取模块，用于基于预设孪生网络对增强处理后的待检测工业品的图像和缺陷品的图像进行处理以得到差异特征；

缺陷类型确定模块，用于基于预设卷积神经网络对差异特征进行识别以确定待检测工业品的缺陷类型；以及

缺陷位置确定模块，用于基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

本发明实施例提供的工业品缺陷检测装置可执行本发明任意实施例提供的工业品缺陷检测方法，具备执行方法相应的功能模块和有益效果。

本发明上述实施例所提供的工业品缺陷检测方法和装置，不仅能够实现缺陷目标识别，而且能够实现缺陷位置定位。通过检测模型采用孪生网络实现缺陷特征的差异化提取，强调异类差异，弱化同类属性克服小目标样本、非平衡样本在深度学习模型训练中的性能泛化难题；并结合弱监督目标检测模型，实现缺陷类型判定与位置定位，消除数据标注压力。保证了缺陷检测强大的鲁棒性和稳定性。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种工业品缺陷检测方法，其特征在于，包括：

获取待检测工业品的图像和相应缺陷品的图像；

对所述待检测工业品的图像和所述缺陷品的图像进行增强处理；

基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征；

基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型；

基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

2.根据权利要求1所述的工业品缺陷检测方法，其特征在于，所述获取待检测工业品的图像和相应缺陷品的图像包括：

基于工业相机获取待检测工业品的图像和相应缺陷品的图像。

3.根据权利要求1所述的工业品缺陷检测方法，其特征在于，所述对所述待检测工业品的图像和所述缺陷品的图像进行增强处理包括：

基于opencv图像增强技术对所述待检测工业品的图像和所述缺陷品的图像进行增强处理。

4.根据权利要求1所述的工业品缺陷检测方法，其特征在于，所述基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征包括：

基于并行设置的CNN特征提取器提取输入的所述待检测工业品的图像和相应缺陷品的图像的差异特征。

5.根据权利要求4所述的工业品缺陷检测方法，其特征在于，所述基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型包括：

基于卷积神经网络中的VGG16网络结构对所述差异特征进行逐层提取与抽象以得到相应的缺陷类型。

6.根据权利要求5所述的工业品缺陷检测方法，其特征在于，所述VGG16网络结构的输出节点个数与工业品缺陷类型数相一致。

7.根据权利要求5所述的工业品缺陷检测方法，其特征在于，所述基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置包括：

将卷积神经网络的最后的全连接层为全局平均池化层，并通过端到端训练方式获取不同通道特征的贡献权重，基于所述贡献权重的加权求和以及通道热力图响应确定相应的缺陷位置。

8.一种工业品缺陷检测装置，其特征在于，包括：

图像获取模块，用于获取待检测工业品的图像和相应缺陷品的图像；

图像增强模块，用于对所述待检测工业品的图像和所述缺陷品的图像进行增强处理；

特征提取模块，用于基于预设孪生网络对增强处理后的所述待检测工业品的图像和所述缺陷品的图像进行处理以得到差异特征；

缺陷类型确定模块，用于基于预设卷积神经网络对所述差异特征进行识别以确定待检测工业品的缺陷类型；以及

缺陷位置确定模块，用于基于预设弱监督目标定位模型确定待检测工业品相应的缺陷位置。

Images