CN116071327A - 一种基于深度神经网络的工件缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于深度神经网络的工件缺陷检测方法。根据图像的全局特征对训练图像进行图像增强处理，减轻由于不同环境光照引起的图像质量不一的问题，增强缺陷检测算法的环境适应能力；将深度神经网络作为特征提取的主干网络，获取更深层的语义信息；在特征金字塔中进行浅层特征和深层信息的特征融合，充分利用上下文信息，并引入注意力机制，用于抑制融合后的特征对于原有细节特征的干扰，实现了语义信息和细节信息的有效融合，提高对于各尺度缺陷的检测性能。本发明可以较为准确、有效地在工件的部件数据集中不同光照条件下的产品图像检测到各类型各尺度的缺陷。

Description

一种基于深度神经网络的工件缺陷检测方法

技术领域

本发明涉及一种工件缺陷检测方法，尤其涉及一种基于深度神经网络的工件缺陷检测方法。

背景技术

全球制造业的发展趋势与智能化紧密相关，智能制造和智慧工厂是全球制造业重要发展趋势，通过促进形成新的生产管理方式、商业运营模式和产业发展形态，将对全球工业的产业格局带来重大的影响。复杂部件制造技术在制造业中有着广泛的应用，这其中工件缺陷自动检测算法作为提高工件生产效率的重要部分，解决这一关键难题具有非常重要的实用价值。

在工业产品制造过程中，缺陷检测具有重要意义。在生产过程中，由于加工、设计、机床生产设备故障和工况恶劣等因素，制造产品不可避免地会存在孔洞、凹陷、擦伤等各类缺陷，在日常的应用过程中也容易产生腐蚀和疲劳破坏等问题，使得企业生产成本增加，造成巨大的资源浪费和经济损失，甚至给人们的生命安全造成巨大的伤害。随着装备制造行业的不断发展，高端制造装备对高标准、高质量的产品需求更加旺盛，同时对设计人员以及现场检测人员水平提出了更高的要求，因此在复杂工业过程中，对制造产品进行精准有效的缺陷检测，有助于提高产品的质量，提高制造企业的核心竞争力。

在工厂生产中，人工检测往往是采用现场目视检测，并借一些检测工具辅助。人工检测存在一定的局限性：效率低、检测质量无法客观保证、对检测人员的技术水平要求高、可移植成本高。自动缺陷检测技术相较于人工检测优势明显，不仅可以适应恶劣的环境，还能长时间、高精度、高效率的工作，且对于检测结果的可靠性有具体数值供参考。利用机器视觉设备获取图像来判断采集图像中是否存在缺陷的技术，正在成为一种工业界广泛需求。目前，基于机器视觉的自动化缺陷检测装备已经在各工业领域正逐步替代人工肉眼检测，包括3C、汽车、家电、机械制造、半导体及电子、化工、医药、航空航天、轻工等行业。自动化缺陷检测相较于传统的人工检测优势明显，可以降低人力成本、提高产品质量和生产效率。

工件缺陷的自动检测存在一些挑战性，例如不同型号的工件之间结构差异大或不同类别的缺陷特征差异大大，这使得同一算法难以应用多种工件缺陷检测，又或者是同一缺陷存在大小或可不同、位置分布随机等，这使得算法在实际应用时难以达到理想精度。传统缺陷检测方法，一般采用常规的图像处理算法或人工设计特征分类器，通过利用被检表面或缺陷的不同性质设计相应的成像方案，合理的成像方案有助于获得光照均匀或特定光照条件的图像，使得物体表面缺陷得到突出体现。在真实复杂的工业环境下，缺陷检测往往面临诸多挑战，例如存在缺陷成像与背景差异小、对比度低、缺陷尺度变化大且类型多样，产品图像中存在大量噪声，或者是缺陷在某些特殊光照条件下成像因而存在大量干扰等情形，此时传统方法往往显得束手无策，难以取得目标效果，例如：(1)在工业环境中，当出现一些新的表面缺陷时，传统算法需要针对其特征设计新的方案；(2)表面缺陷可能表现为“不确定的”任意尺寸、形状和位置，使用标准单一的特征描述符进行检测会导致分类结果不足；(3)当成像环境较差，图像存在大量噪声时，传统算法即使考虑到图像增强，其对精度的提高也很有限。

发明内容

传统缺陷检测算法存在局限，而深度学习算法具有自动学习样本特征的特点，因此在图像处理领域比一些传统算法更具性能优势。近年来，以卷积神经网络为代表的深度学习模型在诸多计算机视觉领域成功应用例如人脸识别、行人识别、场景文字检测、目标跟踪和自动驾驶等，不少基于深度学习的缺陷检测方法也广泛应用在各种工业场景中。基于深度学习的工件缺陷检测方法不仅具有重要的学术研究价值，同时具备非常广阔的市场应用前景。

针对以上问题，在已有采集图像、目标检测模型的基础上，结合深度学习的方法，设计一种基于深度神经网络的工件缺陷检测算法。根据图像的全局特征对训练图像进行图像增强处理，减轻由于不同环境光照引起的图像质量不一的问题，增强缺陷检测算法的环境适应能力；将深度神经网络作为特征提取的主干网络，获取更深层的语义信息；在特征金字塔中进行浅层特征和深层信息的特征融合，充分利用上下文信息，并引入注意力机制，用于抑制融合后的特征对于原有细节特征的干扰，实现了语义信息和细节信息的有效融合，提高对于各尺度缺陷的检测性能。本发明可以较为准确、有效地在工件的部件数据集中不同光照条件下的产品图像检测到各类型各尺度的缺陷。主要内容包含以下几个方面：

1、对采集的工件图像进行随机裁剪、旋转和缩放、随机改变图像亮度和对比度生成工件图像数据集，并通过一个简单神经网络预测图像增强模块的超参数，根据预测的超参数在可微图像处理模块对训练图像进行特定方向的图像增强。

2、在深度神经网络中引入注意力机制和特征融合模块，使网络在训练的过程中更专注于融合通道间有效的特征，将浅层的特征与深层的语义信息进行融合，使得用于小尺度目标检测和定位的浅层特征图能够同时包含细节和深层语义信息，实现对多尺度的缺陷精准检测。

3、将增强后的图像和通过特征融合模块获取的特征作为输入向量，将缺陷位置与缺陷类别作为输出向量，使用深度神经网络进行深度学习，拟合缺陷检测的深度模型。

本发明提供了一种基于深度神经网络的工件缺陷检测方法，包括以下步骤，

步骤1，对采集的工件图像进行预处理生成工件图像数据集，并对工件图像数据集中的训练图像进行图像增强；

步骤2，在深度神经网络中引入注意力机制和特征融合模块，使用深度神经网络进行深度学习，拟合缺陷检测的深度模型将输出的缺陷位置与缺陷类别作为工件缺陷检测的最终结果；具体包括如下子步骤：

步骤2.1，将步骤1增强后的图像作为输入，通过深度神经网络的主干网络进行训练与学习，所述主干网络用于提取图像特征；

步骤2.2，将主干网络提取出的图像特征通过一系列的卷积层构建不同尺度的特征图，并将多尺度特征图部分记为特征金字塔；

步骤2.3，在深度神经网络中加入特征融合模块，用于将浅层的特征与深层的语义信息进行融合，即用于将将主干网络提取的图像特征与特征金字塔中的特征图拼接，使得用于小尺度目标检测和定位的浅层特征图能够同时包含细节和深层语义信息；

步骤2.4，利用深度神经网络中特征融合后的特征金字塔进行缺陷检测。

进一步的，在步骤1中，构建一个由参数预测模块和可微图像处理模块两部分组成的图像增强模块，利用图像增强模块对训练图像进行图像增强；

其中参数预测模块包括五个卷积层和两个全连接层，每个卷积层后面连接一个激活层，输入下采样后低分辨率的图像，输出可微图像处理模块需要的超参数；

可微图像处理模块利用亮度、对比度和色调的Gamma校正、对比度变换和白平衡变换算法，以及增强图像边缘和细节特征的锐化算法对图像进行增强。

进一步的，步骤2.1中，所述主干网络为ResNet50。

进一步的，步骤2.2中，将主干网络ResNet50输出的特征图集合记为{C₁，C₂，C₃，C₄}，选取小尺度的浅层特征层C₂作为特征金字塔的初始特征图，并根据以下公式构建特征金字塔：

P_i+1＝F(f_3×3(F(f_1×1(P_i))))

F(x_i)＝ReLU(BN(x_i))

其中，i∈{0，1，2，3，4}，P₀＝C₂，f_3×3和f_1×1分别为卷积核大小为3、1的卷积层，f_3×3卷积层的步长为2，BN为批标准化处理，F(x_i)为对批标准化处理后的结果进行激活，ReLU为激活函数，最终输出特征图集合表示为{P₀,P₁,P₂,P₃,P₄,P₅,}，特征图尺寸分别为{38,19,10,5,3,1}。

进一步的，在步骤2.3中，特征融合模块可以由以下公式表示：

T_f＝Concat(f{X_p},f{Up(X_q)})

f(x_i)＝ReLU(L2(x_i))

Up(x_i)＝ReLU(BN(f_1×1(Bilinear(x_i)))

其中，x_i表示待融合的第i个特征图，Bilinear表示双线性插值法，BN为批标准化处理，ReLU为激活函数，f_1×1为卷积核大小为1的卷积层，对于与目标尺寸不同的待融合特征图，先通过1×1的卷积层降维后，使用双线性插值法将尺寸较小的深层特征图进行上采样处理，f表示待融合特征图通过L2正则化将数据归一化至同一范围内，便于后续的拼接，L2正则化之后连接有ReLU激活函数；拼接方式选取串联拼接操作，将未经上采样的特征图X_p和经过插值后的特征图X_q在通道维度拼接，再通过一个3×3的卷积层消除拼接后的混叠效应，T_f即为浅层特征与深层语义信息融合的结果。

进一步的，步骤2.3中还引入注意力机制，即SE Block，使网络在训练的过程中更专注于融合通道间有效的特征，所述注意力机制引入在L2正则化+ReLU激活函数之后，串联拼接处理之前。

进一步的，注意力机制的处理过程如下；

输入的特征层首先通过一个全局平均池化层得到全局空间信息，再通过两个全连接层和两个激活函数对全局信息进行压缩再升维，最终获取各个通道的权重并与对应的特征图相乘，从而获取各通道间的关联关系，使网络在训练的过程中更专注于融合通道间有效的特征。

进一步的，步骤2.4中对融合后的特征金字塔中各个特征图的不同位置进行密集抽样，抽样时采用不同的定位框尺度和长宽比，进行物体分类和先验框的回归，物体分类结果输出为缺陷类别，先验框的位置输出为缺陷位置。

进一步的，所述锐化算法采用USM算法。

与现有技术相比，本发明的优点和有益效果如下：

1、对工厂中不同成像条件、不同光照强度、不同图像背景下的工件产品检测具有较高的适应性。在工件生产过程中，实际情况下光学成像系统受到诸多影响，而现有很多方法一般只能用于对理想条件下采集到的图像背景均匀、工件清晰的产品图像进行检测，而本发明通过可微图像处理模块，可以滤除图像噪声、改善图像对比度，使得待检测目标区域的特征更加显著。

2、对样本量少、缺陷类型单一的工件数据集也能够实现较为准确的检测。目前表面缺陷检测、PCB缺陷检测、液晶屏缺陷检测等等相关研究中数据集不够丰富，除此之外，在实际生产中，往往正常样本量多，而具有缺陷的工件量较少，本发明在模型中设计了随机裁剪、旋转和缩放、随机改变图像亮度和对比度增广缺陷数据集，可以提高模型对缺陷的检测能力。

3、本发明的模型具有一定的普适性，可以检测不同类型、不同尺寸大小的缺陷。深度神经网络往往对不同类型或不同尺度的目标难以实现稳定、精确的检测率，本发明通过引入注意力机制和特征融合模块，使得浅层的特征与深层的语义信息进行融合，可以对多尺度的缺陷精准检测。

附图说明

图1为图像增强模块示意图。

图2为注意力机制与特征融合结构示意图。

图3为深度学习模型与缺陷检测示意图(即方法总体流程图)。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图3所示，本发明提供的一种基于深度神经网络的工件缺陷检测方法，包括如下步骤：

步骤1：对采集的工件图像进行随机裁剪、旋转和缩放、随机改变图像亮度和对比度生成工件图像数据集，并通过一个简单神经网络预测图像增强模块的超参数，根据预测的超参数在可微图像处理模块对训练图像进行图像增强。图像增强模块由参数预测模块和可微图像处理模块两部分构成：

步骤1-1：用于预测参数的神经网络主要包括五个卷积层和两个全连接层，每个卷积层后面连接一个激活层，输入下采样后低分辨率的图像，全连接层输出可微图像处理模块需要的超参数。用以预测参数的神经网络根据全局的图像特征，例如色调、亮度等，预测图像滤波处理的参数，原本需要手动调整的超参数通过简单神经网络预测，并根据损失函数反向传播从而不断进行优化和学习，使得模型能够自适应地朝着有利于检测的方向进行图像增强。

步骤1-2：针对采集的工件产品部件的图像特征，在图像增强算法上面选取了能够改善图像亮度、对比度和色调的Gamma校正、对比度变换和白平衡变换算法，以及增强图像边缘和细节特征的锐化算法，各个滤波器算法如表1所示。

表1.可微图像处理模块滤波器算法

*P_i为图片的像素值，r_i、g_i、b_i为各通道对应位置的像素值

其中，Gamma用于校正图像的明暗，I表示输入图像的像素值，参数γ可以通过反向传播不断学习，调整图像的明暗。白平衡用于解决不同的光源条件下，同一个物体反射的光线有所差别的问题，通过三通道各个像素值乘以一个用于学习的参数(W_r,W_b,W_g)，来调整图像的色彩比例。对比度是一幅图像中最亮和最暗的像素值之间的反差大小，反差越大代变图像对比度越大，反差越小代表图像像素更接近、对比度越小，α代表对比度值的预测参数，P₀为经过经过对比度处理后的图像。锐化采用USM算法，对原图像做一个高斯模糊，去除一些细小的干扰细节和噪声，I表示输入图像的像素值，Gau(I(x))表示高斯模糊处理。

步骤2：将步骤1增强后的图像作为输入向量，将缺陷位置与缺陷类别作为输出向量，使用深度神经网络进行深度学习，拟合缺陷检测的深度模型，将输出的缺陷位置与缺陷类别作为工件缺陷检测的最终结果。在深度神经网络中引入注意力机制和特征融合模块，使网络在训练的过程中更专注于融合通道间有效的特征，将浅层的特征与深层的语义信息进行融合，实现对多尺度的缺陷精准检测。深度神经网络对工件的缺陷检测分为以下四个主要步骤：

步骤2-1：步骤1增强后的图像作为输入，通过深度学习主干网络进行训练与学习。深度学习主干网络用于提取图像特征，选择目标检测算法作为模型的主要结构，主干网络选择深度神经网络；特征金字塔即多尺度特征图部分，将主干网络提取出的特征通过一系列的卷积层构建不同尺度的特征图。

步骤2-2：在深度神经网络中引入注意力机制，即SE Block，使网络在训练的过程中更专注于融合通道间有效的特征。注意力机制引入在激活函数之后，串联拼接处理之前。输入注意力结构的特征层首先通过一个全局平均池化层得到全局空间信息，再通过两个全连接层和两个激活函数对全局信息进行压缩再升维，最终获取各个通道的权重并与对应的特征图相乘，从而获取各通道间的关联关系。

步骤2-3：在深度神经网络中加入特征融合模块。将浅层的特征与深层的语义信息进行融合，使得用于小尺度目标检测和定位的浅层特征图能够同时包含细节和深层语义信息。特征融合结构可以由以下公式表示：

T_f＝Concat(f{X_p},f{Up(X_q)})

f(x_i)＝ReLU(L2(x_i))

Up(x_i)＝ReLU(BN(f_1×1(Bilinear(x_i)))

其中，x_i表示待融合的特征图集中的第i个特征图，Bilinear表示双线性插值法，BN为批标准化处理。ReLU为激活函数，f_1×1为卷积核大小为1的卷积层，对于与目标尺寸不同的待融合特征图，先通过1×1的卷积层降维后，使用双线性插值法将尺寸较小的深层特征图上采样处理。f表示所有待融合特征图通过L2正则化将数据归一化至同一范围内，便于后续的拼接。拼接方式选取串联操作，将未经上采样的特征图X_p和经过插值后的特征图X_q在通道维度拼接，再通过一个3×3的卷积层消除拼接后的混叠效应，T_f即为浅层特征与深层语义信息融合的结果。

步骤2-4：利用深度网络中提取到的不同特征和特征融合后的特征金字塔进行缺陷检测。特征金字塔结构用来提取不同尺度的特征图，以提高多尺度目标的检测效果。对对融合后的各个特征图的不同位置进行密集抽样，抽样时采用不同的定位框尺度和长宽比，进行物体分类和先验框的回归，物体分类结果输出为缺陷类别，先验框的位置输出为缺陷位置。由于目标缺陷通常尺寸较小，而小尺寸目标的定位信息通常来自于浅层特征。将主干网络ResNet50输出的特征图集合记为{C₁,C₂,C₃,C₄}，选取小尺度的浅层特征层C₂作为特征金字塔的初始特征图。根据以下公式构建特征金字塔：

P_i+1＝F(f_3×3(F(f_1×1(P_i))))

F(x_i)＝ReLU(BN(x_i))

其中，i∈{0,1,2,3,4}，P₀＝C₂，f_3×3和f_1×1分别为卷积核大小为3、1的卷积层，f_3×3卷积层的步长为2。BN为批标准化处理，F(x_i)为对批标准化处理后的结果进行激活。ReLU为激活函数，可以抑制由于网络过深产生的梯度消失现象。最终输出的特征图集合表示为{P₀,P₁,P₂,P₃,P₄,P₅,}，特征图尺寸分别为{38,19,10,5,3,1}。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于深度神经网络的工件缺陷检测方法，其特征在于：包括以下步骤，

步骤1，对采集的工件图像进行预处理生成工件图像数据集，并对工件图像数据集中的训练图像进行图像增强；

步骤2，在深度神经网络中引入注意力机制和特征融合模块，使用深度神经网络进行深度学习，拟合缺陷检测的深度模型将输出的缺陷位置与缺陷类别作为工件缺陷检测的最终结果；具体包括如下子步骤：

步骤2.1，将步骤1增强后的图像作为输入，通过深度神经网络的主干网络进行训练与学习，所述主干网络用于提取图像特征；

步骤2.2，将主干网络提取出的图像特征通过一系列的卷积层构建不同尺度的特征图，并将多尺度特征图部分记为特征金字塔；

步骤2.3，在深度神经网络中加入特征融合模块，用于将浅层的特征与深层的语义信息进行融合，即用于将将主干网络提取的图像特征与特征金字塔中的特征图拼接，使得用于小尺度目标检测和定位的浅层特征图能够同时包含细节和深层语义信息；

步骤2.4，利用深度神经网络中特征融合后的特征金字塔进行缺陷检测。

2.根据权利要求1所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：在步骤1中，构建一个由参数预测模块和可微图像处理模块两部分组成的图像增强模块，利用图像增强模块对训练图像进行图像增强；

其中参数预测模块包括五个卷积层和两个全连接层，每个卷积层后面连接一个激活层，输入下采样后低分辨率的图像，输出可微图像处理模块需要的超参数；

可微图像处理模块利用亮度、对比度和色调的Gamma校正、对比度变换和白平衡变换算法，以及增强图像边缘和细节特征的锐化算法对图像进行增强。

3.根据权利要求1所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于，步骤2.1中，所述主干网络为ResNet50。

4.根据权利要求1所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于，步骤2.2中，将主干网络ResNet50输出的特征图集合记为{C₁,C₂,C₃,C₄}，选取小尺度的浅层特征层C₂作为特征金字塔的初始特征图，并根据以下公式构建特征金字塔：

P_i+1＝F(f_3×3(F(f_1×1(P_i))))

F(x_i)＝ReLU(BN(x_i))

其中，i∈{0,1,2,3,4}，P₀＝C₂，f_3×3和f_1×1分别为卷积核大小为3、1的卷积层，f_3×3卷积层的步长为2，BN为批标准化处理，F(x_i)为对批标准化处理后的结果进行激活，ReLU为激活函数，最终输出特征图集合表示为{P₀,P₁,P₂,P₃,P₄,P₅,}，特征图尺寸分别为{38,19,10,5,3,1}。

5.根据权利要求1所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：在步骤2.3中，特征融合模块可以由以下公式表示：

T_f＝Concat(f{X_p},f{Up(X_q)})

f(x_i)＝ReLU(L2(x_i))

Up(x_i)＝ReLU(BN(f_1×1(Bilinear(x_i)))

其中，x_i表示待融合的第i个特征图，Bilinear表示双线性插值法，BN为批标准化处理，ReLU为激活函数，f_1×1为卷积核大小为1的卷积层，对于与目标尺寸不同的待融合特征图，先通过1×1的卷积层降维后，使用双线性插值法将尺寸较小的深层特征图进行上采样处理，f表示待融合特征图通过L2正则化将数据归一化至同一范围内，便于后续的拼接，L2正则化之后连接有ReLU激活函数；拼接方式选取串联拼接操作，将未经上采样的特征图X_p和经过插值后的特征图X_q在通道维度拼接，再通过一个3×3的卷积层消除拼接后的混叠效应，T_f即为浅层特征与深层语义信息融合的结果。

6.根据权利要求4所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：步骤2.3中还引入注意力机制，即SE Block，使网络在训练的过程中更专注于融合通道间有效的特征，所述注意力机制引入在L2正则化+ReLU激活函数之后，串联拼接处理之前。

7.根据权利要求6所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：注意力机制的处理过程如下；

输入的特征层首先通过一个全局平均池化层得到全局空间信息，再通过两个全连接层和两个激活函数对全局信息进行压缩再升维，最终获取各个通道的权重并与对应的特征图相乘，从而获取各通道间的关联关系，使网络在训练的过程中更专注于融合通道间有效的特征。

8.根据权利要求1所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：步骤2.4中对融合后的特征金字塔中各个特征图的不同位置进行密集抽样，抽样时采用不同的定位框尺度和长宽比，进行物体分类和先验框的回归，物体分类结果输出为缺陷类别，先验框的位置输出为缺陷位置。

9.根据权利要求2所述的一种基于深度神经网络的工件缺陷检测方法，其特征在于：所述锐化算法采用USM算法。

Images