CN114841930A - 一种基于平行多尺度融合网络的产品缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于平行多尺度融合网络的产品缺陷检测方法，包括：将待检测的工业产品图像输入训练获得的产品缺陷检测网络模型，检测分割获得工业产品图像中的缺陷区域。训练获得产品缺陷检测网络模型，包括：构建产品缺陷检测网络模型；获取训练数据集，训练数据集包括历史工业产品图像和对应的缺陷区域的分割掩膜；将训练数据集送入产品缺陷检测模型中，构建历史工业产品图像和对应的缺陷区域的分割掩膜之间的映射关系；根据聚合损失函数，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化与更新。本发明实现了对工业产品图像分割缺陷区域，提高了分割的准确度。

Description

一种基于平行多尺度融合网络的产品缺陷检测方法

技术领域

本发明涉及一种基于平行多尺度融合网络的产品缺陷检测方法，属于图像处理技术领域。

背景技术

表面缺陷检测是工业生产过程中不可或缺的一个过程，也是计算机视觉中非常重要的研究内容。在生产过程中，由于生产工艺和生产环境复杂，表面缺陷不可避免，这些缺陷不仅影响了产品的美观，甚至损害了产品的寿命和安全，因此产品的缺陷检测是必不可少的检验程序。在以往的工业生产中，依靠传统的人工目视检查方法，存在着效率低、成本高、安全度差和泄漏率等问题。近年来，随着机器学习和深度学习的发展，基于计算机视觉的表面缺陷检测广泛应用于3C、半导体、电子、制药、化工和机械制造业，可以有效解决依赖人工检查的问题。目前，基于机器视觉的自动检测方法可以解决现有的人工检查问题，如效率低、劳动强度高和主观因素等，引起了越来越多研究者的兴趣。然而由于生产环境的噪声、人为干扰、缺陷类型的多样性和复杂性，现有的工业产品表面缺陷的分割和定位方法的精度仍然不能很好满足实际应用需求。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于平行多尺度融合网络的产品缺陷检测方法。

为达到上述目的，本发明提供一种基于平行多尺度融合网络的产品缺陷检测方法，包括：将待检测的工业产品图像输入训练获得的产品缺陷检测网络模型，检测分割获得工业产品图像中的缺陷区域。

优先地，训练获得产品缺陷检测网络模型，包括：

构建产品缺陷检测网络模型；

获取训练数据集，训练数据集包括历史工业产品图像和对应的缺陷区域的分割掩膜；

根据聚合损失函数，将训练数据集送入产品缺陷检测模型中，构建历史工业产品图像和对应的缺陷区域的分割掩膜之间的映射关系，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化与更新；

若聚合损失函数收敛于一定值或者达到设定的迭代次数，则训练结束，获得最终的产品缺陷检测网络模型。

优先地，构建的产品缺陷检测网络模型包括基干网络、并行多尺度通道和融合检测模块，基干网络、并行多尺度通道和融合检测模块依次连接；

基干网络进行多个平行多尺度特征提取。

优先地，聚合损失函数为：

式中，N表示批处理大小，k是深度监督信号的个数，μ_k表示第k个侧输出融合损失的权重，L_bce表示二元交叉熵损失，L_ssim表示SSIM损失，L_iou表示边界IOU损失，θ为待迭代优化更新的产品缺陷检测网络模型的训练超参。

优先地，二元交叉熵损失的计算公式为：

式中，G(x,y)∈{0,1}是真实缺陷区域的真实标签，Y(x,y)是产品缺陷检测网络模型预测的有缺陷区域的概率，(x，y)是历史工业产品图像的像素坐标；

SSIM损失的计算公式为：

式中，μ_x为x的均值，μ_y为y的均值，σ_x为x的标准差，σ_y为y的标准差，σ_xy为x和y的协方差，C₁和C₂为设定的常数；

边界IOU损失的计算公式为：

式中，H为历史工业产品图像的高度，W为历史工业产品图像的宽度。

优先地，根据聚合损失函数，将训练数据集送入产品缺陷检测模型中，构建历史工业产品图像和对应的缺陷区域之间的映射关系，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化与更新，包括：

通过反向传播算法，更新产品缺陷检测网络模型的网络参数ω，ω←ω+α·Adam(ω,d_ω)，其中，Adam为梯度下降算法，α为学习率,d_ω为网络参数ω的梯度更新。

优先地，并行多尺度通道包括对偶阈值收缩模块和上下文注意力模块，

并行多尺度通道表达式为：

y_n＝C[D(D(X_n)+X_n)]，

式中，y_n为并行多尺度通道输出的第n个尺度特征图，D(·)为对偶阈值收缩模块，C(·)为上下文注意力模块。

优先地，融合检测模块表达式为：

式中，σ为sigmoid激活函数，Y为产品缺陷检测网络模型预测的的缺陷区域。

优先地，对偶阈值收缩模块的表达式为：

式中，X为平行多尺度特征，X＝{X_n:n＝0,1,2……5}，T为平行多各尺度特征对应的对偶阈值，(c,i,j)依次表示各平行多尺度特征X的通道、高和宽这三个维度；

上下文注意力模块的表达式为：

式中，S＝{S_n:n＝0,1,2……5}为在平行多尺度通道中经过两轮对偶阈值收缩模块处理后的平行多尺度特征，y为上下文注意力模块输出的平行多尺度特征，y＝{y_n:n＝0,1,2……5}；g^h、g^w分别为平行多尺度特征水平方向和垂直方向上的注意力权重。

本发明所达到的有益效果：

本发明提出了一种基于平行多尺度融合网络的产品缺陷检测，构建的产品缺陷检测网络模型通过使用设计的对偶阈值收缩模块和上下文注意力模块串联连接组成并行多尺度通道模块进行多尺度特征处理，依靠融合检测模块进行多尺度特征的融合，输出最终的异常检测结果，以实现有效的边界预测；本发明实现了对工业产品图像分割缺陷区域，提高了分割的准确度。

附图说明

图1为本发明的流程框图；

图2为本发明中产品缺陷检测网络模型的结构示意图；

图3为本发明中对偶阈值收缩模块的结构示意图

图4为本发明中上下文注意力模块的结构示意图。

图5为本发明对东北大学热轧带钢表面缺陷数据集处理的可视化对比结果示意图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一

本发明将待分割工业产品图像数据输入到训练获得的产品缺陷检测网络模型中，实现对工业产品图像缺陷的检测，分割出工业产品图像的缺陷区域。

具体地，本发明所采用的技术方案为：

一种基于平行多尺度融合网络的产品缺陷检测，包括如下步骤：

S101、采集工业产品图像，在工业产品图像上标注缺陷分割区域包含的分割掩膜，将其作为训练数据集；

S201、构建基于平行多尺度融合网络的产品缺陷检测网络模型，该产品缺陷检测网络模型由基干网络、并行多尺度通道和融合检测模块组成；

S301、设计用于该产品缺陷检测网络模型训练学习的聚合损失函数，并预设产品缺陷检测网络模型所涉及的训练超参；

S401、将训练数据集送入产品缺陷检测模型中，根据聚合损失函数，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化更新，训练完成；

S501、将工业产品图像输入至训练完成的产品缺陷检测网络模型，用于实现工业产品图像中的缺陷区域的自动检测与分割。

1、步骤S101中，使用标注软件对不同等级噪声的工业产品图像进行像素级别的标注，获得缺陷区域的分割掩膜。

2、步骤S201中，搭建一种基于平行多尺度融合网络的产品缺陷检测网络模型，该产品缺陷检测网络模型主要由基干网络、并行多尺度通道和融合检测模块组成。首先使用基干网络进行多个平行多尺度特征提取，基干网络的平行多尺度特征提取输出的第n级特征为

其中C_i表示对应平行多尺度特征的通道数，H_n、W_n表示该平行多尺度特征的高和宽，其中n＝0,1,2……,5，共有六个平行多尺度特征。

并行多尺度通道模块对提取的平行多尺度特征进行处理，将这六个平行多尺度特征送入融合检测模块进行多尺度特征的融合，输出最终的缺陷区域。

3、步骤S301中，聚合损失函数为：

式中，N表示批处理大小；k是深度监督信号的个数，按照侧输出信号其数值为8。μ_k表示第k个侧输出融合损失的权重，根据经验将其设置为1。L_bce表示二元交叉熵损失，L_ssim表示SSIM损失，L_iou表示边界IOU损失，ω为需要迭代优化更新的产品缺陷检测网络模型的训练超参，产品缺陷检测网络模型的训练超参包括模型学习率α和迭代次数epoch。通过最小化损失函数(1)来指导训练超参的学习。

进一步地，定义二元交叉熵损失，约束网络预测值与真实标签之间的概率分布的差异。定义为：

式中，G(x,y)∈{0,1}是真实缺陷区域的分割掩膜，Y(x,y)是网络模型预测的缺陷区域概率。

进一步地，SSIM损失最初是用于图像质量评估。它捕获缺陷分割图像中的结构信息。因此，它被整合到聚合损失中，以指导网络从真实缺陷分割掩膜中学习关于有缺陷的物体的结构信息，设Y＝{Y_j:j＝1,…,N²}和G＝{G_j:j＝1,…,N²}为模型预测缺陷区域的概率Y和真实缺陷分割掩膜G的两个对应的N×N大小特征的像素值，SSIM损失定义为：

式中，μ_x，μ_y和σ_x，σ_y分别为x和y的均值和标准差，σ_xy为x和y的协方差，C₁＝0.012，C₂＝0.032。进一步地，IOU损失最初是用来衡量两组的相似性，然后作为目标检测和分割的标准评价度量。IOU损失可以表示为：

式中，G(x,y)∈{0,1}是真实缺陷区域的分割掩膜，Y(x,y)是网络模型预测的缺陷区域概率，H为图像高度，W为图像宽度。

4、步骤S401包括：

步骤S4011、对网络各模块进行相应的参数初始化；输入训练数据集，构建训练工业产品图像和对应的真实缺陷区域分割掩膜之间的映射关系；

步骤S4012、通过反向传播算法，更新各个神经网络模型的网络参数ω，ω←ω+α·Adam(ω,d_ω)，其中，Adam为梯度下降算法中的一种，α为学习率，设置为0.001，d_ω为网络模型参数ω的梯度更新；

步骤S4013、对整个训练数据集的所有图像，依次进行步骤S401和S402操作，总共进行epoch＝600次迭代或者聚合损失函数收敛于一定值，则训练结束。

5、步骤S501包括：将测试图像输入至产品缺陷检测网络模型，用于实现对工业产品图像的缺陷分割。

首先由基干网络对测试图像进行多尺度特征提取，多尺度特征表达式为：

X_n＝F(I)#(5)

式中，I为测试图像，X_n表示基干网络F(·)的平行多尺度特征提取输出的第n级特征，n＝0,1,2……5，共有六个平行多尺度特征。

接着各平行多尺度特征X＝{X_n:n＝0,1,2……5}前向输入并行多尺度通道，并行多尺度通道由对偶阈值收缩模块和上下文注意力模块组成，输出表达式为：

y_n＝C[D(D(X_n)+X_n)]#(6)

式中，D(·)为对偶阈值收缩模块，C(·)为上下文注意力模块，X_n表示第n个尺度的特征图，n＝0,1,2……5，y_n为并行多尺度通道输出的第n个尺度特征图。

最后，将经过平行多尺度通道模块的各尺度特征输入至融合检测模块，该模块通过融合各尺度特征输入至上下文注意力模块中输出最终的缺陷检测结果，融合检测模块的输出表达式为：

式中，σ为sigmoid激活函数，Y为最终的缺陷分割预测图。

进一步地，对偶阈值收缩模块如图3所示，平行多尺度特征X＝{X_n:n＝0,1,2……5}前向输入对偶阈值收缩模块，对偶阈值收缩模块输出表达式为：

式中，T为各尺度特征对应的对偶阈值，(c,i,j)依次表示各尺度特征X的通道、高和宽这三个维度。对偶阈值通过水平和垂直方向对各尺度特征X进行阈值收缩处理，对偶阈值之和可以表示为：

T(c,i,j)＝γ_h(c,j)×X_h(c,j)+γ_v(c,i)×X_v(c,i)#(9)

式中，×表示特征间的逐元素相乘，X_h、X_v分别为沿着水平方向和垂直方向进行池化操作，并经过绝对值和平均值操作，得到的并行多尺度特征X在两个方向上的绝对值特征水平和垂直方向上的两个编码向量。γ_h和γ_v分别为水平方向和垂直方向上的缩放比例参数。其中，水平方向的编码输出表述可以表示为：

同样，垂直方向的编码输出可以写为：

然后，编码向量X_h、X_v再分别经过两个1×1卷积运算F处理后，并经Sigmoid激活函数处理后约束其取值范围为(0,1)，获得缩放比例参数γ_h和γ_v。该计算过程可表示为：

同样地，垂直方向的输出也可以表示为：

进一步将缩放比例参数γ_h和γ_v分别乘以X_h、X_v，便可以得到两个维度的阈值，该操作能够将阈值可以保持在一个合理的范围内。在式(9)中，两个阈值逐元素相加的过程中，进行了Reweight操作，即将水平维度γ_h(c,j)×x_h(c,j)逐元素所得权重的维度从C×H×1拓展到C×H×W，同样垂直维度也进行了Reweight操作，以此达到在全部特征空间内阈值收缩去噪。

进一步地，上下文注意力模块如图4所示，在并行多尺度通道中经过两轮对偶阈值收缩模块处理后的平行多尺度特征S＝{S_i:i＝0,1,2……5}，继续前向经过上下文注意力模块，上下文注意力模块C(·)的输出可以写为：

y为并行多尺度通道中经过上下文注意力模块的多尺度输出特征，y＝{y_n:n＝0,1,2……5}。g^h、g^w分别为水平方向和垂直方向上的注意力权重。两个注意力权重的获得首先使用两个池化核(H,1)和(1,W)分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为h的多尺度特征图第c个通道的编码输出可以表示为：

同样，宽度为w的多尺度特征图第c个通道的编码输出也可以写为：

上述两个变换分别将特征与两个空间方向聚集起来，生成一对方向感知特征图。这两种转换允许注意力块沿着一个空间方向捕获位置依赖关系，并与另一个空间方向一起保留精确的位置信息，这有助于网络更准确地定位有缺陷的对象。

接下来，沿着两个方向使用相同的共享1×1卷积运算F来得到：

式中δ是Sigmoid激活函数，f_h∈R^C/r×1×w和f_w∈R^C/r×h×1是在水平和垂直方向编码空间信息的中间特征图。这里，r是控制特征图通道大小的比例系数。最后，利用另外两个1×1卷积运算F_h和F_w分别将f_h和f_w提升通道，得到两个方向上的注意力权重：

g^h＝σ(F_h(f_h))#(18)

g^w＝σ(F_w(f_w))#(19)

式中，σ是sigmoid函数，以此实现通道融合的过程。然后使用Reweight操作，展开输出的g^h、g^w，分别作为注意力权重使用。为并行多尺度通道之后将经过上下文注意力模块处理后的输出y中的各尺度特征输入至融合检测模块，通过融合各尺度特征输入至上下文注意力模块中输出最终的缺陷检测结果，即最终的缺陷分割预测图Y。

实施例二

为验证本发明的效果与所提出的对偶阈值收缩模块和上下文注意力模块的有效性，对本发明进行仿真实验与消融实验，测试列规格是256×256，东北大学热轧带钢表面缺陷数据集训练及测试模型，设置相关参数：α＝0.001，epoch＝600，实验的评价使用定量的分析方法。通过在测试集进行实验，得到最终的分割精度为MAE＝0.0106，Weighted F-measure＝0.9344，Structure measure＝0.9462。

同样在测试集上进行消融实验以验证对偶阈值收缩模块与上下文注意力模块的有效性。通过分别去除对偶阈值收缩模块(DDM)与上下文注意力模块(CAM)，只保留ResNet-34-CBAM网络模型与完整网络结构作对比，消融实验结果如表1所示，网络最终输出结果如图5所示，在高噪声复杂背景情况下，本发明的定位出来的缺陷结果最优。

从表1可以看出，相较于只保留ResNet-34-CBAM模型的分类网络，对偶阈值收缩模块与上下文注意力模块确实如上文所述可以有效的提高缺陷分割精度。

表1

本发明还展示了与其他网络模型在东北大学热轧带钢表面缺陷数据集上的定量指标对比，评价指标包括MAE、WF(Weighted F-measure)、SM(Structure measure)，如表2所示：

表2

从表2可以看出，本专利的模型在三种不同噪声等级下对于产品缺陷都能够进行一个有效的分割，指标上本专利在数据集上获得了更大的性能改进。其中，在ρ＝0情况下与BASNet方法相比，WF和SM平均提高了29.8％、2.0％，MAE度量显著下降了30.2％。在其他噪声等级下，本专利的模型在各指标上也获得了很大的提升。

从图5可以看出，本专利的网络模型能够在复杂场景下有效检测出产品的表面缺陷，无论是缺陷的整体结构还是缺陷边界精细程度。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，包括：

将待检测的工业产品图像输入训练获得的产品缺陷检测网络模型，检测分割获得工业产品图像中的缺陷区域。

2.根据权利要求1所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，训练获得产品缺陷检测网络模型，包括：

构建产品缺陷检测网络模型；

获取训练数据集，训练数据集包括历史工业产品图像和对应的缺陷区域的分割掩膜；

根据聚合损失函数，将训练数据集送入产品缺陷检测模型中，构建历史工业产品图像和对应的缺陷区域的分割掩膜之间的映射关系，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化与更新；

若聚合损失函数收敛于一定值或者达到设定的迭代次数，则训练结束，获得最终的产品缺陷检测网络模型。

3.根据权利要求2所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，构建的产品缺陷检测网络模型包括基干网络、并行多尺度通道和融合检测模块，基干网络、并行多尺度通道和融合检测模块依次连接。

4.根据权利要求2所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，聚合损失函数为：

式中，N表示批处理大小，k是深度监督信号的个数，μ_k表示第k个侧输出融合损失的权重，L_bce表示二元交叉熵损失，L_ssim表示SSIM损失，L_iou表示边界IOU损失，θ为待迭代优化更新的产品缺陷检测网络模型的训练超参。

5.根据权利要求4所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，二元交叉熵损失的计算公式为：

式中，G(x,y)∈{0,1}是真实缺陷区域的真实标签，Y(x,y)是产品缺陷检测网络模型预测的有缺陷区域的概率，(x，y)是历史工业产品图像的像素坐标；

SSIM损失的计算公式为：

式中，μ_x为x的均值，μ_y为y的均值，σ_x为x的标准差，σ_y为y的标准差，σ_xy为x和y的协方差，C₁和C₂为设定的常数；

边界IOU损失的计算公式为：

式中，H为历史工业产品图像的高度，W为历史工业产品图像的宽度。

6.根据权利要求2所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，根据聚合损失函数，将训练数据集送入产品缺陷检测模型中，构建历史工业产品图像和对应的缺陷区域之间的映射关系，采用Adam优化器实现产品缺陷检测网络模型参数的迭代优化与更新，包括：

通过反向传播算法，更新产品缺陷检测网络模型的网络参数ω，ω←ω+α·Adam(ω,d_ω)，其中，Adam为梯度下降算法，α为学习率,d_ω为网络参数ω的梯度更新。

7.根据权利要求3所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，并行多尺度通道包括对偶阈值收缩模块和上下文注意力模块，

并行多尺度通道表达式为：

y_n＝C[D(D(X_n)+X_n)]，

式中，y_n为并行多尺度通道输出的第n个尺度特征图，D(·)为对偶阈值收缩模块，C(·)为上下文注意力模块。

8.根据权利要求3所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，融合检测模块表达式为：

式中，σ为sigmoid激活函数，Y为产品缺陷检测网络模型预测的的缺陷区域。

9.根据权利要求7所述的一种基于平行多尺度融合网络的产品缺陷检测方法，其特征在于，对偶阈值收缩模块的表达式为：

式中，X为平行多尺度特征，X＝{X_n:n＝0,1,2……5}，T为平行多各尺度特征对应的对偶阈值，(c,i,j)依次表示各平行多尺度特征X的通道、高和宽这三个维度；

上下文注意力模块的表达式为：

式中，S＝{S_n:n＝0,1,2……5}为在平行多尺度通道中经过两轮对偶阈值收缩模块处理后的平行多尺度特征，y为上下文注意力模块输出的平行多尺度特征，y＝{y_n:n＝0,1,2……5}；g^h、g^w分别为平行多尺度特征水平方向和垂直方向上的注意力权重。

Images