CN109711474A - 一种基于深度学习的铝材表面缺陷检测算法 - Google Patents

Abstract

本发明涉及一种基于深度学习的铝材表面缺陷检测算法，包括：(1)利用摄像头对铝材表面进行拍摄，获取相关数据集并用labelImg工具对图像进行标注，获取标签信息；(2)将图像划分成训练集和测试集，并对训练集进行数据增强；(3)每次同时输入一张有缺陷图像和无缺陷图像及有缺陷图像的标签信息到网络中进行模型训练；(4)将测试图像输入到训练好的铝材表面缺陷检测模型，获取缺陷的位置和对应的类别。本发明的方法可以有效利用有缺陷图像和无缺陷图像，提高模型的泛化能力和检测精度，通过充分利用候选区域周围的上下文信息进一步提高检测性能，利用软的非极大值抑制算法可以提高对密集小缺陷的检测性能，是一种高效的铝材表面缺陷检测算法。

Description

一种基于深度学习的铝材表面缺陷检测算法

技术领域

本发明涉及图像目标检测领域，即一种基于深度学习的铝材表面缺陷检测算法。

背景技术

在铝材的实际生产过程中，由于各方面因素的影响，铝材表面会产生脏点、不导电和漏底等缺陷，这些缺陷会严重影响铝材的质量。为保证产品质量，需要人工进行肉眼目测。然而，铝材的表面自身会含有纹路，与瑕疵的区分度不高，传统人工肉眼检查十分费力，不能及时准确的判断出表面缺陷，质检的效率难以把控。

随着深度学习的发展，特别是卷积神经网络在图像识别、图像检测和图像分割等方面的应用，所取得的效果是过往使用传统算法无法比拟的。图像检测处于图像识别和图像分割的衔接阶段，是一种能够检测出图像中特定类别的物体的位置并给出相应的类别置信度。基于深度学习的目标检测算法有二阶段检测算法和单阶段检测算法，二阶段检测算法速度虽较慢但具有更高的检测性能。

但是通用的目标检测算法对于铝材表面缺陷的检测性能并不近乎人意，主要原因是铝材缺陷图像数量较少，铝材表面缺陷大小变化大，形状并不固定等。

发明内容

为了克服现有技术存在的不足，本发明提出了一种解决上述难点的基于深度学习的铝材表面缺陷检测算法。

为了实现以上目的，本发明提出的方法具体步骤如下：

(1)图像采集，利用摄像头对铝材表面进行拍摄，获取相关的图像并对图像重命名，如1.jpg，2.jpg，3.jpg，…，M.jpg等，采用labelImg工具对拍摄的图像进行标注，获取图像中关于缺陷的标签，缺陷的标签包含了缺陷在图像中左上角的坐标(x1，y1)，右下角的坐标(x2，y2)和缺陷的类别defectN，其中N表示数字，如1，2，3，…等，特别的，如果拍摄的图像中没有缺陷，我们不会用labelImg进行处理，只记录其类别信息norm；

(2)图像划分，将图像划分成训练集和测试集两部分，两个部分不存在相同的图像，训练集用来训练检测模型，测试集用来评估检测模型的性能；

(3)图像预处理，包括随机上下翻转、随机左右翻转和随机光照改变等，其中随机上下翻转、随机左右翻转和随机光照改变只针对训练集，特别的，当进行随机上下翻转和随机左右翻转的时候，缺陷的坐标信息也需要做出相应的变化；

(4)训练检测模型，将经过图像预处理后的训练集中的图像和标签信息输入到铝材表面缺陷检测模型中进行训练，特别的每次同时输入一张有缺陷的图像和一张无缺陷的图像，获取各图像中缺陷的预测框和类别，并与实际的标签信息中的真实框和类别进行对比，计算出定位误差和分类误差，然后采用多学习任务的方法，利用带动量的梯度下降算法进行训练；

(5)检测铝材图像，将测试集中的图像输入到训练好的铝材表面缺陷检测模型中进行检测，获得铝材图像中缺陷的位置和类型。

所述步骤(4)中训练包括基于利用Kmeans聚类算法获取训练集中真实框的分布的步骤、基于有缺陷的图像和无缺陷图像的双图像输入的步骤、基于带有Feature pyramidNetwork(FPN)的Faster R-CNN模型的步骤、RoI Align池化步骤、基于上下文的调整候选区域的步骤和多任务学习的步骤。

如图1所示，所述步骤(4)具体为：

(4.1)对训练集标签信息中真实框的宽和高进行聚类，获取真实框的分布的若干个簇，利用得到的聚类结果调整FPN中anchors的基本尺寸和横纵比；

(4.2)每次输入图像时同时输入两张图像，其中一张为有缺陷的图像，另外一张为无缺陷的图像；

(4.3)输入的两张图像通过带有FPN的Faster R-CNN模型，图像经过骨干网络进行特征提取后形成不同大小的特征图，浅层的特征图的分辨率较大，包含的细节信息较多但语义信息较少；深层的特征图的分辨率较小，包含的细节信息较少但语义信息较多，通过从顶到底和横向链接的方式丰富了浅层的语义信息，形成不同大小的特征图。对这些特征图通过卷积操作预测不同特征图上不同特征点映射回原图上的点的若干个anchors的前背景分类概率和相对平移缩放参数，同时不同特征图上不同特征点映射到原图上的点对应的anchors与真实框计算交叠率，如果与真实框的交叠率最高或者与任意真实框的交叠率大于0.7的anchor则认为是正样本，而与所有真实框的交叠率都小于0.3的anchor则认为是负样本，特别的，如图2所示，正样本都是来自有缺陷的铝材图像而负样本可能来自有缺陷的铝材图像也可能来自无缺陷的铝材图像；

(4.4)利用前一步计算得到的相对平移缩放参数对anchors进行第一次位置调整，对调整后的候选区域通过前景类别置信度进行排序，从中选择若干个候选区域，利用上下文信息对这些候选区域进行调整。关于候选区域r_i的上下文信息区域的选择采用跟候选区域的交叠率数值大于某个阈值的区域，即同时对这些上下文信息区域的特征其中利用自适应权重的方法处理成统一的表征令w_ji为的自适应权重且其中1(.)表示布尔函数，l_i表示r_j的前背景标签信息，s_j表示r_j的类别置信度，b_j表示r_j的位置区域。最后统一表征为其中最后将候选区域的特征v_i和得到的统一表征连结到一起，利用两个连续的全连接层计算出新的前背景类别置信度和新的相对平移缩放参数。针对正样本的候选区域用来计算区域生成网络的回归损失，而正负样本的候选区域用来计算区域生成网络的前背景分类损失。特别的，进行特征聚合和特征连结时，这些特征是候选区域通过RoI Align池化产生的；

(4.5)利用上下文信息调整后的候选区域对应的特征块通过全连接层，获取细分类的类别置信度和预测相对平移缩放参数，计算出细分类误差和回归误差；

(4.6)利用多任务学习的方法计算(4.4)中的前背景分类误差及回归误差和(4.5)中的细分类误差和回归误差，利用带动量的梯度下降算法进行训练。

所述步骤(4.6)的训练过程具体包括区域生成网络的前背景分类损失和定位损失及Fast R-CNN中的细分类损失和定位损失：

区域生成网络的损失函数：

另外

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)

x，x_a，x^*分别表示预测框，anchor box和真实框(y，w，h也同x类似)

其中N_cls表示计算分类损失时正负样本个数，N_reg表示anchor定位的数量，λ设为超参数，分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本。

Fast R-CNN的损失函数：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v)

v＝(v_x，v_y，v_w，v_h)，表示真实的平移缩放参数，表示预测的平移缩放参数

其中分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本，平移缩放参数的计算同区域生成网络中一致。

所述步骤(5)中测试过程具体为测试图像通过铝材表面缺陷检测模型后得到若干个预测框的位置和对应的类别，我们对这些预测框进行软的非极大值一致，最后保留类别置信度高于某个阈值的若干个预测框作为最后的输出结果。

所述的对得到的预测框使用软的非极大值抑制，最后保留类别置信度高于某个阈值的若干个候选框作为最后的输出结果，具体就是针对所有的预测框采用以下方式进行处理：

首先，对于某一类别的缺陷，我们按照得到的置信度进行从大到小的排序，然后固定第1个预测框，依次计算其与第2个到最后1个预测框的交叠率，如果交叠率小于等于某一阈值，对应预测框的置信度不变化，如果交叠率大于某一个阈值，则更新该预测框对应此类别的置信度，更新置信度的公式为：

其中M表示固定的候选框，b_i表示与固定的预测框进行交叠率计算的候选框，s_i表示b_i对应此类别的置信度，δ是超参数。

采用迭代的方式依次固定第2个，第3个…，倒数第2个预测框，进行上面的操作。同样的，对于其他类别也采用以上方式进行处理。

最后输出类别置信度高于某个阈值的预测框，作为铝材表面缺陷检测模型的输出结果。

与现有技术相比，本发明的有益效果是：

针对铝材表面缺陷检测的难点提出针对性解决方法，如每次同时输入一张无缺陷图像和一张有缺陷图像，充分利用了训练集，缓解训练集图像数量较少的问题，提高模型的泛化性和检测性能；利用特征金字塔的结构有效解决铝材表面缺陷大小变化大的问题；利用候选区域周围的上下文信息对候选区域进行调整，有利于让模型更好学习缺陷的内容和定位，提高模型的检测性能；利用软的非极大值抑制有利于提高对密集的小缺陷的检测性能。

附图说明

图1是基于深度学习的铝材表面缺陷检测模型组成示意图

图2是检测模型利用无缺陷图像和有缺陷图像的示意图

图3是训练集图像中缺陷的宽高分布和Kmeans聚类的结果示意图

图4是测试集中各类缺陷的AP和mAP

图5是铝材图像测试集部分图像测试结果图

图6是铝材图像测试集部分图像测试结果图

具体实施方式

下面对本发明进行进一步说明。

本发明的实施过程及实施例如下：

(1)图像采集，利用摄像头对铝材表面进行拍摄，获取5000张图像并对图像重命名，如1.jpg，2.jpg，3.jpg，…，5000.jpg等，采用labelImg工具对拍摄的图像进行标注，获取图像中关于缺陷的标签，缺陷的标签包含了缺陷在图像中左上角的坐标(x1，y1)，右下角的坐标(x2，y2)和缺陷的类别defectN，其中N表示数字，N∈{1，2，3，…，10}，分别表示不导电、擦花、角位漏底、桔皮、漏底。喷流、漆泡、起坑、杂色和脏点，特别的，如果拍摄的图像中没有缺陷，我们不会用labelImg进行处理，只记录其类别信息norm；

(2)图像划分，将图像划分成4500张训练集和500张测试集两部分，两个部分不存在相同的图像，其中训练集用来训练检测模型，测试集用来评估检测模型的性能；

(3)图像预处理，包括随机上下翻转、随机左右翻转和随机光照改变等，其中随机上下翻转、随机左右翻转和随机光照改变只针对训练集，特别的，当进行随机上下翻转和随机左右翻转的时候，缺陷的坐标信息也需要做出相应的变化；

(4)训练检测模型，将经过图像预处理后的训练集中的图像和标签信息输入到铝材表面缺陷检测模型中进行训练，获取各图像中缺陷的预测框和类别，并与实际的标签信息中的真实框和类别进行对比，计算出定位误差和分类误差，然后采用多学习任务的方法，利用带动量的梯度下降算法进行训练。模型训练主要包括了基于利用聚类算法获取训练集中真实框的分布的步骤、基于有缺陷的图像和无缺陷图像的双图像输入的步骤、基于带有FPN的Faster R-CNN模型的步骤、RoI Align池化步骤、基于上下文的调整候选区域的步骤和多任务学习的步骤。

(4.1)对训练集标签信息中真实框的宽和高进行聚类。由于FPN中一共有5个特征图，且每个特征图上都有1个基本尺寸和3个横纵比，因此获取真实框的分布的15个簇，利用得到的聚类结果调整FPN中anchors的基本尺寸和横纵比。

聚类结果如表1所示，其中输入图像的分辨率为800*1333，训练集图像中缺陷的宽高分布和Kmeans聚类结果分布如图3所示。

表1利用聚类算法调整FPN中的基本尺寸和横纵比

(4.2)每次输入图像时同时输入两张图像，其中一张为有缺陷的图像，另外一张为无缺陷的图像；

(4.3)输入的两张图像通过带有FPN的Faster R-CNN模型，图像经过骨干网络进行特征提取后形成不同大小的特征图，浅层的特征图的分辨率较大，包含的细节信息较多但语义信息较少；深层的特征图的分辨率较小，包含的细节信息较少但语义信息较多，通过从顶到底和横向链接的方式丰富了浅层的语义信息，形成不同大小的特征图。对这些特征图通过卷积操作预测不同特征图上不同特征点映射回原图上的点的3个anchors的前背景分类概率和相对平移缩放参数，同时不同特征图上不同特征点映射到原图上的点对应的3个anchors与真实框计算交叠率，如果与真实框的交叠率最高或者与任意真实框的交叠率大于0.7的anchor则认为是正样本，而与所有真实框的交叠率都小于0.3的anchor则认为是负样本，特别的，如图2所示，正样本都是来自有缺陷的铝材图像而负样本可能来自有缺陷的铝材图像也可能来自无缺陷的铝材图像；

(4.4)利用前一步计算得到的相对平移缩放参数对anchors进行第一次位置调整，对调整后的候选区域通过前景类别置信度进行排序，从中选择6000个候选区域，利用上下文信息对这些候选区域进行调整。关于候选区域r_i的上下文信息区域的选择采用跟候选区域的交叠率数值大于某个阈值的区域，即其中阈值选择为0.5。同时对这些上下文信息区域的特征其中利用自适应权重的方法处理成统一的表征令w_ji为的自适应权重且其中 1(.)表示布尔函数，l_j表示r_j的前背景标签信息，s_j表示r_j的类别置信度，b_j表示r_j的位置区域。最后统一表征为其中最后将候选区域的特征v_j和得到的统一表征连结到一起，利用两个连续的全连接层计算出新的前背景类别置信度和新的相对平移缩放参数。针对正样本的候选区域用来计算区域生成网络的回归损失，而正负样本的候选区域用来计算区域生成网络的前背景分类损失。特别的，进行特征聚合和特征连结时，这些特征是候选区域通过RoI Align池化产生的；

(4.5)利用上下文信息调整后的候选区域对应的特征块通过全连接层，获取细分类的类别置信度和预测相对平移缩放参数，计算出细分类误差和回归误差；

(4.6)利用多任务学习的方法计算(4.4)中的前背景分类误差及回归误差和(4.5)中的细分类误差和回归误差，利用带动量的梯度下降算法进行训练。

具体实施中，损失包括区域生成网络的前背景分类损失和定位损失及Fast R-CNN中的细分类损失和定位损失：

区域生成网络的损失函数：

另外

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)

x，x_a，x^*分别表示预测框，anchor box和真实框(y，w，h也同x类似)

其中N_cls＝256表示计算分类损失时正负样本个数，其中前景包含所有的正样本，背景数量满足跟前景数量之和为256，且背景的选择采用在线难分样本挖掘策略获取，N_reg表示anchor定位的数量，λ设为10，分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本。

Fast R-CNN的损失函数：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v)

v＝(v_x，v_y，v_w，v_h)，表示真实的平移缩放参数，表示预测的平移缩放参数

其中分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本，平移缩放参数的计算同区域生成网络中一致。

训练时候，每次同时输进1张无缺陷图像和1张有缺陷图像，FPN中各层的anchors的基本尺寸和横纵比设置如表1所示，动量设置为0.9，权重衰减设置为0.0005，一共迭代60000步，前面40000步的学习速率为0.001，第40001步到第50000步的学习速率为0.0001，第50001步到第60000步的学习速率为0.00001。训练结束后，保存最新的模型作为检测网络的模型。

(5)采用训练后的基于深度学习的铝材表面缺陷检测模型对测试集进行测试，获得测试集图像缺陷检测结果。

具体实施中，将测试集中待测图像输入到检测网络中，获取预测框的位置和对应的类别置信度。对于每个预测框，按照同一类别的置信度进行从大到小排序，进行软的非极大值抑制。软的非极大值抑制中阈值设置为0.4，即相同类别的两个预测框的交叠率大于0.4时，将置信度较小的预测框的置信度减小，置信度较大的预测框在该轮操作中其置信度保持不变。预测框完成1类软的非极大值抑制后对其他类别进行重复的操作，一共进行10类软的非极大值抑制。最后保留类别置信度大于0.5的预测框，作为最后的预测结果。

如图4所示，展示了500张测试集经过检测模型后结果统计，使用目标检测是标准评判准则AP和mAP评测，其中mAP是各类别AP的平均，AP和mAP值越大，模型性能越好。可以看到针对测试集，我们的算法mAP达到0.8248，对于不导电、喷流、擦花、桔皮、漏底和角位漏底等缺陷具有很好的检测性能。

如图5和图6所示，展示了测试集通过检测模型得到的检测结果，可以看出检测模型能够很好地定位缺陷的位置并给出对应的类别信息。

Claims (6)

1.一种基于深度学习的铝材表面缺陷检测算法，其特征在于包括如下步骤：

(1)图像采集，利用摄像头对铝材表面进行拍摄，获取相关的图像并对图像重命名，如1.jpg，2.jpg，3.jpg，…，M.jpg等，采用labelImg工具对拍摄的图像进行标注，获取图像中关于缺陷的标签，缺陷的标签包含了缺陷在图像中左上角的坐标(x1，y1)，右下角的坐标(x2，y2)和缺陷的类别defectN，其中N表示数字，如1，2，3，…等，特别的，如果拍摄的图像中没有缺陷，我们不会用labelImg进行处理，只记录其类别信息norm；

(2)图像划分，将图像划分成训练集和测试集两部分，两个部分不存在相同的图像，训练集用来训练检测模型，测试集用来评估检测模型的性能；

(3)图像预处理，包括随机上下翻转、随机左右翻转和随机光照改变等，其中随机上下翻转、随机左右翻转和随机光照改变只针对训练集，特别的，当进行随机上下翻转和随机左右翻转的时候，缺陷的坐标信息也需要做出相应的变化；

(4)训练检测模型，将经过图像预处理后的训练集中的图像和标签信息输入到铝材表面缺陷检测模型中进行训练，特别的每次同时输入一张有缺陷的图像和一张无缺陷的图像，获取各图像中缺陷的预测框和类别，并与实际的标签信息中的真实框和类别进行对比，计算出定位误差和分类误差，然后采用多学习任务的方法，利用带动量的梯度下降算法进行训练；

(5)检测铝材图像，将测试集中的图像输入到训练好的铝材表面缺陷检测模型中进行检测，获得铝材图像中缺陷的位置和类型。

2.根据权利要求1所述的一种基于深度学习的铝材表面缺陷检测算法，其特征是：

所述步骤(4)中训练包括基于利用Kmeans聚类算法获取训练集中真实框的分布的步骤、基于有缺陷的图像和无缺陷图像的双图像输入的步骤、基于带有Feature pyramidNetwork(FPN)的Faster R-CNN模型的步骤、RoI Align池化步骤、基于上下文的调整候选区域的步骤和多任务学习的步骤。

3.根据权利要求2所述的一种基于深度学习的铝材表面缺陷检测算法，其特征是：所述步骤(4)具体为：

(4.1)对训练集标签信息中真实框的宽和高进行聚类，获取真实框的分布的若干个簇，利用得到的聚类结果调整FPN中anchors的基本尺寸和横纵比；

(4.2)每次输入图像时同时输入两张图像，其中一张为有缺陷的图像，另外一张为无缺陷的图像；

(4.3)输入的两张图像通过带有FPN的Faster R-CNN模型，图像经过骨干网络进行特征提取后形成不同大小的特征图，浅层的特征图的分辨率较大，包含的细节信息较多但语义信息较少；深层的特征图的分辨率较小，包含的细节信息较少但语义信息较多，通过从顶到底和横向链接的方式丰富了浅层的语义信息，形成不同大小的特征图。对这些特征图通过卷积操作预测不同特征图上不同特征点映射回原图上的点的若干个anchors的前背景分类概率和相对平移缩放参数，同时不同特征图上不同特征点映射到原图上的点对应的anchors与真实框计算交叠率，如果与真实框的交叠率最高或者与任意真实框的交叠率大于0.7的anchor则认为是正样本，而与所有真实框的交叠率都小于0.3的anchor则认为是负样本，特别的，正样本都是来自有缺陷的铝材图像而负样本可能来自有缺陷的铝材图像也可能来自无缺陷的铝材图像；

(4.4)利用前一步计算得到的相对平移缩放参数对anchors进行第一次位置调整，对调整后的候选区域通过前景类别置信度进行排序，从中选择若干个候选区域，利用上下文信息对这些候选区域进行调整。关于候选区域r_i的上下文信息区域的选择采用跟候选区域的交叠率数值大于某个阈值的区域，即同时对这些上下文信息区域的特征其中利用自适应权重的方法处理成统一的表征令w_ji为的自适应权重且其中1(.)表示布尔函数，l_j表示r_j的前背景标签信息，s_j表示r_j的类别置信度，b_j表示r_j的位置区域。最后统一表征为其中最后将候选区域的特征v_i和得到的统一表征连结到一起，利用两个连续的全连接层计算出新的前背景类别置信度和新的相对平移缩放参数。针对正样本的候选区域用来计算区域生成网络的回归损失，而正负样本的候选区域用来计算区域生成网络的前背景分类损失。特别的，进行特征聚合和特征连结时，这些特征是候选区域通过RoI Align池化产生的；

(4.5)利用上下文信息调整后的候选区域对应的特征块通过全连接层，获取细分类的类别置信度和预测相对平移缩放参数，计算出细分类误差和回归误差；

(4.6)利用多任务学习的方法计算(4.4)中的前背景分类误差及回归误差和(4.5)中的细分类误差和回归误差，利用带动量的梯度下降算法进行训练。

4.根据权利要求3所述的一种基于深度学习的铝材表面缺陷检测算法，其特征是，所述步骤(4.6)的训练过程具体包括区域生成网络的前背景分类损失和定位损失及Fast R-CNN中的细分类损失和定位损失：

区域生成网络的损失函数：

另外

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)

x，x_a，x^*分别表示预测框，anchor box和真实框的信息(y，w，h也同x类似)

其中N_cls表示计算分类损失时正负样本个数，N_reg表示anchor定位的数量，λ设为超参数，分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本。

Fast R-CNN的损失函数：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v)

v＝(v_x，v_y，v_w，v_h)，表示真实的平移缩放参数，表示预测的平移缩放参数

其中分类损失函数为交叉熵损失函数，回归损失函数为smooth L1，分类损失中用到正负样本而回归损失中只用到正样本，平移缩放参数的计算同区域生成网络中一致。

5.根据权利要求1所述的一种基于深度学习的铝材表面缺陷检测算法，其特征是：

所述步骤(5)中测试过程具体为测试图像通过铝材表面缺陷检测模型后得到若干个预测框的位置和对应的类别，我们对这些预测框进行软的非极大值一致，最后保留类别置信度高于某个阈值的若干个预测框作为最后的输出结果。

6.根据权利要求5所述的一种基于深度学习的铝材表面缺陷检测算法，其特征是：对得到的预测框使用软的非极大值抑制，最后保留类别置信度高于某个阈值的若干个候选框作为最后的输出结果，具体就是针对所有的预测框采用以下方式进行处理：

首先，对于某一类别的缺陷，我们按照得到的置信度进行从大到小的排序，然后固定第1个预测框，依次计算其与第2个到最后一个预测框的交叠率，如果交叠率小于等于某一阈值，对应预测框的置信度不变化，如果交叠率大于某一个阈值，则更新该预测框对应此类别的置信度，更新置信度的公式为：

其中M表示固定的候选框，b_i表示与固定的预测框进行交叠率计算的候选框，s_i表示b_i对应此类别的置信度，δ是超参数。

采用迭代的方式依次固定第2个，第3个…，倒数第2个预测框，进行上面的操作。同样的，对于其他类别也采用以上方式进行处理。

最后输出类别置信度高于某个阈值的预测框，作为铝材表面缺陷检测模型的输出结果。