CN115760734A - 一种基于改进retinanet算法的带钢表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进retinanet算法的带钢表面缺陷检测方法，包括：获得缺陷图像并对其进行加载以形成缺陷样本，通过数据增方法对所述缺陷样本进行扩充以增加数据集样本，所述数据集样本包括训练集样本、验证集样本和测试集样本；根据retinanet模型搭建表面缺陷检测网络，通过对所述表面缺陷检测网络依次进行参数初始化、设置超参、加载训练集样本以及设置迭代次数的方式，实现模型训练以获得最优检测模型；将所述测试集样本导入所述检测模型中进行测试，并对测试集样本进行类别分类和位置回归，得到最终检测结果；本发明与其他主流检测网络模型相比，在检测钢铁表面缺陷上取得了良好的检测效果。

Description

一种基于改进retinanet算法的带钢表面缺陷检测方法

技术领域

本发明属于工业钢铁表面缺陷检测技术领域，尤其涉及一种基于改进retinanet算法的带钢表面缺陷检测方法。

背景技术

工业制造生产中，表面缺陷检测是保证产品质量的重要环节之一，轧钢作为重要的工业原材料，其质量直接影响产品的质量，传统缺陷检测多数依赖于人工质检，其存在检测效率低、容易出现漏检的情况。

目前，处理表面缺陷检测问题的方法主要有两种：基于机器学习和深度学习的目标检测方法。基于机器学习的方法主要通过经验设计的人工特征提取方式，但是在实际的检测过程中，由于表面目标缺陷的尺度不一且变化范围大、缺陷类别容易混淆、图像存在大量背景和噪声干扰等问题，这会导致使用机器学习的检测方法造成检测成本增加，不能很好解决上述问题，最终导致检测效果差。随着深度学习技术的逐渐成熟，基于深度学习的目标检测算法在工业领域逐渐替代了传统基于机器学习的方法，大致过程先通过卷积操作提取图像特征，再经过特征融合网络后得到多尺度特征后送入检测层进行缺陷定位和分类。

在基于深度学习的缺陷检测算法中，首先在主干提取特征后，丰富的特征信息可能会出现因通道数降维而造成丢失的情况。其次，由于主干网络不断下采样会导致深层特征中空间信息的丢失，在应对缺陷尺寸变化大、形状不一的问题上导致检测效果差。接着，在特征融合过程中，非相邻特征图之间的上下文信息得不到有效的联系，导致小目标缺陷精度低。最后，工业环境中采集样本数量有限，网络对于缺陷的学习不够，鲁棒性差，导致检测精确率低。

发明内容

针对现有技术的不足，本发明提供了一种基于改进retinanet算法的带钢表面缺陷检测方法，解决了上述问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于改进retinanet算法的带钢表面缺陷检测方法，包括：

获得缺陷图像并对其进行加载以形成缺陷样本，通过数据增方法对所述缺陷样本进行扩充以增加数据集样本，所述数据集样本包括训练集样本、验证集样本和测试集样本；

根据retinanet模型搭建表面缺陷检测网络，通过对所述表面缺陷检测网络依次进行参数初始化、设置超参、加载训练集样本以及设置迭代次数的方式，实现模型训练以获得最优检测模型；

将所述测试集样本导入所述检测模型中进行测试，并对测试集样本进行类别分类和位置回归，得到最终检测结果。

在上述技术方案的基础上，本发明还提供以下可选技术方案：

进一步的技术方案：所述表面缺陷检测网络包括特征提取网络、特征增加网络、特征融合网络以及优化损失函数，所述增加网络包括上下文聚合模块以及多尺度感受视野模块，所述表面缺陷检测网络的具体检测方法为：

S1、获取有效特征图P_i，(i＝3,4,5)，其中P₃为浅层特征图、P₄为中高层特征图、P₅为深层特征图，具体操作步骤为选取由5个提取阶段的resnet50作为模型的特征提取网络，resnet50的每个阶段均通过卷积步长生成分辨率大小不同的特征图，选取最后三个阶段的特征图作为有效特征图得到有效特征图P_i，(i＝3,4,5)；

S2、引入上下文聚合模块并通过上下文聚合模块对P₃进行处理，获取小目标信息丰富的P₃；

S3、引入含有四个分支多尺度感受视野模块并通过多尺度感受视野模块对P₅进行特征增强，其中多尺度感受视野模块的前三个分支中将原始的特征输入特征和前一个分支的输出特征拼接作为后一个分支的输入，即点2；

S4、使用可变形卷积以及3×3卷积对特征增强后的P₅进行下采样并生成更深层特征P₆、P₇，将P_i，(i＝3,4,5,6,7)作为有效特征图送入到特征融合网络进行多尺度特征融合；

S5、利用双向加权融合网络BiFPN，即特征融合网络，对五个有效特征图P_i，(i＝3,4,5,6,7)进行多尺度特征融合；

S6、优化定位损失，将retinanet模型中的L1loss替换成SmoothL1损失函数进行优化定位损失，所述SmoothL1损失函数的表达式为：

具体为，使用SGD作为模型优化器优化定位损失。

进一步的技术方案：所述S2的具体操作步骤为：

S201、将P₄以及P₅通过1×1卷积、BN、LeakyReLU处理后进行两倍、四倍上采样；

S202、使用3×3深度可分离卷积和1×1卷积细化浅层特征P₃，细化小缺陷特征边缘信息；

S203、使用加权和操作，在每个特征图前乘上学习参数w_i，(i＝3,4,5)，进一步得到特征图并进行逐元素相加；

S204、加权合后加上CA注意力机制，削弱背景信息，加强通道之间的融合；

S205、将S204获得的特征图与浅层特征图P₃进行逐元素相加，得到小目标信息丰富的P₃，即点1。

进一步的技术方案：所述多尺度感受视野模块对P₅进行特征增强的步骤为：

S301、多尺度感受野增强模块的第一个分支使用非对称卷积核1×3、3×1提取特征，再使用空洞率为3的3×3卷积对特征进行卷积并输出；

S302、多尺度感受野增强模块的第二个分支使用非对称卷积核1×5、5×1提取特征，再使用空洞率为5的5×5卷积对特征进行卷积并输出；

S303、多尺度感受野增强模块的第三个分支使用操作为将1×3、3×1、3×3三个卷积核进行并行逐元素相加，接着再使用空洞率6的3×3卷积对特征进行卷积并输出；

S304、多尺度感受野增强模块的第四个分支使用全局平均池化后上采样并输出；

S305、将四个分支的输出进行拼接操作在进行降维得到最终特征增强后P₅。

进一步的技术方案：所述S5的具体操作步骤为：

S501、对输入特征

进行特征引导上采样操作，接着与

进行加权后相加生成

重复特征引导上采样操作直至生成

S502、将S501获得的

作为浅层输出

其他层的输出操作为：将

经过下采样操作后与P_i ^td、P_i ⁱⁿ进行加权和融合后作为输出P_i ^out，其中i＝4,5,6，

由

经过下采样后与

通过加权和获得；

S503、增加自顶向下的融合路径，进一步加强信息之间的融合，用Ghost模块进行降维。

进一步的技术方案：所述S501中特征引导上采样的具体步骤为：

S5011使用双线性插值将

进行上采样，再与P_i ⁱⁿ进行逐元素相加操作并使用3*3卷积将通道数变为1来获得空间权重；

S5012、通过softmax函数对S5011中获得的空间权重进行归一化并将归一化后的空间权重w_i与

在通道维度上相乘，获得更加具有细节语义的特征图

即点3；

S5013、重复S5011以及S5012的步骤，将

进行特征引导上采样操作，并将P_i ⁱⁿ、

进行加权和后生成P_i ^td，其中i＝3,4,5,6。

进一步的技术方案：用公式表示S501的具体过程为：

FGUpsample＝Softmax(f³(Concat(Upsample(p_i+1),p_i)))×p_i+1

其中，i＝6,5,4,3，f³(·)表示卷积核为3的卷积操作，w₁、w₂是通过快速归一化得到的学习权重，ε是一个固定值且为0.0001。

进一步的技术方案：用公式表示S502的过程为：

其中，i＝4，5，6，w'₁、w'₂、w'₃是通过快速归一化得到的学习权重，ε是一个固定值为0.0001。

进一步的技术方案：所述S503的具体操作用公式表示为：

其中，i＝6,5,4,3。

有益效果

本发明提供了一种基于改进retinanet算法的带钢表面缺陷检测方法，与现有技术相比具备以下有益效果：

1、基于改进一阶段模型retinanet对钢铁表面缺陷进行检测，首先由主干提取不同分辨率的特征图，在浅层特征后引入上下文特征聚合模块，获得更多有利于小缺陷纹理、边缘等细节定位信息，从而改善小目标检测效果；其次，深层特征图后引入多尺度感受野增强模块，有效解决钢材表面因缺陷尺寸变化大、形状不一、背景噪声大带来的检测效果差的问题；接着，通过改进的BiFPN将深层语义信息和高层语义信息进行跨尺度之间的有效联系，进一步融合上下文信息，提高检测精度，本发明与其他主流检测网络模型相比，在检测钢铁表面缺陷上取得了良好的检测效果。

附图说明

图1为本发明基于retinanet的缺陷检测流程图。

图2为整体框架图。

图3为多尺度感受野增强模块示意图。

图4为多尺度特征融合模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

1、数据预处理阶段

获取与分析钢铁表面缺陷数据集，将数据集按照7:1:2的比例划分为训练集、验证集和测试集，并在训练前，将图片调整大小为256×256像素后进行对图片数据增强，包括随机旋转、平移、裁剪等预处理操作。

其中，数据集为东北大学公开数据集NEU-DET中采集缺陷种类六类，分别包括轧入氧化皮(Rs)、斑块(Pa)、裂纹(Cr)、麻点(Ps)、夹杂物(In)和划痕(Sc)，共有1800张灰度图像及对应标注文件，每张图像有300个样本，分辨率大小均为200*200。

2.模型训练阶段

步骤1：基于retinanet模型搭建表面缺陷检测网络，所述表面缺陷检测网络包括特征提取网络、特征增加网络、特征融合网络以及优化损失函数，所述增加网络包括上下文聚合模块以及多尺度感受视野模块，选用特征提取能力强的骨干resnet50作为特征提取网络，其中resnet50共有五个阶段，后面四个阶段采用残差结构来保留梯度信息。每个阶段都会进行一次图像的下采样，最终会得到五张分辨率不同的特征图C_i，(i＝1,2,3,4,5)，选择C₃，C₄，C₅作为有效特征层送入特征融合网络中，分别使用1×1卷积、BN、LeakyReLU将特征图的通道数都设置为256，降维后的特征图记作P_i，(i＝3,4,5)。

步骤2：本发明提出上下文信息聚合模块，首先，将P₄以及P₅通过1×1卷积、BN、LeakyReLU处理后进行两倍、四倍上采样；其次，使用3×3深度可分离卷积和1×1卷积细化浅层特征P₃，细化小缺陷特征边缘信息；再其次，最后使用加权和操作，在每个特征图前都会乘上一个可以学习的参数w_i，(i＝3,4,5)，进一步得到特征图并进行逐元素相加；再其次，加权和后加上CA注意力机制，削弱背景信息，加强通道之间的融合；最后，将加强后的特征图与浅层特征P₃进行逐元素相加，得到小目标信息丰富的P₃(点1)。

步骤3：深层特征图P₅后加入多尺度感受野增强模块，该模块一共分为四个分支，第一个分支使用非对称卷积核1×3、3×1提取特征，接着再使用空洞率为3的3×3卷积；第二个分支使用非对称卷积核1×5、5×1提取特征，再使用空洞率为5的5×5卷积；第三个分支使用操作为将1×3、3×1、3×3三个卷积核进行并行逐元素相加，接着再使用空洞率6的3×3卷积；第四个分支使用全局平均池化后上采样，最后将四个分支的输出进行拼接操作在进行降维得到最终特征增强后P₅；前三个分支中，将原始的特征输入特征和前一个分支的输出特征拼接作为后一个分支的输入(点2)。

步骤4：使用可变形卷积以及3×3卷积对P₅进行下采样后生成更深层特征P₆以及P₇。最后将P_i ⁱⁿ，(i＝3,4,5,6,7)作为有效特征图送入到特征融合网络进行多尺度特征融合。

步骤5：为实现快速多尺度特征融合，本发明提出改进的双向加权融合网络BiFPN(特征融合网络)，其中有五个有效特征图P_i ⁱⁿ，(i＝3,4,5,6,7)会送入到特征融合网络中，具体操作为：

步骤A、对输入特征

进行特征引导上采样操作，接着与

进行加权后相加生成

其中，特征引导上采样的具体步骤为：首先，使用双线性插值将

进行上采样，再与P_i ⁱⁿ进行逐元素相加操作并使用3*3卷积将通道数变为1来获得空间权重；其次，通过softmax函数进行归一化，将归一化后的空间权重w'₁与

在通道维度上相乘，获得更加具有细节语义的特征图

(点3)；最后，重复上述操作，将

进行特征引导上采样操作，将P_i ⁱⁿ、

进行加权和后生成P_i ^td，用公式表示上述过程如下：

FGUpsample＝Softmax(f³(Concat(Upsample(p_i+1),p_i)))×p_i+1

其中，i＝6,5,4,3，f³(·)表示卷积核为3的卷积操作，w₁、w₂是通过快速归一化得到的学习权重，ε是一个固定值且为0.0001，避免在训练过程中数值不稳定。

步骤B、将步骤A中获得

作为浅层输出

其他层的输出操作如下：将

经过下采样操作后与P_i ^td、P_i ⁱⁿ进行加权和融合后作为输出P_i ^out，其中i＝4,5,6，

由

经过下采样后与

通过加权和获得。用公式表示上述过程如下：

其中，i＝4，5，6，w'₁、w'₂、w'₃是通过快速归一化得到的学习权重，ε是一个固定值为0.0001，避免在训练过程中数值不稳定。

步骤C、增加自顶向下的融合路径，进一步加强信息之间的融合，用Ghost模块进行降维，在避免信息丢失的同时降低了计算量，具体操作用如下公式表示：

其中，i＝6,5,4,3

步骤6：将L1loss替换成SmoothL1损失函数，优化定位损失。具体公式如下：

步骤7：本模型使用SGD作为优化器，初始学习率为0.01，动量设置为1e-4，batchsize等于16，设置最大训练epoch为24，训练中在第18个和第22个epoch时将学习率调整到原学习率的0.1。

具体地，本发明中的模型评价指标使用平均精度(Average Precision，AP)和均值平均精度(mAP)。

3、模型训练阶段

将在数据处理阶段划分好的测试集样本送入到模型训练阶段经过训练后得到的最优网络检测模型中进行测试，最后通过训练出的权重参数对测试数据进行类别分类和位置回归，得到最终检测结果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，包括：

获得缺陷图像并对其进行加载以形成缺陷样本，通过数据增方法对所述缺陷样本进行扩充以增加数据集样本，所述数据集样本包括训练集样本、验证集样本和测试集样本；

根据retinanet模型搭建表面缺陷检测网络，通过对所述表面缺陷检测网络依次进行参数初始化、设置超参、加载训练集样本以及设置迭代次数的方式，实现模型训练以获得最优检测模型；

将所述测试集样本导入所述检测模型中进行测试，并对测试集样本进行类别分类和位置回归，得到最终检测结果。

2.根据权利要求1所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述表面缺陷检测网络包括特征提取网络、特征增加网络、特征融合网络以及优化损失函数，所述特征增加网络包括上下文聚合模块以及多尺度感受视野模块，所述表面缺陷检测网络的具体检测方法为：

S1、获取有效特征图P_i，(i＝3,4,5)，其中P₃为浅层特征图、P₄为中高层特征图、P₅为深层特征图，具体操作步骤为选取由5个提取阶段的resnet50作为模型的特征提取网络，resnet50的每个阶段均通过卷积步长生成分辨率大小不同的特征图，选取最后三个阶段的特征图作为有效特征图得到有效特征图P_i，(i＝3,4,5)；

S2、引入上下文聚合模块并通过上下文聚合模块对P₃进行处理，获取小目标信息丰富的P₃；

S3、引入含有四个分支多尺度感受视野模块并通过多尺度感受视野模块对P₅进行特征增强，其中多尺度感受视野模块的前三个分支中将原始的特征输入特征和前一个分支的输出特征拼接作为后一个分支的输入，即点2；

S4、使用可变形卷积以及3×3卷积对特征增强后的P₅进行下采样并生成更深层特征P₆以及P₇，将P_i ⁱⁿ，(i＝3,4,5,6,7)作为有效特征图送入到特征融合网络进行多尺度特征融合；

S5、利用双向加权融合网络BiFPN，即特征融合网络，对五个有效特征图P_i ⁱⁿ，(i＝3,4,5,6,7)进行多尺度特征融合；

S6、优化定位损失，将retinanet模型中的L1loss替换成SmoothL1损失函数进行优化定位损失，所述SmoothL1损失函数的表达式为：

具体为，使用SGD作为模型优化器优化定位损失。

3.根据权利要求2任一所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述S2的具体操作步骤为：

S201、将P₄以及P₅通过1×1卷积、BN、LeakyReLU处理后进行两倍、四倍上采样；

S202、使用3×3深度可分离卷积和1×1卷积细化浅层特征P₃，细化小缺陷特征边缘信息；

S203、使用加权和操作，在每个特征图前乘上学习参数w_i，(i＝3,4,5)，进一步得到特征图并进行逐元素相加；

S204、加权和后加上CA注意力机制，削弱背景信息，加强通道之间的融合；

S205、将S204获得的特征图与浅层特征图P₃进行逐元素相加，得到小目标信息丰富的P₃，即点1。

4.根据权利要求2所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述多尺度感受视野模块对P₅进行特征增强的步骤为：

S301、多尺度感受野增强模块的第一个分支使用非对称卷积核1×3、3×1提取特征，再使用空洞率为3的3×3卷积对特征进行卷积并输出；

S302、多尺度感受野增强模块的第二个分支使用非对称卷积核1×5、5×1提取特征，再使用空洞率为5的5×5卷积对特征进行卷积并输出；

S303、多尺度感受野增强模块的第三个分支使用操作为将1×3、3×1、3×3三个卷积核进行并行逐元素相加，接着再使用空洞率6的3×3卷积对特征进行卷积并输出；

S304、多尺度感受野增强模块的第四个分支使用全局平均池化后上采样并输出；

S305、将四个分支的输出进行拼接操作在进行降维得到最终特征增强后P₅。

5.根据权利要求2所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述S5的具体操作步骤为：

S501、对输入特征P₇ ⁱⁿ进行特征引导上采样操作，接着与P₆in进行加权后相加生成P₆ ^td，重复特征引导上采样操作直至生成P₃ ^td；

S502、将S501获得的P₃ ^td作为浅层输出P₃ ^out，其他层的输出操作为：将

经过下采样操作后与P_i ^td、P_i ⁱⁿ进行加权和融合后作为输出P_i ^out，其中i＝4,5,6，P₇ ^out由P₆ ^out经过下采样后与P₇ ⁱⁿ通过加权和获得；

S503、增加自顶向下的融合路径，进一步加强信息之间的融合，用Ghost模块进行降维。

6.根据权利要求5所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述S501中特征引导上采样的具体步骤为：

S5011使用双线性插值将

进行上采样，再与P_i ⁱⁿ进行逐元素相加操作并使用3*3卷积将通道数变为1来获得空间权重；

S5012、通过softmax函数对S5011中获得的空间权重进行归一化并将归一化后的空间权重w₁与

在通道维度上相乘，获得更加具有细节语义的特征图

即点3，其中i＝6,5,4,3；

S5013、重复S5011以及S5012的步骤，将P_i ⁱⁿ进行特征引导上采样操作，并将P_i ⁱⁿ、

进行加权和后生成P_i ^td，其中i＝3,4,5,6。

7.根据权利要求5所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，用公式表示S501的具体过程为：

FGUpsample＝Softmax(f³(Concat(Upsample(p_i+1),p_i)))×p_i+1

其中，i＝6,5,4,3，f³(·)表示卷积核为3的卷积操作，w₁、w₂是通过快速归一化得到的学习权重，ε是一个固定值且为0.0001。

8.根据权利要求5所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，用公式表示S502的过程为：

P₃ ^out＝P₃ ^td

其中，i＝4，5，6，w′₁、w′₂、w′₃是通过快速归一化得到的学习权重，ε是一个固定值为0.0001。

9.根据权利要求5所述的基于改进retinanet算法的带钢表面缺陷检测方法，其特征在于，所述S503的具体操作用公式表示为：

P₇ ^out'＝Ghost(P₇ ^out)

其中，i＝6,5,4,3。

Images