CN108345911A - 基于卷积神经网络多级特征的钢板表面缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络多级特征的钢板表面缺陷检测方法，涉及钢板缺陷检测技术领域。该方法首先选取基准网络，并对其进行预训练，同时建立用于微调训练的专用缺陷检测数据集；然后搭建整体检测网络和多级特征融合网络，并将它们合并得到缺陷检测网络；最后设置缺陷检测网络的损失函数和训练超参数，并对缺陷检测网络进行训练，使基准网络、多级特征融合网络和RPN共享卷积层和计算量，得到训练完成的缺陷检测网络模型，进而对钢板表面缺陷进行检测。本发明提供的基于卷积神经网络多级特征的钢板表面缺陷检测方法，具有强大的缺陷分类能力，且能够完整的获得缺陷的具体类别以及精确的位置信息，同时降低了检测所需硬件的配置。

Description

基于卷积神经网络多级特征的钢板表面缺陷检测方法

技术领域

本发明涉及钢板缺陷检测技术领域，尤其涉及一种基于卷积神经网络多级特征的钢板表面缺陷检测方法。

背景技术

表面缺陷检测是工业制造的重要环节之一，一个好的检测结果可以指导后续的质量评估系统，实现对钢板质量进行准确评定。一个完整的缺陷检测系统要能获得每个缺陷的具体类别和精确位置。

表面缺陷检测方法的最终目的是获取目标缺陷的类别和位置。早期的传统方法是使用不同方法提取手工特征，例如HOG和LBP，然后利用滑窗法获取目标的大致位置，最后基于这些区域使用分类器进行分类，如SVM。此类的方法所执行的并不是完整的缺陷检测，由于它们所获得的只是缺陷的大致位置，而且方法的选择过于主观，检测结果主要取决于手工特征的选择。

目前，深度学习技术在视觉领域取得了巨大成功，而将深度学习技术用于缺陷检测是可以预见的。与传统的缺陷检测方法不同，深度学习是一种基于全局分析的方法，建立对于输入数据的整体的表示模型。卷积神经网络利用深层次来提取高抽象层次的特征，对比微妙的手工特征选择方法，卷积网络特征具有更加优越的普遍性和迁移性。而且，基于卷积神经网络的方法可以实现端对端检测，构建更加智能的检测系统。最后，基于卷积神经网络的方法能够基于大量数据进行训练并提高网络的能力。但目前针对于基于深度学习的缺陷检测方法依旧存在问题：如缺少对应数据，不能获得缺陷的精确位置以及分类能力不足等问题。

发明内容

针对现有技术的缺陷，本发明提供一种基于卷积神经网络多级特征的钢板表面缺陷检测方法，实现对钢板表面缺陷进行检测。

基于卷积神经网络多级特征的钢板表面缺陷检测方法，包括以下步骤：

步骤1、选取适当的基准网络，然后使用大型数据集ImageNet对该基准网络进行预训练；

所述基准网络选取高度模块化的残差网络ResNet34和ResNet50，两个残差网络均包括第一层卷积层conv1，四个残差模块{R2,R3,R4,R5}以及后续的全局最大池化层和分类输出层；两个残差网络不同的地方是残差模块中的卷积层数和卷积核数不同；

步骤2、建立用于微调训练的专用缺陷检测数据集；

所述步骤2建立专用的缺陷检测数据集，其中的缺陷图像具有对应的真实框标注，每个标注指定对应缺陷的类别，而且包围框指示了缺陷的位置；

步骤3、基于步骤1的基准网络，搭建整体检测网络，并设置该网络结构的超参数，包括卷积层数、卷积核数、卷积核滑动步长、池化方式和激活函数类型；

步骤4、搭建多级特征融合网络，并将其与整体检测网络合并，得到缺陷检测网络，具体方法为：

步骤4.1、所述多级特征融合网络包括四个分支，定义为{B2,B3,B4,B5}，与残差网络的四个残差模块{R2,R3,R4,R5}输出的特征图对应；每个分支连接在四个残差模块的最后一层，然后分别处理对应的特征图，将其分辨率与尺寸统一；

多级特征融合网络的每个分支的具体设置分别为：

B2分支使用两层堆叠的3x3卷积层来连续减小残差模块R2输出的特征图的分辨率尺寸；对于残差网络ResNet34和ResNet50，残差模块R2输出的特征图的尺寸为56x56，将其尺寸减小为14x14；然后用一层1x1卷积层进行降维，卷积核数设为128和512，将B2分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B2分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B3分支使用一层最大池化层来减小残差模块R2输出的特征图的分辨率尺寸；对于残差神经网络ResNet34和ResNet50，残差模块R3输出的特征图的尺寸为28x28，将其尺寸减小为14x14，其中，最大池化层的滑动窗口尺寸设为3x3，步长为2；由于残差模块R3输出的特征图的维度与多级特征融合网络输出的特征图的维度相同，为128和512，不需要进行维度调整；B3分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B4分支不需要进行分辨率尺寸调整，因为残差模块R4输出的特征图的分辨率尺寸被设为多级特征融合网络输出特征图的尺寸，即14x14；然后使用一层1x1卷积层来降低残差模块R4输出的特征图的维度，卷积核数设为128和512，将B4分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B4分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B5分支使用反卷积层来增加残差模块R5输出的特征图的分辨率尺寸，对于残差网络ResNet34和ResNet50，残差模块R5输出的特征图的尺寸为7x7，将其尺寸增加为14x14；然后，使用一层1x1卷积层进行升维，卷积核数设为128和512，将B5分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B5分支输出的特征图的最终尺寸为14x14x128和14x14x512；

步骤4.2、将多级特征融合网络每个分支输出的特征图进行L2标准化处理，然后依次进行融合，得到多级特征；最终，多级特征融合网络的输出特征图尺寸为14x14x512和14x14x2048；

步骤4.3、将多级特征融合网络接入RPN网络，进行候选区域提取；通过RPN网络在多级特征上滑动，获取锚点；然后根据残差模块R4的卷积核总滑动步长，映射回原图像获得锚点框；将锚点框与真实框的IOU值对比，获得ROI的预测框，即候选区域；最后，接入ROI池化层，提取基于候选区域的一个固定尺寸的特征向量，尺寸设为7x7；

步骤4.4、将ROI池化层输出的特征向量接入全局平均池化层，以便于计算；再将全局平均池化层输出的特征向量接入缺陷检测网络的两个输出层，其中一个为使用softmax函数进行计算的缺陷分类输出层，另一个为利用smoothL1函数进行计算的缺陷定位输出层；

步骤5、构建缺陷检测网络的损失函数，具体方法为：

所述损失函数为一个联合任务损失函数，包括缺陷分类任务损失函数和缺陷定位任务损失函数；

所述缺陷分类任务损失函数的构建方法为：

对于每个候选区域，缺陷检测网络的分类输出层输出一个离散概率分布，k＝(k₁,…,k_C)，对于每个感兴趣区域，C表示缺陷的类别，k为由softmax函数计算的类别得分；分类输出层然后将离散概率分布k与真实缺陷类别进行比对，得到缺陷分类任务损失函数，如下式所示：

L_cls＝-log(k,k^*)

其中，L_cls为缺陷分类任务损失函数，其输出是一个二分类结果，表示每个候选区域是否具有缺陷，k^*为真实缺陷类别；

所述缺陷定位损失函数如下式所示：

L_loc＝SmoothL1(t-t^*)

其中，t＝(t_x,t_y,t_w,t_h)为表示定位输出层的输出框的向量，t_x和t_y为输出框的中心点坐标，t_w为输出框的框宽，t_h为输出框的框高；t^*＝(t^* _x,t^* _y,t^* _w,t^* _h)为表示特征图像上真实框的向量，t^* _x和t^* _y为特征图像上真实框的中心点坐标，t^* _w为特征图像上真实框的框宽，t^* _h为特征图像上真实框的框高；

向量t和t^*中每个值的计算方法如下所示：

t_x＝(x-x_a)/w_a

t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)

t_h＝log(h/h_a)

其中，x和y为对应图像上的预测框的中心点坐标，w为对应图像上预测框的框高，h为对应图像上预测框的框宽；x_a和y_a为锚点框的中心点坐标，w_a为锚点框的框高，h_a为锚点框的框宽；x^*和y^*为对应图像上的真实框的中心点坐标，w*为对应图像上真实框的框高，h*为对应图像上真实框的框宽；

进而得到缺陷检测网络的损失函数，如下公式所示：

L(k,k^*,t,t^*)＝L_cls(k,k^*)+λL_locp^*(t,t^*)

其中，λ为用于平衡分类任务和定位任务的权重参数，p^*为定位激活参数，p^*为定位激活参数，p^*有两个取值0或1；当输入到缺陷检测网络损失函数的样本是正样本时，p^*取1；当输入到缺陷检测网络损失函数的样本是负样本时，p^*取0；所述正样本通过IOU策略进行筛选，IOU>0.5的锚点框视为正样本，剩余的视为负样本；

步骤6、基于图像中心策略设置缺陷检测网络的训练超参数，包括优化方法、学习率、迭代次数、权重初始化策略、权重衰减参数、动量系数和数据增强方法；

图像在传入缺陷检测网络前将图像的最短边设为600像素；使用批量梯度下降法进行训练，每批次选取一张图像，训练缺陷检测网络的批规格为64个感兴趣区域，训练RPN的批规格为128个感兴趣区域；缺陷检测网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测网络时，训练前200k的迭代学习率设为0.001，后100k迭代的学习率设为0.0001；对于缺陷检测网络所有层的参数使用Xavier方法进行初始化；同时，为了避免过拟合，使用图像平移、图像翻转和图像映射多种数据增强方法，且移除基准网络中的dropout模块；

步骤7、使用五步联合训练法对缺陷检测网络进行训练，使基准网络、多级特征融合网络和RPN共享卷积层和计算量，具体方法为：

步骤7.1：将多级特征融合网络和基准网络进行训练，训练后多级特征融合网络和基准网络共享卷积层，得到训练好的缺陷检测网络模型；步骤7.2：基于步骤7.1训练好的缺陷检测网络模型训练RPN，生成候选区域；此时训练好的缺陷检测神经网络和RPN没有共享卷积层；

步骤7.3：基于步骤7.2生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；

步骤7.4：基于步骤7.3训练好的缺陷检测网络模型训练RPN，生成候选区域；将此训练的RPN作为最终的RPN模型；

步骤7.5：基于步骤7.4生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；微调后，缺陷检测网络与RPN共享卷积层，将训练后得到的新缺陷检测网络作为最终的缺陷检测网络模型；

最后，将步骤7.4生成的RPN模型和步骤7.5生成的缺陷检测模型联合，得到训练完成的缺陷检测网络模型；

步骤8、使用训练完成的缺陷检测网络来执行钢板表面缺陷检测的任务，得出缺陷的类别分数及包围框坐标。

由上述技术方案可知，本发明的有益效果在于：本发明提供的基于卷积神经网络多级特征的钢板表面缺陷检测方法，基于卷积神经网络的多等级特征，能够完整的获得缺陷的具体类别以及精确的位置信息。利用深度神经网络，具有强大的缺陷分类能力。利用卷积神经网络的低级特征，使得融合特征具有丰富的位置信息，提高了检测系统的定位能力。由于基准网络和融合网络共享卷积层，减少了计算量，使得缺陷检测所需硬件配置降低。

附图说明

图1为本发明实施例提供的基于卷积神经网络多级特征的钢板表面缺陷检测方法的流程图；

图2为本发明实施例提供的缺陷检测神经网络模型构建过程示意图；

图3为本发明实施例提供的钢板缺陷分类结果图；

图4为本发明实施例提供的钢板缺陷检测结果示意图，其中，(a)为裂纹缺陷；(b)为压入缺陷；(c)为斑点缺陷；(d)为麻点缺陷；(e)为压入氧化皮缺陷；(f)为裂痕和压入缺陷；

图5为本发明实施例提供的钢板缺陷检测实验结果图；

图6为本发明实施例提供的基于不同IOU阈值的多级特征分析实验结果图，其中，(a)为IOU阈值为0.5时，多种方法的召回率与候选区域数目的变化关系曲线图；(b)为IOU阈值为0.6时，多种方法的召回率与候选区域数目的变化关系曲线图；(c)为IOU阈值为0.7时，多种方法的召回率与候选区域数目的变化关系曲线图；

图7为本发明实施例提供的基于不同候选区域数目的多级特征分析实验结果图，其中，(a)为候选区域为50时，多种方法的召回率与IOU阈值的变化关系曲线图；(b)为候选区域为100时，多种方法的召回率与IOU阈值的变化关系曲线图；(c)为候选区域为300时，多种方法的召回率与IOU阈值的变化关系曲线图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

基于卷积神经网络多级特征的钢板表面缺陷检测方法，如图1所示，包括以下步骤：

步骤1、选取适当的基准网络，然后使用大型数据集ImageNet对该基准网络进行预训练；

基准网络选取高度模块化的残差网络ResNet34和ResNet50，两个残差网络均包括第一层卷积层conv1，四个残差模块{R2,R3,R4,R5}以及后续的全局最大池化层和分类输出层；两个残差网络不同的地方是残差模块中的卷积层数和卷积核数不同；大型数据集ImageNet是目前深度神经网路获取强大的表示能力的前提，只有经过大量数据的学习才能使得网络获得表征能力，发挥神经网络的迁移能力。

本实施例中，所选取的基准网络设置如表1所示：

表1基准网络设置表

步骤2、建立用于微调训练的专用缺陷检测数据集；

专用的缺陷检测数据集中的缺陷图像具有对应的真实框标注，每个标注指定对应缺陷的类别，而且包围框指示了缺陷的位置；

步骤3、基于步骤1的基准网络，搭建整体检测网络，并设置该网络结构的超参数，包括卷积层数、卷积核数、卷积核滑动步长、池化方式和激活函数类型；

步骤4、搭建多级特征融合网络，并将其与整体检测网络合并，得到缺陷检测网络，具体方法为：

步骤4.1、多级特征融合网络包括四个分支，定义为{B2,B3,B4,B5}，与残差网络的四个残差模块{R2,R3,R4,R5}输出的特征图对应；每个分支连接在四个残差模块的最后一层，然后分别处理对应的特征图，将其分辨率与尺寸统一；

多级特征融合网络的每个分支的具体设置分别为：

B2分支使用两层堆叠的3x3卷积层来连续减小残差模块R2输出的特征图的分辨率尺寸；对于残差网络ResNet34和ResNet50，残差模块R2输出的特征图的尺寸为56x56，将其尺寸减小为14x14；然后用一层1x1卷积层进行降维，卷积核数设为128和512，将B2分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B2分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B3分支使用一层最大池化层来减小残差模块R2输出的特征图的分辨率尺寸；对于残差神经网络ResNet34和ResNet50，残差模块R3输出的特征图的尺寸为28x28，将其尺寸减小为14x14，其中，最大池化层的滑动窗口尺寸设为3x3，步长为2；由于残差模块R3输出的特征图的维度与多级特征融合网络输出的特征图的维度相同，为128和512，不需要进行维度调整；B3分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B4分支不需要进行分辨率尺寸调整，因为残差模块R4输出的特征图的分辨率尺寸被设为多级特征融合网络输出特征图的尺寸，即14x14；然后使用一层1x1卷积层来降低残差模块R4输出的特征图的维度，卷积核数设为128和512，将B4分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B4分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B5分支使用反卷积层来增加残差模块R5输出的特征图的分辨率尺寸，对于残差网络ResNet34和ResNet50，残差模块R5输出的特征图的尺寸为7x7，将其尺寸增加为14x14；然后，使用一层1x1卷积层进行升维，卷积核数设为128和512，将B5分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B5分支输出的特征图的最终尺寸为14x14x128和14x14x512；

步骤4.2、将多级特征融合网络每个分支输出的特征图进行L2标准化处理，然后依次进行融合，得到多级特征；最终，多级特征融合网络的输出特征图尺寸为14x14x512和14x14x2048；

步骤4.3、将多级特征融合网络接入RPN网络，进行候选区域提取；通过RPN网络在多级特征上滑动，获取锚点；然后根据残差模块R4的卷积核总滑动步长，映射回原图像获得锚点框；将锚点框与真实框的IOU值对比，获得ROI的预测框，即候选区域；最后，接入ROI池化层，提取基于候选区域的一个固定尺寸的特征向量，尺寸设为7x7；

步骤4.4、将ROI池化层输出的特征向量接入全局平均池化层，以便于计算；再将全局平均池化层输出的特征向量接入缺陷检测网络的两个输出层，其中一个为使用softmax函数进行计算的缺陷分类输出层，另一个为利用smoothL1函数进行计算的缺陷定位输出层；

步骤5、构建缺陷检测网络的损失函数，具体方法为：

损失函数为一个联合任务损失函数，包括缺陷分类任务损失函数和缺陷定位任务损失函数；

缺陷分类任务损失函数的构建方法为：

对于每个候选区域，缺陷检测网络的分类输出层输出一个离散概率分布，k＝(k₁,…,k_C)，对于每个感兴趣区域，C表示缺陷的类别，k为由softmax函数计算的类别得分；分类输出层然后将离散概率分布k与真实缺陷类别进行比对，得到缺陷分类任务损失函数，如下式所示：

L_cls＝-log(k,k^*)

其中，L_cls为缺陷分类任务损失函数，其输出是一个二分类结果，表示每个候选区域是否具有缺陷，k^*为真实缺陷类别；

缺陷定位损失函数如下式所示：

L_loc＝SmoothL1(t-t^*)

其中，t＝(t_x,t_y,t_w,t_h)为表示定位输出层的输出框的向量，t_x和t_y为输出框的中心点坐标，t_w为输出框的框宽，t_h为输出框的框高；t^*＝(t^* _x,t^* _y,t^* _w,t^* _h)为表示特征图像上真实框的向量，t^* _x和t^* _y为特征图像上真实框的中心点坐标，t^* _w为特征图像上真实框的框宽，t^* _h为特征图像上真实框的框高；

向量t和t^*中每个值的计算方法如下所示：

t_x＝(x-x_a)/w_a

t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)

t_h＝log(h/h_a)

其中，x和y为对应图像上的预测框的中心点坐标，w为对应图像上预测框的框高，h为对应图像上预测框的框宽；x_a和y_a为锚点框的中心点坐标，w_a为锚点框的框高，h_a为锚点框的框宽；x^*和y^*为对应图像上的真实框的中心点坐标，w*为对应图像上真实框的框高，h*为对应图像上真实框的框宽；

进而得到缺陷检测网络的损失函数，如下公式所示：

L(k,k^*,t,t^*)＝L_cls(k,k^*)+λL_locp^*(t,t^*)

其中，λ为用于平衡分类任务和定位任务的权重参数，p^*为定位激活参数，p^*为定位激活参数，p^*有两个取值0或1；当输入到缺陷检测网络损失函数的样本是正样本时，p^*取1；当输入到缺陷检测网络损失函数的样本是负样本时，p^*取0；所述正样本通过IOU策略进行筛选，IOU>0.5的锚点框视为正样本，剩余的视为负样本；

步骤6、基于图像中心策略设置缺陷检测网络的训练超参数，包括优化方法、学习率、迭代次数、权重初始化策略、权重衰减参数、动量系数和数据增强方法；

图像在传入缺陷检测网络前将图像的最短边设为600像素；使用批量梯度下降法进行训练，每批次选取一张图像，训练缺陷检测网络的批规格为64个感兴趣区域，训练RPN的批规格为128个感兴趣区域；缺陷检测网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测网络时，训练前200k的迭代学习率设为0.001，后100k迭代的学习率设为0.0001；对于缺陷检测网络所有层的参数使用Xavier方法进行初始化；同时，为了避免过拟合，使用图像平移、图像翻转和图像映射多种数据增强方法，且移除基准网络中的dropout模块；

步骤7、使用五步联合训练法对缺陷检测网络进行训练，使基准网络、多级特征融合网络和RPN共享卷积层和计算量，具体方法为：

步骤7.1：将多级特征融合网络和基准网络进行训练，训练后多级特征融合网络和基准网络共享卷积层，得到训练好的缺陷检测网络模型；步骤7.2：基于步骤7.1训练好的缺陷检测网络模型训练RPN，生成候选区域；此时训练好的缺陷检测神经网络和RPN没有共享卷积层；

步骤7.3：基于步骤7.2生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；

步骤7.4：基于步骤7.3训练好的缺陷检测网络模型训练RPN，生成候选区域；将此训练的RPN作为最终的RPN模型；

步骤7.5：基于步骤7.4生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；微调后，缺陷检测网络与RPN共享卷积层，将训练后得到的新缺陷检测网络作为最终的缺陷检测网络模型；

最后，将步骤7.4生成的RPN模型和步骤7.5生成的缺陷检测模型联合，得到如图2所示的训练完成的缺陷检测网络模型；

步骤8、使用训练完成的缺陷检测网络来执行钢板表面缺陷检测的任务，得出缺陷的类别分数及包围框坐标。

本实施例中，使用专业的缺陷检测数据集NEU-DET进行网络微调。通过训练将钢板缺陷分为：裂纹(crazing)、压入(inclsion)、斑点(patches)、麻点(pitted surface)、轧入氧化皮(rolled-in scale)和划痕(scratches)六个类别。

在缺陷分类实验中，使用两种不同的基准网络ResNet34和ResNet50，并对比这两种基准网络的分类精度，证明使用多级特征进行分类不会严重损伤精度。两种不同的基准网络ResNet34和ResNet50的分类结果以及使用多级特征进行分类的结果如图3所示，对于基准网络ResNet34，使用多级特征分类精度略有降低。而对于更深的基准网络ResNet50，使用多级特征分类精度就不会降低。这说明深层网络所提取的更高抽象等级的特征具有高度特异性，不会因为缺少或添加其他信息影响分类能力的鲁棒性。

验证缺陷分类实验后，进行缺陷检测实验，检测结果实例如图4所示。缺陷检测评价结果如图5所示，使用平均准确性均值(mAP)来评价缺陷检测结果，其能够有效的衡量检测系统的准确率和召回率。

本实施例中，为了进一步验证多级特征的有效性，即多级特征有助于提高候选区域的质量，提高检测系统的召回率。考虑到检测系统的参数IOU阈值和候选区域数量(proposlas)对于候选区域的质量的影响，与多种候选区域方法进行了对比实验，如滑窗(sliding windows)，选择性搜索(selective search)和边缘盒(edgeboxes)。实验结果如图6和图7所示，实验结果证明，基于卷积神经网络多级特征的检测，能够适应严格的IOU阈值设定和较少的候选区域数量，获得较高的召回率，提取高质量的候选区域。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：包括以下步骤：

步骤1、选取适当的基准网络，然后使用大型数据集ImageNet对该基准网络进行预训练；

步骤2、建立用于微调训练的专用缺陷检测数据集；

步骤3、基于步骤1的基准网络，搭建整体检测网络，并设置该网络结构的超参数，包括卷积层数、卷积核数、卷积核滑动步长、池化方式和激活函数类型；

步骤4、搭建多级特征融合网络，并将其与整体检测网络合并，得到缺陷检测网络；

步骤5、构建缺陷检测网络的损失函数；

步骤6、基于图像中心策略设置缺陷检测网络的训练超参数，包括优化方法、学习率、迭代次数、权重初始化策略、权重衰减参数、动量系数和数据增强方法；

步骤7、使用五步联合训练法对缺陷检测网络进行训练，使基准网络、多级特征融合网络和RPN共享卷积层和计算量；

步骤8、使用训练完成的缺陷检测网络来执行钢板表面缺陷检测的任务，得出缺陷的类别分数及包围框坐标。

2.根据权利要求1所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：步骤1所述基准网络选取高度模块化的残差网络ResNet34和ResNet50，两个残差网络均包括第一层卷积层conv1，四个残差模块{R2，R3，R4，R5}以及后续的全局最大池化层和分类输出层；两个残差网络不同的地方是残差模块中的卷积层数和卷积核数不同。

3.根据权利要求2所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：步骤2所述建立专用的缺陷检测数据集，其中的缺陷图像具有对应的真实框标注，每个标注指定对应缺陷的类别，而且包围框指示了缺陷的位置。

4.根据权利要求2所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：所述步骤4的具体方法为：

步骤4.1、所述多级特征融合网络包括四个分支，定义为{B2，B3，B4，B5}，与残差网络的四个残差模块{R2，R3，R4，R5}输出的特征图对应；每个分支连接在四个残差模块的最后一层，然后分别处理对应的特征图，将其分辨率与尺寸统一；

多级特征融合网络的每个分支的具体设置分别为：

B2分支使用两层堆叠的3×3卷积层来连续减小残差模块R2输出的特征图的分辨率尺寸；对于残差网络ResNet34和ResNet50，残差模块R2输出的特征图的尺寸为56×56，将其尺寸减小为14×14；然后用一层1×1卷积层进行降维，卷积核数设为128和512，将B2分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B2分支输出的特征图的最终尺寸为14×14×128和14×14×512；

B3分支使用一层最大池化层来减小残差模块R2输出的特征图的分辨率尺寸；对于残差神经网络ResNet34和ResNet50，残差模块R3输出的特征图的尺寸为28×28，将其尺寸减小为14×14，其中，最大池化层的滑动窗口尺寸设为3×3，步长为2；由于残差模块R3输出的特征图的维度与多级特征融合网络输出的特征图的维度相同，为128和512，不需要进行维度调整；B3分支输出的特征图的最终尺寸为14×14×128和14×14×512；

B4分支不需要进行分辨率尺寸调整，因为残差模块R4输出的特征图的分辨率尺寸被设为多级特征融合网络输出特征图的尺寸，即14×14；然后使用一层1×1卷积层来降低残差模块R4输出的特征图的维度，卷积核数设为128和512，将B4分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B4分支输出的特征图的最终尺寸为14×14×128和14×14×512；

B5分支使用反卷积层来增加残差模块R5输出的特征图的分辨率尺寸，对于残差网络ResNet34和ResNet50，残差模块R5输出的特征图的尺寸为7×7，将其尺寸增加为14×14；然后，使用一层1×1卷积层进行升维，卷积核数设为128和512，将B5分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B5分支输出的特征图的最终尺寸为14×14×128和14×14×512；

步骤4.2、将多级特征融合网络每个分支输出的特征图进行L2标准化处理，然后依次进行融合，得到多级特征；最终，多级特征融合网络的输出特征图尺寸为14×14×512和14×14×2048；

步骤4.3、将多级特征融合网络接入RPN网络，进行候选区域提取；通过RPN网络在多级特征上滑动，获取锚点；然后根据残差模块R4的卷积核总滑动步长，映射回原图像获得锚点框；将锚点框与真实框的IOU值对比，获得ROI的预测框，即候选区域；最后，接入ROI池化层，提取基于候选区域的一个固定尺寸的特征向量，尺寸设为7×7；

步骤4.4、将ROI池化层输出的特征向量接入全局平均池化层，以便于计算；再将全局平均池化层输出的特征向量接入缺陷检测网络的两个输出层，其中一个为使用softmax函数进行计算的缺陷分类输出层，另一个为利用smoothL1函数进行计算的缺陷定位输出层。

5.根据权利要求4所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：步骤5所述损失函数为一个联合任务损失函数，包括缺陷分类任务损失函数和缺陷定位任务损失函数；

所述缺陷分类任务损失函数的构建方法为：

对于每个候选区域，缺陷检测网络的分类输出层输出一个离散概率分布，k＝(k₁，...，k_C)，对于每个感兴趣区域，C表示缺陷的类别，k为由softmax函数计算的类别得分；分类输出层然后将离散概率分布k与真实缺陷类别进行比对，得到缺陷分类任务损失函数，如下式所示：

L_cls＝-log(k，k^*)

其中，L_cls为缺陷分类任务损失函数，其输出是一个二分类结果，表示每个候选区域是否具有缺陷，k^*为真实缺陷类别；

所述缺陷定位损失函数如下式所示：

L_loc＝SmoothL1(t-t^*)

其中，t＝(t_x，t_y，t_w，t_h)为表示定位输出层的输出框的向量，t_x和t_y为输出框的中心点坐标，r_w为输出框的框宽，t_h为输出框的框高；t^*＝(t^* _x，t^* _y，t^* _w，t^* _h)为表示特征图像上真实框的向量，t^* _x和t^* _y为特征图像上真实框的中心点坐标，t^* _w为特征图像上真实框的框宽，t^* _h为特征图像上真实框的框高；

向量t和t^*中每个值的计算方法如下所示：

t_x＝(x-x_a)/w_a

t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)

t_h＝log(h/h_a)

t^* _x(x^*-x_a)/w_a

t^* _y＝(y^*-y_a)/h_a

t^* _w＝log(w^*/w_a)

t^* _hlog(h^*/h_a)

其中，x和y为对应图像上的预测框的中心点坐标，w为对应图像上预测框的框高，h为对应图像上预测框的框宽；x_a和y_a为锚点框的中心点坐标，w_a为锚点框的框高，h_a为锚点框的框宽；x^*和y^*为对应图像上的真实框的中心点坐标，w*为对应图像上真实框的框高，h*为对应图像上真实框的框宽；

进而得到缺陷检测网络的损失函数，如下公式所示：

L(k，k^*，t，t^*)＝L_cls(k，k^*)+λL_locp^*(t，t^*)

其中，λ为用于平衡分类任务和定位任务的权重参数，p^*为定位激活参数，p^*为定位激活参数，p^*有两个取值0或1；当输入到缺陷检测网络损失函数的样本是正样本时，p^*取1；当输入到缺陷检测网络损失函数的样本是负样本时，p^*取0；所述正样本通过IOU策略进行筛选，IOU＞0.5的锚点框视为正样本，剩余的视为负样本。

6.根据权利要求5所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：所述步骤6的具体方法为：

图像在传入缺陷检测网络前将图像的最短边设为600像素；使用批量梯度下降法进行训练，每批次选取一张图像，训练缺陷检测网络的批规格为64个感兴趣区域，训练RPN的批规格为128个感兴趣区域；缺陷检测网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测网络时，训练前200k的迭代学习率设为0.001，后100k迭代的学习率设为0.0001；对于缺陷检测网络所有层的参数使用Xavier方法进行初始化；同时，为了避免过拟合，使用图像平移、图像翻转和图像映射多种数据增强方法，且移除基准网络中的dropout模块。

7.根据权利要求6所述的基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：所述步骤7的具体方法为：

步骤7.1：将多级特征融合网络和基准网络进行训练，训练后多级特征融合网络和基准网络共享卷积层，得到训练好的缺陷检测网络模型；步骤7.2：基于步骤7.1训练好的缺陷检测网络模型训练RPN，生成候选区域；此时训练好的缺陷检测神经网络和RPN没有共享卷积层；

步骤7.3：基于步骤7.2生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；

步骤7.4：基于步骤7.3训练好的缺陷检测网络模型训练RPN，生成候选区域；将此训练的RPN作为最终的RPN模型；

步骤7.5：基于步骤7.4生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；微调后，缺陷检测网络与RPN共享卷积层，将训练后得到的新缺陷检测网络作为最终的缺陷检测网络模型；

最后，将步骤7.4生成的RPN模型和步骤7.5生成的缺陷检测模型联合，得到训练完成的缺陷检测网络模型。