CN113506239B - 一种基于跨阶段局部网络的带钢表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于跨阶段局部网络的带钢表面缺陷检测方法，属于带钢表面缺陷检测技术领域。本发明方法包括：构建带钢表面缺陷检测的数据集，数据集中包含12种带钢表面缺陷；基于深度神经网络模型YOLOv4改进构建CSP‑YOLO网络模型，用于检测带钢表面缺陷；对CSP‑YOLO模型进行训练和测试，输出最优模型对采集的带钢图片进行缺陷位置和种类检测。本发明方法解决了现有检测技术或多或少具有的检测速度慢、可检测缺陷种类少、检出率和分类正确率低、对小目标检测不友好的问题，不仅能够识别12种带钢表面缺陷，提高了带钢表面缺陷的检测准确性，还提高了缺陷检测速度，非常适用于实际生产使用。

Description

一种基于跨阶段局部网络的带钢表面缺陷检测方法

技术领域

本发明涉及计算机图像处理、图像信息识别以及带钢表面缺陷检测的技术领域，特别涉及一种基于跨阶段局部网络的带钢表面缺陷检测方法。

背景技术

钢铁是众多工业应用的重要基础材料之一。在评价钢铁的质量环节中，表面质量是相当重要的参数之一，对于带钢产品尤是如此。在实际生产过程中，由于轧制技术和生产参数的多方面原因，会使得带钢表面出现裂痕、擦伤、氧化、翘皮等众种类型的表面缺陷，这些缺陷有的会降低产品的强度、抗疲劳程度和抗拉伸强度，有的会影响产品的表面的美观性。进而影响企业的经济效益和生产效率。

带钢表面缺陷检测在技术历程上主要分为四个阶段：

第一阶段，采用人工检测的方法。该阶段采用人工检测的方式，由于人工检测效率低、检测人员难以持续集中注意力和检测结果可信度低等缺点，实际有效检测表面积只能占到总表面积的0.05。人工检测不足以保证产出带钢表面无缺陷。

第二节阶段，自动化检测的尝试。上世纪70年代初，由于CCD相机的问世、采用CCD(Charge-coupled Device)相机作为成像元件的、基于机器视觉的热轧带钢表面缺陷检测系统开始在得到研究和发展，并逐渐在生产企业在得到应用。但是局限于计算机处理能力和处理算法的不足，还处于探索性实验的阶段。

第三阶段，技术成熟的大规模应用。随着基于机器视觉的热轧带钢缺陷检测系统的长足研究，系统基本架构得到确定，结合图像处理技术的发展。该类型检测系统成为了学术研究和企业应用的主流方向。结合不同的图像处理技术，比如基于统计方法的边缘检测、霍夫变换；基于频谱方法的傅里叶变换、Gabor滤波器，开发出了针对各种缺陷的检测系统，并在各大钢铁企业中得到了广泛的应用。但是上述方法也存在着各式各样的问题：如，边缘检测方法基于人工设计特征构建的边缘检测算子仅能识别边缘明显和输入类别较少的目标，对于缺陷形状复杂和缺陷类别较多的输入识别效果较差。霍夫变换在提取线条形状的缺陷具有很强的抗干扰能力，但是带钢的表面缺陷往往不止一种。傅里叶变换通过将空间域的图像转为频域的信号进行缺陷检测，但是其缺乏描述空间上局部信息的能力，大部分局部特征无法被捕捉到，使得输入中的小目标往往被漏检。Gabor滤波器弥补了傅里叶变换的小目标检测的问题，但是其由于其只能提取到较为单一的特征，缺陷分类效果难以达到要求；计算较为复杂，难以满足实时性的要求。

第四阶段，普适的检测系统的新探索。传统的基于机器视觉的带钢缺陷检测方法--基于人工设计缺陷特征的图像处理技术，具有可检测缺陷种类少、缺陷识别准确度较低、小目标缺陷检测困难和检测速度慢一系列缺陷。自2012年以来，借助于深度学习技术发展，出现了许多基于深度学习的带钢表面缺陷检测方法，比如Faster-RCNN系列算法和YOLO系列算法,显著提高了缺陷检出率和分类正确率。但是对于小目标的检测和检测速度难以满足要求。

Faster-RCNN缺陷检测方法(参考文献1：基于深度学习的表面缺陷检测方法综述[J].陶显侯伟徐德.自动化学报.2020)虽然显著提升了缺陷的检出率和分类准确度，但是由于其两阶段检测算法的复杂性，检测速度较慢，难以满足实时性的要求。

YOLO缺陷检测方法(参考文献2：基于改进YOLOv3算法的带钢表面缺陷检测[J].李维刚叶欣赵云涛王文波.电子学报.2020,48(07))为典型的一阶段检测算法，在检测速度上能够满足实时性的要求，但是牺牲了一定的检测准确度，对于小目标缺陷的检出率较低。

综上所述，现有的带钢表面缺陷检测方法或多或少具有检测速度慢、可检测缺陷种类少、检出率和分类正确率低、对小目标检测不友好的问题。

发明内容

本发明的目的在于提供一种基于跨阶段局部网络的带钢表面缺陷检测方法，以克服上述检测方法或多或少具有的检测速度慢、可检测缺陷种类少、检出率和分类正确率低、对小目标检测不友好的问题，实现一种检测速度快、检测种类多且对小目标检测友好的高精度的带钢表面缺陷检测方法，满足带钢表面缺陷检测的需求。

本发明的一种基于跨阶段局部网络的带钢表面缺陷检测方法，包括：

步骤1，构建带钢表面缺陷检测的数据集，数据集中包含12种带钢表面缺陷；

所述构建数据集时，对每张缺陷图片进行标注，标注内容包括缺陷在图中的位置以及缺陷类型；使用生成式对抗网络GAN+复制粘贴的方式进行数据扩展；

所述数据集包含12种带钢表面缺陷，包括：划伤、辊印、黑线、辊系铁皮、大翘皮、除麟铁皮、擦伤铁皮、擦伤、边线、边部翘皮、边部裂纹和边部裂口；

步骤2，基于深度神经网络模型YOLOv4改进构建CSP-YOLO网络模型，用于检测带钢表面缺陷；

所述CSP-YOLO网络模型在YOLOv4模型的特征金字塔的每一个上下层级之间加入跨阶段局部网络模块CSP_{3_1}，CSP_{3_1}取代原有的直接卷积操作；所述CSP_{3_1}模块包括两个旁路，一个旁路上具有3个CBL组件和1个卷积组件，一个旁路上具有1个卷积组件，两个旁路的输出串联后输出，再经一个批量正则化模块、一个Relu激活函数和一个CBL组件输出融合的特征；所述CBL组件由一个卷积层、一个批量正则化模块和一个Relu激活函数组成；

步骤3，使用训练集对CSP-YOLO模型进行训练，使用测试集对训练生成的模型进行准确率检测，输出检测效果最好的模型作为最终的带钢表面缺陷检测模型；利用输出的模型对采集的带钢图片进行缺陷位置和种类检测。

相较于现有技术方法，本发明具有以下优点和积极效果：

1)本发明方法共收集了12种带钢表面缺陷的数据集，并使用GAN+复制粘贴方法对原始数据进行了扩充，在保留真实图片背景的情况下，在局部粘贴生成缺陷图像，进一步减小了生成数据与原始数据之间的差异；

2)本发明方法基于YOLOv4原始架构改造构建跨阶段局部网络，原有YOLOv4特征金字塔直接使用卷积操作来融合不同层级的特征，在小目标缺陷检测上容易丢失细节信息，导致小目标缺陷漏检。本发明方法在原有特征金字塔的上下层级特征融合通道之间，加入了使用神经网络架构搜索技术搜索出来的、在本数据集上表现最好的跨阶段局部网络特征融合CSP_{3_1}模块，以进行上下层级之间的特征融合，得到不同分辨率的融合特征金字塔，减少高频特征图中原始的细节信息的丢失，从而提高模型小目标缺陷的检测效果。

3)经试验证明，采用本发明方法，不仅能够识别12种带钢表面缺陷，提高了带钢表面缺陷的检测准确性，还提高了缺陷检测速度，非常适用于实际生产使用。

附图说明

图1是本发明实施例的基于跨阶段局部网络的带钢表面缺陷检测方法的流程示意图；

图2是本发明实施例采集的数据集包含的12种带钢表面缺陷的示例图；

图3是本发明实施例采用GAN+复制粘贴进行数据扩展的示意图；

图4是本发明实施例采用的CSP特征融合结构示意图；(a)为YOLOv4原始特征金字塔结构，(b)为YOLOv4加入了CSP_{3_1}模块的特征金字塔结构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和实施例对本发明技术方案作详细的说明。

本发明实施例实现的基于深度神经网络的带钢表面缺陷检测，如图1所示，包括如下5个步骤，下面分别说明各步骤。

步骤1，数据集的构建。收集尽可能多的包含不同种类带钢表面缺陷的图片，然后对每张缺陷图片进行标注，标注内容包括缺陷的种类：边裂、划伤、水渍等，以及缺陷在图中的位置。完整的初始数据集构建过程如下：

1)选取图片库中带钢表面带有缺陷的图片。

2)使用矩形框标注记录缺陷在图像上的位置和种类，完整的标注出图上出现的所有缺陷。

3)将标注信息按照xml文件的格式存放，文件名和相应的图片名同名。

4)将所有缺陷图片逐一标注并保存缺陷信息完成初始数据集的构建。

最后，基于生成式对抗神经网络GAN+复制粘贴的数据扩展，在以上部分已标注数据集的基础上，使用生成对抗神经网络针对已标注数据进行学习，使用半监督学习方法对未标注数据进行特征表达。两者结合，在原有已标注数据集的基础上，按照生成对抗网络输入缺陷框的大小和种类生成相同大小和种类的缺陷模拟图像，使得每类缺陷的样本数量相同。每一类缺陷生成的模拟图像数量S_i可用以下公式表示，其中i表示某一类缺陷，M表示样本数量最多的某一类缺陷的样本数，D_i表示第i类缺陷的真实样本数：

S_i＝M-D_i，1≤i≤12

最终，从原始数据集中随机抽取1张图片，从第i类缺陷生成的模拟图像中随机抽取多张粘贴到抽取到的原始图片上，并将此步骤完成复制粘贴的图片放入复制粘贴缺陷集，直到所有模拟图像被抽取粘贴完毕，完成数据集的GAN+复制粘贴扩展。

如图3所示，本发明实施例采用GAN+复制粘贴扩展数据集。从原始采集的带钢表面数据集中随机抽取1张图片，从第i类缺陷生成的模拟图像中随机抽取多张粘贴到抽取到的原始图片上，模拟图像由GAN网络生成。按照此过程获得复制粘贴的图片，放入复制粘贴缺陷集中，重复该过程，对于第i类缺陷，直到该类缺陷的所有模拟图像都被抽取粘贴完毕，完成一个缺陷类的GAN+复制粘贴扩展。对数据集中的所有缺陷类均按照这个过程进行扩展，以获取更多的训练样本。采用这种方式获得的训练数据，保留了真实图片背景，减小了与真实图片的差异。

本发明实施例中，最终数据集包含划伤、辊印、黑线、辊系铁皮、大翘皮、除麟铁皮、擦伤铁皮、擦伤、边线、边部翘皮、边部裂纹和边部裂口共12种带钢表面常见缺陷，如图2所示。本发明实施例中构建的数据集中每类缺陷包含1000张图片。将数据集按照2-8比例划分，20％作为测试集，80％作为训练集。

步骤2，基于深度神经网络模型YOLOv4改进构建跨阶段局部网络CSP-YOLO模型，如图4所示。

1)使用神经网络架构搜索技术，对不同组合的CSP_{a_b}模块进行搜索测试，得到适用于本数据集的、用于特征金字塔上下层级之间特征融合的CSP_{3_1}模块。CSP_{3_1}模块即跨阶段局部网络组件。

本发明方法在原有特征金字塔的上下层级特征融合通道之间，加入了使用神经网络架构搜索技术搜索出来的、在本数据集上表现最好的跨阶段局部网络特征融合CSP_{a_b}模块，其中，a表示CBL模块的数量，一个CBL模块由一个卷积层(CONV)、一个批量正则化(BN)和一个Relu激活函数组成，1≤a≤10；b表示卷积层的个数，1≤b≤10。通过使用神经网络架构搜索，在本数据集上，a和b的值最优为3和1。

本发明实施例中经过神经网络架构搜索得到的CSP_{3_1}模块结构如图4(b)中所示，CSP_{3_1}模块包括两个旁路，一个旁路上具有3个CBL组件和1个卷积组件，一个旁路上具有1个卷积组件，两个旁路的输出经CONCAT模块串联后输出，再经一个批量正则化BN模块、一个Relu激活函数和一个CBL模块输出融合的特征。

2)在原有YOLOv4模型的特征金字塔的基础上，在特征金字塔的每一个上下层级之间加入上一步搜索出来的特征金字塔特征融合CSP_{3_1}组件，取代原有的直接卷积操作，以改进小目标缺陷的识别效果并提高整体缺陷的检出率和分类正确率。

CBL的作用替代传统的直接卷积操作，减少直接卷积后的参数量和网络复杂度，直接卷积可能会导致小目标细节信息的丢失，因此本发明使用两个旁路结构，取代原有的直接卷积操作，旁路1使用CBL进行卷积，旁路2使用CONV进行卷积，以统一两个旁路的输出维度，得到经过CSP处理的特征图。在旁路1的CBL卷积操作中，使用BN+RELU得到稀疏化的特征图，CBL的个数会影响特征图的最终稀疏程度，过多过少都不好，需要实验得到最佳个数。在旁路2进行简单的直接卷积，目的是得到和旁路1维度相同的输出，以进行两个旁路输出的融合。本发明通过旁路1稀疏了网络参数量，但保证感受野不丢失，通过旁路2保留原有特征图的细节信息。经过CSP处理的特征图经过上采样，得到与下一个层级维度相同的特征图，使用CONCAT模块进行两个特征图之间的融合。

使用本发明实施例的CSP-YOLO模型，可以改进小目标缺陷的识别效果，并提高了整体缺陷的检出率和分类正确率。CSP-YOLO模型的工作流程如下：

(11)使用YOLOv4头部网络对输入图像进行预处理。对输入图像的尺寸进行归一化，统一到640*640像素大小，并根据网络初始参数中增强概率参数对输入图像应用随机剪裁、随机缩放和随机拼接三种训练时数据增强方法。

(12)将上一步处理好的图像输入主干网络，进行CSPResNext50特征提取。

(13)使用主干网络CSPResNext50每一层提取出来的特征构建特征金字塔，并使用CSP_{3_1}进行上下层级之间的特征融合，得到不同分辨率的融合特征金字塔。

(14)针对融合特征金字塔的每一层进行缺陷位置检测和分类，并输出检测结果。

步骤3，训练CSP-YOLO模型，训练数据由步骤1构建获得。

本发明实施例通过对大量已标注缺陷图片进行训练，具体步骤如下：

(21)设置每一批次训练图片为64张，在两张V100显卡上进行充分训练直到准确度不再提高。

(22)调整数据增强方法，重复步骤(21)。

(23)调整模型的学习率，重复步骤(21)。

(24)使用预训练模型进行训练，重复步骤(21)。

通过数据增强、调整学习率和使用预训练模型使得网络模型CSP-YOLO学习到每一种缺陷的特征，如纹理特征，外形特征，位置特征等特征信息，经过损失函数损失的反向传播更新神经网络中每一个模块神经元的参数，从而获得提取缺陷位置和区分缺陷种类的能力。同时在训练时加入随机剪裁、随机缩放、随机拼接等数据增强功能以提高模型的表达能力和鲁棒性。最终获得若干个不同训练模式下的带钢缺陷识别模型。

步骤4，测试生成模型的准确率。在已有数据集的测试集上，逐一使用步骤3中所述训练好的模型进行测试，以评价模型在新数据上鲁棒性和准确性，最终选择表现最好的模型权重作为可以使用的模型权重。

步骤5，使用最终选定的模型检测带钢图片上的缺陷位置和区分缺陷种类。

针对输入的带钢图片，模型首先进行特征提取以获得可能缺陷的位置信息，然后针对可能的缺陷位置进行分类，从而检测到输入图片的缺陷位置和缺陷种类。

本发明实施例中，一个最终测试集得到的检测结果如表1所示，本发明方法与现有其他方法的速度对比测试如表2所示。

表1 CSP-YOLO在测试集上的平均准确率

由表1可以看出，利用本方法实现的检测模型能够有效检测带钢表面多种缺陷，并且检测率高。

表2 CSP-YOLO与现有模型推理速度对比结果，实验基于GTX 1080Ti显卡

模型	主干网络	输入图片尺寸	平均精度	速度
					Faster-RCNN	Vgg16	640*640	91.63％	7FPS
YOLOv3	ResNet50	640*640	91.99％	35FPS
					YOLOv4	CSPResNext50	640*640	93.25％	44FPS
本发明CSP-YOLO	CSPResNext50	640*640	95.34％	62FPS

由表2可以看出，利用本发明方法实现的检测模型能够在不降低检测精度的情况下较为明显地提升缺陷的检测速度。

Claims (6)

1.一种基于跨阶段局部网络的带钢表面缺陷检测方法，其特征在于，包括：

步骤1，构建带钢表面缺陷检测的数据集；

所述数据集包含12种带钢表面缺陷，包括：划伤、辊印、黑线、辊系铁皮、大翘皮、除麟铁皮、擦伤铁皮、擦伤、边线、边部翘皮、边部裂纹和边部裂口；

构建数据集时，对每张缺陷图片进行标注，标注内容包括缺陷在图中的位置以及缺陷类型；使用GAN+复制粘贴的方式进行数据扩展；GAN代表生成式对抗网络；

步骤2，改进深度神经网络模型YOLOv4，构建CSP-YOLO网络模型，用于带钢表面缺陷检测；CSP代表跨阶段局部网络；

所述CSP-YOLO网络模型在YOLOv4模型的特征金字塔的每一个上下层级之间加入跨阶段局部网络模块CSP_{3_1}，CSP_{3_1}取代原有的直接卷积操作；CSP_{3_1}模块进行上下层级之间的特征融合，包括两个旁路，一个旁路上具有3个CBL组件和1个卷积组件，一个旁路上具有1个卷积组件，两个旁路的输出串联后输出，再经一个批量正则化模块、一个Relu激活函数和一个CBL组件输出融合的特征；所述CBL组件由一个卷积层、一个批量正则化模块和一个Relu激活函数组成；

步骤3，利用数据集对CSP-YOLO网络模型进行训练和测试，输出最优CSP-YOLO网络模型作为最终的带钢表面缺陷检测模型；将采集的带钢图片输入带钢表面缺陷检测模型，输出缺陷位置与类型。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，具体构建过程包括：

选取带钢表面有缺陷的图片；

使用矩形框标注记录缺陷在图像上的位置和种类，标注出图上出现的所有缺陷；

将标注内容存放为xml格式文件，文件名和对应的图片名相同；

基于已标注数据集，使用GAN+复制粘贴的方式进行数据扩展；其中，使用GAN对已标注数据集进行学习，再按照生成对抗网络输入缺陷框的大小和种类生成相同大小和种类的缺陷模拟图像；对于每类缺陷生成相同数量的标注样本。

3.根据权利要求2所述的方法，其特征在于，所述的步骤1中，生成某一类缺陷的样本时，从采集的带钢表面数据集中随机抽取1张原始图片，再从该类缺陷生成的缺陷模拟图像中随机抽取多张粘贴到原始图片上，生成一个复制缺陷样本，重复该过程，直到该类缺陷的所有缺陷模拟图像均被抽取粘贴完，完成一个数据集的扩展。

4.根据权利要求1所述的方法，其特征在于，所述的步骤2中，搜索在所述数据集上表现最好的跨阶段局部网络特征融合CSP_{a_b}模块，其中a代表CSP_{a_b}模块中一个旁路上CBL模块的数量，1≤a≤10；b表示CSP_{a_b}模块中另一个旁路上卷积层的个数，1≤b≤10。

5.根据权利要求1所述的方法，其特征在于，所述的步骤2中，所述CSP-YOLO网络模型中，YOLOv4的主干网络采用CSPResNext50。

6.根据权利要求1或5所述的方法，其特征在于，所述的步骤2中，所述CSP-YOLO网络模型的工作过程包括：

(11)使用YOLOv4的头部网络对输入图片进行预处理，统一图片尺寸，并进行数据增强处理，然后输入(12)；

(12)将图像输入YOLOv4的主干网络进行特征提取；

(13)使用主干网络每一层提取出来的特征构建特征金字塔，并使用CSP_{3_1}进行上下层级之间的特征融合，得到不同分辨率的融合特征金字塔；

(14)针对融合特征金字塔的每一层进行缺陷位置检测和分类，并输出检测结果。