CN110490842B - 一种基于深度学习的带钢表面缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的带钢表面缺陷检测方法，该方法通过缺陷判断与缺陷归类双流网络模型提取带钢表面的局部信息，并结合尺度金字塔进行综合分析，得到类热图，最终同时得到缺陷的种类与位置，所述缺陷判断与缺陷归类双流网络模型包括缺陷判断分支和缺陷归类分支。与现有技术相比，本发明具有计算量少、计算效率高、鲁棒性强、标注成本低、精度高、设备成本低等优点。

Description

一种基于深度学习的带钢表面缺陷检测方法

技术领域

本发明属于缺陷检测技术领域，涉及一种带钢表面缺陷检测方法，尤其是涉及一种基于深度学习的带钢表面缺陷检测方法。

背景技术

传统带钢表面缺陷检测方法大致为人工检测方法和频闪光检测方法，这两种方法都是非自动化检测方法。1950至1960年，带钢表面缺陷检测主要采用人工目视的方法。由于带钢生产时传送速度很高，如果遇到微小的表面缺陷，人的肉眼根本无法准确判断缺陷种类、等级，造成带钢表面缺陷的大量漏检和误检。并且工厂环境恶劣，通常存在噪音、粉尘，工人在此环境下工作会损害身心健康。所以人工检测方法逐渐被淘汰。1970年至1980年，一些大型带钢制造企业开始采用频闪光检测法，检测原理是使用10至30us的脉冲闪光来引起人眼的视网膜静止反应，使人的肉眼可以捕捉到高速运动的物体信息。通过技术的不断发展，这些企业将闪屏光源与摄像机相结合，使得工人可以通过监视器检测带钢表面缺陷从而避免了工厂的恶劣环境。这种检测方法虽然通过辅助手段缓解了人工目测检测方式的一些弊端，但基本还是靠人工来识别缺陷，检测结果的可信度和检测过程的自动化程度依然很低。较先进的自动化带钢表面缺陷检测方法主要有红外检测方法和计算机视觉检测方法等。1990年后红外检测技术开始兴起，其原理为：在钢坯传送辊道上设置一个高频感应线圈，钢坯通过时，表面会产生感应电流。在有缺陷的区域，感应电流从缺陷下方流过，从而增加了电流的行程，导致在单位长度的表面上消耗更多电能，这将引起钢坯局部表面的温度上升。由于缺陷处的局部升温取决于缺陷的平均深度，线圈工作频率等因素，因此如使其他各种因素在一定范围内保持恒定，就可以通过检测局部升温来检测缺陷。红外检测法检测精度较高且速度较快，但无法对带钢表面缺陷种类进行准确识别。计算机视觉检测方法主要有较早的基于激光扫描的检测方法和后来较为先进的基于摄像器件CCD检测方法。激光扫描方法在1970年后开始出现，主要原理是激光器发出激光经过多面体棱镜反射到带钢表面，经过带钢表面反射后由光接收器接收后将光信号转化为电信号然后再转化为数字信号传输给计算机，经过信号处理进行缺陷识别。激光扫描检测方法虽然灵敏度较高但检测速度较慢，且对微小缺陷的识别能力不足。基于摄像器件CCD的计算机视觉检测方法从1980年至今还在使用，主要原理为：CCD摄像机扫描带钢表面，所得图像信号传入计算机，经过计算机图像处理算法，提取出图像特征，进而通过分类器判断是否有缺陷以及识别出缺陷类别。这种缺陷检测效果较为精准、高效，缺陷识别能力较强，但实际效果还是受制于算法的好坏。

相较于传统的检测算法，深度学习将会在产品的检测方面更加精准，更加快速，且具有很强的适用性。随着深度学习的提出并不断发展，为带钢表面缺陷检测的快速、准确提供可能。

目前，已有一些基于深度学习的表面缺陷检测算法，典型的如基于Faster-RCNN目标检测框架的缺陷检测方案。Faster-RCNN目标检测框架所应对的任务是图像的目标检测，对于识别并检测图像中的物体具有很好的效果，但应用于工业带钢检测会存在标注成本高、速度慢、泛化能力不够等缺陷，具体表现为：

(1)标注成本高：应对任意一个缺陷，都需要构建无数图像样本，并且需要对每张图像中的缺陷使用方框进行标注。这种方法会出现三个问题：第一，需要极大的人力成本；第二，大多数钢板缺陷是纹理状的没有明确的目标边界因而标注极为困难；第三，不同的缺陷可能相互混杂、互相交融，这对模型优化会产生很多负面影响。

(2)速度慢：Faster-RCNN基于VGG-16的特征提取框架有数万个参数，其在嵌入式设备上的运行速度缓慢，无法应用于实时场合。

(3)泛化能力不够：该方法没有考虑到缺陷的有无判断与缺陷种类判断的优先次序，在同一层面进行分析。

基于机器视觉的检测技术能够在连续实时的生产条件下准确无误地检测出钢板的缺陷、大大降低人力成本、提高生产效率，从而满足实际生产需要。但基于传统机器视觉的手段，与人工智能对接度不够，无法发挥大数据、物联网和人工智能在大规模数据处理上的精度优势、泛化度优势、鲁棒性优势。因此需要研发一种基于深度学习的钢板检测手段，充分发挥深度学习方法精度的优势，促进钢工业的进一步创新和发展。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种计算量少、计算效率高、鲁棒性强、标注成本低、精度高、设备成本低的基于深度学习的带钢表面缺陷检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的带钢表面缺陷检测方法，该方法通过缺陷判断与缺陷归类双流网络模型提取带钢表面的局部信息，并结合尺度金字塔进行综合分析，得到类热图，最终同时得到缺陷的种类与位置。

进一步地，所述缺陷判断与缺陷归类双流网络模型包括缺陷判断分支和缺陷归类分支，所述缺陷归类分支结合尺度金字塔输出相应类热图。

进一步地，所述缺陷判断分支和缺陷归类分支各包括一卷积神经网络，使用分组卷积实现分离，且两组间卷积核各自独立。

进一步地，所述双流网络模型进行训练时，训练数据集的构建过程包括以下步骤：

2a)采集若干有缺陷的带钢表面图像；

2b)使用一个固定大小的窗口，截取所要分类的缺陷的显著区域；

2c)截取缺陷图像时，必要时可以对原图像进行缩放，只要能区分这些缺陷即可；

2d)使用步骤2b)中相同大小的固定窗口，截取一些正常区域；

2e)将每一类缺陷与正常图像存放到各自的文件夹中，完成数据集构建。

进一步地，所述双流网络模型进行训练时采用的损失函数为Cross-Entropy损失函数，优化方式为随机梯度下降方式。

进一步地，所述缺陷归类分支结合尺度金字塔具体为：

6a)将图像从大到小缩放成n种分辨率，记i1,i2,…,in；

6b)将n种分辨率图像通过同一个网络得到输出类热图，记o1,o2,…,on；

6c)将这些图像插值上采样成o1的分辨率，对每种缺陷在不同分辨率中出现的概率取最大值，最终得到包含所有缺陷的固定分辨率的类热图。

进一步地，所述尺度金字塔利用mini-batch加速运算，实现图像并行计算。

进一步地，所述利用mini-batch加速运算具体为：

在获得n种分辨率的图像后，使用左上角对各尺度的图像归一到同一分辨率，构建一个mini-batch，将这一批图像使用卷积网络输出特征图，将输出的特征图按照之前排好的尺度次序分解，对应每个尺度截取相应的分辨率的图，以恢复之前的分辨率，得到输出类热图。

与现有技术相比，本发明具有如下有益效果：

1)本发明构建缺陷判断与缺陷归类双流网络模型，设置两个独立分支，第一个分支判断有无缺陷，第二个分支对缺陷进行归类，给予第一个分支更浅的网络以抗拒过拟合减少错误率，并且无需构建金字塔；而进行类别归类需要更多语义信息，不一定具备尺度不变性，因此给予第二个分支较深的网络，同时构建金字塔分析；本发明充分考虑了缺陷判定和缺陷归类的优先级次序，使用双流模型加以区分，针对判定与归类两种任务的特征进行针对性建模，对归类流构建尺度金字塔，更好地提高检测精度。

2)本发明通过缺陷判断与缺陷归类双流网络模型进行缺陷检测，可以同时获得缺陷的种类与其精确位置。

3)本发明使用一个固定视野的卷积神经网络进行分类训练，一张图像只需要一个整数形式的标签，标注成本极低，且不降低其检测精度；无需使用复杂的目标框回归因此模型规模大幅度缩减，从而提升速度。

4)本发明两个分支通过分组卷积技术并行执行，速度极快。

5)传统机器视觉检测方法，需要精确控制光源、进行繁琐的校准操作、精密的多传感器设备整合，而本发明无需复杂的传感器套件，无论是从成本上还是升级维护难度上还是精度上本发明都有很大优势。

6)本发明使用分组卷积技术以及分批卷积技术使用Nvidia公司提供的GPU加速API的特性让尺度金字塔以及双流模型并行操作，大大提高分析速度。

附图说明

图1为分组卷积示意图；

图2为尺度金字塔并行操作方法示意图；

图3为模型在一些图像上表现的可视化；

图4为一些数据集构建的例子；

图5为本发明的整体流程图；

图6为缺陷检测模型流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种基于深度学习的带钢表面缺陷检测方法，该方法通过卷积神经网络提取带钢表面的局部信息，并结合尺度金字塔进行综合分析，最终同时得到缺陷的种类与其精确位置。如图5、图6所示，缺陷种类根据缺陷主要成分分析获得，精确位置根据热图可视化获得。

卷积神经网络具有很强的特征提取能力，被广泛应用于视觉分类、检测等任务中，由于检测任务大多基于目标框或像素分割，需要极大的人力成本得到标注，因此本发明抛弃了基于目标框的检测方法，以获得标注成本的降低以及速度的提升，同时不降低其检测精度。本发明使用一个固定视野的卷积神经网络进行分类训练。

由于判断缺陷是否存在比细分出其类别更为重要，因此本发明应对这两个任务独立分配两个分支，每个分支具有一个卷积神经网络，构建缺陷判断与缺陷归类双流网络模型，第一个分支判断有无缺陷，第二个分支对缺陷进行归类。钢板表面的光滑与否属于纹理特征，是尺度不变的，一个无缺陷的钢板表面是光滑的，这种低层次纹理特征无需深度语义特征，因此本发明给予第一个分支更浅的网络以抗拒过拟合减少错误率，并且无需构建金字塔。而进行类别归类需要更多语义信息，不一定具备尺度不变性，因此给予第二个分支较深的网络，同时构建金字塔分析。这两个分支可以通过分组卷积技术并行执行，速度极快。为了将缺陷分类网络更好地应用在缺陷检测上，本发明使用全局池化技术并且构建类热图以提高精度。

1、缺陷判断与缺陷归类双流网络模型

本发明方法通过卷积神经网络进行特征提取，且该卷积神经网络采用分组卷积方式，分级系数取2，形成缺陷判断与缺陷归类双流网络模型，包括缺陷判断分支和缺陷归类分支。

所述缺陷判断与缺陷归类双流网络模型的每个流中，每一层使用多个卷积核对输入的各个通道进行卷积，前一层的卷积核的输出作为后一层卷积核的输入；流与流之间的分配方式使用分组卷积分开，如图1所示，即将卷积网络的特征通道分开，为每个组分配一半的特征数目，两组间的卷积核无跨组连接各自独立。

2、双流网络模型的训练

带钢表面缺陷分类数据集的构建过程如下：

2a)采集若干有缺陷的带钢表面图像；

2b)使用一个固定大小的窗口，截取所要分类的缺陷的显著区域；

2c)截取缺陷图像时，必要时可以对原图像进行缩放，只要能区分这些缺陷即可；

2d)使用步骤2b)中相同大小的固定窗口，截取一些正常区域；

2e)将每一类缺陷与正常图像存放到各自的文件夹中，完成数据集构建。

如图4所示为数据集构建例子。

基于上述带钢表面缺陷分类数据集，使用基于全卷积网络的分类方法训练双流网络模型。

训练时，卷积神经网络最后输出的特征图，其通道数为缺陷种类个数。配置卷积神经网络的输出层通道数目为要检测的缺陷类别数目，其分辨率视卷积网络步长与输入图像分辨率而定。若将步骤2b)中的固定窗口分辨率设置为(H,W)像素，卷积步长为S，那么输出层每个通道的分辨率为(H/S,W/S)。然后将每个特征通道进行全局平均池化，即求每个通道图像的平均亮度，最终得到数目为缺陷类别数的向量，再经过Softmax函数映射成概率后使用Cross-Entropy损失函数计算出损失值，优化方式为SGD(随机梯度下降)。

通过上述训练过程，不仅能增大检测位置精确度，还能减少样本污染带来的影响。

3、双流网络模型的应用

使用上述训练完成双流网络模型的各个卷积核输出热图，每个类别一张热图，且在应用中，对缺陷归类分支构建金字塔预测结构，提高归类精度。

对缺陷归类分支构建金字塔预测结构进行缺陷归类具体包括以下步骤：

6a)将图像从大到小缩放成n种分辨率，记i1,i2,…,in；

6b)将n种分辨率图像通过同一个网络得到输出类热图，记o1,o2,…,on，其中，o1负责检测最小尺寸的缺陷，on负责检测最大尺寸的缺陷，中间的热图依次负责检测从小到大尺寸的缺陷；

6c)将这些图像插值上采样成o1的分辨率，对每种缺陷在不同分辨率中出现的概率取最大值，最终得到包含所有缺陷的固定分辨率的类热图。

将图像n种分辨率后，对计算速度提出了要求。本发明采用mini-batch加速尺度金字塔运算，将尺度金字塔中的图像都放到一个相同分辨率的mini-batch中，这样整个金字塔中的图像都是并行计算特征的，极大地加快了计算速度。

如图2所示，采用mini-batch加速尺度金字塔运算具体为：在上述步骤6a)之后，使用左上角对各尺度的图像归一到同一分辨率，构建一个mini-batch；在步骤6b)中，将这一批图像使用卷积网络输出特征图，将输出的特征图按照之前排好的尺度次序分解，对应每个尺度截取相应的分辨率的图，以恢复之前的分辨率，得到输出类热图。

上述分组卷积特性和mini-batch加速尺度金字塔运算由nvidia的GPU加速API实现。

如图3所示为本发明模型在一些图像上表现的可视化。

为了验证本发明的性能，设计了以下实验。

使用宝钢提供的钢板缺陷数据集为基础，构建了含有11个类别的64*64钢板缺陷图像数据集，每一类中的图像数位为200到800张不等，测试采用每类40张图片。由于原始数据集类别间样本数目差距悬殊，因此无法做到数据均衡，但这些不均衡对测试集的影响不是很大。每一类的图像数目如表1所示。

表1

边部裂孔	边部裂口	边线	擦伤	除鳞铁皮	锟系铁皮
						234	556	874	560	242	715
锟印	锟印线	划伤	铁皮灰	正常
						276	265	288	582	730

使用一个12层的全卷积神经网络对缺陷进行训练，得到测试集正确率如表2所示。

表2

边部裂孔	边部裂口	边线	擦伤	除鳞铁皮	锟系铁皮
						0.950	0.950	0.975	1.000	0.925	0.975
锟印	锟印线	划伤	铁皮灰	正常	平均
						1.000	0.950	0.975	0.975	1.000	0.970

由表2可知，本发明方法能够获得更为精确的检测结果。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于深度学习的带钢表面缺陷检测方法，其特征在于，该方法通过缺陷判断与缺陷归类双流网络模型提取带钢表面的局部信息，并结合尺度金字塔进行综合分析，得到类热图，最终同时得到缺陷的种类与位置；

所述缺陷判断与缺陷归类双流网络模型包括缺陷判断分支和缺陷归类分支，所述缺陷归类分支结合尺度金字塔输出相应类热图，所述缺陷判断分支和缺陷归类分支各包括一卷积神经网络，使用分组卷积实现分离，且两组间卷积核各自独立。

2.根据权利要求1所述的基于深度学习的带钢表面缺陷检测方法，其特征在于，所述双流网络模型进行训练时，训练数据集的构建过程包括以下步骤：

2a)采集若干有缺陷的带钢表面图像；

2b)使用一个固定大小的窗口，截取所要分类的缺陷的显著区域；

2c)截取缺陷图像时，必要时可以对原图像进行缩放，只要能区分这些缺陷即可；

2d)使用步骤2b)中相同大小的固定窗口，截取一些正常区域；

2e)将每一类缺陷与正常图像存放到各自的文件夹中，完成数据集构建。

3.根据权利要求1所述的基于深度学习的带钢表面缺陷检测方法，其特征在于，所述双流网络模型进行训练时采用的损失函数为Cross-Entropy损失函数，优化方式为随机梯度下降方式。

4.根据权利要求1所述的基于深度学习的带钢表面缺陷检测方法，其特征在于，所述缺陷归类分支结合尺度金字塔具体为：

6a)将图像从大到小缩放成n种分辨率，记i1,i2,…,in；

6b)将n种分辨率图像通过同一个网络得到输出类热图，记o1,o2,…,on；

6c)将这些图像插值上采样成o1的分辨率，对每种缺陷在不同分辨率中出现的概率取最大值，最终得到包含所有缺陷的固定分辨率的类热图。

5.根据权利要求4所述的基于深度学习的带钢表面缺陷检测方法，其特征在于，所述尺度金字塔利用mini-batch加速运算，实现图像并行计算。

6.根据权利要求5所述的基于深度学习的带钢表面缺陷检测方法，其特征在于，所述利用mini-batch加速运算具体为：

在获得n种分辨率的图像后，使用左上角对各尺度的图像归一到同一分辨率，构建一个mini-batch，将这一批图像使用卷积网络输出特征图，将输出的特征图按照之前排好的尺度次序分解，对应每个尺度截取相应的分辨率的图，以恢复之前的分辨率，得到输出类热图。

Images