CN110276754A

CN110276754A - 一种表面缺陷检测方法、终端设备及存储介质

Info

Publication number: CN110276754A
Application number: CN201910540159.5A
Authority: CN
Inventors: 邵桂芳; 高凤强; 李铁军; 刘暾东; 徐珊波; 陈聿文
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2019-06-21
Filing date: 2019-06-21
Publication date: 2019-09-24
Anticipated expiration: 2039-06-21
Also published as: CN110276754B

Abstract

本发明涉及一种表面缺陷检测方法、终端设备及存储介质，在该方法中，包括：S1：采集检测对象的缺陷图像组成训练集，并对训练集内的缺陷图像进行标注；S2：构建缺陷检测模型，将训练集输入缺陷检测模型进行训练，得到训练后的缺陷检测模型；所述缺陷检测模型基于Faster R‑CNN网络构建，其特征提取网络为VGG‑16网络，并在VGG‑16网络中，将第3层的输出与第5层的输出进行叠加；S3：将待检测的缺陷图像输入训练后的缺陷检测模型，得到缺陷图像中的缺陷定位框和缺陷类型；S4：根据待检测的缺陷图像中的缺陷定位框对缺陷进行分割。本发明基于Faster R‑CNN网络和阈值分割方法，使检测过程中只需输入图像就可输出缺陷类型、位置和轮廓，即实现缺陷的端到端检测。

Description

一种表面缺陷检测方法、终端设备及存储介质

技术领域

本发明涉及图像检测技术领域，尤其涉及一种表面缺陷检测方法、终端设备及存储介质。

背景技术

钢材表面缺陷不仅种类较多，且分布没有固定规律，一张待检测的钢材表面图像中可能出现多种缺陷类型；另外图像采集时的光照不均问题会对机器检测过程造成干扰。因此，传统生产企业还停留在人工进行钢材表面检测的阶段。在热轧带钢的生产过程中，由于生产温度高达几百摄氏度，人工质量检测更只能在带卷尾部进行。而生产结束后再进行抽查的办法，不仅无法实现对缺陷起因的有效控制，而且使得钢材交付过程中的质量异议问题频繁出现，导致制造商遭受相应的经济损失。热压带钢交付中产生的质量异议问题有较多情况是与表面质量有关，因而如何有效且及时地检测钢材的表面缺陷，是各钢铁生产企业实现生产自动化过程中的难点。

传统的缺陷检测方法大致有两个步骤：图像分割与缺陷判别。图像分割的作用是框选出缺陷所在的大致范围，通过图像分割可以有效缩小缺陷判别所需要处理的图像，从而加快缺陷检测速度。缺陷判别过程首先根据灰度特征和形状特征等筛选候选区域，判定该候选区域是否确实存在缺陷，其次还需要根据各缺陷的特点手工设计缺陷特征，最后将该特征输入分类器中以确定缺陷所属的类别。上述传统方法简单快速，但也存在三个缺点：

1)处理过程复杂，缺陷判定过程需要手工设计特征，提高了监测系统开发的门槛；

2)手工设计的缺陷特征泛化能力较差，不适用于新的检测对象和缺陷种类；

3)局限于缺陷定位和分类，暂时无法实现对缺陷轮廓的分割，这使得制造过程无法达成有效的负反馈以调整生产参数。

发明内容

为了解决上述问题，本发明旨在提供一种表面缺陷检测方法、终端设备及存储介质。

具体方案如下：

一种表面缺陷检测方法，包括以下步骤：

S1：采集检测对象的缺陷图像组成训练集，并对训练集内的缺陷图像进行标注，所述标注包括缺陷类型及缺陷定位框；

S2：构建缺陷检测模型，将训练集输入缺陷检测模型进行训练，得到训练后的缺陷检测模型；

所述缺陷检测模型基于Faster R-CNN网络构建，其特征提取网络为VGG-16网络，并在VGG-16网络中，除每一层依次连接外，还包括将第3层的输出与第5层的输出进行叠加；

S3：将待检测的缺陷图像输入训练后的缺陷检测模型，得到缺陷图像中的缺陷定位框和缺陷类型；

S4：根据待检测的缺陷图像中的缺陷定位框对缺陷进行分割。

进一步的，步骤S1还包括对采集的缺陷图像进行预处理，消除光照的亮暗对图像的影响。

进一步的，所述预处理为对图像进行归一化处理和对图像进行纵向去均值化处理，并将归一化处理和去均值化处理后的图像与原图三者组合为三通道图像。

进一步的，步骤S2中的将第3层的输出与第5层的输出进行叠加的具体操作为：将第3层的输出经过卷积层和池化层进行结构统一后再与第5层的输出进行叠加。

进一步的，步骤S2中的缺陷检测模型还包括对网络中的锚点的参数进行修改，具体修改包括以下步骤：

(1)采集缺陷图像，并对缺陷图像的缺陷定位框进行标注；

(2)计算所有缺陷定位框的面积S和横纵比m；

(3)对上述所有缺陷定位框的面积S和横纵比m分别进行开平方根计算和求取自然对数计算，得到和ln(m)，再对和ln(m)的值分别进行聚类运算，并将和ln(m)的聚类结果均输出为五类；

(4)根据输出的聚类结果对锚点的参数进行设置。

进一步的，步骤S4中：通过最大类间方差法和Felzenswalb算法对缺陷图像中的缺陷进行分割。

进一步的，步骤S4具体包括：

S41：通过缺陷定位框对缺陷图像进行切割，得到包含缺陷的局部图像；

S42：利用最大类间方差法确定用于区分缺陷与背景的中间阈值，对局部图像进行图像二值化，从而得到包含缺陷的局部图像的分割结果；

S43：按照缺陷的位置将局部图像的分割结果拼接为原始的缺陷图像，其余不属于局部图像中的区域修改为局部图像中的非缺陷部分的颜色；

S44：通过Felzenswalb算法对步骤S43的结果图像进行调整优化。S41：通过缺陷定位框对缺陷图像进行切割，得到包含缺陷的局部图像；

S44：通过Felzenswalb算法对步骤S43的结果图像进行调整优化。

一种表面缺陷检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，并具有有益效果：

(1)将Faster R-CNN网络应用于缺陷检测领域，并对其进行改进，简化了缺陷的特征提取过程，无需手动设计缺陷特征，且能同时实现缺陷分类及缺陷定位。

(2)将缺陷分类、定位与分割三者融合，利用定位结果对缺陷进行分割，从而有效降低了非缺陷区域像素对分割过程的干扰。

附图说明

图1所示为本发明实施例一中两种方法对图像进行预处理后的效果图。

图2所示为该实施例中的预处理方法示意图。

图3所示为该实施例中的传统的Faster R-CNN网络结构示意图。

图4所示为该实施例中的改进的公共特征提取网络示意图。

图5所示为该实施例中的聚类结果图。

图6所示为该实施例中ln(m)的聚类结果图。

图7所示为该实施例中部分斑纹缺陷的分割不良结果图。

图8所示为该实施例中有无采用Felzenswalb算法进行微调的效果对比图。

图9所示为该实施例中缺陷分割的流程示意图。

图10所示为该实施例中各缺陷样例示意图。

图11所示为该实施例中改进网络定位效果对比示意图一。

图12所示为该实施例中改进网络定位效果对比示意图二。

图13所示为该实施例中改进前后网络的各类缺陷上的检测效果图。

图14所示为该实施例中方法与其他分割方法的对比示意图。

图15(a)所示为该实施例中方法与其他分割方法的PR曲线对比示意图。

图15(b)所示为该实施例中方法与其他分割方法的ROC曲线对比示意图。

图15(c)所示为该实施例中方法与其他分割方法的Fβ曲线对比示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明提供了一种表面缺陷检测方法，基于改进的Faster R-CNN网络实现，本实施例以刚才的表面缺陷检测为例进行说明，在其他的实施例中，本方法也可以应用于其他物品的表面缺陷检测中。

该实施例中所述方法包括以下步骤：

步骤1：采集钢材表面的缺陷图像组成训练集，并对训练集内的缺陷图像进行标注，所述标注包括缺陷类型及缺陷定位框。

进一步的，由于采集到缺陷图像不仅在全局上有明显的光暗差别，在左右的光照上也差异巨大。因此，该实施例中还包括对采集的缺陷图像进行预处理。具体的，在初始图像上主要采用了两种图像处理方法：

第一种为减少整体光照强度对图像质量的影响，对图像进行归一化处理。经过归一化后的图像灰度值落在[0，255]，图像的明暗变化得到了加强。其计算公式如下所示：

第二种是对图像进行纵向去均值化处理，从而消除左右光照不均匀带来的影响，但这种方法会在一定程度上造成纵向缺陷的弱化。其计算公式如下所示：

image2[i，j]＝image[i，j]-mean(image[i，:])+128

通过上述两种方法对图像进行预处理后的效果如图1所示，从图1中可以看出经过纵向去均值化处理后会使纵向的缺陷变得不明显。

该实施例中最终采用的预处理方法如图2所示，将灰度值组成的单通道的原始图像，经过预处理后变为了由归一化、纵向去均值化及原始图像三个通道图像组成的三通道图像(即经预处理后的缺陷图像)，在一定程度上增强了缺陷特征。

若实施例经过预处理步骤后，则步骤1的步骤替换为步骤1’：采集钢材表面的缺陷图像并进行预处理，得到经预处理后的缺陷图像，将这些经预处理后的缺陷图像组成训练集，并对训练集内的缺陷图像进行标注，所述标注包括缺陷类型及缺陷定位框。

步骤2：构建缺陷检测模型，将训练集输入缺陷检测模型进行训练，得到训练后的缺陷检测模型。

所述缺陷检测模型基于Faster R-CNN网络构建，并对其进行了改进。

1、首先对Faster R-CNN网络结构进行介绍，如图3所示，其实现钢材表面缺陷检测的过程包括以下步骤：

1)设定待检测图像(缺陷图像)的尺寸为P*Q，由于在Faster R-CNN网络中对图像的最小和最大尺寸做出了限定，因此，需要首先将待检测图像变形为符合输入要求的尺寸(如M*N)后再输入到网络中。

2)变形后的图像通过一个特征提取网络，输出特征图。

该特征提取网络可以为ZF网络或者VGG-16网络，特征提取网络中的权值参数在ImageNet数据库中进行预训练，以便从新的数据中发现特征。得到的特征图被作为公共特征分别进入RPN网络和全连接网络中。

需要说明的是，在Faster R-CNN网络的训练阶段，由于浅层卷积层的作用是提取局部特征，而不同的数据集在局部信息上的差异很小，对经由预训练网络初始化后的浅层网络进行微调的意义不大，因此，网络的前4个卷积层是不可训练的，即固定为预训练后的结果，仅最后的9个卷积层可以用于训练。

3)特征图进入RPN网络。

首先经由3*3卷积网络得到初始建议框；通过上方分支完成对缺陷的鉴别，用于判断该初始建议框内是否存在缺陷；通过下方的分支对判定有缺陷的初始建议框进行位置调整，最终输出区域建议。

4)根据不同大小的区域建议对图像进行分割，并将分割后的图像通过感兴趣区域池化(RoI Pooling)为统一大小。最后将图像先通过两个全连接层以降低特征维度，上一个分支回归得到更精确的预测框，下一个分支对缺陷的类别作出判定。

5)Faster R-CNN网络最终输出预测框(相当于缺陷定位框)和其所属的类别概率，且最终输出的预测框经过了非极大值抑制NMS处理，因此，在相近区域预测出的小概率类别已经被更大概率的类别替代，不会出现在近邻区域预测了多个目标框的情况。

相比于传统缺陷检测手段，利用Faster R-CNN网络进行缺陷检测的优点如下：

1)无需手工提取特征，使得检测系统对于新数据集的鲁棒性变强；

2)实现端到端的缺陷检测效果，简化了检测流程；

3)不仅获得了缺陷的类别信息，同时对缺陷所在位置和大小有所了解，有利于排除在制造过程中的不利要素。

2、由于直接将Faster R-CNN网络应用在钢材缺陷检测时容易出现误检、漏检等问题。这些问题可以主要归结为三类：

1)对缺陷细节部分的提取不够；

2)图像采集时光照不均对检测造成干扰；

3)对细长型缺陷的检测效果不佳。

针对这三类问题，该实施例中基于Faster R-CNN网络进行了下列改进(为了表述方便，该实施例中将改进的网络命名为IFCN)：

1)在Faster R-CNN网络中，需要选择一个可进行特征迁移的公共特征提取网络。该实施例中选用的公共特征提取网络为VGG-16网络，该网络相比ZF网络层数更多，也更有利于提取复杂的特征信息。但随着卷积层数的增加，特征图中对于整体图像的感受越来越抽象，对于细节的信息损失地也就越多。而VGG-16网络提取的特征只输出最后一层卷积层之后的结果，这使得在特征图中局部的信息被大规模的简化，得到的更多是与尺寸、方向无关的信息。由于在VGG-16网络中共经过四个池化层，这种池化过程使得特征图尺寸急剧减小，假设缺陷原尺寸为16*16，经过VGG-16网络后在特征图上该缺陷的尺寸仅有1*1，因此，微型缺陷在特征图中几乎已经消失，不利于对小缺陷的检测。针对这种问题，该实施例中将特征提取的网络定义为如图4所示的形式。

图4所示为该实施例中改进的公共特征提取网络，点划线框出的部分为原始的VGG-16特征提取网络。改进的公共特征提取网络中令部分浅层的卷积信息能直接传导到输出，从而使得部分细节信息得以在输出特征图中得以保留。

在Faster R-CNN网络中，所有层的参数先经由预训练的网络初始化，训练过程中layer1和layer2的参数被固定，仅layer3、layer4、layer5的参数得到微调，因此可以选择的快速通路只有从layer3后输出到layer5后。由于layer3的输出特征图与layer5的输出特征图的通道数和尺寸都不同，因此还需要经过卷积层和池化层统一结构进行叠加。这种处理办法使得更具象的局部特征能直接传递到输出，增强了特征图对局部细节的重视度。

2)在Faster R-CNN网络中初始设置了锚点(anchor)，该锚点先用于产生初始建议框，然后在后续预测框回归中被修正。

锚点的取值主要由尺度和横纵比两个参数决定，尺度决定了建议框的面积，横纵比则决定了建议框的形状。锚点与真实定位框越相近，预测框回归后得到的最终预测框就越准确，因此对于细长型缺陷的检测可以通过修改锚点的参数来优化。

该实施例中修改锚点参数的方法主要由以下四步组成：

a)采集缺陷图像，并对缺陷图像的缺陷定位框进行标注；

b)计算所有缺陷定位框的面积S和横纵比m；

c)对上述所有缺陷定位框的面积S和横纵比m分别进行开平方根计算和求取自然对数计算，得到和ln(m)，再对和ln(m)的值分别进行聚类运算，并将和ln(m)的聚类结果均输出为五类；

d)根据输出的聚类结果对锚点的参数进行设置。

需要说明的是，之所以要对ln(m)进行聚类而不是对m，是因为m的取值在以1为对称中心时不是均匀的，用具体的数据来表示的话，假如m由0.25、0.5、1、2、4这五个数构成，那么聚为三类后的结果与我们实际期望的聚类结果0.5、1、2不一致。

进行聚类后可以画出对应的聚类结果，如图5所示和图6所示。

从图6中可以看到，ln(m)的聚类结果为-1.9146，-0.9123，-0.1491，0.6603，1.8282，即最终锚点的横纵向比例聚类结果为0.14、0.4、0.86、1.9、6.2，与默认的横纵比0.5、1、2相比增加了0.14和6.2，这两个值使得锚点对于细长型缺陷的定位更贴合。

S3：将待检测的缺陷图像输入训练后的缺陷检测模型，得到缺陷图像中的缺陷定位框和缺陷类型。

S4：通过最大类间方差法和Felzenswalb算法对缺陷图像中的缺陷进行分割。

由于最大类间方差法也属于阈值分割法的一种，因此，对于图像中目标与背景的灰度值渐变的情况，分割后目标边缘容易出现孔洞和参差不齐的情况。在斑纹类型缺陷中这种问题出现频繁，而划伤型缺陷通常目标与背景差异灰度值呈现跳崖式变化，因此几乎不出现这种问题。部分斑纹缺陷的分割不良结果如图7所示。

针对上述缺陷边缘灰度值差异较小的图像的分割结果中出现了许多边缘孔洞的现象，为了使其分割边缘平滑化，可以选用形态学开闭运算等多种常用方法进行处理。由于形态学开闭运算后分割边缘会呈现锯齿状分布，为了使分割后的边缘更加理想，该实施例中采用Felzenswalb算法对分割的结果进行微调。Felzenswalb算法本身既能直接对图像分割，也可以对图像分割结果进行调整。它的主要思想是根据颜色相似度将图像像素重新分组，目的是从分割结果中移除小块非连通区域，从而将潜在的缺陷区域连成一整块区域。

对只采用最大类间方差法分割的结果与先采用最大类间方差法分割再进行Felzenswalb法微调整后的效果对比如图8所示。

通过图8可以明显看出使用Felzenswalb法后，分割边缘较只采用最大类间方差法更为平滑，远离缺陷的误差点也被消除。

如图9所示，该实施例中缺陷进行分割包括以下步骤：

S41：通过缺陷定位框对缺陷图像进行切割，得到包含缺陷的小块局部图像，从而降低分割所需处理的图像大小，提高分割速度。

S42：利用最大类间方差法(Otsu)确定用于区分缺陷与背景的中间阈值，对局部图像进行图像二值化，从而得到包含缺陷的局部图像的分割结果。

S43：按照缺陷的位置将局部图像的分割结果拼接为原始的缺陷图像，其余不属于局部图像中的区域修改为局部图像中的非缺陷部分的颜色。

S44：通过Felzenswalb算法对步骤S43的结果图像进行调整优化。

实验对比

对比实验采用的框架为python 3.5环境下的tensorflow-gpu框架结构，使用的操作系统为windows 10，采用MX150显卡加速，并且采用了CUDA加速。模型的网络中公共特征部分采用VGG-16网络进行特征提取，其余的网络参数如表1所示。

表1

该实施例中进行对比实验的数据来自东北大学的NEU-DET钢材缺陷检测数据库。缺陷图像均为200*200像素的灰度图像。需要进行判别的缺陷类型包括：裂纹、夹杂、斑点、麻点、氧化铁皮及划伤。各缺陷特征描述如表2所示。各类型缺陷样例如图10所示。

表2

(1)缺陷分类效果对比：

利用该实施例中的改进网络对NEU-DET钢材表面缺陷图像进行分类，并将改进前、改进后的分类结果与常见的分类结果相对比，三者对比结果如表3所示。

表3

从表3中可以看到，未经过优化的Faster R-CNN算法对于钢材缺陷的分类准确度为98％，而该实施例中的改进网络的分类准确度可以达到98.89％，尽管该值稍稍低于AECLBP+SVM的98.93％，但基本与其效果相近。

SVM表示支持向量机(Support Vector Machine)

利用原始的Faster R-CNN网络进行缺陷分类的混淆矩阵如表4所示，利用实施例中的改进网络进行缺陷分类的混淆矩阵如表5所示。

表4

表5

对比表4与表5可以看出，实施例中的改进网络对裂纹的预测更为准确，Faster R-CNN网络对于裂纹类缺陷的预测中有6张图像被错误预测为夹杂类缺陷，而在改进网络的预测中这个数据大大下降，仅有两张图像被错误预测为夹杂。由此可以看出，对于特征提取网络所作的修改有助于增强对图像细节部分的关注，使得各类缺陷间的特征差异变得明显，降低其被误判为其他缺陷的概率。

(2)缺陷定位效果对比

从视觉效果来看，改进网络对于各类图像的缺陷定位效果如图11和12所示，图中的右侧栏图像中的框线代表实际缺陷定位框，中间栏图像中的框线代表Faster R-CNN预测缺陷框，右侧栏图像中的框线代表该实施例中的改进网络的预测框线。从图中可以看到，相较于Faster R-CNN，该实施例中的改进网络进行缺陷检测不仅能有效避免非主体缺陷对主体缺陷的干扰(如裂纹-1、裂纹-2、裂纹-3等)，而且可以降低对疑似缺陷区域误判的概率(如夹杂-2、夹杂-3、夹杂-4等)，从而有效提升对缺陷的检测效果。

另外，从缺陷检测的平均查准率来看，改进前、改进后在各类缺陷上的检测效果均有不同程度的提升，改进前后的对比如图13所示。从图13中可以看出，改进后的网络对于裂纹、划伤缺陷检测的平均查准率提高了三个百分点，对于夹杂、斑点和麻点也有2％左右的性能提升，但对于氧化铁皮的检测几乎没有优化作用。再结合图11和图12中各类缺陷检测的效果对比图可以看出：

1)对锚点的尺度和横纵比预设使得定位中对细长缺陷的检测更为精确，这能有效提高对划伤的检测精确度；

2)对特征提取网络的修改令实施例中的改进网络对缺陷的局部特征有更好的掌握，从而增强了对小型缺陷的识别效果，使得裂纹、夹杂、麻点等缺陷的查准率有了不同程度的提升；

3)对图像的预处理使得背景与缺陷的区别加强，并且弱化了光照不均对检测过程的影响，这使得斑点类缺陷与背景差异增强，对其的漏检率有所降低。

(3)缺陷分割效果对比：

1)视觉效果对比

该实施例中所采用的分割方法与其他方法分割效果对比如图14所示，其中图14的上方的图中为斑点类缺陷，图14的下方的图中为划伤类缺陷。从图14中可以看到，相较于图像标签(Image Signature，IS)、归一化低阶矩阵恢复(UnifiedLow rank matrixRecovery，ULR)、鲁棒背景检测方法(Robust BackgroundDetection，RBD)、基于背景的分布空间(Spaces of Background-based Distribution，SBD)、密集稀疏重建(Dense andSparse Reconstruction，DSR)、排序显著性(Ranking Saliency，RS)、结构矩阵分解(Structured Matrix Decomposition，SMF)、双低阶稀疏分解(Double Low Rank andSparse Decompositio，DLRSD)这些基于全图显著性映射的方法来说，该实施例中采用的方法不依赖于目标与背景的显著性差异，它通过先定位的方法摒除非缺陷区域的干扰，再通过简单的阈值分割方法即可取得较好结果。对比该实施例中的分割效果和DLRSD方法的分割效果可以看出，在细节部分，该实施例的方法更接近目标分割效果(如图14上方的图中的第一行、第二行等)，对于细长型的缺陷检测也更为细致(如图14下方的图中的第三行、第五行)。

2)定量评价指标对比

图像进行缺陷分割后的结果为二值图像，则缺陷图像像素可以按表6标准分为四类：

表6

用这四类像素可以计算缺陷分割的评价指标如下：

查准率：

查全率：

Fβ测度(β²＝0.3)：

真正率：

假正率：

AUC：ROC曲线下面积

根据这几项指标可以画出当缺陷分割阈值从0-255变化时的PR曲线、ROC曲线和Fβ曲线，如图15(a)、15(b)和15(c)所示。PR曲线与ROC曲线两相对立，一般曲线与坐标轴围成的面积越大，代表实验效果越佳。从图15(a)与图15(b)均可看出，该实施例中的方法相较于DLRSD方法有更大的围成面积，即分割效果更佳。在图15(a)中可以看到当查全率大于0.7时，该实施例中的方法的查准率远远超出了DLRSD方法。这是因为当查全率上升时越多的像素点被判定为缺陷，该实施例中的方法由于事先标定了缺陷所在范围，因此被误判的像素点有限，而DLRSD等方法对全图进行无差别分割，因此查准率以很快的速度下降。

从图15(c)中的Fβ测度曲线可以看出，在阈值范围大于100的区间上，该实施例中所采用的方法的Fβ测度值明显比DLRSD方法更高，且随着阈值变化Fβ测度始终保持在较高水平，这意味着该实施例中的方法对于阈值的选取更加不敏感，具有较好的鲁棒性。其中的主要原因是该实施例中所选用的方法采用了先定位再分割的思想，随着阈值的增加，尽管有更多区域被误认为是缺陷区域，但由于事先框定了缺陷的最大范围(即定位框的区域)，这种误判被限定在一个最大值以下，因此查准率降低的程度有限，最终表现为Fβ测度在阈值较大的区间也能维持在较高水平。

表7是不同方法的缺陷分割相关定量指标对比结果：

表7

表7中改进前代表先采用Faster R-CNN进行缺陷定位，再采用最大类间方差法分割的结果；改进后代表采用该实施例中的改进网络进行缺陷定位，后采用最大类间方差法分割，最后使用felzenswalb算法调整分割的结果。由表7可以看到，相较于IS等在全图上进行语义分割的方法，采用先定位再进行阈值分割的方法不仅在原理上更为简洁易懂，且能够使得查准率precision大大提高，这是因为缺陷定位能有效排除光照等条件干扰，使得分割后的缺陷像素被限制在缺陷区域。对比改进前和改进后的各指标数值，可以看出采用felzenswalb法对分割结果进行调整的办法在一方面使得远离缺陷的误差部分变少，在另一方面使得分割边缘变得为平滑，更为逼近人工标注的分割边缘，最终使得查准率提高了九个百分点。但同时由于这种平滑效果是无差别地施加在缺陷图像上，缺陷边缘的部分位置被误判为背景，这使得查全率稍有降低。最终得到的改进后的Fβ相较于目前最好的DLRSD方法提高了4％。

(4)耗时对比：

该实施例中针对缺陷分割的耗时进行对比，得到分割结果耗时与其他方法对比如表8(单位为秒)所示。

表8

从表8可以看出该实施例中的方法的耗时仅仅是目前最好方法DLRSD方法的一半，主要原因是该实施例中的方法在缺陷分割处理上较为简便，不同于DLRSD方法需要对全局进行阈值分割，该实施例中的仅对缺陷可能区域进行阈值分割，这可以有效节省寻找最佳阈值所需遍历的时间。此外，IS、ULR、SMF等方法耗费了大量的时间用于生成较清晰显著性映射图，而该实施例中的方法由于经过了预先定位，可以直接对原图进行阈值分割，无需耗费时间另外生成映射图，因此简化了分割流程。

本发明实施例一基于Faster R-CNN网络和阈值分割方法，使检测过程中只需输入图像就可输出缺陷类型、位置和轮廓，即实现缺陷的端到端检测。同时，借助特征网络的权值迁移功能和良好的表达能力，能在一定程度上增强缺陷检测的泛化能力。该实施例可实现对缺陷轮廓的分割，在生产上可以做到根据缺陷形状鉴别缺陷产生的原因，从而对生产设备进行更深等级的优化改进，可以更好地满足实际生产的需求。其主要创新点有以下三点：

(1)将目标检测的Faster R-CNN方法应用于缺陷检测领域，并对其进行改进，简化了缺陷的特征提取过程，无需手动设计缺陷特征，且能同时实现缺陷分类及缺陷定位；

(2)将缺陷分类、定位与分割三者融合，利用定位结果对缺陷进行分割，从而有效降低了非缺陷区域像素对分割过程的干扰；

(3)对阈值分割结果进行自适应微调优化，使得分割后的缺陷轮廓较为平滑，提高分割准确率。

实施例二：

本发明还提供一种表面缺陷检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述表面缺陷检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述表面缺陷检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述表面缺陷检测终端设备的组成结构仅仅是表面缺陷检测终端设备的示例，并不构成对表面缺陷检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述表面缺陷检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述表面缺陷检测终端设备的控制中心，利用各种接口和线路连接整个表面缺陷检测终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述表面缺陷检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述表面缺陷检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种表面缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的表面缺陷检测方法，其特征在于：步骤S1还包括对采集的缺陷图像进行预处理，消除光照的亮暗对图像的影响。

3.根据权利要求2所述的表面缺陷检测方法，其特征在于：所述预处理为对图像进行归一化处理和对图像进行纵向去均值化处理，并将归一化处理和去均值化处理后的图像与原图三者组合为三通道图像。

4.根据权利要求1所述的表面缺陷检测方法，其特征在于：步骤S2中的将第3层的输出与第5层的输出进行叠加的具体操作为：将第3层的输出经过卷积层和池化层进行结构统一后再与第5层的输出进行叠加。

5.根据权利要求1所述的表面缺陷检测方法，其特征在于：步骤S2中的缺陷检测模型还包括对网络中的锚点的参数进行修改，具体修改包括以下步骤：

(1)采集缺陷图像，并对缺陷图像的缺陷定位框进行标注；

(2)计算所有缺陷定位框的面积S和横纵比m；

(4)根据输出的聚类结果对锚点的参数进行设置。

6.根据权利要求1所述的表面缺陷检测方法，其特征在于：步骤S4中：通过最大类间方差法和Felzenswalb算法对缺陷图像中的缺陷进行分割。

7.根据权利要求6所述的表面缺陷检测方法，其特征在于：步骤S4具体包括：

S44：通过Felzenswalb算法对步骤S43的结果图像进行调整优化。

8.一种表面缺陷检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任一所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一所述方法的步骤。