CN115841447A - 一种磁瓦表面缺陷的检测方法 - Google Patents

Abstract

本发明公开了一种磁瓦表面缺陷检测方法，包括：1、通获取待检测磁瓦表面的图像；2、对图像预处理并提取出ROI区域；3、利用显著性线索融合检测算法对磁瓦预检测得到初步的缺陷区域；4、对U‑Net的特征通道数以及压缩路径的下采样进行减半修剪形成CU‑Net，在CU‑Net的跳跃连接中加入注意力机制，在CU‑Net的收缩路径和膨胀路径间的桥接部分增加一个分支网络，使压缩路径中提取到的底层语义特征在缺陷分类任务中被重复使用，利用CU‑Net网络分割图像的缺陷区域和识别缺陷种类；5、利用最小外接矩形对磁瓦图像的缺陷区域进行框标记，并使用类别标签展示缺陷的种类，然后以矩形框的形式输出展示检测结果，实现了磁瓦表面缺陷的非接触式实时检测与分类。

Description

一种磁瓦表面缺陷的检测方法

技术领域

本发明涉及缺陷检测，具体是一种磁瓦表面缺陷的检测方法。

背景技术

在磁瓦工业生产环境中，由于一些外界因素如原料、设备、工艺等的影响，其外表面会出现各种复杂类型的缺陷，包括孔洞、裂纹、磨损等，这些缺陷的出现导致了磁瓦的磁通量减少、剩余磁感应强度降低以及抗老化能力变弱等问题。因此，在出厂前对磁瓦进行检测，挑选出生产中存在缺陷的磁瓦是十分重要的。

近年来，无损检测技术逐步发展起来，该技术利用声、电、光、磁等介质检测产品是否存在缺陷，既保证了产品不受伤害，又提高了检测效率。目前国内外使用最多的几种磁瓦检测方法包括：U-Net网络缺陷检测、Segnet和Shearlet。虽然这些检测方法的检测精度和速度相比较人工检测有较大的提升，但是均具有局限性，导致没有被大范围应用在工业生产中。U-Net网络缺陷检测运行时间慢，由于网络必须在每个patch上分别运行，重叠的patch会导致大量的冗余，并且在定位准确和上下文信息的使用间存在权衡。Segnet存在得到的结果不够精细，上采样的结果比较模糊和平滑，对图像中的细节不敏感，并且对各个像素进行分类，没有充分考虑像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤，缺乏空间一致性。Shearlet变换计算量大，单张图像运行时间长，且对部分缺陷检测效果差，因此并不适合实时检测。

因此，目前磁瓦的缺陷检测大多依靠人工实现，虽然可以获取质量较高的磁瓦，但人工检测效率低下，且人力物力成本较高。

发明内容

本发明的目的在于提供一种磁瓦表面缺陷的检测方法，能够对磁瓦表面缺陷进行非接触式的实时检测并对其分类。

为了实现上述目的，本发明采用以下技术方案予以实现：

一种磁瓦表面缺陷检测方法，包括以下步骤：

步骤1、通过工业相机获取待检测磁瓦表面的图像；

步骤2、对磁瓦表面的图像进行预处理并提取出ROI区域；

步骤3、利用显著性线索融合检测算法对磁瓦预检测，得到初步的缺陷区域；其中，显著性线索融合检测算法被定义为：

MCue＝S_BMS×(Dω_D+1.0)×(S_AC+S_ST+S_PHOTω_PHOT)/m

式中，S_BMS，S_AC，S_PHOT，S_ST，D分别为BMS模型，AC算法，PHOT算法，结构张量ST以及自适应二值分割的显著图；ω_D，ω_PHOT均为显著图的权重系数；m为归一化常数；

步骤4、先对U-Net的特征通道数以及压缩路径的下采样进行减半修剪形成CU-Net，在CU-Net的跳跃连接中加入注意力机制使模型主动关注有用的特征并抑制无关响应，然后在CU-Net的收缩路径和膨胀路径间的桥接部分增加一个分支网络，使压缩路径中提取到的底层语义特征在缺陷分类任务中被重复使用，最后利用CU-Net网络分割图像的缺陷区域和识别缺陷种类；

步骤5、先利用最小外接矩形对磁瓦图像的缺陷区域进行框标记，并使用类别标签展示缺陷的种类，然后以矩形框的形式输出展示检测结果。

进一步地，所述步骤2包括：

2.1)将RGB图像予以灰度处理将其转换为单个通道的灰度图像；

2.2)先利用自适应局部降噪滤波器对被污染的磁瓦图像f(x,y)降噪处理，得到滤波图像

再对降噪后的图像/>

使用对数函数变换，将其表示为照明分量i(x,y)和反射分量r(x,y)相加的形式，接着使用快速傅里叶变换将图像转换到频域，再接着采用滤波器H(u,v)对图像滤波，然后采用反傅里叶变换恢复图像至空间域，最后采用指数函数重建图像g(x,y)；

2.3)先对图像进行二值化分割，再利用Canny算子获取前景与背景之间的边缘，最后提取出图像的ROI区域；

2.4)利用伽马校正增强缺陷的对比度从而提高灰度值的量化级别。

进一步地，所述步骤2.1)采用YUV色彩空间中Y分量的表示方法，利用加权平均法根据彩色图像和灰度图像的对应关系进行计算出图像的灰度值H，表示为：

H(x,y)＝0.299R(x,y)+0.587G(x,y)+0.144B(x,y)。

进一步地，所述步骤2.3)采用直方图双峰法对图像进行二值化分割。

进一步地，所述步骤3包括：

3.1)先利用自适应阈值分割法计算暗度线索，原理被描述为：

式中，I_R为初始图像I经过R×R窗口的均值滤波器后得到的模糊图像，t为常数阈值；

3.2)利用结构张量检测边缘和拐角，图像的结构张量被描述为：

式中，SalA为原图像的拐角响应图，SalB为原图像的边缘响应图，N()为响应图的归一化操作；

3.3)基于AC算法计算颜色稀缺性线索，先选取三种不同大小的邻域进行高斯滤波，并将其转换到对应的LAB色彩空间，第一LAB空间的像素点均值Lm1、Am1、Bm1，第二LAB空间的像素点均值Lm2、Am2、Bm2，第三LAB空间的像素点均值Lm3、Am3、Bm3，再分别将LAB的模糊图合并，用公式表示为：

Sm1＝(l-Lm1)²+(a-Am1)²+(b-Bm1)²

Sm2＝(l-Lm2)²+(a-Am2)²+(b-Bm2)²

Sm3＝(l-Lm3)²+(a-Am3)²+(b-Bm3)²

式中，l代表亮度，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量；

最终颜色稀缺性线索的最终显著图为：S_AC＝Sm1+Sm2+Sm3；

3.4)先利用PHOT算法从图像中以任意规模移除有规律的纹理并只保留无序的缺陷部分，再利用BMS模型通过模拟人的视觉注意力原理检测显著性目标；

3.5)得到显著性线索融合检测算法。

进一步地，所述步骤3.2)中图像的结构张量定义为海森矩阵，锚点像素(x,y)的结构张量被描述为：

式中：I代表梯度，x和y分别代表x和y方向的梯度；

用λ₁和λ₂表示M的特征值，λ₁和λ₂由下式计算得到：

用A和B分别代表锚点像素的拐角响应和边缘响应，被定义为：

进一步地，所述步骤4包括：

4.1)先将U-Net的特征通道数由64，128，256，512，1024减少到CU-Net的32，64，128，256，采样数目的减少使CU-Net生成的最小的特征图尺寸为U-Net生成的最小的特征图尺寸的四倍；

4.2)在CU-Net的编码器和解码器的桥接部分通过跳跃连接的方式加入注意力机制从而使低级特征图的语义信息传递到高级的特征图中并防止小缺陷在分割过程中丢失，模块主要分为压缩，激活和融合三个操作阶段：

先通过全局均值池化将输入的特征图的各个通道进行压缩，得到各个特征维度的全局信息，压缩操作的计算公式为：

式中，x_c为输入特征图的第c维特征，H为特征图高，W为特征图的宽，(i,j)为特征图空间维度的坐标；S为压缩函数；y_c为压缩后的特征图；

然后通过激活操作使两层全连接拟合通道之间复杂的相关性，为每个通道的特征图生成权重，表示如下：

E(x)＝σ(W_s(δ(W_r(x))))

/>

式中，x为压缩后的特征图，W_r,，W_s分别为压缩和重构的全连接函数，δ为ReLU激活函数，σ为Sigmoid激活函数，E为权重函数；

最后将压缩后的特征图y_c与权重函数E对应元素相乘，突出目标图像通道并抑制无关的特征通道响应；

4.3)先将磁瓦的缺陷检测建模为二分类，使得图像中像素点仅包括缺陷或背景，交叉熵损失函数被作为二分类的损失函数，它被定义为：

式中，y_i为像素i的实际类别，y_i＝1表示像素i属于缺陷区域，y_i＝0表示像素i属于磁瓦背景，p_i为像素经过模型输出的预测值，其在0～1之间取值，p_i越大，则像素i越倾向于缺陷，N为图像的像素点总数；

然后通过迭代不断调整网络权重使损失值最小化，并将DiceLoss函数作为损失函数的补充，DiceLoss被定义为：

当磁瓦图像中背景区域过多时，在交叉熵损失函数的作用下，模型会更加倾向于学习背景区域，通过提高背景区域像素的预测概率来降低损失值，DiceLoss损失则主要关注缺陷区域像素是否被正确分类；

4.4)采用Softmax交叉熵损失函数进行分类网络训练，网络经过卷积和全连接最终输出包含六个数值的一维向量，分别代表孔洞、裂纹、磨损、崩烂、起层和无缺陷六个类别。

进一步地，所述步骤4.4)通过一次卷积进一步提取缺陷信息，且卷积采用残差块进行特征编码。

进一步地，所述步骤5包括：

5.1)构建图像数据集，同一目标不同角度的图像和经过平移几个像素的图像均被当作一个新的样本；

5.2)先通过过旋转、剪裁、随机遮挡以及噪声扰动的方法对数据集样本进行扩增，再将增强后的数据样本被按照比例8：1：1划分为训练集、验证集和测试集；

5.3)训练集与验证集的磁瓦图像经过显著性检测后，将其与原图合并为双通道馈入CU-Net网络中并在训练集上训练，待模型充分收敛之后，用得到的模型对测试集图像进行预测，并可视化各阶段的处理结果。

进一步地，所述步骤5.3)采用Adam优化器更新CU-Net的网络权值从而自适应地调整学习率。

本发明具有如下有益效果：

本发明将获取的待检测磁瓦表面的图像进行预处理，使CU-Net网络检测到细致且完整的磁瓦轮廓，并对磁瓦图像前背景ROI提取并增强缺陷区域的对比度，利用显著性线索融合检测算法对磁瓦预检测，将检测后的图像与原灰度图像合并为双通道作为神经网络的初始输入实现显著性检测，先利用改进的CU-Net网络分割图像的缺陷区域和识别缺陷种类，再利用最小外接矩形对磁瓦图像的缺陷区域进行框标记，并使用类别标签展示缺陷的种类，然后以矩形框的形式输出展示检测结果，实现了磁瓦表面缺陷的非接触式实时检测与分类，对企业部署全自动化磁瓦缺陷检测流水线具有积极的意义。而且，本发明的检测方法与U-Net、Segnet及非下采样Shearlet变换的图像分割方法相比，无论PA分数还是MIoU分数均高于其它三种分割方法，而且对缺陷的种类的评估效果显示，本发明检测方法对应的平均准确率和召回率分别达到98.3％和92.7％。

效果先将RGB图像予以灰度处理，将其三通道转换为单个通道的灰度图像，再基于自适应局部降噪的同态滤波对图片降噪，较好地保留了图像的边缘，使用Canny算子进行边缘检测得到了细致且完整的磁瓦轮廓从而实现了前景与背景的划分，只保留了磁瓦图像前背景，通过伽马校正以增强缺陷区域的对比度，以实现对细节区域灰度等级的增强放大，再通过改进的CU-Net可以得到更好的图像分割网络，实现了像素到像素的映射，另外，通过收缩路径和膨胀路径的跳跃连接，上下文信息被传递到了更高的特征图中，CU-Net的跳跃连接中加入注意力机制使模型主动去关注有用的特征并抑制无关响应，以减少冗余信息的数量，该模块只包含少量的参数，在训练中也只耗费少量内存，却能明显提高模型分割能力；在在CU-Net的收缩路径和膨胀路径间的桥接部分增加一个分支网络，使压缩路径中提取到的底层语义特征在缺陷分类任务中被重复使用，不用单独设计对缺陷分类所需的网络，不会造成额外的负担。

附图说明

图1：本发明的磁瓦图像的预处理流程图；

图2：本发明的磁瓦正面原图及其经过Canny算子边缘检测图；

图3：本发明的磁瓦反面原图及其经过Canny算子边缘检测图；

图4：本发明的磁瓦ROI分割结果图；

图5：本发明的伽马校正不同参数磁瓦缺陷差异图；

图6：本发明的CU-Net网络结构示意图；

图7：本发明的训练过程的损失曲线；

图8：本发明训练过程的准确率与召回率；

图9：本发明训练过程模型输出展示图；

图10：本发明采用不同算法检测效果对比图，其中：(a)为缺陷原图，(b)为注释图像；(c)为U-Net分割；(d)Segnet分割；(e)非下采样Shearlet变换分割；(f)本发明的算法分割；

图11：本发明的各种缺陷类别检测结果；

图12：本发明的磁瓦图像各阶段处理效果图；

图13：本发明提出的改进自适应局部降噪的同态滤波流程图。

具体实施方式

下面结合实施例对本发明的具体内容做进一步详细解释说明，但不作为对本发明的限定。

如图1-图12所示，一种磁瓦表面缺陷检测方法，包括以下步骤：

步骤1、通过工业相机获取待检测磁瓦表面的图像；

步骤2、对磁瓦表面的图像进行预处理并提取出ROI区域，具体包括：

2.1)灰度化

首先RGB图像予以灰度处理，将其三通道转换为单个通道的灰度图像，本发明采用加权平均值法，其特征信息的丢失量较少，可以取得较好的灰度效果。采用YUV色彩空间中Y分量(亮度)的表示方法，根据彩色图像和灰度图像的对应关系进行计算出图像的灰度值H，表示为：

H(x,y)＝0.299R(x,y)+0.587G(x,y)+0.144B(x,y)；

2.2)磁瓦图像去噪

本发明利用自适应局部降噪和同态滤波相结合的方法处理磁瓦图像，较好地保留了图像的边缘，自适应局部降噪使用均值(图像像素邻域内的平均灰度值)、方差(图像像素邻域内的对比度)两个随机变量作为基础，当对邻域S_xy进行滤波时，中心像素点邻域内任意一点的(x,y)的响应取决于四个值：

(1)噪声图像在中心像素点(x,y)处的灰度值g(x,y)；

(2)图像f(x,y)被噪声污染后形成g(x,y)的方差

(3)邻域S_xy局部均值m_L；

(4)邻域S_xy局部方差

自适应局部降噪滤波器存在以下特性：

(1)若

为0，也就是零噪声，滤波器会直接返回g(x,y)的值，即g(x,y)＝f(x,y)；

(2)若局部方差与

相关度极高时，滤波器返回g(x,y)的一个相近值，此时该区域为图像的边缘；

(3)若两方差相等时，滤波器返回邻域S_xy像素的平均值，这种情况出现在局部区域与整图特性极其相似的情况下。

基于上述特性，自适应局部均值滤波器可以表达为：

根据同态滤波相关理论，将图像f(x,y)表示成照明分量i(x,y)和反射分量r(x,y)的乘积，公式为：

f(x,y)＝i(x,y)r(x,y)

为了将照明和反射分量转换到傅里叶空间，需要采用对数变换将乘法运算非线性地映射成加法运算，之后再进行快速傅里叶变换，对数变换如下：

z(x,y)＝Inf(x,y)＝Ini(x,y)+Inr(x,y)

再对经过对数变换后的的公式进行傅里叶频域变换：

Z(u,v)＝F_i(u,v)+F_r(u,v)

式中：

F_i(u,v)和F_r(u,v)——Ini(x,y)和Inr(x,y)的傅里叶变换。

用H(u,v)滤波器对Z(u,v)滤波处理，表达式如下：

S(u,v)＝H(u,v)Z(u,v)＝H(u,v)F_i(u,v)+H(u,v)F_r(u,v)

当滤波处理完成后，通过傅里叶反变换回到图像的空间域，同时采用指数变换(对数变换的反变换)恢复照明i(x,y)和反射r(x,y)的乘积形式，作为图像的最终输出结果：

g(x,y)＝e^i'(x,y)e^r'(x,y)＝i₀(x,y)r₀(x,y)

式中：i₀(x,y)为处理后图像的照明分量，r₀(x,y)为处理后图像的反射分量；

在频域中，常使用不同的滤波函数H(u,v)以控制高频和低频分量，H(u,v)的构成与高斯滤波器相似，其形式为：

式中：D(u,v)为频谱图上的点与矩形中心间的距离，D₀为截止频率，γ_H为高频增益，γ_L为低频增益，c为常数；在γ_H和γ_L中间取值用来控制函数边缘的锐利度。

本发明提出的改进自适应局部降噪的同态滤波具体过程如图13所示，先使用自适应局部降噪滤波对被污染的图像f(x,y)降噪处理，得到滤波图像

再对降噪后的图像/>

使用对数函数变换，将其表示为照明分量i(x,y)和反射分量r(x,y)相加的形式，接着使用快速傅里叶变换将图像转换到频域，再接着采用滤波器H(u,v)对图像滤波，然后采用反傅里叶变换恢复图像至空间域，最后采用指数函数重建图像g(x,y)。

2.3)ROI提取

本发明先对图像进行二值化，再利用边缘检测算法获取前景与背景之间的边缘，最后提取出图像的感兴区域，即ROI区域。

2.3.1)二值化

阈值是图像二值化过程中最重要的参数，根据不同图像的特征以及执行任务的差异，需要选取适合的阈值分割方法。磁瓦检测台的前景与背景对比度分明，因此采用直方图双峰法，当待处理图像的灰度等级呈现两边高中间低的特点时，利用双峰法往往能取得较好的二值效果。在图像采集过程中，可将检测台背景布置成与磁瓦高对比度的白色，从而简化了磁瓦二值化的复杂度。直方图可以帮助分析图像中灰度值的分布情况，如果被测对象与背景的灰度值对比明显，此时直方图中就会出现两个峰值，便可以将最低的峰谷作为阈值以分割图像。

2.3.2)边缘检测

本发明对磁瓦二值化图像的边缘进行检测从而确定前景与背景的分割线，边缘是图像最基本的特征，选择Canny算子获取磁瓦的边缘得到了细致且完整的磁瓦轮廓，其检测图像的四个步骤如下：

a)滤波去噪：由于在边缘检测之前已经使用改进自适应局部降噪的同态滤波器对图像去噪，因此本步骤忽略；

b)计算图像的梯度：在此步骤中使用Sobel算子作为梯度计算方式。Sobel算子的卷积模板如下所示：

c)非极大抑制：从上一步得到的梯度图像存在边缘粗宽、弱边缘干扰等众多问题，因此使用非极大值抑制来寻找像素点局部最大值，将非极大值所对应的灰度值置0，这样可以剔除一大部分非边缘的像素点；

d)通过双阈值进行边缘连接：经过上面三步后已经得到了较高质量的图像边缘，但还是存在很多伪边缘，因此在Canny边缘检测中采用双阈值法处理，具体为：选取两个阈值，将低于小阈值的点认为是假边缘置0，将高于大阈值的点认为是强边缘置1，介于中间的像素点进行进一步的检查。

2.4)磁瓦图像增强

本发明利用伽马校正增强缺陷的对比度，以提高灰度值的量化级别。伽马校正采用非线性的幂指数运算以实现对细节区域灰度等级的增强放大，其计算公式为：

f(I)＝I^γ

式中，I为原始图像的灰度，γ为伽马校正的参数值；

其中：当γ<1时，对整张图像的灰度值进行了整体放大，因此校正后图像看起来比原图像更亮，但缺陷区域的灰度变化比磁瓦背景的变化小，两者的对比度得到了增强；当γ>1时，对灰度值进行了压缩，图像整体灰度水平看起来更低。

通过对比图5中同一磁瓦不同参数的增强效果，可以发现：当参数较大时，图像像素全部集中在低灰度值区域，缺陷处的细节信息难以观察；当参数过小时，磁瓦整体亮度太高，细小缺陷易被错误检测；当伽马校正参数取γ＝0.5时，缺陷与背景对比明显，缺陷边缘清晰完整，因此本发明选择了γ＝0.5作为最优参数。

步骤3、利用显著性线索融合检测算法对磁瓦预检测，得到初步的缺陷区域

首先本发明基于缺陷区域的显著性线索提出一种融合多种检测算法对磁瓦图像进行预检测，将检测后的图像与原灰度图像合并为双通道作为神经网络的初始输入，通过对有缺陷磁瓦的观察，发现在磁瓦灰度图像中大多数种类的缺陷呈现孔洞和裂纹的特征，并进一步对图像进入深层次的分析，得出了五条基于人类视觉注意力机制的显著性线索：

(1)缺陷区域的光线反射强度比无缺陷区域弱；

(2)缺陷区域往往具有更明显的边缘和拐角响应；

(3)缺陷目标的灰度值更加显眼；

(4)磁瓦的背景纹理呈现有规律的重复；

(5)人眼更容易注意到缺陷目标；

接下来对五条显著性线索以及相对应的检测算法展开详细介绍：

3.1)暗度线索

当缺陷存在时，磁瓦表面的几何形状将会发生微量的变化，这就导致了局部区域的漫反射变得更加杂乱，因此缺陷目标看起来比背景更暗，为了减少光照不均的影响，自适应阈值分割被用来计算该线索。原理被描述为：

式中：I_R为初始图像I经过R×R窗口的均值滤波器后得到的模糊图像，t为常数阈值；当一个像素的灰度值小于它邻域的均值减去t时，则认为它比其他的像素值更暗。

3.2)暗度线索

由于缺陷目标和背景之间的漫反射存在差异，所以在缺陷区域的周围存在锐利的边缘和拐角，本发明用结构张量检测边缘和拐角，图像的结构张量定义为其海森矩阵，因此，锚点像素(x,y)的结构张量被描述为：

式中：I代表梯度，x和y分别代表x和y方向的梯度；

用λ₁和λ₂表示M的特征值，可以由下式计算得到：

当且仅当λ₁和λ₂都很大时，该区域是拐角，如果一个特征值很大，同时另一个特征值很小时，边缘响应就会发生，用A和B分别代表锚点像素的拐角响应和边缘响应，被定义为：

因此，图像的结构张量被描述为：

式中：SalA为原图像的拐角响应图，SalB为原图像的边缘响应图，N()为响应图的归一化操作。

3.3)颜色稀缺性线索

根据观察到的第三条线索，缺陷部位的灰度与背景相区别，由于颜色的稀缺性，缺陷很容易被注意到，因此，采用AC算法来计算此线索。

该方法选取三种不同大小的邻域进行高斯滤波，并将其转换到LAB色彩空间，分别求取第一个邻域LAB空间的均值Lm1、Am1、Bm1，第二个邻域均值Lm2、Am2、Bm2和第三个邻域均值Lm3、Am3、Bm3，再分别将LAB的模糊图合并，用公式表示为：

Sm1＝(l-Lm1)²+(a-Am1)²+(b-Bm1)²

Sm2＝(l-Lm2)²+(a-Am2)²+(b-Bm2)²

Sm3＝(l-Lm3)²+(a-Am3)²+(b-Bm3)²

式中，l代表亮度，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量；基于该线索最终的显著图为：

S_AC＝Sm1+Sm2+Sm3

3.4)线索融合

在第四条线索中，通过观察注意到磁瓦的背景有少量的纹理且存在规律性，它们遵循固定的模式，并且对缺陷预测造成了很大的影响，PHOT算法能够从图像中以任意规模移除有规律的纹理，并且只保留无序的缺陷部分，BMS模型通过模拟人的视觉注意力原理检测显著性目标。

基于以上5条线索，本发明提出了一种显著性融合检测方法，称之为MCue(Mutiple-Cue)，它被定义为：

MCue＝S_BMS×(Dω_D+1.0)×(S_AC+S_ST+S_PHOTω_PHOT)/m

式中：S_BMS,S_AC,S_PHOT,S_ST,D分别为BMS,AC,PHOT,结构张量以及自适应二值分割的显著图；ω_D,ω_PHOT为显著图的权重系数；m为归一化常数。

通过对图像的相加，使得不完整的缺陷区域相互补充而被增强；另外，图像的乘法操作能够削弱非缺陷区域，而对缺陷存在可能性大的区域影响甚微，通过重复实验，本发明选取了ω_D＝ω_PHOT＝3用于执行图像的线索融合。

步骤4、改进的CU-Net网络，以精细地分割缺陷区域和识别缺陷种类

在经过显著性检测之后，可以得到磁瓦表面缺陷粗略的位置信息，为了获得更好的分割结果，本发明提出一种改进的CU-Net图像分割网络，该网络的主干采用U-Net架构，图像处理的过程与U-Net相似，在U-Net中，撇弃了所有的全连接层，实现了像素到像素的映射，另外，通过收缩路径和膨胀路径的跳跃连接，上下文信息被传递到了更高的特征图中。然而，经典的U-Net存在两个严重的缺点：一方面，它的分割精度不高，另一方面，由于模型尺寸较大，它需要消耗较长的时间训练和检测。因此，本发明分析了其特点，并做出了几项重要改进。

4.1)网络基本架构

为了加快模型的训练和测试速度，本发明对U-Net的特征通道数以及压缩路径的下采样数进行了修剪：其中，通道数由U-Net的64，128，256，512，1024减少到CU-Net的32，64，128，256。在CNN中，小的特征图包含更多的语义信息用于分类任务，而更大的特征图包含更多的空间信息。磁瓦的表面缺陷分割是一个二分类问题，因此更多的注意力应该放在定位上，由于下采样数目的减少，CU-Net生成的最小的特征图的尺寸是U-Net尺寸的四倍，得到更高的定位精度。

CU-Net采用的编解码器架构如图6所示，在编码器部分，两个3×3的卷积层构成的卷积块被重复使用，为了使每一次的卷积操作不改变图像的大小，采用边界填充策略。在每一个卷积块后紧跟一个ReLU激活函数和一个2×2的最大池化操作，令步长为2用于执行下采样。在每次的下采样后，通过卷积令特征通道的数量增加一倍。解码器部分与前者相反，用2×2的卷积对输入的特征图进行上采样，得到的特征图通道数减半，但特征图的尺寸翻倍，压缩后的CU-Net分割主干网络各层具体参数如表1所示。

4.2)注意力机制

注意力机制来源于人对环境的生理感知，在网络中被用来自动地建立特征通道间的依赖关系。在CU-Net的编码器和解码器的桥接部分通过跳跃连接的方式，将低级特征图的语义信息传递到更高级的特征图中。此外，考虑到一些磁瓦图像中存在较小的缺陷，在分割过程中容易丢失，因此在跳跃连接中加入注意力机制。在CU-Net的跳跃连接中加入注意力机制，使模型主动去关注有用的特征并抑制无关响应，以减少冗余信息的数量。该模块只包含少量的参数，在训练中也只耗费少量内存，却能明显提高模型分割能力。该模块主要分为压缩，激活和融合三个阶段：

通过全局均值池化将输入的特征图的各个通道进行压缩，得到各个特征维度的全局信息，压缩操作的计算公式为：

式中：x_c为输入特征图的第c维特征；H,W分别围为特征图的宽和高；(i,j)为特征图空间维度的坐标；S为压缩函数；y_c为压缩后的特征图。

激活操作类似于门控神经网络，两层全连接可以更好地拟合通道之间的复杂的相关性，因此选用其为每个通道的特征图生成权重。表示如下：

E(x)＝σ(W_s(δ(W_r(x))))

式中：x为压缩后的特征图；W_r,W_s为压缩和重构的全连接函数；δ为ReLU激活函数；σ为Sigmoid激活函数；E为权重函数。

将初始的特征图与权重函数对应元素相乘，突出目标图像通道并抑制无关的特征通道响应。

4.3)损失函数

磁瓦的缺陷检测被建模为一个二分类问题，图像中像素点要么属于缺陷，要么属于背景。通常，交叉熵损失函数被作为二分类的损失函数，它被定义为：

式中：y_i为像素i实际的类别，y_i＝1表示该像素属于缺陷区域，y_i＝0表示它属于磁瓦背景；p_i为像素经过模型输出的预测值，在0～1之间取值，p_i越大，该像素点就越倾向于缺陷；N为图像的像素点总数。

在训练中，通过迭代不断调整网络权重，使损失值最小化，这种损失函数更加适应于正负样本均衡的情况下。在实际的磁瓦图像中，缺陷部位所占据的像素比例远远小于背景区域，这就造成了模型更加注重于识别比例更高的类别。考虑到这一点，本发明提出将DiceLoss函数作为上述交叉熵损失函数的补充，DiceLoss被定义为：

当磁瓦图像中背景区域过多时，在交叉熵损失函数的作用下，模型会更加倾向于学习背景区域，通过提高背景区域像素的预测概率来降低损失值，DiceLoss损失则更多关注缺陷区域像素是否被正确分类，结合两种损失函数特点，本发明提出将交叉熵损失L_CE与DiceLoss损失L_Dice相加得到的复合损失函数用在磁瓦的缺陷检测问题上。

4.4)分类网络

本发明不仅仅实现磁瓦缺陷的分割任务，而且对缺陷的种类进行了划分。但是，本发明没有对缺陷分类所需的网络单独设计，因为这会造成额外的负担。而是通过在CU-Net的收缩路径和膨胀路径间的桥接部分增加一个分支网络，使压缩路径中提取到的底层语义特征在缺陷分类任务中被重复使用，就避免了网络的冗余，分割网络的编码器阶段实际上就是一个特征提取网络，本身就能提取到缺陷的重要信息，分支网络的实际意义在于将分割—分类的串行任务通过并行的方式实现，在两个任务中都使用到了网络前端精确到像素的轮廓和缺陷特征，从而令训练与检测过程能够更快的完成。

由于磁瓦缺陷中有许多区域面积比较小，在语义分割特征提取过程中得到的特征图容易导致信息丢失，因此本发明设计的分类网络不再进行下采样，而是通过一次卷积进一步提取缺陷信息。为了使前后信息融合的更好，所设计的卷积采用残差块进行特征编码，将下采样阶段的得到的256维特征图通过残差连接卷积块计算压缩到128维，将输入特征图两个路径在进行卷积后合并通道作为计算结果，一条路径采用1×1，3×3，1×1卷积，另一条路径只进行一次3×3卷积，另外在每一次卷积操作后进行批归一化和非线性激活。在残差块尾部将两个路径的输出合并通道成128维特征图，通过全局平均池化压缩为128维的向量，最后利用全连接层进行分类。

分类网络训练时采用的损失函数为Softmax交叉熵。网络经过卷积和全连接最终输出的结果为包含六个数值的一维向量，分别代表孔洞、裂纹、磨损、崩烂、起层以及无缺陷六个类别。

步骤5、通过后处理将检测结果以矩形框的形式输出展示

经过CU-Net处理后的图像输出为二值的分割图，以及分类网络分支得到的磁瓦缺陷类别。后处理阶段基于此分割图，使用最小外接矩形对磁瓦图像的缺陷区域进行框标记，同时使用类别标签展示缺陷的种类。最终结果显示，经过后处理的缺陷区域更加显眼且更易被技术人员所认可。

为了验证所提出的方法在磁瓦缺陷检测任务上的有效性，本发明在一台装载了英特尔酷睿i5-10400F CPU@2.90GHz的服务器上进行了一系列的实验，同时该服务器使用了16GB的内存和一块英伟达GeForce GTX 1050Ti(4GB)的GPU。在软件方面，采用Windows 10操作系统，并且使用python编程语言和pytorch深度学习框架编写程序。

本发明选用公开的磁瓦缺陷数据集对所提出方法进行了实验，该数据集由1344张图像组成，根据缺陷的类型，所有的磁瓦图像被分为了6类：孔洞、裂纹、磨损、崩烂、起层以及无缺陷，各缺陷种类里分别包含114、57、32、85、103以及953张图像。

本次训练的磁瓦缺陷数据集中只有1344张样本，在对神经网络训练时，数据集样本数量不足往往会对结果产生较大影响。为了避免该情况的出现，本实验采用数据增强的方式以提高网络泛化性。

5.1)构建图像数据集

在构建图像数据集时，同一目标不同角度的图像会被当作一张新的样本。同样地，将图像仅仅平移几个像素，网络也会认为这是一个全新的样本。

5.2)数据集样本增强并分类

在数据集确定的情况下，本实验通过旋转、剪裁、随机遮挡以及噪声扰动的方法对数据集样本进行扩增，令网络模型学习到更复杂的缺陷特征。

(1)旋转：将图像的中心点作为旋转轴，按一定角度旋转而得到新的图像，但此时图像边框的四个角点在水平和竖直方向不再对齐，为了保证网络模型输入的规范性，需要对空白区域进行填充。

(2)剪裁：剪裁包括规则剪裁与不规则剪裁。规则剪裁的结果为矩形，而不规则剪裁的边缘是任意形状。考虑到后者的随机性太大，不便于模型的训练，本实验采用前者，在剪裁样本后通过双线性插值以恢复样本大小。

(3)随机遮挡：随机遮挡又叫做随机擦除，随机选择样本的一块矩形区域，并使用任一灰度值擦除其原像素，使用含有遮挡像素的样本训练模型，会一定程度上降低其过拟合的风险并且模型因此增强了鲁棒性。

(4)噪声扰动：增加噪声干扰实际上是数据增强最有效的一种方法，常用的手段是在图像数据中加入一些正态分布的随机数，这是因为在训练中总是期望当模型输入发生一个微小的变化时，输出不发生较大变化。

原数据集在通过数据增强后，新的数据集共包含5274张样本，生成新样本的伪代码，根据比例8：1：1将数据集样本随机划分为训练集、验证集和测试集。

为了模拟实际的工业环境，这些磁瓦图像在多种光照条件下获取，且图像样本的尺寸并非全部统一。由于改进的CU-Net网络新增了分类网络，使用了全连接层，因此网络的输入必须要统一尺寸。本实验中先将长边缩放到256，之后再对短边两侧零值填充，将数据集全部样本尺寸修改为256×256。

5.3)训练集与验证集的磁瓦图像经过显著性检测后，将其与原图合并为双通道馈入所述CU-Net网络中并在训练集上训练，待模型充分收敛之后，用得到的模型对测试集图像进行预测，并可视化各阶段的处理结果，具备表现为：

5.3.1)对于磁瓦缺陷分类任务，本发明将引入准确率(Acc)和召回率(RE)两种不同的评价指标，其中：准确率反映了模型对整体样本的判断能力，是度量一个模型好坏最基本的指标；召回率是对覆盖面的度量，反映了检测方法对正例的辨识能力。准确率Acc和召回率RE的计算值由下式确定：

式中：TP为被正确预测的正样本，即网络输出的缺陷种类同时是实际的缺陷种类；TN为被正确预测的负样本，即网络输出为非该种类同时该样本确实为非该种类；FP为被错误预测的正样本；FN为被错误预测的负样本。

5.3.2)在深度学习中，神经网络的权值初始化方式十分重要，其对模型的收敛速度和性能有着较大影响，本发明选择用一个标准差为

的高斯分布初始化权值，N_i为第i层网络的输入节点数，例如，对于卷积核大小为3×3的64通道网络层，N_i＝3×3×64＝576。/>

5.3.3)本发明采用Adam优化器来更新网络权值，它可以在训练时自适应的调整学习率，且有更快的收敛速度，Adam优化器本质上是Momentum(动量法)和Adagrad(自适应学习率梯度下降法)的混合，其利用了一阶和二阶矩估计对学习率进行动态调整。一阶矩估计m_t和二阶矩估计的计算公式为：

m_t＝β₁×m_t-1+(1-β₁)×g_t

n_t＝β₂×n_t-1+(1-β₂)×g_t ²

式中：β₁为一阶矩估计衰减因子，β₂为二阶矩估计衰减因子，g_t为t时刻各参数的梯度值；于是Adam优化器梯度下降的迭代公式可表示为：

式中：α为初始学习率，ε为了保证分母不为0而存在，一般取10e^-8。本实施例将初始学习率设置为0.001，一阶和二阶矩估计衰减因子分别设置为β₁＝0.9、β₂＝0.999。考虑到内存的影响，训练阶段，Bitch_size设置为5，共进行100代训练。

5.3.4)训练集与验证集的磁瓦图像经过显著性检测后，将其与原图合并为双通道馈入所述CU-Net网络中，本发明将分类任务训练过程中的数值情况作为模型是否收敛的评判标准，也就是损失值(Loss)、准确率(Acc)以及召回率(RE)指标。在经过100次迭代后，模型充分学习了磁瓦的缺陷特征，得到训练过程的曲线如图7、图8所示。结果表明，在训练前期损失值急剧下降，虽然存在震荡现象，但在40次迭代后损失值逐渐趋于收敛。

在模型训练过程中，选取了第20、第40、第60和第80代的网络输出图像，为了便于观察各阶段网络的学习效果，将输出的灰度图像转换为色彩更加丰富的伪彩色图像，如图9所示，随着迭代次数的增加，缺陷特征逐渐被模型所学习。

5.3.5)将本发明提出的磁瓦缺陷检测方法在训练集上训练，待模型充分收敛之后，用得到的模型对测试集图像进行预测，并比较了本发明检测方法与U-Net、Segnet以及非下采样Shearlet变换的图像分割效果，如图10所示。

5.3.6)为了更加精确地评估以上各种检测方法在各类磁瓦缺陷图像中的表现，采用像素精度(PA)和平均交并比(MIoU)进行评估，评估结果记录在下页的表2至表5中。

表1：CU-Net网络模型参数

表2：U-Net网络检测结果

表3：Segnet网络检测结果

表4：非下采样Shearlet变换检测结果

表5本发明方法网络检测结果

通过对比每一类的缺陷分割评估分数可以看出，本发明改进后的CU-Net无论是PA分数还是MIoU分数均高于其它三种分割方法。本发明方法在裂纹缺陷分割上取得了最高90.49％的PA分数，另外在孔洞缺陷分割上取得了最高92.47％的MIoU分数。遍历整个测试样本集，本发明方法取得89.29％的PA分数和91.54％的MIoU分数，相比较于其它方法的最高分数有1.03％和3.89％的提升。

对于磁瓦缺陷分类任务，本发明分别统计了五类缺陷和一类非缺陷种类的评估结果，使用准确率Acc与召回率RE分数定量地进行表示，结果如图11所示。在磁瓦缺陷数据集上，本发明方法的平均准确率和召回率分别达到98.3％和92.7％。

5.3.7)如图12所示，在第一阶段，大部分人眼可以显著观察到的缺陷区域被提取出来；在第二阶段，经过CU-Net网络的精细分割，缺陷部位被逐像素地辨别为缺陷或背景，并且经过分类网络分支的识别，得到了缺陷的种类；在第三阶段，通过后处理，最终缺陷以矩形框的形式被标记出来，并将分类网络识别的缺陷种类显示在其中。

Claims (10)

1.一种磁瓦表面缺陷检测方法，其特征在于，包括以下步骤：

步骤1、通过工业相机获取待检测磁瓦表面的图像；

步骤2、对磁瓦表面的图像进行预处理并提取出ROI区域；

步骤3、利用显著性线索融合检测算法对磁瓦预检测，得到初步的缺陷区域；其中，显著性线索融合检测算法被定义为：

MCue＝S_BMS×(Dω_D+1.0)×(S_AC+S_ST+S_PHOTω_PHOT)/m

式中，S_BMS，S_AC，S_PHOT，S_ST，D分别为BMS模型，AC算法，PHOT算法，结构张量ST以及自适应二值分割的显著图；ω_D，ω_PHOT均为显著图的权重系数；m为归一化常数；

步骤4、先对U-Net的特征通道数以及压缩路径的下采样进行减半修剪形成CU-Net，在CU-Net的跳跃连接中加入注意力机制使模型主动关注有用的特征并抑制无关响应，然后在CU-Net的收缩路径和膨胀路径间的桥接部分增加一个分支网络，使压缩路径中提取到的底层语义特征在缺陷分类任务中被重复使用，最后利用CU-Net网络分割图像的缺陷区域和识别缺陷种类；

步骤5、先利用最小外接矩形对磁瓦图像的缺陷区域进行框标记，并使用类别标签展示缺陷的种类，然后以矩形框的形式输出展示检测结果。

2.根据权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤2包括：

2.1)将RGB图像予以灰度处理将其转换为单个通道的灰度图像；

2.2)先利用自适应局部降噪滤波器对被污染的磁瓦图像f(x,y)降噪处理，得到滤波图像

再对降噪后的图像

使用对数函数变换，将其表示为照明分量i(x,y)和反射分量r(x,y)相加的形式，接着使用快速傅里叶变换将图像转换到频域，再接着采用滤波器H(u,v)对图像滤波，然后采用反傅里叶变换恢复图像至空间域，最后采用指数函数重建图像g(x,y)；

2.3)先对图像进行二值化分割，再利用Canny算子获取前景与背景之间的边缘，最后提取出图像的ROI区域；

2.4)利用伽马校正增强缺陷的对比度从而提高灰度值的量化级别。

3.根据权利要求2所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤2.1)采用YUV色彩空间中Y分量的表示方法，利用加权平均法根据彩色图像和灰度图像的对应关系计算出图像的灰度值H，表示为：

H(x,y)＝0.299R(x,y)+0.587G(x,y)+0.144B(x,y)

4.根据权利要求2所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤2.3)采用直方图双峰法对图像进行二值化分割。

5.根据权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤3包括：

3.1)先利用自适应阈值分割法计算暗度线索，原理被描述为：

式中，I_R为初始图像I经过R×R窗口的均值滤波器后得到的模糊图像，t为常数阈值；

3.2)利用结构张量检测边缘和拐角，图像的结构张量被描述为：

式中，SalA为原图像的拐角响应图，SalB为原图像的边缘响应图，N()为响应图的归一化操作；

3.3)基于AC算法计算颜色稀缺性线索，先选取三种不同大小的邻域进行高斯滤波，并将其转换到对应的LAB色彩空间，第一LAB空间的像素点均值Lm1、Am1、Bm1，第二LAB空间的像素点均值Lm2、Am2、Bm2，第三LAB空间的像素点均值Lm3、Am3、Bm3，再分别将LAB的模糊图合并，用公式表示为：

Sm1＝(l-Lm1)²+(a-Am1)²+(b-Bm1)²

Sm2＝(l-Lm2)²+(a-Am2)²+(b-Bm2)²

Sm3＝(l-Lm3)²+(a-Am3)²+(b-Bm3)²

式中，l代表亮度，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量；

最终颜色稀缺性线索的最终显著图为：S_AC＝Sm1+Sm2+Sm3；

3.4)先利用PHOT算法从图像中以任意规模移除有规律的纹理并只保留无序的缺陷部分，再利用BMS模型通过模拟人的视觉注意力原理检测显著性目标；

3.5)得到显著性线索融合检测算法。

6.根据权利要求5所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤3.2)中图像的结构张量定义为海森矩阵，锚点像素(x,y)的结构张量被描述为：

式中：I代表梯度，x和y分别代表x和y方向的梯度；

用λ₁和λ₂表示M的特征值，λ₁和λ₂由下式计算得到：

用A和B分别代表锚点像素的拐角响应和边缘响应，被定义为：

7.根据权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤4包括：

4.1)先将U-Net的特征通道数由64，128，256，512，1024减少到CU-Net的32，64，128，256，采样数目的减少使CU-Net生成的最小的特征图尺寸为U-Net生成的最小的特征图尺寸的四倍；

4.2)在CU-Net的编码器和解码器的桥接部分通过跳跃连接的方式加入注意力机制从而使低级特征图的语义信息传递到高级的特征图中并防止小缺陷在分割过程中丢失，模块主要分为压缩，激活和融合三个操作阶段：

先通过全局均值池化将输入的特征图的各个通道进行压缩，得到各个特征维度的全局信息，压缩操作的计算公式为：

式中，x_c为输入特征图的第c维特征，H为特征图高，W为特征图的宽，(i,j)为特征图空间维度的坐标；S为压缩函数；y_c为压缩后的特征图；

然后通过激活操作使两层全连接拟合通道之间复杂的相关性，为每个通道的特征图生成权重，表示如下：

E(x)＝σ(W_s(δ(W_r(x))))

式中，x为压缩后的特征图，W_r,，W_s分别为压缩和重构的全连接函数，δ为ReLU激活函数，σ为Sigmoid激活函数，E为权重函数；

最后将压缩后的特征图y_c与权重函数E对应元素相乘，突出目标图像通道并抑制无关的特征通道响应；

4.3)先将磁瓦的缺陷检测建模为二分类，使得图像中像素点仅包括缺陷或背景，交叉熵损失函数被作为二分类的损失函数，它被定义为：

式中，y_i为像素i的实际类别，y_i＝1表示像素i属于缺陷区域，y_i＝0表示像素i属于磁瓦背景，p_i为像素经过模型输出的预测值，其在0～1之间取值，p_i越大，则像素i越倾向于缺陷，N为图像的像素点总数；

然后通过迭代不断调整网络权重使损失值最小化，并将DiceLoss函数作为损失函数的补充，DiceLoss被定义为：

当磁瓦图像中背景区域过多时，在交叉熵损失函数的作用下，模型会更加倾向于学习背景区域，通过提高背景区域像素的预测概率来降低损失值，DiceLoss损失则主要关注缺陷区域像素是否被正确分类；

4.4)采用Softmax交叉熵损失函数进行分类网络训练，网络经过卷积和全连接最终输出包含六个数值的一维向量，分别代表孔洞、裂纹、磨损、崩烂、起层和无缺陷六个类别。

8.根据权利要求7所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤4.4)通过一次卷积进一步提取缺陷信息，且卷积采用残差块进行特征编码。

9.根据权利要求1所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤5包括：

5.1)构建图像数据集，同一目标不同角度的图像和经过平移几个像素的图像均被当作一个新的样本；

5.2)先通过过旋转、剪裁、随机遮挡以及噪声扰动的方法对数据集样本进行扩增，再将增强后的数据样本被按照比例8：1：1划分为训练集、验证集和测试集；

5.3)训练集与验证集的磁瓦图像经过显著性检测后，将其与原图合并为双通道馈入CU-Net网络中并在训练集上训练，待模型充分收敛之后，用得到的模型对测试集图像进行预测，并可视化各阶段的处理结果。

10.根据权利要求9所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤5.3)采用Adam优化器更新CU-Net的网络权值从而自适应地调整学习率。

Images