CN114219790A - 一种基于边缘信息的钢铁表面缺陷显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于边缘信息的钢铁表面缺陷显著性检测方法，首先构建基于边缘信息的钢铁表面缺陷显著性检测模型，包括编码器部分、边缘信息提取模块和解码器部分；通过编码器部分提取显著性信息，通过边缘信息提取模块获得边缘信息，最后通过解码器部分融合显著性信息与边缘信息，输出模型预测的结果图。本发明方法通过在编码器部分引入通道注意力机制，对于所提取信息当中重要的部分赋予更大权重，从而使得编码器能更有效地提取信息。本发明还利用编码器输出的信息，提取获得边缘信息并用于指导解码器部分结果图的生成，加强了前景与背景边界区域的检测能力，从而有效地对钢铁表面缺陷区域进行显著性检测。

Description

一种基于边缘信息的钢铁表面缺陷显著性检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于边缘信息的钢铁表面缺陷显著性检测方法。

背景技术

近年来，显著性检测作为计算机视觉领域的基础技术，成功被应用于图像分割、视频质量评价和行人识别等多个方面并发挥了重要作用。由于其在各计算机视觉子领域中均具有较好的应用前景，于是受到研究人员的广泛关注。钢铁表面缺陷检测作为显著性检测的一个新的研究方向，由于其前景与背景对比度低以及缺陷区域尺寸多变的问题，导致相关方向的研究较少。

钢铁表面图像与传统图像差异性较大，传统图像的前景与背景对比度高，易于区分两者边界，且显著目标尺寸大多一致，便于模型确定目标位置。而钢铁表面图像前景与背景对比度低，难以有效区分两者边界，且缺陷区域尺寸多变，模型较难准确定位多个缺陷区域位置。

显著性检测分为基于传统方法、基于机器学习的方法和基于深度学习的方法。深度学习凭借其强大的学习能力，近年来受到研究人员的青睐，大量的基于深度学习的显著性检测方法也被提出并应用。最近，研究人员将目光转向针对钢铁表面缺陷的显著性检测任务，并取得了一定成果。

然而，当前的针对钢铁表面缺陷的显著性检测方法还不能有效地区分前景与背景的边界，并且对于不同尺度缺陷区域的检测能力不足以满足实际生活的需要。

发明内容

针对现有技术存在的不足，本发明提供了一种基于边缘信息的钢铁表面缺陷显著性检测方法。

本发明方法包括以下步骤：

步骤(1).构建基于边缘信息的钢铁表面缺陷显著性检测模型；

所述的显著性检测模型包括编码器部分、边缘信息提取模块和解码器部分；所述的编码器部分以ResNet-34模型为基础，最后一层采用Basic Block构建，用于提取显著性信息。

所述的边缘信息提取模块包括三个连续的卷积层组成的卷积块和两个卷积层，用于获取边缘信息。

所述的解码器部分以三个连续的卷积层组成的卷积块为基本块构建而成；

步骤(2).通过编码器部分提取显著性信息，具体方法如下：

首先，在编码器内部各层之间加入通道注意力机制；之后，对编码器各层输出的信息进行加权处理，从而实现对信息的有效提取；最后，将提取所得的显著性信息送入解码器当中。

步骤(3).通过边缘信息提取模块获得边缘信息，具体方法如下：

首先，将编码器后三层输出的信息分别通过三个连续的卷积层组成的卷积块进行处理；之后，通过级联的方式，分别利用两个卷积层逐步融合来自三层的边缘信息；最后，对各边缘信息进行深度监督，获得最终的边缘信息。

步骤(4).通过解码器部分融合显著性信息与边缘信息；

解码器各层的输入为对应编码器部分的显著性信息、边缘信息以及解码器前一层的信息；将以上三种(解码器第一层输入为两种)信息通过拼接操作合并，之后利用三个卷积层构成的卷积块(卷积核尺寸为3×3，步长为1)对合并的信息进行融合并送入下一层；最后，解码器最后一层输出模型预测的结果图。

步骤(5).训练构建好的基于边缘信息的钢铁表面缺陷显著性检测模型。

进一步的，编码器以ResNet-34模型为基础，包括5层结构，最后一层采用BasicBlock构建，编码器各层之间以最大池化的下采样连接。编码器各层输出信息尺寸分别为原图像的1/1，1/2，1/4，1/8和1/16，通道数分别为64,128,256,512,512。

在编码器内部各层之间加入了通道注意力机制；对编码器各层输出的信息进行加权处理，从而实现对信息的有效提取。加权前后信息的通道数及尺寸不发生改变，仅改变信息内部通道之间的权重关系；最后，将提取所得的显著性信息送入解码器当中。具体方法如下：

其中：

表示经过加权处理的信息，F_i(i＝1,2,3,4,5)表示加权处理之前，编码器各层对应的输出，Atten表示通道注意力机制。

进一步的，步骤(3)具体方法如下：

首先，将编码器后三层输出的信息，通道数分别为256,512,512分别通过三个连续的卷积层组成的卷积块对输入信息进行处理，处理过后的边缘信息通道数统一为128，尺寸分别为输入图像尺寸的1/4，1/8和1/16；之后，通过卷积层融合来自第二个和第三个卷积块处理得到的边缘信息，并将该信息与第一个卷积块所获得的边缘信息融合，得到最终的边缘信息；通过计算以上边缘信息对应的边缘预测图与边缘真值图之间的差异，从而保证以上提取获得的边缘信息的有效性。上述卷积层的卷积核尺寸均为3×3,步幅为1，各接有一个BN层和一个Relu函数。其过程可表示为：

其中：Edge_j(j＝1,2,3,4,5)表示各层获得的边缘信息，Conv表示三个连续的卷积层组成的卷积块(卷积核尺寸为3×3,步幅为1),Conv-L表示卷积层(卷积核尺寸为3×3,步幅为1)，

表示编码器各层获得的显著性信息，Up表示双线性插值的上采样操作。

进一步的，步骤(4)具体方法如下：

首先，以三个连续的卷积层组成的卷积块为基本块构建解码器，卷积层的卷积核尺寸为3×3,步幅为1，卷积层各接有一个BN层和一个Relu函数；之后，解码器各层处理来自编码器部分的显著性信息、边缘信息以及解码器前一层的信息，将以上三种信息通过拼接操作合并，之后利用三个卷积层构成的卷积块对合并的信息进行融合并送入下一层，解码器第一层输入为两种；最后，解码器最后一层输出模型预测的结果图。解码器各层之间由双线性插值的上采样连接，输出尺寸分别为输入图像的1/8,1/4,1/2,1/1和1/1，通道数分别为512,256,128,64和64。其过程可表示为：

其中，

表示解码器部分各层的输出,Conv表示三个连续的卷积层组成的卷积块(卷积核尺寸为3×3,步幅为1)，Cat表示信息的拼接操作。

表示经过加权处理的编码器各层获得的显著性信息，Up表示双线性插值的上采样操作，

表示与当前层输入尺寸一致的边缘信息Edge₅，在解码器第1、2层采用最大池化的下采样操作，第3层尺寸保持不变，第4、5层采用双线性插值的上采样操作改变其尺寸。

进一步的，步骤(5)具体方法如下：

首先，将图像尺寸统一调整为224×224，批处理大小设置为4；随后，利用Pytorch框架部署训练；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-3。

本发明有益效果如下：

本发明主要优势有两方面：编码器当中通道注意力的使用以及边缘信息的提取与利用。本发明方法通过在编码器部分引入通道注意力机制，对于所提取信息当中重要的部分赋予更大权重，从而使得编码器能更有效地提取信息。本发明还利用编码器输出的信息，提取获得边缘信息并用于指导解码器部分结果图的生成，加强了前景与背景边界区域的检测能力，从而有效地对钢铁表面缺陷区域进行显著性检测。

附图说明

图1为本发明实施例方法的框架图；

图2为本发明实施例提取边缘部分的结构图；

图3为本发明实施例的结果对比图，第一列为原图，第二列为真值图，第三列为本方法的结果图。

具体实施方式

下面结合附图与实施例，对本发明方法作进一步说明。

如图1所示，一种基于边缘信息的钢铁表面缺陷显著性检测方法，包括以下步骤：

步骤(1).构建基于边缘信息的钢铁表面缺陷显著性检测模型；

所述的显著性检测模型包括编码器部分、边缘信息提取模块和解码器部分；所述的编码器部分以ResNet-34模型为基础，最后一层采用Basic Block构建，用于提取显著性信息。

所述的边缘信息提取模块包括三个连续的卷积层组成的卷积块和两个卷积层，用于获取边缘信息。

所述的解码器部分以三个连续的卷积层组成的卷积块为基本块构建而成；

步骤(2).通过编码器部分提取显著性信息，具体方法如下：

编码器以ResNet-34模型为基础，包括5层结构，最后一层采用Basic Block构建，编码器各层之间以最大池化的下采样连接。编码器各层输出信息尺寸分别为原图像的1/1，1/2，1/4，1/8和1/16，通道数分别为64,128,256,512,512。

在编码器内部各层之间加入了通道注意力机制；对编码器各层输出的信息进行加权处理，从而实现对信息的有效提取。加权前后信息的通道数及尺寸不发生改变，仅改变信息内部通道之间的权重关系；最后，将提取所得的显著性信息送入解码器当中。具体方法如下：

其中：

表示经过加权处理的信息，F_i(i＝1,2,3,4,5)表示加权处理之前，编码器各层对应的输出，Atten表示通道注意力机制。

步骤(3).通过边缘信息提取模块获得边缘信息，具体方法如下：

如图2所示，首先，将编码器后三层输出的信息，通道数分别为256,512,512分别通过三个连续的卷积层(卷积核尺寸为3×3,步幅为1，各接有一个BN层和一个Relu函数)组成的卷积块对输入信息进行处理，处理过后的边缘信息通道数统一为128，尺寸分别为输入图像尺寸的1/4，1/8和1/16；之后，通过卷积层融合来自第二个和第三个卷积块处理得到的边缘信息，并将该信息与第一个卷积块所获得的边缘信息融合，得到最终的边缘信息；最后，通过计算以上边缘信息对应的边缘预测图与边缘真值图之间的差异，从而保证以上提取获得的边缘信息的有效性。上述卷积层的卷积核尺寸均为3×3,步幅为1，各接有一个BN层和一个Relu函数。其过程可表示为：

其中：Edge_j(j＝1,2,3,4,5)表示各层获得的边缘信息，Conv表示三个连续的卷积层组成的卷积块(卷积核尺寸为3×3,步幅为1),Conv-L表示卷积层(卷积核尺寸为3×3,步幅为1)，

表示编码器各层获得的显著性信息，Up表示双线性插值的上采样操作。

步骤(4).通过解码器部分融合显著性信息与边缘信息；

首先，以三个连续的卷积层组成的卷积块为基本块构建解码器，卷积层的卷积核尺寸为3×3,步幅为1，卷积层各接有一个BN层和一个Relu函数；之后，解码器各层处理来自编码器部分的显著性信息、边缘信息以及解码器前一层的信息，将以上三种信息通过拼接操作合并，之后利用三个卷积层构成的卷积块对合并的信息进行融合并送入下一层，解码器第一层输入为两种；最后，解码器最后一层输出模型预测的结果图。解码器各层之间由双线性插值的上采样连接，输出尺寸分别为输入图像的1/8,1/4,1/2,1/1和1/1，通道数分别为512,256,128,64和64。其过程可表示为：

其中，

表示解码器部分各层的输出,Conv表示三个连续的卷积层组成的卷积块(卷积核尺寸为3×3,步幅为1)，Cat表示信息的拼接操作。

表示经过加权处理的编码器各层获得的显著性信息，Up表示双线性插值的上采样操作，

表示与当前层输入尺寸一致的边缘信息Edge₅，在解码器第1、2层采用最大池化的下采样操作，第3层尺寸保持不变，第4、5层采用双线性插值的上采样操作改变其尺寸。

步骤(5).训练构建好的基于边缘信息的钢铁表面缺陷显著性检测模型。

首先，将图像尺寸统一调整为224×224，批处理大小设置为4；随后，利用Pytorch框架部署训练；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-3。

图3为本发明实施例的结果对比图，第一列为原图，第二列为真值图，第三列为本方法的结果图。

Claims (5)

1.一种基于边缘信息的钢铁表面缺陷显著性检测方法，其特征在于，包括以下步骤：

步骤(1).构建基于边缘信息的钢铁表面缺陷显著性检测模型；

所述的显著性检测模型包括编码器部分、边缘信息提取模块和解码器部分；所述的编码器部分以ResNet-34模型为基础，最后一层采用Basic Block构建，用于提取显著性信息；

所述的边缘信息提取模块包括三个连续的卷积层组成的卷积块和两个卷积层，用于获取边缘信息；

所述的解码器部分以三个连续的卷积层组成的卷积块为基本块构建而成；

步骤(2).通过编码器部分提取显著性信息，具体方法如下：

首先，在编码器内部各层之间加入通道注意力机制；之后，对编码器各层输出的信息进行加权处理，从而实现对信息的有效提取；最后，将提取所得的显著性信息送入解码器当中；

步骤(3).通过边缘信息提取模块获得边缘信息，具体方法如下：

首先，将编码器后三层输出的信息分别通过三个连续的卷积层组成的卷积块进行处理；之后，通过级联的方式，分别利用两个卷积层逐步融合来自三层的边缘信息；最后，对各边缘信息进行深度监督，获得最终的边缘信息；

步骤(4).通过解码器部分融合显著性信息与边缘信息；

解码器各层的输入为对应编码器部分的显著性信息、边缘信息以及解码器前一层的信息；将以上三种信息通过拼接操作合并，之后利用三个卷积层构成的卷积块对合并的信息进行融合并送入下一层；最后，解码器最后一层输出模型预测的结果图；

步骤(5).训练构建好的基于边缘信息的钢铁表面缺陷显著性检测模型。

2.根据权利要求1所述的一种基于边缘信息的钢铁表面缺陷显著性检测方法，其特征在于，编码器以ResNet-34模型为基础，包括5层结构，最后一层采用Basic Block构建，编码器各层之间以最大池化的下采样连接；编码器各层输出信息尺寸分别为原图像的1/1，1/2，1/4，1/8和1/16，通道数分别为64,128,256,512,512；

在编码器内部各层之间加入了通道注意力机制；对编码器各层输出的信息进行加权处理，从而实现对信息的有效提取；加权前后信息的通道数及尺寸不发生改变，仅改变信息内部通道之间的权重关系；最后，将提取所得的显著性信息送入解码器当中；具体方法如下：

其中：

表示经过加权处理的信息，F_i(i＝1,2,3,4,5)表示加权处理之前，编码器各层对应的输出，Atten表示通道注意力机制。

3.根据权利要求2所述的一种基于边缘信息的钢铁表面缺陷显著性检测方法，其特征在于，步骤(3)具体方法如下：

首先，将编码器后三层输出的信息，通道数分别为256,512,512分别通过三个连续的卷积层组成的卷积块对输入信息进行处理，处理过后的边缘信息通道数统一为128，尺寸分别为输入图像尺寸的1/4，1/8和1/16；之后，通过卷积层融合来自第二个和第三个卷积块处理得到的边缘信息，并将该信息与第一个卷积块所获得的边缘信息融合，得到最终的边缘信息；通过计算以上边缘信息对应的边缘预测图与边缘真值图之间的差异，从而保证以上提取获得的边缘信息的有效性；上述卷积层的卷积核尺寸均为3×3,步幅为1，各接有一个BN层和一个Relu函数；其过程可表示为：

其中：Edge_j(j＝1,2,3,4,5)表示各层获得的边缘信息，Conv表示三个连续的卷积层组成的卷积块,Conv-L表示卷积层，

表示编码器各层获得的显著性信息，Up表示双线性插值的上采样操作。

4.根据权利要求3所述的一种基于边缘信息的钢铁表面缺陷显著性检测方法，其特征在于，步骤(4)具体方法如下：

首先，以三个连续的卷积层组成的卷积块为基本块构建解码器，卷积层的卷积核尺寸为3×3,步幅为1，卷积层各接有一个BN层和一个Relu函数；之后，解码器各层处理来自编码器部分的显著性信息、边缘信息以及解码器前一层的信息，将以上三种信息通过拼接操作合并，之后利用三个卷积层构成的卷积块对合并的信息进行融合并送入下一层，解码器第一层输入为两种；最后，解码器最后一层输出模型预测的结果图；解码器各层之间由双线性插值的上采样连接，输出尺寸分别为输入图像的1/8,1/4,1/2,1/1和1/1，通道数分别为512,256,128,64和64；其过程可表示为：

其中，F_i ^D(i＝1,2,3,4,5)表示解码器部分各层的输出,Conv表示三个连续的卷积层组成的卷积块，Cat表示信息的拼接操作；

表示经过加权处理的编码器各层获得的显著性信息，Up表示双线性插值的上采样操作，

表示与当前层输入尺寸一致的边缘信息Edge₅，在解码器第1、2层采用最大池化的下采样操作，第3层尺寸保持不变，第4、5层采用双线性插值的上采样操作改变其尺寸。

5.根据权利要求1-4中任意一项所述的一种基于边缘信息的钢铁表面缺陷显著性检测方法，其特征在于，步骤(5)具体方法如下：

首先，将图像尺寸统一调整为224×224，批处理大小设置为4；随后，利用Pytorch框架部署训练；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-3。

Images