CN109035233A - 视觉注意力网络及工件表面缺陷检测方法 - Google Patents

Abstract

为解决现有非接触无损工件缺陷检测识别准确率低、检测效果较差、已被图像非缺陷位置信息所掩盖的技术问题，本发明提供了一种视觉注意力网络及工件表面缺陷检测方法，在卷积神经网络模型作为工件分类网络的基础上，加入视觉注意力模块，通过视觉注意力模块生成的软注意力模板提取特征图中的重要特征，进而提升了CNN模型对具有表面缺陷的工件的识别准确率。

Description

视觉注意力网络及工件表面缺陷检测方法

技术领域

本发明属于深度学习、机器视觉领域，涉及一种视觉注意力网络及基于该视觉注意力网络的工件表面缺陷检测方法，能提升对工件表面缺陷的检测识别准确率。

背景技术

工件在工业生产线上铸造的过程中，由于生产工艺等问题会导致部分工件存在表面缺陷，如破损和划痕。这些有缺陷的工件会直接影响到后续使用和加工的安全性，因此对工件的缺陷检测是现代化大生产中必不可少的环节。传统的工件缺陷检测通常由人工完成，人工进行工件缺陷检测容易受到个人主观经验、注意力以及外界环境等因素的影响。同时，人工方式对高速移动或微小缺陷的工件进行检测时很容易出现误检和漏检。因此，非接触无损的工件缺陷检测对现代工业生产具有重要的意义。

现有的非接触无损工件缺陷检测，主要是包括以下几种方式：

1、红外检测、漏磁检测和涡流检测；这些检测方法存在检测速度慢、无法准确分类、容易产生能源浪费等问题。

2、基于机器视觉的表面缺陷检测；由于工件种类的多样性，设计一个鲁棒性好、通用性强的缺陷检测算法是一个非常具有挑战性的问题，通常不易实现。

3、基于卷积神经网络的表面缺陷检测；当工件表面出现微小缺陷，如划痕缺陷，此时缺陷检测的效果较差，因为微小缺陷占整幅图像空间比例太小，容易被图像其他位置的信息所掩盖。

发明内容

为解决现有非接触无损工件缺陷检测识别准确率低、效率低、检测效果较差、易被图像非缺陷位置信息所掩盖的技术问题，本发明提供了一种视觉注意力网络及工件表面缺陷检测方法，在卷积神经网络(CNN)模型作为工件分类网络的基础上，加入视觉注意力模块，通过视觉注意力模块生成的软注意力模板提取特征图中的重要特征，进而提升了CNN模型对具有表面缺陷的工件的识别准确率。

本发明的技术方案是：

视觉注意力网络，其特殊之处在于：包括依次连接的至少一个图像特征处理单元、一个全局平均池化层和一个softmax分类器；

单个图像特征处理单元包括一个卷积模块一、至少一个卷积模块二、一个注意力模块和一个乘法模块；

单个图像特征处理单元中卷积模块二为一个时，卷积模块二与注意力模块并行设置；卷积模块一的输出作为注意力模块与卷积模块二的输入，注意力模块与卷积模块二的输出作为乘法模块的输入；

单个图像特征处理单元中卷积模块二为多个时，多个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；

卷积模块一用于对其接收的图像进行卷积处理提取特征，且卷积模块一输出的特征图尺寸为其所接收图像的二分之一；

卷积模块二用于对接收到的特征图进行卷积处理提取特征，且卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。

进一步地，所述卷积模块一包括并行的两个支路，其中一个支路上依次设置有第一卷积核、第二卷积核和第三卷积核；

第一卷积核用于对卷积模块一接收的图像进行处理，第一卷积核输出的特征图通道数小于卷积模块一最终输出特征图的通道数；

第二卷积核用于对第一卷积核输出的特征图进行处理，第二卷积核输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；

第三卷积核用于对第二卷积核输出的特征图进行处理，第三卷积核输出的特征图通道数与卷积模块一最终输出特征图通道数相同；

另一个支路上设置有第四卷积核；

第四卷积核用于对卷积模块一接收的图像进行处理，第四卷积核输出的特征图尺寸、通道数与第三卷积核输出的特征图尺寸、通道数相同；

第四卷积核输出的特征图与第三卷积核输出的特征图通过加法器叠加后，作为卷积模块一的输出。

进一步地，第一卷积核的尺寸为1×1，卷积操作步长为1，第一卷积核输出的特征图通道数为卷积模块一最终输出特征图通道数的四分之一；

第二卷积核的尺寸为3×3，卷积操作步长为2；

第三卷积核的尺寸为1×1，卷积操作步长为1；

第四卷积核尺寸为1×1，卷积操作步长为2。

进一步地，所述卷积模块二包括并行的两个支路，其中一个支路上依次设置有第五卷积核、第六卷积核和第七卷积核；

第五卷积核用于对卷积模块二接收的图像进行处理，第五卷积核的卷积操作步长为1，输出的特征图通道数小于卷积模块二最终输出特征图通道数；

第六卷积核用于对第五卷积核输出的特征图进行处理，第六卷积核的卷积操作步长为1，输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；

第七卷积核用于对第六卷积核输出的特征图进行处理，第七卷积核的卷积操作步长为1，输出的特征图通道数与卷积模块二最终输出特征图通道数相同；

另一个支路上设置有第八卷积核，其卷积操作步长为1；

第八卷积核用于对卷积模块二接收的图像进行处理，第八卷积核输出的特征图尺寸、通道数与第七卷积核输出的特征图尺寸、通道数相同；

第八卷积核输出的特征图与第七卷积核输出的特征图通过加法器叠加后，作为卷积模块二的输出；

卷积模块二最终输出的特征图尺寸、通道数与卷积模块一最终输出的特征图尺寸、通道数相同。

进一步地，第五卷积核的尺寸为1×1，输出的特征图通道数为卷积模块二最终输出特征图通道数的四分之一；

第六卷积核的尺寸为3×3；

第七卷积核的尺寸为1×1；

第八卷积核的尺寸为1×1。

进一步地，图像特征处理单元有三个，沿数据流向依次记为第一图像特征处理单元、第二图像特征处理单元和第三图像特征处理单元；

第一、二、三图像特征处理单元的结构相同、参数不同；

所述参数不同具体为：

第一图像特征处理单元中：第一、二、五、六卷积核的数目均为8个；第三、四、七、八卷积核的数目均为32个；

第二图像特征处理单元中：第一、二、五、六卷积核的数目均为16个；第三、四、七、八卷积核的数目均为64个；

第三图像特征处理单元中：第一、二、五、六卷积核的数目均为2个；第三、四、七、八卷积核的数目均为10个。

进一步地，所述注意力模块包括用于将输入图像转化为特征图像的编码器，以及用于将特征图像转化为目标输出的解码器。

进一步地，所述编码器为依次连接的两组卷积模块三；解码器为两层依次连接的反卷积层。

本发明同时提供了一种基于视觉注意力网络的工件表面缺陷检测方法，其特殊之处在于，包括以下步骤：

步骤1，构建上述任一方案中所述的视觉注意力网络；

步骤2，训练所述视觉注意力网络；

步骤3，使用训练好的视觉注意力网络对工件进行表面缺陷检测，输出检测结果。

进一步地，步骤2具体为：

首先构建带有缺陷类别标签的工件数据集，然后采用adam优化器和交叉熵损失函数，利用梯度下降法对视觉注意力网络进行训练。

与现有技术相比，本发明具有如下有益效果：

1、本发明利用注意力模块生成软注意力模板，通过将软注意力模板与CNN网络中的特征图相乘，为特征图进行加权，使特征图中重要特征的权值更高，实现筛选特征图中有效特征的作用，进而提高了工件缺陷检测识别的准确率。

2、本发明的CNN网络省去了全连接层，简化了训练网络的参数数量。

3、本发明的视觉注意力网络应用范围广，能够用于检测物体表面缺陷，尤其适用于微小缺陷检测，例如瓷砖表面的破损与裂纹等缺陷的检测、钢轨表面裂纹与破损等缺陷的检测、工件表面缺陷检测等。

附图说明

图1是本发明视觉注意力网络实施例的整体结构框图；

图2是本发明卷积模块一实施例的原理框图；

图3是本发明卷积模块二实施例的原理框图；

图4是本发明采用编码-解码结构构建的注意力模块示意图；

图5是本发明注意力模块实施例的结构框图。

具体实施方式

本发明的基本思想是在CNN分类网络的基础上，将注意力模块作为分支嵌入网络中，将注意力模块生成的注意力模板与CNN网络中的特征图相乘，根据特征权重筛选得到特征图中的有效特征。

注意力模块的作用是生成软注意力模板，通过将软注意力模板与特征图相乘，为特征图进行加权，使特征图中重要特征的权值更高，实现筛选特征图中有效特征的作用。以下结合附图和具体实施例进一步说明。

本实施例视觉注意力网络的整体结构图如图1所示，包括依次连接的三个图像特征处理单元(依次记为第一图像特征处理单元、第二图像特征处理单元、第三图像特征处理单元)、一个全局平均池化层和一个softmax分类器；每个图像特征处理单元包括一个卷积模块一、两个卷积模块二、一个注意力模块和一个乘法模块；两个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；最后一个图像特征处理单元中乘法模块的输出作为全局平均池化层的输入；卷积模块一用于对其接收的图像进行卷积处理，卷积模块一输出的特征图尺寸为其所接收图像的二分之一；卷积模块二用于对接收到的特征图进行卷积处理，卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。

本发明中，图像特征处理单元的数量可以根据实际数据量选取，可以为一个，也可以为多个，数据量越大，图像特征处理单元的数量越多；每个图像特征处理单元中卷积模块二的数量也根据实际数据量选取，可以为一个，也可以为多个，数据量越大，卷积模块二的数量越多；所有图像特征处理单元的结构相同、参数不同(具体而言是卷积模块一、二中卷积核的数目不同)。以下作详细介绍。

(一)卷积模块

图1中，卷积模块分为两种：一种是与注意力模块没有并行关系的卷积模块一；另一种是与注意力模块相并行的卷积模块二。卷积模块一和卷积模块二的作用都是从图像中提取特征。

卷积模块一如图2所示。

卷积模块一中使用了尺寸为1×1和3×3的卷积核，图2中C表示卷积模块一输出特征图的通道数，S表示卷积核的步长。

图2中左侧分支作为卷积模块一的主干，实现主要的卷积功能。首先，通过尺寸为1×1的卷积核进行卷积操作，将特征图的通道数减少为卷积模块一最后输出特征图通道数的四分之一，在通道数上减少了参数。然后，使用尺寸为3×3的卷积核进行步长为2的卷积操作，将特征图的尺寸减少为原本的二分之一。最后，使用尺寸为1×1的卷积核进行卷积操作，输出特征图的通道数与卷积模块一最后输出特征图通道数相同。

图2中右侧分支作为卷积模块一的旁路，能够缓解梯度消失的问题，同时将网络中低层的特征图映射到高层中，保证了信息的完整性。在卷积模块一中增加旁路，可以提升网络的训练效率，提高训练效果。使用尺寸为1×1的卷积核进行步长为2的卷积操作，使卷积操作后输出的特征图的尺寸、通道数与左侧分支最后一次卷积操作后输出的特征图相同。最后将左、右两侧分支的特征图相加(即将像素点对应位置相加)，得到卷积模块一最终输出的特征图。

卷积模块二如图3所示。

卷积模块二与卷积模块一的结构大体相同，区别仅在于，卷积模块二的左侧分支中间卷积核、右侧分支卷积核的步长都为1，使得卷积模块二输出特征图与输入卷积模块二的特征图的尺寸、通道数均相同。另外，由于卷积模块二输出的特征图要与注意力模块生成的软注意力模板相乘，要保持特征图的尺寸与软注意力模板的尺寸相同，因此，卷积模块二的步长为1。

第一图像特征处理单元中：第一、二、五、六卷积核的数目均为8个；第三、四、七、八卷积核的数目均为32个；

第二图像特征处理单元中：第一、二、五、六卷积核的数目均为16个；第三、四、七、八卷积核的数目均为64个；

第三图像特征处理单元中：第一、二、五、六卷积核的数目均为2个；第三、四、七、八卷积核的数目均为10个。

(二)注意力模块

注意力模块是网络中用于生成软注意力模板的计算模块，本发明的注意力模块是基于编码-解码结构来构建的，示意图如图4所示。

使用编码器将输入图像转化为特征图像，再使用解码器将特征图像转化为目标输出。本发明使用两组卷积模块三作为编码器，使用两层反卷积层作为解码器，最后通过Sigmoid激活函数将输出模板的值映射到[0,1]区间内，得到软注意力模板，如图5所示。

软注意力模板就是生成数值为0到1之间的注意力模板与特征图或原图像相乘，对原图的各个分量进行加权。软注意力模板是参数化的，可以求导，因此可以嵌入到CNN中直接进行训练。

(三)乘法模块

接下来，依据图1所示，将每个注意力模块的输出(数值为0到1之间的软注意力模板)与同一图像特征处理单元中最后一个卷积模块二的输出特征图进行元素相乘运算(将像素点对应位置相乘)，从而对特征图的各个分量进行加权。

当前层乘法模块的输出作为下一层中卷积模块一的输入，最后一层乘法模块的输出作为全局平均池化层的输入。

最后，依次进行全局平均池化以及Softmax分类。

本发明在对视觉注意力网络进行训练时，使用交叉熵作为损失函数，使用自适应矩估计(adaptive moment estimation，Adam)作为优化函数。

交叉熵损失函数表达式如式(1)所示：

其中，label表示数据的真实类别，predict表示模型的预测，C表示类别数。

Adam优化函数能够根据每个参数梯度的一阶矩估计和二阶矩估计，动态调整每个参数的学习率，使每次迭代的学习步长都在一个范围内，不会因为较大的梯度导致较大的学习步长，使得参数的更新较为稳定。

采用本发明的视觉注意力网络，结合带有标记信息的有缺陷和无缺陷的工件图像数据集，对该网络进行训练，即可得到一种能够对工件缺陷进行识别的基于视觉注意力的深度学习网络。使用训练好的网络对工件进行表面缺陷检测，能够提升工件表面缺陷识别的准确率和效率，提高检测效果。

Claims (10)

1.视觉注意力网络，其特征在于：包括依次连接的至少一个图像特征处理单元、一个全局平均池化层和一个softmax分类器；

单个图像特征处理单元包括一个卷积模块一、至少一个卷积模块二、一个注意力模块和一个乘法模块；

单个图像特征处理单元中卷积模块二为一个时，卷积模块二与注意力模块并行设置；卷积模块一的输出作为注意力模块与卷积模块二的输入，注意力模块与卷积模块二的输出作为乘法模块的输入；

单个图像特征处理单元中卷积模块二为多个时，多个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；

卷积模块一用于对其接收的图像进行卷积处理提取特征，且卷积模块一输出的特征图尺寸为其所接收图像的二分之一；

卷积模块二用于对接收到的特征图进行卷积处理提取特征，且卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。

2.根据权利要求1所述的视觉注意力网络，其特征在于：所述卷积模块一包括并行的两个支路，其中一个支路上依次设置有第一卷积核、第二卷积核和第三卷积核；

第一卷积核用于对卷积模块一接收的图像进行处理，第一卷积核输出的特征图通道数小于卷积模块一最终输出特征图的通道数；

第二卷积核用于对第一卷积核输出的特征图进行处理，第二卷积核输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；

第三卷积核用于对第二卷积核输出的特征图进行处理，第三卷积核输出的特征图通道数与卷积模块一最终输出特征图通道数相同；

另一个支路上设置有第四卷积核；

第四卷积核用于对卷积模块一接收的图像进行处理，第四卷积核输出的特征图尺寸、通道数与第三卷积核输出的特征图尺寸、通道数相同；

第四卷积核输出的特征图与第三卷积核输出的特征图通过加法器叠加后，作为卷积模块一的输出。

3.根据权利要求2所述的视觉注意力网络，其特征在于：

第一卷积核的尺寸为1×1，卷积操作步长为1，第一卷积核输出的特征图通道数为卷积模块一最终输出特征图通道数的四分之一；

第二卷积核的尺寸为3×3，卷积操作步长为2；

第三卷积核的尺寸为1×1，卷积操作步长为1；

第四卷积核的尺寸为1×1，卷积操作步长为2。

4.根据权利要求1-3任一所述的视觉注意力网络，其特征在于：所述卷积模块二包括并行的两个支路，其中一个支路上依次设置有第五卷积核、第六卷积核和第七卷积核；

第五卷积核用于对卷积模块二接收的图像进行处理，第五卷积核的卷积操作步长为1，输出的特征图通道数小于卷积模块二最终输出特征图通道数；

第六卷积核用于对第五卷积核输出的特征图进行处理，第六卷积核的卷积操作步长为1，输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；

第七卷积核用于对第六卷积核输出的特征图进行处理，第七卷积核的卷积操作步长为1，输出的特征图通道数与卷积模块二最终输出特征图通道数相同；

另一个支路上设置有第八卷积核，其卷积操作步长为1；

第八卷积核用于对卷积模块二接收的图像进行处理，第八卷积核输出的特征图尺寸、通道数与第七卷积核输出的特征图尺寸、通道数相同；

第八卷积核输出的特征图与第七卷积核输出的特征图通过加法器叠加后，作为卷积模块二的输出；

卷积模块二最终输出的特征图尺寸、通道数与卷积模块一最终输出的特征图尺寸、通道数相同。

5.根据权利要求4所述的视觉注意力网络，其特征在于：

第五卷积核的尺寸为1×1，输出的特征图通道数为卷积模块二最终输出特征图通道数的四分之一；

第六卷积核的尺寸为3×3；

第七卷积核的尺寸为1×1；

第八卷积核的尺寸为1×1。

6.根据权利要求5所述的视觉注意力网络，其特征在于：图像特征处理单元有三个，沿数据流向依次记为第一图像特征处理单元、第二图像特征处理单元和第三图像特征处理单元；

第一、二、三图像特征处理单元的结构相同、参数不同；

所述参数不同具体为：

第一图像特征处理单元中：第一、二、五、六卷积核的数目均为8个；第三、四、七、八卷积核的数目均为32个；

第二图像特征处理单元中：第一、二、五、六卷积核的数目均为16个；第三、四、七、八卷积核的数目均为64个；

第三图像特征处理单元中：第一、二、五、六卷积核的数目均为2个；第三、四、七、八卷积核的数目均为10个。

7.根据权利要求5所述的视觉注意力网络，其特征在于：所述注意力模块包括用于将输入图像转化为特征图像的编码器，以及用于将特征图像转化为目标输出的解码器。

8.根据权利要求7所述的视觉注意力网络，其特征在于：所述编码器为依次连接的两组卷积模块三；解码器为两层依次连接的反卷积层。

9.基于视觉注意力网络的工件表面缺陷检测方法，其特征在于，包括以下步骤：

步骤1，构建权利要求1-8任一所述的视觉注意力网络；

步骤2，训练所述视觉注意力网络；

步骤3，使用训练好的视觉注意力网络对工件进行表面缺陷检测，输出检测结果。

10.根据权利要求9所述的基于视觉注意力网络的工件表面缺陷检测方法，其特征在于，步骤2具体为：

首先构建带有缺陷类别标签的工件数据集，然后采用adam优化器和交叉熵损失函数，利用梯度下降法对视觉注意力网络进行训练。