CN112561910B - 一种基于多尺度特征融合的工业表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度特征融合的工业表面缺陷检测方法，该方法包括：获取训练样本并对训练样本进行预处理，得到训练样本数据；基于小卷积核构建分割网络并根据训练样本数据对分割网络进行训练，得到训练完成的分割网络；基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络；基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果；所述训练完成的分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块。本发明在保证检测准确率的情况下，减少计算量。本发明作为一种基于多尺度特征融合的工业表面缺陷检测方法，可广泛应用于工业缺陷检测领域。

Description

一种基于多尺度特征融合的工业表面缺陷检测方法

技术领域

本发明属于工业缺陷检测领域，尤其涉及一种基于多尺度特征融合的工业表面缺陷检测方法。

背景技术

在工业生产过程中，确保质量最重要的任务之一是检查产品的表面。表面质量检查通常需要工人接受专业知识培训后，逐个识别复杂的表面缺陷。但这既耗时又会严重影响生产能力。因此，智能化缺陷检测不仅能很好地提高生产效率、降低成本。然而传统的计算机视觉方法依赖于人工的技术经验，需要人为的设计更适合特定场景样本的特征提取的方法进行分类，例如SVM分类器、决策树或者K近邻算法。但工业产品的多样性会导致技术人员难以选择更有利判别的特征，所以借助数据驱动的深度学习将起到非常重要的作用。

工业对此任务的要求不仅仅是高准确度，还包括低误检率和低漏检率，网络的性能也需要有更高的稳定性。然而，实际应用中存在着正样本数量少，类别不均衡，目标尺度太小等难点，普通的网络难以达到工业上的要求。近年来，一些采用先分割后分类的方法来解决这些问题，但是这类方法仍然存在一些缺点，比如：特征的表达能力不强且感受野相对较小，预测效率低等问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于多尺度特征融合的工业表面缺陷检测方法，在保证检测准确率的情况下，减少计算量。

本发明所采用的技术方案是：一种基于多尺度特征融合的工业表面缺陷检测方法，包括以下步骤：

获取训练样本并对训练样本进行预处理，得到训练样本数据；

基于小卷积核构建分割网络并根据训练样本数据对分割网络进行训练，得到训练完成的分割网络；

基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络；

基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果。

进一步，所述获取训练样本并对训练样本进行预处理，得到训练样本数据这一步骤，其具体包括：

获取PCB、LED和KolektorSDD的图像样本并对图像样本创建掩膜标签和类别标签；

对图像样本进行灰度化和尺寸调整，得到训练样本数据。

进一步，所述基于小卷积核构建分割网络并根据样本数据对分割网络进行训练，得到训练完成的分割网络这一步骤，其具体包括：

基于小卷积核构建分割网络；

所述分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块；

将样本数据输入到分割网络，经过低层特征提取模块得到低级细节特征；

将低级细节特征经过高层特征提取模块，得到高级语义特征；

将低级细节特征和高级语义特征经过多尺度特征融合模块，得到最终的分割特征；

根据分割特征对图像样本进行分割，得到分割掩膜；

将分割掩膜与对应的掩膜标签对比计算分割误差并反馈给分类网络进行迭代训练，得到训练完成的分割网络。

进一步，所述分割误差的计算公式如下：

l_n＝-[y_n.logσ(x_n)+(1-y_n).log(1-σ(x_n))]

L(x,y)＝{l₁,l₂,l₃,...,l_N}^T

上式中，l_n表示某个像素的分类误差，x_n表示某个像素的网络输出值，y_n表示某个像素真实的标签，σ表示Sigmoid函数，将x_n转换为0-1之间的概率值，L(x,y)表示一张图像上所有像素的分类误差集合，最后的loss值为L(x,y)集合的平均值。

进一步，所述基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络这一步骤，其具体包括：

基于小卷积核构建分类网络；

将分割特征和分割掩膜输入到分类网络，输出该样本是缺陷样本的概率；

将该概率与对应的类别标签对比计算分类误差并反馈给分割网络进行迭代训练，得到训练完成的分类网络。

进一步，所述分类误差的计算公式如下：

其中，y是图像类别标签(0或者1)：0代表该样本是无缺陷的，1代表该样本是有缺陷的，out为样本输出的类别逻辑概率。

进一步，所述基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果这一步骤，其具体包括：

将待测样本输入到训练完成的分割网络，得到待测样本的分割特征和掩膜信息；

将待测样本的分割特征和掩膜信息经过训练完成的分类网络，输出待测样本的检测结果。

本发明方法的有益效果是：本发明基于小卷积核构建高效的分割网络和分类网络，更符合此应用场景，不仅在在测试时间上更有竞争力，还可以增加非线性表达，获取更具有判别性的特征，另外，提出了一个高层特征提取模块，通过级联不同空洞率的空洞卷积层增大感受野获取目标缺陷的上下文信息，有利于在复杂的背景下让网络更加专注于提取与缺陷相关的特征，还提出将低层的视觉特征和高层的语义特征进行多尺度融合可以有效地结合局部信息和全局信息，更全面的获取缺陷的特征信息。

附图说明

图1是本发明具体实施例一种基于多尺度特征融合的工业表面缺陷检测方法的步骤流程图；

图2是本发明具体实施例一种基于多尺度特征融合的工业表面缺陷检测系统的结构框图；

图3是本发明具体实施例分割网络和分类网络的结构图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本发明提供了一种基于多尺度特征融合的工业表面缺陷检测方法，该方法包括以下步骤：

S1、获取训练样本并对训练样本进行预处理，得到训练样本数据；

S2、基于小卷积核构建分割网络并根据训练样本数据对分割网络进行训练，得到训练完成的分割网络，所述训练完成的分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块。；

S3、基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络；

S4、基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果；

具体地，为了满足工业的应用要求，本发明采用小的卷积核(3x3)搭建网络以减少测试时间。堆叠含有小尺寸卷积核的卷积层可以代替具有大尺寸的卷积核的卷积层，这样不仅能够使感受野大小不变，多个3x3的小卷积核比一个大尺寸卷积核具有更多的非线性，特征会更具有判别性。本发明提出的网络结构具有很强的泛化能力，在三种不同场景的数据集上得以验证，均可达到0误检0漏检的稳定效果。

进一步作为本方法的优选实施例，所述获取训练样本并对训练样本进行预处理，得到训练样本数据这一步骤，其具体包括：

获取PCB、LED和KolektorSDD的图像样本并对图像样本创建掩膜标签和类别标签；

对图像样本进行灰度化和尺寸调整，得到训练样本数据。

进一步作为本方法优选实施例，所述基于小卷积核构建分割网络并根据样本数据对分割网络进行训练，得到训练完成的分割网络这一步骤，其具体包括：

基于小卷积核构建分割网络；

所述分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块；

将样本数据输入到分割网络，经过低层特征提取模块得到低级细节特征；

将低级细节特征经过高层特征提取模块，得到高级语义特征；

将低级细节特征和高级语义特征经过多尺度特征融合模块，得到最终的分割特征；

根据分割特征对图像样本进行分割，得到分割掩膜；

将分割掩膜与对应的掩膜标签对比计算分割误差并反馈给分割网络进行迭代训练，得到训练完成的分割网络。

具体地，分割网络参照图3左所示，包括低级特征提取模块即阶段123，和高级特征提取模块即阶段4。每个阶段包含不同数目的特征提取单元。阶段之间通过最大池化下采样层连接。特征提取单元包含卷积层，归一化层和非线性激活层。阶段1由4个特征提取单元组成，卷积层通道均为32。阶段2由6个特征提取单元组成，卷积层通道均为64，特征图大小为原图像大小的1/2。阶段3由8个特征提取单元组成，卷积层通道均为64，特征图大小为原图像大小的1/4。阶段4即高层特征提取模块，通过采用空洞卷积在不增加参数量的情况下，增大卷积核之间的距离可以有效地获取扩大网络感受野。此阶段由7个包含空洞卷积层的特征提取单元组成，卷积层通道都为128。在128高通道的特征上利用空洞卷积可以强化语义信息即上下文信息。

另外，为了获取更多的上下文信息来判断原图像是否属于缺陷部位,需要增大网络的感受野。感受野的计算方式如下公式：

n_RF＝(n-1_RF-1)*s+d*(k-1)+1

其中，n可以代表1到网络的最大层数N。RF为感受野，s为第n层的步长，d为第n层的空洞率(普通的卷积层为1)，k为第n层的卷积核大小。这种计算方式是从顶向下层层迭代直到追溯回输入层。n从1迭代到N最终计算出第N层的特征每一个像素都会包含输入图像N_RF个像素范围的信息。

多尺度特征融合模块：由于目标缺陷相对背景过小，而且空洞卷积是跳过一些元素进行卷积计算，经过多层的空洞卷积后会导致高层的语义特征丢失了缺陷的细节信息。所以在网络的末端添加高层特征提取模块虽然可以增大感受野，但会导致分割网络训练无法收敛。本发明将采取融合不同感受野的特征的方法结合不同级别的信息学习图像缺陷的特征。融合的特征包括局部纹理信息和全局信息。具体融合的特征如图3左所示：低层特征和高层特征(64通道和128通道)的感受野分别为104和888，通过合并的方式融合低级局部特征和高级全局特征得到192通道的特征。而且融合后的特征会明显看出缺陷的位置信息。

进一步作为本发明的优选实施例，所述分割误差的计算公式如下：

l_n＝-[y_n.logσ(x_n)+(1-y_n).log(1-σ(x_n))]

L(x,y)＝{l₁,l₂,l₃,...,l_N}^T

上式中，l_n表示某个像素的分类误差，x_n表示某个像素的网络输出值，y_n表示某个像素真实的标签，σ表示Sigmoid函数，将x_n转换为0-1之间的概率值，L(x,y)表示一张图像上所有像素的分类误差集合，最后的loss值为L(x,y)集合的平均值。

进一步作为本发明优选实施例，所述基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络这一步骤，其具体包括：

基于小卷积核构建分类网络；

将分割特征和分割掩膜输入到分类网络，输出该样本是缺陷样本的概率；

将该概率与对应的类别标签对比计算分类误差并反馈给分类网络进行迭代训练，得到训练完成的分类网络。

具体地，本发明设计了高效的分类网络。为了满足工业的应用要求，分类网络同样需要轻量化的小卷积核来构建。分类网络包含特征提取模块和下采样层以及池化层。分类网络如图3右所示，分类网络包含三个阶段5/6/7和三个下采样。阶段5由3个特征提取单元组成，通道都为8。阶段6由3个特征提取单元组成，通道都为16。阶段7由3个特征提取单元组成，通道都为32。阶段5/6/7通过最大池化层连接。接着将特征分别进行自适应全局最大池化和自适应全局平均池化得到两个32通道1x1大小的特征，将这两个具备身份信息的特征合并后得到64通道的特征。随后将特征输入一层线性层。将分割网络输出的192通道的分割特征和1通道的分割掩膜合并之后得到193通道的特征。分割掩膜在一定程度上为特征的逐像素注意力机制。将193通道特征输入分类网络进行训练。

进一步作为本发明优选实施例，所述分类误差的计算公式如下：

其中，y是图像类别标签(0或者1)：0代表该样本是无缺陷的，1代表该样本是有缺陷的，out为样本输出的类别逻辑概率。

进一步作为本方法的优选实施例，所述基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果这一步骤，其具体包括：

将待测样本输入到训练完成的分割网络，得到待测样本的分割特征和掩膜信息；

将待测样本的分割特征和掩膜信息经过训练完成的分类网络，输出待测样本的检测结果。

具体地，本发明网络结构的设计采用小的卷积核(3x3)满足对模型规模和测试时间的要求。通过高层特征提取模块有效扩大网络的感受野学习深层的上下文语义信息，再结合多尺度特征的融合使得不同感受野的特征共同表达缺陷的局部信息和全局信息，这样可以有效帮助网络学习到缺陷的特征。训练高效的分割网络得到缺陷的特征信息，将此特征作为输入来训练分类网络，通过网络级联的方式使各自网络分别收敛。最终的结果不仅可以在多个数据集上达到0误检和0漏检，在测试时间上也都大大缩短。

本发明

参照图2，本发明还提供第二种技术方案，一种基于多尺度特征融合的工业表面缺陷检测系统，包括以下模块：

样本处理模块，用于获取训练样本并对训练样本进行预处理，得到训练样本数据；

分割网络模块，用于基于小卷积核构建分割网络并根据训练样本数据对分割网络进行训练，得到训练完成的分割网络，所述训练完成的分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块；

分类网络模块，用于基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络；

检测模块，用于基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种基于多尺度特征融合的工业表面缺陷检测方法，其特征在于，包括以下步骤：

获取训练样本并对训练样本进行预处理，得到训练样本数据；

基于小卷积核构建分割网络并根据训练样本数据对分割网络进行训练，得到训练完成的分割网络；

基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络；

基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果；

所述训练完成的分割网络包括低层特征提取模块、高层特征提取模块和多尺度特征融合模块；

所述基于小卷积核构建分割网络并根据样本数据对分割网络进行训练，得到训练完成的分割网络这一步骤，其具体包括：

基于小卷积核构建分割网络；

将样本数据输入到分割网络，经过低层特征提取模块得到低级细节特征；

将低级细节特征经过高层特征提取模块，得到高级语义特征；

将低级细节特征和高级语义特征经过多尺度特征融合模块，得到最终的分割特征；

根据分割特征对图像样本进行分割，得到分割掩膜；

将分割掩膜与对应的掩膜标签对比计算分割误差并反馈给分割网络进行迭代训练，得到训练完成的分割网络；

所述分割误差的计算公式如下：

l_n＝-[y_n.logσ(x_n)+(1-y_n).log(1-σ(x_n))]

L(x,y)＝{l₁,l₂,l₃,...,l_N}^T

上式中，l_n表示某个像素的分类误差，x_n表示某个像素的网络输出值，y_n表示某个像素真实的标签，σ表示Sigmoid函数，将x_n转换为0-1之间的概率值，L(x,y)表示一张图像上所有像素的分类误差集合，最后的loss值为L(x,y)集合的平均值；

所述基于小卷积核构建分类网络并根据训练样本数据对分类网络进行训练，得到训练完成的分类网络这一步骤，其具体包括：

基于小卷积核构建分类网络；

将分割特征和分割掩膜输入到分类网络，输出该样本是缺陷样本的概率；

将该概率与对应的类别标签对比计算分类误差并反馈给分类网络进行迭代训练，得到训练完成的分类网络；

所述分类误差的计算公式如下：

其中，y表示图像类别标签，0代表该样本是无缺陷的，1代表该样本是有缺陷的，out为样本输出的类别逻辑概率。

2.根据权利要求1所述一种基于多尺度特征融合的工业表面缺陷检测方法，其特征在于，所述获取训练样本并对训练样本进行预处理，得到训练样本数据这一步骤，其具体包括：

获取PCB、LED和KolektorSDD的图像样本并对图像样本创建掩膜标签和类别标签；

对图像样本进行灰度化和尺寸调整，得到训练样本数据。

3.根据权利要求2所述一种基于多尺度特征融合的工业表面缺陷检测方法，其特征在于，所述基于训练完成的分割网络和训练完成的分类网络对待测样本进行检测，得到检测结果这一步骤，其具体包括：

将待测样本输入到训练完成的分割网络，得到待测样本的分割特征和掩膜信息；

将待测样本的分割特征和掩膜信息经过训练完成的分类网络，输出待测样本的检测结果。