CN113689381B - 波纹管内壁瑕疵检测模型及检测方法 - Google Patents

Abstract

本申请公开了一种波纹管内壁瑕疵检测模型及检测方法。该模型可以包括：基础网络，包括多个卷积层，用于提取图像中的特征信息；自适应平均池化层，针对特征信息进行缩放，获得缩放特征图；权重层，用于通过高斯分布拟合缩放特征图中像素点对应的权值；多头注意力模块，用于通过特征信息，确定多维权重并与特征信息点乘；分类网络，针对权重层与多头注意力模块的输出结果级联后进行块级分类，获得n*n的二值图，判断二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。本发明提高了对航天燃料波纹管内壁瑕疵的检测精度，对瑕疵频繁出现的位置增加权重，提取更加丰富的特征，提高了分块的分类精度，降低了模型的误检率和漏检率。

Description

波纹管内壁瑕疵检测模型及检测方法

技术领域

本发明涉及工业瑕疵检测领域，更具体地，涉及一种波纹管内壁瑕疵检测模型及检测方法。

背景技术

近年来，随着深度学习技术的蓬勃发展，计算机视觉取得了巨大的突破，越来越多的视觉感知算法被应用于工业界的检查作业中，代替人眼进行工业产品表面瑕疵或缺陷的检测。现有的基于深度学习的瑕疵检测算法大多是基于目标检测算法和语义分割算法。其中目标检测方法只得到瑕疵的位置和大小，无法感知瑕疵的形状，需要较多的数据监督训练，否则会出现较为严重的漏检情况。而语义分割方法可以得到瑕疵整体的位置和形状信息，但是其逐像素分类的特性且部分瑕疵与背景部分相像这一普遍情况会导致较多误检情况，增加了图像的标注成本。同时不同制造工艺制造出的工业产品，其本身具有的属性各不相同，不可能出现一种泛用的算法处理所有的工业产品瑕疵检测，不同产品需要开发一种对应的瑕疵检测算法。但是由于基于计算机视觉的瑕疵检测可以通过检测自动化或辅助肉眼检测减轻瑕疵检测工作的繁重程度，因此瑕疵检测算法备受工业界青睐。

现存的瑕疵检测方法主要基于目标检测和语义分割两类。其中基于语义分割的算法较多，比如一种基于语义分割的瑕疵检测算法，该算法先将图像放缩到各个不同的尺度，再将图像输入到构建对应于不同尺度图像的网络中，将不同尺度图像得到的结果进行融合，再输入到一个新的网络中得到最终的分割结果，这种方法使用了较大的网络结构，计算速度较慢，但是解决了不同尺度的瑕疵检测问题。而一种基于目标检测的高铁线路紧固件瑕疵检测算法结合了SSD、YOLO等经典目标检测算法构建了一个从粗略到精细的级联瑕疵检测模型，实现对瑕疵的定位到分类这一过程。一种将两者结合的金属表面瑕疵检测方法，先通过一次分割算法将瑕疵粗略地分割出来，再对粗略的分割结果进行一次检测，检测得到含有瑕疵可能性较高的区域，得到了比较精准的缺陷分布位置，再对这些位置实施一次分割算法并进行平滑，得到更加精细的分割结果。

但是这些算法并不适用于航天燃料波纹管内壁瑕疵检测。波纹管内壁瑕疵大多是尺度较小的小目标，这种小目标在整张图像中只占有较小的区域，使用语义分割网络难以将其捕捉。又因为小目标检测任务在目标检测中也是属于难度较大、精度较低的一类任务，使用目标检测算法也很难检测到面积很小的波纹管瑕疵。同时由于波纹管内壁波纹起伏，具有大量的阴影面积，像素级的语义分割很容易将阴影部分归为瑕疵，出现误检情况。由此可见，航天燃料波纹管内壁瑕疵检测在工业产品表面瑕疵检测领域内也是一个相当棘手的问题。

因此，有必要开发一种基于深度学习的波纹管内壁瑕疵检测模型及检测方法。

公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明提出了一种基于深度学习的波纹管内壁瑕疵检测模型及检测方法，提高了对航天燃料波纹管内壁瑕疵的检测精度，对瑕疵频繁出现的位置增加权重，提取更加丰富的特征，提高了分块的分类精度，降低了模型的误检率和漏检率。

根据本发明的一方面，提出了一种基于深度学习的波纹管内壁瑕疵检测模型，其特征在于，该系统包括：

基础网络，包括多个卷积层，用于提取图像中的特征信息；

自适应平均池化层，针对所述特征信息进行缩放，获得缩放特征图；

权重层，用于通过高斯分布拟合所述缩放特征图中像素点对应的权值；

多头注意力模块，用于通过所述特征信息，确定多维权重并与所述特征信息点乘；

分类网络，针对所述权重层与所述多头注意力模块的输出结果级联后进行块级分类，获得n*n的二值图，判断所述二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。

优选地，所述基础网络采用vgg16网络的全卷积部分，每个卷积层后跟随一个批标准化层和激活层。

优选地，将所述基础网络的多个卷积层中的至少一个卷积层的步长设置为2。

优选地，通过高斯分布拟合所述缩放特征图中像素点对应的权值包括：

确定瑕疵中心位置的分布情况；

针对瑕疵中心位置的分布情况进行高斯分布拟合，得到所述缩放特征图中像素点对应的权值。

优选地，所述缩放特征图中像素点对应的权值为：

其中，V为像素点对应的权值大小，d为像素点到瑕疵中心位置的距离，μ与σ分别为均值与方差。

根据本发明的另一方面，提出了一种检测方法，所述方法可以包括：

训练瑕疵检测模型，获得最终瑕疵检测模型；

通过最终瑕疵检测模型对目标图像进行检测，对所述目标图像进行块级分类，获得n*n的二值图，判断所述二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。

优选地，训练瑕疵检测模型，获得最终瑕疵检测模型包括：

在训练集上训练瑕疵检测模型，直到所述瑕疵检测模型收敛，获得最终瑕疵检测模型。

优选地，在训练集上训练所述瑕疵检测模型为：

在训练集上通过反向传播训练所述瑕疵检测模型。

优选地，在训练集上通过反向传播训练所述瑕疵检测模型包括：

将所述基础网络在分类任务中进行预训练；

将预训练的基础网络去除最后的全连接输出层，与后续的瑕疵检测模型相连，继续在所述训练集上进行微调训练。

优选地，还包括：

针对所述目标图像进行预处理，将所述目标图像进行尺寸缩放与归一化。

其有益效果在于：

(1)通过统计大量的瑕疵中心位置分布情况，设置了满足瑕疵中心位置分布的高斯分布权重图，将图像经过特征提取网络得到的特征图使用人工设置的权值进行加权，提高了网络对于瑕疵频繁出现位置的感受能力，以此降低网络对瑕疵的漏检率；

(2)使用多头注意力模块，将提取的特征送到人工权值模块的同时送到该模块中，增强了网络对于不同形状、不同尺度的瑕疵的特征提取能力，因而提升了整个模型的检测召回率，降低了瑕疵检测的漏检率；

(3)采用结构较小的vgg16网络作为特征提取网络，该网络在具有较强特征提取能力的同时具有较快的推理速度；

(4)通过自适应平均池化将特征提取网络中得到的较大特征图进行缩小，降低了后续推理任务中的计算量，降低了该部分网络的计算时间，满足工业界所需要的实时推理功能。

本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的一个实施例的波纹管瑕疵标签示意图。

图2示出了根据本发明的一个实施例的瑕疵检测模型结构的示意图。

图3示出了根据本发明的一个实施例的人工权值拟合的示意图。

图4示出了根据本发明的一个实施例的检测结果的示意图。

具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。

由于波纹管内壁瑕疵种类繁多、形状复杂，有些瑕疵无法与背景分离，同时波纹管内壁起伏不断、阴影面积大，传统的视觉方法对于波纹管瑕疵检测不能适用。因此本发明将采集得到的波纹管图像划分成n*n的小块，根据这些小图像块中是否含有瑕疵将原图标注成大小为n*n的二值图，其中标注为1表示该小图像块中含有瑕疵，标注为0表示小图像块中不含瑕疵。基于该二值图，本发明设计了分块分类网络，网络不同于传统的语义分割任务输出图像大小的检测结果，而是输出n*n块小图像块的分类结作为最终的检测结果，得到瑕疵的位置，满足波纹管瑕疵检测的精度需求。

本发明提供一种基于深度学习的波纹管内壁瑕疵检测模型，包括：

基础网络，包括多个卷积层，用于提取图像中的特征信息；

自适应平均池化层，针对特征信息进行缩放，获得缩放特征图；

权重层，用于通过高斯分布拟合缩放特征图中像素点对应的权值；

多头注意力模块，用于通过特征信息，确定多维权重并与特征信息点乘；

分类网络，针对权重层与多头注意力模块的输出结果级联后进行块级分类，获得n*n的二值图，判断二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。

在一个示例中，基础网络采用vgg16网络的全卷积部分，每个卷积层后跟随一个批标准化层和激活层。

在一个示例中，将基础网络的多个卷积层中的至少一个卷积层的步长设置为2。

在一个示例中，通过高斯分布拟合缩放特征图中像素点对应的权值包括：

确定瑕疵中心位置的分布情况；

针对瑕疵中心位置的分布情况进行高斯分布拟合，得到缩放特征图中像素点对应的权值。

在一个示例中，缩放特征图中像素点对应的权值为：

其中，V为像素点对应的权值大小，d为像素点到瑕疵中心位置的距离，μ与σ分别为均值与方差。

具体地，瑕疵检测可以采用像素级的二值图像分割，但是考虑到波纹管瑕疵的形状与大小变化丰富、参差不齐并且有些絮状物以及无法与背景分离的瑕疵无法进行标注，因此将原有的像素级分类转化为粒度较粗的块级分类，将语义分割的像素级细粒度调整为一小块图像级的粗粒度，针对某小块图像中是否有瑕疵进行检测，提高了波纹管瑕疵检测的精度。

图1示出了根据本发明的一个实施例的波纹管瑕疵标签示意图。

本发明的瑕疵检测模型使用一种n*n的二值图监督训练，训练使用的波纹管瑕疵标签如图1所示，从左到右依次为原图、16*16标注、8*8标注、4*4标注，其中白色部分为含有瑕疵的部分，黑色部分为不含瑕疵的背景部分。通过使用分块分类的思想，将原有的目标检测问题转化为了一类二值块级语义分割问题，同时提高了网络的检测精度。

图2示出了根据本发明的一个实施例的瑕疵检测模型结构的示意图。

本发明的瑕疵检测模型结构如图2所示，其中基础网络采用vgg16网络的全卷积部分，该部分中包含多个卷积层，每个卷积层后跟随一个批标准化层和激活层，vgg16网络中的全卷积部分可以充分提取图像中的特征信息，同时保证了较快的推理速度。

考虑到vgg16网络中对特征图进行下采样时采用的最大值池化层会极大地损失图像的一些细节信息，对于大量的小瑕疵定位极为不利，本发明通过将部分卷积层的步长设置为2代替了最大值池化部分，在不损失较多细节的同时，保证了网络模型的推理速度，在最后的分类网络中也采用了相同的处理。

在基础网络结束后，跟随一个自适应平均池化层，该层网络可以将基础网络部分得到的特征图进行缩放，得到规模较小且大小固定的特征图在提高后续推理速度的同时保证了后续网络可以正常输出n*n大小的检测结果。

之后网络得到的特征图会同时经过权重层与多头注意力模块，该部分提高了网络的特征提取能力以及网络对于瑕疵的感受能力。在最后的分类网络中，针对权重层与多头注意力模块的输出结果级联后进行块级分类，获得n*n的二值图，判断二值图是否含有瑕疵，确定瑕疵位置，输出n*n的瑕疵判断结果。

考虑到瑕疵的形状、规模以及位置具有较高的多变性，这增加了瑕疵检测的难度，提高瑕疵检测模型的漏检率。为了降低模型检测的漏检率，本发明引入人工权值以及多头注意力两个不同的模块，提高了模型对于不同形状瑕疵以及频繁出现瑕疵位置处的感受能力。

图3示出了根据本发明的一个实施例的人工权值拟合的示意图。

其中权值层的拟合图如图3，由于波纹管的中间部分是一个空洞，瑕疵总是分布在四周部分。根据这一特性，统计瑕疵中心位置的分布情况，对分布情况使用高斯分布进行拟合，得到缩放特征图中像素点对应的权值为公式(1)，提高了模型对图像特定区域内瑕疵的感受能力，降低模型的漏检率。

多头注意力模块中使用基础网络得到的特征图，学习一个多维的权重并与原始特征图点乘，提高了网络模型对于不同维度上的局部信息提取能力。

通过上述两个模块的输出结果进行级联后得到的特征图进行块级分类，获得n*n的二值图，对二值图进行卷积与下采样，判断二值图是否含有瑕疵，确定瑕疵位置，输出n*n的瑕疵判断结果。这种设计的分类网络推理速度较快，可以满足实际检测环境中的实时性要求。

本发明提供一种检测方法，包括：

训练瑕疵检测模型，获得最终瑕疵检测模型；

通过最终瑕疵检测模型对目标图像进行检测，对目标图像进行块级分类，获得n*n的二值图，判断二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。

在一个示例中，训练瑕疵检测模型，获得最终瑕疵检测模型包括：

在训练集上训练瑕疵检测模型，直到瑕疵检测模型收敛，获得最终瑕疵检测模型。

在一个示例中，在训练集上训练瑕疵检测模型为：

在训练集上通过反向传播训练瑕疵检测模型。

在一个示例中，在训练集上通过反向传播训练瑕疵检测模型包括：

将基础网络在分类任务中进行预训练；

将预训练的基础网络去除最后的全连接输出层，与后续的瑕疵检测模型相连，继续在训练集上进行微调训练。

在一个示例中，还包括：

针对目标图像进行预处理，将目标图像进行尺寸缩放与归一化。

具体地，采用随机梯度下降(SGD)法来优化瑕疵检测模型，分两步训练瑕疵检测模型：

首先将基础网络vgg16在分类任务中进行预训练，比如可以在ImageNet图像分类挑战中进行充分训练，这样可以使得基础网络部分能够充分学习图像的基本视觉特征；

然后再利用预训练好的基础网络vgg16抛弃最后的全连接输出层，与后续的瑕疵检测模型相连，继续在处理好的数据集上进行微调训练，由于瑕疵检测模型本质上是一种粗粒度的语义分割网络，需要考虑过拟合问题，因此在微调训练时需要适当减少训练次数。由于微调训练次数较少，在微调训练过程中，每次迭代都需要在验证集上测试模型的精度，保存精度最佳模型作为训练的结果。

在波纹管内壁瑕疵检测中，由于大多数瑕疵很小，必须使用较大尺寸的图像进行推理。将训练好的模型用于实际瑕疵检测时需要先对图像进行预处理，先将图像尺寸缩放，然后将图像归一化到零均值、方差为1。将预处理后的图像输入到瑕疵检测模型中进行前向传播推理，得到最后n*n的检测结果。

实施例1

为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。

本发明的瑕疵检测模型使用一种n*n的二值图监督训练，训练使用的波纹管瑕疵标签如图1所示，从左到右依次为原图、16*16标注、8*8标注、4*4标注，其中白色部分为含有瑕疵的部分，黑色部分为不含瑕疵的背景部分。通过使用分块分类的思想，将原有的目标检测问题转化为了一类二值块级语义分割问题，同时提高了网络的检测精度。

本发明的瑕疵检测模型结构如图2所示，其中基础网络采用vgg16网络的全卷积部分，该部分中包含13个卷积层，每个卷积层后跟随一个批标准化层和激活层，vgg16网络中的全卷积部分可以充分提取图像中的特征信息，同时保证了较快的推理速度。

考虑到vgg16网络中对特征图进行下采样时采用的最大值池化层会极大地损失图像的一些细节信息，对于大量的小瑕疵定位极为不利，本发明通过将部分卷积层的步长设置为2代替了最大值池化部分，在不损失较多细节的同时，保证了网络模型的推理速度，在最后的分类网络中也采用了相同的处理。

在基础网络结束后，跟随一个自适应平均池化层，该层网络可以将基础网络部分得到的特征图进行缩放，得到规模较小且大小固定的特征图在提高后续推理速度的同时保证了后续网络可以正常输出n*n大小的检测结果。

之后网络得到的特征图会同时经过权重层与多头注意力模块，该部分提高了网络的特征提取能力以及网络对于瑕疵的感受能力。在最后的分类网络中，将会输出n*n的检测结果。

考虑到瑕疵的形状、规模以及位置具有较高的多变性，这增加了瑕疵检测的难度，提高瑕疵检测模型的漏检率。为了降低模型检测的漏检率，本发明引入人工权值以及多头注意力两个不同的模块，提高了模型对于不同形状瑕疵以及频繁出现瑕疵位置处的感受能力。

其中权值层的拟合图如图3，由于波纹管的中间部分是一个空洞，瑕疵总是分布在四周部分。根据这一特性，统计瑕疵中心位置的分布情况，对分布情况使用高斯分布进行拟合，得到缩放特征图中像素点对应的权值为公式(1)，拟合的结果为μ＝0.3347，σ＝0.1504。

多头注意力模块中使用基础网络得到的特征图，学习一个多维的权重并与原始特征图点乘，提高了网络模型对于不同维度上的局部信息提取能力。

通过上述两个模块的输出结果进行级联后得到的特征图进行瑕疵检测，对得到的特征图进行卷积与下采样得到了最终n*n的检测结果。这里本发明设置n＝8，经过自适应平均池化层时，特征图的尺寸改变为32，经过四层步长为2的卷积层后，便可以得到最终的检测结果，这种设计的分类网络推理速度较快，可以满足实际检测环境中的实时性要求。

采用随机梯度下降(SGD)法来优化瑕疵检测模型，分两步训练瑕疵检测模型：

首先将基础网络vgg16在分类任务中进行预训练，比如可以在ImageNet图像分类挑战中进行充分训练，这样可以使得基础网络部分能够充分学习图像的基本视觉特征；

然后再利用预训练好的基础网络vgg16抛弃最后的全连接输出层，与后续的瑕疵检测模型相连，继续在处理好的数据集上进行微调训练，由于瑕疵检测模型本质上是一种粗粒度的语义分割网络，需要考虑过拟合问题，因此在微调训练时需要适当减少训练次数。由于微调训练次数较少，在微调训练过程中，每次迭代都需要在验证集上测试模型的精度，保存精度最佳模型作为训练的结果。

图4示出了根据本发明的一个实施例的检测结果的示意图。

在波纹管内壁瑕疵检测中，由于大多数瑕疵很小，必须使用较大尺寸的图像进行推理。将训练好的模型用于实际瑕疵检测时需要先对图像进行预处理，先将图像尺寸缩放到752*576，然后将图像归一化到零均值方差为1。将预处理后的图像输入到瑕疵检测模型中进行前向传播推理，得到最后n*n的检测结果，检测结果如图4所示。

本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (8)

1.一种波纹管内壁瑕疵检测模型，其特征在于，包括：

基础网络，包括多个卷积层，用于提取图像中的特征信息；

自适应平均池化层，针对所述特征信息进行缩放，获得缩放特征图；

权重层，用于通过高斯分布拟合所述缩放特征图中像素点对应的权值；

多头注意力模块，用于通过所述特征信息，确定多维权重并与所述特征信息点乘；

分类网络，针对所述权重层与所述多头注意力模块的输出结果级联后进行块级分类，获得n*n的二值图，判断所述二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果；

其中，通过高斯分布拟合所述缩放特征图中像素点对应的权值包括：

确定瑕疵中心位置的分布情况；

针对瑕疵中心位置的分布情况进行高斯分布拟合，得到所述缩放特征图中像素点对应的权值；

其中，所述缩放特征图中像素点对应的权值为：

其中，V为像素点对应的权值大小，d为像素点到瑕疵中心位置的距离，μ与σ分别为均值与方差。

2.根据权利要求1所述的波纹管内壁瑕疵检测模型，其中，所述基础网络采用vgg16网络的全卷积部分，每个卷积层后跟随一个批标准化层和激活层。

3.根据权利要求1所述的波纹管内壁瑕疵检测模型，其中，将所述基础网络的多个卷积层中的至少一个卷积层的步长设置为2。

4.一种基于权利要求1-3中任意一项所述波纹管内壁瑕疵检测模型的检测方法，其特征在于，包括：

训练瑕疵检测模型，获得最终瑕疵检测模型；

通过最终瑕疵检测模型对目标图像进行检测，对所述目标图像进行块级分类，获得n*n的二值图，判断所述二值图是否含有瑕疵，确定瑕疵位置，输出瑕疵判断结果。

5.根据权利要求4所述的检测方法，其中，训练瑕疵检测模型，获得最终瑕疵检测模型包括：

在训练集上训练瑕疵检测模型，直到所述瑕疵检测模型收敛，获得最终瑕疵检测模型。

6.根据权利要求5所述的检测方法，其中，在训练集上训练所述瑕疵检测模型为：

在训练集上通过反向传播训练所述瑕疵检测模型。

7.根据权利要求6所述的检测方法，其中，在训练集上通过反向传播训练所述瑕疵检测模型包括：

将所述基础网络在分类任务中进行预训练；

将预训练的基础网络去除最后的全连接输出层，与后续的瑕疵检测模型相连，继续在所述训练集上进行微调训练。

8.根据权利要求4所述的检测方法，其中，还包括：

针对所述目标图像进行预处理，将所述目标图像进行尺寸缩放与归一化。