CN112233090B - 基于改进注意力机制的薄膜瑕疵检测方法 - Google Patents

Abstract

本发明公开了一种基于改进注意力机制的薄膜瑕疵检测方法。本发明首先实时读取薄膜图像；然后将图像输入到网络模型中进行推理；再通过推理结果判断薄膜图像中是否有瑕疵，如有则自动用红的矩形框标注，否则读取下一张薄膜图像。本发明通过对YOLOv5网络结构的简化修改，通过对网络加入轻量级的注意力模块，使得在不影响速度的前提下能有效提高瑕疵检测的准确率；该方法用于工业薄膜瑕疵检测可以有效提高薄膜产品的质量，且不需要人工干预，节省了人工及时间成本。

Description

基于改进注意力机制的薄膜瑕疵检测方法

技术领域

本发明属于计算机视觉中的视频图像处理和模式识别领域，涉及一种基于深度学习的薄膜瑕疵检测方法。

背景技术

随着国际、国内薄膜市场对薄膜需求的日益增加，薄膜行业内部竞争的日益激烈，越来越多的薄膜生产企业开始使用幅宽更宽、生产速度更快的生产线，以降低成本、提高生产效率。然而在薄膜的实际生产过程中，由于各方面因素的影响，薄膜表面会出现诸如孔洞、蚊虫、黑点、晶点、划伤、斑点等瑕疵，严重影响了薄膜的质量，给生产商带来了不必要的损失。传统的人工检测的方法易受主观因素影响，缺乏一致性；并且人眼易于疲劳，很容易造成瑕疵漏检，从而造成质量损失。

随着卷积神经网络在图像领域的普遍应用以及GPU的迅猛发展，人们将注意力越来越多的转移到深度学习方面，已广泛应用于人脸识别、车辆检测、视频中物体检测与识别、无人机导航等许多领域，成为当前的主流算法。由于薄膜瑕疵的形状多数不规则，分布位置的不确定性较大，基于深度学习的目标检测算法凭借着速度更快、精确度更高的优点，正逐渐替代传统的图像处理算法。

目前基于深度学习的目标检测算法主要分为单阶段和两阶段的检测器。两阶段的算法主要有Fast R-CNN、Faster R-CNN等，首先运用候选区域生成网络(RPN)，然后对它们进行进一步的分类和回归，这类方法精度较高，但是计算复杂，检测时间过长，无法满足工业生产的实时性要求；单阶段的算法主要包括SSD以及YOLO系列，今近年来单阶段的检测算法的精度不断提升，已经达到工业级要求，最新提出的YOLOv5算法对检测的速度更是有大幅度的提升，因此将YOLOv5用于实时瑕疵检测系统显得尤为合适。但是由于薄膜瑕疵的训练样本较少，薄膜瑕疵目标较小以及薄膜瑕疵的特征较为复杂，因此需要进一步改进YOLOv5算法以达到工业薄膜瑕疵检测的要求。

发明内容

基于上述分析，本发明提供了一种基于改进的注意力机制的薄膜瑕疵检测方法，该方法优化了YOLOv5的网络结构，增强了网络提取的特征表示，加强的特征表示包含了像素点的上下文信息，适用于薄膜生产过程中进行实时薄膜表面瑕疵检测，能够有效提高瑕疵检测的准确率。

一种基于改进的注意力机制的薄膜瑕疵检测方法，包括如下步骤：

步骤1、使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到一个薄膜数据集；

步骤2、在coco大型目标检测数据集上训练YOLOv5网络，得到一个YOLOv5的预训练网络模型；

步骤3、对YOLOv5的预训练网络模型的结构进行修改；

步骤4、在薄膜数据集上重新训练修改过的网络模型，训练得到一个新的网络模型，即目标网络模型；

步骤5、将目标网络模型加载到薄膜实时检测系统中，将相机采集的实时薄膜数据载入系统中进行检测；

其中步骤3具体是按如下步骤处理主干网络输出的特征表示X：

(1)将图像I中所有像素结构化为K个目标区域{M₁,M₂,…,M_K}，每个目标区域M_k对应于类k，由一个2维映射表示，其中每个2维映射表示对应像素属于类k的程度。

(2)通过将第k个目标区域中所有像素的表示集合，将每个目标区域表示为f_k，即将所有属于第k个目标区域的像素按相似度加权集合表示，形成第k个目标区域。

(3)计算每个像素与每个目标区域的关系。

(4)通过对K个目标区域表示进行聚合，并考虑每个像素与所有目标区域的关系，对每个像素的表示进行增强，得到像素p_i的对象上下文表示y_i。

(5)对原始像素表示X进行如下两个运算：

其中M_c和M_s分别代表在通道维度和空间维度上做注意力操作。

(6)像素z_i最终由两部分聚合得到，经过通道和空间注意力得到的特征X″_i以及对象上下文表示y_i:

其中ω(·)为转换函数。

进一步说，步骤4具体是：将经过修改的网络模型在薄膜数据集上进行训练，训练时将网络模型中未修改部分的参数载入预训练模型的网络参数，修改的部分参数进行Kaiming初始化，经过训练后得到目标网络。

进一步说，步骤5具体是：将采集薄膜图像的相机部署在生产线上，实时获取薄膜图像，将图像传入系统中进行实时检测。若检测到瑕疵，系统自动将图像中的瑕疵用矩形框标注出来。

本发明的有益效果是：本发明主要针对薄膜瑕疵数据量少，瑕疵较小，且特征不明显，导致使用深度学习的方法识别检测的难度大大提升。本发明提出的优化结构包含两个部分，第一部分让主干网络提取的特征通过一个通道和空间串行的注意力模块，给原始特征中需要重点关注的特征进行加权，增加了特征的表现力；第二部分让原始特征通过一个有效获取特征上下文信息的模块，使得到的特征可以充分利用像素点与其他上下文像素点的关系，可以更显示的利用目标区域的特征。最后将两部分改进后的特征融合，得到一个增强的特征表示，该增强的特征使模型重点关注需要被注意的特征，且由于加入的模块都是轻量级的，使模型能在不影响速度的情况下，有效提高瑕疵检测的准确率。

具体说明

图1为本发明瑕疵检测流程示意图；

图2为本发明改进的瑕疵检测网络修改示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明提供一种基于改进的注意力机制的薄膜瑕疵检测的方法。薄膜检测系统的工作流程如图1所示，其步骤如下：

(1)系统实时读取薄膜图像；

(2)将图像输入到网络模型中进行前向推理；

(3)系统根据推理结果判断薄膜图像中是否有瑕疵，如果有瑕疵则进入步骤(4)，否则进入步骤(5)；

(4)系统将瑕疵用矩形框标注出来，并提示该图像存在瑕疵；

(5)系统判断是否还有未读取的图像，如果有回到步骤(1)，否则结束此次检测。

其中的网络模型由以下方式得到：

步骤1、使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到一个薄膜数据集；

步骤2、在coco大型目标检测数据集上训练YOLOv5网络，得到一个YOLOv5的预训练网络模型；

步骤3、对YOLOv5网络模型的结构进行修改；

步骤4、在薄膜数据集上重新训练修改过的网络，训练得到一个新的网络模型，即目标网络模型。

其中修改YOLOv5网络模型的结构，按如下步骤处理主干网络输出的特征表示X，见图2：

(1)将图像I中所有像素结构化为K个软目标区域 {M₁,M₂,…,M_K}，每个目标区域M_k对应于类k，由一个2维映射表示，其中每个2维映射表示对应像素属于类k的程度。从主干网络输出的特征表示计算K个目标区域。在训练过程中，利用交叉熵损失在 ground-truth的监督下学习目标区域生成器。

(2)通过将第k个目标区域中所有像素的表示集合，将每个目标区域表示为f_k，即将所有属于第k个目标区域的像素按相似度加权集合表示，形成第k个目标区域，其公式如下：

其中，X_i是像素p_i的表示。

是像素p_i属于k目标区域程度的归一化矩阵。

(3)计算每个像素与每个目标区域的关系如下：

其中，κ(X,f)＝φ(X)^Tψ(f)是非规范关系函数。φ(·)和ψ(·)为两个相同的转换函数，其步骤为先后经过一个1x1的卷积层，一个 BatchNorm归一化函数和一个ReLU激活函数。

(4)通过对K个目标区域表示进行聚合，并考虑其与所有目标区域的关系，对每个像素的表示进行增强，像素p_i的对象上下文表示y_i计算公式如下：

其中δ(·)和ρ(·)为两个相同的转换函数，其步骤为先后经过一个 1x1的卷积层，一个BatchNorm归一化函数和一个ReLU激活函数。

(5)对原始像素表示X进行如下两个运算：

其中M_c和M_s分别代表在通道维度和空间维度上做注意力操作。 M_c的具体做法如下：

其中σ(·)为sigmod函数，MLP(·)为多层感知机，AvgPool(·)为平均池化操作，MaxPool(·)为最大池化操作，

和/>

分别代表在通道维度上经过平均池化和最大池化得到的特征表示，W₀和W₁代表的是多层感知机中的两层参数。

M_s的具体做法如下：

其中f^7×7(·)代表7x7的卷积操作，

和/>

分别代表在空间维度上经过平均池化和最大池化得到的特征表示。

(6)像素z_i最终由两部分聚合得到，经过通道和空间注意力得到的特征X″_i以及对象上下文表示y_i:

其中ω(·)为转换函数，其步骤为后经过一个1x1的卷积层，一个BatchNorm归一化函数和一个ReLU激活函数。

Claims (3)

1.基于改进注意力机制的薄膜瑕疵检测方法，其特征在于该方法包括如下步骤：

步骤1、使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到一个薄膜数据集；

步骤2、在coco大型目标检测数据集上训练YOLOv5网络，得到一个YOLOv5的预训练网络模型；

步骤3、对YOLOv5的预训练网络模型的结构进行修改；

步骤4、在薄膜数据集上重新训练修改过的网络模型，训练得到一个新的网络模型，即目标网络模型；

步骤5、将目标网络模型加载到薄膜实时检测系统中，将相机采集的实时薄膜数据载入系统中进行检测；

其中步骤3具体是按如下步骤处理主干网络输出的特征表示X：

(1)将图像I中所有像素结构化为K个目标区域{M₁，M₂，...，M_K}，每个目标区域M_k对应于类k，由一个2维映射表示，其中每个2维映射表示对应像素属于类k的程度；

(2)通过将第k个目标区域中所有像素的表示集合，将每个目标区域表示为f_k，即将所有属于第k个目标区域的像素按相似度加权集合表示，形成第k个目标区域；

(3)计算每个像素与每个目标区域的关系；

(4)通过对K个目标区域表示进行聚合，并考虑每个像素与所有目标区域的关系，对每个像素的表示进行增强，得到像素p_i的对象上下文表示y_i；

(5)对原始像素表示X进行如下两个运算：

其中M_c和M_s分别代表在通道维度和空间维度上做注意力操作；

(6)像素z_i最终由两部分聚合得到，经过通道和空间注意力得到的特征X″_i以及对象上下文表示y_i：

其中ω(·)为转换函数。

2.根据权利要求1所述的基于改进注意力机制的薄膜瑕疵检测方法，其特征在于：

步骤4具体是：将经过修改的网络模型在薄膜数据集上进行训练，训练时将网络模型中未修改部分的参数载入预训练模型的网络参数，修改的部分参数进行Kaiming初始化，经过训练后得到目标网络。

3.根据权利要求1所述的基于改进注意力机制的薄膜瑕疵检测方法，其特征在于：

步骤5具体是：将采集薄膜图像的相机部署在生产线上，实时获取薄膜图像，将图像传入系统中进行实时检测；若检测到瑕疵，系统自动将图像中的瑕疵用矩形框标注出来。

Images