CN114332083A - 一种基于PFNet的工业品伪装瑕疵识别方法 - Google Patents

Abstract

本发明涉及工业检测领域，具体涉及利用机器学习、深度学习的一种基于PFNet的工业品伪装瑕疵识别方法,包括如下步骤:步骤（1）工业品经过生产线和质检机上的工业相机，工业相机对工业品进行拍摄，拍摄的图像被保存；步骤（2）基于PFNet搭建伪装瑕疵检测模型，模型包括特征提取模块、定位模块和三个聚焦模块；步骤（3）对步骤（2）中所构建的PFNet模型进行训练，然后使用保存的训练参数对工业品的图像进行伪装瑕疵识别。本发明经过数据的训练所得出的模型，具有更高的灵活性和识别精度，具有很好的实用价值和应用前景。

Description

一种基于PFNet的工业品伪装瑕疵识别方法

技术领域

本发明涉及工业检测领域，具体涉及利用机器学习、深度学习的一种基于PFNet的工业品伪装瑕疵识别方法。

背景技术

目前工业品表面缺陷或瑕疵的检测方法及装置层出不穷，但随着产业的日益发展，以往的检测方法及设备力不从心，暴露出很多难以解决的问题。比如在本发明所涉及的工业品伪装瑕疵检测方面，以往的检测算法在遇到伪装瑕疵时难以检测甚至无法检测，这对工业品缺陷检测精度的提升带来了很大的瓶颈。

伪装瑕疵，指的是在经过相机拍摄后，瑕疵部位的对比度、灰度等参数值和正常部位接近或相同，造成检测方法和设备无法对其进行检测工作。PFNet是深度学习中伪装目标检测或分割任务的专用模型，在面对伪装瑕疵时具有良好的表现能力。

在机器视觉行业及领域，传统的检测算法均是在给定某种特征的基础上，来完成物体分类和目标检测工作；目前随着深度学习技术的发展，很多的检测方法和装置开始借鉴和采用深度学习技术，但在面对伪装瑕疵时，通用的深度学习目标检测算法也难以产生很好的效果，甚至不产生效果。

如果能有效使用自动化的设备，并且采用专用的伪装瑕疵检测算法，识别准确且能实时返回检测结果给自动化设备，则能高效率的完成工业品瑕疵检测工作，大大减少人的工作量，也弥补了传统检测算法、通用深度学习检测算法的不足。因此，训练出能够准确伪装瑕疵的模型成为急需解决的问题。

发明内容

针对上述问题，本发明提供了一种基于PFNet的工业品伪装瑕疵识别方法，用以提高工业品缺陷或瑕疵的识别和回收效率。

本发明提供如下技术方案：一种基于PFNet的工业品伪装瑕疵识别方法，包括如下步骤:步骤（1）工业品经过生产线和质检机上的工业相机，工业相机对工业品进行拍摄，拍摄的图像被保存；步骤（2）基于PFNet搭建伪装瑕疵检测模型，模型包括特征提取模块、定位模块和三个聚焦模块；步骤（3）对步骤（2）中所构建的PFNet模型进行训练，然后使用保存的训练参数进行工业品的图像进行伪装瑕疵识别。

步骤（1）中工业相机采用CCD工业相机，CCD工业相机搭配光源获取图像，CCD工业相机包括面阵CCD工业相机、线阵CCD工业相机、三线传感器CCD工业相机、交织传输CCD工业相机以及全幅面CCD工业相机；光源包括环形光源、条形光源、点光源、方形光源以及同轴光源。CCD 是指电荷耦合器件。根据工业场景的实际需要，可以自由选择所使用的CCD工业相机类型和所使用的光源类型；

步骤（1）中对工业品图像进行标注：使用labelme标注工具进行标注。

步骤（2）中模型包括五层特征提取模块、一个定位模块和三个聚焦模块。

五层特征提取模块基于具有特征提取能力的网络CSPDarkNet53实现，输入是包含有伪装瑕疵的工业品RGB三通道图像，提取到的多等级特征依次分等级送入定位模块和聚焦模块；

其中，输入图像分辨率为416×416大小，在经过第一层处理后变成208×208大小，经过第二层处理后变成104×104大小，经过第三层处理后变成52×52大小，经过第四层处理后变成26×26大小，经过最后一层处理后变成13×13大小；其中，每一层处理的目的，在于提取工业品中伪装瑕疵特征。

定位模块用来初步确定工业品图像中潜在伪装瑕疵的位置，其主要由一个通道注意力机制和一个空间注意力机制依次组成；定位模块输出可表示为F1：

，

其中，F11为通道注意力机制输出的特征图，F12为空间注意力机制输出的特征图；

其中，L是初始化为1并逐步变化的参数，F为输入定位模块的特征图且F∈R^H×W×C，H、W和C分别表示图像的高度、宽度和通道数量，Q、K、V均是对输入定位模块的特征图的重塑，其中{Q，K，V}∈R^N×C并且N＝H×W，“*”表示矩阵乘法；

其中，Q₁、K₁、V₁均是对F11特征图的重塑，其中{Q₁、K₁、V₁}∈R^N×C并且N＝H×W；

在定位模块的最后，本方法使用3个3×3的卷积确定潜在伪装瑕疵的初始位置。

聚焦模块用来获得对工业品图像中伪装瑕疵更优的细节信息预测，消除工业品图像中伪装瑕疵因与周围环境相似形成的干扰信息；在本方法的设计中，去除干扰信息采用如下公式：

其中，F和Fr分别表示输入的高等级特征和微调后的输出特征；conv表示卷积，BN表示正则化，ReLU表示ReLU激活；U表示上采样，Ffpd表示假阳性干扰信息，Ffnd表示假阴性干扰信息；它们是由较高级别的预测进行上采样，再使用sigmoid层进行归一化，使用归一化的结果图以及其反转的结果乘以当前级别的特征，分别生成前景关注F_f和背景关注F_b，之后将其送入两个并行上下文探索块CE中，所分别获得的；

在聚焦模块的最后，通过对Fr的卷积操作，获得更优的预测结果。

在步骤（2）聚焦模块中，上下文探索块CE有四个上下文探索分支，每个分支使用3×3的卷积来缩减通道，L_i×L_i的卷积提取局部特征，扩张率为R_i的3×3扩张卷积来进行语境感知，设置L为1，3，5，9，设置R为1，2，6，8，i等于{1，2，3，4}；第i个CE分支的输出送进第(i+1)个分支以获得在更大感受野中进行的处理；所有的四个分支的输出通过3×3卷积进行级联和融合。此步骤为“上下文语义探索块”，可以更好的消除干扰信息，这个步骤是生成Ffpd和Ffnd的最后一个步骤。

步骤（3）伪装瑕疵检测识别阶段，先对步骤（2）中所构建的PFNet模型（即改进型的PFNet模型）进行训练，然后使用保存的训练参数进行工业品伪装瑕疵预测，具体实现如下：在训练时，首先将工业品图像数据集中的训练集数据送入网络的五层特征提取模块，提取的结果先后分等级送入定位模块和聚焦模块；然后定位模块通过通道注意力块和空间注意力块对图像中的伪装瑕疵进行初步定位，之后聚焦模块反复挖掘伪装瑕疵信息并去除环境干扰信息，最终获得精细的预测结果；

通过上述描述可以看出，本方案与现有技术的优势包括：一、与所有现有的工业品检测的方法的思路不同，本发明创新性地提出使用基于伪装目标检测的方法（即改进的PFNet）实现伪装瑕疵的高效检测，减少了缺陷漏检。二、以往的工业品检测算法面对伪装的瑕疵或缺陷时出现识别困难甚至无法识别的情况，而本发明所提出的基于改进PFNet的工业品伪装瑕疵检测方法，经过数据的训练所得出的模型，具有更高的灵活性和识别精度，具有很好的实用价值和应用前景。

附图说明

图1为基于PFNet的工业品伪装瑕疵检测方法的逻辑图。

图2为PFNet结构图。

具体实施方式

下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

通过附图可以看出，本发明基于PFNet的工业品伪装瑕疵识别方法，1.数据收集，工业品经过生产线和质检机上的工业相机，图像被拍摄保存，图像大小为672×512~3072×2048。2.数据标注，本发明将工业相机拍摄所收集到的工业品图像数据，利用Labelme工具进行数据标注。Labelme工具通常工作在深度学习的数据标注环节，进行数据标注，将图像的前景与背景进行分割，标注出所要识别的物体，为训练阶段准备具有标签和物体图像的数据，每张图像中物体数量为1~5个最佳。3.训练，如图2所示，建立改进版PFNet模型，即搭建主干特征提取网络主backbone文件以及PFNet文件，主干特征提取网络文件文件包括CSPDarkNet53的网络结构，PFNet包括定位模块和聚焦模块，最后利用train文件对深度学习模型进行训练，主干特征提取网络文件、PFNet文件和train文件在同一路径下。

一种基于PFNet的工业品伪装瑕疵识别方法，具体包括以下步骤：步骤（1）工业品经过生产线和质检机上的工业相机，工业相机对工业品进行拍摄，拍摄的图像被保存，图像大小为672×512~3072×2048；

步骤（1）中工业相机采用CCD工业相机，CCD工业相机搭配光源获取图像，CCD工业相机包括面阵CCD工业相机、线阵CCD工业相机、三线传感器CCD工业相机、交织传输CCD工业相机以及全幅面CCD工业相机；光源包括环形光源、条形光源、点光源、方形光源以及同轴光源，本发明在进行相机及光源选型后，选择使用面阵CCD相机，根据立体及平面物体的不同，为立体物体搭配环形光源与条形光源，为平面物体搭配条形光源。步骤（1）中对工业品图像进行标注：使用labelme标注工具进行标注，将图像的前景与背景进行分割，标注出所要识别的物体，为训练阶段准备具有标签和物体图像的数据，每张图像中物体数量为1~5个最佳。

步骤（2）基于PFNet搭建伪装瑕疵检测模型，模型包括特征提取模块、定位模块和三个聚焦模块；

步骤（2）中模型包括五层特征提取模块（特征提取块- 特征提取块）、一个定位模块和三个聚焦模块。五层特征提取模块基于具有特征提取能力的网络CSPDarkNet53实现，输入是包含有伪装瑕疵的工业品RGB三通道图像，提取到的多等级特征依次分等级送入定位模块和聚焦模块；

其中，输入图像分辨率为416×416大小，在经过第一层处理后变成208×208大小，经过第二层处理后变成104×104大小，经过第三层处理后变成52×52大小，经过第四层处理后变成26×26大小，经过最后一层处理后变成13×13大小；

另外，输入图像分辨率还可以为608×608大小，在经过如图2所示的主干特征提取网络中的每一个特征提取块后，图像大小被分别处理为304×304、152×152、76×76、38×38和19×19大小。在经过实施例2将图像大小处理为608×608大小后，伪装瑕疵识别精准度提高，但计算机处理速度下降。

其中，每一层处理的目的，在于提取工业品中伪装瑕疵特征，随着每一层处理，图像分辨率呈1/2倍率下降，感受野提升。

在进入定位模块及聚焦模块前，每一层图像会依次经过3×3大小的卷积层、批标准化和ReLu激活函数层，之后将各层特征图送入定位模块和聚焦模块。

定位模块用来初步确定工业品图像中潜在伪装瑕疵的位置，定位模块输出表示为F1：

，

其中，F11为通道注意力机制输出的特征图，F12为空间注意力机制输出的特征图；

其中，L是初始化为1并逐步变化的参数，F为输入定位模块的特征图且F∈R^H×W×C，H、W和C分别表示图像的高度、宽度和通道数量，Q、K、V均是对输入定位模块的特征图的重塑，其中{Q，K，V}∈R^N×C并且N＝H×W，“*”表示矩阵乘法；

其中，Q₁、K₁、V₁均是对F11特征图的重塑，其中{Q₁、K₁、V₁}∈R^N×C并且N＝H×W；

在定位模块的最后，本方法使用3个3×3的卷积确定潜在伪装瑕疵的初始位置。

聚焦模块用来获得对工业品图像中伪装瑕疵更优的细节信息预测，消除工业品图像中伪装瑕疵因与周围环境相似形成的干扰信息；在本方法的设计中，去除干扰信息采用如下公式：

其中，F和Fr分别表示输入的高等级特征和微调后的输出特征；conv表示卷积，BN表示正则化，ReLU表示ReLU激活；U表示上采样，Ffpd表示假阳性干扰信息，Ffnd表示假阴性干扰信息；

在聚焦模块的最后，通过对Fr的卷积操作，获得更优的预测结果，卷积核大小为3×3。

在聚焦模块中，上下文探索块CE有四个上下文探索分支，每个分支使用3×3的卷积来缩减通道，L_i×L_i的卷积提取局部特征，扩张率为R_i的3×3扩张卷积来进行语境感知，设置L为1，3，5，9，设置R为1，2，6，8，i等于{1，2，3，4}；第i个CE分支的输出送进第(i+1)个分支以获得在更大感受野中进行的处理；所有的四个分支的输出通过3×3卷积进行级联和融合。

步骤（3）对步骤（2）中所构建的改进版PFNet模型进行训练，然后使用保存的训练参数进行工业品的图像进行伪装瑕疵识别。在步骤（3）中对改进版PFNet模型进行训练时，需要设置模型训练的超参数，从而控制模型训练的周期长短和批标准化处理的大小，以及调整模型对于标注数据的学习效果。本实施例中，将模型训练周期设置为200个epoc，将批处理大小设置为8，将学习率设置为1e^-4，学习率衰减设置为0.8，权重衰减设置为4e^-4。

尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于PFNet的工业品伪装瑕疵识别方法，其特征在于包括如下步骤:

步骤（1）工业品经过生产线和质检机上的工业相机，工业相机对工业品进行拍摄，拍摄的图像被保存；

步骤（2）基于PFNet搭建伪装瑕疵检测模型，模型包括特征提取模块、定位模块和三个聚焦模块；

步骤（3）对步骤（2）中所构建的PFNet模型进行训练，然后使用保存的训练参数对工业品的图像进行伪装瑕疵识别。

2.根据权利要求1所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

步骤（1）中工业相机采用CCD工业相机，CCD工业相机搭配光源获取图像，CCD工业相机包括面阵CCD工业相机、线阵CCD工业相机、三线传感器CCD工业相机、交织传输CCD工业相机以及全幅面CCD工业相机；光源包括环形光源、条形光源、点光源、方形光源以及同轴光源。

3.根据权利要求1或2所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

步骤（1）中对工业品图像进行标注：使用labelme标注工具进行标注。

4.根据权利要求1所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

步骤（2）中模型包括五层特征提取模块、一个定位模块和三个聚焦模块。

5.根据权利要求4所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

五层特征提取模块基于具有特征提取能力的网络CSPDarkNet53实现，输入是包含有伪装瑕疵的工业品RGB三通道图像，提取到的多等级特征依次分等级送入定位模块和聚焦模块；

其中，输入图像分辨率为416×416大小，在经过第一层处理后变成208×208大小，经过第二层处理后变成104×104大小，经过第三层处理后变成52×52大小，经过第四层处理后变成26×26大小，经过最后一层处理后变成13×13大小；

其中，每一层处理的目的，在于提取工业品中伪装瑕疵特征。

6.根据权利要求5所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

定位模块用来初步确定工业品图像中潜在伪装瑕疵的位置，定位模块输出表示为F1：

，

其中，F11为通道注意力机制输出的特征图，F12为空间注意力机制输出的特征图；

其中，L是初始化为1并逐步变化的参数，F为输入定位模块的特征图且F∈R^H×W×C，H、W和C分别表示图像的高度、宽度和通道数量，Q、K、V均是对输入定位模块的特征图的重塑，其中{Q，K，V}∈R^N×C并且N＝H×W，“*”表示矩阵乘法；

其中，Q₁、K₁、V₁均是对F11特征图的重塑，其中{Q₁、K₁、V₁}∈R^N×C并且N＝H×W；

在定位模块的最后，本方法使用3个3×3的卷积确定潜在伪装瑕疵的初始位置。

7.根据权利要求6所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

聚焦模块用来获得对工业品图像中伪装瑕疵更优的细节信息预测，消除工业品图像中伪装瑕疵因与周围环境相似形成的干扰信息；在本方法的设计中，去除干扰信息采用如下公式：

其中，F和Fr分别表示输入的高等级特征和微调后的输出特征；conv表示卷积，BN表示正则化，ReLU表示ReLU激活；U表示上采样，Ffpd表示假阳性干扰信息，Ffnd表示假阴性干扰信息；

在聚焦模块的最后，通过对Fr的卷积操作。

8.根据权利要求7所述基于PFNet的工业品伪装瑕疵识别方法，其特征在于，

在步骤（2）聚焦模块中，上下文探索块CE有四个上下文探索分支，每个分支使用3×3的卷积来缩减通道，L_i×L_i的卷积提取局部特征，扩张率为R_i的3×3扩张卷积来进行语境感知，设置L为1，3，5，9，设置R为1，2，6，8，i等于{1，2，3，4}；第i个CE分支的输出送进第(i+1)个分支以获得在更大感受野中进行的处理；所有的四个分支的输出通过3×3卷积进行级联和融合。

Images