CN115908356A - 一种基于LDLFModel的PCB缺陷检测方法 - Google Patents

Abstract

本申请涉及一种基于LDLFModel的PCB缺陷检测方法，它包括如下步骤：对采集的PCB数据集进行增强；构建LDLFModel网络模型，模型的主干网络为MobileNet V3‑Small网络；在主干网络的最后一层和Neck部分加入位置注意力机制，并以Eiou loss作为模型的目标框损失函数，对模型进行训练；将待检测PCB数据集输入切割模块进行切割，再输入至训练好的模型中进行预测，最后将预测结果输入还原模块还原为最终的可视化结果。本发明使用LDLFModel网络模型作为检测模型，在保证检测精度的基础上，进一步的压缩模型的参数量和计算量，方便较低性能的设备部署，同时提高缺陷检测的效率和精度。

Description

一种基于LDLFModel的PCB缺陷检测方法

技术领域

本申请涉及PCB缺陷识别和检测领域，具体涉及一种基于LDLFModel的PCB缺陷检测方法。

背景技术

印刷电路板(Printed Circuit Board，PCB)又称为印刷线路板或印制电路板。印刷电路板是各种电子产品的主要部件，有“电子产品之母”之称，它是任何电子设备及产品均需配备的,其性能的好坏在很大程度上影响到电子产品的质量。几乎每一种电子设备都离不开PCB，小到电子手表、计算器，大到航空航天、军用武器系统等，都包含各式各样，大小各异的PCB板。近年来，随着生产工艺的不断提高，PCB正在向超薄型、小元件、高密度、细间距方向快速发展。这种趋势必然给质量检测工作带来了很多挑战和困难。因此PCB缺陷检测已经成为PCB制造过程中的一个核心问题，是电子产品制造厂商非常关注的问题。

目前对于PCB缺陷检测方法主要分为以下几种：第一种是人工目检，人工目检主要依靠检测人员的主观判断PCB缺陷种类和位置，由于是人眼检测，眼睛容易疲劳，从而会造成PCB缺陷不能被发现，同时人工目检的方法检测效率低下。第二种是自动光学检测技术(Automatic optical inspect，AOI)，自动光学检测技术通过计算机视觉系统将印制板成品的表面图像信息送入到计算机中，运用图像处理和模式识别技术，对表面图像进行处理、分析并将其与标准图像进行比较，从而对印制板加工的表面质量问题进行检查。由于采用了多摄像头技术，因此对于很多平常难以检测到的缺陷都可以发现，功能十分强大。但是，它有一个弱点：价格昂贵。由于进口设备价格昂贵，给国内印制电路板厂家带来了巨大的经济压力，而且这些设备往往不适合国内操作人员的习惯，在使用过程中不能充分利用其功能，造成了资源的极大浪费。第三种是基于传统的数字图像特征缺陷检测技术近年来无损探伤领域得到广泛应用。虽然该方法检测精度可观，并且能大大的降低检测设备的成本，但是该方法依旧存在不足，不足之处在于该方法需要人工设置缺陷特征，这种方式工作量大，效率低下，同时该方法识别的精度还有待提高。第四种是基于深度学习的缺陷检测方法，由于基于深度学习的方法在缺陷检测方面效果得到很大程度的提升，基于深度学习检测精度高，检测效率高，基于深度学习的缺陷检测方法得到广泛的应用。

近年来，随着深度学习的发展，越来越多的学者将深度学习应用到缺陷检测中。当前基于深度学习的PCB缺陷检测方法主要采用以Faster R-CNN为代表的二阶段缺陷检测算法和以YOLO为代表的一阶段缺陷检测算法。其中，虽然Faster R-CNN具有较高的检测精度，并且具有一定的检测速度，但是Faster R-CNN在特征图上使用锚点框对应原图，而锚点框经过多次下采样操作，对应原图一块较大的区域，导致Faster R-CNN检测PCB缺陷小目标的效果并不是很好，针对检测缺陷小目标效果不理想的问题，单阶段检测算法YOLO v5可对不同尺度的缺陷进行目标检测，对缺陷小目标检测具有较好的效果。但是YOLO v5整体网络的参数量和计算量大，难以部署到轻量级设备上，需要提高检测设备的便携性，同时检测精度依旧有待于提高，并且在检测过程中存在小缺陷漏检的情况。

发明内容

本发明的目的在于，提供一种基于LDLFModel的PCB缺陷检测方法，使用LDLFModel网络模型作为一阶段检测模型，在保证检测精度的基础上，进一步的压缩模型的参数量和计算量，方便较低性能的设备部署，同时提高缺陷检测的效率和精度。

本发明采取的技术方案是：一种基于LDLFModel的PCB缺陷检测方法，包括如下步骤：

S1：对采集的PCB数据集进行数据增强，形成训练数据；

S2：构建深度学习轻量级融合网络模型，即LDLFModel网络模型；所述LDLFModel网络模型包括Backbone部分、Neck部分和Prediction部分；Backbone部分采用MobileNet v3-Small作为特征提取网络，并在MobileNet v3-Small的最后一层加入了位置注意力机制；Neck部分采用特征金字塔FPN和路径融合PAN相结合的方式进行特征融合，并在Neck部分中加入了位置注意力机制，获得增强的特征层；Prediction部分为YOLO head模块，用于进行目标预测；

S3：对所述LDLFModel网络模型进行训练，具体步骤如下：

S301：将经过数据增强后的PCB数据集输入到所述LDLFModel网络模型的Backbone部分中，通过带注意力机制的MobileNet v3-Small进行依次下采样后，获得三个不同分辨率的有效特征层；

S302：将步骤S301中获得的三个有效特征层输入到Neck部分进行特征融合，对三个有效特征层进行依次进行上采样和下采样操作，采用快速归一化融合的方式进行特征融合，获得三个增强的有效特征层；

S303：将步骤S302中获得的三个增强的有效特征层输入到YOLO head模块中预测PCB缺陷目标的中心点位置，获取预测框宽高、置信度以及PCB缺陷目标类别信息，并采用目标框损失函数Eiou loss作为所述LDLFModel网络模型的损失函数ζ_EioU，提升预测框定位的准确性；

S4：将训练好的LDLFModel网络模型用于识别PCB缺陷，获取缺陷检测结果，具体方法为：将待检测的PCB缺陷数据集输入切割模块进行切割，将待检测的PCB缺陷数据集切割成小图，左右相邻或者上下相邻的小图之间具有20％的重叠区域，将切割成的小图输入训练好的LDLFModel网络模型进行PCB缺陷检测，输出带有检测结果的小图，并将带有检测结果的小图输入还原模块进行拼接还原，获得最终的可视化检测结果。

进一步地，所述步骤S1的具体方法为：对PCB数据集进行随机翻转、随机镜像、随机亮度变化以及随机缩放处理，进而扩充数据集的数量，然后采用Mosica数据增强的方式，获得最终的训练数据。

进一步地，所述步骤S2中位置注意力机制用于进行坐标信息的嵌入和坐标信息的生成；坐标信息嵌入的原理为：

对给定输入特征x，使用尺寸为(H，1)或(1，W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码，输出

的具体表达式为：

其中，W为池化核的宽，m为池化核在W空间范围的取值，x_c(h,m)为高度为h，W取m的特征图输入张量，

为高度为h的第c通道的输出；

宽度为w的第c通输出

的具体表达式为：

其中，H为池化核的高，n为池化核在H空间范围的取值，x_c(n,w)为宽度为w，H取n的特征图输入张量，

为宽度为w的第c通道的输出；

坐标信息的生成原理为：

经过坐标信息嵌入中的变换后，对变换后的输出结果

进行Concat操作得到[z^h,z^w]，最后经过非线性激活函数δ得到空间信息在水平方向和垂直方向进行编码的中间特征映射f，具体表达式如下：

f＝δ(F₁([z^h,z^w]))

其中，F₁为1×1卷积变换函数；

然后沿着空间维数将中间特征映射f分解为2个单独的张量f^h和f^w，再利用2个1×1卷积变换函数F_h和F_w以及非线性激活函数σ，即sigmoid函数，分别将f^h和f^w变换为具有相同通道数的张量g^h和g^w，具体表达式如下：

g^h＝σ(F_h(f^h))

g^w＝σ(F_w(f^w))

则位置注意力机制的输出y_c(m,n)的具体表达式为：

其中，x_c(m,n)为通道数取c，特征图的宽度为m，特征图的高度取n的输入特征图，

为通道数取c，高度为h，宽度为m的张量，

为通道数取c，宽度为w，高度为n的张量。

进一步地，所述步骤S302中，快速归一化融合的表达式为：

其中，O为特征融合的结果，w_i表示第i个输入特征I_i所对应的学习权重，∈为不为0的常数，用于保证数值的稳定性；通过对每个w_i进行一次Relu操作，保证w_i的取值大于等于0；

x级和x+1级特征层在x级的融合情况具体表述为：

其中，Resize是上下采样操作，Conv是对特征的卷积操作，w_i表示第i个输入特征I_i所对应的学习权重，w_i+1表示第i+1个输入特征I_i+1所对应的学习权重，

表示第k级融合后的特征输出，

表示第k级的特征输入，

表示第k+1级的特征输入。

进一步地，所述步骤S303中，所述损失函数ζ_EioU的具体表达式为：

其中，ρ(b^p,b^gt)为预测框和真实框中心点的欧氏距离，ρ(w,w^gt)为预测框宽和真实框宽的欧氏距离，ρ(h,h^gt)为预测框高和真实框高的欧氏距离，t为目标框的真实框最小外接矩形的面积对角线，T_w为最小外接框的宽度，T_h为最小外接框的高度，IoU为预测框和真实框的交并比，A为预测框，B为真实框。

进一步地，所述步骤S4中，所述切割模块的切割方法为：

设置切割系数mul，当mul＝1可关闭切割层，当mul>1表示开启切割层，其中切割成小图的数量N与mul的关系为：

N＝mul²

首先获取待检测PCB图片的长x_size和宽y_size；再分别计算切割框的长x_smoc和宽y_smoc：

再计算每个切割位置的起始坐标(x_starpoint,y_starpoint)：

其中，p和q为自然数；

再计算最后一个切割位置的相对坐标(x_real，y_real)

x_real＝min(x_starpoint+x_smoc,x_size)

y_real＝min(y_starpoint+y_smoc,y_size)

比较待检测图片长和宽与最后一个切割位置的相对坐标，判断是否刚好切割完，如果不能刚好切割完，则最后一个切割框位置取(x_real，y_real)，使最后一个切割框与待检测图片的右边界平齐；

所述还原模块将所有切割小图拼接还原的具体方法为：根据每个切割点起始坐标(x_starpoint,y_starpoint)将带检测结果的切割小图进行拼接，进行非极大值抑制，去除多余的冗余框，得到最终的可视化检测结果。

本发明的有益效果在于：

(1)本发明针对待检测PCB图片分辨率过高，目标缺陷小检测困难的问题，在LDLFModel网络模型检测前加入了切割模块，在LDLFModel网络模型检测后加入还原模块，并对输入数据进行Mosaic增强，以及采用迁移学习获得更好的训练效果等，有效地解决了小缺陷易漏检的问题；

(2)本发明通过在LDLFModel网络模型的主干网络的最后一层和Neck部分中引入位置注意力机制，采用轻量级特征提取网络MobileNet V3-Small作为主干网络，采用具有更高定位精准度的Eiou_loss函数作为LDLFModel网络模型的损失函数，并采用快速归一化融合方式进行特征加权融合，有效解决了传统PCB缺陷检测方法，检测效率低，检测效果有待提高以及检测设备成本高等问题，提升了缺陷检测定位的精度和准确度，并利于轻量级设备部署。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例的方法流程图；

图2为本发明实施例中MobileNet V3-Small的网络结构示意图；

图3为本发明实施例中位置注意力机制的结构示意图；

图4为本发明实施例中LDLFModel网络模型的结构示意图；

图5为本发明实施例PCB图片的切割原理图；

图6为本发明实施例PCB图片缺陷检测结果的示意图；

图7为本发明实施例检测结果的混淆矩阵的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

如图1～图4所示，一种基于LDLFModel的PCB缺陷检测方法，包括如下步骤：

S1：对采集的PCB数据集进行增强，形成训练数据，具体方法为：对PCB数据集进行随机翻转、随机镜像、随机亮度变化以及随机缩放处理，进而扩充数据集的数量，然后采用Mosica数据增强的方式，获得最终的训练数据。本发明实施例中采集的最原始的PCB数据包含六种PCB缺陷，分别是焊点漏焊(missing_hole)、开路(open_circuit)、短路(short)、鼠咬(mouse_bite)、毛刺(spur)、余铜(spurious_copper)。最原始的PCB数据分别是焊点漏焊65张、开路81张、短路82张、鼠咬72张、毛刺73、余铜77张，总共450张。数据经过扩充后每类扩充为原来的24倍，最终经过扩充后总的数据集数量为10800张，然后继续采用Mosica数据增强方式对PCB数据图片进行随机拼接后再随机缩放和随机旋转等操作，进而提升本发明模型对小目标的检测效果。经过扩充处理的数据集的图片类型和数量如表1所示。

表1缺陷数据集的类型及数量

缺陷的类型	数量
		焊点漏焊	1560
短路	1968
		开路	1944
鼠咬	1728
		余铜	1848
毛刺	1752

S2：构建深度学习轻量级融合网络模型，即LDLFModel网络模型；所述LDLFModel网络模型的结构如图4所示包括Backbone部分、Neck部分和Prediction部分；Backbone部分采用MobileNet v3-Small作为特征提取网络，并在MobileNet v3-Small的最后一层加入了位置注意力机制，Backbone部分用于提取特征；Neck部分采用特征金字塔FPN，即FeaturePyramid Networks和路径融合PAN，即Path Aggregation Network相结合的方式进行特征融合，并在Neck部分中加入了位置注意力机制，获得增强的特征层；Prediction部分包括YOLO head模块，用于进行目标预测。

S3：对所述LDLFModel网络模型进行训练，具体步骤如下：

S301：将经过数据增强后的PCB数据集输入到所述LDLFModel网络模型的Backbone部分中，MobileNet v3-Small主要由线性瓶颈的倒残差结构构成，线性瓶颈的倒残差结构首先将输入特征经过1×1Conv，然后经过3×3Depthwise Separable Conv，最后将输入和输出通过Short Cut连接，具体结构图如图2所示。为了进一步提升检测效果，在MobileNetv3-Small的最后一层加入了如图3所示的位置注意力机制。MobileNet v3-Small进行依次下采样后，获得三个不同分辨率的有效特征层，三个有效特征层分别是(120，120，24)、(60，60，48)和(30，30，96)；

位置注意力机制包括坐标信息的嵌入和坐标信息的生成，在坐标信息嵌入的过程中，为了促使位置注意力机制能够捕获具有精准位置信息的远程空间交互，输入特征图首先通过全局池化进行分解，转化成一对一维特征编码操作。坐标信息嵌入的原理为：

对给定输入特征x，使用尺寸为(H，1)或(1，W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码，输出z_c ^h(h)的具体表达式为：

其中，W为池化核的宽，m为池化核在W空间范围的取值，x_c(h,m)为高度为h，W取m的特征图输入张量，

为高度为h的第c通道的输出；

宽度为w的第c通输出

的具体表达式为：

其中，H为池化核的高，n为池化核在H空间范围的取值，x_c(n,w)为宽度为w，H取n的特征图输入张量，

为宽度为w的第c通道的输出。

上述2种变换分别沿两个空间方向聚合特征，得到一对方向感知的特征图，这2种转换也使得位置注意力机制捕捉到沿着一个空间方向的长期依赖关系，并保存沿着另一个空间方向的精确位置信息，有助于更准确地定位PCB缺陷。

坐标信息的生成原理为：

经过坐标信息嵌入中的变换后，对变换后的输出结果

进行Concat操作得到[z^h,z^w]，最后经过非线性激活函数δ得到空间信息在水平方向和垂直方向进行编码的中间特征映射f，具体表达式如下：

f＝δ(F₁([z^h,z^w]))

其中，F₁为1×1卷积变换函数；

然后沿着空间维数将中间特征映射f分解为2个单独的张量f^h和f^w，再利用2个1×1卷积变换函数F_h和F_w以及非线性激活函数σ，即sigmoid函数，分别将f^h和f^w变换为具有相同通道数的张量g^h和g^w，具体表达式如下：

g^h＝σ(F_h(f^h))

g^w＝σ(F_w(f^w))

则位置注意力机制的输出y_c(m,n)的具体表达式为：

其中，x_c(m,n)为通道数取c，特征图的宽度为m，特征图的高度取n的输入特征图，

为通道数取c，高度为h，宽度为m的张量，

为通道数取c，宽度为w，高度为n的张量。

如图3所示，位置注意力机制的算法思路为：首先是对输入特征图分别提取两个维度的的特征，分别提取高度和宽度方向的两组特征，然后将两个维度的特征进行Concat操作，再经过1×1的卷积操作构造远程依赖关系，进而得到高度方向和宽度方向信息混合的结果，再经过快速归一化和h-swish激活函数进行非线性激活，再通过Split函数分开后，分别对输出结果进行卷积操作得到两组注意力，再进过sigmoid函数，将两组注意力的值框定到0～1之间，由于两组注意力机制的维度不一样，因此，通过广播机制的方式，将这两组注意力机制相乘得到和特征图维度相同的最终注意力，最后将最终获取的注意力与输入特征图进行点乘操作，完成位置注意力机制的添加，这样可以保证特征图上的特征点重要性的区分，利于最终缺陷位置的定位，提高模型的准确性。

通过上述方式，LDLFModel网络模型既可以沿一个空间方向捕获远程依赖关系，还可以沿另一个空间方向保留精确的位置信息。然后将得到的特征图单独编码成一对方向感知和位置敏感的注意力图，方向感知和位置敏感的注意力图可以互补地应用于输入特征图以增强PCB缺陷的表示。

S302：将步骤S301中获得的三个有效特征层输入到Neck部分进行特征融合，先对三个有效特征层进行依次进行上采样和下采样操作，上采样操作和下采样操作均为构建双重特征金字塔的过程，在构建双重特征金字塔的过程中，采用快速归一化融合的方式进行特征融合。同时，为了进一步的提升模型的精准度，在Neck部分中的每个1×1Conv后加入位置注意力机制，最后获得三个增强的有效特征层，三个增强的有效特征层分别是(120，120，33)、(60，60，33)以及(30，30，33)。

快速归一化融合的表达式为：

其中，O为特征融合的结果，w_i表示第i个输入特征I_i所对应的学习权重，∈为不为0的常数，用于保证数值的稳定性，在本发明实施例中，∈取0.0001，保证分母不为0；通过对每个w_i进行一次Relu操作，保证w_i的取值大于等于0；每个归一化权重的值均介于0和1之间，使得快速归一化融合效率高，在GPU上的运行速度快。

x级和x+1级特征层在x级的融合情况具体表述为：

其中，Resize是上下采样操作，Conv是对特征的卷积操作，w_i表示第i个输入特征I_i所对应的学习权重，w_i+1表示第i+1个输入特征I_i+1所对应的学习权重，

表示第k级融合后的特征输出，

表示第k级的特征输入，

表示第k+1级的特征输入。

S303：将步骤S302中获得的三个增强的有效特征层输入到YOLO head模块中预测PCB缺陷目标的中心点位置、预测框的宽高、置信度以及PCB缺陷目标类别信息，为了进一步的提升预测框定位的精准性，LDLFModel网络模型采用目标框损失函数Eiou loss作为所述LDLFModel网络模型的损失函数ζ_EioU，提升预测框定位的准确性；损失函数ζ_EioU的具体表达式为：

其中，ρ(b^p,b^gt)为预测框和真实框中心点的欧氏距离，ρ(w,w^gt)为预测框宽和真实框宽的欧氏距离，ρ(h,h^gt)为预测框高和真实框高的欧氏距离，t为目标框的真实框最小外接矩形的面积对角线，T_w为最小外接框的宽度，T_h为最小外接框的高度，IoU为预测框和真实框的交并比，A为预测框，B为真实框。

PCB缺陷的预测过程如下：

LDLFModel网络模型通过Kmeans聚类算法获得9个锚框，每三个锚框分别负责大、中以及小特征图，YOLO head模块根据所得三个增强的特征层的大小将输入特征图划分成S×S个网格，其中，S为网格边长。如果检测的缺陷的中心位置落在该网格中，那么这个网格就负责检测PCB缺陷目标。每个网格将获得三个初始的预测框，初始的预测框则是在锚框的基础上通过计算初始的预测框相对于锚框中心坐标的偏移量，再根据锚框的宽和高分别计算初始的预测框相对于锚框的宽和高的缩放系数，以锚框为基准进行尺度缩放得到初始的，最后三个初始预测框会与数据集标定好的真实框计算两者的交并比IOU，获取最佳的预测框。获取最佳的预测框后，根据增强的特征层每一维向量计算预测框中的该类缺陷的概率，最后计算置信度，置信度指的是该预测框内存在待检测对象且预测框框定待检测对象的位置比较精准，通过上述操作预测最终的PCB缺陷的种类的位置。

S4：将训练好的LDLFModel网络模型用于识别PCB缺陷，获取缺陷检测结果，具体方法为：将待检测的PCB缺陷数据集输入切割模块进行切割，将待检测的PCB缺陷数据集切割成小图，将待检测的PCB缺陷数据集切割成小图能够提升LDLFModel网络模型缺陷小目标的识别能力，以降低PCB缺陷小目标的漏检率。为了保证待检测的PCB小目标缺陷不被切割成两半，本发明实施例中左右相邻或者上下相邻的小图之间具有20％的重叠区域。将切割成的小图输入训练好的LDLFModel网络模型进行PCB缺陷检测，输出带有检测结果的小图，并将带有检测结果的小图输入还原模块进行拼接还原，获得最终的可视化检测结果。

切割模块的切割原理图如图5所示，在进行图片切割时，设置切割系数mul，当mul＝1可关闭切割层，当mul>1表示开启切割层，其中切割成小图的数量N与mul的关系为：

N＝mul²

首先获取待检测PCB图片的长x_size和宽y_size；再分别计算切割框的长x_smoc和宽y_smoc：

再计算每个切割位置的起始坐标(x_starpoint,y_starpoint)：

其中，p和q为自然数；

再计算最后一个切割位置的相对坐标(x_real，y_real)

x_real＝min(x_starpoint+x_smoc,x_size)

y_real＝min(y_starpoint+y_smoc,y_size)

比较待检测图片长和宽与最后一个切割位置的相对坐标，判断是否刚好切割完，如果不能刚好切割完，则最后一个切割框位置取(x_real，y_real)，使最后一个切割框与待检测图片的右边界平齐；

所述还原模块将所有切割小图拼接还原的具体方法为：根据每个切割点起始坐标(x_starpoint,y_starpoint)将带检测结果的切割小图进行拼接，进行非极大值抑制，去除多余的冗余框，得到最终的可视化检测结果。

本发明实施例得到的检测结果如图6所示，通过可视化结果表明，本发明实施例具有较高的缺陷检测准确率和缺陷定位准确度。本发明实施例的混淆矩阵如图7所示，由混淆矩阵可知，本发明实施例整体的检测效果较好，缺陷种类区分的准确性高，其中mi_ho、mo_bi、op_ci、sh、sp和sp_co、ba_FP、ba_FN分别表示missing_hole、open_circuit、short、mouse_bite、spur、spurious_copper、background FP以及background FN，其中backgroundFP表示背景的图片被错误识别为缺陷，background FN表示缺陷的图片被错误识别为背景。

将本发明实施例所述的LDLFModel网络模型和现有技术中常用的几种检测模型进行性能对比，可得到如表2所示的对比结果。

表2实验结果的对比

模型	主干网络	Map(％)	帧速率(帧/秒)
				YOLO v3	Darknet 53	91.35	40
YOLO v5	CSPDarknet 53	92.21	79
				Faster R-CNN	Resnet 101	83.70	101
LDLFModel	MobileNet V3-Small-CA	99.0	67

从表2可以看出，本发明实施例所述的LDLFModel网络模型对比YOLO v3、YOLO v5以及Faster R-CNN，在检测的精确度方面有大幅度的提升，并且检测的速度也远远超过YOLO v3，在检测精度和检测效率上，具有较好的综合性能。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于LDLFModel的PCB缺陷检测方法，其特征在于，包括如下步骤：

S1：对采集的PCB数据集进行数据增强，形成训练数据；

S2：构建深度学习轻量级融合网络模型，即LDLFModel网络模型；所述LDLFModel网络模型包括Backbone部分、Neck部分和Prediction部分；Backbone部分采用MobileNet v3-Small作为特征提取网络，并在MobileNet v3-Small的最后一层加入了位置注意力机制；Neck部分采用特征金字塔FPN和路径融合PAN相结合的方式进行特征融合，并在Neck部分中加入了位置注意力机制，获得增强的特征层；Prediction部分为YOLO head模块，用于进行目标预测；

S3：对所述LDLFModel网络模型进行训练，具体步骤如下：

S301：将经过数据增强后的PCB数据集输入到所述LDLFModel网络模型的Backbone部分中，通过带注意力机制的MobileNet v3-Small进行依次下采样后，获得三个不同分辨率的有效特征层；

S302：将步骤S301中获得的三个有效特征层输入到Neck部分进行特征融合，对三个有效特征层依次进行上采样和下采样操作，采用快速归一化融合的方式进行特征融合，获得三个增强的有效特征层；

S303：将步骤S302中获得的三个增强的有效特征层输入到YOLO head模块中预测PCB缺陷目标的中心点位置，获取预测框宽高、置信度以及PCB缺陷目标类别信息，并采用目标框损失函数Eiou loss作为所述LDLFModel网络模型的损失函数ζ_EioU，提升预测框定位的准确性；

S4：将训练好的LDLFModel网络模型用于识别PCB缺陷，获取缺陷检测结果，具体方法为：将待检测的PCB缺陷数据集输入切割模块进行切割，将待检测的PCB缺陷数据集切割成小图，左右相邻或者上下相邻的小图之间具有20％的重叠区域，将切割成的小图输入训练好的LDLFModel网络模型进行PCB缺陷检测，输出带有检测结果的小图，并将带有检测结果的小图输入还原模块进行拼接还原，获得最终的可视化检测结果。

2.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法，其特征在于，所述步骤S1的具体方法为：对PCB数据集进行随机翻转、随机镜像、随机亮度变化以及随机缩放处理，进而扩充数据集的数量，然后采用Mosica数据增强的方式，获得最终的训练数据。

3.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法，其特征在于，所述步骤S2中位置注意力机制用于进行坐标信息的嵌入和坐标信息的生成；坐标信息嵌入的原理为：

对给定输入特征x，使用尺寸为(H，1)或(1，W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码，输出

的具体表达式为：

其中，W为池化核的宽，m为池化核在W空间范围的取值，x_c(h,m)为高度为h，W取m的特征图输入张量，

为高度为h的第c通道的输出；

宽度为w的第c通输出

的具体表达式为：

其中，H为池化核的高，n为池化核在H空间范围的取值，x_c(n,w)为宽度为w，H取n的特征图输入张量，

为宽度为w的第c通道的输出；

坐标信息的生成原理为：

经过坐标信息嵌入中的变换后，对变换后的输出结果

进行Concat操作得到[z^h,z^w]，最后经过非线性激活函数δ得到空间信息在水平方向和垂直方向进行编码的中间特征映射f，具体表达式如下：

f＝δ(F₁([z^h,z^w]))

其中，F₁为1×1卷积变换函数；

然后沿着空间维数将中间特征映射f分解为2个单独的张量f^h和f^w，再利用2个1×1卷积变换函数F_h和F_w以及非线性激活函数σ，即sigmoid函数，分别将f^h和f^w变换为具有相同通道数的张量g^h和g^w，具体表达式如下：

g^h＝σ(F_h(f^h))

g^w＝σ(F_w(f^w))

则位置注意力机制的输出y_c(m,n)的具体表达式为：

其中，x_c(m,n)为通道数取c，特征图的宽度为m，特征图的高度取n的输入特征图，

为通道数取c，高度为h，宽度为m的张量，

为通道数取c，宽度为w，高度为n的张量。

4.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法，其特征在于，所述步骤S302中，快速归一化融合的表达式为：

其中，O为特征融合的结果，w_i表示第i个输入特征I_i所对应的学习权重，∈为不为0的常数，用于保证数值的稳定性；通过对每个w_i进行一次Relu操作，保证w_i的取值大于等于0；

x级和x+1级特征层在x级的融合情况具体表述为：

其中，Resize是上下采样操作，Conv是对特征的卷积操作，w_i表示第i个输入特征I_i所对应的学习权重，w_i+1表示第i+1个输入特征I_i+1所对应的学习权重，

表示第k级融合后的特征输出，

表示第k级的特征输入，

表示第k+1级的特征输入。

5.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法，其特征在于，所述步骤S303中，所述损失函数ζ_EioU的具体表达式为：

其中，ρ(b^p,b^gt)为预测框和真实框中心点的欧氏距离，ρ(w,w^gt)为预测框宽和真实框宽的欧氏距离，ρ(h,h^gt)为预测框高和真实框高的欧氏距离，t为目标框的真实框最小外接矩形的面积对角线，T_w为最小外接框的宽度，T_h为最小外接框的高度，IoU为预测框和真实框的交并比，A为预测框，B为真实框。

6.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法，其特征在于，所述步骤S4中，所述切割模块的切割方法为：

设置切割系数mul，当mul＝1可关闭切割层，当mul>1表示开启切割层，其中切割成小图的数量N与mul的关系为：

N＝mul²

首先获取待检测PCB图片的长x_size和宽y_size；再分别计算切割框的长x_smoc和宽y_smoc：

再计算每个切割位置的起始坐标(x_starpoint,y_starpoint)：

其中，p和q为自然数；

再计算最后一个切割位置的相对坐标(x_real，y_real)

x_real＝min(x_starpoint+x_smoc,x_size)

y_real＝min(y_starpoint+y_smoc,y_size)

比较待检测图片长和宽与最后一个切割位置的相对坐标，判断是否刚好切割完，如果不能刚好切割完，则最后一个切割框位置取(x_real，y_real)，使最后一个切割框与待检测图片的右边界平齐；

所述还原模块将所有切割小图拼接还原的具体方法为：根据每个切割点起始坐标(x_starpoint,y_starpoint)将带检测结果的切割小图进行拼接，进行非极大值抑制，去除多余的冗余框，得到最终的可视化检测结果。

Images