CN116402787B - 一种非接触式pcb缺陷检测方法 - Google Patents

一种非接触式pcb缺陷检测方法 Download PDF

Info

Publication number
CN116402787B
CN116402787B CN202310358029.6A CN202310358029A CN116402787B CN 116402787 B CN116402787 B CN 116402787B CN 202310358029 A CN202310358029 A CN 202310358029A CN 116402787 B CN116402787 B CN 116402787B
Authority
CN
China
Prior art keywords
representing
feature
pcb
defect
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310358029.6A
Other languages
English (en)
Other versions
CN116402787A (zh
Inventor
陆维宽
周志立
王振国
阮秀凯
魏敏晨
于向红
张瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Lock Research Institute Of Wenzhou University
Original Assignee
Intelligent Lock Research Institute Of Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Lock Research Institute Of Wenzhou University filed Critical Intelligent Lock Research Institute Of Wenzhou University
Priority to CN202310358029.6A priority Critical patent/CN116402787B/zh
Publication of CN116402787A publication Critical patent/CN116402787A/zh
Application granted granted Critical
Publication of CN116402787B publication Critical patent/CN116402787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种非接触式PCB缺陷检测方法，包括：搭建PCB缺陷检测网络；在特征提取网络中嵌入三维注意力模块，增强缺陷区域的特征表示；在特征融合网络中添加跨尺度连接与自适应权重系数，使模型能够充分学习不同特征层对于多尺度融合的重要程度，弥补目标信息丢失的缺陷；在检测网络中引入方向损失函数，减少缺陷定位误差，进而得到更精准的检测结果。本发明的优点在于：缺陷检测过程中的抗干扰能力更强，对复杂背景下小缺陷目标的检测效果更好。

Description

一种非接触式PCB缺陷检测方法
技术领域
本发明涉及一种PCB缺陷检测技术领域，具体涉及一种非接触式PCB缺陷检测方法。
背景技术
PCB的制作工艺复杂，在生产过程中容易受到环境、设备、材料以及人工操作等因素的影响，导致产品存在缺陷。常见的PCB缺陷包括：缺孔、鼠咬、开路、短路、毛刺和杂铜等。这些缺陷不仅会降低PCB的合格率，还会影响后续电子产品的使用体验及生命周期。因此，为提高PCB及后续电子产品的合格率，必须准确检测出PCB板中存在的缺陷。
传统的PCB缺陷检测技术在检测过程中无法避免人为主观因素的参与，导致检测模型存在泛化能力弱、鲁棒性差、检测精度低的问题。由于深度学习技术无需人为设置特征参数，即可实现对目标特征信息的提取以及对目标高维信息的表征。因此，将深度学习技术与PCB缺陷检测相结合成为主要趋势。
但目前基于深度学习的PCB缺陷检测技术对复杂背景下小缺陷目标的理解能力较差，导致其存在抗干扰能力弱、检测效果较差的问题。
发明内容
为了克服背景技术的不足，本发明提供一种非接触式PCB缺陷检测方法，旨在解决现有技术对于复杂背景下小尺度缺陷出现的漏检和误检问题。
本发明所采用的技术方案：一种非接触式PCB缺陷检测方法，包括以下步骤：
步骤1：通过图像采集装置获取样本图像，并制作PCB缺陷数据集；
步骤2：以YOLOv5s算法为基线模型，搭建PCB缺陷检测网络，所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络；
步骤3：在特征提取网络中嵌入三维注意力模块，所述三维注意力模块包括通道注意力模块与空间注意力模块；
步骤4：在特征融合网络中添加跨尺度连接与自适应权重系数；
步骤5：在检测网络中引入方向损失函数；
步骤6：利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练，得到缺陷检测模型；
步骤7：利用缺陷检测模型对PCB样本进行检测，得到样本图像中缺陷目标的类别信息与位置信息。
其中，所述图像采集装置包括用于放置PCB的载物台、用于提供标准照明环境的光源以及位于载物台上方的相机。
在特征提取网络中嵌入通道注意力模块的具体步骤如下：
首先，利用全局平均池化和全局最大池化对输入特征层通道维度的特征信息进行全局低维嵌入，得到两个通道特征向量；
其次，分别将得到的两个通道特征向量送入MLP；
最后，将MLP输出的两个通道特征向量相加，并利用Sigmoid激活函数对权值归一化处理，得到一个用来衡量通道重要性的权重矩阵，即通道注意力向量，其计算方式如下：
，
其中，x表示输入向量；表示通道注意力向量；AvgPool表示平均池化；MaxPool表示最大池化；/>表示Sigmoid激活函数。
在特征提取网络中嵌入空间注意力模块的具体步骤如下：
首先，分别沿水平、垂直两个方向使用全局平均池化聚合空间信息，得到水平、垂直方向上的空间特征向量；
其次，将两个方向的空间特征向量拼接，利用卷积与非线性激活函数，以充分交互空间特征信息；
再次，将交互后的特征信息沿水平、垂直方向分割，并使用卷积与非线性激活操作，以得到两个衡量空间位置重要性的权重矩阵，即水平与垂直方向的空间注意力向量，其计算方式如下：
，
，
；
其中，x表示输入向量；AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化；表示向量拼接操作；Conv表示1×1卷积变换；/>表示非线性激活函数；/>表示Sigmoid激活函数；f表示空间信息交互后的特征向量；将f分别沿水平和垂直方向分割为f w和f h；/>表示水平方向的空间注意力向量；/>表示垂直方向的空间注意力向量；
最后，将水平、垂直方向的空间注意力向量同时与输入特征层相乘，得到最后结果。
步骤4具体包括如下步骤：
4.1、跨尺度连接，对于在同一层的输入特征层和输出特征层增加一条额外的输入特征边；
4.2、在每个输入特征边上添加一个权重，同时使用快速归一化融合添加权重；
加权特征融合后的输出结果为：
，
其中，O表示加权特征融合后的输出结果，表示输入特征层；/>表示输入特征层的权重系数，i表示特征层的标号，j表示不同特征层自适应权重系数的下标，/>是一个小数值，这里取0.0001。
步骤5具体包括如下步骤：
5.1、计算两个边界框中心点的欧式距离，并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比，以获得中心点距离在x轴、y轴上的不敏感信息；
5.2、计算两个边界框中心点与x轴、y轴形成的角度，并利用角度损失引导预测框沿着真实框中心点的x、y轴坐标进行回归；
5.3、分别比较两个边界框的宽高，以获得宽高的不敏感信息；
方向损失函数的计算方式如下：
，
，
，
，
，
，
，
；
其中，表示距离损失；/>表示形状损失；/>表示角度损失；IoU表示两个边界框的交并比大小；/>和/>分别表示两个边界框中心点的距离在x轴和y轴的分量；/>和/>分别表示最小外接矩形框的宽高；/>表示两个边界框中心点的欧式距离；/>表示两个边界框的中心点与x轴所形成的夹角；/>、/>表示真实框的中心点坐标；/>、/>表示预测框的中心点坐标；w、h表示预测框的宽高；/>、/>表示真实框的宽高；/>表示形状损失的重要性，这里取4。
所述步骤6中的训练参数具体设置为：输入大小为640×640×3；batch size为16；使用SGD作为优化器，冲量设置为0.937；学习率的初始值设定为0.01，并使用One-Cycle策略调整学习率的大小；训练次数epoch设置为300次。
本发明的有益效果是：采用以上方案，首先，三维注意力模块通过将缺陷目标在通道维度上的类别信息与水平、垂直空间方向的位置信息相结合，增强了缺陷目标的特征显著度，使模型更加关注缺陷区域；其次，在特征融合过程中，通过跨尺度连接汇聚更丰富的特征信息，并利用自适应权重主动学习不同特征层对于特征融合的重要程度，进而弥补了小尺度缺陷信息丢失的缺陷；最后，在检测网络中，利用方向损失函数减少缺陷目标的定位误差，从而有效提升了检测模型对于复杂背景下小缺陷目标的识别效果。
附图说明
图1是本发明实施例非接触式PCB缺陷检测方法的流程示意图。
图2是本发明实施例图像采集装置的结构示意图。
图3是本发明实施例三维注意力模块的网络结构图。
图4是本发明实施例特征融合网络的结构图。
图5是本发明实施例方向损失函数的原理示意图。
图6是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB短路缺陷检测效果的对比图。
图7是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB鼠咬缺陷检测效果的对比图。
图8是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB开路缺陷检测效果的对比图。
图9是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB断路缺陷检测效果的对比图。
图10是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB毛刺缺陷检测效果的对比图。
图11是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB杂铜缺陷检测效果的对比图。
图中：1、载物台；2、光源；3、相机。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例所使用的软硬件环境为：操作系统为Ubuntu20.04；编程语言为Python3.8；深度学习框架为Pytorch1.8.1；CUDA版本为11.1；CUDNN版本为8.2.0；处理器为Inter(R) Xeon(R) Gold 5218R CPU@2.10GHz；运行内存为64G；硬盘为1T；显卡为NvidiaGeForce RTX 3080Ti-10G。
如图1所示，一种非接触式PCB缺陷检测方法，具体包括以下步骤：
步骤1：通过图像采集装置获取样本图像，并制作PCB缺陷数据集。
其中，图像采集装置的结构如图2所示，包括载物台1、光源2以及相机3，所述载物台1用于放置PCB样品，所述光源2用于为PCB样品提供标准照明环境，所述相机3为工业视觉相机，其位于载物台1上方，用于采集PCB样品的数字图像。
步骤2：以YOLOv5s算法为基线模型，搭建PCB缺陷检测网络，其中，所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络。
步骤3：在特征提取网络中嵌入三维注意力模块（即3D-Attention），以解决PCB缺陷目标显著度较低的问题。如图3所示，所述三维注意力模块包括通道注意力模块与空间注意力模块。
在特征提取网络中嵌入通道注意力模块的具体步骤如下：
首先，为充分提取缺陷目标的通道维度特征，利用平均池化与最大池化对输入特征信息进行全局低维嵌入，即将每个通道上的空间信息压缩到对应通道中，得到两个拥有全局感受野的通道特征向量；
其次，分别将两个通道特征向量送入MLP（即多层感知器，MultilayerPerceptron），以充分捕捉通道间的依赖关系；
最后，将MLP输出的两个通道特征向量相加，并利用Sigmoid激活函数对权值归一化处理，得到一个用来衡量通道重要性的权重矩阵，即完整的通道注意力向量。
通道注意力向量的计算方式如下：
，
其中，x表示输入向量；表示通道注意力向量；AvgPool表示平均池化；MaxPool表示最大池化；/>表示Sigmoid激活函数。
在特征提取网络中嵌入空间注意力模块的具体步骤如下：
首先，为保留缺陷目标更为精确的位置信息，分别沿水平、垂直方向使用全局池化聚合空间信息，即分别将空间域水平方向上的通道、垂直方向信息和空间域垂直方向上的通道、水平方向信息压缩到对应方向中，得到水平、垂直方向上的空间特征向量；
其次，为捕获空间信息的长距离依赖关系，将两个方向的空间特征向量拼接，并经过1×1卷积变换和非线性激活函数，获得空间信息交互后的空间特征向量；
再次，将交互后的空间特征向量分别沿水平和垂直方向分割，并使用1×1卷积变换和Sigmoid激活函数对空间特征向量进行降维和归一化处理，得到两个衡量缺陷目标空间位置信息重要性的权重矩阵，即水平和垂直方向的空间注意力向量；
最后，将水平、垂直方向的空间注意力向量同时与输入特征层相乘，得到最后结构，即完成对输入特征层中缺陷区域的重新校准。
水平和垂直方向的空间注意力向量的计算方式如下：
，
，
；
其中，x表示输入向量；AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化；表示向量拼接操作；Conv表示1×1卷积变换；/>表示非线性激活函数；/>表示Sigmoid激活函数；f表示空间信息交互后的特征向量；将f分别沿水平和垂直方向分割为f w和f h；/>表示水平方向的空间注意力向量；/>表示垂直方向的空间注意力向量。
步骤4：针对PCB缺陷目标尺度较小的问题，在特征融合网络中添加跨尺度连接与自适应权重系数，其包括如下步骤：
4.1、跨尺度连接，为融合缺陷目标更丰富的特征信息，对于在同一层的输入特征层和输出特征层增加一条额外的输入特征边；
4.2、添加自适应权重，为让网络能够学习每个输入特征层的重要性，在每个输入特征边上添加一个权重，同时为避免操作的复杂性，使用快速归一化融合来添加权重。
加权特征融合后的输出结果为：
，
其中，O表示加权特征融合后的输出结果，表示输入特征层；/>表示输入特征层的权重系数，i表示特征层的标号，j表示不同特征层自适应权重系数的下标，/>是一个小数值，这里取0.0001。
参见图4，以输入特征层为例，其融合过程描述为：
，
；
其中，表示第四层输入特征层，/>表示第五层输入特征层，/>表示第四层中间特征层，/>表示第五层输出特征层，i表示特征层的标号，Resize表示调整目标特征层的尺寸，Conv表示卷积操作。图4中，/>、/>、/>、/>、/>、/>、/>、/>、/>分别对应不同特征层自适应权重系数。
步骤5：针对PCB缺陷目标定位不准确的问题，在检测网络中引入方向损失函数，具体包括如下步骤：
5.1、计算两个边界框中心点的欧式距离，并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比，以获得中心点距离在x轴、y轴上的不敏感信息，进而加快模型的回归速度；
5.2、计算两个边界框中心点与x轴、y轴形成的角度，并利用角度损失来引导预测边界框的中心点沿着真实边界框中心点的x轴和y轴坐标进行回归，减少了回归的自由度，进一步加快了网络的收敛；
5.3、分别比较两个边界框的宽度和高度，获得了宽高的不敏感信息，进一步提升了模型的回归效果。
如图5所示，方向损失函数的计算方式如下：
，
，
，
，
，
，
，
；
其中，表示距离损失；/>表示形状损失；/>表示角度损失；IoU表示两个边界框的交并比大小；/>和/>分别表示两个边界框中心点的距离在x轴和y轴的分量；/>和/>分别表示最小外接矩形框的宽高；/>表示两个边界框中心点的欧式距离；/>表示两个边界框的中心点与x轴所形成的夹角；/>、/>表示真实框的中心点坐标；/>、/>表示预测框的中心点坐标；w、h表示预测框的宽高；/>、/>表示真实框的宽高；/>表示形状损失的重要性，这里取4。
步骤6：利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练，得到缺陷检测模型。
其中，训练过程中参数具体设置为：输入大小为640×640×3；batch size为16；使用SGD作为优化器，冲量设置为0.937；学习率的初始值设定为0.01，并使用One-Cycle策略调整学习率的大小；训练次数epoch设置为300次。
步骤7：利用缺陷检测模型对PCB样本进行检测，得到样本图像中缺陷目标的类别信息与位置信息。
图6-11分别为本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法针对短路、鼠咬、开路、断路、毛刺、杂铜共六类PCB缺陷的检测效果可视化对比，其中，在图6-11中，左侧为常规基线模型检测方法获得的检测效果图，右侧为本发明实施例非接触式PCB缺陷检测方法获得的检测效果图。
根据两者对比可知，由于受到复杂背景干扰过多，常规基线模型检测方法将正常的过孔区域识别为缺孔缺陷，同时漏掉了毛刺缺陷，容易存在误检漏检。此外，由于缺陷目标的尺度较小，对于开路、毛刺和杂铜缺陷的定位不准确，其预测边界框小于真实边界框。
本发明实施例所采用的非接触式PCB缺陷检测方法，有效避免了漏检和误检情况的发生，能够准确检测出PCB中的各类缺陷目标，且缺陷目标的定位效果更好，同时对于各类缺陷的置信度明显优于常规基线模型检测方法。

Claims (5)

1.一种非接触式PCB缺陷检测方法，其特征在于，包括以下步骤：
步骤1：通过图像采集装置获取样本图像，并制作PCB缺陷数据集；
步骤2：以YOLOv5s算法为基线模型，搭建PCB缺陷检测网络，所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络；
步骤3：在特征提取网络中嵌入三维注意力模块，所述三维注意力模块包括通道注意力模块与空间注意力模块；
步骤4：在特征融合网络中添加跨尺度连接与自适应权重系数；
步骤5：在检测网络中引入方向损失函数；
步骤6：利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练，得到缺陷检测模型；
步骤7：利用缺陷检测模型对PCB样本进行检测，得到样本图像中缺陷目标的类别信息与位置信息；
其中，在特征提取网络中嵌入通道注意力模块的具体步骤如下：
首先，利用全局平均池化和全局最大池化对输入特征层通道维度的特征信息进行全局低维嵌入，得到两个通道特征向量；
其次，分别将得到的两个通道特征向量送入MLP；
最后，将MLP输出的两个通道特征向量相加，并利用Sigmoid激活函数对权值归一化处理，得到一个用来衡量通道重要性的权重矩阵，即通道注意力向量，其计算方式如下：
，
其中，x表示输入向量；表示通道注意力向量；AvgPool表示平均池化；MaxPool表示最大池化；/>表示Sigmoid激活函数；
在特征提取网络中嵌入空间注意力模块的具体步骤如下：
首先，分别沿水平、垂直两个方向使用全局平均池化聚合空间信息，得到水平、垂直方向上的空间特征向量；
其次，将两个方向的空间特征向量拼接，利用卷积与非线性激活函数，以充分交互空间特征信息；
再次，将交互后的特征信息沿水平、垂直方向分割，并使用卷积与非线性激活操作，以得到两个衡量空间位置重要性的权重矩阵，即水平与垂直方向的空间注意力向量，其计算方式如下：
，
，
；
其中，x表示输入向量；AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化；表示向量拼接操作；Conv表示1×1卷积变换；/>表示非线性激活函数；/>表示Sigmoid激活函数；f表示空间信息交互后的特征向量；将f分别沿水平和垂直方向分割为f w和f h；/>表示水平方向的空间注意力向量；/>表示垂直方向的空间注意力向量；
最后，将水平、垂直方向的空间注意力向量同时与输入特征层相乘，得到最后结果。
2.根据权利要求1所述的一种非接触式PCB缺陷检测方法，其特征在于，所述图像采集装置包括用于放置PCB的载物台（1）、用于提供标准照明环境的光源（2）以及位于载物台（1）上方的相机（3）。
3.根据权利要求1所述的一种非接触式PCB缺陷检测方法，其特征在于，
步骤4具体包括如下步骤：
4.1、跨尺度连接，对于在同一层的输入特征层和输出特征层增加一条额外的输入特征边；
4.2、在每个输入特征边上添加一个权重，同时使用快速归一化融合添加权重；
加权特征融合后的输出结果为：
，
其中，O表示加权特征融合后的输出结果，表示输入特征层；/>表示输入特征层的权重系数，i表示特征层的标号，j表示不同特征层自适应权重系数的下标，/>是一个小数值，这里取0.0001。
4.根据权利要求1所述的一种非接触式PCB缺陷检测方法，其特征在于，步骤5具体包括如下步骤：
5.1、计算两个边界框中心点的欧式距离，并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比，以获得中心点距离在x轴、y轴上的不敏感信息；
5.2、计算两个边界框中心点与x轴、y轴形成的角度，并利用角度损失引导预测框沿着真实框中心点的x、y轴坐标进行回归；
5.3、分别比较两个边界框的宽高，以获得宽高的不敏感信息；
方向损失函数的计算方式如下：
，
，
，
，
，
，
，
；
其中，表示距离损失；/>表示形状损失；/>表示角度损失；IoU表示两个边界框的交并比大小；/>和/>分别表示两个边界框中心点的距离在x轴和y轴的分量；/>和/>分别表示最小外接矩形框的宽高；/>表示两个边界框中心点的欧式距离；/>表示两个边界框的中心点与x轴所形成的夹角；/>、/>表示真实框的中心点坐标；/>、/>表示预测框的中心点坐标；w、h表示预测框的宽高；/>、/>表示真实框的宽高；/>表示形状损失的重要性，这里取4。
5.根据权利要求1所述的一种非接触式PCB缺陷检测方法，其特征在于，所述步骤6中的训练参数具体设置为：输入大小为640×640×3；batch size为16；使用SGD作为优化器，冲量设置为0.937；学习率的初始值设定为0.01，并使用One-Cycle策略调整学习率的大小；训练次数epoch设置为300次。
CN202310358029.6A 2023-04-06 2023-04-06 一种非接触式pcb缺陷检测方法 Active CN116402787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310358029.6A CN116402787B (zh) 2023-04-06 2023-04-06 一种非接触式pcb缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310358029.6A CN116402787B (zh) 2023-04-06 2023-04-06 一种非接触式pcb缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116402787A CN116402787A (zh) 2023-07-07
CN116402787B true CN116402787B (zh) 2024-04-09

Family

ID=87011824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310358029.6A Active CN116402787B (zh) 2023-04-06 2023-04-06 一种非接触式pcb缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116402787B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758288A (zh) * 2022-03-15 2022-07-15 华北电力大学 一种配电网工程安全管控检测方法及装置
CN115359016A (zh) * 2022-08-26 2022-11-18 湖南科技大学 基于改进YOLOv5的PCB小目标缺陷检测方法和系统
CN115713682A (zh) * 2022-11-02 2023-02-24 大连交通大学 基于改进yolov5s的安全帽佩戴检测算法
CN115719338A (zh) * 2022-11-20 2023-02-28 西北工业大学 一种基于改进YOLOv5的PCB板表面缺陷检测方法
CN115909070A (zh) * 2022-11-25 2023-04-04 南通大学 一种基于改进yolov5网络的杂草检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758288A (zh) * 2022-03-15 2022-07-15 华北电力大学 一种配电网工程安全管控检测方法及装置
CN115359016A (zh) * 2022-08-26 2022-11-18 湖南科技大学 基于改进YOLOv5的PCB小目标缺陷检测方法和系统
CN115713682A (zh) * 2022-11-02 2023-02-24 大连交通大学 基于改进yolov5s的安全帽佩戴检测算法
CN115719338A (zh) * 2022-11-20 2023-02-28 西北工业大学 一种基于改进YOLOv5的PCB板表面缺陷检测方法
CN115909070A (zh) * 2022-11-25 2023-04-04 南通大学 一种基于改进yolov5网络的杂草检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dimension-aware attention for efficient mobile networks;Rongyun Mo et al.;Pattern Recognition;第1-11页 *

Also Published As

Publication number Publication date
CN116402787A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN109615016B (zh) 一种基于金字塔输入增益的卷积神经网络的目标检测方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
Wu et al. Solder joint recognition using mask R-CNN method
Wan et al. Ceramic tile surface defect detection based on deep learning
CN111191546A (zh) 基于机器视觉识别的产品智能装配方法
CN116402787B (zh) 一种非接触式pcb缺陷检测方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
Chang et al. A lightweight appearance quality assessment system based on parallel deep learning for painted car body
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
Zhou et al. Review of vision-based defect detection research and its perspectives for printed circuit board
CN107798329B (zh) 基于cnn的自适应粒子滤波目标跟踪方法
Hao et al. Fast recognition method for multiple apple targets in complex occlusion environment based on improved YOLOv5
Chen et al. A Comprehensive Review of Deep Learning-Based PCB Defect Detection
Huang et al. Deep learning object detection applied to defect recognition of memory modules
CN113705564A (zh) 一种指针式仪表识别读数方法
CN117197146A (zh) 一种铸件内部缺陷自动识别方法
CN115719363B (zh) 可进行二维动态检测和三维重建的环境感知方法与系统
Ma et al. WeldNet: A deep learning based method for weld seam type identification and initial point guidance
CN116342648A (zh) 基于混合结构注意力引导的孪生网络目标跟踪方法
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
CN115170545A (zh) 一种动态熔池尺寸检测及成形方向判别方法
CN112132816B (zh) 一种基于多任务与感兴趣区域分割引导的目标检测方法
CN111415384B (zh) 一种基于深度学习的工业图像组件精准定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant