CN116402787A - 一种非接触式pcb缺陷检测方法 - Google Patents
一种非接触式pcb缺陷检测方法 Download PDFInfo
- Publication number
- CN116402787A CN116402787A CN202310358029.6A CN202310358029A CN116402787A CN 116402787 A CN116402787 A CN 116402787A CN 202310358029 A CN202310358029 A CN 202310358029A CN 116402787 A CN116402787 A CN 116402787A
- Authority
- CN
- China
- Prior art keywords
- representing
- feature
- pcb
- defect
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种非接触式PCB缺陷检测方法,包括:搭建PCB缺陷检测网络;在特征提取网络中嵌入三维注意力模块,增强缺陷区域的特征表示;在特征融合网络中添加跨尺度连接与自适应权重系数,使模型能够充分学习不同特征层对于多尺度融合的重要程度,弥补目标信息丢失的缺陷;在检测网络中引入方向损失函数,减少缺陷定位误差,进而得到更精准的检测结果。本发明的优点在于:缺陷检测过程中的抗干扰能力更强,对复杂背景下小缺陷目标的检测效果更好。
Description
技术领域
本发明涉及一种PCB缺陷检测技术领域,具体涉及一种非接触式PCB缺陷检测方法。
背景技术
PCB的制作工艺复杂,在生产过程中容易受到环境、设备、材料以及人工操作等因素的影响,导致产品存在缺陷。常见的PCB缺陷包括:缺孔、鼠咬、开路、短路、毛刺和杂铜等。这些缺陷不仅会降低PCB的合格率,还会影响后续电子产品的使用体验及生命周期。因此,为提高PCB及后续电子产品的合格率,必须准确检测出PCB板中存在的缺陷。
传统的PCB缺陷检测技术在检测过程中无法避免人为主观因素的参与,导致检测模型存在泛化能力弱、鲁棒性差、检测精度低的问题。由于深度学习技术无需人为设置特征参数,即可实现对目标特征信息的提取以及对目标高维信息的表征。因此,将深度学习技术与PCB缺陷检测相结合成为主要趋势。
但目前基于深度学习的PCB缺陷检测技术对复杂背景下小缺陷目标的理解能力较差,导致其存在抗干扰能力弱、检测效果较差的问题。
发明内容
为了克服背景技术的不足,本发明提供一种非接触式PCB缺陷检测方法,旨在解决现有技术对于复杂背景下小尺度缺陷出现的漏检和误检问题。
本发明所采用的技术方案:一种非接触式PCB缺陷检测方法,包括以下步骤:
步骤1:通过图像采集装置获取样本图像,并制作PCB缺陷数据集;
步骤2:以YOLOv5s算法为基线模型,搭建PCB缺陷检测网络,所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络;
步骤3:在特征提取网络中嵌入三维注意力模块,所述三维注意力模块包括通道注意力模块与空间注意力模块;
步骤4:在特征融合网络中添加跨尺度连接与自适应权重系数;
步骤5:在检测网络中引入方向损失函数;
步骤6:利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练,得到缺陷检测模型;
步骤7:利用缺陷检测模型对PCB样本进行检测,得到样本图像中缺陷目标的类别信息与位置信息。
其中,所述图像采集装置包括用于放置PCB的载物台、用于提供标准照明环境的光源以及位于载物台上方的相机。
在特征提取网络中嵌入通道注意力模块的具体步骤如下:
首先,利用全局平均池化和全局最大池化对输入特征层通道维度的特征信息进行全局低维嵌入,得到两个通道特征向量;
其次,分别将得到的两个通道特征向量送入MLP;
最后,将MLP输出的两个通道特征向量相加,并利用Sigmoid激活函数对权值归一化处理,得到一个用来衡量通道重要性的权重矩阵,即通道注意力向量,其计算方式如下:
在特征提取网络中嵌入空间注意力模块的具体步骤如下:
首先,分别沿水平、垂直两个方向使用全局平均池化聚合空间信息,得到水平、垂直方向上的空间特征向量;
其次,将两个方向的空间特征向量拼接,利用卷积与非线性激活函数,以充分交互空间特征信息;
再次,将交互后的特征信息沿水平、垂直方向分割,并使用卷积与非线性激活操作,以得到两个衡量空间位置重要性的权重矩阵,即水平与垂直方向的空间注意力向量,其计算方式如下:
其中,x表示输入向量;AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化;表示向量拼接操作;Conv表示1×1卷积变换;/>表示非线性激活函数;/>表示Sigmoid激活函数;f表示空间信息交互后的特征向量;将f分别沿水平和垂直方向分割为f w和f h;/>表示水平方向的空间注意力向量;/>表示垂直方向的空间注意力向量;
最后,将水平、垂直方向的空间注意力向量同时与输入特征层相乘,得到最后结果。
步骤4具体包括如下步骤:
4.1、跨尺度连接,对于在同一层的输入特征层和输出特征层增加一条额外的输入特征边;
4.2、在每个输入特征边上添加一个权重,同时使用快速归一化融合添加权重;
加权特征融合后的输出结果为:
步骤5具体包括如下步骤:
5.1、计算两个边界框中心点的欧式距离,并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比,以获得中心点距离在x轴、y轴上的不敏感信息;
5.2、计算两个边界框中心点与x轴、y轴形成的角度,并利用角度损失引导预测框沿着真实框中心点的x、y轴坐标进行回归;
5.3、分别比较两个边界框的宽高,以获得宽高的不敏感信息;
方向损失函数的计算方式如下:
其中,△表示距离损失;Ω表示形状损失;∧表示角度损失;IoU表示两个边界框的交并比大小;和/>分别表示两个边界框中心点的距离在x轴和y轴的分量;/>和/>分别表示最小外接矩形框的宽高;表示两个边界框中心点的欧式距离;/>表示两个边界框的中心点与x轴所形成的夹角;/>、/>表示真实框的中心点坐标;/>、/>表示预测框的中心点坐标;w、h表示预测框的宽高;/>、/>表示真实框的宽高;/>表示形状损失的重要性,这里取4。
所述步骤6中的训练参数具体设置为:输入大小为640×640×3;batch size为16;使用SGD作为优化器,冲量设置为0.937;学习率的初始值设定为0.01,并使用One-Cycle策略调整学习率的大小;训练次数epoch设置为300次。
本发明的有益效果是:采用以上方案,首先,三维注意力模块通过将缺陷目标在通道维度上的类别信息与水平、垂直空间方向的位置信息相结合,增强了缺陷目标的特征显著度,使模型更加关注缺陷区域;其次,在特征融合过程中,通过跨尺度连接汇聚更丰富的特征信息,并利用自适应权重主动学习不同特征层对于特征融合的重要程度,进而弥补了小尺度缺陷信息丢失的缺陷;最后,在检测网络中,利用方向损失函数减少缺陷目标的定位误差,从而有效提升了检测模型对于复杂背景下小缺陷目标的识别效果。
附图说明
图1是本发明实施例非接触式PCB缺陷检测方法的流程示意图。
图2是本发明实施例图像采集装置的结构示意图。
图3是本发明实施例三维注意力模块的网络结构图。
图4是本发明实施例特征融合网络的结构图。
图5是本发明实施例方向损失函数的原理示意图。
图6是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB短路缺陷检测效果的对比图。
图7是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB鼠咬缺陷检测效果的对比图。
图8是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB开路缺陷检测效果的对比图。
图9是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB断路缺陷检测效果的对比图。
图10是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB毛刺缺陷检测效果的对比图。
图11是本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法对于PCB杂铜缺陷检测效果的对比图。
图中:1、载物台;2、光源;3、相机。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例所使用的软硬件环境为:操作系统为Ubuntu20.04;编程语言为Python3.8;深度学习框架为Pytorch1.8.1;CUDA版本为11.1;CUDNN版本为8.2.0;处理器为Inter(R) Xeon(R) Gold 5218R CPU@2.10GHz;运行内存为64G;硬盘为1T;显卡为NvidiaGeForce RTX 3080Ti-10G。
如图1所示,一种非接触式PCB缺陷检测方法,具体包括以下步骤:
步骤1:通过图像采集装置获取样本图像,并制作PCB缺陷数据集。
其中,图像采集装置的结构如图2所示,包括载物台1、光源2以及相机3,所述载物台1用于放置PCB样品,所述光源2用于为PCB样品提供标准照明环境,所述相机3为工业视觉相机,其位于载物台1上方,用于采集PCB样品的数字图像。
步骤2:以YOLOv5s算法为基线模型,搭建PCB缺陷检测网络,其中,所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络。
步骤3:在特征提取网络中嵌入三维注意力模块(即3D-Attention),以解决PCB缺陷目标显著度较低的问题。如图3所示,所述三维注意力模块包括通道注意力模块与空间注意力模块。
在特征提取网络中嵌入通道注意力模块的具体步骤如下:
首先,为充分提取缺陷目标的通道维度特征,利用平均池化与最大池化对输入特征信息进行全局低维嵌入,即将每个通道上的空间信息压缩到对应通道中,得到两个拥有全局感受野的通道特征向量;
其次,分别将两个通道特征向量送入MLP(即多层感知器,MultilayerPerceptron),以充分捕捉通道间的依赖关系;
最后,将MLP输出的两个通道特征向量相加,并利用Sigmoid激活函数对权值归一化处理,得到一个用来衡量通道重要性的权重矩阵,即完整的通道注意力向量。
通道注意力向量的计算方式如下:
在特征提取网络中嵌入空间注意力模块的具体步骤如下:
首先,为保留缺陷目标更为精确的位置信息,分别沿水平、垂直方向使用全局池化聚合空间信息,即分别将空间域水平方向上的通道、垂直方向信息和空间域垂直方向上的通道、水平方向信息压缩到对应方向中,得到水平、垂直方向上的空间特征向量;
其次,为捕获空间信息的长距离依赖关系,将两个方向的空间特征向量拼接,并经过1×1卷积变换和非线性激活函数,获得空间信息交互后的空间特征向量;
再次,将交互后的空间特征向量分别沿水平和垂直方向分割,并使用1×1卷积变换和Sigmoid激活函数对空间特征向量进行降维和归一化处理,得到两个衡量缺陷目标空间位置信息重要性的权重矩阵,即水平和垂直方向的空间注意力向量;
最后,将水平、垂直方向的空间注意力向量同时与输入特征层相乘,得到最后结构,即完成对输入特征层中缺陷区域的重新校准。
水平和垂直方向的空间注意力向量的计算方式如下:
其中,x表示输入向量;AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化;表示向量拼接操作;Conv表示1×1卷积变换;/>表示非线性激活函数;/>表示Sigmoid激活函数;f表示空间信息交互后的特征向量;将f分别沿水平和垂直方向分割为f w和f h;/>表示水平方向的空间注意力向量;/>表示垂直方向的空间注意力向量。
步骤4:针对PCB缺陷目标尺度较小的问题,在特征融合网络中添加跨尺度连接与自适应权重系数,其包括如下步骤:
4.1、跨尺度连接,为融合缺陷目标更丰富的特征信息,对于在同一层的输入特征层和输出特征层增加一条额外的输入特征边;
4.2、添加自适应权重,为让网络能够学习每个输入特征层的重要性,在每个输入特征边上添加一个权重,同时为避免操作的复杂性,使用快速归一化融合来添加权重。
加权特征融合后的输出结果为:
其中,表示第四层输入特征层,/>表示第五层输入特征层,/>表示第四层中间特征层,/>表示第五层输出特征层,i表示特征层的标号,Resize表示调整目标特征层的尺寸,Conv表示卷积操作。图4中,/>、/>、/>、/>、/>、/>、/>、/>、/>分别对应不同特征层自适应权重系数。
步骤5:针对PCB缺陷目标定位不准确的问题,在检测网络中引入方向损失函数,具体包括如下步骤:
5.1、计算两个边界框中心点的欧式距离,并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比,以获得中心点距离在x轴、y轴上的不敏感信息,进而加快模型的回归速度;
5.2、计算两个边界框中心点与x轴、y轴形成的角度,并利用角度损失来引导预测边界框的中心点沿着真实边界框中心点的x轴和y轴坐标进行回归,减少了回归的自由度,进一步加快了网络的收敛;
5.3、分别比较两个边界框的宽度和高度,获得了宽高的不敏感信息,进一步提升了模型的回归效果。
如图5所示,方向损失函数的计算方式如下:
其中,△表示距离损失;Ω表示形状损失;∧表示角度损失;IoU表示两个边界框的交并比大小;和/>分别表示两个边界框中心点的距离在x轴和y轴的分量;/>和/>分别表示最小外接矩形框的宽高;表示两个边界框中心点的欧式距离;/>表示两个边界框的中心点与x轴所形成的夹角;/>、/>表示真实框的中心点坐标;/>、/>表示预测框的中心点坐标;w、h表示预测框的宽高;/>、/>表示真实框的宽高;/>表示形状损失的重要性,这里取4。
步骤6:利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练,得到缺陷检测模型。
其中,训练过程中参数具体设置为:输入大小为640×640×3;batch size为16;使用SGD作为优化器,冲量设置为0.937;学习率的初始值设定为0.01,并使用One-Cycle策略调整学习率的大小;训练次数epoch设置为300次。
步骤7:利用缺陷检测模型对PCB样本进行检测,得到样本图像中缺陷目标的类别信息与位置信息。
图6-11分别为本发明实施例非接触式PCB缺陷检测方法与常规基线模型检测方法针对短路、鼠咬、开路、断路、毛刺、杂铜共六类PCB缺陷的检测效果可视化对比,其中,在图6-11中,左侧为常规基线模型检测方法获得的检测效果图,右侧为本发明实施例非接触式PCB缺陷检测方法获得的检测效果图。
根据两者对比可知,由于受到复杂背景干扰过多,常规基线模型检测方法将正常的过孔区域识别为缺孔缺陷,同时漏掉了毛刺缺陷,容易存在误检漏检。此外,由于缺陷目标的尺度较小,对于开路、毛刺和杂铜缺陷的定位不准确,其预测边界框小于真实边界框。
本发明实施例所采用的非接触式PCB缺陷检测方法,有效避免了漏检和误检情况的发生,能够准确检测出PCB中的各类缺陷目标,且缺陷目标的定位效果更好,同时对于各类缺陷的置信度明显优于常规基线模型检测方法。
Claims (7)
1.一种非接触式PCB缺陷检测方法,其特征在于,包括以下步骤:
步骤1:通过图像采集装置获取样本图像,并制作PCB缺陷数据集;
步骤2:以YOLOv5s算法为基线模型,搭建PCB缺陷检测网络,所述PCB缺陷检测网络包括特征提取网络、特征融合网络和检测网络;
步骤3:在特征提取网络中嵌入三维注意力模块,所述三维注意力模块包括通道注意力模块与空间注意力模块;
步骤4:在特征融合网络中添加跨尺度连接与自适应权重系数;
步骤5:在检测网络中引入方向损失函数;
步骤6:利用PCB缺陷数据集对经过步骤3-5优化后的PCB缺陷检测网络进行训练,得到缺陷检测模型;
步骤7:利用缺陷检测模型对PCB样本进行检测,得到样本图像中缺陷目标的类别信息与位置信息。
2.根据权利要求1所述的一种非接触式PCB缺陷检测方法,其特征在于,所述图像采集装置包括用于放置PCB的载物台(1)、用于提供标准照明环境的光源(2)以及位于载物台(1)上方的相机(3)。
4.根据权利要求1所述的一种非接触式PCB缺陷检测方法,其特征在于,
在特征提取网络中嵌入空间注意力模块的具体步骤如下:
首先,分别沿水平、垂直两个方向使用全局平均池化聚合空间信息,得到水平、垂直方向上的空间特征向量;
其次,将两个方向的空间特征向量拼接,利用卷积与非线性激活函数,以充分交互空间特征信息;
再次,将交互后的特征信息沿水平、垂直方向分割,并使用卷积与非线性激活操作,以得到两个衡量空间位置重要性的权重矩阵,即水平与垂直方向的空间注意力向量,其计算方式如下:
其中,x表示输入向量;AvgPool (c,h)和AvgPool (c,w)分别表示通道、垂直方向与通道、水平方向上的全局平均池化;表示向量拼接操作;Conv表示1×1卷积变换;/>表示非线性激活函数;/>表示Sigmoid激活函数;f表示空间信息交互后的特征向量;将f分别沿水平和垂直方向分割为f w和f h;/>表示水平方向的空间注意力向量;/>表示垂直方向的空间注意力向量;
最后,将水平、垂直方向的空间注意力向量同时与输入特征层相乘,得到最后结果。
6.根据权利要求1所述的一种非接触式PCB缺陷检测方法,其特征在于,步骤5具体包括如下步骤:
5.1、计算两个边界框中心点的欧式距离,并将该距离在x轴、y轴的分量与最小外接矩形框的宽高相比,以获得中心点距离在x轴、y轴上的不敏感信息;
5.2、计算两个边界框中心点与x轴、y轴形成的角度,并利用角度损失引导预测框沿着真实框中心点的x、y轴坐标进行回归;
5.3、分别比较两个边界框的宽高,以获得宽高的不敏感信息;
方向损失函数的计算方式如下:
7.根据权利要求1所述的一种非接触式PCB缺陷检测方法,其特征在于,所述步骤6中的训练参数具体设置为:输入大小为640×640×3;batch size为16;使用SGD作为优化器,冲量设置为0.937;学习率的初始值设定为0.01,并使用One-Cycle策略调整学习率的大小;训练次数epoch设置为300次。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310358029.6A CN116402787B (zh) | 2023-04-06 | 2023-04-06 | 一种非接触式pcb缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310358029.6A CN116402787B (zh) | 2023-04-06 | 2023-04-06 | 一种非接触式pcb缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116402787A true CN116402787A (zh) | 2023-07-07 |
CN116402787B CN116402787B (zh) | 2024-04-09 |
Family
ID=87011824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310358029.6A Active CN116402787B (zh) | 2023-04-06 | 2023-04-06 | 一种非接触式pcb缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116402787B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824271A (zh) * | 2023-08-02 | 2023-09-29 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN117830223A (zh) * | 2023-12-04 | 2024-04-05 | 华南师范大学 | 一种基于ct平扫影像的肾结石检测与评估方法及装置 |
CN118297944A (zh) * | 2024-06-05 | 2024-07-05 | 山东省科学院激光研究所 | 用于传送带损坏的检测方法和检测系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758288A (zh) * | 2022-03-15 | 2022-07-15 | 华北电力大学 | 一种配电网工程安全管控检测方法及装置 |
CN115359016A (zh) * | 2022-08-26 | 2022-11-18 | 湖南科技大学 | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 |
CN115713682A (zh) * | 2022-11-02 | 2023-02-24 | 大连交通大学 | 基于改进yolov5s的安全帽佩戴检测算法 |
CN115719338A (zh) * | 2022-11-20 | 2023-02-28 | 西北工业大学 | 一种基于改进YOLOv5的PCB板表面缺陷检测方法 |
CN115909070A (zh) * | 2022-11-25 | 2023-04-04 | 南通大学 | 一种基于改进yolov5网络的杂草检测方法 |
-
2023
- 2023-04-06 CN CN202310358029.6A patent/CN116402787B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758288A (zh) * | 2022-03-15 | 2022-07-15 | 华北电力大学 | 一种配电网工程安全管控检测方法及装置 |
CN115359016A (zh) * | 2022-08-26 | 2022-11-18 | 湖南科技大学 | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 |
CN115713682A (zh) * | 2022-11-02 | 2023-02-24 | 大连交通大学 | 基于改进yolov5s的安全帽佩戴检测算法 |
CN115719338A (zh) * | 2022-11-20 | 2023-02-28 | 西北工业大学 | 一种基于改进YOLOv5的PCB板表面缺陷检测方法 |
CN115909070A (zh) * | 2022-11-25 | 2023-04-04 | 南通大学 | 一种基于改进yolov5网络的杂草检测方法 |
Non-Patent Citations (1)
Title |
---|
RONGYUN MO ET AL.: "Dimension-aware attention for efficient mobile networks", PATTERN RECOGNITION, pages 1 - 11 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116824271A (zh) * | 2023-08-02 | 2023-09-29 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN116824271B (zh) * | 2023-08-02 | 2024-02-09 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN117830223A (zh) * | 2023-12-04 | 2024-04-05 | 华南师范大学 | 一种基于ct平扫影像的肾结石检测与评估方法及装置 |
CN118297944A (zh) * | 2024-06-05 | 2024-07-05 | 山东省科学院激光研究所 | 用于传送带损坏的检测方法和检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116402787B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116402787B (zh) | 一种非接触式pcb缺陷检测方法 | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
CN109615016B (zh) | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 | |
CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
Zhou et al. | Review of vision-based defect detection research and its perspectives for printed circuit board | |
Chen et al. | PCB defect detection method based on transformer-YOLO | |
CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
CN111191546A (zh) | 基于机器视觉识别的产品智能装配方法 | |
CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
CN118154603B (zh) | 基于级联多层特征融合网络的显示屏缺陷检测方法及系统 | |
Sun et al. | Cascaded detection method for surface defects of lead frame based on high-resolution detection images | |
CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
Chen et al. | A comprehensive review of deep learning-based PCB defect detection | |
CN118115473A (zh) | 带钢表面微小缺陷检测网络及方法 | |
CN116342648A (zh) | 基于混合结构注意力引导的孪生网络目标跟踪方法 | |
CN115170545A (zh) | 一种动态熔池尺寸检测及成形方向判别方法 | |
Huang et al. | Deep learning object detection applied to defect recognition of memory modules | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN111415384B (zh) | 一种基于深度学习的工业图像组件精准定位系统 | |
CN117315473A (zh) | 一种基于改进YOLOv8的草莓成熟度检测方法及系统 | |
CN115719363B (zh) | 可进行二维动态检测和三维重建的环境感知方法与系统 | |
CN116645625A (zh) | 基于卷积Transformer联合的目标跟踪方法 | |
Lv et al. | An image rendering-based identification method for apples with different growth forms | |
CN112132816B (zh) | 一种基于多任务与感兴趣区域分割引导的目标检测方法 | |
Gao et al. | Optimization of greenhouse tomato localization in overlapping areas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |