CN116309398A - 一种多通道特征融合学习的印制电路板小目标缺陷检测方法 - Google Patents

一种多通道特征融合学习的印制电路板小目标缺陷检测方法 Download PDF

Info

Publication number
CN116309398A
CN116309398A CN202310188768.5A CN202310188768A CN116309398A CN 116309398 A CN116309398 A CN 116309398A CN 202310188768 A CN202310188768 A CN 202310188768A CN 116309398 A CN116309398 A CN 116309398A
Authority
CN
China
Prior art keywords
defect
circuit board
printed circuit
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310188768.5A
Other languages
English (en)
Inventor
张莹
邓华宣
吴�琳
孙月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202310188768.5A priority Critical patent/CN116309398A/zh
Publication of CN116309398A publication Critical patent/CN116309398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于印制电路板缺陷检测领域，公开了一种多通道特征融合学习的印制电路板小目标缺陷检测方法。首先读取采集标注好的印制电路板缺陷样本图像，采用K‑means++对缺陷目标的真实包围框进行聚类并根据多尺度检测头调整预设锚框大小，然后将图像传输至添加了改进注意力的YOLOv7主干网络，对同尺度内的输入输出节点跳跃性连接，不同输入快速归一化加权融合，最后新增两层小目标检测模块共同预测印制电路板缺陷目标的种类和位置。该方法从多尺度特征图内抽取语义特征，充分利用特征提取网络模块能力，达到检测过程中精度与速度的平衡，最大程度上减少了对印制电路板缺陷误判、漏判的情况，提高了产品良好率，降低生产成本。

Description

一种多通道特征融合学习的印制电路板小目标缺陷检测方法
技术领域
本发明属于印制电路板缺陷检测领域，具体涉及一种多通道特征融合学习的印制电路板小目标缺陷检测方法。
背景技术
印制电路板作为各种电子元件的载体，已成为新一代电子信息技术的先导性支柱产业，国家对印制电路板精益生产、提质增效提出高要求，将高密度互连印制电路板作为电子电路制造业的重点产品列入战略性新兴产业。从机械加工、光电化学到计算设计等，印制电路板的生产过程是一种不连续的流水线形式，任何一个环节出了问题都可能导致全线停产或大量报废，质量检测可以及时发现问题并进行诊断，避免不良品流到下一工序，提高产品良好率，降低生产成本。表面缺陷检测作为印制电路板质量检测中的重要环节，检测方式主要可以分为以下三种：
(1)基于人工目检的方法：通过人工肉眼观察或者借助比较简单的光学放大镜检查印制电路板焊膏印刷和焊盘的完整情况，这种方法对技术工艺要求比较低，但是需要大量的人力，而且由于人工目检不可避免视觉疲劳、易受外界干扰等问题，表面缺陷检测的效果往往很差。
(2)基于模板匹配的方法：模板匹配的方法存在于自动光学检测设备的基础上，通过比对实时采集生产制造过程中的印制电路板图像与计算机中预存的印制电路板模板，自动寻找差异的方法来检测印制电路板的表面外观缺陷，由于其高度的自动化，检测效率远远高于人工目检的方法。
(3)基于深度学习的方法：基于深度学习的印制电路板表面缺陷检测方法同样依靠自动光学仪器采集的印制电路板图像，通过向推理网络传输大量印制电路板的缺陷样本，让网络自动识别和提取缺陷特征，获得印制电路板缺陷图像的深层语义，将训练好的网络部署在光学检测设备中完成缺陷的自动检测。
由于高密度印制电路板布线密集，孔径微小，并且在制造过程中高温压合使得电路板产生翘曲涨缩等形变，传统的人工目检和光学检测中的模板匹配方法已经无法满足高质量印制电路板的生产需求，为解决印制电路板复杂表面外观缺陷误检、漏检等问题，采用基于深度学习的方法，通过印制电路板缺陷样本数据驱动进行特征提取，根据大量样本的学习得到更加深层的语义特征，使网络对特征表述更加高效和准确，缺陷检测网络所提取的抽象特征鲁棒性更强，泛化能力更好。
发明内容
本发明的目的在于克服上述已有技术的不足，提出一种多通道特征融合学习的印制电路板小目标缺陷检测方法，从而提高印制电路板生产良好率，降低工业生产线制造成本。
本发明的多通道特征融合学习的印制电路板小目标缺陷检测方法包括下列步骤：
步骤1、读取和预处理通过自动光学仪器采集并标注好的印制电路板缺陷样本图像；
步骤2、采用K-means++对印制电路板缺陷样本库中缺陷目标的真实包围框进行聚类并根据多尺度检测头调整，获得更适合网络学习缺陷特征的锚框；
步骤2.1、创建一个关于所有缺陷包围框大小的样本库；
步骤2.2、随机选取一个缺陷大小样本作为第一个聚类中心；
步骤2.3、计算其它样本到当前选取样本聚类中心的最短距离；
步骤2.4、使用轮盘法在这些未选取的样本中选取一个新样本作为新的聚类中心；
步骤2.5、重新计算未选取样本到新聚类中心的最短距离；
步骤2.6、重复以上步骤，直到选出预定的第15个样本的聚类中心不发生明显变化；
步骤2.7、然后将相对更大的后12个锚框根据多尺度检测头比例扩大锚框；
步骤2.8、计算印制电路板缺陷样本新锚框的宽和高，获得更适合网络学习缺陷特征的锚框大小；
步骤3、将图片传输至主干网络，并将改进后的通道注意力和空间注意力模块添加到主干网络的第一个和第三个扩展高效层聚合网络后；
步骤3.1、在主干网络的第一个和第三个扩展高效层聚合网络后增加通道注意力模块和空间注意力模块；
步骤3.2、使用SELU激活函数替换掉通道空间注意力模块中的Sigmoid激活函数；
步骤4、对于相同尺度内的输入和输出节点中间增加一个跳跃性连接，对输出节点上不同输入进行快速归一化加权融合；
步骤4.1、将主干网络中的第二个通道空间注意力模块和第二个与第四个扩展高效层聚合网络作为输入节点，通过1×1卷积调整输入的特征图，使其符合输出节点上原输入的维度大小；
步骤4.2、将特征提取网络中自底而上通道内最底层的扩展高效层聚合网络和两个拼接模块作为输出节点，输入和输出节点中间增加一个跳跃性连接；
步骤4.3、赋予权值，并使用正则化把权重值控制在0到1范围内；
步骤4.4、对输出节点上不同输入进行快速归一化加权融合；
步骤5、将不同尺度的特征图输入检测头获得印制电路板表面缺陷目标的种类和位置，增加低层次，高分辨率检测头应对小目标缺陷；
步骤5.1、分别在第一个扩展高效层聚合网络前和已添加的两个通道空间注意力模块、第二、第四个扩展高效层聚合网络后提取五个不同尺度的特征图；
步骤5.2、通过由卷积、BN层、激活函数构成的卷积模块将增加的特征图与原特征金字塔自底而上通道中的最底层扩展高效层聚合网络连接；
步骤5.3、使用上采样调整通道大小，与原先的检测头一样，将特征图传入扩展高效层聚合网络后引出，通过RepConv卷积模块，再经过卷积核大小为1的卷积层，生成尺度为20×20×255、40×40×255、80×80×255、160×160×255、320×320×255大小的特征图，用于最终的缺陷种类预测、位置回归和置信度的计算。
本发明与现有技术相比有以下优点：
(1)本发明采用了K-means++对印制电路板缺陷样本库中缺陷目标的真实包围框进行聚类，因为网络学习过程中不同的特征层适合不同大小的先验框，于是通过根据多尺度检测头比例扩大锚框的方法避免了面对整体待检测缺陷目标都偏小的情况下K-means++计算的锚框聚集在小范围内的问题，寻找到更适合网络学习缺陷特征的锚框大小。
(2)本发明最终提取了五种不同尺度的特征图用于缺陷种类位置的检测，在不破坏原特征提取网络结构的基础上，融合了低层次、大尺度的特征图，从更多尺度的特征图内抽取语义特征，相比于现有技术中的少量检测头或最终输出为单个检测头，更适合检测类似印制电路板表面缺陷这种微小目标，使检测精度得到了很大的提升。
(3)本发明分别在同尺度和不同尺度内进行跨通道连接，引入了改进后的轻量型通道注意力机制和空间注意力机制以增强多通道融合网络对细节的关注，在保证精度的同时并没有过多额外地增加网络模块，充分提高特征提取网络的能力，并且将参数量控制在最低的范围内，在实际的印制电路板检测过程中做到了实时检测的效果，达到精度与速度的平衡。
附图说明
图1为本发明使用K-means++算法计算印制电路板缺陷样本锚框示意图。
图2为本发明改进后的通道注意力和空间注意力模块结构示意图。
图3为本发明网络中同尺度通道输入输出节点跳跃连接结构示意图。
图4为本发明改进后的整体网络结构示意图。
图5为本发明实施例网络训练完成的损失和mAP示意图。
图6为本发明实施例缺陷检测结果示意图。
图7为本发明整体印制电路板小目标缺陷检测方法流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
针对印制电路板小目标缺陷检测难度增大，易出现误判漏判问题，提出了一种基于多通道特征融合的印制电路板表面缺陷检测方法，与常见基于深度学习的缺陷检测方法相似，在大量数据样本的驱动下，整体的网络结构由图像输入端口、主干网络、特征图收集层和预测器四个部分构成，具体印制电路板缺陷检测实施过程如下：
步骤1、读取和预处理通过自动光学仪器采集并标注好的印制电路板缺陷样本图像；
印制电路板缺陷数据集采用了由北京大学人机交互开放实验室发布了PCB缺陷数据集PCB Defect，其中标注好的图像一共有693张，缺陷包括开路、缺焊等六种类型，其大小一般只占原图的千分之一，由于该数据集中的图像数量偏少且缺陷微小难以检测，于是对数据集进行增强，具体的增强方式如下：
通过随机的缩放因子调整图像的大小，标注框大小和所在位置也按照预定的缩放因子改变，按照随机缩放因子，采用双线性插值对图像进行调整，计算公式如下：
f(x，y)＝f(Q11)w11+f(Q21)w21+f(Q12)w12+f(Q22)w22 (1)
公式(1)中的
Figure BDA0004104706050000041
w12，w22也类似，标注框则是通过对左上角的x、y坐标值和包围框的长和宽w、h与随机缩放因子相乘调整得到；
对缩放后的图像进行随机角度旋转和ROI区域裁剪，在对图像进行随机角度旋转之前要先制作一个符合整体样本大小的黑色蒙版作为背景，使用getRotationMatrix2D获取相应角度的旋转变换矩阵，若旋转角度为θ，旋转中心为(x，y)，计算旋转变换矩阵如公式(2)所示：
Figure BDA0004104706050000042
ROI区域裁剪首先要获得待裁剪图像的高和宽以及缺陷目标所在的位置，必须保证图像处理完成后缺陷目标不会出现缺失的情况，最终数据集中的图像数量为12298张；
准备好数据集之后，使用mosaic方法对图像进行数据增强，随机对原有的四张图像以及对应的印制电路板缺陷真实框一起进行拼接，形成一张新的图像具体拼接流程如下：
首先创建一个mosaic画布，并在画布中随机寻找一个拼接点(x_c，y_c)，然后围绕拼接点，在样本库中随机选择四张图像进行放置，左上角点如果图片并没有超出画布范围，则图片在画布中放置区域为(x_c-w，y_c-h，x_c，y_c)，如果图片超出画布，则放置区域为(0，0，x_c，y_c)，其他三个位置也类似左上角点进行放置；
然后对真实框进行预处理，将真实框进行归一化，调整到0至1之间，并对图像进行缩放且进行长和宽的扭曲，将图像多余的部分加上灰条，随机翻转图像，对图像进行色域变换，预处理图像后，对真实框进行相应调整后再传入多通道特征融合学习网络。
步骤2、采用K-means++对印制电路板缺陷样本库中缺陷目标的真实包围框进行聚类并根据多尺度检测头调整，获得更适合网络学习缺陷特征的锚框；
步骤2.1、创建一个关于所有缺陷包围框大小的样本库；
获取所有缺陷样本的缺陷真实包围框大小，将计算得到的宽和高按照[w，h]的形式存入字典中，data＝{[w1，h1]，[w2，h2]，...}，其中w＝xmax-xmin，h＝ymax-ymin，计算w和h的xmax、xmin、ymax、ymin均为标注文件中的参数，由于处理完成后的数据集中的每一张印制电路板图像可能含有一处或多处缺陷，最终缺陷大小样本的数量为44140个；
步骤2.2、随机选取一个缺陷大小样本作为第一个聚类中心；
步骤2.3、计算其它样本到当前选取样本聚类中心的最短距离；
步骤2.4、使用轮盘法在这些未选取的样本中选取一个新样本作为新的聚类中心；
假设，现在一共有八个样本，其所属的宽和高分别是[50，50]，[60，50]，[50，40]，[60，40]，[20，20]，[30，20]，[20，10]，[30，10]，这八个样本分别被赋予1至8号，现在按照步骤2.2中随机从缺陷大小样本中选取的第一个聚类中心为6号[30，20]，计算其它样本到当前选取样本聚类中心的最短距离，计算结果如表1所示，按照轮盘法，从0到1中产生一个随机数，由随机数所落在的概率求和区间来确定下一个新的聚类中心，概率的计算方法如公式(3)所示：
Figure BDA0004104706050000051
公式(3)中其它样本到当前选取样本聚类中心的最短距离记为D(x)，每个样本被选取为新的聚类中心的概率记为P(x)；
表1：轮盘法于假设样本中距离和概率计算结果
Figure BDA0004104706050000052
可以从表1中得出，1号点区间为[0,0.23)，2号点区间为[0.23,0.55)，由0到1中产生的随机数落在哪个区间就由这个样本作为下一个新的聚类中心，可以看到2号样本作为下一个新的聚类中心的概率最大，样本被选择的概率与最短距离成正比，由于2号样本离6号样本最远，因此概率最大，这就是轮盘法在选取新的聚类中心的详细步骤，对于实际选取过程中的44140个样本也是类似；
步骤2.5、重新计算未选取样本到新聚类中心的最短距离；
步骤2.6、重复以上步骤，直到选出预定的第15个样本的聚类中心不发生明显变化；
如图1所示，K-means++聚类计算的结果为[2,3,2,5,3,4,5,3,4,5,3,7,5,6,7,4,5,7,4,9,8,6,6,8,8,10,13,14,27,26]，可以非常直观的看出，面对整体待检测印制电路板缺陷目标都偏小的情况下K-means++计算的锚框都聚集在小范围内，这并不利于深度学习网络的训练，网络学习过程中不同的特征层适合不同大小的先验框；
步骤2.7、然后将相对更大的后12个锚框根据多尺度检测头比例扩大锚框；
步骤2.8、计算印制电路板缺陷样本新锚框的宽和高，获得更适合网络学习缺陷特征的锚框大小；
为了使锚框更符合多尺度检测头，重新调整相对更大的后12个锚框大小，新的宽度
Figure BDA0004104706050000053
Figure BDA0004104706050000054
新的高度/>
Figure BDA0004104706050000055
最终预设好的锚框大小为[2,3,2,5,3,4,10,6,8,10,6,14,20,24,28,16,20,28,32,72,64,48,48,64,128,160,208,224,432,416]，通过这种设置方法以达到最优的检测效果。
步骤3、将图片传输至主干网络，并将改进后的通道注意力和空间注意力模块添加到主干网络的第一个和第三个扩展高效层聚合网络后；
步骤3.1、在主干网络的第一个和第三个扩展高效层聚合网络后增加通道注意力模块和空间注意力模块；
步骤3.2、使用SELU激活函数替换掉通道空间注意力模块中的Sigmoid激活函数；
如图2所示，将输入的特征图分别经过基于宽和高的最大池化采样和平均池化采样操作后，然后经过MLP，将MLP的输出特征图进行张量加和操作，再经过SELU激活函数，SELU激活函数一定程度上避免了反向传播过程中梯度消失和梯度爆炸问题，并且除零点外不存在输出为0的部分，避免大量的神经元出现失活的情况；
Figure BDA0004104706050000061
公式(4)中λ＝1.0507，α＝1.6733，经过激活函数后生成通道注意力特征图，将该特征图经过基于通道的最大池化采样和平均池化采样操作并进行拼接，通过卷积展平后激活，生成最终更有效的特征图。
步骤4、对于相同尺度内的输入和输出节点中间增加一个跳跃性连接，对输出节点上不同输入进行快速归一化加权融合；
步骤4.1、将主干网络中的第二个通道空间注意力模块和第二个与第四个扩展高效层聚合网络作为输入节点，通过1×1卷积调整输入的特征图，使其符合输出节点上原输入的维度大小；
步骤4.2、将特征提取网络中自底而上通道内最底层的扩展高效层聚合网络和两个拼接模块作为输出节点，输入和输出节点中间增加一个跳跃性连接；
由于输入节点和输出节点处在相同层，增加一个跳跃性连接可以在没有增加过多网络模块的前提下，使得信息在同一层的特征图内也能得到融合和共享，充分提高特征提取网络的能力；
步骤4.3、赋予权值，并使用正则化把权重值控制在0到1范围内；
步骤4.4、对输出节点上不同输入进行快速归一化加权融合；
不同输入对于网络的特征提取贡献是不平等的，所以需要进行加权融合，如图4所示，为了简单高效，采用快速归一化加权融合方式，图3中的B3、B5代表主干网络中的第二个与第四个扩展高效层聚合网络，B4表示第二个通道空间注意力模块，使用正则化把通道权重值控制在0到1范围内，
Figure BDA0004104706050000062
通过加权融合的方式将节点连接在一起；
Figure BDA0004104706050000063
公式(5)中
Figure BDA0004104706050000064
是输入节点和输出节点跳跃性连接的输出特征，/>
Figure BDA0004104706050000065
是中间至上而下通道内节点的输出特征，/>
Figure BDA0004104706050000066
则是第三个尺度检测头的输出特征，通过公式(5)的方法进行快速归一化加权融合，最终输出特征结果为/>
Figure BDA0004104706050000067
在其他尺度内的特征层上也是通过同样的方法进行融合。
步骤5、将不同尺度的特征图输入检测头获得印制电路板表面缺陷目标的种类和位置，增加低层次，高分辨率检测头应对小目标缺陷；
步骤5.1、分别在第一个扩展高效层聚合网络前和已添加的两个通道空间注意力模块、第二、第四个扩展高效层聚合网络后提取五个不同尺度的特征图；
步骤5.2、通过由卷积、BN层、激活函数构成的卷积模块将增加的特征图与原特征金字塔自底而上通道中的最底层扩展高效层聚合网络连接；
如图4所示，主干网络中的BConv是由四个CBS模块构成，CBS模块分为一个卷积层、一个批量标准化层和一个SILU激活函数，但BConv中的卷积层维度与主干网络到特征图收集层连接处的卷积层不相同；高效层聚合网络也是由多个CBS模块组成，在保留ELAN原有结构的基础上，引导不同卷积特征模块通道进行拼接，大幅度提升网络的学习能力；MPConv被分成了两个分支，其中一个是Maxpool层，另外一个是CBS模块组，两个分支各自完成卷积后拼接输出；Neck层中引入了一种改进后的空间金字塔池化结构SPPCSPC，通过最大池化来获得不同的感受野，该模块主要由CBS和Maxpool层组成，Upsample通过最近邻插值法对池化后的图像进行上采样，统一维度后进行拼接，构成聚合特征金字塔结构PAFPN。
步骤5.3、使用上采样调整通道大小，与原先的检测头一样，将特征图传入扩展高效层聚合网络后引出，通过RepConv卷积模块，再经过卷积核大小为1的卷积层，生成尺度为20×20×255、40×40×255、80×80×255、160×160×255、320×320×255大小的特征图，用于最终的缺陷种类预测、位置回归和置信度的计算。
训练时的损失函数分为坐标损失、目标置信度损失和分类损失，其中目标置信度和分类采用BCEWithLogitsLoss损失函数；
Loss＝{l1,l2,...,ln} (6)
ln＝-wn[yn*logσ(xn)+(1-yn)*log(1-σ(xn))] (7)
公式(6)中的ln按照公式(7)进行计算，其中的σ(xn)为Sigmoid激活函数
Figure BDA0004104706050000071
而坐标损失采用的是CIoU损失函数；
Figure BDA0004104706050000072
Figure BDA0004104706050000073
Figure BDA0004104706050000074
LCIoU＝1-IoU+RCIoU (11)
公式(8)为CIoU损失函数的惩罚项，公式(10)中a是一个正的权衡参数，而v衡量长宽比的一致性，v由公式(9)计算得出，CIoU损失函数的最终定义如公式(11)所示；
本实施例使用增强后的印制电路板缺陷数据集PCB Defect在GeForce RTX3090GPU上训练了300个epoch，批量大小为16，使用初始学习率为0.01的SGD优化器，采用余弦退火的学习率下降方式，最终多通道特征融合学习网络训练结果在IoU为0.5时的mAP达到了99.3％，检测速度达到了28.8FPS，训练过程中训练数据的损失和验证数据的损失结果和mAP示意图如图5所示，最终在印制电路板缺陷数据集PCB Defect上缺陷检测结果示意图如图6所示，可见本发明提出的基于多通道特征融合学习的印制电路板小目标缺陷检测方法在印制电路板缺陷检测任务中实现了较好的检测性能。
综上，本发明的方法可以结合通过自动光学仪器采集并标注好的印制电路板缺陷样本图像，训练出具有高精度，高效率的缺陷检测网络模型，可以面向各种复杂的印制电路板缺陷检测工业场景，整体的检测方法流程如图7所示。
最后应当说明的是：以上展示的技术原理，主要特征和实施步骤，仅以说明本发明的技术方案，而并非对其限制；尽管参照前述实施案例和说明书对本发明进行了详细描述，本领域的技术人员应当理解：依然可以对前述技术方案进行修改，或者对其中的主要特征进行替换，并不使相应技术的本质脱离本发明各实施例方案的精神和范围。本发明要求保护范围由所附的权利要求及其等效物界定。

Claims (5)

1.一种多通道特征融合学习的印制电路板小目标缺陷检测方法，其特征在于，包括以下步骤：
步骤1、读取和预处理通过自动光学仪器采集并标注好的印制电路板缺陷样本图像；
步骤2、采用K-means++对印制电路板缺陷样本库中缺陷目标的真实包围框进行聚类并根据多尺度检测头调整，获得更适合网络学习缺陷特征的锚框；
步骤3、将图片传输至主干网络，并将改进后的通道注意力和空间注意力模块添加到主干网络的第一个和第三个扩展高效层聚合网络后；
步骤4、对于相同尺度内的输入和输出节点中间增加一个跳跃性连接，对输出节点上不同输入进行快速归一化加权融合；
步骤5、从主干网络中获得多个尺度的特征图，并将不同尺度的特征图跨通道进行融合，引入大尺度特征图提取缺陷目标的细微特征，将最终得到的特征图输入检测头获得印制电路板表面缺陷目标的种类和位置，增加低层次，高分辨率检测头应对小目标缺陷。
2.如权利要求1所述的一种多通道特征融合学习的印制电路板小目标缺陷检测方法，其特征在于，步骤2中采用K-means++对印制电路板缺陷样本库中缺陷目标的真实包围框进行聚类后，再根据多尺度检测头比例扩大锚框，详细过程如下：
首先从印制电路板缺陷样本库中获取所有缺陷样本的缺陷真实包围框大小，创建一个关于所有缺陷包围框大小的样本库，data＝{[w1,h1],[w2,h2],...}，其中w＝xmax-xmin，h＝ymax-ymin，计算w和h的xmax、xmin、ymax、ymin均为标注文件中的参数，采用K-means++对缺陷大小的样本库进行聚类，由于输出检测头数量的需要，每种检测头输出的特征图对应着3种不同的锚框，获得15个聚类中心作为初始预设锚框大小，然后将相对更大的后12个锚框根据多尺度检测头比例扩大锚框，新的宽度
Figure FDA0004104706040000011
新的高度/>
Figure FDA0004104706040000012
Figure FDA0004104706040000013
这里的wi和hi是已经聚类选取完成的锚框宽和高，Pj则是指相应的检测头输出特征层，Psmall为尺度最小的特征层，通过以上方法调整到更适合网络学习缺陷特征的锚框大小。
3.如权利要求1所述的一种多通道特征融合学习的印制电路板小目标缺陷检测方法，其特征在于，步骤3中基于YOLOv7的主干网络，在主干网络的第一个和第三个扩展高效层聚合网络后增加通道注意力模块和空间注意力模块，增强网络对印制电路板小目标缺陷的关注，并使用SELU激活函数替换掉注意力机制中的Sigmoid激活函数，避免网络在特征学习中出现的梯度消失和梯度爆炸等问题。
4.如权利要求1所述的一种多通道特征融合学习的印制电路板小目标缺陷检测方法，其特征在于，步骤4中对于相同尺度内的输入和输出节点中间增加一个跳跃性连接，将主干网络中的第二个通道空间注意力模块和第二个与第四个扩展高效层聚合网络作为输入节点，将特征提取网络中自底而上通道内最底层的扩展高效层聚合网络和两个拼接模块作为输出节点，通过1×1卷积调整输入的特征图，使其符合输出节点上原输入的维度大小，然后进行跳跃性连接并赋予权值，正则化把权重值控制在0到1范围内，
Figure FDA0004104706040000021
由此对输出节点上不同输入进行快速归一化加权融合。
5.如权利要求1所述的一种多通道特征融合学习的印制电路板小目标缺陷检测方法，其特征在于，步骤5中将不同尺度的特征图输入检测头获得印制电路板表面缺陷目标的种类和位置，增加了低层次，高分辨率的检测头，详细过程如下：
从YOLOv7的主干网络中获得更多尺度的特征图，分别在第一个扩展高效层聚合网络前和已添加的两个通道空间注意力模块、第二、第四个扩展高效层聚合网络后提取五个不同尺度的特征图，相比YOLOv7原先只在后三个扩展的高效层聚合网络后提取，增加了两层更大尺度的特征图，通过由卷积、BN层、激活函数构成的卷积模块将增加的特征图与原特征金字塔自底而上通道中的最底层扩展高效层聚合网络连接，使用上采样调整通道大小，与原先的检测头一样，将特征图传入扩展高效层聚合网络后引出，通过RepConv卷积模块，再经过卷积核大小为1的卷积层用于最终的缺陷种类预测、位置回归和置信度的计算，相比于原有只生成了20×20×255、40×40×255、80×80×255大小的特征图，增加了两层更高分辨率特征图，尺寸分别为160×160×255、320×320×255，提升网络对印制电路板小目标缺陷的检测能力。
CN202310188768.5A 2023-03-02 2023-03-02 一种多通道特征融合学习的印制电路板小目标缺陷检测方法 Pending CN116309398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310188768.5A CN116309398A (zh) 2023-03-02 2023-03-02 一种多通道特征融合学习的印制电路板小目标缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310188768.5A CN116309398A (zh) 2023-03-02 2023-03-02 一种多通道特征融合学习的印制电路板小目标缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116309398A true CN116309398A (zh) 2023-06-23

Family

ID=86795496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310188768.5A Pending CN116309398A (zh) 2023-03-02 2023-03-02 一种多通道特征融合学习的印制电路板小目标缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116309398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法
CN117670887B (zh) * 2024-02-01 2024-04-09 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112070158B (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN113610822B (zh) 一种基于多尺度信息融合的表面缺陷检测方法
CN112233090B (zh) 基于改进注意力机制的薄膜瑕疵检测方法
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN111680614A (zh) 一种基于视频监控中的异常行为检测方法
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN115775236B (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN111680690A (zh) 一种文字识别方法及装置
CN110929795A (zh) 高速焊线机焊点快速识别与定位方法
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN115965915B (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN113052215A (zh) 基于神经网络可视化的声呐图像自动目标识别方法
CN116309398A (zh) 一种多通道特征融合学习的印制电路板小目标缺陷检测方法
CN115861229A (zh) 一种基于YOLOv5s元器件封装缺陷X射线检测方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination