CN115359016A - 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 - Google Patents
基于改进YOLOv5的PCB小目标缺陷检测方法和系统 Download PDFInfo
- Publication number
- CN115359016A CN115359016A CN202211034401.XA CN202211034401A CN115359016A CN 115359016 A CN115359016 A CN 115359016A CN 202211034401 A CN202211034401 A CN 202211034401A CN 115359016 A CN115359016 A CN 115359016A
- Authority
- CN
- China
- Prior art keywords
- network
- yolov5
- pcb
- small target
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 183
- 238000001514 detection method Methods 0.000 title claims abstract description 154
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 92
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 230000002776 aggregation Effects 0.000 claims abstract description 24
- 238000004220 aggregation Methods 0.000 claims abstract description 24
- 238000007621 cluster analysis Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000003064 k means clustering Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 18
- 230000006872 improvement Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000009776 industrial production Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000007430 reference method Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013341 scale-up Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101000863875 Mus musculus Tyrosine-protein phosphatase non-receptor type substrate 1 Proteins 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于机器视觉检测技术领域，公开了一种基于改进YOLOv5的基于改进YOLOv5的PCB小目标缺陷检测方法和系统，对PCB小目标缺陷数据集进行聚类分析并得到聚类中心；将PCB小目标缺陷数据集输入二分K‑means聚类算法，将聚类中心值输入至YOLOv5网络；分别对YOLOv5特征提取网络和YOLOv5特征融合网络进行改进，引用BiFPN路径聚合网络代替YOLOv5特征融合网络；采用Decoupled‑head解耦头网络作为YOLOv5特征检测网络，设置相关参数进行训练；利用权重文件在测试数据集中进行缺陷检测。本发明可以准确获得PCB小目标缺陷相关信息，满足实际工业生产时的高精度、高速度、实时性要求。
Description
技术领域
本发明属于机器视觉检测技术领域，尤其涉及一种基于改进YOLOv5的PCB小目标缺陷检测方法和系统。
背景技术
目前，随着现代工业的智能化发展，工业生产力也随之快速提高，这离不开电子设备的核心组件印刷电路板(print circuit board，PCB)。PCB作为电子元件的载体，具有高集成化、多层化以及小型化等特点，因此对制造工艺有着极高的要求。但在实际生产中，因受设备、环境及人工操作等因素影响，PCB会产生短路、开路、缺口、毛刺、焊点漏焊、余铜等缺陷。
由于PCB缺陷具有种类多、缺陷大小尺度多变以及辨识度低等问题。所以目前生产现场的人工目视和电气特性检测方法已经无法满足PCB高效率、高精度、高性能的生产需求。机器视觉检测方法是一种无接触、无损伤的自动化检测方法，具有工作效率高的优点。
机器视觉检测方法是一种无接触、无损伤的自动化缺陷检测方法，具有检测工作效率高的优点。基于机器视觉的PCB缺陷检测方法分为参考法、混合法和无参考法，参考法需制作大量模板，易受噪声影响导致检测通用性低、精度低。混合法设计复杂，检测时间长，难以满足工业应用要求。无参考法具有较好的检测柔性，对噪声影响小，检测精度高。
无参考法常以深度学习方法进行PCB缺陷检测，基于深度学习的缺陷检测算法可以分为两大类，一类是以R-CNN、Fast R-CNN和Faster R-CNN为代表的两阶段目标检测算法，另一类是以SSD和YOLO系列为代表的单阶段检测网络，最突出的是YOLO系列网络模型算法，凭借着高精度和高速度的优势，使其在缺陷检测领域中大放光彩。YOLOv5从工程部署、特征提取以及提升检测精度和速度等方面进行改进，能较好满足PCB缺陷检测要求。
通过上述分析，现有技术存在的问题及缺陷为：
(1)由于PCB缺陷具有种类多、缺陷大小尺度多变以及辨识度低等问题，目前生产现场的人工目视和电气特性检测方法无法满足PCB的生产需求。
(2)现有参考法需制作大量模板，易受噪声影响导致检测通用性低、精度低；混合法设计复杂，检测时间长，难以满足工业应用要求。
(3)现有YOLOv5s技术面对基于改进YOLOv5的PCB小目标缺陷检测存在的漏检、特征提取能力不足、误检率高以及检测性能差等问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于改进YOLOv5的基于改进YOLOv5的PCB小目标缺陷检测方法和系统，尤其涉及一种基于改进YOLOv5的基于改进YOLOv5的PCB小目标缺陷检测方法，旨在解决现有YOLOv5s技术面对基于改进YOLOv5的PCB小目标缺陷检测存在的漏检、特征提取能力不足、误检率高以及检测性能差等问题。
本发明是这样实现的，一种基于改进YOLOv5的PCB小目标缺陷检测方法，所述基于改进YOLOv5的PCB小目标缺陷检测方法包括：
采用DBSCAN+二分K-means聚类算法对PCB小目标缺陷数据集进行聚类分析并得到聚类中心；首先将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入二分K-means聚类算法中获得聚类中心，将获得的聚类中心值输入至YOLOv5网络，再对YOLOv5算法的标注信息和缺陷种类信息进行配置；对YOLOv5特征提取网络进行算法改进，引用GAM模块加入YOLOv5特征提取网络；对YOLOv5特征融合网络进行算法改进，引用BiFPN路径聚合网络代替YOLOv5特征融合网络；采用Decoupled-head解耦头网络作为YOLOv5特征检测网络；将改进思路在YOLOv5代码中进行修改，设置相关参数进行训练以及实验验证；利用训练得到的权重文件在PCB小目标缺陷测试数据集中进行缺陷检测，验证模型检测效果。
进一步，所述基于改进YOLOv5的PCB小目标缺陷检测方法包括以下步骤：
步骤一，利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
步骤二，将通过改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行相关参数设置；
步骤三，对YOLOv5特征提取网络进行相应改进，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
步骤四，搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
步骤五，搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
步骤六，对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
步骤七，利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，并验证模型检测效果。
进一步，所述步骤一中，采用DBSCAN+二分K-means算法实现对PCB缺陷数据集的聚类分析，通过聚类分析得到9个不同尺寸的聚类中心，得到适合PCB小目标缺陷的锚框数值；具体包括：利用DBSAN算法对公开的PCB小目标缺陷数据集进行相关分析，排除边缘点和孤立点因素的干扰，再利用二分K-means聚类算法得到所需锚框数值。获取锚框数值的流程为将排除孤立点因素的标定框数据集作为输入，将所有数据作为聚类簇，将所述聚类簇利用K-means算法分为两个簇，并计算每个簇的误差；选择能使聚类损失函数将IoU最小的簇划分为两个簇，继续进行下去，直到选出簇数目达到用户给定的K值为止；最终共聚类出9个锚框。其中，误差IOU计算公式如下：
其中，boxi代表第i个标定框数值，cenj代表第j个锚框数值。
进一步，所述步骤二中，将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入至二分K-means算法中，再将采用二分K-means算法得到的聚类中心输入至YOLOv5中，并将得到聚类中心数值按从小到大顺序输入至YOLOv5模型参数当中；再在YOLOv5模型相关参数中设置需要检测的PCB缺陷类别，PCB小目标缺陷数据集的路径等相关信息；根据留出法对所需PCB小目标缺陷数据集进行划分，按照9：1的比例设置训练数据集和验证数据集，将得到的各类数据集相关信息汇成文本文档，输入至YOLOv5模型当中。
所述步骤三中，采用GAM网络改进YOLOv5特征提取网络。给定输入特征映射F1∈RC ×H×W，中间状态F2和输出F3，过程表述公式如下：
其中，MC是通道注意力图；MS是空间注意力图；
表示基于元素的乘法操作。
进一步，所述步骤四中，采用Efficientnet网络模型中的BiFPN路径聚合网络结构对原网络的YOLOv5特征融合网络进行改进。所述BiFPN采用的优化方法如下：
(1)删除没有特征融合--贡献很小且只有一条输入边的节点；(2)在不增加过多成本的前提下，在相同层增加一个跳跃连接；(3)多次重复路径聚合网络；(4)针对不同分辨率输入特征的贡献不平等问题，BiFPN为每个输入额外增加一个权重，采用快速归一化特征融合方法，公式如下：
其中，ωi≥0，∈＝0.0001，ωi和ωj是可学习的权重，Ii是向量；ωi≥0通过在每个ωi后施加Relu函数保证，∈取小值；BiFPN第6层融合特征输出公式如下：
其中，
是自上而下路径中第6层的中间特征，
是自下而上路径中第6层的输出特征，ω1、ω2和ω′1、ω′2、ω′3分别是
和
的输入权重，Resize是上采样或下采样，Conv是卷积操作。
所述步骤五中，引用Decoupled-head解耦头对现有网络模型的检测模块进行改进；Decoupled-head解耦头的思想来源于Double-head检测头。Double-head检测头结构具有两个分支，一个分支用于类别定位的conv-head，另一个分支用于目标分类的fc-head。conv-head采用卷积运算获取目标的边缘信息；采用Decoupled-head解耦头对原网络进行改进，改进后的网络模型的类别与定位信息分别由两个分支输出。
进一步，所述步骤六中，对YOLOv5算法代码进行改进，并实现相关代码训练。利用GAM网络改进YOLOv5特征提取网络，在对应特征提取层数后面增加相应GAM层，在YOLOv5特征融合网络中增加BiFPN网络，在YOLOv5检测头中增加Decoupled-head解耦头网络，并修改相应代码；利用改进算法实现对PCB小目标缺陷数据集训练，并设置好相关参数；其中，所述参数包括：训练迭代次数epoch、训练中训练样本数batch_size、训练学习率设置策略、训练数据增强方式以及训练输入图像尺寸大小。
所述步骤七中，在训练过程中，将获得的每次训练权重文件进行保存，利用权重文件实现对PCB缺陷测试数据集和PCB板的检测，并获取检测性能参数。
本发明的另一目的在于提供一种应用所述的基于改进YOLOv5的PCB小目标缺陷检测方法的基于改进YOLOv5的PCB小目标缺陷检测系统，所述基于改进YOLOv5的PCB小目标缺陷检测系统包括：
聚类分析模块，用于利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
参数设置模块，用于将改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行参数设置；
特征提取网络改进模块，用于对YOLOv5特征提取网络进行相应，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
特征融合网络改进模块，用于搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
解耦头网络搭建模块，用于搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
模型训练模块，用于对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
缺陷检测模块，用于利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，并验证模型检测效果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于改进YOLOv5的PCB小目标缺陷检测方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的基于改进YOLOv5的PCB小目标缺陷检测方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于改进YOLOv5的PCB小目标缺陷检测系统。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
针对现有YOLOv5s技术面对基于改进YOLOv5的PCB小目标缺陷检测存在漏检、特征提取能力不足、误检率高以及检测性能差等问题，本发明提出了一种结合注意力机制、BiFPN特征路径聚合网络和Decoupled-head解耦头网络改进YOLOv5的PCB缺陷检测方法，主要有以下几个优点：
(1)检测精度高，极大提高了工业生产现场的生产效率。因PCB缺陷具有与背景相似度高、表征信息相似等不易区分特点，原YOLOv5算法对PCB缺陷进行检测时难以满足工业检测的高精度要求，采用BiFPN网络融合特征图的深层和浅层信息，充分利用特征信息，提高网络检测精度；采用Decoupled-head解耦头对现有网络模型的检测模块进行改进从而使得一个分支专注于一种操作，分别提升分类和定位效果。本发明通过解耦操作，不仅提高了检测精度还减少了参数量，极大的提高了运算速度。最终使算法满足工业生产现场高速度、高精度要求，提高生产质量。
(2)检测柔性更强。因PCB板具有高度集成化、小型化以及多层化等特点，所以PCB板缺陷具有种类较多、微小缺陷种类间相似度高以及尺度范围大等特点。在使用YOLOv5进行缺陷检测时忽略了不同特征通道重要程度不同问题，本发明采用注意力机制GAM网络对YOLOv5进行改进，充分利用了PCB数据三个维度上所有的重要特征，可以有效提升检测柔性。
(3)检测可以更好应对目标尺寸变化。YOLOv5采用K-means算法对数据集进行聚类分析，在计算过程中首先随机选取初始聚类中心，然后计算与聚类中心距离进行簇的划分，容易受孤立点数据影响，出现聚类结果不稳定和局部最优等问题，不利于多尺度变化的目标检测；提出采用DBSCAN+二分K-means算法改进YOLOv5中K-means算法，先采用DBSCAN去除孤立点干扰，再使用二分K-means克服随机选取初始聚类中心问题，更好适应多种尺度缺陷检测。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明目的在于对PCB小目标进行缺陷检测。针对PCB小目标缺陷具有种类多、缺陷大小尺度多变以及辨识度低等特点，而YOLOv5s面对基于改进YOLOv5的PCB小目标缺陷检测存在漏检、特征提取能力不足、误检率高以及检测性能差等问题，本发明提出一种基于改进YOLOv5网络的基于改进YOLOv5的PCB小目标缺陷检测方法，该方法从特征提取层、特征聚合层以及检测层等网络结构入手来提高检测性能。
基于BiFPN面对特征处理时的优势，本发明选择采用BiFPN对原网络进行改进，加强了原网络特征融合能力，促进了对PCB小目标缺陷特征提取能力，提高了对PCB缺陷检测的精度。通过本发明的方法，可以准确获得PCB小目标缺陷相关信息，满足实际工业生产时的高精度、高速度、实时性要求。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
本发明的技术方案转化后的预期收益和商业价值为：
自从工业智能化时代到来，全球PCB市场规模成波动上升趋势，受疫情影响，2019年全球市场规模同比下降1.3％，但疫情过后，PCB市场从2020年约650亿美元上升至2021年超800亿美元水平，同比上升23％左右。在科技强国的号召下，无论是智能工业还是智能农业，都离不开电子设备核心组件PCB，随着PCB的快速发展，高度集成化、小型化甚至微型化都对PCB质量提出了更高的要求，一种能满足实际工业生产需求的具有高精度、高速度、泛化性强的PCB小目标检测方案必受市场欢迎，由此可见，市场潜力巨大，市场需求空间大。一台高精度、高速度的PCB缺陷检测设备不仅可以提高PCB生产效率还可以促进PCB技术的发展，从而促进整个产业链的发展。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于改进YOLOv5的PCB小目标缺陷检测方法流程图；
图2是本发明实施例提供的对数据集利用改进DBSCAN+二分K-means算法得到的聚类中心图；
图3是本发明实施例提供的GAM通道注意力机制模块示意图；
图4是本发明实施例提供的FPN、PANet、BiFPN网络模块示意图，其中(a)为FPN，(b)为PANet，(c)为BiFPN；
图5是本发明实施例提供的Decoupled-head解耦头网络结构图；
图6是本发明实施例提供的改进的YOLOv5网络结构图；
图7是本发明实施例提供的训练好的模型检测mAP图；
图8是本发明实施例提供的利用训练好的模型对PCB进行缺陷检测的实际检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于改进YOLOv5的基于改进YOLOv5的PCB小目标缺陷检测方法和系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于改进YOLOv5的PCB小目标缺陷检测方法包括以下步骤：
S101，利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
S102，将通过改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行相关参数设置；
S103，对YOLOv5特征提取网络进行相应改进，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
S104，搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
S105，搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
S106，对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
S107，利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，验证模型检测效果。
作为优选实施例，本发明实施例提供的基于改进YOLOv5的PCB小目标缺陷检测方法具体包括以下步骤：
(1)采用DBSCAN+二分K-means聚类算法实现对PCB小目标缺陷数据集进行聚类分析，共计聚类出9个不同尺寸的聚类中心，以解决PCB数据集边缘点、孤立点和随机化初始聚类中心造成的漏检问题。
(2)将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入二分K-means聚类算法中，通过将利用二分K-means对处理后PCB小目标缺陷数据集进行聚类得到的聚类中心值输入至YOLOv5网络，再对YOLOv5算法所需的标注信息、缺陷种类等相关信息进行相关配置。
(3)对YOLOv5特征提取网络进行算法改进，引用GAM模块加入YOLOv5特征提取网络，以解决PCB缺陷特征难以提取、与背景相似度高的问题。
(4)对YOLOv5特征融合网络进行算法改进，引用BiFPN路径聚合网络代替YOLOv5特征融合网络。以解决PCB缺陷特征深层信息难以提取、误检率高的问题，达到增加视野和权衡比重效果。
(5)为提升基于改进YOLOv5的PCB小目标缺陷检测性能，提高PCB缺陷分类与定位能力，采用Decoupled-head解耦头网络作为YOLOv5特征检测网络，从而提升检测精度。
(6)将改进思路在YOLOv5代码中进行修改，设置相关参数进行训练以及进行实验验证。
(7)利用训练得到的权重文件在PCB小目标缺陷数据集的测试数据集中进行缺陷检测，并验证模型检测效果。
本发明实施例根据步骤(1)的要求，主要是采用DBSCAN+二分K-means算法实现对PCB缺陷数据集的聚类分析，通过聚类分析得到9个不同尺寸的聚类中心，得到适合PCB小目标缺陷的锚框数值。其具体的流程为，先用DBSAN算法对公开的PCB小目标缺陷数据集进行相关分析，排除边缘点、孤立点等因素干扰，再利用二分K-means聚类算法得到所需锚框数值。获取锚框数值主要流程为将排除孤立点因素的标定框数据集作为输入，先将所有数据作为一个聚类簇，然后将该簇利用K-means算法分为两个簇，并计算每个簇的误差。选择能使聚类损失函数即IoU最小的簇划分为两个簇，以此继续进行下去，直到选出簇数目达到用户给定的K值为止。其中，误差IOU计算公式如下：
其中boxi代表第i个标定框数值，cenj代表第j个锚框数值。最终共聚类出9个锚框。
本发明实施例根据步骤(2)的要求，先将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入至二分K-means算法中，再将采用二分K-means算法得到的聚类中心输入至YOLOv5中，将这些得到聚类中心数值按从小到大顺序输入至YOLOv5模型参数当中。接着再在YOLOv5模型相关参数中设置需要检测的PCB缺陷类别，PCB小目标缺陷数据集的路径等相关信息。最后根据留出法对所需PCB小目标缺陷数据集进行划分，按照9：1的比例设置训练数据集和验证数据集，将得到的各类数据集相关信息汇成文本文档，输入至YOLOv5模型当中。
本发明实施例根据步骤(3)的要求，主要是采用GAM网络改进YOLOv5特征提取网络。针对原网络对PCB缺陷特征差异性表现不敏感，本发明引进了GAM(Global AttentionMechanism)网络，GAM充分利用了PCB数据三个维度上所有的重要特征，避免了以往注意力机制如SENet、CBAM以及BAM等所造成的跨维信息丢失。其目的是在减少信息缩减的同时放大全局维度交互的特征。给定输入特征映射F1∈RC×H×W，中间状态F2和输出F3，其过程表述公式如下：
其中MC和MS分别是通道注意力图和空间注意力图；
表示基于元素的乘法操作。因此使用GAM网络对原网络进行改进，有助于提高对PCB缺陷的特征提取能力，加强对PCB相似缺陷的区分能力。
本发明实施例根据步骤(4)的要求，主要是利用BiFPN路径聚合网络改进YOLOv5特征融合网络。特征图的浅层信息通常携带着十分详细的目标细节信息，更有利于小目标的定位匹配；深层信息则具有更多的语义信息和更广的感受野，具体体现在拥有更强的分辨力。针对PCB缺陷具有面积小、与背景相似度高以及表征信息相似等特点，采用Efficientnet网络模型中的BiFPN(Bidirectional Feature Pyramid Network)结构对原网络的特征融合网络进行改进。原网络采用的是PANet特征融合网络，PANet由FPN改进而来；FPN采用的是自顶向下的路径聚合结构，充分融合高层语义特征来提高对小目标的检测效果；PANet在FPN基础上引入了自底向上路径聚合结构，将浅层特征的定位信息传输到深层，增强每个层的定位能力；BiFPN全称为加权双向特征金字塔网络，它相比于PANet网络结构，不仅采用了自顶向下+自底向上的路径聚合结构，还引入了重复双向跨尺度连接和带权重的特征融合思想，实现了对特征的充分处理。
本发明实施例BiFPN主要采用的主要优化方法如下：(1)删除没有特征融合即贡献很小且只有一条输入边的节点；(2)在不增加过多成本的前提下，在相同层增加一个跳跃连接，从而融合更多特征。(3)多次重复路径聚合网络，实现更高层次特征融合；(4)针对不同分辨率输入特征的贡献不平等问题，BiFPN为每个输入额外增加一个权重，采用快速归一化特征融合方法，其公式如下。
其中，ωi≥0，∈＝0.0001，ωi和ωj是可学习的权重，Ii是向量；ωi≥0通过在每个ωi后施加Relu函数来保证，∈取小值，避免数值不稳定。从相关实验得知，快速归一化融合准确性与Softmax类似，但运行速度却快了30％。最终BiFPN第6层融合特征输出公式如下：
其中，
是自上而下路径中第6层的中间特征，
是自下而上路径中第6层的输出特征，ω1、ω2和ω′1、ω′2、ω′3分别是
和
的输入权重，Resize是上采样或下采样，Conv是卷积操作。
综上，基于BiFPN面对特征处理时的优势，因此本发明选择采用BiFPN对原网络进行改进，加强了原网络特征融合能力，促进了对PCB小目标缺陷特征提取能力，提高了对PCB缺陷检测的精度。
本发明实施例根据步骤(5)的要求，主要是引用Decoupled-head解耦头对现有网络模型的检测模块进行改进从而提升分类和定位效果。Decoupled-head解耦头的思想来源于Double-head检测头。Double-head检测头结构具有两个分支，一个分支是用于类别定位的conv-head，另一个分支是用于目标分类的fc-head。类别定位和目标分类侧重点不同，定位需要的是边缘信息，而分类则需要目标的纹理信息。conv-head采用卷积运算更有利于获取目标的边缘信息，但对于目标框的分类任务而言，Fully connected head(fc-head)的全连接层会更具有空间敏感性。所以，采用Decoupled-head解耦头对原网络进行改进，使其一个分支专注于一种操作，更好的满足本发明任务需求。改进后的网络模型的类别与定位信息分别由两个分支输出，这样极大的增强了原网络对PCB缺陷目标的分类和定位能力，提升了检测精度。而且通过解耦操作，减少了参数量，极大的提高了运算速度。
本发明实施例根据步骤(6)的要求，主要是对YOLOv5算法代码进行改进，并实现相关代码训练。利用GAM网络改进YOLOv5特征提取网络，在对应特征提取层数后面增加相应GAM层，在YOLOv5特征融合网络中增加BiFPN网络，在YOLOv5检测头中增加Decoupled-head解耦头网络，并修改相应代码。再利用改进算法实现对PCB小目标缺陷数据集训练，设置好相关参数，主要包括，训练迭代次数epoch、训练中训练样本数batch_size、训练学习率设置策略、训练数据增强方式、训练输入图像尺寸大小等相关参数。
本发明实施例根据步骤(7)的要求，在训练过程中，将获得的每次训练权重文件进行保存，利用该权重文件实现对PCB缺陷测试数据集的检测，实现对PCB板的高效精确检测，并获取检测相关性能参数。
本发明实施例提供的基于改进YOLOv5的PCB小目标缺陷检测系统包括：
聚类分析模块，用于利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
参数设置模块，用于将改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行参数设置；
特征提取网络改进模块，用于对YOLOv5特征提取网络进行相应，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
特征融合网络改进模块，用于搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
解耦头网络搭建模块，用于搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
模型训练模块，用于对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
缺陷检测模块，用于利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，并验证模型检测效果。
本发明实施例提供的改进的基于YOLOv5的基于改进YOLOv5的PCB小目标缺陷检测方法，具体包括以下步骤：
步骤101：利用DBSCAN+二分K-means算法实现对PCB缺陷数据集进行聚类，得到更适合PCB小目标缺陷的聚类中心。
首先采用DBSCAN算法对PCB小目标缺陷数据集进行处理，去除PCB小目标缺陷数据集的边缘点、孤立点等因素影响，再采用二分K-means算法实现对PCB小目标缺陷数据集的相关缺陷进行聚类，根据PCB小目标缺陷数据集的标注信息，使用二分K-means聚类算法获得9个不同大小的聚类中心值，其聚类中心在数据集中具体位置如图2所示。使用二分K-means算法对PCB小目标缺陷数据集聚类得到的聚类中心数值是：(17，17)，(18，33)，(23，20)，(24，48)，(25，26)，(33，31)，(39，48)，(41，21)，(54，46)。
步骤102：将通过改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集、PCB缺陷种类等相关信息输入至YOLOv5算法网络中，进行相关参数设置。
通过DBSCAN算法对PCB小目标缺陷数据集进行相关处理，再利用二分K-means算法对PCB小目标缺陷数据集进行聚类分析，相关实验设置图像大小为640pixels×640pixels，最终得到聚类结果为(17，17)，(18，33)，(23，20)，(24，48)，(25，26)，(33，31)，(39，48)，(41，21)，(54，46)。再将聚类结果按从小到大顺序进行排序，将其输入至YOLOv5算法PCB_data.yaml中的an chor信息中。根据PCB小目标缺陷数据集的图像信息和标注信息进行相关代码处理得到train.txt和trainval.txt文件信息，这些文本文档中存放训练数据集和验证数据集中图片、路径等信息。最后在PCB_data.yaml文件中输入PCB缺陷相关类别信息，PCB缺陷种类信息共计六种，分别为：missing_hole，mouse_bite，open_circuit，short,spur，spurious_copper。然后下载好预训练权重文件输入至PCB_data文件夹中。至此，完成了模型需要数据的相关设置。
步骤103：对YOLOv5特征提取网络进行相应，将GAM网络引入到YOL Ov5特征提取网络中，根据起相关原理对代码进行修改。
原YOLOv5网络在对每一层特征进行提取时持以相等关注度，忽略了不同特征通道具有不同重要度的事实，以至于不能很好的对PCB缺陷特征进行提取。因此针对原网络对特征差异性的不敏感的问题，对原网络的特征提取网络部分引入GAM网络，GAM充分利用了PCB数据三个维度上所有的重要特征，避免了以往注意力机制如SENet、CBAM以及BAM等所造成的跨维信息丢失。其目的是在减少信息缩减的同时放大全局维度交互的特征。GAM主要采用通道-空间顺序注意力机制，整个过程如图3所示。
给定输入特征映射F1∈RC×H×W，中间状态F2和输出F3，其过程表述公式如下：
其中MC和MS分别是通道注意力图和空间注意力图；
表示基于元素的乘法操作。因此使用GAM网络对原网络进行改进，有助于提高对PCB缺陷的特征提取能力，加强对PCB相似缺陷的区分能力。根据相关参数搭建GAM网络，并应用至YOLOv5特征提取网络进行相关参数修改。
步骤104：搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改。
GAM机制虽充分提取了PCB数据每一个特征通道的特征，但若想进一步提高对PCB缺陷的检测精度，还需要充分利用浅层信息和深层信息。特征图的浅层信息通常携带着十分详细的目标细节信息，更有利于小目标的定位匹配；深层信息则具有更多的语义信息和更广的感受野，具体体现在拥有更强的分辨力。原YOLOv5网络采用的是PANet特征融合网络，PANet由FPN改进而来；由图4(a)的FPN结构图可知，FPN采用的是自顶向下的路径聚合结构，充分融合高层语义特征来提高对小目标的检测效果；如图4(b)的PANet结构图可知，PANet在FPN基础上引入了自底向上路径聚合结构，将浅层特征的定位信息传输到深层，增强每个层的定位能力；BiFPN全称为加权双向特征金字塔网络，其结构图如图4(c)所示。它相比于PANet网络结构，不仅采用了自顶向下+自底向上的路径聚合结构，还引入了重复双向跨尺度连接和带权重的特征融合思想，实现了对特征的充分处理。
BiFPN主要采用的主要优化方法如下：(1)删除没有特征融合即贡献很小且只有一条输入边的节点；(2)在不增加过多成本的前提下，在相同层增加一个跳跃连接，从而融合更多特征。(3)多次重复路径聚合网络，实现更高层次特征融合；(4)针对不同分辨率输入特征的贡献不平等问题，BiFPN为每个输入额外增加一个权重，采用快速归一化特征融合方法，其公式如下。
其中，ωi≥0，∈＝0.0001，ωi和ωj是可学习的权重，Ii是向量；ωi≥0通过在每个ωi后施加Relu函数来保证，∈取小值，避免数值不稳定。从相关实验得知，快速归一化融合准确性与Softmax类似，但运行速度却快了30％。最终BiFPN第6层融合特征输出公式如下：
其中，
是自上而下路径中第6层的中间特征，
是自下而上路径中第6层的输出特征，ω1、ω2和ω′1、ω′2、ω′3分别是
和
的输入权重，Resize是上采样或下采样，Conv是卷积操作。
步骤105：搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改。
Decoupled-head解耦头的思想来源于Double-head检测头。Double-head检测头结构具有两个分支，一个分支是用于类别定位的conv-head，另一个分支是用于目标分类的fc-head。类别定位和目标分类侧重点不同，定位需要的是边缘信息，而分类则需要目标的纹理信息。conv-head采用卷积运算更有利于获取目标的边缘信息，但对于目标框的分类任务而言，Fully connected head(fc-head)的全连接层会更具有空间敏感性。所以，采用Decoupled-head解耦头对原网络进行改进，使其一个分支专注于一种操作，更好的满足我们任务需求。其结构图如图5所示。
最终改进特征提取网络、特征融合网络和特征检测网络的YOLOv5网络结构如图6所示，在YOLOv5中修改相应检测网络代码以及网络参数。
步骤106：对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练。
对最终改进YOLOv5网络模型进行训练，训练过程中，图像输入大小设置为(640pixels×640pixels)设置迭代次数为300，采用的是SGD优化器和Warmup学习率调整策略，迭代次数为300，动量为0.937，初始学习率为0.001，后200epoch学习率为0.0002，batch_size设置为16，学习率优化方式采用Adam方式，不采用数据增强方式。经过训练之后，得到训练好的网络模型。
步骤107：利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，验证模型检测效果。
将需要检验的缺陷样本图像放入数据集下data文件夹中，采用获得的权重文件及网络对缺陷样本进行检测，得到缺陷的类别、位置以及置信度信息。平均检测一张图像的时间为16毫秒，模型的检测mAP如图7所示，得到的检测结果如图8所示。由图中可以看出，通过本发明的方法，可以准确获得PCB小目标缺陷相关信息，满足实际工业生产时的高精度、高速度、实时性要求。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述基于改进YOLOv5的PCB小目标缺陷检测方法包括：
采用DBSCAN+二分K-means聚类算法对PCB小目标缺陷数据集进行聚类分析并得到聚类中心；将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入二分K-means聚类算法，将通过二分K-means聚类算法获得的聚类中心值输入至YOLOv5网络，再对YOLOv5算法的标注信息和缺陷种类信息进行配置；对YOLOv5特征提取网络进行算法改进，引用GAM模块加入YOLOv5特征提取网络；对YOLOv5特征融合网络进行算法改进，引用BiFPN路径聚合网络代替YOLOv5特征融合网络；采用Decoupled-head解耦头网络作为YOLOv5特征检测网络；将改进思路在YOLOv5代码中进行修改，设置相关参数进行训练以及实验验证；利用训练得到的权重文件在PCB小目标缺陷测试数据集中进行缺陷检测，验证模型检测效果。
2.如权利要求1所述的基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述基于改进YOLOv5的PCB小目标缺陷检测方法包括以下步骤：
步骤一，利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
步骤二，将通过改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行相关参数设置；
步骤三，对YOLOv5特征提取网络进行相应改进，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
步骤四，搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
步骤五，搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
步骤六，对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
步骤七，利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，并验证模型检测效果。
3.如权利要求2所述的基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述步骤一中，采用DBSCAN+二分K-means算法实现对PCB缺陷数据集的聚类分析，通过聚类分析得到9个不同尺寸的聚类中心，得到适合PCB小目标缺陷的锚框数值；具体包括：利用DBSAN算法对公开的PCB小目标缺陷数据集进行相关分析，排除边缘点和孤立点因素的干扰，再利用二分K-means聚类算法得到所需锚框数值；获取锚框数值的流程为将排除孤立点因素的标定框数据集作为输入，将所有数据作为聚类簇，将所述聚类簇利用K-means算法分为两个簇，并计算每个簇的误差；选择能使聚类损失函数将IoU最小的簇划分为两个簇，继续进行下去，直到选出簇数目达到用户给定的K值为止；最终共聚类出9个锚框；其中，误差IOU计算公式如下：
其中，boxi代表第i个标定框数值，cenj代表第j个锚框数值。
4.如权利要求2所述的基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述步骤二中，将通过DBSCAN算法处理后的PCB小目标缺陷数据集输入至二分K-means算法中，再将采用二分K-means算法得到的聚类中心输入至YOLOv5中，并将得到聚类中心数值按从小到大顺序输入至YOLOv5模型参数当中；再在YOLOv5模型相关参数中设置需要检测的PCB缺陷类别，PCB小目标缺陷数据集的路径等相关信息；根据留出法对所需PCB小目标缺陷数据集进行划分，按照9：1的比例设置训练数据集和验证数据集，将得到的各类数据集相关信息汇成文本文档，输入至YOLOv5模型当中；
所述步骤三中，采用GAM网络改进YOLOv5特征提取网络；给定输入特征映射F1∈RC×H×W，中间状态F2和输出F3，过程表述公式如下：
其中，MC是通道注意力图；MS是空间注意力图；
表示基于元素的乘法操作。
5.如权利要求2所述的基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述步骤四中，采用Efficientnet网络模型中的BiFPN路径聚合网络结构对原网络的YOLOv5特征融合网络进行改进；所述BiFPN采用的优化方法如下：
(1)删除没有特征融合--贡献很小且只有一条输入边的节点；(2)在不增加过多成本的前提下，在相同层增加一个跳跃连接；(3)多次重复路径聚合网络；(4)针对不同分辨率输入特征的贡献不平等问题，BiFPN为每个输入额外增加一个权重，采用快速归一化特征融合方法，公式如下：
其中，ωi≥0，∈＝0.0001，ωi和ωj是可学习的权重，Li是向量；ωi≥0通过在每个ωi后施加Relu函数保证，∈取小值；BiFPN第6层融合特征输出公式如下：
其中，
是自上而下路径中第6层的中间特征，
是自下而上路径中第6层的输出特征，ω1、ω2和ω′1、ω′2、ω′3分别是
和
的输入权重，Resize是上采样或下采样，Conv是卷积操作；
所述步骤五中，引用Decoupled-head解耦头对现有网络模型的检测模块进行改进；Decoupled-head解耦头的思想来源于Double-head检测头；Double-head检测头结构具有两个分支，一个分支用于类别定位的conv-head，另一个分支用于目标分类的fc-head；conv-head采用卷积运算获取目标的边缘信息；采用Decoupled-head解耦头对原网络进行改进，改进后的网络模型的类别与定位信息分别由两个分支输出。
6.如权利要求2所述的基于改进YOLOv5的PCB小目标缺陷检测方法，其特征在于，所述步骤六中，对YOLOv5算法代码进行改进，并实现相关代码训练；利用GAM网络改进YOLOv5特征提取网络，在对应特征提取层数后面增加相应GAM层，在YOLOv5特征融合网络中增加BiFPN网络，在YOLOv5检测头中增加Decoupled-head解耦头网络，并修改相应代码；利用改进算法实现对PCB小目标缺陷数据集训练，并设置好相关参数；其中，所述参数包括：训练迭代次数epoch、训练中训练样本数batch_size、训练学习率设置策略、训练数据增强方式以及训练输入图像尺寸大小；
所述步骤七中，在训练过程中，将获得的每次训练权重文件进行保存，利用权重文件实现对PCB缺陷测试数据集和PCB板的检测，并获取检测性能参数。
7.一种应用如权利要求1～6任意一项所述的基于改进YOLOv5的PCB小目标缺陷检测方法的基于改进YOLOv5的PCB小目标缺陷检测系统，其特征在于，所述基于改进YOLOv5的PCB小目标缺陷检测系统包括：
聚类分析模块，用于利用DBSCAN+二分K-means算法对PCB缺陷数据集进行聚类分析，得到更适合PCB小目标缺陷的聚类中心；
参数设置模块，用于将改进聚类算法获得的锚框信息、PCB小目标数据集的训练数据集和PCB缺陷种类信息输入至YOLOv5算法网络中，进行参数设置；
特征提取网络改进模块，用于对YOLOv5特征提取网络进行相应，将GAM网络引入到YOLOv5特征提取网络中，根据相关原理对代码进行修改；
特征融合网络改进模块，用于搭建BiFPN路径聚合网络，对YOLOv5特征融合网络进行相应改进，再进行相应代码修改；
解耦头网络搭建模块，用于搭建Decoupled-head解耦头网络，在YOLOv5特征检测网络中增加Decoupled-head解耦头网络，进行相应代码修改；
模型训练模块，用于对改进的YOLOv5算法进行训练，结合预训练权重文件设置好相关参数进行训练；
缺陷检测模块，用于利用训练的得到的权重文件对PCB缺陷数据集测试数据集进行缺陷检测，并验证模型检测效果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述的基于改进YOLOv5的PCB小目标缺陷检测方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述的基于改进YOLOv5的PCB小目标缺陷检测方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的基于改进YOLOv5的PCB小目标缺陷检测系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211034401.XA CN115359016A (zh) | 2022-08-26 | 2022-08-26 | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211034401.XA CN115359016A (zh) | 2022-08-26 | 2022-08-26 | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115359016A true CN115359016A (zh) | 2022-11-18 |
Family
ID=84005429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211034401.XA Pending CN115359016A (zh) | 2022-08-26 | 2022-08-26 | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359016A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310285A (zh) * | 2023-02-16 | 2023-06-23 | 武汉科技大学 | 一种基于深度学习的指针式仪表自动读数方法及系统 |
| CN116402787A (zh) * | 2023-04-06 | 2023-07-07 | 温州大学智能锁具研究院 | 一种非接触式pcb缺陷检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919955A (zh) * | 2017-03-07 | 2017-07-04 | 江苏大学 | 一种基于密度划分准则的二分k均值算法 |
| CN114596302A (zh) * | 2022-03-18 | 2022-06-07 | 湖南科技大学 | 一种pcb板缺陷检测方法、系统、介质、设备及终端 |
-
2022
- 2022-08-26 CN CN202211034401.XA patent/CN115359016A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919955A (zh) * | 2017-03-07 | 2017-07-04 | 江苏大学 | 一种基于密度划分准则的二分k均值算法 |
| CN114596302A (zh) * | 2022-03-18 | 2022-06-07 | 湖南科技大学 | 一种pcb板缺陷检测方法、系统、介质、设备及终端 |
Non-Patent Citations (5)
| Title |
|---|
| BLACKBACK_: "论文笔记——Efficientdet", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/you2336/article/details/113941188> * |
| 伍济钢 等: "基于改进YOLOv4算法的PCB缺陷检测研究", 《仪器仪表学报》, vol. 42, no. 10 * |
| 机器之心PRO: "集成多种YOLO改进点，面向小白科研的YOLO检测代码库YOLOAir", pages 1 - 6, Retrieved from the Internet <URL:https://baijiahao.baidu.com/s?id=1741308867083921945&wfr=spider&for=pc> * |
| 机器学习社区: "即插即用 | 超越CBAM，全新注意力机制，GAM表现卓著（附Pytorch实现）", pages 1 - 4, Retrieved from the Internet <URL:https://blog.csdn.net/m0_59596990/article/details/121982437> * |
| 李闻 等: "基于改进YOLO v3 的PCB 缺陷检测", 《电光与控制》, vol. 29, no. 4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310285A (zh) * | 2023-02-16 | 2023-06-23 | 武汉科技大学 | 一种基于深度学习的指针式仪表自动读数方法及系统 |
| CN116310285B (zh) * | 2023-02-16 | 2024-02-27 | 科大集智技术湖北有限公司 | 一种基于深度学习的指针式仪表自动读数方法及系统 |
| CN116402787A (zh) * | 2023-04-06 | 2023-07-07 | 温州大学智能锁具研究院 | 一种非接触式pcb缺陷检测方法 |
| CN116402787B (zh) * | 2023-04-06 | 2024-04-09 | 温州大学智能锁具研究院 | 一种非接触式pcb缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639739B (zh) | 一种基于自动编码器网络的异常流量检测方法 | |
| CN115359016A (zh) | 基于改进YOLOv5的PCB小目标缺陷检测方法和系统 | |
| CN112561910B (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
| CN109508676B (zh) | 一种逻辑电路图信息提取的机器视觉检测算法 | |
| WO2017088553A1 (zh) | 电子元件极性方向的快速识别、标注的方法和系统 | |
| CN116258707A (zh) | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 | |
| CN111461113B (zh) | 一种基于变形平面物体检测网络的大角度车牌检测方法 | |
| CN111027539A (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
| CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
| CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
| CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
| CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
| CN114596273B (zh) | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 | |
| CN116309451A (zh) | 基于token融合的贴片电感表面缺陷检测方法及系统 | |
| CN116630989A (zh) | 智能电表可视故障检测方法、系统、电子设备及存储介质 | |
| CN114596302A (zh) | 一种pcb板缺陷检测方法、系统、介质、设备及终端 | |
| Tan et al. | An application of an improved FCOS algorithm in detection and recognition of industrial instruments | |
| Luo et al. | FPC surface defect detection based on improved Faster R-CNN with decoupled RPN | |
| CN113192093B (zh) | 基于双流网络结构的快速显著性目标检测方法 | |
| CN117292304B (zh) | 一种多媒体数据传输控制方法及系统 | |
| CN117750643B (zh) | 印制电路板的表面加工方法 | |
| CN117571321B (zh) | 轴承故障检测方法、装置、设备及存储介质 | |
| CN118053151A (zh) | 一种基于字符特征改进的文字符号识别方法及系统 | |
| CN114359884A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN116309434A (zh) | 一种基于多任务学习机制的pcb缺陷检测方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |