CN114372949A - 基于改进YOLOv5算法的PCB表面缺陷检测方法 - Google Patents
基于改进YOLOv5算法的PCB表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114372949A CN114372949A CN202111244986.3A CN202111244986A CN114372949A CN 114372949 A CN114372949 A CN 114372949A CN 202111244986 A CN202111244986 A CN 202111244986A CN 114372949 A CN114372949 A CN 114372949A
- Authority
- CN
- China
- Prior art keywords
- surface defect
- pcb
- improved
- pcb surface
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于改进YOLOv5算法的PCB表面缺陷检测方法。该方法包括:对原始的PCB数据集进行预理,建立YOLOv5算法的网络结构;根据GIoU确定YOLOV5网络损失函数和性能评价指标;改进了网络结构的处Neck部分,加入自适应特征融合(Adaptively Spatial Feature Fusion,ASFF),充分利用不同尺度的特征,增强小目标检测性能;改进了最终预测边界框的方法,利用目标框加权融合(Weighted Boxes Fusion,WBF)替代非极大值抑制(Non Maximum Suppression,NMS)作为选择最终预测的边界框的方法;根据改进的YOLOv5算法网络结构,利用迁移学习的思想对网络结构进行训练;将待检测PCB表面缺陷样本数据输入训练好的基于改进YOLOv5算法的PCB表面缺陷检测模型,输出待检测PCB表面缺陷的位置和类别信息。经实例检测,本发明实现了PCB表面缺陷检测的高效和高精度的检测。
Description
技术领域
本发明涉及目标数据监测技术领域,特别涉及一种基于改进YOLOv5算法的PCB表面缺陷检测方法。
背景技术
在工业制造4.0的时代背景下,工业水平快速进步、生产力飞速提升,这一切的背后都离不开智能工业生产设备,而工业化生产设备的核心组件则是一块一块制作精密的印刷电路板(Printed Circuit Board,PCB)。PCB 板的质量与电子产品能否正常运作以及使用寿命息息相关。为此,PCB 的生产厂商不断追求提高生产水平,并在生产过程中对 PCB板进行质量检测,降低废品率。由于PCB 的制作工艺复杂,在生产 PCB 的过程中存在如环境、设备、材料、人工操作等不可避免的因素,从而使生产 PCB 的每个环节都有可能导致产品存在缺陷。因此,在 PCB的生产过程中进行缺陷检测成为一项非常重要的任务。高效的PCB 表面缺陷检测可以防止有缺陷的裸板进入后续生产流程,从而降低厂家的生产成本,提高 PCB 及后续产品的合格率。
目前对于PCB缺陷检测方法大体可以分为三类:一是早期所采用的人工检测,该方法检测精度即效率极大程度依赖于检测人员的工作经验,同时检测精度也随时间的持续而降低,整体而言该检测方案的不稳定性高;二是目前使用较广的基于电气特性的缺陷检测该方法具有精度高、检测快的特点;三是目前新兴的基于计算机视觉的检测方案,采用图像识别检测无需与 PCB 直接接触避免了二次损坏的可能,同时随着计算机硬件的发展对于图像的检测效率也有了大幅提升,在图像检测领域中,基于深度学习的目标检测算法与传统检测算法在检测精度、检测度上都有了跨时代的提升,越来越多的识别检测场景采用该方案进行落地转化。
而基于深度学习为基准的PCB缺陷检测算法又主要分为两阶段目标检测算法和单阶段目标检测算法。(1)基于区域提议(Region Proposal)策略的两阶段(two-stage)目标检测算法,顾名思义,就是检测过程非一步完成,而是由粗到细的检测。其中代表是R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等;(2)基于回归框架的检测与识别算法。该类算法在将输入图片经过一个卷积神经网络后,就直接获得预测的bounding box以及所含对象的类别概率,属于一阶段(one-stage)目标检测算法,检测速度得到了惊人的提高,主要代表是YOLO(You Only Look Once)系列和SSD(Single Shot MultiBox Detector)。与之前“提案检测+验证”方式相比,该网络的不同之处在于,将原始图像划分成多个不同的区域,对每个区域的边界框和类别概率预测是同时进行的。这种端到端的检测方式,达到了很高的检测速度,具有很高的实时性。因此,本文的基础网络框架选用单阶段检测网络类别中的YOLOv5网络,在保证其检测速度的基础上优化网络结构,提升检测精度。
发明内容
为了解决上述问题,本发明提出一种基于改进YOLOv5算法的PCB表面缺陷检测方法,用于提高PCB表面缺陷检测的效率和精度。
为达到上述目的,本发明采用下述技术方案:
一种基于改进YOLOv5算法的PCB表面缺陷检测方法,该方法包括以下步骤:
一、对原始的PCB数据集进行预处理,建立YOLOv5算法的网络结构;
二、根据GIoU确定YOLOv5算法的网络损失函数和性能评价指标;
三、在网络结构的Neck部分,加入自适应特征融合(Adaptively Spatial FeatureFusion,ASFF),充分利用不同尺度的特征,增强小目标检测性能;
四、利用目标框加权融合(WBF)替代非极大抑制(NMS)作为选择最终预测的边界框的方法;
五、根据改进的YOLOv5算法网络结构,利用迁移学习的思想对网络结构进行训练;
六、将待检测PCB表面缺陷样本数据输入训练好的基于改进YOLOv5算法的PCB表面缺陷检测模型,输出待检测PCB表面缺陷的位置和类别信息。
本发明的创新点在于:本发明针对传统基于人工、光学图像处理的PCB缺陷检测方法需要花费大量的人工和时间成本,且诊断效果不够理想的弊端,提出了一种基于改进YOLOv5算法的PCB表面缺陷检测模型,有效地提高了PCB表面缺陷地诊断精度和诊断效率。该检测网络针对小目标特征提取困难导致各类缺陷不易检测的难点,在原始YOLOv5网络结构中改进了Mosaic图像增强策略,在网络结构的Neck连接部分加入ASFF自适应特征融合的方法,充分利用不同尺度的特征,增强小目标的检测性能。同时在最终预测的边界框中选择目标加权融合替代非极大抑制法,改进了网络模型的检测性能,经过验证得到很好的诊断效果。
附图说明:
图1是YOLOv5网络结构
图2是改进YOLOv5的Neck部分网络结构
图3是自适应特征融合(ASFF)结构
图4是加入标框加权融合(WBF)策略后整体网络结构
图5是改进网络前后检测效果比对
图6是改进YOLOv5网络对PCB六种缺陷检测效果的混淆矩阵
具体实施步骤:
下面通过具体实施方式结合附图对本发明作进一步详细说明。本申请可以以多种不同的形式来实现,并不限于本实施例所描述的实施方式。提供以下具体实施方式的目的是便于对本发明的内容更清楚透彻的理解。
(1)如步骤一所述,对原始的PCB图像数据集进行预处理,建立YOLOv5算法的网络结构。原始的PCB图像样本共有六种缺陷类型,分别为断路、短路、毛刺、鼠咬、余铜、漏孔,原始图像数据样本共693张,数据经扩充后变为10668张,利用增强的Mosaic策略对原始图像数据进行随机裁剪、随机缩放、随机排布的方式进行拼接,提升了网路对小目标的检测效果。经扩充后的数据分布如下表1所示。
表1 PCB各表面缺陷类型数量
YOLOv5在结构上可分为4个模块,输入端、主干网络Backbone、Neck和预测端Prediction。其网络结构如附图1所示,主干网络Backbone中采用了CSP结构、Leaky ReLU和Focus等。其中Focus结构中有个切片操作,例如,输入一张640×640×3的图片,经过 Focus结构后变成 320×320×12的特征图feature map,再经过32个卷积层,变成320×320×32的特征层。初始的Neck模块采用的是FPN结合PAN的结构,在这里添加了ASFF自适应特征融合策略,使得FPN在通过下采样的方式把目标的特征从顶层向下开始传递融合得到特征图后,接着特征金字塔再从底开始往上传递特征,经过两个PAN结构后得到三个输出层。在这个基础之上提出每一层都对PANET的的三个output层进行加权融合,通过前面卷积特征层的输出得到权重参数。
如步骤二所述,选择GIoU作为网络的性能评价指标,GIoU_LOSS作为网络的损失函数。其中根据预测框、实际框,以及预测框和实际框的最小凸集,确定GIoU,包括:;式中,A为预测框,B为实际框,C为预测框和实际框的最小凸集。根据GIoU确定网络的损失函数,包括:GIoU_LOSS= 1-GIoU;式中,GIoU_LOSS为YOLOv5算法选定的的网络损失函数。
如步骤三所述,在网络结构的Neck部分,加入Adaptively Spatial FeatureFusion(ASFF)自适应特征融合,充分利用不同尺度的特征,增强小目标检测性能。Neck部分的连接结构如附图2所示。其中ASFF自适应融合原理图如附图3所示,以ASFF-3为例,图中的绿色框描述了如何将特征进行融合,其中,,分别为来自level,level2,level3的特征,分别乘上权重参数、、并求和,就能得到新的融合特征ASFF-3,如下面公式所示:因为采用相加的方式,所以需要相加时的level1~3层输出的特征大小相同,且通道数也要相同,需要对不同层的特征做下采样或上采样并调整通道数。对于权重参数α,β,γ,分别通过resize后的的特征图经过1×1的卷积得到的。并且参数α,β,γ经过concat拼接之后通过softmax使得他们的范围都在[0,1]内并且和为1,如下:
经过降采样后+1*1卷积压缩通道,分别得到三个参数,然后经过Softmax归一化成0~1之间,正好成了权重。
(4)如步骤四所述,利用目标框加权融合(WBF)替代非极大抑制(NMS)作为选择最终预测的边界框的方法。由于在原始的YOLOv5网络结构中,使用的是非极大抑制(NMS)来选择预测边界框,在实例中证实这种选择方法仅保留得分最大的预测边界框而丢弃得分小的预测边界框,会导致没有完全利用全部的特征信息,而且在某些情况下得分最高的预测边界框也不能很好的拟合真实的目标框,直接选用得分高的预测框作为最终预测值具有较高的损失。该部分的整体网络结构如附图4所示,在进行回归任务的时候加上WBF对输出进行预测。
(5)如步骤五所示,根据改进的YOLOv5算法网络结构,利用迁移学习的思想对网络结构进行训练。本实验环境如表2所示。
表2 实验环境配置
实验参数设置如表3所示
(6)如步骤六所示,将待检测PCB表面缺陷样本数据输入训练好的基于改进YOLOv5算法的PCB表面缺陷检测模型,输出待检测PCB表面缺陷的位置信息,得到实验结果的性能分析如下表3所示。
表3 实验结果
从表3中可以看出,上述四种模型中,改进后的YOLOv5模型在训练精度上达到了最好的效果。相比于原来的YOLOv5模型,mAP值提升了6.09%,帧速率也有了很好的提升。综合两项指标来看,改进的YOLOv5模型整体性能最优,达到我们改进的目的。除了上述的两个性能指标,通过附图5中的YOLOv5模型和改进YOLOv5模型的缺陷检测结果比对中可以明显看出,加入了WBF和ASFF策略后的网络结构,对于小目标检测的效率明显提升,附图6可以看出可以看出六种缺陷在改进的YOLOv5算法中的非常好的检测效果(其中missing_hole、mouse_bite、open_circuit、short、spur、spurious_copper、分别代表漏孔、鼠咬、断路、短路、毛刺、余铜)。
Claims (7)
1.本发明提出一种基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,该方法包括以下步骤:对原始的印刷电路板(Printed Circuit Board,PCB)图像数据集进行预处理,建立YOLOv5算法的网络结构;根据GIOU确定YOLOv5算法的网络损失函数和性能评价指标;在网络结构的Neck部分,加入自适应特征融合(Adaptively Spatial Feature Fusion,ASFF),充分利用不同尺度的特征,增强小目标检测性能;利用目标框加权融合(WeightedBoxes Fusion,WBF)替代非极大值抑制(Non Maximum Suppression,NMS)作为选择最终预测的边界框的方法;利用目标框加权融合(WBF)替代非极大抑制(NMS)作为选择最终预测的边界框的方法;根据改进的YOLOv5算法网络结构,利用迁移学习的思想对网络结构进行训练;将待检测PCB表面缺陷样本数据输入训练好的基于改进YOLOv5算法的PCB表面缺陷检测模型,输出待检测PCB表面缺陷的位置信息。
2.根据权利要求1所述的基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,所述步骤(1)中,对原始数据集进行数据预处理,将原始PCB数据集经过改进Mosaic增强进行扩充。
4.根据权利要求1所述的基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,所述步骤(3)中,原始的YOLOv5模型的Neck部分使用的特征金字塔(Feature PyramidNetworks,FPN)+路径聚合网络(Path Aggregation Network,PAN)来聚合特征,在这个基础之上提出每一层都对PAN的三个输出层进行加权融合,通过前面卷积特征层的输出得到权重参数。
5.根据权利要求1所述的基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,所述步骤(4)中,改变了原始YOLOv5网络中使用非极大抑制(NMS)方法进行边界框预测;NMS方法只保留得分最大的预测边界框而丢失得分小的预测边界框,改为目标框加权融合(WBF)的方法为最终选择预测的边界框的方法,避免了因为丢弃得分低的预测框导致的特征信息丢失的问题。
6.根据权利要求1所述的基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,所述步骤(5)中,利用增强Mosaic方法对原始图像数据进行处理得到的数据集,结合迁移学习的思想,利用原始YOLOv5s模型的训练参数权重,对网络进行训练。
7.根据权利要求1所述的基于改进YOLOv5算法的PCB表面缺陷检测方法,其特征在于,所述步骤(6)中,将待检测PCB表面缺陷样本数据输入训练好的基于改进YOLOv5算法的PCB表面缺陷检测模型,输出待检测PCB表面缺陷的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111244986.3A CN114372949A (zh) | 2021-10-26 | 2021-10-26 | 基于改进YOLOv5算法的PCB表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111244986.3A CN114372949A (zh) | 2021-10-26 | 2021-10-26 | 基于改进YOLOv5算法的PCB表面缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114372949A true CN114372949A (zh) | 2022-04-19 |
Family
ID=81138954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111244986.3A Pending CN114372949A (zh) | 2021-10-26 | 2021-10-26 | 基于改进YOLOv5算法的PCB表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114372949A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581860A (zh) * | 2022-05-09 | 2022-06-03 | 武汉纺织大学 | 一种基于改进的YOLOv5模型的安全帽检测算法 |
CN115082695A (zh) * | 2022-05-31 | 2022-09-20 | 中国科学院沈阳自动化研究所 | 一种基于改进Yolov5的变电站绝缘子串建模及检测方法 |
CN115222946A (zh) * | 2022-09-19 | 2022-10-21 | 南京信息工程大学 | 一种单阶段实例图像分割方法、装置以及计算机设备 |
CN115527018A (zh) * | 2022-10-25 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车下锁销组成配件故障识别方法及装置 |
-
2021
- 2021-10-26 CN CN202111244986.3A patent/CN114372949A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581860A (zh) * | 2022-05-09 | 2022-06-03 | 武汉纺织大学 | 一种基于改进的YOLOv5模型的安全帽检测算法 |
CN115082695A (zh) * | 2022-05-31 | 2022-09-20 | 中国科学院沈阳自动化研究所 | 一种基于改进Yolov5的变电站绝缘子串建模及检测方法 |
CN115222946A (zh) * | 2022-09-19 | 2022-10-21 | 南京信息工程大学 | 一种单阶段实例图像分割方法、装置以及计算机设备 |
CN115222946B (zh) * | 2022-09-19 | 2022-11-25 | 南京信息工程大学 | 一种单阶段实例图像分割方法、装置以及计算机设备 |
CN115527018A (zh) * | 2022-10-25 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车下锁销组成配件故障识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114372949A (zh) | 基于改进YOLOv5算法的PCB表面缺陷检测方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN108108768B (zh) | 基于卷积神经网络的光伏玻璃缺陷分类方法及装置 | |
CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN112734692B (zh) | 一种变电设备缺陷识别方法及装置 | |
CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
CN111652326B (zh) | 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 | |
CN113469953B (zh) | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 | |
CN106991666B (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 | |
CN108665460A (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
CN112215795B (zh) | 一种基于深度学习的服务器部件智能检测方法 | |
CN109784358B (zh) | 一种融合人工特征和深度特征的无参考图像质量评价方法 | |
CN110069959A (zh) | 一种人脸检测方法、装置及用户设备 | |
CN113222959B (zh) | 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法 | |
US20200090319A1 (en) | Machine learning method implemented in aoi device | |
CN107146216A (zh) | 一种基于梯度自相似度的无参考图像客观质量评价方法 | |
CN111626357B (zh) | 一种基于神经网络模型的图像识别方法 | |
CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
CN116977292A (zh) | 一种太阳能电池片虚焊检测方法 | |
CN109800809A (zh) | 一种基于维度分解的候选区域提取方法 | |
CN117392116A (zh) | 一种超宽幅金属表面瑕疵检测与识别方法 | |
CN116934696A (zh) | 一种基于YOLOv7-Tiny模型改进的工业PCB缺陷检测方法及其装置 | |
CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
CN117173526A (zh) | 一种自适应特征融合与轻量化YOLOv5s的绝缘子缺陷检测方法 | |
Tao et al. | Utilization of both machine vision and robotics technologies in assisting quality inspection and testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |