CN115393291A - 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法 - Google Patents

一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法 Download PDF

Info

Publication number
CN115393291A
CN115393291A CN202210950446.5A CN202210950446A CN115393291A CN 115393291 A CN115393291 A CN 115393291A CN 202210950446 A CN202210950446 A CN 202210950446A CN 115393291 A CN115393291 A CN 115393291A
Authority
CN
China
Prior art keywords
pcb
efficientnet
network
image
yolov5
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210950446.5A
Other languages
English (en)
Inventor
郑凯
姜丹
蒋炜杰
白银
伍申鑫
石阳
魏博
曾广权
姚登科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210950446.5A priority Critical patent/CN115393291A/zh
Publication of CN115393291A publication Critical patent/CN115393291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法，属于PCB焊点缺陷检测领域，包括以下步骤：S1：采集PCB图像；S2：对含有缺陷的PCB图像进行标注，形成数据集，并划分数据集；S3：构建用于易识别缺陷类型检测但难识别缺陷类型定位的YOLOv5目标检测网络；再构建对难识别缺陷类型进行细粒度分类的EfficientNet图像分类网络；S4：分别对YOLOv5目标检测网络和EfficientNet图像分类网络进行训练和验证；S5：使用训练好的最优模型对测试集进行检测测试；S6：使用测试完成的模型进行PCB焊点缺陷检测；S7：对识别到的含有缺陷的PCB进行分拣。

Description

一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法
技术领域
本发明属于PCB焊点缺陷检测领域，涉及一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法。
背景技术
信息化时代，电子产品广泛运用在大型工业设备、汽车、军事、航天等领域，持续增长的电子制造产业已经成为当今世界最重要的战略性产业之一。PCB作为集成电路的核心组件，其与电子元器件的有效焊接，是保障集成电路板质量的关键所在。而中国作为PCB行业全球最大的生产国，PCB的质量检测一直是工业生产中的重要环节。
传统的人工目检存在效率低、精度低、成本高等共性问题，无法适应电子产业向高集成、超精度、低功耗方向发展的需求。近年来，随着机器视觉和深度学习技术的发展，相关技术也逐渐应用到PCB线路缺陷检测领域，但是由于技术难度大，缺陷类型的复杂多样，成熟的技术都掌握在国外大公司手里。面对高额的采购成本，基于机器视觉和深度学习的PCB焊点缺陷检测技术并未真正应用到我国的PCB生产企业中，大多PCB生产企业只能停留在人工目检阶段，技术革新困难。
目前存在的直接将FasterR-CNN和YOLOv5等深度学习技术应用到PCB表面缺陷检测的方法，由于PCB种类的多样性、缺陷类型的差异性，并未针对难识别缺陷类别进行改进。
发明内容
有鉴于此，本发明的目的在于解决PCB焊点缺陷检测中的难识别缺陷问题而提供一种利用YOLOv5目标检测网络进行易识别缺陷类型的检测与难识别缺陷类型的定位；再通过 EfficientNet图像分类网络进行难识别缺陷类型分类的PCB焊点缺陷检测方法。
为达到上述目的，本发明提供如下技术方案：
一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法，包括以下步骤：
S1：利用工业相机、工业摄像头和环形AOI三色光源拍摄PCB图像；
S2：筛选图像，对含有缺陷的PCB图像进行标注，形成数据集，并划分训练集、验证集、测试集；
S3：构建一种用于易识别缺陷类型检测但难识别缺陷类型定位的YOLOv5目标检测网络；再构建一种对难识别缺陷类型进行细粒度分类的EfficientNet图像分类网络；
S4：利用训练集和验证集分别对YOLOv5目标检测网络和EfficientNet图像分类网络进行训练和验证；
S5：使用训练好的最优模型对测试集进行检测测试；
S6：使用测试完成的模型进行PCB焊点缺陷检测；
S7：对识别到的含有缺陷的PCB进行分拣。
进一步，所述步骤S2具体包括以下步骤：
S21：对拍摄的图像进行背景剥离，只保留PCB图像部分；
S22：筛选含有缺陷的图像，并利用LabelImg对图像进行标记，生成XML文件；
S23：将图像以8：1：1的比例划分成训练集、验证集和测试集。
进一步，步骤S3具体包括以下步骤：
S31：构建YOLOv5m网络：
S311：输入图像大小为1024*1024像素；
S312：使用CSPDarknet53结构和Focus结构作为基准网络；所述CSPDarknet53包括CSP1_X和CSP2_X结构，其中CSP1_X用于Backbone主干网络，CSP2_X用于Neck网络；Focus结构通过切片操作对输入图像进行裁剪；
S313：使用SPP模块、FPN+PAN模块作为Neck网络；所述SPP模块使用 k＝1×1,5×5,9×9,13×13的最大池化方式，stride＝1,padding＝2，再将不同尺度的特征图进行拼接；所述FPN自顶向下传达强语义特征，所述PAN自底向上传达强定位特征，对语义信息和定位信息同时进行增强；
S32：构建EfficientNet-B4网络，包括数据输入层和Baseline；
所述数据输入层，将通过YOLOv5m裁剪所得的图像进行输入，大小为124*124像素；
所述Baseline包括一个3*3的普通卷积层，堆叠的MBConv结构，一个1*1的普通卷积层，一个平均池化层，一个全连接层；所述3*3的普通卷积层中包含BN和激活函数 Swish，所述1*1的普通卷积层中包含BN和激活函数Swish；
所述MBConv结构由一个1*1的普通卷积，一个3*3的Depthwise Conv卷积，一个SE模块，一个Dropout层构成；所述1*1的普通卷积层中包含BN和激活函数Swish，所述 3*3的Depthwise Conv卷积中包含BN和Swish；
所述SE模块由一个全局平均池化层AvgPooling，两个全连接层FC1和FC2组成，所述FC1使用Swish激活函数，所述FC2使用Sigmoid激活函数。
进一步，所述步骤S4具体包括以下步骤：
S41：使用YOLOv5m网络对训练集进行训练，得到最优权重文件；
S42：使用EfficientNet-B4网络对训练集进行训练，得到最优分类参数文件。
进一步，使用训练好的YOLOv5m和EfficientNet-B4网络模型对测试集图像进行检测，分析其平均检索精度、召回率作为评价标准。
进一步，步骤S6中具体包括以下步骤：
S61：通过传送带将PCB运送到指定位置，通过位置传感器检测到PCB后，向上位机发送信号；
S62：上位机接收到串口信号，依据UART协议读取信号，从摄像流中读取当前帧，将PCB图像通过IO流保存至本地；
S63：通过RPC调用测试完成的YOLOv5m和EfficientNet-B4网络模型对保存至本地的 PCB图像进行检测；
S64：上位机接收检测完成信息；
S65：将检测结果进行数据持久化处理，同时通过数据可视化技术显示在屏幕上。
进一步，步骤S7具体包括以下步骤：
S71：将分拣指令传达给机械臂；
S72：机械臂根据识别到的PCB焊点缺陷位置信息，通过前端吸盘对PCB进行吸取、转移到指定位置，完成分类。
本发明的有益效果在于：经过测试，本发明对PCB焊点缺陷检测平均检索精度达到96.5％，召回率达到92.8％，性能突出；与传统人工目检相比，本发明技术集成化程度高，真正实现了智能化制造；与其他深度学习算法应用到PCB线路检测相比，本发明应用到了 PCB焊点检测，应用对象更为具体，更具有针对性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明总体架构图；
图2为本发明检测网络流程图；
图3为检测框架结构示意图；
图4为检测框架侧视图；
图5为本发明图像采集界面和检测结果展示图。
附图标记：检测框架1、传送带2、环形AOI三色光源3、工业相机4、传动装置5。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
参照图1～5，一种利用YOLOv5目标检测网络进行易识别缺陷类型的检测与难识别缺陷类型的定位，再通过EfficientNet图像分类网络进行难识别缺陷类型分类的PCB焊点缺陷检测方法，包括以下步骤：
步骤一、图像采集，利用工业相机、镜头、环形AOI三色光源，拍摄PCB样本的高清图像；
S11、在PCB检测区配备高清面阵工业相机、工业摄像头、环形AOI三色光源；
S12、在PCB检测区配备传送带、传感器，以启动成像设备进行拍摄，获取高清图像344 张；
步骤二、图像数据集制作，筛选图像，对含有缺陷的PCB图像进行标注，并划分训练集、验证集、测试集；
S21、对拍摄的图像进行背景剥离，只保留PCB图像部分；
S22、筛选含有缺陷的图像，并利用LabelImg对图像进行标记，生成XML文件，共计4931个标注；
S23、将图像以8：1：1的比例划分成训练集，验证集、测试集，其中训练集含有3987个特征，不同类别特征数量如表1：
表1
Figure BDA0003788924880000051
S24、检测图像的预处理：采用一套PCB图像裁剪算法对检测图像进行处理；PCB图像裁剪算法包含以下内容：输入图像、图像灰度化、高斯滤波、图像二值化、形态学腐蚀、形态学膨胀、轮廓查找、轮廓过滤、输出图像；
步骤三、设计一种用于易识别缺陷类型检测与难识别缺陷类型定位的YOLOv5目标检测网络；再设计一种对难识别缺陷类型进行细粒度分类的EfficientNet图像分类网络；
S31、YOLOv5m网络的搭建，具体内容包括：
S311、数据输入层，输入图像大小为1024*1024像素，由于检测对象为小目标，为了更好地保留样本图像本来的的特征，防止过拟合，本方法实施过程中未采用Mosaic数据增强操作；
S312、Backbone：YOLOv5使用了CSPDarknet53结构和Focus结构作为基准网络；CSP有两种结构：CSP1_X和，CSP2_X；CSP1_X用于Backbone主干网络，CSP2_X用于Neck 网络；Focus结构的主要思想是通过切片操作对输入图像进行裁剪；
S313、Neck：YOLOv5使用了SPP模块、FPN+PAN模块；
SPP模块使用k＝1×1,5×5,9×9,13×13的最大池化方式，stride＝1,padding＝2，再将不同尺度的特征图进行拼接；
FPN是自顶向下传达强语义特征，PAN是自底向上传达强定位特征，对语义信息和定位信息同时进行增强；
S314、Prediction：YOLOv5采用CIOU_Loss作为损失函数，衡量了目标框和预测框的相交程度，优化了IOU_Loss在这方面的不足。
S32、EfficientNet-B4网络的搭建，具体的内容包括：
数据输入层：将步骤三中通过YOLOv5m裁剪所得图像输入，大小为124*124像素；
Baseline：EfficientNet网络主要由一个3*3的普通卷积层(包含BN和激活函数Swish)，堆叠的MBConv结构，一个1*1的普通卷积层(包含BN和激活函数Swish)，一个平均池化层，一个全连接层组成；
MBConv结构：主要由一个1*1的普通卷积(包含BN和激活函数Swish)，一个3*3的Depthwise Conv卷积(包含BN和Swish)，一个SE模块，一个Dropout层构成。
SE模块：由一个全局平均池化层AvgPooling，两个全连接层FC1和FC2组成(FC1使用Swish激活函数，FC2使用Sigmoid激活函数)。
步骤四、模型训练，将制作好的图像数据送入步骤三设计好的网络进行训练、验证，以获得最优模型加以存储；
S41、使用YOLOv5m网络对训练集进行训练，采用SGD优化器，Batch_size＝8,learningrate＝0.001,epoch＝300，得到最优权重文件；
由于样本类别数据的极不均衡，此处采用了平滑类别权重的方法进行处理；该方法的具体操作如下：
S411、首先，统计类别总数以及每个类别的占比；
S412、然后、计算出最少类别与最多类别的比例η；
S413、其次，通过缩放的Sigmoid函数来将类别占比进行归一化；
S414、最后，得到每个类别的平滑权重损失；
S415、所得类别权重如表2：
表2
Figure BDA0003788924880000061
S42、使用EfficientNet-B4网络对训练集进行训练，采用SGD优化器，Batch_size＝64, learningrate＝0.001,epoch＝300，得到最优分类参数文件；
由于数据集中存在困难样本，虽然该类样本所占总样本的比例较小，但对网络精度的影响也是不容忽视的，因此采取了困难样本加权训练的方法进行处理。
步骤五、PCB焊点缺陷检测，对检测图像进行预处理，使用训练好的最优模型对测试集进行检测；
S51、使用步骤四中训练好的YOLOv5m和EfficientNet-B4网络模型对测试集图像进行检测，分析其平均检索精度、召回率作为评价标准；
S52、由YOLOv5目标检测网络负责的易识别类别中每一类的检索精度(mAP)以及所有类别的平均检索精度(mAP)，所得检测结果与其他主干网络对比如表3：
表3
Figure BDA0003788924880000071
可以看出，本发明采用的YOLOv5目标检测网络相比于Faster R-CNN具有最佳的平均检索精度(mAP@0.5)，达到了96.5％，而且YOLOv5网络能很好的平衡类别之间识别精度的差别，表3中QFN_bridge为训练集中的最少类，相比于对比方法，YOLOv5能在其他类识别概率很好甚至不变的情况下，完成对少类的识别。
S53、检测图像的预处理：采用一套PCB图像裁剪算法对检测图像进行处理；该套算法包含以下内容：输入图像、图像灰度化、高斯滤波、图像二值化、形态学腐蚀、形态学膨胀、轮廓查找、轮廓过滤、输出图像；
S54、由EfficientNet图像分类网络负责的难识别类别中每一类别的召回率(Recall)，以及所有类别的平均召回率(Average Recall)，其结果对比如表4：
表4
Figure BDA0003788924880000072
可以看出，EfficientNet图像分类网络的平均召回率(Average Recall)达到了92.8％，均大幅超过其他对比网络。且其中缺陷类别的召回率都在90％以上，有很好的分类效果。
步骤六、上位机设计，用于对步骤一到步骤五所述方法进行控制和操作；
本发明提供上位机和检测框架，如图3-4所示，检测框架1内安装有传送带2，传送带2 通过一端的传动装置5进行传动，在传送带2上方安装有环形AOI三色光源3，环形AOI三色光源3的上方安装有工业相机4和位置传感器，上述装置与上位机连接，从而对PCB进行缺陷检测，具体如下：
S61、传送带将PCB运送到指定位置，位置传感器感应到PCB后通过STM32串口向上位机发送信号；
S62、上位机接收到串口信号，依据UART协议读取信号，从摄像流中读取当前帧，将PCB图像通过IO流保存至本地；
S63、通过RPC调用步骤三中所设计的YOLOv5m和EfficientNet-B4网络模型对步骤S62 中保存的图像进行检测；
S64、检测完成后，上位机接收检测完成信息；
S65、将检测结果进行数据持久化处理，同时通过数据可视化技术显示在屏幕上；
S66、传送带继续运行，并重复步骤S61-S65。
步骤七、对步骤六中识别到的含有缺陷的PCB进行分拣，通过esp32开发板控制SCARA 机械臂来实现该功能。
S71、将分拣指令通过esp32开发板传达给机械臂；
S72、SCARA机械臂主要由3个步进电机、2个舵机、1个吸盘组成，具有3个自由度；
S73、根据识别到的PCB焊点缺陷位置信息，机械臂前端吸盘对PCB进行吸取、转移到指定位置，完成分类的功能。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：包括以下步骤：
S1：利用工业相机、工业摄像头和环形AOI三色光源拍摄PCB图像；
S2：筛选图像，对含有缺陷的PCB图像进行标注，形成数据集，并划分训练集、验证集、测试集；
S3：构建一种用于易识别缺陷类型检测但难识别缺陷类型定位的YOLOv5目标检测网络；再构建一种对难识别缺陷类型进行细粒度分类的EfficientNet图像分类网络；
S4：利用训练集和验证集分别对YOLOv5目标检测网络和EfficientNet图像分类网络进行训练和验证；
S5：使用训练好的最优模型对测试集进行检测测试；
S6：使用测试完成的模型进行PCB焊点缺陷检测；
S7：对识别到的含有缺陷的PCB进行分拣。
2.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：所述步骤S2具体包括以下步骤：
S21：对拍摄的图像进行背景剥离，只保留PCB图像部分；
S22：筛选含有缺陷的图像，并利用LabelImg对图像进行标记，生成XML文件；
S23：将图像以8：1：1的比例划分成训练集、验证集和测试集。
3.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：步骤S3具体包括以下步骤：
S31：构建YOLOv5m网络：
S311：输入图像大小为1024*1024像素；
S312：使用CSPDarknet53结构和Focus结构作为基准网络；所述CSPDarknet53包括CSP1_X和CSP2_X结构，其中CSP1_X用于Backbone主干网络，CSP2_X用于Neck网络；Focus结构通过切片操作对输入图像进行裁剪；
S313：使用SPP模块、FPN+PAN模块作为Neck网络；所述SPP模块使用k＝1×1,5×5,9×9,13×13的最大池化方式，stride＝1,padding＝2，再将不同尺度的特征图进行拼接；所述FPN自顶向下传达强语义特征，所述PAN自底向上传达强定位特征，对语义信息和定位信息同时进行增强；
S32：构建EfficientNet-B4网络，包括数据输入层和Baseline；
所述数据输入层，将通过YOLOv5m裁剪所得的图像进行输入，大小为124*124像素；
所述Baseline包括一个3*3的普通卷积层，堆叠的MBConv结构，一个1*1的普通卷积层，一个平均池化层，一个全连接层；所述3*3的普通卷积层中包含BN和激活函数Swish，所述1*1的普通卷积层中包含BN和激活函数Swish；
所述MBConv结构由一个1*1的普通卷积，一个3*3的Depthwise Conv卷积，一个SE模块，一个Dropout层构成；所述1*1的普通卷积层中包含BN和激活函数Swish，所述3*3的Depthwise Conv卷积中包含BN和Swish；
所述SE模块由一个全局平均池化层AvgPooling，两个全连接层FC1和FC2组成，所述FC1使用Swish激活函数，所述FC2使用Sigmoid激活函数。
4.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：所述步骤S4具体包括以下步骤：
S41：使用YOLOv5m网络对训练集进行训练，得到最优权重文件；
S42：使用EfficientNet-B4网络对训练集进行训练，得到最优分类参数文件。
5.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：使用训练好的YOLOv5m和EfficientNet-B4网络模型对测试集图像进行检测，分析其平均检索精度、召回率作为评价标准。
6.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：步骤S6中具体包括以下步骤：
S61：通过传送带将PCB运送到指定位置，通过位置传感器检测到PCB后，向上位机发送信号；
S62：上位机接收到串口信号，依据UART协议读取信号，从摄像流中读取当前帧，将PCB图像通过IO流保存至本地；
S63：通过RPC调用测试完成的YOLOv5m和EfficientNet-B4网络模型对保存至本地的PCB图像进行检测；
S64：上位机接收检测完成信息；
S65：将检测结果进行数据持久化处理，同时通过数据可视化技术显示在屏幕上。
7.根据权利要求1所述的YOLOv5和EfficientNet的PCB焊点缺陷检测方法，其特征在于：步骤S7具体包括以下步骤：
S71：将分拣指令传达给机械臂；
S72：机械臂根据识别到的PCB焊点缺陷位置信息，通过前端吸盘对PCB进行吸取、转移到指定位置，完成分类。
CN202210950446.5A 2022-08-09 2022-08-09 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法 Pending CN115393291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210950446.5A CN115393291A (zh) 2022-08-09 2022-08-09 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210950446.5A CN115393291A (zh) 2022-08-09 2022-08-09 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115393291A true CN115393291A (zh) 2022-11-25

Family

ID=84119298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210950446.5A Pending CN115393291A (zh) 2022-08-09 2022-08-09 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115393291A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Similar Documents

Publication Publication Date Title
CN109683360A (zh) 液晶面板缺陷检测方法及装置
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN109239102A (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN112651966A (zh) 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法
CN103308524A (zh) Pcb自动光学检测系统
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115393291A (zh) 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN111929239A (zh) 一种pcb板零件缺陷的aoi检测装置及检测方法
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN112614105A (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN116740048A (zh) 一种基于融合目标检测技术的锂电池表面缺陷检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN116342502A (zh) 一种基于深度学习的工业视觉检测方法
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination