CN115082401A - 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 - Google Patents

一种基于改进yolox与pnn的smt产线贴片机故障预测方法 Download PDF

Info

Publication number
CN115082401A
CN115082401A CN202210707932.4A CN202210707932A CN115082401A CN 115082401 A CN115082401 A CN 115082401A CN 202210707932 A CN202210707932 A CN 202210707932A CN 115082401 A CN115082401 A CN 115082401A
Authority
CN
China
Prior art keywords
model
welding spot
yolox
pcba
production line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210707932.4A
Other languages
English (en)
Other versions
CN115082401B (zh
Inventor
黄春跃
廖帅冬
张怀权
龚锦峰
李茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210707932.4A priority Critical patent/CN115082401B/zh
Publication of CN115082401A publication Critical patent/CN115082401A/zh
Application granted granted Critical
Publication of CN115082401B publication Critical patent/CN115082401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/083—Quality monitoring using results from monitoring devices, e.g. feedback loops
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/303—Surface mounted components, e.g. affixing before soldering, aligning means, spacing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，该方法通过采集PCBA产品图像，对图像进行筛选，保留带缺陷的PCBA产品图像，对图像缺陷进行分类和位置信息标注，并将数据按比例进行数据集的制作与划分；对YOLOX神经网络模型进行改进，利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX进行改进，得到改进YOLOX神经网络模型；利用PCBA焊点缺陷数据集对改进YOLOX模型进行训练，得到基于改进YOLOX的PCBA焊点缺陷检测模型；将PCBA焊点缺陷检测模型部署到SMT产线上，进行PCBA焊点缺陷检测，并收集检测结果；采集PCBA焊点缺陷同一时期对应的贴片机故障信息，制作PNN的基础输入数据模型；将基于改进YOLOX的PCBA焊点缺陷模型与PNN模型部署到SMT产线上，进行贴片机故障预测。

Description

一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法
技术领域
本发明属于SMT产线故障诊断领域，具体涉及一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法。
背景技术
现如今，SMT技术作为电子产品中的重要组成部分，影响着电子元器件生产产线上的生产质量和生产效率，而对SMT产线设备做到及时的故障诊断，能避免突发的设备故障影响到SMT产线上电子元器件的生产。传统的故障诊断方法通常有两类：1）设备故障发生后，及时进行修理维护；2）通过检测设备的部分运行参数来判断设备的运行情况，从而对部分隐性故障进行诊断。
而本发明提出了一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，旨在贴片机故障发生前对其进行预测，并进行人工检测，避免设备故障的发生，严重影响到SMT产线的运行。
发明内容
本发明的目的在于解决现有SMT产线设备故障不能提前预测从而导致生产效率低下的问题，而提供一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法。
实现本发明目的的技术方案是：
一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程，具体如下：
（一）PCBA焊点缺陷检测过程，包括如下步骤：
1）采集PCBA产品图像，对图像进行筛选，保留带缺陷的PCBA产品图像，对图像缺陷进行分类和位置信息标注，并将图像数据按9：1比例进行数据集的制作与划分；数据集制作方法如下：
1-1）采集SMT产线上AOI设备储存的PCBA焊点缺陷图像，对图像进行筛选，保留常见缺陷，并使各缺陷数量分布保持均匀，防止神经网络学习特征时有较大的偏重；
1-2）使用labelImg图像标注工具对筛选出的图像进行标注，并按VOC数据集的储存格式将标注数据储存在XML文件中，储存的标注信息包括缺陷分类信息和缺陷定位信息；
1-3）将标注后的数据集按照9：1比例划分为训练验证集和测试集，训练验证集用于模型训练，测试集用于对训练得出的模型进行测试；再将训练验证集按照9：1比例划分为训练集和验证集，训练集用于模型训练的训练阶段，调整模型权重，验证集用于验证阶段，判断模型在未知样本上的表现情况；训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集；
2）对YOLOX神经网络模型进行改进，利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换，并保留部分结构，得到改进的YOLOX神经网络模型；改进方法如下：
2-1）将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构；
2-2）保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层，将其增加到用于替换的ConvNeXt部分结构后，并将改变后的整个网络作为改进网络的主干特征提取网络；
2-3）在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵，此时输入图像尺寸为H×W×3，其中“H”、“W”分别为输入模型的高、宽像素尺寸，“3”为图像通道数；接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理，得到最终的目标分类和定位结果，即得到改进的YOLOX神经网络模型；
3）利用步骤1）得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练，选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值；
4）将步骤3）得到的PCBA焊点缺陷检测模型部署到SMT产线上，进行PCBA焊点的缺陷检测，得到PCBA焊点缺陷检测结果；
5）根据步骤4）得到的CBA焊点缺陷检测结果的数据，建立新的PCBA焊点缺陷检测数据集，并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练，重复步骤3）至步骤4）；通过迁移学习，使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型；
（二）SMT产线贴片机故障预测过程，包括如下步骤：
A）收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果，以及SMT产线上贴片机产生故障的相关信息，并储存到数据库中；
B）利用概率神经网络PNN建立步骤A）所述缺陷检测结果和贴片机故障信息之间的关系，得到SMT产线贴片机故障预测模型；建立SMT产线贴片机故障预测模型的具体方法如下：
B-1）将同一PCBA产品上的焊点缺陷作为输入数据data，将同一时间段上的贴片机故障类型作为data对应的标签label，data和label共同构成PNN的基础输入模型；
B-2）将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录，并作为PNN模型的待预测输入数据，PNN模型基于基础输入模型运算，得到基于PNN模型的贴片机故障预测类型；
B-3）基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型；
C）将步骤B）得到的SMT产线贴片机故障预测模型部署到SMT产线上，进行贴片机的故障预测，获得故障预测结果；
D）对步骤C）获得的故障预测结果进行筛选，将筛选出的结果作为新的基础数据样本，对PNN模型进行增量更新，重复步骤B）-步骤C）；PNN模型的增量更新，达到改善模型预测效果的目的。
本发明提供的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，采用了深度学习算法与计算机视觉图像处理相结合进行PCBA焊点缺陷检测，相比传统的AOI焊点缺陷检测方法，可以大大提高检测的准确度和速度；采用了概率统计学与深度学习相结合进行贴片机故障预测，相比传统的在设备故障发生后才进行处理的方案，本发明能够对设备故障提前做出应对，可以避免设备故障对SMT产线生产造成的不良影响，从而提高SMT产线的生产效率和生产质量。
附图说明
图1为本发明实施例提供的SMT产线贴片机故障预测方法的实现流程示意图；
图2为本发明实施例提供的CSPDarknet53网络的基本结构示意图；
图3为本发明实施例提供的ConvNeXt网络的改进结构示意图；
图4为本发明实施例提供的改进YOLOX网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
实施例：
如图1所示，一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程，具体如下：
（一）PCBA焊点缺陷检测过程，包括如下步骤：
1）采集PCBA产品图像，对图像进行筛选，保留带缺陷的PCBA产品图像，对图像缺陷进行分类和位置信息标注，并将图像数据按9：1比例进行数据集的制作与划分；数据集制作方法如下：
1-1）采集SMT产线上AOI设备储存的PCBA焊点缺陷图像，对图像进行筛选，保留常见缺陷，并使各缺陷数量分布保持均匀，防止神经网络学习特征时有较大的偏重；
1-2）使用labelImg图像标注工具对筛选出的图像进行标注，并按VOC数据集的储存格式将标注数据储存在XML文件中，储存的标注信息包括缺陷分类信息和缺陷定位信息；
1-3）将标注后的数据集按照9：1比例划分为训练验证集和测试集，训练验证集用于模型训练，测试集用于对训练得出的模型进行测试；再将训练验证集按照9：1比例划分为训练集和验证集，训练集用于模型训练的训练阶段，调整模型权重，验证集用于验证阶段，判断模型在未知样本上的表现情况；训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集；
2）对YOLOX神经网络模型进行改进，利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换，并保留部分结构，得到改进的YOLOX神经网络模型；改进方法如下：
2-1）将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构，其中YOLOX原网络结构如图2所示，ConvNeXt的网络结构如图3结构①ConvNeXt所示；
2-2）保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层，将其增加到用于替换的ConvNeXt部分结构后，并将改变后的整个网络作为改进网络的主干特征提取网络，如图3结构②Backbone所示；
2-3）在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵，此时输入图像尺寸为H×W×3，其中“H”、“W”分别为输入模型的高、宽像素尺寸，“3”为图像通道数；接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理，得到最终的目标分类和定位结果，即得到改进的YOLOX神经网络模型，该模型的结构如图4所示；
3）利用步骤1）得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练，选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值；
4）将步骤3）得到的PCBA焊点缺陷检测模型部署到SMT产线上，进行PCBA焊点的缺陷检测，收集检测结果，基于此建立新的PCBA焊点缺陷检测数据集，并在此数据集上对上述检测模型进行迁移学习，通过测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型，以避免由于SMT产线生产环境变化带来的新缺陷特征以及部分老旧缺陷特征的淘汰引发的检测错误；
5）根据步骤4）得到的CBA焊点缺陷检测结果的数据，建立新的PCBA焊点缺陷检测数据集，并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练，重复步骤3）至步骤4）；通过迁移学习，使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型；
（二）SMT产线贴片机故障预测过程，包括如下步骤：
A）收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果，以及SMT产线上贴片机产生故障的相关信息，并储存到数据库中；
B）利用概率神经网络PNN建立步骤A）所述缺陷检测结果和贴片机故障信息之间的关系，得到SMT产线贴片机故障预测模型；建立SMT产线贴片机故障预测模型的具体方法如下：
B-1）将同一PCBA产品上的焊点缺陷作为输入数据data，将同一时间段上的贴片机故障类型作为data对应的标签label，data和label共同构成PNN的基础输入模型；
B-2）将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录，并作为PNN模型的待预测输入数据，PNN模型基于基础输入模型运算，得到基于PNN模型的贴片机故障预测类型；
B-3）基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型，前者作为后者输入数据的一部分，后者进行最终的贴片机故障预测输出；
C）将步骤B）得到的SMT产线贴片机故障预测模型部署到SMT产线上，进行贴片机的故障预测，获得故障预测结果；
D）对步骤C）获得的故障预测结果进行筛选，将筛选出的结果作为新的基础数据样本，对PNN模型进行增量更新，重复步骤B）-步骤C）；PNN模型的增量更新，达到改善模型预测效果的目的，以适应SMT产线变化引发的新故障的出现。

Claims (3)

1.一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，其特征在于，包括PCBA焊点缺陷检测和SMT产线贴片机故障预测两个过程，具体如下：
（一）PCBA焊点缺陷检测过程，包括如下步骤：
1）采集PCBA产品图像，对图像进行筛选，保留带缺陷的PCBA产品图像，对图像缺陷进行分类和位置信息标注，并将图像数据按9：1比例进行数据集的制作与划分；
2）对YOLOX神经网络模型进行改进，利用图像分类网络ConvNeXt的主干特征提取网络对原模型YOLOX的主干特征提取网络CSPDarknet53进行替换，并保留部分结构，得到改进的YOLOX神经网络模型；改进方法如下：
2-1）将YOLOX原本的主干提取特征网络CSPDarknet53替换为图像分类网络ConvNeXt用于特征提取的部分结构；
2-2）保留CSPDarknet53网络尾部的SPPBottleneck及与其相连的CSPLayer层，将其增加到用于替换的ConvNeXt部分结构后，并将改变后的整个网络作为改进网络的主干特征提取网络；
2-3）在改进网络的主干特征提取网络的第2、3个ConvNeXt Block层和尾部的CSPLayer层分别输出三个尺寸分别为H/8×W/8×192、H/16×W/16×384、H/32×W/32×768的特征图像矩阵，此时输入图像尺寸为H×W×3，其中“H”、“W”分别为输入模型的高、宽像素尺寸，“3”为图像通道数；接着将图像矩阵输入后续的Neck、Head部分进行特征融合处理，得到最终的目标分类和定位结果，即得到改进的YOLOX神经网络模型；
3）利用步骤1）得到的PCBA焊点缺陷数据集对改进的YOLOX神经网络模型进行训练，选取权重文件中损失函数最低的一组作为最终PCBA焊点缺陷检测模型的权重值；
4）将步骤3）得到的PCBA焊点缺陷检测模型部署到SMT产线上，进行PCBA焊点的缺陷检测，得到PCBA焊点缺陷检测结果；
5）根据步骤4）得到的CBA焊点缺陷检测结果的数据，建立新的PCBA焊点缺陷检测数据集，并将新的PCBA焊点缺陷检测数据集输入改进的YOLOX神经网络模型进行迁移学习训练，重复步骤3）至步骤4）；通过迁移学习，使测试集的验证选取效果较好的模型替代旧的PCBA焊点缺陷检测模型；
（二）SMT产线贴片机故障预测过程，包括如下步骤：
A）收集PCBA焊点缺陷检测过程的PCBA焊点缺陷检测结果，以及SMT产线上贴片机产生故障的相关信息，并储存到数据库中；
B）利用概率神经网络PNN建立步骤A）所述缺陷检测结果和贴片机故障信息之间的关系，得到SMT产线贴片机故障预测模型；
C）将步骤B）得到的SMT产线贴片机故障预测模型部署到SMT产线上，进行贴片机的故障预测，获得故障预测结果；
D）对步骤C）获得的故障预测结果进行筛选，将筛选出的结果作为新的基础数据样本，对PNN模型进行增量更新，重复步骤B）-步骤C）；PNN模型的增量更新，达到改善模型预测效果的目的。
2.根据权利要求1所述的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，其特征在于，步骤1）中，所述的数据集，制作方法如下：
1-1）采集SMT产线上AOI设备储存的PCBA焊点缺陷图像，对图像进行筛选，保留常见缺陷，并使各缺陷数量分布保持均匀；
1-2）使用labelImg图像标注工具对筛选出的图像进行标注，并按VOC数据集的储存格式将标注数据储存在XML文件中，储存的标注信息包括缺陷分类信息和缺陷定位信息；
1-3）将标注后的数据集按照9：1比例划分为训练验证集和测试集，训练验证集用于模型训练，测试集用于对训练得出的模型进行测试；再将训练验证集按照9：1比例划分为训练集和验证集，训练集用于模型训练的训练阶段，调整模型权重，验证集用于验证阶段，判断模型在未知样本上的表现情况；训练集、验证集、测试集共同组成PCBA焊点缺陷检测数据集。
3.根据权利要求1所述的一种基于改进YOLOX与PNN的SMT产线贴片机故障预测方法，其特征在于，步骤B）中，所述的SMT产线贴片机故障预测模型，建立方法如下：
B-1）将同一PCBA产品上的焊点缺陷作为输入数据data，将同一时间段上的贴片机故障类型作为data对应的标签label，data和label共同构成PNN的基础输入模型；
B-2）将PCBA焊点缺陷检测过程得到的PCBA焊点缺陷检测结果中的缺陷类别和缺陷数量进行储存记录，并作为PNN模型的待预测输入数据，PNN模型基于基础输入模型运算，得到基于PNN模型的贴片机故障预测类型；
B-3）基于改进YOLOX的PCBA焊点缺陷检测模型与基于PNN模型的贴片机故障预测类型共同构成SMT产线贴片机故障预测模型。
CN202210707932.4A 2022-06-22 2022-06-22 一种基于改进yolox与pnn的smt产线贴片机故障预测方法 Active CN115082401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210707932.4A CN115082401B (zh) 2022-06-22 2022-06-22 一种基于改进yolox与pnn的smt产线贴片机故障预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210707932.4A CN115082401B (zh) 2022-06-22 2022-06-22 一种基于改进yolox与pnn的smt产线贴片机故障预测方法

Publications (2)

Publication Number Publication Date
CN115082401A true CN115082401A (zh) 2022-09-20
CN115082401B CN115082401B (zh) 2024-03-19

Family

ID=83253072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210707932.4A Active CN115082401B (zh) 2022-06-22 2022-06-22 一种基于改进yolox与pnn的smt产线贴片机故障预测方法

Country Status (1)

Country Link
CN (1) CN115082401B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620107A (zh) * 2022-11-07 2023-01-17 国网江西省电力有限公司电力科学研究院 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法
CN115810185A (zh) * 2022-12-21 2023-03-17 南通大学 基于生成对抗网络数据增强的轻量级车牌识别方法
CN116096066A (zh) * 2023-04-12 2023-05-09 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
CN116975604A (zh) * 2023-09-22 2023-10-31 张家港市得道电子有限公司 贴片机驱动系统的故障预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN114170140A (zh) * 2021-11-10 2022-03-11 佛山科学技术学院 一种基于Yolov4的隔膜缺陷识别方法
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114638784A (zh) * 2022-02-17 2022-06-17 中南大学 一种基于fe-yolo的铜管表面缺陷检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114170140A (zh) * 2021-11-10 2022-03-11 佛山科学技术学院 一种基于Yolov4的隔膜缺陷识别方法
CN114638784A (zh) * 2022-02-17 2022-06-17 中南大学 一种基于fe-yolo的铜管表面缺陷检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜超;刘桂华;: "改进的VGG网络的二极管玻壳图像缺陷检测", 图学学报, no. 06, 15 December 2019 (2019-12-15) *
肖体刚;蔡乐才;汤科元;高祥;张超洋;: "改进SSD的安全帽佩戴检测方法", 四川轻化工大学学报(自然科学版), no. 04, 20 August 2020 (2020-08-20) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620107A (zh) * 2022-11-07 2023-01-17 国网江西省电力有限公司电力科学研究院 一种基于深度学习的变电站涉鸟故障相关鸟种识别方法
CN115810185A (zh) * 2022-12-21 2023-03-17 南通大学 基于生成对抗网络数据增强的轻量级车牌识别方法
CN116096066A (zh) * 2023-04-12 2023-05-09 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
CN116975604A (zh) * 2023-09-22 2023-10-31 张家港市得道电子有限公司 贴片机驱动系统的故障预测方法及系统
CN116975604B (zh) * 2023-09-22 2023-12-08 张家港市得道电子有限公司 贴片机驱动系统的故障预测方法及系统

Also Published As

Publication number Publication date
CN115082401B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN115082401B (zh) 一种基于改进yolox与pnn的smt产线贴片机故障预测方法
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN110455822A (zh) 一种pcb板缺陷的检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN110021005A (zh) 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN111798419A (zh) 一种金属喷漆表面缺陷检测方法
CN108802041B (zh) 一种屏幕检测的小样本集快速换型的方法
CN113763312A (zh) 使用弱标记检测半导体试样中的缺陷
US20220189002A1 (en) Method and system for defect inspection based on deep learning
CN112184667A (zh) 缺陷检测、修复方法、装置以及存储介质
CN111199543A (zh) 一种基于卷积神经网络的冰柜表面缺陷检测
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
TWI707299B (zh) 光學檢測二次圖像分類方法
CN114627082A (zh) 一种基于改进YOLOv5网络的光伏组件EL缺陷检测方法
CN111879972A (zh) 基于ssd网络模型的工件表面缺陷检测方法及系统
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN115375635A (zh) 一种晶圆缺陷的识别方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
TWM596871U (zh) 智慧型光學檢測ai資料蒐集系統
CN114387230A (zh) 一种基于重验证检测的pcb板缺陷检测方法
WO2023113773A1 (en) Manufacturing defect detection augmented training sets
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN113344041B (zh) 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant