CN116630319B - 基于机器学习的数据采集板卡焊接缺陷检测方法 - Google Patents

基于机器学习的数据采集板卡焊接缺陷检测方法 Download PDF

Info

Publication number
CN116630319B
CN116630319B CN202310905118.8A CN202310905118A CN116630319B CN 116630319 B CN116630319 B CN 116630319B CN 202310905118 A CN202310905118 A CN 202310905118A CN 116630319 B CN116630319 B CN 116630319B
Authority
CN
China
Prior art keywords
welding
data acquisition
abnormal
sequence
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310905118.8A
Other languages
English (en)
Other versions
CN116630319A (zh
Inventor
张文恒
叶源根
林介奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinmai Technology Co ltd
Original Assignee
Shenzhen Xinmai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinmai Technology Co ltd filed Critical Shenzhen Xinmai Technology Co ltd
Priority to CN202310905118.8A priority Critical patent/CN116630319B/zh
Publication of CN116630319A publication Critical patent/CN116630319A/zh
Application granted granted Critical
Publication of CN116630319B publication Critical patent/CN116630319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646Soldering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了基于机器学习的数据采集板卡焊接缺陷检测方法,涉及焊接缺陷检测技术领域,通过在测试环境中,收集过程特征集合和焊接结果训练数据,训练评估过程特征的异常概率的第一神经网络模型以及根据焊接结果图片输出预测的结果标签的第二神经网络模型在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的每个过程特征的过程特征生产数据以及每块生产数据采集板卡的焊接结果图片,收集所有过程特征的异常概率序列集合和所有生产数据采集板卡的预测结果标签序列,分析焊接过程中出现异常的过程特征;提高了焊接设备检修人员的检查修复效率。

Description

基于机器学习的数据采集板卡焊接缺陷检测方法
技术领域
本发明属于涉及焊接缺陷检测技术领域,具体是基于机器学习的数据采集板卡焊接缺陷检测方法。
背景技术
数据采集板卡焊接是一项重要的电子制造工艺,用于将各种电子元器件焊接到印刷电路板(PCB)上,以构建电子设备的功能部件。焊接过程涉及到热、电、力等物理因素的相互作用,对焊接质量和产品性能具有直接影响。
在传统的数据采集板卡焊接过程中,焊接工人通常会根据经验和视觉检查来判断焊接的质量。然而,这种方法存在主观性高、效率低下、不稳定等问题。同时,焊接缺陷的及时发现和修复也是一项具有挑战性的任务,因为缺陷可能在焊接过程中产生,但在后续的测试阶段才会被发现,导致生产过程中的延误和资源浪费;而在后续的测试阶段往往无法直接根据焊接后的数据采集板卡直接定位焊接过程中出现异常的特征;
申请公开号为CN104036495A的中国专利公开了一种焊接缺陷提取方法及焊接缺陷检测方法,利用NSST对原始焊接图像进行分解,对体现缺陷粗略逼近的低频分量采用PCNN提取缺陷的大致区域;然后,对背景抑制后的低频分量和高频分量作逆NSST,得到高频特征图像,对其进行粗分割后利用改进的CV模型优化缺陷的轮廓,得到缺陷的精细边缘;最后,融合提取的结果,得到最终提取的缺陷;通过计算机视觉技术分析焊接后的缺陷,但该发明并未能对焊接产生缺陷的原因进行监测和分析;
为此,本发明提出基于机器学习的数据采集板卡焊接缺陷检测方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出基于机器学习的数据采集板卡焊接缺陷检测方法,提高了焊接设备检修人员的检查修复效率。
为实现上述目的,根据本发明的实施例1提出的基于机器学习的数据采集板卡焊接缺陷检测方法,包括以下步骤:
步骤一:在测试环境中,收集过程特征集合和焊接结果训练数据;收集过程特征集合中每个过程特征的过程特征训练数据;
步骤二:在测试环境中,基于每个过程特征的过程特征训练数据,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型;
步骤三:基于焊接结果训练数据,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型;
步骤四:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的每个过程特征的过程特征生产数据;需要说明的是,生产数据采集板卡是指在生产环境中进行焊接的数据采集板卡;
基于每个过程特征的过程特征生产数据和每个过程特征对应的第一神经网络模型,收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率;
收集所有过程特征的异常概率序列集合;
步骤五:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的焊接结果图片,基于焊接结果图片和第二神经网络模型,获得焊接结果图片对应的预测的结果标签;
收集所有生产数据采集板卡的预测结果标签序列;
步骤六:基于异常概率序列集合和预测结果标签序列,分析焊接过程中出现异常的过程特征;
进一步地,测试环境为由专业测试人员通过在测试数据采集板卡焊接过程中,控制各种影响焊接结果的过程特征的变化,从而主动控制测试数据采集板卡的焊接结果,以收集焊接过程的数据和焊接结果的数据的收集环境,所述测试数据采集板卡为在测试环境中,用于收集过程特征集合和焊接结果训练数据的测试用的数据采集板卡;
其中,所述过程特征为影响数据采集板卡的焊接结果的物理因素;
进一步地,所述焊接结果训练数据包括若干焊接结果图片及结果标签;
所述焊接结果图片为在测试环境中,每块测试数据采集板卡焊接完成后,由图像捕获设备采集到的测试数据采集板卡焊接后的正面图像;
所述结果标签表示焊接后的测试数据采集板卡是否存在缺陷,所述结果标签使用0或1中的一个表示;
所述过程特征训练数据包括在测试环境中,对每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征的时间变化序列以及时间变化序列的过程标签;所述时间变化序列为每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征随时间变化的物理值序列;
所述过程标签表示焊接过程中,对应的时间变化序列是否异常,过程标签使用0或1中的一个表示;过程标签为1时表示时间变化序列异常,过程标签为0时表示时间变化序列正常;
判断每条时间变化序列的过程标签为0或1的方式为:
将测试数据采集板卡的编号标记为i,将第i块测试数据采集板卡的结果标签标记为Ri;
若Ri表示为不存在缺陷,则将第i块测试数据采集板卡的所有过程特征对应的时间变化序列的过程标签标记为0;
若Ri表示为存在缺陷,则将第i块测试数据采集板卡的经过测试人员控制修改的过程特征对应的过程标签标记为1,将测试人员未控制修改的过程特征对应的过程标签标记为0。
进一步地,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型的方式为:
收集每个过程特征的单特征训练数据集合;所述单特征训练数据包括过程特征数据以及过程特征标签;其中,所述过程特征数据为每块测试数据采集板卡在焊接过程中,对应过程特征的时间变化序列;所述过程特征标签为每个时间变化序列对应的过程标签;
将过程特征集合中过程特征的编号标记为j;
将第j个过程特征对应的单特征训练数据集合中,每个过程特征数据作为第一神经网络模型的输入,所述第一神经网络模型以对每个过程特征数据的预测的过程特征标签为输出,以单特征训练数据集合中,该过程特征数据对应的过程特征标签为预测目标,以最小化所有过程特征数据的预测误差之和作为训练目标;对第一神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出评估第j个过程特征的异常概率的第一神经网络模型。
进一步地,所述第一神经网络模型是RNN神经网络模型或LSTM神经网络模型中的任意一个。
进一步地,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型的方式为:
将焊接结果训练数据中,每张焊接结果图片作为第二神经网络模型的输入,所述第二神经网络模型以对每张焊接结果图片的预测的结果标签为输出,以焊接结果训练数据中,焊接结果图片对应的结果标签为预测目标,以最小化所有焊接结果图片的预测误差之和作为训练目标;对第二神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出根据焊接结果图片输出预测的结果标签的第二神经网络模型。
进一步地,所述第二神经网络模型是CNN神经网络模型或AlexNet中的任意一个。
进一步地,所述生产环境为实际生产过程中,对生产数据采集板卡进行焊接的数据收集环境;
所述过程特征生产数据为每块生产数据采集板卡,在焊接过程中每个过程特征的时间变化序列;
收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率的方式为:
将过程特征生产数据输入对应过程特征的第一神经网络模型中,获得第一神经网络模型输出的过程特征标签,该过程特征标签作为异常概率;
收集所有过程特征的异常概率序列集合的方式为:
对于每个过程特征,将生产数据采集板卡焊接过程中,该过程特征的异常概率按焊接时间顺序进行排序,获得异常概率序列;
将所有过程特征的异常概率序列合并为异常概率序列集合。
进一步地,获得焊接结果图片对应的预测的结果标签的方式为:
将每块生产数据采集板卡的焊接结果图片作为第二神经网络模型的输入,获得第二神经网络模型对结果标签的预测值;
收集所有生产数据采集板卡的预测结果标签序列的方式为:
将所有生产数据采集板卡的结果标签的预测值按焊接的时间顺序进行排序,获得预测结果标签序列。
进一步地,分析焊接过程中出现异常的过程特征的方式为:
预设异常概率阈值以及第一异常判定比例;
将异常概率序列中大于第一异常概率阈值的异常概率表示为异常特征节点;
对于第j个过程特征,若对应的异常概率序列中存在异常序列段,将第j个过程特征判断为出现异常;若对应的异常概率序列中不存在异常序列段,则不做处理;所述异常序列段是指在异常概率序列中的一段异常概率序列段,在该段异常概率序列段中,异常特征节点的数量占该异常概率序列段长度的比值大于第一异常判定比例;
分析焊接过程中出现异常的过程特征的方式还可以为:
预设第二异常判定比例;
若预测结果标签序列中存在异常结果序列段,基于异常概率序列集合,计算每个过程特征的异常权重,将过程特征按异常权重从大到小的顺序进行排序;
所述异常结果序列段指在预测结果标签序列中的一段结果序列段,在该段结果序列段中,异常特征节点的数量占该结果序列段长度的比值大于第二异常判定比例;
将第j个过程特征的异常权重标记为Wj,Wj的计算方式为计算第j个过程特征的异常概率序列中所有异常概率的平均值。
根据本发明的实施例2提出的一种电子设备,包括:处理器和存储器,其中,所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,在票据交易后台中执行上述的基于机器学习的数据采集板卡焊接缺陷检测方法。
根据本发明的实施例3提出的一种计算机可读存储介质,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行上述的基于机器学习的数据采集板卡焊接缺陷检测方法。
与现有技术相比,本发明的有益效果是:
本发明通过预先在测试环境中,收集过程特征集合和焊接结果训练数据,再收集过程特征集合中每个过程特征的过程特征训练数据,基于每个过程特征的过程特征训练数据,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型,基于焊接结果训练数据,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型,在生产环境中,按焊接的时间顺序,收集生产数据采集板卡的所有过程特征的异常概率序列集合以及预测结果标签序列,最后基于异常概率序列集合和预测结果标签序列,分析焊接过程中出现异常的过程特征;及时检测出焊接过程的缺陷,并进一步地向相关监测人员发起报警,监测人员可以从分析出的出现异常的过程特征进行具体的原因分析,提高检修人员的检查修复效率。
附图说明
图1为本发明实施例1中的基于机器学习的数据采集板卡焊接缺陷检测方法的流程图;
图2为本发明实施例2中的电子设备结构示意图;
图3为本发明实施3中的计算机可读存储介质结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
如图1所示,基于机器学习的数据采集板卡焊接缺陷检测方法,包括以下步骤:
步骤一:预先在测试环境中,收集过程特征集合和焊接结果训练数据;收集过程特征集合中每个过程特征的过程特征训练数据;所述焊接结果训练数据包括若干焊接结果图片及结果标签;
步骤二:在测试环境中,基于每个过程特征的过程特征训练数据,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型;
步骤三:基于焊接结果训练数据,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型;
步骤四:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的每个过程特征的过程特征生产数据;需要说明的是,生产数据采集板卡是指在生产环境中进行焊接的数据采集板卡;
基于每个过程特征的过程特征生产数据和每个过程特征对应的第一神经网络模型,收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率;
收集所有过程特征的异常概率序列集合;
步骤五:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的焊接结果图片,基于焊接结果图片和第二神经网络模型,获得焊接结果图片对应的预测的结果标签;
收集所有生产数据采集板卡的预测结果标签序列;
步骤六:基于异常概率序列集合和预测结果标签序列,分析焊接过程中出现异常的过程特征;从而及时检测出焊接过程的缺陷,并进一步地向相关监测人员发起报警,监测人员可以从分析出的出现异常的过程特征进行具体的原因分析,提高检修人员的检查修复效率;
其中,测试环境为由专业测试人员通过在测试数据采集板卡焊接过程中,控制各种影响焊接结果的过程特征的变化,从而主动控制测试数据采集板卡的焊接结果,以准确收集焊接过程的数据和焊接结果的数据的收集环境,以保证训练数据的准确性和可控性;所述测试数据采集板卡为在测试环境中,用于收集过程特征集合和焊接结果训练数据的测试用的数据采集板卡;
其中,所述过程特征为影响数据采集板卡的焊接结果的物理因素;
需要说明的是,所示过程特征一般是由专业测试人员根据数据采集板卡的实际焊接过程中各项物理量的变化情况选取;
具体的,所述过程特征集合中包含的过程特征包括但不限于温度、电流、电压、气体流量、气体压力、焊接速度以及振动值等;可以理解的是,上述的过程特征均可使用对应的传感器实时获得相应的值,例如温度传感器可用于实时监测温度值;
需要说明的是,温度:异常的温度变化可能与焊接质量有关,如焊接过热或过冷导致焊接不良;
电压及电流:电焊机的电压和电流可以反映焊接过程中的能量传输情况,异常的电流和电压波动可能会影响焊接质量;
气体流量和气体压力:不正确的气体流量和压力可能会导致气体保护不足或过度,从而影响焊接质量;
焊接速度:焊接速度的变化可能会导致焊缝形状、焊缝宽度等焊接参数发生变化,进而影响焊接质量;
振动值:不良的振动可能导致焊接接头松动、裂纹产生等缺陷;
所述焊接结果图片为在测试环境中,每块测试数据采集板卡焊接完成后,由图像捕获设备采集到的测试数据采集板卡焊接后的正面图像;
所述结进一步地果标签表示焊接后的测试数据采集板卡是否存在缺陷,所述结果标签使用0或1中的一个表示;优选的,0表示焊接后的测试数据采集板卡不存在缺陷,1表示测试数据采集板卡存在缺陷;
,所述过程特征训练数据包括在测试环境中,对每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征的时间变化序列以及时间变化序列的过程标签;所述时间变化序列为每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征随时间变化的物理值序列;
所述过程标签表示焊接过程中,对应的时间变化序列是否异常,过程标签使用0或1中的一个表示;过程标签为1时表示时间变化序列异常,过程标签为0时表示时间变化序列正常;
具体的,判断每条时间变化序列的过程标签为0或1的方式为:
将测试数据采集板卡的编号标记为i,将第i块测试数据采集板卡的结果标签标记为Ri;
若Ri表示为不存在缺陷,则将第i块测试数据采集板卡的所有过程特征对应的时间变化序列的过程标签标记为0;
若Ri表示为存在缺陷,则将第i块测试数据采集板卡的经过测试人员控制修改的过程特征对应的过程标签标记为1,将测试人员未控制修改的过程特征对应的过程标签标记为0;可以理解的是,在标准的测试环境中,其他变量会被严格控制一致,因此,测试人员控制修改的过程特征一般是影响测试数据采集板卡的焊接结果的因素;
训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型的方式为:
收集每个过程特征的单特征训练数据集合;所述单特征训练数据包括过程特征数据以及过程特征标签;其中,所述过程特征数据为每块测试数据采集板卡在焊接过程中,对应过程特征的时间变化序列;所述过程特征标签为每个时间变化序列对应的过程标签;
将过程特征集合中过程特征的编号标记为j;
将第j个过程特征对应的单特征训练数据集合中,每个过程特征数据作为第一神经网络模型的输入,所述第一神经网络模型以对每个过程特征数据的预测的过程特征标签为输出,以单特征训练数据集合中,该过程特征数据对应的过程特征标签为预测目标,以最小化所有过程特征数据的预测误差之和作为训练目标;对第一神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出评估第j个过程特征的异常概率的第一神经网络模型;优选的,所述第一神经网络模型是RNN神经网络模型或LSTM神经网络模型中的任意一个;需要说明的是,过程特征标签一般是小数,越接近1说明该过程特征异常的概率越大;
训练根据焊接结果图片输出预测的结果标签的第二神经网络模型的方式为:
将焊接结果训练数据中,每张焊接结果图片作为第二神经网络模型的输入,所述第二神经网络模型以对每张焊接结果图片的预测的结果标签为输出,以焊接结果训练数据中,焊接结果图片对应的结果标签为预测目标,以最小化所有焊接结果图片的预测误差之和作为训练目标;对第二神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出根据焊接结果图片输出预测的结果标签的第二神经网络模型;优选的,所述第二神经网络模型是CNN神经网络模型或AlexNet中的任意一个;需要说明的是,在第二神经网络模型输出的预测的结果标签为0或1;
预测误差的计算公式为:,其中,/>为特征数据的编号,/>为预测误差,/>为第/>组特征数据对应的预测的状态值,/>为第/>组训练数据对应的实际的状态值;
例如,对于第一神经网络模型,特征数据即为过程特征数据,状态值即为过程特征标签;对于第二神经网络模型,特征数据即为焊接结果图片,状态值即为结果标签;
所述生产环境为实际生产过程中,对生产数据采集板卡进行焊接的数据收集环境;
所述过程特征生产数据为每块生产数据采集板卡,在焊接过程中,每个过程特征的时间变化序列;
收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率的方式为:
将过程特征生产数据输入对应过程特征的第一神经网络模型中,获得第一神经网络模型输出的过程特征标签,该过程特征标签作为异常概率;
收集所有过程特征的异常概率序列集合的方式为:
对于每个过程特征,将生产数据采集板卡焊接过程中,该过程特征的异常概率按焊接时间顺序进行排序,获得异常概率序列;
将所有过程特征的异常概率序列合并为异常概率序列集合;
一个异常概率序列集合的示例可以如下:
{[0.1,0.2],[0.12,0.18],[0.2,0.2]},该序列展示了三个过程特征的异常概率序列;每个异常概率序列包含两块生产数据采集板卡的预测的异常概率,例如,第一个过程特征对应的异常概率序列中,第一块生产数据采集板卡的异常概率为0.1,其他的可以以此类推;
获得焊接结果图片对应的预测的结果标签的方式为:
将每块生产数据采集板卡的焊接结果图片作为第二神经网络模型的输入,获得第二神经网络模型对结果标签的预测值;
收集所有生产数据采集板卡的预测结果标签序列的方式为:
将所有生产数据采集板卡的结果标签的预测值按焊接的时间顺序进行排序,获得预测结果标签序列;
在本发明的一个优选的实施例中,分析焊接过程中出现异常的过程特征的方式为:
预设异常概率阈值以及第一异常判定比例;
将异常概率序列中大于第一异常概率阈值的异常概率表示为异常特征节点;
对于第j个过程特征,若对应的异常概率序列中存在异常序列段,将第j个过程特征判断为出现异常;若对应的异常概率序列中不存在异常序列段,则不做处理;所述异常序列段是指在异常概率序列中的一段异常概率序列段,在该段异常概率序列段中,异常特征节点的数量占该异常概率序列段长度的比值大于第一异常判定比例;
在本发明的另一个优选的实施例中,分析焊接过程中出现异常的过程特征的方式还可以为:
预设第二异常判定比例;
若预测结果标签序列中存在异常结果序列段,基于异常概率序列集合,计算每个过程特征的异常权重,将过程特征按异常权重从大到小的顺序进行排序;可以理解的是,异常权重越大,该过程特征的异常的可能性越大,从而引导检修人员按顺序进行检修;
所述异常结果序列段指在预测结果标签序列中的一段结果序列段,在该段结果序列段中,异常特征节点的数量占该结果序列段长度的比值大于第二异常判定比例;
将第j个过程特征的异常权重标记为Wj,Wj的计算方式为计算第j个过程特征的异常概率序列中所有异常概率的平均值。
实施例2
如图2所示,本发明提供一种电子设备;图2是本申请一个实施例提供的电子设备结构示意图。如图2所示,根据本申请的又一方面还提供了一种电子设备。该电子设备可包括一个或多个处理器以及一个或多个存储器。其中,存储器中存储有计算机可读代码,计算机可读代码当由一个或多个处理器运行时,可以执行如上所述的基于机器学习的数据采集板卡焊接缺陷检测方法。
根据本申请实施方式的方法或系统也可以借助于图2所示的电子设备的架构来实现。如图2所示,电子设备可包括总线201、一个或多个CPU202、只读存储器(ROM)203、随机存取存储器(RAM)204、连接到网络的通信端口205、输入/输出组件206、硬盘207等。电子设备中的存储设备,例如存储器(ROM)203或硬盘207可存储本申请提供的基于机器学习的数据采集板卡焊接缺陷检测方法。
基于机器学习的数据采集板卡焊接缺陷检测方法可例如包括以下步骤:
步骤一:在测试环境中,收集过程特征集合和焊接结果训练数据;收集过程特征集合中每个过程特征的过程特征训练数据;
步骤二:在测试环境中,基于每个过程特征的过程特征训练数据,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型;
步骤三:基于焊接结果训练数据,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型;
步骤四:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的每个过程特征的过程特征生产数据;基于每个过程特征的过程特征生产数据和每个过程特征对应的第一神经网络模型,收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率;收集所有过程特征的异常概率序列集合;
步骤五:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的焊接结果图片,基于焊接结果图片和第二神经网络模型,获得焊接结果图片对应的预测的结果标签;收集所有生产数据采集板卡的预测结果标签序列;
步骤六:基于异常概率序列集合和预测结果标签序列,分析焊接过程中出现异常的过程特征。
进一步地,电子设备还可包括用户界面208。当然,图2所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图2示出的电子设备中的一个或多个组件。
实施例3
如图3所示,本发明提供一种计算机可读存储介质,图3是本申请一个实施例提供的计算机可读存储介质结构示意图。计算机可读存储介质300上存储有计算机可读指令。
当计算机可读指令由处理器运行时,可执行基于机器学习的数据采集板卡焊接缺陷检测方法。存储介质300包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(RAM)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(ROM)、硬盘、闪存等。
另外,根据本申请的实施方式,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质存储有机器可读指令,所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令。
可能以许多方式来实现本申请的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
另外,本申请的实施方式中提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
如上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是,以上所述仅为本发明的具体实施方式,并不用于限制本发明。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。
以上的预设的参数或预设的阈值均由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

Claims (10)

1.基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,包括以下步骤:
步骤一:在测试环境中,收集过程特征集合和焊接结果训练数据;收集过程特征集合中每个过程特征的过程特征训练数据;
步骤二:在测试环境中,基于每个过程特征的过程特征训练数据,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型;
步骤三:基于焊接结果训练数据,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型;
步骤四:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的每个过程特征的过程特征生产数据;
基于每个过程特征的过程特征生产数据和每个过程特征对应的第一神经网络模型,收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率;
收集所有过程特征的异常概率序列集合;
步骤五:在生产环境中,按焊接的时间顺序,依次收集每块生产数据采集板卡的焊接结果图片,基于焊接结果图片和第二神经网络模型,获得焊接结果图片对应的预测的结果标签;
收集所有生产数据采集板卡的预测结果标签序列;
步骤六:基于异常概率序列集合和预测结果标签序列,分析焊接过程中出现异常的过程特征;
所述焊接结果训练数据包括若干焊接结果图片及结果标签;
所述过程特征为影响数据采集板卡的焊接结果的物理因素;
所述焊接结果图片为在测试环境中,每块测试数据采集板卡焊接完成后,由图像捕获设备采集到的测试数据采集板卡焊接后的正面图像;
所述结果标签表示焊接后的测试数据采集板卡是否存在缺陷,所述结果标签使用0或1中的一个表示;
所述过程特征训练数据包括在测试环境中,对每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征的时间变化序列以及时间变化序列的过程标签;所述时间变化序列为每块测试数据采集板卡进行焊接的焊接过程中,对应过程特征随时间变化的物理值序列;
所述过程标签表示焊接过程中,对应的时间变化序列是否异常,过程标签使用0或1中的一个表示;过程标签为1时表示时间变化序列异常,过程标签为0时表示时间变化序列正常;
将过程特征集合中过程特征的编号标记为j;
分析焊接过程中出现异常的过程特征的方式为:
预设异常概率阈值以及第一异常判定比例;
将异常概率序列中大于第一异常概率阈值的异常概率表示为异常特征节点;
对于第j个过程特征,若对应的异常概率序列中存在异常序列段,将第j个过程特征判断为出现异常;若对应的异常概率序列中不存在异常序列段,则不做处理;所述异常序列段是指在异常概率序列中的一段异常概率序列段,在该段异常概率序列段中,异常特征节点的数量占该异常概率序列段长度的比值大于第一异常判定比例;或:
预设第二异常判定比例;
若预测结果标签序列中存在异常结果序列段,基于异常概率序列集合,计算每个过程特征的异常权重,将过程特征按异常权重从大到小的顺序进行排序;
所述异常结果序列段指在预测结果标签序列中的一段结果序列段,在该段结果序列段中,异常特征节点的数量占该结果序列段长度的比值大于第二异常判定比例;
将第j个过程特征的异常权重标记为Wj,Wj的计算方式为计算第j个过程特征的异常概率序列中所有异常概率的平均值。
2.根据权利要求1所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,测试环境为由专业测试人员通过在测试数据采集板卡焊接过程中,控制各种影响焊接结果的过程特征的变化,从而主动控制测试数据采集板卡的焊接结果,以收集焊接过程的数据和焊接结果的数据的收集环境,所述测试数据采集板卡为在测试环境中,用于收集过程特征集合和焊接结果训练数据的测试用的数据采集板卡。
3.根据权利要求2所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,训练在数据采集板卡焊接过程中,评估对应过程特征的异常概率的第一神经网络模型的方式为:
收集每个过程特征的单特征训练数据集合;所述单特征训练数据包括过程特征数据以及过程特征标签;其中,所述过程特征数据为每块测试数据采集板卡在焊接过程中,对应过程特征的时间变化序列;所述过程特征标签为每个时间变化序列对应的过程标签;
将第j个过程特征对应的单特征训练数据集合中,每个过程特征数据作为第一神经网络模型的输入,所述第一神经网络模型以对每个过程特征数据的预测的过程特征标签为输出,以单特征训练数据集合中,该过程特征数据对应的过程特征标签为预测目标,以最小化所有过程特征数据的预测误差之和作为训练目标;对第一神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出评估第j个过程特征的异常概率的第一神经网络模型。
4.根据权利要求3所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,所述第一神经网络模型是RNN神经网络模型或LSTM神经网络模型中的任意一个。
5.根据权利要求4所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,训练根据焊接结果图片输出预测的结果标签的第二神经网络模型的方式为:
将焊接结果训练数据中,每张焊接结果图片作为第二神经网络模型的输入,所述第二神经网络模型以对每张焊接结果图片的预测的结果标签为输出,以焊接结果训练数据中,焊接结果图片对应的结果标签为预测目标,以最小化所有焊接结果图片的预测误差之和作为训练目标;对第二神经网络模型进行训练,直至预测误差之和达到收敛时停止训练,训练出根据焊接结果图片输出预测的结果标签的第二神经网络模型。
6.根据权利要求5所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,所述第二神经网络模型是CNN神经网络模型或AlexNet中的任意一个。
7.根据权利要求6所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,所述过程特征生产数据为每块生产数据采集板卡,在焊接过程中每个过程特征的时间变化序列;
收集每块生产数据采集板卡焊接过程中,每个过程特征的异常概率的方式为:
将过程特征生产数据输入对应过程特征的第一神经网络模型中,获得第一神经网络模型输出的过程特征标签,该过程特征标签作为异常概率;
收集所有过程特征的异常概率序列集合的方式为:
对于每个过程特征,将生产数据采集板卡焊接过程中,该过程特征的异常概率按焊接时间顺序进行排序,获得异常概率序列;
将所有过程特征的异常概率序列合并为异常概率序列集合。
8.根据权利要求7所述的基于机器学习的数据采集板卡焊接缺陷检测方法,其特征在于,获得焊接结果图片对应的预测的结果标签的方式为:
将每块生产数据采集板卡的焊接结果图片作为第二神经网络模型的输入,获得第二神经网络模型对结果标签的预测值;
收集所有生产数据采集板卡的预测结果标签序列的方式为:
将所有生产数据采集板卡的结果标签的预测值按焊接的时间顺序进行排序,获得预测结果标签序列。
9.一种电子设备,其特征在于,包括:处理器和存储器,其中,
所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,在后台中执行权利要求1-8任意一条所述基于机器学习的数据采集板卡焊接缺陷检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行在后台中执行权利要求1-8任意一条所述基于机器学习的数据采集板卡焊接缺陷检测方法。
CN202310905118.8A 2023-07-24 2023-07-24 基于机器学习的数据采集板卡焊接缺陷检测方法 Active CN116630319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310905118.8A CN116630319B (zh) 2023-07-24 2023-07-24 基于机器学习的数据采集板卡焊接缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310905118.8A CN116630319B (zh) 2023-07-24 2023-07-24 基于机器学习的数据采集板卡焊接缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116630319A CN116630319A (zh) 2023-08-22
CN116630319B true CN116630319B (zh) 2023-10-10

Family

ID=87592422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310905118.8A Active CN116630319B (zh) 2023-07-24 2023-07-24 基于机器学习的数据采集板卡焊接缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116630319B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454299B (zh) * 2023-12-21 2024-03-26 深圳市研盛芯控电子技术有限公司 异常节点的监测方法及系统
CN117828499B (zh) * 2024-03-04 2024-05-28 深圳市恒天翊电子有限公司 Pcba异常件确定方法、系统、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084186A1 (zh) * 2015-11-18 2017-05-26 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN111539923A (zh) * 2020-04-17 2020-08-14 西安数合信息科技有限公司 一种焊缝缺陷的数字射线检测方法、系统及服务器
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN113763305A (zh) * 2020-05-29 2021-12-07 杭州海康威视数字技术股份有限公司 标定物品缺陷的方法、装置及电子设备
CN114463329A (zh) * 2022-04-12 2022-05-10 苏芯物联技术(南京)有限公司 一种图像与时序数据融合的焊接缺陷检测方法及系统
CN114722883A (zh) * 2022-06-07 2022-07-08 苏芯物联技术(南京)有限公司 基于高频时序数据的焊接质量实时检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3499329A1 (en) * 2017-12-13 2019-06-19 Siemens Aktiengesellschaft A data driven method for automated detection of anomalous work pieces during a production process
US11494661B2 (en) * 2019-08-23 2022-11-08 Accenture Global Solutions Limited Intelligent time-series analytic engine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084186A1 (zh) * 2015-11-18 2017-05-26 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN111539923A (zh) * 2020-04-17 2020-08-14 西安数合信息科技有限公司 一种焊缝缺陷的数字射线检测方法、系统及服务器
CN113763305A (zh) * 2020-05-29 2021-12-07 杭州海康威视数字技术股份有限公司 标定物品缺陷的方法、装置及电子设备
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN114463329A (zh) * 2022-04-12 2022-05-10 苏芯物联技术(南京)有限公司 一种图像与时序数据融合的焊接缺陷检测方法及系统
CN114722883A (zh) * 2022-06-07 2022-07-08 苏芯物联技术(南京)有限公司 基于高频时序数据的焊接质量实时检测方法及系统

Also Published As

Publication number Publication date
CN116630319A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN116630319B (zh) 基于机器学习的数据采集板卡焊接缺陷检测方法
CN109946319B (zh) 印刷电路板检查装置、决定丝网印刷机的缺陷类型的方法及计算机可判读记录介质
EP3102018B1 (en) Quality management device and method for controlling quality management device
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN109146873B (zh) 一种基于学习的显示屏缺陷智能检测方法及装置
CN113695713B (zh) 一种热水器内胆焊接质量在线监测方法及装置
CN109060817B (zh) 人工智能复检系统及其方法
CN111582235A (zh) 用于实时监控站内异常事件的警报方法、系统及设备
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN111060512A (zh) 智能缺陷识别系统
KR20200006028A (ko) 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
CN115376074A (zh) 输电线路监拍装置识别效果评估方法及系统
CN116125242A (zh) 对象检测方法及系统
CN111199213A (zh) 一种变电站用设备缺陷检测方法及装置
CN116703914B (zh) 基于生成式人工智能的焊接缺陷检测方法、设备及介质
CN112183555B (zh) 焊接质量的检测方法、系统、电子设备和存储介质
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
Lu et al. Deep learning based fusion of RGB and infrared images for the detection of abnormal condition of fused magnesium furnace
CN115913349A (zh) 光缆设备异常定位方法及装置、存储介质、终端
CN108763063B (zh) 一种无需缺陷标注数据的软件缺陷检测方法
CN117828499B (zh) Pcba异常件确定方法、系统、存储介质及电子设备
CN116957544A (zh) 一种动力电池外壳缺陷自动识别方法、系统
CN112506749B (zh) 一种硬盘报错信息的现场区分方法和系统
CN111160454B (zh) 一种速变信号检测方法和装置
CN115391084B (zh) 一种云游戏异常的智能解决方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant