CN110930347B - 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 - Google Patents

卷积神经网络的训练方法、焊点缺陷的检测方法及装置 Download PDF

Info

Publication number
CN110930347B
CN110930347B CN201811025886.XA CN201811025886A CN110930347B CN 110930347 B CN110930347 B CN 110930347B CN 201811025886 A CN201811025886 A CN 201811025886A CN 110930347 B CN110930347 B CN 110930347B
Authority
CN
China
Prior art keywords
welding spot
image
defect
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811025886.XA
Other languages
English (en)
Other versions
CN110930347A (zh
Inventor
王婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811025886.XA priority Critical patent/CN110930347B/zh
Priority to PCT/CN2019/081005 priority patent/WO2020048119A1/en
Priority to EP19848922.1A priority patent/EP3847444A4/en
Priority to US16/486,025 priority patent/US11222234B2/en
Publication of CN110930347A publication Critical patent/CN110930347A/zh
Application granted granted Critical
Publication of CN110930347B publication Critical patent/CN110930347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种卷积神经网络的训练方法、焊点缺陷的检测方法及装置，通过选用包括多个焊点样本图像的训练样本集合作为训练集，采用包括至少两个不同的损失函数的复合训练损失函数，根据获得的各焊点样本图像的目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，对卷积神经网络卷积神经网络的网络参数进行调整。由于焊点样本图像中的缺陷存在细微差异，通过使用至少两个不同的损失函数对卷积神经网络卷积神经网络的网络参数进行调整，可以提高卷积神经网络在不同缺陷类型之间的相关性，以提高对不同缺陷类型的分类准确度，进而提高识别效率和准确度、降低人工成本。

Description

卷积神经网络的训练方法、焊点缺陷的检测方法及装置
技术领域
本发明涉及学习及检测技术领域，特别涉及一种卷积神经网络的训练方法、焊点缺陷的检测方法及装置。
背景技术
随着集成电路技术的发展，BGA(Ball Grid Array，球状引脚栅格阵列)芯片便于电子系统的小型化，在现代电子设计中大量应用。但由于具有焊点的电子装置用于作为引脚的焊点较多，因此在制作过程中可能会出现焊点气泡、焊点连桥、焊点尺寸不规则(或大或小)，冷焊等缺陷。在制作完成焊点后，一般会对具有焊点的电子装置进行检测，以确定具有焊点的电子装置中的焊点是否存在缺陷。目前，一般是先获取BGA图像中的每一个焊点的图像，然后针对图像中的是否存在缺陷一般是依靠专业人员的经验进行肉眼识别判断，导致增加人工成本且识别效率低。并且，其检测结果受人的主观判断干扰，导致判断结果不客观。
发明内容
本发明实施例提供一种卷积神经网络的训练方法、焊点缺陷的检测方法及装置，提高卷积神经网络的训练效率和对焊点缺陷的检测精确度。
本发明实施例提供了一种卷积神经网络的训练方法，包括：
获取训练样本集合；其中，所述训练样本集合包括多个焊点样本图像，所述焊点样本图像包括具有不同缺陷类型的焊点所成的图像且所述焊点位于所述焊点样本图像的中间区域；
将所述训练样本集合输入所述卷积神经网络中，获得各所述焊点样本图像的目标特征向量；
根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整；其中，所述复合训练损失函数包括至少两个不同的损失函数。
可选地，在本发明实施例中，所述复合训练损失函数包括两个不同的损失函数。
可选地，在本发明实施例中，所述根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整，具体包括：
将每一所述缺陷标签映射为所述缺陷标签对应的K维特征向量后进行转置，确定每一所述缺陷标签在转置后的K维特征向量；并将获得的各所述焊点样本图像的目标特征向量降维到各所述焊点样本图像对应的K维特征向量；以及根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率；
根据各所述焊点样本图像对应每一所述缺陷标签的目标预测概率、每一所述缺陷标签在转置后的K维特征向量、以及各所述焊点样本图像对应的K维特征向量，通过所述复合训练损失函数对所述卷积神经网络的网络参数进行调整。
可选地，在本发明实施例中，通过如下复合训练损失函数L对所述卷积神经网络的网络参数进行调整；
L＝Ls+λLr；
其中，λ代表权重系数，Ls代表Sigmoid cross entropy loss函数，Lr代表Rankloss函数；
Sigmoid cross entropy loss函数Ls表示为：
Figure GDA0003824190680000021
其中，M代表所述缺陷标签的类型的总数，m∈M且为整数，
Figure GDA0003824190680000032
代表所述焊点样本图像具有第m类缺陷标签的目标预测概率，ym代表预先标定的所述焊点样本图像具有第m类缺陷标签的真实值；
Rank loss函数Lr表示为：
Figure GDA0003824190680000031
其中，M代表所述缺陷标签的类型的总数，Q(i，j)代表预先确定的既具有第i类缺陷标签又具有第j类缺陷标签的焊点样本图像的出现概率，m0代表预先确定的参数，Vi T代表第i类缺陷标签在转置后的K维特征向量，Vj T代表第j类缺陷标签在转置后的K维特征向量，Z代表各所述焊点样本图像对应的K维特征向量。
可选地，在本发明实施例中，所述通过如下复合训练损失函数L对所述卷积神经网络的网络参数进行调整，具体包括：
固定所述复合训练损失函数L的Ls和Lr中的一个损失函数的参数，通过另一个损失函数对所述卷积神经网络的网络参数进行调整，在迭代预设次数后将上一次对所述卷积神经网络的网络参数进行调整的损失函数的参数固定，通过上一次参数固定的损失函数再次对所述卷积神经网络的网络参数进行调整。
可选地，在本发明实施例中，所述根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率，具体包括：
根据获得的所述目标特征向量确定各所述焊点样本图像对应每一所述缺陷标签的初始预测概率；
根据确定出的各所述焊点样本图像对应每一所述缺陷标签的初始预测概率和预先确定的所述训练样本集合中具有相同两个缺陷标签的焊点样本图像的出现概率，确定各所述焊点样本图像对应每一所述缺陷标签的目标预测概率。
可选地，在本发明实施例中，将所述训练样本集合输入所述卷积神经网络中，获得各所述焊点样本图像的目标特征向量，具体包括：
将所述训练样本集合输入所述卷积神经网络中，获得经过各卷积层后的各所述焊点样本图像对应的初始特征向量；
至少将最后一层卷积层输出的初始特征向量依次输入第一全连接层和第二全连接层，获得各所述焊点样本图像的目标特征向量；其中，所述第一全连接层采用至少两个不同的激活函数，所述第二全连接层采用一个激活函数。
可选地，在本发明实施例中，所述第一全连接层采用Sigmoid函数和tanh函数作为激活函数，所述第二全连接层采用Sigmoid函数或relu函数作为激活函数。
可选地，在本发明实施例中，将各卷积层输出的初始特征向量依次输入所述第一全连接层和所述第二全连接层，获得各所述焊点样本图像的目标特征向量。
相应地，本发明实施例还提供了一种焊点缺陷的检测方法，包括：
获取具有焊点的电子装置的焊点图像；其中，所述焊点图像包括所述电子装置中的一个焊点所成的图像且所述焊点位于所述焊点图像的中间区域；
采用卷积神经网络提取焊点图像的目标特征向量；其中，所述卷积神经网络通过权利要求1-8任一项所述的训练方法训练得到；
根据提取的所述目标特征向量，确定所述焊点图像对应每一缺陷标签的初始预测概率；
仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，确定所述电子装置的焊点无缺陷；否则，确定所述电子装置的焊点有缺陷。
可选地，在本发明实施例中，所述获取具有焊点的电子装置的焊点图像，具体包括：
获取所述电子装置的初始图像；
利用感兴趣区域定位获取所述初始图像中的所有焊点所在的焊点区域；
采用阈值分割方法对所述焊点区域中的初始图像进行二值化后，确定每个焊点的包围盒；其中一个所述包围盒形成一个所述焊点图像。
可选地，在本发明实施例中，在所述获取所述电子装置的初始图像之后，在所述利用感兴趣区域定位获取所述初始图像中的所有焊点所在的焊点区域之前，还包括：
对所述初始图像进行预处理。
可选地，在本发明实施例中，在所述获取所述电子装置的焊点图像之前，还包括：控制机器手臂将所述电子装置放置到用于获取所述电子装置的焊点图像的载物台上。
可选地，在本发明实施例中，在确定所述电子装置的焊点无缺陷后，控制机器手臂将所述电子装置放置到预先设定的合格区域中；
在确定所述电子装置的焊点有缺陷后，控制机器手臂将所述电子装置放置到预先设定的不合格区域中。
相应地，本发明实施例还提供了一种卷积神经网络的训练装置，包括：
样本获取模块，用于获取训练样本集合；其中，所述训练样本集合包括多个焊点样本图像，所述焊点样本图像包括具有不同缺陷类型的焊点所成的图像且所述焊点位于所述焊点样本图像的中间区域；
目标特征向量确定模块，用于将所述训练样本集合输入所述卷积神经网络中，获得各所述焊点样本图像的目标特征向量；
调整模块，用于根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整；其中，所述复合训练损失函数包括至少两个不同的损失函数。
相应地，本发明实施例还提供了一种焊点缺陷的检测装置，包括：
图像获取模块，用于获取具有焊点的电子装置的焊点图像；其中，所述焊点图像包括所述电子装置中的一个焊点所成的图像且所述焊点位于所述焊点图像的中间区域；
提取模块，用于采用卷积神经网络提取焊点图像的目标特征向量；其中，所述卷积神经网络通过权利要求1-8任一项所述的训练方法训练得到；
初始预测概率确定模块，用于根据提取的所述目标特征向量，确定所述焊点图像对应每一缺陷标签的初始预测概率；
缺陷确定模块，用于仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，确定所述电子装置的焊点无缺陷；否则，确定所述电子装置的焊点有缺陷。
相应地，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
相应地，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例提供的方法。
本发明实施例提供的卷积神经网络的训练方法、焊点缺陷的检测方法及装置，通过选用包括多个焊点样本图像的训练样本集合作为训练集，以获得各焊点样本图像的目标特征向量，并且采用包括至少两个不同的损失函数的复合训练损失函数，根据获得的各焊点样本图像的目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，对卷积神经网络的网络参数进行调整。由于焊点样本图像中的缺陷存在细微差异，这样通过使卷积神经网络的网络参数根据焊点的缺陷的特点进行训练，并通过使用至少两个不同的损失函数对卷积神经网络的网络参数进行调整，可以提高卷积神经网络在不同缺陷类型之间的相关性，从而在将训练得到的卷积神经网络应用于焊点缺陷的检测方法中时，可以提高对不同缺陷类型的分类准确度，进而提高识别效率和准确度、降低人工成本。
附图说明
图1为本发明实施例提供的卷积神经网络的训练方法的流程图之一；
图2为本发明实施例提供的焊点样本图像的示意图；
图3为本发明实施例提供的检测方法的流程图；
图4为本发明实施例提供的射线成像系统的结构示意图；
图5为本发明实施例提供的采用射线成像系统生成的BGA芯片的初始图像的示意图；
图6为本发明实施例提供的搜索子图的示意图；
图7为本发明实施例提供的检测方法的具体流程图；
图8为本发明实施例提供的获取到的焊点图像的示意图。
具体实施方式
为了使本发明的目的，技术方案和优点更加清楚，下面结合附图，对本发明实施例提供的卷积神经网络的训练方法、焊点缺陷的检测方法及装置的具体实施方式进行详细地说明。应当理解，下面所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要注意的是，附图中各图形的大小和形状不反映其真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
由于依靠专业人员的经验进行肉眼识别判断存在一系列问题，因此可以采用卷积神经网络(Convolutional Neural Network，卷积神经网络)对具有焊点的电子装置(例如BGA芯片)中的焊点的焊点图像进行识别分类。卷积神经网络是深度学习模型之一，一般卷积神经网络由卷积层(包含非线性激活)和池化层交替组成，以使特征图的尺寸逐渐减小，特征图的层数逐渐增加，以提取特征向量，之后通过分类网络对提取的特征向量进行分类。为了更好地识别焊点图像，提高识别结果准确性，需要先对应用于检测焊点图像的卷积神经网络进行反复训练，以使卷积神经网络中的网络参数进行相应调整。卷积神经网络的训练方法一般包含数据的正向传播和误差的反向传播两部分。其中，数据的正向传播，一般为：将训练样本输入到卷积神经网络中，根据卷积神经网络的网络系数和操作形式，逐层计算出训练样本的目标特征向量。误差的反向传播，一般为：根据用于监督的Loss函数生成误差，并反向传播逐层更新卷积神经网络的网络参数。
本发明实施例提供一种卷积神经网络的训练方法，如图1所示，可以包括如下步骤：
S101、获取训练样本集合；其中，训练样本集合包括多个焊点样本图像。如图2所示的焊点样本图像，该焊点样本图像可以包括具有不同缺陷类型的焊点10所成的图像且焊点10位于焊点样本图像的中间区域。具体地，该焊点样本图像可以包括BGA芯片中具有不同缺陷类型的焊点10所成的图像。
一般在制作过程中可能会出现焊点气泡、焊点连桥、焊点尺寸不规则(或大或小)，冷焊等缺陷的焊点，因此，在具体实施时，焊点样本图像的缺陷类型可以包括：焊点气泡、焊点连桥、焊点尺寸不规则以及冷焊中之一或组合。这里仅是以上述缺陷进行举例说明，在实际应用中，缺陷类型还可以包括其他类型，在此不作限定。
一般在互联网或检测过程中会存在大量的具有不同缺陷类型的焊点的焊点图像，因此可以将这部分焊点图像作为焊点样本图像以使用于卷积神经网络的训练中。然而，由于上述样本数量较多以及计算机内存的限制，在对卷积神经网络进行训练时，可能不能一次性载入全部焊点样本图像，因此可以选择一定数量的焊点样本图像形成训练样本集合。并且为了对卷积神经网络进行较完善的训练，可以使训练样本集合中的每一个焊点样本图像中的焊点具有上述任意两种缺陷类型，以通过训练样本集合对卷积神经网络进行训练，提高训练稳定性。
S102、将训练样本集合输入卷积神经网络中，获得各焊点样本图像的目标特征向量。其中，卷积神经网络可以包括：AlexNet，VGG以及GoogleNet中的一种，以采用AlexNet，VGG以及GoogleNet中的一种作为主网络提取目标特征向量。具体地，通过GoogleNet提取的目标特征向量可以为2048维，通过AlexNet和VGG提取的目标特征向量可以为4096维。下面均以AlexNet作为主网络进行说明。
S103、根据获得的目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对卷积神经网络的网络参数进行调整；其中，复合训练损失函数包括至少两个不同的损失函数。具体地，在卷积神经网络中预先标定了与不同缺陷类型对应的缺陷标签，例如，焊点气泡对应的缺陷标签为第1类缺陷标签，焊点连桥对应的缺陷标签为第2类缺陷标签，焊点尺寸不规则对应的缺陷标签为第3类缺陷标签，冷焊对应的缺陷标签为第4类缺陷标签。并且，复合训练损失函数可以包括两个不同的损失函数。当然复合训练损失函数还可以包括三个不同的损失函数，这需要根据实际应用环境来设计确定，在此不作限定。
本发明实施例提供的卷积神经网络的训练方法，通过选用包括多个焊点样本图像的训练样本集合作为训练集，以获得各焊点样本图像的目标特征向量，并且采用包括至少两个不同的损失函数的复合训练损失函数，根据获得的各焊点样本图像的目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，对卷积神经网络的网络参数进行调整。由于焊点样本图像中的缺陷存在细微差异，这样通过使卷积神经网络的网络参数根据焊点的缺陷的特点进行训练，并通过使用至少两个不同的损失函数对卷积神经网络的网络参数进行调整，可以提高卷积神经网络在不同缺陷类型之间的相关性，从而在将训练得到的卷积神经网络应用于焊点缺陷的检测方法中时，可以提高对不同缺陷类型的分类准确度，进而提高识别效率和准确度、降低人工成本。
下面说明步骤S102的实施方式，在具体实施时，在本发明实施例中，步骤S102具体可以包括：
将训练样本集合输入卷积神经网络中，获得经过各卷积层后的各焊点样本图像对应的初始特征向量。其中，采用卷积神经网络得到初始特征向量的实施方式与现有技术中的方式基本相同，为本领域技术人员可以理解具有的，在此不作赘述。
至少将最后一层卷积层输出的初始特征向量依次输入第一全连接层和第二全连接层，获得各焊点样本图像的目标特征向量；其中，第一全连接层采用至少两个不同的激活函数，第二全连接层采用一个激活函数。进一步地，在具体实施时，第一全连接层采用Sigmoid函数和tanh函数作为激活函数，第二全连接层采用Sigmoid函数或relu函数作为激活函数。具体地，经过卷积神经网络的每个卷积层后可以得到三维特征向量W*H*C，其中W*H代表初始特征向量形成的特征图大小，W代表特征图的宽，H代表特征图的高，C代表输出三维特征向量W*H*C的卷积层的通道数。将三维特征向量W*H*C经过空间sum-pooling后得到C维特征向量后，经过Sigmoid函数和tanh函数作为激活函数的第一全连接层，以合并不同通道的作用。之后将经过第一全连接层后的C维特征向量输入第二全连接层以使C维特征向量乘以C通道对应的初始特征向量，以得到新的初始特征向量，即目标特征向量。
为了使每一个卷积层输出的初始特征向量均可以合并不同通道的影响，在具体实施时，在本发明实施例中，将各卷积层输出的初始特征向量依次输入第一全连接层和第二全连接层，获得各焊点样本图像的目标特征向量。
下面说明步骤S103的实施方式，在具体实施时，在本发明实施例中，步骤S103具体可以包括：
(1)将每一缺陷标签映射为缺陷标签对应的K维特征向量后进行转置，确定每一缺陷标签在转置后的K维特征向量；并将获得的各焊点样本图像的目标特征向量降维到各焊点样本图像对应的K维特征向量；以及根据获得的各焊点样本图像的目标特征向量，确定各焊点样本图像对应每一缺陷标签的目标预测概率。具体地，在具体实施时，可以采用文字向量化方法将每一缺陷标签映射为缺陷标签对应的K维特征向量。其中，K可以为正数且可以根据实际应用环境来确定，在此不作限定。并且，每一缺陷标签对应的K维特征向量可以是经归一化后的K维特征向量。并且，文字向量化方法例如可以为word2vec方法，或者也可以为其他可以实现本发明功能的方法，在此不作限定。并且，在具体实施时，可以将获得的各焊点样本图像的4096维目标特征向量经过全连接降维到对应的K维特征向量。并且，各焊点样本图像对应的K维特征向量可以是经归一化后的K维特征向量。当然，还可以采用其他方式将目标特征向量降维至K维特征向量，在此不作限定。
进一步地，根据获得的各焊点样本图像的目标特征向量，确定各焊点样本图像对应每一缺陷标签的目标预测概率，具体可以包括：
根据获得的目标特征向量确定各焊点样本图像对应每一缺陷标签的初始预测概率。具体地，在分类网络中的最后一层，根据公式
Figure GDA0003824190680000111
确定各焊点样本图像对应每一缺陷标签的初始预测概率，其中，M代表缺陷标签的类型的总数，m∈M，
Figure GDA0003824190680000112
代表焊点样本图像具有第m类缺陷标签的初始预测概率，δ代表作为卷积神经网络的网络参数的向量，δT代表网络参数转置后的向量，X代表目标特征向量。若缺陷类型包括焊点气泡、焊点连桥、焊点尺寸不规则以及冷焊时，则M可以为具有第1类缺陷标签、第2类缺陷标签、第3类缺陷标签以及第4类缺陷标签的集合。
根据确定出的各焊点样本图像对应每一缺陷标签的初始预测概率和预先确定的训练样本集合中具有相同两个缺陷标签的焊点样本图像的出现概率，确定各焊点样本图像对应每一缺陷标签的目标预测概率。其中，具有相同两个缺陷标签的焊点样本图像的出现概率指的是即具有第i类缺陷标签又具有第j类缺陷标签的焊点样本图像的出现概率，i∈M，j∈M且i≠j。
一般某一缺陷的初始预测概率会受到其余各缺陷的初始预测概率对其的影响，因为可以对得到的初始预测概率进行调整，以根据调整后的预测概率，即目标预测概率，根据复合训练损失函数对网络参数进行调整。在具体实施时，可以根据如下公式确定各焊点样本图像对应每一缺陷标签的目标预测概率
Figure GDA0003824190680000113
Figure GDA0003824190680000114
其中，
Figure GDA0003824190680000121
M代表缺陷标签的类型的总数，
Figure GDA0003824190680000122
代表焊点样本图像具有第m类缺陷标签的初始预测概率，
Figure GDA0003824190680000123
代表焊点样本图像具有第m类缺陷标签的目标预测概率，k∈M且k≠m，
Figure GDA0003824190680000124
代表焊点样本图像具有第k类缺陷标签的初始预测概率，N代表训练样本集合中所有焊点样本图像的总数，Q(m，k)代表预先确定的既具有第m类缺陷标签又具有第k类缺陷标签的焊点样本图像的出现概率，n(m，k)代表同时具有第m类缺陷标签和第k类缺陷标签的焊点样本图像的总数，α1∈(0.5,1)，α2∈(0,0.5)。
(2)根据各焊点样本图像对应每一缺陷标签的目标预测概率、每一缺陷标签在转置后的K维特征向量、以及各焊点样本图像对应的K维特征向量，通过复合训练损失函数对卷积神经网络的网络参数进行调整。
进一步地，在具体实施时，在复合训练损失函数包括两个不同的损失函数时，复合训练损失函数可以包括：Sigmoid cross entropy loss函数和Rank loss函数。在本发明实施例中，可以通过如下复合训练损失函数L对卷积神经网络的网络参数进行调整；
L＝Ls+λLr；
其中，λ代表权重系数用于权衡Ls和Lr的比重，Ls代表Sigmoid cross entropyloss函数，Lr代表Rank loss函数；
Sigmoid cross entropy loss函数Ls表示为：
Figure GDA0003824190680000125
其中，M代表缺陷标签的类型的总数，m∈M，
Figure GDA0003824190680000126
代表焊点样本图像具有第m类缺陷标签的目标预测概率，ym代表预先标定的焊点样本图像具有第m类缺陷标签的真实值；其中，在焊点样本图像具有第m类缺陷标签时，ym＝1；在焊点样本图像不具有第m类缺陷标签时，ym＝0。
Rank loss函数Lr表示为：
Figure GDA0003824190680000131
其中，M代表缺陷标签的类型的总数，Q(i，j)代表预先确定的既具有第i类缺陷标签又具有第j类缺陷标签的焊点样本图像的出现概率，
Figure GDA0003824190680000132
n(i，j)代表同时具有第i类缺陷标签和第j类缺陷标签的焊点样本图像的总数，N代表训练样本集合中所有焊点样本图像的总数，m0代表预先确定的参数，
Figure GDA0003824190680000133
代表第i类缺陷标签在转置后的K维特征向量，
Figure GDA0003824190680000134
代表第j类缺陷标签在转置后的K维特征向量，Z代表各焊点样本图像对应的K维特征向量。
一般Ls和Lr共享卷积神经网络的主干网络，在具体实施时，可以通过Ls和Lr同时对卷积神经网络进行训练，或者也可以通过固定Ls和Lr中的一个函数的参数不变，通过另一个函数对卷积神经网络进行训练，然后在迭代一定次数后交替训练，通过函数交替以更好的训练卷积神经网络。在本发明实施例中，通过如下复合训练损失函数L对卷积神经网络的网络参数进行调整，具体可以包括：
固定复合训练损失函数L的Ls和Lr中的一个损失函数的参数，通过另一个损失函数对卷积神经网络的网络参数进行调整，在迭代预设次数后将上一次对卷积神经网络的网络参数进行调整的损失函数的参数固定，通过上一次参数固定的损失函数再次对卷积神经网络的网络参数进行调整。具体地，控制Ls的参数固定不变，通过Lr对卷积神经网络的网络参数进行调整，在迭代预设次数后将Lr的参数固定不变，通过Ls再次对卷积神经网络的网络参数进行调整。或者，控制Lr的参数固定不变，通过Ls对卷积神经网络的网络参数进行调整，在迭代预设次数后将Ls的参数固定不变，通过Lr再次对卷积神经网络的网络参数进行调整。其中，预设次数可以根据经验获得，或者根据实际应用环境来设计确定，在此不作限定。
下面以卷积神经网络为AlexNet为例，通过具体实施例对本发明实施例提供的训练方法进行详细说明。但读者应知，其具体训练方法不局限于此。
本发明实施例提供的训练方法可以包括如下步骤：
(1)获取训练样本集合；其中，训练样本集合包括焊点气泡、焊点连桥、焊点尺寸不规则以及冷焊中的任意两种缺陷类型的焊点样本图像。
(2)将训练样本集合输入AlexNet中，获得经过各卷积层后的各焊点样本图像对应的4096维初始特征向量。并将各卷积层输出的4096维初始特征向量依次输入第一全连接层和第二全连接层，获得各焊点样本图像的目标特征向量。其中，第一全连接层采用Sigmoid函数和tanh函数作为激活函数，以合并不同通道的影响，第二全连接层采用Sigmoid函数作为激活函数。
(3)采用word2vec方法将每一缺陷标签映射为缺陷标签对应的K维特征向量后进行转置，确定每一缺陷标签在转置后的且归一化后的K维特征向量；并将获得的各焊点样本图像的4096维目标特征向量降维到各焊点样本图像对应的归一化后的K维特征向量。
并且，根据
Figure GDA0003824190680000141
确定各焊点样本图像对应每一缺陷标签的初始预测概率，以及根据如下公式确定各焊点样本图像对应每一缺陷标签的目标预测概率
Figure GDA0003824190680000142
为：
Figure GDA0003824190680000143
(4)通过复合训练损失函数L：L＝Ls+λLr对AlexNet的网络参数进行调整。其中，控制Ls的参数固定不变，通过Lr对AlexNet的网络参数进行调整，在迭代预设次数后将Lr的参数固定不变，通过Ls再次对卷积神经网络的网络参数进行调整。
基于同一发明构思，本发明实施例还提供了一种焊点缺陷的检测方法，如图3所示，可以包括如下步骤：
S301、获取具有焊点的电子装置的焊点图像；其中，焊点图像包括电子装置中的一个焊点所成的图像且焊点位于焊点图像的中间区域；
S302、采用卷积神经网络提取焊点图像的目标特征向量；其中，卷积神经网络通过本发明实施例提供的上述训练方法训练得到；
S303、根据提取的目标特征向量，确定焊点图像对应每一缺陷标签的初始预测概率；其中，仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，执行步骤S304；否则执行步骤S305；
S304、确定电子装置的焊点无缺陷；
S305、确定电子装置的焊点有缺陷。
本发明实施例提供的焊点缺陷的检测方法，通过采用上述训练方法得到的卷积神经网络提取焊点图像的目标特征向量，再根据目标特征向量确定焊点图像对应每一缺陷标签的初始预测概率，从而可以提高初始预测概率的准确度。这样仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，可以确定电子装置的焊点无缺陷，即电子装置合格。在至少一个缺陷标签的初始预测概率大于预设阈值时，可以确定电子装置的焊点有缺陷，即电子装置不合格，进而可以提高检测的准确性。
在实际应用中，电子装置可以包括BGA芯片。下面均以电子装置为BGA芯片为例进行说明。一般在对BGA芯片进行检测时，通常需要人进入操作间把BGA芯片放置在载物台上。如果批量制作BGA芯片时，由于BGA芯片的数量较大，且BGA芯片的放置位置是固定的，导致需要大量人工进行操作。在具体实施时，在本发明实施例中，在获取BGA芯片的焊点图像之前，还可以包括：控制机器手臂将BGA芯片放置到用于获取BGA芯片的焊点图像的载物台上。这样使用机器手臂的方法可以节省人工和时间，提高智能化，也使人避免接受不必要的辐射影响，保障安全。具体地，由于BGA芯片的占用空间较小，因此可以预先制备一个架子，并在该架子上隔出多个用于放置BGA芯片的小格子，将BGA芯片预先摆放在小格子中，预先设置好每个小格子到载物台的固定路径，写入控制程序中，以控制机器手臂可根据设置好的路径抓取BGA芯片。
进一步地，为了节省人工，提高智能化，在确定BGA芯片的焊点无缺陷后，控制机器手臂将BGA芯片放置到预先设定的合格区域中；在确定BGA芯片的焊点有缺陷后，控制机器手臂将BGA芯片放置到预先设定的不合格区域中。其中，载物台可以是转台。这样使用机器手臂的方法可以节省人工和时间，提高智能化，也使人避免接受不必要的辐射影响，保障安全。
一般在图像处理领域，感兴趣区域(Region of Interest，ROI)是从图像中选择的一个图像区域，以便对该选择的图像区域进行进一步处理，从而可以减少处理时间，增加精度。因此可以采用ROI定位获取焊点区域。进一步地，在具体实施时，在本发明实施例中，获取具有焊点的电子装置的焊点图像，具体可以包括：
获取电子装置的初始图像；其中，可以采用射线成像方法获取BGA芯片的初始图像；
利用感兴趣区域定位获取初始图像中的所有焊点所在的焊点区域；
采用阈值分割方法对焊点区域中的初始图像进行二值化后，确定每个焊点的包围盒；其中一个包围盒形成一个焊点图像。
图像在成像和传输的过程中可能受到噪声的影响，导致图像质量下降。并且由于采集图像环境和芯片本身特性的影响，可能会造成图像模糊，对比度不高。在具体实施时，在本发明实施例中，在获取BGA芯片的初始图像之后，在利用ROI定位获取初始图像中的所有焊点所在的焊点区域之前，还可以包括：对初始图像进行预处理。其中，该预处理操作具体可以包括：去噪和增强。去噪方法可以根据射线成像特点采用中值滤波或高斯滤波。针对对比度不高情况，使用灰度线性变换调节显示，非锐化掩模图像进行增强。
在具体实施时，可以采用射线成像系统以通过射线成像方法获取BGA芯片的初始图像。其中，如图4所示，射线成像系统可以包括：射线源410、控制扫描模块420、探测器430以及计算机系统440。其中，控制扫描系统420可以控制射线源410发出射线束以及控制被检物450(即BGA芯片)移动或旋转；探测器420接收扫描数据，并传送到计算机系统440生成BGA芯片的初始图像。生成的BGA芯片的图像如图5所示，其中黑色原点即为焊点对应的图像。其中，射线源410发出的射线束可以为的X线束、γ射线等。
一般可以采用灰度值信息的归一化互相关匹配算法把图像中的ROI定位出以完成分割。在具体实施时，利用ROI定位获取初始图像中的所有焊点所在的焊点区域，具体可以包括：将BGA芯片分为匹配区域A和焊点区域B；其中，匹配区域A为BGA芯片中具有唯一性特征的区域，以作为模板进行匹配。焊点区域B即为所有焊点所在的区域。并且，匹配区域A和焊点区域B具有预先设定的相对位置关系，即确定了匹配区域A，那么焊点区域B就可以直接的确定出。将BGA芯片的初始图像作为匹配图像，将预先设定的模板图像在匹配图像上进行平移，如图6所示，匹配图像的尺寸为Nx*Ny，模板图像T的尺寸为Mx*My。模板图像覆盖下的那块匹配图像为搜索子图Sa,b，(a，b)代表该搜索子图Sa,b左上角像素点在匹配图像中的坐标，称为参考点。并且，1≤a≤Nx-Mx+1，1≤b≤Ny-My+1。搜索子图Sa,b与模板图像的归一化相关系数R(a，b)为：
Figure GDA0003824190680000171
其中，R(a,b)越大，代表相似性越大。T代表模板图像，S代表匹配图像。上述公式中的分子位置的项代表搜索子图和模板图像的互相关，随(a，b)的改变而改变，分母的第二项表示的是模板图像的总能量，第一项表示的是匹配图像S的总能量。当T和Sa,b匹配时，R(a，b)即为最大值。将最大值处的匹配图像中的位置确定为匹配区域A，根据预先设定的匹配区域A与焊点区域B之间的对应关系，可以获取初始图像中的所有焊点所在的焊点区域B，该焊点区域B即为ROI定位中的ROI区域。
由于焊点区域B中均为焊点所成的图像，从而可以采用阈值分割方法对焊点区域中的初始图像进行二值化后，即得到焊点和背景根据灰度值明显区域的图像后，确定每一个焊点对应的图像的包围盒，以使一个包围盒形成一个焊点图像。其中焊点对应的图像的包围盒指的是将一个焊点所成的图像包容起来的一个封闭空间，以将焊点放置在简单的包围盒中，用简单的包围盒形状来近似代替复杂几何体的形状，可以提高几何运算的效率。并且，包围盒中的焊点的图像f(x,y)满足公式f(x,y)＝fb(x,y)&&f0(x,y)；其中，fb(x,y)代表焊点区域中的初始图像进行二值化后的图像，f0(x,y)代表焊点区域中的初始图像。从而将该包围盒中的焊点的图像f(x,y)输入卷积神经网络中，进行特征提取。
下面通过具体实施例对本发明实施例提供的检测方法进行详细说明。但读者应知，其具体训练方法不局限于此。
如图7所示，本发明实施例提供的检测方法可以包括如下步骤：
S701、控制机械手臂将BGA芯片放置到载物台上。
S702、控制扫描系统控制射线源发出射线束以及控制BGA芯片旋转；探测器接收扫描数据并传送到计算机系统以生成BGA芯片的初始图像。
S703、利用ROI定位获取初始图像中的所有焊点所在的焊点区域。
S704、采用阈值分割方法对焊点区域中的初始图像进行二值化后，确定每个焊点的包围盒；其中一个包围盒形成一个焊点图像。如图8所示，焊点10位于焊点图像的中间区域。
S705、采用卷积神经网络提取焊点图像的目标特征向量。该过程与训练方法中获得各焊点样本图像的目标特征向量的过程相同，在此不作赘述。
S706、根据提取的目标特征向量，确定焊点图像对应每一缺陷标签的初始预测概率。具体地，在分类网络中的最后一层，根据公式
Figure GDA0003824190680000181
确定该焊点图像对应每一缺陷标签的初始预测概率。在确定仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，执行步骤S707；否则，执行步骤S708。
S707、确定BGA芯片的焊点无缺陷，并控制机器手臂将BGA芯片放置到预先设定的合格区域中。
S708、确定BGA芯片的焊点有缺陷，并控制机器手臂将BGA芯片放置到预先设定的不合格区域中。
由于步骤S701至步骤S708需要一定的时间，因此在完成步骤S707或步骤S708后，可以输出控制信号以控制步骤S701进行下一BGA芯片的检测工作。
基于同一发明构思，本发明实施例还提供了一种卷积神经网络的训练装置，该训练装置解决问题的原理与前述训练方法相似，因此该训练装置的实施可以参见前述训练方法的实施，重复之处在此不再赘述。
具体地，本发明实施例还提供了一种卷积神经网络的训练装置，可以包括：
样本获取模块，用于获取训练样本集合；其中，所述训练样本集合包括多个焊点样本图像，所述焊点样本图像包括具有不同缺陷类型的焊点所成的图像且所述焊点位于所述焊点样本图像的中间区域；
目标特征向量确定模块，用于将所述训练样本集合输入所述卷积神经网络中，获得各所述焊点样本图像的目标特征向量；
调整模块，用于根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整；其中，所述复合训练损失函数包括至少两个不同的损失函数。
进一步地，在具体实施时，所述复合训练损失函数包括两个不同的损失函数。在本发明实施例中，调整模块具体用于将每一所述缺陷标签映射为所述缺陷标签对应的K维特征向量后进行转置，确定每一所述缺陷标签在转置后的K维特征向量；并将获得的各所述焊点样本图像的目标特征向量降维到各所述焊点样本图像对应的K维特征向量；以及根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率；以及根据各所述焊点样本图像对应每一所述缺陷标签的目标预测概率、每一所述缺陷标签在转置后的K维特征向量、以及各所述焊点样本图像对应的K维特征向量，通过所述复合训练损失函数对所述卷积神经网络的网络参数进行调整。进一步地，所述根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率，具体可以包括：根据获得的所述目标特征向量确定各所述焊点样本图像对应每一所述缺陷标签的初始预测概率；以及根据确定出的各所述焊点样本图像对应每一所述缺陷标签的初始预测概率和预先确定的所述训练样本集合中具有相同两个缺陷标签的焊点样本图像的出现概率，确定各所述焊点样本图像对应每一所述缺陷标签的目标预测概率。
在具体实施时，通过如下复合训练损失函数L对所述卷积神经网络的网络参数进行调整；
L＝Ls+λLr；
其中，λ代表权重系数，Ls代表Sigmoid cross entropy loss函数，Lr代表Rankloss函数；
Sigmoid cross entropy loss函数Ls表示为：
Figure GDA0003824190680000201
其中，M代表所述缺陷标签的类型的总数，m∈M且为整数，
Figure GDA0003824190680000202
代表所述焊点样本图像具有第m类缺陷标签的目标预测概率，ym代表预先标定的所述焊点样本图像具有第m类缺陷标签的真实值；
Rank loss函数Lr表示为：
Figure GDA0003824190680000203
其中，M代表所述缺陷标签的类型的总数，Q(i，j)代表预先确定的既具有第i类缺陷标签又具有第j类缺陷标签的焊点样本图像的出现概率，m0代表预先确定的参数，
Figure GDA0003824190680000204
代表第i类缺陷标签在转置后的K维特征向量，
Figure GDA0003824190680000205
代表第j类缺陷标签在转置后的K维特征向量，Z代表各所述焊点样本图像对应的K维特征向量。进一步地，控制所述复合训练损失函数L的Ls和Lr中的一个损失函数的参数固定，通过另一个损失函数对卷积神经网络的网络参数进行调整，在迭代预设次数后将上一次对卷积神经网络的网络参数进行调整的损失函数的参数固定，通过上一次参数固定的损失函数再次对卷积神经网络的网络参数进行调整。
在具体实施时，目标特征向量确定模块具体用于将所述训练样本集合输入所述卷积神经网络中，获得经过各卷积层后的各所述焊点样本图像对应的初始特征向量；以及至少将最后一层卷积层输出的初始特征向量依次输入第一全连接层和第二全连接层，获得各所述焊点样本图像的目标特征向量；其中，所述第一全连接层采用至少两个不同的激活函数，所述第二全连接层采用一个激活函数。其中，所述第一全连接层采用Sigmoid函数和tanh函数作为激活函数，所述第二全连接层采用Sigmoid函数或relu函数作为激活函数。进一步地，将各卷积层输出的初始特征向量依次输入所述第一全连接层和所述第二全连接层，获得各所述焊点样本图像的目标特征向量。
在具体实施时，本发明实施例提供的训练装置中的各模块，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。这需要根据实际应用环境来设计确定，在此不作限定。
基于同一发明构思，本发明实施例还提供了一种焊点缺陷的检测装置，该检测装置解决问题的原理与前述检测方法相似，因此该检测装置的实施可以参见前述检测方法的实施，重复之处在此不再赘述。
具体地，本发明实施例还提供了一种焊点缺陷的检测装置，可以包括：
图像获取模块，用于获取具有焊点的电子装置的焊点图像；其中，所述焊点图像包括所述电子装置中的一个焊点所成的图像且所述焊点位于所述焊点图像的中间区域；
提取模块，用于采用卷积神经网络提取焊点图像的目标特征向量；其中，所述卷积神经网络通过权利要求1-8任一项所述的训练方法训练得到；
初始预测概率确定模块，用于根据提取的所述目标特征向量，确定所述焊点图像对应每一缺陷标签的初始预测概率；
缺陷确定模块，用于仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，确定所述电子装置的焊点无缺陷；否则，确定所述电子装置的焊点有缺陷。
在具体实施时，图像获取模块具体用于获取所述电子装置的初始图像；利用ROI定位获取所述初始图像中的所有焊点所在的焊点区域；采用阈值分割方法对所述焊点区域中的初始图像进行二值化后，确定每个焊点的包围盒；其中一个所述包围盒形成一个所述焊点图像。
在具体实施时，还可以包括：预处理模块，用于在所述获取所述电子装置的初始图像之后，在所述利用ROI定位获取所述初始图像中的所有焊点所在的焊点区域之前，对所述初始图像进行预处理。
在具体实施时，还可以包括：机器手臂控制模块，用于在所述获取所述电子装置的焊点图像之前，控制机器手臂将所述电子装置放置到用于获取所述电子装置的焊点图像的载物台上。
在具体实施时，在本发明实施例中，缺陷确定模块具体可以用于在确定所述电子装置的焊点无缺陷后，控制机器手臂将所述电子装置放置到预先设定的合格区域中；在确定所述电子装置的焊点有缺陷后，控制机器手臂将所述电子装置放置到预先设定的不合格区域中。
在具体实施时，本发明实施例提供的检测装置中的各模块，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。这需要根据实际应用环境来设计确定，在此不作限定。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的上述方法。
在具体实施时，本发明实施例提供的计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等。
基于同一发明构思，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行程序时实现本发明实施例提供的上述方法。
本发明实施例提供的卷积神经网络的训练方法、焊点缺陷的检测方法及装置，通过选用包括多个焊点样本图像的训练样本集合作为训练集，以获得各焊点样本图像的目标特征向量，并且采用包括至少两个不同的损失函数的复合训练损失函数，根据获得的各焊点样本图像的目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，对卷积神经网络的网络参数进行调整。由于焊点样本图像中的缺陷存在细微差异，这样通过使卷积神经网络的网络参数根据焊点的缺陷的特点进行训练，并通过使用至少两个不同的损失函数对卷积神经网络的网络参数进行调整，可以提高卷积神经网络在不同缺陷类型之间的相关性，从而在将训练得到的卷积神经网络应用于焊点缺陷的检测方法中时，可以提高对不同缺陷类型的分类准确度，进而提高识别效率和准确度、降低人工成本。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种卷积神经网络的训练方法，其特征在于，包括：
获取训练样本集合；其中，所述训练样本集合包括多个焊点样本图像，所述焊点样本图像包括具有不同缺陷类型的焊点所成的图像且所述焊点位于所述焊点样本图像的中间区域；
将所述训练样本集合输入卷积神经网络中，获得各所述焊点样本图像的目标特征向量；
根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整；其中，所述复合训练损失函数包括至少两个不同的损失函数；
其中，所述根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整，具体包括：
将每一所述缺陷标签映射为所述缺陷标签对应的K维特征向量后进行转置，确定每一所述缺陷标签在转置后的K维特征向量；并将获得的各所述焊点样本图像的目标特征向量降维到各所述焊点样本图像对应的K维特征向量；以及根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率；
根据各所述焊点样本图像对应每一所述缺陷标签的目标预测概率、每一所述缺陷标签在转置后的K维特征向量、以及各所述焊点样本图像对应的K维特征向量，通过所述复合训练损失函数对所述卷积神经网络的网络参数进行调整；
其中所述根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率，具体包括：
根据获得的所述目标特征向量确定各所述焊点样本图像对应每一所述缺陷标签的初始预测概率；
根据确定出的各所述焊点样本图像对应每一所述缺陷标签的初始预测概率和预先确定的所述训练样本集合中具有相同两个缺陷标签的焊点样本图像的出现概率，确定各所述焊点样本图像对应每一所述缺陷标签的目标预测概率。
2.如权利要求1所述的训练方法，其特征在于，所述复合训练损失函数包括两个不同的损失函数。
3.如权利要求2所述的训练方法，其特征在于，通过如下复合训练损失函数L对所述卷积神经网络的网络参数进行调整；
L＝Ls+λLr；
其中，λ代表权重系数，Ls代表Sigmoid cross entropy loss函数，Lr代表Rank loss函数；
Sigmoid cross entropy loss函数Ls表示为：
Figure FDA0003853030820000021
其中，M代表所述缺陷标签的类型的总数，m∈M且为整数，
Figure FDA0003853030820000022
代表所述焊点样本图像具有第m类缺陷标签的目标预测概率，ym代表预先标定的所述焊点样本图像具有第m类缺陷标签的真实值；
Rank loss函数Lr表示为：
Figure FDA0003853030820000023
其中，M代表所述缺陷标签的类型的总数，Q(i，j)代表预先确定的既具有第i类缺陷标签又具有第j类缺陷标签的焊点样本图像的出现概率，m0代表预先确定的参数，
Figure FDA0003853030820000024
代表第i类缺陷标签在转置后的K维特征向量，
Figure FDA0003853030820000025
代表第j类缺陷标签在转置后的K维特征向量，Z代表各所述焊点样本图像对应的K维特征向量。
4.如权利要求3所述的训练方法，其特征在于，所述通过如下复合训练损失函数L对所述卷积神经网络的网络参数进行调整，具体包括：
固定所述复合训练损失函数L的Ls和Lr中的一个损失函数的参数，通过另一个损失函数对所述卷积神经网络的网络参数进行调整，在迭代预设次数后将上一次对所述卷积神经网络的网络参数进行调整的损失函数的参数固定，通过上一次参数固定的损失函数再次对所述卷积神经网络的网络参数进行调整。
5.如权利要求1所述的训练方法，其特征在于，将所述训练样本集合输入所述卷积神经网络中，获得各所述焊点样本图像的目标特征向量，具体包括：
将所述训练样本集合输入所述卷积神经网络中，获得经过各卷积层后的各所述焊点样本图像对应的初始特征向量；
至少将最后一层卷积层输出的初始特征向量依次输入第一全连接层和第二全连接层，获得各所述焊点样本图像的目标特征向量；其中，所述第一全连接层采用至少两个不同的激活函数，所述第二全连接层采用一个激活函数。
6.如权利要求5所述的训练方法，其特征在于，所述第一全连接层采用Sigmoid函数和tanh函数作为激活函数，所述第二全连接层采用Sigmoid函数或relu函数作为激活函数。
7.如权利要求5所述的训练方法，其特征在于，将各卷积层输出的初始特征向量依次输入所述第一全连接层和所述第二全连接层，获得各所述焊点样本图像的目标特征向量。
8.一种焊点缺陷的检测方法，其特征在于，包括：
获取具有焊点的电子装置的焊点图像；其中，所述焊点图像包括所述电子装置中的一个焊点所成的图像且所述焊点位于所述焊点图像的中间区域；
采用卷积神经网络提取焊点图像的目标特征向量；其中，所述卷积神经网络通过权利要求1-7任一项所述的训练方法训练得到；
根据提取的所述目标特征向量，确定所述焊点图像对应每一缺陷标签的初始预测概率；
仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，确定所述电子装置的焊点无缺陷；否则，确定所述电子装置的焊点有缺陷。
9.如权利要求8所述的检测方法，其特征在于，所述获取具有焊点的电子装置的焊点图像，具体包括：
获取所述电子装置的初始图像；
利用感兴趣区域定位获取所述初始图像中的所有焊点所在的焊点区域；
采用阈值分割方法对所述焊点区域中的初始图像进行二值化后，确定每个焊点的包围盒；其中一个所述包围盒形成一个所述焊点图像。
10.如权利要求9所述的检测方法，其特征在于，在所述获取所述电子装置的初始图像之后，在所述利用感兴趣区域定位获取所述初始图像中的所有焊点所在的焊点区域之前，还包括：
对所述初始图像进行预处理。
11.如权利要求8所述的检测方法，其特征在于，在所述获取所述电子装置的焊点图像之前，还包括：控制机器手臂将所述电子装置放置到用于获取所述电子装置的焊点图像的载物台上。
12.如权利要求8所述的检测方法，其特征在于，在确定所述电子装置的焊点无缺陷后，控制机器手臂将所述电子装置放置到预先设定的合格区域中；
在确定所述电子装置的焊点有缺陷后，控制机器手臂将所述电子装置放置到预先设定的不合格区域中。
13.一种卷积神经网络的训练装置，其特征在于，包括：
样本获取模块，用于获取训练样本集合；其中，所述训练样本集合包括多个焊点样本图像，所述焊点样本图像包括具有不同缺陷类型的焊点所成的图像且所述焊点位于所述焊点样本图像的中间区域；
目标特征向量确定模块，用于将所述训练样本集合输入卷积神经网络中，获得各所述焊点样本图像的目标特征向量；
调整模块，用于根据获得的所述目标特征向量和预先标定的不同缺陷类型对应的缺陷标签，通过复合训练损失函数对所述卷积神经网络的网络参数进行调整；其中，所述复合训练损失函数包括至少两个不同的损失函数；
所述调整模块，具体用于将每一所述缺陷标签映射为所述缺陷标签对应的K维特征向量后进行转置，确定每一所述缺陷标签在转置后的K维特征向量；并将获得的各所述焊点样本图像的目标特征向量降维到各所述焊点样本图像对应的K维特征向量；以及根据获得的各所述焊点样本图像的目标特征向量，确定各所述焊点样本图像对应每一缺陷标签的目标预测概率；根据各所述焊点样本图像对应每一所述缺陷标签的目标预测概率、每一所述缺陷标签在转置后的K维特征向量、以及各所述焊点样本图像对应的K维特征向量，通过所述复合训练损失函数对所述卷积神经网络的网络参数进行调整；
所述调整模块，具体用于根据获得的所述目标特征向量确定各所述焊点样本图像对应每一所述缺陷标签的初始预测概率；根据确定出的各所述焊点样本图像对应每一所述缺陷标签的初始预测概率和预先确定的所述训练样本集合中具有相同两个缺陷标签的焊点样本图像的出现概率，确定各所述焊点样本图像对应每一所述缺陷标签的目标预测概率。
14.一种焊点缺陷的检测装置，其特征在于，包括：
图像获取模块，用于获取具有焊点的电子装置的焊点图像；其中，所述焊点图像包括所述电子装置中的一个焊点所成的图像且所述焊点位于所述焊点图像的中间区域；
提取模块，用于采用卷积神经网络提取焊点图像的目标特征向量；其中，所述卷积神经网络通过权利要求1-7任一项所述的训练方法训练得到；
初始预测概率确定模块，用于根据提取的所述目标特征向量，确定所述焊点图像对应每一缺陷标签的初始预测概率；
缺陷确定模块，用于仅在对应每一缺陷标签的初始预测概率均不大于预设阈值时，确定所述电子装置的焊点无缺陷；否则，确定所述电子装置的焊点有缺陷。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-12任一项所述的方法。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-12任一项所述的方法。
CN201811025886.XA 2018-09-04 2018-09-04 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 Active CN110930347B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811025886.XA CN110930347B (zh) 2018-09-04 2018-09-04 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
PCT/CN2019/081005 WO2020048119A1 (en) 2018-09-04 2019-04-02 Method and apparatus for training a convolutional neural network to detect defects
EP19848922.1A EP3847444A4 (en) 2018-09-04 2019-04-02 PROCESS AND APPARATUS FOR LEARNING A CONVOLUTIVE NEURONAL NETWORK ALLOWING FAULT DETECTION
US16/486,025 US11222234B2 (en) 2018-09-04 2019-04-02 Method and apparatus for training a convolutional neural network to detect defects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025886.XA CN110930347B (zh) 2018-09-04 2018-09-04 卷积神经网络的训练方法、焊点缺陷的检测方法及装置

Publications (2)

Publication Number Publication Date
CN110930347A CN110930347A (zh) 2020-03-27
CN110930347B true CN110930347B (zh) 2022-12-27

Family

ID=69721589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025886.XA Active CN110930347B (zh) 2018-09-04 2018-09-04 卷积神经网络的训练方法、焊点缺陷的检测方法及装置

Country Status (4)

Country Link
US (1) US11222234B2 (zh)
EP (1) EP3847444A4 (zh)
CN (1) CN110930347B (zh)
WO (1) WO2020048119A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523004B2 (en) * 2018-09-21 2022-12-06 Hewlett-Packard Development Company, L.P. Part replacement predictions using convolutional neural networks
CN111766253A (zh) * 2019-03-15 2020-10-13 鸿富锦精密电子（成都）有限公司 锡膏印刷品质检测方法、数据处理装置及计算机存储介质
CN112557416A (zh) * 2019-09-09 2021-03-26 英业达科技有限公司 使用深度学习模型检测焊点是否桥接的系统及方法
WO2021098585A1 (en) * 2019-11-22 2021-05-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image search based on combined local and global information
US20210166058A1 (en) * 2019-12-03 2021-06-03 Ping An Technology (Shenzhen) Co., Ltd. Image generation method and computing device
CN111429415B (zh) * 2020-03-18 2020-12-08 东华大学 基于网络协同剪枝的产品表面缺陷高效检测模型构建方法
CN111539931A (zh) * 2020-04-21 2020-08-14 三固（厦门）科技有限公司 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN111476315B (zh) * 2020-04-27 2023-05-05 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111665066B (zh) * 2020-05-18 2021-06-11 东华大学 基于卷积神经网络的设备故障自适应上下预警界生成方法
US11423577B2 (en) * 2020-07-08 2022-08-23 International Business Machines Corporation Printed circuit board assembly defect detection
CN111860542A (zh) * 2020-07-22 2020-10-30 海尔优家智能科技（北京）有限公司 用于识别物品类别的方法及装置、电子设备
CN112102252B (zh) * 2020-08-21 2023-11-28 北京无线电测量研究所 一种微带天线焊点外观缺陷的检测方法及装置
CN112014404A (zh) * 2020-08-27 2020-12-01 Oppo（重庆）智能科技有限公司 组件检测方法、装置、系统、电子设备及存储介质
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN111882557B (zh) * 2020-09-28 2021-01-05 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN112348840A (zh) * 2020-10-19 2021-02-09 江苏师范大学 基于像素区域生长的qfp芯片引脚缺陷判别方法
CN112598642A (zh) * 2020-12-22 2021-04-02 苏州睿信诺智能科技有限公司 一种高速高精度视觉检测方法
CN112674295A (zh) * 2020-12-23 2021-04-20 北京信息科技大学 一种海参泡发设备及泡发方法
CN112733884A (zh) * 2020-12-23 2021-04-30 树根互联技术有限公司 焊接缺陷识别模型训练方法、装置和计算机终端
CN112651964A (zh) * 2021-01-10 2021-04-13 烟台大学 一种基于深度学习的目标检测方法
WO2022165278A1 (en) * 2021-01-29 2022-08-04 Illumina, Inc. Deep learning-based root cause analysis of process cycle images
CN112884036A (zh) * 2021-02-09 2021-06-01 北京京能能源技术研究有限责任公司 一种锅炉受热面异常图像识别方法、标记方法及系统
CN112950560A (zh) * 2021-02-20 2021-06-11 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 电子元器件缺陷检测方法、装置及系统
US11841333B1 (en) * 2021-03-11 2023-12-12 United States Of America As Represented By The Administrator Of Nasa System and method for crack detection
CN113283288B (zh) * 2021-04-08 2023-08-18 中广核检测技术有限公司 基于lstm-cnn的核电站蒸发器涡流信号类型识别方法
CN113052832A (zh) * 2021-04-19 2021-06-29 广东电网有限责任公司肇庆供电局 一种输电线路的金具锈蚀图像检测方法及装置
CN113505657B (zh) * 2021-06-18 2022-05-03 东风汽车集团股份有限公司 一种焊点质量检测方法及装置
CN113378792B (zh) * 2021-07-09 2022-08-02 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113807400B (zh) * 2021-08-17 2024-03-29 西安理工大学 一种基于对抗攻击的高光谱图像分类方法、系统和设备
CN113837225A (zh) * 2021-08-25 2021-12-24 佛山科学技术学院 一种基于深度学习的缺陷检测3d打印装置及方法
CN113838034B (zh) * 2021-09-27 2023-11-21 力度工业智能科技(苏州)有限公司 基于机器视觉的糖果包装表面缺陷快速检测方法
CN114359193B (zh) * 2021-12-23 2023-06-30 华中科技大学 一种基于超声相控阵成像的缺陷分类方法及系统
CN114511503A (zh) * 2021-12-30 2022-05-17 广西慧云信息技术有限公司 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114092472B (zh) * 2022-01-19 2022-05-03 宁波海棠信息技术有限公司 一种缺陷检测中不确定样本的检测方法、装置及介质
CN115294376A (zh) * 2022-04-24 2022-11-04 西京学院 基于超声波形与超声图像特征融合的焊缝缺陷检测方法
CN114742811B (zh) * 2022-04-27 2024-03-29 桂林电子科技大学 一种基于改进Yolox的SMT产线焊点缺陷快速检测方法及系统
CN114549997B (zh) * 2022-04-27 2022-07-29 清华大学 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN114708267B (zh) * 2022-06-07 2022-09-13 浙江大学 一种输电线路上杆塔拉线腐蚀缺陷图像检测处理方法
CN114742832B (zh) * 2022-06-13 2022-09-09 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN114782757A (zh) * 2022-06-21 2022-07-22 北京远舢智能科技有限公司 香烟缺陷检测模型训练方法、装置、电子设备及存储介质
CN114820598B (zh) * 2022-06-24 2023-05-16 苏州康代智能科技股份有限公司 Pcb缺陷检测系统及pcb缺陷检测方法
CN115326809B (zh) * 2022-08-02 2023-06-06 山西省智慧交通研究院有限公司 一种隧道衬砌表观裂纹检测方法及检测装置
CN115359054B (zh) * 2022-10-19 2023-04-18 福建亿榕信息技术有限公司 一种基于伪缺陷空间生成的电力设备缺陷检测方法
CN115578365B (zh) * 2022-10-26 2023-06-20 西南交通大学 一种齿轨铁路相邻齿条齿距检测方法及设备
CN115713653B (zh) * 2022-11-10 2023-10-10 中国铁塔股份有限公司黑龙江省分公司 塔桅结构破损位置图像识别方法
CN115578377B (zh) * 2022-11-14 2023-04-07 成都数之联科技股份有限公司 一种面板缺陷的检测方法、训练方法、装置、设备及介质
CN116481461B (zh) * 2022-11-24 2023-09-22 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法
CN115546211B (zh) * 2022-11-29 2023-04-11 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质
CN115861246B (zh) * 2022-12-09 2024-02-27 唐山旭华智能科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN115810005B (zh) * 2022-12-21 2024-04-02 广州科盛隆纸箱包装机械有限公司 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质
CN115908407B (zh) * 2023-01-05 2023-05-02 佰聆数据股份有限公司 基于红外图像温度值的电力设备缺陷检测方法及装置
CN115713533B (zh) * 2023-01-10 2023-06-06 佰聆数据股份有限公司 基于机器视觉的电力设备表面缺陷检测方法及装置
CN116466667A (zh) * 2023-04-20 2023-07-21 成都工业职业技术学院 一种零件加工的智能控制方法、系统及存储介质
CN116612120B (zh) * 2023-07-20 2023-10-10 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法
CN116758088B (zh) * 2023-08-22 2023-12-22 深圳市立可自动化设备有限公司 一种bga植球的芯片检测方法及植球系统
CN116908314A (zh) * 2023-09-08 2023-10-20 中国电力科学研究院有限公司 一种用于电缆附件铅封缺陷的超声波检测方法及系统
CN117333491B (zh) * 2023-12-01 2024-03-15 北京航空航天大学杭州创新研究院 一种钢材表面缺陷检测方法及系统
CN117435980B (zh) * 2023-12-21 2024-04-12 国网浙江省电力有限公司 基于小样本学习的海岛光伏智能运维状态分析方法
CN117607155B (zh) * 2024-01-24 2024-04-19 山东大学 一种应变片外观缺陷检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621811A (en) * 1987-10-30 1997-04-15 Hewlett-Packard Co. Learning method and apparatus for detecting and controlling solder defects
JP2934455B2 (ja) * 1988-08-26 1999-08-16 株式会社日立製作所 Ｘ線透過画像によるはんだ付部の検査方法及びその装置
US5208528A (en) * 1989-01-19 1993-05-04 Bull S.A. Method for inspecting a populated printed circuit board, particularly for inspecting solder joints on the board and a system for working this method
JP3262150B2 (ja) * 1994-06-29 2002-03-04 横河電機株式会社 半田接合部の検査装置
US5751910A (en) * 1995-05-22 1998-05-12 Eastman Kodak Company Neural network solder paste inspection system
US6205239B1 (en) * 1996-05-31 2001-03-20 Texas Instruments Incorporated System and method for circuit repair
US5963662A (en) * 1996-08-07 1999-10-05 Georgia Tech Research Corporation Inspection system and method for bond detection and validation of surface mount devices
US20010037673A1 (en) * 1999-03-09 2001-11-08 Liam T. Jackson Solder paste tester
IE20000263A1 (en) * 1999-04-07 2000-11-15 Mv Res Ltd A system and method for the inspection of dielectric materials
US6823044B2 (en) * 2001-11-21 2004-11-23 Agilent Technologies, Inc. System for collecting multiple x-ray image exposures of a sample using a sparse configuration
US6853744B2 (en) * 2001-12-14 2005-02-08 Agilent Technologies, Inc. System and method for confirming electrical connection defects
US6847900B2 (en) * 2001-12-17 2005-01-25 Agilent Technologies, Inc. System and method for identifying solder joint defects
US7019826B2 (en) * 2003-03-20 2006-03-28 Agilent Technologies, Inc. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
US7171037B2 (en) * 2003-03-20 2007-01-30 Agilent Technologies, Inc. Optical inspection system and method for displaying imaged objects in greater than two dimensions
US7330528B2 (en) * 2003-08-19 2008-02-12 Agilent Technologies, Inc. System and method for parallel image reconstruction of multiple depth layers of an object under inspection from radiographic images
US7099435B2 (en) * 2003-11-15 2006-08-29 Agilent Technologies, Inc Highly constrained tomography for automated inspection of area arrays
JP4595705B2 (ja) * 2005-06-22 2010-12-08 オムロン株式会社 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
US7903864B1 (en) * 2007-01-17 2011-03-08 Matrox Electronic Systems, Ltd. System and methods for the detection of irregularities in objects based on an image of the object
WO2010098921A2 (en) * 2009-02-27 2010-09-02 Georgia Tech Research Corporation High speed autofocus interferometric inspection systems & methods
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
CN106874840A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 车辆信息识别方法及装置
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SMT Solder Joint Inspection via a Novel Cascaded;Nian Cai et al.;《IEEE Transactions on Components》;20180130;第8卷(第4期);全文 *
基于机器视觉的焊点检测研究;袁统帅;《《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》》;20180215(第02期);全文 *

Also Published As

Publication number Publication date
CN110930347A (zh) 2020-03-27
US11222234B2 (en) 2022-01-11
WO2020048119A1 (en) 2020-03-12
US20210334587A1 (en) 2021-10-28
EP3847444A1 (en) 2021-07-14
EP3847444A4 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
CN110930347B (zh) 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN107123117B (zh) 一种基于深度学习的ic引脚焊点质量检测方法及装置
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN109584209B (zh) 血管壁斑块识别设备、系统、方法及存储介质
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
US11574395B2 (en) Damage detection using machine learning
CN110717881A (zh) 晶圆缺陷识别方法、装置、存储介质和终端设备
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN109345559B (zh) 基于样本扩充和深度分类网络的运动目标跟踪方法
KR20240004240A (ko) 반도체 애플리케이션을 위한 딥 생성 모델 기반 정렬
Stephen et al. X-ray Weld Defect Recognition Using Deep Learning Technique
CN116977239A (zh) 缺陷检测方法、装置、计算机设备及存储介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN113298807A (zh) 一种计算机断层扫描图像处理方法及装置
CN111832629A (zh) 一种基于FPGA的faster-RCNN目标检测方法
Legon et al. Detection and classification of PCB defects using deep learning methods
CN116012283B (zh) 一种全自动超声图像量测方法、设备及存储介质
CN112287772B (zh) 指纹痕迹检测方法、指纹检测装置及计算机可读存储介质
Gelzinis et al. Learning accurate active contours
CN117911350A (zh) 一种基于改进YOLOv7-tiny的PCB表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant