CN113516650B - 基于深度学习的电路板塞孔缺陷检测方法及装置 - Google Patents

基于深度学习的电路板塞孔缺陷检测方法及装置 Download PDF

Info

Publication number
CN113516650B
CN113516650B CN202110873780.0A CN202110873780A CN113516650B CN 113516650 B CN113516650 B CN 113516650B CN 202110873780 A CN202110873780 A CN 202110873780A CN 113516650 B CN113516650 B CN 113516650B
Authority
CN
China
Prior art keywords
circuit board
loss function
defect detection
board hole
hole plugging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110873780.0A
Other languages
English (en)
Other versions
CN113516650A (zh
Inventor
吕杰
张晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kangwei Vision Technology Co ltd
Original Assignee
Shenzhen Kangwei Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kangwei Vision Technology Co ltd filed Critical Shenzhen Kangwei Vision Technology Co ltd
Priority to CN202110873780.0A priority Critical patent/CN113516650B/zh
Publication of CN113516650A publication Critical patent/CN113516650A/zh
Application granted granted Critical
Publication of CN113516650B publication Critical patent/CN113516650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于深度学习的电路板塞孔缺陷检测方法、装置、存储介质以及电子设备，该方法包括：获取电路板塞孔图像样本，构建电路板塞孔缺陷检测模型以及损失函数，将电路板塞孔图像样本输入至特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过焦点损失函数、软损失函数和引力损失函数对进行优化，获得训练好的电路板塞孔缺陷检测模型，将待检测的电路板塞孔图像输入到训练好的电路板塞孔缺陷检测模型中，获取电路板塞孔图像的缺陷识别结果，确定缺陷类别。综合焦点损失函数、软损失函数和引力损失函数的联合监督，使电路板塞孔缺陷检测模型考虑了缺陷特征的巨大变化和不确定样本的模糊性，从而提高了电路板塞孔缺陷检测精度。

Description

基于深度学习的电路板塞孔缺陷检测方法及装置
技术领域
本发明涉及工业缺陷检测技术领域，特别是涉及一种基于深度学习的电路板塞孔缺陷检测方法、装置、存储介质以及电子设备。
背景技术
树脂塞孔被广泛用于印刷电路板(PCB)制造中，以优化PCB的寄生电容和电感。由于树脂塞孔逐渐地被越来越多的线路板加工应用，而树脂塞孔的各种缺陷都会导致PCB板的报废，因此PCB板树脂塞孔的检测越来越严格。
但是，由于树脂塞孔缺陷的特征在很大范围内变化，且树脂塞孔缺陷样品数量少。许多不确定样本与缺陷样本非常相似，占据了绝大多数数据集的类似缺陷的不确定样本使卷积神经网络容易在缺陷的样本上过拟合，导致缺陷的样本很容易被误认为是正常样本。
发明人在实施本发明过程中发现现有技术至少存在以下问题：现有技术方案都没有充分利用不确定样本中隐藏的信息，从而导致电路板塞孔缺陷检测精度低。
发明内容
基于此，本发明的目的在于，提供一种基于深度学习的电路板塞孔缺陷检测方法、装置、存储介质以及电子设备，其具有提高电路板塞孔缺陷检测精度的优点。
根据本申请实施例的第一方面，提供一种基于深度学习的电路板塞孔缺陷检测方法，包括如下步骤：
获取电路板塞孔图像样本；
构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；
将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；
将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；
根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
根据本申请实施例的第二方面，提供一种基于深度学习的电路板塞孔缺陷检测方法装置，包括：
第一获取模块，用于获取电路板塞孔图像样本；
构建模块，用于构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；
训练模块，用于将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；
第二获取模块，用于将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；
确定模块，用于根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的基于深度学习的电路板塞孔缺陷检测方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的基于深度学习的电路板塞孔缺陷检测方法。
本申请实施例通过获取电路板塞孔图像样本，构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型，将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。通过引力损失函数将各种缺陷特征以不均匀的方式远离无缺陷的中心，分散地分布，突出了不确定样本和有缺陷样本之间的差异。进一步地，通过软损失函数使不确定样本更接近标签空间中的真实分布。综合所述焦点损失函数、软损失函数和引力损失函数的联合监督，使所述电路板塞孔缺陷检测模型考虑了缺陷特征的巨大变化和不确定样本的模糊性，从而提高了电路板塞孔缺陷检测精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明基于深度学习的电路板塞孔缺陷检测方法的流程示意图；
图2为本发明基于深度学习的电路板塞孔缺陷检测中S30的流程示意图；
图3为本发明基于深度学习的电路板塞孔缺陷检测装置的结构框图；
图4为本发明基于深度学习的电路板塞孔缺陷检测训练模块63的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，本发明实施例提供一种基于深度学习的电路板塞孔缺陷检测方法，包括如下步骤：
S10.获取电路板塞孔图像样本。
在本申请实施例中，使用线扫描CCD相机从多层PCB的生产线上获取取电路板塞孔图像样本，从而构建一个树脂塞孔的数据集。具体地，所述数据集包括119个无缺陷、5146个不确定和602个有缺陷的图像。每张图像仅包含一个塞孔，图像的三分之二用于训练，其余用于测试。
S20.构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数。
在本申请实施例中，将所述电路板塞孔图像样本输入至特征提取网络，生成高维特征向量。将所述高维特征向量输入至多层感知神经网络，所述多层感知神经网络包括3个全连接层，通道数分别为128、128和1，输出一个数值，将所述数值输入至softmax分类器，输出预测概率值。
S30.将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型。
在本申请实施例中，将所述预测概率值与样本标签值进行比较，计算损失函数值，从而利用反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，获取训练好的电路板塞孔缺陷检测模型。
S40.将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果。
在本申请实施例中，根据训练好的所述电路板塞孔缺陷检测模型，对待检测的电路板塞孔图像进行缺陷检测，获取缺陷识别结果，所述缺陷识别结果为一个0到1之间的概率值。
S50.根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
在本申请实施例中，所述缺陷类别包括正常和有缺陷。例如，当缺陷识别结果对应的概率值为0.6，表示有60％的概率确定所述电路板塞孔图像是有缺陷图像。
应用本发明实施例，通过获取电路板塞孔图像样本，构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型，将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。通过引力损失函数将各种缺陷特征以不均匀的方式远离无缺陷的中心，分散地分布，突出了不确定样本和有缺陷样本之间的差异。进一步地，通过软损失函数使不确定样本更接近标签空间中的真实分布。综合所述焦点损失函数、软损失函数和引力损失函数的联合监督，使所述电路板塞孔缺陷检测模型考虑了缺陷特征的巨大变化和不确定样本的模糊性，从而提高了电路板塞孔缺陷检测精度。
在一个可选的实施例中，请参阅图2，所述步骤S30包括S31～S34，具体如下：
S31.将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算所述引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；
S32.将所述特征图输入至所述多层感知神经网络，得到概率向量；
S33.将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算所述焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；
S34.将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算所述软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值。
在本申请实施例中，所述引力损失函数根据不同的数据特征增强特征空间中的判别力，所述软损失函数使不确定样本更接近标签空间中的真实分布，所述焦点损失函数便于模型拟合，更好地处理不合格的异常值。在所述引力损失函数、所述软损失函数以及所述焦点损失函数的联合监督训练下，增强了深度学习网络对特征的区分能力，提高了所述电路板塞孔缺陷检测模型的缺陷检测精度。
在一个可选的实施例中，所述焦点损失函数的公式为：
其中，LC表示所述焦点损失函数，y′i是所述电路板塞孔缺陷检测模型给出的预测类别概率，y是真实样本标签，α和γ是常数；
所述软损失函数的公式为：
其中，Ls表示软损失函数，Nu表示不确定样本对应的特征图集合大小，Yu表示不确定样本的标签集，所述标签集通过所述数据集标注处理得到，表示预测的概率值，/>表示不确定样本的标签；
所述引力损失函数的公式为：
LG＝Lf+Lu+Ld
其中，LG为引力损失函数，Lf表示对无缺陷样本的吸引力项，Lu表示对不确定样本的吸引力项，Ld表示对缺陷样本的排斥项，Hf表示无缺陷样本对应的特征图集合，Hu表示不确定样本对应的特征图集合，Hd表示缺陷样本对应的特征图集合，Nf、Nu和Nd分别表示所述特征图集合Hf、Hu和Hd的大小，xi表示所述特征图集合的第i个特征图，c表示无缺陷样本特征中心，r1、r2和r3代表距离参数，|| ||为欧几里得距离，[x]+＝max(0，x)；
则所述电路板塞孔缺陷检测模型的损失函数的公式为：
L＝λ1LG+λ2Ls+LC其中，L表示所述损失函数，λ1和λ2为权重系数。
在本申请实施例中，LG以不同的方式约束三种类型的特征。具体来说，它鼓励三种特征Lf、Lu和Ld到c的距离分别小于r1和r2且大于r3，分层形成同心超球面。r2和r3之间的较大差距有助于大大增强深度特征的判别能力，而r1和r2之间的差异有助于不确定特征在嵌入空间中更恰当地定位。因此，可以容易地训练针对缺陷检查中的缺陷类型的变化。此外，在特征提取网络后添加了多层感知神经网络，并采用焦点损失函数LC，以帮助所述电路板塞孔缺陷检测模型更好地拟合不受超球面分布影响的不合格异常值。Ls充分利用了不确定样本中的歧义性，更好地表征了不确定样本和缺陷样本之间的相似性。
在一个可选的实施例中，在每次迭代重复计算之后，通过更新方程更新所述无缺陷特征的中心，所述更新方程为：
其中，Cn为当前无缺陷特征的中心，Cn+1为迭代之后无缺陷特征的中心，β是小于1的正调节因子。
在本申请实施例中，在每次迭代重复计算之后，对所述无缺陷特征的中心进行更新，是为了保持深度学习网络训练的稳定性，从而提高所述电路板塞孔缺陷检测模型的鲁棒性。
在一个可选的实施例中，所述特征提取网络包括3个池化层、5个卷积层、1个批归一化BN层和Relu激活函数，所述多层感知神经网络包括3个全连接层。
在一个可选的实施例中，所述获取电路板塞孔图像样本的步骤之后，还包括：
对所述电路板塞孔图像样本进行数据扩充，获得扩充后的电路板塞孔图像样本；其中，所述数据扩充包括平移、旋转、对称、缩放、裁剪、填充、左右翻转以及颜色变换操作。
在本申请实施例中，在构建数据集的过程中，对采集的电路板塞孔图像样本进行预处理，包括，使用平移、旋转、对称、缩放、裁剪、填充、左右翻转以及颜色变换操作对所述电路板塞孔图像样本进行数据增强扩充，有利于增加数据集中的相关数据量。设置网络训练批量大小batchsize为128，权重衰减为0.0001，初始学习率为0.001，嵌入向量的长度为128。训练使用了Adam优化器的模型进行350时期，并动态降低学习率20％，只要准确度在40时期内没有增加就提前停止。通过网络调整最佳的超参数，并在引力损失函数、软损失函数和焦点损失函数联合监督下训练电路板塞孔缺陷检测模型，权重系数λ1＝0.2,λ2＝0.01。
相应于上述方法实施例，请参阅图3，本发明实施例提供一种基于深度学习的电路板塞孔缺陷检测装置6，包括：
第一获取模块61，用于获取电路板塞孔图像样本；
构建模块62，用于构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；
训练模块63，用于将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；
第二获取模块64，用于将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；
确定模块65，用于根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
可选的，请参阅图4，所述训练模块63，包括：
第一输入单元632，用于将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算所述引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；
第二输入单元634，用于将所述特征图输入至所述多层感知神经网络，得到概率向量；
第三输入单元636，用于将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算所述焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；
第四输入单元638，用于将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算所述软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值。
应用本发明实施例，通过获取电路板塞孔图像样本，构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型，将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。通过引力损失函数将各种缺陷特征以不均匀的方式远离无缺陷的中心，分散地分布，突出了不确定样本和有缺陷样本之间的差异。进一步地，通过软损失函数使不确定样本更接近标签空间中的真实分布。综合所述焦点损失函数、软损失函数和引力损失函数的联合监督，使所述电路板塞孔缺陷检测模型考虑了缺陷特征的巨大变化和不确定样本的模糊性，从而提高了电路板塞孔缺陷检测精度。
本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (8)

1.一种基于深度学习的电路板塞孔缺陷检测方法，其特征在于，包括：
获取电路板塞孔图像样本；
构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；
将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；其中，将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；将所述特征图输入至所述多层感知神经网络，得到概率向量；将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值；
将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；其中，将待检测的电路板塞孔图像样本输入至所述特征提取网络，生成高维特征向量；将所述高维特征向量输入至所述多层感知神经网络，输出一个数值，将所述数值输入至所述softmax分类器，输出预测概率值；
根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
2.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述焦点损失函数的公式为：
其中，LC表示所述焦点损失函数，y′i是所述电路板塞孔缺陷检测模型给出的预测类别概率，y是真实样本标签，α和γ是常数；
所述软损失函数的公式为：
其中，Ls表示软损失函数，Nu表示不确定样本对应的特征图集合大小，Yu表示不确定样本的标签集，所述标签集通过数据集标注处理得到，表示预测的概率值，/>表示不确定样本的标签；
所述引力损失函数的公式为：
LG＝Lf+Lu+Ld
其中，LG为引力损失函数，Lf表示对无缺陷样本的吸引力项，Lu表示对不确定样本的吸引力项，Ld表示对缺陷样本的排斥项，Hf表示无缺陷样本对应的特征图集合，Hu表示不确定样本对应的特征图集合，Hd表示缺陷样本对应的特征图集合，Nf、Nu和Nd分别表示所述特征图集合Hf、Hu和Hd的大小，xi表示所述特征图集合的第i个特征图，C表示无缺陷样本特征中心，r1、r2和r3代表距离参数，||||为欧几里得距离，[x]+＝max(0，x)；
则所述电路板塞孔缺陷检测模型的损失函数的公式为：
L＝λ1LG+λ2Ls+LC
其中，L表示所述损失函数，λ1和λ2为权重系数。
3.根据权利要求2所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，在每次迭代重复计算之后，通过更新方程更新无缺陷特征的中心，所述更新方程为：
其中，Cn为当前无缺陷特征的中心，Cn+1为迭代之后无缺陷特征的中心，β是小于1的正调节因子。
4.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述特征提取网络包括3个池化层、5个卷积层、1个批归一化BN层和Relu激活函数，所述多层感知神经网络包括3个全连接层。
5.根据权利要求1所述的基于深度学习的电路板塞孔缺陷检测方法，其特征在于，所述获取电路板塞孔图像样本的步骤之后，还包括：
对所述电路板塞孔图像样本进行数据扩充，获得扩充后的电路板塞孔图像样本；其中，所述数据扩充包括平移、旋转、对称、缩放、裁剪、填充、左右翻转以及颜色变换操作。
6.一种基于深度学习的电路板塞孔缺陷检测装置，其特征在于，包括：
第一获取模块，用于获取电路板塞孔图像样本；
构建模块，用于构建电路板塞孔缺陷检测模型以及所述电路板塞孔缺陷检测模型的损失函数，其中，所述电路板塞孔缺陷检测模型包括依次连接的特征提取网络、多层感知神经网络和softmax分类器，所述电路板塞孔缺陷检测模型的损失函数包括焦点损失函数、软损失函数和引力损失函数；
训练模块，用于将所述电路板塞孔图像样本输入至所述特征提取网络、多层感知神经网络和softmax分类器进行训练，且通过所述焦点损失函数、软损失函数和引力损失函数对所述特征提取网络、多层感知神经网络和softmax分类器进行优化，获得训练好的电路板塞孔缺陷检测模型；其中，将所述电路板塞孔图像样本输入至所述特征提取网络进行特征提取，获得特征图，并根据所述特征图以及所述引力损失函数，计算引力损失值，且所述引力损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络的网络参数，以根据设定的迭代次数重复计算所述引力损失值，直至所述引力损失值下降至预设阈值；将所述特征图输入至所述多层感知神经网络，得到概率向量；将所述概率向量输入至所述softmax分类器，得到归一化的第一概率向量，并根据所述第一概率向量以及所述焦点损失函数，计算焦点损失值，且所述焦点损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述焦点损失值，直至所述焦点损失值下降至预设阈值；将所述概率向量除以调和因子，输入至所述softmax分类器，得到归一化的第二概率向量，并根据所述第二概率向量以及所述软损失函数，计算软损失值，且所述软损失值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述特征提取网络和所述多层感知神经网络的网络参数，以根据设定的迭代次数重复计算所述软损失值，直至所述软损失值下降至预设阈值；
第二获取模块，用于将待检测的电路板塞孔图像输入到训练好的所述电路板塞孔缺陷检测模型中，获取所述电路板塞孔图像的缺陷识别结果；其中，将待检测的电路板塞孔图像样本输入至所述特征提取网络，生成高维特征向量；将所述高维特征向量输入至所述多层感知神经网络，输出一个数值，将所述数值输入至所述softmax分类器，输出预测概率值；
确定模块，用于根据所述电路板塞孔图像的缺陷识别结果，确定缺陷类别。
7.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至5中任意一项所述的基于深度学习的电路板塞孔缺陷检测方法。
8.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的基于深度学习的电路板塞孔缺陷检测方法。
CN202110873780.0A 2021-07-30 2021-07-30 基于深度学习的电路板塞孔缺陷检测方法及装置 Active CN113516650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873780.0A CN113516650B (zh) 2021-07-30 2021-07-30 基于深度学习的电路板塞孔缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873780.0A CN113516650B (zh) 2021-07-30 2021-07-30 基于深度学习的电路板塞孔缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN113516650A CN113516650A (zh) 2021-10-19
CN113516650B true CN113516650B (zh) 2023-08-25

Family

ID=78067956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873780.0A Active CN113516650B (zh) 2021-07-30 2021-07-30 基于深度学习的电路板塞孔缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN113516650B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418980A (zh) * 2022-01-10 2022-04-29 惠州中科先进制造有限公司 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN114511516B (zh) * 2022-01-17 2023-04-07 利晶微电子技术(江苏)有限公司 一种基于无监督学习的MicroLED缺陷检测方法
CN115035081B (zh) * 2022-06-23 2024-03-01 西安交通大学 一种基于工业ct的金属内部缺陷危险源定位方法及系统
CN116400028B (zh) * 2023-05-29 2023-08-22 湖南汇湘轩生物科技股份有限公司 一种基于气味传感器的香精质量检测方法、系统及介质
CN116980976A (zh) * 2023-09-21 2023-10-31 深圳市聚亚科技有限公司 基于4g通信模块的数据透传方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074231A (zh) * 2017-12-18 2018-05-25 浙江工业大学 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110455822A (zh) * 2019-07-10 2019-11-15 苏州卓融新能源科技有限公司 一种pcb板缺陷的检测方法
CN111812118A (zh) * 2020-06-24 2020-10-23 阿丘机器人科技(苏州)有限公司 Pcb检测方法、装置、设备及计算机可读存储介质
CN112001903A (zh) * 2020-08-21 2020-11-27 深圳市华汉伟业科技有限公司 缺陷检测网络构建方法、异常检测方法及系统、存储介质
CN112164033A (zh) * 2020-09-14 2021-01-01 华中科技大学 一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112444490A (zh) * 2021-02-01 2021-03-05 深圳宜美智科技股份有限公司 基于图像检测的塞孔缺陷检测方法及塞孔缺陷检测设备
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012200A1 (en) * 2019-04-03 2021-01-14 Mashtraxx Limited Method of training a neural network and related system and method for categorizing and recommending associated content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074231A (zh) * 2017-12-18 2018-05-25 浙江工业大学 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110455822A (zh) * 2019-07-10 2019-11-15 苏州卓融新能源科技有限公司 一种pcb板缺陷的检测方法
CN111812118A (zh) * 2020-06-24 2020-10-23 阿丘机器人科技(苏州)有限公司 Pcb检测方法、装置、设备及计算机可读存储介质
CN112001903A (zh) * 2020-08-21 2020-11-27 深圳市华汉伟业科技有限公司 缺陷检测网络构建方法、异常检测方法及系统、存储介质
CN112164033A (zh) * 2020-09-14 2021-01-01 华中科技大学 一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法
CN112270722A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112444490A (zh) * 2021-02-01 2021-03-05 深圳宜美智科技股份有限公司 基于图像检测的塞孔缺陷检测方法及塞孔缺陷检测设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的端塞表面缺陷检测算法研究及实现;杜晞盟;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN113516650A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN113516650B (zh) 基于深度学习的电路板塞孔缺陷检测方法及装置
CN110070536B (zh) 一种基于深度学习的pcb板元器件检测方法
CN110992329B (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111126396B (zh) 图像识别方法、装置、计算机设备以及存储介质
CN115362471A (zh) 一种金属表面缺陷检测方法及装置
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN111539456B (zh) 一种目标识别方法及设备
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116843620A (zh) 一种基于非范例类增量学习的印刷电路板缺陷检测方法
CN116665009A (zh) 一种基于多尺度ssd网络的管道漏磁图像检测方法
CN115761268A (zh) 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN115656952A (zh) 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法
CN115631370A (zh) 一种基于卷积神经网络的mri序列类别的识别方法及装置
CN112001388B (zh) 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法
CN111488882B (zh) 一种用于工业零件测量的高精度图像语义分割方法
CN116993727B (zh) 检测方法及装置、电子设备、计算机可读介质
CN114882298B (zh) 一种对抗互补学习模型的优化方法及装置
CN113610184B (zh) 一种基于迁移学习的木材纹理分类方法
CN113762359B (zh) 一种面向rd时频数据的深度学习模型评测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant