CN116228637A - 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置 - Google Patents

基于多任务多尺寸网络的电子元器件缺陷识别方法及装置 Download PDF

Info

Publication number
CN116228637A
CN116228637A CN202211594083.2A CN202211594083A CN116228637A CN 116228637 A CN116228637 A CN 116228637A CN 202211594083 A CN202211594083 A CN 202211594083A CN 116228637 A CN116228637 A CN 116228637A
Authority
CN
China
Prior art keywords
defect
task
electronic component
edge
size network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211594083.2A
Other languages
English (en)
Inventor
曾念寅
张雨晴
吴佩树
李寒
胡立伟
刘浩楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202211594083.2A priority Critical patent/CN116228637A/zh
Publication of CN116228637A publication Critical patent/CN116228637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明方法一种基于多任务多尺寸网络的电子元器件缺陷识别方法及装置，包括：采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；使用训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。本发明能够识别出电子元器件的缺陷位置及缺陷类型，提高识别的效率和精度。

Description

基于多任务多尺寸网络的电子元器件缺陷识别方法及装置
技术领域
本发明设计图像识别领域，具体涉及一种基于多任务多尺寸网络的电子元器件缺陷识别方法及装置，特别涉及电子元器件制造、封装、成品测试等不同生命周期可能出现的缺陷定位和识别。
背景技术
在高速发展的电子工业时代，电子元器件需求量连年增长，与此同时，对于不同工业场景，电子元器件要求也日益提高。因此，如何提高电子元器件生产和使用效率，以及保证产品质量成为电子产业亟待解决的问题。
电子元器件应用场景涵盖微波电真空器件、微波固态器件、半导体集成电路、膜集成电路和混合集成电路等至少5种，类型包括行波管、磁控管、开关矩阵、变频组件、集成电路芯片、封装基板和陶瓷外壳等至少8种，电子元器件缺陷类型覆盖裂纹、分层、划痕、缺角、油污、划伤、串孔、破损、斑点、孔洞、颗粒污染、开短路等至少15种。因此，电子元器件的缺陷具有故障场景多样，类型复杂的特点，传统缺陷检测方法，例如依靠电气性能参数检测法和人工目视检测法，无法充分利用图像语义信息，同时存在人力、财力高消耗、低效率和过程繁琐的明显缺陷。
随着深度学习的发展，电子元器件缺陷检测的方法已逐步向自动化、高效率和高精度的方向转移，在图像分割、目标检测、分类任务领域，一系列基于深度学习的缺陷检测方法层出不穷。例如，基于Faster R-CNN和特征金字塔提出TDD-Net，实现了98％的电子元器件缺陷检测精度，但是不具备缺陷类型识别能力；基于卷积神经网络进行表面缺陷自动检测与识别，设计了一种新颖的级联式自动编码器结构，用于分割和定位缺陷，但未实现检测和识别一体化系统。由于电子元器件缺陷图像数据集提供信息不充分，模型对视觉信息和语义信息利用不充分，导致数据集有效性差，模型检测精度低、鲁棒性和泛化性低，以及不具备缺陷类型识别能力的工业级缺陷检测系统。
发明内容
为解决上述问题，本发明提出一种基于多任务多尺寸网络的电子元器件缺陷识别方法及装置，能够准确快速识别出电子元器件的缺陷位置和缺陷类型。
一方面，一种基于多任务多尺寸网络的电子元器件缺陷识别方法，包括：
S101，采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
S102，根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
S103，使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
S104，将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
优选的，所述S101，具体包括：
采集包含光学、超声和红外检测的电子元器件外部缺陷的高清晰度工业级原始RGB图像数据；
基于电子元器件运行正常和产生缺陷的界定标准，获取电子元器件所包括的缺陷类型；
基于电子元器件运行正常和产生缺陷的界定标准，定位电子元器件的缺陷位置并标注，获得缺陷位置掩膜，将缺陷位置掩膜用灰度图进行存储；
根据所述缺陷位置，采用边缘检测算法将获取的缺陷位置掩膜灰度图进行边缘提取操作获得缺陷边缘掩膜，将缺陷边缘掩膜用灰度图进行存储；
采用自适应轮廓外包法将缺陷从原始RGB图像数据中分割出来，保存新的最小正矩形作为缺陷局部图像，并赋予对应缺陷类型标签；
将获取的级原始RGB图像、缺陷位置掩膜图、缺陷边缘掩膜图和缺陷局部图像通过数据增强操作对数据集在数量上和形式上进行扩充。
优选的，所述多任务多尺寸网络模型包括缺陷定位模块和缺陷类型识别模块；
所述缺陷定位模块，包括缺陷定位支路、缺陷边缘定位支路和信息融合单元；所述缺陷定位支路以原始RGB图像的RGB特征信息为输入，通过多尺度分支网络获得多分辨率信息；所述缺陷边缘定位支路，将原始RGB图像转换LAB图像的LAB特征信息为输入，采用对称网络结构和特征连接操作，学习边缘信息，获得缺陷边缘掩膜；将边缘信息与多分辨率信息流入信息融合单元，获得预测缺陷位置掩膜；
所述缺陷类型识别模块，将采用自适应轮廓外包最小矩形提取法对缺陷进行分割获取的缺陷信息依次输入具备残差连接的主干网络、注意力单元和分类器中，输出预测缺陷类型。
优选的，经过主干网络进行特征提取后，所提取特征信息输入到注意力单元中，如下：
Figure BDA0003996216130000031
其中，dk是缩放比例系数，K是通过U-Net得到矩阵，V是主干网络的输出，Q是经过位置编码得到的矩阵，其中位置编码表示为：
Figure BDA0003996216130000032
Figure BDA0003996216130000033
其中，PE(pos,2i)表示对2i位置进行位置编码的结果；PE(pos,2i+1)表示对2i+1位置进行位置编码的结果；PE是二维矩阵且与输入的向量维度相同，表示为经过位置编码后的矩阵；pos是缺陷所在位置，i代表维度数目，C是设置的通道数目。
优选的，所述多任务多尺寸网络模型的损失计算方法，包括：
计算缺陷定位损失Llabel_mask，将通过缺陷定位模块生成的预测缺陷位置掩膜与实际的缺陷位置掩膜采用焦点损失函数进行像素点的损失计算；
计算边缘定位损失Llabel_edge，将通过缺陷定位模块的缺陷边缘定位支路获取的缺陷边缘掩膜与实际的缺陷边缘掩膜利用交叉熵损失函数进行边缘信息损失计算；
计算缺陷类型识别损失Llabel_recog，将通过缺陷类型识别模块预测缺陷类型与实际的缺陷类型标签采用多分类交叉熵损失函数进行缺陷类型识别损失计算；
获取总损失函数：
Ltotal＝μ0Llabel_recog+μ1Llabel_edge+μ2Llabel_mask
其中，μ0、μ1和μ2分别是缺陷类型识别损失、边缘定位损失和缺陷定位损失的调整系数，μ0设置为0.5，1和μ2分别设置为0.25。
优选的，S103中，Dice系数是通过计算缺陷定位的预测值和真实值的相似度获得，如下：
Figure BDA0003996216130000034
其中，X为模型预测的缺陷位置，Y为真实的缺陷位置；
准确率Accuracy是指分类正确的样本数占总样本数的比例，即：
Figure BDA0003996216130000035
其中，TPi表示“标签为真且分类为真”预测正确的样本，FPi表示“标签为假但分类为真”预测错误的样本；n表示总样本数量。
另一方面，一种基于多任务多尺寸网络的电子元器件缺陷识别装置，包括：
缺陷图像数据集采集模块，用于采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
图像标注模块，用于根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
最优模型获取模块，用于使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
缺陷定位及识别模块，用于将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
相比于现有技术，本发明具有以下有益效果：
本发明利用电子元器件缺陷图像的多尺度信息，结合缺陷位置掩膜、缺陷边缘掩膜和缺陷类型标签，对多任务多尺寸网络模型进行训练和测试，获得最优的多任务多尺寸网络模型，基于所述最优的多任务多尺寸网络模型对完成电子元器件缺陷定位和缺陷类型识别，提高了电子元器件缺陷识别的效率和精度。
附图说明
图1为本发明实施例的基于多任务多尺寸网络的电子元器件缺陷识别方法流程图；
图2为本发明实施例的缺陷图像数据集获取流程图；
图3为本发明实施例的电子元器件缺陷定位网络框架图；
图4为本发明实施例的电子元器件缺陷类型识别网络框架图；
图5为本发明实施例的最优的多任务多尺寸网络模型训练流程图；
图6为本发明实施例的基于多任务多尺寸网络的电子元器件缺陷识别装置结构框图。
具体实施方式
下面结合附图和实施例对本方面作进一步说明。
参见图1所示，本发明一种基于多任务多尺寸网络的电子元器件缺陷识别方法，包括：
S101，采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
S102，根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
S103，使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
S104，将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
本实施例中，参见图2所示，所述S101，具体包括：
S1011，采集包含光学、超声和红外检测的电子元器件外部缺陷的高清晰度工业级原始RGB图像数据。
具体的，可以在巡检设备上安装相机，采集包括缺陷的多个电子元器件高清图像，以RGB三通道的形式存储图像。
S1012，基于电子元器件运行正常和产生缺陷的界定标准，获取电子元器件所包括的缺陷类型。
具体的，根据电子元器件应用场景的工业标准和业界收集的当前数据，确定关键电子元器件的运行正常和产生缺陷界定标准，基于电子元器件运行正常和产生缺陷的界定标准，获取电子元器件所包括的缺陷类型。根据电子元器件应用场景的工业标准和业界收集的当前数据，确定关键电子元器件的运行正常和产生缺陷界定标准，可采用现有技术，具体方法本实施例不做限制。
S1013，基于电子元器件运行正常和产生缺陷的界定标准，定位电子元器件的缺陷位置并标注，获得缺陷位置掩膜，将缺陷位置掩膜用灰度图进行存储。
具体的，根据关键电子元器件的运行正常和产生缺陷的界定标准，从图像中标注电子元器件缺陷完整位置，获取缺陷位置掩膜，将获取的缺陷位置掩膜图片以灰度图形式来储存，其中255显示为黑色代表正常运行区域，而0显示为白色代表缺陷存在区域。
S1014，根据所述缺陷位置，采用边缘检测算法将获取的缺陷位置掩膜灰度图进行边缘提取操作获得缺陷边缘掩膜，将缺陷边缘掩膜用灰度图进行存储。
具体的，根据计算机视觉领域的边缘检测操作，采用Canny边缘检测算法，将获取的灰度图掩膜进行边缘提取操作，边缘显示宽度设置为1个像素点，将提取后的边缘图片像以灰度图形式储存，其中0显示为白色代表边缘位置，宽度为1个像素点，其余部分均为像素值为255的黑色。Canny算法实现的主要原理如下：
Figure BDA0003996216130000051
Figure BDA0003996216130000052
其中，[Gx,Gy]是对平滑后的图像使用Sobel算子计算水平方向和数值方向的一阶导数，根据该值找到边界梯度和方向。
S1015，采用自适应轮廓外包法将缺陷从原始RGB图像数据中分割出来，保存新的最小正矩形作为缺陷局部图像，并赋予对应缺陷类型标签。
具体的，将电子元器件缺陷区域从原始图像中进一步分割出来，保存为新的自适应大小的矩形区域，以.txt文本的形式对应缺陷类型，其中标签0代表裂纹，1代表分层，3代表划痕，4代表缺角，5代表油污以及6代表串孔。
S1016，将获取的级原始RGB图像、缺陷位置掩膜图、缺陷边缘掩膜图和缺陷局部图像通过数据增强操作对数据集在数量上和形式上进行扩充。
具体的，为进一步提高数据集的泛化能力，对于已获取的数据集统一进行数据增强操作，其中包括旋转、剪裁、原始图像颜色转换、缩放和添加噪声的操作，在数量上和形式上对数据集进一步扩充。
进一步的，通过上述方法准备完全数据集后，将对应的标签和图像输入设计的网络，本发明为多任务多尺寸网络模型。
参见图3和图4所示，所述多任务多尺寸网络模型包括缺陷定位模块和缺陷类型识别模块；
所述缺陷定位模块，包括缺陷定位支路、缺陷边缘定位支路和信息融合单元；所述缺陷定位支路以原始RGB图像的RGB特征信息为输入，通过多尺度分支网络获得多分辨率信息；所述缺陷边缘定位支路，将原始RGB图像转换LAB图像的LAB特征信息为输入，采用对称网络结构和特征连接操作，学习边缘信息，获得缺陷边缘掩膜；将边缘信息与多分辨率信息流入信息融合单元，获得预测缺陷位置掩膜；
所述缺陷类型识别模块，将采用自适应轮廓外包最小矩形提取法对缺陷进行分割获取的缺陷信息依次输入具备残差连接的主干网络、注意力单元和分类器中，输出预测缺陷类型。
如下对多任务多尺寸网络模型集通过上述多任务多尺寸网络模型进行缺陷预测的过程进行详细说明。
(1)、将RGB空间的原始图像转化为LAB空间的图像，并且将图像大小统一为(3，128，192)，两者同时输入多任务多尺寸网络模型；
(2)、将RGB原始图像和LAB原始图像分别输入电子元器件缺陷定位模块，其内部包括两个支路，缺陷定位支路和缺陷边缘定位支路，分别学习缺陷位置信息和边缘信息。最后，融合两支流信息，输出缺陷位置掩膜。
(2.1)、所述缺陷定位支路，以RGB模式图像为输入，通过多尺度网络进行缺陷特征提取，获取多分辨率信息。多尺度网络通过并行多个分辨率的分支，不断进行不同分支之间的信息交互，从而达到加强语义信息和精准位置信息的目的。该支路分为4个stage，第一个stage有一个分支(分辨率流)，第n个stage有n个分支，同一stage不同支路之间通过不同形式卷积进行上采用和下采样进行特征融合。本设计采用4个stage，通过不同stage之间的特征融合，最后输出(18，128，192)、(36，64，92)、(72，32，48)和(144，16，24)的多尺度信息。其中，(C,H,W)分别代表(通道数，高度，宽度)。
(2.2)、所述缺陷边缘定位支路，以LAB模式图像为输入，通过对称卷积网络进行边缘信息学习。对称卷积网络通过反复上、下采样，充分保留低级特征和高级语义特征，对边缘信息进行分割。该网络可视为Encoder-Decoder结构，其中，Encoder由2个3x3的卷积层再加上一个2x2的最大池化层组成一个下采样的模块；Decoder由2个反卷积层、特征拼接Concat操作和两个3x3的卷积层反复构成。通过特征拼接操作，实现浅层纹理信息和深层语义信息的融合，减少信息传输过程中的损失。本发明输入(1，128，192)通过对称卷积网络输出小分辨率的(1，32，48)的边缘掩膜信息，辅助生成完整的缺陷掩膜位置。
(3)、通过融合缺陷定位支路和缺陷边缘定位支路的特征信息，将多尺度信息通过卷积层调整为大小为(128，192)的特征图后，输入到分类器，得到缺陷概率。以0.5为缺陷概率阈值，将概率值大于0.5输出为1，小于0.5输出为0，从而获得最终预测的缺陷位置掩膜。
(4)将获取的缺陷位置采用自适应提取包覆此轮廓的最小正矩形将该部分对应的原始图像上的缺陷位置截取，输入到缺陷类型识别模块。
(5)缺陷类型识别模块主要由缺陷识别主干网络(可以是卷积神经网络)、注意力网络以及分类器组成，其过程如附图4所示。
缺陷类型识别模块以缺陷定位模块获取的缺陷位置掩膜为输入，采用自适应轮廓外包提取器获取电子元器件缺陷的最小正矩形，输入到缺陷类型识别网络。由于电子元器件缺陷具有形状、大小多样的特点，自适应矩形提取操作能够最大程度得保留缺陷位置的特征信息，同时主干网络则通过残差连接缓解了深层网络中梯度消失或梯度爆炸的问题以及与原始信息相结合，能够保留底层的纹理特征，实现对电子元器件缺陷类型的特征提取。经过主干网络进行特征提取后，所提取特征信息输入到注意力单元中，即：
Figure BDA0003996216130000071
其中，dk是缩放比例系数，K是通过小型U-Net得到矩阵，V是主干网络的输出，Q是经过位置编码得到的矩阵，其中位置编码表示为：
Figure BDA0003996216130000081
Figure BDA0003996216130000082
其中，PE(pos,2i)表示对2i位置进行位置编码的结果；PE(pos,2i+1)表示对2i+1位置进行位置编码的结果；PE是二维矩阵且与输入的向量维度相同，表示为经过位置编码后的矩阵；pos是缺陷所在位置，i代表维度数目，C是设置的通道数目。
参见图5所示，在多任务多尺寸网络模型搭建完成后，本发明采用一种多监督的端到端训练方式对模型进行训练，更新模型参数，以使得损失最小。
对于缺陷位置掩膜，由于电子元器件缺陷区域通常在整张图片中占比较小，会导致正负区域的不平衡，从而训练效率和模型性能都会产生一定程度的下降。因此，在缺陷定位支路中，采用焦点损失(Focal Loss，FL)对正负样本进行重新加权。对于缺陷定位掩膜，FL可以表示为
Figure BDA0003996216130000083
其中，Y＝[Yi,k],P＝[Pi,j]；Yi,j和Pi,j分别表示在坐标(i，j)处预测的缺陷标签和缺陷概率。α是平衡正负样本的参数，γ是用来平衡难易区分样本的参数，实验中，经验性地设置为α＝0.25，γ＝2。
对于缺陷边缘掩膜，采用二值交叉熵损失函数，即：
Figure BDA0003996216130000084
其中，E＝[Ei,j],Q＝[Qi,j]；Ei,j和Qi,j分别表示在坐标(i,j)处预测的缺陷边缘标签和缺陷边缘的概率，检测边缘掩膜用来辅助缺陷定位任务。
对于缺陷类型识别标签，由于电子元器件缺陷识别任务是多分类问题，采用多分类交叉熵损失函数，即：
Figure BDA0003996216130000085
其中，有L个标签值和N个样本，且第i个样本预测为第k个标签值的概率为pi,k，第i个样本真实值为第k个标签值的概率为xi,k。
结合各个模块得到的损失，可以获取总损失函数，即：
Ltotal＝u0Llabel_recog+μ1Llabel_edge+μ2Llabel_mask
其中，μ0、μ1和μ2分别是对缺陷识别类型、缺陷位置掩膜和缺陷边缘掩膜损失调整系数，由于缺陷类型识别和缺陷位置定位作为两个主要任务，因此将μ0设置为0.5，将μ1+μ2＝0.5，其中μ1和μ2分别设置为0.25。获取最优模型的目标即为最小化总损失Ltotal。
最后，按照8：2比例划分的训练集和测试集，在训练集上不断计算Ltotal，通过最小化损失值更新网络参数。在一轮迭代完成后，在测试集上对网络性能进行测试，根据评价指标选择保存最优的多任务多尺寸网络模型模型，主要评价标准如下：
Dice系数是通过计算缺陷定位的预测值和真实值的相似度获得，如下：
Figure BDA0003996216130000091
其中，X为模型预测的缺陷位置，Y为真实的缺陷位置；保留Dice系数最大值时缺陷定位模块的网络参数，达到最好的缺陷定位效果。
准确率Accuracy是指分类正确的样本数占总样本数的比例，即：
Figure BDA0003996216130000092
其中，TPi表示“标签为真且分类为真”预测正确的样本，FPi表示“标签为假但分类为真”预测错误的样本；n表示总样本数量。保留Accuracy的最大值时缺陷类型识别模块的网络参数，达到最好的缺陷类型识别效果。
参见图6所示，作为对上述各图所示方法的实现，本实施例提供了一种基于多任务多尺寸网络的电子元器件缺陷识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
具体的，一种基于多任务多尺寸网络的电子元器件缺陷识别装置，包括：
缺陷图像数据集采集模块601，用于采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
图像标注模块602，用于根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
最优模型获取模块603，用于使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
缺陷定位及识别模块604，用于将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
一种基于多任务多尺寸网络的电子元器件缺陷识别系统的具体实现同一种基于多任务多尺寸网络的电子元器件缺陷识别方法，本实施例不再重复说明。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，包括：
S101，采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
S102，根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
S103，使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
S104，将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
2.根据权利要求1所述的基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，所述S101，具体包括：
采集包含光学、超声和红外检测的电子元器件外部缺陷的高清晰度工业级原始RGB图像数据；
基于电子元器件运行正常和产生缺陷的界定标准，获取电子元器件所包括的缺陷类型；
基于电子元器件运行正常和产生缺陷的界定标准，定位电子元器件的缺陷位置并标注，获得缺陷位置掩膜，将缺陷位置掩膜用灰度图进行存储；
根据所述缺陷位置，采用边缘检测算法将获取的缺陷位置掩膜灰度图进行边缘提取操作获得缺陷边缘掩膜，将缺陷边缘掩膜用灰度图进行存储；
采用自适应轮廓外包法将缺陷从原始RGB图像数据中分割出来，保存新的最小正矩形作为缺陷局部图像，并赋予对应缺陷类型标签；
将获取的级原始RGB图像、缺陷位置掩膜图、缺陷边缘掩膜图和缺陷局部图像通过数据增强操作对数据集在数量上和形式上进行扩充。
3.根据权利要求2所述的基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，所述多任务多尺寸网络模型包括缺陷定位模块和缺陷类型识别模块；
所述缺陷定位模块，包括缺陷定位支路、缺陷边缘定位支路和信息融合单元；所述缺陷定位支路以原始RGB图像的RGB特征信息为输入，通过多尺度分支网络获得多分辨率信息；所述缺陷边缘定位支路，将原始RGB图像转换LAB图像的LAB特征信息为输入，采用对称网络结构和特征连接操作，学习边缘信息，获得缺陷边缘掩膜；将边缘信息与多分辨率信息流入信息融合单元，获得预测缺陷位置掩膜；
所述缺陷类型识别模块，将采用自适应轮廓外包最小矩形提取法对缺陷进行分割获取的缺陷信息依次输入具备残差连接的主干网络、注意力单元和分类器中，输出预测缺陷类型。
4.根据权利要求3所述的基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，经过主干网络进行特征提取后，所提取特征信息输入到注意力单元中，如下：
Figure FDA0003996216120000021
其中，dk是缩放比例系数，K是通过U-Net得到矩阵，V是主干网络的输出，Q是经过位置编码得到的矩阵，其中位置编码表示为：
Figure FDA0003996216120000022
Figure FDA0003996216120000023
其中，PE(pos,2i)表示对2i位置进行位置编码的结果；PE(pos,2i+1)表示对2i+1位置进行位置编码的结果；PE是二维矩阵且与输入的向量维度相同，表示为经过位置编码后的矩阵；pos是缺陷所在位置，i代表维度数目，C是设置的通道数目。
5.根据权利要求4所述的基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，所述多任务多尺寸网络模型的损失计算方法，包括：
计算缺陷定位损失Llabel_mask，将通过缺陷定位模块生成的预测缺陷位置掩膜与实际的缺陷位置掩膜采用焦点损失函数进行像素点的损失计算；
计算边缘定位损失Llabel_edge，将通过缺陷定位模块的缺陷边缘定位支路获取的缺陷边缘掩膜与实际的缺陷边缘掩膜利用交叉熵损失函数进行边缘信息损失计算；
计算缺陷类型识别损失Llabel_recog，将通过缺陷类型识别模块预测缺陷类型与实际的缺陷类型标签采用多分类交叉熵损失函数进行缺陷类型识别损失计算；
获取总损失函数：
Ltotal＝μ0Llabel_recog+μ1Llabel_edge+μ2Llabel_mask
其中，μ0、μ1和μ2分别是缺陷类型识别损失、边缘定位损失和缺陷定位损失的调整系数，μ0设置为0.5，1和μ2分别设置为0.25。
6.根据权利要求5所述的基于多任务多尺寸网络的电子元器件缺陷识别方法，其特征在于，S103中，Dice系数是通过计算缺陷定位的预测值和真实值的相似度获得，如下：
Figure FDA0003996216120000024
其中，X为模型预测的缺陷位置，Y为真实的缺陷位置；
准确率Accuracy是指分类正确的样本数占总样本数的比例，即：
Figure FDA0003996216120000031
其中，TPi表示“标签为真且分类为真”预测正确的样本，FPi表示“标签为假但分类为真”预测错误的样本；n表示总样本数量。
7.一种基于多任务多尺寸网络的电子元器件缺陷识别装置，其特征在于，包括：
缺陷图像数据集采集模块，用于采集包括缺陷的多个电子元器件的高清晰度工业级图像，作为缺陷图像数据集；
图像标注模块，用于根据电子元器件运行正常和产生缺陷的界定标准，确定缺陷图像数据集中各电子元器件的缺陷位置和缺陷类型并进行标注，将已标注的图像集划分为训练集和测试集；
最优模型获取模块，用于使用所述训练集对多任务多尺寸网络模型进行训练，获得损失最小的多任务多尺寸网络模型；使用所述测试集对损失最小的多任务多尺寸网络模型进行测试，获得Dice系数和准确率Accuracy最大的最优的多任务多尺寸网络模型；
缺陷定位及识别模块，用于将待识别电子元器件的图像输入最优的多任务多尺寸网络模型，获得待识别电子元器件的缺陷位置及缺陷类型。
CN202211594083.2A 2022-12-13 2022-12-13 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置 Pending CN116228637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211594083.2A CN116228637A (zh) 2022-12-13 2022-12-13 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211594083.2A CN116228637A (zh) 2022-12-13 2022-12-13 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置

Publications (1)

Publication Number Publication Date
CN116228637A true CN116228637A (zh) 2023-06-06

Family

ID=86583227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211594083.2A Pending CN116228637A (zh) 2022-12-13 2022-12-13 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN116228637A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853876A (zh) * 2024-03-08 2024-04-09 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统
CN117853876B (zh) * 2024-03-08 2024-06-11 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853876A (zh) * 2024-03-08 2024-04-09 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统
CN117853876B (zh) * 2024-03-08 2024-06-11 合肥晶合集成电路股份有限公司 一种晶圆缺陷检测模型的训练方法以及系统

Similar Documents

Publication Publication Date Title
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
JP2000137804A (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN116630323B (zh) 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN114494164A (zh) 一种钢材表面缺陷检测方法、装置及计算机存储介质
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114758329A (zh) 基于深度学习预测热成像图中目标区域温度的系统及方法
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN113298767A (zh) 一种能克服反光现象的围棋图谱可靠识别方法
CN114445620A (zh) 一种改进Mask R-CNN的目标分割方法
CN116228637A (zh) 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN111950475A (zh) 一种基于yoloV3的calhe直方图增强型目标识别算法
JP2011141202A (ja) 部品検査装置及びプログラム
CN117132584B (zh) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置
CN114972798B (zh) 一种基于特征纹理增强的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination