CN116188432A - 缺陷检测模型的训练方法、装置及电子设备 - Google Patents

缺陷检测模型的训练方法、装置及电子设备 Download PDF

Info

Publication number
CN116188432A
CN116188432A CN202310184844.5A CN202310184844A CN116188432A CN 116188432 A CN116188432 A CN 116188432A CN 202310184844 A CN202310184844 A CN 202310184844A CN 116188432 A CN116188432 A CN 116188432A
Authority
CN
China
Prior art keywords
defect
image
target
feature
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310184844.5A
Other languages
English (en)
Inventor
方娜
戴昌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Changchuan Technology Co Ltd
Original Assignee
Hangzhou Changchuan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Changchuan Technology Co Ltd filed Critical Hangzhou Changchuan Technology Co Ltd
Priority to CN202310184844.5A priority Critical patent/CN116188432A/zh
Publication of CN116188432A publication Critical patent/CN116188432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种缺陷检测模型的训练方法、装置及电子设备。其中，该方法包括：获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息。本申请解决了由于相关技术中在对晶粒图像进行缺陷识别和分类时直接融合无瑕疵图像和待检测图像造成的计算量大且精度较低。

Description

缺陷检测模型的训练方法、装置及电子设备
技术领域
本申请涉及图像识别领域，具体而言，涉及一种缺陷检测模型的训练方法、装置及电子设备。
背景技术
相关技术中在利用无瑕疵的晶粒图像对待检测晶粒图像进行缺陷识别和分类时，通常不会利用模板图像来辅助识别，通常采用的方法是直接融合待检测晶粒图像和无瑕疵的晶粒图像，然后依据融合后的图像确定待检测图像中的缺陷类别和缺陷位置。这种方式虽然利用了无瑕疵图像来实现对待检测图像的缺陷识别和分类，但是融合图像以及对融合图像进行识别时计算量大，并且精度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种缺陷检测模型的训练方法、装置及电子设备，以至少解决由于相关技术中在对晶粒图像进行缺陷识别和分类时直接融合无瑕疵图像和待检测图像造成的计算量大且精度较低的技术问题。
根据本申请实施例的一个方面，提供了一种缺陷检测模型的训练方法，包括：获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息。
可选地，采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型的步骤包括：第一步，将缺陷图像和模板图像分别输入到待训练模型中，并获取待训练模型输出的第二标签信息；第二步，将第一类别信息和第二类别信息输入到缺陷类别损失函数中，得到第一损失函数值，以及将第一位置信息和第二位置信息输入到缺陷位置损失函数中，得到第二损失函数值，并存储第一损失函数值和第二损失函数值；第三步，采用随机梯度下降法，通过第一损失函数值和第二损失函数值调整待训练模型的模型参数；第四步，获取存储的全部第一损失函数值和第二损失函数值，在第一损失函数值和第二损失函数值符合预设条件的情况下，确定调整后的待训练模型为目标缺陷检测模型，否则跳转到第一步，其中，预设条件包括连续预设数量个第一损失函数值和第二损失函数值的和均位于目标取值区间中。
可选地，将缺陷图像和模板图像分别输入到待训练模型中，并获取待训练模型输出的第二标签信息的步骤包括：将缺陷图像和模板图像输入到待训练模型的主干网络中，其中，主干网络用于提取缺陷图像和模板图像中的图像特征，从而得到缺陷特征图像和模板特征图像；获取待训练模型依据缺陷特征图像和模板特征图像输出的第二标签信息。
可选地，待训练模型还包括特征融合层和特征金字塔层，其中，特征融合层用于依据缺陷特征图像和模板特征图像得到第一目标特征图像，并将第一目标特征图像输入到特征金字塔层中；特征金字塔层用于依据第一目标特征图像输出第二标签信息。
可选地，特征融合层包括第一特征融合层，其中，第一特征融合层，用于对缺陷特征图像和模板特征图像进行差分运算，得到差分特征图像，其中，差分特征图像中任意一个像素点的像素值等于任意一个像素点对应的缺陷像素点和模板像素点的差值绝对值，缺陷像素点为缺陷特征图像中与任意一个像素点对应的像素点，模板像素点为模板特征图像中与任意一个像素点对应的像素点；对差分特征图像和缺陷特征图像进行通道拼接处理，得到第二目标特征图像；通过目标卷积核对第二目标特征图像进行卷积处理，得到第一目标特征图像。
可选地，特征融合层包括第二特征融合层，其中，第二特征融合层，用于通过目标卷积核分别对缺陷特征图像和模板特征图像进行卷积处理，并依据卷积处理后的缺陷特征图像和模板特征图像生成第一目标特征图像，其中，第一目标特征图像中任意一个像素点的像素值等于任意一个像素点对应的缺陷像素点和模板像素点的像素值之和。
可选地，确定调整后的待训练模型为目标缺陷检测模型的步骤包括：获取验证样本集，以及与验证样本集中的每一组样本对应的第三缺陷标签信息，其中，验证样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第三缺陷标签信息包括缺陷图像中各处缺陷的第三类别信息和第三位置信息；在调整后的待训练模型的数量为多个的情况下，通过验证样本集和第三缺陷标签信息确定多个调整后的待训练模型中的每个调整后的待训练模型的平均精度均值；确定平均精度均值最大的调整后的待训练模型为目标缺陷检测模型。
可选地，获取训练样本集的步骤包括：获取第一缺陷图像以及与第一缺陷图像对应的第一模板图像；对第一缺陷图像和第一模板图像采用相同的处理方式进行几何变换处理，并将经过几何变换处理的第一缺陷图像作为缺陷图像样本，将经过结合变换处理的第一模板图像作为模板图像样本，其中，处理方式包括以下至少之一：随机裁剪，图像翻转，图像拼接。
可选地，类别信息包括缺陷的缺陷类别编号，位置信息包括缺陷对应的缺陷框的位置信息。
根据本申请实施例的另一方面，还提供了一种缺陷图像分类方法，包括：确定待检测缺陷图像，以及与待检测缺陷图像对应的模板图像；将待检测缺陷图像和模板图像输入到目标缺陷检测模型中，获取目标缺陷检测模型输出的缺陷位置信息和缺陷类别信息，其中，目标缺陷检测模型用于提取待检测缺陷图像的第三图像特征和模板图像的第四图像特征，并依据三图像特征和第四图像特征输出缺陷位置信息和缺陷类别信息；依据缺陷位置信息确定待检测缺陷图像中距离待检测缺陷图像的中心点最近的预设数量个目标缺陷；确定预设数量个目标缺陷中的每个目标缺陷的类别置信度，并确定类别置信度最大的目标缺陷的缺陷类别为待检测缺陷图像的缺陷类别。
根据本申请实施例的另一方面，还提供了一种缺陷检测模型的训练装置，包括：输入模块，用于获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；第一处理模块，用于确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；第二处理模块，用于采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行缺陷模型的训练方法，或缺陷图像分类方法。
根据本申请实施例的另一方面，还提供了一种电子设备，电子设备包括存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行缺陷检测模型的训练方法，或缺陷图像分类方法。
在本申请实施例中，采用获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息的方式，通过采用包含缺陷图像和模板图像的训练样本集以及缺陷标签信息训练缺陷检测模型，达到了获得在缺陷识别过程中可利用模板图像的缺陷检测模型的目的，从而实现了在对晶粒图像进行缺陷识别和分类的过程中可以利用模板图像来辅助分类识别的技术效果，进而解决了由于相关技术中在对晶粒图像进行缺陷识别和分类时没有利用模板图像造成的识别和分类结果不佳技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种计算机终端的结构示意图；
图2是根据本申请实施例的一种缺陷检测模型的训练方法的流程示意图；
图3a是根据本申请实施例的一种黄金晶粒图像的示意图；
图3b是根据本申请实施例的一种缺陷图像和模板图像的示意图；
图4是根据本申请实施例的一种训练样本集获取方法的流程示意图；
图5是根据本申请实施例的一种基于训练样本集和缺陷标签信息训练缺陷检测模型的训练方法的流程示意图；
图6是根据本申请实施例的一种获取第二标签信息的方法流程示意图；
图7是根据本申请实施例的一种缺陷检测模型的模型结构示意图；
图8是根据本申请实施例的另一种缺陷检测模型的模型结构示意图；
图9是根据本申请实施例的一种缺陷检测模型的筛选方法的流程示意图；
图10是根据本申请实施例的一种缺陷图像分类方法的流程示意图；
图11是根据本申请实施例的一种模型训练及分类流程的流程示意图；
图12是根据本申请实施例的一种缺陷模型的训练装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着半导体器件技术的发展，用于制造半导体器件的工艺越来越多，其主要目的是在晶粒中制作电路及电子元件，如晶体管、电容和逻辑开关等等，例如，通过在晶粒表面进行氧化及化学气相沉积，然后涂膜、曝光、显影、刻蚀、离子植入、金属溅镀等步骤，并最终在晶粒上完成数层电路及元件加工与制作。然而，由于制造过程中的每个工艺都有一定的复杂度，因此，每个工艺流程对晶粒的处理都有可能会在不同层产生一些不符预期的结构，并且这些结构会造成芯片上电路无法正常工作，这种结构通常称之为晶粒缺陷。
为了消除晶粒缺陷，芯片制造流程中会在众多关键工序后都安排晶粒缺陷检测的步骤，用于监控关键工艺，确保其正确性。但由于芯片制造的工艺流程极其复杂，晶粒缺陷类型繁多，所以目前没有一个统一的分类方式。目前AOI(Automated Optical Inspection，自动光学检测设备)通常使用传统视觉即图像差分(目标晶粒和黄金晶粒)或阈值分割的检测算法对晶粒上缺陷进行定位检测。但是由于晶粒背景复杂，工艺繁多，晶粒的样式迥异，使用传统视觉算法虽然能实现缺陷定位，但手动提取缺陷特征进行分类几乎是不可能完成的事情，往往在制定了一系列的规则(缺陷图形及其缺陷形状大小、缺陷位置区域的灰度值以及缺陷信号强度等信息)后筛选获得的类别结果并不准确，存在很多的过检和误检现象，所以大多时候，晶粒缺陷分类很大程度上依赖于原始的人工复检的方式，而人工分类操作存在速度慢、一致性/可靠性差的缺点，且极易受到外界因素的干扰影响，这使得晶粒缺陷分类存在一定的技术瓶颈。
另外近些年来随着深度学习算法及硬件设备的快速研究和发展，尤其是神经网络在目标分类、目标检测、目标分割领域的迭代优化，使半导体领域的自动化缺陷检测/分类越来越多得运用到深度学习算法技术，获得越来越高的检测/分类精度。
但是，相关技术中在进行缺陷识别和分类时依赖于特征提取技术，而背景复杂的晶粒上的缺陷仅仅靠若干人工选择的特征进行识别，所得到的模型分类性能是有限的。卷积神经网络能自动学习提取适合分类的特征，提高了检测分类性能。但实际生产中晶粒背景复杂，纹路繁多，缺陷特征不明显，不同种类缺陷之间特征类似不易区分，如何忽略掉无用的背景而准确得提取出感兴趣的缺陷区域的特征，是晶粒缺陷检测分类问题的重难点。因此，存在无法高效准确地确定晶粒图像中的故障类型以及对故障进行分类的问题。为了解决该问题，本申请实施例中提供了相关的解决方案，以下详细说明。
根据本申请实施例，提供了一种缺陷检测模型的训练方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现缺陷检测模型的训练方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的缺陷检测模型的训练方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的缺陷检测模型的训练方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下，本申请实施例提供了一种缺陷检测模型的训练方法，如图2所示，该方法包括如下步骤：
步骤S202，获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；
在步骤S202所提供的技术方案中，样本图像中的缺陷图像和模板图像如图3b所示。从图3b中可以看出，模板图像和缺陷图像对应的是晶粒图像中的同一位置，区别仅在于模板图像中没有缺陷或瑕疵。
作为一种可选地实施方式，可以通过确定缺陷图像在晶粒图像中的位置信息后，依据该位置信息从如图3a所示的黄金晶粒图像中获取对应的模板图像，其中，黄金晶粒图像指的是无任何缺陷或瑕疵的图像。黄金晶粒图像通产会存储在AOI检测设备中。
另外，步骤S202中所述的第一类别信息包括缺陷的类别编号。具体地，可以提前确定晶粒图像中需要识别的缺陷类别和对应的类别编号，例如，假设需要识别的缺陷类别包括开口脏污、线路脏污、开口破损、线路蚀刻、胶面破损、显影不良、线路桥接、压边等八种类别，对应的类别编号可以依次取{0,1,2,3,4,5,6,7}。
步骤S202中所述的第一位置信息包括缺陷对应的缺陷框在图像中的坐标信息。具体地，可以使用labelImg等工具对缺陷图像中的所有缺陷进行缺陷框标注，并且在标注的过程中，可以筛选掉无法进行分析标注的图像。
可选地，上述第一缺陷标签信息可以以标签文件的形式保存。其中，标签文件中的每一行会记录缺陷图像中的一个缺陷的相关信息，格式为：[x0,y0,x1,y1,类别标号]，其中x0表示缺陷框的左上角横坐标，y0表示缺陷框左上角纵坐标，x1表示缺陷框右下角横坐标，y1表示缺陷框右下角纵坐标。由于缺陷框的边分别与缺陷图像的一条边平行，因此仅需要缺陷框左上角和右下角的两个坐标即可确定缺陷框的位置，进而确定缺陷的位置。需要说明的是，缺陷框的左上角和右下角的坐标是这两个点在缺陷平面直角坐标系中的坐标，缺陷平面直角坐标系是在缺陷图像中建立的平面直角坐标系。
作为一种可选地实施方式，为了实现以有限的晶粒缺陷数据高效训练缺陷检测模型，还可以采用如图4所示的训练样本集获取方法来对训练样本集进行处理。如图4所示，包括以下步骤：
步骤S402，获取第一缺陷图像以及与第一缺陷图像对应的第一模板图像；
步骤S404，对第一缺陷图像和第一模板图像采用相同的处理方式进行几何变换处理，并将经过几何变换处理的第一缺陷图像作为缺陷图像样本，将经过结合变换处理的第一模板图像作为模板图像样本，其中，处理方式包括以下至少之一：随机裁剪，图像翻转，图像拼接。
具体地，随机裁剪的裁剪尺度范围可以自行设定，例如可以设定为原图尺寸的70％到130％，其中裁剪后得到的图像的空白部分像素值可以设定为零。翻转时可以按照预设概率对图像中的多行像素或多列像素进行水平或竖直翻转。图像拼接则可以采用R-Stitch拼接等方式来对图像进行处理。
这样对样本数据进行梳理后，间接增加了训练过程的训练批次，解决了类别分布不均衡的问题，增加了样本的多样性，有效地放置了训练过程中过拟合现象的发生，并且韩了模型对待检测图片尺寸大小的鲁棒性。
步骤S204，确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；
在步骤S204所提供的技术方案中，缺陷类别损失函数可以为交叉熵损失函数，缺陷位置损失函数可以为平滑L1损失函数。
步骤S206，采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息。
在步骤S206所提供的技术方案中，对目标缺陷检测模型进行训练的具体流程如图5所示，包括以下步骤：
步骤S502，将缺陷图像和模板图像分别输入到待训练模型中，并获取待训练模型输出的第二标签信息，其中，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息；
步骤S504，将第一类别信息和第二类别信息输入到缺陷类别损失函数中，得到第一损失函数值，以及将第一位置信息和第二位置信息输入到缺陷位置损失函数中，得到第二损失函数值，并存储第一损失函数值和第二损失函数值；
步骤S506，采用随机梯度下降法，通过第一损失函数值和第二损失函数值调整待训练模型的模型参数；
需要说明的是，可以加载官方的预训练权重作为待训练模型的初始模型参数。由于官方提供的预训练权重是在包含了大量样本图像的开源数据集ImageNet上训练得到的，因此采用预训练权重可以使待训练模型更能学习到目标底层的特征，极大程度缓解因训练样本集中的样本数量过少导致的过拟合问题，并且可以加快模型收敛速度。
步骤S508，获取存储的全部第一损失函数值和第二损失函数值，在第一损失函数值和第二损失函数值符合预设条件的情况下，确定调整后的待训练模型为目标缺陷检测模型，否则跳转到步骤S502。
上述预设条件可以是第一损失函数值和第二损失函数值均不再发生波动。例如，连续预设数量个第一损失函数值中任意两个第一损失函数值之间的差值小于第一预设差值，并且连续预设数量个第二损失函数值中任意两个第二损失函数值之间的差值小于第二预设差值。
具体地，使用常见的交叉熵损失作为类别的损失计算函数，平滑L1损失作为真实坐标框的损失计算函数，并采用经典的随机梯度下降法(SGD,Stochastic GradientDescent)作为网络反向传播的优化器。将训练集批量喂入上述待训练模型中，进行神经网络的前向传播过程计算得到输出(第二标签信息)后，同真实值(第一标签信息)对比计算出损失函数值，再通过反向传播过程(梯度下降法)更新模型参数，一直反复迭代训练直至损失函数值保持平稳不再显著变化时停止训练。
在步骤S502所提供的技术方案中，获取第二标签信息的具体方法如图6所示，包括以下步骤：
步骤S602，将缺陷图像和模板图像输入到待训练模型的主干网络中，其中，主干网络用于提取缺陷图像和模板图像中的图像特征，从而得到缺陷特征图像和模板特征图像；
步骤S604，获取待训练模型依据缺陷特征图像和模板特征图像输出的第二标签信息。
可选地，本申请实施例中所提供的待训练模型和相关技术中的模型相比，由于需要同时输入缺陷图像和模板图像，因此会有两个结构相同的主干网络同时提取缺陷图像和模板图像的图像特征。其中主干网络的结构可以根据现有的硬件内存条件选择合适的参数量和网络类型，如VGG系列、ResNet系列、RegNet系列、Efficient系列、MobileNet系列等。
本申请实施例中所提供的待训练模型还包括特征融合层和特征金字塔层，其中，特征融合层用于依据缺陷特征图像和模板特征图像得到第一目标特征图像，并将第一目标特征图像输入到特征金字塔层中；特征金字塔层用于依据第一目标特征图像输出第二标签信息。
具体地，作为一种可选地实施方式，如图7所示，上述特征融合层包括第一特征融合层。其中，第一特征融合层，用于对缺陷特征图像和模板特征图像进行差分运算，得到差分特征图像，其中，差分特征图像中任意一个像素点的像素值等于任意一个像素点对应的缺陷像素点和模板像素点的差值绝对值，缺陷像素点为缺陷特征图像中与任意一个像素点对应的像素点，模板像素点为模板特征图像中与任意一个像素点对应的像素点；对差分特征图像和缺陷特征图像进行通道拼接处理，得到第二目标特征图像；通过目标卷积核对第二目标特征图像进行卷积处理，得到第一目标特征图像。
在一些实施例中，待训练模型的结构也可以如图8所示。从图8中可以看出，上述特征融合层包括第二特征融合层，其中，第二特征融合层，用于通过目标卷积核分别对所述缺陷特征图像和所述模板特征图像进行卷积处理，并依据卷积处理后的所述缺陷特征图像和所述模板特征图像生成所述第一第一目标特征图像，其中，所述第一第一目标特征图像中任意一个像素点的像素值等于所述任意一个像素点对应的缺陷像素点和模板像素点的像素值之和。
图7和图8中所示的待训练模型均可实现高效利用模板图像的信息对缺陷图像中的缺陷或瑕疵进行定位，区别在于图7中所示的模型是先得到缺陷图像和模板图像的差分图，再对差分图和缺陷图像进行通道拼接(也就是图像通道上的相加，相当于扩充为特征图原有通道数的两倍)，然后通过1×1的卷积核进行降通道处理后送入后续的特征金字塔层。而图8中所体用的方案是直接叠加缺陷图像和模板图像，然后送入后续的特征金字塔层。
为了保证训练效果，还可以同时对多个待训练模型进行训练，并在训练完成后向每个模型中输入验证集，进行mAP(mean Average Precision，平均精度均值)的计算，并选取mAP最高的模型为最终得到的目标模型。具体流程如图9所示，包括以下步骤：
步骤S902，获取验证样本集，以及与验证样本集中的每一组样本对应的第三缺陷标签信息，其中，验证样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第三缺陷标签信息包括缺陷图像中各处缺陷的第三类别信息和第三位置信息；
需要说明的是，验证样本集可以采用与训练样本集相同的处理方法，对验证样本集中的图像进行几何变换处理。
步骤S904，在调整后的待训练模型的数量为多个的情况下，通过验证样本集和第三缺陷标签信息确定多个调整后的待训练模型中的每个调整后的待训练模型的平均精度均值；
步骤S906，确定平均精度均值最大的调整后的待训练模型为目标缺陷检测模型。
通过获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，实现了基于模板图特征匹配的晶粒缺陷检测及分类，充分得利用了前道检测工序中获得的晶粒背景信息，将由无瑕疵黄金die中截取的模板图与瑕疵图一同作为网络模型的输入端，对特征提取之后的特征图进行了匹配融合，这种方法高效得使用到模板图的信息，避免了复杂背景电路板的干扰，且由于神经网络的平移不变性，有效地减少了模板图和瑕疵图轻微不对齐造成的影响，减轻了对数据预处理的依赖。与传统的视觉检测算法和单一输入网络的神经网络模型相比，不但解决了传统的视觉检测算法在复杂背景的晶粒缺陷分类时过于依赖人工提取特征的问题，也解决了单一输入网络忽略AOI设备中特有的黄金晶粒信息，无法合理利用已有的晶粒背景信息进行瑕疵特征提取的问题。
另外，虽然本申请实施例中提供的待检测模型可以同时输入缺陷图像和模板图像，但是由于两个图像使用的主干网络相同，因此模型的参数量几乎没有增加，保证了模型的推理速度。
并且本申请实施例中采用了预训练权重微调及在线的随机几何变换、拼接等数据增强的方法，在不额外增加数据量(数据存储空间)的同时，解决了类别分布不均衡的问题，增加了样本的多样性，有效得防止了网络训练过程中过拟合现象的发生且改善了模型对待检测图片尺寸大小的鲁棒性。
而且本申请中的特征匹配融合模型结构适用于任何神经网络的改造，包括分类、检测、分割等，不限于晶粒缺陷检测领域，而适用于所有复杂背景场景下的瑕疵检测领域，具有较强的通用性。
本申请实施例提供了一种缺陷图像分类方法，图10是缺陷图像分类方法的流程示意图，如图10所示，包括以下步骤：
步骤S1002，确定待检测缺陷图像，以及与待检测缺陷图像对应的模板图像；
步骤S1004，将待检测缺陷图像和模板图像输入到目标缺陷检测模型中，获取目标缺陷检测模型输出的缺陷位置信息和缺陷类别信息，其中，目标缺陷检测模型用于提取待检测缺陷图像的第三图像特征和模板图像的第四图像特征，并依据三图像特征和第四图像特征输出缺陷位置信息和缺陷类别信息；
步骤S1006，依据缺陷位置信息确定待检测缺陷图像中距离待检测缺陷图像的中心点最近的预设数量个目标缺陷；
步骤S1008，确定预设数量个目标缺陷中的每个目标缺陷的类别置信度，并确定类别置信度最大的目标缺陷的缺陷类别为待检测缺陷图像的缺陷类别。
具体地，在得到缺陷图像中所有缺陷的位置与类别标签，这时选择距离图像中心点最近的topk(k可取任意值，如3)的检测框中类别置信度最大的类别作为当前图片的最终瑕疵类别。
由于实际生产中获得的瑕疵图中可能存在多个不同种类不同位置的缺陷，所以采用简单的分类网络往往不能够得到准确的关注区域类别(单分类模型可能不会收敛，多分类模型无法确定类别位置)，本申请实施例中设计了通过目标检测模型先对瑕疵图进行缺陷的定位分类检测，再通过与关注区域的距离和类别置信度判定最终的类别，保证了模型的正常收敛的同时得到准确的类别标签。
本申请实施例还提供了一种模型训练及图像分类的实际应用流程。图11是模型训练及分类流程的流程示意图。如图11所示，首先在模型训练过程中，在获取了瑕疵图后，AOI设备可以根据瑕疵图在黄金Die(晶粒)图像中截取对应的模板图，并生成缺陷图像的标签文件。然后可以对缺陷图像和模板图像进行几何变化、R-stitch拼接等处理。在处理完成后，将处理后的图片按照一定的比例分为训练集和验证集。其中，训练集用于对待训练模型进行训练，在训练过程中，可以通过构建损失函数来确定训练流程是否完成，并通过反向传播法来更新模型参数。具体地，可以在损失函数的函数值保持平稳时确定训练完成。在使用验证集验证训练完成的模型时，可以将验证集输入到训练完成的模型中，并计算各个模型对应的mAP，确定mAP最高的模型为最终得到的最佳模型。
在将最佳模型应用到图像分类的任务中时，首先AOI设备会根据待检测图像从黄金Die图像中截取得到对应的模板图像，并将模板图像和待检测图像输入到最佳模型中。最佳模型会确定待检测图像中的全部瑕疵的位置及种类，并根据距离待检测图像中心最近的几个瑕疵框的类别确定待检测图像的类别，具体来说可以将这几个瑕疵框中置信度最高的瑕疵框对应的缺陷类别作为待检测图像的类别。
本申请实施例提供了一种缺陷检测模型的训练装置，图12是该装置的结构示意图。如图12所示，该装置包括：输入模块120，用于获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；第一处理模块122，用于确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；第二处理模块124，用于采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息。
在本申请的一些实施例中，第二处理模块124采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型的步骤包括：第一步，将缺陷图像和模板图像分别输入到待训练模型中，并获取待训练模型输出的第二标签信息，其中，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息；第二步，将第一类别信息和第二类别信息输入到缺陷类别损失函数中，得到第一损失函数值，以及将第一位置信息和第二位置信息输入到缺陷位置损失函数中，得到第二损失函数值，并存储第一损失函数值和第二损失函数值；第三步，采用随机梯度下降法，通过第一损失函数值和第二损失函数值调整待训练模型的模型参数；第四步，获取存储的全部第一损失函数值和第二损失函数值，在连续预设数量个第一损失函数值中任意两个第一损失函数值之间的差值小于第一预设差值，并且连续预设数量个第二损失函数值中任意两个第二损失函数值之间的差值小于第二预设差值的情况下，确定调整后的待训练模型为目标缺陷检测模型，否则跳转到第一步。
在本申请的一些实施例中，第二处理模块124将缺陷图像和模板图像分别输入到待训练模型中，并获取待训练模型输出的第二标签信息的步骤包括：将缺陷图像和模板图像输入到待训练模型的主干网络中，其中，主干网络用于提取缺陷图像和模板图像中的图像特征，从而得到缺陷特征图像和模板特征图像；获取待训练模型依据缺陷特征图像和模板特征图像输出的第二标签信息。
在本申请的一些实施例中，待训练模型还包括特征融合层和特征金字塔层，其中，特征融合层用于依据缺陷特征图像和模板特征图像得到第一目标特征图像，并将第一目标特征图像输入到特征金字塔层中；特征金字塔层用于依据第一目标特征图像输出第二标签信息。
在本申请的一些实施例中，特征融合层包括第一特征融合层，其中，第一特征融合层，用于对缺陷特征图像和模板特征图像进行差分运算，得到差分特征图像，其中，差分特征图像中任意一个像素点的像素值等于任意一个像素点对应的缺陷像素点和模板像素点的差值绝对值，缺陷像素点为缺陷特征图像中与任意一个像素点对应的像素点，模板像素点为模板特征图像中与任意一个像素点对应的像素点；对差分特征图像和缺陷特征图像进行通道拼接处理，得到第二第一目标特征图像；通过目标卷积核对第二第一目标特征图像进行卷积处理，得到第一第一目标特征图像。
在本申请的一些实施例中，特征融合层包括第二特征融合层，其中，第二特征融合层，用于通过目标卷积核分别对缺陷特征图像和模板特征图像进行卷积处理，并依据卷积处理后的缺陷特征图像和模板特征图像生成第一第一目标特征图像，其中，第一第一目标特征图像中任意一个像素点的像素值等于任意一个像素点对应的缺陷像素点和模板像素点的像素值之和。
在本申请的一些实施例中，第二处理模块124确定调整后的待训练模型为目标缺陷检测模型的步骤包括：获取验证样本集，以及与验证样本集中的每一组样本对应的第三缺陷标签信息，其中，验证样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第三缺陷标签信息包括缺陷图像中各处缺陷的第三类别信息和第三位置信息；在调整后的待训练模型的数量为多个的情况下，通过验证样本集和第三缺陷标签信息确定多个调整后的待训练模型中的每个调整后的待训练模型的平均精度均值；确定平均精度均值最大的调整后的待训练模型为目标缺陷检测模型。
在本申请的一些实施例中，输入模块120获取训练样本集的步骤包括：获取第一缺陷图像以及与第一缺陷图像对应的第一模板图像；对第一缺陷图像和第一模板图像采用相同的处理方式进行几何变换处理，并将经过几何变换处理的第一缺陷图像作为缺陷图像样本，将经过结合变换处理的第一模板图像作为模板图像样本，其中，处理方式包括以下至少之一：随机裁剪，图像翻转，图像拼接。
在本申请的一些实施例中，类别信息包括缺陷的缺陷类别编号，位置信息包括缺陷对应的缺陷框的位置信息。
需要说明的是，上述缺陷检测模型的训练装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合)，也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。
本申请实施例还提供了一种非易失性存储介质。非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行如下缺陷检测模型的训练方法：获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息。
在本申请的一些实施例中，在程序运行时还可以控制非易失性存储介质所在设备执行如下缺陷图像分类方法：确定待检测缺陷图像，以及与待检测缺陷图像对应的模板图像；将待检测缺陷图像和模板图像输入到目标缺陷检测模型中，获取目标缺陷检测模型输出的缺陷位置信息和缺陷类别信息，其中，目标缺陷检测模型用于提取待检测缺陷图像的第三图像特征和模板图像的第四图像特征，并依据三图像特征和第四图像特征输出缺陷位置信息和缺陷类别信息；依据缺陷位置信息确定待检测缺陷图像中距离待检测缺陷图像的中心点最近的预设数量个目标缺陷；确定预设数量个目标缺陷中的每个目标缺陷的类别置信度，并确定类别置信度最大的目标缺陷的缺陷类别为待检测缺陷图像的缺陷类别。
本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行如下缺陷检测模型的训练方法：获取训练样本集，以及与训练样本集中的每一组样本对应的第一缺陷标签信息，其中，训练样本集中的每一组样本包括缺陷图像，以及与缺陷图像对应的模板图像，第一缺陷标签信息包括缺陷图像中各处缺陷的第一类别信息和第一位置信息；确定目标损失函数，其中，目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；采用随机梯度下降法，通过训练样本集，缺陷标签信息和目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，待训练模型用于提取缺陷图像的第一图像特征和模板图像的第二图像特征，并依据第一图像特征和第二图像特征输出缺陷图像的第二标签信息，第二标签信息中包括待训练模型确定的缺陷图像中各处缺陷的第二类别信息和第二位置信息。
在本申请的一些实施例中，在程序运行时还可以执行如下缺陷图像分类方法：确定待检测缺陷图像，以及与待检测缺陷图像对应的模板图像；将待检测缺陷图像和模板图像输入到目标缺陷检测模型中，获取目标缺陷检测模型输出的缺陷位置信息和缺陷类别信息，其中，目标缺陷检测模型用于提取待检测缺陷图像的第三图像特征和模板图像的第四图像特征，并依据三图像特征和第四图像特征输出缺陷位置信息和缺陷类别信息；依据缺陷位置信息确定待检测缺陷图像中距离待检测缺陷图像的中心点最近的预设数量个目标缺陷；确定预设数量个目标缺陷中的每个目标缺陷的类别置信度，并确定类别置信度最大的目标缺陷的缺陷类别为待检测缺陷图像的缺陷类别。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种缺陷检测模型的训练方法，其特征在于，包括：
获取训练样本集，以及与所述训练样本集中的每一组样本对应的第一缺陷标签信息，其中，所述训练样本集中的每一组样本包括缺陷图像，以及与所述缺陷图像对应的模板图像，所述第一缺陷标签信息包括所述缺陷图像中各处缺陷的第一类别信息和第一位置信息；
确定目标损失函数，其中，所述目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；
采用随机梯度下降法，通过所述训练样本集，所述缺陷标签信息和所述目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，所述目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，所述待训练模型用于提取所述缺陷图像的第一图像特征和所述模板图像的第二图像特征，并依据所述第一图像特征和所述第二图像特征输出所述缺陷图像的第二标签信息，所述第二标签信息中包括所述待训练模型确定的所述缺陷图像中各处缺陷的第二类别信息和第二位置信息。
2.根据权利要求1所述的缺陷检测模型的训练方法，其特征在于，所述采用随机梯度下降法，通过所述训练样本集，所述缺陷标签信息和所述目标损失函数对待训练模型进行训练，得到目标缺陷检测模型的步骤包括：
第一步，将所述缺陷图像和所述模板图像分别输入到所述待训练模型中，并获取所述待训练模型输出的第二标签信息；
第二步，将所述第一类别信息和所述第二类别信息输入到所述缺陷类别损失函数中，得到第一损失函数值，以及将所述第一位置信息和第二位置信息输入到所述缺陷位置损失函数中，得到第二损失函数值，并存储所述第一损失函数值和所述第二损失函数值；
第三步，采用随机梯度下降法，通过所述第一损失函数值和所述第二损失函数值调整所述待训练模型的模型参数；
第四步，获取存储的全部所述第一损失函数值和所述第二损失函数值，在所述第一损失函数值和所述第二损失函数值符合预设条件的情况下，确定调整后的所述待训练模型为所述目标缺陷检测模型，否则跳转到第一步，其中，所述预设条件包括连续预设数量个所述第一损失函数值和所述第二损失函数值的和均位于目标取值区间中。
3.根据权利要求2所述的缺陷检测模型的训练方法，其特征在于，所述将所述缺陷图像和所述模板图像分别输入到所述待训练模型中，并获取所述待训练模型输出的第二标签信息的步骤包括：
将所述缺陷图像和所述模板图像输入到所述待训练模型的主干网络中，其中，所述主干网络用于提取所述缺陷图像和所述模板图像中的图像特征，从而得到缺陷特征图像和模板特征图像；
获取所述待训练模型依据所述缺陷特征图像和所述模板特征图像输出的所述第二标签信息。
4.根据权利要求3所述的缺陷检测模型的训练方法，其特征在于，所述待训练模型还包括特征融合层和特征金字塔层，其中，
所述特征融合层用于依据所述缺陷特征图像和所述模板特征图像得到第一目标特征图像，并将所述第一目标特征图像输入到所述特征金字塔层中；
所述特征金字塔层用于依据所述第一目标特征图像输出所述第二标签信息。
5.根据权利要求4所述的缺陷检测模型的训练方法，其特征在于，所述特征融合层包括第一特征融合层，其中，
所述第一特征融合层，用于对所述缺陷特征图像和所述模板特征图像进行差分运算，得到差分特征图像，其中，所述差分特征图像中任意一个像素点的像素值等于所述任意一个像素点对应的缺陷像素点和模板像素点的差值绝对值，所述缺陷像素点为所述缺陷特征图像中与所述任意一个像素点对应的像素点，所述模板像素点为所述模板特征图像中与所述任意一个像素点对应的像素点；对所述差分特征图像和所述缺陷特征图像进行通道拼接处理，得到第二目标特征图像；通过目标卷积核对所述第二目标特征图像进行卷积处理，得到所述第一目标特征图像。
6.根据权利要求4所述的缺陷检测模型的训练方法，其特征在于，所述特征融合层包括第二特征融合层，其中，
所述第二特征融合层，用于通过目标卷积核分别对所述缺陷特征图像和所述模板特征图像进行卷积处理，并依据卷积处理后的所述缺陷特征图像和所述模板特征图像生成所述第一目标特征图像，其中，所述第一目标特征图像中任意一个像素点的像素值等于所述任意一个像素点对应的缺陷像素点和模板像素点的像素值之和。
7.根据权利要求2所述的缺陷检测模型的训练方法，其特征在于，所述确定调整后的所述待训练模型为所述目标缺陷检测模型的步骤包括：
获取验证样本集，以及与所述验证样本集中的每一组样本对应的第三缺陷标签信息，其中，所述验证样本集中的每一组样本包括缺陷图像，以及与所述缺陷图像对应的模板图像，所述第三缺陷标签信息包括所述缺陷图像中各处缺陷的第三类别信息和第三位置信息；
在调整后的所述待训练模型的数量为多个的情况下，通过所述验证样本集和所述第三缺陷标签信息确定多个调整后的所述待训练模型中的每个调整后的所述待训练模型的平均精度均值；
确定平均精度均值最大的调整后的所述待训练模型为所述目标缺陷检测模型。
8.根据权利要求1所述的缺陷检测模型的训练方法，其特征在于，所述获取训练样本集的步骤包括：
获取第一缺陷图像以及与所述第一缺陷图像对应的第一模板图像；
对所述第一缺陷图像和所述第一模板图像采用相同的处理方式进行几何变换处理，并将经过所述几何变换处理的第一缺陷图像作为所述缺陷图像样本，将经过所述几何变换处理的第一模板图像作为所述模板图像样本，其中，所述处理方式包括以下至少之一：随机裁剪，图像翻转，图像拼接。
9.根据权利要求1所述的缺陷检测模型的训练方法，其特征在于，所述类别信息包括所述缺陷的缺陷类别编号，所述位置信息包括所述缺陷对应的缺陷框的位置信息。
10.一种缺陷图像分类方法，其特征在于，包括：
确定待检测缺陷图像，以及与所述待检测缺陷图像对应的模板图像；
将所述待检测缺陷图像和所述模板图像输入到目标缺陷检测模型中，获取所述目标缺陷检测模型输出的缺陷位置信息和缺陷类别信息，其中，所述目标缺陷检测模型用于提取所述待检测缺陷图像的第三图像特征和所述模板图像的第四图像特征，并依据所述三图像特征和所述第四图像特征输出所述缺陷位置信息和所述缺陷类别信息；
依据所述缺陷位置信息确定所述待检测缺陷图像中距离所述待检测缺陷图像的中心点最近的预设数量个目标缺陷；
确定所述预设数量个目标缺陷中的每个目标缺陷的类别置信度，并确定所述类别置信度最大的目标缺陷的缺陷类别为所述待检测缺陷图像的缺陷类别。
11.一种缺陷检测模型的训练装置，其特征在于，包括：
输入模块，用于获取训练样本集，以及与所述训练样本集中的每一组样本对应的第一缺陷标签信息，其中，所述训练样本集中的每一组样本包括缺陷图像，以及与所述缺陷图像对应的模板图像，所述第一缺陷标签信息包括所述缺陷图像中各处缺陷的第一类别信息和第一位置信息；
第一处理模块，用于确定目标损失函数，其中，所述目标损失函数包括缺陷类别损失函数和缺陷位置损失函数；
第二处理模块，用于采用随机梯度下降法，通过所述训练样本集，所述缺陷标签信息和所述目标损失函数对待训练模型进行训练，得到目标缺陷检测模型，其中，所述目标缺陷检测模型用于确定待检测缺陷图像中的缺陷位置信息和缺陷类别信息，所述待训练模型用于提取所述缺陷图像的第一图像特征和所述模板图像的第二图像特征，并依据所述第一图像特征和所述第二图像特征输出所述缺陷图像的第二标签信息，所述第二标签信息中包括所述待训练模型确定的所述缺陷图像中各处缺陷的第二类别信息和第二位置信息。
12.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至9中任意一项所述的缺陷检测模型的训练方法，或权利要求10中所述的缺陷图像分类方法。
13.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至9中任意一项所述的缺陷检测模型的训练方法，或权利要求10中所述的缺陷图像分类方法。
CN202310184844.5A 2023-02-17 2023-02-17 缺陷检测模型的训练方法、装置及电子设备 Pending CN116188432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184844.5A CN116188432A (zh) 2023-02-17 2023-02-17 缺陷检测模型的训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184844.5A CN116188432A (zh) 2023-02-17 2023-02-17 缺陷检测模型的训练方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116188432A true CN116188432A (zh) 2023-05-30

Family

ID=86447369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184844.5A Pending CN116188432A (zh) 2023-02-17 2023-02-17 缺陷检测模型的训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116188432A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116542980B (zh) * 2023-07-06 2023-11-03 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Similar Documents

Publication Publication Date Title
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN116188432A (zh) 缺陷检测模型的训练方法、装置及电子设备
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
US20190197356A1 (en) Data generation apparatus, data generation method, and data generation program
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
CN115631178B (zh) 自动晶圆缺陷检测方法、系统、设备及存储介质
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
TW202242390A (zh) 缺陷檢查裝置、缺陷檢查方法以及製造方法
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN111758117A (zh) 检查系统、识别系统以及学习数据生成装置
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114549390A (zh) 电路板检测方法、电子装置及存储介质
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN117355038A (zh) 用于线路板软板的x型孔加工方法及其系统
CN110751225A (zh) 图像分类方法、装置及存储介质
CN113313704B (zh) 一种集成电路引脚检测方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination