CN116503410A - 半导体缺陷识别方法、装置、终端设备以及存储介质 - Google Patents

半导体缺陷识别方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN116503410A
CN116503410A CN202310773260.1A CN202310773260A CN116503410A CN 116503410 A CN116503410 A CN 116503410A CN 202310773260 A CN202310773260 A CN 202310773260A CN 116503410 A CN116503410 A CN 116503410A
Authority
CN
China
Prior art keywords
picture
chip
detected
defect
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310773260.1A
Other languages
English (en)
Inventor
黄秀金
廖红虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bohui Intelligent Technology Co ltd
Original Assignee
Shenzhen Bohui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bohui Intelligent Technology Co ltd filed Critical Shenzhen Bohui Intelligent Technology Co ltd
Priority to CN202310773260.1A priority Critical patent/CN116503410A/zh
Publication of CN116503410A publication Critical patent/CN116503410A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种半导体缺陷识别方法、装置、终端设备以及存储介质，其方法包括：获取待检测的芯片对齐图片；将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。本发明解决了半导体缺陷识别准确率低下的问题，增强了半导体缺陷识别的自适应性，提高了半导体缺陷识别的效率。

Description

半导体缺陷识别方法、装置、终端设备以及存储介质
技术领域
本发明涉及半导体检测技术领域，尤其涉及一种半导体缺陷识别方法、装置、终端设备以及存储介质。
背景技术
当前缺陷检测基本上都是采用基于深度学习的物体检测算法，深度学习物体检测算法需要大量的缺陷标注数据才能达到令人满意的效果。但是在半导体领域，由于缺陷种类较多，收集和标注缺陷数据都是需要耗费大量的时间和人力，尤其是数据标注。因为数据标注必须要有经验的专业人士在已采集的图片中准确判定出缺陷类别及其所在位置，并用标注工具标识出来。
同时，不同缺陷类别之间的收集难度也存在巨大的差异，有些缺陷很难收集到合适多的样本，这也造成了在训练物体检测算法模型时带来了巨大的困难。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种半导体缺陷识别方法、装置、终端设备以及存储介质，旨在解决缺陷检测算法对缺陷类别检测率低的技术问题。
为实现上述目的，本发明提供一种半导体缺陷识别方法，所述半导体缺陷识别方法包括：
获取待检测的芯片对齐图片；
将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到
可选的，所述获取待检测的芯片对齐图片的步骤包括：
获取待检测图片；
对所述待检测图片进行处理，获取待检测的芯片图片；
根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。
可选的，所述讲所述待检测的芯片对齐图片，输入预设的缺陷标识模型进行识别，获得识别结果的步骤包括：
将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；
根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；
根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；
若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。
可选的，所述讲所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果的步骤之前还包括：
基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型。
可选的，所述基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型的步骤包括：
根据预先采集的标准芯片图片，构建标准模板；
将预先采集的训练芯片图片进行标识处理，获取标识后的训练芯片图片；
根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；
将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。
可选的，所述根据所述标准模型，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片的步骤包括：
根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；
根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；
将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。
可选的，所述对所述待检测图片进行处理，获取待检测的芯片图片的步骤包括：
根据所述待检测图片，通过预设的算法，获取芯片所在区域；
根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。
本发明实施例还提出一种半导体缺陷识别装置，所述半导体缺陷识别装置包括：
获取模块，用于获取待检测的芯片对齐图片；
识别模块，用于将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
本发明实施例还提出了一种终端设备所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的半导体缺陷识别程序，所述半导体缺陷识别程序被所述处理器执行时实现如上所述的半导体缺陷识别方法的步骤。
本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有半导体缺陷识别程序，所述半导体缺陷识别程序被处理器执行时实现如上所述的半导体缺陷识别方法的步骤。
本发明实施例提出的一种半导体缺陷识别方法、装置、终端设备以及存储介质，获取待检测的芯片对齐图片；将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。由此，实现了对半导体缺陷的识别，解决了半导体缺陷类型识别准确率低的问题，提高了半导体缺陷检测的效率。
附图说明
图1为本发明半导体缺陷检测装置所属终端设备的功能模块示意图；
图2为本发明半导体缺陷检测方法一示例性实施例的流程示意图；
图3为发明半导体缺陷识别方法另一示例性实施例的流程示意图；
图4为本发明半导体缺陷识别方法另一示例性实施例的流程示意图；
图5为本发明半导体缺陷识别方法涉及使用缺陷识别模型进行识别的示意图；
图6为本发明半导体缺陷识别方法另一示例性实施例的流程示意图；
图7为本发明半导体缺陷识别方法涉及获取缺陷识别模型的流程示意图；
图8为本发明半导体缺陷识别方法涉及自编码解码器模型的示意图；
图9为本发明半导体缺陷识别方法涉及获得处理后的芯片图片的流程示意图；
图10为本发明半导体缺陷识别方法涉及获取待检测的芯片图片的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取待检测图片；对所述待检测图片进行处理，获取待检测的芯片图片；根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型。根据预先采集的标准芯片图片，构建标准模板；将预先采集的训练芯片图片进行标识处理，获得标识后的训练芯片图片；根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。根据所述待检测图片，通过预设的算法，获取芯片所在区域；根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。从而解决了半导体缺陷类型识别准确率低的问题，实现了对半导体缺陷的识别，提高了半导体缺陷检测的效率。基于本发明方案，从现实中存在半导体缺陷类别识别存在缺陷检测算法对缺陷类别检测率低，从而效率低下的问题，设计了一种半导体缺陷识别方法，并在对半导体缺陷类别进行识别时验证了本发明的半导体缺陷识别方法的有效性，最后经过本发明方法进行半导体缺陷识别的效率得到了明显的提升。
本发明实施例涉及的技术术语：
FCN：是Fully Convolutional Networks的缩写，是一种用于图像语义分割的深度神经网络模型。它通过将最后一层全连接层转换为卷积层，使得网络可以接受任意尺寸的输入图像，并输出相应大小的分割图像。FCN的出现极大地推动了图像分割领域的发展，是许多后来的分割网络的基础。
本发明实施例考虑到，相关技术在进行半导体缺陷识别时，由于不同缺陷类型之间的收集难度存在巨大的差异，所以这种方式存在着准确率低的问题。
因此，本发明实施例，基于现实中存在半导体缺陷类别识别存在缺陷检测算法对缺陷类别检测率低，从而效率低下的问题，设计了一种半导体缺陷识别方法，并在对半导体缺陷类别进行识别时验证了本发明的半导体缺陷识别方法的有效性，最后经过本发明方法进行半导体缺陷识别的效率得到了明显的提升。
具体地，参照图1，图1为本发明半导体缺陷识别装置所属终端设备的功能板块示意图。该半导体缺陷识别装置可以独立于终端设备的、能够进行半导体缺陷识别的装置，其可以通过硬件或者软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动设备，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该半导体缺陷识别装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及半导体缺陷识别程序，半导体缺陷识别装置可以获取待检测的芯片对齐图片；将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。通过该半导体缺陷识别程序进行半导体缺陷识别，得到识别结果等结果等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中存储器130中的半导体缺陷识别程序被处理器执行时实现以下步骤：
获取待检测的芯片对齐图片；
将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
获取待检测图片；
对所述待检测图片进行处理，获取待检测的芯片图片；
根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；
根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；
根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；
若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
根据预先采集的标准芯片图片，构建标准模板；
将预先采集的训练芯片图片进行标识处理，获得标识后的训练芯片图片；
根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；
将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；
根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；
将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。
进一步地，存储器130中的半导体缺陷识别程序被处理器执行时还实现以下步骤：
根据所述待检测图片，通过预设的算法，获取芯片所在区域；
根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。
本实施例通过上述方案，具体通过获取待检测的芯片对齐图片；将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。基于预设的自编码解码器模型以及预设的缺陷分类模型得到缺陷识别模型，使用缺陷识别模型对半导体缺陷进行识别，可以解决半导体缺陷识别准确率低下的问题。基于本发明方案，从现实中存在半导体缺陷类别识别存在缺陷检测算法对缺陷类别检测率低，从而效率低下的问题，设计了一种半导体缺陷识别方法，并在对半导体缺陷类别进行识别时验证了本发明的半导体缺陷识别方法的有效性，最后经过本发明方法进行半导体缺陷识别的效率得到了明显的提升。
基于上述终端设备架构但不限于上述框架，提出本发明方法实施例。
参照图2，图2为本发明半导体缺陷识别方法一示例性实施例的流程示意图。所述半导体缺陷识别方法包括：
步骤S01，获取待检测的芯片对齐图片；
本实施例方法的执行主体可以是一种半导体缺陷识别装置，也可以是一种半导体缺陷识别终端设备或服务器，本实施例以半导体缺陷识别装置进行举例，该半导体缺陷识别装置可以集成在具有数据处理功能终端设备上。
为了能使用半导体缺陷识别模型进行缺陷识别，得先获取识别使用的待检测芯片对齐图片，采取以下步骤实现对数据的获取：
首先，获取的待检测芯片图片是包括具有正常芯片的图片以及有缺陷芯片的图片的；
最后，将获取到的芯片图片进行处理，获取得到待检测的芯片对齐图片，其中进行处理的操作包括但不限于通过算法，对芯片进行识别以及裁剪、对裁剪后的图片进行对齐，获取得到待检测的芯片对齐图片。
步骤S03，将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
在获取得到待检测的芯片对齐图片后，为了得到识别结果，采取以下步骤实现：
首先，将待检测的芯片对齐图片输入预先得到的缺陷识别模型进行识别，其中，预先得到的缺陷识别模型是基于自编码解码器模型以及缺陷分类模型得到的，将预训练的自编码解码器通过重复训练后，获得输出效果最佳的自编码解码器模型作为缺陷识别模型中使用的自编码解码器；
然后，待检测的芯片对齐图片输入至自编码解码器后，获得重建后的芯片图片，其中，自编码解码器使用编码器将高维输入编码为低维的隐向量，解码器则将隐向量还原为初始维度，最好的状态就是编码器的输出能够完美或者近似恢复原来的输入；
然后，根据自编码解码器输出的图片，与原图片进行偏差计算，得出偏差值进行计算；
最后，若偏差值大于预设的阈值，则将待检测的芯片对齐图片输入至缺陷分类模型，得到芯片缺陷的类型。
本实施例通过上述方案，具体通过获取待检测的芯片对齐图片；将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。从而解决了半导体缺陷类型识别准确率低的问题，实现了对半导体缺陷的识别，提高了半导体缺陷检测的效率。
参照图3，图3为发明半导体缺陷识别方法另一示例性实施例的流程示意图。
基于上述图2所示的实施例，所述步骤S01，获取待检测的芯片对齐图片的步骤包括：
步骤S011，获取待检测图片；
步骤S012，对所述待检测图片进行处理，获取待检测的芯片图片；
步骤S013，根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。
具体地，为了能将待检测图片输入至缺陷识别模型，采取以下步骤实现：
首先，获取待检测图片，其中，这里的待检测图片为具有半导体芯片的图片，而图片中的芯片可以为只有一个，也可以是多个；
然后，对待检测图片进行算法识别以及裁剪等操作，获取待检测的芯片图片；
然后，将待检测的芯片图片，通过预先构建的标准模板进行对齐，获取待检测的芯片对齐图片，其中，进行图片的对齐是为了使芯片图片与标准模型保持一致，方便于进行芯片图片的重建。
本实施例通过上述方案，具体通过获取待检测图片；对所述待检测图片进行处理，获取待检测的芯片图片；根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。由此，获取了待检测的芯片对齐图片，实现了对半导体图片的处理，提高了半导体缺陷识别的效率。
参照图4，图4为本发明半导体缺陷识别方法另一示例性实施例的流程示意图。
基于上述图2所示的实施例，所述步骤S03，将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果的步骤包括：
步骤S031，将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；
步骤S032，根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；
步骤S033，根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；
步骤S034，若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。
具体地，在获取得到待检测的芯片对齐图片后，为了判断出缺陷类型，通过以下步骤实现：
首先，将所述待检测的芯片对齐图片输入自编码解码器模型中，通过自编码解码器，得到重建的芯片图片，其中，重建的芯片图片用于与待检测的芯片对齐图片进行偏差计算；
然后，将重建后的芯片图片与待检测的芯片对齐图片进行差值偏差计算，得到重建偏差值，其中，重建偏差值是衡量重建图片与原先图片的差距大小，理想状态下，偏差值最低则重建图片与原先图片是接近完全一致的；
然后，将重建偏差值通过预先设定的阈值进行大小比较，得到比较结果，其中，预先设定的阈值是根据用户进行调节的，可以根据业务所需的偏差量进行阈值调节；
最后，若比较结果为重建偏差值大于阈值，则将待检测的芯片对齐图片输入缺陷分类模型，判断出当前的缺陷类别，其中，当比较结果为重建偏差值小于阈值时，则表示该芯片图片显示为正常，该芯片符合业务所需。
更具体地，对芯片图片进行识别的步骤如图5所示，图5为本发明半导体缺陷识别方法涉及使用缺陷识别模型进行识别的示意图。
首先，将具有芯片的图片进行物体检测、实例分割，得到芯片图片；
然后，将芯片图片与标准模板进行对齐，得到对齐后的芯片图片；
然后，将对齐后的芯片图片输入自编码解码器进行图片重建；
然后，若得出的重建偏差值小于阈值，则认为当前芯片为正常芯片；
然后，若得出的重建偏差值大于阈值，则认为当前芯片为具有缺陷的芯片；
最后，将具有缺陷的芯片图片输入至缺陷类别分类器即缺陷分类模型，得到缺陷类别。
本发明实施例通过上述方案，具体通过将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。由此，实现了对待检测的芯片对齐图片的缺陷类型识别，解决了半导体缺陷类别识别存在缺陷检测算法对缺陷类别检测率低，从而效率低下的问题，提高了半导体缺陷识别的效率。
参照图6，图6为本发明半导体缺陷识别方法另一示例性实施例的流程示意图。
基于上述图2所示的实施例，在本实施例中，在所述将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果的步骤之前，所述半导体缺陷识别方法还包括：
步骤S02，基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型。本实施例在步骤S01之后，步骤S03之前实施，在其他实施例中，步骤S02也可以在步骤S01之前实施。
相比较上述图2所示的实施例，本实施例还包括获取缺陷标注模型的方案。
具体地，参照图7，图7为本发明半导体缺陷识别方法涉及获取缺陷识别模型的流程示意图。
步骤S021，根据预先采集的标准芯片图片，构建标准模板；
步骤S022，将预先采集的训练芯片图片进行标识处理，获得标识后的训练芯片图片；
步骤S023，根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；
步骤S024，将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。
更具体地，为了获取得到效果更好的自编码解码器模型，采取以下步骤实现：
首先，使用预先采集地标准芯片图片，构建标准模板，其中，标准芯片图片指的是，图片中的芯片为正常芯片，符合业务标准的芯片，且图片成像时的系统为现有技术中效果占优，拍摄角度也占优的图片；
然后，将预先采集的训练芯片图片进行标识处理，得到标识后的训练芯片图片，其中，预先采集的训练图片为正常的芯片图片，即图片中的芯片都为符合业务要求，但拍摄的角度可以为不同倾斜角度拍摄得到的，而标识的作用为可能获取的芯片图片中包含一个或者多个芯片的情况，应当对其进行标识；
然后，将标识后的芯片图片进行处理，即可获得处理后的训练芯片图片，其中，进行处理的操作包括但不限于，进行图片对齐，裁剪等；
最后，将处理后的训练芯片图片，输入到预训练自编码解码器模型中进行重复训练，直到模型收敛后，获得效果更好的自编码解码器模型，其中，重复训练的过程中，自编码解码器学习拟合编码器和解码器的参数，最终得到效果更好的输出结果。
如图8所示，图8为本发明半导体缺陷识别方法涉及自编码解码器模型的示意图。
首先，X值的是输入模型的值；
然后，经过编码器（Encoder）将高维输入编码为低维的隐向量z，其中，bottleneck指的为瓶颈，代表神经网络中最有信息量的特征，也是模型进行深度学习的重点；
然后，通过解码器（Decoder）将低维的隐向量z进行还原，得到还原结果X’，其中X’在理想状态下与X是相同的，而它们之间的偏差量即为判断当前芯片图片是否具有缺陷的衡量标准；
最后，经过多次的模型训练，得到效果最好的自编码解码模型。
本实施例通过上述方案，具体通过根据预先采集的标准芯片图片，构建标准模板；将预先采集的训练芯片图片进行标识处理，获得标识后的训练芯片图片；根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。从而完成了自解码编码器模型的训练，解决了半导体缺陷类型识别准确率低的问题，实现了对半导体缺陷的识别，提高了半导体缺陷检测的效率。
参照图9，图9为本发明半导体缺陷识别方法涉及获得处理后的芯片图片的流程示意图。
基于上述图7所示的实施例，所述步骤S023，根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片的步骤包括：
步骤S0231，根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；
步骤S0232，根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；
步骤S0233，将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。
具体地，为了获取能输入进预训练自编码解码器模型进行训练的芯片图片，采取以下步骤实现：
首先，将标识后的训练芯片图片，通过预先获取的标准模板进行对齐，得到对齐后的训练芯片图片，其中，使用标准模板进行对齐，是为了避免训练芯片图片由于拍摄的角度以及其他客观问题导致的偏差；
然后，根据标准模板，将对齐后的训练芯片图片进行裁剪，得到只有芯片的图片作为训练芯片图片；
最后，将裁剪训练芯片图片进行预处理，得到处理后的训练芯片图片，其中，预处理包括但不限于像素归一化等，目的是为了减少训练数据的偏差。
本实施例通过上述方案，具体通过根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。由此，完成了训练用的芯片图片的获取，实现了训练图片的偏差最小化，解决了半导体缺陷类型识别准确率低的问题，提高了半导体缺陷检测的效率。
参照图10，图10为本发明半导体缺陷识别方法涉及获取待检测的芯片图片的流程示意图。
基于上述图3所示的实施例，所述步骤S012，根据所述待检测图片，通过预设的算法，获取待检测的芯片图片的步骤包括：
步骤S0121，根据所述待检测图片，通过预设的算法，获取芯片所在区域；
步骤S0122，根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。
具体地，为了获取得到待检测的芯片图片，使用以下步骤实现：
首先，根据所述待检测图片，通过预设的算法，得到芯片所在区域，其中，待检测图片，指的是还未经过处理的原始图片，不止包含有芯片，还可能具有其他零部件，而预设的算法，包括但不限于R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD等物体检测算法以及FCN实例切割算法等，在本实施例中，以FCN说明，FCN是Fully Convolutional Networks的缩写，是一种用于图像语义分割的深度神经网络模型，它通过将最后一层全连接层转换为卷积层，使得网络可以接受任意尺寸的输入图像，并输出相应大小的分割图像；
然后，根据算法得出的芯片所在区域，对图片进行裁剪，得到待检测的芯片图片。
本实施例通过上述方案，具体通过根据所述待检测图片，通过预设的算法，获取芯片所在区域；根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。由此，实现了待检测的芯片图片的获取，解决了需要大量人工对芯片图片进行标注的提问，提高了半导体缺陷识别的效率。
此外，本发明实施例还提出一种半导体缺陷识别装置，所述半导体缺陷识别装置包括：
获取模块，用于获取待检测的芯片对齐图片；
识别模块，用于将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的半导体缺陷识别程序，所述半导体缺陷识别程序被所述处理器执行时实现如上所述的半导体缺陷识别方法的步骤。
由于本半导体缺陷识别程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有半导体缺陷识别程序，所述半导体缺陷识别程序被处理器执行时实现如上所述的半导体缺陷识别方法的步骤。
由于本半导体缺陷识别程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本发明实施例提出的半导体缺陷识别方法、装置、终端设备以及存储介质，获取待检测的芯片对齐图片；
将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
从而解决了半导体缺陷类型识别准确率低的问题，实现了对半导体缺陷的识别，提高了半导体缺陷检测的效率。基于本发明方案，从现实中存在半导体缺陷类别识别存在缺陷检测算法对缺陷类别检测率低，从而效率低下的问题，设计了一种半导体缺陷识别方法，并在对半导体缺陷类别进行识别时验证了本发明的半导体缺陷识别方法的有效性，最后经过本发明方法进行半导体缺陷识别的效率得到了明显的提升。
和现有的技术相比，本发明实施例方案具有以下优点：
1、整个模型训练过程中，只需要使用正常半导体芯片图片，而不需要采集大量的缺陷图片，极大降低了数据收集和标注的难度。
2、具有很强的适应性，只需要确保芯片的生产类型和数据采集条件不变即可，对于生产过程中出现的新的缺陷类型也可以将其从正常芯片中区分出来，极大地降低了新的缺陷产品混入正常产品的风险。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种半导体缺陷识别方法，其特征在于，所述半导体缺陷识别方法包括以下步骤：
获取待检测的芯片对齐图片；
将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
2.根据权利要求1所述的半导体缺陷识别方法，其特征在于，所述获取待检测的芯片对齐图片的步骤包括：
获取待检测图片；
对所述待检测图片进行处理，获取待检测的芯片图片；
根据所述待检测的芯片图片，通过预设的标准模板进行对齐，获取待检测的芯片对齐图片。
3.根据权利要求1所述的半导体缺陷识别方法，其特征在于，所述将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果的步骤包括：
将所述待检测的芯片对齐图片输入预设的自编码解码器模型中，获得重建后的芯片图片；
根据所述重建后的芯片图片，通过所述待检测的芯片对齐图片进行偏差计算，获得重建偏差值；
根据所述重建偏差值，通过预先设定的阈值进行比较，获得比较结果；
若所述比较结果为重建误差大于阈值，则将待检测的芯片对齐图片输入预设的缺陷分类模型，获得缺陷类型。
4.根据权利要求1所述的半导体缺陷识别方法，其特征在于，所述将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果的步骤之前还包括：
基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型。
5.根据权利要求4所述的半导体缺陷识别方法，其特征在于，所述基于预设的自编码解码器模型以及预设的缺陷分类模型得到所述缺陷识别模型的步骤包括：
根据预先采集的标准芯片图片，构建标准模板；
将预先采集的训练芯片图片进行标识处理，获得标识后的训练芯片图片；
根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片；
将所述处理后的训练芯片图片，输入预训练自编码解码器模型进行重复训练，直至模型收敛后，获得自编码解码器模型。
6.根据权利要求5所述的半导体缺陷识别方法，其特征在于，所述根据所述标准模板，对所述标识后的训练芯片图片进行处理，获得处理后的训练芯片图片的步骤包括：
根据所述标识后的训练芯片图片，通过所述标准模板进行对齐，获得对齐后的训练芯片图片；
根据所述标准模板，将所述对齐后的训练芯片图片进行裁剪，获得裁剪后的训练芯片图片；
将所述裁剪后的训练芯片图片进行预处理，获得处理后的训练芯片图片。
7.根据权利要求2所述的半导体缺陷识别方法，其特征在于，所述对所述待检测图片进行处理，获取待检测的芯片图片的步骤包括：
根据所述待检测图片，通过预设的算法，获取芯片所在区域；
根据所述芯片所在区域，对所述待检测图片进行裁剪，获取待检测的芯片图片。
8.一种半导体缺陷识别装置，其特征在于，所述半导体缺陷识别装置包括：
获取模块，用于获取待检测的芯片对齐图片；
识别模块，用于将所述待检测的芯片对齐图片，输入预设的缺陷识别模型进行识别，获得识别结果，其中，所述缺陷识别模型基于预设的自编码解码器模型以及预设的缺陷分类模型得到。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的半导体缺陷识别程序，所述半导体缺陷识别程序被所述处理器执行时实现如权利要求1-7中任一项所述的半导体缺陷识别方法的步骤。
10.一种计算器可读存储介质，其特征在于，所述计算机可读存储介质上存储有半导体缺陷识别程序，所述半导体缺陷识别程序被处理器执行时实现如权利要求1-7中任一项所述的半导体缺陷识别方法的步骤。
CN202310773260.1A 2023-06-28 2023-06-28 半导体缺陷识别方法、装置、终端设备以及存储介质 Pending CN116503410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773260.1A CN116503410A (zh) 2023-06-28 2023-06-28 半导体缺陷识别方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773260.1A CN116503410A (zh) 2023-06-28 2023-06-28 半导体缺陷识别方法、装置、终端设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116503410A true CN116503410A (zh) 2023-07-28

Family

ID=87327057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773260.1A Pending CN116503410A (zh) 2023-06-28 2023-06-28 半导体缺陷识别方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116503410A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN112037166A (zh) * 2020-07-10 2020-12-04 武汉迈格驷友科技有限公司 一种表面缺陷检测方法及检测装置
CN113592866A (zh) * 2021-09-29 2021-11-02 西安邮电大学 一种半导体引线框架曝光缺陷检测方法
CN114119505A (zh) * 2021-11-08 2022-03-01 中国空间技术研究院 一种检测芯片粘连区域缺陷的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN112037166A (zh) * 2020-07-10 2020-12-04 武汉迈格驷友科技有限公司 一种表面缺陷检测方法及检测装置
CN113592866A (zh) * 2021-09-29 2021-11-02 西安邮电大学 一种半导体引线框架曝光缺陷检测方法
CN114119505A (zh) * 2021-11-08 2022-03-01 中国空间技术研究院 一种检测芯片粘连区域缺陷的方法及装置

Similar Documents

Publication Publication Date Title
CN110659647B (zh) 印章图像识别方法及装置、智能发票识别设备和存储介质
CN110070536B (zh) 一种基于深度学习的pcb板元器件检测方法
CN109034160B (zh) 一种基于卷积神经网络的带小数点数字仪表自动识别方法
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN110647956B (zh) 一种联合二维码识别的发票信息提取方法
CN110569341A (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN111597857B (zh) 一种物流包裹检测方法、装置、设备及可读存储介质
CN116110036B (zh) 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置
CN115116074A (zh) 一种手写体文字识别、及模型训练方法和装置
CN113065396A (zh) 基于深度学习的扫描档案图像的自动化归档处理系统及方法
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN116055211A (zh) 基于神经网络用于身份识别并自动登录应用的方法与系统
CN110659572A (zh) 基于双向特征金字塔的视频动作检测方法
CN116503410A (zh) 半导体缺陷识别方法、装置、终端设备以及存储介质
CN116843677A (zh) 钣金件的外观质量检测系统及其方法
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN111950550A (zh) 基于深度卷积神经网络的车架号识别系统
CN114596439A (zh) 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN107330470B (zh) 识别图片的方法和装置
CN112967226A (zh) 一种基于人工智能的高反光制品检测系统、方法及介质
CN111652012B (zh) 一种基于ssd网络模型的曲面qr码定位方法
CN118070826B (zh) 二维码修复方法、装置、终端设备以及存储介质
CN116935149A (zh) 神经网络训练方法、图像检测方法、装置、设备及产品
CN113689411B (zh) 一种基于视觉识别的计件方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230728