CN118037707A - 一种基于神经网络模型的晶圆缺陷检测方法及设备 - Google Patents
一种基于神经网络模型的晶圆缺陷检测方法及设备 Download PDFInfo
- Publication number
- CN118037707A CN118037707A CN202410316719.XA CN202410316719A CN118037707A CN 118037707 A CN118037707 A CN 118037707A CN 202410316719 A CN202410316719 A CN 202410316719A CN 118037707 A CN118037707 A CN 118037707A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- classification
- wafer defect
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 257
- 238000003062 neural network model Methods 0.000 title claims abstract description 103
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000007689 inspection Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 22
- 235000012431 wafers Nutrition 0.000 description 119
- 230000008569 process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001878 scanning electron micrograph Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
Abstract
本申请提供一种基于神经网络模型的晶圆缺陷检测方法及设备,方法的一具体实施方式包括:接收基于电子显微镜扫描得到的若干晶圆缺陷图像;利用预训练的神经网络模型根据预设的分类类目集对若干晶圆缺陷图像包括的缺陷进行分类;分类类目集包括,N‑1个已知缺陷类别,以及不可识别的一个未知类别;将分类结果为未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。由此,可以利用神经网络模型自动完成晶圆缺陷检测,并支持用户从未知类别的晶圆缺陷图像中确定新的缺陷类别,从而提高了系统的自动化处理性能和检测水平。
Description
技术领域
本申请涉及半导体技术领域,尤其涉及一种基于神经网络模型的晶圆缺陷检测方法及设备。
背景技术
在半导体制造领域,晶圆的缺陷检测是一个关键的环节。首先,传统的人工检测方法是通过人工检查每一片晶圆上的每一个缺陷,由人工进行统计和判断,累计1万张缺陷图片以上才可以确定下一个新的缺陷类别,这个过程非常费时费力且容易出错,因此需要一种自动化的缺陷检测方法。
其次,随着制造工艺的不断更新和发展,新的缺陷类别不断出现,旧的缺陷类别经过工艺的改良可能就会不存在,现有的缺陷检测方法通常会忽略这些新出现的类别数据,直接将其错误地分类为原始已知缺陷类别,导致检测结果不准确。因此,需要一种支持用户增加新类别的晶圆缺陷检测方法。
发明内容
为了解决上述问题,本申请提出一种基于神经网络模型的晶圆缺陷检测方法、设备、计算机可读存储介质及电子设备,能在支持用户增加新缺陷类别时,自动地进行晶圆缺陷的检测。
第一方面,本申请提供一种基于神经网络模型的晶圆缺陷检测方法,该方法包括:接收基于电子显微镜扫描得到的若干晶圆缺陷图像;利用预训练的神经网络模型根据预设的分类类目集对若干晶圆缺陷图像包括的缺陷进行分类;分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别;将分类结果为未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
由此,本申请可以利用神经网络模型自动完成晶圆缺陷检测,并支持用户从未知类别的晶圆缺陷图像中确定新的缺陷类别,从而提高了系统的自动化处理效率和检测水平。
在一种可能的实现方式中,方法还包括:基于人工检测的结果进行神经网络模型的再训练。
在一种可能的实现方式中,人工检测的结果包括N-1个已知缺陷类别之外的第一分类;基于人工检测的结果进行神经网络模型的再训练,包括:基于至少预设数量的第一晶圆缺陷图像进行神经网络模型的再训练;第一晶圆缺陷图像由对应于第一分类的晶圆缺陷图像进行类别标注后得到。
在一种可能的实现方式中,基于至少预设数量的第一晶圆缺陷图像进行神经网络模型的再训练,包括:判断数据库中存储的第一晶圆缺陷图像达到预设数量时,在分类类目集的已知缺陷类别中增加第一分类,以更新分类类目集;利用至少预设数量的第一晶圆缺陷图像,基于更新后的分类类目集,对神经网络模型进行再训练。
在一种可能的实现方式中,分类类目集的已知缺陷类别中增加第一分类,包括:判断数据库中存储的第一晶圆缺陷图像达到预设数量时,运行脚本指令;根据脚本指令修改神经网络模型的模型文件中分类类目集对应的项目,将第一分类添加到在其中的已知缺陷类别中。
在一种可能的实现方式中,人工检测的结果包括N-1个已知缺陷类别之内的第二分类;基于人工检测的结果进行神经网络模型的再训练,包括:将第二晶圆缺陷图像输入到神经网络模型进行再训练;第二晶圆缺陷图像由对应于第二分类的晶圆缺陷图像进行类别标注后得到。
在一种可能的实现方式中,神经网络模型为具备图像识别和分类能力的浅层神经网络。
第二方面,本申请提供一种基于神经网络模型的晶圆缺陷检测设备,该设备包括:接收模块,用于接收基于电子显微镜扫描得到的若干晶圆缺陷图像;分类模块,用于利用预训练的神经网络模型根据预设的分类类目集对若干晶圆缺陷图像包括的缺陷进行分类;分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别;发送模块,用于将分类结果为未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
第三方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,当计算机程序在计算机中执行时,令计算机执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
第四方面,本申请提供一种电子设备,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行存储器存储的程序;其中,当存储器存储的程序被执行时,处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚说明本申请实施例的技术方案,下面将对实施例描述中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测方法示意图;
图2是本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测方法流程图;
图3是本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测设备示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图,对本申请实施例中的技术方案进行描述。
在本申请实施例的描述中,“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B这三种情况。另外,除非另有说明,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
晶圆缺陷检测是半导体制造过程中的一个关键步骤。在晶圆生产过程中,即使是微小的缺陷也可能导致芯片性能下降或完全失效。因此,晶圆需要经过缺陷检测,以识别和分类各种可能的缺陷,包括粒子污染、划痕、蚀刻过程中的错误等。
晶圆缺陷检测的过程通常包括以下步骤:
1、采集图像,使用专门的设备(如显微镜或扫描电子显微镜)对晶圆进行高分辨率扫描,获取晶圆表面的详细图像。
2、图像处理和分析,通过计算机视觉和图像处理技术,对采集到的图像进行预处理和分析,以检测晶圆表面的不规则特征。
3、晶圆缺陷检测,对检测到的特征进行进一步的分析,识别出其中的缺陷,并按照缺陷的类型和严重程度进行分类。
4、生成报告,最后,生成一份包含了所有检测到的缺陷信息的报告,以供工程师进一步分析和处理。
晶圆缺陷检测旨在提前发现和处理生产过程中的问题,以提高芯片的生产效率和质量。随着科技的进步,许多新的技术(如人工智能和深度学习)也被引入到晶圆缺陷检测中,以提高检测的准确性和效率。
在人工智能和深度学习领域,神经网络是一类模仿人脑处理信息的算法,广泛地应用于分类预测和图像识别等。神经网络由互相连接的节点或″神经元″组成,分布在多个层中。通常包括输入层:接收输入数据,隐藏层:一层或多层,处理数据,输出层:输出结果。可以利用神经网络学习图像的特征层次来进行图像的识别和分类,通过自动提取图像的重要特征,并进行多层处理以做出决策。神经网络的设计和复杂性根据具体的应用领域和任务需求进行调整,广泛应用于图像和语音识别、自然语言处理以及预测建模等领域。
鉴于此,本申请实施例接收基于电子显微镜扫描得到的晶圆缺陷图像,利用神经网络模型对晶圆缺陷图像包括的缺陷进行分类,可提高系统的自动化处理效率。由于分类的结果为神经网络模型可识别的多个已知缺陷类别,或不可识别的一个未知类别中的一个,因此可将未知类别的晶圆缺陷图像执行进一步的人工检测,以支持用户从未知类别的晶圆缺陷图像中确定新的缺陷类别,从而提高了系统的检测水平。
示例性的,图1中示出了本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测方法示意图。该方法可以通过任何具有计算、处理能力的设备、装置、平台、设备集群来执行。
如图1所示,图中的晶圆缺陷图像是包括缺陷的晶圆图像。通常,可以在对采集的晶圆图像进行图像处理和分析时,使一张晶圆缺陷图像上只具备一种缺陷类别。
神经网络模型基于晶圆缺陷历史数据通过预训练得到。在晶圆缺陷检测阶段,将晶圆缺陷图像输入神经网络模型后,使用该神经网络模型对晶圆缺陷图像包括的缺陷进行识别和分类。
神经网络模型预设的分类类目集中包括N个缺陷类别,其中:
神经网络模型预设的分类类目集中包括N-1个已知缺陷类别,神经网络模型为每个已知缺陷类别设置了一个阈值限制机制,只有得分超过阈值的数据被认为是高置信度的,可以被分类到该已知缺陷类别。可以理解,每个已知缺陷类别所设置的阈值可以相同,也可以不同。对已知缺陷类别的阈值设置可以根据系统对该已知缺陷类别的容错性进行调整。如果对该已知缺陷类别的容错率越高,则设置的阈值越小,反之则越大。
神经网络模型在对晶圆缺陷图像包括的缺陷进行检测时,可以根据该缺陷属于不同已知缺陷类别的概率进行打分,并选择最高打分所对应的缺陷类别作为可能的缺陷类别。当最高的打分超过该可能的缺陷类别对应的阈值时,则认为该缺陷的类型即为最高打分所对应的缺陷类别。即如果判断得分超过该可能的缺陷类别对应的阈值,神经网络模型则将最高打分所对应的缺陷类别作为晶圆缺陷图像的缺陷分类结果,并将结果进行输出。
神经网络模型预设的分类类目集中还包括不可识别的一个未知类别,如果判断最高的得分没有超过该可能的缺陷类别对应的阈值,则将未知类别作为晶圆缺陷图像的缺陷分类结果,并将结果和晶圆缺陷图像一同发送给目标平台。目标平台是任意一个设备/平台(比如邮箱平台,内部服务器等),该设备/平台可将这些晶圆缺陷图像分发给人工,从而进行人工检测。可选地,目标平台也可以收集人工检测的结果。
在人工检测阶段,可以由工程师对未知类别的晶圆缺陷图像进行人工检测,如果判断晶圆缺陷图像包括的缺陷对应于N-1个已知缺陷类别之内的某一分类,则将晶圆缺陷图像打上某一分类的标签后,输入到神经网络模型进行神经网络模型的再训练,以提升神经网络模型对某一分类对应缺陷的分类能力。
对应的,如果判断晶圆缺陷图像包括的缺陷为N-1个已知缺陷类别之外的新分类,则将晶圆缺陷图像打上新分类的标签后,保存在数据库中。经过一段时间的累计,当数据库中新分类对应的带标签晶圆缺陷图像达到预设数量时:一方面,触发预编写的脚本指令修改神经网络模型的模型文件中分类类目集对应的项目,将新分类添加到在其中的已知缺陷类别中,以更新所述分类类目集;另一方面,将数据库中保存的预设数量的新分类对应的带标签晶圆缺陷图像,输入到神经网络模型,并基于更新后的分类类目集进行神经网络模型的再训练,以使神经网络模型增加对新分类对应缺陷的分类能力。
基于此机制,神经网络模型不会硬性地把晶圆缺陷图像中包括的属于N-1个已知缺陷类别之外的缺陷划分到某一已知缺陷类别中,而是标记为未知类别,并将此检测结果和对应的晶圆缺陷图像一起输出到目标平台以进行人工检测。这非常有助于用户发现缺陷的新类别,并可在后续处理流程中触发脚本指令自动地为神经网络模型增加发现的新类别,从而提高了系统的自动化处理效率,以及提高了神经网络模型的鲁棒性,并提升了晶圆缺陷检测结果的准确度。
接下来,基于图1所示的内容,对本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测方法进行详细介绍。
图2示出了本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测方法流程图。其中,神经网络模型通过预训练得到。如图2所示,该方法包括以下步骤:
步骤S201,接收基于电子显微镜扫描得到的若干晶圆缺陷图像。
在本实施例中,电子显微镜可以是显微镜或扫描电子显微镜等,通过对生产的晶圆进行高分辨率扫描,可以获取晶圆表面的详细图像。再通过计算机视觉和图像处理技术,对采集到的晶圆表面图像进行预处理和分析,得到若干晶圆缺陷图像,即若干晶圆SEM图像。
可选的,在使用计算机等处理设备对采集的晶圆表面图像进行图像处理和分析时,使每张晶圆缺陷图像上只具备一种缺陷类别。
示例性的,半导体检测主要包括无图形缺陷检测和有图像缺陷检测。其中,无图形缺陷检测包括颗粒(particle)、残留物(residue)、刮伤(scratch)、警惕原生凹坑(COP)等,可以在晶圆生产过程中同步进行检测。而有图像缺陷检测,包括断线(break)、线边缺陷(bite)、桥接(bridge)、线形变化(Deformation)等,可以用光学显微镜或扫描电镜进行扫描采集后,进行缺陷检测而确认其存在和进行缺陷分类。
步骤S202,利用预训练的神经网络模型根据预设的分类类目集对若干晶圆缺陷图像包括的缺陷进行分类。分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别。
在本实施例中,在接收基于电子显微镜扫描得到的晶圆缺陷图像后,利用神经网络模型对晶圆缺陷图像包括的缺陷进行分类。神经网络模型可以基于晶圆缺陷历史数据通过预训练得到。
示例性的,神经网络模型在图像识别中的应用通常涉及卷积神经网络,通过学习图像的特征层次来进行分类。神经网络模型通过自动提取图像中重要特征,并通过多层处理来进行决策。
神经网络模型首先需要对输入的图像进行预处理,包括缩放图像大小、归一化像素值等。然后,通过神经网络模型的隐藏层进行特征提取。这些隐藏层的神经元会学习到输入图像的一些基本模式和特征。最后,还需要通过输出层进行图像分类。输出层的神经元数量通常与类别的数量相等,每个神经元代表一个类别。输出层的每个神经元都会计算出一个值,这个值可以被解释为输入图像属于该神经元所代表的类别的概率。
可选的,可以使用具有图像识别和分类能力的浅层神经网络模型进行晶圆缺陷图像包括的缺陷的分类。浅层神经网络通常指的是只包含少数隐藏层(通常是一个)的神经网络。这种网络结构比深层神经网络(比如卷积神经网络)简单,适合处理相对不太复杂的数据模式。相较于深度神经网络,浅层神经网络训练参数更少,训练速度较快。对于晶圆图像缺陷检测这种线性可分或较为简单的问题比较有效,采用浅层神经网络模型可以更进一步提高系统的执行效率。
具体的,神经网络模型在学习到输入的晶圆缺陷图像的一些基本模式和特征后,对晶圆缺陷图像包括的缺陷进行分类,并输出分类结果。
神经网络模型预设的分类类目集中包括N个缺陷类别,具体的,分类类目集包括N-1个已知缺陷类别,以及不可识别的一个未知类别。
因此,分类结果可能为预设的分类类目集包括的N-1个已知缺陷类别,或不可识别的一个未知类别中的一个。
步骤S203,将分类结果为未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
在本实施例中,未知类别的晶圆缺陷图像被发送给目标平台,以执行进一步的人工检测。目标平台是任意一个设备/平台(比如邮箱平台,内部服务器等),该设备/平台可将这些晶圆缺陷图像分发给人工,从而进行人工检测。
可选地,目标平台也可以收集人工检测的结果。
示例性的,神经网络模型将无法判断为某一已知缺陷类别的晶圆缺陷分类为未知类别。在神经网络模型中,设置了一个阈值限制机制,只有得分超过阈值的数据被认为是高置信度的,将其分类为可识别的N-1个已知缺陷类别中的一个。否则将其标记为未知类别,这些未知类别的检测结果和对应的晶圆缺陷图像需要由工程师进行人工检测并重新分类。可以理解,人工检测的结果可能为N-1个已知缺陷类别之外的新类别,即第一类别,也可能是N-1个已知缺陷类别之内的某一已知缺陷类别,即第二类别。
首先,由于无法保证神经网络模型输出结果的准确性,如果神经网络模型只能输出可识别的N-1个已知缺陷类别,则不准确的分类结果会分散到各个已知缺陷类别中。因此,在后继进行人工检测时,以往工程师需要检测每一个已知缺陷类别的分类是否正确。通过在神经网络模型预设的分类类目集中设置不可识别的一个未知类别,能够将神经网络模型认为可能是新类别的晶圆缺陷图像过滤出来,并展示给工程师(比如资深晶圆缺陷检测工程师)进行人工检测,而不是将所有神经网络模型所有的分类结果全部进行人工检测。
通常神经网络模型使用的缺陷分类模型的准确率可以超过90%左右,因此分类为未知类别的晶圆缺陷图像数量低于10%,也就意味着此机制可以降低90%的人工检测数据,从而在保证检测准确率的情况下极大的降低了人力耗费。
其次,通过在神经网络模型预设的分类类目集中设置不可识别的一个未知类别,可以使神经网络模型不会硬性地把未知类别的缺陷数据划分到某一已知缺陷类别中,而是由工程师进行人工检测,此操作有助于用户发现新的缺陷类别,并可在后续自动化处理流程中自动地加入新发现的类别,从而提高缺陷检测模型的鲁棒性,进一步提升晶圆缺陷检测结果的准确度。
示例性的,还可以基于人工检测的结果进行神经网络模型的再训练,以使神经网络模型增强对已知缺陷类别或增加对用户发现的新类别的分类能力。
当人工检测的结果为N-1个已知缺陷类别之外的第一分类时,给神经网络模型输入至少预设数量的第一分类对应的第一晶圆缺陷图像,以进行神经网络模型的再训练。其中,第一晶圆缺陷图像由对应于第一分类的晶圆缺陷图像进行类别标注后得到。
具体的,在人工检测阶段,可以由工程师对未知类别的晶圆缺陷图像进行人工检测,如果判断晶圆缺陷图像包括的缺陷为N-1个已知缺陷类别之外的第一分类,则将晶圆缺陷图像打上第一分类的标签后,保存在数据库中。经过一段时间的累计,当数据库中第一分类对应的带标签晶圆缺陷图像达到预设数量(比如200张左右)时:一方面,触发预编写的脚本指令修改神经网络模型的模型文件中分类类目集对应的项目,将第一分类添加到在其中的已知缺陷类别中,以更新所述分类类目集;另一方面,将数据库中保存的预设数量的新分类对应的带标签晶圆缺陷图像,输入到神经网络模型,并基于更新后的分类类目集进行神经网络模型的再训练,以使神经网络模型增加对新分类对应缺陷的分类能力。
对应的,如果判断晶圆缺陷图像包括的缺陷属于N-1个已知缺陷类别之内的第二分类,则将第二分类对应的晶圆缺陷图像打上第二分类的标签后,输入到神经网络模型进行神经网络模型的再训练,以增强神经网络模型对第二分类对应缺陷的分类能力。
示例性的,本方案可以采用包括但不限于resnet1 8的浅层神经网络模型进行晶圆缺陷检测,并结合在神经网络模型输入层中设置一个未知类别,可以只需要极少数,比如预设数量(200张左右)即可学到新类别的特征。而传统图像分类算法的神经网络深度比较深,需要人工标注至少1万张缺陷图片后,才可以进行新类别的模型训练,因而极大降低了缺陷类别标注的人力成本和时间成本。
另外,当对未知类别中的某个晶圆缺陷图像包括的缺陷进行人工检测后,系统会自动将人工检测提供的分类结果进行处理。如果是已知缺陷类别的数据,则直接将这些数据加入到神经网络模型的训练集中进行再次训练,学习更多特征,从而提高神经网络模型对已知缺陷类别的分类能力;如果是新类别的数据,则将这些数据收集保存下来,待数据量达到预设的训练阈值后,可以在神经网络模型训练过程中加入这个新的类别,从而实现了自动处理用户反馈的流程,提高了系统的自动化处理效率和检测水平。
由此,本方案利用预训练的神经网络模型对晶圆缺陷图像进行检测,可以晶圆缺陷图像包括的缺陷进行分类,可提高系统的自动化处理效率。另外,由于分类的结果为神经网络模型预设的分类类目集包括的N-1个已知缺陷类别,或不可识别的一个未知类别中的一个,因此可将未知类别的晶圆缺陷图像执行进一步的人工检测,以支持用户从未知类别的晶圆缺陷图像中确定新的缺陷类别,从而提高了系统的检测水平。
应当注意,尽管在上述实施例中,以特定顺序描述了本申请实施例的方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
基于上述实施例中的方法,示例性的,图3示出了本申请实施例提供的一种基于神经网络模型的晶圆缺陷检测设备。如图3所示,该晶圆缺陷检测设备300包括:
接收模块310,用于接收基于电子显微镜扫描得到的若干晶圆缺陷图像。
分类模块320,用于利用预训练的神经网络模型根据预设的分类类目集对若干晶圆缺陷图像包括的缺陷进行分类。分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别。
发送模块330,用于将分类结果为未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
基于上述实施例中的方法,本申请提供一种计算机可读存储介质,其上存储有计算机程序,当计算机程序在计算机中执行时,令计算机执行上述实施例中所描述的方法。
基于上述实施例中的方法,本申请实施例提供了一种电子设备。该电子设备可以包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行所述存储器存储的程序。其中,当所述存储器存储的程序被执行时,所述处理器用于执行上述实施例中所描述的方法。示例性的,该电子设备可以为是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、服务器、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。应理解,在本申请实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,不应对本申请实施例的实施过程构成任何限定。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (10)
1.一种基于神经网络模型的晶圆缺陷检测方法,其特征在于,所述方法包括:
接收基于电子显微镜扫描得到的若干晶圆缺陷图像;
利用预训练的神经网络模型根据预设的分类类目集对所述若干晶圆缺陷图像包括的缺陷进行分类;所述分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别;
将分类结果为所述未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:基于所述人工检测的结果进行所述神经网络模型的再训练。
3.根据权利要求2所述的方法,其特征在于,所述人工检测的结果包括所述N-1个已知缺陷类别之外的第一分类;
所述基于所述人工检测的结果进行所述神经网络模型的再训练,包括:
基于至少预设数量的第一晶圆缺陷图像进行所述神经网络模型的再训练;所述第一晶圆缺陷图像由对应于所述第一分类的晶圆缺陷图像进行类别标注后得到。
4.根据权利要求3所述的方法,其特征在于,所述基于至少预设数量的第一晶圆缺陷图像进行所述神经网络模型的再训练,包括:
判断数据库中存储的所述第一晶圆缺陷图像达到预设数量时,在所述分类类目集的已知缺陷类别中增加所述第一分类,以更新所述分类类目集;
利用所述至少预设数量的第一晶圆缺陷图像,基于更新后的分类类目集,对所述神经网络模型进行再训练。
5.根据权利要求4所述的方法,其特征在于,所述分类类目集的已知缺陷类别中增加所述第一分类,包括:
判断数据库中存储的所述第一晶圆缺陷图像达到预设数量时,运行脚本指令;
根据所述脚本指令修改所述神经网络模型的模型文件中分类类目集对应的项目,将所述第一分类添加到在其中的已知缺陷类别中。
6.根据权利要求2所述的方法,其特征在于,所述人工检测的结果包括所述N-1个已知缺陷类别之内的第二分类;
所述基于所述人工检测的结果进行所述神经网络模型的再训练,包括:
将第二晶圆缺陷图像输入到所述神经网络模型进行再训练;所述第二晶圆缺陷图像由对应于所述第二分类的晶圆缺陷图像进行类别标注后得到。
7.根据权利要求1所述的方法,其特征在于,所述神经网络模型为具备图像识别和分类能力的浅层神经网络。
8.一种基于神经网络模型的晶圆缺陷检测设备,其特征在于,所述设备包括:
接收模块,用于接收基于电子显微镜扫描得到的若干晶圆缺陷图像;
分类模块,用于利用预训练的神经网络模型根据预设的分类类目集对所述若干晶圆缺陷图像包括的缺陷进行分类;所述分类类目集包括,N-1个已知缺陷类别,以及不可识别的一个未知类别;
发送模块,用于将分类结果为所述未知类别的晶圆缺陷图像发送给目标平台,以执行进一步的人工检测。
9.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行权利要求1-7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行所述存储器存储的程序;其中,当所述存储器存储的程序被执行时,所述处理器用于执行如权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410316719.XA CN118037707A (zh) | 2024-03-19 | 2024-03-19 | 一种基于神经网络模型的晶圆缺陷检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410316719.XA CN118037707A (zh) | 2024-03-19 | 2024-03-19 | 一种基于神经网络模型的晶圆缺陷检测方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118037707A true CN118037707A (zh) | 2024-05-14 |
Family
ID=90996897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410316719.XA Pending CN118037707A (zh) | 2024-03-19 | 2024-03-19 | 一种基于神经网络模型的晶圆缺陷检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118037707A (zh) |
-
2024
- 2024-03-19 CN CN202410316719.XA patent/CN118037707A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102711218B1 (ko) | 시편의 기계 학습 기반 결함 검출 | |
CN111314331A (zh) | 一种基于条件变分自编码器的未知网络攻击检测方法 | |
Abd Al Rahman et al. | An improved capsule network (WaferCaps) for wafer bin map classification based on DCGAN data upsampling | |
CN112766218B (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
CN112966088B (zh) | 未知意图的识别方法、装置、设备及存储介质 | |
CN113591948B (zh) | 一种缺陷模式识别方法、装置、电子设备和存储介质 | |
CN111368636A (zh) | 目标分类方法、装置、计算机设备和存储介质 | |
CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
CN112529109A (zh) | 一种基于无监督多模型的异常检测方法及系统 | |
US11151710B1 (en) | Automatic selection of algorithmic modules for examination of a specimen | |
CN115375635A (zh) | 一种晶圆缺陷的识别方法 | |
CN115358337A (zh) | 一种小样本故障诊断方法、装置及存储介质 | |
CN115063664A (zh) | 用于工业视觉检测的模型学习方法、训练方法及系统 | |
CN115984158A (zh) | 缺陷分析方法、装置、电子设备及计算机可读存储介质 | |
CN110879821A (zh) | 评分卡模型衍生标签生成方法、装置、设备及存储介质 | |
CN116188445A (zh) | 一种产品表面缺陷的检测定位方法、装置及终端设备 | |
CN118037707A (zh) | 一种基于神经网络模型的晶圆缺陷检测方法及设备 | |
CN115170838A (zh) | 一种数据筛选方法及装置 | |
CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN112633344B (zh) | 质检模型的训练方法、装置、设备及可读存储介质 | |
Huang et al. | Quality control on manufacturing computer keyboards using multilevel deep neural networks | |
CN111651433A (zh) | 一种样本数据清洗方法及系统 | |
CN113705729B (zh) | 垃圾分类模型建模方法、垃圾分类方法、装置及介质 | |
Chen et al. | An Auto-adjusting Weight Model for Imbalanced Wafer Defects Recognition | |
CN118038454A (zh) | 一种基于专有大模型的晶圆缺陷根因分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |