CN113610155A - 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质 - Google Patents

基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113610155A
CN113610155A CN202110904101.1A CN202110904101A CN113610155A CN 113610155 A CN113610155 A CN 113610155A CN 202110904101 A CN202110904101 A CN 202110904101A CN 113610155 A CN113610155 A CN 113610155A
Authority
CN
China
Prior art keywords
defect
classified
image
type
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110904101.1A
Other languages
English (en)
Other versions
CN113610155B (zh
Inventor
沈剑
刘迪
唐磊
胡逸群
陈建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongyi Cloud Computing Technology Co ltd
Original Assignee
Shanghai Zhongyi Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongyi Cloud Computing Technology Co ltd filed Critical Shanghai Zhongyi Cloud Computing Technology Co ltd
Priority to CN202110904101.1A priority Critical patent/CN113610155B/zh
Publication of CN113610155A publication Critical patent/CN113610155A/zh
Application granted granted Critical
Publication of CN113610155B publication Critical patent/CN113610155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于相似性比对模型的晶圆缺陷的分类方法,其通过获取至少一张待分类缺陷图像;将获取到的至少一张待分类缺陷图像输入预先构建的相似性比对模型,得到每张待分类缺陷图像各自的缺陷类型;其中,构建相似性比对模型的步骤,具体包括:获取多张预先标记有相应缺陷类型的样本图像;提取多张样本图像上的目标缺陷信息,得到多张目标缺陷图形;根据多张目标缺陷图形构建相似性比对模型。本发明的相似性比对模型的模型训练时间短,且在进行缺陷分类时,不受到待分类缺陷图像的无用背景信息影响,通用性较好,即准确性较高。相应的,本发明还提供一种装置、电子设备及计算机可读存储介质。

Description

基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备 和存储介质
技术领域
本发明涉及半导体技术领域,具体涉及一种基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和计算机可读存储介质。
背景技术
在芯片制造过程中,每个工序流程对晶圆的处理都可能会产生一些不符合预期的结构,其中会造成芯片上电路无法正常工作的称之为晶圆缺陷或目标缺陷。因此,芯片制造流程中通常会在众多关键工序后都安排晶圆缺陷检测与分类的步骤,用于监控关键工艺,以确保其正确性。
传统的晶圆缺陷分类常用CNN ADC分类方法,该方法利用缺陷图像训练得到CNN分类模型,通过CNN分类模型对待分类缺陷图像(即,所采集的晶圆缺陷图像)进行分类。但由于在实际生产中,缺陷在晶圆上出现的位置不同,且不同类型晶圆上的晶圆图形也可能有所不同(例如,不同类型集成电路的电路图形不同),因此,所采集到的待分类缺陷图像的背景也各不相同。
人工缺陷分类时,由于长期的经验累积和专业性,能够过滤这些无用的背景信息,可以直接人工分辨有用的缺陷信息进行分类,但计算机或分类模型无法获知哪些是有用信息(例如,缺陷图形及其缺陷形状、缺陷位置区域的灰度值以及缺陷信号强度等信息),哪些是无用信息(例如,电路图形及其灰度值等信息),因此为了使得计算机或分类模型能够忽略掉无用背景信息,也即是保证CNN分类模型的准确性和通用性,需要采集大量不同背景的晶圆缺陷图像作为训练样本进行CNN分类模型的训练。通常,ADC(Automatic DefectClassification,自动缺陷分类系统)运用人工智能(AI)和机器学习技术利用用户提供的训练样本,从而强制找出这些样本图像中的共同点:缺陷,进而忽略掉无用的背景信息。但上述方法仍然存在一些问题:
1、模型训练耗时久,为了保证所得CNN分类模型的准确性和通用性,需要大量不同背景的训练样本,而训练样本数据量较大将会导致模型训练的耗时久,通常CNN分类模型生成大概耗时10小时以上;
2、通用性差,即使进行了大量的模型训练,该CNN分类模型识别训练样本之间的共同点的准确性仍然有限,例如,当晶圆缺陷出现在新的背景下时,仍然可能被误分。
因此,目前亟需一种准确性高、通用性好,且分类效率高的晶圆缺陷分类方法。
发明内容
为部分地解决上述问题,本发明提供了一种基于相似性比对模型的晶圆缺陷方法及装置、系统、电子设备和存储介质。
本发明的第一方面,在于提供一种晶圆缺陷分类方法其包括步骤:获取至少一张待分类缺陷图像;
将获取到的所述至少一张待分类缺陷图像输入预先构建的相似性比对模型,得到每张所述待分类缺陷图像各自的缺陷类型;
其中,构建所述相似性比对模型的步骤,具体包括:
获取多张预先标记有相应的缺陷类型的样本图像;
提取每张所述样本图像上的目标缺陷信息,得到多张目标缺陷图形;
根据所述多张目标缺陷图形构建相似性比对模型。
在一些实施例中,每个缺陷类型对应于至少一个所述目标缺陷图形;相应地,将所述至少一张待分类缺陷图像输入所述相似性比对模型,得到每张所述待分类缺陷图像的缺陷类型的步骤,具体包括步骤:
将所述待分类缺陷图像与每个所述缺陷类型各自对应的至少一个所述目标缺陷图形进行匹配,若所述待分类缺陷图像与至少一个所述缺陷类型对应的所述至少一个目标缺陷图形匹配成功时,输出至少一个所述缺陷类型各自对应的至少一个匹配值;
将其中匹配值最高的所述缺陷类型判定为所述待分类缺陷图像的缺陷类别。
在一些实施例中,将所述至少一张待分类缺陷图像输入所述相似性比对模型,得到所述待分类缺陷图像的缺陷类型的步骤,还包括步骤:
当所述待分类缺陷图像与所有所述缺陷类型各自对应的所述至少一个目标缺陷图形均匹配不成功时,根据用户输入的表示将所述待分类缺陷图像标记为所述用户指定缺陷类型的操作指令,将所述待分类缺陷图像标记为所述用户所指定的缺陷类型;
所述用户所指定的缺陷类型包括:所述样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
在一些实施例中,所述将待分类缺陷图像输入所述相似性比对模型的步骤之前,还包括步骤:对所述待分类缺陷图像进行预处理,以提高所述待分类缺陷图像的分辨率。
在一些实施例中,对所述待份分类缺陷图像进行预处理的步骤,具体包括:对所述待分类缺陷图像进行图像锐化。
本发明第二方面在于,提供了一种基于相似性比对模型的晶圆缺陷分类装置,包括:
图像获取模块,用于获取至少一张待分类缺陷图像;
模型构建模块,用于获取多张标记有相应的缺陷类型的样本图像;提取每张所述样本图像上的目标缺陷信息,得到多张目标缺陷图形;根据所述多张目标缺陷图形构建相似性比对模型;
缺陷分类模块,用于将获取到的至少一张所述待分类缺陷图像输入预先构建的相似性比对模型,得到每张所述待分类缺陷图像各自的缺陷类型。
在一些实施例中,每个缺陷类型对应于至少一个所述目标缺陷图形,相应地,所述缺陷分类模块包括:
图像匹配单元,用于将所述至少一张待分类缺陷图像与每个所述缺陷类型各自对应的至少一个所述目标缺陷图形进行匹配,若所述待分类缺陷图像与至少一个所述缺陷类型对应的所述至少一个目标缺陷图形匹配成功时,输出至少一个所述缺陷类型各自对应的至少一个匹配值;
缺陷分类单元,用于将所述图像匹配单元中输出的匹配值最高的所述缺陷类型判定为所述待分类缺陷图像的缺陷类别。
在一些实施例中,所述缺陷分类模块还包括:
自定义模块,用于当所述待分类缺陷图像与所有所述缺陷类型各自对应的所述至少一个目标缺陷图形均匹配不成功时,获取用户输入的表示将所述待分类缺陷图像标记为所述用户所指定的缺陷类型的操作指令,将所述待分类缺陷图像标记为所述用户所指定的缺陷类型;
所述用户所指定的缺陷类型包括:所述样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
本发明的第三方面,在于提供一种电子设备,包括至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器用于存储执行上述方法的程序;所述处理器被配置为用于执行所述存储器中存储的程序。
本发明的第四方面,在于提供一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时控制所述存储介质所在设备执行上述任一所述方法的步骤。
有益效果:
本发明的基于相似性比对模型的晶圆缺陷分类方法、装置、电子设备及计算机可读存储介质,通过提取多张样本图像上的目标缺陷信息,得到多张标记有相应的缺陷类型的目标缺陷图形;根据多张目标缺陷图形构建相似性比对模型用于缺陷分类。相较于现有技术,本发明针对传统的CNN ADC分类方法在模型构建过程中作出改进,相较于传统方法,本发明无需获取大量不同背景的训练样本图像进行训练,只是根据提取到的有用信息来训练模型,因此模型训练时长短,并且整体分类效率较高,另一方面,本发明的分类方法通用性或灵活性好,由于本发明可直接将待分类缺陷图像中的目标图形(如,目标缺陷)与每个缺陷类别中的至少一个目标缺陷图形进行匹配,不受到待分类缺陷图像的无用信息(即,背景信息)的影响,因此面对不同背景的待分类缺陷图像都能保证缺陷分类的准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一示例性实施例的一种晶圆缺陷的分类方法实施例的流程示意图;
图2是本发明一示例性实施例中的样本图像示意图;
图3是根据图2得到目标缺陷图形;
图4是本发明一示例性实施例的一种晶圆缺陷的分类装置实施例的模块示意图;
图5是本发明一示例性实施例的一种电子设备组成结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
名词释义:
待分类缺陷图像:晶圆的各种制作工艺过程(例如,集成电路的制作)中,难免会在该晶圆上形成各种各样的缺陷,因此,针对各个缺陷位置采集到的图像也称之为缺陷图像(即待分类缺陷图像)。
实施例一
参见图1,为本发明一示例性实施例的一种基于相似性比对模型的晶圆目标缺陷分类方法实施例的流程示意图,具体地,该分类方法包括步骤:
S101,获取至少一张待分类缺陷图像。
在一些实施例中,可通过图像采集设备,例如SEM(扫描电子显微镜)来扫描或拍摄待测晶圆上的多个采集位点(即具有晶圆缺陷的区域),例如通过SEM来扫描待测晶圆,以获得至少一张待分类缺陷图像,然后从该SEM中获取到该至少一张待分类缺陷图像即可。当然,也可采用其他设备来采集该待分类缺陷图像,例如AOI和TEM等设备。
S103,将步骤S101中所获取到的至少一张待分类缺陷图像输入(预先构建的)相似性比对模型,得到每张待分类缺陷图像各自的缺陷类型。
优选地,在一些实施例中,构建相似性比对模型的步骤,具体包括步骤:
S201,获取多张预先标记有相应的缺陷类型的样本图像;
在一些实施例中,可通过图像采集设备,例如SEM(扫描电子显微镜)来扫描或拍摄样本晶圆上的多个采集位点(即具有晶圆缺陷的区域),例如通过SEM来扫描样本晶圆,以获得具有不同背景的晶圆缺陷图像(即样本图像),然后从该SEM中获取到该样本图像即可。当然,也可采用其他设备来采集该样本图像,例如AOI和TEM等设备。
在一些实施例中,可通过本领域技术人员或专家标记样本图像的缺陷类型。
S202,提取多张样本图像上的目标缺陷信息,得到多张标记有相应的缺陷类型的目标缺陷图形。
在一些实施例中,通过识别样本图像上的有用信息(即,目标缺陷信息,如:缺陷位置、缺陷图形(包括目标缺陷的轮廓或者形貌状态)、缺陷图形的灰度值,缺陷的形状大小、信号强度等)和无用信息(即,晶圆的背景图像,如:电路图形等),截取目标缺陷信息对应的图形(也即去除掉样本图像中的无用信息)得到至少一个目标缺陷图形,可以理解的是,该目标缺陷图形仅包括一个晶圆缺陷;得到的目标缺陷图形存储于训练样本库中用于后续的相似性比对模型构建。
优选地,在一些实施例中,通过图形对比识别到样本图像中的有用信息,例如,获取到样本图像以及与样本图像相对应的标准图像(即根据标准晶圆的采集到的晶圆图像),将样本图像与标准图像进行对比,识别出在样本图像中存在,但标准图像中不存在的图形即将该图形判定为缺陷图形,截取该缺陷图形得到目标缺陷图形,并采集该缺陷图形的缺陷位置、缺陷形状大小、信号强度等信息。
或者将样本图像减去标准图像,即得到目标缺陷图像,并相应地采集该目标缺陷的形状大小、信号强度等有用信息。
优选地,在一些实施例中,通过对样本图像进行边缘提取(例如,通过Sobel算子,Laplacian算子,Canny算子等方法进行边缘提取)得到样本图像中的各类图形相对应的边缘图形(如,缺陷图形和电路图形),当然,这里提取到的不仅仅是边缘图形本身,还包括边缘图形的特征参数,如对应的缺陷类型(可以是获取缺陷图像时自动生成的,也可以是由工作人员预先编好的),以及该边缘图形在该样本图像中的位置/坐标、尺寸等等。通常,所提取到的边缘图形包括规则图形(即规则形状的图形,如正方形、长方形等)和不规则图形(即不规则形状的图形),将提取到的边缘图形与数据库中预存的样本缺陷图形进行对比,识别出缺陷图形的边缘图形(即,目标缺陷图形)。
在一些实施例中,当样本图像中存在两个或两个以上的缺陷时,则可以从该样本图像中截取每个缺陷对应的目标缺陷图形。
优选地,在一些实施例中,参见图2,通过计算机识别待样本图像图2中的有用信息和无用信息(图2中白色虚线圆内的区域即为晶圆缺陷,也就是属于有用信息,白色虚线圆外的区域为无用信息),提取出有用信息,并得到目标缺陷图形,如图3所示。
S203,根据多张目标缺陷图形构建相似性比对模型。
在一些实施例中,根据训练样本库进行相似性比对模型的构建,优选地,通过CNN(卷积神经网络)构建相似性比对模型。
进一步地,在一些实施例中,每个缺陷类型对应于至少一个目标缺缺陷图像;相应地,将待分类缺陷图像输入相似性比对模型,得到待分类缺陷图像的缺陷类型,具体包括步骤:
待分类缺陷图像与每个缺陷类型各自对应的至少一个目标缺陷图形进行匹配,若当待分类缺陷图像与至少一个缺陷类型对应的至少一个目标缺陷图形匹配成功时,得到至少一个缺陷类型各自对应的至少一个匹配值;
将其中匹配值最高的缺陷类型判定为所述待分类缺陷图像的缺陷类别。
在一些实施例中,将该分类缺陷图像与目标缺陷图形进行匹配是指在待分类缺陷图像中搜索与目标缺陷图形相似(例如,形状相同,且图形尺寸大小相同或接近)的图形,若找到,则判定两者匹配,否则认为两者不匹配。
优选地,在一些实施例中,数据库中包括多个缺陷类型的信息,例如,缺陷的类别数量:第一缺陷类别、第二缺陷类别……第N缺陷类别及其相应的缺陷信息(如缺陷类型名称等),相应的,每个缺陷类别(或缺陷类型)包括至少一个相应的目标缺陷图形(标记有相应的缺陷类别)。
在一些实施例中,将待分类缺陷图像输入该相似性比对模型时,具体包括步骤如下:
将待分类缺陷图像与标记为第一缺陷类别的至少一个目标缺陷图形进行匹配,得到匹配值为X1,且当待分类缺陷图像与相应的目标缺陷图形匹配成功时(优选地,在本实施例中,当匹配值X1大于预设第一匹配阈值X0时,认为二者匹配成功),输出匹配值X1;
进一步地,将待分类缺陷图像与标记为第二缺陷类别的目标缺陷图形进行匹配,得到匹配值X2,且当待分类缺陷图像与相应的目标缺陷图形匹配成功时,输出匹配值X2,
……
进一步地,将待分类缺陷图像与标记为第N缺陷类别的目标缺陷图形进行匹配,得到匹配值XN,且当待分类缺陷图像与相应的目标缺陷图形匹配成功时,输出匹配值XN;
取输出得到的匹配值中数值最高的缺陷类别标记为待分类缺陷图像的缺陷类型。
例如,在一些实施例中,待分类缺陷图像与N个缺陷类别的相应的目标缺陷图形均匹配成功,相应的,得到包含N个匹配值的数据集合A:{X1,X2……XN},取匹配值最大的缺陷类别,例如,max{X1,X2……XN}=XN,则将待分类缺陷图像中的相应目标缺陷的缺陷类别标记为第N缺陷类别。
在一些实施例中,若存在两个最大值的情况,可通过技术人员或专家自行判定该待分类缺陷图像的缺陷类型,例如,当存在两个最大值时,用于执行上述匹配流程的上位终端(例如,计算机)的控制界面将弹出第一对话框,以提示用户从预先存入的至少一个缺陷类型中选定一个缺陷类型(具体地,可以下拉菜单的形式提供可供用于选择的具体缺陷类型名称)。当然,当预先存入的缺陷类型均不是用户想要的缺陷类型时,还提醒用户自定义新的缺陷类型。
进一步地,若用户选择将待分类缺陷图像为自定义的缺陷类型,则将弹出第二对话框,以提醒用户输入自定义的缺陷类型的名称。
进一步地,在一些实施例中,还可将根据该待分类缺陷图像得到的目标缺陷图形更新至训练样本库中,重新训练相似性比对模型。
一个缺陷类别包括有多个相应的目标缺陷图形,例如,第一缺陷类别包括第一目标缺陷图形、第二目标缺陷图形……第M目标缺陷图形,将待分类缺陷图像与第一缺陷类别的目标缺陷图形匹配的具体步骤包括:
将待分类缺陷图像与第一目标缺陷图形进行匹配,当匹配成功时,输出第一匹配值(或相似度值)Y1;
将待分类缺陷图像与第二目标缺陷图形进行匹配,当匹配成功时,输出第一匹配值Y2;
……
将待分类缺陷图像与第M目标缺陷图形进行匹配,当匹配成功时,输出第一匹配值YM;
取所有得到第一匹配值的平均值作为该待分类缺陷图像与该缺陷类别的匹配值Y,当该匹配值Y大于预设的匹配阈值Y0(该匹配阈值可更根据用户结合实际情况预先设定)时,则认为待分类缺陷图像与该缺陷类别匹配成功,并输出匹配值Y,用于后续的缺陷分类。
当然,在另一些实施例中,取上述第一匹配值中的最大值作为匹配值Y,当Y大于预设的匹配阈值Y0时,则认为待分类缺陷图像与该缺陷类别匹配成功,并输出匹配值Y用于后续的缺陷分类。或者,只需要找到一个第一匹配值大于预设的匹配阈值Y0时,即认为匹配成功。
在一些实施例中,该待分类缺陷图像中包括多个目标缺陷,从中提取有用信息,并分别得到多个待分类目标缺陷图像,相应地,将待分类目标缺陷图像输入相似性比对模型后,待分类目标缺陷图像分别与每个缺陷类型各自对应的至少一个目标缺陷图形进行匹配,若待分类目标缺陷图像与至少一个缺陷类型对应的至少一个目标缺陷图形匹配成功时,输出至少一个缺陷类型各自对应的至少一个匹配值;
将其中匹配值最高的缺陷类型判定为待分类目标缺陷图像的缺陷类别。
进一步地,在一些实施例中,将待分类缺陷图像输入相似性比对模型,得到待分类缺陷图像的缺陷类型,还包括步骤:
当待分类缺陷图像与每个缺陷类型的目标缺陷图形均匹配不成功时,根据用户输入的操作指令,将待分类缺陷图像标记为用户所指定的缺陷类型或自定义的缺陷类型;
操作指令表示将待分类缺陷图像标记为用户指定的缺陷类型,其包括:即样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
在一具体实施例中,当待分类缺陷图像与每个缺陷类型的目标缺陷图形均匹配不成功时,用于执行上述匹配流程的上位终端(例如,计算机)的控制界面将弹出第二对话框,以提示用户从预先存入的至少一个缺陷类型选定的缺陷类型(具体地,可以下拉菜单的形式提供可供用于选择的具体缺陷类型名称)。当然,当预先存入的缺陷类型均不是用户想要的缺陷类型时,还提醒用户自定义新的缺陷类型。
进一步地,若用户选择将待分类缺陷图像为自定义的缺陷类型,则将弹出第三对话框,以提醒用户输入自定义的缺陷类型的名称。
进一步地,在一些实施例中,还可将根据该待分类缺陷图像得到的目标缺陷图形更新到训练样本库中,重新训练相似性比对模型。
在一些实施例中,在进行缺陷分类之前(即将待分类缺陷图像输入相似性比对模型之前),还需要对该待分类缺陷图像进行预处理,以提高该待分类缺陷图像的分辨率,从而提高缺陷分类的准确率,如对该待分类缺陷图像进行图像锐化,从而增加边缘等;或者进行图像增强,如图像二值化处理等。
实施例二
参见图4,为本发明一示例性实施例的晶圆缺陷分类装置的结构示意图。具体地,该晶圆缺陷分类装置包括:
图像获取模块01,用于获取至少一张待分类缺陷图像;
模型构建模块02,用于获取多张标记有相应的缺陷类型的样本图像;提取每张样本图像上的目标缺陷信息,得到多张目标缺陷图形;根据多张目标缺陷图形构建相似性比对模型;
缺陷分类模块03,用于将获取到的至少一张待分类缺陷图像输入预先构建的相似性比对模型,得到每张待分类缺陷图像各自的缺陷类型;
进一步地,在一些实施例中,每个缺陷类型对应于至少一个所述目标缺陷图形,相应地,该缺陷分类模块03还包括:
图像匹配单元031,用于将至少一张待分类缺陷图像与每个缺陷类型各自对应的至少一个目标缺陷图形进行匹配,若待分类缺陷图像与至少一个缺陷类型对应的至少一个目标缺陷图形匹配成功时,输出至少一个缺陷类型各自对应的至少一个匹配值;
缺陷分类单元032,用于将图像匹配单元中输出的匹配值最高的缺陷类型判定为待分类缺陷图像的缺陷类别。
在一些实施例中,该晶圆缺陷分类装置还包括:图像预处理模块,用于在缺陷分类模块03对待分类缺陷图像进行缺陷分类之前,对该待分类缺陷图像进行预处理,以提高待分类缺陷图像的分辨率,然后,再将经过预处理后的待分类缺陷图像发送至缺陷分类模块03进行缺陷分类。具体地,该图像预处理模块对该待检测缺陷图像进行边缘锐化,或者图像增强处理(如进行图像二值化)等。
进一步地,该晶圆缺陷分类装置还包括:
自定义模块,用于当待分类缺陷图像与所有缺陷类型各自对应的至少一个目标缺陷图形均匹配不成功时,获取用户输入的表示将待分类缺陷图像标记为用户所指定的缺陷类型的操作指令,将待分类缺陷图像标记为用户所指定的缺陷类型;
用户所指定的缺陷类型包括:样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
在一些实施例中,为了使得用户能够对缺陷分类的结果进行核查,该分类装置还包括:
更正模块,用于当该用户输入表示将指定待分类待分类缺陷图像的缺陷类别更正为其他的缺陷类型时,将该待分类缺陷图像的缺陷类别更正为所选的其他缺陷类型,其中,其他缺陷类型包括用户所指定的缺陷类型包括:样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
实施例三
本发明的第三方面,提供了一种电子设备,包括存储器502、处理器501及存储在存储器502上并可在处理器501上运行的计算机程序,所述处理器501执行所述程序时实现前文所述方法的步骤。为了便于说明,仅示出了与本说明书实施例相关的部分,具体技术细节未揭示的,请参照本说明书实施例方法部分。该电子设备,可以是包括各种电子设备,PC电脑、网络云服务器,甚至手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、台式电脑等任意电子设备。
具体地,图5示出的与本说明书实施例提供的技术方案相关的电子设备组成结构框图,总线500可以包括任意数量的互联的总线和桥,其将包括由处理器501代表的一个或多个处理器和存储器502代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。通信接口503在总线500和接收器和/或发送器504之间提供接口,接收器和/或发送器504可以是分开独立的接收器或发送器也可以是同一个元件如收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器501负责管理总线500和通常的处理,而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:获取待分类缺陷图像;将获取到的待分类缺陷图像输入预先构建的相似性比对模型,得到待分类缺陷图像的缺陷类型;其中,构建相似性比对模型的步骤,具体包括:获取多张样本图像;截取多张样本图像上的目标缺陷信息,得到多张标记有相应的缺陷类型的目标缺陷图形;根据多张目标缺陷图形构建相似性比对模型。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台计算机终端(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (10)

1.一种基于相似比对模型的晶圆缺陷分类方法,其特征在于,包括步骤:
获取至少一张待分类缺陷图像;
将获取到的所述至少一张待分类缺陷图像输入预先构建的相似性比对模型,得到每张所述待分类缺陷图像各自的缺陷类型;
其中,构建所述相似性比对模型的步骤,具体包括:
获取多张预先标记有相应的缺陷类型的样本图像;
提取每张所述样本图像上的目标缺陷信息,得到多张目标缺陷图形;
根据所述多张目标缺陷图形构建相似性比对模型。
2.根据权利要求1所述的,其特征在于,每个缺陷类型对应于至少一个所述目标缺陷图形;相应地,将所述至少一张待分类缺陷图像输入所述相似性比对模型,得到每张所述待分类缺陷图像的缺陷类型的步骤,具体包括步骤:
将所述待分类缺陷图像与每个所述缺陷类型各自对应的至少一个所述目标缺陷图形进行匹配,若所述待分类缺陷图像与至少一个所述缺陷类型对应的所述至少一个目标缺陷图形匹配成功时,输出至少一个所述缺陷类型各自对应的至少一个匹配值;
将其中匹配值最高的所述缺陷类型判定为所述待分类缺陷图像的缺陷类别。
3.根据权利要求2所述的方法,其特征在于,将所述至少一张待分类缺陷图像输入所述相似性比对模型,得到所述待分类缺陷图像的缺陷类型的步骤,还包括步骤:
当所述待分类缺陷图像与所有所述缺陷类型各自对应的所述至少一个目标缺陷图形均匹配不成功时,根据用户输入的表示将所述待分类缺陷图像标记为所述用户指定缺陷类型的操作指令,将所述待分类缺陷图像标记为所述用户所指定的缺陷类型;
所述用户所指定的缺陷类型包括:所述样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
4.根据权利要求1所述的方法,其特征在于,所述将待分类缺陷图像输入所述相似性比对模型的步骤之前,还包括步骤:对所述待分类缺陷图像进行预处理,以提高所述待分类缺陷图像的分辨率。
5.根据权利要求3所述的方法,其特征在于,对所述待份分类缺陷图像进行预处理的步骤,具体包括:对所述待分类缺陷图像进行图像锐化。
6.一种基于相似性比对模型的晶圆缺陷分类装置,其特征在于,包括:
图像获取模块,用于获取至少一张待分类缺陷图像;
模型构建模块,用于获取多张标记有相应的缺陷类型的样本图像;
提取每张所述样本图像上的目标缺陷信息,得到多张目标缺陷图形;根据所述多张目标缺陷图形构建相似性比对模型;
缺陷分类模块,用于将获取到的至少一张所述待分类缺陷图像输入预先构建的相似性比对模型,得到每张所述待分类缺陷图像各自的缺陷类型。
7.根据权利要求6所述的装置,其特征在于,每个缺陷类型对应于至少一个所述目标缺陷图形,相应地,所述缺陷分类模块包括:
图像匹配单元,用于将所述至少一张待分类缺陷图像与每个所述缺陷类型各自对应的至少一个所述目标缺陷图形进行匹配,若所述待分类缺陷图像与至少一个所述缺陷类型对应的所述至少一个目标缺陷图形匹配成功时,输出至少一个所述缺陷类型各自对应的至少一个匹配值;
缺陷分类单元,用于将所述图像匹配单元中输出的匹配值最高的所述缺陷类型判定为所述待分类缺陷图像的缺陷类别。
8.根据权利要求7所述的装置,其特征在于,所述缺陷分类模块还包括:
自定义模块,用于当所述待分类缺陷图像与所有所述缺陷类型各自对应的所述至少一个目标缺陷图形均匹配不成功时,获取用户输入的表示将所述待分类缺陷图像标记为所述用户所指定的缺陷类型的操作指令,将所述待分类缺陷图像标记为所述用户所指定的缺陷类型;
所述用户所指定的缺陷类型包括:所述样本图像所标记的缺陷类型,或者,自定义的缺陷类型。
9.一种电子设备,包括至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器用于存储执行权利要求1至5中任一所述方法的程序;
所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质,其存储有计算机程序,其特征在于,所述计算机程序被处理器执行时控制所述存储介质所在设备执行权利要求1至5中任一所述方法的步骤。
CN202110904101.1A 2021-08-06 2021-08-06 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质 Active CN113610155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110904101.1A CN113610155B (zh) 2021-08-06 2021-08-06 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110904101.1A CN113610155B (zh) 2021-08-06 2021-08-06 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113610155A true CN113610155A (zh) 2021-11-05
CN113610155B CN113610155B (zh) 2024-05-31

Family

ID=78339801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110904101.1A Active CN113610155B (zh) 2021-08-06 2021-08-06 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113610155B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024118531A1 (en) * 2022-11-30 2024-06-06 Applied Materials, Inc. Substrate defect analysis

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008550A (zh) * 2014-06-05 2014-08-27 深圳市大族激光科技股份有限公司 晶圆表面缺陷特征分析方法、系统、分类方法和系统
JP2015038441A (ja) * 2013-08-19 2015-02-26 株式会社Screenホールディングス 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
CN109596638A (zh) * 2018-10-26 2019-04-09 中国科学院光电研究院 有图形晶圆及掩模版的缺陷检测方法及装置
US20190188840A1 (en) * 2017-12-19 2019-06-20 Samsung Electronics Co., Ltd. Semiconductor defect classification device, method for classifying defect of semiconductor, and semiconductor defect classification system
CN109977808A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种晶圆表面缺陷模式检测与分析方法
KR20190111644A (ko) * 2018-03-23 2019-10-02 (주)브릭 반복 패턴 영상의 결함 유형 분류 장치 및 방법
KR20190127320A (ko) * 2018-05-04 2019-11-13 (주)브릭 반복 패턴 영상의 결함 위치 파악 장치 및 방법
US20200105500A1 (en) * 2018-09-28 2020-04-02 Taiwan Semiconductor Manufacturing Co., Ltd. Machine learning on wafer defect review
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN112200806A (zh) * 2020-12-03 2021-01-08 晶芯成(北京)科技有限公司 一种晶圆的缺陷分析方法和系统
CN112819799A (zh) * 2021-02-09 2021-05-18 上海众壹云计算科技有限公司 目标缺陷检测方法及装置、系统、电子设备和存储介质
CN113077462A (zh) * 2021-04-30 2021-07-06 上海众壹云计算科技有限公司 晶圆缺陷分类方法、装置、系统、电子设备和存储介质
CN113096119A (zh) * 2021-04-30 2021-07-09 上海众壹云计算科技有限公司 晶圆缺陷分类的方法、装置、电子设备以及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038441A (ja) * 2013-08-19 2015-02-26 株式会社Screenホールディングス 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
CN104008550A (zh) * 2014-06-05 2014-08-27 深圳市大族激光科技股份有限公司 晶圆表面缺陷特征分析方法、系统、分类方法和系统
US20190188840A1 (en) * 2017-12-19 2019-06-20 Samsung Electronics Co., Ltd. Semiconductor defect classification device, method for classifying defect of semiconductor, and semiconductor defect classification system
KR20190111644A (ko) * 2018-03-23 2019-10-02 (주)브릭 반복 패턴 영상의 결함 유형 분류 장치 및 방법
KR20190127320A (ko) * 2018-05-04 2019-11-13 (주)브릭 반복 패턴 영상의 결함 위치 파악 장치 및 방법
US20200105500A1 (en) * 2018-09-28 2020-04-02 Taiwan Semiconductor Manufacturing Co., Ltd. Machine learning on wafer defect review
CN109596638A (zh) * 2018-10-26 2019-04-09 中国科学院光电研究院 有图形晶圆及掩模版的缺陷检测方法及装置
CN109977808A (zh) * 2019-03-11 2019-07-05 北京工业大学 一种晶圆表面缺陷模式检测与分析方法
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN112200806A (zh) * 2020-12-03 2021-01-08 晶芯成(北京)科技有限公司 一种晶圆的缺陷分析方法和系统
CN112819799A (zh) * 2021-02-09 2021-05-18 上海众壹云计算科技有限公司 目标缺陷检测方法及装置、系统、电子设备和存储介质
CN113077462A (zh) * 2021-04-30 2021-07-06 上海众壹云计算科技有限公司 晶圆缺陷分类方法、装置、系统、电子设备和存储介质
CN113096119A (zh) * 2021-04-30 2021-07-09 上海众壹云计算科技有限公司 晶圆缺陷分类的方法、装置、电子设备以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEON SEJUNE 等: "Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class", 《IEEE TRANSACTIONS ON SEMICONDUCTOR MANUFACTURING》, vol. 32, no. 02, pages 163 - 170, XP011722130, DOI: 10.1109/TSM.2019.2902657 *
NAKAZAWA TAKESHI 等: "Wafer Map Defect Pattern Classification and Image Retrieval Using Convolutional Neural Network", 《IEEE TRANSACTIONS ON SEMICONDUCTOR MANUFACTURING》, vol. 31, no. 02, pages 309 - 314, XP011682578, DOI: 10.1109/TSM.2018.2795466 *
吴阳阳 等: "基于机器视觉的改进光纤端面缺陷检测技术", 《电子世界》, no. 13, pages 63 - 64 *
魏鹏 等: "基于神经网络的IC芯片图形缺陷检测技术研究", 《电子工业专用设备》, vol. 50, no. 03, pages 35 - 41 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024118531A1 (en) * 2022-11-30 2024-06-06 Applied Materials, Inc. Substrate defect analysis

Also Published As

Publication number Publication date
CN113610155B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN113095438B (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN113096119B (zh) 晶圆缺陷分类的方法、装置、电子设备以及存储介质
CN108229485B (zh) 用于测试用户界面的方法和装置
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
US10769427B1 (en) Detection and definition of virtual objects in remote screens
CN113592886B (zh) 建筑图纸的审图方法、装置、电子设备及介质
CN113077462B (zh) 晶圆缺陷分类方法、装置、系统、电子设备和存储介质
CN112037222B (zh) 一种神经网络模型的自动更新方法及系统
CN114004984B (zh) 一种高压电缆附件工艺库图纸比对方法和系统
CN113505780A (zh) 一种基于二维码的智能检测维保的方法和设备
CN112381092A (zh) 跟踪方法、装置及计算机可读存储介质
CN112819799B (zh) 目标缺陷检测方法及装置、系统、电子设备和存储介质
CN113610155B (zh) 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN111507119B (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
CN114677567A (zh) 模型训练方法、装置、存储介质及电子设备
CN115984158A (zh) 缺陷分析方法、装置、电子设备及计算机可读存储介质
CN114120086A (zh) 路面病害识别、图像处理模型训练方法、装置及电子设备
US20050075841A1 (en) Automated defect classification system and method
CN113610801B (zh) 基于最小单元的缺陷分类方法、装置、设备和存储介质
CN112232390A (zh) 一种高像素大图像的识别方法和系统
CN114708582B (zh) 基于ai和rpa的电力数据智慧稽查方法及装置
CN112699886B (zh) 一种字符识别方法、装置及电子设备
CN115620329A (zh) 一种基于人工智能的图章跑偏智能识别方法
CN112967166A (zh) 一种基于openCV的图片水印自动识别处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant