CN116342623A - 训练晶圆图像的多缺陷分割模型的方法和装置 - Google Patents
训练晶圆图像的多缺陷分割模型的方法和装置 Download PDFInfo
- Publication number
- CN116342623A CN116342623A CN202310321631.2A CN202310321631A CN116342623A CN 116342623 A CN116342623 A CN 116342623A CN 202310321631 A CN202310321631 A CN 202310321631A CN 116342623 A CN116342623 A CN 116342623A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- wafer
- defects
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本说明书实施例提供了一种训练晶圆图像的多缺陷分割模型的方法和装置。该方法的一具体实施方式包括:获取包含m个缺陷的样本晶圆图像,以及针对所述m个缺陷分别标注的m个缺陷区域;基于所述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;将所述样本晶圆图像作为输入,将所述标签图像作为期望输出,训练多缺陷分割模型。
Description
技术领域
本说明书实施例涉及半导体集成电路制造领域,尤其涉及一种训练晶圆图像的多缺陷分割模型的方法和装置。
背景技术
晶圆是指制作半导体电路所用的晶片,其原始材料是硅。高纯度的多晶硅溶解后掺入硅晶体晶种,然后慢慢拉出,形成圆柱形的单晶硅。硅晶棒在经过研磨、抛光、切片后,形成硅晶圆片,也就是晶圆。在晶圆制作过程中,化学气相沉淀、光学显影、化学机械研磨在拉单晶、切片、磨片、抛光、增层、光刻、掺杂、热处理以及划片等一系列过程中可能使晶圆表面产生缺陷。为了防止存在缺陷的晶圆流入封装工序,需要检测晶圆表面的缺陷,辅助晶圆分拣以及分析缺陷原因等,以改进制造工艺。
在半导体制造过程中,有的时候单片晶圆会同时存在若干个缺陷,缺陷图案之间可以互相存在部分重叠或者不重叠。缺陷图像分割,作为缺陷检测系统的中级处理,在缺陷图像预处理和机器视觉高级分析两个阶段之间起到了关键的桥梁作用,属于基础和关键性技术。其目的是把图像分成各具特性的区域并把其中感兴趣的区域提取出来,把输入图像转化为分割图像,它对提取目标特征、目标识别与分类以及其后的高层处理等都非常重要。所以,如何从晶圆图像中分割出缺陷区域,对于缺陷检测、识别等具有重要的意义和价值。
发明内容
本说明书的实施例描述了一种训练晶圆图像的多缺陷分割模型的方法和装置,通过引入多通道的标签图像作为期望输出,可以训练得到能够输出多张晶圆缺陷图像的多缺陷分割模型,而每张晶圆缺陷图像中包括单个缺陷区域,从而实现晶圆图像中多个缺陷的分割。
根据第一方面,提供了一种训练晶圆图像的多缺陷分割模型的方法,包括:获取包含m个缺陷的样本晶圆图像,以及针对上述m个缺陷分别标注的m个缺陷区域;基于上述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;将上述样本晶圆图像作为输入,将上述标签图像作为期望输出,训练多缺陷分割模型。
在一些实现方式中,上述基于上述m个缺陷区域,确定包含多个通道的标签图像,包括:对于上述m个缺陷区域中的第一缺陷区域,确定上述标签图像的多个通道中的第一通道标签图像与上述第一缺陷区域相对应;将上述第一通道标签图像中的、与上述第一缺陷区域对应的区域的像素值设置为第一像素值;将上述第一通道标签图像中的、与上述第一缺陷区域对应的非缺陷区域对应的区域的像素值设置为第二像素值,其中,上述第一像素值与上述第二像素值不同。
在一些实现方式中,上述第一像素值为1,上述第二像素值为0。
在一些实现方式中,上述获取包含m个缺陷的样本晶圆图像,包括:获取m张样本缺陷图像,其中,每张样本缺陷图像与一个缺陷对应;将上述m张样本缺陷图像进行叠加,得到上述样本晶圆图像。
在一些实现方式中,上述标签图像的通道数量,通过对多个历史多缺陷晶圆图像中所包含的缺陷数量进行统计分析确定。
在一些实现方式中,上述样本晶圆图像中包含的上述m个缺陷为同种类型缺陷,或者多种类型缺陷;以及,上述样本晶圆图像中包含的上述m个缺陷包括重叠缺陷和/或非重叠缺陷。
在一些实现方式中,上述多缺陷分割模型为U-Net神经网络模型。
在一些实现方式中,上述训练多缺陷分割模型,包括:将上述样本晶圆图像输入上述多缺陷分割模型,得到多张特征图;确定上述多张特征图和上述多个通道的标签图像之间的差异损失;以上述差异损失最小化为目标,调整上述多缺陷分割模型的参数。
根据第二方面,提供了一种从晶圆图像中分割晶圆缺陷图像的方法,包括:获取目标晶圆图像;将上述目标晶圆图像输入基于权利要求1-8中任一方法得到的多缺陷分割模型,得到上述多缺陷分割模型输出的多张特征图,其中,每张特征图与一个缺陷区域相对应;根据上述多张特征图的像素值,确定上述目标晶圆图像的晶圆缺陷图像,其中,单张晶圆缺陷图像中包括单个缺陷区域。
根据第三方面,提供了一种训练晶圆图像的多缺陷分割模型的装置,包括:获取单元,配置为获取包含m个缺陷的样本晶圆图像,以及针对上述m个缺陷分别标注的m个缺陷区域;确定单元,配置为基于上述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;训练单元,配置为将上述样本晶圆图像作为输入,将上述标签图像作为期望输出,训练多缺陷分割模型。
根据第四方面,提供了一种从晶圆图像中分割晶圆缺陷图像的装置,包括:图像获取单元,配置为获取目标晶圆图像;输入单元,配置为将上述目标晶圆图像输入基于第一方面所示方法得到的多缺陷分割模型,得到上述多缺陷分割模型输出的多张特征图,其中,每张特征图与一个缺陷区域相对应;缺陷图像确定单元,配置为根据上述多张特征图的像素值,确定上述目标晶圆图像的晶圆缺陷图像,其中,单张晶圆缺陷图像中包括单个缺陷区域。
根据第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当上述计算机程序在计算机中执行时,令计算机执行如第一方面或者第二方面中任一实现方式描述的方法。
根据第六方面,提供了一种计算设备,包括存储器和处理器,其特征在于,上述存储器中存储有可执行代码,上述处理器执行上述可执行代码时,实现如第一方面或者第二方面中任一实现方式描述的方法。
根据本说明书实施例提供的训练晶圆图像的多缺陷分割模型的方法,首先,获取包含m个缺陷的样本晶圆图像,以及针对m个缺陷分别标注的m个缺陷区域。然后,基于m个缺陷区域确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域。最后,将样本晶圆图像作为输入,将包含多个通道的标签图像作为期望输出,训练晶圆图像的多缺陷分割模型。由于训练过程中引入了多通道的标签图像,因此,可以训练得到能够输出多张晶圆缺陷图像的多缺陷分割模型,而每张晶圆缺陷图像中包括单个缺陷区域,从而实现晶圆图像中多个缺陷的分割。
附图说明
图1示出了本说明书实施例可以应用于其中的一个应用场景的示意图;
图2示出了根据一个实施例的训练晶圆图像的多缺陷分割模型的方法的流程示意图;
图3示出了三个晶圆图像(a)、(b)和(c)的示意图;
图4示出了将样本晶圆图像中的第一缺陷区域对应到第一通道标签图像中的示意图;
图5示出了一个U-Net神经网络模型的网络结构的示意图;
图6示出了根据一个实施例的从晶圆图像中分割晶圆缺陷图像的方法的流程示意图;
图7示出了根据一个实施例的训练晶圆图像的多缺陷分割模型的装置的示意性框图;
图8示出了根据一个实施例的从晶圆图像中分割晶圆缺陷图像的装置的示意性框图。
具体实施方式
下面结合附图和实施例,对本说明书提供的技术方案做进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。需要说明的是,在不冲突的情况下,本说明书的实施例及实施例中的特征可以相互组合。
如前所述,如何从晶圆图像中分割出缺陷区域,对于缺陷检测、识别等具有重要的意义和价值。为此,本说明书的实施例提供一种训练晶圆图像的多缺陷分割模型的方法。图1示出了本说明书实施例可以应用于其中的一个应用场景的示意图。如图1所示,在图1所示的应用场景中,可以获取包含m个缺陷的样本晶圆图像,以及针对m个缺陷分别标注的m个缺陷区域,其中,m≥0,且m为整数。根据实际需要,还可以对样本晶圆图像进行图像增强、缩放等预处理。之后,可以基于m个缺陷区域,确定包含n个通道的标签图像,其中,n≥0,且n≥m,n为整数。单个通道的标签图像示出单个缺陷区域。然后,将样本晶圆图像作为多缺陷分割模型的输入,由多缺陷分割模型针对样本晶圆图像输出n张特征图。将包含n个通道的标签图像作为期望输出,并计算多缺陷分割模型输出的n张特征图与包含n个通道的标签图像之间的差异,并基于计算得到的差异调整多缺陷分割模型的模型参数。
继续参见图2,图2示出了根据一个实施例的训练晶圆图像的多缺陷分割模型的方法的流程示意图。可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示,该训练晶圆图像的多缺陷分割模型的方法,可以包括以下步骤:
步骤201,获取包含m个缺陷的样本晶圆图像,以及针对m个缺陷分别标注的m个缺陷区域。
在本实施例中,可以获取包含m个缺陷的样本晶圆图像,以及针对m个缺陷分别标注的m个缺陷区域,其中,m为正整数,大于或者等于0。举例来说,可以采用人工标注的方式在样本晶圆图像中为每一个缺陷标注一个缺陷区域,缺陷区域用于标识缺陷所在的位置。这里,缺陷可以是指晶圆上可能出现的各种类型的晶圆表面缺陷,例如,晶圆表面冗余物、晶体缺陷、机械损伤(划痕图案)等等。其中,晶圆表面冗余物可以包括纳米级的微小颗粒、微米级的灰尘、相关工序的残留物等等。晶体缺陷的产生往往是由于晶体生长时加热不均所造成的,相较于其它晶圆表面缺陷,晶圆表面的晶体缺陷由于自身特征较为明显。机械损伤一般产生于晶圆制造过程中抛光、切片等步骤中,由化学机械研磨所致。
在一些实现方式中,样本晶圆图像中包含的m个缺陷可以是同种类型的缺陷,也可以是多种类型的缺陷。以及,样本晶圆图像中包含的m个缺陷可以包括重叠缺陷,也可以包括非重叠缺陷,还可以同时包括重叠缺陷和非重叠缺陷。这里,重叠缺陷可以是指部分区域与其他缺陷相重叠的缺陷。举例来说,如图3所示,图3示出了三个晶圆图像(a)、(b)和(c)的示意图,其中,晶圆图像(a)中包括两个重叠缺陷,晶圆图像(b)中包括一个非重叠缺陷,晶圆图像(c)中包括两个重叠缺陷和一个非重叠缺陷。可以理解,图3中的边界区域不包含晶圆图像的信息,因此,本实施例中可以不对边界区域进行处理。图3所示的示例,仅仅用于解释晶圆图像中重叠缺陷和非重叠缺陷的形式,而非对晶圆图像中缺陷数量、缺陷区域大小、相重叠的缺陷数量等的限制。
在一些实现方式中,可以通过以下方式获取包含m个缺陷的样本晶圆图像:首先,获取m张样本缺陷图像,其中,每张样本缺陷图像与一个缺陷对应,m张样本缺陷图像的大小相同。然后,将m张样本缺陷图像进行叠加,得到样本晶圆图像。作为示例,样本缺陷图像中的缺陷区域的像素值可以设置为1,非缺陷区域的像素值可以设置为0。然后,可以将m张样本缺陷图像中的相同位置像素点的像素值进行叠加,从而得到包含m个缺陷的样本晶圆图像。
步骤202,基于m个缺陷区域,确定包含多个通道的标签图像。
在本实施例中,可以基于样本晶圆图像中的m个缺陷对应的m个缺陷区域,确定包含多个通道的标签图像。这里,标签图像的通道数量大于或者等于m。作为一个示例,标签图像的通道数量可以是由人工根据经验设定的。作为另一示例,标签图像的通道数量还可以是,通过对多个历史多缺陷晶圆图像中所包含的缺陷数量进行统计分析确定的。例如,可以统计多个历史多缺陷晶圆图像中所包含的缺陷数量的最大值,并将该最大值作为标签图像的通道数量。又例如,统计得到多个历史多缺陷晶圆图像中X%的晶圆图像所包含的缺陷数量不会超过Y,则可以将Y作为标签图像的通道数量,这里,X和Y的具体值可以根据实际需要进行设定。
这里,样本晶圆图像和标签图像的大小相等。其中,单个通道的标签图像示出单个缺陷区域。举例来说,以标签图像的通道数量为n(n≥m)为例,首先可以根据样本晶圆图像中标注的m个缺陷区域,生成m张缺陷图像,每张缺陷图像中包括一个缺陷区域。本例中,缺陷图像和标签图像的大小相等,均为N×M。作为示例,生成缺陷图像时,每张缺陷图像中的缺陷区域的像素值为1,非缺陷区域的像素值为0。然后,将m张缺陷图像作为m个通道的标签图像,将(n-m)张像素值为0、大小为N×M的图像作为(n-m)个通道的标签图像,从而得到n个通道的标签图像。
在一些实现方式中,可以预先设置初始的、包含多个通道的标签图像,且标签图像和样本晶圆图像的大小相等。以及,上述步骤202还可以如下进行:
1),对于m个缺陷区域中的任意一个第一缺陷区域,确定标签图像的多个通道中的第一通道标签图像与第一缺陷区域相对应。
2),将第一通道标签图像中的、与第一缺陷区域对应的区域的像素值设置为第一像素值。
3),将第一通道标签图像中的、与第一缺陷区域对应的非缺陷区域对应的区域的像素值设置为第二像素值。其中,第一像素值与第二像素值可以是不相同的任意值。举例来说,第一像素值可以1,第二像素值可以为0。
举例来说,如图4所示,图4示出了将样本晶圆图像401中的第一缺陷区域4011对应到第一通道标签图像402中的示意图。在图4所示的例子中,样本晶圆图像401中包括第一缺陷区域4011和与第一缺陷区域4011对应的非缺陷区域4012。将第一通道标签图像402中的、与第一缺陷区域4011对应的区域4021的像素值设置为1。将第一通道标签图像402中的、与第一缺陷区域4011对应的非缺陷区域4012对应的区域4022的像素值设置为0。由此,可以在第一通道标签图像402中示出第一缺陷区域4011的信息。
同理,m个通道的标签图像可以示出m个缺陷区域。由于标签图像的通道数量大于m,对于未与缺陷区域对应的通道的标签图像,可以将该通道的标签图像的像素值设置为第二像素值。举例来说,假设,m为3,m个缺陷区域分别为区域1,区域2和区域3。假设,标签图像的通道数量为4,4个通道分别为通道A,通道B、通道C和通道D。且假设,通道A,通道B和通道C分别示出区域1,区域2和区域3。则,通道D未与缺陷区域对应,则将通道D的像素值设置为第二像素值。
步骤203,将样本晶圆图像作为输入,将标签图像作为期望输出,训练多缺陷分割模型。
在本实施例中,可以将样本晶圆图像输入多缺陷分割模型,从而得到多缺陷分割模型针对样本晶圆图像输出的包含多个通道的预测结果。然后,可以利用预设的损失函数计算该预测结果与包含多个通道的标签图像之间的差异,并基于计算所得的差异,调整多缺陷分割模型的模型参数,并在满足预设的训练结束条件的情况下,结束训练。例如,这里预设的训练结束条件可以包括但不限于以下至少一项:训练时间超过预设时长;训练次数超过预设次数;计算所得的差异小于预设差异阈值。这里,可以采用各种实现方式基于计算所得的差异调整多缺陷分割模型的模型参数。例如,可以采用BP(Back Propagation,反向传播)算法或者SGD(Stochastic Gradient Descent,随机梯度下降)算法来调整多缺陷分割模型的模型参数。
在一些实现方式中,上述训练多缺陷分割模型的方法可以具体包括以下内容:首先,将样本晶圆图像输入多缺陷分割模型,由多缺陷分割模型输出多张特征图。这里,模型输出的特征图的数量与标签图像的通道数量相同。然后,确定多张特征图和多个通道的标签图像之间的差异损失,例如,差异损失可以是交叉熵损失、均方差损失、平均绝对误差损失等等。然后,以差异损失最小化为目标,调整多缺陷分割模型的模型参数。
在一些实现方式中,多缺陷分割模型可以是各种神经网络模型,例如,可以是U-Net神经网络模型,U-Net是一种卷积神经网络方法。U-Net的命名源自它的网络结构,它的网络结构可视化的结果很像一个字母U。如图5所示,图5示出了一个U-Net神经网络模型的网络结构的示意图。U-Net网络的这个结构,也被称为编码器-解码器结构,其中编码器逐渐将信息压缩为低维表示形式,然后解码器将此信息解码回原始图像尺寸。除此之外,U-Net架构的显著特征之一是跳跃连接。网络首先对图片进行卷积和池化,经过一系列的卷积和池化之后就会得到一系列的不同尺寸的特征。然后依次对最小的特征图做上采样或者反卷积,得到上一级的特征图并与之前的同级别的特征图进行通道的拼接(就是指上面的跳跃连接,拼接则保留了更多的维度信息,后面的层可以同时拥有浅层特征与深层特征),然后再对拼接之后的特征图做卷积和上采样,经过多次拼接和上采样,最终得到与输入图像尺寸相同的预测结果。可以理解,图5中示出的U-Net架构的网络结构仅仅是示意性的,而非对U-Net架构的网络结构的限定,实践中,可以根据实际需要设置不同深度的网络结构。
以上描述了多缺陷分割模型的训练过程,由于训练过程中引入了多通道的标签图像,因此,可以训练得到能够输出多张晶圆缺陷图像的多缺陷分割模型,而每张晶圆缺陷图像中包括单个缺陷区域。如此得到的多缺陷分割模型,可以对输入其中的晶圆图像中的多个缺陷进行分割,输出对应的晶圆缺陷图像,每张晶圆缺陷图像中包括单个缺陷区域。
基于图2所示的方法训练得到的多缺陷分割模型,可以用于对晶圆图像中的多个缺陷进行分割。继续参见图6,图6示出了根据一个实施例的从晶圆图像中分割晶圆缺陷图像的方法的流程示意图。可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。执行图6所示方法的主体与执行图2所示方法的主体可以相同,也可以不同。如图6所示,该从晶圆图像中分割晶圆缺陷图像的方法,可以包括以下步骤:
步骤601,获取目标晶圆图像。这里,目标晶圆图像可以是指需要进行缺陷分割的图像。目标晶圆图像中可以包括一个或者多个缺陷,也可以不包括缺陷。
步骤602,将目标晶圆图像输入基于图2所示方法得到的多缺陷分割模型,得到多缺陷分割模型输出的多张特征图。其中,每张特征图与一个缺陷区域相对应。
步骤603,根据多张特征图的像素值,确定目标晶圆图像的晶圆缺陷图像,其中,单张晶圆缺陷图像中包括单个缺陷区域。
举例来说,多缺陷分割模型输出的多张特征图可以是经过sigmoid激活函数处理过的特征图,因此,特征图中像素值的取值范围是(0,1)。此时,可以设定阈值(例如,0.5)对每张特征图进行二值化处理,将存在非0像素值的特征图作为一张晶圆缺陷图像。如果一张特征图进行二值化处理后,像素值全部或者几乎全部为0,则该张特征图不能作为晶圆缺陷图像。这样,如果目标晶圆图像中只存在一个缺陷,则得到一张晶圆缺陷图像。如果目标晶圆图像中存在m个缺陷,则得到m张晶圆缺陷图像,其中,m为大于0的正整数,m小于或者等于多缺陷分割模型输出的特征图的数量。
回顾以上过程,在本说明书的实施例中,由于训练过程中引入了多通道的标签图像,因此,可以训练得到能够输出多张晶圆缺陷图像的多缺陷分割模型,而每张晶圆缺陷图像中包括单个缺陷区域,从而通过多缺陷分割模型实现晶圆图像中多个缺陷的分割。
根据另一方面的实施例,提供了一种训练晶圆图像的多缺陷分割模型的装置。上述训练晶圆图像的多缺陷分割模型的装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。
图7示出了根据一个实施例的训练晶圆图像的多缺陷分割模型的装置的示意性框图。如图7所示,该训练晶圆图像的多缺陷分割模型的装置700包括:获取单元701,配置为获取包含m个缺陷的样本晶圆图像,以及针对上述m个缺陷分别标注的m个缺陷区域;确定单元702,配置为基于上述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;训练单元703,配置为将上述样本晶圆图像作为输入,将上述标签图像作为期望输出,训练多缺陷分割模型。
在本实施例的一些可选的实现方式中,确定单元702进一步配置为:对于上述m个缺陷区域中的第一缺陷区域,确定上述标签图像的多个通道中的第一通道标签图像与上述第一缺陷区域相对应;将上述第一通道标签图像中的、与上述第一缺陷区域对应的区域的像素值设置为第一像素值;将上述第一通道标签图像中的、与上述第一缺陷区域对应的非缺陷区域对应的区域的像素值设置为第二像素值,其中,上述第一像素值与上述第二像素值不同。
在本实施例的一些可选的实现方式中,上述第一像素值为1,上述第二像素值为0。
在本实施例的一些可选的实现方式中,获取单元701进一步配置为:获取m张样本缺陷图像,其中,每张样本缺陷图像与一个缺陷对应;将上述m张样本缺陷图像进行叠加,得到上述样本晶圆图像。
在本实施例的一些可选的实现方式中,上述标签图像的通道数量,通过对多个历史多缺陷晶圆图像中所包含的缺陷数量进行统计分析确定。
在本实施例的一些可选的实现方式中,上述样本晶圆图像中包含的上述m个缺陷为同种类型缺陷,或者多种类型缺陷;以及,上述样本晶圆图像中包含的上述m个缺陷包括重叠缺陷和/或非重叠缺陷。
在本实施例的一些可选的实现方式中,上述多缺陷分割模型为U-Net神经网络模型。
在本实施例的一些可选的实现方式中,训练单元703进一步配置为:将上述样本晶圆图像输入上述多缺陷分割模型,得到多张特征图;确定上述多张特征图和上述多个通道的标签图像之间的差异损失;以上述差异损失最小化为目标,调整上述多缺陷分割模型的参数。
根据另一方面的实施例,提供了一种从晶圆图像中分割晶圆缺陷图像的装置。上述从晶圆图像中分割晶圆缺陷图像的装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。
图8示出了根据一个实施例的从晶圆图像中分割晶圆缺陷图像的装置的示意性框图。如图8所示,该从晶圆图像中分割晶圆缺陷图像的装置800包括:图像获取单元801,配置为获取目标晶圆图像;输入单元802,配置为将上述目标晶圆图像输入基于图2所示方法得到的多缺陷分割模型,得到上述多缺陷分割模型输出的多张特征图,其中,每张特征图与一个缺陷区域相对应;缺陷图像确定单元803,配置为根据上述多张特征图的像素值,确定上述目标晶圆图像的晶圆缺陷图像,其中,单张晶圆缺陷图像中包括单个缺陷区域。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当上述计算机程序在计算机中执行时,令计算机执行图2或者图6所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,其特征在于,上述存储器中存储有可执行代码,上述处理器执行上述可执行代码时,实现图2或者图6所描述的方法。
本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种训练晶圆图像的多缺陷分割模型的方法,包括:
获取包含m个缺陷的样本晶圆图像,以及针对所述m个缺陷分别标注的m个缺陷区域;
基于所述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;
将所述样本晶圆图像作为输入,将所述标签图像作为期望输出,训练多缺陷分割模型。
2.根据权利要求1所述的方法,其中,所述基于所述m个缺陷区域,确定包含多个通道的标签图像,包括:
对于所述m个缺陷区域中的第一缺陷区域,确定所述标签图像的多个通道中的第一通道标签图像与所述第一缺陷区域相对应;
将所述第一通道标签图像中的、与所述第一缺陷区域对应的区域的像素值设置为第一像素值;
将所述第一通道标签图像中的、与所述第一缺陷区域对应的非缺陷区域对应的区域的像素值设置为第二像素值,其中,所述第一像素值与所述第二像素值不同。
3.根据权利要求2所述的方法,其中,所述第一像素值为1,所述第二像素值为0。
4.根据权利要求1所述的方法,其中,所述获取包含m个缺陷的样本晶圆图像,包括:
获取m张样本缺陷图像,其中,每张样本缺陷图像与一个缺陷对应;
将所述m张样本缺陷图像进行叠加,得到所述样本晶圆图像。
5.根据权利要求1所述的方法,其中,所述标签图像的通道数量,通过对多个历史多缺陷晶圆图像中所包含的缺陷数量进行统计分析确定。
6.根据权利要求1所述的方法,其中,所述样本晶圆图像中包含的所述m个缺陷为同种类型缺陷,或者多种类型缺陷;以及,所述样本晶圆图像中包含的所述m个缺陷包括重叠缺陷和/或非重叠缺陷。
7.根据权利要求1所述的方法,其中,所述多缺陷分割模型为U-Net神经网络模型。
8.根据权利要求1所述的方法,其中,所述训练多缺陷分割模型,包括:
将所述样本晶圆图像输入所述多缺陷分割模型,得到多张特征图;
确定所述多张特征图和所述多个通道的标签图像之间的差异损失;
以所述差异损失最小化为目标,调整所述多缺陷分割模型的参数。
9.一种从晶圆图像中分割晶圆缺陷图像的方法,包括:
获取目标晶圆图像;
将所述目标晶圆图像输入基于权利要求1-8中任一方法得到的多缺陷分割模型,得到所述多缺陷分割模型输出的多张特征图,其中,每张特征图与一个缺陷区域相对应;
根据所述多张特征图的像素值,确定所述目标晶圆图像的晶圆缺陷图像,其中,单张晶圆缺陷图像中包括单个缺陷区域。
10.一种训练晶圆图像的多缺陷分割模型的装置,包括:
获取单元,配置为获取包含m个缺陷的样本晶圆图像,以及针对所述m个缺陷分别标注的m个缺陷区域;
确定单元,配置为基于所述m个缺陷区域,确定包含多个通道的标签图像,其中,单个通道的标签图像示出单个缺陷区域;
训练单元,配置为将所述样本晶圆图像作为输入,将所述标签图像作为期望输出,训练多缺陷分割模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310321631.2A CN116342623A (zh) | 2023-03-29 | 2023-03-29 | 训练晶圆图像的多缺陷分割模型的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310321631.2A CN116342623A (zh) | 2023-03-29 | 2023-03-29 | 训练晶圆图像的多缺陷分割模型的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116342623A true CN116342623A (zh) | 2023-06-27 |
Family
ID=86878527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310321631.2A Pending CN116342623A (zh) | 2023-03-29 | 2023-03-29 | 训练晶圆图像的多缺陷分割模型的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116342623A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664988A (zh) * | 2023-07-24 | 2023-08-29 | 广立微(上海)技术有限公司 | 图片自动标注方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-29 CN CN202310321631.2A patent/CN116342623A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664988A (zh) * | 2023-07-24 | 2023-08-29 | 广立微(上海)技术有限公司 | 图片自动标注方法、装置、计算机设备和存储介质 |
CN116664988B (zh) * | 2023-07-24 | 2023-11-21 | 广立微(上海)技术有限公司 | 图片自动标注方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7590277B2 (en) | Pattern inspecting method | |
US20130202188A1 (en) | Defect inspection method, defect inspection apparatus, program product and output unit | |
JP5225297B2 (ja) | ウエハー上に形成されたダイに於けるアレイ領域の認識方法、ならびに係る方法の設定方法 | |
CN116342623A (zh) | 训练晶圆图像的多缺陷分割模型的方法和装置 | |
KR20090066212A (ko) | 결함 검출 방법 및 결함 검출 장치 | |
CN115311282B (zh) | 基于图像增强的晶圆缺陷检测方法 | |
JP6575954B2 (ja) | ダイ対データベースのフォトマスク検査のための自動的な較正サンプルの選択 | |
CN111583170A (zh) | 图像生成装置和图像生成方法 | |
KR20210108338A (ko) | 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스 | |
CN116485779A (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN113272736A (zh) | 用于过程控制的管芯内量测方法和系统 | |
US20120106827A1 (en) | Wafer inspection method | |
Yu et al. | SEM image quality enhancement: an unsupervised deep learning approach | |
US10957033B2 (en) | Repeater defect detection | |
JP3806125B2 (ja) | 欠陥検査装置および欠陥検査方法 | |
CN116894839A (zh) | 芯片晶圆缺陷检测方法、装置、终端设备以及存储介质 | |
WO2021061585A1 (en) | Variation-based segmentation for wafer defect detection | |
US6289123B1 (en) | Character extracting method and its apparatus | |
CN115063385A (zh) | 一种用于晶圆检测的机器视觉方法 | |
KR102498322B1 (ko) | 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 | |
US11455715B2 (en) | Epitaxy metrology in fin field effect transistors | |
CN115581123A (zh) | 脱层缺陷的边缘轮廓检验 | |
Roy et al. | Performance evaluation of multiple image binarization algorithms using multiple metrics on standard image databases | |
CN112419296A (zh) | 微纳光学元件表面缺陷检测方法及图像分割方法 | |
CN111553875A (zh) | 晶圆生产异常设备查找方法及查找系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |