CN116342474A - 晶圆表面缺陷检测方法 - Google Patents
晶圆表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116342474A CN116342474A CN202211726176.6A CN202211726176A CN116342474A CN 116342474 A CN116342474 A CN 116342474A CN 202211726176 A CN202211726176 A CN 202211726176A CN 116342474 A CN116342474 A CN 116342474A
- Authority
- CN
- China
- Prior art keywords
- prediction
- defect
- map
- feature map
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 122
- 238000001514 detection method Methods 0.000 title abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000013145 classification model Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007526 fusion splicing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
Abstract
本申请公开一种晶圆表面缺陷检测方法,涉及检测技术领域,包括将采集的晶圆缺陷图输入至语义分割网络模型中进行像素级标注,获得晶圆缺陷图的掩膜图和第一缺陷预测结果;其中,晶圆缺陷图中仅包含有一种缺陷类型,且语义分割网络模型中包含多尺度模块,用于提高预测准确率;将晶圆缺陷图和掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果;基于第一缺陷预测结果和第二缺陷预测结果确定图片最终预测结果。采用语义分割网络模型和分类学习网络模型的方式,滤除背景噪声对分类模型的影响,且利用包含整个背景的掩膜图进行判断的方式提高了预测结果的精准度。
Description
技术领域
本申请实施例涉及检测技术领域,特别涉及一种晶圆表面缺陷检测方法。
背景技术
目前对于晶圆缺陷检测的方式主要分为两步,第一步根据工业相机内置的检测算法,定位缺陷的大体位置,并对其进行拍摄,用于后续的处理。
第二步,为区分缺陷的类别,会采用AI算法进行对缺陷进行分类。常见的分类方法有:
(1)对小图标注,直接进行分类,但是这种方式对于缺陷占比很小的图片,分类效果可能不好,容易过拟合,因为背景噪声会对分类模型有负面影响。
(2)对小图进行像素级标注,进行语义分割。这种方式虽然从图片中分割出了缺陷,但可能分类效果不佳,因为有些缺陷仅靠局部信息不足以做出精准分类。
发明内容
本申请提供一种晶圆表面缺陷检测方法,解决晶圆缺陷类型检测和分类不准确的问题。方案包括:
将采集的晶圆缺陷图输入至语义分割网络模型中进行像素级标注,获得所述晶圆缺陷图的掩膜图和第一缺陷预测结果;其中,所述晶圆缺陷图中仅包含有一种缺陷类型,且所述语义分割网络模型中包含多尺度模块,用于提高预测准确率;
将所述晶圆缺陷图和所述掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果;
基于所述第一缺陷预测结果和所述第二缺陷预测结果确定图片最终预测结果。
具体的,通过所述语义分割网络模型获得所述掩膜图,包括:
依次提取所述晶圆缺陷图不同分辨率下的预测特征图,获得第一预测特征图、第二预测特征图,直至目标分辨率下的第i预测特征图;
将所述第i预测特征图的通道数缩减为原来的1/4,并分三路分别进行多尺度最大池化操作,将三路池化结果连同最大池化前的特征图进行拼接融合,获得第i中间预测特征图;
将所述第i中间预测特征图进行上采样,获得第i-1中间预测特征图,且与第i-1预测特征图进行拼接融合及上采样操作,获得第i-2中间预测特征图;
在所述第i-2中间预测特征图的基础上继续根据分辨率与对应的所述预测特征图进行拼接融合和上采样,直至获得所述掩模图;i是大于2的正整数。
具体的,第k预测特征图与第k中间特征图的分辨率及尺寸相同,k位于1和i之间;尺寸包括特图长度、宽度和通道数,分辨率与图像尺寸呈正相关;
所述依次提取所述晶圆缺陷图不同分辨率下的预测特征图,包括:
将所述第一预测特征图进行卷积和归一化操作,获得所述第二预测特征图;
将所述第二预测特征图进行卷积和归一化操作,并进行下采样,获得第三预测特征图,直至将第i-1预测特征图进行下采样,获得所述第i预测特征图。
具体的,所述将三路池化结果连同最大池化前的特征图进行拼接融合,获得第i中间预测特征图,包括:
将三路最大池化操作后的特征图与池化操作前的特征图进行拼接,拼接后的特征图进行卷积和归一化操作,得到的所述第i中间预测特征图与所述第i预测特征图的分辨率相同。
具体的,在所述第i-2中间预测特征图的基础上继续根据分辨率与对应的所述预测特征图进行拼接融合和上采样,直至获得所述掩模图,包括:
中间预测特征图依次与分辨率相对应的预测特征图进行拼接融合,融合进行卷积和上采样操作,直至获得第一中间预测特征图;所述第一中间预测特征图的长度和宽度与所述第一预测特征图相同;
继续对所述第一中间预测特征图进行卷积操作,获得与所述第一预测特征图具有相同分辨率的所述掩模图。
具体的,所述将所述晶圆缺陷图和所述掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果,包括:
所述分类网络预测模型将所述掩模图和所述晶圆缺陷图进行重叠匹配,获得缺陷图像;
对所述缺陷图像进行识别,获得所述第二缺陷预测结果。
具体的,所述第一缺陷预测结果为seg_result;所述第二缺陷预测结果为cls_result;
图片最终预测结果为predict_result,表示如下:
predict_result=α·seg_result+β·cls_result
其中的α和β为超参数,基于模型精度确定。
具体的,predict_result的数值区间指示晶圆表面的缺陷类型,根据数值大小判断并输出所述晶圆缺陷图的缺陷类型。
本申请实施例提供的技术方案带来的有益效果至少包括:结合语义分割网络模型和分类学习网络模型,将原始完整的晶圆缺陷图输入至语义分割网络模型中进行层层提取,并通过多尺度模块进行最大池化操作和融合拼接,将图像的低层次空间信息转化为高级语义信息;后续再通过上采样和特征融合技术,利用高级语义和低级空间信息生成预测的掩模图和第一缺陷预测结果。获得掩模图后,继续将掩模图和原始晶圆缺陷图一同输入到分类网络预测模型中,通过掩模图和原始晶圆缺陷图叠加运算获得完整背景的像素级标注的晶圆缺陷图,进而再通过分类器预测第二缺陷预测结果,最终根据两次缺陷预测值确定出图片最终预测结果。相比原先的直接标注和小图像素级标注,滤除背景噪声对分类模型的影响,且利用包含整个背景的掩膜图进行判断的方式提高了预测结果的精准度。
附图说明
图1是通过工业相机拍摄的晶圆表面缺陷的背景图;
图2是本申请实施例提供的晶圆表面缺陷检测方法的流程图;
图3是本申请实施例提供的晶圆表面缺陷检测方法的结构示意图;
图4是本申请实施例提供的是获取mask图像的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
如图1中所示,左侧框选的部位是相机实际拍摄到的晶圆缺陷,这种小图直接标注的方法对缺陷占比很小的图片,其识别分类效果并不好,右侧是采用像素级提取和标注后的框选出的缺陷图,其背景已经过“抠图”处理,这样的小图片经过分类器再筛选后得到检测结果。但是对于像素级分隔标注的方法,对于一部分缺陷类型来说,仅靠局部信息无法做出精准的分类判断,所以识别的精度有待提高。
图2是本申请实施例提供的晶圆表面缺陷检测方法的流程图;包括如下步骤:
步骤201,将采集的晶圆缺陷图输入至语义分割网络模型中进行像素级标注,获得晶圆缺陷图的掩膜图和第一缺陷预测结果。
本步骤需要先获取完整的晶圆缺陷图,完整晶圆缺陷图是确保不丧失背景信息的重要前提。该方案晶圆缺陷图在训练过程中需要尽量保证每张缺陷图都只包含有一种缺陷类型标签,便于模型前期的训练。
参考图3所示,是模型执行晶圆表面缺陷检测方法的结构示意图,晶圆缺陷图输入语义分割网络模型(backbone1)后,获得预测特征图Feature Map,经过多次转换后获得掩模图Mask。
语义分割网络模型是对完整晶圆缺陷图进行自动像素级标注,将图像进行处理,获得掩模图并输出第一缺陷预测结果,第一缺陷预测结果可以初步根据掩模图中框选和标注的缺陷计算预测数值。
语义分割网络模型的处理过程包括如下:
A,依次提取晶圆缺陷图在不同分辨率下的预测特征图,获得第一预测特征图、第二预测特征图,直至目标分辨率下的第i预测特征图。
首先模型会提取晶圆缺陷图的正常特征图,也就是原始分辨率状态下的特征图,将其定义为第一预测特征图,对其逐级进行卷积和归一化操作,依次降低其特征图尺寸,并提高通道数,以获得图像高维空间上的空间信息。
如图4所示,是获取mask的流程示意图。将第一预测特征图进行卷积和归一化操作,获得第二预测特征图,然后再将第二预测特征图进行卷积和归一化操作,并进行下采样,获得第三预测特征图,依次类推,直至将第i-1预测特征图进行下采样,获得第i预测特征图。
假设第一预测特征图的分辨率为H×W×C,经过一次conv-bn-relu(卷积操作,归一化层和ReLU激活函数)后,得到分辨率为H/2×W/2×128的第二预测特征图,往后依次执行conv-bn-relu操作,并进行下采样(例如maxpool)操作,将尺寸缩小一半,同时将通道数增大一倍,得到分辨率为H/4×W/4×256的第三预测特征图,以获得更多的空间信息。往后逐次获得分辨率为H/8×W/8×512的第四预测特征图、直至获得目标分辨率下的第i预测特征图(例如分辨率为H/16×W/16×1024的第五预测特征图)。
B,将第i预测特征图的通道数缩减为原来的1/4,并分三路分别进行多尺度最大池化操作,将三路池化结果连同最大池化前的特征图进行拼接融合,获得第i中间预测特征图。
此步骤主要为多尺度模块进行高维空间信息融合,Multi-scale保持第i预测特征图的尺寸不变,将通道数缩减为原来的1/4。如将H/16×W/16×1024的特征图变为H/16×W/16×256的特征图,然后在此基础上将其分为三路分别进行多尺度最大池化操作maxpool。此处的maxpool主要目是通过不同池化核大小提取特征,提高网络的感受野,并将池化后三个特征图和未池化前的原始特征图进行特征融合。将四个部分融合后再经过一次conv-bn-relu,获得与第i预测特征图的分辨率相同的第i中间预测特征图。图4中的生成的第i中间预测特征图的分辨率为H/16×W/16×1024,i是大于2的正整数。
C,将第i中间预测特征图进行上采样,获得第i-1中间预测特征图,且与第i-1预测特征图进行拼接融合及上采样操作,获得第i-2中间预测特征图。
接下来的步骤就是依次将中间预测特征图进行上采样,并与同一分辨率的预测特征图进行拼接融合,以整合更多图像信息。
从图4中可以看出,H/16×W/16×1024的特征图先经过一次卷积操作和上采样upsample,通道数减半,获得分辨率为H/8×W/8×512的第i-1中间预测特征图,然后将其于先前的第i-1预测特征图进行拼接融合,融合后经过一次conv-bn-relu和upsample后,得到分辨率为H/4×W/4×256的第i-2中间预测特征图。
D,在第i-2中间预测特征图的基础上继续根据分辨率与对应的预测特征图进行拼接融合和上采样,直至获得掩模图。
拼接融合的次数取决于下采样(降维)的次数,所以上采样目的是为了升维,且融合需要选择分辨率相同的进行拼接。经过最后一次拼接融合后得到的第一中间预测特征图的尺寸和第一预测特征图的尺寸相同,例如都是H×W,但通道数可能和原始通道数不同。例如图4中第一中间预测特征图的分辨率为H×W×128。相比原先的通道数改变,最后再经过一次conv-bn-relu操作后得到分辨率为H×W×1的单通道掩模图。掩模图从其本身特性上来说,可以将原图像中的感兴趣区域提取出来,用预先制作的感兴趣区掩膜与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0,这样就可以提高缺陷区域在图像中的显示,且掩模图还可以对未出现缺陷部位进行屏蔽,得到的效果图显示更为直观,滤除的源图像中存在的背景噪声,也更方便后续分类网络判断的精准性。
由于语义分割网络模型前期经过大量训练,所以对掩模图也具备一定的识别能力,此处生成掩模图的同时,还会输出对该掩模图的第一缺陷预测结果seg_result。
步骤202,将晶圆缺陷图和掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果。
第二预测结果主要由分类网络预测模型判断,在获得mask图像的基础上,继续将该mask图像与原始的晶圆缺陷图一同输入到分类网络预测模型中。
在处理过程中,分类网络模型会将原始图的与mask图像进行与运算,与运算得到的效果图就是将图形对象通过遮罩涂在背景上,从而完全或部分地遮盖了图形对象的各个部分,而遮罩内的图像不发生变化。这样得到的就是基于整张背景的像素级标注的晶圆缺陷图,此时再通过分类器进行图像识别,得到第二缺陷预测结果cls_result。从精确度上来说,cls_result的准确度要高于seg_result。
步骤203,基于第一缺陷预测结果和第二缺陷预测结果确定图片最终预测结果。
本方案根据第一缺陷预测结果和第二缺陷预测结果确定图片最终预测结果,公式如下:
predict_result=α·seg_result+β·cls_result
predict_result表示图片最终预测结果,α和β为超参数或权重,具体由模型精度确定决定。
在前期训练阶段,每个缺陷图像都设置有缺陷类型标签,通过大量模型训练后确定α和β,且每个确定的缺陷类型都具有特定的predict_result数值区间。对输入的检测图像,模型会predict_result的数值区间指示晶圆表面的缺陷类型,根据数值大小判断并输出晶圆缺陷图的缺陷类型。
综上所述,本申请结合语义分割网络模型和分类学习网络模型,将原始完整的晶圆缺陷图输入至语义分割网络模型中进行层层提取,并通过多尺度模块进行最大池化操作和融合拼接,将图像的低层次空间信息转化为高级语义信息;后续再通过上采样和特征融合技术,利用高级语义和低级空间信息生成预测的掩模图和第一缺陷预测结果。获得掩模图后,继续将掩模图和原始晶圆缺陷图一同输入到分类网络预测模型中,通过掩模图和原始晶圆缺陷图叠加运算获得完整背景的像素级标注的晶圆缺陷图,进而再通过分类器预测第二缺陷预测结果,最终根据两次缺陷预测值确定出图片最终预测结果。相比原先的直接标注和小图像素级标注,滤除背景噪声对分类模型的影响,且利用包含整个背景的掩膜图进行判断的方式提高了预测结果的精准度。
以上对本发明的较佳实施例进行了描述;需要理解的是,本发明并不局限于上述特定实施方式,其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施;任何熟悉本领域的技术人员,在不脱离本发明技术方案作出许多可能的变动和修饰,或修改为等同变化的等效实施例,这并不影响本发明的实质内容;因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。
Claims (8)
1.一种晶圆表面缺陷检测方法,其特征在于,所述方法包括:
将采集的晶圆缺陷图输入至语义分割网络模型中进行像素级标注,获得所述晶圆缺陷图的掩膜图和第一缺陷预测结果;其中,所述晶圆缺陷图中仅包含有一种缺陷类型,且所述语义分割网络模型中包含多尺度模块,用于提高预测准确率;
将所述晶圆缺陷图和所述掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果;
基于所述第一缺陷预测结果和所述第二缺陷预测结果确定图片最终预测结果。
2.根据权利要求1所述的方法,其特征在于,通过所述语义分割网络模型获得所述掩膜图,包括:
依次提取所述晶圆缺陷图不同分辨率下的预测特征图,获得第一预测特征图、第二预测特征图,直至目标分辨率下的第i预测特征图;
将所述第i预测特征图的通道数缩减为原来的1/4,并分三路分别进行多尺度最大池化操作,将三路池化结果连同最大池化前的特征图进行拼接融合,获得第i中间预测特征图;
将所述第i中间预测特征图进行上采样,获得第i-1中间预测特征图,且与第i-1预测特征图进行拼接融合及上采样操作,获得第i-2中间预测特征图;
在所述第i-2中间预测特征图的基础上继续根据分辨率与对应的所述预测特征图进行拼接融合和上采样,直至获得所述掩模图;i是大于2的正整数。
3.根据权利要求2所述的方法,其特征在于,第k预测特征图与第k中间特征图的分辨率及尺寸相同,k位于1和i之间;尺寸包括特图长度、宽度和通道数,分辨率与图像尺寸呈正相关;
所述依次提取所述晶圆缺陷图不同分辨率下的预测特征图,包括:
将所述第一预测特征图进行卷积和归一化操作,获得所述第二预测特征图;
将所述第二预测特征图进行卷积和归一化操作,并进行下采样,获得第三预测特征图,直至将第i-1预测特征图进行下采样,获得所述第i预测特征图。
4.根据权利要求3所述的方法,其特征在于,所述将三路池化结果连同最大池化前的特征图进行拼接融合,获得第i中间预测特征图,包括:
将三路最大池化操作后的特征图与池化操作前的特征图进行拼接,拼接后的特征图进行卷积和归一化操作,得到的所述第i中间预测特征图与所述第i预测特征图的分辨率相同。
5.根据权利要求4所述的方法,其特征在于,在所述第i-2中间预测特征图的基础上继续根据分辨率与对应的所述预测特征图进行拼接融合和上采样,直至获得所述掩模图,包括:
中间预测特征图依次与分辨率相对应的预测特征图进行拼接融合,融合进行卷积和上采样操作,直至获得第一中间预测特征图;所述第一中间预测特征图的长度和宽度与所述第一预测特征图相同;
继续对所述第一中间预测特征图进行卷积操作,获得与所述第一预测特征图具有相同分辨率的所述掩模图。
6.根据权利要求5所述的方法,其特征在于,所述将所述晶圆缺陷图和所述掩模图共同输入到分类网络预测模型中进行预测,获得第二缺陷预测结果,包括:
所述分类网络预测模型将所述掩模图和所述晶圆缺陷图进行重叠匹配,获得缺陷图像;
对所述缺陷图像进行识别,获得所述第二缺陷预测结果。
7.根据权利要求1所述的方法,其特征在于,所述第一缺陷预测结果为seg_result;所述第二缺陷预测结果为cls_result;
图片最终预测结果为predict_result,表示如下:
predict_result=α·seg_result+β·cls_result
其中的α和β为超参数,基于模型精度确定。
8.根据权利要求7所述的方法,其特征在于,predict_result的数值区间指示晶圆表面的缺陷类型,根据数值大小判断并输出所述晶圆缺陷图的缺陷类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211726176.6A CN116342474A (zh) | 2022-12-30 | 2022-12-30 | 晶圆表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211726176.6A CN116342474A (zh) | 2022-12-30 | 2022-12-30 | 晶圆表面缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116342474A true CN116342474A (zh) | 2023-06-27 |
Family
ID=86876458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211726176.6A Pending CN116342474A (zh) | 2022-12-30 | 2022-12-30 | 晶圆表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116342474A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117007606A (zh) * | 2023-08-17 | 2023-11-07 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
CN117522871A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市华拓半导体技术有限公司 | 基于视觉图像交互的半导体晶圆检测方法及系统 |
-
2022
- 2022-12-30 CN CN202211726176.6A patent/CN116342474A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117007606A (zh) * | 2023-08-17 | 2023-11-07 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
CN117007606B (zh) * | 2023-08-17 | 2024-03-08 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
CN117522871A (zh) * | 2024-01-04 | 2024-02-06 | 深圳市华拓半导体技术有限公司 | 基于视觉图像交互的半导体晶圆检测方法及系统 |
CN117522871B (zh) * | 2024-01-04 | 2024-04-16 | 深圳市华拓半导体技术有限公司 | 基于视觉图像交互的半导体晶圆检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
TWI737659B (zh) | 半導體試樣的基於深度學習之檢查的方法及其系統 | |
CN116342474A (zh) | 晶圆表面缺陷检测方法 | |
CN111027547A (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
CN111160301B (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
JP2018146587A (ja) | 検査機器と車両の画像を分割する方法 | |
JP2000137804A (ja) | デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体 | |
CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
CN112967287A (zh) | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 | |
CN115131797B (zh) | 一种基于特征增强金字塔网络的场景文本检测方法 | |
JP2022027473A (ja) | 半導体試料の検査に使用可能な訓練データの生成 | |
CN115272330B (zh) | 基于电池表面图像的缺陷检测方法、系统及相关设备 | |
JP7170605B2 (ja) | 欠陥検査装置、欠陥検査方法、およびプログラム | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
CN112419292B (zh) | 病理图像的处理方法、装置、电子设备及存储介质 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
CN115294103B (zh) | 一种基于语义分割的实时工业表面缺陷检测方法 | |
CN112508099A (zh) | 一种实时目标检测的方法和装置 | |
CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
CN116071294A (zh) | 一种光纤表面缺陷检测方法和装置 | |
CN112529931B (zh) | 一种前景分割的方法及系统 | |
CN113313162A (zh) | 一种多尺度特征融合目标检测的方法及系统 | |
CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
CN115631197B (zh) | 一种图像处理方法、装置、介质、设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |