CN117523343B - 晶圆背损伤梯形缺陷的自动识别方法 - Google Patents
晶圆背损伤梯形缺陷的自动识别方法 Download PDFInfo
- Publication number
- CN117523343B CN117523343B CN202410020875.1A CN202410020875A CN117523343B CN 117523343 B CN117523343 B CN 117523343B CN 202410020875 A CN202410020875 A CN 202410020875A CN 117523343 B CN117523343 B CN 117523343B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- trapezoid
- training
- local target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000010586 diagram Methods 0.000 claims description 27
- 238000002372 labelling Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 5
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000005247 gettering Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及晶圆缺陷检测技术领域，公开了一种晶圆背损伤梯形缺陷的自动识别方法：S1、获取晶圆被损伤梯形缺陷的训练图像集；S2、将训练图像集按照梯形缺陷的密集程度分为密集型图像集、稀疏型图像集；S3、获取密集型图像集的第一训练数据以及稀疏型图像集的第二训练数据；S4、利用第一训练数据对初始识别模型进行训练，得到密集型缺陷识别模型，利用第二训练数据对初始识别模型进行训练，得到稀疏型缺陷识别模型；S5、获取待检测的晶圆的实时原始图像，并根据实时原始图像中缺陷的密集程度，将该实时原始图像输入对应的缺陷识别模型中，输出缺陷识别结果。本方法不仅能够提高对晶圆背损伤的梯形缺陷的识别准确率，还能够提高识别效率。
Description
技术领域
本发明涉及晶圆缺陷检测技术领域，具体涉及一种晶圆背损伤梯形缺陷的自动识别方法。
背景技术
在晶圆加工制造过程中，晶圆背损伤是其中必不可少的一个工序。其主要是通过喷砂法在晶圆背面进行机械性损伤，形成软损伤层，使硅片具有吸杂能力。在后续的热循环工艺中，当温度达到一定值时，Fe、Ni、Cr、Zn等会降低载流子寿命的金属原子就会在内部运动，一旦这些金属原子在晶圆背面遇到软损伤层，他们就会被引诱并本能地从内部移动到软损伤层，从而达到吸杂的目的。在实际生产过程中，通常需要对晶圆背损伤缺陷的个数进行统计，计算密度来判断晶圆的吸杂能力是否达标。
晶圆背损伤缺陷的形态包括棍棒形、米粒形、圆形、梯形等等，棍棒形、米粒形、圆形的形状是比较容易识别的，但是这里的梯形并不是指常规的梯形形状，而是指米粒形形态的一侧是挖空的形态。这种特殊的缺陷形态无法采用常规的骨架识别算法来进行识别。如果采用骨架算法识别出梯形缺陷的骨架，那么梯形缺陷的骨架并不是一条直线，而是存在很对拐点的折线。在识别时，一个缺陷的骨架可能会被识别成多个缺陷，导致计数不准确。
发明内容
本发明要解决的技术问题是：采用现有识别方法导致对晶圆背损伤梯形缺陷的识别结果不准确的计数问题。
为此，本发明提供一种晶圆背损伤梯形缺陷的自动识别方法，能够显著提高对梯形缺陷的识别准确率。
本发明解决其技术问题所采用的技术方案是：一种晶圆背损伤梯形缺陷的自动识别方法，包括以下步骤：
S1、获取晶圆被损伤梯形缺陷的训练图像集；
S2、将所述训练图像集按照梯形缺陷的密集程度分为密集型图像集、稀疏型图像集；训练图像的划分条件为：当训练图像中的梯形缺陷数量大于5个时，该训练图像为密集型图像；当训练图像中的梯形缺陷数量小于或等于5个时，该训练图像为稀疏型图像；
S3、获取所述密集型图像集的第一训练数据以及所述稀疏型图像集的第二训练数据；
S4、利用所述第一训练数据对初始识别模型进行训练，得到密集型缺陷识别模型，利用所述第二训练数据对初始识别模型进行训练，得到稀疏型缺陷识别模型；
S5、获取待检测的晶圆的实时原始图像，并根据实时原始图像中缺陷的密集程度，将该实时原始图像输入对应的缺陷识别模型中，输出缺陷识别结果。
进一步的，步骤S1中的训练图像集的获取步骤包括：
S21、对晶圆背损伤的原始图像进行预处理，获得多个感兴趣区域；
S22、遍历所有的感兴趣区域，得到每个感兴趣区域的轮廓数据；
S23、根据所述轮廓数据计算感兴趣区域的最大外接矩形；
S24、根据所述最大外接矩形截取出对应的局部目标图像；
其中，所述原始图像对应的所有的局部目标图像作为训练图像集。
进一步的，步骤S24中，截取局部目标图像，包括：
S241、生成一张与原始图像尺寸相同、背景颜色相同的底板图；
S242、将一个感兴趣区域以及对应的最大外接矩形显示在底板图上；
S243、采用截图工具在步骤S242的底板图上沿最大外接矩形轮廓，截取出该感兴趣区域对应的局部目标图像；
S244、重复步骤S242-S243，直至截取出所有的感兴趣区域对应的局部目标图像。
进一步的，若所述局部目标图像中的梯形缺陷的数量大于5个，则判定该局部目标图像为密集型图像；
若所述局部目标图像中的梯形缺陷的数量小于或等于5个，则判定该局部目标图像为稀疏型图像。
进一步的，在自动识别时，将对局部目标图像中梯形缺陷的数量判断转换为对局部目标图像中缺陷的像素面积的判断：
若所述局部目标图像中缺陷的像素面积＞3500，则该局部目标图像为密集型图像；
若335≤所述局部目标图像中缺陷的像素面积≤3500，则该局部目标图像为稀疏型图像。
进一步的，步骤S3中，训练数据的获取过程包括：
利用图像标注工具对每个所述局部目标图像进行标注，获取标注信息；
所有的密集型图像对应的标注信息组成第一训练数据；
所有的稀疏型图像对应的标注信息组成第二训练数据。
进一步的，所述标注信息包括：Class_id、X、Y、W和H；其中，
Class_id表示：缺陷类别的id编号；
X表示：缺陷的中心点x坐标÷局部目标图像宽度；
Y表示：缺陷的中心点y坐标÷局部目标图像高度；
W表示：目标框的宽度÷局部目标图像宽度；
H表示：目标框的高度÷局部目标图像高度；
（x,y）表示缺陷的中心点坐标，目标框是指标注工具在局部目标图像中选中缺陷的方框。
进一步的，步骤S5中，对实时原始图像的识别过程包括：
S51、对实时原始图像进行预处理；
S52、提取所述实时原始图像的所有感兴趣区域；
S53、计算每个感兴趣区域的最大外接矩形；
S54、获取感兴趣区域对应的局部目标图像；
S55、将所有局部目标图像分为密集型图像集、稀疏型图像集；
S56、将密集型图像集输入密集型缺陷识别模型中，输出第一识别结果；
S57、将稀疏型图像集输入稀疏型缺陷识别模型中，输出第二识别结果；
S58、根据第一识别结果和第二识别结果，在实时原始图像中用十字标记标出所有的梯形缺陷，得到最终的缺陷识别结果。
进一步的，步骤S21中的预处理包括：
将原始图像转换为灰度图像；
对所述灰度图像进行增强处理；
对灰度直方图进行均衡化处理；
使用Canny算子对灰度图像及逆行锐化处理；
对灰度图像进行取反操作，将梯形缺陷从低灰度值较低转变为高灰度值；
对灰度图像进行二值化处理。
本发明的有益效果是，本方法不仅能够提高对晶圆背损伤的梯形缺陷的识别准确率，还能够提高识别效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的自动识别方法的流程图。
图2是本发明的原始图像的示意图。
图3是本发明的将感兴趣区域显示在底板图上的示意图。
图4是本发明的稀疏型局部目标图像的示意图。
图5是本发明的密集型局部目标图像的示意图。
图6是本发明的缺陷识别模型对原始图像进行识别的过程示意图。
图7是本发明的输出的识别结果的示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明的晶圆背损伤梯形缺陷的自动识别方法，包括以下步骤：S1、获取晶圆被损伤梯形缺陷的训练图像集；S2、将训练图像集按照梯形缺陷的密集程度分为密集型图像集、稀疏型图像集；S3、获取密集型图像集的第一训练数据以及稀疏型图像集的第二训练数据；S4、利用所述第一训练数据对初始识别模型进行训练，得到密集型缺陷识别模型，利用所述第二训练数据对初始识别模型进行训练，得到稀疏型缺陷识别模型；S5、获取待检测的晶圆的实时原始图像，并根据实时原始图像中缺陷的密集程度，将该实时原始图像输入对应的缺陷识别模型中，输出缺陷识别结果。例如，对训练图像集的划分是基于每一张训练图像中的梯形缺陷的数量，训练图像的划分条件为：当训练图像中的梯形缺陷数量大于5个时，该训练图像为密集型图像；当训练图像中的梯形缺陷数量小于或等于5个时，该训练图像为稀疏型图像。所有的密集型图像组成密集型图像集，所有的稀疏型图像组成稀疏型图像集。
如图2所示，原始图像中，梯形缺陷的分布是无规律的，有些是独立的，有些是粘连的，并且粘连的数量也不相同，因此，在识别时，不能直接采用同一个缺陷识别模型进行识别，那会导致识别结果不准确。本发明根据缺陷密集程度对图像进行分类再分别进行识别检测，有利于提高识别的准确率。
需要说明的是，在本发明中，还有一个难点是在于如何提高对初始识别模型的训练效果。对初始识别模型的训练效果决定了缺陷识别模型的识别准确率。
具体的，步骤S1中的训练图像集的获取步骤包括：S21、对晶圆背损伤的原始图像进行预处理，获得多个感兴趣区域；S22、遍历所有的感兴趣区域，得到每个感兴趣区域的轮廓数据；S23、根据轮廓数据计算感兴趣区域的最大外接矩形；S24、根据最大外接矩形截取出对应的局部目标图像。其中，原始图像对应的所有的局部目标图像作为训练图像集。即，一张局部目标图像为一张训练图像。
也就是说，本发明并不是直接将整张原始图像作为训练图像的，而是从原始图像中截取出了多个局部目标图像，是将局部目标图像作为训练图像。从图中也可以看出，原始图像中的梯形缺陷的分布、粘连情况均很复杂，且无规律。利用局部目标图像进行训练，可以显著提高训练效果，从而提高缺陷识别模型的识别准确率。这里需要注意的是，在截取局部目标图像时，如果直接在原始图像中截取，对于某些挨得比较近的感兴趣区域，再按照最大外接矩形截取时，会截取到旁边的感兴趣区域。如图2所示，以截取感兴趣区域A为例，由于感兴趣区域B离感兴趣区域A很近，在截取感兴趣区域A时，将感应兴趣区域B的缺陷的一部分也截取了，这就导致感兴趣区域A中出现了碎片的梯形缺陷，进而导致后续的训练效果不佳。
为了改善截取时出现碎片化的问题，本发明的方案是：截取局部目标图像包括：S241、生成一张与原始图像尺寸相同、背景颜色相同的底板图；S242、将一个感兴趣区域以及对应的最大外接矩形显示在底板图上；S243、采用截图工具在步骤S242的底板图上沿最大外接矩形轮廓，截取出该感兴趣区域对应的局部目标图像；S244、重复步骤S242-S243，直至截取出所有的感兴趣区域对应的局部目标图像。
也就是说，本发明在截取局部目标图像之前，先将感兴趣区域依次显示在一张新的底板图上（如图3所示），然后再进行截取，这样就不用担心会截取到碎片的缺陷。并且，本发明还考虑过在截取之前增加对感兴趣区域的判断（判断是否会截取到碎片的缺陷，如果判断结果为是，则再将该感兴趣区域显示在新的底板图上），但是，对于增加判断的做法，反而会降低运算的效率，判断过程需要设置很多条件。基于此，本发明选择不做判断，直接将所有的感兴趣区域一个一个依次显示在新的底板图（每一次，新的底板图上只显示一个感兴趣区域）上进行截取，这样，还有利于提高运算效率，从而提高识别效率。
例如，若局部目标图像中的梯形缺陷的数量大于5个，则判定该局部目标图像为密集型图像；若局部目标图像中的梯形缺陷的数量小于或等于5个，则判定该局部目标图像为稀疏型图像。为了提高识别效率，在自动识别时，将对局部目标图像中梯形缺陷的数量判断转换为对局部目标图像中缺陷的像素面积的判断：若局部目标图像中缺陷的像素面积＞3500，则该局部目标图像为密集型图像；若335≤局部目标图像中缺陷的像素面积≤3500，则该局部目标图像为稀疏型图像。也就是说，在识别时，以像素面积3500作为分类阈值实现密集型和稀疏型的区分。在区分稀疏型图像时，还要考虑到原始图像中出现的杂点，杂点并不是背损伤缺陷，在识别感兴趣区域时，会将杂点也识别出来，因此，在分类时需要排除杂点图像。本发明设定像素面积335为杂点图像判断阈值，如果像素面积小于335，则认为是杂点图像，需要舍弃。
例如，步骤S3中，训练数据的获取过程包括：利用图像标注工具对每个局部目标图像进行标注，获取标注信息。所有的密集型图像对应的标注信息组成第一训练数据，所有的稀疏型图像对应的标注信息组成第二训练数据。标注信息包括：[Class_id ，X，Y，W，H]；其中，Class_id表示：缺陷类别的id编号；X表示：缺陷的中心点x坐标÷局部目标图像宽度；Y表示：缺陷的中心点y坐标÷局部目标图像高度；W表示：目标框的宽度÷局部目标图像宽度；H表示：目标框的高度÷局部目标图像高度；（x,y）表示缺陷的中心点坐标，目标框是指标注工具在局部目标图像中选中缺陷的方框。
也就是说，在获取局部目标图像后，还需要对局部目标图像中的缺陷进行标注，将标注信息作为训练数据。由于本发明仅对梯形缺陷进行识别，因此，Class_id默认设置为0。例如，图4为稀疏型图像的示例，包含两个梯形缺陷，得到的标注信息为：[0，0.326923，0.222222，0.628205，0.388889]、[0，0.673077，0.777778，0.653846，0.444444]。图5为密集型图像的示例，包含22个梯形缺陷，得到的标注信息为：[0，0.076923，0.827189，0.146853，0.133641]、[0，0.183566，0.758065，0.157343，0.161290]、[0，0.475524，0.585253，0.132867，0.119816]、[0，0.342657，0.647465，0.153846，0.124424]、[0，0.325175，0.723502，0.146853，0.110599]、[0，0.417832，0.732719，0.157343，0.129032]、[0，0.489510，0.730415，0.146853，0.124424]、[0，0.587413，0.693548，0.139860，0.133641]、[0，0.674825，0.656682，0.132867，0.133641]、[0，0.767483，0.615207，0.136364，0.133641]、[0，0.449301，0.889401，0.052448，0.221198]、[0，0.571678，0.543779，0.052448，0.230415]、[0，0.526224，0.327189，0.136364，0.138249]、[0，0.756993，0.555300，0.108392，0.105991]、[0，0.650350，0.453917，0.097902，0.105991]、[0，0.699301，0.327189，0.160839，0.119816]、[0，0.716783，0.400922，0.111888，0.129032]、[0，0.770979，0.338710，0.087413，0.087558]、[0，0.896853，0.285714，0.150350，0.147465]、[0，0.977273，0.368664，0.045455，0.230415]、[0，0.930070，0.115207，0.055944，0.221198]、[0，0.973776，0.140553，0.045455，0.105991]。
然后，将所有的密集型图像的标注信息作为第一训练数据，将所有的稀疏型图像的标注信息作为第二训练数据。将第一训练数据、第二训练数据分别按照8（训练集）：1（测试集）：1（验证集）的比例进行分配，对初始识别模型进行训练、测试和验证，直到初始识别模型的识别准确率符合要求，最终得到密集型缺陷识别模型和稀疏型缺陷识别模型。
在开始训练之前，首先配置初始识别模型的各项参数，包括：Data：数据集文件的存储位置；Epochs：训练轮数（确定了训练数据会被学习多少轮，每一轮都遍历整个训练数据集，训练的轮数越多，模型对数据的学习就越充分，但训练时间也会增加）；Patience：等待轮数（在训练过程中，如果在一定的轮数内没有观察到模型性能的明显提升，当超过该轮数仍没有改进，就会停止训练）；Batch：每个批次中的训练图像的数量（训练图像被分成多个批次进行处理，每个批次包含固定数量的训练图像）；Imgsz：输入图像的尺寸；lr0：初始学习率（学习率用于控制模型参数更新步幅，初始学习率确定了训练开始时的参数更新速度）。
例如，初始识别模型包括：输入层、Backbone层、Neck层和输出层（Head）。
输入层用于向模型输入图像，输入图像的参数为3*640*640。
Backbone层用于提取输入图像的特征，为目标检测任务提供基础特征表示，有10个基本层完成提取图像特征功能，具体为：第0层使用64个3x3的卷积核，步幅为2进行卷积，得到P1/2特征图；第1层使用128个3x3的卷积核，步幅为之进行卷积，得到P2/4特征图；第2层进行3次C2f操作，每次操作使用128个通道，最后一次操作降维；第3层使用256个3x3的卷积核，步幅为2进行卷积，得到P3/8特征图；第4层进行6次C2f操作，每次操作使用256个通道，最后一次操作降维；第5层使用512个3x3的卷积核，步幅为2进行卷积，得到P4/16特征图；第6层进行6次C2f操作，每次操作使用512个通道，最后一次操作降维；第7层使用1024个3x3的卷积核，步幅为2进行卷积，得到P5/32特征图；第8层进行3次C2f操作，每次操作使用1024个通道，最后一次操作降维；第9层使用1024个通道的SPPF(空间金字塔池化)层，使用5个不同大小的池化核进行池化操作。
Neck层用于对来自backbone层的特征进行降维或调整，以便更好地适应任务要求，有12层完成该需求，具体为：第0层使用最近邻上采样（nn.Upsample）从Backbone第9层获取20*20*512的图像输入，将特征图放大两倍；第1层将当前特征图与Backbone第6层特征图进行（concat）拼接，生成第11个特征图；第2层进行3次C2f操作，使用512个通道，得到第12个特征图；第3层使用最近邻上采样（nn.Upsample），将特征图放大两倍，得到第13个特征图；第4层将当前特征图与Backbone第4层特征图进行（concat）拼接，生成第14个特征图；第5层进行3次C2f操作，使用256个通道，得到第15个特征图；第6层使用256个3x3的卷积核，步幅为2进行卷积，得到第16个特征图；第7层将生成的特征图与第二层提取的第12个特征图进行拼接，得到第17个特征图；第8层进行3次C2f操作，使用512个通道，得到第18个特征图；第9层使用512个3x3的卷积核，步幅为2进行卷积，得到第19个特征图；第10层将当前特征图与Backbone第9层特征图进行（concat）拼接，生成第20个特征图；第11层进行3次C2f操作，使用1024个通道，得到第21个特征图。
输出层（Head）用于输出检测结果，具体为：将第15、18和21个特征图进行拼接，使用Detect操作生成最终的检测结果，head部分通过逐层上采样和特征拼接的方式，融合不同尺度的特征信息，以提高目标检测的准确性和召回率。
对初始识别模型的训练效果评价的参数为：精准率（Precision）召回率（Recall）、mAP参数、定位损失（box_loss）、置信度损失（obj_loss）以及分类损失（cls_loss）参数。其中，精准率表示在预测的所有结果中，正确的比重；召回率表示在所有正确结果中，预测正确的比重；mAP参数是指将Precision和Recall作为两坐标轴后作图围成的面积，Precision=TP÷(TP+FP)，Recall=TP÷(TP+FN)，其中，TP（True Positive）表示将正类预测为正类，即正确预测，真为真；FN（False Negative）表示将正类预测为负类，即错误预测，真为假；FP（False Positive）表示将负类预测为正类数，即错误预测，假为真；TN（True Negative）表示将负类预测为负类数，即正确预测，假为假。定位损失（box_loss）表示预测框与标定框之间的误差（GIoU），越小定位得越准；置信度损失（obj_loss）表示计算网络的置信度，越小判定为目标的能力越准；分类损失（cls_loss）表示计算锚框与对应的标定分类是否正确，越小分类得越准。初始识别模型在训练过程中会自动根据对这些评价参数的变化，不断对模型参数进行调整测试，以得到较好反馈的训练后的模型。
得到训练好的两个缺陷识别模型后，即可用于使用。如图6和图7所示，步骤S5中，对实时原始图像的识别过程包括：S51、对实时原始图像进行预处理；S52、提取实时原始图像的所有感兴趣区域；S53、计算每个感兴趣区域的最大外接矩形；
S54、获取感兴趣区域对应的局部目标图像；S55、将所有局部目标图像分为密集型图像集、稀疏型图像集；S56、将密集型图像集输入密集型缺陷识别模型中，输出第一识别结果；S57、将稀疏型图像集输入稀疏型缺陷识别模型中，输出第二识别结果；S58、根据第一识别结果和第二识别结果，在实时原始图像中用十字标记标出所有的梯形缺陷，得到最终的缺陷识别结果。
需要说明的是，对实时图像的预处理、感兴趣区域的提取、局部目标图像的截取方式与训练时相同，此处不再赘述。最终输出的缺陷识别结果如图所示，即，在每个梯形缺陷上会标记一个十字符号。根据十字符号的数量即可统计出图形缺陷的数量。
对原始图像的预处理包括：将原始图像转换为灰度图像；对所述灰度图像进行增强处理，以提升图像对比度；对灰度直方图进行均衡化处理，统计每一个灰度值出现的次数，然后对直方图进行均衡化操作，使像素的灰度值分布更加均匀，从而增强图像的亮度；使用Canny算子对灰度图像及逆行锐化处理，补偿图像轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰；对图像进行灰度变换，先计算图像灰度值的最大值和最小值，然后将图像灰度值整体拉大到0-255范围内，从而增强总体的视觉效果；对灰度图像进行取反操作，使图像背景从高灰度值变为低灰度值，将梯形缺陷（感兴趣区域）从低灰度值较低转变为高灰度值；对灰度图像进行二值化处理，将低灰度的背景变为灰度值为0，感兴趣区域变为255。预处理后，更容易从原始图像中提取出感兴趣区域。
综上所述，本发明的晶圆背损伤梯形缺陷的自动识别方法，针对梯形缺陷的识别，具有更高的准确率和识别效率。经过试验，本发明的识别方法对梯形缺陷的识别准确率达98.2%。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。
Claims (7)
1.一种晶圆背损伤梯形缺陷的自动识别方法，其特征在于，包括以下步骤：
S1、获取晶圆被损伤梯形缺陷的训练图像集；
S2、将所述训练图像集按照梯形缺陷的密集程度分为密集型图像集、稀疏型图像集；
训练图像的划分条件为：当训练图像中的梯形缺陷数量大于5个时，该训练图像为密集型图像；当训练图像中的梯形缺陷数量小于或等于5个时，该训练图像为稀疏型图像；
S3、获取所述密集型图像集的第一训练数据以及所述稀疏型图像集的第二训练数据；
S4、利用所述第一训练数据对初始识别模型进行训练，得到密集型缺陷识别模型，利用所述第二训练数据对初始识别模型进行训练，得到稀疏型缺陷识别模型；
S5、获取待检测的晶圆的实时原始图像，并根据实时原始图像中缺陷的密集程度，将该实时原始图像输入对应的缺陷识别模型中，输出缺陷识别结果；
步骤S1中的训练图像集的获取步骤包括：
S21、对晶圆背损伤的原始图像进行预处理，获得多个感兴趣区域；
S22、遍历所有的感兴趣区域，得到每个感兴趣区域的轮廓数据；
S23、根据所述轮廓数据计算感兴趣区域的最大外接矩形；
S24、根据所述最大外接矩形截取出对应的局部目标图像；
其中，所述原始图像对应的所有的局部目标图像作为训练图像集；
步骤S24中，截取局部目标图像，包括：
S241、生成一张与原始图像尺寸相同、背景颜色相同的底板图；
S242、将一个感兴趣区域以及对应的最大外接矩形显示在底板图上；
S243、采用截图工具在步骤S242的底板图上沿最大外接矩形轮廓，截取出该感兴趣区域对应的局部目标图像；
S244、重复步骤S242-S243，直至截取出所有的感兴趣区域对应的局部目标图像。
2.如权利要求1所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，
若所述局部目标图像中的梯形缺陷的数量大于5个，则判定该局部目标图像为密集型图像；
若所述局部目标图像中的梯形缺陷的数量小于或等于5个，则判定该局部目标图像为稀疏型图像。
3.如权利要求2所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，
在自动识别时，将对局部目标图像中梯形缺陷的数量判断转换为对局部目标图像中缺陷的像素面积的判断：
若所述局部目标图像中缺陷的像素面积＞3500，则该局部目标图像为密集型图像；
若335≤所述局部目标图像中缺陷的像素面积≤3500，则该局部目标图像为稀疏型图像。
4.如权利要求1所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，步骤S3中，训练数据的获取过程包括：
利用图像标注工具对每个所述局部目标图像进行标注，获取标注信息；
所有的密集型图像对应的标注信息组成第一训练数据；
所有的稀疏型图像对应的标注信息组成第二训练数据。
5.如权利要求4所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，所述标注信息包括：Class_id、X、Y、W和H；其中，
Class_id表示：缺陷类别的id编号；
X表示：缺陷的中心点x坐标÷局部目标图像宽度；
Y表示：缺陷的中心点y坐标÷局部目标图像高度；
W表示：目标框的宽度÷局部目标图像宽度；
H表示：目标框的高度÷局部目标图像高度；
（x,y）表示缺陷的中心点坐标，目标框是指标注工具在局部目标图像中选中缺陷的方框。
6.如权利要求1所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，步骤S5中，对实时原始图像的识别过程包括：
S51、对实时原始图像进行预处理；
S52、提取所述实时原始图像的所有感兴趣区域；
S53、计算每个感兴趣区域的最大外接矩形；
S54、获取感兴趣区域对应的局部目标图像；
S55、将所有局部目标图像分为密集型图像集、稀疏型图像集；
S56、将密集型图像集输入密集型缺陷识别模型中，输出第一识别结果；
S57、将稀疏型图像集输入稀疏型缺陷识别模型中，输出第二识别结果；
S58、根据第一识别结果和第二识别结果，在实时原始图像中用十字标记标出所有的梯形缺陷，得到最终的缺陷识别结果。
7.如权利要求1所述的晶圆背损伤梯形缺陷的自动识别方法，其特征在于，步骤S21中的预处理包括：
将原始图像转换为灰度图像；
对所述灰度图像进行增强处理；
对灰度直方图进行均衡化处理；
使用Canny算子对灰度图像及逆行锐化处理；
对灰度图像进行取反操作，将梯形缺陷从低灰度值较低转变为高灰度值；
对灰度图像进行二值化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020875.1A CN117523343B (zh) | 2024-01-08 | 2024-01-08 | 晶圆背损伤梯形缺陷的自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020875.1A CN117523343B (zh) | 2024-01-08 | 2024-01-08 | 晶圆背损伤梯形缺陷的自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523343A CN117523343A (zh) | 2024-02-06 |
| CN117523343B true CN117523343B (zh) | 2024-03-26 |
Family
ID=89746114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410020875.1A Active CN117523343B (zh) | 2024-01-08 | 2024-01-08 | 晶圆背损伤梯形缺陷的自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523343B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004038885A (ja) * | 2002-07-08 | 2004-02-05 | Adoin Kenkyusho:Kk | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム |
| US6922482B1 (en) * | 1999-06-15 | 2005-07-26 | Applied Materials, Inc. | Hybrid invariant adaptive automatic defect classification |
| CN108765389A (zh) * | 2018-05-18 | 2018-11-06 | 浙江大学 | 一种微观晶圆表面缺陷图像检测方法 |
| CN109543720A (zh) * | 2018-10-30 | 2019-03-29 | 东华大学 | 一种基于对抗生成网络的晶圆图缺陷模式识别方法 |
| CN112767398A (zh) * | 2021-04-07 | 2021-05-07 | 惠州高视科技有限公司 | 晶圆缺陷的检测方法及装置 |
| CN114120317A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 基于深度学习和图像处理的光学元件表面损伤识别方法 |
| CN114627072A (zh) * | 2022-03-14 | 2022-06-14 | 苏州中巨苏智能科技有限公司 | 一种基于神经网络的晶圆缺陷提取方法 |
| CN115115921A (zh) * | 2022-07-05 | 2022-09-27 | 广东利扬芯片测试股份有限公司 | 基于残差网路的晶圆缺陷模式识别方法 |
| CN115375635A (zh) * | 2022-08-05 | 2022-11-22 | 中国地质大学（武汉） | 一种晶圆缺陷的识别方法 |
| CN115984235A (zh) * | 2023-01-31 | 2023-04-18 | 苏州大学 | 一种基于图像分割的晶圆图混合缺陷模式识别方法及系统 |
| CN116416433A (zh) * | 2023-04-17 | 2023-07-11 | 上海睿思和光半导体科技有限公司 | 晶圆图像在故障模式识别过程中的预处理方法和装置 |
| CN116958714A (zh) * | 2023-09-20 | 2023-10-27 | 信熙缘(江苏)智能科技有限公司 | 晶圆背损伤缺陷的自动识别方法 |
| WO2024000731A1 (zh) * | 2022-06-27 | 2024-01-04 | 长鑫存储技术有限公司 | 晶圆缺陷评估方法、装置、存储器芯片和可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10360669B2 (en) * | 2017-08-24 | 2019-07-23 | Applied Materials Israel Ltd. | System, method and computer program product for generating a training set for a classifier |
| US10713534B2 (en) * | 2017-09-01 | 2020-07-14 | Kla-Tencor Corp. | Training a learning based defect classifier |
| JP7166189B2 (ja) * | 2019-02-15 | 2022-11-07 | 東京エレクトロン株式会社 | 画像生成装置、検査装置及び画像生成方法 |
-
2024
- 2024-01-08 CN CN202410020875.1A patent/CN117523343B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6922482B1 (en) * | 1999-06-15 | 2005-07-26 | Applied Materials, Inc. | Hybrid invariant adaptive automatic defect classification |
| JP2004038885A (ja) * | 2002-07-08 | 2004-02-05 | Adoin Kenkyusho:Kk | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム |
| CN108765389A (zh) * | 2018-05-18 | 2018-11-06 | 浙江大学 | 一种微观晶圆表面缺陷图像检测方法 |
| CN109543720A (zh) * | 2018-10-30 | 2019-03-29 | 东华大学 | 一种基于对抗生成网络的晶圆图缺陷模式识别方法 |
| CN112767398A (zh) * | 2021-04-07 | 2021-05-07 | 惠州高视科技有限公司 | 晶圆缺陷的检测方法及装置 |
| CN114120317A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 基于深度学习和图像处理的光学元件表面损伤识别方法 |
| CN114627072A (zh) * | 2022-03-14 | 2022-06-14 | 苏州中巨苏智能科技有限公司 | 一种基于神经网络的晶圆缺陷提取方法 |
| WO2024000731A1 (zh) * | 2022-06-27 | 2024-01-04 | 长鑫存储技术有限公司 | 晶圆缺陷评估方法、装置、存储器芯片和可读存储介质 |
| CN115115921A (zh) * | 2022-07-05 | 2022-09-27 | 广东利扬芯片测试股份有限公司 | 基于残差网路的晶圆缺陷模式识别方法 |
| CN115375635A (zh) * | 2022-08-05 | 2022-11-22 | 中国地质大学（武汉） | 一种晶圆缺陷的识别方法 |
| CN115984235A (zh) * | 2023-01-31 | 2023-04-18 | 苏州大学 | 一种基于图像分割的晶圆图混合缺陷模式识别方法及系统 |
| CN116416433A (zh) * | 2023-04-17 | 2023-07-11 | 上海睿思和光半导体科技有限公司 | 晶圆图像在故障模式识别过程中的预处理方法和装置 |
| CN116958714A (zh) * | 2023-09-20 | 2023-10-27 | 信熙缘(江苏)智能科技有限公司 | 晶圆背损伤缺陷的自动识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度学习的晶圆图分析;孔煜婷;《中国博士学位论文全文数据库信息科技辑》;20220115(第01（2022）期);I135-117 * |
| 基于深度学习的晶圆缺陷检测算法研究;李洋;《中国优秀硕士学位论文全文数据库信息科技辑》;20230115(第01（2023）期);I135-458 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523343A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082467B (zh) | 基于计算机视觉的建材焊接表面缺陷检测方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN111223088A (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN112288706A (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN115049669A (zh) | 金属缺陷识别方法 | |
| CN111783772A (zh) | 一种基于RP-ResNet网络的抓取检测方法 | |
| CN111814741A (zh) | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 | |
| CN113324864B (zh) | 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN104966348B (zh) | 一种票据图像要素完整性检测方法及系统 | |
| CN111539330B (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
| CN110427933A (zh) | 一种基于深度学习的水尺识别方法 | |
| CN112446871B (zh) | 一种基于深度学习和OpenCV的隧道裂缝识别方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN114549997A (zh) | 一种基于区域特征提取的x光图像缺陷检测方法和装置 | |
| CN112381806A (zh) | 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法 | |
| CN114049313A (zh) | 一种基于改进YOLOv4的锂电池缺陷检测方法 | |
| CN115082922A (zh) | 基于深度学习的水表数字图片处理方法及系统 | |
| CN115861229A (zh) | 一种基于YOLOv5s元器件封装缺陷X射线检测方法 | |
| CN114037684A (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
| CN117523343B (zh) | 晶圆背损伤梯形缺陷的自动识别方法 | |
| CN117197146A (zh) | 一种铸件内部缺陷自动识别方法 | |
| CN113469984B (zh) | 一种基于yolo结构的显示面板外观检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |