CN115063385A - 一种用于晶圆检测的机器视觉方法 - Google Patents

一种用于晶圆检测的机器视觉方法 Download PDF

Info

Publication number
CN115063385A
CN115063385A CN202210762670.1A CN202210762670A CN115063385A CN 115063385 A CN115063385 A CN 115063385A CN 202210762670 A CN202210762670 A CN 202210762670A CN 115063385 A CN115063385 A CN 115063385A
Authority
CN
China
Prior art keywords
patch
wafer
mae
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210762670.1A
Other languages
English (en)
Inventor
陈斌
陈子和
张元�
陈一驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Chongqing Research Institute of Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Chongqing Research Institute of Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology, Chongqing Research Institute of Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202210762670.1A priority Critical patent/CN115063385A/zh
Publication of CN115063385A publication Critical patent/CN115063385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明涉及晶圆检测技术领域，公开了一种用于晶圆检测的机器视觉方法，包括以下步骤：步骤1：采用ImageNet1000数据集预训练MAE模型，并采用公共工业数据集对MAE模型进行初次微调；步骤2：确认待检测晶圆数据；并对MAE模型进行二次微调，得到改进MAE模型；步骤3：筛选标准训练样本；所述标准训练样本内仅包含有合格晶圆样本；步骤4：改进MAE模型基于标准训练样本进行特征提取并构建记忆库；步骤5：由改进MAE模型对待检测晶圆数据进行特征提取；步骤6：按照比对策略比对标准Patch Embedding和待检测晶圆数据的Patch Embedding，并判定得到待检测晶圆数据的合格Patch；步骤7：根据合格Patch确定并分割待检测晶圆数据的异常区域。本发明能够精准检测晶圆，识别精准度较高。

Description

一种用于晶圆检测的机器视觉方法
技术领域
本发明涉及晶圆检测技术领域，具体涉及一种用于晶圆检测的机器视觉方法。
背景技术
晶圆是指硅半导体集成电路制作所用的硅晶片，由于其形状为圆形，故称为晶圆；在硅晶片上可加工制作成各种电路元件结构，而成为有特定电性功能之IC产品。
在具体的半导体制造加工过程中，晶圆经受一系列半导体制造工艺处理形成极微小的电路结构，再经过切割、封装、测试形成为芯片。通常，晶圆会经过例如光刻过程、蚀刻过程、淀积过程、离子注入、扩散工艺、抛光过程等多个工艺的处理。而经过每个工艺的处理之后，不可避免地可能在晶圆表面的相应层中引入诸如异物、划痕、缺失等缺陷，为保证成品质量，对于每个工艺处理后的晶圆进行检测是必须的。
常规的晶圆检测采用扫描机台等扫描、采集晶圆图像，然后通过人工肉眼观察来确定晶圆表面是否存在缺陷并对缺陷分类。但是，由于半导体制造工艺流程的复杂性，在对晶圆的处理过程中出现的缺陷种类繁杂，这给人工检测带来了难度。并且，识别不同类型的缺陷在很大程度上取决于检查人员的专业知识水平，而不同检查人员的专业知识水平往往是参差不齐的，这使得人工检测的效率较低，且准确度和可靠度较差。
目前，随着机器视觉方法的发展，现阶段大部分晶圆检测常应用机器视觉来进行，就检测效率上有了较大提升，但是，现有的机器视觉算法，在图像采集方法不变的前提下，一般会采用机器学习方法来对采集到的图像信号进行更加精准地识别；这种方法，在应用时需要对每一种晶圆产品及每一种晶圆缺陷进行建模，前序步骤执行繁琐，也不能适应持续增加的缺陷种类的检测需求和高的准确率要求。并且，由于晶圆产品尺寸较微小，受工艺限制等因素局限，晶圆的合格样本之间的方差很大，现阶段的传统机器学习方法很难拟合数据的分布，并且对于缺陷的分割任务也非常困难，无法准确划分缺陷区域。
而还有的深度学习方法，大多采用监督学习方式进行图像识别检测，这种方法的算法需要大量的带有精确标注的数据作为学习基础数据。但是，由于缺陷样本的种类繁多，在标注数据时，采用人工标注的标注成本较高，标注异常区域易受人为因素影响，标注准确率较低。并且，更重要的是，由于构成晶圆缺陷样本的瑕疵和缺陷具有偶发性，收集得到缺陷样本数往往是不均衡的，甚至会缺失部分缺陷样本，这就限制了监督算法的性能，使得深度学习方法在晶圆检测中的表现欠佳，检测精准度仍然较低。
发明内容
本发明意在提供一种用于晶圆检测的机器视觉方法，能够精准检测晶圆，识别精准度较高。
本发明提供的基础方案为：一种用于晶圆检测的机器视觉方法，包括以下步骤：
步骤1：采用ImageNet1000数据集预训练MAE模型，并采用公共工业数据集对MAE模型进行初次微调；
步骤2：确认待检测晶圆数据；采用待检测晶圆数据对初次微调后的MAE模型进行二次微调，得到改进MAE模型；
步骤3：筛选标准训练样本；所述标准训练样本内仅包含有合格晶圆样本；
步骤4：改进MAE模型基于标准训练样本进行特征提取并构建记忆库；所述记忆库中含有标准训练样本的标准Patch Embedding；
步骤5：由改进MAE模型对待检测晶圆数据进行特征提取，提取得到待检测晶圆数据的各个Patch的Patch Embedding；
步骤6：按照比对策略比对标准Patch Embedding和待检测晶圆数据的PatchEmbedding，并判定得到待检测晶圆数据的合格Patch；
步骤7：根据合格Patch确定并分割待检测晶圆数据的异常区域。
其中，MAE模型(Masked Autoencoder)是一种可扩展的自监督学习器，是深度学习算法的一种，其可使用类似于BERT的掩码机制，从图片中随机抹去一些像素，并让模型通过已知像素去构建未知像素，从而迫使模型学习图像中的特征。MAE模型具有很好的像素重构能力。
Patch指像素块，每个样本图片均可被划分为多个像素块；Patch Embedding指把每个Patch经过一个神经网络压缩成一定维度的向量，是像素块的抽象向量表示，其中包含有每个Patch里的图形信息，以及其与其他的Patch的内容、位置关系。
本发明的工作原理及优点在于：首先利用工业数据集中的样本数据和待检测晶圆数据进行模型的训练调整，并得到模型表现更佳的改进MAE模型；并利用改进MAE模型构建标准训练样本，即合格晶圆样本的记忆库，后续通过比对待检测晶圆数据与记忆库中的标准数据，进而判别待检测晶圆是否存在异常区域，即是否存在缺陷部分，并分割待检测晶圆中存在的异常部分，即缺陷部分，进而完成对晶圆的检测处理，并可同步完成对异常部分的准确分割，便于归纳晶圆缺陷。
本方案中，第一，利用工业数据集中的样本数据进行模型的预训练和初次微调，利用待检测晶圆数据进行模型的二次微调；能够使得初始的MAE模型，与本方案的待检测晶圆数据适配，模型性能表现更佳，针对性更强，后续能够较好地处理待检测晶圆数据，有助于保证较高的晶圆识别精准度。
第二，本方案采用的标准训练样本内仅包含有合格晶圆样本，完全不包含任何缺陷晶圆样本；构建形成的记忆库中也仅包含合格晶圆样本的数据；在后续比对判定待检测晶圆数据是否存在异常区域时，也仅将待检测晶圆数据与合格晶圆样本的数据相对比；即，在本方案中仅采用合格晶圆样本，即正样本，作为模型学习、检测比对的基础。本方案这样设置，使得本方案虽采用了MAE模型这类深度学习类模型，但却无需像常规的应用深度学习的检测方法一样，再对样本数据进行标注处理以供模型学习对比，因为本方案中仅采用正样本数据，合格的正样本数据均可看作一类，无需再做标注分类。而本方案则从根源上去除了标注步骤，精简了数据处理步骤，精简了整体的检测流程，方案操作效率更高，便捷性更强。
特别的是，本方案克服了现有的深度学习算法等在图像学习识别中必须要设置负样本，即缺陷样本的技术偏见，现有方案中，其固定思维认为：若想要检测缺陷，则要识别缺陷，对比缺陷，故而必须设定负样本以供算法学习缺陷并依据正负样本二者判定缺陷。但是，对于晶圆检测而言，这类方法并不适用。受晶圆复杂的加工流程限制，其缺陷种类也较为复杂繁多，高达几百种，负样本不可能设定齐全；受其微型尺寸及算法的识别精度限制，部分缺陷无法被察觉，负样本存在客观缺口；而不充分的负样本反而会阻碍检测判定，这也是现有的应用深度学习的检测方法的检测精度无法提升的根本原因之一。
而本方案则突破了上述固定思维局限，仅设置正样本数据(合格晶圆样本数据)供模型识别比对，不再受负样本限制，最重要的是，本方案虽然减少了样本种类，仅包含合格晶圆样本一类，却能够凭仅包含合格晶圆样本数据的正样本库(记忆库)实现高精准度的晶圆检测。其中原因概为，一是本方案将重点放在了比对待测试数据和正样本数据的相似度上，缺陷种类千变万化，但合格样本的标准却是确定的，比对标准更为稳定明确，比对检测结果更为准确可靠。二是，本方案中利用改进MAE模型对标准训练样本和待检测晶圆数据进行特征提取，比对时比对的是提取得到的Patch Embedding，待测试晶圆样本与合格的标准训练样本在高语义空间中进行对比，将图像信息量化比对，图像样本中的所有缺陷信息都能够准确找出，识别精准度较高。
进一步，所述初次微调和二次微调中均包含以下子步骤：
子步骤1：以工业数据集图片或待检测晶圆数据图片作为初始图片，对初始图片进行掩膜操作；所述掩膜操作为随机擦除工业数据集图片或待检测晶圆数据图片中的部分Patch；
子步骤2：将掩膜操作后工业数据集图片或待检测晶圆数据图片中，未被擦除的Patch作为输入张量，并输入至MAE模型的Encoder模块中；
子步骤3：MAE模型的Encoder模块提取输入张量的Patch Embedding；
子步骤4：将子步骤3中提取得到的Patch Embedding与掩膜操作中擦除的区域结合，以重构Patch结构并使得Patch结构与初始图片一致；所述掩膜操作中擦除的区域以空白Patch表示；
子步骤5：由MAE模型的Decoder模块解码子步骤4中重构的Patch结构，并得到复原图像；
子步骤6：依据复原图像计算MAE模型损失并更新MAE模型的网络参数。
其中，Encoder模块指MAE模型中的编码器，Decoder模块指MAE模型中的解码器。
本方案这样设置，利用工业数据集中的样本数据和待检测晶圆数据，通过图像重构操作，以预训练、微调模型，能够较好地锻炼模型的图像重构能力，便于优化模型参数。
进一步，在步骤4至步骤5中，由改进MAE模型的Encoder模块进行特征提取操作。
这样设置，利用Encoder模块可将像素信息映射为语义空间中的特征向量，进而进行特征提取操作；并且由于MAE模型使用的是非对称的Encoder-Decoder架构，即Encoder模块(编码器)只能看到未被遮蔽的部分像素块信息，能够有效节省计算开销。
进一步，在步骤4中，构建记忆库时，包括以下子步骤：
S1：对标准训练样本进行多次不重叠的掩膜操作；所述掩膜操作为随机擦除标准训练样本中的部分Patch；
S2：将掩膜操作结果输入改进MAE模型的Encoder模块进行特征提取操作，并提取得到标准Patch Embedding；所述掩膜操作结果为标准训练样本中未被擦除的PatchEmbeddings。
这样设置，记忆库内包含有充足的标准训练样本的特征向量信息，便于后续分析比对。
进一步，构建记忆库时，还包括S3：按设定容量对记忆库进行重要性采样；记忆库中仅保留中重要性采样后的数据。
这样设置，对记忆库中的数据进行了精选，能够保证记忆库数据的代表性，并有效降低信息冗余和精简储存空间。并且，在面对实际合格的待检测晶圆样本与记忆库中的标准样本差距较大的情况(即面对实际的合格样本集合内，元素之间具备差异的情况)时，因为本方案特别设置了重要性采样，能够极大程度上保证记忆库中的数据分布能够拟合正常样本的实际分布，进而对于上述差异情况本方案也能够有效判定，不会误报，整体的检测精准度更高。
进一步，在S1中，所述掩膜操作共进行4次；且掩膜比率设为75％；每次掩膜操作中未被擦除的Patch不重合。
掩膜比率设为75％，即每次掩膜时都擦除(遮蔽)75％的像素块(即Patch)，这样设置，能够减少像素块之间的冗余信息，使整个任务更具有挑战性，迫使模型去学习图像的全局特征而非局部特征，从而获得更优的图像重构能力。并且，四次不重叠的掩膜操作后，每次遮蔽的像素块都不同且四次掩膜操作中未被擦除的像素块足以拼接为完整的图像，能够为图像重构提供充足的信息基础。
进一步，在S3中，所述重要性采样时采用贪婪核心集选择算法进行采样。
贪婪核心集选择算法是指，在对问题求解时，每步都选择局部最优解，希望最终可以得到全局最优解。即就是在当前状态下找到局部最优解，然后在此基础上再去寻找局部最优解，通过多次寻找局部最优解直至收敛的过程来代替寻找全局最优解。
本方案采用贪婪算法进行采样，操作直观，易于理解且易于编码实现；并且，由于贪婪算法中当前的决策不会对已经计算出的结果有任何影响，因此不需要再对已有的局部解进行检查，运作效率较高。
进一步，在步骤6中，所述比对策略为：计算记忆库中的Patch Embedding和待检测晶圆数据的Patch Embedding的距离；并选取最近的数个距离值计算距离期望，以距离期望作为该Patch的异常分数；并比对异常分数与预设阈值以判定该Patch是否为合格Patch。
这样设置，通过计算比对向量之间的距离，来判定Patch是否达标，将像素块比对精准量化，判定准确度较高。
进一步，在步骤6中，判定合格Patch时，当某一Patch的异常分数大于预设阈值时则判定该Patch为不合格Patch；当某一Patch的异常分数小于等于预设阈值时则判定该Patch为合格Patch。
这样设置，设置预设阈值以辅助判定合格Patch和不合格Patch，判定可靠。
附图说明
图1为本发明一种用于晶圆检测的机器视觉方法实施例的流程示意图；
图2为本发明一种用于晶圆检测的机器视觉方法实施例的方法运作架构示意图；
图3为本发明一种用于晶圆检测的机器视觉方法实施例的模型微调流程示意图；
图4为本发明一种用于晶圆检测的机器视觉方法实施例的记忆库构建流程示意图；
图5为本发明一种用于晶圆检测的机器视觉方法实施例的掩码操作示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例基本如附图1、图2所示：一种用于晶圆检测的机器视觉方法，包括以下步骤：
步骤1：采用工业数据集预训练MAE模型，并对MAE模型进行初次微调；
本实施例中，采用的工业数据集包括ImageNet1000数据集、DAGM 2007数据集和MVTec AD数据集，均为常规的工业数据集，其中包含有丰富的图像数据，能够为模型训练提供充足数据。
步骤2：确认待检测晶圆数据；采用待检测晶圆数据对初次微调后的MAE模型进行二次微调，得到改进MAE模型。
如附图3所示，在步骤1的初次微调和步骤2的二次微调中均包含以下子步骤：
子步骤1：以工业数据集图片或待检测晶圆数据图片作为初始图片，对初始图片进行掩膜操作；所述掩膜操作为随机擦除工业数据集图片或待检测晶圆数据图片中的部分Patch。
具体地，初次微调时，仅采用工业数据集图片进行掩膜操作；二次微调时，仅采用待检测晶圆数据图片进行掩膜操作。并且，此处掩膜操作仅执行单次，在掩膜操作之前，将工业数据集图片和待检测晶圆数据图片均划分为Patch，即划分为像素块，且Patch尺寸为2x2像素，具体应用时，可根据所检测的异常区域大小来决定Patch尺寸，如需检测2x2像素及以上大小的异常，Patch尺寸取2x2像素。掩膜操作时，掩膜比率设为75％。
子步骤2：将掩膜操作后工业数据集图片或待检测晶圆数据图片中，未被擦除的Patch作为输入张量，并输入至MAE模型的Encoder模块中。
子步骤3：MAE模型的Encoder模块提取输入张量的Patch Embedding。
子步骤4：将子步骤3中提取得到的Patch Embedding与掩膜操作中擦除的区域结合，以重构Patch结构并使得Patch结构与初始图片一致；所述掩膜操作中擦除的区域以空白Patch表示。
子步骤5：由MAE模型的Decoder模块解码子步骤4中重构的Patch结构，并得到复原图像。
子步骤6：依据复原图像计算MAE模型损失并更新MAE模型的网络参数。
步骤3：筛选标准训练样本；所述标准训练样本内仅包含有合格晶圆样本。
本实施例中，待检测晶圆数据和标准训练样本数据的基础图像采集均采用常规的晶圆AOI设备相机进行图像采集，且图像为灰度二维图，图像内容为加工处理后的晶圆，本实施例中为经过蚀刻之后的晶圆，且图像中可看到每一个die。die指晶圆上的一块具有完整功能的芯片，大小一般为几毫米左右。标准训练样本可根据具体的产品需求进行挑选，本实施例中标准训练样本数量设置为大于200个，正样本数量充足，能够为构建记忆库提供足够数据基础。
步骤4：改进MAE模型的Encoder模块基于标准训练样本进行特征提取并构建记忆库；所述记忆库中含有标准训练样本的标准Patch Embedding。
如附图4所示，构建记忆库时，包括以下子步骤：
S1：对标准训练样本进行多次不重叠的掩膜操作；所述掩膜操作为随机擦除标准训练样本中的部分Patch；所述掩膜操作共进行4次；且掩膜比率设为75％；每次掩膜操作中未被擦除的Patch不重合，如附图5所示。
S2：将掩膜操作结果输入改进MAE模型的Encoder模块进行特征提取操作，并提取得到标准Patch Embedding；所述掩膜操作结果为标准训练样本中未被擦除的PatchEmbeddings。
S3：按设定容量对记忆库进行重要性采样；记忆库中仅保留中重要性采样后的数据。所述重要性采样时采用贪婪核心集选择算法进行采样，并且核心集数量比率与样本降维比率为设定值，这样设置，对记忆库中的数据进行了精选，能够保证记忆库数据的代表性，并能够有效降低信息冗余和精简储存空间。
步骤5：由改进MAE模型的Encoder模块对待检测晶圆数据进行特征提取，提取得到待检测晶圆数据的各个Patch的Patch Embedding。
步骤6：按照比对策略比对标准Patch Embedding和待检测晶圆数据的PatchEmbedding，并判定得到待检测晶圆数据的合格Patch。
具体地，所述比对策略为：计算记忆库中的Patch Embedding和待检测晶圆数据的Patch Embedding的距离；计算时，需计算待检测晶圆数据的各个Patch的Patch Embedding与记忆库中所有的Patch Embedding的距离；并选取其中最近的数个距离值计算距离期望。所述最近的数个距离值，具体指，上一步计算得到的距离中距离最近(距离值最小)的N个值，其中，N为设定值，可根据实际需要调整，本实施例中，N值取为9，取值适中，以此计算得到距离期望可靠度较高。以距离期望作为该Patch的异常分数；并比对异常分数与预设阈值以判定该Patch是否为合格Patch。本实施例中，比对策略采用KNN算法执行，能够准确计算距离期望，计算效果较好。
判定合格Patch时，当某一Patch的异常分数大于预设阈值时则判定该Patch为不合格Patch；当某一Patch的异常分数小于等于预设阈值时则判定该Patch为合格Patch。
具体地，所述预设阈值根据每个Patch的异常分数决定，从所有Patch的异常分数均值开始按预设的调整步长进行调整取值。例如，当所有Patch的异常分数均值为2.2时，则从2.2开始调整，一般调整步长取0.05，则预设阈值可取为2.25、2.15等，即为2.2±0.05k；其中，k取正整数。预设阈值这样设置，针对性较强，判定标准更为可靠。
步骤7：根据合格Patch确定并分割待检测晶圆数据的异常区域。
具体地，当Patch被判定为合格Patch时，则可判定不存在异常区域，无需分割。当Patch被判定为不合格Patch时，则可判定存在异常区域，进而进一步分割待检测晶圆数据的异常区域。
本实施例提供的一种用于晶圆检测的机器视觉方法，能够精准检测晶圆，识别精准度较高。本方案中仅采用合格晶圆样本作为模型学习、检测比对的基础，而不采用缺陷样本即负样本，使得本方案虽采用了MAE模型这类深度学习类模型，但却无需像常规的应用深度学习的检测方法一样，再对样本数据进行标注处理以供模型学习对比，从根源上去除了标注步骤，精简了数据处理步骤，精简了整体的检测流程，方案操作效率更高，便捷性更强。并且，由于本方案在构建记忆库时特别进行了重要性采样，能够极大程度上保证记忆库中的数据分布能够拟合正常样本的实际分布，面对实际的合格样本集合内，元素之间具备差异的情况时也能够有效判定异常，不会误报，整体的检测精准度较高。
并且，本方案也从根本上解决了常规检测方法中存在的因负样本采集不足而使得模型无法准确判断缺陷，在晶圆检测上精准度低的问题。具体地，本方案克服了现有的深度学习算法等在图像学习识别中必须要设置负样本，即缺陷样本的技术偏见，本方案不再设置负样本，比对时也不再依赖于负样本确认缺陷；而是将重点放在了比对待测试数据和正样本数据的相似度上，并利用改进MAE模型对标准训练样本和待检测晶圆数据进行特征提取，将待测试晶圆样本与合格的标准训练样本放在高语义空间中进行对比，将图像信息量化比对，图像样本中的所有缺陷信息都能够准确找出，识别精准度较高。
此外，本方案的缺陷漏判率较低。由于晶圆尺寸微小，在采集其图像时，往往需要高倍率、高精度成像，而在高倍率、高精度成像下，图像景深较浅，蚀刻后的晶圆元件会呈现高度差，会出现元件内的部分区域虚焦的情况。对于常规检测算法而言，这类虚焦区域的异常状况检测较为困难，因为虚焦部分难以进行准确的图像对比，而本方案中将待测试晶圆样本与合格的标准训练样本放在高语义空间中进行对比，不局限于图像表现，能够有效解决上述问题。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.一种用于晶圆检测的机器视觉方法，其特征在于，包括以下步骤：
步骤1：采用ImageNet1000数据集预训练MAE模型，并采用公共工业数据集对MAE模型进行初次微调；
步骤2：确认待检测晶圆数据；采用待检测晶圆数据对初次微调后的MAE模型进行二次微调，得到改进MAE模型；
步骤3：筛选标准训练样本；所述标准训练样本内仅包含有合格晶圆样本；
步骤4：改进MAE模型基于标准训练样本进行特征提取并构建记忆库；所述记忆库中含有标准训练样本的标准Patch Embedding；
步骤5：由改进MAE模型对待检测晶圆数据进行特征提取，提取得到待检测晶圆数据的各个Patch的Patch Embedding；
步骤6：按照比对策略比对标准Patch Embedding和待检测晶圆数据的PatchEmbedding，并判定得到待检测晶圆数据的合格Patch；
步骤7：根据合格Patch确定并分割待检测晶圆数据的异常区域。
2.根据权利要求1所述的一种用于晶圆检测的机器视觉方法，其特征在于，所述初次微调和二次微调中均包含以下子步骤：
子步骤1：以工业数据集图片或待检测晶圆数据图片作为初始图片，对初始图片进行掩膜操作；所述掩膜操作为随机擦除工业数据集图片或待检测晶圆数据图片中的部分Patch；
子步骤2：将掩膜操作后工业数据集图片或待检测晶圆数据图片中，未被擦除的Patch作为输入张量，并输入至MAE模型的Encoder模块中；
子步骤3：MAE模型的Encoder模块提取输入张量的Patch Embedding；
子步骤4：将子步骤3中提取得到的Patch Embedding与掩膜操作中擦除的区域结合，以重构Patch结构并使得Patch结构与初始图片一致；所述掩膜操作中擦除的区域以空白Patch表示；
子步骤5：由MAE模型的Decoder模块解码子步骤4中重构的Patch结构，并得到复原图像；
子步骤6：依据复原图像计算MAE模型损失并更新MAE模型的网络参数。
3.根据权利要求1所述的一种用于晶圆检测的机器视觉方法，其特征在于，在步骤4至步骤5中，由改进MAE模型的Encoder模块进行特征提取操作。
4.根据权利要求1所述的一种用于晶圆检测的机器视觉方法，其特征在于，在步骤4中，构建记忆库时，包括以下子步骤：
S1：对标准训练样本进行多次不重叠的掩膜操作；所述掩膜操作为随机擦除标准训练样本中的部分Patch；
S2：将掩膜操作结果输入改进MAE模型的Encoder模块进行特征提取操作，并提取得到标准Patch Embedding；所述掩膜操作结果为标准训练样本中未被擦除的PatchEmbeddings。
5.根据权利要求4所述的一种用于晶圆检测的机器视觉方法，其特征在于，构建记忆库时，还包括S3：按设定容量对记忆库进行重要性采样；记忆库中仅保留中重要性采样后的数据。
6.根据权利要求4所述的一种用于晶圆检测的机器视觉方法，其特征在于，在S1中，所述掩膜操作共进行4次；且掩膜比率设为75％；每次掩膜操作中未被擦除的Patch不重合。
7.根据权利要求5所述的一种用于晶圆检测的机器视觉方法，其特征在于，在S3中，所述重要性采样时采用贪婪核心集选择算法进行采样。
8.根据权利要求1所述的一种用于晶圆检测的机器视觉方法，其特征在于，在步骤6中，所述比对策略为：计算记忆库中的Patch Embedding和待检测晶圆数据的Patch Embedding的距离；并选取最近的数个距离值计算距离期望，以距离期望作为该Patch的异常分数；并比对异常分数与预设阈值以判定该Patch是否为合格Patch。
9.根据权利要求8所述的一种用于晶圆检测的机器视觉方法，其特征在于，在步骤6中，判定合格Patch时，当某一Patch的异常分数大于预设阈值时则判定该Patch为不合格Patch；当某一Patch的异常分数小于等于预设阈值时则判定该Patch为合格Patch。
CN202210762670.1A 2022-06-29 2022-06-29 一种用于晶圆检测的机器视觉方法 Pending CN115063385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210762670.1A CN115063385A (zh) 2022-06-29 2022-06-29 一种用于晶圆检测的机器视觉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210762670.1A CN115063385A (zh) 2022-06-29 2022-06-29 一种用于晶圆检测的机器视觉方法

Publications (1)

Publication Number Publication Date
CN115063385A true CN115063385A (zh) 2022-09-16

Family

ID=83205006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210762670.1A Pending CN115063385A (zh) 2022-06-29 2022-06-29 一种用于晶圆检测的机器视觉方法

Country Status (1)

Country Link
CN (1) CN115063385A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239719A (zh) * 2022-09-22 2022-10-25 南昌昂坤半导体设备有限公司 缺陷检测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111524478B (zh) 检测故障的设备和方法
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
JP5225297B2 (ja) ウエハー上に形成されたダイに於けるアレイ領域の認識方法、ならびに係る方法の設定方法
CN110310262A (zh) 一种用于检测轮胎缺陷的方法、装置及系统
CN109285791B (zh) 设计布局为主的快速在线缺陷诊断、分类及取样方法及系统
CN111242185A (zh) 一种基于深度学习的缺陷快速初筛方法及系统
CN116596875B (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
US9747518B2 (en) Automatic calibration sample selection for die-to-database photomask inspection
CN110992322A (zh) 基于卷积神经网络的贴片掩膜检测系统及检测方法
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN112150460A (zh) 检测方法、检测系统、设备和介质
CN114612472A (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
KR20210108338A (ko) 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN114723833A (zh) 一种基于改进yolov5的深度学习晶圆焊点检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115063385A (zh) 一种用于晶圆检测的机器视觉方法
Li et al. A defect detection method based on improved mask R-CNN for wafer maps
Kögel et al. Machine learning assisted signal analysis in Acoustic Microscopy for non-destructive defect identification
CN115222649A (zh) 用于对热图的图案进行检测和分类的系统、设备和方法
CN114972151A (zh) 影像处理方法、非暂态计算机可读取媒体及影像处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination