CN116935092A - 自动化缺陷分类和检测 - Google Patents

自动化缺陷分类和检测 Download PDF

Info

Publication number
CN116935092A
CN116935092A CN202310445952.3A CN202310445952A CN116935092A CN 116935092 A CN116935092 A CN 116935092A CN 202310445952 A CN202310445952 A CN 202310445952A CN 116935092 A CN116935092 A CN 116935092A
Authority
CN
China
Prior art keywords
defect
learning
image
classification
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310445952.3A
Other languages
English (en)
Inventor
B·戴伊
E·德哈恩
S·霍尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of CN116935092A publication Critical patent/CN116935092A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于图像数据中的缺陷检测、分类和分割的计算机实现的训练和预测方法。该训练方法包括提供学习结构(101，102，105)的合集，每一学习结构包括特征提取器模块(101‑1，102‑1，105‑1)、区域建议模块(101‑2，102‑2，105‑2)、检测模块(101‑5，102‑5，105‑5)和分割模块(101‑4，102‑4，105‑4)。每一学习结构都是经过单独训练和验证的。使用参数化合集投票结构(110)来选择其验证预测得分超过预定阈值得分的学习结构，并将它们的预测进行组合。

Description

自动化缺陷分类和检测
技术领域
本发明涉及与机器视觉应用相关的图像数据中的自动对象检测、分类和实例分割方法的领域。更具体地，本发明涉及用于在与先进半导体加工技术相关的显微镜图像数据中自动检测、分类和分割光刻缺陷的方法。
背景技术
先进半导体制造工艺的缩放导致芯片上半导体器件的尺寸不断减小，并且因此允许更密集的设计。复杂的多重图案化和极紫外光刻技术为半导体器件的成功缩放做出了贡献。光刻步骤被优化以获高产率。为了以盈利的方式大规模制造最终的半导体芯片，在每个光刻步骤中需要99.999％的产率并不罕见。因此，光刻缺陷的(例如经图案化抗蚀剂掩模上的光刻缺陷)检测和研究，在整个工艺开发阶段至关重要，并在以后确保达到质量控制目标。缺陷通常是在专用测试结构(诸如用于计量和设计验证目的的线型图案)中检测的。虽然在某些情况下可以对半导体缺陷进行光学检查，但最常用的缺陷检查工具是基于扫描电子显微镜。在扫描电子显微镜(SEM)中使用电子束的缺点是，尽管具有优异的分辨率和定位能力，但所得的显微镜图像比其光学图像更有噪，这使得在基于SEM的计量测量中更难实现可重复和准确的缺陷检测和分类。在其中使用了激进的间距(例如线间距)和薄抗蚀剂的高数值孔径(高NA)应用中尤其如此。为了更好地理解光刻过程中半导体缺陷形成的根本原因，不仅需要高置信度地检测缺陷，还需要精确的定位和可靠的分类。理想情况下，以自动化的方式获得SEM图像中的缺陷检测、定位和分类的三重目标，而无需专家操作员的资源低效和时间低效的干预，该专家操作员决定图像对比度并手动设置足够的检测阈值。然而，自动化缺陷检测、定位和分类是一项具有挑战性的任务，因为线桥、线间隙和线塌陷等缺陷模式通常出现在微米级或纳米级范围内并且具有不同的空间范围(例如在像素宽度方面)。
目前的检查工具使用基于规则的缺陷检测和分类方法，这些方法不能可靠地检测所有缺陷并且严重依赖于受过培训来操作这些工具的人员的专业水平。
尽早检测缺陷是合乎需要的，因为这有助于减少工程设计时间和与缺陷检查过程相关联的工具循环时间。
Patel等人的“Deep learning-based detection,classification,andlocalization of defects in semiconductor processes(基于深度学习的半导体工艺中的缺陷检测、分类和定位)”，J.Micro/Nanolith，MEMS MOEMS，19(2)，2020，公开了一种在电子束检查工具提供的图像中定位和分类半导体工艺的光刻缺陷的自动化方法。使用卷积神经网络的深度学习被用来训练神经网络模型，以区分无缺陷电子束图像、示出单线断裂的电子束图像和具有多线断裂的电子束图像。Softmax分类器已应用于全连接层或全局平均池化(GAP)层，作为深神经网络的层堆的最后一层。通过从GAP层生成类激活图，以无监督的方式获得了缺陷定位。这项工作没有解决在同一图像中具有多个缺陷实例的问题，并且缺陷定位仍然取决于用户针对在生成的热图中定义缺陷边界的轮廓水平所设置的阈值水平。
专利申请US 2019/0073568 A1(He等人)，2019年3月7日，涉及半导体制造工艺的环境中的缺陷检测和自动缺陷分类。光学或电子束图像由神经网络分析，该神经网络包括特征提取、第一部分和第二部分，用于基于由第一部分提取的特征检测输入图像中的缺陷并对检测到的缺陷进行分类。边界框被预测以定位输入图像中的缺陷，但不允许对其进行实例分割。
从正确检测和分类的缺陷中提取相关参数，诸如面积、长度和宽度，以便更好地理解缺陷的根本原因也是合乎需要的。
发明内容
本发明的实施例的目的是减少与半导体检查过程中的缺陷定位、分类和分割相关联的工程设计时间和工具循环时间。
上述目的通过根据本发明的方法和设备来实现。
在第一方面，本发明涉及一种用于图像数据中的缺陷检测、分类和分割的计算机实现的训练方法。该方法包括以下步骤：
a)提供学习结构的合集，每一学习结构包括适配成从输入图像生成特征图的特征提取器模块、适配成基于所生成的特征图标识输入图像中的感兴趣区域的区域建议模块、适配成检测输入图像中的所标识的感兴趣区域中的每一者中的缺陷并预测与所检测到的缺陷中的每一者相关联的缺陷分类和缺陷位置的检测模块，以及适配成预测输入图像中的所标识的感兴趣区域中的每一者中的每一所检测和分类的缺陷的实例分割掩模的分割模块，其中每一特征提取器模块包括卷积神经网络；
b)用来自图像数据集的一组训练图像来单独训练合集中的每一学习结构，其中图像数据集中的图像包括关于其中包含的缺陷的地面真值分类标签和地面真值位置，并且训练图像的至少一个子集包括关于其中所包含的缺陷的地面真值实例分割标签；
c)用来自图像数据集的一组验证图像来验证合集中的每一学习结构，以获得每一学习结构的预测分数，并选择学习结构的合集中的、预测分数超过预定阈值分数的学习结构；
d)使用参数化合集投票结构来组合来自学习结构的合集的所选学习结构的预测，其中合集投票结构的参数是在验证图像集上优化的。
提供输入图像的每一缺陷实例的分割掩模的精确预测大大加快了专家手动标记缺陷掩模或重新标记由传统工具提供的低质量缺陷掩模的时间。它还具有减少专家研究、鉴定和量化半导体制造工艺的缺陷的审查时间的优点。这也有助于减少用于达到稳定的半导体制造工艺的工程设计时间，在该工艺中，缺陷得到了很好的理解并将其对最终产品的产率影响最小化。
本发明的实施例的优点在于，对输入图像的每一缺陷实例的分割掩模的准确预测减轻了训练机器学习模型以实现对缺陷的位置预测的高置信度的需要。
根据本发明的一些实施例，提供了一种基于web的应用，诸如客户端-服务器应用，其中软件执行已经用第一方面的创造性训练方法训练的机器学习模型。
在另一方面，本发明涉及一种用于检测和分类被测半导体器件的抗蚀剂掩模中的光刻缺陷的检查系统。该检查系统包括成像装置和处理单元，成像装置优选地是扫描电子显微镜。处理单元被配置成从成像装置接收与被测半导体器件的抗蚀剂掩模有关的图像数据，并且被编程为执行第一方面的创造性训练方法的步骤。
在又一方面，本发明涉及一种数据处理设备，该数据处理设备包括被配置成执行第一方面的创造性训练方法的步骤的处理器。
在又一方面，本发明涉及一种包括指令的计算机程序，当该程序由计算机执行时，这些指令使该计算机执行第一方面的创造性训练方法。
在所附独立和从属权利要求中阐述了本发明的特定和优选方面。
出于对本发明以及相对于现有技术所实现的优点加以总结的目的，以上在本文中已描述了本发明的某些目的和优点。当然，应当理解，不必所有此类目的或优点都可根据本发明的任何特定实施例来实现。由此，例如，本领域技术人员将认识到，本发明能以实现或优化如本文中所教导的一个优点或一组优点的方式来具体化或执行，而不必实现如本文中可能教导或建议的其他目的或优点。
从本文以下描述的(诸)实施例，本发明的以上和其他方面将是显而易见的并参考这些实施例来阐明。
附图说明
现在将参照附图通过示例的方式来进一步描述本发明，其中：
图1示出了可以在本发明的实施例中使用的机器学习模型的体系结构。
图2示出了可被用于训练图1中描绘的机器学习模型的训练集的四个示例图像。
图3和图4描绘了经训练的机器学习模型在用于推理时的典型输出。
图5解说了具有相互通信的客户端和服务器单元的基于web的应用，其中服务器单元存储并执行根据本发明的实施例训练的机器学习模块。
图6是可以在本发明的实施例中使用的学习结构之一的体系结构的更详细视图。
这些附图仅是示意性的且是非限制性的。在附图中，出于说明性目的，要素中的一些要素的大小可被放大且未按比例绘制。尺度和相对尺度并不必然对应于对本发明实践的实际简化。
权利要求中的任何附图标记不应被解释为限制范围。
具体实施方式
将就具体实施例并且参考特定附图来描述本发明，但是本发明不限于此而仅由权利要求书来限定。
应当注意，权利要求书中所使用的术语“包括”不应被解释为限定于其后列出的手段；它并不排除其他要素或步骤。由此，该术语应被解释为指定如所提到的所陈述的特征、整数、步骤或组件的存在，但不排除一个或多个其他特征、整数、步骤或组件、或其群组的存在或添加。由此，表述“一种包括装置A和B的设备”的范围不应当被限定于仅由组件A和组件B构成的设备。这意味着就本发明而言，该设备的仅有的相关组件是A和B。
贯穿本说明书对“一个实施例”或“实施例”的引用意指结合该实施例所描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。由此，短语“在一个实施例中”或“在实施例中”贯穿本说明书在各个地方的出现并不一定全部指代同一实施例，而是可以指代不同实施例。此外，在一个或多个实施例中，如通过本公开会对本领域普通技术人员显而易见的，特定的特征、结构或特性可以以任何合适的方式被组合。
类似地，应当领会，在本发明的示例性实施例的描述中，出于精简本公开和辅助对各个发明性方面中的一个或多个发明性方面的理解的目的，本发明的各个特征有时一起被编组在单个实施例、附图或其描述中。然而，本公开的这种方法不应被解释为反映要求保护的发明要求比每一项权利要求中明确记载的特征更多的特征的意图。相反，如所附权利要求所反映，发明性方面在于比单个前述公开的实施例的全部特征更少的特征。因此，具体实施例所附的权利要求由此被明确纳入本具体实施例中，其中每一项权利要求本身代表本发明的单独实施例。
此外，尽管本文中所描述的一些实施例包括其他实施例中所包括的一些特征但没有其他实施例中所包括的其他特征，但是不同实施例的特征的组合旨在落在本发明的范围内，并且形成如将由本领域技术人员所理解的不同实施例。例如，在所附的权利要求书中，所要求保护的实施例中的任何实施例均可以任何组合来使用。
应当注意，在描述本发明的某些特征或方面时使用特定术语不应被当作暗示该术语在本文中被重新定义成限于包括该术语与其相关联的本发明的特征或方面的任何特定特性。
在本文中所提供的描述中，阐述了众多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实施本发明的实施例。在其他实例中，公知的方法、结构和技术未被详细示出，以免混淆对本描述的理解。
在第一方面，本发明涉及一种用于图像数据中的缺陷的分类、定位和实例分割的计算机实现的训练和预测方法。该训练和预测方法使用机器学习模型。
参考图1，现在描述机器学习模型，该模型可被用于在半导体制造工艺中的抗蚀剂或蚀刻步骤之后定位、分类和分割光刻缺陷。机器学习模型100包括学习结构101至105的合集，称为第一阶段学习器，以及合集投票结构110，称为第二阶段学习器。尽管在该特定示例中示出了由五个学习结构组成的合集，但是该合集可以包含更小或更大数量的学习结构。
第一阶段学习器是相似地构造的并且包括相同类型的模块。更具体而言，每一第一阶段学习器包含特征提取器模块(例如充当深度特征提取器的子网络)、区域建议模块和区域池化或区域对准模块。检测模块和分割模块(例如适配成为每个检测到的实例生成像素掩模的模块)被提供为相应的第一阶段学习器的分开的分支。例如，在机器学习模型100中，学习结构101包括特征提取器101-1、区域建议模块101-2、区域对准模块101-3、分割/实例掩模生成模块101-4和检测模块101-5。类似地，学习结构102包括特征提取器102-1、区域建议模块102-2、区域对准模块102-3、分割模块102-4和检测模块102-5，以此类推。通常，可以在不同的学习结构中对各个模块进行不同的设计，从而使合集的每一学习结构独立于其他学习结构进行训练，并学习以不同于其他的方式进行泛化。基于Mask-R-NN架构的学习结构的更详细实现如图6所示。
特征提取器模块(例如深度特征提取器网络)对应于在整个输入图像上生成特征图的第一阶段学习器的子网络或骨干。通常，特征提取器模块包含多个堆叠的卷积层，并且可以包括一个或多个(最大)池化层、残差块、跳过连接、激活函数(诸如ReLu运算)以及本领域已知的其他功能块或层。在本发明的优选实施例中，每个第一级学习结构使用不同的特征提取器。举例而言，学习结构101可提供ResNet50体系结构的一部分或全部作为特征提取器模块101-1，学习结构102可提供VGG体系结构的一部分或全部作为特征提取器模块102-1，又一学习结构可提供ResNet101体系结构的一部分或全部作为特征提取器模块，等等。更一般而言，在训练期间，可以用不同的特征提取器来实例化学习结构中的任何一者，并且在训练期间可以改变和优化学习结构的数量，例如通过模型选择来确定元机器学习模型的参数。特征提取器的非穷举列表包括以下体系结构的非密集部分：ResNet50、ResNet101、ResNet152、SSD_MobileNet_v1、SeResNet34、AlexNet、VGG16、VGG19、ZF-net、GoogleNet、ImageNet、YoloV5(YoloV5n、YoloV5s、YoloV5m、YoloV5.l)。在此，网络的非密集部分是指在相应网络的第一全连接层之前的所有层(卷积、池化)。
区域建议模块适配成基于相应特征提取器模块的特征图作为输入来输出感兴趣区域的集合。换言之，区域建议模块直接作用于提取器所生成的特征图。与传统的区域选择算法(诸如选择性搜索、滑动窗口等)相比，这具有显著加快推理和训练阶段的优点。
正如Faster R-CNN(更快的R-CNN)的作者在Ren S，He K，Girshick R，Sun J.的“Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks(更快的R-CNN：使用区域建议网络实现实时对象检测)”，IEEE Trans PatternAnal Mach Intell.(IEEE跨模式分析Mach Intell)，2017；39(6):1137-1149中提出的，区域建议网络可以包括卷积层，然后是至少一个全连接层和用于候选对象的边界框回归和对象性(objectness)分类的分支。具有不同纵横比和大小尺度的锚框可以与区域建议网络的最后卷积层的每一网格点相关联。在本发明的替换实施例中，可以改为使用特征金字塔网络(FPN)，其中金字塔的每一层与锚框的不同尺寸尺度相关联，但仍然包括不同的纵横比。FPN的自下而上部分通常对应于特征提取器模块的越来越粗糙的层，但也可以实现成独立结构，而FPN的自上而下部分的每一层包括用于对象性分类和边界框回归的横向预测分支。在此，对象性分类涉及将锚框中的内容分类成前景对象或背景。在缺陷检测和分类的特定环境中，前景对象对应于可以从训练集的图像中预期和/或已经在训练集中观察到的不同种类的缺陷。
与每一锚点相关联的对象性分类器和边界框回归器被配置成通过监督学习将前景对象与图像背景区分开来，并对准和调整与被分类成前景对象的对象相关联的边界框的大小。可以应用非最大值抑制(NMS)来减少建议的数量，并且只有预定数量的排名靠前的建议(通过对象性分类得分)可以被用作相应区域池化模块的输入。
区域池化模块被配置成例如通过应用最大池化来为由对应的区域建议模块所建议的每一感兴趣区域生成固定大小的特征向量。固定大小的特征向量被应用于相应的第一阶段学习器的分割模块和检测模块。在依赖于区域对准模块的实施例中，最大池化步骤之前是上采样和双线性插值操作，以防止信息丢失。
检测模块通常包括一个或多个全连接的层，随后是多类分类器分支(例如softmax分类器)以及边界框回归器分支。检测模块的分类相关边界框回归器不同于区域建议网络的边界框回归器，尽管它接受区域建议模块的边界框作为输入以用于进一步细化。因此，检测模块的任务是细化并准确预测包含在感兴趣区域(例如候选区域)中的缺陷的边界框，如区域建议网络所建议的。训练的结果是减少了对假阳性的检测，在训练期间，向学习结构呈现每一训练图像中的缺陷的地面真值分类标签和位置。
分段模块优选地对应于Mask-R-CNN的作者所描述的掩模分支实现，特别是在He，Kaiming等人的“mask-R-CNN”，2018，arXiv预印本arXiv:1703.066870的第3节和图4中。它包含固定大小的特征向量的对准层以及卷积层和去卷积层的堆。对该堆的最后一层的输出进行检测到的(例如，最可能的)缺陷分类的像素级sigmoid，从而得到检测到的缺陷分类的二进制分割掩模。本领域技术人员理解，可以实现分割模块的变型或者由分割模块执行不同的分割算法。
合集投票结构110连接到学习结构的子集的检测模块的输出。该子集是基于在模型验证期间由个体学习结构获得的预测得分来选择的。合集投票结构被配置成将关于缺陷分别缺陷位置的预测组合成缺陷分类和缺陷位置的最终预测。下面将进一步描述组合关于缺陷分类和缺陷位置的预测的一种方式。
接下来，对图1中的机器学习模型的训练方法进行描述。在第一阶段学习器的相应输入处接收图像数据的训练集I_TRAIN。该图像训练集是更大的图像数据集(例如由检查工具获得的图像，例如SEM图像，其还包含验证集和测试集)的一部分。优选地，训练集的每一图像包括一个或多个半导体缺陷，例如被测半导体器件或结构的抗蚀剂掩模或蚀刻掩模中的光刻缺陷，但也将无缺陷图像包括到训练集中总是可能的。验证集和测试集的图像可以包括无缺陷图像以及具有一个或多个缺陷的图像。缺陷分类的地面真值标签与该数据集的图像中的每一缺陷实例，以及分割掩模的地面真值打标，相关联。这一地面真值打标可以对应于二进制像素掩模或像素掩模的边界，例如多边形的限定。此外，关于地面真值缺陷位置(例如边界框)的信息被分配给包含在该数据集中的至少一些图像中的缺陷实例。只要关于缺陷位置、分类和分割掩模的预测与对应的地面真值标签/位置信息之间的偏差在训练集的图像中持续存在，地面真值标签和位置信息就被用于引导学习结构的合集对缺陷位置、分类和分割掩模进行更好的预测，例如在多任务学习期间由机器学习模型的学习结构合集提供增强反馈。
图2示出了示例性训练集的四个示例图像，每一图像都包含至少一个缺陷并由与图像中的相应缺陷相对应的地面真值标签(图中未示出)进行注释并且还定位了图像中的相应缺陷。此外，可以在缺陷周围绘制边界框(如图所示)，作为与缺陷位置有关的地面真值信息。用于机器学习模型的训练、验证和测试的完整数据集由1324个已标记的图像组成，但可以随着时间进行扩展和/或提高质量。数据集中的图像数据涉及光刻曝光的抗蚀剂晶片上的线图案(32nm间距)的SEM原始图像(1024像素x 1024像素)。数据集中的图像通常是灰度图像，并且缺陷分类标签、边界框和分割标签是通过专家对图像进行手动打标而获得的。缺陷在接受SEM检查的测试结构上随机分布，即缺陷分类、位置和缺陷特征(诸如面积、长度、像素分布)是随机分布的。完整数据集已被拆分成用于训练的数据集(例如，1053个图像，包括分布在5个缺陷分类上的2529个缺陷实例)、用于模型验证的数据集(例如，117个图像，包括分布在这5个缺陷分类上的337个缺陷实例)和用于测试的数据集(例如，154个图像，包括分布在这5个缺陷分类上的399个缺陷实例)。在该附图中，第一示例图像(a)示出了线桥缺陷，第二示例图像(b)示出线塌陷缺陷，第三示例图像(c)示出两个线间隙或线断裂缺陷，并且第四示例图像(d)示出了微米桥缺陷。用于分类的第五缺陷类型是由可能的纳米间隙给出的，即尚未被确定为完全发展的缺陷，但很可能由于随后的制造步骤而发展成缺陷的区域。这种缺陷分类划分并不是限制性的。缺陷的组成可以被认为是一种新类型的缺陷，至少对于一些应用来说是要分类的，例如多桥缺陷。新类型的缺陷可以被包括在更全面的数据集中，并且机器学习模型可以相对于更全面的数据集进行再训练。因此，本发明的实施例的优点在于，该计算机实现的方法可以容易地适配成对于不同的应用表现良好，或者扩展到更具挑战性或更复杂的缺陷分析任务。要分类的附加缺陷类型还可以包括抗蚀剂足(footing)(假桥或非永久桥，即在光刻工艺期间由于抗蚀剂去除不完全而出现抗蚀剂足(例如在图案的两条线之间)，并且在下一蚀刻工艺期间消失)、多桥缺陷、微米间隙和纳米间隙。此外，取决于缺陷的水平或非水平特征(在垂直线图案中)进行精细分类是可能的。要检测、分类和分割的缺陷类型可以包括在不同的长度尺度(例如微米尺度和纳米尺度)上发生的缺陷、在不同的维度上发生的缺陷(例如与零维图案有关的缺陷(例如缺陷孔的研究，例如用于接触孔形成)、一维图案(例如线缺陷)或二维图案(例如角缺陷、角度变形等))。因此，机器学习模型要解决的分类问题是多分类问题。
每一学习结构的特征提取模块对当前已应用于机器学习模型的训练集的整个输入图像进行操作。一般而言，若干个输入图像被同时应用作为训练数据的小批，但是该方法也可以针对个体地应用的图像来执行。在正向传播(forward pass)期间，特征提取模块的卷积层生成用于训练集的所应用输入图像的特征图。区域建议模块直接作用于所生成的特征图。它在特征图的每个点中生成不同尺度和纵横比的锚框。训练边界框回归器以从与每一比例因子和特征图中的每个点相关联的一批锚框精确地预测所建议的感兴趣区域的边界框尺寸和偏移。这一类型的区域建议模块已经在Faster R-CNN的框架中进行了描述。如前所述，区域建议模块可以包括特征金字塔网络，以在特征金字塔的不同层上生成不同尺度的锚框。
特征图的大小取决于卷积层的数量、它们的步长以及在一个或多个卷积层之后池化层的使用。在模型验证期间，可以改变特征提取器模块的体系结构参数，例如通过使用不同的子网络体系结构(例如ResNet50而不是VGG-16)、不同数量的卷积和/或池化层、不同的步长参数等。例如，如果在训练阶段结束时验证性能度量(例如，(在所有分类上)每分类平均精度得分或均值平均精度得分)小于预定阈值得分，则特征提取器模块被修改或替换。区域建议网络和区域池化层或区域对准层的存在确保从特征图中的每一感兴趣区域提取固定大小的特征向量(用于区域对准层的扭曲特征向量)。
然后，检测模块为图像数据集的给定输入图像确定由区域建议网络所建议的感兴趣区域中存在的每一缺陷的分类标签或分类概率以及对应的边界框。无缺陷图像仅包含区域建议网络未前传(forward)的背景对象。
此后选择学习结构的子集，其中选择是基于每一学习结构在模型验证期间获得的验证得分的。如果特定学习结构的验证得分超过预定阈值，则选择该学习结构作为合集投票结构的输入。进行选择过程所依据的验证得分可以是针对所有缺陷分类计算得到的均值平均精度，或者可以是针对特定缺陷分类的平均精度。
在本发明的特定实施例中，在选择步骤之后的学习结构的子集仍然可以与学习结构的原始集合相同，例如该合集的所有学习结构都被选择。如果用于选择的预定阈值被选择得过低以允许选择合集的所有学习结构，例如当将阈值设置成零或接近零时，则可能发生这种情况。即使选择步骤没有导致机器学习模型的立即修剪，随后的合集投票结构仍然可以将经优化的权重(二进制或多位数精度)指派给合集的每一学习结构，如果指派的权重很小，则该经优化的权重证明丢弃特定的学习结构是合理的，例如有效地将学习结构从合集投票结构中移除的零值权重，或者例如在模型压缩期间下降到精度阈值以下的权重，类似地将学习架构与合集投票结构断开连接。然后，合集投票结构使用所选学习结构的个体预测作为输入，生成关于验证数据集的图像中的缺陷分类和缺陷位置的经优化的单个预测。在优选实施例中，合集投票结构被配置成执行肯定的加权平均投票方案，其中由所有选择的学习结构检测到的所有缺陷被保留(作用于缺陷位置集合的逻辑或(OR)运算符)，并且对它们的加权分类概率取平均。出于合集投票的目的，如果预测的缺陷的边界框交叠达预定量，例如具有大于预定值的并集交集(IoU)得分，例如IoU>0.5，则两个学习器被认为预测了在同一位置处的缺陷，而无论预测的缺陷分类如何。在实践中，以其缺陷分类别预测具有最高置信度(例如在分类别概率中获得了最高得分)的那些学习结构的不同缺陷位置开始，并随后计算与属于较低置信度的学习结构的边界框中的每一者的交叠，以决定由置信度较低的学习结构所预测的缺陷位置是被认为是相同的(例如，IoU得分大于0.5)还是单独的缺陷位置(例如，IoU小于或等于0.5)。来自置信度较低的学习结构的边界框与置信度最高的学习结构的边界框进行交叠的次序是根据置信度水平的降序的。
用于合集投票的加权参数可以通过提升算法来学习，或者通过搜索算法(例如网格搜索)来确定。针对合集投票结构的预选最终验证度量，例如所有缺陷分类的均值平均精度(mAP)，执行权重的优化。然后基于加权平均值来指派最终的分类标签。此外，合集投票结构被配置成还组合所选择的学习结构的缺陷位置预测。加权框融合可被应用来合并预测出相同缺陷分类的所选学习结构的边界框预测。输出与合集投票结构指派的分类标签相对应的经合并边界框作为关于缺陷位置的最终预测。
尽管在刚刚描述的特定实施例中使用了赞成投票，但也可以使用本领域已知的其他投票方案。例如，可以改为使用共识投票或一致投票，这两者都有可能消除一些但不是所有第一阶段学习者检测到的位置处的缺陷。更准确地说，一致投票作为作用于检测到的缺陷位置的det的逻辑与(AND)运算符来操作，这意味着只有当所有第一阶段学习器都预测了这一缺陷位置(在允许的边界框交叠区域内)时，该缺陷位置才由合集投票结构保留。共识投票位于赞成投票方案和共识投票方案之间，并且只允许由大多数所选学习结构检测/预测的缺陷位置。在没有保留由所选择的学习结构预测的所有缺陷位置的情况下，仅针对所保留的缺陷位置执行预测分类概率的加权平均。此外，本发明的实施例不限于所保留的缺陷位置的缺陷分类概率的加权平均值。可以对足以反映缺陷分类预测的任何度量执行加权平均。例如，可以在所选择的学习结构上对排名最高的缺陷分类的缺陷分类概率进行加权和平均，对于每个秩k＝1、……、K，可以在所选择的学习结构上独立地对前K排名的缺陷分类的缺陷分类概率进行加权并取平均，或者可以在所选择的学习结构上对每个所保留的缺陷位置处的缺陷分类预测的独热向量(one-hot-vector)进行加权和平均。分割模块为图像数据集的给定输入图像确定由区域建议网络所建议的感兴趣区域中存在的每个已定位缺陷的二进制分割掩模。优选地，仅输出具有与合集投票结构的最终缺陷分类预测匹配的最高置信度缺陷分类预测的所选学习结构的二进制分割。
第一阶段学习器可以通过随机梯度下降算法、Adams优化器或深度学习领域中已知的其他合适的训练算法来训练。学习率可以被放松，并且丢弃可以用于训练期间的正规化。训练遍(training pass)可以使用训练图像的小批量。可以实现交叉验证。
在机器学习模块的训练、验证和测试期间使用的损失函数包括来自检测模块的边界框回归器和分类器的贡献，例如惩罚边界框未对准和所预测边界框相对于地面真值边界框的错误尺寸以及相对于地面真值分类标签的错误分类的缺陷。此外，损失函数包括分割模块的贡献，该贡献计及所预测的所分割实例掩模与地面真值像素掩模的任何偏差。在本发明的优选实施例中，分割模块对每一学习结构的损失函数的贡献相对于来自边界框回归器的贡献被加权得更强。这具有分割掩模的回归主动地引导由检测模块的边界框回归器预测的边界框的正确对准的优点。它还导致了经训练的机器学习模块，其中缺陷分类预测和缺陷分割掩模通常比所预测的边界框更准确。这在主要关注分割和分类任务的应用中是有利的。事实上，数据集的一些图像中缺陷位置的缺失地面真值信息可以由可直接从分割掩模导出的边界框来代替，例如作为凸包(多边形)或包围所分割的缺陷掩模的凸包的最小矩形。因此，本发明的实施例的优点在于，可以在训练期间补充关于图像数据集的图像中的缺陷位置的缺失或不完整的地面真值信息，这也提高了区域建议模块在建议对准良好的感兴趣区域方面的有效性。
一般而言，第一阶段学习器的训练在预定次数的训练遍(时期)之后停止，或者如果验证错误已经解决或在恒定值附近波动，则提前停止。模型验证是相关于数据集的验证部分而被执行的，并且是在预定数量的训练时期之后被执行的，例如预定数量的反向传播遍，例如在每1000个或更少时期之后，例如每100个或更少时期之后，例如在30个或更少时期之后，例如10个或更少时期之后，例如每个时期之后。
可选地，在将图像数据集的输入图像应用于机器学习模型之前，对其进行去噪阶段。此外，在本发明的实施例中，其中数据集的总体大小相对小，例如几千图像，或者难以获得可靠的专家标记，例如非常耗时，通过应用数据增强技术(诸如输入图像旋转、平移、剪切、缩放或(垂直和/或水平)翻转)来增强训练、验证和/或测试集的大小和多样性可能是有利的。这些数据增强技术还可以用于提供关于不同缺陷分类的更平衡的数据集，即平衡不同分类中的每分类缺陷的数量。未进一步详细描述的本发明的其他实施例可以提供合成输入图像(例如SEM图像中的模拟缺陷)作为增大数据集大小的方式。
在本发明的一些实施例中，可以获得用于实例分割掩模的软像素标签，并将其指派给训练集的先前缺乏地面真值分割标签的图像。在这种情况下，软像素掩模标签对应于来自最高置信度学习结构的分割模块的输出。
用于机器学习模型的上述计算机实现的训练方法的许多变体是可能的，并且有时甚至是期望的。
例如，如果学习结构的合集的学习结构中没有一个被选择用于随后的合集投票，则通知用户可以证明是有用的。这允许机器学习工程师监督模型的训练，并在训练结果不令人满意时进行干预或改变超参数。或者，可以通过计算机方法本身以自动方式抑制和处置此类通知。
作为替换或补充，该计算机实现的方法可推荐用户提供更大的训练图像集和/或针对图像数据集的图像中包含的缺陷来改进地面真值分类标签、地面真值位置和地面真值实例分割标签中的至少一者，条件是预测分数高于预定阈值分数且低于预定目标分数。这一推荐在以数据为中心的办法中很重要，根据这些办法，机器学习工程师努力获得不断改进的数据集，而不是尝试开发改进的机器学习模型，以此来提高预测性能。因此，所提出的方法能够通知用户底层数据集中的潜在缺点或弱点，从而允许收集新图像或重新标记缺陷分类、位置和分割掩模，目的是用更高质量的数据重新训练当前模型。分类不平衡问题可以按类似的方式通知。在测试阶段，经训练和验证的机器学习模型仅被用于推理。一个或多个测试图像被应用于所选择的学习结构，并且合集投票结构生成与测试图像中的缺陷分类和相应缺陷位置有关的预测。与最高置信度的缺陷分类预测相关联的所选学习结构的分割模块被用于生成用于实例分割的二进制像素掩模。
图3和图4描绘了经训练的机器学习模型在用于推理时的典型输出。测试图像(例如在其中潜在缺陷将被检测、分割和分类的检查工具的SEM图像)被应用作为经训练的机器学习模型的输入。每一所选择的学习结构提出对可能的缺陷候选的预测，包括缺陷分类、缺陷实例相对于输入图像的精确定位(例如，如通过边界框指示的)以及实例分割掩模。然后应用所采用的和优化的合集投票方案来从由所选择的学习结构的合集生成的多个个体预测来生成最终预测。在最终预测中，决定在测试图像中检测到的缺陷实例的数量、它们的对应分类和精确位置。为最终预测的每一缺陷生成实例分割掩模，即对应于由最高置信度的学习结构(就缺陷分类预测而言)预测的在相应缺陷位置处的分割掩模。最终预测可以以文本形式呈现给用户，例如包含缺陷实例的XML文件，该缺陷实例具有与缺陷分类有关的注释标签、边界框坐标和边界框中每一像素的布尔变量的列表或阵列，该列表或阵列指示对应的像素是否形成实例分割掩模的一部分，或者可以通过视觉呈现，例如注释的图像文件、例如注释的CSV文件。最终预测的视觉表示如图3所示，其中除了实例分割掩模32之外，还绘制了界定测试图像中检测到的缺陷的边界框31。文本字段33可以与测试图像交叠，其呈现与缺陷分类有关的进一步细节，例如所预测的缺陷类型和该预测的置信度得分。在本示例中，检测到的缺陷被分类成多桥缺陷，其是非水平的并且已经获得96％的置信度得分。可以提取关于检测到的缺陷的更多信息，例如缺陷的面积、缺陷的高度或宽度、定义为所有缺陷的总面积(属于所有分类或每一分类)除以主动处理的掩模(例如抗蚀剂或蚀刻掩模)的总面积的总缺陷密度、缺陷周长、缺陷直径和缺陷多边形。
另一可能性是提取并在视觉上仅呈现缺陷的实例掩模，即对测试图像执行背景去除，并且仅使用所提取的实例掩模作为前景对象。这如图4所示，用于检测到的线塌陷。
经训练和验证的机器学习模型已经在测试集的看不见的图像数据上进行了测试。表1列出了边界框回归任务和实例分割任务的平均精度(AP)，它们与不同的缺陷分类(线塌陷、单桥、细桥和非水平多桥)有关。尽管在生成表1的条目时，已经将专用的Mask-R-NN网络训练成每一缺陷分类的学习结构，但结果支持这样的学习结构的合集能够泛化，并且可以获得关于各种缺陷的准确预测。表1的最后一列表示所有缺陷分类的平均精度。
表1：边界框和实例分割任务的每分类和平均精度。
图5示出了用于缺陷检测、分类和实例掩模生成的基于web的应用。用户在客户端设备(例如客户端终端52a-52c之一)上提供用于缺陷检测和分类的多个输入图像。这些图像可以对应于保存在外部存储单元54上的先前生成的图像，该外部存储单元连接到客户端设备，例如客户端终端52a。可替换地，图像可以由成像装置55(例如扫描电子显微镜)生成，并且被传送到客户端设备的图像存储单元56以供存储。在本发明的一些实施例中，成像装置本身可以被配置成客户端设备并且包含图像存储单元。
接下来，用户确定哪些输入图像被上传到服务器单元50以供缺陷分析。在此，缺陷分析包括执行缺陷定位、缺陷分类以及可选的缺陷实例分割的联合任务。经训练的机器学习模型对应于存储在服务器单元上并由服务器单元执行的web部署的软件应用51。服务器单元可以包括一个或多个处理节点，例如互连的处理单元。更一般而言，可以使用互连和分布式处理节点的网络来代替集中式服务器单元，例如用于基于云的计算的分布式服务器网络。
上传的用于缺陷分析的输入图像由服务器单元接收，并在推理过程中被应用作为所存储的机器学习模块的输入。缺陷分析的预测结果(例如缺陷位置、每个位置处的缺陷分类以及可选的所分割的缺陷实例掩模(二进制像素掩模))被编译成文本可处理格式，例如XML文件，或者被编译成视觉表示，例如边界框、分类标签和实例分割掩模，对所分析的输入图像进行注释或与所分析的输入图像叠加。如果有用的话，可以采用输出预测的其他表示或后处理，例如将压缩算法应用于文本可处理的输出文件格式或输出图像文件格式。然后，将预测结果或其后处理的对应结果从服务器发送回请求缺陷分析的客户端设备。
基于web的应用可以在客户端设备上提供用户界面53，在该用户界面53中显示所分析的输入图像的视觉表示、要分析的输入图像或这两者。用户界面可以允许用户进一步修改、剪辑或编辑所分析的输入图像、要分析的输入图像或这两者的视觉表示。在本发明的一些实施例中，缺陷分析可以包括图像去噪步骤。例如，在获得具有临界置信度得分的预测的情况下，或者在难以区分的缺陷类型的情况下(例如，可能的间隙对比特定间隙)，这被证明是有帮助的。所分析图像的视觉表示可以被划分成较小输出图像的集合，例如每个所定位的缺陷一个输出图像。这有助于专家对自动检测到的和所分类的缺陷进行审查。
在另一方面，本发明涉及一种处理设备，该处理设备被配置成执行第一方面的方法步骤。该处理设备可以是通用计算机、特别编程的设备，例如FPGA或GPU，或者专用设备，例如ASIC。本发明还涉及一种检查工具或检查系统，其包括刚刚描述的成像装置和处理设备。成像装置能够生成被测半导体器件(例如在制造期间的抗蚀剂掩模或蚀刻掩模)的图像。成像装置可以是光学显微镜或扫描仪，或者扫描电子显微镜。成像装置的图像可以直接发送，或者存储并稍后发送到处理设备以进行缺陷分析，即执行组合的缺陷检测、分类和实例分割。尽管已经在附图和前面的描述中详细地说明并描述了本发明，但是此类说明和描述被认为是说明性或示例性的，而非限制性的。前述描述详细说明了本发明的某些实施例。然而，将会领会，不论前述描述在文本中显得如何详细，本发明都能以许多方式来实施。
例如，替代实施例可能不需要边界框回归器作为检测模块的一部分。这是可能的，因为分割模块已经具有将关于缺陷分割掩模的预测与输入图像中的地面真值分割掩模对准的效果。缺陷位置与分割掩模的位置相关联，预测缺陷位置的任务已经通过分割任务来解决，尽管以隐含的方式。从所预测的掩模中导出边界框是非常有可能的。然后，该附加信息可以被用于注释输入图像中的缺陷，即完成缺失的缺陷位置地面真值信息，例如以提供经改进的图像数据集。所导出的边界框也可以由区域建议模块间接使用，在那里它导致感兴趣区域建议机制的更快收敛。
因此，本发明还涉及一种用于图像数据中的缺陷检测、分类和分割的计算机实现的训练方法，其中该方法包括以下步骤：
a)提供学习结构的合集，每一学习结构包括适配成从输入图像生成特征图的特征提取器模块、适配成基于所生成的特征图标识输入图像中的感兴趣区域的区域建议模块、适配成检测输入图像中的所标识的感兴趣区域中的每一者中的缺陷并预测与所检测到的缺陷中的每一者相关联的缺陷分类的检测模块，以及适配成预测输入图像中的所标识的感兴趣区域中的每一者中的每一所检测和分类的缺陷的实例分割掩模的分割模块，其中每一特征提取器模块包括卷积神经网络；
b)用来自图像数据集的训练图像集来单独训练合集中的每一学习结构，其中图像数据集中的图像包括地面真值分类标签，并且训练图像的至少一个子集包括关于其中所包含的缺陷的地面真值实例分割标签；
c)用来自图像数据集的验证图像集来验证合集中的每一学习结构，以获得每一学习结构的预测得分，并选择学习结构的合集中的、预测得分超过预定阈值得分的学习结构；
d)使用参数化合集投票结构来组合来自学习结构的合集的所选学习结构的预测，其中合集投票结构的参数是在验证图像集上优化的。
已经参考第一方面的实施例描述的特征也可以应用于该替换方法。本发明不限于所公开的实施例。在权利要求中，词语“包括”不排除其他要素或步骤，并且不定冠词一(“a”或“an”)不排除复数。单个处理器或其他单元可完成权利要求中所记载的若干项目的功能。在相互不同的从属权利要求中陈述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可被存储/分布在合适的介质(诸如，与其他硬件一起或作为其他硬件的一部分而被供应的光学存储介质或固态介质)上，但也能以其他形式(诸如，经由因特网或者其他有线或无线电信系统)来分布。权利要求中的任何附图标记不应被解释为限制范围。

Claims (15)

1.一种用于图像数据中的缺陷检测、分类和分割的计算机实现的训练方法，所述方法包括：
a)提供学习结构(101，102，105)的合集，每一学习结构包括适配成从输入图像生成特征图的特征提取器模块(101-1，102-1，105-1)、适配成基于所生成的特征图标识所述输入图像中的感兴趣区域的区域建议模块(101-2，102-2，105-2)、适配成检测所述输入图像中的所标识的感兴趣区域中的每一者中的缺陷并预测与所检测到的缺陷中的每一者相关联的缺陷分类和缺陷位置的检测模块(101-5，102-5，105-5)，以及适配成预测所述输入图像中的所标识的感兴趣区域中的每一者中的每一所检测和分类的缺陷的实例分割掩模的分割模块(101-4，102-4，105-4)，其中每一特征提取器模块包括卷积神经网络；
b)用来自图像数据集的训练图像集来单独训练所述合集中的每一学习结构，其中所述图像数据集中的图像包括关于其中包含的缺陷的地面真值分类标签和地面真值位置，并且所述训练图像的至少一个子集包括关于其中所包含的缺陷的地面真值实例分割标签；
c)用来自所述图像数据集的验证图像集来验证所述合集中的每一学习结构，以获得每一学习结构的预测得分，并选择学习结构的所述合集中的、预测得分超过预定阈值得分的学习结构；
d)使用参数化合集投票结构(110)来组合来自学习结构的合集的所选学习结构的预测，其中所述合集投票结构的参数是在所述验证图像集上被优化的。
2.根据权利要求1所述的方法，其特征在于，还包括针对缺乏地面真值实例分割标签的缺陷，用软像素分割标签来扩充所述训练图像集的图像的步骤，其中所述软像素分割标签对应于由学习结构的所述合集预测的实例分割掩模。
3.根据前述权利要求中的任一项所述的方法，其特征在于，所述合集投票结构被配置成针对关于所述缺陷分类的预测来执行加权平均投票。
4.根据权利要求3所述的方法，其特征在于，还包括通过搜索算法或提升算法来确定加权平均投票的权重参数的步骤。
5.根据前述权利要求中的任一项所述的方法，其特征在于，所述缺陷定位对应于所述缺陷的边界框，并且所述合集投票结构被配置成针对关于缺陷边界框的预测来执行加权框融合WBF。
6.根据前述权利要求中的任一项所述的方法，其特征在于，所述缺陷是抗蚀剂掩模的光刻缺陷，并且所述图像数据包括所述抗蚀剂掩模的扫描电子显微镜图像。
7.根据权利要求6所述的方法，其特征在于，缺陷包括如下列表中的至少一者：线路塌陷、单线桥、细线桥、多线桥。
8.根据前述权利要求中的任一项所述的方法，其特征在于，还包括对所述图像数据集中的图像进行去噪的步骤。
9.一种用于检测和分类图像数据中的缺陷的计算机实现的方法，包括以下步骤：
e)提供机器学习模型，所述机器学习模型包括根据前述权利要求中的任一项所述的方法来优化的合集投票结构和根据前述权利要求中的任一项所述的方法来训练和选择的学习结构合集；
f)用所提供的机器学习模型处理至少一个测试图像以获得关于所述至少一个检测图像中的缺陷定位、缺陷分类和缺陷实例分割掩模的预测。
10.根据权利要求9所述的方法，其特征在于，还包括在利用所提供的机器学习模型对所述至少一个测试图像进行处理之前对其进行去噪。
11.根据前述权利要求中的任一项所述的方法，其特征在于，还包括以下步骤中的至少一者：
-如果在步骤c)中没有选择学习结构合集中的学习结构，则通知用户；
-推荐用户提供更大的训练图像集和/或针对图像数据集的图像中包含的缺陷来改进地面真值分类标签、地面真值位置和地面真值实例分割标签中的至少一者，条件是预测得分高于预定阈值得分且低于预定目标得分；
--如果与所述学习结构合集中的至少一个学习结构相对应的预测得分小于所述预定阈值得分，则修改所述至少一个学习结构的特征提取器模块，并且用所述训练图像集用经修改的特征提取器模块重新训练所述至少一个学习结构。
12.根据权利要求9至11中的任一项所述的方法，其特征在于，步骤f)包括将所述至少一个测试图像从本地客户端单元上传到中央服务器单元，将存储在所述服务器单元上的所提供的机器学习模型应用于所上传的所述至少一个测试图像，并且至少将与所述至少一个测试图像中的缺陷定位、缺陷分类、缺陷实例分割掩模有关的预测从所述服务器单元发送返回到所述本地客户端单元。
13.一种用于检测和分类被测半导体器件的抗蚀剂掩模中的光刻缺陷的检查系统，所述检查系统包括成像装置和处理单元，所述成像装置优选地是扫描电子显微镜，所述处理单元被配置成从所述成像装置接收与所述被测半导体器件的抗蚀剂掩模有关的图像数据，其中所述处理单元被编程为执行权利要求1至11中的任一项所述的方法步骤。
14.一种数据处理设备，包括被配置成执行权利要求1至11中的任一项所述的方法步骤的处理器。
15.一种包括指令的计算机程序，当所述程序由计算机执行时，使得所述计算机执行如权利要求1至11中的任一项所述的步骤。
CN202310445952.3A 2022-04-22 2023-04-23 自动化缺陷分类和检测 Pending CN116935092A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22169598.4A EP4266246A1 (en) 2022-04-22 2022-04-22 Automated defect classification and detection
EP22169598.4 2022-04-22

Publications (1)

Publication Number Publication Date
CN116935092A true CN116935092A (zh) 2023-10-24

Family

ID=81579727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445952.3A Pending CN116935092A (zh) 2022-04-22 2023-04-23 自动化缺陷分类和检测

Country Status (3)

Country Link
US (1) US20230343078A1 (zh)
EP (1) EP4266246A1 (zh)
CN (1) CN116935092A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612047B (zh) * 2024-01-23 2024-04-12 国网湖北省电力有限公司信息通信公司 基于ai大模型的电网用无人机巡检图像识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607119B2 (en) 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
US10809635B2 (en) * 2017-11-20 2020-10-20 Taiwan Semiconductor Manufacturing Company, Ltd. Defect inspection method and defect inspection system

Also Published As

Publication number Publication date
US20230343078A1 (en) 2023-10-26
EP4266246A1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US20220067523A1 (en) Method of deep learining-based examination of a semiconductor specimen and system thereof
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
US10679333B2 (en) Defect detection, classification, and process window control using scanning electron microscope metrology
US11568531B2 (en) Method of deep learning-based examination of a semiconductor specimen and system thereof
JP2019124591A (ja) 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
US11686689B2 (en) Automatic optimization of an examination recipe
US11790515B2 (en) Detecting defects in semiconductor specimens using weak labeling
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
CN111382785A (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
Dey et al. Deep learning-based defect classification and detection in SEM images
CN114388380A (zh) 用于检测晶片上的缺陷的设备和方法
JP2023519517A (ja) 半導体試料の試験
CN116935092A (zh) 自动化缺陷分类和检测
KR102360769B1 (ko) 시편의 검사를 위한 알고리즘 모듈들의 자동 선택
KR20230069153A (ko) 웨이퍼 상의 반도체 구조에 대한 결함 검출
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
US12007335B2 (en) Automatic optimization of an examination recipe
WO2023112302A1 (ja) 教師データ作成支援装置、教師データ作成支援方法
CN117067112B (zh) 一种水切割机及其控制方法
Barnes et al. Addressing misclassification costs in machine learning through asymmetric loss functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication