CN114219749B - 样本的模拟图像的确定 - Google Patents

样本的模拟图像的确定 Download PDF

Info

Publication number
CN114219749B
CN114219749B CN202110897385.6A CN202110897385A CN114219749B CN 114219749 B CN114219749 B CN 114219749B CN 202110897385 A CN202110897385 A CN 202110897385A CN 114219749 B CN114219749 B CN 114219749B
Authority
CN
China
Prior art keywords
image
given
sample
design
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110897385.6A
Other languages
English (en)
Other versions
CN114219749A (zh
Inventor
I·皮莱格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Israel Ltd
Original Assignee
Applied Materials Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Israel Ltd filed Critical Applied Materials Israel Ltd
Publication of CN114219749A publication Critical patent/CN114219749A/zh
Application granted granted Critical
Publication of CN114219749B publication Critical patent/CN114219749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种检验半导体样本的系统，所述系统包括处理器和存储器电路系统，所述处理器和存储器电路系统被配置为：获得训练样品，所述训练样品包括半导体样本的图像和基于设计数据的设计图像；训练机器学习模块，其中所述训练包括最小化代表由所述机器学习模块基于给定设计图像来生成的模拟图像与对应于在根据给定位移矩阵校正给定图像的像素位置之后的所述给定图像的校正图像之间的差异的函数，其中所述最小化包括优化所述机器学习模块的和所述给定位移矩阵的参数，其中所训练的机器学习模块可用于基于样本的设计图像来生成所述样本的模拟图像。

Description

样本的模拟图像的确定
技术领域
本发明公开的主题总体涉及样本检验领域，并且更具体地涉及自动化样本的检验。
背景技术
当前对与所制造的器件的超大规模集成相关联的高密度和高性能的需求要求亚微米特征、提高的晶体管和电路速度以及提高的可靠性。这种需求要求形成具有高精确度和均匀性的器件特征，这又使得必需仔细地监测制造工艺，包括在器件仍呈半导体晶片的形式时对所述器件的自动化检验。
在半导体制造期间的各种阶段上使用检验工艺来检测样本上的缺陷并对其分类。可通过(多个)工艺的自动化(例如，自动化缺陷分类(ADC)、自动化缺陷查验(ADR)等)来提高检验效力。
发明内容
根据本发明公开的主题的某些方面，提供了一种检验半导体样本的系统，所述系统包括处理器和存储器电路系统(PMC)，所述处理器和存储器电路系统(PMC)被配置为：获得多个训练样品，每个训练样品包括半导体样本的图像和基于设计数据的设计图像；基于包括给定图像和给定设计图像的给定训练样品来训练机器学习模块，其中给定位移矩阵针对所述给定图像初始化，其中所述训练包括最小化代表在由所述机器学习模块基于所述给定设计图像来生成的模拟图像与对应于在根据所述给定位移矩阵校正所述给定图像的像素位置之后的所述给定图像的校正图像之间的差异的函数，其中所述最小化包括优化所述机器学习模块的和所述给定位移矩阵的参数，其中所述机器学习模块可用于在所述训练之后基于半导体样本的设计图像来生成所述半导体样本的模拟图像。
根据一些实施例，所述给定位移矩阵提供要应用于所述给定图像的像素的位移场的信息。
根据一些实施例，所述校正图像包括具有比所述给定图像的结构元素要小的过程变化的结构元素。
根据一些实施例，所述函数包括影响所述给定位移矩阵的参数的优化的平滑项。
根据一些实施例，所述模拟图像对应于所述图像中不存在缺陷的所述给定图像的估计或对应于具有较少缺陷的所述给定图像的估计。
根据一些实施例，所述系统被配置为将基于设计数据来生成的样本的设计图像在其训练之后馈送到所述机器学习模块，并且生成所述样本的模拟图像。
根据一些实施例，所述系统被配置为：获得半导体样本的第一图像和基于设计数据的第一设计图像，其中第一位移矩阵针对所述第一图像初始化；最小化代表在由所述机器学习模块基于所述第一设计图像来生成的模拟图像与对应于在根据所述第一位移矩阵校正所述第一图像的像素位置之后的所述第一图像的第一图像之间的差异的函数，其中所述最小化包括优化所述第一位移矩阵的参数；以及输出所述校正图像。
根据本发明公开的主题的其他方面，提供了一种检验半导体样本的方法，所述方法包括由处理器和存储器电路系统(PMC)进行以下操作：获得多个训练样品，每个训练样品包括半导体样本的图像和基于设计数据的设计图像；基于包括给定图像和给定设计图像的给定训练样品来训练机器学习模块，其中给定位移矩阵针对所述给定图像初始化，其中所述训练包括最小化代表在由所述机器学习模块基于所述给定设计图像来生成的模拟图像与对应于在根据所述给定位移矩阵校正所述给定图像的像素位置之后的所述给定图像的校正图像之间的差异的函数，其中所述最小化包括优化所述机器学习模块的和所述给定位移矩阵的参数，其中所述机器学习模块可用于在所述训练之后基于样本的设计图像来生成所述样本的模拟图像。
根据一些实施例，所述给定位移矩阵提供要应用于所述给定图像的像素的位移场的信息。
根据一些实施例，所述校正图像包括具有比所述给定图像的结构元素要小的过程变化的结构元素。
根据一些实施例，所述函数包括影响所述给定位移矩阵的参数的优化的平滑项。
根据一些实施例，所述模拟图像对应于所述给定图像中不存在缺陷的所述给定图像的估计或对应于具有较少缺陷的所述给定图像的估计。
根据一些实施例，所述方法包括将基于设计数据来生成的样本的设计图像在其训练之后馈送到所述机器学习模块，并且生成所述样本的模拟图像。
根据一些实施例，所述方法包括：获得半导体样本的第一图像和基于设计数据的第一设计图像，其中第一位移矩阵针对所述第一图像初始化；最小化代表在由所述机器学习模块基于所述第一设计图像来生成的模拟图像与对应于在根据所述第一位移矩阵校正所述第一图像的像素位置之后的所述第一图像的第一图像之间的差异的函数，其中所述最小化包括优化所述第一位移矩阵的参数；以及输出所述校正图像。
根据本发明公开的主题的其他方面，公开了一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括指令，所述指令在由PMC执行时致使所述PMC执行如上所述的操作。
根据一些实施例，所提出的解决方案允许基于在设计数据的基础上生成的半导体样本的设计图像来高效地且精确地生成半导体样本的模拟图像。特别地，模拟图像类似于样本的图像，但是没有(或具有更少的)噪声和/或缺陷。根据一些实施例，所提出的解决方案允许基于样本的图像来高效地生成校正图像，其中减少或消除了过程变化。
附图说明
为了理解本公开内容并了解在实践中可如何进行本公开内容，现在将参考附图仅通过非限制性示例来描述实施例，在附图中：
图1示出了根据本发明公开的主题的某些实施例的检验系统的一般化框图。
图2示出了训练机器学习模块以基于在设计数据的基础上的设计图像来生成模拟图像的方法的一般化流程图。
图2A示出了可用于训练机器学习模块的架构。
图2B示出了样本的图像的非限制性示例。
图2C示出了与图像相关联的位移矩阵的非限制性示例。
图2D示出了图2B的样本的设计图像的非限制性示例。
图2E示出了在根据位移矩阵校正图像之后获得的校正图像的非限制性示例。
图3示出了在检验阶段期间生成模拟图像的方法的一般化流程图。
图3A示出了可用于执行图3的方法的架构。
图3B示出了图3的方法的输入和输出之间的比较。
图4示出了验证机器学习模块的训练的方法的一般化流程图。
图5示出了基于图像和设计图像来生成校正图像的方法的一般化流程图。
图5A示出了可用于执行图5的方法的架构。
具体实施方式
在以下详细描述中，阐述了许多具体细节，以便提供对本公开内容的透彻理解。然而，本领域技术人员将理解，本发明公开的主题可在没有这些具体细节的情况下实践。在其他情况下，并未详细地描述所熟知的方法、程序、部件和电路，以免模糊本发明公开的主题。
除非另外具体说明，否则如从以下讨论中清楚，将了解，贯穿本说明书讨论，利用术语诸如“训练”、“获得”、“最小化”、“确定”、“优化”、“输出”、“生成”等是指计算机的将数据操纵和/或变换为其他数据的(多个)动作和/或(多个)处理，所述数据被表示为物理(诸如电子)量和/或所述数据表示物理对象。术语“计算机”应广义地解释为涵盖具有数据处理能力的任何种类的基于硬件的电子装置，作为非限制性示例，包括本申请中公开的系统103及其相应部分。
本文使用的术语“非瞬态存储器”和“非瞬态存储介质”应广义地解释为涵盖适合本发明公开的主题的任何易失性或非易失性计算机存储器。
本说明书中使用的术语“样本”应广义地解释为涵盖用来制造半导体集成电路、磁头、平板显示器和其他半导体制品的任何种类的晶片、掩模和其他结构、以上项的组合和/或以上项的部分。
本说明书中使用的术语“检验”应广义地解释为涵盖任何种类的计量相关操作以及与在样本的制造期间所述样本中的缺陷的检测和/或分类有关的操作。检验通过在要检验的样本的制造期间或之后使用例如非破坏性检验工具提供。作为非限制性示例，检验过程可包括使用相同或不同检查工具进行运行时扫描(以单次扫描或以多次扫描)、采样、查验、测量、分类和/或关于样本或其部分提供的其他操作。同样地，检验可在要检验的样本的制造之前提供并可包括例如生成(多个)检验方案和/或其他设置操作。要注意，除非另外具体说明，否则本说明书中使用的术语“检验”或其衍生词在检查区域的分辨率或大小方面不受限制。作为非限制性示例，多种非破坏性检验工具包括扫描电子显微镜、原子力显微镜、光学检查工具等等。
作为非限制性示例，运行时检验可采用两阶段过程，例如，先是检查样本，接着查验潜在缺陷的采样位置。在第一阶段期间，以高速度和相对低的分辨率检查样本的表面。在第一阶段中，产生缺陷图，以示出在样本上高概率有缺陷的可疑位置。在第二阶段期间，以相对高的分辨率更彻底地分析所述可疑位置中的至少一些。在一些情况下，两个阶段可由同一检查工具实施，并且在一些其他情况下，这两个阶段由不同检查工具实施。
本说明书中使用的术语“缺陷”应广义地解释为涵盖在样本上或样本内所形成的任何种类的异常或不期望的特征。
本说明书中使用的术语“设计数据”应广义地解释为涵盖指示样本的分层物理设计(布局)的任何数据。设计数据可由相应设计者提供和/或可从物理设计导出(例如，通过复杂模拟、简单几何和布尔运算等)。设计数据可以以不同格式提供，作为非限制性示例，诸如GDSII格式、OASIS格式等。设计数据可以以矢量格式、灰度强度图像格式或以其他方式来呈现。
将了解，除非另外具体说明，否则在单独实施例的上下文中描述的本发明公开的主题的某些特征也可在单一实施例中被组合地提供。相反地，在单一实施例的上下文中所述的本发明公开的主题的各种特征也可单独地提供或以任何合适的子组合提供。在以下详细描述中，阐述了许多具体细节，以便提供对方法和设备的透彻理解。
考虑到这一点，转向图1，其示出了根据本发明公开的主题的某些实施例的检验系统的功能框图。图1中示出的检验系统100可用于作为样本制造过程的一部分进行的(例如，晶片和/或其部分的)样本的检验。所示出的检验系统100包括基于计算机的系统103，所述基于计算机的系统能够使用在样本制造期间获得的图像来自动地确定计量相关和/或缺陷相关信息。系统103可操作地连接到一个或多个低分辨率检验工具101和/或一个或多个高分辨率检验工具102和/或其他检验工具。检验工具被配置为捕获图像和/或查验所捕获的(多个)图像和/或实现或提供与所捕获的(多个)图像有关的测量。系统103可进一步可操作地连接到CAD服务器110和数据存储库109。
系统103包括可操作地连接到基于硬件的输入接口105和基于硬件的输出接口106的处理器和存储器电路(PMC)104。PMC 104被配置为提供操作系统103所需的所有处理，如下文进一步详述(参见图3至图5中描述的可至少部分地由系统103执行的方法)并且包括处理器(未单独地示出)和存储器(未单独地示出)。PMC 104的处理器可被配置为根据实现在PMC中包括的非瞬态计算机可读存储器上的计算机可读指令来执行若干功能模块。此类功能模块在下文被称为包括在PMC中。PMC 104中包括的功能模块包括深度神经网络(DNN)112。DNN 112被配置为使用用于基于样本的图像来输出应用相关数据的机器学习算法来实现数据处理。
作为非限制性示例，可根据卷积神经网络(CNN)架构、循环神经网络架构、递归神经网络架构、生成性对抗网络(GAN)架构或其他架构来组织DNN 112的层。任选地，层中的至少一些可被组织在多个DNN子网中。DNN的每个层可包括多个基本计算元素(CE)，在本领域中，所述多个基本CE典型地称为维度、神经元或节点。
一般来讲，给定层的计算元素可与前一层和/或后一层的CE连接。在前一层的CE与后一层的CE之间的每个连接与加权值相关联。给定CE可经由相应连接从前一层的CE接收输入，每个给定连接与可应用于给定连接的输入的加权值相关联。加权值可确定连接的相对强度并由此确定相应输入对给定CE的输出的相对影响。给定CE可被配置为计算激活值(例如，输入的加权和)并通过将激活函数应用于所计算的激活来进一步导出输出。激活函数可为例如恒等函数、确定性函数(例如，线性、S形、阈值等)、随机函数或其他合适的函数。来自给定CE的输出可经由相应连接传输到后一层的CE。同样地，如上所述，在CE的输出处的每个连接可与可在被接收作为后一层的CE的输入之前被应用于CE的输出的加权值相关联。除加权值外，还可存在与连接和CE相关联的阈值(包括限制函数)。
可在训练之前初始地选择DNN 112的加权值和/或阈值，并且可在训练期间进一步迭代地调整或修改所述加权值和/或阈值，以在所训练的DNN中实现最佳加权值和/或阈值集。在每次迭代之后，可确定在由DNN 112产生的实际输出和与相应数据训练集相关联的目标输出之间的差值(也称损失函数)。所述差值可称为误差值。当指示误差值的成本或损失函数小于预确定值时，或者当实现在迭代之间的性能的有限改变时，可确定训练已经完成。任选地，在训练整个DNN之前，可单独地训练DNN子网(如果有的话)中的至少一些。
系统103被配置为经由输入接口105接收输入数据。输入数据可包括由检验工具产生的数据(和/或其衍生物和/或与其相关联的元数据)和/或产生和/或存储在一个或多个数据存储库109和/或CAD服务器110和/或另一个相关数据存储库中的数据。要注意，输入数据可包括图像(例如，所捕获的图像、从所捕获的图像导出的图像、模拟图像、合成图像等)和相关联的数值数据(例如，元数据、手工定制的属性等)。要进一步注意，图像数据可包括与感兴趣层和/或与样本的一个或多个其他层有关的数据。
系统103进一步被配置为处理接收到的输入数据的至少部分，并经由输出接口106将结果(或其一部分)发送到存储系统107、(多个)检查工具、基于计算机的图形用户界面(GUI)108来呈现结果和/或将结果呈现到外部系统(例如，FAB的产量管理系统(YMS))。GUI108可进一步被配置为实现与操作系统103有关的用户指定的输入。
作为非限制性示例，可通过一个或多个低分辨率检验机器101(例如，光学检查系统、低分辨率SEM等)来检验样本。提供样本的低分辨率图像的信息的结果数据(下文称为低分辨率图像数据121)可直接地或经由一个或多个中间系统传输到系统103。替代地或附加地，可通过高分辨率机器102检验样本(例如，可通过扫描电子显微镜(SEM)或原子力显微镜(AFM)查验被选择用于进行查验的潜在缺陷位置子集)。提供样本的高分辨率图像的信息的结果数据(下文称为高分辨率图像数据122)可直接地或经由一个或多个中间系统传输到系统103。
要注意，可以以不同分辨率捕获在样本上的所期望的位置的图像。通过非限制性示例，期望位置的所谓的“缺陷图像”可用于区分缺陷和误报，而期望位置的所谓的“类图像”以更高的分辨率获得并可用于缺陷分类。在一些实施例中，相同位置的图像(具有相同或不同分辨率)可包括在其之间配准的若干图像(例如，从给定位置捕获的图像和与给定位置相对应的一个或多个设计图像)。
要注意，图像数据可连同与其相关联的元数据(例如，像素大小、缺陷类型的文本描述、图像捕获过程的参数等)一起被接收和处理。
在处理输入数据(例如，低分辨率图像数据和/或高分辨率图像数据，任选地连同其他数据，例如设计数据、合成数据等)后，系统103可将结果(例如，指令相关数据123和/或124)发送到(多个)检验工具中的任一者，将结果(例如，缺陷属性、缺陷分类等)存储在存储系统107中，经由GUI 108呈现结果，和/或将结果发送到外部系统(例如，发送到YMS)。
本领域技术人员将容易地理解，本发明公开的主题的教导不受图1中示出的系统束缚；等同和/或修改的功能性可以以另一种方式合并或划分并可实现在软件与固件和/或硬件的任何适当的组合中。
在不以任何方式限制本公开内容的范围的情况下，还应注意，检验工具可被实施为各种类型的检查机器，诸如光学成像机器、电子束检查机器等。在一些情况下，同一检验工具可提供低分辨率图像数据和高分辨率图像数据。在一些情况下，至少一个检验工具可具有计量能力。
要注意，图1中示出的检验系统可在分布式计算环境中实施，其中图1中示出的前述功能模块可跨若干本地和/或远程装置分布，并且可通过通信网络来进行链接。要进一步注意，在其他实施例中，检验工具101和/或102、数据存储库109、存储系统107和/或GUI108中的至少一些可在检验系统100外部并以经由输入接口105和输出接口106与系统103进行数据通信的方式操作。系统103可实施为(多个)独立计算机，以结合检验工具进行使用。替代地，所述系统的相应功能可至少部分地与一个或多个检验工具集成。
现在注意图2和图2A。
所提出的方法包括获得(操作200)多个训练样品。训练样品包括半导体样本的图像280。如图2B的非限制性示例所示，图像280包括多个第一结构元素281。结构元素包括(所提供的示例不是限制性的)栅极、晶体管、触点或这些元素的部分。结构元素的性质和/或形状在图像中可不同。
根据一些实施例，图像280已经通过电子束检查工具(参见例如以上附图标记102)(诸如扫描电子显微镜(SEM)或原子力显微镜(AFM))获取。根据其他实施例，图像280已经通过光学检查工具被采集(参见例如以上附图标记101)。然而，这不是限制性的。
位移矩阵285针对图像280初始化(换句话说，设定具有初始参数的位移矩阵285，如下文所说明，然后在训练过程期间优化这些初始参数)。在基于训练样品的训练开始之前，位移矩阵285可包括例如任意值(其可以是例如预定义的和/或可由操作员设定的)。例如，位移矩阵285可对应于零矩阵。然而，这不是限制性的。如下文所说明，位移矩阵285可用于减少或消除图像280的结构元素281中存在的过程变化。过程变化对应于例如在制造集成电路时晶体管的属性(例如长度、宽度、氧化物厚度)的自然地发生的变化。位移矩阵285包括例如存储多个位移场的矩阵。每个给定位移场与图像280的给定像素或给定像素组相关联，并且提供要应用于给定像素或给定像素组的位移(在例如图像280的二维参照中)的信息。每个位移场可包括例如指示根据水平轴线(X轴)施加的位移的第一值(290)和指示根据竖直轴线(Y轴)施加的位移的第二值(291)。在图2C的示例中，位移矩阵的大小为N*N并且包括第一值2901,1至290N,N和第二值2911,1至291N,N。在一些实施例中，位移矩阵285可被视为描述两个图像(在这种情况下是校正图像294和模拟图像292)之间的光流的光流矩阵。
训练样品进一步包括基于设计数据生成的样本的至少一个设计图像286。例如，可使用CAD数据(例如，通过光栅化CAD数据)来模拟设计图像286。图2D中提供了设计图像286的非限制性示例。设计图像286包括第二结构元素287。设计图像286是例如样本(例如，管芯、单元等)的参考区域的图像，其中相应的图像数据被验证为代表没有缺陷的参考区域。
图像280能与设计图像286比较(例如，管芯到数据库等)并且提供半导体样本的第一区域的信息。图像280可提供与第一区域相关联的多个缺陷的信息。第一区域被配置为满足关于参考区域的相似性标准并且可属于相同或不同的半导体样本。例如，相似性标准可定义例如第一区域和参考区域对应于相同的物理部件或对应于半导体样本的类似的区(例如，类似的管芯、单元等)。
需注意，为了确保图像之间的兼容性，图像280(或已经从中生成图像280的图像)和设计图像286可经历配准程序。
所述方法还包括(操作205)训练机器学习模块212。机器学习模块212可对应于例如DNN模块112。
对于多个训练样品中的包括给定图像280(给定位移矩阵285针对给定图像280初始化)和给定设计图像286的给定训练样品，训练可包括最小化代表在由机器学习模块212基于给定设计图像286生成的模拟图像292与对应于在根据给定位移矩阵285校正给定图像280的像素位置之后的给定图像280的校正图像294之间的差异的函数295。
最小化函数包括优化机器学习模块和给定位移矩阵的参数。这个函数可被视为损失函数。必须注意，最小化损失函数f等同于最大化损失函数f的倒数1/f。
换句话说，对于给定训练样品，一旦最小化过程已经收敛，机器学习模块的一个或多个参数和给定训练样品的给定位移矩阵的一个或多个参数就被优化(对于每个参数，这可包括调整参数的先前值，或者，如果此参数没有先前值，则这可包括确定此参数的值)。最小化过程可以是渐进的，直到例如满足收敛标准(例如，损失函数具有足够低的值)为止。
如上文所说明，机器学习模块212的参数可包括例如DNN 112的加权和/或阈值。关于给定位移矩阵，参数可包括位移场(参见例如(2901,1；2911,1)至(290N,N；291N,N))中的一个或多个。
优化机器学习模块(和位移矩阵)的参数可依赖于诸如前馈/反向传播方法等技术并且可依赖于任何优化器(例如，随机梯度下降-SGD、ADAM等—这不是限制性的)。
各种不同函数可用作损失函数295(交叉熵、均方误差、合页(hinge)损失等)。下文提供非限制性示例。根据一些实施例，损失函数295包括以下项：
方程1中，LF是损失函数295，P292(X,Y)对应于与在模拟图像292中的位置X,Y处的像素相关联的值，P294(X,Y)对应于与在校正图像294中的位置X,Y处的像素相关联的值，并且f对应于预确定函数(其可包括例如对数函数“log”、平均函数等)。
可以使用其他方程，如下所示：
然而，损失函数的这些示例不是限制性的。
根据一些实施例，可在损失函数295中并入平滑项。平滑项影响在训练阶段中的位移矩阵285的参数的优化。根据一些实施例，平滑项确保DNN 112表征物理现象(具有“平滑”行为)并且不会过度拟合图像中存在的噪声。在一些实施例中，平滑项可类似于存在于两个图像之间的光流校正中的平滑项。
根据一些实施例，可在损失函数295中使用以下平滑项L平滑(所述项不是限制性的并且可使用其他项)：
如上文所说明，位于图像280中的位置(x,y)处的每个给定像素与位移场(U(x,y)；V(x,y))相关联，其中U对应于根据水平轴线(X轴)的像素位移并且V对应于根据竖直轴线(Y轴)的像素位移。
图2E示出了与在根据给定位移矩阵285校正给定图像280的像素位置之后的给定图像280对应的校正图像294(给定位移矩阵285的最终参数在使用损失函数295完成优化过程之后获得)。如图所示，校正图像294的特殊之处在于结构元素的轮廓更平滑，具有较小过程变化(过程变化特别地导致结构元素的轮廓的不规则性)。这可通过比较例如校正图像294的线289和图像280的对应线281来看出。因此，将位移矩阵285应用于图像280使校正图像294中的过程变化减少。然而，校正图像294仍包括图像280中存在的其他结构缺陷(参见例如缺陷298)。
如图2所示，可针对另一个训练样品重复训练(参见操作206)，所述另一个训练样品也包括给定图像和给定设计图像。给定位移矩阵(包括例如要优化的初始值)针对给定图像初始化。
在训练过程的每次迭代时，可调整机器学习模块212的一个或多个参数(对于所有训练样品是共同的)。此外，在每次迭代时，都会生成位移矩阵(其特定于每个训练样品)的参数。最后，在训练过程的每次迭代时，都会针对给定训练样品获得校正图像和模拟图像。模拟图像看起来类似于图像，但是没有随机伪像(噪声/缺陷)。
现在注意图3和图3A。
假定已经使用例如上述各种训练方法获得经训练的机器学习模块312。机器学习模块312对应于例如在基于一个或多个训练样品执行机器学习模块212的训练之后的机器学习模块212。
在预测阶段期间(例如，在样本的运行时检验期间)，方法可包括获得(操作300)样本的基于设计数据生成的设计图像386。设计图像386可与不同于在训练阶段中已经获得其设计图像285和图像286的样本不同的样本相关联。换句话说，机器学习模块312不一定用在与用于其训练的样本相同的样本上。
基于设计图像386，期望生成样本的模拟图像392。
所述方法包括将设计图像386馈送(操作305)到经训练的机器学习模块312，机器学习模块312进而输出(操作310)模拟图像392。模拟图像392类似于样本的图像(如果已经使用检验工具101或102获得样本的图像，则将已经获得所述图像)，但是其中噪声和/或缺陷已经减少或消除(例如，噪声、缺陷、过程变化、颜色变化、带电或任何其他随机伪像等)。换句话说，对于给定样本，可使用机器学习模块312基于给定样本的设计图像(例如CAD图像)来预测给定样本的没有随机伪像的图像。
模拟图像392可用于各种目的，诸如(但不限于)CAD到SEM配准(SEM图像与源自CAD数据的图像(在这种情况下为模拟图像392)之间的对准)、基于CAD的分割(基于CAD图像(在这种情况下为模拟图像392)将SEM图像分割/划分为同质区域)和基于CAD的检测(也称为单图像检测，在这种情况下所述单图像检测包括使用模拟图像392作为检测的参考)。
图3B示出了在检验时给定样本的设计图像386和模拟图像392之间的比较。
根据一些实施例，一旦已经训练机器学习模块，就可执行经训练的机器学习模块的验证方法，如参考图4所述。根据一些实施例，验证过程包括基于设计数据(参见例如设计图像286、386)和样本的真实图像(例如样本的真实SEM图像)获得(操作400)样本的设计图像。所述方法进一步包括将设计图像馈送(操作405)到经训练的机器学习模块。经训练的机器学习模块输出模拟图像(操作410)。然后将模拟图像与图像比较(操作415)以验证模拟图像类似于图像但没有(或至少具有更少的)噪声和/或缺陷。这种比较可手动(例如由操作员)和/或通过计算机化方法(例如允许图像的比较的图像处理方法)进行。比较指示经训练的机器学习模块是否已经被充分地训练或应当进行进一步训练(例如使用附加的训练样品)。
现在注意图5和图5A。
图5和图5A的方法可例如在样本的检验阶段(运行时)期间执行。
方法包括获得(操作500)半导体样本的图像580(类似于图像280)和样本的基于设计数据生成的设计图像586(类似于设计图像286)。位移矩阵585(类似于位移矩阵285)针对图像580初始化。
假定机器学习模块512是可用的(类似于机器学习模块212)并且已经至少部分地基于一个或多个训练样品来进行了训练，如上文所说明。
所述方法包括最小化(操作505)代表由机器学习模块512基于设计图像586生成的模拟图像592与对应于在根据位移矩阵585校正图像580的像素位置之后的图像580的校正图像594之间的差异的函数(损失函数)，其中最小化包括生成位移矩阵585的参数。
所述函数(称为595)可类似于上述函数295。尽管最小化过程类似于操作205，但是在此方法中，当函数595被最小化时，机器学习模块512的参数没有被优化，并且仅位移矩阵585的参数被优化。如上文所说明，在操作205处，当最小化损失函数295时，机器学习模块212的参数和位移矩阵285的参数都被优化。
一旦损失函数595已经被最小化并且位移矩阵585的参数已被优化，则获得校正图像594(对应于根据包括优化参数的位移矩阵585校正的图像580)。
所述方法包括输出(操作510)校正图像594。如上文所说明，校正图像594的特殊之处在于，图像中存在的结构元素的轮廓更平滑，其中过程变化较小(过程变化特别低导致结构元素的轮廓的不规则性)。
校正图像594可与模拟图像592一起用于各种目的，诸如(但不限于)CAD到SEM配准(模拟图像592和校正图像594之间的配准)、基于CAD的分割(基于模拟图像592分割修正图像594)和基于CAD的检测(基于用作参考的模拟图像592来检测校正图像594中的缺陷)。由于校正图像594包括比原始图像580少的过程变化，因此它可比原始图像580更灵敏地用于这些应用中。
将理解，本发明的应用不限于本文中包含的描述中阐述的或附图中示出的细节。
还将理解，根据本发明的系统可至少部分地实现在合适地编程的计算机上。同样地，本发明设想了可由计算机读取来执行本发明的方法的计算机程序。本发明进一步设想了有形地体现可由计算机执行来执行本发明的方法的指令程序的非瞬态计算机可读存储器。
本发明能够具有其他实施例并能够以各种方式实践或进行。因此，将理解，本文使用的措辞和术语是出于描述目的并且不应视为限制性的。因此，本领域技术人员将了解，本公开内容所基于的概念可容易地用作设计用于进行本发明公开的主题的若干目的的其他结构、方法和系统的基础。
本领域技术人员将容易地了解，在不脱离本发明的在所附权利要求书中并由所附权利要求书定义的范围的情况下，可对如上所述的本发明的实施例应用各种修改和改变。

Claims (15)

1.一种检验半导体样本的系统，所述系统包括处理器和存储器电路系统，所述处理器和存储器电路系统被配置为：
获得多个训练样品，每个训练样品包括：
半导体样本的图像，以及
基于设计数据的设计图像，以及
基于包括给定图像和给定设计图像的给定训练样品来训练机器学习模块，其中给定位移矩阵针对所述给定图像初始化，
其中所述训练包括最小化代表在以下项之间的差异的函数：
由所述机器学习模块基于所述给定设计图像来生成的模拟图像，以及
与在根据所述给定位移矩阵校正所述给定图像的像素位置之后的所述给定图像相对应的校正图像，
其中所述最小化包括优化所述机器学习模块的和所述给定位移矩阵的参数，并且其中所述机器学习模块能用于在所述训练之后基于半导体样本的设计图像来生成所述半导体样本的模拟图像。
2.如权利要求1所述的系统，其中所述给定位移矩阵提供要应用于所述给定图像的像素的位移场的信息。
3.如权利要求1所述的系统，其中所述校正图像包括具有比所述给定图像的结构元素小的过程变化的结构元素。
4.如权利要求1所述的系统，其中所述函数包括影响所述给定位移矩阵的参数的优化的平滑项。
5.如权利要求1所述的系统，其中所述模拟图像对应于所述给定图像中不存在缺陷的所述给定图像的估计或对应于具有较少缺陷的所述给定图像的估计。
6.如权利要求1所述的系统，所述处理器和存储器电路系统进一步被配置为：
将基于设计数据来生成的样本的设计图像在其训练之后馈送到所述机器学习模块，以及
生成所述样本的模拟图像。
7.如权利要求1所述的系统，所述处理器和存储器电路系统进一步被配置为：
获得半导体样本的第一图像和基于设计数据的第一设计图像，其中第一位移矩阵针对所述第一图像初始化，
最小化代表在以下项之间的差异的函数：
由所述机器学习模块基于所述第一设计图像来生成的模拟图像，以及
与在根据所述第一位移矩阵校正所述第一图像的像素位置之后的所述第一图像相对应的校正图像，
其中所述最小化包括优化所述第一位移矩阵的参数，以及
输出所述校正图像。
8.一种检验半导体样本的方法，所述方法包括由处理器和存储器电路系统进行：
获得多个训练样品，每个训练样品包括：
半导体样本的图像，以及
基于设计数据的设计图像，以及
基于包括给定图像和给定设计图像的给定训练样品来训练机器学习模块，其中给定位移矩阵针对所述给定图像初始化，
其中所述训练包括最小化代表在以下项之间的差异的函数：
由所述机器学习模块基于所述给定设计图像来生成的模拟图像，以及
与在根据所述给定位移矩阵校正所述给定图像的像素位置之后的所述给定图像相对应的校正图像，
其中所述最小化包括优化所述机器学习模块的和所述给定位移矩阵的参数，并且其中所述机器学习模块能用于在所述训练之后基于样本的设计图像来生成所述样本的模拟图像。
9.如权利要求8所述的方法，其中所述给定位移矩阵提供要应用于所述给定图像的像素的位移场的信息。
10.如权利要求8所述的方法，其中所述校正图像包括具有比所述给定图像的结构元素小的过程变化的结构元素。
11.如权利要求8所述的方法，其中所述函数包括影响所述给定位移矩阵的参数的优化的平滑项。
12.如权利要求8所述的方法，其中所述模拟图像对应于所述给定图像中不存在缺陷的所述给定图像的估计或对应于具有较少缺陷的所述给定图像的估计。
13.如权利要求8所述的方法，进一步包括：
将基于设计数据来生成的样本的设计图像在其训练之后馈送到所述机器学习模块，以及
生成所述样本的模拟图像。
14.如权利要求8所述的方法，进一步包括：
获得半导体样本的第一图像和基于设计数据的第一设计图像，其中第一位移矩阵针对所述第一图像初始化，
最小化代表在以下项之间的差异的函数：
由所述机器学习模块基于所述第一设计图像来生成的模拟图像，以及
与在根据所述第一位移矩阵校正所述第一图像的像素位置之后的所述第一图像相对应的校正图像，
其中所述最小化包括优化所述第一位移矩阵的参数，以及
输出所述校正图像。
15.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括指令，所述指令在由处理器和存储器电路系统执行时使所述处理器和存储器电路系统执行包括以下的操作：
获得多个训练样品，每个训练样品包括：
半导体样本的图像，以及
基于设计数据的设计图像，以及
基于包括给定图像和给定设计图像的给定训练样品来训练机器学习模块，其中给定位移矩阵针对所述给定图像初始化，
其中所述训练包括最小化代表在以下项之间的差异的函数：
由所述机器学习模块基于所述给定设计图像来生成的模拟图像，以及
与在根据所述给定位移矩阵校正所述给定图像的像素位置之后的所述给定图像相对应的校正图像，
其中所述最小化包括优化所述机器学习模块的参数和所述给定位移矩阵的参数，并且
其中所述机器学习模块能用于在所述训练之后基于样本的设计图像来生成所述样本的模拟图像。
CN202110897385.6A 2020-09-03 2021-08-05 样本的模拟图像的确定 Active CN114219749B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/011,949 US11562476B2 (en) 2020-09-03 2020-09-03 Determination of a simulated image of a specimen
US17/011,949 2020-09-03

Publications (2)

Publication Number Publication Date
CN114219749A CN114219749A (zh) 2022-03-22
CN114219749B true CN114219749B (zh) 2024-04-16

Family

ID=80356829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897385.6A Active CN114219749B (zh) 2020-09-03 2021-08-05 样本的模拟图像的确定

Country Status (4)

Country Link
US (2) US11562476B2 (zh)
KR (1) KR20220030897A (zh)
CN (1) CN114219749B (zh)
TW (1) TW202228068A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988613B2 (en) * 2022-02-14 2024-05-21 Applied Materials Israel Ltd. Care area based defect detection
US20230420278A1 (en) * 2022-06-24 2023-12-28 Kla Corporation Image Modeling-Assisted Contour Extraction
TWI816500B (zh) * 2022-08-03 2023-09-21 和碩聯合科技股份有限公司 應用於模型再訓練之圖片選取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610193A (zh) * 2016-06-23 2018-01-19 西门子保健有限责任公司 使用深度生成式机器学习模型的图像校正
CN108475351A (zh) * 2015-12-31 2018-08-31 科磊股份有限公司 用于半导体应用的基于机器学习的模型的加速训练

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
KR20200123858A (ko) * 2018-03-21 2020-10-30 케이엘에이 코포레이션 합성 이미지를 사용한 머신 러닝 모델 트레이닝
US10699447B2 (en) * 2018-09-13 2020-06-30 Nvidia Corporation Multi-level image reconstruction using one or more neural networks
US11232612B2 (en) * 2019-03-15 2022-01-25 University Of Florida Research Foundation, Incorporated Highly accurate and efficient forward and back projection methods for computed tomography
US11386539B2 (en) * 2019-05-29 2022-07-12 Applied Materials Israel Ltd. Detecting defects in a semiconductor specimen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475351A (zh) * 2015-12-31 2018-08-31 科磊股份有限公司 用于半导体应用的基于机器学习的模型的加速训练
CN107610193A (zh) * 2016-06-23 2018-01-19 西门子保健有限责任公司 使用深度生成式机器学习模型的图像校正

Also Published As

Publication number Publication date
TW202228068A (zh) 2022-07-16
US11562476B2 (en) 2023-01-24
US20220067918A1 (en) 2022-03-03
CN114219749A (zh) 2022-03-22
US20230096362A1 (en) 2023-03-30
KR20220030897A (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
US11199506B2 (en) Generating a training set usable for examination of a semiconductor specimen
KR102176335B1 (ko) 반도체 시편의 시험을 위해 사용 가능한 훈련 세트를 생성하는 방법 및 그 시스템
CN114219749B (zh) 样本的模拟图像的确定
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
JP7169393B2 (ja) 半導体試料の検査に使用可能な訓練セットの生成
US20220210525A1 (en) Prediction of electrical properties of a semiconductor specimen
US11423529B2 (en) Determination of defect location for examination of a specimen
US11645831B2 (en) Identification of an array in a semiconductor specimen
US11854184B2 (en) Determination of defects and/or edge roughness in a specimen based on a reference image
US11631179B2 (en) Segmentation of an image of a semiconductor specimen
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant