CN109389572A - 用于生成物体的区域的合成图像的方法和系统 - Google Patents

用于生成物体的区域的合成图像的方法和系统 Download PDF

Info

Publication number
CN109389572A
CN109389572A CN201810892555.XA CN201810892555A CN109389572A CN 109389572 A CN109389572 A CN 109389572A CN 201810892555 A CN201810892555 A CN 201810892555A CN 109389572 A CN109389572 A CN 109389572A
Authority
CN
China
Prior art keywords
charged particle
particle microscope
composograph
atom
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810892555.XA
Other languages
English (en)
Other versions
CN109389572B (zh
Inventor
泽夫·佐哈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of CN109389572A publication Critical patent/CN109389572A/zh
Application granted granted Critical
Publication of CN109389572B publication Critical patent/CN109389572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/24495—Signal processing, e.g. mixing of two or more signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2802—Transmission microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一种用于生成物体的区域的合成图像的方法，包括：由带电粒子显微镜生成所述物体的所述区域的带电粒子显微镜图像；计算所述带电粒子显微镜图像的稀疏表示；其中所述带电粒子显微镜图像的所述稀疏表示包括多个第一原子；生成所述区域的所述合成图像，其中所述区域的所述合成图像由多个第二原子形成；其中基于所述多个第一原子与所述多个第二原子之间的映射而生成所述区域的所述合成图像；其中所述带电粒子显微镜图像和所述多个第一原子具有第一分辨率；并且其中所述区域的所述合成图像和所述多个第二原子具有第二分辨率，所述第二分辨率比所述第一分辨率精细。

Description

用于生成物体的区域的合成图像的方法和系统
相关申请的交叉引用
本申请要求享有于2017年8月7日递交的美国临时专利申请第62/541,887号的权益，通过引用将上述专利申请的全部内容并入于此。
背景技术
除非本文另有说明，否则本部分中描述的内容不是本申请权利要求的现有技术，并且不因包含在本部分中而被认为是现有技术。
扫描电子显微镜(SEM)是用于物体的高分辨率多功能检验分析工具。高分辨率包括亚纳米级分辨率。SEM可在两种基本模式中操作：低分辨率(LR)模式和高分辨率(HR)模式。由于与LR模式相比，HR模式表现出长的获取时间并且提供较小的视场，因此HR模式被认为是费用大的。另一方面，因为对于更快更高效节能的微芯片的不断增长的需求使行业朝向更小的结构转变，因此HR模式在芯片检查工业中是有利的。这种转变也将当前的SEM技术推向了它的极限。
SEM分辨率和获取时间已经成为不断需要改进的主要因素。因此，对于快速扫描大区域同时实现高分辨率有很大关注。因此，需要提供打破SEM固有的物理扫描分辨率与输出图像的分辨率之间的直接联系的方法。
发明内容
提供用于生成物体的区域的合成图像的装置和方法。
根据各方面，提供一种用于生成物体的区域的合成图像的方法。在一些方面中，所述方法可包括：由带电粒子显微镜生成物体的区域的带电粒子显微镜图像；计算带电粒子显微镜图像的稀疏表示，带电粒子显微镜图像的稀疏表示可包括多个第一原子(atom)；和生成区域的合成图像。区域的合成图像可由多个第二原子形成。可基于多个第一原子与多个第二原子之间的映射而生成区域的合成图像。带电粒子显微镜图像和多个第一原子可具有第一分辨率。区域的合成图像和多个第二原子可具有第二分辨率。第二分辨率可比第一分辨率更精细。
在生成带电粒子显微镜图像之前可执行字典学习过程，所述字典学习过程用于生成至少一个字典，所述至少一个字典可包括多个第一原子和多个第二原子。执行字典学习过程可包括获取参考物体的第一分辨率带电粒子显微镜图像和获取参考物体的第二分辨率带电粒子显微镜图像。
在生成带电粒子显微镜图像之前可接收至少一个字典，所述至少一个字典可包括多个第一原子和多个第二原子。在生成带电粒子显微镜图像之前可执行字典学习过程，所述字典学习过程用于生成至少一个字典，所述至少一个字典可包括多个第一原子和多个第二原子。多个第一原子和多个第二原子可与带电粒子显微镜的多个视角(perspective)有关。
执行字典学习过程可包括计算第一原子与第二原子之间的映射，第一原子和第二原子可与不同的视角有关。带电粒子显微镜图像可与带电粒子显微镜的某个视角有关。可基于与带电粒子显微镜的另一视角有关的至少一个第一原子计算带电粒子显微镜图像的稀疏表示。带电粒子显微镜图像可与带电粒子显微镜的某个视角有关。可基于可与多个视角中的至少两个视角有关的第一原子计算带电粒子显微镜图像的稀疏表示。带电粒子显微镜图像可与带电粒子显微镜的某个视角有关。合成图像可与另一视角有关。
在生成带电粒子显微镜图像之前可接收一个或多个字典，所述一个或多个字典可与带电粒子显微镜的多个视角有关。带电粒子显微镜图像可包括多个带电粒子显微镜小片(patch)。计算带电粒子显微镜图像的稀疏表示可包括计算多个带电粒子显微镜小片的稀疏表示。生成合成图像可包括生成多个合成图像小片。
所述方法可包括计算多个合成图像小片的每个合成图像小片的置信属性。多个合成图像小片的给定的合成图像小片的置信属性可与可包括在给定的合成图像小片中的若干不同的第二原子相关联。
所述方法可包括基于形成合成图像的元素的若干不同的第二原子而检测区域中的可疑缺陷。物体的区域可以是物体的边缘区域。
根据各方面，提供一种用于缺陷检测的方法。在一些方面中，所述方法可包括：由带电粒子显微镜生成物体的区域的带电粒子显微镜图像；计算带电粒子显微镜图像的稀疏表示，带电粒子显微镜图像的稀疏表示可包括多个第一原子；和基于形成带电粒子显微镜图像的稀疏表示的元素的若干不同的第一原子，评估区域中可疑缺陷的存在。
根据各方面，提供存储指令的计算机程序产品。在一些方面中，计算机程序可包括指令，一旦由带电粒子显微镜执行所述指令，就会引起带电粒子显微镜：生成物体的区域的带电粒子显微镜图像；计算带电粒子显微镜图像的稀疏表示，带电粒子显微镜图像的稀疏表示可包括多个第一原子；和生成区域的合成图像，区域的合成图像可由多个第二原子形成。可基于多个第一原子与多个第二原子之间的映射而生成区域的合成图像。带电粒子显微镜图像和多个第一原子可具有第一分辨率。区域的合成图像和多个第二原子可具有第二分辨率，第二分辨率可比第一分辨率精细。
根据各方面，提供一种带电粒子显微镜。在一些方面中，带电粒子显微镜可包括：带电粒子光学器件；至少一个带电粒子检测器；和处理器。带电粒子光学器件和至少一个带电粒子检测器可被构造为生成物体的区域的带电粒子显微镜图像。处理器可被构造为：计算带电粒子显微镜图像的稀疏表示，带电粒子显微镜图像的稀疏表示可包括多个第一原子；和生成区域的合成图像，区域的合成图像可由多个第二原子形成。可基于多个第一原子与多个第二原子之间的映射而生成区域的合成图像。带电粒子显微镜图像和多个第一原子可具有第一分辨率。区域的合成图像和多个第二原子可具有第二分辨率，第二分辨率可比第一分辨率精细。
通过各种实施方式实现与传统技术相比的许多益处。例如，各种实施方式提供可用于规避传统SEM技术的基本限制的方法和系统。在一些实施方式中，可在以LR模式操作SEM时生成高品质的合成HR图像。稀疏编码和字典学习可被用于增强LR图像同时减少噪声。可将使用快速扫描获得的LR图像的分辨率增强至使用慢速扫描获得的HR图像的水平。在一些实施方式中，用于基于物体的SEM图像的稀疏表示检测物体的区域中的缺陷的一种系统、一种方法和一种计算机程序产品。结合下文和附图更详细地描述这些和其他实施方式连同它们的许多优点和特征。
附图说明
各种实施方式的方面和特征将通过参考附图描述示例而更加清楚，其中：
图1是绘示根据本公开内容的各方面的带电粒子显微镜和关联的图像和字典的第一实施方式的方框图；
图2是绘示根据本公开内容的各方面的字典的方框图，在所述字典中彼此映射的各第一原子和第二原子是连结的；
图3是绘示根据本公开内容的各方面的带电粒子显微镜和关联的图像和字典的第二实施方式的方框图；
图4绘示根据本公开内容的各方面的各种LR、HR和合成图像；
图5是根据本公开内容的各方面的与图4的假想横截面的灰度级分布有关的各种图表；
图6绘示根据本公开内容的各方面的从不同视角采集的不同SEM图像；
图7是绘示根据本公开内容的各方面的用于保真度测试的算法结果的图；
图8是绘示根据本公开内容的各方面的被分为八十一个图像小片的LR图像的示意图；
图9绘示根据本公开内容的各方面的带电粒子显微镜图像、合成图像和置信水平图的示例图像；
图10是根据本公开内容的各方面的用于生成物体的区域的合成图像的方法的流程图；和
图11是根据本公开内容的各方面的用于识别物体的区域中的可疑缺陷的方法1100的流程图。
具体实施方式
虽然描述某些实施方式，但是这些实施方式仅是以示例的方式呈现而不意欲限制保护范围。本文描述的装置、方法和系统可以多种其他形式实施。此外，可在不脱离保护范围的情况下，做出本文描述的示例方法和系统的形式中的各种省略、替换和改变。
下文包括涉及SEM的各种示例。本领域普通技术人员将理解，SEM是带电粒子显微镜的非限制性示例。带电粒子可以是电子或离子。带电粒子显微镜的其他非限制性示例包括透射电子显微镜(TEM)、离子显微镜和扫描透射电子显微镜(STEM)。
此外，下文包括涉及高分辨率和低分辨率的各种示例。本领域普通技术人员将理解，高分辨率和低分辨率是彼此不同的分辨率的非限制性示例。
根据本公开内容的各方面，提供系统、方法和计算机程序产品，用于在以LR模式操作SEM时生成合成HR图像，从而提供HR模式的高品质和LR模式的速度的益处。此外，根据本公开内容的各方面，提供系统、方法和计算机程序产品，用于基于SEM图像的稀疏表示来检测区域中的缺陷。
图1是示出根据本公开内容的各方面的带电粒子显微镜100和关联的图像和字典的第一实施方式的方框图。如图1所示，带电粒子显微镜100可包括带电粒子光学器件单元110。带电粒子光学器件单元110可包括透镜内检测器120。透镜内检测器120可位于带电粒子光学器件单元110内。透镜内检测器120是带电粒子显微镜100的检测器的示例。带电粒子显微镜100可包括其他检测器，例如但不限于透镜外检测器，透镜外检测器可位于带电粒子光学器件单元110外部。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，可使用其他透镜内检测器和透镜外检测器。
带电粒子显微镜100可利用带电粒子束112扫描物体115的区域116，带电粒子束112由带电粒子光学器件单元110产生。物体115的区域116可具有任何形状和/或尺寸，并且可包括物体115的任何部分。物体115可以是例如但不限于半导体晶片、半导体器件裸片、光刻掩模等等。透镜内检测器120可检测从物体115的区域116发射的带电粒子122。
当带电粒子显微镜100以HR模式操作时，视场可以是例如3微米乘3微米或另一尺寸，并且每个视场可包括480个像素乘480个像素或另一数量的像素。在HR模式中每个像素的尺寸可以是例如约6.25纳米乘6.25纳米或另一尺寸。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，可使用其他尺寸的视场，可使用非矩形形状的视场，可使用其他尺寸的像素，并且可使用非矩形形状的像素。
当带电粒子显微镜100以LR模式操作时，视场可以是例如10微米乘10微米或另一尺寸，并且每个视场可包括例如480个像素乘480个像素或另一数量的像素。在LR模式中每个像素的尺寸可以是例如约20.833纳米乘20.833纳米或另一尺寸。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，可使用其他尺寸的视场，可使用非矩形形状的视场，可使用其他尺寸的像素，并且可使用非矩形形状的像素。
带电粒子显微镜100可包括处理器130。或者，处理器130可以不是带电粒子显微镜100的部分。例如，处理器130可以是计算机化系统的部分，计算机化系统控制带电粒子显微镜100且/或对从带电粒子显微镜100输出的信息进行分析。输出的信息可包括由带电粒子显微镜100产生的图像。
处理器130可以是硬件处理器并且可包括例如但不限于一个或多个处理芯片、一个或多个芯片上系统、一个或多个硬件加速器、一个或多个处理卡等等。
带电粒子显微镜100可包括一个或多个存储器单元150。或者，一个或多个存储器单元150可以不是带电粒子显微镜100的部分。例如，一个或多个存储器单元150可以是计算机化系统的部分，计算机化系统控制带电粒子显微镜100且/或对从带电粒子显微镜100输出的信息进行分析。输出的信息可包括由带电粒子显微镜100产生的图像。
合成图像的生成可包括使用一个或多个字典，使用字典学习过程生成一个或多个字典。字典学习过程可包括建造字典，共有相同的或相似的结构特征的信号族稀疏地表示在字典上。可获得训练测量组，包括SEM图像的LR和HR小片。可从先前测量的物体的图像获得训练测量组。在一些实施方式中，先前测量的图像可以是经处理的图像、增强的图像、组合图像、模拟图像和/或类似物。训练组允许已知的字典学习算法来构建包含基本建造块的字典，基本建造块组成信号族。
SEM图像的SEM稀疏表示可由原子形成。原子可以是一个或多个字典的建造块。原子可包括SEM图像的小片。重构稀疏表示的元素的不同原子的数量可以指示可疑的缺陷。再次参考图1，一个或多个存储器单元150可存储以下字典和图像：
第一字典160。第一字典160可包括多个第一原子162(1)-162(k)，其中k是大于二的正整数。多个第一原子162(1)-162(k)可具有第一分辨率。第一分辨率可以是LR，使得每个第一原子可以是SEM图像的LR小片。
第二字典170。第二字典170可包括多个第二原子172(1)-172(k)。多个第二原子172(1)-172(k)可具有第二分辨率。第二分辨率可以是HR，使得每个第二原子可以是SEM图像的HR小片。因此，第二分辨率可比第一分辨率更精细。
映射180。映射180可将各第一原子162(1)-162(k)映射至对应的第二原子172(1)-172(k)。可从物体115的同一的区域116获得对应的原子。本领域普通技术人员将理解，映射可以是显式的或隐式的。隐式映射可由第一原子和第二原子在字典内的布置来表示。
带电粒子显微镜图像185。带电粒子显微镜图像185可以是通过由带电粒子显微镜100照射区域116而获取的物体115的区域116的图像。
带电粒子显微镜图像185的稀疏表示190。稀疏表示190可由表示带电粒子显微镜图像185的第一原子162(1)-162(k)形成。
合成图像195。合成图像195可以是稀疏表示190的第二分辨率表示。第二分辨率可高于第一分辨率，并且可以是与HR小片相同的分辨率。合成图像195可通过将稀疏表示190的第一原子162(1)-162(k)映射至对应的第二原子172(1)-172(k)而计算。对应的第二原子可以是可通过映射180映射至形成稀疏表示190的第一原子162(1)-162(k)的第二原子172(1)-172(k)。
参考图1，一个或多个存储器单元150可存储第一字典160、第二字典170和原子之间的映射180。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，第一字典、第二字典和原子之间的映射可合并为单个字典。映射180可由原子在字典内的位置来表示。例如，以连结的方式存储第一原子和第二原子可指示第一原子和第二原子映射至彼此。
图2是示出根据本公开内容的各方面的字典210的方框图，在字典210中映射至彼此的各第一原子162(1)-162(k)和各对应的第二原子172(1)-172(k)是连结的。例如，第一原子162(1)和第二原子172(1)可映射至彼此并且可以是连结的。作为另一示例，第一原子162(k)和第二原子172(k)可映射至彼此并且可以是连结的。映射至彼此的第一原子和第二原子可以反应第一原子与第二原子之间的映射的任何预定方式布置。
图3是示出根据本公开内容的各方面的带电粒子显微镜300和关联的图像和字典的第二实施方式的方框图。如图3所示，带电粒子显微镜300可包括带电粒子光学器件单元310、第一视角检测器320、第二视角检测器330和第三视角检测器340。第一视角检测器320可以是透镜内检测器，可检测第一视角带电粒子(CP)322。第二视角检测器330可以是透镜外检测器，可检测第二视角CP 332。第三视角检测器340可以是透镜外检测器，可检测第三视角CP 342。各视角可对应于例如样本的不同观察角、带电粒子显微镜300的不同检测器和类似物。
本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，不同视角检测器的数量可以是两个或可超过三个。此外，不同视角检测器可以是例如透镜内检测器、透镜外检测器等等的检测器的任何组合。
带电粒子显微镜300可利用带电粒子束112扫描物体115的区域116，带电粒子束112可由带电粒子光学器件单元310产生。区域116可具有任何形状和/或尺寸，并且可包括物体115的任何部分。物体115可以是例如但不限于半导体晶片、半导体器件裸片等等。三个不同的检测器可从不同视角收集可从物体115的区域116发射的带电粒子322、332、342。
带电粒子显微镜300可包括处理器330。或者，处理器330可以不是带电粒子显微镜300的部分。例如，处理器330可以是计算机化系统的部分，计算机化系统控制带电粒子显微镜300且/或对从带电粒子显微镜300输出的信息进行分析。输出的信息可包括由带电粒子显微镜300产生的图像。
处理器330可以是硬件处理器并且可包括例如但不限于一个或多个处理芯片、一个或多个芯片上系统、一个或多个硬件加速器、一个或多个处理卡等等。
带电粒子显微镜300可包括一个或多个存储器单元350。或者，一个或多个存储器单元350可以不是带电粒子显微镜300的部分。例如，一个或多个存储器单元350可以是计算机化系统的部分，计算机化系统控制带电粒子显微镜300且/或对从带电粒子显微镜300输出的信息进行分析。输出的信息可包括由带电粒子显微镜300产生的图像。
再次参考图3，一个或多个存储器单元350可存储以下字典和图像：
与第一视角360有关的第一字典。与第一视角360有关的第一字典可包括多个(k个)原子360(1)-360(k)。多个原子360(1)-360(k)可具有第一分辨率。
与第二视角362有关的第一字典。与第二视角362有关的第一字典可包括多个(k个)原子362(1)-362(k)。多个原子362(1)-362(k)可具有第一分辨率。
与第三视角364有关的第一字典。与第三视角364有关的第一字典可包括多个(k个)原子364(1)-364(k)。多个原子364(1)-364(k)可具有第一分辨率。
与第一视角370有关的第二字典。与第一视角370有关的第二字典可包括多个(k个)原子370(1)-370(k)。多个原子370(1)-370(k)可具有第一分辨率。
与第二视角372有关的第二字典。与第二视角372有关的第二字典可包括多个(k个)原子372(1)-372(k)。多个原子372(1)-372(k)可具有第一分辨率。
与第三视角374有关的第二字典。与第三视角374有关的第二字典可包括多个(k个)原子374(1)-374(k)。多个原子374(1)-374(k)可具有第一分辨率。
映射380。映射380可将原子映射至其他对应的原子。例如，对于范围在1与k之间的每个k值，原子360(k)可映射至原子362(k)、364(k)、370(k)、372(k)和374(k)中的至少一些。
第一带电粒子显微镜图像385(1)。第一带电粒子显微镜图像385(1)可以是区域116的图像(例如来自第一视角)，可通过由带电粒子显微镜300扫描物体115的区域116而获取所述图像。
第二带电粒子显微镜图像385(2)。第二带电粒子显微镜图像385(2)可以是物体115的区域116的图像(例如来自第二视角)，可通过由带电粒子显微镜300扫描区域116而获取所述图像。
第三带电粒子显微镜图像385(3)。第三带电粒子显微镜图像385(3)可以是物体115的区域116的图像(例如来自第三视角)，通过由带电粒子显微镜300扫描区域116而获取所述图像。
带电粒子显微镜图像385(1)的第一稀疏表示390(1)。第一稀疏表示390(1)可由与第一视角360有关的第一字典的一个或多个原子形成。
带电粒子显微镜图像385(2)的第二稀疏表示390(2)。第二稀疏表示390(2)可由与第二视角362有关的第一字典的一个或多个原子形成。
带电粒子显微镜图像385(3)的第三稀疏表示390(3)。第三稀疏表示390(3)可由与第三视角364有关的第一字典的一个或多个原子形成。
第一合成图像395(1)。第一合成图像395(1)可以是稀疏表示390(1)的第二分辨率表示。第一合成图像395(1)可通过将第一稀疏表示390(1)的原子映射至多个(k个)原子370(1)-370(k)中的对应原子而完成。
第二合成图像395(2)。第二合成图像395(2)可以是第二稀疏表示390(2)的第二分辨率表示。第二合成图像73(2)可通过将稀疏表示390(2)的原子映射至多个(k个)原子372(1)-372(k)中的对应原子而完成。
第三合成图像395(3)。第三合成图像395(3)可以是第三稀疏表示390(3)的第二分辨率表示。第三合成图像73(3)可通过将稀疏表示390(3)的原子映射至多个(k个)原子374(1)-374(k)中的对应原子而完成。
本领域普通技术人员将理解，图3的映射380和各字典可合并为单个字典。映射380可由字典内的原子的位置表示。
图4图示根据本公开内容的各方面的各LR、HR和合成图像。参考图4：
图像401是与芯片的区域的第一视角有关的LR图像。所述区域可以是具有二十纳米的长度和宽度的矩形。
图像402是与芯片的区域的第二视角有关的LR图像。
图像403是与芯片的区域的第三视角有关的LR图像。
图像404是与芯片的子区域的第一视角有关的LR图像。所述子区域是具有五纳米的长度和宽度的矩形。
图像405是与芯片的子区域的第二视角有关的LR图像。LR图像405中的线415示出假想横截面。
图像406是与芯片的子区域的第三视角有关的LR图像。
图像407是与芯片的子区域的第一视角有关的HR图像。
图像408是与芯片的子区域的第二视角有关的HR图像。HR图像408中的线416示出假想横截面。
图像409是与芯片的子区域的第三视角有关的HR图像。
图像410是与芯片的子区域的第一视角有关的合成图像。
图像411是与芯片的子区域的第二视角有关的合成图像。合成图像411中的线417示出假想横截面。
图像412是与芯片的子区域的第三视角有关的合成图像。为了说明的简洁而示出芯片的子区域。
图5是根据本公开内容的各方面的与图4的假想横截面的灰度级分布有关的图表510和各曲线图。参考图5，图表510绘示曲线515、曲线516和曲线517，曲线515示出在图4中的LR图像405中沿着假想横截面线415的灰度级分布，曲线516示出在图4中的HR图像408中沿着假想横截面线416的灰度级分布，曲线517示出在图4中的合成图像411中沿着假想横截面线417的灰度级分布。如图表510所示，曲线516和517基本上彼此匹配。可通过使用在与不同视角有关的原子之间的映射而进一步处理曲线515，以更好地匹配曲线516和517。
分辨率相同但来自不同视角的字典映射之间的映射可减轻由高噪声引起的总误差。如图表510中可见，曲线517与曲线516非常相似，在移除由于HR图像中的噪声而出现的方差(variance)时保留所有特征。
除了准确重构HR图像之外，即使在与HR图像相比时，曲线517也展示出更低的噪声方差。更低的噪声方差可归因于以有效的方式基本地移除噪声的稀疏结构；因此相较于HR扫描，合成图像可包含较少的噪声。即使是假想横截面线415与假想横截面线416之间的较大差异也可以由假想横截面线417减轻。例如，曲线515中编号为一百二十五的像素附近的大峰不存在于曲线517中并且不存在于曲线516中，因此例证了本方法的有效性。因此，根据本公开内容的至少一个方法可以移除LR图像中出现的假信息，即使是在此信息包含的峰的值是HR图像中出现的真值的两倍时。
噪声移除可归因于来自不同视角的信息的利用。存在于LR图像的单个视角中的系统误差可通过考虑来自其他视角的有效信息而被移除。再次参考图5，曲线图520显示假想横截面线415的像素的灰度级的一维离散傅立叶变换522，并且还显示沿着假想横截面线415的像素的LR图像的截止频率(即最大空间频率)524。
曲线图525显示假想横截面线416的像素的灰度级的一维离散傅立叶变换527，并且还显示沿着假想横截面线416的像素的LR图像的截止频率529。曲线图530显示假想横截面线417的像素的灰度级的一维离散傅立叶变换532，并且还显示沿着假想横截面线417的像素的LR图像的截止频率534。曲线图525和曲线图530绘示出HR图像的光谱内容的大约百分之六十可被正确地推算出。
曲线图520、曲线图525和曲线图530表明存在于HR图像中的高频率可在合成图像中被如实地推算出来，这些高频率远远超出存在于LR光谱中的截止频率。这表明根据本公开内容的至少一种方法可推算出HR图像的光谱内容的大约百分之六十，从而有效地扩展LR图像的空间光谱至约2.5倍。
图5进一步绘示图像405的直方图535、图像408的直方图540和图像411的直方图545。直方图535、直方图540和直方图545示出SR图像的统计性质可被准确地重构。每个直方图的水平轴描绘图像中的像素的从黑到白的灰度值，同时竖直轴显示在每个强度单元(划分为512个灰度级单元)中的像素的数量。
LR图像405的直方图535和HR图像408的直方图540具有不同的统计性质。然而，从LR数据恢复出的合成图像411的直方图545几乎与HR图像的直方图540相同。增强的图像的统计性质实际上与HR参考物的统计性质一致，表明在LR字典与HR字典之间建立的连接可足够强以使用HR图像的LR对应物来额外地恢复HR图像的潜在统计信息。
图6绘示根据本公开内容的各方面的从各视角采集的各SEM图像。参考图6：
图像601是从第一视角采集的LR SEM图像。
图像602是从第二视角采集的LR SEM图像。
图像603是从第三视角采集的LR SEM图像。
图像604是从第一视角采集的HR SEM图像。
图像605是从第二视角采集的HR SEM图像。
图像606是从第三视角采集的HR SEM图像。
图像607是与第一视角有关的LR原子。
图像608是与第二视角有关的LR原子。
图像609是与第三视角有关的LR原子。
图像610是与第一视角有关的HR原子。
图像611是与第二视角有关的HR原子。
图像612是与第三视角有关的HR原子。
LR SEM图像601、LR SEM图像602、LR SEM图像603、HR SEM图像604、HR SEM图像605和HR SEM图像606可在字典学习过程中用于集合字典。LR原子607、LR原子608、LR原子609、HR原子610、HR原子611和HR原子612可映射至彼此。
图7是绘示根据本公开内容的各方面的用于保真度测试的算法的结果的图表700。在五个图像上训练HR字典和LR字典之后，生成和分析了不是训练组的部分的三十个不同图像的合成图像。在图7中，x轴列出从一到三十的图像编号，y轴指示三十个图像的每个图像的峰值信噪比(PSNR)。
PSNR表示合成图像与HR图像之间的比较的度量。HR图像被视为“基准事实(groundtruth)”，虽然HR图像包含一些固有的测量噪声。PSNR可通过方程1计算：
再次参考图7，绘示了以下曲线：
曲线710绘示与第一视角图像有关的三十个合成图像中的每一个的PSNR。
曲线720绘示与第二视角图像有关的三十个合成图像中的每一个的PSNR。
曲线730绘示与第三视角图像有关的三十个合成图像中的每一个的PSNR。
曲线740绘示与第一视角图像有关的三十个LR图像中的每一个的PSNR。
曲线750绘示与第二视角图像有关的三十个LR图像中的每一个的PSNR。
曲线760绘示与第三视角图像有关的三十个LR图像中的每一个的PSNR。
如图7中可见，在所有测试的图像和视角中，可一致地获得10-15dB的改善。PSNR度量是在图像处理中广泛使用的工具以用于测量重建算法的表现。考虑到参考HR图像也经受相当大的测量噪声，大约30dB的值被认为是高品质的重建。应注意，在训练过程和合成图像的生成中使用的任何图像都是通过SEM获取的图像。
图8是绘示根据本公开内容的各方面的被分为八十一个图像小片的LR图像810的图表800。本领域普通技术人员将理解，图8所示的八十一个图像小片仅仅是示例性的，并且可在不脱离本公开内容的范围的情况下，可使用更多或更少数量的图像小片。
参考图8，八十一个图像小片的左上图像小片可标为810(1,1)。八十一个图像小片的右上图像小片可标为810(1,9)。八十一个图像小片的左下图像小片可标为810(9,1)。八十一个图像小片的右下图像小片可标为810(9,9)。每个图像小片的尺寸可与原子的尺寸相等。
图8进一步绘示包括九个原子分段820(1)-820(9)的第一参考原子820、包括九个原子分段830(1)-830(9)的第二参考原子830和包括九个原子分段840(1)-840(9)的第三参考原子840。可通过用原子的组合表示每个图像小片来计算LR图像810的稀疏表示。
图9绘示根据本公开内容的各方面的带电粒子显微镜图像910、合成图像920和置信水平图930的示例图像900。参考图9，带电粒子显微镜图像910的区域915(以椭圆表示)示出两个缺陷结构元素。一个缺陷结构元素在缺陷结构元素的上小面具有过量的材料。另一缺陷结构元素在缺陷结构元素的右小面具有过量的材料。
合成图像920的区域925(以椭圆表示)示出两个缺陷结构元素的表示。置信水平图930的区域935(以椭圆表示)示出在对应于过量材料的位置的位置处置信水平下降。
在初始设计之后，可获得并组织用于字典的学习过程的训练数据。从微芯片中的严格同一区域获取的相对小的组的若干对低分辨率和高分辨率扫描图像可为足够的。可从LR和HR图像中同时选择合适尺寸的小片，接着将合适尺寸的小片提取并储存为训练组的部分。可从可获取的LR训练图像和HR训练图像随机地执行小片提取过程，接着测试提取的小片对的每一个，确保小片对包含来自真实微芯片图案的大量的信息。测试可避免包含大部分背景噪声的小片被包括进字典训练组中。
训练组可远大于字典中的原子的数量，例如，大约是字典中原子的数量的一百倍。通过采集包含比字典中显著更多的元素的大的训练组，可保证全面的学习阶段，其产生能够可信地描述任何可能的微芯片特征的稳健的字典。收集到的训练数据可接着插入至字典学习过程。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，训练组可大于或小于字典中的原子数量的一百倍。
字典学习过程的示例可以是K-SVD算法的修改版。然而，根据本公开内容的实施方式不限于此实现方式。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，任何字典学习过程都可适用于此任务。
字典学习过程可使用迭代计算方法以寻找下面方程2的非凸最小化问题的近似解：
限制于
其中
T是在其每一列中包含训练样本的常数矩阵，即训练组；
D′是变量字典，其中其每一列包含原子；
X′是变量稀疏矩阵，保持字典上描述T的表示系数；并且
零范数函数||·||0对函数参量中的非零元素的数量计数，因此限制||xj||0＜k0使得每个来自T的训练样本通过来自字典的不多于k0个原子
描述。
利用修改的K-SVD算法解方程2产生两个输出参量。第一输出参量可以是字典D，包含稀疏地表示训练组T的最好的原子，第二输出参量可以是稀疏表示X，使得T≈DX。方程2可通过扩展训练组和字典至低分辨率和高分辨率的连结对而适用，即解方程3：
限制于其中
下标h表示HR项；并且
下标l表示LR项。
训练组在方程3中用作关于字典学习过程的输入，包含连结的并且成对的LR和HR元素，因此确保训练的字典Dl和Dh完全同步并且成对。
图6中示出在每个字典内的原子之间建立的配对的示例和在训练组的创建中使用的图像对。字典之间的准确映射可使真实的合成图像重建成为可能。
一旦完成字典学习过程，可进行合成图像重建过程。合成图像重建过程可包括采集由SEM获取的新的LR图像(不是用于构建字典的训练组的部分)以及通过依靠已经在低分辨率样本与高分辨率样本之间建立的特征映射而增强LR图像的分辨率。成功完成的训练步骤确保跨微芯片的族的所有可能的组合都包含在压缩的字典内。现在字典可用于完成LR图像的曾在SEM获取过程期间丢失的高光谱内容。
合成图像重建过程可不需要除了在学习阶段构建的字典之外的先前信息。合成图像重建过程可通过采集LR图像和将它们插入HR网格中而开始，如图4中所见。虽然插入的LR图像位于与HR图像相同的网格上，但它们的光谱内容可具有由低分辨率与高分辨率之间的比率确定的固有的截止频率。
接着，插入的LR图像可被划分为子组(即参考小片)。每个LR视角可存储在矩阵中，其中n是每个图像小片中的像素数量，N是组成整个低分辨率图像的参考小片的总数量。在分解图像之后，方程4给出的最小化问题可被解决以在字典Dl上获得稀疏表示X*：
限制于
方程4的解可通过使用快速贪婪算法而获得，例如但不限于正交匹配追踪算法(OMP)的快速变体。OMP算法可针对来自LR图像的每个小片检测来自LR字典Dl内的最相关的原子。OMP算法接着使用那些选择的原子找到小片的最好表现。在此，通常可仅需要3-5个原子来可信地描述每个小片中包含的信息。
OMP算法本质上快速，因为OMP算法是贪婪算法。在每个步骤中，OMP算法将单个元素添加至X的每一列，所述单个元素是稀疏地描述给定的小片的单个最好原子。如果已经找到的原子的稀疏组合与原始小片之间的差异不满足预定的限度(取决于LR图像的噪声水平)，则可添加另一原子以使差异最小化。
结果，随着OMP算法的每次迭代，X的每一列中非零元素的数量逐渐地增加，直到实现所述限度或达到k0个非零项的极限。为了计算效率，所述方法可通过并行地解X的所有列而解方程4。
本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，可使用其他算法来由字典Dl获得稀疏表示X*。
存储于矩阵X*中的稀疏表示可包含扫描的样本的所有固有信息并且可允许固有信息在没有冗余噪声的情况下跨越较高分辨率。可通过将来自LR字典的基代至HR字典而获得微芯片中的区域的合成图像，如方程5所示：
方程5描述两矩阵相乘的简单代数步骤，由于两个字典尺寸小并且X*的每列仅有少数系数不同于零，因而方程5具有低的计算复杂度。在计算矩阵之后，包含在其中的小片可接合在一起以形成最终的SR图像。
LR、HR和SR图像的组的示例绘示于图4中。如图4所示，合成图像由于完善了遗失的光谱信息并且去除不想要的噪声而可更清晰清楚。增强SEM图像的分辨率的任务基本上是从低分辨率图像推算出未知的高频率，同时去除在SEM图像获取期间引入的许多噪声。
方程5中的公式考虑通过SEM在LR模式中获取的并且用于恢复合成图像的单个视角。当使用多个视角时，通过利用所有不同的视角是从扫描的样品的严格同一区域同时获取的事实可进一步改善所述方法。
将字典学习过程推广至多个视角时，字典学习过程可针对多个视角训练用于低分辨率和高分辨率的字典(例如三个视角，关于总共六个成对的字典)。本领域普通技术人员将理解，在不脱离本公开内容的范围的情况下，可采用更多或更少数量的视角和/或成对的字典。
为了产生成对的字典，可同时针对所有视角和分辨率提取成对的训练样本。可生成训练组Ti，其中
对于每个第i视角(i＝1，2，3，……)，
可针对所有视角从相同的对应区域提取训练样本，使得所有组匹配，因此产生成对的字典。当针对单个选择的视角(优选的是具有最小量的噪声的视角)使用如方程(3)所示的K-SVD算法时，可执行字典学习过程，以获得稀疏表示X0。可接着针对每一个i使用与对应的训练组相乘的相同稀疏表示X0通过摩尔-彭若斯广义逆(Moore-Penrose pseudoinverse)(如方程(6)中的所示)如方程(5)所示计算字典，：
通过计算方程6，可配对所有不同视角和分辨率的字典，如图6所示。稀疏追踪和重建的步骤也可被推广以考虑不同视角之间包含的互信息。通过修改方程(3)，可使用方程7获得跨不同视角的稀疏表示：
通过解方程8，每个第i视角的重建可基于结合的稀疏表示X*：
与不同视角关联的互信息可用于超越当前已知的SR技术进一步改善结果。
返回参考图4，在生成合成图像410、合成图像411和合成图像412之前，在字典学习过程期间，使用方程2描述的基于稀疏性的方法针对三个视角生成六个词典，即三个LR词典和三个HR词典。可由来自三个视角的五个SEM图像的训练组构建六个字典。用于训练阶段的图像不同于经处理以提供图4的合成图像的图像。
在完成字典学习过程之后，处理LR图像404、LR图像405和LR图像406以通过首先应用方程(3)然后应用方程(4)来提供合成图像410、合成图像411和合成图像412。
当将合成图像410、合成图像411和合成图像412与LR图像404、LR图像405和LR图像406进行比较时，轮廓和特征的整体清晰度得到改善，同时噪声显著减少。将合成图像410、合成图像411和合成图像412与HR图像407、HR图像408和HR图像409进行比较表明，可以针对所有三个视角准确重建细节和边缘。
图10是根据本公开内容的各方面的用于生成物体的区域的合成图像的方法1000的流程图。参考图10，在方框1010处，可生成一个或多个字典。可使用字典学习过程生成一个或多个字典。字典学习过程可包括生成包括多个第一原子、多个第二原子和多个第一原子与多个第二原子之间的映射的一个或多个字典。或者，可从另一来源接收一个或多个字典，例如但不限于存储在存储位置中的先前生成的字典。
在方框1020处，可生成物体的区域的带电粒子显微镜图像。带电粒子显微镜可生成物体的区域的带电粒子显微镜图像。生成带电粒子显微镜图像可包括用带电粒子束照射区域以及检测从区域发射的带电粒子。
在方框1030处，可生成带电粒子显微镜图像的稀疏表示。带电粒子显微镜图像的稀疏表示可包括多个第一原子。带电粒子显微镜图像和多个第一原子可具有第一分辨率。
在方框1040处，可生成物体的区域的合成图像。区域的合成图像可由多个第二原子形成。可基于多个第一原子与多个第二原子之间的映射而生成区域的合成图像。区域的合成图像和多个第二原子可具有第二分辨率。第二分辨率可比第一分辨率更精细。
所述方法可返回至方框1020以生成额外的合成图像。
根据本公开内容的各方面，一个或多个字典可时时更新。例如，更新可包括使用在方法1000的方框1020-1040的一次或多次重复期间获取的图像。
图11是根据本公开内容的各方面的用于识别物体的区域中的可疑缺陷的方法1100的流程图。参考图11，在方框1110处，可生成带电粒子显微镜图像。例如，带电粒子显微镜可生成物体的区域的带电粒子显微镜图像。生成带电粒子显微镜图像可包括用带电粒子束照射区域以及检测从区域发射的带电粒子。
在方框1120处，可生成带电粒子显微镜图像的稀疏表示。带电粒子显微镜图像的稀疏表示可包括第一分辨率的多个第一原子。
在方框1130处，可评估可疑缺陷的存在。例如，基于形成带电粒子显微镜图像的稀疏表示的元素的一些不同的第一原子，可评估区域中可疑缺陷的存在。评估可包括计算稀疏表示的每个元素的不同的第一原子的数量。稀疏表示的元素可意指稀疏表示的像素的任何组合。
上述任何方法也可以在计算机程序中实现，所述计算机程序用于在计算机系统上运行，至少包括代码部分，所述代码部分在可编程装置(诸如计算机系统)上运行时用于执行根据各实施方式的方法的操作，或者使可编程装置能够执行根据本发明的装置或系统的功能。计算机程序可使存储系统将磁盘驱动器分配至磁盘驱动器组。
计算机程序可以是诸如特定应用程序和/或操作系统的指令列表。计算机程序可例如包括以下中的一个或多个：子例程、函数、过程、对象方法、对象实现、可执行应用程序、小应用程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计为用于在计算机系统上执行的其他指令序列。
计算机程序可内部存储在计算机程序产品上。可在永久地、可移除地或远程地耦接到信息处理系统的计算机可读介质上提供所有或一些计算机程序。计算机可读介质可包括，例如但不限于，以下项中的任意数量的项：磁存储介质，包括磁盘和磁带存储介质；光存储介质，诸如光盘介质(例如CD-ROM、CD-R等)和数字视频盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，诸如FLASH存储器、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲器或高速缓存、主存储器、RAM等。计算机处理通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息、和操作系统使用的用以管理处理的执行的资源。操作系统(OS)是管理计算机资源共享的软件，并为程序员提供用于访问这些资源的接口。操作系统处理系统数据和用户输入，并且通过分配和管理作为对用户的服务以及系统程序的任务和内部系统资源来进行响应。计算机系统可例如包括至少一个处理单元、相关存储器和多个输入/输出(I/O)装置。当执行计算机程序时，计算机系统可根据计算机程序处理信息并通过I/O装置产生所得的输出信息。
在前述说明中，已经参考实施方式的特定示例描述了各个方面。然而，显而易见的是，在不脱离所附权利要求中阐述的本公开内容的更广泛的精神和范围的情况下，可在其中进行各种修改和改变。
此外，说明书和权利要求书中的术语“前”，“后”，“顶部”，“底部”，“上”，“下”等(如果有的话)用于描述的目的而不是必须用于描述永久相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，使得本文描述的各种实施方式例如能够以不同于本文所示或另外描述的取向的其他取向操作。
本领域技术人员将认识到，逻辑块之间的边界仅仅是说明性的，并且替代实施方式可以合并逻辑块或电路元件，或者对各种逻辑块或电路元件施加功能的替代分解。因此，应当理解，本文描述的架构仅仅是示例性的，并且实际上可以实施实现相同功能的许多其他架构。
实现相同功能的部件的任意布置有效地“关联”，使得实现期望的功能。因此，本文中被组合以实现特定功能的任意两个部件可以被视为彼此“关联”，使得实现期望的功能，而不管架构或中间部件。同样地，如此关联的任意两个部件也可以被视为彼此“可操作地连接”或“可操作地耦接”以实现期望的功能。
此外，本领域技术人员将认识到，上述操作之间的界限仅仅是说明性的。多个操作可以组合成单个操作，单个操作可以分布在附加操作中，并且可以在时间上至少部分重叠地执行操作。此外，替代实施方式可以包括特定操作的多个实例，并且可以在各其他实施方式中改变操作的顺序。
此外作为示例，在一个实施方式中，所示示例可以实现为位于单个集成电路上或在相同装置内的电路。或者，示例可以实现为以合适的方式彼此互连的任何数量的单独的集成电路或单独的装置。
此外作为示例，示例或示例的部分可实现为物理电路的软或代码表示，或者可实现为可转换为物理电路的逻辑表示，诸如任何适当类型的硬件描述语言。
此外，本发明不限于以非可编程硬件实现的物理装置或单元，而是还可以应用于能够通过根据合适的程序代码操作来执行所需装置功能的可编程装置或单元，诸如主机、小型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理和其他嵌入式系统和各种其他无线装置，在本申请中通常表示为“计算机系统”。
然而，其他修改、变化和替代也是可能的。因此，说明书和附图应被视为说明性的而非限制性的。
在权利要求中，括号内的任何参考符号不应解释为限制权利要求。“包括”一词不排除存在除权利要求中列出的元件或操作之外的其他元件或操作。此外，本文使用的术语“某个”被定义为一个或多于一个。此外，在权利要求中使用诸如“至少一个”和“一个或多个”的引入性短语不应被解释为暗示由不定冠词“某个”引入另一个权利要求元素将包含这样引入的权利要求元素的任何特定权利要求限制为仅包含一个这样的元素的实施方式，即使是当相同的权利要求包括引入的短语“一个或多个”或“至少一个”和诸如“某个”的不定冠词时。使用定冠词也是如此。除非另有说明，否则诸如“第一”和“第二”的术语用于任意区分这些术语所描述的元素。因此，这些术语不一定旨在表示这些元素的时间或其他优先级。某些措施记载在相互不同的权利要求中的事实并不表示这些措施的组合不能有利地使用。
虽然本文已经说明和描述了各实施方式的某些特征，但是本领域普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入本发明的真正精神内的所有这些修改和变化。

Claims (18)

1.一种用于生成物体的区域的合成图像的方法，所述方法包括：
由带电粒子显微镜生成所述物体的所述区域的带电粒子显微镜图像；
计算所述带电粒子显微镜图像的稀疏表示；其中所述带电粒子显微镜图像的所述稀疏表示包括多个第一原子；
生成所述区域的所述合成图像，其中所述区域的所述合成图像由多个第二原子形成；
其中基于所述多个第一原子与所述多个第二原子之间的映射而生成所述区域的所述合成图像；
其中所述带电粒子显微镜图像和所述多个第一原子具有第一分辨率；以及
其中所述区域的所述合成图像和所述多个第二原子具有第二分辨率，所述第二分辨率比所述第一分辨率精细。
2.如权利要求1所述的方法，其中生成所述带电粒子显微镜图像之前，执行用于生成至少一个字典的字典学习过程，所述至少一个字典包括所述多个第一原子和所述多个第二原子。
3.如权利要求2所述的方法，其中执行所述字典学习过程包括获取参考物体的第一分辨率带电粒子显微镜图像和获取所述参考物体的第二分辨率带电粒子显微镜图像。
4.如权利要求1所述的方法，其中生成所述带电粒子显微镜图像之前，接收至少一个字典，所述至少一个字典包括所述多个第一原子和所述多个第二原子。
5.如权利要求1所述的方法，其中生成所述带电粒子显微镜图像之前，执行用于生成至少一个字典的字典学习过程，所述至少一个字典包括多个第一原子和多个第二原子，所述多个第一原子与所述带电粒子显微镜的多个视角有关，所述多个第二原子与所述带电粒子显微镜的所述多个视角有关。
6.如权利要求5所述的方法，其中执行所述字典学习过程包括计算与不同视角有关的第一原子与第二原子之间的映射。
7.如权利要求5所述的方法，其中所述带电粒子显微镜图像与所述带电粒子显微镜的某个视角有关，并且其中基于与所述带电粒子显微镜的另一视角有关的至少一个第一原子计算所述带电粒子显微镜图像的所述稀疏表示。
8.如权利要求5所述的方法，其中所述带电粒子显微镜图像与所述带电粒子显微镜的某个视角有关，并且其中基于与所述多个视角中的至少两个视角有关的第一原子计算所述带电粒子显微镜图像的所述稀疏表示。
9.如权利要求5所述的方法，其中所述带电粒子显微镜图像与所述带电粒子显微镜的某个视角有关，并且其中所述合成图像与另一视角有关。
10.如权利要求1所述的方法，其中生成所述带电粒子显微镜图像之间，接收与所述带电粒子显微镜的多个视角有关的一个或多个字典。
11.如权利要求1所述的方法，其中所述带电粒子显微镜图像包括多个带电粒子显微镜小片；
其中计算所述带电粒子显微镜图像的所述稀疏表示包括计算所述多个带电粒子显微镜小片的稀疏表示；以及
其中生成所述合成图像包括生成多个合成图像小片。
12.如权利要求11所述的方法，包括计算所述多个合成图像小片的每个合成图像小片的置信属性。
13.如权利要求12所述的方法，其中所述多个合成图像小片的给定合成图像小片的置信属性关联于多个不同的第二原子，所述多个不同的第二原子包括在所述给定合成图像小片中。
14.如权利要求1所述的方法，包括基于形成所述合成图像的元素的多个不同的第二原子检测所述区域中的可疑缺陷。
15.如权利要求1所述的方法，其中所述物体的所述区域是所述物体的边缘区域。
16.一种用于缺陷检测的方法，所述方法包括：
由带电粒子显微镜生成物体的区域的带电粒子显微镜图像；
计算所述带电粒子显微镜图像的稀疏表示；其中所述带电粒子显微镜图像的所述稀疏表示包括多个第一原子；和
基于形成所述带电粒子显微镜图像的所述稀疏表示的元素的多个不同的第一原子，评估所述区域中的可疑缺陷的存在。
17.一种存储指令的计算机程序产品，一旦由带电粒子显微镜执行所述指令，就会引起所述带电粒子显微镜：
生成物体的区域的带电粒子显微镜图像；
计算所述带电粒子显微镜图像的稀疏表示；其中所述带电粒子显微镜图像的所述稀疏表示包括多个第一原子；和
生成所述区域的合成图像，其中所述区域的所述合成图像由多个第二原子形成；
其中基于所述多个第一原子与所述多个第二原子之间的映射而生成所述区域的所述合成图像；
其中所述带电粒子显微镜图像和所述多个第一原子具有第一分辨率；并且
其中所述区域的所述合成图像和所述多个第二原子具有第二分辨率，所述第二分辨率比所述第一分辨率精细。
18.一种带电粒子显微镜，包括：
带电粒子光学器件；
至少一个带电粒子检测器；和
处理器；
其中所述带电粒子光学器件和所述至少一个带电粒子检测器被构造为生成物体的区域的带电粒子显微镜图像；
其中所述处理器被构造为：
计算所述带电粒子显微镜图像的稀疏表示；其中所述带电粒子显微镜图像的所述稀疏表示包括多个第一原子；和
生成所述区域的所述合成图像，其中所述区域的所述合成图像由多个第二原子形成；
其中基于所述多个第一原子与所述多个第二原子之间的映射而生成所述区域的所述合成图像；
其中所述带电粒子显微镜图像和所述多个第一原子具有第一分辨率；
并且
其中所述区域的所述合成图像和所述多个第二原子具有第二分辨率，所述第二分辨率比所述第一分辨率精细。
CN201810892555.XA 2017-08-07 2018-08-07 用于生成物体的区域的合成图像的方法和系统 Active CN109389572B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762541887P 2017-08-07 2017-08-07
US62/541,887 2017-08-07

Publications (2)

Publication Number Publication Date
CN109389572A true CN109389572A (zh) 2019-02-26
CN109389572B CN109389572B (zh) 2021-03-30

Family

ID=65229904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810892555.XA Active CN109389572B (zh) 2017-08-07 2018-08-07 用于生成物体的区域的合成图像的方法和系统

Country Status (2)

Country Link
US (1) US10504692B2 (zh)
CN (1) CN109389572B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311886A1 (en) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Method for determining an image recording aberration
JP7351812B2 (ja) 2020-07-27 2023-09-27 株式会社日立製作所 荷電粒子線装置および帯電評価方法
GB202211086D0 (en) * 2022-07-29 2022-09-14 Univ Liverpool Method and apparatus
WO2024068203A1 (en) 2022-09-28 2024-04-04 Carl Zeiss Smt Gmbh Computer implemented method for defect detection in an imaging dataset of a wafer, corresponding computer-readable medium, computer program product and systems making use of such methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126217A (zh) * 2012-03-01 2014-10-29 株式会社日立高新技术 荷电粒子束装置
CN106780387A (zh) * 2016-12-22 2017-05-31 武汉理工大学 一种sar图像的去噪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202071B2 (ja) * 2008-03-31 2013-06-05 株式会社日立ハイテクノロジーズ 荷電粒子顕微鏡装置及びそれを用いた画像処理方法
JP5164754B2 (ja) * 2008-09-08 2013-03-21 株式会社日立ハイテクノロジーズ 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法
CN102473286B (zh) 2009-07-08 2014-12-10 工业研究与发展基金会有限公司 超分辨率信号重构的方法和系统
JP5393550B2 (ja) * 2010-03-18 2014-01-22 株式会社日立ハイテクノロジーズ 走査荷電粒子顕微鏡を用いた画像生成方法及び装置、並びに試料の観察方法及び観察装置
US10217190B2 (en) * 2016-12-27 2019-02-26 Kla-Tencor Corporation System and method for reconstructing high-resolution point spread functions from low-resolution inspection images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126217A (zh) * 2012-03-01 2014-10-29 株式会社日立高新技术 荷电粒子束装置
CN106780387A (zh) * 2016-12-22 2017-05-31 武汉理工大学 一种sar图像的去噪方法

Also Published As

Publication number Publication date
US10504692B2 (en) 2019-12-10
US20190043688A1 (en) 2019-02-07
CN109389572B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109389572A (zh) 用于生成物体的区域的合成图像的方法和系统
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US8406556B2 (en) Light transport reconstruction from sparsely captured images
TWI614570B (zh) 用於檢測試樣之方法及檢測系統
Stevens et al. Applying compressive sensing to TEM video: a substantial frame rate increase on any camera
US8675983B2 (en) Method to determine a pixon map in iterative image reconstruction and spectral analysis
Ren et al. A multiple scattering algorithm for three dimensional phase contrast atomic electron tomography
Ghazvinian Zanjani et al. Impact of JPEG 2000 compression on deep convolutional neural networks for metastatic cancer detection in histopathological images
Caesar et al. SIMPLE 3.0. Stream single-particle cryo-EM analysis in real time
Perraudin et al. Cosmological N-body simulations: a challenge for scalable generative models
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
KR20170022736A (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
Boland et al. Improving axial resolution in Structured Illumination Microscopy using deep learning
JP2023091038A (ja) 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JP6004323B2 (ja) フーリエ反復位相回復法
Houben et al. Training procedure for scanning electron microscope 3D surface reconstruction using unsupervised domain adaptation with simulated data
Kniesel et al. Clean implicit 3d structure from noisy 2d stem images
Rodek et al. A stochastic algorithm for reconstruction of grain maps of moderately deformed specimens based on X-ray diffraction
Krauze et al. Total variation iterative constraint algorithm for limited-angle tomographic reconstruction of non-piecewise-constant structures
Nguyen et al. Differentiable electron microscopy simulation: Methods and applications for visualization
Peng et al. Denoising particle beam micrographs with plug-and-play methods
JP2006202115A (ja) 画像処理方法および画像処理プログラム
KR20220021368A (ko) 누락된 원뿔 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
Ketcha et al. Learning-based deformable image registration: effect of statistical mismatch between train and test images
US20240085686A1 (en) Method, device and system for enhancing image quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant