CN113297896A - 用于处理图像的方法、计算机程序产品、图像处理装置 - Google Patents

用于处理图像的方法、计算机程序产品、图像处理装置 Download PDF

Info

Publication number
CN113297896A
CN113297896A CN202110198664.3A CN202110198664A CN113297896A CN 113297896 A CN113297896 A CN 113297896A CN 202110198664 A CN202110198664 A CN 202110198664A CN 113297896 A CN113297896 A CN 113297896A
Authority
CN
China
Prior art keywords
image
pixel
pixels
generated
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110198664.3A
Other languages
English (en)
Inventor
A.方特卡尔瓦隆斯
M.波斯托尔斯基
R.阿诺尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN113297896A publication Critical patent/CN113297896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/244—Detectors; Associated components or circuits therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于处理图像的方法。该方法包括：提供物体的至少一个第一图像，第一图像包括n个像素P11至P1n；提供物体的至少一个第二图像，第二图像包括m个像素P21至P2m；识别像素P11至P1n中的至少一个像素P1i，所识别像素P1i位于第一图像中的位置PL1i处；识别像素P21至P2m中的至少一个像素P2j，所识别像素P2j位于第二图像中的位置PL2j处；通过使用第二图像并通过将所识别像素P1i引入到所识别像素P2j的位置PL2j处来生成至少一个第三图像，和/或通过使用第一图像并通过将所识别像素P2j引入到所识别像素P1i的位置PL1i处来生成至少一个第四图像；使用第三图像和第四图像中的至少一项来训练处理器单元以用于识别降噪函数；以及将降噪函数保存在存储器单元中。

Description

用于处理图像的方法、计算机程序产品、图像处理装置
技术领域
本文描述的发明涉及一种用于处理通过使用束装置、特别是粒子束装置和/或光显微镜(例如激光扫描显微镜)对物体进行成像而生成的图像的方法。而且，本文描述的发明涉及一种计算机程序产品，该计算机程序产品被加载到处理器中，并且在被执行时以执行根据本发明的方法的方式来控制图像处理装置。此外，本文描述的发明涉及具有这种图像处理装置的束装置。
背景技术
本领域中已知使用光显微镜(例如激光扫描显微镜)来生成物体(也称为样本)的图像。
此外，本领域中已知使用电子束装置、尤其是扫描电子显微镜(下文也称为SEM)和/或透射电子显微镜(下文也称为TEM)来检查物体以获得关于物体在某些条件下的特性和行为的了解。
在SEM中，使用束发生器来生成电子束(下文也称为一次电子束)，并且使用束引导系统来将电子束聚焦在要检查的物体上。物镜用于聚焦目的。使用偏转装置将一次电子束引导在要检查的物体的表面上。这又被称为扫描。被一次电子束扫描的区域也称为扫描区域。在此区域中，一次电子束的电子与要检查的物体相互作用。因这种相互作用而出现相互作用粒子和/或相互作用辐射。举例来说，相互作用粒子是电子。特别地，电子是由物体发射的(所谓的二次电子)，并且一次电子束的电子是反向散射的(所谓的反向散射电子)。相互作用粒子形成所谓的二次粒子束并且被至少一个粒子检测器检测到。粒子检测器生成用于生成物体的图像的检测信号。因此获得要检查的物体的图像。举例来说，相互作用辐射是X射线辐射或阴极发光。使用至少一个辐射检测器来检测相互作用辐射。
在TEM的情况下，同样使用束发生器来生成一次电子束，并且使用束引导系统来将一次电子束引导到要检查的物体上。一次电子束穿过要检查的物体。当一次电子束穿过要检查的物体时，一次电子束的电子与要检查的物体的材料相互作用。穿过要检查的物体的电子或由物体发射的电子通过包括物镜的系统成像到发光屏上或检测器(例如呈相机的形式)上。举例来说，上述系统另外包括投影透镜。成像还可以在TEM的扫描模式下进行。这种TEM通常被称为STEM。另外，可以规定使用至少一个另外的检测器来检测从要检查的物体反向散射的粒子和/或由要检查的物体发射的二次粒子，以便对要检查的物体进行成像。另外或可替代地，在TEM或STEM中，一次电子束的电子用于烧蚀或改性物体。
将STEM和SEM的功能组合在单个粒子束装置中是已知的。因此，能够使用此粒子束装置通过SEM功能和/或STEM功能对物体进行检查。
而且，已知了离子束柱形式的粒子束装置。使用布置在离子束柱中的离子束发生器来生成用于处理物体的离子。举例来说，在处理期间使用气体来烧蚀物体的材料或将材料施加到物体上。另外或可替代地，离子用于通过生成在撞击物体时由离子与物体的相互作用生成的相互作用粒子和/或相互作用辐射来成像，其中，相互作用粒子例如是二次电子，并且其中，相互作用辐射例如是X射线辐射。
此外，现有技术已经披露了一方面使用电子而另一方面使用离子来在粒子束装置中分析和/或处理物体的做法。举例来说，具有SEM功能的电子束柱被布置在粒子束装置处。另外，如上文解释的离子束柱被布置在粒子束装置处。具有SEM功能的电子束柱特别地用于进一步检查经处理或未经处理的物体，而且还用于处理物体。
由呈粒子束装置的形式或呈激光扫描显微镜的形式的束装置生成的图像通常包括噪声。在下文中，这些图像也被称为有噪图像。图像中的噪声通常是亮度的随机变化，并基于电子噪声。噪声可能由粒子检测器的图像传感器和/或光检测器和/或图像处理中使用的任何电子电路产生。
本领域中已知使用降噪函数(例如滤波器)来处理由上述束装置生成的图像，以提高这些图像的质量。在通过降噪函数处理这些图像后，经处理的图像已被去噪。换言之，经处理的图像具有降低的噪声和/或基本上没有噪声。
本领域中还已知使用所谓的噪声-干净(noise-to-clean)方法来识别降噪函数。该方法将在下文中解释。
由束装置生成的图像用作训练图像，以用于训练在噪声-干净方法中使用的机器学习系统，从而识别降噪函数。特别地，识别包括噪声的第一图像。第一图像用作训练图像。而且，识别不包括噪声或仅包括很少噪声的第二图像。包括噪声的第一图像的数据用作人工神经网络的输入，该人工神经网络用于生成经去噪的第一图像。经去噪的第一图像用于识别降噪函数，如下文进一步解释。
人工神经网络包括若干个神经元(也称为节点)。可以如图1所示示意性地展示单个神经元800。神经元800包括若干个输入x1、x2、...、xn-1、xn。图1示出3个输入x1、x2、x3作为示例。呈第一图像形式的有噪图像的一个像素或一些像素的数据用作神经元800的输入x1、x2、...、xn-1、xn，其中n是整数。输入x1、x2、...、xn-1、xn是像素的特性的值，例如亮度值。输入x1、x2、...、xn-1、xn中的每个输入使用特定的加权因子w1、w2、...、wn-1、wn进行加权。例如，将输入x1、x2、...、xn-1、xn中的每个输入乘以加权因子w1、w2、...、wn-1、wn中的其相关联的加权因子。除了这些输入x1、x2、...、xn-1、xn之外，神经元800还接收呈偏置值形式的另一输入。此外，神经元800包括激活函数
Figure BDA0002946717920000031
该激活函数用于使用输入(即，输入x1、x2、...、xn-1、xn和/或偏置值)来计算神经元800的输出值。
图2示出了具有n个输入、K个隐藏层和三个输出的人工神经网络900的示例。每个层由若干个神经元800组成，每个神经元800对这些输入执行加权和运算，并将加权和的结果与阈值进行比较以生成输出。神经元800可以在人工神经网络900的不同层之间具有互连。人工神经网络900通常具有多于三个神经元层，并且具有与输入神经元一样多的输出神经元，其中n是重建图像中的像素数。突触(即，神经元800之间的连接)存储呈在计算中操纵数据的加权因子形式的值。
人工神经网络900的输出取决于以下内容：(i)神经元800不同层之间的互连模式，(ii)用于更新互连的加权因子的学习过程，以及(iii)将神经元800的加权输入转换为其输出激活的激活函数。
在数学上，神经元800的网络函数m(x)被定义为其他函数ni(x)的组成，该函数又可以被定义为其他函数的组成。这可以方便地表示为网络结构，其中的箭头描绘了变量之间的依赖关系，如图2所示。例如，人工神经网络900可以使用呈以下形式的非线性加权和
m(x)＝KΣiwini(x)
K是预定义的函数，即激活函数。激活函数例如是S形函数、双曲正切函数或整流线性单元(ReLU)。
图2中所示的神经元800由围绕阈值函数的圆圈描绘。而且，图2中所示的输入被描绘为围绕线性函数的圆圈，并且箭头指示神经元800之间的连接。
人工神经网络900进行操作以实现特定任务，诸如对图像进行去噪。例如，这可以通过定义损失函数来实现。损失函数是要求解的问题(即，通过对图像进行充分的去噪来实现良好的图像质量)的特定解与最优解有多远的度量。学习算法遍历解空间进行迭代搜索，以找到具有最小可能损失的函数。
人工神经网络900可以是具有用于图像处理的有益特性的卷积神经网络，并且因此具有用于对图像进行去噪的特殊相关性。卷积神经网络可以使用前馈人工神经网络900，其中，神经元800之间的连接模式可以表示图像处理中的卷积。
当开始识别降噪函数时，人工神经网络900的每个神经元800的加权因子w1、w2、...、wn-1、wn被随机选择或基于先前的经验来选择。如果呈第一图像形式的有噪图像的像素数据用作第一层的神经元800的输入，则人工神经网络900的输出是经去噪的第一图像的像素数据。相应地，生成经去噪的第一图像。将经去噪的第一图像与如上所述不包括噪声或仅包括很少噪声的第二图像进行比较。该比较使得识别出例如呈损失函数形式的差函数。
基于差函数，可以确定经去噪的第一图像是否对应于或几乎对应于第二图像。如果经去噪的第一图像与第二图像不对应，则经去噪的第一图像中的噪声太高。如果噪声太高，则特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第一图像具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子w1、w2、...、wn-1、wn和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变了加权因子w1、w2、...、wn-1、wn和/或偏置值之后，将另一个有噪图像的数据用作人工神经网络900的输入。
重复上述使用人工神经网络900生成经去噪的图像的方法，直到经去噪的图像对应于或几乎对应于不具有噪声或具有很少噪声的图像为止。换言之，如果经去噪的图像中的噪声足够低，则以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置人工神经网络900中所使用的参数，即加权因子w1、w2、...、wn-1、wn和/或偏置值。相应地，所设置的加权因子w1、w2、...、wn-1、wn和/或所设置的偏置值是降噪函数的基础，并保存在存储器单元中。每当需要对具有相似噪声特性的图像进行去噪时，使用上述设置的加权因子w1、w2、...、wn-1、wn和/或所设置的偏置值将该图像的数据用作人工神经网络900的输入。
本领域中还已知使用所谓的噪声-噪声(noise-to-noise)方法来识别降噪函数。噪声-噪声方法基于如上所述的噪声-干净方法。然而，不是使用没有噪声或具有很少噪声的第二图像，而是使用第二有噪图像来与经去噪的第一图像进行比较。换言之，将经去噪的第一图像与包括噪声的第二图像进行比较。该比较使得识别出例如呈损失函数形式的差函数。基于差函数，可以确定经去噪的第一图像是否对应于或几乎对应于第二图像。明确提到的是，使用噪声-噪声方法的差函数也可以得出期望的结论，即经去噪的第一图像中的噪声是否过高。例如，在Lehtinen等人在2018年瑞典斯德哥尔摩PMLR 80第35届机器学习国际会议论文集中的出版物“Supplemental Material(Noise2Noise)[补充材料(Noise2Noise)]”中对此进行了解释。如果噪声太高，则特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第一图像具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子w1、w2、...、wn-1、wn和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变了加权因子w1、w2、...、wn-1、wn和/或偏置值之后，将另一个有噪图像的数据用作人工神经网络900的输入。重复上述使用人工神经网络900生成经去噪的图像的方法，直到经去噪的图像对应于或几乎对应于不具有噪声或具有很少噪声的图像为止。换言之，如果经去噪的图像中的噪声足够低，则以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置人工神经网络900中所使用的参数，即加权因子w1、w2、...、wn-1、wn和/或偏置值。相应地，所设置的加权因子w1、w2、...、wn-1、wn和/或所设置的偏置值是降噪函数的基础，并保存在存储器单元中。每当需要对图像进行去噪时，使用上述设置的加权因子w1、w2、...、wn-1、wn和/或所设置的偏置值将该图像的数据用作人工神经网络900的输入。
参考以下现有技术文献：EP 3 467 766 A1；CN 109118435 A；Zhang等人的出版物，标题为“Beyond a Gaussian Denoiser：Residual Learning of Deep CNN for ImageDenoising[超越高斯去噪器：用于图像去噪的深度CNN的残差学习]”，IEEE图像处理汇刊，2017，第26卷，第7期，第3142至3155页；Lehtinen等人的出版物，标题为“Noise2Noise：Learning Image Restoration without Clean Data[Noise2Noise：无干净数据下学习图像恢复]”，2018年瑞典斯德哥尔摩PMLR 80第35届机器学习国际会议论文集；以及Shorten等人的出版物，标题为“A survey on Image Data Augmentation for Deep Learning[深度学习图像数据增强的调查]”，大数据杂志，2019，6：60。
如果用于训练机器学习系统的图像数量增加，则降噪函数的质量将会提高。然而，用粒子束装置和/或激光扫描显微镜生成图像可能是相当耗时的。例如，使用粒子束装置生成单个图像有时会花费数小时甚至一天的时间。相应地，生成数百个训练图像可能需要一段时间。
发明内容
因此，期望提供一种方法、图像处理装置和用于执行该方法的束装置，由此，用于训练机器学习系统以识别降噪函数的图像数量在短时间内增加。
根据本发明，这个目的通过根据下文所述的方法实现。下文所述的特征给出了一种包括用于控制图像处理装置的程序代码的计算机程序产品。下文所述的特征给出了一种图像处理装置。此外，下文所述的特征给出了一种具有图像处理装置的束装置。本发明的另外特征从下文的描述和/或附图中变得清楚。
根据本发明的方法用于处理通过使用束装置对物体进行成像而生成的图像。上述束装置可以是光显微镜，特别是激光扫描显微镜和/或粒子束装置。上述粒子束装置可以是电子束装置和/或离子束装置。粒子束装置可以包括生成带电粒子的粒子束发生器。这些带电粒子可以是电子和/或离子。
根据本发明的方法包括以下步骤：提供物体的至少一个第一图像，其中，该第一图像包括n个像素P11至P1n，其中n≥2，并且其中n是整数。像素是具有例如二维延伸和强度的图像元素。强度是变量，并且表示例如灰度值和/或颜色值。这n个像素P11至P1n中的每个像素P1i相对于第一图像坐标系被布置在该第一图像中的位置PL1i处，其中i是1≤i≤n的整数，并且其中，该第一图像中的每个位置PL1i仅包括这n个像素P11至P1n中的单个像素。换言之，每个位置PL1i不包括多于这n个像素P11至P1n中的单个像素。每个位置PL1i通过其相对于第一图像坐标系(其可以是例如笛卡尔坐标系)的坐标来清楚地标识。
根据本发明的方法还包括以下步骤：提供该物体的至少一个第二图像，其中，该第二图像包括m个像素P21至P2m，其中m≥2，并且其中m是整数。此外，其适用m≠n或m＝n。这m个像素P21至P2m中的每个像素P2j相对于第二图像坐标系被布置在该第二图像中的位置PL2j处，其中j是1≤j≤m的整数，并且其中，该第二图像中的每个位置PL2j仅包括这m个像素P21至P2m中的单个像素。换言之，每个位置PL2j不包括多于这m个像素P21至P2m中的单个像素。每个位置PL2j通过其相对于第二图像坐标系(其可以是例如笛卡尔坐标系)的坐标来清楚地标识。
可以使用束装置和/或通过将物体的第一图像从数据库(诸如存储器单元)加载到处理器单元来生成物体的第一图像。该数据库可以包括物体的若干个第一图像，其中，这些第一图像已经使用用于实施本发明的束装置或使用任何其他束装置生成。该数据库可以由束装置的制造商和/或由束装置的用户提供。
可以使用束装置和/或通过将物体的第二图像从数据库(诸如存储器单元)加载到处理器单元来生成物体的第二图像。该数据库可以包括物体的若干个第二图像，其中，这些第二图像已经使用用于实施本发明的束装置或使用任何其他束装置生成。该数据库可以由束装置的制造商和/或束装置的用户提供。
此外，根据本发明的方法包括以下步骤：识别该第一图像的这n个像素P11至P1n中的至少一个像素P1i，其中，所识别像素P1i位于该第一图像中的位置PL1i处。以下将进一步描述识别该第一图像的这n个像素P11至P1n中的像素P1i的不同方式。
另外，根据本发明的方法包括以下步骤：识别该第二图像的这m个像素P21至P2m中的至少一个像素P2j，其中，所识别像素P2j位于该第二图像中的位置PL2j处。以下将进一步描述识别该第二图像的这m个像素P21至P2m中的像素P2j的不同方式。
根据本发明的方法还包括以下步骤：通过使用该第二图像并通过将该第一图像的所识别像素P1i引入到该第二图像中的所识别像素P2j的位置PL2j处来生成至少一个第三图像。换言之，生成另一个图像，即，第三图像。所生成的第三图像基于该第二图像。然而，不是在位置PL2j处包括像素P2j，所生成的第三图像在位置PL2j处包括第一图像的所识别像素P1i。
另外或可替代地，根据本发明的方法包括以下步骤：通过使用该第一图像并通过将该第二图像的所识别像素P2j引入到该第一图像中的所识别像素P1i的位置PL1i处来生成至少一个第四图像。换言之，生成另一个图像，即，第四图像。所生成的第四图像基于该第一图像。然而，不是在位置PL1i处包括像素P1i，所生成的第四图像在位置PL1i处包括第二图像的所识别像素P2j。
换言之，将第一图像的所识别像素P1i(其位于第一图像中的位置PL1i处)与第二图像的所识别像素P2j(其位于第二图像中的位置PL2j处)进行交换。换言之，将第一图像的所识别像素P1i的值(例如灰度值)引入到第二图像中的所识别像素P2j的位置PL2j处。而且，将第二图像的所识别像素P2j的值(例如灰度值)引入到第一图像中的所识别像素P1i的位置PL1i处。通过将所识别像素P1i与所识别像素P2j进行交换(或通过交换整行，如下文进一步解释)，生成新图像。所生成的第三图像基于包括第一图像的至少一个像素(即P1i)的第二图像。此外，所生成的第四图像基于包括第二图像的至少一个像素(即P2j)的第一图像。
根据本发明的方法包括以下步骤：使用所生成的第三图像和所生成的第四图像中的至少一项来训练处理器单元(例如上述处理器单元)以用于识别降噪函数。换言之，所生成的第三图像和/或所生成的第四图像被用作处理器单元的输入。处理器单元计算可以用于对通过使用束装置生成的任何图像进行去噪的降噪函数。以下进一步解释计算降噪函数的示例性方式。
根据本发明的方法还包括以下步骤：将所识别的降噪函数保存在存储器单元中，例如上述存储器单元中。
本发明提供了在训练机器学习系统以识别降噪函数期间生成图像的简单方式。通过增加用于训练机器学习系统的图像数量，提高了降噪函数的质量。因此，当在任何有噪图像上使用降噪函数时，对有噪图像进行去噪的质量均高于现有技术。此外，本发明提供了在训练机器学习系统期间的相当短的时间(例如几分钟)内生成图像。与现有技术相比，这根本不费时。
根据本发明的方法可以由束装置的制造商和/或由束装置的用户执行。
在根据本发明的方法的实施例中另外或可替代地提供了，识别该第一图像的这n个像素P11至P1n中的像素P1i的步骤包括以下之一：(i)随机地识别该第一图像的这n个像素P11至P1n中的像素P1i，(ii)根据第一随机模式来识别该第一图像的这n个像素P11至P1n中的像素P1i，以及(iii)根据第一给定模式来识别该第一图像的这n个像素P11至P1n中的像素P1i。第一随机模式和/或第一给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第一随机模式和/或第一给定模式可以是线、十字或圆形。
此外，在根据本发明的方法的实施例中另外或可替代地提供了，识别该第二图像的这m个像素P21至P2m中的像素P2j的步骤包括以下之一：(i)随机地识别该第二图像的这m个像素P21至P2m中的像素P2j，(ii)根据第二随机模式来识别该第二图像的这m个像素P21至P2m中的像素P2j，以及(iii)根据第二给定模式来识别该第二图像的这m个像素P21至P2m中的像素P2j。第二随机模式和/或第二给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第二随机模式和/或第二给定模式可以是线、十字或圆形。
根据本发明的方法并不限于识别单个像素P1i和单个像素P2j以及将单个像素P1i与单个像素P2j进行交换。而是，根据本发明的方法还提供了识别若干个像素P1i和若干个像素P2j以及将所识别像素P1i与所识别像素P2j进行交换。换言之，在根据本发明的方法的实施例中另外或可替代地提供了，该第一图像的这n个像素P11至P1n中的所识别像素P1i是所识别的第一像素P1i，并且该第二图像的这m个像素P21至P2m中的所识别像素P2j是所识别的第一像素P2j。根据本发明的方法的实施例进一步包括：识别该第一图像的这n个像素P11至P1n中的至少一个第二像素P1o，其中，所识别的第二像素P1o位于该第一图像中的位置PL1o处，其中o是1≤o≤n且o≠i的整数。以下将进一步描述识别该第一图像的这n个像素P11至P1n中的第二像素P1o的不同方式。此外，根据本发明的方法的实施例进一步包括：识别该第二图像的这m个像素P21至P2m中的至少一个第二像素P2p，其中，所识别的第二像素P2p位于该第二图像中的位置PL2p处，其中p是1≤p≤m且p≠j的整数。以下将进一步描述识别该第二图像的这m个像素P21至P2m中的第二像素P2p的不同方式。在根据本发明的方法的该实施例中，生成该第三图像的步骤包括将该第一图像的所识别的第二像素P1o引入到该第二图像中的所识别的第二像素P2p的位置PL2p处。此外，生成该第四图像的步骤包括将该第二图像的所识别的第二像素P2p引入到该第一图像中的所识别的第二像素P1o的位置PL1o处。
换言之，将第一图像的所识别的第二像素P1o(其位于在第一图像中的位置PL1o处)与第二图像的所识别的第二像素P2p(其位于第二图像中的位置PL2p处)进行交换。换言之，将第一图像的所识别的第二像素P1o的值(例如灰度值)引入到第二图像中的所识别的第二像素P2p的位置PL2p处。而且，将第二图像的所识别的第二像素P2p的值(例如灰度值)引入到第一图像中的所识别的第二像素P1o的位置PL1o处。将所识别的第二像素P1o与所识别的第二像素P2p进行交换有助于生成第三图像和第四图像。
明确提到的是，根据本发明的方法不限于仅生成第三图像和第四图像。而是，根据本发明的方法的进一步实施例提供了基于已经生成的图像生成若干个新图像，其中，若干个新图像是通过如以上所解释的交换已经生成的图像的像素来生成的，并且其中，若干个新图像是在训练处理器单元期间生成的，并用于训练处理器单元。特别地，另外或可替代地提供的是，本发明的方法包括提供若干个第一图像和若干个第二图像，其中，若干个第一图像中的每个图像和若干个第二图像中的每个图像都如上所述来实施。而且，根据本实施例的方法包括：识别若干个第一图像中的每个图像的这n个像素P11至P1n中的至少一个像素P1i，其中，所识别像素P1i具有如上所述的特征；以及识别若干个第二图像中的每个图像的这m个像素P21至P2m中的至少一个像素P2j，其中，所识别像素P2j具有如上所述的特征。此外，根据本实施例的方法包括生成若干个第三图像，其中，若干个第三图像中的每个图像是通过使用若干个第二图像之一并通过将若干个第一图像之一的所识别像素P1i引入到该第二图像中所使用的第二图像的所识别像素P2j的位置PL2j处来生成的。而且，根据本实施例的方法包括生成若干个第四图像，其中，若干个第四图像中的每个图像是通过使用若干个第一图像之一并通过将若干个第二图像之一的所识别像素P2j引入到该第一图像中所使用的第一图像的所识别像素P1i的位置PL1i处来生成的。另外，训练处理器的步骤包括使用所生成的若干个第三图像中的至少一个和所生成的若干个第四图像中的至少一个来识别降噪函数。所识别的降噪函数保存在存储器单元中。
在根据本发明的方法的实施例中另外或可替代地提供了，识别该第一图像的这n个像素P11至P1n中的第二像素P1o的步骤包括以下之一：(i)随机地识别该第一图像的这n个像素P11至P1n中的第二像素P1o，(ii)根据第三随机模式来识别该第一图像的这n个像素P11至P1n中的第二像素P1o，以及(iii)根据第三给定模式来识别该第一图像的这n个像素P11至P1n中的第二像素P1o。第三随机模式和/或第三给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第三随机模式和/或第三给定模式可以是线、十字或圆形。
此外，在根据本发明的方法的实施例中另外或可替代地提供了，识别该第二图像的这m个像素P21至P2m中的第二像素P2p的步骤包括以下之一：(i)随机地识别该第二图像的这m个像素P21至P2m中的第二像素P2p，(ii)根据第四随机模式来识别该第二图像的这m个像素P21至P2m中的第二像素P2p，以及(iii)根据第四给定模式来识别该第二图像的这m个像素P21至P2m中的第二像素P2p。第四随机模式和/或第四给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第四随机模式和/或第四给定模式可以是线、十字或圆形。
而且，在根据本发明的方法的实施例中另外或可替代地提供了，第一随机模式与第三随机模式相同。此外，在根据本发明的方法的实施例中另外或可替代地提供了，第一给定模式与第三给定模式相同。在根据本发明的方法的实施例中另外或可替代地提供了，第二随机模式与第四随机模式相同。此外，在根据本发明的方法的实施例中另外或可替代地提供了，第二给定模式与第四给定模式相同。
在根据本发明的方法的实施例中另外或可替代地提供了，以使得该第一图像的这n个像素P11至P1n中的第一像素P1i和该第一图像的这n个像素P11至P1n中的第二像素P1o彼此相邻的方式来识别该第一图像的这n个像素P11至P1n中的第一像素P1i和该第一图像的这n个像素P11至P1n中的第二像素P1o。例如，该第一图像的这n个像素P11至P1n中的第一像素P1i和该第一图像的这n个像素P11至P1n中的第二像素P1o可以形成一条线。
此外，在根据本发明的方法的实施例中另外或可替代地提供了，以使得该第二图像的这m个像素P21至P2m中的第一像素P2j和该第二图像的这m个像素P21至P2m中的第二像素P2p彼此相邻的方式来识别该第二图像的这m个像素P21至P2m中的第一像素P2j和该第二图像的这m个像素P21至P2m中的第二像素P2p。例如，该第二图像的这m个像素P21至P2m中的第一像素P2j和该第二图像的这m个像素P21至P2m中的第二像素P2p可以形成一条线。
而且，在根据本发明的方法的实施例中另外或可替代地提供了，训练该处理器单元的步骤包括使用机器学习系统。该机器学习系统使用算法和统计模型来执行特定任务，而无需使用明确的指令。此外，该机器学习系统使用基于训练数据的算法以便做出预测或决策，而无需明确编程以执行任务。关于本发明，上述特定任务是生成降噪函数并将使用本发明生成的图像用作训练数据。在根据本发明的方法的进一步实施例中另外或可替代地提供了，该机器学习系统是以下中的至少一项：人工神经网络、支持向量机、贝叶斯网络、随机决策森林和关联规则学习。
此外，在根据本发明的方法的进一步实施例中另外或可替代地提供了，训练该处理器单元的步骤包括：(a)对所生成的第三图像进行去噪并生成经去噪的第三图像；(b)将所生成的第三图像与所生成的经去噪的第三图像进行比较；(c)计算所生成的第三图像与所生成的经去噪的第三图像之间的第一差，其中，可以使用损失函数来计算该第一差；以及(d)使用所计算的第一差来识别该降噪函数。
在根据本发明的方法的实施例中另外或可替代地提供了，训练该处理器单元的步骤包括：(a)对所生成的第四图像进行去噪并生成经去噪的第四图像；(b)将所生成的第四图像与所生成的经去噪的第四图像进行比较；(c)计算所生成的第四图像与所生成的经去噪的第四图像之间的第二差，特别是使用第二损失函数来计算该第二差；以及(d)使用所计算的第二差来识别该降噪函数。
而且，在根据本发明的方法的实施例中另外或可替代地提供了，训练该处理器单元的步骤包括使用噪声-噪声机器学习系统。以上已经进一步描述了噪声-噪声机器学习系统。
此外，在根据本发明的方法的实施例中另外或可替代地提供了，该方法包括使用该降噪函数对通过使用该束装置或尚未用于生成第一图像、第二图像、第三图像和/或第四图像的任何其他束装置对该物体进行成像而生成的其他图像进行去噪。另外或可替代地，根据本发明的方法包括：将该降噪函数从该存储器单元加载到该处理器单元中，并使用该降噪函数对通过使用该束装置或尚未用于生成第一图像、第二图像、第三图像和/或第四图像的任何其他束装置对该物体进行成像而生成的其他图像进行去噪。
本发明还涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码可以被加载或被加载到处理器中并且在被执行时以如下方式控制图像处理装置：执行包括上述或下文进一步所述的步骤中的至少一个步骤或上述或下文进一步所述的步骤中的至少两个步骤的组合的方法。
本发明还涉及一种图像处理装置，该图像处理装置包括存储器单元和具有处理器的处理器单元，计算机程序产品被加载到该处理器中，其中，该计算机程序产品包括上述或下文进一步所述的特征中的至少一个特征或上述或下文进一步所述的特征中的至少两个特征的组合。
本发明还涉及一种用于对物体进行成像和/或分析的束装置。该束装置包括用于生成束的至少一个束发生器和至少一个图像处理装置，该图像处理装置包括上述或下文进一步所述的特征中的至少一个特征或上述或下文进一步所述的特征中的至少两个特征的组合。
根据本发明的束装置的实施例的束发生器是用于生成光束的光束发生器。特别地，束发生器是用于生成激光束的发生器。因此，束装置可以是光显微镜和/或激光扫描显微镜。
根据本发明的束装置的实施例另外或可替代地包括：束装置是粒子束装置，其中，束发生器是用于生成具有带电粒子的一次粒子束的粒子束发生器。带电粒子可以是例如电子或离子。而且，根据本发明的粒子束装置还具有用于将一次粒子束聚焦到物体上的至少一个物镜。此外，根据本发明的粒子束装置具有用于检测相互作用粒子和/或相互作用辐射的至少一个检测器，这些相互作用粒子和相互作用辐射是在一次粒子束撞击在物体上时生成的。相互作用粒子可以是二次粒子和/或反向散射粒子，尤其是二次电子和反向散射电子。相互作用辐射可以是X射线辐射和/或阴极发光。
在根据本发明的束装置的实施例中另外或可替代地提供了，粒子束装置的粒子束发生器是第一粒子束发生器，并且一次粒子束是包括第一带电粒子的第一一次粒子束。物镜是用于将第一一次粒子束聚焦到物体上的第一物镜。根据本发明的实施例的粒子束装置进一步包括用于生成包括第二带电粒子的第二一次粒子束的第二粒子束发生器、以及用于将第二一次粒子束聚焦到物体上的第二物镜。第二带电粒子可以是电子和/或离子。
在根据本发明的束装置的进一步实施例中另外或可替代地提供了，该粒子束装置是以下中的至少一种：电子束装置和离子束装置。特别地，粒子束装置可以是电子束装置和离子束装置两者。电子束装置和离子束装置可以彼此成一定角度布置，例如成在45°至90°范围内的角度，其中该范围包括边界。特别地，电子束装置和离子束装置可以彼此成54°的角度布置。然而，本发明不限于上述角度。而是，可以使用适合于本发明的电子束装置与离子束装置之间的任何角度。
附图说明
下文参考附图更详细地解释本文描述的发明的实施例，在附图中：
图1示出了根据现有技术的人工神经网络的神经元的示意性图示；
图2示出了根据现有技术的人工神经网络的示意性图示；
图3示出了粒子束装置的第一示例性实施例；
图4示出了粒子束装置的第二示例性实施例；
图5示出了粒子束装置的第三示例性实施例；
图6示出了光显微镜的示例性实施例；
图7示出了图像处理装置的示例性实施例；
图8示出了用于处理图像的方法的示例性实施例；
图9示出了第一图像的示例性实施例；
图10示出了第二图像的示例性实施例；
图11示出了具有所识别像素的第一图像的示例性实施例；
图12示出了具有所识别像素的第二图像的示例性实施例；
图13示出了所生成的第三图像的示例性实施例；
图14示出了所生成的第四图像的示例性实施例；
图15示出了具有所识别像素的第一图像的进一步示例性实施例；
图16示出了具有所识别像素的第二图像的进一步示例性实施例；
图17示出了所生成的第三图像的进一步示例性实施例；
图18示出了所生成的第四图像的进一步示例性实施例；
图19示出了用于处理图像的方法的示例性实施例的步骤；
图20示出了用于处理图像的方法的示例性实施例的进一步步骤；
图21示出了用于处理图像的方法的进一步示例性实施例的进一步步骤；以及
图22示出了用于处理图像的方法的进一步示例性实施例的步骤。
具体实施方式
现在使用呈SEM形式和组合装置形式的粒子束装置作为示例来更详细地解释本发明，该组合装置具有电子束柱和离子束柱。而且，现在使用光显微镜作为示例来更详细地解释本发明。明确地提及以下事实：本发明可以用于任何粒子束装置，特别是任何电子束装置和/或任何离子束装置、以及任何光束装置，诸如激光扫描显微镜。
图3示出了SEM 100的示意性图示。SEM 100包括呈电子源101的形式的第一束发生器，该电子源被实施为阴极。进一步地，SEM 100设置有引出电极102和阳极103，该阳极布置在SEM 100的束引导管104的一端。举例来说，电子源101被实施为热场发射器。然而，本发明不限于这种电子源101。而是，可利用任何电子源。
从电子源101出射的电子形成了一次电子束。这些电子由于电子源101与阳极103之间的电势差而被加速到阳极电势。在这里描绘的示例性实施例中，阳极电势相对于物体室120的壳体的地电势为1kV至20kV，例如5kV至15kV、特别是8kV。然而，可替代地，阳极电势可以处于地电势。
在束引导管104处布置有两个聚束透镜，即第一聚束透镜105和第二聚束透镜106。在图3中，从电子源101分开，朝第一物镜107的方向上看，首先布置第一聚束透镜105，然后布置第二聚束透镜106。明确地提及以下事实：SEM 100的进一步示例性实施例可以仅具有单个聚束透镜。第一光圈单元108被布置在阳极103与第一聚束透镜105之间。与阳极103和束引导管104一起，第一光圈单元108处于高电压电势(即阳极103的电势)，或者它是接地的。第一光圈单元108具有多个第一光圈108A，在图3中描绘了其中的一个。例如，可以存在两个第一光圈108A。这许多第一光圈108A中的每一个具有不同的光圈直径。通过调整机构126，可以将期望的第一光圈108A设置在SEM 100的光轴OA上。例如，第一光圈单元108可以通过使用调整机构126在x方向(即第一光圈单元轴线)上、在y方向(即第二光圈单元轴线)上和在z方向(即第三光圈单元轴线)上移动，这些方向彼此垂直。调整机构126可以是驱动单元，特别是电机、例如步进电机或压电电机。明确提到的是，驱动单元不限于上述实施例。而是，驱动单元可以是适合于本发明的任何驱动单元。
明确地提及以下事实：在进一步示例性实施例中，第一光圈单元108可以仅设置有单个光圈108A。在这些示例性实施例中，可以省略调整机构。然后将第一光圈单元108设计为固定的。
固定的第二光圈单元109被布置在第一聚束透镜105与第二聚束透镜106之间。作为其替代方案，可以规定第二光圈单元109是可移动的。
第一物镜107具有极片110，这些极片中形成有孔。束引导管104被引导穿过这个孔。线圈111被布置在极片110中。
静电延迟装置被布置在束引导管104的下部区域中。它具有单电极112和管状电极113。管状电极113被布置在束引导管104的面向布置在物体载台114上的物体125的一端处。管状电极113与束引导管104一起处于阳极103的电势，而单电极112和物体125相对于阳极103的电势处于较低电势。在当前情况下，这是物体室120的壳体的地电势。以此方式，一次电子束的电子可以被减速到为了检查物体125所需的期望能量。
SEM 100进一步包括扫描装置115，通过该扫描装置，一次电子束可以被偏转并在物体125之上扫描。这样做时，一次电子束的电子与物体125相互作用。由于该相互作用，生成了相互作用粒子，相互作用粒子被检测到。特别地，电子是从物体125的表面发射的(所谓的二次电子)，或者一次电子束的电子是反向散射的(所谓的反向散射电子)，作为相互作用粒子。
物体125和单电极112也可以处于不同的电势和不同于地电势的电势。由此可以设定一次电子束相对于物体125的延迟的位置。举例来说，如果延迟在非常接近物体125的位置发生，则成像像差变小。
包括第一检测器116和第二检测器117的检测器装置被布置在束引导管104中以用于检测二次电子和/或反向散射电子，其中，在束引导管104中，第一检测器116沿着光轴OA被布置在源侧，而第二检测器117沿着光轴OA被布置在物体侧。第一检测器116和第二检测器117被布置成在SEM 100的光轴OA的方向上彼此偏离。第一检测器116和第二检测器117各自具有通道开口，一次电子束可以穿过该通道开口。第一检测器116和第二检测器117大致处于阳极103和束引导管104的电势。SEM 100的光轴OA延伸穿过相应的通道开口。
第二检测器117主要用于检测二次电子。在从物体125出射时，二次电子最初具有低动能和任意运动方向。通过从管状电极113发出的强引出场，二次电子朝第一物镜107的方向被加速。二次电子大约平行地进入第一物镜107。二次电子束的束直径在第一物镜107中也保持得较小。然后，第一物镜107对二次电子具有强的作用，并且相对于光轴OA以足够陡的角度生成相对短的二次电子聚焦，使得二次电子在焦点的下游彼此远离地发散开并且入射在第二检测器117的有效面积上。相比之下，仅在物体125处被反向散射的一小部分电子(即，反向散射电子，与从物体125出射的二次电子相比具有相对较高动能)被第二检测器117检测到。反向散射电子在从物体125出射时的高动能和相对于光轴OA的角度具有的作用是，反向散射电子的束腰(即，具有最小直径的束区域)位于第二检测器117附近。大部分反向散射电子穿过第二检测器117的通道开口。因此，第一检测器116基本上用于检测反向散射电子。
在SEM 100的进一步实施例中，第一检测器116可以另外体现为相反场网格116A。相反场网格116A被布置在第一检测器116的朝向物体125的一侧。相对于束引导管104的电势，相反场网格116A具有负电势，使得仅具有高能量的反向散射电子穿过相反场网格116A到达第一检测器116。另外或可替代地，第二检测器117具有另一相反场网格，其设计和功能类似于上述第一检测器116的相反场网格116A。
由第一检测器116和第二检测器117生成的检测信号用于生成物体125的表面的一个或多个图像。
明确地提及以下事实：为清楚起见，在附图中，第一光圈单元108和第二光圈单元109的光圈以及第一检测器116和第二检测器117的通道开口显得不成比例地大。第一检测器116和第二检测器117的通道开口具有垂直于光轴OA在0.5mm至5mm的范围内的延伸。举例来说，这些通道开口具有环形设计，并且具有垂直于光轴OA在1mm至3mm的范围内的直径。
第二光圈单元109在这里描绘的示例性实施例中被配置为针孔光圈，并且设置有用于让一次电子束穿过的第二光圈118，该第二光圈具有在5μm至500μm的范围内(例如35μm)的延伸。作为其替代方案，在进一步实施例中规定，第二光圈单元109设置有多个光圈，这些光圈可以相对于一次电子束机械地移位或者可以通过使用静电和/或磁偏转元件而被一次电子束到达。第二光圈单元109被实施为压力载台单元。第二光圈单元将第一区域与第二区域分开，在该第一区域中布置有电子源101并且存在超高真空(10-7hPa至10-12hPa)，该第二区域具有高真空(10-3hPa至10-7hPa)。第二区域是束引导管104的中间压力区域，其通向物体室120。
物体室120处于真空。为了生成真空，在物体室120处布置有泵(未展示)。在图3所展示的示例性实施例中，物体室120在第一压力范围内或在第二压力范围内操作。第一压力范围仅包括小于或等于10-3hPa的压力，并且第二压力范围仅包括大于10-3hPa的压力。为了确保所述压力范围，物体室120是真空密封的。
物体载台114被实施为在相互垂直布置的三个方向上可移动，即，x方向(第一载台轴线)、y方向(第二载台轴线)和z方向(第三载台轴线)。而且，物体载台114可以绕彼此垂直布置的两个旋转轴线(即第一载台旋转轴线和第二载台旋转轴线)旋转。
SEM 100进一步包括布置在物体室120中的第三检测器121。更精确地，第三检测器121被布置在物体载台114的下游，如从电子源101沿光轴OA看到的那样。物体载台114可以以使得可以穿过物体125来辐射一次电子束的方式旋转。当一次电子束穿过要检查的物体125时，一次电子束的电子与要检查的物体125的材料相互作用。第三检测器121检测穿过要检查的物体125的电子。
在物体室120处布置了辐射检测器500，用于检测相互作用辐射，例如X射线辐射和/或阴极发光。辐射检测器500、第一检测器116和第二检测器117连接到具有监视器124和数据库129的图像处理装置123。第三检测器121也连接到图像处理装置123。为了清楚起见，未展示此连接。图像处理装置123处理由第一检测器116、第二检测器117、第三检测器121和/或辐射检测器500生成的检测信号，并且将所述检测信号以图像形式显示在监视器124上。
进一步地，SEM 100具有可移动室检测器119。室检测器119可以是粒子检测器。例如，室检测器119可以移动到或远离SEM 100的物体室120中的特定检测位置。室检测器119连接到驱动单元127，并且可以使用驱动单元127在x方向(即第一单元方向)上、在y方向(即第二单元方向)上和在z方向(即第三方向)上移动。所有方向都相互垂直。另外，室检测器119可以绕第一单元旋转轴线和垂直于第一单元旋转轴线布置的第二单元旋转轴线旋转，其中，驱动单元127用于该旋转。驱动单元127可以是电机，例如步进电机或压电电机。明确提到的是，驱动单元127不限于上述实施例。而是，驱动单元127可以是适合于本发明的任何驱动单元。
SEM 100进一步包括用于调整一次电子束的电子的加速电压的高电压控制单元135。
而且，SEM 100包括用于调整第一物镜107的电流的电流控制单元136。
SEM 100还包括用于减少SEM 100中的像散的消象散器137。消象散器137连接到消象散器控制单元141。
此外，SEM 100包括连接到第一聚束透镜105和第二聚束透镜106的聚束控制单元139。
而且，SEM 100包括连接到扫描装置115的扫描控制单元140。
此外，SEM 100包括处理器单元128，该处理器单元具有处理器，在该处理器中加载有程序代码，用于以执行根据本发明的方法的方式控制SEM100的图像处理装置123。
图4示出了呈组合装置200的形式的粒子束装置。组合装置200具有两个粒子束柱。
一方面，如图4中描绘的，组合装置200设置有SEM 100，但没有物体室120。而是，SEM 100布置在物体室201中。物体室201处于真空。为了生成真空，将包括泵的真空系统202连接到被布置在物体室201处的阀203。真空系统202和阀203连接到真空控制单元204。在图4所展示的示例性实施例中，物体室201在第一压力范围内或在第二压力范围内操作。第一压力范围仅包括小于或等于10-3hPa的压力，并且第二压力范围仅包括大于10-3hPa的压力。为了确保所述压力范围，物体室201是真空密封的。
第三检测器121被布置在物体室201中。SEM 100用于生成第一粒子束(即上文进一步描述的一次电子束)，并且具有如以上指定的光轴，该光轴在图4中用附图标记709表示，并且也称为第一束轴线。
另一方面，组合装置200设置有离子束装置300，该离子束装置同样布置在物体室201处。离子束装置300同样具有光轴，该光轴在图4中用附图标记710表示，并且也称为第二束轴线。
SEM 100相对于物体室201竖直地布置。相比之下，离子束装置300被布置成相对于SEM 100倾斜大致50°的角度。该离子束装置具有呈离子束发生器301的形式的第二束发生器。离子束发生器301生成离子，这些离子形成呈离子束形式的第二粒子束。这些离子通过处于可预定电势的引出电极302被加速。然后，第二粒子束穿过离子束装置300的离子光学器件，其中，离子光学器件包括聚束透镜303和第二物镜304。第二物镜304最终生成离子探针，该离子探针被聚焦在布置在物体载台114上的物体125上。
可调或可选光圈单元306、第一电极布置307和第二电极布置308被布置在第二物镜304上方(即，朝离子束发生器301的方向)，其中，第一电极布置307和第二电极布置308被实施为扫描电极。通过第一电极布置307和第二电极布置308在物体125的表面上扫描第二粒子束，其中第一电极布置307沿第一方向起作用并且第二电极布置308沿第二方向起作用，第二方向与第一方向相反。这样，沿例如x方向执行扫描。沿与之垂直的y方向的扫描是通过在第一电极布置307和第二电极布置308处的转过了90°的另外的电极(此处未描绘)实现。
在图4中所示的示例性实施例中，物体载台114还被实施为在相互垂直布置的三个方向上可移动，即，x方向(第一载台轴线)、y方向(第二载台轴线)和z方向(第三载台轴线)。而且，物体载台114可以绕彼此垂直布置的两个旋转轴线(即第一载台旋转轴线和第二载台旋转轴线)旋转。
为了更好地展示组合装置200的各个单元，图4中描绘的在组合装置200的各个单元之间的距离显得不成比例地大。
在物体室201处布置了辐射检测器500，用于检测相互作用辐射，例如X射线辐射和/或阴极发光。辐射检测器500连接到图像处理装置123，该图像处理装置具有监视器124和数据库129。图像处理装置123处理由第一检测器116、第二检测器117(图4中未展示)、第三检测器121和/或辐射检测器500生成的检测信号，并且将所述检测信号以图像形式显示在监视器124上。
进一步地，组合装置200具有可移动室检测器119。室检测器119可以是粒子检测器。例如，室检测器119可以移动到或远离组合装置200的物体室201中的特定检测位置。室检测器119连接到驱动单元127，并且可以使用驱动单元127在x方向(即第一单元方向)上、在y方向(即第二单元方向)上和在z方向(即第三方向)上移动。所有方向都相互垂直。另外，室检测器119可以绕第一单元旋转轴线和垂直于第一单元旋转轴线布置的第二单元旋转轴线旋转，其中，驱动单元127用于该旋转。驱动单元127可以是电机，例如步进电机或压电电机。明确提到的是，驱动单元127不限于上述实施例。而是，驱动单元127可以是适合于本发明的任何驱动单元。
此外，组合装置200包括处理器单元128，该处理器单元具有处理器，在该处理器中加载有程序代码，用于以执行根据本发明的方法的方式控制组合装置200的图像处理装置123。
图5是根据本发明的粒子束装置的进一步示例性实施例的示意性图示。粒子束装置的这个示例性实施例用附图标记400表示，并且所述示例性实施例包括用于校正例如色像差和/或球面像差的反射镜校正器。粒子束装置400包括粒子束柱401，该粒子束柱被实施为电子束柱并且基本上对应于校正后的SEM的电子束柱。然而，粒子束装置400不限于具有反射镜校正器的SEM。而是，粒子束装置可以包括任何类型的校正器单元。
粒子束柱401包括呈电子源402(阴极)形式的粒子束发生器、引出电极403和阳极404。举例来说，电子源402被实施为热场发射器。从电子源402出射的电子由于电子源402与阳极404之间的电势差而被加速到达阳极404。相应地，沿第一光轴OA1形成呈电子束形式的粒子束。
在从电子源402出射粒子束之后，该粒子束沿与第一光轴OA1相对应的束路径被引导。第一静电透镜405、第二静电透镜406和第三静电透镜407用于引导粒子束。
此外，使用束导引装置沿束路径来调整粒子束。这个示例性实施例的束引导装置包括源调整单元，该源调整单元具有沿着第一光轴OA1布置的两个磁偏转单元408。而且，粒子束装置400包括静电束偏转单元。第一静电束偏转单元409(在进一步实施例中也被实施为四极)布置在第二静电透镜406与第三静电透镜407之间。第一静电束偏转单元409同样布置在磁偏转单元408的下游。呈第一磁偏转单元形式的第一多极单元409A布置在第一静电束偏转单元409的一侧。而且，呈第二磁偏转单元形式的第二多极单元409B布置在第一静电束偏转单元409的另一侧。第一静电束偏转单元409、第一多极单元409A和第二多极单元409B被布置用于相对于第三静电透镜407的轴线和束偏转装置410的入口窗口来调整粒子束的方向。第一静电束偏转单元409、第一多极单元409A和第二多极单元409B可以像维恩滤波器(Wien filter)一样相互作用。另外的磁偏转元件432布置在束偏转装置410的入口处。
束偏转装置410被用作粒子束偏转器，该粒子束偏转器用于使粒子束以特定方式偏转。束偏转装置410包括多个磁扇区，即第一磁扇区411A、第二磁扇区411B、第三磁扇区411C、第四磁扇区411D、第五磁扇区411E、第六磁扇区411F和第七磁扇区411G。粒子束沿第一光轴OA1进入束偏转装置410，并且所述粒子束被束偏转装置410沿第二光轴OA2的方向偏转。借助于第一磁扇区411A、借助于第二磁扇区411B并且借助于第三磁扇区411C进行了30°至120°角度的束偏转。第二光轴OA2相对于第一光轴OA1以相同大小的角度定向。束偏转装置410也使沿着第二光轴OA2被引导的粒子束沿第三光轴OA3的方向偏转。该束偏转是由第三磁扇区411C、第四磁扇区411D和第五磁扇区411E提供的。在图5中的示例性实施例中，相对于第二光轴OA2和相对于第三光轴OA3的偏转是通过使粒子束偏转90°角而提供的。因此，第三光轴OA3与第一光轴OA1同轴地延伸。然而，提及以下事实：根据本文描述的发明的粒子束装置400不限于90°的偏转角度。而是，束偏转装置410可以选择任何适合的偏转角度，例如70°或110°，使得第一光轴OA1不与第三光轴OA3同轴地延伸。关于束偏转装置410的更多细节，请参考WO 2002/067286 A2。
在粒子束已经被第一磁扇区411A、第二磁扇区411B和第三磁扇区411C偏转之后，该粒子束沿着第二光轴OA2被引导。该粒子束被引导至静电反射镜414并且在其到静电反射镜414的路径上沿着第四静电透镜415、呈磁偏转单元形式的第三多极单元416A、第二静电束偏转单元416、第三静电束偏转单元417、和呈磁偏转单元形式的第四多极单元416B行进。静电反射镜414包括第一反射镜电极413A、第二反射镜电极413B和第三反射镜电极413C。在静电反射镜414处反射回的粒子束的电子再次沿第二光轴OA2行进并且重新进入束偏转装置410。然后，这些电子被第三磁扇区411C、第四磁扇区411D和第五磁扇区411E偏转到第三光轴OA3。
粒子束的电子从束偏转装置410出射，并且所述电子沿第三光轴OA3被引导至旨在被检查的并布置在物体载台424上的物体425。在其到物体425的路径上，粒子束沿着第五静电透镜418、束引导管420、第五多极单元418A、第六多极单元418B和物镜421被引导。第五静电透镜418是静电浸没透镜。借助于第五静电透镜418，粒子束被减速或加速到束引导管420的电势。
借助于物镜421，粒子束被聚焦到物体425所布置在的焦平面内。物体425被布置在可移动物体载台424上。可移动物体载台424布置在粒子束装置400的物体室426中。物体载台424被实施为在相互垂直布置的三个方向上可移动，即，x方向(第一载台轴线)、y方向(第二载台轴线)和z方向(第三载台轴线)。而且，物体载台424可以绕彼此垂直布置的两个旋转轴线(即第一载台旋转轴线和第二载台旋转轴线)旋转。
物体室426处于真空。为了生成真空，在物体室426处布置有泵(未展示)。在图5所展示的示例性实施例中，物体室426在第一压力范围内或在第二压力范围内操作。第一压力范围仅包括小于或等于10-3hPa的压力，并且第二压力范围仅包括大于10-3hPa的压力。为了确保所述压力范围，物体室426是真空密封的。
物镜421可以被实施为磁透镜422与第六静电透镜423的组合。进一步地，束引导管420的端部可以是静电透镜的电极。在从束引导管420出射之后，粒子束装置400的粒子被减速到物体425的电势。物镜421并不限于磁透镜422与第六静电透镜423的组合。而是，物镜421可以采取任何合适的形式。举例来说，物镜421也可以被实施为纯磁透镜或纯静电透镜。
聚焦到物体425上的粒子束与物体425相互作用。生成了相互作用粒子。特别地，从物体425发射二次电子，或者从物体425反向散射了反向散射电子。二次电子或反向散射电子再次被加速并且沿着第三光轴OA3被引导到束引导管420中。具体地，二次电子和反向散射电子的轨迹在粒子束的束路径的路线上在与粒子束相反的方向上延伸。
粒子束装置400包括第一分析检测器419，该第一分析检测器沿着束路径被布置在束偏转装置410与物镜421之间。沿相对于第三光轴OA3定向成大角度的方向行进的二次电子由第一分析检测器419检测。在第一分析检测器419的位置处距第三光轴OA3具有小轴向距离的反向散射电子和二次电子(即，在第一分析检测器419的位置处距第三光轴OA3具有小距离的反向散射电子和二次电子)进入束偏转装置410并且沿检测束路径427被第五磁扇区411E、第六磁扇区411F和第七磁扇区411G偏转到第二分析检测器428。举例来说，偏转角度为90°或110°。
第一分析检测器419生成主要由发射的二次电子生成的检测信号。由第一分析检测器419生成的检测信号被引导至图像处理装置123，并且被用于获得关于聚焦粒子束与物体425的相互作用区域的特性的信息。具体地，使用扫描装置429使聚焦粒子束在物体425之上扫描。之后，可以通过由第一分析检测器419生成的检测信号来生成物体425的被扫描区域的图像，并且可以将该图像显示在显示单元上。显示单元是例如布置在图像处理装置123处的监视器124。而且，图像处理装置123包括数据库129。
第二分析检测器428也连接至图像处理装置123。由第二分析检测器428生成的检测信号被供应给图像处理装置123并且被用于生成物体425的被扫描区域的图像并且将该图像显示在显示单元上。显示单元是例如布置在图像处理装置123处的监视器124。
在物体室426处布置了辐射检测器500，用于检测相互作用辐射，例如X射线辐射和/或阴极发光。辐射检测器500连接至包括监视器124的图像处理装置123。图像处理装置123处理由辐射检测器500生成的检测信号，并且将这些检测信号以图像形式显示在监视器124上。
进一步地，粒子束装置400具有可移动室检测器119。室检测器119可以是粒子检测器。例如，室检测器119可以移动到或远离粒子束装置400的物体室426中的特定检测位置。室检测器119连接到驱动单元127，并且可以使用驱动单元127在x方向(即第一单元方向)上、在y方向(即第二单元方向)上和在z方向(即第三方向)上移动。所有方向都相互垂直。另外，室检测器119可以绕第一单元旋转轴线和垂直于第一单元旋转轴线布置的第二单元旋转轴线旋转，其中，驱动单元127用于该旋转。驱动单元127可以是电机，例如步进电机或压电电机。明确提到的是，驱动单元127不限于上述实施例。而是，驱动单元127可以是适合于本发明的任何驱动单元。
此外，粒子束装置400包括处理器单元128，该处理器单元具有处理器，在该处理器中加载有程序代码，用于以执行根据本发明的方法的方式控制粒子束装置400的图像处理装置123。
图6是根据本发明的束装置(即，呈光显微镜600、特别是激光扫描显微镜的形式的束装置)的进一步示例性实施例的示意性图示。光显微镜600包括光束发生器601(特别是激光束发生器)以及物镜602，该物镜将由光束发生器601生成的光束聚焦到被布置在物体载台114上的物体125上。物体载台114被实施为在相互垂直布置的三个方向上可移动，即，x方向(第一载台轴线)、y方向(第二载台轴线)和z方向(第三载台轴线)。而且，物体载台114可以绕彼此垂直布置的两个旋转轴线(即第一载台旋转轴线和第二载台旋转轴线)旋转。光显微镜600还包括图像处理装置123，该图像处理装置具有监视器124、处理器单元128和数据库129。
光显微镜600的处理器单元128具有处理器，在该处理器中加载有程序代码，用于以执行根据本发明的方法的方式控制光显微镜600的图像处理装置123。
图7是不属于特定束装置的一部分的独立图像处理装置123的示例性实施例的示意性图示。该实施例的图像处理装置123仅用于图像处理。图像处理装置123具有监视器124、处理器单元128和数据库129。由诸如SEM 100、组合装置200、粒子束装置400和/或光显微镜600等束装置生成的物体的若干个图像被保存在数据库129中。处理器单元128具有处理器，在该处理器中加载有程序代码，用于以执行根据本发明的方法的方式控制图像处理装置123。
图8示出了根据本发明的使用呈SEM 100、组合装置200、粒子束装置400和/或光显微镜600的形式的束装置的方法的示例性实施例。下文基于SEM 100的操作以示例性方式解释该方法。关于对使用SEM 100对物体125进行成像所生成的图像进行处理而进行的陈述经必要修改也适用于对使用呈组合装置200、粒子束装置400和/或光显微镜600的形式的其他束装置对物体125、425进行成像所生成的图像进行处理的方法。
在方法步骤S1中，提供物体125的至少一个第一图像。第一图像在图9中示意性地示出，并用附图标记610表示。可以使用SEM 100和/或通过将物体125的第一图像610从数据库129加载到图像处理装置123中来生成物体125的第一图像610。数据库129可以包括物体125的若干个第一图像610，其中，第一图像610已经使用SEM 100生成。数据库129的内容可以由SEM 100的制造商和/或由SEM 100的用户提供。
所提供的第一图像610包括n个像素P11至P1n，其中n≥2，并且其中n是例如n≥850.000的整数。这n个像素P11至P1n中的每个像素P1i相对于第一图像坐标系被布置在第一图像610中的位置PL1i处，其中i是1≤i≤n的整数，并且其中，第一图像610中的每个位置PL1i仅包括这n个像素P11至P1n中的单个像素，即P1i。换言之，每个位置PL1i不包括多于这n个像素P11至P1n中的单个像素P1i。每个位置PL1i通过其相对于第一图像坐标系(其可以是例如笛卡尔坐标系)的坐标来清楚地标识。图9所示的第一图像610的实施例包括16个像素。因此，n＝16。明确指出的是，图9所示的第一图像610的实施例仅用于说明目的。实际上，第一图像610通常包括多于16个像素。如上所述，n≥850.000。
如图9所示，第一图像610的示例性实施例包括位于位置PL11的像素P11、位于位置PL12的像素P12、位于位置PL13的像素P13、位于位置PL14的像素P14、位于位置PL15的像素P15、位于位置PL16的像素P16、位于位置PL17的像素P17、位于位置PL18的像素P18、位于位置PL19的像素P19、位于位置PL110的像素P110、位于位置PL111的像素P111、位于位置PL112的像素P112、位于位置PL113的像素P113、位于位置PL114的像素P114、位于位置PL115的像素P115以及位于位置PL116的像素P116。每个位置PL1i通过其相对于第一图像坐标系的坐标x、y清楚地标识。例如，像素P18的位置PL18的坐标是(4，3)。关于像素P18的位置PL18的坐标进行的陈述经必要修改也适用于第一图像610的所有其他像素的所有其他位置。
在方法步骤S2中，提供物体125的至少一个第二图像。第二图像在图10中示意性地示出，并用附图标记611表示。可以使用SEM 100和/或通过将物体125的第二图像611从数据库129加载到图像处理装置123中来生成物体125的第二图像611。数据库129可以包括物体125的若干个第二图像611，其中，第二图像611已经使用SEM 100生成。如上所述，数据库129的内容可以由SEM 100的制造商和/或由SEM 100的用户提供。
所提供的第二图像611包括m个像素P21至P2m，其中m≥2，并且其中m是例如m≥850.000的整数。此外，以下条件可以适用：m≠n或m＝n。这m个像素P21至P2m中的每个像素P2j相对于第二图像坐标系被布置在第二图像611中的位置PL2j处，其中j是1≤j≤m的整数，并且其中，第二图像611中的每个位置PL2j仅包括这m个像素P21至P2m中的单个像素，即P2j。换言之，每个位置PL2j不包括多于这m个像素P11至P1m中的单个像素P2j。每个位置PL2j通过其相对于第二图像坐标系(其可以是例如笛卡尔坐标系)的坐标来清楚地标识。图10所示的第二图像611的实施例包括16个像素。因此，m＝16。明确指出的是，图10所示的第二图像611的实施例仅用于说明目的。实际上，第二图像611通常包括多于16个像素。如上所述，m≥850.000。
如图10所示，第二图像611的示例性实施例包括位于位置PL21的像素P21、位于位置PL22的像素P22、位于位置PL23的像素P23、位于位置PL24的像素P24、位于位置PL25的像素P25、位于位置PL26的像素P26、位于位置PL27的像素P27、位于位置PL28的像素P28、位于位置PL29的像素P29、位于位置PL210的像素P210、位于位置PL211的像素P211、位于位置PL212的像素P212、位于位置PL213的像素P213、位于位置PL214的像素P214、位于位置PL215的像素P215以及位于位置PL216的像素P216。每个位置PL2j通过其相对于第二图像坐标系的坐标x、y清楚地标识。例如，像素P28的位置PL28的坐标是(4，3)。关于像素P28的位置PL28的坐标进行的陈述经必要修改也适用于第二图像611的所有其他像素的所有其他位置。
在方法步骤S3中，识别第一图像610的这n个像素P11至P1n中的至少一个像素P1i，其中，所识别像素P1i位于第一图像610中的位置PL1i处。例如，通过以下之一来识别第一图像610的这n个像素P11至P1n中的像素P1i：(i)随机地识别第一图像610的这n个像素P11至P1n中的像素P1i，(ii)根据第一随机模式来识别第一图像610的这n个像素Px1至P1n中的像素P1i，以及(iii)根据第一给定模式来识别第一图像610的这n个像素P11至P1x中的像素P1i。第一随机模式和/或第一给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第一随机模式和/或第一给定模式可以是线、十字或圆形。
在方法步骤S3中，可以在第一图像610中识别多于一个像素P1i。例如，所识别像素P1i是被识别的第一像素P1i。而且，识别第一图像610的这n个像素P11至P1n中的至少一个第二像素P1o，其中，所识别的第二像素P1o位于第一图像610中的位置PL1o处，其中o是1≤o≤n且o≠i的整数。可以通过以下之一来识别第一图像610的这n个像素P11至P1n中的第二像素P1o：(i)随机地识别第一图像610的这n个像素P11至P1n中的第二像素P1o，(ii)根据第三随机模式来识别第一图像610的这n个像素P11至P1n中的第二像素P1o，以及(iii)根据第三给定模式来识别第一图像610的这n个像素P11至P1n中的第二像素P1o。第三随机模式和/或第三给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第三随机模式和/或第三给定模式可以是线、十字或圆形。
如图11所示，第一图像610的示例性实施例包括呈位于位置PL11处的像素P11形式的第一像素P1i以及呈位于位置PL116处的像素P116形式的第二像素P1o，这些像素已经在方法步骤S3中被识别并且被选择。
在方法步骤S3中，可以以使得第一图像610的这n个像素P11至P1n中的第一像素P1i和第二像素P1o彼此相邻的方式来识别第一图像610的这n个像素P11至P1n中的第一像素P1i和第二像素P1o。例如，第一图像610的这n个像素P11至P1n中的若干个第一像素P1i和若干个第二像素P1o可以形成一条线。如图11所示，第一图像610的示例性实施例包括位于位置PL15的像素P15、位于位置PL16的像素P16、位于位置PL17的像素P17和位于位置PL18的像素P18，这些像素已经在方法步骤S3中被识别并且被选择。像素P15、像素P16、像素P17和像素P18形成一条线，该线可以是使用SEM 100对物体125进行扫描的扫描线。
在方法步骤S4中，识别第二图像611的这m个像素P21至P2m中的至少一个像素P2j，其中，所识别像素P2j位于第二图像611中的位置PL2j处。例如，通过以下之一来识别第二图像611的这m个像素P21至P2m中的像素P2j：(i)随机地识别第二图像611的这m个像素P21至P2m中的像素P2j，(ii)根据第二随机模式来识别第二图像611的这m个像素P21至P2m中的像素P2j，以及(iii)根据第二给定模式来识别第二图像611的这m个像素P21至P2m中的像素P2j。第二随机模式和/或第二给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第二随机模式和/或第二给定模式可以是线、十字或圆形。
在方法步骤S4中，可以在第二图像611中识别多于一个像素P2j。例如，所识别像素P2j是被识别的第一像素P2j。而且，识别第二图像611的这m个像素P21至P2m中的至少一个第二像素P2p，其中，所识别的第二像素P2p位于第二图像611中的位置PL2p处，其中p是1≤p≤m且p≠j的整数。可以通过以下之一来识别第二图像611的这m个像素P21至P2m中的第二像素P2p：(i)随机地识别第二图像611的这m个像素P21至P2m中的第二像素P2p，(ii)根据第四随机模式来识别第二图像611的这m个像素P21至P2m中的第二像素P2p，以及(iii)根据第四给定模式来识别第二图像611的这m个像素P21至P2m中的第二像素P2p。第四随机模式和/或第四给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第四随机模式和/或第四给定模式可以是线、十字或圆形。
如图12所示，第二图像611的示例性实施例包括呈位于位置PL21处的像素P21形式的第一像素P2j以及呈位于位置PL216处的像素P216形式的第二像素P2p，这些像素已经在方法步骤S4中被识别并且被选择。
在方法步骤S4中，可以以使得第二图像611的这m个像素P21至P2m中的第一像素P2j和第二像素P2p彼此相邻的方式来识别第二图像611的这m个像素P21至P2m中的第一像素P2j和第二像素P2p。例如，第二图像611的这m个像素P21至P2m中的若干个第一像素P2j和若干个第二像素P2p可以形成一条线。如图12所示，第二图像611的示例性实施例包括位于位置PL25的像素P25、位于位置PL26的像素P26、位于位置PL27的像素P27和位于位置PL28的像素P28，这些像素已经在方法步骤S4中被识别并且被选择。像素P25、像素P26、像素P27和像素P28形成一条线，该线可以是使用SEM 100对物体125进行扫描的扫描线。
在方法步骤S5中，生成至少一个第三图像。第三图像在图13中示意性地示出，并用附图标记612表示。第三图像612基于第二图像611。然而，不是具有第二图像611的所有像素P2j，而是所生成的第三图像612包括第二图像611的某个(一些)像素P2j和/或P2p以及第一图像610的某个(一些)像素P1i和/或P1o。更具体地，将第一图像610的(多个)所识别像素P1i引入到第二图像611中的(多个)所识别像素P2j的位置PL2j处。而且，将第一图像610的(多个)所识别像素P1o引入到第二图像611中的(多个)所识别像素P2p的位置PL2p处。换言之，将第一图像610的(多个)所识别像素P1i的值(例如灰度值)引入到第二图像611中的(多个)所识别像素P2j的(多个)位置PL2j处，并且将第一图像610的(多个)所识别像素P1o的值(例如灰度值)引入到第二图像611中的(多个)所识别像素P2p的(多个)位置PL2p处，以用于生成第三图像612。相应地，所生成的第三图像612包括以下像素：位于位置PL21的像素P11、位于位置PL22的像素P22、位于位置PL23的像素P23、位于位置PL24的像素P24、位于位置PL25的像素P15、位于位置PL26的像素P16、位于位置PL27的像素P17、位于位置PL28的像素P18、位于位置PL29的像素P29、位于位置PL210的像素P210、位于位置PL211的像素P211、位于位置PL212的像素P212、位于位置PL213的像素P213、位于位置PL214的像素P214、位于位置PL215的像素P215以及位于位置PL216的像素P116。
在方法步骤S6中，生成至少一个第四图像。第四图像在图14中示意性地示出，并用附图标记613表示。第四图像613基于第一图像610。然而，不是具有第一图像610的所有像素P1i，而是所生成的第四图像613包括第一图像610的某个(一些)像素P1i和/或P1o以及第二图像611的某个(一些)像素P2j和/或P2p。更具体地，将第二图像611的(多个)所识别像素P2j引入到第一图像610中的(多个)所识别像素P1i的位置PL1i处。而且，将第二图像611的(多个)所识别像素P2p引入到第一图像610中的(多个)所识别像素P1o的位置PL1o处。换言之，将第二图像611的(多个)所识别像素P2j的值(例如灰度值)引入到第一图像610中的(多个)所识别像素P1i的(多个)位置PL1i处，并且将第二图像611的(多个)所识别像素P2p的值(例如灰度值)引入到第一图像610中的(多个)所识别像素P1o的(多个)位置PL1o处，以用于生成第四图像613。相应地，所生成的第四图像613包括以下像素：位于位置PL11的像素P21、位于位置PL12的像素P12、位于位置PL13的像素P13、位于位置PL14的像素P14、位于位置PL15的像素P25、位于位置PL16的像素P26、位于位置PL17的像素P27、位于位置PL18的像素P28、位于位置PL19的像素P19、位于位置PL110的像素P110、位于位置PL111的像素P111、位于位置PL112的像素P112、位于位置PL113的像素P113、位于位置PL114的像素P114、位于位置PL115的像素P115以及位于位置PL116的像素P216。
换言之，可以将第一图像610的所识别像素P1i(其位于在第一图像610中的位置PL1i处)与第二图像611的所识别像素P2j(其位于第二图像611中的位置PL2j处)进行交换。另外，可以将第一图像610的所识别像素P1o(其位于在第一图像610中的位置PL1o处)与第二图像611的所识别像素P2p(其位于第二图像611中的位置PL2p处)进行交换。
通过将所识别像素P1i与所识别像素P2j进行交换，和/或通过将所识别像素P1o与所识别像素P2p进行交换，生成了新图像，即第三图像612和第四图像613。所生成的第三图像612基于包括第一图像610的至少一个像素(即P1i和/或P1o)的第二图像611。此外，所生成的第四图像613基于包括第二图像611的至少一个像素(即P2j和/或P2p)的第一图像610。
图11至图14中所示的实施例是基于这样的思想：将第一图像610的所识别像素P1i(其中，像素P1i位于第一图像610中的位置PL1i处)布置在所识别像素P2j的位置PL2j处，所识别像素P2j的位置PL2j相对对应于第一图像610中的所识别像素P1i的位置PL1i。换言之，第一图像610的第一坐标系中的位置PL1i的坐标与第二图像611的第二坐标系中的位置PL2j的坐标相同。而且，如果识别出像素P1o，则将第一图像610的所识别像素P1o(其中，像素P1o位于第一图像610中的位置PL1o处)布置在所识别像素P2p的位置PL2p处，所识别像素P2p的位置PL2p相对对应于第一图像610中的所识别像素P1o的位置PL1o。换言之，第一图像610的第一坐标系中的位置PL1o的坐标与第二图像611的第二坐标系中的位置PL2p的坐标相同。
图15至图18示出了基于不同思想的实施例。在图15至图18所示的实施例中，第二图像611的像素P2j的位置PL2j不相对对应于第一图像610中的所识别像素P1i的位置PL1i。换言之，第一图像610的第一坐标系中的所识别像素P1i的位置PL1i的坐标不与第二图像611的第二坐标系中的像素P2j的位置PL2j的坐标相同。这一点如下解释。
在图15至图18所示的实施例中，在方法步骤S3中，识别第一图像610的这n个像素P11至P1n中的至少一个像素P1i。所识别像素P1i位于第一图像610中的位置PL1i处。例如，通过以下之一来识别第一图像610的这n个像素P11至P1n中的像素P1i：(i)随机地识别第一图像610的这n个像素P11至P1n中的像素P1i，(ii)根据第一随机模式来识别第一图像610的这n个像素P11至P1n中的像素P1i，以及(iii)根据第一给定模式来识别第一图像610的这n个像素P11至P1n中的像素P1i。第一随机模式和/或第一给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第一随机模式和/或第一给定模式可以是线、十字或圆形。如图15所示，第一图像610的示例性实施例包括位于位置PL11处的像素P11，该像素已经在方法步骤S3中被识别并且被选择。
在图15至图18所示的实施例中，在方法步骤S4中，识别第二图像611的这m个像素P21至P2m中的至少一个像素P2j。所识别像素P2j位于第二图像611中的位置PL2j处。例如，通过以下之一来识别第二图像611的这m个像素P21至P2m中的像素P2j：(i)随机地识别第二图像611的这m个像素P21至P2m中的像素P2j，(ii)根据第二随机模式来识别第二图像611的这m个像素P21至P2m中的像素P2j，以及(iii)根据第二给定模式来识别第二图像611的这m个像素P21至P2m中的像素P2j。第二随机模式和/或第二给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第二随机模式和/或第二给定模式可以是线、十字或圆形。如图16所示，第二图像611的示例性实施例包括位于位置PL216处的像素P216，该像素已经在方法步骤S4中被识别并且被选择。
在图15至图18所示的实施例中，在方法步骤S5中生成至少一个第三图像。第三图像在图17中示意性地示出，并用附图标记612表示。第三图像612基于第二图像611。然而，不是具有第二图像611的所有像素P2j，而是所生成的第三图像612包括第二图像611的一些像素P2j以及第一图像610的一些像素P1i。更具体地，将第一图像610的所识别像素P1i引入到第二图像611中的所识别像素P2j的位置PL2j处。换言之，将第一图像610的所识别像素P1i的值(例如灰度值)引入到第二图像611中的所识别像素P2j的位置PL2j处，以用于生成第三图像612。相应地，所生成的第三图像612包括以下像素：位于位置PL21的像素P21、位于位置PL22的像素P22、位于位置PL23的像素P23、位于位置PL24的像素P24、位于位置PL25的像素P25、位于位置PL26的像素P26、位于位置PL27的像素P27、位于位置PL28的像素P28、位于位置PL29的像素P29、位于位置PL210的像素P210、位于位置PL211的像素P211、位于位置PL212的像素P212、位于位置PL213的像素P213、位于位置PL214的像素P214、位于位置PL215的像素P215以及位于位置PL216的像素P11。
在图15至图18所示的实施例中，在方法步骤S6中生成至少一个第四图像。第四图像在图18中示意性地示出，并用附图标记613表示。第四图像613基于第一图像610。然而，不是具有第一图像610的所有像素P1i，而是所生成的第四图像613包括第一图像610的一些像素P1i以及第二图像611的一些像素P2j。更具体地，将第二图像611的所识别像素P2j引入到第一图像610中的所识别像素P1i的位置PL1i处。换言之，将第二图像611的所识别像素P2j的值(例如灰度值)引入到第一图像610中的所识别像素P1i的位置PL1i处，以用于生成第四图像613。相应地，所生成的第四图像613包括以下像素：位于位置PL11的像素P216、位于位置PL12的像素P12、位于位置PL13的像素P13、位于位置PL14的像素P14、位于位置PL15的像素P15、位于位置PL16的像素P16、位于位置PL17的像素P17、位于位置PL18的像素P18、位于位置PL19的像素P19、位于位置PL110的像素P110、位于位置PL111的像素P111、位于位置PL112的像素P112、位于位置PL113的像素P113、位于位置PL114的像素P114、位于位置PL115的像素P115以及位于位置PL116的像素P116。
换言之，将第一图像610的所识别像素P1i(其位于在第一图像610中的位置PL1i处)与第二图像611的所识别像素P2j(其位于第二图像611中的位置PL2j处)进行交换。通过将所识别像素P1i与所识别像素P2j进行交换，生成新图像，即第三图像612和第四图像613。所生成的第三图像612基于包括第一图像610的至少一个像素(即P1i)的第二图像611。此外，所生成的第四图像613基于包括第二图像611的至少一个像素(即P2j)的第一图像610。
明确指出的是，在图15至图18所示的实施例中，可以识别多于一个像素。换言之，在方法步骤S3中，可以在第一图像610中识别多于一个像素P1i。例如，所识别像素P1i是被识别的第一像素P1i。而且，识别第一图像610的这n个像素P11至P1n中的至少一个第二像素P1o，其中，所识别的第二像素P1o位于第一图像610中的位置PL1o处，其中o是1≤o≤n且o≠i的整数。可以通过以下之一来识别第一图像610的这n个像素P11至P1n中的第二像素P1o：(i)随机地识别第一图像610的这n个像素P11至P1n中的第二像素P1o，(ii)根据第三随机模式来识别第一图像610的这n个像素P11至P1n中的第二像素P1o，以及(iii)根据第三给定模式来识别第一图像610的这n个像素P11至P1n中的第二像素P1o。第三随机模式和/或第三给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第三随机模式和/或第三给定模式可以是线、十字或圆形。而且，在方法步骤S4中，可以在第二图像611中识别多于一个像素P2j。例如，所识别像素P2j是被识别的第一像素P2j。而且，识别第二图像611的这m个像素P21至P2m中的至少一个第二像素P2p，其中，所识别的第二像素P2p位于第二图像611中的位置PL2p处，其中p是1≤p≤m且p≠j的整数。可以通过以下之一来识别第二图像611的这m个像素P21至P2m中的第二像素P2p：(i)随机地识别第二图像611的这m个像素P21至P2m中的第二像素P2p，(ii)根据第四随机模式来识别第二图像611的这m个像素P21至P2m中的第二像素P2p，以及(iii)根据第四给定模式来识别第二图像611的这m个像素P21至P2m中的第二像素P2p。第四随机模式和/或第四给定模式可以具有适合于执行根据本发明的方法的任何实施例。例如，第四随机模式和/或第四给定模式可以是线、十字或圆形。关于交换所识别的单个像素P1i和P2j进行的陈述经必要修改也适用于交换若干个像素P1i、P1o、P2j和P2p。
如上所述，根据本发明的方法的实施例提供了交换形成线的像素。如果第一图像610和/或第二图像611包括诸如水平噪声相关性和/或竖直噪声相关性等噪声相关性，则该实施例是有利的。如果例如尽管一次电子束不再聚焦在第一像素上，而是已经聚焦在物体125的扫描区域的第二像素上，但诸如SEM 100等束装置的第一检测器116和第二检测器117仍获取物体125的扫描区域的第一像素的检测信号，则在SEM 100中可能会发生噪声相关性。如果不存在噪声相关性(即，如果在第一像素的第一位置处的第一噪声信号的第一值与在第二像素的第二位置处的第二噪声信号的第二值无关)，则可以任意地识别和交换像素。
如上所述，在方法步骤S1中提供物体125的至少一个第一图像610。而且，在方法步骤S2中提供物体125的至少一个第二图像611。在根据本发明的方法的实施例中，在方法步骤S1中提供物体125的若干个第一图像610。可以使用SEM 100和/或通过将物体125的若干个第一图像610从数据库129加载到图像处理装置123中来生成物体125的若干个第一图像610。数据库129的内容可以由SEM 100的制造商和/或由SEM 100的用户提供。而且，在根据本发明的方法的实施例中，在方法步骤S2中提供物体125的若干个第二图像611。可以使用SEM 100和/或通过将物体125的若干个第二图像611从数据库129加载到图像处理装置123中来生成物体125的若干个第二图像611。数据库129的内容可以由SEM 100的制造商和/或由SEM 100的用户提供。另外，生成若干个第三图像612和若干个第四图像613。关于生成第三图像612和第四图像613进行的陈述经必要修改也适用于生成若干个第三图像612和若干个第四图像613。
如图8所示，方法步骤S7提供了，训练包括SEM 100的处理器的处理器单元128。使用所生成的(多个)第三图像612和所生成的(多个)第四图像613中的至少一项来训练处理器单元128以用于识别降噪函数。换言之，所生成的(多个)第三图像612和/或所生成的(多个)第四图像613被用作处理器单元128的输入。处理器单元128计算可以用于对通过使用SEM 100生成的任何图像进行去噪的降噪函数。训练处理器单元128可以包括使用机器学习系统，例如，噪声-噪声机器学习系统。机器学习系统是以下中的至少一项：人工神经网络、支持向量机、贝叶斯网络、随机决策森林和关联规则学习。现在将关于使用人工神经网络来描述根据本发明的方法的示例性实施例。
图19示意性地示出了在方法步骤7中训练处理器单元128的第一实施例。方法步骤S7包括将在下文解释的方法步骤S7A至S7D。
在方法步骤S7A中，使用人工神经网络(例如图2所示的人工神经网络900)对所生成的第三图像612进行去噪。在开始时，人工神经网络900的每个神经元800的加权因子是随机选择的或基于先前的经验来选择的。所生成的第三图像612的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的第三图像612的像素数据。在方法步骤S7B中，将所生成的第三图像612与经去噪的第三图像612进行比较。而且，在方法步骤S7C中，计算所生成的第三图像612与经去噪的第三图像612之间的差，其中，可以使用损失函数来计算该差。特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第三图像612具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变了加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于生成另一个第三图像612。所生成的另一个第三图像612的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的另一个第三图像612的像素数据。在方法步骤S7B中，将所生成的另一个第三图像612与经去噪的另一个第三图像612进行比较。而且，在方法步骤S7C中，计算所生成的另一个第三图像612与经去噪的另一个第三图像612之间的差，其中，可以使用损失函数来计算该差。
如果该差增大，则特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对所生成的经去噪的另一个第三图像612具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于在训练处理器单元128期间生成另一个第三图像612，并且将其用于在方法步骤S7中训练处理器单元128。
如果该差减小，则该方法提供了朝向实现良好质量的经去噪图像的正确方向的加权因子和/或偏置值。重复方法步骤S1至S7。如果该差达到平稳状态，则经去噪的另一个第三图像612中的噪声足够低。以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置加权因子和/或偏置值。相应地，加权因子和/或偏置值是降噪函数的基础，该降噪函数可以在方法步骤S8中存储在数据库129中。
图20示意性地示出了在方法步骤7中训练处理器单元128的第二实施例。除了方法步骤S7A至S7D之外，方法步骤S7包括将在下文解释的方法步骤S7E至S7G。
在方法步骤S7E中，使用人工神经网络(例如图2所示的人工神经网络900)对所生成的第四图像613进行去噪。如果人工神经网络900是首次使用，则随机选择人工神经网络900的每个神经元800的加权因子和/或偏置值。如果例如关于所生成的第三图像612已经使用过人工神经网络900，则使用人工神经网络900的每个神经元800的已经设置的加权因子和/或设置的偏置值。所生成的第四图像613的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的第四图像613的像素数据。在方法步骤S7F中，将所生成的第四图像613与经去噪的第四图像613进行比较。而且，在方法步骤S7G中，计算所生成的第四图像613与经去噪的第四图像613之间的差，其中，可以使用损失函数来计算该差。特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第四图像613具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变了加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于生成另一个第四图像613。所生成的另一个第四图像613的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的另一个第四图像613的像素数据。在方法步骤S7F中，将所生成的另一个第四图像613与经去噪的另一个第四图像613进行比较。而且，在方法步骤S7G中，计算所生成的另一个第四图像613与经去噪的另一个第四图像613之间的差，其中，可以使用损失函数来计算该差。
如果该差增大，则特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的另一个第四图像613具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于在训练处理器单元128期间生成另一个第四图像613，并且将其用于在方法步骤S7中训练处理器单元128。
如果该差减小，则该方法提供了朝向实现良好质量的经去噪图像的正确方向的加权因子和/或偏置值。重复方法步骤S1至S7。如果该差达到平稳状态，则噪声足够低。以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置加权因子和/或偏置值。相应地，加权因子和/或偏置值是降噪函数的基础，该降噪函数可以在方法步骤S8中存储在数据库129中。
图21示出了根据本发明的方法的进一步实施例。在方法步骤S7H中，使用人工神经网络(例如图2所示的人工神经网络900)对所生成的第三图像612和所生成的第四图像613进行去噪。如果人工神经网络900是首次使用，则随机选择人工神经网络900的每个神经元800的加权因子和/或偏置值。如果例如关于所生成的第三图像612已经使用过人工神经网络900，则使用人工神经网络900的每个神经元800的已经设置的加权因子和/或设置的偏置值。所生成的第三图像612和所生成的第四图像613的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的第三图像612和经去噪的第四图像613的像素数据。在方法步骤S7I中，将所生成的第三图像612与经去噪的第四图像进行比较。而且，将所生成的第四图像613与经去噪的第三图像612进行比较。此外，将经去噪的第三图像612与经去噪的第四图像613进行比较。
而且，在方法步骤S7J中，计算所生成的第三图像612与经去噪的第四图像613之间的差。而且，计算所生成的第四图像613与经去噪的第三图像612之间的差。此外，计算经去噪的第三图像612与经去噪的第四图像613之间的差。可以使用损失函数来计算该差。损失函数取决于所生成的第三图像612、经去噪的第三图像612、所生成的第四图像613和经去噪的第四图像613。例如，可以使用以下损失函数：
L＝α1La(第三图像，经去噪的第四图像)+α2Lb(第四图像，经去噪的第三图像)+α3Lc(经去噪的第三图像，经去噪的第四图像)
其中，α1、α2、α3、a、b和c是可以被适当地选择的变量。
特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第三图像612和经去噪的第四图像613具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变了加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于生成另一个第三图像612和另一个第四图像613。所生成的另一个第三图像612和所生成的另一个第四图像613的像素数据被用作第一层的神经元800的输入。人工神经网络900的输出是经去噪的另一个第三图像612和经去噪的另一个第四图像613的像素数据。在方法步骤S7J中，计算所生成的另一个第三图像612与经去噪的另一个第四图像613之间的差。而且，计算所生成的另一个第四图像613与经去噪的另一个第三图像612之间的差。此外，计算经去噪的另一个第三图像612与经去噪的另一个第四图像613之间的差。可以使用上述损失函数来计算该差。
如果根据上述损失函数的差增大，则特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的另一个第三图像612和经去噪的另一个第四图像613具有显著贡献的那些神经元800。以使得损失函数最小化的方式来改变所有神经元800的所有加权因子和/或偏置值。换言之，以使得向最陡梯度下降或类似下降的方向迈进的方式来执行上述加权因子和/或偏置值的改变。在改变加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于在训练处理器单元128期间生成另一个第三图像612和另一个第四图像613，并且将其用于在方法步骤S7中训练处理器单元128。
如果根据上述损失函数的差减小，则该方法提供了朝向实现良好质量的经去噪图像的正确方向的加权因子和/或偏置值。重复方法步骤S1至S7。如果该差达到平稳状态，则噪声足够低。以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置加权因子和/或偏置值。相应地，加权因子和/或偏置值是降噪函数的基础，该降噪函数可以在方法步骤S8中存储在数据库129中。
根据本发明的方法的所有实施例通过重复方法步骤S1至S7来提供迭代。在每次迭代中，加权因子和/或偏置值都被改变。换言之，特别地使用本领域中已知的反向传播算法来识别人工神经网络900中的对经去噪的第三图像612和经去噪的第四图像613具有显著贡献的那些神经元800。所有神经元800的所有加权因子和/或偏置值都被改变。在改变加权因子和/或偏置值之后，重复方法步骤S1至S6，以用于在训练处理器单元128期间生成另一个第三图像612和另一个第四图像613，并且将其用于在方法步骤S7中训练处理器单元128。
如果根据损失函数L的差减小，则该方法提供了朝向实现良好质量的经去噪图像的正确方向的加权因子和/或偏置值。重复方法步骤S1至S7。如果该差达到平稳状态，则噪声足够低。以使得具有相似噪声特性并且其数据用作人工神经网络900的输入的随机图像被适当地去噪的方式来设置加权因子和/或偏置值。相应地，神经元800的加权因子和/或偏置值是降噪函数的基础，该降噪函数可以在方法步骤S8中存储在数据库129中。
图22示出了根据本发明的方法的实施例的其他方法步骤。这些其他方法步骤可以在执行方法步骤S8之后执行。在方法步骤S9中，将降噪函数从呈数据库129形式的存储器单元加载到处理器单元128中。而且，在方法步骤S10中，使用降噪函数来对通过使用SEM 100对物体进行成像而生成的其他图像进行去噪。
本发明提供了在训练机器学习系统(例如，人工神经网络900)以识别降噪函数期间生成图像的简单方式。通过增加用于训练机器学习系统的图像数量，提高了降噪函数的质量。因此，当在任何有噪图像上使用降噪函数时，对有噪图像进行去噪的质量均高于现有技术。此外，本发明提供了在训练机器学习系统期间的相当短的时间(例如几分钟)内生成图像。与现有技术相比，这根本不费时。
根据本发明的方法可以由束装置的制造商和/或由束装置的用户执行。
本文中讨论的各种实施例可以结合本文中描述的系统以适当的组合进行彼此组合。另外，在某些情况下，可以在适当的地方修改流程图、流程和/或所描述的流程处理中的步骤顺序。进一步地，本文中描述的系统的各个方面可以使用软件、硬件、软件与硬件的组合和/或具有所描述特征和执行所描述功能的其他计算机实施模块或装置来实施。该系统可以进一步包括用于提供与用户和/或与其他计算机的适当界面的显示器和/或其他计算机部件。
本文中描述的系统的方面的软件实施方式可以包括可执行代码，其存储在计算机可读介质中并且由一个或更多个处理器执行。计算机可读介质可以包括易失性存储器和/或非易失性存储器，并且可以包括例如计算机硬盘驱动器、ROM、RAM、闪速存储器、云存储、便携式计算机存储介质，诸如CD-ROM、DVD-ROM、SO卡、闪存驱动器或其他具有例如通用串行总线(USB)接口的驱动器，和/或可执行代码可以存储在其上并由处理器执行的任何其他适当的有形或非暂时性计算机可读介质或计算机存储器。本文中描述的系统可以结合任何适当的操作系统使用。
在本说明书、附图和权利要求中披露的本发明的特征对于在本发明的各个实施例中实现本发明而言可能是必不可少的，无论是单独地还是以任意的组合。本发明不限于所描述的实施例。考虑到本领域相关技术人员的知识，可以在权利要求的范围内对其进行改变。
*******
附图标记清单
100 SEM
101 电子源
102 引出电极
103 阳极
104 束引导管
105 第一聚束透镜
106 第二聚束透镜
107 第一物镜
108 第一光圈单元
108A 第一光圈
109 第二光圈单元
110 极片
111 线圈
112 单电极
113 管状电极
114 物体载台
115 扫描装置
116 第一检测器
116A 相反场网格
117 第二检测器
118 第二光圈
119 室检测器
120 物体室
121 第三检测器
123 图像处理装置
124 监视器
125 物体
126 调整机构
127 驱动单元
128 具有处理器的处理器单元
129 数据库
135 高电压控制单元
136 电流控制单元
137 消象散器
139 聚束控制单元
140 扫描控制单元
141 消象散器控制单元
200 组合装置
201 物体室
202 真空系统
203 阀
204 真空控制单元
300 离子束装置
301 离子束发生器
302 离子束装置中的引出电极
303 聚束透镜
304 第二物镜
306 可调或可选光圈单元
307 第一电极布置
308 第二电极布置
400 具有校正器单元的粒子束装置
401 粒子束柱
402 电子源
403 引出电极
404 阳极
405 第一静电透镜
406 第二静电透镜
407 第三静电透镜
408 磁偏转单元
409 第一静电束偏转单元
409A 第一多极单元
409B 第二多极单元
410 束偏转装置
411A 第一磁扇区
411B 第二磁扇区
411C 第三磁扇区
411D 第四磁扇区
411E 第五磁扇区
411F 第六磁扇区
411G 第七磁扇区
413A 第一反射镜电极
413B 第二反射镜电极
413C 第三反射镜电极
414 静电反射镜
415 第四静电透镜
416 第二静电束偏转单元
416A 第三多极单元
416B 第四多极单元
417 第三静电束偏转单元
418 第五静电透镜
418A 第五多极单元
418B 第六多极单元
419 第一分析检测器
420 束引导管
421 物镜
422 磁透镜
423 第六静电透镜
424 物体载台
425 物体
426 物体室
427 检测束路径
428 第二分析检测器
429 扫描装置
432 另外的磁偏转元件
500 辐射检测器
600 光显微镜
601 光束发生器
602 光显微镜的物镜
610 第一图像
611 第二图像
612 第三图像
613 第四图像
709 第一束轴线
710 第二束轴线
800 神经元
900 人工神经网络
OA 光轴
OA1 第一光轴
OA2 第二光轴
OA3 第三光轴
S1至S10 方法步骤
S7A至S7G 方法步骤
Figure BDA0002946717920000441
激活函数
Figure BDA0002946717920000442
激活函数
Figure BDA0002946717920000443
激活函数
Figure BDA0002946717920000444
激活函数
Figure BDA0002946717920000445
激活函数
Figure BDA0002946717920000446
激活函数
Figure BDA0002946717920000447
激活函数
Figure BDA0002946717920000448
激活函数
Figure BDA0002946717920000449
激活函数
Figure BDA00029467179200004410
激活函数
x1、x2、x3 输入
w1、w2、w3 加权因子
*******

Claims (19)

1.一种用于处理通过使用束装置(100，200，400，600)对物体(125，425)进行成像而生成的图像(610，611，612，613)的方法，该方法包括以下步骤：
-提供该物体(125，425)的至少一个第一图像(610)，其中，该第一图像(610)包括n个像素P11至P1n，其中n≥2，其中n为整数，其中这n个像素P11至P1n中的每个像素P1i相对于第一图像坐标系被布置在该第一图像(610)中的位置PL1i处，其中i是1≤i≤n的整数，并且其中，该第一图像(610)中的每个位置PL1i仅包括这n个像素P11至P1n中的单个像素；
-提供该物体(125，425)的至少一个第二图像(611)，其中，该第二图像(611)包括m个像素P21至P2m，其中m≥2，其中m为整数，其中这m个像素P21至P2m中的每个像素P2j相对于第二图像坐标系被布置在该第二图像(611)中的位置PL2j处，其中j是1≤j≤m的整数，并且其中，该第二图像(611)中的每个位置PL2j仅包括这m个像素P21至P1m中的单个像素；
-识别该第一图像(610)的这n个像素P11至P1n中的至少一个像素P1i，其中，所识别像素P1i位于该第一图像(610)中的位置PL1i处；
-识别该第二图像(611)的这m个像素P21至P2m中的至少一个像素P2j，其中，所识别像素P2j位于该第二图像(611)中的位置PL2j处；
-通过使用该第二图像(611)并通过将该第一图像(610)的所识别像素P1i引入到该第二图像(611)中的所识别像素P2j的位置PL2j处来生成至少一个第三图像(612)，和/或通过使用该第一图像(610)并通过将该第二图像(611)的所识别像素P2j引入到该第一图像(610)中的所识别像素P1i的位置PL1i处来生成至少一个第四图像(613)；
-使用所生成的第三图像(612)和所生成的第四图像(613)中的至少一项来训练处理器单元(128)以用于识别降噪函数；以及
-将所识别的降噪函数保存在存储器单元(129)中。
2.根据权利要求1所述的方法，进一步包括以下中的至少一项：
-识别该第一图像(610)的这n个像素P11至P1n中的像素P1i的步骤包括以下之一：(i)随机地识别该第一图像(610)的这n个像素P11至P1n中的像素P1i，(ii)根据第一随机模式来识别该第一图像(610)的这n个像素P11至P1n中的像素P1i，以及(iii)根据第一给定模式来识别该第一图像(610)的这n个像素P11至P1n中的像素P1i；
-识别该第二图像的这m个像素P21至P2m中的像素P2j的步骤包括以下之一：(i)随机地识别该第二图像(611)的这m个像素P21至P2m中的像素P2j，(ii)根据第二随机模式来识别该第二图像(611)的这m个像素P21至P2m中的像素P2j，以及(iii)根据第二给定模式来识别该第二图像(611)的这m个像素P21至P2m中的像素P2j。
3.根据权利要求1或2所述的方法，其中，该第一图像(610)的这n个像素P11至P1n中的所识别像素P1i是所识别的第一像素P1i，其中，该第二图像(611)的这m个像素P21至P2m中的所识别像素P2j是所识别的第一像素P2j，并且其中，该方法进一步包括：
-识别该第一图像(610)的这n个像素P11至P1n中的至少一个第二像素P1o，其中，所识别的第二像素P1o位于该第一图像(610)中的位置PL1o处，其中o是1≤o≤n且o≠i的整数；
-识别该第二图像(611)的这m个像素P21至P2m中的至少一个第二像素P2p，其中，所识别的第二像素P2p位于该第二图像(611)中的位置PL2p处，其中p是1≤p≤m且p≠j的整数；
其中
-生成该第三图像(612)的步骤包括将该第一图像(610)的所识别的第二像素P1o引入到该第二图像(611)中的所识别的第二像素P2p的位置PL2p处；并且其中，
-生成该第四图像(613)的步骤包括将该第二图像(611)的所识别的第二像素P2p引入到该第一图像(610)中的所识别的第二像素P1o的位置PL1o处。
4.根据权利要求3所述的方法，进一步包括以下中的至少一项：
-识别该第一图像(610)的这n个像素P11至P1n中的第二像素P1o的步骤包括以下之一：(i)随机地识别该第一图像(610)的这n个像素P11至P1n中的第二像素P1o，(ii)根据第三随机模式来识别该第一图像(610)的这n个像素P11至P1n中的第二像素P1o，以及(iii)根据第三给定模式来识别该第一图像(610)的这n个像素P11至P1n中的第二像素P1o；
-识别该第二图像(611)的这m个像素P21至P2m中的第二像素P2p的步骤包括以下之一：(i)随机地识别该第二图像(611)的这m个像素P21至P2m中的第二像素P2p，(ii)根据第四随机模式来识别该第二图像(611)的这m个像素P21至P2m中的第二像素P2p，以及(iii)根据第四给定模式来识别该第二图像(611)的这m个像素P21至P2m中的第二像素P2p。
5.根据权利要求3所述的方法，进一步包括以下中的至少一项：
-以使得该第一图像(610)的这n个像素P11至P1n中的第一像素P1i和该第一图像(610)的这n个像素P11至P1n中的第二像素P1o彼此相邻的方式来识别该第一图像(610)的这n个像素P11至P1n中的第一像素P1i和该第一图像(610)的这n个像素P11至P1n中的第二像素P1o；
-以使得该第二图像(611)的这m个像素P21至P2m中的第一像素P2j和该第二图像(611)的这m个像素P21至P2m中的第二像素P2p彼此相邻的方式来识别该第二图像(611)的这m个像素P21至P2m中的第一像素P2j和该第二图像(611)的这m个像素P21至P2m中的第二像素P2p。
6.根据前述权利要求之一所述的方法，进一步包括：
-训练该处理器单元(128)的步骤包括使用机器学习系统(900)。
7.根据权利要求6所述的方法，其中，该机器学习系统(900)是以下中的至少一项：人工神经网络、支持向量机、贝叶斯网络、随机决策森林和关联规则学习。
8.根据前述权利要求之一所述的方法，进一步包括以下中的一项：
(i)训练该处理器单元(128)的步骤包括：(a)对所生成的第三图像(612)进行去噪并生成经去噪的第三图像(612)；(b)将所生成的第三图像(612)与所生成的经去噪的第三图像(612)进行比较；(c)计算所生成的第三图像(612)与所生成的经去噪的第三图像(612)之间的第一差；以及(d)使用所计算的第一差来识别该降噪函数；
(ii)训练该处理器单元(128)的步骤包括：(a)对所生成的第三图像(612)进行去噪并生成经去噪的第三图像(612)；(b)将所生成的第三图像(612)与所生成的经去噪的第三图像(612)进行比较；(c)使用第一损失函数来计算所生成的第三图像(612)与所生成的经去噪的第三图像(612)之间的第一差；以及(d)使用所计算的第一差来识别该降噪函数。
9.根据前述权利要求之一所述的方法，进一步包括以下中的一项：
(i)训练该处理器单元(128)的步骤包括：(a)对所生成的第四图像(613)进行去噪并生成经去噪的第四图像(613)；(b)将所生成的第四图像(613)与所生成的经去噪的第四图像(613)进行比较；(c)计算所生成的第四图像(613)与所生成的经去噪的第四图像(613)之间的第二差；以及(d)使用所计算的第二差来识别该降噪函数；
(ii)训练该处理器单元(128)的步骤包括：(a)对所生成的第四图像(613)进行去噪并生成经去噪的第四图像(613)；(b)将所生成的第四图像(613)与所生成的经去噪的第四图像(613)进行比较；(c)使用第二损失函数来计算所生成的第四图像(613)与所生成的经去噪的第四图像(613)之间的第二差；以及(d)使用所计算的第二差来识别该降噪函数。
10.根据前述权利要求之一所述的方法，进一步包括：
-训练该处理器单元(128)的步骤包括使用噪声-噪声机器学习系统(900)。
11.根据前述权利要求之一所述的方法，进一步包括以下中的一项：
(i)使用该降噪函数对通过使用该束装置(100，200，400，600)对该物体(125，425)进行成像而生成的其他图像进行去噪；
(ii)将该降噪函数从该存储器单元(129)加载到该处理器单元(128)中，并使用该降噪函数对通过使用该束装置(100，200，400，600)对该物体(125，425)进行成像而生成的其他图像进行去噪。
12.一种计算机程序产品，包括程序代码，该程序代码被加载到处理器(128)中并且在被执行时以执行根据前述权利要求之一所述的方法的方式来控制图像处理装置(123)。
13.一种图像处理装置(123)，包括至少一个存储器单元(129)和具有处理器的处理器单元(128)，根据权利要求12所述的计算机程序产品被加载到该处理器中。
14.一种用于对物体(125，425)进行成像和/或分析的束装置(100，200，400，600)，该束装置包括
-至少一个束发生器(101，301，402，601)，该至少一个束发生器用于生成束；以及
-根据权利要求13所述的至少一个图像处理装置(123)。
15.根据权利要求14所述的束装置(600)，其中，该束发生器(601) 是用于生成光束的光束发生器。
16.根据权利要求15所述的束装置(600)，其中，该光束是激光束。
17.根据权利要求14至16之一所述的束装置(100，200，400)，其中，该束装置(100，200，400)是粒子束装置，其中，该束发生器是用于生成具有带电粒子的一次粒子束的粒子束发生器(101，301，402)，并且其中，该束装置(100，200，400)进一步包括：
-至少一个物镜(107，304，421)，该至少一个物镜用于将该一次粒子束聚焦到该物体(125，425)上；以及
-至少一个检测器(116，117，119，121，419，428，500)，该至少一个检测器用于检测相互作用粒子和/或相互作用辐射，这些相互作用粒子和相互作用辐射是在该一次粒子束撞击在该物体(125，425)上时生成的。
18.根据权利要求17所述的束装置(200)，其中，该粒子束发生器(101)是第一粒子束发生器，其中，该一次粒子束是具有第一带电粒子的第一一次粒子束，其中，该物镜(107)是用于将该第一一次粒子束聚焦到该物体(125)上的第一物镜，并且其中，该束装置(200)进一步包括：用于生成具有第二带电粒子的第二一次粒子束的第二粒子束发生器(301)以及用于将该第二一次粒子束聚焦到该物体(125)上的第二物镜(304)。
19.根据权利要求17或18所述的束装置(100，200，400)，其中，该束装置(100、200、400)是以下中的至少一种：电子束装置和离子束装置。
CN202110198664.3A 2020-02-21 2021-02-22 用于处理图像的方法、计算机程序产品、图像处理装置 Pending CN113297896A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020104704.5A DE102020104704A1 (de) 2020-02-21 2020-02-21 Verfahren zur Verarbeitung von Bildern, Computerprogrammprodukt, Bildbearbeitungsvorrichtung und Strahlvorrichtung zum Ausführen des Verfahrens
DE102020104704.5 2020-02-21

Publications (1)

Publication Number Publication Date
CN113297896A true CN113297896A (zh) 2021-08-24

Family

ID=77176396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198664.3A Pending CN113297896A (zh) 2020-02-21 2021-02-22 用于处理图像的方法、计算机程序产品、图像处理装置

Country Status (2)

Country Link
CN (1) CN113297896A (zh)
DE (1) DE102020104704A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110110566A1 (en) * 2009-11-11 2011-05-12 Jonathan Sachs Method and apparatus for reducing image noise
CN104272323A (zh) * 2013-02-14 2015-01-07 Lsi公司 使用至少一个附加图像的图像增强和边缘验证方法和设备
US20170336335A1 (en) * 2016-05-20 2017-11-23 Carl Zeiss Microscopy Gmbh Generating an image of an object or a representation of data about the object
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10107910A1 (de) 2001-02-20 2002-08-22 Leo Elektronenmikroskopie Gmbh Teilchenstrahlsystem mit einem Spiegelkorrektor
US10803984B2 (en) 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
CN109118435A (zh) 2018-06-15 2019-01-01 广东工业大学 一种基于PReLU的深度残差卷积神经网络图像去噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110110566A1 (en) * 2009-11-11 2011-05-12 Jonathan Sachs Method and apparatus for reducing image noise
CN104272323A (zh) * 2013-02-14 2015-01-07 Lsi公司 使用至少一个附加图像的图像增强和边缘验证方法和设备
US20170336335A1 (en) * 2016-05-20 2017-11-23 Carl Zeiss Microscopy Gmbh Generating an image of an object or a representation of data about the object
CN108830827A (zh) * 2017-05-02 2018-11-16 通用电气公司 神经网络训练图像生成系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王坤峰: "平行图像:图像生成的一个新型理论框架", 《模式识别与人工智能》, vol. 30, no. 7, 31 July 2017 (2017-07-31), pages 577 - 587 *

Also Published As

Publication number Publication date
DE102020104704A1 (de) 2021-08-26

Similar Documents

Publication Publication Date Title
KR101364672B1 (ko) 하전입자선장치, 그 장치를 이용한 비점수차 조정방법 및그 장치를 이용한 디바이스제조방법
CN107301940B (zh) 用于分析物体的方法以及执行该方法的带电粒子束装置
JP7336926B2 (ja) 性能が向上されたマルチ電子ビーム撮像装置
KR20210076117A (ko) 하전 입자 빔 디바이스, 필드 곡률 보정기, 및 하전 입자 빔 디바이스를 동작시키는 방법들
US10522320B2 (en) Charged particle beam device and method for adjusting charged particle beam device
JP7181305B2 (ja) 信号電子検出性能を向上させたマルチビーム検査装置
JP2009218079A (ja) 走査型透過電子顕微鏡の収差補正装置及び収差補正方法
TW202129680A (zh) 判定帶電粒子束工具所獲得之影像中之像差的方法、判定帶電粒子束工具之設置的方法、及帶電粒子束工具
US10504691B2 (en) Method for generating a composite image of an object and particle beam device for carrying out the method
JP4287850B2 (ja) 荷電粒子ビーム応用装置
US11456149B2 (en) Methods and systems for acquiring 3D diffraction data
TW202113349A (zh) 在多重帶電粒子束檢測中之串擾消除
US20170162364A1 (en) Detecting charged particles
CN113297896A (zh) 用于处理图像的方法、计算机程序产品、图像处理装置
EP4167265A1 (en) Electron optical module for providing an off-axial electron beam with a tunable coma
CN112083195B (zh) 操作粒子束装置的方法和执行该方法的粒子束装置
US10665423B2 (en) Analyzing energy of charged particles
Munro Electron and ion optical design software for integrated circuit manufacturing equipment
JP2018190731A (ja) 粒子ビームを生成するための粒子源及び粒子光学装置
JP7379712B2 (ja) エネルギーフィルタ、およびそれを備えたエネルギーアナライザおよび荷電粒子ビーム装置
KR102565911B1 (ko) 하전 입자 현미경에서의 공초점 이미징 기술
US11092557B2 (en) Method for generating a result image
JP6876519B2 (ja) 荷電粒子線装置
Radlička Wave optical calculation of probe size in low energy scanning electron microscope
JP2022135215A (ja) 学習器の学習方法、及び画像生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination