CN108878239B - 带电粒子显微镜中的图像处理 - Google Patents

Abstract

一种使用带电粒子显微镜的方法，所述带电粒子显微镜包括：‑源，用于产生带电粒子的射束；‑样品保持器，用于保持样品；‑光照器，用于利用所述带电粒子辐照所述样品；‑检测器，用于检测响应于所述辐照而从样品放射的辐射；‑控制器，用于控制显微镜的操作的至少一些方面，所述方法包括以下步骤：‑使用所述检测器来采集样品的给定部分的相继的一系列分量图像{I₁,…,I_n,…,I_N}；‑组合所述分量图像以便聚集复合图像，进一步包括在所述组合步骤之前执行的以下步骤：‑接连地量化每一个分量图像，并且将它存储在存储器中；‑针对每一个经量化的分量图像记录每像素的量化误差，以及针对经量化的分量图像{I₁,…,I_n}保存每像素的累积量化误差的运转记录T_n；‑当针对给定像素量化下一分量图像I_n+1时，选择将趋于避免相对于T_n而进一步增加T_n+1的量化极性，使得：●如果T_n为正，那么T_n+1将更负；●如果T_n为负，那么T_n+1将更正；●如果T_n为零，那么允许T_n+1为正、负或零。

Description

带电粒子显微镜中的图像处理

技术领域

本发明涉及使用带电粒子显微镜的方法，以及在其中可以执行这样的方法的带电粒子显微镜。

本发明涉及使用带电粒子显微镜的方法，所述带电粒子显微镜包括：

- 源，用于产生带电粒子的射束；

- 样品保持器，用于保持样品；

- 光照器，用于利用所述带电粒子辐照所述样品；

- 检测器，用于检测响应于所述辐照而从样品放射的辐射；

- 控制器，用于控制显微镜的操作的至少一些方面，

所述方法包括以下步骤：

- 使用所述检测器来采集样品的给定部分的相继的一系列分量图像{I₁,…,I_n,…,I_N}；

- 组合所述分量图像以便聚集复合图像。

本发明还涉及在其中可以执行这样的方法的带电粒子显微镜。

背景技术

带电粒子显微镜是用于对微观物体进行成像的公知且越来越重要的技术，特别地，以电子显微镜的形式。在历史上，基本种类的电子显微镜已经经历演变而成为数个公知的装置类别，诸如，透射电子显微镜（TEM）、扫描电子显微镜（SEM）和扫描透射电子显微镜（STEM），以及还演变成为各种子类别，诸如，所谓的“双射束”工具（例如，FIB-SEM），其传统上采用“加工”聚焦离子射束（FIB），从而允许支持性活动，诸如，例如离子射束研磨或者离子射束诱导沉积（IBID）。更具体地：

- 在SEM中，通过扫描电子射束对样品的辐照促成来自样品的“辅助”辐射的放射，例如，以二次电子、背向散射电子、X射线和阴极发光（红外、可见和/或紫外光子）的形式；该放射辐射的一个或多个分量然后被检测并且用于图像累积目的。

- 在TEM中，将用于辐照样品的电子射束选择为具有足够高的能量以便穿透样品（其为此目的将一般地比SEM样品的情况下更薄）；从样品放射的透射电子然后可以用于创建图像。当在扫描模式中操作这样的TEM（因而变为STEM）时，所讨论的图像将在辐照电子射束的扫描运动期间累积。

关于此处阐述的话题中的一些的更多信息可以例如从以下Wikipedia链接搜集：

en.wikipedia.org/wiki/Electron_microscope

en.wikipedia.org/wiki/Scanning_electron_microscope

en.wikipedia.org/wiki/Transmission_electron_microscopy

en.wikipedia.org/wiki/Scanning_transmission_electron_microscopy。

作为将电子用作辐照射束的可替换形式，还可以使用其它类别的带电粒子来执行带电粒子显微术。在此方面中，短语“带电粒子”应当宽泛地解读为涵盖例如电子、正离子（例如，Ga或He离子）、负离子、光子和正电子。至于基于非电子的带电粒子显微术，一些另外的信息可以例如从诸如以下之类的参考资料来搜集：

en.wikipedia.org/wiki/Focused_ion_beam

en.wikipedia.org/wiki/Scanning_Helium_Ion_Microscope

- W.H. Escovitz, T.R. Fox和R. Levi-Setti的Scanning Transmission Ion Microscope with a Field Ion Source, Proc. Nat. Acad. Sci. USA 72(5), 1826-1828页（1975）.

www.ncbi.nlm.nih.gov/pubmed/22472444。

发明内容

应当指出，除成像和执行（局部）表面改性（例如，研磨、蚀刻、沉积等）之外，带电粒子显微镜还可以具有其它功能，诸如，执行分光术、检查衍射图等。

在所有情况下，带电粒子显微镜（CPM）将至少包括以下组件：

- 粒子源，诸如，W或LaB₆源、在电子的情况下肖特基枪或冷场发射枪（CFEG）、或者例如在离子的情况下液态金属离子源（LMIS）或纳米孔径离子源（NAIS）。

- 光照器，所述光照器服务于操控来自源的“原始”辐射射束并且在其上执行某些操作，诸如，聚焦、像差缓和、剪裁（利用隔板）、滤波等。它一般将包括一个或多个（带电粒子）透镜，并且也可以包括其它类型的（粒子）光学组件。如果期望，光照器可以提供有偏转器系统，可以调用所述偏转器系统以便使其出射射束跨所研究的样品执行扫描运动。

- 样品保持器，在所述样品保持器上可以保持和定位（例如，倾斜、旋转）研究中的样品。如果期望，该保持器可以移动以便引起样品关于射束的扫描运动。一般地，这样的样品保持器将连接到定位系统。当设计为保持低温样品时，样品保持器将包括用于将所述样品维持在低温下的构件，例如，使用适当连接的致冷剂桶。

- 检测器（用于检测从受辐照的样品放射的辐射），所述检测器可以在本质上是单式的或者组合/分布式的，并且取决于所检测的辐射，所述检测器可以采取许多不同的形式。示例包括光电二极管、CMOS检测器、CCD检测器、光伏电池、X射线检测器（诸如，硅漂移检测器和Si（Li）检测器）等。一般而言，CPM可以包括若干不同类型的检测器，可以在不同情况下调用所述若干不同类型检测器的选集。

在双射束显微镜的特定情况下，将存在（至少）两个源/光照器（粒子-光学柱体），以用于产生两种不同类别的带电粒子。常见地，（竖直布置的）电子柱体将用于对样品成像，并且（以一角度布置的）离子柱体可以用于对样品（并发地）修改（加工/处理）和/或成像，由此样品保持器可以以多个自由度定位以便向所采用的电子/离子射束适当地“呈现”样品的表面。

在透射型显微镜（诸如例如（S）TEM）的情况下，CPM将具体包括：

- 成像系统（成像粒子-光学柱体），所述成像系统基本上取得透射通过样品（平面）的带电粒子并且将它们引导（聚焦）到分析装置上，诸如，检测/成像设备、分光镜装置（诸如EELS设备：EELS=电子能量损耗光谱）等。如以上所提及的光照器，成像系统还可以执行其它功能，诸如，像差缓和、剪裁、滤波等，并且它一般将包括一个或多个带电粒子透镜和/或其它类型的粒子-光学组件。

在下文中，本发明可以——通过示例的方式——有时候在电子显微镜的具体上下文中进行阐述；然而，这样的简化仅意图用于清楚/说明性目的，并且不应当解释为限制性的。

CPM中的图像的采集一般是相对复杂的过程，其中必须允许各种（竞争性）因素。例如，样品典型地遭受作为被带电粒子辐照的结果的辐射损坏，因此常常存在的是（在可能的情况下）针对相对低辐照射束电流/强度的偏好。这进而将降低可用的成像通量，并且因此将趋于不利地影响可得到的信噪比（SNR）。为了解决这些问题，CPM操作员常常选择在相对低的射束强度下射击样品的给定部分的分量图像的相对大系列，并且然后将这些分量图像组合成复合图像，例如，以便平均/提炼出噪声的影响。然而，这样的方案引起技术挑战，因为：

- 一方面，存在存储每一个分量图像（而不是仅仅最终的复合图像）以用于随后参考的期望；

- 存储/检索大量（例如，数百个）这样的图像可能对可用的存储器和处理能力提出巨大需求。

为了解决这些问题，分量图像可以在存储之前通过使它们经受所谓的量化过程而“简化”，这有效地减少了每像素的信息量，并且由此减少要存储/检索的总文件大小。参见例如以下Wikipedia参考：

en.wikipedia.org/wiki/Quantization_(image_processing)。

然而，在实践中，已经发现，这样的经量化的分量图像组合成复合图像可以得到意想不到/令人不满意的结果——特别地，伪影的发生，诸如例如所谓的成带误差。

本发明的目标是解决这个问题。更具体地，本发明的目标是提供一种CPM成像方法，其中，可以以更加令人满意的方式将经量化的分量图像组合成复合图像。特别地，本发明的目标是，这样的复合图像应当经受与现有技术相比减少的图像伪影。

这些和其它目标在如以上开头段落中阐述的方法来实现，所述方法通过在所述组合步骤之前执行的以下步骤来表征：

- 接连地量化每一个分量图像，并且将它存储在存储器中；

- 针对每一个经量化的分量图像记录每像素的量化误差，以及针对经量化的分量图像{I₁,…,I_n}保存每像素的累积量化误差的运转记录（tally）T_n；

- 当针对给定像素量化下一分量图像I_n+1时，选择将趋于避免相对于T_n而进一步增加T_n+1的量化极性，使得：

● 如果T_n为正，那么T_n+1将更负；

● 如果T_n为负，那么T_n+1将更正；

● 如果T_n为零，那么允许T_n+1为正、负或零。

如此处所采用的基本量化概念在图像处理领域中是完善的，并且将由技术人员容易地理解；不管怎样，对于附加信息，可以例如参考以下Wikipedia链接：

en.wikipedia.org/wiki/Quantization_(image_processing)。

为了整齐有序，应当指出的是，如此处所采用的：

- “更负”意味着是更小的正值、零或负值；

- “更正”意味着是更小的负值（更小的绝对值）、零或正值。

尤其，值得提及的是本发明的以下方面：

- 在存储之前量化分量图像极大地减小了每一个图像的文件大小，由此促进了大量分量图像的存储/检索。这丰富了用户在之后的时机随意参考给定分量图像的能力，以及降低针对这样的图像的处理的带宽要求。

- 量化必然地产生与量化过程所固有的“取整”操作相关的逐像素量化误差。取决于给定数字是向上取整还是向下取整，该误差可以具有正或负极性/符号。与人们可能预期的情况相反，发明人已经观察到，当组合（例如，加和）若干个经量化的图像时，其像素间量化误差经常趋于相互加强，而不是趋于抵消掉。这可以带来显著的“随机游动”像素误差，其可以引起如上文所提及的图像伪影。

- 本发明通过明确地削减累积量化误差来对抗该效应。

为此目的，本发明保存每像素的累积量化误差的运转（运行）记录，并且将“操纵”用于分量图像I_n+1中的像素p_ij的取整方向/极性，以便趋于减少源自于之前的图像{I₁,…,I_n}的“实况”记录。以这样的方式，防止失控（runaway）误差，即，人们力求保持用于分量图像的整个系列的最后记录T_n尽可行地接近于零。

- 换言之：本发明将成本函数与量化过程（中的取整误差）相关联，并且力求最小化此成本函数。

在本发明的特定实施例中，量化步骤包括从包含以下的组中选择的动作：

- 浮点值向定点值的转换；

- 具有较高宽度的定点值向具有较低宽度的定点值的转换，

以及其组合。这样的动作有效地“减小”需要针对每一个像素存储的数字的大小，由此减小每图像的总文件大小。技术人员将理解到，定点数的“宽度”是针对其存储所分配的总位数。此方面中的一些背景信息可以从例如以下Wikibooks参考资料来搜集：

en.wikibooks.org/wiki/Floating_Point/Fixed-Point_Numbers。

在本发明的另一个实施例中，在所述量化步骤之前，分量图像中的至少一些经受从包括以下的组中选择的校正（装饰/增强）过程：增益校正、线性化、漂移校正、图像失真或像差的校正、边缘增强及其组合。这样的过程趋于引起如实地呈递/存储图像（相比于原始输入图像）所必需的位数方面的增加，由此进一步增加在存储之前量化这样的经处理的图像的需要。这些过程典型地涉及以下内容：

- 增益校正：可能的是，所采用的检测器/放大器电路的增益将在逐像素的基础上以某种程度发生变化。像素间增益校正可以补偿此效应，并且使有效/合成增益跨检测器的传感器区域均匀化。

- 线性化：可能的是，检测器将具有非线性响应，例如，因为使向给定像素提供的强度加倍将不会导致来自该像素的输出信号的加倍。线性化校正可以补偿这样的效应。

- 漂移校正（配准校正）：在图像序列的采集期间的小位置移动可以导致该序列中的分量图像之间的对应配准误差（例如，偏移）。漂移校正可以用于“对准”序列/堆栈中的分量图像，以便使比较/组合更为一致。

- 像差/失真校正：检测器上游的粒子-光学系统可以引起由检测器捕获的图像中的像差/图像的失真。人们可以针对这样的效应以追溯方式应用校正。

- 边缘增强：图像中的过渡/边缘/轮廓一般在某种程度上由于点扩散函数效应而模糊化。如果期望，可以使用边缘增强算法来减少这样的模糊化。

附图说明

现在将在示例性实施例以及随附示意图的基础上更加详细地阐述本发明，其中：

图1呈递了在其中实现本发明的CPM的实施例的纵向横截面视图；

图2是呈递了本发明的实施例的算法表示的流程图。

在图中，在相关的情况下，可以使用对应附图标记来指示对应部分。

具体实施方式

实施例1

图1（未按比例）是本发明可以在其中实现的带电粒子显微镜M的实施例的高度示意性描绘；更具体地，它示出了透射型显微镜M的实施例，其在该情况下是TEM/STEM（尽管在本发明的上下文中，例如它可以有效地为SEM或者是基于离子的显微镜）。在图中，在真空外罩2内，电子源4产生电子射束B，所述电子射束B沿电子-光学轴线B'传播并且横穿电子-光学光照器6，服务于将电子引导/聚焦到样品S的所选部分（其可以例如是（局部）减薄/平滑化的）上。还描绘了偏转器8，其（尤其）可以用于引起射束B的扫描运动。

将样品S保持在样品保持器H上，所述样品保持器H可以由定位设备/台A以多个自由度定位，所述定位设备/台A移动托架A'，所述保持器H（可移动地）固设到所述托架A'中；例如，样品保持器H可以包括（尤其）可以在XY平面（参见所描绘的笛卡尔坐标系统；典型地，平行于Z并且关于X/Y倾斜的运动也将是可能的）中移动的指部。这样的移动允许通过沿轴线B'（在Z方向上）行进的电子射束B来光照/成像/检查样品S的不同部分（和/或允许执行扫描运动，作为射束扫描的可替换形式）。如果期望，可以将可选的冷却设备（没有描绘）与样品保持器H紧密热学接触，以便将它（以及其上的样品S）维持在例如低温下。

电子射束B将以便于引起各种类型的“受激”辐射从样品B放射的这种方式来与样品S相互作用，包括（例如）二次电子、背向散射电子、X射线和光学辐射（阴极发光）。如果期望，可以在分析设备22的辅助下检测这些辐射类型中的一个或多个，所述分析设备22可能例如是组合的闪烁体/光电倍增管或EDX（能量色散X射线光谱仪）模块；在这样的情况下，可以使用基本上与SEM中相同的原理来构造图像。然而，可替换地或者作为补充，人们可以研究横穿（穿过）样品S、从它离开/放射并且（基本上，尽管一般具有某种偏转/散射）继续沿轴线B'传播的电子。这样的透射电子通量进入成像系统（投影透镜）24，所述成像系统24一般将包括各种各样的静电/磁性透镜、偏转器、校正器（诸如，消象散器）等。在正常（非扫描）TEM模式中，该成像系统24可以将透射电子通量聚焦到荧光屏幕26上，所述荧光屏幕26在期望的情况下可以被收回/撤回（如通过箭头26'示意性指示）以便使它远离轴线B'。样品S（的部分）的图像（或衍射图）将由成像系统24形成在屏幕26上，并且这可以通过位于外罩2的壁的适当部分中的观看口28来观看。用于屏幕26的收回机构可以例如在本质上是机械和/或电气的，并且没有在此处描绘。

作为观看屏幕26上的图像的可替换形式，人们可以替代地利用以下事实：离开成像系统24的电子通量的聚焦深度一般相当大（例如，具有1米的量级）。因此，可以在屏幕26的下游使用各种其它类型的分析装置，诸如：

- TEM相机30。在相机30处，电子通量可以形成静态图像（或者衍射图），所述静态图像（或者衍射图）可以由控制器/处理器20处理并且显示在显示设备（没有描绘）上，所述显示设备诸如例如平板显示器。当不需要时，相机30可以被收回/撤回（如由箭头30'示意性指示）以便使其远离轴线B'。

- STEM相机32。来自相机32的输出可以作为射束B在样品S上的（X、Y）扫描位置的函数来记录，并且可以构造图像，所述图像是来自相机32的输出的作为X、Y的函数的“图”。相机32可以包括具有例如20mm直径的单个像素，如与典型地存在于相机30中的像素的矩阵相对。此外，相机32一般将具有比相机30（例如，每秒10²个点）高得多的采集速率（例如，每秒10⁶个点）。再一次，当不需要时，相机32可以被收回/撤回（如由箭头32'示意性指示）以便使其远离轴线B'（尽管这样的收回例如在甜甜圈形状的圆环暗场相机32的情况下不是必需的；在这样的相机中，当相机没有在使用时，中心孔将允许通量通过）。

- 作为使用相机30或32成像的可替换形式，人们还可以调用分光镜装置34，所述分光镜装置34可以例如是EELS模块。

应当指出，物品30、32和34的次序/位置不是严格的，并且许多可能的变化是可设想到的。例如，分光镜装置34也可以集成到成像系统24中。

要指出，控制器（计算机处理器）20经由控制线路（总线）20'连接到各种所图示的组件。该控制器20可以提供各种各样的功能，诸如，同步动作、提供设定点、处理信号、执行计算、以及在显示设备（未描绘）上显示消息/信息。毋庸赘言，按照期望，（示意性描绘的）控制器20可以（部分地）位于外罩2内部或外部，并且可以具有单片式或复合的结构。

技术人员将理解到，外罩2的内部不必保持在严格的真空下；例如，在所谓的“环境TEM/STEM”中，在外罩2内有意地引入/维持给定气体的本底大气。技术人员还将理解到，在实践中，可以有利的是限制外罩2的体积，使得在可能的情况下，它基本上紧抱轴线B'，采取小管道的形式（例如，具有约1cm的直径），所采用的电子射束穿过所述小管道，但是加宽以便容纳结构，诸如，源4、样品保持器H、屏幕26、相机30、相机32、分光镜装置34等。

在本发明的特定上下文中，处理器20命令TEM相机30以便使用相对低射束电流/剂量速率（例如，每帧每像素0.02个电子）来捕获样品S的给定区域的图像序列（例如，包括约1000个图像）。这些分量图像可以潜在地由处理器20存储在存储器中——以“原始”形式（不改变）和/或以“经校正”的形式（在如上文所阐明的校正过程的应用之后）——但是那将要求每一所存储的图像的相对大量的存储器。为了解决此问题，在存储之前接连地量化序列中的分量图像。依照本发明，在量化过程期间保持并且继续地更新每像素的累积量化误差的运转记录。处理器20中的算法/子例程确保对于给定像素p_ij，当量化（具有序号n+1的）分量图像I_n+1（之前已经量化了分量图像{I₁,…,I_n}（具有相应序号{1,…,n}）并且保存了其累积量化误差（取整误差）的运转记录T_n）时，选择（像素间）量化极性（取整方向），其将趋于避免相对于T_n而增加T_n+1（的非零值）。因此，例如，如果向上取整产生对T_n的值的正贡献，并且向下取整产生对T_n的值的负贡献，并且到量化图像I_n+1的时间针对像素p_ij的T_n具有正值，那么可以选择向下取整以用于I_n+1中的像素p_ij的量化，以便减小T_n的正值——并且反之亦然。此规则的临时例外情况发生于T_n已经等于零时，在该情况下，允许T_n+1采取非零量值，其然后将在量化图像I_n+2等等时进一步减小。此处最终效果在于，到所捕获的序列中的所有图像都已经被量化时，针对每一个像素的最终记录T_N等于零，或者尽可行地接近于零。

图2示出了示意性图示如上文所述的算法的流程图。在该流程图中：

- “RND”指示取整操作（量化）；

- “帧延迟”表示给定序列/堆栈中的接连分量图像（的捕获）之间的时间间隔。

Claims (3)

1.一种使用带电粒子显微镜（M）的方法，所述带电粒子显微镜包括：

- 源（4），用于产生带电粒子的射束（B）；

- 样品保持器（H），用于保持样品（S）；

- 光照器（6），用于利用所述带电粒子辐照所述样品；

- 检测器（22,30,32），用于检测响应于所述辐照而从样品（S）放射的辐射；

- 控制器（20），用于控制显微镜（M）的操作的至少一些方面，

所述方法包括以下步骤：

- 使用所述检测器（22,30,32）来采集样品的给定部分的相继的一系列分量图像{I₁,…,I_n,…,I_N}；

- 组合所述分量图像以便聚集复合图像，其特征在于，在所述组合步骤之前执行的以下步骤：

- 接连地量化每一个分量图像，并且将它存储在存储器中；

- 其中，所述接连地量化每一个分量图像包括：

- 针对每一个经量化的分量图像记录每像素的量化误差，以及针对经量化的分量图像{I₁,…,I_n}保存每像素的累积量化误差的运转记录T_n；

- 当针对给定像素量化下一分量图像I_n+1时，选择将趋于避免相对于T_n而进一步增加T_n+1的量化极性，使得：

如果T_n为正，那么T_n+1将为更小的正值、零或负值；

如果T_n为负，那么T_n+1将为绝对值更小的负值、零或正值；

如果T_n为零，那么允许T_n+1为正、负或零。

2.根据权利要求1所述的方法，其中所述量化步骤涉及从包括以下的组中选择的动作：

- 浮点值向定点值的转换；

- 具有较高宽度的浮点值向具有较低宽度的定点值的转换，

及其组合。

3.根据权利要求1或2所述的方法，其中，在所述量化步骤之前，分量图像中的至少一些经受从包括以下的组中选择的校正过程：增益校正、线性化、漂移校正、图像失真或像差的校正、边缘增强及其组合。

Images