CN113538329A

CN113538329A - 由数据处理设备实施的方法以及使用此类方法检测样品的带电粒子束装置

Info

Publication number: CN113538329A
Application number: CN202110417779.7A
Authority: CN
Inventors: R·舍恩马克尔斯; M·皮门; P·珀托切克
Original assignee: FEI Co
Current assignee: FEI Co
Priority date: 2020-04-20
Filing date: 2021-04-19
Publication date: 2021-10-22
Also published as: US11861817B2; JP2021174544A; EP3901902A1; US20210327677A1; US20240095897A1

Abstract

由数据处理设备实施的方法以及使用此类方法检测样品的带电粒子束装置。本发明涉及一种由数据处理设备实施的方法，其包括以下步骤：接收图像；提供用于所述图像的期望图像质量参数的设定点；及使用图像分析技术处理所述图像以确定所述图像的当前图像质量参数。在所述方法中，将所述当前图像质量参数与所述期望设定点进行比较。基于所述比较，通过使用图像修改技术生成修改后的图像。所述生成包括以下步骤：在所述当前图像质量参数低于所述设定点的情况下根据所述图像质量参数改进所述图像；及在所述当前图像质量参数超过所述设定点的情况下根据所述图像质量参数劣化所述图像。然后输出所述修改后的图像。

Description

由数据处理设备实施的方法以及使用此类方法检测样品的带电粒子束装置

本发明涉及一种由数据处理设备实施的方法。本发明还涉及一种使用此类方法检查样品的带电粒子束装置。

带电粒子显微法，特别是呈电子显微法的形式是众所周知且日益重要的微观物体成像技术。从历史上看，电子显微镜的基本类已演变成许多众所周知的装置种类，如透射电子显微镜（TEM）、扫描电子显微镜（SEM）和扫描透射电子显微镜（STEM），并且还演变成各种亚种，如所谓的“双波束”装置（例如FIB-SEM），其附加地采用“加工”聚焦离子波束（FIB），允许支持活动，如例如离子波束研磨或离子波束诱导沉积（IBID）。技术人员将熟悉不同类型的带电粒子显微法。

在SEM中，扫描电子束对样品的辐照促进“辅助”辐射以二次电子、背散射电子、X射线和阴极发光（红外、可见光和/或紫外光子）的形式从样品发出。可检测此发出辐射的一个或多个分量且将其用于样品分析。

在TEM中，电子束透射穿过样品以在电子束透射穿过样品时通过电子与样品的相互作用形成图像。然后将图像放大并聚焦到成像装置上，所述成像装置例如荧光屏、照相胶片层或传感器，例如连接到电荷耦合装置（CCD）的闪烁器。闪烁器将显微镜中的原电子变换为光子，使得CCD能够检测其。

带电粒子显微法可产生待研究样品的图像。通常需要对获得的图像进行处理。所述处理可包括分析和/或操控所获取的图像。例如，在脑组织的细胞膜的SEM图像中，期望对图像执行分割技术。对于此任务，可使用人工神经网络（ANN）和/或卷积神经网络（CNN）。尽管在不同成像条件下具有相当的稳健性，但如果数据噪声较大，聚焦较弱或以其它方式受到不当仪器条件的影响，则分割质量仍然会下降。这当然是不合需要的，因为其可导致后续错误，包含错误的医疗决策。

克服分析和/或操控结果降级的一种方法是通过使用新条件重新训练网络以解决这些变化。但是，如果网络处于生产（客户）环境中，则这将构成严重的问题，在所述环境中，网络再训练通常不是有效的选择，因为由于计算时间，再训练的成本很高且通常需要用于商品标签的专业输入。

因此，用于图像处理的ANN和CNN的最大挑战之一仍然是其高度依赖于成像条件和/或成像参数的稳定性的事实。

因此，本发明的目的是提供一种可用于解决在图像处理中使用ANN和/或CNN的一个或多个缺点的方法。

为此，提供了一种由数据处理设备实施的方法。本文所定义的方法包括以下步骤：接收图像；提供用于所述图像的期望图像质量参数的设定点；及使用图像分析技术处理所述图像以确定所述图像的当前图像质量参数。然后，将当前图像质量参数与所述期望设定点进行比较。换句话说，提供并分析图像以确定图像相关参数，然后检查所述图像相关参数以查看其是否符合期望质量。基于所述比较结果，通过使用图像修改技术生成修改后的图像。此图像修改技术可包括使用ANN和/或CNN。

如本文所定义，所述生成修改后的图像的步骤包括以下步骤：在所述当前图像质量参数低于所述设定点的情况下根据所述图像质量参数改进所述图像；及在所述当前图像质量参数超过所述设定点的情况下根据所述图像质量参数劣化所述图像。换句话说，基于比较结果，两个动作中的任何一个都是可能的。在第一种情况下，图像质量低于期望值。在此情况下，通过使用图像修改技术来改进图像以确保修改后的图像的图像质量有所提高。在第二种情况下，图像质量高于期望值。在此情况下，通过使用图像修改技术来故意劣化图像以确保修改后的图像的图像质量实际上降低。如本文所定义，修改后的图像随后由ANN和/或CNN输出和分析。从上文可知，在图像集上训练用于分析的相应的ANN和/或CNN，其中图像集中的每个图像大体上都具有期望图像质量参数。

作为实例，如本文所定义的方法可包括提供大体上无噪声的图像的步骤，且如本文所定义的方法可包括通过向所述图像添加噪声来使所述图像劣化的步骤。一般来说，可对可被视为高质量图像的内容执行以下一项或多项操作：可降低分辨率、可降低色彩深度、可减小动态范围、可弱化焦点、可降低清晰度、可增加定向模糊、可降低对比度且可调整白平衡。类似地，可对可被视为低质量图像的内容执行以下一项或多项操作：可提高分辨率、可增加色彩深度、可增大动态范围、可强化焦点、可增加清晰度、可消除定向模糊、可增加对比度且可调整白平衡。在此意义上，高质量的图像会降级为中等质量的图像，而低质量的图像也会提升为中等质量的图像。然后，可以通过ANN和/或CNN分析中等质量图像，其中首先在中等质量图像上大体上训练所述ANN和/或CNN。

可对多个图像执行所述方法。可将传入图像变换成具有可预先定义的目标属性的图像，且其中目标属性对应于更适中的图像质量设置。质量不同的传入图像，例如由不同设置制得的图像被变换为具有类似、更适中属性的图像。这包含改进某些图像并明显劣化其它图像的步骤。最终的修改后的图像集具有可比的图像质量参数，且可以更简单有效的方式进行处理。以此方式，实现了目的。

如本文所定义，使用ANN和/或CNN进一步分析修改后的图像。如本文所定义的方法允许所有图像被变换成ANN和/或CNN在其上训练的“中等质量”图像。因此，通过提供中等质量的图像，减小了到ANN和/或CNN的不同输入数据的差异。发明人意识到，与其总是改进接收到的图像（例如，通过减少噪声，更好地聚焦等来改进其），实际上有利的是引入使图像“更差”的步骤，因为与提高图像质量相比，所述步骤大大简化了待进行的操作。这具有有益的结果，即训练数据不必由最佳的可能的图像组成。替代地，可以用“中等质量”图像来训练网络，且如本文所定义的方法可以用于将任何随后获取的图像变换为原始网络在其上训练的已知条件。如上所述，这包含在将图像提供到ANN和/或CNN之前提高或降低图像质量。以此方式，无需重新训练主NN就可以保证ANN和/或CNN的正常运行。

如本文所定义的方法消除了在本领域中重新训练神经网络的必要性。替代地，可在某一类型的图像上训练神经网络，所述图像可包含具有更适中的图像质量属性的图像，而非具有良好的图像质量属性的图像。然后，如上所述的方法可用于将传入图像变换为适用于所述神经网络的修改后的图像，且神经网络能够以期望方式处理这些图像。作为额外益处，在发现神经网络未充分处理变换后或修改后的图像的情况下，可更改在生成修改后的图像的步骤中使用的图像操控技术。修改图像操控技术以确保修改后的图像可以被神经网络处理是相对容易且有效的，且这缓解了重新训练神经网络的必要性。因此，仍然可以通过变换输入到ANN和/或CNN中的图像来使用现有的ANN和/或CNN，而非重新训练网络。这是一大优势，因为不需要收集新的训练数据或标签，且可能非常复杂且部署在可能难以重新训练的嵌入式系统中的图像接收NN可因此保持不变。

应注意，在如本文所定义的方法中，变换包含增强和降低传入图像两者。增强和降低是针对一个或多个图像参数而言的，所述图像参数可包含分辨率、色彩深度、动态范围、焦点、清晰度、定向模糊、对比度、白平衡和噪声。也可设想其它图像质量参数。对于上述一个或多个参数，所述方法中使用的图像修改技术能够增强和劣化接收到的图像。本领域技术人员将熟悉在这些图像修改技术中使用的合适的参数和算法等。

如上所述，期望用于所述期望图像质量参数的设定点对应于中等图像质量参数值。

方法可包括分析修改后的图像的另一步骤。所述分析可包括使用人工神经网络（ANN）和/或卷积神经网络（CNN）的步骤。

分析可包括识别所述图像中的一个或多个对象。

可以多种方式将图像提供给数据处理设备。可从非暂时性计算机可读媒体检索图像。可从云计算网络检索图像。可通过连接到数据处理设备的相机装置获得图像。

在实施例中，所述图像是通过显微镜，确切地说是带电粒子显微镜获得的。带电粒子显微镜可以是电子显微镜。

根据一方面，提供了一种非暂时性计算机可读媒体，其中所述非暂时性计算机可读媒体在其上存储有软件指令，所述软件指令在由数据处理设备执行时使数据处理设备执行如本文所定义的方法。

根据一方面，提供了一种用于检查样品的带电粒子束装置，其包括：

-用于固持样品的样品固持器；

-用于产生带电粒子束的源；

-用于将所述带电粒子束聚焦到所述样品上的照明器；

-用于检测响应于所述带电粒子束的所述辐照而从样品发出的辐射通量的检测器；以及

-数据处理设备。

如本文所定义，带电粒子束装置被布置成用于执行如本文所定义的方法。

数据处理设备可直接连接到检测器且以直接的方式从所述检测器接收数据和/或图像。例如借助于检测器与处理设备之间的额外设备的中间连接也是可能的。可设想，例如，带电粒子束装置包括布置成用于操作带电粒子束装置的至少部分的控制器。此控制器可连接到或至少可连接到检测器和数据处理设备，且可布置成用于将（含有图像的）数据从检测器转发到处理设备。控制器可布置成用于处理从检测器发出的数据，或可布置成用于将原始数据转发到数据处理设备。一旦接收到数据，数据处理设备将能够执行如本文所定义的方法。在实施例中，控制器包括所述数据处理设备。

根据一方面，提供了一种布置成用于执行如本文中所定义的方法的数据处理设备。

现在将基于示例性实施例和所附示意图更详细地阐明本发明，其中：

图1 - 示出根据本发明的第一实施例的带电粒子显微镜的纵向剖视图；

图2 - 示出根据本发明的第二实施例的带电粒子显微镜的纵向剖视图；

图3 - 如本文所定义的方法的第一实施例的流程图；

图4 - 如本文所定义的方法的另一实施例的流程图；

图5 - 用如本文所定义的方法分析和处理图像的可能方法的图示。

图1（未按比例）为根据本发明的实施例的带电粒子显微镜M的实施例的高度示意性描绘。更具体地，其示出了透射型显微镜M的一个实施例，其在这种情况下为TEM/STEM（尽管，在本发明的上下文中，它可能只是有效地为SEM（见图2），或例如基于离子的显微镜）。在图1中，在真空壳体2内，电子源4产生电子波束B，电子波束B沿电子光学轴线B'传播并穿过电子光学照明器6，从而用于将电子引导/聚焦到样品S的选定部分上（例如，可（局部地）薄化/平面化）。还描绘了偏转器8，其（尤其）可用来实现波束B的扫描运动。

样品S被固持在样品固持器H上，所述固持器可由定位装置/台A以多个自由度定位，所述定位装置/台移动其中（可拆卸地）附着有固持器H的托架A'；例如，样品固持器H可包括（尤其）可在XY平面中移动的手指（参见所描绘的笛卡尔坐标系；通常情况下，平行于Z的运动和关于X/Y的倾斜也为可能的）。这类移动允许样品S的不同部分被（在Z方向上）沿轴线B'行进的电子波束B照明/成像/检查（和/或允许执行扫描运动，以作为波束扫描的替代）。如果需要，可将（未描绘的）任选的冷却装置与样品固持器H进行密切的热接触，以便例如将它（以及其上的样品S）维持在低温下。

电子波束B将以一定方式与样品S相互作用，所述方式使得各种类型的“受激”辐射从样品S发出，包含（例如）二次电子、背散射电子、X射线和光学辐射（阴极发光）。如果需要，可借助于分析装置22检测这些辐射类型中的一种或多种，所述分析装置可为例如组合的闪烁体/光电倍增管或EDX或EDS（能量分散X射线光谱仪）模块；在这种情况下，可使用与SEM中基本相同的原理构建图像。然而，替代地或补充地，可研究穿过（通过）样品S，从其离开/发出并继续沿轴线B'传播（基本上，尽管通常具有一定偏转/散射）的电子。这类透射电子通量进入成像系统（投影透镜）24，所述系统通常包括各种静电/磁透镜、偏转器、校正器（如消象散器）等。在正常（非扫描）TEM模式下，此成像系统24可将透射电子通量聚焦到荧光屏26上，如果需要，所述荧光屏可缩回/撤回（如箭头26'示意性所示），从而使其远离轴线B'。样品S的（一部分）的图像（或衍射图）将由屏幕26上的成像系统24形成，并且这可通过位于壳体2的壁的适当部分中的观察端口28来查看。屏幕26的缩回机制可例如本质上为机械和/或电气的，且在此处未描绘。

作为在屏幕26上观察图像的替代，可反而利用以下事实：离开成像系统24的电子通量的聚焦深度通常很大（例如，约1米）。因此，可在屏幕26的下游使用各种其它类型的分析装置，如：

-TEM相机30。在相机30处，电子通量可以形成静态图像（或衍射图），其可以由控制器/处理器20处理并且显示在显示装置14，例如平板显示器上。当不需要时，相机30可以缩回/撤回（如箭头30'示意性地指示），以使其脱离轴线B'。

-STEM相机32。来自相机32的输出可以被记录为随样品S上的波束B的（X、Y）扫描位置而变，且可构建为随X、Y而变的来自相机32的输出的“映射”的图像。相机32可包括与相机30中典型存在的像素矩阵相反的直径为例如20 mm的单像素，但相机32也可以是电子显微镜像素阵列检测器（EMPAD）。此外，相机32的采集速率（例如，每秒10⁶个点）通常将比相机30（例如，每秒10²个图像）的采集速率高得多。再次，当不需要时，相机32可缩回/撤回（如箭头32'示意性所示），以使其脱离轴线B'（但在例如面包圈形环形暗场相机32的情况下这类缩回不为必需的；在这类相机中，当不使用相机时，中心孔将允许通量通过）。

-作为使用相机30或32成像的替代，也可调用分光镜装置34，所述分光镜装置可为例如EELS模块。

应当注意，物品30、32和34的顺序/位置并不严格，并且可想到许多可能的变化。举例来说，分光镜装置34也可集成到成像系统24中。

在所示的实施例中，显微镜M还包括可伸缩的X射线计算机断层扫描（CT）模块，通常由附图标记40表示。在计算机断层扫描（也称为断层扫描成像）中，源和（径向相对的）检测器用来沿不同的视线观察样品，以便从各种角度获取样品的穿透性观察。

注意，控制器（计算机处理器）20经由控制线（总线）20'连接到各种图示的组件。此控制器20可提供多种功能，如同步动作、提供设定点、处理信号、执行计算以及在显示装置（未描绘）上显示消息/信息。毋庸置疑，（示意性地描绘的）控制器20可（部分地）在壳体2的内部或外部，且可根据需要具有整体或组合式结构。如此实施例中所示，控制器包括布置成用于实行如本文所定义的方法的数据处理设备P。

本领域技术人员将理解，壳体2的内部不必保持在严格的真空下；例如，在所谓的“环境TEM/STEM”中，有意地将给定气体的本底大气引入/维持在壳体2内。本领域技术人员还将理解，在实践中，可能有利的是限制壳体2的体积,使得其在可能的情况下基本上围绕轴线B'，从而呈所用电子束穿过其中的小管形式（例如，直径约为1 cm），但加宽以容纳例如源4、样品固持器H、屏幕26、相机30、相机32、光谱设备34等结构。

现在参考图2，示出了根据本发明的设备的另一实施例。图2（未按比例）为根据本发明的带电粒子显微镜M的高度示意性描绘；更确切地说，其示出了非透射型显微镜M的实施例，其在此情况下为SEM（尽管，在本发明的上下文中，其可能只是有效地例如为基于离子的显微镜）。在图中，与图1中的物品对应的部分使用相同的附图标记指示，并且在此不再单独论述。附加到图1中的（尤其）为以下部件：

-2a:真空端口，其可被打开以引入物品（组件、样品）到真空室2的内部/从所述真空室的内部移除物品（组件、样品），或者例如辅助设备/模块可安装在其上。如果需要，显微镜M可包括多个此类端口2a；

-10a、10b：示意性描绘了照明器6中的透镜/光学元件；

-12：电压源，如果需要，允许样品固持器H或至少样品S偏置（浮动）到相对于地面的电位；

-14：显示器，如FPD或CRT；

-22a、22b：分段电子检测器22a，其包括围绕中心孔22b（允许波束B通过）设置的多个独立检测段（例如象限）。此类检测器可例如用于研究从样品S出射的电子的输出（二次或背向散射）通量（的角相依性）。

本文中还存在控制器20。控制器连接到显示器14，且显示器14可连接到布置成用于实行如本文所定义的方法的数据处理设备P。在所示实施例中，数据处理设备P是单独的结构，其不构成控制器的部分，甚至不构成显微镜P的部分。数据处理设备P可以是本地的或基于云的，且原则上不限于任何位置。

现在转向图3，示出了如本文所定义的方法100的流程图。由数据处理设备P实施的方法包括以下步骤：

-接收101图像；

-提供111用于所述图像的期望图像质量参数的设定点；

-使用图像分析技术处理102所述图像以确定所述图像103的当前图像质量参数；

-将所述当前图像质量参数与所述期望设定点111进行比较103；并且

-基于所述比较，通过使用图像修改技术生成104修改后的图像，其中所述生成104包括以下步骤：

-在所述当前图像质量参数低于所述设定点的情况下根据所述图像质量参数改进104a所述图像；且

-在所述当前图像质量参数超过所述设定点的情况下根据所述图像质量参数劣化104b所述图像；并且

-输出105所述修改后的图像。

所述生成104修改后的图像的步骤可包括使用人工神经网络（ANN）和/或卷积神经网络（CNN）的步骤。还可以使用其它图像修改技术。

图4示出了如本文所定义的方法的另一实施例。此实施例类似于图3中所示的实施例，但包含分析106修改后的图像的另一步骤。所述分析可以使用ANN和/或CNN来完成，且可包含例如分割修改后的图像和/或识别所述修改后的图像中的一个或多个对象。分析还可包含图像重建技术。

如图1或图2所示，由数据处理设备P接收的图像可由带电粒子显微镜M提供。还可设想将图像提供到数据处理设备P的其它方式。

在实例中，图5示出了如本文所定义的方法如何操作的实例。此处示出三个输入图像201-203。左侧图像201具有低图像质量（由较低对比度、较低清晰度、低细节示出），中间图像202具有中等图像质量（中等对比度、中等清晰度和中等细节），且右侧图像203具有高图像质量（高对比度、高清晰度和高细节）。如本文所定义的方法能够从输入图像201-203确定一个或多个图像参数，且随后将这些一个或多个图像参数与期望的目标图像质量参数进行比较。在如本文所定义的方法中，期望图像质量参数对应于目标的、更适中的图像质量参数值。图像201-203中的每一个都由数据处理设备处理且与期望质量进行比较，且随后应用图像修改技术来生成例如具有目标图像质量的图像。在所示实施例中，方法布置成用于通过提高关于对比度、清晰度和细节的质量来将左侧的输入图像201变换为中等质量图像211。方法还布置成用于通过劣化关于对比度、清晰度和细节的质量来将右侧的输入图像203变换为中等质量图像211。对于中间图像202，在所确定的质量参数可能不偏离期望质量参数的情况下，可设想不应用图像变换技术。因此，在实施例中，方法包括在所确定的图像质量参数等于或在所述期望图像质量参数的有限阈值内的情况下将输入图像202保持为输出图像211的步骤。在其它实施例中，仍可关于所述质量参数变换中间图像202。无论如何，将对输入图像201-203进行处理，且可对其进行改进、劣化和/或传递，最终产生（几乎）相同的图像211。

一旦形成输出图像211，就可例如使用ANN和/或CNN对输出图像211进行进一步的分析。在图5中，ANN和/或CNN可用于识别粒子231-234和对应的区域边界241-244。应注意，这可针对三个输入图像201-203中的每一个来完成。所得的输出图像211不应被认为是三个输入图像201-203的平均图像211。

应注意，如本文所定义的方法是参考图像而描述的。如本文所定义的方法原则上适用于任何2D或3D表示。在一个实施例中，如本文所定义的图像可涉及可通过带电粒子显微法获得的图像，包含EM图像、BSE图像、例如EELS的光谱图像等。

上文已借助于若干个非限制性实例描述了方法。期望的保护由所附权利要求书确定。

Claims

1.一种由数据处理设备实施的方法，其包括：

-接收图像；

-提供用于所述图像的期望图像质量参数的设定点；

-使用图像分析技术处理所述图像以确定所述图像的当前图像质量参数；

-将所述当前图像质量参数与所述期望设定点进行比较，并基于所述比较通过使用图像修改技术生成修改后的图像，其中所述生成包括以下步骤：

-在所述当前图像质量参数低于所述设定点的情况下根据所述图像质量参数改进所述图像；及

-在所述当前图像质量参数超过所述设定点的情况下根据所述图像质量参数劣化所述图像；及

-输出和分析所述修改后的图像，其中所述分析包括在所述修改后的图像上使用人工神经网络（ANN）和/或卷积神经网络（CNN）的步骤。

2.根据权利要求1所述的方法，其中所述图像修改技术包括使用人工神经网络（ANN）和/或卷积神经网络（CNN）的步骤。

3.根据权利要求1或2所述的方法，其中用于所述期望图像质量参数的所述设定点对应于中等图像质量参数值。

4.根据权利要求1至3所述的方法，其中所述图像质量参数包括选自由以下组成的群组的一个或多个参数：分辨率、色彩深度、动态范围、焦点、清晰度、定向模糊、对比度、白平衡和噪声。

5.根据权利要求1至4所述的方法，其中所述设定点对应于所述图像参数的中等质量。

6.根据权利要求1至5所述的方法，其中所述分析步骤包括识别所述图像中的一个或多个对象。

7.根据权利要求1至6所述的方法，其中所述图像是通过显微镜，确切地说是带电粒子显微镜获得的。

8.根据权利要求1至7所述的方法，其中所述图像质量参数由选自由以下组成的群组的一个或多个参数组成：图像分辨率、图像焦点、图像噪声。

9.一种其上存储有软件指令的非暂时性计算机可读媒体，所述软件指令在由数据处理设备执行时使所述数据处理设备执行根据前述权利要求1至8中一项或多项所述的方法。

10.一种用于检查样品的带电粒子束装置，其包括：

-用于固持样品的样品固持器；

-用于产生带电粒子束的源；

-用于将所述带电粒子束聚焦到所述样品上的照明器；

-用于检测响应于所述带电粒子束的所述辐照而从所述样品发出的辐射通量的检测器；以及

-数据处理设备；

其特征在于所述带电粒子束装置被布置成用于执行根据前述权利要求1至8中一项或多项所述的方法。

11.一种数据处理设备，其特征在于所述数据处理设备被布置成用于执行根据前述权利要求1至8中一项或多项所述的方法。