CN111915502B - 用于基于神经网络的图像恢复的方法和系统 - Google Patents

Abstract

基于神经网络的图像恢复的采集策略。本文公开用于基于神经网络的图像恢复的方法和系统。实例方法至少包括采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每个训练图像为样本的相同位置的图像，且其中使用相同采集参数采集所述多个训练图像对的每个图像，基于所述多个训练图像对更新人工神经网络，且使用更新的人工神经网络来对多个样本图像去噪，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像。

Description

用于基于神经网络的图像恢复的方法和系统

技术领域

本发明大体上涉及一种人工智能（AI）致能图像恢复，并且具体地说，涉及一种AI致能去噪和一种稀疏重构。

背景技术

在许多类型的显微术中，难以去除或减少噪点，这会产生不太理想的结果。另外，图像用户的类型可能使噪点甚至更难以管理。举例来说，在带电粒子显微术中，带电粒子束的参数和其它图像采集参数会影响图像中的噪点，而且也可对所需视场和样本交互具有不良影响。进一步举例，在带电粒子束停留时间与噪点之间存在权衡。具体地，较短的停留时间可能是优选的，以确保在图像采集期间没有或仅有微小变化，如漂移。较短的停留时间也可能引起更快的图像采集。然而，不利的是来自较短停留时间的图像往往会有噪点和/或稀疏（例如具有不含信息的像素），这通常是终端用户所不希望的。虽然较长的停留时间可以减少噪点（例如增加信噪比），并提供较少的稀疏图像，但是更长的停留时间往往会增加图像采集时间，并且可能进一步导致样本损坏，特别是对于生物样本。较长的停留时间通常也会在图像采集期间引起漂移。这些只是可能影响有噪点的图像的权衡和问题中的一些。

终端用户通常需要大视场和/或三维体积，这需要仅在使用较长停留时间的情况下进一步增加的较长采集时间（在一些实例中，在一个月的标度上）。因此，需要具有减少的噪点的快速采集时间。稀疏图像采集可进一步缩短采集时间。尽管多年来为解决此问题进行了各种图像恢复尝试，但是所提供的解决方案具有其自身的缺点，如图像过于平滑或图像实际上没有得到改善。因此，仍需要解决有噪点的图像问题。

发明内容

本文公开用于基于神经网络的图像恢复的设备和方法。图像恢复包括图像去噪、图像稀疏重构及其组合。用于基于神经网络的去噪的实例方法至少包括采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每一训练图像为所述样本的相同位置的图像，且其中使用相同采集参数采集所述多个训练图像对的每一图像；基于所述多个训练图像对更新人工神经网络；以及使用更新的人工神经网络对多个样本图像去噪，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像。

用于实施基于神经网络的去噪的实例设备至少包括带电粒子显微镜成像平台；以及控制器，其至少经耦合以控制所述带电粒子显微镜成像平台。所述控制器耦合到包括代码的非暂时性计算机可读介质，所述代码在由所述控制器执行时使得所述系统采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每一训练图像为所述样本的相同位置的图像，且其中使用相同采集参数采集所述多个训练图像对的每一图像、基于所述多个训练图像对更新人工神经网络，所述人工神经网络包括于或耦合于所述系统中、以及使用更新的人工神经网络对多个样本图像去噪，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像。

基于神经的图像恢复的另一实施例涉及稀疏重构。稀疏重构的实例方法至少包括采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每一训练图像为所述样本的相同位置但包括不同图像像素的图像，且其中使用相同采集参数采集所述多个训练图像对的每一图像；基于所述多个训练图像对更新人造神经网络；以及使用更新的人工神经网络重构多个样本图像中的每一个，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像，且其中所述多个样本图像中的每一图像均为稀疏图像。

附图说明

图1是根据本公开的实施例的带电粒子显微镜系统的实例。

图2是根据本公开的实施例的用于图像去噪的实例方法。

图3是根据本公开的实施例的用于稀疏图像重构的实例方法。

图4是展示根据本公开的实施例的图像的去噪的实例图像序列。

图5是展示根据本公开的实施例的稀疏重构的实例图像序列。

图6为根据本公开的实施例的计算系统600的实例功能框图。

在附图的多个视图中，相同的附图标记是指相应的部件。

具体实施方式

本发明的实施例涉及基于神经网络的图像恢复。在一个实例中，可在少量有噪点的图像上训练人工神经网络作为去噪器，其接着用于对样本图像的更大数据集去噪。在此类实例中，用以采集少量有噪点图像的采集参数还用以采集样本图像，这确保两个图像集中的噪点均相似。在另一实例中，可以类似方式训练人工神经网络以提供稀疏重构而不是去噪。在稀疏重构实例中，训练图像包括至少稍微重叠的稀疏图像，使得网络了解如何填充稀疏样本图像的大数据集的稀疏图像。然而，应理解，本文中所描述的方法通常适用于大范围的不同的AI增强型或致能图像恢复技术，并且不应认为是限制性的。

除非上下文另外明确规定，否则如本说明书和权利要求书中所用，单数形式“一（a/an）”和“所述”包含复数形式。替代地，术语“包含”意味着“包括”。另外，术语“耦合”不排除耦合物之间存在中间元件。替代地，在以下论述中且在权利要求书中，术语“包含”和“包括”以开放方式使用，且因此应解释为意味着“包含但不限于……”。术语“训练图像对”或“训练对”是指样本的相同位置的图像对，且使用相同采集参数来采集。如本文所用，术语“采集参数”是指用于采集一个或多个图像的带电粒子显微镜的设置，并且至少包括每像素的束停留时间、束斑大小、束着靶能量，但不包括所采集的图像的数目或用于采集图像的网格大小。通常，本文论述的“采集参数”主要是那些控制带电粒子束与样本相互作用的幅度（包括时间）的参数。替代地，术语“稀疏训练图像对”或“稀疏训练对”是指对样本上的相同位置的图像对，但其含有扫描的像素的不同图案，这是使用相同的采集参数来获得的。

在本文中所描述的系统、装置和方法不应解释为以任何方式进行限制。相反，本公开涉及各个所公开实施例的所有新颖和非显而易见的特征和方面，无论是单独地还是与彼此形成的各种组合和子组合。本公开的系统、方法和设备不限于任何特定方面或特征或其组合，并且本公开的系统、方法和设备也不要求存在任何一个或多个特定优点或解决问题。任何操作理论都是为了便于解释，但是所公开的系统、方法和设备不限于这种操作理论。

虽然为了便于呈现而以特定的顺序来描述所公开的方法的操作，但应理解，除非下文所陈述的具体语言要求特定排序，否则这种描述方式涵盖对操作的重新排列。例如，在某些情况下，可以重新布置或同时进行依序描述的操作。此外，为简明起见，附图可不示出公开的系统、方法和设备可与其它系统、方法和设备结合使用的各种方式。替代地，本说明书有时使用像“产生”和“提供”的术语来描述公开的方法。这些术语是所进行的实际操作的高水平抽象概念。与这些术语相对应的实际操作将取决于特定实施方案而变化，并且易于由本领域普通技术人员辨别。

一般来说，带电粒子图像（例如）包括各种量的噪点。不同量的噪点可主要基于探测带电粒子束的停留时间，但其它因素也可影响噪点。就停留时间来说，停留时间越长，包括的噪点越少，例如信噪比（SNR）越大，但是停留时间越短，噪点越大，例如SNR越低。尽管这种权衡似乎很容易采集更少的噪点图像，但样本的类型和所需的图像体积会另外影响停留时间的计算。举例来说，较长停留时间可能会损坏软的易碎样本（例如生物样本）。还应注意，归因于图像中的对比度不足，生物样本可通常遭受更差的SNR，这可能会建议更长的停留时间。此外，较长停留时间会大大增加较大区域或体积的样本成像所需的图像数量。在一些情况下，可能需要大量的软样本图像，这可能产生较长的停留时间，以解决软样本的额外噪点。此类成像工作流程可产生进行一个月的图像采集。显然，这是不合需要的，且需要更快、更少损坏的图像采集。

虽然对噪点问题的先前解决方案是可用的，但结果通常较不理想。此类解决方案可包括经典的去噪算法和甚至更为新近的基于深度学习的解决方案。经典途径通常基于关于样本图像中的实际噪点的过简化假设且引起图像过于平滑。因此，信息就会丢失。对于深度学习途径，主要归因于对不同噪点的训练，训练数据通常不足够具有特定性，这可能是人工变形的清晰图像。替代地，这些基于深度学习的去噪网络使用噪点图像进行训练，并与清晰图像相关联，但是在不同的设置下采集相关的噪点和清晰图像，这会影响网络的去噪能力。显然，需要更新更好的解决方案。

以上所公开的问题的一个解决方案包括使用仅有噪点的图像（训练图像对）更新预训练的盲去噪器（例如预训练的盲人工神经网络）的训练，所述有噪点的图像包括与需要去噪的样本图像的所述噪点相似的噪点。预训练的盲去噪器可例如使用有噪点的且清晰的图像进行轻度训练，但所述更新可仅使用具有系统特定噪点的有噪点的图像对，这有助于所述去噪器在被更新之后提供清晰的图像。替代地，可在相同采集参数（例如带电粒子显微镜系统设置）下采集样本图像的大数据集，如用于采集训练图像对。在采集样本图像之后，使用更新的去噪器对样本图像进行去噪。

此解决方案优于先前解决方案的一些优点是使用一小组训练图像，这两者都改进去噪器的去噪能力且增加训练时间。举例来说，去噪器的更新训练可能需要不到一小时。此外，通过针对训练图像对和样本图像的大数据集两者使用较短停留时间，可极大地增加从图像到数据的总体时间。此外，由于对具有将在样本图像的大数据集中遇到的系统特定性噪点的图像进行训练，去噪可比常规的深学习去噪器要好得多。如此，去噪的图像将具有另外比它们原本会具有的质量更好的质量。

如先前所提到，此技术还可用于重构具有训练图像对中的仅较小变化的稀疏图像。尽管用于去噪器的训练图像对位于样本的相同位置，但是稀疏的训练图像对可能具有一些重叠和一些非重叠的区域，这提供了允许稀疏重构网络（例如人工神经网络）的训练，以填充图像的稀疏（空白）区域。

图1为根据本公开的实施例的带电粒子显微镜系统100的实例。带电粒子显微镜（CPM）系统100或简称系统100至少包括CPM环境102、网络104、一个或多个服务器106和人工神经网络114。CPM系统100可用于研究和成像具有各种大小和组成的样本。对于一个实例，CPM系统100可至少部分地在商业或研究部位实施且用于成像部位处的各种样本。在一些实施例中，CPM系统100可以分布在各个位置上。举例来说，CPM环境102可定位在研发位置处，网络104本地地、区域性地或全国性地分布，并且服务器106定位在服务器集群处且经由网络104耦合到CPM环境100。不管CPM系统100的组织如何，系统100可至少用于实施一个或多个人工神经网络（ANN）114以进行各种图像恢复任务，如去噪和/或稀疏重构。

CPM环境102包括任何类型的带电粒子显微镜，但本文中所公开的神经网络和图像恢复技术的应用不限于仅出于说明性目的使用的带电粒子显微镜。实例CPM包括扫描电子显微镜（SEM）、透射电子显微镜（TEM）、扫描透射电子显微镜（STEM）、聚焦离子束（FIB）以及包括电子和离子束能力两者的双光束（DB）系统，仅举几例。CPM环境102可用于获得样本的电子或离子图像，所述样本中的一些样本可以是样本的顺序切片的图像，以便样本体积成像。体积成像也可以被称为切片和视图，其包括对样本的表面成像、去除所述表面以及对新暴露的表面成像，将所述体积成像重复进行直到样本的所需体积成像为止。CPM环境102可包含可在单个工具中含有的或可位于单独工具中的各个方面。举例来说，CPM环境102可包含成像平台108（例如SEM、TEM或STEM）、样本制备平台110，和一个或多个控制器112。当然，每个平台108和110还可以包含多于一个显微镜/样本制备工具。

成像平台108用于获得样本的图像，样本中的一些可能已由样本制备平台110制备，但这不是必需的。使用电子和/或离子源通过相应的带电粒子束照射样本来获得图像。举例来说，离子和/或电子束柱提供离子和/或电子的对应的波束。在一些实例中，带电粒子束成像通过扫描波束（例如跨越样本移动，如通过光栅化波束）获得，而其它实例中，不扫描带电粒子束。接着检测例如背散射、二次或透射电子，并且基于其形成灰度阶图像。图像包括取决于样本材料的灰度阶对比度，其中灰度阶的变化指示材料类型或晶体取向的变化。成像平台108可以由内部控制（未示出）、控制器112或其组合来控制。

样本制备平台110形成由成像平台108成像的样本中的一些。当然，成像样本也可由其它工具（未示出）形成。举例来说，样本制备110可以是DB系统，其使用FIB来制备和帮助从较大样本中去除薄样本，例如通过离子铣削、离子诱导蚀刻或其组合，和处理用于成像的样本的其它工艺。其它工艺可包括但不限于平面化铣削/蚀刻、基准生成、横截面形成、自上而下的薄片制备等。样本制备平台110还可包括允许待监测的样本制备工艺的电子成像部件，但不需要电子成像部件。在一些实施例中，样本制备平台110可包含其它物理制备方面——激光、切割工具、树脂包封工具、低温工具等，其用以制备用于成像平台108的样本。样本制备平台110可由内部控制（未展示）、控制器112或其组合来控制。

网络104可以是用于在CPM环境102与一个或多个服务器106之间传输信号的任何种类的网络。举例来说，网络104可为局域网、广域网或分布式网络，如因特网、电话骨干网以及其组合。

服务器106可包括一个或多个虚拟和/或物理的计算平台，其可运行用于各种算法、神经网络和分析套件的代码。虽然未展示，但CPM环境102的用户可访问服务器106以检索数据、更新软件代码、对数据进行分析任务等，其中访问是通过网络104从用户的本地计算环境（未展示）进行的。在一些实施例中，用户使用来自其本地计算环境的ANN 114（其可以在服务器106或CPM环境102上执行）来访问存储在服务器106上的图像数据、实施图像恢复（例如去噪和/或稀疏重构）。

在去噪实施例的操作中，将成像平台108设置成使用所要采集参数来采集图像。采集参数可至少确定带电粒子束能量、束斑大小和停留时间。实例停留时间可以是0.3 µs到3.0 µs。停留时间确定带电粒子束将在所采集图像的每一像素处冲射样本多久，且较短停留时间将减少样本的系统漂移、波束损坏和充电，仅举几个益处。如本文中所使用，“像素”可以指所采集的图像的可视区域内的位置，并且光束可以从像素移动到像素之间以采集可视区域内的图像。可基于所希望的视场而调节可视区域。设置了采集参数后，采集样本的少量训练图像对。每个训练图像对将包括样本上相同位置的至少两个图像，其也可以称为斑点图像或斑点训练对。采集相同位置的两个或更多个斑点训练图像可提供有关带电粒子特定性系统噪点的信息。在一些实施例中，训练图像对的数目可为100到1000，例如200到2000个总图像。可以基于预训练ANN 114中的噪点与训练图像对中的系统特定性噪点有多接近来调节采集的训练图像对的数量。如果噪点接近，则可能需要更少的训练图像对，反之亦然。

在采集少量训练图像对之后，可以更新预训练的ANN 114以将ANN 114微调成训练图像对中的系统特定性噪点。ANN 114的更新可以仅使用训练图像对，由于较短的停留时间，所述训练图像对将是噪点图像。另外，训练图像对将不会像训练人工神经网络的习惯那样被标记。替代地，在更新ANN 114的训练时，不会使用关联的清晰图像。如此，ANN 114可对每个训练图像对使用反向传播来学习系统的噪点。此训练技术可被称为噪点对噪点训练，其利用了噪点的统计性质。噪点的统计性质是基于许多噪点源具有零均值的情况。如此，相同位置的多个图像的平均值可以抑制噪点，从而显示出清晰的图像。此外，由于快速收敛产生与系统特定性噪点的良好匹配，在少量训练图像对上进行训练实现了快速训练。

在更新ANN 114的训练之前、之后或与之同时，可以使用相同的采集参数来采集样本图像的大数据集。这个大数据集可能会产生需要进行去噪的对太字节数据（例如10,000+图像）。由于使用相同的快速停留时间，采集所有样本图像的时间可能比常规的大规模数据集采集的时间少得多。在采集样本图像并更新ANN 114之后，可以对样本图像进行去噪。此去噪步骤可在系统100处或在服务器106处进行，且可在任何时间由用户发起。

尽管在去噪环境中讨论了上述实例操作，但如上所指出，可通过对稀疏训练图像对进行更改来以类似方式实施稀疏重构技术。除了训练图像之间的差异外，去噪和稀疏图像重构（可以统称为图像恢复）过程类似（即使不相同）。在稀疏重构方面，稀疏图像（例如具有缺失数据的图像）可以通过经训练的人工神经网络来完成（例如填充缺失数据）。

虽然提供给ANN 114的图像被描述为通过成像平台108获得，但是在其它实施例中，图像可由不同成像平台提供并且经由网络104提供给ANN 114。举例来说，可以经由网络将训练图像对和样本图像两者均提供给服务器106，接着可以在对样本图像进行去噪之前使用训练图像对来执行ANN 114的更新。与用于采集训练图像和样本图像的采集参数一样，用于成像的带电粒子系统不需要与ANN 114共容纳。

在一个或多个实施例中，ANN 114（其也称为深度学习系统）为机器学习计算系统。ANN 114包括被称为人工神经元的连接单元或节点的集合。每个连接将信号从一个人工神经元传输到另一个人工神经元。人工神经元可以聚集成层。不同的层可对其输入进行不同种类的转换。

一种类型的ANN 114为卷积神经网络（CNN）。CNN常规地被设计成处理以多个阵列形式出现的数据，如由含有三个彩色通道中的像素强度的三个二维阵列构成的彩色图像。CNN的实例架构被构造为一系列阶段。前几个阶段可以由两种类型的层构成：卷积层和池化层。卷积层对输入应用卷积运算，将结果传递给下一层。卷积模拟单个神经元对视觉刺激的响应。汇集层将一个层处的神经元簇的输出组合到下一层中的单个神经元中。例如，最大池化使用来自前一层处的神经元簇中的每个神经元的最大值。在一个或多个实施例中，ANN114为CNN，其经配置以如通过对图像去噪和/或图像的稀疏重构来重构图像。

图2是根据本公开的实施例的用于图像去噪的实例方法200。方法200可以部分地由带电粒子显微镜系统实施，并且还可以部分地在一个或多个能够从带电粒子显微镜系统接收数据的处理核上实现。实例带电粒子显微镜系统为系统100。当然，也可以使用其它带电粒子显微镜系统。一般来说，方法200基于少量训练图像对来再训练或更新ANN（如ANN114），接着可使用经再训练/更新的ANN来对样本图像的大数据集去噪。

方法200可在过程框201处开始，所述过程框包括设置图像采集参数。举例来说，图像采集参数，诸如电子束停留时间、电子束着靶能量、束斑大小等。在一些实施例中，停留时间可为影响图像质量的最大因数，且对于所采集的供与方法200一起使用的所有图像应相同。举例来说，较短的停留时间（例如0.3 μs的停留时间）有助于限制或减少图像采集期间发生的漂移，并进一步加快图像采集过程。限制漂移有助于保持基础图像信号（例如无噪点的图像），相同位置的图像相同，且图像采集过程的增加的速度使得更快地获得数据且可进一步限制样本损坏（如果其为敏感样本）。

过程框201随后可是过程框205，其包括采集训练图像对。训练图像对可以是样本的相同斑点的图像对，并且每个图像对中的每个图像将具有不同的噪点。所采集的训练图像对的数量可能相对较少（尤其是相对于稍后采集的样本图像的数量来说），但是所采集的数量也可能会受到用于预训练去噪器模型（例如ANN）的图像噪点的类似性的影响。

方法200进一步包括过程框203，其包括提供预训练的去噪器。此框的性能可与过程框201和205同时、在过程框201和205之前或之后进行。预训练的去噪器模型是经训练以对图像去噪的预训练的ANN，如ANN 114。一般来说，可使用任何有噪点的图像完成预训练，且不需要具有在过程框205中的相同样本类型的图像或甚至具有相同类型的噪点。但是，关于噪点，训练图像与在处理框205中采集的训练图像越相似，则再训练或更新去噪器的速度就越快。

过程框203之后可以是包括使用训练图像对更新去噪器的过程框207。使用具有与将包括于样本图像中的所述噪点相似的噪点的图像来更新去噪器（即ANN 114）。通过用具有与样本图像的所述噪点类似的噪点的图像更新去噪器，去噪随后更稳定地提供清晰的图像（例如噪点减少的图像）。此外，由于每个训练图像对具有相同的斑点并且仅由于噪点而不同，所以去噪器了解噪点，并且能够去除噪点而不影响图像的其余部分。

方法200进一步包括过程框209，其包括采集样本图像的大数据集。应该使用与采集训练图像对相同的采集参数来采集样本图像，以确保样本图像包含类似的噪点。过程框209可在进行过程框201之后（如在过程框203到207之前、之后或与过程框203到207并行）任何时间进行。样本图像的大数据集将具有与用于获得训练图像对的样本相同的样本，但将覆盖大得多的样本区域或体积。一般来说，样本图像的数目将基本上大于训练图像对的数目。举例来说，样本图像的数目可容易地超过10k个图像且产生太字节数据。

过程框209和207之后可以是过程框211，其包括使用更新的去噪器对样本图像去噪。当通过将ANN耦合到带电粒子显微镜获得样本图像时，可以使用去噪器（例如ANN）对样本图像进行去噪，或可在经耦合以接入样本图像和ANN的用户的台式计算机处对图像进行去噪。

图3是根据本公开的实施例的用于稀疏图像重构的实例方法300。方法300可以通过如系统100的带电粒子显微镜系统来实施，或通过被耦合以从带电粒子显微镜系统中接收图像的一个或多个计算环境实施。一般来说，方法300可重构稀疏图像以提供完整图像。举例来说，可重构包括具有信息的10%到20%像素的图像，以提供具有样本的信息的全100%的像素。

替代地，方法300可由ANN（如ANN 114）使用如方法200中所论述的用于对图像去噪的类似技术来实施。稀疏重构使用与方法200类似的训练后的ANN，其中方法200和方法300中使用的训练图像对之间只有细微的差异。

方法300可开始于过程框301，其包括采集样本的稀疏重构训练图像对。稀疏重构训练图像对将是样本重叠斑点的图像对，但它们并非具有完全相同的斑点。每一对应具有重叠区域和不重叠区域，使得ANN经训练以填充来自图像的稀疏或不存在区域。举例来说，训练对的一个图像可包括来自像素1、3和5的数据，且训练对的另一图像可包括来自像素2、4和5的数据。额外地或替代地，训练图像对在样本上具有相同斑点，但训练对的每一图片使用／包括来自所述斑点的图像的像素的不同混合，使得不存在像素的重叠。如在方法200中，稀疏训练图像对的数目可较少，尤其与样本图像的数目相比较。

过程框301之后可以是过程框303，其包括使用稀疏训练图像对来更新人工神经网络。将训练对提供给待更新以用于稀疏重构的预训练ANN。可部分地训练预训练ANN以重构图像，且可例如使用稀疏图像和相关联全图像来训练。

过程框303之后可以是过程框305，其包括采集样本的稀疏样本图像的大数据集。可使用与用于采集训练图像对的参数相同的参数来采集稀疏图像。虽然过程框展示为在过程框303之后进行，但在其它实施例中，过程框305可在过程框303之前或与其同时进行。

过程框305之后可以是过程框307，其包括使用更新的人工神经网络重构样本图像。更新后的ANN将通过确定遗失数据应被包括且将其与相关联输出图像包括在一起而重构稀疏图像。

图4是展示根据本公开的实施例的图像的去噪的实例图像序列400。图像序列400包括训练图像对和由更新的去噪器提供的相关联经去噪的图像。如在方法200的过程框207中，图像402和404为样本（例如训练图像对）的相同位置的实例有噪点的图像，且用于更新去噪器。图像406是已由更新的去噪器去噪的相同位置处的实例经去噪的图像。尽管实例图像406在某些区域模糊，但整个图像包括比图像402和404中展示的噪点少得多的噪点。

图5是展示根据本公开的实施例的稀疏重构的实例图像序列500。图像502为样本的稀疏图像，且可为样本图像的大数据集和/或训练图像对的一个图像的一部分。相比之下，图像504为由经训练的ANN（如由方法300的过程框307）提供的经重构图像。

根据一个实施例，本文中所描述的技术由一个或多个专用计算装置实现。专用计算装置可以是硬连线的以进行所述技术，或可包含数字电子装置，例如一个或多个专用集成电路（ASIC）、现场可编程门阵列（FPGA）或网络处理单元（NPU），其持久编程以进行所述技术，或可包含一个或多个通用硬件处理器或图形处理单元（GPU），其编程以依据固件、存储器、其它存储装置或组合中的程序指令来进行所述技术。这类专用计算装置还可将定制的硬连线逻辑、ASIC、FPGA或NPU与定制编程组合以实现这些技术。专用计算装置可为台式计算机系统、便携式计算机系统、手持型装置、联网装置或并有硬连线和/或程序逻辑以实施技术的任何其它装置。

举例来说，图6为说明可在其上实施本发明的实施例的计算机系统600的框图。计算系统600可为包括在CPM环境102中的计算硬件的实例，这类控制器112、成像平台108、样本制备平台110和/或服务器106。替代地，计算机系统600可用于实施本文公开的一个或多个神经网络，如ANN 114。计算机系统600至少包含用于进行信息通信的总线640或其它通信机制，和与总线640耦合以用于处理信息的硬件处理器642。硬件处理器642可以是例如通用微处理器。计算系统600可用于实施本文中所公开的方法和技术，如方法200和300。

计算机系统600还包括耦合到总线640的主存储器644，如随机存取存储器（RAM）或其它动态储存装置，用于储存信息和将由处理器642执行的指令。主存储器644也可用于在执行待由处理器642执行的指令期间储存暂时变量或其它中间信息。当这类指令存储在处理器642可访问的非暂时性存储介质中时，将计算机系统600呈现为定制以进行指令中指定的操作的专用机器。

计算机系统600另外包括耦合到总线640的只读存储器（ROM）646或其它静态储存装置，用于为处理器642储存静态信息和指令。提供存储装置648（如磁盘或光盘）且将其耦合到总线640以存储信息和指令。

计算机系统600可经由总线640耦合到显示器650，例如阴极射线管（CRT），以用于向计算机用户显示信息。包括字母数字键和其它键的输入装置652可以耦合到总线640以传达信息和命令选择到处理器642。另一种类型的用户输入装置为光标控制件654，如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器642并且用于控制显示器650上的光标移动。这一输入装置通常具有在两个轴线（第一轴线（例如，x）和第二轴线（例如y））上的两个自由度，其允许所述装置指定一个平面中的位置。

计算机系统600可使用定制硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文中所描述的技术，其与计算机系统组合使得或编程计算机系统600成为专用机器。根据一个实施例，本文中的技术由计算机系统600响应于处理器642执行在主存储器644中含有的一个或多个指令的一个或多个序列来进行。这类指令可从如存储装置648的另一存储介质读入主存储器644。在主存储器644中含有的指令序列的执行使得处理器642进行本文所述的工艺步骤。在替代性实施例中，硬连线电路可用于代替软件指令或与软件指令组合。

本文所使用的术语“存储介质”指的是存储使机器以特定方式操作的数据和/或指令的任何非暂时性介质。这类存储介质可包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如储存装置648。易失性介质包括动态存储器，如主存储器644。常见形式的储存介质包括例如软磁盘、软盘、硬盘、固态驱动器、磁带或任何其它磁性数据储存介质、CD-ROM、任何其它光学数据储存介质、任何具有孔图案的物理介质、RAM、PROM和EPROM、闪存-EPROM、NVRAM、任何其它存储器芯片或盒式存储器、内容可寻址存储器（CAM）和三态内容可寻址存储器（TCAM）。

存储介质与传输介质不同但可与传输介质结合使用。传输介质参与储存介质之间的信息传递。举例来说，传输介质包含同轴电缆、铜线和光纤，包含包括总线640的导线。传输介质还可采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。

各种形式的介质可涉及将一个或多个指令的一个或多个序列载送到处理器642用于执行。举例来说，指令可初始地被携带在远程计算机的磁盘或固态驱动器上。远程计算机可将指令加载到其动态存储器中并且使用调制解调器通过电话线发送指令。计算机系统600本地的调制解调器可在电话线上接收数据并且使用红外发射器将数据转换成红外信号。红外检测器可接收红外信号中携带的数据，并且适当的电路系统可将数据放置在总线640上。总线640将数据携带到主存储器644，处理器642从所述主存储器检索并且执行指令。由主存储器644接收到的指令可任选地在由处理器642执行之前或之后存储在存储装置648上。

计算机系统600还包含耦合到总线640的通信接口656。通信接口656提供耦合到连接到本地网络660的网络链路658的双向数据通信。举例来说，通信接口656可为综合业务数字网络（ISDN）卡、电缆调制解调器、卫星调制解调器或为对应类型的电话线提供数据通信连接的调制解调器。作为另一实例，通信接口656可以是局域网（LAN）卡以提供与兼容LAN的数据通信连接。还可以实施无线链路。在任何这类实施方式中，通信接口656发送并且接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路658通常通过一个或多个网络向其它数据装置提供数据通信。举例来说，网络链路658可通过本地网络660提供与主计算机662或与由因特网服务提供方（ISP）664操作的数据仪器的连接。ISP 664继而通过现在通常称为“因特网”666的全球分组数据通信网络提供数据通信服务。本地网络660和因特网666两者都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和在网络链路658上并且通过通信接口656的信号（其将数字数据携带到计算机系统600并且从所述计算机系统将数字数据携带走）是传输介质的实例形式。

计算机系统600可通过一个或多个网络、网络链路658和通信接口656发送消息和接收数据，包含程序代码。在因特网实例中，服务器668可通过因特网666、ISP 664、本地网络660和通信接口656传输应用程序的请求代码。

接收到的代码可在其被接收时由处理器642执行，和/或存储在存储装置648或其它非易失性存储装置中，以供以后执行。

在一些实例中，数值、程序或设备被称为“最低”、“最佳”、“最小”等。应当理解，此类描述旨在指示可以在许多使用的功能性替代方案中进行选择，并且此类选择不必比其它选择更好、更小或在其它方面优选于其它选择。此外，所选择的值可以通过数字或其它近似方式获得，并且可以仅是理论上正确/值的近似值。

Claims (18)

1.一种对带电粒子图像去噪的方法，所述方法包含：

利用带电粒子束采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每个训练图像为所述样本的相同位置的图像，且其中使用相同采集参数采集所述多个训练图像对的每个图像，其中所述采集参数至少包括带电粒子束的停留时间；

基于所述多个训练图像对更新人工神经网络；以及

使用经更新的人工神经网络对多个样本图像去噪，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像。

2.根据权利要求1所述的方法，其中所述多个训练图像对的每个图像中的噪点是对用于采集所述训练图像对的带电粒子显微镜具有特异性的噪点。

3.根据权利要求2所述的方法，其中所述采集参数影响对用于采集所述训练图像对的所述带电粒子显微镜具有特异性的所述噪点。

4.根据权利要求1所述的方法，其中所述多个训练图像对的每个图像中的噪点与所述多个样本图像的每个图像中的噪点相似。

5.根据权利要求1所述的方法，其中基于所述多个训练图像对更新人工神经网络包括基于对用于采集所述多个训练图像对和所述多个样本图像的带电粒子显微镜具有特异性的噪点来更新所述人工神经网络。

6.根据权利要求1所述的方法，其进一步包括：

采集所述多个样本图像，其中与所述多个训练图像对相比，所述样本图像覆盖所述样本的更大的面积。

7.根据权利要求1所述的方法，其进一步包括：

提供预训练的人工神经网络，所述预训练的人工神经网络未在具有与所述多个训练对或所述多个样本图像中的噪点相似的噪点的图像上训练。

8.根据权利要求1所述的方法，其中所述多个训练图像对的图像的数目小于所述多个样本图像的图像的数目。

9.根据权利要求1所述的方法，其中所述多个训练图像对包括在所述样本上的不同位置处的斑点图像。

10.一种对带电粒子图像去噪的系统，所述系统包含：

带电粒子显微镜成像平台；以及

控制器，其至少经耦合以控制所述带电粒子显微镜成像平台，所述控制器耦合到包括代码的非暂时性计算机可读介质，所述代码在由所述控制器执行时使得所述系统：

采集样本的多个训练图像对，其中所述多个训练图像对中的每一个的每一训练图像为样本的相同位置的图像，且其中使用相同采集参数采集所述多个训练图像对的每一图像，其中所述采集参数至少包括带电粒子显微镜成像平台的停留时间；

基于所述多个训练图像对更新人工神经网络，所述人工神经网络包括于或耦合于所述系统中；以及

使用经更新的人工神经网络对多个样本图像去噪，其中使用与用于采集所述多个训练图像对相同的采集参数来采集所述多个样本图像。

11.根据权利要求10所述的系统，其中所述多个训练图像对的每一图像中的噪点是对用于采集所述训练图像对的带电粒子显微镜具有特异性的噪点。

12.根据权利要求11所述的系统，其中所述采集参数影响对用于采集所述训练图像对的所述带电粒子显微镜特定的所述噪点。

13.根据权利要求10所述的系统，其中所述多个训练图像对的每一图像中的噪点与所述多个样本图像的每一图像中的噪点相似。

14.根据权利要求10所述的系统，其中基于所述多个训练图像对更新人工神经网络包括基于对用于采集所述多个训练图像对和所述多个样本图像的带电粒子显微镜具有特异性的噪点来更新所述人工神经网络。

15.根据权利要求10所述的系统，其中所述计算机可读介质进一步包括代码，所述代码在由所述控制器执行时，使得所述系统采集所述多个样本图像，其中与所述多个训练图像对相比，所述样本图像覆盖所述样本的更大的面积。

16.根据权利要求10所述的系统，其中所述计算机可读介质进一步包括代码，所述代码在由所述控制器执行时使得所述系统提供预训练的人工神经网络，所述预训练的人工神经网络未在具有与所述多个训练对或所述多个样本图像中的噪点相似的噪点的图像上训练。

17.根据权利要求10所述的系统，其中所述多个训练图像对的图像的数目小于所述多个样本图像的图像的数目。

18.根据权利要求10所述的系统，其中所述多个训练图像对包括在所述样本上的不同位置处的斑点图像。

Images