CN105321170A

CN105321170A - 扫描类型显微镜中的数学图像组合

Info

Publication number: CN105321170A
Application number: CN201510339651.8A
Authority: CN
Inventors: P.波托塞克; C.S.库伊曼; H.N.斯林格兰德; G.N.A.范维恩; F.波霍贝
Original assignee: FEI Co
Current assignee: FEI Co
Priority date: 2014-06-18
Filing date: 2015-06-18
Publication date: 2016-02-10
Anticipated expiration: 2035-06-18
Also published as: JP2016004785A; US9620330B2; US20150371815A1; EP2958131B1; EP2958130A1; EP2958131A1; JP6192682B2; CN105321170B

Abstract

一种使用扫描类型显微镜累积标本图像的方法,包括以下步骤：-提供从源导向通过照明器的辐射射束以辐射所述标本；-提供用于检测响应于所述辐射从所述标本发出的辐射通量的检测器；-使所述射束经受相对于标本表面的扫描运动，并作为扫描位置的函数记录所述检测器的输出，该方法还包括以下步骤：-在第一采样时段S₁中，从跨标本稀疏分布的采样点的第一群集P₁采集检测器数据；-重复这个程序以便累积在采样时段的相关联集合{S_n}期间采集的这种群集的集合{P_n}，每个集合的基数N>？1；-通过使用集合{P_n}作为对综合数学重构程序的输入来组合标本的图像，其中，作为所述组合过程的部分，进行数学配准校正来补偿集合{P_n}的不同成员之间的漂移失配。

Description

扫描类型显微镜中的数学图像组合

技术领域

本发明涉及一种使用扫描类型显微镜累积标本图像的方法，包括以下步骤：

-提供从源导向通过照明器的辐射射束以辐射所述标本；

-提供用于检测响应于所述辐射从所述标本发出的辐射通量的检测器；

-使所述射束经受相对于标本表面的扫描运动，并作为扫描位置的函数记录所述检测器的输出。

本发明还涉及一种扫描类型显微镜，在该扫描类型显微镜中可以执行这样的方法。这样的显微镜可以使用带电粒子来辐射所述标本（如在例如扫描电子显微镜、扫描透射电子显微镜、扫描离子显微镜和扫描透射离子显微镜的情况下），或者他可以使用光子用于这个目的（如在例如共焦显微镜中）。

背景技术

带电粒子显微术是用于对微观物体成像（特别是以电子显微术的形式）的众所周知的且愈发重要的技术。历史上，电子显微镜的基本属类（genus）已经经历发展成为许多众所周知的设备种类，例如透射电子显微镜（TEM）、扫描电子显微镜（SEM）和扫描透射电子显微镜（STEM），并且还发展成为各种子种类，例如所谓的“双射束”工具（例如FIB-SEM），其附加地采用“加工的”聚焦离子射束（FIB）以允许诸如例如离子射束研磨或离子射束诱导沉积（IBID）之类的支持活动。更特别地：

-在SEM中，由扫描电子射束对标本的辐射促成“辅助”辐射以例如二级电子、反向散射电子、X射线和光致发光（红外、可见和/或紫外光子）的形式从所述标本发出；然后，这个发出的辐射通量中的一个或多个分量被检测到并用于图像累积目的。

-在TEM中，用于辐射所述标本的电子射束被选为具有足够高的能量以穿透所述标本（为此目的，该标本一般将比在SEM标本情况下的更薄）；然后，从所述标本发出的透射电子通量可以用于创建图像。当这样的TEM操作在扫描模式中时（因此变为STEM），所讨论的图像将在辐射电子射束的扫描运动期间得以累积。

关于这里所说明的主题中的一些的更多信息例如可以从以下的维基百科链接收集：

http://en.wikipedia.org/wiki/Electron_microscope

http://en.wikipedia.org/wiki/Scanning_electron_microscope

http://en.wikipedia.org/wiki/Transmission_electron_microscopy

http://en.wikipedia.org/wiki/Scanning_transmission_electron_microscopy

作为使用电子作为辐射射束的替代，还可以使用其他种类的带电粒子来执行带电粒子显微术。在这个方面，短语“带电粒子”应宽泛地解释为包含例如电子、正离子（例如Ga或He离子）、负离子、质子和正电子。关于基于离子的显微术，一些另外的信息可以例如从诸如以下各项的源收集：

http://en.wikipedia.org/wiki/Scanning_Helium_Ion_Microscope

-W.H.Escovitz,T.R.FoxandR.Levi-Setti,ScanningTransmissionIonMicroscopewithaFieldIonSource,Proc.Nat.Acad.Sci.USA72(5),pp1826-1828(1975)。

应当注意，除了成像之外，带电粒子显微镜（CPM）还可以具有其他功能，例如执行分光术、检查衍射图、执行（局部化的）表面改性（例如研磨、蚀刻、沉积）等。

除了使用带电粒子作为辐射射束以外，还可以使用光子射束来执行扫描显微术。这样的技术的实例是所谓的共焦显微术，其中由光子点源进行的扫描辐射激励从所述标本局部化发出荧光辐射。可以使用检测器来收集这个荧光辐射通量（的部分）并基于此累积图像。关于这个主题的更多信息例如可以从以下维基百科链接收集：

http://en.wikipedia.org/wiki/Confocal_microscopy

在所有的情况下，扫描类型显微镜将包括至少以下部件：

-辐射源，例如CPM情况下的离子枪或肖特基（Schottky）源，或光学显微镜情况下的激光器或灯。

-照明器，其用于操纵来自源的“原生（raw）”辐射射束并对他执行某些操作，例如聚焦、像差减轻、裁切（利用孔隙）、过滤等等。他一般将包括一个或多个（带电粒子）透镜，并还可以包括其他类型的（粒子）光学部件。如果需要，所述照明器可以被提供有偏转器系统，可以调用该偏转器系统来使得照明器的输出射束跨被研究的标本执行扫描运动。

-标本支架，在该支架上接受研究的标本可以得以支撑和定位（例如倾斜、旋转）。如果需要，可以移动这个支架，以便实现射束相对于所述标本的期望的扫描运动。一般而言，这样的标本支架将连接至诸如机械载台之类的定位系统。

-检测器，取决于被检测的辐射，该检测器在性质上可以是整体的或组合的/分布式的，并且其可以采取许多不同的形式。实例包括光电倍增管（包括固态光电倍增管，SSPM）、光电二极管、CMOS检测器、CCD检测器、光伏电池等，他们例如可以结合例如闪烁体薄膜来使用。

尽管各种形式的扫描显微术已为人所知几十年了，但是他们具有共同的缺点，该缺点开始在科学和技术的许多领域表明其自身成为瓶颈。这个缺点与以下事实有关：基于扫描的成像倾向于是相对缓慢和冗长的过程，因此其传统上被限于研究很小的标本（的部分），例如在CPM中典型的尺度是几十纳米并且在共焦显微术中是几十微米。然而，在人类努力的许多领域中，越来越需要保持由这些技术提供的分辨率，但要把他们的成像面积扩展数个量级。例如：

-在细胞生物学中，有扩展细胞级成像到组织级的期望，例如以便更加清楚地研究（不同类型）细胞之间的相互作用，特别是在脑组织、肌肉组织、肿瘤（癌组织）等中。

-在矿物学/岩石学中，有扩展分子级的分析到晶粒和晶界级的需要，例如以便更加清楚地研究水力压裂研究中石头基质材料中的气体捕获行为、石英形成中的贵金属封装、合成宝石和其他晶体中不想要的内含物等。

-在半导体工业中，有把个体结级别的研究扩展到整个器件和器件阵列的更宽条件的期望，例如比如在执行关于关键尺寸、重叠、污染物等的质量控制的时候。

然而，把当前的扫描显微术技术扩展到这样大的成像尺度将会需要如此巨大增加的图像累积次数以至于基本上呈现这样的扩展是不能维持的。因此，尽管有很大的期望和需要，但就这一点而言，当前的技术是如此的不切实际以至于将其自身排除在现实适用性之外。

有关目前的扫描显微术技术的另一问题可以在对诸如（活的）生物标本、低温标本等之类的辐射敏感标本进行成像时将其自身表现出来。利用能量射束（尤其是带电粒子射束）来辐射这种标本的这一动作易于在所述辐射射束的撞击足迹处/附近导致损坏（例如分子重新排列/突变、解冻、干燥等）。为了减轻这个效应，人们可能会想到降低辐射射束的强度和/或增加辐射射束的扫描速度，但是这样的措施一般导致不期望的信噪比（SNR）的减小。

发明内容

本发明的目的是解决这些问题。特别地，本发明的目的是提供一种扫描显微术方法，其能够成像相对大的标本面积，而不招致不能维持的处理能力的不利结果。而且，本发明的一个目的在于，这样的方法应当允许在可接受的SNR以及还在降低的辐射损坏风险的情况下对辐射敏感的标本成像。

在上面开篇段落中所阐述的方法中，实现了这些和其他目的，所述方法的特征在于其附加地包括以下步骤：

-在第一采样时段S₁，从跨标本稀疏分布的采样点的第一群集（collection）P₁采集检测器数据；

-重复这个程序以便累积在采样时段的相关联集合{S_n}期间采集的这样的群集的集合{P_n}，每个集合的基数N>1；

-通过使用所述集合{P_n}作为对综合的数学重构程序的输入来组合所述标本的图像，

其中，作为所述组合过程的部分，进行数学配准校正来补偿集合{P_n}不同成员之间的漂移失配。

本发明的实质可以阐述如下，其中参照“扫描网格”的概念，扫描网格是叠加在标本上并包含并列采样单元的阵列的假想数学网格。在传统扫描显微术中，这整个扫描网格被“填充”，因为在标本上描绘出扫描路径时，所述扫描射束“观察”网格中的每个单元。然而，在本发明中，每个采样时段S_n仅观察网格中单元的相对稀疏的群集P_n，并且这样的稀疏群集的累积/产生的集合{P_n}（由重复采样时段的整个集合{S_n}产生）也仅表示网格中单元的部分“零星几个（sprinkling）”。因此：

-因为所述扫描网格没被填充，本发明实现了针对所述标本的减少的（累积）扫描时间。

-因为所述扫描网格没被填充，本发明实现了针对所述标本的减少的（累积）辐射剂量。

-为了能够从部分填充的扫描网格组合“完整的”图像，本发明需要使用下文将更详细说明的巧妙的计算技术。

本发明通过使用“多次通过”方法累积图像而实现了进一步的实质性的优点，通过所述“多次通过”方法，用于最终图像的数据在一系列的采样时段中而非在单个时段中被采集。这个技术通过发明人允许如下事实来提升：例如归因于支架/载台振动、布朗运动、生物运动等，显微镜标本基本上处于永久（perpetual）的（不想要的）运动状态。为了理解本发明的这个方面，可以对于例如运动摄影进行一定程度的类比，在运动摄影中，移动的目标（例如奔跑中的运动员）需要被捕获在照片中。如果使用单次长曝光，产生的图像将会是模糊的，因为移动对象在曝光期间改变位置。另一方面，如果进行了一系列短的曝光，那么结果将是“一连串”时间连续的清晰图像。然而，尽管运动摄影师一般将奢侈地自己做主具有足够的照明，但是显微镜用户（通常在CPM的情况下）一般将受到（累积）剂量因素的（严重）限制：太多的剂量可以毁坏标本，并且太少的剂量将导致差的SNR。因此，不同于运动摄影师，所述显微镜用户一般将需要累加从各个采样时段产生的个体子图像，以便确保期望的累积曝光。然而，在这样做时，他将不得不允许连续子图像捕获之间的“画面（frame）间”标本运动。本发明通过进行前述的数学配准校正来实现这一点，所述数学配准校正是发明性图像组合过程的重要方面，并且其将在下文更详细地说明。应当注意，以此方式执行多次通过曝光的其他优势在于，在将给定的（累积）剂量分为多个（分量的）子剂量时，所述标本在每个子剂量之后和接收随后的子剂量之前有时间来“恢复”。这可以帮助减轻对所述标本的诸如燃烧、熔化、解冻（thaw）、（晶体结构的）震动等之类的辐射损害，且还可以帮助减轻“间接损害”，该“间接损害”采用通过样本的不想要的热蔓延/迁移（到邻近被辐射区域的区域中）的形式。

关于本发明的数学，这些可以视作被细分成两个主要步骤/方面，即配准校正和重构。然而，本发明对这些步骤被执行的顺序没有严格的限制，并且如果需要，他甚至允许盘错地（交织地）执行这些步骤。更具体地：

（I）在本发明的特定实施例中：

-集合{P_n}的每个成员P_n用于以数学方式重构对应的子图像I_n；

-所述数学配准校正用于对齐所述子图像集合{I_n}的成员；

-组合图像由所述对齐的子图像集合以数学方式构成。

这样的实施例可以标记为“重构之后的配准校正（对齐）”，且在后面将称为针对图像组合的“类型I方法”。

（II）在针对这样的类型I方法的替换实施例中：

-在重构之前，所述数学配准校正用于对齐所述群集集合{P_n}的成员；

-合成图像由所述对齐的群集集合以数学方式被重构。

这样的实施例可以标记为“配准校正（对齐）之后的重构”，且在后面将称为针对图像组合的“类型II方法”。

这两个不同的方法倾向于具有他们自己的特殊优势。例如：

-在类型I方法中，配准过程倾向于稍微简单一些，因为他被对经处理的子图像执行，而非被对未经处理的数据群集P_n执行。这样的子图像将倾向于相对像素“充足”，使得更容易为了配准目的而相互比较（见下面的实施例3）。

-在类型II方法中，与类型I方法（个体子图像I_n）的情况相比，对更完整的数据集合（群集集合{P_n}的经对齐成员）进行重构。因此，在尝试重构包括相对高的空间频率的图像（例如与非重复特征、中断、相对强烈的对比度变化相关联）时，类型II方法倾向于更准确。技术人员将抓住这些点，并且将能够选择最适合于给定成像情形的特点的方法。

在本发明的特定实施例中，所述集合{P_n}的不同成员表示跨所述标本的采样点的不同相关联稀疏群集/分布。换句话说，参照上文介绍的扫描网格的概念，{P_n}的给定成员P_i的经观察/采样的网格单元一般将不同于{P_n}的不同成员P_j的网格单元，尽管仍可能存在一些有限程度的重叠/公共性（冗余）。这样的实施例尤其具有优势：当{P_n}的各个成员在重构期间综合地“组合”时，所产生的采样点的累积分布将表示比{P_n}的个体成员中的采样点的分布更大的标本面积。这样增加的样本“覆盖”促进了重构。如所述的，可以想到这样的情形：其中{P_n}的不同成员不一定必须表示采样点的不同相关联稀疏分布。例如，如果标本处于明显的时间变迁状态中（例如因为其经历显著的运动和/或发展），那么，即使所述集合{P_n}的成员表示相对于固定的空间参考画面的采样点的相同稀疏分布，所涉及的各个采样时段仍将以时间感捕获所述标本的不同“快照”，并由此向随后的重构程序提供令人满意的输入。

作为一般的评论，而且也对前面段落做一些特别参考，应当注意，所述集合{P_n}可以被顺序地或同时地获得，并且他们可以根据期望使用一个或多个扫描射束来获得。同时使用若干射束是访问不同采样点的高效处理能力方式，借此：

-如果所讨论的射束在性质上是相似的，那么给定的群集P_i中的若干采样点可以同时被“照射”；

-如果所讨论的射束在某一方面互不相同（例如被不同地调制，或例如包括不同的粒子种类），那么可以同时组合至少两个不同的群集P_i,P_j，因为被分配给组合群集P_i的（一个或多个）射束照射的采样点可以与分配给组合群集P_j的（一个或多个）射束区分开来，尽管所述射束被同时扫描。

关于多个射束的使用的更多信息可以例如从共同未决的欧洲专利申请EP14161505和EP14161519收集。

本发明另一实施例的特征在于，所述集合{P_n}的至少一个成员P_n包括采样点的稀疏分布，该稀疏分布没有（整体地）排列在规则网格上。这是因为，一般而言，本发明采用的数学重构程序可以在与{P_n}相关联的各种稀疏分布不规则（例如随机或准随机的）时采用其最为一般的形式，因为在这样的实例中，可以使用所采用的重构矩阵的所谓的限制等距性质（RIP）。然而，这不是说本发明完全禁止（准）规则分布：在这样的情况下，如果满足某种边界条件，那么数学重构仍可以是可能的。关于这点，可以例如从下面的数学参考中收集更多的信息：

-RonaldA.DeVore,DeterministicConstructionsofCompressedSensingMatrices,JournalofComplexity23,pp.918–925(2007):

http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/Henryk.pdf

-R.Calderbank,S.Howard&S.Jafarpour,Constructionofalargeclassofdeterministicsensingmatricesthatsatisfyastatisticalisometryproperty,IEEEJournalonSelectedTopicsinSignalProcessing4(2)pp.358-374(2010).

为了完整性，还参考下面的关于RIP的维基百科参考：

http://en.wikipedia.org/wiki/Restricted_isometry_property。

当参考本发明背景下的所述集合{P_n}的不同成员之间的漂移失配时，人们可以在这种失配的低阶和高阶实例之间做出区分，借此：

-低阶失配的实例包括位移、旋转及其组合；

-高阶失配的实例包括歪斜、剪切、缩放（放大失配）及其组合。

取决于给定情形的特点（例如导致所讨论的失配的物理过程（例如热膨胀/收缩、滞后等）、成像/重构准确度的期望水平、可用的时间/处理功率等），人们可以决定针对所有这样的失配进行校正，或仅针对他们中的一些（例如仅针对低阶失配）进行校正。通过合适地选择用于描述所述漂移失配的变换T（例如参见实施例3），这样的选择性可以相对容易地并入本发明的数学方法中。例如，如果这样的变换通过矩阵算子来表示，那么不同类型的漂移可以由所讨论的矩阵中的不同（对角的/非对角的/对称的/非对称的）项来表示：例如，被对角矩阵缩放，被正交矩阵旋转、被仿射矩阵剪切等等。就这一点，参见下面关于变换矩阵的维基百科参考：

http://en.wikipedia.org/wiki/Transformation_matrix

技术人员将抓住这些点，并将能够在执行本发明时选择他想要执行的失配校正的程度和类型。

参考上面的讨论，可以想到，在某些情形下，所涉及的任何漂移相关的失配的量值如此之小，以至于上述配准校正被视为是不必要的。换句话说，如果上述变换T的效果被判断为是最小的，以及判断不执行所述变换T在图像重构结果中产生可接受的误差，那么人们可以决定跳过上述配准校正步骤。这样的情形落入本发明的范围内，因为他仍然涉及所述变换T的评价/评估，并有效地分配统一值给T。

在本发明中，所述集合{P_n}的每个成员P_n表示采样点的给定的稀疏分布（样式）。考虑到上面的讨论，技术人员可以问他自己他将如何选择与给定采样时段S_n相关联的分布的特定细节，即他将如何选择与给定群集P_n相关联的特定采样点样式。在这个背景下，人们可以例如在以下场景之间做出区分：

（a）“盲”或“独立”选择。在这个情况下，采样点在各个群集P_n中的位置是在没有来自他们被部署于其中的成像程序（的中间结果）的输入或影响的情况下预先决定的。例如，与每个群集P_n相关联的数据点的分布可以通过随机样式发生器或通过参照预先存储的样式的日志来确定。

（b）“受操纵”或“从属”的选择。在这个情况下，采样点在至少一个给定群集P_n中的位置（至少部分地）基于对（至少一些）之前获得的扫描信息的分析来选取。这样的选取将典型地涉及一定程度的运行过程中的反馈调谐。例如，在采样时段S_m中决定与群集P_m相关联的采样点的分布/样式时，人们可以使用对在至少一个之前的采样时段S_i中获得的采样结果的分析——例如以便在所观察到的“数据充足”位置集中更多的采样点，并在所观察到的“数据贫乏”位置集中较少的采样点，因此基于关于前面的采样时段绘制的学习曲线提高/优化跟随的采样时段的“有用性”。对前面的/开头的扫描结果的这种分析可以例如使用（某种形式的）图像识别软件和/或（某种形式的）数据重新分级（databinning）来（自动地）执行以识别数据充足位置（的坐标），从而允许在下一采样时段中将更大的采样“权重”分配给这样的位置。

在如前面段落阐述的场景（b）的特定实施例中，以下各项适用：

-在给定采样时段S_n中，在对所述标本按照逐线样式进行扫描时，顺序地访问相关联群集P_n中的采样点；

-沿着所述逐线样式中的给定线L_j，使用在扫描所述逐线样式中的前面的线L_i中获得的检测结果选择采样点的位置。

传统地，将扫描动作细分为一维片段（线）是允许在运行中调整扫描参数的方便方式，例如，如在线扫描被用于在阴极射线管上产生二维图片或递增地扫描文档页的情况中。在本发明的背景下，其形成以下策略的基础：

-在给定的扫描场中，假设存在具有特性宽度W的特征F。

-将所述扫描场细分为具有小于W的相互间隔的线。

-如果在线扫描S_n期间特征F（的某一部分）遇到纵坐标L_F，那么人们可以预期在下一线扫描S_n+1期间F的邻近部分将遇到和/或接近纵坐标L_F。结果，在针对与线扫描（采样时段）S_n+1相关联的群集P_n+1选择采样点时，人们可以选择在位置L_F的附近具有这样的点的故意升高的出现/集中。

-以这种方式，针对扫描S_n+1的采样选择在扫描S_n期间基于观察到的数据被精细调谐。

尽管上文的讨论在阐述本发明时可能已经引用了二维和一维的采样/扫描策略，但这样的讨论不应被视为限制了本发明的范围。在这个背景下，本发明的特定实施例的特征在于，在至少一个采样时段S_n中，相关联群集P_n中的采样点中的至少一些位于所述标本表面的下面（亚表面扫描）。例如，可以（迭代地）采用物理切片程序（例如使用薄片切片机或离子研磨射束）来将材料的薄层从最初的表面（L_i-）去除，以便暴露下层的下一表面（L_i+1），其中一个或多个采样时段对这些表面的每一个进行执行（以及，如果需要，对相似暴露的随后的表面L_i+2、L_i+3等进行执行）。在这样的方法中，由本发明组合的图像是（准）体积的（三维的）。本发明的这个方面可以被视为创造性“稀疏扫描”概念（与相关联的“画面间”漂移校正一起）向多维计算显微术技术的扩展，这些技术例如诸如是下面专利文献中公开的那些（全部以当前受让人的名义，并且其中至少一些发明人与本发明的相同）：

-US8,232,523/EP2383768B1;

-US8,581,189/EP2557586B1;

-US8,586,921/EP2557587A2;

-US8,704,176/EP2648208A2。

附图说明

本发明现在将基于示例性实施例和所附示意图来更详细地说明，其中:

图1呈现了其中可以执行本发明的实施例的扫描类型显微镜的纵向横截面正面图。

图2A和2B示意性地描绘了扫描类型显微镜中图像累积的传统方法的某些方面。

图3A和3B示意性地描绘了根据本发明的扫描类型显微镜中图像累积的方法的实施例的某些方面。

在相关的附图中，对应的部分使用对应的附图标记来指示。应当注意，一般而言，附图不是按比例绘制的。

具体实施方式

实施例1

图1是适合于联合本发明一起使用的扫描类型显微镜1的实施例的高度示意性描绘；所描绘的显微镜是STEM（即具有扫描功能的TEM），但是，在本发明的背景下，他可以仅有效地作为SEM、共焦显微镜、扫描离子显微镜等。在附图中，在真空外壳2内，电子源4（诸如例如肖特基枪）产生穿过电子光学照明器6的电子射束，电子光学照明器6用于将电子射束导向/聚焦到（基本平的）标本S的被选区域上。这个照明器6具有电子光学轴8，并一般地将包括各种静电/磁透镜、（扫描）偏转器、校正器（例如象散校正装置）等；典型地，其还可以包括聚光器系统。

标本S被支持在标本支架10上，标本支架10可以由定位设备（载台）12以多自由度来定位；例如所述标本支架10可以包括指状物，该指状物（尤其）可以在XY平面（参见所描绘的笛卡尔坐标系）中移动。这样的移动允许标本S的不同区域被沿着轴8（朝Z方向）行进的电子射束辐射/成像/检查（和/或允许执行扫描运动，作为射束扫描的替代）。光学冷却设备14与标本支架10处于紧密的热接触，并能够使后者保持于低温，例如使用循环低温致冷剂来实现和保持期望的低温。

沿着轴8行进的聚焦的电子射束将以使得各种类型的“受激”辐射从标本S发出的方式与标本S相互作用，所述“受激”辐射包括（例如）二次电子、反向散射电子、X-射线和光学辐射（阴极射线致发光）。如果需要，可以在检测器22的帮助下检测这些辐射类型中的一种或多种，所述检测器22例如可能是组合的闪烁体/光电倍增管或EDX（能量分散X射线光谱仪）检测器；在这样的情况下，可以使用与SEM中基本相同的原理来构建图像。然而，可替换地或补充地，人们可以研究如下电子：该电子穿过（通过）所述标本S，从标本S出来并继续沿着轴8（基本上，虽然通常具有一些偏转/散射）传播。这样的透射电子进入成像系统（组合的目标/投影透镜）24，成像系统24通常将包括各种静电/磁透镜、偏转器、校正器（例如象散校正装置）等。在正常的（非扫描）TEM模式中，这个成像系统24可以将透射电子聚焦到荧光屏26上，如果需要，荧光屏26可以被缩回/撤回（如箭头28示意性所示）以便使之离开轴8的路径。所述标本S（的部分）的图像将由成像系统24在屏26上形成，并且这可以通过位于壁2的合适部分的观察口30来观察。屏26的缩回机制在性质上可以例如是机械的和/或电气的，并且不在此描绘。

作为观察屏26上图像的替代，人们可以改为使用电子检测器D，特别是在STEM模式中。为此，可以启用调整器透镜24’以移动从成像系统24出来的电子的焦点并将他们重新导向/聚焦到检测器D上（而不是缩回屏26的平面上，参见上文）。在检测器D处，电子可以形成图像（衍射图），该图像可以被控制器50处理并显示在显示设备（未描绘）上，该显示设备诸如例如是平板显示器。在STEM模式中，来自检测器D的输出可以被记录为标本S上扫描射束位置（X，Y）的函数，并且图像可以被构建，该图像是作为X，Y的函数的检测器输出的“映射”。技术人员对这些各种可能性将是非常熟悉的，他们不需要在这里被进一步的说明。

注意，所述控制器（计算机处理器）50通过控制线（总线）50’连接至各个图示的部件。这个控制器50可以提供各种功能，例如同步动作、提供设定点、处理信号、执行计算以及在显示设备上显示消息/信息（未描绘）。不说自明地，（示意性描绘的）控制器50可以（部分地）处于所述外壳2的内部或外部，并且可以视需要具有单一的或合成的结构。技术人员将理解，外壳2的内部不必保持为严格真空；例如在所谓的“环境STEM”中，在外壳2内故意引入/维持给定气体的本底大气。

当使用诸如图1的对象1之类的扫描类型显微镜累积标本S的图像时，这样的累积在“逐个像素”的基础上发生，通过使所采用的成像射束相对于标本S进行扫描来实现。参考上文引入和解释的“扫描网格”G的概念（参见图2A），这样的扫描传统上时的成像射束顺序地观察所述扫描网格G中的每个单元C（并从中收集成像数据）——即所述射束对所述扫描网格G执行100%的“观察”。然而，在本发明中，采用了根本不同的方法，如现在将参照图2和3更详细地说明的。

实施例2

图2A和2B示意性描绘了（例如图1中描绘的类型或替换类型的）扫描类型显微镜中图像累积的传统方法的某些方面。在这个背景下，图2A描绘了上文间接提到的类型的扫描网格G，其是叠加在标本S（的XY平面）上并包含并列的采样单元（像素、采样点）C的阵列的假想数学网格/矩阵；如这里描绘的，所述网格G在性质上是正交的，但这不是限制性的，并且也可以想到其他的网格几何结构（例如极线（polar））。在传统扫描显微术中，该整个扫描网格G被“填充”，因为在所述标本S描绘出扫描路径时，所述扫描射束顺序地观察所述网格G中的每个单元C（即从中收集数据）。如果使用灰色阴影来描绘以此方式观察（测量）到的单元C，那么在图2中由整体网格G是加阴影的灰色这一事实来表示这个现有技术情形。因为存在与从每个单元C收集数据相关联的一定的“停留时间”（例如由图1中的（一个或多个）检测器D和/或22的操作机制确定），所以这样的场景将明显需要非常长的累积（即总和的）停留时间来观察整个网格G。这个累积停留时间在这里将由T_G表示。

现在转向图3A和3B，这些（宽泛地）对应于图2B，除了他们描绘了在扫描类型显微镜中的图像累积的替换的创造性方法的实施例的某些方面。据此：

（i）（来自标本S的）数据累积现在被分解为顺序执行的多个不同的采样时段S₁,S₂,…,S_i,…。这些一起形成采样时段的集合{S_n}。

（ii）在每个这样的采样时段S_i-中，不是访问网格G中的全部单元C，而是仅访问单元C的相对稀疏的群集P_i，其表示G中全部单元C的被相对稀疏地占据的子集（subset）。这个情形示意性地在图3A中针对采样时段S₁被图示，借此所描绘的灰色阴影单元C的零星几个/散乱几个表示在测量时段S₁期间观察到的数据单元（像素、采样点）的第一（不规则）群集P₁。因为P₁是相对稀疏的，与采样时段S₁相关联的累积（总和）停留时间T_S1将相对较短。例如，P₁可能具有约2%数量级的稀疏度（与整个网格G相比的填充系数），由此T_S1约为0.02xT_G；这个值不是限制性的，并且更大或更小的稀疏度完全与本发明相容（在这个背景下，参见下面的项目（v）的末尾）。

（iii）图3B描绘了针对在第二测量时段S₂期间观察到的数据单元（像素、采样点）的第二（不规则）群集P₂的网格G的填充几何结构；就如同存在采样时段的集合{S_n}那样，存在采样点群集的相关联集合{P_n}，借此在对应的时段S_i期间收集群集P_i。如上面在图3A/项目（ii）中那样，稀疏群集P₂表示G中全部单元C的相对稀疏地被占据的（灰色阴影的）子集。再一次，因为P₂是相对稀疏的，与采样时段S₂相关联的累积（总和）停留时间T_S2将相对较短；例如，就如同上面项目（ii）中那样，P₂可能具有约2%数量级的稀疏度（与整个网格G相比的填充系数），由此T_S2约为0.02xT_G（再一次，这个值仅仅作为一个例子给出）。一般而言，应当注意，对于{P_n}中成员P_i、P_j的任何给定对：

?典型地可以假设P_i≠P_j：换言之，{P_n}的成员一般是相互不同的（尽管原则上他们可能具有一些共同的点/单元/像素）。这种不一致可以有益地用于综合数学重构程序，该程序被本发明用来由{P_n}组合图像，其中，如上文所阐述的，它导致所述标本被采样点更大地累积“覆盖”（因此，在最终重建的图像中具有更大的“置信水平”）。

?P_i、P_j不必具有相同数量的数据单元（采样点），即他们可以具有不同的稀疏度。

（iv）根据本发明，所述集合{S_n}的基数N（大小）与选择有关，并且可以根据各种因素来选择，该各种因素例如是期望的累积测量时间和/或成像清晰度、标本脆性等。在各种实验中，发明人使用N的不同值的整个阶（scala）——从少至2变化到多至256（这里所引用的值仅是为了举例，并且不意欲限制所附权利要求的范围）。（尤其是）取决于N的所选值，所述累积停留时间T_C=∑T_Sn（对于组合的所有N个采样时段）可以或可以不超过T_G。例如：

-在某些情况下，T_C将少于T_G，因此需要相对于现有技术的立即明显的处理能力优势。

-在其他情况下，尽管T_C可能不少于T_G，但是仍然将有处理能力优势。这是因为，在当前扫描显微镜中，常常利用平均技术，借此若干（例如多个n_G）满网格图像得以获得，并然后被平均，以便减轻噪声效应。在这样的场景下，组合被平均的图像所需要的时间将是n _GxT_G；因此，如果T_C<n _GxT_G，那么本发明将提供相对于这样的平均方法的处理能力优势。

-即使没有这样的处理能力优势，按照本发明将所述成像程序细分成N个分量采样时段一般将允许获得比现有技术更清晰的成像结果（这尤其归因于画面间配准校正，参见上文和下面（vi）中所述）。

（v）使用{P_n-}作为基础，可以根据本发明使用前述的综合重构程序来组合图像。作为这个程序的一部分，所述{P_n-}的各个成员将（最终）被组合/集成/混合到合成数据集合P_C中。（尤其是）取决于之前在步骤（i）-（iv）中做出的选择，这个合成数据集合P_C原则上可以具有可能的稀疏度值范围中的任一值（相比于网格G中单元C的100%“覆盖”的填充系数）。在许多实例中，P_C将相对稀疏（例如大约20%数量级），但是，不管这样的稀疏度如何，本发明仍然允许以数学方式重构出令人满意的图像。适当参考上文的点(i)-(iv)，人们可以例如为P_C的稀疏度选择期望的目标值（例如25%），并且然后相应地拾取每个分量群集P_n的基数N和稀疏度，从而得到这个目标值（允许在{P_n}内采样点的可能重叠/冗余）。

（vi）如前所述，步骤（v）中的操作将具有相关联的配准校正，其可以在所述综合重构程序之前、期间或之后执行。就这一点而言，人们例如可以采用如上文讨论的类型I或类型II方法。

本发明所采用的数学重构程序的更多细节现在将在随后的实施例中给出。

实施例3

如上文已阐述的，本发明执行数学配准校正来补偿所述集合{P_n}的不同成员之间的漂移失配。这样的配准校正的一般原理可以如下更详细地说明，借此术语“集合”将被用于指代出于成像目的所获得的数据点/像素的群集D。特别地：

-当在类型I方法（参见上面的项目（I）以及下文的项目（A））的背景中使用时，该术语指代重构的子图像I_n。

-当在类型II方法（参见上面的项目（II）以及下文的项目（B））的背景中使用时，该术语指代采样点的“原生”群集P_n。

人们现在可以区分下面的两个情形。

（A）

当配准第一集合和第二集合时，典型的对齐算法执行下面的任务：

-将视为对应用变换T的结果，并开始这个变换T的初始估计。

-用公式表示成本函数，例如作为相关性、平方差的总和等等。

-解决局部最小化问题。

这些步骤一直重复直到发生收敛，收敛可以例如在J基本不再减小时被检测到。在每个步骤处，在成本函数的评估中使用逐个像素比较，并且J可以典型地表达为：

(1a)

其中是局部集合相似性度量（例如l ^P范数(║.║_p)、相关性、像素间相互信息度量等）。因为人们典型地采用针对所述变换T（例如旋转、缩放、剪切等）的连续函数，当被评估时，可以根据原始离散图像网格（满的规则的扫描网格G）使用插补来计算估计。

（B）

使用上文（A）中的说明，人们可以通过比较经变换图像数据点与目标图像中的最近点来把所描述的配准方法扩展至稀疏图像数据集合。这导致表达式（1a）的如下再形成：

(1b)

其中

,其中

数据点的坐标集合。

如果期望，人们可以使用合适的距离阈值来将候选最近点限制于处于特定半径内的那些点。

应当注意，这样的方法可以包含诸如迭代最近点（ICP）算法之类的点集配准技术；在这个背景下，参见例如下面的维基百科链接：

http://en.wikipedia.org/wiki/Iterative_closest_point。

实施例4

关于压缩感测（扫描/采样）的数学方法的一些一般信息可以例如从以下参考中收集：

-http://dsp.rice.edu/cs

-EmmanuelCandès,CompressiveSampling,Int.CongressofMathematics3,pp.1433-1452,Madrid,Spain,2006:

http://www-stat.stanford.edu/~candes/papers/CompressiveSampling.pdf

-RichardBaraniuk,CompressiveSensing,IEEESignalProcessingMagazine24(4),pp.118-121,July2007:

http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/baraniukCSlecture07.pdf

-JustinRomberg,ImagingviaCompressiveSampling,IEEESignalProcessingMagazine25(2),pp.14-20,March2008:

http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/Imaging-via-CS.pdf。

本质上，压缩扫描算法的目标是根据“原始”信号的压缩测量值重构该“原始”信号。以下说明将概述针对这样的重构的一般方法，根据该方法（在以上各个参考的帮助下）技术人员将能够实施本发明。

如果是K-稀疏，其定义为，那么人们可以通过测量矩阵(m<n)来表征稀疏获得/测量过程。人们然后可以将伴随的测量值表达为：

(2)

参考文献示出人们可以通过解决?⁰-最小化问题来恢复稀疏信号x：

(3)

使得

已经示出，如果来自的2K列的任何集合线性相关，那么所述?⁰-最小化方法可以优选地恢复原始向量x。尽管存在?⁰-最小化技术可以提供x的准确恢复这一事实，但已知的是，归因于?⁰范数的非凸性，这样的重构需要在所有可能的组合上的穷举搜索，以便找到最稀疏的解。为了找到针对?⁰-最小化的在计算上花费较少的方法，已做出许多努力用于开发替代的算法。一个替代算法是用?¹-最小化问题替代?⁰-最小化问题：

(4)

使得

如果假设?¹范数是凸的，那么求解（4）在计算上是可行的。而且，根据凸优化已知所述求解（4）相当于求解所述线性规划（LP）问题：

，(5)

服从?t≤x≤tand

其中向量不等式意味着对于所有的i，。?¹-最小化的优势是存在经验证的数字解算器。另外，这个形式的最小化已被示出提供保证K-稀疏信号的准确恢复的相对简单的条件。这些条件可以被形式化为所谓的受限等距性质（RIP）和附加的不相干性质（参见所提到的参考）。

值得提到的是，关于前面提到的算法的若干可能的变化考虑了各种噪声模型（确定性噪声、随机噪声等）。另外，正则化技术和贝叶斯公式可以用来稳定收敛并嵌入现有知识中。

尽管他有优势，但是与LP方法相关联的复杂性是待恢复的原始向量大小的三次方()，从而这个方法倾向于对于大的系统而言不现实。寻找（2）的最稀疏的解的替代的、计算上更易处理的方法是基于所谓的“贪婪算法”。这样的算法通过顺序地识别所述原始信号的支撑，或者通过逐渐地精细化所述原始信号的估计来迭代地寻找所述原始信号的近似值和相关联的“支撑”（定义为非零元素的索引集）。这个类别的代表性算法包括正交匹配追踪（OMP）、迭代硬阈值（IHT）、子空间追踪（SP）和压缩采样匹配追踪（CoSaMP）算法（这些在所提供的参考中被更详细地阐述）。

特别地，贪婪方法系列的一个熟知代表（OMP）因其良好性能和低的计算复杂性而具有吸引力。所述OMP算法迭代地估计所述信号x及其支撑。如果K-稀疏向量x在T上得到支撑，并且如果我们分别定义变量,和为估计的支撑、估计的稀疏信号以及第k次迭代中的余数（），那么OMP算法重复以下步骤直到达到零或直到已达到用户定义的迭代数量（假设初始值k=0,）：

-在第(k?1)次迭代中生成的余数和()之间相关性中寻找量值最大的元素以及对应的索引：

(6)

-将索引添加到所估计的支撑集中：

(7)

-求解最小二乘（LS）问题：

(8)

-更新第k次迭代的余数为：

(9)。

实施例5

现在将对关于本发明的稀疏图像配准校正的一些其他数学因素进行说明。

定义可微分和渐近凸的点集配准准则

作为对较早描述的ICP算法的替代，人们可以使用称为高斯场配准（GFR）的技术来对齐所述稀疏图像数据点（例如参见下面的参考[1],[2]）。这个方法将已配准的位置定义为导致参考数据集合和经变换数据集合之间的最大点-到-点重叠（或张弛形式的最大接近度）的位置。

为了取得GFR准则，人们以满足两个稀疏图像点集的最大（点-到-点）重叠的基本组合布尔准则开始：

和,

其被使用变换配准。让我们首先假设无噪声的情况（噪声将在后面解决），并且还假设M和D在配准位置具有最大点-到-点重叠。所述ICP算法（前面间接提到）基于这个同样的假设。给定这些定义，下面的准则（10）将在具有全局最大：

其中,(10)

其中是点之间的距离度量（例如欧氏几何）。除了稀疏点位置，添加诸如相关联的图像强度之类的量到该准则中是简单的，并仅需要使用所述数据集合的更高维度的表示，其中点由强度/颜色属性的位置和向量这两者来限定：

和。

假定（10）中的组合准则相对于对齐变换而言不是连续的，寻找全局最大值将是困难的。为了克服这个问题，人们可以使用通过使用称为“缓和（Mollification）”的分析方法获得的的平滑近似值（参见例如下面的参考[3]，其中采用了相似的方法来正则化具有不可微分成本函数的不适定问题）。

关于限定的任意不可微分函数可以通过具有高斯核的卷积来“缓和”，如下：

(11)

产生的函数将满足和。（11）中描述的变换还称为高斯变换。如果人们对所述准则应用缓和（参见（10）），那么人们得到：

人们现在可以定义：

和

。

已知仅仅针对是非零的，最后的积分将简化为：

这导致：

(12)

缓和的准则是参考数据点和经变换数据点的全部对之间高斯距离的总和。通过从物理过程取得近似，表达式（12）可以视为潜在场的积分，所述潜在场由位于各个数据集合中作为另一个数据集合的目标的一个数据集合中的点处的源生成。影响所述点集的空间定位的噪声效应通过将所述参数σ张弛为接近噪声方差值的值来解决。

所述高斯配准准则现在可以扩展为包括测量信息（例如反向散射强度、发射的光子强度…），除了所述稀疏点的空间位置之外，还使用该测量信息。这通过如下式那样扩展准则中的点之间的距离度量来完成：

(13)

其中是欧氏距离，并且与所述测量向量相关联的所述矩阵是具有正元素的对角矩阵，这将所述缓和扩展至更高的维度。限定：

所述配准准则变为：

(14)

假定所述测量向量独立于所述对齐变换，那么系数将不取决于。

优化所述准则

对于包括严格和仿射模型的各种配准变换，所述准则可以被示为是连续可微分的。而且，在密集填充的高斯混合的情况下，通常将在参数空间中具有钟形。考虑到这点以及当前数据集合的性质，人们可以假设围绕配准位置的平滑凸行为。这允许使用各种强大的凸优化技术，例如准牛顿算法：例如参见：

https://en.wikipedia.org/wiki/Quasi-Newton_method

相对于给定配准参数α的梯度表达为：

(15)

在所述准牛顿方案中使用该梯度表达式和海塞（Hessian）近似来更新最小化的下降方向。在每个下降方向上，使用线搜索路线来寻找最优。该程序迭代直至收敛。

配准准则的快速计算

在所述配准算法的每次迭代处评估将具有相对高的计算成本。可以采用称为快速高斯变换（FGT）的技术（例如参见下面的参考[4]、[5]）来加速所述过程，从而导致仅的计算复杂性。所述FGT方法使用如下事实：仅需要计算达到给定的准确度。为了计算该形式的总和：

,,

其中是称为“源”的高斯中心，并且被定义为“目标”，采用埃尔米特级数（Hermiteseries）中的以下再形成和扩展：

(16)

其中是埃尔米特多项式。这些级数快速地收敛且针对给定的精度仅需很少的项；因此，可以使用新的表达式来以针对给定精度的线性成本将若干源聚集成一个虚拟源。然后所述聚集的源可以在目标处被评估。在目标数量也相对较大的情况下，现在可以使用泰勒级数（17）来将目标一起聚集成虚拟中心，以进一步减少计算的数量：

(17)

在（17）中，所述埃尔米特函数由限定。这可以被示为随着源和目标数量的增长而渐进地收敛至线性计算复杂性。为了速度的进一步的增益，可以采用称为改进的快速高斯变换（IFGT）的FGT方法的变型（参见例如下面的参考[6]），其中伴随多变量泰勒展开的数据聚集方案允许在具有高维度的数据集合中的进一步的计算增益。在当前的凸优化方案中，计算高斯准则的梯度被减化为计算与其准则本身相似的加权总和形式。因此所述梯度还可以使用FGT技术来高效地评估。

关于上文提及的某些数学概念的一些背景信息例如可以从下面的文献源收集：

[1]F.Boughorbel,A.Koschan,B.Abidi,andM.Abidi,"GaussianFields:aNewCriterionfor3DRigidRegistration,"PatternRecognition 37(7),pp.1567-1571(July2004).

[2]F.Boughorbel,M.Mercimek,A.Koschan,andM.Abidi,"Anewmethodfortheregistrationofthree-dimensionalpoint-sets:TheGaussianFieldsFramework,"ImageandVisionComputing 28,pp.124-137(2010).

[3]D.A.Murio,“TheMollificationMethodandtheNumericalSolutionofIll-PosedProblems”,Wiley,NewYork(1993).

[4]A.Elgammal,R.Duraiswami,L.Davis,“EfficientkerneldensityestimationusingtheFastGaussTransformwithapplicationstocolormodelingandtracking”,IEEETrans.PatternAnalysisandMachineIntelligence25(11),pp.1499-1504(2003).

[5]Greengard,J.Strain,“ThefastGaussTransform”,SIAMJ.ScientificComputing12(1),pp.79-94(1991).

[6]C.Yang,R.Duraiswami,N.A.Gumerov,L.Davis,“Improvedfastgausstransformandefficientkerneldensityestimation”,Proc.NinthInt.Conf.ComputerVision,IEEE,Nice,France,pp.464-471(2003)。

Claims

1.一种使用扫描类型显微镜累积标本图像的方法,包括以下步骤：

-提供从源导向通过照明器的辐射射束以辐射所述标本；

-使所述射束经受相对于标本表面的扫描运动，并作为扫描位置的函数记录所述检测器的输出，其特征在于所述方法附加地包括以下步骤：

-在第一采样时段S₁，从跨所述标本稀疏分布的采样点的第一群集P₁采集检测器数据；

-通过使用所述集合{P_n}作为对综合数学重构程序的输入来组合所述标本的图像，

其中，作为所述组合过程的部分，进行数学配准校正来补偿集合{P_n}的不同成员之间的漂移失配。

2.根据权利要求1的方法，其中：

-所述数学配准校正用于对齐所述子图像集合{I_n}的成员；

-组合的图像以数学方式由所述对齐的子图像集合构成。

3.根据权利要求1的方法，其中：

-合成图像以数学方式由所述对齐的群集集合重构。

4.根据权利要求1-3中任一个的方法，其中所述集合{P_n}的不同成员具有跨所述标本的采样点的不同的相关联稀疏分布。

5.根据权利要求1-4中任一个的方法，其中所述集合{P_n}的至少一个成员P_n包括采样点的稀疏分布，该稀疏分布没有排列在规则网格上。

6.根据权利要求1-5中任一个的方法，其中对低阶漂移失配进行校正，所述低阶漂移失配从包括位移、旋转及其组合的组中选择。

7.根据权利要求1-6中任一个的方法，其中对高阶漂移失配进行校正，所述高阶漂移失配从包括歪斜、剪切、缩放及其组合的组中选择。

8.根据权利要求1-7中任一个的方法，其中在给定群集P_n中采样点的位置使用之前获得的扫描信息来选取。

9.根据权利要求8的方法，其中：

-在给定采样时段S_n中，在对所述标本按逐线样式扫描时，顺序地访问相关联群集P_n中的采样点；

-沿着所述逐线样式中的给定线L_j，使用在扫描所述逐线样式中的前面的线L_i时获得的检测结果来选取去采样点的位置。

10.根据权利要求1-9中任一个的方法，其中，在至少一个采样时段S_n中，相关联群集P_n中的采样点中的至少一些位于所述标本的所述表面的下面。

11.根据权利要求1-10中任一个的方法，其中，使用多个辐射射束累积所述集合{P_n}。

12.根据权利要求1-11中任一个的方法，其中所述辐射包括带电粒子，并且所述显微镜包括带电粒子显微镜。

13.根据权利要求12的方法，其中所述带电粒子显微镜选自包括扫描电子显微镜和扫描透射电子显微镜的组。

14.根据权利要求1-11中任一个的方法，其中所述辐射包括光子并且所述显微镜包括共焦显微镜。

15.一种扫描类型显微镜，包括：

-标本支架，用于支持标本；

-源，用于产生辐射射束；

-照明器，用于导向所述射束以便辐射所述标本；

-检测器，用于检测响应于所述辐射从所述标本发出的辐射通量；

-扫描装置，用于使所述射束经受相对于标本表面的扫描运动；

-控制器，用于记录作为扫描位置的函数的所述检测器的输出，其特征在于，所述控制器可以被调用以执行下面的步骤：

-在第一采样时段S₁中，从跨标本稀疏分布的采样点的第一群集P₁采集检测器数据；

-通过使用所述集合{P_n}作为对综合的数学重构程序的输入来组合所述标本的图像；

-作为所述组合过程的一部分，进行数学配准校正来补偿集合{P_n}不同成员之间的漂移失配。