CN114041200A - 对在电子显微镜下研究的样品的漂移校正的自动化应用 - Google Patents

Abstract

本发明涉及一种配置成在电子显微镜环境中进行样品跟踪的控制系统。该控制系统对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准。被配准的移动包括至少一个方向分量。受关注区域位于电子显微镜的视场内。该控制系统指示对电子显微镜控制组件进行调整，以对通过电子显微镜观察的受关注区域的画面进行动态居中和/或动态聚焦。该调整包括对大小要素和/或方向要素的调整。

Description

对在电子显微镜下研究的样品的漂移校正的自动化应用

相关申请的交叉引用

本申请要求于2019年8月16日提交的美国临时专利申请62/888,309的优先权，其全部内容以整体引用方式并入本文。

技术领域

本公开涉及电子显微镜领域，尤其涉及一种配置成对在电子显微镜下研究的样品中发生的漂移进行自动化跟踪和校正的系统。

背景技术

通常，电子显微镜上现有的相机和检测器软件套件通过在相机和检测器的的整个可用视场区域上对有限视场进行数字化移动来校正微小的移动。在大多数利用电子显微镜进行的传统研究中，样品处在室温下，有充足的时间稳定至热平衡。针对给定坐标的任何数量的显微镜参数(例如，剂量率、能量损失或X射线计数)的测量都是在静止的系统上直接进行的。因此，对视场进行移动，以校正在被观察样品的受关注区域中发生的移动，可以使受关注区域的图像更清晰。在被观察样品的受关注区域中发生的移动通常是微小的，并且其速率的大小水平通常可以小于每分钟1nm。

“原位”或“现场原位(operando)”研究包括：例如通过采取诸如在气体或流体环境中对样品进行机械改变、电探测、加热、冷却和成像的动作来对该样品应用或实现动态变化。当样品随时间发生各种变化时，显微镜操作者对该样品中的受关注区域进行跟踪，这样做是有利的。需要对与被研究样品相关联的各种参数有关的测量值进行配准，以便全面跟踪样品移动时各种参数发生的变化。这是因为如果没有仔细考虑关于给定特征在实验过程中的移动方式和移动位置的历史记录，被跟踪的变化就无法往回与原坐标联系起来。不幸的是，样品移动的大小会超出普通相机和检测器以适当方式对视场进行数字化移动的范围。

因此，可以根据需要提供一种在电子显微镜中进行自动特征跟踪和漂移校正的新方法。

发明内容

提供本发明内容是为了简单介绍以下将进一步详细描述的概念。本发明内容并非旨在识别所要求保护的主题的关键特征或必要特征，也不应被理解为限制所要求保护的主题的范围。

本文公开了一种配置成在电子显微镜环境中进行样品跟踪的控制系统。该控制系统包括存储器、处理器和显微镜控制组件。该控制系统配置成对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准。被配准的移动包括至少一个方向分量。受关注区域位于电子显微镜的视场内。该控制系统还配置成指示对显微镜控制组件进行调整，以对通过电子显微镜对受关注区域进行观察的画面进行动态居中和/或动态聚焦。该调整包括对大小要素和/或方向要素的调整。根据一个或多个实施例，该控制系统还配置成向受关注区域应用原位刺激。

此外，本文公开了一种控制系统，配置成对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准。被配准的移动包括至少一个方向分量。受关注区域位于电子显微镜的视场内。被配准的移动包括X轴平移、Y轴平移、Z轴平移、α倾斜和β倾斜中的至少一种。该控制系统还配置成指示对电子显微镜控制组件进行调整，以对通过电子显微镜对受关注区域进行观察的画面进行动态居中和/或动态聚焦。该调整包括对大小要素和/或方向要素的调整。

附图说明

当结合附图进行阅读时，可以更好地理解以上及以下对优选实施例的具体描述。出于说明的目的，在附图中示出了示例性实施例；然而，本公开的主题不限于所公开的具体方法和手段。

本文示出、描述和讨论的实施例是对本发明的说明。由于结合图示描述了本发明的这些实施例，对于本领域技术人员来说，对所描述的方法和/或特定结构的各种修改或改编可以变得显而易见。应当认识到的是，在不脱离本发明的精神和预期范围的情况下，上述教导涵盖了修改和变化，并且这些修改和变化在权利要求的范围内。所有这些修改、改编或变化都依赖于本发明的教导，并且通过这些修改、改编或变化，这些教导使本领域得到了发展。这些修改、改编或变化被认为在本发明的精神和范围内。因此，这些描述和附图不应被认为是限制性的，因为应当理解的是，本发明决不仅限于所示的实施例。

图1所示的是根据本公开的主题的一个或多个实施例的一种配置成在电子显微镜环境中进行样品跟踪和漂移校正的控制系统。

图2所示的是根据本公开的主题的一个或多个实施例的示出了由该控制系统执行的反应性漂移校正过程的细节示意图。

图3所示的是根据本公开的主题的一个或多个实施例的示出了该控制系统结合漂移预计发生位置的预测行为来即时(on-the-fly)学习E-芯片和样品架的独特的X轴、Y轴和Z轴移动的示意图。

图4所示的是根据本公开的主题的一个或多个实施例的示出了该控制系统的模块的示意图，该模块跟踪像素随时间的位移，以建立漂移速度矢量和漂移加速度矢量。

图5所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成允许用户通过勾画来选择受关注区域(ROI)并随后命令电子显微镜对视场中的ROI进行移动和居中。

图6所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，其ROI已预先勾画好，该模块配置成允许用户指定一个新的中心位置，该控制系统据此来移动样品或射束。

图7所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成支持单组连续图像上的多个ROI。

图8所示的是根据本公开的主题的一个或多个实施例的流程图，其中构成该控制系统一部分的模块采用漂移矢量、背景漂移和/或参考模板来确定何时在样品中发生移动。

图9所示的是根据本公开的主题的一个或多个实施例的示出了构成该控制系统一部分的模块的流程图，该模块配置成触发相机、检测器、显微镜或原位动作。

图10所示的是根据本公开的主题的一个或多个实施例的示出了构成该控制系统一部分的模块的流程图，该模块配置成采用定位器的分级控制。

图11所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成在物理校正之前应用数字化校正并将连续图像保存为影片。

图12所示的是根据本公开的主题的一个或多个实施例的示出了构成该控制系统一部分的模块的流程图，该模块配置成执行自动聚焦或重聚焦例程以找到理想的焦点。

图13所示的是根据本公开的主题的一个或多个实施例的示出了聚焦评分扫描的流程图。

图14所示的是根据本公开的主题的一个或多个实施例的用于电子显微镜的视觉聚焦控制工具的图示，该视觉聚焦控制工具是根据归一化聚焦分数与计算得到的理想值来构建的，具有用户设置的重聚焦句柄。

图15所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成将定位器、透镜和样品架校准与实际行为相结合，以改善受命令控制的移动的方向和大小。

图16、图17和图18所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的流程图，该模块配置成监控X轴、Y轴和Z轴位置、α倾斜/β倾斜和图像刷新率，以标记任何用户中断。

图19所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成根据显微镜上检测到的中断触发原位控制、显微镜、相机或检测器上的新行为。

图20所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成获取针对显微镜的用户中断并改进预期模型或过程。

图21所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成自动衰减诸如变温速率的原位控制输入，以防止主要ROI的丢失。

图22所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的流程图，该模块配置成根据相对于ROI大小的有效视场、定位器计时、图像刷新率和预期漂移速率来计算刺激的最大变温速率。

图23所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的流程图，该模块配置成帮助用户设置放大倍率、活动检测器的尺寸、像素分辨率、面元划分、驻留率和/或曝光时间，以实现特定的热变温速率。

图24所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的示意图，该模块配置成允许用户优先选择一个或多个相机/检测器选项、显微镜设置和原位刺激，以确保在漂移校正能力范围内使图像稳定。

图25所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的示意图，该模块配置成运用漂移矢量来预测二级成像部位或许多其他成像部位的位置并允许用户轻松地在部位之间切换。

图26所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的指示器的示意图，该指示器配置成归一化漂移速率并提醒用户对于高分辨率采集来说移动已足够慢的时间。

图27所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成使用户或其他软件模块能够基于图像分析来为原位功能设置触发器。

图28所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的图示，该模块配置成使用户或另一个软件模块能够根据原位刺激读数来为电子显微镜、相机或检测器设置触发器。

图29所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的界面的图示，该界面配置成帮助研究人员建立实验和制作定制触发器。

图30所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的示意图，该模块配置成跟踪特定样品部位的总剂量和剂量率，以帮助用户对特定特征量化部位的射束损伤。

图31和图32所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的可视化模块的示意图，该可视化模块配置成帮助用户比较单个部位在多个特定时间或特定原位刺激条件下的射束效应。

图33所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的自动报告生成模块的示意图，该自动报告生成模块配置成根据时间比较样品部位。

图34所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的自动报告生成模块的示意图，该自动报告生成模块针对给定的原位控制比较样品部位。

图35和图36所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的模块的示意图，该模块配置成限定剂量、剂量率或其他显微镜参数以及原位刺激。

图37所示的是根据本公开的主题的一个或多个实施例，示出了如何在整个可成像区域跟踪多个样品部位以通过用户界面(UI)或触发器快速导航的实例。

图38所示的是根据本公开的主题的一个或多个实施例，示出了在实时图像输入上识别出的一个或多个受关注区域的实例，其中具有使样品在X轴、Y轴和Z轴中保持稳定的关键功能，同时还包括描述该图像的一些关键元数据。

图39所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的基本通信架构的示意图。

图40所示的是根据本公开的主题的一个或多个实施例的减少图像背景噪声的过滤技术的示意图。

图41所示的是根据本公开的主题的一个或多个实施例的相对于总视场呈现的多个受关注区域的示意图。

图42所示的是根据本公开的主题的一个或多个实施例的针对给定的时间段或给定的原位刺激从多个部位生成的报告的实例的示意图。

图43所示的是根据本公开的主题的一个或多个实施例的图表形式的控制系统的示意图。

图44至图57示出了图43的控制系统的各个部分。

图58所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第一个步骤的图示。

图59所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第二个步骤的图示。

图60所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第三个步骤的图示。

图61所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第四个步骤的图示。

图62所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第五个步骤的图示。

图63所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第六个步骤的图示。

图64所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第六个步骤的一个备选视图的图示。

图65所示的是根据本公开的主题的一个或多个实施例的自动化实验工作流程中的第六个步骤的一个备选视图的图示。

图66是根据本公开的主题的一个或多个实施例，示出了即使在只有一个受关注区域位于视场内的情况下如何跟踪多个部位处的被标记区域的示意图。

图67所示的是根据本公开的主题的一个或多个实施例的一种架构的示意图，其中运行在控制软件CPU上的控制软件利用了显微镜CPU上的单个显微镜服务。

图68所示的是根据本公开的主题的一个或多个实施例的一种架构的示意图，其中运行在控制软件CPU上的控制软件利用了显微镜CPU上的显微镜服务和成像CPU上的成像服务。

图69所示的是根据本公开的主题的一个或多个实施例的显微镜命令和成像命令所需的显微镜服务类的示意图。

图70所示的是根据本公开的主题的一个或多个实施例的显微镜配置文件的示意图。

图71所示的是根据本公开的主题的一个或多个实施例的图70的变型，其中显微镜配置文件是根据来自成像服务和显微镜服务而不是单个服务的内容和功能而创建的。

图72所示的是根据本公开的主题的一个或多个实施例的连接至显微镜和成像软件模块并将具有所有相关元数据的独特图像传输给控制软件模块的高级别过程的示意图。

图73所示的是根据本公开的主题的一个或多个实施例的更详细的图像监控过程的示意图，该图像监控过程可用于从连续的图像输入中确定独特的图像并将该独特的图像传输给控制软件模块。

图74所示的是根据本公开的主题的一个或多个实施例的用于连接至所需服务的过程的示意图。

图75所示的是根据本公开的主题的一个或多个实施例的测试连接过程的示意图。

图76所示的是根据本公开的主题的一个或多个实施例的定位器和成像器之间的X/Y旋转偏移量的校准过程的示意图。

图77所示的是根据本公开的主题的一个或多个实施例的在特定成像条件下校准多个定位器的处理过程的示意图。

图78所示的是根据本公开的主题的一个或多个实施例的在特定成像条件下为校正图像质量分数变化所需要的Z轴调整的校准过程的示意图。

图79所示的是根据本公开的主题的一个或多个实施例的在X轴、Y轴和Z轴上执行漂移校正的过程的示意图。

图80所示的是根据本公开的主题的一个或多个实施例的从控制软件模块远程开始图像采集的过程的示意图。

图81所示的是根据本公开的主题的一个或多个实施例的从控制软件模块远程停止图像采集的过程的示意图。

图82所示的是根据本公开的主题的一个或多个实施例的将样品移动到视场中的特定位置的过程的示意图。

图83所示的是根据本公开的主题的一个或多个实施例的在显微镜受命令控制的移动之后确定图像是否已经稳定的过程的示意图。

图84所示的是根据本公开的主题的一个或多个实施例的可以提高控制软件模块用户界面中的漂移校正体验的按键控件和指示器的图示。

图85所示的是根据本公开的主题的一个或多个实施例的可以使用户能够从软件模块用户界面检查会话历史记录的按键控件的图示。

图86所示的是根据本公开的主题的一个或多个实施例的一种方法的图示，通过该方法，用户可以利用来自控制软件模块用户界面的描述来标记特定的帧和时序。

图87所示的是根据本公开的主题的一个或多个实施例的按键设置的图示，用户可以对这些按键设置进行操作，以定制动态图像缓冲区和会话管理。

图88和图89所示的是根据本公开的主题的一个或多个实施例的如何利用控制软件模块来创建显微镜配置文件的图示。

图90和图91所示的是根据本公开的主题的一个或多个实施例的控制软件模块如何管理针对成像条件和成像器的校准的图示。

图92所示的是根据本公开的主题的一个或多个实施例的使用户能够指定特定类型的原位实验或工作流程的用户界面的图示，这些特定类型的原位实验或工作流程可以改变控制软件模块的行为或选项。

图93所示的是根据本公开的主题的一个或多个实施例的启用关键工作流程功能的用户界面的图示。

图94所示的是根据本公开的主题的一个或多个实施例的包括提高校正体验的指示器和触发器的用户界面的图示。

图95所示的是根据本公开的主题的一个或多个实施例的会话检查工具的用户界面的图示，用户可以在该用户界面中查看图像和元数据。

图96所示的是根据本公开的主题的一个或多个实施例的用户设置的图示，可以对这些用户设置进行操作，以定制体验。

图97所示的是根据本公开的主题的一个或多个实施例的用户界面的图示，在查看实时图像时可以在该用户界面中启用聚焦辅助和聚焦辅助校准。

图98所示的是根据本公开的主题的一个或多个实施例的控制软件模块或相关文档如何根据可接受的漂移速率传达图像采集速率和视场之间的关系的图示。

图99所示的是根据本公开的主题的一个或多个实施例的聚焦算法如何在扫描透射电子显微镜(STEM)模式下利用聚焦质量分数通过散焦调节来达到最大值的图示。

图100所示的是根据本公开的主题的一个或多个实施例的聚焦算法如何在TEM模式下利用聚焦质量分数的倒数通过散焦调节来达到最大值的图示。

图101所示的是根据本公开的主题的一个或多个实施例的与该系统的各种组件交互的控制服务的整体数据流的图示。

图102所示的是根据本公开的主题的一个或多个实施例的原位加热软件模块的用户界面的图示。

图103所示的是根据本公开的主题的一个或多个实施例的用户界面的图示，在该用户界面中，控制软件模块推荐变温速率并传送原位软件模块和控制软件模块内的自动化暂停/恢复和连接状态。

图104所示的是根据本公开的主题的一个或多个实施例的用户界面的图示，可以在该用户界面中查看来自原位系统、显微镜、成像系统和任何其他连接的系统的元数据，并将其叠加到实时显示和会话或图像检查工具上。

图105A所示的是根据本公开的主题的一个或多个实施例的包括现有原位软件模块套件和报告单元的实例的图示，该现有原位软件模块套件具有独有的工作流程和该报告单元用于将数据推送给对数据进行同步的另一个软件模块；图105B详细描述了现有原位软件中的工作流程与在软件模块中的报告单元的比较实例。

图106所示的是根据本公开的主题的一个或多个实施例，示出了图105A中描述的软件模块套件如何在本地原位软件模块和控制软件模块内的嵌入式单元之间共享工作流程的图示。

图107所示的是根据本公开的主题的一个或多个实施例的示出了现有原位软件模块的用户界面的实例的图示。

图108和图109所示的是根据本公开的主题的一个或多个实施例的用于现有原位控制软件模块的用户界面的图示。

图110至图115所示的是根据本公开的主题的一个或多个实施例的详细描述工作流程的流程图，在该工作流程中，控制软件模块可以帮助用户有效地量化、熟练操作和检查累积剂量或最大瞬时剂量率对实验的影响。

具体实施方式

下面结合附图根据本发明的实例对本发明的实例中的技术方案进行清晰全面的描述。显然，本文描述的实例仅仅是本发明的部分实例而非所有实例。一般而言，在本文附图中描绘和示出的本发明的实例中的组件可以根据不同的配置来设置和设计。因此，在下面的附图中提供的本发明的实例的详细描述并非旨在限制如权利要求所述的本发明的范围，而是仅仅代表了本发明的所选实例。基于本发明的实例，本领域技术人员在不经过创造性努力的情况下就可以获得的其他实例都应属于本发明的保护范围。现在将结合下面所示的附图来描述本发明。

透射电子显微镜(TEM)利用透过样品的电子束来形成图像。扫描透射电子显微镜(STEM)将透射电子显微镜和扫描电子显微镜(SEM)的原理结合起来，并可以在任何一种仪器上进行。在TEM中，平行的电子束垂直于样品平面聚焦，而在STEM中，电子束以大角度聚焦并会聚成一个焦点。像TEM一样，STEM需要非常薄的样品，并且主要考虑透过样品的射束电子。相对于TEM，STEM的主要优势之一是能够利用TEM中无法在空间上关联起来的其他信号，包括二次电子、散射射束电子、特征X射线和电子能量损失。

正如显微镜操作者容易理解的那样，“原位”或“现场原位”研究包括例如通过采取诸如在气体或流体环境中对样品进行机械改变、电探测、加热、冷却和成像的动作来对该样品应用或实现动态变化。传统的原位系统、MEMS(微机电系统)样品支架和现代电子显微镜样品架已经通过最小化和定位样品区域的刺激帮助减少了与“原位”或“现场原位”研究相关联的移动，但是即使是这些系统，他们中也存在太多的移动，而无法使用市场上现有的任何自动装置来进行校正。

传统的原位系统包括能够在没有MEMS样品支架的情况下加热较大样品的整体加热或火炉加热样品架。整体加热或火炉加热样品架更适合研究诸如抛光金属的一些样品，因为样品制备过程是独特的，并且样品尺寸需要太多能量，而MEMS样品支架无法以经济的方式提供这么多能量。加热这种整体加热或火炉加热样品架所需的大量能量会造成被研究的样品严重漂移。以物理方式校正这种漂移可以实现更高放大倍率的成像和更稳定、适用的体验。

例如，在热加热实验过程中，将温度改变几百度会使样品在X轴和Y轴平面上移动几百纳米，并且通常会随着材料在达到热平衡的过程中的膨胀和收缩而在Z轴上引入高度变化。有大量的其他X轴、Y轴和Z轴漂移源源自显微镜定位器系统、样品架定位器系统、光学器件、电子枪或与原位无关的环境变化。

诸如EDS(能量色散X射线光谱学)和EELS(电子能量损失光谱学)的常见技术要求样品静止足够长的时间来采集足够的数据，通常时长为几分钟。如果一个人通过手动移动样品架或电子束来跟踪特征，那么他很难同时执行这些技术。物理校正使工作流程能够在更长的时间段内利用快速采集或扫描来构建元素分析的“实时”图。由于样品经过了物理校正，同一个样品可以快速成像，产生更小的信号，但当进行求和得到移动平均值时，甚至可能通过原位环境变化在一段时间内创建样品的细节图。

通常利用机械载物台或测角仪来移动样品架。用户将不得不通过手动方式连续地移动样品架或电子束来跟踪样品，以使受关注区域保持居中，因为照明、相机和检测器的位置是固定的。设有载物台控制装置，用于使支撑被观察样品的载物台(即，平台)更精细地移动。这些载物台控制装置包括压电变型，载物台的控制通常通过操作操纵杆或轨迹球来完成。然而，坐标和微动通常是由显微镜附带的软件套件命令控制的。通常需要两个人来进行实验，一个人控制对样品的刺激，另一个人操作显微镜来使样品移动。在现有系统下，单个特征的测量必须手动跟踪；此外，这类测量通常与X、Y和Z坐标相关，而不是与特定特征本身相关。

在使用电子显微镜对样品进行成像期间，在对样品进行成像的整个过程(包括定位样品、聚焦样品和记录图像步骤)中，通常将电子束引导到样品上。电子束会对样品本身造成损伤，这种损伤与总剂量和剂量率成正比。给定面积的电子剂量

是一个重要参数，并且通过将探针中的电流密度

乘以曝光时间(s)来计算。剂量率是根据时间应用的电子剂量的量度。射束损伤会在物理上改变样品，因为化学键断裂了。电子束造成的损伤类型和程度取决于电子束和样品的特性。大量的研究已经调查了电子束是如何损伤样品的。一个实例是通过撞击损伤，其中入射电子将动能转移到样品，该动能可以使原子发生位移或使这些原子从样品表面飞溅。另一个实例是通过由非弹性散射引起的辐解或电离；这种损伤在绝缘样品或液体中很常见。另一个实例是通过由电子束引起的材料静电充电，这会由于喷射的二次电子或俄歇电子而导致表面正电势。然而，如果随意减少剂量以限制损伤，会使图像分辨率退化，尤其是对于射束敏感的样品来说。理想情况下，目标是以不会对给定样品造成射束损伤的尽可能高的剂量来操作显微镜；然而，确定并保持在该“安全”剂量/剂量率极限之下是具有挑战性的。尽管辐射伤害无法消除，但可以测量并最大限度减少辐射伤害。由于电子束引起的辐射损伤与电子剂量和剂量率成正比，因此测量和控制电子剂量和剂量率是控制和限制样品损伤的理想解决方案。

为了更好地理解电子剂量对给定样品的影响，在成像会话过程中测量、显示和记录根据位置应用给样品的累积剂量将是有益的。能够根据面积来对电子剂量和剂量率设置极限以在成像过程抑制对样品的射束损伤也是有帮助的。此外，由于显微镜、相机、检测器和原位刺激的连续分析和控制，提供能够使实验自动进行的事件触发器将是有益的，其中样品的条件由控制系统自动调整。

有利的是，本公开的主题的实施例可以用来校正在原位研究期间发生的漂移。在原位研究期间发生的漂移仅仅是漂移的一个实例，可以通过本公开的主题的实施例来校正。例如，有利的是，本文公开的实施例还可以用来抵消因样品架导致的机械沉降、显微镜定位器系统导致的机械沉降、与原位无关的环境导致的热漂移、由光学器件或电子枪以及类似的其他组件产生的热漂移以及由光学器件或电子枪以及类似的其他组件产生的电漂移带来的漂移，并且有利的是，本文公开的实施例还可以用来抵消诸如因光学器件调整引起的漂移，例如热漂移或电漂移等。例如，诸如电子枪变化的加速电压、校正器的功率变化或其余光学器件的功率变化等因素会导致漂移。

有利的是，本文公开的实施例可以校正在利用电子显微镜进行观察的期间遇到的所有类型的漂移，从而实现更高的放大倍率和更稳定的成像，而无需考虑漂移源。事实上，在足够高的放大水平下，来自任何来源的任何漂移都可能需要进行物理校正以及与所有启用的相关技术相关的校正。在足够高的放大水平下，在沉降时间过后，即使对于更标准的漂移类型，数字化配准也将是受限的。例如，除了原位环境变化和刺激之外，漂移还可能由样品架或显微镜定位器系统导致的机械沉降、与原位无关的环境导致的热漂移、光学器件或电子枪产生的热或电漂移以及类似的其他来源引起。有利的是，本文公开的实施例可以用来抵消来自任何来源的漂移。

显微镜具有挑战性，原位显微镜增加了额外的复杂性，使得进入的障碍变大，成功的机会变小。与显微镜研究相关联的工作流程需要专业知识和多种同时工作的资源。通常需要两到三人的团队来进行实验：一名优化成像条件和通过实验管理重新居中和聚焦的TEM专家，一名控制刺激的原位设备专家以及一名观察样品和得到的数据的观察员。此外，很难对该数据进行组织，以将会话中生成的大量图像和数据对齐。有利的是，本文公开的实施例可以用来通过降低进行实验所需的专业知识水平来减少与原位显微镜相关联的学习曲线，从而扩展了原位研究人员的潜在群体和应用。

本公开的主题的至少一个实施例包括一种电子显微镜控制系统(在下文中也称为“控制系统”或“系统”)。本文公开的控制系统可以允许用户看到每一时刻，从而将重点放回到样品上，而不是相关设备上。该控制系统可以在整个实验过程实现更高分辨率的成像，并可以专心致志地观察和捕捉以前无法观察到的时刻。该控制系统可以使数据分析过程更快、更容易且更准确。该控制系统可以不断地将数据与相关的实验条件同步，并让用户优先处理最重要的参数然后控制该系统来优化其他参数。

在各种实施例中，该控制系统可以包括与TEM实验室中的许多系统交互的软件模块。该控制系统可以体现为与其他系统(包括TEM镜筒、相机、检测器和原位系统)联网的服务器。在一个实施例中，该控制系统包括可以在硬件(例如，在客户端运行的服务器)上运行的软件。该控制系统可以提供稳健的软件解决方案，其中模块以数字方式处理与实验室联系起来的工作流程。该控制系统可以使物理样品与镜筒/检测器同步，以获得稳定的图像。该控制系统可以进一步同步实验中的所有系统数据，以便快速、准确地发布。该控制系统还可以同步参数控制，以启用实验优先级设置。利用已知的移动矢量和联网到该TEM中心的所有系统，该控制系统可以实现样品稳定。该控制系统可以实现在TEM会话期间与用户协作的自动化和系统同步。这样，操作员仍然可以控制，但可以将操作员的精力集中在样品上，而不是所有相关设备的管理上。该控制系统可以解决当今电子显微镜和原位EM工作流程的四个关键问题：(1)减少电子显微镜(尤其是原位EM)的陡峭学习曲线；(2)呈现“错失的时刻”；(3)合并当前分布在不同系统之间的实验数据；以及(4)作为基础平台来实现高级模块的开发。

该控制系统可以在样品发生变化的情况下提供背景漂移跟踪帮助，因此软件对照从总视场中分割出的许多不同背景模板优先处理用户指定的受关注区域。构成当前公开的主题的各种实施例的一部分的软件可以利用参考模板和漂移矢量或背景漂移来确定样品何时正在发生变化，这种变化包括诸如相位变换和聚结等方面。变化中的样品通常需要新的参考模板，并且可以被量化以标记其他事件。

除了校正漂移和记录X轴、Y轴和Z轴上随时间的移动量之外，本公开的主题的实施例还可以实现样品行进位置三维图的记录。本公开的主题的实施例还可以实现在GUI(图形用户显示器)上显示交互式三维图。例如，在被研究的现象可能导致样品移动的液槽中，该控制系统可以实现在软件工具中显示样品在整个实验中行进的三维路径，使漂移校正矢量可视化。该控制系统还可以提供这样的3D图，该3D图可以通过软件在交互式设置中可视化和旋转，以便更好地理解移动。

根据一个实施方式，样品行进位置三维图的记录包括采用“协调位置”。通常，载物台在显微镜上有自己的坐标系。在一些实施方式中，压电可以独立于载物台而处于其自己的坐标系中。射束偏转几乎总是在其自己的坐标系中，通常不是以国际单位制来表示的；例如，射束偏转可以以百分比或在DAC(数模转换器)单元中测量。而且，系统可以对样品进行数字化配准，以实现需要计算至协调位置的最佳调整。然而，现有技术中没有任何方式能够将所有可用的定位器坐标系与“协调位置”联系起来，该“协调位置”结合了载物台位置、压电位置、射束位置和数字化配准，以给出受关注样品的绝对位置和矢量。本文公开的实施方式克服了现有技术的这些限制。

该控制系统可以将被配准的移动作为漂移速率或漂移矢量来捕捉。该控制系统随后可以通过将应用给受关注区域的图像的数字化配准与X轴、Y轴和Z轴坐标平面中的至少一个相结合来视觉呈现漂移速率或漂移矢量，以生成单个协调位置。漂移速率可以以罗盘、柱状、数值和/或图形的形式视觉呈现。该控制系统还可以将移动作为漂移速率来配准，并进一步对漂移速率进行归一化。

该控制系统可以在预定时间段内操纵受关注区域的图像模板，以生成当前形貌或强度分布图。控制系统可以相应地利用过滤技术和帧平均来使模板变形成更像受关注的活动区域，以保留历史记录，但对更多的动态样品作出反应。该控制系统还配置成视觉呈现与被配准的移动相关联的漂移速率或漂移矢量。通常，载物台坐标与压电和射束位置分开跟踪。相比之下，通过将所有这些坐标平面与应用于图像的数字化配准相结合，该控制系统可以实现在X、Y和Z坐标或轴上跟踪单个“协调位置”。在至少一个实施例中，“协调位置”可以与指示漂移速率或漂移矢量的指示器分开。该控制系统随后可以将“协调位置”用于其他目的，例如创建颗粒跟踪图、随时间变化的特征移动位置3D图以及类似的其他图。

然而，在漂移校正期间，可能难以确定样品何时停止移动而足以进行具有较长驻留时间或曝光时间的高分辨率采集，本文描述的控制系统可以方便地克服现有技术的这些缺点。为了克服这些缺点，该控制系统可以视觉呈现漂移速率。该控制系统还可以归一化该漂移速率，并将其作为易读工具来显示。而且，该控制系统可以考虑用户对曝光时间、放大倍率和其他因素的选择，并确定在这些选择下可接受的漂移速率，以获得高分辨率图像。在一个实施例中，根据从“协调位置”创建的矢量来计算漂移速率。该控制系统还可以引导用户等待或调整期望的图像质量所需的成像条件。

该控制系统还可以配置成自动选择驻留率和曝光时间中的一个或多个，以确保由应用的原位刺激产生的图像稳定。例如，在用户需要特定放大倍率下的高变温速率和高分辨率的情况下，该控制系统可以提供高变温速率，并采用会实现成功跟踪的最低变温速率。该控制系统还可以平均数字化配准后的样品上的帧，以达到该分辨率。至于协调位置坐标，通常，载物台坐标与压电和射束位置分开跟踪。通过将所有这些坐标平面与应用于图像的数字化配准相结合，可以在X轴、Y轴和Z轴上跟踪单个“协调位置”。

该控制系统可以在实验期间实现对原位样品架和MEMS样品支架的性能的捕捉。该性能信息可以从校准或“硬编码”行为中获得，还可以通过不断测量实际性能来获得，因为MEMS样品支架因不同的芯片而略有不同。该捕捉的信息可以例如以漂移矢量的形式用于进一步改善应用到受关注区域的原位刺激。每个E-芯片和样品架组合的性能通常可以由本文描述的控制系统来预测。应当注意的是，大小和确切方向可能会在E-芯片和样品架之间有很大的差异，并且可能无法在一次校准中被完全捕捉到。对实验性E-芯片和样品架的性能进行一定量的即时学习可以改善漂移矢量，并且有利的是，本文描述的控制系统可以帮助改善漂移矢量。

在各种实施例中，本文公开的控制系统配置成在电子显微镜中进行样品跟踪。该控制系统可以包括存储在存储器中的软件指令。软件可以存储在能够存储指令的非暂时性计算机可读介质中。当指令被一个或多个处理器执行时，可以使该一个或多个处理器执行本文描述的一个或多个任务中。在一个实施例中，该控制系统可以包括存储在非暂时性计算机可读介质中的一个或多个指令。当该一个或多个指令被一个或多个处理器执行时，可以使该一个或多个处理器对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准，并且指示对显微镜控制组件进行调整，以对通过电子显微镜对受关注区域进行观察的画面进行动态居中和/或动态聚焦，其中该调整包括对大小要素和/或方向要素的调整。

在一个实施例中，指令可以由通用处理器(GPU)访问和执行。在一个实施例中，软件指令可以由计算设备的中央处理器(CPU)访问和执行。在一个实施例中，与该控制系统相关联的软件指令可以在与互联网通信的服务器上执行。在一个实施例中，存储组件可以存储与该控制系统的操作和使用相关的信息和/或软件。例如，存储组件可以包括硬盘(例如，磁盘、光碟、磁光盘、固态硬盘等)、光盘(CD)、数字通用光盘(DVD)、软盘、盒式磁带、磁带和/或其他类型的计算机可读介质以及相应的驱动器。

根据至少一个实施例，该控制系统包括执行本文描述的一个或多个过程的服务器或计算设备。该服务器或计算设备可以响应于处理器并执行由诸如存储器和/或存储组件的非暂时性计算机可读介质存储的软件指令以执行这些过程。计算机可读介质在本文中被定义为非暂时性存储设备。存储设备包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。软件指令可以经由通信接口从另一个计算机可读介质或另一个设备读入存储器和/或存储组件。当被执行时，存储在存储器和/或存储组件中的软件指令可以使处理器执行本文描述的一个或多个过程。此外，或备选地，可以使用硬连线的电路来代替软件指令或与软件指令相结合来执行本文描述的一个或多个过程。因此，本文描述的实施方式不限于硬件电路和软件的任何特定组合。

根据至少一个实施例，该控制系统包括存储器和处理器。该控制系统配置成对与位于被观察的样品的活动区域内的受关注区域(即，位于电子显微镜的视场内的受关注区域)相关联的移动进行配准。被配准的移动包括X轴、Y轴和Z轴分量中的至少一个分量。该控制系统还配置成调整电子显微镜控制组件，以将通过电子显微镜对受关注区域进行观察的画面动态居中和/或动态聚焦。控制系统基于被配准的移动来确定调整的大小和/或调整的方向。

本文描述的实施例可以实现将受关注区域稳定地保持在视场中，而无需考虑对样品的刺激。此外，本公开的主题的实施例可以提供一种新技术，用于简便快捷地量化被研究的给定样品上的射束效应和其他显微镜参数，以在对被研究的样品进行进一步的成像之前建立对这些射束效应和其他显微镜参数的安全极限。有利的是，实施例可以实现事件触发以及应用于样品的显微镜参数的测量、显示和限定。本文公开的实施例还可以提供一种自动射束回调过程。本文公开的实施例还可以实现在达到阈值时将剂量测量和特定位置的射束消隐相结合。本文公开的实施例还可以实现将自动聚焦/自动居中与X线断层摄影术相结合。实施例可以实现自动化特征跟踪、事件触发以及样品在经历原位环境变化的电子显微镜中的测量、显示和限定的显微镜参数。此外，本公开的主题的实施例可以通过软件校正电子显微镜中原位研究常见的热漂移和其他物理移动。本公开的主题的实施例可以采用图像分析、原位测量或显微镜行为来通过软件触发显微镜或原位环境的改变。本公开的主题的实施例可以跟踪对特征所施加的剂量、剂量率和原位刺激，以及使用单个或多个受关注区域来为稳定或移动系统比较射束损伤或原位刺激的相对影响。

该控制系统可以包括软件，该软件结合了对用户指定的受关注区域、背景漂移和预测行为的分析，以通常在原子尺度上跟踪电子显微镜中的特征，然后命令电子显微镜中的定位器对受关注区域进行居中和聚焦。根据一个或多个实施例，该控制系统在纳米尺度或原子尺度上对移动进行配准。该控制系统还可以在较低的放大倍率下达到微米尺度。

根据至少一个实施例，配置成在电子显微镜环境中进行样品跟踪的控制系统至少包括存储器、处理器和显微镜控制组件。该控制系统配置成对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准。被配准的移动包括至少一个或多个方向分量，包括X轴分量、Y轴分量和Z轴分量。受关注区域位于电子显微镜的视场内。响应于被配准的移动，该控制系统配置成指示对电子显微镜控制组件进行调整，以将通过电子显微镜对受关注区域进行观察的画面动态居中和/或动态聚焦。调整可以包括对大小要素和/或方向要素的调整。在一些实施例中，对显微镜控制组件的调整包括电子束偏转和/或焦平面调整。

在一些实施例中，被配准的移动包括α倾斜和β倾斜中的至少一个。该控制系统可以通过指示对电子显微镜控制组件进行调整来抵消α倾斜和/或β倾斜形式的被配准移动，以将通过电子显微镜对受关注区域进行观察的画面动态居中和/或动态聚焦。该调整包括对大小要素和/或方向要素的调整。

该控制系统配置成调整电子显微镜控制组件，以抵消与由电子显微镜引起的物理漂移、热漂移和/或电漂移相关的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消与电子显微镜的射束的α倾斜和电子显微镜的射束的β倾斜相关的被配准移动。该控制系统还配置成调整一个或多个电子显微镜控制组件，以抵消与因载物台移动之后样品架沉降到新位置而发生的漂移相关的被配准移动。该控制系统还可以调整电子显微镜控制组件，以抵消与原位刺激无关的热沉降相关的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消由以下一种或多种情况引起的被配准移动：气体或流体环境中的样品的机械变形、电探测、加热、冷却、成像以及所应用的加速电压的改变。该控制系统还可以调整电子显微镜控制组件，以抵消由以下一种或多种情况引起的被配准移动：样品相邻的环境中的压力、流速和成分。

该控制系统还配置成调整电子显微镜控制组件，以抵消因显微镜或样品支架的物理定位系统引起的漂移而造成的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消由在移动机械载物台之后样品架物理沉降到新位置而导致的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消由于外部空间和镜筒内样品位置之间存在温度差使样品支架发生热平衡引起的漂移所导致的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消因光学调整引起的热漂移或电漂移所导致的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消由以下一种或多种情况所导致的被配准移动：电子枪的加速电压的变化、校正器的功率变化和光学器件的另一组件的功率变化。该控制系统还配置成调整电子显微镜控制组件，以抵消在微小倾斜或X线断层摄影术程序期间产生的X轴和Y轴漂移所导致的被配准移动。该控制系统还配置成调整电子显微镜控制组件，以抵消由活动区域内的背景漂移所导致的被配准移动。

该控制系统相应地配置成调整电子显微镜控制组件，以抵消与以下一种或多种情况相关的被配准移动：应用给样品的原位刺激、与样品相邻的区域中的环境条件变化、显微镜产生的物理漂移、显微镜的样品支架定位系统产生的物理漂移、样品支架上发生的热平衡、电子显微镜光学器件的热漂移、电子显微镜电子枪的热漂移、电子显微镜光学器件的电漂移和电子显微镜电子枪的电漂移。该控制系统还配置成向受关注区域应用原位刺激，其中该调整包括沿着X轴和Y轴的漂移校正。

在至少一个实施例中，控制系统还配置成向受关注区域应用原位校正(或原位刺激)，其中调整/校正/刺激包括沿着X轴、Y轴和/或Z轴的漂移校正。在至少一个实施例中，显微镜控制组件与电子显微镜的各种组件进行电子通信，例如机械载物台、测角仪、载物台的压电组件、电子束的照射、电子束的投射、电子束的电磁偏转和电子束的移动。在至少一个实施例中，该控制系统还配置成在微米尺度、纳米尺度或原子尺度上对移动进行配准。在至少一个实施例中，该控制系统还配置成对与位于被观察样品中的多个受关注区域相关联的移动进行同时配准。在至少一个实施例中，该控制系统还配置成通过将样品的活动区域的其余部分与受关注区域的模板图像对照来对移动进行配准。在至少一个实施例中，该控制系统还配置成在预定时间段内操纵受关注区域的模板图像，以生成当前形貌分布图或当前强度分布图。需要注意的是，校正算法为了校正而引用的模板不是样品之前的静态快照；相反，通过图像过滤器不断地对模板进行变形，使得形貌和强度分布图更类似于构成受关注区域的样品特征。在至少一个实施例中，该控制系统还配置成将被配准的移动作为与被观察样品的受关注结构、受关注区域和背景区域中的一个或多个相关联的漂移矢量来捕捉。

在至少一个实施例中，该控制系统还配置成当被配准的移动低于预定速率时提醒用户。当被配准的移动较低时提醒用户可以有利于使用户意识到何时准备好捕捉高分辨率图像。

在一个实施例中，该控制系统还配置成通过将与样品架和/或MEMS样品支架相关的性能数据应用于漂移矢量来提高该漂移矢量的精度。该控制系统还可以分析漂移矢量，以预测或选择另一个受关注区域进行观察。该控制系统还可以向受关注区域应用原位刺激。原位刺激可以是由该控制系统基于在受关注区域配准的移动产生的漂移矢量的形式。该控制系统将生成的漂移矢量应用于样品内的另一个受关注区域。该控制系统还可以将漂移矢量与受关注区域的参考模板图像进行比较，以识别被观察样品已经发生的变化。

在一个实施例中，该控制系统还配置成响应于以下至少一种情况自动识别新的受关注区域：视场(FOV)变化、样品变化、显微镜状态更新、电子束未消隐、镜筒阀打开、屏幕升高和成像条件变化。该控制系统还配置成通过以下一种或多种方式从显示在图形用户界面上的视场的实时图像流中数字化地勾画出受关注区域：在显示在图形用户界面上的视场的实时图像流上标出轮廓；在图形用户界面上显示的视场的实时图像流上标出形状；将预先存在的形状叠加到图形用户界面上显示的视场的实时图像流上；捕捉在图形用户界面上显示的电子显微镜视场的实时图像流内的区域上执行的双击事件；以及捕捉显示在图形用户界面上的电子显微镜视场的实时图像流内的区域上的点击和拖动事件。在一个实施方式中，该控制系统还配置成当该控制系统确定受关注区域已经从视场中心或视场内的参考点离开时，向该受关注区域应用居中移动。该控制系统还可以基于以下一个或多个条件来确定要实时应用的原位刺激：在被配准的移动中检测到的漂移矢量性速度；检测到的受关注区域的成像条件；样品支架的性能参数；以及样品架的性能参数。该控制系统还配置成基于在被配准的移动中检测到的漂移矢量性速度、漂移速度和漂移分辨率中的一个或多个来确定要实时应用的原位刺激。检测到的受关注区域的成像条件包括放大水平和/或图像采集时间。该控制系统还配置成通过以下一种或多种方式来抵消被配准的移动：应用物理调整、应用数字化调整、对在图形用户界面上显示的视场的实时图像流中显示的图像进行过滤以及对在漂移校正后的图像序列中显示的图像进行过滤。

在各种实施例中，该控制系统还配置成指示生成受关注区域的无缝视频。该控制系统还可以对受关注区域的图像进行数字化校正。在一个实施方式中，尽管受关注区域的图像由该控制系统校正，但是视场的其余区域的图像没有被数字化校正。在一个实施例中，该控制系统还配置成使用户能够在触发对受关注区域的至少一个图像应用物理校正之前，指定一预定量数字化校正，该预定量数字化校正将应用给该受关注区域的至少一个图像。在一个实施方式中，对视场的总区域的图像不进行校正。数字化校正可以包括以下任何技术：对图像进行数字化移动、对图像进行数字化裁剪、对图像进行数字化模糊处理、对图像进行数字化锐化处理、数字化添加到图像边缘、将背景像素数字化添加到图像以及将前景像素数字化添加到图像。该控制系统还可以保存图像的数字化校正副本和图像的常规未校正副本。在一些实施例中，该控制系统还包括检查实用程序，其中该检查实用程序配置成检查利用显微镜元数据、原位元数据和成像条件中的一个或多个索引的捕捉到的图像或捕捉到的视频。有利的是，这可以实现在实验后浏览图像的能力。检查实用程序可以配置成生成应用于图像、显微镜元数据、原位元数据和成像条件中的一个或多个的数学算法。数学算法可以应用于漂移校正后的图像序列，其中该控制系统还配置成评估在预定时间间隔内所应用的调整的变化。数学算法还包括变换分析、强度图、像素强度统计、结晶度分数、聚焦分数、方差分数、对比度分数、粒度分析和点间距离分析中的至少一个。因此，漂移校正后的序列可以允许用户看到颗粒或样品是如何随时间变化的；用户可以通过对漂移校正后的序列的所有帧进行数学计算来对此进行量化。该控制系统还配置成以预定的图像格式将由该控制系统检查的预定图像序列导出至永久磁盘空间。该控制系统还配置成将数学算法应用于图像或元数据，以隔离预定图像序列或导出预定图像序列。例如，该控制系统可以仅隔离聚焦良好的图像，或者当与模板的相关性改变了预定量时隔离图像，或者仅当温度在两个预定的外极限值之间变化时隔离图像。

该控制系统还可以基于数字化校正后的连续图像和/或未数字化校正的连续图像来生成视频。在至少一个实施例中，视频可以包括受关注区域的数字化校正后的超稳定影片。在各种实施例中，该控制系统通过应用诸如例如变换分析(例如，FFT和CTF)、强度图、像素强度统计、聚焦算法分析、亮度调整、对比度调整、伽马调整、元数据叠加层和形状叠加层的各种技术基于连续图像来生成视频。在一个实施例中，由该控制系统管理的视频包括受关注区域的未数字化校正的影片。在一个实施例中，由该控制系统管理的视频包括受关注区域的数字化校正后的稳定影片。

在各种实施例中，该控制系统还配置成通过分析与受关注区域的图像相关联的快速傅立叶变换(FFT)值来产生受关注区域的聚焦水平的聚焦分数。该控制系统还可以通过分析受关注区域的图像中的像素强度的方差来产生位于活动区域内的另一个受关注区域的聚焦水平的聚焦分数。该控制系统还可以产生量化对比度、归一化方差、梯度和类似的其他参数的聚焦分数。该控制系统还捕捉受关注区域的失焦图像，以计算样品离电子显微镜透镜的最佳Z轴距离，其中Z轴垂直于对应于受关注区域的平面。本文提到的X轴可以平行于对应于受关注区域的平面的底部或下边缘，而本文提到的Y轴可以平行于对应于受关注区域的平面的侧边缘。例如，假设对应于受关注区域的平面表示矩形形状，X轴可以平行于该矩形的顶部边缘和底部边缘，而Y轴可以平行于该矩形的左侧边缘和右侧边缘。该控制系统还可以连续监控受关注区域的聚焦水平。该控制系统可以基于聚焦水平生成归一化聚焦分数。该控制系统还可以基于聚焦质量分析和物理对齐的图像来生成归一化聚焦分数。该控制系统还可以基于聚焦质量分析和数字化对齐的图像来生成归一化聚焦分数。该控制系统配置成通过沿Z轴应用漂移校正来改变受关注区域的聚焦水平，其中Z轴垂直于对应于受关注区域的平面。该控制系统可以在图形用户显示器上显示聚焦分数，其中聚焦分数与预定义的聚焦分数并列显示。该控制系统可以将聚焦水平操纵至过焦状态或欠焦状态。该控制系统还可以采用聚焦控制算法来连续调整电子显微镜的物镜，以产生归一化聚焦分数。

被观察样品的变化可以代表现状中的任何种类的变化，包括诸如相变、沉淀物形成、形貌变化、与周围环境的反应、与附近元素的反应以及在被观察样品中发生的聚结等方面。该控制系统可以将移动按照配准算法和/或对齐算法来配准。该控制系统还配置成对配准算法和/或对齐算法进行校准。

在一些实施例中，该控制系统还配置成将移动作为像素位移来配准，并将该像素位移转化为电子显微镜定位器的校正距离。该控制系统还可以用来将多个像素位移转化成漂移速度矢量和/或漂移加速度矢量。因此，该控制系统还配置成仅当定位器的分辨率能够支持校正距离的大小时才向改定位器应用校正距离。该控制系统还配置成向定位器应用校正距离，以便使得到的漂移校正后的序列帧率最大化。优选多个像素位移，以便仅当期望的定位器的分辨率能够支持所需移动的大小时才安排物理移动。也优选多个像素位移，以便仅在合适的时刻安排物理移动，因为当在捕捉期间移动时，产生的定位器移动会暂时使画面模糊。此外，优选多个像素位移，以便得到的漂移校正后的序列帧率尽可能高。用户通常决定在物理移动过程中略去一些帧，以从计算结果和漂移校正后的序列中消除移动的残留影响。当漂移校正仅是像素位移时，用户通常不需要略去一些帧。响应于由该控制系统配准的移动，该控制系统可以触发诸如暂停原位刺激、保持原位刺激恒定以及改变原位刺激的变温速率等各种动作。

该控制系统可以包括算法来执行诸如在归一化聚焦分数接近最佳配准聚焦分数时减小移动大小的任务。该控制系统还可以包括算法来执行诸如在归一化聚焦分数偏离最佳配准聚焦分数时增加移动大小的任务。该控制系统的算法还能够或配置成调节电子显微镜的透镜的重聚焦点，其中该重聚焦点通过操纵指示器句柄来定义聚焦包络。该控制系统还包括Z轴聚焦控制装置，该Z轴聚焦控制装置可以包括诸如射束控制装置、压电控制装置和载物台控制装置等方面。该控制系统还配置成执行相机参数和检测器的校准。校准用来提高漂移校正的性能，并确保精确移动，而无需考虑应用程序。例如，该控制系统可以配置成执行以下一个或多个参数的校准：相机参数、检测器参数、定位器参数和原位控制参数。校准可以包括旋转偏移量和放大聚焦包络等。需要注意的是，显微镜配置文件主要是旋转偏移量、聚焦步长、定位器性能和网络设置。该控制系统可以将与校准相关联的校准值存储在校准数据库中，并且定期将测量值与该校准值进行比较。该控制系统还可以对照一个或多个校准值来监控该控制系统的性能。该控制系统还可以在每个移动配准会话期间执行校准。

在至少一个实施例中，校准值对应于定位器。为游隙、移动极限、移动计时、分辨率、总范围、优选范围、滞后量、最小移动时段、单位转换、中间位置和与定位器相关联的最小移动时段中的至少一个生成校准值。在一个实施例中，校准值对应于样品架，其中该校准值与成像原点调整、X轴调整、Y轴调整和Z轴调整中的一个或多个相关联，其中Z轴垂直于对应于受关注区域的平面。在一个实施例中，校准值与与样品相关联的压力、流量和机械变形中的一个或多个的变化相关联。在一个实施例中，校准值与对应于加热样品架或冷却样品架的预期移动模型相关联。在一个实施例中，校准值与对应于单位温度变化相关的漂移矢量性速度、冷却变温速率和加热变温速率中的一个或多个的预期移动模型相关联。

在一些实施例中，该控制系统配置成将校准值应用于原位控制输入，该原位控制输入包括电流值、温度设定点和流体流速中的一个或多个。在一些实施例中，该控制系统还配置成计算在同时应用原位刺激和漂移校正调整期间可实现的最大热变温速率。调整也可以是沿着Z轴应用的漂移校正的形式，以补偿与被观察样品相关联的膜的预期移动，其中Z轴垂直于对应于受关注区域的平面，其中X轴和Y轴平行于该受关注区域的平面。调整可以包括漂移校正，其中该控制系统还配置成当定位器的X轴参数和Y轴参数中的至少一个超出预定范围时暂停应用漂移校正。调整可以包括沿着Z轴应用的漂移校正，以补偿与被观察样品相关联的膜的预期移动，其中Z轴垂直于对应于受关注区域的平面，其中X轴和Y轴平行于该受关注区域的平面。

在各种实施例中，该控制系统可以利用视场的面积与受关注区域的面积的相对比率、定位器计时、图像刷新率和预期漂移速率中的一个或多个来计算可实现的最大热变温速率。响应于受关注区域的图像刷新率的变化，该控制系统还可以改变影响该受关注区域的热变温速率。响应于用户试图手动聚焦第二受关注区域，该控制系统还可以降低或暂停影响受关注区域的热变温速率。

该控制系统还配置成在图形用户显示设备上的同一单个用户界面中显示应用到受关注区域的电子显微镜控制和漂移校正参数。该控制系统还配置成在图形用户显示设备上显示放大倍率值、活动检测器的尺寸、像素分辨率、面元划分、驻留率和曝光时间中的一个或多个的影响，以评估应用到受关注区域的原位刺激的有效性。此外，该控制系统还配置成辅助用户优先选择相机选项、检测器选项、电子显微镜设置特征和原位刺激中的一个或多个，以生成由应用给受关注区域的原位刺激产生的稳定图像。该控制系统可以自动选择驻留率和曝光时间，以确保由应用给受关注区域的原位刺激产生的稳定图像。响应于用户调整与电子显微镜相关联的像素分辨率、放大倍率值和热变温速率中的一个或多个，该控制系统还可以自动调整应用给受关注区域的原位刺激。该控制系统还可以基于在受关注区域配准的移动来预测与另一个受关注区域相关联的移动。

在至少一个实施例中，该控制系统配置成为应用给受关注区域的原位刺激设置触发功能，其中，当观察到样品特征、电子显微镜条件、原位刺激源和原位刺激读数中的至少一个发生变化时，该触发功能被激活。在一个实施例中，对显微镜控制组件的调整包括触发功能，当观察到样品特征、电子显微镜条件、原位刺激源或原位刺激读数发生变化时，该触发功能被激活。在至少一个实施例中，触发功能调整对电子显微镜、与电子显微镜相关联的相机和与电子显微镜相关联的检测器中的至少一个有影响的参数。在一些实施例中，当样品温度超出预定范围时，该控制系统可以打开或关闭与电子显微镜相关联的检测器。

在一些实施例中，该控制系统还包括配置成开发触发功能的用户界面。在一些实施例中，该控制系统还配置成允许用户为被观察的样品设置电子剂量率极限。在一些实施例中，该控制系统还配置成根据电子显微镜透镜的位置和时间来计算电子显微镜的电子剂量率。在一些实施例中，该控制系统还进行监控以确保电子剂量率不超过预定的电子剂量率极限。除了电子剂量率的极限之外，该控制系统还可以设置累积电子剂量的极限。

在至少一个实施例中，该控制系统配置成在图形用户显示设备上以热图形式显示电子剂量率的图像；该控制系统还配置成在图形用户显示设备上以热图形式显示累积电子剂量的图像；该控制系统配置成自动调整显示的图像，以抵消样品位置和/或放大水平的变化。该控制系统还可以基于被配准的移动和应用的原位刺激产生自动化报告。该控制系统可以允许用户设置安全极限，以防止对样品造成不可逆的损伤。该控制系统还可以测量电子束对样品的样品形状、样品成分、样品密度和电特性中的一个或多个的影响。该控制系统还可以记录一段时间内被配准的移动，以生成受关注区域内发生的移动历史记录的三维地图。该控制系统还可以在图形用户显示设备上视觉显示三维路径中的移动历史记录。在一些实施例中，移动历史记录的视觉显示可以响应于用户提示以交互方式旋转。在一些实施例中，该控制系统可以基于由用户选择的采集速率(例如，TEM模式下的曝光时间和STEM模式下的驻留时间)和/或放大水平来计算最大允许移动。该控制系统还可以引导用户调整成像条件，以防止达到最大允许移动。该控制系统还配置成设置与诸如耦接到电子显微镜的质谱设备、耦接到电子显微镜的气相色谱设备和耦接到电子显微镜的液相色谱设备的辅助设备相关联的触发功能。

在至少一个实施例中，响应于被该控制系统激活的触发功能，该控制系统可以调整与样品相关联的环境条件。当从耦接到电子显微镜的原位样品架排出的循环水中所含物质的测量浓度超出预定范围时，该控制系统还可以调整与样品相关联的环境条件。该控制系统还可以在图形用户显示设备上显示用户先前观察到的样品各部分的图像列表以及与每个列出的图像相关联的剂量或剂量率。该控制系统还配置成在图形用户显示设备上显示暴露于来自电子显微镜的电子束的、具备一定预定水平的电子辐射的样品的各部分的图像列表。

在各种实施例中，该控制系统还配置成连续监控各个方面，例如电子显微镜的视场；与电子显微镜相关的至少一个定位器的X轴、Y轴或Z轴参数；与电子显微镜相关联的至少一个定位器的Z轴参数；样品架的α倾斜；样品架的β倾斜；图像刷新率；射束消隐器的状态；镜筒阀状态；屏幕角度；显微镜元数据；以及成像系统元数据。

在一些实施例中，所应用的原位刺激包括移动定位器，其中该控制系统还配置成从载物台定位器、压电定位器和射束定位器中的一个或多个中选择定位器。该控制系统配置成计算移动定位器所需的时间，以将该定位器的移动对保存的图像序列的影响降到最低。该控制系统还可以基于所应用的原位刺激的量级来选择定位器。该控制系统对定位器的选择还可以是基于剩余的所应用的原位刺激达到所应用的原位刺激的预定最大量级的余量。该控制系统可以将先前应用给定位器的另一个原位刺激归零。该控制系统还可以为电子显微镜的电子束位置分配一个或多个自动极限，以防止或减少消像散。该控制系统还可以允许用户在受关注区域和另一个受关注区域之间切换。当被配准的移动低于预定值或预定速率时，该控制系统可以开始采集受关注区域的高分辨率图像。

在至少一个实施例中，该控制系统还配置成当其检测到与机械载物台的X轴位置、机械载物台的Y轴位置、机械载物台的Z轴位置、压电载物台偏转、射束偏转、压电载物台、焦平面、α倾斜、β倾斜、图像刷新率和成像条件中的至少一个相关联的移动时识别用户发起的动作。该控制系统还可以基于用户发起的动作来校准或触发原位刺激。该控制系统还可以暂停或中止与用户发起的动作冲突的原位刺激。

根据各种实施例，该控制系统可以通过将图像(通常是主要受关注区域)的子集与视场的其余部分进行模板匹配来实现样品移动的配准。减少TEM(透射电子显微镜)和STEM(扫描透射电子显微镜)图像序列中常见的大量“椒盐”噪声或背景噪声的技术(例如中值模糊过滤)改进了配准和对齐算法。该控制系统还可以包括过滤技术。然后，像素位移的配准可以转化为与电子显微镜相关联的定位器的校正距离。这些像素位移的组合可以被转化成漂移速度矢量和漂移加速度矢量。

例如，通过选择耦接到该控制系统的交互式图形用户显示器，该控制系统可以允许用户通过从软件中的实时图像流中选择一个或多个主要受关注区域来选择主要受关注区域。受关注区域的选择可以通过在图像上勾画出轮廓/边界、在图像上勾画出形状或者通过选择其中一个预定形状来进行。该控制系统还可以实现大小的轻松调整。可能有多个受关注区域，例如，对一个受关注区域进行X和Y轴漂移校正，而对一个受关注区域进行Z轴自动聚焦。本文描述的控制系统可以将受关注区域沿X和Y轴置于视场的中心，从而使用户能够在开始漂移校正之前轻松地将关键特征移动到中心。本文描述的控制系统可以通过双击图像来实现这一点。备选地，本文描述的控制系统可以通过向不在视场中心的位置应用居中移动来实现这一点。一旦开始漂移校正，可以通过软件来设置新的受关注区域，这将更新任何参考模板。这可以通过双击新的区域或勾画出新的受关注区域来实现。

在一些实施例中，该控制系统配置成通过应用物理调整、应用数字化调整、对实时画面中显示的图像进行过滤和/或对漂移校正后的图像序列中显示的图像进行过滤来减少或消除移动，以有助于生成受关注区域的无缝视频。该系统不但可以通过物理校正和数字化校正来为实时无缝视频减少或消除移动，还可以自动对实时画面中显示的图像和漂移校正后的图像序列进行过滤。例如，该系统可以允许略去实时画面中的一些图像，其中该系统对其中一个定位器进行物理移动，从序列中去除这些模糊图像。该系统还可以向定位器发送受命令控制的移动，以便由定位器创建的模糊帧不会出现在漂移校正后的图像序列或实时画面中。知道使定位器移动所需的时长可以使用户得到无缝体验，在移动过程中仅有少许掉帧或者采集暂时延迟的情况。因此，在各种实施例中，该控制系统还配置成自动略去一个或多个模糊图像，以生成没有该一个或多个模糊图像的漂移校正后的图像序列。该控制系统还可以协调应用调整的计时，以与采集一个或多个模糊图像的时间同步。

根据各种实施例，该控制系统通过分析图像中像素强度的方差来对受关注区域的聚焦进行评分。该控制系统可以通过FFT(快速傅立叶变换)计算分析、对比度传递函数分析和射束倾斜分析来确定这一点。该控制系统可以通过射束偏转和任何其他聚焦算法来交替确定这一点。控制系统还可以用来有目的地使图像失焦(包括欠焦和过焦)，以帮助确定受关注区域的最佳Z轴高度。然而，这并不仅限于透镜和射束调整来使样品聚焦和失焦。在至少一个实施例中，该控制系统所采取的动作是分级的，因为该控制系统会根据所需的移动尺度来调整载物台、射束和/或压电。

改变样品的一个过程(改变样品在原位研究中非常常见)包括使用可调过滤器来将原始配准模板变形成当前实时画面。此外，当用户更改显微镜上的FOV、成像条件或关键项目时，可以以策略的方式对该模板进行彻底的重置。在至少一个实施例中，该控制系统配置成在预定时间段内操纵受关注区域的图像模板，以生成当前形貌分布图或当前强度分布图。该控制系统可以利用过滤技术和帧平均来使模板变形成更像受关注的活动区域。该控制系统可以相应地保留历史记录，同时对更多的动态样品作出反应。因此，该控制系统可以利用模板图像来对移动进行配准。在一些实施例中，被配准的移动包括漂移矢量。

该控制系统可以识别样品变化的时间，并且有利的是，基于识别，该控制系统可以在具有高帧率的长时间实验中标记重要事件；有利的是，这可以有助于从非常大的数据集中对关键数据进行分类，并将图像保存到文件中。有利的是，这还可以有助于暂停或保持原位刺激。有利的是，这可以有助于降低变温速率或自动更新所指示的受关注区域。

根据至少一个实施例，控制软件可以主动检测到的样品变化包括以下内容：

1.与形貌相关的变化：

a.表面琢面

b.颗粒凝聚/聚结/烧结

c.颗粒溶解/腐蚀/升华

d.大块内容物溶解/形成

e.颗粒成核

f.导致样品生长的成核

2.与相位相关的变化：

g.柯肯德尔(Kirkendall)效应——空泡形成和外壳形成

h.结晶/非晶化

i.相位隔离

j.晶界迁移

k.氧化/还原

l.致密化

3.原子尺度变化：

m.空泡/缺陷变化/损耗/移动

n.单原子动态

o.晶带轴确定

p.石墨烯激子

4.自动化特征：

q.相位变换检测

r.碳污染检测

s.液槽去湿检测

在各种实施例中，与电子显微镜相关联的定位器的控制可以通过构成该控制系统的一部分的一个或多个软件算法来实现。在一些实施例中，定位器的控制可以是分级的，因为该控制系统可以智能地在与可用定位器相关联的可用校正选项中选择最合适的校正选项。选择可以基于漂移矢量性速度和一个或多个成像条件(例如放大水平和图像采集时间)的组合。电子显微镜中常见的可用定位器包括能够粗略移动样品架的机械载物台控制装置。在一些实例中，设有压电载物台控制装置来精细移动该样品架。还可以设有用于通过电子显微镜的电子束的电磁偏转来控制电子束位置的控制装置。通常通过软件来对这些定位器进行控制。然而，与本文描述的控制系统不同，现有的解决方案没有将这种控制装置与特征移动联系起来。此外，与本文描述的控制系统不同，现有的解决方案没有提供用于跨越所有3个定位器的连续移动的自动化系统。

针对无缝视频，该控制系统还可以减少样品移动。然后，该控制系统可以从总视场中对得到的图像进行数字化校正。视频可以具有ROI居中的FOV，显示ROI是如何与样品的其余部分交互的。该控制系统还可以实现周边像素的裁剪或模糊处理，同时保持受关注区域居中。该控制系统还可以实现将两个图像集保存到数字化校正版本和未校正版本的文件中。此外，该控制系统还可以实现根据连续图像生成视频，这些连续图像针对受关注区域的超稳定影片进行了数字化校正或者针对未改变的视频输入未进行校正。因此，本公开的主题的实施例可以在应用物理校正的同时执行这些功能。两种功能的结合可以是有益的。

该控制系统还可以包括对一组完美的校正后的连续图像进行后处理的功能。例如，应用于一个图像的数学计算或分析可以很容易地应用于多个图像，因为这些图像都是经过物理和数字化对齐的。数学计算和分析可以包括变换分析(例如FFT和CTF)、强度图、像素强度统计、聚焦算法分析、粒度分析、颗粒分布分析、点间距离、结晶度分析、分辨率分析、帧求和、帧平均、图像过滤器、亮度调整、对比度调整、伽马调整、元数据和形状叠加层。通过在经过物理和数字化对齐的图像序列上应用数学函数或数学算法，控制软件可以呈现样品是如何随时间变化的，从而量化实验或成像曝光的效果。此外，应用于图像的数学函数或数学算法可以用于对图像进行分类和过滤。元数据还可以用来对图像进行分类和过滤。元数据可以源自成像条件、显微镜条件、原位数据或对图像进行的计算。例如，软件可以有助于通过分析样品温度来仅识别处于温度变化的图像，然后通过过滤聚焦质量分数或归一化聚焦质量分数来进一步将序列仅限制为“聚焦”图像。数学函数或数学算法可以在捕捉后应用于图像序列，或者在图像捕捉期间进行实时处理。

该控制系统还配置成基于未校正的连续图像生成视频。该控制系统包括对一组完美的校正后的连续图像进行后处理的功能。例如，应用于一个图像的数学计算或分析可以很容易地应用于多个图像，因为这些图像都是经过物理和数字化对齐的。数学计算和分析可以包括变换分析(例如FFT和CTF)、强度图、像素强度统计、聚焦算法分析、粒度分析、颗粒分布分析、点间距离、结晶度分析、分辨率分析、帧求和、帧平均、图像过滤器、亮度调整、对比度调整、伽马调整、元数据和形状叠加层。

在一个实施例中，本文描述的控制系统可以包括由AXON(商标名)和/或Synchronicity(商标名)提供的软件套件或该控制系统可以是软件套件的形式。图92至图114示出了AXON软件套件(以下称为“AXON系统”、“AXON”或“控制系统”或简称为“系统”)的各个方面。AXON在数字显示设备(例如计算机显示器)上的显示可以包括三个标题：“AXON命令”、“显微镜命令”和“显微镜配置文件”。“AXON命令”和“显微镜命令”部分用于在“显微镜配置文件”部分提供信息，“显微镜配置文件”部分对TEM镜筒进行表征，AXON软件套件安装在该TEM镜筒上或以其他方式与其电子耦接。“AXON命令”包括针对AXON应用程序的功能，例如：“在X/Y轴重置射束”，将射束重新居中到0,0；“在Z轴重置射束”，将散焦设置为0；“开始在X/Y轴回调射束”，触发X/Y轴回调过程(与下方的指示器相同的过程，但没有限制)；“开始在Z轴回调射束”，触发Z轴回调过程(与下方的指示器相同的过程，但没有限制)；以及“保存跟踪”，将软件诊断和跟踪信息保存到文件中。此外，在本节中，随着AXON专用的额外命令的开发，还将提供这些命令来辅助服务安装或诊断。

“显微镜命令”包括针对TEM的功能，例如：“读取成像模式”，读取该系统是在TEM模式还是在STEM模式下运行；“读取放大倍率”，读取放大倍率；“读取位置”，读取X、Y、Z、A和B的当前载物台位置(X、Y和Z对应X轴、Y轴和Z轴；A代表α倾斜，B代表β倾斜)；“设置位置”，将载物台设置到X、Y、Z、A和B的绝对坐标；“同步位置”，将“设置”的位置设置到当前读取位置，以辅助形成微小的载物台增量；“读取位移”，读取当前X轴和Y轴射束位置，针对的是TEM/STEM(TEM位移通常称为“图像位移”，而STEM位移通常被称为“射束位移”；偏转器可用于这两种类型的移动)；“设置位移”，将射束设置到X轴和Y轴的绝对坐标，针对的是TEM/STEM；“同步位移”，将“设置”的移位设置到当前读取位置，以辅助形成微小的射束位移增量；“读取散焦”，读取当前Z轴射束位置，通常称为“散焦”值；“设置散焦”，将Z轴射束位置设置为绝对值；以及“同步散焦”，将“设置”的散焦设置到当前读取位置，以辅助形成微小的散焦增量。

AXON可以管理多次显微镜校准。当连接到相关联的显微镜服务时，每个TEM镜筒可以具有由AXON自动创建配置文件。首先可以经由服务门户针对可用的网络显微镜服务单击“测试连接”按钮来建立连接。成功连接后，AXON可以为该TEM创建一个显微镜配置文件，其中包含所有默认功能。通过准确了解定位器和成像仪的功能以及二者之间的关系，性能可以得到提高。尽管有些字段可以在安装测试后手动输入，但是其他几个字段条目是基于过程结束时填入的自动化程序。

“显微镜配置文件”包括显微镜，并且所有连接的相机和检测器都在系统安装时进行了表征。“显微镜配置文件”可以是自动化和手动参数的组合，这些参数相对于相机/检测器对镜筒的每个部分的功能进行校准。显微镜配置文件可以由手动输入的数据或从连接的显微镜、相机、检测器或原位系统自动提取的数据组成。例如，“显微镜名称”可以由TEM镜筒的计算机名称填充，并且“显微镜名称”还可以是可编辑的字段。“显微镜配置文件”可以保存联网和通信信息，比如“显微镜服务Uri”，“显微镜服务Uri”可以是显微镜服务通信链接的统一资源标识符，并且可以包括详细说明与该显微镜配置文件的最后连接的日期/时间的“最后连接时间”。“定位器性能”可以是与显微镜移动样品能力相关联的所有设置的标题。“坐标变换”可以是所有X/Y轴旋转对齐校准的标题，这些校准将定位器与相机或检测器联系起来(根据检测器、定位器和放大倍率来保存)。并且，“聚焦辅助步长”可以是所有Z轴校准的标题，其规定了根据成像条件和放大倍率使样品过焦、欠焦和聚焦所需的距离(根据检测器、定位器、会聚角和放大倍率来保存)。

如本文所用，下列术语具有相应的定义。“图像完整阈值”是在连续成像流期间确定新图像所需的独特像素的百分比。“扫描边界接受阈值”是在连续成像流中声明独特图像之前该系统尝试以STEM扫描边界为目标的从底部开始的像素行的百分比。“范围”是镜筒AXON软件读取的定位器的最小和最大物理极限，单位为微米或度。每个定位器将有不同的范围极限，这些极限在X轴、Y轴和Z轴平面以及α倾斜和β倾斜中可以不同。“优选范围”是AXON软件读取的定位器的优选最小和最大极限，单位为微米或度。这些可以与范围相同，或者可以是范围的子集。对于射束移动的情况，优选范围可以用作安全缓冲或者用于防止光学器件的图像退化。每个定位器可以有不同的优选范围，这些在X轴、Y轴和Z轴平面以及α倾斜和β倾斜中可以不同。优选范围可以与显微镜相关和/或与OEM(原始设备制造商)相关。“分辨率”是在产生游隙后定位器可以通过AXON软件命令控制的最小移动距离，单位为微米。每个定位器将有不同的分辨率，这些分辨率在X轴、Y轴和Z轴平面以及α倾斜和β倾斜中可以不同。“滞后量”是在给定定位器上改变方向时损失的距离，单位为微米或度。滞后量弥补了所需的额外行程，直到可以在样品的实际感知位置处辨别出分辨率的变化。每个定位器可以有不同的滞后量，并且在X轴、Y轴和Z轴平面以及α倾斜和β倾斜中可以不同。这些参数可以用于确定定位器是否是实现控制软件所要求的移动大小的正确定位器。“最小移动时间”是通过定位器的分辨率确定的完成移动和图像稳定下来完成最小移动所需的时间。每个定位器将有不同的最小移动时间，这些最小移动时间在X轴、Y轴和Z轴平面以及α倾斜和β倾斜中可以不同。“移动速度”可以用于量化完成更大的移动和图像稳定所需的额外缩放因子，随移动大小而线性缩放。无需将定位器的移动时间分为最小移动时间和移动速度，优选情况下，这两个参数可以在单个移动时间内概括。“坐标变换”可以用于表征将定位器与相机或检测器联系起来的合理对齐校准(根据检测器、定位器和放大倍率来保存)。触发自动化过程后，可以自动保存坐标变换过程。该过程的一个实例可以是，引起滞后的所有相关定位器移动不连续的6步，并保存定位器和活动相机或检测器之间的旋转对齐。

当显微镜校准过程被触发时，除了一些例外，该系统可以自动尝试为相机或检测器校准射束和载物台。该系统只可以在STEM模式下校准STEM射束，以及在TEM模式下校准TEM射束。此外，该过程可以仅在视场的某一部分没有超过可以由显微镜配置文件规定的射束的优选范围或物理范围时校准射束。同样地，该系统可以仅在放大倍率足够低时校准载物台，以便视场的某一部分不会超过定位器的分辨率或滞后量。

当定位器成功完成校准过程时，可以在“坐标变换”标题下填入条目，详细说明相机/检测器、定位器和放大倍率。该系统可以按此顺序对校准进行引用。每次移动时，该控制系统可以为正确的相机或检测器寻找校准。如果没有的话，该控制系统可以提醒用户需要进行校准。如果有的话，该控制系统可以参考定位器性能根据所需移动的分辨率和大小来确定正确的定位器。如果没有针对该定位器的校准，该控制系统可以提醒用户需要进行校准。如果有针对该定位器的校准，该控制系统可以选择与用户正在操作的放大倍率或最接近的放大倍率相关联的校准。

在STEM模式下，可能只需要获取几个校准，一个是在非常低的放大倍率下针对载物台的校准，一个是在中等放大倍率下针对载物台的最小移动和射束的最大移动的校准，还有一个是在高放大倍率下针对射束的最小移动的校准。在TEM模式下，可能需要获取多个放大倍率下的更多校准。随着新镜头的启用，TEM相机旋转图像并不罕见。

“聚焦辅助步长”是所有Z轴校准的标题，其根据成像条件和放大倍率规定了使样品过焦、欠焦和聚焦所需的距离。与“坐标变换”非常相似，“聚焦辅助步长”可以根据相机/检测器、会聚角、放大倍率来保存。这些校准还可以是自动化过程，该过程在从起始位置向外的两个方向逐步增加散焦的大小，直到其达到规定的极限。该规定的极限可以是固定值或设置(例如“校准最大步长(um)”设置或“校准最小聚焦商数”设置)。为了改进校准，如果在任何时候该控制系统在向外步进时获得了更好的聚焦分数(也称为聚焦水平分数)，该控制系统可以从新位置重新开始该过程。在过程结束时，该控制系统可以使散焦回到最佳聚焦位置，并在“聚焦辅助步长”中填入条目。这些条目将函数应用于这些点，以帮助该控制系统确定当样品聚焦或失焦时所需的步长。

该控制系统还配置成连续监控受关注区域的聚焦水平，并利用经过物理和数字化对齐的图像以及聚焦质量分析来实现归一化聚焦分数。尽管对单个图像进行聚焦评分很重要，但由于图像都是经过物理和数字化对齐的，该控制系统可以基于同一组特征来创建聚焦历史记录。有利的是，将应用于单个帧的聚焦质量分数与可能的分数进行比较可以归一化聚焦分数。归一化聚焦分数转而可以实现实时聚焦分析，以提高或描绘聚焦质量。该控制系统的聚焦控制算法可以不断调整物镜(散焦)。随着归一化聚焦分数接近最佳配准聚焦分数，移动的大小变得更小(接近0nm)。随着归一化聚焦分数变得更差，调整大小增加。移动方向与归一化的分数历史记录的分析有关。将导致较低归一化分数的移动纳入到由控制系统指示的控制器中，该控制器配置成最终将移动方向反转。归一化聚焦分数引用了最佳聚焦。归一化聚焦分数可以在任何新的模板上更新(成像条件变化、FOV变化等任何时候)，并且通过过滤器(例如凹凸过滤器)使模板随着时间推移而变形，以产生可能使最佳聚焦无法再被实现的形貌变化或强度分布。对归一化聚焦分数进行噪声过滤，以减少控制器对EM图像固有噪声的反应。由于可能没有关于轮廓对不同类型的样品或其他成像条件的适用程度的足够历史记录，因此用户可以在漂移校正在进行的任何时候触发该过程。这可以作为“自动聚焦”功能来使散焦的样品更快地被重新聚焦，并且也可以作为校准功能来为该类型的样品校准该控制系统。所有校准都已保存，因此这不是每个实验的必要步骤——仅在默认行为不是优选的情况下保留。对于聚焦辅助校准，确实需要执行漂移校正，以保证该控制系统通过校准瞄准同一个受关注区域。

AXON中的一个关键步骤是开始一个会话。这设置了默认的叠加层和工作流程，并且优先选择连接类型。用户可以更改会话名称来帮助组织数据。

在安装时，AXON可以创建一个支持文件目录，这些支持文件组织在服务器上现有的一个预定文件夹目录中。在该目录中，用户可以手动访问应用程序使用的文件。AXON可以自动创建关于每个显微镜连接或与Clarity产品的连接的日志。在一个实施例中，本文描述的控制系统可以包括由Clarity(商标名)提供的软件套件(以下称为“Clarity”、“控制系统”或简称为“系统”)。访问这些日志可以有助于确定用户使用AXON应用程序的频率和原因。

该控制系统可以为每个会话创建一个文件夹，根据会话分为“漂移校正后的图像”、“原始图像”、“模板”和“单次采集”。当缓冲区大小接近其最大极限时，可以将该目录设置为先进先出。只要缓冲区中还有该会话的图像，会话文件夹就可以一直存在。可以从该文件夹手动移动图像，或者使用AXON Notebook或任何会话或图像检查工具导出图像。如本文所提到的，根据本公开的主题的一个或多个实施例，AXON Notebook可以指的是构成该控制系统的一部分的图像检查工具的商标名。每个图像都可以与所有相关元数据一起保存，但是可能只能通过AXON Notebook或被支持的检查工具来访问这些元数据。这些工具可以导出图像并将元数据导出到数据库或CSV文件中。

AXON可以依靠显微镜服务和其他可能的相机服务来与TEM和相机交互。这些服务在镜筒和相机计算机上安装并运行，并与AXON应用程序通信。这些服务可以是Microsoftwindows系列(以前称为NT系列)，并且启用在其自己的Windows会话中运行的长时间运行的可执行应用程序，但这些服务也可以是独立的应用程序。这些显微镜服务作为一个长时间运行的应用程序运行良好，该应用程序不会干扰在同一台计算机上工作的其他用户。在安装时，会启动后台服务，并可以创建图标。该图标可以指示与AXON的连接状态。后台服务可以处于待机状态，直到被AXON通过“连接”功能触发；然后，后台服务会尝试联系TEM操作系统(OS)和成像操作系统。单击该图标时，可以查看显微镜服务的小型轻量级用户界面。该应用程序可以有多个面板，可以打开诸如“状态”等面板，但可以很容易切换到“诊断”和“关于”面板。一旦连接到AXON，AXON下面的连接状态就可以从“未连接”变为“已连接”。一旦连接到显微镜，“显微镜”下面的连接状态就可以从“未连接”变为“已连接”。

就图像监控而言，AXON不需要创建成像会话或更新条件。用户可以继续在本地成像环境中设置成像条件，并且AXON通过显微镜或相机服务中管理的图像监控过程来识别独特的图像。AXON以为成像服务运行脚本同等的速度来对图像进行轮询。一旦该控制系统确定图像是独特的，该过程就将每个像素的强度编译成具有所有相关元数据的位图。然后，该控制系统将该位图包从显微镜服务发送给AXON主应用程序。一旦发送了位图包，如果需要的话(如定位器更新)，该过程就命令对TEM镜筒进行任何改变。然而，AXON的功能和特征不限于仅在本地成像环境中设置成像会话，实施例可以包括实现对成像设置进行控制的软件。

AXON接收这个位图包，并应用图像监控过程设置来根据用户的偏好缩放原始位图像素。未密封的位图通常非常单调且非常暗——看不太清楚。AXON在设置中有几个可用的图像归一化选项，其中用户可以在“直方图”、“最小-最大”和“无”之间进行选择。“直方图”是默认设置。用户可以设置直方图下部分、下限像素强度、上部分和上限像素值。一旦进行了归一化，该过程就对位图执行任何需要的图像处理。在分析的同时，该过程将位图转换成无损PNG或其他任何文件类型，以存储在图像缓冲区中。仅转换缩放后的图像，并且原始位图会丢失。

AXON可以处理全分辨率图像，但可能会将图像进行面元划分以进行计算。该架构可以实现在本地环境中执行图像处理，其中用户可以利用如OpenCV之类的第三方库。该过程适用于单次采集、连续采集、STEM模式和TEM模式。该过程要求用户通过“搜索”、“查看”、“预览”或“采集”在其本地生成像环境中设置成像会话。有些情况下会建立连接，但是图像不在AXON软件中显示。在这些情况下，AXON会通过对话提醒用户为什么没有显示图像。这在以下情况下进行处理：镜筒阀关闭；射束消隐；以及屏幕下降。在某些情况下，漂移控制可以包括对X/Y轴平面中的移动进行校正，但不包括高度或聚焦的变化。

就定位器的层级而言，AXON系统建立在定位器的层级上。可以通过数字化配准来处理超精细移动，直到这些超精细移动达到阈值，在该阈值处触发射束移动来终止数字化配准。最终，通过触发载物台的移动，射束移动也被终止。压电可以用于兼容的TEM镜筒。数字化配准的一个实例是移动像素以及对视场边缘进行裁剪、模糊处理或过滤。通过允许一小部分的数字化配准，使得AXON软件能够提供样品的无缝实时画面，而无需不断触发TEM射束或载物台的移动，从而保持受关注区域的一致性，并防止图像撕裂和形成阴影。射束移动在TEM模式和STEM模式之间是不同的，并且是在AXON软件中可获得的最精细的物理移动。任何物理移动都会使样品居中，这可以减少应用给图像的数字化配准量。当射束从对齐位置进一步移动时，图像质量会受到影响，整体对比度会降低，并且边缘的梯度更小。如果移动得太远，TEM模式和STEM模式下的射束位移可能会导致图像退化。当载物台的分辨率和放大倍率允许时，AXON可以用来通过载物台移动来回调射束。通过AXON软件，可以手动和自动触发射束回调。可以通过指示器跟踪射束位置，该指示器反映射束的X轴或Y轴位置中较大的一个。在该指示器上可以描绘滑动阈值，当自动回调被启用并且放大倍率足够低时，该滑动阈值触发自动回调。

在一个实施例中，漂移校正过程可以包括以下步骤。在中值模糊处理之后，该过程对实时图像应用数字化配准。对漂移校正后的图像序列中的每一帧应用数字化配准，但是软件同时将未改变的原始图像保存到单独的文件夹中，当在下方的指示器中切换时，可以在实时画面中看到该文件夹。当仅应用数字化配准时，在呈现和保存的原始图像或漂移校正图像中没有图像被略去的情况。当数字化配准达到一个百分比阈值时，该系统则会触发物理移动，该阈值可以是固定的或者通过“调整阈值”设置来设定。在某些应用中，优选较大或较小的“调整阈值”设置。较大的设置可以以较少的物理移动和图像被略去的情况实现更多允许的数字化配准。较小的设置可以随着较少的数字化配准而更频繁地移动，导致样品在本地成像应用程序和AXON中保持更居中。当与EELS、EDS或其他分析技术协作时，这可以是优选的。当触发物理移动时，AXON会查看“显微镜配置”，以根据移动的大小和定位器的分辨率来确定使用哪个定位器。如果定位器的分辨率小于所需的移动，AXON可以一直默认使用最粗略的可用定位器。如果所需的移动距离为20nm且载物台的分辨率为25nm，那么AXON可以默认使用下一个精细定位器，即射束。然而，如果所需的移动距离为30nm，则载物台可以是被触发的定位器。如果载物台是默认定位器，该控制系统可以自动将射束回调至0,0。物理移动的方向由基于坐标变换校准的矩阵对齐决定。移动的大小取决于TEM服务工程师利用普通技术(例如MAG*I*CAL)进行的相机或检测器校准。

就漂移校正后的图像序列而言，当触发物理移动时，在实时画面中略过下一个图像，并且该图像不被保存到漂移校正后的图像序列中。该图像被保存到原始图像序列中。所有图像一直保存在原始图像中。该控制系统还从“显微镜配置文件”中查看最小移动时间和移动速度，以确定在图像刷新率小于移动所需定位器所需时间的情况下是否需要略过额外的图像。在定位器物理移动样品的同时略过一些图像可以防止被撕裂的或有阴影的图像被纳入漂移校正配准，并使校正后的图像序列的浏览更易于管理。所有图像一直保存在“原始图像”中，用户始终可以在实时画面和AXON Notebook中以相同的时序在这两个画面之间切换。漂移校正过程通过针对TEM的用户中断继续进行。该软件监听TEM镜筒、相机和检测器的更新，以确定何时抓取新模板来对图像进行配准。

当发生以下事件时，该AXON系统可以自动抓取新模板并继续漂移校正过程：放大倍率发生变化；图像物理尺寸发生变化；像素面积发生变化；面元划分发生变化；采集时间发生变化；驻留时间；曝光时间或积分时间；启用增益校正；启用偏置校正；α倾斜发生变化；射束；载物台；β倾斜发生变化；射束；载物台(仅在由镜筒如利用Fusion Select进行控制的情况下可读)；亮度发生变化；对比度发生变化；会聚角发生变化；Z轴载物台发生变化；散焦发生变化；AXON内受关注区域的大小发射变化。

当以下事件发生时，该AXON系统可以暂停漂移校正，并等待直到自动恢复漂移校正前出现更新状态：射束消隐；镜筒阀关闭；以及屏幕下降。当以下事件发生时，该控制系统可以完全停止漂移校正，以便不与用户产生“冲突”：X/Y轴载物台移动；以及X/Y轴射束移动。此外，如果FOV与模板的相关性匹配超过了“相关性失效阈值”，漂移校正可以停止该过程。如果数字化配准妨碍了受关注区域，它也可以停止该过程。漂移校正配准可以适应动态样品。这对于原位样品来说是有利的，但是即使是“静态”样品也会随着射束与材料的相互作用或晶带轴的变化而变化。运行中的过滤器可以应用于原始模板，从而使其变形成更像当前图像。该过滤器的激进度可以通过“模板变形因子”设置来确定或设定。较高的设置可以产生更像当前图像的配准模板。这样做可以在漂移方向上缓慢移动受关注区域，但这可能是适应不断变化的样品所必需的。在变化不大的图像上，保持模板变形因子较低以保持受关注区域的一致性可以是有利的。有许多方法可以通过参考样品的动态程度来可视化模板变形设置。这可以是变量、滑块、固定设置或任何其他类型的指示器。

漂移校正可以在模板是变形模板的图像上执行受关注区域与该尺寸的每个像素阵列的相关性匹配。然后，配准对受关注区域框中相关性分数最高的区域进行数字化居中。受关注区域可以由软件中图像上的形状叠加层来界定。该AXON系统包括通过设置打开“背景辅助”的选项。“背景辅助”继续优先处理受关注区域，但也管理其他独立的受关注区域，以确定总体方向。

就漂移控制规范而言，当成像条件适合预期漂移速率时，AXON可以在X轴、Y轴和Z轴上进行校正。当使用专有系统时，“实验优先级排序”可以自动帮助为当前成像条件设置合适的变温率。然而，如果漂移不是由专有的加热E-芯片引起的，那么可能需要调整成像条件。如果该控制系统无法跟上视在漂移，可以采取以下动作：减小放大倍率或图像尺寸；以及提高图像采集速率。

当漂移校正处于活动状态时，聚焦辅助是一个可从AXON屏幕显示的左栏触发的过程。受关注的焦点区域由叠加在实时画面上的形状界定。该受关注区域在受关注的漂移校正区域内是可移动的，并且可在极限范围内调整大小。除非漂移校正处于活动状态，否则聚焦辅助不会运行，以保证在比较评分中分析同一个受关注区域。用于这个过程的主要工具是聚焦质量分数和显微镜的散焦调整。在回调事件过程中需要载物台移动，但是由于大多数显微镜上的Z轴载物台定位器不可靠，载物台移动不会自动变成较大的移动。在兼容的显微镜上也可以支持压电控制。

聚焦质量分数可以应用于没有先前分数的历史记录的每个图像。这个分数在下方的指示器中被报告为数字分数和相对商数。尽管有默认的评分标准，但是用户也可以通过聚焦辅助设置“聚焦评分算法”在以下评分标准中进行选择。每种算法都有利于特定的成像条件和样品。“方差”通过应用图像过滤器后取均值的平方差之和来计算图像的方差。“逆方差”被计算为一个较大的值/方差，用于反向分布图，其中减小后的方差是优选地。“范数方差”取方差并除以平均像素强度，从而将总强度的变化归一化。“逆范数方差”被计算为一个较大的值/范数方差，用于反向分布图，其中减小后的范数方差是优选的。“范数方差2”取方差并除以平均像素强度，更加强调总强度变化的归一化，从而更好地处理饱和像素组。“逆范数方差2”被计算为一个较大的值/范数方差2，用于反向分布图，其中减小后的范数方差2是优选的。“梯度”通过取应用图像过滤器后从图像导出的梯度矩阵的平方和的平方根来计算图像的梯度。“逆梯度”被计算为一个较大的值/梯度，用于反向分布图，其中减小后的梯度是优选的。“梯度2”将第二个过滤器应用于梯度分数，以增强边缘和减少背景影响。“逆梯度2”被计算为一个较大的值/梯度2，用于反向分布图，其中减小后的梯度2是优选的。“拉普拉斯”基于从图像导出的拉普拉斯矩阵的平方和的平方根。“逆拉普拉斯”被计算为一个较大的值/拉普拉斯，用于反向分布图，其中减小后的拉普拉斯分数是优选的。“最大拉普拉斯”是模糊拉普拉斯矩阵的最大值。“逆最大拉普拉斯”被计算为一个较大的值/最大拉普拉斯，用于反向分布图，其中减小后的最大拉普拉斯分数是优选的。额外的评分标准可以从FFT的CTF分析中得出。

聚焦质量分数应用于没有先前分数的历史记录的每个图像。聚焦商数通过将当前分数除以记录的最佳分数来提供历史记录。聚焦商数用于指示下方的指示器栏中的相对聚焦质量，并用于确定所需移动的大小。这可以让用户和软件知道与最好的聚焦质量相比聚焦的质量如何。每次漂移校正模板更新时，该聚焦商数的历史记录都会被重置，以便实现TEM上的任何用户交互。最佳聚焦分数会发生变化的原因很多，包括因碳污染导致的对比度降低。在驻留时间较长的STEM模式下，这种情况会恶化；当样品对原位刺激或射束作出反应时，形貌发生变化；并且，当样品的相对轴旋转时，形貌发生改变。考虑到这些情况，将过滤器应用于聚焦商数，使聚焦商数变形为当前图像。该过滤器的激进度可以通过“聚焦分数变形因子”设置来确定或设定。每当聚焦商数大于最佳聚焦分数时，该分数重置为1。当聚焦商数为1时，该AXON系统确定图像处于最佳聚焦状态。当聚焦商数接近0时，图像的失焦情况越来越严重，无论是过焦还是欠焦。当聚焦辅助启动时，聚焦商数从1开始，并且每当创建新模板或者测得的聚焦质量分数高于变形后的最佳分数时，聚焦商数就返回到1。可以对这些值进行缩放或插值。

就散焦调整而言，当聚焦辅助处于活动状态时，AXON会对任意一个图像(每隔一个图像或最小移动时间后的图像，以较长者为准)进行散焦调整。这确保了在针对响应的方向和程度进行采样时图像没有进行聚焦调整。移动的方向可以通过模糊逻辑表来确定，其中AXON分析方向置信度和更差聚焦的概率。当方向置信度较低且聚焦商数降低时，该过程可以反转方向。当聚焦商数增加时，该过程可以在该方向上继续。当方向正确的置信度很高时，该过程会更适应聚焦质量分数的降低，以防止当样品超过控制器的速度时出现逆转。

散焦调整的大小根据聚焦商数和聚焦校准来确定，而无需考虑方向。随着聚焦商数的降低，响应的大小增加。高聚焦商数导致较小的散焦调整，小到用户不能察觉到变化，但是采样统计可以继续提高聚焦质量。聚焦校准为该控制系统判断给定聚焦商数所需的散焦响应提供了参考。

Z轴(聚焦)校正可以一直默认针对射束(散焦)，并且不会自动移动载物台或压电控制装置。这是因为Z轴载物台可能非常不可靠、有噪声且具有变化的滞后量。该控制系统可以回调射束，非常类似于X/Y轴回调。回调可以通过指示器上的滑动阈值来自动触发，也可以通过回调按钮来手动触发。当Z轴回调被触发时，该控制系统可以在射束位置的方向上步进载物台，然后重新聚焦样品。这个过程一直持续到射束位置小于Z轴载物台的分辨率。每个步骤都由显微镜配置文件中的Z轴载物台分辨率确定。这些移动可以被设置成使得射束和载物台或者射束和压电在单次移动中沿相反的方向移动。该过程还可以用于相对于载物台回调压电。

实验优先级排序可以包括从AXON至兼容的专有Clarity软件或任何其他原位软件启动的变温速率控制，其中Clarity软件仍然独立于AXON运行。如上所述，在一个实施例中，本文描述的控制系统可以包括由Clarity(商标名)提供的软件套件(以下称为“Clarity软件”、“Clarity”、“控制系统”或简称为“系统”)。会话类型可供兼容的原位软件产品使用。这些会话类型在AXON和相应的原位软件之间发起双向连接，该原位软件将元数据同步到AXON，并且AXON向该原位软件发送推荐的变温速率、开始、停止、暂停和恢复命令。AXON可以在原位软件应用程序中传达最大变温速率，这可以增加稳定受关注区域的机会，通过温度变化保持良好聚焦，并自动发起暂停/恢复。AXON在连接到TEM成像会话时计算推荐的变温速率，并且每当条件发生变化时进行更新，无论漂移校正或聚焦辅助是否处于活动状态。在漂移校正和聚焦辅助过程中，AXON对该变温速率进行更新，以优化性能。

AXON可以自动暂停和恢复热变温，以防止任何时候出现以下不稳定的情况：聚焦辅助处于活动状态时，聚焦质量低于阈值——(a)每当聚焦商数下降到固定值或“暂停实验阈值”设置以下时，变温会暂停；或者(b)当聚焦商数被校正至高于固定值或“恢复实验阈值”设置时，变温会自动恢复；漂移校正处于活动状态时，数字化配准超过阈值——(a)每当数字化配准超过固定值或“暂停实验阈值”设置时，变温会暂停；或者(b)当数字化配准下降至低于固定值或“恢复实验阈值”设置时、每当射束在X/Y轴方向上回调时以及每当射束在Z轴方向上回调时，变温会自动恢复。

每当该控制系统触发自动暂停时，Clarity应用程序可以在Clarity应用程序中用推荐的变温速率旁的文字信息“被AXON暂停”提醒用户。可以对这种行为进行配置，以便优选逐渐降低的变温速率和暂停/恢复，而不是暂停和恢复命令。双向连接触发了AXON和相应Clarity产品中的UI单元。

在AXON中，提供了以下选项：“开始实验”、“停止实验”、“暂停实验”和“恢复实验”。此外，诸如Fusion Select、Poseidon Select和Atmosphere 210的原位软件的整个工作流程可以被引入到AXON用户界面。指示器栏右下角的连接指示器详细显示了：产品图标；产品名称；连接状态；用于开始实验(或应用目标)的启动按钮；用于暂停或恢复变温的暂停/恢复按钮；用于停止实验(安全切断样品或样品支架的电源)的停止按钮；以及当前实验状态——活动、不活动、自动暂停和用户暂停。(3)关于连接和运行状态的附加通知。(4)根据会话类型的实时画面上的默认叠加。

在原位软件中，可以提供以下选项：(1)连接状态——标记为AXON，报告连接状态。(2)当从通道A运行热实验时直接标记在变温速率下方的文字“AXON推荐的变温速率”和计算值。(3)应用自动暂停时在推荐的变温速率旁边提醒用户的文字信息。

关于与显微镜服务的连接，AXON根据视场大小、调整阈值设置、采集时间和最小移动时间来计算最大可校正漂移速率，单位为um/ms。这使得有足够的信息来进行所需的聚焦调整并确保X/Y轴校正的稳定性。从样品或样品支架读取的功率可以在较低温度下实现更激进的变温，在最大的dT/dP部分上慢下来。当引入新的芯片时，E-芯片还可以用来描述不同的行为。

AXON Synchronicity管理若干个数据流，所有这些数据流都通过过程中多个步骤附加的相应元数据进行同步。会话缓冲区中的图像与以下来源的元数据一起保存：本地成像OS(例如，TIA或Gatan)；镜筒OS(例如，TFS或JEOL)；以及原位系统(例如，Protochips)。图像被组织在若干个文件夹之间的图像缓冲区中，所有这些图像都与相关的元数据一起保存。这些图像可以从临时缓冲区导出到一个永久文件夹中，仍然与它们的元数据一起保存，而且之后还会和一个通过该过程中每一步附加的所有元数据的.csv日志文件一起导出。元数据可以从成像服务中的图像监控过程开始。图像监控过程可以将每个独特的图像抓取为位图，并附加来自本地成像OS的相关元数据。然后，显微镜服务给位图元数据附加所有相关参数，并通过RESTful服务将位图包发送给AXON。该位图被转换为无损PNG，并且元数据数据与任何相关的原位元数据合并。该无损PNG未经编辑保存到会话缓冲区的“原始图像”文件夹中。如果漂移校正过程正在运行，则在数字化配准过程之后，该图像还会与所有元数据一起保存到会话缓冲区中的“完成漂移校正”文件夹中。如果图像被标记为单次采集而不是连续成像流，原始图像将再次保存到会话缓冲区的“单次采集”文件夹中。

可以将AXON会话缓冲区设置为对AXON公共文档目录以先进先出的优先级方式进行操作。该控制系统为每个会话创建各自的文件夹，根据会话分为“漂移校正后的图像”、“原始图像”、“模板”和“单次采集”。当缓冲区大小接近其最大极限，最早的图像被移除，以为最新的图像腾出空间。只要缓冲区中有来自该会话的图像，这些会话文件夹就会一直存在，因此如果活动会话没有超过缓冲区极限，那么就仍然可以访问先前的会话，即使它们没有永久导出。图像可以从该文件夹手动移动或利用AXON Notebook导出，并且每个图像都与所有相关元数据一起保存。然而只有在导出图像并创建CSV文件之前，才能通过AXONNotebook访问这些元数据。AXON Notebook引用了这种文件结构，并且需要这种组织，以便于在应用程序中进行导航。所有图像都以从本地成像软件获取的全分辨率保存到缓冲区，但是优选情况下，也可以进行面元划分。从图像缓冲区导出到永久磁盘的所有图像都以全分辨率保存。用户可以打开/关闭保存每种类型的图像序列，以根据自己的偏好使缓冲区最大化。图像缓冲区可以涵盖一个测距时段，这取决于图像采集速率和所呈现的图像保存选项。如果图像更新率为100ms，并且原始图像和漂移校正后的图像都可以保存，则图像缓冲区可以同样小。然而，如果图像更新时间较长，则图像缓冲区可以跨越长得多的时间段。该控制系统还可以对AXON服务器硬盘进行分区，以为图像缓冲区保留一个硬盘存储块，并将图像缓冲区大小与可用内存而不是固定数量的图像或固定时长联系起来。

该系统具有“数据叠加”和“图像元数据”。“数据叠加”使实时画面图像上的文本层能够随实时画面中的每个独特图像一同更新。应用于会话的任何叠加层都会保留在AXONNotebook中，并针对多个会话为该会话类型而保留。叠加选项通过具有以下列的属性网格表进行管理：

叠加选项可以包括但不限于以下内容：

“AXON Notebook”(商标名)的会话检查工具可以作为一个带有独立安装程序的独立应用程序来运行。该会话检查工具也可以从AXON主应用程序中启动，并且常常在实验过程中用于参考样品的历史记录和先前的形貌。AXON Notebook用于查看和管理图像，以及查看和管理来自显微镜和被支持的原位系统的元数据。数据可以从AXON计算机导出，并在其他地方查看和操作。

AXON Notebook的UI高效地管理高分辨率图像，以便对它们进行快速浏览、分类和操作。UI由活动图像主导，叠加选项和元数据与位于右侧折叠式标题中的图像相关联。图像下方是一些关键功能，包括：导航栏：具有可以拖动至特定图像的滑块的时序浏览器。单击该栏时，可通过键盘上的箭头或通过拖动滑块对图像进行排序——(1)第一个图像：跳转到会话中的第一个图像；上一个图像：移动到上一个所示的图像；下一个图像：移动到下一个所示的图像；最后一个图像：跳转到会话中的最后一个图像。(2)打开：打开缓冲区中先前的会话或任何导出到磁盘的会话。(3)同步：如果活动会话仍在保存图像，则刷新目录。(4)切换画面：在同一时间为活动图像切换“原始图像”、“漂移校正后的图像”、“单次采集”和“模板”。在任何时刻，用户都可以查看保存到最近时间戳的所有其他图像。(5)图像名称：图像名称或参考。保存：将图像和元数据永久导出到磁盘。这会打开单独的窗口来管理图像导出，因为有导出选项。主应用程序中所有可用的图像层以及所有实时元数据都可以在AXONNotebook中获得。

AXON Notebook可以查看仍在缓冲区中或永久导出到磁盘中的活动会话和前一个会话。

在点击从AXON Notebook保存时，软件可以给出导出选项和状态。从导出图像窗口，用户可以设置目标文件夹，并可以从AXON Core服务器导出图像。通过USB或以太网连接的外部硬盘或云盘可以用于永久存储文件。然后，用户可以选择要导出哪些图像，以及是否一同导出叠加层。有一个“导出”按钮来完成导出，还有一个状态栏来显示进度。如果出现任何错误，通知会提醒用户，并自动创建跟踪文件。当图像会话仍在运行时，该过程可以在后台执行，并且窗口可以关闭并继续运行。

AXON Synchronicity和所有Clarity产品都可以设置为一起进行通信的单独应用程序。该架构被设置为将Fusion Select、Poseidon Select和Atmosphere 210的工作流程嵌入到AXON中的折叠式工作流程中。通过实现“精简版UI”来嵌入工作流程。Clarity架构可以简化为被动报告单元和工作流程。工作流程UI是产品专用的，并调用应用程序的所有控件。报告单元以字符、状态面板、通知和气体流程图的形式来直观地描述数据。所有UI工作流程和报告单元在本地应用程序之间是分开的，并且对一个应用程序的更新不会影响到其他应用程序。控件也是独立的，并且在一个产品上的操作不会自动影响到其他产品。要实现在不会使维护加倍的前提下嵌入工作流程，需要重构产品专用软件，以便从新的“精简版UI”中提取工作流程。AXON还会引用该“精简版UI”。然后，用户可以在不对工作流程进行任何更改的情况下运行AXON内的本地产品专用应用程序或工作流程。

在各个实施方式中提供的一些示例性聚焦算法包括以下：聚焦质量分数：该聚焦质量分数应用于没有先前分数的历史记录的每个图像。这个分数在下方的指示器中被报告为数字分数和相对商数。尽管有默认的评分标准，但是用户也可以过聚焦辅助设置“聚焦评分算法”在以下评分标准中进行选择。每种算法都有利于特定的成像条件和样品：

默认：STEM模式：范数方差2；以及TEM模式：逆梯度2；方差：通过应用图像过滤器后取均值的平方差之和来计算图像的方差；逆方差：较大数值/方差，用于反向分布图，其中减小后的方差是优选的；范数方差：取方差并除以平均像素强度，从而将总强度的变化归一化；逆范数方差：较大数值/范数方差，用于反向分布图，其中减小后的范数方差是优选的；范数方差2：取方差并除以平方后的平均像素强度，更加强调总强度变化的归一化，从而更好地处理饱和像素组；逆范数方差2：较大数值/范数方差2，用于反向分布图，其中减小后的范数方差2是优选的；梯度：通过取应用图像过滤器后从图像导出的梯度矩阵的平方和的平方根来计算图像的梯度。

逆梯度：较大数值/梯度，用于反向分布图，其中减小后的梯度是优选的；梯度2：将第二个过滤器应用于梯度分数，以增强边缘和减少背景影响；逆梯度2：较大数值/梯度2，用于反向分布图，其中减小后的梯度2是优选的；拉普拉斯：“拉普拉斯”基于从图像导出的拉普拉斯矩阵的平方和的平方根；逆拉普拉斯：较大数值/拉普拉斯，用于反向分布图，其中减小后的拉普拉斯分数是优选的；最大拉普拉斯：模糊拉普拉斯矩阵的最大值；以及逆最大拉普拉斯：较大数值/最大拉普拉斯，用于反向分布图，其中减小后的最大拉普拉斯分数是优选的。

该控制系统还可以实现这些聚焦分数的尺度的归一化，以使它们在不同的样品区域和放大倍率下更容易被解读。该控制系统还可以用来相对于归一化的尺度估计重聚焦点。该控制系统可以基于每个聚焦分数的放大倍率和Z轴变化大小下的校准生成自动聚焦或重聚焦例程；有利的是，这可以实现在尽可能少的移动中找到焦点。

根据本公开的主题的各种实施例，该控制系统可以用来通过所有校正使样品保持聚焦。该控制系统还可以通过视觉控制工具实现受关注区域的自动聚焦。该控制系统还可以通过仅在必要时重新聚焦实验来持续监控主要受关注区域的聚焦情况。为了实现这一点，该控制系统可以用来在视场中保持相同的特征。该控制系统可以实现通过用户可编辑的指示聚焦包络的简易指示器句柄来调节这些重聚焦点。该控制系统可以实现由该控制系统对聚焦分数进行归一化并显示在图形用户显示器上，作为相对于“理想的焦点”的条形或其他合适形状的指示器，以便可以轻松地将聚焦操纵到过焦或欠焦状态。

在一些实施例中，在关键重聚焦点上采用连续散焦调整是有利的。对于连续散焦调整，通过将当前聚焦分数除以自上一个模板以来的最佳分数来归一化聚焦分数。每当漂移校正模板更新时，都会使用新模板，因为归一化聚焦分数需要在同一组特征上运行。归一化分数和显微镜校准设定了可以达到的散焦移动距离。分数越低，可以达到的散焦距离就越远；备选地，分数越高，散焦调整就越接近0。这允许用户通过改进样品来手动与算法交互，并且增加的分数不会导致显著的移动。任何下降的分数都会被纳入最终逆转方向的决策中。考虑到动态样品，聚焦分数通过凹凸过滤器进行变形，但是使最佳分数更接近当前分数的任何其他类型的过滤器都会有效。此外，对归一化分数进行图像-图像噪声过滤。

根据本公开的主题的各种实施例，该控制系统可以利用射束、压电和载物台控制来实现Z轴控制的分级。射束控制通常被称为“散焦”。该控制系统还可以根据所需的尺度自动选择合适的定位器进行移动。如果需要，该控制系统还可以将所有较小的移动回调至0。例如，如果需要较大的移动，该控制系统可以将载物台移动到正确的位置，并使压电和射束归零。在一个实施例中，指示器可用来显示离开中间位置(优选)的射束位置，触发点用来通过载物台或压电移动开始将射束回调至中间位置。现今，我们是通过软件在X轴、Y轴和Z轴上这么做的。

该控制系统可以为“散焦”控制提供用户指定的极限，使得射束控制不会对图像产生负面影响或造成消像散。如果偏离对齐太远，那么对于X和Y轴射束控制来说，情况也是如此。

在各种实施例中，校准可以用来提高漂移校正的性能，并确保精确移动，而无需考虑应用程序。例如，在一些实施例中，该控制系统可以采用将相机、检测器、定位器和原位控制参数联系起来的一组复杂的校准。该控制系统还可以对照这些校准持续监控性能，并可以改进校准本身。在一个实施方式中，可以在每个定位器的每个放大倍率下为每个检测器设置校准。这些校准有助于确定旋转偏移量、图像计时和放大聚焦包络。每个定位器都可以进行校准，其中可以对游隙、移动极限和移动计时进行量化。该控制系统可以执行针对样品架的校准。例如，在一个实施例中，该控制系统创建“显微镜配置文件”，其中建立与显微镜及其所有相关成像系统的连接。单台显微镜可以有不同的成像环境和检测器，它们各自都受益于各自的校准。每个显微镜配置文件都可以有一组特定的设置、定位器性能和兼容的成像系统。定位器性能可以包括但不限于优选的移动范围、总可用范围、分辨率、滞后量、最小移动时间和移动速度。可以对每个定位器进行表征，包括TEM射束、STEM射束、载物台和压电。可以在X平面、Y平面和Z平面上对每个定位器进行表征，如果适用，也可以在α(x)倾斜或β(y)倾斜方面进行表征。这些性能可以通过自动化测试程序或具有手动输入值的手动测试来表征。每个兼容的成像系统可能需要一组特定的坐标变换，这些坐标变换根据来自TEM的报告值来表征旋转偏移量和△nm/像素。这些校准可以根据成像系统、检测器、相机、定位器和/或放大倍率等来保存。并非强制要求每个放大水平都要进行校准。相反，该控制系统可以被配置或编程为在贯穿该成像系统的给定成像器上寻找给定定位器的最接近的校准放大倍率。聚焦步长校准可以用于表征给定聚焦分数的散焦、Z轴载物台或Z轴射束离开其最佳性能或最佳性能的过滤版本的距离。聚焦校准可以根据成像系统、相机、检测器、加速电压、会聚角和放大倍率等来组织。不需要在所有放大倍率下进行校准，并且该控制系统可以针对该会聚角或加速电压寻找最接近的校准放大倍率。

针对样品架的校准可以帮助用户确定特定样品架的成像原点(X轴、Y轴和Z轴)，以便于导航。针对样品架的校准还可以包含预期移动模型，例如与1摄氏度的温度变化相关联的漂移矢量性速度，和加热或冷却样品架的变温速率。在一个实施例中，加热可以与任何其他原位参数相结合，例如气体或液体中的加热。该控制系统可以在每个会话中执行这些校准。备选地，该控制系统可以实现将校准值存储在校准数据库中，并定期进行检查。

根据本公开的主题的各种实施例，该控制系统可以使实验自动进行。该控制系统还可以在用户中断的情况下无缝工作，以优化实验。该控制系统可以持续测量视场、所有定位器的X轴和Y轴位置、所有定位器的Z轴位置、样品架的α倾斜和β倾斜以及图像刷新率，以标记任何用户干预。然后，该控制系统可以适当地与用户合作，而不是与用户产生冲突。例如，在一个实施例中，当用户改变Z轴位置时，X/Y轴漂移校正可以继续进行，并且当用户正在主动改变Z轴位置时，仍然可以对聚焦进行评分，但是可能不会自动聚焦。任何定位器在预期矢量之外的X/Y轴变化可能意味着用户对新的受关注区域感兴趣，从而该控制系统可以开始暂停或停止漂移校正。图像刷新率(通常是用户改变STEM中的驻留时间或相机的曝光时间的结果)可能需要在诸如热变温速率方面改变原位刺激，以更好地校正漂移等。该控制系统可以实现对原位刺激的这些改变。α倾斜和β倾斜变化可以保证持续的漂移校正和自动聚焦，并且该控制系统可以根据需要实现这种持续的漂移校正和自动聚焦。

根据本公开的主题的各种实施例，该控制系统可以为原位刺激、显微镜、照机或检测器提供触发功能，这些触发功能可以响应于在显微镜上检测到的中断而被激活。例如，当用户试图手动聚焦样品时，该控制系统可以用来降低或暂停原位刺激的热变温速率。

根据本公开的主题的各种实施例，该控制系统可以提供反馈来衰减原位控制输入(例如电流、温度和流速)，从而防止主要受关注区域的丢失。MEMS技术能够非常快速地改变样品环境(例如1000℃/ms的热变温)，并且这些快速变化可能会将样品推出视场之外。该控制系统可以从诸如相对于受关注区域尺寸的有效视场、定位器计时、图像更新率和预期漂移速率等方面来计算漂移校正仍在进行时可实现的最大热变温速率。针对特定的情况，这种衰减也可以由该控制系统自动进行，在这些情况下，由于膜的屈曲，Z轴弯曲是可以预期的。可能还需要在X轴和Y轴上进行漂移校正来克服屈曲，因为纳米尺度的屈曲也可以在X轴和Y轴上移动，而不仅仅是上下移动(即，不仅仅是在Z轴上移动)。

这可以不限于加热环境。各种原位刺激(例如机械探测、电探测、加热、冷却、压力变化或在流体环境中的样品成像)都会产生需要衰减的突然移动。有利的是，该控制系统可以实现这种衰减。

根据各种实施例，该控制系统可以通过将相关的显微镜控制和样品刺激结合到单个用户界面中来进一步简化实验。

需要注意的是，并不要求将所有内容都放在一个用户界面中。相反，可以在应用程序之间设置通信方法，以便图像的实时分析或显微镜参数监控可以向该原文控制系统发出命令。例如，标记为AXON的第一个应用程序可以分析来自显微镜的实时图像，并向原位软件发出暂停/恢复命令。每当数字化配准超过阈值(这是物理校正无法跟上漂移的标志)时，AXON应用程序可以向原位应用程序发出暂停命令来暂停刺激。然后，当数字化配准低于阈值时，AXON应用程序可以发出恢复命令。类似地，当归一化聚焦分数低于阈值(样品失焦的标志)时，AXON应用程序可以向原位应用程序发出暂停命令，一旦超过阈值就恢复。AXON应用程序可以逐渐抑制变温速率，直到物理校正能够充分跟上，而不是发出暂停或恢复命令。AXON应用程序还可以为某些热实验推荐变温速率。推荐的变温速率值可以根据测量的图像采集速率、视场大小以及与所使用的加热系统相关联的一些预测行为或特征来计算。应用程序可以根据实际行为来更新该值，并且用户只需指定目标温度并允许AXON应用程序完全设置和管理变温速率。该控制系统还可以在射束回调期间或在某些显微镜状态变化期间向原位软件发出暂停命令。作为安全预防措施，该控制系统还可以配置成根据TEM中的压力变化停止实验。

在一个实施例中，为了帮助用户启用某些热变温速率，该控制系统可以用来向用户显示放大倍率、活动检测器大小、像素分辨率、面元划分、驻留率和曝光时间是如何影响漂移校正能力的。该控制系统还可以帮助用户优先选择一个或多个相机/检测器选项、显微镜设置和原位刺激，以确保在漂移校正能力范围内使图像稳定，从而帮助用户优先处理某些设置，然后自动或引导用户设定其他相关设置。例如，用户可以优先选择像素分辨率、放大倍率和热变温速率，并且该控制系统可以用来自动选择驻留率或曝光时间，以使优先处理的设置能够在漂移校正期间使图像稳定保持在视场中。此外，这可以由该控制系统应用于任何数量的原位刺激(例如压力变化)或任何数量的显微镜参数。

根据本公开的主题的各种实施例，除了一级实验部位之外，该控制系统可以用来利用漂移矢量来预测二级成像部位或甚至许多其他成像部位的位置。样品在加热和冷却样品架的活动区域内的移动方向通常是相同的。该控制系统可以将应用于一个受关注区域的漂移矢量应用于大部分活动区域。利用射束和样品架位置控制，该控制系统可以让用户在实验过程中通过软件用户界面在一级部位、二级部位以及甚至三级部位之间轻松切换。这些样品位置可以由该控制系统在图中布局，以便快速控制，并且可以将部位作为实验控件来键入，以帮助量化射束和剂量对样品的影响。样品部位可以是一组X轴、Y轴、Z轴坐标。备选地，可以将样品部位与图像的特征识别联系起来。

根据本公开的主题的各种实施例，为了帮助实验自动进行，该控制系统可以基于样品特征、显微镜条件、原位刺激源或原位刺激读数的若干个被注意到的变化来开发触发功能。该控制系统还可以使用户或其他软件能够基于图像分析来为原位功能或显微镜设置设定触发器。例如，当粒度超过一定的纳米尺寸时，该控制系统可以降低温度。此外，当EDS检测器采集到某个元素的较高峰值时，该控制系统可以暂停变温速率并提高相机采集速率。

根据本公开的主题的各种实施例，图像的漂移校正使得能够分析特定特征，但是该控制系统可以开发触发器来涵盖多个部位。例如，当粒度超过一定的纳米尺寸时，该控制系统可以为两个或三个预定位置触发高分辨率采集，由于漂移矢量的应用，该控制系统知道所有部位。

根据本公开的主题的各种实施例，该控制系统还可以使用户或其他软件能够基于原位刺激源或原位刺激读数来为电子显微镜、相机或检测器设置触发器。例如，当样品的测量电阻超过一定的欧姆值时，可以提高相机的采集速率。此外，当样品温度超过特定的温度时，该控制系统可以打开或关闭某些检测器。当样品温度达到预定温度时，可以为特定的特征自动触发EELS或EDS测量，并且一旦温度超过该预定温度，它就可以自动关闭以保护检测器。例如，在各种实施例中，该控制系统可以在例如以下情况下执行触发功能：当颗粒速度超过预定值时降低温度；控制温度、变温速率、气体环境和类似的其他属性落在预定值范围之外；以及当粒度、颗粒数量、电子衍射、图像EFT和其他类似的属性在预定值范围之外时。当样品的电阻超过预定值时，该控制系统还可以提高采集速率。

该控制系统可以让用户根据其他附属设备(例如质谱、气相或液相色谱等)来设置触发器。例如，一旦离开原位样品架的测量水浓度小于5ppm，该控制系统就可以设置触发器以引起诸如调节环境或温度或进行EELS测量的动作。有利的是，这可以消除许多现有工作流程中的臆测，并帮助用户基于定量信息自动采取下一个步骤。触发器可以通过软件程序(例如Python脚本、其他特定的API或成熟的软件开发工具包)进行编程。

根据本公开的主题的各种实施例，该控制系统可以提供许多界面来帮助用户或软件开发这些触发器。该控制系统可以在UI(用户界面)内的实验构建器、可视化编程语言、Python或其他易访问的编程语言中实现或者通过特定的API或软件开发工具包来构建实验。

根据本公开的主题的各种实施例，由该控制系统应用于坐标测量的漂移矢量可以有助于随着时间真实地跟踪任意数量的显微镜参数。该控制系统可以将根据样品上的位置和时间应用于样品的实时剂量率的测量值和根据位置应用于样品的累积剂量(剂量率乘以整个成像会话过程中的时间)的记录结合起来。该控制系统可以根据电子束电流除以其面积(射束直径)来计算剂量率。或者，可以通过直接与法拉第杯、相机和/或TEM通信来直接测量剂量率。该控制系统可以针对特定的特征或者针对由于显微镜条件、自然样品漂移和/或原位刺激而可能移动的整个成像区域跟踪这些射束参数。

因为从图像来看射束损伤并非总是明显的，所以该控制系统可以提供一种方法来显示用户已经观察到样品的位置以及应用给样品的剂量或剂量率。根据本公开的主题的各种实施例，累积剂量可以例如通过该控制系统与热图形式的样品图像一起进行图形化显示，该热图会随着样品位置和放大倍率的变化而自动调整。这会指示样品中已接受相对较高剂量的部分与已接受较低剂量的部分。漂移校正也可以应用于该热图。此外，每个X轴和Y轴坐标都可以根据漂移矢量进行配准，以便针对样品上每个特征发生的情况精确跟踪测得的剂量率或累积剂量；否则，当它漂移时，测得的坐标可能是错误的区域。此外，该控制系统可以跟踪同一区域的最大剂量率。该控制系统还可以跟踪应用的总累积剂量。

根据一个或多个实施例，该控制系统还可以基于配准后的移动、应用的原位刺激和/或测得的显微镜参数生成自动化报告。根据一个或多个实施例，该控制系统可以允许用户为被观察的样品设置电子剂量率极限或累积剂量。该控制系统还可以监控电子剂量率不超过电子剂量率极限。

该控制系统还配置成根据电子显微镜透镜位置和时间实时计算电子剂量率。该控制系统可以使用芯片或特定样品来测量样品位置处的射束产生的电流，以改善报告的剂量和剂量率。这可以代表该控制系统所使用的其中一个校准。

该控制系统可以在图像上显示受关注区域的累积剂量，以显示剂量根据射束敏感样品的时间对样品的影响。漂移矢量可以有助于将该热图与特定特征的移动一起配准。由该控制系统形成的视场的彩色覆盖层可以指示用户样品的哪些部分已经暴露于特定剂量的辐射。利用该信息，用户可以确定是否需要移动到不同的位置或者样品区域是否安全以继续用电子束进行成像。

根据各种实施例，报告可以是自动或由用户构建的，以针对给定的原位控制或根据时间来比较多个部位。该控制系统提供的这些报告和图形技术可以用于射束条件(例如剂量和剂量率)。它们也可以用于由软件测量的任何显微镜参数以及原位测量或刺激。

根据各种实施例，该控制系统还可以允许用户设置样品的剂量率极限，使得剂量率不会超过指定的阈值，而无需考虑能够控制剂量率的用户输入(射束电流、射束大小、放大倍率和其他类似的参数)。如果用户有意或无意地改变任何会导致剂量率超过阈值的参数，该控制系统可以通过限制参数来防止用户超过阈值或警告用户不要超过阈值。有利的是，这将允许用户避免可能造成样品不可逆损坏的过高剂量率。这些保护样品的极限可以应用于其他检测器、显微镜参数或原位刺激。其他机制(例如颜色、计数器或屏幕指示器)也可以帮助用户实时和根据图像元数据跟踪总累积剂量和剂量率。剂量率极限或预定剂量可以用于X线断层摄影术应用，以指导用户在给定仪器参数的情况下仅拍摄一定数量的图像，并确保应用给样品的总剂量保持在该预定剂量之下。

根据各种实施例，通过测量和控制剂量和剂量率，该控制系统可以为用户提供快速且定量地测量射束效应对样品形状、成分、密度、电特性等的影响的能力。用户可以快速测量具有不同剂量/剂量率的几个参考部位，以快速确定这些参数的基准阈值，然后对具有剂量/剂量率极限的另一个部位进行成像，以确保在已知良好的条件下将射束损伤降至最低。该控制系统可以建立低剂量参考来与进行更广泛或更长时间成像的部位进行比较。利用多个样品部位，这些参考可以通过软件应用于其他测得的显微镜参数或用于其他原位刺激。此外，可以定义调节样品剂量和剂量率的条件矩阵。可以向用户呈现缩略图画面，以直观地评估由于剂量而开始发生样品变化的位置。可以在每个缩略图上执行FFT和其他计算，以帮助识别因剂量导致的样品变化，并且可以利用低剂量基线和为用户解读而评分或标记的变化量来执行互相关。

实施例还可以实现漂移校正，该漂移校正将用户指定的受关注区域(ROI)、背景漂移和预测行为结合起来，以跟踪电子显微镜中的特征，然后命令电子显微镜中的定位器对ROI进行居中和/或聚焦。实施例还可以实现预测行为，该预测行为可以包括对特定E-芯片和样品架组合的独特的X轴、Y轴和Z轴的即时学习以及应用该知识来确定样品可能漂移到的位置。实施例还可以实现跟踪像素随时间的位移，以建立漂移速度矢量和漂移加速度矢量。结合原位样品架的预期行为来改进这些矢量。实施例还可以实现允许用户勾画出受关注区域，然后命令显微镜将该ROI置于视场的中心。备选地，具有预先勾画的受关注区域，并允许用户指定用于移动样品或射束的新的中心位置。

实施例还可以实现支持单个图像流上的多个受关注区域。实施例还可以实现支持实际上不是FOV(视场)中心的居中移动。实施例还可以实现利用漂移矢量或背景漂移和参考模板来确定用作内部或外部标志的样品事件。实施例还可以实现将图像保存到文件或标记关键数据集。实施例还可以实现暂停或减缓原位刺激。实施例还可以实现更新实际或指示的受关注区域。

实施例还可以实现定位器的分级控制。根据所需移动的大小以及在优选或严格的极限之前剩余的移动量，自动根据载物台、压电或射束来选择正确的定位器。当移动较粗略的定位器时，实施例还可以自动将较精细的定位器归零。例如，当移动机械载物台时，压电和射束偏转器可以设置为零，并且用该机械载物台校正移动的总大小。使射束离开中间位置会对成像产生负面影响。因此，该控制系统可以包括指示器，以引起对X轴、Y轴和Z轴的射束位置的注意。用户可以设置用于“自动回调”的控制系统，每当射束击中指示器上的触发点时，该控制系统就会回调射束。回调射束会强制使下一个较粗略的定位器和射束以相反的方向移动，直到射束回到中间位置，而用户不会丢失受关注区域。

实施例还可以实现用户设置或自动的射束位置极限(包括“散焦”)，以防止有害的消像散。实施例还可以实现在物理校正之前应用数字化校正，并将两个图像集保存到文件中。本公开的主题的实施例还可以实现将原始图像保存到文件中，并将连续图像(包括校正后的图像和未校正的图像)保存为影片。

当所有图像都经过物理和数字化校正后，数据检查工具可以提供额外的功能。该控制系统实现了经过物理和数字化对齐的图像序列，使得应用于单个帧的数学计算和分析能够在整个图像序列上外推。该控制系统还可以实现支持单个样品部位随时间的统计、对任何元数据或推导进行绘图、强度分析、FFT和针对多个图像的其他类似统计，从而实现建立分析历史的能力。

聚焦控制还可以实现取决于归一化聚焦分数的连续散焦调整。该控制系统可以实现对聚焦分数进行归一化，使归一化变形以改变样品并滤除噪声。该控制系统还可以实现连续散焦调节与用户调整同时进行。

通过提供可调过滤器来将原始配准模板变形为当前实时画面以及能够在用户改变FOV、成像条件或显微镜上类似的其他关键项目时策略性地完全重置该模板，进一步增强了该控制系统的有效性。

该控制系统针对多个会话来管理图像缓冲区，文件被写入磁盘，而不是保存在内存中。控制系统还实现了对缓冲区的定期清理或连续清理，并且还实现了将图像从会话目录导出到其他永久磁盘驱动器的能力。这些图像中的一部分或全部可以以超越缓冲区清理的优先级保存。用户可以标记图像，用进程取代先进先出的缓冲区规则，以确保缓冲区的其余部分仍然可以被管理，而不会完全占用硬盘空间。该控制系统还包括指示器，以显示缓冲区的大小和优先处理的图像的大小。当存储空间用完时，该控制系统还可以用来减少缓冲区的总数据量。为了减少存储空间，该控制系统可以用来只保存变化的像素，而不是每帧的整个图像，并在实时画面中将它们拼接在一起。该控制系统还可以用来将相关性非常相似的图像合并，或者当相关性相似时，该控制系统可以用来存储平均像素。该控制系统还利用较长时间段内的快速驻留时间和物理校正来构建样品部位的实时EDS图。该控制系统还可以为EELS采用相似的工作流程。该控制系统可以以较低的放大倍率来保存二级部位，并且可以利用二级部位数据来进行射束效应分析和其他工作。该控制系统可以实现在特定的样品部位和放大倍率低得多的样品画面之间自动跳转，以正确地观察各个样品部位。该控制系统还可以实现在一组样品部位和放大倍率低得多的样品画面之间自动跳转，以正确地观察这些样品部位。例如，该控制系统还可以用来在AXON Notebook检查工具中使用户能够根据时间来浏览不同的部位及其宏画面，以查看相对变化。

该控制系统还可以配置成使在特定机器上运行的专用服务的结构不同，以便图像处理可以在相机或显微镜PC上进行，而不是在将图像和信息发送给正在执行该控制系统的计算设备的服务上进行。

该控制系统可以将数字化配准后的图像和原始图像保存在一起。可以针对多个会话来管理图像缓冲区，数据文件被写入磁盘，而不是保存在内存中。该控制系统还可以实现图像缓冲区的定期清理或连续清理，以及将图像从会话目录导出到其他永久磁盘驱动器的能力。

根据一个实施方式，一些图像可以以超越缓冲区清理的优先级状态保存。该系统还可以使用户能够标记图像，用进程取代基于先进先出的缓冲区规则的缓冲区清理，以确保缓冲区的其余部分仍然可以被管理，而不会完全占用硬盘空间。该系统还可以包括指示器，这些指示器用来显示缓冲区的大小和优先处理的图像的大小。

实施例还可以实现自动聚焦或重聚焦例程，以在尽可能少的移动中找到理想的焦点、归一化尺度和重聚焦点。实施例还可以实现基于每个放大倍率下的聚焦分数和Z轴距离的校准，在尽可能少的移动中找到焦点。此外，实施例还可以实现用于电子显微镜的视觉聚焦控制工具，该工具根据归一化聚焦分数与计算得到的理想值构建。实施例还可以实现用户设置的重聚焦句柄，此外还实现了过焦和欠焦。实施例还可以实现在归一化的尺度上拖动实际焦点以轻松使样品过焦和欠焦的能力。此外，实施例还可以实现将定位器、透镜和样品架校准与实际行为结合起来，以改善受命令控制的移动的方向和大小。实施例还可以实现对X/Y轴位置、Z轴位置、α倾斜/β倾斜和图像刷新率的监控，以标记任何用户中断。实施例还可以在中断期间通过用户和相对于用户实现决策矩阵的许多变型。本公开的主题的实施例还可以实现跟踪中断的持续行为，以改进预期模型。实施例还可以实现根据显微镜上检测到的中断来触发关于原位控制、显微镜、相机或检测器的新行为。此外，当用户试图通过调节散焦旋钮来手动使样品聚焦时，实施例还可以实现降低或暂停热变温速率。实施例还可以实现自动衰减诸如变温速率的原位控制输入，以防止主要ROI的丢失。实施例可以实现原位控制输入的自动衰减，以克服该控制系统的已知行为，例如特定温度下的膜屈曲。实施例还可以实现软件算法，该软件算法可以根据相对于ROI大小的有效视场、定位器计时、图像更新率和预期漂移速率来计算刺激的最大变温速率。

实施例可以实现软件工具，该软件工具可以帮助用户设置放大倍率、活动检测器尺寸、像素分辨率、面元划分、驻留率和/或曝光时间，以实现特定的热变温速率。本公开的主题的实施例还可以实现监控、控制和/或改变可能导致漂移的压力变化或任何刺激变化。此外，实施例还可以实现允许用户优先选择一个或多个相机/检测器选项、显微镜条件和原位刺激，以确保在漂移校正能力范围内使图像稳定。本公开的主题的实施例还可以实现帮助用户优先处理某些设置，然后自动设定其他相关设置。实施例还可以实现用户优先选择像素分辨率、放大倍率和热变温速率，并且软件会自动选择驻留率或曝光时间，以使优先处理的设置能够在校正期间使图像稳定保持在FOV(视场)中。实施例还可以实现应用漂移矢量来预测二级成像部位或许多其他成像部位的位置，并允许用户在部位之间轻松地切换。

实施例还可以实现指示器来归一化漂移速率并提醒用户何时对于高分辨率采集来说移动足够慢了。实施例可以实现获取由于热效应或仅仅是样品反应本身而移动的样品的EDS或EELS光谱或图。虽然这种漂移校正方法考虑了样品移动和样品变化，但是可以基于漂移校正后的STEM数据重新对齐EDS图。EDS通常需要长时间的曝光或对同一个样品区域的许多次短时间曝光进行整合，以便积累足够的信号来构建具有足够信噪比的图或光谱。现有技术的解决方案只实现了移动帧的精确互相关和数字化重新对齐，但是该技术可能不适用于移动过快、过远或正在变化的样品。本主题中描述的漂移校正方法可以实现以用户定义的时间间隔采集EDS数据，然后基于同时采集的STEM图像进行重新对齐。此外，用户可以决定对帧进行积分，以构建更高信噪比的图像堆栈。这种新技术将实现利用显示随时间变化的样品成分的EDS图创建视频剪辑。假设可以采集到用于漂移校正的合适的同步TEM图像，则可以利用EELS图实施相同的技术。

实施例还可以实现使用户能够基于图像分析设置原位功能的触发器，并随后通过控制原位设备来调节原位环境。实施例还可以实现在粒度超过以纳米为单位的预定尺寸时降低温度。此外，实施例还可以实现基于通过TEM或STEM采集的图像的图像分析技术来控制任何原位刺激。实施例还可以实现基于粒度、颗粒数量、电子衍射、图像FFT和其他类似的参数来控制温度和/或变温速率、气体环境和其他类似的属性。

实施例可以实现基于其他电子显微镜镜筒检测器(包括EDS(能量色散X射线光谱学)、EELS(电子能量损失光谱学)以及其他类似的技术)来控制任何原位刺激。实施例还可以实现基于来自EDS图的元素比控制温度和/或变温速率、气体环境等，并通过EDS(能量色散X射线光谱学)、EELS(电子能量损失光谱学)以及其他类似的技术控制样品的还原。实施例还可以实现使用户或其他软件能够基于原位刺激读数为电子显微镜、相机或检测器和其他原位设备设置触发器。实施例还实现了当样品的电阻超过以欧姆为单位的预定电阻值时提高采集速率。本文公开的实施例还可以实现泵送-清除循环例程，直到由集成质谱仪读取的水的总浓度读数低于预定值，例如<5ppm。实施例还可以实现接口来帮助研究人员通过UI(用户界面)内的实验构建器、可视化编程语言、脚本编辑语言、Python装饰器、API(应用编程接口)和/或SDK(软件开发工具包)来构建实验和制作定制的触发器。

实施例可以实现跟踪特定样品部位的总累积剂量和最大剂量率，以帮助用户量化部位的射束损伤。实施例还可以实现样品部位是由该控制系统跟踪的图像中的一组坐标或特征。实施例还可以实现热图，该热图将软件跟踪的矩形区域相加，以使更大视场的总累积剂量和最大剂量率可视化。实施例还可以实现可视化工具来比较单个部位或多个部位在特定时间或特定原位刺激条件下的射束效应。实施例还可以实现样品位置的热图。

实施例可以实现自动报告生成器，该自动报告生成器针对给定的原位控制或根据时间来比较样品部位。实施例还可以实现剂量、剂量率、其他显微镜参数或原位刺激的极限。此外，实施例还可以实现软件工具来帮助用户避免对受关注区域的过度刺激。实施例还可以实现软件例程来允许用户设置最大总累积剂量或剂量率，并在每个区域接近或超过这些极限时阻止或警告用户。实施例还可以实现建立参考部位，以与经过了更严格的成像或原位环境变化的部位进行比较。

图1所示的是根据本公开的主题的一个或多个实施例的是漂移校正的示意图，该示意图结合了用户指定的ROI(受关注区域)、背景漂移和预测行为，以跟踪电子显微镜中的特征，然后命令电子显微镜中的定位器对ROI进行居中和/或聚焦。智能漂移校正模块与位置控制模块和成像控制模块通信。位置控制模块配置成与定位器通信，并且还基于从智能漂移校正模块接收的指令来调整定位器的设置。成像控制模块配置成与成像的各个方面通信，包括基于从智能漂移校正模块接收的指令采集图像。

图2所示的是根据本公开的主题的一个或多个实施例的示出了反应性漂移校正细节的示意图。根据本公开的主题的至少一个实施例，反应性校正过程的步骤根据图2所示的流程图进行。

图3所示的是根据本公开的主题的一个或多个实施例的示出了结合漂移发生位置的预测行为来即时学习E-芯片和样品架独特的X轴、Y轴和Z轴移动以增强校正过程的示意图。

图4所示的是跟踪像素随时间的位移以建立漂移速度矢量和漂移加速度矢量的软件的示意图。根据本公开的主题的一个或多个实施例，结合原位样品架的预期行为来改进那些矢量。

图8所示的是根据本公开的主题的一个或多个实施例的流程图，其中构成该控制系统一部分的软件模块采用漂移矢量、背景漂移和/或参考模板来确定样品何时发生变化，并将该信息作为内部或外部标志。

图9所示的是示出了构成该控制系统一部分的软件模块的流程图，该软件模块配置成触发相机、检测器、显微镜或原位动作。根据本公开的主题的一个或多个实施例，由该软件模块采取的触发动作的实例包括暂停或减缓原位刺激、节省成像缓冲区、增加采集速率或移动位置。

图10所示的是根据本公开的主题的一个或多个实施例的示出了构成该控制系统一部分的软件模块的流程图，该软件模块采用定位器的分级控制，并根据所需移动的大小和在优选或严格的极限之前剩余的移动量，自动根据载物台、压电或射束来选择正确的定位器。.

图11所示的是构成该控制系统一部分的软件模块的图示。如图11所示，根据本公开的主题的一个或多个实施例，该控制系统配置成在物理校正之前应用数字化校正并将连续图像(包括校正后的图像和未校正的图像)保存为影片。

图12所示的是根据本公开的主题的一个或多个实施例的示出了构成该控制系统一部分的软件模块的流程图，该软件模块执行自动聚焦或重聚焦例程，以在尽可能少的移动中找到理想的焦点、归一化尺度和重聚焦点。图13所示的是根据本公开的主题的一个或多个实施例的示出了聚焦评分扫描的流程图。

图14所示的是根据本公开的主题的一个或多个实施例的用于电子显微镜的视觉聚焦控制工具的图示，该视觉聚焦控制工具是根据归一化聚焦分数与计算得到的理想值来构建的，具有用户设置的重聚焦句柄，并且能够相对于归一化的尺度拖动实际焦点，以实现过焦和欠焦。

图15所示的是软件模块，该软件模块将定位器、透镜和样品架校准与实际行为相结合，以改善受命令控制的移动的方向和大小。

图16所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的流程图，该软件模块监控X/Y轴位置、Z轴位置、α倾斜/β倾斜和图像刷新率，以标记任何用户中断。图17所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的流程图，该软件模块监控X/Y轴位置、Z轴位置、α倾斜/β倾斜和图像刷新率，以标记任何用户中断，但被设计成继续校正过程，以更好地通过中断保持漂移矢量。图18所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的流程图，该软件模块监控X/Y轴位置、Z轴位置、α倾斜/β倾斜和图像刷新率，以标记对诸如温度或压力的原位刺激的改变。

图19所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的图示，该软件模块根据显微镜上检测到的中断触发原位控制、显微镜、相机或检测器上的新行为。图20所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的图示，该软件模块获取针对显微镜的用户中断并改进预期模型或过程。图21所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的图示，该软件模块自动衰减诸如变温速率的原位控制输入，以防止主要ROI的丢失。

图22所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块或算法的流程图，该软件模块或算法根据相对于ROI大小的有效视场、定位器计时、图像刷新率和预期漂移速率来计算刺激的最大变温速率。

图23所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的流程图，该软件模块帮助用户设置放大倍率、活动检测器的尺寸、像素分辨率、面元划分、驻留率和/或曝光时间，以实现特定的热变温速率。

图24所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的示意图，该软件模块允许用户优先选择一个或多个相机/检测器选项、显微镜设置和原位刺激，以确保在漂移校正能力范围内使图像稳定。帮助用户优先选择特定设置，然后自动设定其他相关设置。

图25所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的示意图，该软件模块运用漂移矢量来预测二级成像部位或许多其他成像部位的位置并允许用户轻松地在部位之间切换。

图26所示的是根据本公开的主题的一个或多个实施例的指示器的示意图，该指示器归一化漂移速率并提醒用户何时对于高分辨率采集来说移动足够慢了。

图27所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的图示，该软件模块使用户或其他软件模块能够基于图像分析来为原位功能设置触发器。

图28所示的是根据本公开的主题的一个或多个实施例的软件模块的图示，该软件模块使用户或其他软件模块能够根据原位刺激读数来为电子显微镜、相机或检测器设置触发器。

图29所示的是根据本公开的主题的一个或多个实施例的界面的图示，这些界面帮助研究人员建立实验和制作定制触发器。

图30所示的是根据本公开的主题的一个或多个实施例的跟踪软件模块的示意图，该跟踪软件模块跟踪特定样品部位的总剂量和剂量率，以帮助用户量化特定特征的部位的射束损伤。

图31所示的是根据本公开的主题的一个或多个实施例的软件可视化模块的示意图，该软件可视化模块比较特定时间的单个部位或特定原位刺激条件下的射束效应。

图32所示的是根据本公开的主题的一个或多个实施例的软件可视化模块的示意图，该软件可视化模块比较特定时间的多个部位或特定原位刺激条件下的射束效应。

图33所示的是根据本公开的主题的一个或多个实施例的自动报告生成软件模块的示意图，该自动报告生成软件模块根据时间比较样品部位。

图34所示的是根据本公开的主题的一个或多个实施例的自动报告生成软件模块的示意图，该自动报告生成软件模块针对给定的原位控制比较样品部位。

图35所示的是根据本公开的主题的一个或多个实施例的软件模块的示意图，该软件模块限定剂量、剂量率、其他显微镜参数或原位刺激。

图36所示的是根据本公开的主题的一个或多个实施例的软件模块的示意图，该软件模块限定剂量、剂量率、其他显微镜参数或原位刺激。根据本公开的主题的一个或多个实施例，软件接口建立参考部位，以与经过更严格的成像或原位环境变化的部位进行比较。

图37所示的是根据本公开的主题的一个或多个实施例的如何在整个可成像区域跟踪多个样品部位以通过UI或触发器快速导航的实例的图示。

图38所示的是根据本公开的主题的一个或多个实施例的在实时图像输入上识别的一个或多个受关注区域的说明性实例。

图39所示的是根据本公开的主题的一个或多个实施例的构成该控制系统一部分的软件模块的基本通信架构的示意图。

图40所示的是根据本公开的主题的一个或多个实施例的减少图像背景噪声的过滤技术的图示。

图41所示的是根据本公开的主题的一个或多个实施例的相对于总视场呈现的多个受关注区域的图示。

图42所示的是根据本公开的主题的一个或多个实施例的针对给定的时间或原位刺激从多个部位生成的报告的实例的图示。有利的是，元数据可以具有实验期间和之后的值。该控制系统可以允许用户绘制元数据图并过滤与图像关联的所有元数据。例如，该控制系统可以允许用户绘制温度与时间的关系图，然后只选择那些涉及特定温度变化的图像。作为另一个实例，该控制系统可以允许用户绘制聚焦质量分数图并过滤特定图像集以创建时序，其中该特定图像集仅包括聚焦良好的图像。

图43所示的是根据本公开的主题的一个或多个实施例的图表形式的控制系统的图示。

图44至图57所示的是图45的控制系统的各个部分，而图58至图68所示的是根据本公开的主题的一个或多个实施例的使原位实验自动进行的工作流程的示意图。

图58所示的是自动化实验工作流程中的第一个步骤的图示，其中软件模块帮助用户找到实验的操作区域，该操作区域通常是X轴、Y轴和Z轴上整个可移动范围的子集。这是可以观察样品和应用原位刺激的区域。

图59所示的是自动化实验工作流程中的第二个步骤的图示，其中软件模块帮助用户标记操作区域内的特定受关注区域。该软件模块可以保存位置，并帮助用户手动或以编程方式导航到这些关键区域，这些关键区域可以很容易通过样品形貌的缩略图和图上X轴、Y轴和Z轴的位置坐标来参考。

图60所示的是自动化实验工作流程中的第三个步骤的图示，其中软件模块帮助用户检查被标记的区域。这可以是用户向下选择最重要区域的自动或手动步骤。

图61所示的是自动化实验工作流程中的第四个步骤的图示，其中用户加载或构建自动化实验。可以创建原位刺激配置文件。此外，作为实验的一部分，可以以手动触发或编程方式来捕捉先前识别的所有受关注区域处的图像。

图62所示的是自动化实验工作流程中的第五个步骤的图示，其中程序化实验是以物理方式执行的。软件模块会应用程序化的刺激，并捕捉在实验设置中程序化的所有被标记的受关注区域处的变化。在整个实验过程中跟踪样品漂移。

图63所示的是自动化实验工作流程中的第六个步骤的图示，其中用户可以很容易地根据原位刺激和显微镜条件检查每个被标记的受关注区域的变化。

图64所示的是自动化实验工作流程中的第六个步骤的一个备选视图的图示，其中用户可以很容易地检查由自动化实验期间捕捉到的单个受关注区域的图像索引的实验数据，以使单个样品部位随时间的变化方式可视化。

图65所示的是自动化实验工作流程中的第六个步骤的一个备选视图的图示，其中用户可以很容易地检查由自动化实验期间在多个受关注区域当中捕捉到的图像索引的实验数据，以查看多个部位在特定时间的外观。

图66所示的是示出了即使在只有一个受关注区域位于视场内的情况下如何跟踪多个部位处的被标记区域的示意图。

图67所示的是一种架构的示意图，其中运行在控制软件CPU上的控制软件利用了显微镜CPU上的单个显微镜服务。显微镜服务可以处理该架构中控制软件所需的所有显微镜和成像控制。

图68所示的是一种架构的示意图，其中运行在控制软件CPU上的控制软件利用了显微镜CPU上的显微镜服务和成像CPU上的成像服务。显微镜服务可以处理所有需要的显微镜命令，并且成像服务处理架构中控制软件所需的成像命令。显微镜CPU和成像CPU在该架构中可以是同一个CPU，也可以是不同的CPU。

图69所示的是显微镜命令和成像命令所需的显微镜服务类的示意图。命令包括获取图像、获取显微镜元数据、获取成像元数据以及根据控制软件中详细说明的功能设置定位器或成像条件。

图70是显微镜配置文件的示意图。显微镜配置文件可用于详细说明网络架构和定位器功能，并存储所需的显微镜和成像系统校准。校准用于详细说明定位器功能、特定成像条件下定位器相对于每个成像器的旋转偏移量以及特定成像条件下定位器移动相对于焦深的关系。

图71所示的是图70的变型，其中显微镜配置文件是根据来自成像服务和显微镜服务而不是单个服务的内容和功能而创建的。

图72所示的是连接至显微镜和成像软件模块并将具有所有相关元数据的独特图像传输给控制软件的高级别过程的示意图。图73所示的是更详细的图像监控过程的示意图，该图像监控过程可用于从连续的图像输入中确定独特的图像并将该独特的图像传输给控制软件。图74所示的是用于连接至所需服务的过程的示意图。服务可以包括显微镜服务、成像服务以及为了与实验中涉及的任何数量的检测器或辅助设备进行通信而创建的服务。

图75所示的是测试连接过程的示意图。在成功连接时，可以自动创建显微镜配置文件，详细说明网络配置并设定任何特定的服务设置。图76所示的是定位器和成像器之间的X/Y旋转偏移量的校准过程的示意图。该过程包括在形成定位器的校准分辨率和游隙的已知方向上移动定位器，并计算得到的坐标变换。图77所示的是在特定成像条件下校准多个定位器的处理过程的示意图。图78所示的是在特定成像条件下校正图像质量分数变化所需要的Z轴调整的校准过程的示意图。

图79所示的是在X轴、Y轴和Z轴上执行漂移校正的过程的示意图，其中Z轴聚焦校正是基于X/Y轴漂移校正后的序列中受关注区域的聚焦质量分数的历史记录的连续调整。图80所示的是从控制软件远程开始图像采集的过程的示意图。图81所示的是从控制软件远程停止图像采集的过程的示意图。

图82所示的是将样品移动到视场中的特定位置的过程的示意图。该过程可以用于手动使样品在视场中居中，漂移校正过程可以用该过程来自动使样品在视场中居中，或者该过程可以用于将任何特定的受关注区域移动到视场内的任何位置。

图83所示的是确定图像在显微镜受命令控制的移动之后是否已经稳定的过程的示意图。该过程可以用于从校正算法所需的计算中移除帧。此外，该过程可以用于使所得的漂移校正后的图像序列没有因显微镜定位器的物理校正而模糊的帧。

图84所示的是可以提高控制软件用户界面中的漂移校正体验的按键控件和指示器的图示。这些指示器可以包括关于显微镜状态、原位状态和成像条件的关键元数据。此外，用户界面中的这些指示器可以使用户能够在实时画面中的原始图像和数字化配准后的图像之间切换，并了解活动会话中保存到图像缓冲区中的图像数量——图像的总数和可用缓冲区的百分比。受关注区域的漂移速率可以用数字显示为一段时间内的距离或更多的图形指示器。X轴和Y轴射束位置可以显示为坐标或相对于优选范围的滑动指示器。Z轴散焦位置可以显示为一个值或相对于优选范围的滑动指示器。可以创建按钮或自动化触发阈值，以将X/Y轴射束或Z轴散焦回调至0,0,0，而不会丢失样品。

图85所示的是可以使用户能够从软件用户界面检查会话历史的按键控件的图示。图像浏览器可以用于在帧之间快速导航。原始图像、漂移校正后的图像和单次采集可以按时间组织，以便用户可以轻松地浏览漂移校正后的序列，然后切换显示以显示相应的原始图像或最近的单次采集。

图86所示的是一种方法的图示，通过该方法，用户可以利用来自控制软件用户界面的描述来标记特定的帧和时序。标记功能可以用于为缓冲区中的图像赋予优先权，以便这些图像超越先进先出的缓冲区规则，从而防止关键帧在自动化缓冲区清理过程中被移除。此外，被标记的帧可以在检查工具或元数据图中突出显示，以便于导航。被标记的帧可以从整个会话缓冲区分别导出至数据磁盘驱动器。

图87所示的是按键设置的图示，用户可以对这些按键设置进行操作，以定制动态图像缓冲区和会话管理。用户设置可以用于说明图像缓冲区的位置、大小、清理属性、保存的图像以及可分配给优选图像的缓冲区百分比。

图88和图89所示的是如何利用控制软件来创建显微镜配置文件的图示，该显微镜配置文件描述了该控制软件适当运行所需的网络配置、定位器性能和校准。控制软件可以实现显微镜功能的原始控制，以手动执行所需的校准或提供自动化过程。图90和图91所示的是控制软件如何管理针对成像条件和成像器的校准的图示。图92所示的是使用户能够指定可以改变控制软件的行为或选项的特定类型的原位实验或工作流程的用户界面的图示。

图93所示的是启用关键工作流程功能(连接、漂移校正、聚焦辅助、检查会话、关闭会话、设置和退出)的用户界面的图示。用户可以通过实验中容易看到的关键指示器和控件与实时图像画面进行交互。

图94所示的是包括提高校正体验的指示器和触发器的用户界面的图示。额外的用户界面选项可以在实时图像上操作或叠加数据，以定制体验。

图95所示的是会话检查工具的用户界面的图示，用户可以在该用户界面中查看图像和元数据。会话可以通过该工具以多种文件格式(例如图像堆栈、单帧、视频或数据库)移动到永久存储器中。

图96所示的是用户设置的图示，可以对这些用户设置进行操作，以定制体验。图97所示的是用户界面的图示，在查看实时图像时可以在该用户界面中启用聚焦辅助和聚焦辅助校准。图98所示的是控制软件或相关文档如何根据可接受的漂移速率传达图像采集速率和视场之间的关系的图示。

图99所示的是聚焦算法如何在STEM模式下利用聚焦质量分数通过散焦调节来达到最大值的图示。聚焦质量是通过对受关注区域的对比度进行评分来确定的。步长的大小不同，这取决于成像条件(包括放大倍率和其他参数)。

图100所示的是聚焦算法如何在TEM模式下利用聚焦质量分数的倒数通过散焦调节来达到最大值的图示。聚焦质量是通过对受关注区域的对比度进行评分来确定的。在TEM模式下需要该评分技术的倒数。步长的大小不同，这取决于成像条件(包括放大倍率和其他参数)。

图101所示的是与原位系统、成像服务和显微镜控制服务交互并最终将图像和元数据永久导出至磁盘的控制服务的整体数据流的图示。图102所示的是现有技术的原位加热软件的用户界面的图示。图103所示的是用户界面的图示，在该用户界面中，控制软件推荐变温速率并传送原位软件和控制软件内的自动化暂停/恢复和连接状态。

图104所示的是用户界面的图示，可以在该用户界面中查看来自原位系统、显微镜、成像系统和任何其他连接的系统的元数据并将其叠加到实时显示和会话或图像检查工具上。每个图像都与元数据一同保存，用户可以通过重放这些元数据来查看参数是如何在漂移校正后的序列上随时间变化的。

图105所示的是示出了具有独有的工作流程和将数据推送给对数据进行同步的另一个软件的报告单元的现有原位软件套件的实例的图示；图105B详细描述了现有原位软件中相对于该软件中的报告单元的工作流程的实例。

图106所示的是示出了图105中描述的软件套件如何在本地原位软件和控制软件模块内的嵌入式单元之间共享工作流程的图示。在该架构中，整个原位用户界面或原位用户界面的某些子集可以嵌入到控制软件用户界面中——可能与共享的代码库一同嵌入。报告单元可以作为图像元数据添加，并合并到通用元数据绘图工具、日志文件或数据库中。

图107所示的是示出了现有原位软件的用户界面以及如何将该用户界面的某些单元嵌入到控制软件中的实例的图示，该控制软件使用户能够从单个工具访问实时图像、原位控制和其他特征。图107A和图107B示出了现有原位软件的用户界面。图107C和图107D示出了如何在控制软件用户界面中嵌入或构建工作流程和报告单元。

图108和图109所示的是用于现有原位控制软件的用户界面的图示，突出显示了可以嵌入到控制软件工作流程和用户界面中的关键单元。

图110至图115所示的是详细描述工作流程的流程图，在该工作流程中，控制软件可以帮助用户有效地量化、熟练操作和检查累积剂量或最大瞬时剂量率对实验的影响。图110所示的是一个示例性工作流程的概要。图111描述了两种方法，其中控制软件可以用于帮助校准样品处的真实剂量或剂量率，以便使实验条件被知晓并可复制。图112示出了控制软件如何帮助用户量化和确定多大的累积剂量或瞬时剂量率对样品来说过高了并将极限保存为预定剂量。图113描述了控制软件如何辅助跟踪在确定的预定剂量内运作的累积剂量或瞬时剂量率。图114和图115描述了控制软件可以用来检查样品部位和进一步量化剂量对实验的影响的方法。

正如本领域技术人员可以认识到的，本发明的各个方面可以体现为系统、方法或计算机程序产品。因此，本发明的各个方面可以采取完全硬件的实施例、完全软件的实施例(包括固件、常驻软件、微代码等)或者软件和硬件方面(在本文中通常都被称为“电路”、“模块”或“系统”)相结合的实施例的形式。此外，本发明的各个方面可以采取包含在一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质上包含有计算机可读程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质(包括但不限于非暂时性计算机可读存储介质)。计算机可读存储介质可以是但不限于例如电子、磁、光学、电磁、红外或半导体系统、装置或设备或者它们的任何合适的组合。计算机可读存储介质的更具体的实例(非穷举列表)将包括：具有一条或多条导线的电连接装置、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或者它们的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何有形介质。

计算机可读信号介质可以包括传播的其中包含有计算机可读程序代码的数据信号(例如，在基带中或作为载波的一部分)。这种传播的信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，该计算机可读介质不是计算机可读存储介质，并且可以传送、传播或传输由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序。

包含在计算机可读介质上的程序代码可以利用任何适当的介质(包括但不限于无线、有线、光纤电缆、射频等或者它们任何合适的组合)来传输。

用于执行本发明各个方面的操作的计算机程序代码可以用一种或多种编程语言(包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言的传统程序编程语言)的任意组合来编写。程序代码可以完全在用户的计算机上执行、作为独立的软件包部分在用户的计算机上执行、部分在用户的计算机上执行、部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。

以上结合根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解的是，流程图和/或框图的每个方框以及流程图和/或框图中方框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器来形成机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的装置。

这些计算机程序指令也可以存储在计算机可读介质中，该计算机可读介质可以指示计算机、其他可编程数据处理装置或其他设备以特定方式运行，使得存储在计算机可读介质中的指令形成包括实现流程图和/或框图的一个或多个方框中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的过程。

附图中的流程图和框图说明了根据本发明各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表代码模块、代码段或代码部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意的是，在一些备选实施方式中，方框中提到的功能可以不按附图中提到的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。

还应当注意到的是，框图和/或流程图的每个方框以及框图和/或流程图中方框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

本文所使用的术语仅是为了描述具体的实施例，而非为了限制本发明。如本文中所使用的，单数形式旨在还包括复数形式，除非上下文明显另有所指。还应当理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指明了存在所述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或增加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。

本发明的各种实施例的描述是为了说明的目的而呈现的，但并非是要详尽无遗的或者局限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。选择本文所使用的术语是为了对实施例的原理、实际应用或对市场上发现的技术的技术改进进行最佳的说明，或者使本领域的其他普通技术人员能够理解本文所公开的实施例。

权利要求中以下的所有装置或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于结合具体要求保护的其他要求保护的元件来执行功能的任何结构、材料或动作。出于说明和描述的目的，已经呈现了本发明的描述，但是本发明的描述并非是要详尽无遗的或者局限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。选择和描述这些实施例是为了对本发明的原理和实际应用进行最好的说明，并且使本领域的其他普通技术人员能够理解本发明的各种实施例，这些实施例具有适合于预期的特定用途的各种修改。

根据详细描述，可以对本公开进行这些和其他改变。尽管以上内容描述了本公开的某些实施例且描述了预期的最佳模式，但是无论以上内容在文中表现得有多么详细，都可以以许多方式来实践这些教导。该系统的细节在其实现细节上可以有很大的变化，同时仍然被本文所公开的主题所包含。如上所述，在描述本公开的某些特征或方面时使用的特定术语不应被理解为暗示该术语在本文中被重新定义为限于与该术语相关联的本公开的任何特定特点、特征或方面。一般而言，在权利要求中使用的术语不应被解释为将本公开限制于本说明书中公开的特定实施例，除非以上详细描述部分明确定义了这些术语。因此，本公开的实际范围不仅包括所公开的实施例，还包括按照权利要求实践或实现本公开的所有等效方式。

Claims (121)

1.一种配置成在电子显微镜环境中进行样品跟踪的控制系统，所述控制系统包括：

存储器；

处理器；以及

显微镜控制组件，

所述控制系统配置成：

对与受关注区域相关联的移动进行配准，所述受关注区域位于利用电子显微镜观察的样品的活动区域内，

其中，所述被配准的移动包括至少一个方向分量，其中，所述受关注区域位于所述电子显微镜的视场内；

指示对所述显微镜控制组件进行调整，以对通过所述电子显微镜观察的所述受关注区域的画面进行动态居中和/或动态聚焦；

其中，所述调整包括对大小要素和/或方向要素的调整。

2.根据权利要求1所述的控制系统，其中，所述控制系统还配置成向所述受关注区域应用原位刺激，其中，所述调整包括沿着X轴和Y轴的漂移校正。

3.根据权利要求2所述的控制系统，其中，所述控制系统还配置成向所述受关注区域应用原位刺激，其中，所述调整包括沿着Z轴的漂移校正。

4.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当所述被配准的移动低于预定值或预定速率时提醒用户。

5.根据权利要求1所述的控制系统，其中，所述显微镜控制组件与机械载物台、测角仪、所述载物台的压电组件、电子束的照射、所述电子束的投射、所述电子束的电磁偏转和所述电子束的移动中的一个或多个进行电子通信。

6.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在微米尺度、纳米尺度或原子尺度上对所述移动进行配准。

7.根据权利要求1所述的控制系统，其中，所述控制系统还配置成同时对与位于所述被观察样品中的多个受关注区域相关联的移动进行配准。

8.根据权利要求1所述的控制系统，其中，所述控制系统还配置成通过将所述样品的活动区域的其余部分与所述受关注区域的模板图像对照来对所述移动进行配准。

9.根据权利要求8所述的控制系统，其中，所述控制系统还配置成在预定时间段内操纵所述受关注区域的模板图像，以生成当前形貌分布图或当前强度分布图。

10.根据权利要求1所述的控制系统，其中，所述控制系统还配置成将所述被配准的移动作为与所述被观察样品的受关注结构、受关注区域和背景区域中的一个或多个相关联的漂移矢量来捕捉。

11.根据权利要求10所述的控制系统，其中，所述控制系统还配置成通过估计所述漂移矢量的大小和所述漂移矢量的方向中的一个或多个来提高所述漂移矢量的精度。

12.根据权利要求11所述的控制系统，其中，所述控制系统配置成通过将与样品架和MEMS样品支架中的一个或多个相关的性能数据应用于所述漂移矢量来提高所述漂移矢量的所述精度。

13.根据权利要求10所述的控制系统，其中，所述控制系统还配置成分析所述漂移矢量，以预测进行观察的另一个受关注区域的另一个漂移矢量。

14.根据权利要求1所述的控制系统，其中，所述控制系统还配置成向所述受关注区域应用原位刺激，其中，所述原位刺激包括由所述控制系统基于在所述受关注区域配准的移动生成的漂移矢量。

15.根据权利要求10所述的控制系统，其中，所述控制系统还配置成将所述漂移矢量与所述受关注区域的参考模板图像进行比较，以识别所述被观察样品已经发生的变化。

16.根据权利要求10所述的控制系统，其中，所述被观察样品的变化包括相变、沉淀物形成、形貌变化、与周围环境的反应、与附近元素的反应以及在所述被观察样品中发生的聚结中的一个或多个。

17.根据权利要求1所述的控制系统，其中，所述控制系统还配置成将所述移动按照配准算法和/或对齐算法来配准。

18.根据权利要求17所述的控制系统，其中，所述控制系统还配置成对所述配准算法和/或所述对齐算法进行校准。

19.根据权利要求1所述的控制系统，其中，所述控制系统还配置成将所述移动作为像素位移来配准，并将所述像素位移转化为所述电子显微镜的定位器的校正距离。

20.根据权利要求19所述的控制系统，其中，所述控制系统还配置成将多个所述像素位移转化成漂移速度矢量和漂移加速度矢量中的至少一个。

21.根据权利要求19所述的控制系统，其中，所述控制系统还配置成仅当所述电子显微镜的所述定位器的分辨率与所述校正距离的大小兼容时，将所述校正距离应用给所述电子显微镜的所述定位器。

22.根据权利要求19所述的控制系统，其中，所述控制系统还配置成向所述定位器应用校正距离，以便使得到的漂移校正后的序列帧率最大化。

23.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于所述被配准的移动触发以下动作中的至少一个：暂停原位刺激、保持所述原位刺激恒定，以及改变所述原位刺激的变温速率。

24.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于以下至少一种情况自动识别新的受关注区域：视场(FOV)变化、样品变化、显微镜状态更新、电子束未消隐、镜筒阀打开、屏幕升高和成像条件变化。

25.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于以下至少一种情况而自动停止或暂停：视场(FOV)变化、样品变化、显微镜状态更新、电子束未消隐、镜筒阀打开、屏幕升高和成像条件变化。

26.根据权利要求1所述的控制系统，其中，所述控制系统还配置成通过以下一种或多种方式从显示在图形用户界面上的所述视场的实时图像流中数字化地勾画出所述受关注区域：在显示在图形用户界面上的所述视场的实时图像流上标出轮廓；在图形用户界面上显示的所述视场的实时图像流上标出形状；将预先存在的形状叠加到图形用户界面上显示的所述视场的实时图像流上；捕捉在图形用户界面上显示的所述电子显微镜的所述视场的实时图像流内的区域上执行的双击事件；以及捕捉显示在图形用户界面上的所述电子显微镜的所述视场的实时图像流内的区域上的点击和拖动事件。

27.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当所述控制系统确定所述受关注区域已经从所述视场的中心或所述视场内的参考点离开时，向所述受关注区域应用居中移动。

28.根据权利要求1所述的控制系统，其中，所述控制系统还配置成基于在所述被配准的移动中检测到的漂移矢量性速度、漂移速度和漂移分辨率中的一个或多个来确定要实时应用的原位刺激。

29.根据权利要求1所述的控制系统，其中，所述控制系统还配置成基于以下一个或多个条件来确定要实时应用的原位刺激：检测到的所述受关注区域的成像条件；样品支架的性能参数；以及样品架的性能参数。

30.根据权利要求29所述的控制系统，其中，所述检测到的受关注区域的成像条件包括放大水平和/或图像采集时间。

31.根据权利要求1所述的控制系统，其中，所述控制系统还配置成通过以下一种或多种方式来抵消所述被配准的移动：应用物理调整、应用数字化调整、对在图形用户界面上显示的所述视场的实时图像流中显示的图像进行过滤以及对在漂移校正后的图像序列中显示的图像进行过滤。

32.根据权利要求30所述的控制系统，其中，所述控制系统还配置成生成所述受关注区域的无缝视频。

33.根据权利要求1所述的控制系统，其中，所述控制系统还配置成数字化校正所述受关注区域的至少一个图像和/或物理校正所述受关注区域的至少一个图像。

34.根据权利要求32所述的控制系统，其中，所述视场的总区域的至少一个图像没有被数字化校正。

35.根据权利要求33所述的控制系统，其中，所述数字化校正包括以下操作中的一个或多个：对所述图像进行数字化移动、对所述图像进行数字化裁剪、对所述图像进行数字化模糊处理、对所述图像进行数字化锐化处理、数字化添加到所述图像边缘、将背景像素数字化添加到所述图像以及将前景像素数字化添加到所述图像。

36.根据权利要求32所述的控制系统，其中，所述控制系统还配置成保存所述图像的数字化校正副本和所述图像的常规未校正副本。

37.根据权利要求29所述的控制系统，其中，所述控制系统还包括检查实用程序，其中，所述检查实用程序配置成检查捕捉到的图像或捕捉到的视频，其中，利用显微镜元数据、原位元数据和成像条件中的一个或多个来对所述捕捉到的图像或所述捕捉到的视频进行索引。

38.根据权利要求37所述的控制系统，其中，所述检查实用程序配置成生成应用于所述图像、所述显微镜元数据、所述原位元数据和所述成像条件中的一个或多个的数学算法。

39.根据权利要求38所述的控制系统，其中，所述数学算法应用于漂移校正后的图像序列，其中，所述控制系统还配置成评估在预定时间间隔内所应用的所述调整的变化。

40.根据权利要求38所述的控制系统，其中，所述数学算法包括变换分析、强度图、像素强度统计、结晶度分数、聚焦分数、方差分数、对比度分数、粒度分析和点间距离分析中的至少一个。

41.根据权利要求38所述的控制系统，其中，所述控制系统还配置成以预定的图像格式将由所述控制系统检查的预定图像序列导出至永久磁盘空间。

42.根据权利要求38所述的控制系统，其中，所述控制系统还配置成将所述数学算法应用于图像或元数据，以隔离预定图像序列或导出预定图像序列。

43.根据权利要求32所述的控制系统，其中，所述控制系统还配置成基于数字化校正后的连续图像和/或未数字化校正的连续图像来生成视频。

44.根据权利要求36所述的控制系统，其中，所述视频包括所述受关注区域的数字校正后的稳定影片。

45.根据权利要求32所述的控制系统，其中，所述控制系统还配置成通过应用如FFT、CTF的变换分析、强度图、像素强度统计、聚焦算法分析、亮度调整、对比度调整、伽马调整、元数据叠加层和形状叠加层中的至少一个基于连续图像来生成视频。

46.根据权利要求38所述的控制系统，其中，所述视频包括所述受关注区域的未数字化校正的影片。

47.根据权利要求1所述的控制系统，其中，所述控制系统还配置成将所述被配准的移动作为漂移速率或漂移矢量来捕捉，以及通过将应用给所述受关注区域的图像的数字化配准与X轴、Y轴和Z轴坐标平面中的至少一个相结合来视觉呈现所述漂移速率或所述漂移矢量，以生成单个协调位置。

48.根据权利要求47所述的控制系统，其中，所述漂移速率的视觉呈现包括罗盘显示、柱状显示、数值显示和图形显示中的一种或多种。

49.根据权利要求1所述的控制系统，其中，所述控制系统还配置成：将所述移动作为漂移速率来配准；以及对所述漂移速率进行归一化。

50.根据权利要求1所述的控制系统，其中，所述控制系统还配置成捕捉所述受关注区域的失焦图像，以计算所述样品距所述电子显微镜的透镜的最佳Z轴距离，其中，所述Z轴垂直于对应于所述受关注区域的平面。

51.根据权利要求1所述的控制系统，其中，所述显微镜控制组件的所述调整包括电子束偏转和/或焦平面调整。

52.根据权利要求1所述的控制系统，其中，所述控制系统还配置成连续监控所述受关注区域的聚焦水平。

53.根据权利要求52所述的控制系统，其中，所述控制系统还配置成基于所述聚焦水平生成归一化聚焦分数。

54.根据权利要求1所述的控制系统，其中，所述控制系统还配置成基于聚焦质量分析以及物理对齐的图像和数字化对齐的图像中的一个或多个来生成归一化聚焦分数。

55.根据权利要求1所述的控制系统，其中，所述控制系统还配置成通过沿Z轴应用漂移校正来改变所述受关注区域的聚焦水平，其中，所述Z轴垂直于对应于所述受关注区域的平面。

56.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示器上显示聚焦分数，其中，所述聚焦分数与预定义的聚焦分数并列显示。

57.根据权利要求56所述的控制系统，其中，所述控制系统还配置成将聚焦水平操纵至过焦状态或欠焦状态。

58.根据权利要求56所述的控制系统，其中，所述控制系统还配置成采用聚焦控制算法来连续调整所述电子显微镜的物镜，以产生归一化聚焦分数。

59.根据权利要求58所述的控制系统，其中，所述控制系统还配置成：随着所述归一化聚焦分数接近最佳配准聚焦分数，减小移动的大小；以及随着所述归一化聚焦分数偏离所述最佳配准聚焦分数，增加所述移动的大小。

60.根据权利要求1所述的控制系统，其中，所述控制系统还配置成调节所述电子显微镜的所述透镜的重聚焦点，其中，所述重聚焦点通过操纵指示器句柄来定义聚焦包络。

61.根据权利要求1所述的控制系统，其中，所述控制系统还配置成包括Z轴聚焦控制，所述Z轴聚焦控制包括射束控制、压电控制和载物台控制中的一个或多个，其中，所述Z轴垂直于对应于所述受关注区域的平面。

62.根据权利要求3所述的控制系统，其中，所述控制系统还配置成执行校准以提高所述漂移校正的有效性。

63.根据权利要求62所述的控制系统，其中，所述校准包括旋转偏移量和/或放大聚焦包络。

64.根据权利要求62所述的控制系统，其中，所述控制系统还配置成执行以下操作中的一个或多个：将与所述校准相关联的校准值存储在校准数据库中；定期将测量值与所述校准值进行比较；以及对照一个或多个校准值监控所述控制系统的性能。

65.根据权利要求62所述的控制系统，其中，所述控制系统还配置成在每个移动配准会话期间运行所述校准。

66.根据权利要求62所述的控制系统，其中，所述校准值对应于定位器，其中，所述校准值是为游隙、移动极限、移动计时、分辨率、总范围、优选范围、滞后量、最小移动时段、单位转换、中间位置和与所述定位器相关联的最小移动时段中的至少一个而产生的。

67.根据权利要求62所述的控制系统，其中，所述校准值对应于样品架，其中，所述校准值与成像原点调整、X轴调整、Y轴调整和Z轴调整中的一个或多个相关联，其中，所述Z轴垂直于对应于所述受关注区域的平面。

68.根据权利要求62所述的控制系统，其中，所述校准值与与所述样品相关联的压力、流量和机械变形中的一个或多个的变化相关联。

69.根据权利要求62所述的控制系统，其中，所述校准值与对应于加热样品架或冷却样品架的预期移动模型相关联。

70.根据权利要求62所述的控制系统，其中，所述校准值与对应于单位温度变化相关的漂移矢量性速度、冷却变温速率和加热变温速率中的一个或多个的预期移动模型相关联。

71.根据权利要求62所述的控制系统，其中，所述控制系统还配置成将所述校准值应用于原位控制输入，所述原位控制输入包括电流值、温度设定点和流体流速中的一个或多个。

72.根据权利要求1所述的控制系统，其中，所述控制系统还配置成计算在同时应用原位刺激和漂移校正调整期间可实现的最大热变温速率。

73.根据权利要求72所述的控制系统，其中，所述控制系统还配置成利用视场的面积与所述受关注区域的面积的相对比率、定位器计时、图像刷新率和预期漂移速率中的一个或多个来计算所述可实现的最大热变温速率。

74.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于所述受关注区域的图像刷新率的变化来改变影响所述受关注区域的热变温速率。

75.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于用户试图手动聚焦第二受关注区域而降低或暂停影响所述受关注区域的热变温速率。

76.根据权利要求1所述的控制系统，其中，所述调整包括漂移校正，其中，所述控制系统还配置成当定位器的X轴参数和Y轴参数中的至少一个超出预定范围时暂停应用所述漂移校正。

77.根据权利要求1所述的控制系统，其中，所述调整包括沿着Z轴应用的漂移校正，以补偿与所述被观察样品相关联的膜的预期移动，其中，所述Z轴垂直于对应于所述受关注区域的平面，其中，X轴和Y轴平行于所述受关注区域的所述平面。

78.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上的同一单个用户界面中显示应用给所述受关注区域的电子显微镜控制和漂移校正参数。

79.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上显示放大倍率值、活动检测器的尺寸、像素分辨率、面元划分、驻留率和曝光时间中的一个或多个的影响，以评估应用给所述受关注区域的原位刺激的有效性。

80.根据权利要求1所述的控制系统，其中，所述控制系统还配置成辅助用户优先选择相机选项、检测器选项、电子显微镜设置特征和原位刺激中的一个或多个，以生成由应用给所述受关注区域的原位刺激产生的稳定图像。

81.根据权利要求1所述的控制系统，其中，所述控制系统还配置成自动选择驻留率和/或曝光时间，以确保由应用给所述受关注区域的原位刺激产生的图像稳定。

82.根据权利要求1所述的控制系统，其中，所述控制系统还配置成响应于用户调整与所述电子显微镜相关联的像素分辨率、放大倍率值和热变温速率中的一个或多个而自动调整应用给所述受关注区域的原位刺激。

83.根据权利要求1所述的控制系统，其中，所述控制系统还配置成基于在所述受关注区域配准的所述移动来预测与另一个受关注区域相关联的移动。

84.根据权利要求1所述的控制系统，其中，所述控制系统还配置成为应用给所述受关注区域的原位刺激设置触发功能，其中，当观察到样品特征、电子显微镜条件、原位刺激源和原位刺激读数中的至少一个发生变化时，所述触发功能被激活。

85.根据权利要求1所述的控制系统，其中，所述对显微镜控制组件的调整包括触发功能，当观察到样品特征、电子显微镜条件、原位刺激源或原位刺激读数中的一个或多个发生变化时，所述触发功能被激活。

86.根据权利要求85所述的控制系统，其中，所述触发功能调整对所述电子显微镜、与所述电子显微镜相关联的相机以及与所述电子显微镜相关联的检测器中的至少一个有影响的参数。

87.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当样品温度超出预定范围时打开或关闭与所述电子显微镜相关联的检测器。

88.根据权利要求85所述的控制系统，其中，所述控制系统还包括用户界面，所述用户界面配置成开发所述触发功能。

89.根据权利要求1所述的控制系统，其中，所述控制系统还配置成允许用户为所述被观察的样品设置电子剂量率极限和累积电子剂量极限。

90.根据权利要求1所述的控制系统，其中，所述控制系统还配置成根据电子显微镜透镜的位置和时间来计算所述电子显微镜的电子剂量率和累积电子剂量极限。

91.根据权利要求90所述的控制系统，其中，所述控制系统还配置成监控所述电子剂量率没有超过预定电子剂量率极限以及所述累积电子剂量极限没有超过预定累积电子剂量极限。

92.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上以热图形式显示电子剂量率的图像，并以热图形式显示累积电子剂量极限的图像；以及自动调整所述显示的图像以抵消样品位置和/或放大水平的变化。

93.根据权利要求2所述的控制系统，其中，所述控制系统还配置成基于所述被配准的移动和/或所述应用的原位刺激来生成自动化报告。

94.根据权利要求1所述的控制系统，其中，所述控制系统还配置成允许用户设置一个或多个安全极限，以防止对所述样品的不可逆损伤。

95.根据权利要求1所述的控制系统，其中，所述控制系统还配置成测量电子束对所述样品的样品形状、样品成分、样品密度和电特性中的一个或多个的影响。

96.根据权利要求1所述的控制系统，其中，所述控制系统还配置成记录一段时间内所述被配准的移动，以生成所述受关注区域内发生的移动历史记录的三维地图。

97.根据权利要求96所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上视觉显示三维路径中的所述移动历史记录。

98.根据权利要求97所述的控制系统，其中，所述移动历史记录的所述视觉显示可以响应于用户提示以交互方式旋转。

99.根据权利要求1所述的控制系统，其中，所述控制系统还配置成基于用户选择的图像采集时间和/或放大水平来计算最大允许移动。

100.根据权利要求99所述的控制系统，其中，所述控制系统还配置成引导所述用户调整成像条件，以防止达到所述最大允许移动。

101.根据权利要求1所述的控制系统，其中，所述控制系统还配置成设置与耦接到所述电子显微镜的质谱设备、耦接到所述电子显微镜的气相色谱设备和耦接到所述电子显微镜的液相色谱设备中的一个或多个相关联的触发功能。

102.根据权利要求101所述的控制系统，其中，所述控制系统还配置成响应于被所述控制系统激活的所述触发功能而调整与所述样品相关联的环境条件。

103.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当从耦接到所述电子显微镜的原位样品架排出的循环水中所含物质的测量浓度超出预定范围时，调整与所述样品相关联的环境条件。

104.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上显示用户先前观察到的所述样品的各部分的图像列表以及与每个列出的图像相关联的剂量或剂量率。

105.根据权利要求1所述的控制系统，其中，所述控制系统还配置成在图形用户显示设备上显示暴露于来自所述电子显微镜的电子束的预定水平的电子辐射的所述样品的各部分的图像列表。

106.根据权利要求1所述的控制系统，其中，所述控制系统还配置成连续监控以下内容中的一个或多个：所述电子显微镜的视场；与所述电子显微镜相关的至少一个定位器的X轴、Y轴或Z轴参数；与所述电子显微镜相关联的至少一个定位器的Z轴参数；样品架的α倾斜；所述样品架的β倾斜；图像刷新率；射束消隐器的状态；镜筒阀状态；屏幕角度；显微镜元数据；以及成像系统元数据。

107.根据权利要求2所述的控制系统，其中，所述应用的原位刺激包括移动定位器，其中，所述控制系统还配置成从载物台定位器、压电定位器和射束定位器中的一个或多个中选择所述定位器。

108.根据权利要求107所述的控制系统，其中，所述控制系统配置成计算移动所述定位器所需的时间，以将所述定位器的移动对保存的图像序列的影响降到最低。

109.根据权利要求107所述的控制系统，其中，所述控制系统配置成基于所述应用的原位刺激的所述量级来选择所述定位器。

110.根据权利要求107所述的控制系统，其中，所述控制系统还配置成基于剩余的所述应用的原位刺激达到所述应用的原位刺激的预定最大量级的余量来选择所述定位器。

111.根据权利要求110所述的控制系统，其中，所述控制系统还配置成将先前应用给所述定位器的另一个原位刺激归零。

112.根据权利要求1所述的控制系统，其中，所述控制系统还配置成为所述电子显微镜的电子束位置分配一个或多个自动极限，以防止或减少消像散。

113.根据权利要求112所述的控制系统，其中，所述控制系统还配置成允许用户在所述受关注区域和所述另一个受关注区域之间切换。

114.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当所述被配准的移动低于预定值或预定速率时开始采集所述受关注区域的高分辨率图像。

115.根据权利要求1所述的控制系统，其中，所述控制系统还配置成当其检测到与机械载物台的X轴位置、所述机械载物台的Y轴位置、所述机械载物台的Z轴位置、压电载物台偏转、射束偏转、压电载物台、焦平面、α倾斜、β倾斜、图像刷新率和成像条件中的至少一个相关联的移动时识别用户发起的动作。

116.根据权利要求115所述的控制系统，其中，所述控制系统还配置成基于所述用户发起的动作来校准或触发原位刺激。

117.根据权利要求116所述的控制系统，其中，所述控制系统还配置成暂停或中止与所述用户发起的动作冲突的原位刺激。

118.根据权利要求33所述的控制系统，其中，所述控制系统还配置成自动略去一个或多个模糊图像，以生成没有所述一个或多个模糊图像的漂移校正后的图像序列。

119.根据权利要求118所述的控制系统，其中，所述控制系统还配置成协调应用调整的计时，以与采集所述一个或多个模糊图像的时间同步。

120.根据权利要求33所述的控制系统，其中，所述控制系统还配置成使用户能够在触发对所述受关注区域的所述至少一个图像应用物理校正之前，指定要应用给所述受关注区域的所述至少一个图像的预定量数字化校正。

121.一种配置成在电子显微镜环境中进行样品跟踪的控制系统，所述控制系统包括：

存储器；

处理器；以及

显微镜控制组件，

所述控制系统配置成：

对与位于利用电子显微镜观察的样品的活动区域内的受关注区域相关联的移动进行配准，

其中，所述被配准的移动包括至少一个方向分量，其中，所述受关注区域位于所述电子显微镜的视场内；

其中，所述被配准的移动包括α倾斜和β倾斜中的至少一个；

指示对电子显微镜控制组件进行调整，以对通过所述电子显微镜观察的所述受关注区域的画面进行动态居中和/或动态聚焦；

其中，所述调整包括对大小要素和/或方向要素的调整。

Images