CN112634361A - 使用语义分段的位姿估计 - Google Patents

使用语义分段的位姿估计 Download PDF

Info

Publication number
CN112634361A
CN112634361A CN202011007832.8A CN202011007832A CN112634361A CN 112634361 A CN112634361 A CN 112634361A CN 202011007832 A CN202011007832 A CN 202011007832A CN 112634361 A CN112634361 A CN 112634361A
Authority
CN
China
Prior art keywords
sample
image
template
keypoints
charged particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011007832.8A
Other languages
English (en)
Inventor
J·弗拉纳根
B·拉森
T·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEI Co
Original Assignee
FEI Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEI Co filed Critical FEI Co
Publication of CN112634361A publication Critical patent/CN112634361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/20—Means for supporting or positioning the objects or the material; Means for adjusting diaphragms or lenses associated with the support
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/20—Positioning, supporting, modifying or maintaining the physical state of objects being observed or treated
    • H01J2237/202—Movement
    • H01J2237/20278—Motorised movement
    • H01J2237/20285—Motorised movement computer-controlled
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2803—Scanning microscopes characterised by the imaging method
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/30—Electron or ion beam tubes for processing objects
    • H01J2237/317—Processing objects on a microscale
    • H01J2237/3174—Etching microareas
    • H01J2237/31745—Etching microareas for preparing specimen to be viewed in microscopes or analyzed in microanalysers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

公开用于实施人工智能以确定显微镜系统内样本的位姿且使所述样本对准的方法和系统。实例方法包含接收所述显微镜设备中所述样本的图像、访问与所述样本相关联的模板。所述模板描述所述样本的所述模板型式的多个模板关键点。接着确定所述样本上的多个关键点，其中所述样本上的所述关键点中的每一个对应于样本模板的对应模板关键点，且随后使用所述关键点来确定如所述图像中所描绘的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的变换。接着可使用所述变换来使所述显微镜内所述样本的对准自动化。

Description

使用语义分段的位姿估计
背景技术
样本对准是对显微镜系统中样本的评估的核心挑战。从历史上看，这涉及熟练的操作者识别样本的位置，然后调整样本，使其处于所要位置和/或定向。然而，由熟练的操作者对样本位置的这种识别可能是繁重的并且缺乏稳健性。此外，为了增加产率和减小成本，期望通过尽可能多地消除不必要的人与过程的交互来简化样本评估。
出于这些原因，当前的显微镜系统正发展为使样本评估过程的各个步骤自动化。举例来说，当前的显微镜系统尝试经由多种图像处理算法和系统操纵来使各种样本对准过程（例如，倾斜对准、偏心对准、漂移控制等）自动化，所述多种图像处理算法和系统操纵找到由显微镜系统生成的图像中样本的位置。存在许多用于使识别此图像中样本的位置的步骤自动化的技术，包含利用交叉相关、边缘匹配和几何形状匹配的算法。然而，虽然当前自动化技术在识别图像中样本的位置时展现子像素匹配精度，但其难以识别已经变形、更改和/或损坏的样本。因此，期望具有一种可自动在图像内识别已变形、更改和/或损坏的样本的位置的显微镜系统。
发明内容
公开用于实施人工智能以确定显微镜系统内样本的位姿且使所述样本对准的方法和系统。实例方法包含接收显微镜设备中样本的图像、访问与样本相关联的模板。所述模板描述样本的模板型式的多个模板关键点。接着确定样本上的多个关键点，其中样本上的关键点中的每一个对应于样本模板的对应模板关键点，且随后使用关键点来确定如图像中所描绘的样本和如模板中所描述的样本的模板型式之间的变换。接着可使用所述变换来使显微镜内样本的对准自动化。
用于自动定向显微镜系统中的样本的系统包括传感器或检测器，其被配置成生成显微镜系统中样本的图像；以及样本固持器，其被配置成固持样本，且被配置成在显微镜系统内进行样本的平移、旋转和倾斜中的至少一个。所述系统进一步包含一个或多个处理器和存储非暂时性计算机可读指令的存储器，所述非暂时性计算机可读指令当由所述一个或多个处理器执行时使显微镜系统实施人工智能以确定显微镜系统内样本的位姿并使所述样本对准。
附图说明
参考附图描述具体实施方式。在图中，参考标号最左边的一个或多个数字识别所述参考标号首次出现的图。不同图中的相同参考标号指示相似或相同的项目。
图1示出用于自动定向带电粒子系统中的样本的实例带电粒子环境。
图2描绘用于确定显微镜系统中样本的位姿的示例过程。
图3展示示出用于确定显微镜系统内薄片的位姿的过程的一组图式。
图4展示示出用于确定显微镜系统内集成电路的位姿的过程的一组图式。
图5是示出将根据本发明的自动位姿估计技术应用于显微镜图像中样本的图像的图式。
贯穿图式的若干视图，相同的参考标号指代对应的零件。大体来说，在各图中，可能包含在给定实例中的元件以实线示出，而对于给定实例为任选的元件以虚线示出。然而，以实线示出的元件并非对于本公开的所有实例都是必要的，且以实线展示的元件可从特定实例省略，而不脱离本公开的范围。
具体实施方式
本文中公开用于机器学习增强型位姿估计的方法和系统。更确切地说，本公开包含利用机器学习来定向和/或定位带电粒子显微镜系统内的样本的改进的方法和系统。本文中所公开的方法和系统自动识别由带电粒子系统获得的图像内样本上的关键点，且接着使用样本的模板型式来确定图像内的样本和所要定向和/或位置之间的变换。以此方式，根据本公开的带电粒子系统能够使样本的定位和/或定向自动化。然而，这仅是本文中所公开的本发明的特定应用的说明，且所述方法和系统可用于确定其它应用的其它对象的所要变换。
针对上文所公开的问题的一个解决方案包含神经网络图像处理来使图像分段，用一个或多个种类标示标记图像的一些或所有像素，且确定图像内对象的关键点。可接着将图像内的关键点与相对于模板对象描述所述关键点的模板进行比较。方法和系统可接着执行位于图像中的每一关键点到如模板中所描述的对应关键点的一对一映射以确定图像内对象的位姿。因为（1）到一个或多个种类的分段由神经网络执行，且（2）进行图像和模板之间关键点的一对一映射，所以所公开的本发明辨识变形结构的能力相比于当前图像处理技术极大地改进，从而提供改进的一个实例。
图1是用于自动定向带电粒子系统104中的样本102的实例带电粒子环境100的图示。特定来说，图1展示实例带电粒子环境100包含用于探究和/或分析样本102的实例带电粒子系统104。实例带电粒子系统104可为或包含一个或多个不同类型的光学和/或带电粒子显微镜，例如（但不限于）扫描电子显微镜（SEM）、扫描透射式电子显微镜（STEM）、透射式电子显微镜（TEM）、带电粒子显微镜（CPM）、低温兼容显微镜、聚焦离子束显微镜（FIB）、双波束显微系统或其组合。图1展示实例带电粒子显微镜系统104为透射式电子显微镜（TEM）106。
实例带电粒子显微镜系统104包含带电粒子源108（例如，热电子源、肖特基-发射源、场发射源等），其沿着发射轴112且朝向加速器透镜114发射电子束110。发射轴112是沿着实例带电粒子显微镜系统104的长度从带电粒子源108延伸且穿过样本102的中心轴。加速器透镜114朝向聚焦柱116加速/减速、聚焦和/或引导电子束110。聚焦柱116聚焦电子束110使得其入射在样本102的至少一部分上。在一些实施例中，聚焦柱116可包含孔隙、扫描线圈和上部聚光透镜中的一个或多个。聚焦柱将来自电子源的电子聚焦到样本上的小点中。可通过经由扫描线圈调整电子束方向来扫描样本102的不同位置。此外，聚焦柱116可校正和/或调谐电子束110的像差（例如，几何像差、色像差）。
通过样本102的电子118可进入投影仪120。在一个实施例中，投影仪120可以是与聚焦柱116分离的零件。在另一实施例中，投影仪120可以是来自聚焦柱116中的透镜的透镜场的延伸。投影仪120可被调整使得通过样本102的直接电子118照射在显微镜检测器系统122上。
在图1中，显微镜检测器系统122示出为包含盘形亮场检测器和暗场检测器。在一些实施例中，显微镜检测器系统122可包含一个或多个其它检测器。或者或另外，显微镜检测器系统122可包含扫描电子显微镜检测器系统、聚焦离子束检测器系统、扫描电子显微镜次级电子检测器系统、聚焦离子束次级电子检测器系统和光学显微镜检测器系统。
图1进一步示出实例带电粒子显微镜系统104进一步包含样本固持器124、样本操纵探针126、计算装置128和一个或多个成像传感器130。虽然图1中展示为安装在样本102上方，但所属领域的技术人员将理解，成像传感器130可安装在实例带电粒子显微镜系统104内的其它位置处，例如（但不限于）样本102下方（例如，接近显微镜检测器系统122）。样本固持器124被配置成固持样本102，且能够相对于实例带电粒子显微镜系统104平移、旋转和/或倾斜样本102。类似地，样本操纵探针120被配置成在实例带电粒子显微镜系统104内固持、运送和/或以其它方式操纵样本102。举例来说，在双波束带电粒子显微镜系统中，样本操纵探针120可用于将从较大对象创建的薄片运送到样本固持器118上的位置，在该处，可由带电粒子显微镜系统探究和/或分析所述薄片。
计算装置128被配置成基于来自成像传感器130、显微镜检测器系统122或其组合的传感器数据而生成实例带电粒子显微镜系统104内样本102的图像。在一些实施例中，图像是展示指示样本的形状和/或材料的对比度的灰度图像。成像传感器130被配置成检测由于用带电粒子束照射样本而从样本发射的背散射、次级或透射电子。举例来说，电子和/或离子源（例如，带电粒子源108）用相应带电粒子束照射样本。在一些实施例中，照射样本包含扫描带电粒子束成像使得其跨样本移动。计算装置128进一步被配置成确定如图像所描绘的样本102的位置和/或定向。在一些实施例中，计算装置128进一步可执行以使样本固持器124、样本操纵探针126或实例带电粒子显微镜系统104的另一组件平移和/或再定向样本102。
所属领域的技术人员将了解，图1中描绘的计算装置128仅仅为说明性的，且并不希望限制本公开的范围。计算系统和装置可包含可执行所指示功能的硬件或软件的任何组合，包含计算机、网络装置、网络家电、PDA、无线电话、控制器、示波器、放大器等。计算装置128还可连接到未示出的其它装置，或实际上可作为独立的系统操作。另外，在一些实施方案中，由所示出的组件提供的功能性可组合在更少的组件中或分布在额外组件中。类似地，在一些实施方案中，可不提供所示出的组件中的一些的功能性和/或可使用其它额外功能性。
还应注意，计算装置128可以是实例带电粒子显微镜系统104的组件，可以是经由网络通信接口与实例带电粒子显微镜系统104通信的与实例带电粒子显微镜系统104分离的装置，或其组合。举例来说，实例带电粒子显微镜系统104可包含第一计算装置128，其是实例带电粒子显微镜系统104的组成部分，且充当控制器来驱动实例带电粒子显微镜系统104的操作（例如，通过操作扫描线圈调整样本102上的扫描位置等）。在此实施例中，实例带电粒子显微镜系统104还可包含第二计算装置128，其是与实例带电粒子显微镜系统104分离的台式计算机，且可执行以处理从成像传感器130接收的数据以生成样本102的图像和/或执行其它类型的分析。计算装置128可进一步被配置成经由键盘、鼠标、触摸垫、触摸屏等接收用户选择。
图1还描绘包含多个图像的视觉流程图132，所述多个图像一起描绘可由计算装置128执行以平移和/或再定向样本102的实例过程。举例来说，图像134展示正由样本操纵探针126固持的样本102的图像。图像136示出计算装置128识别样本102上的多个关键点138，且可基于所述关键点确定实例带电粒子显微镜系统104内样本102的位姿。计算装置128识别所述多个关键点138可包含将经训练以识别关键点138的分析型神经网络应用于图像134。
图像140对应于描绘模板样本144和多个模板关键点146的模板。在一些实施例中，模板描绘模板样本144处于所要位置和/或定向。组合图像148展示计算装置128以一对一对应性将模板关键点146中的每一个映射到关键点138。基于此匹配，计算装置128接着能够确定模板样本144和图像134中描绘的样本102的位置和/或定向之间的变换，且接着可使样本固持器124、样本操纵探针126或实例带电粒子显微镜系统104的另一组件平移和/或再定向样本102使得其处于所要位置和/或定向。图像150展示在样本102已平移、旋转和/或倾斜使得其处于所要位置和/或定向之后的所述样本102。
图1进一步包含示出计算装置128的实例计算架构160的示意图。实例计算架构160示出可用于实施本公开中所描述的技术的硬件和软件组件的额外细节。所属领域的技术人员将理解，计算架构160可实施于单个计算装置128中或可跨多个计算装置实施。举例来说，计算架构160中描绘的个别模块和/或数据构建体可由不同计算装置128执行和/或存储在不同计算装置128上。以此方式，根据本公开的本发明方法的不同过程步骤可由单独的计算装置128实行和/或执行。
在实例计算架构160中，计算装置包含一个或多个处理器162和以通信方式联接到所述一个或多个处理器162的存储器163。实例计算架构160可包含存储于存储器163中的特征确定模块164、变换确定模块166、控制模块168和训练模块170。实例计算架构160进一步示出为包含模板172，其识别存储于存储器163上的多个关键点174。模板172是描述模板对象的数据结构，例如（但不限于）模板对象的大小、形状和模板关键点174。在一些实施例中，模板对象对应于模板样本144。举例来说，模板172描述每一关键点174和模板对象之间的位置关系。关键点174中的每一个对应于特征确定模块164被训练以识别的模板形状上的特定特征或点。在一些实施例中，模板172还可识别模板对象的所要对准（即，模板对象相对于显微镜或图像的坐标系的定位、旋转和/或倾斜）。举例来说，模板172可针对特定过程（例如，使样本成像、研磨样本、分析样本的特定特征等）识别对应于处于所要定向的模板对象的多个模板关键点174的位置。在一些实施例中，可操纵模板172。举例来说，模板172可对应于模板对象的3D模型，其允许计算装置128的用户经由呈现于计算装置128的显示器156上的图形用户界面修改模板对象的位置和/或定向。在此些实施例中，这允许修改模板172使得其描述特定所要位置和/或定向中的模板对象。
如本文所用，术语“模块”旨在表示出于论述目的的可执行指令的实例划分，而不希望表示任何类型的要求或所要求的方法、方式或组织。因此，尽管描述了各种“模块”，但它们的功能性和/或类似的功能性可以不同方式布置（例如，组合成较少数目的模块，分解成大量模块等）。此外，虽然本文中将特定功能和模块描述为由处理器上可执行的软件和/或固件实施，但在其它例子中，模块中的任一个或所有模块可全部或部分由硬件（例如，专门化处理单元等）实施以执行所描述的功能。如上文在各种实施方案中所论述，本文中与实例计算架构160相关联而描述的模块可跨多个计算装置128执行。
特征确定模块164可由处理器162执行以确定图像内对象的关键点174。在一些实施例中，特征确定模块164可由处理器162执行以确定由实例带电粒子显微镜系统104获得的样本102的图像内对象的关键点174。特征确定模块164可包括经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等），其能够识别图像内的对应于关键点174的区和/或点。在一些实施例中，特征确定模块164可通过用神经网络（例如，ANN、CNN、FCN等）处理图像来识别图像内对象的关键点174，所述神经网络输出经预测对应于对象上的关键点的图像内的位置的一个或多个坐标。在此些实施例中，神经网络的输出还可包含识别经预测位于对应坐标中的每一个处的特定关键点174的标签。或者，特征确定模块164可通过执行图像分段步骤且接着执行关键点识别步骤来识别图像内的关键点。在图像分段步骤中，特征确定模块164可将图像分段为图像的相关联像素的种类。相关联像素的实例种类可包含（但不限于）对象的主体、对象的边界、对象的表面结构、组成材料、组成特征、边界等。在关键点识别步骤中，特征确定模块164可基于经分段图像确定关键点174。举例来说，特征确定模块164可被训练以基于指示特定关键点的分段分布识别经分段图像内的特定关键点。特征确定模块164还可直接从图像确定关键点。
变换确定模块166可由处理器162执行以利用由特征确定模块164识别的关键点来确定图像中对象的位置/定向和所要位置/定向之间的变换差异。确切地说，变换确定模块166可执行以相对于模板172基于图像中的关键点174确定对象的位姿。如上文所论述，模板172是描述每一关键点174和模板对象之间的位置关系的数据结构。变换确定模块166能够使用这些关系和由特征确定模块164识别的关键点将图像中的对象映射到模板对象。举例来说，因为特征确定模块164被训练以识别特定个别关键点174，所以这允许变换确定模块166获得由特征确定模块164识别的特定关键点174和由模板172描述的对应关键点174之间的一对一匹配。此执行一对一匹配的能力使变换确定模块166能够使用模板来确定对象的位姿，即使在模板对象和图像中描绘的对象之间存在差异（包含但不限于非线性失真和塑性变形）时也如此。举例来说，执行一对一匹配的能力允许变换模块166确定对象的位姿，即使在对象的边缘已损坏使得其具有与模板对象的对应边缘不同的曲率（例如，包含切口、具有不同曲率等）时也如此。
在一些实施例中，在模板172是与样本102相关联的模型（例如，薄片的CAD绘图，其中样本为薄片）的情况下，变换确定模块166可执行以确定从来自成像传感器130的传感器数据生成的图像中样本102的位姿，且接着确定样本102的位姿和图像和/或实例带电粒子显微镜系统104内样本102的所要位置/定向之间的变换差异。换句话说，变换确定模块166可执行以识别平移、倾斜、旋转或其组合，在这些操作由样本固持器124或样本操纵探针126对样本102执行的情况下，将会使样本102处于所要位置和/或定向。
在一些实施例中，变换确定模块166可进一步被配置成确定模板关键点和由特征确定模块164识别的关键点之间是否存在足够数目的匹配以识别位姿和/或变换差异。举例来说，当变换确定模块166可将所识别匹配的数目与预定阈值进行比较时。或者或另外，变换确定模块166可基于所识别匹配的数目和/或质量生成位姿/变换差异确定的所估计准确性，且接着将所估计准确性与预定阈值进行比较。如果变换确定模块166确定所识别匹配的数目和/或所估计准确性小于此阈值，则变换确定模块166可停止识别位姿的过程，向计算装置128的用户发出请求，和或以其它方式通知此用户仍存在不充足的数目的匹配。
控制模块168可由处理器162执行以使计算装置128和/或实例带电粒子显微镜系统104采取一个或多个动作。举例来说，控制模块168可使实例带电粒子显微镜系统104以使样本固持器124或样本操纵探针126施加由变换确定模块166识别的平移、倾斜、旋转或其组合，且所述平移、倾斜、旋转或其组合一旦执行就使样本102处于所要位置和/或定向。
计算架构160可任选地包含训练模块170，其可执行以训练特征确定模块164和/或其组成机器学习算法来在图像的突出特征处识别图像中的关键点。训练模块170基于类似和/或相同对象的一个或多个标记图像的训练集促进特征确定模块164和/或组成机器学习算法的训练。标记图像的标签可包含对应于对象的特定关键点的图像的区和/或点、对应于特定种类（即，分段信息）的像素的分组的图像的区段。图像的训练集可由专业的人类操作者、由计算算法或其组合来标记。在一些实施例中，训练模块170可被配置成从对象的单个标记图像、模型和/或CAD绘图生成一个或多个标记图像的训练集。举例来说，训练模块170可对标记图像、模型和/或CAD绘图执行一个或多个变形操作以形成多个经标记的变形图像。训练模块170可被配置成用新训练数据执行额外训练，且接着传输更新来改进特征确定模块164和/或其组成机器学习算法的性能。
如上文所论述，计算装置128包含一个或多个处理器162，其被配置成执行存储于所述一个或多个处理器可访问的存储器164中的指令、应用或程序。在一些实例中，所述一个或多个处理器162可包含硬件处理器，其包含（但不限于）硬件中央处理单元（CPU）、图形处理单元（GPU）等等。虽然在许多情况下所述技术在本文中描述为由所述一个或多个处理器162执行，但在一些情况下所述技术可由一个或多个硬件逻辑组件实施，例如现场可编程门阵列（FPGA）、复杂可编程逻辑装置（CPLD）、专用集成电路（ASIC）、芯片上系统（SoC）或其组合。
所述一个或多个处理器162可访问的存储器163是计算机可读介质的实例。计算机可读介质可包含两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质可包含在任何方法或技术中实施用于存储例如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性的以及可移除和不可移除的介质。计算机存储介质包含（但不限于）随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EEPROM）、快闪存储器或其它存储器技术、压缩光盘只读存储器（CD-ROM）、数字通用光盘（DVD），或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置，或可用于存储所要信息且可由计算装置访问的任何其它非传输介质。大体来说，计算机存储介质可包含计算机可执行指令，其当由一个或多个处理单元执行时使执行本文中所描述的各种功能和/或操作。相比而言，通信介质体现计算机可读指令、数据结构、程序模块，或例如载波等经调制数据信号中的其它数据，或其它传输机制。如本文所定义，计算机存储介质不包含通信介质。
所属领域的技术人员还将理解，项目或其部分可出于存储器管理和数据完整性的目的在存储器163和其它存储装置之间传递。或者，在其它实施方案中，软件组件中的一些或全部可在另一装置上的存储器中执行，并且与计算装置128通信。系统组件或数据结构中的一些或全部还可存储（例如，作为指令或结构化数据）在非暂时性计算机可访问介质或便携式制品上以由适当的驱动器读取，所述适当的驱动器的各种实例在上文描述。在一些实施方案中，存储在与计算装置128分离的计算机可访问介质上的指令可经由传输介质或信号传输到计算装置128，所述信号例如经由例如无线链路等通信介质递送的电、电磁或数字信号。各种实施方案可进一步包含接收、发送或存储根据以上描述在计算机可访问介质上实施的指令和/或数据。
图2是以逻辑流程图描绘为块的集合的说明性过程的流程图，所述块表示可实施于硬件、软件或其组合中的操作序列。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其在由一个或多个处理器执行时执行所叙述的操作。一般来说，计算机可执行指令包含执行特定功能或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不意图解释为限制，且任何数目的所描述块可以任何次序和/或并行组合以实施所述过程。
特定来说，图2是用于确定显微镜系统中样本的位姿的说明性过程200的流程图。过程200可在环境100中和/或由一个或多个计算装置128和/或由计算架构160和/或在其它环境和计算装置中实施。
在202处，训练卷积神经网络以识别图像中的关键点。确切地说，使用样本的一个或多个标记图像的训练集训练卷积神经网络（CNN）。标记图像的标签可包含（但不限于）对应于样本的特定关键点的图像的区和/或点、对应于特定种类（即，分段信息）的像素的分组的图像的区段。图像的训练集可由专业的人类操作者、由计算算法或其组合来标记。举例来说，训练集可通过计算算法从样本的单个标记图像、模型和/或CAD绘图自动生成，所述计算算法变形和/或以其它方式扭曲源标记图像/模型/CAD绘图以形成多个标记图像。在一些实施例中，可周期性地再训练CNN来改进性能。当此再训练发生时，更新可传输到执行本文公开的系统和方法的消费者计算装置来改进CNN的性能。
在204处，生成显微镜系统中样本的图像。确切地说，显微镜系统的成像系统生成显微镜系统内样本的图像。在各种实施例中，样本可对应于（但不限于）薄片、半导体和生物样本中的一个。
在206处，识别图像中样本的关键点。确切地说，CNN应用于样本的图像，且CNN识别图像内的对应于关键点的区和/或点。CNN可通过执行图像分段步骤且接着执行关键点识别步骤来识别图像内的关键点，在图像分段步骤中，将图像分段成相关联像素的种类，在关键点识别步骤中，CNN基于经分段图像（即，基于指示特定关键点的经分段图像的分段分布）来确定如图像中所描绘的样本的关键点。CNN还可直接确定点位置坐标。相关联像素的实例种类可包含（但不限于）样本的主体、样本的边界、样本的表面结构、组成材料、组成特征、边界等。
在208处，图像中的关键点映射到模板关键点。也就是说，图像中的每一关键点映射到由模板描述的对应模板关键点。模板描述每一模板关键点与样本的模板型式的位置关系。在一些实施例中，可使用回归分析（例如，识别关键点中的每一个的一致性匹配的拟合例程）来执行一对一匹配。或者，个别关键点可直接映射到对应模板关键点。举例来说，关键点中的每一个可由CNN指派标签。因为还标记模板关键点，所以每一关键点可直接配对到具有相同标签的对应模板关键点。通过以此方式确定一对一匹配，即使在样本形态上不同于模板样本时也可确定如图像中所描绘的样本的位姿。举例来说，即使在模板样本和如图像中所描绘的样本之间存在差异时一对一匹配也可以确定样本的位姿，所述差异包含但不限于边界、位置、旋转、缩放比例、偏斜、非线性失真等方面的差异。此类非线性差异可在使模板与类似但形态上不同于模板的手动制备或天然存在的试样进行匹配时发生。举例来说，当使细胞匹配时，应注意，天然存在的细胞是非均匀的，且因此很可能展现与模板细胞的形态差异。此外，当使通过手动操作者或自动化切割的薄片匹配时，如此制备的薄片常常具有与对应模板的形态差异，这些形态差异是源自用户误差、装置误差、用户选择或创建薄片的过程所固有的其它变化源的任何组合。在其它实例中，样本可能由于因（但不限于）干燥、加热和/或照射样本的过程所导致的塑性变形而变形。
在210处，确定系统是否能够作出准确的确定。可经由所识别匹配的数目与预定阈值之间的比较、所识别匹配的质量、使用匹配作出的位姿/变换差异确定的所估计准确性或其组合来作出此确定。举例来说，系统可确定可使用所识别关键点匹配确定的位姿/变换差异的所估计准确性，且接着将所估计准确性与预定阈值进行比较。
如果210处的应答为否，则过程继续到步骤212，且可经由图形用户界面向用户呈现指示仍存在不充足数目的匹配的请求/通知。或者，如果210处的应答为是，则过程继续到步骤214，且确定变换。所确定的变换对应于平移、倾斜、旋转、缩放/放大调整和/或其组合，这些操作在对样本执行的情况下将使样本处于所要位置和/或定向。确切地说，如图像中所描绘的样本的关键点用于确定图像中样本的位置/定向和所要位置/定向之间的变换。在一些实施例中，模板描述样本的所要位置/定向，且使用模板确定变换。
在216处，任选地执行变换使得样本处于所要位置。确切地说，与显微镜系统相关联的控制模块可使样本固持器和/或样本操纵探针施加对应于所述变换的平移、倾斜、旋转、放大改变或其组合。以此方式，在施加此平移/倾斜/旋转/放大调整之后，样本处于所要位置。在一些实施例中，在施加平移/倾斜/旋转/放大调整之后，生成样本的新图像，且系统确定新图像中样本的位姿。这允许系统验证样本现处于所要位置和/或定向。
图3和4是示出用于确定不同类型的样本的位姿的示例过程300和400的图。图3是示出用于确定显微镜系统内薄片的位姿的过程300的一组图式。确切地说，图3展示用于训练机器学习算法304的薄片302的多个标记图像的描绘。在一些实施例中，机器学习算法304产生描述薄片和一组关键点之间的关系的模板306。
图3进一步示出已由显微镜系统的成像系统生成的显微镜系统308内的薄片的图像。在描绘308中，薄片附接到样本操纵探针。图像308中的薄片还描绘为具有所述多个标记图像302中的薄片或模板306任一个中不存在的非线性边界和特征。
机器学习算法304可应用于薄片308的图像以获得薄片310的标记图像。在一些实施例中，机器学习算法304首先生成薄片312的经分段图像，且接着基于经分段图像312生成标记图像310。组合图像314展示模板图像306中的个别经标记关键点映射到标记图像310中的所识别关键点。接着基于此匹配确定如图像308中所描绘的薄片的位姿。因为306和310之间的关键点在一对一匹配中映射，所以即使在图像308中的薄片歪曲变形或具有模板306的训练图像302中描绘的薄片中不包含的特征时过程300也可以确定图像308中的薄片的位姿。在一些实施例中，过程300可进一步包含确定图像308中的薄片的位姿和薄片的所要位姿之间的变换。在此些实施例中，变换可应用于显微镜系统内的薄片，以便使其处于所要位置/定向。举例来说，图像316展示在样本操纵探针已经将所确定的变换应用于薄片之后显微镜系统中薄片的图像。在施加所确定的变换之后，可重复过程300以找到显微镜系统内薄片的位姿来验证薄片处于所要位置。
图4展示示出用于确定显微镜系统内集成电路的位姿的过程400的一组图式。首先，图4展示用于训练机器学习算法404的集成电路402的多个标记图像的描绘。在一些实施例中，机器学习算法404产生描述模板集成电路和一组关键点之间的关系的模板404。过程400进一步描绘为在显微镜系统内包含集成电路408的图像。
图像408中的集成电路还描绘为具有与所述多个标记图像402或模板406中的集成电路不同的缩放比例和旋转。机器学习算法404可应用于集成电路408的图像来获得显微镜系统内集成电路的标记图像410。虽然不必，但机器学习算法404可首先生成集成电路412的经分段图像，且接着基于经分段图像412生成集成电路的标记图像410。组合图像414展示模板图像414中的个别经标记关键点映射到标记图像414中的所识别关键点。接着基于此匹配确定如图像408中所描绘的集成电路的位姿。
在一些实施例中，确定图像408中的集成电路的位姿和显微镜系统内集成电路的所要位姿之间的变换。在此些实施例中，所述变换可应用于显微镜系统内的集成电路使得其重新对准成处于所要位置/定向。举例来说，图像416展示在所确定的变换已经应用于其上（例如，通过使样本固持器平移、旋转和/或倾斜显微镜系统内的集成电路）之后显微镜系统中的集成电路的图像。显微镜系统还可施加放大改变。以此方式，过程400使得能够在显微镜系统内自动对准集成电路使得其处于所要位置。这可确保评估或分析集成电路的所要部分，或对集成电路的正确区执行后续研磨程序（例如，聚焦离子束研磨、薄片制备等）。
图5示出将根据本发明的自动位姿估计技术施加500到显微镜图像中样本的图像。图5包含带电粒子显微镜系统内样本504的图像502。图5还展示分段型式的图像506，以及展示样本502的若干关键点的视觉化508。通过将机器学习算法应用于图像502来生成经分段图像506和视觉化508中的每一个。图5进一步展示确定显微镜系统内样本502的位置和/或定向与所要对准之间的变换（T(x)）。图像510描绘在变换（T(x)）已应用于样本502之后样本502的关键点的位置。箭头512指示在变换已应用于样本502之后如视觉化508中所展示的个别关键点和其对应关键点之间的一对一对应性。
在以下枚举的段落中描述根据本公开的发明主题的实例。
A1. 一种用于估计电子/带电粒子显微镜设备中样本的位置的方法，所述方法包括：
接收所述电子/带电粒子显微镜设备中所述样本的图像；
访问与所述样本相关联的模板，所述模板描述处于所要定向/对准的所述样本的模板型式，所述模板进一步包含所述样本的所述模板型式的多个模板关键点；
确定所述样本上的多个关键点，所述样本上的所述关键点中的每一个对应于样本模板的对应模板关键点；以及
基于所述关键点和所述对应模板关键点确定所述图像中的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的变换。
A1.0.1. 根据段落A1所述的方法，其中所述变换是三维变换。
A1.0.2. 根据段落A1所述的方法，其中所述变换是二维变换。
A1.1. 根据段落A1-A1.0.2中任一个所述的方法，其进一步包括基于所述变换使所述样本在所述电子/带电粒子显微镜设备内对准。
A1.1.1. 根据段落A1.1所述的方法，其中使所述样本在所述电子/带电粒子显微镜设备中对准包括对准所述样本使得从所述样本的所要区自动形成子样本/薄片。
A1.1.1.1. 根据段落A1.1.1所述的方法，其进一步包括对准所述样本使得用以形成所述子样本/薄片的切口与一个或多个所要特征对准。
A1.1.2. 根据段落A1.1-A1.1.1.1中任一个所述的方法，其中所述模板描述将从中形成子样本/薄片的所述样本的所要区，且使所述样本在所述电子/带电粒子显微镜设备中对准包括对准所述样本使得从所述样本的所述所要区自动形成所述子样本/薄片。
A1.1.3. 根据段落A1.1.1-A1.1.2中任一个所述的方法，其中利用聚焦离子束（FIB）系统自动形成所述子样本/薄片。
A1.2. 根据段落A1-A1.1中任一个所述的方法，其进一步包括使所述电子/带电粒子显微镜设备的光学件基于所述关键点和所述对应模板关键点进行调整。
A1.2.1. 根据段落A1.2所述的方法，其中使所述电子/带电粒子显微镜设备的所述光学件进行调整包括执行一个或多个显微镜立柱调整以修改所述电子/带电粒子显微镜设备的电子/带电粒子束的一个或多个特性。
A1.2.2. 根据段落A1.2所述的方法，其中使所述电子/带电粒子显微镜设备的所述光学件进行调整包括调整所述显微镜光学件，例如放大，以使所要对象达到正确的缩放比例。
A1.3. 根据段落A1.1.1-A1.1.3中任一个所述的方法，其中所述变换包括平移、旋转、缩放调整、偏斜或另一种类的线性变换矩阵的应用中的一个或多个。
A2. 根据段落A1-A1.3中任一个所述的方法，其中接收所述图像包括基于来自所述电子/带电粒子显微镜设备的一个或多个传感器的传感器数据生成所述样本的所述图像。
A2.1. 根据段落A2所述的方法，其中所述一个或多个传感器响应于所述样本由所述电子/带电粒子显微镜设备照射而生成所述传感器数据。
A2.2根据段落A2-A2.1中任一个所述的方法，其中所述传感器是相机。
A2.2.1. 根据段落A2.2所述的方法，其中所述相机是CCD、CMOS和直接电子检测器中的一个。
A3. 根据段落A1-A2.1中任一个所述的方法，其中所述关键点是所述样本的所述图像内的点位置。
A4. 根据段落A1-A3中任一个所述的方法，其中使用卷积神经网络（CNN）确定所述关键点。
A4.1. 根据段落A4所述的方法，其中所述CNN是卷积分段神经网络。
A4.2. 根据段落A4-A4.1中任一个所述的方法，其中训练所述CNN以在所述图像的突出特征处预测所述关键点。
A4.3. 根据段落A4-A4.2中任一个所述的方法，其进一步包括训练所述CNN以识别所述关键点。
A4.3.1. 根据段落A4.3所述的方法，其中用样本的一个或多个标记图像的训练集训练所述CNN。
A4.3.1.1. 根据段落A4.3.1所述的方法，其中样本的所述一个或多个标记图像由人类操作者标记。
A4.3.1.2. 根据段落A4.3.1-A4.3.1.1中任一个所述的方法，其中一个或多个标记图像的所述训练集的标签包含每一对应图像的分段信息。
A4.3.1.3. 根据段落A4.3.1-A4.3.1.2中任一个所述的方法，其中一个或多个标记图像的所述训练集的所述标签包含每一对应图像的关键点。
A4.3.1.4. 根据段落A4.3.1-A4.3.1.3中任一个所述的方法，其进一步包括从所述样本的单个标记图像、模型和/或CAD绘图生成一个或多个标记图像的所述训练集。
A4.3.1.4.1. 根据段落A4.3.1.4所述的方法，其中从所述样本的单个标记图像、模型和/或CAD绘图生成一个或多个标记图像的所述训练集包括使所述图像、模型和/或CAD绘图自动变形以形成经标记训练集。
A5. 根据段落A1-A4.3.1.4.1中任一个所述的方法，其中确定所述多个关键点包括：将所述图像分段以形成经分段图像；以及基于所述经分段图像确定所述关键点。
A5.1. 根据段落A1-A5中任一个所述的方法，其中确定所述多个关键点包括：依据产生点估计值的神经网络执行关键点的直接确定。
A5.1.1. 根据段落A5.1所述的方法，其中执行所述直接确定包括：所述神经网络将标签应用于特定关键点；以及使所述特定关键点与具有所述标签的特定模板关键点匹配。
A5.2. 根据段落A1-A5.1.1中任一个所述的方法，其中确定所述多个关键点包括用卷积神经网络（CNN）处理所述样本的所述图像，其中所述CNN的输出包含所述样本的所述图像内的所述样本上的所述多个关键点中的每一个的预测位置的坐标。
A6. 根据段落A1-A5.2中任一个所述的方法，其中确定所述变换包括执行回归以确定所述变换。
A7. 根据段落A1-A6中任一个所述的方法，其中确定所述变换包括确定所述图像中所述样本的位姿，且接着基于所述位姿确定所述变换。
A8. 根据段落A1-A7中任一个所述的方法，其中所述样本是薄片。
A8.1. 根据段落A8所述的方法，其中所述薄片是位于网格上的薄片、焊接到柱子的薄片，和附接到样本操纵探针的薄片。
A9. 根据段落A1-A8中任一个所述的方法，其中所述模板在笛卡尔坐标系中描述模板样本的所述关键点。
A9.1. 根据段落A9所述的方法，其中所述模板被配置成使得可调整如所述模板中所描述的所述模板样本的定向。
A9.2. 根据段落A9-A9.1中任一个所述的方法，其中所述模板是所述模板样本的三维模型，且其中用户能够操纵所述模板样本的定向使得所述模板样本处于所要定向。
A10. 根据段落A1-A9.2中任一个所述的方法，其中所述图像中所述样本的所述关键点中的每一个和对应模板关键点之间存在一对一对应性。
A11. 根据段落A1-A10中任一个所述的方法，其中确定所述关键点中的每一个的所述对应模板关键点包括运行拟合例程以识别所述关键点中的每一个的一致性匹配。
A12. 根据段落A1-A11中任一个所述的方法，其中所述关键点中的两个或两个以上与所述样本上的基准相关联。
A13. 根据段落A1-A12中任一个所述的方法，其中所述样本在探针上，且其中使所述样本对准包括操纵所述探针使得所述样本处于所要位置。
A14. 根据段落A1-A12中任一个所述的方法，其中所述样本在样本固持器上，且其中使所述样本对准包括操纵所述样本固持器使得所述样本处于所要位置。
A15. 根据段落A1-A14中任一个所述的方法，其中所述样本是薄片、半导体和生物样本中的一个。
A16. 根据段落A1-A15中任一个所述的方法，其中所述样本是生物样本，所述关键点对应于所述生物样本内的特征，且其中对准所述样本包括对准所述生物样本使得所述电子/带电粒子显微镜在所要定向处捕获所述生物样本的所要部分的图像。
A17. 根据段落A1-A16中任一个所述的方法，其中经由自动化过程创建所述样本。
A18. 根据段落A1-A16中任一个所述的方法，其中由用户操作者手动地创建所述样本。
A19. 根据段落A1-A18中任一个所述的方法，其中相比于针对所述样本确定的关键点的数目，存在由所述模板描述的更大数目的模板关键点。
A19.1. 根据段落A19所述的方法，其进一步包括：确定存在针对所述样本确定的不充足数目的关键点；以及通知用户存在不充足数目的关键点。
A19.2. 根据段落A19-A19.1中任一个所述的方法，其进一步包括：至少部分地基于针对所述样本确定的关键点的数目确定所述变换的应用的所估计准确性；以及将所述所估计准确性与阈值准确性进行比较。
A19.2.1. 根据段落A19.2所述的方法，其中基于所述所估计准确性大于所述阈值准确性来对准所述样本。
A19.2.2. 根据段落A19.2所述的方法，其中当所述所估计准确性小于所述阈值准确性时，所述系统通知用户自动化对准是不可能的。
A20. 根据段落A1-A19.2.2中任一个所述的方法，其中所述图像为第一图像，且所述方法进一步包含：生成所述所要位置中所述样本的第二图像；以及验证所述样本处于所述所要位置。
A20.1. 根据段落A20所述的方法，其中验证包括：确定所述第二图像中的额外关键点；基于所述额外关键点和所述对应模板关键点确定所述第二图像中的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的额外变换；以及验证所述额外变换在阈值内。
B1. 一种用于自动定向显微镜系统中的样本的电子/带电粒子显微镜系统，其包括：
样本固持器，其被配置成固持所述样本，且其中所述样本固持器被配置成在所述电子/带电粒子显微镜系统内进行所述样本的平移、旋转和倾斜中的至少一个；
传感器，其被配置成生成所述电子/带电粒子显微镜系统中所述样本的图像；
一个或多个处理器；以及
存储器，其存储非暂时性计算机可读指令，所述非暂时性计算机可读指令当由所述一个或多个处理器执行时使所述电子/带电粒子显微镜系统执行根据段落A1-AX中任一个所述的方法。
B1.1. 根据段落B1所述的系统，其中所述显微镜是带电粒子显微镜。
B1.2. 根据段落B1所述的系统，其中所述显微镜是电子带电粒子显微镜。
B1.3. 根据段落B1-B1.2中任一个所述的系统，其中所述显微镜是透射显微镜。
B1.4. 根据段落B1-B1.2中任一个所述的系统，其中所述显微镜是扫描显微镜。
B2. 根据段落B1-B1.4中任一个所述的系统，其中所述样本固持器是样本操纵探针。
B2.1. 根据段落B2.1所述的系统，其中所述样本是薄片。
B3. 根据段落B1-B2.1中任一个所述的系统，其中所述系统进一步包含聚焦离子束（FIB）系统，且其中所述电子/带电粒子显微镜系统进一步被配置成一旦所述样本在所要位置中对准就从所述样本生成子样本/薄片。
C1. 使用B1-B3的系统来执行根据段落A1-A20.1中任一个所述的方法。
在本文中所描述的系统、设备和方法不应解释为以任何方式进行限制。实际上，本公开针对各个所公开实施例的所有新颖和非显而易见的特征和方面，无论是单独地还是以彼此形成的各种组合和子组合。所公开的系统、方法和设备不限于任何特定方面或特征或其组合，所公开的系统、方法和设备也不要求存在任何一个或多个特定优点或解决任何一个或多个特定问题。任何操作理论都是为了便于阐释，但是本公开的系统、方法和设备不限于此类操作理论。
虽然为了便于呈现而以特定的循序次序来描述所公开的方法中的一些方法的操作，但应理解，除非下文所陈述的特定语言要求特定排序，否则这种描述方式涵盖重新布置。举例来说，在一些情况下，可重新布置或同时执行循序描述的操作。此外，为了简单起见，附图可能没有展示所公开的系统、方法和设备可以与其它系统、方法和设备结合使用的各种方式。此外，描述内容有时使用比如“确定”、“识别”、“产生”和“提供”等术语来描述所公开的方法。这些术语是所执行的实际操作的高级抽象化。与这些术语相对应的实际操作将取决于特定实施方案而变化，并且容易由所属领域的普通技术人员辨别。

Claims (20)

1.一种用于估计带电粒子显微镜设备中样本的位置的方法，所述方法包括：
接收所述带电粒子显微镜设备中所述样本的图像；
访问与所述样本相关联的模板，所述模板描述处于所要对准的所述样本的模板型式，所述模板进一步包含所述样本的所述模板型式的多个模板关键点；
确定所述样本上的多个关键点，所述样本上的所述关键点中的每一个对应于样本模板的对应模板关键点；
基于所述关键点和所述对应模板关键点确定所述图像中的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的变换；以及
基于所述变换使所述样本在所述带电粒子显微镜设备内对准。
2.根据权利要求1所述的方法，其中在所述带电粒子显微镜设备中对准所述样本包括作为自动形成子样本/薄片的过程的一部分对准所述样本。
3.根据权利要求1所述的方法，其中所述模板描述将从中形成子样本/薄片的所述样本的所要区，且在所述带电粒子显微镜设备中对准所述样本包括对准所述样本使得从所述样本的所述所要区自动形成所述子样本/薄片。
4.根据权利要求1所述的方法，其进一步包括使所述带电粒子显微镜设备的光学件基于所述关键点和所述对应模板关键点进行调整。
5.根据权利要求1所述的方法，其中所述变换包括平移、旋转、缩放调整、偏斜或另一种类的线性变换矩阵的应用中的一个或多个。
6.根据权利要求1所述的方法，其中所述关键点是所述样本的所述图像内的点位置。
7.根据权利要求1所述的方法，其中使用卷积神经网络（CNN）确定所述关键点。
8. 根据权利要求1所述的方法，其中确定所述关键点包括：
将所述图像分段以形成经分段图像；以及
基于所述经分段图像确定所述关键点。
9.根据权利要求1所述的方法，其中确定所述样本上的所述多个关键点包括用卷积神经网络（CNN）处理所述图像，其中所述CNN的输出包含所述样本的所述图像内的所述样本上的所述多个关键点中的每一个的预测位置的坐标。
10.根据权利要求1所述的方法，其中确定所述变换包括确定所述图像中所述样本的位姿，且接着基于所述位姿确定所述变换。
11.根据权利要求1所述的方法，其中所述图像中所述样本的所述关键点中的每一个和对应模板关键点之间存在一对一对应性。
12.根据权利要求1所述的方法，其中所述样本在探针上，且其中使所述样本对准包括操纵所述探针使得所述样本处于所要位置。
13.根据权利要求1所述的方法，其中所述样本在样本固持器上，且其中使所述样本对准包括操纵所述样本固持器使得所述样本处于所要位置。
14. 根据权利要求1至13中任一项所述的方法，其中所述图像是第一图像，且所述方法进一步包含：
在已使所述样本在所述带电粒子显微镜设备内对准之后生成所述样本的第二图像；以及
基于所述第二图像验证所述样本处于所要位置。
15.根据权利要求14所述的方法，其中验证所述样本处于所述所要位置包括：
确定所述第二图像中的额外关键点；
基于所述额外关键点和所述对应模板关键点确定所述第二图像中的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的额外变换；以及
验证所述额外变换在阈值内。
16.一种带电粒子显微镜系统，其用于在所述带电粒子显微镜系统中自动定向样本，所述带电粒子显微镜系统包括：
样本固持器，其被配置成固持所述样本，且其中所述样本固持器被配置成在所述带电粒子显微镜系统内进行所述样本的平移、旋转和倾斜中的至少一个；
传感器，其被配置成获得用于生成所述带电粒子显微镜系统中所述样本的图像的传感器数据；
一个或多个处理器；以及
存储器，其存储非暂时性计算机可读指令，所述非暂时性计算机可读指令当由所述一个或多个处理器执行时使所述带电粒子显微镜系统：
接收所述带电粒子显微镜系统中所述样本的所述图像；
访问与所述样本相关联的模板，所述模板描述处于所要对准的所述样本的模板型式，所述模板进一步包含所述样本的所述模板型式的多个模板关键点；
确定所述样本上的多个关键点，所述样本上的所述关键点中的每一个对应于样本模板的对应模板关键点；
基于所述关键点和所述对应模板关键点确定所述图像中的所述样本和如所述模板中所描述的所述样本的所述模板型式之间的变换；以及
基于所述变换使所述样本在所述带电粒子显微镜系统内对准。
17.根据权利要求16所述的带电粒子显微镜系统，其中使所述样本对准包括操纵所述样本固持器使得所述样本处于所要位置。
18. 根据权利要求17所述的带电粒子显微镜系统，其中所述图像是第一图像，且所述指令进一步使所述带电粒子显微镜系统：
生成所述所要位置中所述样本的第二图像；以及
基于所述第二图像验证所述样本处于所述所要位置。
19.根据权利要求16至18中任一项所述的带电粒子显微镜系统，其中所述系统进一步包含聚焦离子束（FIB）系统，且其中所述指令进一步使所述带电粒子显微镜系统：一旦使所述样本在所述带电粒子显微镜系统内对准就从所述样本生成薄片。
20.根据权利要求16所述的带电粒子显微镜系统，其中所述样本是生物样本，所述关键点对应于所述生物样本内的特征，且其中对准所述样本包括对准所述生物样本使得所述带电粒子显微镜系统在所要定向处捕获所述生物样本的所要部分的额外图像。
CN202011007832.8A 2019-09-24 2020-09-23 使用语义分段的位姿估计 Pending CN112634361A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/580957 2019-09-24
US16/580,957 US20210088770A1 (en) 2019-09-24 2019-09-24 Pose estimation using sematic segmentation

Publications (1)

Publication Number Publication Date
CN112634361A true CN112634361A (zh) 2021-04-09

Family

ID=74880793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011007832.8A Pending CN112634361A (zh) 2019-09-24 2020-09-23 使用语义分段的位姿估计

Country Status (3)

Country Link
US (1) US20210088770A1 (zh)
KR (1) KR20210035755A (zh)
CN (1) CN112634361A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112470A (ja) * 2022-02-01 2023-08-14 本田技研工業株式会社 膨張収縮量算出装置、膨張収縮量算出プログラム、個別識別装置、及び、個別識別プログラム

Also Published As

Publication number Publication date
KR20210035755A (ko) 2021-04-01
US20210088770A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP6785663B2 (ja) 検査のための高解像度フルダイイメージデータの使用
US11754392B2 (en) Distance determination of a sample plane in a microscope system
US11355305B2 (en) Low keV ion beam image restoration by machine learning for object localization
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
US8731274B2 (en) Method and system for wafer registration
JP7232911B2 (ja) 電子ビーム画像向上のための完全自動ｓｅｍサンプリングシステム
US20180268099A1 (en) Method of performing metrology operations and system thereof
CN112634361A (zh) 使用语义分段的位姿估计
US20210374467A1 (en) Correlated slice and view image annotation for machine learning
JP2024012432A (ja) 検査システム、及び非一時的コンピュータ可読媒体
US10571406B2 (en) Method of performing metrology operations and system thereof
EP3719832A2 (en) Using images from secondary microscope detectors to automatically generate labeled images from primary microscope detectors
US11488800B2 (en) Dual speed acquisition for drift corrected, fast, low dose, adaptive compositional charged particle imaging
US11538657B2 (en) Alignment system and seal for positional alignment
US10663407B2 (en) Method of examining locations in a wafer with adjustable navigation accuracy and system thereof
JP3722757B2 (ja) 欠陥撮像装置
JP2010281754A (ja) 生成装置、検査装置、プログラムおよび生成方法
EP4286825A1 (en) Automatic selection of structures-of-interest for lamella sample preparation
TWI833822B (zh) 用於自動映射流動體物體在基板上之方法及系統
US20230196189A1 (en) Measurement method and apparatus for semiconductor features with increased throughput
US20220187810A1 (en) Computer System of Observation Device and Processing Method
EP4160537A2 (en) System and method for accelerated convergence of iterative tomographic reconstruction
WO2023117238A1 (en) Measurement method and apparatus for semiconductor features with increased throughput
TW202028802A (zh) 用於自動映射流體物體在基板上之方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination