CN109272550B - 使用粒子显微镜记录图像的方法以及粒子显微镜 - Google Patents

使用粒子显微镜记录图像的方法以及粒子显微镜 Download PDF

Info

Publication number
CN109272550B
CN109272550B CN201810788289.6A CN201810788289A CN109272550B CN 109272550 B CN109272550 B CN 109272550B CN 201810788289 A CN201810788289 A CN 201810788289A CN 109272550 B CN109272550 B CN 109272550B
Authority
CN
China
Prior art keywords
image
image data
recorded images
displacement
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810788289.6A
Other languages
English (en)
Other versions
CN109272550A (zh
Inventor
L.韩
A.施蒙兹
M.埃德尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN109272550A publication Critical patent/CN109272550A/zh
Application granted granted Critical
Publication of CN109272550B publication Critical patent/CN109272550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)

Abstract

一种使用粒子显微镜记录图像的方法包括:记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,所述图像数据包括与在所述所记录图像的坐标系中的位置相关联的强度值。所述方法进一步包括:确定在所述这些所记录图像的所述图像数据的坐标系之间的位移;基于所确定位移而确定所得图像的边界框;以及基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定边界框内。

Description

使用粒子显微镜记录图像的方法以及粒子显微镜
技术领域
本发明涉及使用粒子显微镜记录图像的方法并且涉及粒子显微镜。
背景技术
粒子显微镜通常包括:载物台,用于安装有待成像的对象;以及粒子束柱,所述粒子束柱相对于载物台而被安装。所述粒子束柱生成被引导至对象上的一个或多个带电粒子束。检测由入射在对象上的粒子所生成的信号,使得所检测信号可以与所述对象上的在其处生成信号的位置相关联。与对象上的众多位置相关联的所检测信号强度的值的集合形成对象的图像,可以将所述图像显示在屏幕上,对所述图像进行分析或存储以用于其他目的。
由于所检测信号受到噪声影响,所以有必要从对象的成像区域中收集足够量的信号以便获得具有期望分辨率和质量的图像。因此,收集这些信号花费相当长的时间。在实践中可能发生的是,承载对象的载物台相对于束柱移动,同时一个图像的信号被记录。这种移动可能是由于机械不稳定性以及热漂移或其他原因,并且导致所检测信号与对象上的位置的关联未得到良好定义并且所得图像变得模糊。此外,入射在对象上的带电粒子以及由入射粒子生成并离开对象并可能形成所检测信号的带电粒子可能在对象上生成表面电荷。所生成的表面电荷量取决于对象的材料特性,并且可能因位置而异。因此,对象上的表面电荷可能会在所得图像中产生伪像。
根据常规方法,在后续记录对象的多个图像,其中,所记录图像中的每一个的图像质量低于根据所记录图像的叠加而计算得到的所得图像。在这种方法中,在个体图像的记录过程中发生的在载物台与束柱之间的位置漂移被忽略,而在后续图像的记录之间发生的载物台相对于束柱的漂移未被忽略并且当将个体所记录图像组合以形成所得图像时被考虑在内。为此目的,可以通过使所记录图像相对于彼此相关、即通过图像分析来确定这些图像之间的位移。
因此,对多个低质量图像进行组合以形成高质量图像可以减少高质量图像的模糊,否则如果漂移影响了对单个高质量图像的记录则可能发生模糊。
此外,已经发现在这种方法中可以减少由于表面电荷引起的成像伪像。这种方法具体地允许在后续图像的记录之间执行电荷中和步骤。
根据常规方法,在将个体所记录图像之间的位移考虑在内的情况下,对多个图像的序列进行记录和组合以形成所得图像。在本文中,所述序列中的第一所记录图像确定所得图像的图像框(image frame)或边界框(bounding box),并且与此图像框内的位置相关联的第二所记录图像和后续所记录图像的强度值被添加到所得图像中。每次向所得图像添加强度值都会改善信噪比,并且从而改善所得图像的质量。
已经发现,这种常规方法在某些情况下产生质量仍然可以得到改善的图像。
发明内容
本发明的实施例提供了使用粒子显微镜记录图像的方法、以及提供所得图像的经改善图像质量的粒子显微镜。
根据实施例,使用所述粒子显微镜记录图像的所述方法包括:使用所述粒子显微镜记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,其中,所述图像数据包括与所述所记录图像的坐标系中的位置相关联的多个强度值。
例如,与强度值相关联的位置可以被安排成规则矩形阵列。在这种情况下,在本领域中这组位置被称为像素阵列,并且强度值是像素的像素值或灰度级。然而,所述方法的实施例不限于与强度值相关联的位置的这种安排。各个实施例涵盖了其他安排,比如采用规则六边形阵列的位置安排或者不规则地或甚至随机分布的位置安排。
与位置相关联的强度值是基于样本上的位置与所记录图像的坐标系中的位置之间的对应关系根据与样本上的位置相关联的所记录图像确定的。
所记录图像可以具有在所记录图像的坐标系中定义的相关联边界框,使得与强度值相关联的位置位于边界框内。在所述像素阵列示例中,边界框通常被称为图像框,其是围绕像素阵列的矩形。在其他示例中,边界框可以是围绕这些位置的不规则多边形。根据具体的示例,边界框可以被定义为与强度值相关联的位置的凸包。
根据一些实施例,所述方法包括:确定图像数据的坐标系之间的位移。例如,可以通过使所记录图像的图像数据相关来确定位移。
根据一些实施例,基于这些所记录图像的图像数据的坐标系之间的所确定位移来确定所得图像的边界框。发明人已经发现,其中序列中的第一所记录图像的图像框确定所得图像的图像框的上述常规方法在例如载物台与粒子束柱之间发生运动以使得第二图像和后续图像例如被位移到第一图像右侧的情况下具有缺点。在这种情况下,靠近所得图像的左边缘的区域包含仅源自第一所记录图像的强度值,从而导致所得图像在此区域中的低信噪比。因此,可能有利的是基于所确定位移来确定所得图像的边界框。在位移发生于第一图像右边的上述示例中,所得图像的边界框也可以位移到第一图像右边,使得后续图像对所得图像的与靠近所得图像左边缘的区域内的位置相关联的图像数据也有贡献,使得在所得图像中避免了特别低的信噪比。
根据一些实施例,所得图像的边界框的尺寸等于或大于所记录图像的边界框的最小尺寸。在本上下文中,如果第二边界框适配在第一边界框内,则第一边界框可以被定义为大于第二边界框,并且如果这些边界框可以被安排为重合,则它们具有相同的尺寸。例如,如果所记录图像全部具有相同尺寸,例如1024×1024像素,则所得图像将具有与所记录图像相同的尺寸,即在本示例中为1024×1024,或者可以更大。
根据一些实施例,所述方法包括:向所记录图像的元素应用从所记录图像的坐标系到所得图像的坐标系的坐标变换。可以基于这些所记录图像的图像数据的坐标系之间的所确定位移来确定坐标变换。可以应用坐标变换的元素是与所记录图像的坐标系中的位置相关联的元素。具体地,所记录图像的强度值的位置是可以使用坐标变换而被变换到与所得图像相关联的位置的那类元素。进一步地,确定所记录图像的边界框的元素是可以使用坐标变换而被变换到与所得图像相关联的位置的那类元素。例如,可以使用这种坐标变换将形成定义所记录图像的边界框的多边形的线变换到所得图像。
根据一些实施例,所得图像的边界框的尺寸大于所有所记录图像的边界框的交集。在本上下文中,所有所记录图像的边界框的交集可以是在已经向所记录图像的边界框中的每一个应用相应的坐标变换之后所有所记录图像的边界框的交集。只要在后续所记录图像之间存在非零漂移,所有所记录图像的边界框的交集的尺寸就小于所记录图像的最小边界框的尺寸。
根据一些实施例,所得图像的图像数据是在将所确定位移考虑在内的情况下根据所记录图像的图像数据计算得来的。根据本文的具体实施例,所得图像的图像数据的计算基于这些所记录图像的图像数据的与一些位置相关联的强度值,这些位置位于与所得图像相关联的、并且基于这些所记录图像的所确定位移而确定的边界框内。
根据一些实施例,所述所得图像的所述图像数据的计算包括从所述这些所记录图像中的每一个所记录图像的所述图像数据中选择强度值,其中,所选强度值与所述所记录图像中的一些位置相关联,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,这些位置位于所述所得图像的所述边界框内。
根据本文的示例性实施例,所记录图像的尚未被选择的强度值对所得图像的图像数据的计算将没有贡献。
根据本文的其他示例性实施例,所述方法进一步包括:选择位于所述所得图像的所述边界框内的所述所记录图像的所有图像数据。
根据示例性实施例,确定所述所得图像的所述边界框,使得所述所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的所确定位移的加权和小于或等于预定量。
根据一些示例,所确定位移的这个加权和中的所有权重是相等的。在这种情况下,所得图像的边界框相对于所记录图像的位置可以被认为是所记录图像的位置的重心。据信,对所得图像的边界框的这种确定具有以下优点:有效地避免了所得图像中信噪比特别低的区域。
根据其他示例,所确定位移的加权和中的比率是不等的。例如,相对于其先前或者接下来的所记录图像具有较大位移的所记录图像在加权和中可以被给以较低权重,这基于以下观念:相对于其先前或后续所记录图像具有较大位移的所记录图像的图像质量可能由于漂移而被恶化。
根据示例性实施例,与所述所得图像的所述坐标系中的给定位置相关联的所述强度值的计算包括计算所述所记录图像的强度值的加权和,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,所述所记录图像位于与所述给定位置相距小于或等于阈值距离处。
本文中根据具体示例,此加权和中的权重可以相等。在一些示例性情况下这可能是有利的,在所述示例性情况下,图像位置被安排为像素阵列,并且在所记录图像与所得图像之间的位移被计算为在相邻像素之间的位移的整数倍。
根据本文的其他示例性实施例,此加权和中的权重取决于在所得图像的坐标系中的给定位置与同应用坐标变换之后的强度值相关联的位置之间的距离。这在像素阵列之间的位移被计算为像素间距的非整数倍的示例性情况下、或者在与所记录图像的强度值或所得图像的强度值相关联的位置具有不规则安排的示例性情况下可能是有利的。在这类情况下为与较大距离相关联的强度值给与较低权重可以有利的。
根据其他实施例,所述所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
根据一些实施例,所述方法进一步包括:基于所述所得图像的所述图像数据生成图像数据文件;以及输出所生成的图像数据文件。
图像数据文件具有定义的文件格式,比如JPEG、BMP、PNG或其他惯用格式。根据另外的示例性实施例,在屏幕上显示对所述所得图像的所述图像数据的表示,使得用户可以用他或她的眼睛来感知图像。
根据本发明的示例性实施例,一种粒子显微镜包括:载物台,被配置用于安装有待成像的对象;粒子束柱,所述粒子束柱相对于所述载物台而被安装,并且被配置用于记录安装在所述载物台上的所述对象的图像,其中,所述粒子显微镜被配置用于执行上文所展示的那些方法。
根据另外的示例性实施例,一种粒子显微镜包括计算机,所述计算机被配置用于通过使所记录图像的图像数据相关来确定所述所记录图像的所述图像数据的坐标系之间的位移;基于所确定位移来确定所得图像的边界框,其中,所述边界框的尺寸等于或大于所记录图像的边界框的最小尺寸;以及基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定边界框内。
附图说明
下文将参考附图来更详细地说明本公开的实施例,在附图中:
图1示出了粒子显微镜的实施例的示意图;
图2是与利用图1中所示的粒子显微镜记录的图像相关联的图像数据的示意图;
图3是示意图,展示了在利用图1中所示的粒子显微镜记录的两个图像之间的位移;
图4是所记录图像相对于彼此的位移以及相对于图1中所示的粒子显微镜中的所得图像的位移的示意图。
具体实施方式
图1示意性地展示了粒子显微镜13。所述粒子显微镜包括被配置用于固持有待成像的对象17的载物台15。载物台15相对于粒子束柱19而被安装,所述粒子束柱被配置用于生成被引导至对象17上的粒子束21。粒子束21从粒子源23发射,由聚光透镜25准直并由物镜27聚焦,以在对象17的表面上形成小束斑。粒子束柱19进一步包括偏转器29,所述偏转器被配置用于偏转该束,使得该束选择性地入射在对象17的表面上的物场内的任意位置上。图1中的虚线21'示出了在两个不同的偏转位置中的偏转束29。偏转器29由控制器31控制。粒子束柱19进一步包括检测器33,该检测器被配置用于检测由入射在对象上的束21的粒子生成的信号。检测器33的输出信号被输入到控制器31。
粒子束21可以是带电粒子束。例如,粒子源23可以是电子源,使得束21是电子束。根据其他示例,粒子源23是离子源,使得粒子束21是离子束,比如,例如氦(He)或镓(Ga)。检测器33所检测到的信号可以是光子或带电粒子,这些光子或带电粒子由于入射到对象17上的束21的粒子而被使得从对象17中出射。例如,检测器33所检测到的信号是二次电子或反向散射电子。
粒子显微镜13被配置用于通过在控制器31的控制下将粒子束21引导到对象17的表面上的多个所选位置来记录对象17的图像。对于每个所选位置,控制器31记录从检测器33接收的强度信号的值。控制器31维持在从检测器33接收的强度值与在对应强度值被接收的同时光束21被引导到的位置之间的关联。表示所接收到的强度值的数据集合以及相关联的位置表示对象17的图像。这些数据可以被从控制器31传送到计算机35,所述计算机可以进一步处理表示图像的数据,可以在屏幕37上显示所述图像,或者可以在存储介质38中将所述数据存储为具有可用于存储图像的定义文件格式(比如JPEG、BMP、PNG或其他)的图像数据文件。
可以以各种方式表示对象表面上与所记录的强度值相关联的位置。例如,这些位置可以表示为由偏转器29产生的粒子束21的偏转角。然而,这些位置还可以通过表示用于激励偏转器以便生成某些偏转角的电流的值而被编码在图像数据中。根据其他示例,这些位置可以表示为在对象17的表面上的坐标系中测量的以米为单位的距离的值。
粒子显微镜13进一步包括致动器41,所述致动器由控制器31控制并且被配置用于如图1中的箭头42所指示的那样相对于粒子束柱19来位移载物台15。
图2是与由粒子显微镜13记录的图像相关联的图像数据的示意性表示。假设图像是通过将束引导到由图2中的箭头51表示的位置序列来生成的。在这些位置的每一个位置处,束保持一定时间(其也被称为停留时间),并且在此时间期间信号被利用检测器33所记录。这些所收集信号表示所记录图像的强度值,并且与对象17上的位置相关联。在图2所示的示例中,这些位置被安排为形成3×4矩阵的规则矩形图案。这样的安排也被称为像素阵列。与阵列的每个成员相关联的强度值被称为像素值。在实践中,如果使用规则矩形阵列作为图像位置的安排,则使用更高数量的像素,使得图像包括例如840×760像素或1024×1024像素或2048×2048像素或其他。此外,并不要求位置安排是规则矩形安排,并且安排可以是不规则的安排。
如上面所展示的,像素位置与对象表面上的位置相关联。因此,可以在可相对于对象表面选择的坐标系中表示位置。如图2所示出的,还可以在纸面上表示合适的坐标系,在所述坐标系中,坐标轴x和y与像素的安排方向对齐。在所展示的示例中,位置的坐标由整数值i和j标识。给定的位置可以表示为/>
图3是示意图,示出了对象表面上基本上相同区域的、在后续已经记录的第一个图像I1和第二个图像I2。对象表面的这个区域是相同的,因为致动器41尚未被操作用于在第一图像I1与第二图像I2的记录之间相对于粒子束柱19位移载物台15。但是仍然,在图3中由箭头所表示的某个位移已经发生了。这种位移可能已经由于载物台15与粒子束柱19之间的机械漂移而发生。发生在这两个后续图像I1与I2之间的位移/>不是由测量工具直接测量的,比如在所展示的示例中集成在载物台15中的干涉仪。然而,位移/>可以通过分析所记录图像I1和I2来确定,因为这些图像包含可区分的特征。图3示出了这两个图像I1和I2中均包含的特征53的示例性表示。由于图像I1和I2中的每一个所包含的特征53对应于对象上的相同特征,因此图像I1和I2可以相对于彼此位移,直到这两个图像中均包含的特征53在包含这两个图像的坐标系内重合。
通常,图像Il与图像Im之间的位移可以通过使这两个图像相关来计算。这种位移进一步确定了可以向所记录的第一图像I1的坐标系中的元素应用的坐标变换,以便表示与所记录的第二图像I2的坐标系中的位置相同的元素。图3中的斜线部分表示所记录图像I1和I2的边界框的交集。
一种用于使两个图像相关的典型方法是相位相关法,在所述相位相关法中,针对两个给定的图像Il和Im,计算这两个图像的二维傅里叶变换:
然后计算互功率谱:
运算符是指Hadamard乘积(元素积(entry-wise product))。通过对互功率谱进行逆变换得到归一化互相关:
归一化互相关r(x,y)包含最大点。两个图像之间的偏移可以通过将峰值位置定位在r中来获得:
通过围绕最大值进行插值,可以利用更高的精度来进一步估算位移,使得位移可以采用非整数值。可以例如从以下来源获得涉及图像中非整数位置的背景信息:唐纳德G贝利,局部极值的亚像素估算(Sub-pixel Estimation of Local Extrema),Imageand Vision Computing NZ,北帕默斯顿,2003年11月。一种典型的方法是使用峰值的质心作为位移的估算。假设r的最大点位于坐标(x0,y0)处,则在围绕最大点的2w+1像素的窗口内计算质心:
图4显示了六个所记录图像的序列I1、I2、...、I6。每个所记录图像相对于先前和后续所记录图像而位移。这些图像之间的位移通过 来指示。位移是通过对这些个体图像进行图像分析来确定的。在图4的示例中,第一个图像I1的坐标系被用作公共参考坐标系。
对图像I1,I2,...,I6进行组合以形成所得图像IR。在以下意义上对这些图像进行组合:对这些个体图像的图像数据进行组合,以形成所得图像IR的具有比这些个体图像更好信噪特性的图像数据。在所展示示例中,所得图像IR的图像框具有与所记录图像I1、I2、...、I6的图像框相同的尺寸。
基于这些所记录图像的位移来确定所得图像IR相对于所记录图像的位置。在图4中,表示所得图像IR相对于第一个图像I1的位移。可以使用涉及这些个体位移的各种算法来确定位移/>根据示例,位移/>计算如下:
首先,使用如下公式计算第二个图像和后续图像相对于第一个图像I1的位置:
其中,表示第I个图像相对于第一个图像的位移。
然后,根据以下公式计算所得图像IR的位移
本文中,al表示与每个图像相关联的加权因子。如果加权因子al全部都相同,则上文公式确定使得所得图像IR可以被理解为使得其图像中心与所记录图像的图像中心的重心相重合。根据其他示例,可以对加权因子进行不同选择。例如,与位于更远离所得图像处的所记录图像相关联的加权因子的值可以低于与位于更接近所得图像处的所记录图像相关联的加权因子。根据另一个示例,与相对于其先前和/或后续图像具有更高位移的图像相关联的加权因子分别低于与相对于其先前和/或后续图像具有更小位移的图像相关联的加权因子。
在已经基于所记录图像之间的位移确定了所得图像IR的图像框或边界框之后,可以基于所记录图像的图像数据的与一些位置相关联的强度值来计算所得图像的图像数据,这些位置位于与所得图像IR相关联的所确定边界框内。例如,以下公式可用于计算与所得图像内的位置相关联的图像强度:
如果N(x,y)>0
并且
P(x,y)=I0,如果N(x,y)=0
其中:
Pi(x,y)是在最终图像的坐标系中表示的第i个图像的强度值。由于位移向量可以取非整数值,因此Pi(x,y)值是通过对在第i个图像中得到的强度值进行差值来获得的。比如多变量插值等插值法可以用于此目的。
Wi表示加权因子。
N(x,y)表示对坐标(x,y)有贡献的所记录图像的数量,其中,N(x,y)可以具有范围从0到所记录图像总数的值。
I0是用于在其处所记录图像中没有一个对坐标(x,y)有贡献的位置处进行填充的预定义值。
加权因子Wi对于i的所有值都可以是相同的。然而,还可以根据不同的策略来设置加权因子的值。例如,加权因子可以如下计算:
其中,
di是第i个图像相对于所得图像的位移,并且
s是适当选择的控制参数。
相比更远离所得图像的图像,根据此公式确定的加权因子为更接近所得图像的图像分配更高的权重。
图4中的斜线部分55表示所有所记录图像I1、I2、...、I6的边界框的交集。所有所记录图像I1、I2、...、I6的边界框在本具体示例中具有相同的尺寸。然而,这不是必需的,并且所记录图像可以具有不同尺寸的边界框。
此外,在本具体示例中,所得图像的边界框的尺寸等于所记录图像的边界框的尺寸。再一次,这不是必需的,并且只要所得图像的边界框的尺寸大于所有所记录图像I1、I2、...、I6边界框的交集,那么所得图像的边界框的尺寸就可以不同于任何所记录图像的边界框的尺寸。图4中的虚线57展示了可能所得图像的边界框,此边界框大于所记录图像的边界框。图4中的斜线部分59展示了所得图像IR的包含源自仅一个所记录图像I3的图像数据的一部分。此外,图4中的斜线部分61指示了所记录图像I3的包含对所得图像的图像数据没有贡献的强度值的一部分。
在如上所述的记录图像的过程中,所述多个所记录图像中的每一个被存储在存储器中,并且在完成对所有所述多个所记录图像的记录之后计算所得图像的图像数据。这种方法需要与所记录图像的数量相对应的可用存储器量。
根据一种替代性方法,后续记录的图像的有限数量被存储在先进先出(FIFO)队列中。将每个新记录的图像添加到队列中,同时从队列中移除队列中所存储的最老的图像。根据上文所展示的原理,可以在每个时刻根据当前存储在队列中的所记录图像来计算所得图像。
根据还另一种方法,在对所记录图像进行记录期间提供用于所得图像的存储器。当对每个所记录图像的记录完成时,将新记录的图像的信息添加到所得图像中,其中,新记录的图像相对于所得图像的权重是基于已经被添加到所得图像的所记录图像的数量而确定的。例如,新记录的图像的权重可以是1,而所得图像的权重可以是N,其中,N是已经被添加到所得图像的所记录图像的数量。在这种方法中,分配给所得图像的存储器量被有利地选择得足够大,以便容纳比个体所记录图像更大的所得图像,使得相对于其先前图像经历合理位移量的所有所记录图像可以被添加到所得图像而不被截断。

Claims (13)

1.一种使用粒子显微镜记录图像的方法,所述方法包括:
使用所述粒子显微镜记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,其中,所述图像数据包括与在所述所记录图像的坐标系中的位置相关联的多个强度值,其中,所述位置位于在所述所记录图像的边界框内;
通过使所述这些所记录图像的所述图像数据相关来确定在所述这些所记录图像的所述图像数据的坐标系之间的位移;
基于所确定位移来确定所得图像的位移后边界框,其中,所述位移后边界框的尺寸大于基于所述所确定位移而确定的所有所述这些所记录图像的边界框的交集;
基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定位移后边界框内;以及
以下中的至少一项:
基于所述所得图像的所述图像数据生成图像数据文件,并输出所生成的图像数据文件;以及
在显示屏上显示对所述所得图像的所述图像数据的表示。
2.根据权利要求1所述的方法,其中,所述所得图像的所述图像数据的计算包括从所述这些所记录图像中的每一个所记录图像的所述图像数据中选择强度值,其中,所选强度值与在所述所记录图像中的一些位置相关联,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,这些位置位于所述所得图像的所述位移后边界框内。
3.根据权利要求2所述的方法,其中,所述所记录图像的尚未被选择的强度值对所述所得图像的所述图像数据的计算没有贡献。
4.根据权利要求2或3所述的方法,进一步包括:选择位于所述所得图像的所述位移后边界框内的所述所记录图像的所有图像数据。
5.根据权利要求1至3之一所述的方法,进一步包括:确定所述这些所记录图像中的每一个所记录图像的所述图像数据的坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
6.根据权利要求5所述的方法,其中,确定所述所得图像的所述位移后边界框,使得所述这些所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的所确定位移的加权和小于或等于预定量。
7.根据权利要求6所述的方法,其中,所述所确定位移的所述加权和中的所有权重是相等的。
8.根据权利要求6所述的方法,其中,所述所确定位移的所述加权和中的第一组所述所确定位移的权重中的每一个都大于所述所确定位移的所述加权和中的第二组所述所确定位移的权重中的任何一个,其中,所述第一组的所述所确定位移中的每一个都小于所述第二组的所述所确定位移中的任何一个。
9.根据权利要求1至3之一所述的方法,其中,所述所得图像的所述图像数据的计算包括计算与所述所得图像的所述坐标系中的给定位置相关联的强度值,并且
其中,对与所述所得图像的所述坐标系中的所述给定位置相关联的所述强度值的计算包括计算所述这些所记录图像的强度值的加权和,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,所述所记录图像位于与所述给定位置相距小于或等于阈值距离处。
10.根据权利要求9所述的方法,其中,所述这些所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述距离。
11.根据权利要求9所述的方法,其中,所述这些所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述这些所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
12.一种粒子显微镜,包括:
载物台,被配置用于安装有待成像的对象;
粒子束柱,所述粒子束柱相对于所述载物台而被安装,并且被配置用于记录安装在所述载物台上的所述对象的图像;
其中,所述粒子显微镜被配置用于执行根据权利要求1至11之一所述的方法,以便生成安装在所述载物台上的所述对象的所得图像。
13.根据权利要求12所述的粒子显微镜,进一步包括计算机,所述计算机被配置用于:
通过使这些所记录图像的图像数据相关来确定所述这些所记录图像的所述图像数据的坐标系之间的位移;
基于所确定位移来确定所述所得图像的位移后边界框,其中,所述位移后边界框的尺寸大于基于所述所确定位移而确定的所有所述这些所记录图像的边界框的交集;以及
基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定位移后边界框内。
CN201810788289.6A 2017-07-17 2018-07-17 使用粒子显微镜记录图像的方法以及粒子显微镜 Active CN109272550B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017212214.5 2017-07-17
DE102017212214.5A DE102017212214A1 (de) 2017-07-17 2017-07-17 Verfahren zum Aufzeichnen eines Bildes unter Verwendung eines Teilchenmikroskops und Teilchenmikroskop

Publications (2)

Publication Number Publication Date
CN109272550A CN109272550A (zh) 2019-01-25
CN109272550B true CN109272550B (zh) 2023-11-14

Family

ID=64745149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810788289.6A Active CN109272550B (zh) 2017-07-17 2018-07-17 使用粒子显微镜记录图像的方法以及粒子显微镜

Country Status (3)

Country Link
US (1) US10839491B2 (zh)
CN (1) CN109272550B (zh)
DE (1) DE102017212214A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018124401A1 (de) 2018-10-02 2020-04-02 Carl Zeiss Smt Gmbh Verfahren zum Aufnehmen eines Bildes mit einem Teilchenmikroskop

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907287A (en) * 1985-10-16 1990-03-06 Hitachi, Ltd. Image correction system for scanning electron microscope
JP2003086126A (ja) * 2001-09-07 2003-03-20 Hitachi Ltd 荷電粒子線顕微鏡および荷電粒子線顕微方法
CN101194263A (zh) * 2005-06-13 2008-06-04 三路影像公司 利用显微镜成像装置再定位载片上样品中的目标的系统和方法
CN101858821A (zh) * 2008-12-12 2010-10-13 Fei公司 用于确定粒子-光学仪器中畸变的方法
WO2011021957A1 (ru) * 2009-08-20 2011-02-24 Kucherenko, Alexy Valentinovich Получение трехмерного изображения с использованием растрового электронного микроскопа
CN102760629A (zh) * 2011-04-26 2012-10-31 Fei公司 用于使用粒子光学设备来确定重构图像的方法
CN103024263A (zh) * 2011-09-26 2013-04-03 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104221372A (zh) * 2012-01-26 2014-12-17 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
CN105049701A (zh) * 2014-04-28 2015-11-11 佳能株式会社 图像处理方法和图像捕捉装置
US9437394B1 (en) * 2014-03-28 2016-09-06 Carl Zeiss Microscopy Ltd. Method of operating a charged particle microscope and charged particle microscope operating according to such method
CN106937020A (zh) * 2015-12-29 2017-07-07 意法半导体国际有限公司 用于自适应像素滤波的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189782A (ja) 1999-12-28 2001-07-10 Hitachi Kokusai Electric Inc フリップ型携帯電子機器
JP2001271167A (ja) 2000-03-24 2001-10-02 Okura Ind Co Ltd 酸化亜鉛薄膜の形成方法
WO2003044821A1 (fr) * 2001-11-21 2003-05-30 Hitachi High-Technologies Corporation Procede d'imagerie d'echantillon et systeme de faisceau de particules chargees
JP4065847B2 (ja) 2001-11-21 2008-03-26 株式会社日立ハイテクノロジーズ 試料像形成方法及び荷電粒子線装置
KR100578182B1 (ko) * 2004-04-12 2006-05-11 주식회사 대우일렉트로닉스 홀로그래픽 시스템에서의 재생 홀로그램 데이터 전처리장치 및 그 방법
JP4490864B2 (ja) * 2005-04-28 2010-06-30 株式会社日立ハイテクノロジーズ 画像形成方法
DE102005045145A1 (de) 2005-09-15 2007-03-29 Schülke & Mayr GmbH Verwendung von Octenidindihydrochlorid in halbfesten Zubereitungen
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US8326077B2 (en) * 2008-10-31 2012-12-04 General Instrument Corporation Method and apparatus for transforming a non-linear lens-distorted image
US8125518B2 (en) 2008-12-15 2012-02-28 Hitachi High-Technologies Corporation Scanning electron microscope
US9679384B2 (en) * 2011-08-31 2017-06-13 Apple Inc. Method of detecting and describing features from an intensity image
US10607350B2 (en) * 2011-08-31 2020-03-31 Apple Inc. Method of detecting and describing features from an intensity image
US20140085485A1 (en) * 2012-09-27 2014-03-27 Edoardo Gavita Machine-to-machine enabled image capture and processing
JP2014093429A (ja) 2012-11-05 2014-05-19 Hitachi High-Technologies Corp 半導体検査装置および半導体検査方法
JP6429483B2 (ja) * 2013-07-09 2018-11-28 キヤノン株式会社 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
JP6242282B2 (ja) * 2014-04-30 2017-12-06 日本電子株式会社 ドリフト量計算装置、ドリフト量計算方法、および荷電粒子線装置
DE102014008105B4 (de) * 2014-05-30 2021-11-11 Carl Zeiss Multisem Gmbh Mehrstrahl-Teilchenmikroskop

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907287A (en) * 1985-10-16 1990-03-06 Hitachi, Ltd. Image correction system for scanning electron microscope
JP2003086126A (ja) * 2001-09-07 2003-03-20 Hitachi Ltd 荷電粒子線顕微鏡および荷電粒子線顕微方法
CN101194263A (zh) * 2005-06-13 2008-06-04 三路影像公司 利用显微镜成像装置再定位载片上样品中的目标的系统和方法
CN101858821A (zh) * 2008-12-12 2010-10-13 Fei公司 用于确定粒子-光学仪器中畸变的方法
WO2011021957A1 (ru) * 2009-08-20 2011-02-24 Kucherenko, Alexy Valentinovich Получение трехмерного изображения с использованием растрового электронного микроскопа
CN102760629A (zh) * 2011-04-26 2012-10-31 Fei公司 用于使用粒子光学设备来确定重构图像的方法
CN103024263A (zh) * 2011-09-26 2013-04-03 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104221372A (zh) * 2012-01-26 2014-12-17 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
US9437394B1 (en) * 2014-03-28 2016-09-06 Carl Zeiss Microscopy Ltd. Method of operating a charged particle microscope and charged particle microscope operating according to such method
CN105049701A (zh) * 2014-04-28 2015-11-11 佳能株式会社 图像处理方法和图像捕捉装置
CN106937020A (zh) * 2015-12-29 2017-07-07 意法半导体国际有限公司 用于自适应像素滤波的系统和方法

Also Published As

Publication number Publication date
CN109272550A (zh) 2019-01-25
DE102017212214A1 (de) 2019-01-17
US10839491B2 (en) 2020-11-17
US20190019274A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
JP4613994B2 (ja) 動態推定装置、動態推定方法、プログラム
US10809515B2 (en) Observation method and specimen observation apparatus
JP4460839B2 (ja) デジタル画像鮮鋭化装置
NL2016542B1 (en) Spatial data analysis.
US6693716B2 (en) Method and apparatus for optical measurement of a surface profile of a specimen
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP6521205B1 (ja) 結晶方位図生成装置、荷電粒子線装置、結晶方位図生成方法およびプログラム
US20210296089A1 (en) Method of recording an image using a particle microscope
US20070154069A1 (en) Displacement estimation device and method for the same
CN109272550B (zh) 使用粒子显微镜记录图像的方法以及粒子显微镜
US9563937B2 (en) High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
KR101293576B1 (ko) 3차원 집적 영상디스플레이의 깊이조절시스템
US10614998B2 (en) Charge reduction by digital image correlation
JP6762570B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20220148314A1 (en) Method, system and computer readable media for object detection coverage estimation
JP5748355B2 (ja) 3次元座標算出装置、3次元座標算出方法、及びプログラム
WO2023004560A1 (en) Systems and methods for electron cryotomography reconstruction
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
Averkin et al. Using the method of depth reconstruction from focusing for microscope images
KR100455801B1 (ko) 주사전자현미경의 3차원 영상 구현방법 및 장치
CN117994765B (zh) 行车记录仪视频校正方法、装置、设备及存储介质
WO2020196918A1 (ja) 画像処理装置、及び画像処理プログラム
WO2022137979A1 (ja) 画像処理装置、画像処理方法およびプログラム記録媒体
JP2006049161A (ja) 走査型電子顕微鏡装置およびこれを用いた三次元画像表示方法
JP2020201713A (ja) 画像選択方法、画像選択プログラム、および画像選択装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant