CN109272550A - 使用粒子显微镜记录图像的方法以及粒子显微镜 - Google Patents
使用粒子显微镜记录图像的方法以及粒子显微镜 Download PDFInfo
- Publication number
- CN109272550A CN109272550A CN201810788289.6A CN201810788289A CN109272550A CN 109272550 A CN109272550 A CN 109272550A CN 201810788289 A CN201810788289 A CN 201810788289A CN 109272550 A CN109272550 A CN 109272550A
- Authority
- CN
- China
- Prior art keywords
- image
- displacement
- recorded
- image data
- gained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001454 recorded image Methods 0.000 claims abstract description 125
- 238000006073 displacement reaction Methods 0.000 claims abstract description 72
- 241001269238 Data Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 1
- 241000145637 Lepturus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 229910052733 gallium Inorganic materials 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
Abstract
一种使用粒子显微镜记录图像的方法包括:记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,所述图像数据包括与在所述所记录图像的坐标系中的位置相关联的强度值。所述方法进一步包括:确定在所述这些所记录图像的所述图像数据的坐标系之间的位移;基于所确定位移而确定所得图像的边界框;以及基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定边界框内。
Description
技术领域
本发明涉及使用粒子显微镜记录图像的方法并且涉及粒子显微镜。
背景技术
粒子显微镜通常包括:载物台,用于安装有待成像的对象;以及粒子束柱,所述粒子束柱相对于载物台而被安装。所述粒子束柱生成被引导至对象上的一个或多个带电粒子束。检测由入射在对象上的粒子所生成的信号,使得所检测信号可以与所述对象上的在其处生成信号的位置相关联。与对象上的众多位置相关联的所检测信号强度的值的集合形成对象的图像,可以将所述图像显示在屏幕上,对所述图像进行分析或存储以用于其他目的。
由于所检测信号受到噪声影响,所以有必要从对象的成像区域中收集足够量的信号以便获得具有期望分辨率和质量的图像。因此,收集这些信号花费相当长的时间。在实践中可能发生的是,承载对象的载物台相对于束柱移动,同时一个图像的信号被记录。这种移动可能是由于机械不稳定性以及热漂移或其他原因,并且导致所检测信号与对象上的位置的关联未得到良好定义并且所得图像变得模糊。此外,入射在对象上的带电粒子以及由入射粒子生成并离开对象并可能形成所检测信号的带电粒子可能在对象上生成表面电荷。所生成的表面电荷量取决于对象的材料特性,并且可能因位置而异。因此,对象上的表面电荷可能会在所得图像中产生伪像。
根据常规方法,在后续记录对象的多个图像,其中,所记录图像中的每一个的图像质量低于根据所记录图像的叠加而计算得到的所得图像。在这种方法中,在个体图像的记录过程中发生的在载物台与束柱之间的位置漂移被忽略,而在后续图像的记录之间发生的载物台相对于束柱的漂移未被忽略并且当将个体所记录图像组合以形成所得图像时被考虑在内。为此目的,可以通过使所记录图像相对于彼此相关、即通过图像分析来确定这些图像之间的位移。
因此,对多个低质量图像进行组合以形成高质量图像可以减少高质量图像的模糊,否则如果漂移影响了对单个高质量图像的记录则可能发生模糊。
此外,已经发现在这种方法中可以减少由于表面电荷引起的成像伪像。这种方法具体地允许在后续图像的记录之间执行电荷中和步骤。
根据常规方法,在将个体所记录图像之间的位移考虑在内的情况下,对多个图像的序列进行记录和组合以形成所得图像。在本文中,所述序列中的第一所记录图像确定所得图像的图像框(image frame)或边界框(bounding box),并且与此图像框内的位置相关联的第二所记录图像和后续所记录图像的强度值被添加到所得图像中。每次向所得图像添加强度值都会改善信噪比,并且从而改善所得图像的质量。
已经发现,这种常规方法在某些情况下产生质量仍然可以得到改善的图像。
发明内容
本发明的实施例提供了使用粒子显微镜记录图像的方法、以及提供所得图像的经改善图像质量的粒子显微镜。
根据实施例,使用所述粒子显微镜记录图像的所述方法包括:使用所述粒子显微镜记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,其中,所述图像数据包括与所述所记录图像的坐标系中的位置相关联的多个强度值。
例如,与强度值相关联的位置可以被安排成规则矩形阵列。在这种情况下,在本领域中这组位置被称为像素阵列,并且强度值是像素的像素值或灰度级。然而,所述方法的实施例不限于与强度值相关联的位置的这种安排。各个实施例涵盖了其他安排,比如采用规则六边形阵列的位置安排或者不规则地或甚至随机分布的位置安排。
与位置相关联的强度值是基于样本上的位置与所记录图像的坐标系中的位置之间的对应关系根据与样本上的位置相关联的所记录图像确定的。
所记录图像可以具有在所记录图像的坐标系中定义的相关联边界框,使得与强度值相关联的位置位于边界框内。在所述像素阵列示例中,边界框通常被称为图像框,其是围绕像素阵列的矩形。在其他示例中,边界框可以是围绕这些位置的不规则多边形。根据具体的示例,边界框可以被定义为与强度值相关联的位置的凸包。
根据一些实施例,所述方法包括:确定图像数据的坐标系之间的位移。例如,可以通过使所记录图像的图像数据相关来确定位移。
根据一些实施例,基于这些所记录图像的图像数据的坐标系之间的所确定位移来确定所得图像的边界框。发明人已经发现,其中序列中的第一所记录图像的图像框确定所得图像的图像框的上述常规方法在例如载物台与粒子束柱之间发生运动以使得第二图像和后续图像例如被位移到第一图像右侧的情况下具有缺点。在这种情况下,靠近所得图像的左边缘的区域包含仅源自第一所记录图像的强度值,从而导致所得图像在此区域中的低信噪比。因此,可能有利的是基于所确定位移来确定所得图像的边界框。在位移发生于第一图像右边的上述示例中,所得图像的边界框也可以位移到第一图像右边,使得后续图像对所得图像的与靠近所得图像左边缘的区域内的位置相关联的图像数据也有贡献,使得在所得图像中避免了特别低的信噪比。
根据一些实施例,所得图像的边界框的尺寸等于或大于所记录图像的边界框的最小尺寸。在本上下文中,如果第二边界框适配在第一边界框内,则第一边界框可以被定义为大于第二边界框,并且如果这些边界框可以被安排为重合,则它们具有相同的尺寸。例如,如果所记录图像全部具有相同尺寸,例如1024×1024像素,则所得图像将具有与所记录图像相同的尺寸,即在本示例中为1024×1024,或者可以更大。
根据一些实施例,所述方法包括:向所记录图像的元素应用从所记录图像的坐标系到所得图像的坐标系的坐标变换。可以基于这些所记录图像的图像数据的坐标系之间的所确定位移来确定坐标变换。可以应用坐标变换的元素是与所记录图像的坐标系中的位置相关联的元素。具体地,所记录图像的强度值的位置是可以使用坐标变换而被变换到与所得图像相关联的位置的那类元素。进一步地,确定所记录图像的边界框的元素是可以使用坐标变换而被变换到与所得图像相关联的位置的那类元素。例如,可以使用这种坐标变换将形成定义所记录图像的边界框的多边形的线变换到所得图像。
根据一些实施例,所得图像的边界框的尺寸大于所有所记录图像的边界框的交集。在本上下文中,所有所记录图像的边界框的交集可以是在已经向所记录图像的边界框中的每一个应用相应的坐标变换之后所有所记录图像的边界框的交集。只要在后续所记录图像之间存在非零漂移,所有所记录图像的边界框的交集的尺寸就小于所记录图像的最小边界框的尺寸。
根据一些实施例,所得图像的图像数据是在将所确定位移考虑在内的情况下根据所记录图像的图像数据计算得来的。根据本文的具体实施例,所得图像的图像数据的计算基于这些所记录图像的图像数据的与一些位置相关联的强度值,这些位置位于与所得图像相关联的、并且基于这些所记录图像的所确定位移而确定的边界框内。
根据一些实施例,所述所得图像的所述图像数据的计算包括从所述这些所记录图像中的每一个所记录图像的所述图像数据中选择强度值,其中,所选强度值与所述所记录图像中的一些位置相关联,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,这些位置位于所述所得图像的所述边界框内。
根据本文的示例性实施例,所记录图像的尚未被选择的强度值对所得图像的图像数据的计算将没有贡献。
根据本文的其他示例性实施例,所述方法进一步包括:选择位于所述所得图像的所述边界框内的所述所记录图像的所有图像数据。
根据示例性实施例,确定所述所得图像的所述边界框,使得所述所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的所确定位移的加权和小于或等于预定量。
根据一些示例,所确定位移的这个加权和中的所有权重是相等的。在这种情况下,所得图像的边界框相对于所记录图像的位置可以被认为是所记录图像的位置的重心。据信,对所得图像的边界框的这种确定具有以下优点:有效地避免了所得图像中信噪比特别低的区域。
根据其他示例,所确定位移的加权和中的比率是不等的。例如,相对于其先前或者接下来的所记录图像具有较大位移的所记录图像在加权和中可以被给以较低权重,这基于以下观念:相对于其先前或后续所记录图像具有较大位移的所记录图像的图像质量可能由于漂移而被恶化。
根据示例性实施例,与所述所得图像的所述坐标系中的给定位置相关联的所述强度值的计算包括计算所述所记录图像的强度值的加权和,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,所述所记录图像位于与所述给定位置相距小于或等于阈值距离处。
本文中根据具体示例,此加权和中的权重可以相等。在一些示例性情况下这可能是有利的,在所述示例性情况下,图像位置被安排为像素阵列,并且在所记录图像与所得图像之间的位移被计算为在相邻像素之间的位移的整数倍。
根据本文的其他示例性实施例,此加权和中的权重取决于在所得图像的坐标系中的给定位置与同应用坐标变换之后的强度值相关联的位置之间的距离。这在像素阵列之间的位移被计算为像素间距的非整数倍的示例性情况下、或者在与所记录图像的强度值或所得图像的强度值相关联的位置具有不规则安排的示例性情况下可能是有利的。在这类情况下为与较大距离相关联的强度值给与较低权重可以有利的。
根据其他实施例,所述所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
根据一些实施例,所述方法进一步包括:基于所述所得图像的所述图像数据生成图像数据文件;以及输出所生成的图像数据文件。
图像数据文件具有定义的文件格式,比如JPEG、BMP、PNG或其他惯用格式。根据另外的示例性实施例,在屏幕上显示对所述所得图像的所述图像数据的表示,使得用户可以用他或她的眼睛来感知图像。
根据本发明的示例性实施例,一种粒子显微镜包括:载物台,被配置用于安装有待成像的对象;粒子束柱,所述粒子束柱相对于所述载物台而被安装,并且被配置用于记录安装在所述载物台上的所述对象的图像,其中,所述粒子显微镜被配置用于执行上文所展示的那些方法。
根据另外的示例性实施例,一种粒子显微镜包括计算机,所述计算机被配置用于通过使所记录图像的图像数据相关来确定所述所记录图像的所述图像数据的坐标系之间的位移;基于所确定位移来确定所得图像的边界框,其中,所述边界框的尺寸等于或大于所记录图像的边界框的最小尺寸;以及基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定边界框内。
附图说明
下文将参考附图来更详细地说明本公开的实施例,在附图中:
图1示出了粒子显微镜的实施例的示意图;
图2是与利用图1中所示的粒子显微镜记录的图像相关联的图像数据的示意图;
图3是示意图,展示了在利用图1中所示的粒子显微镜记录的两个图像之间的位移;
图4是所记录图像相对于彼此的位移以及相对于图1中所示的粒子显微镜中的所得图像的位移的示意图。
具体实施方式
图1示意性地展示了粒子显微镜13。所述粒子显微镜包括被配置用于固持有待成像的对象17的载物台15。载物台15相对于粒子束柱19而被安装,所述粒子束柱被配置用于生成被引导至对象17上的粒子束21。粒子束21从粒子源23发射,由聚光透镜25准直并由物镜27聚焦,以在对象17的表面上形成小束斑。粒子束柱19进一步包括偏转器29,所述偏转器被配置用于偏转该束,使得该束选择性地入射在对象17的表面上的物场内的任意位置上。图1中的虚线21'示出了在两个不同的偏转位置中的偏转束29。偏转器29由控制器31控制。粒子束柱19进一步包括检测器33,该检测器被配置用于检测由入射在对象上的束21的粒子生成的信号。检测器33的输出信号被输入到控制器31。
粒子束21可以是带电粒子束。例如,粒子源23可以是电子源,使得束21是电子束。根据其他示例,粒子源23是离子源,使得粒子束21是离子束,比如,例如氦(He)或镓(Ga)。检测器33所检测到的信号可以是光子或带电粒子,这些光子或带电粒子由于入射到对象17上的束21的粒子而被使得从对象17中出射。例如,检测器33所检测到的信号是二次电子或反向散射电子。
粒子显微镜13被配置用于通过在控制器31的控制下将粒子束21引导到对象17的表面上的多个所选位置来记录对象17的图像。对于每个所选位置,控制器31记录从检测器33接收的强度信号的值。控制器31维持在从检测器33接收的强度值与在对应强度值被接收的同时光束21被引导到的位置之间的关联。表示所接收到的强度值的数据集合以及相关联的位置表示对象17的图像。这些数据可以被从控制器31传送到计算机35,所述计算机可以进一步处理表示图像的数据,可以在屏幕37上显示所述图像,或者可以在存储介质38中将所述数据存储为具有可用于存储图像的定义文件格式(比如JPEG、BMP、PNG或其他)的图像数据文件。
可以以各种方式表示对象表面上与所记录的强度值相关联的位置。例如,这些位置可以表示为由偏转器29产生的粒子束21的偏转角。然而,这些位置还可以通过表示用于激励偏转器以便生成某些偏转角的电流的值而被编码在图像数据中。根据其他示例,这些位置可以表示为在对象17的表面上的坐标系中测量的以米为单位的距离的值。
粒子显微镜13进一步包括致动器41,所述致动器由控制器31控制并且被配置用于如图1中的箭头42所指示的那样相对于粒子束柱19来位移载物台15。
图2是与由粒子显微镜13记录的图像相关联的图像数据的示意性表示。假设图像是通过将束引导到由图2中的箭头51表示的位置序列来生成的。在这些位置的每一个位置处,束保持一定时间(其也被称为停留时间),并且在此时间期间信号被利用检测器33所记录。这些所收集信号表示所记录图像的强度值,并且与对象17上的位置相关联。在图2所示的示例中,这些位置被安排为形成3×4矩阵的规则矩形图案。这样的安排也被称为像素阵列。与阵列的每个成员相关联的强度值被称为像素值。在实践中,如果使用规则矩形阵列作为图像位置的安排,则使用更高数量的像素,使得图像包括例如840×760像素或1024×1024像素或2048×2048像素或其他。此外,并不要求位置安排是规则矩形安排,并且安排可以是不规则的安排。
如上面所展示的,像素位置与对象表面上的位置相关联。因此,可以在可相对于对象表面选择的坐标系中表示位置。如图2所示出的,还可以在纸面上表示合适的坐标系,在所述坐标系中,坐标轴x和y与像素的安排方向对齐。在所展示的示例中,位置的坐标由整数值i和j标识。给定的位置可以表示为
图3是示意图,示出了对象表面上基本上相同区域的、在后续已经记录的第一个图像I1和第二个图像I2。对象表面的这个区域是相同的,因为致动器41尚未被操作用于在第一图像I1与第二图像I2的记录之间相对于粒子束柱19位移载物台15。但是仍然,在图3中由箭头所表示的某个位移已经发生了。这种位移可能已经由于载物台15与粒子束柱19之间的机械漂移而发生。发生在这两个后续图像I1与I2之间的位移不是由测量工具直接测量的,比如在所展示的示例中集成在载物台15中的干涉仪。然而,位移可以通过分析所记录图像I1和I2来确定,因为这些图像包含可区分的特征。图3示出了这两个图像I1和I2中均包含的特征53的示例性表示。由于图像I1和I2中的每一个所包含的特征53对应于对象上的相同特征,因此图像I1和I2可以相对于彼此位移,直到这两个图像中均包含的特征53在包含这两个图像的坐标系内重合。
通常,图像Il与图像Im之间的位移可以通过使这两个图像相关来计算。这种位移进一步确定了可以向所记录的第一图像I1的坐标系中的元素应用的坐标变换,以便表示与所记录的第二图像I2的坐标系中的位置相同的元素。图3中的斜线部分表示所记录图像I1和I2的边界框的交集。
一种用于使两个图像相关的典型方法是相位相关法,在所述相位相关法中,针对两个给定的图像Il和Im,计算这两个图像的二维傅里叶变换:
然后计算互功率谱:
运算符是指Hadamard乘积(元素积(entry-wise product))。通过对互功率谱进行逆变换得到归一化互相关:
归一化互相关r(x,y)包含最大点。两个图像之间的偏移可以通过将峰值位置定位在r中来获得:
通过围绕最大值进行插值,可以利用更高的精度来进一步估算位移,使得位移可以采用非整数值。可以例如从以下来源获得涉及图像中非整数位置的背景信息:唐纳德G贝利,局部极值的亚像素估算(Sub-pixel Estimation of Local Extrema),Imageand Vision Computing NZ,北帕默斯顿,2003年11月。一种典型的方法是使用峰值的质心作为位移的估算。假设r的最大点位于坐标(x0,y0)处,则在围绕最大点的2w+1像素的窗口内计算质心:
图4显示了六个所记录图像的序列I1、I2、...、I6。每个所记录图像相对于先前和后续所记录图像而位移。这些图像之间的位移通过 来指示。位移是通过对这些个体图像进行图像分析来确定的。在图4的示例中,第一个图像I1的坐标系被用作公共参考坐标系。
对图像I1,I2,...,I6进行组合以形成所得图像IR。在以下意义上对这些图像进行组合:对这些个体图像的图像数据进行组合,以形成所得图像IR的具有比这些个体图像更好信噪特性的图像数据。在所展示示例中,所得图像IR的图像框具有与所记录图像I1、I2、...、I6的图像框相同的尺寸。
基于这些所记录图像的位移来确定所得图像IR相对于所记录图像的位置。在图4中,表示所得图像IR相对于第一个图像I1的位移。可以使用涉及这些个体位移的各种算法来确定位移根据示例,位移计算如下:
首先,使用如下公式计算第二个图像和后续图像相对于第一个图像I1的位置:
其中,表示第I个图像相对于第一个图像的位移。
然后,根据以下公式计算所得图像IR的位移
本文中,al表示与每个图像相关联的加权因子。如果加权因子al全部都相同,则上文公式确定使得所得图像IR可以被理解为使得其图像中心与所记录图像的图像中心的重心相重合。根据其他示例,可以对加权因子进行不同选择。例如,与位于更远离所得图像处的所记录图像相关联的加权因子的值可以低于与位于更接近所得图像处的所记录图像相关联的加权因子。根据另一个示例,与相对于其先前和/或后续图像具有更高位移的图像相关联的加权因子分别低于与相对于其先前和/或后续图像具有更小位移的图像相关联的加权因子。
在已经基于所记录图像之间的位移确定了所得图像IR的图像框或边界框之后,可以基于所记录图像的图像数据的与一些位置相关联的强度值来计算所得图像的图像数据,这些位置位于与所得图像IR相关联的所确定边界框内。例如,以下公式可用于计算与所得图像内的位置相关联的图像强度:
如果N(x,y)>0
并且
P(x,y)=I0,如果N(x,y)=0
其中:
Pi(x,y)是在最终图像的坐标系中表示的第i个图像的强度值。由于位移向量可以取非整数值,因此Pi(x,y)值是通过对在第i个图像中得到的强度值进行差值来获得的。比如多变量插值等插值法可以用于此目的。
Wi表示加权因子。
N(x,y)表示对坐标(x,y)有贡献的所记录图像的数量,其中,N(x,y)可以具有范围从0到所记录图像总数的值。
I0是用于在其处所记录图像中没有一个对坐标(x,y)有贡献的位置处进行填充的预定义值。
加权因子Wi对于i的所有值都可以是相同的。然而,还可以根据不同的策略来设置加权因子的值。例如,加权因子可以如下计算:
其中,
di是第i个图像相对于所得图像的位移,并且
s是适当选择的控制参数。
相比更远离所得图像的图像,根据此公式确定的加权因子为更接近所得图像的图像分配更高的权重。
图4中的斜线部分55表示所有所记录图像I1、I2、...、I6的边界框的交集。所有所记录图像I1、I2、...、I6的边界框在本具体示例中具有相同的尺寸。然而,这不是必需的,并且所记录图像可以具有不同尺寸的边界框。
此外,在本具体示例中,所得图像的边界框的尺寸等于所记录图像的边界框的尺寸。再一次,这不是必需的,并且只要所得图像的边界框的尺寸大于所有所记录图像I1、I2、...、I6边界框的交集,那么所得图像的边界框的尺寸就可以不同于任何所记录图像的边界框的尺寸。图4中的虚线57展示了可能所得图像的边界框,此边界框大于所记录图像的边界框。图4中的斜线部分59展示了所得图像IR的包含源自仅一个所记录图像I3的图像数据的一部分。此外,图4中的斜线部分61指示了所记录图像I3的包含对所得图像的图像数据没有贡献的强度值的一部分。
在如上所述的记录图像的过程中,所述多个所记录图像中的每一个被存储在存储器中,并且在完成对所有所述多个所记录图像的记录之后计算所得图像的图像数据。这种方法需要与所记录图像的数量相对应的可用存储器量。
根据一种替代性方法,后续记录的图像的有限数量被存储在先进先出(FIFO)队列中。将每个新记录的图像添加到队列中,同时从队列中移除队列中所存储的最老的图像。根据上文所展示的原理,可以在每个时刻根据当前存储在队列中的所记录图像来计算所得图像。
根据还另一种方法,在对所记录图像进行记录期间提供用于所得图像的存储器。当对每个所记录图像的记录完成时,将新记录的图像的信息添加到所得图像中,其中,新记录的图像相对于所得图像的权重是基于已经被添加到所得图像的所记录图像的数量而确定的。例如,新记录的图像的权重可以是1,而所得图像的权重可以是N,其中,N是已经被添加到所得图像的所记录图像的数量。在这种方法中,分配给所得图像的存储器量被有利地选择得足够大,以便容纳比个体所记录图像更大的所得图像,使得相对于其先前图像经历合理位移量的所有所记录图像可以被添加到所得图像而不被截断。
Claims (15)
1.一种使用粒子显微镜记录图像的方法,所述方法包括:
使用所述粒子显微镜记录对象的多个图像,其中,这些所记录图像中的每一个所记录图像与图像数据相关联,其中,所述图像数据包括与在所述所记录图像的坐标系中的位置相关联的多个强度值,其中,所述位置位于在所述所记录图像的边界框内;
通过使所述这些所记录图像的所述图像数据相关来确定在所述这些所记录图像的所述图像数据的坐标系之间的位移;
基于所确定位移来确定所得图像的位移后边界框,其中,所述位移后边界框的尺寸大于基于所述所确定位移而确定的所有所述这些所记录图像的边界框的交集;以及
基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定位移后边界框内。
2.根据权利要求1所述的方法,其中,所述所得图像的所述图像数据的计算包括从所述这些所记录图像中的每一个所记录图像的所述图像数据中选择强度值,其中,所选强度值与在所述所记录图像中的一些位置相关联,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,这些位置位于所述所得图像的所述位移后边界框内。
3.根据权利要求2所述的方法,其中,所述所记录图像的尚未被选择的强度值对所述所得图像的所述图像数据的计算没有贡献。
4.根据权利要求2或3所述的方法,进一步包括:选择位于所述所得图像的所述位移后边界框内的所述所记录图像的所有图像数据。
5.根据权利要求1至4之一所述的方法,进一步包括:确定所述这些所记录图像中的每一个所记录图像的所述图像数据的坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
6.根据权利要求5所述的方法,其中,确定所述所得图像的所述位移后边界框,使得所述这些所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的所确定位移的加权和小于或等于预定量。
7.根据权利要求6所述的方法,其中,所述所确定位移的所述加权和中的所有权重是相等的。
8.根据权利要求6所述的方法,其中,所述所确定位移的所述加权和中的第一组所述所确定位移的权重中的每一个都大于所述所确定位移的所述加权和中的第二组所述所确定位移的权重中的任何一个,其中,所述第一组的所述所确定位移中的每一个都小于所述第二组的所述所确定位移中的任何一个。
9.根据权利要求1至8之一所述的方法,其中,所述所得图像的所述图像数据的计算包括计算与所述所得图像的所述坐标系中的给定位置相关联的强度值,并且
其中,对与所述所得图像的所述坐标系中的所述给定位置相关联的所述强度值的计算包括计算所述这些所记录图像的强度值的加权和,在应用从所述所记录图像的所述坐标系到所述所得图像的所述坐标系的坐标变换之后,所述所记录图像位于与所述给定位置相距小于或等于阈值距离处。
10.根据权利要求9所述的方法,其中,所述这些所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述距离。
11.根据权利要求9或10所述的方法,其中,所述这些所记录图像的所述强度值的所述加权和中的所述强度值的权重取决于所述这些所记录图像的所述图像数据的所述坐标系相对于所述所得图像的所述图像数据的所述坐标系的位移。
12.根据权利要求1至11之一所述的方法,进一步包括:基于所述所得图像的所述图像数据生成图像数据文件;以及输出所生成的图像数据文件。
13.根据权利要求1至12之一所述的方法,进一步包括:在显示屏上显示对所述所得图像的所述图像数据的表示。
14.一种粒子显微镜,包括:
载物台,被配置用于安装有待成像的对象;
粒子束柱,所述粒子束柱相对于所述载物台而被安装,并且被配置用于记录安装在所述载物台上的所述对象的图像;
其中,所述粒子显微镜被配置用于执行根据权利要求1至13之一所述的方法,以便生成安装在所述载物台上的所述对象的所得图像。
15.根据权利要求14所述的粒子显微镜,进一步包括计算机,所述计算机被配置用于:
通过使这些所记录图像的图像数据相关来确定所述这些所记录图像的所述图像数据的坐标系之间的位移;
基于所确定位移来确定所述所得图像的位移后边界框,其中,所述位移后边界框的尺寸大于基于所述所确定位移而确定的所有所述这些所记录图像的边界框的交集;以及
基于所述这些所记录图像的所述图像数据的与一些位置相关联的强度值来计算所述所得图像的图像数据,这些位置位于与所述所得图像相关联的、基于所述这些所记录图像的所述所确定位移的所述所确定位移后边界框内。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017212214.5A DE102017212214A1 (de) | 2017-07-17 | 2017-07-17 | Verfahren zum Aufzeichnen eines Bildes unter Verwendung eines Teilchenmikroskops und Teilchenmikroskop |
DE102017212214.5 | 2017-07-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109272550A true CN109272550A (zh) | 2019-01-25 |
CN109272550B CN109272550B (zh) | 2023-11-14 |
Family
ID=64745149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810788289.6A Active CN109272550B (zh) | 2017-07-17 | 2018-07-17 | 使用粒子显微镜记录图像的方法以及粒子显微镜 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10839491B2 (zh) |
CN (1) | CN109272550B (zh) |
DE (1) | DE102017212214A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018124401A1 (de) | 2018-10-02 | 2020-04-02 | Carl Zeiss Smt Gmbh | Verfahren zum Aufnehmen eines Bildes mit einem Teilchenmikroskop |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4907287A (en) * | 1985-10-16 | 1990-03-06 | Hitachi, Ltd. | Image correction system for scanning electron microscope |
JP2003086126A (ja) * | 2001-09-07 | 2003-03-20 | Hitachi Ltd | 荷電粒子線顕微鏡および荷電粒子線顕微方法 |
US20030141451A1 (en) * | 2001-11-21 | 2003-07-31 | Mitsugu Sato | Method of forming a sample image and charged particle beam apparatus |
US20050226528A1 (en) * | 2004-04-12 | 2005-10-13 | Daewoo Electronics Corporation | Method and apparatus for compensating data image reproduced from holographic system |
US20060243905A1 (en) * | 2005-04-28 | 2006-11-02 | Hitachi High-Technologies Corporation | Imaging method |
CN101194263A (zh) * | 2005-06-13 | 2008-06-04 | 三路影像公司 | 利用显微镜成像装置再定位载片上样品中的目标的系统和方法 |
US20100111440A1 (en) * | 2008-10-31 | 2010-05-06 | Motorola, Inc. | Method and apparatus for transforming a non-linear lens-distorted image |
CN101858821A (zh) * | 2008-12-12 | 2010-10-13 | Fei公司 | 用于确定粒子-光学仪器中畸变的方法 |
WO2011021957A1 (ru) * | 2009-08-20 | 2011-02-24 | Kucherenko, Alexy Valentinovich | Получение трехмерного изображения с использованием растрового электронного микроскопа |
CN102760629A (zh) * | 2011-04-26 | 2012-10-31 | Fei公司 | 用于使用粒子光学设备来确定重构图像的方法 |
US20130076855A1 (en) * | 2011-09-26 | 2013-03-28 | Casio Computer Co., Ltd. | Image processing device capable of generating wide-range image |
US20140085485A1 (en) * | 2012-09-27 | 2014-03-27 | Edoardo Gavita | Machine-to-machine enabled image capture and processing |
US20140340570A1 (en) * | 2011-09-28 | 2014-11-20 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
CN104221372A (zh) * | 2012-01-26 | 2014-12-17 | 弗劳恩霍弗应用技术研究院 | 自动立体显示器及显示3d图像的方法 |
CN105049701A (zh) * | 2014-04-28 | 2015-11-11 | 佳能株式会社 | 图像处理方法和图像捕捉装置 |
US20150348749A1 (en) * | 2014-05-30 | 2015-12-03 | Carl Zeiss Microscopy Gmbh | Multi-beam particle microscope and method for operating same |
US9437394B1 (en) * | 2014-03-28 | 2016-09-06 | Carl Zeiss Microscopy Ltd. | Method of operating a charged particle microscope and charged particle microscope operating according to such method |
CN106937020A (zh) * | 2015-12-29 | 2017-07-07 | 意法半导体国际有限公司 | 用于自适应像素滤波的系统和方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189782A (ja) | 1999-12-28 | 2001-07-10 | Hitachi Kokusai Electric Inc | フリップ型携帯電子機器 |
JP2001271167A (ja) | 2000-03-24 | 2001-10-02 | Okura Ind Co Ltd | 酸化亜鉛薄膜の形成方法 |
US7034296B2 (en) | 2001-11-21 | 2006-04-25 | Hitachi High-Technologies Corporation | Method of forming a sample image and charged particle beam apparatus |
DE102005045145A1 (de) | 2005-09-15 | 2007-03-29 | Schülke & Mayr GmbH | Verwendung von Octenidindihydrochlorid in halbfesten Zubereitungen |
JP5080657B2 (ja) | 2008-12-15 | 2012-11-21 | 株式会社日立ハイテクノロジーズ | 走査電子顕微鏡 |
CN103959307B (zh) * | 2011-08-31 | 2017-10-24 | Metaio有限公司 | 从灰度图像中检测和描述特征的方法 |
US10607350B2 (en) * | 2011-08-31 | 2020-03-31 | Apple Inc. | Method of detecting and describing features from an intensity image |
JP2014093429A (ja) | 2012-11-05 | 2014-05-19 | Hitachi High-Technologies Corp | 半導体検査装置および半導体検査方法 |
JP6429483B2 (ja) * | 2013-07-09 | 2018-11-28 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
JP6242282B2 (ja) * | 2014-04-30 | 2017-12-06 | 日本電子株式会社 | ドリフト量計算装置、ドリフト量計算方法、および荷電粒子線装置 |
-
2017
- 2017-07-17 DE DE102017212214.5A patent/DE102017212214A1/de active Pending
-
2018
- 2018-07-16 US US16/035,887 patent/US10839491B2/en active Active
- 2018-07-17 CN CN201810788289.6A patent/CN109272550B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4907287A (en) * | 1985-10-16 | 1990-03-06 | Hitachi, Ltd. | Image correction system for scanning electron microscope |
JP2003086126A (ja) * | 2001-09-07 | 2003-03-20 | Hitachi Ltd | 荷電粒子線顕微鏡および荷電粒子線顕微方法 |
US20030141451A1 (en) * | 2001-11-21 | 2003-07-31 | Mitsugu Sato | Method of forming a sample image and charged particle beam apparatus |
US20050226528A1 (en) * | 2004-04-12 | 2005-10-13 | Daewoo Electronics Corporation | Method and apparatus for compensating data image reproduced from holographic system |
US20060243905A1 (en) * | 2005-04-28 | 2006-11-02 | Hitachi High-Technologies Corporation | Imaging method |
CN101194263A (zh) * | 2005-06-13 | 2008-06-04 | 三路影像公司 | 利用显微镜成像装置再定位载片上样品中的目标的系统和方法 |
US20100111440A1 (en) * | 2008-10-31 | 2010-05-06 | Motorola, Inc. | Method and apparatus for transforming a non-linear lens-distorted image |
CN101858821A (zh) * | 2008-12-12 | 2010-10-13 | Fei公司 | 用于确定粒子-光学仪器中畸变的方法 |
WO2011021957A1 (ru) * | 2009-08-20 | 2011-02-24 | Kucherenko, Alexy Valentinovich | Получение трехмерного изображения с использованием растрового электронного микроскопа |
US20120273676A1 (en) * | 2011-04-26 | 2012-11-01 | Fei Company | Method for determining a reconstructed image using a particle-optical apparatus |
CN102760629A (zh) * | 2011-04-26 | 2012-10-31 | Fei公司 | 用于使用粒子光学设备来确定重构图像的方法 |
US20130076855A1 (en) * | 2011-09-26 | 2013-03-28 | Casio Computer Co., Ltd. | Image processing device capable of generating wide-range image |
CN103024263A (zh) * | 2011-09-26 | 2013-04-03 | 卡西欧计算机株式会社 | 图像处理装置及图像处理方法 |
US20140340570A1 (en) * | 2011-09-28 | 2014-11-20 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
CN104221372A (zh) * | 2012-01-26 | 2014-12-17 | 弗劳恩霍弗应用技术研究院 | 自动立体显示器及显示3d图像的方法 |
US20140085485A1 (en) * | 2012-09-27 | 2014-03-27 | Edoardo Gavita | Machine-to-machine enabled image capture and processing |
US9437394B1 (en) * | 2014-03-28 | 2016-09-06 | Carl Zeiss Microscopy Ltd. | Method of operating a charged particle microscope and charged particle microscope operating according to such method |
CN105049701A (zh) * | 2014-04-28 | 2015-11-11 | 佳能株式会社 | 图像处理方法和图像捕捉装置 |
US20150348749A1 (en) * | 2014-05-30 | 2015-12-03 | Carl Zeiss Microscopy Gmbh | Multi-beam particle microscope and method for operating same |
CN106937020A (zh) * | 2015-12-29 | 2017-07-07 | 意法半导体国际有限公司 | 用于自适应像素滤波的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
US10839491B2 (en) | 2020-11-17 |
DE102017212214A1 (de) | 2019-01-17 |
CN109272550B (zh) | 2023-11-14 |
US20190019274A1 (en) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2597421B1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
US8773550B2 (en) | Range measurement using multiple coded apertures | |
JP4926127B2 (ja) | 移動体搭載用前方撮像制御装置 | |
US8405742B2 (en) | Processing images having different focus | |
EP2261853A1 (en) | Image processing apparatus, medium, and method | |
US20190065824A1 (en) | Spatial data analysis | |
US9111385B2 (en) | Apparatus and method for rendering volume data | |
US9367920B2 (en) | Method and apparatus for processing images | |
US20100061642A1 (en) | Prediction coefficient operation device and method, image data operation device and method, program, and recording medium | |
US8903195B2 (en) | Specification of an area where a relationship of pixels between images becomes inappropriate | |
RU2570506C2 (ru) | Способ подготовки изображений в визуально неразличимых спектральных областях и соответствующая камера и измерительная аппаратура | |
EP2564234A1 (en) | Range measurement using a coded aperture | |
CN108292367B (zh) | 图像处理装置、半导体装置、图像识别装置、移动体装置以及图像处理方法 | |
JPWO2014069103A1 (ja) | 画像処理装置 | |
JP6254849B2 (ja) | 画像処理装置、画像処理方法 | |
JP2019139420A (ja) | 立体物認識装置、撮像装置および車両 | |
US20200302155A1 (en) | Face detection and recognition method using light field camera system | |
JP4899170B2 (ja) | 画像処理システム、画像処理方法、プログラムおよび記録媒体 | |
US10614998B2 (en) | Charge reduction by digital image correlation | |
KR20220135186A (ko) | 전자기기 및 제어방법 | |
CN109272550A (zh) | 使用粒子显微镜记录图像的方法以及粒子显微镜 | |
JP6751082B2 (ja) | フリースペース検出装置及びフリースペース検出方法 | |
WO2018143277A1 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
WO2021014799A1 (ja) | 信号処理装置、信号処理方法 | |
CN117994765B (zh) | 行车记录仪视频校正方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |