CN106257323B - 叠层成像术成像的方法 - Google Patents
叠层成像术成像的方法 Download PDFInfo
- Publication number
- CN106257323B CN106257323B CN201610431548.0A CN201610431548A CN106257323B CN 106257323 B CN106257323 B CN 106257323B CN 201610431548 A CN201610431548 A CN 201610431548A CN 106257323 B CN106257323 B CN 106257323B
- Authority
- CN
- China
- Prior art keywords
- detector
- pixel
- plane
- estimation
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/46—Systems using spatial filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/041—Phase-contrast imaging, e.g. using grating interferometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/17—Circuit arrangements not adapted to a particular type of detector
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
- H01J37/222—Image processing arrangements associated with the tube
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of Radiation (AREA)
Abstract
叠层成像术成像的方法。当像素数目过低时,在执行叠层成像术时出现问题。通常,需要大量的像素(在装仓之后)以获得对象的高质量重构。发明人发现通过使用具有比检测器的像素数目更多的节点(例如512x512个节点)的计算平面,可以进行对象的高质量重构,即使当使用例如16段检测器或32x32像素检测器时。由于较大的像素尺寸,因此拦截较高的通量,减少了对检测器S/N比和动态范围的需求。图示使用(仿真)16段检测器的(仿真)无定形碳对象和重构对象。虽然重构对象示出较少分辨率(“锐度”),但所有特征在那里。当尝试用现有技术方法、对相同对象且使用相同探测器重构时,重构在使用128x128像素检测器时突然中止(失败),且当使用256x256像素检测器时观察到伪像。
Description
技术领域
本发明涉及叠层成像术(ptychographic)成像的方法,该方法包括:
• 在对象平面中提供对象
• 在检测器平面中提供像素化检测器,该检测器平面通过菲涅耳传播函数与对象平面共轭,该检测器被装配成检测波前的强度,
• 提供辐射源和探测器(probe)形成部分,其被装配成在对象平面上形成输入波,
• 提供对象的第一数学估计、菲涅耳传播函数的估计和辐射探测器的估计、在第一计算平面中由许多节点表示的对象的数学估计,每个节点有复值,
所述方法包括:
• 通过以下各项来获取至少两个图像
○选择用于照射的对象的区域,
○用辐射来照射该区域,
○检测像素化检测器上的作为结果的波前的强度,导致检测器图像,
○每个被照射区域与至少一个其它被照射区域重叠,
以及迭代地
• 更新对象的数学估计,使得在第一计算平面中将对象的估计与探测器的估计相乘并使用菲涅耳传播函数来传播到由第二计算平面的许多节点表示的图像的数学估计之后,检测器图像的像素的检测强度与针对该至少两个图像的在所述第二计算平面中的图像的数学估计的对应区域的强度匹配,
直至满足中断判据为止。
背景技术
从A.M. Maiden等人在J. Opt. Soc. Am. A,卷28,第四期(2011年4月),第604-612页中的“Superresolution imaging via ptychography(经由叠层成像术的超分辨率成像)”中已知此类方法,其也被称为Maiden[-1-] 。
Maiden描述了叠层成像术成像过程。该过程包括两部分:图像检索部分和图像重构部分。
图像检索部分包括用输入波来照射对象平面中的对象,形成许多重叠的照射光斑。输入波在通过对象之后被转换成传播到衍射平面的输出波,在衍射平面处此检测器平面中的像素化检测器检测其(位置相关)强度。因此这导致许多图像。
图像重构部分包括迭代过程,其中,从对象(由具有关联复值的许多节点描述的对象)的第一数学估计和输入波的第一推测、使用快速傅立叶变换(FFT)来进行检测器平面处的波前的数学估计。然后由在对应位置处的测量强度的平方根来替换检测器处的波前的估计值的模数或它们中的至少许多,并且使用逆FFT来将图像变换回到对象平面,其后确定用于光斑和对象的更新版本。
应注意的是检测器平面处的波前的数学估计中的节点的数目可能大于检测器的像素数目:部分节点可能是在物理上检测的区域之外的区域中。节点以一对一关系对应于像素。可能发生的是某些节点不具有对应像素,在这种情况中所述节点或者可以在替换阶段期间保持未改变的。
应注意的是可以设想处理此类像素的其它方法,诸如将其设置成零。然而,这可能妨碍收敛或者其可能引入伪像。
还应注意的是当检测器平面与所谓的衍射平面或与之共轭的平面重合时可以使用FFT(和逆FFT)。否则需要菲涅耳运算符。
使用所有图像(虽然某些由于例如图像质量问题而被省去)来对此进行迭代。当满足中断判据时重构结束。此类中断判据可以是基于迭代的数目,或者基于在随后的迭代之间的重构对象中的差。
已提到像素化检测器的像素可由被加在一起的若干辐射敏感单元组成,其一般地被称为装仓(binning)。
还提到了衍射平面是用以检测图像的便利的平面,因为衍射平面根据定义是其中形成对象的傅立叶变换的平面。然而,也可以使用其它平面。那些其它平面可以是衍射平面被成像到其上的平面,在这种情况中仍可使用FFT,或者其可以是其它平面,在这种情况中必须由菲涅耳传播函数来替换FFT。在后一种情况中,必须也估计菲涅耳传播函数的估计。
应注意的是,假设对象就可以将输出波计算为输入波与对象的传输函数的乘积的意义而言是薄对象(thin object)。如技术人员已知的,这意味着结果得到的复数的振幅是一,并且相位是变量。
已知方法的缺点是针对对象的高分辨率重构,需要具有大量像素的像素化检测器。像素的大数目意味着小像素,这进而迫使需要像素化检测器的高读出速度、高动态范围和对检测器信噪比的高需求。
另一缺点是必须完整地检测被照射区域的图像,需要大的检测器。因为高分辨率是由于从远离未散射辐射被散射的辐射,所以针对高分辨率重构,还需要具有大尺寸的检测器。
另一缺点是尝试用数目不足的较大尺寸的像素来覆盖检测器平面中的整个被照射区域引起针对对象平面中的输入波和对象的不足的小视场。其将部分探测器留在计算区域之外,因此由于混叠(aliasing)而引起折返,导致收敛的失败或者重构将显示伪像。
从授予Rodenburg的国际申请公开WO2005106531A1也已知该方法。应注意的是在本专利申请中,检测器平面中的波前中的节点的数目与检测器的像素的数目相同,并且所有节点具有一对一关系,与Maiden[-1-]所描述的方法相反。
发明内容
本发明旨在提供一种改进方法。
为此,根据本发明的方法的特征在于检测器图像的像素对应于第二计算平面的超过一个节点,并且在更新期间,使得每个检测器像素的测量强度与对应数目的节点的总强度匹配。
应注意的是由于单元的装仓而可能存在检测器单元的数目与像素数目之间的差。在这里被定义为像素的东西是针对其测量强度值的最小区域。
本发明是基于这样的理解:重构对象的分辨率是基于在计算中使用的节点的数目,但是这不必然地需要是图像平面(第二计算平面或检测器平面)中的节点与检测器的像素之间的一对一关系。替代地,与一个像素的区域相对应的若干节点的强度贡献与像素的强度匹配就足够了。
应注意的是虽然不能给出严格的数学证明,但现有技术方法和根据本发明的方法两者已经示出对厚对象(其中模数或振幅小于一)有效。
还应注意的是在节点位于两段的边界处的情况中,可以使用若干“解”。在没有模型的较大衰退的情况下,节点可以被分配给像素中的一个,其可以被保持未改变(因此使得仅取决于到检测器平面的输出波的估计的传播),其可以被设置成固定值、例如零,或者其强度可以使用加权因数被划分成两个像素。后者在检测器是基于电子/空穴对的生成时具有物理基础,并且在一个像素中检测部分电子/空穴对而在另一像素中检测部分。
当节点被放置在检测区域之外时,也可以使用若干“解”。例如,其可以被保持未改变(因此使得仅取决于到检测器平面的输出波的估计的传播),或者其可以被设置成固定值、例如零。
在实施例中,在迭代更新过程中忽视检测器的至少一个像素的信号,并且在迭代更新过程期间不更新与所述像素相关联的第二计算平面中的对应节点。
当像素中的一个是例如“死”像素时可以使用本实施例。通过将与所述像素相关联的第二计算平面(检测器平面)中的节点保持未改变、或者通过将它们设置成零,重构可以在没有所述像素的(错误或遗漏)信息的情况下发生。
应注意的是可以设想处理此类像素的其它方法,诸如将其设置成零。然而,这可能妨碍收敛或者其可引入伪像。
在实施例中,将对象的迭代更新扩展至包括更新探测器(输入波前或短:输入波)。
在某些情况中,探测器是充分地众所周知的,并且不需要改变(除将其在对象上移位之外)。在其它情况中,本方法从探测器的粗略估计(例如高斯探测器轮廓(profile)或顶帽轮廓)开始,并且迭代地改善此估计轮廓以与实际探测器匹配。用于这种情况的数学方法是本领域的技术人员已知的。
在另一实施例中,检测器平面是衍射平面或其图像。如本领域的技术人员已知的,在衍射平面处形成的图像是对象平面的傅立叶变换。并且该平面(也被称为“与衍射平面共轭的平面”)的图像是对象的傅立叶变换。因此,可以将(快速)傅立叶变换用于菲涅耳传播函数,并且菲涅耳传播函数的估计是FFT。然而,可使用另一平面来“捕获”波前并检测其强度。
优选地,检测器的每个像素与第二计算平面中的全部数目的节点(检测器平面处的图像的数学表示)相关联(或相对应)。
在实施例中,将像素形成为扇区或段或其部分。
应注意的是在电子显微术中一般使用此类分段检测器。其示例是在TEM中使用的所谓的“亮场/暗场检测器”。
在实施例中,辐射是来自光子辐射或微粒辐射的群组,光子辐射包括红外、可见光、紫外光和X射线,并且微粒辐射包括电子、中子、原子以及离子。
叠层成像术是电子显微术领域的技术人员众所周知的。其也是X射线显微术领域的技术人员众所周知的。对于其它类型的辐射而言也对本发明感兴趣,因为在检测器能够检测强度、而不是所检测的波前的相位的情况中对叠层成像术感兴趣。
在实施例中,更新对象的数学估计包括以下步骤:
• 使用对象的估计、菲涅耳传播函数的估计和输入的波前的估计来计算针对第二计算平面的节点的复值,
• 针对检测器的每个像素,对与每个像素相关联的第二计算平面的节点处的复值进行缩放,使得检测器图像的像素的所检测强度与在第二计算平面中的图像的数学估计的对应节点的整体强度匹配,
• 将作为结果的经缩放的图像的数学估计传播回到对象平面,
• 更新对象的估计。
这描述了针对每个像素对与该像素相关联的第二计算平面中的节点的复值进行缩放直至节点的强度的总和(或积分)等于由关联像素测量的检测强度为止。输入波前(探测器)只有当其不够众所周知时才被更新。其可能由于初期测量、由于叠层成像术成像、由于将透镜误差考虑在内的探测器的数学建模或以其它方式而足够众所周知。
在本发明的一方面中,一种装配有辐射源和用于形成探测器的探测器形成部分、用以控制探测器和探测器与对象之间的相对位置的可编程控制器、以及对由辐射源产生的辐射敏感的像素化检测器的装置的特征在于所述控制器被编程以执行先前描述的根据本发明的方法中的任何。
应注意的是探测器充当输入波。然而,由于被探测器照射的部分需要与其它部分重叠,所以探测器不应具有尽可能小的直径,而是应在一定程度上示出。
在实施例中,辐射源是电子源,并且探测器形成部分包括电子光学透镜和偏转器,并且检测器是像素化电子检测器。
本实施例描述了被装配成执行根据本发明的叠层成像术的电子显微镜。
在另一实施例中,辐射源是X射线源,并且探测器形成部分包括示出小孔的光阑,并且检测器是像素化X射线检测器。
本实施例描述了一种被装配成执行根据本发明的叠层成像术的X射线显微镜。
在又另一实施例中,辐射源是光源,并且探测器形成部分包括近场扫描光学显微镜探测器,并且所述检测器是像素化光检测器。
在实施例中,像素化检测器包括CCD芯片或CMOS芯片。
在实施例中,对象通过机械扫描相对于探测器移动。
附图说明
现在用附图来阐述本发明,在所述附图中相同的参考标号指代对应特征。
为此:
图1示意性地示出用于叠层成像术的装置,
图2A示意性地示出用于叠层成像术成像的现有技术流程图,
图2B示意性地示出根据本发明的用于叠层成像术成像的流程图,
图3示意性地示出分段检测器,
图4A-4C示出仿真结果,
图5A-5C示出使用现有技术方法获得的重构探测器(或其已知估计)的强度,
图6A-6C示出使用本发明的对象重构的结果,
图7A-7C示出每个像素的检测器平面处的重构振幅(强度的平方根),
图8A示出被表示为512 x 512个节点的一组原对象数据(仿真数据)(的相位),
图8B示出在检测器平面中的原512 x 512个节点,
图8C示出(在检测器平面中的)原相位,
图8D示出使用仿真输入数据的振幅(由该16段检测器“测量”的信号的平方根),
图9A示出使用16段检测器的重构对象(的相位)和针对计算第一平面(对象平面)和第二平面(检测器平面)的512 x 512个节点,
图9B示出在检测器平面中的重构的512 x 512个节点,
图9C示出重构相位信息(通常以假彩色表示),
图9D示出与检测器的段相关联的节点的加和振幅,以及
图10示意性地示出在图8A-8D和9A-9D的仿真中使用的16段检测器。
具体实施方式
图1示意性地示出用于叠层成像术的装置。
图1示出形成辐射束106的辐射源102。辐射束被探测器形成部件104操纵(聚焦)。在对象110上形成输入波前108。穿过对象的辐射的输出波传播至像素化检测器114,在那里检测作为结果的检测器波前(112)的振幅。
通过重复地获取对象的部分的图像,每个部分与至少一个其它部分重叠,获取数学过程可以使用以重构对象的一组图像。
应注意的是,针对不同的应用,本示意性装置可采取不同形式。
例如,在电子显微术的情况中,辐射源是电子源(例如钨丝、肖特基源或场发射体以及用于将电子加速至例如在1keV和300keV之间的能量的加速部件),并且探测器形成部件采取大量电子透镜的形式,并且可包括用以在对象上使探测器偏转的偏转器。
例如,在X射线显微术的情况中,探测器形成部件可采取菲涅耳透镜的形式,并且可简单地由光阑中的小孔组成。可以以机械方式移动或者透镜/小孔或者对象,使得例如使用压电元件来照射对象的不同部分。然而,还可以将X射线源相对于探测器形成部件移动,例如通过改变在该处电子束撞击到在该处然后产生X射线的阳极上的撞击位置。
应注意的是在本示例中,衍射平面是无限的。这接近于“远处去除(farremoved)”,并且因此在距对象的足够大的距离处,在检测器处形成的图像几乎是衍射图案。缺点可能是图像的直径是相当大的。通过在对象与检测器之间添加透镜,可以更方便地对衍射平面进行定位。
图2A示意性地示出用于叠层成像术成像的现有技术流程图。
图2A描述了在数学重构中进行的步骤。
在步骤200中,获取许多(重叠的)图像,并且进行对象、输入波前和传播函数的数学估计。对象的数学估计可以是非常粗略的估计,例如“空的”对象(所有节点被设置成一)。
应注意的是从仅包括零的空对象开始并不起作用。
还可以将输入波简化成例如头顶近似(top head approximation)。在其中在衍射平面中检测图像的情况中,传播函数是傅立叶变换。
在步骤202中,计算离开波,即:穿过对象的输入波。假设是可以将输出波计算为输入波与对象传输函数的简单乘法。
在步骤204中,将输出波传播到检测器平面。
在步骤206中,针对每个像素,向与所述像素相关联的节点分配测量强度的平方根。
在步骤210中,将具有修改值的这些节点传播回到对象平面。
在步骤212中,更新对象的(复)表示。如果需要的话,还更新输入波(探测器)。
在步骤214中,使用中断判据来结束迭代。中断判据可以是迭代的数目,或者可以是基于在随后的迭代之间的改变。如果满足判据,则结果是重构对象;否则进行进一步迭代。
应注意的是在结束迭代之后,存在重构对象,但是这不必是良好表示。如果迭代由于过多的迭代而结束,则本方法可能尚未收敛。并且,如果随后的迭代之间的改变很小,则这不需要意味着该表示是良好表示。
图2B示意性地示出根据本发明的用于叠层成像术成像的流程图。
如可以看到的,除步骤208之外,所有步骤与在图2a中描述的现有技术方法相同。作为向节点分配测量值的替代,针对每个像素,将对应于该像素的所有节点的强度一起进行缩放直至其加和(积分)值与测量值匹配为止。这允许对象平面中的视场保持大到足以容纳整个输入波,不同于图2A中所示的方案(其中,输入波的部分可能溢出视场之外)。从而,本发明解决了当使用太少的检测器像素时的问题,但是像素在检测器平面中被保持很大以便捕捉整个被照射检测器平面区域。
图3示意性地示出分段检测器。
图3示出如从对象平面看的分段检测器,半径300和302之间的平面被分成四个象限302A、302B、302C和302D。这些象限中的每一个是一个检测器的像素。同样地,半径300内的区域被分成四个象限,每个象限一个像素。结果得到的检测器因此具有总共8个像素。
形成内部部分的像素可具有与将其围绕的像素相同的表面面积,或者其可具有不同的表面面积。其它分段检测器可在每对半径和/或更多半径之间具有超过四个象限,从而定义更多像素。然而,如稍后将示出的,本发明人用相对少量的像素实现了高质量的对象重构。
应注意的是此类检测器已在电子显微镜上使用,作为亮场/暗场(BFDF)检测器,其中,正常地使用内部像素(亮场)来检测未散射束以及使用外部像素(暗场)来检测散射电子。然而,还可以使用具有以例如8 x 8网格布置的有限量的正方形像素的检测器。
图4A-4C示出使用透射式电子显微镜的使用不同数目的像素的同一对象的现有技术重构图像(示出了相位,因为薄对象的模数始终是一)。(仿真)对象是无定形碳薄层的逼真表示。高强度尖峰表示碳原子。用来生成数据集的探测器是根据Scherzer条件的具有2.7mm的球面像差、7 mrad的张角和50 nm的散焦的(仿真)逼真探测器,这对于技术人员而言是众所周知的。
使用由假定检测器测量的仿真数据集来获得图像。不对动态范围进行限制。图像中的每一个中检测器的尺寸保持相等,因此捕获到相似的最大散射角。然而,假定检测器在其像素数目和像素尺寸方面不同,因为数据被装仓(用于检测器的若干元素的数据被组合成一个像素),图4A中的像素数目512 x 512(1 x 1装仓)、图4B中的像素数目256 x 256(2x 2装仓)、图4C中的像素数目128 x 128(4 x 4装仓)。这意味着检测器平面中的节点的数目是不同的,并且因此用来确定散射角的角分辨率是不同的。由于对象的数学估计的节点与检测器像素具有一对一关系,所以在逆变换之后,重构对象的视场在使用512 x 512像素时是最高的,并且在使用128 x 128像素时是最低的:当像素数目减少时,重构对象被“放大”。
在图4A中使用的假定检测器具有512 x 512个像素。重构对象(的相位)显示出许多圆点。
图4B示出当对图4A中使用的相等仿真数据集进行2 x 2装仓、导致具有256 x 256个像素的假定检测器时的结果。重构对象(的相位)不再示出圆点,但示出许多相等结构,别名“飞机(airplanes)”。这指示伪像。仔细的分析示出“飞机”的位置类似于图4A的圆点的位置,但被放大2倍。
图4C使用相同的数据集,但现在装仓是4 x 4,导致具有128 x 128个像素的假定检测器。对象(的相位)的重构完全失败。
图5A-5C示出使用现有技术方法获得的重构探测器(或其已知估计)的强度。使用由假定检测器测量的仿真数据集来获得重构探测器。不对动态范围进行限制。图像中的每一个中的检测器的尺寸保持相等,从而捕获相同的最大散射角。然而,假定检测器在其像素数目和像素尺寸方面不同,因为数据被装仓(用于检测器的若干元素的数据被组合成一个像素),图5A中的像素数目为512 x 512(1 x 1装仓)、图5B中的像素数目为256 x 256(2 x2装仓)、图5C中的像素数目为128 x 128(4 x 4装仓)。这意味着检测器平面中的节点的数目是不同的,并且因此用来确定散射角的角分辨率是不同的。由于探测器的数学估计的节点与检测器像素具有一对一关系,所以在逆变换之后,重构探测器的视场在使用512 x 512个像素时是最高的,而在使用128 x 128个像素时是最低的:如在重构对象的情况中那样,当像素数目减少时,重构探测器被“放大”。
图5A示出在视场之外几乎不具有强度的爱里斑(探测器振幅)。
图5B示出在视场之外具有少量强度的爱里斑(探测器振幅),其由于混叠被折返。
图5C示出在视场之外具有大量强度的爱里斑(探测器振幅),其由于混叠被折返,导致探测器的严重失真的表示。
图4A-4C与图5A-5C一起示出现有技术方法需要具有一定的像素尺寸和一定的像素数目的检测器,使得其导致对象平面中的视场大到足以容纳整个光照(完全包括探测器)、同时在傅立叶空间(检测器平面)中其完全覆盖数据。当观察重构探测器时这被最好地看到。甚至图5B中所示的轻微溢出导致如图4B中所示的伪像。
图6A-6C示出使用本发明的对象重构的结果。使用与在先前的情况中相同的(仿真)对象和(仿真)探测器条件。
在所使用的方法中,对象平面和检测器平面中的节点的数目保持相同,无论检测器的像素数目如何。节点的数目是512 x 512,图6A中的像素的数目是512 x 512(无装仓),在图6B中是128 x 128(4 x 4装仓)且在图6C中是32 x 32(16 x 16装仓)。由于节点的数目保持相同,所以对象的所有重构图像示出相同的放大倍率,无论像素的数目如何。
图6A中所示的重构对象(的相位)与图4A中的重构对象(的相位)相当,如将预期的那样,因为所使用的像素数目是相同的。应注意的是仅示出了相位,因为对于薄样本而言,振幅是一。
使用与图4C中所示的完全失败的重构相同的像素数目的图6B中所示的重构对象(的相位)仍示出极好的结果。应注意的是被重构的对象区域比在图6A中小。
仅使用32 x 32个像素的图6C中所示的重构对象(的相位)也示出极好的结果,虽然具有对象的仍进一步受限的重构部分。即使在此极低的数目下(与在现有技术重构中所需的像素的数目相比),仍获得高质量重构。
应注意的是较小的像素数目不一定意味着计算数目更少:使用越少的像素,需要越多的图像以得到类似的结果。
图7A-7C示出每个像素的检测器平面处的重构振幅(强度的平方根)。再次地,对象平面和检测器平面中的节点数目保持相同,无论检测器的像素数目如何。
应注意的是在检测器数据中的所有重构中,减去了平均亮场贡献,因为(加和)亮场强度比加和暗场强度大了几个数量级。这是对象是薄对象的直接结果。作为此减法的结果,中心区域看起来更暗,同时清楚地示出此区域中的小的变化。还应注意的是这并不是本方法的基本限制,而是仅仅为了更好的图示而完成的。
使用振幅来使得可以看到图案。在暗场斑之外的强度(其是振幅的平方)以其它方式过低以致即使在减去亮场斑强度之后也不能看到某些东西。
节点的数目是512 x 512,图7A中的像素的数目是512 x 512(无装仓),在图7B中是128 x 128(4 x 4装仓)且在图7C中是32 x 32(16 x 16装仓)。由于节点的数目保持相同,所以对象的所有重构图像示出相同的放大倍率,无论像素的数目如何。
图7A-7C示出针对每个像素的构成所述像素的节点的总和。
在图7A中不需要总和,因为节点的数目和像素的数目是相同的,并且在每个像素与每个节点之间存在一对一关系。
在图7B中,每个像素对应于16个节点(4 x 4装仓),并且所示的是像素的强度(对应于所述像素的全部16个节点的总和)。
在图7C中,每个像素对应于256个节点(16 x 16装仓),并且所示的是像素的强度(对应于所述像素的全部256个节点的总和)。
如可以看到的,检测强度的印象彼此相像,虽然重构的粒度不同(取决于像素的数目)。应注意的是检测器数据与重构检测器数据的比较示出了高度的相似性。
图8A示出被表示为512 x 512个节点的一组原对象数据(仿真数据)(的相位)。使用与在先前的情况中相同的(仿真)对象和(仿真)探测器条件。这导致如图8B中所示的检测器数据集,示出了512 x 512个节点的振幅。由于节点是复数,所以仿真输入数据还可以表示相位。在图8C中示出(在检测器平面中的)相位。这些全部是仿真输入数据,并且一个人将希望使用图8B的数据得到与之接近的重构。正常地,这只有通过512 x 512像素检测器才将是可能的。然而,在这种情况中,使用16段检测器(在图10中单独地示出)。在图8D中示出使用仿真输入数据的振幅(由此16段检测器“测量”的信号的平方根)。
图9A示出针对计算第一平面(对象平面)和第二平面(检测器平面)的使用16段检测器和512 x 512个节点的重构对象(的相位)。图9B示出检测器平面中的重构的512 x 512个节点,图9C示出重构相位信息(通常以假彩色表示),并且图9D示出与检测器的段相关联的节点的加和振幅。
如可以看到的,重构对象(的相位)的锐度略小于原对象,但可以辨别(几乎)所有特征。并且,对于可以重构的区域(检测器区域)而言,重构的振幅和相位紧密地类似于原数据。这示出用相对简单的检测器(仅16段)来重构对象的高质量表示是可能的。众所周知的是用于16元素检测器的读出速度可以比512 x 512像素检测器的读出速度高得多。并且,由于段的面积大得多,所以所检测的信号将示出较少的信噪比问题,并且输出信号的动态范围更小,从而减轻了对检测器的需求。
图10示意性地示出在图8A-8D和9A-9D的仿真中使用的16段检测器。检测器由被12个段5-16的环围绕的四个内象限1-4组成。优选地,检测器是硅器件,使用光电二极管技术,或者如在授予Stoyan的美国专利号US8426831B2中所述的使用硼层的更精细的硅器件,但是也可设想基于闪烁体的检测器。
总之,当像素的数目过低时,在执行现有技术叠层成像术时出现问题。通常,需要大量的像素(在装仓之后)以获得对象的高质量重构。本发明人发现通过使用具有比检测器的像素数目更多的节点(例如512 x 512个节点)的计算平面,可以进行对象的高质量重构,即使当使用例如16段检测器或32 x 32像素检测器时。由于较大的像素尺寸,因此拦截较高的通量,减少了对例如检测器S/N比以及动态范围的检测器需求。
引用的非专利文献
[-1-] “Superresolution imaging via ptychography(经由叠层成像术的超分辨率成像)”,A.M. W Maiden等人,J. W Opt. W Soc. W Am. W A,卷28,第四期(2011年4月),第604-612页。
Claims (20)
1.一种叠层成像术成像的方法,包括:
在对象平面中提供对象
在检测器平面中提供像素化检测器,检测器平面通过菲涅耳传播函数与对象平面共轭,像素化检测器被装配成检测波前的强度,
提供辐射源和探测器形成部分,其被装配成在对象平面上形成输入波前,输入波前被对象变换成输出波前,
提供对象的数学估计、菲涅耳传播函数的估计和输入波前的估计、对象的数学估计由第一计算平面中的数个节点表示,每个节点有复值,
通过以下各项来获取至少两个图像:
选择用于照射的对象的区域,
用辐射来照射所述区域,
检测像素化检测器上的检测器波前的强度,从而产生检测器图像,
其中,每个被照射区域与至少一个其它被照射区域重叠;以及
迭代地
更新对象的数学估计,使得在第一计算平面中将对象的数学估计与输入波前的估计相乘之后并在使用菲涅耳传播函数来传播到由第二计算平面的数个节点表示的图像的数学估计之后,检测器图像的像素的检测强度与针对所述至少两个图像的在所述第二计算平面中的图像的数学估计的对应区域的强度匹配,直至满足中断判据为止,
其中:
检测器图像的像素对应于第二计算平面的超过一个节点,并且
在更新期间,使得每个检测器像素的测量强度与对应的数个节点的强度匹配。
2.根据权利要求1所述的方法,所述方法还包括迭代地更新输入波前的估计。
3.根据权利要求2所述的方法,其中,检测器平面是衍射平面或与衍射平面共轭的平面,并且菲涅耳传播函数是傅立叶变换。
4.根据权利要求2所述的方法,其中,像素化检测器的每个像素对应于第二计算平面的整数个节点,所述整数大于一。
5.根据权利要求2所述的方法,其中,所述像素被形成为扇区或段或其部分。
6.根据权利要求2所述的方法,其中,在迭代更新过程中忽视像素化检测器的至少一个像素的信号,并且在迭代更新过程期间不更新与所述像素相关联的第二计算平面中的对应节点。
7.根据权利要求2所述的方法,其中,辐射是来自光子辐射或微粒辐射的群组的辐射,光子辐射包括红外、可见光、紫外光和X射线,并且微粒辐射包括电子、中子、原子以及离子。
8.根据权利要求2所述的方法,其中,更新对象的数学估计包括:
使用对象的估计、菲涅耳传播函数的估计和输入波前的估计来计算针对第二计算平面的节点的复值,
针对像素化检测器的每个像素,对与每个像素相关联的第二计算平面的节点处的复值进行缩放,使得检测器图像的像素的检测强度与所产生的第二计算平面中的图像的数学估计的对应节点的整体强度匹配,
将所产生的图像的数学估计传播回到对象平面,
更新对象的估计。
9.根据权利要求1所述的方法,其中,检测器平面是衍射平面或与衍射平面共轭的平面,并且菲涅耳传播函数是傅立叶变换。
10.根据权利要求1所述的方法,其中,像素化检测器的每个像素对应于第二计算平面的整数个节点,所述整数大于一。
11.根据权利要求1所述的方法,其中,所述像素被形成为扇区或段或其部分。
12.根据权利要求1所述的方法,其中,在迭代更新过程中忽视像素化检测器的至少一个像素的信号,并且在迭代更新过程期间不更新与所述像素相关联的第二计算平面中的对应节点。
13.根据权利要求1所述的方法,其中,辐射是来自光子辐射或微粒辐射的群组的辐射,光子辐射包括红外、可见光、紫外光和X射线,并且微粒辐射包括电子、中子、原子以及离子。
14.根据权利要求1所述的方法,其中,更新对象的数学估计包括:
使用对象的估计、菲涅耳传播函数的估计和输入波前的估计来计算针对第二计算平面的节点的复值,
针对像素化检测器的每个像素,对与每个像素相关联的第二计算平面的节点处的复值进行缩放,使得检测器图像的像素的检测强度与所产生的第二计算平面中的图像的数学估计的对应节点的整体强度匹配,
将所产生的图像的数学估计传播回到对象平面,
更新对象的估计。
15.一种装置,其装配有:
辐射源和被配置成形成探测器的探测器形成部分;
对由辐射源产生的辐射敏感的像素化检测器;以及
控制器,其被编程以执行根据权利要求1所述的方法。
16.根据权利要求15所述的装置,其中:
辐射源是电子源;
探测器形成部分包括电子光学透镜和偏转器;并且
像素化检测器是像素化电子检测器。
17.根据权利要求15所述的装置,其中:
辐射源是X射线源;
探测器形成部分包括示出小孔的光阑;并且
像素化检测器是像素化X射线检测器。
18.根据权利要求15所述的装置,其中:
辐射源是光源;
探测器形成部分包括近场扫描光学显微镜探测器;并且
像素化检测器是像素化光检测器。
19.根据权利要求15所述的装置,其中,像素化检测器包括CCD或CMOS芯片。
20.根据权利要求15所述的装置,其中,对象通过机械扫描相对于探测器移动。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15172752.6 | 2015-06-18 | ||
EP15172752.6A EP3106862B1 (en) | 2015-06-18 | 2015-06-18 | Method of ptychographic imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106257323A CN106257323A (zh) | 2016-12-28 |
CN106257323B true CN106257323B (zh) | 2019-04-30 |
Family
ID=53489830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610431548.0A Active CN106257323B (zh) | 2015-06-18 | 2016-06-17 | 叠层成像术成像的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9959639B2 (zh) |
EP (1) | EP3106862B1 (zh) |
JP (1) | JP6416825B2 (zh) |
CN (1) | CN106257323B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107796837B (zh) * | 2017-10-09 | 2019-10-29 | 南京大学 | 一种成像装置、成像方法及成像系统 |
US10755892B2 (en) * | 2018-05-23 | 2020-08-25 | Kla-Tencor Corporation | Reflection-mode electron-beam inspection using ptychographic imaging |
WO2020131864A1 (en) * | 2018-12-18 | 2020-06-25 | Pathware Inc. | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens |
CN110411983B (zh) * | 2019-07-26 | 2022-05-27 | 南方科技大学 | 一种高分辨率衍射成像方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080095312A1 (en) * | 2004-04-29 | 2008-04-24 | Rodenburg John M | High Resolution Imaging |
US20120140986A1 (en) * | 2010-12-03 | 2012-06-07 | Phase Focus Limited | Providing image data |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8138485B2 (en) | 2007-06-25 | 2012-03-20 | Asml Netherlands B.V. | Radiation detector, method of manufacturing a radiation detector, and lithographic apparatus comprising a radiation detector |
JP5764380B2 (ja) | 2010-04-29 | 2015-08-19 | エフ イー アイ カンパニFei Company | Sem画像化法 |
GB201016088D0 (en) * | 2010-09-24 | 2010-11-10 | Phase Focus Ltd | Improvements in imaging |
GB201107053D0 (en) * | 2011-04-27 | 2011-06-08 | Univ Sheffield | Improvements in providing image data |
GB201112119D0 (en) * | 2011-07-14 | 2011-08-31 | Univ Sheffield | Method and apparatus for position determination |
US8704176B2 (en) | 2011-08-10 | 2014-04-22 | Fei Company | Charged particle microscope providing depth-resolved imagery |
EP2690648B1 (en) | 2012-07-26 | 2014-10-15 | Fei Company | Method of preparing and imaging a lamella in a particle-optical apparatus |
GB201215558D0 (en) * | 2012-08-31 | 2012-10-17 | Phase Focus Ltd | Improvements in phase retrieval |
CN108761752A (zh) * | 2012-10-30 | 2018-11-06 | 加州理工学院 | 傅立叶重叠关联成像系统、设备和方法 |
US9864184B2 (en) * | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
EP2879156A1 (en) | 2013-12-02 | 2015-06-03 | Fei Company | Charged-particle microscopy with enhanced electron detection |
EP2887381B1 (en) | 2013-12-18 | 2016-09-21 | Fei Company | Method of investigating the wavefront of a charged-particle beam |
EP2911180A1 (en) | 2014-02-24 | 2015-08-26 | FEI Company | Method of examining a sample in a charged-particle microscope |
-
2015
- 2015-06-18 EP EP15172752.6A patent/EP3106862B1/en active Active
-
2016
- 2016-06-14 JP JP2016117624A patent/JP6416825B2/ja active Active
- 2016-06-17 US US15/186,267 patent/US9959639B2/en active Active
- 2016-06-17 CN CN201610431548.0A patent/CN106257323B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080095312A1 (en) * | 2004-04-29 | 2008-04-24 | Rodenburg John M | High Resolution Imaging |
US20120140986A1 (en) * | 2010-12-03 | 2012-06-07 | Phase Focus Limited | Providing image data |
Also Published As
Publication number | Publication date |
---|---|
US9959639B2 (en) | 2018-05-01 |
JP6416825B2 (ja) | 2018-10-31 |
US20170024908A1 (en) | 2017-01-26 |
EP3106862A1 (en) | 2016-12-21 |
EP3106862B1 (en) | 2019-01-16 |
JP2017009603A (ja) | 2017-01-12 |
CN106257323A (zh) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104885187B (zh) | 傅立叶重叠关联成像系统、设备和方法 | |
US9658443B2 (en) | Optics apparatus with detection of light rays received at different angles for output indicative of aliased views | |
EP2585853B1 (en) | Calibration of a probe in ptychography | |
JP6051245B2 (ja) | 荷電粒子顕微鏡内で試料を検査する方法 | |
CN106257323B (zh) | 叠层成像术成像的方法 | |
JP2020537123A (ja) | 結像装置、結像方法および結像システム | |
JP5968677B2 (ja) | 荷電粒子顕微鏡を用いる試料検査方法 | |
EP2356487B1 (en) | Provision of image data | |
US9116120B2 (en) | Three dimensional imaging | |
WO2016070771A1 (zh) | X射线相衬成像系统与成像方法 | |
CN106324853B (zh) | 一种可见光域双物距叠层成像方法 | |
CN107111118A (zh) | 用于厚样本的epi照明傅立叶重叠关联成像 | |
CN107966801A (zh) | 一种基于环形照明的高速傅立叶叠层成像装置及重构方法 | |
JP2020503633A (ja) | 低解像度検査画像から高分解能点拡がり関数を再構築するシステム及び方法 | |
CN106057619A (zh) | 具有多束和后探测图像校正的扫描透射电子显微镜 | |
EP3722861A1 (en) | Observation method using microscope and transmission-type microscopic device | |
CN110567959B (zh) | 一种自适应像差校正图像扫描显微成像方法 | |
US11385164B2 (en) | Method for calibrating an analysis device, and associated device | |
KR102659201B1 (ko) | Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법 | |
CN110411983B (zh) | 一种高分辨率衍射成像方法及装置 | |
Liu et al. | An Efficient and Robust Self-calibration Algorithm for Translation Position Errors in Ptychography | |
Vieira et al. | Truncation robust centroiding for wavefront sensors | |
JPH08261959A (ja) | 電子顕微鏡及びこれを用いた原子種同定方法 | |
Kharfi et al. | Temporal and Spatial Resolution Limit Study of Radiation Imaging Systems: Notions and Elements of Super Resolution | |
JP2016001576A (ja) | 透過型電子顕微鏡の分解能検定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |