CN102760629A - 用于使用粒子光学设备来确定重构图像的方法 - Google Patents

用于使用粒子光学设备来确定重构图像的方法 Download PDF

Info

Publication number
CN102760629A
CN102760629A CN2012101254491A CN201210125449A CN102760629A CN 102760629 A CN102760629 A CN 102760629A CN 2012101254491 A CN2012101254491 A CN 2012101254491A CN 201210125449 A CN201210125449 A CN 201210125449A CN 102760629 A CN102760629 A CN 102760629A
Authority
CN
China
Prior art keywords
particle
detector
pixel
image
picture element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101254491A
Other languages
English (en)
Other versions
CN102760629B (zh
Inventor
M.凯珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEI Co
Original Assignee
FEI Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEI Co filed Critical FEI Co
Publication of CN102760629A publication Critical patent/CN102760629A/zh
Application granted granted Critical
Publication of CN102760629B publication Critical patent/CN102760629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26Electron or ion microscopes; Electron or ion diffraction tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Radiation (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

描述了一种用于使用粒子光学设备来确定重构图像的方法。该粒子光学设备包括用于产生一束粒子的粒子源、可以将要成像的对象放置在其上面的对象平面、用于用该束粒子照亮对象平面的聚光器系统、用于形成对象平面的图像的投影系统以及用于检测图像的检测器,所述检测器包括具有像素阵列的半导体传感器,其用于响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号。该方法包括接收多个像素信号,通过对所述多个信号使用维特比检测来确定重构图像,该维特比检测使用与入射在检测器上的粒子的多个配置相对应的多个不同状态,所述多个不同状态中的至少两个状态对应于所述多个像素信号的单个像素上的入射粒子的相同、非零多重度。

Description

用于使用粒子光学设备来确定重构图像的方法
技术领域
本发明涉及一种用于使用粒子光学设备来确定重构图像的方法。该粒子光学设备包括用于产生一束粒子的粒子源、可以将要成像的对象放置在其上面的对象平面、用于用该束粒子来照亮对象平面的聚光器系统、用于通过在图像平面上对通过对象透射的粒子进行成像来形成对象平面的图像的投影系统以及用于检测图像的检测器,其中,所述检测器包括具有像素阵列的半导体传感器,所述半导体传感器用于响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号。
本发明还涉及被布置为执行此类方法的粒子光学设备。
本发明还涉及包括用于促使处理器系统执行此类方法的指令的计算机程序产品。
背景技术
在TEM中,也称为样本的对象用一束电子进行照射,该电子具有例如在50 keV和400 keV之间的能量。某些电子通过样本被透射,并且这些电子聚焦在图像平面上以形成样本的放大图像。用投影系统实现了图像平面上的样本的成像,该投影系统能够被设置为例如在103和106倍之间的可配置放大倍率。通常,将诸如CCD照相机或CMOS照相机的检测器放置在图像平面中,由此检测图像。此类检测器可以例如具有半导体传感器,该半导体传感器具有布置成二维阵列的4k×4k像素。用此类检测器,电子撞击在CCD或CMOS传感器的半导体芯片上并产生电子空穴对,从而形成将被CCD或CMOS芯片检测的电荷。
对于某些应用而言,要求非常低的剂量的电子。 例如,生物材料可以在每0.1nm×0.1 nm 10~30个电子的剂量下在8~10秒的帧时间内退化。这可能导致检测器处的每个像素0.001~0.1个电子或以下的平均剂量。 虽然CCD和CMOS照相机正在不断地改进,但信噪比(SNR)和调制传递函数(MTF)仍可以限制检测器的性能。 对于TEM中的示例性直接电子检测CMOS照相机而言,一个入射电子可以产生几千个电子空穴对,其在例如5×5像素的区域上扩散并最终在5×5像素中产生约总共240个输出信号计数。 结果,点扩展函数(PSF)可以明显大于空间采样尺寸(一个像素)。 下面,对PSF的长度的任何参考在像素的数目方面可以参考PSF的宽度:当电子空穴对在5×5像素的区域上扩散时,长度是五。 在传感器的半尼奎斯特频率下,实现了小于0.5的MTF。 尼奎斯特下的MTF接近于零。 这导致MTF和因此的分辨率的损失。 其次,中心像素处的峰值计数可以大致为30个计数,而半导体传感器的暗电流噪声通常可以在0和30个计数之间变化。 这导致约1的SNR。 在这些低剂量下,SNR和MTF两者都确定图像质量。 由于相对高的噪声水平,类似于图像反卷积的已知图像改进技术对于从此噪声和点扩展函数恢复不是非常成功的。 除暗电流噪声之外,针对单个入射电子在半导体传感器中产生的电子空穴对的数目和因此的每电子沉积的能量的数目也在很大范围内变化且影响SNR。 300 keV的一个入射电子可以例如导致在0和80.000之间的任何数目的电子空穴对和检测电荷中的相应的扩展(spread)。 下面,将用具有表示一定数目的信号计数的信号强度的相应像素信号来表示由半导体芯片的像素检测的电荷。
通过将像素信号与所谓阈值检测中的预定参考水平相比较来确定在像素上是否存在电子是已知的。 然而,此类阈值检测在剂量低时和SNR约为1时可以导致许多错误检测。
为了克服点扩展函数的效应,已经提出使用部分响应(PR)检测,其使用与点扩展函数类似的部分响应函数。 对于二值图像而言,已经成功地提出了部分响应最大似然(PRML)检测和维特比(viterbi)检测。 然而,本发明人已经发现此类已知方法在应用于在TEM中获得的图像时未给出令人满意的结果,尤其是在不存在SNR约为1的情况下和/或在用于单个入射电子的信号计数中的扩展大时。
上述方法的缺点时可能损害可实现的分辨率。 尤其是当剂量低时,不可能以充分的可靠性确定每个像素上的入射电子的数目。
发明内容
本发明意图提供一种方法,其中,改善了由诸如TEM的粒子光学设备中的检测器获取的图像的质量,尤其是在低剂量下并且在诸如电子的单个入射粒子的信号例如由于半导体传感器中的扩散而在多个像素上扩展的情况下。
出于此目的,根据本发明的方法包括:
· 接收多个像素信号;以及
· 通过对多个像素信号使用维特比检测来确定重构图像,
维特比检测使用与入射在检测器上的粒子的多个配置相对应的多个不同状态,以及
所述多个不同状态中的至少两个状态对应于所述多个像素信号的单个像素上的入射粒子的相同、非零多重度(multiplicity)。
单个像素上的入射粒子的非零多重度可以特别地是一个,由此,所述多个不同状态中的至少两个状态对应于入射在单个像素上的单个电子。 在本实施例中,维特比检测可以使用所述多个不同状态中的第一状态,其中,单个电子入射在像素上并产生第一像素信号,即第一数目的像素计数,以及使用所述多个不同状态中的第二状态,其中,再次地,单个电子入射在像素上,但是其中,所述单个电子产生不同的第二像素信号,即不同于第一数目的第二数目的像素计数。 第一和第二状态因此均可以涉及其中单个电子入射在像素上、但具有不同信号计数的配置。 与其中不使用包括至少此类第一状态和此类第二状态的此类多个的已知维特比检测方案相反,该维特比检测因此可以成功地计及来自单个入射电子的生成数目的电子空穴对中的大的扩展和检测电荷中的相应扩展。
在本文中,术语“粒子”不包括光子,而是指的是具有不同于零的静止能量的粒子。 术语“粒子”可以特别地指的是电子。 粒子光学设备可以例如包括TEM。
在根据本发明的方法的实施例中,使用粒子的不同多重度对不同状态进行建模。
在本实施例中,可以例如对状态进行建模,如同所有电子产生基本上相同数目的电子空穴对和因此基本上相同的像素信号、即预定信号计数一样。 然后可以将第一状态建模为具有相应的预定像素计数的一个电子,而可以将第二状态建模为两个电子,每个产生相应的预定像素计数,即具有单个电子的两倍像素计数。 当维特比检测判定第二状态是最有可能状态时,然而维特比检测将输出存在单个电子。 尤其是当剂量相对低时和预定信号计数被适当选择时,这则可以改善重构图像,因为在单个像素上具有两个电子的可能性然后可以明显小于单个电子易导致较大信号计数的可能性。
在根据本发明的方法的实施例中,使用(一个或多个)粒子的不同沉积能量对不同状态进行建模。
在本实施例中,维特比检测的状态明确地考虑到单个电子可以导致不同的像素计数。 第一状态可以例如涉及第一预定信号计数的单个电子且第二状态可以例如涉及第二不同预定信号计数的单个电子,第二预定信号计数例如是第一预定信号计数的两倍。 维特比检测因此将不仅导致对电子是否入射在像素上的确定,而且在其存在时,还提供电子的可能信号计数。
在根据本发明的方法的实施例中,在对(一个或多个)粒子的沉积能量进行建模时使用不同的点扩展函数对不同状态进行建模。
在本实施例中,第一状态可以例如涉及单个电子根据第一点扩展函数在多个相邻像素中产生像素计数,并且第二状态可以例如涉及单个电子根据第二点扩展函数在多个相邻像素中产生像素计数,第二点扩展函数不同于第一点扩展函数。 维特比检测因此可以响应于入射在像素上的单个电子而计及可能的不同信号计数分布。 不同的点扩展函数可以例如对应于不同的相对振幅和/或不同形状和/或不同长度。
在根据本发明的方法的实施例中,在维特比检测的不同迭代中使用不同的状态。
在本实施例中,维特比检测在例如第一迭代中使用对应于导致第一大像素计数的入射电子的第一状态以及其中使用对应于导致第二较小像素计数的入射电子的第二状态的第二迭代。 在第一迭代之后,可以对来自所有检测电子的贡献进行建模并从像素信号去除。 从而,第一迭代检测具有高像素计数的电子且第二迭代检测具有低像素计数的电子。
优选地,在连续迭代中使用的状态对应于单个电子的减小的信号水平。
在根据本发明的方法的实施例中,其中,像素阵列是一维阵列。
半导体传感器因此形成线传感器,其可以例如沿着图像平面扫描。 使用此类线传感器由于降低的计算复杂性和存储器要求而可能是有利的,因为维特比检测仅须容纳来自一个维度的相邻像素的贡献。 维特比检测因此可以使用与其中使用二维阵列并且必须考虑其中电子在像素的二维环境中入射的状态的情况相比较小数目的状态。
在根据本发明的方法的实施例中,像素阵列是二维阵列且维特比检测被应用于二维阵列的每行像素的像素信号序列。
在本实施例中,维特比检测基本上逐行地操作。 从而,与全二维维特比检测相比,降低了在维特比检测中考虑的状态的数目—和因此的计算复杂性和存储器要求,而使用维特比检测的益处在很大程度上仍存在。 维特比检测优选地使用二维PSF且针对每个状态考虑行上的像素周围的二维区域中的像素的贡献,以便最佳地对像素信号进行建模。
在根据本发明的方法的实施例中,像素阵列是二维阵列且维特比检测被应用于二维阵列的每列像素的像素信号序列。
在本实施例中,维特比检测基本上逐列地操作,具有与在逐行地操作时类似的优点和效果。
在另一实施例中,维特比检测使用具有逐行操作的第一迭代和具有逐列操作的第二迭代,在此之后,第一和第二迭代的结果被组合以获得维特比检测的输出。 该组合可以例如包括求平均或基于从第一和第二迭代获得的已确定路径度量的选择。
在其它实施例中,维特比检测的状态对应于入射在检测器上的粒子的预定二维配置。
维特比检测因此可以例如确定来自入射在行或列上的各像素上的粒子以及来自入射在相邻行或列的像素上的粒子(其也可以对像素信号有所贡献)的贡献。 可以将本实施例称为逐条维特比检测。
在根据本发明的方法的实施例中,该方法还包括在已检测像素上的一个或多个入射粒子之后,从所述多个像素信号去除来自所检测的一个或多个入射粒子的贡献。
在本实施例中,所考虑的所述多个像素信号基本上免于来自已被检测的电子的贡献。因此可以改善计算复杂性和/或稳健性。
在根据本发明的方法实施例中,维特比检测使用PR(13531)或PR(13531)2响应。
此类PR响应已被发现导致计算复杂性和存储器要求与维特比检测的性能之间的良好平衡。 可以将半导体传感器的所述多个像素确定尺寸并布置为使得扩散模式基本上对应于与此类PR响应相对应的点扩展函数。
可以使用替换PR响应,并且例如依照入射在半导体传感器上的粒子的能量沉积模式进行选择。
在根据本发明的方法的实施例中,维特比检测使用已在维特比检测中使用的点扩展函数的长度的2~5、优选地2~4、更优选地3~4倍范围内的路径存储器长度,点扩展函数对应于在维特比检测中使用的PR响应。
本发明人已发现在在指示范围内选择路径存储器的长度的情况下,获得计算复杂性和存储器要求与维特比检测的性能之间的良好平衡。
在根据本发明的方法的实施例中,由检测器检测的图像包括在每个像素0.0001~0.5、优选地0.001~0.3、更优选地0.01~0.1粒子范围内的剂量。
本发明人已发现根据本发明的维特比检测在剂量在指示范围内时。 这些范围特别适合于允许有合理地低数目的状态和因此的合理的计算复杂性,同时保持良好性能。
在根据本发明的方法的实施例中,该方法包括:
· 在检测对象的第一图像时响应于入射在检测器上的粒子从阵列的各像素接收第一多个像素信号,
· 通过对第一多个像素信号使用维特比检测来确定第一重构图像,
· 在检测对象的第二图像时响应于入射在检测器上的粒子从阵列的各像素接收第二多个像素信号,
· 通过对第二多个像素信号使用维特比检测来确定第二重构图像,以及
· 将第一重构图像和第二重构图像组合以形成重构图像。
该方法还可以包括在检测对象的至少一个相应的另外图像时响应于入射在检测器上的粒子从阵列的各像素接收至少一个另外多个像素信号,通过对所述相应的另外多个像素信号使用维特比检测来确定至少一个另外重构图像,并将第一重构图像、第二重构图像和至少一个另外重构图像组合以形成重构图像。 因此,该方法获取并处理相同对象的两个或更多重构图像,并将对应的重构图像组合以形成重构图像。 所述两个或更多重构图像可以例如是在低剂量下获取的,该低剂量例如被选择为防止对对象的损坏,同时通过将两个或更多重构图像组合获得的重构图像可以有效地对应于较高剂量。 从而,可以改善重构图像的质量。 将第一和第二(以及(如果适用的话)另外的)重构图像组合可以例如包括第一和第二(以及(如果适用的话)另外的)重构图像的相加或平均,但是在其它实施例中可以包括针对第一和第二(以及(如果适用的话)另外的)重构图像之间的移位和/或失真进行修正。 可以例如根据被组合的第一和第二(以及(如果适用的话)另外的)重构图像来确定移位和/或失真。 该移位和/或失真可以替换地是由粒子光学设备的其它部分预定或提供的,该其它部分例如来自投影系统。
在根据本发明的方法的实施例中,该方法包括:
· 产生一束粒子,
· 将要成像的对象放置在对象平面上,
· 用该束粒子照亮对象平面,
· 通过在图像平面上对通过对象透射的粒子进行成像来形成对象平面的图像,以及
· 用包括半导体传感器的检测器来检测图像并响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号。
本发明的另一方面提供了一种粒子光学设备,包括:
· 粒子源,其用于产生一束粒子,
· 对象平面,可以在其上面放置要成像的对象,
· 聚光器系统,其用于用该束粒子来照亮对象平面,
· 投影系统,其用于通过在图像平面上对通过对象透射的粒子进行成像来形成对象平面的图像,
· 检测器,其用于检测图像,该检测器包括具有像素阵列的半导体传感器,该半导体传感器用于响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号,以及
· 信号处理器,其被布置为:
   ○ 接收所述多个像素信号,以及
   ○ 通过对多个像素信号使用维特比检测来确定重构图像,
         维特比检测使用与入射在检测器上的粒子的多个配置相对应的多个不同状态,以及
         所述多个不同状态中的至少两个状态对应于所述多个像素信号上的单个像素上的入射粒子的相同、非零多重度。
信号处理器可以是检测器的一部分,或者被布置为与检测器通信的单独单元。
在本发明的另一方面,提供了包括用于促使处理器系统执行所阐述的方法的指令的计算机程序产品。
本领域的技术人员将认识到的是可以以认为有用的任何方式将本发明的上述实施例、实施方式和/或方面中的两个或更多组合。
对应于方法的所述修改和变更的粒子光学设备和/或计算机程序产品的修改和变更可以由本领域的技术人员基于本说明来执行。
在所附权利要求中定义了本发明。在从属权利要求中定义了有利实施例。
附图说明
现在参考附图来描述本发明,在附图中,相同的附图标记指示相应的元件。在附图中:
· 图1示意性地示出根据本发明的设备,
· 图2示出示例性维特比检测器的状态和转变的示例,
· 图3~图5举例说明维特比检测器的操作,
· 图6示出供本发明的实施例中的维特比检测器使用的状态和转变的示例,
· 图7举例说明图6的维特比检测器的操作,
· 图8~图9举例说明供其它实施例使用的状态的示例,
· 图10示意性地示出二维半导体传感器,
· 图11~图12示意性地举例说明根据实施例的二维的操作,
· 图13示意性地举例说明另一实施例,
· 图14~图15举例说明供其它实施例使用的状态的示例,
· 图16~图17示意性地举例说明另一实施例,
· 图18A和18B示意性地举例说明像素信号的信号水平,
· 图19示出根据本发明的方法的模拟的结果,
· 图20示意性地示出根据实施例的方法的概观,
· 图21示意性地举例说明另一实施例,
· 图22示出包括计算机程序产品的计算机可读介质。
图1示意性地示出根据本发明的设备。其示出TEM,包括经由管121被真空泵122抽空的真空外壳120。电子源101形式的粒子源沿着粒子光学轴100产生一束电子。该粒子源可以是任何类型的电子源,诸如,例如场发射枪、肖特基发射器或热电子发射器。电子源可以是例如场发射枪、肖特基发射器或热电子发射器。然后将电子加速至通常在80~300 keV之间的可调整能量,虽然使用具有例如50~500 keV的可调整能量的电子的TEM是已知的。偏转器102将粒子束在限束孔口103上集中于中心。射束然后通过包括两个透镜104的聚光器系统。
样本111被操纵器112保持,其将样本定位于物镜105的对象平面中。样本被包括透镜106的投影系统成像到荧光屏107上,并且能够通过窗口108观看。荧光屏107被连接到铰链109且能够缩回/折叠起来,使得由投影系统产生的图像被成像在检测器150上。应注意的是可能需要使投影系统重新聚焦,从而在检测器150而不是荧光屏上形成图像。在屏幕上或检测器上形成的图像通常具有在103至106倍之间的放大倍率,并且可以显示出小到0.1nm或者更小的细节。还应注意的是投影系统可以形成中间图像。
检测器150包括用于检测撞击电子的半导体传感器151,诸如电荷耦合器件(CCD)或CMOS器件。半导体传感器151具有布置成二维阵列的多个像素(在图1中未示出)。一个入射电子可以产生在阵列的例如5×5像素的区域上扩散的几千个电子空穴对,其中,电荷被收集而产生像素信号。可以将像素信号称为‘原始像素数据’或‘数据样本’。可以将所述多个像素信号称为‘原始图像’。检测器150还包括信号处理器152,其用于处理像素信号并确定改善的图像,表示入射在检测器150上的电子的配置的重构。还可以将改善图像称为‘输出图像’。
应注意的是在替换实施例中,还可以以其它配置来布置所述多个像素,诸如以一维阵列,从而形成线传感器。线传感器可以是相对于投射的图像可移动的,以获得一起形成二维图像的一系列一维图像。
应注意的是图1仅示出典型TEM的示意性描述,并且实际上,TEM包括更多的偏转器、孔口等。并且,具有用于修正物镜105的像差的修正器的TEM是已知的,所述修正器采用多极和圆形透镜。还可以使用其它检测器,诸如二次电子检测器、X射线检测器等。可以将这些检测器定位于样本的面对枪的一侧或样本的面对检测器150的一侧。
图1还示出将TEM连接到用户接口系统的接口设备160,所述用户接口系统在本文中被示为计算机,具有诸如键盘和鼠标的输入装置170和诸如显示屏的可视化装置175。用户接口系统还可以具有存储设备,诸如硬盘驱动器和光盘驱动器,以及用于与诸如USB棒的可移动固态存储器连接和/或用于连接到诸如因特网或本地网的网络的对接设备。接口设备160还被连接到检测器150以便从检测器150获得输出图像并向用户接口系统提供输出图像。此外,接口设备160被连接到允许用户修改信号处理器152的设置的信号处理器152。此外,接口设备160被连接到TEM以便从用户接口设备操作TEM,例如允许用户使用输入装置来输入命令以操作TEM的各部分,诸如,例如以操作真空泵122、电子源101、操纵器112和铰接屏幕107。
信号处理器152被布置为处理原始像素信号并确定输出图像,其表示入射在检测器150上的电子的配置的重构。使用阈值检测器来处理原始像素信号是已知的,其将每个原始像素信号与预定阈值值相比较,并在原始像素信号大于预定阈值值时确定存在入射电子,而在原始像素信号小于预定阈值值时确定不存在入射电子。然而,此类阈值检测仅在信噪比大到足以区别噪声(导致低于预定阈值的原始像素信号)和电子的存在(导致预定阈值以上的原始像素信号)时显示出足够的性能。然而,当剂量低时,此类阈值检测将不会得到令人满意的性能。此外,一个入射电子将在半导体传感器中的多个相邻像素中产生信号,其可以用点扩展函数来表征且可以将其称为符号间干扰(ISI)。使用反卷积技术来适应此类ISI是已知的,但是已知反卷积技术在信噪比非常差时不会得到令人满意的性能。
对于与二进制数据相对应的一维信号以及与二进制数据相对应的二维信号而言,使用称为维特比检测的信号处理技术是已知的。维特比检测器使用称为动态编程的技术以高效的方式执行最大似然检测。至此,维特比检测器对数据样本序列进行操作。在数据存储器中,此序列对应于时域中的数据样本序列,但是在图像重构的实施例中,该序列对应于相邻像素序列。维特比检测的中心是状态的概念:状态对应于原始数据的可能配置。下面将给出示例。当考虑序列的下一个数据样本时,考虑当前数据样本的(一个或多个)可能状态与下一个数据样本的(一个或多个)可能状态之间的转变。可以对每个转变赋予权值以指示此类转变的可能性。可以通过评估像素的实际状态与像素状态的模型之间的差来确定该权值。可以例如用使用模型针对状态获得的像素信号的计算来表示像素的状态模型,所述模型在忽视噪声的同时对与状态相对应的原始数据的配置贡献进行建模,由此获得建模像素信号。然后可以将该权值确定为例如实际像素信号和建模像素信号的差的绝对值。可以在实际像素信号与多个建模信号(每个状态一个)之间计算此类权值。对于表示实际配置的状态而言,权值将基本上仅仅是噪声。对于其它状态而言,该值将偏离更多。为了改善性能,维特比检测器不基于将单个像素与所有可能状态相比较来进行判定,而是替代地使用状态序列。序列的连续状态的数目被称为路径存储器长度。路径存储器长度优选地在PSF的长度的2和5倍之间,优选地在3和4倍之间。状态序列包括连续状态之间的转变,每个具有其各自的权值。在此类序列中,将关于一个转变(从一个数据样本至下一个)的权值称为‘分支度量’。状态序列的所有权值的和被称为‘路径度量’。状态序列和连续状态之间的转变被称为格子结构(trellis)图。维特比检测指的是通过格子结构图找到具有最低路径度量的路径。完整最大似然检测器将通过格子结构图来评估并跟踪所有可能的路径。通过仅仅跟踪可以得到具有最低度量的路径的那些路径,降低了维特比检测器的复杂性。至此,维特比检测器针对每个状态沿着格子结构确定哪个/些路径具有沿着格子结构通向该状态的最小路径度量,并将其保持为‘(一个或多个)幸存路径’,而其它(一个或多个)路径被丢弃不用于进一步使用。
维特比检测已被开发为用于数据存储和移动通信。由此,维特比检测能够适应符号间干扰和噪声,条件是能够很好地对系统的特性进行建模。现在,描述已知类型的维特比检测的示例。本示例涉及具有二进制输入信号(即具有数据值‘0’或‘1’)和点扩展函数PSF=(121)的示例性系统,点扩展函数PSF=(121)定义每个数据值‘1’在相邻数据样本中导致相对信号贡献1:2:1,而数据值‘0’不导致数据贡献。该系统具有白噪声。此外,该系统的特征在于在两个‘1’之间应存在至少两个‘0’的行程长度约束。
图2示出此类示例性维特比检测器的状态和转变的示例。
如图2所示,维特比检测器具有多个200状态,由标记为s0的一个状态(具有‘0’的三个连续数据值)和标记为s1、s2和s3的三个不同状态(具有一个数据值‘1’和两个数据值‘0’)组成。还可以将状态s0、s1、s2和s3称为‘000’、‘001’、‘010’和‘100’。图2显示行程长度约束定义从多个200状态至下一批多个状态202的多个转变204:状态s0后面只能是状态s0或s1,如转变t00和t01所示,状态s1后面只能是状态s2,如转变t12所示,状态s2后面只能是状态s3,如转变t23所示,状态s3后面只能是状态s0和s1,如转变t30和t31所示。
图3和图4举例说明维特比检测器的操作。
图3示出在框中指示的值‘0’或‘1’的多个k=0、…、9个连续输入数据值ak 222。对于k<0而言,所有输入数据值被视为0。图3还示出相应的数据样本rk 224。虚框230指示在用于维特比检测器的第一检测的路径存储器长度L上所考虑的数据样本的范围。可以通过用输入数据值对PSF=(121)求卷积来获得建模的、无噪声检测器值xi:对于每个状态的中心像素而言,状态s0、s1、s2和s3因此对应于建模的、无噪声检测器值x0=0、x1=1、x2=2和x3=1。
图3还示出格子结构210。格子结构210指示连续状态之间的所有可能转变。格子结构还指示幸存路径216,即具有用于沿着格子结构向上的后续状态的最低加和分支度量。作为分支度量BM,使用建模的、无噪声检测器值xi和数据样本rk之间的绝对差,即
BM = | xi – rk | 。
技术人员将认识到可以使用替换分支度量BM',例如:
BM’ = ( xi – rk )2  。
作为示例,在k=0处,输入数据值a0=1,无噪声检测器值是x0=0、x1=1、x2=2和x3=1、r0=2,因此,分支度量BM = | xi – rk |是:BM(s0) = 2、BM (s1) = 1、BM(S2) = 0、BM (s3) = 1。因此,从具有相应分支度量2和1的转变t00和t30选择通向作为后续状态的s0的幸存路径作为最小值:要在k=1处到达s0,仅保持由从s3进行的转变t30组成的路径作为候选路径,而从s0开始的路径被丢弃。在k=1处通向s1、s2和d3的其它幸存路径分别是t31(转变t21和t31的最低BM)、t12(到s2的唯一可能转变)和t23(到s3的唯一可能转变)。同样的是到在格子结构中用完全错误216指示的k=2、…、9处的状态的幸存路径,并且用虚箭头214丢弃所有被丢弃路径。
维特比检测器在k=8处确定沿着路径存储器长度的所有幸存路径中的哪个具有最低路径度量。对于所示的示例而言,k=8处的路径度量分别是到状态s0、s1、s2和s3的3、3、2和0。因此,通向s3的路径被选作具有表示实际状态序列的最大可能性的路径。维特比检测器追溯此路径至在k=0处的其起源状态,并找到状态s2,即k=0处的‘010’。此状态的最左侧值、即‘0’被作为用于前一位置的输出值输出:用于k=-1的重构输出值因此等于‘0’。
然后,维特比检测器移位至下一个数据样本以获得如图4所示的情况。虚框231指示现在被视为维特比检测器的第二检测的数据样本的范围。
图4的格子结构211对应于210的格子结构,其中,从k=0至k=1的转变被丢弃,并且已经计算了从k=8至k=9的新分支度量并用相应的幸存路径来扩展格子结构211。可以观察到s0和s1两者在k=9处都具有0的路径度量。两者都源自于k=1处的s3。因此,维特比检测器找到状态s3,即k=1处的‘100’,并将用于k=0的重构输出值作为‘1’输出。
维特比检测器可以将这持续至已经确定所有输出值。当正在考虑的数据样本的范围的最右侧值是序列的最后一个值时,维特比检测器可以将完整路径作为用于最后9个状态的输出而输出。替换地,维特比检测器可以将ak=0用于后续数据样本。
上述维特比检测器对其中系统的模型精确到足以对用于输入数据值ak的每个可能配置的无噪声检测器值xi进行建模、其中同时能够获得真实输入信号与噪声之间的足够辨别力的系统而言是非常有效的。此类和类似维特比检测器可以被成功地用来从针对具有大量ISI的一维二进制数据的ISI、即多个数据样本的点扩展函数恢复。并且,此类和类似维特比检测器可以被成功地用来重构二维二进制数据,诸如被用于识别的智能代码。对于二维数据而言,可以例如逐条地使用维特比检测器,其中,沿着行使用维特比检测,并且逐行地或逐条地进行硬判定。然而,如上所述的维特比检测器在TEM图像的情况下并未很好地工作。
图5举例说明用于示例性一维TEM图像的上述维特比检测器的性能。维特比检测器使用与参考图3和4所述的维特比检测器相同的状态和相同的转变。在这些状态及其分支度量中,建模的信号水平被定义为从单个入射电子得到的信号水平的分布的峰值信号水平Epeak。该模型从而使用300 keV的入射电子可以导致在0和80.000之间的任何数目的电子空穴对和检测电荷的相应分布(具有与Landau函数类似的分布,即在信号水平Epeak下强烈地达到峰值)的知识。值‘0’或‘1’的k=0、…、9个连续输入数据值ak 222指示相应像素上的电子的不存在或存在,并在方框中指示。图5还示出相应的数据样本rk 224a,除与位置k=0和k=1有关的r0和r1之外,其等于来自图3的值。本发明人相信用于r0和r1的不同值源自于已导致与对应于Epeak的电荷量相比在传感器中明显更大的电荷量的电子。对于此示例性情况而言,在图5中指示了具有最小路径度量的格子结构和路径。可以观察到的是获得了具有相同最小路径度量的两个路径:一个源自于s2且另一个源自于s3。对于维特比检测器而言,两个路径具有相等的可能性。维特比检测器因此可以根据状态s2输出‘0’或根据状态输出‘1’。然而,正确的输出是‘1’,因为在k=0处存在单个电子。维特比检测器因此可以错误地输出‘0’。
图6示出供本发明的实施例中的维特比检测器使用的状态和转变的示例。
如图6所示,维特比检测器具有多个300状态,由标记为s0的一个状态(具有‘0’的三个连续数据值)、标记为s1、s2和s3的三个不同状态(每个具有一个数据值‘1’和两个数据值‘0’)和标记为s4、s5和s6的三个不同状态(每个具有一个数据值‘2’和两个数据值‘0’)组成。图6还示出允许定义完全格子结构图的所有可允许转变304。
在第一实施例中,图6中的方框中所指示的数值指示入射在单个像素上的电子的数目。与图2相比,因此可以看到用其中不止一个电子入射在同一像素上的状态、即状态s4、s5和s6来扩展状态。根据本实施例,构造新的格子结构且相应的维特比检测器将在k=1处获得状态s6=‘200’,其导致最小路径度量:该格子结构在图7中示出。维特比检测器因此将输出‘2’作为结果,指示相应像素上的两个电子的存在。在已从维特比检测器获得输出之后,根据第一实施例的方法分析来自维特比检测器的输出并将所有非零输出值调整到‘1’。从而,假设单个像素上的两个电子的低符合率,可以使用每像素电子的最大可能多重度(即仅一个而不是两个)作为该方法的输出。因此,在本第一实施例中,维特比检测器的多个不同状态涉及作为该方法的输出的入射电子的相同的多重度(在这种情况下,一个),使用电子的不同的多重度对不同的状态进行建模。应认识到的是对于例如每个像素0.01电子的低剂量而言,并且在适当地选择参考水平的情况下,单个像素上的两个电子的发生频率可以明显小于具有双倍沉积能量的单个电子的发生频率,例如小一个数量级。
在第二实施例中,图6中的方框中所指示的数值指示赋予入射在单个像素上的单个电子的能量仓(bin)。与图2相比,因此可以看到用其中单个电子入射在同一像素上、但具有不同典型能量的状态、即状态s4、s5和s6来扩展状态。根据本实施例,构造新的格子结构且相应的维特比检测器将在k=1处获得状态s6=‘200’,其导致最小路径度量:该格子结构在图7中示出。维特比检测器因此将输出‘2’作为结果,指示相应像素上的能量仓‘2’的单个电子的存在。因此,在本第二实施例中,维特比解码器的多个不同状态涉及作为该方法的输出的入射电子的相同的多重度(在这种情况下,一个),使用(一个或多个)电子的不同沉积能量对不同的状态进行建模。
在另一实施例中,在对(一个或多个)粒子的沉积能量进行建模时使用不同的点扩展函数对不同状态进行建模。不同的点扩展函数可以例如具有不同的振幅,从而对(一个或多个)电子的不同沉积能量进行建模。
图8举例说明使用如图6所示的相同状态的第三实施例。在第三实施例中,维特比解码器在多个迭代中进行操作。在每个迭代中,与多个不同状态一起使用状态s0,所述多个不同状态中的每一个具有特定数据值的一个数据值(对于全部的三个状态具有相同的特定数据值)和‘0’的两个数据值,其中,特定数据值的数据值对于不同状态中的每一个而言位于不同位置处。使用图8所示的示例举例说明第三实施例。该示例在行350中示出用其沉积能量仓‘0’、‘1’或‘2’标记的并具有相应的数据样本352的电子的配置。在所示的示例中,维特比检测器用第一多个360状态s0、s4、s5和s6在第一迭代中操作。可以与第一实施例类似地或替换地与第二实施例中的那些类似地定义状态s4、s5和s6。在第一迭代中,维特比解码器因此将有效地仅重构具有与状态s4、s5和s6的而不是状态s1、s2和s3的相对应的能量的电子。状态的数目因此被减少至4个且转变的数目被减少至6个,由此,相比于与第一和第二实施例相关联的格子结构,格子结构被明显简化。维特比解码器针对所示的示例从此第一迭代输出对应于如372所示的数据值的在370上用E2指示的两个电子。然后从相应的原始数据值352减去对应于找到的电子的数据值372,以得到残余数据值376。残余数据值376然后被用作到维特比解码器的第二迭代的输入,其具有第二多个380状态s0、s1、s2和s3。维特比解码器针对所示的示例从此第二迭代输出在390上用E1指示的两个电子。第一和第二迭代的输出然后被相加以得到被示为390的完整输出:全部的4个电子、E2周围的沉积能量的两个和E1周围的沉积能量的一个已被重构。因此,在第三实施例中,维特比解码器的多个不同状态涉及作为该方法的输出的入射电子的相同的多重度(在这种情况下,一个),在维特比解码器的不同迭代中使用不同的状态。
图9示出第四实施例的状态。第四实施例包括与第一实施例相同的状态以及三个附加不同状态s7、s8和s9,每个具有两个数据值‘2’和一个数据值‘0’。状态s0~s9因此定义具有0、1或2个电子的10个不同状态。如在第一实施例中,在已从维特比检测器获得输出之后,根据第四实施例的方法分析来自维特比检测器的输出并将所有非零输出值调整至‘1’。从而,假设单个像素上的两个电子的低符合率,可以使用每像素电子的最大可能多重度(即仅一个而不是两个)作为该方法的输出。因此,在本第四实施例中,维特比检测器的多个不同状态涉及作为该方法的输出的入射电子的相同的多重度(在这种情况下,一个),在单个像素上使用电子的不同的多重度对不同的状态进行建模。第四实施例的优点可以是以更多的状态为代价,能够容纳更大的剂量,导致更大的存储器要求和更大的计算负荷。
应认识到的是本发明不限于上述示例性实施例,而且包括例如其它PSF和除两个或比两个更大数目的能量仓之外的其它的电子多重度。
上述实施例使用一维数据序列。可以将实施例扩展至二维数据序列,其是如下所述地例如从像素的二维阵列获得的。
图10示意性地示出以多个列(示出了其中的15个;未编号)和多个行(示出了其中编号为R0~R12的行)组织的布置成矩阵500的多个像素的二维半导体传感器。四个电子入射在传感器上,在3×3像素上得到用501、502、503和504表示的四个区域。由每个电子产生的电子空穴对扩散而产生具有根据二维点扩展函数PSF2=(121)2的分布的电荷。区域501~504中的号码1和2因此指示入射在各区域的中心像素上的电子对所有周围像素的相对贡献。
图10~图12示意性地举例说明根据本发明的另一实施例的使用维特比检测的二维方法的操作。
沿着行,维特比检测器针对一维数据样本序列与上文所述的类似地操作:沿着用箭头520指示的方向被依次地处理的一维数据样本序列的行上的相邻像素。图11和图12中的散列区域510指示其中已经完成检测的区域。对应于3×3区域501的第一电子511、对应于3×3区域502的第二电子512和对应于3×3区域503的第三电子513已被检测。优选地,对相应3×3区域中的像素信号的(建模)贡献已被从3×3区域中的数据样本减去。因此,对被用于进一步检测的数据样本的其贡献已被删除。在区域510的其余部分中未检测到其它电子。该方法已前进至关于像素531的值进行判定。至此,维特比检测器分析用于区域530中的像素序列(其在路径存储器长度L上从用530-0指示的像素延伸至用530-8指示的像素)的格子结构、其分支度量和状态。在实施例中,维特比检测器使用像素530-0至530-8的各像素周围的预定区域来计算用于状态的分支度量。预定区域的尺寸优选地基本上对应于PSF。从而,预定区域中的位置处的电子对各像素的所有贡献被加和并根据状态对总像素信号进行建模。维特比检测器可以例如使用图14或图15所示的多个状态。
在参考图12所述的实施例中,维特比检测器逐行地操作,即将维特比检测应用于二维阵列的每行像素的像素信号序列。在另一实施例中,维特比检测器逐列地操作,即将维特比检测应用于二维阵列的每列像素的像素信号序列。
图14示意性地示出在使用PSF=(121)2的第一另外的实施例中使用的多个560状态,指示入射在传感器的3×3区域上的电子的配置。图15示意性地示出在第二另外的实施例中使用的另一多个580状态。应注意的是与维特比检测已经对其进行了判定的像素相对应的散列区域可以包括电子,但是由于其贡献已在散列区域中以及非散列区域(参见上文)中被减除,此类存在可以不必顾及而没有任何一般性损失。应理解的是当在检测电子的同时此类贡献已被减除的时,将还必须考虑其对状态的中心像素的贡献。然而,由于已经进行了关于其存在的判定,所以不需要还考虑作为状态定义中的变量的散列位置。
图14涉及其中在3×3区域上使用PSF的第一另外的实施例。用附图标记569以虚线形式示出了PSF。图14的多个状态560包括没有任何电子的一个状态561;在六个不同位置上具有一个电子的六个不同状态562;在状态内(或一个双倍能量电子,参考上文给出的一维示例的第一和第二实施例)但在状态之间不同的的单个位置上具有两个电子的六个状态563;以及可选地,在不同位置处具有两个电子的十五个不同状态564。
图15涉及第二另外的实施例,其中,使用相同的PSF=(121)2,但是基于1+3+1像素的十字形区域来定义状态。用附图标记579以虚线形式示出了PSF。图15的多个状态580包括没有任何电子的一个状态571;在四个不同位置上具有一个电子的四个不同状态582;在状态内(或一个双倍能量电子,参考上文给出的一维示例的第一和第二实施例)但在状态之间不同的单个位置上具有两个电子的四个状态584;以及可选地,在不同位置处具有两个电子的六个不同状态574。
维特比检测器可以根据剂量、允许或要求的计算复杂性和存储器要求等使用图14或图15的状态。
应认识到的是与参考图9所述的第三实施例类似,对于二维PSF而言,维特比解码器还采用使用电子的不同的多重度的多个迭代或每个迭代不同的能量仓。
图16~图17示意性地举例说明再次地根据与图10~图15的实施例类似但具有更宽点扩展函数的本发明的另一实施例的使用维特比检测的二维方法的操作。
图16示意性地示出以多个列(示出了其中的15个;未编号)和多个行(示出了其中编号为R0~R12的行)组织的布置成矩阵600的多个像素的二维半导体传感器。第四电子入射在传感器上,在5×5像素上得到用601、602、603和604表示的四个区域。由每个电子产生的电子空穴对扩散而产生具有根据二维点扩展函数PSF3=(13531)2的分布的电荷。此PSF紧密地类似于具有约15μm×15μm尺寸的4k×4k像素和15μm的其有源层厚度的示例性CMOS传感器中的实际扩散。散列区域610指示其中检测已经完成的区域。三个电子611、612、613已被检测。
该方法已前进至关于像素631的值进行判定。至此,维特比检测器分析用于区域630中的像素序列(其在路径存储器长度L上从用630-0指示的像素延伸至用630-8指示的像素)的格子结构、其分支度量和状态。在实施例中,维特比检测使用像素630-0至630-8的各像素周围的预定区域来计算用于状态的分支度量。预定区域的尺寸优选地基本上对应于PSF。从而,预定区域中的位置处的电子对各像素的所有贡献被加和并根据状态对总像素信号进行建模。维特比检测器可以例如使用图17所示的多个状态的实施例中的一个。区域604中的号码1、3和5指示入射在区域604的中心像素上的电子对所有周围像素的相对贡献。
图17示意性地示出定义维特比检测器的状态的三个不同实施例,其中,问号指示电子可以入射在其上面的被用来确定分支度量的像素序列的像素周围的区域内的位置。如在图14中,散列区域对应于维特比检测器已对其进行判定的像素(当扫描前一行上时或在同一行上的早些时候)。状态的数目随着可容许电子的总数和用于电子的可容许位置数目而增加。然而,在增加剂量的情况下,更大数目的可容许电子和/或更大数目的位置可能是优选的。
实施例661示意性地指示具有可以具有零个、一个或多个电子的十五个不同位置中的一个(或者在其它实施例中,不止一个)的状态。实施例662示意性地指示具有可以具有零个、一个或多个电子的十三个不同位置中的一个(或者在其它实施例中,不止一个)的状态。实施例663示意性地指示具有可以具有零个、一个或多个电子的九个不同位置中的一个(或者在其它实施例中,不止一个)的状态。
图18A和图18B示意性地举例说明一个电子入射在典型半导体传感器的像素上时的来自像素的信号水平的发生频率。信号水平沿着横轴增加,相对发生频率沿着竖轴增加。曲线702指示信号水平的发生频率。曲线702近似为Landau分布。曲线702示出用Epeak指示的信号水平下的明确峰值。箭头704指示半导体传感器的暗电流噪声。
图18A和图18B还示出被用来定义如在内部状态中使用的电子多重度或能量仓的参考水平的示例。下面,我们将涉及定义状态中的单个像素上的‘电子数目’的参考水平(参考第一实施例),但读者应理解的是还可以将其解释为状态中的电子的‘能量仓’(参考第二实施例)。
在图18A中,与作为一的状态的单个像素中的电子数目相关联的参考水平E1被选择为对应于曲线702的峰值Epeak。然而,还可以观察到噪声水平充分地延伸超过峰值值的一半。将此类选择用于参考水平因此可能具有相对高的‘误报’(其中,在实际上电子没有入射在检测器上的情况下检测到电子)的风险。然而,此类选择可以有利地具有相对很少的‘漏报’,其中,没有检测到电子,尽管其存在。分别与一个像素上的两个、三个、四个和五个电子相关联的参考水平E2、E3、E4和E5被选择并用来相应地定义状态,以便还以充分的可靠性检测具有较高像素信号、即较大能量沉积的电子。因此,在图18A的实施例中,
En = n * Epeak, n = 1, …, N,
N优选地是4、5或更大。
在图18B中,与作为一的状态的单个像素中的电子数目相关联的参考水平E1被选择为对应于曲线702的峰值Epeak的值的两倍。此外,参考水平被选作E1的倍数,或者
En = n * 2 * Epeak, n = 1, …, N,
优选地N是2或3。将此类选择用于参考水平可以显著地减少状态的数目,但可能具有仅具有低沉积能量的几个电子未被检测为电子、而是作为噪声被监视的风险。
应理解的是可以使用参考水平的其它选择。可以例如基于用于维特比检测的可用资源或者例如基于重构图像的要求图像质量来选择参考水平及其数目的选择,所述可用资源诸如计算能力、每个图像的可用存储器尺寸和可用计算时间。
图19示出根据本发明的方法的模拟的结果。在模拟中使用的方法使用0.01的剂量,即在100个像素上具有1个电子的平均数目,PSF = (13531)2,每个状态15个位置(参考图17中的661)、每个状态最多2个电子,用于单个电子的参考水平被选择为曲线702的峰值值的两倍。该模拟在分析此类低剂量下的生物样本时使用在TEM中使用的CMOS半导体传感器和典型能量的电子。图19示出调制传递函数,其为获得的分辨率的度量。横轴对应于重复图案的频率,并从零延伸至尼奎斯特频率。竖轴是来自此类重复图案的相对输出水平。可以观察到的是检测器本身、即原始数据信号的MTF 900在半尼奎斯特频率下已经小于0.5。然而,维特比检测器的输出902仍在0.8以上直至尼奎斯特频率。维特比检测器因此允许基本上恢复用线904指示的传感器的全像素分辨率。
图20示意性地示出根据实施例的方法的概观。
图20所示的方法1包括:
· 产生10一束粒子,
· 将要成像的对象111放置20在对象平面上,
· 用该束粒子照亮30对象平面,
· 通过在图像平面上对通过对象透射的粒子进行成像来形成40对象平面的图像,以及
· 用包括半导体传感器的检测器来检测50图像并响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号,
· 由维特比检测器来接收60多个像素信号,以及
· 通过使用由维特比检测器对所述多个像素信号的维特比检测来确定70重构图像,
     维特比检测使用与入射在检测器上的粒子的多个配置相对应的多个不同状态,以及
     所述多个不同状态中的至少两个状态对应于所述多个像素信号的单个像素上的入射粒子的相同、非零多重度。
可以根据上述实施例中的任何一个、上述实施例中的两个或更多的任何有用组合或实施例中的任何一个的修改或其组合来执行确定70。图21示意性地举例说明另一实施例。在图21的实施例中,该方法包括在检测对象的第一图像时响应于入射在检测器上的粒子从阵列的各像素接收61第一多个像素信号并通过对第一多个像素信号使用维特比检测来确定71第一重构图像。可以根据上述实施例中的任何一个来执行维特比检测。该方法还包括在检测对象的第二图像时响应于入射在检测器上的粒子从阵列的各像素接收62第二多个像素信号并通过对第二多个像素信号使用维特比检测来确定72第二重构图像。如虚线所指示的,该方法还可以包括在检测对象的至少一个相应的另外的图像时响应于入射在检测器上的粒子从阵列的各像素接收63至少一个另外的多个像素信号并通过对所述相应的另外的多个像素信号使用维特比检测来确定73至少一个另外的重构图像。该方法然后将第一重构图像、第二重构图像和(如果适用的话)至少一个另外的重构图像组合80以形成重构图像。
图22示出包括计算机程序1020的计算机可读介质500,计算机程序1020包括用于促使处理器系统执行根据实施例的方法的指令。可以在计算机可读介质1000上作为物理标记或借助于计算机可读介质1000的磁化来体现计算机程序1020。然而,也可以设想任何其它适当实施例。此外,应认识到的是虽然在图22中将计算机可读介质1000示为光盘,但计算机可读介质1000可以是任何适当的计算机可读介质,诸如硬盘、固态存储器、闪速存储器等,并且可以是不可记录或可记录的。
应认识到的是本发明还适用于计算机程序,特别是在(适合于将本发明付诸实践的)载体上或中的计算机程序。该程序可以采取源代码、目标代码、代码中间源和诸如部分编译形式的目标代码的形式,或者采取适合于在根据本发明的方法的实施方式中使用的任何其它形式。还应认识到此类程序可以具有许多不同的架构设计。例如,可以将实现根据本发明的方法或系统的功能的程序代码再分成一个或多个子例程。在这些子例程之间分布功能的许多不同方式对于技术人员来说将是显而易见的。可以将子例程一起存储在一个可执行文件中以形成自包含程序。此类可执行文件可以包括计算机可执行指令,例如处理器指令和/或解释程序指令(例如Java解释程序指令)。替换地,可以将一个或多个或所有子例程存储在至少一个外部库文件中并静态地或动态地(例如在运行时间)与主程序链接。主程序包括对子例程中的至少一个的至少一个调用。子例程还可以包括相互的函数调用。关于计算机程序产品的实施例包括对应于本文所阐述的方法中的至少一个的每个处理步骤的计算机可执行指令。可以将这些指令再分成子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。关于计算机程序产品的另一实施例包括对应于在本文中阐述的系统和/或产品中的至少一个的每个装置的计算机可执行指令。可以将这些指令再分成子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如,该载体可以包括存储介质,诸如ROM(例如CD-ROM或半导体ROM),或者磁记录介质(例如软盘或硬盘)。此外,载体可以是诸如电或光学信号的可传送载体,其可以经由电或光缆或用无线电或其它手段来传输。当在此类信号中体现程序时,载体可以由此类电缆或其它设备或装置组成。替换地,载体可以是其中嵌入了程序的集成电路,该集成电路适合于执行相关方法或在相关方法的执行中使用。
应注意的是上述实施例举例说明而不是限制本发明,并且本领域的技术人员在不脱离所附权利要求的范围的情况下将能够设计许多替换实施例。在权利要求中,不应将放置在括号之间的任何附图标记理解为限制权利要求。动词“包括”或其动词变化的使用不排除除在权利要求中所述的那些之外的元件或步骤的存在。在元件前面的冠词“一”或“一个”不排除多个此类元件的存在。可以借助于包括几个不同元件的硬件并借助于适当地编程的计算机来实现本发明。在枚举几个装置的设备权利要求中,可以用硬件的一个且相同项目来体现多个这些装置。在相互不同的从属权利要求中叙述了某些措施的仅仅事实不指示不能有利地利用这些措施的组合。

Claims (15)

1.一种用于使用粒子光学设备来确定重构图像的方法,该粒子光学设备包括:
· 粒子源(101),其用于产生一束粒子,
· 对象平面,可以在其上面放置要成像的对象(111),
· 聚光器系统(104),其用于用该束粒子照亮对象平面,
· 投影系统(106),其用于通过在图像平面上对通过所述对象透射的粒子进行成像来形成对象平面的图像,以及
· 检测器(150),其用于检测(50)图像,该检测器包括具有像素阵列的半导体传感器,其用于响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号,
该方法包括:
· 接收(60)所述多个像素信号,以及
· 通过对所述多个像素信号使用维特比检测来确定(70)重构图像,
     维特比检测使用与入射在检测器上的粒子的多个配置相对应的多个不同状态,以及
     所述多个不同状态中的至少两个状态对应于所述多个像素信号的单个像素上的入射粒子的相同、非零多重度。
2.根据权利要求1所述的方法,其中,使用粒子的不同多重度对不同状态进行建模。
3.根据权利要求1所述的方法,其中,使用所述粒子的不同沉积能量对不同状态进行建模。
4.根据权利要求1所述的方法,其中,在对所述粒子的沉积能量进行建模时使用不同的点扩展函数对不同状态进行建模。
5.根据权利要求1~4中的任一项所述的方法,其中,在维特比检测的不同迭代中使用不同的状态。
6.根据权利要求1~5中的任一项所述的方法,其中,所述像素阵列是一维阵列。
7.根据权利要求1~5中的任一项所述的方法,其中,所述像素阵列是二维阵列且所述维特比检测被应用于二维阵列的每行像素的像素信号序列。
8.根据权利要求1~5中的任一项所述的方法,其中,所述像素阵列是二维阵列且所述维特比检测被应用于二维阵列的每列像素的像素信号序列。
9.根据权利要求7~8中的任一项所述的方法,其中,所述维特比检测的状态对应于入射在检测器上的粒子的预定二维配置。
10.根据前述权利要求中的任一项所述的方法,还包括在已检测到像素上的一个或多个入射粒子之后从所述多个像素信号去除来自所检测的一个或多个入射粒子的贡献。
11.根据前述权利要求中的任一项所述的方法,其中,由检测器检测的图像包括在每个像素0.0001~0.5、优选地0.001~0.3、甚至更优选地0.01~0.1粒子范围内的剂量。
12.根据前述权利要求中的任一项所述的方法,该方法包括:
· 在检测对象的第一图像时响应于入射在检测器上的粒子从阵列的各像素接收(61)第一多个像素信号,
· 通过对第一多个像素信号使用维特比检测来确定(71)第一重构图像,
· 在检测对象的第二图像时响应于入射在检测器上的粒子从阵列的各像素接收(62)第二多个像素信号,
· 通过对第二多个像素信号使用维特比检测来确定(72)第二重构图像,以及
· 将第一重构图像和第二重构图像组合(80)以形成重构图像。
13.根据权利要求1~12中的任一项所述的方法,还包括:
· 产生(10)一束粒子,
· 将要成像的对象(111)放置(20)在对象平面上,
· 用该束粒子照亮(30)对象平面,
· 通过在图像平面上对通过对象透射的粒子进行成像来形成(40)对象平面的图像,以及
· 用包括半导体传感器的检测器来检测(50)图像并响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号。
14.一种粒子光学设备,包括:
· 粒子源(101),其用于产生一束粒子,
· 对象平面,可以在其上面放置要成像的对象(111),
· 聚光器系统(104),其用于用该束粒子照亮对象平面,
· 投影系统(106),其用于通过在图像平面上对通过对象透射的粒子进行成像来形成对象平面的图像,
· 检测器(150),其用于检测图像,该检测器包括具有像素阵列的半导体传感器,其用于响应于入射在检测器上的粒子从阵列的各像素提供多个像素信号,以及
· 信号处理器(152),其被布置为执行权利要求1~13中的任一项所述的方法。
15.一种包括用于促使处理器系统执行根据权利要求1~13中的任一项所述的方法的指令的计算机程序产品(1020)。
CN201210125449.1A 2011-04-26 2012-04-26 用于使用粒子光学设备来确定重构图像的方法 Active CN102760629B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11163633.8A EP2518687B1 (en) 2011-04-26 2011-04-26 Method for determining a reconstructed image using a particle-optical apparatus
EP11163633.8 2011-04-26

Publications (2)

Publication Number Publication Date
CN102760629A true CN102760629A (zh) 2012-10-31
CN102760629B CN102760629B (zh) 2016-04-20

Family

ID=44246391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210125449.1A Active CN102760629B (zh) 2011-04-26 2012-04-26 用于使用粒子光学设备来确定重构图像的方法

Country Status (4)

Country Link
US (1) US8624183B2 (zh)
EP (1) EP2518687B1 (zh)
JP (1) JP5899041B2 (zh)
CN (1) CN102760629B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106841845A (zh) * 2016-12-15 2017-06-13 华中师范大学 一种电子器件抗辐射性能测试方法和系统
CN109272550A (zh) * 2017-07-17 2019-01-25 卡尔蔡司显微镜有限责任公司 使用粒子显微镜记录图像的方法以及粒子显微镜
CN110082370A (zh) * 2018-01-25 2019-08-02 Fei 公司 透射带电粒子显微镜的成像技术

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693742B2 (en) 2008-12-17 2014-04-08 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
US10955331B2 (en) 2012-06-22 2021-03-23 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems
FR2998437B1 (fr) * 2012-11-16 2018-09-21 Thales Procede et systeme de determination en temps reel de signaux a sommer parmi un ensemble de signaux recus
EP2973403B1 (en) * 2013-03-15 2019-01-30 The Regents of the University of Colorado 3-d localization and imaging of dense arrays of particles
WO2015031395A1 (en) 2013-08-26 2015-03-05 The Regents Of The University Of Colorado Imaging through scattering media with high signal to noise ratio and resolution
EP3215806A4 (en) 2014-11-05 2018-06-06 The Regents Of The University Of Colorado 3d imaging, ranging, and/or tracking using active illumination and point spread function engineering
US10122946B2 (en) 2015-11-11 2018-11-06 Fei Company Method for detecting particulate radiation
US10641934B2 (en) * 2017-03-24 2020-05-05 Rambus Inc. Methods and systems for distinguishing point sources
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028751A1 (en) * 1995-03-16 1996-09-19 Philips Electronics N.V. Method for particle wave reconstruction in a particle-optical apparatus
CN1283331A (zh) * 1997-12-31 2001-02-07 艾利森公司 使用蝶形运算的非二进制维特比译码器
US20040220769A1 (en) * 2003-05-02 2004-11-04 Yong Rui System and process for tracking an object state using a particle filter sensor fusion technique

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432347A (en) 1992-11-12 1995-07-11 U.S. Philips Corporation Method for image reconstruction in a high-resolution electron microscope, and electron microscope suitable for use of such a method
EP0795197B1 (en) 1995-10-03 2000-02-02 Koninklijke Philips Electronics N.V. Method of reconstructing an image in a particle-optical apparatus
JP3867524B2 (ja) * 2001-07-05 2007-01-10 株式会社日立製作所 電子線を用いた観察装置及び観察方法
NL1021376C1 (nl) 2002-09-02 2004-03-03 Fei Co Werkwijze voor het verkrijgen van een deeltjes-optische afbeelding van een sample in een deeltjes-optisch toestel.
US6800864B2 (en) * 2002-10-29 2004-10-05 International Business Machines Corporation Method and structure for reducing effects of noise and resonance associated with an e-beam lithography tool
KR100620452B1 (ko) * 2004-08-09 2006-09-08 삼성전자주식회사 이미지 프로세싱 방법
WO2007114029A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 2次元復調方法、2次元復調装置及びホログラム装置
JP2008177064A (ja) * 2007-01-19 2008-07-31 Hitachi High-Technologies Corp 走査型荷電粒子顕微鏡装置および走査型荷電粒子顕微鏡装置で取得した画像の処理方法
US20100008201A1 (en) * 2007-03-20 2010-01-14 Pioneer Corporation Demodulation method and apparatus
RU2503953C2 (ru) * 2008-08-27 2014-01-10 ЛОС АЛАМОС НЭШНЛ СЕКЬЮРИТИ, ЭлЭлСи Построение изображения по заряженным частицам, создаваемым космическими лучами
EP2166557A1 (en) * 2008-09-22 2010-03-24 FEI Company Method for correcting distortions in a particle-optical apparatus
EP2416165A1 (en) 2010-08-04 2012-02-08 FEI Company Method of forming a 3D reconstruction of a sample using a scanning probe microscope

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028751A1 (en) * 1995-03-16 1996-09-19 Philips Electronics N.V. Method for particle wave reconstruction in a particle-optical apparatus
CN1283331A (zh) * 1997-12-31 2001-02-07 艾利森公司 使用蝶形运算的非二进制维特比译码器
US20040220769A1 (en) * 2003-05-02 2004-11-04 Yong Rui System and process for tracking an object state using a particle filter sensor fusion technique

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CASEY MILLER等: "Image restoration with the Viterbi algorithm", 《THE OPTICAL SOCIETY OF AMERICA》, vol. 17, no. 2, 28 February 2000 (2000-02-28), pages 265 - 275, XP002277237, DOI: doi:10.1364/JOSAA.17.000265 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106841845A (zh) * 2016-12-15 2017-06-13 华中师范大学 一种电子器件抗辐射性能测试方法和系统
CN106841845B (zh) * 2016-12-15 2021-06-29 华中师范大学 一种电子器件抗辐射性能测试方法和系统
CN109272550A (zh) * 2017-07-17 2019-01-25 卡尔蔡司显微镜有限责任公司 使用粒子显微镜记录图像的方法以及粒子显微镜
CN109272550B (zh) * 2017-07-17 2023-11-14 卡尔蔡司显微镜有限责任公司 使用粒子显微镜记录图像的方法以及粒子显微镜
CN110082370A (zh) * 2018-01-25 2019-08-02 Fei 公司 透射带电粒子显微镜的成像技术
CN110082370B (zh) * 2018-01-25 2023-10-31 Fei 公司 透射带电粒子显微镜的成像技术

Also Published As

Publication number Publication date
JP5899041B2 (ja) 2016-04-06
EP2518687A1 (en) 2012-10-31
CN102760629B (zh) 2016-04-20
EP2518687B1 (en) 2013-04-24
US20120273676A1 (en) 2012-11-01
JP2012230903A (ja) 2012-11-22
US8624183B2 (en) 2014-01-07

Similar Documents

Publication Publication Date Title
CN102760629B (zh) 用于使用粒子光学设备来确定重构图像的方法
CN103415870B (zh) 测量场景中的深度值的方法
TWI703347B (zh) 用於在多光束掃描電子顯微鏡系統中減少雜訊之方法、系統及設備
Wu et al. Optimizing connected component labeling algorithms
KR101379075B1 (ko) 초점면 어레이에 대한 적응적 비-균일성 보상을 위한 시스템 및 방법
US8707461B2 (en) Scanning method for scanning a sample with a probe
CN108027499A (zh) 用于多波束扫描式电子显微系统的聚焦调整的方法及系统
KR20180071405A (ko) 단일 이미지 검출
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
JP5354254B2 (ja) 形状測定装置及び方法、並びにプログラム
JP4697275B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及びプログラム
CN107124901B (zh) 去除电子显微照相机图像异常点的方法
JP2011229080A (ja) 画像一致点検出装置、画像一致点検出方法および記録媒体
KR20030023846A (ko) 패턴검사방법 및 검사장치
US8306111B2 (en) Image analysis using a hybrid connected component labeling process
JP4748191B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及びプログラム
US6430318B1 (en) Image processing method including spatial and temporal noise filtering steps, and medical imaging apparatus for carrying out this method
CN116152282A (zh) 一种基于改进蚁群算法的图像边缘检测方法
WO2021238340A1 (zh) 改进型马尔科夫链蒙特卡洛二维岩石切片重构方法及系统
Qu et al. Spatially Varying Exposure With 2-By-2 Multiplexing: Optimality and Universality
Luo et al. Partial bundle adjustment for accurate three‐dimensional reconstruction
CN106296568A (zh) 一种镜头类型的确定方法、装置及客户端
Glattauer et al. Forward Tracking in the ILD Detector
Beer et al. Igniting questions, detecting answers: Hamamatsu Photonics introduces the world’s first photon-number-resolving scientific camera
Lin et al. Simulating motion blur and exposure time and evaluating its effect on image quality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant