CN102645423B - 用于生物学样品中大量荧光标记物的定位的系统和方法 - Google Patents

Abstract

公开了一种用于对生物样品内的荧光标记物例如荧光蛋白或者量子点进行成像和定位的方法和系统。利用重组遗传技术使“报告”基因插入很多物种中是被广泛认可的。特别是绿色荧光蛋白(GFPs)和范围从蓝色至黄色的其经遗传修饰的变体易于剪接到很多基因组中的目标基因(GoIs)位点处，其中GFPs被表达，对于由GoIs编码的目标蛋白质(PoIs)的功能没有明显影响。生物学家的一个目标是细胞内PoIs的更精确定位。本发明是利用带电粒子束诱导的对GFPs的破坏使PoI定位更加快速和精确的方法和系统。提出了系统的多个实施方案以实施本方法，以及相对不受高统计噪声水平影响的图像处理方法。

Description

用于生物学样品中大量荧光标记物的定位的系统和方法

技术领域

本发明总体涉及聚焦带电粒子束系统，并且具体地涉及用于对样品中的荧光标记物进行激发和定位的系统。

背景技术

目前生物学研究正在日益集中于将多种细胞组分的细胞内位置确定至甚至更高的空间分辨率。对于电子显微镜(TEMs、STEMs、SEMs等)以及所有类型的光学显微镜，这涉及用以增强图像分辨率和对比度的很多不同的技术，包括最新的超分辨率技术。对于细胞结构、转运、代谢和运动的研究获得广泛认可的一种强效技术是应用重组遗传技术将“报告”基因连接到“目标基因”(GoIs)上。因此，当特定GoI在正常的基因转录/翻译过程中表达时，报告基因也将表达，产生末端附着于由GoI编码的“目标蛋白质”(PoI)上的小蛋白质。一种公认的报告基因是编码绿色荧光蛋白(GFP)的基因，这些报告基因可以以野生形式或者经遗传修饰的形式利用，并且所表达的GFPs具有发射波长从蓝色扩展至黄色的荧光。GFP相对小(29.6kDa，直径为3nm，长度为4nm)，其中其发色团被充分地保护在里面并且不需要任何辅因子以发射光。使GFP“发光”所需要的所有条件是利用波长比GFP的发射波长稍短的激光进行照射。GFPs显示对其所附着的PoI的适当功能基本上是“惰性的”，这在一些情况下通过利用短且灵活的多肽“接头”使GFP与PoI相连得以保证，所述接头使得GFP能够自由围绕蛋白质而摇摆，这可能是为了保持研究者所研究的细胞功能而必须不被干扰的一些胞内结构或者机制的一部分。

显然，如果可以精确地确定GFP在细胞内的X-Y-Z位置(比如说精确度为10nm)，则可以以类似的精确度得知PoI的位置。可以通过光学显微镜观察发荧光的GFP，因而可以在显微镜中看到PoI相对于样品中可观察到的结构的位置。已经提出并且在一些情况下阐述了现有技术中的几种技术，其用于由多种荧光标记物(FMs)例如GFPs以及量子点获得主要的位点信息。在一种技术中，使用绿色激光对样品中的荧光标记物(FMs)中的一小部分进行激发，接着使样品成像。利用高斯曲线(Gaussian curve)拟合，可以在基本小于成像系统的衍射极限的20nm的FWHM内确定FMs的位置。利用多次绿色激光闪光并且交替使用使荧光消失的红色荧光闪光，可以在通常可耗费数十分钟的过程中确定大量FMs的位置。在描述于Buijsse等人的美国专利号7,317,515“对荧光标记物进行定位的方法”(转让于本申请的受让人，通过引用并入本文)的另一种技术中，带电粒子束对样品表面进行扫描，当束击中FM时破坏标记物并使荧光消失。当荧光消失时，FM的位置对应于带电粒子束的位点。由于可以将带电粒子束聚焦于比照射标记物的激光小得多的点，并且可以非常精确地确定扫描过程中任何时间处带电粒子束的位点，FM的位点以及因而PoI的位点可以以类似的精确度确定。

在本文对本发明的所有描述中，术语GFP将用于表示可以被带电粒子束(包括电子或者离子)破坏的FMs较大家族，包括GFPs、有机染料以及无机标记物例如量子点(通常使其功能化，以使得能够选择性地附着于特定细胞内组分例如蛋白质、核酸等上)。

用于对生物学样品中的FMs进行定位的很多现有技术方法仅对相对少量的FMs起作用，从中在任何一次使小的子集活化，因此成像时间可以是很多分钟并且仍然受到光学成像的一些限制。使用带电粒子束选择性地破坏样品中FMs的现有技术方法利用了仅能够处理相对少量FMs的图像处理方法，对于这些方法，统计学信噪比将其应用限制于不固有地以大密度出现的FMs。这特别是对于GFPs存在障碍，因为在基因转录成mRNA随后翻译成蛋白质(GoI+接头+GFP)的正常细胞过程中可以产生非常大量的任何类型的可表达标签(与功能化标签例如量子点相对)。因此，需要一种快速的方法以在时间框架内例如1分钟级对细胞内或者细胞组分中非常大量(≥10000)的FMs，如CFPs进行定位。

发明内容

本发明的一个目的是提供一种改进的方法和设备，以定位样品中的目标蛋白质。

一个优选的实施方案包括能够使含有荧光标记物(FMs)，例如绿色荧光蛋白(GFPs)或者量子点的样品成像的带电粒子设备和方法，其中利用标准的电子显微信号，例如二次电子(secondary electrons，SEs)或者透射电子(未散射、弹性散射和/或非弹性散射)，同时利用激光激发FMs并收集由被激发的FMs发射的光。

一个实施方案包括一种检测器光学器件(detector optics)配置，其对于二次电子和发射光均表现非常大的收集立体角，其中不存在两种类型检测器之间的干扰，所述干扰会倾向于使Ses和光各自的收集立体角减小。

本发明的一些实施方案包括一种示例性图像处理方法，与利用现有技术中较简单的图像处理方案而可能发生的相比，其潜在地能够同时对较大(例如＞10000)数目的FMs进行定位(在持续大约1分钟的单次成像扫描过程中)。

前面相当宽泛地概括了本发明的特性和技术优点，以便可以更好地理解以下对本发明的详细描述。本发明的附加特性和优点将在下文中描述。本领域技术人员应当理解的是，可以容易地利用所公开的构思和具体实施方案作为改动或者设计其他结构的基础，以实施本发明的相同目的。本领域技术人员还应当认识到，这种等同构造不背离所附权利要求中所说明的本发明的精神和范围。

附图说明

为了更全面地理解本发明和其优点，现参考以下描述以及所附附图，其中

图1显示目标蛋白质(PoI)的示意图，其中绿色荧光蛋白(GFP)通过接头附着于其上。

图2是X-Y扫描光栅的示意图，图解了含有GFPs的像素和不含GFPs的像素。

图3是本发明的第一个实施方案的示意图，其包括位于样品上方的检测器光学器件。

图4A是图3中的检测器光学器件的光和二次电子轨迹的侧视图。

图4B是图3和4A中检测器光学器件的剖面等轴视图。

图5是本发明的第二个实施方案的示意图，其包括位于样品下方的检测器光学器件。

图6是本发明的第三个实施方案的示意图，其包括位于样品上方和下方的检测器光学器件。

图7是在对含有100个GFPs的扫描场进行光栅扫描的过程中信号作为时间函数的图。

图8是显示图7中图表初始阶段的特写图，其显示总共100个GFPs中前8个GPFs的破坏。

图9是在对含有10000个GFPs的扫描场进行光栅扫描的过程中信号作为时间函数的图。

图10是显示图9中图表初始阶段的特写图，其显示总共10000个GFPs中前8个GPFs的破坏。

图11是显示光栅扫描过程中具有统计噪声的原始信号和平滑信号作为时间函数的图，其显示总共100个GFPs中前3个GPFs的破坏。

图12是显示平滑函数和导函数(smoothing function and the derivativefunction)的图。

图13是显示光栅扫描过程中具有统计噪声的原始信号、平滑信号和平滑导数作为时间函数的图，其显示总共100个GFPs中前3个GPFs的破坏。

图14是显示光栅扫描过程中具有统计噪声的原始信号和平滑信号作为时间函数的图，其显示总共10000个GFPs中前3个GPFs的破坏。

图15是显示光栅扫描过程中具有统计噪声的原始信号、平滑信号和平滑导数作为时间函数的图，其显示总共10000个GFPs中前3个GPFs的破坏。

图16是显示图像处理方法的性能的柱状图，所述方法用于对扫描场中总共10000个GFPs中的前3个GFPs进行检测的过程中在大量统计噪声的存在下确定扫描信号内GFPs的位置。

图17是该图像处理方法的优化结果图。

图18是本发明中用于对样品中的可表达标签例如GFPs进行定位的方法的流程图。

图19是本发明中用于对样品中的功能化标签例如量子点进行定位的方法的流程图。

图20是联合二次电子和荧光标记物图像的示意图。

图21是用于对荧光标记物进行定位的图像处理方法的流程图。

具体实施方案

本发明的一些实施方案提供了带电粒子系统，其包括检测器光学器件系统，其经优化以同时对二次电子和光的收集效率均非常高，而不存在两种类型检测器之间的空间干扰。在一些实施方案中，这通过样品上方和/或下方的至少一个镜、优选抛物面镜以使由带电粒子束碰撞的样品表面上的点在或接近于抛物面(一个或者两个)的焦点而完成。焦点“接近于”带电颗粒是指由镜反射的光所照射的区域包括并且大于带电粒子束所碰撞的区域。

此外，抛物面光镜的传导表面(通常是金属的)是被电偏置(通常负几百伏)，以在样品和镜之间提供电场，使二次电子偏转以使其不碰撞镜并将二次电子反射至检测器。因此，从样品发射的光子和二次电子(SEs)均可被收集入大的立体角中，优选大于π/4球面度，更优选大于π/2球面度，甚至更优选大于π球面度，提供其中光和SE立体角空间上分离并且互相干扰的检测器系统以前不能达到的效率(和产生的较高信噪比)。优选使二次电子检测器位于带电粒子束离开图3、4A和4B中镜314的点的下方。

除了这些高效光检测系统之外，一些实施方案中提出光信号的统计(随机)噪声问题。这种噪声源于本发明的成像模式利用由于高能带电粒子(电子或者离子)束对单个FMs例如GFPs的选择性破坏对每个FM进行定位。破坏单个FM导致来自样品的总光发射的增量损耗，例如如果总共10000个FMs中一个FM被破坏，那么所发射的光将减少大约0.01％。为了检测光发射的这种少量减少，在该示例中，像素滞留时间内由于光发射中的波动而产生的随机噪声的平均值基本上不大于0.01％是有必要的。现有技术中已经描述了对于较少量FMs的类似方法，如转让于本发明的受让人的美国专利号7,317,515。在所有这些情况下，可以定位的FMs数量受到限制。

由于样品中来自标记物(如GFPs、有机染料、或量子点)的荧光发射而产生光学信号中这种改进的信噪比的益处被本发明的另一方面进一步放大，所述另一些方面是图像处理方法，其使得能够确定FM破坏事件的时间(以及因而其位置)，即使在原始成像信号中随机噪声非常大的情况下。

作为可表达标签的荧光标记物

图1显示目标蛋白质(PoI)102的示意图100，其中绿色荧光蛋白(GFP)104通过接头肽110附着于其上。通常GFP的直径106为3nm，长度108为4nm，此处省略GFP 104“β-桶”(“β-barrel”)结构的细节。一般来讲，如所显示，PoI 102将大于GFP 104。使用可表达标签中一个重要的考虑因素是标签不干扰PoI 102在细胞内的适当功能，无论该功能是代谢性的、转运、结构性的等。因此，常常用短肽接头110使非常刚性的GFP 104附着于PoI 102上，使GFP104能够在半径114的孤112周围摇摆，如所显示的。注意的是，半径114决定能够确定GFP104位置的最大精确度，因为GFP 104自由地占据环112上的任何位置。因此，可能将GFP 104的位置确定在5至8nm内对于本发明中以及现有技术中任何位点确定方法来说均是足够的，所述现有技术例如描述于转让于本发明的受让人且通过引用并入本文的美国专利号7,317,515中。

对于报告基因的重组连接基因方法是熟知的，例如对于来源于水螅虫类水母种维多利亚多管发光水母(Aequorea victoria)的多种“绿色荧光蛋白”(GFPs)形式。自从最初于1950s发现GFPs以来，已经开发了几种遗传变体，其具有改进的荧光谱，发射范围从蓝光跨越至黄光，具有简化的光谱吸收分布。GFPs是相对小的圆柱体(“β-桶”，直径为3nm，长度为4nm)，其包含238个氨基酸(26.9kDa)，显示对可远离水母的物种的全部细胞机制基本上是“惰性的”。因此，GFPs的使用在生物学群落中被广泛认可。尤其重要的是，对GFPs作为可表达标记物的广泛认可使得本发明潜在地在目前的GFP定位方法不够精确的应用中对生物群落极其有用。在下面对三个实施方案的操作的描述中，GFPs应当理解为包括多种GFP变体，其表示在被测生物学样品中同时表达的多种重组报告基因。类似地，三个实施方案中的光检测器应当理解为包括独立运行并且并行的多个检测器，其中每个对来自样品中多种GFP类型内的特定GFP类型的光进行检测。

本发明可以用于成像视场内存在较少量(10至数百个)GFPs的情况以及存在很多(直至至少10000个)GFPs的情况中。本发明的改进的图像处理方法可以用于这两种情况中。每个GFP变体具有其自己独特的光谱吸收和发射特征。一个示例是针对最初的“野生型”GFPs(wtGFP)，其在395nm下具有吸收峰，在509nm下具有发射峰。由于wtGFP在475nm下具有不期望的第二吸收峰，努力开发了改进类型，例如S65T突变，其在484nm下具有吸收峰，在507nm下具有发射峰，无第二吸收峰。使用GFPs作为可表达标签的一个关键方面是其可在样品中大量存在，使得有必要进行本发明的有效光检测和成像处理。

荧光标记物在带电粒子系统中的成像方法

图2是32×32的X-Y扫描光栅200的示意图，其展示了含有GFPs的像素208和不含GFPs的像素206。快速扫描轴202是沿X方向，而慢速扫描轴204是沿Y方向。对于正常的光栅扫描，首先使束位于左上方，接着沿顶部行移动至右上方。接着，束“折回”至左侧并且向下移动一行，随后再次水平扫描至右侧。重复该过程，直至使所有的32×32＝1024个像素成像。在此处的示例中，白色像素206表示不含GFP的那些，而黑色像素208含有单个GFP。假设GFP密度足够低，使得可以应用泊松(Poisson)统计法，而且我们可以近似认为无像素含有多于一个的GFP。由于GFPs是表示特定目标蛋白质(PoI)在细胞内(或者细胞切片内)的位置的可表达标签，GFPs的分布将常常是非一致的，表示PoIs的非一致分布，这是因为其适当功能所需的细胞内位置。

下面提出了三种示例性系统配置，第一种配置可以应用于厚的样品，且收集来自样品前表面的所有信号(即以SEM模式运行)；第二种配置具有用于电子和光的检测器光学器件，其位于样品下方(即以TEM或者STEM模式运行)；并且第三种配置具有位于样品上方和下方的联合检测器系统，以提供对样品内被激发的FMs所发射光的最大可能收集效率。

第一个实施方案-位于样品上方的检测器光学器件

图3是本发明的第一个实施方案300的示意图，其包括位于样品306上方的检测器光学器件。样品306可以包括包含由与目标基因连接的基因表达的荧光标记物或者包含选择性地附着于特定的细胞内组分的无机标记物的生物学样品。样品306还可以包括包含染料或者其他无机标记物例如量子点(其被功能化以使得能够选择性地附着于特定的细胞内组分)的生物学样品。样品306处于限定样品平面的样品位点处的样品台上。

带电粒子柱302例如电子束柱或者聚焦离子束柱产生带电粒子束304，其通过柱302聚焦于样品306表面的位置308处。束中的电子通常具有1,000eV至25,000eV的能量。离子通常具有5,000eV至5,000eV的能量。配置可以包含磁性线圈、静电多极或者磁性线圈和静电多极二者组合的X-Y束偏转器310，以使束304在样品306的表面上来回移动，通常如图2中以X-Y光栅模式进行成像。

在本发明的本第一个实施方案300中，假设样品306足够厚，以阻止束304穿透样品306，因此收集样品表面上方的所有成像信号(光和带电粒子)，如所显示。抛物面镜314位于偏转器310和样品306之间。镜314中的孔312使得束304穿过向下至样品306。镜314下面是屏蔽平板316，通常其偏置为与样品306相等的电压。为了达到对光的最大收集效率，配置镜314，以在位置308处对向最大可能的立体角，优选大于π球面度。接着将收集位置308处由荧光标记物(FMs)发射的最大可能量的光，并传送通过分束器326，接着通过滤色器372，最后到达检测器360，这使得光学信号中可达到的信噪比最大化。

荧光标记物(FMs)通过来自激光器322的光324被激发，其向上发射，首先反射出分束器326，接着被抛物面镜314反射并聚焦于样品306表面上的位置308处。需要注意的是，最大可能地将来自FMs的发射的光传送通过分束器326是理想的，以增加到达检测器360的光量。如果分束器326的传送是50％，那么来自位置308的信号光327的一半将到达检测器360，且来自激光器322的激发光324的一半将到达位置308。因此，为了使来自激光器322的3mW聚焦于位置308上将需要6mW的激光输出324(忽略其他反射损耗)。如果可以获得充足的激光功率，可优选使分束器326的传送增加(因而减少反射性)例如至80％。接着来自位置308的80％的光(再次忽略反射损耗)将穿过分束器326，而来自激光器322的光324的仅20％将到达位置308，因此为了使3mW聚焦于位置308，将需要15mW的激光输出功率324(12mW将穿过分束器326，在位于分束器326上方的束流收集器(未显示)中被吸收)。在本实施方案中，来自激光322的光被镜314反射至样品306的顶部表面，即光在被镜314反射前不首先穿过样品306，且来自光源的光最初从样品上方照射样品。类似地，由样品306内的荧光标记物发射的光通过样品306的顶部表面发射，被位于样品306上方的镜314收集，并反射至光检测器360，而不如美国专利号7,317,515中所述完全通过样品306并在镜反面被收集。

抛物面镜314的第二个功能是提供可以经电偏置的导体，以提供阻止二次电子碰撞镜314的电场，其通过使由于初级带电粒子束304的碰撞而从位置308处发射的二次电子(SEs)322反射进行。这更加详细地显示于图4A和4B中。通过施加数百伏负电势至(导电的)镜表面，使SEs 322偏转。需要注意的是，SEs不以与光328相同的方式反射，因为SEs通过由施加至镜314或者其他导体的电压所产生的静电场反射，且该静电场延伸至抛物面镜314的整个体积(对于镜314的等轴视图参见图4B)。SEs 322向检测器320偏转并被显示位于样品306侧面的检测器320收集。因此，光和二次电子均从位置308被高效收集，因为光和SEs的收集立体角之间没有冲突。优选使孔312的大小保持在最小，以使光反射的损耗和对使二次电子偏转的静电场的任何扰乱均减少。抛物面镜314的焦点大约位于样品306表面上的位置308处，因此从位置308附近发射的光将聚焦入大致平行的光束328中，其指向图3右侧。尽管优选由导电镜产生引导SEs离开镜的电场，然而可以由与镜分离的导体产生电场。还可以对带电粒子检测器320的入口施加电偏置。

系统控制器362通过电缆370与柱302、通过电缆368与X-Y偏转器310、通过电缆366与镜314、通过电缆376与屏蔽板316、通过电缆378与样品306、通过电缆380与SE检测器320以及通过电缆374与激光器322电连接。系统控制器362利用在监视器(未显示)上显现图像通过X-Y偏转器310调节束304的扫描，以及进行下面描述的图像处理运算，以确定样品表面上FMs的位置。

通常带电粒子束必须在真空中行进，因此真空壳334包含柱302的出口、X-Y偏转器310、镜314、屏蔽板316和样品306，如所显示。通常使光学仪器尽可能地位于真空外面容易得多，因此视口356使得来自激光器322的光327(反射离开分束器326)穿入壳334，而使位置308处由FMs发射的光能够穿出壳334，通过分束器326，接着通过滤色器372并进入检测器360。滤色器372用于使能够穿入检测器360的激光激发光324的量减少。由于激发光常常具有比来自FMs的发射光短的波长，因此有可能调整滤色器372的通频带，以传送来自FMs的大部分光，同时阻断大部分激光。在一些情况下，检测器360内可发生额外的光过滤。电穿通器(Electrical feedthrough)354使得电缆366、368和370穿入和穿出壳334，而穿通器352使得电缆376、378和380穿入和穿出壳334。

用于高效收集光和二次电子的检测器光学器件

图4A是利用SIMION射线跟踪(ray-tracing)程序产生的侧视图400，其显示图3中的检测器光学器件的光和二次电子轨迹。可以看到初级束304向下穿过抛物面镜314中的孔312通过。束304碰撞位置308处的样品306诱导发射二次电子332为余弦(朗伯定律(LambertLaw))分布。屏蔽板316和样品306一般具有由系统控制器362施加相等的电压(参见图3)。对传导性镜表面314施加数百伏的负偏置，以排斥(0至50eV)二次电子332，如所显示。这种反射不同于反光反射出镜314的光反射，因此SEs被收集到位于样品306侧面的检测器320上。位置308处的收集立体角非常大，优选在该配置中大于π球面度，提供良好信噪比的SE图像。由样品306中的荧光标记物(FMs)发射的光还发射为余弦分布，其中大部分指向镜314，如所显示。由于样品306上的位置308是抛物面镜314的焦点，镜314反射出的光328一般平行穿至图4A的右侧。将理解的是，镜314的益处可以用于其他应用中，在所述应用中，光指向样品或者由带电粒子束系统中的样品检测。将从镜314受益的这些系统包括收集对于光学显微镜的光(与带电粒子束同轴)的系统，例如描述于授予Rasmussen的美国专利号6,373,070“用于带有聚焦离子束的同轴光学显微镜的方法设备”中的系统和收集来自由带电粒子束或发光引起的光致发光的光的系统。

图4B是图4A中检测器光学器件的剖面等轴视图，其也利用SIMION产生。此外，分束器326显示于右侧较低处。可以看到SE 332的椭圆形模式碰撞检测器320，因此检测器320的面积不需要过大，较小的检测器面积可使检测器带宽增加(至少对于固态检测器)，且因而一般是优选的。

第二个实施方案-位于样品下方的检测器光学器件

图5是本发明的第二个实施方案500的示意图，其包含位于样品506下方的检测器光学器件。带电粒子柱502例如电子束柱或者聚焦离子束柱产生带电粒子束504，其通过柱502聚焦于样品506表面上的位置508处。束504通常包含能量在大约50keV至300keV的电子。配置可以包含磁性线圈、静电多极或者磁性线圈和静电多极二者组合的X-Y束偏转器510，以使束504在样品506的表面上来回移动，通常以X-Y光栅模式进行成像。在本发明的第二个实施方案500中，假设样品506足够薄，以允许束504穿透样品506，因此收集样品表面下方的所有成像信号(光和带电粒子)，如所显示。抛物面镜580位于样品506的下面。镜580中的孔582使得所传送的带电粒子束584在穿过样品506后向下行进。束584可通常包含来自初级束504的未散射粒子、弹性散射粒子、非弹性散射粒子、二次电子和/或离子，以及样品506中经弹性和非弹性散射的粒子。穿过孔582后，束584进入检测器586，所述检测器586可包含能量过滤器，以区分上面提到的多种类型的所传送粒子，以及可能地平行运行的多个检测器。

为了达到最大的光收集效率，配置镜580，以对向位置508处最大可能的立体角(通常＞π球面度)。因此，位置508处由荧光标记物(FMs)发射的最大可能的光量将被收集并传送通过分束器596，接着通过滤色器598，最终到达光检测器590，这使得光学信号中可达到的信噪比最大化。FMs通过来自激光器522的光594被激发，其向上发射，首先反射出分束器596，接着被抛物面镜580反射并聚焦，在位置508处穿过样品506。需要注意的是，最大可能地将光传送通过分束器596是理想的，以增加到达检测器590的光量，此处应用与上面图3中相同的传送百分比考虑。重要的是，使孔582的大小保持在最小，以减少光反射损耗，同时保持足够大以能够容纳束584中弹性散射的电子。抛物面580的焦点大约位于样品506上的位置508处，因此从位置508附近发射的光将聚焦入大致平行的光束587中，其指向图右侧。

系统控制器562通过电缆570与柱502、通过电缆568与X-Y偏转器510、通过电缆566与样品506、通过电缆574与激光器522、通过电缆564与检测器590以及通过电缆588与检测器586电连接。系统控制器562利用在监视器(未显示)上显现图像通过X-Y偏转器510调节束504的扫描，以及进行下面描述的图像处理运算，以确定样品表面上FMs的位置。

通常带电粒子束必须在真空中行进，因此真空壳534包含柱502的出口、X-Y偏转器510、样品506、镜580和检测器586，如所显示。视口556使得来自激光器522的光587(反射出分束器596)穿入壳534，而使位置508处由FMs发射的光能够穿出壳534，通过分束器596，接着通过滤色器598并进入检测器590。如同图3中的第一个实施方案，滤色器598用于使能够穿入检测器590的激光激发光594的量减少。此处对分束器596应用与对图3中的分束器326相同的反射性考虑。电穿通器554使得电缆566、568和570穿入和穿出壳534，而穿通器552使得电缆588穿入和穿出壳534。

第三个实施方案-位于样品上方和下方的检测器光学器件

图6是本发明第三个实施方案600的示意图，其包含位于样品606上方和下方的检测器光学器件。带电粒子柱602例如电子束柱或者聚焦离子束柱产生带电粒子束604，其通过柱602聚焦于样品606表面上的位置608处。配置可包含磁性线圈、静电多极或者磁性线圈和静电多极二者组合的X-Y束偏转器610，以使束604在样品606的表面上来回移动，通常以X-Y光栅模式进行成像。在本发明的该第三个实施方案600中，假设样品606足够薄，以允许束604穿透样品606。为了达到较高的光收集效率，使两个抛物面镜614和680分别位于样品606的上方和下方。镜614中的孔612使得束604穿过样品606。镜680中的孔682使得所传送的带电粒子束684在穿过样品606后向下穿行。束684可通常包含来自初级束604的未散射粒子、弹性散射粒子、非弹性散射粒子、二次电子和/或离子，以及样品606中经弹性和非弹性散射的粒子。穿过孔682后，束684进入检测器686，所述检测器686可以包含能量过滤器，以区分上面提到的多种类型的所传送粒子，以及可能地平行运行的多个检测器。对将由于初级束604的碰撞而从位置608发射的SEs 632收集入检测器620的考虑与图3、4A和4B中相同。

为了达到最大的光收集效率，配置镜614和680二者，以对向位置608处最大可能的立体角(对于镜614和680中每个镜，通常＞π球面度，总共＞2π球面度)。位置608处由荧光标记物(FMs)发射的最大可能量的向上发射光将被收集并传送通过分束器626，接着通过滤色器672，并进入检测器660，这使得光学信号中可达到的信噪比最大化。类似地，位置608处来自FMs的最大可能量的向下发射光将被收集并传送通过滤色器698，接着到达检测器690。FMs通过来自激光器622的光624被激发，其向上发射，首先反射出分束器626，接着被抛物面镜614反射并聚焦在位置608处样品606上。需要注意的是，最大可能地将光传送通过分束器626是理想的，以增加到达检测器660的光量，此处应用与上面图3和5中相同的传送百分比考虑。重要的是，使孔612和682的大小保持在最小，以减少光反射损耗。抛物面614和680的焦点大约位于样品606上的位置608处，因此从位置608附近发射的光将分别聚焦入大致平行的光束628和687中，其指向图的右侧。

系统控制器662通过电缆670与柱602、通过电缆668与X-Y偏转器610、通过电缆666与镜614、通过电缆664与检测器660和690、通过电缆676与屏蔽板616、通过电缆678与样品606、通过电缆688与检测器686、以及通过电缆674与激光器622电连接。显示检测器690和660通过电缆699互相连接，但是可选的配置将具有单独的电缆到达系统控制器662。系统控制器662利用在监视器(未显示)上显现图像通过X-Y偏转器610调节束604的扫描，以及进行下面描述的图像处理运算，以确定样品表面上FMs的位置。

通常带电粒子束必须在真空中行进，因此真空壳634包含柱602的出口、X-Y偏转器610、镜614、屏蔽板616、样品506、镜680和检测器686，如所显示。使光学仪器尽可能地位于真空外面容易得多，因此视口656使得来自激光器622的光624(反射出分束器626)穿入壳634，而使位置608处来自FMs的向上发射的光能够穿出壳634，通过分束器626，接着通过滤色器672并进入检测器660。位置608处来自FMs的向下发射的光通过视口656穿出壳634，通过滤色器698，接着进入检测器690。如同图3和5中的第一个实施方案，滤色器672和698分别用于使能够穿入检测器660和690的激光激发光624的量减少。电穿通器654使得电缆666、668和670穿入和穿出壳334，而穿通器652使得电缆676、678、688和680穿入和穿出壳634。需要注意的是，在该双抛物面镜配置中，来自激光器622的光(穿过样品606但未被吸收)将反射出镜680，至检测器690，因此必须配置滤色器698，以抵抗高于图3和5中的情况的潜在高水平的激光照射。

扫描场中较少量荧光标记物的成像

图7是在对含有100个GFPs的扫描场进行光栅扫描的过程中信号704(每个像素所收集的光子数量)作为时间702函数的图700。扫描总时间是60s，其分布于512×512(256k)像素中，像素滞留时间是229μs。曲线706表示对于被照射区域内所有未被破坏的GFPs，每个像素所收集的光子数量。在最左端，假设所有100个GFPs响应于激光激发而发射光。随着曲线706向右下方降落，被破坏的GFPs的数量从0逐渐增加至100，最终在60s光栅扫描结束时所有GFPs均被破坏。由于GFPs是随机定位的，从0s至60s，曲线706具有一些不规则但遵循总体降落。3mW的激光功率分布于样品处28μm²区域中，在该示例中，假设光栅具有该相同面积，因此在扫描结束时，无GFPs保持未被破坏。一般来讲，被照射区域可以大于光栅，因此在60s的扫描结束时一些GFPs会保持未被破坏。

图8是显示图7中图表700初始阶段的特写图800，其显示总共100个GFPs中前8个GPFs的破坏。在被激光照射区域内对GFPs进行定位的最难点在初始阶段，此时发射的GFPs数量最大(并且已被破坏的GFPs数量最小)。这是因为发射光的未被破坏的GFPs数量最大时，从所有GFPs收集的全部光中的统计波动将最大(以像素滞留时间中收集的光子数量的平方根来计算)。利用表I中列出的假设条件制备图表700和800。曲线806表示从被照射区域中所有未被破坏的GFPs收集的光子平均数量，其作为扫描时间的函数，仅显示了前8秒，在此期间8个GFPs被带电粒子束(电子或者离子)攻击并破坏。这些破坏事件中的每个事件由信号的垂直下降表示，例如左上方的下降812。曲线806的上方是+3σ曲线808(长断线)，其表示高于平均信号水平806 3倍标准差的预期信号波动，这是相对不可能的事件。类似地，曲线806下方是-3σ曲线810(短断线)，其表示低于平均信号水平806 3倍标准差的预期信号波动，这也是相对不可能的事件。此处需要注意的关键之处是在突变(jump)812处，其表示一个GFP的损失(由于破坏)，突变812左侧的曲线810正好位于突变812右侧的曲线808的上方，也就是说，极其不可能的是，在激光聚焦区域内仅有100个GFPs被照射(和从而发射)的情况下，从所有未被破坏的GFPs收集的光子数量所产生的内在统计信噪比使得难以检测单个GFP破坏事件。

表I.用于图7和8中图表700和800的假设条件

成像总时间	60.00	s
			图像尺寸	512	#像素/侧
总#像素	262144
			像素时间	228.9	us
基质处的激光功率	0.0030	W＝J/s
			波长	550.00	nm
能量/光子	2.25	eV＝(J)
			入射光子/s	8.306E+15	/s
被照射区域的直径	6.00	um
			被照射区域的面积	28.27	um^2
GFP的直径	3.00	nm
			GFP的面积	7.07	nm^2
入射光子/s/GFP	2.077E+09	/s
			量子效率估测值	0.50
收集效率估测值	0.25
			所收集的光子/s/GFP	2.596E+08	/s/GFP
所收集的光子/像素/GFP	59410.21
			#光子/像素/GFP中的统计波动	243.74
被照射区域中的GFP数量	100
			所收集的光子/像素时间/被照射区域	5.941E+06
#光子//被照射区域中的统计波动	2437.42
			信噪比估测值	24.37

扫描场中较大量荧光标记物的成像

图9是在对含有10000个GFPs的扫描场进行光栅扫描的过程中信号904(每个像素所收集的光子数量)作为时间902函数的图表900。扫描总时间是60s，其分布于512×512(256k)像素中，像素滞留时间是229μs，如图7中。曲线906表示对于被照射区域内所有未被破坏的GFPs，每个像素所收集的光子数量。在最左端，假设所有10000个GFPs响应于激光激发而发射光。随着曲线906向右下方几乎直线降落，被破坏的GFPs的数量从0逐渐增加至10000，最终在60s光栅扫描结束时所有GFPs均被破坏。由于10000是如此大的数量，即使视野中GFPs是随机分布的，曲线906也大约是直线。3mW的激光功率分布于样品处28μm²区域中，在该示例中，假设光栅具有该相同面积，因此在扫描结束时，无GFPs保持未被破坏。一般来讲，被照射区域可以大于扫描光栅，因此在光栅扫描结束时一些GFPs会保持未被破坏。

图10是显示图9中图表900初始阶段的特写图1000，其显示总共10000个GFPs中前8个GPFs的破坏。如图7中图表700的情况，在被激光照射区域内对GFPs进行定位的最难点在初始阶段，此时发射的GFPs数量最大(并且已被破坏的GFPs数量最小)。图表900和1000表示被激光照射的区域内GFPs是图7和8中的情况的100倍，因此所收集的全部光(参见图3、5和6中3种可选检测器几何图形)将是100倍高，其中绝对统计波动是√100＝10倍高。由于由单个GFP发射的光不依赖于被照射GFPs的总数量，这意味着无论何时单个GFP被带电粒子束破坏，所收集的全部光(来自所有未被破坏的GFPs)的变化相比较统计波动是总共100个GFPs的情况(图7和8)的10倍低。这可以从图800和1000之间的定性差异中看出。

利用表II中列出的假设条件制备图表900和1000。曲线1006表示从被照射区域中所有未被破坏的GFPs收集的光子平均数量，其作为扫描时间的函数，仅显示了前0.09s，在此期间8个GFPs被带电粒子束(电子或者离子)攻击并破坏。信号的垂直下降代表这些破坏事件中的每个事件，例如左上方的下降1012。曲线1006的上方是+3σ曲线1008(长断线)，其表示高于平均信号水平10063倍标准差的预期信号波动，这是相对不可能的事件。类似地，曲线1006下方是-3σ曲线1010(短断线)，其表示低于平均信号水平1006 3倍标准差的预期信号波动，这也是相对不可能的事件。此处需要注意的关键之处是在突变1012处，其表示(由于破坏)导致一个GFP损失，突变1012左侧的曲线1010此时位于突变1012右侧的曲线1008的下方，这种情况与图8中所显示在性质上不同，该处无重叠。尽管±3σ是相当严格的标准，显然在这种情况下将个体GFP破坏事件与光信号(比如来自图3中的检测器360)中的总体统计噪声区分开来将更加困难。

表II.图9和图10中图表900和1000的假设条件

成像总时间	60.00	s
			图像尺寸	512	#像素/侧
总#像素	262144
			像素时间	228.9	us
基质处的激光功率	0.0030	W＝J/s
			波长	550.00	nm
能量/光子	2.25	eV＝
			入射光子/s	8.306E+15	/s
被照射区域的直径	6.00	um
			被照射区域的面积	28.27	um^2
GFP的直径	3.00	nm
			GFP的面积	7.07	nm^2
入射光子/s/GFP	2.077E+09	/s
			量子效率估测值	0.50
收集效率估测值	0.25
			所收集的光子/s/GFP	2.596E+08	/s/Q点
所收集的光子/像素/GFP	59410.21
			#光子/像素/GFP中的统计波动	243.74
被照射区域中的GFP数量	10000
			所收集的光子/像素时间/被照射区域	5.941E+08
#光子//被照射区域中的统计波动	24374.21
			信噪比估测值	2.44

对较少量FMs的FM定位进行改进的图像处理

在本部分中，我们将进一步对如上首先在图7和8中所讨论对于激光照射区域中100个GFPs的情况中荧光标记物(FMs)例如绿色荧光蛋白(GFPs)的定位进行调查。图11是显示光栅扫描过程中具有统计噪声的原始信号1106和平滑信号1108作为时间1102函数的图表1100，其显示总共100个GFPs中前3个GPFs的破坏。对垂直轴1104绘制曲线1106和1108，所述垂直轴1104表示每个像素从所有GFPs收集的光子数量。假设噪声是完全随机的，即每个像素的信号中的波动将具有等于像素时间(在本示例中是229μs)内所收集光子数量的平方根的标准差。如对于图8的讨论，仅100个GFPs被激光照射时，曲线808和810接近于光子平均数量曲线806，意味着对于极少的像素，将存在足够的噪声，使得难以辨别GFP破坏事件。此处进一步阐明了这一点，其中小的正向和负向信号噪声波动不带来问题之处在于将GFP破坏事件的位置确定于1110、1112和1114处。图像处理方法阐述于图11-13中，其包括平滑步骤，随后是辨别步骤。在图11中，曲线1108是原始数据曲线1106的平滑形式，可以清楚地看到3个GFP破坏事件1110、1112和1114中每个事件处的向下阶梯。

平滑函数(kernel)1206显示于图12中。

图12是显示以1208为中心的高斯平滑函数1206和以1212为中心的导函数1210的图表1200，其是对像素单位(在本示例中滞留时间是229μs)中从中心的时间1202(即经平滑处理的特定像素数据)而绘制，垂直轴1204是两个函数的数值(无单位)。曲线1206中13个权重(实心方块)的总和是1.000，其中位于中心的最大值是大约0.11。尽管在该实施方案中显示了高斯平滑函数1206，但是其他平滑函数也在本发明的范围内，包括但不限于二项式分布和钟形曲线。原始信号数据经卷积或者与曲线1206结合后，接着使所得到的平滑数据例如图11中的曲线1108与第二个“导函数”曲线1210(在本示例中是曲线1206的导数)自相关。尽管在本实施方案中，曲线1210是高斯曲线的导数(derivative)，但是其他类型的“导函数”是可能的，包括但不限于二项式分布或者钟形曲线的导数。高斯曲线1206的半峰全宽(full-width half-maximum，FWHM)是将要优化的参数，如下面图16中所讨论，在本示例中是10.0像素。该过程的简化首先是由于卷积和自相关相关联而使曲线1206和1210卷积，接着使所得到的曲线与原始图像数据卷积。此处使曲线1206和1210保持分离，以阐明该过程。

图13是显示光栅扫描过程中原始信号1106、平滑信号1108(均来源于图11)和平滑导数1306作为时间1302函数的图，其显示总共100个GFPs中前3个GPFs的破坏。左侧的垂直轴1304是针对曲线1106和1108，以来自所有未被破坏GFPs的每个像素中光子为单位，而右侧的垂直轴1305是针对导数1306，也是以来自所有未被破坏GFPs的每个像素中光子数量为单位。导数曲线1306具有3个深度向下的峰：第一个位于对应于GFP破坏事件1110的1310处，第二个位于对应于GFP破坏事件1112的1312处，第三个位于对应于GFP破坏事件1114的1314处，注意沿时间轴精确的位置一致性。因此，对于少量GFPs被激光激发的情况，图像处理程序可以容易地从原始成像信号1106中确定GFP破坏事件的位置，如所显示。阈值线1320限定导数曲线1306中峰的最大高度，所述峰被认为是GFP破坏事件。因此本发明的图像处理方法中有两种参数：平滑曲线(例如图12中的曲线1206)的FWHM和阈值1320。对这两种参数的选择讨论于下面图17中。

对较大量FMs的FM定位进行改进的图像处理

在本部分中，我们将进一步对如首先在上面图9和10中所讨论对于激光照射区域中100倍GFPs(即此时是10000)的情况中荧光标记物(FMs)例如绿色荧光蛋白(GFPs)的定位进行调查。对于10000个GFP的情况的图14对应于对于100个GFP的情况的图11，图表1400显示光栅扫描过程中具有统计噪声的原始信号1406和平滑信号1408作为时间1402的函数，其显示总共10000个GFPs中前3个GPFs的破坏。两幅图表均对垂直轴1404绘制，所述垂直轴1404表示每个像素从所有未被破坏的GFPs收集的光子数量。同100个GFP的示例一样，假设噪声是完全随机的，即每个像素的信号中的波动将具有等于像素时间(在本示例中是229μs)内所收集光子数量的平方根的标准差。如对于图10的讨论，如此大量的GFPs被激光照射时，曲线1008和1010距离光子平均数量曲线1006非常远，意味着可能潜在地难以从总体噪声背景中辨别个体GFP破坏事件，因此，开发了本文中讨论的图像处理方法。该方法是示例性的，其包含于此是为了说明利用合适类型的充分图像处理，大部分GFPs的位置(即使来自样品内大量)应该相当精确，因此将首先描述于美国专利号7,317,515的技术扩展至高得多的荧光标记物密度，所述密度对于可表达标签例如GFPs来说可为普遍的。此处使用图11-13中阐述的相同的图像处理程序。在图14中，曲线1408是原始数据曲线1406的平滑形式，其利用具有10.0像素的FWHM的平滑曲线1206计算得到，在原始数据曲线1406中难以看到3个GFP破坏事件1410、1412、1414中每个事件处向下阶梯的精确位置。平滑函数(kernel)1206显示于图12中，其产生平滑曲线1408，其中GFP破坏事件更加清楚。

图15是1500显示光栅扫描过程中原始信号1406、平滑信号1408(均来源于图14)和平滑导数1506作为时间1502函数的图1500，其显示总共10000个GFPs中前3个GPFs的破坏。左侧的垂直轴1504是针对曲线1406和1408，以每个像素中的光子为单位，而右侧的垂直轴1505是针对导数，也是以每个像素中的光子数量为单位。导数曲线1506具有3个深度向下的峰：第一个位于对应于GFP破坏事件1410的1510处，第二个位于对应于GFP破坏事件1412的1512处，第三个位于对应于GFP破坏事件1414的1514处-注意精确的一致性，虽然与图11中的曲线1106相比，该示例中原始信号数据1406相对杂乱。阈值线1520限定导数曲线1506中峰的最大高度，所述峰被认为是GFP破坏事件(与图13中阈值线1320相比)。因此本发明对于10000个GFPs的图像处理方法中同对于100个GFPs一样有两种参数：平滑曲线(例如图12中的曲线1206)的FWHM和阈值1520。对这两种参数的选择讨论于下面图17中。因此，如所示，对于较大量GFPs被激光激发的情况，图像处理程序仍然可以通过对原始成像信号1406进行处理而确定GFP破坏事件的位置。

图像处理方法的优化

现在，我们讨论对于图像处理方法的FWHM和阈值参数的优化选择。本分析仅是用于示例目的，因为其使用模拟噪声数据用于实际的实验数据，可以通过调整FWHM和阈值以使检测出的FMs数量匹配FMs的实际数量，从含有已知量FMs的样品(例如利用量子点或者GFPs的规则阵列)中凭经验确定FWHM和阈值。图16是显示图像处理方法的性能的柱状图1600，所述方法用于在扫描场中存在大量统计噪声和被照射的大量GFPs(10000)时确定前3个GFPs的位置。对于恰好存在3个GFPs的示例(如图11、13-15中)，柱状图1600显示对于10.0像素的FWHM和-3625的阈值，94％的时间1608，该程序将精确地确定正确数量的传送的位置，无假阳性(即外来GFPs)并且无假阴性(即无遗漏的GFPs)。在3％的情况1606中，3个GFPs中的一个遗漏，而在另一个3％的情况1610中，记录了一个外来GFP(3个实际+1个外来＝总共4个)。

图17是图像处理方法优化结果的图表1700，其说明发现的GFPs 1706作为FWHM(像素中)1702的函数。左轴1704以百分比对应于曲线1706。曲线1708利用放大10倍的轴1704说明假阴性(即遗漏的GFPs)的百分比。曲线1706和1708的总和常常等于100％。曲线1710也利用放大10倍的轴1704说明假阳性(即不对应于真实GFPs的外来GFP位置)的百分比。右轴1720对应于阈值水平经导数优化的曲线1712(即图13中线1320的数值和图15中线1520的数值)。进行广泛系列的建模运算，其中FWHM和阈值均变化，以确定最佳数值，以使曲线1706的水平最大化同时使假阴性和假阳性百分比减少和均衡。结果显示于下面表III中。随着FWHM增加，阈值曲线1712继续上升，这在直观上是合理的，因为显然随着平滑量的增加(具有较大的FWHM值)，导数中峰将“减弱(blunted)”并且不向下延伸，这需要较小的阈值(即在图表上较高)以避免切断对应于实际GFPs的那些峰。

表III中列为“检测到每个GFPs数量的次数％”的4个柱显示在所有情况下，检测到2个、3个或者4个峰(决不更多或者更少)，尽管在所有情况下峰的正确数量是3个。当检测到2个峰时，发现两个位置均对应于实际GFPs，但是第3个GFP位置的峰未延伸至阈值下方并且丢失。因此，对于FWHM＝6.0像素，两个峰9.50％的检测比率对应于(9.50％)/3＝3.17％的假阴性比率(即遗漏的GFPs)以及(9.50％)2/3＝6.37％的GFPs正确检测比率，其与78.25％的GFPs正确数量检测(正确位置处)比率相加。类似地，当检测到4个峰时，发现3个位置对应于实际GFPs，但是由于平滑噪声导致的一个额外峰降至阈值下方，且被认为是外来GFP。因此，检测到4个峰的比率12.25％对应于(12.25％)/4＝3.06％的假阳性比率以及(12.25％)3/4＝9.19％的GFPs正确检测比率，其与78.25％的比率相加。因此，正确找到GFPs的总百分比是：3.17％+78.25％+9.19％＝96.83％，如表III中所显示。

从该分析中，显示10个像素的FWHM和-3625的阈值提供最少量假阳性(0.75％)和假阴性(1.00％)的良好平衡，同时提供高比率(99％)的GFP正确定位。一般来讲，受到使错误率最小化的约束，优选使用最小的可能FWHM进行平滑处理，因为在GFPs沿扫描线非常靠近(即相隔仅几个像素)的少数情况下，较大的FWHM值可以导致数据丢失，因此选择10.0个像素的FWHM，替代会产生相同错误率的13.0个像素的FWHM。利用随机噪声的数百个模拟已经表明在图17和表III中显示的结果中惊人的一致性。显然，FWHM的最佳值可以是图像多种特征的函数。预期该优化过程对于整个带电粒子束系统将是所需的，所述系统用于获得原始成像信号并进行随后的图像处理，以产生含有样品中GFPs的坐标的最终图像。对于具有来自GFPs的光发射的变化和很多其他问题的实际生物学样品，此处描述的理论错误率几乎肯定是绰绰有余的。

对可表达标签例如GFPs进行定位的方法的流程图

图18是本发明方法的流程图1800，其用于对生物学样品内的可表达标签例如GFPs进行定位。在方框1802中，使用于GFP的报告基因附着于动物、植物或者细胞培养物(目标研究的对象)中特定目标基因(GoI)的调控序列上，因此无论何时GoI在细胞内表达(符合细胞对于由该GoI编码的蛋白质的需求)，GFP(和肽接头，如果存在)也将表达并将保持附着于目标蛋白质(PoI)上。在方框1804中，使细胞表达GFP基因(产生PoI+接头+GFP氨基酸序列，具有对于PoI正常的二级、三级和可能的四级结构)。在方框1806中，接着以本领域技术人员熟悉的方式制备样品，以进行带电粒子显微镜观察，由于GFPs是普通的蛋白质，因此不必要进行特殊处理以维持样品中GFPs的光发射特性。在与方框1802-1806平行的方框1808中，配置带电粒子束系统，以激光照射样品(基于选择突变体或者野生型GFP具有所需激发波长)以及有效地收集由被激发的GFPs发射的荧光。图3、5和6中阐述的本发明的3个实施方案是具有这种所需能力的示例性系统，然而也具有这种能力的其他系统也可以用于实施本发明。

一旦在方框1806中已经制备样品并且在方框1808中已经适当地配置了带电粒子系统，在方框1810中可以将样品插入带电粒子束系统中并放置于带电粒子束下。由图4A和4B中图解的检测器光学器件赋予的有效的双向成像能力可以使得以对样品的低水平损伤进行该过程(因为可以使成像剂量最小化)。此时，在方框1812中，用激光束照射样品，所述激光束经调谐，以最佳地激发样品内的GFPs。优选几乎立刻开始在方框1814中带电粒子束(包含电子或者离子)的光栅扫描，同时收集来自被激发的GFPs的光信号并储存于图像储存设备例如帧接收器(frame grabber)中。方框1818表示操作人员选择图像处理参数，例如如上面讨论的平滑处理的FWHM和阈值。该步骤是任选的，如果略过，方框1816将使用以前限定的图像处理参数。在方框1816中，对来自样品的原始噪声数据进行处理，以确定样品中GFPs的位置以及因而由GoIs编码的PoIs的位置。

对功能化标签例如量子点进行定位的方法的流程图

图19是本发明方法的流程图1900，其用于对生物学样品内的功能化标签例如量子点进行定位。在方框1902中，制备样品，其用于使功能化量子点或者其他类型的功能化荧光标记物或者染料附着于对于研究者的目标细胞内组分上。在方框1904中，使样品暴露于功能化荧光标记物(FMs)例如量子点(Q-点)的溶液中。在方框1906中，接着以本领域技术人员熟悉的方式制备样品，以进行带电粒子显微镜观察。在与方框1902-1906平行的方框1908中，配置带电粒子束系统，以激光照射样品(基于选择Q-点利用所需波长)以及有效收集由被激发的Q-点发射的荧光。图3、5和6中阐述的本发明的3个实施方案是具有这种所需能力的示例性系统，然而也具有这种能力的其他系统也可以用于实施本发明。

一旦在方框1906中已经制备样品并且在方框1908中已经适当地配置了带电粒子系统，在方框1910中可以将样品插入带电粒子束系统中并放置于带电粒子束下。由图4A和4B中展示的检测器光学器件赋予的有效的双向成像能力可以使得以对样品的低水平损伤进行该过程(因为可以使成像剂量最小化)。此时，在方框1912中，用激光束照射样品，所述激光束经调谐，以最佳地激发样品内的Q-点。优选几乎立刻开始在方框1914中带电粒子束(包含电子或者离子)的光栅扫描，同时收集来自被激发的Q-点的光信号并储存于图像储存设备例如帧接收器中。方框1918表示操作人员选择图像处理参数，例如如上面讨论的平滑处理的FWHM和阈值。该步骤是任选的，如果略过，方框1916将使用以前限定的图像处理参数。在方框1916中，对来自样品的原始噪声数据进行处理，以确定样品中Q-点的位置以及因而与Q-点功能化相容的PoIs的位置。

组合的二次电子和FM破坏事件成像

图20是联合二次电子和荧光标记物图像2002的示意图2000。在以带电粒子束通过束偏转器横穿样品表面的模式进行扫描的过程中，可以同时获得两个图像：二次电子(SE)图像和由含有可表达荧光标记物(FMs)例如GFPs或者功能化荧光标记物例如Q-点的样品发射的荧光产生的光学图像。带电粒子束辐射的区域一般稍小于导致FMs发荧光的光或者其他辐射束的区域，优选照射区域基本上不大于由带电粒子束辐射的区域，以使每个FM破坏事件中所收集光的减少相对于来自所有未被破坏FMs的整体光背景可最大化。二次电子图像由图像像素组成，每个像素的亮度对应于来自SE检测器的信号，而带电粒子束位于样品上的对应点时，来自SE的信号通常与检测到的SEs的数量有关。这种图像被称为“带电粒子束图像”，并可以利用检测到的二次电子、反向散射电子、二次离子或者其他类型的信号，由电子或者离子的初级束产生。在图20中，SE图像对应于多个线2008、圆圈2006、卵形以及阴影区2004，其对应于进行成像的多种细胞内组分，例如核、细胞膜、光滑和粗面内质网、线粒体、囊泡等。SE图像上所叠加的是多个FMs位置的指示符，其通过图中的小黑圈表示。随着带电粒子束扫描横穿样品，在检测到FM荧光减弱或者消失时记录带电粒子束的位置。通过图21中的图像处理方法确定消失，这些数据储存于由图21的方框2122产生的FM位置文件夹中。由图4A和4B中展示的检测器光学器件赋予的组合SE和光检测的高收集效率的益处在此处是显然的，SE的高收集效率提高了多种细胞内结构的图像质量，而来自样品的光的有效收集使得能够精确地确定样品中高比例的FMs的位置，其中位置被储存并叠加到SE图像上。由于SE和光数据均从相同的光栅扫描中产生，因此SE图像上FM位置的叠加可以是非常精确的。可选地，可以使样品内FMs的位置叠加到普通的TEM图像(弹性、非弹性或者经能量过滤的非弹性等)上，所述TEM图像利用来自图5中检测器586或者图6中检测器686的信号产生。

示例性成像处理方法

图21是图像处理方法的流程图2100，其用于对样品内的荧光标记物(FMs)进行定位。该方法假设已经完成了由带电粒子束对样品进行的光栅全扫描，在该扫描过程中，包含光栅的像素组的一组原始图像数据已经获得并储存于第一图像存储器中。每个像素数据是与由样品中所有未被破坏的荧光标记物(FMs)例如GFPs或者Q-点发射的荧光在像素滞留时间中的平均光密度成比例的数字。图像处理器可以包含于系统控制器例如图3、5和6中分别是362、562和662中。可选地，图像处理器可以包含于单独的脱机处理计算机(未显示)中。在方框2102中，图像处理器卷积原始图像数据(例如图11中的曲线1106或者图14中的曲线1406)，其中利用从方框2104中预先确定的平滑函数(例如图12中的曲线1206)，以产生平滑图像数据，其储存于第二图像存储器中。在方框2106中，来自方框2102的平滑图像数据(例如图11中的曲线1108或者图14中的曲线1408)与来自方框2108的预先确定的导函数(例如图12中的曲线1210)自相关，以产生导数数据，其储存于第三图像存储器中。

接着，在方框2110中，图像处理器针对所有的局部最小值对导数数据进行扫描，所有局部最小值的数值和位置储存于导数最小值位置文件夹(Derivative MinimumLocation File)(DMLF)。局部最小值的示例包括图13中的峰1310、1312和1314，或者图15中的峰1510、1512和1514。接着，对DMLF中每个局部最小值执行包含决定方框2112和方框2114、2122和2124的环。将每个局部最小值的数值与从方框2114中预先确定的最大阈值水平例如图13中的水平1320或者图15中的水平1520相比较。一般来讲，很多局部最小值将对应于数据中的随机噪声波动，而不对应于样品中FMs的真实位置，其具有方框2114中最大阈值水平的适宜选择，不对应于实际FMs的大部分局部最小值将通过决定方框2112消除(因而减少假阳性的数量)。此外，优选不对应于实际FMs的大部分局部最小值将降至最大阈值水平以下(因而减少假阴性的数量)。图像处理方法成功地对大部分实际FMs进行定位，同时排除不对应于实际FMs的大部分最小值，这依赖于下列事实，即当实际FM被破坏时，来自样品的光永久性减弱，而对于随机噪声，来自样品的光上升和下降，但是平均保持相同。因此，通过对数据进行平滑处理和利用导函数，由于噪声产生的上下波动将被平滑除去，同时仍然可以检测到来自样品的光中的阶梯减弱。来自决定方框2112的途径2120对应于降至最大阈值水平以下的所有局部最小值，在方框2122中，这些局部最小值的位置保存于FM位置文件夹(FM Location File)(FMLF)中，接着环前进至方框2124。具有高于最大阈值水平的数值的所有局部最小值沿途径2118至方框2124，且不储存于FMLF中，因为根据定义，假设这些数据不与实际FM位置相对应(这是阈值的目的)。在方框2124中，环递增至DMLF中的下一个局部最小值，直至所有被储存的局部最小值已经在决定方框2112中被分析。在图像处理方法得出的结论中，优选FMLF将含有样品内大部分FMs的位置，以及最小数量的外来(非FM)位置，因此将使假阴性(遗漏的FMs)和假阳性(错误的额外FMs)的水平均最小化，如图16和17中所讨论。

上面讨论使用了术语“绿色荧光蛋白”或者“GFP”，以表示任何类型的可表达生物学荧光标记物，或者标签，所有均在本发明的范围内。术语“Q-点”已经用于表示本领域普遍使用的任何类型的功能化荧光标记物，所有均在本发明的范围内。尽管提出了带电粒子系统的三个实施方案以实施本发明，可以理解的是，其他系统配置也可能在本发明的范围内。术语二次电子不仅可以包括低能量二次电子，也可以包括Auger电子和反向散射电子。

表III.图像处理程序优化结果。对于每组FWHM和阈值，运行300个模拟运行(每个精确地具有3个初始GFP破坏事件)，以获得关于图像处理程序的性能的良好统计数据。

可以应用计算机程序输入数据，以进行本文中描述的功能并且因而将输入数据转化，以产生输出数据。将输出信息应用于一种或多种输出设备，例如显示监视器。在本发明的优选实施方案中，已转化的数据表示实体和有形对象，包括在显示器上产生实体和有形对象的特定可视描写。

本发明的优选实施方案还利用粒子束装置例如FIB或者SEM，以利用粒子束使样品成像。用于使样品成像的这种粒子固有地与样品相互作用，在一些程度上导致物理转化。而且，在整个本说明书中，利用术语例如“运算”、“确定”、“测定”、“产生”、“检测”、“形成”等的讨论还指计算机系统或者类似的电子设备的作用和处理，其操作并且使计算机系统内以物理量表示的数据转化成计算机系统或者其他信息存储、传送或者显示设备内类似地以物理量表示的其他数据。

根据本发明的一些实施方案，带电粒子系统包括：带电粒子光柱，其用于将带电粒子束引导至含有荧光标记物的样品上；二次电子检测器，其用于收集带电粒子束撞击后由样品发射的二次电子；光源，其用于对样品中的荧光标记物进行激发；光检测器，其用于检测由样品中的荧光标记物发射的荧光；和电传导镜，配置所述镜以：将来自光源的光引导至包含带电粒子束对样品的碰撞点的样品区；使由荧光标记物发射的荧光向光检测器反射和提供电场以使来自样品的二次电子偏转进入二次电子检测器。

在一些实施方案中，带电粒子系统的镜是抛物面镜，其用于使光聚焦到样品区域上和用于收集来自样品区域的光，其中焦点接近于带电粒子束的碰撞点。

在一些实施方案中，带电粒子系统进一步包括位于镜和光检测器之间的分束器，配置所述分束器以：将由镜反射的荧光传送进入光检测器和使来自光源的光向镜反射。且在一些实施方案中，进一步包括位于分束器和光检测器之间的滤色器，其中调整所述滤色器的透射比，以大大阻断来自光源的光的传送，而使由标记物发射的荧光穿过。

在一些实施方案中，对由样品发射的光和二次电子的立体收集角均大于π/2球面度。

在一些实施方案中，荧光标记物包括由与目标基因连接的基因所表达的荧光标记物或者包括选择性地附着于特定细胞组分上的无机荧光标记物。

在一些实施方案中，光检测器包括多个检测器，配置所述多个检测器中的每个检测器以收集来自特定类型的荧光标记物的荧光。且在一些实施方案中，光检测器和镜位于样品上方，其进一步包括：位于样品下方的透射式电子检测器、对于由样品中的标记物发射的荧光的第二光检测器和位于样品和透射式电子检测器之间的第二镜，所述第二镜具有位于接近带电粒子束对样品的碰撞点的焦点，配置所述第二镜以使由标记物发射的荧光向第二光检测器反射。

根据本发明的一些实施方案，带电粒子系统包括：带电粒子束源，其用于产生带电粒子；带电粒子束光柱，其用于使来自带电粒子束源的带电粒子束聚焦于含有荧光标记物的样品上；使样品保持于样品位点中的样品台，穿过样品位点的样品平面，所述样品平面使空间分成包含带电粒子束源的样品平面上方的区域和样品平面下方的区域；二次电子检测器，其用于收集由于带电粒子束碰撞样品而由样品发射的二次电子，所述二次电子检测器位于样品平面的上方；光源，其用于对样品中的荧光标记物进行照射，来自所述光源的光最初从样品上方照射样品；光检测器，其用于检测由样品中的标记物发射的荧光；和位于样品平面上方的镜，配置所述镜以将来自光源的光引导至样品表面上，以使荧光标记物发荧光，并且用于在光不完全穿过样品的情况下使由荧光标记物发射的光偏转到光检测器上。

在一些实施方案中，带电粒子系统的镜包括电传导性抛物面镜。在一些实施方案中，镜具有光的焦点，所述焦点的位置接近于带电粒子束对样品的碰撞点。且在一些实施方案中，配置所述镜以：使来自光源的光聚焦于样品上和使由荧光标记物发射的荧光向光检测器反射。

在一些实施方案中，带电粒子系统进一步包括具有孔的电极，带电粒子束穿过所述孔，且配置所述电极以在电极和可配置以使来自样品的二次电子偏转进入二次电子检测器的电传导性抛物面镜之间提供电场。并且在一些实施方案中，电极经偏置为大约样品的电势。

根据本发明的一些实施方案，用于在带电粒子束系统中收集来自样品的带电粒子和光的装置包括：镜，其具有缺口以使带电粒子束穿过，配置所述镜以将来自样品的光反射至光检测器；带电粒子检测器，其用于检测来自样品的粒子；和导体，其经电偏置以在镜和样品之间提供电场，所述电场阻止来自样品的带电粒子碰撞镜并且将来自样品的带电粒子偏转至带电粒子检测器。

在一些实施方案中，带电粒子检测器位于带电粒子束离开镜的水平下方的平面中。在一些实施方案中，镜的传导部分包括用于在镜和样品之间提供电场的导体。且在一些实施方案中，传导部分包括金属反射层。

根据本发明的一些实施方案，用于对样品中的荧光标记物进行定位的方法包括：用光照射样品，以激发荧光标记物，其中照射样品的光通过电传导性第一镜聚焦于样品上；将带电粒子束以一种模式引导至样品表面上，其中带电粒子在小于由光照射的区域的区域中碰撞样品；对由荧光标记物发射的光进行检测，其中通过第一镜使来自样品的光向检测器反射，所述第一镜中具有开口以使带电粒子束穿过；使带电粒子束以一种模式移动横穿样品表面，其中至少一些荧光标记物被带电粒子束碰撞时减弱其荧光；使由带电粒子束碰撞于样品上而产生的来自样品的带电粒子远离第一镜并向检测器偏转；和当检测到来自样品中的荧光标记物的全部光发射的减少时根据带电粒子束模式内的已知位点进行测定，以确定荧光标记物的位置。

在一些实施方案中，用于对样品中的荧光标记物进行定位的方法进一步包括显示来源于带电粒子束的图像，所述图像包含荧光标记物的位置，其叠加于带电粒子束图像上。在一些实施方案中，荧光标记物包括遗传表达的标记物。并且在一些实施方案中，遗传表达的标记物包括绿色荧光蛋白。

在一些实施方案中，荧光标记物包括无机荧光标记物，其经功能化以能够选择性地附着于特定细胞内组分上。在一些实施方案中，检测由荧光标记物发射的光包括分别检测来自样品内多种类型的荧光标记物的光。

在一些实施方案中，带电粒子束包括电子束或者聚焦离子束。在一些实施方案中，带电粒子检测器位于与镜相同的样品一侧并且位于镜水平下方。

在一些实施方案中，使来自样品的带电粒子远离第一镜并向检测器偏转包括在镜上提供电偏置。在一些实施方案中，通过位于与第一镜相对的样品一侧的第二镜收集由样品发射的光。

在一些实施方案中，对所储存图像数据的处理包括下列步骤：使图像数据与平滑函数结合，以产生经平滑处理的图像数据；使经平滑处理的图像数据与导函数结合，以产生导数图像数据；确定导数图像数据中局部最小值的位置；将最小值数值与预先确定的最大阈值数值相比较；和如果局部最小值低于阈值数值则在图像上对应于带电粒子束位点的图像位点处显示指示符。

根据本发明的一些实施方案，对所储存图像数据的图像处理方法包括：将带电粒子束以一种模式引导横穿样品区域；对由于带电粒子束的碰撞由样品发射的的带电粒子进行检测，以形成带电粒子成像信号；利用带电粒子成像信号形成带电粒子束图像；对由所述样品区域发射的光进行检测，其中检测到的光信号的振幅随时间形成图像曲线；利用平滑函数对图像曲线进行卷积，以产生经平滑处理的图像数据；使经平滑处理的图像数据与导函数结合，以产生导数图像数据；确定对应于导数图像数据的局部最小值的数值和对应于导数图像数据的局部最小值的带电粒子束位置；将最小值数值与预先确定的最大阈值数值相比较；和如果个体局部最小值低于阈值数值则在带电粒子束图像上显示指示符。

尽管本发明的实施方案和其优点已经详细描述，应当理解的是，可以在不背离所附权利要求限定的本发明的精神和范围的前提下对本文中描述的实施方案进行多种变化、替代和改变。本发明包括几个新颖和创造性方面，其在不同的实施方案中可以同时或者分别使用。此外，本申请的范围不意图限于说明书中描述的过程、机器、制品、物质组成、方式、方法和步骤的特定实施方案。例如，新型图像处理方法可以与其他类型的系统使用，包括现有技术系统和尚未开发的系统。本领域普通技术人员从本发明公开的内容中将容易地领会的是，可以根据本发明利用目前存在的或者将要开发的过程、机器、制品、物质组成、方式、方法或者步骤，其与本发明描述的对应实施方案执行基本相同的功能或者达到基本相同的结果。因此，所附权利要求意图在其范围内包括这些过程、机器、制品、物质组成、方式、方法或者步骤。

Claims (34)

1.一种带电粒子系统，其包括：

带电粒子光柱，其用于将带电粒子束引导至含有荧光标记物的样品上；

二次电子检测器，其用于收集带电粒子束碰撞后由样品发射的二次电子；

光检测器，其用于检测由样品中的荧光标记物发射的荧光；和

电传导镜，配置所述镜以：

向光检测器反射由样品中的荧光标记物发射的荧光；和

提供电场以使来自样品的二次电子偏转进入二次电子检测器。

2.权利要求1的系统，其中所述镜是抛物面镜，其用于收集来自样品区域的光，其中焦点接近于带电粒子束的碰撞点。

3.权利要求1的系统，其中所述光检测器检测由样品中的荧光标记物经激光激发而发射的荧光。

4.权利要求1的系统，其进一步包括用于照射样品的光源。

5.权利要求4的系统，其中所述光源提供光，所述光反射出电传导镜以照射样品。

6.权利要求4的系统，其进一步包括位于镜和光检测器之间的分束器，配置所述分束器以：

将来自样品并由镜反射的荧光传送进入光检测器；和

使来自光源的光向镜反射。

7.权利要求6的系统，其进一步包括位于分束器和光检测器之间的滤色器，其中调整所述滤色器的透射比，以大大阻断来自光源的光的传送，而使由荧光标记物发射的荧光穿过。

8.权利要求1的系统，其中关于由样品发射的光和二次电子的立体收集角均大于π/2球面度。

9.权利要求1的系统，其中：

所述样品是含有荧光标记物的样品；

所述光检测器是用于检测由样品中的荧光标记物发射的荧光的光检测器；和

所述光检测器包括多个检测器，配置所述多个检测器中的每个检测器以收 集来自特定类型的荧光标记物的荧光。

10.权利要求1的系统，其中：

所述样品是含有荧光标记物的样品；

所述光检测器是用于检测由样品中的荧光标记物发射的荧光的光检测器；和

所述光检测器和镜位于样品上方，并且其进一步包括：

位于样品下方的透射式电子检测器；

用于检测由荧光标记物发射的荧光的第二光检测器；和

位于样品和透射式电子检测器之间的第二镜，所述第二镜具有接近于带电粒子束与样品的碰撞点定位的焦点，配置所述第二镜以使由荧光标记物发射的荧光向第二光检测器反射。

11.一种带电粒子系统，其包括：

带电粒子束源，其用于产生带电粒子；

带电粒子束光柱，其用于使来自带电粒子束源的带电粒子束聚焦于含有荧光标记物的样品上；

使样品保持于样品位点中的样品台，穿过样品位点的样品平面使空间分成包含带电粒子束源的样品平面上方的区域和样品平面下方的区域；

二次电子检测器，其用于收集由于带电粒子束与样品碰撞而由样品发射的二次电子，所述二次电子检测器位于样品平面的上方；

光检测器，其用于检测由样品中的荧光标记物经激光激发而发射的荧光；和

位于样品平面上方的电传导镜，配置所述镜以在光不完全穿过样品的情况下使由样品中的荧光标记物发射的荧光偏转到光检测器上，并且使来自样品的二次电子偏转。

12.权利要求11的带电粒子束系统，其中所述镜包括电传导性抛物面镜。

13.权利要求12的带电粒子束系统，其中所述镜具有光的焦点，所述焦点的位置接近于带电粒子束与样品的碰撞点。

14.权利要求13的带电粒子束系统，其中配置所述镜以使由样品中的荧光标记物发射的荧光向光检测器反射。

15.权利要求12的带电粒子束系统，其进一步包括具有孔的电极，带电粒 子束穿过所述孔，并且配置所述电极以在电极和可配置以使来自样品的二次电子偏转进入二次电子检测器的电传导性抛物面镜之间提供电场。

16.权利要求15的带电粒子束系统，其中所述电极经偏置为大约样品的电势。

17.一种用于检测从被带电粒子束辐射的含有荧光标记物的样品发射的荧光和带电粒子的方法，所述方法包括步骤：

将带电粒子束以一种模式引导跨过样品表面，其中带电粒子在小于由光照射的区域的区域中碰撞样品；

检测由荧光标记物发射的荧光，其中通过电传导第一镜使来自样品的光向光检测器反射，所述第一镜中具有开口以使带电粒子束穿过；和

使由带电粒子束在样品上碰撞而产生的来自样品的带电粒子远离第一镜并向带电粒子检测器偏转。

18.权利要求17的方法，其中使来自样品的带电粒子远离第一镜并向带电粒子检测器偏转包括在镜上提供电偏置。

19.权利要求17的方法，其进一步包括将光向样品引导，并且其中检测由荧光标记物发射的荧光包括检测来自向样品引导的光激发的荧光标记物的荧光。

20.权利要求19的方法，其进一步包括当检测到来自样品中的荧光标记物的全部光发射的减少时根据带电粒子束模式内的已知位点进行测定，以确定荧光标记物的位置。

21.权利要求19的方法，其进一步包括显示来源于带电粒子束的图像，所述图像包含荧光标记物的位置，其叠加于带电粒子束图像上。

22.权利要求19的方法，其中所述荧光标记物包括遗传表达的标记物。

23.权利要求22的方法，其中所述遗传表达的标记物包括绿色荧光蛋白。

24.权利要求19的方法，其中所述荧光标记物包括无机荧光标记物，其经功能化以能够选择性地附着于特定细胞内组分。

25.权利要求19的方法，其中检测由荧光标记物发射的光包括分开检测来自样品内多种类型的荧光标记物的光。

26.权利要求19的方法，其中所述带电粒子检测器位于与镜相同的样品一侧并且位于镜水平下方。

27.权利要求20的方法，其中当检测到来自样品中的荧光标记物的全部光发射的减少时根据带电粒子束模式内的已知位点进行测定包括：

使图像数据与平滑函数结合，以产生经平滑处理的图像数据；

使经平滑处理的图像数据与导函数结合，以产生导数图像数据；

确定导数图像数据中局部最小值的位置；

将最小值数值与预先确定的最大阈值数值相比较；和

如果局部最小值低于阈值数值，在图像上对应于带电粒子束位点的图像位点处显示指示符。

28.权利要求17的方法，其中所述带电粒子束包括电子束或者聚焦离子束。

29.权利要求17的方法，其中所述带电粒子检测器位于与镜相同的样品一侧并且位于镜水平下方。

30.权利要求17的方法，其中通过位于与第一镜相对的样品侧的第二镜收集由样品发射的光。

31.一种用于在带电粒子束系统中收集来自样品的带电粒子和光的装置，其包括：

镜，其具有缺口以使带电粒子束穿过，配置所述镜以将来自样品的光反射至光检测器；

带电粒子检测器，其用于检测来自样品的粒子；和

导体，其经电偏置以在镜和样品之间提供电场，所述电场阻止来自样品的带电粒子碰撞镜并且将来自样品的带电粒子向带电粒子检测器偏转。

32.权利要求31的装置，其中所述带电粒子检测器位于带电粒子束离开镜的水平下方的平面中。

33.权利要求31的装置，其中所述镜的传导部分包括用于在镜和样品之间提供电场的导体。

34.权利要求33的装置，其中所述传导部分包括金属反射层。