CN105717078A - 基于基准点的相关显微术 - Google Patents

基于基准点的相关显微术 Download PDF

Info

Publication number
CN105717078A
CN105717078A CN201510959643.3A CN201510959643A CN105717078A CN 105717078 A CN105717078 A CN 105717078A CN 201510959643 A CN201510959643 A CN 201510959643A CN 105717078 A CN105717078 A CN 105717078A
Authority
CN
China
Prior art keywords
datum mark
sample volume
charged particle
imaging
described sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510959643.3A
Other languages
English (en)
Inventor
S.兰多尔夫
J.米亚萨基
M.斯特劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEI Co
Original Assignee
FEI Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEI Co filed Critical FEI Co
Publication of CN105717078A publication Critical patent/CN105717078A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/223—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material by irradiating the sample with X-rays or gamma-rays and by measuring X-ray fluorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/245—Detection characterised by the variable being measured
    • H01J2237/24571—Measurements of non-electric or non-magnetic variables
    • H01J2237/24578—Spatial variables, e.g. position, distance
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/2611—Stereoscopic measurements and/or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及基于基准点的相关显微术。提供了一种用于制备用于相关的光学和电子成像的样本以及校正在图像处理过程中由于样本变形而引起的像差的方法。涂有染料的基准标记遍及样本体积而分布。基准标记优选地以聚苯乙烯纳米球体的形式，该聚苯乙烯纳米球体在其表面上被功能化以及随后用荧光染料来处理。该染料并不渗入球体而是仅绑定到表面。通过将染料限制到纳米球体的表面上，在iPALM图像中以及在带电粒子图像中可以确定球体的形状，从而帮助追踪可能对样本体积发生的物理变化。

Description

基于基准点的相关显微术
技术领域
本发明涉及相关的显微术以及特别地涉及相关的光和电子显微术成像。
背景技术
生物样本中细胞结构的显微图像可以揭示关于生物过程和细胞架构的重要信息。使用光学显微术和电子显微术两者的相关方法产生最为综合性的结果。例如，光显微术信息可以用来识别样本内的生物重要性的区域和它们的动力学（dynamics）。然后电子显微术可以用来在固定和/或拉紧之后解析那些区域中的结构细节。
用常规光学显微镜收集的图像在分辨率方面被限制到所使用的光的波长的大约一半。对于实际的光学显微术，这个极限是200nm左右。因为这种限制，常规光学显微镜被说成是衍射受限的。许多技术为了提高分辨率超越衍射极限而存在。这样的技术被称为超分辨率技术。一个特定的技术是随机性光学重建显微术（STORM）。另一个技术是光激活定位显微术（PALM）。这些技术被用于使用可以在“开”状态和“关”状态之间切换的荧光标记来形成样本图像，在所述“开”状态中该标记发荧光，以及在所述“关”状态中该标记不发荧光。STORM典型地使用荧光有机染料，而PALM典型地使用荧光蛋白质。当标记在荧光发射之后进入黑暗状态并且然后在一段时间内对刺激不敏感时，实现状态之间的切换。由于这种未激活，绝大多数标记在给定的时间处于黑暗状态，其中仅有少数发射荧光。在形成样本的超分辨率图像方面，收集样本的较大系列的单独图像来独立于相邻标记定位每个个体标记。
在单独的图像中，每个标记表现为衍射受限点扩散函数。将高斯拟合应用到每个点扩散函数，以及标记位置现在由高斯拟合中心处的点来表示。通过对每个标记顺序成像并且应用这个过程，建立起样本的超分辨率图像，其允许成像越过衍射极限。可以使用例如被选择来基于不同标记的发射光谱来将它们的发射分离的二向色性光学器件来同时地成像不同颜色的荧光染料。使用若干波长通道可以允许同时对若干不同的细胞成分成像。
PALM的一个变化形式是干涉测量PALM，或“iPALM”。通过布置多个透镜，例如一个透镜在样本上方以及一个透镜在样本下方，所收集到的荧光可以引起与自身相干涉，以便产生干涉图案，其取决于两个透镜系统之间光路长度上的差异。这允许在Z维度上的定位。
非超分辨率技术（诸如共焦成像）也允许三维荧光成像（虽然具有降低的分辨率）。本发明还可以有利于也涉及这些类型的光学成像模态的相关显微术。
相关的显微术涉及用使用一种成像技术所创造的一个或多个图像覆盖利用另一种成像技术创造的一个或多个图像。例如，一个图像可以通过光学显微镜形成以及另一个图像可以通过带电粒子束显微镜形成。在一个示例中，iPALM被用来形成光学图像以及扫描电子束被用来形成一系列图像，并且这些图像被相关。iPALM技术提供了关于样本中具体区域的定位信息，而来自于电子显微镜的图像可以示出样本的总体特性。这个过程在生物样本成像方面是尤其有用的，其中生物样本中的特定蛋白质或其他结构可以用有机染料来在化学上被功能化或在基因上被改性以表示荧光蛋白质，其可以用iPALM来成像。将iPALM数据与来自带电粒子系统的数据相关提供了关于样本的超微结构内荧光标记位置的情境信息。选择合适的带电粒子制备和成像技术，可以构建三维图像来给出特定特征位于样本中何处的极好的视角。
在上文描述的相关显微术示例中，iPALM被用来获得样本的三维超分辨率荧光图像，首先通过顺序定位X-Y图像平面中的感兴趣区域以及从分子坐标（molecularcoordinate）呈递二维超分辨率图像。从每个分子发出的光的同时多相位干涉进一步被用于提取Z轴位置，从而定义第三个维度。使用iPALM成像的相同样本然后由带电粒子系统来成像。带电粒子系统可以循环操作，其中例如聚焦离子束（FIB）去除样本的几纳米厚的层以暴露由SEM所成像的新表面。这个循环可以重复很多次以形成样本中的逐渐更深（ever-deeper）的层的一叠图像。
然而iPALM图像和电子显微术（EM）图像的相关是受限的。用于相关的现有方法涉及使用样本体积和支撑基板的交界面处的基准点的平面层。这允许了X-Y平面中的精确位置信息，但在Z平面中定位不佳。例如，在二维X-Y平面中的相关通过使用如在颁发给Hess等人的美国专利No.7,924,432（“Hess”）中所描述的技术来产生极好的数据。在这个技术中，在X和Y维度中的相关一般是直截了当地。然而，使用Hess的方法的Z平面的相关依赖于经切片的样本的顶表面和底表面之间的插值。这变得有问题，因为样本切片可能经历由于电子和离子束诱发的失真而引起的变化以及由于样本制备和插入到真空中以用于带电粒子处理而在样本中发生的变化。
当生物样本被制备用于带电粒子显微术时，经常导致对样本的物理变化。这些物理变化可能由于样本的“湿”制备而发生。这样的制备的一个示例是用重金属着色剂给样本着色，该重金属着色剂在带电粒子系统中是可见的。物理变化也可以起因于样本在带电粒子系统中暴露于真空环境。这些物理变化降低了使iPALM图像与相同样本的带电粒子图像相关以获得样本的（尤其在Z维度上的）有价值信息的能力。
已经做出了一些尝试来克服在Z维度上精确成像的缺陷。这样的尝试包括在样本的顶表面上使用荧光标记。然而，这样的尝试并未克服由于样本的变形引起的数据相关中的缺陷。由使用荧光标记的当前方法所呈现出的另一个困难是荧光染料遍及包含标记的样本体积的存在。如果染料遍及样本体积存在，则通常对于使用需要对个别的单光子发射事件进行成像的随机性iPALM或STORM过程来精确定位标记而言，存在过多的染料。结果，遍及样本体积而分散的染料的亮度可能产生如此多的荧光以至于难以精确定位附近的感兴趣区域。
发明内容
本发明包括用于光学图像和带电粒子图像的三个维度中的精确相关的方法。
一些实施例提供了遍及样本体积来分布对象或基准点的方法。这些基准点在光学图像和带电粒子图像两者中都是可见的，以及可以被用来使来自光学方法的图像中样本内的位置与来自带电粒子成像的图像中样本内的位置相关。在一些实施例中，基准点的形状以及基准点的位置被用来使图像相关。
前述内容已经非常宽泛地概述了本发明的特征和技术优点以便可以更好地理解接下来的本发明的详细描述。本发明的附加特征和优点将在下文中被描述。本领域技术人员应当领会的是，所公开的概念和具体实施例可以被容易地用作用于修改或设计用于实现本发明的相同目的的其他结构的基础。本领域技术人员还应该认识到的是，这样的等价构造并不脱离如在所附权利要求中所阐述的本发明的范围。
附图说明
为了更透彻地理解本发明及其优点，现在对连同附图一起进行的以下描述做出参考，其中：
图1示出了具有遍及样本体积而嵌入的多个基准点的样本。
图2示出了根据本发明实施例的涂有染料的球形基准点。
图3是经历物理变形之前和之后的样本的视图。
图4示出了根据本发明的安装到基板上以用于成像的样本。
图5示出了用于照明和观察荧光基准标记的光学显微镜的示意图。
图6示出了包括电子束镜筒和离子束镜筒的双射束系统的示意图。
图7示出了使用双射束系统的针对样本的切片和观察过程。
图8是示出了用于制备用于相关的光和电子显微术的样本的步骤的流程图。
图9是示出了用于iPALM的步骤的流程图。
具体实施方式
本文描述的方法用光学显微术和电子显微术之间的更精确的相关数据来产生样本的三维图像。该方法并未被限制于任意特定的光学显微术技术或限制于任意特定的带电粒子束成像技术。本发明可以与衍射受限光学技术和超分辨率光学技术一起使用。实施例也可以与宽场（broadfield）光学技术（诸如PALM、iPALM、STROM、SIM、STED、结构化照明技术和4Pi）以及扫描技术（诸如扫描共焦显微术、近场扫描光学显微术和TIRF）这两者一起使用。本发明可以与确定性超分辨率技术（诸如STED、GSD、RESOLFT和SSIM）以及随机性超分辨率技术（诸如SOFI和诸如SPDM、SPDMphymod、PALM、FPALM、STORM和dSTORM之类的所有单分子定位方法（SMLM））一起使用。这些技术作为示例而被列出以及并非是对本发明的应用的限制。
可以在本发明实施例中使用的带电粒子成像技术包括扫描电子显微术、扫描离子显微术、透射电子显微术和扫描透射电子显微术，包括这些技术的变化形式，诸如透射电子显微术层析成像技术。
本发明的一些实施例包括使用其表面上具有标记的纳米球体。在一些实施例中，表面可以被功能化以及随后被处理以提供标记，诸如荧光染料。对纳米球体的这种处理优选地对表面限制了染料的存在。通过对纳米球体的表面限制染料，球体的形状可以在光学图像中被更容易地确定，从而帮助追踪可能对样本体积发生的物理变化。
一旦已经使用超分辨率显微术和带电粒子显微术获得样本体积的三维图像，就可以比较包含在样本体积中的基准点的位置和形状，以及做出校正来对准位置。这允许超分辨率图像和带电粒子图像中的（特别是在Z轴上的）位置之间的优良相关。
在X-Y维度上的成像以及在Z维度上的初始成像可以使用已知的系统和方法来实现。在颁发给Hess等人的针对“Three-DimensionalInterferometricMicroscopy”的美国专利No.7,924,432中示出和描述了一种这样的方法，该专利通过引用结合于本文中。在Hess所描述的方法中，使用金纳米棒技术来实现X-Y维度上的二维相关以及基于经成像的切片的顶表面和底表面之间的插值来执行Z维度上的相关。在一个实施例中，申请人通过用已经用染料涂覆的多个基准标记来散布于样本体积来制备样本。用涂有染料的基准点嵌入样本使得基准点相对于样本中感兴趣对象的超分辨率定位能够实现。成像过程之间单个基准点的形状的比较也是可能的。此外，样本内涂有染料的基准点允许相对于其他涂有染料的基准点的精确定位。这个方法可以用来校正相关的成像而不是依赖于在样本的顶表面和底表面之间进行插值的当前方法。
图1示出了嵌入在固定材料103（诸如树脂）内的样本100，其具有感兴趣区域102（诸如生物细胞）。样本100包括多个基准标记，其优选地以球体104的形状嵌入在样本100内以及遍及样本体积进行分布。如在图2中所见，每个标记优选地为球体104，诸如商业可得的聚苯乙烯或乳胶球体，然而各种形状和材料都是本发明所预料到的。也可以使用其他类型的基准点，诸如功能化的硅石珠、具有荧光涂层的微粒、量子点、纳米粒子、纳米棒、化学功能化的纳米或微结构。
每个球体具有贴附的标记，其可以在光学显微镜中被观察到。例如，可以使用荧光标记、量子点、金属纳米粒子或其他标记。可以使用将标记贴附到球体的任意方法。在一个实施例中，球体是聚苯乙烯以及每个球体104经历化学处理来将官能团贴附到球体表面，例如，胺（R-NH2）官能团可以被引入在表面上。这些氨基终产物（aminotermination）然后可以与例如可以从纽约格兰德岛的LifeTechnologies可得的AlexFluor488染料的磺酸氯酚（sulfodichlorophenol）酯衍生物起反应。染料涂层106仅被应用到每个球体104的外表面以使得每个球体的内部体积108保持未染色以及在成像过程中是透明的。应该注意的是，其他类型的官能团和染料可以被用来涂覆标记以及该标记可以具有不同于所提供的球形的形状和配置，它们可以经由光显微术和带电粒子显微术来可靠地成像。例如，可以使用链接到荧光染料的化学功能化的碳纳米管或纳米纤维。球体104然后被分散在例如琼脂糖溶液中，在该琼脂糖溶液内例如存在生物细胞。样本然后被脱水和用丙烯酸树脂渗入，从而导致生物细胞连同涂有染料的球体104的永久嵌入。球体表面上的化学官能团、染料衍生物的其他组合或对这些的缺少，也是将染料引入到纳米球体的可能的方法。
图3示出了经历物理变化之前和之后的样本体积。对样本300的物理变化可以是后iPALM样本制备、在系列切片（serialsectioning）期间的射束曝光、暴露到真空环境或其他原因的结果。在图3的左侧看到在经历包含嵌入的感兴趣区域的任意物理变形之前的样本300，诸如生物细胞材料302和遍及样本体积分散的多个球体304。在经历任意物理变化之前，可以看到的是具有基本上平行的外表面的样本300是本质上对称的。例如，上表面306与下表面308基本上平行。如在图3的右侧所见，示出了物理变形后的样本300，其中对样本300发生了一些变化。更具体地，上表面306和下表面308不再基本上平行。此外，作为样本体积的形状上变化的结果，细胞材料302和球体304的相对位置已经改变。除位置变化外，球体304可能自身经历物理变化，其中它们不再是以初始的球体形状。因为每个球体304被提供有仅在球体的外表面上的染料分子层，如在图2中最佳可见的，获得了稀疏加标以使得一个球体的荧光不干扰附近的球体。因此，获得了各个球体和/或其他感兴趣对象（诸如样本内的特定蛋白质分子）的精确定位。此外，在球体外表面上的染料涂覆允许通过球体的光学成像以使得在图像中球体似乎是透明和中空的。然后可以定位球体或其他形状的形心（centroid）。形心被用作用于确定样本体积中基准点和其他对象之间的相对间隔的参考点。此外，球体的来自其最优球形形状以及其相对于其他球体的位置的偏差可以被用来校正使用带电粒子显微术获得的经成像的切片。这种校正允许iPALM图像和电子图像之间的提高的相关精度。
图4示出了样本400，其具有嵌入在树脂404或其他固定材料内的细胞结构402或其他感兴趣区域。多个涂有染料的球体406被分散在树脂404内，以便用作用于使iPALM数据与FIB-SEM切片和观察（slice-and-view）数据相关的三维基准标记。涂有染料的球体406在iPALM和电子成像两者中是容易定位的。样本400被安装在玻璃盖玻片408的支撑物407上，该玻璃盖玻片408具有包含金纳米棒412的ITO涂层410。使用金纳米棒在Z维度上的初始校准是如在颁发给Hess等人的美国专利No.7,924,432中示出和描述那样来进行的。然而，涂有染料的球体406的分散允许遍及样本的整个体积在iPALM数据和EM数据之间的直接相关。
本发明的实施例可以被实现在现有系统中，所述现有系统包括用于照明和观察荧光标记的光学显微镜和可以包括离子束镜筒和电子束镜筒的双射束系统。图5示出了超分辨率光学系统500。该系统具有发射激发射束的激发源502。射束可以与发射消耗射束的消耗源528相组合。组合的射束504反射离开反射镜514，并且在样本体积520中被聚焦成小点。其他实施例可以在不脱离本发明范围的情况下以不同的光束路径为特征。由样本体积中的去激（de-excited）分子发射出的光子被透镜522和524收集，以及在棱镜508中被重新组合。干涉图案由这个重新组合产生并且由收集器526所收集。对干涉图案的分析允许产生样本体积的精确的三维图像。
在图6中示出了典型的双带电粒子束系统600。系统600包括电子束镜筒602，该电子束镜筒602具有电子源604、偏转器605、电子光学透镜606和608，该电子光学透镜606和608将射束610聚焦和引导向安装在样本台614上的样本612。系统600也包括聚焦离子束柱616，该聚焦离子束柱616具有离子源618、离子光学透镜620和622，该离子光学透镜620和622将离子束624聚焦和引导向样本612。电子束镜筒602和离子束镜筒618以及粒子检测器626被包含在真空腔628内，该真空腔628由真空泵630来抽空。控制器632控制电子镜筒602和离子镜筒618以及检测器626。图7示出了利用嵌入式结构702和分布式的涂有染料的球体704在样本体积700上由双射束系统600执行的切片和观察过程。通过来自电子束镜筒710的电子束708来成像样本面706。在成像后，通过用来自聚焦离子束镜筒714的聚焦离子束712进行研磨来去除样本体积的平面层。研磨此层暴露新的样本面716，然后用电子束708对该新的样本面716进行成像。这个过程然后随着聚焦离子束712研磨和暴露然后被成像的新的样本面718来重复。这个过程以更多层暴露被成像和去除的新的样本面720和722而继续。层的尺寸和数量是根据感兴趣区域的尺寸和位置而可变的。离子束系统在与电子成像相似的过程中也能够产生图像。离子显微术可以用来代替电子显微术。此外，已知其他方法来创建三维带电粒子图像，诸如电子层析成像术或基于带电粒子束能量来收集深度信息的方法。
图8示出了制备用于相关的光和电子显微术和相关的成像过程的样本的方法。该过程开始于样本802，其可以是活的有机体、组织活检物或其他类型的样本。虽然此说明书中的许多都指向生物样本，但也可以使用该方法来检查其他类型的样本。使用本领域公知的方法来对样本进行固定804和着色808。免疫加标806可以用在样本制备过程中的任意点处以及允许用荧光标记或重金属标记对在样本中的具体区域进行局部化着色。与最初样本制备相分离地，3D基准点被制备。在步骤812中，选择基准点的尺寸以便具有小于最终样本切片的期望厚度的直径。在步骤814中，计算所需要的基准点浓度，使得多个基准点将存在于最终样本切片的视场内，但没有如此多的基准点存在以至于使样本的组成部分的可视化变得困难。
在本发明的实施例中，基准点是聚苯乙烯球体。该球体可以在表面上被化学改性以允许例如通过将脂肪胺或其他官能团化学绑定到球体的表面来结合染料。对球体表面的化学改性允许在没有染料渗入到球体内部中的情况下将荧光染料仅结合到球体的表面。当球体被切片并成像时，如果作为切片的结果内部已经被曝光，则球体看起来是圆环。仅在基准点表面上定位染料是有利的，因为其允许了关于基准点的更精确的位置信息，以及在随后样本过程期间关于球体变形的信息。基准点对重金属着色的易感性也可以是有利的。例如，四氧化锇可以选择性地对球体中的不饱和烃着色，导致改善的SEM对比度。
在步骤818中，基准点被悬浮在介质中，以及准备好用于样本的引入。该介质通常是粘稠溶液，例如琼脂糖胶。步骤810是对是否期望相关的显微术的判定。如早先所描述的，相关的显微术具有许多期望的特征。如果不期望相关的显微术，则样本继续悬浮在不包含基准点的介质中。如果期望相关的显微术，则样本被悬浮820在早先制备的包含基准点的介质中。在步骤824中做出是否将附加着色步骤826应用到样本的判定。在实施例中，附加的着色涉及使用重金属着色剂，诸如四氧化锇或乙酸双氧铀。继附加着色（如果实现的话）之后，样本被脱水828。这可以使用本领域公知的各种方法来执行。例如，样本的水含量可以逐渐用可混溶剂（诸如乙醇）来代替。
在脱水后，样本可以被嵌入830在塑料树脂中，以及被制备用于进行薄切片。对样本的切片832可以通过例如超薄切片术或使用聚焦离子束进行切片来执行。在步骤834中，样本的薄切片然后被放置在基板上。在一些实施例中，基板采取具有跨越表面分布的基准点的平面基板的形式，在样本体积和基板的边界处形成基准标记的二维阵列。在一些实施例中，基准点是金纳米棒以及基板是玻璃盖玻片，如图4中所示的。一旦样本已经被应用到基板，其准备好用于成像。一般地，光学成像步骤836优选作为第一成像过程，因为光学成像过程通常不引起样本体积中的引人注意的物理变化。在步骤838中然后实施带电粒子成像。
在一些实施例中，使用干涉测量PALM来产生3D超分辨率图像，如图9中所示的。所制备的样本902被放置在显微镜（诸如在图5中示出的显微镜）中，以及在步骤904中用激发光来照明该样本902。然后获得一系列荧光图像906。同时，也收集908干涉测量数据，该干涉测量数据被解译以提供Z轴信息。然后将高斯拟合应用910到每个发射器点扩散函数，以及与干涉测量Z轴数据相组合来给出以三个维度的点。这些点组成最终的3D图像912。在一些实施例中，多个荧光标记被连贯地成像。标记被选择为具有非重叠荧光发射光谱，这样它们的荧光可以通过使用例如二向色性光学器件而被分离。
如在图3中更清楚看到的，在将样本引入到带电粒子显微镜的真空腔中时，可能对样本体积发生物理变化。例如，样本可以收缩或变形，导致所使用的两个显微技术之间的样本体积中的位置之间的相关性的损失。本发明提高了样本体积的光学图像和带电粒子图像之间的相关性。如早先所描述制备和分布的基准标记在光学超分辨率图像以及带电粒子图像两者中都是可见的。基准标记遍及样本体积的分布和位置可以因此在光学体积图像和带电粒子体积图像两者中被确定。因为基准标记在样本体积矩阵内是不动的，它们连同样本体积经受的任意物理变化一起以及连同样本体积内的感兴趣特征一起移动。通过在光学图像和带电粒子图像两者中在样本体积内对基准标记的精确三维定位，可以确定每个基准点在成像技术之间的移动量，以及因此可以确定样本体积在成像过程之间的变形量。此外，基准点形状的任意变化可以被用于确定样本体积的变形。然后可以将校正应用到任一组图像以允许成像方法之间的精确相关。
在步骤480（图8）中，基准点在光学图像中的位置与基准点在带电粒子束图像中的位置相关。有用的相关技术由Huang等人（Int.JournalofAppliedMechanics03,335(2011)“Huang”）提出。Huang使用一系列数字体积相关算法来致力于使用激光扫描共焦显微术的软凝胶的三维变形测量。第一算法被用来对整数体素（integer-voxel）相关计算进行加速。然后，使用两个不同的算法来获得子体素位移以及变形之前和之后的体积图像的应力场。尽管Huang使来自激光扫描共焦显微术的样本的不同层的图像相关，由Huang使用的技术可以被用于使光学图像和EM图像相关。Peeters等人（Ann.Biomed.Engineering，2004年10月;32(10):1443-1452）描述了用于量化后续图像之间的变形的另一个可能方法，如Unlu等人(MedicalImaging,Vol.5747)所做的那样。其他方法可以在带电粒子图像和光学图像两者中使用边沿检测，以及将3D变换应用到图像来匹配光学图像和带电粒子图像之间的边沿。
在电子显微镜中失真的图像可以通过在该系列图像中重新分布像素来“去失真”，使得EM图像中的基准点与光学图像中基准点位置的三个维度中的位置匹配。此外，在步骤842中，也可以通过来自初始球形形状的基准点的电子束图像的偏差来确定失真，以及EM图像的像素可以被重新布置以使得基准点的图像示出基准点是球体。本发明的优选方法或装置具有许多新颖的方面，以及因为本发明可以被体现在用于不同目的的不同方法或装置中，不是每个方面都需要被呈现在每个实施例中。此外，所描述实施例的许多方面可以是可单独授予专利权的。本发明具有广泛的适用性以及如在以上示例中所描述和示出的那样可以提供许多益处。实施例将根据具体应用而极大地变化，以及并不是每个实施例都将提供所有益处以及满足可由本发明实现的所有目标。
应当认识到的是，本发明的实施例可以经由计算机硬件、硬件和软件二者的组合或通过储存在非临时性计算机可读存储器中的计算机指令来实施。根据在此说明书中描述的方法和附图，该方法可以使用（包括用计算机程序配置的非临时性计算机可读储存介质，其中这样配置的储存介质使计算机以特定和预定义的方式进行操作）标准编程技术在计算机程序中实施。每个程序可以按高级过程语言或面向对象的编程语言的方式来实施以与计算机系统进行通信。然而，如果期望的话，程序可以按汇编语言或机器语言的方式来实施。在任意情况下，语言可以是经编译的或经解释的语言。此外，程序可以运行在出于该目的而被编程的专用集成电路上。
进一步地，方法可以在任意类型的计算平台中实施，该计算平台包括但不限于个人计算机、迷你计算机、大型机、工作站、联网式或分布式计算环境、与带电粒子工具或其他成像设备等分离、成一体或通信的计算机平台。本发明的方面可以被实施于储存在无论是可从计算平台移除还是与计算平台成一体的非临时储存介质或设备（诸如硬盘、光学读和/或写储存介质、RAM、ROM等等）上的机器可读代码中，使得它可由可编程计算机读取，以用于当储存介质或设备被计算机读取来执行本文所描述的过程时配置和操作该计算机。此外，机器可读代码或它们的部分可以通过有线或无线网络来传输。本文中描述的发明包括这些和其他各种类型的非临时性计算机可读储存介质，此时这样的介质包含用于连同微处理器或其他数据处理器一起实施上文所描述的步骤的指令或程序。本发明也包括计算机本身，此时根据本文所描述的方法和技术对该计算机进行编程。
计算机程序可以被应用到输入数据来执行本文描述的功能以及由此变换输入数据来生成输出数据。输出信息被应用到一个或多个输出设备，诸如显示监视器。在本发明的优选实施例中，经变换的数据表示物理和有形对象，包括在显示器上产生物理和有形对象的特定视觉描述。
尽管先前描述中的许多部分都指向来自钻孔切割的矿物样本，但本发明可以用来制备任意合适材料的样本。除非另行指出，术语“工件”、“样本”、“基板”和“样品”在本说明书中被可互换地使用。进一步地，每当本文中使用术语“自动的”、“自动化的”或类似的术语时，这些术语将被理解为包括自动的或自动化的过程或步骤的手动发起。
在实施例中，一种用于利用光学地获取以及用带电粒子束系统获取的图像对样本体积中的感兴趣区域的位置进行三维相关的方法，包括提供支撑在基板上的样本体积，所述样本体积包含感兴趣区域以及包括在所述样本体积的光学图像和带电粒子图像两者中都可识别的遍及所述样本体积分布的基准点；将样本引入到光学系统中；使用所述光学系统对所述样本体积进行成像；使用一个或多个光学图像来识别遍及所述样本体积分布的基准点的三维位置；将所述样本体积引入到带电粒子束系统中；使用带电粒子束对所述样本体积进行成像；使用一个或多个带电粒子图像来识别遍及所述样本体积分布的基准点的三维位置；以及使用所述光学图像和所述带电粒子束图像中的基准点的位置来使所述样本体积中的感兴趣区域的位置相关。
在一些实施例中，遍及所述样本体积分布的基准点包括荧光标记。
在一些实施例中，所述荧光标记以足够低的浓度遍及所述样本体积分布，所述足够低的浓度能够在没有来自附近荧光标记的实质干扰的情况下对每个荧光标记单独地成像。
在一些实施例中，该方法进一步包括在样本体积和基板的交界面处的X-Y平面中的基准点的平面层，所述基准点与遍及所述样本体积分布的那些基准点是可区分的。
在一些实施例中，使用光学系统对所述样本体积进行成像包括三维超分辨率成像。
在一些实施例中，超分辨率成像包括光子激活定位显微术。
在一些实施例中，使用带电粒子束系统通过顺序成像和材料去除循环来获得对象的三维位置。
在一些实施例中，成像包括获得扫描电子显微镜图像以及材料去除包括用聚焦离子束研磨。
在一些实施例中，基准点包括荧光纳米粒子。
在一些实施例中，纳米粒子是染料功能化的球体。
在一些实施例中，所述染料功能化的球体包含存在于球体表面上并且未渗入球体内部的染料。
在一些实施例中，所述染料是可光激活的染料或蛋白质。
在一些实施例中，所述纳米粒子是量子点。
在实施例中，提出了一种用于校正样本体积中的空间变化的方法，其包括使用光学系统对所述样本体积进行成像；使用所收集的一个或多个光学图像来确定遍及所述样本体积分布的基准点的三维位置；将样本引入到带电粒子系统中；使用带电粒子束对所述样本进行成像；使用所收集的一个或多个带电粒子束图像来确定遍及所述样本体积分布的基准点的三维位置；将所述一个或多个光学图像中的基准点的位置与所述一个或多个带电粒子束图像中基准点的位置进行比较；计算所述一个或多个光学图像与一个或多个带电粒子图像之间的基准点的位置上的差异；以及对所述一个或多个光学图像或者一个或多个带电粒子图像应用校正来计及对所述样本体积的空间变化。
在一些实施例中，所述方法进一步包括在已经应用校正后用一个或多个带电粒子图像覆盖一个或多个光学图像。
在一些实施例中，光学成像包括三维超分辨率成像。
在一些实施例中，带电粒子成像包括通过顺序成像和材料去除循环得到的一系列图像，该一系列顺序图像能够被处理成所述样本体积的三维表示。
在一些实施例中，通过比较一个或多个光学图像和一个或多个带电粒子图像中的基准点之间的相对距离来确定基准点的位置上的差异。
在一些实施例中，计算光学成像和带电粒子成像之间的基准点的形状上的任意变化以及所述任意变化被用来对一个或多个光学图像或者一个或多个带电粒子图像应用校正。
在下述讨论中以及在权利要求中，术语“包括”和“包含”是以开放方式使用的，以及因此应该被解释为意思是“包括，但不限于……”。就任意术语并非在本说明书中专门定义的程度来说，意图在于将对术语给予其平常和普通的含义。附图意图帮助理解本发明以及（除非另行指出）并非按比例绘制。适合于实施本发明的粒子束系统是（例如从本申请的受让方FEI公司）商业可得的。
尽管已经详细描述了本发明及其优点，但应该理解的是，在不脱离根据由所附权利要求所限定的本发明的精神和范围的情况下，可以对本文所描述的实施例进行各种变化、替代和变更。此外，本申请的范围并意图被限制于本说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。如本领域普通技术人员将从本发明的公开中容易领会到的，根据本发明，可以利用目前存在的或以后将被开发的基本上执行相同功能或基本上实现与本文所描述的对应实施例相同的结果的过程、机器、制造、物质组成、装置、方法或步骤。相应地，所附权利要求意图将这样的过程、机器、制造、物质组成、装置、方法或步骤包括在其范围内。

Claims (33)

1.一种用于利用光学图像和带电粒子图像对样本体积中的感兴趣区域的位置进行三维相关的方法，包括：
提供包括样本体积的样本，所述样本体积包含感兴趣区域以及包括分布在所述样本体积内的基准点，所述基准点在所述样本体积的光学图像和带电粒子图像两者中都是可识别的；
使用光学系统对所述样本体积进行成像；
使用带电粒子束对所述样本体积进行成像；以及
使用在所述光学图像和带电粒子束图像两者中识别的基准点的位置来使所述样本体积中的感兴趣区域的位置相关。
2.根据权利要求1所述的方法，其中所述基准点具有已知的三维形状以及包括在它们表面上但不在它们内部的标记。
3.根据权利要求1或权利要求2所述的方法，其中使所述样本体积中感兴趣区域的位置相关包括使用一个或多个光学图像来确定遍及所述样本体积分布的基准点中的至少一些的三维位置以及使用一个或多个带电粒子图像来确定分布在所述样本体积内的基准点的三维位置。
4.根据权利要求1或权利要求2所述的方法，其中所述样本体积在使用光学系统对所述样本体积进行成像的步骤和使用带电粒子束对所述样本体积进行成像的步骤之间改变形状，以及其中使所述样本体积中感兴趣区域的位置相关包括重新分配带电粒子束图像的像素以使得光学图像中基准点的三维位置与带电粒子束图像中基准点的三维位置匹配。
5.根据权利要求1或权利要求2所述的方法，其中所述基准点在使用光学系统对所述样本体积进行成像的步骤和使用带电粒子束对所述样本体积进行成像的步骤之间改变形状，以及其中使所述样本体积中感兴趣区域的位置相关包括使用基准点的形状上的变化。
6.根据权利要求1或权利要求2所述的方法，其中所述基准点具有已知的三维形状以及包括在它们表面上但不在它们内部的标记。
7.根据权利要求1或权利要求2所述的方法，其中分布在所述样本体积内的基准点包括荧光球体以及其中所述荧光球体包括存在于球体表面上但并且未渗入球体内部的染料。
8.根据权利要求1或权利要求3所述的方法，其中所述基准点以足够低的浓度分布在所述样本体积内，所述足够低的浓度能够在没有来自附近荧光标记的实质干扰的情况下对每个基准点单独地成像。
9.根据权利要求1或权利要求2所述的方法，进一步包括在所述样本体积和基板的交界面处的X-Y平面内的基准点的平面层，所述基准点与遍及所述样本体积分布的那些基准点是可区分的。
10.根据权利要求1或权利要求2所述的方法，其中使用光学系统对所述样本体积进行成像包括三维超分辨率成像。
11.根据权利要求10所述的方法，其中所述超分辨率成像包括光子激活定位显微术。
12.根据权利要求1或2所述的方法，其中使用带电粒子束系统通过顺序成像和材料去除循环来获得对象的三维位置。
13.根据权利要求12所述的方法，其中成像包括获得扫描电子显微镜图像以及材料去除包括用聚焦离子束研磨。
14.根据权利要求1或2所述的方法，其中所述基准点包括荧光纳米粒子。
15.根据权利要求14所述的方法，其中所述纳米粒子是染料功能化的球体。
16.根据权利要求15所述的方法，其中所述染料功能化的球体包含存在于球体表面上并且未渗入球体内部的染料。
17.根据权利要求15或16所述的方法，其中所述染料是可光激活的染料或蛋白质。
18.根据权利要求14所述的方法，其中所述纳米粒子是量子点。
19.根据权利要求2所述的方法，其中使用一个或多个带电粒子图像或者一个或多个光学图像来确定基准点的三维位置进一步包括确定基准点的三维形状。
20.根据权利要求14所述的方法，其中使用在光学图像和带电粒子束图像两者中识别的基准点的位置进一步包括使用基准点的形状上的变化。
21.一种用于校正样本体积中的空间变化的方法，包括：
提供样本体积，其具有遍及所述样本体积分散的基准点；
使用光学系统对所述样本体积进行成像；
使用所收集的一个或多个光学图像来确定分布在所述样本体积内的基准点的三维位置；
将样本引入到带电粒子束系统中；
使用带电粒子束对样本进行成像；
使用所收集的一个或多个带电粒子束图像来确定分布在所述样本体积内的基准点的三维位置；
将所述一个或多个光学图像中的基准点的位置与所述一个或多个带电粒子束图像中的基准点的位置进行比较；
计算一个或多个光学图像与一个或多个带电粒子图像之间的基准点的位置上的差异，以及；
对一个或多个光学图像或者一个或多个带电粒子图像应用校正来计及对所述样本体积的空间变化。
22.根据权利要求21所述的方法，其中确定基准点的三维位置进一步包括确定基准点的三维形状。
23.根据权利要求21或22所述的方法，进一步包括在已经应用校正后用一个或多个带电粒子图像覆盖一个或多个光学图像。
24.根据权利要求21或22所述的方法，其中光学成像包括三维超分辨率成像。
25.根据权利要求21或22所述的方法，其中带电粒子成像包括通过顺序成像和材料去除循环得到的一系列图像，一系列顺序图像能够被处理成所述样本体积的三维表示。
26.根据权利要求21或22所述的方法，其中通过比较一个或多个光学图像和一个或多个带电粒子图像中的基准点之间的相对距离来确定基准点的位置上的差异。
27.根据权利要求21或22所述的方法，其中通过比较光学成像和带电粒子成像之间的所选择基准点的相对形状来确定基准点的形状上的变化。
28.根据权利要求21或22所述的方法，其中计算光学成像和带电粒子成像之间的基准点的形状上的任意变化以及所述任意变化被用来对一个或多个光学图像或者一个或多个带电粒子图像应用校正。
29.一种用于样本体积中空间变化的成像校正的装置，包括：
带电粒子成像系统；
光学成像系统；
样本体积，其具有遍及所述样本体积分布的基准点；
连接到非易失性存储器的控制器，所述存储器储存命令所述控制器执行下述步骤的指令：
使用光学系统对所述样本体积进行成像；
使用所收集的一个或多个光学图像来确定遍及所述样本体积分布的基准点的三维位置；
使用带电粒子束对样本进行成像；
使用所收集的一个或多个带电粒子束图像来确定遍及所述样本体积分布的基准点的三维位置；
将所述一个或多个光学图像中的基准点的位置与所述一个或多个带电粒子束图像中的基准点的位置进行比较；
计算一个或多个光学图像与一个或多个带电粒子图像之间的基准点的位置上的差异，以及；
对一个或多个光学图像或者一个或多个带电粒子图像应用校正来计及对所述样本体积的空间变化。
30.根据权利要求29所述的装置，其中确定基准点的三维位置进一步包括确定基准点的三维形状。
31.根据权利要求29或30所述的装置，其中光学成像包括三维超分辨率成像以及带电粒子成像包括扫描电子显微术。
32.根据权利要求29或30所述的装置，其中通过比较一个或多个光学图像和一个或多个带电粒子图像中的基准点之间的相对距离来确定基准点的位置和形状中的一个或两者上的差异。
33.根据权利要求29或30所述的装置，其中基准点的位置和形状中的一个或两者上的差异由于对样本形状的物理变化而发生。
CN201510959643.3A 2014-12-22 2015-12-21 基于基准点的相关显微术 Pending CN105717078A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/579056 2014-12-22
US14/579,056 US9368321B1 (en) 2014-12-22 2014-12-22 Fiducial-based correlative microscopy

Publications (1)

Publication Number Publication Date
CN105717078A true CN105717078A (zh) 2016-06-29

Family

ID=54849802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510959643.3A Pending CN105717078A (zh) 2014-12-22 2015-12-21 基于基准点的相关显微术

Country Status (4)

Country Link
US (1) US9368321B1 (zh)
EP (1) EP3037862A1 (zh)
JP (1) JP2016119300A (zh)
CN (1) CN105717078A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416325A (zh) * 2017-02-01 2019-03-01 伊鲁米那股份有限公司 具有在非直线布局中的基准的系统和方法
CN111239085A (zh) * 2019-03-06 2020-06-05 南昌工程学院 基于深度学习的显微视觉伺服控制方法
US11262307B2 (en) 2017-02-01 2022-03-01 Illumina, Inc. System and method with reflective fiducials for locating or registering locations receiving biological samples in successive cycles of fluorescent imaging
US11427868B2 (en) 2017-02-01 2022-08-30 Illumina, Inc. System and method with fiducials of non-closed shapes
US11835460B2 (en) 2017-02-01 2023-12-05 Illumina, Inc. System and method with fiducials having offset layouts
US11896944B2 (en) 2017-02-01 2024-02-13 Illumina, Inc. System and method with fiducials responding to multiple excitation frequencies

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704275D0 (en) * 2017-03-17 2017-05-03 Science And Tech Facilities Council Super-resolution microscopy
US11676794B2 (en) 2017-03-17 2023-06-13 United Kingdom Research And Innovation Super-resolution microscopy
US10780507B2 (en) 2018-06-17 2020-09-22 Arevo, Inc. Embedding fiducial marks into articles of manufacture with non-trivial dimensional variations
WO2020080508A1 (ja) * 2018-10-19 2020-04-23 株式会社日立ハイテクノロジーズ アライメントシステム及び位置合わせ用シール
JP6901510B2 (ja) * 2019-02-19 2021-07-14 日本電子株式会社 観察方法、画像処理装置、および電子顕微鏡
EP3938763A4 (en) * 2019-03-14 2022-12-07 Applied Materials, Inc. IDENTIFICATION OF LANDMARK MARKERS IN MICROSCOPE IMAGES
CN110865058A (zh) * 2019-11-21 2020-03-06 成都博奥独立医学实验室有限公司 激光微阵列芯片扫描仪的浓度梯度荧光校准片及校准方法
US11551906B1 (en) * 2021-06-30 2023-01-10 Fei Company Time-gated detection, dual-layer SPAD-based electron detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820346A (zh) * 2003-05-09 2006-08-16 株式会社荏原制作所 基于带电粒子束的检查装置及采用了该检查装置的器件制造方法
WO2006127692A2 (en) * 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
US20100231922A1 (en) * 2006-12-21 2010-09-16 Howard Hughes Medical Institute Three-dimensional interferometric microscopy
CN103367085A (zh) * 2012-04-05 2013-10-23 Fei公司 提供深度分辨图像的带电粒子显微镜
CN103994987A (zh) * 2013-02-19 2014-08-20 Fei公司 荧光标记的原位再活化

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US9488605B2 (en) * 2012-09-07 2016-11-08 Carl Zeiss X-ray Microscopy, Inc. Confocal XRF-CT system for mining analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820346A (zh) * 2003-05-09 2006-08-16 株式会社荏原制作所 基于带电粒子束的检查装置及采用了该检查装置的器件制造方法
WO2006127692A2 (en) * 2005-05-23 2006-11-30 Hess Harald F Optical microscopy with phototransformable optical labels
US20100231922A1 (en) * 2006-12-21 2010-09-16 Howard Hughes Medical Institute Three-dimensional interferometric microscopy
CN103367085A (zh) * 2012-04-05 2013-10-23 Fei公司 提供深度分辨图像的带电粒子显微镜
CN103994987A (zh) * 2013-02-19 2014-08-20 Fei公司 荧光标记的原位再活化

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAVIN E. MURPHY ET AL.: "Correlative 3D imaging of Whole Mammalian Cells with Light and Electron Microscopy", 《J STRUCT BIOL.》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416325A (zh) * 2017-02-01 2019-03-01 伊鲁米那股份有限公司 具有在非直线布局中的基准的系统和方法
US11249025B2 (en) 2017-02-01 2022-02-15 Illumina, Inc. System and method with fiducials in non-rectilinear layouts
US11262307B2 (en) 2017-02-01 2022-03-01 Illumina, Inc. System and method with reflective fiducials for locating or registering locations receiving biological samples in successive cycles of fluorescent imaging
US11427868B2 (en) 2017-02-01 2022-08-30 Illumina, Inc. System and method with fiducials of non-closed shapes
US11835460B2 (en) 2017-02-01 2023-12-05 Illumina, Inc. System and method with fiducials having offset layouts
US11896944B2 (en) 2017-02-01 2024-02-13 Illumina, Inc. System and method with fiducials responding to multiple excitation frequencies
CN111239085A (zh) * 2019-03-06 2020-06-05 南昌工程学院 基于深度学习的显微视觉伺服控制方法
CN111239085B (zh) * 2019-03-06 2022-11-22 南昌工程学院 基于深度学习的显微视觉伺服控制方法

Also Published As

Publication number Publication date
JP2016119300A (ja) 2016-06-30
US20160181060A1 (en) 2016-06-23
US9368321B1 (en) 2016-06-14
EP3037862A1 (en) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105717078A (zh) 基于基准点的相关显微术
Kukulski et al. Precise, correlated fluorescence microscopy and electron tomography of lowicryl sections using fluorescent fiducial markers
Kiuchi et al. Multitarget super-resolution microscopy with high-density labeling by exchangeable probes
Smith et al. Quantitatively imaging chromosomes by correlated cryo-fluorescence and soft x-ray tomographies
Bohn et al. Localization microscopy reveals expression-dependent parameters of chromatin nanostructure
Markert et al. Filling the gap: adding super-resolution to array tomography for correlated ultrastructural and molecular identification of electrical synapses at the C. elegans connectome
CN108474022A (zh) 用于包含三维核酸的基质容积成像的设备和方法
de Medeiros et al. Light-sheet imaging of mammalian development
Kobayashi et al. Live correlative light-electron microscopy to observe molecular dynamics in high resolution
Li et al. Global fitting for high-accuracy multi-channel single-molecule localization
Willy et al. De novo endocytic clathrin coats develop curvature at early stages of their formation
Chin et al. Imaging live cells at high spatiotemporal resolution for lab-on-a-chip applications
Oberlaender et al. Transmitted light brightfield mosaic microscopy<? xpp qa?> for three-dimensional tracing of single neuron<? xpp qa?> morphology
López et al. A fully integrated, three-dimensional fluorescence to electron microscopy correlative workflow
Loginov et al. Correlative organelle microscopy: Fluorescence guided volume electron microscopy of intracellular processes
Zareh et al. Single-image diffusion coefficient measurements of proteins in free solution
KR20180024719A (ko) 최소세제곱 알고리즘을 기반으로 하는 암시야 조명을 이용한 비형광 나노 입자의 3차원 초고분해 영상 이미지의 획득 방법 및 시스템
Owen et al. Super-resolution imaging by localization microscopy
DE102012107718A1 (de) Kalibrierprobe auf den DNA-Origami-Basis
Gualda et al. Going" open" with Mesoscopy: a new dimension on multi-view imaging
EP4014198B1 (en) Sample imaging via two-pass light-field reconstruction
Perillo et al. Single particle tracking through highly scattering media with multiplexed two-photon excitation
Colombelli et al. Light sheet fluorescence microscopy applications for multicellular systems
Hargreaves et al. Optimising correlative super resolution and atomic force microscopies for investigating the cellular cytoskeleton
Lee et al. Three-dimensional approaches in histopathological tissue clearing system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629