CN114924401A - 显微系统 - Google Patents

显微系统 Download PDF

Info

Publication number
CN114924401A
CN114924401A CN202210413867.4A CN202210413867A CN114924401A CN 114924401 A CN114924401 A CN 114924401A CN 202210413867 A CN202210413867 A CN 202210413867A CN 114924401 A CN114924401 A CN 114924401A
Authority
CN
China
Prior art keywords
rotating disk
array
focus
focal
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210413867.4A
Other languages
English (en)
Inventor
H.史罗夫
A.约克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
US Department of Health and Human Services
Original Assignee
US Department of Health and Human Services
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/614,766 external-priority patent/US10025082B2/en
Application filed by US Department of Health and Human Services filed Critical US Department of Health and Human Services
Publication of CN114924401A publication Critical patent/CN114924401A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0044—Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G01N2021/6478—Special lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/105—Purely optical scan
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/004—Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本公开提供了一种显微系统(500)，包括：光源(502)，用于传输单个光束；在第一方向上旋转并沿光轴定位的、具有会聚微透镜阵列的第一旋转盘(506)，用于将所述单个光束分成多个光束以形成多焦图案；在第一方向上旋转并沿光轴定位的、具有针孔阵列的第二旋转盘(508)，用于阻挡每个多焦图案的所述多个光束中的离焦光束，并且允许所述多个光束中的焦内光束穿过所述具有针孔阵列的旋转盘(506)，以及在第一方向上旋转并沿光轴定位的、具有发散微透镜阵列的第三旋转盘(516)，其中所述具有会聚微透镜阵列的第一旋转盘(506)、所述具有针孔阵列的第二旋转盘(508)以及所述具有发散微透镜阵列的第三旋转盘(516)相对于彼此同步旋转。

Description

显微系统
本申请是申请日为2018年6月6日、申请号为201880004664.1(国际申请号为PCT/US2018/036265)、发明名称为“多焦结构化照明显微系统和方法”的发明专利申请的分案申请。
技术领域
本文档涉及多焦结构化照明显微(multi-focal structured illuminationmicroscopy)，并且具体涉及用于产生由样本的多焦图案(pattern)引起的多个多焦荧光发射的多焦结构化照明显微系统和方法。
背景技术
经典的荧光显微在分辨率方面受到光的波长限制，被称为“衍射极限”，当样本发射由显微镜(microscope)检测的荧光时，在典型的激发和发射波长下，衍射极限将横向分辨率限制为约200nm，并且将轴向分辨率限制为约500nm。共焦(confocal)显微是一种光学成像技术，其用于通过使用点照明和空间针孔布置来消除来自比焦平面厚的试样的离焦(out-of-focus)发射光，以将光学分辨率增加超出衍射极限，从而通过需要紧密关闭针孔的方法来传送分辨率是衍射极限的1.41倍的图像。不幸的是，关闭针孔会使从样本发射的光的信号水平降低到一定程度，使得这种特定的超分辨率方法不实用。另外，共焦显微镜必须将来自显微镜的照明光束的激发与针孔/探测器完美对准，因为未对准的针孔会导致正检测到的光信号减少和变弱，并且导致样本本身的轴向光学切片(section)减少。因此，共焦显微镜的未对准可能引起光信号的减少。
已经发现一种用于共焦显微的分辨率增强的方法，其使用检测器阵列，诸如相机图像中的像素，其中阵列中的每个检测器产生单独的共焦图像。如果探测器阵列足够小，则每个形成的共焦图像可以等价于由具有紧密闭合的针孔的共焦显微镜形成的相似共焦图像，使得当共焦图像被恰当对准时，实现受衍射限制的显微镜的1.41倍的分辨率。此外，反卷积提供了图像分辨率的进一步增加。然而，该探测器阵列布置是受限制的，因为在样本的整个二维平面中仅扫描单个激发点，这限制了样本可以被扫描的速度以及对样本的荧光发射的后续检测。
另一种类型的显微，称为结构化照明显微(SIM)，其使用空间调制的激发强度来照明样本，该空间调制的激发强度被平移和旋转到相对于样本的不同位置，在每次平移和旋转时拍摄宽视野(wide-field)图像。适当地处理原始图像得到最终图像，最终图像具有的横向分辨率是传统宽视野显微的横向分辨率的两倍。虽然这样的SIM系统生成的图像的空间分辨率是传统显微镜的2倍，但是当产生最终图像时却牺牲了时间分辨率，因为需要时间来获取多个原始图像中的每个。SIM还可以用于滤除离焦模糊(blur)，称为“光学切片”。然而，这样的光学切片是以计算的方式进行的，并且因此经受散粒(泊松)噪声。因此，当背景荧光可能引起该散粒噪声贡献超过焦内(in-focus)信号时，SIM不适合于厚的或高度染色的样本。
因此，本领域需要一种结构化照明显微系统，其为了每个高分辨率图像产生样本的多焦激发图案，而不牺牲扫描速度，并且对可能干扰SIM图像的散粒噪声有抵抗力。
发明内容
在一个实施例中，显微系统可以包含用于传输单个光束的光源和用于将单个光束分成多个光束以形成多焦图案的分束器。扫描器将形成多焦图案的多个光束扫描到样本上，使得样本生成由每个多焦图案产生的多个荧光发射。聚焦部件然后限定孔径(aperture)，孔径被配置为物理地阻挡由每个多焦图案产生的多个荧光发射的离焦荧光发射，并且允许焦内荧光发射穿过孔径。另外，缩放部件按比例缩小由每个多焦图案产生的多个焦内荧光发射，使得多个焦内荧光发射中的每个按比例缩小预定因子，以产生由每个多焦图案产生的多个缩放的焦内荧光发射。求和部件对多个缩放的焦内荧光发射中的每个求和，以产生多个求和的、缩放的焦内荧光发射，其形成多个求和的、缩放的焦内荧光发射的合成图像。
在另一个实施例中，显微系统可以包含光源，用于传输单个光束；分束器，用于将单个光束分成多个光束以形成多焦图案，其中多个多焦图案中的每个限定多个焦点；扫描器，用于将形成多个多焦图案中的每个的多个光束扫描到样本上，使得样本生成由每个多焦图案产生的多个荧光发射，其中多个多焦图案中的每个限定多个荧光焦点；检测器，用于收集由每个多焦图案产生的多个荧光发射；以及处理系统，用于处理来自检测器的所收集的多焦荧光发射，包括：与数据库可操作通信的处理器，用于储存多个所收集的多焦荧光发射，其中处理器移除由多个多焦图案中的每个产生的离焦荧光发射，以仅留下由多个多焦图案中的每个产生的焦内荧光发射，其中处理器然后在局部收缩操作中缩放由多个多焦图案中的每个产生的焦内荧光发射，在多个荧光发射收缩以产生缩放的焦内荧光发射时，在局部收缩操作中由每个多焦图案产生的多个荧光发射中的每个与由多焦图案产生的另一个多个荧光发射维持相同的比例距离；其中处理器对多个多焦焦内荧光发射进行求和以产生合成图像。
在又一个实施方案中，用于多焦结构化照明显微的方法可以包含：
生成单个光束；
将单个光束分成多个光束，其中每个多个光束的焦点形成多个多焦图案，
使用多个光束照射样本以形成多个多焦图案中的每个，其中被照明的样本产生由每个多个多焦图案产生的多个荧光发射；
进行针孔操作，其中来自多个荧光发射的离焦荧光发射被阻挡，并且在针孔操作期间仅允许来自多个荧光发射的焦内荧光发射穿过；
将由多个多焦图案产生的多个焦内荧光发射中的每个焦点缩放预定因子，以产生由多个多焦图案产生的多个缩放的焦内荧光发射；并且
将多个缩放的焦内荧光发射中的每个求和以形成合成图像。
在又一个实施例中，显微系统可以包含用于传输单个光束的光源；第一微透镜阵列，其将单个光束分成多个光束以形成至少一个多焦图案；以及扫描器，其将形成至少一个多焦图案的多个光束扫描到样本上，使得样本使用至少一个多焦图案中的每个来生成多个荧光发射。另外，针孔阵列阻挡至少一个多焦图案中的每个的离焦荧光发射，并且允许焦内荧光发射穿过针孔阵列。第二微透镜阵列产生具有二分之一放大率的多个光束的非倒置图像，其中扫描器重新扫描多个光束的非倒置图像。最后，相机捕获扫描的非倒置图像。
在进一步的实施例中，显微系统可以包含光源，用于传输单个光束；具有微透镜阵列的旋转盘，用于将单个光束分成多个光束以形成多焦图案；具有针孔阵列的旋转盘，用于阻挡每个多焦图案的多个光束的离焦光束，并且允许多个光束的焦内光束穿过具有针孔阵列的旋转盘，其中具有微透镜阵列的旋转盘与具有针孔阵列的旋转盘串联旋转，以扫描样本上的多个光束并生成多个荧光发射；以及相机，用于捕获由样本生成的每个多焦图案中的多个荧光发射的图像。
在另一个实施例中，显微系统可以包含光源，用于传输单个光束；在第一方向上旋转并沿光轴定位的具有会聚微透镜阵列的第一旋转盘，用于将单个光束分成多个光束以形成多焦图案。在第一方向上旋转并沿光轴定位的具有针孔阵列的第二旋转盘，用于阻挡每个多焦图案的多个光束的离焦光束，并且允许多个光束的焦内光束穿过具有针孔阵列的旋转盘，以及在第一方向上旋转并沿光轴定位的具有发散微透镜阵列的第三旋转盘，其中具有会聚微透镜阵列的第一旋转盘、具有针孔阵列的第二旋转盘以及具有发散微透镜阵列的第三旋转盘相对于彼此同步旋转。
在下面的描述中将阐述附加的目的、优点和新颖特征，或者通过检查下面的附图和详细描述，本领域技术人员将清楚附加的目的、优点和新颖特征。
附图说明
图1是图示用于在多焦结构化照明(MSIM)系统中生成多焦图案的一种方法的简化框图；
图2是图示在多焦SIM系统的另一个实施例中生成多焦图案的另一种方法的简化框图；
图3是示出图1的多焦SIM系统的一个实施例的各种部件的简化图示；
图4是示出图2的多焦SIM系统的一个实施例的各种部件的简化图示；
图5是示出具有多个焦点的多焦图案的简化图示；以及
图6是示出缩放操作的简化图示，该缩放操作缩放由样本发射的多焦图案引起的焦内荧光发射；
图7是图示用于由图4的多焦SIM系统中的处理系统进行缩放与求和操作的一种方法的流程图；
图8是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时获得网格(lattice)向量的一种方法的流程图；
图9是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时获得偏移向量的一种方法的流程图；
图10是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时获得移位向量的一种方法的流程图；
图11是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时进行针孔掩模的一种方法的流程图；
图12是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时进行缩放和局部收缩的一种方法的流程图；
图13是图示当执行处理系统的离焦荧光滤除、缩放与求和操作时进行求和的一种方法的流程图；
图14是图示在测试多焦SIM系统的一个实施例期间使用的照明系统的简化图示；
图15A-图15D图示了嵌入在荧光封片剂中的样本的各种图像；
图16A-图16B图示了嵌入在荧光封片剂中的双标记三维样本的各种图像；以及
图17A-图17D图示了在针孔聚焦、缩放和三维反卷积之后使用多焦照明系统的样本的各种图像；
图18是示出扫场(swept-field)硬件MSIM系统的实施例的简化图示；
图19是具有扫场MSIM系统的微管的超分辨率图像的图像；
图20是示出旋转盘共焦显微系统的一个实施例的简化图示；以及
图21是示出旋转盘MSIM系统的实施例的简化图示。
对应的附图标记指示附图中的对应元件。附图中使用的标题不应解释为限制权利要求的范围。
具体实施方式
在现代显微中，结构化照明显微(SIM)可以被用于通过使用空间图案化的光来激发稍后被检测的样本荧光来检查单个细胞，以及处理一个或多个图像以产生分辨率为传统宽视野显微图像的2倍的超分辨率图像。然而，SIM系统为了更高的分辨率而牺牲了速度(为每个超分辨率图像拍摄多个原始图像)。此外，SIM系统中的光学切片是以计算方式执行的，因此易于发生荧光背景中固有的散粒噪声。这限制了可以被检查的样本的厚度，从而当检查较厚的样本时需要使用其它显微技术。例如，共焦显微系统使用针孔布置物理地滤除(reject)离焦光，该针孔布置允许样本所发射的发射光中仅来自于特定焦点的光被系统检测到，从而相比SIM系统可以实现的而言，产生相对更厚的样本的高对比度光学切片图像。共焦显微镜还能够提供相对于传统宽视野显微镜的增强的分辨率。然而，共焦显微镜的这种增强的图像分辨率是通过缩小针孔布置来获得的，这导致对应的从样本检测到的荧光发射信号的禁止性损失(prohibitive loss)。已经示出修改的共焦显微镜在不牺牲发射信号强度的情况下将图像分辨率提高到SIM系统的分辨率水平；然而，显微镜获得的慢的扫描速度使其对于研究目的而言是不实用的。
因此，如本文所述的多焦SIM(MSIM)系统的实施例包含特定的硬件部件、属性和特性，其解决与以高扫描速度和传统显微镜成像系统所需的信号强度来实现高图像分辨率有关的问题，并且其在厚样本方面提供比当前可商购的SIM系统更好的性能。在本文中描述的MSIM系统包含硬件部件的各种实施例，相对于传统的共焦显微和SIM系统，其为对样本拍摄的每个图像生成多焦激发图案，以在没有显著的信号损失的情况下以高扫描速率产生高分辨率图像。此外，MSIM系统仅使用硬件部件的布置(诸如针孔镜和微透镜阵列)来进行缩放、针孔与求和步骤，而不是如在结构化照明显微中使用处理器和软件布置来进行相同的操作。下面更详细地讨论多焦SIM系统和方法的进一步细节。
参考附图，多焦SIM(MSIM)系统的各种实施例在图1-21中被图示且总体指示为100、200、300、400和500。如图1所示，示出了指定为100的MSIM系统的一个通用实施例。MSIM系统100进行照明图案生成操作102，其将单个光束分成多个光束以生成一个或多个多焦图案，其中每个多焦图案限定多个光束中的每个的焦点的布置。例如，图5中示出了多焦图案170的一个示例的简化图示。在一个实施例中，多焦图案170可以包含以特定多焦图案170布置的多个焦点172，该多焦图案170由多个光束限定，其中每个多焦图案170限定多个光束的焦点的不同布置，使得对于焦点172的给定密度，多焦图案170使任何两个最近焦点172之间的距离最大化，从而最小化串扰(crosstalk)。如本文所使用的，术语串扰指代附近光束使得来自其它焦点的激发和荧光使焦点看起来好像源自所讨论的焦点的能力。在扫描操作104中，将每个多焦照明图案中的多个光束光栅化到被照明的样本106上，使得样本106发射多个荧光发射。在去扫描(de-scan)操作108中，由样本106发射的荧光发射被光栅化，该去扫描操作108重定向多个荧光发射，以在聚焦操作110中移除离焦荧光发射。在聚焦操作110中，离焦荧光发射被阻挡，并且仅允许焦内荧光发射穿过以进行处理。
然后使用缩放操作112缩放由每个多焦图案引起的焦内荧光发射，缩放操作112以预定因子局部地收缩每个荧光发射。在图6中所示的缩放操作112的一个实施例中，发生在单个多焦图案170中引起的荧光焦点172的局部收缩。例如，在多焦图案170中荧光焦点172A和172B分别到缩放后的荧光焦点172A’和172B’的局部收缩是这样的：不管应用于多焦图案170的荧光焦点172的缩放程度如何，荧光焦点172A与172B的几何中心175之间的距离300和荧光焦点172A与172B的距离302保持相同。换言之，缩放操作112在没有反转的情况下局部收缩荧光焦点172，同时保持每个荧光焦点之间的相对距离相同。在缩放操作112之后，然后在重新扫描操作114中，将每个多焦照明图案的缩放后的焦内荧光发射光栅化，该重新扫描操作114允许由每个多焦图案引起的收缩的焦内荧光发射被检测器收集并求和以在收集与求和操作116中产生合成高分辨率图像。
在一些实施例中，在收集与求和操作116之后，合成图像可以经历反卷积操作118，该反卷积操作118进行一定水平的去模糊，这进一步增强了合成图像的分辨率。反卷积操作118可以是任何传统的反卷积操作118，诸如免费提供的Piotyr Wendykier的并行迭代反卷积插件。
参考图2，图示了根据指定为200的MSIM系统的另一个实施例的用于生成多焦图案的另一种方法。MSIM系统200进行照明图案生成操作202，其中单个光束被分成多个光束以生成多个光束的一个或多个多焦图案。在扫描操作204中，将用于每个多焦图案的多个光束光栅化到样本206上。样本206响应于多焦图案而产生荧光发射，所述荧光发射在收集操作208中被检测到。在收集操作208中，检测器收集焦内荧光发射并将所收集的数据传输到进行处理操作210的处理系统。处理操作210移除每个多焦图案中的离焦荧光发射，缩放剩余的焦内荧光发射，并且然后对缩放后的焦内荧光发射求和以生成合成图像，该合成图像由多焦图案创建的多个荧光发射组成。在一些实施例中，所收集的数据然后可以经历类似于反卷积操作118的反卷积操作212，其进行合成图像的去模糊以进一步增强图像分辨率。
参考图3，多焦SIM系统100的一个实施例可以包含照明源120(例如激光器)以生成单个光束122，该单个光束122被传输通过分束器124(诸如微透镜阵列)。分束器124将单个光束122分成多个光束126，其中多个光束126中的每个具有不同的焦点，其共同形成多焦图案128。在一些实施例中，第一透镜130对每个多焦图案128成像以在A方向上通过分色(dichroic)镜132，并且成像到诸如检流计(galvanometer)的扫描装置134上以进行扫描操作104。
在扫描操作104期间，扫描装置134将多个光束126的每个多焦图案128光栅化到样本144上，这是通过第二透镜136、管透镜138和物镜140的布置并且到样本144上。
响应于样本144被多个光束126的多焦图案128照明，样本144发射由光束126组成的多焦图案128引起的荧光发射142。然后，由被照明的样本144发射的每个多焦图案128的多个荧光发射142通过物镜140而被捕获，并且穿过管透镜138和第二透镜136并到达扫描装置134上，该扫描装置134通过将来自第二透镜136的荧光发射142光栅化来对多个荧光发射142中的每个去扫描，并且在与多个光束126直接穿过分色镜132的方向A相反的方向B上到达分色镜132上。在方向B上，多个荧光发射142被分色镜132重定向以穿过第三透镜146，其中多个荧光发射142然后被聚焦到针孔阵列148上以进行针孔操作110。
在针孔操作110期间，针孔阵列148物理地阻挡和滤除离焦荧光发射142并仅允许焦内荧光发射142A穿过针孔阵列148。在一个实施例中，针孔阵列148可以包含多个孔径(aperture)，该多个孔径被被配置为仅允许焦内荧光发射142A穿过针孔阵列148，同时阻挡不穿过孔径中的一个的任何荧光发射142。
在穿过针孔阵列148之后，使用与第二微透镜阵列152串联布置的第一微透镜阵列150，使用上面讨论的缩放操作112来缩放多个焦内荧光发射142A，该缩放操作112将相应的多焦图案128的每个焦点以预定因子(例如因子2)局部地收缩。在一个实施例中，第一微透镜阵列150对焦内荧光发射142A的多焦图案128进行准直，而第二微透镜阵列152接收准直后的焦内荧光发射142A并修改准直后的焦内荧光发射142A的焦距，使得每个焦点以预定因子被缩小，以实现多焦图案128的局部收缩。在一些实施例中，由每个多焦图案128引起的缩放后的焦内荧光发射142B然后被第一反射镜154重定向以穿过第四透镜158，以将缩放后的焦内荧光发射142B聚焦到第二反射镜156上。第二反射镜156重定向缩放后的焦内荧光发射142B以穿过发射滤光器160，该发射滤光器160仅允许具有特定波长范围(例如515nm)的缩放后的焦内荧光发射142B穿过发射滤光器160。一旦缩放后的焦内荧光发射142B被滤波，则扫描装置134就通过第五透镜162将荧光发射142B光栅化到检测器164上，使得每个多焦图案128的缩放后的焦内荧光发射142B被收集并且焦内荧光发射142B由检测器164求和以产生合成图像143。重复对由多焦图案128引起的荧光发射142B进行收集的过程，直到整个视场已经被照明并且所有所得的荧光发射142B被检测器164收集。
在一些实施例中，检测器164可以是相机，在缩放后的焦内荧光发射142B被光栅化到检测器164上以便收集时，其快门保持打开以进行曝光，直到整个视场被照明并且所有所收集的数据被接收。
在一些实施例中，合成图像143被传输到处理系统166，该处理系统166进行反卷积操作118，该反卷积操作118进行去模糊功能以增强每个合成图像143的分辨率。
参考图4，用于生成多焦图案223的多焦SIM系统200的一个实施例可以包含生成单个光束203的照明源201，该单个光束203被传输通过扩束器205，该扩束器205产生扩展后的单个光束203，该扩展后的单个光束203被光束转向镜207反射以进行扫描操作204，该扫描操作204将扩展后的光束203扫描到分束器209上，例如商业上可获得的数字微镜设备(DMD)或扫场共焦单元。在一些实施例中，DMD生成并切换多焦图案223，其中每个焦点是多焦图案223上的被照明的光斑(spot)。每个照明光斑由处于ON位置的单个DMD镜像素创建，使得扩展后的光束203的一部分从该单个DMD镜像素被反射。分束器209进行照明图案生成操作202，该照明图案生成操作202将被扫描的扩展后的光束203分成多个扩展后的光束203A，该多个扩展后的光束203A共同形成多焦图案223的序列。对于每个多焦图案223的多个扩展后的光束203A穿过第一管透镜211，以沿着方向C直接穿过分色镜213。
在直接穿过分色镜213之后，扩展后的光束203A被物镜215聚焦到样本平面上，以进行样本217的样本照明206，并生成由样本217发射的多个荧光发射222。在收集操作208中，荧光发射222被聚焦返回通过物镜215并沿着垂直于方向C的方向D到分色镜213上，使得每个多焦图案223的荧光发射222被重定向并穿过第二管透镜219。第二管透镜219将荧光发射222聚焦到检测器221上，因此以收集的数据227的形式收集每个多焦图案223以传输到处理系统225，该处理系统225滤除离焦光并进行缩放与求和操作210。重复对由每个多焦图案引起的荧光发射222收集的过程，直到整个视场已经被照明。在一些实施例中，处理系统225可以包含与检测器221可操作地通信的处理器230，该处理器230通过执行将在下面更详细地讨论的指令，来处理储存在数据库232(诸如计算机可读介质)中的收集的数据227。
在一个实施例中，处理系统225滤除离焦荧光发射222，并且使用用于处理所收集的数据227的计算机化进程对每个多焦图案223的所收集的数据227进行缩放与求和操作210。参考图7，流程图图示了使用处理系统225进行离焦荧光滤除、缩放与求和操作210的一种方法。在框1000处，处理系统225进行多焦照明图案223的自动网格(lattice)检测。具体地，自动网格检测确定特定多焦图案223的每个照明焦点的位置，以便进行各种荧光焦点的针孔掩模和局部收缩。例如，自动网格检测确定五个向量以完全指定图像采集系列中特定多焦图案223中的每个荧光发射222的所有焦点的位置。在一些实施例中，五个向量可以是网格向量、移位(shift)向量和偏移(offset)向量。两个网格向量指定任何两个相邻照明光斑(例如，焦点)之间的二维位移。如此，按网格向量被位移的任何网格点将落在另一个网格点上。由于热移位，每个照明光斑的确切位置可以随时间变化，因此使用以下方法来从所收集的数据227中准确地提取每个测量数据集的所有向量提供最佳结果。
参考图8，图示了用于当处理系统225进行离焦滤除、缩放与求和操作210时，准确地提取所收集的数据227的每个测量数据集的所有向量的方法。偏移向量指定在由处理系统225处理的任何一个图像采集系列中最接近多焦图案的中心的照明光斑的绝对位置。移位向量指定特定多焦图案223的每个照明光斑在连续图像之间移动的距离。因为多焦图案223在二维平面中被光栅化，所以在操作210的每个步骤处应用“快”移位向量，并且当“快”移位向量已经完成了对一行的照明时应用“慢”移位向量。如本文所使用的，术语“快”移位向量指定单行中的那些网格点，术语“慢”移位向量指定连续行。在框2000处，将表示从特定多焦图案223捕获的荧光142B的每个原始图像乘以Hann窗口(其防止傅里叶域中的振铃)并进行傅里叶变换。在框2002处，对所得的傅里叶幅度进行平均，以获得傅立叶空间中的波峰位置的高信噪比测量。在框2004处，通过带通滤光器对平均后的所得的傅里叶幅度进行滤波。在框2006处，完成在傅立叶域中对尖波或波峰的搜索。因为用于求和的傅里叶幅度的原始图像被预期是波峰的周期性网格，所以通过确定局部傅里叶最大值(或网格元素、或噪声)来确定每个周期性网格的尺寸。在框2008处，通过计算地搜索预期频率倍数处和附近的波峰强度，来确定三个最低空间频率波峰的谐波。在框2010处，给定具有谐波的三个最低空间频率波峰的位置，对位于其向量和与向量差处的波峰进行搜索，这些向量构成了网格向量。在本方法中，周期性网格中的波峰预测相同网格中的其它波峰的位置，其中每个网格点位于整数个傅里叶网格向量的向量和。在框2012处，处理系统225通过线性正方形求解所得方程组，以获得三个网格向量。由于噪声或像素化，傅立叶域中的任何单个波峰将具有一些位置误差。利用最小二乘法，每个波峰提供的信息产生更准确的网格尺寸测量。在框2014处，处理系统225对网格向量求和以确定误差向量，并且然后从每个傅里叶网格向量中减去误差向量的三分之一。在框2016处，选择并变换两个傅里叶网格向量中的任何两个以获得真实空间网格向量。已经发现，获得用于多焦照明图案的两个网格向量使得基本上更容易测量偏移向量和移位向量。
参考图9，示出了当处理系统225进行离焦模糊滤除、缩放与求和操作210时用于确定偏移向量的方法。在框3000处，对第一原始图像进行中值滤波。在框3002处，使用零偏移向量构造来自被测量网格向量的点的网格。在框3004处，使用用于子像素居中的插值，从中值滤波后的原始图像中提取以每个网格点为中心的较小图像的集合。在框3006处，对较小的图像进行平均以形成“网格平均”图像。在框3008处，确定网格平均图像中的最亮像素。在框3010处，使用插值技术，来估计网格平均图像中的每个强度波峰的子像素位置。
参考图10，示出了当处理系统225进行离焦模糊滤除、缩放与求和操作210时用于确定移位向量的方法。在框4000处，从测量的傅里叶网格向量构造预期的傅里叶波峰位置的集合。在框4002处，针对变换后的所收集的数据227的每个图像编号提取出提取相位。在框4004处，处理系统525对多焦图案223的每个系列进行相位展开以移除2π跳跃。已经注意到，每个原始图像的傅立叶变换的幅度独立于原始图像的移位。关于位移的信息被编码在傅里叶变换的相位中。在框4006处，处理系统225将二维系列中的每个相位系列重新整形为具有与扫描图案相同尺寸的二维阵列(例如，16像素×14像素)。在对每个相位系列进行重新整形之后，在方框4008处，将直线拟合为每个相位序列在“快”和“慢”方向上的平均斜率。在检测到的每个连续原始图像中，照明移位了XFAST。在每行的末尾，照明还移位了XSLOW。如果原始图像移位了X，则位于k处的傅里叶空间中的波峰值的相位移位了k*X。在框4010处，处理系统225对于所得方程组求解XFAST和XSLOW。在框4012处，为多焦图案223的系列的第一帧和最后一帧构建偏移向量。使用计算第一帧的偏移向量的相同过程来计算最后一帧的偏移向量，这提供极大地增加了估计的准确性的强约束。在框4014处，基于XFAST和XSLOW的当前估计，来构建预测的偏移向量。一旦构造了预测的偏移向量，就将两个向量之间的差确定为误差向量，该误差向量除以扫描中的原始图像的数目，并从XSLOW中减去。
参考图11，示出了当处理系统225进行离焦模糊、缩放与求和操作210时用于离焦模糊滤除的针孔掩模的方法。在框5000处，针对在收集操作208期间收集的每个原始图像，构建基于上面确定的向量的预期照明位置的集合。在框5002处，使用插值技术提取以每个照明位置为中心的较小的子图像，并且然后在框5004处，由处理系统525将每个居中的子图像乘以二维高斯掩模。这些过程步骤模拟物理针孔的影响。在框5006处，可以可选地从每个子图像中减去背景，并且将居中的子图像乘以校准数据给出的校正因子。在框5008处，可以可选地由处理系统525对各个热像素进行中值滤波。
参考图12，示出了当处理系统225进行离焦模糊滤除、缩放与求和操作210时用于缩放和进行局部收缩的方法。在框6000处，重新采样每个掩模后的子图像，以将掩模后的子图像缩小约两倍。在框6002处，将每个缩放后的掩模后的子图像添加到正处理的原始图像。
参考图13，示出了当处理系统225进行离焦模糊滤除、缩放与求和操作210时用于求和的方法。在框7000处，对处理后的原始图像求和以形成合成图像。在框7002处，可以可选地对原始图像求和以产生计算的“宽视野”图像。
由离焦模糊滤除、缩放与求和操作210产生的所得的合成图像已经显示出具有比由传统的宽视野显微技术产生的典型宽视野图像的√2倍更好的分辨率。与传统的旋转盘或扫场共焦显微镜类似，离焦模糊滤除、缩放与求和操作210也极大地改善了光学切片。
参考图18，示出了指定为300的MSIM系统的实施例。MSIM系统300可以是扫场硬件布置，其中实现了如上面针对MSIM系统100和200所讨论的类似程度的分辨率增强。MSIM系统300与MSIM系统100和200之间的主要区别在于，在MSIM系统300中使用硬件而不是MSIM系统100和200所需的软件，来实现与缩放、针孔与求和步骤有关的操作。在该实施例中，MSIM系统300可以包含发射光束305的光源302，光束305传输通过会聚(+)微透镜阵列304，并且所得到的聚焦光束被中继通过第一扫描透镜306，由检流计308扫描，并且然后通过第二扫描透镜310，其中第一扫描透镜306和第二扫描透镜310对中间像平面是处于4f配置的。
如进一步所示，检流计308可以位于第一和第二扫描透镜306和310之间的焦点处，并且跨样本平面316扫掠(sweep)激发焦点，因此产生覆盖成像场的扫场激发。另外，管透镜312和物镜314的望远镜布置位于第二扫描透镜310与样本平面316之间，该望远镜布置缩小(demagnify)中间级(stage)并产生激发焦点的阵列，该激发焦点的阵列是由检流计308跨样本平面316扫掠的。由跨样本平面316被扫掠的激发焦点所生成的所得的荧光通过物镜314和管透镜312沿着相同的路径返回，其被检流计308去扫描，但是使用分色镜318而使其被转向(divert)，分色镜318位于会聚微透镜阵列304与第一扫描透镜306之间。一旦被转向，荧光发射就穿过针孔阵列320，从而极大地减少了离焦荧光发射。
然后使用由第一中继透镜322组成的4f望远镜对来中继所得的焦内荧光发射，第一中继透镜322将焦内荧光发射聚焦到第一反射镜324上，第一反射镜324对焦内荧光发射转向以通过第二中继透镜330，该焦内荧光发射然后被第二反射镜326和第三反射镜328相继转向到第二会聚(+)微透镜阵列332。在一个实施例中，第二会聚(+)微透镜阵列332可以位于原本可能会由第二中继透镜330形成的焦点前的一个焦距处，从而产生荧光发射焦点的具有二分之一放大率的正立(非倒置)图像。然后通过以4f配置布置的第三扫描透镜334和第四扫描透镜336的另一个望远镜布置来中继该正立图像，其中可以通过位于第三扫描透镜334和第四扫描透镜336之间的焦点处的检流计308来重新扫描该正立图像。具有发射滤光器340的相机338捕获最终图像。MSIM系统300可以产生增强的分辨率图像，诸如图19所示，其显示固定的U2OS细胞中的AlexaFluor 488nm标记的微管。每个微管的表观宽度约为200nm。图19中所示的图像是原始的，而没有任何后处理反卷积，后处理反卷积被预期会进一步增加图像的分辨率。
图20示出了指定为400的旋转盘共焦显微系统的示例。系统400可以包含用于生成光束的光源402，该光束穿过具有会聚(+)微透镜阵列的旋转盘404并然后穿过具有匹配针孔阵列的旋转盘406。然后使用管透镜408和物镜410的光学布置将所得的激发成像到样本412上。在这种布置中，具有会聚(+)微透镜阵列的旋转盘404和具有匹配针孔阵列的旋转盘406二者的旋转是串联地(in tandem)进行的，以使得所创建的激发焦点覆盖样本412的视场。然后，源自样本412的荧光发射穿过物镜410、管透镜408和具有匹配的针孔阵列的旋转盘406返回。然后使用分色镜414对荧光发射转向，使得荧光发射穿过望远镜布置416，该荧光发射由相机420通过发射滤光器418捕获。
参照图21，示出了指定为500的具有旋转盘多焦结构化照明显微的MSIM系统的另一个实施例，其基于图20中描述的修改的旋转盘系统400。在一个实施例中，传统的旋转盘共焦显微镜被转换成具有一个主要修改的分辨率加倍设备。MSIM系统500可以包含生成光束的光源502，该光束由分色镜504转向，该光束穿过具有会聚(+)微透镜阵列的旋转盘506并然后穿过具有针孔阵列的旋转盘508，然后被管透镜510和物镜512聚焦到样本514。一旦样本514被照明，由样本514生成的荧光发射返回穿过物镜512和管透镜510，物镜512和管透镜510聚焦荧光发射通过沿光轴定位的具有发散(-)微透镜阵列的旋转盘516，该具有发散(-)微透镜阵列的旋转盘516被使得在荧光发射穿过望远镜布置518之前与具有会聚(+)微透镜阵列的旋转盘506和具有针孔阵列的旋转盘508同步旋转，然后在荧光发射被发射滤光器522滤波之后被相机520捕获。在一个实施例中，具有发散(-)微透镜阵列的旋转盘516应该含有与具有会聚(+)微透镜阵列的旋转盘506相同数目的微透镜，并且这些微透镜应该在每个旋转盘506和516上的相同空间位置处间隔开。在一些实施例中，如果用于具有发散(-)微透镜阵列的旋转盘516的微透镜的焦距为具有会聚(+)微透镜阵列的旋转盘506的焦距的一半，并且旋转盘506和516以所述焦距的差而间隔开，则这种布置将形成具有1/2放大率的伽利略望远镜。如果将这样的望远镜定位在距如此创建的正立的缩小的图像的适当距离处，与相机曝光同步的旋转盘516和506的旋转则进行分辨率加倍所需的期望针孔、缩放与求和操作。MSIM系统500的旋转盘布置的一个重要优点是显著减少了发射光学器件的数目，以九个替代十七个。另一个优点是，如果具有发散(-)微透镜阵列的旋转盘的516可以被容易地制造，则用于MSIM系统300、400和500的光学设置可能比传统的扫场显微镜更容易对准，使得MSIM技术易于转换到旋转盘。
测试
为了研究多焦SIM系统200对于生物学成像的潜力，对嵌入荧光封片剂(fluoromount)中的人骨肉瘤(U2OS)细胞中的抗体标记的微管进行成像。以下是对照明系统(图14)、显微镜系统、样本制备和所捕获图像的数据处理的说明。使用多焦图案与反卷积的结合允许我们能够以1Hz的成像速率以横向地低至145nm以及轴向地低至400nm的分辨率来研究各种样本。相比于常规的结构化照明显微系统，多焦SIM系统200提供的三维图像样本比常规的结构化照明显微系统厚5-8倍。在当前研究中，微管被成像于活的转基因斑马鱼胚胎中，其距离盖玻片表面的深度大于45μm。此外，获得了活的线虫胚胎中的GFP标记的组蛋白的四维SIM数据集。
为了测试，近似于等边三角形的周期性网格用于我们的照明点位置，因为对于给定的点密度，该特定图案使任何两个最近相邻点之间的距离最大化，从而最小化串扰。多焦照明图案一次被平移一个数字微镜设备(DMD)像素，这对应于样本平面中的120nm的步长。考虑到可见的条纹伪影，较大步长不会均匀地照明样本，而较小步长增加了采集时间和剂量而不会增加图像质量。
将多焦图案成像至样本上，样本安装在商用倒置显微镜上，使用科学级互补金属氧化物半导体照相机(sCMOS)来对于每个多焦图案位置记录一个原始图像。通过改变照明点之间的间距，采集速度可以换取切片质量。发现的是，宽间隔的焦点具有较少串扰，但是需要额外的多焦照明图案来均匀地照明样本。相反，浓密的焦点具有更多串扰，但是需要对应更少的多焦图案来均匀地照明样本。已经发现的是，扫描点之间16像素水平间隔和14像素垂直间隔的多焦图案提供了所研究的生物学样本中良好的结果。对于480像素x480像素视场，在222Hz下拍摄的所得的224次原始曝光对应于约1Hz的超分辨率图像采集速率。
为了研究多焦SIM系统200对于生物学成像的潜力，我们对嵌入荧光封片剂中的人骨肉瘤(U2OS)细胞中的抗体标记的微管进行成像，如图15A-图15D示出的图像中所示的。相比于宽视野图像，由SIM系统200产生的多焦照明的、针孔的、求和后的并且缩放后的图像改善了图像分辨率，包括图像对比度。此外，并行迭代反卷积进一步改善了所产生的合成图像，合成图像显露了先前因衍射而模糊的特征。在多焦SIM系统200图像中微管显现出的半高全宽(FWHM)强度是145nm，相比于宽视野成像提高了两倍。对110nm的亚衍射珠的类似实验证实了该结果(多焦SIM系统200FWHM 146+/-15nm对比宽视野FWHM 284+/-32nm，N＝80珠)。假设对于每个显微系统是相同的222Hz原始帧速率，48μm×49μm视野的总采集时间约为1秒，比传统图像扫描显微(ISM)系统提高6500倍。
还研究了多焦SIM系统200对于双标记的三维样本的适用性，如图16所示的样本中示出的。使用嵌入荧光封片剂中的固定细胞的Z堆叠图像。用Alexa Fluor 488免疫标记的微管和用Mitotracker Red染色的线粒体获得的体积是3.7μm厚度，各切片隔开100nm。相比于以相同总照明剂量获得的宽视野图像，三维多焦SIM系统200图像提供了图像对比度的显著增加，这是由于将物理地移除离焦光(经由数字针孔)及计算地移除离焦光(经由三维反卷积)相结合。
多焦SIM系统200所产生的最终合成图像相比宽视野成像，分辨率提高了约两倍；更好地解析了微管和“虫状”线粒体。例如，实现了更好地解决各线粒体端部的亚衍射空隙，包括隔开大于200nm的微管对。意想不到的是，相比宽视野图像，多焦SIM系统200还将轴向分辨率提高了约两倍，因为微管具有的显现出的轴向FWHM大约为400nm。该结果在100nm亚衍射珠(多焦SIM系统FWHM 402+/-49nm；宽视野826+/-83nm，N＝80珠)上得到了证实。
多焦SIM系统200还应用于更厚的活样本的三维成像，其中针孔操作物理地滤除离焦光，否则的话离焦光会包裹焦点内光信号。为了演示该能力，对活的不可动的斑马鱼胚胎进行成像，斑马鱼胚胎呈现了标记微管的GFP转基因。
使用根据多焦SIM系统200的多焦照明，以1Hz的二维成像率采集241个切片，它们隔开0.2μm。在针孔聚焦、缩放和三维反卷积之后，实现了48.2μm厚度的体积，如图17A-图17D图示的样本的图像示出的。在堆叠中清楚地可见结构特征，诸如两个相邻体节之间的边界，微管沿着体节边界的对准，以及对应于发育中的肌肉细胞的细胞核的无微管区域。对该堆叠内随后更深细胞核的z位置的估计表明了，成像体积包含6至7个细胞层。
在一个测试中，多焦SIM系统200的成像率捕获表皮中的分裂细胞，图像中不会有显著的运动模糊。在整个体积中，实现了多焦SIM系统200的分辨率增强，因为细胞分裂的部位处的微管对之间的间隔被解析成优于200nm，并且表皮中的微管具有的FWHM为横向175+/-33nm(N＝30)以及轴向为496+/-65nm(N＝21)。
照明系统
在照明系统中，所有光学器件安装在光学台(Kinetic Systems，VibraplaneModel#5704-3660-23SPL)上以最小化机械振动。为了激发荧光，使用两个激光器：150mW、561nm的激光器(561，相干，蓝宝石561-150CW CDRH)以及200mW、488nm的激光器(488，相干，蓝宝石488-200CDRH)。使用放置在每个激光器之后的机械快门(Thorlabs，SH05及SC10)来控制照明。光束被分色镜(DC，Chroma，525dcxru)结合并且被扩束器扩展6.7倍，扩束器由两个消色差透镜(Edmund，f＝30mm，NT49-352-INK；以及Thorlabs，f＝200mm，AC254-200-A-ML0)构成。将扩展后的光束以24度偏位(off normal)的方式引导至数字微镜设备(DMD，Digital Light Innovations,D4100 DLP 0.55”XGA)，使得在ON位置，微镜将输出光束倾斜成与DMD面垂直。产生的照明图案的中心阶被缩束器(Thorlabs，以4f配置对准的f＝75mm，AC254-075-A-ML及f＝50mm，AC254-050-A-ML0)缩小了1.5倍，使得DMD面被重新成像于显微镜(Olympus，IX-81)内部的180mm管透镜的背焦面处。这些元件示出于图14。在进入显微镜的左侧端口之后，光束顺序通过(i)管透镜；(ii)分色镜(Chroma，zt405/488/561)；(iii)60倍物镜(用于单细胞的Olympus，PlanApo，NA 1.45TIRF，或用于斑马鱼和蠕虫胚胎的UPLSAPO 60XS，NA 1.3)，使DMD和受照明样本之间总缩小率为90倍。样本处的照明覆盖了直径约50μm的圆形区域。
显微镜系统
对Olympus IX81倒置显微镜执行结构化照明显微(SIM)成像，Olympus IX81倒置显微镜装备有左侧和右侧端口，并且具有附加Z压电平台的自动XY平台(200μm范围，Applied Scientific Instrumentation，PZ-2000)。由DMD创建的图案化激发(例如多焦照明图案)经由左侧端口引入显微镜。由受照明样本发射的荧光被物镜收集，被分色镜(Chroma，zt405/488/561)反射，穿过显微镜内部的180nm管透镜，被适当过滤以滤除泵浦光(Semrock，LP02-488RE-25及NF03-561E-25)，并且被安装在右侧端口上的科学级互补金属氧化物半导体(sCMOS)照相机(Cooke，pco.edge)检测。沿着光轴正确对准sCMOS对于实现近衍射极限性能是很关键的。为了帮助正确定位照相机，60倍物镜通常用于以10倍空气物镜(Olympus，CPlanFl 10x，0.3NA)成像，该光学器件对轴向对准的误差更敏感。将固定的照明图案(类似于SIM中使用的图案)置于荧光色淀样本上，并且沿光轴平移相机，直到每个照明光斑的表观尺寸最小化。
样本制备
在标准培养基(DMEM-HG(Invitrogen，11960)，丙酮酸钠(Invitrogen，11360)，GlutaMAX(Invitrogen，35050)和10％热灭活的胎牛血清(Invitrogen，11082))中，在乙醇消毒、清洁#1.5 25mm直径的盖玻片(Warner Instruments，64-0715)上，培养U2OS细胞。为了对微管的样本进行染色，将细胞在Cytosketetal缓冲液(CB，10mM MOPS，138mM KCl，2mMMgCl2，2mM EGTA，0.01％NaN3和160mM蔗糖，pH 6.1)中固定于0.5％戊二醛、0.37％甲醛和0.3％Triton X-100的混合物中。在固定之后，将细胞在CB中洗脱，用100nm甘氨酸淬灭，在CB中洗脱，并且在抗体稀释缓冲液(AbDil，150mM NaCl，20nM Tris，0.1％Triton X-100,0.1％NaN3和2％牛血清白蛋白，pH 7.4)中观察。在室温下将原发性单克隆抗体(Invitrogen，32-2500)与在AbDil中稀释到2μg/mL的细胞培养一小时。在原发性抗体培养之后，将细胞在磷缓冲盐水中洗脱，然后将细胞与二级Alexa Fluor 488标记抗体(Invitrogen,A-11001)在AbDil中以1:200稀释度培养1小时。
在固定之前，根据制造商的指示，将用于双色实验的样本初步染以MitotrackerRed(Invitrogen，M7512)。在线粒体标记之后，使用上述的程序对微管染色。将所有样品置于标准的25毫米×75毫米载玻片(SPI supplieds，#01251-AB)的荧光封片剂G(ElectronMicroscopy Solutionis，17984-25)中，并且用指甲油密封。
a)亚衍射珠
黄-绿或红色荧光珠(Invitrogen，F8803，110nm直径；Invitrogen F8801，100nm直径)用于所有点扩散函数(PSF)测量。珠被以1:1300浆料浓度(蒸馏水中1:200，乙醇中1:13)稀释并且扩散在干净的玻璃盖片上。在用空气干燥5分钟以使乙醇蒸发之后，将盖玻片在蒸馏水中清洗两次以除去未附着的珠。在再次用空气干燥之后，将珠安装在载玻片上的荧光封片剂或者硅油中，并且用指甲油密封。
b)斑马鱼样本
承载斑马鱼dclk2-GFP转基因的Tg(XlEef1a1:dclk2-GFP)io008胚胎用在图16A-图16B所示的厚MSIM实验中。为了构建此，将包含该转基因的该线状质体连同Tol2 mRNA注射到单细胞的斑马鱼胚胎中。将荧光胚胎培养到成年并且进行杂交以通过筛选用于GFP表达的后代来选择生殖系传递。
通过自然产卵收集Tg(XlEdf1a1:dclk2-GFP)io0008胚胎并将其维持在28摄氏度。在由多焦SIM系统200成像之前，受精后24小时的胚胎用三卡因(Sigma，E105210，在胚胎培养基中的最终浓度为600μm(每升重蒸水中60mg速溶海盐(Petsmart))麻醉。将麻醉后的胚胎置于圆形盖玻片上，固定于1％低熔点琼脂糖(Cambrex，50080)中，放置在圆形盖玻片保持件(ASI，I-3033-25D)中，覆盖以胚胎培养基，并且在室温下成像。
数据处理
在使用上述照明和显微镜系统采集原始图像之后，使用具有以Python程序语言写成的软件的处理系统225，将样本的每组已收集的原始图像处理成超分辨率图像。处理系统225采用的处理步骤是：(i)自动网格检测，以精确确定照明点的相应位置；(ii)对每个检测到的照明光斑周围进行数字针孔掩膜以滤除离焦光，并且使用校准数据进行光学平场处理；(iii)局域收缩(例如，缩放)并且重新采样每个照明光斑周围的区域，以将分辨率提高√2倍；(iv)对处理后的原始图像求和，以产生超分辨率合成图像；以及(v)使用常规反卷积技术恢复完整的2倍分辨率增强。以上更详细地讨论了关于多焦SIM系统200的处理系统225所实施的聚焦、缩放及求和操作210的这些处理步骤。
从前述内容应当理解，虽然已经说明和描述了特定实施例，但是在不脱离本发明的精神和范围的情况下，可以对其进行各种修改，这对本领域技术人员来说是显而易见的。这样的改变和修改在本发明的范围和教导内，如本发明所附权利要求中所限定的。

Claims (5)

1.一种显微系统(500)，包括：
光源(502)，用于传输单个光束；
在第一方向上旋转并沿光轴定位的、具有会聚微透镜阵列的第一旋转盘(506)，用于将所述单个光束分成多个光束以形成多焦图案；
在第一方向上旋转并沿光轴定位的、具有针孔阵列的第二旋转盘(508)，用于阻挡每个多焦图案的所述多个光束中的离焦光束，并且允许所述多个光束中的焦内光束穿过所述具有针孔阵列的旋转盘(506)，以及
在第一方向上旋转并沿光轴定位的、具有发散微透镜阵列的第三旋转盘(516)，其中所述具有会聚微透镜阵列的第一旋转盘(506)、所述具有针孔阵列的第二旋转盘(508)以及所述具有发散微透镜阵列的第三旋转盘(516)相对于彼此同步旋转。
2.根据权利要求1所述的显微系统(500)，其中所述具有发散微透镜阵列的第三旋转盘(516)所具有的微透镜的焦距为嵌入在所述具有会聚微透镜阵列的第一旋转盘(506)内的微透镜的焦距的一半。
3.根据权利要求1所述的显微系统(500)，其中所述具有发散微透镜阵列的第三旋转盘(516)具有与所述具有会聚微透镜阵列的第一旋转盘(506)相同数目的微透镜。
4.根据权利要求1所述的显微系统(500)，其中所述具有发散微透镜阵列的第三旋转盘(516)的微透镜与所述具有会聚微透镜阵列的第一旋转盘(506)在相同的空间位置处被间隔开。
5.根据权利要求3所述的显微系统(500)，其中所述具有会聚微透镜阵列的第一旋转盘(506)、所述具有针孔阵列的第二旋转盘(508)以及所述具有发散微透镜阵列的旋转盘(516)彼此间隔开所述具有会聚微透镜阵列的第一旋转盘(506)、所述具有针孔阵列的第二旋转盘(508)以及所述具有发散微透镜阵列的旋转盘(516)的焦距的差，由此布置具有二分之一放大率的伽利略望远镜。
CN202210413867.4A 2017-06-06 2018-06-06 显微系统 Pending CN114924401A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/614,766 US10025082B2 (en) 2012-02-23 2017-06-06 Multi-focal structured illumination microscopy systems and methods
US15/614,766 2017-06-06
PCT/US2018/036265 WO2018226836A1 (en) 2017-06-06 2018-06-06 Multi-focal structured illumination microscopy systems and methods
CN201880004664.1A CN110023813B (zh) 2017-06-06 2018-06-06 多焦结构化照明显微系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880004664.1A Division CN110023813B (zh) 2017-06-06 2018-06-06 多焦结构化照明显微系统和方法

Publications (1)

Publication Number Publication Date
CN114924401A true CN114924401A (zh) 2022-08-19

Family

ID=64567327

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210413867.4A Pending CN114924401A (zh) 2017-06-06 2018-06-06 显微系统
CN201880004664.1A Active CN110023813B (zh) 2017-06-06 2018-06-06 多焦结构化照明显微系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880004664.1A Active CN110023813B (zh) 2017-06-06 2018-06-06 多焦结构化照明显微系统和方法

Country Status (4)

Country Link
EP (1) EP3504574A4 (zh)
JP (1) JP7225108B2 (zh)
CN (2) CN114924401A (zh)
WO (1) WO2018226836A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967817A (zh) * 2019-11-29 2020-04-07 哈尔滨工业大学 基于双微透镜阵列的图像扫描显微成像方法与装置
NL2026002B1 (en) * 2020-07-03 2022-03-08 Confocal Nl B V Re-scan optical systems and methods
CN112557359B (zh) * 2020-11-30 2023-06-06 深圳大学 基于空间光调制器的双光子多焦点显微成像系统及方法
EP4012476A1 (fr) * 2020-12-10 2022-06-15 Centre National de la Recherche Scientifique Microscope confocal avec réallocation de photons

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900873A (zh) * 2008-12-09 2010-12-01 光谱应用研究公司 将辐射源模块光耦合到多焦点共聚焦显微镜的多模光纤
US20150131148A1 (en) * 2013-11-12 2015-05-14 Intelligent Imaging Innovations, Inc. Spinning disk confocal using paired microlens disks
CN104956249A (zh) * 2013-01-25 2015-09-30 卡尔蔡司显微镜有限责任公司 光学显微镜和显微术方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1330671B1 (fr) * 2000-09-18 2008-05-07 Vincent Lauer Dispositif de balayage optique confocal
JP2006220818A (ja) * 2005-02-09 2006-08-24 Hamamatsu Univ School Of Medicine 共焦点顕微鏡
JP2009210889A (ja) * 2008-03-05 2009-09-17 Yokogawa Electric Corp 共焦点顕微鏡システム
WO2013126762A1 (en) * 2012-02-23 2013-08-29 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Office Of Technology Transfer, National Institutes Of Health Multi-focal structured illumination microscopy systems and methods
JP6596001B2 (ja) * 2013-12-24 2019-10-23 ティシュヴィジョン、インコーポレーテッド 多焦点多光子イメージングシステム及び方法
WO2015164844A1 (en) * 2014-04-24 2015-10-29 Vutara, Inc. Super resolution microscopy
WO2015164843A1 (en) * 2014-04-24 2015-10-29 Vutara, Inc. Galvo scanning mirror for super-resolution microscopy
US9766442B2 (en) * 2014-12-08 2017-09-19 Yokogawa Electric Corporation Confocal scanner and confocal microscope
JP6342842B2 (ja) * 2015-04-30 2018-06-13 オリンパス株式会社 走査型顕微鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900873A (zh) * 2008-12-09 2010-12-01 光谱应用研究公司 将辐射源模块光耦合到多焦点共聚焦显微镜的多模光纤
CN104956249A (zh) * 2013-01-25 2015-09-30 卡尔蔡司显微镜有限责任公司 光学显微镜和显微术方法
US20150131148A1 (en) * 2013-11-12 2015-05-14 Intelligent Imaging Innovations, Inc. Spinning disk confocal using paired microlens disks

Also Published As

Publication number Publication date
CN110023813A (zh) 2019-07-16
EP3504574A1 (en) 2019-07-03
CN110023813B (zh) 2022-04-29
JP2020525811A (ja) 2020-08-27
EP3504574A4 (en) 2020-04-29
JP7225108B2 (ja) 2023-02-20
WO2018226836A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
US10656403B2 (en) Illumination microscopy systems and methods
US10156711B2 (en) Multi-focal structured illumination microscopy systems and methods
US20210096348A1 (en) Multi-focal structured illumination microscopy systems and methods
CN110023813B (zh) 多焦结构化照明显微系统和方法
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
Shotton Confocal scanning optical microscopy and its applications for biological specimens
EP2316048B1 (en) Optical arrangement for oblique plane microscopy
Murray Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination
Chen et al. Superresolution structured illumination microscopy reconstruction algorithms: a review
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
JPWO2016199179A1 (ja) 構造化照明顕微鏡システム、方法及びプログラム
WO2013176549A1 (en) Optical apparatus for multiple points of view three-dimensional microscopy and method
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
Jonkman et al. [18] Resolution in optical microscopy
Fuseler et al. Types of confocal instruments: basic principles and advantages and disadvantages
CA3035876A1 (en) Line scan photon reassignment microscopy systems
Bewersdorf et al. 4Pi microscopy
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
Neu et al. Time-resolved confocal microscopy using a digital micromirror device
JP2023114191A (ja) 画像処理方法
Splitter et al. Glossary (Terms Are Defined with Respect to Confocal Imaging)
Mangeol et al. Optical apparatus for multiple points of view three-dimensional microscopy and method
Tauer et al. High-resolution imaging of biological samples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination