CN112654911B - 具有虚拟物镜的显微镜设备 - Google Patents

具有虚拟物镜的显微镜设备 Download PDF

Info

Publication number
CN112654911B
CN112654911B CN201980054266.5A CN201980054266A CN112654911B CN 112654911 B CN112654911 B CN 112654911B CN 201980054266 A CN201980054266 A CN 201980054266A CN 112654911 B CN112654911 B CN 112654911B
Authority
CN
China
Prior art keywords
sample
detector
illumination pattern
image
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980054266.5A
Other languages
English (en)
Other versions
CN112654911A (zh
Inventor
R·乌尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meitianshi Biotechnology Co ltd
Original Assignee
Meitianshi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meitianshi Biotechnology Co ltd filed Critical Meitianshi Biotechnology Co ltd
Publication of CN112654911A publication Critical patent/CN112654911A/zh
Application granted granted Critical
Publication of CN112654911B publication Critical patent/CN112654911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0044Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

提供了一种显微镜设备,包括:显微镜物镜(18);用于保持样本(16)并在垂直于显微镜物镜光轴的平面中移动样本的样本载物台(12);光源(20)和用于用线型照射图案照射样本的照射图案生成器单元(22);用于检测来自显微镜物镜收集的样本的光的区域检测器检测器(40,44);扫描单元(24),用于在扫描方向上跨视场移动照射图案,其中扫描方向垂直于照射图案的纵轴;以及控制单元(42),被配置为在正常放大率模式下或在较低放大率模式下选择性地操作显微镜装置,其中在较低放大率模式下,样本在与扫描方向反平行的方向上移动,同时照射图案通过扫描单元跨视场移动,以便获得至少单向压缩的图像,由此由载物台和扫描速度的比率给出压缩因子。

Description

具有虚拟物镜的显微镜设备
本发明涉及一种显微镜设备。
依赖于二维检测器的共焦显微镜设备通常采用例如由物理掩模生成的空间滤波照射图案,借助于扫描单元跨显微镜的视场移动该图案,并且为了实现深度分辨率,提供对于所得发射图案进行空间滤波的手段。空间滤波是通过对应的物理掩模或者通过检测器上的电子生成掩模来实现的。例如,通过将给定相机的滚动快门狭缝宽度调整到狭缝形发射图案的宽度,并通过电子同步它们相应的移动,可以记录狭缝形照射图案并对其进行共焦滤波。
已经在E. Mei等人的文章“A line scanning confocal fluorescent microscope using a CMOS rolling shutter as an adjustable aperture”(在“Journalof Microscopy”2012年第247卷,第269-276页中)中描述了第一个这样的使用滚动快门相机的线共焦显微镜设备。
在US 2014/0313576 A1中已经描述了狭缝形照射图案与滚动快门共焦掩模的另一种组合,其中狭缝形照射包括结构调制,以便记录狭缝共焦滤波的相位图像,该相位图像可以组合成3D-SIM(“结构化照射显微镜”)图像。
等人的文章“Image scanning microscopy”(在Physical ReviewLetters 104,198101(2010)中)中,描述了一种共焦显微镜设备,其中通过使用具有单个衍射受限光点的照射,分辨率增强到2倍,并且York等人(在Nature Methods中的“Instant super-resolution imaging in live cells and embryos via analog image processing”2013年11月;10(11):1122-1126)扩展了该方法,以便与多于一个光点一起工作。
在经典显微镜中,放大率和分辨率由所选的显微镜物镜确定。为了解决多种不同的显微镜应用,显微镜设备通常包括多个物镜,所述物镜可以可互换地定位在光束路径中。在相机用作检测器的情况下,给定的像素大小对要选择的放大率有影响,因为仅在像素对应于由物镜分辨的空间频率的情况下,相机记录的图像才将与由物镜的数值孔径(“NA”)定义的分辨率相匹配。例如,为了产生衍射受限的性能,6.5的典型像素大小需要使用60x而不是40x的物镜,尽管40x物镜在具有相同的NA并且因此具有相同的分辨率的情况下可用。
然而,对于使用可互换物镜的需要对显微镜设备的机械结构强加了某些限制,特别是关于垂直调整驱动和自动聚焦系统,以及还关于光瞳光束路径的调整(典型地,不同物镜的光瞳位置不同;这对于光瞳照射对其而言至关重要的显微镜设备特别重要,诸如当使用结构化照射时)。此外,对于所有自动化过程来说,对于互换物镜的需要都是麻烦的,诸如盖玻片的厚度校正或浸没液体的自动化应用。因此,对于可互换物镜的需要可能对显微镜设备的性能具有不利影响。
本发明的目的是要提供一种显微镜设备,其允许灵活但又方便的操作。
该目的通过分别如在权利要求1和12中限定的显微镜设备来实现。
本发明提供了一种展现“虚拟物镜模式”的显微镜设备,其允许用相同的物理物镜获得不同的实际放大率。这样的虚拟物镜可以展现比实际物镜更低(子放大率模式)或更高的放大率(超放大率模式)。两种模式都优选地采用共焦空间滤波,并且在不牺牲图像质量的情况下使用可互换物镜克服了显微镜设计的困难。相反,通过对于所有可设想的应用使用单个物镜,在许多情况下甚至可以改进图像质量。
根据如权利要求1中限定的本发明的第一方面,线型照射图案由扫描组装件在扫描方向上跨视场并因此跨样本移动,同时检测器优选地充当滚动快门相机,其中对应的带状激活区以这样的方式同步地跨检测器移动,使得样本的被照射部分的图像总是保留在检测器的激活区内。到目前为止,该解决方案遵循由Mei等人在上面的文章(J. ofMicroscopy, 247, 2012, p. 269 - 276)中描述的过程。然而,根据本发明的第一方面,为了获得缩倍的检测,样本相对于物镜持续移动,并且该移动发生在与扫描方向相反的方向上(以及在存在滚动快门的情况下对应的滚动快门方向)。因此,给定的样本部分以等于样本速度和扫描速度之和的速度经过狭缝形照射。沿着(共线)扫描和移动轴所得的模糊多于被期望的虚拟缩倍所补偿的。与扫描方向正交的方向上的合并(binning)允许在两个方向上匹配放大率。因此,通过控制样本移动相对于扫描速度的速度来实现在样本移动方向上调整显微镜物镜的虚拟放大率,而在正交方向上可以通过合并适当数量的像素来实现它。扫描方向垂直于照射图案的纵轴。
例如,n = 3x缩倍要求载物台以(n-1)x样本上狭缝图案的速度移动。因此,一次扫掠在扫描方向上覆盖三个相机帧的长度,在正交方向上仅覆盖一个。为了获得3x3帧的等同物,一次模式扫描覆盖三倍的相机区域,并且这样的扫描需要总共重复3x。为了最大化地加快图像采集,双向(之字形)扫描是有利的。
为了从更大的区域获得图像,需要在单次扫掠中测量更长的拉伸,同时样本在连续移动。为此,当滚动快门从芯片的最后线再次重新设置到第一个时,必须关闭灯。当之前已经扫描的样本部分再次穿过第一检测器线时,它再次被打开,并且扫描组装件和滚动快门恢复它们的任务。
本发明的该第一方面——即缩倍虚拟物镜——消除对于在记录给定样本的概览与获得高分辨率图像之间改变物镜的需要,并且假定利用缩倍虚拟物镜,可以在开始给定协议之前应用最终对高分辨率图像所需的浸没流体,协议执行变得更平滑且更方便。通过避免常规样本映射的通常的停止和进行而节省的时间补偿了在请求n重缩倍的情况下必须记录n倍多的图像轨迹所招致的额外时间。
当抛开上述优选的狭缝共焦时,可以由从在给定时间处没有被照射的区域获取图像信息的其他相机类型来替换滚动快门相机。如已经在上面提及的,唯一的先决条件是样本移动的方向和照射图案的纵轴(其对应于图案的线的取向)彼此正交。虽然该共焦免除将图像质量降低到宽场图像的水平,但相对于在样本移动期间维持正确的聚焦位置不太具有挑战性。
还应该注意,如借助于所谓的光板模式从侧面生成的狭缝形照射图案例如通过使用第二物镜(通常关于显微镜的光轴成大约90°的角度)可以替换以上虚拟物镜方案的狭缝照射,并且因此还从连续移动的样本获取光板图像。同样,样本和扫描必须沿着与照射图案的纵轴正交取向的公共轴移动。
本发明的第二方面涉及一种显微镜设备,其使能实现如权利要求12中限定的虚拟“超放大率模式”。这样的虚拟超放大率模式需要不同的相机读出方案。图像帧不是具有与照射图案在样本之上的连续移动同步的连续移动的活动窗口,而是由多个“子阵列快照”组成,由此每个这样的快照包括与完全适应线形照射/发射图案所需的一样多的像素行。在快照之间,照射图案移动,并且为了始终将模式保持在活动窗口内,后者被递增地移位。大幅促进了图案快照的分析,因为每个快照包括的关于图案最大值周围的信息比对应的共焦孔径将允许通过的信息多得多。从测量的强度分布、图案光点的已知的点扩散函数和已知的扫描速度,去卷积算法比在经典的共焦显微镜情况下依靠更坚实得多的基础。
在慢变型中,扫描移动也是分步骤实行的,而快变型采用连续的扫描移动,由此通过频闪照射来避免移动相关的模糊,或者通过对可预测的移动伪影进行去卷积来最小化模糊影响。这通过如下方式来促进:一方面,精确地知道样本和照射图案移动的相对速度,并且另一方面,精确地知道照射图案的点扩散函数。
虽然以上“快照模式”原则上也可以用于虚拟缩倍,但是它对于实现“超放大率模式”特别有用,在“超放大率模式”中,通过使用包括沿一线布置的衍射受限光点的照射图案,并且通过在检测器芯片上记录匹配的狭缝形区域、即始终包含图案图像的像素子集,虚拟放大率可以与真实放大率相比增加至高达2倍。虽然如此的该类型的照射图案是已知的,例如根据US 2014/0313576 A1已知,但在该示例中,图案由静止的掩模和移动的狭缝形照射场生成,在当前的“超放大率模式”中,实际的照射图案跨样本移动,并且多个快照将图案与样本的相互作用剖析成分立的、可去卷积的图像。
在完成扫描单元的扫描之后,生成足够宽以总是包含图案图像的第一多个部分图像,由此每个部分图像的起始像素行的位置与检测器上照射图案的图像的移动同步地递增,仅一小部分样本已经看到照射图案。为了获得完全的图像,必须填充单次扫掠之后剩余的间隙。为此,图案必须相对于扫描方向以一角度移位,并且必须重复扫描过程。需要多少次这样的重复取决于图案的间隙宽度。更宽的间隙意味着更好地区分个体光点,从而促进它们的去卷积,但它们也意味着用于单次扫掠的更多快照和为了填充间隙的更多扫掠。
为了实现所期望的放大率的增加伴随着分辨率的增加,隔离的去卷积光点图像(去卷积是基于光点的已知点扩散函数和关于照射图案的移动(和样本的移动,如果有的话)的信息)缩小至二分之一,这意味着照射光点的像素化图像在大小方面减小至二分之一,并且被定位成使得最大值保留在它原来所在的位置处。该过程本质上遵循在由等人的“Image scanning microscopy”(在Physical Review Letters 104,198101(2010)中)中描述的方法,但是在当前情况下,它被同时用于多个光点图像。然而,所得的超放大率使在图案光点之间的间隙变宽(到两倍),并且因此采样频率必须增加2x2 =4x。因此,仅当以这样的方式,整个视场(以及因此相应的样本表面区域)已经或多或少地被去卷积的发射光点均匀覆盖时,图像才是完整的。
实际上,在超放大率模式下,衍射受限的光点在平行的相邻通道中跨样本表面移动。
在超放大率模式下,所实现的实际放大率可以是正常放大率模式下显微镜物镜的放大率2倍之大,并且分辨率也可以增加到高达2倍。
抛开超放大率,显微镜设备还可以在正常放大率模式下操作,在正常放大率模式下,照射图案不包括衍射受限的光点,而是线形的。
本发明的优选实施例在从属权利要求中限定。
在下文中,将参照附图说明本发明的示例,其中:
图1是根据本发明的显微镜设备的示例的示意性视图;
图2是在较低放大率模式下操作显微镜设备时样本移动和扫描移动的图示;和
图3是当在高放大率模式下操作显微镜设备时使用衍射受限光点的照射图案的图像的示意性图示。
图1图示了共焦显微镜设备10的示例,该共焦显微镜设备10允许可变放大率,而不需要多于一个的显微镜物镜。显微镜设备10包括可移动的样本保持器或载物台12,其包括用于至少在垂直于显微镜物镜18的光轴的平面中移动样本16的驱动单元14,以及用于提供照射光的光源20、诸如激光器,该照射光在图案生成器22中被滤波以生成照射图案。显微镜设备10进一步包括:扫描单元24,其包括(在优选实施例中为电流测定驱动的)偏转镜26和用于生成无限空间的扫描透镜28;以及用于准直照射光束32的第一管透镜30,照射光束32经由二向色分束器34被引导到显微镜物镜18的光瞳上,以便用照射图案照射样本18。由样本16的被照射部分发射的光(其通常是荧光)被显微镜物镜18收集,并经过二向色分束器34(其在图1的示例中是长路径)到第二管透镜36上,该第二管透镜36准直图像光束38,用于在相机检测器40上生成被照射样本表面的图像。
显微镜设备10进一步包括控制单元42,用于控制样本保持器驱动单元14、扫描单元24、检测器40和图案生成器22。
如将更详细解释的,检测器40被提供有滚动快门功能性,以便允许针对共焦测量符合所选照射图案。
显微镜设备以这样的方式实现,使得与显微镜设备的“正常”操作相比,单个物理显微镜物镜可以用作具有减小的放大率或者甚至具有增加的放大率的“虚拟物镜”。根据期望的最大分辨率来选择物理物镜18,而显微镜设备可以在较低放大率模式或较高放大率模式下操作,在所述模式下,物理物镜18表现得好像它是至少在一个维度上具有较低或较高放大率的物镜。
例如,在执行样本的详细荧光测量之前,可能合期望的是首先记录样本的概览图像,以便能够标识样本的潜在感兴趣区域,然后可以用更高的分辨率详细检查该潜在感兴趣区域。特别地,合期望的是能够在短时间内从显微镜设备的这样的概览模式切换到具有更高分辨率的模式,而不需要新聚焦物镜,并且不需要在概览与高分辨率模式之间重复应用浸没液体。
例如,可以合期望的是通过使用具有6.5像素大小的400万像素相机来映射11x11 mm的样本区域,并且然后以高分辨率表征所选子区域。对于高分辨率图像,可以在符合香农采样定理的情况下选择60x的放大率。然而,对于概览图像来说,六分之一之低的放大率将是足够的,使得通常将为此使用10x的物镜。为了通过物理60x物镜实现虚拟10x物镜,将必须记录50x50 = 2500个单帧,并且然后每个合并6x6像素。即使在最快的停止和前进操作的情况下,这也将花费多于10分钟,在该时间期间,操作员在他可以选择要更详细检查的子区域之前不可以工作。使用经典目镜显微镜的操作员将通过使用10x的物镜随机检验样品,并且然后,一旦他已经找到感兴趣区域,就将通过使10x的物镜与60x的物镜互换而将那里切换到60x的放大率。在高分辨率物镜是浸没物镜的情况下——特别是如果若干个随机样本需要若干个物镜改变,那么这是麻烦的过程。
提出的解决方案使用“照射狭缝”(即,线型照射图案)相对于样本的移动,其中照射狭缝具有对应于相机芯片的相应维度的长度;这样的相对移动在没有停止的情况下连续发生,并且同样连续记录所得的发射图像。以此方式,首先记录单个通道(在以上示例中,其可以具有11 mm的长度和220的宽度),并且然后逐个记录相邻的通道。然后,概览图像的每个图像像素由多个初始高分辨率像素组成,所述多个初始高分辨率像素已经根据期望的虚拟放大率在两个维度上被压缩。
通过提供(1)样品相对于显微镜设备的连续移动、(2)样品通过物镜的狭缝状照射,其中照射图案同样相对于显微镜物镜在与样品移动相反的方向上移动、以及——为了获得狭缝扫描共焦性——(3)具有与照射狭缝同步移动的“开槽快门”的滚动快门相机,可以实现具有减小的放大率的虚拟物镜。通过使用相对短的曝光时间,滚动快门狭缝可以被制造得非常窄,并且可以被调整到照射狭缝的宽度,由此使能实现狭缝共焦检测。与其中狭缝静止的情况相比,样本和狭缝的相反移动方向导致较低的模糊。
下文将参考虚拟20x物镜来说明以上原理,其中样本相对于物镜和相机检测器连续移动,并且其中照射狭缝通过扫描单元以样本移动速度的一半相对于物镜移动。图2图示了照射狭缝(即,照射线)50跨样本16并且跨检测器相机40的芯片44的这样的移动,以及样本16相对于显微镜设备并因此相对于相机芯片44的移动。照射狭缝50的移动方向由箭头52指示,并且样本的移动方向由箭头54指示;数字“1、2、3、4”指定样本16的不同区域。
如在图2中可以看到的,在时间T1、T2和T3,当照射狭缝50已经跨长度L1移动一次并到达相机芯片44的一端时,照射狭缝50已经跨三个样本扇区/区域、即扇区1、2和3移动并因此照射了该三个样本扇区/区域,而样本已经相对于检测器芯片44仅移动了两个样本扇区(图2中指示的样本扇区等于检测器芯片44的区域)。换句话说,当照射狭缝50跨样本16移动了三个芯片长度L1时,样本仅相对于检测器芯片44移动了两个芯片长度L1
现在,在时间T3,照射光被关闭,并且照射狭缝50通过扫描单元24在该暗阶段期间被移动回到其起始点(相对于检测器芯片44)。此后,在时间T4,只要样本扇区3的已经扫描的左边缘已经经过照射狭缝位置,照射光就被再次打开,并且扫描动作再次开始。重复该过程,直到已经记录了第一图像通道56的期望长度。
此后,记录相邻的通道58,然而,其中优选地,所有的移动方向(即样本移动、滚动快门移动和照射狭缝扫描移动)被反转,以便节省时间。在其中要记录11x11 mm的区域的示例中,将必须记录50个通道,并且将必须以镶嵌类型的方式组合所得的图像,以便记录整个区域。在图2中所示的示例中,每个(部分)图像将覆盖三个样本扇区(对应于三个芯片区域)。假定真实的样本载物台速度为22 mm/s,没有周转时间的仅有扫描时间将为50 x 0.5s = 25 s。即使在宽松地假定周转时间(其主要由制动阶段和随后的加速阶段组成)的情况下,该方法也断言扫描过程相对于使用10x物镜的停止和前进记录加速到多于10倍。
这样的虚拟20x物镜的分辨率在垂直于扫描方向52的方向上对应于真实(物理)60x物镜的分辨率;然而,通过3重合并,像素分辨率可以被调整到期望的虚拟放大率。注意的是,不完全直着移动的载物台可能生成失真,然而,在相关的空间频率区域中该失真不显著。
虽然在以上方法中,虚拟物镜的放大率通过与当照射狭缝50跨芯片移动一次时照射狭缝50跨样本在多少芯片长度L1之上移动相对应的因子来确定,但是分辨率减小的因子通过当照射狭缝50跨芯片44移动一次时样本关于芯片44移动的芯片长度L1的数量来确定。当然,这些考虑仅适用于扫描方向52/样本移动方向54。因此,在本示例中,虚拟物镜的放大率对应于20x物镜的放大率,而虚拟物镜的分辨率对应于30x物镜的分辨率,30x物镜的分辨率具有大约物理60x物镜分辨率的一半。
根据另一个示例,可以以虚拟20x物镜具有物理40x物镜的分辨率这样的方式,在没有速度损失的情况下——假定相机速度和载物台准确度足够高——调整该方法。为此,载物台和扫描单元可以在相反的方向上以相同的速度移动,其中暗相占总移动时间的50%。
以上方法可以例如通过使用滚动快门相机来实现,其中活动窗口跨芯片连续移动;一旦活动窗口到达芯片的一端,芯片的所有线就都被读出。它也与其他相机类型一起工作,但它于是丧失狭缝共焦性,并提供宽场显微镜的图像质量。
根据替代实施例,可以使用能够从多个部分图像合成图像的相机,所述多个部分图像重叠并且仅以部分图像宽度的一小部分从一个部分图像移动到下一个部分图像。例如,第一部分图像可以从芯片的行1至10记录,并且第二部分图像可以从行2至11记录,等等,其中从一个部分图像到下一个递增了一个像素行。通过使用这样的相机,可以通过以使得样本上狭缝的图像(其被芯片上的样本图像的移动模糊)总是保留在活动窗口的中心这样的方式,与狭缝的移动同步地递增当前活动的像素行来跟踪狭缝型照射图案跨移动样品的移动。通过使用载物台(其移动样本)和扫描单元(其移动照射狭缝)的已知的相对移动,可以在扫描方向上去卷积所得的部分图像,并且然后可以组合去卷积的图像以实现最终的总图像。
要注意,当通过实现具有较低放大率的虚拟物镜而使用物理高放大率物镜进行荧光概览图像快速记录时,所使用的高放大率物镜的焦深将比常规使用的低放大率物镜(诸如10x物镜)的焦深低得多。因此,为了享受虚拟物镜的益处,应该通过使用非常快速的反应聚焦保持系统来确保样本的恒定聚焦位置,并且针对其要获得概览的样品应该定位在经调整的焦平面中。
根据另一方面,图1中所示的显微镜设备可以用于实现比物理物镜18具有更高放大率的虚拟物镜;这样的更高放大率(或“超放大率”)的虚拟物镜也可以具有比物理物镜18更高的分辨率。为此,图案生成器22可以生成衍射受限的光点的线性行,以便形成照射图案(而不是如以上示例中那样生成线型/狭缝状图案);照射图案在图3的上部中图示,其中在检测器16上示出了两个光点60。照射图案由扫描单元24跨视场、并因此跨样本16移动,同时芯片44上的活动像素窗口从芯片44的一端同步地连续移动到另一端,如在先前的示例中。
由此,获得数量N的部分图像,所述部分图像表示样本上照射图案的快照,并且在扫描方向上模糊到可以经由扫描速度调整到分辨率需要的程度。由于对于每个配准的照射光点,光点的确切位置和周围照射零点的位置是已知的,所以图像的去卷积可以以非常有目的的方式发生,并且可以消除垂直于扫描方向定位的相邻照射光点的影响。
然而,由于与先前讨论的狭缝型图案形成对比,照射图案在光点之间具有“空隙”(或“间隙”),因此有必要通过用照射图案的不同横向位置重复扫描动作来“填充”这些空隙,即,照射图案在垂直于扫描方向的方向上重复移位两个相邻照射光点之间的距离的某一小部分,以至于该行中相邻光点之间的“空隙”可以闭合。这要求扫描过程重复M次,其中M由以下确定:所期望的分辨率、以及所有间隙都必须被填充并且样本的所有点都应该“看到了”相同光量的要求。最后,通过使用关于每个部分图像的相应记录位置的知识,NxM个快照(部分图像)可以被组合以获得单个最终图像。
最后,从去卷积得到的光点可以围绕它们的中心压缩到1/2(如图3的下部中所图示)。在足够密集的采样的情况下,即,在扫描方向上以及在与之垂直的方向上记录了足够数量的图像点/照射光点使得组合图像不包括间隙/空隙的情况下,可以获得水平分辨率,该水平分辨率与常规图像相比是根号2倍之高。因此,用具有为1.28的NA的物理60x物镜记录的图像对应于用具有为1.8的NA的虚拟120x物镜记录的图像。

Claims (14)

1.一种显微镜设备,包括:
显微镜物镜(18);
用于保持样本(16)并在垂直于显微镜物镜光轴的平面中移动样本的样本载物台(12);
光源(20)和用于用线型照射图案照射样本的照射图案生成器(22);
用于检测来自显微镜物镜收集的样本的光的区域检测器(40);
扫描单元(24),用于在扫描方向上跨视场移动照射图案,其中扫描方向垂直于照射图案的纵轴;以及
控制单元(42),被配置为在正常放大率模式下或在较低放大率模式下选择性地操作显微镜装置,
其中在较低放大率模式下,样本在与扫描方向相反的方向上移动,同时照射图案通过扫描单元跨视场移动,以便获得至少单向压缩的图像,由此由载物台和扫描速度的比率给出压缩因子。
2.根据权利要求1所述的显微镜设备,其中在正常放大率模式下,样本(16)保持静止或者以比较低放大率模式下更低的速度在与扫描方向相反的方向上移动。
3.根据权利要求1或2所述的显微镜设备,其中控制扫描单元(24),使得当检测器上的被照射线的图像到达检测器(40)的长度的一端时,由照射图案对样本(16)的照射被中断,同时照射图案被移动回到在检测器的长度的另一端处跨视野移动的起始位置,以便完成一个扫描周期。
4.根据权利要求3所述的显微镜设备,其中,在移动样本的同时重复扫描周期,直到整个期望的样本表面已经被照射图案覆盖一次,其中,在每个扫描周期中创建样本表面的子图像,并且其中,通过组合子图像来生成至少单向压缩的图像。
5.根据权利要求4所述的显微镜设备,其中样本(16)以使得照射图案在平行的相邻通道(58)中跨样本表面移动这样的方式移动,并且其中对于相邻通道(58),样本(16)的扫描方向(52)和移动方向(54)两者均倒转。
6.根据权利要求1或2所述的显微镜设备,其中,在至少单向压缩的图像中,在垂直于扫描方向的横向方向上,以与由样本移动引起的扫描方向上的分辨率减小相对应的因子应用像素合并,以获得双向压缩的图像,并且其中,合并因子是以下的倒数:样本点的图像在一个扫描周期期间在检测器上移动的距离除以检测器的长度减去一。
7.根据权利要求1或2所述的显微镜设备,其中检测器(40)是以使得在某一时间仅激活检测器的带状区来检测光这样的方式由控制单元(42)控制的滚动快门相机,其中激活区与检测器上的照射图案的图像的移动同步地跨检测器移动,以便实现狭缝共焦照射,其中,样本(16)的被照射部分的图像落在检测器的激活区内。
8.根据权利要求7所述的显微镜设备,其中,激活区跨检测器(40)的移动是通过在活动区跨检测器芯片(44)移动的同时在激活区内连续记录来实现的,其中一旦活动区到达检测器芯片的一端,检测器芯片就被读出,并且其中,激活区的宽度是检测器上的被照射线的图像的宽度加上少于6个像素行。
9.根据权利要求7所述的显微镜设备,其中,通过记录X个像素行的宽度的多个部分图像来实现激活区跨检测器(40)的移动,其中,起始像素行的位置与检测器上照射图案的图像的移动同步地递增,使得被照射线的图像定位在部分图像内,其中每个部分图像的宽度大于检测器上照射线的图像的宽度,并且其中,部分图像在被组合之前根据样本和照射图案的已知运动被去卷积。
10.根据权利要求1或2所述的显微镜设备,其中检测器(40)是具有小于10的像素大小并且包括至少100万像素的sCMOS相机。
11.根据权利要求1或2所述的显微镜设备,其中显微镜装置(10)用于发光激发,并且包括用于分离照射光和待检测的激发光的二向色分束器(34),并且其中,由显微镜物镜(18)收集的光通过管透镜(36)成像到检测器(40)上。
12.一种显微镜装置,包括:
显微镜物镜,
用于保持样本(16)的样本载物台(12),
光源(20)和用于用照射图案照射样本的照射图案生成器(22),
用于检测来自显微镜物镜收集的样本的光的相机检测器(40),
用于在扫描方向上跨视场移动照射图案的扫描单元(24), 以及
控制单元(42),被配置为在正常放大率模式下或在超放大率模式下选择性地操作显微镜装置,
其中在超放大率模式下,照射图案形成衍射受限光点的线性行,
其中通过记录X个像素行的宽度的第一多个部分图像来实现活动带状区跨检测器的移动,
其中起始像素行的位置与检测器上照射图案的图像的移动同步递增,使得被照射线的图像定位在部分图像内,其中每个部分图像的宽度大于检测器上照射光点图案的图像的宽度,
其中,在照射图案已经横向移位了在相邻光点之间的距离的一小部分之后,照射图案跨视场的移动被重复至少一次,以至少记录第二多个部分图像,并且
其中,部分图像在被组合以获得被照射的样本表面的总图像之前,根据样本和照射图案的已知运动被去卷积,
其中在超放大率模式下,当照射图案跨视场移动时,样本在与扫描方向相反的方向上移动,并且其中在正常放大率模式下,照射图案为线型图案。
13.根据权利要求12所述的显微镜装置,其中,对总图像进行滤波,使得光点围绕其中心被压缩至1/2。
14.根据权利要求12或13所述的显微镜装置,其中,样本(16)在荧光模式下经由显微镜物镜(18)用照射图案来照射,或者其中,样本在光板模式下被照射,在光板模式下,从垂直于物镜光轴的横向方向应用照射图案。
CN201980054266.5A 2018-08-20 2019-08-12 具有虚拟物镜的显微镜设备 Active CN112654911B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18189762.0 2018-08-20
EP18189762.0A EP3614190A1 (en) 2018-08-20 2018-08-20 Microscope device with virtual objective
PCT/EP2019/071589 WO2020038754A1 (en) 2018-08-20 2019-08-12 Microscope device with virtual objective

Publications (2)

Publication Number Publication Date
CN112654911A CN112654911A (zh) 2021-04-13
CN112654911B true CN112654911B (zh) 2024-01-12

Family

ID=63311909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054266.5A Active CN112654911B (zh) 2018-08-20 2019-08-12 具有虚拟物镜的显微镜设备

Country Status (5)

Country Link
US (1) US20210181489A1 (zh)
EP (3) EP3614190A1 (zh)
JP (1) JP7334236B2 (zh)
CN (1) CN112654911B (zh)
WO (1) WO2020038754A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019100184A1 (de) * 2019-01-07 2020-07-09 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102020111786B4 (de) 2020-04-30 2023-08-31 Till I.D. Gmbh Verfahren und Mikroskopvorrichtung für die beschleunigte Mikroskopie großer Proben sowie Datenträger
DE102021134427A1 (de) * 2021-12-22 2023-06-22 Carl Zeiss Microscopy Gmbh Mikroskop und verfahren zur mikroskopie

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4348455B2 (ja) * 1998-12-09 2009-10-21 レーザーテック株式会社 撮像装置
JP3837495B2 (ja) * 2002-02-28 2006-10-25 独立行政法人産業技術総合研究所 光イメージングシステム
DE102010013223B4 (de) * 2010-03-29 2016-05-12 Lavision Biotec Gmbh Verfahren und Anordnung zur Mikroskopie
US20120257037A1 (en) * 2011-04-07 2012-10-11 Valerica Raicu High speed microscope with two-stage scanning for detection of rarities in samples
DE102011114500B4 (de) 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
DE102012204128B4 (de) * 2012-03-15 2023-11-16 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
JP5896797B2 (ja) * 2012-03-16 2016-03-30 オリンパス株式会社 ピクセルクロック発生装置
EP2834778A4 (en) * 2012-04-04 2015-10-21 Sloan Kettering Inst Cancer SYSTEM, DEVICE, METHOD AND COMPUTER MEDIUM FOR IMAGING LARGE AREAS IN MICROSCOPIC RESOLUTION
US9488823B2 (en) * 2012-06-07 2016-11-08 Complete Genomics, Inc. Techniques for scanned illumination
CN105143954B (zh) * 2013-04-26 2018-06-19 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及系统
JP2015005881A (ja) * 2013-06-20 2015-01-08 株式会社リコー 画像処理装置、撮像装置および撮像システム
DE102013017468B4 (de) * 2013-09-03 2018-07-19 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopievorrichtung
US10003754B2 (en) * 2015-06-18 2018-06-19 Agilent Technologies, Inc. Full field visual-mid-infrared imaging system
US10031328B2 (en) * 2015-07-24 2018-07-24 General Electric Company Systems and methods for image processing in optical microscopes

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A line scanning confocal fluorescent microscope using a CMOS rolling shutter as an adjustable aperture;E. MEI等;《Journal of Microscopy》;20121231;第270页,附图1 *
Rapid imaging of large tissues using high-resolution stage-scanning microscopy;Tao Yang等;《BIOMEDICAL OPTICS EXPRESS》;20150501;第1867页 *
Scanned light sheet microscopy with confocal slit detection;Eugen Baumgart等;《OPTICS EXPRESS》;20120910;第21805-21814页 *
Super-Resolution Scanning Laser Microscopy Based on Virtually Structured Detection;Yanan Zhi等;《Critical Reviews™ in Biomedical Engineering》;297-322 *

Also Published As

Publication number Publication date
JP2021535428A (ja) 2021-12-16
CN112654911A (zh) 2021-04-13
JP7334236B2 (ja) 2023-08-28
WO2020038754A1 (en) 2020-02-27
EP3841419A1 (en) 2021-06-30
US20210181489A1 (en) 2021-06-17
EP3614190A1 (en) 2020-02-26
EP4296750A3 (en) 2024-03-27
EP4296750A2 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US10877254B2 (en) Light sheet microscope for simultaneously imaging a plurality of object planes
CN112654911B (zh) 具有虚拟物镜的显微镜设备
US9857577B2 (en) Microscope with a viewing direction perpendicular to the illumination direction
EP2350726B1 (de) Kombinationsmikroskopie
CN107526156B (zh) 光片显微镜以及用于运行光片显微镜的方法
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
JP2017517767A (ja) 機能的に統合されたレーザ走査型顕微鏡
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
US10585271B2 (en) Method and device for examination of a sample
US20160320596A1 (en) Scanning microscopy system
US9134523B2 (en) Predictive focusing for image scanning systems
WO2015157769A1 (en) Scanning imaging for encoded psf identification and light field imaging
CN108885336B (zh) 用于研究样品的方法和显微镜
CN112986195B (zh) 一种显微层析成像方法与装置
US10211024B1 (en) System and method for axial scanning based on static phase masks
CA3035876A1 (en) Line scan photon reassignment microscopy systems
US11256078B2 (en) Continuous scanning for localization microscopy
CN111122568B (zh) 一种高通量光学层析成像方法及成像系统
DE102022117726A1 (de) Koordinatenmessgerät, Verfahren und Computerprogrammprodukt

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant