CN111175259A - 具有结构化照明的三维显微术的加速的方法和设备 - Google Patents

具有结构化照明的三维显微术的加速的方法和设备 Download PDF

Info

Publication number
CN111175259A
CN111175259A CN201911098604.3A CN201911098604A CN111175259A CN 111175259 A CN111175259 A CN 111175259A CN 201911098604 A CN201911098604 A CN 201911098604A CN 111175259 A CN111175259 A CN 111175259A
Authority
CN
China
Prior art keywords
sample
microscope
focal
illumination
planes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911098604.3A
Other languages
English (en)
Inventor
I.克莱普
Y.诺维考
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN111175259A publication Critical patent/CN111175259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6402Atomic fluorescence; Laser induced fluorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种具有结构化照明的三维显微术的加速的方法和设备。在三维结构化照明显微术(SIM)中,聚焦样品的焦平面且用结构化照明光顺序地以多个相位照明每个焦平面,并且将由样品所发射的样品光记录在相应单独像中。从单独像重构具有相对于单独像而改进的分辨率的结果像,以产生超分辨率的图像堆栈。该方法是时间密集型的且对样品施加应力。通过由近似方法从两个不同焦平面的单独像重构结果像,所述结果像表示坐落在所述焦平面之间的样品平面,可以在样品上以较少应力在短时间来产生图像堆栈。本发明还涉及荧光显微术。

Description

具有结构化照明的三维显微术的加速的方法和设备
技术领域
本发明涉及使用显微镜成像样品的方法和设备,其中使用显微镜来聚焦样片的焦平面并用结构化照明光顺序地以多个相位照明所述焦平面,并且使用检测器将每个相位由样品发射和/或散射的样品光记录在相应(结构化)单独像中,使得能够从单独像重构具有增强的(相对于单独像)分辨率的结果像。在该情况下结构化意味着样品中的照明光的至少一个分量具有恒定空间频率。
背景技术
显微镜的分辨率由于显微镜物镜中由样品接收的光的衍射而取决于显微镜物镜的孔径和光的波长。因为可见光的可利用的波长范围是有限的,所以显微镜的分辨率原理上是受限的(阿贝1873)。相对于要成像的样品的空间频率,这意味着频率空间中对显微镜的光学传递函数的支集受限于坐标原点周围的有限元区域。因此,显微镜可以仅将位于其中支集不会消失的中心区间中的空间频率成像。
如果照明的激发强度和样品的发射强度具有线性关系,则通过样品的结构化照明(SIM-“结构化的照明显微术”)可以将分辨率横向地近似改进两倍。SIM例如公开在DE 19908 883 A1中,并且在由M.Gustafsson发表的“使用结构化照明显微术而超过横向分辨率极限值两倍(Surpassing the lateral resolution limit by a factor oftwo usingstructured illumination microscopy)”的论文(显微术杂志,198卷,2000年,82页)。这是基于在要检查的样品上空间光结构的生成,例如通过光栅下游的照明光的正弦干涉。由于在实空间中样品响应与显微镜物镜的点扩散函数(PSF)的卷积,将位于频域中的OTF的支集的外部的样品结构的空间频率的区域移位到中心支集区间中,其中它们在在那里叠加原始空间频率强度。在多个不同的相位位置中顺序地产生光结构,并且在各个情况下单独像被记录在每个相位位置中。
根据SIM方法,可以通过对描述相互作用的方程组求解从这样的单独像重构一致的结果像,该单独像包含移位的空间频率和原始的空间频率的叠加,该结果像包含支集区间的原始空间频率和已经由结构化照明暂时移位到支集区间中的原始较高空间频率两者。因此,结果像与具有均匀照明的常规单个记录相比具有更好的横向分辨率。该分辨率称为超分辨,因为它比衍射受限的分辨率更加精细。然而,用不同相位位置(phase positions)的多个记录和结构化的取向需要光学布置和样品在整个测量持续期间的高稳定性。附加地,单独像所需的个数降低了有效帧率。
除了改进横向分辨率(横向于检测的光轴)以外,SIM还可以用于从焦平面的单独图像的集合以改进的轴向分辨率(沿着检测的光轴)产生穿过样品的光学截面(已知为OS-SIM)。结果像然后是准共聚焦的像,并且轴向分辨率还近似地对应于共聚焦显微镜的轴向分辨率。如果具有结构化照明的像的集合的各个情况下记录N个焦平面,则由此可以重构准共聚焦结果像的z堆栈。
然而,SIM可以因此扩展至多个焦平面,使得还可以轴向上实现超分辨(这已知为3D-SIM)。为此,样品中的照明还必须是轴向结构化的,并且对于N个焦平面中的每一个,记录来自相关的焦平面的单独像的专用集合。根据描述全部N个焦平面中相互作用的方程组,可以从N个轴向(特别还是横向的)超分辨的结果像中计算出z堆栈。为了获得完整的z堆栈,焦平面必须由于奈奎斯特-香农采样定理而以至多为显微镜可轴向光学分辨的最小距离的一半(也就是说根据与光学分辨率的两倍一样精细的轴向分辨率)的距彼此的距离来布置,也就是说例如对于具有NA=1.4的高数值孔径物镜近似为110nm。
超越SIM的分辨率的改进可以借助于(使用照明或其他方式)所激发的样品来获得,使得在激发的强度和由样品发射的光强之间产生非线性关系((“饱和模式激发显微术”;SPEM)。例如,DE 19908883 A1中公开了SPEM。在荧光显微术的情况下,例如通过高照明强度来完成非线性激发,在照明结构的区域中该高照明强度使得荧光染料的激发部分饱和。因此,物结构与SIM的情况相比甚至更高的空间频率被移位到OTF的支集的区间中。通过考虑要求解的方程组中的非线性相互作用,还可以重构这些较高的频率。然而,在SPEM的情况下,需要与SIM的情况相比更小的相位跃变(phase steps)和因此甚至更多个单独图像。还可以在三维中执行SPEM。
发明内容
本发明基于改进引言部分中所提及的类型的方法和显微镜的目的,使得可以缩短测量持续时间且可以降低样品负载。
该目的通过具有下文指定的特征的方法、以及通过具有下文所指定的特征的显微镜来实现。
下文还指定了本发明的有利改进。
根据本发明的显微镜设置为用于聚焦与第一焦平面不同的第二焦平面,而且用于对于所述第二焦平面以不同照明相位记录单独像,以及从两个焦平面的单独像重构结果像,该结果像表示位于所述焦平面之间的样品平面。然而,没有记录该附加的样品平面的单独像(所述附加的样品平面未被聚焦),或者在任何事件中,在其记录期间所述附加的样品平面被聚焦的单独像不用在重构结果像中。
例如可以通过z方向上移动样品,通过z方向上移动物镜或可以通过调整物镜的内聚焦来聚焦不同焦平面。
本发明的原理在于,基于(指定的、测量的、计算的或估计的)点扩散函数,还可以根据结构化照明下从单个焦平面已经记录的单独像的集合来确定关于除焦平面外的其他平面的信息(也就是说来自这些其他平面的强度),因为显微镜由于其有限的景深还捕获除了即时焦平面的其他样品平面。所述其他样品平面可能无法锐利地成像,但是这恰好是可利用的深度信息块所在的地方。所述深度信息块在OS-SIM中用于区分离焦光。然而,从焦平面之外所检测的强度有损耗,但没有被使用。
替代地,它可以有利地用于计算离焦样品平面的像。在典型的相对于焦平面镜面对称的(并且典型地关于检测光轴旋转对称的)PSF的情况下,全部都需要解决由于镜面对称导致的深度信息的歧义。这通过使用来自两个不同焦平面的深度信息来完成,以重构位于其之间的样品平面。
根据本发明,已经发现,从3D-SIM(或3D-SPEM)已知的方程组可以用于从这样的附加样品平面重构结果像,尽管对于所述附加的样品平面不记录单独像。
为此,可以有利地通过选择焦平面之间的距离来减少记录z堆栈所必需的焦平面的数目,该距离大于由显微镜可光学分辨的最小轴向距离的一半(也就是说对应于与光学分辨率相比较精细程度不足两倍的轴向分辨率),并且由此首先在形式上违背了奈奎斯特-香农(Nyquist-Shannon)采样定理。通过将附加的(未聚焦的)样品平面并入到近似评估中,有效地满足奈奎斯特-香农采样定理。附加的样品平面可以被认为是“显性”焦平面且在SIM方程组中描述为焦平面。由于本发明,记录的焦平面可以例如坐落为距彼此近似330nm的轴向距离,然而可以用仅近似110nm的轴向距离来计算出平面的完整结果像。因此,对于仅通过计算(显性焦平面)已经包括的附加的样品平面中的每一个,在可以省略“实”焦平面的各个情况下,省去记录对应地大数目照明相位中的单独像。以这种方法,显著地缩短测量持续时间并且以相同方式降低对样品施加的应力,因为这需要更低频率照明且因此总体上时间更短。
优选地,两个焦平面(附加的样品平面坐落在该两个焦平面之间)至多以一距离间隔开,使得由显微镜的景深所确定且已经在单独像中记录的深度区域沿着光轴彼此重叠。换言之,两个焦平面(附加的样品平面坐落在该两个焦平面之间)优选地以一距离间隔开,该距离小于由显微镜光学可分辨的最小轴向距离(也就是说对应于比光学分辨率更为精细的轴向分辨率),而优选地还大于最小光学可分辨的距离的一半,如上所描述的。这些距离条件还可以由PSF的尺寸来近似地表示:优选地选择焦平面(附加的样品平面坐落在该焦平面之间)之间的距离,使得该距离大于轴向方向上PSF的一个半高宽(FWHM)。优选地选择焦平面(附加的样品平面坐落在该焦平面之间)之间的距离,使得该距离小于轴向方向上PSF的两个半高宽。
优选地,近似确定方程组的至少一个解,该方程组描述光结构与样品的光学性质以及与焦平面中和坐落在焦平面之间的样品平面中的显微镜的点扩散函数的相互作用。特别地,可以使用以下方程组或数学等价方程组:
Figure BDA0002267804750000041
特别有利的是这样的实施例,其中,对于近似解,使用线性回归,特别是正则化,特别是截断的奇异值分解,其中仅确定所有奇异值的实子集。
可以通过以下来改进近似的准确性:光学上横向过采样单独像,特别是用与显微镜的光学系统的光学分辨率的两倍一样精细的分辨率进行记录。为此,可以使用以下方程组或数学等价方程组:
Figure BDA0002267804750000051
Figure BDA0002267804750000052
优选地,结构化照明实现为使得样品中所产生的光结构规律地结构化,特别是具有横向周期性和/或轴向周期性,其中光结构特别地在照明相位的每一个中布置在不同位置处和/或在不同取向中。
在特别有利的实施例中,表示坐落在焦平面之间的附加的样品平面的结果像可以用与焦平面的单独像相比较增加的横向和/或轴向分辨率来重构。然而,不必一定达到超分辨率。例如,还可以仅创造焦平面的光学截面和具有准共聚焦分辨率(如在OS-SIM中)的附加的样品平面的光学截面。
这等同于方程组的求解,以在通过计算分离照明相位之后,基于显微镜的点扩散函数的模型近似地对单独像进行去卷积。
借助于以下事实对应地完成对没有聚焦的附加的平面的重构:在去卷积中,单独像中的一个的(强度)部分,特别是恰好一个像素的(强度)部分被分配到不同结果像。优选地,在去卷积中,单独像中的一个的(强度)部分,特别是恰好一个像素的(强度)部分,被部分地分配到结果像中的表示焦平面之一的至少一个,并且被部分地分配到表示坐落在焦平面之间的样品平面的结果像。特别地,到表示坐落在焦平面之间的样品平面的结果像的分配可以基于至少两个最接近的焦平面的单独像的强度来完成。
有利地,二维空间分辨的检测器用于记录单独像,其中特别是在所述检测器前面没有布置光学上截取所述样品的光阑。因此,完成对单独像的快速记录。替代地,可以进行共聚焦扫描检测。
特别优选是这样的实施例,其中没有操纵所述显微镜的点扩散函数来产生轴向不对称性。这使得设备的费用很低。特别是,可以用这种方法省略复杂且昂贵的相位掩模。
同样特别优选的是这样的实施例,其中在记录单独像之一期间仅聚焦恰好一个焦平面。以这种方法,可以省略用于对多个焦平面同时成像的复杂光学系统。
本发明还包括具有配置为实行如上所描述的方法的控制单元的显微镜。此外,显微镜具有光源、在样品中聚焦不同焦平面的构件(例如检测束路径中的可调物镜、可调样品台或波前操纵器)、从瞬时焦平面记录单独像的二维空间分辨检测器以及在样品中产生结构化照明光的构件,例如衍射光栅、空间光调制器(SLM)、微反射镜阵列(DMD)或光引导件,其在显微镜物镜的后焦平面中提供样品中干涉形成光结构的图案。产生结构化照明光的构件还可以实现在光源中,例如发光二极管阵列形式的光源。
在描述方法步骤的程度上,显微镜的控制单元可以配置为执行这些方法步骤。
本发明可以用荧光样品或无荧光样品来实现。在荧光样品的情况下,光源有利地实现对样品中提供的荧光染料进行激发。光源优选地包括一个或多个激光器,特别还是可调强度调制器,以使得激发强度的变化可以较宽。
下面基于示例性实施例更详细地解释本发明。
附图说明
附图中:
图1示出了显微镜,
图2示出了多个相位中的结构化照明的原理,
图3示出了要记录的焦平面的堆栈和附加的样品平面,
图4示出了具有三个干涉级的照明,以及
图5示出了具有五个干涉级的照明。
在所有附图中,对应的部件具有相同的附图标记。
具体实施方式
图1示出了能够执行经典显微术方法(也就是说衍射受限的分辨率的显微术方法)和超分辨率显微术方法(也就是说超越衍射极限的分辨率的显微术方法)二者的显微镜1。
显微镜1捕获样品2。附加地,它具有对于所有显微术方法使辐射穿过的物镜3。
物镜3经由分束器4与镜筒透镜5一起将样品成像在CCD检测器6上,其在示例中是通常可能的区域检测器。就此而言,显微镜1具有常规光显微镜模块7,并且从样品2穿过物镜3和镜筒透镜5到CCD检测器6的束路径对应于常规宽场检测束路径8。如由图1的双向箭头所指示,分束器4是可更换的,以便于能够在具有不同二向色性质的分束器或消色差的分束器之间进行切换,如US 2008/0088920的那样。
此外,束路径中连接到物镜3的是激光扫描模块9,它的LSM照明和检测束路径经由切换反射镜11耦合到通向物镜3的束路径中,该切换反射镜11同样具有分束器功能。从切换反射镜11穿过分束器4到物镜3的束路径因此是将照明束路径和检测束路径组合的束路径。这相对于激光扫描模块9和相对于宽场检测束路径8两者都是如此,因为如将在下文所解释的,照明辐射(其与宽场检测束路径8(即CCD检测器6)一起实现显微术方法)在切换反射镜11处也被耦合。
组合切换反射镜11和分束器4以形成分束器模块12,因此存在根据应用更换切换反射镜11和分束器4的可能性。这还由双向箭头图示。此外在分束器模块12中提供的是位于宽场检测束路径8中的发射滤光器13,并且该发射滤光器13适当地过滤可以穿过宽场检测束路径8传播的光谱分量。分束器模块12中的发射滤光器13当然同样是可更换的。
激光扫描模块9从激光模块15经由光纤14接收操作所需的激光辐射。
在图1中所图示的构造中,聚集的照明束路径16在分束器模块12处(更具体地在切换反射镜14处)被耦入,各种显微术方法的照明辐射穿过该聚集的照明束路径16。将单独照明模块的不同照明束路径耦合到该聚集的照明束路径16中。例如,宽场照明模块17经由切换反射镜18将宽场照明辐射耦合到聚集的照明束路径16中,使得经由镜筒透镜27和物镜3在宽场中将样品2照明。例如,宽场照明模块17可以具有HBO灯。如其他照明模块所提供的是TIRF照明模块19,其通过对切换反射镜18的适当定位来实现TIRF照明。TIRF照明模块19为此经由光纤20从激光模块15接收辐射。TIRF照明模块19具有可纵向移动的反射镜21。由于纵向位移,由TIRF照明模块19所发射的照明束垂直于发射的照明束的主传播方向进行位移,因此TIRF照明在物镜3处以相对于物镜的光轴可调整的角度来入射。以这种方法,可以确保盖玻片处全内反射所需的角度。当然其他构件也适合于实现该角度调整。
其他耦合到聚集的照明束路径的是操纵器模块22的照明束路径,该操纵器模块22同样经由光纤从激光模块15接收辐射(在此没有另外指定)并且用扫描方式在样品2之上引导点状或线状束分布。操纵器模块22因此实质上对应于激光扫描显微镜的照明模块,并且因此,还可以用与激光器扫描模块9的检测器或CCD检测器6的宽场检测组合的方式来操作操纵器模块22。
在聚集的照明束路径16中还提供光栅23,该光栅23具有低于可以用显微镜1转移到样品2中的截止频率的光栅常量。光栅23例如可以布置在成像到样品上的照明束路径16的平面(样品的中间像)中。光栅23横向于聚集的照明束路径16的光轴是可移动的。为此,提供对应的位移驱动器24。
像场旋转器25(其由旋转器驱动器26旋转)还在照明方向上的光栅下游布置在聚集的照明束路径16中。像场旋转器例如可以是阿贝-柯尼格棱镜。
模块和驱动器以及显微镜1的检测器全部经由线(在此未另外指定)连接到控制装置28。该连接例如可以经由数据和控制总线来实现。控制装置28以不同操作模式来操作显微镜1。
控制装置28因此允许对显微镜1执行经典显微术,也就是说宽场显微术(WF)、激光扫描显微术(LSM)和具有全内反射(TIRF)的荧光显微术。
图1的显微镜实质上具有适合于激光扫描器照明的两个模块,特别是激光器扫描模块9和操纵器模块22。其他组合当然也是可能的。将所述模块通过物镜3经由镜筒透镜耦合到样品2上。操纵器模块22仅包括激光扫描模块的激发部分,而没有检测部分。因此,可以用点状方式照明样品,并且可以在样品2上扫描照明斑。
优选地,切换单元(例如切换透镜或柱面透镜)还位于操纵器模块22中,通过该切换单元实现点状照明和线状照明之间的切换。所述线状照明当光栅23枢转进入且垂直于线状照明的线时是有利的。替代地,线状照明可以用于在样品2中动态地(顺序地)生成结构化照明。
可变调整条状调制器或DMD或SLM还可以用作光栅23的替代例,以在样品2中产生结构化照明。在该情况下,当然不再需要光栅23枢转进出的能力和位移驱动器24。
像场旋转器25允许通过光栅23(或由替换光栅的元件)产生的结构化照明绕聚集的照明束路径16的光轴旋转,使得结构化照明以不同角度位于样品2中。
为了在各个操作类型之间切换,适当地调整切换反射镜18和11以及分束器4。在实现方式中,为此可以使用折叠或倾斜反射镜,使得可以顺序地实现操作类型之间的切换。替代地,允许各个模块的同时操作的二向色反射镜也是可能的。
分束器4优选地实施为二向色分束器,其中光谱性质是可调的,使得要借助于CCD检测器6进行检测的来自标记分子的荧光发射的光谱分量通行到宽场检测束路径8中,并且如果可能则将剩余光谱分量透射。为了提高相对于使用具有不同发射特性的标记分子的灵活性,多个不同分束器4和发射滤光器13以使得它们可更换的方式布置在分束器模块12中,例如布置在滤光器转盘上。
如上所描述的显微镜可以用于产生超分辨率的结果像。为此,控制装置28例如通过适当编程而具有适当的配置。
图2示意性图示了根据SIM方法用于产生具有单个焦平面的超分辨率的像的构思。在宽场中将图1中的显微镜1下的样品重复地成像,其中不同的照明状态被设定。
图2示出了来自单个焦平面的单独像40的集合30,这些单独像40的区别在于它们包含的光结构41,经由照明束路径16使用结构化照明将该光结构41施加到样品上。如可以看到的,在不同图像40中,使用光栅23所产生的横向的、例如周期性光结构41是不同的。总体上,示例包括九个单独像40,其由结构41的三个不同取向和结构41的三个不同位移位置构成。在相位项下将各种取向和位移位置分组在一起。更多个不同相位当然也是可能的,如从上文关于SIM的原理所引的论文已知的。
然而,所示的结构41要理解为仅是示例。特别地,它不一定是线结构。示意性描绘的线还可以沿着线被进一步结构化。除了在最初所引的SIM论文中所使用的线类型的结构化,等同地可以使用扫描的共聚焦点或具有共聚焦检测的线照明,如从由C.Müller和J.Enderlein发表的图像扫描显微镜”的论文(物理评论快报,104,1989101,(2010)已知的。该原理还称为ISM。在该情况下,当然存在不是九个取向的结构化照明而是通过扫描样品所获得的适当多个的单独像。每个单独像40然后对应于具体的扫描位置,也就是说在扫描图像期间的具体扫描状态。
控制单元28以下文所描述的方式从记录的单独像40计算出超分辨率的结果像50。
由于与样品2的相互作用,将照明图案I(x,y,z)乘以样品2的光学性质S(x,y,z),并且与检测PSFH(x,y,z)混合:
Iem(x,y,z,z0)=∫dx′dy′dz′I(x′,y′,z′)S(x′,y′,z0-z′)H(x-x′,y-y′,z+z′)
(1)
其中z0指示样品相对于结构化照明的Talbot图案和相对于瞬时焦平面的位移,z指示瞬时焦平面的位置。通过设定z=0:
Iem(x,y,z0)=∫dx′dy′dz′I(x′,y′,z′、)S(x′,y′,z0-z′)H(x-x′,y-y′,z′)
(2)
相对于x、y和z的傅里叶变换得出:
Figure BDA0002267804750000101
z方向上的离散等距采样可以由狄拉克梳状函数呈现(http:://en.wikipedia.org /wiki/Dirac_comb):
Figure BDA0002267804750000102
其中Δz指示z方向上的采样间隔。在具体计算式中的求和指数k在此为要确认的结果像的所有轴向样品平面之上延伸,也就是说代替在此为完整起见而给定的无穷级数,在有限的整数的区域之上延伸。
方程(4)相对于x、y和z的傅里叶变换得出:
Figure BDA0002267804750000103
周期Δz的狄拉克梳的傅里叶变换在此还是狄拉克梳,但是周期为1/Δz。然而,必须不能将求和指数k与频域中的波矢的分量kx,ky,kz混淆。
将方程(3)插入到方程(5)中得总体有效的方程组,通过该方程组可以解混(unmix)任何傅里叶变换的照明图案If(k′x,k′y,k′z):
Figure BDA0002267804750000111
如上文,在具体计算中无穷级数应当替换为要计算的样品平面之上的有限和。
方程组可以基于以下求解:基于在不同照明相位中所具体使用的照明图案I(x,y,z)(更具体地基于其傅里叶变换If(kx,ky,kz)),显微镜的检测PSF H(x,y,z)(更具体地基于其傅里叶变换Hf(x,y,z)——也就是说OTF),以及记录的单独像40或ISem(x,y,z)(更具体地基于单独像40的傅里叶变换
Figure BDA0002267804750000113
)。
求解方程组带来照明布置的分离和空间频率分量向频域中的它们的原始位置的移位,该空间频率分量自身不可由显微镜的OTF转移但包含在具有频移形式下的结构化照明的单独像中。
解是样品的光学性质的傅里叶变换
Figure BDA0002267804750000112
由于与照明结构的图案的相互作用,这些还包含与由显微镜1光学传递的频率分量相比更高的频率分量。可以通过逆傅里叶变换由此计算出对于每个记录的焦平面的侧向和/或轴向超分辨率的结果像。
如果对于由方程组所描述的每个平面,用不同照明相位记录单独像40的集合30,则这对应于常规3D-SIM。在此方程组被完全确定或者甚至超定,并且总体上对于所描述的全部平面同时求解该方程组。求解方程组(与随后逆傅里叶变换结合)可以被认为是解卷积,因为由样品发射的光与显微镜的PSF的卷积实质上被反转(reverse)。
然而,完全不必对于由方程组所描述的每个平面记录单独像40的集合30,并且替代地,可以省略一个或多个平面。方程组然后似乎是欠确定的并且重构问题因此是不适定的。然而,可以近似求解方程组,使得甚至对于省略的平面可以实现其光学性质S(x,y,z)的重构以及因此结果图像的重构。该方程组还同时跨多个焦平面来进行求解。
近似解例如通过频域中的线性回归(特别是正则化)来完成。在最简单的情况下,可以执行插值。优选地,执行截断的奇异值分解或在基于SVD的约束下实现解卷积。
横向于光轴的更精细的采样——横向过采样——通过对应的小检测器像素,产生了允许更稳定正则化的附加独立的测量值。对于普通SIM,横向过采样将是多余的。然而,方程(6)可以用过采样的附加像素进行扩展:
Figure BDA0002267804750000121
其中,i、j指定频域中的附加像素,并且Δx,Δy指示横向于光轴的采样间隔。这改进了近似解的准确度。替代地或除了横向过采样以外,更多个照明相位也可以改进解的准确度。如上文,在具体计算中无穷级数应当替换为要计算的样品平面之上的有限和。
图3通过示例图示了坐落在样品2中的焦平面F1、F2和F3。物镜3的聚焦相继设定在这些焦平面处。对于这些焦平面,例如用图2中所图示的照明相位,以结构化方式照明样品2。在九个照明相位的每一个中,在例如九个单独像的相应的一个中以衍射受限的方式记录即时焦平面。对于三个焦平面,然后则出现27个单独像。
焦平面F1、F2和F3以距彼此的距离大于奈奎斯特判据允许的距离来布置。距彼此的距离恰好使得相邻的焦平面F1和F2以及焦平面F2和F3的景深范围依然重叠。在焦平面F1、F2和F3之间,样品具有(“附加的”)样品平面X1和X2,其中没有记录聚焦的单独像。这些平面的强度仅在来自焦平面F1、F2和F3的单独像中在未聚焦时被检测到。附加的样品平面X1和X2与它们相邻的焦平面间隔布置,使得焦平面F1、F2和F3与附加的样品平面X1和X2一起满足奈奎斯特判据,例如全部五个平面等距地布置。
通过在三个焦平面F1、F2和F3以及附加的样品平面X1和X2中近似求解具有相应的照明相位的方程(6)组,可以计算五个超分辨率的结果像50一一对于每个焦平面且对于每个附加的样品平面各一个结果像。对于近似解,对方程(6)组例如首先使用截断的奇异值分解来进行正则化,然后进行求解。
由图4和图5图示两个可能的具体照明图案I(x,y,z)。物镜3的后焦平面中、图4中所示的三个束在焦平面中于样品中产生了平行条纹的栅格图案,该栅格图案在其它平面中由于Talbot效应而轴向地重复:
Figure BDA0002267804750000131
其中a0指示中心束的强度并且a指示其它束的强度。
Figure BDA0002267804750000132
是所产生的栅格的x分量和y分量,
Figure BDA0002267804750000133
对应于Talbot频率,
Figure BDA0002267804750000134
是Talbot图案的相位(Talbot图案关于焦平面的位移),并且
Figure BDA0002267804750000135
是所产生的栅格的横向于光轴的相位,用于各种束的成对干涉。
代入方程(3)得到:
Figure BDA0002267804750000136
其中An,n=0...2是级数的对应强度。它的结果是频域中要分离的五个强度分量。为此需要来自五个不同照明相位
Figure BDA0002267804750000137
的五个单独像。
在该照明图案中方程(6)和(7)采取以下形式(如上文,无穷级数在具体计算中应当由对要计算的样品平面的有限和来替换):
Figure BDA0002267804750000141
Figure BDA0002267804750000142
Figure BDA0002267804750000151
物镜3的后焦平面中、图5中所示的五个束在焦平面中于样品的中产生了二维栅格图案,该栅格图案在其它平面中由于Talbot效应而轴向地重复:
Figure BDA0002267804750000152
变量具有与方程(8)中的变量相同的含义。
代入方程(3)得到:
Figure BDA0002267804750000153
Figure BDA0002267804750000161
其中An,n=0...6是级数的对应强度。它的结果是频域中要分离的十三个强度分量。为此需要来自十三个不同照明相位
Figure BDA0002267804750000162
的十三个单独像。
在该照明图案中方程(6)和(7)采取以下形式(如上文,无穷级数在具体计算中应当由对要计算的样品平面的有限和来替换):
Figure BDA0002267804750000163
Figure BDA0002267804750000171
Figure BDA0002267804750000172
Figure BDA0002267804750000181
Figure BDA0002267804750000191
附图标记列表
1 显微镜
2 样品
3 物镜
4 分束器
5 镜筒透镜
6 CCD检测器
7 光显微镜模块
8 宽场检测束路径
9 激光扫描模块
11 切换反射镜
12 分束器模块
13 发射滤光器
14 光纤
15 激光模块
16 聚集的照明束路径
17 宽场照明模块
18 切换反射镜
19 TIRF照明模块
20 光纤
21 反射镜
22 操纵器模块
23 光栅
24 位移驱动器
25 像场旋转器
26 旋转器驱动器
27 镜筒透镜
28 控制装置
30 单独像的集合
40 单独像
41 照明结构
50 结果像
Fi 焦平面
Xi 附加的样品平面

Claims (18)

1.一种使用显微镜(1)成像样品的方法,其中,使用所述显微镜(1),聚焦所述样品(2)的焦平面且用结构化照明光(41)顺序地以多个相位来照明所述焦平面,并且使用检测器(6)将每个相位由所述样品(2)所发射和/或散射的样品光记录在相应单独像(40)中,使得能够从所述单独像(40)重构具有改进的分辨率的结果像(50),其特征在于,所述显微镜(1)用于聚焦与所述第一焦平面不同的第二焦平面,而且用于对于所述第二焦平面记录在不同照明相位中的单独像(40),以及在于从所述两个焦平面的单独像(40)重构结果像(50),该结果像表示位于所述焦平面之间的样品平面。
2.根据权利要求1所述的方法,其中所述两个焦平面之间的距离被选为大于由所述显微镜可光学分辨的最小轴向距离的一半,附加的样品平面坐落在所述两个焦平面之间。
3.根据权利要求1或2所述的方法,其中所述两个焦平面之间的距离被选为小于由所述显微镜可光学分辨的最小轴向距离,附加的样品平面坐落在所述两个焦平面之间。
4.根据前述权利要求中任一项所述的方法,其中近似确定方程组的至少一个解,所述方程组描述所述焦平面中和坐落在所述焦平面之间的样品平面中的光结构与所述样品的光学性质和与所述显微镜的点扩散函数的相互作用。
5.根据权利要求4所述的方法,其中使用如下的方程组或数学等价方程组:
Figure FDA0002267804740000011
Figure FDA0002267804740000012
6.根据权利要求2或3所述的方法,其中,对于近似解,使用线性回归,特别是正则化,特别是截断的奇异值分解,其中仅确定所有奇异值的实子集。
7.根据前述权利要求中任一项所述的方法,其中所述单独像是光学上横向过采样的,特别是用与所述显微镜的光学系统的光学分辨率的两倍一样精细的分辨率进行记录。
8.根据权利要求7所述的方法,其中确定如下方程组或数学等价方程组的至少一个解:
Figure FDA0002267804740000021
Figure FDA0002267804740000022
9.根据前述权利要求中任一项所述的方法,其中所述样品中所产生的光结构规律地结构化,特别是具有横向周期性和/或轴向周期性并且特别地在所述照明相位的每一个中布置在不同位置处和/或在不同取向中。
10.根据前述权利要求中任一项所述的方法,其中表示坐落在所述焦平面之间的样品平面的结果像(50)用与所述单独像比较而改进的分辨率进行重构。
11.根据前述权利要求中任一项所述的方法,其中特别是在通过计算分离所述照明相位之后,基于所述显微镜的点扩散函数的模型近似地解卷积所述单独像或所述结果像。
12.根据权利要求9所述的方法,其中,在所述解卷积中,所述单独像中的一个的(强度)部分,特别是恰好一个像素的(强度)部分,被分配到不同结果像。
13.根据权利要求10的方法,其中,在所述解卷积中,所述单独像中的一个的(强度)部分,特别是恰好一个像素的(强度)部分,被部分地分配到所述结果像中表示所述焦平面之一的至少一个结果像,并且被部分地分配到表示坐落在所述焦平面之间的样品平面的结果像。
14.根据权利要求10或11所述的方法,其中到表示坐落在所述焦平面之间的样品平面的结果像的分配基于至少两个最接近的焦平面的单独像的强度来完成。
15.根据前述权利要求中任一项所述的方法,其中二维空间分辨的检测器用于记录所述单独像,其中特别是在所述检测器前面没有布置光学上截取所述样品的光阑。
16.根据前述权利要求中任一项所述的方法,其中没有操纵所述显微镜的点扩散函数来产生轴向不对称性。
17.根据前述权利要求中任一项所述的方法,其中在对所述单独像的每一个进行记录期间,使用所述显微镜仅聚焦恰好一个焦平面。
18.一个显微镜(1),包括控制单元(28),所述控制单元(28)配置为执行前述权利要求中任一项所述的方法,并且所述显微镜还包括光源、在样品(2)中聚焦不同焦平面的构件、记录所述即时焦平面的单独像(40)的二维空间分辨检测器(6)以及在所述样品(2)中产生结构化照明光(41)的构件,其中特别地在所述检测器(6)前面没有布置光学上截取所述样品(2)的光阑,另外特别地也没有操纵所述显微镜的点扩散函数来产生轴向非对称性。
CN201911098604.3A 2018-11-12 2019-11-11 具有结构化照明的三维显微术的加速的方法和设备 Pending CN111175259A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018009056.7A DE102018009056A1 (de) 2018-11-12 2018-11-12 Beschleunigte Verfahren und Vorrichtungen für die dreidimensionale Mikroskopie mit strukturierter Beleuchtung
DE102018009056.7 2018-11-12

Publications (1)

Publication Number Publication Date
CN111175259A true CN111175259A (zh) 2020-05-19

Family

ID=68392793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098604.3A Pending CN111175259A (zh) 2018-11-12 2019-11-11 具有结构化照明的三维显微术的加速的方法和设备

Country Status (5)

Country Link
US (1) US11221297B2 (zh)
EP (1) EP3650905B1 (zh)
JP (1) JP7399669B2 (zh)
CN (1) CN111175259A (zh)
DE (1) DE102018009056A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
DE102020123669A1 (de) 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Verfahren zur SIM-Mikroskopie
DE102020123668A1 (de) 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren
DE102020128524A1 (de) 2020-10-29 2022-05-05 Carl Zeiss Microscopy Gmbh Lichtblattmikroskop und Verfahren der Lichtblattmikroskopie
JP2022189735A (ja) * 2021-06-10 2022-12-22 恵和株式会社 光拡散シート、光拡散シート積層体、バックライトユニット、及び液晶表示装置
WO2023248853A1 (ja) * 2022-06-20 2023-12-28 ソニーグループ株式会社 情報処理方法、情報処理装置、及び顕微鏡システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134002A (en) * 1999-01-14 2000-10-17 Duke University Apparatus and method for the rapid spectral resolution of confocal images
WO2010015954A1 (en) * 2008-08-04 2010-02-11 Koninklijke Philips Electronics, N.V. Detection, visualization, and quantification of microvasculature using confocal microscopy
US20120194646A1 (en) * 2011-02-02 2012-08-02 National Tsing Hua University Method of Enhancing 3D Image Information Density
JP2014508969A (ja) * 2011-03-01 2014-04-10 アプライド プレシジョン インコーポレイテッド 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法
JP2014517352A (ja) * 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー 高分解能ルミネッセンス顕微鏡法
US20160195705A1 (en) * 2014-12-06 2016-07-07 Howard Hughes Medical Institute Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
JP2017090591A (ja) * 2015-11-06 2017-05-25 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び空間光変調ユニット

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19908883A1 (de) 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
DE102004034983A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop
WO2007030741A2 (en) * 2005-09-09 2007-03-15 Trustees Of Boston University Imaging system using dynamic speckle illumination
EP3667391A1 (de) * 2009-10-28 2020-06-17 Carl Zeiss Microscopy GmbH Mikroskopisches verfahren und mikroskop mit gesteigerter auflösung
DE102014004249A1 (de) * 2014-03-24 2015-09-24 Carl Zeiss Microscopy Gmbh Konfokales Mikroskop mit Aperturkorrelation
DE102015107367A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops
WO2018144949A1 (en) * 2017-02-03 2018-08-09 Northeastern University Optical sectioning
JP2019066706A (ja) * 2017-10-02 2019-04-25 ソニー株式会社 蛍光顕微鏡装置及び蛍光顕微鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134002A (en) * 1999-01-14 2000-10-17 Duke University Apparatus and method for the rapid spectral resolution of confocal images
WO2010015954A1 (en) * 2008-08-04 2010-02-11 Koninklijke Philips Electronics, N.V. Detection, visualization, and quantification of microvasculature using confocal microscopy
US20120194646A1 (en) * 2011-02-02 2012-08-02 National Tsing Hua University Method of Enhancing 3D Image Information Density
JP2014508969A (ja) * 2011-03-01 2014-04-10 アプライド プレシジョン インコーポレイテッド 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法
JP2014517352A (ja) * 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー 高分解能ルミネッセンス顕微鏡法
US20160195705A1 (en) * 2014-12-06 2016-07-07 Howard Hughes Medical Institute Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
JP2017090591A (ja) * 2015-11-06 2017-05-25 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び空間光変調ユニット

Also Published As

Publication number Publication date
EP3650905B1 (de) 2023-01-11
DE102018009056A1 (de) 2020-05-14
EP3650905A1 (de) 2020-05-13
US20200150043A1 (en) 2020-05-14
JP7399669B2 (ja) 2023-12-18
JP2020079929A (ja) 2020-05-28
US11221297B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
JP7399669B2 (ja) 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置
US10551604B2 (en) Spatial light modulator based hyperspectral confocal microscopes and methods of use
US10401609B2 (en) Embedded pupil function recovery for fourier ptychographic imaging devices
EP3465158B1 (en) Spatial light modulator based hyperspectral confocal microscopes and methods of use
US10877254B2 (en) Light sheet microscope for simultaneously imaging a plurality of object planes
US9864182B2 (en) High-resolution scanning microscopy
JP4064550B2 (ja) プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法
US10908088B2 (en) SCAPE microscopy with phase modulating element and image reconstruction
US10310246B2 (en) Converter, illuminator, and light sheet fluorescence microscope
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
US20110267688A1 (en) Microscopy Method and Microscope With Enhanced Resolution
US20220076379A1 (en) Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination
JP6708667B2 (ja) ビーム整形及び光シート顕微鏡検査のためのアセンブリ及び方法
CA3065917A1 (en) Super-resolution line scanning confocal microscopy with pupil filtering
EP2828700A1 (en) Multi-color confocal microscope and imaging methods
US20140291484A1 (en) Microscope with structured illumination
EP2888621A1 (en) Microscopic imaging apparatus and method to detect a microscopic image
JP2023537295A (ja) 放射光検出方法、検出装置及びレーザ走査顕微鏡
JP2007047754A (ja) レーザ走査型顕微鏡およびレーザ走査型顕微鏡の画像取得方法
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
KR102281306B1 (ko) 다파장 레이저 파장 변조를 이용한 현미경 시스템
EP4220269A1 (en) Light imaging device
EP3901684A1 (en) Optical fluorescence microscope and method for the obtaining of optical fluorescence microscopy images
WO2020179068A1 (ja) 顕微鏡
WO2020036988A1 (en) Flexible light sheet generation by field synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination