CN111886491A - 散射辅助超定位显微术方法及相关装置 - Google Patents

散射辅助超定位显微术方法及相关装置 Download PDF

Info

Publication number
CN111886491A
CN111886491A CN201980019390.8A CN201980019390A CN111886491A CN 111886491 A CN111886491 A CN 111886491A CN 201980019390 A CN201980019390 A CN 201980019390A CN 111886491 A CN111886491 A CN 111886491A
Authority
CN
China
Prior art keywords
image
sample
wavefront
intensity
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980019390.8A
Other languages
English (en)
Other versions
CN111886491B (zh
Inventor
马可·莱奥尼蒂
朱塞佩·安东尼奥奇
雷诺·塞卡雷利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Life Science Progress Co ltd
Fondazione Istituto Italiano di Tecnologia
Original Assignee
Summit Optics Ltd
Fondazione Istituto Italiano di Tecnologia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Summit Optics Ltd, Fondazione Istituto Italiano di Tecnologia filed Critical Summit Optics Ltd
Publication of CN111886491A publication Critical patent/CN111886491A/zh
Application granted granted Critical
Publication of CN111886491B publication Critical patent/CN111886491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一种荧光显微术方法,包括以下步骤:A.用相干激发光束(5)照射包括一个或多个荧光发射体的散射样品,相干激发光束的波前具有第一初始配置C1以激发散射样品中包括的一个或多个荧光发射体;B.通过像素成像单元(45)采集与散射样品的背景图像对应的第一初始图像F1,F1=FB,从而获得散斑颗粒图像;C.选择坐标为[xN,yN]的M个目标像素PN,所述M个目标像素属于第一初始图像F1的具有至少一个荧光发射体的荧光信号的区域,其中N=1、…、M,M个目标像素PN中的每个目标像素均具有第一初始强度IPN 1;D.针对M个目标像素PN中的每个目标像素,优化波前的第一初始配置,以便减小第一初始图像F1的散斑颗粒尺寸,并且获得散射样品的具有荧光信号的局部最大值IPN 最大的最终图像F最终(IPN 最大),所述局部最大值对应于目标像素PN的最大强度;E.针对M个目标像素PN中的每个目标像素,从在步骤D获得的最终图像F最终(IPN 最大)中减去在步骤B获得的背景的第一初始图像FB,针对M个目标像素PN中的每个目标像素,获得仅具有从位于强度为IPN 散斑的像素[XN,ZN]处的散斑颗粒而来的荧光信号的图像F散斑(PN);F.针对M个目标像素PN中的每个目标像素,用具有自由中心坐标的高斯函数对在步骤E中获得的图像F散斑(PN)进行拟合,从而获得xy平面中的坐标(XN,ZN)和强度IN;G.针对M个目标像素PN中的每个目标像素,生成包含高斯分布的图像FN,所述高斯分布以在步骤F中获得的坐标(XN,ZN)为中心并且具有强度IN、并且具有等于散射样品的平均散斑颗粒尺寸S的束腰;H.针对M个目标像素PN中的每个目标像素,通过对在步骤G获得的M个图像FN求和来生成样品的最终图像。

Description

散射辅助超定位显微术方法及相关装置
***
本发明涉及一种以简单、可靠、适应性强且经济的方式增加荧光显微术装置对不透明或散射样品的光学分辨率而不增加装置复杂性的方法。
这种方法利用样品本身散射的光来增加显微术装置的有效数值孔径,从而克服了所使用的光收集光学系统(即物镜)的分辨率。这种方法基于散射样品上激发相干光束的波前相位和/或振幅调制,以从由样品散射的光束中建立相长干涉,从而产生紧密的聚焦,并且这种方法基于对由样品散射的光的控制。具体地,根据本发明的方法使由生物组织的荧光蛋白发出的荧光信号的强度最大化,并且将在反复优化后从在遍及样品的不同位置产生的多个焦点产生的荧光中获得的信息集合成图像,该图像的分辨率不受照明和收集光学器件的限制。
进一步地,本发明涉及一种光学分辨率提高的荧光显微术装置。
尽管本发明主要面向生物学样品的探究,其中实验条件要求将荧光信号收集光学器件定位成远离样品,但是必须记住,在其他领域例如天文和大气,或出于安全或民用目的而进行的远距离调查,本发明可以应用于由其他散射样品产生的荧光信号,仍处于所附权利要求所定义的保护范围之内。
由阿贝(Abbe)和瑞利(Rayleigh)制定的衍射极限指出,透镜可获得的最大分辨率由数值孔径NA定义。照明和收集光学器件的立体角越大,成像系统可获得的空间分辨率就越高。Tang等人的论文“Superpenetration optical microscopy by iterativemultiphoton adaptive compensation technique”,Proceedings of the NationalAcademy of Sciences,109,8434-8439(2012),和Ni N.等人的论文“Adaptive optics viapupil segmentation for high-resolution imaging in biological tissues”,Naturemethods 7,141-147(2010)公开了如何使用适应性光学器件校正光学像差以获得真实透镜的理论分辨率。如以下论文所公开的,可以通过超分辨率技术绕开这种理论分辨率:Betzig,E.等人的论文“Imaging intracellular fluorescent proteins at nanometerresolution”Science 313,1642-1645(2006);di Hell,S.W.和Wichmann,N.的论文“Breaking the diffraction resolution limit by stimulated emission:stimulated-emission-depletion fluorescence microscopy”,Optics letters 19,780-782(1994);Schermelleh,L.等人的论文“A guide to superresolution fluorescence microscopy”,The Nournal of cell biology190,165-175(2010);di Leung,B.O.和Chou,K.C.的论文“Review of super-resolution fluorescence microscopy for biology”,Appliedspectroscopy 65,967-980(2011);Pawley,N.B.的论文Fundamental Limits in ConfocalMicroscopy,20-42(Springer美国,波士顿,马萨诸塞州,2006年);Betzig,E.和Trautman,N.K.的论文“Near-field optics:microscopy,spectroscopy,and surface modificationbeyond the diffraction limit”,Science S1,189-196(1992);以及Gustafsson,M.G.的论文“Surpassing the lateral resolution limit by a factor of two usingstructured illumination microscopy”,Journal of microscopy 198,82-87(2000)。
Izeddin,I.等人的论文“PSF shaping using adaptive optics for three-dimensional single-molecule super-resolution imaging and tracking”,OpticsExpress 20卷,第5期,第4957-4967页(2012)中描述了现有技术的荧光显微术方法和相关装置的另一示例。
所提出的解决方案具有许多缺点。首先,可以通过常规的光学显微术装置实现的最大分辨率需要将透镜定位成靠近样品,这在非侵入性和体内测量中可能是严重的限制。此外,高数值孔径NA是目前大多数显微技术中必不可少的成分,但旨在绕过衍射极限,例如共聚焦、近场、结构化照明、激发发射损耗、或光激活定位显微术。最终,例如来自不透明组织的散射通常被视为这些显微术完美聚焦的障碍,因光学像差而使波前形状劣化并且限制可获得的分辨率。例如,大多数脊椎动物组织(包括人类)看起来是光学上不透明的,从而进入皮肤一部分的相干光束漫射到许多不相关的光路中,并且经过一定距离(传输平均自由程,l)后,它们的行进方向是完全随机化的。
本发明的目的是克服所描述的缺点,允许以可靠、简单且经济的方式独立于显微镜光学器件的数值孔径NA并且以非侵入性的方式来增加荧光显微术装置的光学分辨率。
本发明的具体主题是一种荧光显微术方法,所述方法包括以下步骤:
A.用相干激发光束照射包括一个或多个荧光发射体的散射样品,所述相干激发光束的波前具有第一初始配置C1以便激发所述散射样品中所包括的所述一个或多个荧光发射体;
B.通过像素成像单元采集与所述散射样品的背景图像对应的第一初始图像F1,F1=FB,从而获得散斑颗粒图像;
C.选择坐标为[xN,yN]的M个目标像素PN,所述M个目标像素属于所述第一初始图像F1的具有至少一个荧光发射体的荧光信号的区域,其中N=1、…、M,所述M个目标像素PN中的每个目标像素均具有第一初始强度IPN 1
D.针对所述M个目标像素PN中的每个目标像素,优化所述波前的所述第一初始配置,以便减小所述第一初始图像F1的散斑颗粒尺寸,并且获得所述散射样品的最终图像F最终(IPN 最大),所述最终图像F最终(IPN 最大)具有所述荧光信号的局部最大值IPN 最大,所述局部最大值对应于所述目标像素PN的最大强度;
E.针对所述M个目标像素PN中的每个目标像素,从在步骤D获得的所述最终图像F最终(IPN 最大)中减去在步骤B获得的背景的所述第一初始图像FB,针对所述M个目标像素PN中的每个目标像素,获得图像F散斑(PN),所述图像F散斑(PN)仅具有从位于强度为IPN 散斑的像素[xN,yN]处的散斑颗粒而来的荧光信号;
F.针对所述M个目标像素PN中的每个目标像素,用具有自由中心坐标的高斯函数对在步骤E中获得的所述图像F散斑(PN)进行拟合,从而获得xy平面中的坐标(XN,YN)和强度IN
G.针对所述M个目标像素PN中的每个目标像素,生成包含高斯分布的图像FN,所述高斯分布以在步骤F中获得的坐标(XN,YN)为中心并且具有强度IN、并且具有等于所述散射样品的平均散斑颗粒尺寸S的束腰;
H.针对所述M个目标像素PN中的每个目标像素,通过对在步骤G获得的所述M个图像FN求和来生成所述样品的最终图像。
根据本发明的另一方面,针对所述M个目标像素PN中的每个目标像素,步骤D可以包括以下子步骤:
D.1-将所述波前的所述第一初始配置C1设置为所述波前的参考配置C1=C参考,将所述第一初始图像F1设置为参考图像F1=F参考,并且将所述第一初始图像F1的所述目标像素PN处的第一强度IPN 1设置为所述目标像素PN处的参考强度IPN 1=IPN 参考
D.2–将以下子步骤循环重复T次,其中T>1:
D.2.1-通过振幅和/或相位调制单元(10)改变所述波前的参考配置C参考,以获得所述波前的第i配置Ci
D.2.2-在所述目标像素PN处采集具有第i强度IPN i的第i图像Fi
D.2.3-检查在所述目标像素PN处的第i强度IPN i值是否大于所述参考强度IPN 参考,从而:
如果IPN i>IPN 参考,则将在步骤D.2.1获得的所述波前的所述第i配置Ci接受作为所述波前的参考配置C参考,即C参考=Ci,并且设置F参考=Fi和IPN 参考=IPN i,否则
如果IPN i<IPN 参考,则不接受在步骤D.2.1获得的所述波前的所述第i配置Ci,并且在步骤D.2.1执行的变化之前恢复所述波前的参考配置C参考
D.3-将所述参考图像F参考设置为所述最终图像F参考=F最终(IPN 最大),并且将所述参考强度IPN 参考设置为所述目标像素PN处的荧光信号的局部最大值IPN 最大
根据本发明的进一步的方面,所述振幅和/或相位调制单元可以是包括p×q微镜矩阵的数字微镜器件,并且通过改变所述数字微镜器件的Q≥1个微镜的取向来实施所述步骤D.2.1,从而Q≤p×q,其中每个微镜能够采取V>2个取向,从而T=V×Q。
根据本发明的另外方面,可以将所述散射样品的所述平均散斑颗粒尺寸S设置为等于λ/2n,其中,λ是所述激发光的波长,并且n是所述样品的折射率。
根据本发明的另一方面,所述散射样品的所述平均散斑颗粒尺寸S可以通过测量作为距离的函数的样品图像强度自相关来计算。
根据本发明的进一步的方面,所述方法可以包括在步骤A之前使所述相干激发光束缩小的步骤。
本发明的另一具体主题是一种荧光显微术装置,所述荧光显微术装置包括波前调制单元,所述波前调制单元被配置成接收激发光束并且对所述激发光束进行振幅和/或相位调制,所述装置被配置成用经所述波前调制单元调制的激发光束照射样品,其中所述装置进一步包括成像单元和控制单元,所述成像单元被配置成接收和采集从所述样品发出的荧光光束,所述控制单元连接至所述波前调制单元和所述成像单元,其中所述装置被配置成实施上述荧光显微术方法,从而所述控制单元被配置成基于由所述成像单元采集的所述荧光光束来根据步骤D控制所述波前调制单元。
根据本发明的另一方面,所述波前调制单元可以是数字微镜器件DMD。
根据本发明的进一步的方面,所述装置可以被配置成实施上述方法,包括相干激发光束缩小单元。
根据本发明的方法使用优化算法来对激发相干光束波前的振幅和相位配置进行整形,以便使位于表面上的或嵌入样品中的发射体发射的荧光信号最大化。在下面的描述中,将不加区别地提及对光束波前的振幅和相位配置的优化和整形,其意指波前的振幅和/或相位的一个或多个变化旨在使由发射体发射的荧光信号最大化。
信号增强归因于位于目标发射体处的散斑颗粒(增强的散斑颗粒)的光强度增强。
在说明书和所附权利要求中,将提及散斑,其意指当相干光波被散射介质反射并且散斑颗粒为强度最大值时所获得的点状图,其位于散斑场中。一旦优化完成,通过数据的高斯拟合将散斑颗粒的信号(通过将未优化的荧光减去至优化的图像而获得)超定位。通过在整个视场上产生多个焦点(即增强的散斑颗粒)并且汇总来自所有贡献的信息,而重建样品的完整图像。
与现有技术解决方案相比,根据本发明的方法的优点是众多且显著的。
根据本发明的方法依赖于以下事实,即,通过对靠近散射样品或位于散射样品内部的波前的振幅和相位配置进行整形而获得的激发光束焦点(即光焦点)的尺寸不受照明和收集光学器件的数值孔径NA的限制,但由样品的增强散斑颗粒的尺寸限定。换言之,获得的是在对波前的振幅和相位配置进行整形之后尺寸等于散斑颗粒的尺寸的光焦点。因此,空间分辨率与显微术装置的照明/收集光学器件无关。如Goodman,N.W.等人的“Specklephenomena in optics:theory and applications”(Roberts and Company Publishers,2007年)中所公开的,散斑颗粒的平均尺寸S等于λ/2n,其中λ是入射光的波长,并且n是介质的折射率。最近,如Park,N.-H.等人的“Subwavelength light focusing using randomnanoparticles”,Nature photonics 7,454-458(2013)和Van Putten,E.等人的“Scattering lens resolves sub-100nm structures with visible light”,Physicalreview letters 106,193905(2011)中所示,在高散射介质的表面处的散斑颗粒的尺寸S被测量到小于100纳米。
换言之,根据本发明的方法的极限数值孔径是由样品通过散射产生的k矢量所定义的,而不是由照明和收集光学器件所定义的。这允许有利地实现散射样品的亚衍射分辨率,其高达理论衍射极限的六倍。
根据本发明的方法的第二有利方面在于,由于分辨率与显微术装置光学器件无关,因此根据本发明的方法允许光学器件具有长工作距离而不直接连接至所探究的样品来进行工作。换言之,控制由样品散射的光可以成为提高分辨率的有力工具,特别是在需要高分辨率和长工作距离的情况下。此外,为了实施该方法,可以通过将大多数光学显微镜中的常见特征(例如照相机和干涉滤光片)与空间光调制器相结合来利用非常简单的实验设置。有利地,这使得该方法极其通用,因为它可以应用于任何荧光成像系统。
最后,由于根据本发明的方法允许无需高功率光源即可获得高分辨率,另一个优点是能够使用本发明以低损伤阈值探究样品,并且可以很容易地实施对敏感组织例如人类视网膜的体内探究。
根据本发明的优选实施例,现在将通过说明而非限制的方式,具体地参照附图中的图,对本发明进行描述,在附图中:
图1示出了(a)被配置成实施根据本发明的方法的装置的优选实施例的示意图,(b)表示标准显微术装置中光学器件驱动的分辨率极限的示意图,以及(c)表示取决于通过根据本发明的方法获得的散斑颗粒的尺寸S的分辨率极限的示意图;
图2示出了通过实验获得的激发焦点的尺寸,分别为撞击抛光玻璃表面(图2a)和已知的散射介质(图2b)的激发相干光束焦点的尺寸,对根据本发明的方法的优选实施例的激发光束波前的振幅和相位配置实施整形,相关的强度曲线(图2c),以及作为数值孔径NA的函数的相关光束腰值;
图3示意性地示出了由图1的装置实施以获得第一已知散射样品的高分辨率图像的方法的优选实施例的一些步骤;
图4示出了通过标准荧光显微术方法获得的收集光学器件的数值孔径NA变化的第二已知散射样品的图像(a)、(d)和(g),以及通过图2和图3的方法的优选实施例获得的相应图像(b)、(e)和(h),并且沿着同一虚线比较不同的强度曲线(c)、(f)和(i);
图5示出了通过标准荧光显微术方法(图5l和图5m)以及通过由图1的装置实施并在图3中示出的方法的优选实施例(图5n)获得的生物样品的图像;
图6分别示出了作为已经在图4的图像中示出的散射样品的距离的函数的和作为已经在图5的图像中示出的生物样品的距离的函数的自相关曲线图。
参照图1a,被配置成实施根据本发明的方法的装置100包括光源(图1中未示出),该光源发射波长为λ的激发相干光束5(例如可选地具有532纳米(nm)波长的单色激光束)以激发样品20中的荧光发射体。装置100进一步包括未在图中示出的缩小单元以缩小光束5,例如包括焦比f1/f2等于缩小率的两个透镜的伽利略望远镜。装置100包括光束波前的振幅和/或相位配置的调制单元10,该调制单元被配置成接收激发相干光束5并对其振幅和/或相位进行调制。
在装置100的优选实施例中,这样的光束波前的振幅和/或相位配置的调制单元10是数字微镜器件DMD。本发明的其他实施例可以包括光束波前的振幅和/或相位配置的不同的调制单元10,例如光空间调制器和可变形镜。沿着光束5从光源到样品20的路径,在调制单元10的下游,装置100包括透镜25和光学物镜30,该光学物镜也可以是简单的透镜,以将从调制单元10出来的经调制的激发相干光束5聚焦在样品20上。此外,光学物镜30收集来自样品20的光,包括荧光发射分量(即样品20发射的荧光束)和激发光束5的反射分量。光学物镜30的数值孔径NA通过光阑35来控制。装置100进一步包括分束器,该分束器驱动从样品出来的光朝向成像单元45,例如CMOS或CCD相机。光谱滤光器50将从样品出来的光中的激发光束5的反射分量去除,从而只有荧光发射分量在穿过光学组55(例如目镜)之后到达成像单元45。在本发明的优选实施例中,光谱滤光器50是干涉滤光器。控制单元60连接至光束波前的振幅和/或相位配置的调制单元10,并且连接至成像单元45。这样的控制单元60根据从成像单元45获得的图像、即通过反馈回路来掌控波前的振幅和/或相位配置的调制单元10,如将在下面具体地关于图2和图3描述的。
图1b和图1c示出了根据本发明的方法的基本原理的示意图。虽然显微镜的分辨率通常由聚焦/收集光学器件确定(图1b),但可以利用荧光发射体的进入散射样品的信号来克服收集光学器件的限制。在这种情况下,分辨率受到样品的表面上的散斑颗粒尺寸S的限制(图1c)。
为了简单起见,在下面的描述和权利要求中,我们将使用术语波前的“配置”,意指波前的振幅和相位配置,其中振幅和/或相位可以经调制或未经调制。
在根据本发明的方法中,具有未经调制的第一初始配置C1的激发光束5波前撞击样品20,并且通过成像单元45来采集样品20的第一初始图像F1、或背景帧F1=FB。由单元45形成的图像的所关注区域中存在荧光信号,在所关注区域内选择M个像素PN,其中N=1、…、M,这些像素在图像平面上的坐标xy为[xi,yi]。
接下来,实施激发光束5的波前配置的优化步骤,以使来自样品20的表面的荧光信号最大化,从而产生增强的散斑颗粒。近来,波前的优化算法已经被实施成将光聚焦在无序散斑方案的单个颗粒上,如以下论文所示,例如:Vellekoop,I.M.等人的论文“Exploitingdisorder for perfect focusing”,Nature photonics 4,320-322(2010);Vellekoop,I.M.等人的论文“Focusing coherent light through opaque strongly scatteringmedia”,Optics letters 32,2309-2311(2007);以及Di Battista,D.等人的“Enhancedadaptive focusing through semitransparent media”,Scientific reports 5,17406(2015)。藉由许多条不同光路通过相长干涉,藉由空间光调制器例如数字微镜器件通过反馈回路对激发光束波前的配置进行整形、即处理激发光束波前的相位或振幅来产生通过这种算法获得的光焦点,如以下论文所示,例如:Vellekoop,I.和Mosk,A.的论文“Phasecontrol algorithms for focusing light through turbid media”,Opticscommunications 281,3071-3080(2008);以及Akbulut,D.等人的论文“Focusing lightthrough random photonic media by binary amplitude modulation”,Optics express19,4017-4029(2011)。在根据本发明的方法的优选实施例中,激发光束的波前的优化包括光束5的初步缩小阶段,以便均匀地照射表面的DMD调制单元10的有效区域。换言之,由被光束5照射的DMD调制单元10的缩小图像来照射样品。接下来,选择M个像素PN之一作为目标像素,其中N=1、…M,并且通过调制单元10改变撞击样品20的波前的配置,直到与该像素有关的荧光信号的强度最大化为止,如下详细所述。
将第一初始图像F1设置为目标像素PN参考图像F参考,将第一初始图像F1的目标像素PN第一强度IPN 1设置为目标像素PN参考强度IPN 参考,并且将波前的第一初始配置C1设置为参考配置C1=C参考。DMD调制单元10被组装在p×q个区段或微镜中,每个区段或微镜都能够采取多个V=2取向之间的取向。在本发明的进一步的实施例中,每个微镜可以采取大于二的取向,即V≥2。DMD的随机选择的微镜m的取向变化,从而撞击样品的波前呈现与第一配置不同的第二配置C2,C2≠C1,并且采集第二图像F2。将第二图像F2的目标像素PN第二强度IPN 2与目标像素PN参考强度IPN 参考进行比较。如果第二强度IPN 2大于参考强度IPN 参考,则微镜m的取向变化以及因此波前的第二配置被接受。因此,我们假设它们之间的较大强度作为参考强度,即IPN 参考=IPN 2,对其而言我们具有较大强度的配置作为波前的参考配置,即C参考=C2,并且将其中目标像素PN强度较大的图像作为参考图像,即F参考=F2。如果第二强度IPN 2小于参考强度IPN 参考,则这种变化不被接受,并且微镜m的先前取向以及因此波前的先前配置被恢复。在后一种情况下,参考强度和参考配置以及参考图像保持不变。
随后,改变随机选择的微镜n的取向,其中n≠m,从而撞击样品的波前呈现第三配置C3,并且采集第三图像F3。将第三图像F3的目标像素PN第三强度IPN 3与参考强度IPN 参考进行比较。如果第三强度IPN 3大于参考强度IPN 参考,则微镜n的取向变化以及因此波前的第三配置C3被接受。因此,我们假设它们之间的较大强度作为参考强度,即IPN 参考=IPN 3,对其而言我们具有较大强度的配置作为波前的参考配置,即C参考=C3,并且将其中目标像素PN强度较大的图像作为参考图像,即F参考=F3。如果第三强度IPN 3小于参考强度IPN 参考,则这种变化不被接受,并且微镜n的先前取向以及因此波前的先前配置被恢复。在后一种情况下,参考强度和参考配置保持不变。
对于所关注区域的每个目标像素(即,对于M个目标像素PN中的每个目标像素),对于DMD调制单元10的Q个微镜,重复上述过程。在该方法的优选实施例中,Q大于或等于60。总体而言,对于每个目标像素,激发光束波前的V×Q个配置撞击在样品上。
波前配置的优化步骤减小了散射样品图像的散斑颗粒的尺寸S。获得尺寸减小的散斑颗粒,并且使其独立于聚焦光学器件的光学孔径。
诸位发明人已经进行了实验以观察由非散射样品散射的相干光和由散射样品散射的相干光。已经使用图1的装置在没有光谱滤光器50并且将光阑35放置在分束器40之前以不影响收集光学器件的分辨率的情况下进行了实验。
图2示出了在对非散射样品和散射样品进行上述波前配置的优化步骤结束时获得的激发相干光束5的焦点图像。具体地,对于由光阑35确定的聚焦光学器件的数值孔径NA等于0.03的同一值,图2a示出了在抛光玻璃样品(非散射样品)上获得的光焦点图像,而图2b示出了在乙醇悬浮液中制备并沉积在载玻片上的60μm厚的商用TiO2二氧化钛层(SIGMAALDRICH产品224227)(散射样品)上获得的光焦点图像。已经利用测隙规对层厚度进行调整。
可以观察到,散射样品的散斑颗粒的平均尺寸S约为λ/2n=150nm。波前配置优化是使用被分成11×11个方形区段的DMD Vialux Discovery 4100进行的,每个方形区段具有70微米(μm)的边尺寸。在实验中,目标像素上每个波前配置的曝光时间范围为2微秒到40微秒(μs),并且针对每个目标像素对60个微镜执行波前配置的优化步骤。图2a和图2b示出了通过波前配置的优化步骤而在光滑表面上获得的光焦点的尺寸远大于在散射表面上获得的光焦点的尺寸。图2c示出了图2a的光焦点(实心点)和图2b的光焦点(空心点)的以任意单位的强度曲线,从中通过高斯拟合(连续线)获得了激发光束5的测得束腰(MW)值,相对于同一理论束腰(TW)5.7,抛光玻璃样品上等于5.95,散射样品上等于1.45。
另外,当装置的数值孔径NA变化、从而调整光阑的直径D时,诸位发明人进行了相同的实验。图2d示出了作为光阑的直径D的函数在抛光玻璃样品和散射样品上光束5的束腰尺寸(以微米(μm)为单位),并且它们已经与预期理论值(连续线)进行了比较。明显的是,散射样品上的光焦点的尺寸与数值孔径NA无关。
在波前配置的优化步骤结束时,获得最终图像F最终(IPN 最大),其中目标像素PN的局部最大荧光发射在所关注区域内,其中由于在优化结束时确定的波前配置,IPN 最大只是目标像素PN中在波前配置的优化步骤结束时获得的最大强度。
随后,该方法继续进行以下步骤:从根据波前配置的优化步骤获得的最终图像F最终(IPN 最大)中减去先前用未调制的激发光束(可选地被缩小)获得的背景图像FB,以便获得图像F散斑(PN),该图像仅包含由下面的(即包含在强度为IPN 散斑的像素[xN,yN]中的)散斑颗粒产生的(即排他地包含来自于其的荧光信号的)光。换言之,获得样品的图像,其中存在单个照明斑点,对应于经优化的散斑,即强度大于周围散斑强度的散斑。由于收集光学器件进行卷积的有限的光学分辨率,下面的散斑颗粒以大于其实际延伸尺寸的尺寸显现在成像单元45上(参见图3a的图像)。
接下来,对散斑颗粒进行超定位,即在xy平面上的坐标(XN,YN)以及最终对应的光焦点的强度IN在定位步骤中通过用具有自由中心坐标的高斯函数拟合进行优化。在定位步骤结束时,FN图像被重建而包含高斯强度分布,该高斯强度分布具有中心坐标(XfN,YfN)、强度IfN、以及束腰,该束腰等于样品中在经优化的分辨率下散斑颗粒的平均尺寸S。因此,关于散射样品的散斑颗粒的尺寸S的知识需要获得根据本发明的方法的最终高分辨率图像。该尺寸可以从公式S=λ/n得出,或者可以通过实验计算出,例如根据作为距离的函数的散斑颗粒的G个采集图像的强度的自相关(如稍后将参照图6所述)。
然后,对属于所选区域的M个目标像素中的每一个目标像素重复波前配置的优化步骤、减法步骤、以及定位和重建步骤。
图3示出了由该方法的上述步骤产生的图像。图(c1)(其一个详细部分在(a)中示出)、图(C2)和图(C3)示出了散射样品的具有三个不同局部最大值的图像,这些图像是针对三个不同的目标像素通过该方法的优选实施例的波前配置的优化步骤而获得的。图(d1)(其一个详细部分在(b)中示出)、图(d2)和图(d3)示出了根据从对应图像(c1)、(C2)和(C3)减去背景图像的步骤和通过高斯拟合的定位步骤而重建的图像。在图3的中心图中象征性地勾画了该方法的上述步骤,其中与平面xy正交的轴线表示目标像素PN的索引N。散射样品的最终高分辨率图像(f)在该方法的最后一步中获得,在该方法的最后一步中,将从N个重建图像中获得的所有信息都报告在单个图像中。为了比较,还示出了图像(e),以及沿着一条线的图像(e)和(f)的强度曲线(g)和(h),所述图像(e)通过将用调制单元10的不同配置优化(但不是超定位)的光焦点的图像相加而获得。
在该方法的优选实施例中,针对每个像素N依次执行优化步骤、减法步骤和定位步骤。在其他实施例中,可以针对每个像素N执行优化步骤,然后可以对从优化步骤输出的每个图像实施减法步骤和定位步骤,或者可以对从优化步骤输出的每个图像实施减法步骤,然后可以针对由减法步骤得到的每个图像实施定位步骤。
本发明的诸位发明人已经使用图1的装置进行了实验,这些实验已经证明了关于图3描述的方法的优选实施例的可靠性。图4示出了在两个商用荧光珠(直径为0.5μm,Spherotech FP-00556-2)上的第一实验的结果,所述荧光珠坐置在二氧化钛层(前面参照图2所述的实验中已使用)的样品上。图4a示出了在不应用根据本发明的方法的情况下以低数值孔径NA和等于约1.3μm的低光学分辨率r采集的第一图像。图4b示出了通过应用根据本发明的方法在物镜的同一数值孔径NA的情况下获得的相应的重建图像。在图4a的图像中,这两个荧光珠显示为单一细长形结构,相比之下,图4b的重建图像中,这两个荧光珠显示为分开的并且清晰地区分。图4c展示了图4a和图4b的沿着同一虚线的/沿着两个荧光珠示出的强度曲线。从图4b、图4c中,通过根据本发明的方法获得的图像的分辨率被计算出等于约150nm,其与二氧化钛散射样品中的散斑颗粒的预期尺寸一致。
通过减小物镜的数值孔径NA和光学分辨率r(关闭光阑,光学分辨率r首先变为约1.7μm,然后变为约2.2μm),可通过实施根据本发明的方法将这两个荧光珠清楚地区分,如图4e和图4h的图像以及在图4f和图4i的虚线/上的相对强度曲线所示。为了比较,在图4d和图4g中示出了在没有实施该方法的情况下以相同的数值孔径采集的图像,并且在图4f和图4i中示出了在相同的虚线/上的相对曲线。
为了证明根据本发明的方法在标准半透明生物系统上的可行性,诸位发明人对来源于患有阿尔茨海默病(3x Tg-AD)的小鼠的脑切片进行第二实验,以检测是否存在β-淀粉样蛋白斑块,这些斑块的信号使用与尼罗红接合的二次抗体来检测。动物来源的样品是根据欧洲指令2010/63/EU和相关的意大利2014年3月4日通过的第26号立法实施法令获得的。图5l、图5m和图5n中分别示出了高分辨率图像(以0.75NA物镜获得)和低分辨率(通过将NA降低至0.21获得)图像、以及以低分辨率(即NA等于0.21)实施该方法重建的图像。
诸位发明人已经计算出200nm的分辨率(与样品中散斑颗粒的测得尺寸S一致),对应地,与由收集光学器件给出的理论分辨率相比增加了六倍。在其结果记录在图4和5中的实验中,使用了散射样品的散斑颗粒的尺寸S的计算值。诸位发明人收集了针对TiO2层(等于图4的图像所示)的散斑颗粒的G=100个图像和患有阿尔茨海默病的小鼠脑的250μm切片(等于图5的图像所示)。他们计算了作为距离的函数的强度的自相关,其曲线图分别示出在图6a和图6b中。通过自相关函数的中心最大值的高斯拟合,获得散斑颗粒的尺寸S的值,分别等于STiO2=146±3nm和S=195±7nm。
通过自相关函数的中心最大值的高斯拟合,获得散斑颗粒的尺寸S的值,分别等于STiO2=146±3nm和S=195±7nm。
在上文中,已经描述了优选实施例并且已经提出了本发明的变型,但是应当理解,本领域技术人员可以做出变型和改变,而不脱离本发明的由所附权利要求限定的保护范围。

Claims (9)

1.一种荧光显微术方法,包括以下步骤:
A.用相干激发光束(5)照射包括一个或多个荧光发射体的散射样品,所述相干激发光束的波前具有第一初始配置C1以激发所述散射样品中所包括的所述一个或多个荧光发射体;
B.通过像素成像单元(45)采集与所述散射样品的背景图像对应的第一初始图像F1,F1=FB,从而获得散斑颗粒图像;
C.选择坐标为[xN,yN]的M个目标像素PN,所述M个目标像素PN属于所述第一初始图像F1的具有至少一个荧光发射体的荧光信号的区域,其中N=1、…、M,所述M个目标像素PN中的每个目标像素均具有第一初始强度
Figure FDA0002682263040000011
D.针对所述M个目标像素PN中的每个目标像素,优化所述波前的所述第一初始配置,以便减小所述第一初始图像F1的散斑颗粒尺寸,并且获得所述散射样品的最终图像F最终(IPN 最大),所述最终图像F最终(IPN 最大)具有所述荧光信号的局部最大值IPN 最大,所述局部最大值对应于所述目标像素PN的最大强度;
E.针对所述M个目标像素PN中的每个目标像素,从在步骤D获得的所述最终图像F最终(IPN 最大)中减去在步骤B获得的背景的所述第一初始图像FB,针对所述M个目标像素PN中的每个目标像素,获得图像F散斑(PN),所述图像F散斑(PN)仅具有从位于强度为IPN 散斑的像素[xN,yN]处的散斑颗粒而来的荧光信号;
F.针对所述M个目标像素PN中的每个目标像素,用具有自由中心坐标的高斯函数对在步骤E中获得的所述图像F散斑(PN)进行拟合,从而获得xy平面中的坐标(XN,YN)和强度IN
G.针对所述M个目标像素PN中的每个目标像素,生成包含高斯分布的图像FN,所述高斯分布以在步骤F中获得的坐标(XN,YN)为中心并且具有强度IN、并且具有等于所述散射样品的平均散斑颗粒尺寸S的束腰;
H.针对所述M个目标像素PN中的每个目标像素,通过对在步骤G获得的所述M个图像FN求和来生成所述样品的最终图像。
2.根据权利要求1所述的显微术方法,其中,针对所述M个目标像素PN中的每个目标像素,步骤D包括以下子步骤:
D.1-将所述波前的所述第一初始配置C1设置为所述波前的参考配置C1=C参考,将所述第一初始图像F1设置为参考图像F1=F参考,并且将所述第一初始图像F1的所述目标像素PN处的第一强度
Figure FDA0002682263040000021
设置为所述目标像素PN处的参考强度
Figure FDA0002682263040000022
D.2–将以下子步骤循环重复T次,其中T>1:
D.2.1-通过振幅和/或相位调制单元(10)改变所述波前的所述参考配置C参考,以获得所述波前的第i配置Ci
D.2.2-在所述目标像素PN处采集具有第i强度
Figure FDA0002682263040000023
的第i图像Fi
D.2.3-检查在所述目标像素PN处的所述第i强度
Figure FDA0002682263040000024
值是否大于所述参考强度IPN 参考,从而:
如果
Figure FDA0002682263040000025
则将在步骤D.2.1获得的所述波前的所述第i配置Ci接受作为所述波前的所述参考配置C参考,即C参考=Ci,并且设置F参考=Fi
Figure FDA0002682263040000026
Figure FDA0002682263040000027
否则
如果
Figure FDA0002682263040000028
则不接受在步骤D.2.1获得的所述波前的所述第i配置Ci,并且在步骤D.2.1执行的所述改变之前恢复所述波前的所述参考配置C参考
D.3-将所述参考图像F参考设置为所述最终图像F参考=F最终(IPN 最大),将所述参考强度IPN 参考设置为所述目标像素PN处的荧光信号的局部最大值IPN 最大
3.根据权利要求2所述的显微术方法,其中所述振幅和/或相位调制单元(10)是包括p×q微镜矩阵的数字微镜器件(10),并且通过改变所述数字微镜器件(10)的Q≥1个微镜的取向来实施所述步骤D.2.1,从而Q≤p×q,其中每个微镜都能够采取V>2个取向,从而T=V×Q。
4.根据前述权利要求中的任一项所述的显微术方法,其中将所述散射样品的所述平均散斑颗粒尺寸S设置为等于λ/2n,其中λ是所述激发光的波长,并且n是所述样品的折射率。
5.根据权利要求1至3中的任一项所述的显微术方法,其中所述散射样品的所述平均散斑颗粒尺寸S是通过测量作为距离的函数的样品图像强度自相关来计算。
6.根据前述权利要求中的任一项所述的显微术方法,包括在步骤A之前使所述相干激发光束(5)缩小的步骤。
7.一种荧光显微术装置(100),包括波前调制单元(10),所述波前调制单元被配置成接收激发光束(5)并且对所述激发光束进行振幅和/或相位调制,所述装置(100)被配置成用经所述波前调制单元(10)调制的所述激发光束照射样品(20),其中所述装置(100)进一步包括成像单元(45)和控制单元(60),所述成像单元被配置成接收和采集从所述样品(20)发出的荧光光束,所述控制单元连接至所述波前调制单元(10)和所述成像单元(45),其中所述装置(100)被配置成实施根据权利要求1至6中的任一项所述的荧光显微术方法,从而所述控制单元(60)被配置成基于由所述成像单元(45)采集的所述荧光光束来根据步骤D控制所述波前调制单元(10)。
8.根据权利要求7所述的荧光显微术装置(100),其中所述波前调制单元(10)是数字微镜器件(DMD)。
9.根据权利要求7或8所述的荧光显微术装置(100),被配置成实施根据权利要求6所述的方法,所述荧光显微术装置包括相干激发光束(5)缩小单元。
CN201980019390.8A 2018-03-27 2019-03-26 散射辅助超定位显微术方法及相关装置 Active CN111886491B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102018000003984 2018-03-27
IT102018000003984A IT201800003984A1 (it) 2018-03-27 2018-03-27 Metodo di microscopia assistita da dispersione a super localizzazione e relativo apparato
PCT/IB2019/052442 WO2019186393A1 (en) 2018-03-27 2019-03-26 Scattering-assisted super-localization microscopy method and relative apparatus

Publications (2)

Publication Number Publication Date
CN111886491A true CN111886491A (zh) 2020-11-03
CN111886491B CN111886491B (zh) 2023-03-31

Family

ID=62751292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019390.8A Active CN111886491B (zh) 2018-03-27 2019-03-26 散射辅助超定位显微术方法及相关装置

Country Status (6)

Country Link
US (1) US11867893B2 (zh)
EP (1) EP3775850B8 (zh)
JP (1) JP7233437B2 (zh)
CN (1) CN111886491B (zh)
IT (1) IT201800003984A1 (zh)
WO (1) WO2019186393A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740166B2 (en) 2013-03-06 2017-08-22 Hamamatsu Photonics K.K. Fluorescence receiving apparatus and fluorescence receiving method
CN113281305B (zh) * 2021-05-17 2023-04-14 太原理工大学 一种基于散射介质实现超分辨显微成像方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101802675A (zh) * 2007-07-06 2010-08-11 新加坡国立大学 荧光焦点调制显微系统和方法
US20100224796A1 (en) * 2005-09-09 2010-09-09 Jerome Mertz Imaging System Using Dynamic Speckle Illumination
US20120256101A1 (en) * 2011-04-08 2012-10-11 Korea Advanced Institute Of Science And Technology Super-resolution microscopy system using speckle illumination and array signal processing
CN107202780A (zh) * 2017-04-28 2017-09-26 浙江大学 一种基于散斑照明的超分辨显微方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767069B2 (en) 2010-06-30 2014-07-01 Luminex Corporation Apparatus, system, and method for increasing measurement accuracy in a particle imaging device using light distribution
US8274656B2 (en) 2010-06-30 2012-09-25 Luminex Corporation Apparatus, system, and method for increasing measurement accuracy in a particle imaging device
US10908403B2 (en) 2011-02-14 2021-02-02 European Molecular Biology Laboratory (Embl) Light-pad microscope for high-resolution 3D fluorescence imaging and 2D fluctuation spectroscopy
DE102015101251A1 (de) * 2015-01-28 2016-07-28 Carl Zeiss Ag Optische Kohärenztomographie zur Messung an der Retina
WO2019106614A1 (en) * 2017-11-30 2019-06-06 Fondazione Istituto Italiano Di Tecnologia Method of lightnening at least one biological sample, three-dimensional high resolution depletion microscopy method and corresponding microscope

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100224796A1 (en) * 2005-09-09 2010-09-09 Jerome Mertz Imaging System Using Dynamic Speckle Illumination
CN101802675A (zh) * 2007-07-06 2010-08-11 新加坡国立大学 荧光焦点调制显微系统和方法
US20120256101A1 (en) * 2011-04-08 2012-10-11 Korea Advanced Institute Of Science And Technology Super-resolution microscopy system using speckle illumination and array signal processing
CN107202780A (zh) * 2017-04-28 2017-09-26 浙江大学 一种基于散斑照明的超分辨显微方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IZEDDIN I ET AL: "PSF shaping using adaptive optics for three-dimensional single-molecule super-resolution imaging and tracking", 《OPTICS EXPRESS》 *

Also Published As

Publication number Publication date
EP3775850B8 (en) 2022-01-19
JP7233437B2 (ja) 2023-03-06
EP3775850B1 (en) 2021-09-22
JP2021519448A (ja) 2021-08-10
CN111886491B (zh) 2023-03-31
EP3775850A1 (en) 2021-02-17
US20210063721A1 (en) 2021-03-04
IT201800003984A1 (it) 2019-09-27
US11867893B2 (en) 2024-01-09
WO2019186393A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
US9871948B2 (en) Methods and apparatus for imaging with multimode optical fibers
JP6360825B2 (ja) 結像光学系、照明装置および観察装置
JP2946466B2 (ja) 顕微方法及び装置
US20100224796A1 (en) Imaging System Using Dynamic Speckle Illumination
EP2653903A1 (en) Plasmonic microscopy
JP2017504836A (ja) 三次元イメージングシステムおよび方法
WO2015178420A1 (ja) 光刺激装置及び光刺激方法
US10018818B2 (en) Structured standing wave microscope
WO2020013208A1 (ja) ホログラフィック3次元マルチスポット光刺激装置及び方法
CN217279110U (zh) 用于共聚焦内窥镜的光学成像系统以及共聚焦内窥镜
CN111886491B (zh) 散射辅助超定位显微术方法及相关装置
CN110220875B (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
JP7016361B2 (ja) 眼底の蛍光分析のための空間的超解像装置
US20090116024A1 (en) Method for obtaining a high resolution image
US20240045188A1 (en) Confocal microscope with photon re-allocation
US10852696B2 (en) Device and method allowing observation of an object with a large field of observation without use of magnifying optics between a light source and the object
CN109557653A (zh) 一种基于算法恢复的差分共聚焦显微成像方法和装置
KR102272366B1 (ko) 위상 정보 추출과 입체 영상 구성 방법 및 장치
EP3853651B1 (en) Confocal laser scanning microscope configured for generating line foci
Sheppard Scanning confocal microscopy
KR101637183B1 (ko) 뉴런이 고정된 하이퍼렌즈, 뉴런 고정 장치 및 하이퍼렌즈에 뉴런을 고정하는 방법
Leonetti et al. Scattering-assisted localization microscopy
KR102469852B1 (ko) 집적 영상 현미경의 조명계 시스템
US20240231068A9 (en) High effective refractive index materials for ultra-high resolution illumination nanoscopy
Dey Synthetic Aperture Optical Imaging Interferometric Microscopy with Improved Image Quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220315

Address after: Italy, Rome

Applicant after: Life science progress Co.,Ltd.

Applicant after: FONDAZIONE ISTITUTO ITALIANO DI TECNOLOGIA

Address before: Italy, Rome

Applicant before: Summit optics Ltd.

Applicant before: FONDAZIONE ISTITUTO ITALIANO DI TECNOLOGIA

GR01 Patent grant
GR01 Patent grant