CN109557653A - 一种基于算法恢复的差分共聚焦显微成像方法和装置 - Google Patents

一种基于算法恢复的差分共聚焦显微成像方法和装置 Download PDF

Info

Publication number
CN109557653A
CN109557653A CN201811561042.7A CN201811561042A CN109557653A CN 109557653 A CN109557653 A CN 109557653A CN 201811561042 A CN201811561042 A CN 201811561042A CN 109557653 A CN109557653 A CN 109557653A
Authority
CN
China
Prior art keywords
result
sample
light
confocal
polarized light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811561042.7A
Other languages
English (en)
Other versions
CN109557653B (zh
Inventor
匡翠方
王晓娜
黎文柔
刘旭
李海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201811561042.7A priority Critical patent/CN109557653B/zh
Publication of CN109557653A publication Critical patent/CN109557653A/zh
Application granted granted Critical
Publication of CN109557653B publication Critical patent/CN109557653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于算法恢复的差分共聚焦显微成像方法和装置，属于光学成像技术领域，通过普通的共聚焦显微技术对样品进行成像，得到样品在轴向位置的第一幅二维图像；然后，对入射的光束进行相位调制，得到中空的光束，使用中空的光束对样品进行共聚焦成像，得到该轴向位置的第二幅二维图像。然后使用盲卷积的算法，将两幅图像恢复。通过一个较小的相减系数，从恢复后图像减去第二幅图像，得到一个具有很小的负值较小的相减结果，将结果中的负值进行归零之后，可以得到该轴向位置的二维图像的最终结果。随后，改变成像的轴向位置，得到多幅二维图像，对这些图像进行三维重构。相减后产生的负值较小，减少了由于负值归零造成的有效信息的丢失。

Description

一种基于算法恢复的差分共聚焦显微成像方法和装置
技术领域
本发明涉及光学成像技术领域，具体地说，涉及一种基于算法恢复的差分共聚焦显微成像方法和装置。
背景技术
1957年，美国科学家马文·闵斯基最早提出了共聚焦显微技术，并为其申请了专利，随着相关技术的发展，共聚焦显微技术也逐步发展成熟，目前已经成为生命科学领域最为常用的研究工具之一。
虽然相较于传统的宽场显微技术，共聚焦显微技术在各个方向上的分辨率都有所提高，但是它仍旧无法突破衍射极限的限制。而随着生物研究的不断深入，对样品细微结构的研究需求，对光学显微镜的分辨率提出了更高的要求，促使了一系列超分辨显微成像技术的发展，如受激发射损耗荧光显微技术(STED)、基态耗尽显微技术(GSD)、可逆饱和光转移荧光显微技术(RESOLFT)、随机光学重建显微技术(STORM)等。
以上显微技术虽然成功地突破了衍射极限，但也存在一定的缺点：它们的光学系统相对复杂、设备昂贵；只能对特定的荧光分子进行成像，对样品具有特定的要求；对样品的光漂白和光毒性较强。
而差分的方法克服了上述的缺点，为共聚焦显微技术的分辨率提高提供了一种新的出路。在这种方法中，先后使用高斯光束和中空的光束对样品中的荧光进行激发，产生两个图像，再将这两幅图像以一定的相减系数做减法，得到最终的成像结果。这种方法的优势在于：它可以通过对原本的成像系统进行简单改造实现，成本较低；它的计算也十分简单，只需要进行简单的减法；它对荧光染料也没有特定的要求，适用范围更广。
但是在两幅图像在相减的过程中，会产生一定的负值，随着分辨率提高，负值也会相应地增大。一般而言，我们将这些负值简单地归零，来避免最终结果中的负成像强度。但是，这种方法会丢失一部分有效信息，甚至可能造成最后成像结果的扭曲变形。
发明内容
本发明的目的为提供一种基于算法恢复的差分共聚焦显微成像方法，利用该方法可以减小普通差分方法中负值归零造成的信息丢失。
本发明的另一目的为提供一种基于算法恢复的差分共聚焦显微成像装置，该装置用于实现上述差分共聚焦显微成像方法。
为了实现上述目的，本发明提供的基于算法恢复的差分共聚焦显微成像方法包括以下步骤：
1)激光光束进入共聚焦荧光显微镜光路中，通过振镜对样品进行轴向扫描，对样品各扫描位置进行成像，得到样品的二维共聚焦成像结果Iconfocal；
2)在共聚焦荧光显微镜的照明光路中，对激光光束进行相位调制，在垂直于光轴的截面上形成中空光斑，利用步骤1)的方法得到样品的二维中空光束成像结果Idonut；
3)使用盲卷积算法对二维共聚焦成像结果Iconfocal和二维中空光束成像结果Idonut进行恢复，得到恢复后的图像Irestored；
4)使用相减系数αs，从图像Irestored中减去中空光束成像结果Idonut，并将得到的结果中的负值归零，得到最终二维图像Ifinal，即
5)控制共聚焦荧光显微镜的物镜以一定的步长沿光轴移动，在每一个移动位置重复步骤1)～4)，得到相应移动位置的最终二维图像；
6)将步骤5)中所有移动位置的最终二维成像结果进行三维重构，得到样品的三维成像结果。
上述技术方案中，通过普通的共聚焦显微技术对样品进行成像，得到样品在轴向位置的第一幅二维图像；然后，对入射的光束进行相位调制，得到中空的光束，使用这个中空的光束对样品进行共聚焦成像，得到该轴向位置的第二幅二维图像。然后使用盲卷积的算法，将这两幅图像恢复，得到恢复的图像。通过一个较小的相减系数，从恢复后图像减去第二幅图像(即背景信号)，得到一个具有很小的负值较小的相减结果，将结果中的负值进行归零之后，就可以得到该轴向位置的二维图像的最终结果。随后，通过移动物镜，改变成像的轴向位置，得到多幅二维图像，对这些图像进行三维重构。这种方法，相减后产生的负值较小，减少了由于负值归零造成的有效信息的丢失。
本发明的步骤2)中，可以使用空间光调制器或相位掩膜板对激光光束进行0-2π的涡旋相位调制。
当使用空间光调制器对激光光束进行0-2π的涡旋相位调制时，空间光调制器的入射光路上设有满足空间光调制器对光束的偏振要求的偏振片，以满足空间光调制器对光束的偏振要求，激光器出射的光束经过单模光纤滤波之后，再经过准直透镜扩束，然后通过偏振片转化为线偏振光，入射到空间光调制器上。且入射到空间光调制器上的偏振光束的入射方向与调制平面的法线方向之间的夹角小于5°，经过空间光调制器进行相位调制后的激光光束，沿光路被物镜聚焦到样品上。
使用空间光调制器进行相位调制，为了获得步骤1)中的共聚焦成像结果Iconfocal，需要在空间光调制器上加载一个全部为0相位的图案；为了获得步骤2)的中空光束成像结果Idonut，需要在空间光调制器上加载一个0-2π的涡旋相位图案，在成像过程中，通过控制器控制这两个图案的图像切换。
当使用相位掩膜板对激光光束进行0-2π的涡旋相位调制时，在激光光束的光路上设置两个偏振分束镜，激光光束经过第一个偏振分束镜时，垂直偏振光被反射，平行偏振光穿过，被反射的垂直偏振光被相位掩模板调制成中空光束；平行偏振光与垂直偏振光在第二个偏振分束镜处进行合束。在垂直偏振光和平行偏振光的光路中各加入一个控制光路通断的电控开关。
激光光束经过第一个偏振分束镜，垂直偏振光(s光)被反射，平行偏振光(p光)穿过。被反射的垂直偏振光(s光)被具有0-2π涡旋的相位分布的相位掩模板调制，然后到达第二个偏振分束镜，被该分束镜反射，穿过第一个偏振分束镜的平行偏振光(p光)，穿过第二个偏振分束镜。
为了获得步骤1)中的共聚焦成像结果Iconfocal，需要打开平行偏振光(p光)路中的电控开关，同时关闭垂直偏振光(s光)路中的电控开关；为了获得步骤2)的中空光束成像结果Idonut，需要打开垂直偏振光(s光)路中的电控开关，同时关闭平行偏振光(p光)路中的电控开关，通过控制器对这两路开关的控制，实现高斯光束和中空光束的切换。
步骤3)中，使用盲卷积算法对二维共聚焦成像结果Iconfocal和二维中空光束成像结果Idonut进行恢复的迭代过程如下：
其中，o1表示通过二维共聚焦成像结果恢复得到的物的结果，o2表示通过二维中空光束成像结果恢复得到的物的结果，o表示将共聚焦和中空光束成像联合恢复的结果，or是o沿着中心转动180°的结果；psfc表示共聚焦的点扩散函数，psfcr是psfc沿着中心转动180°的结果；psfd是中空光束的点扩散函数，psfdr是psfd沿着中心转动180°的结果；Iconfocal是步骤1)中得到的二维共聚焦的成像结果，Idonut是步骤2)中得到的二维中空光束的成像结果；t表示迭代的次数；normalized表示归一化计算。
通过一定次数的迭代后，得到的o的强度分布就是最后恢复的得到的结果，也即Irestored＝o。
步骤4)中，选择的相减系数αs远小于传统的差分方法中的相减系数，可以极大地减小相减产生的负值，避免了在之后归零过程中，产生大量的有效信息的丢失。
本发明提供的基于算法恢复的差分共聚焦显微成像装置，可用于实现上述差分共聚焦显微成像方法，其包括发出激光光束的光源，沿激光光束的光路上依次设有：
光源，发出激光光束；
相位调制组件，对激光光束进行相位调制；
二向色镜，将激光光束分出一条探测光路，该探测光路上设置有用于收集样品所发出荧光强度的光电二极管；
振镜，对样品进行扫描；
物镜，将激光光束聚焦到样品上。
其中一个优选的方案为，相位调制组件包括空间光调制器和设置在所述空间光调制器的入射光路上的偏振片。
另一个优选的方案为，相位调制组件包括将激光光束分成垂直偏振光和平行偏振光的第一偏振分束镜，设置在所述垂直偏振光的光路上的相位掩膜板，以及对所述垂直偏振光和所述平行偏振光进行合束的第二偏振分束镜。
本发明的原理如下：
传统的共聚焦显微技术，分辨率有限，而用来提高共聚焦显微技术的差分方法，先使用实心光束扫描样品，得到第一幅图像，然后再使用空心光束扫面样品，得到第二幅图像，然后再将这两幅图像以一定的相减系数做减法，在相减的过程中产生一定的负值，虽然在最后的处理结果中，会将负值进行归零处理，但是这也会造成信息丢失。
在本发明中，仍旧是分别使用实心光束和空心光束扫描样品，得到两幅图像。不同于差分的方法，本发明使用盲卷积的算法，将这两幅图像联合起来进行恢复，恢复后的图像，分辨率高于传统共聚焦成像结果。然后，使用与传统差分方法类似的办法，减去恢复后的图像中的背景信息，但是，在本发明的相减过程中，选择的减法系数远远小于传统差分方法的减法系数，因此产生的负值也远小于传统的差分方法。所以，在最后对负值进行归零处理的过程中，产生的信息丢失也被大大减少。
与现有技术相比，本发明的有益效果为：
本发明提高了共聚焦荧光显微技术的分辨率；减小了传统的差分方法中，负值归零造成的有效信息的损失。
附图说明
图1为本发明实施例1的基于算法恢复的差分共聚焦显微成像装置的结构示意图；
图2为本发明实施例2的基于算法恢复的差分共聚焦显微成像装置的结构示意图；
图3为本发明实施例1的空间光调制器或实施例2的相位掩模板上的相位分布示意图：(a)为空间光调制器上加载的全零位的相位分布图，(b)为0-2π的涡旋相位调制图案；
图4为本发明的激光光束在垂直于光轴的截面方向的光强分布图：(a)为没有经过相位调制的普通高斯光束光强分布，(b)为经过0-2π的涡旋相位调制后，形成的中空光束的光强分布；
图5为传统共聚焦方法和本发明方法沿着X方向的归一化光强曲线；
图6为传统差分方法和本发明中方法，在没有经过归零处理之前，沿着X轴方向的归一化光强曲线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。
实施例1
参见图1，本实施例的基于算法恢复的差分共聚焦显微成像装置包括：激光器1，单模光纤2，扩束透镜3，偏振片4，第一反射镜5，空间光调制器6，二向色镜7，振镜8，扫描透镜9，管透镜10，第二反射镜11，纳米定位平台12，物镜13，样品14，滤光片15，凸透镜16，针孔17，多模光纤18，雪崩光电二极管19，控制器20。其中，偏振片4和空间光调制器6构成本实施例的相位调制组件。
激光器1发出激光光束；单模光纤2对发出的激光光束进行滤波；扩束透镜3对滤波后的激光光束进行扩束准直；偏振片4将激光光束转换为线偏振光；第一反射镜5通过反射改变激光光束的方向，使其入射的方向和空间光调制器6的法线方向之间的角度小于5°；空间光调制器6上加载相位调制图案对入射的激光光束进行相位调制，在进行共聚焦扫描的时候，空间光调制器6上加载的全零的相位图案如图3(a)所示，调制后的光束在垂直于光轴的截面方向光强分布如图4(a)所示，在使用中空光束进行扫描的时候，空间光调制器6上加载的0-2π涡旋的相位图案如图3(b)所示，调制后的光束在垂直于光轴的截面方向光强分布如图4(b)所示。二向色镜7反射被空间光调制器6调制过的光束，透射样品发出的荧光；振镜8能够进行二维扫描，使到达样品上的光点在XY方向上移动，扫描成像；扫描透镜9、管透镜10对光束进行聚焦和扩束，实现对光束大小的调整；第二反射镜11对光束进行反射，改变光束的方向；纳米定位平台12载上物镜13沿着Z轴移动，从而使激光聚焦在样品的不同轴向位置；物镜13将激光聚集到荧光样品上，同时收集样品被激发发出的荧光；滤光片15过滤掉杂散光；凸透镜16对荧光进行聚焦；针孔17对收集到的荧光进行空间滤波；多模光纤18能够耦合通过针孔17的光子，并连接到雪崩光电二极管19上；雪崩光电二极管19用于探测收集到的荧光强度，并将信息传递到控制器20上；控制器20控制空间光调制器6上的相位图的切换，振镜8的扫描，纳米平台12沿着Z轴的移动，以及对雪崩光电二极管19收集到的光强信号进行处理。
采用上述装置对样品进行三维成像的过程如下：
S101激光器1发出的激光光束，经过单模光纤2滤波之后，通过扩束透镜3被扩束准直，准直之后的光束经过偏振片4变为线偏振光，然后经过第一反射镜5转变光束方向。
S102方向改变之后的光束，以小于5°的角度入射到空间光调制器6上，被上面加载的相位调制图案进行调制，当进行共聚焦扫描时，空间光调制器6加载的相位图案如图3(a)所示，调制后的光束在垂直于光轴的截面方向光强分布如图4(a)所示。
S103经过空间光调制器6调制后的光束到达二向色镜7上，被二向色镜7反射之后，到达振镜8，然后经过扫描透镜9和管透镜10对光束大小调整之后，被第二反射镜11反射，被物镜13被聚焦到样品14上。
S104样品14被激光光束激发出荧光，然后被物镜13收集，经过第二反射镜11反射，在经过管透镜10和扫描透镜9调整光束大小，然后被振镜8反射，再透过二向色镜7，经过滤光片15过滤，再被凸透镜16聚焦，然后被针孔17空间滤波。
S105通过针孔的光子被耦合到多模光纤18中，多模光纤18连接到雪崩光电二极管19上，经由雪崩光电二极管19采集得到荧光信号的强度，被传递到控制器20上。
S106使用控制器20控制振镜8的振动，使到达样品14上的光束沿着XY方向扫描，得到使用共聚焦光束扫描的样品XY平面二维光强分布Iconfocal。
S107使用控制器20控制空间光调制器上的图案切换，使其上加载如图3(b)所示的0-2π涡旋相位图案，得到如图4(b)所示的光强分布，通过振镜8的扫描，得到中空光束扫描样品的XY平面的二维光强分布Idonut。
S108对共聚焦成像结果Iconfocal和中空光束成像结果Idonut使用盲卷积的算法进行恢复，具体的迭代过程如下：
其中，o1表示通过二维共聚焦成像结果恢复得到的物的结果，o2表示通过二维中空光束成像结果恢复得到的物的结果，o表示将共聚焦和中空光束成像联合恢复的结果，or是o沿着中心转动180°的结果；psfc表示共聚焦的点扩散函数，psfcr是psfc沿着中心转动180°的结果；psfd是中空光束的点扩散函数，psfdr是psfd沿着中心转动180°的结果；Iconfocal是步骤1)中得到的二维共聚焦的成像结果，Idonut是步骤2)中得到的二维中空光束的成像结果；t表示迭代的次数；normalized表示归一化计算。
通过一定次数的迭代后，得到的o的强度分布就是最后恢复的得到的结果，也即Irestored＝o。
S109使用一个较小的相减系数αs，从恢复后得到的Irestored的图像中，减去背景信号Idonut，然后将得到的结果中的负值归零，得到该轴向位置最终的二维图像Ifinal，也即
S1010在得到该轴向位置的二维图像后，使用控制器20控制纳米定位平台12沿着Z轴移动，物镜13被纳米定位平台12带动沿着Z轴移动，光束聚焦的轴向位置发生改变，可以得到不同轴向位置的二维图像，经过控制器20的重构，可以得到样品的三维成像结果。
实施例2
参见图2，本实施例的基于算法恢复的差分共聚焦显微成像装置包括：激光器1，单模光纤2，扩束透镜3，第一偏振分束镜21，第一电控开关22，第二偏振分束镜23，第一反射镜24，第二电控开关25，相位掩模板26，第二反射镜27，二向色镜7，振镜8，扫描透镜9，管透镜10，第三反射镜11，纳米定位平台12，物镜13，样品14，滤光片15，凸透镜16，针孔17，多模光纤18，雪崩光电二极管19，控制器20。其中，第一偏振分束镜21、第一电控开关22、第二偏振分束镜23、第一反射镜24、第二电控开关25、相位掩模板26和第二反射镜27构成本实施例的相位调制组件。
激光器1发出激光光束；单模光纤2对发出的激光光束进行滤波；扩束透镜3对滤波后的激光光束进行扩束准直；第一偏振分束镜21将激光光束分为两路，反射垂直偏振光(s光)，透过平行偏振光(p光)。
第一电控开关22、第二电控开关25，被控制器20控制，第一电控开关22打开的时候，第二电控开关25关闭，透射平行偏振光(p光)通过下半部分的光路，不经过相位掩模板，该光束的光强分布如图4(a)所示；第一电控开关22关闭的时候，第二电控开关25打开，被反射的垂直偏振光(s光)通过上半部分的光路，经过0-2π涡旋相位掩模板，经过相位调制之后，形成空心光束，如图4(b)所示。
第一反射镜24，改变光束方向；相位掩模板26，相位分布如图3(b)所示，能够对入射光束进行相位调制，使其变成中空光束；第二偏振分束镜23，反射垂直偏振光(s光)，透过平行偏振光(p光)；二向色镜7反射激光光束，透过样品发出的荧光；振镜8能够进行二维扫描，使到达样品上的光点在XY方向上移动，扫描成像；扫描透镜9、管透镜10对光束进行聚焦和扩束，实现对光束大小的调整；第三反射镜11反射对光束进行反射，改变光束的方向；纳米定位平台12带动物镜13沿着Z轴移动，从而使激光聚焦在样品的不同轴向位置；物镜13将激光聚集到荧光样品上，同时收集样品被激发发出的荧光；滤光片15过滤掉杂散光；凸透镜16对荧光进行聚焦；针孔17对收集到的荧光进行空间滤波；多模光纤18耦合通过针孔17的光子，并连接到雪崩光电二极管19上；雪崩光电二极管19用于探测收集到的荧光强度，并将信息传递到控制器20上；控制器20控制第一电控开关22和第二电控开关25的开合，振镜8的扫描，纳米平台12沿着Z轴的移动，以及对雪崩光电二极管19收集到的光强信号进行处理。
采用上述装置对样品进行三维成像的过程如下：
S101激光器1中发出的激光光束，经过单模光纤2滤波之后，通过扩束透镜3被扩束准直，然后经过第一偏振分束镜21，被分成两束，垂直偏振光(s光)被反射，进入上半部分光路，平行偏振光(p光)透射，进入下半部分光路。
S102控制器20控制第一电控开关22处于开启状态，第二电控开关25处于关闭状态，平行偏振光(p光)的光路处于导通，而垂直偏振光(s光)的光路关闭，只有平行偏振光(p光)能够继续传播。
S103平行偏振光(p光)继续通过第二偏振分束镜23，到达二向色镜7上，被二向色镜7反射之后，到达振镜8，然后经过扫描透镜9和管透镜10对光束大小调整之后，被第三反射镜11反射，通过物镜13被聚焦到样品14上。
S104样品14被激光激发出荧光，然后被物镜13收集，经过第三反射镜11反射，在经过管透镜10和扫描透镜9调整光束大小，然后被振镜8反射，再透过二向色镜7，经过滤光片15过滤杂散光，再被凸透镜16聚焦，然后被针孔17进行空间滤波。
S105通过针孔17的光子被耦合到多模光纤18中，多模光纤18连接到雪崩光电二极管19上，经由雪崩光电二极管19采集得到荧光信号的强度，被传递到控制器20上。
S106使用控制器20控制振镜8的振动，使到达样品14上的光束沿着XY方向扫描，得到使用共聚焦光束扫描的样品XY平面二维光强分布Iconfocal。
S107使用控制器20控制第一电控开关22和第二电控开关25的开合，使第一电控开关22处于闭合状态，第二电控开关25处于打开状态，平行偏振光(p光)的光路关闭，垂直偏振光(s光)的光路打开，只有垂直偏振光(s光)能够继续传播。垂直偏振光(s光)经过第一偏振分束镜21反射之后，经过第一反射镜24反射，然后再经过被控制器20控制的、处于开启状态的第二电控开关25，在通过相位掩模板26的相位调制，变为中空光束如图4(b)所示，然后被第二反射镜27反射，再被第二偏振分束镜23反射，再通过与平行偏振光(p光)相同的光路到达样品14上，激发样品的荧光并进行收集。
S108通过控制器20控制振镜8的扫描，得到中空光束扫描样品的XY平面的二维光强分布Idonut。
S109对共聚焦成像结果Iconfocal和中空光束成像结果Idonut使用盲卷积的算法进行恢复，具体的迭代过程如下：
其中，o1表示通过二维共聚焦成像结果恢复得到的物的结果，o2表示通过二维中空光束成像结果恢复得到的物的结果，o表示将共聚焦和中空光束成像联合恢复的结果，or是o沿着中心转动180°的结果；psfc表示共聚焦的点扩散函数，psfcr是psfc沿着中心转动180°的结果；psfd是中空光束的点扩散函数，psfdr是psfd沿着中心转动180°的结果；Iconfocal是步骤1)中得到的二维共聚焦的成像结果，Idonut是步骤2)中得到的二维中空光束的成像结果；t表示迭代的次数；normalized表示归一化计算。
通过一定次数的迭代后，得到的o的强度分布就是最后恢复的得到的结果，也即Irestored＝o。
S1010使用一个较小的相减系数αs，从恢复后得到的Irestored的图像中，减去背景信号Idonut，然后将得到的结果中的负值归零，得到该轴向位置最终的二维图像Ifinal，也即
S1011在得到该轴向位置的二维图像后，使用控制器20控制纳米定位平台12沿着Z轴移动，物镜13被纳米定位平台12带动沿着Z轴移动，光束聚焦的轴向位置发生改变，可以得到不同轴向位置的二维图像，经过控制器20的重构，可以得到样品的三维成像结果。
为了验证本发明能够提高传统共聚焦显微技术的分辨率，将传统共聚焦显微技术和本发明使用的方法的点扩散函数沿着X方向的归一化曲线进行对比，如图5所示，将两条曲线的半高全宽进行对比，可以看出本发明使用的方法对传统共聚焦显微技术的分辨率具有提高作用。
同时，为了验证本发明能够减小在传统差分方法中的有效信息丢失，将传统差分方法和本发明使用的方法中，进行负值归零前的点扩散函数沿着X方向的归一化曲线进行对比，如图6所示，可以看到本发明的方法产生的负值远远小于传统差分方法中产生的负值，因此，在进行负值归零处理之后，造成的有效信息的丢失也远小于传统的差分方法。

Claims (10)

1.一种基于算法恢复的差分共聚焦显微成像方法，其特征在于，包括以下步骤：
1)激光光束进入共聚焦荧光显微镜光路中，通过振镜对样品进行轴向扫描，对样品各扫描位置进行成像，得到样品的二维共聚焦成像结果Iconfocal；
2)在共聚焦荧光显微镜的照明光路中，对激光光束进行相位调制，在垂直于光轴的截面上形成中空光斑，利用步骤1)的方法得到样品的二维中空光束成像结果Idonut；
3)使用盲卷积算法对二维共聚焦成像结果Iconfocal和二维中空光束成像结果Idonut进行恢复，得到恢复后的图像Irestored；
4)使用相减系数αs，从图像Irestored中减去中空光束成像结果Idonut，并将得到的结果中的负值归零，得到最终二维图像Ifinal，即
5)控制共聚焦荧光显微镜的物镜以一定的步长沿光轴移动，在每一个移动位置重复步骤1)～4)，得到相应移动位置的最终二维图像；
6)将步骤5)中所有移动位置的最终二维成像结果进行三维重构，得到样品的三维成像结果。
2.根据权利要求1所述的差分共聚焦显微成像方法，其特征在于，步骤2)中，使用空间光调制器对激光光束进行0-2π的涡旋相位调制。
3.根据权利要求2所述的差分共聚焦显微成像方法，其特征在于，在所述空间光调制器的入射光路上设有满足空间光调制器对光束的偏振要求的偏振片，且入射到所述空间光调制器上的偏振光束的入射方向与调制平面的法线方向之间的夹角小于5°。
4.根据权利要求1所述的差分共聚焦显微成像方法，其特征在于，步骤2)中，使用相位掩膜板对激光光束进行0-2π的涡旋相位调制。
5.根据权利要求4所述的差分共聚焦显微成像方法，其特征在于，在激光光束的光路上设置两个偏振分束镜，激光光束经过第一个偏振分束镜时，垂直偏振光被反射，平行偏振光穿过，被反射的垂直偏振光被相位掩模板调制成中空光束；平行偏振光与垂直偏振光在第二个偏振分束镜处进行合束。
6.根据权利要求5所述的差分共聚焦显微成像方法，其特征在于，在所述的垂直偏振光和所述的平行偏振光的光路中各加入一个控制光路通断的电控开关。
7.根据权利要求1所述的差分共聚焦显微成像方法，其特征在于，步骤3)中，使用盲卷积算法对二维共聚焦成像结果Iconfocal和二维中空光束成像结果Idonut进行恢复的迭代过程如下：
其中，o1表示通过二维共聚焦成像结果恢复得到的物的结果，o2表示通过二维中空光束成像结果恢复得到的物的结果，o表示将共聚焦和中空光束成像联合恢复的结果，or是o沿着中心转动180°的结果；psfc表示共聚焦的点扩散函数，psfcr是psfc沿着中心转动180°的结果；psfd是中空光束的点扩散函数，psfdr是psfd沿着中心转动180°的结果；Iconfocal是步骤1)中得到的二维共聚焦的成像结果，Idonut是步骤2)中得到的二维中空光束的成像结果；t表示迭代的次数；normalized表示归一化计算。
8.一种用于实现权利要求1至7任一权利要求所述的基于算法恢复的差分共聚焦显微成像方法的装置，包括发出激光光束的光源，其特征在于，沿所述激光光束的光路上依次设有：
光源，发出激光光束；
相位调制组件，对所述激光光束进行相位调制；
二向色镜，将激光光束分出一条探测光路，该探测光路上设置有用于收集样品所发出荧光强度的光电二极管；
振镜，对样品进行扫描；
物镜，将激光光束聚焦到样品上。
9.根据权利要求8所述的装置，其特征在于，所述的相位调制组件包括空间光调制器和设置在所述空间光调制器的入射光路上的偏振片。
10.根据权利要求8所述的装置，其特征在于，所述的相位调制组件包括将激光光束分成垂直偏振光和平行偏振光的第一偏振分束镜，设置在所述垂直偏振光的光路上的相位掩膜板，以及对所述垂直偏振光和所述平行偏振光进行合束的第二偏振分束镜。
CN201811561042.7A 2018-12-20 2018-12-20 一种基于算法恢复的差分共聚焦显微成像方法和装置 Active CN109557653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811561042.7A CN109557653B (zh) 2018-12-20 2018-12-20 一种基于算法恢复的差分共聚焦显微成像方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811561042.7A CN109557653B (zh) 2018-12-20 2018-12-20 一种基于算法恢复的差分共聚焦显微成像方法和装置

Publications (2)

Publication Number Publication Date
CN109557653A true CN109557653A (zh) 2019-04-02
CN109557653B CN109557653B (zh) 2021-06-29

Family

ID=65870612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811561042.7A Active CN109557653B (zh) 2018-12-20 2018-12-20 一种基于算法恢复的差分共聚焦显微成像方法和装置

Country Status (1)

Country Link
CN (1) CN109557653B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112327477A (zh) * 2020-11-16 2021-02-05 深圳大学 一种光学纳米聚焦方法及装置
CN113671702A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0244640A2 (de) * 1986-04-09 1987-11-11 Firma Carl Zeiss Strahlungsmodulierendes Mikroskop mit Rückfaltung
US20050083517A1 (en) * 2003-10-03 2005-04-21 Abu-Tarif Asad Methods, system, and program product for the detection and correction of spherical aberration
US20060149481A1 (en) * 2004-09-10 2006-07-06 University Of Massachusetts Quantitative assessment of biological function based on the temporal and spatial organization of subnuclear domains
US20070146873A1 (en) * 2005-12-09 2007-06-28 Amnis Corporation Extended depth of field imaging for high speed object analysis
CN101375786A (zh) * 2007-09-12 2009-03-04 深圳大学 一种荧光内窥成像方法及装置
US20110031418A1 (en) * 2007-10-31 2011-02-10 Ben Gurion Univesity of the Negev Research and Development Authority Optical sensor measurement and crosstalk evaluation
CN102519358A (zh) * 2011-12-26 2012-06-27 哈尔滨工业大学 用于检测微小球面三维形貌的相移式衍射干涉测量仪及测量方法
CN102708543A (zh) * 2012-04-19 2012-10-03 北京工商大学 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置
WO2013173921A1 (en) * 2012-05-23 2013-11-28 Lumerical Solutions, Inc. Apparatus and method for transforming a coordinate system to simulate an anisotropic medium
EP2703871A2 (en) * 2005-05-25 2014-03-05 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2015033006A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システム
DE102014216143A1 (de) * 2014-08-13 2016-02-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Wiederherstellen verlorengegangener und/oder beschädigter Daten
WO2016191004A1 (en) * 2015-05-26 2016-12-01 Becton, Dickinson And Company Methods and systems for high resolution fluorescence microscopy of polymeric dye-labeled samples using polarized light
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
CN106770095A (zh) * 2016-11-30 2017-05-31 浙江大学 一种基于非线性光斑调制的超分辨显微成像方法和装置
CN106767400A (zh) * 2016-11-23 2017-05-31 哈尔滨工业大学 基于空间光调制器的结构探测共焦显微成像方法及装置
CN106970055A (zh) * 2017-04-28 2017-07-21 浙江大学 一种三维荧光差分超分辨显微方法及装置
CN107764779A (zh) * 2017-09-27 2018-03-06 上海交通大学 一种共聚焦系统的超分辨成像方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0244640A2 (de) * 1986-04-09 1987-11-11 Firma Carl Zeiss Strahlungsmodulierendes Mikroskop mit Rückfaltung
US20050083517A1 (en) * 2003-10-03 2005-04-21 Abu-Tarif Asad Methods, system, and program product for the detection and correction of spherical aberration
US20060149481A1 (en) * 2004-09-10 2006-07-06 University Of Massachusetts Quantitative assessment of biological function based on the temporal and spatial organization of subnuclear domains
EP2703871A2 (en) * 2005-05-25 2014-03-05 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
US20070146873A1 (en) * 2005-12-09 2007-06-28 Amnis Corporation Extended depth of field imaging for high speed object analysis
CN101375786A (zh) * 2007-09-12 2009-03-04 深圳大学 一种荧光内窥成像方法及装置
US20110031418A1 (en) * 2007-10-31 2011-02-10 Ben Gurion Univesity of the Negev Research and Development Authority Optical sensor measurement and crosstalk evaluation
CN102519358A (zh) * 2011-12-26 2012-06-27 哈尔滨工业大学 用于检测微小球面三维形貌的相移式衍射干涉测量仪及测量方法
CN102708543A (zh) * 2012-04-19 2012-10-03 北京工商大学 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置
WO2013173921A1 (en) * 2012-05-23 2013-11-28 Lumerical Solutions, Inc. Apparatus and method for transforming a coordinate system to simulate an anisotropic medium
JP2015033006A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システム
DE102014216143A1 (de) * 2014-08-13 2016-02-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Wiederherstellen verlorengegangener und/oder beschädigter Daten
WO2016191004A1 (en) * 2015-05-26 2016-12-01 Becton, Dickinson And Company Methods and systems for high resolution fluorescence microscopy of polymeric dye-labeled samples using polarized light
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
CN106767400A (zh) * 2016-11-23 2017-05-31 哈尔滨工业大学 基于空间光调制器的结构探测共焦显微成像方法及装置
CN106770095A (zh) * 2016-11-30 2017-05-31 浙江大学 一种基于非线性光斑调制的超分辨显微成像方法和装置
CN106970055A (zh) * 2017-04-28 2017-07-21 浙江大学 一种三维荧光差分超分辨显微方法及装置
CN107764779A (zh) * 2017-09-27 2018-03-06 上海交通大学 一种共聚焦系统的超分辨成像方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, YH ETC.: "A novel method for enhancing the lateral resolution and image SNR in confocal microscopy", 《OPTICS COMMUNICATIONS》 *
张智敏 等: "双色荧光辐射差分超分辨显微系统研究", 《中国光学》 *
荣子豪: "荧光辐射差分超分辨显微方法及系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郝翔 等: "可逆饱和光转移过程的荧光超分辨显微术", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671702A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备
CN114326117A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备
CN112327477A (zh) * 2020-11-16 2021-02-05 深圳大学 一种光学纳米聚焦方法及装置

Also Published As

Publication number Publication date
CN109557653B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN107941763B (zh) 一种共轴三维受激辐射损耗超分辨显微成像方法和装置
CN106970055B (zh) 一种三维荧光差分超分辨显微方法及装置
CN106547079B (zh) 实时三维激光荧光显微成像装置
CN105929560B (zh) 一种宽带远场超分辨成像装置
CN103543135B (zh) 一种基于荧光寿命分布的纳米精度光斑对准方法和装置
CN106290284A (zh) 结构光照明的双光子荧光显微系统与方法
WO2010088418A1 (en) High resolution structured illumination microscopy
CN107092086A (zh) 基于相位调制的激光扫描饱和结构光照明的显微方法及装置
CN108303806A (zh) 一种深度成像超分辨显微成像系统
CN110118726A (zh) 一种并行探测荧光发射差分显微成像的方法和装置
US7746553B2 (en) Laser scanning microscope for fluorescence testing
CN111024659B (zh) 一种基于并行探测的多图像重建显微成像方法和装置
CN110146473B (zh) 一种轴向超分辨的双光子荧光显微装置及方法
CN109712072A (zh) 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法
CN109557653A (zh) 一种基于算法恢复的差分共聚焦显微成像方法和装置
Jonkman et al. [18] Resolution in optical microscopy
CN112485232B (zh) 基于一维暗斑分时照明的亚十纳米定位测向方法和装置
CN110220875A (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
CN108982455A (zh) 一种多焦点光切片荧光显微成像方法和装置
CN111250873B (zh) 一种基于gb-sted的深层超分辨激光直写系统及其实现方法
CN116841028A (zh) 一种基于镜面干涉增强的多焦点宽场超分辨显微成像方法及装置
WO2023221400A1 (zh) 超分辨单物镜光片显微成像光学系统及其成像系统
CN110261320B (zh) 一种荧光交错差分显微成像的方法和装置
CN114355621B (zh) 一种多点非标记差分超分辨成像方法与装置
US8829415B2 (en) Correlation confocal microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant