CN107167929A - 基于dmd的双模式光学超分辨显微成像装置及方法 - Google Patents

Abstract

本发明公开了一种基于DMD的双模式光学超分辨显微成像装置及方法，该装置包括多台不同波长的激光器、激光调制模块、显微镜光学成像系统，其中激光调制模块包括DMD图案发生模块和掩板，DMD图案发生模块搭配掩板选通不同衍射光斑，可达到共用同一光路实现SIM和SMLM两种超分辨显微技术成像的目的。DMD具有高于机械快门的响应速度和稳定性，同时可用于波长分离，相较于声光可调谐滤波器成本更低，使用更简易，可以使光路系统更紧凑，大幅降低系统的成本。不同成像模式的实现依赖于DMD的复用。本发明首次提出利用DMD，在同一光路中实现SIM和SMLM两种技术，有利于将SIM和SMLM两种超分辨成像技术进行优势互补，可用于许多细胞生物学问题研究。

Description

基于DMD的双模式光学超分辨显微成像装置及方法

技术领域

本发明属于光学显微技术领域，具体涉及一种基于DMD的双模式光学超分辨显微成像装置及方法，其通过使用数字微镜器件(DMD)可实现两种模式成像所需的激光光源调制。

背景技术

光学显微镜允许自然环境生长下无损伤地观察样品，但受到衍射极限的限制，横向分辨率只有半波长，无法获取纳米尺度的细胞内结构的信息。为改进远场光学显微镜的空间分辨率，人们开始研究超分辨显微技术并在近年取得很大进展，光学显微镜的分辨率得到显著提高，在国际上达到数nm水平，极大地促进了细胞生物学研究。现有的多种超分辨成像技术都通过不同的机理突破了光学成像的衍射极限：单分子定位技术(SMLM)利用激光调控可逆光转化荧光分子的开关，进而实现单分子点的分离定位，然后通过合成上千张定位子图重建超分辨荧光图像；结构光照明显微技术(SIM)通过调制结构照明光，通过特定算法获取图像高频信息，进而扩大成像带宽，得到高分辨图像。这两种技术都在细胞生物学研究中发挥着巨大的作用，成为细胞生物学家了解大分子结构与活动、医学家了解病变细胞的生理状态的强有力工具。然而，SMLM需要消耗更多的时间以得到更高的分辨率，SIM的成像速度较快但对分辨率的提高有限。虽然两种成像方法都已经有商品化系统出现，但都价格昂贵，让多数研究者望而却步，或只能二选其一，极大限制了进行相关研究的手段。

已有研究通过光路的切换在一个系统里实现两种超分辨成像并将结果整合，进行优势互补。然而，他们的研究中SMLM和SIM仍然是两个独立的部分，SMLM光路中需要多个快门或昂贵的声光可调谐滤波器实现激光脉冲调制，SIM光路中也需要空间光调制元件，光路系统非常复杂，成本并未得到降低。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于DMD的双模式光学超分辨显微成像装置，该装置通过采用DMD，利用激光器、光路系统等，可分别实现结构光照明显微技术(SIM)和单分子定位显微技术(SMLM)，具有系统紧凑易用、成本低的优点，并且便于在相关研究中利用两种成像方式得到互补信息。

本发明的另一个目的在于提供一种基于上述双模式光学超分辨显微成像装置的成像方法，该方法利用DMD的光调制能力，通过合理设计控制系统、调节光路，能够得到快速的多波长交替脉冲光和结构照明光，从而能够在同一光路系统中实现单分子定位显微和结构光照明显微两种光学超分辨显微术，弥补现有技术中两种光学超分辨显微系统完全独立、成本高昂的缺陷。

本发明的目的通过以下的技术方案实现：基于DMD的双模式光学超分辨显微成像装置，包括第一激光器、第二激光器、激光调制模块、显微镜光学成像系统和载物台，第一激光器、第二激光器为稳态连续半导体激光器，分别产生第一波长和第二波长的连续激光；所述激光调制模块包括反射镜组件、DMD图案发生模块、透镜组和掩板，DMD图案发生模块包括DMD芯片和DMD图案控制器，第一激光器、第二激光器所发射激光分别经反射镜组件反射后经调节以不同角度入射到DMD芯片的相同位置，保证出射光的衍射主极大重合，DMD图案控制器控制DMD芯片上微镜阵列使其先后显示为一定周期、不同相位、不同角度的黑白条纹图案，该图案作用等效为反射光栅，将激光转换为对称分布的衍射光斑，如图3所示；透镜组包括一对透镜，透镜组之间共焦位置放置掩板，DMD芯片、透镜组、掩板为4f系统，掩板与衍射光斑匹配以完成激光选通；掩板选通的激光束进入显微镜光学成像系统，显微镜光学成像系统对载物台上的样品进行成像。本发明通过DMD图案控制器生成不同的黑白条纹图案，可实现对激光进行不同的调制，在SIM系统中可以调制结构照明光，在SMLM光路中可作为激光脉冲产生装置，便于实现双模式的工作方式。

具体的，所述显微镜光学成像系统，包括镜筒透镜、长通二向色镜、荧光滤光片、物镜、成像透镜和相机，在掩板选通的激光束前进方向上，透镜组中第二透镜后依次放置镜筒透镜和长通二向色镜，其中透镜组中的第二透镜和镜筒透镜形成共焦望远系统，长通二向色镜与光路光轴成45°角放置；在垂直于该激光束且穿过该长通二向色镜的光轴方向上，在该长通二向色镜下方同轴地放置有荧光滤光片、成像透镜和相机，在该长通二向色镜上方放置有物镜，样品放置在载物台上，处于物镜的焦点处；对称分布的光束被聚集到物镜的后焦面，激光激发样品上荧光染料发出的下转换荧光信号由物镜收集，透过长通二向色镜和荧光滤光片，经过成像透镜成像到相机的感光芯片表面，由相机记录所成图像。

更进一步的，在镜筒透镜与其前面的透镜组中的透镜之间设有一用于调节照明视野大小的孔径光阑。

具体的，所述第一激光器、第二激光器分别采用用于单分子定位技术中激发荧光分子的长波长(第一波长)激光器和激活荧光分子的短波长(第二波长)激光器。这里的长波长和短波长是这两个激光器之间进行比较定义的。

具体的，所述DMD图案控制器内预先下载有设计好的黑白条纹图案，在进行显微成像时，按照一定周期、一定相位传送到DMD芯片上，黑条纹位置微镜偏转负12度将激光反射出光路，白条纹位置处微镜偏转正12度一定角度将激光反射进入后面的光路。

作为一种优选，当显微成像装置用于结构光照明显微模式成像时，DMD图案控制器控制DMD芯片依次显示水平方向n个等间隔相位、垂直方向n个等间隔相位的黑白条纹图案，激光照射到DMD芯片上被转换为对称分布的多级衍射光斑；所述掩板为有4个对称小孔的金属片，用于将多级衍射光斑中需要的+1、-1级光斑滤出；两光斑对称经过后面光路进入显微镜光学成像系统后，在样品面形成光强呈正弦分布的结构光照明图像。不同波长激光可以通过改变所述DMD图案发生模块显示的条纹周期，达到相同的衍射角，使+1、-1级光斑选通，用于激发不同荧光样品进行多色成像。

更进一步的，所述掩板安装在可以在垂直光轴的平面调节的精密平移安装座上。

作为另一种优选，当显微成像装置用于单分子定位显微模式成像时，DMD图案控制器控制DMD芯片重复交替显示水平方向两个不同周期的黑白条纹图案，使两个不同波长的激光+1、-1级衍射角相同，并交替出现在相同位置，掩板为一单孔掩板，可左右移动以进入或离开光路，当其位于光路中时，仅让水平方向的一个衍射光斑通过；不同波长的两种激光交替通过掩板后，经过后面共同光路进入显微镜光学成像系统，经物镜在样品面形成交替的宽场照明。

具体的，所述DMD图案控制器与相机的外部触发信号接口相连；在进行显微成像时，一旦DMD图案控制器切换图案，就同时发送信号到相机以触发相机同步采集图像。

一种基于上述双模式光学超分辨显微成像装置的成像方法，该成像装置中的DMD图案发生模块可作为SIM中的结构照明光调制器，也可以作为SMLM中的激光脉冲产生装置，在同一光路中实现SIM和SMLM两种超分辨显微技术，方法分别如下：

(1)实现SIM的步骤是：DMD图案控制器控制DMD芯片依次显示水平方向n个等间隔相位、垂直方向n个等间隔相位的黑白条纹图案，n为大于2的整数，激光照射到DMD芯片上被转换为对称分布的多级衍射光斑；掩板为有4个对称小孔的金属片，用于将多级衍射光斑中需要的+1、-1级光斑滤出；两光斑对称经过后面光路进入显微镜光学成像系统，在样品面形成光强呈正弦分布的结构光照明图像，显微镜光学成像系统记录下该结构光照明图像；

改变DMD芯片的图案相位，采集多幅调制图像，分离出高频信息，进而扩展图像频谱，实现结构光照明超分辨成像；

(2)实现SMLM的步骤是：DMD图案控制器控制DMD芯片重复交替显示水平方向两个不同周期的黑白条纹图案，使两个不同波长激光的+1、-1级衍射角相同，并交替出现在相同位置，掩板为一单孔掩板，可左右移动以进入或离开光路，当其位于光路中时，仅让水平方向的一个衍射光斑通过；不同波长的两种激光交替通过掩板后，每次可以随机激发一部分分离的染料分子，对该次点亮的荧光点进行精确定位；最后将所有图像序列得到的荧光定位点叠加实现SMLM的超分辨成像。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明拓展了数字微镜器件(Digital Micromirror Device,DMD)的新用途，将其用在SIM系统中调制产生结构照明光的同时，也可作为SMLM光路中的激光脉冲产生装置，通过分析其功能，搭配掩板选通不同衍射光斑，进而设计出一套双模式光学超分辨成像显微系统，达到共用同一光路实现结构光照明显微和单分子定位显微这两种超分辨显微成像方式的目的。

2、本发明通过DMD的复用，大大降低成本的同时，使得在更紧凑的系统中实现两项超分辨技术成为可能，降低相关研究的门槛。

3、本发明激光调制模块为非扫描非机械的系统构成，有很高的稳定性和易用性；DMD作为调制器件，同时应用于两种成像方式中，相比快门、光栅等机械器件响应速度更快，相比空间光调制器和声光调谐滤波器等更加经济。

4、本发明在同一系统中实现不同方式的超分辨成像，有助于在成像研究中获取更多互补信息，为相关生物学问题研究提供一个新的研究视角。

附图说明

图1为本发明的基本结构示意图。

图2为数字微镜器件DMD进行余弦调制时3个不同相位对应微镜的开关形式。

图3(a)为不同波长激光以不同角度和相同角度入射DMD示意图。

图3(b)为图3(a)DMD芯片对应的微镜像素开关状态图。

图4为结构光照明成像模式下数字微镜器件对激光进行调制后3个不同相位对应的样品照明图案示意图。

图5(a)为结构光照明成像模式下对称衍射光斑选通掩板的结构示意图。

图5(b)为单分子定位成像模式下单个衍射光斑选通掩板的结构示意图。

图6为结构光照明成像模式下不同相位的光栅条纹和不同方向衍射光斑及对应的结构光照明样品图案。

图7(a)为纳米颗粒的宽场荧光成像图。

图7(b)为采用结构光照明后重构图像的频谱图。

图7(c)为采用结构光照明后重构的图像。

图8为插入图5(b)所示掩板后切换到单分子定位成像模式下光路示意图。

图9(a)为单分子定位成像模式下DMD显示空间频率为K1的黑白条纹选通405nm激光得到t1光脉冲的工作示意图。

图9(b)为单分子定位成像模式下DMD显示空间频率为K2的黑白条纹选通532nm激光得到t2光脉冲的工作示意图。

图10为单分子定位成像模式下采集n张分离单分子发光图像后用算法定位重构出超分辨图像的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例基于DMD的双模式光学超分辨显微成像装置如图1所示，其中，1为波长为532nm的半导体激光器，2为波长为405nm的半导体激光器，两种不同波长的激光器根据实际成像需要可选择其他搭配。3、4、5、6、8、11为角度可调节的平面反射镜，7为DMD芯片，9、12、14为透镜，10为用于衍射光斑选通的掩板，13为孔径光阑，15为545nm长通二向色镜，16为物镜，17为荧光滤光片，18为成像透镜，19为sCMOS相机。

本实施例所述的超分辨显微成像装置按照实现的功能分为以下几个部分，分别是两个激光器、激光调制模块、显微镜光学成像系统和载物台，所述激光调制模块包括DMD图案发生模块、反射镜8、透镜9、12和掩板10。DMD图案发生模块包括DMD芯片和DMD图案控制器，DMD图案控制器与相机的外部触发信号接口相连。所述显微镜光学系统包括镜筒透镜14，孔径光阑13，长通二向色镜15、TIRF物镜16，荧光滤光片17，成像透镜18和sCMOS相机19。

工作时，可通过平面反射镜5、6调节激光器1产生的532nm连续激光使其以适当角度照射在DMD芯片7上，DMD芯片7安装在二维角度调节座上，通过调节DMD芯片的角度使得所需衍射光进入后面的光学系统中。通过平面反射镜3、4调节激光器2产生的405nm激光光束，使其以不同的入射角照射在DMD芯片7上，确保其衍射光沿与532nm激光相同的光轴进入后面的光学系统中。控制DMD芯片上微镜阵列使其先后显示为一定周期、不同相位、不同角度的黑白条纹(对应关和开状态，参见图3)，其作用等效为反射光栅，产生的多级衍射光经平面镜8反射后，透镜9将衍射光聚焦到掩板10上，掩板10遮挡住无用的光束，让所需的光束通过，完成选通的功能。掩板10选通的光束由平面反射镜11反射进入所述显微镜光学成像系统。透镜12将光束转变为平行光再由镜筒透镜14聚焦，由45°角放置的长通二向色镜15反射进入TIRF物镜。光束需聚焦到TIRF物镜的后焦面边缘位置，经物镜后在载玻片上表面形成对样品的全内反射照明。孔径光阑13置于两光束相交的位置，用于调节照明视野的大小。激光激发样品上荧光染料发出的下转换荧光信号由同一物镜收集，透过长通二向色镜15和荧光滤光片17，经过成像透镜18成像到sCMOS相机19的感光芯片表面，由sCMOS相机记录所成图像。

本发明DMD芯片表面结构参见图3(a)、(b)，DMD芯片是通过微镜阵列存在的偏转来调整光源。微镜是不连续的，每个微镜有一个衍射效应，等同于闪耀光栅衍射效果，不同波长激光打在DMD芯片上时，如果是相同入射角，最亮的光斑出射角不同，如图3中左侧光路所示。本发明要保证不同波长最亮的光斑出射角相同，需要调节不同激光使其入射角不同，保证出射光的衍射主极大重合，如图3中右侧光路所示。

基于本实施例装置，实现结构光照明成像(SIM)的步骤是：

激光器1和激光器2分别产生波长为532nm和405nm的连续激光，波长为532nm的激光光束经平面镜5和平面镜6，调节一定角度射入DMD芯片7，同理405nm波长的激光通过平面反射镜3、4、5、6亦打在DMD芯片7上。DMD图案控制器可采用一FPGA开发板，用于控制DMD芯片上各微镜的开关，使DMD的图案如图2所示，具有反射光栅的功能，能产生多级衍射光。调节平面镜3、4、5、6改变两束激光的入射角，使不同波长激光照射在DMD上产生的衍射条纹的主极沿光轴进入后面光路系统。衍射条纹在4f系统中经衍射光斑选通掩板10(图5(a))，仅剩±1级光斑通过(如图6所示)得到对称分布并强度相同的双光束。双光束经长通二向色镜15反射射入物镜16照射在位于物镜焦点处的样品产生干涉条纹。激光激发样品后发射出长波长的荧光由同一物镜收集，经长通二向色镜15、荧光滤光片17透射，经成像透镜18汇聚后由sCMOS相机19记录下结构光照明图像。

本实施例DMD图案控制器用FPGA开发板实现，用于实现DMD的图像显示控制和快速切换，每次切换的同时向相机发送触发信号同步控制采集图像。参见图7(a)‐(c)，改变DMD图案条纹的相位可以采集多幅调制图像，从中分离出高频信息，进而可扩展图像频谱。通过多个角度(两个或两个以上)高频信息的获取、重构即可均匀提高图像的空间分辨率，实现结构光照明超分辨成像。两种波长激光可以用来激发两种不同的荧光分子，实现双色成像。图4为结构光照明成像模式下数字微镜器件对激光进行调制后3个不同相位对应的样品照明图案示意图。

实施例2：

本实施例是基于图8所示装置，实现单分子定位成像SMLM，其步骤是：

与实施例1相同的光路系统中，在选通掩板10位置处插入图5(b)所示单孔掩板，选通出单个衍射光斑(如图8所示)。控制DMD芯片在K1、K2两个不同空间频率的黑白条纹间切换，使405nm和532nm波长激光光斑交替通过掩板小孔，得到交替的光脉冲(如图9(a、b)所示)。使用相应的可开关荧光染料，如Alexa‐fluo 532，对细胞样品进行标记，染料分子在405nm激光照射下随机转变为激活态，而在532nm激光照射下激发发射出荧光，由高灵敏度相机探测记录下来。

DMD图案控制器控制DMD芯片显示的图像在K1和K2两种空间频率的条纹之间反复切换，显示K2条纹的同时向相机发送触发信号同步控制采集荧光图像。激光反复交替切换，每次可以激发一部分分离的染料分子，通过图像处理算法对每次点亮的荧光点进行精确定位，将所有图像序列得到的荧光定位点叠加得到超分辨图像，如图10所示。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于DMD的双模式光学超分辨显微成像装置，其特征在于，包括第一激光器、第二激光器、激光调制模块、显微镜光学成像系统和载物台，第一激光器、第二激光器为稳态连续半导体激光器，分别产生第一波长和第二波长的连续激光；所述激光调制模块包括反射镜组件、DMD图案发生模块、透镜组和掩板，DMD图案发生模块包括DMD芯片和DMD图案控制器，第一激光器、第二激光器所发射激光分别经反射镜组件反射后经调节以不同角度入射到DMD芯片的相同位置，保证出射光的衍射主极大重合，DMD图案控制器控制DMD芯片上微镜阵列使其先后显示为一定周期、不同相位、不同角度的黑白条纹图案，该图案作用等效为反射光栅，将激光转换为对称分布的衍射光斑；透镜组包括一对透镜，透镜组之间共焦位置放置掩板，DMD芯片、透镜组、掩板为4f系统，掩板与衍射光斑匹配以完成激光选通；掩板选通的激光束进入显微镜光学成像系统，显微镜光学成像系统对载物台上的样品进行成像。

2.根据权利要求1所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，所述显微镜光学成像系统，包括镜筒透镜、长通二向色镜、荧光滤光片、物镜、成像透镜和相机，在掩板选通的激光束前进方向上，透镜组中的第二透镜后依次放置镜筒透镜和长通二向色镜，其中第二透镜和镜筒透镜形成共焦望远系统，长通二向色镜与光路光轴成45°角放置；在垂直于该激光束且穿过该长通二向色镜的光轴方向上，在该长通二向色镜下方同轴地放置有荧光滤光片、成像透镜和相机，在该长通二向色镜上方放置有物镜，样品放置在载物台上，处于物镜的焦点处；对称分布的光束被聚集到物镜的后焦面，激光激发样品上荧光染料发出的下转换荧光信号由物镜收集，透过长通二向色镜和荧光滤光片，经过成像透镜成像到相机的感光芯片表面，由相机记录所成图像。

3.根据权利要求2所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，在镜筒透镜与透镜组中的一透镜之间设有一用于调节照明视野大小的孔径光阑。

4.根据权利要求1所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，所述第一激光器、第二激光器分别采用用于单分子定位技术中激发荧光分子的长波长激光器和激活荧光分子的短波长激光器。

5.根据权利要求1所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，所述DMD图案控制器内预先下载有设计好的黑白条纹图案，在进行显微成像时，按照一定周期、一定相位传送到DMD芯片上，黑条纹位置微镜偏转负12度将激光反射出光路，白条纹位置处微镜偏转正12度一定角度将激光反射进入后面的光路。

6.根据权利要求5所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，当显微成像装置用于结构光照明显微模式成像时，DMD图案控制器控制DMD芯片依次显示水平方向n个等间隔相位、垂直方向n个等间隔相位的黑白条纹图案，激光照射到DMD芯片上被转换为对称分布的多级衍射光斑；所述掩板为有4个对称小孔的金属片，用于将多级衍射光斑中需要的+1、-1级光斑滤出；两光斑对称经过后面光路进入显微镜光学成像系统后，在样品面形成光强呈正弦分布的结构光照明图像。

7.根据权利要求6所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，所述掩板安装在可以在垂直光轴的平面调节的精密平移安装座上。

8.根据权利要求5所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，当显微成像装置用于单分子定位显微模式成像时，DMD图案控制器控制DMD芯片重复交替显示水平方向两个不同周期的黑白条纹图案，使两个不同波长的激光+1、-1级衍射角相同，并交替出现在相同位置，掩板为一单孔掩板，可左右移动以进入或离开光路，当其位于光路中时，仅让水平方向的一个衍射光斑通过；不同波长的两种激光交替通过掩板后，经过后面共同光路进入显微镜光学成像系统，经物镜在样品面形成交替的宽场照明。

9.根据权利要求5所述的基于DMD的双模式光学超分辨显微成像装置，其特征在于，所述DMD图案控制器与相机的外部触发信号接口相连；在进行显微成像时，一旦DMD图案控制器切换图案，就同时发送信号到相机以触发相机同步采集图像。

10.一种基于权利要求1-9任一项所述的双模式光学超分辨显微成像装置的成像方法，其特征在于，该成像装置中的DMD图案发生模块可作为SIM中的结构照明光调制器，也可以作为SMLM中的激光脉冲产生装置，在同一光路中实现SIM和SMLM两种超分辨显微技术，方法分别如下：

(1)实现SIM的步骤是：DMD图案控制器控制DMD芯片依次显示水平方向n个等间隔相位、垂直方向n个等间隔相位的黑白条纹图案，n为大于2的整数，激光照射到DMD芯片上被转换为对称分布的多级衍射光斑；掩板为有4个对称小孔的金属片，用于将多级衍射光斑中需要的+1、-1级光斑滤出；两光斑对称经过后面光路进入显微镜光学成像系统，在样品面形成光强呈正弦分布的结构光照明图像，显微镜光学成像系统记录下该结构光照明图像；

改变DMD芯片的图案相位，采集多幅调制图像，分离出高频信息，进而扩展图像频谱，实现结构光照明超分辨成像；

(2)实现SMLM的步骤是：DMD图案控制器控制DMD芯片重复交替显示水平方向两个不同周期的黑白条纹图案，使两个不同波长激光的+1、-1级衍射角相同，并交替出现在相同位置，掩板为一单孔掩板，可左右移动以进入或离开光路，当其位于光路中时，仅让水平方向的一个衍射光斑通过；不同波长的两种激光交替通过掩板后，每次可以随机激发一部分分离的染料分子，对该次点亮的荧光点进行精确定位；最后将所有图像序列得到的荧光定位点叠加实现SMLM的超分辨成像。