CN102540446B - 一种基于数字微镜器件的高速结构照明光学显微系统及方法 - Google Patents

Abstract

本发明涉及一种基于数字微镜器件的高速结构照明光学显微系统及方法，包括照明光源、设置在照明光源光路上的分光棱镜、设置在分光棱镜的反射光路上的结构光产生器、设置在分光棱镜的透射光路上的透镜、设置在透镜光路上的分光镜、设置在分光镜上方光路上的显微物镜和载物台、设置在分光镜下方光路上的反光镜和筒镜、设置在筒镜后方的CCD相机。本发明针对目前结构照明显微光能利用率低，速度慢的技术问题，优点是成像刷新速度快(32KHz)，光能利用率高(大于90％)，更适用于活体生物细胞的实时三维成像研究和快速的动态过程观测。

Description

一种基于数字微镜器件的高速结构照明光学显微系统及方法

技术领域

本发明涉及一种结构照明显微系统，可以实现高速的光学超分辨和三维层析显微成像，可广泛用于生物学、医学，生物物理以及材料化学等领域的研究。

背景技术

现代生物学和材料科学的发展对微观结构的研究提出了越来越高的分辨率需求，希望从分子水平揭示生命过程和材料性能的物理本质。受光学衍射极限的限制，普通光学显微镜的横向分辨率一般只能达到200nm，纵向分辨率约500nm。这对于研究亚细胞结构和分子结构已无能为力。虽然电子显微镜和原子力显微镜可以达到亚纳米的分辨率，但是其只能对非活性离体细胞样品进行观测的缺点限制了其在生物领域的广泛应用。

光学显微成像技术根据探测模式可以分为两大类：即点扫描成像技术和宽场成像技术。

以激光共聚焦荧光显微为代表的点扫描成像技术，用高度聚焦的激光束对样品逐点扫描成像，荧光信号经过探测针孔滤波后被光电倍增管探测收集，由于只有激光焦点处激发的荧光可以通过探测针孔，所以激光共聚焦显微具有极低的背景噪声，而且通过逐层扫描样品，可以实现三维成像。但是激光共聚焦荧光显微的横向分辨率并没有超过衍射极限。多光子荧光显微与共聚焦显微很类似，不同的是它使用超短脉冲激光作为激发光源，由于多光子吸收是非线性效应，只发生在焦点处，所以探测器前不需要针孔滤光，并且由于激发光使用长波段的近红外光，具有探测样品更深层结构的能力。

宽场成像技术采用面阵图像传感器(如CCD)，可以在一个时间点获得一幅完整的二维图像，具有速度快、图像灰度级高等优点。但是由于受样品离焦部分的干扰，普通的宽场成像技术不具有三维层析成像能力。近年来，随着各种新型荧光探针分子的出现和成像方法的改进，远场光学成像的分辨率已经突破了衍射极限的限制。其中方法之一是利用结构照明的显微技术(SIM)。SIM是一种宽场光学显微技术，使用面阵CCD并行采集图像，与普通宽场显微不同的是它还具有三维层析成像的能力。

结构照明超分辨显微的基本原理：

显微物镜的空间分辨率取决于它能采集到的最大空间频率f₀，f₀取决于显微物镜的光学传递函数，f₀＝2NA/λ。当样品包含的高频信息f＞f₀时，样品的细节将难以被分辨。如果使用空间频率为f₁的正弦条纹结构光照明样品，则会产生空间频率为f_m＝|f-f₁|的低频莫尔条纹(Moiréfringes)。莫尔条纹实际上是样品与结构光的拍频信号，它包含有样品超衍射分辨的高频信息f。当f_m＜f₀时，莫尔条纹可以在显微物镜下观察到，通过软件解码，可以提取出样品的超分辨率信息，重组出样品的高分辨率图像。从频域来看，SIM将物镜能收集到的最大空间频率从f₀提高到了f₀+f₁。因此f₁越大，SIM显微的空间分辨率就越高。但是结构照明光场的空间频率f₁是受衍射极限限制的，当f₁＞f₀时，它将不能被分辨。因此，SIM显微最大可以将光学显微系统的空间分辨率提高一倍。结构照明三维层析成像显微的基本原理：普通的宽场显微由于显微物镜有一定的景深，因此CCD相机得到的图像实际上是像面信息和非像面信息的叠加。其中像面信息称为目标，非像面的信息成为了背景。正是由于非像面信息(背景)的干扰和影响，使得在研究像面信息(目标)时，成像的信噪比和空间分辨率受到了很大的限制。结构照明层析技术使用高空间频率的结构光场对样品进行照明，能把宽场成像中的像面信息和非像面信息有效地分离，从而得到光切片或者层析图。通过使用位移平台在与光切片垂直的方向作线性扫描，可以得到样品的三维层析图。

结构照明层析技术使用三步相移光场，使成像中的像面信息与非像面信息有效地分离。具体做法是：把正弦结构光场的初相位依次设定为0⁰、120⁰、240⁰，分别照明样品，并使用CCD相机采集图像，依次对应记录为I₀，I₁₂₀，I₂₄₀；通过下列公式算法，计算出某一纵向位置z处的宽场层析图I_z(x，y)：

$I_z(x,y)=\sqrt{[{(I_0-I_{120})}^2+{(I_{120}-I_{240})}^2+{(I_{240}-I_0)}^2)]/2}---\left(1\right)$

大多数的结构照明显微系统都使用衍射光栅产生结构照明光场。改变结构光场的相位通常使用电控平移台和旋转台移动衍射光栅位置来实现。发明专利201010218778.1提出一种使用四棱锥镜进行结构照明荧光显微的方法和装置。平行光束经过四棱锥镜后发生折射，并产生具有二维空间结构分布的四光束干涉场。样品被该光场激发。平移作用在样品上的干涉光场并通过图像处理算法，可以实现三维层析成像。但是在该专利中需要旋转光路中的玻璃片来改变结构光场的相位，这将不可避免地带来机械振动并降低系统的时间分辨率。

2009年台湾同步辐射研究中心Chang等人使用液晶空间光调制器(LC-SLM)代替衍射光栅对入射激光进行调制，进行了结构照明显微实验，通过编程控制空间光调制器可以实时控制干涉光束之间的相位差从而改变结构光场的强度分布。由于使用空间光调制器代替电控平台和衍射光栅，整个显微系统的时间分辨率和稳定性都得到了很大的提高。但制约其时间分辨率的主要因素是液晶空间光调制器的刷新频率以及图像重建的软件算法速度。普通的透射型液晶空间光调制器的刷新频率通常为60Hz，填充因子小于70％，光透过率约为30％。

发明内容

针对目前结构照明显微光能利用率低，速度慢的技术问题，本发明提出一种基于数字微镜器件(Digital Micromirror Device，DMD)的高速结构照明光学显微系统及方法。本发明有两种工作模式：超分辨显微成像模式和三维层析成像模式。

本发明的技术解决方案是：

一种基于数字微镜器件的高速结构照明光学显微系统，其特殊之处在于：包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10。

上述结构光产生器3为数字微镜器件DMD。

上述照明光源为非相干单色LED光源或复色LED光源。

一种基于数字微镜器件的高速结构照明光学显微方法，其特殊之处在于：包括以下步骤：

1】形成结构照明光场：

照明光源产生的照明光入射到分光棱镜2上，入射光经分光棱镜2反射，垂直照射在数字微镜器件DMD上，数字微镜器件DMD使反射光透过分光棱镜2入射到透镜4上，再经过分光镜5，通过显微物镜从下方照明放置在载物台上样品，形成结构照明光场；

2】CCD相机采集二维图像：

2.1】加载三幅结构照明光场：

控制数字微镜器件DMD先后加载三幅具有相同空间方向、不同相位的结构照明光场；

2.2】采集图像：

CCD相机通过显微物镜分别对应采集三幅结构照明光场不同相位的二维图像，得到三幅不同相位的二维图像；

3】图像处理：

将三幅不同相位的二维图像分别进行傅里叶变换，再通过图像处理算法求解出各个二维图像的傅里叶频谱分量，得到在当前空间方向上样品的高阶和低阶傅里叶频谱信息；

4】改变结构照明光场的空间方向

4.1】控制数字微镜器件DMD改变结构照明光场的空间方向，使改变后的当前空间方向与步骤2】中的空间方向垂直，

4.2】重复步骤2.2】和步骤3】，得到在当前空间方向上样品的高阶和低阶傅里叶频谱信息；

5】把步骤3】和步骤4】得到的两个空间方向上样品高阶和低阶傅里叶频谱信息移动到它们所在样品频谱中的正确位置，再将各个频谱分量进行数字滤波后按一定权重叠加在一起，进而得到样品的全部高阶和低阶傅里叶频谱信息；

6】将样品的全部高阶和低阶傅里叶频谱信息进行逆傅里叶变换，得到超分辨的样品图像。

一种基于数字微镜器件的高速结构照明光学显微方法，其特殊之处在于：包括以下步骤：

1】形成结构照明光场：

照明光源产生的照明光入射到分光棱镜2上，入射光经分光棱镜2反射，垂直照射数字微镜器件DMD，数字微镜器件DMD使反射光透过分光棱镜2入射到透镜4，再经过分光镜5，通过显微物镜从下方照明样品，形成结构照明光场；

2】控制数字微镜器件DMD加载三幅不同相位的结构照明光场，CCD相机通过显微物镜分别对应采集三幅不同相位的结构照明光场的二维切面图像I₀、I₁₂₀和I₂₄₀，得到对应层的二维切面图像；

3】通过公式(1)进行图像运算得到样品的层析图像I_z(x，y)：

$I_z(x,y)=\sqrt{[{(I_0-I_{120})}^2+{(I_{120}-I_{240})}^2+{(I_{240}-I_0)}^2)]/2}---\left(1\right)$

4】沿Z方向垂直移动显微物镜，

并重复步骤2】和步骤3】，得到样品当前层的二维切面图；

5】多次重复步骤4】，通过获取一系列Z方向样品的二维切面图，最终得到样品完整的三维图像信息I(x，y，z)。

本发明的优点为：

1、本发明的核心是用DMD产生结构照明光。DMD与普通的液晶空间光调制器和光栅相比，优点是成像刷新速度快(32KHz)，光能利用率高(大于90％)，更适用于活体生物细胞的实时三维成像研究和快速的动态过程观测。

美国Texas Instruments公司开发的DMD是一种基于半导体制造技术，由高速数字式光反射开关阵列组成的器件。以1024×768像素分辨率为例，在一块DMD芯片上共有1024×768个小反射镜，每个镜子代表一个像素，每个小镜子都可以独立向正负方向翻转12⁰，翻转频率可达32KHz。光线的反射角度受数字光处理器DLP调制，把视频信号调制成等幅的脉宽调制信号，用脉冲宽度大小来控制小反射镜开、关时间，产生不同亮度的灰度等级图像。与液晶SLM相比，DMD具有更高的光反射率(大于90％)，更快的刷新频率(32KHz)以及更均匀的成像质量。

2、传统的结构照明技术为了得到高的空间频率，将光栅，棱镜或SLM作为分光元件，采用双光束或多光束干涉的方法产生条纹光场，因此都使用激光照明。激光具有很好的空间相干性，因此可以得到高对比度的干涉条纹，但是激光的高相干性也不可避免地带来了相干噪声，极大地降低了图像的信噪比。本发明采用非相干LED光源照明DMD，将DMD上加载的条纹图案通过光学系统微缩到待测样品上，实现结构照明，其优点是完全消除了相干噪声对图像质量的影响。

3、本发明不仅适用于荧光显微，而且也适用于金相显微，可观测非荧光染色样品。

附图说明

图1为结构照明显微系统示意图；

附图标记如下：1-照明光源、2-数字微镜器件、3-分光棱镜，4-透镜，5-分光镜，6-显微物镜，7-载物台，8-反射镜，9-筒镜，10-CCD相机。

图2(a)为显微标尺的普通宽场照明图像，图2(b)为结构照明超分辨显微图像。

图3为植物花粉荧光显微三维层析图，其中(a)-(d)为使用结构照明样品得到的不同深度层析图；(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图；标尺为10微米，层间距为10微米；(i)是结构照明三维层析得到的花粉的三维重建图像。

具体实施方式

如图1所示，一种基于数字微镜器件的高速结构照明光学显微系统，包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10。

一般结构光产生器3为数字微镜器件DMD。照明光源可根据不同的样品选择单色或复色LED光源

本发明有两种工作模式：二维超分辨成像模式和三维层析成像模式。

1、二维超分辨成像模式

步骤1]将LED光入射分光棱镜并垂直照射DMD芯片，反射光透过分光棱镜入射透镜4，再通过显微物镜6照明样品。

步骤2]样品放置于结构照明光场中并置于载物台7上；

步骤3]从频域来看，结构光照明拓展了显微系统的光学传递函数(OTF)。同时由于采用结构照明，所有空间频谱的像将叠加在一起，需要将它们彼此分离。方法是在0-2π范围内改变结构光相位获得多幅子图像，所需子图像数量取决于结构光场傅立叶频谱分量的数目，以正弦函数强度分布的结构照明光场为例，此时照明光包含3个傅立叶频谱分量，因此需要控制DMD先后加载3幅具有相同空间方向、不同相位的结构光场，CCD相机同时通过显微物镜分别采集3幅不同相位的二维图像。然后把这3幅图像分别作傅里叶变换，再通过图像处理算法求解出其中各个频谱分量，再将各个频谱分量数字滤波后按一定权重叠加在一起，进而可以得到在该空间方向上样品的高阶和低阶傅里叶频谱信息，其中包含显微系统原本无法分辨的高频信息。

步骤4]为保证结构照明显微系统OTF的各向同性，实验中需要旋转照明光场在多个方向上对称地照明样品。通常每一个成像平面旋转2个位置，夹角90度，因此每一个成像平面需要得到3x2＝6幅子图像。控制DMD使结构光场的空间方向改变为与步骤3]垂直的方向，重复步骤3]。得到在另一空间方向上样品的高阶和低阶傅里叶频谱信息。

步骤5]把步骤3]和步骤4]两个方向上得到的样品高阶和低阶傅里叶频谱信息移动到它们在样品频谱中的正确位置，即得到了扩展的样品傅里叶频谱。最后通过逆傅里叶变换得到超分辨的样品图像。

图2是使用本发明装置拍摄的显微标尺的显微图像。显微标尺是镀在玻璃表面的金属线。实验中使用100X显微物镜，NA＝1.49，光源为波长450nm LED光源，CCD单幅曝光时间0.001秒。需要采集6幅子图像。图2(a)是直接拍摄的明场图像，图2(b)是与(a)对应的结构光照明超分辨图像，插图是局部放大效果。很明显，使用结构照明得到了更高的空间分辨率。

2、三维层析成像模式

步骤1]将LED光入射分光棱镜并垂直照射DMD芯片，反射光透过分光棱镜入射透镜4，再通过显微物镜6照明样品。

步骤2]样品放置于结构照明光场中并置于载物台7上；

步骤3]控制DMD加载三幅不同相位的结构光场，CCD相机同时通过显微物镜分别对应采集三幅不同相位的二维切面图像I₀，I₁₂₀，I₂₄₀，并存储在计算机中；再通过公式(1)进行图像运算可以得到样品的层析图像I_z(x，y)。

步骤4]垂直移动(Z方向)显微物镜并重复步骤3]，得到样品其它层的二维切面图，最终可以得到样品完整的三维荧光图像信息I(x，y，z)。

图3是本发明装置对花粉微粒的三维荧光成像，图中标尺为10微米。实验中使用20X显微物镜，NA＝0.45，光源为波长450nm LED光源，CCD单幅曝光时间0.02秒，每个切面需要采集3幅子图像。图3(a)-(d)为使用结构光照明样品得到的样品不同深度的层析图，层间隔为10微米。图3(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图。通过比较可以看到，结构光照明得到的荧光图像比普通的宽场荧光图像具有更高的信噪比和更小的层间串扰，结构光图像几乎没有背景噪声的干扰，对比度比普通宽场荧光图高得多。图3(i)是使用本发明系统对花粉微粒拍摄340幅层析图后的三维重建图像。

Claims (3)

1.一种基于数字微镜器件的高速结构照明光学显微系统，其特征在于：包括照明光源（1）、设置在照明光源光路上的分光棱镜（2）、设置在分光棱镜（2）的反射光路上的结构光产生器（3）、设置在分光棱镜（2）的透射光路上的透镜（4）、设置在透镜光路上的分光镜（5）、设置在分光镜（5）上方光路上的显微物镜（6）和载物台（7）、设置在分光镜（5）下方光路上的反光镜（8）和筒镜（9）、设置在筒镜后方的CCD相机（10），所述结构光产生器（3）为数字微镜器件DMD；所述照明光源（1）为非相干单色LED光源或复色LED光源，

当光学显微系统工作在二维超分辨成像模式下时，所述DMD在两个相互垂直的空间方向先后分别加载三幅不同相位的结构照明光场；

当光学显微系统工作在三维层析成像模式下时，所述DMD在一个空间方向上加载三幅不同相位的结构照明光场。

2.一种基于数字微镜器件的高速结构照明光学显微方法，当其工作在二维超分辨成像模式下时，其特征在于：包括以下步骤：

1】形成结构照明光场：

照明光源产生的照明光入射到分光棱镜（2）上，入射光经分光棱镜（2）反射，垂直照射在数字微镜器件DMD上，数字微镜器件DMD使反射光透过分光棱镜（2）入射到透镜（4）上，再经过分光镜（5），通过显微物镜从下方照明放置在载物台上样品，形成结构照明光场；

2】CCD相机采集二维图像：

2.1】加载三幅结构照明光场：

控制数字微镜器件DMD先后加载三幅具有相同空间方向、不同相位的结构照明光场；

2.2】采集图像：

CCD相机通过显微物镜分别对应采集三幅结构照明光场不同相位的二维图像，得到三幅不同相位的二维图像；

3】图像处理：

将三幅不同相位的二维图像分别进行傅里叶变换，再通过图像处理算法求解出各个二维图像的傅里叶频谱分量，得到在当前空间方向上样品的高阶和低阶傅里叶频谱信息；

4】改变结构照明光场的空间方向

4.1】控制数字微镜器件DMD改变结构照明光场的空间方向，使改变后的当前空间方向与步骤2】中的空间方向垂直，

4.2】重复步骤2.2】和步骤3】，得到在当前空间方向上样品的高阶和低阶傅里叶频谱信息；

5】把步骤3】和步骤4】得到的两个空间方向上样品高阶和低阶傅里叶频谱信息移动到它们所在样品频谱中的正确位置，再将各个频谱分量进行数字滤波后按一定权重叠加在一起，进而得到样品的全部高阶和低阶傅里叶频谱信息；

6】将样品的全部高阶和低阶傅里叶频谱信息进行逆傅里叶变换，得到超分辨的样品图像。

3.一种基于数字微镜器件的高速结构照明光学显微方法，当其工作在三维层析成像模式下时，其特征在于：包括以下步骤：

1】形成结构照明光场：

照明光源产生的照明光入射到分光棱镜（2）上，入射光经分光棱镜（2）反射，垂直照射数字微镜器件DMD，数字微镜器件DMD使反射光透过分光棱镜（2）入射到透镜（4），再经过分光镜（5），通过显微物镜从下方照明样品，形成结构照明光场；

2】控制数字微镜器件DMD加载三幅不同相位的结构照明光场，CCD相机通过显微物镜分别对应采集三幅不同相位的结构照明光场的二维切面图像I₀、I₁₂₀和I₂₄₀，得到对应层的二维切面图像；

3】通过公式（1）进行图像运算得到样品的层析图像I_z(x,y)：

$I_z(x,y)=\sqrt{[{(I_0-I_{120})}^2+{(I_{120}-I_{240})}^2+{(I_{240}-I_0)}^2]/2}---\left(1\right)$

4】沿Z方向垂直移动显微物镜，

并重复步骤2】和步骤3】，得到样品当前层的二维切面图；

5】多次重复步骤4】，通过获取一系列Z方向样品的二维切面图，最终得到样品完整的三维图像信息I(x,y,z)。

Images