CN111580260B - 一种高速光学三维光切片显微系统及方法 - Google Patents

Abstract

本发明涉及一种高速光学三维光切片显微系统及方法，针对目前结构光照明显微系统环境适应性差、图像质量低、有效光能利用率低的技术问题，本发明只需要采集一副初相位任意的带条纹原始图像和一幅不带条纹的普通宽场图像运算就能计算出某一纵向位置z处的宽场光切片图，完全避免了条纹相移控制，因此完全不存在相移误差导致的残余噪声影响光切片图像质量。因此本发明环境适应性非常好。由于不需要相移控制，本发明可以使用朗奇光栅或正弦光栅替代数字微镜器件DMD或者液晶空间光调制器作为结构光产生器。系统光透过率提升一个数量级且硬件成本大大降低。

Description

一种高速光学三维光切片显微系统及方法

技术领域

本发明涉及一种结构光照明显微系统，可以实现高速的光学三维光切片显微成像，可广泛用于生物学、医学，生物物理以及材料化学等领域的研究。

背景技术

光学显微成像技术根据探测模式可以分为两大类：即点扫描成像技术和宽场成像技术。

以激光共聚焦荧光显微为代表的点扫描成像技术，用高度聚焦的激光束对样品逐点扫描成像，荧光信号经过探测针孔滤波后被光电倍增管探测收集，由于只有激光焦点处激发的荧光可以通过探测针孔，所以激光共聚焦显微具有极低的背景噪声，而且通过逐层扫描样品，可以实现三维成像。多光子荧光显微与共聚焦显微很类似，不同的是它使用超短脉冲激光作为激发光源，由于多光子吸收是非线性效应，只发生在焦点处，所以探测器前不需要针孔滤光，并且由于激发光使用长波段的近红外光，具有探测样品更深层结构的能力。但是点扫描成像需要使用聚焦的激光束逐点逐行扫描整个样品，因此速度较慢而且容易造成样品的光损伤。

宽场成像技术采用面阵图像传感器(如CCD)，可以在一个时间点获得一幅完整的二维图像，与点扫描技术相比具有速度快、图像灰度级高、样品损伤小等优点，适用于那些要求高速实时观察的活体光学显微成像。但是由于受样品离焦部分的干扰，普通的宽场成像技术不具有三维光切片成像能力。结构光照明显微是一种宽场光学显微技术，使用面阵CCD并行采集图像，与普通宽场显微不同的是它还具有三维光切片成像的能力。

结构光照明三维光切片成像显微的基本原理如下：

显微物镜有一定的景深，因此宽场成像中的CCD相机得到的图像实际上是像面信息和非像面信息的叠加。其中像面信息称为目标，非像面的信息成为了背景。正是由于非像面信息(背景)的干扰和影响，使得在研究像面信息(目标)时，成像的信噪比和空间分辨率受到了很大的限制。结构光照明技术使用高空间频率的正弦条纹结构光场对样品进行照明，能把宽场成像中的像面信息和非像面信息有效地分离，从而得到光切片图。通过使用位移平台在与光切片垂直的方向作线性扫描，可以得到样品的三维光切片图。

结构光照明光切片技术使用三步相移光场，使成像中的像面信息与非像面信息有效地分离。具体做法是：把正弦条纹结构光场的初相位依次设定为0°、120°、240°，分别照明样品，并使用CCD相机采集图像，依次对应记录为I₀，I₁₂₀，I₂₄₀；通过下列公式算法(均方根算法，简称RMS算法)，计算出某一纵向位置z处的宽场光切片图I_z(x,y)：

RMS算法需要采集三幅固定相移差的带正弦条纹原始图像并通过RMS算法计算重构出一幅消除离焦背景的光切片图像，因此需要采集3倍于普通宽场成像的图像数据，计算耗时较大，此外RMS算法要求三幅带正弦条纹原始图像的相移差恒定，实验中由于环境震动等因素带来的微小相移差都会给计算得到的光切片图I_z(x,y)带来严重的残余噪声，因此环境适应性较差。2015年，我们提出了一种基于希尔伯特变换的快速SIM三维成像方法，只需采集两幅任意相移差的带正弦条纹原始图像便可以重构出一幅光切片图像，成像速度比RMS算法提高30％，图像采集速度由于两幅原始图像相移差任意，所以具有更好的环境适应性。但是该技术局限于单色三维成像，无法恢复样品的彩色信息。2020年初，我们在此基础上，提出专利申请号为：202010061033.2，发明名称为基于希尔伯特变换的结构光照明快速三维彩色显微成像方法，在该专利申请所公布的方法中需要采集相移差为π的两幅带正弦条纹原始图像运算，该方法要求相移差为π，虽然由于环境震动等因素带来的微小相移差也会影响光切片图I_z(x,y)的图像质量，环境适应性相比于2015年所提出的快速SIM三维成像方法略差，但优点是可以得到样品的三维彩色信息。

以上的几种结构光照明三维成像方法都需要采集多幅带有相移量的带正弦条纹原始图像进行运算，从而得到样品某一纵向位置z处的宽场光切片图。正弦条纹的相移控制通常使用液晶空间光调制器(LC-SLM)或者数字微镜器件(Digital Micromirror Device，DMD)来实现。这两种可编程电寻址空间光调制器件具有很高的刷新频率，非常适用于正弦条纹光场相移控制和各种复杂结构照明光场的产生与调制。但是液晶空间光调制器和数字微镜器件价格昂贵，还有一个更严重的问题是它们的透过率都不高，目前的光学显微系统中如果使用这两种调制器件，光学成像系统的光透过率都远小于5％，目前的高功率LED光源最大可输出约500mw的光功率，实验中最终能作用在样品上的有效光功率都在毫瓦量级甚至更低，因此在对荧光发光效率低或者吸收强的样品成像时经常无法产生足够强的信号光，这时通过增加探测器曝光时间来提高图像信噪比等方法无疑会降低成像系统的时间分辨率。这些缺点严重制约了结构光照明技术的应用和普及。

发明内容

针对目前结构光照明显微系统环境适应性差、图像质量低、有效光能利用率低的技术问题，本发明提出一种高速结构光照明光学显微系统及方法。本发明只需要采集一副初相位任意的带条纹原始图像和一幅不带条纹的普通宽场图像运算就能计算出某一纵向位置z处的宽场光切片图，完全避免了条纹相移控制，因此完全不存在相移误差导致的残余噪声影响光切片图像质量。因此本发明环境适应性非常好。由于不需要相移控制，本发明可以使用朗奇光栅或正弦光栅替代数字微镜器件DMD或者液晶空间光调制器作为结构光产生器。系统光透过率提升一个数量级且硬件成本大大降低。本发明有两种工作模式：三维荧光成像模式和三维彩色成像模式。

本发明的技术解决方案是：

一种高速光学三维光切片显微系统，其特殊之处在于：包括第一照明光源1、第二照明光源2、结构光产生器3、第一反射镜4、分光棱镜5、透镜6、分光镜7、显微物镜8、载物台9、第二反射镜10、筒镜11以及相机12；

所述第一照明光源1和第二照明光源2平行设置，第一照明光源光路上依次设置有结构光产生器3和第一反射镜4，第二照明光源2的光路上依次设置有分光棱镜5、透镜6以及分光镜7，所述分光棱镜5设置在第一反射镜4的光路上，所述分光镜7的反射光路上依次设置有显微物镜8和载物台9，所述分光镜7的透射光路上设置有第二反射镜10，所述第二反射镜的放射光路上依次设置有筒镜11和相机12。

进一步的，所述结构光产生器3为朗奇光栅、正弦光栅、数字微镜器件DMD或液晶空间光调制器。

进一步的，所述第一照明光源1和第二照明光源2为非相干单色LED光源或复色LED光源。

进一步的，所述相机12为灰度相机或彩色相机。

三维光切片成像模式中高速光学三维光切片显微方法，包括以下步骤：

1】形成结构光照明光场：

第一照明光源1产生的照明光入射到结构光产生器3上，第二照明光源2产生的照明光与第一照明光源1经过分光棱镜5合束，再经过分光镜7反射，形成结构照明光场，结构照明光场经过显微物镜8照射载物台9上的样品；

2】CCD相机采集二维图像：

打开第一照明光源1，关闭第二照明光源2，控制相机12采集一副带条纹的图像I_ΔΦ；

打开第二照明光源2，关闭第一照明光源1，控制相机12采集一副带条纹的图像I_wide；

3】图像处理：

建立坐标系，光学显微系统的光轴定义为Z轴，与光轴垂直的平面为X,Y平面；通过公式(1)进行图像运算得到样品的二维光切片图像I_z(x,y)，其中HT_x表示在X方向进行希尔伯特变换：

4】沿Z方向垂直移动显微物镜8或者载物台9后，执行步骤2】；

5】获取一系列Z方向样品的多层二维光切片图像，进而进行叠加得到样品完整的三维图像信息I(x,y,z)。

进一步的，步骤4】重复几十到几百次。

三维彩色光切片成像模式中高速光学三维光切片显微方法，包括以下步骤：

1】第一照明光源1产生的照明光入射到结构光产生器3上，第二照明光源2产生的照明光与第一照明光源1经过分光棱镜5合束，再经过分光镜7反射，形成结构照明光场，结构照明光场经过显微物镜8照射载物台9上的样品；

2】相机12使用彩色相机，打开第一照明光源1，关闭第二照明光源2，控制相机12采集一幅带条纹的彩色图像

打开第二照明光源2，关闭第一照明光源1，控制相机12采集一幅不带条纹的彩色图像I_wide(RGB)；

3】将采集到的带条纹的彩色图像和不带条纹的彩色图像I_wide(RGB)分别转换为灰度图像I_ΔΦ和I_wide；

4】建立坐标系，光学显微系统的光轴定义为Z轴，与光轴垂直的平面为X,Y平面；通过公式(2)进行图像运算得到样品在xy平面的二维灰度光切片图像I_z(x,y)，其中HT_x表示在X方向进行希尔伯特变换：

5】将彩色图像I_wide(RGB)与二维灰度光切片图像I_z(x,y)相乘，得到彩色光切片图像I_z(RGB)＝I_z*I_wide(RGB)

6】沿Z方向垂直移动显微物镜8或载物台9后，执行步骤2]；

7】得到一系列样品在其它层的二维灰度光切片图，进而进行叠加得到样品完整的彩色三维图像信息I_RGB(x,y,z)。

进一步的，步骤6】重复几十到几百次。

本发明所具有的优点为：

1、本发明的核心是完全避免了精确的条纹相移控制，因此可以使用朗奇光栅或正弦光栅替代数字微镜器件DMD或者液晶空间光调制器作为结构光产生器。系统光透过率提升一个数量级且硬件成本大大降低。更适用于活体生物细胞的实时三维成像研究和快速的动态过程观测。

2、本发明不仅适用于荧光显微，而且也适用于彩色表面显微，可观测非荧光样品。

3、本发明只需要采集一副任意初相位条纹图像和一幅不带条纹的普通宽场图像运算就能得到某一深度位置z处的宽场光切片图，因此完全不存在相移误差导致的残余噪声影响光切片图像质量。因此本发明成像速度快，环境适应性非常好。

附图说明

图1为结构光照明显微系统示意图；

附图标记如下：1-第一照明光源，2-第二照明光源、3-结构光产生器、4-反射镜，5-分光棱镜，6-透镜，7-分光镜，8-显微物镜，9-载物台，10-反射镜，11-筒镜，12-相机。

图2为算法流程图，其中(a)为三维灰度光切片成像算法流程图，(b)为三维彩色光切片成像算法流程图；

图3为植物花粉荧光显微三维光切片图，其中(a)-(d)为使用结构光照明样品得到的不同深度光切片图；(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图；标尺为10微米，层间距为10微米；(i)是结构光照明三维光切片得到的花粉的三维重建图像。

图4为昆虫彩色三维光切片图，其中(a)-(d)为使用结构光照明样品得到的不同深度光切片图；(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图；标尺为10微米，层间距为10微米；(i)是结构光照明三维光切片得到的花粉的三维重建图像。

具体实施方式

1、本发明的三维成像原理：

一幅宽场图像和一幅任意相移的正弦结构光照明图像可表示为：

将两幅图像相减，并令y＝y₀,则该位置的一维信号可以表示为：

对公式(2)进行希尔伯特变换，可得：

其中，对比公式(2)与公式(3)可知，经过希尔伯特变换之后，正弦结构光照明图像产生了π/2的相移，二者的平方和可以去除焦平面上的正弦结构图样。以上分析为y＝y₀处的一维信号分析，我们在y方向上所有位置全部进行上述运算，则可实现整幅二维图像的图像重构处理，进而获得焦平面上去除正弦结构条纹的光切片图像，即：

基于希尔伯特变换的快速光切片算法仅需一幅宽场图像和一幅任意相移的子图像即可完成图像的解码重构，实验中以某一个成像平面为例，其具体过程简述为：先将在该平面获取的一幅宽场图像和一幅任意相移的结构光图像进行相减，获得仅含焦面编码信息的新图像；再将新图像沿着与编码条纹空间频率方向进行希尔伯特变换并与子图像差值取平方和，即可获得有效解码后的光切片图像.以横条纹(即y方向强度为正弦分布)为例，公式(4)可写作：

其中，I_wide和为采集到的宽场图像和任意相移/>的结构光照明图像，HT_x表示在x方向进行希尔伯特变换，I_Z为该焦平面上的去除条纹的光切片图像。

2、本发明的彩色三维成像原理：

使用彩色相机采集得到均匀照明的宽场图像I_wide(RGB)和任意相移的结构光照明图像首先将二者只保留平均强度信息转换至灰度图像，并利用公式(5)计算得到灰度光切片图像，而原始宽场图像则携带有样品的全部色彩信息，二者相乘的结果便是：宽场图像的色彩将赋予光切片图像，进而快速地获得样品的彩色光切片图像，I_z(RGB)＝I_z*I_wide(RGB)。算法流程图如图2所示。沿样品轴向进行扫描，并对每一层的重构结果进行叠加，将得到样品的三维彩色光切片图像。

实施例1：三维光切片成像模式

步骤1]相机12使用单色相机，将第一照明光源1经过结构光产生器3调制后与第二照明光源2一起经过分光棱镜5入射透镜6，再通过分光镜7和显微物镜8照明样品。

步骤2]样品放置于结构光照明光场中并置于载物台9上；

步骤3]打开第一照明光源1，关闭第二照明光源2，控制相机12采集一幅带条纹的灰度图像I_ΔΦ；打开第二照明光源2，关闭第一照明光源1，控制相机12采集一幅不带条纹的灰度图像I_wide；通过公式进行图像运算得到样品的光切片图像I_z(x,y)。

步骤4]垂直移动(Z方向)显微物镜8或载物台9并重复步骤3](重复执行的次数就是对样品成像的层数)，得到样品其它层的二维切面图，最终可以叠加得到样品完整的三维图像信息I(x,y,z)。

图3是本发明装置对花粉微粒的三维荧光成像，图中标尺为10微米。实验中使用20X显微物镜，NA＝0.45，光源为波长450nm LED光源，CCD单幅曝光时间0.02秒，每个切面需要采集2幅子图像。图3(a)-(d)为使用结构光照明样品得到的样品不同深度的光切片图，层间隔为10微米。图3(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图。通过比较可以看到，结构光照明得到的荧光图像比普通的宽场荧光图像具有更高的信噪比和更小的层间串扰，结构光图像几乎没有背景噪声的干扰，对比度比普通宽场荧光图高得多。图3(i)是使用本发明系统对花粉微粒拍摄340幅光切片图后的三维重建图像。

实施例2：三维彩色光切片成像模式

步骤1]将第一照明光源1经过结构光产生器3调制后与第二照明光源2一起经过分光棱镜5入射透镜6，再通过分光镜7和显微物镜8照明样品。

步骤2]样品放置于结构光照明光场中并置于载物台9上；

步骤3]相机12使用彩色相机，打开照明光源1，关闭照明光源2，控制相机12采集一幅带条纹的彩色图像打开照明光源2，关闭照明光源1，控制相机12采集一幅不带条纹的彩色图像I_wide(RGB)；首先将二者分别转换为灰度图像I_ΔΦ和I_wide，再通过公式进行图像运算得到样品的灰度光切片图像I_z(x,y)。将彩色图像I_wide(RGB)与灰度光切片图像I_z(x,y)相乘，就得到了彩色光切片图像I_z(RGB)＝I_z*I_wide(RGB)

步骤4]垂直移动(Z方向)显微物镜8或载物台9并重复步骤3](重复执行的次数就是对样品成像的层数)，得到样品其它层的二维切面图，最终可以得到样品完整的彩色三维图像信息I_RGB(x,y,z)。

图4是本发明装置对昆虫的彩色三维成像，图中标尺为10微米。实验中使用20X显微物镜，NA＝0.45，光源为波长450nm LED光源，CCD单幅曝光时间0.02秒，每个切面需要采集2幅子图像。图4(a)-(d)为使用结构光照明样品得到的样品不同深度的光切片图，层间隔为10微米。图4(e)-(h)是与(a)-(d)对应的相同位置的普通宽场图。通过比较可以看到，结构光照明得到的图像比普通的宽场图像具有更高的信噪比和更小的层间串扰，结构光图像几乎没有背景噪声的干扰，对比度比普通宽场图高得多。图4(i)是使用本发明系统对昆虫背部拍摄161幅光切片图后的三维重建图像。图中标尺为20μm。

Claims (5)

1.一种高速光学三维光切片显微系统，其特征在于：包括第一照明光源(1)、第二照明光源(2)、结构光产生器(3)、第一反射镜(4)、分光棱镜(5)、透镜(6)、分光镜(7)、显微物镜(8)、载物台(9)、第二反射镜(10)、筒镜(11)以及相机(12)；

所述第一照明光源(1)和第二照明光源(2)平行设置，第一照明光源光路上依次设置有结构光产生器(3)和第一反射镜(4)，第二照明光源(2)的光路上依次设置有分光棱镜(5)、透镜(6)以及分光镜(7)，所述分光棱镜(5)设置在第一反射镜(4)的光路上，所述分光镜(7)的反射光路上依次设置有显微物镜(8)和载物台(9)，所述分光镜(7)的透射光路上设置有第二反射镜10，所述第二反射镜的反射光路上依次设置有筒镜(11)和相机(12)；

所述结构光产生器(3)为朗奇光栅或正弦光栅；

所述高速光学三维光切片显微系统的显微方法，包括以下步骤：

1】第一照明光源1产生的照明光入射到结构光产生器(3)上，第二照明光源(2)产生的照明光与第一照明光源(1)经过分光棱镜(5)合束，再经过分光镜(7)反射，形成结构照明光场，结构照明光场经过显微物镜(8)照射载物台(9)上的样品；

2】相机(12)使用彩色相机，打开第一照明光源(1)，关闭第二照明光源(2)，控制相机(12)采集一幅带条纹的彩色图像

打开第二照明光源(2)，关闭第一照明光源(1)，控制相机(12)采集一幅不带条纹的彩色图像I_wide(RGB)；

3】将采集到的带条纹的彩色图像和不带条纹的彩色图像I_wide(RGB)分别转换为灰度图像IΔΦ和Iwide；

4】建立坐标系，光学显微系统的光轴定义为Z轴，与光轴垂直的平面为X,Y平面；通过公式(2)进行图像运算得到样品在xy平面的二维灰度光切片图像Iz(x,y)，其中HTx表示在X方向进行希尔伯特变换：

5】将彩色图像I_wide(RGB)与二维灰度光切片图像Iz(x,y)相乘，得到彩色光切片图像I_Z(RGB)＝I_Z(x,y)*I_wide(RGB)

6】沿Z方向垂直移动显微物镜(8)或载物台(9)后，执行步骤2]；

7】得到一系列样品在其它层的二维灰度光切片图，进而进行叠加得到样品完整的彩色三维图像信息IRGB(x,y,z)。

2.根据权利要求1所述的高速光学三维光切片显微系统，其特征在于：所述第一照明光源(1)和第二照明光源(2)为非相干单色LED光源或复色LED光源。

3.根据权利要求1所述的高速光学三维光切片显微系统，其特征在于：所述相机(12)为灰度相机或彩色相机。

4.一种高速光学三维光切片显微方法，其特征在于：包括以下步骤：

1】形成结构光照明光场：

第一照明光源(1)产生的照明光入射到结构光产生器(3)上，第二照明光源(2)产生的照明光与第一照明光源(1)经过分光棱镜(5)合束，再经过分光镜(7)反射，形成结构照明光场，结构照明光场经过显微物镜(8)照射载物台(9)上的样品；

2】CCD相机采集二维图像：

打开第一照明光源(1)，关闭第二照明光源(2)，控制相机(12)采集一幅带条纹的图像I_ΔΦ；

打开第二照明光源(2)，关闭第一照明光源(1)，控制相机(12)采集一幅不带条纹的图像I_wide；

3】图像处理：

建立坐标系，光学显微系统的光轴定义为Z轴，与光轴垂直的平面为X,Y平面；通过公式(1)进行图像运算得到样品的二维光切片图像I_z(x,y)，其中HT_x表示在X方向进行希尔伯特变换：

4】沿Z方向垂直移动显微物镜(8)或者载物台(9)后，执行步骤2】；

5】获取一系列Z方向样品的多层二维光切片图像，进而进行叠加得到样品完整的三维图像信息I(x,y,z)。

5.一种高速光学三维光切片显微方法，其特征在于，包括以下步骤：

1】第一照明光源1产生的照明光入射到结构光产生器(3)上，第二照明光源(2)产生的照明光与第一照明光源(1)经过分光棱镜(5)合束，再经过分光镜(7)反射，形成结构照明光场，结构照明光场经过显微物镜(8)照射载物台(9)上的样品；

2】相机(12)使用彩色相机，打开第一照明光源(1)，关闭第二照明光源(2)，控制相机(12)采集一幅带条纹的彩色图像

打开第二照明光源(2)，关闭第一照明光源(1)，控制相机(12)采集一幅不带条纹的彩色图像I_wide(RGB)；

3】将采集到的带条纹的彩色图像和不带条纹的彩色图像I_wide(RGB)分别转换为灰度图像I_ΔΦ和I_wide；

4】建立坐标系，光学显微系统的光轴定义为Z轴，与光轴垂直的平面为X,Y平面；通过公式(2)进行图像运算得到样品在xy平面的二维灰度光切片图像I_z(x,y)，其中HT_x表示在X方向进行希尔伯特变换：

5】将彩色图像I_wide(RGB)与二维灰度光切片图像I_z(x,y)相乘，得到彩色光切片图像I_Z(RGB)＝I_Z(x,y)*I_wide(RGB)

6】沿Z方向垂直移动显微物镜(8)或载物台(9)后，执行步骤2]；

7】得到一系列样品在其它层的二维灰度光切片图，进而进行叠加得到样品完整的彩色三维图像信息I_RGB(x,y,z)。