CN103744172B

CN103744172B - 一种具备空间光调制照明的共聚焦显微成像方法

Info

Publication number: CN103744172B
Application number: CN201310731783.6A
Authority: CN
Inventors: 易定容
Original assignee: Maike Aodi Industry Group Co Ltd
Current assignee: Maike Aodi Industry Group Co Ltd
Priority date: 2013-12-26
Filing date: 2013-12-26
Publication date: 2016-06-22
Anticipated expiration: 2033-12-26
Also published as: CN103744172A

Abstract

本发明技术涉及一种具备空间光调制照明的共聚焦显微成像方法。该方法利用单元分别可调的二维空间光调制器及虚拟针孔算法实现样品表面孤立点照明、探测光路针孔成像等共轭成像原理，从而提高共聚焦显微成像系统速度、图像分辨率和信噪比。该方法提高共聚焦显微成像系统速度、图像分辨率和信噪比等图像质量，并使得在追求成像速度与成像质量这一对相互冲突的指标过程中用户根据需要动态快速大范围内调整。

Description

一种具备空间光调制照明的共聚焦显微成像方法

技术领域

本发明技术领域是光学显微成像技术，更具体的是实现共轭成像原理的共轭光学显微成像技术领域，提供一种具备空间光调制照明的共聚焦显微成像方法。

背景技术

共聚焦显微成像技术就是在照明光路中实现照明针孔、在成像光路中实现探测针孔的显微成像技术。根据实现共轭聚焦的装置和方式，共聚焦显微成像技术大体上可分为三类。第一类是激光扫描共聚焦显微成像技术LSCM（LaserScanningConfocalMicroscopy），是通过动态控制振镜将投射其上的激光斑点对样品实现逐行扫描，多行扫描完成样品整个观察视场FOV的扫描。激光扫描共聚焦显微成像技术（LSCM）是产业化得最早的共聚焦显微成像技术。这类方法图像质量与信噪比高，然而时间效率低，一般在一秒钟一幅共轭图像。另外该技术难于在图像质量与图像速度这一始终矛盾的技术指标中根据用户当时需要快速调节。

第二类是碟片共聚焦显微成像技术SDCM（Spinning-diskConfocalMicroscopy）。该类技术利用高速旋转刻有多条螺旋排列的孔动碟片实现样品孤立点照明、孤立点探测（及共轭成像原理），获得共聚焦图像。该类方法提高了共聚焦显微成像技术的时间效率，一般能够在一秒钟获得几幅甚至几十幅的共聚焦图像。另外该技术在照明光路中添加微阵列聚光镜，提高照明光源的使用效率。碟片共聚焦显微成像技术采用旋转多针孔碟片以及与之匹配的微型聚光镜实现多光束扫描的方法，克服了LSCM效率低，成像速度过慢等缺点，实现并行共聚焦显微成像，可以实时成像。这类方法难度很高，因而造价昂贵。另外与SLCM一样，该类技术也不能快速调节图像质量与成像速度来满足用户实际观察需要。

第三类技术是利用结构光实现照明针孔，获得显微镜SIM（StructuredIlluminationMicroscopy）。结构光显微镜SIM是在落射显微镜基础上增加照明调制功能，通过采集多幅互补图像并经过计算机合成方法来提高图像在纵向和横向的分辨率。第三类技术提高成像效率，同时降低造价。中国发明专利申请200810071654.8提供了一种二维空间光调制技术，来提高含有二维空间光调制器的显微成像系统的空间分辨率。然而所述发明中照明空间调制模式之间必须有较大重叠量：一维调制模式重叠量为50%，因此时间效率降低1/2；二维照明空间调制模式重叠量为，时间效率降低55%。另外，该方法实现非常有限的调制模式，不能在较大范围内动态调节成像速度与成像质量。

因此在共聚焦显微成像领域，还有待发明既能提高图像成像质量，又能根据需要提高成像速度的方法，来满足用户在观察过程中，有时需要高的成像速度来做初步快速观察或者对活细胞做跟踪观察，有时需要提高图像质量如横向分辨率、纵向切片分辨率、图像对比度、图像清晰度等要求来提供高质量图片用于发表。

发明内容

本发明的目的在于克服现有技术的不足，提供一种提高共聚焦显微成像系统速度、图像分辨率和信噪比等图像质量，并使得在追求成像速度与成像质量这一对相互冲突的指标过程中用户根据需要动态快速大范围内调整的具备空间光调制照明的共聚焦显微成像方法。

本发明的技术方案如下：

一种具备空间光调制照明的共聚焦显微成像方法，步骤如下：

1）将一个样品观察视场分割成N个空间互补的平面照明图案P_i，其中，N≧1，i=1，2，…，N；

2）生成对应于P_i的二维空间光调制器的微阵列矩阵D_i，并控制二维空间光调制器产生对应于P_i的空间调制照明模式；

3）图像探测器曝光并获取在当前照明调制模式下的样品图像I_i，并将样品图像I_i提供给计算控制单元，在图像探测器完成样品在P_i的空间调制照明模式下的曝光后，计算控制单元通知二维空间光调制器消除当前的照明调制模式，等待P_i+1的空间调制照明模式；

4）计算控制单元根据预先刻度好的二维空间光调制器与图像探测器的空间对应关系R，首先计算出二维空间光调制器产微阵列模式D_i所对应的图像探测器成像面上虚拟针孔位置模式V_i；

5）根据虚拟针孔位置模式V_i对样品图像I_i进行虚拟针孔运算操作，获取一幅对应于在当前空间调制照明模式下实现了虚拟针孔的改进的样品图像Fi；

6）重复步骤2）到步骤5），完成N幅在二维空间调制照明模式下实现虚拟针孔的样品图像集合F；

7）合成样品图像集合F，获得样品在该视场下完整的共聚焦图像。

作为优选，步骤1）和步骤2）的顺序允许颠倒或者合并，步骤3）和步骤4）的顺序允许颠倒。

作为优选，步骤1）中，将样品观察视场分割成N个空间互补的平面照明图案P_i的方法为：通过分割能够控制样品照明斑点个数、位置和各斑点大小的二维空间光调制器的微阵列矩阵Di，使其产生N幅空间互补的照明模式，N幅照明模式的叠加恰好覆盖样品的整个观察视场。

作为优选，步骤1）所述的N个空间互补的平面照明图案P_i的子块拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

作为优选，步骤1）所述的N个空间互补的平面照明图案P_i（i=1，2，…，N）为：N个空间互补的线状照明，所述的N个线状照明拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

作为优选，步骤1）所述的N个空间互补的平面照明图案P_i（i=1，2，…，N）为：二维点阵照明，所述宾N个空间互补的二维点阵照明模块拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

作为优选，所述的二维空间光调制器与图像探测器时间同步，在前一幅Pi的空间调制照明模式准备好后才开始对样品成像曝光，在完成对样品在前一幅P_i的空间调制照明模式下图像曝光完毕之后，后一幅P_i+1的空间调制照明模式才开始照射到样品上。

作为优选，在显微成像系统每次更换维二维空间光调制器或者图像探测器之后，需要重新对该系统进行预先刻度，重新获取二维空间光调制器的微阵列矩阵与图像探测器的二维像素阵列的空间对应关系R。

作为优选，所述的二维空间光调制器与图像探测器的空间对应关系R，是一个对二维空间物体平面操作的矩阵，该矩阵包含二维平移、绕着光轴Z轴转动、一个二维空间光调制器单元对应M*M个图像探测器的放大因子。

作为优选，步骤4）中，所述的根据虚拟针孔位置模式V_i为二维矩阵，矩阵单元值是0或1，分别表示相反的透光状态或阻挡状态。

作为优选，步骤5）中，对样品图像I_i进行虚拟针孔V_i运算操作为：“与”运算：V_i（j，k）为1的单元所对应的I_i（j，k）值不变，V_i（l，m）为0的单元所对应的I_i（l，m）值取零；其中，（j，k），（l，m）为二维图像的像素位置（x，y）座标。

作为优选，步骤7）中，合成N个空间互补的虚拟针孔算法输出的样品图像集合F_i方法为：对N个F图像进行简单的空间叠加，在同一个座标位置（j，k）对N幅图像进行求和。

作为优选，所述的二维空间光调制器是单元为数字快速可调的数字微镜设备。

本发明的有益效果如下：

本发明利用单元分别可调的二维空间光调制器及虚拟针孔算法实现样品表面孤立点照明、探测光路针孔成像等共轭成像原理，从而提高共聚焦显微成像系统速度、图像分辨率和信噪比等图像质量，并使得在追求成像速度与成像质量这一对相互冲突的指标过程中用户根据需要动态快速大范围内调整。

本发明所述的方法，首先利用二维空间光调制器与图像探测器之间的空间对应关系，一次性建立二维空间光调制器二维微阵列矩阵D_i与图像探测器二维像素阵列的空间对应关系R，从而建立与孤立照明针孔即空间调制模式对应的探测照明虚拟针孔阵列V_i，进而实现共轭成像原理，提高图像在XY平面的图像分辨率、清晰度、对比度，减少样品离焦信号的影响，实现样品2D切片及纵向分辨率。

其次，利用二维空间光调制器的独立可调单元实现对样品的照明斑点大小、位置、个数等实现控制。当样品被照明斑点之间的距离超过针孔成像的衍射二级环半径之后，针孔照明斑点之间可以近似当成针孔成像，样品不同照明斑点之间的干扰降低。根据用户对成像速度与质量的要求，可以动态调节样品斑点的个数和大小：增加斑点面积或者增加斑点个数（即减少照明斑点之间距离）都提高成像质量，反之降低斑点面积或者降低斑点个数都提高成像速度。

附图说明

图1是本发明的流程图；

图2是将样品观察视场分割成N=10一维空间互补照明模式下的普通分辨率板的图片；

图3是将样品观察视场分割成N=30一维空间互补的照明模式下所采集到的分辨率板的图片；

图4是二维空间调制照明模式的一种实施例；

图5、图6是图像质量与速度动态可调效果图，其中，图5是在样品视场分割个数N=1时，图像质量相当于普通显微明场成像，成像速度在全视场情况下高达100帧每秒，对于特定ROI区域成像，可以上千上万；图6是在样品视场分割个数N=10时，一维空间调制照明模式下，依次10幅空间互补照明图案，分别获得10幅样品虚拟针图像，合成后的质量较高图像。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明所使用的二维空间光调制器为数字微镜设备（digitalmirrordevice，DMD）也可以是液晶LCD或者别的能够对照射其上的光进行微小区域的开关控制。

对于DMD，对于照射在上面的光，可以有选择地反射：处于“开”状态的微镜将光反射如照明光路落射倒样品；处于“关”状态的微镜将光反射出照明光路，使其不能落射倒样品。

对于液晶LCD，开关的执行是通过数字调节每一个像素即液晶单元的电压来控制该单元是通过光还是阻挡光的透射。

在显微成像系统所包含二维空间光调制器在光路中与摄像头的空间关系调整、对准、固定以后，二维空间光调制器的微阵列矩阵与图像探测器的图像传感器像素阵列空间对应关系就是唯一确定的。在每次更换维空间光调制器或者图像探测器之后，需要对系统重新进行预先刻度，即重新获取二维空间光调制器的二维的微阵列矩阵与图像探测器二维像素阵列的空间对应关系R。这个空间对应关系R可以是一个对二维空间物体平面操作的矩阵，该矩阵包含二维平移、绕着光轴Z轴转动、一个二维空间光调制器单元对应于M*M个图像探测器的放大因子等。这个空间对应关系R在系统的以后使用过程中可以保持不变，除非改变或者移动了摄像头。如果改变或者移动了二维空间光调制器，也是需要重新校对空间对应关系R。

如图1所示的具备空间光调制照明的共聚焦显微成像方法，具体步骤以下：

步骤一，用户根据成像质量、成像速度，将一个样品观察视场分割成N（N≧1）个空间互补的平面图案P_i（i=1，2，…，N），其分割方式满足将所有N个图案的子块拼合起来刚好覆盖待观察样品视场的全部。如果希望图像质量高，那么就产生几十个甚至上百个空间互补的平面照明模式图（N就是几十或者几百）。如果希望获取图像的速度高，那么就将样品视场的照明分割成1个或者几个空间互补的平面照明模式图（N就是1个或者几个）；另外一个提高成像速度的途径是采用大孔径的照明针孔，就是平面照明模式图中包含的照明斑点面积增大。因此，本发明所述的方法能够实现大范围的图像质量与速度动态调节。

本实施例中，将样品观察视场分割成N（N≧1）个空间互补的平面图案P_i（i=1，2，…，N）的方法为：通过分割能够控制样品照明斑点个数、位置和各斑点大小的二维空间光调制器的单元模式，使其产生N幅空间互补的照明模式，这些照明模式的叠加覆盖样品整个观察视场。为了提高时间效率，N个空间互补的平面照明图案P_i（i=1，2，…，N）的子块拼合起来刚好没有叠加、没有空隙的覆盖样品当前观察视场的全部。N个空间互补的平面照明图案P_i（i=1，2，…，N）可以是常规的线扫共聚焦技术的N个空间互补的线状照明，也可以是二维点阵照明。

步骤二，生成对应于P_i的二维空间光调制器的微阵列矩阵D_i，并控制二维空间光调制器产生对应于P_i的空间调制照明模式，为对样品在该幅P_i的空间调制照明模式下成像做好准备。

本实施例中，使用数字微镜设备（DMD）作为二维空间光调制器，通过改变写入到每个微镜单元所对应的内存的数字，可以使部分微镜单元将照射其上的光信号转出光路从而不能到达样品，另外一部分微镜单元则允许照射其上的光信号到达样品，从而实现对应于一个互补图案Pi（i=1，2，…，N）的空间调制照明模式照射在待测样品表面。

步骤三，在照射在待测样品表面Pi的空间调制照明模式形成后，在图像探测器曝光并获取在该空间调制照明模式下的样品图像I_i，并将图像Ii提供给计算控制单元，在图像探测器完成样品在P_i的空间调制照明模式下的曝光后，计算控制单元通知二维空间光调制器消除当前的照明调制模式，等待P_i+1的空间调制照明模式。

步骤四，计算控制单元根据一个预先刻度好的二维空间光调制器与图像探测器的空间对应关系R，计算出二维空间光调制器微阵列矩阵D_i所对应的图像探测器成像面上虚拟针孔位置模式V_i。虚拟针孔位置模式V_i可以是简单的二维矩阵，例如矩阵单元值是0或1，如果1代表透过针孔，0就代表阻挡，1或0代表的意思相反也可以。虚拟针孔的孔径大小是由所对应的二维空间光调制器如DMD的照明模式来定，如果要求成像速度高，孔径就选用大孔径。

步骤五，对样品图像Ii进行虚拟针孔V_i运算操作可以是简单的快速“与”运算：V_i（j，k）为1的单元所对应的I_i（j，k）值不变，V_i（l，m）为0的单元所对应的I_i（l，m）值取零；其中（j，k），（l，m）为二维图像（也是矩阵）的像素位置（x，y）座标。

步骤六，重复步骤二到步骤五，完成N幅在二维空间调制照明模式下实现虚拟针孔的样品图像集合F。

步骤七，合成N个空间互补的虚拟针孔算法输出的样品图像集合F方法可以是对N个F图像进行简单的空间叠加，即在同一个座标位置（j，k）对N、幅图像进行简单求和。

图2所示的是将样品观察视场分割成N=10一维空间互补照明模式下的普通分辨率板的图片。该照明模式是每隔开10条线提供一条DMD微镜为“开”状态。这样照明全视场需要10个这样的照明模式，采集对应的10幅这样的照片。

图3所示的是将样品观察视场分割成N=30一维空间互补的照明模式下所采集到的分辨率板的图片。该照明模式是每隔开10条线提供一条DMD微镜为“开”状态。这样照明全视场需要10个这样的照明模式，采集对应的10幅这样的照片。

相比图2与图3可以看出，空间互补模式多，被照明部分样品的彼此干扰就小。

图4是一种二维空间调制模式的实施例，是在X方向每10个空间调制单元打开一个，在Y方向每10个空间调制单元打开一个。这种调制模式是10X10点阵照明模式。

图5、图6是图像质量与速度动态可调效果图，其中，图5是在样品视场分割个数N=1时，图像质量相当于普通显微明场成像，成像速度在全视场情况下高达100帧每秒，对于特定ROI区域成像，可以上千上万；图6是在样品视场分割个数N=10时，一维空间调制照明模式下，依次10幅空间互补照明图案，分别获得10幅样品虚拟针图像，合成后的质量较高图像。在局部ROI区域成像情况下，速度也可以达到几十甚至几百帧每秒，使得速度和质量满足活细胞跟踪观察需要。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims

1.一种具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤如下：

1)将一个样品观察视场分割成N个空间互补的平面照明图案P_i，其中，N≧1，i＝1，2，…，N；将样品观察视场分割成N个空间互补的平面照明图案P_i的方法为：通过分割能够控制样品照明斑点个数、位置和各斑点大小的二维空间光调制器的单元模式，使其产生N幅空间互补的平面照明图案P_i，N幅平面照明图案P_i的叠加恰好覆盖样品的整个观察视场；

2)生成对应于P_i的二维空间光调制器的微阵列矩阵D_i，并控制二维空间光调制器产生对应于P_i的空间调制照明模式；

3)图像探测器曝光并获取在当前空间调制照明模式下的样品图像I_i，并将样品图像I_i提供给计算控制单元，在图像探测器完成样品在P_i的空间调制照明模式下的曝光后，计算控制单元通知二维空间光调制器消除当前的空间调制照明模式，等待P_i+1的空间调制照明模式；

4)计算控制单元根据预先刻度好的二维空间光调制器与图像探测器的空间对应关系R，首先计算出二维空间光调制器的微阵列矩阵D_i所对应的图像探测器成像面上虚拟针孔位置模式V_i；

5)根据虚拟针孔位置模式V_i对样品图像I_i进行虚拟针孔运算操作，获取一幅对应于在当前空间调制照明模式下实现了虚拟针孔的改进的样品图像Fi；

6)重复步骤2)到步骤5)，完成N幅平面照明图案P_i在二维空间调制照明模式下实现虚拟针孔的样品图像集合F；

7)合成样品图像集合F，获得样品在该视场下完整的共聚焦图像。

2.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤1)和步骤2)的顺序允许颠倒或者合并，步骤3)和步骤4)的顺序允许颠倒。

3.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤1)所述的N个空间互补的平面照明图案P_i的子块拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

4.根据权利要求3所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤1)所述的N个空间互补的平面照明图案P_i为：N个空间互补的线状照明，所述的N个空间互补的线状照明拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

5.根据权利要求3所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤1)所述的N个空间互补的平面照明图案P_i为：N个空间互补的二维点阵照明，所述的N个空间互补的二维点阵照明拼合后，恰好没有叠加、没有空隙的完整覆盖样品的观察视场。

6.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤3)中，所述的二维空间光调制器与图像探测器时间同步，在前一幅Pi的空间调制照明模式准备好后才开始对样品成像曝光，在完成对样品在前一幅P_i的空间调制照明模式下图像曝光之后，后一幅P_i+1的空间调制照明模式才开始照射到样品上。

7.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤4)中，在显微成像系统每次更换二维空间光调制器或者图像探测器之后，需要重新对该系统进行预先刻度，重新获取二维空间光调制器的微阵列矩阵与图像探测器的二维像素阵列的空间对应关系R。

8.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，所述的二维空间光调制器与图像探测器的空间对应关系R，是一个对二维空间物体平面操作的矩阵，该矩阵包含二维平移、绕着光轴Z轴转动或一个二维空间光调制器单元对应M*M个图像探测器的放大因子。

9.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤4)中，所述的虚拟针孔位置模式V_i为二维矩阵，矩阵单元值是0或1，分别表示相反的透光状态或阻挡状态。

10.根据权利要求9所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤5)中，对样品图像I_i进行虚拟针孔位置模式V_i运算操作为：“与”运算：V_i(j，k)为1的单元所对应的I_i(j，k)值不变，V_i(l，m)为0的单元所对应的I_i(l，m)值取零；其中，(j，k)，(l，m)为二维图像的像素位置(x，y)坐标。

11.根据权利要求10所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，步骤7)中，合成样品图像集合F的方法为：对N个样品图像Fi进行简单的空间叠加，在同一个坐标位置(j，k)对N幅图像进行求和。

12.根据权利要求1所述的具备空间光调制照明的共聚焦显微成像方法，其特征在于，所述的二维空间光调制器是单元为数字快速可调的数字微镜设备。