CN112630987A - 一种快速超分辨压缩数字全息显微成像系统及方法 - Google Patents

Abstract

本发明公开了一种快速超分辨压缩数字全息显微成像系统和方法，采用第一空间光调制器加载结构图案，由激光器发出的光束经过扩束准直之后照射在第一空间光调制器上，形成线性结构光，线性结构光经过第一显微物镜之后照射在被测样品表面，被测样品经过结构光调制之后被第二显微物镜放大，照射在第二空间光调制器上进行采样，然后在图像传感器表面形成全息图并被记录。本发明在图像传感器的一个曝光周期内，对多张结构光调制的物体图像进行采样，将多张采样后的图片压缩成像在同一张图片中，通过压缩感知算法和结构光重建算法进行图像重建，可以在极短的时间内成像多张结构光照明的全息图，避免了传统采集图像方法耗时长及操作步骤繁琐的问题。

Description

一种快速超分辨压缩数字全息显微成像系统及方法

技术领域

本发明涉及一种图像处理领域，特别涉及一种快速超分辨压缩数字全息显微成像系统及方法。

背景技术

光学成像是一种很常见的现象，已经渗透到我们生活中的方方面面，与我们的生活密不可分。数字全息是一种典型的光学成像技术，它是基于光的干涉，通过全息图来记录三维物体的信息。全息成像技术在重建原图像的时候，可以同时重建出物体的振幅信息和相位信息，这是全息技术区别于其他成像技术的典型优点。起初，全息图像的记录要依靠全息底片完成，需要经过显影，定影等过程。后来，光电传感器件被用于记录全息图和计算机被用于全息图数值重建，使得全息图的记录和再现过程实现了数字化。

在光学系统的实际应用中，通常会因为光学系统数值孔径的限制导致系统的分辨率相对较低，在一些要求高分辨率的场合难以适用。目前，提高系统分辨率的方法有很多，比如选用数值孔径相对较高的显微物镜等，除此之外，结构光照明也是一种常用的提高系统分辨率的方法。其作用原理是经过结构光投射到被测物体表面后，将高频信息编码到低频区域，被编码的高频信息就可以通过光学显微镜的频域限制的通频带，此后，经过解调、移频、融合等算法将其解码至高频区域，从而达到扩展光学显微镜的等效数值孔径的效果，突破成像系统的衍射极限。

但是对于结构光照明的系统，往往需要多个结构光照明物体表面，采集多幅结构光照明的图案，典型的结构光超分辨系统需要采集多张图片来实现原物的超分辨重建，花费时间长，操作步骤多。

发明内容

本发明目的是为了解决现有技术中采集图像方法耗时长及操作步骤繁琐的问题，提出一种快速超分辨压缩数字全息显微成像系统及方法。

本发明提出的一种快速超分辨压缩数字全息显微成像系统，包括光路连接放置的激光器、扩束准直单元、第一分束立方体、第一空间光调制器、第一显微物镜、第二显微物镜、第二分束立方体、第二空间光调制器、图像传感器；激光器发出的光经过扩束准直单元准直变成平行光束，平行光束经过第一分束立方体投射到第一空间光调制器上被反射之后进入第一显微物镜，经过第一显微物镜后的光照射在被测样品后依次经过第二显微物镜和第二分束立方体，经过第二分束立方体后投射到第二空间光调制器上，在第二空间光调制器上加载有采样矩阵，对结构光照明的被测样品进行采样，在第二空间光调制器反射后被图像传感器采集；其中，第一空间光调制器、第二空间光调制器和图像传感器分别连接计算机。

优选地，一个曝光周期内，在所述计算机上生成并在第一空间光调制器上依次显示不同的结构图案，同时在所述计算机上生成并在第二空间光调制器上依次显示不同的采样矩阵，所述结构图案与所述采样矩阵一一对应。

优选地，所述第一空间光调制器和所述第二空间光调制器均为反射式的振幅型空间光调制器。

优选地，所述图像传感器为CCD相机或CMOS相机。

优选地，所述扩束准直单元包括光路连接的空间光滤波器和凸透镜。

本发明还提出一种由上述任意一项所述的系统进行快速超分辨压缩数字全息成像方法，包括以下步骤：S1、待测样品被不同的结构光照明并被与结构光对应的采样矩阵采样后得到一系列子全息图；图像传感器在一次曝光周期内获取所述一系列子全息图得到复全息图；S2、对复全息图进行恢复重建得到被测样品的超分辨重建图像。

优选地，步骤S1具体包括以下内容：S11、第一空间光调制器上预先加载结构图像，第二空间光调制器上预先加载采样矩阵，图像传感器开始记录对应的子全息图；S12、改变第一空间光调制器上加载的结构图像生成新的结构光照明，同时改变第二空间光调制器上加载的采样矩阵生成新的采样矩阵，重复以上步骤，图像传感器完成记录并保存多张子全息图压缩得到的复全息图。

优选地，所述子全息图包含被测样品被结构光照明后生成的图像的部分像素。

优选地，步骤S2具体包括以下内容：S21、采用压缩感知算法对复全息图进行重建，得到曝光时间内的每个采样时间段内结构光照明被测样品的图像；S22、利用结构光重建算法对结构光照明被测样品的图像进行解调，得到多个频谱分量，对频谱分量进行移频、融合处理，得到最终的超分辨图像。

优选地，所述复全息图表示为：

其中，I为复全息图，g为被测样品物光和参考光的总和，

为结构光照射样品后传播到第二空间光调制器过程的卷积表示，

为由第二空间光调制器传播到图像传感器过程的卷积表示，n为在图像传感器的一次曝光时间内划分的采样时间段数，T_i为光束经过第一空间光调制器后形成的结构光，M_i为在第二空间光调制器上加载的采样矩阵。

本发明的有益效果包括：本发明通过成像系统中设置第一空间光调制器和第二空间光调制器，在两个空间光调制器上分别加载不同结构图案及相应的采样矩阵，可以实现结构光图案和采样图案的快速切换，无须考虑掩膜的制作和快速切换掩膜的难度及成本；由计算机对两个空间光调制器及图像传感器进行同步控制，对单次曝光时间内的多张结构光照明的被测样品图像进行重建，可以在极短的时间内成像多张结构光照明的子全息图，避免了传统采集图像方法耗时长及操作步骤繁琐的问题。

附图说明

图1是本发明快速超分辨压缩数字全息显微成像系统示意图。

图2是本发明实施例中的被测样品的图像。

图3是本发明具体实施例中在相同实验参数下被测样品直接成像的图像。

图4是本发明具体实施例中9种不同的结构光对被测样品调制后的图像。

图5是本发明具体实施例中对结构光调制的被测样品进行采样的50％的采样矩阵。

图6是本发明具体实施例中通过快速超分辨压缩数字全息显微成像系统重建后的图像。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例1：

如图1所示，本实施例提出一种快速超分辨压缩数字全息显微成像系统(以下可简称为成像系统或系统)，用于对被测样品进行超分辨成像，包括光路连接放置的激光器1、扩束准直单元、第一分束立方体5、第一空间光调制器4、第一显微物镜6、第二显微物镜8、第二分束立方体11、第二空间光调制器9、图像传感器12；激光器1发出的光经过扩束准直单元准直变成平行光束，平行光束经过第一分束立方体5投射到第一空间光调制器4上被调制为结构光，经过第一显微物镜6的结构光照射在被测样品7后依次经过第二显微物镜8和第二分束立方体11，投射到第二空间光调制器9，在第二空间光调制器9上加载有采样矩阵，对结构光照明的被测样品进行采样，在第二空间光调制器9反射后被图像传感器12采集；其中，第一空间光调制器4、第二空被测间光调制器9和图像传感器12分别连接计算机10。扩束准直单元包括光路连接的空间光滤波器2和凸透镜3。

成像系统的工作原理为：激光器1发出的光依次经过空间光滤波器2、准直透镜3准直变成平行光束，该平行光束经过第一分束立方体5之后投射到第一空间光调制器4上面，在第一空间光调制器上加载有结构图案，平行光束在第一空间光调制器反射之后变为结构光进入第一显微物镜6，结构光经过第一显微物镜的缩小，照射被测样品7，然后再经过第二显微物镜8的放大，经过第二分束立方体11后投射到第二空间光调制器9上，在第二空间光调制器9上加载有采样矩阵，对结构光照明的被测样品进行采样，在第二空间光调制器9反射后被图像传感器12采集。其中，因为结构光照明需要用平行光照射加载有结构图案的DMD空间光调制器来实现，而DMD空间光调制器由于微镜尺寸的原因往往难以加载足够小的结构图案，故需要第一显微物镜将结构光缩小到合适的尺寸。第二显微物镜放大是为了对结构光照明的被测样品观测方便。

在本实施例中，在图像传感器一个曝光周期内，计算机10上生成并在第一空间光调制器4上依次显示不同的结构图案，同时在计算机10上生成并在第二空间光调制器9上依次显示不同的采样矩阵，结构图案与采样矩阵一一对应。即，第一空间光调制器4在计算机10的控制下依次加载多个不同的结构图案，将由第一分束立方体5传来的光束调制为结构光，第二空间光调制器9在计算机10的控制下依次加载多个不同的采样矩阵，可以实现图像的压缩采样，减少系统成像的操作步骤及时间。其中每个采样矩阵分别与第一空间光调制器4加载的结构图案一一对应，分别对被测样品进行采样。

在本实施例中，被测样品7是透射式样品，第一空间光调制器4和第二空间光调制器9均为反射式的振幅型空间光调制器，可以单独控制每一个像素点，而且能快速切换每个像素点的值，从而可以在得到复全息图的时段内(曝光时间)加载一系列不同的结构图案和采样矩阵；图像传感器12是以CCD或CMOS为传感器的数字相机，图像传感器12与计算机10相连并且其记录下的复全息图以数字形式存储在计算机中。

本发明还提出一种由上述成像系统进行快速超分辨压缩数字全息成像的方法，包括以下步骤：

S1、待测样品被不同的结构光照明并被与结构光对应的采样矩阵采样后得到一系列子全息图；图像传感器在一个曝光周期内获取一系列子全息图得到复全息图。

具体地，步骤S1包括以下内容：S11、第一空间光调制器上预先加载结构图像，第二空间光调制器上预先加载采样矩阵，图像传感器开始记录对应的子全息图；S12、改变第一空间光调制器上加载的结构图像生成新的结构图像，同时改变第二空间光调制器上加载的采样矩阵生成新的采样矩阵，图像传感器记录并保存对应的子全息图。根据实际需要重复步骤S12，图像传感器完成记录并保存多张子全息图压缩得到的复全息图。

S2、对复全息图进行恢复重建得到被测样品的超分辨重建图像。

具体地，步骤S2包括以下内容：S21、采用压缩感知算法对复全息图进行重建，得到曝光时间内的每个采样时间段内结构光照明被测样品的图像；S22、利用结构光重建算法对结构光照明待测样品的图像进行解调，得到多个频谱分量，对频谱分量进行移频、融合处理，得到最终的超分辨图像。

在更为详细的实施例中，快速超分辨压缩数字全息显微成像方法的过程如下：打开激光器1，打开计算机10和图像传感器12，触发图像传感器12使其开始对干涉图案进行记录，同时，在计算机的控制下以一定的时间间隔分别、依次加载一系列不同的结构图案和采样矩阵到第一空间光调制器4和第二空间光调制器9上；其中，第二空间光调制器9上加载的采样矩阵将图像的一部分像素反射给图像传感器12，图像传感器12将其记录为对应的子全息图，改变第一空间光调制器4上加载的结构图像和第二空间光调制器9上加载的采样矩阵，新的采样矩阵捕获一部分像素反射给图像传感器12，图像传感器12将其记录为另一对应的子全息图，即，从第一次结构光照明及采样矩阵采样，到第二次结构光照明、采样矩阵采样结束，该时段内图像传感器12一直处于曝光记录图像的状态，图像传感器完成记录并保存多次子全息图压缩得到的复全息图。由图像传感器12记录下的复全息图保存在计算机10中，计算机对记录的复全息图进行算法重构，实现对被测样品的超分辨成像。具体地，采用压缩感知算法对复全息图进行重建得到曝光时间内的每个采样时间段内结构光照明被测样品的像。再利用结构光重建算法对一系列结构光照明的图像进行解调，得到多个频谱分量，对分量进行移频、融合，得到最终的超分辨图像。

快速超分辨压缩数字全息显微成像系统及方法能够在短时间内实现多个结构光照明的快速成像，利用随之变化的采样矩阵和结构图案在单次曝光时间内对被测样品进行调制，即，在图像传感器的一次曝光记录中，系统完成多次结构光照明及采样后的图像记录，直接得到复全息图，使获得的复全息图中包含多个角度结构光照明的信息，使得最后图像重建时可以在多个方向实现频谱的展宽，适用于快速实现样品超分辨成像的场景。

在本实施例中，将拍摄到的复全息图记为I，将被测样品到第二空间光调制器之间的距离记为z_a，用以代替空间光照射被测样品后传播到第二空间光调制器的传播距离，将第二空间光调制器与图像传感器之间的距离记为z_b，用以代替光束从第二空间光调制器出来到图像传感器的传播距离，将光束经过第一空间光调制器后形成的结构光记为T₁、T₂、T₃、......T_n，将在第二空间光调制上加载的采样矩阵记为M₁、M₂、M₃、......M_n，则图像传感器上记录的复全息图表示为

其中，g为被测样品物光和参考光的总和，

为结构光照射样品后传播到第二空间光调制器过程的卷积表示，

为由第二空间光调制器传播到图像传感器过程的卷积表示，n为在图像传感器的一次曝光时间内划分的采样时间段数。

采用压缩感知算法对每个采样矩阵对应的结构光照明图案进行重建：

{U₁，U₂，U₃，......，U_n}＝R_c{I；M₁，M₂，M₃，......，M_n}

其中，R_c{}表示相应的压缩感知算法。利用结构光的解调算法，从U_i表示的结构光调制光场中恢复出原来的被测样品的高频分量。

Com_i＝R_f{U_i}

其中，Com_i为由结构光调制后低频信息恢复出来的高频信息，R_f{}为对应的解调算法，再对各个分量进行移频、叠加：

其中，U为整个系统恢复出来的超分辨重建图像频谱，R_s{}代表图像移频算法。

在本实施例中，n取值为2(可根据需要划分不同的采样时间段)，即在图像传感器12的一次曝光时间内，将其划分为两个采样时间段，在每个采样时间段内分别加载对应的结构图案和采样矩阵，保证结构光照明和采样矩阵的对应，在一次曝光时间内对应采样两次。图4a至图4i分别依次是9种不同的结构光对被测样品调制后的图像，图5a至图5b是对结构光调制的被测样品进行采样的采样矩阵，用来加载在第二空间光调制器上，当9张不同的结构光调制后的被测样品被采样成像在图像传感器之后，通过压缩感知算法对这9张图片进行恢复，然后利用结构光照明的算法对9张图进行求解频域分量、移频、频谱融合，获得最终的超分辨重建图像。图3是在相同实验参数下被测样品直接成像的图像，图6是被测样品经过本发明的成像系统和方法重建后的图像，通过比较图3及图6，可以看出本发明提出的方法达到了超分辨的效果。同时，由于传统的结构光照明成像需要采集9张图片，这需要图像传感器分别曝光9次来捕捉最后的图像，在本发明中，若采用50％的采样矩阵(如图5所示)，即，图像的50％的像素点被第二空间光调制器反射进入图像传感器被捕获，此时，只需要图像传感器曝光5次，就可以实现超分辨重建的效果，这大大节省了系统操作的步骤及时间。

本发明通过在第一传感器上加载一系列结构图案实现结构光照明，在第二空间光调制器上加载一系列采样矩阵对被测样品进行采样，并将压缩感知算法和结构光重建算法结合进行图像重建，获得了更高的图像分辨率，减少了系统成像的操作时间和操作步骤，获得了快速超分辨图像。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例和附图仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其做出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (10)

1.一种快速超分辨压缩数字全息显微成像系统，其特征在于，包括光路连接放置的激光器、扩束准直单元、第一分束立方体、第一空间光调制器、第一显微物镜、第二显微物镜、第二分束立方体、第二空间光调制器、图像传感器；激光器发出的光经过扩束准直单元准直变成平行光束，平行光束经过第一分束立方体投射到第一空间光调制器上被反射之后进入第一显微物镜，经过第一显微物镜后的光照射在被测样品后依次经过第二显微物镜和第二分束立方体，经过第二分束立方体后投射到第二空间光调制器上，在第二空间光调制器上加载有采样矩阵，对结构光照明的被测样品进行采样，在第二空间光调制器反射后被图像传感器采集；其中，第一空间光调制器、第二空间光调制器和图像传感器分别连接计算机。

2.如权利要求1所述的快速超分辨压缩数字全息显微成像系统，其特征在于，一个曝光周期内，在所述计算机上生成并在第一空间光调制器上依次显示不同的结构图案，同时在所述计算机上生成并在第二空间光调制器上依次显示不同的采样矩阵，所述结构图案与所述采样矩阵一一对应。

3.如权利要求1所述的快速超分辨压缩数字全息显微成像系统，其特征在于，所述第一空间光调制器和所述第二空间光调制器均为反射式的振幅型空间光调制器。

4.如权利要求1所述的快速超分辨压缩数字全息显微成像系统，其特征在于，所述图像传感器为CCD相机或CMOS相机。

5.如权利要求1所述的快速超分辨压缩数字全息显微成像系统，其特征在于，所述扩束准直单元包括光路连接的空间光滤波器和凸透镜。

6.一种由权利要求1-5任意一项所述的系统进行快速超分辨压缩数字全息显微成像方法，其特征在于，包括以下步骤：

S1、待测样品被不同的结构光照明并被与结构光对应的采样矩阵采样后得到一系列子全息图；图像传感器在一次曝光周期内获取所述一系列子全息图得到复全息图；

S2、对复全息图进行恢复重建得到被测样品的超分辨重建图像。

7.如权利要求6所述的快速超分辨压缩数字全息显微成像方法，其特征在于，步骤S1具体包括以下内容：

S11、第一空间光调制器上预先加载结构图像，第二空间光调制器上预先加载采样矩阵，图像传感器开始记录对应的子全息图；

S12、改变第一空间光调制器上加载的结构图像生成新的结构光照明，同时改变第二空间光调制器上加载的采样矩阵生成新的采样矩阵，重复以上步骤，图像传感器完成记录并保存多张子全息图压缩得到的复全息图。

8.如权利要求6所述的快速超分辨压缩数字全息显微成像方法，其特征在于，所述子全息图包含被测样品被结构光照明后生成的图像的部分像素。

9.如权利要求6所述的快速超分辨压缩数字全息显微成像方法，其特征在于，步骤S2具体包括以下内容：

S21、采用压缩感知算法对复全息图进行重建，得到曝光时间内每个采样时间段内结构光照明被测样品的图像；

S22、利用结构光重建算法对结构光照明被测样品的图像进行解调，得到多个频谱分量，对频谱分量进行移频、融合处理，得到最终的超分辨图像。

10.如权利要求6所述的快速超分辨压缩数字全息显微成像方法，其特征在于，所述复全息图表示为：

其中，I为复全息图，g为被测样品物光和参考光的和，

为结构光照射样品后传播到第二空间光调制器过程的卷积表示，

为由第二空间光调制器传播到图像传感器过程的卷积表示，n为在图像传感器的一次曝光时间内划分的采样时间段数，T_i为光束经过第一空间光调制器后形成的结构光，M_i为在第二空间光调制器上加载的采样矩阵。

Images