CN115127480A - 一种空间相移的结构光超分辨成像系统及方法 - Google Patents

Abstract

本发明公开了一种空间相移的结构光超分辨成像系统及方法，该系统通过将两束偏振方向相互正交的线偏振光束相干叠加，形成结构光照明待测物体，结构光被非偏振分光棱镜分光后，通过不同角度的第一偏振片、第二偏振片和第三偏振片分别被对应的第一图像传感器、第二图像传感器和第三图像传感器接收；该系统利用相干光的偏振特性产生空间相移，通过三个图像传感器同时采集到三幅图像信息，极大地压缩了系统图像采集的时间，为提升结构光超分辨系统的成像效率和处理速度提供了新的解决思路。

Description

一种空间相移的结构光超分辨成像系统及方法

技术领域

本发明涉及微观三维形貌测量技术领域，尤其涉及一种空间相移的结构光超分辨成像系统及方法。

背景技术

随着应用需求的提升，要求微纳器件具有更大的信息容量，促使微纳器件由二维、微米级向三维、纳米级发展，也就对纳米级三维结构检测技术提出了迫切需求。在众多测量方法中，光学测量由于其具有非接触、非破坏、测量速度高、系统结构简单、环境适应性强等优点，应用十分广泛。但由于光学衍射极限的存在，传统光学显微镜的横向分辨率受到极大限制，如何突破光学衍射极限，实现超分辨光学测量，一直是科学界关注的热点与难点问题之一。

针对这一问题，研究人员开发了多种光学超分辨显微技术。包括基于点扩散函数改造的受激发射损耗显微技术(Stimulated Emission Depletion Microscopy， STED)、光激活定位显微技术(Photoactivated Localization Microscopy，PALM)、随机光学重构显微技术(Stochastic Optical Reconstruction Microscopy，STROM)、结构光照明显微术(Structure Illumination Microscopy，SIM)。其中结构光照明显微术因其具有对荧光染料的非特异性需求、快速的宽场成像优势，是目前在活细胞超分辨光学显微成像方面应用最多的技术。然而传统的结构光超分辨解调算法在同一角度至少需要采集三幅具有相移差的结构光图像，同时为了实现图像所有方向的超分辨效果，至少需要采集三个方向的结构光图像，即最少需要九次图像采集才能实现超分辨效果，采集效率较低，这样的采集效率极大地限制了结构光超分辨方法的实时性，因此如何提高结构光超分辨测量的采集效率是急需解决的问题。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的结构光超分辨测量的采集效率低等问题，提供一种空间相移的结构光超分辨成像系统及方法，能够有效提升图像采集效率，极大地缩短超分辨成像的时间。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种空间相移的结构光超分辨成像系统，包括计算机以及沿光路方向依次设置的光源、显微物镜、四分之一波片、第三聚光透镜、第二非偏振分光棱镜、第一偏振片、第一图像传感器、第三非偏振分光棱镜、第二偏振片、第二图像传感器、第三偏振片和第三图像传感器；

所述光源配置为产生两束偏振方向相互正交的线偏振光束相干叠加，形成结构光照明待测物体；

光路中各光学元件的中心保持在光轴上，以使光源发出的光束经过待测物体后，再依次通过显微物镜、四分之一波片、第三聚光透镜入射到第二非偏振分光棱镜中，并被分为能量相同的第一光束和第二光束；第一光束透过第二非偏振分光棱镜，经第一偏振片被第一图像传感器接收，第二光束被第二非偏振分光棱镜反射，经第三非偏振分光棱镜分为第三光束和第四光束；第三光束经第二偏振片被第二图像传感器接收，第四光束经第三偏振片被第三图像传感器接收；

所述计算机与第一图像传感器、第二图像传感器、以及第三图像传感器通信连接，并设置为解调出原始的高频信息，重建物光波，获得三幅带有固定相位差的结构光图像。

进一步地，还包括沿光路方向依次设置的He-Ne激光器、衰减片、扩束镜、第一非偏振分光棱镜、空间光调制器、第一聚光透镜、滤光片和第二聚光透镜；

所述光源采用He-Ne激光器产生，并配置为产生的光束依次经衰减片、扩束镜，透过第一非偏振分光棱镜进入空间光调制器，经由空间光调制器调制，产生多方向入射的光束，经过调制的光束反射回第一非偏振分光棱镜，经第一非偏振分光棱镜反射进入由第一聚光透镜和第二聚光透镜组合成的4f系统，4f系统的傅里叶平面处放置有滤光片，所述滤光片为带有两个正交偏振薄膜的特制滤光片，光束通过4f系统之后留下两束正交偏振光束照明待测物体。

所述第一图像传感器、第二图像传感器和第三图像传感器均为面阵彩色相机、线阵彩色相机、面阵黑白相机或线阵黑白相机，其感光器件采用CMOS或 CCD。

进一步地，所述多方向入射的光束通过空间光调制器、物理光栅或双棱镜方式产生。

进一步地，所述空间光调制器内加载有二值光栅，所述光栅周期T＝81μm，所述光栅设置的角度分别为0°、60°和120°，所述光束通过空间光调制器产生-1、0、+1三个衍射级次的光束。

优选的，所述四分之一波片与x轴方向的夹角为45°，所述第一偏振片、第二偏振片和第三偏振片的相对于水平方向的偏转角度设置为不相同。

进一步地，所述待测物体的结构光图像通过反射或透射方式形成。

进一步地，所述四分之一波片与所述第三聚光透镜的位置可相互调换。

优选的，所述He-Ne激光器产生光束的波长为632.8nm，所述扩束镜将光斑直径扩大2～20倍。

一种空间相移的结构光超分辨成像方法，包括以下步骤：

步骤一：获取两束携带物光信息O(x,y)的正交偏振光；

步骤二：两束正交偏振光经过四分之一波片，线偏振光变为左旋或右旋圆偏振光；

步骤三：物光和参考光分别通过透振方向与x轴方向夹角不同的第一偏振片、第二偏振片和第三偏振片，对应的第一图像传感器、第二图像传感器、第三图像传感器采集三幅结构光照明图；

步骤四：对采集得到的三幅结构光照明图进行结构光解调，通过变换等式得到分离的三部分频谱：IGL(f)、IGN(f)、IGL(f)，将错位的频谱IGL(f)、IGH(f) 移回正确位置，并将处于正确位置的三部分信息叠加与融合，以扩展频域信息；

步骤五：在空间光调制器SLM(Spatial Light Modulator，SLM)上加载不同方向的衍射光栅，重复步骤一到四，获得所有方向的超分辨率测量结果。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过设置第一偏振片、第二偏振片和第三偏振片，并将第一偏振片、第二偏振片和第三偏振片分别设置不同的角度，采用偏振方式调制结构光，能够改变结构光的相位，将时间相移采集形式转变为空间相移采集形式，从而使第一图像传感器、第二图像传感器和第三图像传感器接收到不同的图像信息；通过设置第一图像传感器、第二图像传感器和第三图像传感器，能够在同一时间采集到三幅结构光图像，系统提升了三倍的采集效率，缩短了超分辨成像的时间。

附图说明

图1为本发明示例性实施例的空间相移的结构光超分辨成像系统结构示意图。

图2为本发明另一示例性实施例的空间相移的结构光超分辨成像系统结构示意图。

图3为本发明示例性实施例的空间光调制器加载的不同方向的衍射光栅图。

图4为解调算法流程示意图。

图中标识：1-He-Ne激光器，2-衰减片，3-扩束镜，4-第一非偏振分光棱镜，5-空间光调制器，6-第一聚光透镜，7-滤光片，8-第二聚光透镜，9-待测物体，10- 显微物镜，11-四分之一波片，12-第三聚光透镜，13-第二非偏振分光棱镜，14- 第一偏振片，15-第一图像传感器，16-第三非偏振分光棱镜，17-第二偏振片，18- 第二图像传感器，19-第三偏振片，20-第三图像传感器。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参考图1，本发明示例性实施例的空间相移的结构光超分辨成像系统主要包括沿光路方向依次设置的光源、待测物体9、显微物镜10、四分之一波片11、第三聚光透镜12、第二非偏振分光棱镜13、第一偏振片14、第一图像传感器15、第三非偏振分光棱镜16、第二偏振片17、第二图像传感器18、第三偏振片19 和第三图像传感器20；光路中各光学元件的中心保持在光轴上。

光源配置为产生两束偏振方向相互正交的线偏振光束相干叠加，形成结构光照明待测物体9，照明产生的图像经显微物镜10放大之后，再分别透射过四分之一波片11和第三聚光透镜12，最后进入第二非偏振分光棱镜13形成能量相同的第一光束和第二光束，第一光束通过水平方向夹角为0°的第一偏振片14 进入第一图像传感器15；第二光束进入第三非偏振分光棱镜16形成被分为第三光束和第四光束，其中第三光束通过水平方向夹角为30°的第二偏振片17进入第二图像传感器18，其中第四光束通过水平方向夹角为60°的第三偏振片19 进入第三图像传感器20；通过计算机与第一图像传感器、第二图像传感器、以及第三图像传感器通信连接，并通过结构光解调算法解调出原始的高频信息，重建物光波，获得三幅带有固定相位差的结构光图像。

参考图2，本发明示例性实施例的空间相移的结构光超分辨成像系统还包括：沿光路方向依次设置的He-Ne激光器1、衰减片2、扩束镜3、第一非偏振分光棱镜4、空间光调制器5、第一聚光透镜6、滤光片7和第二聚光透镜8；He-Ne 激光器1产生光束，光束经衰减片2、扩束镜3，透过第一非偏振分光棱镜4进入空间光调制器5，经由空间光调制器5调制，经过调制的光束反射回第一非偏振分光棱镜4，经第一非偏振分光棱镜4反射进入由第一聚光透镜6和第二聚光透镜8组合成的4f系统，4f系统的傅里叶平面处放置有滤光片7，该滤光片7 为带有两个正交偏振薄膜的特制滤光片(参考图2中箭头所指的滤光片7)，光束通过4f系统之后只留下两束正交偏振光束对待测物体9形成结构光照明。

其中，He-Ne激光器1产生光束的波长为632.8nm，衰减片2用于衰减光束的强度，扩束镜3用于产生直径较大的光束，可以将光束直径扩大2～20倍；空间光调制器5用于产生多方向(至少为3个方向)的入射光束，空间光调制器5 内加载有二值光栅，光栅周期T＝81μm，光束经空间光调制器5产生-1、0、+1 三个衍射级次的光束，如图3所示，光栅设置的角度分别为0°、60°和120°，通过不同的设置角度，可以产生不同方向的结构光照明，从而使物体各个方向的高频信息进入图像传感器。

第一偏振片14、第二偏振片17和第三偏振片19相对于水平方向的偏转角度不限于0°、30°和60°，还可以是其他的偏转角度，通过设置不同的偏转角度，可以对结构光引入不同的相移量，从而使第一图像传感器15、第二图像传感器18和第三图像传感器20接收到不同的图像信息；第一图像传感器15、第二图像传感器18和第三图像传感器20均可以是面阵彩色相机、线阵彩色相机、面阵黑白相机或线阵黑白相机，其感光器件采用CMOS或者CCD；通过在光路方向上设置第一图像传感器15、第二图像传感器18和第三图像传感器20，在同一时间可以同时采集三幅带有固定相位差的结构光图像，这样只用进行三次图像采集就可采集到三个方向的结构光图像，实现了超分辨效果，提高了结构光超分辨测量的采集效率。

本发明的空间相移的结构光超分辨成像系统中，多方向的入射光束为相干线偏振光，多方向的入射光束可以通过空间光调制器产生，也可以通过物理光栅、双棱镜等方式产生，并且入射光束的方向可以调节，以实现待测物体的超分辨测量；四分之一波片11与x轴方向(水平方向)的夹角为45°，四分之一波片11 与第三聚光透镜12的位置可相互调换；待测物体的结构光图像采用反射或透射方式形成，除采用图2的方式形成外，还可以通过其他方式形成。

本发明的空间相移的结构光超分辨成像系统，通过结构光解调算法解调出原始的高频信息，重建物光波，同时获得三幅带有固定相位差的结构光图像，结构光图像的获得方式包括以下步骤：

步骤一：两束携带物光信息O(x,y)的正交偏振光，其琼斯矩阵可以分别表示为：

上式中，a表示偏振光的振幅，

分别表示偏振光的相位；

步骤二：四分之一波片快轴(或慢轴)与x轴方向的夹角为45°，四分之一波片的琼斯矩阵为：

两束正交偏振光经过四分之一波片，线偏振光变为圆偏振光(左旋圆偏振光或右旋圆偏振光)，其琼斯矩阵为：

步骤三：使物光和参考光通过一块透振方向与x轴方向夹角为α的偏振片，其琼斯矩阵可表示为：

最终出射光的琼斯矩阵为：

最后的快轴和慢轴在透射方向的干涉光强为：

上述公式中，I为光强，

表示相位差。当第一偏振片14、第二偏振片17和第三偏振片19的夹角分别为0°、30°和60°时，对应图像传感器采集的结构光照明图的干涉光强分别为：

步骤四：对采集得到的三幅结构光照明图进行结构光解调，其过程如图4 所示：由于两个频谱信息相互混叠，要完整恢复频谱信息，通过变换等式可以得到分离的三部分频谱：

然后将错位的频谱IGL(f)、IGH(f)(参考图4中的频谱分离部分，IGH(f) 位于IGN(f)左侧，IGL(f)位于IGL(f)右侧)移回正确位置(参考图4中的频谱移位与叠加部分，IGL(f)位于IGL(f)左侧，IGN(f)位于IGN(f)右侧)，并将处于正确位置的三部分信息叠加与融合，以扩展频域信息；

步骤五：在空间光调制器SLM上加载不同方向的衍射光栅，重复步骤一到四，获得所有方向的超分辨率测量结果。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (10)

1.一种空间相移的结构光超分辨成像系统，其特征在于，包括计算机以及沿光路方向依次设置的光源、显微物镜(10)、四分之一波片(11)、第三聚光透镜(12)、第二非偏振分光棱镜(13)、第一偏振片(14)、第一图像传感器(15)、第三非偏振分光棱镜(16)、第二偏振片(17)、第二图像传感器(18)、第三偏振片(19)和第三图像传感器(20)；

所述光源配置为产生两束偏振方向相互正交的线偏振光束相干叠加，形成结构光照明待测物体(9)；

光路中各光学元件的中心保持在光轴上，以使光源发出的光束经过待测物体(9)后，再依次通过显微物镜(10)、四分之一波片(11)、第三聚光透镜(12)入射到第二非偏振分光棱镜(13)中，并被分为能量相同的第一光束和第二光束；第一光束透过第二非偏振分光棱镜(13)，经第一偏振片(14)被第一图像传感器(15)接收，第二光束被第二非偏振分光棱镜(13)反射，经第三非偏振分光棱镜(16)分为第三光束和第四光束；第三光束经第二偏振片(17)被第二图像传感器(18)接收，第四光束经第三偏振片(19)被第三图像传感器(20)接收；

所述计算机与第一图像传感器(15)、第二图像传感器(18)、以及第三图像传感器(20)通信连接，并设置为解调出原始的高频信息，重建物光波，获得三幅带有固定相位差的结构光图像。

2.根据权利要求1所述的一种空间相移的结构光超分辨成像系统，其特征在于，还包括沿光路方向依次设置的He-Ne激光器(1)、衰减片(2)、扩束镜(3)、第一非偏振分光棱镜(4)、空间光调制器(5)、第一聚光透镜(6)、滤光片(7)和第二聚光透镜(8)；

所述光源采用He-Ne激光器(1)产生，并配置为产生的光束依次经衰减片(2)、扩束镜(3)，透过第一非偏振分光棱镜(4)进入空间光调制器(5)，经由空间光调制器(5)调制，产生多方向入射的光束，经过调制的光束反射回第一非偏振分光棱镜(4)，经第一非偏振分光棱镜(4)反射进入由第一聚光透镜(6)和第二聚光透镜(8)组合成的4f系统，4f系统的傅里叶平面处放置有滤光片(7)，所述滤光片(7)为带有两个正交偏振薄膜的特制滤光片，光束通过4f系统之后留下两束正交偏振光束照明待测物体(9)。

3.根据权利要求1所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述第一图像传感器(15)、第二图像传感器(18)和第三图像传感器(20)均为面阵彩色相机、线阵彩色相机、面阵黑白相机或线阵黑白相机，其感光器件采用CMOS或CCD。

4.根据权利要求2所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述多方向入射的光束通过空间光调制器(5)、物理光栅或双棱镜方式产生。

5.根据权利要求2所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述空间光调制器(5)内加载有二值光栅，所述光栅周期T＝81μm，所述光栅设置的角度分别为0°、60°和120°，所述光束通过空间光调制器(5)产生-1、0、+1三个衍射级次的光束。

6.根据权利要求1所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述四分之一波片(11)与x轴方向的夹角为45°，所述第一偏振片(14)、第二偏振片(17)和第三偏振片(19)的相对于水平方向的偏转角度设置为不相同。

7.根据权利要求1所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述待测物体(9)的结构光图像通过反射或透射方式形成。

8.根据权利要求1所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述四分之一波片(11)与所述第三聚光透镜(12)的位置可相互调换。

9.根据权利要求2所述的一种空间相移的结构光超分辨成像系统，其特征在于，所述He-Ne激光器(1)产生光束的波长为632.8nm，所述扩束镜(3)将光斑直径扩大2～20倍。

10.一种空间相移的结构光超分辨成像方法，其特征在于，采用权利要求1-9任一项所述的一种空间相移的结构光超分辨成像系统，并包括以下步骤：

步骤一：获取两束携带物光信息O(x,y)的正交偏振光；

步骤二：两束正交偏振光经过四分之一波片，线偏振光变为左旋或右旋圆偏振光；

步骤三：物光和参考光分别通过透振方向与x轴方向夹角不同的第一偏振片、第二偏振片和第三偏振片，对应的第一图像传感器、第二图像传感器、第三图像传感器采集三幅结构光照明图；

步骤四：对采集得到的三幅结构光照明图进行结构光解调，通过变换等式得到分离的三部分频谱：IGL(f)、IGN(f)、IGL(f)，将错位的频谱IGL(f)、IGH(f)移回正确位置，并将处于正确位置的三部分信息叠加与融合，以扩展频域信息；

步骤五：在空间光调制器SLM上加载不同方向的衍射光栅，重复步骤一到四，获得所有方向的超分辨率测量结果。

Images