CN104459971B - 一种基于集成光子芯片的结构光照明显微成像系统 - Google Patents

Abstract

本发明公开了一种基于集成光子芯片的结构光照明显微成像系统，包括光源、集成光子芯片、样品放置台、显微物镜、滤光件、光电检测器、计算机处理系统及控制系统，光源连接集成光子芯片，集成光子芯片设于样品放置台下方，显微物镜设于样品放置台上方，滤光件设于显微物镜上方，光电探测器设于滤光件上方；样品放置台上固定有待测样品，光源发射的光经集成光子芯片将处理后照射样品放置台上的待测样品；计算机处理系统连接所述样品放置台、光电检测器、控制系统；集成光子芯片连接控制系统。本发明技术方案，具有体积小、结构紧凑、系统稳定性高、光能利用率高、成像分辨率高等优点，适用于活体细胞的实时三维成像研究。

Description

一种基于集成光子芯片的结构光照明显微成像系统

技术领域

本发明涉及一种超分辨率的显微成像系统，具体涉及一种基于集成光子芯片的结构光照明显微成像系统。

背景技术

当前，高分辨率光学显微镜已经成为生物学、医学、药学等领域创新并取得重大突破的重要工具，特别是生物学研究向纳米尺度的亚细胞结构方向的发展，对光学显微镜向超高分辨率、活体实时成像发展提出了更高的要求。

普通光学显微镜受传统光学衍射极限的限制，根据瑞利判据D＝0.61λ/NA，一般而言横向分辨率只能达到200nm，纵向的分辨率约为500nm，难以满足当前生物学领域对细胞内部结构和生物分子结构的研究需求。

结构光超分辨技术(structuredilluminationmicroscopy，SIM)最早是由Neil等人于1997年提出，并将之应用于生物成像领域，分辨率可以达到100nm。该技术使用经调制的光照明样品，并通过相移算法从不同的调制图像数据中提取聚焦平面的信息，得到结构光照明显微成像的图像数据。目前已有的几种超分辨成像技术，如光激活定位法(photoactivatedlocalizationmicroscopy，PALM)、随机光学重构法(stochasticopticalreconstructionmicroscopy，STORM)以及受激发射损耗法(stimulatedemissiondepletion，STED)等。这些虽然分辨率会很高有些甚至能达到30nm，但是，这些超分辨成像技术都是基于荧光发射特性，往往需要在成像样品中添加染料或荧光团，这就多出一个样品制备的过程，而此样品制备过程可能会引起光漂白或光毒性等副效应。而结构光具有大视野、成像速度快，结构简单，无损伤等优点，适于活体细胞或组织的实时观察。

结构光照明显微最早是通过将照明光路中加入一个正弦光栅来实现，光栅图案背投影到样品上形成结构光照明，光栅装在一个压电陶瓷控制器上通过压电陶瓷控制器实现步进，每次移动光栅周期的1/3，相当于光相位变化2π/3，之后经过一个简单算法，可以得到样品的层析图像。将正弦光栅沿光栅波失方向移动五次，对应0，2π/5，4π/5，6π/5，8π/5，提取出五幅源图像，通过另一个算法则可以将轴向的分辨率提高一倍。对于一幅超分辨的三维成像，至少需要15幅源图像。

如附图1所示，图1是目前结构中采用光栅的结构光照明显微成像系统工作原理图，该光路主要由光栅1、照明光源、透镜系统2、光电探测器4以及同步控制系统5组成；光源发出的光经过准直，经光栅产生结构光，照明待测物体样品3表面，透镜系统2将待测物体样品3表面发出的荧光成像于光电探测器4平面上。利用压电装置6使得光栅1的移动(对应于相位移动)与光电探测器4记录图像的速度同步，即一幅图像记录完成后，光栅移动一个位移，记录新位相对应的图像。将记录的图像利用特定算法进行重构，得到层析图像以及超高分辨率的二维图像。这类光路，结构简单、成像速度快。但存在移动过程中位相的精度、同步过程中的时间精度、信噪比低等问题。

在这种用光栅获得结构光照明的系统中，必须通过移动光栅来获得不同相移下的源图像，因此这种机械移动装置会降低系统的稳定性。针对这种方案，很多研究者做出改进性设计：如陈木旺等人采用可编程数字微镜装置(DigitalMicromirrorDevice，DMD)来替代移动光栅以获得结构光照明。此发明具有照明时间稳定性、空间均匀性、照明调制频率自动调整等优点。熊大曦等人采用液晶(LiquidCrystal，LC)来替代移动光栅以获得结构光照明。具有系统体积小、结构光照明周期可调节、成像分辨率高等优点。以上方案虽无移动过程，稳定性有提高，但液晶、DMD响应时间，相位的精度，同步过程中时间精度、信噪比低等问题依然有待提高。

中国发明专利申请CN103018173A中公开了一种结构光照明层析显微成像系统，该结构光照明装置中的照明光由三个中心波长相近但光谱互不重叠的窄带光或激光组成，三路光通过各自独立的投影路径，把格栅投影到样品上获得结构光照明，并且，利用分光装置把不同波长的反射光投影到成像模块的不同感光区域并同时进行成像。该技术方案的优点是(1)由于采用了中心波长相近的窄带光或激光，可以有效地消除色差对成像质量的影响；(2)三路照明光采用各自独立的格栅产生结构照明模式，反射光经分光装置后由成像模块的不同感光区域接受，减少了信号间的相互串扰。但该技术方案同样也存在缺点，采用三路照明单次曝光会加大后续解算法的难度。该方案是将现有结构光空间调制的一种改进，仍具有结构复杂，体积庞大等缺点。

中国发明专利申请CN103207449A公开了一种结构光快速扫描显微成像方法，该方法，包括以下步骤：(1)计算机控制空间光调制器产生单一空间频率的调制图案，投影在样本断层上，投影的调制图案平行于样本移动的方向；(2)在保证调制图案相位不变的情况下，电控移动平台带动样本移动，并同步触发线阵相机进行拍照；(3)完成步骤(2)后，改变空间光调制器调制图案相位，再对相同成像区域进行扫描，直到完成结构光成像所需的不同照明相位图像的获取；(4)移动样本，对下一个相邻成像区域执行步骤(2)至步骤(4)，如此反复，直至完成整个样本断层的扫描。

但此方案仍是采用空间光调制的办法得到结构光，结构复杂，体积庞大。不便于便携化。

综上所述，现有技术中的显微成像系统仍未能解决成像稳定性、成像精度高及相位的精度，同步过程中时间精度、信噪比低等问题。

发明内容

为克服上述现有技术中的不足，本发明的目的在于提供一种基于集成光子芯片的结构光照明显微成像系统，该结构光照明显微成像系统，整体集成，结构紧凑，响应时间快，相位精度高；并有效地避免了传统空间结构光照明系统中采用机械移动装置移动对系统稳定性带来的影响。

为实现上述目的，本发明公开了如下技术方案：一种基于集成光子芯片的结构光照明显微成像系统，包括光源、集成光子芯片、样品放置台、显微物镜、滤光件、光电检测器、计算机处理系统及控制系统，所述光源连接所述集成光子芯片，所述集成光子芯片设于所述样品放置台下方，显微物镜设于所述样品放置台上方，滤光件设于所述显微物镜上方，所述光电探测器设于所述滤光件上方；所述样品放置台上固定有待测样品，光源发射的光经集成光子芯片将处理后照射样品放置台上的待测样品；所述计算机处理系统连接所述样品放置台、光电检测器、控制系统；所述集成光子芯片连接所述控制系统。

优选的，所述集成光子芯片包括光栅耦合器、光分束器、光波导、光开关阵列、光学移相阵列和光衍射阵列；由光衍射阵列发出的光发生干涉，产生周期性分布的结构光。光衍射阵列是指能以特定角度衍射的光学器件所组成的阵列。

优选的，所述光衍射阵列有特定的波长选择性，可用光栅结构作为光衍射模块；所述光衍射模块数目为n，n为不小于2的正整数；所述光衍射模块的排布为直线阵列排布或折线阵列排布或曲线阵列排布。本发明中光栅耦合器中用的是光栅，光衍射模块也可以采用光栅结构，光栅结构能将特定角度的光耦合到波导中，也能将波导中的光以特定的角度衍射到空间中。

优选的，所述样品放置台采用的是精密位移平台，能够实现高精度的三维移动能力。本发明中所述的精密位移平台采用的是压电高精度位移平台，具有三维位移能力，最小精度50nm。

优选的，所述光源采用的是LD激光光源，所述LD激光光源能够发出光衍射阵列耦合、衍射所需的特定波段。

优选的，所述光电检测器为SCMOS或科研级CCD器件。

优选的，所述滤光件采用的是窄带滤波片。

本发明所述的基于集成光子芯片的结构光照明显微成像系统，该成像系统采用LD作为激发光源，采用集成光子芯片作为结构光调制器，独创的产生结构光的集成方式，再通过运用相移算法从不同相位的调制图像数据中提取聚焦平面的信息，得到结构光照明显微成像的图像数据，具有结构紧凑、体积小、结构光照明周期可调节、成像分辨率高(100nm)等优点，更适用于活体生物细胞的实时三维成像研究。

本发明通过计算机控制集成光子芯片，改变集成光子芯片中不同路光栅的选通，控制出射光相位，由集成光子芯片内的光栅衍射阵列发出的光经干涉后形成稳定的结构光照明条纹，结构光照明条纹投射到样品放置台上的待测样品上，通过窄带滤光片滤光，被光电探测器接收。通过运用相移算法从不同相位的调制图像数据中提取聚焦平面的信息，得到结构光照明显微成像的精细图像。本发明基于集成光子芯片的结构光照明显微成像系统，采用的集成光子芯片的成熟加工工艺，整体集成，结构紧凑，响应时间快，相位精度高。并有效地避免了传统空间结构光照明系统中采用机械移动装置移动对系统稳定性带来的影响。

与现有技术相比，本发明具有以下有益效果：

1、采用集成光子芯片产生结构光，结构光的相移由电脑编程控制，有效避免了传统光栅式结构光照明成像系统中机械装置移动对系统稳定性带来的影响，并实现了高速成像。

2、采用的LD激光光源，包含光栅衍射阵列耦合、衍射所需的特定波段；具有耦合效率高、光能损耗少等优点。

本发明技术方案，具有体积小、结构紧凑、系统稳定性高、光能利用率高、成像分辨率高等优点，适用于活体细胞的实时三维成像研究。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如下。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中常见结构光照明显微成像系统工作原理图；

图2为本发明采用集成光子芯片的结构光照明超分辨显微系统示意图；

图3为本发明采用的集成光子芯片结构示意图；

图4为光衍射阵列排布示意图；

图5为结构光超分辨原理示意图；

图6为MATLAB仿真产生结构光的示意图。

图中标号说明：1、光源2、光纤3、集成光子芯片；301、光栅耦合器302、光分束器；303、光波导304、光开关阵列305、光学移相阵列306、光栅衍射阵列；4、样品放置台；5、待测样品；6、显微物镜；7、滤光件8、光电探测器；9、计算机处理系统10、控制系统。

具体实施例

下面将参考附图并结合实施例，来详细说明本发明。

实施例1：如图2、3所示，一种基于集成光子芯片的结构光照明显微成像系统，包括光源1、集成光子芯片3、样品放置台4、显微物镜6、滤光件7、光电检测器8、计算机处理系统9及控制系统10，光源1连接集成光子芯片3，集成光子芯片3设于样品放置台4下方，显微物镜6设于样品放置台5上方，滤光件7设于显微物镜6上方，光电探测器8设于滤光件7上方；样品放置台4上固定有待测样品5，样品放置台4上夹持载玻片，载玻片即为待测样品5，样品放置台4是透明的；光源1发射的光经光纤2传输至集成光子芯片3，集成光子芯片3将光处理后照射样品放置台4上的待测样品5；计算机处理系统9连接样品放置台4、光电检测器8、控制系统10；集成光子芯片3连接控制系统10。

集成光子芯片3包括光栅耦合器301、光分束器302、光波导303、光开关阵列304、光学移相阵列305和光栅衍射阵列306；由光栅衍射阵列306发出的光发生干涉，产生周期性分布的结构光。本实施例中，集成光子芯片3采用了微纳加工技术，将光分束器302，光波导303，光开关阵列304，光学移相阵列305和光栅衍射阵列306集成到毫米量级的芯片上。输入光经过光分束器302后变为功率相等的三束，之后进入光开关阵列304并从输出端口中指定的端口输出。集成光子芯片利用移相阵列分别对进入光栅衍射阵列的三光束进行相位控制。经光栅的衍射后三光束在垂直于集成光子芯片表面的空间发生干涉，形成具有特定周期分布的三维结构光。

本实施例中光栅衍射阵列306有特定的波长选择性，可用光栅结构作为光衍射模块；所述光衍射模块的数目为n，n为不小于2的正整数；所述光衍射模块的排布为直线阵列排布或折线阵列排布或曲线阵列排布。

本实施例中的光源1采用的是LD激光光源，所述LD激光光源能够发出光衍射阵列耦合、衍射所需的特定波段。

本实施例中的光电探测器8可采用SCMOS或科研级CCD器件。

本实施例中的滤光件7采用的是窄带滤波片。

本实施例中从集成光子芯片3发射的结构光，经过待测样品5，被显微物镜6接收，经窄带滤光片7被光电探测器8探测。通过计算机处理系统9采集数据，再通过计算机处理系统9通过控制系统10改变结构光相位以及方向，得到不同相位下的源图像。之后通过相移算法得到超分辨图像。

实施例2：如图3所示，本发明采用的集成光子芯片结构包含光栅耦合器301，光分束器302，光波导303，光开关阵列304，光学移相阵列305和光栅衍射阵列306集成到毫米量级的芯片上。输入光经光栅耦合器301进入1×3分束器302后变为功率相等的三束，之后进入3×8光开关阵列并从输出端口中指定的端口输出。利用移相阵列305分别对进入衍射光栅阵列306的三光束进行相位控制。经光栅的衍射后三光束在垂直于芯片表面的空间发生干涉，形成具有特定周期分布的三维结构光。

实施例3：如图4所示，本发明采用的光衍射阵列排布示意图。图4a为线性阵列排布，图4b为折线阵列排布，图4c为曲线阵列排布。

实施例4：如图5所示，结构光照明提高横向空间分辨利用的是莫尔效应。图5a为结构光与样品频率分量示意图，对于包含样品每一个频率分量(频率为k)，在频率为k₀的结构光照明下，会产生和频(k′_m＝k+k₀)和差频(k′_m＝k-k₀)的莫尔条纹，后者的频率k_m与样品频率k结构光频率k₀之间的关系如图5b所示，光学系统的可探测频率成分由图5c中的粗线圆表示，圆内区域可被探测，最大可探测频率表示为k_max。因此，当k_m属于光学系统的可探测频率时，就可以通过探测到的k_m与已知的结构光频率k₀，求出样品频率k，也就是说，可以将系统的最高可探测频率由k_max扩展到(k_max+k₀)，如图5c所示，也就是说，获得了结构光频率方向的超衍射极限分辨。

实施例5：如图6所示，利用MATLAB仿真产生的垂直方向的结构光。左图光源为800nm，结构光周期为800nm，右图光源为1600nm，结构光周期为1600nm。

本发明的原理具体从两方面来展开：

1、结构光照明提高横向分辨率的原理。设横向的结构光图案为正弦分布：

公式(1.1)

将此式先进行欧拉变换，再进行傅里叶(FT)变换，可以得到频域的横向结构光图案只有三个分量：

公式(1.2)

频域的源图像是频域的荧光分子浓度分布，D(k)，与频域的结构光图案，I₁(k)的卷积：

公式(1.3)

在三个光栅相位下，根据公式(1.3)分别得到I₁(k)、I₂(k)、I₃(k)：

$\left[\begin{array}{c}{I}_1\left(k\right)\\ I_2\left(k\right)\\ I_3\left(k\right)\end{array}\right]=A\left[\begin{array}{c}D\left(k\right)\\ D(k+k_0)\\ D(k-k_0)\end{array}\right]$ 公式(1.4)

其中

公式(1.5)

从公式(1.4)可以得到频域空间的荧光分子浓度分布D(k)、D(k+k₀)、D(k-k₀)

$\left[\begin{array}{c}D\left(k\right)\\ D(k+k_0)\\ D(k-k_0)\end{array}\right]=A^{-1}\left[\begin{array}{c}{I}_1\left(k\right)\\ I_2\left(k\right)\\ I_3\left(k\right)\end{array}\right]$ 公式(1.6)

将D(k+k₀)、D(k-k₀)分量在频域空间相应的方向平移-k₀、k₀，便可以使得横向方向的空间分辨率得到扩展

2、结构光照明提高纵向分辨率的原理。对于每一幅获得的源图像(荧光强度表示为I_em(x，y)，都可以将它分为两个部分，即离焦部分和在焦部分。

I_em(x，y)＝I_defocus(x，y)+I_infocus(x，y)I_grid(x，y)公式(2.1)

由于使用了低通空间滤波，因此照明在样品上的光栅图案可以看成是0级和±1级三束衍射光束相干作用的结果，表示为Igrid(x)：

公式(2.2)

上式中，α表示0级衍射光和±1级衍射光的振幅比；p_x表示投影到样品上的光栅图案的空间周期；φ_x表示与光栅沿光栅波矢方向偏移时对应的结构光图案相位变化。

公式(2.3)

通过设定5个不同的值，可以获得5幅源图像，也就是说，可以产生5个方程，从这5个方程，通过下面的方法，可以将频率为v₀和2v₀的两个分量可以分离。

式(2.1)中的I_em(x，y)可以写成：

公式(2.4)

$\left[\begin{array}{c}{I}_1\\ I_2\\ I_3\\ I_4\\ I_5\end{array}\right]=X\left[\begin{array}{c}{I}_{\mathrm{cons}}\\ I_{s1}\\ I_{c1}\\ I_{s2}\\ I_{c2}\end{array}\right]$ 公式(2.5)

公式(2.6)

理论上来说，5个任意的取值，只要使得X为满秩矩阵，就能求出解。

简单来说，结构光照明提高横向空间分辨利用的是莫尔效应。对于包含样品每一个频率分量(频率为k)，在频率为k₀的结构光照明下，会产生和频(k′_m＝k+k₀)和差频(k′_m＝k-k₀)的莫尔条纹，后者的频率k_m与样品频率k结构光频率k₀之间的关系

如图5b所示，光学系统的可探测频率成分由图5c中的粗线圆表示，圆内区域可被探测，最大可探测频率表示为k_-ax。因此，当k_m属于光学系统的可探测频率时，就可以通过探测到的k_m与已知的结构光频率k₀，求出样品频率k，也就是说，可以将系统的最高可探测频率由k_max扩展到(k_max+k₀)，如图5c所示，也就是说，获得了结构光频率方向的超衍射极限分辨。

实施例6：本发明具体的实施例如下，将待测样品5放置在样品放置台4上，利用本发明的集成光子芯片3产生结构光提供照明，样品放置台4是精密位移平台，具有高精度三维移动能力，利用xy方向移动调节视野，利用z方向移动调焦。调整好后通过窄带滤光件7滤光，被光电探测器8接收，得到一幅待分析的源图像。通过计算机处理系统9控制集成光子芯片3，改变集成光子芯片出射光的相位，使其每次变化2π/3，最后再通过改变集成光子芯片中不同路光栅的选通，达到出射结构光角度的调整，如对应0，2π/5，4π/5，6π/5，8π/5，提取出五幅源图像。对于一幅超分辨的三维成像，至少需要15幅源图像，再利用相移算法得到一张超分辨的图像。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于集成光子芯片的结构光照明显微成像系统，其特征在于，包括光源、集成光子芯片、样品放置台、显微物镜、滤光件、光电检测器、计算机处理系统及控制系统，所述光源连接所述集成光子芯片，所述集成光子芯片设于所述样品放置台下方，显微物镜设于所述样品放置台上方，滤光件设于所述显微物镜上方，所述光电探测器设于所述滤光件上方；所述样品放置台上固定有待测样品，光源发射的光经集成光子芯片处理后照射样品放置台上的待测样品；所述计算机处理系统连接所述样品放置台、光电检测器、控制系统；所述集成光子芯片连接所述控制系统；

所述集成光子芯片包括光栅耦合器、光分束器、光波导、光开关阵列、光学移相阵列和光衍射阵列；由光衍射阵列发出的光发生干涉，产生周期性分布的结构光；

所述光衍射阵列有特定的波长选择性，可用光栅结构作为光衍射模块；所述光衍射模块数目为n，n为不小于2的正整数；所述光衍射模块的排布为直线阵列排布或折线阵列排布或曲线阵列排布。

2.根据权利要求1所述的基于集成光子芯片的结构光照明显微成像系统，其特征在于，所述样品放置台采用的是精密位移平台，能够实现高精度的三维移动能力。

3.根据权利要求2所述的基于集成光子芯片的结构光照明显微成像系统，其特征在于，所述光源采用的是LD激光光源，所述LD激光光源能够发出光衍射阵列耦合、衍射所需的特定波段。

4.根据权利要求3所述的基于集成光子芯片的结构光照明显微成像系统，其特征在于，所述光电检测器为SCMOS或科研级CCD器件。

5.根据权利要求4所述的基于集成光子芯片的结构光照明显微成像系统，其特征在于，所述滤光件采用的是窄带滤波片。