CN113466192A - 一种超高速实时超分辨率显微成像方法 - Google Patents

Abstract

本发明公开了一种超高速实时超分辨率显微成像方法，解决了现有技术中超分辨成像系统拍摄速度较慢、后期重构时间长以及活细胞等拍摄结果差的问题，本超高速实时超分辨显微成像方法包括步骤：S1：激光器发出的入射光束分为两束/三束通过显微镜入射在样品上，产生干涉，实现结构光照明；S2：通过相机、数据采集卡和电脑联合控制干涉条纹高速改变，并高速采集样品的若干个原始图像；S3：采集到的若干个原始图像通过设计的实时重建框架进行实时重构，得到样品的超分辨图像；在采集原始图像后，可以立即对原始图像进行重构，实现实时超分辨成像，在观察活体细胞方面具有较大的优势。

Description

一种超高速实时超分辨率显微成像方法

技术领域

本发明涉及超分辨成像的技术领域，特指一种超高速实时超分辨率显微成像方法。

背景技术

结构光照明显微镜从多个荧光图像中提取高空间频率信息来提高分辨率，能突破光学衍射极限，观察细胞内的结构。目前主流的SIM显微镜主要通过物理光栅或空间光调制器(SLM)产生±1级衍射光束。对于使用物理光栅产生衍射光束的结构，需要使用机械平台旋转平移光栅来产生不同相位与方向的干涉条纹，成像速度较慢的同时由于机械振动容易导致系统不稳定。对于使用SLM产生衍射光束的结构，能实现光栅相位和方向的快速稳定切换，相比于物理光栅大大提高了拍摄速度，但受限于SLM材料特性，得到一帧图像仍需数十毫秒量级的时间，同时由于SLM对激光的利用效率低，使用SLM的系统大多要使用1w以上的激光器。此外，还有使用DMD的超分辨显微成像系统，但该方法产生条纹对比度低且无法用于3D-SIM，还有使用振镜系统的超分辨显微成像系统，该方法在干涉条纹相位改变时仍需机械移动，限制了拍摄速度。

此外，目前的主流的SIM自制和商用显微镜，分离了图像采集和重建的过程。这种模式导致超分辨率图像只有在工作流程中专门的后处理步骤后才能获得。在用户进行超分辨率活细胞成像时，这将带来不小的麻烦。例如，肝窦内皮细胞的成像，其主要特征，即细胞开窗，不能被宽场荧光显微镜分辨，而宽场荧光显微镜(低分辨率)通常用于首先导航生物标本，以识别具有超分辨率成像前景的特征。因此，为了找到最初感兴趣的领域，需要在测量和后处理步骤之间进行耗时的来回切换，耗时费力，且容易造成活细胞过早漂白，导致拍摄结果不理想。

发明内容

本发明考虑了前述问题而做出，发明的目的是提供一种超高速实时超分辨率显微成像方法，可将图像的采集与重构过程结合为一体，并能实现视频级的超分辨显微实时成像，适用于观察细胞生命活动中的反应。

为实现上述目的，本发明提供一种超高速实时超分辨率显微成像方法，包括步骤：

S1：激光器发出的入射光束分为两束/三束通过显微镜入射在样品上，产生干涉，实现结构光照明；

S2：通过相机、数据采集卡和计算机联合控制干涉条纹高速改变，并高速采集样品的若干个原始图像；

S3：采集到的若干个原始图像通过设计的实时重建框架进行实时重构，得到样品的超分辨图像。

据上所述的一种超高速实时超分辨率显微成像方法，所述步骤S3中，所述实时重建框架包括：

原始图像由相机记录，通过Camera-Link转发到相机的帧采集卡，再由相应的驱动设备，将图像放在计算机缓冲区中；

重建软件中的获取线程从缓冲区中获得原始图像，存储在原始图像缓冲区。原始图像缓冲区中的数据可通过磁盘写入程序保存至SSD存储，从而保存完整的原始数据流供以后的分析使用；

重建线程从原始图像缓冲区中将原始图像传输到图形处理器上并清除已传送的原始图像缓冲区中的原始数据，然后在图形处理器上执行重建算法，在切换入射光束的数量或重启整体设备时，运行参数估计算法，重新估计输入的重建参数；重建结果存放在结果缓冲区中，等待显示在屏幕上。

据上所述的一种超高速实时超分辨率显微成像方法，在图形处理器上执行重建算法时，采用GPU对原始图像的全部像素点并行处理加速重构过程。

据上所述的一种超高速实时超分辨率显微成像方法，所述步骤S1具体包括：

S11：所述激光器发出的入射光束经过第一偏振分束器分为第一光束与第二光束，所述第二光束经过第二偏振分束器分为第三光束与第四光束，且所述第三光束、第四光束与所述第一光束的强度相等；

S12：所述第三光束与所述第四光束通过第三偏振分束器合束为第五光束；所述第五光束传输至所述显微镜的后焦面上，显微镜将所述第五光束以平行光方式入射在样品上，实现结构光照明，或所述第五光束与所述第一光束通过合束板合束为第六光束，所述第六光束传输至所述显微镜的后焦面上，显微镜将所述第六光束以平行光方式入射在样品上，实现结构光照明。

据上所述的一种超高速实时超分辨率显微成像方法，所述第一光束依次经过第一二分之一分拨片、第一反射镜、第二反射镜、第一电光调制器、四分之一拨片、第一扩束器、第三反射镜、锲形板以及第一管镜传输至光学快门处，且所述光学快门处于关闭或打开状态，当所述光学快门处于打开状态时，所述第一光束传输至所述合束板处；

所述第三光束依次经过第四反射镜、第五反射镜、第二电光调制器、第二扩束器、第二二分之一分拨片、第一振镜以及第二管镜传输至第三偏振分束器处；

所述第四光束依次经过光棒、第六反射镜、第七反射镜、第三扩束器、第二振镜以及第三管镜传输至所述第三偏振分束器处，并与所述第三光束合束为所述第五光束；所述第五光束经过偏振片传输至所述合束板处，并与所述第一光束合束为所述第六光束；

所述第五光束或所述第六光束依次经过第四管镜、第八反射镜以及第五管镜传输至所述显微镜的焦平面，显微镜将所述第五光束或所述第六光束以平行光方式入射在样品上，实现结构光照明。

据上所述的一种超高速实时超分辨率显微成像方法，所述步骤S2具体包括：

S21：所述相机处理光信号，并提供触发信息给数据采集卡；

S22：数据采集卡调节第一振镜、第二振镜、第一电光调制器以及第二电光调制器的电压，其中所述计算机控制其电压数值；

S23：所述相机采集第一振镜、第二振镜、第一电光调制器以及第二电光调制器在不同电压下样品的若干原始图像。

据上所述的一种超高速实时超分辨率显微成像方法，当所述第五光束通过显微镜入射在样品上时，所述原始图像选取为九张；当所述第六光束通过显微镜入射在样品上时，所述原始图像选取为十五张。

据上所述的一种超高速实时超分辨率显微成像方法，所述步骤S1之前，还包括步骤S0，所述步骤S0包括：

S01：打开仪器、放置样品；

S02：设置拍摄参数。

据上所述的一种超高速实时超分辨率显微成像方法，所述步骤S3之后，还包括步骤：

S4：判断是否结束超分辨成像，若否则重新设置拍摄参数，循环测试下一组原始图像的超分辨图像，若是则关闭仪器。

本发明具有以下有益效果：

1、在采集原始图像后，可以立即对原始图像进行重构，实现实时超分辨成像，在观察活体细胞方面具有较大的优势；

2、通过计算机以及数据采集器对第一振镜、第二振镜、第一电光调制器以及第二电光调制器的电压进行调节，以获取不同的干涉图像，提高了系统成像速度，实现超高速成像；

3、在重构过程中，采用GPU对原始图像的全部像素点并行处理加速重构过程，可以使得重构速度得到极大的提高，可实现视频级的实时重建；

4、可通过光学快门可选择性打开或关闭第一光束，形成两束光火三束光的干涉模式，在2D和3D模式之间自主切换，满足不同需求；

5、在重构过程中，在切换入射光束的数量或重启整体设备时，需要运行参数估计算法，重新估计输入的重建参数，可以保证重启设备或切换入射光束数量时的重建准确性。

附图说明

图1是本发明的方法流程图；

图2是本发明的整体方法流程图；

图3是本发明的整体装置以及光路示意图；

图4是本发明的重建框架流程图；

图中：1、激光器；2、第一偏振分束器；3、第二偏振分束器；4、第三偏振分束器；5、显微镜；6、合束板；7、第一二分之一分拨片；8、第一反射镜；9、第二反射镜；10、第一电光调制器；11、四分之一拨片；12、第一扩束器；13、第三反射镜；14、锲形板、15、第一管镜；16、光学快门；17、第四反射镜；18、第五反射镜；19、第二电光调制器；20、第二扩束器、21、第二二分之一分拨片；22、第一振镜；23、第二管镜；24、光棒；25、第六反射镜；26、第七反射镜；27、第三扩束器；28、第二振镜；29、第三管镜；30、第四管镜；31、第八反射镜；32、第五管镜；33、相机；34、数据采集器；35、计算机；36、偏振片。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但发明并不限于这些实施例。

如图1-4所示，一种超高速实时超分辨率显微成像方法，包括步骤：

S1：激光器1发出的入射光束分为两束/三束通过显微镜5入射在样品上，产生干涉，实现结构光照明，当激光器1发出的入射光束为两束时，形成两束干涉模式，当激光器1发出的入射光束为三束时，形成三束干涉模式，可自由切换两束或三束干涉模式，以增加其适用性能。

S2：通过相机33、数据采集卡34和计算机35联合控制干涉条纹高速改变，并高速采集样品的若干个原始图像，其中干涉条纹的高速改变包括干涉条纹相位的高速改变和干涉条纹方向的高速改变，每拍一张，其干涉条纹的相位改变一次，每拍三张，干涉条纹的方向改变一次，以提供给样品高速改变的干涉条纹，以提高原始图像的采集效率。

S3：采集到的若干个原始图像通过设计的实时重建框架进行实时重构，得到样品的超分辨图像，在采集原始图像后，立即对原始图像进行实时重构，可方便观察活体细胞等。

优选地，步骤S3中，实时重建框架包括：

原始图像由相机33记录，通过Camera-Link转发到相机的帧采集卡，再由相应的驱动设备，将图像放在计算机35缓冲区中；

重建软件中的获取线程从缓冲区中获得原始图像，存储在原始图像缓冲区。原始图像缓冲区中的数据可通过磁盘写入程序保存至SSD存储，从而保存完整的原始数据流供以后的分析使用；

重建线程从原始图像缓冲区中将原始图像传输到图形处理器上并清除已传送的原始图像缓冲区中的原始数据，然后在图形处理器上执行重建算法，在切换入射光束的数量或重启整体设备时，运行参数估计算法，重新估计输入的重建参数；重建结果存放在结果缓冲区中，等待显示在屏幕上，还有一种情况也需要运行参数估计算法，即当入射光线的光波切换时。

在图形处理器上执行重建算法时，采用GPU对原始图像的全部像素点并行处理加速重构过程，则不需要多个像素点前后一一去处理，可同时处理，加速重构过程，实现视频级的实时重构。

步骤S1具体包括：

S11：激光器1发出的入射光束经过第一偏振分束器2分为第一光束与第二光束，第二光束经过第二偏振分束器3分为第三光束与第四光束，且第三光束、第四光束与第一光束的强度相等。

S12：第三光束与所述第四光束通过第三偏振分束器4合束为第五光束；第五光束传输至显微镜5的后焦面上，显微镜5将第五光束以平行光方式入射在样品上，实现结构光照明，或第五光束与第一光束通过合束板6合束为第六光束，第六光束传输至显微镜5的后焦面上，显微镜5将第六光束以平行光方式入射在样品上，实现结构光照明，当第五光束以平行光方式入射在样品上时，其采用的是二束干涉模式，当第六光束以平行光方式入射在样品上时，其采用的是三束干涉模式。

第一光束依次经过第一二分之一分拨片7、第一反射镜8、第二反射镜9、第一电光调制器10、四分之一拨片11、第一扩束器12、第三反射镜13、锲形板14以及第一管镜15传输至光学快门16处，且光学快门16处于关闭或打开状态，当光学快门16处于打开状态时，第一光束传输至合束板6处，当光学快门16处于关闭状态时，第一光束则不能传输至合束板6处，当第一光束传输至合束板6处时，第一光束就会与第五光束合束形成第六光束，第六光束以平行光的方式入射在样品上，当第一光束不能传输至合束板6处时，第五光束直接经过合束板6，并以平行光的方式入射在样品上；其中第一电光调制器10可控制第一光束的相位，改变第一电光调制器10可改变第一光束的相位。

第三光束依次经过第四反射镜17、第五反射镜18、第二电光调制器19、第二扩束器20、第二二分之一分拨片21、第一振镜22以及第二管镜23传输至第三偏振分束器4处。

第四光束依次经过光棒24、第六反射镜25、第七反射镜26、第三扩束器27、第二振镜28以及第三管镜29传输至第三偏振分束器4处，并与第三光束合束为第五光束；第五光束经过偏振片36传输至合束板6处，并与第一光束合束为第六光束，当然是在第一光束可以传输合束板6处时，第五光束才会与第一光束合束，当合束板6处不存在第一光束时，第五光束可以直接穿过合束板6，并提供给样品平行光，其中光棒24用于补偿无电压时第二电光调制器19带来的光程差，偏振片36用于旋转第三偏振分束器4透射和反射光束的偏振方向，保证光束以偏振方式在样品表面产生干涉。

第五光束或第六光束依次经过第四管镜30、第八反射镜31以及第五管镜32传输至显微镜5的焦平面，显微镜5将第五光束或第六光束以平行光方式入射在样品上，实现结构光照明。

步骤S2具体包括：

S21：相机处理光信号，并提供触发信息给数据采集卡；

S22：数据采集卡34调节第一振镜22、第二振镜28、第一电光调制器10以及第二电光调制器19的电压，其中计算机35控制其电压数值，计算机35提供控制指令给数据采集卡，并通过数据采集卡34调节电压，其中第一振镜22与第二振镜28的电压变化可以实现干涉条纹方向的高速改变，第一电光调制器10与第二电光调制器19的电压变化可实现干涉条纹限位的高速改变，进而实现干涉条纹的高速改变，且采用电光调制器和振镜的组合可以调高入射光能量利用率。

S23：相机33采集第一振镜22、第二振镜28、第一电光调制器10以及第二电光调制器19在不同电压下样品的若干原始图像。

当第五光束通过显微镜5入射在样品上时，原始图像选取为九张；当第六光束通过显微镜5入射在样品上时，原始图像选取为十五张，在进行重构之前，需要判断原始图像拍摄是否达到张数的要求，若没有达到要求，重新进行拍摄，直至达到要求，再进行重构。

步骤S1之前，还包括步骤S0，步骤S0包括：

S01：打开仪器、放置样品；

S02：设置拍摄参数，设置第一振镜22、第二振镜28、第一电光调制器10以及第二电光调制器19的参数，为最开始的拍摄参数。

步骤S3之后，还包括步骤：

S4：判断是否结束超分辨成像，若否则重新设置拍摄参数，循环测试下一组原始图像的超分辨图像，若是则关闭仪器，根据超分辨成像的效果以及张数需求来判断是否完成工作，若没有达到预期，则重新设置参数，重新进行超分辨成像，直至满足要求，即从步骤S02重新开始测试。

本发明提供的一种超高速实时超分辨显微成像方法，通过相机、数据采集卡以及计算机联合控制干涉条纹高速改变，并通过高速采集原始图像，在采集图像的数量达到要求后，可实时对原始图像进行重构，并采用GPU对原始图像的全部像素点并行处理，加速重构过程，使其可以实现视频级的重构，得到超分辨图像，既加快了原始图像的采集速度，又保证了原始图像的重构速度，使其可以适用于生物活细胞的观察。

以上结合附图对本发明的技术方案进行了详细的阐述，所描述的实施例用于帮助理解本发明的思想。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种超高速实时超分辨率显微成像方法，其特征在于，包括步骤：

S1：激光器发出的入射光束分为两束/三束通过显微镜入射在样品上，产生干涉，实现结构光照明；

S2：通过相机、数据采集卡和计算机联合控制干涉条纹高速改变，并高速采集样品的若干个原始图像；

S3：采集到的若干个原始图像通过设计的实时重建框架进行实时重构，得到样品的超分辨图像。

2.据权利要求1所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述步骤S3中，所述实时重建框架包括：

原始图像由相机记录，通过Camera-Link转发到相机的帧采集卡，再由相应的驱动设备，将图像放在计算机缓冲区中；

重建软件中的获取线程从缓冲区中获得原始图像，存储在原始图像缓冲区。原始图像缓冲区中的数据可通过磁盘写入程序保存至SSD存储，从而保存完整的原始数据流供以后的分析使用；

重建线程从原始图像缓冲区中将原始图像传输到图形处理器上并清除已传送的原始图像缓冲区中的原始数据，然后在图形处理器上执行重建算法，在切换入射光束的数量或重启整体设备时，运行参数估计算法，重新估计输入的重建参数；重建结果存放在结果缓冲区中，等待显示在屏幕上。

3.据权利要求2所述的一种超高速实时超分辨率显微成像方法，其特征在于，在图形处理器上执行重建算法时，采用GPU对原始图像的全部像素点并行处理，加速重构过程。

4.据权利要求1所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述步骤S1具体包括：

S11：所述激光器发出的入射光束经过第一偏振分束器分为第一光束与第二光束，所述第二光束经过第二偏振分束器分为第三光束与第四光束，且所述第三光束、第四光束与所述第一光束的强度相等；

S12：所述第三光束与所述第四光束通过第三偏振分束器合束为第五光束；所述第五光束传输至所述显微镜的后焦面上，显微镜将所述第五光束以平行光方式入射在样品上，实现结构光照明，或所述第五光束与所述第一光束通过合束板合束为第六光束，所述第六光束传输至所述显微镜的后焦面上，显微镜将所述第六光束以平行光方式入射在样品上，实现结构光照明。

5.据权利要求4所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述第一光束依次经过第一二分之一分拨片、第一反射镜、第二反射镜、第一电光调制器、四分之一拨片、第一扩束器、第三反射镜、锲形板以及第一管镜传输至光学快门处，且所述光学快门处于关闭或打开状态，当所述光学快门处于打开状态时，所述第一光束传输至所述合束板处；

所述第三光束依次经过第四反射镜、第五反射镜、第二电光调制器、第二扩束器、第二二分之一分拨片、第一振镜以及第二管镜传输至第三偏振分束器处；

所述第四光束依次经过光棒、第六反射镜、第七反射镜、第三扩束器、第二振镜以及第三管镜传输至所述第三偏振分束器处，并与所述第三光束合束为所述第五光束；所述第五光束经过偏振片传输至所述合束板处，并与所述第一光束合束为所述第六光束；

所述第五光束或所述第六光束依次经过第四管镜、第八反射镜以及第五管镜传输至所述显微镜的焦平面，显微镜将所述第五光束或所述第六光束以平行光方式入射在样品上，实现结构光照明。

6.据权利要求5所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述步骤S2具体包括：

S21：所述相机处理光信号，并提供触发信息给数据采集卡；

S22：数据采集卡调节第一振镜、第二振镜、第一电光调制器以及第二电光调制器的电压，其中所述计算机控制其电压数值；

S23：所述相机采集第一振镜、第二振镜、第一电光调制器以及第二电光调制器在不同电压下样品的若干原始图像。

7.据权利要求6所述的一种超高速实时超分辨率显微成像方法，其特征在于，当所述第五光束通过显微镜入射在样品上时，所述原始图像选取为九张；当所述第六光束通过显微镜入射在样品上时，所述原始图像选取为十五张。

8.据权利要求1所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述步骤S1之前，还包括步骤S0，所述步骤S0包括：

S01：打开仪器、放置样品；

S02：设置拍摄参数。

9.据权利要求1所述的一种超高速实时超分辨率显微成像方法，其特征在于，所述步骤S3之后，还包括步骤：

S4：判断是否结束超分辨成像，若否则重新设置拍摄参数，循环测试下一组原始图像的超分辨图像，若是则关闭仪器。

Images