CN114895449A - 一种基于压缩感知的四维高速荧光显微成像装置 - Google Patents

Abstract

本发明公开了一种基于压缩感知的四维高速荧光显微成像装置，包括荧光显微系统、数据编码与采集系统、同步控制系统及数据处理与重构系统；本发明由荧光显微系统激发待测样品产生荧光动态场景；由数据编码与采集系统加载编码、调制，生成两束编码互补的荧光动态信息，其中一束由光栅实现光谱信息在空间上的映射，再由CMOS相机同步捕捉两束荧光动态信息，实现了两束信息成像在同一台CMOS相机上；由同步控制系统中的FPGA对数字微镜器件和CMOS相机进行控制，以达到时间上压缩的目的；最后由数据重构系统的计算机对采集到的数据进行处理和重构。本发明可实现四维探测成像，能在生物细胞行为检测和细胞流速分析研究领域中显现巨大的优势。

Description

一种基于压缩感知的四维高速荧光显微成像装置

技术领域

本发明涉及光学显微成像技术领域，尤其是一种基于压缩感知的四维高速荧光显微成像装置。

背景技术

在生物医学研究领域中，生物细胞的结构、行为和不同组织的差异是研究的基本对象，其空间结构、时间演化信息、光谱信息是其最基本的特征，为此，对多维度光学成像技术的研究迫在眉睫。现有技术的荧光显微成像装置受到很多限制，一方面显微装置的成像速度的速度受限于相机的采样帧率，这使得显微装置难以对目标高速运动的状态进行捕捉，另一方面，在显微成像领域的研究中，待测样品的荧光光谱信息的收集过程也存在一定的缺陷。为了最大限度的获取待测对象的时间、空间、光谱信息，人们开发了多种高速成像技术和光谱压缩技术，例如，编码孔径压缩时间成像(CACTI)，其核心是通过对不同时刻信息图像进行编码，利用CCD或者CMOS通过扫描或者快照策略的方式持续一定时间曝光，采集到单张测量图，再利用不同时刻的编码对时间信息进行还原。再例如，编码孔径快照光谱成像(CASSI)，其技术核心是将光谱信息进行空间上的离散映射，再利用CCD或者CMOS通过扫描或者快照策略的方式进行采集，实现光谱数据的采集，并能通过算法对高光谱图像进行重构。存在的问题是，现有的荧光显微装置，无法在荧光光谱信息的收集过程将样品台(106)上的待测样品产生的荧光动态场景生成两束编码互补的荧光动态信息，并在同一台CMOS相机上实现多通道采集信息，无法完成在捕捉高速运动目标的二维空间与一维时间信息的同时，同步捕捉一维光谱信息，实现四维探测的成像装置。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于压缩感知的四维高速荧光显微成像装置，本发明包括荧光显微系统、数据编码与采集系统、同步控制系统及数据处理与重构系统；本发明由荧光显微系统的连续光激光器产生激光，激发样品台上的待测样品产生荧光动态场景；

由数据编码与采集系统的数字微镜器件加载编码、调制，生成两束编码互补的荧光动态信息，且在CMOS相机芯片内的两个不同区域分别捕捉三维与四维荧光动态信息，实现了两束荧光动态信息成像在同一台CMOS相机的不同区域上；

由同步控制系统中的FPGA对数字微镜器件和CMOS相机输入触发信号进行控制，以达到时间上压缩的目的；

最后由数据重构系统的计算机会对CMOS相机采集到的数据进行处理和重构，将得到的图像进行分割、匹配，再利用基于压缩感知的视频重构算法，即可得到高速高光谱荧光显微视频。

本发明采用GAP-TV、TwIST或DeSCI压缩感知重构算法，并对得到结果的时域信息与光谱分辨信息进行恢复，就可以实现将采集到的时域压缩、时域-光谱压缩图像重构为包含荧光动态信息与光谱分辨信息的视频信息。

本发明由数据编码与采集系统的高速编码及双通道反射的特点，生成两束编码互补的荧光动态信息，并在同一台CMOS相机上实现多通道采集信息，具有能在捕捉高速运动目标的二维空间与一维时间信息的同时，同步捕捉一维光谱信息，实现四维探测的成像装置，在生物细胞行为检测和细胞流速分析研究领域中显现巨大的优势。

实现本发明目的的具体技术方案是：

一种基于压缩感知的四维高速荧光显微成像装置，其特点包括：

一个由连续光激光器、扩束镜、第一透镜、分束立方、物镜、样品台、第二透镜、第一反射镜及第三透镜组成的荧光显微系统；

所述的荧光显微系统的连续光激光器与扩束镜、第一透镜及分束立方依次光路连接；分束立方反射的一路与物镜及样品台依次光路连接；分束立方透射的一路与第二透镜、第一反射镜及第三透镜依次光路连接；

一个由数字微镜器件、第二反射镜、第三反射镜、第四透镜、第五透镜、第六透镜、第七透镜、透射光栅、第四反射镜、第五反射镜、直角反射镜及CMOS相机构成的数据编码与采集系统；

所述的数据编码与采集系统的数字微镜器件分为两路，一路与第二反射镜、第四透镜、第六透镜、透射光栅及第四反射镜依次光路连接；另一路与第三反射镜、第五透镜、第七透镜及第五反射镜依次光路连接；所述第四反射镜及第五反射镜分别与直角反射镜光路连接，直角反射镜分两束与CMOS相机光路连接；

一个由FPGA现场可编程阵列构成的同步控制系统；

一个由计算机构成的数据处理与重构系统；

所述荧光显微系统的第三透镜与数据编码与采集系统的数字微镜器件光路连接；

所述同步控制系统的FPGA分别与数字微镜器件及CMOS相机数据线连接；

所述数据处理与重构系统的计算机分别与数字微镜器件及CMOS相机数据线连接。

本发明具有下列优点：

本发明的数据编码与采集系统中，将来自荧光显微系统第三透镜的光路经过数字微镜器件编码、调制后生成两束编码互补的荧光动态信息，一束经第四反射镜射入直角反射镜，另一束经第五反射镜射入直角反射镜形成成像中继状态，并使两束荧光动态信息同时进入CMOS相机的不同区域成像，在CMOS相机芯片内的两个不同区域分别捕捉三维与四维荧光动态信息，实现了两束荧光动态信息成像在同一台CMOS相机的不同区域上，CMOS相机的单次曝光能同时采集数字微镜器件反射的两束调制后的荧光动态信息，提升了信息的利用率。

本发明由同步控制系统中的FPGA对数字微镜器件和CMOS相机输入触发信号进行控制，以达到时间上压缩的目的；

最后由数据重构系统的计算机会对CMOS相机采集到的数据进行处理和重构，将得到的图像进行分割、匹配，再利用基于压缩感知的视频重构算法，即可得到高速高光谱荧光显微视频。

本发明采用GAP-TV、TwIST或DeSCI压缩感知重构算法，并对得到结果的时域信息与光谱分辨信息进行恢复，就可以实现将采集到的时域压缩、时域-光谱压缩图像重构为包含荧光动态信息与光谱分辨信息的视频信息。

本发明成像所用的场景为荧光显微系统中设于样品台上的待测样品被激发出的连续荧光动态场景，通过连续光激光器对待测样品进行连续激发，经过数据编码与采集系统、同步控制系统及处理与重构系统获取目标的高速高光谱荧光显微视频。

本发明由数据编码与采集系统的高速编码及双通道反射的特点，生成两束编码互补的荧光动态信息，并在同一台CMOS相机上实现多通道采集信息，具有能在捕捉高速运动目标的二维空间与一维时间信息的同时，同步捕捉一维光谱信息，实现四维探测的成像装置，在生物细胞行为检测和细胞流速分析研究领域中显现巨大的优势。

附图说明

图1为本发明的结构图；

图2为数字微镜器件生成两束编码互补的荧光动态信息的示意图；

图3为信息经过数字微镜装置对时域上进行压缩感知的示意图；

图4为荧光动态信息经过透射光栅在空间上映射的示意图；

图5为图1的A处直角反射镜局部放大示意图；

图6为高速运动的荧光微球示意图。

具体实施方式

本发明包括：

参阅图1，一个由连续光激光器101、扩束镜102、第一透镜103、分束立方104、物镜105、样品台106、第二透镜107、第一反射镜108及第三透镜109组成的荧光显微系统100；

所述的荧光显微系统100的连续光激光器101与扩束镜102、第一透镜103及分束立方104依次光路连接；所述分束立方104反射的一路与物镜105及样品台106依次光路连接；所述分束立方104透射的一路与第二透镜107、第一反射镜108及第三透镜109依次光路连接。

参阅图1、图5，一个由数字微镜器件201、第二反射镜202、第三反射镜203、第四透镜204、第五透镜205、第六透镜206、第七透镜207、透射光栅208、第四反射镜209、第五反射镜210、直角反射镜211及CMOS相机212构成的数据编码与采集系统200；

所述的数据编码与采集系统200的数字微镜器件201分为两路，一路与第二反射镜202、第四透镜204、第六透镜206、透射光栅208及第四反射镜209依次光路连接；另一路与第三反射镜203、第五透镜205、第七透镜207及第五反射镜210依次光路连接；第四反射镜209及第五反射镜210分别与直角反射镜211光路连接；直角反射镜211分两束与CMOS相机212光路连接。

参阅图1，一个由FPGA现场可编程阵列构成的同步控制系统300。

参阅图1，一个由计算机构成的数据处理与重构系统400。

参阅图1，所述荧光显微系统100的第三透镜109与数据编码与采集系统200的数字微镜器件201光路连接；

所述同步控制系统300的FPGA分别与数字微镜器件201及CMOS相机212数据线连接；

所述数据处理与重构系统400的计算机分别与数字微镜器件201及CMOS相机212数据线连接。

实施例：

参阅图1，本发明工作过程如下：首先由荧光显微系统100的连续光激光器101产生激光，经过扩束镜102扩束，经过第一透镜103及透射反射之比为1∶1的分束立方104，经分束立方104分束至物镜105聚焦照射到样品台106上，激发样品台106上的待测样品产生荧光并形成荧光动态场景，荧光动态场景再经分束立方104透射，由第二透镜107、第一反射镜108及第三透镜109后进入数据编码与采集系统200；

参阅图1、图2，待测的荧光动态场景由数据编码与采集系统200中的数字微镜器件201加载编码、调制，由于数字微镜器件201上每个镜片都可以发生±12°的偏转，表示打开和关闭的状态，并与加载的编码相对应，经过数字微镜器件201调制后的荧光动态场景会分别沿+12°与-12°方向出射，且生成两束编码互补的荧光动态信息；

参阅图1、图5，两束荧光动态信息，其中一束经过第三反射镜203，然后经过由第五透镜205与第七透镜207构成的4f成像光路，再经过第五反射镜210及直角反射镜211，在CMOS相机212芯片内的一个区域积分成像，在该积分成像过程中，三维动态场景(x，y，t)信息经过数字微镜装置201按时序加载编码调制，经CMOS相机212曝光压缩为一幅图像，可通过压缩感知重构算法，对二维空间、一维时间信息进行恢复。

参阅图3，三维动态场景(x，y，t)信息经过数字微镜装置201按时序加载编码调制、积分成像后压缩为一幅二维图像(x，y)，实现了时域上的压缩。

参阅图1、图4、图5，另一束经过第二反射镜202后，然后经过由第四透镜204与第六透镜206构成的4f成像光路，再经过透射光栅208将光谱信息在空间上进行映射，最后经过第四反射镜209及直角反射镜211后，在CMOS相机212芯片内的另一个区域积分成像，在该积分成像过程中，三维动态场景(x，y，t)信息经过CMOS相机212内的数字微镜装置按时序加载编码调制，在每个编码的调制过程中，通过透射光栅208实现了一维光谱信息在空间上的映射，经过透射光栅208后，每一时刻的场景被分为多幅包含相同的编码、不同光谱信息的图像，并在空间上产生不同的位移，然后在CMOS相机212上进行积分成像为一张图像，可通过压缩感知重构算法，对二维空间、一维时间、一维光谱信息进行恢复，实现了上述两束荧光动态信息光路成像在同一台CMOS相机212的不同区域上。

参阅图1，在数据采集的过程中，由同步控制系统300中的FPGA对数字微镜器件201和CMOS相机212输入触发信号进行控制，若需要设置图像压缩比为N，若相机曝光时间为T，则每当同步控制系统300给CMOS相机212一个触发信号，则在T时间段内，给数字微镜器件201触发N次触发信号，使其每隔T/N时间段切换一次编码，以达到时间上压缩的目的。

参阅图1，数据重构系统400的计算机会对CMOS相机212采集到的数据进行处理和重构，将得到的图像进行分割、匹配，再利用基于压缩感知的视频重构算法，即可得到高速高光谱荧光显微视频。

参阅图1，本发明同步控制系统300选用的FPGA现场可编程阵列能多路同步控制，能按预设规则触发数字微镜器件201切换编码、触发CMOS相机212进行曝光，能控制触发时序及延时。

参阅图1，本发明所用数字微镜器件201支持2000HZ以上高速刷新，且dark time为80～200us。

参阅图1，本发明所选用CMOS相机212为滚动式快门相机，支持外触发模式，在选择区域为512*512时，采样帧率为100～300帧每秒。

参阅图1、图2，本发明充分利用了数字微镜器件201的结构特点，数字微镜器件201上每个镜片都可以±12°偏转，其调制后的场景会分别沿+12^°与-12^°方向出射，为此，数据编码与采集系统200中数字微镜器件201对样品台106中待测样品激发得到的连续荧光动态场景经编码、调制后形成的荧光动态信息分为两束，且两束荧光动态信息的编码互补，两束荧光动态信息后续均被采集，具有信息利用率高的特点。

参阅图1、图2，本发明的数据编码与采集系统200中，将来自荧光显微系统100第三透镜109的光路经过数字微镜器件201编码、调制后形成的荧光动态信息分为两束，一束经第四反射镜209射入直角反射镜211，另一束经第五反射镜210射入直角反射镜211形成成像中继状态，并使两束荧光动态信息同时进入CMOS相机212的不同区域成像，CMOS相机212的单次曝光能同时采集数字微镜器件201反射的两束调制后的荧光动态信息。

参阅图1，本发明成像所用的场景为荧光显微系统100中设于样品台106上的待测样品被激发出的连续荧光动态场景，通过连续光激光器101对待测样品进行连续激发，经过数据编码与采集系统200、同步控制系统300及处理与重构系统400获取目标的高速高光谱荧光显微视频。

参阅图1，本发明数据编码与采集系统200中，由第四透镜204及第六透镜206构成了一个4f线性光学信息处理系统，其后接了一块透射光栅208，该结构能对编码、调制后的荧光动态信息进行空间上呈水平方向的映射，可通过重构算法对光谱信息进行恢复，所选用的透射光栅208为600线对每毫米。

本发明所选用的分束立方104的透射反射之比为1∶1。

参阅图6，采用本发明装置，选择动态场景为高速移动的500nm时，拍摄并还原高速运动的荧光微球动态场景图。

Claims (1)

1.一种基于压缩感知的四维高速荧光显微成像装置，其特征在于，它包括：

一个由连续光激光器（101）、扩束镜（102）、第一透镜（103）、分束立方（104）、物镜（105）、样品台（106）、第二透镜（107）、第一反射镜（108）及第三透镜（109）组成的荧光显微系统（100）；

所述的荧光显微系统（100）的连续光激光器（101）与扩束镜（102）、第一透镜（103）及分束立方（104）依次光路连接；分束立方（104）反射的一路与物镜（105）及样品台（106）依次光路连接；分束立方（104）透射的一路与第二透镜（107）、第一反射镜（108）及第三透镜（109）依次光路连接；

一个由数字微镜器件（201）、第二反射镜（202）、第三反射镜（203）、第四透镜（204）、第五透镜（205）、第六透镜（206）、第七透镜（207）、透射光栅（208）、第四反射镜（209）、第五反射镜（210）、直角反射镜（211）及CMOS相机（212）构成的数据编码与采集系统（200）；

所述的数据编码与采集系统（200）的数字微镜器件（201）分为两路，一路与第二反射镜（202）、第四透镜（204）、第六透镜（206）、透射光栅（208）及第四反射镜（209）依次光路连接；另一路与第三反射镜（203）、第五透镜（205）、第七透镜（207）及第五反射镜（210）依次光路连接；第四反射镜（209）及第五反射镜（210）分别与直角反射镜（211）光路连接；直角反射镜（211）分两束与CMOS相机（212）光路连接；

一个由FPGA现场可编程阵列构成的同步控制系统（300）；

一个由计算机构成的数据处理与重构系统（400）；

所述荧光显微系统（100）的第三透镜（109）与数据编码与采集系统（200）的数字微镜器件（201）光路连接；

所述同步控制系统（300）的FPGA分别与数字微镜器件（201）及CMOS相机（212）数据线连接；

所述数据处理与重构系统（400）的计算机分别与数字微镜器件（201）及CMOS相机（212）数据线连接。

Images