CN112268879B - 一种荧光显微成像的系统 - Google Patents

Abstract

本发明公开了一种荧光显微成像的系统，涉及荧光成像技术领域，为解决现有技术中荧光显微图像质量差的问题而发明。该系统主要包括：样品台，用于装载样品；激光发射装置，用于产生照射所述样品的多种不同波长的激发光；荧光图像采集装置，用于采集所述样品的荧光信号并生成荧光图像；控制器，用于根据预置周期获取所述荧光图像采集装置采集到的荧光图像，计算当前采集周期的所述荧光图像的当前荧光亮度均值，根据所述当前荧光亮度均值生成实时激光控制信号，将所述实时激光控制信号发送至所述激光发射装置，以使得所述激光发射装置依据所述实时激光控制信号发射激发光。本发明主要应用于样品显微成像的过程中。

Description

一种荧光显微成像的系统

技术领域

本发明涉及荧光成像技术领域，特别是涉及一种荧光显微成像的系统。

背景技术

荧光显微成像是以不同波长的激光为光源，照射被测物体，使得被测物体发出荧光，最后在显微镜下呈现被测样品的形状及其所在位置。荧光显微镜成像技术特异性好且可实时观察，被广泛的应用于生物学、化学和材料学研究。

然而在对样品进行荧光显微成像过程中，随着拍摄时间的增加，样本荧光逐渐漂白，导致整个拍摄时间段内图像信噪信噪比逐渐降低，影响了图像质量，也降低了对样本的拍摄时程。

发明内容

有鉴于此，本发明提供一种荧光显微成像的系统，主要目的在于解决现有技术中荧光显微图像的图像质量差的问题。

依据本发明一个方面，提供了一种荧光显微成像的系统，包括：

样品台，用于装载样品；

激光发射装置，用于产生照射所述样品的多种不同波长的激发光；

荧光图像采集装置，用于采集所述样品的荧光信号并生成荧光图像；

控制器，用于根据预置周期获取所述荧光图像采集装置采集到的荧光图像，计算当前采集周期的所述荧光图像的当前荧光亮度均值，根据所述当前荧光亮度均值生成实时激光控制信号，将所述实时激光控制信号发送至所述激光发射装置，以使得所述激光发射装置依据所述实时激光控制信号发射激发光。

进一步地，所述控制器计算当前采集周期的所述荧光图像的当前荧光亮度均值，包括：

在当前采集周期的所述荧光图像中，获取属于预置像素位置的像素点的图像亮度；

根据所述图像亮度的亮度总值，以及所述预置像素位置的像素点个数，计算当前荧光亮度均值。

进一步地，所述控制器根据所述当前采集周期荧光亮度均值生成实时激光控制信号，包括：

计算所述荧光图像的前一采集周期荧光亮度均值与初始荧光亮度均值的光强比值，所述初始荧光亮度均值是指第一采集周期的所述荧光图像的荧光亮度均值；

判断所述当前荧光亮度均值是否小于所述初始荧光亮度均值，以及判断所述当前荧光亮度均值是否小于所述前一采集周期荧光亮度均值；

如果所述当前荧光亮度均值小于所述初始荧光亮度均值，且所述当前荧光亮度均值小于所述前一采集周期荧光亮度均值，或，所述当前荧光亮度均值不小于所述初始荧光亮度均值，且所述当前荧光亮度均值不小于所述前一采集周期荧光亮度均值，则根据预置计算公式，计算当前采集周期的所述荧光图像的功率修正系数，所述预置计算公式为P＝1+B(A-1)，其中P为所述功率修正系数，B为预置激励系数，A为所述光强比值；

如果所述当前荧光亮度均值小于所述初始荧光亮度均值，且所述当前荧光亮度均值不小于所述前一采集周期荧光亮度均值，或，所述当前荧光亮度均值不小于所述初始荧光亮度均值，且所述当前荧光亮度均值小于所述前一采集周期荧光亮度均值，则确定所述光强比值为当前采集周期的所述荧光图像的功率修正系数；

根据预置信号-功率关系曲线，生成所述功率修正系数对应的实时激光控制信号。

进一步地，所述初始荧光亮度均值是指第一采集周期的所述荧光图像的当前荧光亮度均值。

进一步地，所述控制器将所述激光控制信号发送至所述激光发射装置之后，所述系统还包括：

所述激光发射装置中的信号处理模块接收所述激光控制信号，并根据所述激光控制信号调节所述激光发光功率，其中，所述信号处理模块是可编程逻辑门阵列FPGA，或，具有模拟输出通道的控制卡，或具有数字输出通道的控制卡。

进一步地，所述根据预置周期获取所述荧光图像采集装置采集到的荧光图像之后，所述系统还包括：

提取与预置颜色通道对应的所述荧光图像的二维图像。

进一步地，所述荧光图像为三维图像；

所述荧光图像采集装置采集所述样品的荧光信号并生成荧光图像，包括：

在所述样品的每个层面，采集所述样品的二维图像；

根据所述二维图像，生成所述样品的三维的荧光图像。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供了一种荧光显微成像系统，控制器根据预置周期获取荧光图像采集装置采集到的荧光图像，计算当前采集周期的荧光图像的当前荧光亮度均值，根据当前荧光亮度均值生成实时激光控制信号，将实时激光控制信号发送至激光发射装置，以使得激光发射装置依据实时激光控制信号发射激发光。与现有技术相比，本发明的荧光显微成像系统根据荧光图像的当前荧光亮度均值生成实时激光控制信号，以使得激光发射装置自适应调节激光功率，荧光图像采集装置能够采集亮度稳定的荧光图像，使得荧光图像不会因为荧光漂白效应而导致后期图像信噪比过低，并且能够增加成像时间，最大化利用样品的荧光光子信号，维持荧光图像的信噪比稳定。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种生成实时激光控制信号的方法流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种荧光显微成像的系统，该系统包括：

样品台，用于装载样品；

激光发射装置，用于产生照射样品的多种不同波长的激发光；

荧光图像采集装置，用于采集样品的荧光信号并生成荧光图像；

控制器，用于根据预置周期获取荧光图像采集装置采集到的荧光图像，计算当前采集周期的荧光图像的当前荧光亮度均值，根据当前荧光亮度均值生成实时激光控制信号，将实时激光控制信号发送至激光发射装置，以使得激光发射装置依据实时激光控制信号发射激发光。

样品台用于装置被观测的样品，样品台可以设置温控装置、容置槽等部件，以使得样本可长期稳定放置在样品台上。激光发射装置能够产生多种波长的激发光，激发光是获取荧光图像的特定光源。激光发射装置可通过激光器调节激光发光功率，还可以通过声光可调滤光器、声光调制器、电光调制器或电机带动的各向异性光强衰减器。

荧光图像采集装置采用的呈现方法包括：受激辐射耗尽显微成像STED、光激活定位显微成像PALM、随机光学重构显微成像STORM、可逆饱和荧光转换显微成像RESOLFT、全内反射照明显微成像TIRF、结构光照明显微成像SIM、非线性结构光照明显微成像NL-SIM、扫描共聚焦显微成像Confocal、光片显微成像Light sheet/SPIM等多种荧光成像方法。

荧光图像采集装置采集图像，可以是样品单侧图片，那么一张荧光图片为一个采集周期，也可以是样品多角度图片，那么样品多角度拍摄的一组荧光图像为一个采集周期，示例性的，以结构光照明显微成像装置为例，以三个方向和每个方向各三个相位共9张图像作为一个采集周期，直到采集结束。荧光图像采集装置连续不断的采集荧光图像，在采集荧光图像后将荧光图像存储到控制器内存，控制器可以显示器连接，并采用多线程并行运行方式对内存中的荧光图像进行实时显示。

控制器包括存储器、处理器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信。存储器存储至少一个可执行指令，处理器用于生成控制信号，用于控制荧光采集装置、样品台和激光发射装置。荧光图像采集过程，与控制器的实时激光控制信号输出结合在一起，形成反馈回路，实现自适应补偿样品荧光漂白效应的荧光成像。控制器获取荧光图像的预置周期，是荧光图像采集装置的采集周期的整数倍，以获取重复且完整的样品图像。

进一步地，控制器计算当前采集周期的荧光图像的当前荧光亮度均值，包括：在当前采集周期的荧光图像中，获取属于预置像素位置的像素点的图像亮度；根据图像亮度的亮度总值，以及预置像素位置的像素点个数，计算当前荧光亮度均值。

选取属于预置像素位置的像素点，并获取各个像素点的图像亮度，再叠加图像亮度统计亮度总值，再将亮度总值除以像素点个数计算当前荧光亮度均值。预置像素位置可以为荧光图像中全部像素点位置，还可以为根据预置提取规则选取荧光图像中的部分像素点位置。

在计算当前荧光亮度均值时，还可以在每个采集周期的9张图像中选取前三张图像分别减去背景加和求平均值，得到一采集周期均值图像，再将该图像的像素值由大到小排序，计算其中前0.1％-100％像素值的均值作为当前荧光亮度均值。

进一步地，如图1所示，控制器根据当前采集周期荧光亮度均值生成实时激光控制信号，包括：

101、计算荧光图像的前一采集周期荧光亮度均值与初始荧光亮度均值的光强比值。

102、判断当前荧光亮度均值是否小于初始荧光亮度均值，以及判断当前荧光亮度均值是否小于前一采集周期荧光亮度均值。

103、如果当前荧光亮度均值小于初始荧光亮度均值，且当前荧光亮度均值小于前一采集周期荧光亮度均值，或，当前荧光亮度均值不小于初始荧光亮度均值，且当前荧光亮度均值不小于前一采集周期荧光亮度均值，则根据预置计算公式，计算当前采集周期的荧光图像的功率修正系数。

104、如果当前荧光亮度均值小于初始荧光亮度均值，且当前荧光亮度均值不小于前一采集周期荧光亮度均值，或，当前荧光亮度均值不小于初始荧光亮度均值，且当前荧光亮度均值小于前一采集周期荧光亮度均值，则确定光强比值为当前采集周期的荧光图像的功率修正系数。

105、根据预置信号-功率关系曲线，生成功率修正系数对应的实时激光控制信号。

通常在荧光标记的样品中，随着时间的增加，在恒定发光功率的激光照射下，荧光亮度越来越低，本发明通过预设的初始荧光亮度均值，自动计算激光发射功率，并自动调节激光发射装置使荧光亮度维持在亮度基准值，简化荧光光强与激发光强度之间关系的分析，减少了人工操作，提高了采集效率，保证荧光显微成像的图像质量。

初始荧光亮度均值，可以由用户自行设定。实时激光信息的目的在于使得激光发射装置发射的激发光能够使得荧光图像采集装置采集的荧光图像的当前荧光亮度均值会自适应逼近初始荧光亮度均值。

如果当前荧光亮度均值小于初始荧光亮度均值且小于前一采集周期荧光亮度均值，或，当前荧光亮度均值不小于初始荧光亮度均值且不小于前一采集周期荧光亮度均值，计算功率修改系数时采用的预置计算公式具体为P＝1+B(A-1)，其中P为功率修正系数，B为预置激励系数，A为光强比值。如果当前荧光亮度均值小于初始荧光亮度均值且不小于前一采集周期荧光亮度均值，或，当前荧光亮度均值不小于初始荧光亮度均值且小于前一采集周期荧光亮度均值，则确定光强比值为当前采集周期的荧光图像的功率修正系数。

进一步地，初始荧光亮度均值是指第一采集周期的荧光图像的当前荧光亮度均值。

初始荧光亮度均值，设置为第一采集周期的荧光图像的当前荧光亮度，使得荧光图像的亮度更容易维持在初始荧光亮度均值，更利于荧光图像亮度的稳定。

进一步地，控制器将激光控制信号发送至激光发射装置之后，系统还包括：

激光发射装置中的信号处理模块接收激光控制信号，并根据激光控制信号调节激光发光功率。

其中，信号处理模块是可编程逻辑门阵列FPGA，或，具有模拟输出通道的控制卡，或具有数字输出通道的控制卡。FPGA器件属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵，能够有效的解决原有的器件门电路数较少的问题。FPGA的基本结构包括可编程输入输出单元，可配置逻辑块，数字时钟管理模块，嵌入式块RAM，布线资源，内嵌专用硬核，底层内嵌功能单元。由于FPGA具有布线资源丰富，可重复编程和集成度高，投资较低的特点，在数字电路设计领域得到了广泛的应用。FPGA的设计流程包括算法设计、代码仿真以及设计、板机调试，设计者以及实际需求建立算法架构，利用EDA建立设计方案或HD编写设计代码，通过代码仿真保证设计方案符合实际要求，最后进行板级调试，利用配置电路将相关文件下载至FPGA芯片中，可保证激光控制信号传输的时效性和稳定性。

进一步地，根据预置周期获取荧光图像采集装置采集到的荧光图像之后，系统还包括：

提取与预置颜色通道对应的荧光图像的二维图像。

二维图像为MRC格式，或TIFF格式，与之对应的预置颜色通道的通道数量为2个或3个或4个。以不同的预置颜色通道获取具有不同通道的二维图像。

进一步地，荧光图像为三维图像；

荧光图像采集装置采集样品的荧光信号并生成荧光图像，包括：

在样品的每个层面，采集样品的二维图像；

根据二维图像，生成样品的三维的荧光图像。

样品台用于装置被观测的样品，样品台设置电机、移动装置和控制信号接收与转换装置，以使得样品台可根据控制器的位置控制信号进行移动。

本发明提供了一种荧光显微成像系统，控制器根据预置周期获取荧光图像采集装置采集到的荧光图像，计算当前采集周期的荧光图像的当前荧光亮度均值，根据当前荧光亮度均值生成实时激光控制信号，将实时激光控制信号发送至激光发射装置，以使得激光发射装置依据实时激光控制信号发射激发光。与现有技术相比，本发明的荧光显微成像系统根据荧光图像的当前荧光亮度均值生成实时激光控制信号，以使得激光发射装置自适应调节激光功率，荧光图像采集装置能够采集亮度稳定的荧光图像，使得荧光图像不会因为荧光漂白效应而导致后期图像信噪比过低，并且能够增加成像时间，最大化利用样品的荧光光子信号，维持荧光图像的信噪比稳定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (6)

1.一种荧光显微成像的系统，其特征在于，包括：

样品台，用于装载样品；

激光发射装置，用于产生照射所述样品的多种不同波长的激发光；

荧光图像采集装置，用于采集所述样品的荧光信号并生成荧光图像；

控制器，用于根据预置周期获取所述荧光图像采集装置采集到的荧光图像，计算当前采集周期的所述荧光图像的当前荧光亮度均值，根据所述当前采集周期荧光亮度均值生成实时激光控制信号，包括：

计算所述荧光图像的前一采集周期荧光亮度均值与初始荧光亮度均值的光强比值；

判断所述当前荧光亮度均值是否小于所述初始荧光亮度均值，以及判断所述当前荧光亮度均值是否小于所述前一采集周期荧光亮度均值；

如果所述当前荧光亮度均值小于所述初始荧光亮度均值，且所述当前荧光亮度均值小于所述前一采集周期荧光亮度均值，或，所述当前荧光亮度均值不小于所述初始荧光亮度均值，且所述当前荧光亮度均值不小于所述前一采集周期荧光亮度均值，则根据预置计算公式，计算当前采集周期的所述荧光图像的功率修正系数，所述预置计算公式为P＝1+B(A-1)，其中P为所述功率修正系数，B为预置激励系数，A为所述光强比值；

如果所述当前荧光亮度均值小于所述初始荧光亮度均值，且所述当前荧光亮度均值不小于所述前一采集周期荧光亮度均值，或，所述当前荧光亮度均值不小于所述初始荧光亮度均值，且所述当前荧光亮度均值小于所述前一采集周期荧光亮度均值，则确定所述光强比值为当前采集周期的所述荧光图像的功率修正系数；

根据预置信号-功率关系曲线，生成所述功率修正系数对应的实时激光控制信号；

将所述实时激光控制信号发送至所述激光发射装置，以使得所述激光发射装置依据所述实时激光控制信号发射激发光。

2.如权利要求1所述的系统，其特征在于，所述控制器计算当前采集周期的所述荧光图像的当前荧光亮度均值，包括：

在当前采集周期的所述荧光图像中，获取属于预置像素位置的像素点的图像亮度；

根据所述图像亮度的亮度总值，以及所述预置像素位置的像素点个数，计算当前荧光亮度均值。

3.如权利要求1所述的系统，其特征在于，所述初始荧光亮度均值是指第一采集周期的所述荧光图像的当前荧光亮度均值。

4.如权利要求1所述的系统，其特征在于，所述控制器将所述激光控制信号发送至所述激光发射装置之后，所述系统还包括：

所述激光发射装置中的信号处理模块接收所述激光控制信号，并根据所述激光控制信号调节激光发光功率，其中，所述信号处理模块是可编程逻辑门阵列FPGA，或，具有模拟输出通道的控制卡，或具有数字输出通道的控制卡。

5.如权利要求1所述的系统，其特征在于，所述根据预置周期获取所述荧光图像采集装置采集到的荧光图像之后，所述系统还包括：

提取与预置颜色通道对应的所述荧光图像的二维图像。

6.如权利要求1所述的系统，其特征在于，所述荧光图像为三维图像；

所述荧光图像采集装置采集所述样品的荧光信号并生成荧光图像，包括：

在所述样品的每个层面，采集所述样品的二维图像；

根据所述二维图像，生成所述样品的三维的荧光图像。

Images