CN114113020A - 一种基于多重信号分类算法的激光扫描超分辨显微成像装置、方法、设备及存储介质 - Google Patents

Abstract

一种基于多重信号分类算法的激光扫描超分辨显微成像装置、方法、设备及存储介质，属于光学精密测量技术领域，是针对共焦显微技术横向分辨率难以提高的问题所提出。包括激光光源，沿激光光源的光线传播方向依次设有准直物镜、扫描振镜、远心扫描透镜、管镜、二向色镜、物镜、荧光样品、滤光片、收集透镜、CCD相机。利用CCD相机采集不同扫描聚焦光斑照明区域内样品随机闪烁过程中所生成的低分辨率图像序列，利用多重信号分类算法对所述每一扫描位置低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像。可以有效提高共焦显微技术的横向分辨率。

Description

一种基于多重信号分类算法的激光扫描超分辨显微成像装 置、方法、设备及存储介质

技术领域

本发明涉及光学精密测量技术领域，特别是涉及一种基于多重信号分类算法的激光扫描超分辨显微成像装置、方法、设备及存储介质。

背景技术

在活体细胞成像领域，光学显微技术以其无损、非接触成像的性质在众多方法中脱颖而出，而光学衍射极限的存在限制了其成像分辨率。为了实现对更小尺寸细胞及亚细胞级别生物样品的观察，提高光学显微技术的成像分辨率具有重要意义。

共焦显微技术在轴向层析能力方面具有独特的优势，但其横向分辨率仅限于普通宽场显微技术的1.4倍，且其成像结果受针孔直径的影响较大，而现有改进方法都存在诸多局限性。

发明内容

为了克服上述现有技术存在的缺陷，本发明提供了一种基于多重信号分类算法的激光扫描超分辨显微成像装置、方法、设备及存储介质，可以解决共焦显微技术横向分辨率难以提高的问题。

本发明采用的技术方案在于：

一种基于多重信号分类算法的激光扫描超分辨显微成像装置，包括激光光源，沿激光光源的光线传播方向依次设有准直物镜、扫描振镜、远心扫描透镜、管镜、二向色镜、物镜、荧光样品、滤光片、收集透镜和CCD相机；

激光光源出射光通过准直物镜准直后，经过扫描振镜、远心扫描透镜和管镜实现动光束扫描，经过二向色镜，通过物镜聚焦于样品表面产生荧光样品，利用二向色镜和滤光片分离被物镜收集的荧光样品和被反射的照明光，荧光样品发出的荧光经过物镜、二向色镜、滤光片和收集透镜聚焦至CCD相机的像面。

一种基于多重信号分类算法的激光扫描超分辨显微成像方法，包括以下步骤：

步骤S1，利用CCD相机采集不同扫描聚焦光斑照明区域内样品随机闪烁过程中所生成的低分辨率图像序列；

步骤S2，利用多重信号分类算法对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像。

进一步地，所述步骤S1具体包括：

激光光源出射光通过准直物镜准直后，经过扫描振镜、远心扫描透镜和管镜实现动光束扫描，经过二向色镜，通过物镜聚焦于样品表面产生荧光样品，利用二向色镜和滤光片分离被物镜收集的荧光样品和被反射的照明光，荧光样品发出的荧光经过物镜、二向色镜、滤光片和收集透镜聚焦至CCD相机的像面；

随着扫描振镜发生角度偏转，聚焦光斑在荧光样品表面产生移动，经物镜、二向色镜、滤光片和收集透镜后产生强度随空间和时间变化而随机变化的低分辨率图像序列；

通过CCD相机逐点采集不同扫描聚焦光斑照明区域内荧光样品随机闪烁过程中所生成的低分辨率图像序列，在对应扫描位置加入虚拟针孔截取有效光斑数据，获得低分辨率图像序列；

低分辨率图像光强分布公式为：

式(2)中，I(r₃，r_s)为光强度，r₁、r₂、r_s分别代表物空间坐标，r₃代表像空间坐标，O(r)代表荧光样品的物函数，h₁(r)、h₂(r)分别表示照明系统和探测系统的点扩散函数,M1,M2分别代表聚焦透镜和集光透镜的放大率系数，w为假设的相机的像素尺寸，且w<<1.22λ/NA，λ为激光光源的波长，NA为物镜的数值孔径；(x₂,y₂)代表像空间坐标，h'(r)表示系统的点扩散函数，M表示荧光样品中独立闪烁的荧光量子点个数。

进一步地，所述步骤S2具体包括：

将所述的低分辨率图像序列描述为数学矩阵的形式，第k帧低分辨率图像强度分布的矩阵公式为：

I_k＝[I_k(r₃,r₁) I_k(r₃,r₂) ... I_k(r₃,r_N)]^T (3)

式(3)中，I为以列向量方式存储的序列中的每一帧图像，N为CCD相机的像素个数，r₁、r₂分别代表物空间坐标，r₃，r_N代表像空间坐标；

低分辨图像序列组成矩阵I：

I＝[I₁ I₂ … I_K] (4)

式(4)中，K表示采集的低分辨率图像总帧数；

利用多重信号分类算法对矩阵I进行奇异值分解，利用阈值σ₀分离信号与噪声，阈值应选择奇异值的拐点处，大于阈值的奇异值(σ_i>σ₀)对应的特征向量代表信号S:{u_σi＝0}，小于阈值的奇异值(σ_i<σ₀)对应的特征向量代表噪声N:{u_σi＝0}；

求解点扩散函数在信号子空间、噪声子空间的特征向量上的投影分别为d_PR(r′_test)和d_PN(r′_test)：

式(5)中，d_PR(r′_test)为点扩散函数在信号子空间的特征向量上的投影，u_σi＝0为奇异值对应的特征向量；

式(6)中，d_PN(r′_test)为点扩散函数在噪声子空间的特征向量上的投影；

d_PR(r′_test)和d_PN(r′_test)的比值为指示函数f(r′_test)：

式(7)中，α表示指示函数的指数因子，r′_test为成像平面像素点坐标；

对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像；

判别测试点有无荧光量子点，当测试点为量子点时，指示函数分子的值无限趋近于零，导致指示函数的值极大，否则指示函数较小，以指示函数的值为重构的结果，能清晰地区分出样品与背景噪声，提高图像分辨率。

一种基于多重信号分类算法的激光扫描超分辨显微成像设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现前文所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前文所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法。

本发明的有益效果是：

将多重信号分类算法与共焦显微技术的点照明方式结合，通过对共焦扫描系统采集的低分辨率图像序列进行奇异值分解，利用映射向量在相互正交的信号子空间与噪声子空间投影比值获得高分辨率图像，可以有效提高共焦显微技术的横向分辨率，用于对可随机闪烁的生物荧光样品进行成像。

附图说明

图1是一种基于多重信号分类算法的激光扫描超分辨显微成像装置的结构示意图；

图2是一种基于多重信号分类算法的激光扫描超分辨显微成像装置的简化示意图；

图3是仿真所用荧光样品的真实分布图；

图4是图1所示成像装置的共焦显微成像与基于多重信号分类算法的激光扫描超分辨显微成像的仿真结果对比图；

图5是图4所示共焦显微成像与基于多重信号分类算法的激光扫描超分辨显微成像的仿真结果中沿虚线方向的强度分布对比图。

图1中：15、激光光源；7、准直物镜；8、扫描振镜；9、远心扫描透镜；10、管镜；11、二向色镜；12、物镜；3、荧光样品；13、滤光片；14、收集透镜；6、CCD相机；

图2中：1、点光源；2、聚焦透镜；3、荧光样品；4、集光透镜；5、针孔；6、CCD相机；

具体实施方式

由图2所示，包括点光源1、沿着点光源光线传播方向依次设置了聚焦透镜2、荧光样品3、集光透镜4、针孔5和CCD相机6；

基于多重信号分类算法的激光扫描超分辨显微成像光学系统的成像过程与传统共焦显微成像过程相似，采用点光源1照明和针孔5采集，可减少其他荧光发射体的杂散光对于采集区域的影响，唯一不同之处在于CCD相机6采集完整的低分辨率图像序列而不做积分。

该系统中共包括两个光学透镜：聚焦透镜2和集光透镜4，聚焦透镜2用来给样品照明，集光透镜4用于采集信号，为了方便分析，对光学系统进行简化，称点光源1、聚焦透镜2为照明臂，集光透镜4、针孔5和CCD相机6为探测臂。仅由照明臂、探测臂及样品构成的反射式显微系统。基于多重信号分类算法的激光扫描超分辨显微成像系统采用波长为λ的点光源1照明，光束经过聚焦透镜2到达被测样品表面，荧光样品3吸收入射光子后，电子从基态变为激发态，经过跃迁回到基态并辐射波长更长的荧光，荧光经过反射式结构和集光透镜4和针孔5，CCD相机6采集光强公式为：

式(1)中，I(r₃，r_s)为光强度，r₁、r₂、r_s分别代表物空间坐标，r₃代表像空间坐标，O(r)代表荧光样品3的物函数，h₁(r)、h₂(r)分别表示照明系统和探测系统的点扩散函数,M1,M2分别代表聚焦透镜2和集光透镜4的放大率系数。

如图1所示，本实施例包括激光光源15，沿激光光源15光线传播方向依次设有准直物镜7、扫描振镜8、远心扫描透镜9、管镜10、二向色镜11、物镜12、荧光样品3、滤光片13、收集透镜14和CCD相机6。成像过程为非相干成像。

激光光源15出射光通过准直物镜7准直后，经过扫描振镜8、远心扫描透镜9和管镜10实现动光束扫描，经过二向色镜11，通过物镜12聚焦于样品表面产生荧光样品3，利用二向色镜11和滤光片13分离被物镜12收集的荧光样品3和被反射的照明光，荧光样品3发出的荧光经过物镜12、二向色镜11、滤光片13和收集透镜14聚焦至CCD相机6的像面。

一种基于多重信号分类算法的激光扫描超分辨显微成像方法包括以下步骤：

步骤一、利用CCD相机6采集不同扫描聚焦光斑照明区域内样品随机闪烁过程中所生成的低分辨率图像序列；

步骤二、利用多重信号分类算法对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像。

所述步骤一具体实施方式：

激光光源15出射光通过准直物镜7准直后，经过扫描振镜8、远心扫描透镜9和管镜10实现动光束扫描，经过二向色镜11，通过物镜12聚焦于样品表面产生荧光样品3，利用二向色镜11和滤光片13分离被物镜12收集的荧光样品3和被反射的照明光，荧光样品3发出的荧光经过物镜12、二向色镜11、滤光片13和收集透镜14聚焦至CCD相机6的像面。

随着扫描振镜8发生角度偏转，聚焦光斑在荧光样品3表面产生移动，经物镜12、二向色镜11、滤光片13和收集透镜14后产生强度随空间和时间变化而随机变化的低分辨率图像序列。通过CCD相机6逐点采集不同扫描聚焦光斑照明区域内荧光样品3随机闪烁过程中所生成的低分辨率图像序列，在对应扫描位置加入虚拟针孔截取有效光斑数据，获得低分辨率图像序列。

低分辨率图像光强分布公式为：

式(2)中，I(r₃，r_s)为光强度，r₁、r₂、r_s分别代表物空间坐标，r₃代表像空间坐标，O(r)代表荧光样品3的物函数，h₁(r)、h₂(r)分别表示照明系统和探测系统的点扩散函数,M1,M2分别代表聚焦透镜2和集光透镜4的放大率系数，w为假设的相机的像素尺寸，且w<<1.22λ/NA，λ为激光光源15的波长，NA为物镜12的数值孔径；(x₂,y₂)代表像空间坐标，h'(r)表示系统的点扩散函数,M表示荧光样品3中独立闪烁的荧光量子点个数。

所述步骤二具体实施方式：将所述的低分辨率图像序列描述为数学矩阵的形式，第k帧低分辨率图像强度分布的矩阵公式为：

I_k＝[I_k(r₃,r₁) I_k(r₃,r₂) ... I_k(r₃,r_N)]^T (3)

式(3)中，I为以列向量方式存储的序列中的每一帧图像，N表示CCD相机6的像素个数，r₁、r₂分别代表物空间坐标，r₃，r_N代表像空间坐标；。

低分辨图像序列组成矩阵I：

I＝[I₁ I₂ … I_K] (4)

式(4)中，K表示采集的低分辨率图像总帧数。

利用多重信号分类算法对矩阵I进行奇异值分解，利用阈值σ₀分离信号与噪声，阈值应选择奇异值的拐点处，大于阈值的奇异值(σ_i>σ₀)对应的特征向量代表信号S:{u_σi＝0}，小于阈值的奇异值(σ_i<σ₀)对应的特征向量代表噪声N:{u_σi＝0}。

求解点扩散函数在信号子空间、噪声子空间的特征向量上的投影分别为d_PR(r′_test)和d_PN(r′_test)：

式(5)中，d_PR(r′_test)为点扩散函数在信号子空间的特征向量上的投影，u_σi＝0为奇异值对应的特征向量。

式(6)中，d_PN(r′_test)为点扩散函数在噪声子空间的特征向量上的投影。

d_PR(r′_test)和d_PN(r′_test)的比值为指示函数f(r′_test)：

式(7)中，α表示指示函数的指数因子，r′_test为成像平面像素点坐标。

对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像。

判别测试点有无荧光量子点，当测试点为量子点时，指示函数分子的值无限趋近于零，导致指示函数的值极大，否则指示函数较小，以指示函数的值为重构的结果，能清晰地区分出样品与背景噪声，提高图像分辨率。

通过对比图4基本共焦显微成像与基于多重信号分类算法的激光扫描超分辨显微成像仿真结果可以看出，后者可以分辨间距更小的荧光样品3，证明横向分辨率得到提升。图3中每相邻两行荧光样品距离分别为99nm、132nm、198nm、264nm、396nm、792nm，即传统宽场分辨率的1/4倍、1/3倍、1/2倍、3/4倍、1倍和2倍。

通过对比图5中基本共焦成像与基于多重信号分类算法的激光扫描超分辨显微成像的仿真结果中沿虚线方向的强度分布可以看出，后者可以分辨间距为99nm的荧光样品3，而前者分辨最小的荧光样品3间距为264nm，横向分辨率可以达到前者的2.66倍。因此本实施例，可以有效提高共焦显微技术的横向分辨率。

本领域内的技术人员通过上述实施例提及的系统及方法，本实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

根据本实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

Claims (6)

1.一种基于多重信号分类算法的激光扫描超分辨显微成像装置，其特征在于，包括激光光源(15)，沿激光光源(15)的光线传播方向依次设有准直物镜(7)、扫描振镜(8)、远心扫描透镜(9)、管镜(10)、二向色镜(11)、物镜(12)、荧光样品(3)、滤光片(13)、收集透镜(14)和CCD相机(6)；

激光光源(15)出射光通过准直物镜(7)准直后，经过扫描振镜(8)、远心扫描透镜(9)和管镜(10)实现动光束扫描，经过二向色镜(11)，通过物镜(12)聚焦于样品表面产生荧光样品(3)，利用二向色镜(11)和滤光片(13)分离被物镜(12)收集的荧光样品(3)和被反射的照明光，荧光样品(3)发出的荧光经过物镜(12)、二向色镜(11)、滤光片(13)和收集透镜(14)聚焦至CCD相机(6)的像面。

2.一种基于多重信号分类算法的激光扫描超分辨显微成像方法，其特征在于，包括以下步骤：

步骤S1，利用CCD相机(6)采集不同扫描聚焦光斑照明区域内样品随机闪烁过程中所生成的低分辨率图像序列；

步骤S2，利用多重信号分类算法对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像。

3.根据权利要求2所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法，其特征在于，所述步骤S1具体包括：

激光光源(15)出射光通过准直物镜(7)准直后，经过扫描振镜(8)、远心扫描透镜(9)和管镜(10)实现动光束扫描，经过二向色镜(11)，通过物镜(12)聚焦于样品表面产生荧光样品(3)，利用二向色镜(11)和滤光片(13)分离被物镜(12)收集的荧光样品(3)和被反射的照明光，荧光样品(3)发出的荧光经过物镜(12)、二向色镜(11)、滤光片(13)和收集透镜(14)聚焦至CCD相机(6)的像面；

随着扫描振镜(8)发生角度偏转，聚焦光斑在荧光样品(3)表面产生移动，经物镜(12)、二向色镜(11)、滤光片(13)和收集透镜(14)后产生强度随空间和时间变化而随机变化的低分辨率图像序列；

通过CCD相机(6)逐点采集不同扫描聚焦光斑照明区域内荧光样品(3)随机闪烁过程中所生成的低分辨率图像序列，在对应扫描位置加入虚拟针孔截取有效光斑数据，获得低分辨率图像序列；

低分辨率图像光强分布公式为：

式(2)中，I(r₃，r_s)为光强度，r₁、r₂、r_s分别代表物空间坐标，r₃代表像空间坐标，O(r)代表荧光样品(3)的物函数，h₁(r)、h₂(r)分别表示照明系统和探测系统的点扩散函数,M1,M2分别代表聚焦透镜(2)和集光透镜(4)的放大率系数，w为假设的相机的像素尺寸，且w<<1.22λ/NA，λ为激光光源(15)的波长，NA为物镜(12)的数值孔径；(x₂,y₂)代表像空间坐标，h'(r)表示系统的点扩散函数,M表示荧光样品(3)中独立闪烁的荧光量子点个数。

4.根据权利要求2所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法，其特征在于，所述步骤S2具体包括：

将所述的低分辨率图像序列描述为数学矩阵的形式，第k帧低分辨率图像强度分布的矩阵公式为：

I_k＝[I_k(r₃,r₁) I_k(r₃,r₂) ... I_k(r₃,r_N)]^T (3)

式(3)中，I为以列向量方式存储的序列中的每一帧图像，N为CCD相机(6)的像素个数，r₁、r₂分别代表物空间坐标，r₃，r_N代表像空间坐标；

低分辨图像序列组成矩阵I：

I＝[I₁ I₂ … I_K] (4)

式(4)中，K表示采集的低分辨率图像总帧数；

利用多重信号分类算法对矩阵I进行奇异值分解，利用阈值σ₀分离信号与噪声，阈值应选择奇异值的拐点处，大于阈值的奇异值(σ_i>σ₀)对应的特征向量代表信号S:{u_σi＝0}，小于阈值的奇异值(σ_i<σ₀)对应的特征向量代表噪声N:{u_σi＝0}；

求解点扩散函数在信号子空间、噪声子空间的特征向量上的投影分别为d_PR(r′_test)和d_PN(r′_test)：

式(5)中，d_PR(r′_test)为点扩散函数在信号子空间的特征向量上的投影，u_σi＝0为奇异值对应的特征向量；

式(6)中，d_PN(r′_test)为点扩散函数在噪声子空间的特征向量上的投影；

d_PR(r′_test)和d_PN(r′_test)的比值为指示函数f(r′_test)：

式(7)中，α表示指示函数的指数因子，r′_test为成像平面像素点坐标；

对每一扫描位置所述低分辨率图像序列进行重构，并将所有扫描位置对应的重构结果进行拼接，获得高分辨率图像；

判别测试点有无荧光量子点，当测试点为量子点时，指示函数分子的值无限趋近于零，导致指示函数的值极大，否则指示函数较小，以指示函数的值为重构的结果，能清晰地区分出样品与背景噪声，提高图像分辨率。

5.一种基于多重信号分类算法的激光扫描超分辨显微成像设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求2至4任一项所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求2至4任一项所述的一种基于多重信号分类算法的激光扫描超分辨显微成像方法。

Images