CN114113019B - 一种基于多重信号分类算法的阵列扫描超分辨显微成像装置、方法、设备及存储介质 - Google Patents

Abstract

一种基于多重信号分类算法的阵列扫描超分辨显微成像装置、方法、设备及存储介质，属于激光扫描显微成像领域，是针对激光扫描显微成像技术横向分辨力难以提高、图像采集速率低的问题所提出，本实施例包括激光光源，扩束系统、微透镜阵列、准直透镜、扫描振镜、扫描透镜、管镜、二向色镜、物镜、样品、载物台、收集透镜和CCD相机；利用阵列扫描超分辨显微成像装置获得荧光样品低分辨率图像序列，基于多重信号分类算法对低分辨率图像序列进行重构，得到超分辨图像。采用阵列点照明方式与多重信号分类算法相结合，在提高横向成像分辨力的同时具备轴向层析能力，通过阵列扫描方法提高成像速率，可随机闪烁的生物荧光样品成像。

Description

一种基于多重信号分类算法的阵列扫描超分辨显微成像装 置、方法、设备及存储介质

技术领域

本发明涉及激光扫描显微成像领域，特别是涉及一种基于多重信号分类算法的阵列扫描超分辨显微成像装置、方法、设备及存储介质。

背景技术

在20世纪50年代中后期，共焦显微镜由Minsky发明，1977年，C.J.R.Sheppard和A.Choudhury首次阐明共焦显微系统在点针孔掩模的作用下，牺牲视场将横向分辨率提高到相同孔径普通显微镜的1.4倍。此后，共焦显微测量技术受到普遍关注，成为了显微科学领域的重要分支。

光学显微术以其无损、非接触成像的性质被广泛应用于生物和材料科学等领域。其中，共焦显微成像技术是一种适用于微米及亚微米尺度测量的三维光学显微技术，反射式共焦显微系统的层析能力使之在三维成像领域显得十分重要。

但是，传统共焦技术由于共轭针孔的引入导致每次只能对一点进行探测，成像速度是制约共焦显微技术应用的瓶颈之一，且受到探测器尺寸的影响，共焦显微技术的分辨力难以提高。

发明内容

为了克服上述现有技术存在的缺陷，本发明提供了一种基于多重信号分类算法的阵列扫描超分辨显微成像装置、方法、设备及存储介质，可以解决现有激光扫描显微成像技术横向分辨力难以提高，图像采集速率低的问题。

本发明采用的技术方案在于：

一种基于多重信号分类算法的阵列扫描超分辨显微成像装置，包括激光光源，沿激光光源光线传播方向依次设有扩束系统、微透镜阵列、准直透镜、扫描振镜、扫描透镜、管镜、二向色镜、物镜、荧光样品、载物台、收集透镜和CCD相机；

激光光源发出的光束经扩束系统形成平行光入射到微透镜阵列，在准直透镜的焦面上形成点光源阵列，依次经过扫描振镜、扫描透镜、管镜、二向色镜和物镜后聚焦于被测荧光样品表面，扫描振镜改变光束偏转角，实现对荧光样品的二维阵列扫描，荧光样品发出荧光经物镜、二向色镜和收集透镜成像，CCD相机采集每一扫描位置被照明区域内荧光样品随机闪烁过程中所生成低分辨率图像序列。

一种基于多重信号分类算法的阵列扫描超分辨显微成像方法，包括以下步骤：

步骤S1，利用阵列扫描超分辨显微成像装置获得荧光样品低分辨率图像序列；

步骤S2，基于多重信号分类算法对所述低分辨率图像序列进行重构，得到超分辨图像。

进一步地，所述步骤S1，利用阵列扫描超分辨显微成像装置获得荧光样品低分辨率图像序列的方法是：

激光光源发出的光束经扩束系统形成平行光入射到微透镜阵列，在准直透镜的焦面上形成点光源阵列，依次经过扫描振镜、扫描透镜、管镜、二向色镜和物镜后聚焦于被测荧光样品表面，扫描振镜改变光束偏转角，实现对荧光样品的二维阵列扫描，荧光样品发出荧光经物镜、二向色镜和收集透镜成像，CCD相机采集每一扫描位置被照明区域内荧光样品随机闪烁过程中所生成低分辨率图像序列。

进一步地，所述步骤S1具体包括：在扫描振镜连续两次改变光束偏转角，使聚焦光斑阵列在荧光样品表面发生位移期间，聚焦照明光斑阵列区域内荧光样品发出荧光，不同空间位置的亮度发生相互独立的随机波动，经物镜、二向色镜和收集透镜后产生强度随空间和时间变化而随机变化的低分辨率图像，CCD相机连续曝光采集被照明区域内荧光样品所生成的低分辨率图像序列。

进一步地，所述步骤S2，基于多重信号分类算法对所述低分辨率图像序列进行重构，得到超分辨图像的方法是：

将步骤S1所述的每一扫描位置被照明区域内荧光样品随机闪烁过程中所生成低分辨率图像序列根据照明光斑位置分割成对应的子序列，并将序列中每一帧图像以列向量的方式存储，使每一子序列构成一个二维矩阵，其列数与图像序列帧数相同，获得低分辨率图像序列的矩阵形式：

I＝[I1 I₂ … I_K] (1)

式(1)中，I表示CCD相机连续曝光采集被照明区域内荧光样品所生成的低分辨率图像序列，I_k表示以列向量方式存储的序列中的每一帧图像；

多重信号分类算法对所得矩阵I进行奇异值分解，可得：

式(2)中，对矩阵I进行奇异值分解后，σ_i为奇异值、

为时间基向量，/>

为空间基向量，其中空间基向量/>

为荧光样品突出特征结构，奇异值σ_i为该特征结构的能量强度，因此可根据奇异值对代表图像特征结构的特征向量进行划分，得到信号子空间R与噪声子空间N，并根据两个子空间的正交性建立指示函数f(r)：

式(3)中，r表示成像平面像素点坐标，d_PR(r)和d_PN(r)表示点扩散函数在信号子空间R与噪声子空间N上的投影，参数α用于确定有效对比度；

根据指示函数对低分辨率图像序列进行重构，以指示函数的值为重构的结果，能清晰地区分出荧光样品与背景噪声，得到每一照明光斑位置对应空间位置的超分辨成像结果，将所有照明光斑位置对应的超分辨成像结果拼接后得到最终的超分辨图像。

一种基于多重信号分类算法的阵列扫描超分辨显微成像设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现上文所述的一种基于多重信号分类算法的阵列扫描超分辨显微成像方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上文所述的一种基于多重信号分类算法的阵列扫描超分辨显微成像方法。

本发明的有益效果是：

1.本发明通过微透镜阵列产生聚焦光斑阵列作为点光源阵列对荧光样品进行扫描，扫描过程中聚焦光斑照明区域内荧光样品随机闪烁过程中所生成低分辨率图像序列被CCD相机依次采集，将所有照明光斑对应位置的低分辨率图像序列进行分割后通过多重信号分类算法重构出高分辨率图像，拼接后获得最终的超分辨成像结果。

2.本发明将阵列点照明方式与多重信号分类算法相结合，在提高横向成像分辨力的同时具备轴向层析能力，并且通过阵列扫描方法提高成像速率，适用于可随机闪烁的生物荧光样品成像。

附图说明

图1是一种基于多重信号分类算法的阵列扫描超分辨显微成像装置的结构示意图；

图2是图1的成像装置的在x方向和y方向上间隔为99nm的条纹荧光样品仿真图；

图3是图1的成像装置的条纹荧光样品在NA＝0.95，λ＝620nm条件下基于多重信号分类算法的宽场照明显微成像结果图。

图4是图1的成像装置的条纹荧光样品在NA＝0.95，λ＝620nm条件下基于多重信号分类算法的阵列扫描超分辨显微成像结果图。

图5是图1的成像装置的条纹荧光样品基于多重信号分类算法的宽场照明显微成像结果与基于多重信号分类算法的阵列扫描超分辨显微成像结果在x方向强度分布对比图。

图1中：1、激光光源；2、扩束系统；3、微透镜阵列；4、准直透镜；5、扫描振镜；6、扫描透镜；7、管镜；8、二向色镜；9、物镜；10、荧光样品；11、载物台；12、收集透镜；13、CCD相机。

具体实施方式

实施方式一：

如图1所示，一种基于多重信号分类算法的阵列扫描超分辨显微成像装置，包括激光光源1，沿激光光源1光线传播方向依次设有扩束系统2、微透镜阵列3、准直透镜4、扫描振镜5、扫描透镜6、管镜7、二向色镜8、物镜9、荧光样品10、载物台11、收集透镜12和CCD相机13。

微透镜阵列3和扫描振镜5构成扫描系统，将通过微透镜阵列3产生的聚焦光斑阵列作为点光源阵列，扫描振镜5改变光束偏转角使聚焦光斑阵列对荧光样品10进行扫描。

实施方式二：

一种基于多重信号分类算法的阵列扫描超分辨显微成像方法，包括以下步骤：

步骤一、利用阵列扫描超分辨显微成像装置获得荧光样品10低分辨率图像序列。

激光光源1发出的光束经扩束系统2形成平行光入射到微透镜阵列3，在准直透镜4的焦面上形成点光源阵列，依次经过扫描振镜5、扫描透镜6、管镜7、二向色镜8和物镜9后聚焦于被测荧光样品10表面，扫描振镜5改变光束偏转角，实现对荧光样品10的二维阵列扫描，荧光样品10发出荧光经物镜9、二向色镜8和收集透镜12成像，CCD相机13采集每一扫描位置被照明区域内荧光样品10随机闪烁过程中所生成低分辨率图像序列。

所述步骤一具体包括：在扫描振镜5连续两次改变光束偏转角，使聚焦光斑阵列在荧光样品10表面发生位移期间，聚焦照明光斑阵列区域内荧光样品10发出荧光，不同空间位置的亮度发生相互独立的随机波动，经物镜9、二向色镜8和收集透镜12后产生强度随空间和时间变化而随机变化的低分辨率图像，CCD相机13连续曝光采集被照明区域内荧光样品10所生成的低分辨率图像序列。

步骤二、基于多重信号分类算法对所述低分辨率图像序列进行重构，得到超分辨图像。

将步骤一所述的每一扫描位置被照明区域内荧光样品10随机闪烁过程中所生成低分辨率图像序列根据照明光斑位置分割成对应的子序列，并将序列中每一帧图像以列向量的方式存储，使每一子序列构成一个二维矩阵，其列数与图像序列帧数相同，获得低分辨率图像序列的矩阵形式：

I＝[I₁ I₂ … I_K] (1)

式(1)中，I表示CCD相机13连续曝光采集被照明区域内荧光样品10所生成的低分辨率图像序列，I_k表示以列向量方式存储的序列中的每一帧图像；

多重信号分类算法对所得矩阵I进行奇异值分解，可得：

式(2)中，对矩阵I进行奇异值分解后，σ_i为奇异值、

为时间基向量，/>

为空间基向量，其中空间基向量/>

为荧光样品10突出特征结构，奇异值σ_i为该特征结构的能量强度，因此可根据奇异值对代表图像特征结构的特征向量进行划分，得到信号子空间R与噪声子空间N，并根据两个子空间的正交性建立指示函数f(r)：

式(3)中，r表示成像平面像素点坐标，d_PR(r)和d_PN(r)表示点扩散函数在信号子空间R与噪声子空间N上的投影，参数α用于确定有效对比度。

根据指示函数对低分辨率图像序列进行重构，以指示函数的值为重构的结果，能清晰地区分出荧光样品10与背景噪声，得到每一照明光斑位置对应空间位置的超分辨成像结果，将所有照明光斑位置对应的超分辨成像结果拼接后得到最终的超分辨图像。

图2是在x方向和y方向上间隔为99nm的条纹荧光样品10仿真图。

图3和图4分别是条纹荧光样品10在NA＝0.95，λ＝620nm条件下基于多重信号分类算法的宽场照明显微成像结果图与基于多重信号分类算法的阵列扫描超分辨显微成像结果图。通过对比图3和图4，可以看出基于多重信号分类算法的阵列扫描超分辨显微成像方法横向分辨力明显优于基于多重信号分类算法的宽场照明显微成像方法，结合图5成像结果在x方向强度分布对比结果，本成像方法实现了二维超分辨，且横向分辨率得到了有效的提升。

本领域内的技术人员通过上述实施例提及的系统及方法，本实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

根据本实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

Claims (4)

1.一种基于多重信号分类算法的阵列扫描超分辨显微成像方法，其特征在于，包括以下步骤：

步骤S1，利用阵列扫描超分辨显微成像装置获得荧光样品(10)低分辨率图像序列；

步骤S2，基于多重信号分类算法对所述低分辨率图像序列进行重构，得到超分辨图像；

所述步骤S2，基于多重信号分类算法对所述低分辨率图像序列进行重构，得到超分辨图像的方法是：

将步骤S1所述的每一扫描位置被照明区域内荧光样品(10)随机闪烁过程中所生成低分辨率图像序列根据照明光斑位置分割成对应的子序列，并将序列中每一帧图像以列向量的方式存储，使每一子序列构成一个二维矩阵，其列数与图像序列帧数相同，获得低分辨率图像序列的矩阵形式：

I＝[I₁ I₂ … I_K] (1)

式(1)中，I表示CCD相机(13)连续曝光采集被照明区域内荧光样品(10)所生成的低分辨率图像序列，I_k表示以列向量方式存储的序列中的每一帧图像；

多重信号分类算法对所得矩阵I进行奇异值分解，可得：

式(2)中，对矩阵I进行奇异值分解后，σ_i为奇异值、

为时间基向量，/>

为空间基向量，其中空间基向量/>

为荧光样品(10)突出特征结构，奇异值σ_i为该特征结构的能量强度，因此可根据奇异值对代表图像特征结构的特征向量进行划分，得到信号子空间R与噪声子空间N，并根据两个子空间的正交性建立指示函数f(r)：

式(3)中，r表示成像平面像素点坐标，d_PR(r)和d_PN(r)表示点扩散函数在信号子空间R与噪声子空间N上的投影，参数α用于确定有效对比度；

根据指示函数对低分辨率图像序列进行重构，以指示函数的值为重构的结果，能清晰地区分出荧光样品(10)与背景噪声，得到每一照明光斑位置对应空间位置的超分辨成像结果，将所有照明光斑位置对应的超分辨成像结果拼接后得到最终的超分辨图像；

所述步骤S1，利用阵列扫描超分辨显微成像装置获得荧光样品(10)低分辨率图像序列的方法是：

激光光源(1)发出的光束经扩束系统(2)形成平行光入射到微透镜阵列(3)，在准直透镜(4)的焦面上形成点光源阵列，依次经过扫描振镜(5)、扫描透镜(6)、管镜(7)、二向色镜(8)和物镜(9)后聚焦于被测荧光样品(10)表面，扫描振镜(5)改变光束偏转角，实现对荧光样品(10)的二维阵列扫描，荧光样品(10)发出荧光经物镜(9)、二向色镜(8)和收集透镜(12)成像，CCD相机(13)采集每一扫描位置被照明区域内荧光样品(10)随机闪烁过程中所生成低分辨率图像序列；

所述步骤S1具体包括：在扫描振镜(5)连续两次改变光束偏转角，使聚焦光斑阵列在荧光样品(10)表面发生位移期间，聚焦照明光斑阵列区域内荧光样品(10)发出荧光，不同空间位置的亮度发生相互独立的随机波动，经物镜(9)、二向色镜(8)和收集透镜(12)后产生强度随空间和时间变化而随机变化的低分辨率图像，CCD相机(13)连续曝光采集被照明区域内荧光样品(10)所生成的低分辨率图像序列。

2.一种基于多重信号分类算法的阵列扫描超分辨显微成像装置，用于实现权利要求1所述的一种基于多重信号分类算法的阵列扫描超分辨显微成像方法，其特征在于，包括激光光源(1)，沿激光光源(1)光线传播方向依次设有扩束系统(2)、微透镜阵列(3)、准直透镜(4)、扫描振镜(5)、扫描透镜(6)、管镜(7)、二向色镜(8)、物镜(9)、荧光样品(10)、载物台(11)、收集透镜(12)和CCD相机(13)；

激光光源(1)发出的光束经扩束系统(2)形成平行光入射到微透镜阵列(3)，在准直透镜(4)的焦面上形成点光源阵列，依次经过扫描振镜(5)、扫描透镜(6)、管镜(7)、二向色镜(8)和物镜(9)后聚焦于被测荧光样品(10)表面，扫描振镜(5)改变光束偏转角，实现对荧光样品(10)的二维阵列扫描，荧光样品(10)发出荧光经物镜(9)、二向色镜(8)和收集透镜(12)成像，CCD相机(13)采集每一扫描位置被照明区域内荧光样品(10)随机闪烁过程中所生成低分辨率图像序列。

3.一种基于多重信号分类算法的阵列扫描超分辨显微成像设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1所述的一种基于多重信号分类算法的阵列扫描超分辨显微成像方法。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的一种基于多重信号分类算法的阵列扫描超分辨显微成像方法。

Images