CN111402210A

CN111402210A - 一种单分子荧光信号图像的超分辨定位方法及系统

Info

Publication number: CN111402210A
Application number: CN202010139131.3A
Authority: CN
Inventors: 唐波; 万文博; 李璐; 宋小婷
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-03-03
Filing date: 2020-03-03
Publication date: 2020-07-10
Anticipated expiration: 2040-03-03
Also published as: CN111402210B

Abstract

本公开公开了一种单分子荧光信号图像的超分辨定位方法及系统，对单分子荧光信号图像根据分割阈值筛选像素点，得到定位点分布图；利用空间位置约束、定位点约束和时间维度约束对定位点分布图进行超分辨处理，得到高分辨率荧光信号图像；对高分辨率荧光信号图像中的像素点进行约束计算，由得到的有效像素点组成定位图像。用于单分子荧光图像的超分辨精准定位，实现了单分子荧光的纳米级精准定位。

Description

一种单分子荧光信号图像的超分辨定位方法及系统

技术领域

本公开涉及图像处理技术领域，特别是涉及一种单分子荧光信号图像的超分辨定位方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

单分子光学显微成像技术是基于普通的光学显微镜成像平台，例如暗场显微镜、荧光显微镜和共聚焦显微镜，通过对物体微观结构的放大，在分子水平上揭示生命过程的运转机制和材料物理化学性能，但是受到光学衍射特性的限制，光学显微镜的分辨率不可能无限小，当达到分辨率极限(200nm)时，只能得到一个轮廓模糊的“艾里斑”图像。因此，单分子光学显微成像技术无法突破光学衍射极限、提高图像的空间分辨率。

超分辨成像技术是通过硬件和软件结合处理方式，突破光学衍射极限，可达到百纳米、甚至十几纳米的光学分辨率，已经广泛用于遥感、医学和军事等领域。虽然目前超分辨显微成像技术形态各异，例如受激发射损耗荧光显微技术(STED)、结构光照明(SIM)、光激活定位显微技术(PALM)和随机光学重建显微技术(STORM)等，但是原理基本相似，都是通过获取尺寸极小发光体(如单个荧光分子)的位置来进行成像，结合软件计算方式提高获取图像的空间分辨率。

超分辨算法是通过处理一系列低分辨率的图像获得一幅高分辨率的图像，核心思想就是将时间分辨率(同一场景的多帧图像序列)转换成空间分辨率，从而提高图像的空间分辨率。超分辨算法主要包括四大类：(1)基于插值算法，首先获取低分辨率图像与高分辨率图像的相对运动信息，通过非均匀插值技术得到高分辨率栅格像素值，结合反卷积处理降低噪音。(2)基于频率算法，通过低分辨率图像频率预估高分辨率图像的频谱，结合傅里叶变换算法获得高分辨图像。(3)基于重建算法，通过估计低分辨率图像转换成高分辨率图像的配准关系，再利用软件重建目标图形。(4)基于学习算法。通过已知的训练图像集，深度学习样品图像和训练图像之间的构效关系，获得高分辨率图像。

发明人发现，目前数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，例如图像采集过程中光电探测器EMCCD产生的噪音干扰；荧光成像系统中不同深度消逝波引起的杂信号干扰；实验条件和外界环境对图像信号的干扰等，在定位荧光分子时，易混入非有效像素点，影响成像结果。以及在超分辨率定位方法中，大多基于单帧图像的某一种属性对其进行超分辨，例如基于插值的超分辨处理，仅考虑空间约束；然而，单一约束条件的超分辨处理方式不能真实反映时间序列图像的细节内容。因此，迫切需要结合多种超分辨算法，建立基于时间、空间、以及有效定位点约束条件的方案。

发明内容

为了解决上述问题，本公开提出了一种单分子荧光信号图像的超分辨定位方法及系统，基于时间序列的低分辨率单分子荧光信号图像，结合降噪算法进行筛选，获得有效的荧光定位点；基于荧光信号的时间、空间和定位点的约束条件，将低分辨率单分子荧光信号图像转换成高分辨率荧光信号图像，对高分辨率荧光信号图像中像素点进行精度定位，继而实现单分子荧光信号图像的定位。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种单分子荧光信号图像的超分辨定位方法，包括：

对单分子荧光信号图像根据分割阈值筛选像素点，得到定位点分布图；

利用空间位置约束、定位点约束和时间维度约束对定位点分布图进行超分辨处理，得到高分辨率荧光信号图像；

对高分辨率荧光信号图像中的像素点进行约束计算，由得到的有效像素点构成定位图像。

第二方面，本公开提供一种单分子荧光信号图像的超分辨定位系统，包括：

筛选模块，被配置为对单分子荧光信号图像根据分割阈值筛选像素点，得到定位点分布图；

超分辨处理模块，被配置为利用空间位置约束、定位点约束和时间维度约束对定位点分布图进行超分辨处理，得到高分辨率荧光信号图像；

定位模块，被配置为对高分辨率荧光信号图像中的像素点进行约束计算，由得到的有效像素点构成定位图像。

第三方面，本公开提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种单分子荧光信号图像的超分辨定位方法所述的步骤。

第四方面，本公开提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种单分子荧光信号图像的超分辨定位方法所述的步骤。

与现有技术相比，本公开的有益效果为：

本公开基于空间、定位点、时间三个约束条件得到高分辨图像，体现了一定时间内荧光分子爆发的强度分布、区域分布和密度分布。从高分辨叠加图像可以看出60s内荧光分子的整体分布区域，确定荧光分子的核心爆发位置，即强度最大的区域，从超分辨定位点的叠加图可以看出荧光分子的扩散过程的密度分布，以及材料缺陷效应导致的荧光分子累积现象。

本公开基于信号的时空、强度关联，构建自适应回归模型，即在时间维度约束中设定自适应分配影响因子以及在空间位置约束中，根据低分辨率图像中像素的位置分布对信号图像进行自适应插值，从而将时间序列低分辨率单荧光分子图转换成高分辨率定位图，实现单分子荧光信号的高灵敏度、高空间分辨定位。

本公开基于时间序列单分子荧光图像，结合降噪算法，对延时采集的图像进行强度和爆发频次筛选，获得有效的荧光信号；以及通过对背景图像的分割处理，根据各个像素块的信号强度计算分割阈值，以此分割阈值对信号图像中的噪声进行过滤，选像素点，得到定位点分布图，相对于现有技术而言，能够更准确、更精确的筛选有效定位点。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的单分子荧光信号图像的超分辨定位方法流程图；

图2为本公开实施例1提供的单帧信号定位点分布图L；

图3为本公开实施例1提供的在低分辨率图像A中以点Q为中心的3×3像素区域图；

图4为本公开实施例1提供的低分辨率图像A中某一8×8像素区域超分辨处理后的结果图；

图5为本公开实施例1提供的单帧低分辨率图像的超分辨处理结果图；

图6为本公开实施例1提供的在60s内937帧高分辨率图像叠加图；

图7为本公开实施例1提供的高分辨率荧光分子定位的单帧图像；

图8为本公开实施例1提供的高分辨率荧光分子定位的累加图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例提供一种单分子荧光信号图像的超分辨定位方法，包括：

S1：对单分子荧光信号图像根据分割阈值筛选像素点，得到定位点分布图；

S2：利用空间位置约束、定位点约束和时间维度约束对定位点分布图进行超分辨处理，得到高分辨率荧光信号图像；

S3：对高分辨率荧光信号图像中的像素点进行约束计算，由得到的有效像素点组成定位图像。

所述步骤S1中，对低分辨率的单分子荧光信号图像进行去噪处理，具体包括：

首先对不加入荧光探针信号的背景图像进行区域划分，得到若干个像素块，其次基于时间序列，根据每个像素块的信号强度计算分割阈值T；

分割阈值T的计算公式为：

T＝μ+3σ， (1)

其中，μ和σ分别是每个像素块中信号强度的平均值和标准方差。

在本实施例中，以60s的单分子荧光信号为例，获取加入荧光信号探针的信号图像和不加入荧光探针信号的背景图像，共有937帧背景图像和信号图像，将每一帧背景图像均匀划分成互不重叠的3×3像素块，在60s时间内，对处于相同位置的3×3像素区域的背景图像中信号强度进行计算，此时，μ和σ分别是处于相同位置的3×3像素区域的背景图像信号强度的平均值和标准方差；

以分割阈值对信号图像进行降噪处理，筛选出每帧信号图像中的定位点，初步得到对应帧图像中的信号分布图L，即定位点分布图L，如图2所示。

数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，例如图像采集过程中光电探测器EMCCD产生的噪音干扰；荧光成像系统中不同深度消逝波引起的杂信号干扰；实验条件和外界环境对图像信号的干扰等。因此，需要对采集的低分辨率图像进行图像去噪。在本实施例中，对背景图像进行分割处理，相对于现有技术而言，能够更准确、更精确的筛选有效定位点。

所述步骤S2中，根据荧光分子闪烁特性，利用三个约束准则进行自适应超分辨处理，得到高分辨率荧光信号图像。

(1)所述空间位置约束为，构建单分子荧光信号图像与高分辨率荧光信号图像中对应像素点之间的坐标映射公式，利用双三次差值函数设置第一影响因子，根据单分子荧光信号图像中像素点的位置分布对高分辨率荧光信号图像进行自适应插值。

具体包括：

假设单帧低分辨率图像A大小为m×n像素，放大K倍后的高分辨率图像B的大小为M×N像素，即

本实施中以图像大小为105×72像素，放大倍数为K＝4，进行举例说明图像的超分辨处理过程。

低分辨率图像A中任意像素点的坐标(x,y)与高分辨率图像B中任意像素点的坐标(X,Y)之间的坐标映射公式如下：

x＝(X-1)u+1， (2)

y＝(Y-1)v+1， (3)

其中，横向插值距离为u，纵向插值距离为v，公式如下：

将低分辨率图像A中距离点(x,y)最近的9个像素点用作计算高分辨率图像B中(X,Y)处像素值的参数，利用BiCubic基函数得到9个像素点的第一影响因子α，获得高分辨率图像B的(X,Y)处的像素值。

如图3所示，像素点Q表示高分辨率图像B在(X,Y)处对应于低分辨率图像A中的位置。点Q的坐标包含小数部分，所以假设Q的坐标为(x+δ,y+η)，其中x，y均表示整数部分，a_2,2方格中蓝色点的坐标为(x,y)，δ和η表示小数部分，即图中蓝色点到a₂₂方格中红色点的距离。由图3可知相邻9个像素点的位置，均用a_ij表示，其中i＝1,2,3.j＝1,2,3。

BiCubic基函数是一维的，根据像素的二维特性将像素点的行与列分开计算，公式如下：

按照同样的方法可得到C_j。

如图3所示，其中参数S表示蓝色点到a₂₂方格中红色点的距离，分为横向距离S₂和纵向距离S₁，公式如下：

其中，(x,y)表示低分辨率图像A中3×3像素区域中心像素点的坐标，(X,Y)表示经低分辨率图像A的坐标(x,y)映射到高分辨率图像B的4×4像素区域中任意像素点的坐标，m,n分别表示低分辨率图像A的大小。

在3×3像素的窗口区域中，某个像素点的影响因子为：

α_i,j＝C_i(S₂)C_j(S₁),i＝1,2,3,j＝1,2,3.， (9)

其中，i和j用于表示9个像素点在3×3像素窗口区域中的位置坐标，与x，y的大小呈正相关，例如用i＝1，j＝1表示坐标(x-1,y-1)的位置，用i＝2，j＝2表示坐标(x,y)的位置。

利用空间位置约束，将低分辨率图像A中某一8×8像素区域实现采样因子为4的超分辨，如图4所示。

(2)所述定位点区域约束为，根据当前帧定位点分布图在固定空间位置的像素值设置第二影响因子。

具体为：

根据定位点特性的约束，由第一步单帧图像去噪可输出单帧定位点分布图L，根据像素点的特性设置第二影响因子β，包括有像素点是定位点、有像素点不是定位点两种情况，具体设置如下：

β_x,y＝L_x,y， (10)

其中，L_x,y表示当前帧图像定位点分布图在坐标(x,y)处的像素值，当像素点(x,y)是定位点时，其像素值为1，为非定位点时，像素值为0。

(3)所述时间维度约束为，根据连续三帧定位点分布图中固定空间位置像素点的分布情况设置第三影响因子。

具体为：

加入时间维度约束，利用时间上前后帧的影响，设定自适应分配第三影响因子γ。

根据连续三帧图像上的固定空间位置像素点的定位分布情况设置影响因子γ，包括三次定位点、两次定位点和一次定位点三种情况，将定位点出现次数定义为频次，具体设置如下：

其中，L_x,y表示当前帧定位图L中坐标(x,y)的像素值，L^-1，L⁺¹分别表示当前帧定位图L的前一帧与后一帧图像。

(4)综合以上三种约束准则，在高分辨率荧光信号图像B中任意像素点(X,Y)的像素值为：

其中，α_ij表示因空间位置约束产生的影响因子，β_x,y表示因定位点约束中的定位点与非定位点特性约束产生的影响因子，γ_x,y表示因在时间维度上前后帧的影响产生的影响因子，A_x,y表示在低分辨率图像A中坐标(x,y)处的像素值，m,n分别表示低分辨率图像A的大小，σ₁为常数。

如图5和图6所示，超分辨率处理后，得到单帧低分辨率图像的超分辨处理结果以及在60s内937帧低分辨率图像经超分辨处理后像素点的汇总图。

所述步骤S3，对高分辨率图像中荧光分子密度较高的区域进行精度定位，并进行约束计算，继而实现单分子荧光信号图像的定位。

其中，满足约束条件的像素点集合为P为：

P＝{(X,Y)|B_X,Y＝large(B_X,Y,2)}， (13)

其中，(X,Y)表示经低分辨率图像A的3×3像素区域映射到高分辨率图像B中4×4像素区域的任意像素点，l arg e(B_X,Y,2)表示在高分辨率图像B中用B_X,Y表示的像素值中选两个最大的像素值，其对应的点作为要保留的有效像素点。

如图7和图8所示，完成高分辨率荧光分子定位的单帧图像以及在60s内937帧高分辨率图像经荧光分子定位后像素点的汇总图，通过超分辨算法处理，将时间序列低分辨率单分子荧光信号图转换成高分辨率定位图，单像素定位精度由160nm到40nm，扩大4倍。

在其他实施例中，还提供：

一种单分子荧光信号图像的超分辨定位系统，包括：

定位模块，被配置为对高分辨率荧光信号图像中的像素点进行约束计算，由得到的有效像素点组成定位图像。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种单分子荧光信号图像的超分辨定位方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种单分子荧光信号图像的超分辨定位方法所述的步骤。

在以上实施例中，通过三种约束准则，结合空间、定位点和时间三个约束条件，体现了一定时间内荧光分子爆发的强度分布、区域分布和密度分布，真实反映时间序列图像的细节内容，用于单分子荧光图像的超分辨精准定位，实现了单分子荧光的纳米级精准定位。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种单分子荧光信号图像的超分辨定位方法，其特征在于，包括：

2.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，所述分割阈值根据不加入荧光信号的背景图像中信号强度计算得到，具体包括：

对不加入荧光信号的背景图像进行区域划分，得到若干个像素块，根据每个像素块中信号强度的平均值和标准方差计算分割阈值。

3.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，所述空间位置约束为，构建单分子荧光信号图像与高分辨率荧光信号图像中对应像素点之间的坐标映射公式，利用双三次差值函数设置第一影响因子，根据单分子荧光信号图像中像素点的位置分布对高分辨率荧光信号图像进行自适应插值。

4.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，所述定位点约束为，根据当前帧定位点分布图在固定空间位置的像素值设置第二影响因子，所述固定空间位置处的像素点为定位点或非定位点。

5.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，所述时间维度约束为，根据连续三帧定位点分布图中固定空间位置像素点的分布情况设置第三影响因子。

6.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，所述高分辨率荧光信号图像中任意像素点(X,Y)的像素值为：

其中，α_ij表示因空间位置约束产生的第一影响因子，β_x,y表示因定位点约束中的定位点与非定位点特性约束产生的第二影响因子，γ_x,y表示因在时间维度中前后帧的影响产生的第三影响因子，A_x,y表示在单分子荧光信号图像A中坐标(x,y)处的像素值，m,n分别表示图像A的大小，σ₁为常数。

7.如权利要求1所述的一种单分子荧光信号图像的超分辨定位方法，其特征在于，对高分辨率荧光信号图像中的像素点进行约束计算，得到有效像素点集合包括：

P＝{(X,Y)|B_X,Y＝large(B_X,Y,2)}，

其中，(X,Y)表示高分辨率荧光信号图像B中任意像素点，large(B_X,Y,2)表示在高分辨率荧光信号图像B中，用B_X,Y表示的像素值中两个最大的像素值，其对应的点作为要保留的有效像素点。

8.一种单分子荧光信号图像的超分辨定位系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。