CN104751425B

CN104751425B - 基于空间变化点扩散函数的荧光显微图像重建方法及系统

Info

Publication number: CN104751425B
Application number: CN201510134750.2A
Authority: CN
Inventors: 王瑜; 姜欢
Original assignee: Beijing Technology and Business University
Current assignee: Beijing Technology and Business University
Priority date: 2015-03-25
Filing date: 2015-03-25
Publication date: 2017-08-29
Anticipated expiration: 2035-03-25
Also published as: CN104751425A

Abstract

本发明提出一种基于空间变化点扩散函数的荧光显微图像重建方法，包括以下步骤：S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈；S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点扩散函数；S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数；S4，根据插值函数获取每组图像栈的空间变化点扩散函数；S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。本发明的方法，整体性好、分辨率高。本发明还提出一种基于空间变化点扩散函数的荧光显微图像重建系统。

Description

基于空间变化点扩散函数的荧光显微图像重建方法及系统

技术领域

本发明涉及计算机视觉和图像处理技术领域，尤其涉及一种基于空间变化点扩散函数的荧光显微图像重建方法及系统。

背景技术

荧光显微图像3D复原或重建作为计算机视觉与图像处理领域具有挑战性的工作，在生物，医学和生命科学研究中具有重要价值。但是由于光学成像设备自身的衍射、有限的数值孔径等因素限制，使得所成图像中有一定程度的模糊现象，这种模糊现象用点扩散函数(point spread function，PSF)来表征。随着成像深度的增加，这种模糊现象更加严重。

目前，很多技术都能够实现生物样本的3D图像重建，并被不断的改进和完善。为了简化计算，其中一些算法假设PSF是空间不变的。这种假设在PSF变化不明显的薄样本中可以近似成立，但对于厚荧光显微样本，由于样本折射率的变化和球形像差的影响，使得空间不变PSF的假设不再成立。

目前有两种方法可以得到PSF，分别为实验法和理论法。实验法是通过光学显微镜对直径小于200纳米的荧光小珠成像，这种方法得到PSF具有较高的可信度，但实际显微成像系统的PSF与生物样本自身的光学特性有关，而不同的生物样本其光学特性是不同的，因此直接测量法难以准确描绘实际显微成像时准确的PSF。另外由于荧光小球的几何尺寸较小，测量时信噪比相对较低，这就需要光学系统尽量调整到理想状态，但实际的实验环境下，这种状态很难实现。理论法是将光波长，样本折射率，成像设备的数值孔径等参数带入Gibson S.F.和Lanni F.的经典衍射理论公式中，进而计算得到PSF，但由于公式中所需的参数较多，而在实际中有些参数有时很难准确得到且具有易变性，因此理论法得到的PSF往往会与实际情况有所偏差。

现有的利用空间变化点扩散函数(space variant point spread function，SVPSF)模型来进行样本三维重建的算法中，主要是将图像分成各个子区域，每个子区域内使用空间不变点扩散函数，为了减少区域间的块效应，需要实现两个PSF之间的平滑过渡。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一方面目的在于提出一种整体性好、分辨率高的基于空间变化点扩散函数的荧光显微图像重建方法。

本发明第二方面目的在于提出一种基于空间变化点扩散函数的荧光显微图像重建系统。

为了实现上述目的，本发明第一方面实施例提出一种基于空间变化点扩散函数的荧光显微图像重建方法，包括以下步骤：S1，输入荧光显微图像序列，并根据预定条件将所述荧光显微图像序列分为多组图像栈；S2，获取每组所述图像栈的中心位置图像的点扩散函数，并将所述点扩散函数作为所述图像栈的点扩散函数；S3，将每组所述图像栈的点扩散函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的插值函数；S4，根据所述插值函数获取每组所述图像栈的空间变化点扩散函数；S5，根据所述空间变化点扩散函数进行荧光显微图像的三维重建。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建方法，使用不同深度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数，再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化点扩散函数更符合实际成像系统的特点，本发明的方法考虑了所有空间不变点扩散函数的信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

在一些示例中，所述步骤S2利用盲反卷积方法获取所述每组所述图像栈的中心位置图像的点扩散函数。

在一些示例中，所述步骤S3利用三次样条插值法对所述点扩散函数序列进行处理以获取预定空间深度的插值函数，包括：获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点；将每个所述点扩散函数的强度值作为节点值；设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

在一些示例中，可利用所述插值函数，获取位于任意两个所述点扩散函数之间的点扩散函数。

在一些示例中，步骤S5利用反卷积算法对所述空间变化点扩散函数进行荧光显微图像的三维重建。

本发明第二方面实施例提出一种基于空间变化点扩散函数的荧光显微图像重建系统，包括：分组模块，用于输入荧光显微图像序列，并根据预定条件将所述荧光显微图像序列分为多组图像栈；预处理模块，用于获取每组所述图像栈的中心位置图像的点扩散函数，并将所述点扩散函数作为所述图像栈的点扩散函数；插值模块，用于将每组所述图像栈的点扩散函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的插值函数；空间变化点扩散函数模块，根据所述插值函数获取每组所述图像栈的空间变化点扩散函数；重建模块，用于根据所述空间变化点扩散函数进行荧光显微图像的三维重建。

根据本发明实施例的基于空间变化点扩散函数的荧光显微图像重建系统，使用不同深度处估计出的空间不变点扩散函数序列构建样条插值函数，得到关于轴向深度的插值函数，再由计算出位于预定空间深度处的点扩散函数。利用空间不变点扩散函数序列来得到空间变化点扩散函数序列模型的方法，使相邻两PSF之间的平滑过渡更自然，生成的空间变化点扩散函数更符合实际成像系统的特点，本发明的系统考虑了所有空间不变点扩散函数的信息，克服了现有阶层法只利用相邻两点扩散函数来进行平滑的局部性缺点。

在一些示例中，所述预处理模块利用盲反卷积方法获取所述每组所述图像栈的中心位置图像的点扩散函数。

在一些示例中，所述插值模块还用于利用三次样条插值法对所述点扩散函数序列进行处理以获取预定空间深度的插值函数，包括：获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点；将每个所述点扩散函数的强度值作为节点值；设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

在一些示例中，所述插值模块还用于可利用所述插值函数，获取位于任意两个所述点扩散函数之间的点扩散函数。

在一些示例中，所述重建模块利用反卷积算法对所述空间变化点扩散函数进行荧光显微图像的三维重建。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建方法的流程图；

图2是本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建方法的过程图；

图3是本发明一个实施例的一组SI PSF图像示例示意图；和

图4是根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建系统的结构框图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示的根据本发明一个实施例的基于空间变化点扩散函数的荧光显微图像重建方法的流程图，本发明第一方面实施例的基于空间变化点扩散函数的荧光显微图像重建方法，包括以下步骤：

S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈；

S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点扩散函数；

S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数；

S4，根据插值函数获取每组图像栈的空间变化点扩散函数；

S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。

结合图2，本发明实施例的基于空间变化点扩散函数的荧光显微图像重建方法的具体实现过程详细描述如下：

步骤S1，输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈。

输入获得的荧光显微图像序列{g₁,g₂,...,g_n}，n为正整数。根据PSF变化不明显的区域，例如，两个PSF之间的相关系数不小于预设阈值(如0.9)，将荧光显微图像序列分为m组图像栈。

这里需要注意的是，每组的图像数量不宜过多，否则不满足后续步骤中PSF空间不变的假设。但每组中图像的数量也不宜过少，图像栈中过少的图像数将导致分组过多，分组过大，利用SI PSF序列进行样条插值时产生的计算量将会很大。

步骤S2，获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点扩散函数。

在每组图像栈的中心位置图像处使用盲反卷积方法估计出一个PSF，以第i组图像栈为例，利用盲反卷积的方法估计位于图像栈中心位置处图像的PSF，记为h_i，其中0≤i≤m-1，并将h_i作为第i组图像共同的PSF，即可以将每个图像栈中的PSF看作是空间不变的(space-invariant，SI)。在本发明的一个实施例中，一组SI PSF图像实例如图3所示。

步骤S3，将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数

将上述步骤S2获取的每个图像栈中的PSF组成PSF序列{h₀,h₂,...,h_m-1},在获取的PSF序列上应用样条插值方法，得到关于空间深度z的拟合函数S(z)，利用S(z)来实现两个相邻的PSF间的平滑过渡。具体的步骤如下：

(1)获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点。

将估计出的m个位于不同深度处的PSF作为样条插值的m个节点z_i，i∈[0,m-1]，

(2)将每个所述点扩散函数的强度值作为节点值；

将各个PSF的强度值作为节点值y_i，i∈[0,m-1]。

(3)设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

将h₀作为起始PSF，用(z₀,y₀)表示，将h_m-1作为终止PSF，用(z_m-1,y_m-1)表示，同时假设这组PSF具有连续性，根据三次样条插值法，每两个PSF之间都可以构建一个关于空间深度z的三次样条函数：

这里，S(z)在z∈[z₀,z_m-1]上具有二阶连续导数，在子区间z∈[z_p,z_p+1]上，S_p(z)是一个三次多项式，具有如下形式：

S_p(z)＝a_pz³+b_pz²+c_pz+d_p,(p＝0,1,2,...,m-2)，

另外，在本发明的一个实施例中的样条函数使用第一类边界条件(即给定端点处的一阶导数值，假设S'(z₀)＝y'₀＝0，S'(z_m-1)＝y'_m-1＝0作为附加的两个条件来确定各个子插值函数的多项式系数a_p，b_p，c_p，d_p。

进一步的，在本发明的一个实施例中，利用SI PSF序列及其计算得到的[z_p,z_p+1]区间内的插值系数a_p，b_p，c_p，d_p，p＝0，1，2，...，m-2，生成介于深度z_p与z_p+1处的PSF。

利用上述步骤得到的插值函数S(z)，可以计算得到位于任意两个PSF之间的点扩散函数，如下式所示：

S_p(Δz_j)＝a_p(Δz_j)³+b_p(Δz_j)²+c_p(Δz_j)+d_p,(Δz_j∈[z_p,z_p+1],j＝1,2,...n)，

利用上式可计算任意轴向子区间内的PSFH′_j＝S_p(Δz_j)，p＝0，1，2，...，m-2，j＝1，2，...，n，n为每个子区间中估计出的PSF个数。

步骤S4，根据插值函数获取每组图像栈的空间变化点扩散函数。

根据插值函数S(z)可以计算出(m-1)*n个处在不同深度z处的PSF{H₁,H₂,...,H_(m-1)n}，得到整个荧光显微图像栈的空间变化点扩散函数(SV PSF)。

步骤S5，根据空间变化点扩散函数进行荧光显微图像的三维重建。

在本发明的一个实施例中，利用平滑之后的SV PSF，并结合现有的反卷积算法来进行荧光显微图像栈的三维重建。

如图4所示，本发明第二方面实施例的基于空间变化点扩散函数的荧光显微图像重建系统100包括：分组模块101、预处理模块102、插值模块103、空间变化点扩散函数模块104和重建模块105。

分组模块101用于输入荧光显微图像序列，并根据预定条件将荧光显微图像序列分为多组图像栈。预处理模块102用于获取每组图像栈的中心位置图像的点扩散函数，并将点扩散函数作为图像栈的点扩散函数。插值模块103用于将每组图像栈的点扩散函数组成点扩散函数序列，对点扩散函数序列进行处理以获取预定空间深度的插值函数。空间变化点扩散函数模块104根据插值函数获取每组图像栈的空间变化点扩散函数。重建模块105用于根据空间变化点扩散函数进行荧光显微图像的三维重建。

进一步的，预处理模块102利用盲反卷积方法获取每组图像栈的中心位置图像的点扩散函数。

在本发明的一个实施例中，插值模块103用于利用三次样条插值法对点扩散函数序列进行处理以获取预定空间深度的插值函数，包括：

获取m个位于不同空间深度的点扩散函数作为样条插值的m个节点；

将每个点扩散函数的强度值作为节点值；

设置起始点扩散函数和终止点扩散函数，获取每两个点扩散函数之间位于预定空间深度的插值函数。

进一步的，在本发明的一个实施例中，插值模块103还用于可利用插值函数，获取位于任意两个点扩散函数之间的点扩散函数。

在本发明的一个实施例中，重建模块105利用反卷积算法对空间变化点扩散函数进行荧光显微图像的三维重建。

需要说明的是，本发明实施例的基于空间变化点扩散函数的荧光显微图像重建系统的具体实现方式与方法部分的具体实现方式类似，请参见方法部分的描述，为了减少冗余，此处不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于空间变化点扩散函数的荧光显微图像重建方法，其特征在于，包括以下步骤：

S1，输入荧光显微图像序列，并根据预定条件将所述荧光显微图像序列分为多组图像栈；

S2，获取每组所述图像栈的中心位置图像的点扩散函数，并将所述点扩散函数作为所述图像栈的点扩散函数；

S3，将每组所述图像栈的点扩散函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的插值函数；

S4，根据所述插值函数获取每组所述图像栈的空间变化点扩散函数；

S5，根据所述空间变化点扩散函数进行荧光显微图像的三维重建；

所述步骤S3利用三次样条插值法对所述点扩散函数序列进行处理以获取预定空间深度的插值函数，包括：

将每个所述点扩散函数的强度值作为节点值；

2.如权利要求1所述的方法，其特征在于，所述步骤S2利用盲反卷积方法获取所述每组所述图像栈的中心位置图像的点扩散函数。

3.如权利要求1所述的方法，其特征在于，可利用所述插值函数，获取位于任意两个所述点扩散函数之间的点扩散函数。

4.如权利要求1所述的方法，其特征在于，步骤S5利用反卷积算法对所述空间变化点扩散函数进行荧光显微图像的三维重建。

5.一种基于空间变化点扩散函数的荧光显微图像重建系统，其特征在于，包括：

分组模块，用于输入荧光显微图像序列，并根据预定条件将所述荧光显微图像序列分为多组图像栈；

预处理模块，用于获取每组所述图像栈的中心位置图像的点扩散函数，并将所述点扩散函数作为所述图像栈的点扩散函数；

插值模块，用于将每组所述图像栈的点扩散函数组成点扩散函数序列，对所述点扩散函数序列进行处理以获取预定空间深度的插值函数；

空间变化点扩散函数模块，根据所述插值函数获取每组所述图像栈的空间变化点扩散函数；

重建模块，用于根据所述空间变化点扩散函数进行荧光显微图像的三维重建；

所述插值模块还用于利用三次样条插值法对所述点扩散函数序列进行处理以获取预定空间深度的插值函数，包括：

将每个所述点扩散函数的强度值作为节点值；

6.如权利要求5所述的系统，其特征在于，所述预处理模块利用盲反卷积方法获取所述每组所述图像栈的中心位置图像的点扩散函数。

7.如权利要求5所述的系统，其特征在于，所述插值模块还用于可利用所述插值函数，获取位于任意两个所述点扩散函数之间的点扩散函数。

8.如权利要求5所述的系统，其特征在于，所述重建模块利用反卷积算法对所述空间变化点扩散函数进行荧光显微图像的三维重建。