CN102708543B - 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置 - Google Patents

Abstract

本发明提出一种基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置，所述方法包括：通过荧光显微镜获得样本的观测图像，并基于样本建立目标函数，其中，目标函数包括正则项和约束项；根据目标函数获得样本的图像复原迭代公式和点扩散函数迭代公式；通过图像复原迭代公式和点扩散函数迭代公式对观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。通过本发明的实施例复原的图像对比度和清晰度高，有效的保持了纹理的细节信息，图像视觉效果更加清晰，自然，复原得到的点扩散函数同样具有较高的准确度。

Description

基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置

技术领域

本发明涉及图像处理和计算机视觉技术领域，特别涉及一种基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置。

背景技术

荧光显微镜方法是目前快速发展的一种显微镜技术，主要是利用荧光或是磷光现象来研究样本的属性。生物样本光学切片图像可以利用荧光显微镜获得，然而，由于成像过程中噪声和模糊的物理限制，因此无法得到完美的图像信息。由于光子转换和光学成像系统自身的缺陷等原因，荧光显微图像无法避免噪声的出现，这些噪声的统计分布通常是已知的，因此图像的噪声通常可以使用恰当的滤波方法去除。

图像的模糊过程本质上与点扩散函数密切相关，由于显微成像系统的有限光圈只能收集到点光源的一部分光，因此光学成像系统无法汇聚点光源的像为一个点，相反，这个点光源的像会扩展为衍射模式，每一张光学切片图像除了包含聚焦信息之外，同时还包含样本其它部分的散焦信息，这就使得图像看起来模糊。

利用反卷积对荧光显微切片图像进行去噪及去模糊的过程是一个图像复原(image restoration)的过程，即对原始信号的降质观测的有效恢复。然而，由于点扩散函数(point spread function/PSF)是反卷积技术不可或缺的必要条件，又不能准确地预先获知，因此使用反卷积进行图像复原是一个严重的病态问题，为此，准确地估计点扩散函数是反卷积关键工作之一。传统的获取点扩散函数要么通过理论计算得到，要么通过测量荧光液珠强度的实验方法获得。但是，实验方法得到的点扩散函数本身信息量微弱，很容易受到噪声的干扰，且只能描述显微镜在某次使用时的特殊情况下的成像属性，一旦再次使用显微镜，条件改变，那么前次测得的点扩散函数就无法适用，也不能够根据实际情况调整和改变。理论方法计算得到的点扩散函数由于公式中使用的参数在成像过程中有可能发生改变，因此会导致计算得到的点扩散函数与实际情况不符。同其他的反卷积方法相比，盲反卷积有一个显著的优势，就是可以在复原样本的同时，根据实际条件和施加的约束不断更新迭代点扩散函数，使其尽可能反映成像的实际情况，进而获得更好的显微图像复原结果。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种对复原的图像对比度和清晰度高，有效的保持了纹理的细节信息，图像视觉效果更加清晰，自然，复原得到的PSF具有更高的准确度的基于盲反卷积和稀疏表示的荧光显微图像复原方法。

本发明的另一目的在于提出一种基于盲反卷积和稀疏表示的荧光显微图像复原装置。

为了实现上述目的，本发明第一方面实施例提出了一种基于盲反卷积和稀疏表示的荧光显微图像复原方法，包括以下步骤：通过荧光显微镜获得样本的观测图像，并基于所述样本建立目标函数，其中，所述目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项；

根据所述目标函数获得所述样本的图像复原迭代公式和点扩散函数迭代公式；以及

通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。

本发明第二方面实施例提出了一种基于盲反卷积和稀疏表示的荧光显微图像复原装置，包括：图像获取装置，用于获取样本的观测图像；函数建立模块，用于根据所述样本建立目标函数，其中，所述目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项；迭代公式建立模块，用于根据所述目标函数获得所述样本的图像复原迭代公式和点扩散函数迭代公式；以及图像复原模块，用于通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。

根据本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置，推导出荧光显微图像(复原的荧光显微图像)及相应的点扩散函数(修正的点扩散函数)的复原模型，有效克服了传统复原图像方法易受噪声影响及复原图像模糊的缺陷，使得图像在复原的同时提高了对比度与清晰度，有效的保持了纹理的细节信息，图像视觉效果更加清晰，自然，复原得到的PSF(修正的点扩散函数)也具有更高的准确度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法的流程图；

图2为根据本发明一个实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法的详细流程图；

图3为根据本发明一个实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法的盲反卷积过程示意图；

图4A为根据本发明一个实施例的人工合成图像；

图4B为对图4A所述的人工合成图像添加泊松噪声后的模糊图像；

图5A为应用现有的维纳滤波方法对图4B所示的模糊图像进行复原的结果示意图；

图5B为应用现有的RL方法对图4B所示的模糊图像进行复原的结果示意图；

图5C为应用现有的BD方法对图4B所示的模糊图像进行复原的结果示意图；

图5D为根据本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法对图4B所示的模糊图像进行复原的结果示意图；

图6A为本发明一个实施例的真实荧光显微图像(观测图像)的示意图；

图6B为应用现有的维纳滤波方法对图6A所示真实荧光显微图像进行复原的结果示意图；

图6C为应用现有的BD方法对图6A所示真实荧光显微图像进行复原的结果示意图；

图6D为应用本发明实施例所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法对图6A所示真实荧光显微图像进行复原的结果示意图；

图7A为图6A所示的真实荧光显微图像的局部放大图；

图7B为图6B所示的对真实荧光显微图像复原结果的局部放大图；

图7C为图6C所示的对真实荧光显微图像复原结果的局部放大图；

图7D为图6D所示的对真实荧光显微图像复原结果的局部放大图；以及

图8为本发明一个实施例的基于盲反卷积和稀疏表示的荧光显微图像复原装置的结构图。

具体实施方式

现在将详细描述本发明的实施例，所述实施例的示例在附图中示出。虽然示出了特定实施例，但是应理解不意味着将本发明限于这些特定实施例。相反地，本发明包括在所附的权利要求的精神和范围内的替代、修改和等同。阐明多个具体细节是为了提供对本文提出的主题的全面理解。但是本领域的普通技术人员应明白，可以不使用这些具体细节来实施该主题。在其他情况下，没有详细描述公知的方法、程序、部件和电路，从而避免不必要地使本实施例的方面模糊。

尽管本文可能使用术语第一、第二等等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅仅用于将一个元件与另一个元件区别开。例如第一排序标准可以称为第二排序标准，类似地，第二排序标准可以称为第一排序标准，在不脱离本发明的范围的情况下。第一排序标准和第二排序标准都是排序标准，但是它们不是相同的排序标准。

本文中本发明的描述中使用的术语仅仅是为了描述特定实施例的目的，并不意味着对本发明的限制。如本发明及所附权利要求的描述中所使用的，单数形式“一个”“一种”和“所述”意味着也包括复数形式，除非上下文另外清楚指出。还应理解，本文所使用的术语“和/或”表示并包含一个或多个的相关联的列出的项目的任何一个和所有可能组合。还应进一步理解，当在说明书中使用时，术语“包括”和/或“包含”指定陈述的特征、操作、元件和/部件的存在，但不排除一个或多个其他特征、操作、元件、部件和/或它们的组的存在或添加。

如本文所使用的，根据上下文，术语“如果”可理解为是指“当”或“在......时”或“响应于确定”或“根据......的确定”或“响应于检测”，陈述的先决条件是真实的。类似地，根据上下文，短语“如果确定[陈述的先决条件是真实的]”或“如果[陈述的先决条件是真实的]”或“当[陈述的先决条件是真实的]”可理解为是指“在确定......时”或“响应于确定”或“根据.......的确定”或“在检测......时”或“对应于检测”陈述的先决条件是真实的。

以下结合附图首先描述根据本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法。

在本发明的示例中，利用盲反卷积对荧光显微切片图像进行去噪及去模糊的过程是一个图像复原(image restoration)的过程，即对原始信号的降质观测的有效恢复。传统显微成像系统所得到的是原始样本的退化图像，这种退化一般包括成像系统光学衍射等造成的模糊和各种噪声干扰，盲反卷积的目的就是从观测到的退化图像最大可能地恢复样本的本来面目，其过程如图3所示.

参见图1和图2，根据本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法，包括如下步骤：

步骤S101，通过荧光显微镜获得样本的观测图像(对应图2所示的步骤S203)，并基于所述样本建立目标函数(对应图2所示的步骤S201)，其中，目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项。

在本发明的示例中，目标函数表示为：其中，L(f，h)为目标函数，L_fidelity(g|f，h)为正则项，L_sparse(f，h)为约束项，λ₁为所述正则项和所述约束项的比重。

在本示例中，正则项L_fidelity(g|f，h)的表示如式1所示：

$L_{\mathrm{fidelity}}\left(g\right|f,h)=\underset{(f,h)}{\arg \min }\left(\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\right[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h\left]\left(x\right)\right)---\left(1\right)$

约束项L_sparse(f，h)的表示如式2所示：

$L_{\mathrm{sparse}}(f,h)=\underset{(f,h)}{\arg \min }({\left|\right|\▿f\left|\right|}_{l_1}+\mathrm{\α}({\left|\right|\▿f*h-\▿g\left|\right|}_{l_2}^2-{\mathrm{\σ}}^2))---\left(2\right)$

其中，f(x)为复原的荧光显微图像(复原图像)，g(x)为观测图像，h(x)为点扩散函数，Ω为观测图像(荧光显微图像)支撑域，和分别为复原的荧光显微图像f(x)和观测图像g(x)的梯度，l₁和l₂分别为1范数和2范数，σ²是2范数的上界，为利用目标函数求解得到的复原的荧光显微图像和修正的点扩散函数

正则项L_fidelity(g|f，h)和约束项L_sparse(f，h)具体推导过程如下：

1、正则项L_fidelity(g|f，h)推导过程为：

假设成像过程中泊松噪声为主要噪声形式，那么荧光样本(X＝f)的观测(Y＝g)能够建立如下模型：

$P(Y=g|X=f,H=h)=\underset{x\∈\mathrm{\Ω}}{\mathrm{\Π}}\frac{[h*f]{\left(x\right)}^{g\left(x\right)}{e}^{-[h*f]\left(x\right)}}{g\left(x\right)!}.$

其中，[h*f](x)表示泊松过程的均值，则联合似然估计的最大值可以利用如下目标函数获得，其中，目标函数如下：

$L_{\mathrm{fidelity}}\left(g\right|f,h)=\underset{(f,h)}{\arg \max }P(Y=g|X=f,H=h)=\underset{(f,h)}{\arg \min }(-\ln [P(Y=g|X=f,H=h)\left]\right)$

$=\underset{(f,h)}{\arg \min }\left(\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\right[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h\left]\left(x\right)\right)$

由于满足上述目标函数的解很多，因此需要对样本和点扩散函数施加各种正则约束条件(本发明实施例所述的约束项)，以便缩小上述目标函数的解空间，获得最佳复原图像，在该示例中，可利用稀疏表示理论作为约束条件，即通过约束项L_sparse(f，h)作为上述目标函数的约束项。

2、约束项L_sparse(f，h)的推导过程如下：

尽管自然图像(即自然界的普通图像)并不是稀疏表示的，但是可以利用不同域之间的转换将其转变成稀疏表示。根据图像的统计可知，自然图像的梯度一般是稀疏表示的，因此利用稀疏表示理论可知，能够利用观测图像的梯度和点扩散函数对降质图像进行复原，并使用如下函数可以实现，其中，所述函数为：

$\min {\left|\right|\▿f\left|\right|}_{l_1}$ 以使 ${\left|\right|\▿f*h-\▿g\left|\right|}_{l_2}^2\≤{\mathrm{\σ}}^2.$

其中，和分别为复原图像(复原的荧光显微图像)f(x)和观测图像g(x)的梯度，l₁和l₂分别表示1范数和2范数，σ²是2范数的上界。上述函数可以使用如下公式进行描述，其中，所述公式为：

$L_{\mathrm{sparse}}(f,h)=\underset{(f,h)}{\arg \min }({\left|\right|\▿f\left|\right|}_{l_1}+\mathrm{\α}({\▿f*h-\▿g\left|\right|}_{l_2}^2-{\mathrm{\σ}}^2)).$

其中，α为正则参数，以确保获得函数的最优解。

建立目标函数(对应图2所示的步骤S201，即设计目标函数)。利用得到的正则项L_fidelity(g|f，h)和约束项L_sparse(f，h)可以获得整体的目标函数，即L(f，h)＝L_fidelity(g|f，h)+λ₁L_sparse(f，h)。该目标函数可以用如下形式描述：

$L(f,h)=\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h]\left(x\right)+{\mathrm{\λ}}_1\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}|\▿f\left(x\right)|+{\mathrm{\λ}}_2\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}(A^2+B^2-{\mathrm{\σ}}^2).$

其中是图像梯度的模可以利用如下公式计算得到：

$|\▿f\left(x\right)|={({\▿f}_x^2+\™f_y^2)}^{1/2}.$

其中和分别为复原图像f(x)沿x和y方向的梯度，整体的目标函数L(f，h)中 $A=[\▿f_x*h-\▿g_x]\left(x\right),$ $B=[\▿f_y*h-\▿g_y]\left(x\right),$ $\▿g_x$ 和分别为观测图像g(x)沿x和y方向的梯度。λ₂为正则参数，且λ₂＝αλ₁。

步骤S102，通过上述步骤确定目标函数L(f，h)之后，根据目标函数L(f，h)获得样本的图像复原迭代公式和点扩散函数迭代公式(对应图2所示的步骤S202)。

具体而言，根据目标函数L(f，h)获得样本的图像复原迭代公式包括如下步骤：

1、设置点扩散函数h(x)的初始值，且通过对所述点扩散函数进行标准化。即在盲反卷积推导过程中，首先假设点扩散函数h(x)具有初始值或者该初始值已经被估计得到，同时，点扩散函数h(x)可使用公式预先被标准化。在该示例中，点扩散函数h(x)的初始值为高斯近似模型，即：

$h\left(x\right)=\exp (-\frac{x^2+y^2}{2{\left({\mathrm{\σ}}^{*}\right)}^2}).$

其中，x∈[-p，+p]，y∈[-q，+q]，σ^*为h(x)的参数。

2、根据目标函数L(f，h)并应用变分法得到对应的基于复原的荧光显微图像f(x)的欧拉方程。换言之，根据变分法，整体的目标函数L(f，h)关于复原图像f(x)的对应欧拉方程如下：

$\frac{\∂L}{\∂f}-\frac{\∂}{\∂x}\left(\frac{\∂L}{{\∂f}_x}\right)-\frac{\∂}{\∂y}\left(\frac{\∂L}{{\∂f}_y}\right)=0.$

其中，f_x和f_y分别为f(x)沿x和y方向的偏导数，x和y为二维图像空间中的x轴方向和y轴方向。接着，根据上述欧拉方程推导可得如下公式：

$1-\hat{h}(-x)*\left(\frac{g\left(x\right)}{[\hat{h}*f]\left(x\right)}\right)-{\mathrm{\λ}}_1\mathrm{div}\left(\frac{\▿f\left(x\right)}{|\▿f\left(x\right)|}\right)-2{\mathrm{\λ}}_2(\▿C_x+\▿D_y)=0.$

其中，表示点扩散函数(h(x))的埃尔米特伴随矩阵，div(·)表示散度运算， $C=\left[\right[\▿{\hat{f}}_x*\hat{h}-\▿g_x]*\hat{h}]\left(x\right)=[A*\hat{h}]\left(x\right),$ $D=\left[\right[\▿{\hat{f}}_y*\hat{h}-\▿g_y]*\hat{h}]\left(x\right)=[B*\hat{h}]\left(x\right),$ $\▿C_x$ 表示C沿x方向的梯度，表示D沿y方向的梯度。

3、根据欧拉方程得到图像复原迭代公式。具体而言，根据上述公式可知，样本的荧光显微图像复原迭代公式(图像复原迭代公式)为：

${\hat{f}}^{(n+1)}\left(x\right)=[\frac{g\left(x\right)}{[{\hat{f}}^{\left(n\right)}*\hat{h}]\left(x\right)}*\hat{h}(-x)]\·\frac{{\hat{f}}^{\left(n\right)}\left(x\right)}{1-{\mathrm{\λ}}_1\mathrm{div}\left(\frac{\▿{\hat{f}}^{\left(n\right)}\left(x\right)}{|\▿{\hat{f}}^{\left(n\right)}\left(x\right)|}\right)-2{\mathrm{\λ}}_2(\▿C_x+\▿D_y)}.$

其中，(·)表示矩阵元素相乘，n为迭代次数，由于样本的实际像素值一定为正值，所以将每次迭代的结果中负值设为0。另外，为了保持盲反卷积过程中的光效率不变，使用公式对每次迭代的结果进行处理，其中 为前一次复原的荧光显微图像的结果，为得到的新的复原的荧光显微图像的结果。

根据目标函数获得样本的点扩散函数迭代公式包括：

1、设置复原图像(复原的荧光显微图像)f(x)的初始值，即在盲反卷积推导过程中，首先假设复原图像具有初始值，在本发明的一个实施例中，复原的荧光显微图像f(x)的初始值设为观测图像g(x)。

2、根据所述目标函数应用梯度下降算法得到所述点扩散函数迭代公式。具体而言：

根据目标函数L(f，h)，利用梯度下降法推导并求解点扩散函数(point spreadfunction/PSF)的迭代公式：

${\widehat{\mathrm{\σ}}}^{*(n+1)}={\widehat{\mathrm{\σ}}}^{*\left(n\right)}-\mathrm{\β}\▿L_{{\widehat{\mathrm{\σ}}}^{*\left(n\right)}}$

其中，σ^*为h(x)的参数，β为步长，为第n次迭代的搜索方向，其形式为 ${\▿L}_{{\widehat{\mathrm{\σ}}}^{*\left(n\right)}}=\frac{\mathrm{dL}}{d{\widehat{\mathrm{\σ}}}^{*\left(n\right)}}=\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}[\frac{d{\hat{h}}^{\left(n\right)}}{d{\widehat{\mathrm{\σ}}}^{*\left(n\right)}}*\hat{f}]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{g\left(x\right)}{[\hat{f}*\hat{g}]\left(x\right)}\·[\frac{d{\hat{h}}^{\left(n\right)}}{d{\widehat{\mathrm{\σ}}}^{*\left(n\right)}}*\hat{f}]\left(x\right)+2{\mathrm{\λ}}_2(E+F).$

其中：

$d\hat{h}/d{\widehat{\mathrm{\σ}}}^{*}=\hat{h}\·(x^2+y^2)/{\left({\widehat{\mathrm{\σ}}}^{*}\right)}^3;$

$E=[\▿{\hat{f}}_x*\hat{h}-\▿g_x]\left(x\right)\·\left[(\frac{d\hat{h}}{d{\widehat{\mathrm{\σ}}}^{*}}*\▿{\hat{f}}_x)\right]\left(x\right)A\·[\left(\frac{d\hat{h}}{d{\widehat{\mathrm{\σ}}}^{*}}\right)*\▿{\hat{f}}_x]\left(x\right);$

$F=[\▿{\hat{f}}_y*\hat{h}-\▿g_y]\left(x\right)\·\left[(\frac{d\hat{h}}{d{\widehat{\mathrm{\σ}}}^{*}}*\▿{\hat{f}}_y)\right]\left(x\right)B\·[\left(\frac{d\hat{h}}{d{\widehat{\mathrm{\σ}}}^{*}}\right)*\▿{\hat{f}}_y]\left(x\right).$

同样地，每次迭代计算得到的点扩散函数中的负值也用0取代，并使用公式 $\hat{h}\left(x\right)=\hat{h}\left(x\right)/\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\hat{h}\left(x\right)$ 以确保 ${\left|\right|\hat{h}\left(x\right)\left|\right|}_{l_1}=1.$

步骤S103，通过图像复原迭代公式和点扩散函数迭代公式对观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数(对应步骤S204)。

根据上述复原的荧光显微图像f(x)的初始值设为观测图像g(x)和点扩散函数h(x)的初始值设为高斯近似模型。并利用上述得到的图像复原迭代公式和点扩散函数迭代公式进行迭代最终得到复原的荧光显微图像和修正的点扩散函数。具体地：

当所述荧光显微镜为宽场显微镜时，设σ^*＝0.21λ_em/NA；

当荧光显微镜为共焦显微镜时，设 ${\mathrm{\σ}}^{*}=0.225{\mathrm{\λ}}_{\mathrm{ex}}{\mathrm{\λ}}_{\mathrm{em}}/\mathrm{NA}{({\mathrm{\λ}}_{\mathrm{ex}}^2+{\mathrm{\λ}}_{\mathrm{em}}^2)}^{1/2}.$

其中，上述NA为数值孔径，λ_ex和λ_em分别表示激发激光波长和荧光发射波长，p和q分别为预设值，用于控制所述h(x)的尺寸。

更为具体地，结合图2，如步骤S202，通过设置的复原图像f(x)的初始值形式为g(x)和PSF的初始值形式h(x)，即h(x)为高斯近似模型。可以理解，复原图像f(x)的初始值形式为观测图像g(x)，对于PSF的初始值形式(h(x)为高斯近似模型)而言，取

x∈[-p，+p]，y∈[-q，+q]。

对于宽场显微镜而言，σ^*＝0.21λ_em/NA，对于共焦显微镜而言， ${\mathrm{\σ}}^{*}=0.225{\mathrm{\λ}}_{\mathrm{ex}}{\mathrm{\λ}}_{\mathrm{em}}/\mathrm{NA}{({\mathrm{\λ}}_{\mathrm{ex}}^2+{\mathrm{\λ}}_{\mathrm{em}}^2)}^{1/2},$ p和q用于控制h(x)的尺寸。

步骤S204至步骤S205，利用荧光显微图像复原迭代公式和PSF迭代公式对输入图像(观测图像)g(x)进行迭代复原，得到迭代一次的复原的荧光显微图像f(x)和进行修正一次的修正的点扩散函数h(x)。即利用荧光显微图像复原迭代公式和PSF迭代公式对输入图像g(x)进行复原，得到复原后的图像f(x)和点扩散函数h(x)。

通过上述步骤S201至步骤S204，完成一次迭代复原。进一步地，还包括步骤S205，设置迭代次数阈值a，并通过图像复原迭代公式和点扩散函数迭代公式对观测图像进行迭代，直至迭代次数到达所述迭代次数阈值后停止迭代，以得到最终的复原的荧光显微图像和修正的点扩散函数。具体而言，通过步骤S205判断迭代次数是否达到预定次数(迭代次数阈值a)，随着迭代次数n的增加，复原图像越趋于清晰。利用客观评价和主观评价方法，设置令人满意的迭代次数a。因此，将迭代次数n达到设定值a时，即当满足n＝a时，图像清晰度满足要求，从而得到最终的复原的荧光显微图像和修正的点扩散函数。

步骤S206，输出复原后的荧光显微图像和点扩散函数(PSF)。

如图4A所示，示出了人工合成的原始图像(即原始图像是指没有噪声和模糊的理想中的图像，复原图像(复原的荧光显微图像)是对降质的观测图像进行恢复的图像)，以及图4B示出了利用初始参数σ^*＝1.5，p＝q＝2的h(x)卷积并添加泊松噪声后的模糊图像，图像为灰度图像，大小为130×130像素。然后分别利用维纳滤波(Wiener filter)，RL方法，另外一种盲反卷积方法(BD)以及本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法对图4B所示的图像进行复原处理。为了比较公平，被比较的其它传统方法均为调整参数后的最佳复原结果。客观评价标准选用结构相似度(SSIM)方法和相对均方误差(RSE)方法，其中结构相似度方法用来度量复原图像的质量，均方误差方法用来度量盲反卷积最后得到的PSF的准确度。具体实验参数及其结果如表1所示，其中，表1示出了上述四种方法的对比结果与实验参数。

表1

图5A至图5D依次示出了利用维纳滤波(Wiener filter)，RL方法，另外一种盲反卷积方法(BD)以及本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法进行复原处理的实验结果。显然，应用本发明实施例的方法进行处理的图像(图5D)的清晰度高于其它几种方法处理的清晰度。

图6A为一幅真实的荧光显微图像(观测图像)，分辨率为512×512像素，本实施例方法中h(x)的初始参数设置为σ^*＝1.5，p＝q＝2。图6B中n＝1，运行时间为0.8512秒，图6C中n＝4，运行时间为7.6754秒，图6D中n＝4，运行时间为9.8260秒，图6B至图6D依次为利用维纳滤波，BD方法以及本发明实施例方法的实验结果，显然，采用本发明实时的方法得到的图像更为清晰。

进一步地，图7A至图7D依次为图6A至图6D的局部放大图，其放大位置为图6A矩形框范围。

结合图5A至图5D、图6A至图6D和图7A至图7D所示的复原后的图像可以看出，采用维纳滤波，RL和BD方法复原后的图像很容易受到噪声的影响，尤其对于RL方法，噪点影响严重，且看起来模糊，尤其对于维纳滤波方法，视觉效果不好，而本实施例的方法无论在客观评测下还是主观评测下均获得了更好的结果。

根据本发明实施例基于盲反卷积和稀疏表示的荧光显微图像复原方法，推导出荧光显微图像(复原的荧光显微图像)及相应的点扩散函数的复原模型(修正的点扩散函数)，有效克服了传统复原图像方法易受噪声影响及复原图像模糊的缺陷，使得图像在复原的同时增加了对比度与清晰度，有效的保持了纹理的细节信息，图像视觉效果更加清晰，自然，复原得到的PSF(修正的点扩散函数)也具有更高的准确度。

参见图8，本发明的进一步实施例提出了一种基于盲反卷积和稀疏表示的荧光显微图像复原装置800，包括图像获取装置810、函数建立模块820、迭代公式建立模块830和图像复原模块840。其中：

图像获取装置810用于获取样本的观测图像。函数建立模块820用于根据所述样本建立目标函数，其中，所述目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项，其中，目标函数为：

$(\hat{f},\hat{h})=L(f,h)=L_{\mathrm{fidelity}}\left(g\right|f,h)+{\mathrm{\λ}}_1{L}_{\mathrm{sparse}}(f,h),$

其中，所述L(f，h)为目标函数，所述L_fidelity(g|f，h)为正则项，所述L_spqrse(f，h)为约束项，所述λ₁为所述正则项和所述约束项的比重，且正则项L_fidelity(g|f，h)为：

$L_{\mathrm{fidelity}}\left(g\right|f,h)=\underset{(f,h)}{\arg \min }\left(\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\right[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h\left]\left(x\right)\right),$

所述约束项L_sparse(f，h)为：

$L_{\mathrm{sparse}}(f,h)=\underset{(f,h)}{\arg \min }({\left|\right|\▿f\left|\right|}_{l_1}+\mathrm{\α}({\left|\right|\▿f*h-\▿g\left|\right|}_{l_2}^2-{\mathrm{\σ}}^2)),$

其中，f(x)为复原的荧光显微图像，g(x)为观测图像，h(x)为点扩散函数，Ω为观测图像支撑域，和分别为复原的荧光显微图像f(x)和观测图像g(x)的梯度，l₁和l₂分别为1范数和2范数，σ²是2范数的上界，表示利用目标函数求解得到的复原图像(复原的荧光显微图像)和修复的点扩散函数

迭代公式建立模块830用于根据所述目标函数获得所述样本的图像复原迭代公式和点扩散函数迭代公式。进一步地，点扩散函数初始值采用高斯近似模型，具体形式为：

$h\left(x\right)=\exp (-\frac{x^2+y^2}{2{\left({\mathrm{\σ}}^{*}\right)}^2}),$

其中，x∈[-p，+p]，y∈[-q，+q]，σ^*为h(x)的参数。进一步地，图像获取装置740为荧光显微镜，且荧光显微镜包括宽场显微镜和共焦显微镜，其中，

当所述荧光显微镜为宽场显微镜时，所述σ^*＝0.21λ_em/NA；

当所述荧光显微镜为共焦显微镜时，所述 ${\mathrm{\σ}}^{*}=0.225{\mathrm{\λ}}_{\mathrm{ex}}{\mathrm{\λ}}_{\mathrm{em}}/\mathrm{NA}{({\mathrm{\λ}}_{\mathrm{ex}}^2+{\mathrm{\λ}}_{\mathrm{em}}^2)}^{1/2},$

其中，NA为数值孔径，λ_ex和λ_em分别表示激发激光波长和荧光发射波长。p和q分别为预设值，用于控制所述h(x)的尺寸。

复原的荧光显微图像的初始值为观测图像g(x)。

图像复原模块840用于通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。

在本发明的一个实施例中，图像复原模块840用于设置迭代次数阈值，并通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行迭代，直至迭代次数到达所述迭代次数阈值后停止迭代以得到所述复原的荧光显微图像和修正的点扩散函数。

在一些示例中，函数建立模块820还包括求解模块(图中未示出)，具体而言，求解模块用于对所述正则项L_fidelity(g|f，h)和所述约束项L_sparse(f，h)进行推导。需要说明的是，，求解模块821对正则项L_fidelity(g|f，h)和约束项L_sparse(f，h)的推导过程与上述实施例对正则项L_fidelity(g|f,h)和约束项L_sparse(f，h)的推导过程相同，为了减少冗余，不做赘述。

在本发明的一些示例中，迭代公式建立模块830用于设置点扩散函数h(x)的初始值，且通过对所述点扩散函数进行标准化，并根据所述目标函数及应用变分法得到所述目标函数基于所述复原的荧光显微图像的欧拉方程，以及根据所述欧拉方程得到所述图像复原迭代公式。

进一步地，迭代公式建立模块830还用于设置复原图像f(x)的初始值，根据所述目标函数应用梯度下降算法得到所述点扩散函数迭代公式。

根据本发明实施例基于盲反卷积和稀疏表示的荧光显微图像复原装置，推导出荧光显微图像(复原的荧光显微图像)及相应的点扩散函数的复原模型(修正的点扩散函数)，有效克服了传统复原图像方法易受噪声影响及复原图像模糊的缺陷，使得图像在复原的同时增加了对比度与清晰度，有效的保持了纹理的细节信息，图像视觉效果更加清晰，自然，复原得到的PSF(修正的点扩散函数)也具有更高的准确度。

本发明实施例的基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置具有如下优点：

第一、利用稀疏表示理论作为约束条件，克服原有RL盲发卷积方法容易受噪声影响的缺陷，同时缩小原有RL盲反卷积方法的解空间，以便获得最佳复原图像，增强图像的对比度和清晰度。

第二、该盲反卷积迭代复原方法通过计算机纯计算实现，效果显著，宽敞显微图像和共焦显微图像都能够从中获益，如果利用到宽场显微镜方法中，效果可以和共焦显微镜想媲美，同时比共焦显微镜具有更大的优势，体现在：比共焦光学成像系统效率高；使用普通光源，可以减少光漂白和光裂解的几率，降低对样本的光损伤；宽场显微成像系统和计算机价格低廉，可以降低成本；可以进一步提高图像细节信息的清晰度和对比度；可以在宽场成像系统获取高质量光学切片图像后，随时进行计算机后期处理工作，操作更灵活。

第三、能够保持光效率的性质是迭代反卷积复原技术最有价值的优势，尤其在光受限的实际应用中，例如高分辨率荧光成像，样本是非常微小的，包含很少的荧光团，再例如活体细胞荧光成像，由于活体细胞对光损害非常敏感，所以曝光时间非常有限，这些情况下，不减小光信号强度却能提高图像的对比度和信噪比尤为重要。

尽管在各种附图中的一些中示出特定排序的多个逻辑步骤，但是不依赖顺序的步骤可以被重新排序且结合或插入其他步骤。虽然特别地提及一些重新排序或其他组合，但是其他重新排序或组合对于本领域的技术人员应是明显的，因此不再提出替换方式的详尽列表。例如，机顶盒可能发送未处理的音频信号至电视内容识别服务器，然后电视内容识别服务器负责将音频信号转换为音频指纹。而且，应理解，上述步骤可以在硬件、固件、软件或它们的任意组合中实施。

为了说明的目的，已经参考特定实施方式进行了上述描述。然而，以上说明性的讨论不意味着详尽讨论或者将本发明限于公开的精确形式。鉴于上述教导，进行许多修改和变化是可能的。所选取和描述的实施方式是为了最好地说明本发明的原则和它的实际应用，从而使得本领域的其他技术人员能够最好地利用本发明以及具有各种适合于预期的特殊用途的修改的各种实施方式。实施方式包括在所附权利要求的精神和范围内的替换、修改和等同。阐明多个具体细节是为了提供对本文提出的主题的全面理解。但是本领域的普通技术人员应明白，可以不使用这些具体细节来实施该主题。在其他情况下，没有详细描述公知的方法、程序、部件和电路，从而避免不必要地使本实施方式的方面模糊。

Claims (18)

1.一种基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，包括以下步骤：

通过荧光显微镜获得样本的观测图像，并基于所述样本建立目标函数，其中，所述目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项，并且所述目标函数为：

$(\hat{f},\hat{h})=L(f,h)=L_{\mathrm{fidelity}}\left(g\right|f,h)+{\mathrm{\λ}}_1{L}_{\mathrm{sparse}}(f,h),$

其中，所述L(f,h)为目标函数，所述L_fidelity(g|f,h)为正则项，所述L_sparse(f,h)为约束项，所述λ₁为所述正则项和所述约束项的比重，f为复原的荧光显微图像，g为观测图像，h为点扩散函数。为利用目标函数求解得到的复原的荧光显微图像和修正的点扩散函数

根据所述目标函数获得所述样本的图像复原迭代公式和点扩散函数迭代公式；以及

通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。

2.根据权利要求1所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，所述通过图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数，进一步包括：

设置迭代次数阈值，

通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行迭代，直至迭代次数到达所述迭代次数阈值后停止迭代以得到所述复原的荧光显微图像和修正的点扩散函数。

3.根据权利要求1所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，所述正则项L_fidelity(g|f,h)为：

$L_{\mathrm{fidelity}}=\left(g\right|f,h)=\underset{(f,h)}{\arg \min }\left(\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\right[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h\left]\left(x\right)\right),$

所述约束项L_sparse(f,h)为：

$L_{\mathrm{sparse}}(f,h)=\underset{(f,h)}{\arg \min }({\left|\right|\▿f\left|\right|}_{l_1}+\mathrm{\α}({\left|\right|\▿f*h-\▿g\left|\right|}_{l_2}^2-{\mathrm{\σ}}^2)),$

其中，f(x)为复原的荧光显微图像，g(x)为观测图像，h(x)为点扩散函数，Ω为观测图像支撑域，和分别为复原的荧光显微图像f(x)和观测图像g(x)的梯度，l₁和l₂分别为1范数和2范数，σ²是2范数的上界。

4.根据权利要求3所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，还包括：

对所述正则项L_fidelity(g|f,h)和所述约束项L_sparse(f,h)进行推导。

5.根据权利要求1所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，所述根据目标函数获得所述样本的图像复原迭代公式，进一步包括：

设置点扩散函数h(x)的初始值，且通过对所述点扩散函数进行标准化；

根据所述目标函数并应用变分法得到对应的基于所述复原的荧光显微图像的欧拉方程；以及

根据所述欧拉方程得到所述图像复原迭代公式。

6.根据权利要求1所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，根据所述目标函数获得所述样本的点扩散函数迭代公式，进一步包括：

设置复原的荧光显微图像f(x)的初始值；

根据所述目标函数应用梯度下降算法得到所述点扩散函数迭代公式。

7.根据权利要求6所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，所述复原的荧光显微图像f(x)的初始值为观测图像g(x)。

8.根据权利要求5所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，所述点扩散函数h(x)的初始值为高斯近似模型为：

$h\left(x\right)=\exp (-\frac{x^2+y^2}{2{\left({\mathrm{\σ}}^{*}\right)}^2}),$

其中，x∈[-p,+p],y∈[-q,+q]，σ^*为h(x)的参数，p和q分别为预设值，用于控制所述h(x)的尺寸。

9.根据权利要求8所述的基于盲反卷积和稀疏表示的荧光显微图像复原方法，其特征在于，

当所述荧光显微镜为宽场显微镜时，所述σ^*＝0.21λ_em/NA；

当所述荧光显微镜为共焦显微镜时，所述

其中，NA为数值孔径，λ_ex和λ_em分别表示激发激光波长和荧光发射波长，p和q分别为预设值，用于控制所述h(x)的尺寸。

10.一种基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，包括：

图像获取装置，用于获取样本的观测图像；

函数建立模块，用于根据所述样本建立目标函数，其中，所述目标函数包括基于泊松噪声统计模型构建的正则项和基于稀疏理论构建的约束项，并且所述目标函数为：

$(\hat{f},\hat{h})=L(f,h)=L_{\mathrm{fidelity}}\left(g\right|f,h)+{\mathrm{\λ}}_1{L}_{\mathrm{sparse}}(f,h),$

其中，所述L(f,h)为目标函数，所述L_fidelity(g|f,h)为正则项，所述L_sparse(f,h)为约束项，所述λ₁为所述正则项和所述约束项的比重，f为复原的荧光显微图像，g为观测图像，h为点扩散函数。为利用目标函数求解得到的复原的荧光显微图像和修正的点扩散函数

迭代公式建立模块，用于根据所述目标函数获得所述样本的图像复原迭代公式和点扩散函数迭代公式；以及

图像复原模块，用于通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行计算以得到复原的荧光显微图像和修正的点扩散函数。

11.根据权利要求10所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述图像复原模块用于设置迭代次数阈值，并通过所述图像复原迭代公式和所述点扩散函数迭代公式对所述观测图像进行迭代，直至迭代次数到达所述迭代次数阈值后停止迭代以得到所述复原的荧光显微图像和修正的点扩散函数。

12.根据权利要求10所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述正则项L_fidelity(g|f,h)为：

$L_{\mathrm{fidelity}}=\left(g\right|f,h)=\underset{(f,h)}{\arg \min }\left(\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}\right[f*h]\left(x\right)-\underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}g\left(x\right)\ln [f*h\left]\left(x\right)\right),$

所述约束项L_sparse(f,h)为：

$L_{\mathrm{sparse}}(f,h)=\underset{(f,h)}{\arg \min }({\left|\right|\▿f\left|\right|}_{l_1}+\mathrm{\α}({\left|\right|\▿f*h-\▿g\left|\right|}_{l_2}^2-{\mathrm{\σ}}^2)),$

其中，f(x)为复原的荧光显微图像，g(x)为观测图像，h(x)为点扩散函数，Ω为观测图像支撑域，和分别为复原的荧光显微图像f(x)和观测图像g(x)的梯度，l₁和l₂分别为1范数和2范数，σ²是2范数的上界。

13.根据权利要求12所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述函数建立模块，进一步包括：

求解模块，用于对所述正则项L_fidelity(g|f,h)和所述约束项L_sparse(f,h)进行推导。

14.根据权利要求10所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述迭代公式建立模块用于设置点扩散函数h(x)的初始值，且通过对所述点扩散函数进行标准化，并根据所述目标函数并应用变分法得到对应的基于所述复原的荧光显微图像的欧拉方程，以及根据所述欧拉方程得到所述图像复原迭代公式。

15.根据权利要求10所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述迭代公式建立模块还用于设置复原的荧光显微图像f(x)的初始值，并根据所述目标函数应用梯度下降算法得到所述点扩散函数迭代公式。

16.根据权利要求15所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述复原的荧光显微图像的初始值为观测图像g(x)。

17.根据权利要求14所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述点扩散函数h(x)的初始值采用高斯近似模型为：

$h\left(x\right)=\exp (-\frac{x^2+y^2}{2{\left({\mathrm{\σ}}^{*}\right)}^2}),$

其中，x∈[-p,+p],y∈[-q,+q]，σ^*为h(x)的参数，p和q分别为预设值，用于控制所述h(x)的尺寸。

18.根据权利要求17所述的基于盲反卷积和稀疏表示的荧光显微图像复原装置，其特征在于，所述图像获取装置为荧光显微镜，且所述荧光显微镜包括宽场显微镜和共焦显微镜，其中，

当所述荧光显微镜为宽场显微镜时，所述σ^*＝0.21λ_em/NA；

当所述荧光显微镜为共焦显微镜时，所述

其中，NA为数值孔径，λ_ex和λ_em分别表示激发激光波长和荧光发射波长，p和q分别为预设值，用于控制所述h(x)的尺寸。