CN105139361A - 一种基于非线性优化的fpm算法的图像超分辨率重建方法 - Google Patents

Abstract

本发明提供一种基于非线性优化的FPM算法的图像超分辨率重建方法，包括以下步骤：(1)控制LED阵列中LED逐点发光，FPM平台采集不同光照下的低分辨率图像；(2)基于不同角度光照下所得到的图像其实是正射下的图像在频域进行偏移得到的特点，对采集到的低分辨率图像建立约束，基于该约束，定义重建结果和采集的图像之间的总偏差；(3)对总偏差求导得到相对应的梯度值，利用梯度下降算法，迭代求解得到总偏差最小的重建结果。本发明充分利用了非线性优化方法的优势，将原有的FPM算法进行了数学建模，将频域迭代的方法抽象成求解非线性函数得最优解的问题，从一个新的角度来解决图像超分辨率重建问题，提高了算法的重建效果。

Description

一种基于非线性优化的FPM算法的图像超分辨率重建方法

技术领域

本发明属于显微成像、计算机视觉、计算机图形学领域，尤其是立体图形学领域，特别涉及一种基于非线性优化的FPM算法的图像超分辨率重建方法。

技术背景

Fourierptychographicmicroscopy(FPM)是一种基于显微镜平台的图像超分辨率重建的方法，可以有效克服空间带宽积(spacebandwidthproduct)受限的矛盾问题。常见的光学成像平台都会受到空间带宽积的限制，即如果观察的视野范围比较广，则观测物体的放大倍数就会偏小；反之，如果观测物体的放大倍数比较大，则视野的范围就会缩小。而FPM算法很好地解决了这一问题，让我们能够获取广视野、高分辨率的图像，由此，突破了光学成像系统的物理极限。

非线性优化方法是指当目标函数为非线性函数时，求解模型最优解的方法。在信息论、图像处理、光学成像和模式识别等领域，需要解决的实际问题往往可以通过数学建模而转化为求解目标函数的最优解的数学问题。而常见的目标函数往往是非线性函数，因此，在解决实际问题的时候我们往往要考虑利用非线性优化方法求解模型最优解。

发明内容

本发明的目的在于提供一种基于非线性优化的FPM算法的图像超分辨率重建方法。

本发明提供的基于非线性优化的FPM算法的图像超分辨率重建方法包括以下步骤：

(1)控制LED阵列中LED灯逐点发光产生不同角度的光照，FPM平台选择当前LED对应的曝光时间采集不同角度的光照下的低分辨率图像I_i(x,y)；

(2)基于不同角度的光照下所得到的图像其实是正射下的图像在频域进行偏移得到的特点，对采集到的所述低分辨率图像I_i(x,y)建立约束：

${\mathrm{\ϵ}}_i=\underset{xy}{\Σ}\{{\[{\left|F_i(x,y)\right|}^2+\mathrm{\δ}\]}^{\mathrm{\γ}}-{\[I_i(x,y)+\mathrm{\δ}\]}^{\mathrm{\γ}}\}$

其中，(x,y)表示空间域的坐标，(u,v)表示频域的坐标，H(u,v)为图像频谱的重建结果，C_i为提取矩阵，是矩阵C_i的转置，ε_i表示重建的图像和采集的第i个低分辨率图像之间的偏差，δ为一个大于0小于10^-10的常数，γ是一个实常数；

基于该约束，定义图像频谱的重建结果H(u,v)和采集的第i个低分辨率图像之间的总偏差：

${\mathrm{\ϵ}}^2=\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\ϵ}}_i^2=\underset{i=1}{\overset{L}{\Σ}}\underset{x,y}{\Σ}{\{{\[{\left|F_i(x,y)\right|}^2+\mathrm{\δ}\]}^{\mathrm{\γ}}-{\[I_i(x,y)+\mathrm{\δ}\]}^{\mathrm{\γ}}\}}^2$

其中，L表示被使用的LED灯的数量；

(3)通过对所述总偏差求导得到相对应的梯度值，利用梯度下降算法，通过迭代的方法求解得到总偏差最小的H(u,v)。

优选地，所述FPM平台包括显微镜，所述显微镜设置有成像装置，所述显微镜的光源采用可编程的LED阵列，所述LED阵列的相邻两个LED之间的距离为4mm，所述LED阵列与载物台之间的距离为6～12cm。

优选地，采用以下方法确定所述曝光时间：

首先，确定中心LED的位置：固定一个曝光时间，LED阵列上的LED灯逐点发光，用所述FPM平台中的成像装置采集每一张图像，计算图像的亮度分布，估计中心LED的位置，所述中心LED为样本正下方的LED；

然后，确定曝光时间：主要的原则是在保证采集到的图像不存在过曝光的现象的前提下，曝光时间尽可能选择长的。

优选地，所述步骤(2)中δ的取值为10^-20。

本发明的优点在于充分利用了非线性优化方法的优势，将原有的FPM算法进行了数学建模，将频域迭代的方法抽象成求解非线性函数得最优解的问题，从一个新的角度来解决图像超分辨率重建问题，提高了算法的重建效果。

具体实施方式

下面结合实施例对本发明进一步说明。

以下实施例使用的FPM平台该FPM平台包括显微镜，显微镜设置有相机(即成像装置)，显微镜的光源采用可编程的LED阵列，LED阵列的规模为32X32，LED阵列的相邻两个LED之间的距离为4mm，LED阵列与载物台之间的距离一般选择6～12cm，本例中选择8cm。该FPM平台主要是基于显微镜，相比于传统显微镜，在光源位置放置了一个可编程LED阵列来代替原有的光源。

在一些实施例中，基于非线性优化的FPM算法的图像超分辨率重建方法包括以下步骤：

(1)用FPM平台采集不同角度的光照下的低分辨率图像I_i(x,y)：

利用计算机控制LED阵列的发光和相机的图像采集：

i.首先校准LED的位置，确定采集过程中相机的曝光时间。一种较佳方法如下：

①确定样本正下方的LED(即中心LED)的位置：固定一个曝光时间，LED阵列上的LED灯逐点发光，用相机采集每一张图像，计算图像的亮度分布，估计中心LED的位置。

②确定成像装置的曝光时间：主要的原则是曝光时间尽可能选择长的，但是一定保证采集到的图像不存在过曝光的现象。

ⅱ.采集低分辨率图像：用计算机控制LED阵列中LED灯逐点发光，同时相机选取对应的曝光时间来采集图像。

(2)数学模型

FPM算法是基于一个假设：不同角度的光照下所得到的图像其实是正射下的图像在频域(即傅里叶域)进行偏移得到的。基于该假设，可以得到图像间存在的关系：

$g(x,y)e^{j2\mathrm{\π}(\frac{u_{0}x}{M}+\frac{v_{0}y}{N})}\⇔G(u-u_0,v-v_0)$

其中，g(x,y)表示空间域的图像，G(u,v)表示傅里叶域的图像，(本文中定义小写字母g表示空间域的结果，大写字母G表示傅里叶域的结果)，M、N表示图像的尺寸，u₀、v₀表示偏移量。图像的傅里叶变换满足二维离散傅里叶变换：

$\begin{array}{c}G(u,v)=F\left\{g(x,y)\right\}\\ =\underset{x=0}{\overset{M-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}g(x,y)e^{-j2\mathrm{\π}(\frac{ux}{M}+\frac{vy}{N})}\end{array}$

图像的傅里叶逆变换则满足二维离散傅里叶逆变换：

$\begin{array}{c}g(x,y)=F^{-1}\left\{G(u,v)\right\}\\ =\underset{u=0}{\overset{M-1}{\Σ}}\underset{v=0}{\overset{N-1}{\Σ}}G(u,v)e^{j2\mathrm{\π}(\frac{ux}{M}+\frac{vy}{N})}\end{array}$

假设对于重建的图像的估计为H(u,v)，则对于每一张采集到的低分辨率图像I_i(x,y)，可以建议以下约束：

${\mathrm{\ϵ}}_i=\underset{x,y}{\Σ}\{{\[{\left|F_i(x,y)\right|}^2+\mathrm{\δ}\]}^{\mathrm{\γ}}-{\[I_i(x,y)+\mathrm{\δ}\]}^{\mathrm{\γ}}\}$

其中(x,y)表示空间域的坐标，(u,v)表示频域的坐标，H(u,v)为图像频谱的重建结果，C_i为提取矩阵，即从M×N(恢复结果)的矩阵中提取m×n(采集图像)的矩阵。是矩阵C_i的转置，ε_i表示重建的图像和采集的第i个低分辨率图像之间的偏差，δ为一个大于0小于10^-10的常数(本例中取值为10^-20)，γ是一个实常数。

基于上述约束，可以根据非线性优化方法求解最优问题的优化问题，也即定义图像频谱的重建结果H(u,v)和采集的第i个低分辨率图像之间的总偏差为：

${\mathrm{\ϵ}}^2=\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\ϵ}}_i^2=\underset{i=1}{\overset{L}{\Σ}}\underset{x,y}{\Σ}{\{{\[{\left|F_i(x,y)\right|}^2+\mathrm{\δ}\]}^{\mathrm{\γ}}-{\[I_i(x,y)+\mathrm{\δ}\]}^{\mathrm{\γ}}\}}^2$

其中，L表示被使用的LED灯的数量；

(3)求解数学模型：

通过对总偏差求导，可以得到相对应的梯度值，利用梯度下降算法，通过迭代的方法求解得到使得总偏差最小的H(u,v)(即最终重建的高分辨图像)。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于非线性优化的FPM算法的图像超分辨率重建方法，其特征在于，包括以下步骤：

(1)控制LED阵列中LED灯逐点发光产生不同角度的光照，FPM平台选择当前LED对应的曝光时间采集不同角度的光照下的低分辨率图像I_i(x,y)；

(2)基于不同角度的光照下所得到的图像其实是正射下的图像在频域进行偏移得到的特点，对采集到的所述低分辨率图像I_i(x,y)建立约束：

${\mathrm{\ϵ}}_i=\underset{x,y}{\Σ}\{{\[|F_i(x,y){|}^2+\mathrm{\δ}\]}^{\mathrm{\γ}}-{\[I_i(x,y)+\mathrm{\δ}\]}^{\mathrm{\γ}}\}$

其中，(x,y)表示空间域的坐标，(u,v)表示频域的坐标，H(u,v)为图像频谱的重建结果，C_i为提取矩阵，是矩阵C_i的转置，ε_i表示重建的图像和采集的第i个低分辨率图像之间的偏差，δ为一个大于0小于10^-10的常数，γ是一个实常数；

基于该约束，定义图像频谱的重建结果H(u,v)和采集的第i个低分辨率图像之间的总偏差：

${\mathrm{\ϵ}}^2=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i^2=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{x,y}{\mathrm{\Σ}}{\{{[{\left|F_i(x,y)\right|}^2+\mathrm{\δ}]}^{\mathrm{\γ}}-{[I_i(x,y)+\mathrm{\δ}]}^{\mathrm{\γ}}\}}^2$

其中，L表示被使用的LED灯的数量；

(3)通过对所述总偏差求导得到相对应的梯度值，利用梯度下降算法，通过迭代的方法求解得到总偏差最小的H(u,v)。

2.根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特征在于，所述FPM平台包括显微镜，所述显微镜设置有成像装置，所述显微镜的光源采用可编程的LED阵列，所述LED阵列的相邻两个LED之间的距离为4mm，所述LED阵列与载物台之间的距离为6～12cm。

3.根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特征在于，采用以下方法确定所述曝光时间：

首先，确定中心LED的位置：固定一个曝光时间，LED阵列上的LED灯逐点发光，用所述FPM平台中的成像装置采集每一张图像，计算图像的亮度分布，估计中心LED的位置，所述中心LED为样本正下方的LED；

然后，确定曝光时间：主要的原则是在保证采集到的图像不存在过曝光的现象的前提下，曝光时间尽可能选择长的。

4.根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特征在于，所述步骤(2)中δ的取值为10^-20。