CN103279933A - 一种基于双层模型的单幅图像超分辨率重建方法 - Google Patents

Abstract

一种基于双层模型的单幅图像超分辨率重建方法，其包括（1）利用L₀梯度最小化方法和HoG算子生成K个训练簇，然后训练它的对应字典对；（2）依据HoG算子，自适应的选取用于测试的低分辨率图像块对应的几何字典对，并求解出低分辨率图像对应的高分辨率纹理细节图像；（3）利用L₀梯度最小化方法求解出用于测试的低分辨率图像对应的高分辨率边缘结构图像；（4）把求解出的高分辨率纹理细节图像加到高分辨率边缘结构图像上得到初始高分辨率图像；（5）对初始高分辨率图像进行全局和局部约束得到最终高分辨率图像。本发明可以使得重建后的图像轮廓更清晰，细节信息更丰富，提高重建后的图像质量。

Description

一种基于双层模型的单幅图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种图像的超分辨重建方法，可用于各类自然图像的超分辨重建。

背景技术

图像的超分辨率重建可以看作是从一幅或者多幅低分辨率图像恢复出一幅高分辨率图像的一个逆问题，在视频监控、医学成像、卫星遥感遥测、军事侦察与定位、高清电视成像等方面应用广泛。目前国内外学者为了解决图像超分辨率重建这一逆问题，做了大量的研究工作，提出了许多经典的算法，主要可分为三个范畴：基于插值、基于重建和基于学习的方法，基于插值和重建的方法会在图像重建过程中产生振铃、块效应以及图像过度平滑现象，并且在放大倍数较大情况下重构出的图像质量下降较严重；因此，Freeman等提出了一种基于学习的重构方法，主要通过使用Markov网络对图像的空间关系进行建模。而后Chang等提出了基于邻域嵌入的图像超分辨率重建方法，其假定了高分辨率和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形。但是这种方法获得的高分辨率图像缺乏细节信息，图像边缘比较模糊；此后，Yang等提出了使用稀疏表示方法来实现超分辨率重建，首先收集训练库（高-低分辨率图像），然后训练一个普通的字典对（高-低分辨率字典），接着利用这对字典来重建给定的低分辨图像。此方法对于图像中的不同成分如边缘和纹理都采用相同的处理，易导致重建出的图像在细节和边缘处趋于模糊。

发明内容

本发明的目的是提出一种基于双层模型的单幅图像超分辨率重建方法，以在图像超分辨率重建过程中，有效解决以上技术存在的缺陷，恢复更多的图像细节信息，提高重建图像的质量。

为实现上述目的，本发明所采用的技术方案如下：

一种基于双层模型的单幅图像超分辨率重建方法，包括

1、利用L₀梯度最小化方法和HoG算子来获取训练集合，然后训练这些集合的对应字典对{(D¹ _l，D¹ _T),(D² _l，D² _T),...(D^K _l，D^K _T)}；

2、依据用于测试的低分辨率图像块和用于训练的低分辨率图像块的方向梯度直方图信息，自适应的选取用于测试的低分辨率图像块对应的几何字典对(Dⁱ _l，Dⁱ _T)，然后求解出测试低分辨率图像对应的高分辨率纹理细节图像；

3、利用L₀梯度最小化方法求解出用于测试的低分辨率图像的高分辨率边缘结构图像；

4、把高分辨率纹理细节图像加到高分辨率边缘结构图像上得到初始高分辨率图像；

5、对4得出的初始高分辨率图像进行全局和局部约束得到最终高分辨率图像。

具体的方法步骤如下：

（1）从BSDS300高分辨图像库（全名：The Berkeley Segmentation Data Set 300。来自于：Berkeley University of California。用途：被用于图像分割，识别，分类，以及图像重建的训练库和测试库。链接：http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/）中随机选取n幅作为训练图像X₁,X₂,…X_n，然后运用退化模型式（1）生成对应的低分辨率训练图像Y₁,Y₂,…Y_n。

Y=UBX   (1)

其中，向量X表示高分辨率图像，向量Y表示对应的低分辨率图像，矩阵U表示下采样算子,矩阵B表示模糊算子；

（2）生成高分辨率边缘结构图像

然后执行X_i与的相减操作，生成高分辨率纹理细节图像

过程如下：

（2a）获取高分辨率边缘结构图像的目标函数：

$\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+\mathrm{\βC}\left(X\right)---\left(3\right)$

其中，式（3）中第一项定义为保真项，式（3）中第二项表示对待求高分辨率图像进行梯度最小化约束，即 $C\left(X\right)=\#\left\{p\right|\left|{\∂}_x{X}_p\right|+\left|{\∂}_y{X}_p\right|\≠0\}$

和

表示在像素p点的水平和垂直方向的梯度，#表示计数，β是平衡参数，作用是最大程度上保持处理前后的图像具有相似的结构；

（2b）通过引入辅助变量h_p、v_p，（2a）中目标函数式（3）被转换为：

$\underset{X,h,v}{\min }\{\underset{p}{\mathrm{\Σ}}{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+\mathrm{\βC}(h,v)+\mathrm{\γ}({({\∂}_{x}X-h_p)}^2+{({\∂}_{y}X-v_p)}^2)\}---\left(4\right)$

其中，

γ是自适应参数，作用是控制变量(h_p,v_p)和其对应梯度

之间的相似性；

（2c）对（2b）中的目标函数式（4）进行如下方法求解，①固定（h，v），用梯度下降法求解X，②固定X，用梯度下降法求解（h，v）,经过若干次迭代，最后生成高分辨率边缘结构图像；

（2d）执行对应的高分辨率图像与（2c）中生成的高分辨率边缘结构图像相减操作，生成高分辨率纹理细节图像。

（3）对所有的低分辨率训练图像Y_i执行尺寸为3×3的分块操作，随机选取P个低分辨率图像块，并以向量y_i来表示。不失一般性，用矩阵 $\mathrm{matrix}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$ 表示尺寸为3×3的块，其向量表示为[1 2 3 4 5 6 7 8 9]^T。并获取对应的尺寸为3s×3s高分辨率纹理细节图像块，并以向量

来表示，最后聚集它们生成P个训练对，其中，P经验的选取范围在8-10万块间，s表示重建倍数。

（4）计算训练对

中y_i的方向梯度直方图（HoG），然后依据y_i的HoG中的方向值，用K-means算法对训练对

进行分簇，得到K个簇C₁，C₂，...C_K，其中C_K表示第K个簇中具有相同方向值的训练对集合K，k表示在第K簇中训练对的数目。

（5）用式（4）训练K个簇C₁，C₂，...C_K的字典对(Dⁱ _l，Dⁱ _T)，得到K个字典对{(D¹ _l，D¹ _T),(D² _l，D² _T),...(D^K _l，D^K _T)}；

$\arg \underset{D_l^i{D}_T^s,S}{\min }{\left|\right|X^i-D^{i}S\left|\right|}_2^2+\mathrm{\λ}{\left|\right|S\left|\right|}_1---\left(2\right)$

其中， $X^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{x}_T^i\\ \frac{1}{\sqrt{M}}{y}^i\end{array}\right],$ $D^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{D}_T^i\\ \frac{1}{\sqrt{M}}{D}_l^i\end{array}\right],$ 表示第i个簇中所有x_T集合，yⁱ表示第i个簇中所有y集合，λ为正则化参数，N和M为

和y_k中像素的数目，S为稀疏系数。

（6）对于一幅用于测试的尺寸为H×L的低分辨率图像Z，将Z分成尺寸为3×3的块，并以向量Z_i来表示，块与块之间重叠2个像素；

（7）对所有Z_i进行以下遍历操作：首先，任取一个Z_i，计算Z_i与C₁，C₂，...C_K的簇中心距离：d₁，d₂，...，d_K,提取最小的d_i对应簇的字典对(Dⁱ _l，Dⁱ _T)，然后，利用式（2）求解出对应的高分辨率纹理细节图像块

；

（8）拼接由步骤（7）求出的所有的高分辨率纹理细节图像块

，组成初始的高分辨率纹理细节图像X_T；

（9）用L₀梯度最小化方法求解测试图像Z的高分辨率边缘结构图像X_E；

（10）获取Z的初始高分辨率图像X⁰（X⁰=X_E+X_T）,然后对X⁰执行式（5）全局和局部的约束，得到最终的高分辨率重建图像X^*，过程如下：

（10a）全局和局部的目标函数为：

$X^{*}=\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+{\mathrm{\α}}_1{\left|\right|X-X^0\left|\right|}_2^2+{\mathrm{\α}}_2{\left|\right|(I-A)X\left|\right|}_2^2---\left(5\right)$

其中，式（5）中第一项表示保真项，第二项表示全局约束，第三项是局部约束，式中 $A(i,j)=\left\{\begin{array}{cc}{\mathrm{\ω}}_{\mathrm{ij}},& j\∈N\left(x_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right.,$ $w_{\mathrm{ij}}=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{{(x_i-x_j)}^T{C}_i(x_i-x_j)}{{2h}^2}\},$ N(x_j)是邻域操作符，h是相似参数，I是单位矩阵，C_i表示由水平和垂直方向梯度组成的协方差矩阵，α₁，α₂是平衡参数，作用是平衡全局和局部的约束；

（10b）对（10a）中的目标函数式（5）的用梯度下降法求解：

X_t+1=X_t+ψ[B^TU^T(Y-UBX_t)-α₁(X_t-X⁰)-α₂(I-A)^T(I-A)X_t]   （6）

其中，T为转置操作符，t为迭代次数，ψ为迭代步长；

（10c）设置门限ε，经过若干次的迭代，X^*=X_t+1即为最终所求的高分辨率图像。

本发明与现有的技术相比具有以下优点：

本发明分别从边缘结构和纹理细节层进行图像重建，并对合成的图像进行全局和局部约束优化，使得重建后的图像边缘更加清晰，有效抑制了边缘附近的振铃现象，同时细节纹理信息能够得到较好的保持。

实验证明，本发明适用于各种低分辨率自然图像的超分辨率重建，使得重建后的图像轮廓更加清晰，细节信息更加丰富，提高了重建后的图像质量。

附图说明

图1是本发明方法的原理框图；

图2是本发明所用的训练图像（均来自于BSDS300高分辨图像库,并被灰度化处理）；

图3是本发明所用的5幅低分辨率测试图像（均来自于BSDS300高分辨图像库,并被灰度化处理），依次为：Lena、Peppers、Head、Boats、Butterfly；

图4是本发明和其他各种方法对测试Lena图像的重建效果图；

图5是本发明和其他各种方法对测试Peppers图像的重建效果图；

图6是本发明和其他各种方法对测试Head图像的重建效果图；

图7是本发明和其他各种方法对测试Boats图像的重建效果图；

图8是本发明和其他各种方法对测试Butterfly图像的重建效果图。

具体实施方式

参照附图1右半部分，本发明的具体步骤包括：

步骤1.对训练图像进行L₀梯度最小化处理与分块操作

（1a）从BSDS300高分辨图像库中随机选取n幅作为训练图像X₁,X₂,…X_n，然后运用退化模型式（1）生成对应的低分辨率训练图像Y₁,Y₂,…Y_n；

Y=UBX   (1)

其中，向量X表示高分辨率图像，向量Y表示对应的低分辨率图像，矩阵U表示下采样算子,矩阵B表示模糊算子；

（1b）对所有低分辨率训练图像Y_i进行式（3）L₀梯度最小化操作，生成高分辨率边缘结构图像X_Ei，然后执行X_i与X_Ei的相减操作，生成高分辨率纹理细节图像X_Ti。

$\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+\mathrm{\βC}\left(X\right)---\left(3\right)$

其中，式（3）中第一项定义为保真项，式（3）中第二项表示对待求高分辨率图像进行梯度最小化约束，即 $C\left(X\right)=\#\left\{p\right|\left|{\∂}_x{X}_p\right|+\left|{\∂}_y{X}_p\right|\≠0\}$ ，

和

表示在像素p点的水平和垂直方向的梯度，#表示计数，β是平衡参数，作用是最大程度上保持处理前后的图像具有相似的结构；

（1c）对所有的低分辨率训练图像Y_i进行尺寸为3×3分块，随机选取P个低分辨率图像块y_i，并以向量y_i来表示。不失一般性，用矩阵 $\mathrm{matrix}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$ 表示尺寸为3×3的块，其向量表示为[1 2 3 4 5 6 7 8 9]^T。并获取对应的尺寸为3s×3s高分辨率纹理细节图像,并以向量

来表示，最后聚集它们，生成P个训练对

其中，P经验的选取为9万块，s=3表示重建倍数；

步骤2.对训练库中得的纹理细节图像块与低分辨率图像块进行联合分类

（2a）计算训练对

中y_i的方向梯度直方图（HoG），然后依据y_i的HoG中的方向值，用K-means算法对训练对

进行分簇，得到K=35个簇C₁，C₂，...C_K，其中C_K表示第K个簇中具有相同方向值的块对集合

k=512表示第K个簇中对的数目；

步骤3.对训练库中的纹理细节图像块与低分辨率图像块进行联合字典的训练

（3a）用式（2）训练K个簇C₁，C₂，...C_K的字典对(Dⁱ _l，Dⁱ _T)，得到K个字典对{(D¹ _l，D¹ _T),(D² _l，D² _T),...(D^K _l，D^K _T)}；

$\arg \underset{D_l^i,D_T^i,S}{\min }{\left|\right|X^i-D^{i}S\left|\right|}_2^2+\mathrm{\λ}{\left|\right|S\left|\right|}_1---\left(2\right)$

其中， $X^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{x}_T^i\\ \frac{1}{\sqrt{M}}{y}^i\end{array}\right],$ $D^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{D}_T^i\\ \frac{1}{\sqrt{M}}{D}_l^i\end{array}\right],$

表示第i个簇中所有x_T集合，yⁱ表示第i个簇中所有y集合，λ为正则化参数，N和M为

和y_k中像素的数目，S为稀疏系数；

步骤4.输入低分辨率图像Z，得到初始高分辨率重构图像X⁰。

参照附图1左半部分，本步骤的具体实现如下：

（4a)输入一幅用于测试的尺寸为H×L（高×宽）的低分辨率图像Z，将Z分成尺寸为3×3的块，并以向量Z_i来表示，块与块之间重叠2个像素；

（4b）对所有Z_i进行以下遍历操作：首先任取一个Z_i，计算Z_i与步骤2.（2a）中得到K个簇的中心距离：d₁，d₂，...，d_K，取最小的d_i对应簇的字典对(Dⁱ _l，Dⁱ _T)，然后，利用式（2）求解出对应的高分辨率纹理细节图像块

；

（4c）拼接由步骤（4b）求出的所有的高分辨率纹理细节图像块，组成初始的高分辨率纹理细节图像X_T；

（4d）用式（3）和式（4）求解测试图像Z的高分辨率边缘结构图像X_E；

（4e）获取Z的初始高分辨率图像X⁰（X⁰=X_E+X_T）。

步骤5.对初始高分辨率重构图像X⁰执行全局和局部约束

（5a）利用式（5）和式（6）对X₀执行全局和局部的约束，得到最终的高分辨率重建图像X^*。

$X^{*}=\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+{\mathrm{\α}}_1{\left|\right|X-X^0\left|\right|}_2^2+{\mathrm{\α}}_2{\left|\right|(I-A)A\left|\right|}_2^2---\left(5\right)$

其中，式（5）中第一项表示保真项，第二项表示全局约束，第三项是局部约束，式中 $(i,j)=\left\{\begin{array}{cc}{\mathrm{\ω}}_{\mathrm{ij}},& j\∈N\left(x_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right.,$ $w_{\mathrm{ij}}=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{{(x_i-x_j)}^T{C}_i(x_i-x_j)}{2h^2}\},$ N（x_j)是邻域操作符，h是相似参数，I是单位矩阵，C_i表示由水平和垂直方向梯度组成的协方差矩阵，α₁，α₂是平衡参数，作用是平衡全局和局部的约束；

（5b）对（5a）中式（5）用梯度下降法求解如下：

X_t+1=X_t+ψ[B^TU^T(Y-UBX_t)-α₁(X_t-X⁰)-α₂(I-A)^T(I-A)X_t]   （6）

其中，T为转置操作符，t为迭代次数，ψ为迭代步长；

（5c）设置门限ε，经过若干次的迭代，X^*=X_t+1即为最终所求的高分辨率图像。

本发明的效果可以通过以下实验进一步说明：

（1）实验条件

本实验采用标准测试图像（均来自于BSDS300高分辨图像库,并被灰度化处理）Lena、Peppers、Head、Boats、Butterfly作为实验数据，采用软件MATLAB7.0作为仿真工具，计算机配置为Intel(R)Core(TM)i3-2100CPU3.10GHz。

（2）实验内容

分别利用Bicubic插值算法、NE算法、YangSR算法、基于全局优化的本发明算法、基于全局和局部优化的本发明算法，对各类输入测试图像进行3倍放大超分辨率重建：

第一幅测试：对Lena图像进行超分辨率重建，结果如图4所示，图4中的图像经过缩小处理，左下角为截取的局部原始图像，其中图4(a)为Bicubic插值算法重建结果、其中图4(b)为NE算法重建结果、其中图4(c)为YangSR算法重建结果、其中图4(d)为基于全局优化的本发明算法重建结果、其中图4(e)为基于全局和局部优化的本发明算法重建结果、其中图4(f)为原始的高分辨率图像；

第二幅测试：对Peppers图像进行超分辨率重建，结果如图5所示，图5中的图像经过缩小处理，左下角为截取的局部原始图像，其中图5(a)为Bicubic插值算法重建结果、其中图5(b)为NE算法重建结果、其中图5(c)为YangSR算法重建结果、其中图5(d)为基于全局优化的本发明算法重建结果、其中图5(e)为基于全局和局部优化的本发明算法重建结果、其中图5(f)为原始的高分辨率图像；

第三幅测试：对Head图像进行超分辨率重建，结果如图6所示，图6中的图像经过缩小处理，左下角为截取的局部原始图像，其中图6(a)为Bicubic插值算法重建结果、其中图6(b)为NE算法重建结果、其中图6(c)为YangSR算法重建结果、其中图6(d)为基于全局优化的本发明算法重建结果、其中图6(e)为基于全局和局部优化的本发明算法重建结果、其中图6(f)为原始的高分辨率图像；

第四幅测试：对Boats图像进行超分辨率重建，结果如图7所示，图7中的图像经过缩小处理，左下角为截取的局部原始图像，其中图7(a)为Bicubic插值算法重建结果、其中图7(b)为NE算法重建结果、其中图7(c)为YangSR算法重建结果、其中图7(d)为基于全局优化的本发明算法重建结果、其中图7(e)为基于全局和局部优化的本发明算法重建结果、其中图7(f)为原始的高分辨率图像；

第五幅测试：对Butterfly图像进行超分辨率重建，结果如图8所示，图8中的图像经过缩小处理，左下角为截取的局部原始图像，其中图8(a)为Bicubic插值算法重建结果、其中图8(b)为NE算法重建结果、其中图8(c)为YangSR算法重建结果、其中图8(d)为基于全局优化的本发明算法重建结果、其中图8(e)为基于全局和局部优化的本发明算法重建结果、其中图8(f)为原始的高分辨率图像；

（3）实验结果分析

从图4、图5、图6、图7、图8可以看出，利用基于Bicubic插值算法、基于NE算法、基于YangSR算法得到的重建结果过于平滑，细节信息缺失，图像较模糊；而利用基于全局优化的本发明算法、基于全局和局部优化的本发明算法得到的重建结果较前三种算法视觉效果较好，但是基于全局优化的本发明算法较基于全局和局部优化的本发明算法在边缘处引入了较大的振铃，基于全局和局部优化的本发明算法能够获得较理想的重建结果。

Claims (3)

1.一种基于双层模型的单幅图像超分辨率重建方法，所述方法包括以下步骤：

（1）从高分辨图像库中随机选取n幅作为训练图像X₁,X₂,…X_n，然后运用退化模型式（1）生成对应的低分辨率训练图像Y₁,Y₂,…Y_n；

Y=UBX   (1)

其中，向量X表示高分辨率图像，向量Y表示对应的低分辨率图像，矩阵U表示下采样算子,矩阵B表示模糊算子；

（2）对所有低分辨率训练图像Y_i进行L₀梯度最小化操作，生成高分辨率边缘结构图像

，然后执行X_i与

的相减操作，生成高分辨率纹理细节图像

；

（3）对所有的低分辨率训练图像Y_i执行尺寸为3×3的分块操作，随机选取P个低分辨率图像块，并以向量y_i来表示，不失一般性，用矩阵 $\mathrm{matrix}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$ 表示尺寸为3×3的块，其向量表示为[1 2 3 4 5 6 7 8 9]^T，并获取对应的尺寸为3s×3s高分辨率纹理细节图像块,并以向量

来表示，最后聚集它们，生成P个训练对

其中，P经验的选取范围在8-10万块间，s表示重建倍数；

（4）计算训练对

中y_i的方向梯度直方图（HoG），然后依据y_i的HoG中的方向值，用K-means算法对训练对

进行分簇，得到K个簇C₁，C₂，...C_K，其中C_K表示第K个簇中具有相同方向值的训练对集合

k表示在第K簇中训练对的数目；

（5）用式（2）训练K个簇C₁，C₂，...C_K的字典对(Dⁱ _l，Dⁱ _T)，得到K个字典对{(D¹ _l，D¹ _T),(D² _l，D² _T),...(D^K _l，D^K _T)}；

$\arg \underset{D_l^i{D}_T^s,S}{\min }{\left|\right|X^i-D^{i}S\left|\right|}_2^2+\mathrm{\λ}{\left|\right|S\left|\right|}_1---\left(2\right)$

其中， $X^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{x}_T^i\\ \frac{1}{\sqrt{M}}{y}^i\end{array}\right],$ $D^i=\left[\begin{array}{c}\frac{1}{\sqrt{N}}{D}_T^i\\ \frac{1}{\sqrt{M}}{D}_l^i\end{array}\right],$ 表示第i个簇中所有xT集合，yⁱ表示第i个簇中所有y集合，λ为正则化参数，N和M为

和y_k中像素的数目，S为稀疏系数；

（6）对于一幅用于测试的尺寸为H×L（高×宽）的低分辨率图像Z，将Z分成尺寸为3×3的块，并以向量Z_i来表示，块与块之间重叠2个像素；

（7）对所有Z_i进行以下遍历操作：首先，任取一个Z_i，计算Z_i与C₁，C₂，...C_K的簇中心距离：d₁，d₂，...，d_K,提取最小的d_i对应簇的字典对(Dⁱ _l，Dⁱ _T)，然后，利用式（2）求解出对应的高分辨率纹理细节图像块

；

（8）拼接由步骤（7）求出的所有高分辨率纹理细节图像块

，组成初始的高分辨率纹理细节图像X_T；

（9）用L₀梯度最小化方法求解测试图像Z的高分辨率边缘结构图像X_E；

（10）获取Z的初始高分辨率图像X⁰（X⁰=X_E+X_T）,然后对X⁰执行全局和局部的约束，得到最终的高分辨率重建图像X^*。

2.根据权利要求1所述的基于双层模型的单幅图像超分辨率重建方法，其特点在于步骤（2）中利用L₀梯度最小化方法来获取高分辨率边缘结构图像和高分辨率纹理细节图像，过程如下：

（2a）获取高分辨率边缘结构图像的目标函数：

$\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+\mathrm{\βC}\left(X\right)---\left(3\right)$

其中，式（3）中第一项定义为保真项，式（3）中第二项表示对待求高分辨率图像进行梯度最小化约束，即 $C\left(X\right)=\#\left\{p\right|\left|{\∂}_x{X}_p\right||+|{\∂}_y{X}_p|\≠0\},$ 和

表示在像素p点的水平和垂直方向的梯度，#表示计数，β是平衡参数，作用是最大程度上保持处理前后的图像具有相似的结构；

（2b）通过引入辅助变量h_p、v_p，（2a）中目标函数式（3）被转换为：

$\underset{X,h,v}{\min }\{\underset{p}{\mathrm{\Σ}}{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+\mathrm{\βC}(h,v)+\mathrm{\γ}({({\∂}_{x}X-h_p)}^2+{({\∂}_{y}X-v_p)}^2)\}---\left(4\right)$

其中，γ是自适应参数，作用是控制变量(h_p,v_p)和其对应梯度之间的相似性；

（2c）对（2b）中的目标函数式（4）进行如下方法求解，①固定（h，v），用梯度下降法求解X，②固定X，用梯度下降法求解（h，v）,经过若干次迭代，最后生成高分辨率边缘结构图像；

（2d）执行高分辨率图像与（2c）中生成的高分辨率边缘结构图像相减操作，得到高分辨率纹理细节图像。

3.如权利要求1所述的基于双层模型的单幅图像超分辨率重建方法，其特点在于步骤（10）中利用全局和局部的约束得到最终的高分辨率图像，过程如下：

（10a）全局和局部的目标函数为：

$X^{*}=\arg \underset{X}{\min }{\left|\right|Y-\mathrm{UBX}\left|\right|}_2^2+{\mathrm{\α}}_1{\left|\right|X-X^0\left|\right|}_2^2+{\mathrm{\α}}_2{\left|\right|(I-A)A\left|\right|}_2^2---\left(5\right)$

其中，式（5）中第一项表示保真项，第二项表示全局约束，第三项是局部约束，式中 $A(i,j)=\left\{\begin{array}{cc}{\mathrm{\ω}}_{\mathrm{ij}},& j\∈N\left(x_i\right)\\ 0,& \mathrm{otherwise}\end{array}\right.,$ $w_{\mathrm{ij}}=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{{(x_i-x_j)}^T{C}_i(x_i-x_j)}{{2h}^2}\},$ N(x_j)是邻域操作符，h是相似参数，I是单位矩阵，C_i表示由水平和垂直方向梯度组成的协方差矩阵，α₁，α₂是平衡参数，作用是平衡全局和局部的约束；

（10b）对（10a）中的式（5）用梯度下降法求解如下：

X_t+1=X_t+ψ[B^TU^T(Y-UBX_t)-α₁(X_t-X⁰)-α₂(I-A)^T(I-A)X_t]   （6）

其中，T为转置操作符，t为迭代次数，ψ为迭代步长；

（10c）设置门限ε，经过若干次的迭代，X^*=X_t+1即为最终所求的高分辨率图像。

Images