CN103136728B - 基于字典学习和非局部总变差的图像超分辨方法 - Google Patents

Abstract

本发明公开一种基于字典学习和非局部总变差的图像超分辨方法，主要解决现有超分辨方法的振铃效应、高频信息丢失、边界匹配不准确等问题。其实现步骤为：(1)输入图像训练集；(2)利用KSVD算法训练两个相对应的高分辨字典与低分辨字典；(3)稀疏表示低分辨输入图像，求出稀疏系数；(4)利用所求的稀疏系数和高分辨字典重构获得高分辨图像；(5)对重构得到的高分辨图像进行非局部总变差去振铃效应；(5)通过误差补偿对高分辨图像进行高频信息增强，得到最终的结果。经仿真实验表明，与现有技术比较，本发明具有操作简单，噪声小，边缘清晰等优点，可用于高分辨率图像的获取。

Description

基于字典学习和非局部总变差的图像超分辨方法

技术领域

本发明属于图像处理技术领域，涉及一种图像超分辨方法，尤其是基于字典学习和非局部总变差的图像超分辨方法，可用于提高自然图像的分辨率。

背景技术

图像分辨率是衡量图像质量的一个重要指标。随着电荷耦合元件和互补金属氧化物半导体图像传感器的发明，人们在获取图像的质量上了取得了一定的进步，但是图像传感器在采集图像的时候，容易受到模糊、欠采样、噪声等各种因素的影响，因此图像质量很难进一步提高。人们希望从硬件方面通过改善图像传感器来获取高分辨率的图像，然而该方法的成本过于昂贵，难以推广。因此有人提出了用图像超分辨方法以提高获取的图像分辨率。

图像超分辨是通过一幅或多幅低分辨图像生成相应高分辨图像的技术，传统的图像超分辨可以分为三类：“基于插值”、“基于重建”、“基于学习”。基于插值的图像超分辨由于高频信息的缺失，导致高分辨图像过平滑现象的出现，基于重建的图像超分辨由于人为强加的图像先验，导致高分辨图像边界振铃效应的产生，并且在高放大因子条件下重构图像的质量下降比较严重。这些图像超分辨方法虽然存在过平滑、振铃效应等缺陷，但在技术上取得了一定突破，已经趋于成熟并在电子图像、互联网视频、数字电视等多个领域获得广泛应用。

近年来，随着机器学习和压缩感知理论的不断发展，“基于学习”的图像超分辨方法逐渐被提出。如Freeman等人提出了一种基于学习的图像超分辨方法，其方法是通过马尔科夫随机场和先验知识来学习低分辨率图像和高分辨率图像之间的关系，然后重构出高分辨图像，但这种方法不能很好地保持高分辨图像的边界信息，计算复杂度较大，效率偏低。

美国伊利诺伊大学Yang等人在文献基于无序图像块稀疏表示的图像超分辨方法(Image super-resolution as sparse representation of raw image patches)中，提出利用基于字典学习和稀疏表示理论实现单帧图像的图像超分辨，该方法中由于稀疏表示过分依赖构造的过完备字典以及其字典学习算法的缺陷，导致获得的高分辨图像边缘产生振铃效应、高分辨图像的边缘和纹理不够清晰甚至和真实的边缘纹理相矛盾、高频信息丢失等问题。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于字典学习和非局部总变差的图像超分辨方法，使获得的高分辨图像边缘纹理清晰，降低图像边缘的振铃效应。

实现本发明目的的技术原理是：引入图像训练集，利用KSVD算法训练一个高分辨字典D_h和一个低分辨字典D_l；利用稀疏表示理论对低分辨图像进行稀疏表示，求得稀疏系数α；利用稀疏系数α和高分辨字典D_h重构高分辨图像；然后通过非局部总变差去振铃效应；最后通过残差补偿对图像进行高频信息增强，并最终得到高分辨输出图像。其具体步骤包括如下：

步骤1、训练字典

输入一个图像训练集，在该图像训练集中提取n对图像块，80000＜n＜120000，利用KSVD算法，求解训练一个高分辨字典D_h和一个低分辨字典D_l，训练公式如下：

$\underset{[D_h,D_l,Z]}{\min }\frac{1}{M}\left\{{\left|\right|X^h-D_{h}Z\left|\right|}_2^2\right\}+\frac{1}{N}\left\{{\left|\right|X^l-D_{l}Z\left|\right|}_2^2\right\}s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ}---\left(1\right)$

其中，X^h代表高分辨图像块矩阵，X^l表示低分辨图像块矩阵，Z表示稀疏系数，z_i表示稀疏系数的第i列，M和N分别表示高分辨和低分辨图像块矩阵维数的矢量形式；

步骤2、稀疏表示低分辨输入图像，求得稀疏系数α

输入单帧低分辨图像Y^l，使用步骤1中训练得到的低分辨字典D_l，利用公式对该低分辨图像在低分辨字典中进行稀疏表示，求得稀疏系数α，上式中，L表示特征提取算子，用来约束稀疏系数和输入的低分辨图像Y^l的近似度，δ为误差阈值；

步骤3、重构高分辨图像

利用步骤1中训练得到的高分辨字典D_h和步骤2中求得稀疏系数α，重构得到高分辨图像 $Y_0^h=D_h\·\mathrm{\α};$

步骤4、利用非局部总变差去振铃效应

对步骤3中重构得到的高分辨图像Y₀ ^h应用下式进行非局部总变差去振铃效应：

${\left(Y^h\right)}^{k+1}=\arg \min [\mathrm{\μ}\·|d|+\frac{1}{2}{(Y^h-Y_0^h)}^2+\frac{\mathrm{\λ}}{2}{|d-{\▿}_{\mathrm{NL}}{Y}^h-b^k|}^2]---\left(2\right)$

其中，表示梯度，Y^h表示恢复的后的高分辨图像，表示步骤3得到的高分辨图像，λ为一个正常数，为非局部算子，d为Bergman距离辅助变量，b为迭代参数，μ＞0；

步骤5、利用误差补偿，增强高频信息，得到最终高分辨图像

计算高分辨图像Y^h和输入的低分辨图像Y^l之间的误差e；

e＝Y^l-S[(Y^h*g)]               (3)

其中，Y^l表示输入的低分辨图像，Y^h表示经过步骤4去振铃效应的高分辨图像，g为高斯平滑矩阵，S为高斯下采样算子，利用计算得到的误差e，进行高频信息增强，

${\stackrel{\‾}{Y}}^h={\left(Y^h\right)}^{t+1}={\left(Y^h\right)}^t+p\·e{\↑}^d---\left(4\right)$

其中，表示输出的高分辨图像，t表示迭代次数，p表示收敛因子，控制收敛速度，g为高斯平滑矩阵，↑^d表示上采样函数。

本发明与现有技术相比具有以下特点：

1.本发明利用KSVD算法，提取训练图像的特征信息，同时训练高分辨低分辨字典(现有技术通常只训练一个字典)，从而缩短了训练时间，同时缩短了图像重构时间，提高了重构效率；

2.本发明对高分辨图像利用非局部总变差进行去振铃效应，与现有技术相比能得到更高的峰值信噪比(PSNR)、结构相似度(SSIM)、平均结构相似度(MSSIM)，超分辨后图像视觉效果较好；

3.本发明利用误差补偿对重构得到的高分辨图像进行高频信息补偿，进一步增强图像质量；

4.本发明可利用单帧图像实现图像超分辨，所提出的方法具有很好的扩展性，能克服传统超分辨模型对输入图像兼容性不强的问题。

仿真实验结果表明，本发明结合字典学习和非局部总变差以及误差补偿，能获得具有清晰边缘、振铃较小的高分辨图像，是一种鲁棒性良好的图像超分辨方法。

附图说明

图1是本发明的流程图；

图2是本发明仿真试验中使用的(a)、(b)、(c)、(d)四幅原始测试图像；

图3是现有方法和本发明在第一幅测试图像图2(a)上的超分辨视觉效果；

图4是现有方法和本发明在第二幅测试图像图2(b)上的超分辨视觉效果；

图5是现有方法和本发明在第三幅测试图像图2(c)上的超分辨视觉效果；

图6是现有方法和本发明在第四幅测试图像图2(d)上的超分辨视觉效果。

具体实施方式

以下参照附图对本发明的具体实现及效果作进一步详细表述：

参照图1，本发明的具体实施步骤如下：

步骤1、训练字典

(1a)、在一个包含91幅图像的图像训练集中提取10万对大小为8x8的图像块，将10万对图像块分别构造成大小为81x99966的高分辨图像块矩阵X^h和大小为144x99966的低分辨图像块矩阵X^l；

(1b)、利用KSVD算法，求解训练一个高分辨字典D_h和一个低分辨字典D_l，KSVD原始算法公式为 $\underset{[D,Z]}{\min }\left\{{\left|\right|X-\mathrm{DZ}\left|\right|}_2^2\right\}s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ},$ 其中，X表示图像块矩阵，D表示目标训练字典，Z表示字典D对应的稀疏系数，z_i表示稀疏系数的第i列，引入高分辨和低分辨图像块矩阵，对该公式变形得到：

$\underset{[D_h,D_l,Z]}{\min }\frac{1}{M}\left\{{\left|\right|X^h-D_{h}Z\left|\right|}_2^2\right\}+\frac{1}{N}\left\{{\left|\right|X^l-D_{l}Z\left|\right|}_2^2\right\}s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ}---\left(5\right)$

其中，X^h代表高分辨训练图像块，X^l表示低分辨训练图像块，D_h表示高分辨字典，D_l表示低分辨字典，Z表示字典对应的稀疏系数，z_i表示稀疏系数的第i列，M和N分别表示高分辨和低分辨训练图像块的维数的矢量形式；把公式(5)改写为如下形式：

$\underset{[D_h,D_l,Z]}{\min }\left\{{\left|\right|X-\mathrm{DZ}\left|\right|}_2^2\right\}s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ},$

$X={[\frac{1}{\sqrt{M}}{X}^h,\frac{1}{\sqrt{N}}{X}^l]}^T$ $D={[\frac{1}{\sqrt{M}}{D}^h,\frac{1}{\sqrt{N}}{D}^l]}^T---\left(6\right)$

把公式(6)改写成离散项求和的形式， $\underset{[D_h,D_l,Z]}{\min }\left\{\underset{1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|x_i-{\mathrm{Dz}}_i\left|\right|}_2^2\right\},s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ},$ 其中，K为字典D的列数，在仿真实验中，K＝1024；

(1c)、使用高斯随机字典对字典D进行初始化；

(1d)、固定字典D，利用 $\underset{[D_h,D_l,Z]}{\min }\left\{\underset{1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|x_i-{\mathrm{Dz}}_i\left|\right|}_2^2\right\}s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ},$ 式中，i＝1，2...K，求得字典D的任意列稀疏系数z_i的最优近似解；

(1e)、固定步骤(1d)中所得到的稀疏系数z_i，求出稀疏表示误差其中，d_i为字典D的第i列原子，为X的第i行，E_k为不使用D的第k列原子进行稀疏表示所产生的误差，对该误差进行奇异值分解得到E_k＝UΔV^T，其中U为左奇异矩阵，V^T为右奇异矩阵，Δ为奇异值矩阵，用左奇异矩阵U的第一列更新字典D的第k列d_k；

(1f)、设置迭代次数为10次，重复步骤(1d)和(1e)，对字典D中所有的原子进行更新，最终训练得到一个大小为81x1024的高分辨字典D_h和一个大小为144x1024的低分辨字典D_l；

步骤2、稀疏表示低分辨图像，求得稀疏系数α

输入单帧低分辨图像Y^l，对该输入图像利用公式在低分辨字典D_l进行稀疏表示，求得稀疏系数α，其中，α表示稀疏系数，L表示一个特征提取算子，用来提取低分辨输入图像的特征，特征提取算子为一维滤波器组，其表达式为l₁＝[-1，0，1]，l₃＝[1，0，-2，0，1]，δ为误差阈值；

步骤3、重构高分辨图像

结合步骤1中的高分辨字典D_h和步骤2中的稀疏系数α，重构求得高分辨图像Y₀ ^h， $Y_0^h=D_h\·\mathrm{\α};$

步骤4、利用非局部总变差(NLTV)去振铃效应

(4a)、将总变差 $\min \left[\underset{\mathrm{\Ω}}{\∫}\right|\▿Y^h|+\frac{\mathrm{\λ}}{2}{(Y^h-Y_0^h)}^2\mathrm{dx}],$ 引入非局部算子d₁，将上述总变差公式变形为： $\min \left[\underset{\mathrm{\Ω}}{\∫}\right|d_1|+\frac{\mathrm{\λ}}{2}{(Y^h-Y_0^h)}^2]s.t.d_1={\▿}_{\mathrm{NL}}{Y}^h,$ 其中表示梯度，Y^h表示去振铃后的高分辨图像，表示步骤3输出的高分辨图像，λ表示一个正常数，

用来约束优化项(Y^h-Y₀ ^h)²和保真项的相似度，

$d_1={\▿}_{\mathrm{NL}}{Y}^h(x,y)=[Y^h\left(y\right)-Y^h\left(x\right)]\sqrt{w(x,y)},\∀y\∈\mathrm{\Ω},$ w表示非局部权重；再引入辅助变量d和迭代参数b，公式(3)变形为Bergman非局部总变差，公式如下：

${\left(Y^h\right)}^{k+1}=\arg \min [\mathrm{\μ}\·|d_1|+\frac{1}{2}{(Y^h-Y_0^h)}^2+\frac{\mathrm{\λ}}{2}{|d-{\▿}_{\mathrm{NL}}{Y}^h-b^k|}^2]---\left(4\right)$

其中，d为Bergman距离辅助变量，b为迭代参数，

(4b)、初始化非局部总变差中的相关参数，设置μ＝10，λ＝20，b⁰＝d⁰＝0，利用非局部总变差的去振铃平滑作用，使用公式求第k次迭代后的Y^h，得到去振铃效应后的高分辨图像，其中Δ_NL为拉普拉斯算子，div_NL为散度算子；

(4c)、固定Y^h，更新d^k的值， $d^k=\mathrm{shrink}({\▿}_{\mathrm{NL}}{\left(Y^h\right)}^k+b^{k-1},\frac{\mathrm{\μ}}{\mathrm{\λ}});$

所述shrinkage算子参见P.L.Combettes and V.R.Wajs所著文献：基于近邻前向后向分裂的信号恢复(Signal recovery by proximal forward-backward splitting)。

(4d)、重复步骤(4b)和步骤(4c)，最终得到去振铃效应后的高分辨图像Y^h

步骤5、利用误差补偿高频信息，得到最终高分辨图像

(5a)、计算高分辨图像Y^h和输入的低分辨图像Y^l之间的误差e

e＝Y^l-S[(Y^h*g)]               (5)

其中，Y^l表示输入的低分辨图像，Y^h表示经过步骤4去振铃之后的高分辨图像，g为高斯平滑矩阵，S为高斯下采样算子， $g=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right];$

(5b)、利用步骤(5a)中计算得到的误差e，通过误差补偿进行高频信息增强，设置迭代次数t＝20，收敛因子p＝1，并使用Matlab系统中自带的双立方(bicubic)上采样函数，利用如下公式对步骤4中丢失的部分高频信息进行补偿，并得到最终的高分辨输出图像

${\stackrel{\‾}{Y}}^h={\left(Y^h\right)}^{t+1}={\left(Y^h\right)}^t+p\·e{\↑}^d---\left(6\right)$

其中，表示输出的高分辨图像，Y^h表示通过步骤4去振铃后的高分辨图像，Y^l表示低分辨输入图像，t表示迭代次数，p表示收敛因子，控制收敛速度，↑^d表示上采样函数，e为误差。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为Pentium(R)4处理器：主频2.33GHZ，内存2G，操作系统：WINDOWSXP SP3，仿真平台：Matlab2007b平台上进行。

仿真图像选择图2所示的四幅原始测试图像，其中，图(a)为蝴蝶(Butterfly)图像，图(b)为向日葵(Sunflower)图像，图(c)为教堂(Church)图像，图(d)为斑马(Zebra)图像。

2.仿真内容：

仿真实验中，利用本发明方法与现有的双立方方法(Bi-cubic Method)、Qishan方法(Qishan’s Method)和Yang方法(Yang’s Method)在测试图像上进行图像超分辨仿真。

Qishan方法(Qishan’s Method)参见Q.Shan，Z.Li，J.Jia和C.Tang所著文献：快速图像/视频上采样(Fast image/video upsampling)。

Yang方法(Yang’s Method)参见J.Yang，J.Wright，T.Huang和Y.Ma所著文献：基于无序图像块稀疏表示的图像超分辨方法(Image super-resolution as sparserepresentation of raw image patches)。

具体仿真内容如下：

仿真1，利用本发明方法与现有的双立方方法(Bi-cubic Method)、Qishan方法(Qishan’s Method)和Yang方法(Yang’s Method)分别对图2(a)所示的蝴蝶(Butterfly)图像进行超分辨，结果如图3，其中图3(a)是利用双立方方法(Bi-cubic Method)超分辨的结果，图3(b)是利用Qishan方法(Qishan’s Method)超分辨的结果，图3(c)是利用Yang方法(Yang’s Method)超分辨的结果，图3(d)是利用本发明超分辨的结果。

从图3可见，本发明能有效减弱振铃效应，图像边缘纹理清晰，整幅图像视觉效果更加自然，能有效的对低分辨图像进行超分辨；双立方方法(Bi-cubic Method)由于高频信息的缺失，导致高分辨图像过平滑现象的出现，特别是蝴蝶的翅膀纹理模糊，与背景交界处界线不明显；Qishan方法(Qishan’s Method)虽然效果优于双立方方法(Bi-cubic Method)，但是仍然存在上述问题，超分辨结果有待提高；Yang方法(Yang’sMethod)图像纹理较清晰，但是在图像的边缘产生振铃效应，特别是蝴蝶的翅膀与背景交界处，产生了严重的振铃效应，超分辨结果有待提高。

从表1可见，客观评价方面，本发明的PSNR、SSIM、MSSIM值均高于前三种方法，相对于Yang方法(Yang’s Method)，本发明的PSNR、SSIM、MSSIM分别提高1.889dB、0.0065、0.0175。

表1

仿真2，利用本发明方法与现有的双立方方法(Bi-cubic Method)、Qishan方法(Qishan’s Method)和Yang方法(Yang’s Method)分别对图2(b)所示的向日葵(Sunflower)图像进行超分辨，结果如图4，其中图4(a)是利用双立方方法(Bi-cubic Method)超分辨的结果，图4(b)是利用Qishan方法(Qishan’s Method)超分辨的结果，图4(c)是利用Yang方法(Yang’s Method)超分辨的结果，图4(d)是利用本发明超分辨的结果。

从图4可见，本发明方法能把向日葵的花瓣真实、自然的进行超分辨，超分辨后的花瓣边缘清晰，整体效果自然，振铃效应较小，超分辨结果较好；双立方方法(Bi-cubicMethod)的超分辨结果花瓣边缘产生锯齿效应，并且图像出现过平滑现象；Qishan方法(Qishan’s Method)的超分辨结果虽然优于双立方方法(Bi-cubic Method)，但是花瓣边缘仍然出现了锯齿效应和过平滑现象，超分辨结果有待提高；Yang方法(Yang’s Method)超分辨结果花瓣纹理较清晰，边界的高频信息保持较好，但是花瓣边缘产生振铃效应，超分辨结果有待提高。

从表2可见，客观评价方面，本发明的PSNR、SSIM、MSSIM值均高于前三种方法，相对于Yang方法(Yang’s Method)，本发明的PSNR、SSIM、MSSIM分别提高0.923dB、0.0016、0.0105。

表2

仿真3，利用本发明方法与现有的双立方方法(Bi-cubic Method)、Qishan方法(Qishan’s Method)和Yang方法(Yang’s Method)分别对图2(c)所示的教堂(Church)图像进行超分辨，结果如图5，其中图5(a)是利用双立方方法(Bi-cubic Method)超分辨的结果，图5(b)是利用Qishan方法(Qishan’s Method)超分辨的结果，图5(c)是利用Yang方法(Yang’s Method)超分辨的结果，图5(d)是利用本发明超分辨的结果。

从图5可见，本发明方法能有效的对建筑物进行超分辨，超分辨后的建筑物整体自然、边缘明显，振铃效应较小，超分辨结果较好；双立方方法(Bi-cubicMethod)的超分辨结果与天空交界的建筑物边缘产生锯齿效应，并且建筑物出现过平滑现象；Qishan方法(Qishan’s Method)的超分辨结果虽然优于双立方方法(Bi-cubic Method)，但是仍然存在上述问题，超分辨结果有待提高；Yang方法(Yang’s Method)超分辨结果建筑物较清晰，边界明显，但是边缘产生振铃效应，超分辨结果有待提高。

从表3可见，客观评价方面，本发明的PSNR、SSIM、MSSIM值均高于前三种方法，相对于Yang方法(Yang’s Method)，本发明的PSNR、SSIM、MSSIM分别提高1.395dB、0.0034、0.0226。

表3

仿真4，利用本发明方法与现有的双立方方法(Bi-cubic Method)、Qishan方法(Qishan’s Method)和Yang方法(Yang’s Method)分别对图2(d)所示的斑马(Zebra)图像进行超分辨，结果如图6，其中图6(a)是利用双立方方法(Bi-cubicMethod)超分辨的结果，图6(b)是利用Qishan方法(Qishan’s Method)超分辨的结果，图6(c)是利用Yang方法(Yang’s Method)超分辨的结果，图6(d)是利用本发明超分辨的结果。

从图6可见，本发明方法能有效的对斑马进行超分辨，超分辨后的斑马黑白条纹分界清晰、边缘明显，振铃效应较小，超分辨结果较好；双立方方法(Bi-cubic Method)的超分辨结果斑马的黑白条纹分界不明显，斑马整体比较模糊；Qishan方法(Qishan’sMethod)的超分辨结果虽然优于双立方方法(Bi-cubic Method)，但是黑白条纹的边界出现锯齿效应，超分辨结果有待提高；Yang方法(Yang’s Method)超分辨结果斑马黑白条纹边界较明显，但是产生振铃效应，超分辨结果有待提高。

从表4可见，客观评价方面，本发明的PSNR、SSIM、MSSIM值均高于前三种方法，相对于Yang方法(Yang’s Method)，本发明的PSNR、SSIM、MSSIM分别提高1.028dB、0.0031、0.0195。

表4

Claims (2)

1.一种基于字典学习和非局部总变差的图像超分辨方法，其特征在于包括如下步骤：

步骤1.训练字典

输入一个图像训练集，在该图像训练集中提取n对图像块，80000＜n＜120000，利用KSVD算法，求解训练一个高分辨字典D_h和一个低分辨字典D_l，训练公式如下：

$\underset{[D_h,D_l,Z]}{\min }\frac{1}{M}\left\{{\left|\right|X^h-D_{h}Z\left|\right|}_2^2\right\}+\frac{1}{N}\left\{{\left|\right|X^l-D_{l}Z\left|\right|}_2^2\right\},s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ}---\left(1\right)$

其中，X^h代表高分辨图像块矩阵，X^l表示低分辨图像块矩阵，Z表示稀疏系数，z_i表示稀疏系数的第i列，M和N分别表示高分辨和低分辨图像块矩阵维数的矢量形式，ε为稀疏度控制系数；

步骤2.稀疏表示低分辨输入图像，求得稀疏系数α

输入单帧低分辨图像Y^l，使用步骤1中训练得到的低分辨字典D_l，利用公式对该低分辨图像在低分辨字典中进行稀疏表示，求得稀疏系数α，上式中，L表示特征提取算子，用来提取图像特征，δ为误差阈值；

步骤3.重构高分辨图像

利用步骤1中训练得到的高分辨字典D_h和步骤2中求得稀疏系数α，重构得到高分辨图像 $Y_0^h=D_h\·\mathrm{\α};$

步骤4.利用非局部总变差去振铃效应

对步骤3中重构得到的高分辨图像Y₀ ^h利用下式进行非局部总变差去振铃效应：

${\left(Y^h\right)}^{k+1}=\arg \min [\mathrm{\μ}\·|d_1|+\frac{1}{2}{(Y^h-Y_0^h)}^2+\frac{\mathrm{\λ}}{2}{|d-{\▿}_{\mathrm{NL}}{Y}^h-b^k|}^2]---\left(2\right)$

其中，Y^h表示去振铃后的高分辨图像，Y₀ ^h表示步骤3获得的高分辨图像，λ为一个正常数，为非局部算子，d为Bergman距离辅助变量，b为迭代参数，μ＞0；

步骤5.利用误差补偿，增强高频信息，得到最终高分辨图像

(5a).计算高分辨图像Y^h和输入的低分辨图像Y^l之间的误差e

e＝Y^l-S[(Y^h*g)]               (3)

其中，Y^l表示输入的低分辨图像，Y^h表示经过步骤4去振铃效应后的高分辨图像，g为高斯平滑矩阵，S为高斯下采样算子；

(5b).对步骤(5a)中计算得到的误差e上采样，对步骤4的输出图像Y^h进行高频信息增强，

${\stackrel{\‾}{Y}}^h={\left(Y^h\right)}^{t+1}={\left(Y^h\right)}^t+p\·e{\↑}^d---\left(4\right)$

其中，表示输出的高分辨图像，t表示迭代次数，p表示收敛因子，控制收敛速度，↑^d表示上采样函数。

2.根据权利要求1所述的基于字典学习和非局部总变差的图像超分辨方法，其特征在于：步骤1所述的利用KSVD算法训练一个高分辨字典D_h和一个低分辨字典D_l，按如下步骤进行：

(2a).在一个包含91幅图像的图像训练集中提取10万对大小为8x8的图像块，将10万对图像块分别构造成高分辨图像块矩阵X^h和低分辨图像块矩阵X^l；

(2b).对公式(1)改写如下： $\underset{[D_h,D_l,Z]}{\min }\left\{{\left|\right|X-\mathrm{DZ}\left|\right|}_2^2\right\},s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ},$ 其中

$X={[\frac{1}{\sqrt{M}}{X}^h,\frac{1}{\sqrt{N}}{X}^l]}^T,D={[\frac{1}{\sqrt{M}}{D}^h,\frac{1}{\sqrt{N}}{D}^l]}^T,$ 将上述公式改写为如下离散项求和的形式：

$\underset{[D_h,D_l,Z]}{\min }\left\{\underset{1}{\overset{K}{\mathrm{\Σ}}}{\left|\right|x_i-{\mathrm{Dz}}_i\left|\right|}_2^2\right\},s.t.{\left|\right|z_i\left|\right|}_0\≤\mathrm{\ϵ}---\left(5\right)$

其中，K为字典D的列数；

(2c).使用高斯随机字典对字典D进行初始化，固定字典D，对字典D的任意列稀疏系数z_i，利用i＝1，2...K求得z_i的最优近似解；

(2d).固定步骤(2c)的稀疏系数z_i，求出稀疏表示误差其中，d_i为字典D的第i列原子，为X的第i行，K为字典D的总列数，E_k为不使用D的第k列原子进行稀疏表示所产生的误差，对该误差进行奇异值分解得到E_k＝UΔV^T，其中U为左奇异矩阵，V^T为右奇异矩阵，Δ为奇异值矩阵，用左奇异矩阵U的第一列更新字典D的第k列d_k；

(2e).重复迭代步骤(2c)和(2d)，对字典D中所有的原子进行更新，最终训练得到一个大小为81x1024的高分辨字典D_h和一个大小为144x1024的低分辨字典D_l。