CN103093445B - 基于联合稀疏约束的统一特征空间图像超分辨重建方法 - Google Patents

Abstract

本发明公开一种基于联合稀疏约束的统一特征空间图像超分辨重建方法，其实现步骤为：(1)从自然图像库中取z幅图像，构造样本集；(2)将样本聚成C类，使用联合学习得到每类低分辨投影矩阵和高分辨投影矩阵(3)用将每类高分辨梯度特征样本投影，得到样本集M_j(4)利用联合稀疏约束对M_j和高分辨细节进行字典学习，得到每类字典和字典(5)对输入低分辨图像X_t分块，利用每类的投影矩阵将图像块投影，得到每类联合特征，利用联合特征和每类字典得到系数；(6)利用系数和每类字典得到重建结果；(7)用小波变换将重建结果进行融合，得到一个高分辨结果r_h；(8)重复步骤(5)到步骤(7)，得到高分辨图像R₀，使用IBP算法对其处理，得到重建结果R_H。本发明具有重建结果边缘清晰的优点，可用于图像识别和目标分类。

Description

基于联合稀疏约束的统一特征空间图像超分辨重建方法

技术领域

本发明属于数字图像处理技术领域，涉及一种图像的超分辨率重构方法，可用于各种自然图像的超分辨重构，并且对图像的结构信息有更好的重建效果。

背景技术

在实际生活中，图像已成为人们获取信息的一种重要手段，已广泛应用于航天与航空、生物医学、通信、工业控制、军事公安、文化艺术、计算机视觉、视频与多媒体系统、科学可视化、电子商务等众多领域。在很多应用领域中，如医学诊断、模式识别、视频监控、生物鉴别、高清晰电视HDTV成像、遥感图像解译、高空对地观测等，图像处理系统往往需要处理高分辨率的图像，以提高应用系统的性能。然而，在实际应用中，受成像系统物理分辨率限制，以及场景变化与天气条件等诸多因素的影响，实际成像过程中往往存在光学与运动模糊、欠采样和噪声等退化因素，导致成像系统只能得到质量较差、分辨率较低的图像或图像序列，通常满足不了实际的应用要求，这给后续的图像处理、分析和理解带来诸多困难，不利于人们正确地认识客观世界及其规律。

为解决成像设备分辨率的不足和成像条件的限制，人们提出了一种借助信号处理技术增加图像空间分辨率的“软件”方法，即图像超分辨重建技术。图像超分辨技术是模拟成像系统的图像退化过程，该退化过程一般包括光学模糊、运动模糊、欠采样以及系统噪声等。从获得的一个或多个低分辨图像中重建出传统数字成像设备不能直接获得的高分辨图像，以获得更多的图像细节信息。现有的图像超分辨方法主要分为以下三种类型：

（1）基于插值的方法；该类方法是目前超分辨率重建方法中最直观的方法，这类方法的优点是算法快速易行，但是该类方法在放大倍数较高的情况下，重建的高分辨率结果会产生严重的失真；

（2）基于重构的方法；该类方法是利用一些图像的先验知识来进行高分辨图像细节的估计的，有些学者就引入一些正则化方法来提高高分辨图像的估计质量，例如双边总变分算子，l₁范数，Tikhonov正则化方法等；但是这些方法没有充分利用到图像自身信息的冗余性，而且对噪声的鲁棒性不好，虽然有一些方法也利用了图像的冗余性，例如基于非局部均值的图像超分辨重构，由于该方法只是对相似块进行加权，能够恢复的图像细节是有限的；

（3）基于实例学习的方法。该类方法是利用一些图像的先验知识来进行高分辨图像细节的估计的，有些学者就引入一些正则化方法来提高高分辨图像的估计质量，例如双边总变分算子，l₁范数，Tikhonov正则化方法等；但是这些方法没有充分利用到图像自身信息的冗余性，而且对噪声的鲁棒性不好，虽然有一些方法也利用了图像的冗余性，例如基于非局部均值的图像超分辨重构，由于该方法只是对相似块进行加权，能够恢复的图像细节是有限的；

最近，Yang等提出了使用图像块的稀疏表示来实现图像的超分辨重建，由于该方法是通过字典从外界人为的给低分辨图像加入一些细节信息，所以它可以有效的克服以前的方法在放大倍数较大的情况下，恢复结果较差的问题；但是由于基于稀疏重建的方法，都会假设图像在低分辨率情况下和高分辨率下的映射关系是一一对应的；然而，受图像模糊、欠采样和噪声等降质因数的影响，低分辨和高分辨图像之间存在“一对多”的映射关系，即一个低分辨图像可能对应于多个不同的高分辨图像。特别在图像放大倍数增加的情况下，低分辨与高分辨图像之间的不确定关系也会变得越来越模糊。所以基于稀疏模型的方法，最后结果会出现一些人工痕迹，影响图像重构质量。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于联合稀疏约束的统一特征空间超分辨重建方法，以避免造成映射关系不唯一而引起的重建图像的细节丢失以及图像边缘的振铃现象，更好的恢复图像的结构信息，提高图像的重构效果。

通过利用学习到一组投影矩阵将高分辨图像和低分辨图像投影到一个统一特征空间上，并且利用联合稀疏约束来训练字典，这样能更好的把输入的单幅低分辨图像丢失的信息给重构回去，最终得到高分辨率图像，最后实验证明该方法的可行性。

实现本发明的技术思路是：为了解决训练样本中低分辨与高分辨图像之间的不确定关系，增加一组从高分辨图像提取的梯度特征样本来替换原来的低分辨特征样本来训练字典；由于不能用训练好的字典直接表示低分辨块，为此，将两个不同维数的特征空间，采用联合学习方法投影到一个联合的特征子空间上，这样就可以在统一的特征空间上用训练好的字典来稀疏表示低分辨率图像；在训练字典的方法上，引入联合稀疏约束来训练字典，即确保相似的图像在训练好的字典下稀疏表示的系数也是相似的，这样可以较好的保持图像的结构信息。在每次字典原子进行更新时，强制要求每类的训练样本在该字典下的稀疏表示系数尽可能与该类中心的稀疏表示系数接近，这样每个类样本的稀疏表示系数就会很接近；为实现上述目的，本发明包括如下步骤：

(1)从自然图像库中取z幅常见的自然图像，60≤z≤70，使用选取的自然图像构造低分辨图像梯度特征块训练集和高分辨图像梯度特征块训练集以及高分辨图像高频细节块训练集其中，a_i表示第i个低分辨图像梯度特征块，b_i表示第i个高分辨图像梯度特征块，h_i表示第i个高分辨图像高频细节块，N表示总的图像块数；

(2)使用K-均值聚类方法将上述样本集A、B和H聚成C类，分别得到每类样本 和每个聚类中心集合其中，表示第j类低分辨图像梯度特征样本集，表示第j类高分辨图像梯度特征样本集，表示第j类高分辨图像高频细节样本，C_j表示第j类的聚类中心，j∈{1,2,…,C}，N_j表示第j类样本的总个数；

(3)对每类低分辨特征样本和高分辨特征样本使用联合学习方法进行投影矩阵学习，得到每类的低分辨投影矩阵和高分辨投影矩阵

(4)对每类高分辨特征样本集使用高分辨投影矩阵将其投影到联合特征空间上，得到特征空间样本集M_j；将联合特征空间上的样本集M_j和高分辨图像高频细节训练集结合起来得到每类用于字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\};$

(5)对每类字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\}={\left\{y_j^i\right\}}_{i=1}^{N_j}$ 使用联合稀疏约束模型： $\arg \underset{\{D_j,{\mathrm{\&alpha;}}_i,\mathrm{\&beta;}\}}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2,s.t.D_j\&CenterDot;\mathrm{\&beta;}=C_j\mathrm{and}{\left|\right|\mathrm{\&beta;}\left|\right|}_0<\mathrm{\&epsiv;},$ 进行字典训练，从而得到每类样本的联合特征空间字典j∈{1,2,…,C}和高分辨字典j∈{1,2,…,C}，

其中 $D_j=\left[\begin{array}{c}{D}_j^M\\ D_j^H\end{array}\right],$ 表示第j类联合特征空间字典，表示第j类高分辨字典，表示第j类训练样本集Y_j中第i个训练样本，N_j表示第j类训练样本集中训练样本的个数，C_j表示样本的聚类中心，||||₂表示l₂范数，||||₁表示l₁范数，||||₀表示l₀范数，参数λ用于平衡稀疏度和重建误差，α_i和β表示稀疏表示系数，ε表示稀疏度阈值，s.t.表示约束条件；

(6)对待处理的低分辨图像X_t使用bicubic方法插值放大2倍，得到插值图像X₀，对插值图像X₀提取特征后，对特征图像分块，得到图像块i∈{1,2,…,M}，其中，M表示总的图像分块数；

(7)利用每类的低分辨投影矩阵把图像块投影到联合特征空间上，得到每类联合特征{f₁,f₂,…,f_C}，利用联合特征{f₁,f₂,…,f_C}和对应的每类联合特征空间字典进行稀疏表示，得到对应的稀疏表示系数{θ₁,θ₂,…,θ_C}；

(8)利用稀疏表示系数{θ₁,θ₂,…,θ_C}和每类高分辨字典使用公式：得到高分辨图像块{r₁,r₂,…,r_C}，其中，为第j类高分辨字典，θ_j表示对应的第j类的稀疏表示系数，r_j表示第j个高分辨图像块重建结果，C表示聚类个数；

(9)对上述的重建结果{r₁,r₂,…,r_C}，利用小波变换将它们进行融合，得到一个高分辨图像块r_h；

(10)重复步骤（6）到步骤（9），依次对M个低分辨图像块处理，得到高分辨图像R₀；

(11)对高分辨图像R₀使用迭代反向投影IBP算法进行全局优化处理，得到最终重建高分辨图像R_H。

本发明相比现有技术具有以下优点：

(1)本发明采用联合学习的思想，将高分辨图像和低分辨图像投影到联合特征空间上，进而解决了高分辨与低分辨维数不统一的问题，同时由于字典训练样本都是取自高分辨图像，故而可以有效的解决高分辨与低分辨映射关系不唯一的问题；

(2)本发明在字典训练过程中引入联合稀疏约束，可以有效的保证相似的图像块在训练得到的字典下所得到的稀疏表示系数也是比较相似的；这样可以有效的保持图像的结构信息，使得重建的图像边缘更加清晰；

(3)本发明成功的运用小波变换将多个重建结果融合成为一个最终结果；考虑到小波变换的多尺度性和方向性，可以有效的保持图像的方向信息，进而融合出视觉效果更好的图像。

附图说明

图1是本发明的总流程图；

图2是本发明仿真使用的测试图像；

图3是用本发明与现有三种方法对图2中的（1）图像重构结果对比图；

图4是用本发明与现有三种方法对图2中的（2）图像重构结果对比图；

图5是用本发明与现有三种方法对图2中的（3）图像重构结果对比图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，构造训练样本集。

为了解决高分辨图像与低分辨图像映射关系不对应，添加一个训练样本来替换原低分辨图像特征样本来训练字典，具体步骤如下：

1a）从自然图像库中取z幅常见的自然图像，60≤z≤70；使用降质模型：X＝SGY，对z幅高分辨图像进行模拟降质，得到对应的低分辨图像库；接着将得到的低分辨图像库中的图像使用bicubic插值放大2倍，得到低分辨插值图像W，本次实验中取z＝65；其中，X表示经过降质后得到的低分辨图像，Y表示原始的高分辨图像，G表示高斯模糊矩阵，S表示下采样矩阵；

1b)对高分辨图像Y和插值图像W，分别使用四个滤波算子：f₁＝[-1,0,1],f₃＝[1,0,-2,0,1],提取图像的梯度特征，并对所得的特征图像进行分块，将插值特征图像分成大小为6×6的图像块a_i以及相对应的高分辨特征图像分成大小为9×9的图像块b_i，得到低分辨特征样本集和高分辨特征样本集对图像库中的高分辨图像Y提取它们的高频信息，并分成大小为9×9的图像块h_i，得到高分辨图像高频细节训练集

1c)使用K-均值聚类方法将上述样本集A、B和H聚成C类，分别得到每类样本 和每个聚类中心集本次实验中取C＝10；其中，表示第j类低分辨图像梯度特征样本集，表示第j类高分辨图像梯度特征样本集，表示第j类高分辨图像高频细节样本，C_j表示第j类的聚类中心，j∈{1,2,...,C}，N_j表示第j类样本的总个数；。

步骤2，联合学习每类高分辨特征样本与低分辨特征样本的投影矩阵，并将每类高分辨特征样本投影到联合特征空间上。

2a）对每类低分辨特征样本和高分辨特征样本使用公式：计算低分辨特征样本和高分辨特征样本在联合特征空间上的距离，其中，D(a,b)表示计算a和b之间的距离，f_l表示低分辨投影函数，f_h表示高分辨换投影函数，d表示低分辨特征样本和高分辨特征样本在联合特征空间上的距离；

2b）利用投影矩阵和分别替换上述公式d中的投影函数f_l和f_h，并将该公式改写为如下公式：

$\arg \underset{\{P_j^L,P_j^H\}}{\min }\underset{j=1}{\overset{C}{\mathrm{\&Sigma;}}}{\left|\right|{\left(P_j^L\right)}^T\&CenterDot;A_j^C-{\left(P_j^H\right)}^T\&CenterDot;B_j^C\left|\right|}_2^2,$ 其中，表示第j类高分辨投影矩阵，表示第j类低分辨投影矩阵，

求解该公式，分别得到每类的高分辨投影矩阵j∈{1,2,…,C}和低分辨投影矩阵j∈{1,2,…,C}；

2c)使用每类高分辨投影矩阵j∈{1,2,…,C}，将每类高分辨特征样本投影到联合特征空间上，得到特征空间样本集M_j；将每类联合特征空间上的样本集M_j和高分辨图像高频细节训练集相结合，得到每类字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\}={\left\{y_j^i\right\}}_{i=1}^{N_j}.$

步骤3，改进字典训练方法，使每类训练样本Y_j的稀疏表示系数与该类聚类中心的稀疏表示系数相等，确保相似的图像块在训练好的字典下稀疏表示系数也是比较相似的，进而更好地保持图像的结构信息。

3a)对每类字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\}={\left\{y_j^i\right\}}_{i=1}^{N_j}$ 使用联合稀疏约束模型： $\arg \underset{\{D_j,{\mathrm{\&alpha;}}_i,\mathrm{\&beta;}\}}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2,s.t.D_j\&CenterDot;\mathrm{\&beta;}=C_j\mathrm{and}{\left|\right|\mathrm{\&beta;}\left|\right|}_0<\mathrm{\&epsiv;},$ 进行每类字典D_j训练更新，

其中 $D_j=\left[\begin{array}{c}{D}_j^M\\ D_j^H\end{array}\right],$ 表示第j类联合特征空间字典，表示第j类高分辨字典，表示第j类训练样本集Y_j中第i个训练样本，N_j表示第j类训练样本集中训练样本的个数，C_j表示样本的聚类中心，||||₂表示l₂范数，||||₁表示l₁范数，||||₀表示l₀范数，参数λ用于平衡稀疏度和重建误差，α_i和β表示稀疏表示系数，ε表示稀疏度阈值，s.t.表示约束条件；

3b)由于联合稀疏约束模型有多个未知变量，采用迭代求解思想，先固定字典D_j，求解如下公式：得到聚类中心C_j的稀疏表示系数β，其中，D_j表示要训练的字典，||||₂表示l₂范数，||||₁表示l₁范数，参数μ用于平衡稀疏度l₁范数和重建误差l₂范数；

3c)固定D_j和β，对步骤3a)中的联合稀疏约束模型进行如下改写：

$\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2$

$=\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|I_1\&CenterDot;{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2,$

$=\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|\left[\begin{array}{c}{D}_j\\ I_1\end{array}\right]\&CenterDot;{\mathrm{\&alpha;}}_i-\left[\begin{array}{c}{y}_j^i\\ \mathrm{\&beta;}\end{array}\right]\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1$

利用改写后的公式计算稀疏表示系数α_i，其中，I₁表示一个K×K单位对角矩阵，K表示字典的大小，||||₂表示l₂范数，||||₁表示l₁范数，λ为调和参数，用于平衡α_i稀疏度l₁范数和重建误差l₂范数；

3d)令 $B=\left[\begin{array}{c}{D}_j\\ I_1\end{array}\right],$ $w=\left[\begin{array}{c}{y}_j\\ \mathrm{\&beta;}\end{array}\right],$ 将步骤3c)中的公式改写为下式：利用线性规划求解该公式，得到各个样本的稀疏表示系数α_i，其中，||||₂表示l₂范数，||||₁表示l₁范数，参数λ用于平衡稀疏度l₁范数和重建误差l₂范数；

3e)固定α_i和β，利用K-SVD算法中更新字典原子的方法，求解如下更新公式： $D_j^{*}=\arg \underset{D_j}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_{F}s.t.{\left|\right|D_j^r\left|\right|}_2=1,r=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,K,$ 更新字典D_j中每个原子得到训练好的每类字典 $D_j^{*}=\left[\begin{array}{c}{D}_j^M\\ D_j^H\end{array}\right],$ 即每类样本的联合特征空间字典j∈{1,2,…,C}和高分辨字典j∈{1,2,…,C}，其中，||||₂表示l₂范数，||||_F表示Frobenius范数，表示字典D_j中第r个原子，K表示字典的大小。

步骤4，使用训练好的字典进行超分辨重建。

4a)对待处理的低分辨图像X_t使用bicubic方法插值放大2倍，得到插值图像X₀，对插值图像X₀提取特征后，对特征图像分块，得到图像块i∈{1,2,…,M}，其中，M表示总的图像分块数；

4b)利用每类的低分辨投影矩阵把图像块投影到联合特征空间上，得到每类联合特征{f₁,f₂,…,f_C}，利用联合特征{f₁,f₂,…,f_C}和对应的每类联合特征空间字典进行稀疏表示，得到对应的稀疏表示系数{θ₁,θ₂,…,θ_C}；

4c)利用稀疏表示系数{θ₁,θ₂,…,θ_C}和每类高分辨字典使用公式：得到高分辨图像块{r₁,r₂,…,r_C}，其中，表示第j类高分辨字典，θ_j表示第j类的稀疏表示系数，r_j表示第j个高分辨图像块重建结果，C表示聚类个数；

4d)对每个重建结果r_j进行小波变换，得到4个不同频带的小波系数其中，r_j表示第j个重建结果，表示低频带小波系数，分别表示高频带3个不同方向的小波系数，j∈{1,2,.,C}；

4e)对低频带小波系数使用公式：得到融合后的低频带小波系数φ¹，其中，表示第j个重建结果的低频带小波系数；

4f)对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ²；对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ³；对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ⁴，其中，||表示取绝对值；

4g)对融合后的4个小波系数φ¹,φ²,φ³,φ⁴进行小波逆变换，得到融合后的图像r_h；

4h)重复步骤4a)到步骤4g)，依次对M个低分辨图像块处理，得到高分辨图像R₀；

4i)对高分辨图像R₀使用迭代反向投影IBP算法公式： $R_H^{*}=\arg \underset{R_H}{\min }{\left|\right|\mathrm{DA}\&CenterDot;R_H-X_t\left|\right|}_2^2+\mathrm{\&mu;}{\left|\right|R_H-R_0\left|\right|}_2^2,$ 进行全局优化处理，消除图像块重叠产生的失真，得到最终高分辨图像R_H。

本发明的效果可以通过下面的仿真结果进一步说明：

1．仿真条件

从自然图像库中取65幅常见的自然图像，用来训练每类的耦合双字典j∈{1,2,…,C}和j∈{1,2,…,C}；用本发明对3幅包含有不同内容的标准自然图像进行测试，它们分别为Parrots图像，Parthenon图像和Leaves图像见附图2；采用软件MATLAB7.12（R2011a）作为仿真工具，计算机配置为intel Core i7/2.0GHz/8G。

2．仿真方法

在相同的测试图像上，采用对比实验的形式，选择双三次样条插值Bicubic和两个具有代表性的超分辨算法与本发明的结果进行比较，以验证本发明的有效性。两个代表性超分辨方法分别为：

方法1，是J.Yang等人提出的方法，具体参考文献“J.Yang,J.Wright,T.Huang,andY. Ma,“Image super-resolution via sparse representation”,IEEE.Trans.Image Process,vol.19，no.11,pp.2861-2873,Nov.2010”；

方法2，是S.Yang等人提出的方法，具体参考文献“S.Yang，Z.Liu,and L.Jiao,“Multitask dictionary learning and sparse representation based single-imagesuper-resolution reconstruction,”Neurocomputing,vol.74,17(2011),pp.3193-3203”；

3.仿真内容

仿真1，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用Bicubic插值方法分别进行超分辨重建，超分辨重建结果评价指标如表1的第2列所示，超分辨重建结果分别如图3（a）、4（a）和5（a）所示；

仿真2，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用方法1分别进行超分辨重建，超分辨重建结果评价指标如表1的第3列所示，超分辨重建结果分别如图3（b）、4（b）和5（b）所示；

仿真3，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用方法2分别进行超分辨重建，超分辨重建结果评价指标如表1的第4列所示，超分辨重建结果分别如图3（c）、4（c）和5（c）所示；

仿真4，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用本发明方法分别进行超分辨重建，超分辨重建结果评价指标如表1的第5列所示，超分辨重建结果分别如图3（d）、4（d）和5（d）所示；

表1：3幅测试图不同方法实验结果比较

从图3中可以看出，Bicubic插值方法、方法1和方法2重建的结果在建筑物的边缘有明显的模糊，本发明的结果重建的建筑物边缘更加清晰和规整。

从图4中叶子的边沿同样可以明显的看出Bicubic插值方法、方法1和方法2都会产生一些人工刻痕以及边缘振铃现象，而本发明的结果叶子边缘比较规整的。

从图5中可以看出，Bicubic插值方法、方法1和方法2重建的结果在鹦鹉眼睛处的纹理信息都会产生一些假纹理，本发明的结果恢复的纹理信息比较丰富以及规整。

本发明采用的评价指标为峰值信噪比PSNR、结构相似度SSIM和平均结构相似度MSSIM，其中，峰值信噪比PSNR值越大，则说明图像超分辨重建的效果好，结构相似度SSIM和平均结构相似度MSSIM值都是越接近1，则说明图像超分辨重建的效果好。

从表1可以看出，本发明重建结果各项指标都优于其他3种方法，对于图2中（1）图像，PSNR值要比Bicubic插值方法高将近0.92db，比方法1高将近0.47db，比方法2高将近0.20db；对于图2中（2）图像，PSNR值要比Bicubic插值方法高将近2.51db，比方法1高将近1.18db，比方法2高将近0.33db；对于图2中（3）图像，PSNR值要比Bicubic插值方法高将近1.80db，比方法1高将近0.84db，比方法2高将近0.32db。

综上，本发明相比于现有的自然图像超分辨重建算法，不管从客观参数的评价上，还是从主观视觉质量上看都具有优越性，能够有效的解决高分辨与低分辨映射关系不唯一的问题，也能很好的保持图像的结构信息，是一种可行有效的自然图像超分辨重建方法。

Claims (5)

1.一种基于联合稀疏约束的统一特征空间图像超分辨重建方法，包括如下步骤：

(1)从自然图像库中取z幅常见的自然图像，60≤z≤70，使用选取的自然图像构造低分辨图像梯度特征块训练集和高分辨图像梯度特征块训练集以及高分辨图像高频细节块训练集其中，a_i表示第i个低分辨图像梯度特征块，b_i表示第i个高分辨图像梯度特征块，h_i表示第i个高分辨图像高频细节块，N表示总的图像块数；

(2)使用K-均值聚类方法将上述样本集A、B和H聚成C类，分别得到每类样本 $A_j^C={\left\{a_i\right\}}_{i=1}^{N_j},B_j^C={\left\{b_i\right\}}_{i=1}^{N_j},H_j^C={\left\{h_i\right\}}_{i=1}^{N_j}$ 和每个聚类中心集 $O={\left\{C_j\right\}}_{j=1}^C,$ 其中，表示第j类低分辨图像梯度特征样本集，表示第j类高分辨图像梯度特征样本集，表示第j类高分辨图像高频细节样本，C_j表示第j类的聚类中心，j∈{1,2,…,C}，N_j表示第j类样本的总个数；

(3)对每类低分辨特征样本和高分辨特征样本使用联合学习方法进行投影矩阵学习，得到每类的低分辨投影矩阵和高分辨投影矩阵

(4)对每类高分辨特征样本集使用高分辨投影矩阵将其投影到联合特征空间上，得到特征空间样本集M_j；将联合特征空间上的样本集M_j和高分辨图像高频细节训练集结合起来得到每类用于字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\};$

(5)对每类字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\}={\left\{y_j^i\right\}}_{i=1}^{N_j}$ 使用联合稀疏约束模型： $\arg \underset{\{D_j,{\mathrm{\&alpha;}}_i,\mathrm{\&beta;}\}}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2,s.t.D_j\&CenterDot;\mathrm{\&beta;}=C_j\mathrm{and}{\left|\right|\mathrm{\&beta;}\left|\right|}_0<\mathrm{\&epsiv;},$ 进行字典训练，从而得到每类样本的联合特征空间字典和高分辨字典 $D_j^H,j\&Element;\{\mathrm{1,2},...,C\},$

其中 $D_j=\left[\begin{array}{c}{D}_j^M\\ D_j^H\end{array}\right],$ 表示第j类联合特征空间字典，表示第j类高分辨字典，表示第j类训练样本集Y_j中第i个训练样本，N_j表示第j类训练样本集中训练样本的个数，C_j表示样本的聚类中心，||||₂表示l₂范数，||||₁表示l₁范数，||||₀表示l₀范数，参数λ用于平衡稀疏度和重建误差，α_i和β表示稀疏表示系数，ε表示稀疏度阈值，s.t.表示约束条件；

(6)对待处理的低分辨图像X_t使用bicubic方法插值放大2倍，得到插值图像X₀，对插值图像X₀提取特征后，对特征图像分块，得到图像块其中，M表示总的图像分块数；

(7)利用每类的低分辨投影矩阵把图像块投影到联合特征空间上，得到每类联合特征{f₁,f₂,…,f_C}，利用联合特征{f₁,f₂,…,f_C}和对应的每类联合特征空间字典进行稀疏表示，得到对应的稀疏表示系数{θ₁,θ₂,…,θ_C}；

(8)利用稀疏表示系数{θ₁,θ₂,…,θ_C}和每类高分辨字典使用公式：得到高分辨图像块{r₁,r₂,…,r_C}，其中，为第j类高分辨字典，θ_j表示对应的第j类的稀疏表示系数，r_j表示第j个高分辨图像块重建结果，C表示聚类个数；

(9)对上述的重建结果{r₁,r₂,…,r_C}，利用小波变换将它们进行融合，得到一个高分辨图像块r_h；

(10)重复步骤(6)到步骤(9)，依次对M个低分辨图像块处理，得到高分辨图像R₀；

(11)对高分辨图像R₀使用迭代反向投影IBP算法进行全局优化处理，得到最终重建高分辨图像R_H。

2.根据权利要求1所述的基于联合稀疏约束的统一特征空间图像超分辨重建方法，其中步骤(1)所述的构造低分辨图像梯度特征块训练集和高分辨图像梯度特征块训练集以及高分辨图像高频细节训练集按如下步骤进行：

1a)从自然图像库中取z幅常见的自然图像，60≤z≤70；使用降质模型：X＝SGY，对z幅高分辨图像进行模拟降质，得到对应的低分辨图像库；接着将得到的低分辨图像库中的图像使用bicubic插值放大2倍，得到低分辨插值图像W，其中，X表示经过降质后得到的低分辨图像，Y表示原始的高分辨图像，G表示高斯模糊矩阵，S表示下采样矩阵；

1b)对高分辨图像Y和插值图像W提取梯度特征，并对所得的特征图像进行分块，插值特征图像分成大小为6×6的图像块a_i以及相对应的高分辨特征图像分成大小为9×9的图像块b_i，最终得到低分辨特征样本集和高分辨特征样本集对图像库中的高分辨图像Y提取它们的高频信息，并分成大小为9×9的图像块h_i，得到高分辨图像高频细节训练集

3.根据权利要求1所述的基于联合稀疏约束的统一特征空间图像超分辨重建方法，其中步骤(3)所述的对每类低分辨特征样本和高分辨特征样本使用联合学习方法进行投影矩阵学习，得到每类的低分辨投影矩阵和高分辨投影矩阵按如下步骤进行：

3a)对每类低分辨特征样本和高分辨特征样本使用公式：计算低分辨特征样本和高分辨特征样本在联合特征空间上的距离，其中，D(a,b)表示计算a和b之间的距离，f_l表示低分辨投影函数，f_h表示高分辨换投影函数，d表示低分辨特征样本和高分辨特征样本在联合特征空间上的距离；

3b)利用投影矩阵和分别替换上述公式中的投影函数f_l和f_h，并改写为如下公式：

$\arg \underset{\{P_j^L,P_j^H\}}{\min }\underset{j=1}{\overset{C}{\mathrm{\&Sigma;}}}{\left|\right|{\left(P_j^L\right)}^T\&CenterDot;A_j^C-{\left(P_j^H\right)}^T\&CenterDot;B_j^C\left|\right|}_2^2,$ 其中，表示第j类高分辨投影矩阵，表示第j类低分辨投影矩阵，求解该公式，分别得到每类的高分辨投影矩阵 $P_j^H,j\&Element;\{\mathrm{1,2},...,C\}$ 和低分辨投影矩阵 $P_j^L,j\&Element;\{\mathrm{1,2},...,C\}.$

4.根据权利要求1所述的基于联合稀疏约束的统一特征空间图像超分辨重建方法，其中步骤(5)所述的对每类字典训练样本集 $Y_j=\left\{\begin{array}{c}{M}_j\\ H_j^C\end{array}\right\}={\left\{y_j^i\right\}}_{i=1}^{N_j}$ 使用联合稀疏约束模型：

$\arg \underset{\{D_j,{\mathrm{\&alpha;}}_i,\mathrm{\&beta;}\}}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2,s.t.D_j\&CenterDot;\mathrm{\&beta;}=C_j\mathrm{and}{\left|\right|\mathrm{\&beta;}\left|\right|}_0<\mathrm{\&epsiv;}$ 进行每类字典训练更新，按如下步骤进行：

5a)由于联合稀疏约束模型有多个未知变量，采用迭代求解思想，先固定字典D_j，求解如下公式：得到聚类中心C_j的稀疏表示系数β，其中，D_j表示要训练的字典，||||₂表示l₂范数，||||₁表示l₁范数，参数μ用于平衡稀疏度和重建误差；

5b)固定D_j和β，对联合稀疏约束模型进行如下改写：

$\begin{array}{c}\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2\\ =\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1+{\left|\right|I_1\&CenterDot;{\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left|\right|}_2\\ =\underset{{\mathrm{\&alpha;}}_i}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|\left[\begin{array}{c}{D}_j\\ I_1\end{array}\right]\&CenterDot;{\mathrm{\&alpha;}}_i-\left[\begin{array}{c}{y}_j^i\\ \mathrm{\&beta;}\end{array}\right]\left|\right|}_2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1\end{array}$

利用改写后的公式计算稀疏表示系数α_i，其中，I₁表示一个K×K单位对角矩阵，K表示字典的大小，||||₂表示l₂范数，||||₁表示l₁范数，λ为调和参数，用于平衡α_i稀疏度l₁范数和重建误差l₂范数；

5c)令 $B=\left[\begin{array}{c}{D}_j\\ I_1\end{array}\right],w=\left[\begin{array}{c}{y}_j^i\\ \mathrm{\&beta;}\end{array}\right],$ 将步骤5b)中的公式改写为下式：利用线性规划求解该公式，得到各个样本的稀疏表示系数α_i；

5d)固定α_i和β，利用K-SVD算法中的更新字典原子的方法，求解如下更新公式： $D_j^{*}=\arg \underset{D_j}{\min }\underset{i=1}{\overset{N_j}{\mathrm{\&Sigma;}}}{\left|\right|D_j\&CenterDot;{\mathrm{\&alpha;}}_i-y_j^i\left|\right|}_{F}s.t.{\left|\right|D_j^r\left|\right|}_2=1,r=\mathrm{1,2},...,K,$ 更新字典D_j中每个原子得到训练好的每类字典 $D_j^{*}=\left[\begin{array}{c}{D}_M^j\\ D_H^j\end{array}\right],$ 即每类样本的联合特征空间字典和高分辨字典其中，||||₂表示l₂范数，||||_F表示Frobenius范数，表示字典D_j中第r个原子，K表示字典的大小。

5.根据权利要求1所述的基于联合稀疏约束的统一特征空间图像超分辨重建方法，其中步骤(9)所述的对上述的重建结果{r₁,r₂,…,r_C}，利用小波变换将它们进行融合，得到一个高分辨图像块r_h，按如下步骤进行：；

9a)对每个重建结果r_j进行小波变换，得到4个不同频带的小波系数其中，r_j表示第j个重建结果，表示低频带小波系数，分别表示高频带3个不同方向的小波系数，j∈{1,2,…,C}；

9b)对低频带小波系数使用公式：得到融合后的低频带小波系数φ¹；

9c)对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ²；对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ³；对高频带小波系数的绝对值集合进行排序，选取该集合中的最大值作为融合后的高频带小波系数φ⁴，其中，||表示取绝对值；

9d)对融合后的4个小波系数φ¹,φ²,φ³,φ⁴进行小波逆变换，得到融合后的图像块r_h。