CN107481189A - 一种基于学习的稀疏表示的超分辨率图像重建方法 - Google Patents

Abstract

本发明公开了一种基于学习的稀疏表示的超分辨率图像重建方法，主要包括如下步骤：首先，根据高分辨率图像训练集训练统一的高分辨率字典D^s；其次，根据测试低分辨率图像以及放大倍数，利用K最近邻算法获取测试字典和并重建出对应放大倍数的高分辨率图像；最后，利用迭代反投影对重建后的图像进行处理，得到最终的高分辨率图像，本发明对于图像的不同放大倍数，只需存储一个字典，大大减少了字典占用空间以及训练时间。

Description

一种基于学习的稀疏表示的超分辨率图像重建方法

【技术领域】

本发明涉及图像处理技术领域，特别是涉及一种基于学习的稀疏表示的超分辨率图像重建方法。

【背景技术】

图像超分辨率是由一个或多个低分辨率图像重建出高分辨率图像。图像超分辨率算法主要包括基于插值、基于重建和基于学习的方法。

基于插值的方法是利用未知像素点与邻域内已知像素点之间的关系，重建高分辨率图像。根据关系的不同产生了双线性和双三次等常用的插值算法。基于插值的算法虽然可以高效简单的重建高分辨率图像，但是重建出的高分辨率图像非常模糊、平滑而且图像边缘处存在振铃和锯齿的人工痕迹。

基于重建的方法的核心思想是建立观察图像的降质模型，通过正则项约束，迭代求解出高分辨率图像。该方法的优点是可以根据正则项约束求解出唯一的高分辨率图像。但是，这个方法的计算量非常大，而且若选择不佳的降质模型，重建出的高分辨率图像会受损。

基于学习的方法，首先，学习训练库中高分辨率图像样本和其对应的低分辨率图像之间的关系。然后，利用学习到的这个关系作为先验信息，重建测试低分辨率图像对应的高分辨率图像。目前比较经典的基于学习的算法是 Yang的方法和Zeyde的方法。Yang的方法是根据高低分辨率图像块稀疏表示系数相同的假设，利用高分辨率图像训练库和其得到的低分辨率图像库，训练高/低分辨率字典。对于输入的低分辨率图像，利用低分辨率字典，得到低分辨率空间的稀疏表示系数，然后将稀疏表示系数复用到高分辨率空间，从而超分出高分辨率图像。虽然Yang的算法在一定程度上改善了超分出的高分辨率图像的效果，但是高低分辨率图像块稀疏表示系数相同是一种很强的约束。Zeyde在Yang的基础上利用低分辨率图像块与高分辨率图像块的差值和低分辨率图像块稀疏表示系数相同的假设，降低低分辨率图像块维数训练高低分辨率字典。在重建输入低分辨率图像的高分辨率图像过程中，运用与训练阶段相同的映射关系，重建高分辨率图像。Zeyde的算法不仅比 Yang的算法效果好，而且运行时间也相应减少了。

但是，Zeyde算法和Yang的算法对不同的放大倍数需训练对应其放大倍数的字典对。也就是一对字典不能适应不同放大倍数。已有的算法(如 Yang和Zeyde的算法)需要训练多对字典来对应不同的放大倍数，当需要将一幅图像放大不同倍数时，目前已有算法在超分图像的过程中，需预先存储对应不同倍数的字典。这样不仅会浪费很长时间去训练对应不同放大倍数的字典对，而且还会使字典占用的存储空间过大。

【发明内容】

针对现有技术的不足，发明的目的在于提供一种基于学习的稀疏表示的超分辨率图像重建方法，在训练过程中存储适应不同放大倍数的高分辨率字典，在测试过程中自适应产生低分辨率字典，大大减少了字典占用的存储空间以及训练字典的时间。

为了达到上述目的，本发明采用如下技术方案：

一种基于学习的稀疏表示的超分辨率图像重建方法，包括训练阶段、测试阶段和图像后处理阶段；

训练阶段：

首先，将搜集到的N(N＝91)幅标准高分辨率图像组成训练图像集

然后，利用K奇异值分解方法对训练集中的图像进行训练，得到存储于字典存储空间中用于超分不同图像放大倍数的字典D^s，具体步骤如下：

(1.1)，将β，β＝4个高通滤波器，即f₁＝[1,-1]，f₃＝[1,-2,1]和跟高分辨率训练图像集中第i幅高分辨率图像卷积，得到梯度图集用矩阵R_m将梯度图集中的每一幅图像裁剪成的块，其中R_m为块提取操作，m为块中心，将梯度图集中相同块中心m的块拉伸成列向量不同块中心的块组成矩阵

(1.2)，对训练图像集中剩余N-1幅图像做如上步骤(1.1)，得到N-1个矩阵

(1.3)，将N个按照i＝1,2,....,N-1,N的顺序连接在一起，组成矩阵将矩阵中的向量作为输入，根据以下优化算法训练高分辨率字典D^s；

其中，为稀疏表示系数向量，L＝3为稀疏表示系数向量中不为零元素的个数；

测试阶段：

测试阶段包括测试字典的获取和对测试图像L^t进行超分辨率重建两部分；

测试字典的获取：

(2.1)，根据放大倍数Z，将低分辨率测试图像L^t利用双三次插值算法下采样倍，再上采样Z倍，得到与低分辨率测试图像大小相同的低频图像

(2.2)，将低分辨率测试图像L^t和低频图像的差值作为高频图像即：

(2.3)，将高频图像用矩阵裁剪成块，将每个块拉成列向量所有块向量组成矩阵其中为块中心，并用与训练阶段相同的四个高通滤波器f₁＝[1,-1]，f₃＝[1,-2,1]和分别与高频图像卷积得到的梯度图像集用矩阵将梯度图像集中的每一幅图像裁剪成块，将不同梯度图像相同块中心的块拉成列向量所有不同块中的块向量组成特征矩阵

(2.4)，根据K最近邻算法，寻找高分辨率字典D^s中每个原子对应特征矩阵中的K个近邻及其位置γ；

(2.5)，利用每个原子的近邻位置γ信息寻找矩阵中对应的K个原子分别对矩阵和特征矩阵中寻找到的K个原子加权并求和；

权系数和加权求和的公式如下：

W_j＝exp(-C_j*C_j)

将G个原子组成高分辨率字典D^s对应的测试高分辨率字典

同样的，将G个原子组成高分辨率字典D^s对应的测试高分辨率特征字典 将高分辨率字典D^s与测试高分辨率特征字典的差值作为测试低分辨率字典

测试图像L^t超分辨率：

根据高/低分辨率图像稀疏表示系数相同的假设，利用低分辨率字典和低分辨率测试图像L^t求解稀疏表示系数

具体过程如下：

(3.1)用双三次插值法将低分辨率测试图像L^t放大Z倍，得到与原始高分辨率图像相同大小的低分辨率测试图像

(3.2)用与训练阶段相同的四个滤波器与做卷积，得到的梯度图像集，用块提取操作将梯度图像集裁剪成大小为块，相同块中心的块拉成列向量 为块中心，不同块中心的向量组成矩阵

(3.3)利用如下公式求解出稀疏表示系数

利用求解出的稀疏表示系数和高分辨率字典恢复给定低分辨率测试图像的细节信息，并重建其对应的高分辨率图像Y；

求解公式如下：

图像后处理阶段：

图像后处理阶段是利用迭代反投影的方法，将重建出的高分辨率图像Y 投影到低分辨率空间，得到与低分辨率图像L^t统一的高分辨率图像Y^*；

求解模型如下：

其可通过以下公式进行优化：

Y^J+1＝Y^J+[(L^t-(Y^J↓Z))↑Z]*b

其中J为第J次迭代，b为反投影滤波器。

进一步，所述步骤(2.4)，利用欧几里得公式寻找高分辨率字典D^s中每个原子对应特征矩阵中的K个近邻及其位置γ；

求出每个原子对于特征矩阵中个列向量的距离C_j，找出距离最近的K个列向量以及其位置γ。

进一步，图像后处理阶段，优化过程中，迭代次数J为20，反投影滤波器b是标准差为1，大小为5×5的高斯低通滤波器。

本发明基于学习的稀疏表示的超分辨率图像重建方法，在训练过程中存储了可以适应不同放大倍数的高分辨率字典，在测试过程中自适应产生低分辨率字典，本发明的算法不仅能够重建出效果好、细节丰富以及纹理清晰的图像，而且能够大大减少字典占用空间和字典训练时间。

【附图说明】

图1为本发明的流程图；

图2为本发明训练阶段的流程图；

图3为本发明测试阶段的流程图；

图4为特征矩阵未归一化时，利用本发明将图像Baboon放大2倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大2倍的高分辨率图像、(c) 为Zeyde算法放大2倍的高分辨率图像、(d)为Yang算法放大2倍的高分辨率图像、(e)为本发明算法放大2倍的高分辨率图像；

图5为特征矩阵未归一化时，利用本发明将图像Baboon放大3倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大3倍的高分辨率图像、(c) 为Zeyde算法放大3倍的高分辨率图像、(d)为Yang算法放大3倍的高分辨率图像、(e)为本发明算法放大3倍的高分辨率图像；

图6为特征矩阵未归一化时，利用本发明将图像Baboon放大4倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大4倍的高分辨率图像、(c) 为Zeyde算法放大4倍的高分辨率图像、(d)为Yang算法放大4倍的高分辨率图像、(e)为本发明算法放大4倍的高分辨率图像。

图7为特征矩阵未归一化时，利用本发明将图像Barbara放大2倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大2倍的高分辨率图像、(c) 为Zeyde算法放大2倍的高分辨率图像、(d)为Yang算法放大2倍的高分辨率图像、(e)为本发明算法放大2倍的高分辨率图像；

图8为特征矩阵未归一化时，利用本发明将图像Barbara放大3倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大3倍的高分辨率图像、(c) 为Zeyde算法放大3倍的高分辨率图像、(d)为Yang算法放大3倍的高分辨率图像、(e)为本发明算法放大3倍的高分辨率图像；

图9为特征矩阵未归一化时，利用本发明将图像Barbara放大4倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大4倍的高分辨率图像、(c) 为Zeyde算法放大4倍的高分辨率图像、(d)为Yang算法放大4倍的高分辨率图像、(e)为本发明算法放大4倍的高分辨率图像。

图10特征矩阵归一化时，利用本发明将图像Baboon放大2倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大2倍的高分辨率图像、(c) 为Zeyde算法放大2倍的高分辨率图像、(d)为Yang算法放大2倍的高分辨率图像、(e)为本发明算法放大2倍的高分辨率图像；

图11为特征矩阵归一化时，利用本发明将图像Baboon放大3倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大3倍的高分辨率图像、(c) 为Zeyde算法放大3倍的高分辨率图像、(d)为Yang算法放大3倍的高分辨率图像、(e)为本发明算法放大3倍的高分辨率图像；

图12为特征矩阵归一化时，利用本发明将图像Baboon放大4倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大4倍的高分辨率图像、(c) 为Zeyde算法放大4倍的高分辨率图像、(d)为Yang算法放大4倍的高分辨率图像、(e)为本发明算法放大4倍的高分辨率图像。

图13为特征矩阵归一化时，利用本发明将图像Barbara放大2倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大2倍的高分辨率图像、(c) 为Zeyde算法放大2倍的高分辨率图像、(d)为Yang算法放大2倍的高分辨率图像、(e)为本发明算法放大2倍的高分辨率图像；

图14为特征矩阵归一化时，利用本发明将图像Barbara放大3倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大3倍的高分辨率图像、(c) 为Zeyde算法放大3倍的高分辨率图像、(d)为Yang算法放大3倍的高分辨率图像、(e)为本发明算法放大3倍的高分辨率图像；

图15为特征矩阵归一化时，利用本发明将图像Barbara放大4倍的实验结果对比图；

(a)为原始高分辨率图像、(b)为插值放大4倍的高分辨率图像、(c) 为Zeyde算法放大4倍的高分辨率图像、(d)为Yang算法放大4倍的高分辨率图像、(e)为本发明算法放大4倍的高分辨率图像。

【具体实施方式】

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明包括三个阶段，训练阶段、测试阶段和图像后处理阶段：

训练阶段：

首先，利用网上搜集到的N(N＝91)幅标准高分辨率图像组成训练图像集然后，利用K奇异值分解方法对训练集中的图像进行训练，得到存储于字典存储空间中，用于超分不同图像放大倍数的字典D^s，其主要流程如图1所示。具体步骤如下：

首先，将β(β＝4)个高通滤波器，即f₁＝[1,-1]，f₃＝[1,-2,1]和跟高分辨率训练图像集中第i幅高分辨率图像卷积，得到梯度图集用矩阵R_m将梯度图集中的每一幅图像裁剪成的块，其中R_m为块提取操作，m为块中心。将梯度图集中相同块中心m的块拉伸成列向量不同块中心的块组成矩阵

其次，对训练图像集中剩余N-1幅图像做如上步骤，得到N-1个矩阵

然后，将N个按照i＝1,2,....,N-1,N的顺序连接在一起，组成矩阵将矩阵中的向量作为输入，根据以下优化算法训练高分辨率字典D^s。

其中，为稀疏表示系数向量，L＝3为稀疏表示系数向量中不为零元素的个数。

测试阶段：

测试阶段包括两个部分：测试字典的获取和对测试图像L^t进行超分辨率重建，如图2所示。

测试字典的获取：

首先，根据放大倍数Z，将低分辨率测试图像L^t利用双三次插值算法下采样倍，再上采样Z倍，得到与低分辨率测试图像大小相同的低频图像

其次，将低分辨率测试图像L^t和低频图像的差值作为高频图像即：

然后，将高频图像用矩阵裁剪成块，将每个块拉成列向量所有块向量组成矩阵其中为块中心，并用与训练阶段相同的四个高通滤波器分别与高频图像卷积得到的梯度图像集用矩阵将梯度图像集中的每一幅图像裁剪成块，将不同梯度图像相同块中心的块拉成列向量所有不同块中的块向量组成特征矩阵

再次，根据K最近邻算法，寻找高分辨率字典D^s中每个原子对应特征矩阵中的K个近邻及其位置γ。具体是利用欧几里得公式：

求出每个原子对于特征矩阵中个列向量的距离C_j。找出距离最近的K个列向量以及其位置γ。最后，利用每个原子的近邻位置γ信息寻找矩阵中对应的K个原子分别对矩阵和特征矩阵中寻找到的K个原子加权并求和。权系数和加权求和的公式如下：

W_j＝exp(-C_j*C_j)

将G个原子组成高分辨率字典D^s对应的测试高分辨率字典同样的，将G个原子组成高分辨率字典D^s对应的测试高分辨率特征字典将高分辨率字典D^s与测试高分辨率特征字典的差值作为测试低分辨率字典

测试图像L^t超分辨率：

根据高/低分辨率图像稀疏表示系数相同的假设，利用低分辨率字典和低分辨率测试图像L^t求解稀疏表示系数具体过程如下：

(1)用双三次插值法将低分辨率测试图像L^t放大Z倍，得到与原始高分辨率图像相同大小的低分辨率测试图像

(2)用与训练阶段相同的四个滤波器与做卷积，得到的梯度图像集，用块提取操作将梯度图像集裁剪成大小为块，相同块中心的块拉成列向量(为块中心)，不同块中心的向量组成矩阵

(3)利用如下公式求解出稀疏表示系数

利用求解出的稀疏表示系数和高分辨率字典恢复给定低分辨率测试图像的细节信息，并重建其对应的高分辨率图像Y。求

解公式如下：

图像后处理阶段：

图像后处理阶段是利用迭代反投影的方法，将重建出的高分辨率图像Y 投影到低分辨率空间，得到与低分辨率图像L^t统一的高分辨率图像Y^*。

求解模型如下：

其可通过以下公式进行优化：

其中J为第J次迭代，b为反投影滤波器。

在本发明中，迭代次数为20，反投影滤波器b是标准差为1，大小为5×5 的高斯低通滤波器。

表1为未归一化时，本发明算法、Zeyde算法和Yang算法重建结果的峰值信噪比对比。

表2为归一化时，本发明算法、Zeyde算法和Yang算法重建结果的峰值信噪比对比。

表3为本发明方法、Zeyde算法和Yang算法字典训练时间对比。

表4为本发明方法、Zeyde算法和Yang算法字典占用空间对比。

由于人类视觉系统对亮度的变化更敏感，所以只对亮度成分使用本发明算法。本发明中的实验均在运行内存2GB，频率2.3GHz，装有64位Matlab 软件的i5电脑上运行。本发明选择了Baboon和Barbara两幅图作为实验结果对比。

本发明中主要和双三次(bicubic)插值、Zeyde算法以及Yang算法进行比较。其中，分别对放大倍数Z＝2、Z＝3和Z＝4的实验结果进行了对比。由于是否对特征矩阵进行归一化会影响实验的效果，本发明分别展示了未归一化时和归一化时，在放大倍数Z＝2、Z＝3和Z＝4的实验结果。同时K最近邻中不同K值也会影响本发明算法的实验结果。因此，本发明在对比了不同K值在特征矩阵未归一化和归一化时的峰值信噪比，将K值设为9。图4至6分别展示了未归一化时，Baboon图像在放大倍数分别为Z＝2、Z＝3 和Z＝4的视觉效果对比。图7至9分别展示了未归一化时，Barbara图像在放大倍数分别为Z＝2、Z＝3和Z＝4的视觉效果对比。图10至12分别展示了归一化时，Baboon图像在放大倍数分别为Z＝2、Z＝3和Z＝4的视觉效果对比。图13至15分别展示了归一化时，Barbara图像在放大倍数分别为Z＝2、Z＝3 和Z＝4的视觉效果对比。表1和表2分别展示了Zeyde算法、Yang算法和本发明算法的在未归一化和归一化时的峰值信噪比对比。表3和表4展示了 Zeyde算法、Yang算法和本发明算法的字典训练时间和字典占用空间对比。从图4至15的视觉效果图中可知，本发明的算法能够重建出细节更丰富、纹理更清晰的图像。表1和表2从客观方面进一步证明了本发明的算法确实优于Zeyde算法和Yang算法。从表3和表4可知本发明算法可以利用更短的时间训练出占用内存更少的字典。总的来说，本发明的算法不仅能够重建出效果好、质量佳的图像，而且能够大大减少字典占用空间和字典训练时间。

以上所述是本发明的优选实施方式，通过上述说明内容，本技术领域的相关工作人员可以在不偏离本发明技术原理的前提下，进行多样的改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (3)

1.一种基于学习的稀疏表示的超分辨率图像重建方法，其特征在于：包括训练阶段、测试阶段和图像后处理阶段；

训练阶段：

首先，将搜集到的N(N＝91)幅标准高分辨率图像组成训练图像集

然后，利用K奇异值分解方法对训练集中的图像进行训练，得到存储于字典存储空间中用于超分出不同放大倍数图像的字典D^s，具体步骤如下：

(1.1)，将β，β＝4个高通滤波器，即f₁＝[1,-1]，f₂＝f₁ ^T，f₃＝[1,-2,1]和跟高分辨率训练图像集中第i幅高分辨率图像卷积，得到梯度图集用矩阵R_m将梯度图集中的每一幅图像裁剪成的块，其中R_m为块提取操作，m为块中心，将梯度图集中相同块中心m的块拉伸成列向量不同块中心的块组成矩阵

(1.2)，对训练图像集中剩余N-1幅图像做如上步骤(1.1)，得到N-1个矩阵

(1.3)，将N个按照i＝1,2,....,N-1,N的顺序连接在一起，组成矩阵将矩阵中的向量作为输入，根据以下优化算法训练高分辨率字典D^s；

其中，为稀疏表示系数向量，L＝3为稀疏表示系数向量中不为零元素的个数；

测试阶段：

测试阶段包括测试字典的获取和对测试图像L^t进行超分辨率重建两部分；

测试字典的获取：

(2.1)，根据放大倍数Z，将低分辨率测试图像L^t利用双三次插值算法下采样倍，再上采样Z倍，得到与低分辨率测试图像大小相同的低频图像

(2.2)，将低分辨率测试图像L^t和低频图像的差值作为高频图像即：

(2.3)，将高频图像用矩阵裁剪成块，将每个块拉成列向量所有块向量组成矩阵其中为块中心，并用与训练阶段相同的四个高通滤波器f₁＝[1,-1]，f₂＝f₁ ^T，f₃＝[1,-2,1]和分别与高频图像卷积得到的梯度图像集用矩阵将梯度图像集中的每一幅图像裁剪成块，将不同梯度图像相同块中心的块拉成列向量所有不同块中的块向量组成特征矩阵

(2.4)，根据K最近邻算法，寻找高分辨率字典D^s中每个原子对应特征矩阵中的K个近邻及其位置γ；

(2.5)，利用每个原子的近邻位置γ信息寻找矩阵中对应的K个原子分别对矩阵和特征矩阵中寻找到的K个原子加权并求和；

权系数和加权求和的公式如下：

W_j＝exp(-C_j*C_j)

将G个原子组成高分辨率字典D^s对应的测试高分辨率字典

同样的，将G个原子组成高分辨率字典D^s对应的测试高分辨率特征字典 将高分辨率字典D^s与测试高分辨率特征字典的差值作为测试低分辨率字典

测试图像L^t超分辨率：

根据高/低分辨率图像稀疏表示系数相同的假设，利用低分辨率字典和低分辨率测试图像L^t求解稀疏表示系数

具体过程如下：

(3.1)用双三次插值法将低分辨率测试图像L^t放大Z倍，得到与原始高分辨率图像相同大小的低分辨率测试图像

(3.2)用与训练阶段相同的四个滤波器与做卷积，得到的梯度图像集，用块提取操作将梯度图像集裁剪成大小为块，相同块中心的块拉成列向量 为块中心，不同块中心的向量组成矩阵

(3.3)利用如下公式求解出稀疏表示系数

利用求解出的稀疏表示系数和高分辨率字典恢复给定低分辨率测试图像的细节信息，并重建其对应的高分辨率图像Y；

求解公式如下：

图像后处理阶段：

图像后处理阶段是利用迭代反投影的方法，将重建出的高分辨率图像Y投影到低分辨率空间，得到与低分辨率图像L^t统一的高分辨率图像Y^*；

求解模型如下：

其可通过以下公式进行优化：

Y^J+1＝Y^J+[(L^t-(Y^J↓Z))↑Z]*b

其中J为第J次迭代，b为反投影滤波器。

2.如权利要求1所述的一种基于学习的稀疏表示的超分辨率图像重建方法，其特征在于：所述步骤(2.4)，利用欧几里得公式寻找高分辨率字典D^s中每个原子对应特征矩阵中的K个近邻及其位置γ；

求出每个原子对于特征矩阵中个列向量的距离C_j，找出距离最近的K个列向量以及其位置γ。

3.如权利要求1所述的一种基于学习的稀疏表示的超分辨率图像重建方法，其特征在于：图像后处理阶段，优化过程中，迭代次数J为20，反投影滤波器b是标准差为1，大小为5×5的高斯低通滤波器。