CN105931179B - 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 - Google Patents

Abstract

一种联合稀疏表示与深度学习的图像超分辨率方法及系统，包括将原高分辨率图像降分辨率得到等大的低分辨率图像，并计算两者的差值部分；分别得到低分图像字典和差值图像字典及相应的稀疏表示系数；构建以均方根误差为代价函数的深度学习网络，迭代优化网络参数使得代价函数达到最小，得到训练好的深度学习网络；将作为测试部分的低分图像稀疏系数输入深度学习网络中，当误差小于给定阈值，根据待提高分辨率的低分图像重建出对应的高分辨率图像。本发明克服了现有方法利用联合字典训练方式使高低分辨率图像共享稀疏表示系数的不足，利用深度学习充分学习低分图像和差值图像稀疏表示系数间的映射关系，从而得到具有更高精度的高分辨率重建结果。

Description

一种联合稀疏表示与深度学习的图像超分辨率方法及系统

技术领域

本发明属于遥感图像处理技术领域，涉及一种联合稀疏表示与深度学习的图像超分辨率方法及系统。

背景技术

图像超分辨率就是从一系列分辨率较低的图像来重建出包含更多细节的高分辨率图像，在遥感影像的目标识别与定位、环境监测、医学成像等诸多领域都具有重要的应用价值。图像超分辨率突破了传感器本身分辨率的限制，在现有图像获取技术的基础上得到具有更高质量、更高分辨率的图像，为进一步的图像分析提供了基础。

传统的图像超分辨率需要多幅同一场景的低分辨率图像作为信息源，基于对高分辨率图像到低分辨率图像映射的合理假设及先验信息，对低分辨图像进行融合来重建高分辨率图像，常用的先验模型有高斯先验模型、马尔科夫随机场等。但是，从数学的角度来看，因为低分辨率图像的数目不足，上述超分辨率重建问题实际上是一个病态的反问题，重建结果可能不唯一。

基于学习的超分辨率，是利用机器学习的方法去获得高低影响块间的某种对应关系。Freeman等利用马尔科夫随机场来建立高低图像块之间的对应关系，并用贝叶斯置信算法求解；Change等把流形学习中领域嵌入的思想运用到图像超分辨率中，假设LR图像块和HR图像块的局部流形是相似的，通过求解测试图像块在低分辨率图像块所形成流形中的k邻域表示系数，最后再使用这些系数对HR图像块的k邻域进行线性组合得到对应的HR图像块，但是这种方法也容易产生欠拟合或过拟合的现象；Yang等把压缩感知的部分思想引入到超分辨率算法中，并通过与HR图像块的线性组合得到高分辨率图像。

上述图像超分辨率均是直接将低分辨率图像稀疏分解系数用于高分辨率图像的合成，或者是在求解过程中强迫高低分辨率稀疏表示系数间存在线性关系而进行求解。实际上，同一幅图像在不同空间尺度的稀疏表示系数是不同的。因此，这种简单的处理方式往往是制约图像超分辨率效果的一个重要因素。本发明提供一种基于深度学习的方法，利用深度学习网络去学习高低分辨率稀疏表示系数间的对应关系，从而将低分辨率稀疏表示系数映射到高分辨率稀疏表示系数。

发明内容

针对现有图像超分辨率重建技术存在的不足，本发明的目的是，提供一种新的利用深度学习网络去学习高低分辨率图像稀疏表示系数间映射关系的技术方案。

本发明的技术方案为1、一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于，包括以下步骤：

步骤a，将原高分辨率图像降分辨率得到等大的低分辨率图像，并分别表示为矩阵形式y_h和y_l,计算两者的差值部分y_hl＝y_h-y_l；

步骤b，将y_l和y_hl分别进行字典训练，得到低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl；

步骤c，将稀疏表示系数α_l和α_hl分为训练样本α_{l_train}、α_{hl_train}和测试样本α_{l_test}、α_{hl_test}；

步骤d，构建以均方根误差为代价函数的L层深度学习网络；

步骤e，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以对应的差值图像稀疏系数α_{hl_train}作为目标输出，为网络预测的差值图像稀疏系数，迭代优化网络参数使得代价函数达到最小，直到得到训练好的深度学习网络；

步骤f，将作为测试部分的低分图像稀疏系数α_{l_test}输入步骤e中训练好的深度学习网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，当误差小于给定阈值，则验证了步骤e中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射；

步骤g，将待提高分辨率的低分图像表示成矩阵形式z_l，用字典D_l来表示z_l并记相应稀疏系数为β_l，将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏系数β_hl；再利用字典D_hl重建出差值部分最后将还原为图像形式，重建出对应的高分辨率图像z_h。

而且，步骤a中，首先将训练样本库中的高分辨率图像裁剪成N个d×d的图像块，降低每个图像块的分辨率得到N个对应的低分辨率图像块，然后将高分辨率图像块拉伸成的列向量组成矩阵将低分辨率图像块拉伸成的列向量组成矩阵计算得到两者之间的差值部分y_hl＝y_h-y_l。

而且，步骤b中，将y_l和y_hl分别进行字典训练，得到对应的低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl，等价于求解优化问题如下，

其中，ε为重构误差阈值。

而且，步骤d中，所构建的深度学习网络共包含L层。将每层的输出记为x^l,l＝0,1,2,…,L，其中x⁰为网络输入，则第l层的输出为：

x^l＝f_l(W^lx^l-1+b^l),l＝1,2,…,L (3)

其中，W^l和b^l分别表示第l层的权值和偏置项，f_l(·)为第l层的激活函数，第L层的输出即为网络预测。

而且，步骤e中，利用深度学习网络训练低分图像和差值图像稀疏系数α_{l_train}、α_{hl_train}的隐含关系，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以差值图像稀疏系数α_{hl_train}作为监督，记网络预测的差值图像稀疏系数为

取代价函数为的均方根误差

其中，m和n分别为字典元素个数和训练样本个数，通过迭代优化网络参数，使损失函数MSRE达到最小，完成网络训练。

本发明还提供一种联合稀疏表示与深度学习的图像超分辨率系统，包括以下模块：

第一模块，用于将原高分辨率图像降分辨率得到等大的低分辨率图像，并分别表示为矩阵形式y_h和y_l,计算两者的差值部分y_hl＝y_h-y_l；

第二模块，用于将y_l和y_hl分别进行字典训练，得到低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl；

第三模块，用于将稀疏表示系数α_l和α_hl分为训练样本α_{l_train}、α_{hl_train}和测试样本α_{l_test}、α_{hl_test}；

第四模块，用于构建以均方根误差为代价函数的L层深度学习网络；

第五模块，用于以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以对应的差值图像稀疏系数α_{hl_train}作为目标输出，为网络预测的差值图像稀疏系数，迭代优化网络参数使得代价函数达到最小，直到得到训练好的深度学习网络；

第六模块，用于将作为测试部分的低分图像稀疏系数α_{l_test}输入第五模块中训练好的深度学习网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，当误差小于给定阈值，则验证了第五模块中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射；

第七模块，用于将待提高分辨率的低分图像表示成矩阵形式z_l，用字典D_l来表示z_l并记相应稀疏系数为β_l，将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏系数β_hl；再利用字典D_hl重建出差值部分最后将还原为图像形式，重建出对应的高分辨率图像z_h。

而且，第一模块中，首先将训练样本库中的高分辨率图像裁剪成N个d×d的图像块，降低每个图像块的分辨率得到N个对应的低分辨率图像块，然后将高分辨率图像块拉伸成的列向量组成矩阵将低分辨率图像块拉伸成的列向量组成矩阵计算得到两者之间的差值部分y_hl＝y_h-y_l。

而且，第二模块中，将y_l和y_hl分别进行字典训练，得到对应的低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl，等价于求解优化问题如下，

其中，ε为重构误差阈值。

而且，第四模块中，所构建的深度学习网络共包含L层。将每层的输出记为x^l,l＝0,1,2,…,L，其中x⁰为网络输入，则第l层的输出为：

x^l＝f_l(W^lx^l-1+b^l),l＝1,2,…,L (8)

其中，W^l和b^l分别表示第l层的权值和偏置项，f_l(·)为第l层的激活函数，第L层的输出即为网络预测。

而且，第五模块中，利用深度学习网络训练低分图像和差值图像稀疏系数α_{l_train}、α_{hl_train}的隐含关系，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以差值图像稀疏系数α_{hl_train}作为监督，记网络预测的差值图像稀疏系数为

取代价函数为的均方根误差

其中，m和n分别为字典元素个数和训练样本个数，通过迭代优化网络参数，使损失函数MSRE达到最小，完成网络训练。

本发明克服了现有方法利用联合字典训练方式使高低分辨率图像共享稀疏表示系数的不足，利用深度学习充分学习低分图像和差值图像稀疏表示系数间的映射关系，从而得到具有更高精度的高分辨率重建结果。

相比于现有方法，本发明的优势和积极效果：基于稀疏表示的图像超分辨率重建中，现有方法一般利用联合字典训练方式使高低分辨率图像共享稀疏表示系数，或是在训练字典的过程中将高低分辨率的图像简单地线性组合起来进行训练，但是同一幅图像在不同空间尺度的稀疏表示系数往往并不是简单的线性映射关系。本发明的优势在于用深度学习网络从大量样本中学习高低分辨率稀疏表示系数间的隐含关系，从而使得图像的超分辨率重建精度更高。

附图说明

图1为本发明实施例的图像超分辨率流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明的实施例是遥感图像的超分辨率重建，参照图1，本发明实施例的具体步骤如下：

步骤a：数据生成

本发明首先将训练样本库中的高分辨率图像裁剪成N个d×d的图像块，降低每个图像块的分辨率得到N个对应的低分辨率图像块。然后将高分辨率图像块按列拉伸成的列向量组成矩阵(表示y_h为d²×N的实矩阵)，同样方式得到低分辨图像对应矩阵计算得到两者之间的差值部分y_hl＝y_h-y_l。

步骤b：训练字典及相应稀疏表示系数

将y_l和y_hl分别进行字典训练，得到对应的低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl，即求解优化问题：

其中，||·||_F为F-范数，ε为重构误差阈值，一般为较小的值，具体实施时可根据具体要求进行设置。

但是由于上述l₀范数约束问题是一个NP-hard问题，需要用贪婪算法等进行求解。Tao，Candes和Donoho等人已经证明在信号满足一定的稀疏条件时，可以将l₀范数转化为l₁范数进行求解。这样，上述优化问题可以转化为

其中，λ为稀疏约束的权值(参考值为λ＝0.15，具体实施时，本领域技术人员可根据对稀疏项的需求进行调整)。上述优化问题为凸优化问题，可以用最优化算法来求解。

步骤c：将稀疏表示系数划分为训练样本和测试样本

具体实施时，本领域技术人员可自行预设划分比例。在实施例中，训练样本与测试样本之比约为2:1，即将样本总数的三分之二作为训练样本，并用α_{l_traih}、α_{hl_train}分别表示用来训练的低分图像和差值图像稀疏系数；将剩余的三分之一作为测试样本，并用α_{l_test}、α_{hl_test}分别表示用来测试的低分图像和差值图像稀疏系数。

步骤d：构建深度学习网络

实施例所构建的深度学习网络设共包含L层(建议以L＝3为宜，即网络包含两个隐含层和一个输出层，层数过多时会增加计算量)。将每层的输出记为x^l,l＝0,1,2,…,L，其中x⁰为网络输入，则第l层的输出为：

x^l＝f_l(W^lx^l-1+b^l),l＝1,2,…,L (15)

其中，W^l和b^l分别表示第l层的权值及偏置，f_l(·)为第l层的激活函数。第l＝1,2,…,L-1可看作是网络输入x⁰的特征，第L层的输出即为网络预测。

步骤e：利用深度学习网络训练低分图像和差值图像稀疏系数间的映射关系

以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以差值图像稀疏系数α_{hl_train}作为监督，逐层进行特征提取并进行预测，得到网络预测的差值图像稀疏系数为

其中，W¹和b¹分别为第一层的权值和偏置项。

取代价函数为的均方根误差

其中，m和n分别为字典元素个数和训练样本个数。通过迭代优化网络参数，使损失函数MSRE达到最小，从而完成网络训练。本实施例采用梯度下降法迭代调整网络参数，直至损失函数MSRE小于给定误差阈值δ或迭代次数达到给定上限时，结束训练并得到训练好的深度学习网络。具体实施时，本领域技术人员可以预先设置误差阈值或迭代次数的取值。

步骤f：测试深度学习网络

将低分图像稀疏系数测试集α_{l_test}输入步骤e中训练好的深度神经网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，若误差小于给定误差阈值，则验证了步骤e中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射。否则需要按步骤e中方法进一步对网络进行训练。具体实施时，本领域技术人员可以预先设置误差阈值。

步骤g:高分辨率图像重建

将待提高分辨率的低分图像按步骤a同样方式表示成矩阵形式z_l，用字典D_l来线性表示z_l并记相应稀疏表示系数为β_l，即求解下式中的β_l

z_l＝D_lβ_l (18)

将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏表示系数β_hl。再结合差值图像字典D_hl，利用式

重建出差值部分最后重建出的高分辨率图像矩阵形式为

将还原为图像形式，即得到最终重建的高分辨率图像z_h。

其中，上述步骤中，步骤a∽c为数据准备部分，步骤d∽e为网络训练部分，步骤f为网络测试部分，步骤g为图像超分辨率重建部分。

具体实施时，以上流程可采用软件技术实现自动运行，还可以采用模块化方式提供相应系统。本发明实施例还提供一种联合稀疏表示与深度学习的图像超分辨率系统，包括以下模块：

第一模块，用于将原高分辨率图像降分辨率得到等大的低分辨率图像，并分别表示为矩阵形式y_h和y_l,计算两者的差值部分y_hl＝y_h-y_l；

第二模块，用于将y_l和y_hl分别进行字典训练，得到低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl；

第三模块，用于将稀疏表示系数α_l和α_hl分为训练样本α_{l_train}、α_{hl_train}和测试样本α_{l_test}、α_{hl_test}；

第四模块，用于构建以均方根误差为代价函数的L层深度学习网络；

第五模块，用于以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以对应的差值图像稀疏系数α_{hl_train}作为目标输出，为网络预测的差值图像稀疏系数，迭代优化网络参数使得代价函数达到最小，直到得到训练好的深度学习网络；

第六模块，用于将作为测试部分的低分图像稀疏系数α_{l_test}输入第五模块中训练好的深度学习网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，当误差小于给定阈值，则验证了第五模块中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射；

第七模块，用于将待提高分辨率的低分图像表示成矩阵形式z_l，用字典D_l来表示z_l并记相应稀疏系数为β_l，将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏系数β_hl；再利用字典D_hl重建出差值部分最后将还原为图像形式，重建出对应的高分辨率图像z_h。

各模块具体实现参见相应步骤，本发明不予赘述。

Claims (10)

1.一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于，包括以下步骤：

步骤a，将原高分辨率图像降分辨率得到等大的低分辨率图像，并分别表示为矩阵形式y_h和y_l,计算两者的差值部分y_hl＝y_h-y_l；

步骤b，将y_l和y_hl分别进行字典训练，得到低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl；

步骤c，将稀疏表示系数α_l和α_hl分为训练样本α_{l_train}、α_{hl_rain}和测试样本α_{l_test}、α_{hl_test}；

步骤d，构建以均方根误差为代价函数的L层深度学习网络；

步骤e，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以对应的差值图像稀疏系数α_{hl_train}作为目标输出，为网络预测的差值图像稀疏系数，迭代优化网络参数使得代价函数达到最小，直到得到训练好的深度学习网络；

步骤f，将作为测试部分的低分图像稀疏系数α_{l_test}输入步骤e中训练好的深度学习网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，当误差小于给定阈值，则验证了步骤e中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射；

步骤g，将待提高分辨率的低分图像表示成矩阵形式z_l，用字典D_l来表示z_l并记相应稀疏系数为β_l，将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏系数β_hl；再利用字典D_hl重建出差值部分最后将高分辨率图像矩阵还原为图像形式，重建出对应的高分辨率图像z_h。

2.根据权利要求1所述一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于：步骤a中，首先将训练样本库中的高分辨率图像裁剪成N个d×d的图像块，降低每个图像块的分辨率得到N个对应的低分辨率图像块，然后将高分辨率图像块拉伸成的列向量组成矩阵表示y_h为d²×N的实矩阵，将低分辨率图像块拉伸成的列向量组成矩阵计算得到两者之间的差值部分y_hl＝y_h-y_l。

3.根据权利要求1所述一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于：步骤b中，将y_l和y_hl分别进行字典训练，得到对应的低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl，等价于求解优化问题如下，

其中，ε为重构误差阈值，||·||_F为F-范数。

4.根据权利要求1所述一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于：步骤d中，所构建的深度学习网络共包含L层，将每层的输出记为x^l,l＝0,1,2,…,L，其中x⁰为网络输入，则第l层的输出为：

x^l＝f_{l_}(W^lx^l-1+b^l),l＝1,2,…,L

其中，W^l和b^l分别表示第l层的权值和偏置项，f_{l_}(·)为第l层的激活函数，第L层的输出即为网络预测。

5.根据权利要求1所述一种联合稀疏表示与深度学习的图像超分辨率方法，其特征在于：步骤e中，利用深度学习网络训练低分图像和差值图像稀疏系数α_{l_train}、α_{hl_train}的隐含关系，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以差值图像稀疏系数α_{hl_train}作为监督，记网络预测的差值图像稀疏系数为

取代价函数为的均方根误差

其中，f_l(·)为第l层的激活函数，l＝1,2,…,L-1，f_L(…f₁(W¹α_{l_train}+b¹))表示从第1层到第L层逐层进行特征提取并进行预测，||·||_F为F-范数，m和n分别为字典元素个数和训练样本个数，通过迭代优化网络参数，使损失函数MSRE达到最小，完成网络训练。

6.一种联合稀疏表示与深度学习的图像超分辨率系统，其特征在于，包括以下模块：

第一模块，用于将原高分辨率图像降分辨率得到等大的低分辨率图像，并分别表示为矩阵形式y_h和y_l,计算两者的差值部分y_hl＝y_h-y_l；

第二模块，用于将y_l和y_hl分别进行字典训练，得到低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl；

第三模块，用于将稀疏表示系数α_l和α_hl分为训练样本α_{l_train}、α_{hl_train}和测试样本α_{l_test}、α_{hl_test}；

第四模块，用于构建以均方根误差为代价函数的L层深度学习网络；

第五模块，用于以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以对应的差值图像稀疏系数α_{hl_train}作为目标输出，为网络预测的差值图像稀疏系数，迭代优化网络参数使得代价函数达到最小，直到得到训练好的深度学习网络；

第六模块，用于将作为测试部分的低分图像稀疏系数α_{l_test}输入第五模块中训练好的深度学习网络中，输出得到预测的差值图像稀疏系数计算与对应真实差值图像稀疏系数α_{hl_test}的误差，当误差小于给定阈值，则验证了第五模块中训练得到的深度学习网络是低分图像和差值图像稀疏系数间的一个映射；

第七模块，用于将待提高分辨率的低分图像表示成矩阵形式z_l，用字典D_l来表示z_l并记相应稀疏系数为β_l，将β_l输入训练好的深度学习网络中，得到预测的差值图像稀疏系数β_hl；再利用字典D_hl重建出差值部分最后将高分辨率图像矩阵还原为图像形式，重建出对应的高分辨率图像z_h。

7.根据权利要求6所述一种联合稀疏表示与深度学习的图像超分辨率系统，其特征在于：第一模块中，首先将训练样本库中的高分辨率图像裁剪成N个d×d的图像块，降低每个图像块的分辨率得到N个对应的低分辨率图像块，然后将高分辨率图像块拉伸成的列向量组成矩阵表示y_h为d²×N的实矩阵，将低分辨率图像块拉伸成的列向量组成矩阵计算得到两者之间的差值部分y_hl＝y_h-y_l。

8.根据权利要求6所述一种联合稀疏表示与深度学习的图像超分辨率系统，其特征在于：第二模块中，将y_l和y_hl分别进行字典训练，得到对应的低分图像字典D_l和差值图像字典D_hl，以及相应的稀疏表示系数α_l和α_hl，等价于求解优化问题如下，

其中，ε为重构误差阈值，||·||_F为F-范数。

9.根据权利要求6所述一种联合稀疏表示与深度学习的图像超分辨率系统，其特征在于：第四模块中，所构建的深度学习网络共包含L层，将每层的输出记为x^l,l＝0,1,2,…,L，其中x⁰为网络输入，则第l层的输出为：

x^l＝f_{l_}(W^lx^l-1+b^l),l＝1,2,…,L

其中，f_l(·)为第l层的激活函数，l＝1,2,…,L-1，f_L(…f₁(W¹α_{l_train}+b¹))表示从第1层到第L层逐层进行特征提取并进行预测，||·||_F为F-范数，W^l和b^l分别表示第l层的权值和偏置项，f_{l_}(·)为第l层的激活函数，第L层的输出即为网络预测。

10.根据权利要求6所述一种联合稀疏表示与深度学习的图像超分辨率系统，其特征在于：第五模块中，利用深度学习网络训练低分图像和差值图像稀疏系数α_{l_train}、α_{hl_train}的隐含关系，以低分图像稀疏系数α_{l_train}作为深度学习网络的输入，以差值图像稀疏系数α_{hl_train}作为监督，记网络预测的差值图像稀疏系数为

取代价函数为的均方根误差

其中，m和n分别为字典元素个数和训练样本个数，通过迭代优化网络参数，使损失函数MSRE达到最小，完成网络训练。