CN105069767B - 基于表征学习与邻域约束嵌入的图像超分辨重构方法 - Google Patents

Abstract

本发明公开了一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，解决了特征提取的不准确及固定的邻域大小的问题。主要步骤为：对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；输入低分辨率测试图像，对输入的低分辨率测试图像进行分块并提取特征；计算特征间的欧氏距离，寻找输入图像块的K个近邻；构造一个自适应约束函数，通过邻域约束得到自适应的k个近邻，并利用局部线性嵌入的方法得到最终的高分辨率图像，完成图像超分辨率重构。本发明采用深度稀疏自编码网络学习特征，近邻选取的比较准确，并自适应的选择邻域大小，有效提高了重构图像质量并改善细节信息，适用于各种自然图像的超分辨率重构。

Description

基于表征学习与邻域约束嵌入的图像超分辨重构方法

技术领域

本发明属于图像处理技术领域，主要涉及图像超分辨重构，具体是一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，该方法可用于各类自然图像的超分辨率重构。

背景技术

图像超分辨重构是通过一幅或多幅低分辨率图像，重构出更高分辨率的图像。这种方法克服了传统图像传感器的分辨率限制和代价高的缺点，是一种低成本、高效的提高成像质量的方法，因而在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用。传统的超分辨重构方法有迭代反向投影法，最大后验概率方法(MAP)，极大似然估计法，凸集投影法(POCS)等，但是这些传统的方法会产生过平滑现象以及锯齿效应，图像重构的质量不高。因此，Freeman等人提出了一种基于学习的重构方法，通过马尔科夫随机模型和先验知识来学习低分辨率图像块和高分辨率图像块之间的对应关系，并利用这种对应关系指导图像的超分辨率重构。Chang等人提出了邻域嵌入(Neighbor Embedding)方法，假定高分辨率图像块和对应的低分辨率图像块在特征空间可以形成具有相同局部几何结构的流形，利用二者对应的邻域表示，结合加权系数，获得具体的对应关系，进一步估计需要的高分辨率图像。但是这些方法特征提取的不够准确，往往找不到准确的近邻，并且邻域大小也是固定的，邻域嵌入的效率偏低，重构图像的质量一般。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图像的效率和质量。

本发明是一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，包括有如下步骤：

步骤1：输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练样例图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典

步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到低分辨率图像块集对每个块用深度稀疏自编码网络提取特征得到测试图像的低分辨率图像块特征集

步骤3：预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分辨率图像块字典中找到特征块的K个近邻作为预选范围，是在低分辨率图像块字典X_s中的初始邻域；

步骤4：找出输入的低分辨率测试图像块和训练的低分辨率图像块的8个邻接块，并构造一个自适应邻域约束函数，得到新的邻域包含自适应的k个近邻其中是在低分辨率图像块字典X_s中的最终邻域，k≤K,k为变量；

步骤5：通过局部线性嵌入方法计算重构权重w_ij，当重构权重误差最小时传递重构权重w_ij，对训练的高分辨率图像块线性组合得到高分辨率图像输出小块从而得到高分辨率图像块集其中∑w_ij＝1；

步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X^*。

本发明的技术方案是首先对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；接着对输入的低分辨率图像进行分块并用深度稀疏自编码网络取特征；然后计算特征间的欧氏距离，寻找输入图像块的K个近邻，得到对应的训练高分辨率图像块；最后通过邻域约束得到自适应的k个近邻，并利用局部线性嵌入的方法得到最终的高分辨率图像，完成图像超分辨重构。

本发明与现有的技术相比具有以下优点：

1.本发明基于深度表征学习的概念，引入了深度稀疏自编码学习图像块的特征，更准确的描述图像本身的方向及纹理性质，所以通过特征找到的近邻更加准确；

2.本发明由于提出了邻域约束的概念，将以往方法中固定邻域大小变成了自适应的邻域大小，避免了在嵌入过程中引入错误的信息，重构高分辨图像时恢复效果提高。

3.本发明构造了较大的训练样例集合学习字典，能对各种自然图像进行重构，包括植物、动物、人，从而克服了传统方法对于各种输入图像兼容性不强的问题。

实验证明，本发明适用于各种自然图像的超分辨率重构，通过本方法进行重构后，重构图像的细节和纹理信息都保持得比较好。

附图说明

图1是本发明的总流程图；

图2是本发明采用的植物训练图像；

图3是本发明采用的动物训练图像；

图4是本发明采用的人训练图像；

图5是用本发明对测试Flower图像的重构效果图；

图6是用本发明对测试Parrot图像的重构效果图；

图7是用本发明对测试Girl图像的重构效果图；

图8是用本发明对测试Bike图像的重构效果图；

图9是用本发明和其它各种方法对测试Butterfly图像的重构图像的效果对比图。

具体实施方法

图像是人类获取信息的重要途径之一，随着社会信息化程度的提高，人们对图像分辨率的要求也变得越来越高。然而，许多成像系统由于受到其硬件条件的制约，所得到的图像分辨率不能满足实际应用的要求。而为了获得高分辨率的成像系统，相应的成像芯片和光学器件会使系统的成本增加。图像超分辨重构是通过一幅或多幅低分辨率图像，重构出更高分辨率的图像。通常的方法特征提取的不够准确，往往找不到准确的近邻，并且邻域大小也是固定的，重构图像的质量一般。本发明旨在提出一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图像的效率和质量。

下面结合附图对本发明详细说明：

实施例1

本发明是一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，参见图1，本发明对图像超分辨重构包括有如下步骤：

步骤1：输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为10W的低分辨率图像块字典并用高分辨率训练样例图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典所采用的训练图像对为图像处理领域中常用的标准自然图像，参见图2、图3、图4。

步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到低分辨率图像块集对每个块用深度稀疏自编码网络提取特征得到测试图像的低分辨率图像块特征集本例中测试图像参见图5(a)，图5(a)是图像Flower作为测试图像的输入图像，将图像Flower作为实验数据，对其进行分块并提取特征，得到低分辨率图像块的特征集。

步骤3：预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分辨率图像块字典中找到特征块的K个近邻作为预选范围，是在低分辨率图像块字典X_s中的初始邻域。本例中选取K＝50个训练的低分辨率图像块作为近邻，此50个低分辨率图像块是与输入的特征块最相似的，并且是固定大小的。

步骤4：找出输入的低分辨率测试图像块和训练的低分辨率图像块的8个邻接块，并构造一个自适应邻域约束函数，得到新的邻域包含自适应的k个近邻其中是在低分辨率图像块字典X_s中的最终邻域，k≤K,k为变量。

步骤5：通过局部线性嵌入方法计算重构权重w_ij，当重构权重误差最小时传递重构权重w_ij，对训练的高分辨率图像块线性组合得到高分辨率图像输出小块从而得到高分辨率图像块集其中∑w_ij＝1。

步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X^*。本例中得到的高分辨率图像如图5(d)所示。

本实施例采用软件MATLAB 2012b作为仿真工具，计算机配置为Intel Core i5/2.4G/4G。

本发明构造了较大的训练样例集合学习字典，能对各种自然图像进行重构，包括植物、动物、人，从而克服了传统方法对于各种输入图像兼容性不强的问题。

实施例2

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1，本发明中步骤1和步骤2都涉及到了特征提取的过程，均采用了深度稀疏自编码网络学习图像块的特征，因此综合在一起说明如下：

其中步骤1中的对训练样例图像对进行训练，包括有如下步骤：

1a)输入训练图像对，分别对高、低分辨率图像进行分块，得到低分辨率图像块集和与之对应的高分辨率图像块集所采用的训练图像对为图像处理领域中常用的标准自然图像，参见图2、图3、图4；

1b)对于低分辨率训练图像块集X_sp，通过深度稀疏自编码网络进行训练得到级联特征，即低分辨率图像块字典其中相应的高分辨率图像块字典为

其中步骤2所述的对输入测试图像分块并提取特征，包括有如下步骤：

2a)输入一幅低分辨率测试图像Y，对该图像按重叠的方式分块，得到低分辨率图像块集

2b)对于输入的低分辨率测试图像块集X_tp，通过深度稀疏自编码网络进行训练得到级联特征即低分辨率图像块特征集，其中

本例中测试图像参见图6(a)，图6(a)是图像Parrot作为测试图像的输入图像，将图像Parrot作为实验数据，对其进行超分辨重构。本例中得到的高分辨率图像如图6(d)所示。

由于通常的特征选取的近邻不够准确，本发明采用深度稀疏自编码网络提取特征，更准确的描述图像本身的方向及纹理性质，提高了近邻的准确率，从而提高了重构图像的质量。

实施例3

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1-2。

其中步骤3所述的预选特征块近邻，包括有如下步骤：

3a)对于一个输入的低分辨率图像特征块计算特征块与低分辨率图像块字典的欧式距离；

3b)选取前K个有着最小距离的小块作为的预选特征近邻 是在低分辨率图像块字典X_s中的初始邻域。

本发明中选取K＝100个训练的低分辨率图像块作为初始近邻，此100个低分辨率图像块是与输入的特征块最相似的，并且是固定大小的。近邻数过多会增加算法的复杂度，运算速度变慢，近邻数过少则不能表示重构图像块的特性。本发明通过大量的实验得到的一个最优化的数值100，能够更好的提高重构图像的质量。

实施例4

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1-3。

其中步骤4的构造自适应邻域约束，包括有如下步骤：

4a)对于每一个输入的低分辨率测试图像块有8个测试邻接块每一个训练的低分辨率图像块也有8个训练邻接块分别对测试邻接块和训练邻接块进行主成分分析降维得到测试邻接块矩阵和训练邻接块矩阵

4b)构造自适应邻域约束函数其中 计算得到自适应的k个近邻 是在低分辨率图像块字典X_s中的最终邻域，k≤K,k为变量。由于通常的邻域嵌入的方法在近邻选择过程中固定了邻域大小，也没有考虑邻接块的影响，导致找到的近邻块与要重构的近邻块有很大差距，所以本发明专门构造了一个自适应邻域约束函数，通过邻接块约束了寻找近邻的过程，从而找到了更加准确的近邻。

本例中测试图像参见图7(a)，图7(a)是图像Girl作为测试图像的输入图像，将图像Girl作为实验数据，对其进行超分辨重构。本例中得到的高分辨率图像如图7(d)所示。阈值α设为1.2。

本发明由于提出了邻域约束的概念，将以往方法中固定邻域大小变成了自适应的邻域大小，避免了在嵌入过程中引入错误的信息，提高了重构高分辨图像的质量。

下面结合附图并结合具体操作给出一个完整的图像超分辨重构过程：

实施例5

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1-4，参照附图1，本发明的基于表征学习与邻域约束嵌入的图像超分辨重构方法具体步骤包括：

1、一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，包括有如下步骤：

步骤1：输入训练样例图像对，用低分辨率训练样例图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练样例图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典包括有如下步骤：

1a)输入训练图像对，参见图2、图3、图4，分别对高、低分辨率图像进行分块，得到低分辨率图像块集和与之对应的高分辨率图像块集所采用的训练图像对为图像处理领域中常用的标准自然图像，包括40多张植物、动物和人脸图像，本例中列举了其中的三类图像，每一类里都有三个不同场景的图像，如图2是一类植物图像，左图是从上面拍摄的，中图是从侧上方有角度的拍摄，右图是从侧面拍摄的；图3是一类动物图像，左图为狮子全身像，中图为老虎面部图像，右图为熊猫的头部图像；图4是一类人物图像，左图为头部全图，中图为突出的嘴部图像，右图为突出的眼睛图像。训练图像有的局部比较集中，有的边缘信息比较丰富，展示的这些图像都是高分辨率的图像，对这些图像下采样得到低分辨率图像构成训练图像对；

1b)对于低分辨率训练图像块集X_sp，通过深度稀疏自编码网络进行训练得到级联特征，即低分辨率图像块字典其中相应的高分辨率图像块字典为

步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块并用深度稀疏自编码网络提取特征，得到测试图像的低分辨率图像块特征集包括有如下步骤：

2a)输入一幅低分辨率测试图像Y，如图5(a)、图6(a)、图7(a)、图8(a)为4幅输入的低分辨率测试图像，对测试图像按重叠的方式分块，得到低分辨率图像块集

2b)对于输入的低分辨率测试图像块集X_tp，通过深度稀疏自编码网络进行训练得到级联特征即低分辨率图像块特征集，其中

步骤3：预选特征块近邻，计算测试图像块的特征与训练字典的欧氏距离，在低分辨率图像块字典中找到特征块的K个近邻作为预选范围，是在低分辨率图像块字典X_s中的初始邻域，包括有如下步骤：

3a)对于一个输入的低分辨率图像特征块计算特征块与低分辨率图像块字典的欧式距离；

3b)选取前K个有着最小距离的小块作为的预选特征近邻 是在低分辨率图像块字典X_s中的初始邻域。

步骤4：通过自适应邻域约束得到新的邻域包含自适应的k个近邻其中k≤K,k为变量，包括有如下步骤：

4a)对于每一个输入的低分辨率测试图像块有8个测试邻接块每一个训练的低分辨率图像块也有8个训练邻接块分别对测试邻接块和训练邻接块进行主成分分析降维得到测试邻接块矩阵和训练邻接块矩阵

4b)构造自适应邻域约束函数其中 计算得到自适应的k个近邻 是在低分辨率图像块字典X_s中的最终邻域，k≤K,k为变量。

步骤5：通过局部线性嵌入方法计算重构权重w_ij，当重构权重误差最小时传递重构权重w_ij，对训练的高分辨率图像块线性组合得到高分辨率图像输出小块从而得到高分辨率图像块集其中∑w_ij＝1。

步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X^*，如图5(d)、图6(d)、图7(d)、图8(d)就是测试图像的高分辨率重构图。

本发明对图5(a)、图6(a)、图7(a)、图8(a)4幅比较模糊的输入的低分辨率测试图像进行重构，得到图5(d)、图6(d)、图7(d)、图8(d)4幅高分辨率图像。图5(b)、图6(b)、图7(b)、图8(b)是Bicubic插值方法的重构结果，图5(c)、图6(c)、图7(c)、图8(c)是Yang(TIP2010)方法的重构结果。对比图5(b)(c)、图6(b)(c)、图7(b)(c)、图8(b)(c)的结果，本发明得到的图像边缘更加清晰，细节更加丰富，效果最好。

本发明的效果可以通过以下实验进一步说明：

实施例6

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1-5。

实验条件

本实验采用测试图像Flower、Parrot、Girl、Bike作为实验数据，采用软件MATLAB2012b作为仿真工具，计算机配置为Intel Core i5/2.4G/4G。

实验内容

分别利用Bicubic插值方法、Yang(TIP2010)方法和本发明的方法，对各类输入测试图像进行重构：

首先，对Flower图像进行重构，结果如图5所示，其中图5(a)为输入低分辨率图像、图5(b)为Bicubic插值方法的重构结果、图5(c)为Yang(TIP2010)方法的重构结果、图5(d)为本发明的重构结果；

其次，对Parrot图像进行重构，结果如图6所示，其中图6(a)为输入低分辨率图像、图6(b)为Bicubic插值方法的重构结果、图6(c)为Yang(TIP2010)方法的重构结果、图6(d)为本发明的重构结果；

再次，对Girl图像进行重构，结果如图7所示，其中图7(a)为输入低分辨率图像、图7(b)为Bicubic插值方法的重构结果、图7(c)为Yang(TIP2010)方法的重构结果、图7(d)为本发明的重构结果。

最后，对Bike图像进行重构，结果如图8所示，其中图8(a)为输入低分辨率图像、图8(b)为Bicubic插值方法的重构结果、图8(c)为Yang(TIP2010)方法的重构结果、图8(d)为本发明的重构结果；

实验结果分析

从图5、图6、图7、图8中的对比图像可以看出，本发明在重构图像的视觉效果上要优于其它方法，没有锯齿效应，图像的纹理细节信息都保持的比较好，并且对于各种类型的输入测试图像如Flower、Parrot、Girl、Bike，都可以得到很好的重构效果。

表1.三种方法重构图像数值评价指标对比

由于人的主观因素的影响，视觉效果并不能精确的说明重构效果的好坏，用量化的指标能够更准确的反映重构效果，重构图像数值评价指标参见表1。从表1可见，对于四幅输入的低分辨率图像，Bicubic插值方法的结果最差，Yang(TIP2010)方法的结果有些提升。本发明相对于Bicubic插值方法、Yang(TIP2010)方法，在峰值信噪比、结构相似度和平均结构相似度方面有很大的提高，说明本发明的效果优于其他的方法。

实施例7

基于表征学习与邻域约束嵌入的图像超分辨重构方法同实施例1-5，仿真条件同实施例6。

实验内容

分别利用Bicubic插值方法、Chang的方法、Yang(TIP2010)方法和本发明的方法对测试图像Butterfly进行重构，得到如图9所示结果。其中图9(a)为输入低分辨率图像、图9(b)为Bicubic插值方法的重构结果、图9(c)为Chang方法的重构结果、图9(d)为Yang(TIP2010)方法的重构结果、图9(e)为本发明的重构结果、图9(f)为原始的高分辨率测试图像。

实验结果分析

从图9中的对比图像可以看出，无论是和Bicubic插值方法、基于邻域嵌入的Chang的方法比较，还是和基于稀疏表示的Yang(TIP2010)的方法进行比较，本发明图像边缘保持的比较完整，细节信息更加明显，没有锯齿效应，在视觉效果都要优于上述方法。

综上，本发明公开的一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，主要解决现有方法在特征提取的不准确以及固定邻域大小的限制的问题。其主要步骤为：首先对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；接着输入低分辨率测试图像，对输入的低分辨率测试图像进行分块并提取特征；然后计算特征间的欧氏距离，寻找输入图像块的K个近邻；构造一个自适应约束函数，通过邻域约束得到自适应的k个近邻，并利用局部线性嵌入的方法得到最终的高分辨率图像，完成图像超分辨率重构。本发明采用深度稀疏自编码网络学习特征，近邻选取的比较准确，并自适应的选择邻域大小，能够有效提高重构图像质量并改善细节信息，适用于各种自然图像的超分辨率重构。

Claims (4)

1.一种基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，包括有如下步骤：

步骤1：输入训练样例图像对并对其进行训练，用低分辨率训练样例图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练样例图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典

步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到低分辨率图像块集并用深度稀疏自编码网络提取特征，得到测试图像的低分辨率图像块特征集

步骤3：预选特征块近邻，计算测试图像块的特征与低分辨率图像块字典的欧氏距离，在低分辨率图像块字典中找到特征块的K个近邻作为预选范围，是在低分辨率图像块字典X_s中的初始邻域；

步骤4：通过自适应邻域约束，得到在低分辨率图像块字典X_s中的最终邻域包含自适应的k个近邻其中k≤K,k为变量；包括有如下步骤：

4a)对于每一个输入的低分辨率测试图像块有8个测试邻接块每一个训练的低分辨率图像块也有8个训练邻接块分别对测试邻接块和训练邻接块进行主成分分析降维得到测试邻接块矩阵和训练邻接块矩阵

4b)构造自适应邻域约束函数其中 α为阈值，计算得到自适应的k个近邻 是在低分辨率图像块字典X_s中的最终邻域，k≤K,k为变量；

步骤5：通过局部线性嵌入方法计算重构权重w_ij，当重构权重误差最小时传递重构权重w_ij，对训练的高分辨率图像块线性组合得到高分辨率图像输出小块从而得到高分辨率图像块集其中∑w_ij＝1；

步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X^*。

2.根据权利要求1所述的基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，其中步骤1所述的对训练样例图像对进行训练，包括有如下步骤：

1a)输入训练样例图像对，分别对高、低分辨率训练样例图像进行分块，得到低分辨率训练图像块集和与之对应的高分辨率图像块集

1b)对于低分辨率训练图像块集X_sp，通过深度稀疏自编码网络进行训练得到级联特征，即低分辨率图像块字典其中相应的高分辨率图像块字典为

3.根据权利要求1所述的基于表征学习与邻域约束嵌入的图像超分辨重构方法，其特征在于，其中步骤2所述的对输入测试图像分块并提取特征，包括有如下步骤：

2a)输入一幅低分辨率测试图像Y，对该图像按重叠的方式分块，得到低分辨率测试图像块集

2b)对于输入的低分辨率测试图像块集X_tp，通过深度稀疏自编码网络进行训练得到级联特征即低分辨率图像块特征集，其中

4.根据权利要求1所述的基于表征学习与邻域约束嵌入的图像超分辨重构方法，其中步骤3所述的预选特征块近邻，其特征在于，包括有如下步骤：

3a)对于一个输入的低分辨率图像特征块计算特征块与低分辨率图像块字典的欧式距离；

3b)选取前K个有着最小距离的小块作为的预选特征块近邻 是在低分辨率图像块字典X_s中的初始邻域。