CN108765287A - 一种基于非局部均值的图像超分辨率方法 - Google Patents

Abstract

单幅图像的超分辨率放大技术仅利用一幅低分辨率的图像就可以获得更高分辨率的图像，以使图像的视觉效果更清晰。在已有的超分辨率方法中，在线重建阶段中对每一个低分辨率块只选取一个最接近的映射矩阵，会造成很多有价值的图像信息的丢失。针对以上缺点，本发明提出了一种基于非局部均值(NLM)的图像超分辨率方法，在训练阶段利用迭代反向投影加强双三次插值后的图像。在图像重建阶段，利用加入梯度因素的非局部均值方法加强双三次插值后的图像并提取特征，同时，筛选若干个最优的映射矩阵并加权映射得到图像中的高频信息。由于该方法保留了较多的有价值的图像信息，得到了质量更好高分辨率图像。实验表明，此方法优于目前提出的其它方法。

Description

一种基于非局部均值的图像超分辨率方法

技术领域

本发明涉及到图像处理中的一种以单幅图像为输入的图像超分辨率放大的方法，以提高 图像的分辨率，输出分辨率更高的图像。

背景技术

以往的单幅图像超分辨率的方法，可以大致分为三类：(1)基于插值的方法，(2)基于 样例的方法，(3)基于学习的方法，(4)基于稀疏表示的方法。其中，在基于插值的方法中， 仅利用当前未知像素点值周围的已知像素点值来估计当前未知像素点的值，其优点是计算复 杂度低，计算速度快，其缺点是放大的图像的质量不高，在图像的细节部分会产生较大的失 真和模糊。在基于样例的方法中，在其离线的训练阶段将从大量的训练图像中提取低分辨率 的图像块和其对应的高分辨率的图像块，然后进行保存。在其在线的图像放大阶段，将首先 对低分辨率图像进行分块，然后对低分辨率块寻找在存储的低分辨率块中和其相似的图像块， 接着利用这些低分辨率块所对应的高分辨率块的组合来得到高分辨率块。这类方法的优点是 其放大的图像的质量较高，缺点是需要利用很大的存储空间来存储训练阶段产生的低分辨率 和高分辨率的图像块，并且在线的训练阶段中寻找相似的低分辨率图像块的过程的计算复杂 度大，非常耗时，同时其输出的高分辨率图像还存在有块效应等问题。在基于学习的方法中， 在其离线阶段利用卷积神经网络来学习低分辨率的图像和高分辨率图像之间的关系，在其在 线阶段将利用这个卷积神经网络来产生高分辨率的图像块。这类方法的优点是其放大的图像 具有相对较好的质量，其缺点是其训练阶段需要大量的时间，并且当所放大的图像和训练图 像有较大的差距时，会降低放大的图像的质量。基于稀疏表示的方法中，在其离线的训练阶 段将利用训练图像产生低分辨率图像块的字典和高分辨率图像块的字典，然后在线放大过程 中将对输入的低分辨率图像块寻找其在低分辨率图像块字典下的稀疏表示的系数，接着利用 高分辨率的字典和这个系数得到高分辨率的图像块。这类方法的优点是其只需要存储低分辨 率和高分辨率的字典，所需要的存储空间相对于基于样例的方法大大减少了，并且其在线放 大的速度快，得到的放大图像具有较好的质量。

发明内容

所提方法同样包含离线训练阶段和在线重构阶段。

1.所提出的方法的离线训练阶段的操作

在离线训练阶段，首先将输入的训练的高分辨率图像I_H作模糊和下采样处理得到低分辨 率图像I_L，即，

其中，S为图像需要放大的倍数，↓_S是下采样S倍的算子。B是模拟的模糊算子，其元素 σ²为方差参数，i＝-L，...，0，...，L，j＝-L，...，0，...，L，即，i和j为从-L 到L之间的整数，L为算子的范围。

将I_L经过双三次插值后得到大小与I_H相同的图像I_bic。考虑到在训练阶段若采用非局 部均值(non-local means，NLM)方法对图像I_bic进行加强将耗时很长，为降低时耗，采用迭 代反向投影的方法，即如下式的方法，对图像I_bic进行加强得到图像I_back。

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S} (2)

其中，t为迭代次数，初始时X⁰＝I_bic，经过N_t次迭代后，τ为步长参数，S为 图像需要放大的倍数，↓_S是下采样S倍的算子，↑_S是上采样S倍的算子。

然后对I_back进行分块，使用如下(3-6)式

L＝(1，0，-2，0，1) (4)

G^T＝[1，0，-1]^T (5)

L^T＝(1，0，-2，0，1)^T (6)

中的四个高通滤波器滤波处理提取特征后再采用主成分分析(principlecomponent analysis， PCA)方法降维后得到低分辨率特征块，并把所有的低分辨率特征块放入低分辨率特征集而高分辨率特征块则由I_H与I_back作差获取高频信息后再分块得到，并把所有的高分辨率特征 块放入高分辨率特征集再用K-均值(K-means)分类方法对进行分类，共得到K个 类，每个类的由此类中的低分辨率块构成，每个低分辨率块按照从上到下， 从左到右的扫描顺序构成其中的一个列，以及这个类所对应的由此类中所对应的高 分辨率块构成，每个对应的高分辨率块按照从上到下，从左到右的扫描顺序构成其中的一个 列。最后根据每一类的和求出该类对应的映射矩阵F^k，其中F^k由下式(7)式计算得到。

其中I是单位矩阵。λ是平衡因子，T为矩阵转置符号。根据(7)式可以求出每一类的F^k，至 此，离线训练阶段便结束了。

2.改进的非局部均值处理的方法

非局部均值处理方法的目的是求出下式(8)的优化的解。

其中，X表示待求解的高分辨率的图像，Y表示低分辨率的图像，B是模拟的模糊算子和式 (1)中的模糊算子相同，γ为约束项系数用以平衡重建误差和约束项，和式(1)中相同↓_S是下采样S倍的算子，X_i是第i个像素点，P_t是将和X_t的相似像素点按照字典顺序排列组成 的列向量，W_i ^N是对应的各个相似像素点的权重组成的横向向量。

为了找到式(8)的最优解，先将其简化得到下式：

其中I是单位矩阵，U的定义如下：

P(x_i)为第i个像素点的所有相似像素点的下标集合。w_ij为第i个像素点和第j个像素点之间 的权重，其定义如下：

其中是一个归一化常量，其值为

h为控制指数衰减速度的一个常量，D(i，j)为以像素点i为中心的图像块和以像素点j为中心 的图像块之间的差异度，以在计算块与块的差异度时加入梯度因素，可以如下表示。

其中，β是一平衡参数，矩阵P是通过以上(3-6)式提取的图像块的一阶二阶梯度信息后再采 用主成分分析(principle component analysis，PCA)方法降维后得到的低分辨率特征块所对应 的矩阵，表示矩阵Z的二范数值的平方值，S(i，j)是以像素点i为中心的图像块和以像素 点j为中心的图像块之间的欧式距离，其表达式如下：

从式(13)和(14)中可以看出，在计算距离和差异度时，以(x_i，y_j)为中心的图像块的大小 为(2r+1)×(2r+1)。

式(9)可以通过梯度下降法求解，其迭代求解的表达式如下：

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S-γ(I-U)^T(I-U)X}(15)

其中t表示当前迭代的次数，τ为梯度下降的步长，γ为平衡因子，在本发明中此式共迭代N_t次。

3.在线阶段的操作

在线重构阶段中，对于输入的低分辨率图像I_INPUT，首先将其进行双三次插值操作得到图 像I_MIDLLE，再利用式(15)对图像I_MIDLLE进行效果增强得到图像I_NLM。

然后，再对图像I_NLM进行与离线训练阶段同样的分块、提取特征、PCA降维操作得到低 分辨率特征集对每一个低分辨率块的特征，在训练好的K个中心点中，根据以下 式(16)计算每一个类的中心点和当前块的接近程度w_k(1≤k≤K)：

其中d_k为当前块与类中心点的欧氏距离，h为控制指数衰减速度的常数。然后确定与当前块 最接近的N_c个中心点g_n(1≤n≤N_c，1≤c_n≤K)，其中N_c的值为满足下式(17)的w_n的个数，μ 为比例常数。

max(w_k)·μ＜w_n(1≤n≤K) (17)

然后，再通过下式(18)加权平均投影的低分辨率块，便可得到对应的高分辨率特征块。

其中

最后将所有的高分辨率块拼接为图像其中块与块之间的重叠区域作取平均值处 理，再将以上得到的图像与图像I_NLM作和得到最终的高分辨率输出图像I_FINAL。

附图说明

图1为所提出的方法的流程图。

图2为Butterfly图像下的不同超分辨率方法的视觉比较图：(a)为原始图像，(b)为利用Bi-cubic 方法放大的图像，其峰值信噪比(peak signal to noise ratio，PSNR)为24.04dB，(c)为利用Yang 所提出的方法放大的图像，PSNR＝24.89dB，(d)为利用ANR方法放大的图像，PSNR＝25.90dB， (e)为本发明所提出方法放大的图像，PSNR＝27.08dB。

图3为face图像下的不同超分辨率方法的视觉比较图：(a)为原始图像，(b)为利用Bi-cubic 方法放大的图像，其峰值信噪比PSNR为32.82dB，(c)为利用Yang所提出的方法放大的图 像，PSNR＝32.99dB，(d)为利用ANR方法放大的图像，PSNR＝33.62dB，(e)为本发明所提出 方法放大的图像，PSNR＝33.73dB。

具体实施方式

下面结合附图1对所提出的方法的具体实施方式进行阐述。所提出的方法包括离线的训 练阶段，以产生供在线阶段使用的投影矩阵，和在线的放大阶段，以对输入的单幅低分辨率 的图像进行超分辨率放大，产生分辨率更高的输出图像。

其中，所提出的离线的训练阶段，对于每一个训练图像的处理包括如下步骤：

1)将输入的训练的高分辨率图像I_H作模糊和下采样处理得到低分辨率图像I_L，即，

2)将I_L经过双三次插值后得到大小与I_H相同的图像I_bic。然后采用迭代反向投影的方法，即 如下式的方法，对图像I_bic进行加强得到图像I_back。

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S}

其中，t为迭代次数，初始时X⁰＝I_bic，经过N_t次迭代后，τ为步长参数，S为 图像需要放大的倍数，↓_S是下采样S倍的算子，↑_S是上采样S倍的算子。

3)然后对I_back进行分块，使用如下L＝(1，0，-2，0，1)、G^T＝[1，0，-1]^T、L^T＝(1，0，-2，0，1)^T四个滤波器模板进行滤波处理，提取特征后再采用主成分分析(principle component analysis，PCA)方法降维后得到低分辨率特征块，并把所有的低分辨率特征块放入 低分辨率特征集而高分辨率特征块则由I_H与I_back作差获取高频信息后再分块得到，并 把所有的高分辨率特征块放入高分辨率特征集

在对所有的训练图像都进行了如上的处理后，将最终得到低分辨率特征集和高分辨 率的特征集再用K-均值(K-means)分类方法对进行分类，共得到K个类，每个类 的由此类中的低分辨率块构成，每个低分辨率块按照从上到下，从左到右 的扫描顺序构成其中的一个列，以及这个类所对应的由此类中所对应的高分辨率块 构成，每个对应的高分辨率块按照从上到下，从左到右的扫描顺序构成其中的一个列。最后 根据每一类的和求出该类对应的映射矩阵F^k，即其中I是单位矩阵。λ是平衡因子，T为矩阵转置符号。求出每一类的F^k，至此，离线训练 阶段便结束了。

对于输入的低分辨率的图像的在线的放大过程包括如下步骤。

1)对于输入的低分辨率图像I_INPUT，首先将其进行双三次插值操作得到图像I_MIDLLE，再利用 非均值化处理图像I_MIDLLE，进行效果增强得到图像I_NLM。

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S-γ(I-U)^T(I-U)X} (19)

其中t为迭代次数，τ为梯度下降的步长，γ为平衡因子，初始时X⁰＝I_MIDDLE，经过N_t次迭代 后I是单位矩阵，U的定义如下：

P(x_i)为第i个像素点的所有相似像素点的下标集合。w_ij为第i个像素点和第j个像素点之间 的权重，其定义如下：

其中是一个归一化常量，其值为

h为控制指数衰减速度的一个常量，D(i，j)是以像素点i为中心的图像块和以像素点j为中心 的图像块之间的差异度，其表达式如下：

以在计算块与块的距离时加入梯度因素。其中矩阵P是通过以上(3-6)式提取的图像块的一阶 二阶梯度信息提取特征后再采用主成分分析(principle componentanalysis，PCA)方法降维后 得到的低分辨率特征块所对应的矩阵，表示矩阵Z的二范数值的平方值。从式(24)中 可以看出，在计算距离时，以(x_i，y_j)为中心的图像块的大小为(2r+1)×(2r+1)。

2)然后，再对图像I_NLM进行与离线训练阶段同样的分块、提取特征、PCA降维操作得到低分 辨率特征集对每一个低分辨率块的特征，在训练好的K个中心点中，根据以下式 (25)计算每一个类的中心点和当前块的接近程度w_k(1≤k≤K)：

其中d_k为当前块与类中心点的欧氏距离，h为控制指数衰减速度的常数。然后确定与当前块 最接近的N_c个中心点g_n(1≤n≤N_c，1≤c_n≤K)，其中N_c的值为满足下式(26)的w_n的个数， μ为比例常数。

max(w_k)·μ＜w_n(1≤n≤K) (26)

然后，再通过下式(27)加权平均投影的低分辨率块，便可得到对应的高分辨率特征块。

其中

3)最后将所有的高分辨率块拼接为图像其中块与块之间的重叠区域作取平均值处 理，再将以上得到的图像与图像I_NLM作和得到最终的高分辨率输出图像I_FINAL。

表1 各种超分辨率重建方法的PSNR(dB)指标(放大倍数为3×3)

表2 各种超分辨率重建方法的SSIM指标的对比(放大倍数为3×3)

本发明所有方法的运行环境是Window10操作系统，并且为64位的操作系统，采用Matlab 的仿真软件实现本发明所提出的方法、以及双三次插值方法、Yang所提出的方法、Zeyde所 提出的方法、和ANR的方法，计算机CPU型号为Intel的CORE i5，内存大小为16GB。

本发明中的参数设置如下：Yang所提出的方法与本发明所提出的方法的训练图像均为 Yang所采用的91幅图像，离线训练与在线重建阶段所有的图像块大小均为9×9，而相邻块 之间的重叠大小为6个像素点。离线训练阶段聚类的类别数K＝1024，平衡因子λ＝0.2。本发 明所提出的方法的离线训练耗时3439.27秒，由于在线重构阶段需要先用NLM算法对双三次 插值后的图像进行强化，再用强化后的I_NLM提取特征与训练好的类计算距离并寻找最接近的 若干类。在线重构阶段，利用NLM算法加强时，为了降低时耗，对每一个像素点i，在寻找 其相似点是在以i为中心大小为(2r₁+1)×(2r₁+1)的图像块中进行的，本实验中r₁＝3，在除 去本身的48个点中寻找最相似的neighbor个点，本实验中neighbor＝10。而计算(15)式即块 与块间的距离时的r＝2，(15)式中的β＝0.85，常量h＝25，(2)式与(19)式迭代求解时，最大迭 代次数N_t＝200，步长τ为1，平衡因子γ为0.1。

测试图像采用的是Set5和Set14一共19幅图像，使用PSNR(峰值信噪比)和SSIM(结构相似度)作为客观评价标准，测试结果如表1和表2所示。表1和表2分别列举了各种算 法的PSNR和SSIM的对比值以及两个测试集的平均值，其中加粗数据为同一幅图像的各种 算法结果中的最优值。从表1的PSNR上可以看出，在Set5上本发明方法平均比Zeyde的方 法提高了0.54dB，比Yang的方法提高了1.54dB，比ANR方法提高了0.52dB。在Set14上本 发明算法比Zeyde的方法提高了0.23dB，比Yang的方法提高了0.55dB，比ANR的方法提高 了0.25dB。从表2的SSIM可以看出，在Set5上本发明方法比Zeyde的方法提高了0.0066， 比ANR的方法高了0.0067。在Set14上本发明方法比Zeyde的方法提高了0.0043，比ANR 的方法提高了0.0021。综合来看，在Set5的测试结果中本发明所提方法不论是在PSNR指标 还是SSIM指标上在5幅图像的测试结果上均高于比较的四种方法。而在Set14的测试结果中， 除了个别图像的结果略微低于ANR的方法和Zeyde方法，整体上都优于其他四种方法。

除了从PSNR和SSIM这两个客观因素进行不同算法的实验结果比较外，本发明从视觉 效果上对两幅常用的测试的图像进行了比较，其结果如说明书附图2和附图图3所示，两幅 测试图像分别为Set5图像集中的Butterfly图像和Set14图像集中的Face图像。由于ANR方 法的结果与Zeyde的方法的结果十分接近，肉眼较难比较，故这里只选取了Bi-cubic方法、 Yang的方法、ANR的方法、和本发明所提出的方法，对这四种方法的实验结果进行视觉比 较。

由说明书附图2和图3可以看出，Bi-cubic插值方法的效果要明显比Yang的方法、ANR 的方法和所提出的方法，这三种基于学习的方法要差，得到的图像较为平滑和模糊，细节部 分也不够突出，有着较明显的锯齿效应。而Yang的方法则相对Bi-cubic方法而言清晰一些， 锯齿效应也有所减少，但仍然比较模糊。ANR方法的视觉效果较好，图像较前两种方法更为 清晰，但是局部纹理与边缘部分仍不够清晰。而本发明所提出的方法较Bi-cubic方法、Yang 的方法和ANR方法而言，所得到的图像更为清晰，边缘细节部分也更为丰富。

因此，本发明将所提出的方法和双三次插值方法、Zeyde所提出的方法、Yang所提出的 方法以及ANR方法进行了比较，由实验结果可知所提出的方法所得到的超分辨率的重构图像 无论是主观质量上还是客观质量上都比Zeyde的方法、Yang的方法以及ANR方法有所提高。

Claims (2)

1.一种基于非局部均值的图像超分辨率方法，其特征在于：包括离线的训练过程和在线的图像超分辨率放大的过程，其离线的训练过程包括如下步骤，

A1)将输入的训练的高分辨率图像I_H作模糊和下采样处理得到低分辨率图像I_L，即，其中，S为图像需要放大的倍数，↓_S是下采样S倍的算子，B是模拟的模糊算子，其元素σ²为方差参数，i＝-L，...，0，...，L，j＝-L，...，0，...，L，即，i和j为从-L到L之间的整数，L为算子的范围，

A2)将I_L经过双三次插值后得到大小与I_H相同的图像I_bic，然后采用迭代反向投影的方法，即如下式的方法，对图像I_bic进行加强得到图像I_back，

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S}

其中，t为迭代次数，初始时X⁰＝I_bic，经过N_t次迭代后，τ为步长参数，S为图像需要放大的倍数，↓_S是下采样S倍的算子，↑_S是上采样S倍的算子，

A3)对I_back进行分块，使用如下

L＝(1，0，-2，0，1) (2)

G^T＝[1，0，-1[^T (3)

L^T＝(1，0，-2，0，1)^T (4)

四个滤波器模板进行滤波处理，提取特征后再采用主成分分析(principle componentanalysis，PCA)方法降维后得到低分辨率特征块，其中，每个低分辨率特征块插入到当前低分辨率特征块的集合中，而高分辨率特征块则由I_H与I_back作差获取高频信息后再分块得到，每个高分辨率特征块插入到当前高分辨率特征块的集合中，

A4)返回以上步骤A1中，处理下一幅训练图像，直到处理完所有的训练图像为止，才进行以下的步骤。

A5)用K-均值(K-means)分类方法对进行分类，共得到K个类，每个类的矩阵(k＝1，...，K)由此类中的低分辨率特征块构成，每个低分辨率块按照从上到下，从左到右的扫描顺序构成其中的一个列，以及这个类所对应的矩阵由此类中所对应的高分辨率特征块构成，每个对应的高分辨率块按照从上到下，从左到右的扫描顺序构成其中的一个列。最后根据每一类的和求出该类对应的映射矩阵F^k，其中F^k由式

计算得到，其中I是单位矩阵，λ是平衡因子，T为矩阵转置符号，在得到并存储每个类的投影矩阵后，就完成了离线的训练过程；

所提出的方法的在线超分辨率放大过程包括以下步骤，

B1)对于输入的低分辨率图像I_INPUT，首先将其进行双三次插值操作得到图像I_MIDLLE，再利用非局部均值化处理，对图像I_MIDLLE进行效果增强得到图像I_NLM，

B2)然后，再对图像I_NLM进行与离线训练阶段A3步骤中同样的分块、提取特征、PCA降维操作得到低分辨率特征集对每一个低分辨率块的特征，在训练好的K个中心点中，根据以下式计算每一个类的中心点和当前块的接近程度w_k(1≤k≤K)，

其中d_k为当前块与类中心点的欧氏距离，h为控制指数衰减速度的常数，

B3)然后确定与当前块最接近的N_c个中心点g_n(1≤n≤N_c，1≤c_n≤K)，其中N_c的值为满足下式的w_n的个数，μ为比例常数，

max(w_k)·μ＜w_n(1≤n≤K)

B4)然后，再通过下式加权平均投影的低分辨率块，便可得到对应的高分辨率特征块，

其中，表示低分辨率的特征块，矩阵为离线训练阶段产生的第c_n类的投影矩阵，

B5)最后将所有的高分辨率块拼接为图像其中块与块之间的重叠区域作取平均值处理，再将以上得到的图像与图像I_NLM作和得到最终的高分辨率输出图像I_FINAL。

2.如权利要求1所述的一种基于非局部均值的图像超分辨率方法，其特征在于，其B1处理步骤的非均值化处理包括以下处理过程，

利用非局部均值化处理图像I_MIDLLE，利用下式进行效果增强得到图像I_NLM

X^t+1＝X^t+τ{(Y-(X*B)↓_S)↑_S-γ(I-U)^T(I-U)X}

其中t为迭代次数，τ为梯度下降的步长，γ为平衡因子，初始时X⁰＝I_MIDDLE，经过N_t次迭代后I是单位矩阵，U的定义如下：

P(x_i)为和第i个像素点的所有相似像素点的下标集合，w_ij为第i个像素点和第j个像素点之间的权重，其定义如下：

其中是一个归一化常量，其值为

h为控制指数衰减速度的一个常量，D(i，j)是以像素点i为中心的图像块和以像素点j为中心的图像特征块之间的差异度，其表达式如下：

其中，β为平衡因子，其中矩阵P是通过以上(1-4)式提取的图像块的一阶二阶梯度信息提取特征后再采用主成分分析(principle component analysis，PCA)方法降维后得到的低分辨率特征块所对应的矩阵，表示矩阵Z的二范数值的平方值，从上式中可以看出，在计算距离时，以(x_i，y_j)为中心的图像块的大小为(2r+1)×(2r+1)。