CN102243711A - 一种基于邻域嵌套的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于邻域嵌套的图像超分辨率重建方法，属于数字图像增强技术领域。本发明利用离线方式构建了一个包含多个子预测器的分类预测器，并使用该分类预测器进行在线超分辨率图像重建，节省了传统方法在计算优化权值时所需的大量计算时间，有效提高了超分辨率图像重建的实时性。本发明还通过多特征融合以及与实际情况贴近的退化模型，进一步提高了超分辨率图像的重建质量。对于随机的遥感图像处理、医学视频处理、军事安全监控系统开发等方面，都具有重要的理论和实际意义。

Description

一种基于邻域嵌套的图像超分辨率重建方法

技术领域

本发明涉及一种图像超分辨率重建方法，尤其涉及一种基于邻域嵌套的图像超分辨率重建方法，属于数字图像增强技术领域。

背景技术

图像空间分辨率是图像质量评价关键性的一项指标，也是图像应用中举足轻重的一个参数，它表示景物信息的详细程度。然而，目前许多成像系统，如红外成像仪和CCD照相机等，在采集图像过程中，受其固有传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠采样效应又会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。如果采用增加传感器阵列采样密度的办法来提高图像分辨率和消除变形效应，可能会付出昂贵的代价或者面临很难克服的技术困难。因此从软件方面着手来提高图像分辨率有着极大的现实意义和应用价值，解决这一问题的一个有效办法就是采用超分辨率(Super Resolution，SR)重建技术，即通过一序列低分辨率(Low Resolution，LR)变形图像来估计高分辨率(High Resolution，HR)的非变形图像。近年来，超分辨率重建技术已成为图像处理领域的一个研究热点，广泛应用于遥感、医学成像和军事等多个领域，并且取得了较为丰硕的成果。

在低分辨率图像序列的帧数较少以及分辨率提高倍数较大的情形下，低分辨率图像序列所能提供的互补性样本信息相对有限，不足以使超分辨率重建算法恢复更多的高频信息。这种情况下关于图像本身的先验知识就显得非常重要。除了传统MRF统计先验模型和正则空间几何图像模型能够提供图像的先验信息，另一种重要方法就是通过神经网络技术进行学习训练得到。基于学习的超分辨(example-based SR)重建研究的主要思想是，通过学习已有的高分辨率图像序列获取先验信息进而提高分辨率。

正是由于基于学习的超分辨率重建方法不需要太多的图像先验知识，因而得到进一步发展。文献(IEEE Transaction on Image Processing，17(6)：873-886)提出一个鲁棒的全局人脸空间模型以得到人脸超分辨率图像细节，其缺点是该种方法只能应用于某些特定的图像，比如人脸图像等。文献(IEEE Transaction on Image Processing，16(6)：1596-1610)运用支持向量回归学习的方法研究低分辨率图像与高分辨率图像的DCT(离散余弦变换)系数的关系，进而进行超分辨率重建，这个方法具有一定的普遍性，但是也存在一个问题，即需事先假设如高斯分布、DCT系数等较强的先验知识。文献(Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，Minnesota，USA，2007，1-8)引入软边缘平滑先验知识，并结合阿尔法抠图技术进行彩色图像的超分辨率。其缺点是：如果先验参数选择不准确，将导致过度平滑甚至导致重建图像模糊。

邻域嵌套超分辨率重建方法是基于学习的超分辨率方法中重要的一个分支，近年来取得了丰硕的研究成果。邻域嵌套算法的主要原理为：将训练的低分辨图像和重建低分率图像分别对应分块，并得出重建低分辨率图像分块与多个训练低分辨率图像分块的对应关系，并将对应关系应用于训练的高分辨率图像分块与重建的高分辨图像分块之中，借此得出重建的高分辨图像。文献(Proceeding of IEEE Computer Society Conference onComputer Vision and Pattern Recognition，Washington，DC，USA，2004，275-282)注意到低分辨率和高分辨率图像相对应的分块具有相似的局部几何特征，对低分辨率和高分辨率图像进行相似性对应分块，提出了基于邻域嵌套的超分辨率重建算法(Super-Resolutionthrough Neighbor Embedding，SRNE)，在该方法中，高分辨率测试图像分块用一组经过优化加权的高分辨率训练图像分块来表示。实验表明该方法在保持图像形状，减少人工痕迹方面优于Freeman算法，但是，这种方法没有深入研究图像属性，比如：图像边缘，以及邻域尺寸等，因此其性能和训练图像的选择密切相关。文献(Proceeding of IEEEConference on Computer Vision and Pattern Recognition，Minneapolis，USA，2007，201-205)提出一种基于邻域嵌套的图像联想方法，这也是由SRNE演化而来，该方法将最大滤波响应作为特征进行提取，但是由于其中的高频分量条件独立于中，低频分量，因此该算法在保持邻域信息方面仍然非常欠缺。

综上所述，现有的基于学习的超分辨率方法主要存在如下问题：

①超分辨率重建计算时间消耗过大

实时性是超分辨率重建的重要技术指标，其将影响超分辨率重建技术在安全监控、高清电视等诸多领域的应用，而现有算法需要经过分块，训练，重建，拼接等步骤，计算量相当大，实时性较差，这势必影响了超分辨率技术的推广应用。而提升超分辨率技术实时性的有价值的成果并不多见，有待更多的深入研究。

②训练集和测试集图像选择过于简单，没有考虑图像实际退化情况

训练集图像过于简单，如SRNE、NeedFS等算法，其训练集中的低分辨率图像，是通过高分辨率图像简单的采样所得，且一幅高分辨率训练图像只对应一幅低分辨率训练图像，且对实际中图像退化的模糊过程和仿射变换过程没有任何的考虑，这势必对重建的效果产生消极的影响。

发明内容

本发明所要解决的技术问题在于克服现有基于学习的图像超分辨率重建技术所存在的重建计算时间过大，实时性差的缺陷，提供一种基于邻域嵌套的图像超分辨率重建方法。

本发明采用以下技术方案解决上述技术问题：

一种基于邻域嵌套的图像超分辨率重建方法，包括以下步骤：

步骤1、将高分辨率训练图像经退化处理，转变为L幅低分辨率图像，L为大于1的整数；

步骤2、分别将得到的L幅低分辨率图像以及低分辨率测试图像进行邻域嵌套分块，并进行特征提取，得到低分辨率训练图像分块及低分辨率测试图像分块；

步骤3、将低分辨训练图像分块和低分辨率测试图像分块进行离线训练，得到自适应权值系数，并送入一个包含U个子预测器的分类预测器，U为分块数；

步骤4、将高分辨率训练图像进行邻域嵌套分块，并将高分辨率训练图像分块送入分类预测器中，根据相应的自适应权值系数进行计算，得到最终的高分辨率测试图像。

所述步骤3具体包括以下各子步骤：

步骤301、用L2范数得出与第i个测试图像分块

最接近的V(V＜U)个训练图像分块，即：

$L_{\mathrm{ij}}={\left|\right|y_t^i-y_s^j\left|\right|}^2$

根据L_ij的大小，依次选出V个与

最接近的训练集图像分块，记为：

步骤302、对于测试集中的第i分块

令：

$\min {\mathrm{\ϵ}}_i:{\mathrm{\ϵ}}_i=y_t^i-\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,v}{y}_s^{i,v}$

ω_i，u为第i分块自适应优化权值，解出上式的最小化问题，然后即可求出高分辨率测试图像分块

如下： $z_t^i=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\left({\mathrm{\ω}}_{i,v}{z}_s^{i,v}\right)$

其中，

为与

相对应的第i个高分辨率训练图像分块；

步骤303、将所有可能的权值组合送入分类预测器中相应的子预测器。

进一步地，所述退化处理是指使用模糊化、运动变换、采样、加入噪声这四种处理方法中的一种或多种对图像进行处理。

进一步地，所述特征提取是指先分别提取至少两个特征，然后将提取出的特征进行融合。

本发明利用离线方式构建了一个包含多个子预测器的分类预测器，并使用该分类预测器进行在线超分辨率图像重建，节省了传统方法在计算优化权值时所需的大量计算时间，有效提高了超分辨率图像重建的实时性。本发明还通过多特征融合以及与实际情况贴近的退化模型，进一步提高了超分辨率图像的重建质量。对于随机的遥感图像处理、医学视频处理、军事安全监控系统开发等方面，都具有重要的理论和实际意义。

附图说明

图1为本发明具体实施方式中多特征融合的特征提取方法原理示意图；

图2为本发明具体实施方式中分类预测器离线训练流程图；

图3为本发明的图像超分辨率重建方法流程图；

图4为实验所使用的训练和测试图像；

图5为实时性对比实验结果。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的图像超分辨率重建方法，包括以下步骤：

步骤1、将高分辨率训练图像经退化处理，转变为L幅低分辨率图像，L为大于1的整数；

通常基于邻域嵌套的SR重建算法，都是选择一幅HR图像和对应的一幅LR图像作为训练图像，并且训练集中的LR图像是通过HR图像经过简单采样得到的，这并没有考虑到图像退化模型，并且简单的采样并不能准确描述现实中HR图像的退化(或者降质)过程，因此将影响图像重建效果。

本发明将训练集扩大，令：Z_s为HR训练图像，

为Z_s经过模糊化、运动变换、采样以及加入噪声因素，退化成的第k幅(k＝1，2，L，L)LR图像。即有：

$Y_s^k={\mathrm{DB}}_k{M}_k{Z}_s+n_k,$ 1≤k≤L                   (1)

上式模型中，为第k幅m×n的LR观测图像

经字典排序后组成的N×1(N＝mn)的向量，如果r₁和r₂分别为水平和垂直方向的下采样因子，那么，Z_s为r₁m×r₂n的HR训练图像

经字典排序后形成的r₁r₂N×1的向量，M_k为r₁r₂N×r₁r₂N的仿射变换矩阵，B_k为r₁r₂N×r₁r₂N的模糊矩阵，D为N×r₁r₂N下采样矩阵，n_k为N×1的高斯白噪声向量。

步骤2、分别将得到的L幅低分辨率图像以及低分辨率测试图像进行邻域嵌套分块，并进行特征提取，得到低分辨率训练图像分块及低分辨率测试图像分块；

将

分割成U个大小为s×s的小块，组成块集合

(k＝1，2，L，L)，表示第k幅LR训练图像的第i小块，相邻的块之间有1或2个像素点重合，同样，将Z_s分割成相对应的U个大小为r₁s×r₂s的小块，同样相邻的块之间根据水平方向和垂直方向分别有r₁，r₂或者2r₁，2r₂个像素点重合，组成块集合

和

对于参数i是一一对应的关系；同样，将第k幅LR测试图像

(k＝1，2，L，L′)也通过同样的方法进行分块，组成块集合

本发明在进行特征提取时，采用了多信息融合的特征提取方法，即提取梯度信息与灰度信息并进行特征融合，有效降低图像噪声、锐化图像边缘。其原理如附图1所示，具体按照以下方法：

首先，提取图像分块的亮度特征，将原始图像分块转化为标准亮度分块，标准亮度的计算公式如下，

$u_{\mathrm{ij}}=x_{\mathrm{ij}}-\frac{1}{s^2}\underset{p=1}{\overset{s}{\mathrm{\Σ}}}\underset{q=1}{\overset{s}{\mathrm{\Σ}}}{x}_{\mathrm{pq}},---\left(2\right)$

然后提取图像分块的边缘信息，边缘信息为4维的边缘特征向量，其作用为使得原图像中有边缘的地方锐化，而平滑的地方则抑制噪声。边缘特征向量由标准亮度根据下式计算得出，

$b_{i,j}={\left|\right|b_{i,j}\left|\right|}^2={\left(b_{i,j}^1\right)}^2+{\left(b_{i,j}^2\right)}^2+{\left(b_{i,j}^3\right)}^2+{\left(b_{i,j}^4\right)}^2---\left(3\right)$

其中：

$b_{i,j}=\left(\begin{array}{c}(u_{i,j-1}-u_{i,j})+(u_{i,j}-u_{i,j+1})\\ (u_{i-1,j}-u_{i,j})+(u_{i,j}-u_{i+1,j})\\ \frac{\sqrt{2}}{2}(u_{i-1,j-1}-u_{i,j})+\frac{\sqrt{2}}{2}(u_{i,j}-u_{i+1,j+1})\\ \frac{\sqrt{2}}{2}(u_{i-1,j+1}-u_{i,j})+\frac{\sqrt{2}}{2}(u_{i,j}-u_{i+1,j-11})\end{array}\right)=\left(\begin{array}{c}{u}_{i,j-1}-u_{i,j+1}\\ u_{i-1,j}-u_{i+1,j}\\ \frac{\sqrt{2}}{2}(u_{i-1,j-1}-u_{i+1,j+1})\\ \frac{\sqrt{2}}{2}(u_{i-1,j+1}-u_{i+1,j-1})\end{array}\right)=\left(\begin{array}{c}{b}_{i,j}^1\\ b_{i,j}^2\\ b_{i,j}^3\\ b_{i,j}^4\end{array}\right)---\left(4\right)$

最后，按照下式将亮度特征和边缘特征进行融合，从而得到低分辨率训练图像分块及低分辨率测试图像分块的总体特征，

x_i，j＝[u_i，j，b_i，j]，                               (5)

步骤3、将低分辨训练图像分块和低分辨率测试图像分块进行离线训练，得到自适应权值系数，并送入一个包含U个子预测器的分类预测器，U为分块数；

如图2所示，本发明的分类预测器P中包含U个子预测器P_j，我们知道，在U块分块中要选取V个最接近的分块，共有

种可能的组合方式，预测分类器的思想为：将所有的可能的自适应权值的组合先离线计算出来，放入U个子预测器中，可以看出，子预测器是一个V维空间，令之为P[U₁][U₂]L[U_V]，其中1≤U_i≤U，1≤i≤V。当LR测试图像分块通过拉式距离得到V个最近的LR训练图像分块，分别送入相对应的子预测器中，取出各自的自适应优化权值，然后直接通过下式计算出HR重建图像。如附图2所示，整个过程如下；

首先用L2范数得出与第i个测试图像分块最接近的V(V＜U)个训练图像分块，即：

$L_{\mathrm{ij}}={\left|\right|y_t^i-y_s^j\left|\right|}^2---\left(6\right)$

根据L_ij的大小，依次选出V个与

最接近的训练集图像分块，记为：

对于测试集中的第i分块令：

$\min {\mathrm{\ϵ}}_i:{\mathrm{\ϵ}}_i=y_t^i-\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,v}{y}_s^{i,v}---\left(7\right)$

ω_i，u为第i分块自适应优化权值，解出上式的最小化问题，然后即可求出高分辨率测试图像分块

训练的数据采用LR训练图像分块集，即上式可变为：

$\min {\mathrm{\ξ}}^i:{\mathrm{\ξ}}^i=y_s^i-\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,v}{y}_s^{i,v}---\left(8\right)$

于是(8)式中就转变为离

最近的V个训练集图像分块，

(8)式的最小化问题可转化为约束最小二乘问题，解决方法如下：

令：

$G_i={(y_s^i{1}^T-H)}^T(y_s^i{1}^T-H)---\left(9\right)$

这里，1为元素都为1的列向量，H为矩阵，其列向量由与

最近的V个分块(v＝1，2，L，V)构成，则：

${\mathrm{\ω}}_i=\frac{G_i^{-1}1}{1^T{G}_i^{-1}1}---\left(10\right)$

(10)式中，ω_i为V维的列向量，其元素由自适应优化权值ω_i，v(v＝1，2，L，V)组成。用上述方法算出所有可能的

种优化权值组合，然后分别输入到预测器中，以作为在线图像重建时使用。

步骤4、将高分辨率训练图像进行邻域嵌套分块，并将高分辨率训练图像分块送入分类预测器中，根据相应的自适应权值系数进行计算，得到最终的高分辨率测试图像。

本发明的图像超分辨率重建方法的流程如图3所示。

为了验证本发明的有益效果，进行了以下实验：以图4中的图像作为训练和测试图像，分别采用本发明方法，以及现有的SRNE算法、NeedFS算法进行图像重建。采用分块均方差ε_p来验证各方法的优劣，分块均方差ε_p定义如下：

(11)式中，

为HR图像的第i块分块真值，

为HR测试图像的第i个分块的重建值，

和

分别为其相应的第j个像素点，U为分块的个数。

依次选择图4中第a，b，c，d，e，f幅图像为训练图像，其余则为测试图像，例如：当选a为训练图像时，其余的5幅图像为测试图像，这样，共进行六组实验。实验首先令L＝L′＝3，仿射变换参数以及模糊过程的选择如表1所示，其中，表1中三种模糊过程的点扩展函数定义如(12)式所示：

表1

实验结果如图5所示，图中的实验结果为每组实验数据的平均值，其中1为SRNE算法，2为NeedFS算法，3为本发明方法(L＝2，L′＝2)，SRNE和NeedFS都是较为经典的算法，因此和本发明方法进行效果比较就具有代表性和典型性。由图5可知，本发明的分块均方差ε_p相对较小，由此可得本发明方法重建的图像较为平滑，噪声较小。

接着又比较了本发明方法，SRNE算法以及NeedFS算法的实时性，同样进行了6组实验，实验结果如图5所示。图5的纵轴代表每秒可重建的帧数，其中1为SRNE算法，2为NeedFS算法，3为本发明方法(L＝2，L′＝2)，由图中可以看出，NeedFS虽然效果要好于SRNE，但是由于需对特征进行加工和处理，实时性反而要略低于NeedFS；而本发明方法的实时性大大优于其它两种算法，基本可以对视频进行处理，当然，本发明方法的离线运算会耗费一定的时间，但这并不影响算法在线计算的实时性。

Claims (6)

1.一种基于邻域嵌套的图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1、将高分辨率训练图像经退化处理，转变为L幅低分辨率图像，L为大于1的整数；

步骤2、分别将得到的L幅低分辨率图像以及低分辨率测试图像进行邻域嵌套分块，并进行特征提取，得到低分辨率训练图像分块及低分辨率测试图像分块；

步骤3、将低分辨训练图像分块和低分辨率测试图像分块进行离线训练，得到自适应权值系数，并送入一个包含U个子预测器的分类预测器，U为分块数；

步骤4、将高分辨率训练图像进行邻域嵌套分块，并将高分辨率训练图像分块送入分类预测器中，根据相应的自适应权值系数进行计算，得到最终的高分辨率测试图像。

2.如权利要求1所述基于邻域嵌套的图像超分辨率重建方法，其特征在于，步骤3具体包括以下各子步骤：

步骤101、用L2范数得出与第i个测试图像分块

最接近的V(V＜U)个训练图像分块，即：

$L_{\mathrm{ij}}={\left|\right|y_t^i-y_s^j\left|\right|}^2$

根据L_ij的大小，依次选出V个与

最接近的训练集图像分块，记为：

步骤102、对于测试集中的第i分块

令：

$\min {\mathrm{\ϵ}}_i:{\mathrm{\ϵ}}_i=y_t^i-\underset{v=1}{\overset{V}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,v}{y}_s^{i,v}$

ω_i，u为第i分块自适应优化权值，解出上式的最小化问题，然后即可求出高分辨率测试图像分块

如下： $z_t^i=\underset{v=1}{\overset{V}{\mathrm{\Σ}}}\left({\mathrm{\ω}}_{i,v}{z}_s^{i,v}\right)$

其中，

为与

相对应的第i个高分辨率训练图像分块；

步骤103、将所有可能的权值组合送入分类预测器中相应的子预测器。

3.如权利要求1所述基于邻域嵌套的图像超分辨率重建方法，其特征在于，所述退化处理是指使用模糊化、运动变换、采样、加入噪声这四种处理方法中的一种或多种对图像进行处理。

4.如权利要求3所述基于邻域嵌套的图像超分辨率重建方法，其特征在于，所述退化处理是指根据如下退化模型对图像进行模糊化、运动变换、采样以及加入噪声处理：

$Y_s^k={\mathrm{DB}}_k{M}_k{Z}_s+n_k,$ 1≤k≤d

式中，

为第k幅低分辨率训练图像经字典排序后组成的向量，k＝1，2，L，L；Z_s为高分辨率训练图像经字典排序后形成的向量；M_k为仿射变换矩阵；B_k为模糊矩阵；D为下采样矩阵；n_k为噪声向量；d为预先设定的训练集低分辨率图像的个数。

5.如权利要求1-4任一项所述基于邻域嵌套的图像超分辨率重建方法，其特征在于，所述特征提取是指先分别提取至少两个特征，然后将提取出的特征进行融合。

6.如权利要求5所述基于邻域嵌套的图像超分辨率重建方法，其特征在于，所述特征提取是指先分别提取亮度特征和边缘特征，然后将亮度特征和边缘特征进行融合。

Images