CN101226631A - 一种超分辨率图像重构方法和装置 - Google Patents

Abstract

本发明公开了一种超分辨率图像重构方法，包括以下步骤：获取第一图像的一阶梯度特征和标准光照特征；根据所述一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。通过本发明实施例，通过一阶梯度特征和标准光照特征的加权组合来保证图像块之间的几何分布具有较高的相似度，并区分图像块的类型，同时为了提高搜索性能的速度，仅针对边缘图像块进行旋转，这也节省了存储的空间。

Description

一种超分辨率图像重构方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种超分辨率图像重构方法和装置。

背景技术

图像超分辨率(Super Resolution，SR)指利用一幅或者多幅低分辨率(LowResolution，LR)图像，通过相应的算法来获得一幅清晰的高分辨率(HighResolution，HR)图像。这一方法在移动通信、图像和视频压缩技术、社会安全、视频监控、图形渲染、图像修复、生物认证、卫星和天文图像、高清电视等有着重要的应用价值和市场前景。

尽管超分辨率技术具有非常巨大的应用价值和市场前景，国内外在这一方向上的理论和应用研究仍处在探索阶段。主要的难点在于由于同一低分辨率图像可以由多个高分辨率图像退化生成，从数学上而言，超分辨率研究期望解决的实质上是一个一对多的问题，或病态问题。目前，图像超分辨率研究可分为三个主要范畴：基于插值，基于重建和基于学习的方法。

现有技术提出了一种基于邻域嵌套的图像超分辨率方法，其中的基本假设就是，高分辨率和对应的低分辨率图像块假设在特征空间形成了具有相同局部几何结构的流形。这样，高分辨率图像块可以用一系列优化加权的训练图像块估计得到。现有技术的方案中，沿用的是原有的邻域嵌套思想，原来是用于发现高维数据的低维流形。在图像超分辨率算法中，则是从低分辨率图像块特征中去获得相应的高分辨率图像块特征。在现有技术的方案中，采用的是图像块的一阶和二阶梯度的组合来构成低分辨率图像块特征。在图像块的选择上，取3×3大小的图像块。

假定图像块特征已经被提取，且训练图像集可以先验地通过引入子采样技术来构成高分辨率-低分辨率图像块对。由于图像在超分辨率算法中，细节的损失常出现在光照分量上，因此，可以只对光照分量的图像作超分辨率算法。

更具体地，令高分辨率训练图像Y_s首先被子采样n倍来构成低分辨率图像X_s。两个训练图像均被分割成若干重叠的训练图像块(对X_s有s×s个图像块，对Y_s则有ns×ns个图像块)，使得任意一对训练图像块(x_s ⁱ，y_s ⁱ)一一对应。这里需要注意的是，训练图像块的构造可以由多个图像来生成，只要保证最终的图像块是一一对应的即可。要被还原的测试图像X_t的光照分量依相同的原则分割成若干测试图像块x_t ^q。假定图像块的特征已经选定，对每个测试图像块x_t ^q，将从低分辨率的训练图像块中搜索K个最近图像块，并计算最优权值，利用最优权值和训练图像块对的几何相似性来构造高分辨率的测试图像块y_t ^q。

最优权值的计算是通过最小化图像块x_t ^q局部重构误差来实现的，即：

${\mathrm{\ϵ}}^q={\left|\right|x_t^q-\underset{x_s^p\∈N_q}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{qp}}{x}_s^p\left|\right|}^2---\left(1\right)$

这里N_q表示测试图像块x_t ^q在训练集X_s的邻域，集W_q的元素ω_qp是x_s ^p所对应的权值，服从约束条件 $\underset{x_s^p\∈N_q}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{qp}}=1$ 及对任意 $x_s^p\∉N_q$ 有ω_qp＝0。基于以上条件，式(1)的解可以转化为约束最小二乘问题。如果为测试图像块x_t ^q定义局部格拉姆矩阵G_q：

$G_q={(x_t^q{1}^T-X)}^T(X_t^q{1}^T-X)---\left(2\right)$

这里“1”表示一列元素全为1的矩阵，X是一个D×K的矩阵，每一列为x_t ^q在训练图像块的邻域向量，D是邻域向量的特征维数。除此以外，当将邻域内的权值按下标p重排序后形成K维权值向量W_q后，上述约束最小二乘问题有一闭式解：

$W_q=\frac{G_q^{-1}1}{1^T{G}_q^{-1}1}$

由于上式中需对局部格拉姆矩阵G_q求逆，在实际的算法中常采用一个更快捷的方法，即求线性系统方程G_qW_q＝1，然后将获得的权值标准化使得 $\underset{x_s^p\∈N_q}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{qp}}=1.$

在权值W_q被计算后，低分辨率测试图像块所对应的目标图像块y_t ^q按下式来计算：

$y_t^q=\underset{x_s^p\∈N_q}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{y}_s^p$

然后高分辨率的光照分量图像块进行拼接，且重叠区域的图像块进行平均处理。最后，获得的光照分量图像与其他颜色通道的插值图像合成以形成最终的高分辨率彩色图像。考虑到颜色通道对超分辨率算法的影响，图像首先会转换至YIQ空间，在Y分量即光照分量处理后，IQ两个分量仅采用传统的插值技术处理即可，获得的高分辨率图像再转换回RGB空间来显示。

另外，在现有技术的算法中，在构造训练图像块集时，对全部从图像中生成的图像块进行了三次旋转(90，180，270度)，以增加训练集的数量。

现有技术存在的主要问题包括：1)特征的选择上，采用了一阶和二阶梯度信息。从图像的特点易知，当图像中存在噪声或退化严重时，基于二阶梯度来描述图像块特征并不合理，同时，二阶梯度在严重噪声时，典型的双边缘现象也将使得图像块中的边缘很难被辨识。这一点影响了对超分辨率技术中边缘信息的还原。2)由于现有技术的方法在搜索测试低分辨率图像块的邻域时，是对整个训练图像块集来搜索，因此，没有考虑图像块所具有的类型。在选择邻域因子时，这一策略也使得其不具备鲁棒性，容易导致具有边缘的图像块和无边缘的图像块最终产生相同的视觉效果。这一点在超分辨率中是不期望的。另外，训练图像块通过对全部原始图像块进行旋转来生成，这无形中增加了搜索的时间和存储的空间。因此，现有技术中提出的高低分辨率块在邻域嵌套时并不是总具有几何意义上的邻域保持。

因此，现有技术的缺点是：当图像中存在噪声或退化严重时，基于二阶梯度来描述图像块特征并不合理，在搜索测试低分辨率图像块的邻域时，没有考虑图像块所具有的类型。另外，通过对全部的原始图像进行旋转来生成训练图像块，无形中增加了搜索的时间和存储的空间。

发明内容

本发明实施例提供一种超分辨率图像重构方法和装置，以实现基于一阶梯度特征和标准光照特征对图像进行邻域嵌套，以获得一幅高分辨率的图像。

为达到上述目的，本发明实施例一方面提供了一种超分辨率图像重构方法，包括以下步骤：获取第一图像的一阶梯度特征和标准光照特征；根据所述一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。

另一方面，本发明实施例还提供了一种超分辨率图像重构装置，包括：特征获取模块，用于获取第一图像的一阶梯度特征和标准光照特征；邻域嵌套模块，与所述特征获取模块连接，用于根据所述特征获取模块获取的一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。

与现有技术相比，本发明实施例具有以下优点：基于一阶梯度特征和标准光照特征对图像进行邻域嵌套，有利于保持真正的图像块的几何结构，并且针对不同类型的图像块的邻域嵌套可以较好地重建高分辨率的图像。

附图说明

图1为本发明实施例超分辨率图像重构方法的流程图；

图2为本发明超分辨率图像重构方法实施例一的流程图；

图3为本发明实施例超分辨率图像重构装置的结构图；

图4(a)～(f)为本发明实施例的实验用图。

具体实施方式

本发明实施例提供了一种超分辨率图像重构方法，通过本发明实施例，提取对噪声不敏感的一阶梯度特征和反映图像整个结构的标准光照特征，从而保持了真正图像块的几何结构；通过辨识图像块的类型，根据图像块的类型进行邻域嵌套，能够较好地重建高分辨率的图像，同时仅针对有边缘的图像块进行自举，提高了搜索的效率。自举即为对同一图像块进行不同角度的旋转，得到更多的图像块，以获得更丰富的训练图像块集合。

如图1所示，为本发明实施例超分辨率图像重构方法的流程图，具体包括以下步骤：

步骤S101，获取第一图像的一阶梯度特征和标准光照特征。其中标准光照特征为反映图像整个结构的标准光照特征，一阶梯度特征对噪声不敏感，因此获取这两个特征有利于保持真正的图像块的几何结构。

具体而言，标准化的光照特征如以下公式所示：

$v_{\mathrm{ij}}=z_{\mathrm{ij}}-\frac{1}{S^2}\underset{p=1}{\overset{S}{\mathrm{\Σ}}}\underset{q=1}{\overset{S}{\mathrm{\Σ}}}{z}_{\mathrm{pq}},$

其中，z_pq为图像块像素点的具体灰度值，S是图像块的大小。

当图像块(以3*3图像块为例)具有如下结构

z11	z12	z13
			z21	z22	z23
z31	z32	z33

时，该图像块的一阶梯度特征如以下公式所示：

${\▿z}_{22}=\left(\begin{array}{c}(z_{23}-z_{22})+(z_{22}-z_{21})\\ (z_{32}-z_{22})+(z_{22}-z_{21})\end{array}\right)=\left(\begin{array}{c}{z}_{23}-z_{21}\\ z_{32}-z_{12}\end{array}\right)$

步骤S102，根据所述一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。

具体来说，步骤S102进一步包括：

A、对第一图像进行边缘检测，确定图像块的边缘类型；

本发明实施例通过边缘检测技术来提取图像的边缘信息，即将图像的RGB分量分别采用CANNY算子进行边缘检测，并将三个分量的边缘检测结果累加后，通过提出的启发式方法来判定图像块的类型。具体来说，首先对图像I(x，y)采用高斯算子来光滑和降噪形成图像G(x，y)；然后利用水平和垂直梯度算子对图像G(x，y)进行卷积，即：

最终的梯度大小由下式获得：

CANNY边缘检测技术针对梯度结果，寻找图像块的局部极大值。同时，抑制其它值为0。由此，可以获得一组二值图像。为确保能提供更丰富的边缘信息和视觉上适合的边缘，本发明实施例中将RGB空间得到的三组边缘检测结果叠加来形成新的边缘图像。

本发明实施例还通过启发式方法辨识图像块的边缘类型，即从边缘图像中区分哪些图像块具有边缘或非边缘。具体来说，即检测每个图像块对应的边缘检测图像块中的含边缘像素值的总数(on-edge ratios)，依据总数的多少来区分。令具有边缘像素值的像素总数为δ，同时计算每行或每列的最大具边缘像素总数的值δ_row，δ_col。要判定其图像块中是否包含边缘，设定一个阈值Θ。如果δ＜Θ，则将相应的图像块标记为非边缘，否则标记为边缘。基于广泛的实验，发现对于低分辨率图像块而言，可以设置阈值Θ为每个特征维数的大小(长和宽)。其原因在于，如果具有边缘的像素总数不能超过每个特征维数的大小，则图像块中的这些像素趋向于是孤立点和噪声，而不是边缘。

考虑到训练图像块的数量问题，在本发明实施例中采用了两种策略，简化的和复杂的。当仅采用一小块图像来生成训练图像块时，采用简化的版本，即仅考虑边缘和非边缘的区别来自适应地应用邻域嵌套技术。而当训练图像块充分时，可将具有边缘的图像块再细分成四种类型并作标记，分别为水平边缘，垂直边缘，斜向边缘和复杂边缘。细分的策略如表1所示。

                  表1

δ	δrow，δcol	类型	类别
				δ＜Θ	-	非边缘	-
δ＝Θ	δrow＝Θ	边缘	垂直边缘
				δ＝Θ	δcol＝Θ	边缘	水平边缘
δ＝Θ	δrow＝ΘANDδcol＝Θ	边缘	斜向边缘
				δ＞Θ	-	边缘	复杂边缘

B、根据第一图像的图像块边缘类型，在训练图像块集合中搜索最近邻的训练图像块；

本发明实施例对第一图像中每个含标记的图像块特征，从其特定类的训练图像块集中搜索相应的近邻图像块。在简化版本中，图像块标记为含边缘的和非边缘的图像块。最近邻图像块按L2像素距离来搜索，根据不同类型的图像块，可能搜索到个数不等的最近邻图像块数量，记为K。在复杂版本中，例如图像块是边缘图像块，则可以进一步限定在含边缘的图像块集合中搜索；若进一步判断图像块为垂直边缘块，则进一步将搜索范围限定在垂直边缘块集合中，提高了搜索效率。

C、利用搜索到的最近邻训练图像块，合成高分辨率图像。

首先，利用搜索到的最近邻的训练图像块的一阶梯度特征和标准光照特征计算最优权值。

在本发明实施例中，训练图像块采用低分辨率图像块，每个低分辨率图像块对应于一个高分辨率图像块。这些低分辨率训练图像块是已经如前所述，标记有边缘类型。利用搜索到的K个最近邻的低分辨率训练图像块，就可以计算最优权值。最优权值的计算可以有多种方式，本发明的关键在于在计算最优权值时，是根据图像块的一阶梯度特征和标准光照特征来计算的，并且针对不同边缘类型的图像块，采用不同的值计算，更为合理地反映低分辨率图像和高分辨率图像的几何结构。将计算得到的最优权值分别与对应的K个最近邻的高分辨率训练图像块相乘即可获得高分辨率的图像块。当第一图像的全体图像块均计算得到高分辨率图像块时，可以合成光照分量的高分辨率图像。

本发明实施例对所有样本图像块均采用了等四十五度旋转来自举提升训练图像块的数量，以扩充训练图像块的集合。并且由于本发明实施例中提出了区分图像块的类型的方法，因此，仅需考虑特定图像块的自举技术，从而可以有效地减少图像块的存储空间，提高搜索性能。具体来说，在简化策略中，仅需对含有边缘的低分辨率训练图像块旋转三次(90，180和270度)来生成额外的训练样本，对于非边缘的图像块，则无需进行旋转，节省了存储空间和搜索时间。本发明实施例中，对图像块的旋转并不是直接旋转得到新图像块，而是每次旋转后，分配一个标签来标识需要逆时针旋转的次数。这一方法的好处在于无需对所有高分辨率的训练图像块进行旋转和存储，而只需要利用相应的标签来旋转必要的图像块即可，从而节省了存储空间。在复杂策略中，具水平边缘的图像块旋转90和270度后标记为具垂直边缘的图像块，类似的操作也可适用于具垂直边缘的图像块。另外，具斜向和复杂边缘的图像块在旋转操作后不改变其图像块的类型。

上述超分辨率图像重构方法，通过提取图像的一阶梯度特征和标准光照特征来保持真正的图像块的几何结构，并区分图像块的类型，针对不同类型的图像块的邻域嵌套可以较好地重建高分辨率的图像，并且仅针对具有边缘的图像块的自举，既可扩充训练图像块的几何，又不致使训练图像块的集合有明显的增加，减小了存储的空间，提高了搜索的效率。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：

如图2所示，为本发明超分辨率图像重构方法实施例一的流程图，具体包括以下步骤：

步骤S201，提取图像块的标准光照特征和一阶梯度特征；

以RGB图像为例，考虑到颜色通道对超分辨率图像重构的影响，首先将RGB图像转换至YIQ颜色空间，同时它的边缘图像从RGB三个分量合并生成。YIQ空间的Y分量即光照分量图像用于为每个图像块提取本发明实施例所述的标准光照特征和一阶梯度特征的组合特征向量。具体而言，标准光照特征如以下公式所示：

$v_{\mathrm{ij}}=z_{\mathrm{ij}}-\frac{1}{S^2}\underset{p=1}{\overset{S}{\mathrm{\Σ}}}\underset{q=1}{\overset{S}{\mathrm{\Σ}}}{z}_{\mathrm{pq}},$

其中，z_pq为图像块像素点的具体灰度值，S是图像块的大小(像素点总数)，被减去的部分为图像块所有像素点的平均灰度值。在重构高分辨率图像时，被减去的平均灰度值需要补偿回来。

当训练图像块具有如下结构

z11	z12	z13
			z21	z22	z23

z31

z32

z33

时，该训练图像块的一阶梯度特征如以下公式所示：

${\▿z}_{22}=\left(\begin{array}{c}(z_{23}-z_{22})+(z_{22}-z_{21})\\ (z_{32}-z_{22})+(z_{22}-z_{21})\end{array}\right)=\left(\begin{array}{c}{z}_{23}-z_{21}\\ z_{32}-z_{12}\end{array}\right)$

另两个颜色分量(I和Q分量)则采用插值技术来获得期望的分辨率。

步骤202，对YIQ图像进行边缘检测，确定图像块的边缘类型；

同时，可采用本发明实施例提出的启发式方法来辨识每个图像块的边缘类型。具体来说，即检测每个图像块对应的边缘检测图像块中的含边缘像素值的总数(on-edge ratios)，依据总数的多少来区分。令具有边缘像素值的像素总数为δ，同时计算每行或每列的最大具边缘像素总数的值δ_row，δ_col。要判定其图像块中是否包含边缘，可设定一个阈值Θ。如果δ＜Θ，则将相应的图像块标记为非边缘，否则标记为边缘。基于广泛的实验，发现对于低分辨率图像块而言，可以设置阈值Θ为每个特征维数的大小(长和宽)。其原因在于，如果具有边缘的像素总数不能超过每个特征维数的大小，则图像块中的这些像素趋向于是孤立点和噪声。考虑到训练样本的数量问题，在本发明实施例中采用了两种策略，简化的和复杂的。当仅采用一小块图像来生成训练图像块时，采用简化的策略，即仅考虑边缘和非边缘的区别来自适应的应用邻域嵌套技术。而当训练图像块充分时，可将具有边缘的图像块再细分成四种类型，分别为水平边缘，垂直边缘，斜向边缘和复杂边缘。细分的策略如表1所示。

步骤S203，根据图像块的类型，从其特定类的训练图像块集合中搜索相应的近邻图像块。在简化版本中，图像块标记为含边缘的和非边缘的图像块。最近邻图像块按L2距离(第二范式距离)来搜索，搜索得到的最近邻训练图像块K的取值根据经验值和要求生成的图像的分辨率等因素确定，但本发明实施例以K＝2进行说明。

本发明实施例对所有图像块均采用了等四十五度旋转的技巧来自举提升训练图像块的数量，以扩充训练图像块的集合。然而，由于本发明实施例中提出了区分图像块的类型的方法，因此，仅需考虑对特定图像块的自举技术，从而可以有效地减少图像块的存储空间，提高搜索性能。具体来说，在简化策略中，对含有边缘的低分辨率训练图像块旋转三次(90，180和270度)来生成额外的训练样本。每次旋转后，分配一个“旋转次数”的标签来辨识逆时针旋转的次数。这一方法的好处在于无需对高分辨率的训练图像块进行旋转和存储，而只需要利用相应的标签来旋转必要的图像块即可，有利于节省存储空间，提高搜索性能。在复杂策略中，即训练图像块充分时，具水平边缘的图像块旋转90和270度后标记为具垂直边缘的图像块，类似的操作也可适用于具水平边缘的图像块。另外，具斜向和复杂边缘的图像块在旋转操作后不改变其图像块的类型。

步骤S204，利用搜索到的最近邻训练图像块，获得高分辨率图像。

首先利用2个搜索出的最近的低分辨率训练图像块的一阶梯度和标准光照特征计算最优权值。将最优权值与相应的最近邻高分辨率训练图像块相乘可获得含标准光照特征的高分辨率的图像块。然后将之前被减去的图像块平均灰度值补偿回到光照分量上，得到YIQ空间光照分量的高分辨率图像块上。在全体图像块被处理完之后，根据得到的多个高分辨率图像块合成该分量的高分辨率图像。最后，结合另两个分量IQ，合成高分辨率的YIQ图像，再将YIQ图像转换回RGB空间即可得到与原RGB图像相应的高分辨率图像。

上述超分辨率图像重构方法，通过一阶梯度特征和标准光照特征的加权组合来保证图像块之间的几何分布具有较高的相似度，同时区分图像块的类型，为提高搜索性能的速度，仅针对边缘图像块进行旋转，这也节省了存储的空间。

如图3所示，为本发明实施例超分辨率图像重构装置的结构图，具体包括特征获取模块1，用于获取第一图像的一阶梯度特征和标准光照特征；邻域嵌套模块2，与特征获取模块1连接，用于根据特征获取模块1获取的一阶梯度特征和标准光照特征对第一图像进行邻域嵌套，得到分辨率高于第一图像的第二图像。

其中，邻域嵌套模块2包括：边缘检测子模块21，用于对第一图像进行边缘检测，确定第一图像的图像块的边缘类型。

图像块搜索子模块22，与边缘检测子模块21连接，用于根据边缘检测子模块21确定的第一图像的图像块的边缘类型，在训练图像块集合中搜索最近邻的训练图像块；

图像合成子模块23，与图像块搜索子模块22连接，用于利用图像块搜索子模块22搜索到的最近邻的训练图像块，合成分辨率高于第一图像的第二图像。

其中，特征获取模块1包括：梯度特征获取子模块11，用于获取第一图像的一阶梯度特征；

光照特征获取子模块12，用于获取第一图像的标准光照特征。

上述超分辨率图像重构装置，邻域嵌套模块2根据特征获取模块1获取的第一图像的一阶梯度特征和标准光照特征进行邻域嵌套，并且针对不同类型的图像块进行不同的邻域嵌套，从而可以较好地重建高分辨率的图像。

如图4所示，为本发明实施例超分辨率图像重构方法采用的实验用图，共六幅图像。图像尺寸为360*240像素大小或240*360像素大小，分别被标记为图4(a)至图4(f)。图像包含了丰富的内容，具有较多的高层细节。图4(a)和图4(b)是关于日常生活的，图4(c)和图4(d)分别为花和蝴蝶，图4(e)和图4(f)是两个动物。放大倍数为4倍。在本发明实施例的实验中，首先评估了特征选择的合理性。在这个实验中，采用了留一法技术，即每次选择五幅图像来生成训练图像块，另一幅作为测试图像。在参数选择中图像块的大小均为3*3，且重叠区为2个像素宽，邻域大小选择为5。以下是对具体的参数设置的评估结果。

1)特征选择的影响

由于，一阶梯度特征和标准化光照分量特征在距离空间上占有不同的比重，因此，设置了一个距离评价参数如下式所示：

Dist(p_i，p_j)＝Dist_Grad1(p_i，p_j)+α×Dist_NormL(p_i，p_j)

上式中引入了一个加权因子α来平衡两个图像块一阶梯度距离和标准光照分量距离的权重。经过实验分析，发现取α＝4时效果最好。因为一阶梯度特征较标准化光照分量要多一倍，并且一阶梯度特征的值域也比标准化光照分量的大一倍，所以取α＝4时图像的效果最好。

要评估本发明实施例方法的有效性，首先采用了两种定量准则，P2PME和邻域保持率。P2PME度量了训练图像块生成的高分辨率图像块与其真实高分辨率图像块的误差总和，如以下公式所示：

${\mathrm{\ϵ}}_p=\frac{1}{P}\underset{i=1}{\overset{P}{\mathrm{\Σ}}}\left|\right|{\hat{Y}}_I{-Y}_i\left|\right|L_2=\frac{1}{P}\underset{i=1}{\overset{P}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{S\×S}{\mathrm{\Σ}}}{({\hat{Y}}_i\left(j\right)-Y_i\left(j\right))}^2\right),$ 其中

为第i个恢复的图像块，Y_i为真实的高分辨率图像块。

表示图像块的第j个像素值，P是总的图像块数。这一评估准则的好处在于其能更好的反映超分辨率算法的有效性，是广泛采用的评估准则之一。

将本发明实施例提出的特征选择及特征加权技术与现有的几种方法进行比较，实验结果表明本发明实施例提出的特征选择及特征加权技术在P2PME评估准则下，误差和方差均是很低的。同时，当α＝4时，获得的性能最好。因此，在P2PME评估准则下的实验表明了本发明实施例提出的超分辨率图像重构方法的有效性。

另外，比较还原的图像品质也可发现本发明实施例超分辨率图像重构方法的效果，采用现有的一阶梯度以及SRNE中的特征组合时，在常值颜色区域具有明显的阶梯效应，而本发明实施例提出的一阶梯度和标准光照特征加权组合保持了更锐化的边缘和形式，同时，也消除了块状效应。这表明在相同的学习和训练环境下，本发明实施例提出的一阶梯度和标准光照特征组合具有更好的效果，这是因为一阶梯度和标准化光照的结合能够更好的保持图像的几何结构，根据一阶梯度和标准化光照计算得权值能够更合理地反映低分辨率图像和高分辨率图像的几何结构。

2)超分辨率图像重构方法评估

基于前面提出的一阶梯度和标准光照特征加权组合，本发明实施例的实验对简化版本和复杂版本两种策略的效果进行了评估。在训练图像块较多时，采用复杂版本，即类型较丰富的形式进行评估。在邻域的选择上，对非边缘图像块，令K＝5。同时，对有边缘的图像块，令K＝2。其中，K的取值根据经验值和要求生成的图像的分辨率等因素确定。实验结果表明本发明实施例提出的超分辨率图像重构方法获得了最好的边缘效果，并在常值区域得到了好的光滑。这是因为本发明实施例对含边缘的图像块进行细分，因而能够更好地处理图像边缘，得到较为连续的边缘效果。

其次，本发明实施例研究了小训练图像块集的情况，并采用简化版本(即不考虑边缘的特定类型)。所有含边缘的图像块均旋转3次来生成足够多的边缘样本以便重建。现有的SRNE算法在小样本意义下，不能较好的重构边缘，且产生了较明显的块效应和振铃效应，但是本发明实施例提出的超分辨率图像重构方法利用了更准确的含边缘的图像块来重建。采用均方根误差定量地评测两种算法的误差，均方根误差公式如下所示： $\mathrm{RMSE}={\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{({\hat{y}}_i-y_i)}^2}{n}\right)}^{\frac{1}{2}},$ 可以得出，本发明实施例提出的超分辨率图像重构方法得到的RMSE(Root MeanSquare Error，均方根误差)为0.0397，而SRNE算法得到的RMSE为0.0422。这表明本发明实施例提出的超分辨率图像重构方法在极端的情况下，可以获得更高的鲁棒性。这种情况在缺乏足够多的训练图像时尤其重要。

本发明实施例提出的超分辨率图像重构方法比SRNE算法有较明显的改进，在保持边缘和纹理，以及双眼皮方面均比SRNE算法具有较好的效果。同时，该方法没有油画等非自然的效果，如靠近头发的边缘。从定量分析来看，在进行比较的方法之中，本发明实施例提出的超分辨率图像重构方法具有最低的RMSE。可见，本发明实施例提出的超分辨率图像重构方法在视觉的外观和定量误差方面取得了更好的平衡。

需要指出的是，本发明实施例的超分辨率图像重构方法在选择训练图像块集的规模上并没有非常严格的划分。因此，在实际中对图像块类型的区分采用复杂和简单版本不会产生非常明显的差异。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (14)

1.一种超分辨率图像重构方法，其特征在于，包括以下步骤：

获取第一图像的一阶梯度特征和标准光照特征；

根据所述一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。

2.如权利要求1所述超分辨率图像重构方法，其特征在于，所述根据一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像具体包括：

对所述第一图像进行边缘检测，确定所述第一图像的图像块的边缘类型；

根据所述第一图像的图像块的边缘类型，在训练图像块集合中搜索最近邻的训练图像块；

利用搜索到的所述最近邻的训练图像块，合成分辨率高于所述第一图像的第二图像。

3.如权利要求2所述超分辨率图像重构方法，其特征在于，所述利用搜索到的所述最近邻训练图像块，合成分辨率高于所述第一图像的第二图像具体包括：

利用搜索到的所述最近邻的训练图像块的一阶梯度特征和标准光照特征计算最优权值；

将所述最优权值与最近邻的高分辨率训练图像块相乘获得高分辨率的图像块；

利用所述高分辨率的图像块合成分辨率高于所述第一图像的第二图像。

4.如权利要求3所述超分辨率图像重构方法，其特征在于，所述利用搜索到的最近邻的训练图像块的一阶梯度特征和标准光照特征计算最优权值包括：根据所述最近邻的训练图像块的类型采用不同的一阶梯度特征和标准光照特征计算所述最优权值。

5.如权利要求2所述超分辨率图像重构方法，其特征在于，所述第一图像的图像块的边缘类型具体包括边缘块和非边缘块。

6.如权利要求2或5所述超分辨率图像重构方法，其特征在于，还包括：通过对所述边缘块的自举扩充所述训练图像块的集合。

7.如权利要求2所述超分辨率图像重构方法，其特征在于，所述确定第一图像的图像块的边缘类型具体包括：

检测所述图像块中包含的边缘像素值的总数；

判断所述边缘像素值的总数是否大于或等于预设的阈值；

如果所述边缘像素值的总数大于或等于所述预设的阈值，则所述图像块为边缘块；

如果所述边缘像素值的总数小于所述预设的阈值，则所述图像块为非边缘块。

8.如权利要求7所述超分辨率图像重构方法，其特征在于，所述边缘块还包括：垂直边缘块、水平边缘块、斜向边缘块和复杂边缘块。

9.如权利要求7或8所述超分辨率图像重构方法，其特征在于，所述边缘像素值的总数包括每行边缘像素值的总数，和/或每列边缘像素值的总数，

如果所述每行边缘像素值的总数等于所述预设的阈值，则所述边缘块为垂直边缘块；

如果所述每列边缘像素值的总数等于所述预设的阈值，则所述边缘块为水平边缘块；

如果所述每行边缘像素值的总数和所述每列边缘像素值的总数都等于所述预设的阈值，则所述边缘块为斜向边缘块；

如果所述边缘像素值的总数大于所述预设的阈值，则所述边缘块为复杂边缘块。

10.如权利要求6所述超分辨率图像重构方法，其特征在于，所述通过对边缘块的自举扩充所述训练图像块的集合具体包括：

通过旋转所述边缘块生成所述训练图像块；

在每次旋转所述边缘块之后，分配一个标签来标识需要逆时针旋转的次数；

根据所述标签旋转所述标签对应的边缘块，以扩充所述训练图像块的集合。

11.如权利要求1所述超分辨率图像重构方法，其特征在于，当所述第一图像的图像块像素点的灰度值为z_pq，所述图像块的大小为S时，所述图像块的标准光照特征通过以下公式获得：

$v_{\mathrm{ij}}=z_{\mathrm{ij}}-\frac{1}{S^2}\underset{p=1}{\overset{S}{\mathrm{\Σ}}}\underset{q=1}{\overset{S}{\mathrm{\Σ}}}{z}_{\mathrm{pq}}.$

12.一种超分辨率图像重构装置，其特征在于，包括：

特征获取模块，用于获取第一图像的一阶梯度特征和标准光照特征；

邻域嵌套模块，与所述特征获取模块连接，用于根据所述特征获取模块获取的一阶梯度特征和标准光照特征对所述第一图像进行邻域嵌套，得到分辨率高于所述第一图像的第二图像。

13.如权利要求12所述超分辨率图像重构装置，其特征在于，所述邻域嵌套模块包括：

边缘检测子模块，用于对所述第一图像进行边缘检测，确定所述第一图像的图像块的边缘类型；

图像块搜索子模块，与所述边缘检测子模块连接，用于根据所述边缘检测子模块确定的第一图像的图像块的边缘类型，在训练图像块集合中搜索最近邻的训练图像块；

图像合成子模块，与所述图像块搜索子模块连接，用于利用所述图像块搜索子模块搜索到的所述最近邻的训练图像块，合成分辨率高于所述第一图像的第二图像。

14.如权利要求13所述超分辨率图像重构装置，其特征在于，所述特征获取模块包括：

梯度特征获取子模块，用于获取所述第一图像的一阶梯度特征；

光照特征获取子模块，用于获取所述第一图像的标准光照特征。

Images