CN106952228A - 基于图像非局部自相似性的单幅图像的超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于图像非局部自相似性的单幅图像的超分辨率重建方法，通过图像自身的非局部自相似性合成图像的纹理，以及填补图像空洞信息；根据反卷积神经网络完备的理论，实现图像重建。这种基于图像非局部自相似性卷积稀疏表示的超分辨率重建方法，能更好的增强超分辨率图像的细节信息、降低块效应，从而提高了超分辨图像重建质量。

Description

基于图像非局部自相似性的单幅图像的超分辨率重建方法

技术领域

本发明属于稀疏表示的超分辨率领域，尤其涉及一种基于图像非局部自相似性的单幅图像的超分辨率重建方法，主要是应用反卷积稀疏编码表示于单幅图像的超分辨率重建。

背景技术

图像的超分辨率重建技术是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，形成空间分辨率更高的清晰图像。

在计算机视觉领域，图像超分辨率重建是一个非常经典的问题，是许多计算机视觉应用的基础，比如人脸识别、目标跟踪、车牌识别等等。根据输入低分辨图像多少的不同，可以分成单幅图像超分辨率重建和多幅图像超分辨率重建。单幅图像超分辨率重建就是从一幅低分辨率国像中估计一幅高分辨率图像，多幅重建算法是从多幅低分辨率图像中估计一幅高分辨率图像。现有的图像超分辨率重建算法可大致归结成三类：1.基于插值的算法，主要是基于图像平滑性假设，利用临近位置的像素观测值，对未知像素进行插值估计的一种算法。经典的插值算法包括最近邻插值、双线性插值和双立方插值。2.基于重建模型的算法，主要是对图像的成像过程进行数学建模，同时结合其他图像先验信息作为约束，重建出高分辨率图像的一种方法，主要包括凸集投影法、迭代反投影法和概率分析法。3.基于学习的算法，首先需要构建高低分辨率图像的训练样本库，然后通过学习训练样本，对高低分辨率样本图像之间的关系进行编码(encoding)，最后对于低分辨率测试图像，利用上述学习到的编码关系指导超分辨率重建过程。

然而，传统的基于自然图像块的稀疏表示通常面临两个问题。一是在字典学习的过程中需要求解一个具有非常高计算复杂度的大规模优化问题；二是在稀疏编码和字典的学习过程中，每一个图像块都是独立考虑，忽略了块与块之间的相关性，从而导致了稀疏编码系数不够准确。

发明内容

目前常用的图像超分辨率重建方法，基本上是基于图像块的稀疏表示方法，这种方法忽略了块与块之间的联系，导致了在图像重建过程中稀疏编码系数的不精准。为解决这一问题，本发明提出了基于整幅图像的超分辨率重建方法。通过图像自身的非局部自相似性合成图像的纹理，以及填补图像空洞信息；根据反卷积神经网络完备的理论，实现图像重建。这种基于图像非局部自相似性卷积稀疏表示的超分辨率重建方法，能更好的增强超分辨率图像的细节信息、降低块效应，从而提高了超分辨图像重建质量。

为实现上述目的，本发明采用如下的技术方案：

一种基于图像非局部自相似性的单幅图像的超分辨率重建方法，其特征在于，包括以下步骤：

步骤1、建立训练高分辨率滤波器

根据卷积稀疏编码快速求解方法，通过求解(8)式，得到相应的高分辨率滤波器，即高分辨率图像滤波器f_hi训练过程如下：

其中，训练图像集为首先将训练图像集进行预处理，提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集，得到对应的滤波器

步骤2、基于非局部自相似性卷积稀疏编码的图像超分辨率重建

首先对待重建的低分辨率图像y进行空间转换，得到其YCbCr空间图像，通过图像高低频信息分离算法，提取Y分量图像的高频信息，做为待重建的低分辨率图像y_l；而其它的两个分量Cb、Cr以及Y分量的低频信息，采用插值算法进行超分辨率重建，其中，我们首先对y_l进行双线性3倍上采样插值，得到对应的初始化高分辨率图像x⁽¹⁾，根据卷积公式z_i＝f_hi*x⁽¹⁾，初始化具体包括：

3.1、特征图Z相似块位置的确定

根据当前得到的高分辨率图像x⁽¹⁾，以及NLM算法，将图像分成6*6非重叠的图像块集其中，r为图像块数；通过计算当前块与其它块之间的欧氏距离，来寻找与当前块最相似的12个块，记下这12个块的位置信息，即Ω_i；

3.2特征图Z相似块值的确定

根据卷积神经网络的特性，可知卷积滤波器提取的是基于整幅图像的全局特征，因此，可认为特征图中的信息与图像中的信息具有一致对应关系；根据以上特征，得到每一个特征图对应的图像块集其中r为图像块数；根据上一步求得的图像相似块位置信息集Ω_i，可计算出添加了非局部相似信息后的特征图Z

其中，h＝75。

3.3特征图Z当前更新值的确定

在当前迭代过程中，固定可求解以下L₁正则化最小值问题，即

采用稀疏约束线性逆问题的迭代阈值算法求解(12)式，在第t+1次迭代中，所求得的收缩算子为

其中，n，m分别为z_i的行数与列数，z′_ij与分别为z_i与中的元素值。S_τ(.)是软阀值操作，其中F_i＝fliplr(flipud(f_hi))；τ＝λ_i/c，c是保证函数凸性的辅助参数。根据所求得的可以得到当前迭代下的高分辨率图像

不断重复3.1～3.3步骤，直到达到迭代终止条件，停止迭代，得到最终的高分辨率图像

作为优选，还包括图像预处理，具体过程如下：

首先对原始彩色图像，利用图像空间的变化，将其变换到YCbCr空间中，仅对Y分量的高频信息做基于稀疏表示的超分辨率重建，而其他的两个分量Cb、Cr以及Y分量的低频信息，采用插值算法进行超分辨率重建，提取图像Y分量的高频信息过程如下：

其中，是图像y的低频特征图；f^s是一个3*3的低通滤波器，其值为1/9；f^dh和f^dv分别是水平方向和垂直方向的梯度算子，其值为[1，-1]和[1；-1]；

为了求解(9)式，将其转换到傅里叶域中进行求解，求解形式如下：

其中，和是傅里叶变换(FFT)与逆傅里叶变换；以及是f^s、f^dh和f^dv的傅里叶变换；符号“^”表示复共轭，“o”表示分量相乘；

根据所求的可得y的高频信息Y，即

附图说明

图1为本发明的图像超分辨率重建流程图。

具体实施方式

本发明提供一种单幅图像的超分辨率重建方法，其为基于非局部相似的反卷积网络的图像特征提取与图像恢复方法。反卷积网络基于整幅图像进行重构，从而避免了块效应对重构图像效果的影响；添加图像的非局部信息，在对图像结构进行稀疏表示的过程中能够显式地在一个统一的框架下同时刻画自然图像固有的局部稀疏性和非局部自相似性，能较好的保持图像的纹理细节特征；其包括以下特征：

1.基于重建算法的图像超分辨率重建模型

图像分辨率增强问题指的是给定一幅输入的低分辨率图像，复原重建出相应的高分辨率图像。考虑到具体的获得低分辨率图像的退化过程，如在退化过程中既受到模糊和噪声影响，同时又存在分辨率下降的复合退化过程，此时图像分辨率增强问题成分为图像超分辨复原重建问题：

y＝DHx+n (1)

其中x表示原始的高分辨图像，B代表图像下采样算子；H代表图像模糊算子；n表示符合均值为零方差为σ^2的高斯噪声；y表示低分辨率下采样图像。

基于重建的超分辨率方法基本思路就是从低分辨率图像y反演出高分辨率图像x，这个思路与图像融合方法类似，不同之处在于此方法在增强图像可视化效果的同时，还提高图像的分辨率。这种过程主要包含三个步骤：运动估计(或配准)、插值和恢复。

2.图像非局部自相似模型

非局部均值(NLM)算法是利用图像各像素点的加权平均来对图像进行恢复的，给定一幅离散降质的图像v＝{v(i)|i∈I},对其任何一个图像块的估计值均可以通过以下式子估计：

NL[v](i)＝∑_j∈Iω(i，j)v(j) (2)

其中NL[v](i)为图像块i的估计值，ω(i，j)表征图像块i和图像块j之间的相似度，且满足0≤ω(i，j)≤1和∑jω(i，j)＝1。

图像块i和图像块j的相似度依赖于图像块i和图像块j的领域像素的灰度值向量v(N_i)和v(N_j)，且与二者之间的欧式距离成反比关系。

其中z(i)为归一化系数

NLM使用全局图像中的多个相似图像块来估计当前图像块，能较好的保持图像的纹理细节特征。

3.反卷积稀疏编码

在Zeiler提出反卷积神经网络模型中对于一幅图像y,可以将它表示成K个特征图Z_k与滤波器F_k卷积后的线性和，如下式

其中K表示滤波器的总数，F_k表示第k个滤波器，Z_k表示第k个特征图，对于大小为w×h的图像y，F_k的大小为s×s，Z_k的大小为(w+s-1)×(h+s-1)。滤波器集合也称为卷积字典。为了用公式(5-5)实现图像的反卷积表述，需要知道F和则构造如(5-6)代价函数模型。

模型(6)即反卷积稀疏编码模型，目前的求解方法CMP(卷积匹配追踪算法),坐标下降法(ConvCoD),迭代收缩阈值算法(ConvISTA),快速迭代收缩阈值算法(ConvFISTA)，增广拉格朗日乘子法(ADMMs)。

本发明建立在以上三个模型中，结合以上思想以及Weisheng Dong提出的基于非局部自相似稀疏编码的图像重建方法，本发明提出了一种新的超分辨率重建模型，即通过图像非局部自相似性，建立反卷积稀疏编码模型，实现图像超分辨率重建。图像超分辨率重建模型如下：

其中，y_l是低分辨率图像，由清晰图像经过x降质(y_l＝DHx)所得到的，f_hi是离线训练的，以与待重构图像无关的多幅高分辨率图像做为训练样本集，根据已有的滤波器训练方法进行训练，获得高分辨率滤波器；是添加非局部信息后的特征图。当求得最优解z^*后，相应的就求得了对应的高分辨率图像

其中f_hi(高分辨率图像滤波器)训练过程如下：

其中，训练图像集为

本发明对原始低分辨率图像进行三倍上采样得到其相应的超分辨率重建图像。如图1所示，本发明的主要步骤如下：

1.图像预处理

本发明中首先对原始彩色图像，利用图像空间的变化，将其变换到YCbCr空间中，由于人眼对色度分量更加关心，以及2014年Elad等曾提出高低分辨率图像的差别主要是高频信息的不同，所以我们仅对Y分量的高频信息做基于稀疏表示的超分辨率重建，而其他的两个分量Cb、Cr以及Y分量的低频信息，我们采用一般的插值算法进行超分辨率重建。为了提取图像y(Y分量)的高频信息，我们首先要解决以下问题：

其中，是图像y的低频特征图；f^s是一个3*3的低通滤波器，其值为1/9；f^dh和f^dv分别是水平方向和垂直方向的梯度算子，其值为[1，-1]和[1；-1]。为了求解(9)式，我们将其转换到傅里叶域中进行求解，求解形式如下：

其中，和是傅里叶变换(FFT)与逆傅里叶变换；以及是f^s、f^dh和f^dv的傅里叶变换；符号“^”表示复共轭，“ο”表示分量相乘。根据所求的可得y的高频信息Y，即

2.训练高分辨率滤波器

本发明根据Felix Heide等2015年提出的一种卷积稀疏编码快速求解方法，通过求解(8)式，得到相应的高分辨率滤波器。在此求解过程中，我们用到的高分辨率图像集为10幅fruit图像，图像尺寸为100*100，即训练数据集的尺寸为100*100*10；训练的滤波器尺寸为11*11，滤波器个数为100，即滤波器尺寸为11*11*100。首先将训练图像集进行预处理，提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集，得到对应的滤波器

3.基于非局部自相似性卷积稀疏编码的图像超分辨率重建

首先对待重建的低分辨率图像y进行空间转换，得到其YCbCr空间图像，通过上文描述的图像高低频信息分离算法，提取Y分量图像的高频信息，做为待重建的低分辨率图像y_l。而其它的两个分量Cb、Cr以及Y分量的低频信息，我们采用一般的插值算法进行超分辨率重建。在本发明中，我们首先对y_l进行双线性3倍上采样插值，得到对应的初始化高分辨率图像x⁽¹⁾，根据卷积公式z_i＝f_hi*x⁽¹⁾，初始化

3.1特征图Z相似块位置的确定

根据当前得到的高分辨率图像x⁽¹⁾，以及NLM算法，我们将图像分成6*6非重叠的图像块集其中r为图像块数；通过计算当前块与其它块之间的欧氏距离，来寻找与当前块最相似的12个块，记下这12个块的位置信息，即Ω_i。

3.2特征图Z相似块值的确定

根据卷积神经网络的特性，可知卷积滤波器提取的是基于整幅图像的全局特征，因此，可认为特征图中的信息与图像中的信息具有一致对应关系。于是我们用同样的分块方式，得到每一个特征图对应的图像块集其中r为图像块数。根据上一步求得的图像相似块位置信息集Ω_i，可计算出添加了非局部相似信息后的特征图Z

其中，h＝75。

3.3特征图Z当前更新值的确定

在当前迭代过程中，固定我们可求解以下L₁正则化最小值问题，即

此问题是一个凸优化问题，可以进行精确求解。在本发明中，我们采用I.Daubechies等人2004年提出的一种稀疏约束线性逆问题的迭代阈值算法求解(12)式，在第t+1次迭代中，所求得的收缩算子为

其中，n，m分别为z_i的行数与列数，z′_ij与分别为z_i与中的元素值。S_τ(.)是一种软阀值操作，其中F_i＝fliplr(flipud(f_hi))；τ＝λ_i/c，c是一个保证函数凸性的辅助参数。根据所求得的我们可以得到当前迭代下的高分辨率图像

不断重复3.1～3.3步骤，直到达到迭代终止条件，停止迭代，得到最终的高分辨率图像

为了验证上述所提出的超分辨率重建方案的有效性，我们对比了重构图像的客观质量。主要包括两个方面：1.峰值信噪比(Peak Signal to Noise Ratio，PSNR)；2.结构相似度量(SSIM)。

1.峰值信噪比

峰值信噪比(Peak Signal to Noise Ratio，PSNR)是最普遍，最广泛使用的评鉴画质的客观量测法，单位为分贝(dB)。其计算公式如下：

两幅大小为m*n的图像的均方误差MSE的定义如下：

其中I，J分别表示原始高分辨率图像和超分辨率重建图像，而I(x,y),J(x,y)为对应于位置(x,y)处的像素值。均方误差越小，psnr值越高，图像超分辨率的重建效果越好。

2.结构相似性

它是一种基于结构失真图像质量的评价方法，该方法将亮度和对比度从图像结构信息中分离，并结合结构信息对图像质量进行评价.定义了SSIM：

SSIM(i,j)＝[L(i,j)]^α·[C(i,j)]^β·[S(i,j)]^γ

其中：

其中L表示亮度(Lightness),用均值(μ_i,μ_j)进行估计，C表示对比度(Contrast),用标准差(σ_i,σ_j)来估计，相应的协方差σ_ij作为结构相似程度的度量。α,β,γ是用来调整亮度、对比度和结构信息的权重，为了防止分母出现零或接近0，产生不稳定现象，因此引入了λ₁,λ₂,λ₃。当α＝β＝γ＝1，λ₃＝λ₂/2时，公式简化为

由于SSIM较好的特性：对称性，有界性，唯一性，使得它能很好的反映了图像的客观质量。由于观察值在某一瞬间更关注某个局部区域的细节信息，所以图像的整体统计特征不能反映图像的特点，因此SSIM与PSNR相结合能更好的反映图像重建质量。一般PSNR较大时SSIM的区分度较小，即PSNR高，SSIM也高，而在PSNR较小时，SSIM就具有较好的区分度。因此这里主要是通过PSNR和SSIM来评价超分辨图像的结果。

为了更好的比较超分辨率重建的质量，这里仅给出重建的灰度图像的PSNR比较结果：

表1插值算法、SRCNN及本发明(NCDSC)算法的PSNR数据比较结果

测试图像	Bi-cubic方法	SRCNN方法	NCDSC方法
				Baby	0.9899	0.9963	0.9970
Plants	0.9548	0.9835	0.9841
				Girl	0.9869	0.9932	0.9940
Hat	0.9610	0.9800	0.9808
				Raccoon	0.9608	0.9773	0.9791
Lena	0.9482	0.9790	0.9816
				Parthenon	0.9201	0.9534	0.9562
Parrots	0.9615	0.9805	0.9806

表2插值算法、SRCNN及本发明(NCDSC)算法的SSIM数据比较结果

以上PSNR和SSIM的数据反映了基于非局部自相似反卷积稀疏编码的图像超分辨率重建的客观质量较传统的方法有了明显提升。说明基于非局部自相似反卷积稀疏编码的图像超分辨率重建模型，对于重建高分辨率图像有很重要的意义。基于整幅图像进行重建，避免了块效应对重建图像质量的影响；添加非局部信息，很好的保持了图像的纹理信息及高频信息，从而有效地提高了图像的重建质量。

Claims (2)

1.一种基于图像非局部自相似性的单幅图像的超分辨率重建方法，其特征在于，包括以下步骤：

步骤1、建立训练高分辨率滤波器

根据卷积稀疏编码快速求解方法，通过求解(8)式，得到相应的高分辨率滤波器，即高分辨率图像滤波器f_hi训练过程如下：

${\min }_{\stackrel{\‾}{f},z}{\mathrm{\Σ}}_{i=1}^n\left|\right|x_i-{\mathrm{\Σ}}_{j=1}^m{f}_{hj}*z_{ij}|{|}_F^2+{\mathrm{\β\Σ}}_{i=1}^n|{\mathrm{\Σ}}_{j=1}^m{z}_{ij}{|}_1---\left(8\right)$

其中，训练图像集为首先将训练图像集进行预处理，提取其相应的Y分量的高频信息图像以此高频信息图像集做为训练图像集，得到对应的滤波器

步骤2、基于非局部自相似性卷积稀疏编码的图像超分辨率重建

首先对待重建的低分辨率图像y进行空间转换，得到其YCbCr空间图像，通过图像高低频信息分离算法，提取Y分量图像的高频信息，做为待重建的低分辨率图像y_l；而其它的两个分量Cb、Cr以及Y分量的低频信息，采用插值算法进行超分辨率重建，其中，我们首先对y_l进行双线性3倍上采样插值，得到对应的初始化高分辨率图像x⁽¹⁾，根据卷积公式z_i＝f_hi*x⁽¹⁾，初始化具体包括：

3.1、特征图Z相似块位置的确定

根据当前得到的高分辨率图像x⁽¹⁾，以及NLM算法，将图像分成6*6非重叠的图像块集其中，r为图像块数；通过计算当前块与其它块之间的欧氏距离，来寻找与当前块最相似的12个块，记下这12个块的位置信息，即Ω_i；

3.2特征图Z相似块值的确定

根据卷积神经网络的特性，可知卷积滤波器提取的是基于整幅图像的全局特征，因此，可认为特征图中的信息与图像中的信息具有一致对应关系；根据以上特征，得到每一个特征图对应的图像块集其中r为图像块数；根据上一步求得的图像相似块位置信息集Ω_i，可计算出添加了非局部相似信息后的特征图Z

其中，h＝75。

3.3特征图Z当前更新值的确定

在当前迭代过程中，固定可求解以下L₁正则化最小值问题，即

$Z^{*}=\arg {\min }_z\left\{\right||y_l-DH{\Σ}_{i=1}^m{f}_{hi}*z_i|{|}_F^2+{\mathrm{\Σ}}_{i=1}^m{\mathrm{\λ}}_i|z_i-{\stackrel{\‾}{z}}_i{|}_1\}---\left(12\right)$

采用稀疏约束线性逆问题的迭代阈值算法求解(12)式，在第t+1次迭代中，所求得的收缩算子为

$z_i^{(t+1)}=S_{\mathrm{\τ}}(v_i^{\left(t\right)}-{\stackrel{\‾}{z}}_i^{\left(t\right)})+{\stackrel{\‾}{z}}_i^{\left(t\right)}---\left(13\right)$

其中，n，m分别为z_i的行数与列数，z′_ij与分别为z_i与中的元素值。S_τ(.)是软阀值操作，其中F_i＝fliplr(flipud(f_hi))；τ＝λ_i/c，c是保证函数凸性的辅助参数。根据所求得的可以得到当前迭代下的高分辨率图像

不断重复3.1～3.3步骤，直到达到迭代终止条件，停止迭代，得到最终的高分辨率图像

2.如权利要求1所述的基于图像非局部自相似性的单幅图像的超分辨率重建方法，其特征在于，还包括图像预处理，具体过程如下：

首先对原始彩色图像，利用图像空间的变化，将其变换到YCbCr空间中，仅对Y分量的高频信息做基于稀疏表示的超分辨率重建，而其他的两个分量Cb、Cr以及Y分量的低频信息，采用插值算法进行超分辨率重建，提取图像Y分量的高频信息过程如下：

${\min }_Z\left|\right|y-f^s*Z_y^s|{|}_F^2+\mathrm{\γ}||f^{dh}*Z_y^s|{|}_F^2+\mathrm{\γ}\left|\right|f^{dv}*Z_y^s|{|}_F^2---\left(9\right)$

其中，是图像y的低频特征图；f^s是一个3*3的低通滤波器，其值为1/9；f^dh和f^dv分别是水平方向和垂直方向的梯度算子，其值为[1，-1]和[1；-1]；

为了求解(9)式，将其转换到傅里叶域中进行求解，求解形式如下：

其中，和是傅里叶变换(FFT)与逆傅里叶变换；以及是f^s、f^dh和f^dv的傅里叶变换；符号“^”表示复共轭，表示分量相乘；

根据所求的可得y的高频信息Y，即