CN101556690A - 基于词典学习和稀疏表示的超分辨率算法 - Google Patents

Abstract

本发明涉及一种基于过完备词典学习和稀疏表示的图像超分辨率方法，在大规模数据集中提取两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)，并利用它们实现图像稀疏表示的超分辨率重建。同时，为了进一步提高彩色图像的超分辨率效果，还提出了基于超分辨率亮度信息的UV色度超分辨率重构。本发明提供的图像超分辨率方法在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景。

Description

基于词典学习和稀疏表示的超分辨率算法

技术领域

本发明属于图像处理领域，具体涉及一种基于词典学习和稀疏表示的超分辨率算法。

背景技术

超分辨率研究是期望将低分辨率图像放大成高分辨率图像，并保持图像中的细节不会失真和出现马赛克等效果。由于其在视频监控、医学成像、遥感图像等领域有着巨大的潜在应用而受到日益重视。虽然超分辨率技术的提出已出现一段时间，但目前为止还没形成一个统一的框架。主要的难点在于由于同一低分辨率图像可以由多个高分辨率图像退化生成，从数学上而言，超分辨率研究期望解决的实质上是一个一对多问题，也称为病态问题。因此，要缩小其解空间的范围，一种策略是构建知识库或引入图像中特有的结构信息。

目前，超分辨率研究涉及到的技术领域主要有：图像处理、机器学习等。在超分辨率研究中，一种较为通用、效果也相对较好的方法是使用基于图像块(patch)的方法。其基本思想是构建两个数据集，一个是低分辨率的，一个是高分辨率的。对于测试的低分辨率图像块，首先求解其在低分辨率数据集上的表示系数，再利用低分辨率图像块和高分辨率图像块的流形一致性假设，使用低分辨率数据集上的表示系数重构出高分辨率的图像块。然而，流行的一致性假设在很多情况下都是不成立的，即两个高分辨率和低分辨率两个数据集并不是同构数据集，而是异构数据集。因此，在一个数据集上的表示系数并不能体现在另一个数据集的表示系数。此外，即使对于同构数据集来说，要求解在低分辨率数据集上的表示也是一个关键问题，容易产生过拟合或者是欠拟合的现象。最后，对于彩色图像，通常的方法都是将图像的RGB颜色空间转换到YUV颜色空间，并且只对亮度信息(Y)做超分辨率，而对于另外两个色度只是做普通的插值处理，这样就很容易会产生颜色的块效应。

发明内容

本发明所要解决的技术问题是提供一种实现超分辨率的方法，有效地将图像处理与机器学习的特点结合起来处理低分辨率图像。为解决上述技术问题，本发明提供的技术方案如下：

首先，针对图像的训练集，我们提出了在异构数据集的基础上，以测试图像块在两个数据集中稀疏表示的一致性为目标，学习得到两个在图像块稀疏表示下同构的数据集；其次，为了保证测试图像块在低分辨率数据集上的表示系数不产生过拟合或者是欠拟合的现象，我们使用线性规划算法求解图像块的稀疏表示；最后，针对色度信息(UV)和亮度信息(Y)的关系，我们提出了使用亮度信息指导下的双边滤波器重构色度信息的方法。综上所述，本发明实现了一种基于同构数据集学习和稀疏表示的彩色图像超分辨率算法。

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

(一)图像的稀疏表示

图像的稀疏表示是指图像(块)可以完全或者近似地由非常少的一组原子(atom)图像(块)的线性组合表示，而所有的原子图像(块)即组成一个过完备(overcomplete)的词典。由于组成这个词典的原子个数要大于每个原子的维数，因此如果没有对表示稀疏没有任何的限制，那么每一个图像(块)在过完备的词典下的表示是不唯一的。而在一定条件下，表示的稀疏性正是保证唯一性的充分条件。

设是某个图像(块)的向量表示，是一个过完备的词典。记||·||₀表示一个向量非零元素的个数，σ为D列向量线性无关的最小值，当 ${\left|\right|\mathrm{\&alpha;}\left|\right|}_0<\frac{\mathrm{\&sigma;}}{2}$ 时，对于x的稀疏表示就是唯一的。

min||α||₀  s.t.x＝Dα(1)

要获得(1)式的精确解被证明是一个NP难问题，通常都考虑近似的解法。最早而且最简单的就是匹配追踪算法(match pursuit)及其改进算法正交匹配追踪算法(orthogonal match pursuit)，这两种方法都应用了贪心的思想，每次选择一个最优的原子使得其与前一步的残差的内积达到最大。另一个近似的解法称为基追踪算法(basis pursuit)，该方法使用l¹模替换l⁰模，这样就使得上述问题从一个非凸问题转变成了凸优化的问题，并且可以使用线性规划算法求解。此外，迭代聚焦算法(focal underdetermined system solver)使用l^p模(p≤1)代替l⁰模，迭代地实现了解空间能量的不断集中，虽然可以获得更精确的解，但也使得该问题不再是一个凸优化的问题，对于噪声也非常敏感。

(二)词典学习与超分辨率重构

对于图像(块)稀疏表示，除了上述提到的求解稀疏表示的算法之外，过完备词典的构造也是非常重要的。一个好的词典不仅可以满足稀疏表示唯一性条件的约束，同时也可以获得更稀疏和更精确的表示。图像在过完备词典下的稀疏表示是图像离散傅立叶变换，小波变换等表示形式的扩展，目的就是为了能够找到一个更能反映特定图像的某种结构信息的过完备词典，并且在这个词典上能够使用一种紧的，稀疏的表示来近似原始的图像。为了满足上述条件，对于所有的训练集，需要求解：

${\arg \min }_{D,\mathrm{\&alpha;}}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0---\left(2\right)$

其中，x_i表示每一个训练样本，α_i表示训练样本x_i在词典D下的稀疏表示，λ是正则化参数。要求解上式通常分为两个步骤迭代进行：(1)根据当前词典求解信号的稀疏表示；(2)根据求解得到的稀疏表示更新词典。K-SVD算法首先运用正交匹配追踪算法求解第一步中的稀疏表示，接着考虑每次只更新词典D中的第k列d_k以及所对应的表示系数xTk。不考虑上式稀疏表示的罚项||α_i||₀，(2)式可以重写为：

$\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2={\left|\right|X-\mathrm{D\&alpha;}\left|\right|}_F^2$

$={\left|\right|X-\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{d}_j{\mathrm{\&alpha;}}_T^j\left|\right|}_F^2$

${=\left|\right|(X-\underset{j=k}{\mathrm{\&Sigma;}}{d}_j{\mathrm{\&alpha;}}_T^j)-d_k{\mathrm{\&alpha;}}_T^k\left|\right|}_F^2$

$={\left|\right|E_k-d_k{\mathrm{\&alpha;}}_T^k\left|\right|}_F^2$

其中，E_k表示使用除了词典的第k列之外对图像(块)表示的残差，要使得式子总体达到最小，就要使d_kα_T ^k最接近E_k。因此对E_k进行奇异值分解，E_k＝UΔV^T，令

为U的第一列，为V的第一列乘以Δ(1，1)。

对于图像的超分辨率问题，需要同时使用到两个词典，即一个低分辨率图像块的词典和一个与之对应的高分辨率图像块的词典。但测试数据在两个词典上的表示往往是不一致的，即这两者是属于异构数据。记x_i为亮度分量的低分辨率训练图像块的向量表示，y_i为与之对应的高分辨率训练图像块的向量表示。为了满足两个词典在稀疏表示下的同构性，需要求解：

$\underset{\mathrm{DW},\mathrm{\&alpha;}}{\min }\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2+{\mathrm{\&lambda;}}_0{\left|\right|y_i-W{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0$

其中，D是低分辨率图像块词典，W是与之对应的高分辨率图像块词典，α_i是同时满足x_i在词典D和y_i在词典W下的稀疏表示，λ₀和λ分别是第二项和第三项的正则化参数。为了使用K-SVD算法求解，把上式重写成

${\min }_{P,\mathrm{\&alpha;}}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|z_i-P{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0$

其中， $z_i=\left(\begin{array}{c}{x}_i\\ {\mathrm{\&lambda;}}_0{y}_i\end{array}\right),$ $P=\left(\begin{array}{c}D\\ {\mathrm{\&lambda;}}_{0}W\end{array}\right).$

当低分辨率图像块词典D和高分辨率图像块词典W都训练得到之后，对于每一个低分辨率的测试图像块，使用线性规划算法求解其在低分辨率词典D上的稀疏表示系数α：

min||α||₁  s.t.x_i＝Dα_i

最后，高分辨率的图像块就可以通过下式重构：

y_i＝Wα_i.

(三)UV色度重构

人眼对于UV色度空间的变化的敏感度要比对于亮度信息的变化低很多，因此要是对这两个通道采用与亮度通道相同的处理办法就显得不是很必要。但如果直接采用之前彩色图像超分辨率的技术，如直接对这两个色度进行插值，那么边缘区域的块效应或者模糊的现象就显得比较明显。为了权衡计算效率和恢复质量这两者的关系，我们提出了基于超分辨率亮度信息的UV色度超分辨率重构。

影响当前像素点UV色度的因素主要包括：低分辨率下该像素点的UV色度值，低分辨率下该像素点附近的UV色度值，高分辨率下该像素点对应的亮度值。综合考虑上述因素，可以得到下面的双边滤波器：

${\tilde{S}}_p=\frac{1}{k_p}\underset{q_{\&DownArrow;}\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{S}_{q_{\&DownArrow;}}f\left(\right||S_{p_{\&DownArrow;}}-S_{q\&DownArrow;}|\left|\right)g\left(\right||y_p-y_q|\left|\right)$

其中，p和q表示在高分辨率亮度图像上的像素的位置，p_↓和q_↓分别表示下采样之后在低分辨率UV色度图像上像素的位置。f是空间滤波器核(spatial filterkernel)，g是范围滤波器核(range filter kernel)，S_q↓是在q_↓位置的UV的值，k_p是正则化因子，

是滤波后在p位置的高分辨率UV的值。相对于通用双边滤波器直接使用p和q的位置信息，我们使用含有更多信息量的p和q位置上的亮度信息来进行优化。

附图说明

图1是本发明词典学习的流程框图。

图2是本发明图像超分辨率的流程框图。

图3(a)为原始低分辨率图像。

图3(b)为采用双线性插值方法处理后所得图像。

图3(c)为采用双二次插值方法处理后所得图像。

图3(d)为采用邻域嵌入重建法处理后所得图像。

图3(e)为采用稀疏表示重建法处理后所得图像。

图3(f)为采用本发明方法处理后所得图像。

具体实施方式

以下结合附图和实施例对本发明加以详细说明。

如图1、2所示，本发明是一种基于词典学习和稀疏表示的图像超分辨率方法，首先利用训练图像获得具有同构特性的高分辨率和低分辨率词典对，然后对于测试图像使用低分辨率词典进行稀疏表示，最后使用高分辨率词典进行图像的超分辨率重建。同时，本发明还采用双边滤波器进行色度UV的超分辨率重建。

词典学习具体步骤为：

1.初始化设置。设定低分辨率图像块的大小为3×3，重叠部分为1个像素，超分辨率倍数为4；因此，搞分辨率图像块的大小为12×12，重叠部分为4个像素。表示异构数据集训练时对于某一类数据的加权λ0设为1。设定组成过完备词典的原子的数目为2000。

2.对彩色图像进行表示转换，即从原始的RGB彩色空间转换到YUV彩色空间，只需要保留亮度信息即可。

3.将彩色图像的亮度信息进行下采样处理，得到低分辨率下的亮度信息。

4.对低分辨率图像和高分辨率图像分别按照初始设置的图像块大小进行分块操作。

5.使用训练图像块对进行词典学习，即求解

${\min }_{P,\mathrm{\&alpha;}}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|z_i-P{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0$

其中， $z_i=\left(\begin{array}{c}{x}_i\\ {\mathrm{\&lambda;}}_0{y}_i\end{array}\right),$ $P=\left(\begin{array}{c}D\\ {\mathrm{\&lambda;}}_{0}W\end{array}\right).$

稀疏表示超分辨率步骤为：

1.初始化设置。设定低分辨率图像块的大小为3×3，重叠部分为1个像素，超分辨率倍数为4；因此，搞分辨率图像块的大小为12×12，重叠部分为4个像素。

2.对彩色图像进行表示转换，即从原始的RGB彩色空间转换到YUV彩色空间，亮度信息Y和色度信息UV都需要保留。

3.将彩色图像的亮度信息进行下采样处理，得到低分辨率下的亮度信息。

4.应用线性规划算法，求解每一个低分辨率图像块在低分辨率词典下的稀疏表示，即求解min||α||₁  s.t.x_i＝Dα_i。

5.使用上一步中求解得到的稀疏表示系数，在高分辨率词典下进行超分辨率重建，即y_i＝Wα_i.。

6.通过双边滤波器，综合亮度信息的超分辨率结果和低分辨率色度信息，进行色度UV的超分辨率重建，即 ${\tilde{S}}_p=\frac{1}{k_p}\underset{q_{\&DownArrow;}\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{S}_{q_{\&DownArrow;}}f\left(\right||S_{p_{\&DownArrow;}}-S_{q\&DownArrow;}|\left|\right)g\left(\right||y_p-y_q|\left|\right).$

7.将高分辨率的YUV彩色空间变换回RGB彩色空间，最终得到高分辨率的彩色图像。

从图3(a)～(f)中不难看出，本发明方法优于其他几种常用的插值方法和较为先进的超分辨率方法，获得了更好的视觉效果。

表1给出了本发明方法和其他常用插值方法以及两种较为先进的超分辨率方法的客观评价指标的比较结果。

为了客观地衡量算法的超分辨率效果，表1给出了均方根误差(RMSE)和峰值信噪比(PSNR)的性能指标。可以看出，无论是PSNR还是RMSE，本发明方法均优于其他各类方法。

总之，无论从人眼视觉效果，还是客观评价指标，均表明本发明方法可以更好地对图像进行超分辨率处理，获得更好的图像重建质量。

表1

	最近邻插值法	双线性插值法	双二次插值法	邻域嵌入法	图像稀疏表示法	本发明方法
							RMSE	0.0401	0.0373	0.0356	0.0386	0.0361	0.0354
PSNR	27.94	28.57	28.97	28.27	28.85	29.02

Claims (6)

1.一种基于词典学习和稀疏表示的超分辨率算法，其特征在于包括如下步骤：

(1)在异构数据库的基础上，以测试图像块在两个数据集中稀疏表示的一致性为目标，学习得到两个在图像块稀疏表示下同构的数据集；

(2)使用线性规划算法求解图像块的稀疏表示，保证测试图像块在低分辨率数据集上的表示系数不产生过拟合或欠拟合；

(3)针对色度信息UV和亮度信息Y，使用亮度信息指导下的双边滤波器重构色度信息。

2.根据权利要求1所述的基于词典学习和稀疏表示的超分辨率算法，其特征在于：图像的稀疏性如下式所示：min||α||₀s.t.x＝Dα(1)

其中，

是某个图像(块)的向量表示，

是一个过完备的词典，记||·||₀表示一个向量非零元素的个数，σ为D列向量线性无关的最小值，当 ${\left|\right|\mathrm{\&alpha;}\left|\right|}_0<\frac{\mathrm{\&sigma;}}{2}$ 时，对于x的稀疏表示

就是唯一的。

3.根据权利要求1所述的基于词典学习和稀疏表示的超分辨率算法，其特征在于：过完备词典的构造对于所有的训练集，需要求解：

${\arg \min }_{D,\mathrm{\&alpha;}}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0---\left(2\right)$

其中，x_i表示每一个训练样本，α_i表示训练样本x_i在词典D下的稀疏表示，λ是正则化参数；分两个步骤迭代求解上式：(a)根据当前词典求解信号的稀疏表示；(b)根据求解得到的稀疏表示更新词典；K-SVD算法首先运用正交匹配追踪算法求解第一步中的稀疏表示，接着考虑每次只更新词典D中的第k列d_k以及所对应的表示系数x_T ^k。不考虑上式稀疏表示的罚项||α_i||₀，(2)式重写为：

$\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2={\left|\right|X-\mathrm{D\&alpha;}\left|\right|}_F^2$

$={\left|\right|X-\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{d}_j{\mathrm{\&alpha;}}_T^j\left|\right|}_F^2---\left(2^{,}\right)$

$={\left|\right|(X-\underset{j\&NotEqual;k}{\mathrm{\&Sigma;}}{d}_j{\mathrm{\&alpha;}}_T^j)-d_k{\mathrm{\&alpha;}}_T^k\left|\right|}_F^2$

$={\left|\right|E_k-d_k{\mathrm{\&alpha;}}_T^k\left|\right|}_F^2$

其中，E_k表示使用除了词典的第k列之外对图像表示的残差，要使得式子总体达到最小，就要使d_kα_T ^k最接近E_k，因此对E_k进行奇异值分解，E_k＝UΔV^T，令为U的第一列，

为V的第一列乘以Δ(1，1)。

4.根据权利要求3中所述的基于词典学习和稀疏表示的超分辨率算法，其特征在于：为了满足两个词典在稀疏表示下的同构性，需要求解：

$\underset{D,W,\mathrm{\&alpha;}}{\min }\underset{i}{\mathrm{\&Sigma;}}{\left|\right|x_i-D{\mathrm{\&alpha;}}_i\left|\right|}_2^2+{\mathrm{\&lambda;}}_0{\left|\right|y_i-W{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0---\left(3\right)$

其中，D是低分辨率图像块词典，W是与之对应的高分辨率图像块词典，α_i是同时满足x_i在词典D和y_i在词典W下的稀疏表示，λ₀和λ分别是第二项和第三项的正则化参数；为了使用K-SVD算法求解，把上式重写成

${\min }_{P,\mathrm{\&alpha;}}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|z_i-P{\mathrm{\&alpha;}}_i\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_0---\left(3^{,}\right)$

其中， $z_i=\left(\begin{array}{c}{x}_i\\ {\mathrm{\&lambda;}}_0{y}_i\end{array}\right),$ $P=\left(\begin{array}{c}D\\ {\mathrm{\&lambda;}}_{0}W\end{array}\right).$

5.根据权利要求4所述的基于词典学习和稀疏表示的超分辨率算法，其特征在于：当低分辨率图像块词典D和高分辨率图像块词典W都训练得到之后，对于每一个低分辨率的测试图像块，使用线性规划算法求解其在低分辨率词典D上的稀疏表示系数α：

min||α||₁s.t.x_i＝Dα_i    (4)

最后，高分辨率的图像块就可以通过下式重构：

y_i＝Wα_i.。

6.根据权利要求1所述的基于词典学习和稀疏表示的超分辨率算法，其特征在于：使用亮度信息指导下的双边滤波器重构色度，双边滤波器如下式：

${\tilde{S}}_p=\frac{1}{k_p}\underset{q_{\&DownArrow;}\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{S}_{q_{\&DownArrow;}}f\left(\right||S_{p_{\&DownArrow;}}-S_{q\&DownArrow;}|\left|\right)g\left(\right||y_p-y_q|\left|\right)---\left(5\right)$

其中，p和q表示在高分辨率亮度图像上的像素的位置，p_↓和q_↓分别表示下采样之后在低分辨率UV色度图像上像素的位置。f是空间滤波器核，g是范围滤波器核，

是在q_↓位置的UV的值，k_p是正则化因子，是滤波后在p位置的高分辨率UV的值。

Images