CN103325104A - 基于迭代稀疏表达的人脸图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于迭代稀疏表达的人脸图像超分辨率重建方法，包括以下步骤：将低分辨率输入图像进行插值得到高分辨率人脸估计图像；将高分辨率人脸估计图像用一个高分辨率人脸图像字典进行线性表达，并在一定的表达误差下要求非零的表达系数尽可能少；将上述稀疏表达结果作为新的高分辨率人脸估计图像；使用基于局部线性回归方法对上述高分辨率人脸估计图像进行局部细节补偿，得到新的高分辨率人脸估计结果；迭代重复上述步骤，最后收敛到稳定值，完成超分辨率重建。本发明不仅将全局和局部方法用迭代的方式有机地结合在一起，而且提供了一种整合不同的解决图像对齐不准问题的策略，迭代能快速收敛，实现由粗到精的超分辨率重建。

Description

基于迭代稀疏表达的人脸图像超分辨率重建方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于迭代稀疏表达的人脸图像超分辨率重建方法。

背景技术

图像超分辨率的任务是从一个或者多个低分辨率输入图像推断出高分辨率图像。在实际生活中有广泛应用，特别是人脸图像的超分辨率重建在远距离视频监控或者视频处理等方面有着重要的应用。

传统的人脸图像超分辨率方法要求人脸图像根据几个基准点准确对齐，然后利用人脸图像之间的相似性先验知识约束超分辨率重建结果。但实际应用中低分辨率人脸图像由于像素过少通常对齐不准，造成人脸图像之间相似性先验不再满足，从而导致已有人脸图像超分辨率方法失效，降低超分辨率图像质量。

因此，如何解决人脸图像超分辨率对人脸图像对齐不准更加鲁棒是一个非常有意义的问题，但目前远未解决。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于迭代稀疏表达的人脸图像超分辨率重建方法，该方法对人脸图像对齐不准的情形比较鲁棒，在一定的对齐误差下仍可以得到很好的图像品质。

本发明的目的通过以下的技术方案实现：基于迭代稀疏表达的人脸图像超分辨率重建方法，包括以下步骤：

（1）将低分辨率输入图像进行插值得到高分辨率人脸估计图像；

（2）将高分辨率人脸估计图像进行稀疏表达，即将高分辨率人脸估计图像用一个高分辨率人脸图像字典进行线性表达，并在一定的表达误差下要求非零的表达系数尽可能少；之后将稀疏表达结果作为新的高分辨率人脸估计图像；

（3）使用基于局部线性回归方法得到的残差补偿对步骤（2）所得到的新的高分辨率人脸估计图像进行局部细节补偿，得到补偿后的高分辨率人脸估计图像；

（4）迭代重复步骤（2）和步骤（3），最后收敛到稳定值，完成超分辨率重建。

所述步骤（2）中稀疏表达是指：

min||α||₀,s.t.x*=Hα，

其中，x*是高分辨率人脸图像估计值，H=[h₁,…h_m]是高分辨率人脸图像字典，它包含m个基元素h_i,i=1,…,m，α∈R^m×1是以表达系数为元素组成的向量，简称系数向量，||α||₀是α的l₀范数，即α中非零元素的个数。可以把以上非凸最优化问题用一个凸最优化问题来逼近，得到一个稀疏的近似解：

$\mathrm{\α}*=\arg \underset{\mathrm{\α}}{\min }\frac{1}{2}{\left|\right|x*-\mathrm{H\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1.$

更进一步的，所述步骤（2）中，高分辨率人脸图像字典H的求解方法如下：

使用基准点对齐预先随机采样得到的一批高分辨率人脸图像；

通过准确定位基准点随机得到B幅对齐准确的高分辨率人脸图像；再通过1－8个像素的误差定位基准点随机得到Q幅对齐不准的高分辨率人脸图像；

将上述图像作为训练样本X=[x₁,…,x_N]∈R^n×N，其中x_i是第i个高分辨率人脸图像样本，n是图像空间维度，N是训练样本个数；

求解以下关于字典H和由N个系数向量组成的矩阵Α=[α₁,α₂,…,α_N]∈R^m×N的联合最优化问题：

$\underset{H,A}{\min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{1}{2}{\left|\right|x_i-{\mathrm{H\α}}_i\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|{\mathrm{\α}}_i\left[j\right]\left|\right);$

其中 $\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\α}}_i\right[j\left]\right|={\left|\right|{\mathrm{\α}}_i\left|\right|}_1.$

优选的，使用基准点对齐人脸图像时采用仿射变换，基准点有三个，即两眼中心和嘴中心。

具体的，所述步骤（3）中，使用基于局部线性回归方法得到残差补偿的方法如下：

对步骤（2）得到的高分辨率人脸估计图像进行下采样，然后被低分辨率输入图像减除，得到低分辨率残差图像，然后对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归，得到高分辨率残差图像；将高分辨率残差图像与步骤（2）得到的高分辨率人脸估计图像进行相加合并，完成脸部细节信息补偿，得到新的高分辨率人脸估计图像。显然的，新的高分辨率人脸估计图像比之前的更加精确。

更进一步的，所述步骤（3）中，得到低分辨率残差图像的具体步骤是：已知低分辨率输入图像y，以及由步骤（2）得到的高分辨率人脸估计图像Hα*，定义低分辨率残差图像为： $y_1(p,q)=y(p,q)-\frac{1}{S^2}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{s}{\mathrm{\Σ}}}\mathrm{H\α}*(\mathrm{Sp}+i,\mathrm{Sq}+j),$ 其中S为超分辨率放大倍数，（p,q）是像素的坐标。

更进一步的，所述步骤（3）中，对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归的方法具体如下：

（3-1）将随机选取的两幅对齐误差一致的不同高分辨率人脸图像相减，得到高分辨率残差图像，依此方法得到W幅训练样本，然后对样本中图像分别进行平滑和降采样得到对应的低分辨率残差图像训练样本；

（3-2）将高、低分辨率残差图像训练样本分块，然后将成对的高分辨率训练残差图像块和低分辨率训练残差图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，聚类得到成对的高分辨率的视觉单词和低分辨率的视觉单词；

（3-3）对每一成对的高分辨率视觉单词和低分辨率视觉单词，计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数；

（3-4）将输入的低分辨率残差图像分割成图像块，使图像块之间有部分重叠，对于每一个输入的低分辨率残差图像块，先通过计算到各个低分辨率视觉单词样本中心的最小马氏距离来找到它所属的视觉单词，再根据所属视觉单词的线性回归系数，合成对应的高分辨率残差图像块；

（3-5）通过平均重叠部分集成高分辨率残差图像块来得到完整的高分辨率残差图像。

优选的，所述步骤（3-2）中，通过计算水平和竖直的一阶梯度作为局部特征，并且把一个残差图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个残差图像块的局部几何特征表示，然后再连接高、低分辨率残差图像块的局部几何特征作为组合的特征。

作为优选方案，所述步骤（3-2）中，聚类分析采用B.J.Frey等人提出的仿射传播聚类算法(参考：B.J.Frey and D.Dueck,“Clustering by passing messagesbetween data points,”Science,2007)，该算法是把所有的数据点作为同等的聚类中心的候选，得到初始的聚类结果。

更进一步的，在初始的聚类结果上采取增量方式的竞争学习方法改善聚类结果并且增加训练样本的数量。增量方式的竞争学习方法如下：设经过仿射传播聚类后有N个聚类C₁…C_N，X_n={x_n1,…,x_nM}是聚类C_n的M个成员，聚类中心计算为成员的均值

协方差矩阵计算公式为

对于每一个新的特征向量x，考虑到聚类的采样分布，计算它与每一个聚类中心的马氏距离

把x分配到与它的马氏距离最小的聚类并更新这个聚类，假设更新的聚类是C_n，采用留一逼近法找到C_n中“最差的”样本，在C_n中选择一个样本，计算这个样本与C_n中剩下的样本的中心的马氏距离，计算得到的马氏距离最大的样本则为“最差的”样本，如果这个样本距离聚类C_n中心的马氏距离小于它距离其他聚类中心的马氏距离，则聚类C_n保留这个样本，否则去除它并且分配给其他聚类。

优选的，所述步骤（3-3）中计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数的方法如下：

给定一个2×2的低分辨率块，对低分辨率网格两倍细分后就形成了一个4×4高分辨率块；高分辨率块中心的4个像素

用最近邻的4个低分辨率像素

通过一个四阶线性插值得到：

$p_i^h=w_{i1}{p}_1^l\text{+}{w}_{i2}{p}_2^l+w_{i3}{p}_3^l+w_{i4}{p}_4^l,i=\mathrm{1,2,3,4};$

其中w_ij就是回归系数；对每一个视觉单词，给定低分辨率训练样本

其中

是第i个2×2低分辨率训练样本，高分辨率训练样本

其中

是低分辨率图像块

对应的4个高分辨率像素中的第i个像素，令W_i=[w_i1,w_i2,w_i3,w_i4]^T，则解如下凸最优化问题：

$\underset{W_i}{\min }{\left|\right|P_i^h-P^l{W}_i\left|\right|}_2^2,s.t.\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}=1;$

即分别计算出4个高分辨率像素的线性回归系数。

具体的，所述步骤（4）中的迭代重复步骤（2）和步骤（3）是指：在迭代的第n步，给定了当前的高分辨率人脸估计图像值x⁽ⁿ⁾，首先求解如下最优化问题：

${\mathrm{\α}}^{(n+1)}=\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|x^{\left(n\right)}-\mathrm{H\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1;$

再对重构结果Hα⁽ⁿ⁺¹⁾用高分辨率残差图像补偿得到第n+1步的估计值 $x^{(n+1)}={\mathrm{H\α}}^{(n+1)}+x_l^{(n+1)},$ 其中令λ线性递减为0：

${\mathrm{\λ}}^{\left(n\right)}={\mathrm{\λ}}^{\left(1\right)}-\frac{n-1}{M}{\mathrm{\λ}}^{\left(1\right)};$

其中M是最大迭代次数。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明将对齐不准的人脸图像超分辨率问题看成是一个选择不同基元素重建图像的问题。本发明提出的迭代稀疏表达方法可以自适应地选取和输入图像对齐模式相似的基元素进行图像重构，因此即使人脸图像对齐不准，重构的精度也不会受到太大影响。

2、本发明提出的残差补偿方法，能够不依赖于人脸的局部相似性而聚类相似的局部图像块，并通过局部线性回归简单而有效地进行高分辨率残差图像重建，因此人脸图像对齐不准不会对残差补偿过程产生影响。

3、本发明提出了一种优化结合全局与局部方法的超分辨率方法，对全局高分辨率图像的稀疏表达迭代地通过残差补偿进行局部修正。迭代的方式不仅将全局和局部方法有机地结合在一起，而且也提供了一种便利的方式整合不同的解决图像对齐不准问题的策略。实验结果表明迭代能够快速收敛，实现了由粗到精的逐步超分辨率过程。

附图说明

图1是本发明实施例1的字典学习算法流程图；

图2是本发明实施例1的局部线性回归系数学习算法流程图；

图3是本发明实施例1的算法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例基于迭代稀疏表达的人脸图像超分辨率重建方法，包括以下步骤：

（1）将低分辨率输入图像进行插值得到高分辨率人脸估计图像；

（2）将高分辨率人脸估计图像进行稀疏表达，即将高分辨率人脸估计图像用一个高分辨率人脸图像字典进行线性表达，并在一定的表达误差下要求非零的表达系数尽可能少。将稀疏表达结果作为新的高分辨率人脸估计图像；

（3）使用基于局部线性回归方法得到的残差补偿对步骤（2）所得到的新的高分辨率人脸估计图像进行局部细节补偿，得到补偿后的高分辨率人脸估计图像；

（4）迭代重复步骤（2）和步骤（3），最后收敛到稳定值，完成超分辨率重建。

所述步骤（2）中稀疏表达是指：

min||α||₀,s.t.x*=Hα，

其中，x*是通过双三次插值将低分辨率输入图像y放大得到的高分辨率人脸图像估计值，H=[h₁,…h_m]是高分辨率人脸图像字典，它包含m个基元素h_i,i=1,…,m，α∈R^m×1是以表达系数为元素组成的向量，简称系数向量，||α||₀是α的l₀范数，即α中非零元素的个数。可以把以上非凸最优化问题用一个凸最优化问题来逼近，得到一个稀疏的近似解：

$\mathrm{\α}*=\arg \underset{\mathrm{\α}}{\min }\frac{1}{2}{\left|\right|x*-\mathrm{H\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1.$

上述凸最优化问题可以采用B.Efron等人提出的最小角回归算法(参考：B.Efron,T.Hastie,I.M.Johnstone,and R.Tibshirani,“Least angleregression,”Ann.Statist.,vol.32,no.2,pp.407-499,2004.)。

如图1所示，所述步骤（2）中，高分辨率人脸图像字典H的求解方法如下：

使用三个基准点对齐预先随机采样得到的一批高分辨率人脸图像，即两眼中心和嘴中心。通过准确定位三个基准点随机得到500幅对齐准确的高分辨率人脸图像。再通过8个像素内的误差定位三个基准点随机得到2500幅对齐不准的高分辨率人脸图像。将这些图像做为训练样本X=[x₁,…,x_N]∈R^n×N,其中x_i是第i个高分辨率人脸图像样本，n是图像空间维度，N是训练样本个数。字典学习就是求解以下关于字典H和系数矩阵Α=[α₁,α₂,…,α_N]∈R^m×N的联合最优化问题：

$\underset{H,A}{\min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{1}{2}{\left|\right|x_i-{\mathrm{H\α}}_i\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|{\mathrm{\α}}_i\left[j\right]\left|\right);$

其中

具体的，可以采用Mairal等人提出的在线字典学习算法(参考：J.Mairal,F.Bach,J.Ponce,G.Sapiro,“Online learning for matrix factorizationand sparse coding,”Journal of Machine Learning Research,vol.11,pp.19-60,2010.)，该算法可以每次只处理一幅训练图像，因此具有很低的硬件存储要求和计算复杂度。

所述步骤（3）中，使用基于局部线性回归方法得到残差补偿的方法如下：对步骤（2）得到的高分辨率人脸估计图像进行下采样，然后被低分辨率输入图像减除，得到低分辨率残差图像，然后对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归，得到高分辨率残差图像；将高分辨率残差图像与步骤（2）得到的高分辨率人脸估计图像进行相加合并，完成脸部细节信息补偿，得到新的高分辨率人脸估计图像。

本实施例中得到低分辨率残差图像的具体步骤是：已知低分辨率输入图像y，以及由步骤（2）得到的高分辨率人脸估计图像Hα*，定义低分辨率残差图

像为： $y_1(p,q)=y(p,q)-\frac{1}{S^2}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{s}{\mathrm{\Σ}}}\mathrm{H\α}*(\mathrm{Sp}+i,\mathrm{Sq}+j),$

其中S为超分辨率放大倍数，(p,q)是像素的坐标。通过基于每一处脸部位置上的图像块的局部线性回归从y_l建立高分辨率残差图像x_l的估计。

所述步骤（3）中，对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归的方法具体如下：

（3-1）将随机选取的两幅对齐误差一致的不同高分辨率人脸图像相减，得到高分辨率残差图像，依此方法得到300幅训练样本，然后对样本中图像分别进行平滑和降采样得到对应的低分辨率残差图像训练样本；

（3-2）将高、低分辨率残差图像训练样本分块，然后将成对的高分辨率训练残差图像块和低分辨率训练残差图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，聚类得到成对的高分辨率的视觉单词和低分辨率的视觉单词；

（3-3）对每一成对的高分辨率视觉单词和低分辨率视觉单词，计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数；

（3-4）将输入的低分辨率残差图像y_l分割成图像块，使图像块之间有部分重叠。对于每一个输入的低分辨率残差图像块，先通过计算到各个低分辨率视觉单词样本中心的最小马氏距离来找到它所属的视觉单词。再根据所属视觉单词的线性回归系数，合成对应的高分辨率残差图像块。

（3-5）通过平均重叠部分集成高分辨率残差图像块来得到完整的高分辨率残差图像x_l。

如图2所示，所述步骤（3-2）中，本实施例通过计算水平和竖直的一阶梯度作为局部特征，并且把一个残差图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个残差图像块的局部几何特征表示，然后再连接高、低分辨率残差图像块的局部几何特征作为组合的特征。

所述步骤（3-2）中，聚类分析采用B.J.Frey等人提出的仿射传播聚类算法(参考：B.J.Frey and D.Dueck,“Clustering by passing messages between datapoints,”Science,2007)，该算法是把所有的数据点作为同等的聚类中心的候选，得到初始的聚类结果。

其中，在初始的聚类结果上采取增量方式的竞争学习方法改善聚类结果并且增加训练样本的数量。增量方式的竞争学习方法如下：设经过仿射传播聚类后有N个聚类C₁…C_N，X_n={x_n1,…,x_nM}是聚类C_n的M个成员，聚类中心计算为成员的均值 $\stackrel{\‾}{x_n}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{x}_{\mathrm{nm}},$ 协方差矩阵计算公式为 ${\mathrm{\Σ}}_n=\frac{1}{M-1}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(x_{\mathrm{nm}}-\stackrel{\‾}{x_n}){(x_{\mathrm{nm}}-\stackrel{\‾}{x_n})}^T,$ 对于每一个新的特征向量x，考虑到聚类的采样分布，计算它与每一个聚类中心的马氏距离

把x分配到与它的马氏距离最小的聚类并更新这个聚类，假设更新的聚类是C_n，采用留一逼近法找到C_n中“最差的”样本，在C_n中选择一个样本，计算这个样本与C_n中剩下的样本的中心的马氏距离，计算得到的马氏距离最大的样本则为“最差的”样本，如果这个样本距离聚类C_n中心的马氏距离小于它距离其他聚类中心的马氏距离，则聚类C_n保留这个样本，否则去除它并且分配给其他聚类。

如图2所示，所述步骤（3-3）中的对每一成对的高分辨率视觉单词和低分辨率视觉单词，计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数方法按如下给出：给定一个2×2的低分辨率块，对低分辨率网格两倍细分后就形成了一个4×4高分辨率块。高分辨率块中心的4个像素

可以用最近邻的4个低分辨率像素通过一个四阶线性插值得到：

$p_i^h=w_{i1}{p}_1^l\text{+}{w}_{i2}{p}_2^l+w_{i3}{p}_3^l+w_{i4}{p}_4^l,i=\mathrm{1,2,3,4};$

其中w_ij就是回归系数。对每一个视觉单词，给定低分辨率训练样本

其中

是第i个2×2低分辨率训练样本，高分辨率训练样本

其中

是低分辨率图像块

对应的4个高分辨率像素中的第i个像素。令W_i=[w_i1,w_i2,w_i3,w_i4]^T，则解如下凸最优化问题：

$\underset{W_i}{\min }{\left|\right|P_i^h-P^l{W}_i\left|\right|}_2^2,s.t.\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}=1;$

就可以分别计算出4个高分辨率像素的线性回归系数。

如图3所示，所述步骤（4）中的迭代重复步骤（2）和步骤（3）是指：在迭代的第n步，给定了当前的高分辨率人脸图像估计值x⁽ⁿ⁾，首先求解如下最优化问题：

${\mathrm{\α}}^{(n+1)}=\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|x^{\left(n\right)}-\mathrm{H\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1$

再对重构结果Hα⁽ⁿ⁺¹⁾用高分辨率残差图像补偿得到第n+1步的估计值

为了使迭代收敛，实际中令λ线性递减为0：

${\mathrm{\λ}}^{\left(n\right)}={\mathrm{\λ}}^{\left(1\right)}-\frac{n-1}{M}{\mathrm{\λ}}^{\left(1\right)};$

其中M是最大迭代次数。本实施例一般迭代20次即收敛，并输出最终的高分辨率图像结果x*。

通过以下实验对本实施例所述方法的效果进行说明：实验选择CES-PEAL-R1脸部数据库，该数据库包含1040个人的99594张图像，如表1所示，2个正脸图像的子集被用到两个实验中。本实验中所用到的人脸图像都是通过三个基准点来对齐的：两眼中心和嘴中心。将对齐的高分辨率人脸图像都裁剪成128×96大小，相应的低分辨率图像通过平滑和降采样得到。接下来，一共对三类图像进行超分辨率实验，分别是：对齐准确的人脸，因基准点定位错误而无法准确对齐的人脸，因表情变化而无法准确对齐的人脸。对于前两类测试图像，全局稀疏表达训练集包括标准人脸子库中500幅准确对齐的人脸图像和在高分辨率网格中每个基准点的8个像素对齐误差内随机选择的2500幅未对准的图像。对于第三类有表情的测试图像，全局稀疏表达模型训练集包括标准人脸子库中500幅准确对齐的人脸图像和表情人脸子库中的5种表情下每种表情随机选择300幅共1500幅未对准的图像。另外，对于局部残差补偿的训练集，三类图像的实验都通过随机选择全局稀疏表达模型训练集中对齐模式一致的图像两两相减，得到共300幅残差脸图像。

表1.CAS-PEAL-R1数据库2个子集的内容

将基于优化稀疏表达的方法和已有方法比较，包括金字塔法特征变换法、两步法、LPH法、基于位置块的方法、局部结构法、以及基于稀疏表达的方法。对于结合全局与局部方法的混合法，400幅对齐准确的人脸图像和2000幅对齐不准的人脸图像被用来训练全局模型，剩下的100幅对齐准确的人脸图像和500幅对齐不准的人脸图像用来训练局部模型。

将本发明中字典所包含的基元素个数取为1024。对残差图像块做聚类分析时，从残差脸图像中随机生成100000对高、低分辨率残差块来做训练，其中的40000对用来做相似度传播聚类，60000对用来增量聚类。视觉单词个数设为1000。对于迭代过程，初始的λ选为10。通过实验观测可以得到当迭代的次数超过20次的时候算法可以得到稳定的输出，因此最大迭代次数设为20。

为了量化图像视觉品质，计算2个指标来测量人脸超分辨率重构的图像和真实高分辨率图像的差别，其中一个是均方误差(MSE)，公式为 $\mathrm{MSE}={\mathrm{\Σ}}_{i=1}^N{\left|\right|I_{\mathrm{test},i}^h-J_{\mathrm{test},i}^h\left|\right|}_2^2/\left(\mathrm{WHN}\right),$ 其中

是真实高分辨率图像，是重构的人脸图像，W和H分别是图像宽度和高度，N是测试图像的数量，另外一个是结构相似性指标(SSIM)。

第一个实验是对齐准确的人脸图像超分辨率实验。本实验中，从标准人脸子库中选取未用于训练的40幅人脸图像做准确对齐的人脸图像超分辨率测试。本实施例所采用方法，在放大倍数为4时得到的MSE值为99，SSIM值为0.89，这些结果表明本实施例方法持平或优于其它已有的方法，因此本发明对对齐准确的人脸图像超分辨率任务是适用的。

第二个实验是因表情变化而对齐不准的人脸图像超分辨率实验。从表情人脸子库中未用于训练的图像中选取100幅进行测试。本实施例所采用方法，在放大倍数为4时得到的MSE值为112，SSIM值为0.85。由于表情变化使人脸模式更加发散，本实施例所采用方法的结果不如准确对齐时的结果好。但是，与其它已有算法的横向比较下，本方法仍然优于其它已有方法，结果不会产生明显的人工痕迹，非常相似于真实的高分辨率原图。

第三个实验是因基准点定位不准而未对齐人脸图像的超分辨率实验。对高分辨率图像的基准点坐标进行一定范围内的移动来产生对齐不准的高分辨率人脸图像，然后再平滑和降采样获得需要测试的低分辨率图像。因此所说的对齐误差都是相对于高分辨率网格中的基准点坐标来说的。采用和对齐准确人脸图像实验中一样的40幅人脸测试图像，但是人为将基准点坐标在8个像素的范围内移动，也就是以正确坐标为中心的17×17的邻域中采样，这样对于4倍超分辨率问题就相当于在低分辨率网格中有一到两个像素的基准点对齐误差。这里不对更大的定位误差情形进行实验，因为超过8个像素的基准点定位误差会使裁剪出来的人脸图像产生非常大的扭曲和特征损失，这类图像已无法被任何已有的人脸识别系统所使用。本实施例所采用方法，在放大倍数为4时得到的MSE值为140，SSIM值为0.8，本方法仍然鲁棒，在这种程度的对齐误差下效果只比对齐准确时略有降低。

因此，通过上述实验可知，本发明方法相较于现有技术方法，不仅对对齐准确的人脸图像超分辨率任务是适用的，更重要的是，在因表情变化、因基准点定位不准而对齐不准的人脸图像超分辨率实验中仍然能够达到很好的效果，鲁棒性强。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

（1）将低分辨率输入图像进行插值得到高分辨率人脸估计图像；

（2）将高分辨率人脸估计图像进行稀疏表达，即将高分辨率人脸估计图像用一个高分辨率人脸图像字典进行线性表达，并在一定的表达误差下要求非零的表达系数尽可能少；之后将稀疏表达结果作为新的高分辨率人脸估计图像；

（3）使用基于局部线性回归方法得到的残差补偿对步骤（2）所得到的新的高分辨率人脸估计图像进行局部细节补偿，得到补偿后的高分辨率人脸估计图像；

（4）迭代重复步骤（2）和步骤（3），最后收敛到稳定值，完成超分辨率重建。

2.根据权利要求1所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（2）中稀疏表达是指：

min||α||₀,s.t.x*=Hα，

其中，x*是高分辨率人脸图像估计值，H=[h₁,…h_m]是高分辨率人脸图像字典，它包含m个基元素h_i,i=1,…,m，α∈R^m×1是以表达系数为元素组成的向量，简称系数向量，||α||₀是α的l₀范数，即α中非零元素的个数。

3.根据权利要求2所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（2）中，高分辨率人脸图像字典H的求解方法如下：

使用基准点对齐预先随机采样得到的一批高分辨率人脸图像；

通过准确定位基准点随机得到B幅对齐准确的高分辨率人脸图像；再通过1-8个像素的误差定位基准点随机得到Q幅对齐不准的高分辨率人脸图像；

将上述图像作为训练样本X=[x₁,…,x_N]∈R^n×N，其中x_i是第i个高分辨率人脸图像样本，n是图像空间维度，N是训练样本个数；

求解以下关于字典H和由N个系数向量组成的矩阵Α=[α₁,α₂,…,α_N]∈R^m×N的联合最优化问题：

$\underset{H,A}{\min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{1}{2}{\left|\right|x_i-{\mathrm{H\α}}_i\left|\right|}_2^2+\mathrm{\λ}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|{\mathrm{\α}}_i\left[j\right]\left|\right);$

其中 $\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\α}}_i\right[j\left]\right|={\left|\right|{\mathrm{\α}}_i\left|\right|}_1.$

4.根据权利要求3所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，使用基准点对齐人脸图像时采用仿射变换，基准点有三个，即两眼中心和嘴中心。

5.根据权利要求1所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（3）中，使用基于局部线性回归方法得到残差补偿的方法如下：

对步骤（2）得到的高分辨率人脸估计图像进行下采样，然后被低分辨率输入图像减除，得到低分辨率残差图像，然后对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归，得到高分辨率残差图像；将高分辨率残差图像与步骤（2）得到的高分辨率人脸估计图像进行相加合并，完成脸部细节信息补偿，得到新的高分辨率人脸估计图像。

6.根据权利要求5所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（3）中，得到低分辨率残差图像的具体步骤是：已知低分辨率输入图像y，以及由步骤（2）得到的高分辨率人脸估计图像Hα*，定义低分辨率残差图像为： $y_1(p,q)=y(p,q)-\frac{1}{S^2}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{s}{\mathrm{\Σ}}}\mathrm{H\α}*(\mathrm{Sp}+i,\mathrm{Sq}+j),$ 其中S为超分辨率放大倍数，(p,q)是像素的坐标。

7.根据权利要求5所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，对低分辨率残差图像每一处脸部位置上的图像块进行局部线性回归的方法具体如下：

（3-1）将随机选取的两幅对齐误差一致的不同高分辨率人脸图像相减，得到高分辨率残差图像，依此方法得到W幅训练样本，然后对样本中图像分别进行平滑和降采样得到对应的低分辨率残差图像训练样本；

（3-2）将高、低分辨率残差图像训练样本分块，然后将成对的高分辨率训练残差图像块和低分辨率训练残差图像块的梯度域特征组合在一起，对组合的特征进行聚类分析，聚类得到成对的高分辨率的视觉单词和低分辨率的视觉单词；

（3-3）对每一成对的高分辨率视觉单词和低分辨率视觉单词，计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数；

（3-4）将输入的低分辨率残差图像分割成图像块，使图像块之间有部分重叠，对于每一个输入的低分辨率残差图像块，先通过计算到各个低分辨率视觉单词样本中心的最小马氏距离来找到它所属的视觉单词，再根据所属视觉单词的线性回归系数，合成对应的高分辨率残差图像块；

（3-5）通过平均重叠部分集成高分辨率残差图像块来得到完整的高分辨率残差图像。

8.根据权利要求7所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（3-2）中，通过计算水平和竖直的一阶梯度作为局部特征，并且把一个残差图像块的所有像素点的梯度特征连接起来形成一个向量作为梯度域特征，从而得到每一个残差图像块的局部几何特征表示，然后再连接高、低分辨率残差图像块的局部几何特征作为组合的特征。

9.根据权利要求7所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（3-2）中，聚类分析采用仿射传播聚类算法，其中在初始的聚类结果上采取增量方式的竞争学习方法。

10.根据权利要求7所述的基于迭代稀疏表达的人脸图像超分辨率重建方法，其特征在于，所述步骤（3-3）中的对每一成对的高分辨率视觉单词和低分辨率视觉单词，计算从低分辨率视觉单词到高分辨率视觉单词的线性回归系数方法如下：

给定一个2×2的低分辨率块，对低分辨率网格两倍细分后就形成了一个4×4高分辨率块；高分辨率块中心的4个像素用最近邻的4个低分辨率像素

通过一个四阶线性插值得到：

$p_i^h=w_{i1}{p}_1^l\text{+}{w}_{i2}{p}_2^l+w_{i3}{p}_3^l+w_{i4}{p}_4^l,i=\mathrm{1,2,3,4};$

其中wij就是回归系数；对每一个视觉单词，给定低分辨率训练样本

其中

是第i个2×2低分辨率训练样本，高分辨率训练样本其中是低分辨率图像块

对应的4个高分辨率像素中的第i个像素，令W_i=[w_i1,w_i2,w_i3,w_i4]^T，则解如下凸最优化问题：

$\underset{W_i}{\min }{\left|\right|P_i^h-P^l{W}_i\left|\right|}_2^2,s.t.\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}=1;$

即分别计算出4个高分辨率像素的线性回归系数。

Images