CN101710386A - 一种基于相关特征和非线性映射的超分辨率人脸识别方法 - Google Patents

Abstract

一种基于相关特征和非线性映射的超分辨率人脸识别方法。本发明针对低分辨率人脸图像识别率较低的问题，提出了一种利用相关特征和非线性映射进行识别特征的超分辨率重建得到低分辨率人脸图像在高分辨率空间对应的识别特征的方法。本发明利用典型相关分析建立高分辨率和低分辨率人脸图像特征的相关子空间，获得相关特征，然后利用径向基函数建立高低分辨率人脸图像相关特征之间的联系，从而求得测试低分辨率人脸图像在高分辨率空间的近似特征，最终用于人脸识别。相比其它的方法，本发明受人脸姿态和表情变化影响较小，所得识别率较高。

Description

一种基于相关特征和非线性映射的超分辨率人脸识别方法

技术领域

本发明涉及人脸识别领域，具体的涉及一种基于相关特征和非线性映射的超分辨率人脸识别方法。

背景技术

人脸识别是一种重要的生物认证技术，近三十年来，研究人员提出了大量的方法，并已广泛用于视频监控等安全保障系统中。但是，由于距离和硬件条件等的限制，在大场景视频监控系统中拍摄的感兴趣人脸图像分辨率往往比较低，从而降低了人脸识别的性能。如何在低分辨率条件下提高识别效果，是目前人脸识别需要解决的问题。

图像超分辨率(super-resolution，SR)是指利用某种算法从一幅或者一系列低分辨率(low resolution，LR)图像中获得一幅或者一系列高分辨率(high resolution，HR)图像的技术。因此，人脸图像超分辨率算法很自然地被作为提高低分辨率图像人脸识别效果的解决方案之一。具体而言，先利用超分辨率重建算法得到视觉效果较好的人脸图像，然后再进行人脸识别。但是，这种方案中人脸图像超分辨率重建与识别两部分独立进行，且超分辨率的目标定位在提高图像视觉效果，而不是提高识别率。

基于以上原因，Gunturk等人提出了直接重建人脸识别系统所需的高分辨率特征脸信息的方法。该方法提供了一种很好的直接利用超分辨率进行人脸识别的框架，但计算复杂度较高，且该方法使用的概率模型不适用于人脸姿态变化较大的情况。Sezer等认为与像素域相比，在特征空间域利用超分辨率进行低分辨率人脸图像识别性能更加鲁棒，并提出了在ICA特征空间内利用贝叶斯估计和凸集投影方法进行超分辨率，从而对低分辨率视频人脸图像序列进行识别的方法。同样，此方法应用了概率模型，只适合于对正面低分辨率人脸图像进行识别。Pablo等人提出了超分辨率重建和特征提取相结合的低分辨率人脸识别方法，此方法所提出的正则化目标函数模型能同时清晰表达对超分辨率重建结果以及识别结果的限制，但目标函数参数的学习过程比较复杂。

发明内容

本发明的目的在于克服上述现有技术的缺点，提出了一种基于相关特征和非线性映射的超分辨率人脸识别方法。

为了达到上述目的，本发明采用的技术方案是：

1)首先，利用经典的主成分分析方法提取高、低分辨率训练人脸图像的识别特征，利用所提取两组识别特征作为训练数据，根据典型相关分析(Canonical Correlation Analysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征；

2)其次，利用径向基函数(Radial Basis Function，RBF)建立高、低分辨率人脸图像相关特征之间的映射关系，根据此映射关系得到测试低分辨率人脸图像对应的高分辨率识别特征；

3)最后，利用基于L2范数的最近邻分类器，按照求得的高分辨率识别特征进行分类识别，从而获得识别率。

所述的步骤1)中的根据典型相关分析(Canonical CorrelationAnalysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征包括以下步骤：

1)设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为 $I^H={\left\{I_i^H\right\}}_{i=1}^m=[I_1^H,I_2^H,...,I_m^H],$ $I^L={\left\{I_i^L\right\}}_{i=1}^m=[I_1^L,I_2^L,...,I_m^L],$ 其中 I_i ^H为第i幅高分辨率人脸图像，I_i ^L为第i幅低分辨率人脸图像，m为训练图像总的样本数目；定义 ${\left(B^H\right)}^T{I}_i^H=x_i^H,$ 其中B^H是高分辨率图像对应的特征提取矩阵，x_i ^H是代表人脸图像I_i ^H的特征向量，T代表转置运算；同理，得到低分辨率图像的特征表示为 $x_i^L={\left(B^L\right)}^T{I}_i^L,$ 其中B^L是低分辨率人脸图像对应的特征提取矩阵，x_i ^L代表低分辨率人脸图像I_i ^L的特征向量，T代表转置运算；由此，得到表示对应的高低分辨率训练人脸图像的特征向量集为 $X^H={\left\{x_i^H\right\}}_{i=1}^m$ 和 $X^L={\left\{x_i^L\right\}}_{i=1}^m,$ 其中x_i ^H为第i幅高分辨率人脸图像对应的特征向量，x_i ^L为第i幅低分辨率人脸图像的特征向量；

2)对于人脸图像识别特征的特征向量集X^H、X^L分别减去其均值x^H和x^L，得到中心化的数据集

和

定义

分别为

和的自协方差矩阵，和

分别为和

的互协方差矩阵，其中E[·]代表数学期望，T代表转置运算；计算 $R_1=C_{11}^{-1}{C}_{12}{C}_{22}^{-1}{C}_{21},$ $R_2=C_{22}^{-1}{C}_{21}{C}_{11}^{-1}{C}_{12};$ R₁和R₂的特征向量即为所求映射基向量V^H和V^L；

3)利用所得到的映射基向量，将特征向量集X^H、X^L变换为相关特征，得到高分辨率和低分辨率训练人脸图像对应的相关特征的投影系数集 $C^H={\left\{c_i^H\right\}}_{i=1}^m,$ $C^L={\left\{c_i^L\right\}}_{i=1}^m,$ 即：

和

其中c_i ^H为第i幅高分辨率人脸图像对应的投影系数，c_i ^L为第i幅低分辨率人脸图像对应的投影系数，

为第i幅高分辨率人脸图像对应的特征向量，

为第i幅低分辨率人脸图像对应的特征向量。

所述的步骤2)中的测试低分辨率人脸图像对应的高分辨率识别特征的步骤如下：

1)对输入的低分辨率测试人脸图像I_l，根据此低分辨率测试人脸图像I_l对应的低分辨率人脸图像特征提取矩阵B^L，利用x_l＝(B^L)^TI_l得到该低分辨率测试人脸图像I_l的特征向量x_l，通过c_l＝(V^L)^T(x_l-x^L)将x_l变换为相关特征c_l；

2)利用RBF建立高低分辨率人脸图像相关特征之间的非线性映射关系，其中利用相关特征C^H和C^L作为训练数据集，对RBF模型进行训练，求得权值矩阵W；

3)将c_l作为RBF模型的输入，即可求得对应的高分辨率人脸图像近似特征为： $c_h=W\·{[\mathrm{\φ}(c_1^L,c_l),...\mathrm{\φ}(c_m^L,c_l)]}^T,$ 其中φ(·)为所用的径向基函数，采用多元二次曲面函数，具体为 $\mathrm{\φ}(c_i,c_j)=\sqrt{{\left|\right|c_i-c_j\left|\right|}^2+1},$ 求得c_h后，利用此近似高分辨率特征进行人脸识别。

本发明是基于流形学习的理论，由于相互对应的高低分辨率人脸图像的识别特征是由共同的内在结构生成的，本发明利用典型相关分析(Canonical Correlation Analysis，CCA)将高低分辨率人脸图像特征转换到两个相关子空间，使得高低分辨率人脸图像识别特征具有相似的拓扑结构，进一步利用径向基函数(Radial Basis Function，RBF)建立两个相关子空间之间高低分辨率人脸图像特征之间的映射关系，从而求得测试低分辨率人脸图像对应的高分辨率识别特征，并利用基于L2范数的最近邻分类器进行分类识别，从而获得识别率。

附图说明

图1是高、低分辨率人脸图像特征分布图，其中(a)为CCA变换前的特征分布，(b)为CCA变换后的特征分布；

图2本发明算法框架；

图3 CAS-PEAL表情库中同一人物的五幅表情图像；

图4 CAS-PEAL表情图库识别率对比；

图5实验所用的一组人脸图像，其中(a)为32×32的高分辨率训练人脸图像，(b)为8×8的低分辨率训练人脸图像，(c)为8×8的低分辨率测试人脸图像；

图6特征向量维数变化对识别率的影响；

图7 ORL图库中同一人物的一组图像；

图8 ORL图库识别率对比。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

人脸图像识别特征超分辨率问题可描述为：已知两个相互对应的高、低分辨率人脸图像训练集合I^H和I^L或者两个相互对应的人脸图像识别特征的特征向量集X^H和X^L，输入一幅低分辨率人脸图像I_l，求其对应的高分辨率人脸图像的识别特征c_h。

流形学习的理论认为人脸子空间是一种嵌入流形结构，这表明人脸数据集构成的高维结构在局部意义下与某个低维欧式空间拓扑同胚。相互对应的高低分辨率人脸数据集之间仅仅分辨率不同，也就是维数不同。因此，可以认为，相互对应的高低分辨率人脸数据集是由相同的内在结构生成的，两者在某个空间应具有相似的拓扑结构。CCA是一种分析两组数据线性关系的方法，其目的是分别为每组数据寻找一组映射基向量，使得通过这两组基向量变换后的数据相关性达到最大。本发明以高、低分辨率图像的识别特征作为两组待处理数据，通过CCA变换来寻找相关子空间，经CCA变换使得高、低分辨率人脸图像识别特征的拓扑结构变得更加相似。图1为在CCA变换前后一组对应的高、低分辨率人脸图像识别特征前两维的分布情况。从图中可以看出，CCA变换前，高、低分辨率人脸图像识别特征的拓扑关系比较凌乱；CCA变换后，两者的拓扑结构变得相似，更易建立两个相关子空间之间的映射关系。

RBF常用于构建比较精确的插值函数。本发明利用RBF构建回归模型，充分利用高低分辨率人脸图像特征的训练数据学习RBF参数，以建立高、低分辨率人脸图像识别特征在相关子空间的映射关系。对于测试低分辨率人脸图像特征即可通过RBF回归模型求得对应的高分辨率人脸图像识别特征。相比其它文献中基于概率模型的方法，此方法简单，并且对于非正面、多表情人脸图像也可得到较好的识别特征，识别率较高。

本发明算法框架如图2所示，主要包含三个部分：人脸图像特征提取，相关特征的超分辨率重建以及最终的识别过程。

1)设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为 $I^H={\left\{I_i^H\right\}}_{i=1}^m=[I_1^H,I_2^H,...,I_m^H],$ $I^L={\left\{I_i^L\right\}}_{i=1}^m=[I_1^L,I_2^L,...,I_m^L],$ 其中I_i ^H为第i幅高分辨率人脸图像，I_i ^L为第i幅低分辨率人脸图像，m为训练图像总的样本数目；人脸图像特征通过经典的主成分分析(Principal Component Analysis，PCA)来获取。定义

${\left(B^H\right)}^T{I}_i^H=x_i^H---\left(1\right)$

其中B^H是高分辨率人脸图像对应的特征提取矩阵，x_i ^H是人脸图像I_i ^H的特征向量，T代表转置运算；同理，得到低分辨率图像的特征表示为 $x_i^L={\left(B^L\right)}^T{I}_i^L,$ 其中B^L是低分辨率人脸图像对应的特征提取矩阵，x_i ^L代表低分辨率人脸图像I_i ^L的特征向量，T代表转置运算；由此，得到表示对应的高低分辨率训练人脸图像的特征向量集为 $X^H={\left\{x_i^H\right\}}_{i=1}^m$ 和 $X^L={\left\{x_i^L\right\}}_{i=1}^m,$ 其中x_i ^H为第i幅高分辨率人脸图像对应的特征向量，x_i ^L为第i幅低分辨率人脸图像的特征向量；

首先将高低分辨率人脸训练图像的特征向量通过CCA变换转换到相关子空间。具体的，对于对于人脸图像识别特征的特征向量集X^H、X^L分别减去其均值x^H和x^L，得到中心化的数据集

和

CCA的目标是分别为样本集

和

寻找两组映射基向量V^H、V^L，使得利用基向量映射后的变量

和

之间的相关系数ρ达到最大，即有：

$\mathrm{\ρ}=\frac{E\left[C^H{C}^L\right]}{\sqrt{E\left[{\left(C^H\right)}^2\right]E\left[{\left(C^L\right)}^2\right]}}---\left(2\right)$

取得最大值，其中E[·]代表数学期望。

为了求解基向量V^H和V^L，定义

分别为

和

的自协方差矩阵，

和分别为

和

的互协方差矩阵。计算 $R_1=C_{11}^{-1}{C}_{12}{C}_{22}^{-1}{C}_{21},$ $R_2=C_{22}^{-1}{C}_{21}{C}_{11}^{-1}{C}_{12}.$ R₁和R₂的特征向量即为所求基向量V^H和V^L。

利用所求基向量，将特征向量集X^H、X^L变换到相关子空间，得到对应的投影系数集 $C^H={\left\{c_i^H\right\}}_{i=1}^m,$ $C^L={\left\{c_i^L\right\}}_{i=1}^m,$ 即：

由于X^H、X^L这两个数据集之间存在相关的内在结构，经过CCA变换，两个数据集C^H和C^L之间的相关性得到增强，使得两者的拓扑关系更相似。

在相关子空间，利用RBF建立高低分辨率人脸图像特征之间的映射关系。径向基函数方法利用径向对称函数将多元数据逼近问题转化为一元的逼近问题，可平滑插值不均匀分布的高维数据。RBF的数学表示为：

$f_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\mathrm{\φ}(t_i,t_j)---\left(5\right)$

其中φ(·)是所用的基函数，在此采用多元二次曲面函数： $\mathrm{\φ}(\·)=\sqrt{{\left|\right|t_i-t_j\left|\right|}^2+1},$ w_i是基函数对应的系数。在本发明应用过程中，t_i和t_j为相应的低分辨率人脸图像特征，f_j为与t_j对应的高分辨率人脸图像特征。矩阵形式的RBF表示为F＝WΦ，具体的可以表示为：

$[f_1,...f_m]=[w_1,...w_m]\left[\begin{array}{ccc}\mathrm{\φ}(t_1,t_2)& ...& \mathrm{\φ}(t_1,t_m)\\ ...& ...& ...\\ \mathrm{\φ}(t_m,t_1)& ...& \mathrm{\φ}(t_m,t_m)\end{array}\right]---\left(6\right)$

利用训练数据集C^H和C^L对上述RBF模型进行训练，即可求得权值W。具体地，令F＝C^H， $t_i=c_i^L.$ 那么，W容易求得为W＝F·inv(Φ)。

对输入的低分辨率测试人脸图像I_l，求得其特征向量x_l，进一步将x_l变换到相关子空间，得到c_l，即：

c_l＝(V^L)^T(x_l-x^L)    (7)

将c_l作为RBF的输入，根据等式(5)即可求得对应的高分辨率人脸图像近似特征为：

$c_h=W\·{[\mathrm{\φ}(c_1^L,c_l),...\mathrm{\φ}(c_m^L,c_l)]}^T---\left(8\right)$

进而根据相关子空间的识别特征进行人脸识别。利用特征c_h与 $C^H={\left\{c_i^H\right\}}_{i=1}^m$ 采用基于L2范数的最近邻分类器进行分类识别，即判决函数为：

$g_k\left(c_h\right)=\min \left({\left|\right|c_h-c_{\mathrm{ik}}^H\left|\right|}_2\right),$ i＝1，2，...m    (9)

其中c_ik ^H表示C^H中属于第k类的第i个样本。

为了验证本发明的有效性，分别利用CAS-PEAL表情人脸图库、ORL人脸库进行实验。所得实验结果分别与双三次插值识别算法、文献中Gunturk的方法、以及利用原始高分辨率图像进行识别所得识别率进行比较。其中，双三次插值识别算法是指对低分辨率人脸图像利用双三次插值得到高分辨率人脸图像，然后提取此高分辨率人脸图像的特征进行识别；利用原始高分辨率图像进行识别，即直接提取此高分辨率图像的特征进行识别。在本发明实验中，识别策略均采用基于L2范数的最近邻分类器进行分类识别。下面分别介绍利用两组图库进行人脸识别的实验过程和结果。

利用CAS-PEAL表情图库进行人脸识别，此图库包含377个人物，每人包含5幅不同表情的图像。图3给出了经过预处理后的一组人脸图像，表情依次为闭眼、皱眉、笑、张嘴、惊讶。在此实验过程中，利用同一人物的前三幅图像进行训练，剩余两幅图像进行识别。

根据高低分辨率图像大小分三种情况进行人脸识别，分别为：第一种情况，高分辨率训练图像大小为64×64，低分辨率图像大小为16×16；第二种情况，高分辨率训练图像大小为64×64，低分辨率图像大小为8×8；第三种情况，高分辨率训练图像大小为32×32，低分辨率图像大小为8×8。Gunturk方法参考文献中的参数：KL变换选择前60维特征向量，最大迭代数目为7，λ＝0.5，其它方法中，人脸图像均利用PCA提取特征，高分辨率人脸图像取PCA方差贡献率为95％，低分辨率人脸图像取PCA方差贡献率为98％，后面图库中参数设置与此相同，不再赘述。图4给出了上述三种情况的识别率对比。

从图4中可以看出，相比其它方法，当待识别人脸图像分辨率较低时，本发明方法识别率优势较明显，并且整体性能较稳定。本发明方法所得识别率与利用原始高分辨率人脸图像进行识别所得识别率非常接近，这是因为本发明利用CCA获得相关特征，利用RBF对于相关特征进行超分辨率重建，可以获得测试低分辨率人脸图像在高分辨率特征空间的近似识别特征。

为了分析PCA提取特征维数变化对结果的影响，对于高分辨率训练人脸图像大小为32×32，低分辨率人脸图像大小为8×8(如图5所示)，低分辨率人脸图像利用PCA提取30维特征向量，改变高分辨率人脸图像提取特征向量的维数，比较不同方法所得识别率。实验结果如图6所示。

由图6可以看出：随着特征向量维数的增加，所得识别率均最初呈上升趋势，然后逐渐稳定在一个区间内；本发明方法所得识别率结果相比Gunturk的方法能较快的达到稳定区域，且识别率较高；当特征向量维数大于30，本发明方法所得识别率与利用原始高分辨率人脸图像所得识别率结果非常接近，这是因为本发明方法利用识别特征的超分辨率重建，解空间限制在高分辨率特征空间内，可以获得有利于识别的信息。

利用ORL人脸库进行人脸识别实验，此图库包含40个人物，每个人物有10幅不同的图像。在包含的这400幅图像中，存在表情、姿态、是否带眼镜等多种因素影响。利用ORL图库进行实验时，选择每个人的5幅图像用于训练，剩余5幅图像用于测试。图7给出ORL图库中的一组人脸图像。

根据高低分辨率图像大小分三种情况进行人脸识别，分别为：第一种情况，高分辨率训练图像大小为56×46，低分辨率图像大小为14×11；第二种情况，高分辨率训练图像大小为56×46，低分辨率图像大小为7×5；第三种情况，高分辨率训练图像大小为28×23，低分辨率图像大小为7×5。图8给出了所列三种情况的识别率对比。

从图8中结果可以明显看出，Gunturk方法所得识别率比较低，这是因为ORL图库中涉及姿态变化比较大的人脸图像，而Gunturk方法是基于概率模型求解超分辨率问题，不适合此类图库；相比而言，本发明算法结果比较稳定，与利用原始高分辨率人脸图像进行识别所得识别率也比较接近。

针对低分辨率人脸图像识别率较低的问题，本发明提出了基于相关特征和非线性映射的超分辨率人脸识别方法。利用CCA获得高低分辨率人脸图像的相关子空间，然后在此相关子空间内利用径向基函数建立高低分辨率图像相关特征的对应关系，从而获得测试低分辨率人脸图像在高分辨率空间对应的近似特征。实验表明，与现有方法相比，本发明方法受人脸图像姿态、表情等因素影响较小，识别率较高。

Claims (3)

1.一种基于相关特征和非线性映射的超分辨率人脸识别方法，其特征在于：包含以下步骤：

1)首先，利用经典的主成分分析方法提取高、低分辨率训练人脸图像的识别特征，利用所提取两组识别特征作为训练数据，根据典型相关分析(Canonical Correlation Analysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征；

2)其次，利用径向基函数(Radial Basis Function，RBF)建立高、低分辨率人脸图像相关特征之间的映射关系，根据此映射关系得到测试低分辨率人脸图像对应的高分辨率识别特征；

3)最后，利用基于L2范数的最近邻分类器，按照求得的高分辨率识别特征进行分类识别，从而获得识别率。

2.如权利要求1所述的基于相关特征和非线性映射的超分辨率人脸识别方法，其特征在于：所述的步骤1)中的根据典型相关分析(CanonicalCorrelation Analysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征包括以下步骤：

1)设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为

其中I_i ^H为第i幅高分辨率人脸图像，I_i ^L为第i幅低分辨率人脸图像，m为训练图像总的样本数目；定义

其中B^H是高分辨率图像对应的特征提取矩阵，x_i ^H是代表人脸图像I_i ^H的特征向量，T代表转置运算；同理，得到低分辨率图像的特征表示为

其中B^L是低分辨率人脸图像对应的特征提取矩阵，x_i ^L代表低分辨率人脸图像I_i ^L的特征向量，T代表转置运算；由此，得到表示对应的高低分辨率训练人脸图像的特征向量集为

和

其中x_i ^H为第i幅高分辨率人脸图像对应的特征向量，x_i ^L为第i幅低分辨率人脸图像的特征向量；

2)对于人脸图像识别特征的特征向量集X^H、X^L分别减去其均值x^H和x^L，得到中心化的数据集

和

定义

分别为和

的自协方差矩阵，

和

分别为

和

的互协方差矩阵，其中E[·]代表数学期望，T代表转置运算；计算

R₁和R₂的特征向量即为所求映射基向量V^H和V^L；

3)利用所得到的映射基向量，将特征向量集X^H、X^L变换为相关特征，得到高分辨率和低分辨率训练人脸图像对应的相关特征的投影系数集

即：

和

其中ciH为第i幅高分辨率人脸图像对应的投影系数，c_i ^L为第i幅低分辨率人脸图像对应的投影系数，为第i幅高分辨率人脸图像对应的特征向量，

为第i幅低分辨率人脸图像对应的特征向量。

3.如权利要求1或2所述的基于相关特征和非线性映射的超分辨率人脸识别方法，其特征在于：所述的步骤2)中的测试低分辨率人脸图像对应的高分辨率识别特征的步骤如下：

1)对输入的低分辨率测试人脸图像Il，根据此低分辨率测试人脸图像I_l对应的低分辨率人脸图像特征提取矩阵B^L，利用x_l＝(B^L)^TI_l得到该低分辨率测试人脸图像I_l的特征向量x_l，通过c_l＝(V^L)^T(x_l-x^L)将x_l变换为相关特征c_l；

2)利用RBF建立高低分辨率人脸图像相关特征之间的非线性映射关系，其中利用相关特征C^H和C^L作为训练数据集，对RBF模型进行训练，求得权值矩阵W；

3)将c_l作为RBF模型的输入，即可求得对应的高分辨率人脸图像近似特征为：

其中φ(·)为所用的径向基函数，采用多元二次曲面函数，具体为

求得c_h后，利用此近似高分辨率特征进行人脸识别。

Images