CN102289679B - 一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法 - Google Patents

Abstract

一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法。本发明针对输入某一未知固定视角低分辨率人脸图像与识别库中其他固定视角高分辨率人脸图像的比对识别问题，提出了一种利用相关特征和非线性映射获得固定视角高分辨率相关识别特征的方法。本发明为每一种固定视角低分辨率图像和识别库视角的高分辨率图像建立一个变换模型和一个识别模型，利用典型相关分析建立固定视角低分辨率图像和识别库视角高分辨率图像特征相关空间，采用径向基函数在此相关空间建立非线性的变换模型，然后利用模板匹配的方法估计出测试图像的视角，最后将测试图像输入到对应视角下的变换模型和识别模型中。本发明实现了对分辨率与视角变化的同时处理，所得识别率较高。

Description

一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法

技术领域

本发明涉及人脸识别领域，具体的涉及一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法。

背景技术

人脸识别是一种重要的生物认证技术，近三十年来，研究人员提出了大量的方法，并已广泛用于视频监控等安全保障系统中。但是，由于距离和硬件条件等的限制，在大场景视频监控系统中拍摄的感兴趣人脸图像分辨率往往比较低，另一方面进行监控时，往往不能对被监控对象进行约束，感兴趣人脸图像常常存在着非正面人脸图像，而与之相对应的系统中登记在册的往往是被监控对象的某种固定视角的高分辨率图像(这个固定视角通常为正面)，从而降低了人脸识别的性能。如何在低分辨率及视角变化的条件下提高识别效果，是目前人脸识别需要解决的问题。

在视角变化和分辨率变化的双重干扰下的人脸识别研究工作较少，大致可以分为两类。第一类为借助多视角识别库的帮助，通过识别库中与测试图像相同人物相似视角图像的辅助，较好地完成视角变化下的低分辨率人脸识别。此类方法在识别库人脸仅由一种固定视角构成时效果将大大下降或者直接无法工作。而第二类方法为通过逐步实现视角变化和分辨率增强两个步骤完成视角变化下的低分辨率人脸识别。该类方法可以工作在识别库人脸仅由一种固定视角构成的条件下，但视角变化和分辨率增强两步均会引入误差，两步的误差叠加不利于最终的识别。

发明内容

本发明的目的在于克服上述现有技术的缺点，提出了一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法。

为了达到上述目的，本发明采用的技术方案是：

1)首先，利用训练数据为每一个固定视角到识别库视角的超分辨率识别单独建立一个变换模型和识别模型，有多少个固定视角，就建立多少个变换模型和识别模型；

2)然后，估计测试低分辨率图像的视角；

3)最后，将测试低分辨率图像按步骤2)中估计的视角，输入到步骤1)中的变换和识别模型中进行识别。

步骤1)中单独建立一个变换和识别模型，其中单独建立一个变换模型包含以下步骤：

1)分别利用经典的主成分分析方法提取固定视角训练低分辨率图像和识别库视角训练高分辨人脸图像的识别特征：

给定一组固定视角的低分辨率训练人脸图像和另一固定视角的高分辨率训练人脸图像，为不失一般性，假设给定的低分辨率固定视角为侧面视角，假设给定的高分辨率视角为正面视角。分别用

和

表示，其中m表示训练样本个数，下标代表样本标号，上标nl，fh分别表示侧面低分辨率和正面高分分辨。分别计算出对应的侧面低分辨率均值μ^nl与PCA基矩阵正面高分辨率均值μ^fh与PCA基矩阵

对应的侧面低分辨率PCA特征y^nl和正面高分辨率PCA特征y^fh，可以用下面的算式求出，其中上标T表示矩阵转置操作：

2)利用上述所提取两组识别特征作为训练数据，根据典型相关分析(Canonical Correlation Analysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征：

采用 $Y^{\mathrm{nl}}={(y_1^{\mathrm{nl}},y_2^{\mathrm{nl}},...,y_m^{\mathrm{nl}})}^T,$ $Y^{\mathrm{fh}}={(y_1^{\mathrm{fh}},y_2^{\mathrm{fh}},...,y_m^{\mathrm{fh}})}^T$ 分别表示侧面低分辨率PCA特征和正面高分辨率PCA特征，其中m表示训练样本的数目，用

分别表示对应的去中心化数据，E(·)表示数学期望，V^fh和V^nl分别表示对应的正面高分辨率和侧面低分辨率典型相关变换矩阵，V^fh和V^nl可由典型相关分析的算法求得。计算对应的侧面低分辨率相关特征C^nl和正面高分辨率相关C^fh特征：

$C^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T{\hat{Y}}^{\mathrm{nl}}$

$C^{\mathrm{fh}}={\left(V^{\mathrm{fh}}\right)}^T{\hat{Y}}^{\mathrm{fh}}$

3)利用径向基函数(Radial Basis Function，RBF)在相关空间中建立两种不同视角不同分辨率训练人脸图像相关特征之间的映射关系，根据此映射关系得到测试低分辨率人脸图像对应的识别库视角下的高分辨率相关特征的估计：

对于输入的侧面低分辨率图像

其中t表示一个测试样本的标号，其对应的PCA特征被计算出来：

把侧面低分辨率PCA特征投影到相关空间：

$c_t^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T(y_t^{\mathrm{nl}}-E\left(Y^{\mathrm{nl}}\right))$

采用训练得到的径向基函数将侧面低分辨率相关特征

非线性映射得到正面高分辨率相关特征

其中

为所用的多维二次曲面径向基函数，T为矩阵转置运算，W为训练得到的权值矩阵，W的计算表达式为：

W＝C^fh·inv(φ+τE)

其中inv表示对矩阵的求逆运算，τ为一个很小的正常数，取值范围为0.001～0.1，E为单位矩阵，φ为一个数据矩阵，可以由训练数据计算得到，计算表达式为：

所述步骤1)中单独建立一个变换和识别模型，其中建立一个识别模型包含以下步骤：

1)将识别库视角下的高分辨率图像按照测试图像的视角输入到权利要求1中步骤1)中所述的变换模型中，利用正面高分辨率相关特征变换矩阵，获得真实的高分辨率相关特征；

2)利用基于L2范数的最近邻分类器，利用真实的高分辨率相关特征和估计得到的高分辨率相关特征进行对比识别。

所述步骤2)估计测试低分辨率图像的视角，包含以下特征：

采取简单的模板匹配的方法对测试的低分辨率图像进行视角估计。各个视角低分辨率人脸模板由对应视角下的低分辨率训练人脸图像加权平均得到。当输入测试低分辨率图像与各个模板进行比较时，选择误差最小的模板对应视角为测试图像的视角估计输出。

本发明是基于流形学习的理论，认为不同分辨率不同视角人脸图像的识别特征是由它们共同的内在结构生成的，本发明利用典型相关分析(Canonical Correlation Analysis，CCA)将不同分辨率不同视角人脸图像特征转换到两个相关子空间，使得不同分辨率不同视角人脸图像的识别特征具有相似的拓扑结构，进一步利用径向基函数(Radial Basis Function，RBF)建立两个相关子空间之间相应图像特征之间的映射关系，从而求得测试低分辨率人脸图像对应的识别库视角下的高分辨率识别特征，并利用基于L2范数的最近邻分类器进行分类识别，从而获得识别率。由于典型相关分析只能增强两组随机变量之间的内在联系，为此本发明为低分辨率下的每一种固定视角图像与识别库视角的高分辨率图像单独建立一个变换模型和识别模型，识别任务将在各自的识别模型中进行。

附图说明

图1固定视角人脸超分辨率问题的图示，(a)识别库中高分辨率人脸图像，(b)其他视角测试低分辨率人脸图像；

图2实验用到的一组裁剪后的图像；

图3不同方法人脸识别率对比图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明，为不失一般性，所举的实例中识别库中的人脸图像均为正面高分辨率人脸图像，低分辨率图像的视角均为侧面视角。这些实例仅仅是说明性的，而并非对本发明的限制。

参见图1(a)测试低分辨率人脸图像与图1(b)识别库中另一视角高分辨率人脸图像的比对问题，数学上可描述为：已知几个相互对应的不同分辨率不同视角的人脸图像的训练集合I^fh和

(其中上标f表示识别库中的视角，在此实例中为正面视角，n₁，…，n_M表示测试图像视角，在此实例中为侧面视角)，或者几个相互对应的人脸图像识别特征的特征向量集Y^fh和

输入一幅低分辨率人脸图像

求其对应的正面高分辨率人脸图像的识别特征

为简化问题，单独为每一个输入测试视角的低分辨率图像与识别库中的高分辨率图像建立一个变换和识别模型，对输入测试图像进行视角估计后，即可输入到相应的模型中求解。

本发明主要包含以下步骤：

1)首先，利用训练数据为每一个固定视角到识别库视角的超分辨率识别单独建立一个变换模型和识别模型，有多少个固定视角，就建立多少个变换模型和识别模型；

2)然后，估计测试低分辨率图像的视角；

3)最后，将测试低分辨率图像按步骤2)中估计的视角，输入到步骤1)中的变换和识别模型中进行识别。

本发明的主要步骤1)利用训练数据为每一个固定视角到识别库视角的超分辨率识别单独建立一个变换和识别模型，建立变换模型包含以下步骤：

1)分别利用经典的主成分分析方法提取固定视角训练低分辨率图像和识别库视角训练高分辨人脸图像的识别特征。其中提取主成分时，采用各自不同的基函数，即固定视角低分辨率图像用固定视角低分辨率图像训练得到的主成分基，而识别库视角高分辨人脸图像用识别库视角高分辨率图像训练得到的主成分基：

给定一组固定视角的低分辨率训练人脸图像和另一固定视角的高分辨率训练人脸图像，为不是一般性，给定的低分辨率固定视角为侧面视角，给定的高分辨率视角为正面视角。分别用

和

表示，其中m表示训练样本个数，下标代表样本标号，上标nl，fh分别表示侧面低分辨率和正面高分分辨。分别计算出对应的侧面低分辨率均值μ^nl与PCA基矩阵

正面高分辨率均值μ^fh与PCA基矩阵对应的侧面低分辨率PCA特征y^nl和正面高分辨率PCA特征y^fh，可以用下面的算式(1)(2)求出，其中上标T表示矩阵转置操作：

2)利用上述所提取两组识别特征作为训练数据，根据典型相关分析(Canonical Correlation Analysis，CCA)算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征：

采用 $Y^{\mathrm{nl}}={(y_1^{\mathrm{nl}},y_2^{\mathrm{nl}},...,y_m^{\mathrm{nl}})}^T,$ $Y^{\mathrm{fh}}={(y_1^{\mathrm{fh}},y_2^{\mathrm{fh}},...,y_m^{\mathrm{fh}})}^T$ 分别表示侧面低分辨率PCA特征和正面高分辨率PCA特征，其中m表示训练样本的数目，用

分别表示对应的去中心化数据，E(·)表示数学期望，则采用典型相关分析要解决的问题如下式(3)所示：

$(V^{\mathrm{nl}},V^{\text{fh}})=\underset{V^{\mathrm{nl}},V^{\mathrm{fh}}}{\arg \max }\frac{E\left({\left(V^{\mathrm{fh}}\right)}^T\left({\hat{Y}}^{\mathrm{fh}}\right){\left({\hat{Y}}^{\mathrm{nl}}\right)}^T{V}^{\mathrm{nl}}\right)}{\sqrt{E\left[{\left(V^{\mathrm{fh}}\right)}^T\left({\hat{Y}}^{\mathrm{fh}}\right){\left({\hat{Y}}^{\mathrm{fh}}\right)}^T{V}^{\mathrm{fh}}\right]E\left[{\left(V^{\mathrm{nl}}\right)}^T{\hat{Y}}^{\mathrm{nl}}{\left({\hat{Y}}^{\mathrm{nl}}\right)}^T{V}^{\mathrm{nl}}\right]}}\text{---}\left(3\right)$

其中E(·)表示数学期望，V^fh和V^nl分别表示对应的正面高分辨率和侧面低分辨率典型相关变换矩阵，V^fh和V^nl由典型相关算法求得。

通过求得的V^fh和V^nl，可以将

和

投影到相关空间，获得对应的侧面低分辨率相关特征C^nl和正面高分辨率相关C^fh特征：

$C^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T{\hat{Y}}^{\mathrm{nl}}---\left(4\right)$

$C^{\mathrm{fh}}={\left(V^{\mathrm{fh}}\right)}^T{\hat{Y}}^{\mathrm{fh}}---\left(5\right)$

由于Y^nl、Y^fh这两个数据集之间存在相关的内在结构，经过CCA变换两个数据集C^nl和C^fh之间的相关性得到增强，使得两者的拓扑关系更相似。

3)利用径向基函数(Radial Basis Function，RBF)在相关空间中建立两种不同视角不同分辨率训练人脸图像相关特征之间的映射关系，根据此映射关系得到测试低分辨率人脸图像对应的识别库视角下的高分辨率相关特征的估计：

利用径向基函数(RBF)建立正面高分辨率和侧面低分辨率人脸图像特征之间的映射关系。RBF的数学表示为：

将高分辨率相关特征

表述为一系列径向基函数

的线性组合，每一个径向基函数联系着一个中心

w_j为对应的权重系数。在本发明的方法中，采用多维二次曲面基函数：

要采用径向基函数，首先要通过训练集高低分辨率相关特征获得径向基函数中需要的权重系数w。在本发明中，径向基的个数选择为训练集包含图像的数目，径向基函数的中心取为训练低分辨率相关特征集C^nl。径向基函数的矩阵形式为C^fh＝Wφ，展开形式如下：

权重系数矩阵W可以通过下式求出：

W＝C^fh·inv(φ)        (9)

其中inv表示对矩阵的求逆运算，而φ并不总是可逆的，因此引入正则化操作，用φ+τE替代φ，τ为一个很小的正常数，取值范围为0.001～0.1，E为单位矩阵。

对于输入的侧面低分辨率图像

其对应的PCA特征被计算出来：

把侧面低分PCA特征投影到相关空间：

$c_t^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T(y_t^{\mathrm{nl}}-E\left(Y^{\mathrm{nl}}\right))---\left(11\right)$

采用训练得到的径向基函数将侧面低分相关特征

非线性映射得到正面高分相关特征

本发明的主要步骤1)利用训练数据为每一个固定视角到识别库视角的超分辨率识别单独建立一个变换和识别模型，建立识别模型包含以下步骤：

1)将识别库视角下的高分辨率图像按照测试图像的视角输入到权利要求1中步骤1)中所述的变换模型中，利用正面高分辨率相关特征变换矩阵，获得真实的高分辨率相关特征：

2)利用基于L2范数的最近邻分类器，利用真实的高分辨率相关特征和估计得到的高分辨率相关特征进行对比识别。

本发明的主要步骤1)中的侧面视角n指其中一种固定视角，有M个训练视角就需要训练M个这样的变换模型和识别模型。

本发明的主要步骤2)估计测试低分辨率图像的视角的细节如下：

采取简单的模板匹配的方法对测试的低分辨率图像进行视角估计。各个视角低分辨率人脸模板由对应视角下的低分辨率训练人脸图像加权平均得到。当输入测试低分辨率图像与各个模板进行比较时，选择误差最小的模板对应视角为测试图像的视角估计输出。

为了验证本发明的有效性，分别利用FERET图库的一个子集进行实验。FERET图库多视角子库包含200个人的11种不同视角，选取其中+-45°之内的7个角度(bc(+40°)，bd(+25°)，be(+15°)，ba(0°)，bf(-15°)，bg(-25°)，bh(-40°))进行实验，实验中用到的一组图像如图2所示，从左到右依次为视角bc，bd，be，ba，bf，bg，bh。

图3是不同方法人脸识别率对比图，将所得实验结果分别与GLR，HGLR和Jia方法进行比较。其中图(a)为输入侧面低分辨率人脸大小为8*8，识别库中的正面高分辨率人脸大小为32*32下的识别结果比较，图(b)为输入侧面低分辨率人脸大小为16*16，识别库中的正面高分辨率人脸大小为64*64下的识别结果比较。由图3可以看出本发明具有较高的识别结果。

从上述描述应该理解，在不脱离本发明精神的情况下，可以对本发明各实施方式进行修改和变更。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (1)

1.一种基于相关特征和非线性映射的固定视角人脸超分辨率识别方法，其特征在于：包含以下步骤：

1）首先，利用训练数据为每一个固定视角到识别库视角的超分辨率识别单独建立一个变换模型和识别模型，有多少个固定视角，就建立多少个变换模型和识别模型；

所述的单独建立一个变换模型包含以下步骤：

第一步，分别利用经典的主成分分析方法提取固定视角训练低分辨率图像和识别库视角训练高分辨人脸图像的识别特征：

给定一组固定视角的低分辨率训练人脸图像和另一固定视角的高分辨率训练人脸图像，为不失一般性，假设给定的低分辨率固定视角为侧面视角，假设给定的高分辨率视角为正面视角，分别用

和

表示，其中m表示训练样本个数，下标代表样本标号，上标nl，fh分别表示侧面低分辨率和正面高分分辨，分别计算出对应的侧面低分辨率均值μ^nl与PCA基矩阵

正面高分辨率均值μ^fh与PCA基矩阵

对应的侧面低分辨率PCA特征y^nl和正面高分辨率PCA特征y^fh，用下面的算式求出，其中上标T表示矩阵转置操作：

第二步，利用所提取两组识别特征作为训练数据，根据典型相关分析算法得到映射基向量，根据此映射基向量将识别特征转换为相关特征：

采用 $Y^{\mathrm{nl}}={(y_1^{\mathrm{nl}},y_2^{\mathrm{nl}},...,y_m^{\mathrm{nl}})}^T,$ $Y^{\mathrm{fh}}={(y_1^{\mathrm{fh}},y_2^{\mathrm{fh}},...,y_m^{\mathrm{fh}})}^T$ 分别表示侧面低分辨率PCA特征和正面高分辨率PCA特征，其中m表示训练样本的数目，用

与

分别表示对应的去中心化数据，E(·)表示数学期望，V^fh和V^nl分别表示对应的正面高分辨率和侧面低分辨率典型相关变换矩阵，V^fh和V^nl由典型相关分析的算法求得，计算对应的侧面低分辨率相关特征C^nl和正面高分辨率相关C^fh特征：

$C^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T{\hat{Y}}^{\mathrm{nl}}$

$C^{\mathrm{fh}}={\left(V^{\mathrm{fh}}\right)}^T{\hat{Y}}^{\mathrm{fh}}$

第三步，利用径向基函数在相关空间中建立两种不同视角不同分辨率训练人脸图像相关特征之间的映射关系，根据此映射关系得到测试低分辨率人脸图像对应的识别库视角下的高分辨率相关特征的估计：

对于输入的侧面低分辨率图像

其中t表示一个测试样本的标号，其对应的PCA特征被计算出来：

把侧面低分辨率PCA特征投影到相关空间：

$c_t^{\mathrm{nl}}={\left(V^{\mathrm{nl}}\right)}^T(y_t^{\mathrm{nl}}-E\left(Y^{\mathrm{nl}}\right))$

采用训练得到的径向基函数将侧面低分辨率相关特征

非线性映射得到正面高分辨率相关特征

其中

为所用的多维二次曲面径向基函数，T为矩阵转置运算，W为训练得到的权值矩阵，W的计算表达式为：

W=C^fh·inv(φ+τE)

其中inv表示对矩阵的求逆运算,τ为一个很小的正常数,取值范围为0.001～0.1，E为单位矩阵,φ为一个数据矩阵，由训练数据计算得到，计算表达式为：

所述步骤1）中单独建立一个识别模型包含以下步骤：

第一步，将识别库视角下的高分辨率图像按照测试图像的视角输入到步骤1）中所述的变换模型中，利用正面高分辨率相关特征变换矩阵，获得真实的高分辨率相关特征；

第二步，利用基于L2范数的最近邻分类器，利用真实的高分辨率相关特征和估计得到的高分辨率相关特征进行对比识别；

2）然后，估计测试低分辨率图像的视角，具体包含以下特征：

采取简单的模板匹配的方法对测试的低分辨率图像进行视角估计；各个视角低分辨率人脸模板由对应视角下的低分辨率训练人脸图像加权平均得到；当输入测试低分辨率图像与各个模板进行比较时，选择误差最小的模板对应视角为测试图像的视角估计输出；

3）最后，将测试低分辨率图像按步骤2）中估计的视角，输入到步骤1）中的变换和识别模型中进行识别。

Images