CN103514443B - 一种基于lpp特征提取的单样本人脸识别迁移学习方法 - Google Patents

Abstract

本发明属于模式识别技术领域，具体涉及一种基于LPP特征提取的单样本人脸识别迁移学习方法。不同于传统的基于泛化能力提升的全局人脸识别与依赖图像分割的局部人脸识别方法，本发明首先利用白化余弦相似度对迁移源进行筛选获得精选样本源，其次分别对精选源中的源特征与目标特征人脸采用LPP进行特征投影并求解特征迁移矩阵逼近其映射关系，然后将特征迁移矩阵作用于训练样本将其原始宏观特征迁移为目标宏观特征，最后采用最近邻分类器实现较高精度的人脸识别。本发明能够有效利用与目标单样本关联的大量源样本，合理筛选并迁移宏观特征，在很大程度上解决单样本难以训练的问题，并能够获得更高的人脸识别精度。

Description

一种基于LPP特征提取的单样本人脸识别迁移学习方法

技术领域

本发明属于模式识别领域，具体涉及一种基于LPP(Locality PreservingProjections，局保投影)特征迁移的单样本人脸识别方法。

背景技术

人脸识别作为典型的高维度小样本问题，在智能卡设计、访问控制、信息安全与执法追踪等方面有着重要应用，然而其常常面临训练样本不足的难题，甚至时常遭遇极端情形，即每类人脸仅有一幅训练样本，而测试样本受到表情、光照与角度等因素的影响，往往与训练样本产生较大差异。这导致人脸识别技术在进一步推广应用中产生了一定的困难，常规的迁移学习方法很难处理这个问题。从技术上说，单训练样本人脸识别是指从给定的每人仅存储一幅已知身份的图像的数据库中识别出姿态、光照等因素不可预测的图像中人的身份。由于每人只有一个模板图像，分类器只能采用简单的最近邻准则，因此特征提取技术成为提高单样本人脸识别精度的关键。

一般来说，解决单样本人脸识别问题主要有两类典型方法，基于泛化能力提升的全局人脸识别与基于子区域划分的局部人脸识别。前者以人脸全局信息作为处理对象，重视提高人脸的全局特征泛化能力，以降低同一类人脸对于不同表情、角度等因素的影响。后者则是将全局人脸分割为局部图像，并以局部图像作为研究对象分析人脸局部特征，利用局部特征匹配实现人脸识别。

根据泛化机制的不同，全局人脸识别算法又可以分为如下两类：以PCA(PrincipalComponent Analysis，基于主成分分析)为核心的衍生算法与以增加样本规模为目的的虚拟样本生成算法。前者以PCA为核心并针对其在计算量、协方差估计以及噪声预处理方面的不足做出各种改进。泛化能力的提升，能够在一定程度上提高单样本识别精度，却未能够从根本上解决小样本数与高维度间的矛盾。为缓解这一矛盾，第二类全局识别算法通过生成虚拟样本来增加训练集规模，传统的算法有ROCA、E(PC)²A等。由于虚拟样本生成方法对于单样本人脸识别问题的针对性和有效性，近年来，又有不少新方法涌现。归纳来说，主要采用以下5种措施增加虚拟样本：1)添加随机噪声；2)均值滤波与小波变换；3)基于轮廓波的源图像重建；4)核主成分分析与广义判别式分析；5)Gabor过滤的多角度特征生成。

相比于全局人脸识别算法，局部人脸识别更适合单样本问题，其不再将整幅人脸采用高维向量表示，而是将其表示为一系列低维局部特征向量。一方面缓解了训练样本高维度产生的维数灾问题，另一方面对于局部特征匹配变得更加灵活。局部特征构建意在提取人脸局部特征，其构建方式的复杂性对其发展造成了限制，一类基于局部外观的识别算法被提出以解决局部特征难于构建的问题。其基本思想是：将训练样本与测试样本分割成相同维度的多个子区域，基于相应子区域的匹配实现目标样本的识别。采用不同的局部建模方式与评价机制，如神经网络、隐层马尔科夫模型、线性判别分析、混合局部特征、局部二进制模型以及分形特征等可以形成不同的局部分割算法。

不同于传统全局人脸识别算法着眼于对样本泛化能力的提升以及局部识别算法中的分割匹配思想，本发明提出一种基于LPP特征迁移的单样本人脸识别方法。迁移学习作为一类新兴的机器学习方法，通过借鉴已解决的源任务来实现知识的提炼与转移，从而降低目标任务的信息量要求并辅助其实现更好决策。其在文本分类、关联信息聚类与数据回归等方面有着良好的应用。同时，由于迁移学习降低了源任务与目标任务数据同分布的限制，使得其对于人脸识别等问题中关联数据的利用率大大提升，同时对于小样本问题，能够极大程度增加决策效率与识别精度。为此，本文将迁移学习方法引入单样本人脸识别问题，利用大量关联性的迁移源辅助单一训练样本进行更好的学习，以提高最终的人脸识别精度。

发明内容

发明目的：针对上述现有技术，提出一种基于LPP特征提取的单样本人脸识别迁移学习方法，提高人脸识别精度。

技术方案：为解决上述技术问题，一种基于LPP特征提取的单样本人脸识别迁移学习方法，包括如下步骤：

步骤1，给定迁移源TS，计算类别i的平均脸AF_i，并基于先验概率求解类内样本协方差矩阵∑_w，并获取白化算子W_w；

步骤2，由所述白化算子W_w作用于各源样本与目标训练样本使所述各源样本和目标训练样本投影到白化子空间R^d，得到白化子空间R^d内所述各源样本和目标训练样本的余弦相似度取余弦相似度δ_WWC≥θ₁的源样本进入精选迁移源SS；

步骤3，构建所述精选迁移源SS的邻接图G，计算度对角矩阵D、图拉普拉斯矩阵L；

步骤4，求解特征投影矩阵A，并计算所述精选迁移源SS中样本到特征子空间R^d内的投影；

步骤5，获取最优特征迁移矩阵将所述最优特征迁移矩阵作用于目标样本将其迁移为样本使所述样本与测试样本拥有相同特征gn，所述特征gn宏观表征下为qn；

步骤6，利用1-NN判定所述测试样本

作为本发明的优选方案，所述步骤1中，基于先验概率的类内样本协方差矩阵∑_w表达式如下：

${\mathrm{\Σ}}_w=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}P\left(I_i\right)\underset{s=1}{\overset{K}{\mathrm{\Σ}}}(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i){(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i)}^T;$

式中，为类别i的平均脸，为类别i中具有宏观特征ql的源样本，P(I_i)为先验概率，且有P(I_i)=num(I_i)／num(TS)，num(·)为样本数，I_i表示第i类人脸样本集，L表示人脸类别总数，K为每类人脸中宏观特征数；

获取白化算子W_w步骤如下：将所述类内样本协方差矩阵∑_w进行PCA特征分解：得到两两正交的特征向量矩阵Φ_w与特征值对角矩阵Λ_w；对所述源样本与目标训练样本进行白化操作，得到白化算子W_w表达式如下：

$W_w={\mathrm{\Φ}}_w{\mathrm{\Λ}}_w^{-1/2};$

将所述白化算子W_w作用于源样本得到子空间R^d内源样本的白化投影样本则低维特征子空间R^d类内样本协方差矩阵为：

$\begin{array}{c}{\mathrm{\Σ}}_w^f=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}p\left(I_i\right)\underset{s=1}{\overset{K}{\mathrm{\Σ}}}(I_i^f-{\mathrm{AF}}_i^f){(I_i^f-{\mathrm{AF}}_i^f)}^T\\ =\underset{i=1}{\overset{L}{\mathrm{\Σ}}}P\left(I_i\right){\left({\mathrm{\Φ}}_w{\mathrm{\Λ}}_w^{-1/2}\right)}^T\left[\underset{s=1}{\overset{K}{\mathrm{\Σ}}}(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i){(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i)}^T\right]\left({\mathrm{\Φ}}_w{\mathrm{\Λ}}_w^{-1/2}\right)\\ ={\mathrm{\Λ}}_w^{-1/2}\left({\mathrm{\Φ}}_w^T{\mathrm{\Σ}}_w{\mathrm{\Φ}}_w\right){\mathrm{\Λ}}_w^{-1/2}={\mathrm{\Λ}}_w^{-1/2}{\mathrm{\Λ}}_w{\mathrm{\Λ}}_w^{-1/2}=E_d\end{array}$

式中，为低维特征子空间R^d内的类别i平均脸，E_d为d阶单位矩阵。

其中，所述步骤2中低维特征子空间R^d内所述各源样本和目标训练样本的白化余弦相似度为：

${\mathrm{\δ}}_{\mathrm{WWC}}(I_i^{\mathrm{qs}},I_T^{\mathrm{qm}})=\frac{{\left(W_w^T{I}_i^{\mathrm{qs}}\right)}^T\left(W_w^T{I}_T^{\mathrm{qm}}\right)}{\left|\right|W_w^T{I}_i^{\mathrm{qs}}\left|\right|\·\left|\right|W_w^T{I}_T^{\mathrm{qm}}\left|\right|}$

设定所述θ₁=0.7max{δ_WWC}为相似度阈值，取白化余弦相似度δ_WWC≥θ₁的源样本进入所述精选迁移源SS，所述精选迁移源其中与分别为第i类源样本中具有宏观特征qm与qn的相应样本。

其中，所述步骤3中，对于所述邻接图G=(V，E)，其顶点V为所述精选迁移源样本，当迁移源样本和满足时，与间形成连接权值S_jk；其中，θ₂>0为局部保持阈值；所述连接权值强度S_jk的高斯表达式为：

$S_{\mathrm{jk}}=e^{-\left|\right|I_j^{q_s}-I_k^{q_s}\left|\right|/t};$

式中，t＞0为高斯时间参数，且有S_jk∈(0，1)，所有的S_jk构成边集矩阵S；

构建完成的邻接图G包括度对角矩阵D，所述度对角矩阵D的对角元素为所述邻接图G的各顶点V连接权值之和，所述邻接图G的拉普拉斯矩阵L=D—S。

其中，所述步骤3中，根据如下广义特征向量式，构建特征投影矩阵A：

X_SSLX_SS ^Ta=λX_SSDX_SS ^Ta

式中，为精选源样本矩阵；设特征向量a₀，a₁，...，a_d-1为矩阵X_SS的解，且所述解对应的特征值λ₀<λ₁<…<λ_d-1，则所述特征投影矩阵A=[a₀，a₁，...，a_d-1]；所述具有宏观特征qm与qn的源样本与在低维特征子空间R^d内的特征投影分别为 $I_i^{\mathrm{gm}}=A^T{I}_i^{\mathrm{qm}},I_i^{\mathrm{gn}}=A^T{I}_i^{\mathrm{qn}}.$

其中，所述步骤5中，特征迁移的目标为寻找映射关系h，使其满足：

$I_k^{\mathrm{gn}}=h_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\left(I_k^{\mathrm{gm}}\right)(k=\mathrm{1,2},...,N)$

式中，N=0.5num(SS)表示精选迁移源SS中样本对的个数；采用特征迁移矩阵H逼近h_gm→gn，则有迁移误差ε：

$\mathrm{\&epsiv;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\left|\right|I_i^{\mathrm{gn}}-I_i^{\mathrm{gm}}{H}_{\mathrm{gm}\&RightArrow;\mathrm{gn}}{I}_i^{\mathrm{gn}}\left|\right|;$

最优满足迁移误差ε最小化，即：

$H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}=\arg \min \mathrm{\&epsiv;}\left(H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\right);$

则 $h_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\left(I_i^{\mathrm{gm}}\right)=I_i^{\mathrm{gn}}{H}_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}(i=\mathrm{1,2},...,N)$ 合并为如下表达式：

${\left[\begin{array}{c}{\left(I_1^{\mathrm{gm}}\right)}^T\\ {\left(I_2^{\mathrm{gm}}\right)}^T\\ .\\ .\\ .\\ {\left(I_N^{\mathrm{gm}}\right)}^T\end{array}\right]}_{N\&times;d}*{\left(H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}\right)}_{d\&times;d}={\left[\begin{array}{c}{\left(I_1^{\mathrm{gn}}\right)}^T\\ {\left(I_2^{\mathrm{gn}}\right)}^T\\ .\\ .\\ .\\ {\left(I_N^{\mathrm{gn}}\right)}^T\end{array}\right]}_{N\&times;d}$

记 ${\tilde{I}}_N^{\mathrm{gm}}={[I_1^{\mathrm{gm}},I_2^{\mathrm{gm}},...,I_N^{\mathrm{gm}}]}^T,{\tilde{I}}_N^{\mathrm{gn}}={[I_1^{\mathrm{gn}},I_2^{\mathrm{gn}},...,I_N^{\mathrm{gn}}]}^T,$ 则上述矩阵表达式简记为由于与均为N×d阶矩阵，因而有：

$H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}={\left({\tilde{I}}_N^{\mathrm{gm}}\right)}^{-1}{\tilde{I}}_N^{\mathrm{gn}}$

式中，为的Moore—Penrose逆矩阵；获得所述特征迁移矩阵后，针对特征投影后的目标训练样本得到特征迁移样本为

其中，还包括利用1-NN判定测试样本后，评价特征迁移效果的优劣步骤：给出迁移率指标TE_n如下所示：

${\mathrm{TE}}_n=\frac{\mathrm{CS}(I_{T*}^{\mathrm{gn}},I_T^{\mathrm{gn}})-\mathrm{CS}(I_T^{\mathrm{gm}},I_T^{\mathrm{gn}})}{\mathrm{CS}(I_T^{\mathrm{gm}},I_T^{\mathrm{gn}})}$

式中，为测试样本在低维特征子空间R^d内的投影；当TE_n>0时，有表明特征迁移为正迁移，即迁移后训练样本与测试样本的相似程度更高；反之则为负迁移；其中，CS(·)表示样本间的余弦相似度，表达式如下：

$\mathrm{CS}(X,Y)=\frac{{\left(X\right)}^{T}Y}{\left|\right|X\left|\right|\&CenterDot;\left|\right|Y\left|\right|}$

式中，X与Y为不同的模式向量，所述X为源样本，所述Y为目标样本。

有益效果：本发明的一种基于LPP特征迁移的单样本人脸识别方法针对人脸识别在面临单样本时的难点的问题，主要有点如下：(1)有效解决单样本人脸识别问题中样本数与高维度间的矛盾，迁移源的利用无形中扩大了训练集规模，并对类内与类间协方差矩阵的估计提供依据；(2)不仅对因人脸自身姿势、表情等变化产生的内在特征能够迁移，由外部因素如光照强度等产生的环境特征也能够迁移；(3)不同于传统的单样本人脸识别算法，针对测试样本的特征迁移不仅保留了全局人脸信息，同时兼顾了测试样本的局部特征信息；(4)为了抑制负迁移的发生，采用WCS评价目标任务与迁移源的关联程度以形成精选迁移源，不仅筛除了冗余信息并使特征迁移变得更加高效；(5)基于人脸流形逼近的LPP特征提取方法，优于常规的PCA与LDA(Linear Discriminant Analysis，线性鉴别分析)，其利用图的构建来维持局部特征并获取人脸子空间，使得特征迁移的进程得以在低维空间进行；(6)与Block FLDA、LPC等方法相比，避免了因图像分割造成的全局特征信息破坏的问题，对于人脸角度变化具有更强的适应性与识别力。

附图说明

图1为本发明方法流程图；

图2为特征迁移学习系统原理图；

图3为迁移源特征筛选示意图；

图4为不同类人在不同宏观特征下的迁移图像；

图5为不同特征迁移算法效果对比。

具体实施方式

下面结合具体附图和实例对本发明的实施方式进行详细说明。

如图1所示，一种基于LPP特征提取的单样本人脸识别迁移学习方法，包括如下步骤：

步骤1，给定迁移源TS，计算类别i的平均脸AF_i，并基于先验概率求解类内样本协方差矩阵∑_w，并获取白化算子W_w；

基于先验概率的类内样本协方差矩阵∑_w表达式如下：

${\mathrm{\&Sigma;}}_w=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}P\left(I_i\right)\underset{s=1}{\overset{K}{\mathrm{\&Sigma;}}}(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i){(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i)}^T;$

式中，为类别i的平均脸，为类别i中具有宏观特征ql的源样本，P(I_i)为先验概率，且有P(I_i)=num(I_i)／num(TS)，num(·)为样本数，I_i表示第i类人脸样本集，L表示人脸类别总数，K为每类人脸中宏观特征数；

获取白化算子W_w步骤如下：将类内样本协方差矩阵∑_w进行PCA特征分解：得到两两正交的特征向量矩阵Φ_w与特征值对角矩阵Λ_w；对源样本与目标训练样本进行白化操作，得到白化算子W_w表达式如下：

$W_w={\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2};$

将白化算子W_w作用于源样本得到子空间R^d内源样本的白化投影样本则低维特征子空间R^d类内样本协方差矩阵为：

$\begin{array}{c}{\mathrm{\&Sigma;}}_w^f=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}p\left(I_i\right)\underset{s=1}{\overset{K}{\mathrm{\&Sigma;}}}(I_i^f-{\mathrm{AF}}_i^f){(I_i^f-{\mathrm{AF}}_i^f)}^T\\ =\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}P\left(I_i\right){\left({\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}\right)}^T\left[\underset{s=1}{\overset{K}{\mathrm{\&Sigma;}}}(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i){(I_i^{\mathrm{qs}}-{\mathrm{AF}}_i)}^T\right]\left({\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}\right)\\ ={\mathrm{\&Lambda;}}_w^{-1/2}\left({\mathrm{\&Phi;}}_w^T{\mathrm{\&Sigma;}}_w{\mathrm{\&Phi;}}_w\right){\mathrm{\&Lambda;}}_w^{-1/2}={\mathrm{\&Lambda;}}_w^{-1/2}{\mathrm{\&Lambda;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}=E_d\end{array}$

式中，为低维特征子空间R^d内的类别i平均脸，E_d为d阶单位矩阵。

步骤2，由白化算子W_w作用于各源样本与目标训练样本使各源样本和目标训练样本投影到白化子空间R^d，得到白化子空间R^d内各源样本和目标训练样本的余弦相似度取余弦相似度δ_WWC≥θ₁的源样本进入精选迁移源SS；

其中，低维特征子空间R^d内各源样本和目标训练样本的白化余弦相似度 ${\mathrm{\&delta;}}_{\mathrm{WWC}}(I_i^{\mathrm{qs}},I_T^{\mathrm{qm}})$ 为：

${\mathrm{\&delta;}}_{\mathrm{WWC}}(I_i^{\mathrm{qs}},I_T^{\mathrm{qm}})=\frac{{\left(W_w^T{I}_i^{\mathrm{qs}}\right)}^T\left(W_w^T{I}_T^{\mathrm{qm}}\right)}{\left|\right|W_w^T{I}_i^{\mathrm{qs}}\left|\right|\&CenterDot;\left|\right|W_w^T{I}_T^{\mathrm{qm}}\left|\right|}$

设定θ₁=0.7max{δ_WWC}为相似度阈值，取白化余弦相似度δ_WWC≥θ₁的源样本进入精选迁移源SS，精选迁移源其中与分别为第i类源样本中具有宏观特征qm与qn的相应样本。

步骤3，构建精选迁移源SS的邻接图G，计算度对角矩阵D、图拉普拉斯矩阵L；

其中，对于邻接图G=(V，E)，其顶点V为精选迁移源样本，当迁移源样本和满足时，与间形成连接权值S_jk；其中，θ₂>0为局部保持阈值；连接权值强度S_jk的高斯表达式为：

$S_{\mathrm{jk}}=e^{-\left|\right|I_j^{q_s}-I_k^{q_s}\left|\right|/t};$

式中，t＞0为高斯时间参数，且有S_jk∈(0，1)，所有的S_jk构成边集矩阵S；

构建完成的邻接图G包括度对角矩阵D，度对角矩阵D的对角元素为邻接图G的各顶点V连接权值之和，邻接图G的拉普拉斯矩阵L=D—S。

步骤4，求解特征投影矩阵A，并计算精选迁移源SS中样本到特征子空间R^d内的投影；

其中，根据如下广义特征向量式，构建特征投影矩阵A：

X_SSLX_SS ^Ta=λX_SSDX_SS ^Ta

式中，为精选源样本矩阵；设特征向量a₀，a₁，...，a_d-1为矩阵X_SS的解，且解对应的特征值λ₀<λ₁<…<λ_d-1，则特征投影矩阵A=[a₀，a₁，...，a_d-1]；具有宏观特征qm与qn的源样本与在低维特征子空间R^d内的特征投影分别为 $I_i^{\mathrm{gm}}=A^T{I}_i^{\mathrm{qm}},I_i^{\mathrm{gn}}=A^T{I}_i^{\mathrm{qn}}.$

步骤5，获取最优特征迁移矩阵将最优特征迁移矩阵作用于目标样本将其迁移为样本使样本与测试样本拥有相同特征gn，特征gn宏观表征下为qn；

其中，步骤5中，特征迁移的目标为寻找映射关系h，使其满足：

$I_k^{\mathrm{gn}}=h_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\left(I_k^{\mathrm{gm}}\right)(k=\mathrm{1,2},...,N)$

式中，N=0.5num(SS)表示精选迁移源SS中样本对的个数；采用特征迁移矩阵H逼近h_gm→gn，则有迁移误差ε：

$\mathrm{\&epsiv;}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\left|\right|I_i^{\mathrm{gn}}-I_i^{\mathrm{gm}}{H}_{\mathrm{gm}\&RightArrow;\mathrm{gn}}{I}_i^{\mathrm{gn}}\left|\right|;$

最优满足迁移误差ε最小化，即：

$H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}=\arg \min \mathrm{\&epsiv;}\left(H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\right);$

则 $h_{\mathrm{gm}\&RightArrow;\mathrm{gn}}\left(I_i^{\mathrm{gm}}\right)=I_i^{\mathrm{gn}}{H}_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}(i=\mathrm{1,2},...,N)$ 合并为如下表达式：

${\left[\begin{array}{c}{\left(I_1^{\mathrm{gm}}\right)}^T\\ {\left(I_2^{\mathrm{gm}}\right)}^T\\ .\\ .\\ .\\ {\left(I_N^{\mathrm{gm}}\right)}^T\end{array}\right]}_{N\&times;d}*{\left(H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}\right)}_{d\&times;d}={\left[\begin{array}{c}{\left(I_1^{\mathrm{gn}}\right)}^T\\ {\left(I_2^{\mathrm{gn}}\right)}^T\\ .\\ .\\ .\\ {\left(I_N^{\mathrm{gn}}\right)}^T\end{array}\right]}_{N\&times;d}$

记 ${\tilde{I}}_N^{\mathrm{gm}}={[I_1^{\mathrm{gm}},I_2^{\mathrm{gm}},...,I_N^{\mathrm{gm}}]}^T,{\tilde{I}}_N^{\mathrm{gn}}={[I_1^{\mathrm{gn}},I_2^{\mathrm{gn}},...,I_N^{\mathrm{gn}}]}^T,$ 则上述矩阵表达式简记为由于与均为N×d阶矩阵，因而有：

$H_{\mathrm{gm}\&RightArrow;\mathrm{gn}}^{*}={\left({\tilde{I}}_N^{\mathrm{gm}}\right)}^{-1}{\tilde{I}}_N^{\mathrm{gn}}$

式中，为的Moore-Penrose逆矩阵；获得特征迁移矩阵后，针对特征投影后的目标训练样本得到特征迁移样本

其中，还包括利用1-NN判定测试样本后，评价特征迁移效果的优劣步骤：给出迁移率指标TE_n如下所示：

${\mathrm{TE}}_n=\frac{\mathrm{CS}(I_{T*}^{\mathrm{gn}},I_T^{\mathrm{gn}})-\mathrm{CS}(I_T^{\mathrm{gm}},I_T^{\mathrm{gn}})}{\mathrm{CS}(I_T^{\mathrm{gm}},I_T^{\mathrm{gn}})}$

式中，为测试样本在低维特征子空间R^d内的投影；当TE_n>0时，有表明特征迁移为正迁移，即迁移后训练样本与测试样本的相似程度更高；反之则为负迁移；其中，CS(·)表示样本间的余弦相似度，表达式如下：

$\mathrm{CS}(X,Y)=\frac{{\left(X\right)}^{T}Y}{\left|\right|X\left|\right|\&CenterDot;\left|\right|Y\left|\right|}$

式中，X与Y为不同的模式向量，X为源样本，Y为目标样本。

步骤6，利用1-NN判定测试样本

如图2所示，图1显示了单样本人脸识别特征迁移学习系统的主要原理与流程，主要包含3个环节：1)精选样本集筛选；2)基于LPP的特征迁移；3)最近邻匹配。其中每个环节包含的步骤如下。精选样本集筛选：第一，计算迁移源TS中各类别i的平均脸AF_i；第二，求解基于先验概率的类内样本协方差矩阵∑_w；第三，获取白化算子W_w，将白化算子W_w作用于各源样本与目标训练样本得到子空间R^d内的相似度第四，取δ_WWC≥θ₁的源样本进入精选迁移源SS。基于LPP的特征迁移：第一，构建SS的对应图G，计算度对角矩阵D、图拉普拉斯矩阵；第二，求解特征投影矩阵A；第三，根据得到精选迁移源SS中样本到特征子空间R^d内的投影；第四，获取最优特征迁移矩阵第五，作用于目标样本将其迁移为使其与测试样本在特征子空间的投影拥有相同特征gn，即宏观表征下的qn。最近邻匹配：利用1-NN分类测试样本

如图3所示，尽管迁移源TS中含有大量样本，但其大部分与目标训练样本的关联度极低，为更有效地利用迁移源并尽量避免负迁移的发生，需要分别挑选出符合q_s=q_m并与目标训练样本相似度高的源样本SS_m以及q_s=q_n且与目标测试样本相似度高的源样本SS_n。基本假设为：与目标样本相似度高的源样本能够在迁移后发挥更大的辅助决策作用识别该阶段采用引入了先验概率的白化余弦相似度(Whitened Cosine Similarity，WCS)来衡量迁移源与目标训练样本以及测试样本间的关系，并获取相应的精选样本源SS_m与SS_n。WCS与一般的余弦相似度评价指标不同，其能够将所需衡量的人脸模式向量各维度分布的方差均衡化，即对其各微观特征维度一视同仁，既不特别重视某一维度也不忽视某一维度，从而更精准的把握人脸图像降维后的全部微观特征，为进一步的宏观特征迁移奠定基础。

表1FERET-b人脸库特征描述

特征

ba

bb

bc

bf

bg

bj

bk

表情

无

无

无

无

无

有

无

光照

有

有

有

有

有

有

无

偏转角度

0°

+60°

+40°

—15°

-25°

0°

0°

如图3所示，FERET数据库共包含13539幅不同种族、性别、年龄、表情、光照与角度的人脸图像，分属1565类。本发明采用其中的b系列FERET-b作为实验数据库，其中包含200类人脸，每类拥有q₁：ba、q₂：bb、q₃：bc、q₄：bf、q₅：bg、q₆：bj、q₇：bk等7个不同特征，具体描述如表1所示。对于偏转角度而言，“+”表示右偏，“-”表示左偏。同时每幅图像以人脸区域为基准被预处理为80×80像素。将FERET-b中的前100类人作为迁移源，从后100类人中随机抽取4类作为训练和测试样本。图4给出了采用LPP特征提取的人脸迁移效果图，其中每组特征ba为给定的训练特征，bb'-bk'为迁移特征。从图中可以看出，特征迁移由于继承了迁移源中不同投影特征间的映射关系f_g1→gk(k=2，3，...，7)，尽管4组人脸具有不同的肤色、性别及五官特征，均能够根据训练特征ba迁移泛化为一系列不同姿势、光照与表情的特征迁移图像。

表2给出了与图3对应的数据统计，其中，TF表示迁移特征，对应列为各迁移特征bb'-bk’与相应真实特征bb-bk在子空间R^d内的余弦相似度 分别为迁移子空间特征与真实子空间特征，且有CS_tf∈(0，1]，其值越接近1则表明相似程度越高，反之则相似度越低。表中OF为原特征，即ba，对应列为其分别与bb-bk在R^d内的余弦相似度TE为迁移率，描述人脸特征在迁移前后针对真实子空间特征相似度的提升率。表中最后一行Avg.对应各项指标平均值。由表2数据可以看出，迁移前后特征子空间内的相似度具有显著提升，体现在迁移率上，各组实验则是有平均70.4％-164.5％的提高。

表2关联特征(LPP)间的余弦相似度与迁移率

如图5所示，为验证LPP在人脸特征迁移中的合理性与有效性，将利用拉普拉斯脸迁移的FT-LPP与采用PCA的特征脸迁移FT-PCA以及利用LDA特征提取的Fisher脸迁移算法FT-LDA进行了迁移效果对比，图5给出了6组实验结果。其中(a)、(f)为原始特征OF，(b)、(g)为FT-PCA迁移特征，(c)、(h)为FT-LDA迁移特征，(d)、(i)为FT-LPP迁移特征，(e)、(j)为目标真实特征TF。一般来说，人脸识别进程在特征子空间内实现，为给出直观特征迁移效果，进一步将子空间内的迁移特征逆向投影还原到原始样本空间R^D。由图5能够看出，重视区分类内散度S_B与类间散度S_W的FT-LDA算法与强调局部特征结构的FT-LPP迁移效果明显优于FT-PCA。事实上，作为经典线性降维特征提取方法，PCA更重视样本特征的全局结构，其要求特征子空间内的样本实现方差最大化，即特征提取矩阵 $W_{\mathrm{PCA}}=\underset{w}{\arg \max }{\mathrm{\&Sigma;}}_{i=1}^N{(I_i^g-\mathrm{AF})}^2=\arg \underset{w}{\max }{\mathrm{\&Sigma;}}_{i=1}^N{(W^T{I}_i^q-\mathrm{AF})}^2$ 强调全局特征呈现的本质使其在特征提取与迁移的过程中缺乏针对性，尽管能够迁移测试样本的宏观特征，而原始的五官特征等局部信息则存在不同程度的丢失。相比之下，FT-LDA更注重特征辨识，其投影矩阵一方面使得子空间内不同类别的特征拥有更大散度，另一方面又使得类间散度更小，更高的特征类别辨识度使得宏观特征迁移相较FT-PCA更加合理。不同于全局特征迁移的FT-PCA与FT-LDA，基于谱图理论的局部结构特征迁移算法FT-LPP在特征投影时要求 $W_{\mathrm{LPP}}=\arg \underset{w}{\min }{\mathrm{\&Sigma;}}_{\mathrm{ij}}{(I_i^g-I_j^g)}^2{S}_{\mathrm{ij}}=\arg \underset{w}{\min }{\mathrm{\&Sigma;}}_{\mathrm{ij}}{(W^T{I}_i^q-W^T{I}_j^q)}^2{S}_{\mathrm{ij}},$ 显然，由于连接权值S_ij的奖惩作用，将使得子空间特征与与原始空间样本与保持相同的关系趋势，即能够在特征提取与迁移的过程中最大程度地保留原始样本不同宏观特征间的关联信息，保证特征迁移的精度。

表3不同特征迁移算法相似度与迁移率对比

表3进一步给出了原始特征OF、特征迁移FT-PCA、FT-LDA以及FT-LPP与目标特征的余弦相似度CS与迁移率TE，表中每行为1组实验，6行分别按顺序对应图4的6组迁移结果，Avg.对应各指标平均值。由表中数据可以看出，3类特征迁移后的特征图像与目标特征的相似度均高于原始特征图像，这使得各类算法均实现了正迁移TE>0。对于FT-LDA与FT-LPP而言，尽管图4的宏观表征空间无法直观辨别两类算法优劣，但拉普拉斯脸的局部特征保持特性，使得特征迁移后的子空间五官特征更接近原始训练图像，并与目标图像有更高的相似度，平均迁移率151.9％超过FT-LDA算法的128.4％。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：包括如下步骤：

步骤1，给定迁移源TS，计算类别i的平均脸AF_i，并基于先验概率求解类内样本协方差矩阵∑_w，并获取白化算子W_w；

步骤2，由所述白化算子W_w作用于各源样本与目标训练样本使所述各源样本和目标训练样本投影到白化子空间，得到白化子空间内所述各源样本和目标训练样本的余弦相似度取余弦相似度δ_WWC≥θ₁的源样本进入精选迁移源SS,其中θ₁为相似度阈值；

步骤3，构建所述精选迁移源SS的邻接图G，计算度对角矩阵D、图拉普拉斯矩阵L；

步骤4，求解特征投影矩阵A，并计算所述精选迁移源SS中样本到特征子空间内的投影；

步骤5，获取最优特征迁移矩阵将所述最优特征迁移矩阵作用于目标样本将其迁移为样本使所述样本与测试样本在低维特征子空间内的投影拥有相同特征gn，所述特征gn宏观表征下为qn；

步骤6，利用1-NN判定所述测试样本

2.根据权利要求1所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：所述步骤1中，基于先验概率的类内样本协方差矩阵∑_w表达式如下：

${\mathrm{\&Sigma;}}_w=\underset{i=1}{\overset{L}{\&Sigma;}}P\left(I_i\right)\underset{s=1}{\overset{K}{\&Sigma;}}(I_i^{qs}-{\mathrm{AF}}_i){(I_i^{qs}-{\mathrm{AF}}_i)}^T;$

式中，为类别i的平均脸，为类别i中具有宏观特征ql的源样本，P(I_i)为先验概率，且有P(I_i)＝num(I_i)/num(TS)，num(·)为样本数，I_i表示第i类人脸样本集，L表示人脸类别总数，K为每类人脸中宏观特征数；

获取白化算子W_w步骤如下：将所述类内样本协方差矩阵Σ_w进行PCA特征分解：得到两两正交的特征向量矩阵Φ_w与特征值对角矩阵Λ_w；对所述源样本与目标训练样本进行白化操作，得到白化算子W_w表达式如下：

$W_w={\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2};$

将所述白化算子W_w作用于源样本得到子空间内源样本的白化投影样本则低维特征子空间类内样本协方差矩阵为：

$\begin{array}{c}{\mathrm{\&Sigma;}}_w^f=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}p\left(I_i\right)\underset{s=1}{\overset{K}{\mathrm{\&Sigma;}}}\left(I_i^f-{\mathrm{AF}}_i^f\right){\left(I_i^f-{\mathrm{AF}}_i^f\right)}^T\\ =\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}P\left(I_i\right){\left({\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}\right)}^T\&lsqb;\underset{s-1}{\overset{K}{\mathrm{\&Sigma;}}}\left(I_i^{qs}-{\mathrm{AF}}_i\right){\left(I_i^{qs}-{\mathrm{AF}}_i\right)}^T\&rsqb;\left({\mathrm{\&Phi;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}\right)\\ ={\mathrm{\&Lambda;}}_w^{-1/2}\left({\mathrm{\&Phi;}}_w^T{\mathrm{\&Sigma;}}_w{\mathrm{\&Phi;}}_w\right){\mathrm{\&Lambda;}}_w^{-1/2}={\mathrm{\&Lambda;}}_w^{-1/2}{\mathrm{\&Lambda;}}_w{\mathrm{\&Lambda;}}_w^{-1/2}=E_d\end{array}$

式中，为低维特征子空间内的类别i平均脸，E_d为d阶单位矩阵。

3.根据权利要求2所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：所述步骤2中低维特征子空间内所述各源样本和目标训练样本的白化余弦相似度为：

${\mathrm{\&delta;}}_{WWC}\left(I_i^{qs},I_T^{qm}\right)=\frac{{\left(W_w^T{I}_i^{qs}\right)}^T\left(W_w^T{I}_T^{qm}\right)}{\left|\right|W_w^T{I}_i^{qs}\left|\right|\&CenterDot;\left|\right|W_w^T{I}_T^{qm}\left|\right|}$

设定所述θ₁＝0.7max{δ_WWC}为相似度阈值，取白化余弦相似度δ_WWC≥θ₁的源样本进入所述精选迁移源SS，所述精选迁移源其中与分别为第i类源样本中具有宏观特征qm与qn的相应样本。

4.根据权利要求3所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：所述步骤3中，对于所述邻接图G＝(V,E)，其顶点V为所述精选迁移源样本，当迁移源样本和满足时，与间形成连接权值S_jk；其中，θ₂>0为局部保持阈值；所述连接权值强度S_jk的高斯表达式为：

$S_{jk}=e^{-\left|\right|I_j^{qs}-I_k^{qs}\left|\right|/t};$

式中，t>0为高斯时间参数，且有S_jk∈(0,1)，所有的S_jk构成边集矩阵S；

构建完成的邻接图G包括度对角矩阵D，所述度对角矩阵D的对角元素为所述邻接图G的各顶点V连接权值之和，所述邻接图G的拉普拉斯矩阵L＝D-S。

5.根据权利要求4所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：所述步骤4中，根据如下广义特征向量式，构建特征投影矩阵A：

X_SSLX_SS ^Ta＝λX_SSDX_SS ^Ta

式中，为精选源样本矩阵；设特征向量a₀,a₁,...,a_d-1为矩阵X_SS的解，且所述解对应的特征值λ₀<λ₁<…<λ_d-1，则所述特征投影矩阵A＝[a₀,a₁,...,a_d-1]；所述具有宏观特征qm与qn的源样本与在低维特征子空间内的特征投影分别为

6.根据权利要求5所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：所述步骤5中，特征迁移的目标为寻找映射关系h，使其满足：

$I_k^{gn}=h_{gm\&RightArrow;gn}\left(I_k^{gm}\right),(k=1,2,...,N)$

式中，N＝0.5num(SS)表示精选迁移源SS中样本对的个数；采用特征迁移矩阵H逼近h_gm→gn，则有迁移误差ε：

$\mathrm{\&epsiv;}=\underset{i=1}{\overset{N}{\&Sigma;}}\left|\right|I_i^{gn}-I_i^{gm}{H}_{gm\&RightArrow;gn}{I}_i^{gn}\left|\right|;$

最优满足迁移误差ε最小化，即：

$H_{gm\&RightArrow;gn}^{*}=\arg min\mathrm{\&epsiv;}\left(H_{gm\&RightArrow;gn}\right);$

则合并为如下表达式：

${\left[\begin{array}{c}{\left(I_1^{gm}\right)}^T\\ {\left(I_2^{gm}\right)}^T\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\left(I_N^{gm}\right)}^T\end{array}\right]}_{N\&times;d}*{\left(H_{gm\&RightArrow;gn}^{*}\right)}_{d\&times;d}={\left[\begin{array}{c}{\left(I_1^{gn}\right)}^T\\ {\left(I_2^{gn}\right)}^T\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\left(I_N^{gn}\right)}^T\end{array}\right]}_{N\&times;d}$

记则上述矩阵表达式简记为由于与均为N×d阶矩阵，因而有：

$H_{gm\&RightArrow;gn}^{*}={\left({\tilde{I}}_N^{gm}\right)}^{-1}{\tilde{I}}_N^{gn}$

式中，为的Moore-Penrose逆矩阵；获得所述特征迁移矩阵后，针对特征投影后的目标训练样本得到特征迁移样本

7.根据权利要求6所述一种基于LPP特征提取的单样本人脸识别迁移学习方法，其特征在于：还包括利用1-NN判定测试样本后，评价特征迁移效果的优劣步骤：给出迁移率指标TE_n如下所示：

${\mathrm{TE}}_n=\frac{CS\left(I_{T*}^{gn},I_T^{gn}\right)-CS\left(I_T^{gm},I_T^{gn}\right)}{CS\left(I_T^{gm},I_T^{gn}\right)}$

式中，为测试样本在低维特征子空间内的投影；当TE_n>0时，有表明特征迁移为正迁移，即迁移后训练样本与测试样本的相似程度更高；反之则为负迁移；其中，CS(·)表示样本间的余弦相似度，表达式如下：

$CS(X,Y)=\frac{{\left(X\right)}^{T}Y}{\left|\right|X\left|\right|\&CenterDot;\left|\right|Y\left|\right|}$

式中，X与Y为不同的模式向量，所述X为源样本，所述Y为目标样本。