CN102663371A - 一种耦合步态特征的低分辨率人脸识别方法 - Google Patents

Abstract

本发明提供的是一种耦合步态特征的低分辨率人脸识别方法。首先，将所有低分辨率人脸、步态样本分别转换到向量空间上，然后采用内积计算人脸和步态特征的核变换特征并修正，再将表示同一个体的低分辨率人脸图像和步态样本构成样本对，使得不同集合下的样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，转化成“迹”求广义特征分解，得到两个不同的变换矩阵，低分辨率人脸图像和步态图像得到新的特征。测试时，测试样本首先向量化，再经核变换由向量空间映射到高维空间，采用最近邻分类器来预测所属的类别。本发明不需要对高分辨率的人脸图像进行估计，可对低分辨率的人脸图像采用步态耦合的机器学习方式直接进行身份识别。

Description

一种耦合步态特征的低分辨率人脸识别方法

技术领域

本发明涉及一种耦合步态特征的低分辨率人脸识别方法，属于模式识别技术领域。

背景技术

远距离下的低分辨率人脸识别是生物特征识别技术中具有挑战性的研究问题之一，由于低分辨率人脸图像只可提供较为有限的信息，从而导致人脸识别的识别性能很差。一种提高识别精度的潜在方法就是通过低分辨率人脸图像重建出高分辨率的人脸图像，文献[1]提出的一种基于流形对齐的超分辨率实现方法可提高人脸图像的分辨率。黄华等人[2]使用典型相关分析建立了低分辨人脸图像和高分辨率人脸图像的一致子空间，然后在高分辨率人脸图像特征和低分辨率人脸图像特征的两个空间之间找到径向基函数映射关系，那么，在识别阶段采用训练得到的径向基函数模型计算待测试低分辨人脸图像对应的超分辨率人脸图像可完成人脸识别任务。但是，现有的大部分超分辨率算法在处理低分辨率人脸识别问题上并不奏效，原因是低分辨人脸图像特征空间的相似性很难反映到高分辨率图像特征空间中真实的相似性[3]。Li等人[4]提出了一种耦合局部保留映射算法用于低分辨率人脸识别，它可避免任何超分辨率的预处理。对于低分辨率的人脸识别问题，研究者们往往仅关注人脸本身的特征，而忽略其它的相关生物特征，特别是远距离下的低分率人脸识别，人脸所能提供的特征信息量微乎其微，将其它特征与低分辨率人脸特征构成联系以达到人脸识别的目的势在必行。

1.Li，B.，Chang，H.，Shah，S.G.，and Chen，X.L.：’Aligning CoupledManifolds for Face Hallucination’.IEEE Signal Processing Letters，2009，16，(11)，pp.957-960

2.Huang，H.，and He，H.T.：’Super-Resolution Method for Face RecognitionUsing Nonlinear Mappings on Coherent Features’，IEEE Transaction on NeuralNetworks，2011，22，(1)，pp.121-130

3.Zou，W.，and Yuen，P.：’Very Low Resolution Face Recognition Problem’，IEEE Transactions on Image Processing，doi：10.1109/TIP.2011.2162423

4.Li，B.，Chang，H.，Shan，S.G.，and Chen，X.L.：’Low-Resolution FaceRecognition via Coupled Locality Preserving Mappings’.IEEE SignalProcessing Letters，2010，17，(1)，pp.20-23

发明内容

针对现有技术的不足，本发明提供一种耦合步态特征的低分辨率人脸识别方法。

在远距离的低分辨率人脸问题上，将步态特征和低分辨率人脸图像特征构成联系，并耦合映射到同一空间中，用步态特征去约束、学习得到更为丰富的人脸信息，最终完成低分辨率人脸识别的任务。

本发明的目的是这样实现的：

一种耦合步态特征的低分辨率人脸识别方法，包括训练和识别阶段；训练阶段的方法为，首先，将所有低分辨率人脸、步态图像样本分别都转换到向量空间上，然后采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，再将表示同一个体的低分辨率人脸图像和步态图像构成样本对，使得不同集合下的同一样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，然后将目标函数转化成“迹”的形式后转换成广义特征分解，得到对于低分辨率人脸图像和步态图像的两个不同的变换矩阵，最后将低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，并把步态特征作为注册样本集；识别阶段的方法是：由测试样本向核空间的投影转换过程和匹配组成；实现方法为：测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别。

所述的采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，是根据以下公式进行的：

其中，x₁，x₂，……，x_M和y₁，y₂，……，y_M表示人脸图像、步态能量图像经向量化后的特征；φ表示核映射，是将原始向量特征映射到高维的特征空间中；K_x和K_y分别表示人脸图像、步态能量图像的核变换特征矩阵；

K_x和K_y中的每一项采用高斯核来计算如下

$K_x(i,j)=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(3\right)$

$K_y(i,j)=\exp (-\frac{{\left|\right|y_i-y_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(4\right)$

其中，σ为控制高斯核宽度的参数。

K_x和K_y采用如下去中心化方法，分别得到

和

${\tilde{K}}_x=K_x-l_M\·K_x-K_x\·l_M+l_M\·K_x\·l_M---\left(5\right)$

${\tilde{K}}_y=K_y-l_M\·K_y\·l_M+l_M\·K_y\·l_M---\left(6\right)$

其中，l_M是系数为1/M的M×M的单位阵。

所述的建立目标优化模型，最后将目标函数转化成“迹”的形式后转换成广义特征分解，是根据以下公式进行的：

欲使同一个人的低分辨率人脸图像和步态样本图像应该足够地相似，即使下式达到最小值

J(P₁，P₂)＝∑_i，j||P₁ ^Tφ(x_i)-P₂ ^Tφ(y_j)||²S_ij                      (7)

其中，P₁和P₂为核空间下的变换矩阵，S_ij为相似度矩阵S的元素。如果x_i和x_j是属于同一类别，x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，这里有两种S的计算方法，其一是余弦相似度：

$S_{\mathrm{ij}}=\frac{x_i\·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(8\right)$

其二是高斯相似度，t是控制高斯函数的尺度因子

$S_{\mathrm{ij}}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t})---\left(9\right)$

否则，S_ij＝0。

为了求得P₁和P₂，式(5)可写成迹的形式：

$J(P_1,P_2)=\mathrm{tr}({\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]...$

$\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]}^T\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right])$

(10)

其中，F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，而且F_h(S)和F_v(S)提供了数据点的本质度量

对于式(10)中的P₁，这里存在M个样本可以用来张成核特征空间{φ(x_i)，i＝1，2，…M}；对于P₂也存在M个样本可以用来张成核特征空间{φ(y_j)，j＝1，2，…M}，设张成系数为α₁，α₂，…，α_M和β₁，β₂，…，β_M，这样有

$P_1=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(x_i\right)---\left(13\right)$

$P_2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{\φ}\left(y_i\right)---\left(14\right)$

将式(13)和式(14)带入式(10)中，有

$J(\mathrm{\α},\mathrm{\β})=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\end{array}\left[\begin{array}{cc}\mathrm{\φ}{\left(X\right)}^T& \\ & \mathrm{\φ}{\left(Y\right)}^T\end{array}\right]\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)$

$=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]\end{array}\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]}^T\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)---\left(15\right)$

其中，φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_M)]和φ(Y)＝[φ(y₁)，φ(y₂)，…，φ(y_M)]。α＝[α₁，α₂，…，α_M]^T和β＝[β₁，β₂，…，β_M]^T。

再令 $W=\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right],$ $Z=\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right],$ $\mathrm{\Θ}=\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right],$ 目标函数(15)可以写成

J(α，β)＝tr(W^TZΘZ^TW)                    (16)

ZZ^T不总是可逆的，需要规整化为ZZ^T+τI，I为单位阵，τ为很小的正实数，可取τ＝10^-6。ZΘZ^T和ZZ^T的维数均为2M×2M，使式(16)达到最小时的W可以通过解下式的广义特征分解来求得

(ZΘZ^T)W＝λ(ZZ^T)W                (17)

式(17)的特征值从小到大排列，当W由前d′个较小的特征值对应的特征向量排列组成时，即可以使式(17)达到最小。显然，α∈R^M×d′对应于W的第1到第M行，β∈R^M×d′对应于W的第M+1到第2M行。

低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，是根据以下公式进行的：

$F_x={P_1}^T\mathrm{\φ}\left(X\right)={\mathrm{\α}}^T{\tilde{K}}_x---\left(18\right)$

$F_y={P_2}^T\mathrm{\φ}\left(Y\right)={\mathrm{\β}}^T{\tilde{K}}_y---\left(19\right)$

其中，F_x＝[f_x1，f_x2，…，f_xM]，F_y＝[f_y1，f_y2，…，f_yM]，f_xi(i＝1，…，M)和f_yj(j＝1，…，M)分别对应为x_i和步态y_j的特征。这样，低分辨率的人脸图像、步态图像集合X和Y耦合映射到同一核空间中。

所述的测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别，是根据以下公式进行的：

待测试的低分辨人脸图像样本首先向量化，记为y′，然后再由向量空间映射到高维空间的特征为φ(y′)，那么所计算的核耦合特征f′_y为

$f_y^{\′}={P_2}^T\mathrm{\φ}\left(y^{\′}\right)={\mathrm{\β}}^T{\tilde{K}}_y^{\′}---\left(20\right)$

其中：

表示K′y＝[φ(y₁)·φ(y′)，φ(y₂)·φ(y′)，…，φ(y_M)·φ(y′)]^T的中心化结果，可以

由下式计算得出

${\tilde{K}}_y^{\′}=K_y^{\′}-K_y\·l_{1\×M}^T-l_M\·K_y^{\′}+l_M\·K_y\·l_{1\×M}^T---\left(21\right)$

其中：l_1×M表示系数均为1/M，大小为1×M的单位阵。

样本匹配时采用最近邻分类器在注册集中来预测测试样本所属的类别

$\mathrm{Dis}(f_{\mathrm{xc}},f_y^{\′})=\arg \underset{i}{\min }\mathrm{Dis}(f_{\mathrm{xi}},f_y^{\′})$ (22)

即f′_y距离f_xc最近，因此，y′的类别属于f_xc所在的类别。

本发明由于采取以上技术方案，其具有以下优点：

1.本发明不需要对高分辨率的人脸图像进行估计，可对低分辨率的人脸图像采用机器学习的方式直接进行身份识别。

2.在远距离下的低分率人脸识别可耦合步态特征辅助人脸识别，即使人脸图像提供的信息极其有限(较低分辨率时)，耦合步态特征可得到很高的识别性能。

附图说明

图1是本发明识别方法的流程图。

图2是结合样本来说明训练和识别两个阶段的示意图。

图3是低分辨率人脸图像。

图4是提取步态序列图像的步态能量图像。

图5是不同分辨率下的正确识别率。

图6是不同分辨率下的累积匹配打分。

具体实施方式

下面结合附图和实例对本发明进行详细的描述。

一种耦合步态特征的低分辨率人脸识别方法，如图1所示，包括训练和识别阶段；训练阶段的方法为，首先，将所有低分辨率人脸、步态图像样本分别都转换到向量空间上，然后采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，再将表示同一个体的低分辨率人脸图像和步态图像构成样本对，使得不同集合下的同一样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，然后将目标函数转化成“迹”的形式后转换成广义特征分解，得到对于低分辨率人脸图像和步态图像的两个不同的变换矩阵，最后将低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，并把步态特征作为注册样本集；识别阶段的方法是：由测试样本向核空间的投影转换过程和匹配组成；实现方法为：测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别。

所述的采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，是根据以下公式进行的：

其中，x₁，x₂，……，x_M和y₁，y₂，……，y_M表示人脸图像、步态能量图像经向量化后的特征；φ表示核映射，是将原始向量特征映射到高维的特征空间中；K_x和K_y分别表示人脸图像、步态能量图像的核变换特征矩阵；

K_x和K_y中的每一项采用高斯核来计算如下

$K_x(i,j)=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(3\right)$

$K_y(i,j)=\exp (-\frac{{\left|\right|y_i-y_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(4\right)$

其中，σ为控制高斯核宽度的参数。

K_x和K_y采用如下去中心化方法，分别得到

和

${\tilde{K}}_x=K_x-l_M\·K_x-K_x\·l_M+l_M\·K_x\·l_M---\left(5\right)$

${\tilde{K}}_y=K_y-l_M\·K_y\·l_M+l_M\·K_y\·l_M---\left(6\right)$

其中，l_M是系数为1/M的M×M的单位阵。

所述的建立目标优化模型，最后将目标函数转化成“迹”的形式后转换成广义特征分解，是根据以下公式进行的：

欲使同一个人的低分辨率人脸图像和步态样本图像应该足够地相似，即使下式达到最小值

J(P₁，P₂)＝∑_i，j||P₁ ^Tφ(x_i)-P₂ ^Tφ(y_j)||²S_ij                        (7)

其中，P₁和P₂为核空间下的变换矩阵，S_ij为相似度矩阵S的元素。如果x_i和x_j是属于同一类别，x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，这里有两种S的计算方法，其一是余弦相似度：

$S_{\mathrm{ij}}=\frac{x_i\·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(8\right)$

其二是高斯相似度，t是控制高斯函数的尺度因子

$S_{\mathrm{ij}}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t})---\left(9\right)$

否则，S_ij＝0。

为了求得P₁和P₂，式(5)可写成迹的形式：

$J(P_1,P_2)=\mathrm{tr}({\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]...$

$\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]}^T\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right])$

(10)

其中，F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，而且F_h(S)和F_v(S)提供了数据点的本质度量

对于式(10)中的P₁，这里存在M个样本可以用来张成核特征空间{φ(x_i)，i＝1，2，…M}；对于P₂也存在M个样本可以用来张成核特征空间{φ(y_j)，j＝1，2，…M}，设张成系数为α₁，α₂，…，α_M和β₁，β₂，…，β_M，这样有

$P_1=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(x_i\right)---\left(13\right)$

$P_2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{\φ}\left(y_i\right)---\left(14\right)$

将式(13)和式(14)带入式(10)中，有

$J(\mathrm{\α},\mathrm{\β})=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\end{array}\left[\begin{array}{cc}\mathrm{\φ}{\left(X\right)}^T& \\ & \mathrm{\φ}{\left(Y\right)}^T\end{array}\right]\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)$

$=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]\end{array}\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]}^T\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)---\left(15\right)$

其中，φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_M)]和φ(Y)＝[φ(y₁)，φ(y₂)，…，φ(y_M)]。α＝[α₁，α₂，…，α_M]^T和β＝[β₁，β₂，…，β_M]^T。

再令 $W=\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right],$ $Z=\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right],$ $\mathrm{\Θ}=\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right],$ 目标函数(15)可以写成

J(α，β)＝tr(W^TZΘZ^TW)                    (16)

ZZ^T不总是可逆的，需要规整化为ZZ^T+τI，I为单位阵，τ为很小的正实数，可取τ＝10^-6。ZΘZ^T和ZZ^T的维数均为2M×2M，使式(16)达到最小时的W可以通过解下式的广义特征分解来求得

(ZΘZ^T)W＝λ(ZZ^T)W                    (17)

式(17)的特征值从小到大排列，当W由前d′个较小的特征值对应的特征向量排列组成时，即可以使式(17)达到最小。显然，α∈R^M×d′对应于W的第1到第M行，β∈R^M×d′对应于W的第M+1到第2M行。

低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，是根据以下公式进行的：

$F_x={P_1}^T\mathrm{\φ}\left(X\right)={\mathrm{\α}}^T{\tilde{K}}_x---\left(18\right)$

$F_y={P_2}^T\mathrm{\φ}\left(Y\right)={\mathrm{\β}}^T{\tilde{K}}_y---\left(19\right)$

其中，F_x＝[f_x1，f_x2，…，f_xM]，F_y＝[f_y1，f_y2，…，f_yM]，f_xi(i＝1，…，M)和f_yj(j＝1，…，M)分别对应为x_i和步态y_j的特征。这样，低分辨率的人脸图像、步态图像集合X和Y耦合映射到同一核空间中。

所述的测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别，是根据以下公式进行的：

待测试的低分辨人脸图像样本首先向量化，记为y′，然后再由向量空间映射到高维空间的特征为φ(y′)，那么所计算的核耦合特征f′_y为

$f_y^{\′}={P_2}^T\mathrm{\φ}\left(y^{\′}\right)={\mathrm{\β}}^T{\tilde{K}}_y^{\′}---\left(20\right)$

其中：

表示K′_y＝[φ(y₁)·φ(y′)，φ(y₂)·φ(y′)，…，φ(y_M)·φ(y′)]^T的中心化结果，可以由下式计算得出

${\tilde{K}}_y^{\′}=K_y^{\′}-K_y\·l_{1\×M}^T-l_M\·K_y^{\′}+l_M\·K_y\·l_{1\×M}^T---\left(21\right)$

其中：l_1×M表示系数均为1/M，大小为1×M的单位阵。

样本匹配时采用最近邻分类器在注册集中来预测测试样本所属的类别

$\mathrm{Dis}(f_{\mathrm{xc}},f_y^{\′})=\arg \underset{i}{\min }\mathrm{Dis}(f_{\mathrm{xi}},f_y^{\′})---\left(22\right)$

即f′_y距离f_xc最近，因此，y′的类别属于f_xc所在的类别。

实验结果

为了验证所提出方法的有效性，我们将ORL人脸库和CASIA(B)步态库合成一个数据库，并假设相对应的人脸图像和步态是来自于同一个人的生物特征。实验的数据库含有40个人，每个人含有3个步态序列和7张人脸图像(分别下采样成低分辨率图像，如6X4，8X6，10X8，12X10，14X12像素，如图3所示)。我们对不同分辨率的低分辨人脸进行识别时，是随机选取每人3张低分辨率人脸图像和3个步态能量图(步态能量图的产生如图4所示，即为一个步态周期图像的加权平均)组成训练集，剩余的4张低分辨率人脸图像作为测试集。重复实验30次，计算平均的正确识别率。对于相似度函数中的元素S_ij有两种选择方式，如式(3)和(4)。我们将所提出方法在相似度函数选择为余弦函数的记成KCLPM(Cosine)，所提出方法在相似度函数选择为高斯函数的记成KCLPM(Sup)，并与耦合局部保留映射方法(CLPM)[4]、黄华的方法(Huang)[2]和主成分分析结合径向基函数(PCA-RBF)[2]相比较，实验结果如图5和6所示。图5是不同分辨率下的正确识别率，横轴为不同的分辨率大小，纵轴为正确识别率，当相似度函数选择为余弦函数时，采用本专利所提出的方法时，低分辨率人脸图像在分辨率6X4，8X6，10X8，12X10，14X12像素下的识别率均为0.925；当相似度函数选择为高斯函数时的识别率分别为0.9063，0.9313，0.9313，0.9375，0.9375。图6为不同分辨率下的累积匹配打分，横轴为不同的分辨率大小，纵轴为Rank＝5时的累积匹配打分值，当相似度函数选择为余弦函数时，采用本专利所提出的方法时，低分辨率人脸图像在分辨率6X4，8X6，10X8，12X10，14X12像素下的累积匹配打分值分别为0.9437，0.9500，0.9625，0.9625，0.95；当相似度函数选择为高斯函数时的累积匹配打分值分别为0.9313，0.9437，0.95，0.95，0.95。从实验结果我们可以看出：所提出的方法对低分辨率变化具有鲁棒性；核化的耦合局部保留映射可以提高线性化版本的识别性能，还优于其他的非线性方法，如：黄华的方法[2]和(PCA-RBF)方法[2]。

Claims (5)

1.一种耦合步态特征的低分辨率人脸识别方法，其特征在于，包括训练和识别阶段；训练阶段的方法为，首先，将所有低分辨率人脸、步态图像样本分别都转换到向量空间上，然后采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，再将表示同一个体的低分辨率人脸图像和步态图像构成样本对，使得不同集合下的同一样本对足够近，并且保留数据局部结构的本质几何特性，建立目标优化模型，然后将目标函数转化成“迹”的形式后转换成广义特征分解，得到对于低分辨率人脸图像和步态图像的两个不同的变换矩阵，最后将低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，并把步态特征作为注册样本集；识别阶段的方法是：由测试样本向核空间的投影转换过程和匹配组成；实现方法为：测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别。

2.如权利要求1所述的一种耦合步态特征的低分辨率人脸识别方法，其特征在于，所述的采用内积形式计算人脸和步态特征的核变换特征并对该特征进行修正，是根据以下公式进行的：

其中，x₁，x₂，……，x_M和y₁，y₂，……，y_M表示人脸图像、步态能量图像经向量化后的特征；φ表示核映射，是将原始向量特征映射到高维的特征空间中；K_x和K_y分别表示人脸图像、步态能量图像的核变换特征矩阵；

K_x和K_y中的每一项采用高斯核来计算如下

$K_x(i,j)=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(3\right)$

$K_y(i,j)=\exp (-\frac{{\left|\right|y_i-y_j\left|\right|}^2}{2{\mathrm{\σ}}^2})---\left(4\right)$

其中，σ为控制高斯核宽度的参数；

K_x和K_y采用如下去中心化方法，分别得到

和

${\tilde{K}}_x=K_x-l_M\·K_x-K_x\·l_M+l_M\·K_x\·l_M---\left(5\right)$

${\tilde{K}}_y=K_y-l_M\·K_y\·l_M+l_M\·K_y\·l_M---\left(6\right)$

其中，l_M是系数为1/M的M×M的单位阵。

3.如权利要求1所述的一种耦合步态特征的低分辨率人脸识别方法，其特征在于，所述的建立目标优化模型，最后将目标函数转化成“迹”的形式后转换成广义特征分解，是根据以下公式进行的：

欲使同一个人的低分辨率人脸图像和步态样本图像应该足够地相似，即使下式达到最小值

J(P₁，P₂)＝∑_i，j||P₁ ^Tφ(x_i)-P₂ ^Tφ(yj₎||²S_ij                        (7)

其中，P₁和P₂为核空间下的变换矩阵，S_ij为相似度矩阵S的元素；如果x_i和x_j是属于同一类别，x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，这里有两种S的计算方法，其一是余弦相似度：

$S_{\mathrm{ij}}=\frac{x_i\·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(8\right)$

其二是高斯相似度，t是控制高斯函数的尺度因子

$S_{\mathrm{ij}}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t})---\left(9\right)$

否则，S_ij＝0；

为了求得P₁和P₂，式(5)可写成迹的形式：

$J(P_1,P_2)=\mathrm{tr}({\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]...$ (10)

$\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(x_1\right),\mathrm{\φ}\left(x_2\right),...,\mathrm{\φ}\left(x_M\right)& \\ & \mathrm{\φ}\left(y_1\right),\mathrm{\φ}\left(y_2\right),...,\mathrm{\φ}\left(y_M\right)\end{array}\right]}^T\left[\begin{array}{c}{P}_1\\ P_2\end{array}\right])$

其中，F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，而且F_h(S)和F_v(S)提供了数据点的本质度量

对于式(10)中的P₁，这里存在M个样本可以用来张成核特征空间{φ(x_i)，i＝1，2，…M}；对于P₂也存在M个样本可以用来张成核特征空间{φ(y_j)，j＝1，2，…M}，设张成系数为α₁，α₂，…，α_M和β₁，β₂，…，β_M，这样有

$P_1=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\φ}\left(x_i\right)---\left(13\right)$

$P_2=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_i\mathrm{\φ}\left(y_i\right)---\left(14\right)$

将式(13)和式(14)带入式(10)中，有

$J(\mathrm{\α},\mathrm{\β})=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\end{array}\left[\begin{array}{cc}\mathrm{\φ}{\left(X\right)}^T& \\ & \mathrm{\φ}{\left(Y\right)}^T\end{array}\right]\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]}^T\left[\begin{array}{cc}\mathrm{\φ}\left(X\right)& \\ & \mathrm{\φ}\left(Y\right)\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)$

$=\mathrm{tr}\left(\begin{array}{c}{\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]}^T\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]\end{array}\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ -S^T& F_v\left(S\right)\end{array}\right]{\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right]}^T\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right]\right)---\left(15\right)$

其中，φ(X)＝[φ(x₁)，φ(x₂)，…，φ(x_M)]和φ(Y)＝[φ(y₁)，φ(y₂)，…，φ(y_M)]；α＝[α₁，α₂，…，α_M]^T和β＝[β₁，β₂，…，β_M]^T；

再令 $W=\left[\begin{array}{c}\mathrm{\α}\\ \mathrm{\β}\end{array}\right],$ $Z=\left[\begin{array}{cc}{K}_x& \\ & K_y\end{array}\right],$ $\mathrm{\Θ}=\left[\begin{array}{cc}{F}_h\left(S\right)& -S\\ {-S}^T& F_v\left(S\right)\end{array}\right],$ 目标函数(15)可以写成

J(α，β)＝tr(W^TZΘZ^TW)                        (16)

ZZ^T不总是可逆的，需要规整化为ZZ^T+τI，I为单位阵，τ为很小的正实数，可取τ＝10^-6；ZΘZ^T和ZZ^T的维数均为2M×2M，使式(16)达到最小时的W可以通过解下式的广义特征分解来求得

(ZΘZ^T)W＝λ(ZZ^T)W                (17)

式(17)的特征值从小到大排列，当W由前d′个较小的特征值对应的特征向量排列组成时，即可以使式(17)达到最小；显然，α∈R^M×d′对应于W的第1到第M行，β∈R^M×d′对应于W的第M+1到第2M行。

4.如权利要求1所述的一种耦合步态特征的低分辨率人脸识别方法，其特征在于，所述的低分辨率人脸图像和步态图像分别投影到这两个空间中，得到低分辨率人脸特征和步态特征，是根据以下公式进行的：

$F_x={P_1}^T\mathrm{\φ}\left(X\right)={\mathrm{\α}}^T{\tilde{K}}_x---\left(18\right)$

$F_y={P_2}^T\mathrm{\φ}\left(Y\right)={\mathrm{\β}}^T{\tilde{K}}_y---\left(19\right)$

其中，F_x＝[f_x1，f_x2，…，f_xM]，F_y＝[f_y1，f_y2，…，f_yM]，f_xi(i＝1，…，M)和f_yj(j＝1，…，M)分别对应为x_i和步态y_j的特征；这样，低分辨率的人脸图像、步态图像集合X和Y耦合映射到同一核空间中。

5.如权利要求1所述的一种耦合步态特征的低分辨率人脸识别方法，其特征在于，所述的测试的低分辨率人脸图像样本首先向量化，再经核变换由向量空间映射到核高维空间，样本匹配时在注册样本集中采用最近邻分类器来预测测试样本所属的类别，是根据以下公式进行的：

待测试的低分辨人脸图像样本首先向量化，记为y′，然后再由向量空间映射到高维空间的特征为φ(y′)，那么所计算的核耦合特征f′_y为

$f_y^{\′}={P_2}^T\mathrm{\φ}\left(y^{\′}\right)={\mathrm{\β}}^T{\tilde{K}}_y^{\′}---\left(20\right)$

其中：

表示K′_y＝[φ(y₁)·φ(y′)，φ(y₂)·φ(y′)，…，φ(y_M)·φ(y′)]^T的中心化结果，可以由下式计算得出

${\tilde{K}}_y^{\′}=K_y^{\′}-K_y\·l_{1\×M}^T-l_M\·K_y^{\′}+l_M\·K_y\·l_{1\×M}^T---\left(21\right)$

其中：l_1×M表示系数均为1/M，大小为1×M的单位阵；

样本匹配时采用最近邻分类器在注册集中来预测测试样本所属的类别

$\mathrm{Dis}(f_{\mathrm{xc}},f_y^{\′})=\arg \underset{i}{\min }\mathrm{Dis}(f_{\mathrm{xi}},f_y^{\′})$ (22)

即f′_y距离f_xc最近，因此，y′的类别属于f_xc所在的类别。

Images