CN104318214A - 一种基于结构化词典域转移的交叉视角人脸识别方法 - Google Patents

Abstract

本发明是一种基于结构化词典域转移的交叉视角人脸识别方法，其包括步骤：S1：将训练出每个对样本类别有区分性的子词典串接构成结构化的源域词典；S2：学习目标域和多个中间域词典；S3：对源域及目标域的图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到并分别将源域及目标域人脸图像的源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征和目标域人脸图像的域共享特征；S4：根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。

Description

一种基于结构化词典域转移的交叉视角人脸识别方法

技术领域

本发明属于交叉视角人脸识别技术领域，具体涉及一种基于结构化词典域转移的交叉视角人脸识别方法。

背景技术

目前大多数的自动人脸识别系统在正脸视角下可以达到较高的识别性能。但是，在实际应用场景中获取的人脸图片一般处于各种各样的视角，这种情况会使得人脸识别系统的性能大幅度退化。交叉视角人脸识别的困难主要在于人脸视角的变化处于3D空间中，而人脸图像仅捕获2D的外观特征。随着视角的变化，不同的人脸部件呈现在图像中。这导致一个特殊的现象：不同身份相似视角的人脸图像比相同身份不同视角的人脸图像更为相似。由视角变化导致的差异比身份变化导致的差异更大，使得交叉视角人脸识别非常困难。

目前常用的交叉视角人脸识别方法大致可以分为两类：一类研究主要致力于对侧面视角的人脸生成虚拟的正脸图像，这样就可以在一个统一的视角下面进行人脸识别。典型地，Blanz提出为给定的2D人脸图像构造对应的3D形变模型，并在3D形状纹理空间中进行人脸匹配。但是，这类方法计算量较大且依赖人工标定人脸关键点。Chai提出了局部线性回归模型(LLR)直接在2D域中合成虚拟的正面人脸。另外一类方法主要致力于学习针对特定视角的变换，然后用这些变换将样本投影到一个公共的子空间中进行识别。Lin提出了公共区分性特征提取方法(CDEF)来将不同模态的样本投影到一个公共的特征空间；Sharma和Li引入了偏最小二乘法(PLS)和典型相关分析(CCA)来最大化投影空间中变化视角人脸的类内相关性。最近，基于域自适应的交叉视角人脸识别方法被很多学者提出。其中主流的思想是学习源域到目标域之间的一系列的中间域表示，并利用这些中间域构造一条虚拟路径来建模两个域之间统计上的联系。其中，基于子空间的中间域表示为一类常用的虚拟路径构造方法。

发明内容

本发明的目的是要解决交叉视角人脸识别中，相同身份不同视角的人脸图像分布差异大的问题，为此，本发明的目的是提供一种基于结构化词典域转移的交叉视角人脸识别方法。

为了实现所述目的，本发明基于结构化词典域转移的交叉视角人脸识别方法，该方法包括以下步骤：

步骤S1：根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练出每个对样本类别有区分性的子词典；所有类的子词典串接在一起，构成结构化的源域词典；

步骤S2：通过递增地减少源域词典在目标域人脸集上的重构误差，逐渐地将源域词典转移到目标域，同时学习目标域词典和多个中间域词典；

步骤S3：计算源域人脸集的人脸图像在源域词典上的源域图像人脸编码，对源域图像人脸编码、源域词典、目标域词典和多个中间域词典分别计算，得到源域人脸图像的源域重构图像、目标域重构图像和中间域重构图像；将源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征；

计算目标域人脸集的人脸图像在目标域词典上的目标域图像人脸编码，分别对目标域图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到目标域人脸图像的源域重构图像、目标域重构图像和中间域重构图像，将源域重构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征；

步骤S4：根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。

本发明的有益效果：本发明首先对源域数据集区分性的学习结构化的源域词典，有效地建模源域数据集的特征；根据域自适应的思想学习一条基于中间域词典的虚拟路径，基于该路径的特征表示能有效地减小不同域人脸图像之间的差异。

附图说明

图1是本发明的基于结构化词典域转移的交叉视角人脸识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参照图1示出本发明基于结构化词典域转移的交叉视角人脸识别方法，具体实施例步骤如下：

步骤S1：根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练出每个对样本类别有区分性的子词典；所有类的子词典D1，D2，…，Dc串接在一起，构成结构化的源域词典；所述训练出源域词典中每个对样本类别有区分性的子词典的步骤如下：

步骤S11：为了使源域词典D₀能有效的构建源域人脸集模型，将源域词典在源域人脸集上的重构误差进行最小化，并构建出最小化目标函数如下表示：

$\underset{D,X_S}{\min }{E}_S={\left|\right|Y_S-{\mathrm{DX}}_S\left|\right|}_F^2,s.t.\∀l,{\left|\right|x_l^s\left|\right|}_0\≤T_0---\left(1\right)$

所述E_S为源域词典在源域人脸集上的重构误差，X_S为源域人脸集Y_S在所有类的子词典串接构成的结构化的源域词典D上的稀疏编码系数矩阵，s.t表示优化条件；为稀疏编码系数阵X_S的第l列，l为稀疏编码系数阵X_S的列的序号；表示F2范数；||.||₀表示l⁰范数为统计向量中的非零元素个数；T₀是稀疏编码的稀疏水平参数；源域人脸集中样本类别序号为i＝1，2，3，…C，C为源域人脸集中样本类别数目；D_i为源域词典中第i类样本的子词典。

步骤S12：为了使结构化的源域词典能够区分源域人脸集中的每一类样本，构建源域词典中的每个子词典与源域人脸集中对应的第i类样本的重构能力约束项和区分性约束项模型；所述构建所述约束项模型的步骤包括如下：

步骤S121：每个子词典D_i对对应的源域人脸集中的第i类样本集Y_i ^S应该有良好的重构能力的约束项，这项约束项可表示为：所述良好的区分性是约束项r(D_i)越小区分性越好；

步骤S122：第i类样本的子词典D_i对源域人脸集中每类样本集具有良好的区分性约束项r(D_i)表示为：所述良好的重构能力是重构误差越小重构能力越好；

步骤S13：结合最小化目标函数、重构能力约束项和区分性约束项，构建新目标函数并如下表示：

$\underset{D,X_S}{\min }J={\left|\right|Y_S-{\mathrm{DX}}_S\left|\right|}_F^2+\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\{{\left|\right|Y_i^S-D_i{X}_{i,i}^S\left|\right|}_F^2+\mathrm{\αr}\left(D_i\right)\}---\left(2\right)$

所述为第i类样本集Y_i ^S对应子词典D_i的稀疏编码系数矩阵，是重构误差，为第j类样本集对应子词典D_i的稀疏编码系数矩阵，源域人脸集中除第i类以外的其他样本类别的序号j＝1，2，3，…C，α为正的惩罚参数；

步骤S14：通过对源域词典及其稀疏编码系数矩阵迭代更新来求解新目标函数，训练出源域词典中每个子词典。

其中，求解所述源域词典及其稀疏编码系数矩阵的步骤包括：

步骤S141：首先，假设源域词典D的取值一定，则将新目标函数简化为标准的稀疏编码问题。最优解可以通过多种成熟的追踪算法对标准的稀疏编码求解，得到最优解的稀疏编码系数矩阵表示X_S，所述追踪算法为匹配追踪(MP)算法和正交匹配追踪(OMP)算法。

步骤S142：设定稀疏编码系数矩阵X_S的取值，将第i类样本的则每个子词典D_i可以依据以下的子问题依次更新：

$\underset{D_i}{\min }{J}_0={\left|\right|Y_i^S-D_i{X}_{i,i}^S\left|\right|}_F^2+\mathrm{\αr}\left(D_i\right)---\left(3\right)$

通过令目标函数J₀对于源域词典中第i类样本的子词典D_i的一阶导数为零，可以得到源域词典中第i类样本的子词典D_i的闭集解；按照以上的步骤迭代更新源域词典和稀疏编码系数矩阵{D，X_S}，当迭代次数达到预设迭代次数T₀时，迭代终止。所学习得到词典D即为结构化的源域词典。

步骤S2：通过递增地减少源域词典D₀在目标域人脸集上的重构误差，逐渐地将源域词典转移到目标域，同时学习目标域词典D_k和多个中间域词典{D⁽¹⁾，D⁽²⁾，D⁽³⁾，...D^(k-1)}；其中，所述学习目标域词典和多个中间域词典D^(k+1)的具体训练步骤为：

步骤S21：依据稀疏表示的原则，通过最小化第k个中间域词典D^(k)在目标域人脸集集Y_t上的重构误差来求解第k个稀疏编码系数矩阵X_t ^(k)，对稀疏编码系数矩阵X_t ^(k)进行优化的目标函数表示为：

$X_t^{\left(k\right)}=\underset{X_t}{\min }{\left|\right|Y_t-D^{\left(k\right)}{X}_t\left|\right|}_F^2,s.t.\∀l,{\left|\right|x_l^t\left|\right|}_0\≤T_0---\left(4\right)$

公式中，D^(k)为给定的第k个中间域词典，k为中间域词典的序号；X_t为待求解的稀疏编码系数矩阵；为稀疏编码系数阵X_t的第l列，l为稀疏编码系数阵X_t的列的序号；以上优化目标可以通过多种成熟的追踪算法求解，例如匹配追踪(MP)和正交匹配追踪(OMP)算法。

步骤S22：将稀疏编码系数矩阵X_t ^(k)写做X_t ^(k)＝{X₁ ^t(k)，X₂ ^t(k)，...，X_C ^t(k)}，其中X_t ^t(k)为目标域人脸集Y_t对第i类样本的子词典D_t ^(k)的稀疏编码系数矩阵，那么重构误差可以分解为：

$\begin{array}{c}{\left|\right|Y_t-D^{\left(k\right)}{X_t}^{\left(k\right)}\left|\right|}_F^2={\left|\right|Y_t-\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{D_j}^{\left(k\right)}{X_j}^{t\left(k\right)}\left|\right|}_F^2\\ ={\left|\right|(Y_t-\underset{j\≠i}{\mathrm{\Σ}}{D_j}^{\left(k\right)}{X_j}^{t\left(k\right)})-{D_i}^{\left(k\right)}{X_i}^{t\left(k\right)}\left|\right|}_F^2\\ ={\left|\right|E_i-{D_i}^{\left(k\right)}{X_i}^{t\left(k\right)}\left|\right|}_F^2.\end{array}---\left(5\right)$

其中，E_i表示去除子词典D_i ^(k)后，目标域人脸集Y_t在中间域词典D^(k)上的重构误差。X_j ^t(k)为目标域人脸集Y_t对第j类样本的子词典D_j ^(k)的稀疏编码系数矩阵；为了最小化重构误差E_t，我们优化子词典D_i ^(k)使得它能最好的拟合当前的残余重构误差E_i，同时，为了惩罚相邻中间域词典间的突变，我们限制相邻词典的增量ΔD_i ^(k)＝D_i ^(k+1)-D_i ^(k)要小，D_i ^(k+1)为子词典D_i ^(k)的更新值；最终优化目标函数表示为：

$\underset{{D_i}^{(k+1)}}{\min }{\left|\right|E_i-{D_i}^{(k+1)}{X_i}^{t\left(k\right)}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|{D_i}^{(k+1)}-{D_i}^{\left(k\right)}\left|\right|}_F^2,$ 其中，λ为正的惩罚参数；

步骤S23：为了求解以上的目标函数，首先定义ω_i为目标域人脸集Y_t中使用子词典D_i ^(k)作为重构元素的样本索引集ω_i＝{l|1≤l≤N_t，即在重构稀疏编码系数矩阵中对应列有非零元素的列索引集；其N_t为目标域数据集的样本总数，X_t ^t(k)为目标域人脸集Y_t对子词典D_i ^(k)的稀疏编码系数矩阵，l为稀疏编码系数矩阵的列的序号。设Ω_i为N_t×|ω_i|大小的收缩矩阵，且收缩矩阵Ω_i中坐标为(ω_i(l)，l)的元素的值Ω_i(ω_i(l)，l)＝1，收缩矩阵Ω_i中其余值为0；定义稀疏编码系数矩阵X_i ^t(k)的收缩矩阵为目标域人脸集Y_t的收缩矩阵为重构误差E_i的收缩矩阵为则以上的优化目标函数J₁等价于：

步骤S24：我们迭代更新值D_i ^(k+1)和来求解以上的目标函数J₁。给定通过令目标函数J₁对于参数D_i ^(k+1)的一阶导数为零来求解D_i ^(k+1)；给定D_i ^(k+1)，通过令目标函数J₁对于参数的一阶导数为零来求解的更新值利用以上的训练框架来迭代更新参数学习得到多个中间域词典迭代更新算法得到的最后一个词典定义为目标域词典D_K；其中：K为学习目标域词典和多个中间域词典的总数，K-1为中间域词典的个数，k为中间域词典的序号，k＝1，2，3，...K-1。

步骤S3：计算源域人脸集的人脸图像在源域词典上的源域图像人脸编码，分别对源域图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到源域人脸图像的源域重构图像、目标域重构图像和中间域重构图像；将源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征；计算目标域人脸集的人脸图像在目标域词典上的目标域图像人脸编码，分别对目标域图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到目标域人脸图像的源域重构图像、目标域重构图像和中间域重构图像，将源域重构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征；

其中，对源域人脸图像y_s在源域词典D₀上的稀疏编码系数矩阵为x_s、源域词典D₀、目标域词典和D_K多个中间域词典分别进行计算，得到源域人脸图像的源域重构图像(D₀x_s)^T、目标域重构图像(D_Kx_s)^T和中间域重构图像序列{(D⁽¹⁾x_s)^T，...，(D^(K-1)x_s)^T}；将源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征目标域人脸图像y_t在目标域词典D_K上的稀疏编码系数矩阵为x_t；稀疏编码系数矩阵x_t与源域词典D₀、目标域词典D_K和多个中间域词典分别计算，得到目标域人脸图像的源域重构图像(D₀x_t)^T、目标域重构图像(D_Kx_t)^T和中间域重构图像序列{(D⁽¹⁾x_t)^T，...，(D^(K-1)x_t)^T}；将源域重构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征

由于域共享特征的维数较高，利用主成分分析算法对域共享特征进行降维；主成分分析中主成分的维数通过保留域共享特征的98％的数据能量来确定。

步骤S4：根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。

其中，获得目标域人脸图像的类别的步骤如下：

步骤S41：源域人脸集中人脸图像的域共享特征表示为以源域人脸集中第i类样本的域共享特征集Y_i ^S作为正样本，以源域人脸集中除第i类样本以外的所有其他类的样本集Y_j ^S(j≠i)作为负样本，训练出代表第i类样本的的支持向量机(SVM)模型γ_i。

步骤S42：将目标域人脸图像的域共享特征y^t输入源域人脸集的所有类别的支持向量机(SVM)模型γ_i计算，得到目标域人脸图像与源域人脸集的所有类别的支持向量机对应的模型匹配分数Score_i。取得分数最高的SVM模型对应的子类类别定义为目标域人脸图像的类别identity(y^t)表示如下：

所有的模型匹配分数Score_i中的最大值。

相对于目前流行的交叉视角人脸识别方法，本发明所提出的基于结构化词典域转移的交叉视角人脸识别方法为交叉域的数据集之间构建了一条平稳的虚拟内插路径，基于该路径的域共享特征表示能有效地减小不同域人脸图像之间的差异，达到较好的识别性能。我们在CMU-PIE人脸数据库上进行了测试，实验中采用正面视角作为源域数据集，多种侧面视角作为目标域数据集。本发明提出的方法相较目前性能最好的基于内插路径的方法识别率有较大的提高。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (10)

1.一种基于结构化词典域转移的交叉视角人脸识别方法，特征在于，该方法包括以下步骤：

步骤S1：根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练出每个对样本类别有区分性的子词典；所有类的子词典串接在一起，构成结构化的源域词典；

步骤S2：通过递增地减少源域词典在目标域人脸集上的重构误差，逐渐地将源域词典转移到目标域，同时学习目标域词典和多个中间域词典；

步骤S3：计算源域人脸集的人脸图像在源域词典上的源域图像人脸编码，对源域图像人脸编码、源域词典、目标域词典和多个中间域词典分别计算，得到源域人脸图像的源域重构图像、目标域重构图像和中间域重构图像；将源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征；

计算目标域人脸集的人脸图像在目标域词典上的目标域图像人脸编码，分别对目标域图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到目标域人脸图像的源域重构图像、目标域重构图像和中间域重构图像，将源域重构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征；

步骤S4：根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。

2.根据权利要求1所述的交叉视角人脸识别方法，其特征在于，训练出源域词典中每个对样本类别有区分性的子词典的步骤如下：

步骤S11：为了使源域词典能有效的构建源域人脸集模型，将源域词典在源域人脸集上的重构误差进行最小化并构建出最小化目标函数：

步骤S12：为了使结构化的源域词典能够区分源域人脸集中的每一类样本，构建源域词典中的每个子词典与源域人脸集中对应的第i类样本的重构能力约束项和区分性约束项模型；

步骤S13：结合最小化目标函数、重构能力约束项和区分性约束项，构建新目标函数；

步骤S14：通过对源域词典及其稀疏编码系数矩阵迭代更新来求解新目标函数，训练出源域词典中每个子词典。

3.根据权利要求2所述的交叉视角人脸识别方法，其特征在于，所述最小化目标函数表示为：

$\underset{D,X_S}{\min }{E}_S={\left|\right|Y_S-D{X}_S\left|\right|}_F^2,s.t.\∀l,{\left|\right|x_l^s\left|\right|}_0\≤T_0,$

其中，E_S为源域词典在源域人脸集上的重构误差，X_S为源域人脸集Y_S在所有类的子词典串接构成的结构化的源域词典D上的稀疏编码系数矩阵，s.t表示优化条件；为稀疏编码系数矩阵X_S的第l列，l为稀疏编码系数矩阵X_S的列的序号；‖.‖₀表示l⁰范数为统计向量中的非零元素个数；T₀是稀疏编码的稀疏水平参数；i为源域人脸集中样本类别序号，C为源域人脸集中样本类别数目；D_i为源域词典中第i类样本的子词典。

4.根据权利要求2所述的交叉视角人脸识别方法，其特征在于，构建所述约束项模型的步骤包括如下：

步骤S121：每个子词典对源域人脸集中的第i类样本集具有良好的重构能力的约束项表示为：所述良好的重构能力是重构误差越小重构能力越好；

步骤S122：第i类样本的子词典对源域人脸集中每类样本集具有良的子词典，为第i类样本集对应子词典D_i的稀疏编码系数矩阵，是重构误差，i为源域人脸集中样本类别序号，C为源域人脸集中样本类别数目；为第j类样本集对应子词典D_i的稀疏编码系数矩阵。

5.根据权利要求2所述的交叉视角人脸识别方法，其特征在于，所述构建新的目标函数J表示为：

$\underset{D,X_S}{\min }J={\left|\right|Y_S-D{X}_S\left|\right|}_F^2+\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\{{\left|\right|{Y_i}^S-D_i{X}_{i,i}^S\left|\right|}_F^2+\mathrm{\αr}\left(D_i\right)\},$

其中，X_S为源域人脸集Y_S在所有类的子词典串接构成的结构化的源域词典D上的稀疏编码系数矩阵，Y_i ^S为第i类样本集，D_i为源域人脸集中第i类样本的子词典，为第i类样本集Y_i ^S对应子词典D_i的稀疏编码系数矩阵，r(D_i)表示为子词典D_i对源域人脸集中每类样本集的区分性约束项，α为正的惩罚参数，表示F2范数；i为源域人脸集中样本类别序号，C为源域人脸集中样本类别数目。

6.根据权利要求2所述的交叉视角人脸识别方法，其特征在于，求解所述源域词典及其稀疏编码系数矩阵的步骤包括：

步骤S141：设定源域词典的取值，将新目标函数简化为标准的稀疏编码问题；利用追踪算法对标准的稀疏编码进行求解，得到最优解的稀疏编码系数矩阵；所述追踪算法为匹配追踪或正交匹配追踪算法；

步骤S142：设定稀疏编码系数矩阵X_S的取值，将第i类样本的子词典依据以下的子问题依次更新：

$\underset{D_i}{\min }{J}_0={\left|\right|{Y_i}^S-D_i{X}_{i,i}^S\left|\right|}_F^2+\mathrm{\αr}\left(D_i\right),$

通过令新目标函数J₀对于源域词典中第i类样本的子词典D_i的一阶导数为零，得到源域词典中第i类样本的子词典D_i的闭集解；迭代更新源域词典和稀疏编码系数矩阵；当迭代次数达到预设迭代次数T₀时，迭代终止；其中为第i类样本集Y_i ^S对应子词典D_i的稀疏编码系数矩阵；r(D_i)表示子词典D_i对源域人脸集中每类样本集的区分性约束项，α为正的惩罚参数。

7.根据权利要求1所述的交叉视角人脸识别方法，其特征在于，所述学习目标域词典和多个中间域词典的具体步骤为：

步骤S21：依据稀疏表示的原则，通过最小化第k个中间域词典在目标域人脸集Y_t上的重构误差来求解第k个稀疏编码系数矩阵X_t ^(k)，对稀疏编码系数矩阵X_t ^(k)进行优化的目标函数表示为：

${X_t}^{\left(k\right)}=\underset{X_t}{\min }{\left|\right|Y_t-D^{\left(k\right)}{X}_t\left|\right|}_F^2,s.t.\∀l,{\left|\right|x_l^t\left|\right|}_0\≤T_0;$

其中，D^(k)为给定的第k个中间域词典，k为中间域词典的序号；X_t为待求解的稀疏编码系数矩阵；s.t表示优化条件；l为稀疏编码系数矩阵X_t的列的序号；为稀疏编码系数矩阵X_t的第l列；‖.‖₀表示l⁰范数，统计向量中的非零元素个数；T₀是稀疏编码的稀疏水平参数；以上优化目标通过追踪算法求解；

步骤S22：将稀疏编码系数矩阵X_t ^(k)写做X_t ^(k)＝{X₁ ^t(k)，X₂ ^t(k)，...，X_C ^t(k)}，其中X_i ^t(k)为目标域人脸集Y_t对第i类样本的子词典D_i ^(k)的稀疏编码系数矩阵，那么重构误差可以分解为：

$\begin{array}{c}{\left|\right|Y_t-D^{\left(k\right)}{X_t}^{\left(k\right)}\left|\right|}_F^2={\left|\right|Y_t-\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{D_j}^{\left(k\right)}{X_i}^{t\left(k\right)}\left|\right|}_F^2\\ ={\left|\right|(Y_t-\underset{j\≠i}{\mathrm{\Σ}}{D_j}^{\left(k\right)}{X_j}^{t\left(k\right)})-{D_i}^{\left(k\right)}{X_i}^{t\left(k\right)}\left|\right|}_F^2\\ ={\left|\right|E_i-{D_i}^{\left(k\right)}{X_i}^{t\left(k\right)}\left|\right|}_F^2.\end{array}$

其中，E_i表示去除子词典D_i ^(k)后，目标域人脸集Y_t在中间域词典D^(k)上的重构误差；X_j ^t(k)为目标域人脸集Y_t对第j类样本的子词典D_j ^(k)的稀疏编码系数矩阵；j≠i；为了最小化重构误差E_t，优化子词典D_i ^(k)使得它能拟合当前的残余重构误差E_i，同时，为了惩罚相邻的中间域词典间的突变，限制相邻词典的增量ΔD_i ^(k)＝D_i ^(k+1)-D_i ^(k)要小，D_i ^(k+1)为子词典D_i ^(k)的更新值；最终，优化目标函数表示为：

$\underset{{D_i}^{(k+1)}}{\min }{\left|\right|E_i-{D_i}^{(k+1)}{X_i}^{t\left(k\right)}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|{D_i}^{(k+1)}-{D_i}^{\left(k\right)}\left|\right|}_F^2;$ 其中，λ为正的惩罚参数；

步骤S23：假设ω_i为目标域人脸集Y_t中使用子词典D_i ^(k)作为重构元素的样本的序号索引集其中，N_t为目标域人脸集的样本总数，X_i ^t(k)为目标域人脸集Y_t对子词典D_i ^(k)的稀疏编码系数矩阵，l为X_i ^t(k)的列的序号，设Ω_i为N_t×|ω_i|大小的收缩矩阵，且收缩矩阵Ω_i中坐标为(ω_i(l)，l)的元素的值Ω_i(ω_i(l)，l)＝1，收缩矩阵Ω_i中其余值为0；定义稀疏编码系数矩阵X_i ^t(k)的收缩矩阵为目标域人脸集Y_t的收缩矩阵为重构误差E_i的收缩矩阵为则步骤S22中的优化目标函数J₁等价于：

步骤S24：通过对D_i ^(k+1)和迭代更新来求解目标函数J₁；给定通过令目标函数J₁对于参数D_i ^(k+1)的一阶导数为零来求解D_i ^(k+1)；给定D_i ^(k+1)，通过令目标函数J₁对于参数的一阶导数为零求来求解的更新值迭代更新参数当相邻词典的增量ΔD_i ^(k)小于某一预设阈值T1时，迭代操作终止，学习得到多个中间域词典迭代更新算法得到的最后一个词典定义为目标域词典D_K；其中K为学习目标域词典和多个中间域词典的总数，K-1为中间域词典的个数，k为中间域词典的序号。

8.根据权利要求1所述的交叉视角人脸识别方法，其特征在于，对源域人脸图像y_s在源域词典上的稀疏编码系数矩阵为x_s、源域词典D₀、目标域词典D_K和多个中间域词典分别进行计算，得到源域人脸图像的源域重构图像(D₀x_s)^T、目标域重构图像(D_Kx_s)^T和中间域重构图像序列{(D⁽¹⁾x_s)^T，...，(D^(K-1)x_s)^T}；将源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征目标域人脸图像y_t在目标域域词典D_K上的稀疏编码系数矩阵为x_t；稀疏编码系数矩阵x_t与源域词典D₀、目标域词典D_K和多个中间域词典分别计算，得到目标域人脸图像的源域重构图像(D₀x_t)^T、目标域重构图像(D_Kx_t)^T和中间域重构图像序列{(D⁽¹⁾x_t)^T，...，(D^(K-1)x_t)^T}；将源域重构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征其中，T表示矩阵的转置；K为学习目标域词典和多个中间域词典的总数，K-1为中间域词典的个数，k为中间域词典的序号。

9.根据权利要求8所述的交叉视角人脸识别方法，其特征在于，由于域共享特征的维数较高，利用主成分分析算法对域共享特征进行降维；主成分分析中主成分的维数通过保留域共享特征的98％的数据能量来确定。

10.根据权利要求1所述的交叉视角人脸识别方法，其特征在于，获得目标域人脸图像的类别的具体步骤如下：

步骤S41：源域人脸集中人脸图像的域共享特征表示为以源域人脸集中第i类样本的域共享特征集Y_i ^S作为正样本，以源域人脸集中除第i类样本以外的所有其他类别的样本集Y_j ^S(j≠i)作为负样本，训练出代表第i类样本的支持向量机模型γ_i；

步骤S42：将目标域人脸图像的域共享特征y^t输入源域人脸集的所有类别的支持向量机模型γ_i中计算，得到目标域人脸图像与源域人脸集的所有类别的支持向量机模型的匹配分数Score_i；取得分数最高的支持向量机模型对应的子类类别定义为目标域人脸图像的类别identity(y^t)：

其中，Y_i ^S表示源域人脸集中第i类样本的域共享特征集，i为源域人脸集中样本类别的序号，C表示源域人脸集中的样本类别数；j为源域人脸集中除第i类以外的其他类别的序号；表示所有的模型匹配分数Score_i中的最大值。