CN103854015B - 基于联合稀疏描述的多姿态三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于联合稀疏描述的多姿态三维人脸识别方法，用于解决现有多姿态三维人脸识别方法鲁棒性差的技术问题。技术方案是对数据库中每一个三维人脸数据的全部顶点顺次排列，作为列向量构建三维空间联合字典。然后，对给定测试个体的多个视角观测值，将其按列排序，合并为一个矩阵，用关于三维空间联合字典的系数矩阵进行稀疏性描述，并通过构建联合稀疏性约束来实现对多姿态观测数据的稀疏联合求解。最后，基于重建出的稀疏描述矩阵，通过构建一个强制置零函数，对所有多姿态数据合并重建残差，并通过计算残差最小的方法确定测试数据所属的类别。经测试，对姿态变化较大的三维人脸数据，识别率由背景技术的89.8%提高到93.4%。

Description

基于联合稀疏描述的多姿态三维人脸识别方法

技术领域

本发明涉及一种多姿态三维人脸识别方法，特别涉及一种基于联合稀疏描述的多姿态三维人脸识别方法。

背景技术

在三维人脸识别的实际应用过程中，由于人脸姿态的变化，容易导致获取的三维数据存在遮挡和数据缺失，因此会造成数据的不可靠性。基于多姿态数据的三维人脸识别能够克服单个姿态数据受遮挡或数据缺失影响，提高识别系统对人脸姿态变化的鲁棒性。

文献“Ishimoto M,Yenwei Chen.Pose-robust face recognition based on3Dshape reconstruction.In:Proceedings of ICNC2009,pp.40-43.”公开了一种多姿态三维人脸识别方法。该方法利用三维重建方法将多个不同姿态的二维人脸数据重建出三维人脸形状模型，辅助完成人脸识别。首先，选取反映整体信息的不同姿态人脸数据，基于三维重建的方法重建出三维人脸形状模型；然后，基于构造出的三维人脸形状模型，通过投影技术获取到新的姿态变化下的人脸数据；最后，基于构建出的多姿态人脸数据完成人脸识别。但是，该方法存在以下问题：首先，该方法中重建出的三维人脸形状模型受二维人脸数据质量的影响较大；其次，采用投影技术获取到的多姿态人脸数据虽然能够反映相应姿态变化下的人脸信息，但是由于获得的多姿态人脸数据均由同一三维人脸形状模型投影产生，彼此相关性非常高，对实际应用中的人脸姿态变化鲁棒性较差。对姿态变化较小三维人脸数据，识别率为92.9%，对于姿态变化较大的三维人脸数据，识别率为89.8%。

发明内容

为了克服现有多姿态三维人脸识别方法鲁棒性差的不足，本发明提供一种基于联合稀疏描述的多姿态三维人脸识别方法。该方法对数据库中的每一个三维人脸数据的全部顶点顺次排列，作为列向量，由此构建三维空间联合字典。然后，对给定测试个体的多个视角观测值，将其按列排序，合并为一个矩阵，用关于三维空间联合字典的系数矩阵进行稀疏性描述，并通过构建联合稀疏性约束来实现对多姿态观测数据的稀疏联合求解。最后，基于重建出的稀疏描述矩阵，通过构建一个强制置零函数，对所有多姿态数据合并重建残差，并通过计算残差最小的方法确定测试数据所属的类别。由于本发明采用联合稀疏描述的思路进行多姿态三维人脸识别，基于多姿态观测值组成的集合来进行人脸分类，能够利用获取到的所有姿态变化观测值的相互关系，避免单独对待每一个观测值时所潜在的错误判别风险，从而提高对姿态变化的鲁棒性，实现了对多姿态三维人脸的识别。

本发明解决其技术问题所采用的技术方案是：一种基于联合稀疏描述的多姿态三维人脸识别方法，其特点是包括以下步骤：

第一步、给定一个三维人脸数据，将全部顶点顺次排列描述网格的拓扑连接结构，作为类字典的列向量。三维人脸数据的每一个顶点都包含三个参数，列向量的每一个元素近似一个结构体，由三个分量组成。

给定同属于类别i的Sⁱ个训练人脸数据，i＝1,2,...,C，表示在数据库中共有C个不同类别的人脸数据；由这些数据构建的类字典记为Aⁱ，表示为：其中表示属于类别i的第j个训练人脸数据的向量表示，j＝1,2,...,Sⁱ。

整个训练集的超完备字典A由C个类别的共计S个训练样本的线性组合来构建，其表达式为：

式中，是训练样本的总数。A即为所构建的三维空间联合字典。

第二步、给定一个测试个体的M个不同视角观测值y₁,y₂,...,y_M，将其按列排序，合并为一个单视角矩阵，记为Y=[y₁,y₂,...,y_M]，采用关于三维空间联合字典A的系数矩阵α=[α₁,α₂,...,α_M]来进行稀疏性描述。其稀疏描述问题表示如下：

式中，K是稀疏性级别，描述了字典中有效数据元素的个数。

对向量的描述采用建立联合稀疏性约束，在该约束中，多维稀疏性描述向量有着同样的稀疏性类型。多姿态观测样本的稀疏性描述通过对如下的最优化问题的联合求解重建得出。

式中，表示Frobenius范数。是复合范数表达式，其含义为首先对α的每一行进行l₂范数求解，然后再对结果向量进行l₀范数求解。

第三步、在重建出稀疏描述矩阵后，基于对同一个测试个体的所有视角观测值Y合并重建残差。具体公式为：

式中，作为一个矩阵操作符，能够保留中与第i类所对应的系数值，而将其他值强制置零。采用Frobenius范数||·||_F合并所有视图的重建误差。

本发明的有益效果是：该方法对数据库中的每一个三维人脸数据的全部顶点顺次排列，作为列向量，由此构建三维空间联合字典。然后，对给定测试个体的多个视角观测值，将其按列排序，合并为一个矩阵，用关于三维空间联合字典的系数矩阵进行稀疏性描述，并通过构建联合稀疏性约束来实现对多姿态观测数据的稀疏联合求解。最后，基于重建出的稀疏描述矩阵，通过构建一个强制置零函数，对所有多姿态数据合并重建残差，并通过计算残差最小的方法确定测试数据所属的类别。由于本发明采用联合稀疏描述的思路进行多姿态三维人脸识别，基于多姿态观测值组成的集合来进行人脸分类，能够利用获取到的所有姿态变化观测值的相互关系，避免单独对待每一个观测值时所潜在的错误判别风险，从而提高对姿态变化的鲁棒性，实现了对多姿态三维人脸的识别。经测试，对正面姿态三维人脸数据的识别率达到97.2%，对姿态变化较小三维人脸数据，识别率达到95.8%，高于文献方法的92.9%，对于姿态变化较大的三维人脸数据，本发明具有显著的优越性，识别率达到93.4%，远远高于文献方法的识别率89.8%。

以下结合具体实施方式详细说明本发明。

具体实施方式

1三维空间联合字典构建。

给定一个三维人脸数据，将全部顶点顺次排列描述网格的拓扑连接结构，作为类字典的列向量。由于三维人脸数据的每一个顶点都包含三个参数，因此列向量的每一个元素近似一个结构体，由三个分量组成。

给定同属于类别i的Sⁱ个训练人脸数据（i＝1,2,...,C，表示在数据库中共有C个不同类别的人脸数据），由这些数据构建的类字典记为Aⁱ，表示为：其中表示属于类别i的第j个训练人脸数据的向量表示，j＝1,2,...,Sⁱ。

整个训练集的超完备字典A可以由C个类别的共计S个训练样本的线性组合来构建，其表达式为：

其中，是训练样本的总数。A即为所构建的三维空间联合字典。

2联合稀疏描述模型构建。

给定一个测试个体的M个不同视角观测值y₁,y₂,...,y_M，将其按列排序，合并为一个单视角矩阵，记为Y=[y₁,y₂,...,y_M]，采用关于三维空间联合字典A的系数矩阵α=[α₁,α₂,...,α_M]来进行稀疏性描述。其稀疏描述问题表示如下：

其中K是稀疏性级别，描述了字典中有效数据元素的个数。

为了联合获取到的所有视角图像的信息来进行识别，本发明建立了一种联合稀疏性约束，来用于对向量的描述。在该约束中，多维稀疏性描述向量有着同样的稀疏性类型，换句话说，就是对每一个视角，选择同样的训练样本集对其进行描述，而对于同样训练样本集的系数向量值有可能不同。在该约束下，多姿态观测样本的稀疏性描述能够通过对如下的最优化问题的联合求解重建得出。

式中表示Frobenius范数。是复合范数表达式，其含义为首先对α的每一行进行l₂范数求解，然后再对结果向量进行l₀范数求解。

3残差类别判定。

在重建出稀疏描述矩阵后，基于对同一个测试个体的所有视角观测值Y合并重建残差。具体公式为：

式中，作为一个矩阵操作符，能够保留中与第i类所对应的系数值，而将其他值强制置零。采用Frobenius范数||·||_F合并所有视图的重建误差。

Claims (1)

1.一种基于联合稀疏描述的多姿态三维人脸识别方法，包括以下步骤：

第一步、给定一个三维人脸数据，将全部顶点顺次排列描述网格的拓扑连接结构，作为类字典的列向量；

给定同属于类别i的Sⁱ个训练人脸数据，i＝1,2,...,C，表示在数据库中共有C个不同类别的人脸数据；由这些数据构建的类字典记为Aⁱ，表示为：其中表示属于类别i的第j个训练人脸数据的向量表示，j＝1,2,...,Sⁱ；

整个训练集的超完备字典A由C个类别的共计S个训练样本的线性组合来构建，所构建的三维空间联合字典的表达式为：

$A=\[A^1,A^2,...,A^C\]=\[V_1^i,V_2^i,...,V_{S^i}^i,...,V_S^C\]---\left(1\right)$

式中，是训练样本的总数；

第二步、给定一个测试个体的M个不同视角观测值y₁,y₂,...,y_M，将其按列排序，合并为一个单视角矩阵，记为Y＝[y₁,y₂,...,y_M]，采用关于三维空间联合字典A的系数矩阵α＝[α₁,α₂,...,α_M]来进行稀疏性描述；

第三步、在重建出稀疏描述矩阵后，基于对同一个测试个体的所有视角观测值Y合并重建残差；

其特征在于还包括以下数学优化算法：在第二步所述的三维空间联合字典A的系数矩阵α＝[α₁,α₂,...,α_M]来进行稀疏性描述中，其稀疏描述问题表示如下：

$\begin{array}{cc}{\left\{{\widehat{\mathrm{\α}}}_x\right\}}_{x=1}^M=\arg \underset{\left\{{\mathrm{\α}}_x\right\}}{\min }\underset{x=1}{\overset{M}{\Σ}}\left|\right|y_x-{\mathrm{A\α}}_x|{|}_2^2& s.t.\left|\right|{\mathrm{\α}}_x|{|}_0\≤K,\∀1\≤x\≤M.\end{array}---\left(2\right)$

式中，K是稀疏性级别；

对向量的描述采用建立联合稀疏性约束，在该约束中，多维稀疏性描述向量有着同样的稀疏性类型；多姿态观测样本的稀疏性描述通过对如下的最优化问题的联合求解重建得出；

式中,表示Frobenius范数；是复合范数表达式，其含义为首先对α的每一行进行l₂范数求解，然后再对结果向量进行l₀范数求解；

在第三步，所述的基于对同一个测试个体的所有视角观测值Y合并重建残差，具体公式为：

$\hat{i}=\arg \underset{i}{min}\left|\right|Y-{\mathrm{A\δ}}^i\left(\widehat{\mathrm{\α}}\right)|{|}_F^2---\left(4\right)$

式中，作为一个矩阵操作符，能够保留中与第i类所对应的系数值，而将其他值强制置零；采用Frobenius范数||·||_F合并所有视图的重建误差。