CN101916367A - 三维人脸本征属性描述方法 - Google Patents

Abstract

本发明公开了一种三维人脸本征属性描述方法，用于解决现有的三维人脸本征属性描述方法算法复杂的技术问题。该方法对基于二次误差测度的模型简化方法进行分析并改进，使其能够在保持人脸五官区域特性的前提下最大限度的简化模型；采用基于特征约束的保形同构映射网格参数化方法对三维网格数据在二维平面进行展开；将三维人脸表面的本征属性在二维图像平面中进行离散化表示。本发明在降低计算复杂度的同时，采用基于特征约束的保形同构映射网格参数化方法对三维网格数据在二维平面上展开，将三维空间中的匹配问题简化为二维图像的匹配问题，80％精度二维本征属性图单次识别所需时间由背景技术的0.951秒降低到0.504秒；而且多姿态人脸识别正确率达到了89.7％。

Description

三维人脸本征属性描述方法

技术领域

本发明涉及一种人脸本征属性描述方法，特别是一种三维人脸本征属性描述方法。

背景技术

三维人脸特征描述是三维人脸配准及识别的关键技术，有效简洁的特征是准确快速识别的前提。特征提取的基本任务是研究如何从众多特征中求出那些对分类识别最有效的特征，从而实现特征空间维数的压缩。特征的有用性与特征提取、配准，以及人脸识别的具体算法密切相关。

文献“S.Berretti，D.B.Alberto，P.Pietro.Analysis and retrieval of 3D facial modelsusing iso-geodesic stripes.International workshop on Content-based multimedia indexing，June 18-20，2008.pp：257-264.”公开了一种三维人脸本征属性描述方法。该方法通过提取三维人脸形状模型中的等测地距条纹组来对人脸的本征属性进行分析与描述。首先，对人脸形状模型中不同的等测地距区域进行划分；然后，通过建模技术对等测地距条纹进行数学表达，同时，对不同等测地距条纹间的距离进行等量的测量，分析不同间距等测地距条纹所表达的三维形状；最后，通过一个属性关系图来提取人脸的本征属性。但是，该方法存在以下问题：首先，该方法要求人脸模型成正面标准姿态，不允许有姿态的变化，无法进行多姿态人脸的自动识别；其次，采用局部属性特征对人脸进行本征描述不能保证全局属性的最优；再次，该方法在三维空间对人脸表面进行描述，算法复杂度较高，80％精度二维本征属性图单次识别所需时间为0.951秒。

发明内容

为了克服现有的三维人脸本征属性描述方法对模型姿态要求高、三维空间计算复杂度大的不足，本发明提供一种三维人脸本征属性描述方法。该方法采用改进的QEM方法对三维人脸模型进行五官区域特征保持的模型简化，能够最大限度的简化三维模型，从而降低计算复杂度；采用基于特征约束的保形同构映射网格参数化方法对三维网格数据在二维平面上进行展开，将三维空间中的匹配问题简化为二维图像的匹配问题，可以降低80％精度二维本征属性图单次识别的时间；而且可以对多姿态人脸进行识别。

本发明解决其技术问题所采用的技术方案：一种三维人脸本征属性描述方法，其特点是包括下述步骤：

(a)对高精度三维人脸模型S进行简化，即对三维人脸模型中的每个顶点，根据特征保持的模型顶点误差度量算法计算其收缩代价：

Δ′V＝ΔV*weight

式中，ΔV是QEM算法的误差测度；weight是收缩代价加权值；

若S＝＝φ或简化到指定结束条件，算法结束；

取出顶点v_mincost，collapse(v_from，v_to)；

如果边折叠后v_to的相邻三角面存在重叠，对于重叠三角形上的每一个顶点，若其相邻面全部都是重叠三角形，那么将其作为一个候选删除点；

在所有的候选删除点中，选择邻接面数最少的一个顶点，作为当前边折叠的v_from，选择v_from的任意一个相邻顶点作为v_to，collapse(v_from，v_to)；

其中，v_from及v_to分别表示半边收缩操作中被删除和被保留的顶点；collapse(v₁，v₂)表示对v1、v2顶点进行半边收缩操作；v_mincost表示当前模型中半边收缩代价最小的顶点；s表示三角网格模型；φ表示没有任何顶点和面片的空模型；

(b)假设S′为由三维空间中的1-ring邻域构成的简单网格，D′为S′的二维保形结构；如果映射边界固定，二维1-ring形变仅与中心节点n_i相关；Dirichlet能量函数为：

$E_A=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\cot {\mathrm{\α}}_{\mathrm{ij}}{|n_i-n_j|}^2$

式中，|n_i-n_j|表示D′中边(i，j)的边长，N(i)为节点i的1-ring邻接点，α_ij为夹角；

令

则有：

$\frac{\∂E}{{\∂n}_i}=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}(\cot {\mathrm{\α}}_{\mathrm{ij}}+\cot {\mathrm{\β}}_{\mathrm{ij}})(n_i-n_j)=0$

对于整个人脸表面，由上式推导出：

BD＝0

式中，D是平面域的二维坐标向量，B是一个稀疏矩阵，表示为：

$B_{i,j}=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{i,j}\right)+\cot \left({\mathrm{\β}}_{i,j}\right)& \mathrm{ifj}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{B}_{i,k}& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.$

给定映射边界和相应的特征约束点，得到对应的二维平面展开：

$\tilde{B}D=\left[\begin{array}{c}B\\ \begin{array}{cc}0& I\end{array}\end{array}\right]\left[\begin{array}{c}{D}_{\mathrm{free}}\\ D_{\mathrm{spec}}\end{array}\right]=\left[\begin{array}{c}0\\ C_{\mathrm{spec}}\end{array}\right]$

D被分解为自由点集D_free和指定点集D_spec两部分，该稀疏线性系统能够通过广义极小残差算法有效求解；

(c)利用改进的QEM方法对原始人脸网格模型进行不同简化率的多分辨简化，得到该原始人脸网格模型的多分辨简化模型表示；分别进行20％，50％，70％简化率的网格简化，得到原始网格数据相应80％，50％以及30％精度的多分辨描述；

(d)给定两个有着圆周拓扑的表面S₁和S₂，首先通过spin-image来获取曲率变化较大顶点间的相应性，然后通过引入内部相应性作为约束，获取两表面相应的二维平面属性图；表面S₁和S₂两表面间的归一化相应性系数

以及相似性度量S(S₁，S₂)通过对相应二维平面属性图的计算获得：

$M_{S_1,S_2}=\frac{\mathrm{N\Σ}{p}_i^{S_1}{p}_i^{S_2}-\mathrm{\Σ}{p}_i^{S_1}\mathrm{\Σ}{p}_i^{S_2}}{\sqrt{(\mathrm{N\Σ}{\left(p_i^{S_1}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_1}\right)}^2)(\mathrm{N\Σ}{\left(p_i^{S_2}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_2}\right)}^2)}}$

$S(S_1,S_2)={\left(\ln \frac{1+M_{S_1,S_2}}{1-M_{S_1,S_2}}\right)}^2-\frac{1}{2N}$

式中，N是三维表面S₁和S₂二维属性图中重叠部分顶点的个数，

表示表面S_k二维属性图中顶点i的属性值，k＝1，2。

本发明的有益结果是：由于本发明采用改进的QEM方法对三维人脸模型进行五官区域特征保持的模型简化，能够最大限度的简化三维模型，从而降低了计算复杂度；采用基于特征约束的保形同构映射网格参数化方法对三维网格数据在二维平面上进行展开，将三维空间中的匹配问题简化为二维图像的匹配问题，80％精度二维本征属性图单次识别所需时间由背景技术的0.951秒降低到0.504秒；而且多姿态人脸识别正确率达到了89.7％。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

附图是本发明三维人脸本征属性描述方法的流程图。

具体实施方式

1、将高精度三维人脸模型进行基于改进QEM算法的模型简化。

基于QEM的边收缩算法，在生成高质量简化模型的同时，大大提高算法效率，是改进渐进网格算法中最常用的一种误差测度。为解决QEM算法存在重叠三角形及丢失局部细节信息的问题，必须在边收缩操作之后对重叠三角形进行消除，同时修正模型顶点的误差度量方法，使其对人脸五官区域进行最大特征保持。基于以上思想，本发明提出一种QEM改进算法，使用半边折叠操作消除简化中间模型中所存在的重叠三角形，同时建立基于曲率的自适应加权误差度量来保留模型的细节特征。具体描述如下：

消除重叠三角形问题。

(1)搜索边折叠后与v_to相邻三角面中所有的重叠三角形；

(2)若存在重叠三角形，进入步骤3，否则退出；

(3)对于重叠三角形上的每一个顶点，若其相邻面全部都是重叠三角形，那么将其作为一个候选删除点；

(4)在所有的候选删除点中，选择邻接面数最少的一个顶点，作为当前边折叠的v_from，选择v_from的任意一个相邻顶点作为v_to，collapse(v_from，v_to)；

(5)返回步骤1。

其中，v_from及v_to分别表示半边收缩操作中被删除和被保留的顶点；collapse(v₁，v₂)表示对v1、v2顶点进行半边收缩操作。

特征保持的模型顶点误差度量。

(1)计算人脸模型顶点曲率的变化范围，记作[c_min，c_max]；

(2)令：

cmaxabs＝max(|c_min|，|c_max|)    (1)

则模型顶点曲率的存在区间可记为[-cmaxabs，cmaxabs]；

(3)建立如下边收缩代价加权函数：

$\mathrm{weight}=\frac{1+4*\left|c\right|}{5*c\max \mathrm{abs}}---\left(2\right)$

由此构造特征保持的顶点误差测度：

Δ′V＝ΔV*weight    (3)

其中c为顶点曲率，ΔV为QEM算法的误差测度。c满足|c|≤cmaxabs，因此公式(2)的值域在[0.2，1]之间。当|c|为0即该顶点在平坦区域时，有Δ′V＝ΔV*0.2，收缩代价减少，简化充分；随着|c|的增大，顶点所在区域呈现越明显的凹凸变化，即细节特征越加丰富，公式(2)所描述的收缩代价加权weight值相应变大，简化削弱，对特征进行保留。

基于前述描述，改进的QEM算法流程描述如下：

(1)对三角网格人脸模型S中的每个顶点，根据特征保持的模型顶点误差度量算法计算其收缩代价Δ′V；

(2)若S＝＝φ，算法结束；

(3)取出顶点v_mincost，collapse(v_from，v_to)；

(4)如果边折叠后v_to的相邻三角面存在重叠，执行消除重叠三角形算法；

(5)返回步骤2。

其中，v_mincost表示当前模型中半边收缩代价最小的顶点；φ表示没有任何顶点和面片的空模型。

2、特征约束的网格参数化。

建立三维人脸模型间的内在特征约束关系。首先选择人脸模型中曲率超过给定阈值的点作为待选点，再通过比较这些待选点所对应的旋转图像来检测特征相应性。

假设S′为由三维空间中的1-ring邻域构成的简单网格，D′为S′的二维保形结构。如果映射边界固定，二维1-ring形变仅与中心节点n_i相关。Dirichlet能量有着良好的角度保持特性，其能量函数为：

$E_A=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\cot {\mathrm{\α}}_{\mathrm{ij}}{|n_i-n_j|}^2---\left(4\right)$

其中，|n_i-n_j|表示D′中边(i，j)的边长，N(i)为节点i的1-ring邻接点，α_ij为夹角。

令

则有如下公式：

$\frac{\∂E}{{\∂n}_i}=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}(\cot {\mathrm{\α}}_{\mathrm{ij}}+\cot {\mathrm{\β}}_{\mathrm{ij}})(n_i-n_j)=0---\left(5\right)$

对于整个人脸表面，由以上公式可以推导出：

BD＝0      (6)

其中D为平面域的二维坐标向量，B为一个稀疏矩阵，可以表示为：

$B_{i,j}=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{i,j}\right)+\cot \left({\mathrm{\β}}_{i,j}\right)& \mathrm{ifj}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{B}_{i,k}& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

此时，只要给定映射边界和相应的特征约束点，就能够得到对应的二维平面展开：

$\tilde{B}D=\left[\begin{array}{c}B\\ \begin{array}{cc}0& I\end{array}\end{array}\right]\left[\begin{array}{c}{D}_{\mathrm{free}}\\ D_{\mathrm{spec}}\end{array}\right]=\left[\begin{array}{c}0\\ C_{\mathrm{spec}}\end{array}\right]---\left(8\right)$

为了简便计算，D被分解为自由点集D_free和指定点集D_spec两部分，该稀疏线性系统能够通过广义极小残差算法有效求解。

3、多分辨人脸本征属性描述图。

对于三维人脸表面数据，首先借鉴多分辨分析的思想，采用改进二次误差测度算法对原始三角网格进行不同简化比率的网格简化操作，分别进行20％，50％，70％简化率的网格简化，得到原始网格数据相应80％，50％以及30％精度的多分辨描述；其次，分别对得到的多分辨描述数据，利用保形同构映射将三维空间表面数据映射到有约束的保形二维图像平面。选择离散均值曲率作为描述三维人脸表面的本征属性，并采用双线性插值方法来获取与三维人脸表面相应的二维本征属性图。

4、基于本征属性的三维人脸模型匹配度量。

在获得两个三维表面的二维属性图像后，三维表面的匹配问题就可以简化为二维平面的匹配，对于二维平面中的映射，采用将目标表面向参考表面的匹配通过匹配相应的离散平面属性图来实现。

给定两个有着圆周拓扑的表面S₁和S₂，首先通过spin-image来获取曲率变化较大顶点间的相应性，然后通过引入内部相应性作为约束，获取两表面相应的二维平面属性图。此时，两表面间的归一化相应性系数

以及相似性度量S(S₁，S₂)可以通过对相应二维平面属性图的计算获得：

$M_{S_1,S_2}=\frac{\mathrm{N\Σ}{p}_i^{S_1}{p}_i^{S_2}-\mathrm{\Σ}{p}_i^{S_1}\mathrm{\Σ}{p}_i^{S_2}}{\sqrt{(\mathrm{N\Σ}{\left(p_i^{S_1}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_1}\right)}^2)(\mathrm{N\Σ}{\left(p_i^{S_2}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_2}\right)}^2)}}---\left(\text{9}\right)$

$S(S_1,S_2)={\left(\ln \frac{1+M_{S_1,S_2}}{1-M_{S_1,S_2}}\right)}^2-\frac{1}{2N}---\left(10\right)$

其中，N为三维表面S₁和S₂二维属性图中重叠部分顶点的个数，

表示表面S_k二维属性图中顶点i的属性值，k＝1，2。由以上两式可知，两表面二维属性图相似度越高，

越接近1，相应的S(S₁，S₂)值越大；反之，

与S(S₁，S₂)均趋于0。

Claims (1)

1.一种三维人脸本征属性描述方法，其特征在于包括下述步骤：

(a)对高精度三维人脸模型S进行简化，即对三维人脸模型中的每个顶点，根据特征保持的模型顶点误差度量算法计算其收缩代价：

Δ′V＝ΔV*weight

式中，ΔV是QEM算法的误差测度；weight是收缩代价加权值；

若S＝＝φ或简化到指定结束条件，算法结束；

取出顶点v_mincost，collapse(v_from，v_to)；

如果边折叠后v_to的相邻三角面存在重叠，对于重叠三角形上的每一个顶点，若其相邻面全部都是重叠三角形，那么将其作为一个候选删除点；

在所有的候选删除点中，选择邻接面数最少的一个顶点，作为当前边折叠的v_from，选择v_from的任意一个相邻顶点作为v_to，collapse(v_from，v_to)；

其中，v_from及v_to分别表示半边收缩操作中被删除和被保留的顶点；collapse(v₁，v₂)表示对v1、v2顶点进行半边收缩操作；v_mincost表示当前模型中半边收缩代价最小的顶点；S表示三角网格模型；φ表示没有任何顶点和面片的空模型；

(b)假设S′为由三维空间中的1-ring邻域构成的简单网格，D′为S′的二维保形结构；如果映射边界固定，二维1-ring形变仅与中心节点n_i相关；Dirichlet能量函数为：

$E_A=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\cot {\mathrm{\α}}_{\mathrm{ij}}{|n_i-n_j|}^2$

式中，|n_i-n_j|表示D′中边(i，j)的边长，N(i)为节点i的1-ring邻接点，α_ij为夹角；

令

则有：

$\frac{\∂E}{{\∂n}_i}=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}(\cot {\mathrm{\α}}_{\mathrm{ij}}+\cot {\mathrm{\β}}_{\mathrm{ij}})(n_i-n_j)=0$

对于整个人脸表面，由上式推导出：

BD＝0

式中，D是平面域的二维坐标向量，B是一个稀疏矩阵，表示为：

$B_{i,j}=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{i,j}\right)+\cot \left({\mathrm{\β}}_{i,j}\right)& \mathrm{ifj}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{B}_{i,k}& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.$

给定映射边界和相应的特征约束点，得到对应的二维平面展开：

$\tilde{B}D=\left[\begin{array}{c}B\\ \begin{array}{cc}0& I\end{array}\end{array}\right]\left[\begin{array}{c}{D}_{\mathrm{free}}\\ D_{\mathrm{spec}}\end{array}\right]=\left[\begin{array}{c}0\\ C_{\mathrm{spec}}\end{array}\right]$

D被分解为自由点集D_free和指定点集D_spec两部分，该稀疏线性系统能够通过广义极小残差算法有效求解；

(c)利用改进的QEM方法对原始人脸网格模型进行不同简化率的多分辨简化，得到该原始人脸网格模型的多分辨简化模型表示；分别进行20％，50％，70％简化率的网格简化，得到原始网格数据相应80％，50％以及30％精度的多分辨描述；

(d)给定两个有着圆周拓扑的表面S₁和S₂，首先通过spin-image来获取曲率变化较大顶点间的相应性，然后通过引入内部相应性作为约束，获取两表面相应的二维平面属性图；表面S₁和S₂两表面间的归一化相应性系数以及相似性度量S(S₁，S₂)通过对相应二维平面属性图的计算获得：

$\begin{array}{c}{M}_{S_1,S_2}=\frac{\mathrm{N\Σ}{p}_i^{S_1}{p}_i^{S_2}-\mathrm{\Σ}{p}_i^{S_1}\mathrm{\Σ}{p}_i^{S_2}}{\sqrt{(\mathrm{N\Σ}{\left(p_i^{S_1}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_1}\right)}^2)(\mathrm{N\Σ}{\left(p_i^{S_2}\right)}^2-{\left(\mathrm{\Σ}{p}_i^{S_2}\right)}^2)}}\\ S(S_1,S_2)={\left(\frac{1+M_{S_1,S_2}}{1-M_{S_1,S_2}}\right)}^2-\frac{1}{2N}\end{array}$

式中，N是三维表面S₁和S₂二维属性图中重叠部分顶点的个数，表示表面S_k二维属性图中顶点i的属性值，k＝1，2。

Images