CN102663351A - 基于条件外观模型的人脸特征点自动标定方法 - Google Patents

Abstract

本发明公开了一种基于条件外观模型的人脸特征自动标定方法，属计算机视觉领域。该方法的实现过程为：假设正面人脸标定已知，首先建立正脸与侧脸的离散特征点对应，通过回归算法获得的离散特征点与结构化标定点之间的映射关系，获得侧面人脸的初始化标定结果。然后，建立侧脸标定点与正脸标定点之间的条件模型，并根据反向合成算法，对模型参数的不断迭代优化，得到最终标定结果。本发明通过核岭回归建立离散特征点与结构化标定点的空间映射以获取人脸特征的初始标定，降低后续迭代次数，提高标定精度。设计条件外观模型及其反向合成迭代算法，避免对外观变形的搜索，提高搜索效率。与传统主动外观模型的比较，本发明的标定方法标定结果更为准确。

Description

基于条件外观模型的人脸特征点自动标定方法

技术领域

本发明属于图像分析技术领域，具体地说，属于一种基于条件外观模型的人脸特征点自动标定方法。

背景技术

在计算机视觉研究领域，对目标物体进行定位与描述是一个备受关注的研究课题，从图像中找到感兴趣的目标区域并借助计算机进行解释是计算机视觉研究中的一个基本问题，也是将计算机视觉技术应用于工业检测、目标识别和图像处理等领域中一个必不可少的重要步骤。这一技术已得到众多研究工作者的注意。对于人脸图像，虽然人类可以从一幅入脸图像中轻松地辨别出面部特征点的准确位置，但是对于计算机而言却并非一件易事。

人脸特征点的定位是人脸识别系统中的一项关键技术，对一个自动人脸识别系统来说，面部特征点定位的精确度和鲁棒性十分重要，而且精确快速的特征点定位跟踪在三维人脸的重建，姿态估计以及视点跟踪等方面也有着重要的应用。利用主动外观模型(Active Appearance Model，AAM)方法进行人脸特征点进行定位是近年来关注和研究的热点，它于1998年由Edwards等人首次提出的，并在人脸和其他非刚体的配准与识别中得到了广泛的应用。

AAM算法是对主动形状模型方法(Active Shape Model，ASM)的一种改进，与ASM相比，它考虑了全局信息的约束，采用形状和纹理融合的统计约束，即统计表观约束。并且，AAM的搜索原理借鉴了基于合成的分析技术(analysis-by-synthesis，ABS)的主要思想，通过对模型中参数的不断调整而使模型逐渐逼近实际的输入模型。

在AAM方法的应用中，一般是采用统计分析的方法，对一组手工完成标定的人脸图像进行训练，得到人脸的形状及其外观模型，并通过不断的改变形状和外观参数使生成的虚拟人脸图像与输入图像之间的差值在均方意义上达到最小，从而达到人脸的精确定位。

AAM的配准算法假定误差图像与模型参数的增量之间是满足一种简单的线性关系，这个线性关系可以通过回归的方法或是其他的数值方法计算得到，但是实际上这种假设并不准确，Baker等人在文献[117]中举出了反例，而且利用这种差值线性不断更新模型参数的过程中，每次迭代都将产生新的纹理，使算法计算速度大大降低。因此，针对这些缺点，Baker等人又在Lucas-Kanade算法的基础上提出了AAM反向合成匹配算法(lnverse Compositional AAM)，该算法不再使用AAM中假设的简单线性关系，不是进行简单的数学估计，而是遵循严格的数学推导，采用的参数更新方法也在原有的简单叠加的基础上使用了新的更新策略，因此，算法具有了更高的计算精度和效率。

此外，AAM算法的拟合效率与模型初始位置的给定有着密切的关系，而手动进行训练图片的特征点标定不但效率低，而且准确率也并不理想，因此初始特征点的给定也是影响算法鲁棒性和速度的关键因素，能够自动进行人脸特征点的自动准确标定可以使算法的效率及精确度大大提高。

发明内容

本发明的目的在于：针对现有基于外观模型进行人脸特征点自动标定方法的不足，提出了一种条件型主动外观模型及其相应的反向合成匹配算法。算法假设已知正面人脸的关键特征点，将原始的AAM反向合成匹配算法形状模型与基本形状的对应关系，演变为任意姿态人脸关键特征点与正面人脸的关键特征点之间的对应关系，通过建立形状模型，并根据反向合成拟合算法，对模型参数不断迭代优化，最后得到精确的任意姿态人脸特征点。算法中初始的人脸标定点由核岭回归算法(Kernel Ridge Regression，KRR)学习得到，KRR算法的核心在于建立离散特征点对应与结构化标定点之间的映射关系，其中，离散对应关系是通过任意姿态人脸与正面人脸的图像特征匹配得到。

本发明所解决的技术方案是：假设某个体正面人脸已经标定的条件下，首先建立正面人脸与侧面人脸之间的离散特征点对应，通过回归算法获得的离散特征点与结构化标定点之间的映射关系，获得侧面人脸的初始化标定结果。然后，建立侧面人脸关键特征点与正面人脸关键特征点之间的对应关系，建立条件型形状模型，并根据反向合成拟合算法，通过对模型参数的不断迭代优化，得到最终的标定结果。本发明技术方案的具体实现步骤如下：

1.在图像库中选取一系列正面及其侧面人脸图像，训练建立离散特征点与标定结构点之间空间位置的函数映射关系 $f:\left\{N_{y_i^{\left(\mathrm{train}\right)}}\right\}\→\left\{N_{x_i^{\left(\mathrm{train}\right)}}\right\};$

2.提取正面人脸及其侧面人脸图像的SIFT特征，利用基于均衡化概率模型的特征匹配方法进行匹配，得到匹配对；

3.根据步骤(1)中得到的KRR参数以及步骤(2)中得到的匹配点k，建立测试阶段离散特征点空间位置矢量N_x′jk作为输入送入f函数，输出与之相对应的高分辨率系数N_yj.k，即得到侧面人脸的自动标定点；

4.将步骤(3)中得到的侧面人脸标定点作为算法的初始信息，进行假设正面入脸关键特征点已知情况下的侧面人脸标定，建立条件式形状模型

即建立起侧脸形状数据s_f与正脸形状数据s_p之间的映射关系，其中p_i为形状参数，n个形状向量s_i是主成分分析得到的n个最大特征值所对应的向量；

5.根据反向合成拟合算法，对步骤(4)中的模型参数不断迭代优化，最后得到精确的侧面人脸特征点，完成侧面人脸特征点的自动标定。

上述的基于条件外观模型的人脸特征点自动标注方法中，步骤1中的具体实现过程如下：

(1)在正面人脸与侧面人脸间通过建立均衡化概率模型的匹配方法得到散乱的匹配点；

(2)根据散乱匹配点，从正面和侧面人脸图像中获取KRR训练数据

其中M＝38，N＝2，i＝1，2，...，l；l为训练样本个数；

(3)根据训练库中的人脸标定数据

计算核函数矩阵K，其中 $K(N_{y_i^{\left(\mathrm{train}\right)}},N_{y_j^{\left(\mathrm{train}\right)}})=\exp (-{\left|\right|N_{y_i^{\left(\mathrm{train}\right)}}-N_{y_j^{\left(\mathrm{train}\right)}}\left|\right|}^2/\mathrm{\σ}),$ i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(4)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(5)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(6)取矩阵A的第t列作为第t个回归器的系数

(7)根据上述计算，得到回归核函数t＝1，...，M_x；

(8)映射集合f＝{f^t(·)，t＝1，2，...，M_x}。

上述的基于条件外观模型的人脸特征点自动标注方法中，步骤2及步骤1中的子步骤(1)按如下进行：

(1)提取图像的SIFT特征，并利用最近邻方法初步确定对应关系；

(2)求解邻接矩阵W，它反映了候选匹配对l_n＝(x_n，x_n′)和l_m＝(x_m，x_m′)之间的几何仿射关系，其n行m列元素为 $w_{\mathrm{nm}}=\exp (-{\left|\right|f_m-{\tilde{f}}_m^n\left|\right|}^2+{\left|\right|f_n-{\tilde{f}}_n^m\left|\right|}^2/2{\mathrm{\σ}}_f^2{\left|\right|f_n-f_m\left|\right|}^2),$ 其中 ${\tilde{f}}_m^n=A_n^{-1}(f_{m^{\′}}-f_{n^{\′}})+f_n;$

(3)利用归一化算法对邻接矩阵W进行均衡化处理，得到矩阵

(4)计算RWR模型其中，

是一个指示向量，当n＝k时，

其他情况为0；

(5)计算初始分布

其中v_k和v_k′分别表示从图像X和X′中提取到的SIFT特征，σ_w表示全体特征值的方差；

(6)计算每组对应关系的似然值 ${\mathrm{\θ}}_n=p\left(l_n\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}p\left(l_n\right|l_k,e)p\left(l_k\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}{\mathrm{\π}}_n^k{\mathrm{\η}}_k;$

(7)采用具有约束限制的时序方法，从估计的似然值中选出最优匹配集

上述的基于条件外观模型的人脸特征点自动标注方法中，步骤5中的具体实现过程如下：

前期计算：

(3)计算正面人脸的梯度图像

(4)估计(x；0)处的雅克比

(5)计算最陡下降图像

(6)计算Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

迭代过程：

(1)由已知的正面人脸特征点，以及KRR方法得到的侧面人脸初始特征点，求得正面人脸与侧面人脸特征点组成的人脸网格中每一个三角形之间对应的仿射变换参数，对正面人脸图像I₀进行仿射变换得到侧面人脸图像W(x；p)，并计算侧面人脸图像对应的灰度值I(W(x；p))，同时，根据主成分分析法可以得到初始的形状参数p；

(2)计算误差图像I(W(x；p))-I₀(x)；

(7)计算 $\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)];$

(8)计算 $\mathrm{\Δp}=H^{-1}\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)],$ 其中Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

(9)更新参数：W(x；p)←W(x；p)。W(x；Δp)^-1。

上述的基于条件外观模型的人脸特征点自动标注方法中，步骤1中的分步骤(2)按如下进行：

(1)设p为正脸中的当前标定点，o为正脸中当前k个匹配点中心，o′为与其对应的侧脸中当前k个匹配点中心；

(2)计算从匹配点i(i的值为匹配点个数)到匹配点的中心点o的距离以及直线oi与x轴之间的夹角(d_i，θ_i)，以及从匹配点i′到匹配点的中心点o′的距离以及直线o′_i′与x轴之间的夹角(d′_i，θ′_i)；

(3)计算正脸中从标定点p到中心点o的距离以及直线op与x轴之间的夹角(d_l，θ_l)；

(4)计算侧脸中从标定点p′到中心点o′的距离以及直线o′p′与x轴之间的夹角(d_r，θ_r)；

(5)形成相对于标定点p的输入训练数据N_x＝(d₁，θ₁，...，d₆，θ₆，d′₁，θ′₁，...，d′₆，θ′₆，d_l，θ_l)以及相应的输出训练数据N_y＝(Δd，Δθ)，其中Δd＝d_r/d_l，Δθ＝θ_r-θ_l；

(6)将p和p′作为新的匹配点加入匹配点集合，不断迭代循环，直到遍历所有的标定点。

上述的基于条件外观模型的人脸特征点自动标注方法中，步骤2中的分步骤(3)按如下进行：

(1)计算 $\mathrm{\μ}=\max \{\underset{m-1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},n=1,...,N;\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},m=1,...,N\};$

(2)求出： $a_n=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},$ $b_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}};$

(3)求出 $r=\mathrm{N\μ}-\underset{n,m}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}}(n=1,...,N;m=1,...,N);$

(4)求出 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=w_{\mathrm{nm}}+\frac{(\mathrm{\μ}-a_n)(\mathrm{\μ}-b_m)}{r}(n=1,...,N;m=1,...,N);$

(5)计算 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=\frac{{\stackrel{\‾}{w}}_{\mathrm{nm}}}{\mathrm{\μ}},$ 即得出

停止。

本发明方法与现有技术相比较，具有如下突出实质性特点和显著优点：

(1)针对当前人脸自动标定技术中对初始姿态要求较高，迭代次数多，标定速度慢的缺点，利用训练数据获取离散特征点与结构化标定点之间的空间位置关系，从而根据在线离散特征点对应获得侧面人脸标定的初始化，并通过建立条件型外观模型，将初始标定不断迭代优化，以达到侧脸精确标定的目的；

(2)采用核岭回归方法获取离散特征点与结构化标定点之间的映射函数，在回归精度和速度上达到了较好的平衡；

(3)通过建立离散特征点与结构化标定点之间的映射关系，可根据在线离散特征点对应获得人脸标定点的初始化，可提高最终标定的速度和精度；

(4)利用反向合成算法对条件型外观模型进行优化，以严格的数学推导更新迭代策略，减少在线计算，提高了计算效率；

本发明提供的人脸特征点自动标定技术能极大地提高标定的速度，且标定准确，为人脸分析的后续处理提供更加全面、准确的特征点信息，达到理想的标定效果。在智能视频会议、影视制作、公共场所安全监测等民用领域和军事领域均有广泛的应用前景。

附图说明

图1为本发明高精度人脸特征点自动标定方法的流程框图。

图2为人脸特征点自动标定结果比较图。图中，(a)为KRR初始标定结果，(b)为各姿态下的人脸标定结果，(c)为AAM方法的人脸标定结果。

图3为假设真实标定已知的条件下，50次实验中人脸特征点自动标定结果的比较图。

具体实施方式

下面结合图1中的具体图示，对本发明做进一步阐述。

参考图1中的流程图，实现本发明基于条件外观模型的人脸特征点自动标注方法，首先建立正面人脸与侧面人脸之间的离散特征点对应，通过回归算法获得的离散特征点与结构化标定点之间的映射关系，获得侧面人脸的初始化标定结果。然后，建立侧面人脸关键特征点与正面人脸关键特征点之间的对应关系，建立条件型形状模型，并根据反向合成拟合算法，通过对模型参数的不断迭代优化，得到最终的标定结果。现将各个步骤具体实施方式加以说明；

1.在图像库中选取一系列正面及其侧面人脸图像，训练建立离散特征点与标定结构点之间空间位置的函数映射关系

该过程的具体步骤为：

(1)在正面人脸与侧面人脸间通过建立均衡化概率模型的匹配方法得到散乱的匹配点；

(2)根据散乱匹配点，从正面和侧面人脸图像中获取KRR训练数据

其中M＝38，N＝2，i＝1，2，...，l；l为训练样本个数；具体实现步骤为：

(a)设p为正脸中的当前标定点，o为正脸中当前k个匹配点中心，o′为与其对应的侧脸中当前k个匹配点中心；

(b)计算从匹配点i(i的值为匹配点个数)到匹配点的中心点o的距离以及直线oi与x轴之间的夹角(d_i，θ_i)，以及从匹配点i′到匹配点的中心点o′的距离以及直线o′i′与x轴之间的夹角(d′_i，θ′_i)；

(c)计算正脸中从标定点p到中心点o的距离以及直线op与x轴之间的夹角(d_l，θ_l)；

(d)计算侧脸中从标定点p′到中心点o′的距离以及直线o′p′与x轴之间的夹角(d_r，θ_r)；

(e)形成相对于标定点p的输入训练数据N_x＝(d₁，θ₁，...，d₆，θ₆，d′₁，θ′₁，...，d′₆，θ′₆，d_l，θ_l)以及相应的输出训练数据N_y＝(Δd，Δθ)，其中Δd＝d_r/d_l，Δθ＝θ_r- θ_l；

(f)将p和p′作为新的匹配点加入匹配点集合，不断迭代循环，直到遍历所有的标定点。

(3)根据训练库中的人脸标定数据计算核函数矩阵K，其中 $K(N_{y_i^{\left(\mathrm{train}\right)}},N_{y_j^{\left(\mathrm{train}\right)}})=\exp (-{\left|\right|N_{y_i^{\left(\mathrm{train}\right)}}-N_{y_j^{\left(\mathrm{train}\right)}}\left|\right|}^2/\mathrm{\σ}),$ i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(4)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(5)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(6)取矩阵A的第t列作为第t个回归器的系数

(7)根据上述计算，得到回归核函数

(7)映射集合f＝{f^t(·)，t＝1，2，...，M_x}。

2.提取正面人脸及其侧面人脸图像的SIFT特征，利用基于均衡化概率模型的特征匹配方法进行匹配，得到匹配对。该过程的具体步骤为：

(1)提取图像的SIFT特征，并利用最近邻方法初步确定对应关系；

(2)求解邻接矩阵W，它反映了候选匹配对l_n＝(x_n，x_n′)和l_m＝(x_m，x_m′)之间的几何仿射关系，其n行m列元素为 $w_{\mathrm{nm}}=\exp (-{\left|\right|f_m-{\tilde{f}}_m^n\left|\right|}^2+{\left|\right|f_n-{\tilde{f}}_n^m\left|\right|}^2/2{\mathrm{\σ}}_f^2{\left|\right|f_n-f_m\left|\right|}^2),$ 其中 ${\tilde{f}}_m^n=A_n^{-1}(f_{m^{\′}}-f_{n^{\′}})+f_n;$

(3)利用归一化算法对邻接矩阵W进行均衡化处理，得到矩阵

具体实现步骤如下：

(a)计算 $\mathrm{\μ}=\max \{\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},n=1,...,N;\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},m=1,...,N\};$

(b)求出： $a_n=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},$ $b_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}};$

(c)求出 $r=\mathrm{N\μ}-\underset{n,m}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}}(n=1,...,N;m=1,...,N);$

(d)求出 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=w_{\mathrm{nm}}+\frac{(\mathrm{\μ}-a_n)(\mathrm{\μ}-b_m)}{r}(n=1,...,N;m=1,...,N);$

(e)计算 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=\frac{{\stackrel{\‾}{w}}_{\mathrm{nm}}}{\mathrm{\μ}},$ 即得出

停止。

(4)计算RWR模型

其中，是一个指示向量，当n＝k时，

其他情况为0；

(5)计算初始分布

其中v_k和v_k′分别表示从图像X和X′中提取到的SIFT特征，σ_w表示全体特征值的方差；

(6)计算每组对应关系的似然值 ${\mathrm{\θ}}_n=p\left(l_n\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}p\left(l_n\right|l_k,e)p\left(l_k\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}{\mathrm{\π}}_n^k{\mathrm{\η}}_k;$

(7)采用具有约束限制的时序方法，从估计的似然值中选出最优匹配集

3.根据步骤(1)中得到的KRR参数以及步骤(2)中得到的匹配点k，建立测试阶段离散特征点空间位置矢量N_x′jk作为输入送入f函数，输出与之相对应的高分辨率系数N_yj.k，即得到侧面人脸的自动标定点；

4.将步骤(3)中得到的侧面人脸标定点作为算法的初始信息，进行假设正面人脸关键特征点已知情况下的侧面人脸标定，建立条件式形状模型即建立起侧脸形状数据s_f与正脸形状数据s_p之间的映射关系，其中p_i为形状参数，n个形状向量s_i是主成分分析得到的n个最大特征值所对应的向量；

5.根据反向合成拟合算法，对步骤(4)中的模型参数不断迭代优化，最后得到精确的侧面人脸特征点，完成侧面入脸特征点的自动标定。具体实现步骤为：

前期计算：

(3)计算正面人脸的梯度图像

(4)估计(x；0)处的雅克比

(5)计算最陡下降图像

(6)计算Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

迭代过程：

(1)由已知的正面人脸特征点，以及KRR方法得到的侧面人脸初始特征点，求得正面人脸与侧面人脸特征点组成的人脸网格中每一个三角形之间对应的仿射变换参数，对正面人脸图像I₀进行仿射变换得到侧面人脸图像W(x；p)，并计算侧面人脸图像对应的灰度值I(W(x；p))，同时，根据主成分分析法可以得到初始的形状参数p；

(2)计算误差图像I(W(x；p))-I₀(x)；

(7)计算 $\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)];$

(8)计算 $\mathrm{\Δp}=H^{-1}\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)],$ 其中Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

(9)更新参数：W(x；p)←W(x；p)。W(x；Δp)^-1。

本发明用Multi-PIE人脸图像库中各姿态图像作为测试图像，将本发明所提出的基于条件外观模型的人脸特征点自动标定方法与使用主动外观模型的人脸特征点自动标定方法进行了比较。

图2给出了Multi-PIE图像库中某个体各姿态人脸中特征点的标定结果的比较。

图3给出了假设真实标定已知的条件下，50次实验中人脸特征点自动标定结果的比较图，误差公式如式(1)所示，其中真实人脸标定点坐标为(x⁰ _i，y⁰ _i)，算法得到的人脸标定点坐标为(x_i，y_i)，其中i＝1，...，N，N为标定点个数，文中算法N＝66。

$\mathrm{error}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x_i-x_i^0)}^2+{(y_i-y_i^0)}^2}}{N}---\left(1\right)$

从图中可以看出，与使用主动外观模型进行人脸标定相比，本发明提出的方法所重建的图像能获得更为精确的标定结果。

Claims (6)

1.一种基于条件外观模型的人脸特征点自动标定方法，其特征在于：假设已知正面人脸的关键特征点，提出了一种条件型主动外观模型(Conditional Active Appearance Model，CAAM)，将原始的AAM反向合成匹配算法形状模型与基本形状的对应关系，演变为任意姿态人脸关键特征点与正面人脸的关键特征点之间的对应关系，通过建立形状模型，并根据反向合成拟合算法，对模型参数不断迭代优化，最后得到精确的任意姿态人脸特征点。算法中初始的人脸标定点由核岭回归算法(Kernel Ridge Regression，KRR)学习得到，其具体实现步骤如下：

(1)在图像库中选取一系列正面及其侧面人脸图像，训练建立离散特征点与标定结构点之间空间位置的函数映射关系 $f:\left\{N_{y_i^{\left(\mathrm{train}\right)}}\right\}\→\left\{N_{x_i^{\left(\mathrm{train}\right)}}\right\};$

(2)提取正面人脸及其侧面人脸图像的SIFT特征，利用基于均衡化概率模型的特征匹配方法进行匹配，得到匹配对；

(3)根据步骤(1)中得到的KRR参数以及步骤(2)中得到的匹配点k，建立测试阶段离散特征点空间位置矢量N_x′jk作为输入送入f函数，输出与之相对应的高分辨率系数N_yj.k，即得到侧面人脸的自动标定点；

(4)将步骤(3)中得到的侧面人脸标定点作为算法的初始信息，进行假设正面人脸关键特征点已知情况下的侧面人脸标定，建立条件式形状模型

即建立起侧脸形状数据s_f与正脸形状数据s_p之间的映射关系，其中p_i为形状参数，n个形状向量s_i是主成分分析得到的n个最大特征值所对应的向量；

(5)根据反向合成拟合算法，对步骤(4)中的模型参数不断迭代优化，最后得到精确的侧面人脸特征点，完成侧面人脸特征点的自动标定。

2.根据权利要求1所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤1按如下进行：

(1)在正面人脸与侧面人脸间通过建立均衡化概率模型的匹配方法得到散乱的匹配点；

(2)限据散乱匹配点，从正面和侧面人脸图像中获取KRR训练数据

其中M＝38，N-2，i＝1，2，...，l；l为训练样本个数；

(3)根据训练库中的人脸标定数据

计算核函数矩阵K，其中 $K(N_{y_i^{\left(\mathrm{train}\right)}},N_{y_j^{\left(\mathrm{train}\right)}})=\exp (-{\left|\right|N_{y_i^{\left(\mathrm{train}\right)}}-N_{y_j^{\left(\mathrm{train}\right)}}\left|\right|}^2/\mathrm{\σ}),$ i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(4)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(5)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(6)取矩阵A的第t列作为第t个回归器的系数

(7)根据上述计算，得到回归核函数

(7)映射集合f＝{f^t(·)，t＝1，2，...，M_x}。

3.根据权利要求1所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤2及步骤1中的子步骤(1)按如下进行：

(1)提取图像的SIFT特征，并利用最近邻方法初步确定对应关系；

(2)求解邻接矩阵W，它反映了候选匹配对l_n＝(x_n，x_n′)和l_m＝(x_m，x_m′)之间的几何仿射关系，其n行m列元素为 $w_{\mathrm{nm}}=\exp (-{\left|\right|f_m-{\tilde{f}}_m^n\left|\right|}^2+{\left|\right|f_n-{\tilde{f}}_n^m\left|\right|}^2/2{\mathrm{\σ}}_f^2{\left|\right|f_n-f_m\left|\right|}^2),$ 其中 ${\tilde{f}}_m^n=A_n^{-1}(f_{m^{\′}}-f_{n^{\′}})+f_n;$

(3)利用归一化算法对邻接矩阵W进行均衡化处理，得到矩阵

(4)计算RWR模型

其中，

是一个指示向量，当n＝k时，

其他情况为0；

(5)计算初始分布

其中v_k和v_k′分别表示从图像X和X′中提取到的SIFT特征，σ_w表示全体特征值的方差；

(6)计算每组对应关系的似然值 ${\mathrm{\θ}}_n=p\left(l_n\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}p\left(l_n\right|l_k,e)p\left(l_k\right|e)=\underset{l_k\∈L}{\mathrm{\Σ}}{\mathrm{\π}}_n^k{\mathrm{\η}}_k;$

(7)采用具有约束限制的时序方法，从估计的似然值中选出最优匹配集

4.根据权利要求1所述的基于条件外观模型的人脸特征点自动标注方法，步骤5中的具体实现过程如下：

前期计算：

(3)计算正面人脸的梯度图像

(4)估计(x；0)处的雅克比

(5)计算最陡下降图像

(6)计算Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

迭代过程：

(1)由已知的正面人脸特征点，以及KRR方法得到的侧面人脸初始特征点，求得正面人脸与侧面人脸特征点组成的人脸网格中每一个三角形之间对应的仿射变换参数，对正面人脸图像I₀进行仿射变换得到侧面人脸图像W(x；p)，并计算侧面人脸图像对应的灰度值I(W(x；p))，同时，根据主成分分析法可以得到初始的形状参数p；

(2)计算误差图像I(W(x；p))-I₀(x)；

(7)计算 $\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)];$

(8)计算 $\mathrm{\Δp}=H^{-1}\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[I\left(W(x;p)\right)-I_0\left(x\right)],$ 其中Hessian矩阵 $H=\underset{x}{\mathrm{\Σ}}{[\▿I_0\frac{\∂W}{\∂p}]}^T[\▿I_0\frac{\∂W}{\∂p}];$

(9)更新参数：W(x；p)←W(x；p)。W(x；Δp)^-1。

5.根据权利要求1所述的基于条件外观模型的人脸特征点自动标注方法，步骤1中的分步骤(2)按如下进行：

(1)设p为正脸中的当前标定点，o为正脸中当前k个匹配点中心，o′为与其对应的侧脸中当前k个匹配点中心；

(2)计算从匹配点i(i的值为匹配点个数)到匹配点的中心点o的距离以及直线oi与x轴之间的夹角(d_i，θ_i)，以及从匹配点i′到匹配点的中心点o′的距离以及直线o′i′与x轴之间的夹角(d′_i，θ′_i)；

(3)计算正脸中从标定点p到中心点o的距离以及直线op与x轴之间的夹角(d_l，θ_l)；

(4)计算侧脸中从标定点p′到中心点o′的距离以及直线o′p′与x轴之间的夹角(d_r，θ_r)；

(5)形成相对于标定点p的输入训练数据N_x＝(d₁，θ₁，...，d₆，θ₆，d′₁，θ′₁，...，d′₆，θ′₆，d_l，θ_l)以及相应的输出训练数据N_v＝(Δd，Δθ)，其中Δd＝d_r/d₁，Δθ＝θ_r-θ_l；

(6)将p和p′作为新的匹配点加入匹配点集合，不断迭代循环，直到遍历所有的标定点。

6.根据权利要求1所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤2中的子步骤(3)按如下进行：

(1)计算 $\mathrm{\μ}=\max \{\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},n=1,...,N;\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},m=1,...,N\};$

(2)求出： $a_n=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}},$ $b_m=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}};$

(3)求出 $r=\mathrm{N\μ}-\underset{n,m}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{nm}}(n=1,...,N;m=1,...,N);$

(4)求出 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=w_{\mathrm{nm}}+\frac{(\mathrm{\μ}-a_n)(\mathrm{\μ}-b_m)}{r}(n=1,...,N;m=1,...,N);$

(5)计算 ${\stackrel{\‾}{w}}_{\mathrm{nm}}=\frac{{\stackrel{\‾}{w}}_{\mathrm{nm}}}{\mathrm{\μ}},$ 即得出停止。

Images