CN105701455A - 基于asm算法的人脸特征点采集及三维人脸建模方法 - Google Patents

Abstract

本发明公开了一种基于ASM算法的人脸特征点采集及三维人脸建模方法，首先人脸特征采集，对采集样本的训练集特征点进行手工标定，再在同一坐标中完成训练集中全部形状的校准，采用依据三角形特征的自动定位技术，同时通过准确的重要的特征完成人脸特征的精准定位，采用全局纹理信息对局部特征点搜索效果进行优化，从而实现人脸特征的统计分析；设置用于建模的设备参数；三维人脸建模，通过双目立体视觉理论对人脸正面及侧脸的图像特征点进行提取，通过两张不同坐标系下的人脸图像合成一个三维人脸模型。该技术不仅可高效的完成三维人脸建模，还可避免因为二维人脸图片中提取特征点不准确造成的三维人脸建模效果差的弊端。

Description

基于ASM算法的人脸特征点采集及三维人脸建模方法

技术领域

本发明属于人脸识别技术领域，涉及基于ASM算法的人脸特征点采集及三维人脸建模方法。

背景技术

对于三维动态人脸识别而言，一般以单帧图像为基础，完成二维单帧人脸图像特征点的定位是重中之重。首先在前阶段获取的人脸的二维图片中，对人脸重要特征点的位置进行确定，为人脸建模提供有效依据。

由于人脸特征采集的计算量较大，同时其检测准确度和响应速度会对下一阶段三维人脸建模的效率产生影响，所以是三维动态识别效率的瓶颈之一。对于部分识别方法而言，特征点定位所需时间能够达到整个三维动态人脸识别所需时间的二分之一。不仅如此，特征点的准确定位对之后的三维坐标转化也起到了至关重要的作用，所以高效高精度的人脸特征点定位是增强三维特征识别实时性及准确性的关键。

在对人脸特征点进行采集时，通常采用的方法主要包括下述两类：依据形状模型的特征采集方法与依据纹理的特征点定位方法。特征采集方法中，通常采用主动形状模型技术(ASM)，依据主动形状模型的技术不仅可有效实现物体外轮廓点的定位，同时可获取内在的轮廓点，使得定位结果更加准确。其详细实现过程如下所述：首先利用人机交互对目标轮廓的边界点集合进行采集，获取训练集，用矩阵形式对其进行描述。再通过主成分分析法(PCA)完成对该训练集的描述，塑造出可反映出训练集平均轮廓及关键形变方式样本的先验模型。最后通过灰度匹配法完成先验模型的搜索，在进行迭代搜索时需对先验模型的参数进行调整，从而使模型和目标物体的实际轮廓逐渐吻合，实现准确定位。

尽管ASM算法在实际的应用中可准确实现目标定位，然而其仍存在下述弊端：训练所需时间长；在定位过程中，为了达到理想的建模效果，需最大程度的获取准确的特征点坐标。为此，需改进搜索过程，使得人脸识别效果更优。

人脸的计算机模拟技术在很长的一段时间内被相关学者广泛研究。但随着科技的不断的发展，学者们提出了一些适用于三维人脸建模的数据采集技术。其中最常用也是最有效的是数三维扫描高端仪器，其依据光学理论获取整个三维人脸模型。然而，因为高质量激光扫描仪器成本很高，使其在实际应用中受到约束，并未得到广泛应用。

发明内容

本发明的目的是提供一种基于ASM算法的人脸特征点采集及三维人脸建模方法，解决了现有技术中存在的三维人脸识别不够精准的问题。

本发明基于ASM算法的人脸特征点采集及三维人脸建模方法，首先对人脸特征进行采集，然后在人脸特征点采集的基础上，提出一种依据计算机双目立体视觉的三维人脸建模技术，其结合计算机标定，通过两张二维人脸图片，利用双目立体视觉方法，对人脸特征点的三维坐标进行塑造，最后利用OpenGL软件实现三维人脸模型的塑造。

本发明采用的技术方案是以下步骤：

步骤1，人脸特征采集，对采集样本的训练集特征点进行手工标定，再在同一坐标中完成训练集中全部形状的校准，采用依据三角形特征的自动定位技术，同时通过准确的重要的特征完成人脸特征的精准定位，采用全局纹理信息对局部特征点搜索效果进行优化，从而实现人脸特征的统计分析；

步骤2：设置用于建模的设备参数；

步骤3：三维人脸建模，通过双目立体视觉理论对人脸正面及侧脸的图像特征点进行提取，通过两张不同坐标系下的人脸图像合成一个三维人脸模型。

进一步，所述步骤1对采集样本的训练集特征点进行标定方法为：首先搜集n个训练样本并手动记录下每个训练样本中的K个关键特征点，构建训练集的形状向量如下所示：

$a_i=(x_1^i,y_1^i,x_2^i,y_2^i,...,x_k^i,y_k^i),i=1,2,...,n$

其中，表示第i个训练样本上第k个特征点的坐标n表示训练样本的个数；

其次：计算平均形状向量及方差矩阵并将其按从大到小依次排序，完成形状向量进行PCA处理，求取特征点的均值和方差，以便获得局部特征之间的距离，构建局部特征：

(1)平均形状向量：

(2)协方差矩阵: $S=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{(a_i-\stackrel{\‾}{a})}^T\·(a_i-\stackrel{\‾}{a})$

(3)排序： $b_s\left(i\right)=P^T\·(a_i-\stackrel{\‾}{a})$

(4)均值： $g_i=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}\left(g_{ij}\right)$

(5)方差： $S_i=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{(g_{ij}-g_i)}^T\·(g_{ij}-g_i)$

(6)局部特征距离：f_sim＝(g-g_i)·(g-g_i)^T

其中：n表示训练样本的个数，T样本参数向量，P为最大样本数，j为常数，g_ij为局部纹理，g为整体纹理，最后，构建初始模型，完成ASM算法优化，其公式如下所示

：X＝M(s,θ)[a_i]+X_c

其中，M为平均形状，M(s,θ)为平均形状以其中心逆时针旋转θ缩放s，[a_i]为训练集的形状向量，X_c为平移距离。

进一步，所述步骤1三角形特征的自动定位技术的步骤为：

(1)首先在人脸图像的范围内，通过PCA特征采集技术对人脸嘴唇的大致位置(x₃,y₃)进行确定，将该位置看作是初始位置的一个点，从而实现人脸位置的确定；

(2)将该位置作为一个矩形框的左下顶点，基于人脸先验概率提供的相应尺寸，设定上述矩形框的长宽比和与之对应的长度，再对该图形进行平滑操作，通过下式求出上述初始矩形区域内像素的平均灰度值I_mean；

$\left\{\begin{array}{c}E=\underset{y_0\&le;y<y_0+h_0}{\underset{x_0\&le;x\&le;x_0+w_0}{\mathrm{\&Sigma;}}}(x,y)\\ I_{mean\left(0\right)}=\frac{1}{w_0{h}_0}E\end{array}\right.$

式中，w₀与h₀依次用于描述初始矩形框的长和宽；

(3)在矩形框长宽比不发生改变的条件下，沿右上方延伸一个像素的步长；针对经平滑处理后的图像，获取矩形右侧及上侧边缘线上灰度值最小的像素点，其灰度值用I_m.h进行描述；

(4)求出矩形框平均灰度值和I_m.h之间的差值，将其和统计获取的特定阀值D相较；若I_mean-I_m.h＜D，则上述矩形框没有抵达瞳孔区，需继续进行矩形延伸，否则，矩形框已抵达瞳孔区；

(5)通过灰度值最小像素点所处位置对瞳孔所在的大致区域进行判断；

(6)在上述区域中，对每个像素点在某一固定矩形区域中完成高斯卷积计算，将经高斯卷积计算后，图像中像素灰度值最小的点看作是瞳孔中心，用(x₁,y₁)，(x₂,y₂)进行描述。

进一步，所述步骤1采用全局纹理信息对局部特征点搜索效果进行优化步骤：

首先将形状范围内的纹理变形至平均形状中，同时对其进行归一化操作，获取变形后的纹理向量，用g进行描述，再在纹理模型空间中对获取的纹理向量进行重构，获取经重构后的纹理：其中，为纹理模型的部分向量，求出向量g_r和重构值g_r之间的欧氏距离d＝dist(g,g_r)，形成纹理差，最后依据该纹理差对形状调整和局部纹理搜索在迭代时是否采用ASM的搜索结果进行判断，如果和上一循环相比匹配度升高，则采用上述方法继续完成搜索，否则，采用依据全局纹理的搜索方法，并对获取的结果进行评估，直至达到最佳匹配度，再重新采用ASM搜索策略，交替采用上述两种方法，直至匹配度达到最高。

进一步，所述步骤2中设置用于建模的设备参数方法：

摄像机：数据输出端是IEEE1394接口，最大分辨率是659*493像素，最大采集帧率是60帧/秒，图像类型为灰度图像；

采集和处理设备：手提电脑，CPU为Pentium2.4-GHz,内容量是256MB，软件开发工具是微软的VisualC++6.0。

进一步，所述步骤3中引入相似性约束，从而减少三维坐标的歧义性：

1)首先完成三维人脸数据点的三角剖分；

2)确定相似性约束向量，将三角剖分的角度看作是唯一相似性约束向量，求出三角形边长，同时将其看作是几何相似性约束向量；

3)确定相似性约束判别公式：S＝S₁+S₂，其中，S₁用于描述唯一相似性的约束函数值，S₂用于描述几何相似性约束函数值，同时有，

$\left\{\begin{array}{c}{S}_1=\sqrt{{\mathrm{\&theta;}}_1-{{\mathrm{\&theta;}}_1}^{\&prime;}{)}^2{k}_1+{\mathrm{\&theta;}}_2-{{\mathrm{\&theta;}}_2}^{\&prime;}{)}^2{k}_2+\mathrm{......}+{\mathrm{\&theta;}}_m-{{\mathrm{\&theta;}}_m}^{\&prime;}{)}^2{k}_m}\\ S_2=\sqrt{{(d_1-{d_1}^{\&prime;})}^2{k}_1+{(d_2-{d_2}^{\&prime;})}^2{k}_2+\mathrm{......}+{(d_m-{d_m}^{\&prime;})}^2{k}_m}\end{array}\right.$

式中，θ_i与d_i用于描述待检测样本特征向量的第i个特征分量；θ_i'与d_i'用于描述三维人脸模型中第i个标准特征分量；k_i用于描述第i个特征分量的权值，θ_i用于描述人脸三维模型特征点的角度，d用于描述空间三角形的边长，同时，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中，x₁、y₁、z₁与x₂、y₂、z₂为三维模型中两个点的的空间坐标值。

对相似性约束函数值S及阈值S'进行比较，从而确定三维人脸特征点建立的有效性，若S＜S'，则获取的特征点有效，否则，重新采集三维特征点。

本发明的有益效果是，依据双目立体视觉理论，完成了初步三维人脸模型轮廓的塑造。首先对采集人脸图像的摄像机进行标定，获取用于建模的摄像机参数。再依据双目立体视觉理论，结合摄像机参数，通过两张不同坐标系下的人脸图像合成一个三维人脸模型。同时为了验证上述模型的可靠性，在实验中引入相似度约束条件。经试验验证，本发明可高效实现采集、特征提取以及三维建模的工作，完全符合各领域对图像识别的需求，能够有效可靠的实现人脸建模。

本发明的双目立体视觉理论，在原有算法中加入准确的约束条件，提出了一种高效的三维人脸建模技术。该技术不仅可高效的完成三维人脸建模，还可避免因为二维人脸图片中提取特征点不准确造成的三维人脸建模效果差的弊端。

附图说明

图1是本发明基于ASM算法的人脸特征点采集及三维人脸建模方法图；

图2是图1中两幅图的图像对准实例图；

图3是实线描述的中值形状；

图4是采集过程流程示意图；

图5是描述的是一个计算dX的例子；

图6是三角形特征的自动定位技术采用的示例图；

图7是倒三角形人脸特征；

图8是平移至图像中定位倒三角点的对应位置示意图；

图9描述的是传统ASM算法与优化后ASM算法的检测结果；

图10描述了传统ASM算法检测误差；

图11描述了优化后ASM算法的检测误差；

图12为针孔摄像机模型；

图13是机位示意图以及P点在各种坐标系下的人脸特征点；

图14是对眼睛、鼻子、嘴边、脸部轮廓的特征点进行描述示意图；

图15描述的是拍摄的标定模板图像；

图16是通过Harris角点检测器获取的特征点；

图17是拍摄过程中获取的效果图；

图18实验中所塑造的三维人脸模型；

图19通过OpenGL软件完成对模型的实体填充示意图；

图20是对模型中各部位100个特征点的约束条件进行统计示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

下面列举具体实施例进行说明：

步骤1，人脸特征采集，首先用用Matlab工具箱对采集人脸图像的摄像机进行标定，并对ASM算法进行优化，为获取人脸图像关键特征点做准备。

对采集样本的训练集特征点进行标定，再在同一坐标中完成训练集中全部形状的校准，从而实现人脸特征的统计分析。

假设存在两个相似的形状x₁与x₂，如图1所示，上图人脸为x₁，下图人脸为x₂：

为了达到将x₂变成M(x₂)+t时，使得训练值达到最小，需获取旋转角度θ、缩放因子s和平移矢量 $t=\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$ 的值，t_x、t_y为平移矢量中的平移分量，W为常数。

当E值最小时，也就是：

E＝[X₁-(M(s,θ)X₂+t)]^TW[X₁-(M(s,θ)X₂+t)]2-(1)

取最小值。

其中，M为平均形状，X₁、X₂为初始模型中的模式分量。

$\left\{\begin{array}{c}M(s,\mathrm{\&theta;})\left[\begin{array}{c}{x}_{jk}\\ y_{jk}\end{array}\right]=\left(\begin{array}{c}\left(scos\mathrm{\&theta;}\right)x_{jk}-\left(ssin\mathrm{\&theta;}\right)y_{jk}\\ \left(ssin\mathrm{\&theta;}\right)x_{jk}+\left(scos\mathrm{\&theta;}\right)y_{jk}\end{array}\right)\\ t={(t_x,t_{y,\mathrm{.....}}{t}_{x,}{t}_y)}^T\end{array}\right.---2(-2)$

其中，M(s,θ)用于描述一个对角矩阵，x_jk用于描述特征点j在k时刻相应的权值，y_jk用于描述点j在k时刻相应的阈值。同时，

$w_k={\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}Variance\right(k,l\left)\right)}^{-1}---2-\left(3\right)$

其中，Distance(K,l)描述第K点与第l点之间的距离，则Variance(K,l)用于描述训练集中全部Distance(K,l)的方差。

为了便于运算，假设：

$\left\{\begin{array}{c}{a}_x=s\cos \mathrm{\&theta;}\\ a_y=s\sin \mathrm{\&theta;}\end{array}\right.---2-\left(4\right)$

其中，s为缩放因子。

则可获取下述线性方程：

$\left(\begin{array}{cccc}{X}_2& -Y_2& W& 0\\ Y_2& X_2& 0& W\\ Z& 0& X_2& Y_2\\ 0& Z& -Y_2& X_2\end{array}\right)\left[\begin{array}{c}{a}_x\\ a_y\\ t_x\\ t_y\end{array}\right]=\left[\begin{array}{c}{X}_1\\ Y_1\\ C_1\\ C_2\end{array}\right]$

$2-\left(5\right)$

式中，Z为总偏移量，C₁、C₂为x，y轴上的偏移量，a_x、a_y、t_x、t_y为平移矢量中的平移分量，W为常数。

$\left\{\begin{array}{c}{X}_i=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k{x}_{ik}\\ Y_i=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k{y}_{ik}\\ Z=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k(x_{2k}^2+y_{2k}^2)\\ W=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k\\ C_1=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k(x_{1k}{x}_{2k}+y_{1k}{y}_{2k})\\ C_2=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_k(y_{1k}{x}_{2k}-x_{1k}{y}_{2k})\end{array}\right.---2-\left(6\right)$

其中，Z为总偏移量，C₁、C₂为x，y轴上的偏移量。

通过式2-(5)即可计算出权值矢量α_x，阈值矢量α_y，计算权值所需时间t_x，计算阈值所需时间t_y的值，进而获取s，θ，t的值，从而完成形状x₂向x₁的校准。根据上述方法，即可完成训练集中全部形状的对准。

人脸库中的图1中两幅图的图像对准实例如图2所示。

通过上述分析的方法将训练集中的形状对准至同一坐标中，即可得到其统计信息。

假设已完成多个个形状的对准，首先需对图3中实线描述的中值形状即前面步骤中得到的统计信息进行计算，如式2-(7)所示：

$\stackrel{\&OverBar;}{X}=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{X}_i---2-\left(7\right)$

其中：N为常数，X_i为实际数据量。

则通过PCA主成分分析法，即可清除其中的冗余数据，则进行归一化的协方差矩阵(2n×2n)可描述如下：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{dX}}_i{\mathrm{dX}}_i^T---2-\left(8\right)$

式中，Xi为实际数据量、为计算的数据量，T为构成方差矩阵数值，N为常数。

然后，依据Sp_k＝λ_kp_k，对矩阵奇异值进行分解，从而获取S矩阵的特征值以及特征向量。

取λ＝[λ₁,λ₂,...λ_2n]中前t个λ_k，使得：

$\frac{\underset{k=1}{\overset{t}{\&Sigma;}}{\mathrm{\&lambda;}}_k}{\underset{k=1}{\overset{2n}{\&Sigma;}}{\mathrm{\&lambda;}}_k}\&GreaterEqual;Explained-rate---2-\left(9\right)$

式中，Explained-rate为定值，λ_k为数值k的波长。

由于训练集中特征点的位置密切相关，因此，可通过其中的几个变量对训练集中的大部分形状进行描述：

$x=\stackrel{\&OverBar;}{x}+Pb---2-\left(10\right)$

式中，P＝(p₁,p₂,...p_t)，b＝(b₁,b₂,...b_t)^τ，x为特征点在X轴的位置。

通常采用的采集过程如图4所示。

首先在新图像中确定一个初始化位置，再通过该初始化位置获取更接近于目标对象点的位置。从而获取初始化各个点的移动方向：

dX＝(dX₀,dY₀,.....dX_n-1,dY_n-1)^T

2-(11)

式中，X、Y分别表示点的移动的横纵坐标值，T为构成方差矩阵数值。

图5描述的是一个计算dX的例子，其中波浪线代表初始化位置，虚线代表dX矢量。

假设该循环的初始化位置为：

X＝M(s,θ)[x]+X_c

2-(12)

通过公式2-(12)分析的对准两个形状的方法将X和X+d进行对准，从而获取新的姿势参数：

s(1+ds),θ+dθ,X_c+dX_c

2-(13)

依据

M(s(1+ds),θ+dθ)[x+dx]+(X_c+dX_c)＝X+dX

2-(14)

其中，d用于描述空间三角形的边长，X为ASM优化算法的初始模型，X_c为平移距离。

通过上式可获取

M(s(1+ds),θ+dθ)[x+dx]＝(M(s,θ)[x]+dX)-(X_c+dX_c)

2-(15)

由于

$M(s,\mathrm{\&theta;})=\left(\begin{array}{cc}scos\mathrm{\&theta;}& -ssin\mathrm{\&theta;}\\ ssin\mathrm{\&theta;}& s\cos \mathrm{\&theta;}\end{array}\right)M^{-1}(s,\mathrm{\&theta;})\&lsqb;\&rsqb;=M(s^{-1},-\mathrm{\&theta;})\&lsqb;\&rsqb;---2-\left(16\right)$

因此可获取dX：

dX＝M((s(1+ds))^-1,-(θ+dθ))[y]-x

2-(17)

式中，y＝M(s,θ)[x]+dX-dX_c。

基于

$x+dX\&ap;\stackrel{\&OverBar;}{x}+P(b+db)---2-\left(18\right)$

可近似获取：

dX≈P^Tdb

2-(19)

式中，P^T＝P^-1。

所以，通过公式2-(18)及dX的计算公式即可求出db的值。同时，对db的取值进行约束，即可获取一个合理的形状。

对形状参数以及姿势参数进行计算，也就是

$\left\{\begin{array}{c}{X}_c->X_c+w_{t}d{X}_c\\ Y_c->Y_c+w_{t}d{Y}_c\\ \mathrm{\&theta;}->\mathrm{\&theta;}+d\mathrm{\&theta;}\\ s->s(1+w_{s}ds)\\ b->b+W_{b}db\end{array}\right.---2-\left(20\right)$

式中，w_t，w_θ，w_s，W_b用于描述各参数的权值。

通过上式即可获取用于下次循环的更加可靠的初始化位置X，通过该X能够更加有效的完成对目标特征的定位。

因为在对目标进行定位的过程中，一个可靠有效的初始位置是完成高校人脸定位的重要因素。而ASM并未通过人脸特有的全局纹理信息完成搜索。所以，为了达到系统对实际应用中实时性和精度的要求，需对当前算法进行优化。

点分布模型中含有训练集中各种形状的平均值等参数，和用于调控形状模型的矢量。再利用某种算法对训练集中全部形状进行对准，完成主元分析，塑造形状模型。

ASM通过实际的外观模型的点位置调整技术进行检索。LocalAppearanceModels表示训练集中与手工标定点相邻的轮廓特征。其假设模型成多变量高斯分布，例如，针对训练图像中第j个手工标定点，首先需获取其中值轮廓及其协方差矩阵S_j。再通过马氏距离在新图像中检索获取最优匹配点：

$f_j\left(g_s\right)={(g_s-\stackrel{-}{g_j})}^t{S}_j^{-1}(g_s-\stackrel{-}{g_j})---2-\left(21\right)$

其中，S_j为协方差矩阵，为中值轮廓。

分析式2-21可知，初始化位置的选择是函数检索效率的关键。所以，为算法选择合理的初始位置，可大大降低匹配时间。

采用ASM方法的过程中，和定位效果密切相关的两个因素是初始模型定位的优劣及局部特征点的搜寻方法。为了加强人脸匹配的效果，提高匹配效率及匹配准确度，对算法进行下述优化：

1、采用依据三角形特征的自动定位技术，同时通过准确的重要的特征完成人脸特征的精准定位。

三角形特征的自动定位技术的步骤为：

(1)首先在人脸图像的范围内，通过PCA特征采集技术对人脸嘴唇的大致位置(x₃,y₃)进行确定，将该位置看作是初始位置的一个点，从而实现人脸位置的确定。

(2)将该位置作为一个矩形框的左下顶点，基于人脸先验概率提供的相应尺寸，设定上述矩形框的长宽比和与之对应的长度，如图6所示。再对该图形进行平滑操作，通过式2-(22)求出上述初始矩形区域内像素的平均灰度值I_mean。

$\left\{\begin{array}{c}E=\underset{y_0\&le;y<y_0+h_0}{\underset{x_0\&le;x\&le;x_0+w_0}{\mathrm{\&Sigma;}}}(x,y)\\ I_{mean\left(0\right)}=\frac{1}{w_0{h}_0}E\end{array}\right.---2-\left(22\right)$

式中，w₀与h₀依次用于描述初始矩形框的长和宽。

(3)在矩形框长宽比不发生改变的条件下，沿右上方延伸一个像素的步长。针对经平滑处理后的图像，获取矩形右侧及上侧边缘线上灰度值最小的像素点，其灰度值用I_m.h进行描述。

(4)求出矩形框平均灰度值和I_m.h之间的差值，将其和统计获取的特定阀值D相较。若I_mean-I_m.h＜D，则上述矩形框没有抵达瞳孔区，需继续进行矩形延伸。否则，矩形框已抵达瞳孔区。

(5)通过灰度值最小像素点所处位置对瞳孔所在的大致区域进行判断。

(6)在上述区域中，对每个像素点在某一固定矩形区域中完成高斯卷积计算。将经高斯卷积计算后，图像中像素灰度值最小的点看作是瞳孔中心，用(x₁,y₁)，(x₂,y₂)进行描述。

则嘴唇的大致位置(x₃,y₃)和瞳孔中心位置(x₁,y₁)，(x₂,y₂)三点组成一种如图7所示的倒三角形人脸特征。

实验结果表明，采用该特征能够有效完成ASM算法中模板的初始化操作。通常情况下，三角特征大小与整个人脸尺寸呈很好的正比关系，所以，一般状态下，通过三角特征定位技术进行的模型初始化均可达到很好的效果。

确定初始位置后，需完成主动形状模型中平均形状模型的初始化操作。

分别用(x′₁,y′₁)、(x′₂,y′₂)描述平均模型中左、右瞳孔的坐标，用(x′₃,y′₃)描述嘴唇中心坐标，同时有y′₁＝y′₂。则通过下式即可求出平均模型初始化应进行的角度旋转θ及尺度波动值s。

$\begin{array}{cc}\mathrm{\&theta;}=arctan\frac{y_2-y_1}{x_2-x_1}& s=\frac{\sqrt{{(y_3-y_2-y_1)}^2+{(x_3-x_2-x_1)}^2}}{\sqrt{{(y_3^{\&prime;}-y_2^{\&prime;}-y_1^{\&prime;})}^2+{(x_3^{\&prime;}-x_2^{\&prime;}-x_1^{\&prime;})}^2}}\end{array}---2-\left(23\right)$

通过旋转角度θ及尺度值s完成平均模型的角度旋转及尺度缩放，再求出平移的坐标值。从而将平均模型进行同比例的缩放及旋转，再平移至图像中定位倒三角点的对应位置，如图8所示。

实验结果表明，就算当三角定位不准确时，该识别结果和实际结果也十分接近。所以，采用本文提出的三角定位方法完成ASM平均模型的初始定位效果较好。

2、采用全局纹理信息对局部特征点搜索效果进行优化步骤：

在进行ASM搜索时，因为仅将特征点的局部纹理特征作为启发式信息，而忽略了全局纹理限制，所以，关键特征点的匹配精度将有所减少。所以，本发明采用全局纹理信息对局部特征点搜索效果进行优化对传统ASM算法的搜索过程进行改进，具体步骤为：

在主动表观模型中，通过模型全局纹理向量和分布纹理向量的差值Δδ对模型的形状进行预测，在进行搜寻时，则通过平均纹理向量对模型进行塑造。因此，仅需在训练时获取形状参数变化和灰度差值之间的线性关系R_s，即可依据获取的灰度差值完成形状变化的预测δ_s＝R_s·Δδ，从而完成对模型形状的改进。

首先将形状范围内的纹理变形至平均形状中，同时对其进行归一化操作，获取变形后的纹理向量，用g进行描述。再在纹理模型空间中对获取的纹理向量进行重构，即可获取经重构后的纹理：其中求出向量g_r和重构值g_r之间的欧氏距离d＝dist(g,g_r)，形成纹理差。最后依据该纹理差对形状调整和局部纹理搜索在迭代时是否采用ASM的搜索结果进行判断，如果和上一循环相比匹配度升高，则采用上述方法继续完成搜索，否则，采用依据全局纹理的搜索方法，并对获取的结果进行评估，直至达到最佳匹配度，再重新采用ASM搜索策略。交替采用上述两种方法，直至匹配度达到最高：

1)首先求出此刻全局纹理和模型纹理之间的差值，完成所有人脸关键特征点的局部纹理匹配，同事求出最优匹配模型形状。

2)再求此刻全局纹理和模型纹理之间的差值。

若此刻所求上述差值较第一次有所降低，则认为检测结果成立，反之，认为检测结果不成立；若纹理差已收敛，则检测完成，反之退出。

因为被优化后的算法引入了有关此刻全局纹理和模型纹理匹配程度的目标函数，所以，将其应用于人脸识别领域更加有效。不仅如此，该算法减少了匹配所需时间，增强匹配效率。

实验结果分析，

将一张正面人脸图片作为研究对象，分别采用传统ASM算法和改进ASM算法对二维图片中的人脸特征点进行采集。为了增强算法精度，将待标定128个特征点的人脸图像的平均模型作为参考。将手工标定点o(x,y)看作是目标点，通过ASM算法获取的特征点用X(x,y)进行描述，通过范数距离其上述两者之间的相似度进行计算：

Dist_x.o＝||X(x,y)-O(x,y)||＝max(x,y)|X(x,y)-O(x,y)|

2-(24)

随着Dist_x.o值的逐渐减小，定位算法效果逐渐变好。

图9描述的是传统ASM算法与优化后ASM算法的检测结果。

分析图9可知，传统算法在眼眉与嘴巴处出现误差。而改进后算法在眼眉、嘴唇等部位的特征检测效果较优。

图10、图11分别描述了传统ASM算法与优化后ASM算法的检测误差。

分析图10和图11可知，优化后ASM算法的特征点采集准确度明显高于优化前。

表1描述的是ASM算法优化前后的误差统计值。

表1不同算法精度比较结果

分析表1可知，优化后ASM算法的平均误差较传统ASM算法相比明显降低。同时，采用优化后算法对图像特征点进行采集所需的时间也是最短的。

步骤2，基于双目立体视觉技术的人脸建模，

立体视觉技术即针对一个物体，从各种角度获取其幅图像，从而完成被拍摄物体三维信息的恢复过程。首先获取实物原型的相关数据，通过数据处理及三维建模，建立出原型的三维模型。

在基于计算机立体视觉技术实现三维人脸建模时，具体完成的过程可大致被划分成两个阶段：在两幅图像之间塑造匹配点；再通过相机参数与与之相应的匹配点对原型的三维空间信息进行重构。

1、Tsai摄像机标定

对摄像机进行标定时，首先需完成对成像平面坐标系、摄像机坐标系和世界坐标系的分析，考虑到摄像机模型的不同也会对最终结果产生影响，进行实验时需选择有效的摄像机模型获取摄像机参数。

本文选择Tsai标定法完成摄像机的标定，因为Tsai标定法仅分析径向一阶畸变，因此，本发明选用如图12所示的针孔摄像机模型。

对摄像机进行标定时，主要分析三个坐标系，分别是图像坐标系x_uo_uy_u，摄像机坐标系o_cx_cy_cz_c以及世界坐标系o_wx_wy_wz_w。其中，世界坐标系或随机设置，通常依据简化原则选择；摄像机坐标系z_c轴和图像坐标系的交点就是图像中心o_u(c_x,c_y)，其中，o_c代表摄像机的光心，光心和图像中心之间的距离是有效焦距f。

对于空间中任意一点p，依据小孔成像原理，其像点是P'(x_u,y_u)。但实际应用中透镜均存在一定的误差，若仅分析径向畸变，则其实际像点可用P(x_d,y_d)或(x_p,y_p)描述。

将世界坐标系中的点p(x_w,y_w,z_w)转换至图像中与之相应的点P(x_p,y_p)，具体过程如下：

(1)通过下式将点P的世界坐标系坐标(x_w,y_w,z_w)转换成摄像机坐标系中的坐标(x_c,y_c,z_c)。

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+T---3-\left(1\right)$

(2)通过下式将摄像机坐标系中的坐标(x_c,y_c,z_c)转换至小孔摄像机模型下的图像坐标系中：

$\left\{\begin{array}{c}{x}_u=f\frac{x_c}{z_c}\\ y_u=f\frac{y_c}{z_c}\end{array}\right.---3-\left(2\right)$

(3)通过下式对透镜的径向畸变进行近似描述：

$\{\begin{array}{c}{x}_d=x_u{(1+{\mathrm{kr}}^2)}^{-1}\\ y_d=y_u{(1+{\mathrm{kr}}^2)}^{-1}\end{array}---3-\left(3\right)$

其中，r²用于描述平面内某点的向量，k用于描述畸变系数。

(4)通过下式将图像平面坐标(x_d,y_d)转换至图像像素坐标(x_p,y_p)中：

$\left\{\begin{array}{c}{x}_p=s_x{d}_x^{-1}{x}_d+c_x\\ y_p=d_y^{-1}{y}_d+c_y\end{array}\right.---3-\left(4\right)$

其中，(c_x,c_y)用于描述图像中心的像素坐标，d_x和d_y依次用于描述x方向与y方向单位像素的长度，s_x用于描述因扫描时序误差造成的比例因子，若对图像的要求较低，可令s_x＝1。

2、相机标定的计算方法

本文依据平面模板完成Tsai摄像机的标定，详细实现过程如下：

(1)通过RAC(真正应用集群)条件对旋转矩阵R及平移分量t_x，t_y进行计算，详细过程是：

①对标定模板图像进行拍摄，获取所有特征点的图像像素坐标(x_pi,y_pi)(其中i＝1,…n)，以及世界坐标(x_wi,y_wi,0)(其中i＝1,…n)。

②通过式求出图像坐标(x_d,y_d)

③通过式计算所有点P_i列方程

$\left[\begin{array}{ccccc}{x}_{w_i}{y}_{d_i}& y_{w_i}{y}_{d_i}& y_{d_i}& -x_{w_i}{x}_{d_i}& -y_{w_i}{x}_{d_i}\end{array}\right]\left[\begin{array}{c}{r}_1/t_y\\ r_2/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\end{array}\right]=x_{d_i}---3-\left(5\right)$

其中， $\left[\begin{array}{ccccc}{x}_{w_i}{y}_{d_i}& y_{w_i}{y}_{d_i}& y_{d_i}& -x_{w_i}{x}_{d_i}& -y_{w_i}{x}_{d_i}\end{array}\right]$ 为行矢量， $\left[\begin{array}{c}{r}_1/t_y\\ r_2/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\end{array}\right]$ 为列矢量。

再通过最小二乘法对该超定方程组进行计算(在Tsai的文献中建议n>63)，及可获取下述变量r′₁＝r₁/t_y,r′₂＝r₂/t_y,t′_x＝t_x/t_y,r′₄＝r₄/t_y,r′₅＝r₅/t_y。

④通过下式求出t_y，t_x及R。

$\begin{array}{c}{t}_y^2=\frac{s_r-{\&lsqb;s_r^2-4{(r_1^{\&prime;}{r}_5^{\&prime;}-r_4^{\&prime;}{r}_2^{\&prime;})}^2\&rsqb;}^{1/2}}{2{(r_1^{\&prime;}{r}_5^{\&prime;}-r_4^{\&prime;}{r}_2^{\&prime;})}^2}\\ s_r=r_1^{\&prime;2}+r_2^{\&prime;2}+r_4^{\&prime;2}+r_5^{\&prime;2}\end{array}---3-\left(6\right)$

其中，t_y的符号可依据下式中x_c和x_d、y_c和y_d的符号确定(随机选择一个特征点p_i，假设t_y是正，求出x_c和x_d、y_c和y_d。如果x_c和x_d、y_c和y_d符号相同，则t_y为正，反之，t_y为负)。

$\left\{\begin{array}{c}{r}_1=r_1^{\&prime;}{t}_y\\ r_2=r_2^{\&prime;}{t}_y\\ r_4=r_4^{\&prime;}{t}_y\\ r_5=r_5^{\&prime;}{t}_y\\ t_x=t_x^{\&prime;}{t}_y\\ r_1=r_1^{\&prime;}{t}_y\\ x_c=r_1{x}_w+r_2{y}_w+t_x\\ y_c=r_4{x}_w+r_5{y}_w+t_y\end{array}\right.3-\left(7\right)$

$R=\left[\begin{array}{ccc}{r}_1& r_2& {(1-r_1^2-r_2^2)}^{1/2}\\ r_4& r_5& s{(1-r_4^2-r_5^2)}^{1/2}\\ r_7& r_8& r_9\end{array}\right]---3-\left(8\right)$

其中，s＝-sgn[r₁r₄+r₂r₅]，r₇、r₈、r₉可通过矩阵中前两行的叉乘获取。若依据该R值，在第二步中获取f＜0，则实际R是

$R=\left[\begin{array}{ccc}{r}_1& r_2& -{(1-r_1^2-r_2^2)}^{1/2}\\ r_4& r_5& -s{(1-r_4^2-r_5^2)}^{1/2}\\ -r_7& -r_8& r_9\end{array}\right]---3-\left(9\right)$

(2)通过改进的搜索法求出焦距f，平移参数t_z以及畸变系数k。

①在不考虑径向畸变的情况下，对f与t_z的值进行计算。

对所有特征点p_i，有

$\left\{\begin{array}{c}{y}_{ci}=r_4{x}_{w_i}+r_5{y}_{w_i}+t_y\\ z_{ci}=r_7{x}_{w_i}+r_8{y}_{w_i}+t_z\\ \frac{y_{ui}}{f}=\frac{y_{ci}}{z_{ci}}\\ y_{ui}=d_y(y_{pi}-c_y)\end{array}\right.---3-\left(10\right)$

其中，f为焦距，t_z为平移参数，x、y、z均为世界坐标系内的点的坐标。

则上式可进一步描述成：

y_cif-d_y(y_pi-c_y)t_z＝d_y(y_pi-c_y)(r₇x_wi+r₈y_wi)

3-(11)

将上式用矩阵形式描述成：

$\left[\begin{array}{cc}{y}_{ci}& -d_y(y_{pi}-c_y)\end{array}\right]\left[\begin{array}{c}f\\ t_z\end{array}\right]=d_y(y_{pi}-c_y)(r_7{x}_{wi}+r_8{y}_{wi})---3-\left(12\right)$

对上述超定方程(i＝1,2,…n)进行求解，即可获取有效焦距f及平移分量t_z。

②对实际的f、t_z、k进行计算。

将上述计算得到的f及t_z作为初始值，通过改进算法对非线性方程组进行求解

$\left\{\begin{array}{c}{x}_{di}(1+{\mathrm{kr}}^2)=f\frac{r_1{x}_{w_i}+r_2{y}_{w_i}+t_y}{r_7{x}_{w_i}+r_8{y}_{w_i}+t_z}\\ y_{di}(1+{\mathrm{kr}}^2)=f\frac{r_4{x}_{w_i}+r_5{y}_{w_i}+t_y}{r_7{x}_{w_i}+r_8{y}_{w_i}+t_z}\end{array}\right.---3-\left(13\right)$

因为畸变均较小，所以假设初始值k＝0。

确定摄像机的内部及外部参数后，即可建立摄像机的投影变换矩阵(见2.3节)，从而反映出空间中任意一点盒图像上投影点之间的关系。

步骤3、三维人脸建模

通过双目立体视觉理论对人脸正面及侧脸的图像特征点进行提取。

图13描述的是机位示意图以及P点在各种坐标系下的人脸特征点。

最终确定的特征点需有很强的代表性及唯一性，应包含一个人的全部重要面部特征。将眼角点、鼻翼点、嘴角点等关键特征点对眼睛、鼻子、嘴边、脸部轮廓的特征点进行描述，如图14所示。

分析图13可知，如果左相机是O_l-x_ly_lz_l，则在世界坐标系的原点处同时未旋转。如果图像坐标系是O₁-x₁y₁z₁，则完成摄像机的标定后，其有效焦距是f₁；如果右摄像机坐标系是O_r-x_ry_rz_r，则图像坐标系是O₂-x₂y₂z₂，有效焦距是f₂。

基于相机透视模型，有：

$\left\{\begin{array}{c}{s}_t\left[\begin{array}{c}{X}_2\\ Y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_2& & \\ & f_2& \\ & & 1\end{array}\right]\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]\\ s_1\left[\begin{array}{c}{X}_1\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_1& & \\ & f_1& \\ & & 1\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]\end{array}\right.---3-\left(14\right)$

其中，f₁、f₂为世界坐标系中的有效焦距，X、Y为世界坐标系中的坐标集合。

利用空间转换矩阵M_lr可将O₁-x₁y₁z₁坐标系和O_r-x_ry_rz_r坐标系之间的相互位置关系描述成：

$\left\{\begin{array}{c}\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=M_{lr}\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]\\ M_{lr}=\&lsqb;R|T\&rsqb;\end{array}\right.---3-\left(15\right)$

式中，R、T分别用于描述O₁-x₁y₁z₁坐标系和O_r-x_ry_rz_r坐标之间的旋转矩阵以及原点之间的平移变换矢量，同时

$\left\{\begin{array}{c}R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]\\ T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]\end{array}\right.---3-\left(16\right)$

分析上式3-(16)可以看出，针对O₁-x₁y₁z₁坐标系中的空间点，两相机像面点之间的关系可描述成：

$p\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\left[\begin{array}{cccc}{f}_2{r}_1& f_2{r}_2& f_2{r}_3& f_2{t}_x\\ f_2{r}_4& f_2{r}_5& f_2{r}_6& f_2{t}_y\\ r_7& r_8& r_9& t_z\end{array}\right]\left[\begin{array}{c}z{X}_1/f_1\\ z{Y}_1/f_1\\ z\\ 1\end{array}\right]---3-\left(17\right)$

则，与之相应的三维点空间三维坐标可描述如下：

$\left\{\begin{array}{c}x={\mathrm{zX}}_1/f_1\\ y={\mathrm{zY}}_1/f_1\\ z=\frac{f_1(f_2{t}_x-X_2{t}_z)}{X_2(r_7{X}_1+r_8{Y}_1+f_1{r}_9)-f_2(r_1{X}_1+r_2{Y}_1+f_1{r}_3)}\\ \stackrel{\&OverBar;}{Y_2(r_7{X}_1+r_8{Y}_1+f_1{r}_9)-f_2(r_4{X}_1+r_5{Y}_1+f_1{r}_6)}\end{array}\right.---3-\left(18\right)$

其中，R₁，T₁和R₂，T₂分别为双目立体视觉系统中左右摄像机的外部参数。则对于某一点，假设其在世界坐标系、左相机坐标系及右相机坐标系下的非齐次坐标分别是x_w，x₁，x₂，则有：

$\{\begin{array}{c}{x}_1=R_1{x}_w+T_1\\ x_2=R_2{x}_w+T_2\end{array}---3-\left(19\right)$

则2个相机之间的几何关系R、T可描述成：

$\left\{\begin{array}{c}R=R_2{R}^{-1}\\ T=T_2-R_2{R}^{-1}{T}_1\end{array}\right.$

$3-\left(20\right)$

其中，R₁，T₁和R₂，T₂分别为双目立体视觉系统中左右摄像机的外部参数。

通过式3-(20)即可获取R₁、T₁与R₂、T₂，从而获取双相机的相对几何位置，即得到对应点的三维坐标。最后依据OpenGL即可获取所塑造的三维人脸模型。

添加约束条件

1)摄像机标定中的径向排列约束

分析图3可以看出，矢量pO₁、p′O₁和点P到Z_c轴垂直方向平行，同时透镜径向畸变不影响矢量p′O₁方向，因此，径向排列约束可描述成矢量pO₁和矢量p′O₁平行。同时，焦距f的改变不会影响约束条件，因此，通过传统RAC约束条件获取的所有关系式全部和焦距f及畸变系数k无关。

基于公式3-1式有：

$\left\{\begin{array}{c}{x}^{\&prime;}=r_1{X}_w+r_2{Y}_w+r_3{Z}_w+t_x\\ y^{\&prime;}=r_4{X}_w+r_5{Y}_w+r_6{Z}_w+t_y\\ z^{\&prime;}=r_7{X}_w+r_8{Y}_w+r_9{Z}_w+t_z\end{array}\right.---3-\left(21\right)$

通过RAC约束条件可获取：

$\frac{x^{\&prime;}}{y^{\&prime;}}=\frac{r_1{X}_w+r_2{Y}_w+r_3{Z}_w+t_x}{r_4{X}_w+r_5{Y}_w+r_6{Z}_w+t_y}---3-\left(22\right)$

通过上述两式可获取：

$\begin{array}{c}\left[\begin{array}{ccccccc}{X}_w{y}^{\&prime;}& Y_w{y}^{\&prime;}& Z_w{y}^{\&prime;}& y^{\&prime;}& -X_w{x}^{\&prime;}& -Y_w{x}^{\&prime;}& -Z_w{x}^{\&prime;}\end{array}\right]\left[\begin{array}{c}{r}_1/t_y\\ r_2/t_y\\ r_3/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\\ r_6/t_y\end{array}\right]=x^{\&prime;}\\ \backslash *MERGEFORMAT3-\left(13\right)\end{array}---3-\left(23\right)$

式中，行矢量[X_wy′Y_wy′Z_wy′y′-X_wx′-Y_wx′-Z_wx′]已知，而列矢量[r₁/t_yr₂/t_yr₃/t_yt_x/t_yr₄/t_yr₅/t_yr₆/t_y]^T是未知待求。如果通过同一平面上的空间点进行标定，同时令世界坐标系Z_w＝0，则(3.7)式可描述成：

$\left[\begin{array}{ccccc}{X}_w{y}^{\&prime;}& Y_w{y}^{\&prime;}& y^{\&prime;}& -X_w{x}^{\&prime;}& -Y_w{x}^{\&prime;}\end{array}\right]\left[\begin{array}{c}{r}_1/t_y\\ r_2/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\end{array}\right]=x^{\&prime;}---3-\left(24\right)$

其中，[X_wy′Y_wy′y′-X_wx′-Y_wx′]为行矢量， $\left[\begin{array}{c}{r}_1/t_y\\ r_2/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\end{array}\right]$ 为列矢量。

所以，仅需5个点即可获取旋转矩阵及平移向量。

2)人脸模型约束

当二维人脸特征点转换成三维人脸特征点时有大量信息损耗，同时各种视点获取的图像之间有较大的不同。并且很多外界及内在因素均被看做是单一图像中的灰度，造成像素点特征变化大。所以，如果依据二维像素点信息进行建模，将影响建模效果，如何有效实现图像特征采集非常困难。所以，为了增强图像匹配的可靠程度，依据某种规则对其进行约束具有重要意义。

本步骤在立体视觉人脸建模的基础上，引入相似性约束，从而减少三维坐标的歧义性，使其更加准确可靠。

1)首先完成三维人脸数据点的三角剖分。

2)确定相似性约束向量。将三角剖分的角度看作是唯一相似性约束向量，求出三角形边长，同时将其看作是几何相似性约束向量。

3)确定相似性约束判别公式：S＝S₁+S₂，其中，S₁用于描述唯一相似性的约束函数值，S₂用于描述几何相似性约束函数值，同时有，

$\left\{\begin{array}{c}{S}_1=\sqrt{{\mathrm{\&theta;}}_1-{{\mathrm{\&theta;}}_1}^{\&prime;}{)}^2{k}_1+{\mathrm{\&theta;}}_2-{{\mathrm{\&theta;}}_2}^{\&prime;}{)}^2{k}_2+\mathrm{......}+{\mathrm{\&theta;}}_m-{{\mathrm{\&theta;}}_m}^{\&prime;}{)}^2{k}_m}\\ S_2=\sqrt{{(d_1-{d_1}^{\&prime;})}^2{k}_1+{(d_2-{d_2}^{\&prime;})}^2{k}_2+\mathrm{......}+{(d_m-{d_m}^{\&prime;})}^2{k}_m}\end{array}\right.---3-\left(25\right)$

式中，θ_i与d_i用于描述待检测样本特征向量的第i个特征分量；θ_i'与d_i'用于描述三维人脸模型中第i个标准特征分量；k_i用于描述第i个特征分量的权值。θ_i用于描述人脸三维模型特征点的角度，d用于描述空间三角形的边长。同时，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}---3-\left(26\right)$

对相似性约束函数值S及阈值S阈进行比较，从而确定三维人脸特征点建立的有效性。若S＜S'，则获取的特征点有效，否则，重新采集三维特征点。

通过上述约束条件即可获取更为可靠的三维人脸模型，从而达到三维人脸识别系统的设计需求。

实验结果分析，

本文在MATLAB环境下对Tsai摄像机进行标定。实验通过cannonA75数码摄像机对人脸图片进行采集，得到的图像尺寸是2048×1536pi，像素单元尺寸是0.002578×0.002578mm。标定模板为打印的8×12棋盘格纸，各格尺寸为20×20mm。

图15、图16分别描述的是拍摄的标定模板图像与通过Harris角点检测器获取的特征点。

标定结果为：

有效焦距f＝9.4223mm

失真系数k＝0.0020

变换矩阵R、T依次是：

$R=\left[\begin{array}{ccc}-0.6925& 0.7131& 0.1094\\ 0.5282& 0.6044& 0.5964\\ -0.4914& -0.3552& 0.7952\end{array}\right],T=\left[\begin{array}{c}-21.1152\\ -104.9076\\ 767.5377\end{array}\right]$

在人脸建模实验中，通过VC++及OpenGL完成建模，建立仿真环境，实现三维人脸模型的仿真。

详细过程如下：首先分别将三张人脸的正面与侧面图片作为研究对象。再通过本文提出的改进的ASM特征点提取算法对特征点进行提取。为了便于运算，本文令摄像机机位位置与人脸的正面及侧面呈90点完成图像采集。同时拍摄过程中，令摄像机的光轴和人脸坐标系的X轴重合，令摄像机的Z轴和人脸坐标系的Z轴平行。

获取的效果如图17所示。

获取全部二维信息后，对三维坐标系中的空间转换矩阵进行塑造。然后依据阀值确定三维特征点的人脸坐标，最后在VC++6.0与OpenGL建立的仿真环境中完成人脸建模，实验中所塑造的三维人脸模型用如图18所示

为了获取更加真实的人脸效果，本文通过OpenGL软件完成对模型的实体填充，获取的结果如图19所示。

通过相似性约束函数对所塑造模型结果的准确性进行评价。

对模型中各部位100个特征点的约束条件进行统计，得到的结果如图20所示。

其中，曲线表示该部位大于阀值，应重新取点建模。

将实验结果和理论特征值进行对比，获取的结果如表2所示，分析表2可知，本文实验结果各项特征参数的误差均非常小。

表2建模约束值统计

同时，分析表2还可以看出，本发明可高效实现采集、特征提取以及三维建模的工作，完全符合各领域对图像识别的需求。

Claims (6)

1.基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于按照以下步骤进行：

步骤1，人脸特征采集，对采集样本的训练集特征点进行手工标定，再在同一坐标中完成训练集中全部形状的校准，采用依据三角形特征的自动定位技术，同时通过准确的重要的特征完成人脸特征的精准定位，采用全局纹理信息对局部特征点搜索效果进行优化，从而实现人脸特征的统计分析；

步骤2：设置用于建模的设备参数；

步骤3：三维人脸建模，通过双目立体视觉理论对人脸正面及侧脸的图像特征点进行提取，通过两张不同坐标系下的人脸图像合成一个三维人脸模型。

2.按照权利要求1所述基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于：所述步骤1对采集样本的训练集特征点进行标定方法为：首先搜集n个训练样本并手动记录下每个训练样本中的K个关键特征点，构建训练集的形状向量如下所示：

$a_i=(x_1^i,y_1^i,x_2^i,y_2^i,...,x_k^i,y_k^i),i=1,2,...,n$

其中，表示第i个训练样本上第k个特征点的坐标n表示训练样本的个数；

其次：计算平均形状向量及方差矩阵并将其按从大到小依次排序，完成形状向量进行PCA处理，求取特征点的均值和方差，以便获得局部特征之间的距离，构建局部特征：

(1)平均形状向量：

(2)协方差矩阵: $S=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{(a_i-\stackrel{\&OverBar;}{a})}^T\&CenterDot;(a_i-\stackrel{\&OverBar;}{a})$

(3)排序： $b_s\left(i\right)=P^T\&CenterDot;(a_i-\stackrel{\&OverBar;}{a})$

(4)均值： $g_i=\frac{1}{n}\underset{j=1}{\overset{n}{\&Sigma;}}\left(g_{ij}\right)$

(5)方差： $S_i=\frac{1}{n}\underset{j=1}{\overset{n}{\&Sigma;}}{(g_{ij}-g_i)}^T\&CenterDot;(g_{ij}-g_i)$

(6)局部特征距离：f_sim＝(g-g_i)·(g-g_i)^T

其中：n表示训练样本的个数，T样本参数向量，P为最大样本数，j为常数，g_ij为局部纹理，g为整体纹理，最后，构建初始模型，完成ASM算法优化，其公式如下所示：X＝M(s,θ)[a_i]+X_c

其中，M为平均形状，M(s,θ)为平均形状以其中心逆时针旋转θ缩放s，[a_i]为训练集的形状向量，X_c为平移距离。

3.按照权利要求1所述基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于：所述步骤1三角形特征的自动定位技术的步骤为：

(1)首先在人脸图像的范围内，通过PCA特征采集技术对人脸嘴唇的大致位置(x₃,y₃)进行确定，将该位置看作是初始位置的一个点，从而实现人脸位置的确定；

(2)将该位置作为一个矩形框的左下顶点，基于人脸先验概率提供的相应尺寸，设定上述矩形框的长宽比和与之对应的长度，再对该图形进行平滑操作，通过下式求出上述初始矩形区域内像素的平均灰度值I_mean；

$\left\{\begin{array}{c}E=\underset{y_0\&le;y<y_0+h_0}{\underset{x_0\&le;x\&le;x_0+w_0}{\mathrm{\&Sigma;}}}(x,y)\\ I_{mean\left(0\right)}=\frac{1}{w_0{h}_0}E\end{array}\right.$

式中，w₀与h₀依次用于描述初始矩形框的长和宽；

(3)在矩形框长宽比不发生改变的条件下，沿右上方延伸一个像素的步长；针对经平滑处理后的图像，获取矩形右侧及上侧边缘线上灰度值最小的像素点，其灰度值用I_m.h进行描述；

(4)求出矩形框平均灰度值和I_m.h之间的差值，将其和统计获取的特定阀值D相较；若I_mean-I_m.h＜D，则上述矩形框没有抵达瞳孔区，需继续进行矩形延伸，否则，矩形框已抵达瞳孔区；

(5)通过灰度值最小像素点所处位置对瞳孔所在的大致区域进行判断；

(6)在上述区域中，对每个像素点在某一固定矩形区域中完成高斯卷积计算，将经高斯卷积计算后，图像中像素灰度值最小的点看作是瞳孔中心，用(x₁,y₁)，(x₂,y₂)进行描述。

4.按照权利要求1所述基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于：所述步骤1采用全局纹理信息对局部特征点搜索效果进行优化步骤：

首先将形状范围内的纹理变形至平均形状中，同时对其进行归一化操作，获取变形后的纹理向量，用g进行描述，再在纹理模型空间中对获取的纹理向量进行重构，获取经重构后的纹理：其中，为纹理模型的部分向量，求出向量g_r和重构值g_r之间的欧氏距离d＝dist(g,g_r)，形成纹理差，最后依据该纹理差对形状调整和局部纹理搜索在迭代时是否采用ASM的搜索结果进行判断，如果和上一循环相比匹配度升高，则采用上述方法继续完成搜索，否则，采用依据全局纹理的搜索方法，并对获取的结果进行评估，直至达到最佳匹配度，再重新采用ASM搜索策略，交替采用上述两种方法，直至匹配度达到最高。

5.按照权利要求1所述基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于：所述步骤2中设置用于建模的设备参数方法：

(1)摄像机：数据输出端是IEEE1394接口，最大分辨率是659*493像素，最大采集帧率是60帧/秒，图像类型为灰度图像；

(2)采集和处理设备：手提电脑，CPU为Pentium2.4-GHz,内容量是256MB，软件开发工具是微软的VisualC++6.0。

6.按照权利要求1所述基于ASM算法的人脸特征点采集及三维人脸建模方法，其特征在于：所述步骤3中引入相似性约束，从而减少三维坐标的歧义性：

1)首先完成三维人脸数据点的三角剖分；

2)确定相似性约束向量，将三角剖分的角度看作是唯一相似性约束向量，求出三角形边长，同时将其看作是几何相似性约束向量；

3)确定相似性约束判别公式：S＝S₁+S₂，其中，S₁用于描述唯一相似性的约束函数值，S₂用于描述几何相似性约束函数值，同时有，

$\left\{\begin{array}{c}{S}_1=\sqrt{{\mathrm{\&theta;}}_1-{{\mathrm{\&theta;}}_1}^{\&prime;}{)}^2{k}_1+{\mathrm{\&theta;}}_2-{{\mathrm{\&theta;}}_2}^{\&prime;}{)}^2{k}_2+\mathrm{......}+{\mathrm{\&theta;}}_m-{{\mathrm{\&theta;}}_m}^{\&prime;}{)}^2{k}_m}\\ S_2=\sqrt{{(d_1-{d_1}^{\&prime;})}^2{k}_1+{(d_2-{d_2}^{\&prime;})}^2{k}_2+\mathrm{......}+{(d_m-{d_m}^{\&prime;})}^2{k}_m}\end{array}\right.$

式中，θ_i与d_i用于描述待检测样本特征向量的第i个特征分量；θ_i'与d_i'用于描述三维人脸模型中第i个标准特征分量；k_i用于描述第i个特征分量的权值，θ_i用于描述人脸三维模型特征点的角度，d用于描述空间三角形的边长，同时，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}$

其中，x₁、y₁、z₁与x₂、y₂、z₂为三维模型中两个点的的空间坐标值。

对相似性约束函数值S及阈值S'进行比较，从而确定三维人脸特征点建立的有效性，若S＜S'，则获取的特征点有效，否则，重新采集三维特征点。