CN104036546B - 一种基于自适应形变模型的任意视角人脸三维重构方法 - Google Patents

Abstract

本发明涉及一种基于自适应形变模型的任意视角人脸三维重构方法，其步骤为：1)获取人脸图像数据并筛选出清晰度较高的人脸图像作为原始数据；2)进行特征点定位；3)利用特征定位结果粗略估计人脸角度；4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成稀疏人脸三维形变模型；5)根据人脸角度粗略估计值和稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。本发明可以广泛在各种身份识别领域中应用。

Description

一种基于自适应形变模型的任意视角人脸三维重构方法

技术领域

本发明涉及一种计算机视觉和计算机图形学，特别是关于一种基于自适应形变模型的任意视角人脸三维重构方法。

背景技术

在公共安全、智能安防等领域广泛应用的大规模覆盖的视频监控系统，对基于监控图像的行人身份识别技术提出了新的要求。近年来在很多公共区域发生的恶性刑事案件中都是通过视频监控系统来获取犯罪嫌疑人的人脸图像，因此如何利用获取到多视角人脸图像并迅速识别出犯罪嫌疑人，对迅速侦破案件，减少经济损失，降低社会不良影响等具有十分重要的意义。

目前常见的多视角人脸识别技术可以分为基于知识的方法和基于统计学习的方法。基于知识的方法采用人脸局部特征，如眼睛、鼻子、眉毛、嘴唇和下巴等，通过它们的形状、位置信息以及特征之间的拓扑结构信息实现人脸识别。例如，现有技术中公开的关于基于器官的人脸分块和分层次搜索技术，是将人脸特征信息表示为不同器官特征信息组合实现人脸识别。基于知识的方法对由于人脸正面方向与图像传感器感知方向存在差异而造成的人脸姿态角度形变具有一定的鲁棒性，但是当角度变化范围较大时识别成功率将大大降低。基于统计学习的方法是通过模板匹配、子空间分析等特征提取方法找出在众多人脸图像信息中能够表征人脸特异性的特征，并与数据库中人脸特征进行匹配识别的方法。该方法以大量人脸特征信息为训练样本，采用主成分分析(Principal Component Analysis，PCA)等特征约简方法发掘特征中重要性权值较大的组成部分，实现特征数据的降维，然后组成人脸识别数据库。当输入新的人脸图像时，首先采用与构建人脸识别数据库相同的人脸特征提取方法提取特征，并通过特征约简方法保留主要特征，然后将保留的人脸主要特征与人脸识别数据库中信息进行匹配，判断相似度，实现人脸识别。基于统计分析的方法通常除了考虑人脸面部特征的形状信息外，同时也考虑面部纹理信息，所以当人脸姿态角度或者照明条件发生变化时，其识别性能会显著下降。

任意视角人脸三维重构是解决多视角人脸识别问题的一条新途径。利用人脸三维模型可以投影变换得到任意视角的人脸图像，因而可以有效解决人脸姿态变化导致的人脸识别准确度下降问题。人脸三维重构是指利用图像传感器所获取的人脸二维图像数据重构出人脸三维模型，该技术可以适用于人脸识别、3D可视电话、3D游戏设计等多个领域。通常的人脸三维重构是利用单张人脸正面图像实现的，这种情况要求所获取到的人脸图像具有很好的正面性，即一张图像中包含了完整的人脸形状和纹理信息，这种要求需要在目标配合的情况时才容易完成，因此不能适用于采用视频监控数据源的人脸图像重构。基于非正面人脸图像的三维重构研究还处于起步状态，Sung等人利用一张非正面的人脸图像同时结合一个人脸3D形变模型实现了人脸三维模型的重构，其中人脸3D形变模型是利用多个人脸的3D形状数据线性组合形成的模型，改变该模型的参数理论上可以实现任意的人脸3D形状合成。JinguHeo等人利用一张正面人脸图像和一张90°侧面人脸图像的特征点计算得到一个稀疏人脸3D形状，然后将该稀疏人脸3D形状用于优化通用人脸弹性模型的参数实现人脸三维重构，其中通用弹性模型是人脸3D形变模型的一种简化模型，其假设人脸的3D形状在深度信息上具有很强的共同点，因而人脸特征点的深度信息的变化范围可以大大减小。已有的人脸三维重构方法主要着眼于解决目标比较配合的情况下的重构，所采用的人脸二维图像一般是正面的，且照明条件良好。而在视频监控的环境中，人脸图像是在目标无意识情况下获取的，可能存在视角变化很大等情况，因而现有的研究很难满足任意视角人脸三维重构的要求。

基于以上分析，任意视角人脸三维重构是智能安防领域的重要技术以及研究热点，现有的人脸三维重构方法难以满足需求。

发明内容

针对上述问题，本发明的目的是为了解决任意视角人脸三维重构问题，根据人脸三维形变模型、微粒群算法等理论方法，提出了一种基于自适应形变模型的任意视角人脸三维重构方法。

为实现上述目的，本发明采取以下技术方案：一种基于自适应形变模型的任意视角人脸三维重构方法，其包括以下步骤：1)利用现有技术中的视频监控系统获取人脸图像数据，并筛选出清晰度较高的人脸图像，作为任意视角人脸三维重构的原始数据；2)对步骤1)中筛选出的人脸图像进行特征点定位，采用变视角人脸特征定位方法确定不同角度人脸图像中的特征点位置；3)利用特征定位结果粗略估计人脸角度，并将粗略估计的人脸角度作为三维模型匹配过程中的初步投影角度参数；4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并从人脸三维形变模型中抽取出与人脸特征点对应点的坐标信息，形成稀疏人脸三维形变模型；5)根据步骤3)中获得的人脸角度粗略估计值以及步骤4)中获得的稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；其重构过程如下：采用微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化，并判断优化结果误差是否已经收敛稳定或者是否达到预先设定的要求，是则进入步骤6)；反之，返回继续进行参数优化；6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。

所述步骤2)中，所述变视角人脸特征定位方法确定不同角度人脸图像中特征点位置方法如下：①建立变视角主动表观模型，变视角主动表观模型由多个普通主动表观模型构成，每个普通主动表观模型由形状模型和纹理模型组成；②根据变视角主动表观模型对人脸进行特征点定位：将人脸图像输入到不同角度的普通主动表观模型中，选择特征匹配误差最小的输出，作为人脸特征定位的结果。

所述步骤①中，所述普通主动表观模型建立方法如下：(a)建立形状模型：首先，采集多个具有代表性的不同人脸图像组成训练集图像；其次，采用手动特征点标定的方法从训练集中获得每一张人脸的特征点位置，进而获取其形状向量X；并采用现有技术PCA方法提取形状向量的主要分量，进而得到形状模型；(b)采用与步骤(a)相同的方法建立纹理模型；(c)将形状模型和纹理模型加权融合后得到普通主动表观模型。

所述步骤3)中，所述粗略估计人脸角度的体过程如下：假定人脸的形状参数与人脸姿态角度是存在线性关系的，采用变视角主动表观模型得到任意视角人脸特征定位结果后，估计该人脸图像角度信息，其估计公式为：b_s＝b_s0+b_sxcosθ+b_sysinθ，式中，b_s表示变视角主动表观模型特征定位过程中利用形状模型获得的形状参数向量；b_s0是在变视角主动表观模型的建模过程中所采用的训练集中图像的形状参数向量加权平均后得到的形状参数向量平均值；b_sx和b_sy是根据训练集中图像的形状参数向量和角度信息拟合得到的形状系数向量；θ是每一张人脸训练集图像所对应的角度；由于每一张人脸训练集图像所对应的角度θ以及形状参数b_s均是已知的，因而形状参数平均值b_s0能通过训练集图像的形状参数加权得到，于是通过最小二乘法估计出b_sx和b_sy的最优值，根据上式得到的人脸角度估计为：其中表示矩阵(b_sx|b_sy)的逆矩阵；在估计输入人脸图像角度时，将其特征定位时获得的形状参数b_s代入式(1)即得到对应的角度估计值θ。

所述步骤4)中，所述稀疏人脸三维形变模型的建立方法为：①建立人脸三维形变模型：由不同人脸的三维激光扫描数据经过PCA变换降维得到人脸三维形变模型，其方法如下：人脸三维激光扫描数据表示为：

S_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_n,y_n,z_n)^T，

其中i＝1,2,...,m，m表示人脸数量；n表示人脸面部扫描点的数量；x,y,z分别表示人脸面部扫描点的X,Y,Z坐标；PCA变换之后，人脸三维形变模型S'表示为：其中表示扫描得到的人脸三维数据归一化加权平均之后得到的平均形状；P表示前m个特征向量；表示与m个特征向量相关的人脸三维形变模型参数，②利用已有数据库中的人脸数据来构造人脸三维形变模型；③从人脸三维形变模型中提取与人脸特征定位时采用的眼角、鼻尖、嘴唇以及轮廓各个特征点相对应的三维数据点组成稀疏人脸三维形变模型，将原人脸三维形变模型称之为稠密人脸三维形变模型；稀疏人脸三维形变模型参数能直接用于稠密人脸三维形变模型中构造人脸三维形状，则稀疏人脸三维形变模型表示为：其中为稀疏人脸三维形变模型中采用的人脸特征点的平均形状，P_f表示稠密人脸三维形变模型的特征向量P中与所采用的人脸特征点对应的子特征向量，S'_f则为稀疏人脸三维形变模型合成的人脸特征点形状；④对于任意的稀疏人脸三维形变模型参数，将该参数确定的稀疏人脸三维形变模型投影到输入人脸图像对应的姿态角度方向上，并与步骤2)中采用变视角主动表观模型来确定的人脸特征点并进行匹配，计算对应特征点欧氏距离平方和，通过最小化特征点的欧式距离平方和确定稀疏人脸三维形变模型参数，进而形成稀疏人脸三维形变模型。

所述步骤5)中，采用所述微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化方法如下：①考虑不同视角人脸遮挡问题，将被遮挡的特征点去除，然后构建人脸三维重构误差函数；②采用微粒群算法优化稀疏人脸三维形变模型参数取值，形成自适应的人脸三维形变模型：令X_i＝[x_i1,x_i2,...,x_iN]表示粒子i的位置向量，V_i＝[v_i1,v_i2,...,v_iN]表示对应的速度向量，N表示待解决问题的维度；在搜索过程中，每一个粒子均保持对自身所经历的最佳位置P_i＝[p_i1,p_i2,...,p_iN]以及全局最优位置G_i＝[p_g1,p_g2,...,p_gN]的持续跟踪，粒子的位置和速度更新方程为：

$\left\{\begin{array}{c}{v}_{\mathrm{ij}}^{k+1}=v_{\mathrm{ij}}^k+c_1{r}_{1i}^k(p_{\mathrm{ij}}^k-x_{\mathrm{ij}}^k)+c_2{r}_{2i}^k(p_{\mathrm{gj}}^k-x_{\mathrm{ij}}^k)\\ x_{\mathrm{ij}}^{k+1}=x_{\mathrm{ij}}^k+v_{\mathrm{ij}}^{k+1},(i=\mathrm{1,2},...,M;j=\mathrm{1,2},...,N)\end{array}\right.,$

其中，表示粒子i的第j个参数在时刻k的变化速度；为粒子i的第j个参数在时刻k+1的变化速度；M表示微粒群的种群规模；c₁和c₂表示微粒群的加速常数，通常取值为2.0；和为两个独立的随机函数；表示粒子i的第j个参数所经历的最好位置；为微粒群中所有粒子的第j个参数所经历的最好位置，表示粒子i的第j个参数在时刻k的位置，表示粒子i的第j个参数在时刻k+1的位置。为了搜索全局最优解，采用步骤5)中步骤①所得到的输入多张不同视角时的误差函数作为目标函数；同时采用微粒群算法对人脸姿态角度进行准确的估计，则微粒群的粒子定义为：X_i＝[α_i1,α_i2,...,α_im,θ_i1,θ_i2,...,θ_iD]，其中α_i1,α_i2,...,α_im为三维形变模型参数，而θ_i1,θ_i2,...,θ_iD为输入图像的姿态角度估计值；在微粒群算法迭代优化过程中，当误差函数收敛到一个预先设定的值，则认为已经得到了最优三维形变模型参数以及最优人脸姿态角度值；③确定稀疏人脸三维形变模型参数后，将优化后的稀疏人脸三维形变模型参数引入到稠密人脸三维形变模型中，根据人脸三维形变模型产生重构后的人脸三维几何模型。

所述步骤5)的步骤①中，所述人脸三维重构误差函数构建方法为：(a)假设S_fθ＝(x₁,y₁,x₂,y₂,...x_k,y_k)²为输入人脸图像中未产生遮挡的人脸特征点的X、Y坐标；D_f＝(x₁,y₁,z₁；x₂,y₂,z₂；...；x_k,y_k,z_k)²为稀疏人脸三维模型中与S_fθ对应的人脸特征点三维坐标；假定输入人脸图像主要是在相对Y轴的方向具有旋转的角度，设为θ°，则稀疏人脸三维模型对应的旋转矩阵为：

$T=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right];$

(b)把稀疏人脸三维模型旋转到与输入图像相同的偏转角度后，得到的新的人脸三维模型特征点为：令S'_fθ表示旋转后的稀疏人脸三维模型特征点D_fθ的X,Y坐标，对于任意的稀疏人脸三维形变模型参数当采用稀疏人脸三维形变模型计算出其对应的人脸三维形状后，通过式(2)的变换过程获得变换后人脸三维模型特征点的X,Y坐标确定S'_fθ；(c)采用多张不同视角的图像重构人脸三维模型：采用多张不同视角人脸图像进行三维重构的误差函数方法与单张图像情况相同，则定义输入多张不同视角人脸图像时人脸三维重构效果判断的误差函数为：

$E\left(\mathrm{\α}\right)=\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\left|\right|S_{{\mathrm{f\θ}}_i}^{\′}-S_{{\mathrm{f\θ}}_i}\left|\right|}^2,$

其中，表示输入的第i张人脸图像的未遮挡的人脸特征点坐标；而表示与之对应的旋转变换后特征点坐标；通过最小化误差函数E(α)实现人脸三维重构。

所述步骤6)中，所述完整的人脸三维模型建立方法为：①从多张输入的人脸图像中选择一张纹理质量比较高的图像作为待张贴纹理数据的来源；②由于输入图像通常不是正面的，存在自遮挡现象，故只提取未被遮挡的一侧人脸图像纹理信息；③采用镜面对称的方式将提取的未被遮挡的一侧人脸图像纹理信息拓展为整张人脸纹理信息，然后以该输入人脸图像的特征点及镜面对称后的特征点作为控制点，采用三角剖分算法对控制点进行三角剖分；④将步骤5)所生成的人脸三维几何模型投影到正面视角，形成二维的人脸形状图像，并采用与步骤③相同的方法进行三角剖分；然后采用分段仿射变换的方法将三角剖分后的三角形对齐到投影生成的二维人脸形状图像三角剖分后的三角形中；⑤根据上一步骤的三角形对应关系，将人脸纹理信息映射到人脸形状图像对应的三角形中，得到正面人脸图像的纹理信息；⑥人脸形状图像与人脸三维几何模型之间点的对应关系将正面人脸图像的纹理信息对应到三维几何模型上，形成完整的人脸三维模型。

本发明由于采取以上技术方案，其具有以下优点：1、由于一般的人脸三维重构方法要求输入的图像为正面人脸图像，即一张图像中包含了完整的人脸形状和纹理信息，这种要求需要在目标配合的情况时才容易完成，而本发明利用人脸不同侧面的图像进行信息融合，实现人脸三维重构，因而数据源获取更容易。2、本发明针对视频监控环境存在的任意视角人脸三维重构问题，采用多张不同视角的人脸图像信息融合的方式能够减少由单张图像重构造成的信息缺失。3、本发明变视角主动表观模型能够实现不同视角人脸图像的特征点定位，为不同视角人脸图像特征信息融合提供了保障。4、本发明采用的微粒群算法能够有效避免多参数寻优时陷入局部极小的问题，能够提升全局寻优的能力；采用微粒群算法能够有效实现多目标优化，为准确找出人脸三维形变模型参数提供保障。5、本发明由于采用了基于微粒群算法的多参数优化方法，提升了三维形变模型参数准确度；在参数优化过程中，引入了对人脸视角优化计算的方法，能够增强视角估计的准确度，提高重构的质量。6、本发明针对人脸姿态角度发生变化后造成的自遮挡问题，采用未遮挡图像实现人脸三维重构，并在纹理映射过程中利用人脸的对称性推测人脸被遮挡部分的纹理信息，实现完整人脸纹理信息的提取。本发明为监控视频等可能采集到任意视角人脸信息场景中的人脸三维重构提出了一种全新的解决方案，可以应用到司法证据收集、智能安防监控、非侵入式身份识别等诸多领域。

附图说明

图1是本发明的整体流程示意图；

图2是本发明实施例中真实正面人脸和重构得到的正面人脸特征点误差比较示意图；其中，曲线表示采用本发明方法后的平均点对点误差，曲线表示本发明去掉角度优化后平均点对点误差，曲线表示本发明去掉角度优化后平均最近点线距误差，曲线表示采用本发明方法后平均最近点线距误差。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明实现包括人脸图像获取、人脸特征点定位、人脸姿态估计、形变模型参数确定以及纹理张贴等过程。其具体包括以下步骤：

1)利用现有技术中的视频监控系统获取人脸图像数据，并筛选出清晰度较高的人脸图像，作为任意视角人脸三维重构的原始数据。

人脸图像获取是指从CCD传感器拍摄到的包含人脸的视频中选出几张不同角度的人脸图像。不同角度的人脸图像可以来自于同一个CCD传感器，也可以来自不同的CCD传感器。只要满足较好的照明条件和人脸图像尺寸要求(一般要求不小于64×64个像素，否则下一步的人脸特征定位结果可能很不准确)即可，图像获取方式可以采用手动或者自动的方法。本发明的实施例中以3个视角图像为例：正视图像、左脸侧视图像和右脸侧视图像。

2)对步骤1)中筛选出的人脸图像进行特征点定位，采用变视角人脸特征定位方法确定不同角度人脸图像中的特征点(轮廓、眼睛、嘴唇等)位置：

①建立变视角主动表观模型，变视角主动表观模型由多个普通主动表观模型构成，每个普通主动表观模型由形状模型和纹理模型组成。其中，

普通主动表观模型建立方法如下：

(a)建立形状模型：

首先，采集多个具有代表性的不同人脸图像组成训练集图像；

其次，采用手动特征点标定的方法从训练集中获得每一张人脸的特征点位置，进而获取其形状向量X；并采用现有技术PCA(Principal Component Analysis，主成分分析)方法提取形状向量的主要分量，进而得到形状模型。形状模型可表示为：

$X=\stackrel{\‾}{X}+p_s{b}_s,---\left(1\right)$

其中，X为人脸形状向量；表示人脸图像训练集中所有人脸图像形状向量加权平均之后的形状向量；p_s为PCA变换后得到的形状特征向量；b_s为形状参数向量。通过改变b_s的值可以合成不同的人脸形状向量X。

(b)建立纹理模型，纹理模型的建立过程与形状模型类似，在此不再赘述。

(c)将形状模型和纹理模型加权融合后得到普通主动表观模型。

本发明采用的变视角主动表观模型是建立在采用大量变视角人脸图像进行分类训练的基础上的，其主要是在采集训练集时按照所采集的图像根据角度变换分为不同类别(例如0°，±23°，±45°以及±67°等)，分别生成不同的模型。

下面以中科院的CAS-PEAL-R1变视角人脸数据库为例，对本发明的变视角主动表观模型的建立作进一步说明。其包括以下步骤：

(a)CAS-PEAL-R1变视角人脸数据库中含有0°、±23°、±45°以及±67°人脸图像，由于人脸的对称性，选用50组0°、23°、45°以及67°的人脸图像，采用手动标定特征点的方式标记出所选不同角度人脸图像的特征点并按照角度进行分类。本实施例中以58个特征点为例。

(b)对分类之后的图像特征点集合分别采用PCA方法提取主分量，进而构造形状模型和纹理模型。然后将形状模型和纹理模型加权得到变视角主动表观模型。

②根据变视角主动表观模型对人脸进行特征点定位。在采用变视角主动表观模型进行人脸特征定位时，由于不确定人脸图像的姿态角度，因此需要将人脸图像输入到4个不同角度(0°、23°、45°以及67°)的普通主动表观模型中，选择特征匹配误差最小的输出，作为人脸特征定位的结果。

3)利用特征定位结果粗略估计人脸角度，并将粗略估计的人脸角度作为三维模型匹配过程中的初步投影角度参数。其具体过程如下：

假定人脸的形状参数与人脸姿态角度是存在线性关系的，采用变视角主动表观模型得到任意视角人脸特征定位结果后，估计该人脸图像角度信息，其估计公式为：

b_s＝b_s0+b_sxcosθ+b_sysinθ， (2)

式中，b_s表示变视角主动表观模型特征定位过程中利用形状模型获得的形状参数向量；b_s0是在变视角主动表观模型的建模过程中所采用的训练集中图像的形状参数向量加权平均后得到的形状参数向量平均值；b_sx和b_sy是根据训练集中图像的形状参数向量和角度信息拟合得到的形状系数向量；θ是每一张人脸训练集图像所对应的角度。在建模过程中，每一张人脸训练集图像所对应的角度θ以及形状参数b_s均可认为是已知的，因而形状参数平均值b_s0可通过训练集图像的形状参数加权得到，于是通过最小二乘法可以估计出b_sx和b_sy的最优值。根据式(2)得到的人脸角度估计为：

$(\cos \mathrm{\θ},\sin \mathrm{\θ})=R_b^{-1}(b_s-b_{s0}),---\left(3\right)$

其中表示矩阵(b_sx|b_sy)的逆矩阵。

在估计输入人脸图像角度时，将其特征定位时获得的形状参数b_s代入式(3)即可得到对应的角度估计值θ。

4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放等操作调整到与人脸三维形变模型在同一尺度上，并从人脸三维形变模型中抽取出与人脸特征点对应点的坐标信息，形成稀疏人脸三维形变模型。其具体过程如下：

①建立人脸三维形变模型。人脸三维形变模型的建立过程与主动表观模型建立的基本方法相同，都是利用现有的数据库，进行数据降维得到一个可以通过改变模型参数而获得任意人脸三维形状的形变模型，其中形变模型参数的确定直接影响人脸三维建模的准确性。

由不同人脸的三维激光扫描数据经过PCA变换降维得到人脸三维形变模型的方法如下：

人脸三维激光扫描数据可以表示为：

S_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_n,y_n,z_n)^T (4)

其中i＝1,2,...,m，m表示人脸数量；n表示人脸面部扫描点的数量；x,y,z分别表示人脸面部扫描点的X,Y,Z坐标。X,Y,Z坐标的定义为：把人脸认为是一个柱面，则柱面的中心轴作为人脸数据的垂直坐标轴Z轴，取过鼻尖点且与柱面中心轴垂直相交的直线作为Y轴，以Z轴和Y轴的叉积方向作为X轴。PCA变换之后，人脸三维形变模型S'表示为：

$S^{\′}=\stackrel{\‾}{S}+P\stackrel{\→}{\mathrm{\α}}---\left(5\right)$

其中表示扫描得到的人脸三维数据归一化加权平均之后得到的平均形状；P表示前m个特征向量；表示与m个特征向量相关的人脸三维形变模型参数，通过改变形变模型参数的值即可以生成不同形状的人脸三维几何模型S'。

②利用已有数据库中的人脸数据来构造人脸三维形变模型。

本发明利用北京工业大学制作的BJUT-3D人脸三维激光扫描数据来构造人脸三维形变模型，在建模过程中采用了100张男性人脸和100张女性人脸数据。

③从人脸三维形变模型中提取与人脸特征定位时采用的眼角、鼻尖、嘴唇以及轮廓等各个特征点相对应的三维数据点组成稀疏人脸三维形变模型(本实施例中为58个特征点)，将原人脸三维形变模型称之为稠密人脸三维形变模型。由于稀疏人脸三维形变模型中的特征点向量是稠密人脸三维形变模型的特征点向量的子向量，因而稀疏人脸三维形变模型参数可以直接用于稠密人脸三维形变模型中构造人脸三维形状，则稀疏人脸三维形变模型可表示为：

$S_f^{\′}={\stackrel{\‾}{S}}_f+P_f\stackrel{\→}{\mathrm{\α}}---\left(6\right)$

其中为稀疏人脸三维形变模型中采用的人脸特征点的平均形状，P_f表示稠密人脸三维形变模型的特征向量P中与所采用的人脸特征点对应的子特征向量，S'_f则为稀疏人脸三维形变模型合成的人脸特征点形状。

④对于任意的稀疏人脸三维形变模型参数，将该参数确定的稀疏人脸三维形变模型投影到输入人脸图像对应的姿态角度方向上，并与步骤2)中的采用变视角主动表观模型来确定的人脸特征点并进行匹配，计算对应特征点欧氏距离平方和，通过最小化特征点的欧式距离平方和可以确定稀疏人脸三维形变模型参数，进而形成稀疏人脸三维形变模型。

5)根据步骤3)中获得的人脸角度粗略估计值以及步骤4)中获得的稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型。其重构过程如下：采用微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化，并判断优化结果误差是否已经收敛稳定或者是否达到预先设定的要求，是则进入步骤6)；反之，返回本步骤继续进行参数优化。

其中，采用微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化方法如下：

①考虑不同视角人脸遮挡问题，将被遮挡的特征点去除，然后构建人脸三维重构误差函数：

当人脸相对于正面视角方向发生偏转时，其部分特征点将发生自遮挡而不可见，而采用变视角主动表观模型确定的特征点均为可见特征点，因而被遮挡的特征点定位是不准确的，所以在实际计算特征点欧式距离平方和时，本发明提出不采用所有的特征点而采用未发生遮挡现象一侧的人脸特征点，以避免遮挡现象的影响。具体方法如下：

(a)假设S_fθ＝(x₁,y₁,x₂,y₂,...x_k,y_k)²为输入人脸图像中未产生遮挡的人脸特征点的X、Y坐标。D_f＝(x₁,y₁,z₁；x₂,y₂,z₂；...；x_k,y_k,z_k)²为稀疏人脸三维模型中与S_fθ对应的人脸特征点三维坐标。假定输入人脸图像主要是在相对Y轴的方向具有旋转的角度，设为θ°，则稀疏人脸三维模型对应的旋转矩阵为：

$T=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right];$

(b)把稀疏人脸三维模型旋转到与输入图像相同的偏转角度后，得到的新的人脸三维模型特征点为：

$D_{\mathrm{f\θ}}={(T\·D_f^T)}^T---\left(7\right)$

令S'_fθ表示旋转后的稀疏人脸三维模型特征点D_fθ的X,Y坐标。对于任意的稀疏人脸三维形变模型参数，当采用公式(6)计算出其对应的人脸三维形状后，通过式(7)的变换过程获得变换后人脸三维模型特征点的X,Y坐标即可确定S'_fθ。

(c)当采用单张非正面图像进行人脸三维重构时，采用S_fθ与S'_fθ之间的欧氏距离平方和作为判断人脸三维重构效果的误差函数，表示为：

$E_1\left(\mathrm{\α}\right)={\left|\right|S_{\mathrm{f\θ}}-S_{{\mathrm{f\θ}}_i}^{\′}\left|\right|}^2---\left(8\right)$

通过最小化误差函数E₁(α)即可实现人脸三维重构。

采用单张图像进行人脸三维重构时，由于单张图像所包含的信息不足，重构的效果不理想。因此本发明采用多张不同视角的图像重构人脸三维模型。采用多张不同视角人脸图像进行三维重构的误差函数方法与单张图像情况相同。则可定义输入多张不同视角人脸图像时人脸三维重构效果判断的误差函数为：

$E\left(\mathrm{\α}\right)=\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\left|\right|S_{{\mathrm{f\θ}}_i}^{\′}-S_{{\mathrm{f\θ}}_i}\left|\right|}^2---\left(9\right)$

其中，表示输入的第i张人脸图像的未遮挡的人脸特征点坐标，而表示与之对应的旋转变换后特征点坐标。

②采用微粒群算法优化稀疏人脸三维形变模型参数取值，形成自适应的人脸三维形变模型：

微粒群算法在解决多参数优化问题方面具有广泛的应用。微粒群算法是受鸟类的群体行为启发提出的，常被用于N维连续空间的全局寻优问题。在微粒群算法的每一步迭代过程中，粒子根据自己的飞行经历以及其他的粒子的飞行经历更新取值。具体方法如下：

令X_i＝[x_i1,x_i2,...,x_iN]表示粒子i的位置向量，V_i＝[v_i1,v_i2,...,v_iN]表示对应的速度向量，N表示待解决问题的维度。在搜索过程中，每一个粒子均保持对自身所经历的最佳位置P_i＝[p_i1,p_i2,...,p_iN]以及全局最优位置G_i＝[p_g1,p_g2,...,p_gN]的持续跟踪。粒子的位置和速度更新方程为：

$\left\{\begin{array}{c}{v}_{\mathrm{ij}}^{k+1}=v_{\mathrm{ij}}^k+c_1{r}_{1i}^k(p_{\mathrm{ij}}^k-x_{\mathrm{ij}}^k)+c_2{r}_{2i}^k(p_{\mathrm{gj}}^k-x_{\mathrm{ij}}^k)\\ x_{\mathrm{ij}}^{k+1}=x_{\mathrm{ij}}^k+v_{\mathrm{ij}}^{k+1},(i=\mathrm{1,2},...,M;j=\mathrm{1,2},...,N)\end{array}\right.---\left(10\right)$

其中，表示粒子i的第j个参数在时刻k的变化速度；为粒子i的第j个参数在时刻k+1的变化速度；M表示微粒群的种群规模；c₁和c₂表示微粒群的加速常数，通常取值为2.0；和为两个独立的随机函数；表示粒子i的第j个参数所经历的最好位置；为微粒群中所有粒子的第j个参数所经历的最好位置，表示粒子i的第j个参数在时刻k的位置，表示粒子i的第j个参数在时刻k+1的位置。为了搜索全局最优解，采用步骤①所得到的输入多张不同视角时的误差函数作为目标函数，如式(9)所示。

在步骤3)中由于输入图像的人脸姿态角度估计并不准确，通常存在±10°内的偏差，本发明提出同时采用微粒群算法对人脸姿态角度进行准确的估计。则微粒群的粒子定义为：X_i＝[α_i1,α_i2,...,α_im,θ_i1,θ_i2,...,θ_iD]，其中α_i1,α_i2,...,α_im为三维形变模型参数，而θ_i1,θ_i2,...,θ_iD为输入图像的姿态角度估计值。在微粒群算法迭代优化过程中，当误差函数收敛到一个预先设定的值，则可以认为已经得到了最优三维形变模型参数以及最优人脸姿态角度值。

③确定稀疏人脸三维形变模型参数后，将优化后的稀疏人脸三维形变模型参数引入到稠密人脸三维形变模型中，根据式(5)即可产生重构后的人脸三维几何模型。

6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型，具体过程如下：

①从多张输入的人脸图像中选择一张纹理质量比较高(照明较好)的图像作为待张贴纹理数据的来源；

②由于输入图像通常不是正面的，存在自遮挡现象，故只提取未被遮挡的一侧人脸图像纹理信息；

③采用镜面对称的方式将提取的未被遮挡的一侧人脸图像纹理信息拓展为整张人脸纹理信息，然后以该输入人脸图像的特征点及镜面对称后的特征点作为控制点，采用Delaunay算法(三角剖分算法)对控制点进行三角剖分。

④将步骤5)所生成的人脸三维几何模型投影到正面视角，形成二维的人脸形状图像，并采用与步骤③相同的方法进行三角剖分。然后采用现有技术分段仿射变换的方法将三角剖分后的三角形对齐到投影生成的二维人脸形状图像三角剖分后的三角形中。

⑤根据上一步骤的三角形对应关系，将人脸纹理信息映射到人脸形状图像对应的三角形中，得到正面人脸图像的纹理信息。

⑥人脸形状图像与人脸三维几何模型之间点的对应关系将正面人脸图像的纹理信息对应到三维几何模型上，形成完整的人脸三维模型。

下面结合具体实施例来对本发明做进一步描述。

实施例：采用AXIS1011W网络摄像头拍摄的6个人的人脸图像三维重构结果，输入不同视角人脸图像，通过本发明基于自适应形变模型的任意视角人脸三维重构方法可以重构得到人脸三维模型投影到0°、±45°以及±60°视角的图像。

为了定量分析重构的效果，可直接比较重构得到的人脸三维模型正面投影图像中的特征点与CCD传感器拍摄到的真实人脸正面图像特征点的平均点对点误差，以及平均最近点线距。

平均点对点误差定义为：

$D_{\mathrm{pt}\·\mathrm{pt}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(x_i-x_{\mathrm{gt},i})}^2+{(y_i-y_{\mathrm{gt},i})}^2}---\left(11\right)$

其中x_i,y_i为重构得到的人脸正面图像的第i个特征点坐标，而x_gt,i，y_gt,i为CCD传感器拍摄到的真实人脸正面图像的第i个特征点坐标，N为特征点数量。

平均最近点线距定义为重构得到的人脸正面图像特征点与CCD传感器拍摄到的真实人脸正面图像特征点经过样条插值之后的点集r(t)＝(r_x(t),r_y(t)),t∈[0,1]的最近距离的平均值：

$D_{\mathrm{pt}\·\mathrm{crv}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{t}{\min }\sqrt{{(x_i-r_x\left(t\right))}^2+{(y_i-r_y\left(t\right))}^2}---\left(12\right)$

如图2所示，分析了6个不同的人脸三维重构的效果。用CCD拍摄到的正面人脸图像(可被认为是真实正面人脸)与重构得到的三维模型投影的正面人脸图像进行比较，对比了两者之间的对应的特征点之间的误差。并且与不采用角度估计优化的人脸三维重构的结果进行了比较，结果表明本发明不采用角度优化重构的人脸相对于真实正面人脸误差在6个像素点以内，而本发明不采用角度优化重构的人脸尺度相对于真实正面人脸尺度误差在200个像素左右，因而表明本发明所提出的方法能够比较准确的实现人脸三维重构，且采用角度估计优化方法后重构的准确度相对于未经角度优化的方法还有一定程度的提高。

上述各实施例仅用于说明本发明，各部件的连接和结构都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件的连接和结构进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (8)

1.一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于，该方法包括以下步骤：

1)利用现有技术中的视频监控系统获取人脸图像数据，并筛选出清晰度较高的人脸图像，作为任意视角人脸三维重构的原始数据；

2)对步骤1)中筛选出的人脸图像进行特征点定位，采用变视角人脸特征定位方法确定不同角度人脸图像中的特征点位置；

3)利用特征定位结果粗略估计人脸角度，并将粗略估计的人脸角度作为三维模型匹配过程中的初步投影角度参数；

4)建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并从人脸三维形变模型中抽取出与人脸特征点对应点的坐标信息，形成稀疏人脸三维形变模型；

5)根据步骤3)中获得的人脸角度粗略估计值以及步骤4)中获得的稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；其重构过程如下：采用微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化，并判断优化结果误差是否已经收敛稳定或者是否达到预先设定的要求，是则进入步骤6)；反之，返回继续进行参数优化；

6)得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。

2.如权利要求1所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤2)中，所述变视角人脸特征定位方法确定不同角度人脸图像中特征点位置方法如下：

①建立变视角主动表观模型，变视角主动表观模型由多个普通主动表观模型构成，每个普通主动表观模型由形状模型和纹理模型组成；

②根据变视角主动表观模型对人脸进行特征点定位：将人脸图像输入到不同角度的普通主动表观模型中，选择特征匹配误差最小的输出，作为人脸特征定位的结果。

3.如权利要求2所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤①中，所述普通主动表观模型建立方法如下：

(a)建立形状模型：首先，采集多个具有代表性的不同人脸图像组成训练集图像；其次，采用手动特征点标定的方法从训练集中获得每一张人脸的特征点位置，进而获取其形状向量X；并采用现有技术PCA方法提取形状向量的主要分量，进而得到形状模型；

(b)采用与步骤(a)相同的方法建立纹理模型；

(c)将形状模型和纹理模型加权融合后得到普通主动表观模型。

4.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤3)中，所述粗略估计人脸角度的体过程如下：

假定人脸的形状参数与人脸姿态角度是存在线性关系的，采用变视角主动表观模型得到任意视角人脸特征定位结果后，估计该人脸图像角度信息，其估计公式为：

b_s＝b_s0+b_sxcosθ+b_sysinθ，

式中，b_s表示变视角主动表观模型特征定位过程中利用形状模型获得的形状参数向量；b_s0是在变视角主动表观模型的建模过程中所采用的训练集中图像的形状参数向量加权平均后得到的形状参数向量平均值；b_sx和b_sy是根据训练集中图像的形状参数向量和角度信息拟合得到的形状系数向量；θ是每一张人脸训练集图像所对应的角度；由于每一张人脸训练集图像所对应的角度θ以及形状参数b_s均是已知的，因而形状参数平均值b_s0能通过训练集图像的形状参数加权得到，于是通过最小二乘法估计出b_sx和b_sy的最优值，根据上式得到的人脸角度估计为：

$(cos\mathrm{\θ},sin\mathrm{\θ})=R_b^{-1}(b_s-b_{s0}),---\left(1\right)$

其中表示矩阵(b_sx|b_sy)的逆矩阵；在估计输入人脸图像角度时，将其特征定位时获得的形状参数b_s代入式(1)即得到对应的角度估计值θ。

5.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤4)中，所述稀疏人脸三维形变模型的建立方法为：

①建立人脸三维形变模型：由不同人脸的三维激光扫描数据经过PCA变换降维得到人脸三维形变模型，其方法如下：

人脸三维激光扫描数据表示为：

S_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_n,y_n,z_n)^T，

其中i＝1,2,...,m，m表示人脸数量；n表示人脸面部扫描点的数量；x,y,z分别表示人脸面部扫描点的X,Y,Z坐标；

PCA变换之后，人脸三维形变模型S'表示为：

$S^{\′}=\stackrel{\‾}{S}+P\stackrel{\→}{\mathrm{\α}},$

其中表示扫描得到的人脸三维数据归一化加权平均之后得到的平均形状；P表示前m个特征向量；表示与m个特征向量相关的人脸三维形变模型参数，

$\stackrel{\→}{\mathrm{\α}}={({\mathrm{\α}}_1,{\mathrm{\α}}_2,\·\·\·,{\mathrm{\α}}_m)}^T;$

②利用已有数据库中的人脸数据来构造人脸三维形变模型；

③从人脸三维形变模型中提取与人脸特征定位时采用的眼角、鼻尖、嘴唇以及轮廓各个特征点相对应的三维数据点组成稀疏人脸三维形变模型，将原人脸三维形变模型称之为稠密人脸三维形变模型；稀疏人脸三维形变模型参数能直接用于稠密人脸三维形变模型中构造人脸三维形状，则稀疏人脸三维形变模型表示为：

$S_f^{\′}={\stackrel{\‾}{S}}_f+P_f\stackrel{\→}{\mathrm{\α}},$

其中为稀疏人脸三维形变模型中采用的人脸特征点的平均形状，P_f表示稠密人脸三维形变模型的特征向量P中与所采用的人脸特征点对应的子特征向量，S'_f则为稀疏人脸三维形变模型合成的人脸特征点形状；

④对于任意的稀疏人脸三维形变模型参数将该参数确定的稀疏人脸三维形变模型投影到输入人脸图像对应的姿态角度方向上，并与步骤2)中采用变视角主动表观模型来确定的人脸特征点并进行匹配，计算对应特征点欧氏距离平方和，通过最小化特征点的欧式距离平方和确定稀疏人脸三维形变模型参数，进而形成稀疏人脸三维形变模型。

6.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤5)中，采用所述微粒群算法对人脸角度及稀疏人脸三维形变模型参数进行优化方法如下：

①考虑不同视角人脸遮挡问题，将被遮挡的特征点去除，然后构建人脸三维重构误差函数；

②采用微粒群算法优化稀疏人脸三维形变模型参数取值，形成自适应的人脸三维形变模型：

令X_i＝[x_i1,x_i2,...,x_iN]表示粒子i的位置向量，V_i＝[v_i1,v_i2,...,v_iN]表示对应的速度向量，N表示待解决问题的维度；在搜索过程中，每一个粒子均保持对自身所经历的最佳位置P_i＝[p_i1,p_i2,...,p_iN]以及全局最优位置G_i＝[p_g1,p_g2,...,p_gN]的持续跟踪，粒子的位置和速度更新方程为：

$\left\{\begin{array}{c}{v}_{ij}^{k+1}=v_{ij}^k+c_1{r}_{1i}^k(p_{ij}^k-x_{ij}^k)+c_2{r}_{2i}^k(p_{gj}^k-x_{ij}^k)\\ x_{ij}^{k+1}=x_{ij}^k+v_{ij}^{k+1},(i=1,2,...,M;j=1,2,...,N)\end{array}\right.,$

其中，表示粒子i的第j个参数在时刻k的变化速度；为粒子i的第j个参数在时刻k+1的变化速度；M表示微粒群的种群规模；c₁和c₂表示微粒群的加速常数，通常取值为2.0；和为两个独立的随机函数；表示粒子i的第j个参数所经历的最好位置；为微粒群中所有粒子的第j个参数所经历的最好位置，表示粒子i的第j个参数在时刻k的位置，表示粒子i的第j个参数在时刻k+1的位置；为了搜索全局最优解，采用步骤5)中步骤①所得到的输入多张不同视角时的误差函数作为目标函数；

同时采用微粒群算法对人脸姿态角度进行准确的估计，则微粒群的粒子定义为：X_i＝[α_i1，α_i2，...，α_im，θ_i1，θ_i2，...，θ_iD]，其中α_i1,α_i2,…,α_im为三维形变模型参数，而θ_i1,θ_i2,...,θ_iD为输入图像的姿态角度估计值；在微粒群算法迭代优化过程中，当误差函数收敛到一个预先设定的值，则认为已经得到了最优三维形变模型参数以及最优人脸姿态角度值；

③确定稀疏人脸三维形变模型参数后，将优化后的稀疏人脸三维形变模型参数引入到稠密人脸三维形变模型中，根据人脸三维形变模型产生重构后的人脸三维几何模型。

7.如权利要求6所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤5)的步骤①中，所述人脸三维重构误差函数构建方法为：

(a)假设S_fθ＝(x₁,y₁,x₂,y₂,...x_k,y_k)²为输入人脸图像中未产生遮挡的人脸特征点的X、Y坐标；D_f＝(x₁,y₁,z₁；x₂,y₂,z₂；...；x_k,y_k,z_k)²为稀疏人脸三维模型中与S_fθ对应的人脸特征点三维坐标；假定输入人脸图像主要是在相对Y轴的方向具有旋转的角度，设为θ°，则稀疏人脸三维模型对应的旋转矩阵为：

$T=\left[\begin{array}{ccc}cos\mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right];$

(b)把稀疏人脸三维模型旋转到与输入图像相同的偏转角度后，得到的新的人脸三维模型特征点为：

$D_{f\mathrm{\θ}}={(T\·D_f^T)}^T,---\left(2\right)$

令S'_fθ表示旋转后的稀疏人脸三维模型特征点D_fθ的X,Y坐标，对于任意的稀疏人脸三维形变模型参数当采用稀疏人脸三维形变模型计算出其对应的人脸三维形状后，通过式(2)的变换过程获得变换后人脸三维模型特征点的X,Y坐标确定S'_fθ；

(c)采用多张不同视角的图像重构人脸三维模型：采用多张不同视角人脸图像进行三维重构的误差函数方法与单张图像情况相同，则定义输入多张不同视角人脸图像时人脸三维重构效果判断的误差函数为：

$E\left(\mathrm{\α}\right)=\underset{i=1}{\overset{D}{\Σ}}\left|\right|S_{{\mathrm{f\θ}}_i}^{\′}-S_{{\mathrm{f\θ}}_i}|{|}^2,$

其中，表示输入的第i张人脸图像的未遮挡的人脸特征点坐标；而表示与之对应的旋转变换后特征点坐标；通过最小化误差函数E(α)实现人脸三维重构。

8.如权利要求1或2或3所述的一种基于自适应形变模型的任意视角人脸三维重构方法，其特征在于：所述步骤6)中，所述完整的人脸三维模型建立方法为：

①从多张输入的人脸图像中选择一张纹理质量比较高的图像作为待张贴纹理数据的来源；

②由于输入图像通常不是正面的，存在自遮挡现象，故只提取未被遮挡的一侧人脸图像纹理信息；

③采用镜面对称的方式将提取的未被遮挡的一侧人脸图像纹理信息拓展为整张人脸纹理信息，然后以该输入人脸图像的特征点及镜面对称后的特征点作为控制点，采用三角剖分算法对控制点进行三角剖分；

④将步骤5)所生成的人脸三维几何模型投影到正面视角，形成二维的人脸形状图像，并采用与步骤③相同的方法进行三角剖分；然后采用分段仿射变换的方法将三角剖分后的三角形对齐到投影生成的二维人脸形状图像三角剖分后的三角形中；

⑤根据上一步骤的三角形对应关系，将人脸纹理信息映射到人脸形状图像对应的三角形中，得到正面人脸图像的纹理信息；

⑥人脸形状图像与人脸三维几何模型之间点的对应关系将正面人脸图像的纹理信息对应到三维几何模型上，形成完整的人脸三维模型。