CN103116902A - 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 - Google Patents

Abstract

本发明公开了一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置，属于图像处理领域。该三维虚拟人头像生成方法包括：采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。通过获取单幅人脸图片上用于表征人脸特征信息的特征点，并将其应用到三维人脸模型中，生成一个包括额头部分的具有更强真实感的个性化三维人脸模型，无需手工标示特征点，大大减少了人工处理量，且适用于要求简洁、快速的建模场合，且由于特征点中包括了人脸额头部分的特征点，能够使得生成的三维虚拟人头像的真实感大大增强，准确率高。

Description

三维虚拟人头像生成方法、人头像运动跟踪方法和装置

技术领域

本发明涉及图像处理领域，特别涉及一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置。

背景技术

人脸是人类交流的重要渠道，是人类情感表达的最直接的载体，是个体特性展现的重要部分。随着计算机技术的迅速发展，人们试图在计算机上展现真实人脸模型，自从上世纪70年代Parke建立第一个脸部模型开始，人脸建模技术得到广泛关注与研究。

真实感人脸建模即是把人的脸部特征在计算机中真实地再现出来。从人的视觉要求出发，总是希望计算机生成的人脸能够尽可能的逼真，但是由于受模型和计算机能力的限制，建模结果与人们的要求还是有很大差距。

现有技术中的一种方法时首先根据输入图像手工标定一组特征点；然后根据人脸库中的平均人脸模型，自动估计输入图像中头部姿势参数；姿势恢复以后，它根据一个相似度度量函数为给定人脸图像在三维人脸库中确定一个邻域，邻域的大小通过交叉验证算法来自适应的确定；通过邻域插值算法合成个性化三维人脸模型模型；最后通过提取的特征点求解纹理映射。该方法可以得到高精度的三维人脸动画，在不同的实验条件下应用到各种单幅图像合成三维模型，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，提高了人脸动画的制作效率，生成三维人脸模型计算过程相对迭代算法更加稳定和高效，同时生成三维人脸模型具有纹理信息，能够实时生成具有真实感的高精度三维人脸动画。

在对现有技术进行分析后，发明人发现现有技术至少具有如下缺点：

现有技术中提供的方法，每幅测试的图像都需要手工标示特征点，人工处理量太大，不能应用于要求简洁、快速的建模场合。

发明内容

本发明实施例提供了一种三维虚拟人头像生成方法、人头像运动跟踪方法和装置。所述技术方案如下：

一种三维虚拟人头像生成方法，包括：

采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

一种人头像运动跟踪方法，包括：

获取人头像的视频；

检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

从所述每一帧图像中的人脸区域中查找强角点；

根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

一种三维虚拟人头像生成装置，包括：

特征点获取模块，用于采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

个性化三维人脸模型获取模块，用于根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

三维虚拟人头像获取模块，用于对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

一种人头像运动跟踪装置，包括：

视频获取模块，用于获取人头像的视频；

人脸区域获取模块，用于检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

强角点查找模块，用于从所述每一帧图像中的人脸区域中查找强角点；

矩阵获取模块，用于根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

跟踪模块，用于根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

本发明实施例提供的技术方案的有益效果是：

通过获取单幅人脸图片上用于表征人脸特征信息的特征点，并将其应用到三维人脸模型中，生成一个包括额头部分的具有更强真实感的个性化三维人脸模型，无需手工标示特征点，大大减少了人工处理量，且适用于要求简洁、快速的建模场合，且由于特征点中包括了人脸额头部分的特征点，能够使得生成的三维虚拟人头像的真实感大大增强，准确率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是特征点局部搜索示意图；

图2是本发明实施例提供的一种三维虚拟人头像生成方法的流程图；

图3是本发明实施例提供的一种三维虚拟人头像生成方法的流程图；

图4是本发明实施例提供的一种人头像运动跟踪方法的流程图；

图5是本发明实施例提供的一种三维虚拟人头像生成装置的结构示意图；

图6是本发明实施例提供的一种三维虚拟人头像生成装置的结构示意图；

图7是本发明实施例提供的一种人头像运动跟踪装置的结构示意图；

图8是本发明实施例提供的一种人头像运动跟踪装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在介绍本发明提供的三维虚拟人头像生成方法之前，首先对本发明的基础知识进行简要的介绍：

ASM(Active Shape Model，主动形状模型)是一种基于模型的特征匹配算法，它既可以灵活地改变模型的形状以适应目标形状的不确定的特性，又将形状的变化控制在允许的范围内，从而保证模型在改变时不会受到各种因素的影响而出现不合理的形状。ASM算法在实现时主要包括以下三个步骤：

(1)图像采样获得形状向量和特征点信息。

在建立模型时，需要手工标定训练图像。选择N幅人脸图像(包括多个人的不同表情的姿态)，每一幅图像标定n个特征点作为训练数据。标定点为：

X_i＝(x_i1，y_i1，x_i2，y_i2，…，x_in，y_in，)^T，i＝1，2，...，N    (公式1)

其中，(x_ij，y_ij，)表示第i幅图像的第j个特征点的坐标；n代表每幅图像标记的特征点的数目；N代表训练图像的数目；每幅图像的X_i表示一个形状向量。并获取每一个特征点周围的特征信息，这些特征信息是进行匹配的主要依据。

(2)建立模型

特征点标定是在各自不同的样本图像上进行操作。由于各个样本图像拍摄条件、分辨率的差异，得到的形状向量具有不同的比例尺寸，因此要对样本图像的形状向量进行归一化，通过旋转、平移、缩放等仿射变换使得他们在同一坐标系中表示具有一致性。各个样本向量之间存在一定的相关性，且样本数量比较大会造成计算量过大，必须进行简化处理。采用的PCA(Principal Component Analysis，主成分分析)的思想对样本空间进行正交变换，并确定主成分，经PCA计算可得到主要变化参数。从训练样本中集中获得轮廓的模型统计信息包括：

平均形状向量 $\stackrel{\‾}{X}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i;$

N个形状向量的协方差矩阵 $C=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T;$

协方差对应的特征值以及特征值对应的特征向量，并且把特征值按照降序排序λ＝{λ₁，λ₂，...，λ_2n}，其中λ_i≥λ_i+1(i＝1，...，2n-1)，求出特征值λ对应的特征向量P′＝{p₁，p₂，...，p_2n}。选取t个大特征值

得到λ′＝{λ₁，λ₂，...，λ_t}以及对应的特征向量P＝{p₁，p₂，...，p_t}。

PCA分析后，任意的人脸形状向量X可以表示成为一个平均形状向量与t个形状向量P的线性组合：

其中b＝(b₁，b₂，...，b_t)^T，因为P是标准正交的：PP^T＝I，所以b可以表示成：

b是形状参数，控制前t个模式的系数，不同的b对应不同的形状。

(3)定位轮廓

在ASM中一般采用基于轮廓的灰度匹配法，主要思想是对训练样本中的每个轮廓点沿着轮廓的法线方向采样作为灰度特征。g_ij表示第i幅图像的第j个特征点的灰度特征。所有图像第j点的灰度特征平均值为：

$\stackrel{\‾}{g_j}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{g}_{\mathrm{kj}}$ (公式2)

协方差矩阵为：

$G_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(g_{\mathrm{ij}}-\stackrel{\‾}{g_j}){(g_{\mathrm{ij}}-\stackrel{\‾}{g_j})}^T$ (公式3)

灰度平均值和协方差作为该点的匹配特征。对每一个特征点做同样的采样分析可得整个轮廓的统计特征。这些统计特征呈高斯分布，可采用马氏距离作为匹配函数，如下式：

其中，g_si表示测试图像s中第i个特征点的灰度值。

ASM利用轮廓的灰度特征进行一个迭代过程，在每一步迭代中通过调整参数b改变当前模型的位置和形状完成模型与测试图像轮廓的匹配。

迭代算法如下：

$f\left(g_{\mathrm{si}}\right)={(g_{\mathrm{si}}-\stackrel{\‾}{g_i})}^T{G}_i^{-1}(g_{\mathrm{si}}-\stackrel{\‾}{g_i})$ (公式4)

第一步：对于输入的测试图像，设它的轮廓为X＝(x₁，y₁，x₂，y₂，...，x_n，y_n，)^T，其中n为待检测特征点的个数，将X的初始值赋为

即上述训练图片轮廓的平均值。

第二步：对于X中的每一个特征点(xi，yi)，在该点所在轮廓曲线的法线方向以该点为中心的上下一定范围内搜索灰度值在法线方向上梯度最大的点(xi’，yi’)。将新搜索到得n个点组成新的轮廓赋值给X。

图1是特征点局部搜索示意图，如图1所示，叉号为当前的特征点，实线为当前特征点所在轮廓曲线的法线，圆点即为法线方向上一定范围内的待搜索的点。在程序的实现过程中，当前特征点的法线是用如下方法计算的。设当前特征点前一特征点及后一特征点的坐标分别为(xi-1，yi-1)、(xi+1，yi+1)，当前特征点轮廓的法向量为(nx，ny)，切向量为(tx，ty)，则：

$(t_x,t_y)=\frac{(d_x,d_y)}{\sqrt{d_x^2+d_y^2}}$

$\left\{\begin{array}{c}{d}_x=x_{i+1}-x_{i-1}\\ d_y=y_{i+1}-y_{i-1}\end{array}\right.$ (公式5)

(n_x，n_y)＝(-t_y，t_x)

沿法线方向可以插值出一些待搜索的点：

(x，y)+i(n_x+n_y)  i＝1...N                    (公式6)

为了避免噪声的干扰，用高斯灰度作为点的灰度值：

g_i＝0.25g_i-1+0.5g_i+0.25g_i+1                  (公式7)

计算沿法线方向上这些带搜索点的梯度值：

dg_i＝[g_i2-g_i1，...g_iN-g_iN-1]^T    (公式8)

其中梯度值最大的点即为本次局部搜索的结果。

第三步：计算X与

的对应特征点之间的马氏距离之和

将其作为衡量轮廓准确性的标准，若f值小于某个阀值ε，我们就认为已经找到了测试图像的正确轮廓，迭代终止，否则，转第二步，继续迭代。

图2是本发明实施例提供的一种三维虚拟人头像生成方法的流程图。参见图2，该实施例包括：

201、采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

其中，采集人脸图片可以通过接收用户输入的人脸图片或摄像设备实时拍摄实现。优选地，该输入的人脸图片为单张正面。

在本实施例中，特征点用于对人脸的特征信息进行标定。人脸图片的特征点通过改进的ASM算法得到，ASM算法是一种基于统计学的主动形状模型。其基本思想为：首先，选取一组人脸正面照片来进行人工标定，对于每一幅图像都用n个点标注脸部及五官的轮廓。其次，由于各个图像的大小以及形状等的差别，在标注后需要对各个图像标注的图形进行对齐归一化，对齐操作包括旋转、缩放和平移等，归一化后可得到一个中性人脸模型。最后，利用局部灰度模型，对于中性人脸模型的每个特征点沿着轮廓的法线方向进行迭代搜索，搜索过程中进行灰度匹配。每次迭代中不断调整参数，使得整个模型不断适应目标形状又能保持人脸的合理形状。改进的ASM中，首先通过ASM算法获得n个特征点，再根据该n个特征点和预设方法，得到用于表示人脸额头部分的m个特征点，本发明共标定n+m个特征点，n、m分别为正整数，需要说明的是，n和m可以根据系统能力等进行预设，在本实施例中，n为68，m为9。在现有的ASM算法中，对于人脸特征点的检测是不包括额头部分的。因为人脸前额区域往往会被头发所覆盖，而且在样本图片中的人脸的发型也是多种多样的，这使得现有的ASM算法对于人脸前额特征点的检测达不到很好的效果。本发明以人脸轮廓信息作为约束条件，根据人脸各部分的比例关系，利用线性插值的方法，可以很简便地得到人脸额头的特征点。

202、根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

需要说明的是，本发明中所述的预设标准人脸模型是指人脸的通用模型，该预设标准人脸模型的获取方式多种多样，可通过统计大量人脸数据获得，也可用三维建模软件建模获得。优选地，本实施例的通用模型是采用专业人脸建模软件FaceGen生成中性平均脸网格，再经过编辑、调整得到的。可以利用标准模型的深度信息作为个性化模型深度信息的经验值，实验结果很好。

进一步地，该标准人脸模型还可以由人脸的通用模型经过调整得到，FaceGen生成的中性人脸网格模型的网格顶点分布是不均匀的，人脸上曲率比较大的，即人脸细节比较多的部位点密集一些，如眼睛、嘴角等处，而平滑的部位如额头、脸颊、头顶等处点稀疏一些。通过调整通用模型，将某些网格进行细化，使网格上的顶点与图像中的特征点位置基本对应，有利于后续网格顶点的标定工作。

203、对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

在本实施例中，根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分；根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标；将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。其中，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标是以鼻尖为中心，以用于表示鼻尖的特征点和人脸部分中用于表示比较的特征点对齐为条件，将模型垂直投影到人脸部分的平面，计算出个性化人脸模型上各个网格顶点的纹理坐标，进行纹理贴图后，生成具有真实感的三维虚拟人头像。

图3是本发明实施例提供的一种三维虚拟人头像生成方法的流程图。参见图3，该实施例包括：

301、采集人脸图片；

在本实施例中，该采集人脸图片可以通过多种方式，包括接收输入的人脸图片或通过摄像头或其他摄像设备采集。

302、根据ASM算法从人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点；

303、根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式，根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点；

在实际操作中，人脸区域的特征点至少包括第1号到第68号，人脸区域的第1号到第17与人脸额头部分的9个特征点组成为椭圆的形状。椭圆方程如下：

Ax²+Bxy+Cy²+Dx+Ey+F＝0        (公式9)

其中，A、B、C、D、E、F为椭圆方程的系数。

设第i号特征点的坐标为(xi，yi)，那么将其带入公式9，可得如下等式：

$\left[\begin{array}{cccccc}{x_1}^2& x_1{y}_1& {y_1}^2& x_1& y_1& 1\\ {x_2}^2& x_2{y}_2& {y_2}^2& x_2& y_2& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ {x_{17}}^2& x_{17}{y}_{17}& {y_{17}}^2& x_{17}& y_{17}& 1\end{array}\right]\left[\begin{array}{c}A\\ B\\ C\\ D\\ E\\ F\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ .\\ .\\ .\\ .\\ .\\ .\\ 0\end{array}\right]$

由于(x_i，y_i)都是已知的，则利用最小二乘法根据二式表示的矩阵，求出椭圆方程的系数矩阵，当椭圆方程的系数已知，根据系数确定人脸的椭圆方程式，并根据该椭圆方程式和用户输入的X轴坐标指，获取用于表示人脸额头部分的9个特征点。

当测试图片中的人脸位置发生偏移时，前额特征点的插值结果会出现误差。针对该误差问题，可通过以左右眉毛特征点所连线段的中心点与鼻子中心点的连线作为Y轴来判断人脸位置的偏移程度。当判断出人脸的位置的偏移程度大于预设阀值时，对线性插值出来的前额点做相应的旋转操作来调整前额特征点的位置。

由于人脸的轮廓是呈曲线形的，所以在ASM算法检测出来的特征点的基础上，可以通过曲线拟合的方法拟合出更多的特征点。比如利用最小二乘法对特征点进行拟合的时间复杂度是O(N3)这有助于提高ASM算法检测特征点的速度。因为ASM算法检测特征点的时间复杂度是远远大于O(N3)，所以对于额头部分的点检测过程，我们采用曲线拟合的方法比采用ASM算法的速度要更快。其中，O(N3)是计算机的一个专用术语，用于描述一个算法的时间复杂度，具体是指算法的一次执行所需要的时间是跟算法要处理的数据量N的三次方成正比。

也就是说对于额头部分的特征点，其实也是可以利用ASM算法检测的，但是这就需要我们额外的对训练数据都标定额头上的点，然后进行训练，最后利用ASM算法检测，这样带来的额外的时间开销比起利用曲线拟合的方法要大很多。

304、从ASM算法检测出的77个特征点中去掉表示牙齿、眼睛上以及界定额头和头发边界的特征点，选取剩余的65个特征点；

因为RBF算法只需要利用这65个特征点(77个特征点中去掉牙齿、眼睛上以及界定前额和头发边界的点)就能够得到比较好的结果，而且特征点越少，计算的复杂度越低，所以综合考虑，我们选择这65个特征点。在本实施例中，这65个特征点就是用来引导网格形变生成个性化人脸模型的关键网格点。

305、根据所述获取的特征点的坐标，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型；

在本实施例中，该步骤305具体包括以下步骤：

305a：选取特征点中用于表示鼻尖点作为坐标原点，将选取的65个特征点的坐标在标准人脸模型上标定出对应的网格顶点，这个过程我们利用三维建模软件3DMAX完成。在该软件中，我们按照特征点的顺序手工地标定出三维人脸模型上面的68个特征点。

305b：将人脸图片上检测出的特征点通过投影变换到三维空间中，作为即将生成的个性化模型上对应特征顶点的x和y值，深度值z则采用标准模型上对应顶点的经验z值。

305c：将之前标定好的3D特征顶点移至上述投影位置，其余3D网格点通过RBF(RadialBasis Function，径向基函数)插值算法进行插值调整，这样标准模型就适配成为了个性化人脸模型。

在该步骤305c中，径向基函数能够平滑地插值不规则分布的三维散乱数据，其函数是由单个变量的函数构成的。一个点的坐标(x，y，z)的这种基函数的形式是φ_i(x，y，z)＝φ(d_i)，这里的d_i表示由点(x，y，z)到第i个数据点的距离，如公式9所示。其中，φ()是核函数，x_i是已知的标志点位置，C_i是对应的系数，N是特征点的总数目。我们可以得到径向基函数如下：

$f\left(x\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_i\mathrm{\φ}\left(\right||x-x_i|\left|\right)$ (公式11)

其中x表示一个顶点插值前的坐标，f(x)表示该顶点插值以后的坐标。

径向基函数方法是多个数据插值方法的综合，所有的径向基函数插值法都是准确的插值器，它们都能尽量适应你的数据。径向基函数的核函数有不同的形式，针对不同的应用场合，应该采取合适类型的核函数。一些常见的径向基函数核函数如表1所示。

表1

φ(h)＝(h2+R2)3/2	自然三次样条函数
		φ(h)＝1/(h2×R2)1/2	倒转复二次函数
φ(h)＝(h2×R2)1/2	复二次函数
		φ(h)＝(h2+R2)log(h2+R2)	薄平面样条函数
φ(h)＝exp(-h2/c)	高斯函数

该表中，h参数表示点(x，y，z)到第i个数据点的距离，R参数表示平滑因子。复二次函数法是最早提出并且应用最为成功的一种方法，数据点数量不大的情况下，计算也不是很复杂。薄平面样条方法从力学观点来看，是使得插值函数所代表的弹性薄板受限于插值点，并且具有最小的弯曲能量。高斯核函数中，当h逐渐增大时，函数值趋近于0，因此即使在输入数据和采样点差异很大的情况下，高斯函数仍能够可靠地插值三维空间中的数据集，这使得它在数据插值和逼近中的应用相当广泛。

使用RBF插值方法进行空间网格变形的步骤如下：

(1)人脸网格是由三维空间中的散乱点构成的多边形面片组成。根据散乱数据插值的定义，即找到一个光滑的插值函数f(p)，该插值函数在特征点处满足约束条件如公式10所示。根据已知特征点位移建立约束条件，求解该函数，然后利用该函数得到非特征点处的位移，进而得到整个网格模型的变形结果。

Δp_i＝f(p_i)0≤i≤N            (公式12)

(2)本方法使用的径向基函数插值的方法如下式所示。

$f\left(M\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\mathrm{\φ}\left(\right||M-M_i|\left|\right)$ (公式13)

其中，||M-M_i||表示M与M_i之间的欧氏距离。该插值函数加上低阶多项式部分以表示整体变换，则得到结果如下式所示。

$f\left(M\right)=p\left(M\right)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\mathrm{\φ}\left(\right||M-M_i|\left|\right)$ (公式14)

(3)由于三阶调和样条对三个变量的逼近函数是一个很好的选择，我们选择一个简单的平滑插值函数如公式13所示作为我们的插值函数。

$f\left(M\right)=c_1+c_{2}x+c_{3}y+c_{4}z+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{|M-M_i|}^3$ (公式15)

(4)为了保证光滑性，需满足如下式所示条件。

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{x}_i=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{y}_i=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{z}_i=0$ (公式16)

(5)将(3)中的公式的已知数值联合(4)中公式，就可以得到获取特定RBF所需系数的线性求解系统，如下式所示。

$\left[\begin{array}{cccccccc}{\mathrm{\φ}}_{11}& {\mathrm{\φ}}_{12}& ...& {\mathrm{\φ}}_{1N}& 1& x_1& y_1& z_1\\ {\mathrm{\φ}}_{21}& {\mathrm{\φ}}_{22}& ...& {\mathrm{\φ}}_{2N}& 1& x_2& y_2& z_2\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ {\mathrm{\φ}}_{N1}& {\mathrm{\φ}}_{N2}& ...& {\mathrm{\φ}}_{\mathrm{NN}}& 1& x_N& y_N& z_N\\ 1& 1& ...& 1& 0& 0& 0& 0\\ x_1& x_2& ...& x_N& 0& 0& 0& 0\\ y_1& y_2& ...& y_N& 0& 0& 0& 0\\ z_1& z_2& ...& z_N& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{\mathrm{\λ}}_1\\ {\mathrm{\λ}}_2\\ .\\ .\\ .\\ {\mathrm{\λ}}_N\\ c_1\\ c_2\\ c_3\\ c_4\end{array}\right]=\left[\begin{array}{c}{u}_1\\ u_2\\ .\\ .\\ .\\ u_N\\ 0\\ 0\\ 0\\ 0\end{array}\right]$ (公式17)

其中，φ_ij＝|M_i-M_j|³，i，j＝1，2，3，…，N。

其中，N表示特征点的个数，φ_ij表示为第i个特征点与第j个特征点之间的欧氏距离，(x_i，y_i，z_i)表示第i个特征点的三维坐标，u_i表示第i个特征点对应的插值函数的值。λ₁～λ_i和c1～c4为待求解的系数。

该线性方程组能够确定系数λ_i(i＝1，2，3，N)和C_i(i＝1，…，4)，系数已知，则得到f(M)的值。

采用该65个特征点引导变形，不需要求解复杂的方程，也不需要进行迭代循环，只需要解(5)的线性方程组即可。

上述步骤305c根据所述第一网格顶点的坐标以及上述公式(17)，通过求解该线性方程组，可以确定系数λ₁～λ_i和c1～c4，得到插值函数，将第二网格顶点的坐标代入插值函数就能够得到其对应的第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标。

使用径向基函数插值方法进行人脸网格模型变形的试验步骤如下：

统一模型坐标系统。在两个三维坐标系统中均取鼻尖点为坐标原点，并且对模型进行整体缩放，使得两个坐标系统中模型等高、等宽和等深。利用上面介绍的径向基函数插值算法，选定若干个特定网格点作为特征点，改变特征点的位移，由已知的特征点的位移，求解该模型对应的插值函数。对模型上的所有点代入公式15计算位移分量，得到最终的模型空间点坐标。比如，选定人脸轮廓及眼睛、嘴巴、鼻子轮廓的65个点作为特征点，改变鼻子轮廓的10个特征点使之沿鼻尖原点等比例的放大缩小来引导鼻子的放大缩小。

由于RBF是一个完全准确的插值器，一般人脸网格经过RBF调整后，特征点准确地移到了实际位置，非特征点也移到了相应的位置。RBF网格变形的最终建模精确度不仅与插值方法有关，而且与特征点选择的数量多少有关。特征点数目选择越多，建模的精确度就越高。

选取鼻尖点作为坐标原点，将二维图像的特征点坐标(x，y)经过平移、缩放等变换映射到三维空间中，作为关键网格点变形之后的新位置的x和y值，关键网格点变形之后的z坐标值不变，取原值。这样就得到了用于引导变形的关键网格点的新位置，从而建立了网格变形的约束条件。通过这个约束条件，用上述提到的径向基函数插值方法对标准模型进行网格变形，就生成了新的个性化人脸几何模型。基于径向基函数插值方法的人脸网格变形简单有效，在一般情况下能够满足实际需求。从实验结果可以看出变形后的三维网格仍保持良好的连续性、光滑性。根据步骤303中检测出来的人脸图片中的特征点，调整预先获得的预设标准人脸模型中网格顶点的位置，使其成为个性化人脸模型。可以将这一步的工作理解为调整三维人脸的“骨骼”结构，使其与人脸图片中对应的真实人头更加接近。

306、根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分；

到目前为止，我们生成的三维人脸模型是网格化表示的，既是没有“皮肤”的，需要从人脸图片中提取出人脸部分，通过将提取的二维人脸部分与三维人头模型的纹理映射，将三维人脸模型贴上“皮肤”，使其更具真实感。

307、根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示鼻尖的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标；

从照片中提取出人脸部分作为人脸模型对应部分的纹理，计算出个性化人脸模型上顶点的纹理坐标。其中，纹理是对物体表面细节的总称。计算机图形学中的纹理既包括通常意义上物体表面的纹理即使物体表面呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的彩色图案，通常我们更多地称之为花纹。简单地说，纹理映射就是在物体的表面上绘制彩色的图案。在我们的人脸模型中，网格只能表现人脸的几何形状特征，而人脸表面的颜色特征，比如皮肤、黑痣等则要通过纹理来表现。

308、将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。

步骤306-308为对个性化三维人脸模型进行贴图的过程。在得到个性化三维人脸模型之后，系从照片中提取出人脸部分作为个性化三维人脸模型对应部分的纹理。同样我们以鼻尖为中心，以图像鼻尖特征点和模型鼻尖特征顶点对齐为约束将模型垂直投影到X-Y平面，计算出个性化三维人脸模型上各个顶点的纹理坐标，将个性化三维人脸模型进行贴图，就生成具有真实感的三维虚拟人头像。

在本发明的建模过程中，首先对传统的ASM算法进行了有效的改进，以人脸轮廓信息作为约束条件，根据人脸各部分的比例关系，利用线性插值的方法，很简便地得到人脸额头的特征点信息。同时采用以左右眉毛特征点所连线段的中心点与鼻子中心点的连线作为Y轴来判断人脸位置的偏移程度的方法。对线性插值出来的额头点做相应的旋转操作来调整额头特征点的位置，以此避免当测试图片中的人脸位置发生偏移时，前额特征点的插值结果出现的误差。并采用了一个完全准确的插值器RBF来对非控制点移动后的位置进行插值，使得插值后得到的三维人脸的五官位置准确，并且五官边缘连续、光滑。

本实施例提供的方法，通过获取单幅人脸图片上用于表征人脸特征信息的特征点，并将其应用到三维人脸模型中，生成一个包括额头部分的具有更强真实感的个性化三维人脸模型，无需手工标示特征点，大大减少了人工处理量，且适用于要求简洁、快速的建模场合，且由于特征点中包括了人脸额头部分的特征点，丰富了人脸特征点的信息，并使得生成的三维人脸具有额头部分的形状，提高了生成的三维虚拟人头像的真实感，准确率高。进一步地，对硬件的要求不高，在普通的PC机上就能满足实时建模的要求，而且建模快速、简洁、无任何手工交互。

在介绍本发明提供的人头像运动跟踪方法之前，首先对本发明的基础知识进行简要的介绍：

关键技术一：基于Haar特征的人脸检测算法

基于Haar特征的人脸检测算法是Viola等人于2002年提出来的。它是最近几年被引用较多，较典型的人脸检测算法，具有检测速度快、鲁棒性好、可以实时检测等优点。

(1)Haar特征

对人脸检测我们就要有依据，我们选取人脸特征作为依据。借助特征进行检测，是因为特征本身就包含了很多局部信息，并且这些局部信息知识是很难通过有限次的训练数据得到的。另一方面如果我们依据选单个像素进行检测耗时太多，而依据特征的检测要比基于象素的检测快的多。为此，采用了一组类似Haar小波变换的滤波器来构造图像的特征值(简称Haar特征)，并进行计算。

(2)积分图

就像用积分计算图形面积一样，为了快速计算不同尺度下图像的特征，选取了积分图的方式。积分图中的每个点的值为图像中该点左上部分所有象素点的值的累加，这样通过计算图像所对应的积分图，就可以在有限时间内计算出来任意尺度上的图像特征。根据上面的方法，对输入图像进行一次遍历，就可以得到积分图，也就是说在常数时间内得到任意大小的图像的特征。使用积分图可以在多尺度上进行计算，并且可在常数时间内完成。我们知道，一个数字化的图像中，随着目标离摄像机的距离不同，由于透镜成像的特点，导致目标所在区域的大小是不同的。离摄像机越远，目标越小；反之越大。要检测出图像中的任意大小的目标，必须进行多尺度扫描。

过去，都是使用“金字塔(pyramid)”计算。每一遍扫描图像的时候，都使用高斯函数，对上一次扫描的图像进行像素归并运算。这样就可以使用一个固定尺度的检测器在这些不同尺度的图像上扫描。金字塔方法运算量非常大。Haar检测器和其他的检测器一样，也需要多尺度扫描，一般图像扫描11个尺度，每次搜索窗口增加1.2倍。由于利用了积分图像的任意矩形可以在常数时间内计算的特性，多尺度扫描基本上不需要增加任何的计算量。

(3)弱分类器

利用特征可以组建分类器，弱分类器是由一些粗略的经验规则组成的分类器，每一个弱分类器和图像的一个Haar特征相对应，对要进行识别的图像都有一定的分类能力。要在数以万计个弱分类器中选择检测错误率最小那部分来作为使用的弱分类器。一个检测窗口x的弱分类器hj(x)可以表示为：

这里，x代表样本空间中的样本，j为第j个弱分类器，fj(x)为图像的子窗口对于Haar特征j的特征值，θ_j表示第j个弱分类器的阀值，pj为指示不等式方向的符号，取值范围为1和-1。

给定一个Haar特征j和带标记的正负样本集(人脸与非人脸样本)，可用如下算法构建其对应的弱分类器：

第一步：计算每一个样本对于Haar特征j的特征值；

第二步：对所有特征值进行排序；

第三步：For s＝0...N(N为样本总数)

以第s个特征值作为当前分类的阀值。

令Pj＝1将所有小于该阀值的样本分类为负样本，将所有大于该阀值的样本分类为正样本，然后与实际情况相比较，计算分类错误率。

令Pj＝-1将所有小于该阀值的样本分类为正样本，将所有大于该阀值的样本分类为负样本，然后与实际情况相比较，计算分类错误率；

第四步：选择错误率最小的特征值和方向符号作为弱分类器的阀值和方向符号。

(4)强分类器

利用大量的分类能力一般的弱分类器通过一定方法进行多次迭代，最终叠加起来，可以成为具有很强分类能力的强分类器。理论证明如果每个弱分类器分类能力好于随机猜测，当简单分类器个数趋向于无穷多个时，强分类器的出错概率将接近0。我们使用AdaBoost算法从一个包含上万种Haar特征的集合中筛选出少数具有较强分类功能的弱分类器，将它们组合成一个强分类器。AdaBoost算法如下：

第一步：对于正负样本集(x1，y1)，…，(xn，yn)，其中yi＝(0，1)分别表示正样本和负样本；

第二步：对所有样本初始化权值

其中m和l分别表示正负样本数目；

第三步：For t＝1...T，

1、归一化样本权值

$w_{t,i}\←\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,j}}$

这样就使得w_t为一个概率分布。

2、对于每一个Haar特征j，使用上面的算法训练一个弱分类器hj，分类器的错误率：

${\mathrm{\ϵ}}_t=\underset{i}{\mathrm{\Σ}}{w}_i|h_j\left(x_i\right)-y_i|$

3、选择分类错误ε_t最小的弱分类器ht

4、更新样本权值：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中若样本x_i分类正确则e_i＝0；否则e_i＝1。

${\mathrm{\β}}_t=\frac{e_t}{1-e_t}$

第四步：最终的强分类器为：

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}$

对于人脸检测，AdaBoost选择的权重最高的几个矩形特征很容易理解。第一个特征关注的，就是包含眼睛的区域总是比鼻子和面颊的矩形区域亮度上更暗(亮度值小于某个阀值)。这个特征是和人脸大小以及位置无关。第二个特征表示的，是眼睛所在的区域总是比鼻梁所在的区域亮度上更暗。

(5)层叠器

为了进一步提高人脸检测的准确率同时降低计算的复杂性，我们采用层叠器(Cascade)的结构来构建整体的人脸检测算法，层叠器其实是一棵退化的决策树。前面一层的分类器对子窗口的图像进行分类后，如果分类结果是“T”即被认定为人脸窗口，那么子窗口就被传递到下一层分类器，并且触发下一层分类器进行处理，如此下去直到最后一个分类器。如果子窗口通过所有的分类器则该子窗口最终被认定为人脸窗口。层叠器的结构反映了这样的事实，就是在任何一个图形中，层叠器总是试图在早期就拒绝大多数的非人脸矩形，则人脸矩形总是触发所有的分类器。

构造一个优秀的层叠器需要设计的内容包括层叠器的层数、每一层的Haar特征数和每一层的阀值。

关键技术二：强角点检测算法

强角点又称Harris角点，是指图像中特征信息比较明显，易于跟踪检测的点。Harris角点可以通过Harris角点检测算子遍历图像中所有像素得到。Harris角点检测算子是Moravec角点检测算子的改进。Moravec在1981年提出Moravec角点检测算子，并将它应用于立体匹配。

首先，计算每个像素点的兴趣值，即以该像素点为中心，取一个w*w(如：5x5)的方形窗口，计算0度、45度、90度、135度四个方向灰度差的平方和，取其中的最小值作为该像素点的兴趣值。如下式：

$E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2$

其中四种移位(u，v)＝(1，0)，(1，1)，(0，1)，，(-1，1)。w(x，y)为方形二值窗口，若像素点在窗口内，则取值为1，否则为0。

其次，根据实际图像设定一个阈值，遍历图像以兴趣值大于该阈值的点为候选点。

最后，选一个一定大小的滑动窗口，让该窗口遍历灰度图象，在此过程中取窗口中兴趣值最大的候选点为特征点，算法结束。Moravec角点检测算子对斜边缘的响应很强，因为只考虑了每隔45度的方向变化，而没有在全部的方向上进行考虑；同时由于窗口函数是一个二值函数，不管像素点离中心点的距离，赋于一样的权重，因此对噪声响应也较强。最终对角点的定位也不是很准确。

Harris角点检测算子是Moravec角点检测算子的改进。

(1)Harris算子用高斯函数代替二值窗口函数，对离中心点越近的像素赋于越大的权重，以减少噪声影响。

$w(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

(2)Moravec算子只考虑了每隔45度方向，Harris算子用Taylor展开去近似任意方向。

$\begin{array}{c}E(u,v)=\underset{x,y}{\mathrm{\Σ}}w(x,y){[I(x+u,y+v)-I(x,y)]}^2\\ =\underset{x,y}{\mathrm{\Σ}}w(x,y){[I_{x}u+I_{y}v+O]}^2\end{array},$ 写成矩阵形式：

$M=\underset{x,y}{\mathrm{\Σ}}w(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]=w(x,y)\⊗\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$

$E(u,v)\≅[u,v]M\left[\begin{array}{c}u\\ v\end{array}\right]$

式中，Ix为x方向的差分，Iy为y方向的差分，w(x，y)为高斯函数。

(3)Harris采用了一种新的角点判定方法。矩阵M的两个特征向量l1和l2与矩阵M的主曲率成正比。Harris利用l1、l2来表征变化最快和最慢的两个方向。若两个都很大就是角点，一个大一个小就是边缘，两个都小就是在变化缓慢的图像区域。

但是解特征向量需要比较多的计算量，且两个特征值的和等于矩阵M的迹，两个特征值的积等于矩阵M的行列式。所以用下式来判定角点质量。(k常取0.04-0.06)

R＝detM-k(traceM)²

(4)Harris算法总结

第一步：对每一像素点计算相关矩阵M。

$A=w(x,y)\⊗I_x^2$

$B=w(x,y)\⊗I_y^2$

$C=D=w(x,y)\⊗\left(I_x{I}_y\right)$

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right)$

第二步：计算每像素点的Harris角点响应。

R＝(AB-CD)²-k(A+B)²

第三步：在w*w范围内寻找极大值点，若Harris角点响应大于阀值，则视为角点。

Harris算子对灰度的平移是不变的，因为只有差分，对旋转也有不变性，但是对尺度很敏感，在一个尺度下是角点，在另一个尺度下可能就不是了。

Harris算子是一种有效的点特征提取算子，其优点总结起来有：1、计算简单：Harris算子中只用到灰度的一阶差分以及滤波，操作简单。2、提取的点特征均匀而且合理：Harris算子对图像中的每个点都计算其兴趣值，然后在邻域中选择最优点。实验表明，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少。3、稳定：Harris算子的计算公式中只涉及到一阶导数，因此对图像旋转、灰度变化、噪声影响和视点变换不敏感，它也是比较稳定的一种点特征提取算子。

关键技术三：光流算法

光流是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者(比如眼睛、摄像机等)和背景之间形成的明显移动。光流技术，如运动检测和图像分割、时间碰撞、运动补偿编码和三维立体视差等都是利用了这种边缘或表面运动的技术。二维图像的移动对于观察者而言是三维物体运动的在图像平面上的投影。有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。

光流算法的作用是评估两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。

Lucas-Kanade光流法

光流场的计算最初是由Horn和Schunck提出的。它计算两帧图像在时间t到t+δt之间每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。图像约束方程可以写为I(x，y，z，t)＝I(x+δx，y+δy，z+δz，t+δt)。I(x，y，z，t)为在(x，y，z)位置的像素。假设移动足够的小，那么对图像约束方程使用泰勒公式，可以得到：

$I(x+\mathrm{\δx},y+\mathrm{\δy},z+\mathrm{\δz},t+\mathrm{\δt})=I(x,y,z,t)+\frac{\∂I}{\∂x}\frac{\mathrm{\δx}}{\mathrm{\δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\δy}}{\mathrm{\δt}}+\frac{\∂I}{\∂z}\frac{\mathrm{\δz}}{\mathrm{\δt}}+\frac{\∂I}{\∂t}+H.O.T.$

H.O.T.指更高阶，在移动足够小的情况下可以忽略。从这个方程中可以得到：

$\frac{\∂I}{\∂x}\frac{\mathrm{\δx}}{\mathrm{\δt}}+\frac{\∂I}{\∂y}\frac{\mathrm{\δy}}{\mathrm{\δt}}+\frac{\∂I}{\∂z}\frac{\mathrm{\δz}}{\mathrm{\δt}}+\frac{\∂I}{\∂t}\frac{\mathrm{\δt}}{\mathrm{\δt}}=0$

记V＝(Vx，Vy，Vz)为I(x，y，z，t)的光流中心向量，其中

和

则是图像在(x，y，z，t)这一点向相应方向的差分。则上式可以写成：

${(\▿I)}^T\·V=-I_t$

这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法：假设V在一个大小为m*m*m(m＞1)的小窗中是一个常数，那么从像素1...n，n＝m3中可以得到下列一组方程：

I_x1V_x+I_y1V_y+I_z1V_z＝-I_t1

I_x2V_x+I_y2V_y+I_z2V_z＝-I_t2

.

.

.

I_xnV_x+I_ynV_y+I_znV_z＝-I_tn

三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：

$\left[\begin{array}{ccc}{I}_{x1}& I_{y1}& I_{z1}\\ I_{x2}& I_{y2}& I_{z2}\\ .& .& .\\ .& .& .\\ .& .& .\\ I_{\mathrm{xn}}& I_{\mathrm{yn}}& I_{\mathrm{zn}}\end{array}\right]\left[\begin{array}{c}{V}_x\\ V_y\\ V_z\end{array}\right]=\left[\begin{array}{c}-I_{t1}\\ -I_{t2}\\ .\\ .\\ .\\ -I_{\mathrm{tn}}\end{array}\right]$

记上式为：AV＝-b。为了解决这个超定问题，我们采用最小二乘法：

A^TAV＝A^T(-b)＝＞V＝(A^TA)^-1A^T(-b)

得到：

$\left[\begin{array}{c}{V}_x\\ V_y\\ V_z\end{array}\right]={\left[\begin{array}{ccc}\mathrm{\Σ}{I_{\mathrm{xi}}}^2& \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{yi}}& \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{zi}}\\ \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{yi}}& \mathrm{\Σ}{I_{\mathrm{yi}}}^2& \mathrm{\Σ}{I}_{\mathrm{yi}}{I}_{\mathrm{zi}}\\ \mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{zi}}& \mathrm{\Σ}{I}_{\mathrm{yi}}{I}_{\mathrm{zi}}& \mathrm{\Σ}{I_{\mathrm{zi}}}^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\mathrm{\Σ}{I}_{\mathrm{xi}}{I}_{\mathrm{ti}}\\ \mathrm{\Σ}{I}_{\mathrm{yi}}{I}_{\mathrm{ti}}\\ \mathrm{\Σ}{I}_{\mathrm{zi}}{I}_{\mathrm{ti}}\end{array}\right]$

其中的求和是从1到n。

这也就是说寻找光流可以通过在四维上图像导数的分别累加得出。这个算法的不足在于它不能产生一个密度很高的流向量，例如在运动的边缘和黑大的同质区域中的微小移动方面流信息会很快的褪去。它的优点在于有噪声存在时的其鲁棒性较强。

关键技术四：POSIT算法

POSIT(Pose from Orthography and Scaling with ITerations)算法是一个能根据单张二维图像计算出物体在三维空间中的姿势的算法。它是由美国马里兰大学的DeMenthon教授于1995年提出来的。本算法根据给定的物体特征点在二维图像上投影的坐标，使用一个弱投影摄像机模型估计出物体在三维空间中的初始姿势，然后根据估计出来的初始姿势计算物体在该姿势下其特征点在二维图像上投影的坐标。当新计算出来的点坐标与原来给定的点坐标趋向一起的时候，算法结束，否则继续迭代。

(1)姿势定义

一个物体在空间任意运动时，可分解为质心O的平动和绕通过质心轴的转动，它既有平动自由度还有转动自由度。确定刚体质心O的位置，需三个独立坐标(x，y，z)-自由刚体有三个平动自由度t＝3；

确定物体通过质心轴的空间方位——三个方位角(α，β，γ)中只有其中两个是独立的——需两个转动自由度；另外还要确定物体绕通过质心轴转过的角度θ——需一个转动自由度。这样，确定物体绕通过质心轴的转动，共有三个转动自由度r＝3。所以，一个任意运动的物体，总共有6个自由度，即3个平动自由度和3个转动自由度，即i＝t+r＝3+3＝6。我们用这6个自由度来描述一个运动中的物体的姿势。POSIT算法的目的就是求出描述这6个自由度的旋转和偏移矩阵。

(2)几何图像构成

连接三维空间中的点与其对应二维图像上的纽带是从三维空间到二维图像空间的投影。下图所示为投影(或针孔)模型，它是目前使用最广泛的投影模型。

根据三维空间中的点与投影中心点的距离可以将其投影到二维图像平面上。根据相似三角形原理，二维平面上的点p_i＝(x_i，y_i)和三维空间中的点P_i＝(X_i，Y_i，Z_i)有如下关系：

$x_i=\frac{f}{Z_i}{X}_i,$ $y_i=\frac{f}{Z_i}{Y}_i$

其中f为投影中心点到二维图像平面的垂直距离。

为了简化计算，假设三维空间中的特征点的深度值是很相近的，这时可以使用一个常数Z代替公式1中的Z_i。令s＝f/Z，则上述公式可改写如下：

x_i＝sX_i，y_i＝sY

将改写后的公式的投影模型称为弱透视(weak-perspective)投影模型，由于该模型的投影过程可以分解为先进行正交投影(x_i＝X_i，y_i＝Y)然后对投影后的结果进行尺度变换，弱投影也称为尺度变换的正交投影(Scaled Orthographic Projection)。弱透视投影模型只有在物体离摄像机足够远，其特征点的位置比较集中的情况下才是有效地。常数Z的值可以设置成为任意一个Z_i的值或者所有Z_i的平均值。

(3)姿势估计

利用弱透视投影模型，DeMenthon于1992年提出了POS(Pose from Orthography and Scaling)算法用来估计物体的姿势。首先取一个三维空间中的点P₀作为参考点，然后把三维空间中的其他点表示成为向量形式：

同样的，我们取P₀在二维图像平面上的投影点p₀作为二维图像平面上的参考点，将二维图像平面上的其他点表示成向量形式：

根据弱投射模型的假设，向量的x分量是向量

的x分量尺度缩小后的结果：

$x_i-x_0=s(X_i-X_0)=s(P_0\·\hat{i})$

其中

为物体在x方向上的旋转向量。

向量的y分量的计算方法类似。如果我们把向量I和向量J定义成为向量

和向量

的尺度放大后的向量那么可得：

$x_i-x_0={\stackrel{\→}{P}}_i\·I$

$y_i-y_0={\stackrel{\→}{P}}_i\·J$

把所有的特征点集合在一起可以将上式写成矩阵的形式：

x＝MI

y＝MJ

其中x和y分别是由所有向量的x和y方向的分量组成的向量，M是行向量由

组成的矩阵。上式可以改写成如下式：

$\left[\begin{array}{cc}\underset{\‾}{x}& \underset{\‾}{y}\end{array}\right]=M\left[\begin{array}{cc}I& J\end{array}\right]=>{\underset{\‾}{\overset{\→}{p}}}_{i}C=M\left[\begin{array}{cc}I& J\end{array}\right]$

其中为一个行向量由

组成矩阵。通过对上式进行变换，可以得到求解I和J的一个线性方程组：

$\left[\begin{array}{cc}I& J\end{array}\right]=M^{+}{\underset{\‾}{\overset{\→}{p}}}_i$

其中M⁺是M的伪逆矩阵。利用最小二乘法求解该线性方程组可以求出I和J的值。归一化向量I和J后得到单位向量

可以构建出物体的旋转矩阵R如下：

$R=\left[\begin{array}{c}{\hat{i}}^T\\ {\hat{j}}^T\\ {(\hat{i}\×\hat{j})}^T\end{array}\right]$

物体的偏移矩阵T即为三维方向上参考点P₀的坐标：

T＝P₀＝p₀/s＝[x₀ y₀ f]/s

其中s为I和J的长度的平均值。

(4)算法过程

由于POS算法的假设前提是物体所有特征点的深度值即Z方向上的值是一样的，所以用该算法求得的旋转及偏移矩阵会有一定的误差。POSIT算法通过多次迭代POS算法的过程来得到一个相对最准确地姿势。POSIT算法首先通过调用一次POS算法计算出物体的一个姿势，然后在该姿势下计算出物体在二维图像平面上的投影点的坐标，如果新计算出来的投影点的坐标与旧的投影点坐标的差别小于一定值则算法终止，否则根据新计算出来的投影点的坐标再调用POS算法计算出物体的一个姿势，继续迭代。

POSIT算法需要三种输入数据：

1、物体模型数据。该种数据为一个N*3大小的矩阵，它们是物体的N个特征点在三维空间下的初始坐标值即没有发生旋转和偏移的情况下的坐标值。N的值必须大于3，且为了降低算法的难度这N个特征点必须是非共面的。本发明中使用在人脸中检测出来的强角点作为物体的特征点，其坐标值中的x值和y值根据特征点在摄像机拍摄图片(人头没有发生旋转和偏移时拍摄的人脸图片)中的坐标值根据经验进行一定比例的放大得到，其深度信息我们根据公式：sin(πx)估计得到。

2、物体影像数据。该种数据为一个N*2大小的矩阵，它们是物体的N个特征点在二维图像平面上的投影坐标值。本发明中即为在摄像机拍摄的图片中人脸强角点的坐标值集合。

3、摄像机内参数，即摄像机镜头与二维图像平面之间的距离。

POSIT算法的步骤如下：

1、假设物体影像数据为物体在二维图像平面上的一个弱透视投影，利用POS算法计算得到物体的一个姿势即物体的旋转偏移矩阵。

2、根据得到的旋转偏移矩阵计算物体在二维图像平面上的弱透视投影的坐标值。

3、如果新计算出来的投影点的坐标与旧的投影点坐标的差别小于一定值则算法终止，否则根据新计算出来的投影点的坐标再调用POS算法计算出物体的一个姿势，继续迭代。

根据算法第一步的假设物体在二维图像平面上的投影是一个弱透视投影，当物体距离摄像机足够远的情况下，算法的误差是比较小的，这时算法只需要几次迭代就能找到那个相对最优的姿势。大多数情况下摄像机与物体的位置都是满足假设要求的。

图4是本发明实施例提供的一种人头像运动跟踪方法的流程图。参见图4，该实施例包括：

401、获取人头像的视频；

本领域技术人员可以获知，在进行人头像运动跟踪时，需要根据一系列连续的图像对其动作进行追踪，因此应获取包含至少预设数值帧的视频。该视频的具体大小可以由技术人员的设置。

402、检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

由于是对人头像的追踪，所以需要将图像中的人脸区别出来。

具体地，该检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域的过程包括：利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。基于Haar特征的人脸检测算法如下：

(1)使用Harr特征表示人脸，使用积分图实现特征数值的快速计算；

(2)使用Adaboost算法挑选出最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器；

(3)对强分类器进行训练，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，通过该层叠分类器得到每一帧图像中的人脸区域，级联结构能有效地提高分类器的检测速度。

优选地，本实施例中的层叠器包含32层。第一层使用2个简单的双矩形Haar特征分类器，如图11所示，可以拒绝60％的反例和达到100％检测率；第二层使用5个特征分类器，可以拒绝80％的反例和达到100％的检测率；第三、四、五层使用20个特征分类器。

403、从所述每一帧图像中的人脸区域中查找强角点；

该强角点作为特征点，使得POSIT算法无需手工预先定义三维物体的特征点。

具体地，利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置；

或，利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。

进一步地，通过映射函数sin(πx)根据强角点在视频图像中的二维坐标估计出其三维坐标，使得POSIT算法无需手动输入特征点的三维坐标。

404、根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

根据查找出来的强角点，利用POIST算法可以计算出当前人头的姿势，即可以计算出当前人头像的旋转偏移矩阵。POIST算法如下：

(1)假设物体影像数据为物体在二维图像平面上的一个弱透视投影，利用POSIT算法计算得到物体的一个姿势即物体的旋转偏移矩阵。

(2)根据得到的旋转偏移矩阵计算物体在二维图像平面上的弱透视投影的坐标值。

(3)如果新计算出来的投影点的坐标与旧的投影点坐标的差别小于一定值则算法终止，否则转第一步，继续迭代。

405、根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

本实施例提供的方法，通过利用人脸检测、强角点检测算法、光流算法三个现有算法得到人脸区域的强角点，将其作为POSIT算法需要的三维物体的特征点，获取人头的旋转偏移矩阵，将它们应用到无姿势的三维人头上去，可以得到具有跟真人人头像一样姿势的三维人头，其特征点通过计算机自动检测强角点的位置信息得到。使得用户无需手动输入真人人头的真实位置信息，而是只需要随意的改变自己身体头部的姿势来改变三维人头的姿势即视频实时驱动三维人头，提高了跟踪的真实性和实时性。

图5是本发明实施例提供的一种三维虚拟人头像生成装置的结构示意图。参见图5，该实施例包括：

特征点获取模块501，用于采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

个性化三维人脸模型获取模块502，用于根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

三维虚拟人头像获取模块503，用于对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

其中，参见图6，所述特征点获取模块501具体包括：

采集单元5011，用于采集人脸图片；

特征点获取单元5012，用于根据预设算法从所述人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，得到用于表示人脸的77个特征点。

其中，所述特征点获取单元5012包括：

椭圆确定子单元5012a，用于根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式；

特征点获取子单元5012b，用于根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点。

所述个性化三维人脸模型获取模块502具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型。

所述个性化三维人脸模型获取模块502具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的网格顶点作为第一网格顶点，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，所述第二网格顶点为所述预设标准人脸模型上所述第一网格顶点以外的网格顶点，将调整后的预设标准人脸模型作为个性化三维人脸模型。

所述个性化三维人脸模型获取模块502包括：

调整单元5021，用于根据所述第一网格顶点的坐标以及下述公式，获取第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标，

$\left[\begin{array}{cccccccc}{\mathrm{\φ}}_{11}& {\mathrm{\φ}}_{12}& ...& {\mathrm{\φ}}_{1N}& 1& x_1& y_1& z_1\\ {\mathrm{\φ}}_{21}& {\mathrm{\φ}}_{22}& ...& {\mathrm{\φ}}_{2N}& 1& x_2& y_2& z_2\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ {\mathrm{\φ}}_{N1}& {\mathrm{\φ}}_{N2}& ...& {\mathrm{\φ}}_{\mathrm{NN}}& 1& x_N& y_N& z_N\\ 1& 1& ...& 1& 0& 0& 0& 0\\ x_1& x_2& ...& x_N& 0& 0& 0& 0\\ y_1& y_2& ...& y_N& 0& 0& 0& 0\\ z_1& z_2& ...& z_N& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{\mathrm{\λ}}_1\\ {\mathrm{\λ}}_2\\ .\\ .\\ .\\ {\mathrm{\λ}}_N\\ c_1\\ c_2\\ c_3\\ c_4\end{array}\right]=\left[\begin{array}{c}{u}_1\\ u_2\\ .\\ .\\ .\\ u_N\\ 0\\ 0\\ 0\\ 0\end{array}\right]$

其中，N表示特征点的个数，φ_ij表示为第i个特征点与第j个特征点之间的欧氏距离，(x_i，y_i，z_i)表示第i个特征点的三维坐标，u_i表示第i个特征点对应的插值函数的值。λ₁～λ_i和c1～c4为待求解的系数。

所述三维虚拟人头像获取模块503包括：

人脸提取单元5031，用于根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分；

纹理坐标获取单元5032，用于根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标；

贴图单元5033，用于将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。

本实施例提供的装置，与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本发明实施例提供的一种人头像运动跟踪装置的结构示意图。参见图7，该实施例包括：

视频获取模块701，用于获取人头像的视频；

人脸区域获取模块702，用于检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

强角点查找模块703，用于从所述每一帧图像中的人脸区域中查找强角点；

矩阵获取模块704，用于根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

跟踪模块705，用于根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

所述人脸区域获取模块702具体用于利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。

参见图8，所述强角点查找模块703至少包括以下任一单元：

第一查找单元7031，用于利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置；

第二查找单元7032，用于利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。

所述矩阵获取模块704具体用于利用POSIT算法根据所述每一帧图像中的人脸区域的强角点的位置计算出视频中人头像姿势的旋转偏移矩阵。

本实施例提供的装置，与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种三维虚拟人头像生成方法，其特征在于，包括：

采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

2.根据权利要求1所述的方法，其特征在于，采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分，具体包括：

采集人脸图片，根据预设算法从所述人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，得到用于表示人脸的77个特征点。

3.根据权利要求2所述的方法，其特征在于，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，具体包括：

根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式，根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点。

4.根据权利要求1所述的方法，其特征在于，根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型，具体包括：

根据所述获取的特征点的坐标，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型。

5.根据权利要求1所述的方法，其特征在于，根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型，具体包括：

根据所述获取的特征点的坐标，调整预设标准人脸模型上的网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的网格顶点作为第一网格顶点，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，所述第二网格顶点为所述预设标准人脸模型上所述第一网格顶点以外的网格顶点，将调整后的预设标准人脸模型作为个性化三维人脸模型。

6.根据权利要求5所述的方法，其特征在于，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，具体包括：

根据所述第一网格顶点的坐标以及下述公式，获取第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标，

$\left[\begin{array}{cccccccc}{\mathrm{\φ}}_{11}& {\mathrm{\φ}}_{12}& ...& {\mathrm{\φ}}_{1N}& 1& x_1& y_1& z_1\\ {\mathrm{\φ}}_{21}& {\mathrm{\φ}}_{22}& ...& {\mathrm{\φ}}_{2N}& 1& x_2& y_2& z_2\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ {\mathrm{\φ}}_{N1}& {\mathrm{\φ}}_{N2}& ...& {\mathrm{\φ}}_{\mathrm{NN}}& 1& x_N& y_N& z_N\\ 1& 1& ...& 1& 0& 0& 0& 0\\ x_1& x_2& ...& x_N& 0& 0& 0& 0\\ y_1& y_2& ...& y_N& 0& 0& 0& 0\\ z_1& z_2& ...& z_N& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{\mathrm{\λ}}_1\\ {\mathrm{\λ}}_2\\ .\\ .\\ .\\ {\mathrm{\λ}}_N\\ c_1\\ c_2\\ c_3\\ c_4\end{array}\right]=\left[\begin{array}{c}{u}_1\\ u_2\\ .\\ .\\ .\\ u_N\\ 0\\ 0\\ 0\\ 0\end{array}\right]$

其中，N表示特征点的个数，φ_ij表示为第i个特征点与第j个特征点之间的欧氏距离，(x_i，y_i，z_i)表示第i个特征点的三维坐标，u_i表示第i个特征点对应的插值函数的值。λ₁～λ_i和c1～c4为待求解的系数。

7.根据权利要求1所述的方法，其特征在于，对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像，具体包括：

根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分；

根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标；

将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。

8.一种人头像运动跟踪方法，其特征在于，包括：

获取人头像的视频；

检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

从所述每一帧图像中的人脸区域中查找强角点；

根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

9.根据权利要求8所述的方法，其特征在于，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域，具体包括：

利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。

10.根据权利要求8所述的方法，其特征在于，从所述每一帧图像中的人脸区域中查找强角点，具体包括：

利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置；

或，利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。

11.根据权利要求8所述的方法，其特征在于，根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵，具体包括：

利用POSIT算法根据所述每一帧图像中的人脸区域的强角点的位置计算出视频中人头像姿势的旋转偏移矩阵。

12.一种三维虚拟人头像生成装置，其特征在于，包括：

特征点获取模块，用于采集人脸图片，获取所述人脸图片上的特征点，所述特征点用于表示左右眉毛、左右眼睛、鼻子、人脸的边缘轮廓和人脸额头部分；

个性化三维人脸模型获取模块，用于根据获取的特征点和预设标准人脸模型获取个性化三维人脸模型；

三维虚拟人头像获取模块，用于对所述个性化三维人脸模型进行纹理贴图，生成三维虚拟人头像。

13.根据权利要求12所述的装置，其特征在于，所述特征点获取模块具体包括：

采集单元，用于采集人脸图片；

特征点获取单元，用于根据预设算法从所述人脸图片上获取68个特征点，所述68个特征点包括12个用于表示左右眉毛的特征点、10个用于表示左右眼睛的特征点、12个用于表示鼻子的特征点和33个用于表示人脸的边缘轮廓的特征点，根据所述68个特征点获取用于表示人脸额头部分的9个特征点，得到用于表示人脸的77个特征点。

14.根据权利要求13所述的装置，其特征在于，所述特征点获取单元包括：

椭圆确定子单元，用于根据所述68个特征点中用于表示人脸的边缘轮廓的特征点中的指定17个特征点和椭圆公式，确定所述人脸的椭圆方程式；

特征点获取子单元，用于根据所述椭圆方程式，获取用于表示人脸额头部分的9个特征点。

15.根据权利要求12所述的装置，其特征在于，所述个性化三维人脸模型获取模块具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的第一网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的预设标准人脸模型作为个性化三维人脸模型。

16.根据权利要求12所述的装置，其特征在于，所述个性化三维人脸模型获取模块具体用于根据所述获取的特征点的坐标，调整预设标准人脸模型上的网格顶点的坐标，使得调整后的网格顶点与特征点的位置对应，将调整后的网格顶点作为第一网格顶点，根据所述第一网格顶点对所述预设标准人脸模型上的第二网格顶点进行调整，所述第二网格顶点为所述预设标准人脸模型上所述第一网格顶点以外的网格顶点，将调整后的预设标准人脸模型作为个性化三维人脸模型。

17.根据权利要求16所述的装置，其特征在于，所述个性化三维人脸模型获取模块包括：

调整单元，用于根据所述第一网格顶点的坐标以及下述公式，获取第三网格顶点的坐标，将所述第二网格顶点的坐标调整为对应的第三网格顶点的坐标，

$\left[\begin{array}{cccccccc}{\mathrm{\φ}}_{11}& {\mathrm{\φ}}_{12}& ...& {\mathrm{\φ}}_{1N}& 1& x_1& y_1& z_1\\ {\mathrm{\φ}}_{21}& {\mathrm{\φ}}_{22}& ...& {\mathrm{\φ}}_{2N}& 1& x_2& y_2& z_2\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ {\mathrm{\φ}}_{N1}& {\mathrm{\φ}}_{N2}& ...& {\mathrm{\φ}}_{\mathrm{NN}}& 1& x_N& y_N& z_N\\ 1& 1& ...& 1& 0& 0& 0& 0\\ x_1& x_2& ...& x_N& 0& 0& 0& 0\\ y_1& y_2& ...& y_N& 0& 0& 0& 0\\ z_1& z_2& ...& z_N& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{\mathrm{\λ}}_1\\ {\mathrm{\λ}}_2\\ .\\ .\\ .\\ {\mathrm{\λ}}_N\\ c_1\\ c_2\\ c_3\\ c_4\end{array}\right]=\left[\begin{array}{c}{u}_1\\ u_2\\ .\\ .\\ .\\ u_N\\ 0\\ 0\\ 0\\ 0\end{array}\right]$

其中，N表示特征点的个数，φ_ij表示为第i个特征点与第j个特征点之间的欧氏距离，(x_i，y_i，z_i)表示第i个特征点的三维坐标，u_i表示第i个特征点对应的插值函数的值。λ₁～λ_i和c1～c4为待求解的系数。

18.根据权利要求12所述的装置，其特征在于，所述三维虚拟人头像获取模块包括：

人脸提取单元，用于根据所述特征点中用于表示人脸的边缘轮廓的特征点，从所述人脸图片中提取出人脸部分；

纹理坐标获取单元，用于根据所述特征点中用于表示鼻尖的特征点和所述人脸部分中用于表示比较的特征点的位置，获取所述个性化三维人脸模型中各个网格顶点的纹理坐标；

贴图单元，用于将所述人脸部分根据所述纹理坐标进行贴图，生成三维虚拟人头像。

19.一种人头像运动跟踪装置，其特征在于，包括：

视频获取模块，用于获取人头像的视频；

人脸区域获取模块，用于检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域；

强角点查找模块，用于从所述每一帧图像中的人脸区域中查找强角点；

矩阵获取模块，用于根据所述每一帧图像中的人脸区域的强角点，获取所述视频中的人头像姿势的旋转偏移矩阵；

跟踪模块，用于根据所述旋转偏移矩阵旋转三维虚拟人头像，使得所述三维虚拟人头像的旋转能够跟踪所述视频中的人头像，所述三维虚拟人头像根据所述人头像生成。

20.根据权利要求19所述的装置，其特征在于，所述人脸区域获取模块具体用于利用基于Haar特征的人脸检测算法，检测所述视频的每一帧图像，获取所述每一帧图像中的人脸区域。

21.根据权利要求19所述的装置，其特征在于，所述强角点查找模块至少包括以下任一单元：

第一查找单元，用于利用强角点检测算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用光流算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置；

第二查找单元，用于利用光流算法在所述视频第一帧的人脸区域中检测强角点的位置，并利用强角点检测算法在所述视频第一帧以外的每一帧图像中跟踪所述强角点，得到所述强角点在所述视频第一帧以外的每一帧图像上的位置。

22.根据权利要求19所述的装置，其特征在于，所述矩阵获取模块具体用于利用POSIT算法根据所述每一帧图像中的人脸区域的强角点的位置计算出视频中人头像姿势的旋转偏移矩阵。

Images