CN101101672A - 基于虚拟图像对应的立体视觉三维人脸建模方法 - Google Patents

Abstract

本发明基于虚拟图像对应的立体视觉三维人脸建模方法，特征是利用一个参考人脸的三维模型估计输入立体图对中人脸的位姿参数，从而生成相同姿态下的参考人脸的虚拟图像对；由于虚拟图像之间的对应是已知的，通过计算同一姿态下输入人脸与参考人脸之间的对应关系，将虚拟图像对应扩展到输入立体图像的对应，大大改进了人脸立体图对的匹配效果，使由立体视差计算得到的人脸点云数据更为准确；通过将三维点云优化问题转化为一维曲线优化问题而大大提高了处理速度；最后从优化的点云中建立人脸三维表面，进行纹理映射，得到高真实感的人脸三维模型。本发明能够满足各种实际应用场合对三维人脸模型的需求，实用、快速、准确，有着广阔的应用前景。

Description

基于虚拟图像对应的立体视觉三维人脸建模方法

技术领域：

本发明属于图像处理和计算机视觉技术领域，具体涉及应用立体视觉建立人脸三维模型的方法。

背景技术：

目前，基于图像的人脸三维建模方法得到了广泛而深入的研究。《计算机应用》杂志2000年第20卷第7期41-45页和255-257页提出了利用正面和侧面两幅正交人脸图像生成人脸三维模型的方法，该方法的不足在于对输入图像的正交性有比较严格的要求。中国专利申请号200610088857.9提出的《基于单张照片的快速人脸建模方法及系统》和200610024720.7提出的《由一幅正面图像实现快速人脸模型重建的方法》对这种方法进行了简化，只使用其中的正面图像进行三维人脸建模，但由于其并未获得特定人脸的真实深度信息，生成的特定人脸的三维模型不很准确。《电气电子工程师协会模式分析与机器智能会报》(IEEE Transactions on Pattern Analysis and Machine Intelligence)1999年第21卷第8期690-706页所阐述的从明暗恢复深度(Shape from Shading)也可以由一幅图像恢复人脸的三维形状。但是，从明暗恢复深度方法所恢复的眼睛、鼻子、嘴巴等区域往往会出现凹陷，其深度信息是不太正确的，故不宜将该方法直接用于人脸的三维建模。此外，《可视化与计算机动画》(Journal of Visualization and ComputerAnimation)2001年第12卷第4期227-240页提出的方法可以从视频中建立人脸的三维模型。但视频序列的冗余信息较多，计算复杂度高。《电气电子工程师协会模式分析与机器智能会报》(IEEE Transaction on Pattern Analysis and Machine Intelligence)2003年第25卷第9期1063-1074页所提出的形变模型(Morphable Model)采用人脸三维数据库中的样本通过学习的方式来指导三维人脸建模，但该方法需要大量三维人脸数据作为基础，这在实际应用中很难得到满足。《图像与视觉计算》(Image and VisionComputing)2000年第18卷第4期337-343页提出的一种基于立体视觉的三维人脸建模方法，由于在左右图像对应关系计算过程中产生了很大的多义性，造成生成的三维人脸模型很不理想，大大偏离目标人脸，因此需要引入很多的约束和先验条件，在三维空间中对模型进行优化，这在很大程度上增加了建模工作的复杂度。

发明内容：

本发明针对现有技术的不足，提出一种适用于人脸的基于虚拟图像对应的立体视觉方法，能够从输入的被测人脸的立体图对中准确地建立被测人脸的三维模型。

本发明基于虚拟图像对应的立体视觉三维人脸建模方法，包括如下步骤：

(1)、标定左右摄像机的内外参数；

(2)、采集被测人脸的立体图对，并进行校正；

(3)、计算立体图对的对应关系；

(4)、利用得到的立体图对的对应关系，建立被测人脸的初始三维点云，并对三维点云进行优化处理；

(5)、在优化后的三维点云之上建立三角面片网格，从而得到被测人脸的三维表面；

(6)、利用输入的立体图对，合成三维模型的纹理；

其特征在于：

所述计算立体图对的对应关系，具体包括：首先，利用一个参考人脸三维模型，估计输入立体图对中的被测人脸的姿态、大小和位置，从而生成与输入立体图对中的被测人脸位姿相似的参考人脸的虚拟图像对；接着，计算输入立体图对与虚拟图像对之间的对应关系；最后，利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系；

所述对三维点云进行优化处理，其步骤为：首先通过一个自定义的均匀网格，对点云进行采样，使得点云以网格点坐标为x、y坐标；再插值得到各网格点对应的z坐标；接着以y坐标为游标，提取每一扫描行，即x-z平面内的一条曲线，利用滑动平均窗口算法对曲线的z值进行平滑处理；

所述估计输入立体图对中的被测人脸的姿态、大小和位置，具体为：首先在输入的二维人脸图像上定位6个以上的特征点，并预先标定三维模型上对应的特征点；接着建立三维模型特征点的投影点与二维图像特征点之间距离平方和的代价函数，该代价函数以投影矩阵为参数；最后通过非线性优化获得这些参数的最优值；

所述计算输入立体图对与虚拟图像对之间的对应关系，其步骤为：在输入图像上和虚拟图像上以人脸特征点为节点组成三角网格；根据在输入图像和虚拟图像上对应的三角形，建立每两个对应三角形之间的仿射关系；判断输入图像上某一点所属的三角形，并确定该三角形在虚拟图像上所处的位置，通过这两个三角形之间的仿射变换关系，将该点映射到虚拟图像上，从而获得其在虚拟图像上的对应点；

所述利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系，其步骤为：首先从输入立体图对中的一幅图像出发，设为左图像，根据输入立体图对左图像与虚拟图像对左图像之间的对应关系，得到输入立体图对左图像上的点Pl在虚拟图像对左图像上的对应点Pl’；接着通过虚拟图像对之间的对应关系，得到虚拟图像对左图像上的对应点Pl’在虚拟图像对右图像上的对应点Pr’；最后通过虚拟图像对右图像与输入立体图对右图像之间的对应关系，得到虚拟图像对右图像上的对应点Pr’在输入立体图对右图像上的对应点Pr，则输入立体图对右图像上的对应点Pr就是所要求的输入立体图对左图像上的点Pl的对应点；检验输入立体图对左图像上的点Pl与其在输入立体图对右图像上的对应点Pr是否满足极线约束，即它们的y坐标值是否相等，或相差小于某一阀值，以剔除不正确的对应结果。

所述参考人脸三维模型，既可以是一个通用的人脸三维模型，也可以是依据输入图像的信息对一个通用人脸模型进行简单变形后得到的对被测人脸三维模型的初始估计结果。

与现有技术相比较，本发明基于虚拟图像对应的立体视觉三维人脸建模方法，由于采用了由参考人脸三维模型生成的虚拟图像对作为辅助，将现有立体视觉匹配方法所要解决的不同视角下人脸图像之间的对应问题转化为已具有成熟方法的同一视角下的人脸图像与其虚拟人脸图像之间的对应问题，从而克服了现有的基于立体视觉的三维建模方法在人脸左右图像对应计算过程中存在的多义性，使得对应点的匹配计算准确，由此获得可靠的视差信息。

由于有了准确可靠的视差信息作为基础，本发明采用立体视觉三维重建算法来获得被测人脸的精确三维数据，从而克服了现有基于单幅正面图像以及从明暗恢复深度的方法只能恢复被测人脸近似三维信息的缺点，达到了高真实感的三维人脸建模效果。

由于采用立体视觉作为三维测量手段，本发明只需利用两台摄像机采集两幅人脸立体图像就能完成人脸三维建模工作，而在使用上，两台摄像机与单台摄像机并没有本质区别，从而克服了基于正交图像的方法对输入图像正交性的要求，克服了基于视频序列的方法数据冗余的缺点，克服了形变模型的方法需要大量三维数据，难以实际应用的缺点，因此本发明的方法有着很高的实用性。

本发明将三维的点云优化问题转化为一维的曲线优化问题来解决，从而克服了现有基于立体视觉的三维建模方法模型优化工作繁琐的缺点，大大提高了建模处理速度。

综上所述，本发明采用基于虚拟图像对应的技术解决了人脸立体图对左右图像对应关系计算困难的问题，从而能够利用立体视觉的方法获得准确的人脸三维点云数据，并通过简单的一维曲线优化获得了高真实感的三维模型。本发明提出的三维人脸建模方法，有着精确、便捷的优点，能够满足各种实际应用场合对三维人脸模型的需求，具有广阔的应用前景。

附图说明：

图1为本发明基于虚拟图像对应的立体视觉三维人脸建模方法的流程示意图。

图2为立体摄像机的典型放置方式示意图。

图3为标准平行配置的立体视觉系统示意图。

图4为非特征点对应计算示意图。

图5为柯尼卡美能达VIVID 910三维激光成像仪采集的被测人脸的三维模型。

图6为本发明基于虚拟图像对应的立体视觉三维人脸建模方法所建立的被测人脸三维模型示例。

具体实施方式：

实施例1：

图1给出了本发明基于虚拟图像对应的立体视觉三维人脸建模方法的具体流程。首先对使用的左右两台摄像机分别进行标定a1和a2，接着拍摄被测人脸的左右图像，并利用摄像机标定的结果分别对图像进行校正b1和b2，接下来进行立体图对的左右图像的对应关系计算c。该对应关系计算c的具体步骤为：首先利用一个参考人脸三维模型，估计输入左右图像中被测人脸的姿态、大小和位置，从而生成与输入立体图对中被测人脸位姿相似的参考人脸的虚拟图像对c1；接着，计算输入立体图对与虚拟图像对之间的对应关系c2；最后，利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系c3；在获得了对应之后，就可以依据立体视觉的三维重建算法恢复对应点的三维点云信息，并进一步对三维点云进行优化d，然后从优化后的点云数据中建立人脸的三维表面e，输入的人脸图像可以作为三维模型的纹理f，这样，建立起一个完整的三维人脸模型g。

下面详细介绍具体实施方式。

图2为本发明中所使用的立体摄像机的典型放置方式示意图：左摄像机C₁和右摄像机C₂的放置以能够同时拍摄到被测人脸的全部为准。空间中的一个场景点P，分别在左、右图像平面上形成像点P₁和像点P₂。同一空间场景点P在左图像平面上的像点P₁和右图像平面上的像点P₂称为对应点。立体视觉的方法就是要通过左右图像对应点的信息重建场景点的三维信息。为此，需要了解场景点的三维坐标及其像点的图像坐标之间的关系。以图1中的左摄像机为例进行说明：在图2示意图中，左摄像机C₁包含三个坐标系：世界坐标系O_wX_wY_wZ_w，摄像机坐标系0₁X₁Y₁Z₁和图像坐标系OU₁V₁。设场景点P在世界坐标系下的坐标为(X_w，Y_w，Z_w)，在摄像机坐标系下的坐标为(X_c，Y_c，Z_c)，以及其投影点P₁的图像坐标为(u，v)，则根据透视投影原理，这三种坐标之间有如下关系：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\begin{array}{}\end{array}\begin{array}{}\end{array}\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中摄像机内部参数矩阵M₁完全由x轴像素尺度系数α_x，y轴像素尺度系数α_y，以及摄像机光轴与图像平面交点(u₀，v₀)所决定，由于这些参数只与摄像机内部构造有关，因此被称为摄像机内部参数；摄像机外部参数矩阵M₂完全由摄像机相对于世界坐标系的旋转参数R和平移参数t决定。确定某一摄像机的内外参数的过程，称为摄像机标定。标定有很多很成熟的方法，可以参考计算机视觉相关的书籍，也可以参考以下网址http://www.vision.caltech.edu/bouguetj/calib_doc/。

由于在拍摄时两台摄像机的放置不是平行的，为了简化后续计算，需要得到在标准平行轴立体视觉下拍摄的图像。这可以利用标定获得的摄像机内外参数，通过图像校正的方式实现。校正的方法也有很多，可以参考《机器视觉及应用》(Machine Vision andApplications)2000年第12卷第4期16-22页所提出的方法。

在经过校正以后，在原先的非标准立体视觉系统下拍摄的图像就转换为在标准平行轴立体视觉下拍摄的图像。图3所示为标准平行轴立体视觉系统。在该立体视觉系统中，左摄像机C₁和右摄像机C₂的各内部参数相等，而且两个摄像机的光轴互相平行，x轴互相重合。两个摄像机坐标系只相差x轴方向上的平移，将该平移距离称为基线(baseline)长度，记为b。左交线E₁和右交线E₂为空间场景点P、左图像平面原点O₁和右图像平面原点O₂形成的平面PO₁O₂分别与左图像平面I₁和右图像平面I₂的交线，由于两个图像平面位于同一平面内，因此左交线E₁和右交线E₂共线，且与x轴平行。在立体视觉系统中，左交线E₁和右交线E₂分别称为像点P₂和像点P₁的极线(epipolarline)，图像上某一点的对应点必然落在其极线上。实际上，在平行配置的立体视觉系统中，极线约束限定了图像上一点与其对应点的y轴坐标应相等，这就为对应点的计算提供了便利。在标准平行轴立体视觉系统配置下，设空间点P在左摄像机坐标系下的坐标为(x₁，y₁，z₁)，则它在右摄像机坐标系下的坐标为(x₁-b，y₁，z₁)，设空间点P的左像点P₁和右像点P₂在左、右图像坐标系下的图像坐标分别为(u₁，v₁)和(u₂，v₂)，并假设左摄像机坐标系就是世界坐标系，很容易解得空间点P的坐标(x₁，y₁，z₁)为：

$x_1=\frac{b(u_1-u_0)}{u_1-u_2},$ $y_1=\frac{{\mathrm{ba}}_x(v_1-v_0)}{a_y(u_1-u_2)},$ $z_1=\frac{{\mathrm{ba}}_x}{u_1-u_2}$

式中x轴像素尺度系数α_x，y轴像素尺度系数α_y，摄像机光轴与图像平面交点(u₀，v₀)，均可由标定得到。由此可见，在经过图像校正后的平行配置立体视觉系统中，重建三维场景的关键在于寻找左右图像的对应关系以获得视差信息u₁-u₂。

由于人脸大面积区域为皮肤所覆盖，而皮肤反射率变化较为均匀缓慢，不易于提取特征，而且，立体图对左右图像中人脸的姿态差异很大，这就给对应计算带来很大的困难。为此，需要引入一个参考人脸的三维模型，生成参考人脸的虚拟图像对，以辅助输入立体图对的对应计算。这里所使用的参考人脸三维模型，既可以是一个通用的人脸三维模型，也可以是依据输入人脸图像的信息对通用人脸模型进行简单的变形，从而得到的对被测人脸三维模型初始估计的结果。

以下将输入的立体图对中的人脸称为被测人脸。输入的立体图对已经过校正使之转换为标准平行轴立体视觉系统中的图像。首先需要估计被测人脸在左右图像中的位置、大小和姿态，以生成与之位姿相似的参考人脸的虚拟图像对。为此，在输入的二维人脸图像上定位6个以上的特征点，这些特征点可以通过下面提到的特征点定位方法自动得到；并预先标定三维模型上对应的特征点。位姿估计的结果应该使得参考人脸三维模型上的特征点投影到二维图像上与被测人脸左右图像上的特征点最为接近。设三维模型特征点的坐标为x＝(x，y，z)^T，它投影到二维图像平面的像点p＝(p_x，p_y)^T由下式得到：

$p=f\begin{array}{c}\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right)\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\γ}& 0& \sin \mathrm{\γ}\\ 0& 1& 0\\ -\sin \mathrm{\γ}& 0& \cos \mathrm{\γ}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ 0& \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right]x+t_{2d}\end{array}$

式中使用了弱透视投影变换，缩放因子f，人脸绕x轴旋转的角度φ，绕y轴旋转的角度γ和绕z轴旋转的角度θ，以及二维平移向量t_2d＝(t_x，t_y)^T是所要确定的位姿参数。可以将投影点与二维特征点之间的距离和写成代价函数的形式，即：

$E=\underset{j}{\mathrm{\Σ}}{\left|\right|q_j-p_j\left|\right|}^2$

其中二维特征点q_j＝(q_x，j，q_y，j)^T是在输入图像上定位的特征点，二维投影点p_j是对应的三维特征点投影到图像平面得到的像点，代价函数E是关于缩放因子f，人脸绕x轴旋转的角度φ，绕y轴旋转的角度γ和绕z轴旋转的角度θ，以及二维平移向量t_2d＝(t_x，t_y)^T的非线性函数，可以采用勒文博格-马奎特(Levenberg-Marquardt)法进行优化。当代价函数E取最小值时，参考人脸的姿态与被测人脸的姿态最为接近。

由于虚拟图像对是由已知的参考人脸三维模型生成的，因此其左右图像的对应关系是精确知道的：同一个三维顶点在左右虚拟图像上的像点彼此对应。为了将已知的虚拟图像对应扩展到输入的立体图对上，需要将输入的左、右图像分别和虚拟的左、右图像进行匹配，这是通过图像变形来完成的。

图像变形的过程需要借助于被测人脸和参考人脸上对应的特征点。首先，在被测人脸的左右图像上分别定位面部的特征点，这些特征点一般位于面部器官的轮廓。特征点定位的方法有很多，本实施例中采用的是主动形状模型(Active shape model)的方法。主动形状模型是一种基于统计的特征点定位方法，它对样本空间所代表的人脸形状变化进行学习，获得相应的形状模型，用于指导特征点的定位。关于主动形状模型的训练和搜索特征点的具体步骤可以参考《计算机视觉与图像理解》(Computer Vision andImage Understanding)1995年第61卷第1期38-59页的论文。需要注意的是，由于使用的输入人脸图像是经过校正的，根据平行配置立体视觉系统的极线约束，左右图像上的对应点的y坐标值应相同。可以根据这一约束将左右图像上相同特征点的y坐标归一化。

参考人脸的虚拟图像对上对应的特征点预先在其三维模型上标定，通过投影过程，其在虚拟图像上对应的特征点投影也可以自动地获得。

通过在被测人脸和参考人脸图像上分别标定特征点，可以认为同一视角下的人脸国像(左图像或右图像)上相同的特征点是对应点。下面就是要建立同一视角下人脸图像上非特征点的对应关系。为此，以特征点为节点，分别在输入人脸图像上和虚拟人脸图像上采用德罗内(Delaunay)三角剖分算法建立三角网格。这样，人脸上的每个非特征点都应落入某个三角形内。根据在输入图像和虚拟图像上对应的三角形，建立每两个对应三角形之间的仿射关系，以确定三角形内部非特征点的对应关系。

图4给出了非特征点对应计算示意图：对于输入图像人脸上某一非特征点P，首先判断该点所属的三角形，即由特征点ABC所组成的三角形；接着确定该三角形在虚拟图像上所处的位置，即三角形A’B’C’；通过这两个三角形之间的仿射变换关系，将三角形ABC中的点P映射到虚拟图像上的三角形A’B’C’中，从而获得输入图像上的点P在虚拟图像上的对应点P’。

在输入左图像和虚拟左图像，输入右图像和虚拟右图像，以及虚拟左右图像之间建立了对应关系之后，就可以利用这些对应关系得到输入左右图像对之间的对应关系，具体步骤为：首先从输入立体图对中的一幅图像出发，设为左图像，根据输入左图像与虚拟左图像之间的对应关系，得到输入左图像上的点Pl在虚拟左图像上的对应点Pl’；接着通过虚拟图像对之间的对应关系，得到虚拟左图像上的对应点Pl’在虚拟右图像上的对应点Pr’；最后通过虚拟右图像与输入右图像之间的对应关系，得到虚拟右图像上的对应点Pr’在输入右图像上的对应点Pr，则输入右图像上的对应点Pr就是所要求的输入左图像上的点Pl的对应点；检验输入左图像上的点Pl与其在输入右图像上的对应点Pr是否满足极线约束，即它们的y坐标值是否相等，或相差小于某一阀值，以剔除不正确的对应结果。

利用前述的匹配算法获得左右人脸图像上的对应点之后，就可以计算视差信息，进而利用平行配置的立体视觉系统的三维重建算法恢复人脸的三维点云信息。

这样得到的点云信息中可能还存在着一些误匹配造成的误差，以及由于匹配精度不足造成的不连续性，这些因素会造成生成的三维模型真实感较低。为了建立逼真的人脸三维模型，需要对点云进行进一步的优化。优化主要包括采样、插值和平滑三个步骤。首先，通过一个自定义的均匀网格，该网格的密度可以根据需要构建的三维人脸的顶点数进行选择，对点云进行采样。这样得到的点云以网格点的坐标为x、y坐标，并通过插值得到各网格点的z坐标。在插值过程中，可以对待插值区域中的野点(或称奇异点)进行去除。由于x、y坐标是均匀的，有利于逐行对z坐标进行平滑，具体做法是以y坐标为游标，提取每一扫描行，即x-z平面内的一条曲线，利用滑动平均窗口算法对z值进行平滑。

这样得到的经过优化后的点云就可以用来建立完整的人脸三维模型。利用德罗内三角剖分建立人脸的三角面片网格，从而建立人脸的三维表面。校正后的左右人脸图像可以作为纹理映射到三维模型之上。

图5为柯尼卡美能达VIVID 910三维激光成像仪采集的被测人脸的三维模型，图6给出了本发明基于虚拟图像对应的立体视觉三维人脸建模方法所建立的被测人脸三维模型示例。由于柯尼卡美能达VIVID 910三维激光成像仪有着很高的三维测量精度，因此其采集的三维模型可以作为被测人脸的真实三维模型。将该真实三维模型与本发明方法所建立的被测人脸三维模型进行比较，可以看到：本发明方法所建立的三维模型如实地反映了被测人脸的三维形状，可与真实的三维模型相媲美；本发明方法所建立的三维模型较为光滑，具有很高的真实感。将本发明方法所建立的三维模型与真实三维模型相比较，三维点之间的平均误差距离在10毫米以内，并且大部分的误差是来源于人脸的轮廓边界。本发明方法的整个三维人脸建模过程在中央处理器频率为2.4GHz的个人计算机上用时只需要半分钟。从该实施例可以看出，本发明基于虚拟图像对应的立体视觉三维人脸建模方法，其建模精度高，真实感强，使用便捷快速，具有广阔的应用前景。

Claims (3)

1、一种基于虚拟图像对应的立体视觉三维人脸建模方法，包括如下步骤：

(1)、标定左右摄像机的内外参数；

(2)、采集被测人脸的立体图对，并进行校正；

(3)、计算立体图对的对应关系；

(4)、利用得到的立体图对的对应关系，建立被测人脸的初始三维点云，并对三维点云进行优化处理；

(5)、在优化后的三维点云之上建立三角面片网格，从而得到被测人脸的三维表面；

(6)、利用输入的立体图对，合成三维模型的纹理；

其特征在于：

所述计算立体图对的对应关系，具体包括：首先，利用一个参考人脸三维模型，估计输入立体图对中的被测人脸的姿态、大小和位置，从而生成与输入立体图对中的被测人脸位姿相似的参考人脸的虚拟图像对；接着，计算输入立体图对与虚拟图像对之间的对应关系；最后，利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系；

所述对三维点云进行优化处理，其步骤为：首先通过一个自定义的均匀网格，对点云进行采样，使得点云以网格点坐标为x、y坐标；再插值得到各网格点对应的z坐标；接着以y坐标为游标，提取每一扫描行，即x-z平面内的一条曲线，利用滑动平均窗口算法对曲线的z值进行平滑处理；

所述估计输入立体图对中的被测人脸的姿态、大小和位置，具体为：首先在输入的二维人脸图像上定位6个以上的特征点，并预先标定三维模型上对应的特征点；接着建立三维模型特征点的投影点与二维图像特征点之间距离平方和的代价函数，该代价函数以投影矩阵为参数；最后通过非线性优化获得这些参数的最优值；

所述计算输入立体图对与虚拟图像对之间的对应关系，其步骤为：在输入图像上和虚拟图像上以人脸特征点为节点组成三角网格；根据在输入图像和虚拟图像上对应的三角形，建立每两个对应三角形之间的仿射关系；判断输入图像上某一点所属的三角形，并确定该三角形在虚拟图像上所处的位置，通过这两个三角形之间的仿射变换关系，将该点映射到虚拟图像上，从而获得其在虚拟图像上的对应点；

所述利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系，其步骤为：首先从输入立体图对中的一幅图像出发，设为左图像，根据输入立体图对左图像与虚拟图像对左图像之间的对应关系，得到输入立体图对左图像上的点P1在虚拟图像对左图像上的对应点P1’；接着通过虚拟图像对之间的对应关系，得到虚拟图像对左图像上的对应点P1’在虚拟图像对右图像上的对应点Pr’；最后通过虚拟图像对右图像与输入立体图对右图像之间的对应关系，得到虚拟图像对右图像上的对应点Pr’在输入立体图对右图像上的对应点Pr，则输入立体图对右图像上的对应点Pr就是所要求的输入立体图对左图像上的点P1的对应点；检验输入立体图对左图像上的点P1与其在输入立体图对右图像上的对应点Pr是否满足极线约束，即它们的y坐标值是否相等，或相差小于某一阀值，以剔除不正确的对应结果。

2、如权利要求1所述基于虚拟图像对应的立体视觉三维人脸建模方法，特征在于所述的参考人脸三维模型是一个通用的人脸三维模型。

3、如权利要求1所述基于虚拟图像对应的立体视觉三维人脸建模方法，特征在于所述的参考人脸三维模型是一个依据输入图像的信息对一个通用人脸模型进行简单变形后得到的对被测人脸三维模型的初始估计结果。

Images