CN105427385A - 一种基于多层形变模型的高保真人脸三维重建方法 - Google Patents

Abstract

本发明公开了一种基于多层形变模型的高保真人脸三维重建方法。所述方法以视频图像序列作为输入数据，经过光流特征点检测与跟踪，人脸特征点提取与匹配、相机标定，从而利用运动恢复结构技术恢复相机参数与相机轨迹，提出了人脸多层次形变模型，进而进行纹理映射得到目标人脸的高保真人脸三维模型。本发明将形变模型技术与运动恢复结构技术结合起来，提出了人脸多层次形变模型，能够获得与目标人脸高度相似的重建结果，同时，本发明弥补了传统运动恢复结构出现的表面噪声的缺点，又能够利用运动恢复结构提供的人脸细节，通过本发明的方法重建得到的高保真人脸模型在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。

Description

一种基于多层形变模型的高保真人脸三维重建方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于多层形变模型的高保真人脸三维重建方法。

背景技术

三维重建是计算机视觉、计算机图像和计算机图形学的领域，也是重要的图形学图像学交叉点，而针对于人脸的三维重建更是在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。然而人脸具有独一无二性和多变性，这也就给人脸重建的研究带来了挑战。

人脸三维重建目前亟需突破的问题是如何提高计算速度，降低重建误差。因为相对于基于普通RGB图像序列的三维重建，基于三维扫描仪和速度和精度是非常高的，基于深度相机的人脸三维重建也在不断的兴起，计算速度和精度也较高。但是三维扫描仪造价非常昂贵，深度摄像机也很难普及，而且对于网络上的人脸图像的重建也是基于RGB图像的重建，因此三维扫描仪和深度相机也无法进行广泛应用。

人脸三维重建技术可以分成两种方法，一种是硬件的方法比如多视图摄像机，构造光源法，深度传感器，或者三维扫描仪。这些方法可以被应用在获取精确的三维人脸模型数据，但是，它具有较高的花费需要图像处理，相机标定。为了能够克服这些困难，一个单目相机的方法被提出来去重建三维人脸。人脸三维重建算法最早可以追溯到1999年V.Blanz和T.Vetter在提出的基于单幅图像的人脸三维重建方法，使用的方法三维形变模型成为主流的人脸三维重建方法之一。该方法首先采集大量人脸三维信息，然后训练一个平均稠密的人脸模型，利用特征值描述的方法表达人脸三维模型。输入单幅图像之后，将平均人脸三维模型进行投影和变形与输入图像进行误差分析，使用优化方法调整投影矩阵和人脸型变参数来最小化图像误差，当误差最小值后也就得到了这个图像的人脸三维模型。

但是由于稠密模型中点非常多导致需要优化的参数非常多，直接根据稠密模型进行优化计算量无疑非常大。因此在2010年U.Park,Y.Tong,和A.K.Jain提出了简化的三维形变模型。首先提取人脸特征点，人脸特征点是脸部特征(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置，能够精确的定位人脸的基本特征，经常使用在人脸识别中。由人脸特征点组成稀疏人脸。然后利用三维形变模型的优化方法，将优化的目标变成输入图像上的人脸特征点和稀疏人脸的投影形变，进一步减少了计算量；最后利用薄板样条法形变生成稠密人脸。

三维重建的一个重要的方法是运动恢复结构技术，其是目前三维重建的主流方法之一。运动恢复结构技术流程如下：首先是获取目标物体的图像序列，在进行处理目标图像之前，利用相机拍摄目标物体的多幅图像或者用摄像机拍摄视频图像。光照条件和拍摄效果对处理的影响较大，因此需要光照充足并且平稳拍摄。然后是提取特征点，特征点的形式与匹配算法联系紧密。因此在进行特征点的提取时需要先确定用哪种匹配方法。接下来是相机标定，通过相机的成像原理与模型建立优化模型，求解并恢复相机的内参数和相机位置，然后结合图像中特征点的匹配，重建出空间中对应的三维点坐标，从而达到进行三维重建的目的。相机标定之后可以重建出稀疏的三维点云。稠密扩展，以稀疏点云为种子点进行稠密扩展，生成稠密三位点云。表面重建，用表面重建方法进行三角网格化，生成三维模型表面。经过真实纹理映射生成最后的三维纹理模型。

这种只需要多幅图像就可以重建物体三维模型的方法被引入了人脸三维重建中。运动恢复结构技术在三维人脸重建中克服了很多三维形变模型的缺点，比如计算时间长，偏向平均人脸模型，需要大量采集人脸三维数据，耗费人力物力等。只要对着人脸进行不同角度拍摄就可以重建三维人脸。而运动恢复结构需要多个角度拍摄，拍摄对于重建比较重要，拍摄越多不同角度的图像重建结果越真实，并且最后从多张图片提取进行，但是由于人脸具有很多缺乏纹理的光滑区域，特征点很难提取准确，因此重建结果可能会出现表面噪声空洞。而三维形变模型只一张图片就可以进行重建，并且即使重建出现错误，能够保证结果与目标人脸有一定相似性。

发明内容

本发明提出一种基于多层形变模型的高保真人脸三维重建方法，克服了上述两种三维重建技术目前存在的局限性，例如基于人脸形变模型的趋于平均脸和纹理不真实等缺点，基于运动恢复结构方法的表面噪声空洞等缺点，以目标人脸视频作为基本数据内容，以处理人脸三维数据库为准备工作，进一步地，提出了人脸多层形变模型，平均脸模型在人脸的特征层次和细节层次进行全局形变和局部形变，从而构建相似度高、表面光滑、效果真实的目标人脸三维模型，因而尤其适用于人脸识别、个性定制化游戏、虚拟现实和安全部门存档等应用场景中。

为实现上述目的，本发明提出了一种基于多层形变模型的高保真人脸三维重建方法，其特征在于，所述方法包括如下步骤：

(1)从人脸三维数据库中提取三维扫描人脸，经过坐标修正，稠密对应，网格重采样和平均化得到平均脸模型，在平均脸模型中人工标记人脸特征点；

(2)通过相机围绕目标人脸正面拍摄视频，采集全部正面人脸；

(3)对视频图像序列按照固定的平均帧数间隔进行视频图像提取，得到新的视频图像序列，对所述新的视频图像序列进行光流特征点的提取与匹配，得到光流特征点标记的图像序列，对光流特征点标记的图像序列依次进行光流特征点匹配得到相机参数与相机轨迹，继而得到相机拍摄轨迹对应的光流稀疏三维点云；

(4)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定，继而构建由人脸特征点构成的人脸特征三维点云，将步骤(3)中得到的光流稀疏三维点云与人脸特征三维点云合并得到人脸稀疏三维点云；

(5)以平均脸模型上的人脸特征点为出发点，以人脸稀疏三维点云中人脸特征三维点云为目标，对平均脸模型进行全局形变；

(6)根据全局形变之后的平均脸模型上的人脸特征点划分网格区域，然后根据光流特征点在每个内含光流特征点的网格区域中进行局部形变，得到目标人脸的稠密人脸网格模型；

(7)对目标人脸的稠密人脸网格模型进行平滑处理；

(8)利用(3)中得到的相机参数与相机位置对平滑处理后的目标人脸的稠密人脸网格模型进行真实纹理映射，得到目标人脸的高保真人脸三维模型。

作为进一步优选的，所述步骤(3)具体包括：

(3.1)对视频图像序列按照固定的平均帧数间隔进行提取，构成新的视频图像序列，在视频图像序列中第一帧图像中提取光流特征点，并利用光流法进行跟踪，得到在下一帧图像上光流特征点位置的预测值；

(3.2)对视频图像序列下一帧图像与前一帧图像的非重合场景重新提取光流特征点；

(3.3)对新的视频图像序列依次执行步骤(3.1)-(3.2)后，利用运动恢复结构技术估计相机参数、相机轨迹和光流稀疏三维点云。

作为进一步优选的，所述步骤(4)具体包括：

(4.1)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定；

(4.2)根据所述统一的标记与编号规定，对新的图像序列中的人脸特征点进行匹配，利用运动恢复结构技术估计出人脸特征三维点云，并与步骤(3)中的光流稀疏三维点云合并，得到含有两种特征点的同一个人脸稀疏三维点云。

作为进一步优选的，所述步骤(6)具体包括：

(6.1)根据人脸特征点的有序性，对全局形变之后的平均脸模型进行网格划分；

(6.2)对人脸稀疏三维点云的光流稀疏三维点云中每一个点沿法向量向全局形变之后的平均脸模型上作垂线，找到光流稀疏三维点云在全局形变之后的平均脸模型上的对应点；

(6.3)所述对应点将被步骤(6.1)的网格划分进不同的区域，以对应点为出发点，以人脸稀疏三维点云中的光流稀疏三维点云为目标，进行局部形变，得到目标人脸的稠密人脸网格模型。

作为进一步优选的，其特征在于，所述人脸特征点为眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的位置。

作为进一步优选的，利用薄板样条法进行所述全局形变和所述局部形变。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明将形变模型技术与运动恢复结构技术结合起来，利用了运动恢复结构技术恢复了相机参数与相机位置，提出了人脸多层次形变模型方法，得到目标人脸的高保真人脸三维模型，进而可以进行纹理映射而得到高保真纹理模型，能获得与目标人脸高度相似的重建结果。

2.人脸多层形变模型技术弥补了传统运动恢复结构出现的表面噪声的缺点，又能够利用运动恢复结构提供的人脸细节。

3.人脸关键点的提取如果采用人工标记可以提高重建精度，其余过程全部实现自动化处理。本发明重建得到的高保真人脸模型在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。

附图说明

图1为本发明中基于多层形变模型的高保真人脸三维建模方法的总体流程图；

图2为本发明一实施例中人脸特征点的标记位置示意图；

图3为本发明一实施例中人脸上网格划分示意图，白色为光流特征点，黑色为人脸特征点，虚线之间即划分的待局部形变区域；

图4为本发明中多层形变模型的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明方法涉及到特征点匹配、多视图几何、三维重建、三维形变等技术，可直接用于从视频图像序列中重建完整、精确和真实的人脸三维模型，进而用于人脸识别、个性定制化游戏、虚拟现实和安全部门存档等。

图1展示了本发明方法的总体流程图。从图1可以看出，视频图像数据与稠密需要经过特征匹配、三维点云生成、人脸多层形变、纹理映射等几个步骤，得到最终的完整的高保真人脸三维模型。其具体实施方式如下：

(1)数据准备。

本发明中首先需要做的数据准备是采集很多人脸的三维稠密网格模型，然后经过坐标修正，稠密对应，网格重采样和平均化得到人脸稠密平均模型。在平均脸模型中人工标记人脸特征点，人脸特征点是脸部特征(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置，能够精确的定位人脸的基本特征。

(2)数据采集。

本发明中为了重建结果的精确与高真实性对拍摄条件有一定的限定，目标人物A处于光照比较充足并且一致的地方保持头部姿势不动，收起眼镜、墨镜和前额的头发，保证面部无遮挡，拍摄期间保持面部不动，无表情或者微笑，尽量在拍摄正面的时候眼睛睁开并且不眨眼；拍摄者B使用手机或数码相机围绕被测者A拍摄一段视频，由于本发明只重建人脸，因此本发明实施例中只需要从人脸左侧拍摄到人脸右侧，同时保持相机平稳以免由于抖动产生模糊导致特征点提取不准确。

(3)对视频图像序列按照固定的平均帧数间隔进行视频图像提取，得到新的视频图像序列，对所述新的视频图像序列进行光流特征点的提取与匹配，得到光流特征点标记的图像序列，对光流特征点标记的图像序列依次进行光流特征点匹配得到相机参数与相机轨迹，继而得到相机拍摄轨迹对应的光流稀疏三维点云；其中相机参数为从相机坐标系到像平面坐标系的变换矩阵，相机轨迹为相机相对于真实物体的拍摄轨迹；

(4)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定，继而构建由人脸特征点构成的人脸特征三维点云，将步骤(3)中得到的光流稀疏三维点云与人脸特征三维点云合并得到人脸稀疏三维点云；

其中，这里的人脸特征点标记标准与(1)中平均脸模型上的是一致的，不同的这里是在二维图像中标记，利用(3)中一样的方法构建由人脸特征点构成的人脸特征三维点云；

(5)由于在(1)中得到的平均脸模型中的人脸特征点与(4)中的标记标准相同，因此(4)中的三维点云与平均脸模型上的人脸特征点是一一对应的，那么，以平均脸模型上的人脸特征点为出发点，以人脸稀疏三维点云中人脸特征三维点云为目标，对平均脸模型进行全局形变；本发明实施例中利用薄板样条法(ThinPlateSpline)对平均脸在人脸主要特征层次进行全局形变，这里的薄板样条法是较为严格的，要求对应点的形变后的距离比较小；

(6)根据全局形变之后的平均脸模型上的人脸特征点划分网格区域，然后根据光流特征点在每个内含光流特征点的网格区域中进行局部形变，得到目标人脸的稠密人脸网格模型；

(7)对目标人脸的稠密人脸网格模型进行平滑处理；本发明实施例中利用拉普拉斯平滑(LaplaceSmoothing)算法对最后得到的目标人脸网格模型进行轻度平滑，保证模型的一致与光滑；

(8)利用(3)中得到的相机参数与相机位置对平滑处理后的目标人脸的稠密人脸网格模型进行真实纹理映射，得到目标人脸的高保真人脸三维模型。

在本发明的一个实施例中，所述步骤(1)具体包括：

(1.1)本发明中首先需要做的数据准备是采集很多人脸的三维稠密网格模型，由于直接采集的人脸三维模型在参考系、尺度和顶点数量各不相同，无法直接求得平均脸模型。采集到的人脸模型经过坐标修正，稠密对应，网格重采样之后标准化为坐标一致、顶点数量对应的人脸模型，然后就可以对所有人脸的每个对应顶点求中心的办法求得平均脸模型。

(1.2)本发明一实施例中，如图2，人脸的标记点依次为左眼左眼角、左眼上眼睑、左眼右眼角、左眼下眼睑、右眼左眼角、右眼上眼睑、右眼右眼角、右眼下眼睑、左眉左端、左眉右端、左眉眉心上边缘、左眉眉心下边缘、右眉左端、右眉右端、右眉眉心上边缘、右眉眉心下边缘、两眼中心、鼻梁、鼻尖、左鼻翼、右鼻翼、鼻下边缘、左嘴角、嘴部下边缘、嘴部上边缘、嘴部中心、右嘴角、嘴上边缘、下巴中心、左下郃、右下颌、左鬓角、有鬓角，同时按照上面的顺序进行编号。不同的人脸特征点标记具有不同的标准，本发明实施例的标记方法不唯一仅供参考。

在本发明的一个实施例中，所述步骤(3)具体包括：

(3.1)对视频图像序列按照固定的平均帧数间隔进行提取，构成新的视频图像序列，在视频图像序列中第一帧图像中提取光流特征点，并利用光流法进行跟踪，本发明实施例中采用Kanade-Lucas-Tomasi(简称KLT)光流法进行跟踪，得到在下一帧图像上光流特征点位置的预测值，也即得到了两幅图像之间的匹配；

(3.2)对视频图像序列下一帧图像与前一帧图像的非重合场景重新提取光流特征点；

(3.3)对新的视频图像序列依次执行步骤(3.1)-(3.2)后，利用运动恢复结构技术(StructurefromMotion)中的Bundler算法估计相机参数、相机轨迹和光流稀疏三维点云。

在本发明的一个实施例中，所述步骤(4)具体包括：

(4.1)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定；人脸特征点是脸部特征的位置，能够精确的定位人脸的基本特征，本发明使用基于形变的部件模型(DeformablePartsModel简称DPM)提取人脸特征点，也可以采用人工标注的方式提取人脸特征点。

(4.2)根据所述统一的标记与编号规定，对新的图像序列中的人脸特征点进行匹配，利用运动恢复结构技术估计出人脸特征三维点云，并与步骤(3)中的光流稀疏三维点云合并，得到含有两种特征点的同一个人脸稀疏三维点云。

由于人脸特征点具有统一的编号，也即相同的位置(例如鼻尖点)有着相同的标号，所以图像序列中的人脸特征点就根据编号构成了匹配，本发明的实施例中利用运动恢复结构技术中的Bundler算法同样计算出人脸特征三维点云，由于人脸特征点与光流特征点都是在同样的图片中提取的，人脸特征三维点云与光流稀疏三维点云在空间上是一致的，都是同一个人脸上的不同的特征点，因此，可以合并为含有两种特征点的同一个人脸稀疏三维点云。

在本发明的一个实施例中，所述步骤(6)具体包括：

(6.1)根据人脸特征点的有序性，对全局形变之后的平均脸模型进行网格划分；由于全局形变之后的模型上具有有序的人脸标记点，可以利用标记点的有序性划分网格，本发明实施例中划分的网格区域如图3，将模型分成各个小区域；

(6.2)对人脸稀疏三维点云的光流稀疏三维点云中每一个点沿法向量向全局形变之后的平均脸模型上作垂线，找到光流稀疏三维点云在全局形变之后的平均脸模型上的对应点；由于(6.1)中划分了不同网格区域，对应也会被划分进不同的区域；

(6.3)所述对应点将被步骤(6.1)的网格划分进不同的区域，以对应点为出发点，以人脸稀疏三维点云中的光流稀疏三维点云为目标，进行局部形变，得到目标人脸的稠密人脸网格模型。本发明利用薄板样条法进行局部形变，这次形变要求的对应点形变后的距离比(5)大，要求区域顶点位置不变，也即在保证对齐光流特征点与人脸三维模型表面平滑的同时，利用光流特征点在细节层次对局部形变后的人脸模型进行局部微调；

传统的人脸三维重建技术有人脸形变模型技术和运动恢复结构技术，本发明吸收了人脸形变模型技术的模板脸形变思想，利用运动恢复结构技术中的真实纹理映射保证模型的纹理高保真，提出了多层次形变模型对模板脸在主要特征层次进行全局形变，以及在细节层次进行局部形变，保证了人脸模型在形状上的高保真。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多层形变模型的高保真人脸三维重建方法，其特征在于，所述方法包括如下步骤：

(1)从人脸三维数据库中提取三维扫描人脸，经过坐标修正，稠密对应，网格重采样和平均化得到平均脸模型，在平均脸模型中人工标记人脸特征点；

(2)通过相机围绕目标人脸正面拍摄视频，采集全部正面人脸；

(3)对视频图像序列按照固定的平均帧数间隔进行视频图像提取，得到新的视频图像序列，对所述新的视频图像序列进行光流特征点的提取与匹配，得到光流特征点标记的图像序列，对光流特征点标记的图像序列依次进行光流特征点匹配得到相机参数与相机轨迹，继而得到相机拍摄轨迹对应的光流稀疏三维点云；

(4)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定，继而构建由人脸特征点构成的人脸特征三维点云，将步骤(3)中得到的光流稀疏三维点云与人脸特征三维点云合并得到人脸稀疏三维点云；

(5)以平均脸模型上的人脸特征点为出发点，以人脸稀疏三维点云中人脸特征三维点云为目标，对平均脸模型进行全局形变；

(6)根据全局形变之后的平均脸模型上的人脸特征点划分网格区域，然后根据光流特征点在每个内含光流特征点的网格区域中进行局部形变，得到目标人脸的稠密人脸网格模型；

(7)对目标人脸的稠密人脸网格模型进行平滑处理；

(8)利用(3)中得到的相机参数与相机位置对平滑处理后的目标人脸的稠密人脸网格模型进行真实纹理映射，得到目标人脸的高保真人脸三维模型。

2.如权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：

(3.1)对视频图像序列按照固定的平均帧数间隔进行提取，构成新的视频图像序列，在视频图像序列中第一帧图像中提取光流特征点，并利用光流法进行跟踪，得到在下一帧图像上光流特征点位置的预测值；

(3.2)对视频图像序列下一帧图像与前一帧图像的非重合场景重新提取光流特征点；

(3.3)对新的视频图像序列依次执行步骤(3.1)-(3.2)后，利用运动恢复结构技术估计相机参数、相机轨迹和光流稀疏三维点云。

3.如权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：

(4.1)对步骤(3)中新的视频图像序列，利用基于形变的部件模型自动或者人工标记人脸特征点，并确保所有新的视频图像序列中人脸特征点具有统一的标记与编号规定；

(4.2)根据所述统一的标记与编号规定，对新的图像序列中的人脸特征点进行匹配，利用运动恢复结构技术估计出人脸特征三维点云，并与步骤(3)中的光流稀疏三维点云合并，得到含有两种特征点的同一个人脸稀疏三维点云。

4.如权利要求1所述的方法，其特征在于，所述步骤(6)具体包括：

(6.1)根据人脸特征点的有序性，对全局形变之后的平均脸模型进行网格划分；

(6.2)对人脸稀疏三维点云的光流稀疏三维点云中每一个点沿法向量向全局形变之后的平均脸模型上作垂线，找到光流稀疏三维点云在全局形变之后的平均脸模型上的对应点；

(6.3)所述对应点将被步骤(6.1)的网格划分进不同的区域，以对应点为出发点，以人脸稀疏三维点云中的光流稀疏三维点云为目标，进行局部形变，得到目标人脸的稠密人脸网格模型。

5.如权利要求1-4任一项所述的方法，其特征在于，所述人脸特征点为眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的位置。

6.如权利要求1或4所述的方法，其特征在于，利用薄板样条法进行所述全局形变和所述局部形变。