CN109615688B - 一种移动设备上的实时人脸三维重建系统及方法 - Google Patents

Abstract

本发明提供一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。本发明还提供了一种移动设备上的实时人脸三维重建方法。本发明仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。

Description

一种移动设备上的实时人脸三维重建系统及方法

技术领域

本发明属于视频处理领域，具体涉及一种移动设备上的实时人脸三维重建系统及方法。

背景技术

随着移动设备的及短视频的普及，越来越多的人在手机上进行视频编辑或游戏娱乐。其中有一部份场景(比如视频或游戏)需要创建自己的替身，根据相机输入的视频来重建出三维头像，在此之上进行表情操控动画模型或叠加三维动画效果。传统的人脸重建方法需要拍摄不同角度的多张照片，或者需要大量的计算，这对设备性能及拍摄条件要求比较高。

发明内容

本发明所要解决的技术问题是提供一种移动设备上的实时人脸三维重建系统及方法。

本发明解决技术问题所采用的技术方案是：

一种移动设备上的实时人脸三维重建系统，包括：数据预处理模块，人脸模型迭代模块，三维渲染模块，其中，

数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；

人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；

渲染模块，用于根据上述的人脸模型，渲染所需道具；

数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。

本发明还提供了一种移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：

(1)输入其他人脸检测器检测得到人脸特征点y，筛选关键点y_{index_2d}；

(2)用可形变模型来表示人脸，已知经PCA方法变换的人脸模型由以下几部分构成：平均模型V_mean，特征模型V_basis和表情模型V_blend。另外定义未知的特征模型参数W_basis和表情模型参数W_blend，其中W_basis，W_blend的维度分别与V_basis，V_blend的个数相同。这样，一张脸的模型V＝V_mean+W_basis*V_basis+W_blend*V_blend；模型中索引为index_3d的部分点V_{index_3d}与人脸关键点y_{index_2d}一一对应；

(3)对于人脸关键点y_{index_2d}与当前的模型V，使用Gold Standard算法估计相机矩阵P，使得∑_i||y_i-P(V_i)||²最小，y_i∈y_{index_2d}，V_i∈V_{index_3d}；

(4)更新当前相机投影下的模型边缘点；先计算模型中所有顶点V的法向量

令视线向量为/>

在当前的相机矩阵P下，根据向量点积/>

来判断V_i是否为边缘点，从而求出边缘H，其中/>

再将H中的点与y_{index_2d}中的边缘点进行比较，得到离各个关键点最近的点，更新V_{index_3d}；

(5)计算特征模型参数与形状模型参数，使得∑_i||y_i-P(V_mean+∑(W_basis*V_basis)+W_blend*V_blend)_i||²最小，计算当前的模型V；

(6)重复步骤(3)-(5)，迭代二到三次后得到最终的参数E(P,W_basis,W_blend)和模型V。

本发明的有益效果是：

(1)本发明仅需单个相机获取的图像就能重建人脸模型，无需任何人工标定。

(2)本发明采用的模型可以实时准确描述人脸表情。

(3)采用本发明系统与方法得到的人脸三维模型，可以实现如3d贴纸，人脸面具，表情驱动模型等功能。

附图说明

图1为本发明的系统架构图。

图2为人脸三维重建处理流程图。

具体实施方式

以下结合附图对本发明的技术方案做进一步详细说明，应当指出的是，具体实施方式只是对本发明的详细说明，不应视为对本发明的限定。

本发明的一种移动设备上的实时人脸三维重建系统，包括

数据预处理模块，人脸模型迭代模块，三维渲染模块。

其中，

数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；

人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；

渲染模块，用于根据上述的人脸模型，渲染所需道具；

这三个模块的连接关系是：数据预处理模块连接至人脸模型迭代模块并向其发送数据和或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和或信号。

本发明的移动设备上的实时人脸三维重建方法，采用以上所述的系统，包括以下步骤：

(1)输入由其他检测器检测得到的人脸特征点y，筛选关键点y_{index_2d}；

(2)用可形变模型来表示人脸，其中，包括平均模型V_mean，特征模型V_basis和表情模型V_blend，另外定义未知的特征模型参数W_basis和表情模型参数W_blend，参数维度分别与模型个数相同。这样，一张脸的模型V＝V_mean+W_basis*V_basis+W_blend*V_blend；模型中索引为index_3d的部分点V_{index_3d}与人脸关键点y_{index_2d}一一对应；

(3)对于人脸关键点y_{index_2d}与当前的模型V，使用Gold Standard算法估计相机矩阵P，使得∑_i||y_i-P(V_i)||²最小，其中y_i∈y_{index_2d}，V_i∈V_{index_3d}，y_i表示第i个关键点，V_i表示第i个关键点y_i的模型，P(V_i)是V_i的矩阵；

(4)对于非正脸的情况，需要更新当前相机投影下的模型边缘点；根据人脸模型特性可知，观测视线与顶点法向量夹角越小，顶点越可能处于当前边缘上；计算模型中所有顶点V的法向量

令视线向量为/>

在当前的相机矩阵P下，根据向量点积/>

来判断V_i是否为边缘点，从而求出边缘H，其中/>

再将H中的点与y_{index_2d}中的边缘点进行比较，得到离各个关键点最近的点，更新V_{index_3d}；

(5)计算特征模型参数与形状模型参数，使得∑_i||y_i-P(V_mean+∑(W_basis*V_basis)+W_blend*V_blend)_i||²最小，计算当前的模型V；

(6)重复步骤(3)-(5)，迭代二到五次后得到最终的参数E(P,W_basis,W_blend)和模型V。

人脸三维重建处理流程如图1所示，包括以下步骤：

1)在手机视频app的拍摄模式下，选择3d贴纸或面具；

2)app三维人脸重建模块加载PCA人脸模型并进行初始化；

3)其他模块会对相机获取的图像进行人脸检测，如果有人脸则获取一组人脸特征点，筛选关键点Y；

4)利用Gold Stand算法，根据人脸关键点Y和PCA人脸模型中对应的关键点V，用最小二乘法估算简单投影相机矩阵P，从而求出位移t，旋转r，缩放s等；

5)根据模型顶点法向量，求出模型边缘，边缘上的点与Y进行比较，更新模型边缘点及模型关键点；

6)根据人脸特征点Y与模型关键点V，用最小二乘法更新模型参数W_basis和W_blend；

7)应用中迭代2-3次可得到良好结果，计算当前人脸模型；

8)采用OpenGL渲染模型，将人脸模型传到渲染引擎中，为其他的三维模型(例如3d贴纸模型等)提供遮挡信息，或者绘制人脸面具；

9)最终将所需的模型一起渲染到屏幕上。

Claims (1)

1.一种移动设备上的实时人脸三维重建方法，其特征在于，所述的一种移动设备上的实时人脸三维重建系统，所述系统包括：数据预处理模块，用于进行人脸关键点的筛选以及初始化人脸模型及参数；人脸模型迭代模块，用于迭代计算人脸模型参数、相机参数并生成人脸模型；渲染模块，用于根据上述的人脸模型，渲染所需道具；其中，数据预处理模块连接至人脸模型迭代模块并向其发送数据和/或信号，人脸模型迭代模块连接至渲染模块并向其发送数据和/或信号；

所述方法包括以下步骤：

(1)对相机中的图像进行人脸检测，得到关键点y_{index_2d}；

(2)用可形变模型来表示人脸，其中，包括平均模型V_mean，特征模型V_basis和表情模型V_blend，再定义特征模型参数W_basis和表情模型参数W_blend；得到一张脸的模型V＝V_mean+W_basis*V_basis+W_blend*V_blend；模型中索引为index_3d的部分点V_{index_3d}与人脸关键点y_{index_2d}一一对应；

(3)对于关键点y_{index_2d}与当前的模型V，使得∑i||y_i-P(V_i)||²最小来计算出相机矩阵P；

(4)对于非正脸的情况，需要更新当前相机投影下的模型边缘点；先计算模型中所有顶点V的法向量令视线向量为在当前的相机矩阵P下，根据向量点积 来判断V_i是否为边缘点，从而求出边缘H，其中再将H中的点与y_{index_2d}中的边缘点进行比较，得到离各个关键点最近的点，更新V_{index_3d}；

(5)计算特征模型参数与形状模型参数，使得∑i||y_i-P(V_mean+∑(W_basisV_basis)+W_blend*V_blend)_i||²最小，计算当前的模型V；

(6)重复步骤(3)-(5)，迭代二到五次后得到最终的参数E(P, W_basis, W_blend)和模型V。

Images