CN110796719A

CN110796719A - 一种实时人脸表情重建方法

Info

Publication number: CN110796719A
Application number: CN201810776319.1A
Authority: CN
Inventors: 王刚
Original assignee: Beijing Fantasy Technology Co Ltd
Current assignee: Beijing Fantasy Technology Co Ltd
Priority date: 2018-07-16
Filing date: 2018-07-16
Publication date: 2020-02-14

Abstract

一种实时人脸表情重建方法，步骤包括：人工制作29个脸型模型以及46个表情模型。通过对输入的一张或者多张图片或视频进行人脸关键点检测。利用输入照片或者视频检测得到的关键点，以及预先标定好的人脸三维模型的关键点，通过最小化误差的准则对人脸关键点进行拟合脸型，通过照片或视频提取人脸纹理重建无表情的人脸三维模型。对于后续输入的视频，对视频中的人脸关键点进行实时检测，通过最小化关键点和模型关键点误差的方式拟合人脸表情参数。将人脸表情参数应用到已经重建好的表情人脸模型中实现人脸表情的实时重建。该方法可以实现对单个人的人脸表情进行重建，也可以将一个人的表情应用到重建到另外一个人脸上，实现实时的人脸替换。

Description

一种实时人脸表情重建方法

技术领域

本发明涉及三维重建技术领域，特别是指一种具有真实感的三维表情实时重建方法。

背景技术

三维人脸重建广泛应用于人脸识别、三维影视动画制作等领域中。三维人脸重建中最经典的方法来自Thaomas Vetter等人于1999年提出的三维形变模型(MorphableModel)。即通过n张人脸的线性组合获得一张新的人脸。原理如下：

S_model＝S_avr+S_i·α_i T_model＝T_avr+T_i·β_i

其中，S_model为拟合的人脸模型，S_avr为平均人脸模型，S_i为第i张人脸和平均人脸的偏差。T_model为拟合的人脸纹理，T_i为第i张纹理和平均纹理的差值。三维形变模型的方法本质是求一组α和β拟合人脸。

但是，由于此方法拟合人脸采用是利用图像和生成模型的纹理差作为目标函数，该方法速度较慢。对于三维人脸表情重建，需要对人脸表情进行实时拟合。因此传统的方法不能满足实时的需求。本发明针对此问题进行改进，使其可以满足实时要求。

在拟合三维人脸模型时，如果可以提供深度信息，将会大大提升3D模型的准确性，尤其是对脸部凹凸程度的拟合会更加接近。因此，视频信息中侧脸的信息将会对提高人脸拟合的相似性。

同时，在实时拟合人脸三维模型时，如果可以给模型加上表情，将会使三维模型看起来更加接近此时的输入视频信息，而人脸的表情也可以视为是一组表情的线性组合，因此只需求出每种表情的权重即可拟合出此时的表情。但是，同时拟合表情和脸型会导致拟合脸型时，将人脸的表情引起的产生变化视为基本的脸型，进而引起脸型拟合时发生畸变。

对表情的重建有两种比较常见的方法：一种是基于光学流体流动测量的方法，它是基于面部动作编码系统中每个运动单元的运动轨迹，确定面部表情。然后将运动轨迹在3D模型上重建出来。但是，这种基于光学流体流动测量的方法容易受到非刚性运动(nonrigid motion)和光照条件的影响，且如果图片的存储质量不佳或者视频的流畅程度不佳都会影响表情重建的精确性。另一种方法是根据面部五官等关键点的几何特性(如形状和位置)的变化确定面部表情。本专利采用的就是这种方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种具有真实感的三维表情表情的实时重建方法。提出以下具有创新性的改进：

本发明的一种基于视频信息的三维头部表情的实时重建方法，包括步骤：

A.对人脸的基本脸型以及基本表情进行手工建模，同时对模型的关键点进行标定；

B.对一张正脸照片或多张照片或视频中的人脸进行关键点检测；

C.利用人脸关键点与模型关键点对摄像机投影矩阵进行估计。

D.利用人脸关键点与模型关键点的最小化误差准则对人脸模型进行脸型拟合，得到无表情的人脸模型。

E.利用估计得到的摄像机投影矩阵、用户输入的照片、人脸三维模型对人脸的纹理进行提取。重建得到无表情带皮肤纹理的人脸模型。

F.对输入的视频进行人脸关键点检测，计算人脸表情参数。

G.将计算得到的表情参数应用到无表情的人脸模型上，实现三维人脸表情的重建。

H.利用步骤C计算得到的摄像机投影矩阵，估计得到人脸的姿态。将人脸的姿态应用到带表情的人脸三维模型上，实现实时人脸姿态的同步。

可选的，步骤A所述不同脸型包括下述脸型，且不同脸型仅有一处相对于平均脸型不同，根据相对于平均脸型的不同处描述的所述不同脸型包括：X等脸型。

A中所述表情的基本模型包括图2所示的21种表情。

步骤C包括：

利用最小二乘法计算摄像机投影变换矩阵。

由于人脸不同的姿态可以看成是相机从不同角度对同一个3D头部模型拍摄得到的不同图像。如图3所示，对于一个三维模型，从不同的角度得到的投影中的每一个点可以看成是对三维模型中的每个点做如下的线性变换：

q_i＝Rp_i+t

其中q_i是相机空间中的坐标，p_i是3维空间中的坐标；R是旋转变换矩阵，t 是位移向量。这个问题近似等价成如下的最小二乘问题：

subject to R^TR＝I

对于这样的带约束的最小二乘问题可以用奇异值分解的方法求解，解出R，t。

因此，根据输入的二维图像信息可以计算出3D模型的旋转变换矩阵R和位移向量t，并可以此表示输入图像中的头部的姿态。

可选的，步骤D包括：

构建目标三维人脸模型对应的目标三维人脸特征

其中，n表示脸型库中人脸模型包含的种类；

表示脸型库的平均人脸特征，S_i表示第i种人脸模型的特征，w_i表示第i种人脸模型的权重，其约束满足0≤w_i≤1；所述人脸特征以各个人脸特征关键点构成的特征矩阵表示；

令

S_detection表示照片人脸特征；由于S 可表示为向量S＝(x₁，x₂，...，x_n，y₁，y₂，...y_n，z₁，z₂，...z_n)^T的形式，故通过最小化重构三维人脸模型和对应的目标三维人脸模型之间的差异

使w为：

通过非负最小二乘求解器求解向量w，

进而根据

计算出S。

由上，上述方式可以非常快的拟合出人脸三维模型，在测试中，对于本实施例的本拟合步骤，在配置为i7-4790型号CPU、8G内存的电脑上的运行时间为0.17ms。

可选的，步骤E包括：

根据照片中人脸的五官坐标、头部的平面纹理贴图的五官坐标，利用最小二乘法求解出平移缩放向量T＝{tx，ty，s}，其中tx、ty分别表示水平和垂直方向的偏移，s表示缩放向量；

设照片人脸的像素信息为P_photo(x，y)＝{r_p，g_p，b_p}，设头部的平面纹理贴图的像素信息为P_texture(x，y)＝{r_t，g_t，b_t}，采用下述公式替换头部的平面纹理贴图的人脸部分：

P_texture((x+tx)·s，(y+ty)·s)＝{r_p，g_p，b_p}。

所述五官的坐标包括：由左眼左眼角、左眼右眼角、右眼左眼角、右眼右眼角、嘴唇左嘴角、嘴唇右嘴角，如图5所示。

可选的，步骤E还包括了对人脸贴图的优化：

计算头部的平面纹理贴图的平均肤色为

其中r，g，b，分别为彩色图像中红、绿、蓝通道的值；

提取照片人脸的各个关键点的皮肤颜色，并求均值

对头部的平面纹理贴图中每个像素的颜色采用下述公式进行处理：

由上，通过对颜色的处理，实现贴图后脸部区域与非脸部区域的色彩的平缓过渡，融合性强。融合后的效果图见图4。

步骤F中对表情的拟合是在D中的基本表情确定之后进行的，对于表情的拟合也是采用线性拟合的方式，通过非负最小二乘法，求解出每种表情的权重。

首先，构建带有面部表情的目标三维人脸模型对应的目标三维人脸特征

其中，m表示脸型库中人脸模型包含的种类；

表示平均的人脸特征，w_i是第i种脸型的权重，其约束满足0≤w_i≤1。E_j表示第i种表情模型的特征，w_j表示第j种表情的权重，其约束满足0≤w_i≤1；所述人脸特征以各个人脸特征关键点构成的特征矩阵表示；

令E_detection表示照片人脸特征；由于E可表示为向量E＝(x₁，x₂，...，x_n，y₁，y₂，...y_n，z₁，z₂，...z_n)^T的形式，故通过最小化重构三维人脸模型和对应的目标三维人脸模型之间的差异

使w为：

通过非负最小二乘求解器求解向量w，实际上之所以在拟合表情的同时拟合脸型的目前是为了拟合表情更加的精准。否则当脸型差距较大的时候，表情的拟合准确。得到拟合结果之后，只保留表情w_j，即完成表情的提取工作。

可选的，步骤H所述映射包括：

对于贴图中的非人脸部分，采用处理后的头部的平面纹理贴图进行三维模型的贴图；

对于贴图中的人脸部分，重新求取纹理贴图映射坐标UV后映射贴图，包括：设模型人脸区域的坐标为P_f(x，y)，从模型人脸坐标到照片人脸坐标的平移缩放向量 T＝{tx，ty，s}，其中tx、ty分别表示水平和垂直方向的偏移，s表示缩放向量T，对于宽度为W高度为H的纹理贴图，UV重新映射公式为：

u＝(x+tx)·s/W

v＝(y+ty)·s/H。

由上，对于贴图中的非人脸部分，采用头部的平面纹理贴图进行三维模型的贴图；对于贴图中的人脸部分，需要重新映射人脸部分顶点的UV坐标。将贴图中人脸特征区域与模型中每个像素相应的顶点直接对应(如图4所示)，完成贴图。利用照片中提取出的纹理和预先设计的纹理进行肤色匹配以及融合，生成整个人头的纹理。采用垂直映射人脸的方式进行纹理贴图，相比于传统的UV展开的方式能够在质量损失较少的情况下可以快速重建出具有真实感的人脸和人头。同时由于仅对面部进行提取，因此可以很好的将头发分离，非常容易对模型进行二次加工处理。

步骤H所述的姿态恢复方式是基于E中求解出的旋转矩阵和平移向量对得到的 3D模型做旋转和平移，进而恢复出当前摄像头捕捉到的头部姿态。

附图说明

图1为人工制作的不同脸型模型示意图；

图2为不同的表情模型的示意图

图3照片人脸替换通用纹理贴图人脸区域示意图；

图4融合后的通用纹理效果图；

图5人脸区域纹理映射示意图；

图6为算法三维重建后的效果图；

图7为带表情的人脸重建效果；

图8为三维头部重建流程图。

具体实施方式

下面参考附图对本发明实施例进行详细说明。其中，下述实施例中，主要包括两大部分：对人脸基本脸型的重建部分，对表情的重建部分。下面参照图6示出的流程图，及图1-5的各图，对本发明进行详述：

【人脸基本脸型的重建部分】

步骤110、对人脸的基本脸型和基本表情手工建模，具体步骤包括以下两步：

步骤1101、通过软件建立不同脸型和表情的立体的人脸模型，该模型为无头发的人脸模型。

步骤1102、根据建立的模型，构建本发明实施例所使用的标准脸型库和标准表情库。

具体来说，上述两步骤包括：首先通过例如Maya 3D等软件进行人脸建模，建立不同脸型和表情以及五官的人脸的不同人脸模型，每张人脸只有一个地方与平均人脸不同，并同时使每张人脸3D模型中的模型顶点数量相同、三角网格(Triangle Mesh) 中的三角形数量相同，以及该网格(Mesh)的拓扑连接结构相同。

其中，本发明构建了如图1示出的下述25种类型人脸模型作为本发明所使用标准的人脸模型库(下列说明均相对于平均脸型)，以及图2所示的21种表情模型：

1)小鼻子、2)右眼靠内侧、3)左眼靠下、4)右眼靠外侧、5)左眼靠内侧、6)鼻子左侧较宽、7)鼻子偏上、8)短下巴、9)上嘴唇靠上、10)下嘴唇靠下、11)高颧骨、 12)上嘴唇变薄、13)圆脸型、14)尖脸型、15)左眼靠外侧、16)长鼻子、17)左眼上眼睑靠上、18)右眼上眼睑靠上、19)右眼靠下、20)左眼靠上、21)右眼靠上、22)长脸型、23)鼻子右侧较宽、24)下嘴唇变薄、25)嘴偏上。

步骤120、对于脸型库中上述25种人脸模型和21种表情，分别进行人脸关键特征点进行标定。由于各个模型顶点数量相同、三角网格(Triangle Mesh)中的三角形数量相同，以及该网格(Mesh)的拓扑连接结构相同，故对各个人脸模型特征点标定时，各个模型对应的特征点的特征点标号也一致。

步骤130、基于投影变换对视频中的头部姿态进行估计，利用最小二乘法估计摄像机投影变换矩阵M，基于该变换矩阵M可将模型人脸的坐标变换到照片中对应位置的坐标。该原理具体描述如下：

q_i＝Rp_i+t

subject to R^TR＝I

对于这样的带约束的最小二乘问题可以用奇异值分解的方法求解，解出R和t。

由R和t组成摄像机投影变换矩阵M＝[R|t]。拟合人脸的目标即为求解参数使得照片中人脸的坐标和变形后的模型经过矩阵M投影到照片上的坐标的均方误差最小。

步骤140、对输入的视频或者照片进行人脸特征点测，这里的照片或者视频用于重建无表情的人脸模型。后续输入的视频中的人脸可以控制此模型，实现表情重建。

本步骤中，利用卷积神经网络对输入视频信息的每帧照片中人脸的关键特征点进行检测识别。

为了确保关键点识别的准确行，首先需要根据前一步中的投影变换矩阵，将输入的照片变换成标准的正脸或侧脸照片，以便提取出位置和深度信息。

步骤150、基于照片中人脸的关键特征点和脸型库中各人脸模型特征点，拟合构建新的三维人脸模型，该新的三维人脸模型即为目标三维人脸模型。具体包括以下子步骤：

步骤1501、根据输入视频信号中的正脸照片确定每个特征点的位置信息，构成人脸模型特征S_detection的二维位置信息；根据输入视频信号的侧脸照片确定眉毛、鼻梁、嘴唇等特征点的深度信息记S_detection的第三维信息。

步骤1502、基于脸型库各人脸模型构建新的人脸特征S，该S即用来表示本步骤150所要拟合构建的目标三维人脸模型，具体如下：

设一张新的人脸是其他n张人脸的线性组合，

表示平均人脸特征(通过矩阵来表示)，S_i表示第i种人脸模型的特征(通过关键特征点矩阵来表示)，w_i表示第i种人脸模型的权重，其约束满足0≤w_i≤1。由于此项限制，可以保证人脸的线性组合还是人脸，则该新的人脸特征S可记为下述公式1502：

在本实施例中，n＝25(对应25种人脸模型)，

可根据人脸库中的25种人脸模型的特征计算。

步骤1503、代入照片人脸模型特征S_detection求解S，具体如下：

对于很多最优化问题，通常可以转换为对如下述最小二乘法公式1503-1的求解：

据此，为通过最小二乘法解时，可以将公式1502转换为通过如下公式1503-2求解出w_i：

对于公式1503-2中，令

则矩阵A和向量b均为可求出的值。

由于上述新的人脸特征S可表示为向量S＝(x₁，x₂，...，x_n，y₁，y₂，...y_n，z₁，z₂，...z_n)^T的形式，其中x、y、z分别表示三维矩阵的三轴坐标值，故，上述公式1503-2可转为如下公式1503-3表示的非负最小二乘问题。

针对上述公式1503-3，可以利用Eigen库的非负最小二乘求解器求解w_i，利用公式

即可计算出S，即求解出了步骤150所述的拟合构建的新的三维人脸模型。

在步骤1504、当输入的是视频的时候，可以得到人脸的侧面的信息，因而可以估计出人脸的额头、鼻梁、嘴巴等深度信息。设有n张视频帧，有：

其中R_i为通过人脸检测的点估计出的人脸的姿态。

表示平均脸型减去第i张检测人脸特征点的差值。

测试中，对于本实施例的本拟合步骤，在配置为i7-4790型号CPU、8G内存的电脑上的运行时间为0.17ms，可见，本步骤的拟合方式可以非常快的拟合出人脸三维模型。拟合结果可参考图6所示效果图。

【面部纹理特征提取部分】

步骤210基于上述步骤140中的人脸特征点，提取人脸区域。

步骤220、利用最小二乘法，计算出人脸在UV纹理贴图的最优位置，并进行融合生成新的人脸贴图，包括如下子步骤：

步骤2201、选取人脸UV纹理贴图中的左眼左眼角(外眼角)、左眼右眼角(内眼角)、右眼左眼角(内眼角)、右眼右眼角(外眼角)、嘴唇左嘴角、嘴唇右嘴角的坐标。

步骤2202、利用照片人脸检测获取的对应五官的坐标，即上述步骤210中所获得的照片人脸中和步骤2201中所述五官相对应的坐标。

步骤2203、根据步骤2201、2202中的五官坐标，利用最小二乘法求解出平移缩放向量T＝{tx，ty，s}，其中tx、ty表示平移的方向向量，s表示缩放向量。

步骤2204、设预制的皮肤纹理贴图(即上述UV纹理贴图)的平均肤色为

其中r，g，b，即彩色图像中红、绿、蓝三个通道的值。

对于照片的人脸，提取人脸的各个关键点(如人脸68个关键点)的皮肤颜色，并求均值

步骤2205、对预置的皮肤纹理贴图(即上述UV纹理贴图)的每个像素P的颜色采用如下公式2205进行处理，实现对肤色的匹配。

步骤2206、利用步骤2203所计算出的向量T将提取的人脸特征区域与步骤2205 处理后的皮肤纹理贴图进行融合，生成新的人脸贴图。

步骤230、将所生成的新的人脸贴图映射到步骤220所构建出的三维模型上，以完成本发明所述的头部三维重建，该头部三维重建后的效果图可参见图6所示。其中本步骤映射时采用下述方式：

对于该新的人脸贴图中的非人脸部分，主要指不包含对应人脸特征区域的UV纹理贴图部分，如头顶、耳朵，这部分采用预设UV纹理图进行三维模型的贴图；

对于人脸贴图中的人脸部分，主要指对应人脸特征区域部分，提取人脸纹理，采用直接将模型的顶点直接一一对应到该新的人脸贴图对应的该人脸特征区域的像素上进行贴图。如图5所示。设模型人脸区域的坐标为P_f(x，y)，从模型人脸坐标到照片人脸坐标的变换向量为T。照片的宽度为W高度为H，根据UV坐标，即可对人脸模型进行纹理贴图，得到具有真实感的人脸模型。UV重新映射公式为：

u＝(x+tx)·s/W

v＝(y+ty)·s/H

在此说明的是，传统的三维人脸拟合模型的采用的是拟合的人脸纹理，一方面导致了拟合的速度较慢，一方面真实感不够。而如果直接提取照片的中的纹理的话，又由于单张照片能呈现的人脸部分不多，因此对于整个人头的模型时候，提取的纹理不足以使用。因此，本发明采用了通过预设的纹理和照片提取纹理结合的方式。

即，利用平移缩放向量T将对步骤210提取的人脸特征区域进行调整，从而将人脸特征区域部分贴到UV纹理贴图误差最小的位置，效果可参见图3所示。

在测试中，对纹理贴图的整个融合过程需要350ms。

【脸部表情重建部分】

在完成无表情的人脸重建后，即可进行实时的人脸表情的重建。对于重建的无表情的模型可以基于任何人的人脸。在人脸表情重建阶段，对输入的视频中的人脸仅仅进行表情的提取，用提取得到的表情参数应用到无表情的模型以实现表情的重建。

步骤310、对人脸表情的建模通过一个循环完成，以实现实时表情重建的功能。

步骤3101、重复上述步骤120，对输入视频信息中的人脸进行特征点检测。

步骤3102、重复上述步骤130，计算视频输入中头部的投影变换矩阵。

步骤3103、基于表情库各人脸模型构建新的人脸特征E，E即用来表示本步骤 310所要拟合构建的目标三维人脸模型，具体如下：

设人脸的一种表情是其他m种表情的线性组合，表示没有表情的人脸3D模型 (通过矩阵来表示)，w_i是第i种脸型的权重，其约束满足0≤w_i≤1。E_j表示第i种表情模型的特征，w_j表示第j种表情的权重，其约束满足0≤w_i≤1；由于此项限制，可以保证表情的线性组合还是正常的表情，则该新的表情特征E可记为下述公式3103：

在本实施例中，m＝21(对应21种表情模型)，

可根据人脸库中的21种人脸表情模型的特征计算。

步骤3104、代入照片人脸表情模型特征E_detection求解E，具体如下：6

对于很多最优化问题，通常可以转换为对如下述最小二乘法公式3104-1的求解：

据此，为通过最小二乘法解时，可以将公式3101转换为通过如下公式3104-2求解出w_i：

其中，E_detection表示步骤310中照片的人脸特征(通过关键特征点矩阵来表示)。

对于公式3104-2中，令

则矩阵A和向量b均为可求出的值。

由于上述新的表情特征S可表示为向量S＝(x₁，x₂，...，x_n，y₁，y₂，...y_n，z₁，z₂，...z_n)^T的形式，其中x、y、z分别表示三维矩阵的三轴坐标值，故，上述公式3104-2可转为如下公式3104-3表示的非负最小二乘问题。

针对上述公式3104-3，可以利用Eigen库的非负最小二乘求解器求解w_i和w_j，实际上，之所以在拟合表情同时对脸型进行拟合是为了避免同一种表情在不同脸型上的差异。但基本脸型的拟合是以第一部分的拟合结果为依据的，因此在得到拟合结果时，只保留表情的权重w_i。

步骤320、将表情权重加入步骤150中的无表情的基本3D模型上。

步骤330、根据步骤130中求出的旋转矩阵和平移向量恢复出视频信号中的头部姿态。

对于人脸的表情拟合部分只需要0.17ms左右，整个表情重建的时间不超过30ms，因此完全可以满足实时的要求。因此通过不停地对输入视频中的人脸模型进行表情和姿态的拟合，即可实现实时的表情重建，结果如图7所示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视频的三维人脸表情重建方法，其特征在于，包括步骤：

D.通过最小化人脸关键点与模型关键点之间的误差对人脸模型进行脸型拟合，得到无表情的人脸模型。

F.对输入的视频进行人脸关键点检测，计算人脸表情参数。

2.F中所述基本表情的基本模型包括图2中的21种基本脸型。

3.C中所述对投影矩阵估计的方法是基于最小二乘法。

由于人脸不同的姿态可以看成是相机从不同角度对同一个模型拍摄出的图片。因此，根据输入的二维图像信息可以计算出3D模型的旋转变换矩阵R和位移向量t，并可以此表示输入图像中的头部的姿态。

4.D中所述关键点包括68个面部特征点：

通过C中所述投影变换矩阵将模型脸各个关键特征点的三维坐标变换为照片上对应的二维坐标。其中鼻梁、眉毛、嘴巴等处的特征点不仅含有位置信息，还包含深度信息。

5.D所述方法是基于线性回归的思想。

这里我们认为人脸的基本脸型可以由一系列独立的脸型的线性组合近似表示。

6.F所述方法是在人脸的基本脸型稳定后进行的。

因此其中提及的各个表情的实现都是相对基本脸型的改变，在对面部表情进行拟合时仍采用最小二乘法求出每种表情的权重。