CN109325994A - 一种基于三维人脸数据增强的方法 - Google Patents

Abstract

本发明公开了一种用于三维人脸数据增强的方法，该方法建立在数据库不同三维人脸的稠密对应联系，选取具有最大非刚性形变差异的人脸对生成新身份；采用多线性3DMM拟合到数据库的人脸和新身份人脸，改变表情参数生成不同表情，再迁移回输入人脸生成新表情；新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，大大减少了采用Kinect等三维扫描仪手动去获得不同个体以及不同表情的人脸数据的负担，为三维人脸重建和识别等任务提供了有力的支持。

Description

一种基于三维人脸数据增强的方法

技术领域

本发明涉及计算机视觉图像处理技术领域，具体是一种基于三维人脸数据增强的方法。

背景技术

人脸作为人类的一个生物特征，因为人脸面部特征的差异性，使得能够获得更加丰富的人物信息，通过人脸可以进行信息传递，身份确认等。人脸的三维重建问题，一直以来都是计算机视觉、图像处理和模式识别领域的一个研究热点。而数据增强，不仅降低了三维建模的强度，更提高了人脸的识别率。在大数据时代，随着软硬件的成熟，三维人脸重建与识别正在逐渐应用于视频监控和安防领域。此外虚拟现实(VR)、医疗技术和电影角色等相关领域也需要应用三维人脸重建技术。三维人脸数据的增强对于三维人脸重建问题的探索与研究具有重大的科研价值与现实意义。

二维人脸的识别技术日趋成熟，但是二维人脸图像易于受到光照、表情、姿态变化等影响，在一定程度上降低了人脸识别算法的性能。而三维人脸数据的对光照、表情及姿态等变化具有良好的鲁棒性，保持了人脸的原始内蕴信息，且比二维人脸数据具有更多的信息量。但是，三维人脸重建技术存在同一个个体三维模拟差异较大，计算成本较高，重建时间长。本发明提出了一种增强三维数据的方法，使得数据集增多，避免了图像采集过程中深度信息的损失，降低了计算成本，提高了重建精度。

发明内容

本发明的目的是提供一种用于三维人脸数据增强方法，以解决现有技术三维人脸数据集较少，同一个个体三维模拟差异较大，重建效果不佳等问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于三维人脸数据增强的方法，其特征在于：在三维人脸数据库中，对每个个体人脸建立稠密对应联系，选取具有最大非刚性形状差异的人脸对产生新的身份，再利用多线性3DMM产生新的表情，新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，其步骤如下：

(1)、建立三维人脸数据的稠密对应联系：选取三维人脸数据库，对每个个体的正面姿态人脸点云，采用最优步非刚性ICP的方法，与BFM(Basel Face Model)中的平均人脸点云模型进行配准，从而得到具有稠密对应的三维人脸点云模型，且每个模型具有相同的维度大小；

(2)、产生新的身份：对于上面建立的具有稠密对应的人脸点云模型选取具有最大的非刚性形状差异的人脸对，则新身份的人脸可由公式(1)得到，

其中三维人脸点云表示为F_i＝[x_p,y_p,z_p]^T，为对应的点对(i,j)生成的新的人脸，即新的身份；

(3)、产生新的表情：采用多线性三维形变模型(3D Morphable Models，简称3DMM)，其中形状信息模型P_i来自BFM，表情信息模型P_e来自Face Warehouse，根据稠密对应的人脸以及产生的新身份信息的人脸，得到表情增强后的具有稠密对应联系的三维人脸点云X，X的计算方法如下：

式中X表示表情增强后的人脸，表示人脸点云对应的平均向量，α是形状信息参数向量，β是表情信息参数向量；

(4)、计算形变位移向量：计算表情增强的人脸点云与BFM平均人脸点云之间的位移向量，计算方法如下：

Δ_i＝Ψ_i-Ω_i (3)，

式中表示一组位移向量，Ψ_i为表情增强的3DMM，Ω_i是拟合人脸的3DMM，N是3DMM的点云个数；

(5)、迁移表情到原始人脸：利用公式(4)计算原始人脸X_i在拟合3DMM的最近点索引，然后原始人脸加上对应最近点索引的位移向量，得到表情增强后的原始人脸点云X'_i

X'_i＝X_i+Δ_j (5)，

其中Δ_j是与输入原始人脸点云X_i对应的位移向量，X'_i为表情迁移到原始的人脸的输入。由此可将表情迁移到原始输入三维人脸点云，从而获得不同表情的三维人脸点云。

本发明建立三维人脸的稠密对应联系，生成了新的人脸，即产生了新的身份信息，将带表情的3DMM迁移到原始无表情的人脸中来，生成了新的表情，在传统的3DMM模型中加入了新的身份信息和表情增强信息，增强了数据。

本发明在三维人脸数据库上，基于关键点的算法建立了稠密对应联系，通过不同身份的稠密对应的真实三维人脸来生成数据集，为确保身份尽可能不同，选取了人脸对中的最大非刚性形状差异，从而生成新的人脸，产生了新的身份信息；对拟合后的3DMM改变参数生成新的表情，将有表情的3DMM迁移到原始人脸中，表情信息得到了增强，从而为以后重建和识别提供了更多数据。

本发明基于形变模型的三维人脸数据增强方法，通过建立三维人脸的线性组合，结合输入的图像调节，拟合、匹配得到3DMM，将获得的3DMM拟合到输入的二维人脸图像上，利用拟合参数可实现三维人脸的重建。由于人脸数据量较大，并且之间存在一定相关性，为了更准备的表示新的人脸模型，降低计算的复杂度，采用主成分分析(PCA)进行降维以及消除人脸数据的相关性。

本发明通过对三维人脸数据库中的人脸进行训练，生成了更多的三维人脸数据，改善了同一个个体三维模拟差异较大，重建效果不佳等问题。

本发明的有益效果是：

本发明通过建立不同身份的三维人脸稠密对应联系，选取最大非刚性形变差异，从而生成了新的身份信息，利用多线性3DMM拟合，将含表情的3DMM迁移到原始无表情人脸上，表情得到增强，从而三维人脸数据得到增强。

附图说明

图1是本发明的实现流程框架图。

图2是本发明3DMM的拟合数据库人脸的过程。

图3是本发明利用多线性3DMM产生的不同表情。

具体实施方式

如图1所示，一种基于三维人脸数据增强的方法，包括以下步骤：

(1)建立三维人脸的稠密对应联系：选取CASIA-3D FaceV1三维人脸数据库，对每个个体的正面姿态人脸点云，采用最优步非刚性ICP的方法，与BFM2009中的平均人脸点云模型进行配准，该步骤得到具有稠密对应的三维人脸点云模型，并且每个模型具有相同的维度大小：53490*3。

(2)、产生新的身份：对于上面建立的具有稠密对应的人脸点云模型，选取具有最大的非刚性形状差异的人脸对，则新身份的人脸可由公式(1)得到

其中三维人脸点云表示为F_i＝[x_p,y_p,z_p]^T，为对应的点对(i,j)生成的新的人脸，即新的身份。

(3)、产生新的表情：采用多线性三维形变模型(3D Morphable Models，简称3DMM)，其中形状信息模型P_i来自BFM，表情信息模型P_e来自Face Warehouse，根据稠密对应的人脸以及产生新身份信息的人脸，得到表情增强后的具有稠密对应联系的三维人脸点云X，X的计算方法如下：

式中X表示表情增强后的人脸，表示人脸点云对应的平均向量，α是形状信息参数向量，β是表情信息参数向量，限定该参数范围-0.05～0.05之间。

(4)、计算形变后位移向量：计算表情增强的人脸点云与BFM平均人脸点云之间的位移向量，计算方法如下：

Δ_i＝Ψ_i-Ω_i (3)，

式中表示一组位移向量，Ψ_i为表情增强的3DMM，Ω_i是拟合3DMM，N是3DMM的点云个数；

(5)、迁移表情到原始人脸：利用公式(4)计算原始人脸X_i在拟合3DMM的最近点索引，然后原始人脸加上对应最近点索引的位移向量，得到表情增强后的原始人脸点云X'_i

X'_i＝X_i+Δ_j (5)，

其中Δ_j是与输入原始人脸点云X_i对应的位移向量，X'_i为表情迁移到原始的人脸的输入。由此可将表情迁移到原始输入三维人脸点云，从而获得不同表情的三维人脸点云。

图2中，(a)图为选取本实验采用多线性3DMM模型的平均人脸作为配准的模板人脸，(b)图选取来自拟建立稠密对应联系的人脸作为目标人脸，(c)图利用最优步非刚性ICP配准算法得到配准后的人脸。对数据库中的每个人脸都进行该步骤，即可建立不同人脸之间的稠密对应关系。图片数据来自于CASIA-3D FaceV1三维人脸数据集。

图3中，随机改变多线性3DMM模型中的表情参数β，并且限定该参数范围-0.05～0.05之间，产生10个看起来更加自然的表情。图片数据来自于Base Face Model三维人脸数据集。

Claims (1)

1.一种基于三维人脸数据增强的方法，其特征在于：在三维人脸数据库中，对每个个体人脸建立稠密对应联系，选取具有最大非刚性形状差异的人脸对产生新的身份，再利用多线性3DMM产生新的表情，新的身份和表情信息使得原始三维人脸数据集的数据量得到了增强，其步骤如下：

(1)、建立三维人脸数据的稠密对应联系：选取三维人脸数据库，对每个个体的正面姿态人脸点云，采用最优步非刚性ICP方法，与BFM中的平均人脸点云模型进行配准，从而得到具有稠密对应的三维人脸点云模型，配准后的每个人脸模型具有相同的维度大小；

(2)、产生新的身份：对于上面建立的具有稠密对应的人脸点云模型，选取具有最大的非刚性形状差异的人脸对，则新身份的人脸可由公式(1)得到

其中三维人脸点云表示为F_i＝[x_p,y_p,z_p]^T，为对应的点对(i,j)生成的新的人脸，即新的身份；

(3)、产生新的表情：采用公式(2)中的多线性3DMM，其中形状信息模型P_i来自BFM，表情信息模型P_e来自Face Warehouse，改变表情参数β即可产生不同的表情：

式中X表示表情增强后的人脸，表示人脸点云对应的平均向量，α是形状信息参数向量，β是表情信息参数向量；

(4)、计算形变位移向量：计算表情增强的人脸点云与BFM平均人脸点云之间的位移向量，计算方法如下：

Δ_i＝Ψ_i-Ω_i (3)，

式中表示一组位移向量，Ψ_i为表情增强的3DMM，Ω_i是拟合3DMM，N是3DMM的点云个数；

(5)、迁移表情到原始人脸：利用公式(4)计算原始人脸X_i在步骤(1)中拟合3DMM的最近点索引，然后原始人脸加上对应最近点索引的位移向量，得到表情增强后的原始人脸点云X′_i

X′_i＝X_i+Δ_j (5)，

其中Δ_j是与输入原始人脸点云X_i对应的位移向量，X′_i为表情迁移到原始的人脸的输入；由此可将表情迁移到原始输入三维人脸点云，从而获得不同表情的三维人脸点云。