CN111754637A - 一种样本相似度抑制的大尺度三维人脸合成系统 - Google Patents

Abstract

本发明公开了一种样本相似度抑制的大尺度三维人脸合成系统，包括：三维扫描设备，用于获取三维人脸模型及其点云数据；第一处理模块，用于对所获取的三维人脸模型及其点云数据进行预处理；第二处理模块，用于进行人脸三维模型的合成，得到合成三维人脸模型；第三处理模块，用于对所述合成三维人脸模型与采样得到的三维人脸模型集进行相似度检测，以输出满足相似度要求的所述合成三维人脸模型。本系统在进行三维人脸模型合成的基础上，充分考虑到三维人脸模型合成技术所需兼顾的数据隐私性问题，通过设计一个相似度检验模型来抑制合成模型与真实采集人脸模型的相似度，使输出的三维人脸合成结果能够满足人脸数据私密性的特殊要求。

Description

一种样本相似度抑制的大尺度三维人脸合成系统

技术领域

本发明涉及三维人脸重建技术领域，特别涉及一种样本相似度抑制的大尺度三维人脸合成系统。

背景技术

在2018年10月世界虚拟现实产业大会上，北京大学黄铁军教授提出传统的二维图像、视频并非人类视觉神经系统观察世界真正的视觉媒介。可见，面向三维模型的研究更加符合人类观察物体客观存在。在常见三维模型数据中，由于三维人脸模型的个体身份表征、个人形象与交互门户的特殊属性，三维人脸模型数据已经被广泛应用于游戏、影视、仿真系统中虚拟人仿真等诸多领域。例如，人们广泛熟知的苹果手机faceID技术检测三维人脸深度信息已成功实现产业化应用。随着三维扫描技术和基于视觉与深度图的三维建模技术的快速发展，三维人脸模型的获取方式也走向多样化。尽管三维重建技术在硬件和算法方面均日趋发展成熟，但归根究底，重建的三维人脸模型并非人工合成模型，不能满足广泛的“匿名”化虚拟人脸模型的需求。因此，在真实人脸模型三维重建快速发展的同时，面向三维人脸模型的人工合成方法研究将逐渐成为计算机图形学领域的主要研究课题之一。

Goodfellow于2013年提出的生成对抗网络(Generative Adversarial Network，GAN)模型为数据合成方法打开了另一扇大门。迄今为止，基于GAN的图像合成方法已经被研究者们广泛讨论和开展性能优化研究工作。由于GAN模型具备保证合成结果质量的特点，使其几乎成为人脸合成方法研究的首选工具。但是，基础GAN模型的训练时依然存在很多不足：随机梯度下降(SGD)问题，当判别器越来越准确时生成器会出现梯度崩溃的问题，这使得GAN在稳定性和大尺度输入数据计算优化两个方面需要进一步开展研究工作。为提升GAN模型的稳定性，已有学者提出McGAN模型通过均值和协方差特征匹配进一步动态优化 GAN模型的稳定性；为提升GAN模型的大尺度数据处理能力，由于判别器收敛速度较生成器更快，有学者提出的生成器/判别器使用不用的训练周期，以提高其数据处理效率。

但是，纵观国内外相关研究，我们分析发现，到目前为止，基于生成对抗网络模型的研究主要集中在模型的算能和稳定性提升，以及面向图像、视频等数据自动合成的应用研究，而对于面向三维模型尤其是三维人脸模型的自动合成方法相关课题的探讨和研究严重不足，无法适应于三维人脸模型的自动合成的需求。2018年以来，浙江大学计算机辅助设计与图形学国家重点实验室周昆教授也在中国图形学大会(ChinaGraph 2018)、ACMSIGGraphAsia 2018等诸多重要场合提出智能图形学的概念，推崇将人工智能方法广泛应用于计算机图形学研究领域。欧盟委员会的智库也在2018年3月发布的《人工智能时代：确立以人为本的欧洲战略》中提出了“以人为本”的人工智能发展方向。在这样的背景要求之下，人脸数据作为一种高度敏感的隐私和身份信息，数据隐私保护是人工智能研究者们以及应用产业重点考虑的问题。可以看到，在虚拟人等诸多“匿名”、版权限制的特殊需求驱动之下，在发展合成三维人脸模型的同时如何注意数据隐私问题也是行业发展必不可少的需求。

此外，由于影视、游戏以及虚拟现实等诸多产业的广泛需求，三维人脸模型已经成为国内外计算机图形学领域相关专家学者的研究热点和重点，面向三维人脸模型的分析处理技术随之得以发展。关于三维模型的特征描述符，针对三维人脸模型的特征描述符被大致分为基于特征点、特征曲线和局部曲面统计三类方法。然而，这些方法主要被用于人脸身份或者表情识别，但大部分是通过提取人脸几何特征信息，是一种不可逆的方法，不能直接应用于三维人脸重建。即在没有坐标信息的情况下基于曲率数据逆向还原三维模型是不可能实现的任务，因此，现有三维人脸模型的描述还存在一定的缺陷。

发明内容

本发明的目的在于克服现有技术中所存在的现有三维人脸合成模型仅注重于优化模型、未考虑到三维人脸合成模型技术所需兼顾的人脸数据私密性特殊要求的问题，提供一种样本相似度抑制的大尺度三维人脸合成系统，能够通过相似度检验、抑制合成模型与真实采集人脸模型的相似度使相应的三维人脸模型自动合成结果更加可靠，满足人脸数据私密性特殊要求。

为了实现上述发明目的，本发明提供了以下技术方案：

一种样本相似度抑制的大尺度三维人脸合成系统，包括：

三维扫描设备，用于获取三维人脸模型及其点云数据，并输出至所述第一处理模块；

第一处理模块，用于对所获取的三维人脸模型及其点云数据进行预处理，得到第一三维人脸模型集；并将所述第一三维人脸模型集输出至所述第二处理模块及所述第三处理模块；

第二处理模块，用于配置大尺度三维人脸合成网络模型，所述尺度三维人脸合成网络模型能够根据所述第一三维人脸模型集进行人脸三维模型的合成，得到合成三维人脸模型；并输出所述合成三维人脸模型至第三处理模块；

第三处理模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集；并配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够对所述合成三维人脸模型与所述第二三维人脸模型集进行相似度检测，以输出满足相似度要求的所述合成三维人脸模型。

优选的，所述三维扫描设备为手持三维扫描仪GoSCAN 20和GoSCAN 50。

优选的，所述第三处理模块包括：

下采样子模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集，并输出所述第二三维人脸模型集至抑制模型子模块；

抑制模型子模块，用于配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够通过特征提取的方式计算所述合成三维人脸模型与所述第二三维人脸模型集的相似度，并输出相似度低于阈值的合成三维人脸模型，以抑制所述合成三维人脸模型与所述第二三维人脸模型集的相似度。

优选的，所述样本相似度抑制网络模型为训练好的丢弃深度网络模型，所述丢弃深度网络模型的网络模型为：

p_o＝f^q(m_o)＝f^q(w_i*m_i*p_i+b)

其中，m_o表示人脸模型所有网格节点基于丢弃网络模型编码的标量输出，f^q表示对该输出归一化概率校验函数，其中，i＝1，…，|z|，|z|表示人脸结构化表示网格节点m_i的节点数，即

所述f^q函数为激活函数或高斯函数。

优选的，所述第一处理模块包括：

归一化处理子模块，用于对接收到的三维人脸模型的点云数据进行最大边界线性归一化处理，得到所述三维人脸模型对应的深度图输出至曲面拟合子模块；

曲面拟合子模块，用于对所得深度图进行网格化曲面拟合，得到所述三维人脸模型对应的网格深度图矩阵，所得网格深度图矩阵即为所述第一三维人脸模型集。

优选的，所述大尺度三维人脸合成网络模型为训练好的融合自注意力网络的生成式对抗网络模型。

与现有技术相比，本发明的有益效果：

1、本发明提出了一种基于三维人脸样本相似度检测、抑制的三维人脸合成系统，在设计一个三维人脸合成模块进行三维人脸模型合成的基础上，充分考虑到三维人脸模型合成技术所需兼顾的数据隐私性问题，通过设计一个相似度检验模型抑制合成模型与真实采集人脸模型的相似度，使相应的三维人脸模型自动合成结果与真实人脸的相似度低于阈值，确保三维合成人脸模型与样本(真实人脸模型)的差异性，能够满足人脸数据私密性特殊要求、更加安全可靠。

2、本发明针对现有技术中基于人脸几何信息的三维人脸模型特征描述符所存在的几何信息不可逆、不能直接应用于三维人脸重建的问题，提出一种三维人脸模型的(网格)结构化表示方法，充分利用可逆性较高的三维人脸的点云数据，通过结构化处理三维人脸点云模型，使得三维人脸模型能像图像一样直接作为深度神经网络模型的输入，为三维人脸模型的智能化处理开辟了更多可能性。

3、本发明提出数据驱动的大尺度三维人脸人工合成系统，通过融合自注意力模型以提升传统用于合成技术的生成对抗模型处理大尺度数据的计算能力。

4、通过引入谱范数和双时间尺度规则等多种方法提升本发明所设计的三维人脸合成模型针对大尺度数据训练过程中的稳定性，能够得到高效、便捷、可靠、精度较高的大尺度三维人脸合成模型。

附图说明：

图1为本发明示例性实施例的样本相似度抑制的大尺度三维人脸合成系统结构框图。

图2为本发明示例性实施例的三维扫描设备扫描结果示意图。

图3为本发明示例性实施例的采集到的真实三维人脸模型示意图。

图4为本发明示例性实施例的下采样后得到的三维人脸模型示意图。

图5为本发明示例性实施例的合成模型得到的合成三维人脸模型示意图。

图6为本发明示例性实施例的合抑制模型输出的满足相似度要求的三维人脸模型示意图。

图7为本发明示例性实施例的三维人脸结构化表示方法设计示意图。

图8为本发明示例性实施例的非局域自注意力模型表示三维人脸模型效果示意图。

图9为本发明示例性实施例的三维人脸自注意力网络模型及其输出结果示意图。

图10为本发明示例性实施例的丢弃网络模型示意图。

图11为本发明示例性实施例的融合自注意力网络、丢弃网络模型的样本相似度校验方法示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

图1示出了本发明示例性实施例的样本相似度抑制的大尺度三维人脸合成系统，包括：

三维扫描设备，用于获取三维人脸模型及其点云数据，并输出至所述第一处理模块；

第一处理模块，用于对所获取的三维人脸模型进行预处理，得到第一三维人脸模型集；并将所述第一三维人脸模型集输出至所述第二处理模块及所述第三处理模块；

第二处理模块，用于配置大尺度三维人脸合成网络模型(大尺度三维人脸合成网络模型为训练好的融合自注意力网络的生成式对抗网络模型)，所述尺度三维人脸合成网络模型能够根据所述第一三维人脸模型集进行人脸三维模型的合成，得到合成三维人脸模型；并输出所述合成三维人脸模型至第三处理模块；

第三处理模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集；并配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够对所述合成三维人脸模型与所述第二三维人脸模型集进行相似度检测，以输出满足相似度要求的所述合成三维人脸模型。

具体的，本发明中所涉及的大尺度方法就是面部表情特征更多(三维本身已经是多样化的了)，而不是单纯的静态图像，本领域也可以称为多尺度，全面建模分析。如图2所示，本实施例中，三维扫描设备采用手持三维扫描仪GoSCAN 20和GoSCAN 50，能够提取精度较高的三维人脸模型。如图1所示，所述第三处理模块包括：下采样子模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集，并输出所述第二三维人脸模型集至抑制模型子模块；抑制模型子模块，用于配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够通过特征提取的方式计算所述合成三维人脸模型与所述第二三维人脸模型集的相似度，并输出相似度低于阈值的合成三维人脸模型，以抑制所述合成三维人脸模型与所述第二三维人脸模型集的相似度。所述样本相似度抑制网络模型为训练好的丢弃深度网络模型,，所述丢弃深度网络模型的网络模型为：

p_o＝f^q(m_o)＝f^q(w_i*m_i*p_i+b)

其中，m_o表示人脸模型所有网格节点基于丢弃网络模型编码的标量输出，f^q表示对该输出归一化概率校验函数，其中，i＝1，…，|z|，|z|表示人脸结构化表示网格节点m_i的节点数，即

)，所述f^q函数为激活函数或高斯函数。

所述第一处理模块包括：

归一化处理子模块，用于对接收到的三维人脸模型的点云数据进行最大边界线性归一化处理，得到所述三维人脸模型对应的深度图输出至曲面拟合子模块；

曲面拟合子模块，用于对所得深度图进行网格化曲面拟合，得到所述三维人脸模型对应的网格深度图矩阵，所得网格深度图矩阵即为所述第一三维人脸模型集。

实施例2

在本发明进一步的实施例中，还提供一种样本相似度抑制的大尺度三维人脸合成方法，包括：

步骤1，利用三维扫描设备获取三维人脸模型，通过第一处理模块对所获取的三维人脸模型进行预处理，得到如图3所示的第一三维人脸模型集，并输出至第二处理模块及第三处理模块

步骤2，第二处理模块中配置的大尺度三维人脸合成网络模型，将所述第一三维人脸模型集输入至大尺度三维人脸合成网络模型进行人脸三维模型的合成，得到如图5所示的合成三维人脸模型，并输出至第三处理模块；

同时，第三处理模块对所述第一三维人脸模型集进行下采样，得到如图4 所示的第二三维人脸模型集；

步骤3，由第三处理模块中配置的样本相似度抑制网络模型，对步骤2得到的合成三维人脸模型与下采样得到的第二三维人脸模型集进行相似度检测对比，以从步骤2得到的多个合成三维人脸模型中筛选出相似度抑制后满足相似度要求(低于阈值)的合成三维人脸模型进行输出，图6示出了本实施例中，抑制网络模型输出满足相似度要求的合成三维人脸模型。从图上可知，图6与真实人脸相似度低于图5的示例。在本实施例中，本发明提供了一种基于三维人脸样本相似度检测、抑制的三维人脸合成系统，在设计一个三维人脸合成模型进行三维人脸模型合成的基础上，充分考虑到三维人脸模型合成技术所需兼顾的数据隐私性问题，通过设计一个相似度检验模型抑制合成模型与真实采集人脸模型的相似度，使相应的三维人脸模型自动合成结果能够满足人脸数据私密性特殊要求、更加安全可靠。

具体的，本发明以真实三维人脸数据集作为驱动，在融合深度神经网络模型技术生成大尺度三维人脸的基础上，进一步采用丢弃深度网络模型实现人工合成人脸的样本相似度检测和抑制，具体方案如下：

(1)由第一处理模块执行的三维人脸模型结构化表示

对于任意三维人脸模型，依据人脸的特殊属性，本发明设计一种网格化的深度图(Depthmap)，从而实现三维人脸模型的结构化表示方法。

首先，对于任意三维人脸点云模型

i＝1，…，N(N表示数据集中人脸模型总数，

亦表示第i个人脸点云模型中的点云集合)，我们可以借助现有的成熟工具将人脸模型证明对齐、转置到XOY平面且人脸上下方向对齐Y轴，同时检测鼻尖顶点并将人脸模型居中平移至坐标原点O，如图7(左上)所示。对于点云模型在XOY平面投影边界为[[X_min，X_max]，[Y_min，Y_max]]，进一步使用同一缩放系数 max(|X_min|，|X_max|，|Y_min|，|Y_max|)，即最大边界线性归一化，将所有模型空间点在XYZ 三个维度上线性缩放至[-1，1]的范围内，如图7(左)所示。

进一步，为实现人脸模型结构化表示，将XOY平面按照间距d网格化，深度图曲面记为F＝z(x，y)，x＝-1∶d∶1，y＝-1∶d∶1，其中z(x，y)，表示在XOY平面(x，y)坐标上对应曲面空间点Z轴坐标值。对于网格曲面F_i，进一步进行三角剖分，如图7(右)所示。假若F是给定的原始人脸点云模型F°的网格化拟合曲面，F°中包含的所有空间点均位于F曲面上，即在微观上，F°中的每个点均处于F中相应三角面片上。

图7三维人脸结构化表示方法设计示意图。左：三维人脸转置及其深度图表示；右：人脸点云模型网格曲面拟合(黄色表示网格点，红色表示点云模型原始点，深度表示为相应点的权值)

如图7(右)所示，首先将所有空间点按照上/下三角形分为v_t和v_b两种类型。以v_b为例，如图7(右)所示，为便于描述，将v_b所在三角形Δv_i-1，jv_i，jv_i，j+1对应简化描述为Δv₁v₂v₃。继而，假设曲面F对应v₁，v₂，v₃点的深度值z₁，z₂，z₃分别为v₁，v₂，v₃的权重值，根据质心坐标(barycentric coordinates)原理可得：

w₁×z₁+w₂×z₂+w₃×z₃＝z(v_b) (1)

其中，w₁，w₂，w₃是点v_b到对应顶点的距离成反比的权值，z(v_b)表示XOY平面点v_b在曲面F的深度值。由于三角形Δv₁v₂v₃的等腰直角三角形的特性，可计算如下：

其中x(v_b)与y(v_b)表示XOY平面点v_b的坐标值，％为取模操作。事实上，该取模操作在上式(2)中用以评估斜率。同理，同样将上三角形Δv_i-1，jv_i-1，j+1v_i，j+1表示为公式(1)中的Δv₁v₂v₃，在公式(1)表示不变的情况下，可进一步计算点v_t相应权值表示如下：

显然，对于原始人脸点云模型F°中所有的点集，公式(1-3)可综合表示如下：

W×z(F)＝z(F°) (4)

由于权值矩阵W可依据公式(2)和(3)推算，根据矩阵基本运算规则，

z(F)＝W\z(F°)

事实上，公式(4)亦可根据岭回归估计方法，其求解方法如下：

z(F)＝(W^TW)^-1W^Tz(F°) (5)

进一步，公式(4)可通过约束求解空间保障曲面F的平滑性。以图7(右) 为例，首先在X轴方向约束梯度如下：

z(v_i，j-1)-2·z(v_i，j)+z(v_i，j+1)＝0 (6)

同理，在Y轴方向约束梯度如下：

z(v_i-1，j)-2·z(v_i，j)+z(v_i+1，j)＝0 (7)

上式(5)(6)表示在(4)式全局最优拟合的同时保障在X轴和Y轴方向的局部单调性。进一步，以上两式(5)和(6)可分别通用表示为：

W_x×z(F)＝0； (8)

W_y×z(F)＝0； (9)

综合公式(4)(8)(9)可得：

上式(10)同样可参考公式(5)所示岭回归优化方法进行求解。

由此，任意三维人脸点云模型

可通过上述网格深度图矩阵z(x，y)表示为曲面F_i，是一种类似灰度图像的结构化表示。这使得我们可以直接使用深度神经网络对三维人脸模型进行分析和处理，为三维人脸模型的应用研究增加了更多可能性。上述三维人脸模型的结构化表示法为应用深度神经网络分析和处理该数据提供了一种新的途径，对设计大尺度三维人脸合成方法与人脸样本相似度抑制方法至关重要。

(2)由第二处理模块进行的大尺度三维人脸合成

·大尺度三维人脸模型全局特征表示

本发明提出的人脸模型是注重细节且精度敏感数据，如果生成的模型左右脸不对称会严重影响数据合成质量。传统的卷积神经网络很难实现在大范围内捕捉数据特性，例如在对左眼区域做卷积时它看不到右眼对左眼的影响，合成的人脸模型很容易缺乏人脸结构基本特征。我们注意到在计算机视觉中的自注意力机制作为一种非局部操作方法逐渐被广泛应用，通过关注图片中所有像素点取加权平均值来表示图片中某像素的响应。该方法很有效的通过权重量化非局域样本之间的相关性。图8给出了非局域自注意力模型表示的三维人脸模型效果示意图。其中，右：蓝色箭头表示相应人脸曲面点的非局域注意力模型操作。左下：原始模型；左上：自注意力表示的三维人脸模型。

首先，依据计算机视觉中的非局部操作的定义，在深度学习中非局部操作可以表达为：

其中，i是输出人脸网格表示的其中一个位置，j是所有可能位置的索引。在局部卷积算子中，一般i-1≤j≤i+|，j包括三维人脸网格表示中的所有节点。 z是输入三维人脸表示，y是合成人脸，c(z)是归一化函数，保证变换前后整体信息不变；g是一元输入函数用于直接对输入z进行信息变换，通常是一个计算加权求和的卷积函数g(z_j)＝W_sz_j。f^p是配对计算函数，用于计算第i个位置和其他所有位置的相关性。通过评估高斯函数、嵌入高斯函数、点积和拼接四种最常见方法，结果显示该计算函数f^p的选择对非局域模型影响不敏感。为便于理解，本发明以常用的嵌入式高斯为例，即：

图9示出了本发明示例性实施例的三维人脸自注意力网络模型及其输出结果示意图。左：自注意力网络模型；右下是采用自注意力模型表示的三维人脸模型，箭头指向所示红点在右上原始模型中主要相关的非局域点。

嵌入式高斯的特点是对z_i和z_j在嵌入的θ和

空间计算高斯距离。

是对应的权重矩阵

即相应的卷积函数。进而，计算归一化函数为

公式(11)可重新表达为softmax的形式：

最后，对于公式(11)输出的y_i乘以比例参数γ并添加回输入要素图z_i，最终人脸网格表示位置i的输出由下式给出：

z′_i＝γ·y_i+z_i (14)

可以看出，公式(14)中基于非局部操作算子将输出构造成了残差形式。该方法的优点是可以随意嵌入到任何一个预训练好的网络中，因为只要设置γ初始化为0，那么就没有任何影响，然后在迁移学习中学习新的权重。这样就不会因为引入了新的模块而导致预训练权重无法使用。

·自注意力生成对抗网络模型

传统的生成对抗网络模型包括生成器(Generator，G)和判别器 (Discriminator，D)两个深度网络模型。生成对抗网络模型的工作机理类似一个零和博弈过程(zero-sumgame)，其模型表达如下：

上式中，生成模型G捕捉样本数据的分布，用服从某一分布(均匀分布，高斯分布等)的噪声s生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型D是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D输出大概率，否则，D 输出小概率。在训练的过程中固定一方，更新另一方的网络权重，交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡(纳什均衡)。可见，当固定生成网络G的时候，对于判别网络D的优化，可以这样理解：输入来自于真实数据，D优化网络结构使自己输出 1，输入来自于生成数据，D优化网络结构使自己输出0；当固定判别网络D的时候，G优化自己的网络使自己输出尽可能和真实数据一样的样本，并且使得生成的样本经过D的判别之后，D输出高概率。

回顾公式(14)中的基本非局部操作算子，将γ初始化为0，然后逐渐学会为非本地特征分配更多权重。通过先学习简单的任务，然后逐步增加任务的复杂性。融合自注意力网络与生成对抗网络，将自注意力模块应用于生成器G和判别器D，设计生成器G和判别器D损失函数表达式如下：

以上两式结合公式(15)所述生成对抗网络模型，采用最小化对抗损失交替方式训练生成器G和判别器D，最终实现融合自注意力模型和生成对抗网络模型的三维人脸合成方法模型。

(3)三维人脸样本相似度抑制模型

本发明提出的三维人脸模型合成方法，旨于生成高真实度的人工合成人脸模型从而在诸多应用当中不涉及侵权问题。通常情况下，上述基于注意力大尺度生成对抗网络模型能合成真实人脸，合成模型与真实人脸的相似度与网络精度有关，本实施例中合成模型的精度(与真实人脸的相似度)一般在50％～75％左右。但是，本发明为进一步确保生成的人脸模型与训练样本的差异性，提出基于丢弃自编码器的样本相似度抑制模块实现对生成模型的“筛选”、“判别”。基于丢弃自编码器的样本相似度抑制网络模型通过特征提取(采用常用的三维人脸重建技术中的人脸几何信息提取的方式进行特征对比、计算相似度)计算所述合成三维人脸模型与所述第二三维人脸模型集的相似度，并输出相似度低于阈值 (本实施例中阈值可从52％～57％中进行取值)的合成三维人脸模型，以抑制所述合成三维人脸模型与所述第二三维人脸模型集的相似度。由此，本发明在设计一个三维人脸合成模型进行三维人脸模型合成的基础上，充分考虑到三维人脸模型合成技术所需兼顾的数据隐私性问题，通过设计一个相似度检验模型抑制合成模型与真实采集人脸模型的相似度，使相应的三维人脸模型自动合成结果能够满足人脸数据私密性特殊要求、更加安全可靠。图10示出了本发明示例性实施例的丢弃网络模型结构示意图。

顾名思义，丢弃自编码器就是在训练过程中神经网络隐含层节点依据预设的概率p_i(i＝1，…，|z|，|z|表示人脸结构化表示网格节点m_i的节点数，即

) 随机出现，因此不能保证任意两个隐含节点每次都同时出现，如图10所示。由此，权值的更新不再依赖于有固定关系隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。根据图10所示，训练网络的每个链接单元都要增加一个概率因素，该神经网络模型表示如下：

p_o＝f^q(m_o)＝f^q(w_i*m_i*p_i+b) (16)

其中，m_o表示人脸模型所有网格节点基于丢弃网络模型编码的标量输出，f^q表示对该输出归一化概率校验函数。实践中，f^q函数可在激活函数及高斯函数等进行评估优化选择。

最后，对校验函数f^q输出的概率p_o采用阈值进行二值化，评估生成的数据与训练样本相似度不过量，最终实现样本相似度抑制，如图9所示。

(4)三维人脸合成方法的稳定性与大尺度数据处理性能优化探讨

值得注意的是，生成对抗网络模型的特点和优势在于训练过程稳定的情况下，可以保证G最终输出与样本相似的合成数据。然而，由于生成对抗网络模型在使用时需要同时训练G和D两个深度网络模型，使得处理大尺度人脸样本数据训练时的稳定性和大尺度数据处理能力方面仍有待研究。本发明拟采取以下策略开展对样本相似度抑制的三维人脸合成方法的优化探讨：

·对训练人脸模型进行采样

本发明提出的大尺度人脸模型合成方法基于自注意力网络模型。基于相邻人脸网格结点存在冗余信息的事实，本发明拟对训练人脸模型进行均匀采样，从而在不影响训练质量的情况下，进一步提升深度网络模型训练效率。

·谱范数归一化(Spectral Normalization)

自注意生成对抗网络模型为判别器和生成器均加入了谱范数归一化的方式，即让每层网络的网络参数除以该层参数矩阵的谱范数(权重矩阵的最大奇异值)。这使得判别器满足了1-lipschitz限制，显著减小解搜索空间，减小计算量、缓解梯度崩溃问题；同时也避免了生成器的参数过多导致梯度异常；从而使得整套训练较为平稳和高效。

·双时间尺度的更新规则(two-timescale update rule，TTUR)

在前期生成对抗网络模型研究工作中，判别器的正则化通常会减慢网络模型的学习过程。实际上，使用正则化判别器的方法通常在训练期间每个生成器需要多个更新步骤。本发明采用对生成器和判别器使用单独的学习率的训练方法，即双时间尺度的更新规则(TTUR)。由此，专门使用TTUR来补偿正则化判别器中慢学习的问题，使得对于每个判别器步骤使用更少的生成器步骤成为可能。使用这种方法，我们能够在相同的单位时间内产生更好的结果。

·融合自注意力模型和丢弃网络的样本相似度校验方法

在对合成人脸数据进行样本相似度校验时，由于大尺度输入数据将增加额外计算负担，本发明拟将训练样本数据集中的所有人脸模型进行下采样(如图3 所示)。该方法在用于数据相似度计算式，已被验证不影响数据分类结果。同时，由于人脸表示网格相邻节点的拓扑相关性，本发明拟将进一步基于自注意力模型(图9)对图10所示的所有网格节点m_i进行自注意力编码，如图11所示。客观来说，下采样的输入数据丢失部分邻接信息，这使得图11所示的融合自注意力模型的节点信息编码的融合显得尤为必要。

随着三维人脸模型制作和扫描技术的多样化发展，近年来在线三维人脸数据集也逐渐增多，为研究设计数据驱动的三维人脸合成算法提供了必要的数据积累。结合申请人的研究积累以及对三维人脸数据集的调研，对将用于开发、测试本发明提出的算法模型的数据集列举如下：浙江大学周昆教授建立的三维人脸表情数据库(FaceWarehouse)采集了150位7-80岁之间不同种族的人脸模型，构造了150×47个具有相同拓扑连接关系的三维网格模型(对应于150个人的47个基本表情)。纽约州立大学宾汉姆顿大学(BinghamtonUniversity)的Yin Lijun等人建立的“BU-3DFE”三维人脸数据集包含700个人脸模型，包括来自世界各地六个不同肤色种族、年龄域18-70岁的100位(56女44男)个体，每位依次演示7个不同表情。类似的，西班牙胡安卡洛斯国王大学(Universidad Rey Juan Carlos)建立了来自51个采集对象的549个三维人脸模型的数据集。这些数据集对于研究面向不同种族、不同表情的三维人脸合成具有重要意义。北京工业才教授建立的“BJUT-3D Chinese FaceDatabase”三维人脸数据集包含了500 个无表情的中国人脸三维模型，并对非脸部部分进行了裁剪，确保了人脸模型的质量。

综上，本发明提出了一种三维人脸样本相似度检测、抑制的系统来验证三维人脸模型合成结果，以得到更可靠的合成结果。本发明提出数据驱动的大尺度三维人脸人工合成方法，并融合深度神经网络技术，并设计样本相似度抑制的大尺度三维人脸合成方法。虽然训练深度神经网络通常需要处理较大的训练样本且训练计算量较大，但是一旦训练完成并得到所有网络参数，只需要使用训练好的深度神经网络模型的生成网络模型即可迅速合成大尺度人工三维人脸模型。可见，数据驱动的样本相似度抑制大尺度三维人脸合成方法从长远来看显得更为便捷高效、可靠。本方案设计的三维人脸模型的(网格)结构化表示方法能够使得三维人脸模型能像图像一样直接作为深度神经网络模型的输入，为三维人脸模型的智能化处理开辟了更多可能性，又由于融合自注意力模型以提升传统生成对抗模型处理大尺度数据的计算能力，并引入谱范数和双时间尺度规则等多种方法提升生成对抗网络模型针对大尺度数据训练过程中的稳定性，本方案设计的三维人脸模型的(网格)结构化表示方法能够最终有效输出人工合成大尺度的三维人脸模型。

Claims (6)

1.一种样本相似度抑制的大尺度三维人脸合成系统，其特征在于，包括：

三维扫描设备，用于获取三维人脸模型及其点云数据，并输出至所述第一处理模块；

第一处理模块，用于对所获取的三维人脸模型及其点云数据进行预处理，得到第一三维人脸模型集；并将所述第一三维人脸模型集输出至所述第二处理模块及所述第三处理模块；

第二处理模块，用于配置大尺度三维人脸合成网络模型，所述尺度三维人脸合成网络模型能够根据所述第一三维人脸模型集进行人脸三维模型的合成，得到合成三维人脸模型；并输出所述合成三维人脸模型至第三处理模块；

第三处理模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集；并配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够对所述合成三维人脸模型与所述第二三维人脸模型集进行相似度检测，以输出满足相似度要求的所述合成三维人脸模型。

2.如权利要求1所述的系统，其特征在于，所述三维扫描设备为手持三维扫描仪GoSCAN20和GoSCAN 50。

3.如权利要求1所述的系统，其特征在于，所述第三处理模块包括：

下采样子模块，用于对所述第一三维人脸模型集进行下采样，得到第二三维人脸模型集，并输出所述第二三维人脸模型集至抑制模型子模块；

抑制模型子模块，用于配置样本相似度抑制网络模型，所述样本相似度抑制网络模型能够通过特征提取的方式计算所述合成三维人脸模型与所述第二三维人脸模型集的相似度，并输出相似度低于阈值的合成三维人脸模型，以抑制所述合成三维人脸模型与所述第二三维人脸模型集的相似度。

4.如权利要求3所述的系统，其特征在于，所述样本相似度抑制网络模型为训练好的丢弃深度网络模型，所述丢弃深度网络模型的网络模型为：

p_o＝f^q(m_o)＝f^q(w_i*m_i*p_i+b)

其中，m_o表示人脸模型所有网格节点基于丢弃网络模型编码的标量输出，f^q表示对该输出归一化概率校验函数，其中，i＝1，...，|z|，|z|表示人脸结构化表示网格节点m_i的节点数，即

所述f^q函数为激活函数或高斯函数。

5.如权利要求1所述的系统，其特征在于，所述第一处理模块包括：

归一化处理子模块，用于对接收到的三维人脸模型的点云数据进行最大边界线性归一化处理，得到所述三维人脸模型对应的深度图输出至曲面拟合子模块；

曲面拟合子模块，用于对所得深度图进行网格化曲面拟合，得到所述三维人脸模型对应的网格深度图矩阵，所得网格深度图矩阵即为所述第一三维人脸模型集。

6.如权利要求1所述的系统，其特征在于，所述大尺度三维人脸合成网络模型为训练好的融合自注意力网络的生成式对抗网络模型。

Images