CN110415323A - 一种融合变形系数获得方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种融合变形系数获得方法、装置及存储介质，用于改善使用传统方法获得的融合变形系数计算出来的网状拓扑很难反映面部表情细节的问题。该方法包括：使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接；使用神经网络模型的第一全连接层对卷积特征图计算融合变形系数，获得融合变形系数，融合变形系数用于获得面部动画表情的网状拓扑，融合变形系数为影响网状拓扑的顶点位置的系数。

Description

一种融合变形系数获得方法、装置及存储介质

技术领域

本申请涉及图形图像处理的技术领域，具体而言，涉及一种融合变形系数获得方法、装置及存储介质。

背景技术

在传统方法中，计算面部动画的融合变形系数的方法，通常是将组合的融合变形人脸模型投影到图像平面，从而获得融合变形系数的。也就是说，根据最小化图像上面部特征点与实际面部特征点的欧式距离的平方和求得融合变形系数。在具体的实施过程中，使用传统方法获得的融合变形系数计算出来的网状拓扑很难反映面部表情细节。

发明内容

本申请实施例的目的在于提供一种融合变形系数获得方法、装置及存储介质，用于改善使用传统方法获得的融合变形系数计算出来的网状拓扑很难反映面部表情细节的问题。

本申请实施例提供了一种融合变形系数获得方法，包括：使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接；使用所述神经网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于获得面部动画表情的网状拓扑，所述融合变形系数为影响所述网状拓扑的顶点位置的系数。在上述的实现过程中，使用预先训练的神经网络模型对第一人脸图像进行卷积、池化和全连接等计算第一人脸图像中的融合变形系数，融合变形系数是影响网状拓扑的顶点位置的系数，通过卷积、池化和全连接等计算有效地简化了网状拓扑的全部顶点的位置系数计算难度，网状拓扑的全部顶点包括面部关键点，克服了传统方法中仅使用面部关键点作为优化目标导致融合变形系数的精度不高的问题，通过上述的方式增加了融合变形系数的精度，因此根据高精度的融合变形系数计算出来的网状拓扑能够很好地反映面部表情细节。

可选地，在本申请实施例中，在所述获得融合变形系数之后，还包括：根据所述融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑；或者根据所述融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，所述表情基表征人脸表情的区域形状。在上述的实现过程中，根据高精度的融合变形系数对一个人脸形状和多个表情基计算出来的网状拓扑能够很好地反映面部表情细节。

可选地，在本申请实施例中，在所述获得融合变形系数之后，还包括：将所述融合变形系数与应用角色的表情基进行全连接计算，获得所述应用角色的多个顶点，所述表情基表征角色面部的表情区域形状。在上述的实现过程中，将融合变形系数与应用角色的表情基进行全连接计算，计算出来的多个顶点能够很好地反映面部表情细节。

本申请实施例还提供了一种融合变形系数获得方法，包括：获得多个第二人脸图像和多个网状拓扑，所述网状拓扑是对真实人脸进行三维扫描获得多个顶点网状的拓扑，所述真实人脸是指与所述第二人脸图像对应的人脸；以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，所述训练网络模型包括：多个卷积池化块、第一全连接层和第二全连接层，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接，所述多个卷积池化块的最后一个卷积池化块的池化层、所述第一全连接层和所述第二全连接层是依次连接的。在上述的实现过程中，通过训练使训练网络模型获得的神经网络模型获得高精度的融合变形系数，以根据高精度的融合变形系数计算出来的网状拓扑能够很好地反映面部表情细节。

可选地，在本申请实施例中，在所述以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型之前，还包括：依次连接卷积层和池化层，获得卷积池化块；重复执行依次连接卷积层和池化层，获得多个未连接的卷积池化块；依次连接所述多个未连接的卷积池化块，获得所述多个卷积池化块；将所述多个卷积池化块的最后一个卷积池化块、所述第一全连接层和所述第二全连接层依次连接，获得所述神经网络。在上述的实现过程中，通过连接运算获得神经网络，通过训练该神经网络获得训练网络模型，以使训练网络模型能够更好地拟合融合变形系数与人脸形状和表情基的计算过程，通过训练使训练网络模型获得的神经网络模型获得高精度的融合变形系数，以根据高精度的融合变形系数计算出来的网状拓扑能够很好地反映面部表情细节。

可选地，在本申请实施例中，所述以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，包括：使用所述多个卷积池化块对第一人脸图像进行计算，获得卷积特征图；使用所述训练网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于根据表情基生成或迁移动画的表情；使用所述训练网络模型的第二全连接层对所述融合变形系数进行计算，获得训练拓扑；根据所述网状拓扑的多个顶点和所述训练拓扑的多个顶点构造所述训练网络模型的损失函数，对所述训练网络模型进行训练，获得训练网络模型。在上述的实现过程中，将第一全连接层和第二全连接层设置在训练网络模型中，以使训练网络模型能够更好地拟合融合变形系数与人脸形状和表情基的计算过程，通过训练使训练网络模型获得的神经网络模型获得高精度的融合变形系数，以根据高精度的融合变形系数计算出来的网状拓扑能够很好地反映面部表情细节。

可选地，在本申请实施例中，在所述对所述训练网络模型进行训练之后，还包括：将所述第二全连接层从所述训练网络模型剪裁掉，获得神经网络模型。在上述的实现过程中，通过第二全连接层从训练网络模型剪裁掉，以使获得的神经网络模型计算出来的结果为融合变形系数，而不是面部动画表情的网状拓扑，以使根据融合变形系数和人脸形状或者表情基能够计算出来面部动画表情的网状拓扑，增加了融合变形系数使用的灵活性。

本申请实施例还提供了一种融合变形系数获得装置，包括：第一计算模块，用于使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接；第二计算模块，用于使用所述神经网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于获得面部动画表情的网状拓扑，所述融合变形系数为影响所述网状拓扑的顶点位置的系数。

可选地，在本申请实施例中，还包括：第三计算模块，用于根据所述融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑；或者根据所述融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，所述表情基表征人脸表情的区域形状。

可选地，在本申请实施例中，还包括：第四计算模块，用于将所述融合变形系数与应用角色的表情基进行全连接计算，获得所述应用角色的多个顶点，所述表情基表征角色面部的表情区域形状。

本申请实施例还提供了一种融合变形系数获得装置，包括：第一获得模块，用于获得多个第二人脸图像和多个网状拓扑，所述网状拓扑是对真实人脸进行三维扫描获得多个顶点网状的拓扑，所述真实人脸是指与所述第二人脸图像对应的人脸；第二获得模块，用于以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，所述训练网络模型包括：多个卷积池化块、第一全连接层和第二全连接层，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接，所述多个卷积池化块的最后一个卷积池化块的池化层、所述第一全连接层和所述第二全连接层是依次连接的。

可选地，在本申请实施例中，还包括：第一连接模块，用于依次连接卷积层和池化层，获得卷积池化块；第二连接模块，用于重复执行依次连接卷积层和池化层，获得多个未连接的卷积池化块；第三连接模块，用于依次连接所述多个未连接的卷积池化块，获得所述多个卷积池化块；第四连接模块，用于将所述多个卷积池化块的最后一个卷积池化块、所述第一全连接层和所述第二全连接层依次连接，获得所述神经网络。

可选地，在本申请实施例中，所述第二获得模块，包括：第三获得模块，用于使用所述多个卷积池化块对第一人脸图像进行计算，获得卷积特征图；第四获得模块，用于使用所述训练网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于根据表情基生成或迁移动画的表情；第五获得模块，用于使用所述训练网络模型的第二全连接层对所述融合变形系数进行计算，获得训练拓扑；第六获得模块，用于根据所述网状拓扑的多个顶点和所述训练拓扑的多个顶点构造所述训练网络模型的损失函数，对所述训练网络模型进行训练，获得训练网络模型。

可选地，在本申请实施例中，所述第二获得模块，还包括：第七获得模块，用于将所述第二全连接层从所述训练网络模型剪裁掉，获得神经网络模型。

本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。

本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出对照实施例中确定面部融合变形系数涉及的面部关键点的示意图；

图2示出的本申请实施例提供的模型构建的示意图；

图3示出的本申请实施例提供的模型训练的示意图；

图4示出的本申请实施例提供的模型应用阶段的示意图；

图5示出的本申请实施例提供的模型应用阶段的方法流程示意图；

图6示出的本申请实施例提供的融合变形系数获得方法的另一种实施方式的流程示意图；

图7示出的本申请实施例提供的融合变形系数获得装置结构示意图；

图8示出的本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

图1示出对照实施例中确定面部融合变形系数涉及的面部关键点的示意图，在对照实施例中，将组合的融合变形人脸模型投影到图像平面，从而获得融合变形系数的。也就是说，根据最小化图像上面部特征点与实际面部特征点的欧式距离的平方和求得融合变形系数，用公式表示例如下式：

其中，E_pos为欧式距离的平方和误差，X_j为最小化图像上的第j个面部特征点，Y_j为第j个实际面部特征点。在对照实施例的求解融合变形系数方法中，由于仅仅使用面部关键点数作为优化目标，获得的融合变形系数精度低下，从而导致计算出来的网状拓扑很难反映面部表情细节。

第一实施例

本申请实施例提供了一种融合变形系数获得方法，需要说明的是，该方法的应用场景包括但不限于动画场景，以动画场景为例进行说明，该方法可以被任何具有执行计算机程序功能的电子设备执行，该电子设备例如：终端设备或服务器。这里的终端设备，是指具有执行计算机程序功能的终端设备，例如：个人电脑、摄像机、显示器、网络交换机、网络路由器或台式主机等；这里的服务器是指通过网络提供计算服务的装置，具体地，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。

以该方法被终端设备执行为例进行说明，当该方法被终端设备执行时，可以获取预先存储的人脸图像，也可以接收摄像机发送的人脸图像数据，还可以从网络上爬取或者抓取人脸图像；可以根据获得的融合变形系数生成或迁移面部动画表情的网状拓扑，并将该网状拓扑发送给图像输出装置，具体地，可以发送给显示器，也可以发送给服务器进行下一步的处理。当该方法被服务器执行时，可以获取预先存储的人脸图像，也可以接收终端设备发送的人脸图像数据，也可以接收摄像机发送的人脸图像数据，还可以从网络上爬取或者抓取人脸图像；可以根据获得的融合变形系数生成或迁移面部动画表情的网状拓扑，并将该网状拓扑发送给图像输出装置，具体地，可以发送给显示器，也可以发送给终端设备进行下一步的处理；这里的下一步的处理例如：添加字幕或弹幕、配上声音或添加特效等等。

上述的融合变形系数获得方法可以包括：模型构建、模型训练、模型剪裁和模型应用四个阶段，结合上述的描述继续说明，这四个阶段可以均在一个具有执行计算机程序功能的电子设备执行，也可以分别在四个不同的电子设备中执行，也可以任意地组合后在二个不同的电子设备中执行，或者在三个不同的电子设备中执行，例如：模型构建、模型训练和模型剪裁在服务器中执行，服务器将获得的模型发送给终端设备，则模型应用在终端设备中执行；又例如：模型构建在终端设备中执行，终端设备将构建好的模型发送给服务器，服务器执行模型训练阶段的方法，服务器再将训练好的模型发送给终端设备，终端设备再接收到训练好的模型后执行剩余的模型剪裁和模型应用阶段的方法；因此，执行这里的四个阶段方法的电子设备的种类和数量不应理解为对本申请实施例的限制；下面将对这四个阶段的方法进行详细地描述：

首先，介绍模型构建阶段，模型构建阶段包括两种构建方法，一种是从零开始构建神经网络，例如连接各个卷积层、池化层和全连接层等，另一种方法是对已经训练过的神经网络模型进行裁剪、修剪或者压缩获得神经网络。为了便于理解，下面仅介绍从零开始构建神经网络这种方法，从零开始构建神经网络的方法可以包括如下步骤：

步骤S110：依次连接卷积层和池化层，获得卷积池化块。重复执行步骤S110，获得多个未连接的卷积池化块。

卷积层(Convolutional Layer)，是指由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最优化得到的运算单元层。在本申请实施例中的卷积层用于对人脸图像进行卷积运算获得特征图(Feature Map)，或者用于对特征图进行卷积运算。卷积层在连接之前需要设置激活函数，常见的激活函数包括：修正线性单元、Sigmoid函数和tanh函数。这里以修正线性单元为例进行说明，修正线性单元(Rectified Linear Unit，ReLU)，又称线性整流函数，是一种人工神经网络中常用的激活函数(activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。

池化层，是指通过对数据进行分区采样，把一个大的矩阵降采样成一个小的矩阵，减少计算量，同时可以防止过拟合。在本申请实施例中的池化层对特征图进行池化运算，获得运算后的结果交给修正线性单元进行运算。

依次连接卷积层和池化层，是指将卷积层的输出与池化层的输入进行连接。

在上述的获得多个未连接的卷积池化块的过程中，需要根据具体的情况确定卷积池化块的数量，这里的卷积池化块的数量例如为10，那么多个未连接的卷积池化块的具体结构参数例如下表：

步骤S120：依次连接多个未连接的卷积池化块，获得多个卷积池化块。

可以理解的是，将上述的多个未连接的卷积池化块进行连接，即获得多个已经连接的卷积池化块。

步骤S130：将多个卷积池化块的最后一个卷积池化块、第一全连接层和第二全连接层依次连接，获得神经网络。

请参见图2示出的本申请实施例提供的模型构建的示意图，全连接层(FullyConnected Layer，FC)，是指将将经过多个卷积层和池化层的图像特征图中的特征进行整合的线性运算单元层。全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量。在本申请实施例中，第一全连接层与第二全连接层连接，可以理解为，第一全连接层相当于融合变形权重(又称融合变形系数)，第二全连接层相当于表征人脸表情的区域形状的表情基，其中，第二全连接层在模型训练的过程中应当根据具体情况保持参数不变。依次连接多个未连接的卷积池化块后，再将多个卷积池化块的最后一个卷积池化块、第一全连接层和第二全连接层依次连接，获得神经网络。

接下来，介绍模型训练阶段，具体的模型训练阶段的方法可以包括如下步骤：

步骤S210：获得多个第二人脸图像和多个网状拓扑。

其中，网状拓扑是对真实人脸进行三维扫描获得多个顶点网状的拓扑，真实人脸是指与第二人脸图像对应的人脸。在使用训练数据对模型进行训练之前，需要先介绍一下训练数据的获取，训练数据的获取可以包括两种获取方法：一种是从零开始获取训练数据，例如使用拍摄设备和扫描设备对真实人脸进行拍摄和扫描获得训练数据，例如：使用三维扫描设备对真实人脸进行扫描或者拓扑，获得9000帧的真实人脸的面部图像以及对应的人脸网状拓扑(mesh)，作为该模型的训练数据，然后扫描真实人脸的指定表情，然后手工修改布线，调整到可以工业应用的水准，获得人脸表情网状拓扑，保证人脸表情网状拓扑的顶点位置与人脸网状拓扑的顶点位置是一致的，若不一致，则需要将人脸表情网状拓扑的顶点位置与人脸网状拓扑的顶点位置进行对齐；另一种是从网络上或者其它服务器上获取训练数据，例如从网络上爬取符合要求的训练数据。

步骤S220：以多个第二人脸图像为训练数据，以多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型。

请参见图3示出的本申请实施例提供的模型训练的示意图，从上述的模型构建方法可以知道，神经网络包括：多个卷积池化块、第一全连接层和第二全连接层，多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接，多个卷积池化块的最后一个卷积池化块的池化层、第一全连接层和第二全连接层是依次连接的。其中，在本申请实施例中，网络模型的具体训练过程，即步骤S220可以包括如下步骤：

步骤S221：使用多个卷积池化块对第一人脸图像进行计算，获得卷积特征图。

需要说明的是，该神经网络的输入尺寸需要根据输入图像的分辨率来决定，即多个卷积池化块中的第一个卷积池化块中的卷积层尺寸大小，需要根据输入图像的分辨率来决定，例如：输入图像的高为258，输入图像的宽为386，那么多个卷积池化块中的第一个卷积池化块中的卷积层的高也为258，且多个卷积池化块中的第一个卷积池化块中的卷积层的宽也为386。

步骤S222：使用训练网络模型的第一全连接层对卷积特征图计算融合变形系数，获得融合变形系数。

可以理解的是，融合变形系数为影响网状拓扑的顶点位置的系数，在具体的实施过程中，融合变形系数用于根据表情基生成或迁移动画的表情，例如：在电影或电视机制作过程中，将荧光粉涂在演员的面部作为跟踪标记，通过摄像机和传感器将捕捉到的面部表情数据或者肢体动作数据传送至计算机，根据该融合变形系数驱动对应的人脸模型，对画面进行网格细分、纹理贴图和光照处理等操作，最后形成人脸模型迁移后的表情动画。又例如：给定一个用户的两张不同表情的人脸图像，将其中一张图像中的人脸部件，如嘴唇、眼睛迁移到另一张图像中，同时保证迁移后的部件与目标图像中的脸部的其他部分相融合，使得合成的人脸图像看上去很自然；可以理解的是，上面描述的仅是图像中的表情迁移或部件迁移，当有连续的图像进行表情迁移时，即本申请实施例获得的融合变形系数可以用于视频中的表情迁移。

步骤S223：使用训练网络模型的第二全连接层对融合变形系数进行计算，获得训练拓扑。

在具体的训练过程中，可以根据实际情况确定是否需要减去自然表情基，如果减去自然表情基后需要在神经网络的输出后再加回来，例如：在步骤S222之前，减去自然表情基，在步骤S223之后，再加上自然表情基。

需要说明的是，上述的训练网络模型在该模型进行训练的时候，第二全连接层是不能更新的，第二全连接层在具体应用的时候，可以被替换为其它角色的融合模型(blendshape)，最后输出的就是其它角色的实时角色动画。

步骤S224：根据网状拓扑的多个顶点和训练拓扑的多个顶点构造训练网络模型的损失函数，对训练网络模型进行训练，获得训练网络模型。

在具体的实施过程中，损失函数可以采用网状拓扑的多个顶点和训练拓扑的多个顶点之间的均方误差(Mean Squared Error，MES)，用公式表示为：也可以采用网状拓扑的多个顶点和训练拓扑的多个顶点之间的均方根误差(Root Mean SquardError，RMSE)，用公式表示为：其中，m为网状拓扑的多个顶点的个数或训练拓扑的多个顶点的个数，表征网状拓扑的多个顶点的位置，y_i表征训练拓扑的多个顶点的位置。

在本申请实施例中，在对训练网络模型进行训练之后，还需要将模型进行剪裁，将模型进行剪裁的方法具体可以包括如下步骤：

步骤S230：将第二全连接层从训练网络模型剪裁掉，获得神经网络模型。

其中，将第二全连接层从训练网络模型剪裁掉，获得神经网络模型的具体结构，请参见图4示出的本申请实施例提供的模型应用阶段的示意图；图中的模型在应用阶段是没有第二全连接层的，图中的第一人脸图输入多个卷积池化块后，直接输入第一全连接层，即可获得融合变形系数。

最后，介绍模型应用阶段，请参见图5示出的本申请实施例提供的模型应用阶段的方法流程示意图，该方法可以包括如下步骤：

步骤S310：使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图。

其中，多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接。

步骤S320：使用神经网络模型的第一全连接层对卷积特征图计算融合变形系数，获得融合变形系数。

其中，融合变形系数用于获得面部动画表情的网状拓扑，融合变形系数为影响网状拓扑的顶点位置的系数。

在本申请实施例中，融合面部表情的网状拓扑可以根据融合变形系数的两种方式获得，一种是通过绝对融合形状模型(Absolute Blendshape Model)获得，另一种是渐变融合形状模型(Delta Blendshape Model)获得。因此，在步骤S320获得融合变形系数之后，还可以包括对获得融合变形系数的应用方法，对获得融合变形系数的应用有如下三种方式：

步骤S330：根据融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑。

在具体的实施方式中，通过绝对融合形状模型获得融合面部表情的网状拓扑，例如：根据对多个人脸形状进行计算，获得面部动画表情的网状拓扑；其中，e为网状拓扑，为融合变形系数，为第m_e+1个特定人脸的融合形状。

步骤S340：根据融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，表情基表征人脸表情的区域形状。

在具体的实施方式中，通过渐变融合形状模型获得融合面部表情的网状拓扑，例如：根据对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑；其中，e为网状拓扑，为融合变形系数，为中性人脸或中性面，为表情基。

步骤S350：将融合变形系数与应用角色的表情基进行全连接计算，获得应用角色的多个顶点。

应用角色，是指在源角色的表情迁移到目标角色的过程中，提供的目标角色，例如：将A的表情迁移至B，让B具有丰富的表情动画，那么必然会提供B角色的表情基作为目标角色的表情基，那么这个B角色就是这里的应用角色。

其中，表情基表征角色面部的表情区域形状，在具体的网络模型应用和部署的过程中，也可以不将上述的第二全连接层从网络模型中裁剪，而是直接将第二全连接层替换为应用角色的表情基(blenshape),便可以得到实时角色动画。

应理解，上述模型构建、模型训练、模型剪裁和模型应用四个阶段的方案可以分别独立实施，本申请实施例意图分别保护上述四个阶段的方案。

请参见图6示出的本申请实施例提供的融合变形系数获得方法的另一种实施方式的流程示意图；可以理解的是，上面描述的融合变形系数获得方法是先构建模型，然后再准备训练数据对模型进行训练，然而在具体的实施过程中，也可以先准备训练数据，然后再构建模型。也就是说，准备训练数据和构建模型的两个任务之间是没有先后顺序的，可以同时执行，也可以一先一后执行，下面对先准备训练数据再构建模型的方法进行说明：

步骤S410：准备网络模型的训练数据。

准备网络模型的训练数据分为三个步骤：首先，制作指定演员表情数据集，例如：三维扫描人脸、自动拓扑人脸，最终得到9000帧左右的演员面部正面图片以及对应的人脸网状拓扑mesh)，作为网络模型的训练数据；其次，制作指定演员的演员blenshape，例如：扫描演员的指定表情，然后手工修改布线，调整到可以工业应用的水准，保证演员的blendshape的拓扑与人脸mesh的拓扑是一致的，假设blenshapes的数目为m，blenshape的顶点数为n；最后，将每个人脸网状拓扑(mesh)向指定演员的演员blendshape对齐，将获得对齐后的数据作为训练数据。可以理解的是，这里没有描述的地方可以参照上一种“先构建模型，再准备训练数据对模型进行训练”的方法理解。

步骤S420：构建网络模型。

可以理解的是，这里的构建网络模型的具体步骤与上面的步骤S110至步骤S130的方法和原理类似，没有提及之处请参照上面的内容理解，不同之处在于，根据输入图片的分辨率确定卷积神经网络的输入大小，根据人脸mesh的顶点数确定输出大小，设计中间卷积层参数,卷积层后连接全连接层。在设计中要至少要保证第一全连接层(FirstFullyConnected Layer，FC1)和第二全连接层(Second Fully Connected Layer，FC2)是存在的，设计出FC2的参数形状为(m,n×3)确保FC2的激活函数是ReLU函数。

步骤S430：使用该训练数据对网络模型进行训练，获得训练好的网络模型。

可以理解的是，这里的构建网络模型的具体步骤与上面的步骤S210至步骤S230的方法和原理类似，没有提及之处请参照上面的内容理解，不同之处在于，确定演员blenshape的顺序，并将所有的blenshape表示成为一个(m,n×3)的二维数组，根据实际情况确定是否需要减去自然表情pose,减去后需要在神经网络的输出再加回来。损失函数为FC2的输出与真实mesh顶点之间的误差平方和最小。训练时恢复FC2的参数为上述(m,n×3)并且在训练时不更新参数，其余层参数随机初始化并更新。

步骤S440：将训练好的网络模型进行部署和应用。

可以理解的是，这里的构建网络模型的具体步骤与上面的步骤S310至步骤S340的方法和原理类似，没有提及之处请参照上面的内容理解，不同之处在于，由于最终需要的是获得blenshape系数，实际上FC1就是blendshape系数，所以实际当中使用的神经网络是将FC2从网络模型中剪裁后的网络模型，得到blenshape系数可以进行后续的图像或者视频中的表情迁移等工作。

当然，在具体的实施过程中，也可以有不同的实施步骤和顺序，上述的步骤S420至步骤S440的具体实施方式例如：通过三维扫描人脸、自动拓扑人脸，最终得到9000帧左右的演员面部正面图片以及对应的人脸网状拓扑(mesh)；制作51个演员的blendshape，每个blendshape拓扑一致，顶点数为5000，将每个blendshap的顶点作为reshape成为一维长度为5000×3的数组，那么所有的blendshape可以组成[51,5000×3]的二位数组M，然后将9000帧的每一帧数据都想blendshape对齐，作为训练数据。按照图2所示的格式设计卷积神经网络，保证FC2的参数形状为[51,5000×3]，在神经网络训练时，使用M作为参数初始值，并且在训练过程中国不更新参数。在部署阶段，删掉FC2全连接层，FC1的输出即为51个blendshape的系数，得到blenshape系数可以进行后续的图像或者视频中的表情迁移等工作。

第二实施例

请参见图7示出的本申请实施例提供的融合变形系数获得装置结构示意图，本申请实施例提供了一种在应用阶段的融合变形系数获得装置100，包括：

第一计算模块110，用于使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接。

第二计算模块120，用于使用神经网络模型的第一全连接层对卷积特征图计算融合变形系数，获得融合变形系数，融合变形系数用于获得面部动画表情的网状拓扑，融合变形系数为影响网状拓扑的顶点位置的系数。

可选地，在本申请实施例中，还可以包括：

第三计算模块，用于根据融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑；或者根据融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，表情基表征人脸表情的区域形状。

可选地，在本申请实施例中，该装置还可以包括：

第四计算模块，用于将融合变形系数与应用角色的表情基进行全连接计算，获得应用角色的多个顶点，表情基表征角色面部的表情区域形状。

本申请实施例提供了一种在训练阶段的融合变形系数获得装置，包括：

第一获得模块，用于获得多个第二人脸图像和多个网状拓扑，网状拓扑是对真实人脸进行三维扫描获得多个顶点网状的拓扑，真实人脸是指与第二人脸图像对应的人脸。

第二获得模块，用于以多个第二人脸图像为训练数据，以多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，训练网络模型包括：多个卷积池化块、第一全连接层和第二全连接层，多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接，多个卷积池化块的最后一个卷积池化块的池化层、第一全连接层和第二全连接层是依次连接的。

可选地，在本申请实施例中，还包括：

第一连接模块，用于依次连接卷积层和池化层，获得卷积池化块。

第二连接模块，用于重复执行依次连接卷积层和池化层，获得多个未连接的卷积池化块。

第三连接模块，用于依次连接多个未连接的卷积池化块，获得多个卷积池化块。

第四连接模块，用于将多个卷积池化块的最后一个卷积池化块、第一全连接层和第二全连接层依次连接，获得神经网络。

可选地，在本申请实施例中，第二获得模块，包括：

第三获得模块，用于使用多个卷积池化块对第一人脸图像进行计算，获得卷积特征图。

第四获得模块，用于使用训练网络模型的第一全连接层对卷积特征图计算融合变形系数，获得融合变形系数，融合变形系数用于根据表情基生成或迁移动画的表情。

第五获得模块，用于使用训练网络模型的第二全连接层对融合变形系数进行计算，获得训练拓扑。

第六获得模块，用于根据网状拓扑的多个顶点和训练拓扑的多个顶点构造训练网络模型的损失函数，对训练网络模型进行训练，获得训练网络模型。

可选地，在本申请实施例中，第二获得模块，还包括：

第七获得模块，用于将第二全连接层从训练网络模型剪裁掉，获得神经网络模型。

应理解的是，该装置与上述的方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。

请参见图8示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备101，包括：处理器102和存储器103，存储器103存储有处理器102可执行的机器可读指令，机器可读指令被处理器102执行时执行如上的方法。

本申请实施例还提供了一种存储介质104，该存储介质104上存储有计算机程序，该计算机程序被处理器102运行时执行如上的方法。

其中，存储介质104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

再者，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种融合变形系数获得方法，其特征在于，包括：

使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接；

使用所述神经网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于获得面部动画表情的网状拓扑，所述融合变形系数为影响所述网状拓扑的顶点位置的系数。

2.根据权利要求1所述的方法，其特征在于，在所述获得融合变形系数之后，还包括：

根据所述融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑；或者

根据所述融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，所述表情基表征角色面部的表情区域形状。

3.根据权利要求1所述的方法，其特征在于，在所述获得融合变形系数之后，还包括：

将所述融合变形系数与应用角色的表情基进行全连接计算，获得所述应用角色的多个顶点，所述表情基表征角色面部的表情区域形状。

4.一种融合变形系数获得方法，其特征在于，包括：

获得多个第二人脸图像和多个网状拓扑，所述网状拓扑是对真实人脸进行三维扫描获得多个顶点网状的拓扑，所述真实人脸是指与所述第二人脸图像对应的人脸；

以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，所述训练网络模型包括：多个卷积池化块、第一全连接层和第二全连接层，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接，所述多个卷积池化块的最后一个卷积池化块的池化层、所述第一全连接层和所述第二全连接层是依次连接的。

5.根据权利要求4所述的方法，其特征在于，所述以所述多个第二人脸图像为训练数据，以所述多个网状拓扑为训练标签，对神经网络进行训练，获得训练网络模型，包括：

使用所述多个卷积池化块对第一人脸图像进行计算，获得卷积特征图；

使用所述训练网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于根据表情基生成或迁移动画的表情；

使用所述训练网络模型的第二全连接层对所述融合变形系数进行计算，获得训练拓扑；

根据所述网状拓扑的多个顶点和所述训练拓扑的多个顶点构造所述训练网络模型的损失函数，对所述训练网络模型进行训练，获得训练网络模型。

6.根据权利要求5所述的方法，其特征在于，在所述对所述训练网络模型进行训练之后，还包括：

将所述第二全连接层从所述训练网络模型剪裁掉，获得神经网络模型。

7.一种融合变形系数获得装置，其特征在于，包括：

第一计算模块，用于使用预先训练的神经网络模型的多个卷积池化块对第一人脸图像进行计算，获得卷积特征图，其中，所述多个卷积池化块中的每个卷积池化块包括依次连接的卷积层和池化层，所述多个卷积池化块中的相邻两个卷积池化块中在前的卷积池化块的池化层与在后的卷积池化块的卷积层连接；

第二计算模块，用于使用所述神经网络模型的第一全连接层对所述卷积特征图计算融合变形系数，获得融合变形系数，所述融合变形系数用于获得面部动画表情的网状拓扑，所述融合变形系数为影响所述网状拓扑的顶点位置的系数。

8.根据权利要求7所述的装置，其特征在于，还包括：

第三计算模块，用于根据所述融合变形系数对多个人脸形状进行计算，获得面部动画表情的网状拓扑；或者

根据所述融合变形系数对一个人脸形状和多个表情基进行计算，获得面部动画表情的网状拓扑，所述表情基表征人脸表情的区域形状。

9.根据权利要求7所述的装置，其特征在于，还包括：

第四计算模块，用于将所述融合变形系数与应用角色的表情基进行全连接计算，获得所述应用角色的多个顶点，所述表情基表征角色面部的表情区域形状。

10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-6任一所述的方法。