CN109903363A - 条件生成对抗网络三维人脸表情运动单元合成方法 - Google Patents

Abstract

本发明涉及人机情感交互及智能机器人等领域，本发明旨在研究将以面向虚拟或实体类人机器人的三维人脸模型为载体，对类人机器人面部自然表情的生成和控制问题进行研究，提出相应的解决途径。为此，本发明，条件生成对抗网络三维人脸表情运动单元合成方法，步骤如下：(1)建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；(2)同表情运动参数生成模型的生成结果进行博弈优化；(3)将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。本发明主要应用于智能机器人设计制造场合。

Description

条件生成对抗网络三维人脸表情运动单元合成方法

技术领域

本发明涉及人机情感交互及智能机器人等领域，尤其涉及一种基于条件对抗网络(Conditional Generative Adversarial Network,CGAN)和三维形变模型(3D MorphableModel,3DMM)的三维人脸表情运动单元合成方法，该方法可以被广泛应用于类人智能机器人面部表情控制、游戏动画等三维人脸表情合成和人机情感交互等场景。

背景技术

具备自然表情交互的类人机器人作为未来机器人发展的重要目标，已受到学术界和企业界的广泛关注。自然表情交互过程一般包括表情识别和表情生成两个方面，由于面部表情的多样性及类人机器人硬件设计的复杂性，目前如何实现类人机器人对人类表情自然而真实的模拟仍然是类人机器人领域所面临的难点之一。

在面部表情分析领域，人类表情的标注方式主要有两种：基于情感类别的标注(如：喜悦、愤怒等)和基于面部运动编码系统(Facial Action Coding System,FACS)的标注。前者属于主观标注，适用于表情识别和理解领域；后者根据面部肌肉运动将面部表情分解成30多个具有不同强度的主要运动单元(Action Unit,AU)进行更加客观定量标注，更适用于对面部表情的合成和控制领域。目前对于类人机器人的表情合成与控制研究以第二种标注方式为主。虽然已有方法对AU标注已经取得一些进展，但是由于面部AU标注非常复杂，且容易受到不同脸型、不同表情、不同光照及脸部姿势的影响，基于AU标注的面向类人机器人的面部表情运动单元合成仍然面临不少挑战和困难，难以得到广泛应用。为克服现有技术的不足，本发明旨在建立一种新的基于条件生成对抗网络的三维人脸表情运动单元合成方法，以用于虚拟或实体类人智能机器人面部表情控制与三维人脸表情合成及人机情感交互研究及应用。

发明内容

为克服现有技术的不足，本发明旨在研究将以面向虚拟或实体类人机器人的三维人脸模型为载体，对类人机器人面部自然表情的生成和控制问题进行研究，提出相应的解决途径。为此，本发明采用的技术方案是，条件生成对抗网络三维人脸表情运动单元合成方法，步骤如下：

(1)首先，通过3DMM模型对类人机器人面部进行参数化分解，并基于深度生成模型对类人机器人三维人脸模型中的表情参数分布进行学习和建模，建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；

(2)然后，通过条件生成对抗网络模型中的判别器对生成表情参数的真实度进行判别，同表情运动参数生成模型的生成结果进行博弈优化；

(3)最后，将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。

各步骤具体细化为：

(1)面向类人机器人的3DMM面部模型构建及参数分解

采用三维形变模型3DMM将类人机器人面部几何参数p和面部纹理反射率参数b按照以下形式分解如下：

其中，和为平均面部几何和纹理参数，A^id和A^alb为从平均中性表情人脸身份参数和纹理参数中提取的PCA主成份向量，A^exp为人脸模型的表情参数主成份向量，x^id、x^exp和x^alb则是从类人机器人面部所提取的身份、表情和纹理参数；

(2)基于对抗生成网络的表情运动参数合成

针对所提取的类人机器人面部表情参数，采用条件对抗网络模型CGAN实现对任意给定面部AU编码进行面部表情运动参数合成，CGAN模型通过生成器和判别器两个子系统的目标博弈，实现对不同AU编码条件下的面部表情运动参数分布进行有效合成，生成器包括编码器网络和解码器网络两部分，判别器包括隐式特征分布判别器D_z和表情运动参数真实度分布判别器D_exp两部分；

(3)面向类人机器人的3D面部表情合成与渲染

最后，基于(1)中所提取的面部身份和纹理参数{x^id，x^alb}，以及(2)中合成的目标表情运动参数通过3D人脸渲染系统，对合成的表情参数进行可视化渲染。

步骤(2)包括训练和使用两个阶段，具体地：

在模型训练阶段：首先，从源输入样本中提取表情运动参数通过训练编码器网络E得到隐式特征并通过训练隐式特征分布判别器D_z对隐式特征的分布进行判别，使其符合特定的分布；然后，基于获得的隐式特征以及给定目标AU标签y_target，通过训练解码器网络D生成目标表情运动参数最后，通过训练表情参数分布真实度判别器D_exp，对生成的目标表情运动参数和目标AU标签y_target的联合分布同训练样本的表情运动参数和AU表情的真实联合分布进行真实度判别，并且训练过程是通过针对生成器和判别器上设置的不同目标函数进行极大极小化博弈对抗训练完成；

在实际测试使用阶段：基于训练好的生成器，通过给定源输入样本的表情参数及其目标AU标签y_target，合成的目标表情运动参数可以表示为该合成的表情运动参数即可用于下一阶段的3D面部表情合成与渲染。

本发明的特点及有益效果是：

(1)本发明最大的创新点在于提出了一种基于3DMM和CGAN的AU编码类人机器人面部表情运动参数合成系统，可以实现对不同强度和不同组合的面部运动单元实现有效合成，具有重要的研究和应用价值；

(2)本发明利用人工智能前沿技术—深度学习方法构建的类人机器人自然面部表情运动单元生成和控制算法能够实现类似自然人的表情识别与对抗合成，(识别率高于80％，比以往研究高10％左右)，为类人机器人人工智能研究提供了重要的理论基础与技术平台。

(3)本发明同时可以应用于游戏、动画等领域的三维人脸表情控制和生成中。

附图说明：

图1：本发明实施步骤图。

图2展示了本发明在不同部位面部运动单元(AU)上的三维表情合成效果；

图3展示了本发明在不同面部运动单元(AU)组合上的三维表情合成效果。

具体实施方式

本发明将以面向虚拟或实体类人机器人的三维人脸模型为载体，对类人机器人面部自然表情的生成和控制问题进行研究。主要包括三个方面：

(1)首先，通过3DMM模型对类人机器人面部进行参数化分解，并基于深度生成模型对类人机器人三维人脸模型中的表情参数分布进行学习和建模，建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；

(2)然后，通过条件生成对抗网络模型中的判别器对生成表情参数的真实度进行判别，同表情运动参数生成模型的生成结果进行博弈优化；9

(3)最后，将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。

本发明的具体实施步骤如图1所示，主要包括以下三个步骤：

(1)面向类人机器人的3DMM面部模型构建及参数分解

三维形变模型(3DMM)作为一种重要的面部参数化模型，可以将类人机器人面部几何参数p和面部纹理反射率参数b按照以下形式分解如下：

其中，和为平均面部几何和纹理参数，A^id和A^alb为从平均中性表情人脸身份参数和纹理参数中提取的PCA主成份向量，A^exp为人脸模型的表情参数主成份向量，x^id、x^exp和x^alb则是从类人机器人面部所提取的身份、表情和纹理参数。

(2)基于对抗生成网络的表情运动参数合成

针对所提取的类人机器人面部表情参数，本发明采用条件对抗网络模型(CGAN)实现对任意给定面部AU编码进行面部表情运动参数合成。较传统的生成模型不同，CGAN模型通过生成器和判别器两个子系统的目标博弈，实现对不同AU编码条件下的面部表情运动参数分布进行有效合成。具体来讲，本发明所设计的表情参数合成模型的生成器包括编码器网络(Encoder,E)和解码器网络(Decoder,D)两部分，判别器包括隐式特征分布判别器D_z和表情运动参数真实度分布判别器D_exp两部分。

模型的具体训练和测试过程描述如下：

在模型训练阶段：首先，从源输入样本中提取表情运动参数通过训练编码器网络E得到隐式特征并通过训练隐式特征分布判别器D_z对隐式特征的分布进行判别，使其符合特定的分布(如：均匀分布或者高斯分布)；然后，基于获得的隐式特征以及给定目标AU标签y_target，通过训练解码器网络D生成目标表情运动参数最后，通过训练表情参数分布真实度判别器D_exp，对生成的目标表情运动参数和目标AU标签y_target的联合分布同训练样本的表情运动参数和AU表情的真实联合分布进行真实度判别。该模型的训练过程是通过针对生成器和判别器上设置的不同目标函数进行极大极小化博弈对抗训练完成。

在实际测试使用阶段：基于训练好的生成器(包含编码器网络E和解码器网络D)，通过给定源输入样本的表情参数及其目标AU标签y_target，合成的目标表情运动参数可以表示为该合成的表情运动参数即可用于下一阶段的3D面部表情合成与渲染。

(3)面向类人机器人的3D面部表情合成与渲染

最后，基于(1)中所提取的面部身份和纹理参数{x^id，x^alb}，以及(2)中合成的目标表情运动参数通过3D人脸渲染系统，对合成的表情参数进行可视化渲染。

最终效果：

图2展示了本发明在不同部位面部运动单元(AU)上的三维表情合成效果；

图3展示了本发明在不同面部运动单元(AU)组合上的三维表情合成效果。

总结：

本发明提出了一种基于条件生成对抗网络的三维人脸表情运动单元合成方法，以用于类人智能机器人面部表情合成与控制。通过结合三维形变模型和深度学习的条件对抗网络，可以实现对不同组合不同强度的面部运动单元实现有效合成，从而使得AU编码对不同人脸、不同表情、不同光照及头部姿势具有非常强的鲁棒性，最终实现类似自然人表情识别与对抗合成。本发明为类人机器人人工智能研究提供了重要的理论基础与技术平台，在类人机器人及游戏娱乐等领域的推广与应用具有重要的价值。

Claims (3)

1.一种条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，步骤如下：

(1)首先，通过3DMM模型对类人机器人面部进行参数化分解，并基于深度生成模型对类人机器人三维人脸模型中的表情参数分布进行学习和建模，建立不同强度不同组合的面部运动单元标注与面部表情参数分布之间的有效映射；

(2)然后，通过条件生成对抗网络模型中的判别器对生成表情参数的真实度进行判别，同表情运动参数生成模型的生成结果进行博弈优化；

(3)最后，将生成的目标表情参数应用于面向类人机器人的三维人脸模型中，实现对类人机器人三维人脸复杂表情的生成和控制。

2.如权利要求1所述的条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，各步骤具体细化为：

(1)面向类人机器人的3DMM面部模型构建及参数分解

采用三维形变模型3DMM将类人机器人面部几何参数p和面部纹理反射率参数b按照以下形式分解如下：

其中，和为平均面部几何和纹理参数，A^id和A^alb为从平均中性表情人脸身份参数和纹理参数中提取的PCA主成份向量，A^exp为人脸模型的表情参数主成份向量，x^id、x^exp和x^alb则是从类人机器人面部所提取的身份、表情和纹理参数；

(2)基于对抗生成网络的表情运动参数合成

针对所提取的类人机器人面部表情参数，采用条件对抗网络模型CGAN实现对任意给定面部AU编码进行面部表情运动参数合成，CGAN模型通过生成器和判别器两个子系统的目标博弈，实现对不同AU编码条件下的面部表情运动参数分布进行有效合成，生成器包括编码器网络和解码器网络两部分，判别器包括隐式特征分布判别器D_z和表情运动参数真实度分布判别器D_exp两部分；

(3)面向类人机器人的3D面部表情合成与渲染

最后，基于(1)中所提取的面部身份和纹理参数{x^id，x^alb}，以及(2)中合成的目标表情运动参数通过3D人脸渲染系统，对合成的表情参数进行可视化渲染。

3.如权利要求2所述的条件生成对抗网络三维人脸表情运动单元合成方法，其特征是，步骤(2)包括训练和使用两个阶段，具体地：

在模型训练阶段：首先，从源输入样本中提取表情运动参数通过训练编码器网络E得到隐式特征并通过训练隐式特征分布判别器D_z对隐式特征的分布进行判别，使其符合特定的分布；然后，基于获得的隐式特征以及给定目标AU标签y_target，通过训练解码器网络D生成目标表情运动参数最后，通过训练表情参数分布真实度判别器D_exp，对生成的目标表情运动参数和目标AU标签y_target的联合分布同训练样本的表情运动参数和AU表情的真实联合分布进行真实度判别，并且训练过程是通过针对生成器和判别器上设置的不同目标函数进行极大极小化博弈对抗训练完成；

在实际测试使用阶段：基于训练好的生成器，通过给定源输入样本的表情参数及其目标AU标签y_target，合成的目标表情运动参数可以表示为该合成的表情运动参数即可用于下一阶段的3D面部表情合成与渲染。