CN107945255A - 一种虚拟人物表情驱动方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟人物表情驱动方法及系统，该方法包括以下步骤：采集人类面部表情的色彩信息和深度信息；合成所述人类面部表情深度与色彩信息，并提取关键信息节点；将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；将经过处理的权重数据驱动虚拟人物表情变化。通过本发明的技术方案，与传统的三维生产工具纯录像再后期渲染相比，能够实时驱动虚拟人物，这就为直播节目或者实时互动表演等提供了技术支持。

Description

一种虚拟人物表情驱动方法及系统

技术领域

本发明虚拟动画显示技术领域，具体涉及一种虚拟人物表情驱动方法及系统，是一种在虚拟内容中实时反映人物面部表情、神态、情绪、气氛的技术，应用于一切虚拟内容中的表情生产。

背景技术

随着虚拟内容制作领域的技术成熟与市场对虚拟内容载体的逐步接受，市场迫切需要内容生产领域的高效和低成本的动画/表情生产方式。传统的动画师使用传统手工方法制作表情动画的效率已经无法满足现有非电影行业的内容制作效率需求；与此同时，旅游、广电、游戏以及虚拟等行业对于实时互动的需求逐渐增加。因此，如何快速、高效且准确地制作面部表情动画，在行业应用中的重要性日渐突显。

目前传统方法制作的表情动画对动画师的技术水准要求较高，所以并不是所有的动画师都能够快速地制作出准确自然的面部表情；此外，传统方法制作周期长、耗时耗力且成本奇高，无法满足市场需求；更重要的是，传统的制作方法完全不能应用于实时互动的环境，这就给节目/演出的创意发挥带来了局限性。

本发明在研发过程中涉及到图形图像学、数学算法、红外图像捕捉、光学图像捕捉、三维引擎、实时渲染和面部心理学等众多领域，并实现了跨平台使用。系统可以满足影视制作、动画电影制作、广播电视领域中的高效且低成本的面部表情制作的需求。不仅如此，在游戏领域与娱乐互动领域中，也可满足行业在面部表情实时性上的应用需求。

发明内容

为解决上述技术问题，本发明提供了一种虚拟人物表情驱动方法，该方法包括以下步骤：

(1)采集人类面部表情的色彩信息和深度信息；

(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；

(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

(5)通过经过处理的权重数据驱动虚拟人物表情变化。

根据本发明的实施例，优选的，所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

根据本发明的实施例，优选的，所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

根据本发明的实施例，优选的，所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

根据本发明的实施例，优选的，所述权重数值是指人类高级肌肉表情动画在0-1区间，展示不同人类面部表情的动画状态值。

为解决上述技术问题，本发明提供了一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；

所述色彩摄像机采集人类面部表情的色彩信息；

所述深度摄像机采集人类面部表情的深度信息；

所述关键信息节点提取模块合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

表情对比分析模块将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件模块；

所述中间件模块对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

引擎驱动模块将经过处理的权重数据驱动虚拟人物表情变化。

根据本发明的实施例，优选的，所述关键信息节点包括但不限于嘴角，鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

根据本发明的实施例，优选的，该系统还包括：人脸表情深度学习训练模块、云端存储器，所述人脸表情深度学习训练模块采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

根据本发明的实施例，优选的，所述人脸表情深度学习训练模块根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

根据本发明的实施例，优选的，所述人脸表情细分为72种；

所述表情对比分析模块根据人脸肌肉群的位移，与之前学习的人类面部表情模板进行分析对比，得到不同的权重数值；

所述引擎驱动模块根据不同的权重数值，找到与其最相近的表情，从而驱动虚拟人物的面部表情变化。

通过本发明的技术方案取得了以下技术效果：

(1)拥有独立自主知识产权的全新算法；利用全新算法，使中间件降低了传输延时，实现了各平台间数据的实时传输与互动。

(2)效率高，延时低；通过特有算法把权重中间件的传输效率做到业界最高。

(3)实时性好，捕捉准确；系统表情采集采用深度学习算法，在大量实际训练后得到的稳定的权重倾向，保证捕捉准确稳定。

(4)成本低；不需要专业人员操作，降低人员成本；不需要高算力硬件，降低硬件成本。

(5)操作简便，无需标记点，此外算法已经内置在系统中，操作人员无需过多考虑操作流程，复杂的操作流程已经被内置在系统内，不需人为干预。

附图说明

图1是本发明的虚拟人物表情驱动方法流程图

图2是本发明的虚拟人物表情驱动系统构成图

具体实施方式

动画制作中行业遇到的最大问题在于专业的内容制作人员在成本与管理中所付出的成本：首先，动画制作本身所需的技术积累与养成需要普通动画师付出巨大努力，从行业角度而言，优秀的动画师数量稀少；其次对于项目而言，动画师的单位时间成本和管理成本在整个项目中的占比相对较大，不利于项目的推广。因此，动画制作环节，特别是面部表情制作环节在整个行业中的升级迭代需求极其迫切。

为解决上述技术问题，提供了如下技术解决方案：

(1)优秀的动画师，尤其是表情动画师的培养成本极高且数量少，为了让我们的系统的制作与录制效果达到甚至超越动画师的水准，我们在演员录制环节之前，对演员的面部进行系统扫描和比对，以达到采集标准；

(2)为了让整体录制的表情可以复用，我们对录制数据采取了标准化处理，确保所有数据满足行业标准，方便之后在其他环节重复调用；

(3)我们的数据可使用标准编辑平台对录制的数据进行修改，满足创意部门对最终效果与核心创意的匹配，同时修正创意中某些夸张表情无法被表情演员所原汁原味还原的问题；

(4)本发明考虑到了具体行业应用。为了满足影视、广播电视、互动娱乐、游戏等行业的具体需求，特别为不同的内容下游制作了简易中间件。中间件采用全自动处理模式，不需要用户人为干预。中间件支持的下游系统类型有三维生产工具(Maya、Max、C4D等)、引擎类工具(Unity、Unreal等)、广电与影视制作工具(奥微、维姿等系统)；

(5)为了保证数据传输的实时性，我公司对算法采集和传输进行了深度优化，以做到数据在解算与传输上的低延时。在算法优化层面，我们在图形图像学算法与数学算法上进行了大胆创新，以做到行业最优状态。

<虚拟人物表情驱动方法>

如图1，本发明公开了一种虚拟人物表情驱动方法，该方法包括以下步骤：

(1)采集人类面部表情的色彩信息和深度信息；

(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；

(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

(5)通过经过处理的权重数据驱动虚拟人物表情变化。

所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

所述权重数值是指人类高级肌肉表情动画在0-1区间，展示不同人类面部表情的动画状态值。

<虚拟人物表情驱动系统>

如图2，本发明公开了一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；

所述色彩摄像机采集人类面部表情的色彩信息；

所述深度摄像机采集人类面部表情的深度信息；

所述关键信息节点提取模块合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

表情对比分析模块将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件模块；

所述中间件模块对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

引擎驱动模块将经过处理的权重数据驱动虚拟人物表情变化。

所述关键信息节点包括但不限于嘴角，鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

该系统还包括：人脸表情深度学习训练模块、云端存储器，所述人脸表情深度学习训练模块采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

所述表情深度学习训练模块根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

所述人脸表情细分为72种；

所述表情对比分析模块根据人脸肌肉群的位移，与之前学习的人类面部表情模板进行分析对比，得到不同的权重数值；

所述引擎驱动模块根据不同的权重数值，找到与其最相近的表情，从而驱动虚拟人物的面部表情变化。

<具体实施方式>

本发明利用深度与彩色摄像头，通过全新算法提取真实人物面部表情的信息权重，最终引导虚拟人物实时做出同真实人物相同的表情。根据深度摄像头采取人类面部皮肤位移的准确点云数据，配合色彩摄像头进行数据采集，其中彩色摄像头负责通过深度学习数据其将人物表情细分为72种，根据人脸肌肉群的位移，调动不同的权重值，找到与其最相近的表情，从而驱动虚拟人物的面部表情。根据不同平台的应用，实际平台算力不同可采用小于72个的权重以适应低算力平台(如移动设备)。

面部捕捉系统工作流程说明：

(1)系统的色彩摄像头在合适光照环境下采集人类面部表情的色彩信息；

(2)系统的深度摄像头在任意光照环境下采集人类面部表情的深度信息；

该深度信息是指摄像头到人脸皮肤点云的距离。

(3)系统通过“影像处理器”合成人类的面部表情深度与色彩信息并提取“关键信息节点”；关键信息节点是指人脸的表情特征点，通过空间拓扑关系可以鉴别表情，并且精简人脸庞大的信息。比如：嘴角，鼻尖，等等。

(4)“表情深度学习训练”在系统投入之前采用人工智能的机器学习方式让系统学习人类表情内容并存储于云端存储器供系统随时调用；

人工智能的机器学习方式是指通过深度图像，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧。关键帧的组合将来用于在另一个模型上复现表情。训练算法采用了人工智能的深度学习技术，从空间点云中提取特征点，从特征点映射成组织变形度量。

(5)系统把提取的“关键信息节点”与学习到的人类表情在“影像学习与表情分析”环节进行分析对比；

(6)在“表情权重”环节，把系统采集到的实际人类表情信息以数字权重形式数字化为0-1间(预制的人类高级肌肉表情动画在0-1区间展示不同的动画状态)的一个权重数值并传送中间件以备用；

(7)“核心中间件”通过采集标准权重数据，首先通过标准网络接口使数据“通用化”(转换成统一的数据格式，以便可以输出到多种客户端)，并通过核心独立算法来优化数据本身效率以降低延时，通过预制引擎接口输出至相应引擎端口，并跨步骤与“影像处理器”实时沟通，校验数据并通过内部时钟同步数据时间信息做到数据准确传输；

(8)最终通过相应引擎接口授权同步实时数据(对应Morph的权重值，也可以理解为高级肌肉动画的状态值)至相应应用引擎达到实时表情信息传输工作。

通过以上方案，可以取得以下效果：

(1)在演员录制环节之前对演员的面部进行系统扫描和比对，以确保采集标准，从而让系统的制作与录制效果达到甚至超越动画师的水准；

(2)录制数据标准化，确保所有数据满足行业标准，整体录制的表情可以复用在其他环节；

(3)可使用标准编辑平台对录制的数据进行修改，进而满足创意部门对最终效果与核心创意的匹配，同时解决了创意中某些夸张表情无法被表情演员所原汁原味还原的问题；

(4)系统针对具体行业的不同应用需求以及具体内容下游制作了简易中间件。中间件采用全自动处理模式，不需要用户人为干预；

(5)算法采集和传输深度优化，数据解算与传输延时低；

(6)优化了图形图像学算法与数学算法，达到行业最优状态；

(7)依靠全新算法中间件的传输延时，实现了各平台间数据的实时传输与互动。

(8)通过特有算法把权重中间件的传输效率提高到业界最高水平。

(9)能保证面波表情的准确稳定捕捉，且具有良好的实时性；

(10)不需要专业人员操作，降低人员成本；不需要高算力硬件，降低硬件成本。

(11)操作简便，算法内置于系统，无需标记点，操作人员无需过多考虑操作流程不需人为干预。

在某VR主题游乐馆包括等候厅、实时双向角色互动影院厅和沉浸式冒险VR动感平台厅。其中角色互动影院厅采用了本发明技术方案实施的智能人机一体实时互动功能，该功能应用了把“人物表情实时映射到虚拟人物面部”的方法，观众可以在现场同影院中的虚拟动画人物进行实时双向互动。而正因为该方法所提供的关键技术支持，这种互动无论从内容还是形式上都是完全随机的，甚至连演员本身也不知道下一步会发生什么，极大增加了内容制作和互动形式的创意发挥度，提高了体验的趣味性。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。

Claims (10)

1.一种虚拟人物表情驱动方法，该方法包括以下步骤：

(1)采集人类面部表情的色彩信息和深度信息；

(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；

(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

(5)将经过处理的权重数据驱动虚拟人物表情变化。

2.根据权利要求1所述的方法，所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系鉴别人类面部表情。

3.根据权利要求1所述的方法，所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

4.根据权利要求3所述的方法，所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

5.根据权利要求1-4之一所述的方法，所述权重数值是指在0-1区间，展示不同人类面部表情的动画状态值。

6.一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；

所述色彩摄像机采集人类面部表情的色彩信息；

所述深度摄像机采集人类面部表情的深度信息；

所述关键信息节点提取模块合成所述人类面部表情深度与色彩信息，并提取关键信息节点；表情对比分析模块将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件模块；

所述中间件模块对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

引擎驱动模块将经过处理的权重数据驱动虚拟人物表情变化。

7.根据权利要求6所述的系统，所述关键信息节点包括但不限于嘴角，鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系鉴别人类面部表情。

8.根据权利要求6所述的方法，该系统还包括：人脸表情深度学习训练模块、云端存储器，所述人脸表情深度学习训练模块采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

9.根据权利要求8所述的系统，所述人脸表情深度学习训练模块根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

10.根据权利要求9所述的系统，所述人脸表情细分为72种；

所述表情对比分析模块根据人脸肌肉群的位移，与之前学习的人类面部表情模板进行分析对比，得到不同的权重数值；

所述引擎驱动模块根据不同的权重数值，找到与其最相近的表情，从而驱动虚拟人物的面部表情变化。