CN108416255A - 基于三维动画中角色实时面部表情动画捕捉的系统和方法 - Google Patents

Abstract

本发明提供了角色实时面部表情动画捕捉的系统，该系统包括：一面部动作捕捉头盔，其包括一盔壳；一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的表情图像；以及一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置。该系统还包括一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。还提供了角色实时面部表情动画捕捉的方法。

Description

基于三维动画中角色实时面部表情动画捕捉的系统和方法

技术领域

本发明涉及虚拟现实技术领域，特别涉及角色实时面部表情动画捕捉的系统和方法。

背景技术

自从《阿凡达》《指环王》等好莱坞大片的上映，广大观众对其中以假乱真的数字角色所深深震撼，国内国外的业界人士都对面部动作捕捉技术进行了大量的深入研究和解析。动作捕捉技术在影视动画、次世代游戏等领域里大行其道，获得了技术人士的青睐，也给观众带来了前所未有的视觉感受。面对越来越多的行业对面部捕捉的需求日益增加，用户迫切需要一种简单，易用，高效的面部动作捕捉系统。

发明内容

针对上述问题，我们的开发的一种角色实时面部表情动画捕捉的系统和方法，就弥补了这方面的空白。

根据本公开的第一个方面，提供了角色实时面部表情动画捕捉的系统，其该系统包括：

一面部动作捕捉头盔，其包括一盔壳；一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的面部图像；以及一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置。该系统还包括一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。

进一步地，其中面部动作捕捉头盔还包括：一LED光源，其用于照亮演员的面部动作；一麦克风，其用于捕捉演员的声音；以及一耳机，其用于向演员传输对应三维场景的声音。

进一步地，其中面部动作捕捉模块包括红外摄像头。

进一步地，其中面部动作捕捉头盔还包括用于发射散斑图案的红外线光源。

根据本公开的第二个方面，提供了角色实时面部表情动画捕捉的方法，基于本公开的第一个方面，其包括以下步骤：创建具有面部的虚拟体；拍摄演员的面部图像；基于该面部图像，关联虚拟体的面部和演员的面部；捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画。

进一步地，其中基于该面部图像，关联虚拟体的面部和演员的面部的步骤还包括以下子步骤：在拍摄演员的面部图像前，向演员的面部投射第一红外线散斑图案；基于红外线散斑图案在演员的面部的投影，构建虚拟体的面部骨骼；基于虚拟体的面部骨骼的形状，向演员的面部投射第二红外线散斑图案；关联虚拟体的面部骨骼与演员的面部的第二红外线散斑图案的投影。

进一步地，其中捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画的步骤还包括以下子步骤：捕捉第二红外线散斑图案的投影在演员的面部的投影；基于该投影的变化，配置虚拟体的面部骨骼的运动；基于虚拟体的面部骨骼的运动，配置虚拟体的面部动画。

进一步地，该方法还包括步骤：将虚拟体合成至动画场景，根据该动画场景的环境参数为虚拟体配置物理动力学参数。

本公开具有以下优点：在头盔上设置面部动作捕捉模块，有利于精确地捕捉演员的面部动作。先获取演员面部的静态图像，根据静态图像配置动态捕捉的方案，可以提升动作捕捉的精度，同时降低运算量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开的一个或多个实施例的结构示意图；

图2是本公开的一个或多个实施例的面部动作捕捉头盔的示意图；

图3是演员穿戴图2的面部动作捕捉头盔的示意图；

图4是本公开的一个或多个实施例的实时捕捉真实的演员的面部图像并关联虚拟体的示意图；

图5是本公开的一个或多个实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在制作三维动画时，为了使动画中的人物动作达到逼真的效果，需要动作捕捉演员300穿戴面部动作捕捉头盔100等装备，在动作捕捉室内录制动作。演员300在为制作三维虚拟人物模型提供肢体的动作的捕捉或面部动作的捕捉。

参照图1-4，根据本公开的第一实施例，提供了角色实时面部表情动画捕捉的系统，其该系统包括：一面部动作捕捉头盔100，其包括一盔壳；一面部动作捕捉模块140，其设置在盔壳上，用于捕捉演员300的面部图像；以及一第一通信模块130，其设置在盔壳上，用于连接后述图像处理装置200。该系统还包括一图像处理装置200，其用于根据捕捉的演员300的表情图像，生成角色面部表情，该图像处理装置200包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。由此，有利于精确地捕捉演员300的面部动作。

在本公开的一个或多个实施例中，为演员300提供的面部动作捕捉头盔100的盔壳呈半圆形，由如工程塑料、凯芙拉纤维等制成。将在佩戴时与演员300视线一致的方向定义为头盔的前方，相反的方向为头盔的后方，则头盔的壳体的前部通过支臂可旋转地设有面部动作捕捉模块140，其中面部动作捕捉模块140包括红外摄像头。头盔上还设有第一通信模块130，第一通信模块130通过有线方式(例如HDMI和USB线缆等)或者无线方式(WIFI、蓝牙等)连接图像处理装置200。图像处理装置200可以是具有图形处理功能的独立于面部动作捕捉头盔100的服务器，或者是内置在面部动作捕捉头盔100上的图形处理芯片。在本例中图像处理装置200为具有三维动画渲染功能的三维动画服务器，三维动画服务器通过其中与对应第一通信模块130的第二通信模块(图上未示)，经由WIFI或蓝牙连接面部动作捕捉头盔100。面部动作捕捉头盔100还包括：一LED光源，其用于照亮演员300的面部动作；一麦克风，其用于捕捉演员300的声音；以及一耳机，其用于向演员300传输对应三维场景的声音。

在本公开的一个或多个实施例中，其中面部动作捕捉头盔100还包括用于发射散斑图案的红外线光源，可以向演员300的面部投影预设图案的红外线投影，以分析演员300面部各部分的深度信息，建立面部三维模型。其中可选地，面部动作捕捉模块140和/或红外线光源能够在电机的驱动下，相对于演员300旋转和/或位移，以取得不同角度的面部图像。另外，该头盔还包括具有角加速度传感器的头部动作捕捉模块包括，以捕捉演员300头部在球坐标系下的方位角和仰角变化。当面部动作捕捉头盔100的方位角和仰角变化时，图像处理装置200渲染的代表三维动画角色的虚拟体400的姿态随之改变。

参照图4和5，本公开的第一实施例的运行方法与后述本公开的第二实施例基本相同，在此不再赘言。

根据本公开的第二实施例，提供了角色实时面部表情动画捕捉的方法，该方法可以示例性地基于本公开第一实施例的系统，其包括以下步骤：创建具有面部的虚拟体400；拍摄演员300的面部图像；基于该面部图像，关联虚拟体400的面部和演员300的面部；捕捉演员300的面部动作，根据演员300的面部动作绘制虚拟体400的面部动画。从而精确地捕捉演员300的面部动作。

关于“基于该面部图像，关联虚拟体400的面部和演员300的面部”的步骤还包括以下子步骤：在拍摄演员300的面部图像前，向演员300的面部投射第一红外线散斑图案；基于红外线散斑图案在演员300的面部的投影，构建虚拟体400的面部骨骼；基于虚拟体400的面部骨骼的形状，向演员300的面部投射第二红外线散斑图案；关联虚拟体400的面部骨骼与演员300的面部的第二红外线散斑图案的投影。进一步地，其中捕捉演员300的面部动作，根据演员300的面部动作绘制虚拟体400的面部动画的步骤还包括以下子步骤：捕捉第二红外线散斑图案的投影在演员300的面部的投影；基于该投影的变化，配置虚拟体400的面部骨骼的运动；基于虚拟体400的面部骨骼的运动，配置虚拟体400的面部动画。

例如，首先，图像处理装置200创建具有面部的虚拟体400，红外线光源向演员300的面部投影预设形状的第一红外线散斑图案，并利用面部动作捕捉模块140的红外摄像头拍摄表面附有第一红外线散斑图案的演员300的面部静态图像。第一红外线散斑图案可以是散布局部或整个面部的高密度的规则图形，例如网格形。由于面部不同部位相对红外线光源的距离(深度)不同，投影在面部上的图形会发生形变。红外摄像头拍摄具有形变的散斑图形的面部照片后，经通信模块传输至图像处理装置200进行分析，图像处理装置200分析散斑图形的形变情况，得到演员300面部的用于虚拟体400面部的三维建模。由于不用直接分析演员300的面部照片，无需多个摄像头，同时也降低面部图像分析的计算量。另外，为了提高精度，可以通过改变红外摄像头的光轴相对于演员300的面部的角度，或者红外线光源的光轴中心相对于演员300面部的角度，以取得不同角度的多张带有散斑图形的面部图像，以便提高面部深度分析的精度。可选地，第一红外线散斑图案可以包括多种不同图案，并依次投影至演员300的面部，通过分析不同图案在演员300面部的形变，可以提高面部深度分析的精度。

然后，基于上述三维建模，在虚拟体400的面部处配置预设的骨骼，并根据骨骼的配置设置面部贴图，各个骨骼之间能够发生相对运动，以骨骼间的相对运动带动附在骨骼上贴图的位移和拉伸形变等，生成模拟演员300面部表情动作的虚拟体400的面部捕捉模型310。在此需要注意的是，本文中“骨骼”并非严格对应医学术语的“骨骼”，还可以包括眼球、肌群等面部的主要的可动部位。

在配置骨骼后，根据骨骼的分布和形状等配置信息，定制第二红外线散斑图案，不同于第一红外线散斑图案，第二红外线散斑图案是不规则形状，用于重点跟踪演员300面部对应虚拟体400面部骨骼的位置(例如下颚、眼皮、颧骨等)，因此在重点位置的网格或点阵的密度相对较高，而不与骨骼对应的位置密度较低或者不设有红外线散斑图案。红外摄像头持续拍摄具有形变的散斑图形的面部实时视频，并经通信模块传输至图像处理装置200进行分析，图像处理装置200分析第二红外线散斑图案的形变情况，得到演员300面部的用于虚拟体400面部的骨骼的运动轨迹。根据该运动轨迹配置骨骼和附在骨骼外部的贴图的运动和形变，以生成虚拟体400的面部捕捉模型310的表情动画。由此可以大幅降低图形处理时运算量和功耗。

进一步地，该方法还包括步骤：将虚拟体400合成至动画场景，根据该动画场景的环境参数为虚拟体400配置物理动力学参数，即使用了物理动力学方面的技术，按照物理规律移动，体现重力、引力、反作用力、加速度等物理特性，从而使骨骼和附在骨骼外部的贴图的运动和形变更加真实和自然。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接相合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在二个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在二个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

附图标记说明：

100 面部动作捕捉头盔

110 显示屏

130 第一通信模块

140 面部动作捕捉模块

200 图像处理装置

300 演员

310 面部捕捉模型

400 虚拟体。

Claims (8)

1.角色实时面部表情动画捕捉的系统，其特征在于所述系统包括：

一面部动作捕捉头盔，其包括

一盔壳；

一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的面部图像；以及

一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置，

一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。

2.根据权利要求1所述的系统，其中所述面部动作捕捉头盔还包括：

一LED光源，其用于照亮演员的面部动作；

一麦克风，其用于捕捉演员的声音；以及

一耳机，其用于向演员传输对应三维场景的声音。

3.根据权利要求1所述的系统，其中所述面部动作捕捉模块包括红外摄像头。

4.根据权利要求3所述的系统，其中所述面部动作捕捉头盔还包括用于发射散斑图案的红外线光源。

5.角色实时面部表情动画捕捉的方法，基于权利要求1-4中任一项所述的系统，其特征在于包括以下步骤：

创建具有面部的虚拟体；

拍摄演员的面部图像；

基于该面部图像，关联虚拟体的面部和演员的面部；

捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画。

6.根据权利要求5所述的方法，其中基于该面部图像，关联虚拟体的面部和演员的面部的步骤还包括以下子步骤：

在拍摄演员的面部图像前，向演员的面部投射第一红外线散斑图案；

基于红外线散斑图案在演员的面部的投影，构建虚拟体的面部骨骼；

基于虚拟体的面部骨骼的形状，向演员的面部投射第二红外线散斑图案；

关联虚拟体的面部骨骼与演员的面部的第二红外线散斑图案的投影。

7.根据权利要求6所述的方法，其中捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画的步骤还包括以下子步骤：

捕捉第二红外线散斑图案的投影在演员的面部的投影；

基于该投影的变化，配置虚拟体的面部骨骼的运动；

基于虚拟体的面部骨骼的运动，配置虚拟体的面部动画。

8.根据权利要求5所述的方法，其中还包括步骤：

将虚拟体合成至动画场景，根据该动画场景的环境参数为虚拟体配置物理动力学参数。