CN108108026A - 一种vr虚拟现实动作捕捉系统和动作捕捉方法 - Google Patents

Abstract

本发明提供了VR虚拟现实动作捕捉系统，其包括：一动作捕捉头盔，其包括一显示屏，其用于向演员显示由后述图像处理装置合成的图像；一头部动作捕捉模块，其用于捕捉动作捕捉头盔的动作；一第一通信模块，其连接后述图像处理装置；一图像处理装置，其用于创建三维场景，并将三维场景的图像传输至动作捕捉头盔的显示屏，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。还提供了VR虚拟现实动作捕捉方法。能够在表演时向演员提供最终或者接近最终的画面，为演员的演出提供参考。

Description

一种VR虚拟现实动作捕捉系统和动作捕捉方法

技术领域

本发明涉及虚拟现实技术领域，特别涉及VR虚拟现实动作捕捉系统和动作捕捉方法。

背景技术

目前动作捕捉和面部表情捕捉已经成为业界热门，《阿凡达》《金刚》《指环王》等电影的上映，使观众其惟妙惟肖的画面所震撼。传统的三维动捕是为角色戴上的动捕头盔和动捕服，对其身体动作和面部表情进行动捕。演员在一个空白的空间内进行表演，无法实时确认后期的CG效果，只能凭空想象最后影片的环境。

发明内容

针对上述问题，我们的开发的一种VR虚拟现实动作捕捉系统，就弥补了这方面的空白，演员在动捕室中也能实时看见最终或者接近最终的画面，更加有利于演员临场感受。

根据本公开的第一个方面，提供了VR虚拟现实动作捕捉系统，其包括：一动作捕捉头盔，其包括一显示屏，其用于向演员显示由后述图像处理装置合成的图像；一头部动作捕捉模块，其用于捕捉动作捕捉头盔的动作；一第一通信模块，其连接后述图像处理装置；一图像处理装置，其用于创建三维场景，并将三维场景的图像传输至动作捕捉头盔的显示屏，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。

进一步地，动作捕捉头盔还包括：一面部动作捕捉模块，其用于捕捉演员的面部动作；一麦克风，其用于捕捉演员的声音；一耳机，其用于向演员传输对应三维场景的声音。

进一步地，其中面部动作捕捉模块包括红外摄像头。进一步地，其中头部动作捕捉模块包括角加速度传感器，捕捉动作捕捉头盔的动作包括捕捉动作捕捉头盔的方位角和仰角变化。

进一步地，其中动作捕捉头盔包括标记点；VR虚拟现实动作捕捉系统包括多个光学式动作捕捉相机，其用于根据标记点来捕捉动作捕捉头盔在三维方向上的位移。

根据本公开的第二个方面，提供了VR虚拟现实动作捕捉方法，基于本公开的第一个方面的系统，该方法包括以下步骤：创建三维场景；在三维场景中创建对应演员的虚拟体；关联虚拟体与动作捕捉头盔；获取动作捕捉头盔的捕捉参数；根据动作捕捉头盔的捕捉参数，配置虚拟体的视野；将虚拟体的视野传输至动作捕捉头盔，其中，捕捉参数包括动作捕捉头盔的方位角和仰角变化。

进一步地，其中关联虚拟体与该动作捕捉头盔的步骤还包括以下子步骤：以动作捕捉头盔为中心建立现实球坐标系；以虚拟体为中心建立虚拟球坐标系；建立虚拟球坐标系与现实球坐标系之间的映射。

进一步地，其中还包括以下步骤：捕捉演员的面部动作；根据演员的面部动作，配置虚拟体的面部动画。

本公开具有以下优点：利用图像处理装置将三维场景回传至动作捕捉头盔的显示屏，能够在表演时向演员提供最终或者接近最终的画面，以为演员的演出提供参考。在头盔上设置面部动作捕捉模块，有利于精确地捕捉演员的面部动作。利用角加速度传感器检测头盔在球坐标系下的方位角和仰角变化，并利用光学式动作捕捉相机检测头盔在三维坐标系下的唯一变化，有利于简化运算量的同时提高动作捕捉的精度，有效地降低了因回传至动作捕捉头盔的显示屏的三维场景的运动与头盔(演员头部)的运动不同步所带来的昏眩感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开的一个或多个实施例的结构示意图；

图2是本公开的一个或多个实施例的动作捕捉头盔的示意图；

图3是演员穿戴图2的动作捕捉头盔的示意图；

图4是本公开的一个或多个实施例的实时捕捉真实的演员动作信息并关联虚拟体的示意图；

图5是本公开的一个或多个实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在制作三维动画时，为了使动画中的人物动作达到逼真的效果，需要动作捕捉演员300穿戴动作捕捉服180等装备，在动作捕捉室内录制动作。演员300在为制作三维虚拟人物模型提供肢体的动作的捕捉和面部动作的捕捉。演员300在一个空白的空间内进行表演，由于无法实时确认后期的三维场景的效果以及其他后期分别合成的三维人物或道具等，只能凭空想象最后影片的环境。不利于演员300的演出。

参照图1-4，根据本公开的第一实施例，提供了VR虚拟现实动作捕捉系统，其包括：一动作捕捉头盔100，其包括一显示屏110，其用于向演员300显示由后述图像处理装置200合成的图像；一头部动作捕捉模块120，其用于捕捉动作捕捉头盔100的动作；一第一通信模块130，其连接后述图像处理装置200。该系统还包括一图像处理装置200，其用于创建三维场景，并将三维场景的图像传输至动作捕捉头盔100的显示屏110。该图像处理装置200包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯，以便接收动作捕捉头盔100所捕捉的演员300的动作和根据该动作发送对应的三维场景。利用图像处理装置200将三维场景回传至动作捕捉头盔100的显示屏110，能够在表演时向演员300提供最终或者接近最终的画面，以为演员300的演出提供参考。其中由图像处理装置200创建并提供给显示屏110显示的三维场景即可以是最终效果的三维动画中的场景，也可以是仅为演员300提供其他三维对象的距离、方位等参考的简易的三维动画。

在本公开的一个或多个实施例中，为演员300提供的动作捕捉头盔100的壳体呈半圆形，由如工程塑料、凯芙拉纤维等制成。将在佩戴时与演员300视线一致的方向定义为头盔的前方，相反的方向为头盔的后方，则头盔的壳体的前部配合演员300眼部的位置处设有显示屏110。显示屏110为主动发光式的LCD、LED或OLED显示屏110，优选采用高响应速度、低发热的OLED显示屏110。投影在显示屏110上的图像与虚拟体400的视野相一致。头盔的壳体的后下部，即靠近颈椎的位置设置有头部动作捕捉模块120，用于捕捉演员300头部整体的运动，尤其是头部的转动。头盔上设有第一通信模块130，第一通信模块130通过有线方式(例如HDMI和USB线缆等)或者无线方式(WIFI、蓝牙等)连接图像处理装置200。图像处理装置200可以是具有图形处理功能的独立于动作捕捉头盔100的服务器，或者是内置在动作捕捉头盔100上的图形处理芯片。在本例中图像处理装置200为具有三维动画渲染功能的三维动画服务器，三维动画服务器通过其中与对应第一通信模块130的第二通信模块(图上未示)，经由HDMI和USB线缆131连接动作捕捉头盔100。

在一个或多个实施例中，动作捕捉头盔100还包括：一面部动作捕捉模块140，其用于捕捉演员300的面部动作；一麦克风150，其用于捕捉演员300的声音；一耳机160，其用于向演员300传输对应三维场景的声音。其中面部动作捕捉模块包括红外摄像头。在一般的动作捕捉领域中，通常在演员300的躯干和面部上设置关键点，利用光学式动作捕捉摄像机同时捕捉演员300的肢体和面部的动作。由于本公开涉及的头盔采用半覆盖式的设计，带有显示屏110的前部会遮挡部分或者全部的演员300的面部动作，因此需要在头盔内侧额外地设置红外摄像头作为面部捕捉模块，以捕捉演员300的面部动作。头部动作捕捉模块包括角加速度传感器，捕捉动作捕捉头盔100的动作包括捕捉动作捕捉头盔100的方位角和仰角变化。当动作捕捉头盔100的方位角和仰角变化时，虚拟体400的姿态随之改变，图像处理装置200将姿态改变后的虚拟体400的视野反馈给显示屏110。在利用显示屏110为演员300提供图像时，对演员300视野的变化非常敏感，视野变化的不同步易使演员300产生眩晕感。基于球坐标系的角加速度传感器，从降低运算量和提高反应速度方面优于采用光学式动作捕捉相机170的方案。

在一个或多个实施例中，其中动作捕捉头盔100包括标记点(图中未示)；VR虚拟现实动作捕捉系统包括多个光学式动作捕捉相机170，其用于根据标记点来捕捉动作捕捉头盔100在三维方向上的位移。可选地，本公开的动作捕捉头盔100可以与动作捕捉服180配合使用，即利用该多个光学式动作捕捉相机170同时捕捉头盔和躯干在三维方向上的位移。通过分别捕捉动作捕捉头盔100方位角和仰角(即相当于演员300的视角)的变化，和捕捉动作捕捉头盔100在三维方向上的位移，有利于简化运算量的同时提高动作捕捉的精度，可以有效地降低了因回传至动作捕捉头盔100的显示屏110的三维场景的运动与头盔(演员300头部)的运动不同步所带来的昏眩感。

在利用本公开的第一实施例制作三维动画的运行方法如下，首先制作基于动作捕捉演员300的三维角色模型作为虚拟体400，并为该三维角色模型制作肢体骨骼和面部动画。在动作捕捉时，演员300进入动作捕捉室，并佩戴上动作捕捉头盔100，进行匹配校准。将动捕演员300的面部与面部软件中的匹配点进行绑定。演员300的面部表情通过动作捕捉软件匹配绑定后，生成实时的动捕动画数据，并将动画数据传输进三维动画服务器。三维动画服务器接受到由面部动作捕捉软件传输的演员300的三维动画角色的面部动画信息，实时驱动三维角色的面部表情。配合肢体动作捕捉系统和三维场景、特效、灯光等合成最终的或者示意性的三维实时画面。然后将实时渲染的场景和角色动画的画面再传输进动作捕捉头盔100上的显示屏110中，使动捕演员300看到如身临其境的三维场景的画面。演员300开始在动作捕捉室内根据剧本进行表演，实时肢体动作310和头部(含表情)动作320的轨迹信息被实时传输进三维动画服务器并进行录制。

参照图5，根据本公开的第二实施例，提供了VR虚拟现实动作捕捉方法，基于本公开的第一实施例的系统，该方法包括以下步骤：创建三维场景；在三维场景中创建对应演员300的虚拟体400；关联虚拟体400与动作捕捉头盔100；获取动作捕捉头盔100的捕捉参数；根据动作捕捉头盔100的捕捉参数，配置虚拟体400的视野；将虚拟体400的视野传输至动作捕捉头盔100，其中，捕捉参数包括动作捕捉头盔100的方位角和仰角变化。

在一个或多个实施例中，其中关联虚拟体400与该动作捕捉头盔100的步骤还包括以下子步骤：以动作捕捉头盔100为中心建立现实球坐标系；以虚拟体400为中心建立虚拟球坐标系；建立虚拟球坐标系与现实球坐标系之间的映射。

在一个或多个实施例中，其中还包括以下步骤：捕捉演员300的面部动作；根据演员300的面部动作，配置虚拟体400的面部的运动姿态。

第二实施例的实施方式与第一实施例的运行方法基本相同，故在此不再赘言。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接相合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在二个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在二个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

附图标记说明：

100 动作捕捉头盔

110 显示屏

120 头部动作捕捉模块

130 第一通信模块

131 HDMI和USB线缆

140 面部动作捕捉模块

150 麦克风

160 耳机

170 光学式动作捕捉相机

180 动作捕捉服

200 图像处理装置

300 演员

310 头部动作

320 肢体动作

400 虚拟体。

Claims (8)

1.VR虚拟现实动作捕捉系统，其特征在于所述系统包括：

一动作捕捉头盔，其包括

一显示屏，其用于向演员显示由后述图像处理装置合成的图像；

一头部动作捕捉模块，其用于捕捉动作捕捉头盔的动作；

一第一通信模块，其连接后述图像处理装置；

一图像处理装置，其用于创建三维场景，并将三维场景的图像传输至动作捕捉头盔的显示屏，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。

2.根据权利要求1所述的系统，其中所述动作捕捉头盔还包括：

一面部动作捕捉模块，其用于捕捉演员的面部动作；

一麦克风，其用于捕捉演员的声音；

一耳机，其用于向演员传输对应三维场景的声音。

3.根据权利要求2所述的系统，其中所述面部动作捕捉模块包括红外摄像头。

4.根据权利要求1所述的系统，其中头部动作捕捉模块包括角加速度传感器，捕捉动作捕捉头盔的动作包括捕捉动作捕捉头盔的方位角和仰角变化。

5.根据权利要求1-4中任一项所述的系统，其中动作捕捉头盔包括标记点；

VR虚拟现实动作捕捉系统包括多个光学式动作捕捉相机，其用于根据标记点来捕捉动作捕捉头盔在三维方向上的位移。

6.VR虚拟现实动作捕捉方法，基于权利要求1-5中任一项所述的系统，其特征在于包括以下步骤：

创建三维场景；

在三维场景中创建对应演员的虚拟体；

关联虚拟体与动作捕捉头盔；

获取动作捕捉头盔的捕捉参数；

根据动作捕捉头盔的捕捉参数，配置虚拟体的视野；

将虚拟体的视野传输至动作捕捉头盔，

其中，所述捕捉参数包括所述动作捕捉头盔的方位角和仰角变化。

7.根据权利要求6所述的方法，其中关联虚拟体与该动作捕捉头盔的步骤还包括以下子步骤：

以动作捕捉头盔为中心建立现实球坐标系；

以虚拟体为中心建立虚拟球坐标系；

建立虚拟球坐标系与现实球坐标系之间的映射。

8.根据权利要求6所述的方法，其中还包括以下步骤：

捕捉演员的面部动作；

根据演员的面部动作，配置虚拟体的面部动画。