CN111192350A - 一种基于5g通信vr头盔的动作捕捉系统及方法 - Google Patents

Abstract

本发明公开了一种基于5G通信VR头盔的动作捕捉系统及方法，涉及虚拟现实和动作捕捉领域，用于实现：通过VR头盔模拟表演场景，动捕装置采集演员的表演数据，在基于5G通信模块传输至云端服务器，对数据进行处理和与预先建立的模型进行匹配，完成动作的捕获。本发明的有益效果为：为演员模拟逼真的虚拟现实体验，解决了以往在三维动画制作表演过程中，演员无法看到最终的画面或并不纯在角色和怪物，只能自我脑补画面，提高了演员的沉浸感和表演体验，应用范围广，适用人群广。

Description

一种基于5G通信VR头盔的动作捕捉系统及方法

技术领域

本发明涉及虚拟现实和动作捕捉领域，特别涉及一种基于5G通信VR头盔的动作捕捉系统及方法。

背景技术

美国电影阿凡达的成功，为电影公司和动画公司指明了未来技术的方向，其中三维动画和动作捕捉技术是其核心技术，动作捕捉(MOCAP)——技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由Motion capture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。这种技术发明已经多年，最早被美国和日本所发明和使用，多用于好莱坞电影拍摄和后期制作中，日本主要在游戏中用来制作游戏或过场动画中角色的动作信息。

动作捕捉系统比传统人工手调动画更加优秀的方面在于，这提供了一个更加精准的动作效果，而且速度更快更方面快捷。

而在传统的三维动画制作过程中，电影演员在进行表演的同时，只能自行想象电影画面，比如在科幻的场景中，或者和不存在的虚拟角色如巨型怪物等等这些都需要凭空想象，加大了演员的表演难度。

发明内容

为至少解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于5G通信VR头盔的动作捕捉系统及方法，通过VR头盔模拟表演场景，动捕装置采集演员的表演数据，在基于5G通信模块传输至云端服务器，对数据进行处理和与预先建立的模型进行匹配，完成动作的捕获。

本发明解决其问题所采用的技术方案第一方面是：一种基于5G通信VR头盔的动作捕捉系统，其特征在于，包括：VR头盔，用于指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；5G通信模块，用于接收动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；数据处理模块，用于接收5G通信模块发送的信息并进行对应处理得到处理后的动作数据；骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

有益效果：为演员模拟逼真的虚拟现实体验，解决了以往在三维动画制作表演过程中，演员无法看到最终的画面或并不纯在角色和怪物，只能自我脑补画面，提高了演员的沉浸感和表演体验，应用范围广，适用人群广。

根据本发明第一方面所述的，动作采集模块包括：加速度传感单元，用于测量关节节点的加速度信号；角速度传感单元，用于测量关节节点的角速度信号；位置传感单元，用于测量待测对象在地磁坐标系中的坐标。

根据本发明第一方面所述的，动作采集模块为惯性动作捕捉模块。

根据本发明第一方面所述的，VR头盔包括：引擎调用单元，用于调用指定引擎根据预设信息生成与所述预设信息相符的虚拟现实画面；虚拟成像单元，用于生成特定的虚拟现实画面，作为演员的表演场景。

根据本发明第一方面所述的基于5G通信VR头盔的动作捕捉系统，还包括面部采集模块，用于使用红外高感度摄像机捕捉演员面部动作。

根据本发明第一方面所述的，数据处理模块包括：角速度处理单元，用于将角速度信号进行一次积分得到角度姿态；加速度处理单元，用于根据加速度信号进行重力分量估算关节点的横滚角和俯仰角。

根据本发明第一方面所述的，数据处理模块还包括：二次数据判断单元，根据角速度处理模块和加速度处理模块得到的数据，与对比库模块中储存的正常动作数据做对比，判断获得的动作数据是否正常；对比库，用于存储正常动作数据。

本发明解决其问题所采用的技术方案第二方面是：一种基于5G通信VR头盔的动作捕捉方法，其特征在于，包括以下步骤：S10、VR头盔使用指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；S20、动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；S30、5G通信模块获取动作采集模块的数据，并将其发送给数据处理模块；S40、数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；S50、骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

有益效果：为演员模拟逼真的虚拟现实体验，解决了以往在三维动画制作表演过程中，演员无法看到最终的画面或并不纯在角色和怪物，只能自我脑补画面，提高了演员的沉浸感和表演体验，应用范围广，适用人群广。

根据本发明第二方面所述的，S20还包括：S21、对面部采集模块进行预先设置，包括采集区域大小以及采集频率；S22、面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；S23、将获得的全身图像数据、手势图像数据以及面部图像数据进行整合处理，得到完整的待捕捉对象动作数据。

根据本发明第二方面所述的，S40还包括：

S41、将角速度信号进行一次积分得到角度姿态；

S42、加速度信号进行重力分量估算关节点的横滚角和俯仰角；

S43、将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；

S50还包括：

S51、计算各个骨骼之间的旋转矩阵；

S52、根据旋转矩阵得到指定节点的骨骼空间位置；

S53、使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1是根据本发明优选实施例的系统结构示意图；

图2是根据本发明优选实施例的方法流程示意图；

图3是根据本发明优选实施例的现场动作捕捉示意图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

参照图1，是根据本发明优选实施例的系统结构示意图，包括：

VR头盔，用于指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；

动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；

5G通信模块，用于接收动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；

数据处理模块，用于接收5G通信模块发送的信息并进行对应处理得到处理后的动作数据；

骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

动作采集模块包括：

加速度传感单元，用于测量关节节点的加速度信号；

角速度传感单元，用于测量关节节点的角速度信号；

位置传感单元，用于测量待测对象在地磁坐标系中的坐标。

动作采集模块为惯性动作捕捉模块。

VR头盔包括：引擎调用单元，用于调用指定引擎根据预设信息生成与预设信息相符的虚拟现实画面；虚拟成像单元，用于生成特定的虚拟现实画面，作为演员的表演场景。

还包括面部采集模块，用于使用红外高感度摄像机捕捉演员面部动作。

数据处理模块包括：

角速度处理单元，用于将角速度信号进行一次积分得到角度姿态；

加速度处理单元，用于根据加速度信号进行重力分量估算关节点的横滚角和俯仰角。

数据处理模块还包括：二次数据判断单元，根据角速度处理模块和加速度处理模块得到的数据，与对比库模块中储存的正常动作数据做对比，判断获得的动作数据是否正常；对比库，用于存储正常动作数据。

参照图2，是根据本发明优选实施例的方法流程示意图，包括：

S10、VR头盔使用指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；

S20、动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；

S30、5G通信模块获取动作采集模块的数据，并将其发送给数据处理模块；

S40、数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；

S50、骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

S20还包括：

S21、对面部采集模块进行预先设置，包括采集区域大小以及采集频率；

S22、面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；

S23、将获得的全身图像数据、手势图像数据以及面部图像数据进行整合处理，得到完整的待捕捉对象动作数据。

S40还包括：

S41、将角速度信号进行一次积分得到角度姿态；

S42、加速度信号进行重力分量估算关节点的横滚角和俯仰角；

S43、将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；

S50还包括：

S51、计算各个骨骼之间的旋转矩阵；

S52、根据旋转矩阵得到指定节点的骨骼空间位置；

S53、使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。

参照图3，是根据本发明优选实施例的现场动作捕捉示意图：

演员佩戴基于5G通信的VR头盔，通过头盔模拟演出场景，做出相应动作，同时身体佩戴的惯性动作捕捉装置采集演员的动作数据，予以辅助的红外动捕传感器进行辅助数据采集，包括面部数据和动作数据。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于5G通信VR头盔的动作捕捉系统，其特征在于，包括：

VR头盔，用于指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；

动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；

5G通信模块，用于接收动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；

数据处理模块，用于接收5G通信模块发送的信息并进行对应处理得到处理后的动作数据；

骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

2.根据权利要求1所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，所述动作采集模块包括：

加速度传感单元，用于测量关节节点的加速度信号；

角速度传感单元，用于测量关节节点的角速度信号；

位置传感单元，用于测量待测对象在地磁坐标系中的坐标。

3.根据权利要求1所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，所述动作采集模块为惯性动作捕捉模块。

4.根据权利要求1所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，所述VR头盔包括：

引擎调用单元，用于调用指定引擎根据预设信息生成与所述预设信息相符的虚拟现实画面；

虚拟成像单元，用于生成特定的虚拟现实画面，作为演员的表演场景。

5.根据权利要求1所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，还包括面部采集模块，用于使用红外高感度摄像机捕捉演员面部动作。

6.根据权利要求1所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，所述数据处理模块包括：

角速度处理单元，用于将角速度信号进行一次积分得到角度姿态；

加速度处理单元，用于根据加速度信号进行重力分量估算关节点的横滚角和俯仰角。

7.根据权利要求6所述的基于5G通信VR头盔的动作捕捉系统，其特征在于，所述数据处理模块还包括：

二次数据判断单元，根据角速度处理模块和加速度处理模块得到的数据，与对比库模块中储存的正常动作数据做对比，判断获得的动作数据是否正常；

对比库，用于存储正常动作数据。

8.一种基于5G通信VR头盔的动作捕捉方法，其特征在于，包括以下步骤：

S10、VR头盔使用指定引擎生成特定的画面，作为演员的表演场景并实时播放当前表演场景的虚拟现实画面；

S20、动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；

S30、5G通信模块获取动作采集模块的数据，并将其发送给数据处理模块；

S40、数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；

S50、骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

9.根据权利要求8所述的基于5G通信VR头盔的动作捕捉系统及其方法，其特征在于，所述S20还包括：

S21、对面部采集模块进行预先设置，包括采集区域大小以及采集频率；

S22、面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；

S23、将获得的全身图像数据、手势图像数据以及面部图像数据进行整合处理，得到完整的待捕捉对象动作数据。

10.根据权利要求8所述的基于5G通信VR头盔的动作捕捉系统及其方法，其特征在于，所述S40还包括：

S41、将角速度信号进行一次积分得到角度姿态；

S42、加速度信号进行重力分量估算关节点的横滚角和俯仰角；

S43、将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；

所述S50还包括：

S51、计算各个骨骼之间的旋转矩阵；

S52、根据旋转矩阵得到指定节点的骨骼空间位置；

S53、使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。

Images