CN110515466B - 一种基于虚拟现实场景的动作捕捉系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实场景的动作捕捉系统，包括三个跟踪器、两个手柄和一个头盔，三个跟踪器分别安装在两个脚部和腰部上，两个手柄安装在双手上，头盔固定安装在头部，三个跟踪器、两个手柄和一个头盔与电脑连接，电脑中设置有设备接入模块、模型绑定模块和运动捕捉模块，设备接入获取到设备当前的坐标，并进行跟踪，模型绑定获取到人体骨骼与模型骨骼的差值，使模型骨骼跟随人体骨骼。本发明有效解决动作捕捉技术效率低，无法实现实时捕捉；装备佩戴繁琐，对动作限制大；对环境要求高；成本高的问题，实现对人物的动作捕捉，并且能够准确反馈到虚拟现实场景中的人物模型上。

Description

一种基于虚拟现实场景的动作捕捉系统

技术领域

本发明属于动作捕捉技术领域，涉及一种基于虚拟现实场景的动作捕捉系统。

背景技术

电力行业中，利用虚拟现实技术模拟真实环境进行安全应急演练的方式的接受度已经越来越高。虚拟现实技术能够给作业人员提供一个接近真实的环境进行培训和指导，它不仅能培训作业人员的作业水平，还能够进行安全规定的模拟，应急演练，能够在保证作业人员安全的情况下，真实模拟电力行业的运行环境。

在虚拟现实技术中，两个手柄能够模拟真实的手部进行拾取、放置等动作，一般能够满足大多数用户的需求。但是电力行业中，不仅需要手部的操作，更需要脚部或腰部等身体部分的配合才能够完成动作。为了能更真实地模拟这一情况，本系统将运动捕捉技术与虚拟现实技术进行结合，将现实中人体各个部位的动作与虚拟现实场景中人体模型的动作同步，模拟出电力作业环境人体的动作，从而更真实地模拟作业场景。

运动捕捉技术是一种用于准确测量运动物体在三维空间运动状况的技术。它基于计算机图形学，以图像或其他形式记录下空间中的捕捉设备（多为传感器）的运动情况，一般是对不同时间上物体的空间坐标进行记录，从而得到捕捉设备所跟随的物体的运动情况。运动捕捉技术最早产生于二十世纪七十年代。二十一世纪开始，随着计算机技术的发展与软件性能的提高，高速度、高质量、真实性强地捕捉运动轨迹的技术已经作为一种普遍的技术应用在各个领域。在全球运动捕捉系统行业中，美国是发展最早、技术最为先进的国家，它占市场的份额最大。近年来，在经济发展及政策的推动下，我国运动捕捉技术行业得到了快速的发展，逐步推广向市场，在游戏、动画、人体工程学、虚拟现实等技术领域得到了广泛的应用。由于技术条件的限制，我国3D动作捕捉系统产品上少有创新和突破，在市场上的整体竞争力较弱。整体而言，中国3D动作捕捉系统行业发展较为迅速，无论是在技术研发、还是在实际应用中都有较大的进步空间，而且市场发展前景广阔。

运动捕捉设备主要由传感器、信号捕捉设备、数据传输设备、数据处理设备组成，一般是由传感器进行跟踪物体，信号捕捉设备进行信号捕捉，通过数据传输设备传输跟踪到的数据，再通过数据处理设备进行处理。

早期运动捕捉系统为机械式运动捕捉，一般由带传感器的模拟关节和刚性连杆组成，通过对这些模拟关节及传感器捕捉到的连杆的角度、位置变动，推算出与这些结构相连的物体的运动。这种装装置受环境限制小，成本低，能够进行多个对象的同时的实时测量。但是这种方式佩戴设备较多，运动不方便，对使用者的动作流畅性、协调性限制较大。

此外，通过声波捕捉的声学式运动捕捉也十分普遍，它由发送器、接收器、处理单元组成，通过测量声音从发送器到接收器的时间，可以计算并且确定接收器的位置和方向。能够解决人体的遮挡问题，但是实时性不如前者，并且容易受到噪声的干扰。

另一种常用的运动捕捉系统为光学式运动捕捉，它通过标记点、摄像机和数据处理设备进行动作的捕捉。这种系统是基于计算机视觉的原理，对于同一个标记点，当它同时被两部或以上的相机所拍摄，就能确定这个标记点的位置。当摄像头以高速率进行拍摄时，就能够得到使用者的动作与运动轨迹。主要优点为设备佩戴方便，没有机械设备的限制，运动受限小，捕捉速率高；但是系统设备昂贵，对环境的要求较高，动作易混淆和遮挡。

综上所述，机械式运动捕捉为能够准确反映动作，佩戴设备较多，运动不方便，对使用者的动作流畅性、协调性限制较大。声学式运动捕捉通过捕捉声音得到动作，实时性不如机械式运动捕捉，容易受到噪声的干扰。光学式运动捕捉需要多台相机同时拍摄才能得到标记点的位置，系统设备昂贵，对环境的要求较高，动作易混淆和遮挡。

发明内容

本发明要解决的技术问题是：提供一种基于虚拟现实场景的动作捕捉系统，应用在电力行业中，使虚拟现实场景中能够捕捉到人体动作，改善现有技术捕捉效率低、设备穿戴困难、成本高等问题。

本发明采取的技术方案为：一种基于虚拟现实场景的动作捕捉系统，包括三个跟踪器、两个手柄和一个头盔，三个跟踪器分别安装在两个脚部和腰部上，两个手柄安装在双手上，头盔固定安装在头部，三个跟踪器、两个手柄和一个头盔与电脑连接，电脑中设置有设备接入模块、模型绑定模块和运动捕捉模块，设备接入模块用于接入设备的数据输入到电脑进行初始化处理并进入场景，模型绑定模块用于在场景内三个跟踪器、两个手柄和一个头盔采集的腰部、双脚、双手和头部的位置与模型相对应的位置进行对应与绑定，运动捕捉模块包括运动捕捉模块与反向动力学模块，运动捕捉模块用于跟踪器和手柄实时跟踪到当前绑定的骨骼的运动情况，反向动力学模块用于以反向动力学计算出没有绑定跟踪器的人体骨骼部分。

电脑中配置Unity VRTK插件，用以搭建VR环境，VR环境匹配场景。

当前绑定的骨骼的运动情况包括手臂和双脚的朝向、位置和旋转角度。

人体没有绑定跟踪器的人体骨骼部分包括肩膀、膝盖和手肘。

初始化处理为：初始化处理采用Unity VRTK插件对接入设备变量进行初始化处理，并且将其按照序号与接入设备同步，获取到接入场景的设备数量、设备序号以及设备在场景内的位置及旋转角度。

本发明的有益效果：与现有技术相比，本发明设备接入部分获取到设备当前的坐标，并进行跟踪，模型绑定部分获取到人体骨骼与模型骨骼的差值，使模型骨骼跟随人体骨骼，才能够进行运动捕捉，对使用者进行动作捕捉，并且能够将捕捉的动作能够实时反馈到VR环境的人物模型中。本发明主要应用在虚拟现实环境中，改善目前动作捕捉技术效率低，无法实现实时捕捉；装备佩戴繁琐，对动作限制大；对环境要求高；成本高的问题，实现对人物的动作捕捉，并且能够准确反馈到虚拟现实场景中的人物模型上。

附图说明

图1为本发明模型绑定部分示意图；

图2为本发明模块图；

图3为本发明反向动力学示意图；

图4为本发明设备接入模块流程图；

图5为本发明运动捕捉流程图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例1：如图1-图5所示，一种基于虚拟现实场景的动作捕捉系统，包括三个跟踪器、两个手柄和一个头盔，三个跟踪器分别安装在两个脚部和腰部上，两个手柄安装在双手上，头盔固定安装在头部，三个跟踪器、两个手柄和一个头盔与电脑连接，电脑中设置有设备接入模块、模型绑定模块和运动捕捉模块，设备接入模块用于接入设备的数据输入到电脑进行初始化处理并进入场景，模型绑定模块用于在场景内三个跟踪器、两个手柄和一个头盔采集的腰部、双脚、双手和头部的位置与模型相对应的位置进行对应与绑定，运动捕捉模块包括运动捕捉模块与反向动力学模块，运动捕捉模块用于跟踪器和手柄实时跟踪到当前绑定的骨骼的运动情况，反向动力学模块用于以反向动力学计算出没有绑定跟踪器的人体骨骼部分。

电脑中配置Unity VRTK插件，用以搭建VR环境，VR环境匹配场景。

当前绑定的骨骼的运动情况包括手臂和双脚的朝向、位置和旋转角度。

人体没有绑定跟踪器的人体骨骼部分包括肩膀、膝盖和手肘。

初始化处理为：初始化处理采用Unity VRTK插件对接入设备变量进行初始化处理，并且将其按照序号与接入设备同步，获取到接入场景的设备数量、设备序号以及设备在场景内的位置及旋转角度。

实施例2：一种基于虚拟现实场景的动作捕捉系统的操作方法：该方法包括以下步骤：

首先，进行设备接入，初始化设备变量，将所有设备接入场景中。通过设备变量进行所有设备的位置及旋转变量跟踪。此时没有绑定人体模型，所有设备的位置都是自由的；

其次，进行模型绑定，人体要在戴上VR头盔的情况下，站到与模型相同的位置，此时几个Tracker、手柄与头盔的位置，都在场景内实时更新，但是并未与模型绑定，通过按下手柄侧键进行设备接入的测定与人体骨骼绑定，第一次按下侧键，测试当前接入的设备数量，当设备不足五个时，则按照当前接入设备的数量，以右手、右脚、左脚的次序进行减少绑定。如果接入设备少于两个则无法运行。第二次按下侧键时，人体动作必须与人物模型动作保持一致，与模型的姿势越接近，则绑定差异越小，这个步骤是为获取到模型与人体骨骼的差异，因为模型与人体的骨骼不可能完全一致，如果完全按照跟踪器跟踪到的人体骨骼位置进行更新模型的骨骼位置，很可能产生模型骨骼错位等问题，例如，模型的手臂骨骼长度比人体的手臂骨骼长度相对较短，通过手柄与模型手部的位置差值的计算，能够得到人体手臂骨骼比模型手臂骨骼长的值，从而在人体运动的过程中，通过现实中手柄的位置计算出模型手的位置，同理，能够计算出人体双脚、双手、头部、腰部与模型相应骨骼的相对位置，从而在下面的步骤中，得到这几个部分模型的运动； 此时已经获取到人体双手、双脚、头部、腰部的位置，所有已经绑定的骨骼随Tracker位置与角度的改变而改变，此时通过反向动力学计算出模型尚未与人体绑定的部分，例如，当前已经获取到Tracker绑定的人体腰部的位置与左脚的位置，从而计算出人体腰部与左脚位置的差值，而模型大腿骨、小腿骨的距离是确定的，反向动力学通过这三个位置的差值，能够计算膝盖弯曲的角度，从而不需要Tracker的运动捕捉，也能计算出人体膝盖的位置。而膝盖的朝向默认与脚尖朝向（通过脚部Tracker获取）一致，同理，人体两边肩膀、两边膝盖的位置与角度，都能够通过反向动力学的计算确定。

通过以上步骤，绑定的模型骨骼部分和人体进行运动同步，未绑定的模型骨骼部分通过反向动力学进行计算，就能够实现实时的运动捕捉。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于虚拟现实场景的动作捕捉系统，其特征在于：包括三个跟踪器、两个手柄和一个头盔，三个跟踪器分别安装在两个脚部和腰部上，两个手柄安装在双手上，头盔固定安装在头部，三个跟踪器、两个手柄和一个头盔与电脑连接，电脑中设置有设备接入模块、模型绑定模块和运动捕捉模块，设备接入模块用于接入设备的数据输入到电脑进行初始化处理并进入场景，模型绑定模块用于在场景内三个跟踪器、两个手柄和一个头盔采集的腰部、双脚、双手和头部的位置与模型相对应的位置进行对应与绑定，运动捕捉模块包括运动捕捉模块与反向动力学模块，运动捕捉模块用于跟踪器和手柄实时跟踪到当前绑定的骨骼的运动情况，反向动力学模块用于以反向动力学计算出没有绑定跟踪器的人体骨骼部分，基于虚拟现实场景的动作捕捉系统的操作方法包括以下步骤：

首先，进行设备接入，初始化设备变量，将所有设备接入场景中，通过设备变量进行所有设备的位置及旋转变量跟踪，此时没有绑定人体模型，所有设备的位置都是自由的；

其次，进行模型绑定，人体要在戴上VR头盔的情况下，站到与模型相同的位置，通过按下手柄侧键进行设备接入的测定与人体骨骼绑定，第一次按下侧键，测试当前接入的设备数量，当设备不足五个时，则按照当前接入设备的数量，以右手、右脚、左脚的次序进行减少绑定，如果接入设备少于两个则无法运行，第二次按下侧键时，人体动作必须与人物模型动作保持一致，通过手柄与模型手部的位置差值的计算，能够得到人体手臂骨骼比模型手臂骨骼长的值，从而在人体运动的过程中，通过现实中手柄的位置计算出模型手的位置，同理，能够计算出人体双脚、双手、头部、腰部与模型相应骨骼的相对位置，从而得到这几个部分模型的运动； 此时已经获取到人体双手、双脚、头部、腰部的位置，所有已经绑定的骨骼随跟踪器位置与角度的改变而改变，此时通过反向动力学计算出模型尚未与人体绑定的部分。

2.根据权利要求1所述的一种基于虚拟现实场景的动作捕捉系统，其特征在于：电脑中配置Unity VRTK插件，用以搭建VR环境，VR环境匹配场景。

3.根据权利要求1所述的一种基于虚拟现实场景的动作捕捉系统，其特征在于：当前绑定的骨骼的运动情况包括手臂和双脚的朝向、位置和旋转角度。

4.根据权利要求1所述的一种基于虚拟现实场景的动作捕捉系统，其特征在于：人体没有绑定跟踪器的人体骨骼部分包括肩膀、膝盖和手肘。

5.根据权利要求2所述的一种基于虚拟现实场景的动作捕捉系统，其特征在于：初始化处理为：初始化处理采用Unity VRTK插件对接入设备变量进行初始化处理，并且将其按照序号与接入设备同步，获取到接入场景的设备数量、设备序号以及设备在场景内的位置及旋转角度。

Images