CN106843484A - 一种融合室内定位数据与动作捕捉数据的方法 - Google Patents

Abstract

一种融合室内定位数据与动作捕捉数据的方法，包括动作捕捉数据采集步骤；通过UWB室内定位系统采集室内定位数据步骤；采用卡尔曼滤波算法进行融合，获得融合位移；位移纠偏步骤：解析各个骨骼姿态数据，计算各个骨骼相对位移坐标；对虚拟现实综合系统中各个动作捕捉传感器进行位移纠偏，形成姿态重组位移；形成最终输出位移步骤：获取的融合位移与形成的姿态重组位移构成初步输出位移，将该初步输出位移进行卡尔曼滤波，去除位移纠偏过程中产生的闪跳点，形成平滑的各个动作捕捉传感器的最终输出位移。本发明利用UWB室内定位系统提供实时精确的位移数据，对惯性动作捕捉装置实时纠偏，使惯性动作捕捉装置能输出精确的姿态与位移数据。

Description

一种融合室内定位数据与动作捕捉数据的方法

技术领域

本发明涉及微机械(MEMS)以及虚拟现实领域，特别是一种融合室内定位数据与动作捕捉数据的方法。

背景技术

随着MEMS传感器的高速发展，微型惯性传感器的技术越发成熟，已经开始有将微型惯性传感器用于动作捕捉系统中。具体方法是：把惯性测量单元(IMU)连接到待测物体上，让其随待测物体一起运动。对多个传感器节点数据进行采集并处理，通过无线通讯技术传输至上位机系统，经过上位机进行姿态还原。惯性动作捕捉技术的优点在于，系统相对简洁，不怕遮挡，对光、环境要求比光学式动作捕捉低，适用范围广，同时惯性动作捕捉系统成本相对于光学普遍低。惯性测量单元包括加速度计、陀螺仪、地磁传感器，通过对加速度信号进行二重积分以及陀螺仪信号的积分，可以测得待测物体的信息以及方位信息。

但是，上述陀螺仪测量运动物体的姿态数据有误差，必须修正后才能真实反映出运动物体的姿态。陀螺仪测量姿态数据时，误差产生的过程如下：

首先，陀螺仪测量的数据为角速度，该角速度为瞬间值，大多数情况下不能直接适用，需要对该角速度进行时间积分，得到角度变化量。然后，将得到的角度变化量加上初始角度后，计算得到的角度值才是物体运动的姿态数据。

在对上述角速度进行时间积分时，积分过程时间(dt)越小，得到的角度值也越准确。然而，由于陀螺仪的测量基准是自身而非外在的绝对参照物；加之，积分过程时间(dt)不可能无限小，因而，积分的累积误差会随时间推移而逐渐增加，进而导致测量的运动姿态数据与实际的数据发生偏差。

动作捕捉系统主要用于对人体动作的采集，偏重于人体姿态的还原，当人体穿戴惯性动作捕捉系统行走并产生位移时，由于上述惯性传感器的误差以及姿态计算的参数等原因，动作捕捉系统输出的位移坐标随使用时间的增加会产生明显的偏差。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，而提供一种融合室内定位数据与动作捕捉数据的方法，该融合室内定位数据与动作捕捉数据的方法利用UWB室内定位系统提供实时精确的位移数据，并将该实时精确的位移数据对惯性动作捕捉系统进行实时纠偏，使虚拟现实综合系统中的惯性动作捕捉装置能输出精确的姿态与位移数据。

为解决上述技术问题，本发明采用的技术方案是：

一种融合室内定位数据与动作捕捉数据的方法，包括如下步骤：

步骤1，动作捕捉数据采集：通过虚拟现实综合系统中的动作捕捉传感器获得人体的动作捕捉数据；虚拟现实综合系统中设置有惯性动作捕捉装置，惯性动作捕捉装置包括若干个均能固定在人体上的动作捕捉传感器，动作捕捉传感器将能自动捕捉与采集人体接触部位的动作数据，也即骨骼姿态数据。

步骤2，室内定位数据采集：通过UWB室内定位系统获得室内定位数据。

步骤3，获取融合位移：采用卡尔曼滤波算法将步骤1采集的动作捕捉数据与步骤2采集的室内定位数据进行融合，获得融合位移。

步骤4，位移纠偏：解析虚拟现实综合系统中各个动作捕捉传感器所捕捉的各个骨骼姿态数据，计算各个骨骼相对位移坐标；根据步骤3获取的融合位移与骨骼相对位移坐标对虚拟现实综合系统中各个动作捕捉传感器进行位移纠偏，形成姿态重组位移；

步骤5，形成最终输出位移：步骤3获取的融合位移与步骤4形成的姿态重组位移构成初步输出位移，将该初步输出位移进行卡尔曼滤波，去除位移纠偏过程中产生的闪跳点，形成平滑的各个动作捕捉传感器的最终输出位移。

所述步骤3中，假设骤1采集的动作捕捉数据中的坐标数据与步骤2采集的室内定位数据均是一个二维坐标点(x，y)的集合，其中，x和y分别表示该点的横纵坐标，则融合位移的具体获取方法包括如下步骤：

步骤31，状态方程建立：将步骤1采集的动作捕捉数据的位移增量作为状态量，建立如下所示的状态方程：

上式中，向量为k时刻动作捕捉数据的先验估计，A取单位矩阵为k-1时刻动作捕捉数据的后验估计，为步骤1采集的动作捕捉数据的位移增量，w_k为过程噪声的协方差矩阵，由实验测得，为可调参数。

步骤32，观测方程建立：将步骤2采集的室内定位数据作为观测量，建立如下所示的观测方程：

上式中，向量为k时刻室内定位数据的后验估计，C为观测矩阵，优选取单位矩阵表示UWB室内定位系统的输入坐标数据；r_k为观测噪声矩阵，由实验测得，为可调参数。

步骤33，计算融合位移：通过步骤31建立的状态方程与步骤32建立的观测方程进行求解，获得融合位移。

所述步骤4中，位移纠偏时，为使步骤3中获取的融合位移与原有骨骼姿态相匹配，以人体是否有着地点为依据进行判断；在人体有着地的情况下，以着地点为原点计算全身各骨骼位置；如果纠偏过程中没有新的着地点产生，则保持原点不变；如果纠偏过程中产生新的着地点，原点变为当前时刻的融合位移。

所述步骤4中，在人体有着地的情况下，以着地点为原点，采用位姿矩阵来计算全身各骨骼位置；其中，位姿矩阵T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩阵，n表示法线矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋转矩阵，P表示位置矩阵，O表示透视矩阵，I表示比例变换；x,y,z表示三个坐标轴方向。

所述步骤5，将初步输出位移进行卡尔曼滤波时，卡尔曼滤波状态方程为：

上式中，为k时刻初步输出位移的状态量；为的一阶导数；为状态矩阵；t_s表示动作捕捉传感器的采样频率，为固定参数；为k-1时刻初步输出位移的状态量；

卡尔曼滤波观测方程：

上式中，为初步输出位移的后验估计，为的一阶导数；C为观测矩阵，取 为观测量。

本发明采用上述方法后，具有如下有益效果：

1.通过UWB室内定位系统的实时精确位移坐标对虚拟现实综合系统中动作捕捉传感器的位移进行实时纠偏，使系统具有准确的姿态和位移数据输出。

2.通过姿态解算，在姿态关键帧(也即以着地点判定对应的帧)对位移进行纠正，保持了姿态的连贯性。

2.初步输出位移经过了卡尔曼滤波，故使最终输出位移无闪跳点、平滑。

附图说明

图1显示了本发明一种基于动作捕捉的虚拟现实综合系统的示意图。

图2显示了本发明一种融合室内定位数据与动作捕捉数据的方法的示意图。

具体实施方式

下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。

如图1所示，一种基于动作捕捉的虚拟现实综合系统，包括惯性动作捕捉装置、室内定位装置、虚拟现实装置、数据手套装置、电子仿真枪装置和背负式计算机装置。惯性动作捕捉装置、室内定位装置、虚拟现实装置、数据手套装置和电子仿真枪装置均与背负式计算机装置无线连接。无线连接通讯方式包括但不限于蓝牙、Zegibee、WIFI、2.4Ghz通讯。

惯性动作捕捉装置包括若干个均能固定在人体上的动作捕捉模块。动作捕捉模块的个数可以根据情况，任意选择，可以为3个、6个、9个、11个、15个、或17个等。

当动作捕捉模块的个数为3个时，3个动作捕捉模块分别通过绑带或者专用动捕服装固定在用户的三个不同部位，三个不同部位优选为：1.头部、躯干以及臀部；2.头部、双上臂(左上臂及右上臂)之一，以及双前臂(左前臂以及右前臂)之一。

当动作捕捉模块的个数为6个时，6个运动捕捉模块优选分别通过绑带或者专业动作捕捉服装固定在头部、躯干、臀部、双大腿、双小腿、双脚(左脚以及右脚)、双上臂之一以及双前臂之一，或者分别固定在头部、躯干、臀部、双上臂之一、双前臂之一以及双手(左手及右手)之一。

当动作捕捉模块的个数为9个时，9个动作捕捉模块优选分别通过绑带或者专业动作捕捉服装固定在头部、躯干、臀部、双大腿、双小腿、双上臂之一以及双前臂之一，或者分别固定在头部、躯干、臀部、双大腿、双小腿、双上臂以及双前臂。

当动作捕捉模块的个数为11个时，11个动作捕捉模块优选通过绑带或者专业动作捕捉服装固定在头部、躯干、臀部、双大腿、双小腿、双脚之一、双上臂之一及双前臂之一，或者分别固定在头部、躯干、臀部、双大腿、双小腿、双上臂以及双前臂。

当动作捕捉模块的个数为15个时，优选分别固定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂以及双手。

当动作捕捉模块的个数为17个时，优选分别固定在头部、躯干、臀部、双大腿、双小腿、双脚、双上臂、双前臂、双手及双肩。

每个上述动作捕捉模块均包括动作捕捉传感器。

动作捕捉传感器包括三轴MEMS加速度传感器、三轴MEMS角速度传感器(又称为陀螺仪传感器)、三轴MEMS磁力计(又叫电子罗盘传感器)、数据滤波传感器和微处理器。

三轴MEMS加速度传感器、三轴MEMS角速度传感器和三轴MEMS磁力计分别用于测量加速度信号、角速度信号和地磁信号。

三轴MEMS加速度传感器、三轴MEMS角速度传感器和三轴MEMS磁力计均与数据滤波传感器相连接，数据滤波传感器还与微处理器相连接。

数据滤波传感器能将三轴MEMS加速度传感器、三轴MEMS角速度传感器和三轴MEMS磁力计所检测的数据进行初级滤波后传送给微处理器，每个微处理器中均内置有卡尔曼滤波器二。

微处理器包括但不限于MCU、DSP或者FPGA，型号优选为NXP-LPC13xx。微处理器NXP-LPC13xx与三轴MEMS加速度传感器、三轴MEMS角速度传感器和三轴MEMS磁力计分别通过SPI(串行外围设备接口)、IIC(两线式串行总线)、USART(串口)等通讯方式相通讯。

动作捕捉传感器能采集人体接触部位的骨骼姿态数据，并对采集的骨骼姿态数据进行位移纠偏。

动作捕捉传感器的工作过程如下：

三轴MEMS加速度传感器、三轴MEMS角速度传感器和三轴MEMS磁力计分别对人体接触部位的加速度、角速度和地磁场强度进行采集。

数据滤波传感器将采集的加速度、角速度和地磁场强度数据进行初级滤波处理，然后将处于正常范围内的加速度、角速度和地磁场强度信号数据传输给微处理器。

微处理器NXP-LPC13xx接收到加速度信号、角速度信号以及地磁强度信号，生成四元数或者欧拉角，微处理器中内置的卡尔曼滤波器采用卡尔曼滤波算法将接收到的加速度、角速度和地磁场强度数据进行深层次滤波与融合，并处理成用户身体姿态信息。

深层次滤波与融合的同时，微处理器还分析地磁传感器的各种误差来源，并建立完整形式的地磁传感器椭球误差模型，通过最小二乘估计法拟合得到椭球模型系数，利用椭球模型系数推导出地磁传感器误差矩阵和偏移矢量，最后对地磁传感器磁环境下输出的骨骼姿态数据进行位移纠偏与校正。

最后，微处理器将骨骼姿态数据进行纠偏与校正后的用户身体姿态信息(包括方位信息、欧拉角、四元数信息等)通过无线或者有线的方式传递给背负式计算机装置。

上述卡尔曼滤波算法是一种递归自回归数据处理算法，为一种较为成熟的现有技术，通过5个常用公式实现。卡尔曼滤波算法通过反馈控制的方法估算过程状态，对每次输出的状态结果进行循环修正，直至得到最优的状态过程数据。卡尔曼滤波算法可分成两个循环过程：时间更新和测量更新过程，前者负责及时向前推算当前状态变量和误差协方差的估算值以构造下一个时间状态的先验估计；后者将先验估计和测量变量结合以构造改进的后验估计；时间更新过程可视为预估过程，测量更新过程可视为校正过程，整个估计算法实质上是一种数值解的预估—校正算法。

通过上述卡尔曼滤波算法和数据过程处理，可以在一定范围的铁质、弱磁场环境中使用，当手机等带弱磁场的物体靠近传感器时，不影响地磁传感器的信号采集，姿态数据可以正常使用。

本发明的动作捕捉模块体积小、重量轻、续航能力强，绑定在人身上的时候不影响人体运动，采样频率高，对复杂、高速运动的进行采集；动作捕捉模块配置灵活，可以对局部动作，全身的运动进行捕捉；动作捕捉不受场地限制，捕捉效果不受真实环境中的物体遮挡影响；运动捕捉系统的成本相对较低。

数据手套装置包括手套本体和设置在手套本体中的若干个手关节姿态传感器。

手关节姿态传感器的个数，能根据情况任意选择，可以为6个，10个或15个等。

在一实施例中，关节传感器的个数为6个，分别通过手套固定在手背上1个，5个手指各一个。

在一实施例中，关节传感器的个数为10个，分别通过手套固定在手背上1个，大拇指1个，其余四个手指分别固定2个传感器。

在一实施例中，关节传感器的个数为15个，分别通过手套固定在手背上1个，大拇指2个，其余四个手指分别固定3个传感器。

手关节姿态传感器也包括三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计、数据滤波传感器和微处理器。手关节姿态传感器中各组成部件与动作捕捉传感器相同，组成部件之间的连接关系和工作过程也基本相似，这里将不再详细阐述。

电子仿真枪装置均包括电子仿真枪、均内置在电子仿真枪中的电子仿真枪数据采集传感器、无线通讯模块和电源等。

电子仿真枪的个数根据用户数量，可以设置为1个，2个或3个等，一个用户佩戴一个电子仿真枪，在空旷空间内模拟枪的换弹、上膛、射击等动作。

电子仿真枪优选按照真实枪械1:1比例制作，外形、重量、操作方式完全按照实装设计，体验度高。

电子仿真枪数据采集传感器包括电子枪姿态传感器和电子枪操作传感器。

上述电子枪操作传感器为射击传感器、弹夹传感器、上膛传感器和保险等中的一种或多种的组合。

电子枪姿态传感器也包括三轴MEMS加速度传感器、三轴MEMS角速度传感器、三轴MEMS磁力计、数据滤波传感器和微处理器。电子枪姿态传感器中各组成部件与动作捕捉传感器相同，组成部件之间的连接关系和工作过程也基本相似，这里将不再详细阐述。

但是，电子枪姿态传感器中的微处理器还与电子枪操作传感器相连接。

通过电子枪姿态传感器测量加速度、角速度、地磁场强度，通过电子枪操作传感器采集枪的状态，将数据输入到微处理器中进行处理，输出各节点的四元数或者欧拉角，通过数据解析还原算法，信号数据通过有线或者无线的方式传送至背负式计算机，计算机通过数据接口连接至虚拟现实装置中，实时还原状态。

用户手持、背带持电子仿真枪，通过操作扳机、上膛或弹夹等模拟实装枪的上膛、换弹、射击等操作。射击传感器、弹夹传感器、上膛传感器和保险等能实时检测射击、换弹、上膛、保险等操作状态，并将操作状态数据传输给微处理器，微处理器通过无线发送至背负式计算机装置中，进行数据处理，在虚拟现实装置中映射出虚拟世界中的枪的状态。

上述虚拟现实装置包括VR佩戴装置和环境反馈器件。

其中，VR佩戴装置为VR头盔或VR眼镜等。

环境反馈器件为音效系统、可控跑步机、电极刺激贴片和力反馈上衣/鞋子等中的一种或多种的组合。其中，音效系统为用于将音频信号反馈到人耳的音响；力反馈上衣/鞋子通过一定的驱动器产生一定的作用施加到人体的某些部位，也即用于将力反馈信号反馈到人体；电极刺激贴片是电极贴片，把电极贴片贴到皮肤上，然后在电机贴片之间施加电压，则会对两个电极贴片之间的神经或者肌肉产生刺激作用，也即用于将触觉信号反馈到人体。

环境反馈器件佩戴于目标用户身上，通过绑带或者头盔模式佩戴固定，优选通过无线连接至背负式计算机装置，生成一个针对用户的3D虚拟环境以及虚拟角色，并把接收到的位置信息、身体姿态信息、手指姿态信息、电子仿真枪状态信息映射到虚拟角色和环境中，同时根据虚拟角色与环境相互作用，把对应的视频、音频信号通过不同的信号接口发送给虚拟现实眼镜装置的视频、音频、压力等装置。

室内定位装置为UWB室内定位系统。UWB室内定位系统为现有技术，具体见申请人之前申报的申请号为CN201520817538.1的专利。

UWB室内定位系统包括若干个定位锚节点、若干个移动标签、同步器和服务器；定位锚节点布固定设置在室内，移动标签佩戴在每个目标用户上，移动标签与定位锚节点之间通过UWB进行数据传输；同步器与各定位锚点之间进行校时通信，实现各定位锚点之间的时间同步；服务器设置有无限访问节点，各定位锚节点通过无线访问节点与服务器间进行数据传输。

具体实施时，可以根据具体的场地面积，布置多个定位锚节点，用户佩戴移动标签。移动标签的个数可以为1个，2个或3个等，优选通过绑带或者专业绑定服装绑定在用户的头部、胸部、腕部等部位，在定位锚节点布置的场地中行走，活动。

本专利利用UWB技术时间目标用户在室内环境中的动态精度定位，系统功耗低，复杂度低的系统设计更易于操作，无需布线，提高应用效率，装置输出目标用户的位置信息。

上述UWB室内定位系统的定位特点是长时间使用不会产生累积误差。但是，其本身有一定的定位误差范围，其误差范围是±20cm，在实时使用过程中属于小范围定位，位移不够平滑，不能直接用于动作捕捉姿态中位移数据的替换，而且直接替换会产生姿态与位移不匹配的情况。

正如背景技术中所述，本发明中所涉及的三轴MEMS角速度传感器，也即陀螺仪，在对角速度进行时间积分时，虽然采用了数据滤波传感器进行初步滤波，以及微处理器中卡尔曼滤波器一进行了深层次滤波，然而，积分的累积误差仍会随时间推移而逐渐增加，测量的运动姿态数据与实际的数据仍有一定偏差。

本发明采用如下方法进一步克服了测量的运动姿态数据与实际的数据的偏差问题。

1.姿态重组：

上述UWB室内定位系统以及背负式计算机装置中卡尔曼滤波器二的使用，卡尔曼滤波器二能将UWB室内定位系统中的定位数据与惯性动作捕捉传感器(包括手关节姿态传感器及电子枪姿态传感器)等测量的姿态数据进行融合，也即将绝对坐标位置与动捕中的坐标相融合，纠正动作捕捉装置中陀螺仪积分的累积误差，从而给用户一个更加真实的位置效果。

一种融合室内定位数据与动作捕捉数据的方法，包括如下步骤：

步骤1，动作捕捉数据采集：通过虚拟现实综合系统中的动作捕捉传感器获得人体的动作捕捉数据；虚拟现实综合系统中设置有惯性动作捕捉装置，惯性动作捕捉装置包括若干个均能固定在人体上的动作捕捉传感器，动作捕捉传感器将能自动捕捉与采集人体接触部位的动作数据，也即骨骼姿态数据。

步骤2，室内定位数据采集：通过UWB室内定位系统获得室内定位数据。

步骤3，获取融合位移：采用卡尔曼滤波算法将步骤1采集的动作捕捉数据与步骤2采集的室内定位数据进行融合，获得融合位移。

假设骤1采集的动作捕捉数据中的坐标数据与步骤2采集的室内定位数据均是一个二维坐标点(x，y)的集合，其中，x和y分别表示该点的横纵坐标，则融合位移的具体获取方法包括如下步骤：

步骤31，状态方程建立：将步骤1采集的动作捕捉数据的位移增量作为状态量，建立如下所示的状态方程：

上式中，向量为k时刻动作捕捉数据的先验估计，A取单位矩阵为k-1时刻动作捕捉数据的后验估计，为步骤1采集的动作捕捉数据的位移增量，w_k为过程噪声的协方差矩阵，由实验测得，为可调参数，其优选矩阵为矩阵参数范围0～500。

步骤32，观测方程建立：将步骤2采集的室内定位数据作为观测量，建立如下所示的观测方程：

上式中，向量为k时刻室内定位数据的后验估计，C为观测矩阵，优选取单位矩阵表示UWB室内定位系统的输入坐标数据；r_k为观测噪声矩阵，由实验测得，为可调参数，优选矩阵为矩阵参数范围0～100。

步骤33，计算融合位移：通过步骤31建立的状态方程与步骤32建立的观测方程进行求解，获得融合位移。

步骤4，位移纠偏：解析虚拟现实综合系统中各个动作捕捉传感器所捕捉的各个骨骼姿态数据，计算各个骨骼相对位移坐标；根据步骤3获取的融合位移与骨骼相对位移坐标对虚拟现实综合系统中各个动作捕捉传感器进行位移纠偏，形成姿态重组位移。

位移纠偏时，为使步骤3中获取的融合位移与原有骨骼姿态相匹配，以人体是否有着地点为依据进行判断；在人体有着地的情况下，以着地点为原点计算全身各骨骼位置；如果纠偏过程中没有新的着地点产生，则保持原点不变；如果纠偏过程中产生新的着地点，原点变为当前时刻的融合位移。

在人体有着地的情况下，以着地点为原点，采用位姿矩阵来计算全身各骨骼位置；其中，位姿矩阵T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩阵，n表示法线矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋转矩阵，P表示位置矩阵，O表示透视矩阵，I表示比例变换；x,y,z表示三个坐标轴方向。

上述R表示的旋转矩阵由动作捕捉传感器的姿态数据得出。

动作捕捉传感器姿态数据为四元数：q＝(w，x，y，z)

四元数与旋转矩阵的转换公式为：

P表示的位置矩阵初始为后可通过位姿矩阵T与骨骼参数矩阵(例如右大腿骨骼参数矩阵骨骼参数矩阵为固定参数)相乘后得出。

O矩阵与I矩阵为固定参数矩阵。

步骤5，形成最终输出位移：步骤3获取的融合位移与步骤4形成的姿态重组位移构成初步输出位移，将该初步输出位移进行卡尔曼滤波，去除位移纠偏过程中产生的闪跳点，形成平滑的各个动作捕捉传感器的最终输出位移。

将初步输出位移进行卡尔曼滤波时，卡尔曼滤波状态方程为：

上式中，为k时刻初步输出位移的状态量；为的一阶导数；为状态矩阵；t_s表示动作捕捉传感器的采样频率，为固定参数；为k-1时刻初步输出位移的状态量。

卡尔曼滤波观测方程：

上式中，为初步输出位移的后验估计，为的一阶导数；C为观测矩阵，取 为观测量。

本系统解析动作捕捉系统的各个骨骼姿态数据(包括动作捕捉传感器、手关节姿态传感器及电子枪姿态传感器采集数据)，计算各个骨骼相对位移坐标。通过融合室内定位移与骨骼相对坐标对动捕系统进行位移纠偏。

2.输出滤波：

输出的位移由姿态重组的位移与卡尔曼融合的位移组成，由于姿态重组的位移与卡尔曼融合的位移存在偏差(两套不相干系统必然存在偏差)，所以在着地点产生时，卡尔曼融合位移替换新原点时就会产生一个闪跳点。闪跳点的存在会使最终的效果出现人物闪跳的现象，要消除或者进行平滑处理。输出的卡尔曼滤波就是对闪跳点的平滑处理。

背负式计算机装置包括计算机装置、绑带、背包、加固带、减震装置和缓冲装置等。

计算机装置包括：计算机主机、标准视频接口、标准音频接口、标准USB3.0接口、无线通讯模块、电池供电系统、电源供电系统、充电系统以及电压转换电路。

背负式计算机装置中内置有卡尔曼滤波器一和仿真软件系统。背负式计算机优选通过无线与上述所有微处理器相连接。

仿真软件系统为一个成熟的软件系统，能直接购买使用，本申请不再详细阐述。

背负式计算机装置优选通过无线连接上述惯性动作捕捉装置、室内定位装置、虚拟现实眼镜装置、数据手套装置、电子仿真枪装置，将上述各装置的信号输入至背负式计算机装置，卡尔曼滤波器一采用具有递归自回归滤波功能的数据融合算法，将动作捕捉的姿态输出数据与定位的输出数据进行融合，姿态还原算法，将上述装置中的惯性动作捕捉装置、室内定位装置、数据手套装置、电子仿真枪装置的各种信号在背负式计算机装置中生成一个对于用户的3D虚拟环境以及虚拟角色，在虚拟现实装置做反馈、显示、实现。3D虚拟环境包括一个虚拟场景，一个或者多用户对应的角色以及一系列的虚拟对象。三者之间可以进行互动，会产生一个与现实世界一样的效果，这效果符合客观规律。

本系统采用惯性传感器技术，将惯性传感器模块佩戴在身体上，来实时捕捉人体动作姿态数据，并通过无线通信技术将姿态数据上传至上位机中，实时还原人体姿态，同时集合背负式计算机技术、虚拟现实眼镜技术、室内定位技术、电子仿真枪技术、数据手套技术、人体工程学技术、数据融合技术、地磁抗干扰技术融合一个虚拟现实系统，该系统能最大限度的实时还原人体姿态，加强虚拟现实效果。

下面结合具体的例子详细说明本发明虚拟综合系统。

假设本实施例中用户在虚拟环境中进行单兵作战训练、或者单兵战术协同作战。用户全身绑定17个动作捕捉模块，绑定位置为头部、胸部、臀部、双肩、双大臂、双小臂、双手、双大腿、双小腿、双脚。UWB室内定位系统的移动标签佩戴于战术头盔上；双手佩戴数据手套装置；手持电子仿真枪，头上佩戴装有翻斗VR眼镜的战术头盔。

每个动作捕捉模块、手关节姿态传感器和电子枪姿态传感器，均通过对角速度的积分得到各个模块节点传感器的方位信息，同时通过地磁以及重力加速的测量，得到模块对于重力方向以及地磁方向的方位。各个模块传感器把加速度、角速度、地磁信息传至微处理器，微处理器对加速度进行二次积分得到各部位的位移信息，并根据生物力学约束以及外界的接触结束判定，对各个模块进行积分误差进行修正。微处理器通过有线或者无线方式，将各个模块传感器的加速度、角速度、地磁信息、位移信息、方位信息等信息通过无线或者有线方式传至背负式计算机中。

UWB室内定位系统的移动标签佩戴于用户的战术头盔处，用户在布设完定位锚节点、同步器的场所内移动。佩戴于人体上的移动标签和定位锚节点之间基于UWB进行数据传输，同步器与各锚点之间进行校时通信，各锚点通过无线访问节点与服务器间进行数据传输。服务器通过计算标签与各个锚节点之间的时间差，通过室内定位算法，输出移动标签在该空间位置中的绝对坐标。服务器通过有线或者无线的方式，将移动标签的位置信息发送至背负式计算机装置。

虚拟现实装置包括头盔式翻斗VR眼镜、音响系统和用户身上的多个电极贴片。穿戴头盔式翻斗VR眼镜可以显示三维虚拟空间画面；音响系统反馈虚拟环境中的各种声音，电极贴片反馈虚拟环境对用户的各种刺激。该虚拟现实装置由背负式计算机装置对收集到的惯性动作捕捉装置、室内定位装置、数据手套装置、电子仿真枪装置的各种信息，经过算法融合惯性动捕与室内定位信息、数据手套信息、电子仿真枪信息，通过仿真软件输出信号与虚拟现实装置，驱动头盔式翻斗VR眼镜、音响系统、电极贴片作用于用户，产生一个深度沉浸感、逼真的虚拟环境。

背负式计算机运行仿真软件，虚拟现实装置会产生一个作用于用户的三维虚拟空间，三维虚拟空间会有一些现实世界中不存在物体或者小概率发生的事件。比如，单兵模拟训练中遇到的特殊军情，突发武装冲突时的战术配合，从而完成对平息冲突的任务。在虚拟环境中，用户可以用手中的电子仿真枪对虚拟环境中的武装人员进行射击、制服等操作，虚拟中的角色也可以对用户进行攻击或者其他用户对该用户的攻击伤害。面对虚拟环境中的武装人员，用户可以进行躲闪、奔跑、跳跃、匍匐、跪姿等动作，同时可以用手中的电子仿真枪对虚拟的武装分子进行消灭、平息。多用户之间可以数据手套将进行手语、战术动作的操作、交流，也可以通过语音系统方式进行交流通信。若用户被其他用户、虚拟环境中的武装分子集中，虚拟现实装置中的电极贴片会在相对部位上产生于攻击强度相对应的刺激信号，使用户产生真的被击中的感觉。

根据上述例子，结合现有的技术，阐述一下本法的基于动作捕捉的虚拟现实综合系统与普通的3D扮演类游戏的相同点与不同点。

相同点：两者都是用户操纵虚拟角色在一个虚拟3D世界环境中进行一定的活动与体验。不同点：本发明是操纵沉浸式的3D虚拟现实软件，依靠用户的四肢动作、手指动作、模拟仿真枪动作以及语言来对虚拟角色进行控制，就如通用现实世界的人对自身操作一样，而普通的3D扮演类游戏用鼠标键盘对角色进行控制；同时，普通3D角色扮演类游戏智能看到显示器上的一个平面图像，而且只能看到自己扮演的角色与环境中的作用，却不能用其他的感官去体验游戏中角色与周围环境的互动，在采用了本发明的虚拟现实综合系统时，则可以根据虚拟环境中角色的变化，提供相应的3D虚拟环境的三维视镜，提高真实感，让用户感觉身临其境一般，同时，通过环境反馈器件，用户能够通过身体的其他部位体验到虚拟环境与现实角色的交互。

综上所述，本发明的动作捕捉模块、手关节姿态传感器、电子枪姿态传感器体积小、重量轻、佩戴方便，绑定到人身上时不影响运动，采样速度高，可以对复杂、高速运动新型采样；佩戴灵活，可以根据现实需求选择合适的佩戴组合方式；动作捕捉不受场地限制，动作捕捉效果不受真实物体遮挡影响；动作捕捉的成本相对较低。室内定位装置，能实时的捕捉定位多名用户在部署定位装置的空间内的实时位置，输出用户的绝对坐标；室内定位装置，采用UWB定位技术，采样频率高，可以对用户实时位置定位，快速定位用户的快速动作；佩戴灵活，标签可以佩戴于头部、胸部、腕部，可根据具体需求进行佩戴；部署简便，只需要在需要定位的空间内，部署若干锚节点、同步器以及少量辅助电源等设备，就可以完成定位部署；定位不受环境，光纤影响，亦可以在室外空旷场地进行部署定位，不受光线影响；UWB室内定位成本相对要低。数据手套佩戴方便，模块小巧，只需要穿上专用的数据手套载具，连接上背负式计算机就可以工作，使用方便；配置灵活，可以根据具体的需求对不同的关节进行配置，以最适合的配置方式完成虚拟体验；不受光线环境的影响，可以在阳光直射下进行虚拟体验；采样频率高，可以对复杂、快速动进行捕捉采样。

另外，电子仿真枪、虚拟现实眼镜、背负式计算机技术，解决了佩戴式，姿态、游戏状态实时还原问题，提高用户体验度。数据手套技术，虚拟现实眼镜、背负式计算机技术，解决了佩戴式四肢、手指实时还原显示问题，提供用户体验度。数据融合、地磁抗干扰技术，降低复杂磁场环境对于电子罗盘传感器的干扰，提高了体统环境适应度和用户体验度。

本发明因为能够实时把现实世界的人体动作姿态以及外设的手持道具的状态引入到虚拟现实，并映射与相应的角色上，并且通过恰当的方式，实时地把虚拟环境对角色的作用反馈到现实世界人的感知上，因而大大提高了虚拟现实的沉浸感，同时增加了角色与虚拟环境的交互性，使用户的体验更加真切、真实。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (5)

1.一种融合室内定位数据与动作捕捉数据的方法，其特征在于：包括如下步骤：

步骤1，动作捕捉数据采集：通过虚拟现实综合系统中的动作捕捉传感器获得人体的动作捕捉数据；虚拟现实综合系统中设置有惯性动作捕捉装置，惯性动作捕捉装置包括若干个均能固定在人体上的动作捕捉传感器，动作捕捉传感器将能自动捕捉与采集人体接触部位的动作数据，也即骨骼姿态数据；

步骤2，室内定位数据采集：通过UWB室内定位系统获得室内定位数据；

步骤3，获取融合位移：采用卡尔曼滤波算法将步骤1采集的动作捕捉数据与步骤2采集的室内定位数据进行融合，获得融合位移；

步骤4，位移纠偏：解析虚拟现实综合系统中各个动作捕捉传感器所捕捉的各个骨骼姿态数据，计算各个骨骼相对位移坐标；根据步骤3获取的融合位移与骨骼相对位移坐标对虚拟现实综合系统中各个动作捕捉传感器进行位移纠偏，形成姿态重组位移；

步骤5，形成最终输出位移：步骤3获取的融合位移与步骤4形成的姿态重组位移构成初步输出位移，将该初步输出位移进行卡尔曼滤波，去除位移纠偏过程中产生的闪跳点，形成平滑的各个动作捕捉传感器的最终输出位移。

2.根据权利要求1所述的融合室内定位数据与动作捕捉数据的方法，其特征在于：所述步骤3中，假设骤1采集的动作捕捉数据中的坐标数据与步骤2采集的室内定位数据均是一个二维坐标点(x，y)的集合，其中，x和y分别表示该点的横纵坐标，则融合位移的具体获取方法包括如下步骤：

步骤31，状态方程建立：将步骤1采集的动作捕捉数据的位移增量作为状态量，建立如下所示的状态方程：

$\left[\begin{array}{c}{\stackrel{\‾}{x}}_{k,k-1}\\ {\stackrel{\‾}{y}}_{k,k-1}\end{array}\right]=A*\left[\begin{array}{c}{\stackrel{\‾}{x}}_{k-1,k-1}\\ {\stackrel{\‾}{y}}_{k-1,k-1}\end{array}\right]+\left[\begin{array}{c}{\mathrm{\σx}}_k\\ {\mathrm{\σy}}_k\end{array}\right]+w_k$

上式中，向量为k时刻动作捕捉数据的先验估计，A取单位矩阵为k-1时刻动作捕捉数据的后验估计，为步骤1采集的动作捕捉数据的位移增量，w_k为过程噪声的协方差矩阵，由实验测得，为可调参数；

步骤32，观测方程建立：将步骤2采集的室内定位数据作为观测量，建立如下所示的观测方程：

$\left[\begin{array}{c}{\hat{x}}_k\\ {\hat{y}}_k\end{array}\right]=C*\left[\begin{array}{c}{x}_k\\ y_k\end{array}\right]+r_k$

上式中，向量为k时刻室内定位数据的后验估计；C为观测矩阵；表示UWB室内定位系统的输入坐标数据；r_k为观测噪声矩阵，由实验测得，为可调参数；

步骤33，计算融合位移：通过步骤31建立的状态方程与步骤32建立的观测方程进行求解，获得融合位移。

3.根据权利要求1所述的融合室内定位数据与动作捕捉数据的方法，其特征在于：所述步骤4中，位移纠偏时，为使步骤3中获取的融合位移与原有骨骼姿态相匹配，以人体是否有着地点为依据进行判断；在人体有着地的情况下，以着地点为原点计算全身各骨骼位置；如果纠偏过程中没有新的着地点产生，则保持原点不变；如果纠偏过程中产生新的着地点，原点变为当前时刻的融合位移。

4.根据权利要求3所述的融合室内定位数据与动作捕捉数据的方法，其特征在于：所述步骤4中，在人体有着地的情况下，以着地点为原点，采用位姿矩阵来计算全身各骨骼位置；其中，位姿矩阵T表示如下：

$T=\left[\begin{array}{cccc}{n}_x& o_x& a_x& p_x\\ n_y& o_y& a_y& p_y\\ n_z& o_z& a_z& p_z\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cc}R& P\\ O& I\end{array}\right]$

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩阵，n表示法线矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋转矩阵，P表示位置矩阵，O表示透视矩阵，I表示比例变换；x,y,z表示三个坐标轴方向。

5.根据权利要求1所述的融合室内定位数据与动作捕捉数据的方法，其特征在于：所述步骤5，将初步输出位移进行卡尔曼滤波时，卡尔曼滤波状态方程为：

$\left[\begin{array}{c}\stackrel{\‾}{x_k}\\ \stackrel{\‾}{{\stackrel{\·}{x}}_k}\\ \stackrel{\‾}{y_k}\\ \stackrel{\‾}{{\stackrel{\·}{y}}_k}\end{array}\right]=\left[\begin{array}{cccc}1& t_s& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& t_s\\ 0& 0& 0& 1\end{array}\right]*\left[\begin{array}{c}\stackrel{\‾}{x_{k-1}}\\ \stackrel{\‾}{{\stackrel{\·}{x}}_{k-1}}\\ \stackrel{\‾}{y_{k-1}}\\ \stackrel{\‾}{{\stackrel{\·}{y}}_{k-1}}\end{array}\right]$

上式中，为k时刻初步输出位移的状态量；为的一阶导数；为状态矩阵；t_s表示动作捕捉传感器的采样频率，为固定参数；为k-1时刻初步输出位移的状态量；

卡尔曼滤波观测方程：

$\left[\begin{array}{c}\widehat{x_k}\\ \widehat{{\stackrel{\·}{x}}_k}\\ \widehat{y_k}\\ \widehat{{\stackrel{\·}{y}}_k}\end{array}\right]=C*\left[\begin{array}{c}{x}_k\\ {\stackrel{\·}{x}}_k\\ y_k\\ {\stackrel{\·}{y}}_k\end{array}\right]$

上式中，为初步输出位移的后验估计，为的一阶导数；C为观测矩阵，取 为观测量。