CN110197576A - 一种大规模实时人体动作采集重构系统 - Google Patents

Abstract

本发明涉及一种大规模实时人体动作采集重构系统，包括多组节点传感器、集线器、数据接收器、处理器、动作重构模块、存储器、云端服务器，其中：每组节点传感器用于采集得到重力加速度、旋转速率以及磁力数据并向集线器传输数据；集线器将所收集的数据传输到数据接收器；数据接收器将接收的数据通过USB虚拟串口传输到处理器；处理器对传感器数据进行融合解算，传输到动作重构模块进行人体动作实时重构，同时对数据进行压缩，并将压缩后的数据保存到存储器以及上传到云端服务器。本发明提出的系统能够以较低廉的成本和较高的精度实现大规模人体动作采集，对采集过程进行实时监控，并实现人体运动数据实时高效存储和传输。

Description

一种大规模实时人体动作采集重构系统

技术领域

本发明涉及一种人体动作采集和重构系统，特别涉及一种大规模实时人体动作采集重构系统。

背景技术

随着信息技术的高速发展，人们对使用数据驱动的动画技术、仿真技术进行了广泛的探索与研究。这些技术主要是通过穿戴运动捕捉设备来实现人体运动数据的实时数据采集，同时使用相对比较成熟的运动重构技术对采集的人体运动数据进行三维重现。

随着对人体动作数据研究的深入，人们开始构建人体标准运动库，并使用人体运动库中的数据精确描述、测量和评估人体运动。由于人体运动库涉及的种类多、数据规模大，在构建人体运动库的时候，往往需要使用多套动作捕捉设备同时测量，对大量人体动作数据进行实时传输，并通过动作重构系统对采集的人体动作进行实时监督。由于数据规模大，采集的人体动作数据往往需要上传云端进行统一的数据管理。现有技术中未见到有针对大规模实时人体动作采集重构设计的系统。市场上现有的动作捕捉设备一般都是针对单人来进行人体运动采集，成本高，而且没有考虑人体数据的传输效率。

发明内容

本发明的目的在于针对现有技术的不足，提供一种大规模实时人体动作采集重构系统，能够以较低廉的成本和较高的精度实现大规模人体动作采集，能够对采集过程进行实时监控，并实现人体运动数据实时高效存储和传输。

为达到上述目的，本发明提供了一种大规模实时人体动作采集重构系统，包括节点传感器、集线器、数据接收器、处理器、动作重构模块、存储器、云端服务器，其中：

节点传感器按照使用人员进行分组，每组节点传感器数量至少为17个，每个节点传感器内部包含有一个9轴传感器，分别为3轴的加速度计、3轴的陀螺仪、以及3轴的磁力计，用于采集得到重力加速度、旋转速率以及磁力数据；传感器包含无线通信模块，通过无线通信模块向集线器传输数据；

集线器按照预先设定的频率，将所收集的数据通过TCP/IP方式传输到数据接收器；

数据接收器将接收的数据通过USB虚拟串口传输到处理器；

处理器对传感器数据进行融合解算，得到每个传感器每一帧的人体运动数据，传输到动作重构模块进行人体动作实时重构，同时对数据进行压缩，并将压缩后的数据保存到存储器以及上传到云端服务器；

云端服务器将接收的数据在云端进行持久化，或者使用接收的数据在云端进行实时人体动作重构。

优选地，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角；

(2)将旋转角表示成角度值或弧度值；

(3)将角度值或弧度值拆分为符号、整数部分、小数部分；

(4)将整数部分最大可能取值转换成二进制整数，位数为X位；

(5)根据系统允许的最大误差，确定小数部分二进制位数Y；

(6)对每个角度值或弧度值进行压缩，具体方法为：将每个角度值或弧度值的符号用1位二进制位表示，整数部分转换成二进制整数并用X位二进制位表示，小数部分转换成二进制小数并用Y位二进制位表示；

(7)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

优选地，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角，以角度值形式表示，将其拆分为符号、整数部分、小数部分；

(2)将符号用1位二进制位表示，整数部分转换成二进制整数并用8位二进制位表示，小数部分转换成二进制小数并用5位或6位二进制位表示，这样每个节点的旋转角就压缩为14位或15位的二进制位；

(3)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

优选的，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角，将角度值转换为弧度值，并将弧度值拆分为符号、整数部分、小数部分；

(2)将符号用1位二进制位表示，整数部分转换成二进制整数并用2位二进制位表示，小数部分转换成二进制小数并用11位二进制位表示，这样每个节点的旋转角就压缩为14位的二进制位；

(3)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

有益效果

本发明提出的大规模实时人体动作采集重构系统，能够以较低廉的成本和较高的精度实现大规模人体动作采集，能够对采集过程进行实时监控，并实现人体运动数据实时高效存储和传输。

附图说明

图1为本发明的大规模实时人体动作采集重构系统结构示意图；

图2为实施例1实现的大规模实时人体动作采集重构系统结构图；

图3为BVH文件头的文件结构；

图4为BVH文件数据段的文件结构；

图5为本发明提出的人体动作数据压缩方法流程图。

具体实施方式

下面结合附图，具体说明本发明的优选实施方式。

图1为本发明的大规模实时人体动作采集重构系统结构示意图。实施例1具体实现了本发明提出的一种大规模实时人体动作采集重构系统，如图2所示。该系统包括多组节点传感器、集线器、数据接收器、处理器、动作重构模块、存储器、云端服务器，其中：

为每个需要进行动作采集的人配置一组节点传感器，每组节点传感器数量为20个。每个节点传感器内部包含有一个9轴传感器，分别为3轴的加速度计、3轴的陀螺仪、以及3轴的磁力计，用于采集得到重力加速度、旋转速率以及磁力数据；每组节点传感器可以对一个人的动作进行实时采集。20个节点传感器中，有17个指定了具体的放置位置，3个用于扩展，节点传感器放置的位置如表1所示：

表1传感器位置对应表

每个传感器包含2.4G无线通信模块，毎20ms向集线器(HUB)传输一次传感器数据。

集线器收集节点传感器上传的数据，对数据进行时间同步，并按照预先设定的频率，将所收集的数据通过TCP/IP方式传输到数据接收器(Receiver)；在本实施例中，设定的频率为毎200ms传输一次数据，即毎收集10帧运动数据进行一次传输。在本实施例中，集线器和数据接收器之间通过WIFI进行连接。

数据接收器将接收的数据通过USB虚拟串口传输到处理器。在本实施例中，处理器为一台高性能PC机。处理器与数据接收器通过USB传输协议实现稳定、高效的数据传输。

处理器对传感器数据进行融合解算，得到每个骨骼节点每一帧的人体运动数据，传输到动作重构模块进行人体动作实时重构，同时对数据进行压缩，并将压缩后的数据保存到存储器以及上传到云端服务器。动作重构模块可以实现对采集过程的实时监督。本实施例中动作重构模块运行于一台高性能服务器。

云端服务器将接收的数据在云端进行持久化，实现云端的统一数据管理或者使用接收的数据在云端进行实时人体动作重构。

本实施例应用于大规模实时人体动作采集、存储与重现，因此数据需要压缩，以节省存储空间，提高网络传输效率。传统的运动捕捉设备采集人体运动数据时，通常会将原始运动数据存储为BVH文件，其遵循的思想为基于父子节点关系的数据转换。由于BVH文件存在父子节点关系，因此文件通常可划分为两个部分，其一为存储人体骨骼层次结构的文件头，如图3所示，通常以HIERARCHY为文件起始标识、以ROOT为人体骨骼层次结构的起始点的标识，能够清晰的把人体骨骼层次结构所存在的内部联系通过简洁的形式呈现出来，也能够把人体骨骼节点所需要使用的数据种类及数据范围给标定好；其二为存储具体运动数据的数据段，如图4所示，通常以MOTION为数据段的起始标识、以Frames为包含多少运动序列的长度标识，能够将特有的人体骨骼层次结构与具体运动数据区分开来。

从图3和图4的示例中可知，该人体骨骼层次以Hips作为根节点，根节点需要使用的数据包含六个维度的信息，分别为世界坐标系下根节点的位移信息以及局部坐标系下旋转角信息。图4中的数据(-195.76，92.90，76.64)是根节点起始帧的位移信息，而数据(6.83，-1.04，91.45)是根节点起始帧的旋转角信息。除根节点数据以外，任意骨骼节点的数据都只由三个旋转角数据构成，具体为俯仰角、翻滚角、航偏角数据。

文件在存储的时候可以采取文本方式或者二进制方式。在人体运动数据采集过程中，通常需要存储的旋转角数据范围被限制在[-180,180]之间。假设BVH文件的存储精度为小数点后两位，如果使用文本方式存储，则存储一个旋转角信息所需要占用的空间大小至少为4字节，至多为7字节，如0.42和-180.00分别占据了4字节大小的硬盘空间及7字节大小的硬盘空间。同时为了能够非常方便的取得下一个旋转角的信息，通常还需要1字节大小的空格作为分隔符。因此，如果使用文本方式存储BVH文件，那么在一帧数据中存储一个骨骼节点的旋转角信息至少需要15字节的硬盘空间，至多需要24字节的硬盘空间。这还只是存储精度为小数点后两位的情况，如果精度更高，会相应占用更多存储空间。

比较而言，二进制方式更适合用于BVH文件的存储。如果采用二进制方式，每个旋转角信息可以存储为一个单精度浮点数。以被众多CPU处理器及浮点数运算器所采用的IEEE 754标准为例，一个单精度浮点数占用4个字节的存储空间，如表2所示：

表2单精度浮点数存储结构

采用二进制方式，每个旋转角使用4个字节存储，在一帧数据中存储一个骨骼节点的旋转角信息只需要12字节的存储空间，比起文本方式可以提高存储效率，同时比起文本方式也可以获得更高的精度。

由于人体运动数据采集数据规模很大，在需要对采集的动作进行监督时还需要将数据文件在网络上进行传输，所以本发明根据人体运动数据文件的数据特点，提出了一种人体运动数据文件压缩方法，如图5所示，包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角；

(2)将旋转角表示成角度值或弧度值；

(3)将角度值或弧度值拆分为符号、整数部分、小数部分；

(4)将整数部分最大可能取值转换成二进制整数，位数为X位；

(5)根据系统允许的最大误差，确定小数部分二进制位数Y；

(6)对每个角度值或弧度值进行压缩，具体方法为：将每个角度值或弧度值的符号用1位二进制位表示，整数部分转换成二进制整数并用X位二进制位表示，小数部分转换成二进制小数并用Y位二进制位表示；

(7)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

下面分别以角度值和弧度值为例，具体说明本发明的优选实施方式。

实施例1为以角度值形式实现的数据文件压缩方法。在BVH文件中，根节点数据包含三个位移数据和三个旋转角数据，除根节点数据以外，任意骨骼节点的数据都只由三个旋转角数据构成。因此，首先提取人体运动数据文件中每个节点的旋转角。在人体运动数据采集过程中，通常需要存储的旋转角数据范围被限制在[-180,180]之间。由于本实施例采取角度值形式，所以不需要对旋转角数据进行转换，可以直接将角度值拆分为符号、整数部分和小数部分。

抛开符号位来看，每个旋转角的整数部分的取值范围都处于[0,180]之间，那么8位的二进制数据足以完整表达。再对小数部分进行分析，由于市场上精度最高的惯性运动捕捉设备的骨骼传感器精度约为0.02度，因此可以据此确定保留的小数位数，也就是确定压缩后数据的精度，使得压缩后的数据与原始数据的误差接近0.02度。当二进制小数位保留至5位时，可以表示的数据精度为0.03125，当二进制小数位保留至6位时，可以表示的数据精度为0.015625。用户可以根据具体的应用需求确定需要保留5位还是6位，即可以满足人体运动数据的精度需求。

确定了整数位数和小数位数之后，就可以对每个角度值进行压缩，具体方法为：将每个角度值的符号用1位二进制位表示，整数部分转换成二进制整数并用8位二进制位表示，小数部分转换成二进制小数并用5位或6位二进制位表示。其具体存储结构如表3所示：

表3对角度值进行压缩的存储结构

对每个旋转角数据用以上方式进行压缩后，所有的旋转角数据都被转换成14位或15位的二进制数据。将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

采用上述压缩方法，一个旋转角需要保存的数据总共占了14或者15位的存储空间，一个骨骼节点所需要存储的数据占用42或者45位的存储空间。而采用通常单精度浮点数的形式进行存储，一个骨骼节点所需要存储的数据需要占用12字节即96位的存储空间。因此本发明所述方法可以极大的节省存储空间，提高存储的时间和空间效率，特别适用于大规模、长时间、实时采集人体运动数据的应用。

实施例2为以弧度值形式实现的数据文件压缩方法。在人体运动数据采集过程中，通常需要存储的旋转角数据范围被限制在[-180,180]之间。由于有的应用使用的是弧度值信息，所以需要将旋转角数据表示成弧度值，即将每个角度值转换为弧度值。[-180,180]的角度范围对应的弧度范围为[-3.1416,3.1416]。将弧度值拆分为符号、整数部分和小数部分。

抛开符号位来看，每个弧度值的整数部分使用2位的二进制数据足以完整表达。再对小数部分进行分析，由于市场上精度最高的惯性运动捕捉设备的骨骼传感器精度约为0.02度，因此可以据此确定保留的小数位数，也就是确定压缩后数据的精度，使得压缩后的数据与原始数据的误差接近0.02度。当二进制小数位保留至11位时，可以表示的数据精度为2^-11，这是对应的弧度值的误差，转化为角度值约为0.028。此时可以认为压缩后的旋转角数据基本能够将原始数据还原出来。

确定了整数位数和小数位数之后，就可以对每个弧度值进行压缩，具体方法为：将每个弧度值的符号用1位二进制位表示，整数部分转换成二进制整数并用2位二进制位表示，小数部分转换成二进制小数并用11位二进制位表示。其具体存储结构如表4所示：

表4对弧度值进行压缩的存储结构

对每个旋转角弧度值数据用以上方式进行压缩后，所有的旋转角数据都被转换成14位的二进制数据。将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

采用上述压缩方法，一个旋转角需要保存的数据总共占了14位的存储空间，一个骨骼节点所需要存储的数据占用42位的存储空间。而采用通常单精度浮点数的形式进行存储，一个骨骼节点所需要存储的数据需要占用12字节即96位的存储空间。因此本发明所述方法可以极大的节省存储空间，提高存储的时间和空间效率，特别适用于大规模、长时间、实时采集人体运动数据的应用场景。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入本发明权利要求所限定的范围之内。

Claims (4)

1.一种大规模实时人体动作采集重构系统，其特征在于，包括节点传感器、集线器、数据接收器、处理器、动作重构模块、存储器、云端服务器，其中：

节点传感器按照使用人员进行分组，每组节点传感器数量至少为17个，每个节点传感器内部包含有一个9轴传感器，分别为3轴的加速度计、3轴的陀螺仪、以及3轴的磁力计，用于采集得到重力加速度、旋转速率以及磁力数据；节点传感器包含无线通信模块，通过无线通信模块向集线器传输数据；

集线器收集节点传感器上传的数据，对数据进行时间同步，并按照预先设定的频率，将所收集的数据通过有线或无线连接以TCP/IP方式传输到数据接收器；

数据接收器将接收的数据通过USB虚拟串口传输到处理器；

处理器对传感器数据进行融合解算，得到每个传感器每一帧的人体运动数据，传输到动作重构模块进行人体动作实时重构，同时对数据进行压缩，并将压缩后的数据保存到存储器以及上传到云端服务器；

云端服务器将接收的数据在云端进行持久化，或者使用接收的数据在云端进行实时人体动作重构。

2.根据权利要求1所述的一种大规模实时人体动作采集重构系统，其特征在于，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角；

(2)将旋转角表示成角度值或弧度值；

(3)将角度值或弧度值拆分为符号、整数部分、小数部分；

(4)将整数部分最大可能取值转换成二进制整数，位数为X位；

(5)根据系统允许的最大误差，确定小数部分二进制位数Y；

(6)对每个角度值或弧度值进行压缩，具体方法为：将每个角度值或弧度值的符号用1位二进制位表示，整数部分转换成二进制整数并用X位二进制位表示，小数部分转换成二进制小数并用Y位二进制位表示；

(7)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

3.根据权利要求2所述的一种大规模实时人体动作采集重构系统，其特征在于，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角，以角度值形式表示，并将其拆分为符号、整数部分、小数部分；

(2)将符号用1位二进制位表示，整数部分转换成二进制整数并用8位二进制位表示，小数部分转换成二进制小数并用5位或6位二进制位表示，这样每个节点的旋转角就压缩为14位或15位的二进制位；

(3)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。

4.根据权利要求2所述的一种大规模实时人体动作采集重构系统，其特征在于，所述处理器对人体运动数据进行压缩的方法包括以下步骤：

(1)提取人体运动数据文件中每个节点的旋转角，将角度值转换为弧度值，并将弧度值拆分为符号、整数部分、小数部分；

(2)将符号用1位二进制位表示，整数部分转换成二进制整数并用2位二进制位表示，小数部分转换成二进制小数并用11位二进制位表示，这样每个节点的旋转角就压缩为14位的二进制位；

(3)将压缩后的数据以二进制形式持久化到存储设备或进行网络传输。