CN115482320A - 一种用于人体运动姿态捕捉的设备及方法 - Google Patents

Abstract

本发明涉及一种用于人体运动姿态捕捉的设备及方法。该用于人体运动姿态捕捉的设备及方法，其中的设备部分包括姿态信息获取系统以及与其无线连接的上位机，所述姿态信息获取系统包括设置于人体测试部位的惯性传感器，所述惯性传感器采集并发送人体测试部位的相对位置数据、相对角度数据、相对移动数据至上位机，所述上位机基于上述数据调整三维虚拟人体模型中的动作；该用于人体运动姿态捕捉的设备及方法，大幅度减少受外界环境的影响，使得系统适用性更加广泛；大幅度降低整套动捕解决方案的成本，使得更多的中小市场主体可以使用。

Description

一种用于人体运动姿态捕捉的设备及方法

技术领域

本发明属于姿态捕捉技术领域，具体涉及一种用于人体运动姿态捕捉的设备及方法。

背景技术

随着互联网技术的高速发展，三维动画和三维游戏已经成为人们当前一种主要的休闲娱乐方式。同时，随着计算机图形学的发展，通过计算机动画制作软件已经可以很大程度上还原真实人物的运动过程的动画效果，但制作上过于依赖制作人员的主观劳动，在制作效率上、实时性上、还原程度上都急需提高。因此，人体动作捕捉技术成为了当前一个热门的研究方向。

目前主流的人体动作捕捉技术是光学动作捕捉技术，光学动作捕捉系统由光学标记点、高速摄像头、信号传输设备以及服务器组成。它基于计算机视觉原理，由多个高速摄像头从不同角度对人体上若干标记点进行监测和跟踪，理论上对于三维空间中的任意个标记点，只要它能同时被两个以上摄像头所见，就可以确定该时间点上该标记点在该空间中的三维坐标，当摄像头高速连续拍摄时，从得到的图像序列中就可以获得标记点的运动轨迹。同时利用计算机可以将各个标记点与人体骨骼进行绑定，从而获得人体骨骼的运动轨迹，再结合人体运动学原理进而来计算出所以骨骼的运动数据信息，从而完成动作捕捉。

目前主流的光学动作捕捉技术以摄像头为主要数据采集工具，因此普通环境中必然会受到来自环境光的干扰，从而对于标记点的捕捉就会出现偏差，会直接影响到捕捉的精度。所以基于光学的人体动作捕捉技术局限于特定的环境，尽可能排除遮挡物，布置较多的摄像头，尽可能识别到人体身上的标记点，进而也会带来整套解决方案的高成本，方案实现复杂。另外光学动捕技术依赖布置光学标记点的动捕服装，穿戴繁琐，方案实现复杂。

发明内容

本发明的目的就在于为了解决上述问题而提供一种结构简单，设计合理的用于人体运动姿态捕捉的设备及方法。

本发明通过以下技术方案来实现上述目的：

本发明第一方面提供了一种用于人体运动姿态捕捉的设备，该设备包括姿态信息获取系统以及与其无线连接的上位机，所述姿态信息获取系统包括设置于人体测试部位的惯性传感器，所述惯性传感器采集并发送人体测试部位的相对位置数据、相对角度数据、相对移动数据至上位机，所述上位机基于上述数据调整三维虚拟人体模型中的动作。

作为本发明的进一步优化方案，该设备还包括WIFI路由器，所述姿态信息获取系统与WIFI路由器无线连接，所述WIFI路由器与所述上位机无线连接。

作为本发明的进一步优化方案，所述惯性传感器封装于传感器外壳内，与外接绑带一起构成可穿戴设备。

作为本发明的进一步优化方案，所述惯性传感器至少包括十七组，分别设置于使用者的头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰腹部、左上腿、右上腿、左下腿、右下腿、左脚面上和右脚面上。

作为本发明的进一步优化方案，其中，所述头部额前、对应背部的胸口、小腹处分布放置一组惯性传感器，三者构成一条直线；所述左右肩处、左右手背中心处、左右腕关节上方10厘米处、左右肩部关节下方8厘米处大臂外侧均放置一组惯性传感器，并且左右各构成一条直线；所述左右脚面中心处、左右脚踝关节上方15厘米处、左右大腿根处下方8厘米处各放置一组惯性传感器，并且左右各构成一条直线。

作为本发明的进一步优化方案，所述惯性传感器包括电池、电源管理模块、九轴陀螺仪模块和嵌入式通信模块，所述九轴陀螺仪模块包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述九轴陀螺仪模块与嵌入式通信模块连接，所述通信模块获得加速度、角速度及地磁信号，并将三者数据进行融合得到姿态角、四元数及欧拉角姿态信息数据，并发送至上位机。

作为本发明的进一步优化方案，所述九轴陀螺仪模块与嵌入式通信模块之间采用串行通信方式连接，所述嵌入式通信模块自带WIFI通信组件，所述嵌入式通信模块与上位机之间采用TCP/IP通信协议连接。

作为本发明的进一步优化方案，所述上位机经由WIFI无线路由器与惯性传感器之间构成星型结构。

作为本发明的进一步优化方案，所述上位机控制并配置惯性传感器工作，同时接收、存储和处理惯性传感器上传的姿态信息数据并实时将各惯性传感器数据进行融合以完成人体动作的重构。

本发明第二方面提供了一种用于人体运动姿态捕捉的方法，该方法包括，

基于人体的测试部位，设置相应的惯性传感器，并对所有的惯性传感器进行上电启动；

基于上位机发送同步时钟指令至所有惯性传感器内，统一所有的惯性传感器的时间以及空间坐标原点；

获得开始指令，各个惯性传感器采集加速度、角速度以及地磁传感器的数据信息并暂时存储；

所述惯性传感器将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；

所述惯性传感器判断是否采集到设定数量的姿态信息数据，若是，发送至上位机，基于是否收到结束信号，从而判断是否继续执行各惯性传感器的采集行为；若否，则继续执行各惯性传感器的采集行为，直至采集到达设定数量的姿态信息数据。

本发明的有益效果在于：本发明利用上位机的协调和同步作用以及分布在人体上的各个惯性传感器利用三轴加速度传感器、三轴陀螺仪传感器、三轴地磁传感器采集人体各个环节的运动加速度、角速度和地磁信号，再通过融合计算，得到人体各个环节在空间内的姿态信息，并通过无线通信方式传送给wifi路由器，wifi路由器统一传递给上位机，由上位机建立虚拟人体模型并实时显示与分析。

本发明中的人体运动姿态捕捉系统与路由器之间以无线网络通信方式进行数据传输，避免了有线电气连接造成的导线过多带来的不便与不适。

本发明即使在无光的情况下，也可以获取人体运动信息并快速建立虚拟模型，相比传统利用光学捕捉方式和视频图像捕捉方式，本发明受周围环境影响较小，适应性较强。

本发明将人体运动姿态捕捉系统以可穿戴设备形式固定到人体上，避免了穿戴紧身衣服，最大限度减小了人体的不舒适感，同时避免因不舒适感造成的人体动作变形僵硬。

本发明中各惯性传感器都具有一个独立的微控制模块，能够对惯性传感器信号进行高速采集，并及时进行融合计算，高效获得姿态信息，利用无线网络迅速传递数据，准确并及时将人体运动姿态信息传递给上位机，最大限度的减少了上位机运算负荷。

本发明可以根据需要对人体运动姿态捕捉，调整人体运动姿态捕捉系统的惯性传感器佩戴个数与佩戴位置，可以对手臂、腿、头部等部位进行专项姿态动作捕捉，用户使用自由度高，使用范围较广。

附图说明

图1是本发明的通信网络示意图与人体姿态捕捉的设备穿戴点位示意图；

图2是本发明人体姿态捕捉的设备结构框图；

图3是本发明方法的使用流程图；

图4是本发明方法步骤流程示意图；

图5是本发明的惯性传感器连接结构示意图；

图6是本发明的限制底部的结构示意图。

图中：M001、惯性传感器；M101、电池；M102、电源管路模块；M103、嵌入式通信模块；M104、九轴陀螺仪模块；M002、WIFI无线路由器；M003、上位机；M401、穿戴部；M402、连接部；M403、调节囊带；M404、限制底部；M405、限制柱部；M406、调节扣部。

具体实施方式

下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

实施例1

如图1、图2所示，一种用于人体运动姿态捕捉的设备，该设备包括姿态信息获取系统以及与其无线连接的上位机M003，所述姿态信息获取系统包括设置于人体测试部位的惯性传感器M001，所述惯性传感器M001采集并发送人体测试部位的相对位置数据、相对角度数据、相对移动数据至上位机M003，所述上位机M003基于上述数据调整三维虚拟人体模型中的动作。

该设备还包括WIFI路由器M002，所述姿态信息获取系统与WIFI路由器M002无线连接，所述WIFI路由器M002与所述上位机M003无线连接。

在实际的使用中，每个惯性传感器M001分别安装在人体的测试部位，惯性传感器M001将采集到的姿态信息数据通过WIFI无线路由器M002实时发送到上位机M003，上位机M003中的应用软件通过融合惯性传感器M001信息对人体运动姿态捕捉。

进一步的，为了完成人体动作姿态的捕捉，根据人体生物力学特征和关节及节段运动约束关系，本发明姿态信息获取系统包含17个惯性传感器M001，如图1所示，所述惯性传感器M001至少包括十七组，分别设置于使用者的头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰腹部、左上腿、右上腿、左下腿、右下腿、左脚面上和右脚面上。

其中，具体的，所述头部额前、对应背部的胸口、小腹处分布放置一组惯性传感器M001，三者构成一条直线；所述左右肩处、左右手背中心处、左右腕关节上方10厘米处、左右肩部关节下方8厘米处大臂外侧均放置一组惯性传感器M001，并且左右各构成一条直线；所述左右脚面中心处、左右脚踝关节上方15厘米处、左右大腿根处下方8厘米处各放置一组惯性传感器M001，并且左右各构成一条直线。

进一步的，所述惯性传感器M001封装于传感器外壳内，与外接绑带一起构成可穿戴设备。

具体的，如图5与图6所示，惯性传感器M001固定连接于连接部M402的表面，连接部M402的两端与穿戴部M401的表面连接，可以是固定连接(缝纫连接)，也可以如图5所示，采用调节扣部M406进行连接，调节扣部M406仅进行大范围的粗糙调节，当需要调节相应部分呈一条直线时，通过设置于惯性传感器M001两侧的调节囊带M403进行调节，调节囊带M403属于连接部M402的一部分，调节囊带M403紧贴惯性传感器M001的两侧，初始情况下，将穿戴者背靠墙体站立或躺平于平板表面，来进行各惯性传感器M001的校准使用，先通过调节扣部M406，使整个连接部M402表面的惯性传感器M001处于相对直线的位置，再直接对惯性传感器M001进行上电处理，通过相应的数据来进行校准控制，需要指出的是，脚面上的传感器、额头部分以及肩部的传感器为基准传感器，即使用者需要自行将该三部分的传感器进行手动调节校准，并以该三部分进行其他传感器的直线校准，通过微型气泵来向两调节囊带M403内进行充放气，从而驱动惯性传感器M001部分进行相应的转动，其转动时，惯性传感器M001底部的连接部M402底部的限制柱部M405于穿戴部M401表面的限制底部M404内进行相对滑动，此时需要确保使用者需要呈直线状态躯体部分实际确实为直线状，一组限制柱部M405至少与两组限制底部M404接触，当位置调节完成后，向限制底部M404内进行充气，限制底部M404充气膨胀，从而包裹限制柱部M405，使其不再可以左右移动，从而完成相应的限定；进一步需要指出的是，一组限制柱部M405对应的两组限制底部M404中，至少有一组为可膨胀的限制底部M404，另一组可以为硬质的底部，也可以为同样的可膨胀式。

进一步的，所述惯性传感器M001包括电池M101、电源管理模块M102、九轴陀螺仪模块M104和嵌入式通信模块M103，所述九轴陀螺仪模块M104包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述九轴陀螺仪模块M104与嵌入式通信模块M103连接，所述通信模块M103获得加速度、角速度及地磁信号，并将三者数据进行融合得到姿态角、四元数及欧拉角姿态信息数据，并发送至上位机M003。

所述九轴陀螺仪模块M104与嵌入式通信模块M103之间采用串行通信方式连接，所述嵌入式通信模块M103自带WIFI通信组件，所述嵌入式通信模块M103与上位机M003之间采用TCP/IP通信协议连接。

所述上位机M003经由WIFI无线路由器M002与惯性传感器M001之间构成星型结构。

所述上位机M003控制并配置惯性传感器M001工作，同时接收、存储和处理惯性传感器M001上传的姿态信息数据并实时将各惯性传感器M001数据进行融合以完成人体动作的重构。

嵌入式通信模块M103采集加速度、角速度及地磁信号并将三者数据进行融合得到姿态角、四元数及欧拉角等姿态信息数据，同时将这些姿态信息数据通过WIFI通信组件经由WIFI无线路由器M002发送到上位机M003；嵌入式通信模块M103与上位机M003之间采用TCP/IP通信协议连接，用于接收指令和上传实时数据；嵌入式通信模块M103接收上位机M003中的应用软件发出的指令并完成同步、启动采集、停止采集、校准、断电等规定动作。WIFI无线路由器M002是上位机M003与姿态信息获取系统之间的中继站，姿态信息获取系统的惯性传感器M001经由WIFI无线路由器M002与上位机M003保持无线WIFI连接；上位机M003经由WIFI无线路由器M002与惯性传感器M001之间构成星型结构；上位机M003控制并配置惯性传感器M001工作，同时接收、存储和处理惯性传感器M001上传的姿态信息数据并实时将各惯性传感器M001数据进行融合以完成人体动作的重构；在人体动作重构的基础上进一步提取运动参数并分析处理。

在本实施例中，WIFI无线路由器M002的主要任务是将上位机M003的软件指令转发给姿态信息获取系统的所有惯性传感器M001同时接收所有惯性传感器M001发送过来的姿态信息数据并传递给上位机M003，供上位机M003进行数据分析与运动姿态模型化。惯性传感器M001的主要任务是采集三轴加速度、三轴角速度和三轴地磁数据并对获得数据进行融合计算，得到姿态信息数据并经由WIFI无线路由器M002发送到上位机M003。使用时，先将姿态信息获取系统的所有惯性传感器M001全部上电，上位机操作者操作应用软件对姿态信息获取系统进行时钟同步和同步空间坐标原点，然后分析对象的佩戴好所有；所述方法，包括姿态信息获取系统、WIFI无线路由器和上位机；所述姿态信息获取系统用于实时获取人体姿态信息，包括人体动作加速度数据、角速度数据、地磁数据、姿态角、四元数以及欧拉角；姿态信息获取系统由多个惯性传感器组成，每个惯性传感器分别安装在人体的一个部位，多个惯性传感器将采集到的姿态信息数据通过WIFI无线路由器实时发送到上位机；并处于静止站立姿势，上位机操作者通过应用软件发出采集指令，WIFI无线路由器M002接收到指令，并将指令发送给姿态信息获取系统的所有惯性传感器M001，惯性传感单元101开始采集数据，每隔10毫秒就通过I2C通信协议采集一包新的加速度、角速度和地磁数据，将三种数据进行融合计算得到姿态信息数据并暂时存储起来，同时记录下时间戳数据，每隔100毫秒惯性传感器M001就将10包姿态信息数据通过无线WIFI方式发送给数据WIFI无线路由器M002，WIFI无线路由器M002进行信道选择和设定路由，将姿态信息数据传递给上位机M103，上位机M003开始建立三维虚拟人体模型，并动画演示分析对象的实时动作。

如图3与图4所示，本实施例中还提供了一种用于人体运动姿态捕捉的方法，该方法实际上实现了如下步骤：

(1)人体运动姿态信息获取的所有惯性传感器上电状态，完成系统初始化；

(2)姿态初始同步，以人体TPose为例，上位机完成人体初始姿态信息记录。

(3)上位机轮询各个传感器的姿态信息。

(4)上位机以采集的数据以及时间戳，驱动人体动作。

(5)算法上使用人体反向动力学检查人体动作，保证动作的合理性。

(6)算法上采用动作驱动位移的理念，以动作计算空间位移。

将人体实际数据进行实时展示，如驱动虚拟主播，实时动画播放等。也可以以输出BVH数据，满足电影游戏等行业对于原始动画的数据采集。

具体包括了：

基于人体的测试部位，设置相应的惯性传感器M001，并对所有的惯性传感器M001进行上电启动；

基于上位机发送同步时钟指令至所有惯性传感器M001内，统一所有的惯性传感器M001的时间以及空间坐标原点；

获得开始指令，各个惯性传感器M001采集加速度、角速度以及地磁传感器的数据信息并暂时存储；

所述惯性传感器M001将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；

所述惯性传感器M001判断是否采集到设定数量的姿态信息数据，若是，发送至上位机M003，基于是否收到结束信号，从而判断是否继续执行各惯性传感器M001的采集行为；若否，则继续执行各惯性传感器M001的采集行为，直至采集到达设定数量的姿态信息数据。

需要说明的是，使用者可通过上位机M003随时发出停止采集指令，姿态信息获取系统将立刻停止数据采集与发送，使用者可通过上位机软件保存所有采集到的数据进行动画回放与分析。上位机M003根据各惯性传感器M001测得的主要肢体姿态信息数据并结合穿戴者肢体长度等信息完成人体模型的建立。上位机M003以穿戴者初始静止站立时对应的位置为原点建立三维运动空间坐标系，以人体各个关节点之间的牵引和约束关系为边界条件，用各惯性传感器M001实时运动姿态信息数据驱动人体模型运动，从而完成对人体动作的捕捉。根据各肢体和关节点的空间坐标可以计算出位置、角度等信息，根据帧间坐标变化提取位移速度、加速度、角加速度等运动参数，将这些参数在时间轴上的变化过程记录绘制出来就可以得到位移速度-时间曲线、关节角度-时间曲线、位移加速度-时间曲线、关节角加速度-时间曲线等用于人体生物力学分析和运动学分析。

具体的，工作人员利用本发明进行3D人物动画影视制作，这就需要实时地对人体各个运动姿态进行捕捉，工作人员按照上述的方法穿戴好本发明，统一每个惯性传感器M001的时钟和空间坐标原点，并建立开始采集任务，工作人员做出各种动作，每个惯性传感器M001每隔5毫秒就采集一次，并加以融合计算得到各个人体的动作姿态信息，每隔100毫秒就发送所采集到的20次姿态信息数据给WIFI无线路由器M002，WIFI无线路由器M002接收到数据立即自动转发给上位机M003，上位机M003建立3D人体模型，根据姿态信息数据不断更新各个人体动作姿态信息，并将空间姿态信息数据加以存储，方便工作人员随时回放，工作人员对采集到的各种姿态动作加以后期处理，获得虚拟仿真的3D人物动画影视。

本发明提供一种用于人体运动姿态捕捉的设备及方法，采用无线传输方式采集人体运动姿态信息，将人体动作姿态融合到动作捕捉中，实现姿态和位移同步实现；通过融合传感器获取的姿态数据，生成人体姿态；通过高斯滤波对采集的数据进行降噪，从而保证人体姿态变化的平滑；通过姿态数据推断位移信息，实现惯性动捕下的位移精确匹配。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种用于人体运动姿态捕捉的设备，其特征在于，该设备包括姿态信息获取系统以及与其无线连接的上位机，所述姿态信息获取系统包括设置于人体测试部位的惯性传感器，所述惯性传感器采集并发送人体测试部位的相对位置数据、相对角度数据、相对移动数据至上位机，所述上位机基于上述数据调整三维虚拟人体模型中的动作。

2.根据权利要求1所述的一种用于人体运动姿态捕捉的设备，其特征在于：该设备还包括WIFI路由器，所述姿态信息获取系统与WIFI路由器无线连接，所述WIFI路由器与所述上位机无线连接。

3.根据权利要求2所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述惯性传感器封装于传感器外壳内，与外接绑带一起构成可穿戴设备。

4.根据权利要求3所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述惯性传感器至少包括十七组，分别设置于使用者的头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰腹部、左上腿、右上腿、左下腿、右下腿、左脚面上和右脚面上。

5.根据权利要求4所述的一种用于人体运动姿态捕捉的设备，其特征在于：其中，所述头部额前、对应背部的胸口、小腹处分布放置一组惯性传感器，三者构成一条直线；所述左右肩处、左右手背中心处、左右腕关节上方10厘米处、左右肩部关节下方8厘米处大臂外侧均放置一组惯性传感器，并且左右各构成一条直线；所述左右脚面中心处、左右脚踝关节上方15厘米处、左右大腿根处下方8厘米处各放置一组惯性传感器，并且左右各构成一条直线。

6.根据权利要求5所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述惯性传感器包括电池、电源管理模块、九轴陀螺仪模块和嵌入式通信模块，所述九轴陀螺仪模块包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，所述九轴陀螺仪模块与嵌入式通信模块连接，所述通信模块获得加速度、角速度及地磁信号，并将三者数据进行融合得到姿态角、四元数及欧拉角姿态信息数据，并发送至上位机。

7.根据权利要求6所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述九轴陀螺仪模块与嵌入式通信模块之间采用串行通信方式连接，所述嵌入式通信模块自带WIFI通信组件，所述嵌入式通信模块与上位机之间采用TCP/IP通信协议连接。

8.根据权利要求7所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述上位机经由WIFI无线路由器与惯性传感器之间构成星型结构。

9.根据权利要求8所述的一种用于人体运动姿态捕捉的设备，其特征在于：所述上位机控制并配置惯性传感器工作，同时接收、存储和处理惯性传感器上传的姿态信息数据并实时将各惯性传感器数据进行融合以完成人体动作的重构。

10.一种用于人体运动姿态捕捉的方法，其特征在于，该方法包括，

基于人体的测试部位，设置相应的惯性传感器，并对所有的惯性传感器进行上电启动；

基于上位机发送同步时钟指令至所有惯性传感器内，统一所有的惯性传感器的时间以及空间坐标原点；

获得开始指令，各个惯性传感器采集加速度、角速度以及地磁传感器的数据信息并暂时存储；

所述惯性传感器将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；

所述惯性传感器判断是否采集到设定数量的姿态信息数据，若是，发送至上位机，基于是否收到结束信号，从而判断是否继续执行各惯性传感器的采集行为；若否，则继续执行各惯性传感器的采集行为，直至采集到达设定数量的姿态信息数据。

Images