CN104461013A - 一种基于惯性传感单元的人体动作重构与分析系统及方法 - Google Patents

Abstract

一种基于惯性传感单元的人体动作重构与分析系统及方法，包括姿态信息获取系统、WIFI无线路由器和中心计算机，姿态信息获取系统由多个惯性传感单元组成，惯性传感单元分别安装在人体的多个部位，实时采集各部位的加速度、角速度和地磁信息，并融合得到姿态角、四元数以及欧拉角等姿态信息；然后将采集信息和融合信息通过WIFI方式经由WIFI无线路由器发送到中心计算机；中心计算机融合各惯性传感单元姿态信息数据完成人体动作重构，并提取位置、速度、角度、加速度、角加速度等运动参数用于人体动作生物力学分析和运动学分析。本发明最大限度减少对受试者运动动作的影响，既满足全身运动动作捕捉需要又满足特定部位专项动作捕捉需要，适用多种应用场合。

Description

一种基于惯性传感单元的人体动作重构与分析系统及方法

技术领域

本发明涉及传感技术、运动生物力学、医疗卫生等领域，特别涉及一种基于惯性传感单元的人体动作重构与分析系统及方法。

背景技术

人体动作捕捉与重构技术是3D人物动画、医疗、生物运动力学研究中的重要研究方向，成为改善人们日常生活的不可或缺的一门技术，利用计算机技术捕捉重构人体动作在计算机视觉领域和光学扫描领域中备受关注，人们利用视频手段跟踪、捕捉人体的动作，或利用光学标记定位方法扫描人体，获得人体运动参数并从运动中重建人体的结构和姿势，最终目的是对人体运动行为进行理解分析并加以应用。人体动作捕捉与重构技术主要应用在3D虚拟实现、生物运动分析、医疗评估与康复方案制定等领域，对人的日常生活和人机交互智能化产生深远影响。但是基于视觉或者基于光学的人体动作捕捉与重构技术有很大的局限性，其必须在可见光的情况下才能对人体运动进行捕捉和重构，或者是价格高昂、方案实现复杂。

根据国家专利局检索中心专利查询，有人针对人体头部运动设计了头部姿态感应装置和方法，其主要应用在头颈部康复和运动训练，申请号是：CN201110327998.2，公开号是：CN103076045A。该专利利用惯性传感器对头部的各种运动状态进行判断并获取头部运动参数。该专利研究重点在于单一头部运动姿态数据分析，而没有涉及人体动作三维虚拟重构与人体运动分析。因此，基于惯性传感器技术和无线通讯技术实现实时人体动作捕捉从而重构3D虚拟人体模型，有着重要的研究意义和实际应用意义。

发明内容

本发明的目的是提供一种基于惯性传感单元的人体动作重构与分析系统，采用无线方式实现各部分通信，能够在不影响人体正常运动的前提下对快速人体动作进行虚拟重现并进行分析，使之能方便、广泛地应用在人们的日常生活中，甚至取代传统的计算机输入设备。

为了达到上述目的，本发明所采用的技术方案为：

一种基于惯性传感单元的人体动作重构与分析系统，包括姿态信息获取系统、WIFI无线路由器和中心计算机；所述姿态信息获取系统用于实时获取人体姿态信息，包括人体动作加速度数据、角速度数据、地磁数据、姿态角、四元数以及欧拉角。姿态信息获取系统由多个惯性传感单元组成，每个惯性传感单元分别安装在人体的一个部位，惯性传感单元将采集到的姿态信息数据通过WIFI无线路由器实时发送到中心计算机，中心计算机中的应用软件通过融合惯性传感单元信息对人体动作进行重构，并提取运动参数加以分析，为用户提供实时分析结果。

所述惯性传感单元包括电池、电源管理模块、九轴惯性传感器和嵌入式WIFI微控制器；所述电池为惯性传感单元供电，电源管理模块提供充电及断电功能；所述九轴惯性传感器包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，分别用于采集加速度信号、角速度信号和地磁信号，九轴惯性传感器与嵌入式WIFI微控制器之间采用串行通信方式连接；嵌入式WIFI微控制器自带WIFI无线通信模块；嵌入式WIFI微控制器采集加速度、角速度及地磁信号并将三者数据进行融合得到姿态角、四元数及欧拉角等姿态信息数据，同时将这些姿态信息数据通过WIFI无线通信模块经由WIFI无线路由器发送到中心计算机；嵌入式WIFI微控制器与中心计算机之间采用TCP通信协议连接，用于接收指令和上传实时数据；嵌入式WIFI微控制器接收计算机应用软件发出的指令并完成同步、启动采集、停止采集、校准、休眠、断电等规定动作。

所述WIFI无线路由器是中心计算机与姿态信息获取系统之间的中继站，姿态信息获取系统的惯性传感单元经由WIFI无线路由器与中心计算机保持无线WIFI连接。WIFI无线路由器具有多信道自适应功能，为中心计算机与姿态信息获取系统之间提供可靠的数据交互链路；

所述中心计算机经由WIFI无线路由器与惯性传感单元之间构成星型结构；中心计算机控制并配置惯性传感单元工作，同时接收、存储和处理惯性传感单元上传的姿态信息数据并实时将各惯性传感单元数据进行融合以完成人体动作的重构；在人体动作重构的基础上进一步提取运动参数并分析处理。

所述惯性传感单元被封装在盒子内，与外接绑带一起构成可穿戴设备。为了完成人体动作的重构，根据人体生物力学特征和关节及节段运动约束关系，将17个惯性传感单元分别佩戴在人体的17个部位，17个部位分别是：头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰、左上腿、右上腿、左下腿、右下腿、左脚和右脚。

所述姿态信息获取系统中的惯性传感单元可以根据需要增加或减少，以满足不同的应用场合。

所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：姿态信息获取系统中的多个惯性传感单元并发向WIFI无线路由器发送数据，并由WIFI无线路由器传递给中心计算机处理，同时WIFI无线路由器将中心计算机发出数据传递给多个惯性传感单元，从而完成数据的交互。

所述中心计算机建立人体虚拟三维模型并根据接收到的姿态信息数据驱动对应人体部位，将人体各个部位在三维空间内的姿态实时显示出来，从而完成人体动作的重构。首先将姿态信息获取系统的惯性传感单元全部上电，进行功能初始化，中心计算机利用WIFI无线路由器将控制信号传送至人体部位上佩戴的姿态信息获取系统的惯性传感单元，启动姿态信息获取系统进行数据采集工作，人体进行各种动作。

所述中心计算机根据姿态信息获取系统提供的数据得到位置、速度、角度、角速度、加速度、角加速度等运动参数，并绘制重力加速度-时间曲线、角速度-时间曲线以及人体各个环节位移速度-时间曲线、关节角度-时间曲线、位移加速度-时间曲线、关节角加速度-时间曲线等。

一种基于惯性传感单元的人体动作重构与分析方法，其特征在于实现流程为：

(a)姿态信息获取系统的所有惯性传感单元上电，完成系统初始化等工作；

(b)通过中心计算机发送出同步时钟指令，使姿态信息获取系统的各个惯性传感单元具有统一的系统时间；

(c)判断是否接收到开始指令，若是则进入(d)，否则继续等待；

(d)各个惯性传感单元开始采集加速度、角速度和地磁传感器的数据信息并暂时存储；

(e)各个惯性传感单元将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；

(f)惯性传感单元判断是否采集到设定的包姿态信息数据，若是则进入步骤(g)；否则转到步骤(d)；

(g)惯性传感单元将设定时间内采集得到的传感器数据和计算得到姿态信息数据通过WIFI无线通信方式发送给中心计算机；

(h)判断数据是否发送成功，若是则进入步骤(i)，否则转到步骤(g)；

(i)判断是否接收到停止指令，若是则进入步骤(j)，否则转到步骤(d)；

(j)数据采集过程结束。

本发明相对于现有技术的有益效果是：

(1)本发明利用中心计算机的协调和同步作用以及分布在人体上的各个惯性传感单元利用三轴加速度传感器、三轴陀螺仪传感器、三轴地磁传感器采集人体各个环节的运动加速度、角速度和地磁信号，再通过融合计算，得到人体各个环节在空间内的姿态信息，并通过无线通信方式传送给路由器，路由器统一传递给计算机，由计算机建立虚拟人体模型并实时显示与分析。

(2)本发明中的姿态信息获取系统与路由器之间以无线网络通信方式进行数据传输，避免了有线电气连接造成的导线过多带来的不便与不适。

(3)本发明即使在无光的情况下，也可以获取人体运动信息并快速建立虚拟模型，相比传统利用光学打点标记和视频图像捕捉方式，本发明受周围环境影响较小，适应性较强。

(4)本发明将姿态信息获取系统以可穿戴设备形式固定到人体上，避免了穿戴紧身衣服，最大限度减小了人体的不舒适感，同时避免因不舒适感造成的人体动作变形僵硬。

(5)本发明中各惯性传感单元都具有一个独立的微控制模块，能够对惯性传感器信号进行高速采集，并及时进行融合计算，高效获得姿态信息，利用无线网络迅速传递数据，准确并及时将人体运动姿态信息传递给中心计算机，最大限度的减少了中心计算机运算负荷。

(6)本发明可以根据需要对人体进行专项的动作重构与分析，调整姿态信息获取系统的惯性传感单元佩戴个数与佩戴位置，可以对手臂、腿、头部等部位进行专项动作重构与分析，用户使用自由度高，使用范围较广。

附图说明

图1为本发明系统中心计算机、WIFI无线路由器、姿态信息获取系统的通信网络示意图和姿态信息获取系统安装佩戴示意图；

图2为本发明姿态信息获取系统中惯性传感单元结构框图；

图3为本发明方法的工作流程图。

具体实施方式

如图1所示，一种基于惯性传感单元的人体动作重构与分析系统包括基于惯性传感单元101的姿态信息获取系统、WIFI无线路由器102和中心计算机103；姿态信息获取系统由多个惯性传感单元101组成，每个惯性传感单元101分别安装在人体的测试部位，惯性传感单元101将采集到的姿态信息数据通过WIFI无线路由器102实时发送到中心计算机103，中心计算机103中的应用软件通过融合惯性传感单元101信息对人体动作进行重构。

如图2所示，惯性传感单元101包括电池201、电源管理模块202、九轴惯性传感器204和嵌入式WIFI微控制器203；电池201为惯性传感单元101中的电源管理模块202、九轴惯性传感器204和嵌入式WIFI微控制器203供电，电源管理模块202提供充电及断电功能；九轴惯性传感器204包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器；九轴惯性传感器204与嵌入式WIFI微控制器203之间采用串行通信方式连接；嵌入式WIFI微控制器203自带WIFI无线通信模块；嵌入式WIFI微控制器203采集加速度、角速度及地磁信号并将三者数据进行融合得到姿态角、四元数及欧拉角等姿态信息数据，同时将这些姿态信息数据通过WIFI无线通信模块经由WIFI无线路由器102发送到中心计算机103；嵌入式WIFI微控制器203与中心计算机103之间采用TCP通信协议连接，用于接收指令和上传实时数据；嵌入式WIFI微控制器203接收中心计算机103中的应用软件发出的指令并完成同步、启动采集、停止采集、校准、休眠、断电等规定动作。

WIFI无线路由器102是中心计算机103与姿态信息获取系统之间的中继站，姿态信息获取系统的惯性传感单元101经由WIFI无线路由器102与中心计算机103保持无线WIFI连接；中心计算机103经由WIFI无线路由器102与惯性传感单元101之间构成星型结构；中心计算机103控制并配置惯性传感单元101工作，同时接收、存储和处理惯性传感单元101上传的姿态信息数据并实时将各惯性传感单元101数据进行融合以完成人体动作的重构；在人体动作重构的基础上进一步提取运动参数并分析处理。

惯性传感单元101被封装在盒子内，与外接绑带一起构成可穿戴设备。为了完成人体动作的重构，根据人体生物力学特征和关节及节段运动约束关系，本发明姿态信息获取系统包含17个惯性传感单元101，如图1所示，17个惯性传感单元101分别放置在使用者的头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰、左上腿、右上腿、左下腿、右下腿、左脚和右脚上，具体的放置方法为：(1)头及躯干部位：分别在头部额前、胸口中心、尾椎骨上方5厘米处放置一个惯性传感单元101，并且构成一条直线；(2)左右胳膊部位：分别在手背中心处、腕关节上方2厘米处、肘部关节上方2厘米处大臂外侧放置一个惯性传感单元101，并且构成一条直线；(3)左右腿及脚部位：分别在脚背中心处、踝关节上方2厘米处、膝关节上方2厘米处放置一个惯性传感单元101，并且构成为一条直线；(4)左右肩部位：分别在左肩、右肩的锁骨末端放置一个惯性传感单元101。

如图1所示，WIFI无线路由器102的主要任务是将中心计算机103的软件指令转发给姿态信息获取系统的所有惯性传感单元101同时接收所有惯性传感单元101发送过来的姿态信息数据并传递给中心计算机103，供中心计算机103进行数据分析与运动姿态重构。

惯性传感单元101的主要任务是采集三轴加速度、三轴角速度和三轴地磁数据并对获得数据进行融合计算，得到姿态信息数据并经由WIFI无线路由器102发送到中心计算机103。使用时，先将姿态信息获取系统的所有惯性传感单元101全部上电，计算机操作者操作应用软件对姿态信息获取系统进行时钟同步，然后分析对象佩戴好所有惯性传感单元101并处于静止站立姿势，计算机操作者通过应用软件发出采集指令，WIFI无线路由器102接收到指令，并将指令发送给姿态信息获取系统的所有惯性传感单元101，惯性传感单元101开始采集数据，每隔10毫秒就通过I2C通信协议采集一包新的加速度、角速度和地磁数据，将三种数据进行融合计算得到姿态信息数据并暂时存储起来，同时记录下时间戳数据，每隔100毫秒惯性传感单元101就将10包姿态信息数据通过无线WIFI方式发送给数据WIFI无线路由器102，WIFI无线路由器102进行信道选择和设定路由，将姿态信息数据传递给中心计算机103，中心计算机103开始建立三维虚拟人体模型，并动画演示分析对象的实时动作。

如图3所示，为本发明方法的工作流程图。步骤300：姿态信息获取系统的所有惯性传感单元101上电，完成系统初始化等工作；步骤301：通过计算机软件发送出同步时钟指令，使姿态信息获取系统的各个惯性传感单元101具有统一的系统时间；步骤302：判断是否接收到开始指令，若是则进入步骤303，否则继续等待；步骤303：各个惯性传感单元101开始采集加速度、角速度和地磁传感器的数据信息并暂时存储；步骤304：惯性传感单元101将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；步骤305：惯性传感单元101判断是否采集到10包姿态信息数据，若是则进入步骤306；否则转到步骤303；步骤306：惯性传感单元101将100毫秒内采集得到的传感器数据和计算得到姿态信息数据通过WIFI无线通信方式发送给中心计算机103；步骤307：判断数据是否发送成功，若是则进入步骤308，否则转到步骤306重新发送数据；步骤308：判断是否接收到停止指令，若是则进入步骤309，否则转到步骤303；步骤309：数据采集过程结束。

需要说明的是，使用者可通过中心计算机103随时发出停止采集指令，姿态信息获取系统将立刻停止数据采集与发送，使用者可通过计算机软件保存所有采集到的数据进行动画回放与分析。

中心计算机103根据各惯性传感单元101测得的主要肢体姿态信息数据并结合受试者肢体长度等信息完成人体模型的建立。中心计算机103以受试者初始静止站立时对应的位置为原点建立三维运动空间坐标系，以人体各个关节点之间的牵引和约束关系为边界条件，用各惯性传感单元101实时姿态信息数据驱动人体模型运动，从而完成对人体动作的重构。根据各肢体和关节点的空间坐标可以计算出位置、角度等信息，根据帧间坐标变化提取位移速度、加速度、角加速度等运动参数，将这些参数在时间轴上的变化过程记录绘制出来就可以得到位移速度-时间曲线、关节角度-时间曲线、位移加速度-时间曲线、关节角加速度-时间曲线等用于人体生物力学分析和运动学分析。

实施例1：

使用者利用本发明进行3D人物动画制作，这就需要实时地对人体各个运动动作进行捕捉重构，使用者按照上述的方法穿戴好本发明，统一各个惯性传感单元101的时钟，并建立开始采集任务，使用者做出各种动作，各个惯性传感单元101每隔10毫秒就采集一次，并加以融合计算得到各个人体节段的局部姿态信息，每隔100毫秒就发送所采集到的10次姿态信息数据给WIFI无线路由器102，WIFI无线路由器102接收到数据立即自动转发给计算机，中心计算机103建立虚拟3D人体模型，根据姿态信息数据不断更新各个人体节段的姿态情况，并将姿态信息数据加以存储，方便使用者随时回放，使用者对采集到的各种姿态动作加以后期处理，获得高仿真度的3D人物动画。

实施例2：

使用者利用本发明进行医疗康复分析评估，这就需要对被评估的患者局部患处的运动动作进行捕捉重构，患者根据需要在特定位置穿戴好数个惯性传感单元101，使用者通过计算机软件统一好姿态信息获取系统各个惯性传感单元101的时钟并选择局部动作重构模式，建立采集任务，患者根据要求做出特定的动作，各个惯性传感单元101每隔10毫秒就采集一次数据，并加以融合计算从而得到患者特定位置的人体姿态信息，每隔100毫秒就发送所采集到10次姿态信息数据给WIFI无线路由器102，WIFI无线路由器102接收到数据立刻自动转发给中心计算机103，中心计算机103建立患者特定部位的虚拟模型，根据姿态信息数据不断更新虚拟模型，并将姿态信息数据储存，供使用者进行分析和医疗评估。

显然，本领域的技术人员可以对本发明的基于惯性传感单元的人体动作重构装置及方法进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：包括姿态信息获取系统、WIFI无线路由器和中心计算机；所述姿态信息获取系统用于实时获取人体姿态信息，包括人体动作加速度数据、角速度数据、地磁数据、姿态角、四元数以及欧拉角；姿态信息获取系统由多个惯性传感单元组成，每个惯性传感单元分别安装在人体的一个部位，多个惯性传感单元将采集到的姿态信息数据通过WIFI无线路由器实时发送到中心计算机；

所述惯性传感单元包括电池、电源管理模块、九轴惯性传感器、嵌入式WIFI微控制器；所述电池为惯性传感单元供电，电源管理模块提供充电及断电功能；所述九轴惯性传感器包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器，分别用于采集加速度信号、角速度信号和地磁信号，九轴惯性传感器与嵌入式WIFI微控制器之间采用串行通信方式连接；嵌入式WIFI微控制器自带WIFI无线通信模块；嵌入式WIFI微控制器采集加速度、角速度及地磁信号并将三者数据进行融合得到姿态角、四元数及欧拉角等姿态信息数据，同时将这些姿态信息数据通过WIFI无线通信模块经由WIFI无线路由器发送到计算机；嵌入式WIFI微控制器与计算机之间采用TCP通信连接，用于接收指令和上传实时数据；嵌入式WIFI微控制器接收中心计算机发出的指令并完成同步、启动采集、停止采集、校准、休眠、断电的规定动作；

所述WIFI无线路由器是中心计算机与姿态信息获取系统之间的中继站，姿态信息获取系统的惯性传感单元经由WIFI无线路由器与中心计算机保持无线WIFI连接，WIFI无线路由器具有多信道自适应功能，为中心计算机与姿态信息获取系统之间提供可靠的数据交互链路；

所述中心计算机经由WIFI无线路由器与惯性传感单元之间构成星型网络结构；中心计算机控制并配置惯性传感单元工作，同时接收、存储和处理惯性传感单元上传的姿态信息数据并实时将各惯性传感单元数据进行融合以完成人体动作的重构；在人体动作重构的基础上进一步提取运动参数并分析处理。

2.根据权利要求1所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：所述惯性传感单元被封装在盒子内，与外接绑带一起构成可穿戴设备，为了完成人体动作的重构，根据人体生物力学特征和关节及节段运动约束关系，将17个惯性传感单元分别佩戴在人体的17个部位，17个部位分别是：头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸口、腰、左上腿、右上腿、左下腿、右下腿、左脚和右脚。

3.根据权利要求1所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：所述姿态信息获取系统中的惯性传感单元根据需要增加或减少。

4.根据权利要求1所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：所述姿态信息获取系统中的多个惯性传感单元并发向WIFI无线路由器发送数据，并由WIFI无线路由器传递给中心计算机处理，同时WIFI无线路由器将中心计算机发出数据传递给多个惯性传感单元，从而完成数据的交互。

5.根据权利要求1所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：所述中心计算机建立人体虚拟三维模型并根据接收到的姿态信息数据驱动对应人体部位，将人体各个部位动作在三维空间内的姿态实时显示出来，从而完成人体动作的重构。

6.根据权利要求1所述的一种基于惯性传感单元的人体动作重构与分析系统，其特征在于：所述中心计算机根据姿态信息获取系统提供的数据得到位置、速度、角度、角速度、加速度、角加速度等运动参数，并绘制重力加速度-时间曲线、角速度-时间曲线以及人体各个环节位移速度-时间曲线、关节角度-时间曲线、位移加速度-时间曲线、关节角加速度-时间曲线。

7.一种基于惯性传感单元的人体动作重构与分析方法，其特征在于实现步骤为：

(a)姿态信息获取系统的所有惯性传感单元上电，完成系统初始化工作；

(b)通过中心计算机发送出同步时钟指令，使姿态信息获取系统的各个惯性传感单元具有统一的系统时间；

(c)判断是否接收到开始指令，若是则进入(d)，否则继续等待；

(d)各个惯性传感单元开始采集加速度、角速度和地磁传感器的数据信息并暂时存储；

(e)各个惯性传感单元将采集到的数据进行融合计算得到当前肢体部位的姿态信息数据并暂时存储；

(f)惯性传感单元判断是否采集到设定的姿态信息数据，若是则进入步骤(g)；否则转到步骤(d)；

(g)惯性传感单元将设定时间内采集得到的传感器数据和计算得到姿态信息数据通过WIFI无线通信方式发送给中心计算机；

(h)判断数据是否发送成功，若是则进入步骤(i)，否则转到步骤(g)；

(i)判断是否接收到停止指令，若是则进入步骤(j)，否则转到步骤(d)；

(j)数据采集过程结束。