CN109453505B - 一种基于可穿戴设备的多关节追踪方法 - Google Patents

Abstract

一种基于可穿戴设备的多关节追踪方法，步骤为：可穿戴设备向计算设备发射超声波进行声学测距，同时利用惯性传感器收集手臂运动的相关数据发送给计算设备。计算设备首先离线构建存储手臂前臂指向与上臂指向映射关系的3D点云，然后接收超声波并根据超声波的飞行时间计算测距结果，同时从可穿戴设备中接收手臂运动的惯性传感器数据，接着利用惯性传感器数据估算出手臂前臂的指向，根据估算结果去3D点云中查询手臂准确指向的候选集，再通过多模融合算法结合声学测距数据从候选集中选出正确的手臂指向，最后进行可视化显示，从而实现对手腕、手肘和肩部三个关节的追踪。

Description

一种基于可穿戴设备的多关节追踪方法

技术领域

本发明涉及一种基于可穿戴设备的多关节追踪方法。

背景技术

近年来，对人体运动的分析研究极大促进了移动健康产业的发展，如今手机和可穿戴设备已经可以识别出步行、慢跑和骑行等下肢运动，而对上肢运动的分析也逐渐成为下一个热点问题。一些实际应用场景不仅仅需要识别出某些特定的动作，还要重建整个手臂的运动姿势，例如分析高尔夫的挥杆动作来提高成绩、通过动作捕捉拍摄真人动画电影等。在医疗健康领域，我国每年约有几十万人患中风，其中三分之一的人由于手臂等部位的运动功能恶化而导致严重残疾。为了及时监控和校正残障患者的肢体行动，帮助其恢复正常运动功能，基于人体运动跟踪的智能康复系统也越来越成为研究的热点问题。所以，人体运动跟踪尤其是上肢跟踪，是智能康复等领域中的关键技术，开展针对人体手臂运动的跟踪研究具有重要的理论意义和潜在的应用价值。

对手臂运动追踪及三维重建的研究分为两大类：基于计算机视觉和基于多节点传感器的方法。

计算机视觉方法在人体运动追踪领域也有很多应用，典型的利用微软Kinect相机进行的研究，在人体动作三维重建方面取得了很多进展，在人体动作轨迹追踪的精度方面更胜一筹。虽然Kinect等相机设备在人体动作追踪的研究方面取得了一些成功，但是在实际应用过程中遇到了巨大挑战。首先，Kinect等相机价格不菲，增加了推广难度。其次Kinect设备便携性差，需要使用者在其相机范围内做动作，这极大限制了其应用场景。除此之外电源供给问题也将Kinect设备的应用限制在室内小范围空间。

多节点传感器是指在手臂肩关节、肘关节和腕关节等很多关键节点部署传感器，通过一定的分析计算重建人体姿势。但是穿戴多节点传感器会造成日常行动的极大不便，尤其在智能康复领域，患者本身行动不便，更难以在肢体上佩戴这么多的传感器设备，这对设备的普及造成了严重阻碍，而且本身多节点传感器的成本问题也不容忽视。

总的来看，人体手臂追踪与三维重建迫切需要仅需部署单节点传感器的方法来提升系统的实用价值。

发明内容

本发明要克服现有技术的上述缺点,提供了一种基于可穿戴设备的多关节追踪方法。

本发明的目的是利用用户手腕单点佩戴的集成了惯性传感器与超声波传感器的可穿戴设备及环境中布置的计算设备追踪用户手腕、手肘和肩部的相对位置，在不经过任何训练的情况下进行连续追踪，并根据用户手臂运动绘制相应的三维模型从而进行3D可视化。

为实现以上目的，本发明所采取的技术方案是：一种基于可穿戴设备的多关节追踪方法，可穿戴设备向计算设备发射超声波进行声学测距，同时利用惯性传感器收集手臂运动的相关数据发送给计算设备，随后计算设备接收超声波并根据超声波的飞行时间计算测距结果，同时从可穿戴设备中接收手臂运动的相关数据，然后利用惯性传感器数据和声学测距数据计算手臂的位姿，最后进行3D可视化，从而实现对手腕、手肘和肩部三个关节的追踪，包括以下步骤：

步骤1，离线构建前臂与上臂指向映射关系的3D点云，包括：

(1.1)定义手臂旋转的自由度，在所构建的人体模型中，人的手臂旋转用四个旋转自由度来表示：肩膀屈曲/伸展角θ₁、肩膀外展/内收角θ₂、肩膀向内/向外旋转角θ₃及肘关节屈曲/伸展角θ₄；

(1.2)根据步骤(1.1)中定义的自由度构建3D点云，θ₁、θ₂、θ₃、θ₄分别从最小值以固定步长递增取至最大值，然后依据手臂运动模型计算出各组旋转自由度下对应的前臂和上臂的指向向量对，形成手臂运动指向的3D点云；

步骤2，可穿戴设备发射超声波，同时收集手臂运动的相关数据发送给计算设备，包括：

(2.1)惯性传感器数据：加速度计和陀螺仪等传感器所采集到的数据；

步骤3，计算设备接收超声波，同时从可穿戴设备中接收手臂运动的相关数据，并计算手腕与空间参考点(即超声波接收器的位置)之间的距离，可采用无线通信和有线通信等方式；

步骤4，计算设备利用步骤3中手臂运动的相关数据，估算出手臂前臂的指向，并从3D点云中查找出手臂正确指向的候选集，包括：

(4.1)根据步骤3中的加速度和角速度数据，估算出手臂前臂在3D空间中的指向；

(4.2)利用步骤(4.1)计算出来的前臂指向，在3D点云中查找相应<前臂指向，上臂指向>的组合，查询得到的手臂组合不只有一个，所有这些组合构成手臂正确指向的候选集；

步骤5，利用步骤3中的超声波测距结果，结合多模融合算法，从步骤(4.2)得到的候选集X中找出与手臂实际指向最相似的指向作为最终的手臂指向：

步骤6，计算设备根据所构建的人体模型及步骤5获取的前臂和上臂指向，绘制出手臂在3D空间中的相应位置从而实现可视化，实现对肢体多关节的追踪，包括：手腕、手肘及肩部。

本发明提出了基于可穿戴设备的多关节追踪方法，本发明的有益效果是：本发明通过单一的可穿戴设备实现了对肢体多关节的追踪，有效地减少了可穿戴设备的数量；本发明通过超声波传感器进行测距，利用测距结果结合多模融合算法对手臂指向进行筛选，有效地过滤了错误的手臂指向，提高了关节追踪的准确性；本发明在不经过任何训练的情况下实现对肢体多关节的连续跟踪，减少了实践的复杂性。

附图说明

图1是实施本发明方法的系统示意图。

图2是本发明方法的IMU数据采集与超声波传感器测距模块工作流程图。

图3是本发明方法的互补滤波器与卡尔曼滤波器工作流程图。

图4是本发明方法的人体坐标系与手臂旋转自由度示意图。

具体实施方式

下面结合附图进一步描述本发明的具体实施方式。

一种基于可穿戴设备的多关节追踪方法，通过可穿戴设备收集惯性传感器数据和声学测距数据，然后将数据发送到计算设备，通过计算设备计算手臂的位姿，实现对手腕、手肘和肩部三个关节的追踪，包括以下步骤：

步骤1，离线构建前臂与上臂指向映射关系的3D点云，包括：

(1.1)定义手臂旋转的自由度，在所构建的人体模型中，手臂的旋转用四个旋转自由度来表示：肩膀屈曲/伸展角θ₁、肩膀外展/内收角θ₂、肩膀向内/向外旋转角θ₃及肘关节屈曲/伸展角θ₄；

(1.2)根据步骤(1.1)中定义的旋转自由度构建3D点云，θ₁、θ₂、θ₃、θ₄首先分别从最小值以5°为单位递增取至最大值，然后依据人体几何模型计算出各组旋转自由度下对应的前臂和上臂的指向向量对，形成手臂指向的3D点云<x_wrist,x_elbow>，具体如公式(1)、(2)所示，

其中x_init代表手臂初始指向向量，

代表由角θ₁、θ₂计算得到的旋转矩阵，

代表由角θ₃、θ₄计算得到的旋转矩阵。根据已有关于人体关节活动范围的医学研究，规定θ₁的取值范围为-60°至180°，θ₂的取值范围为-40°至120°，θ₃的取值范围为-30°至120°，θ₄的取值范围为0°至150°。

步骤2，利用可穿戴设备的超声波传感器KS102发射超声波，同时利用惯性传感器MPU9150收集手臂运动的相关数据，并通过无线通信芯片NRF24L01发送给计算设备，包括：

(2.1)加速度计和陀螺仪等传感器以采样频率100Hz所采集到的加速度a＝[a_x,a_y,a_z]和角速度ω＝[ω_x,ω_y,ω_z]，其中下标x、y、z分别代表惯性传感器坐标系下的X轴正方向分量、Y轴正方向分量和Z轴正方向分量。

步骤3，计算设备树莓派通过超声波传感器KS102接收超声波，并计算手腕与空间参考点(此处选为计算设备的位置，超声波接收器装在计算设备上)之间的距离d，先测量超声波从可穿戴设备(戴在手腕上)到空间参考点所用的传播时间T，再根据公式d＝V·T计算出距离，d为测量距离，V为当前温度下超声波的传播速度，采样频率10Hz、测距范围1m内时的测距误差为1cm，同时通过无线通信芯片NRF24L01与可穿戴设备通信，从可穿戴设备中接收手臂运动的加速度a和角速度ω；

步骤4，计算设备利用步骤3中手臂运动的相关数据，估算出手臂前臂的指向，并从3D点云中查找出手臂正确指向的候选集，包括：

(4.1)根据步骤3获取的加速度a计算重力在手腕坐标系中的分量G_a，根据步骤3获取的角速度ω计算当前时刻的手腕旋转四元数q(t)，q(t)＝q(ω)*q(t-ΔT)*q(ω)^-1，q(t-ΔT)是上一时刻的手腕旋转四元数，t是当前时刻，ΔT是采样周期，再根据q(t)计算重力在手腕坐标系中的分量G_ω，将G_a、G_ω输入到互补滤波器中，得到补偿误差e，通过e对q(t)进行校准得到校准后的手腕旋转四元数q(t)′，将q(t)′、q(t)′输入到卡尔曼滤波器中，得到校准后的手腕旋转四元数q(t)″，最后通过q(t)″计算当前时刻的手臂前臂指向x_wrist(t)；

(4.2)利用步骤(4.1)计算出来的前臂指向x_wrist(t)在3D点云中查找相应<前臂指向，上臂指向>的组合，用

来表示，i是手臂指向组合的序号，查询得到的

组合不只有一个，所有这些组合构成手臂正确指向的候选集X；

步骤5，利用步骤3中的超声波测距结果，结合多模融合算法，从步骤(4.2)得到的候选集X中找出与手臂实际指向最相似的指向作为最终的手臂指向，包括：

(5.1)利用步骤(4.2)得到的候选集X，对每一个<前臂指向，上臂指向>的组合

结合用户前臂臂长L_fore和上臂臂长L_upper，根据人体模型计算当前时刻用户手腕的预估位置pos_i(t)，具体如公式3所示；

(5.2)根据步骤(5.1)得到的用户手腕的预估位置pos_i(t)，计算手腕到空间参考点的预估距离d_i(t)，具体如公式(4)所示，

其中

x_ref是手腕和空间参考点在人体坐标系中的x轴坐标，

y_ref是手腕和空间参考点在人体坐标系中的y轴坐标，

z_ref是手腕和空间参考点在人体坐标系中的z轴坐标。人体坐标系以肩关节为原点，x轴的正半轴平行于肩关节向外，y轴的正半轴与重力方向相反，z轴的正半轴垂直于躯干向前；

(5.3)根据步骤(5.1)得到的用户手腕的预估位置pos_i(t)，计算手腕运动的预估加速度a_i(t-ΔT)，具体计算方法如公式(5)、(6)、(7)所示，

其中V是手腕运动的预估速度，t是当前时刻，ΔT是采样周期。

(5.4)计算前臂指向的预估值与测量值之间的相似度，具体如公式(8)所示，

其中P(i|x_wrist(t))是第i个前臂指向的预估值

与测量值x_wrist(t)之间的相似度，

是由步骤(4.2)查询点云得到的，取自点云中的手臂指向组合

是前臂指向预估值的标准差。

(5.5)计算手腕到空间参考点距离的预估值与测量值之间的相似度，具体如公式(9)所示，

其中P(i|d_i(t))是手腕到空间参考点的预估距离d_i(t)与测量距离d(t)之间的相似度，预估距离d_i(t)是由步骤(5.2)计算得到的，测量距离d(t)是由KS102超声波模块测量得到的，此时手腕的位置为pos_i(t)、前臂指向为

t是当前时刻，σ_d是手腕到空间参考点预估距离的标准差。

(5.6)计算手腕运动加速度的预估值与测量值之间的相似度，具体如公式(10)所示，

其中P(i|a(t-ΔT))是步骤(5.3)计算的手腕运动的预估加速度a_i(t-ΔT)与步骤3获取的测量加速度a(t-ΔT)之间的相似度，此时手腕的位置为pos_i(t)、前臂指向为

t是当前时刻，σ_a是手腕运动加速度预估值的标准差。

(5.7)对步骤6中的三个相似度进行多模融合，找到与测量值相似度最大的预估值的序号i，根据i从步骤(4.2)中的手臂指向的候选集X中找出当前时刻的正确手臂指向

具体如公式(11)所示，

步骤6，计算设备根据所构建的人体模型及步骤(5.7)得到的手臂指向

通过OpenGL、Unity3D等绘制出手臂在3D空间中的相应位置从而实现可视化，实现对肢体多关节的追踪，包括：手腕、手肘及肩部。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于可穿戴设备的多关节追踪方法，包括以下步骤：

步骤1，离线构建前臂与上臂指向映射关系的3D点云，包括：

(1.1)定义手臂旋转的自由度，在所构建的人体模型中，手臂的旋转用四个旋转自由度来表示：肩膀屈曲/伸展角θ₁、肩膀外展/内收角θ₂、肩膀向内/向外旋转角θ₃及肘关节屈曲/伸展角θ₄；

(1.2)根据步骤(1.1)中定义的旋转自由度构建3D点云，θ₁、θ₂、θ₃、θ₄首先分别从最小值以5°为单位递增取至最大值，然后依据人体几何模型计算出各组旋转自由度下对应的前臂和上臂的指向向量对，形成手臂指向的3D点云<x_wrist,x_elbow>，具体如公式(1)、(2)所示，

其中x_init代表手臂初始指向向量，

代表由角θ₁、θ₂计算得到的旋转矩阵，

代表由角θ₃、θ₄计算得到的旋转矩阵；根据已有关于人体关节活动范围的医学研究，规定θ₁的取值范围为-60°至180°，θ₂的取值范围为-40°至120°，θ₃的取值范围为-30°至120°，θ₄的取值范围为0°至150°；

步骤2，利用可穿戴设备的超声波传感器KS102发射超声波，同时利用惯性传感器MPU9150收集手臂运动的相关数据，并通过无线通信芯片NRF24L01发送给计算设备，包括：

(2.1)加速度计和陀螺仪等传感器以采样频率100Hz所采集到的加速度a＝[a_x,a_y,a_z]和角速度ω＝[ω_x,ω_y,ω_z]，其中下标x、y、z分别代表惯性传感器坐标系下的X轴正方向分量、Y轴正方向分量和Z轴正方向分量；

步骤3，计算设备树莓派通过超声波传感器KS102接收超声波，并计算手腕与空间参考点(此处选为计算设备的位置，超声波接收器装在计算设备上)之间的距离d，先测量超声波从可穿戴设备(戴在手腕上)到空间参考点所用的传播时间T，再根据公式d＝V·T计算出距离，d为测量距离，V为当前温度下超声波的传播速度，采样频率10Hz、测距范围1m内时的测距误差为1cm，同时通过无线通信芯片NRF24L01与可穿戴设备通信，从可穿戴设备中接收手臂运动的加速度a和角速度ω；

步骤4，计算设备利用步骤3中手臂运动的相关数据，估算出手臂前臂的指向，并从3D点云中查找出手臂正确指向的候选集，包括：

(4.1)根据步骤3获取的加速度a计算重力在手腕坐标系中的分量G_a，根据步骤3获取的角速度ω计算当前时刻的手腕旋转四元数q(t)，q(t)＝q(ω)*q(t-ΔT)*q(ω)^-1，q(t-ΔT)是上一时刻的手腕旋转四元数，t是当前时刻，ΔT是采样周期，再根据q(t)计算重力在手腕坐标系中的分量G_ω，将G_a、G_ω输入到互补滤波器中，得到补偿误差e，通过e对q(t)进行校准得到校准后的手腕旋转四元数q(t)′，将q(t)′、q(t)′输入到卡尔曼滤波器中，得到校准后的手腕旋转四元数q(t)″，最后通过q(t)″计算当前时刻的手臂前臂指向x_wrist(t)；

(4.2)利用步骤(4.1)计算出来的前臂指向x_wrist(t)在3D点云中查找相应<前臂指向，上臂指向>的组合，用

来表示，i是手臂指向组合的序号，查询得到的

组合不只有一个，所有这些组合构成手臂正确指向的候选集X；

步骤5，利用步骤3中的超声波测距结果，结合多模融合算法，从步骤(4.2)得到的候选集X中找出与手臂实际指向最相似的指向作为最终的手臂指向，包括：

(5.1)利用步骤(4.2)得到的候选集X，对每一个<前臂指向，上臂指向>的组合

结合用户前臂臂长L_fore和上臂臂长L_upper，根据人体模型计算当前时刻用户手腕的预估位置pos_i(t)，具体如公式3所示；

(5.2)根据步骤(5.1)得到的用户手腕的预估位置pos_i(t)，计算手腕到空间参考点的预估距离d_i(t)，具体如公式(4)所示，

其中

x_ref是手腕和空间参考点在人体坐标系中的x轴坐标，

y_ref是手腕和空间参考点在人体坐标系中的y轴坐标，

z_ref是手腕和空间参考点在人体坐标系中的z轴坐标；人体坐标系以肩关节为原点，x轴的正半轴平行于肩关节向外，y轴的正半轴与重力方向相反，z轴的正半轴垂直于躯干向前；

(5.3)根据步骤(5.1)得到的用户手腕的预估位置pos_i(t)，计算手腕运动的预估加速度a_i(t-ΔT)，具体计算方法如公式(5)、(6)、(7)所示，

其中V是手腕运动的预估速度，t是当前时刻，ΔT是采样周期；

(5.4)计算前臂指向的预估值与测量值之间的相似度，具体如公式(8)所示，

其中P(i|x_wrist(t))是第i个前臂指向的预估值

与测量值x_wrist(t)之间的相似度，

是由步骤(4.2)查询点云得到的，取自点云中的手臂指向组合

是前臂指向预估值的标准差；

(5.5)计算手腕到空间参考点距离的预估值与测量值之间的相似度，具体如公式(9)所示，

其中P(i|d_i(t))是手腕到空间参考点的预估距离d_i(t)与测量距离d(t)之间的相似度，预估距离d_i(t)是由步骤(5.2)计算得到的，测量距离d(t)是由KS102超声波模块测量得到的，此时手腕的位置为pos_i(t)、前臂指向为

t是当前时刻，σ_d是手腕到空间参考点预估距离的标准差；

(5.6)计算手腕运动加速度的预估值与测量值之间的相似度，具体如公式(10)所示，

其中P(i|a(t-ΔT))是步骤(5.3)计算的手腕运动的预估加速度a_i(t-ΔT)与步骤3获取的测量加速度a(t-ΔT)之间的相似度，此时手腕的位置为pos_i(t)、前臂指向为

t是当前时刻，σ_a是手腕运动加速度预估值的标准差；

(5.7)对步骤6中的三个相似度进行多模融合，找到与测量值相似度最大的预估值的序号i，根据i从步骤(4.2)中的手臂指向的候选集X中找出当前时刻的正确手臂指向

具体如公式(11)所示，

步骤6，计算设备根据所构建的人体模型及步骤(5.7)得到的手臂指向

通过OpenGL、Unity3D等绘制出手臂在3D空间中的相应位置从而实现可视化，实现对肢体多关节的追踪，包括：手腕、手肘及肩部。

Images