CN114224326A - 一种穿戴式步态相位和动作识别装置及方法 - Google Patents

Abstract

本发明公开了一种穿戴式步态相位和动作识别装置及方法，该装置包括：下肢测量模块，用于测量得到人体下肢的大小腿运动数据；脚底测量模块，用于测量得到人体的脚底运动数据；控制器模块，用于根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作；结果输出模块，用于输出预测步态相位和预测动作；固定装置，用于将穿戴式步态相位和动作识别装置与外骨骼机器人进行固定。本发明基于多传感器的数据，在实现步态相位划分的同时实现人体运动模式识别，并且可以通过压力传感器给出步态相位真实结果。

Description

一种穿戴式步态相位和动作识别装置及方法

技术领域

本发明属于步态识别技术领域，尤其涉及一种穿戴式步态相位和动作识别装置及方法。

背景技术

外骨骼机器人作为一种典型的人机一体化系统，能够穿戴在人身体外部并为穿戴者提供力量支撑和辅助，达到增强人体运动机能的效果，让人能够完成更加困难的任务。实现人机一体化是助力型外骨骼机器人的研究目标，人机一体化主要体现在外骨骼机器人在穿戴时应成为穿戴者身体的一部分，进而能够协同地完成复杂的运动上。因此，拟人化的外骨骼结构设计是基础，来确保穿戴的舒适性以及灵活的操作性；除此之外，完整的感知系统也是必不可少的，一个完整的感知系统应包括多种传感器，并实现多传感器的信息融合，进而提升机器人感知运动意图的准确性，比如支撑态、摆动态，水平地面行走，上楼梯，下楼梯等

目前的步态识别技术存在以下问题：

(1)一是步态相位的识别与运动模式的识别通常采用两种途径，很少同时识别。

(2)二是基于视觉传感器识别算法问题：该方法通过地形变化反推人体的运动状态，识别滞后，且抗干扰能力差。

(3)通过生物肌电传感器、脑电传感器等采集生物电信号，预测人体的运动意图，实现对运动模式的预测，该方法存在抗干扰能力差，穿戴不方便的缺点。

(4)一般步态相识别装置无法直接验证结果真伪。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种穿戴式步态相位和动作识别装置及方法，基于多传感器的数据，在实现步态相位划分的同时实现人体运动模式识别，并且可以通过压力传感器给出步态相位真实结果。

为了解决上述技术问题，本发明公开了一种穿戴式步态相位和动作识别装置，包括：

下肢测量模块，用于测量得到人体下肢的大小腿运动数据；

脚底测量模块，用于测量得到人体的脚底运动数据；

控制器模块，用于根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作；

结果输出模块，用于输出预测步态相位和预测动作；

固定装置，用于将穿戴式步态相位和动作识别装置与外骨骼机器人进行固定。

在上述穿戴式步态相位和动作识别装置中，下肢测量模块，包括：惯性传感器A、惯性传感器B、惯性传感器C和惯性传感器D；其中，惯性传感器A和惯性传感器B分别安装在外骨骼机器人的左小腿外侧和右小腿外侧，惯性传感器C和惯性传感器D分别安装在外骨骼机器人的左大腿外侧和右大腿外侧；各惯性传感器的X轴正方向竖直向上，即XZ轴平行于身体矢状面，惯性传感器的Y轴向内。

在上述穿戴式步态相位和动作识别装置中，脚底测量模块，包括：设置在外骨骼机器人鞋垫上的一个惯性传感器E、一个射频模块和若干个压力传感器；

压力传感器，用于测量得到脚底压力数据；其中，各压力传感器布置在在鞋垫上的布置位置与数量根据膝关节外骨骼控制需求规定压力采集点确定；

惯性传感器E，用于测量得到脚底运动数据；

射频模块，用于将脚底压力数据和脚底运动数据以广播的形式发送到控制器模块。

在上述穿戴式步态相位和动作识别装置中，人体运动在时间上具有连续性，各个惯性传感器具有一定的空间关系，深度神经网络地形识别模型基于Lstm-Tcn神经网络构建得到。

在上述穿戴式步态相位和动作识别装置中，控制器模块在根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作时，包括：

对大小腿运动数据和脚底运动数据进行归一化处理，得到输入数据x；

将输入数据x输入到Lstm网络中，得到中间向量y；

通过置信度权值w得到Tcn网络的输入数据x+w*y；

将输入数据x+w*y输入到Lstm网络中，得到目标向量z；

目标向量z经全连接层输出8×1的特征向量，分别对应：支撑态、摆动态、行走、跑步、上楼梯、下楼梯、上坡和下坡，完成对步态相位和动作的预测。

在上述穿戴式步态相位和动作识别装置中，大腿运动数据包括：大腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；小腿运动数据包括：小腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；脚底运动数据包括：脚底三轴加速度和角速度。

在上述穿戴式步态相位和动作识别装置中，控制器模块，还用于：获取压力传感器测量得到的脚底压力数据；根据脚底压力数据，确定真实步态相位；将真实步态相位与预测步态相位进行比对；若真实步态相位与预测步态相位一致，则通过结果输出模块输出预测步态相位和预测动作；若真实步态相位与预测步态相位不一致，则对深度神经网络地形识别模型进行参数调整、训练。

在上述穿戴式步态相位和动作识别装置中，压力传感器的数量为四个：压力传感器A、压力传感器B、压力传感器C和压力传感器D；其中，压力传感器A和压力传感器B设置在外骨骼机器人鞋垫的后脚掌位置处，压力传感器C和压力传感器D设置在外骨骼机器人鞋垫的前脚掌位置处。

在上述穿戴式步态相位和动作识别装置中，真实步态相位的确定策略如下：

当压力传感器A、压力传感器B、压力传感器C和压力传感器D测量得到的脚底压力数据F₁、F₂、F₃和F₄满足如下式(1)或式(2)时，确定真实步态相位为支撑态，否则，确定真实步态相位为摆动态：

相应的，本发明还公开了一种基于穿戴式步态相位和动作识别装置的步态相位和动作识别方法，包括：

测量得到人体下肢的大小腿运动数据；

测量得到人体的脚底运动数据；

根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作，并输出。

本发明具有以下优点：

(1)本发明利用置信度自适应方法确定神经网络数据输入，准确、高效识别步。

(2)本发明不需要和人体皮肤直接接触，安装简单。

(3)本发明可实现单个采样周期内的步态识别，滞后性低，即使偶尔出错也仅限于相邻状态不会引起控制器动作切换。

附图说明

图1是本发明实施例中一种穿戴式步态相位和动作识别装置的结构框图；

图2是本发明实施例中一种惯性传感器的布局示意图；

图3是本发明实施例中一种脚底测量模块的布局示意图；

图4是本发明实施例中一种深度神经网络地形识别模型的实现原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公开的实施方式作进一步详细描述。

如图1，在本实施例中，该穿戴式步态相位和动作识别装置，包括：

下肢测量模块101，用于测量得到人体下肢的大小腿运动数据。

在本实施例中，如图2，下肢测量模块101具体可以包括：惯性传感器A、惯性传感器B、惯性传感器C和惯性传感器D。其中，惯性传感器A和惯性传感器B分别安装在外骨骼机器人的左小腿外侧和右小腿外侧，惯性传感器C和惯性传感器D分别安装在外骨骼机器人的左大腿外侧和右大腿外侧；各惯性传感器的X轴正方向竖直向上，即XZ轴平行于身体矢状面，惯性传感器的Y轴向内。

优选的，惯性传感器A，用于测量得到左小腿运动数据，包括：左小腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；惯性传感器B，用于测量得到右小腿运动数据，包括：右小腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；惯性传感器C，用于测量得到左大腿运动数据，包括：左大腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；惯性传感器D，用于测量得到右大腿运动数据，包括：右大腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度。

脚底测量模块102，用于测量得到人体的脚底运动数据。

在本实施例中，如图3，脚底测量模块102具体可以包括：设置在外骨骼机器人鞋垫上的一个惯性传感器E、一个射频模块和若干个压力传感器。

压力传感器，用于测量得到脚底压力数据。其中，各压力传感器布置在在鞋垫上的布置位置与数量根据膝关节外骨骼控制需求规定压力采集点确定；

惯性传感器E，用于测量得到脚底运动数据，包括：脚底三轴加速度和角速度。其中，惯性传感器E横向布置。

射频模块，用于将脚底压力数据和脚底运动数据以广播的形式发送到控制器模块。

控制器模块103，用于根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作。

在本实施例中，控制器模块103中部署有深度神经网络地形识别模型。考虑到人体运动在时间上具有连续性，各个惯性传感器具有一定的空间关系，故而深度神经网络地形识别模型基于Lstm-Tcn神经网络构建得到。

Lstm-Tcn神经网络主要包括4部分：长短时神经网络、数据融合、时域卷积网络、全连接层，其网络实现如下：

网络输入大小22*10特征M。经过长短时神经网络后输出8*10的特征N，接着经过数据融合操作，即：(1-w)*M+w*N，转化为30*10的特征；接着经过时域卷积网络后，输出30大小的特征；最后经过全连接层输出8×1的特征向量，分别对应支撑态、摆动态、行走、跑步、上楼梯、下楼梯、上坡、下坡。

优选的，如图4，控制器模块103具体用于：

a)对大小腿运动数据和脚底运动数据进行归一化处理，得到输入数据x。

大小腿运动数据和脚底运动数据的归一化处理有利于后期训练时找到全局最优解，将数据映射到[0,1]的空间范围内，其归一化公式为：

x＝(P_i-P_min)/(P_max-P_min)

其中，P_min和P_min分别表示当前采样周期内大小腿运动数据和脚底运动数据中的最大值和最小值，P_i表示当前采样周期内任意第i个运动数据。

b)将输入数据x输入到Lstm网络中，得到中间向量y。

c)通过置信度权值w得到Tcn网络的输入数据x+w*y。

d)将输入数据x+w*y输入到Lstm网络中，得到目标向量z。

e)目标向量z经全连接层输出8×1的特征向量，分别对应：支撑态、摆动态、行走、跑步、上楼梯、下楼梯、上坡和下坡，完成对步态相位和动作的预测。

进一步的，控制器模块103还用于获取压力传感器测量得到的脚底压力数据；根据脚底压力数据，确定真实步态相位；将真实步态相位与预测步态相位进行比对；若真实步态相位与预测步态相位一致，则通过结果输出模块输出预测步态相位和预测动作；若真实步态相位与预测步态相位不一致，则对深度神经网络地形识别模型进行参数调整、训练。

如图3，假设压力传感器的数量为四个：压力传感器A、压力传感器B、压力传感器C和压力传感器D。其中，压力传感器A和压力传感器B设置在外骨骼机器人鞋垫的后脚掌位置处，压力传感器C和压力传感器D设置在外骨骼机器人鞋垫的前脚掌位置处。则，真实步态相位的确定策略如下：

当压力传感器A、压力传感器B、压力传感器C和压力传感器D测量得到的脚底压力数据F₁、F₂、F₃和F₄满足如下式(1)或式(2)时，确定真实步态相位为支撑态，否则，确定真实步态相位为摆动态：

优选的，上述真实步态相位的确定策略的原理如下：

支撑态建立初始阶段：人体行走过程中，由摆动态到支撑态建立初始阶段，脚后跟先落地，1、2两个采集点的压力值由初始值开始上升，3、4两个采集点的压力值保持基本保持在初始值。采用上述公式(1)中的

进行判断。

支撑态中期：随着人体重心移动到脚掌中部，1、2两个采集点的压力值上升到最大值后开始下降，3、4两个采集点的压力值开始上升，人体重心移动到脚掌前侧时，3、4两个采集点的压力值将达到峰值。值得注意的是1、2两个采集点的压力峰值接近，变化趋势也相同，3、4两个采集点的峰值差异较大，变化趋势也略微有相位差异。在支撑态中期(1、2两个采集点达到峰值到3、4两个采集点达到峰值之间的一段时间内)，人体重量几乎完全由左脚承受，1、2、3、4四个采集点压力数值总和维持在3500-4000左右，此特点可以作为步态识别的判据之一。即采用上述公式(2)进行判断。

支撑态末期：人体重心己经开始向右脚转移，此时左脚前脚掌开始离地，3、4两个采集点由峰值开始迅速下降，直至1、2、3、4四个采集点压力数值回复到初始值，左脚完全离地，进入到摆动态。采用上述公式(1)中的

进行判断。

结果输出模块104，用于输出预测步态相位和预测动作。

固定装置105，用于将穿戴式步态相位和动作识别装置与外骨骼机器人进行固定。

在本实施例中，惯性传感器可以选择九轴惯性传感器，包含加速度计、陀螺仪、磁力计等，可实现三轴加速度、三轴角速度以及三轴角度的采集。其中，惯性传感器的角速度量程应大于±500°/s，静态漂移至少在0.05°/s以内，至少可通过CAN总线或串口或网络进行通讯，采样频率在60Hz以上，工作电压和工作电流应在人体安全用电范围内。

在本实施例中，外骨骼机器人鞋垫采用定制的电阻薄膜压力鞋垫，上面至少设置有惯性传感器、射频模块和多个压力传感器。鞋垫的万次传输误包率不高于0.1％。

综上所述，本发明公开了一种穿戴式步态相位和动作识别装置，基于置信度自适应的多传感器融合实现步态相位和动作的识别，辅助外骨骼机器人对穿戴者步态相位和动作进行识别。

在上述实施例的基础上，本发明还公开了一种步态相位和动作识别方法，包括：测量得到人体下肢的大小腿运动数据；测量得到人体的脚底运动数据；根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作，并输出。

对于方法实施例而言，由于其与装置实施例相对应，所以描述的比较简单，相关之处参见装置实施例部分的说明即可。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种穿戴式步态相位和动作识别装置，其特征在于，包括：

下肢测量模块，用于测量得到人体下肢的大小腿运动数据；

脚底测量模块，用于测量得到人体的脚底运动数据；

控制器模块，用于根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作；

结果输出模块，用于输出预测步态相位和预测动作；

固定装置，用于将穿戴式步态相位和动作识别装置与外骨骼机器人进行固定。

2.根据权利要求1所述的穿戴式步态相位和动作识别装置，其特征在于，下肢测量模块，包括：惯性传感器A、惯性传感器B、惯性传感器C和惯性传感器D；其中，惯性传感器A和惯性传感器B分别安装在外骨骼机器人的左小腿外侧和右小腿外侧，惯性传感器C和惯性传感器D分别安装在外骨骼机器人的左大腿外侧和右大腿外侧；各惯性传感器的X轴正方向竖直向上，即XZ轴平行于身体矢状面，惯性传感器的Y轴向内。

3.根据权利要求2所述的穿戴式步态相位和动作识别装置，其特征在于，脚底测量模块，包括：设置在外骨骼机器人鞋垫上的一个惯性传感器E、一个射频模块和若干个压力传感器；

压力传感器，用于测量得到脚底压力数据；其中，各压力传感器布置在在鞋垫上的布置位置与数量根据膝关节外骨骼控制需求规定压力采集点确定；

惯性传感器E，用于测量得到脚底运动数据；

射频模块，用于将脚底压力数据和脚底运动数据以广播的形式发送到控制器模块。

4.根据权利要求3所述的穿戴式步态相位和动作识别装置，其特征在于，人体运动在时间上具有连续性，各个惯性传感器具有一定的空间关系，深度神经网络地形识别模型基于Lstm-Tcn神经网络构建得到。

5.根据权利要求4所述的穿戴式步态相位和动作识别装置，其特征在于，控制器模块在根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作时，包括：

对大小腿运动数据和脚底运动数据进行归一化处理，得到输入数据x；

将输入数据x输入到Lstm网络中，得到中间向量y；

通过置信度权值w得到Tcn网络的输入数据x+w*y；

将输入数据x+w*y输入到Lstm网络中，得到目标向量z；

目标向量z经全连接层输出8×1的特征向量，分别对应：支撑态、摆动态、行走、跑步、上楼梯、下楼梯、上坡和下坡，完成对步态相位和动作的预测。

6.根据权利要求5所述的穿戴式步态相位和动作识别装置，其特征在于，大腿运动数据包括：大腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；小腿运动数据包括：小腿绕Y轴旋转的角速度和角度，沿X轴方向的加速度；脚底运动数据包括：脚底三轴加速度和角速度。

7.根据权利要求5所述的穿戴式步态相位和动作识别装置，其特征在于，控制器模块，还用于：获取压力传感器测量得到的脚底压力数据；根据脚底压力数据，确定真实步态相位；将真实步态相位与预测步态相位进行比对；若真实步态相位与预测步态相位一致，则通过结果输出模块输出预测步态相位和预测动作；若真实步态相位与预测步态相位不一致，则对深度神经网络地形识别模型进行参数调整、训练。

8.根据权利要求7所述的穿戴式步态相位和动作识别装置，其特征在于，压力传感器的数量为四个：压力传感器A、压力传感器B、压力传感器C和压力传感器D；其中，压力传感器A和压力传感器B设置在外骨骼机器人鞋垫的后脚掌位置处，压力传感器C和压力传感器D设置在外骨骼机器人鞋垫的前脚掌位置处。

9.根据权利要求8所述的穿戴式步态相位和动作识别装置，其特征在于，真实步态相位的确定策略如下：

当压力传感器A、压力传感器B、压力传感器C和压力传感器D测量得到的脚底压力数据F₁、F₂、F₃和F₄满足如下式(1)或式(2)时，确定真实步态相位为支撑态，否则，确定真实步态相位为摆动态：

10.一种基于权利要求1所述的穿戴式步态相位和动作识别装置的步态相位和动作识别方法，其特征在于，包括：

测量得到人体下肢的大小腿运动数据；

测量得到人体的脚底运动数据；

根据深度神经网络地形识别模型对大小腿运动数据和脚底运动数据进行解算、识别，得到预测步态相位和预测动作，并输出。

Images