CN112754468B - 一种基于多源信号的人体下肢运动检测及识别方法 - Google Patents

Abstract

本发明公开了一种基于多源信号的人体下肢运动检测及识别方法，包括以下步骤：通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态；对多源信号进行采集并进行数据预处理，得到用于识别的输入信号；将输入信号分为训练数据和测试数据，分别以SVM分类器和基于SVM的BP神经网络的方法进行训练和检测分类识别，得到识别结果；对识别结果进行准确率输出优化，得到最终识别结果；本发明有效地实现对人体下肢姿态角信号、足底压力信号和腿部多块肌肉表面肌电信号的同时采集，去除信号干扰，输出直观数据反映人体下肢运动状态和实现对人体下肢运动更加准确的识别及预测。

Description

一种基于多源信号的人体下肢运动检测及识别方法

技术领域

本发明涉及多源信号采集检测及识别的研究领域，特别涉及一种基于多源信号的人体下肢运动检测及识别方法。

背景技术

近年来，人机下肢运动协调性问题成为了机器人技术领域最重要的研究问题之一，特别是在下肢外骨骼的应用研究中，它不仅可以为下肢外骨骼的机构设计与优化提供理论指导和技术支持，而且是下肢外骨骼实现辅助行走、负重、康复训练等功能的基础。

为了实现人机下肢运动协调的一致性和协调性，需要对人体运动进行连续检测及识别。目前，常用的数据识别算法是支持向量机(SVM)和人工神经网络(ANN)，其中支持向量机主要用于模式识别，分类错误率小，而人工神经网络具有较强的非线性映射，自学习和容错能力，适用于处理不准确和模糊的信息。

人体下肢运动由许多不同的运动模式构成，如平地行走、跑步、上楼、下楼等，是一个复杂和变化的过程，因此需要利用多种运动力学信息综合表述才可以提高下肢多运动模式识别的准确度。人体下肢运动识别研究常用的方法有图形技术检测、足底压力信号检测及位姿信号检测等方法。但是图形技术检测有价格较为昂贵、不可移动、对外部条件因素要求较高等缺点，而足底压力信号检测及位姿信号检测单一测量时，得到的信号会因外部条件导致误差较大缺点。

随着生物技术的发展，研究人员发现人体的连续运动可以通过脑电图和肌电图等生物信号来预估。sEMG信号是中枢神经系统控制人体肌肉活动时发生的电位变化，它包含大量的肌肉活动信息，并且可以反映肌肉活动的状态。由于肌肉收缩动力学的机电延迟效应，sEMG信号的产生要比力和运动的产生提前约40-100ms，这对于预测运动意图识别和实现实时控制有很重要的意义。此外，sEMG还可以用于检测肌肉疲劳。

但目前对人体步态识别研究应用中，主要是利用图像信息、关节角度、足底压力或者单独以表面肌电信号作为步态识别信息源，这种处理方法比较单一，步态识别结果会有很大误差。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多源信号的人体下肢运动检测及识别方法，本发明在足底压力信号检测的基础上，加上大腿及小腿处的角度信号检测，并创新增加了下肢的表面肌电信号(sEMG)作为共同的检测数据进行人体下肢运动识别，相较于如今主流的足底压力信号及IMU传感器测试的方法，有效提高人体下肢运动在不同阶段的预测准确性。

本发明的目的通过以下的技术方案实现：

一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，包括以下步骤：

通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态；

对多源信号进行采集并进行数据预处理，得到用于识别的输入信号；

将输入信号分为训练数据和测试数据，分别以SVM分类器和基于SVM的BP神经网络的方法进行训练和检测分类识别，得到识别结果；

对识别结果进行准确率输出优化，得到最终识别结果。

进一步地，所述通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态，具体为：通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动。

进一步地，所述非周期性活动包含坐姿状态、站立状态；所述周期性活动包含跑步状态、步行状态、上楼梯状态、下楼梯状态。

进一步地，所述多源信号包括足底压力信号、下肢关节角度信号、下肢表面肌电信号；通过柔性薄膜压力传感器测量人体足底压力信号，通过惯性测量传感器测量下肢关节角度信号，通过肌电传感器测量下肢表面肌电信号。

进一步地，所述对多源信号进行采集，具体为：柔性薄膜压力传感器与特制鞋体组合成传感器鞋系统，测量位置为足底局部压力较大的四个位置，测量人体足底压力信号；所述惯性测量传感器固定设置在大腿和小腿节段，测量下肢关节角度信号；所述肌电传感器分别收集两边大腿的股直肌、股二头肌和小腿的胫骨前肌、比目鱼肌四块肌肉的表面肌电数据，进而测量下肢表面肌电信号。

进一步地，所述对多源信号进行数据预处理，

具体如下：

进行滤波降噪，采用卡尔曼滤波或高斯滤波方法，以及针对特定频率设计的陷波滤波器，去除信号毛刺；

进行加窗处理，提取单位时间内的足底压力数据合并平均化处理；

进行降维处理，提取特征值，进而得到多类步态数据；特征值包括：足底压力信号的均值和标准差；膝关节角度的角度均值比；肌电信号的绝对值积分、功率谱比值、直方图比值等特征值作为步态特征值。

进一步地，所述将输入信号分为训练数据和测试数据，分别以SVM分类器和基于SVM的BP神经网络的方法进行训练和检测分类识别，得到识别结果，具体为：

通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动；

对于非周期性活动，计算两腿膝关节角度大小，用于判断处于坐姿状态还是站立状态；对于周期性活动，通过判断足底压力信号是否均有双脚支撑来进一步区分周期性活动；

采用BP神经网络系统，将SVM粗分类数据作为BP神经网络的输入量，训练BP神经网络；根据足底压力信号、膝关节角度信号及下肢肌电信号数据将下肢运动状态进行分类，所述下肢运动状态包含非周期性活动的坐姿状态、站立状态和周期性活动的跑步状态、步行状态、上楼梯状态、下楼梯状态。

进一步地，所述根据足底压力信号、膝关节角度信号及下肢肌电信号数据将行走状态进行分类，具体为：

将步行状态的足底压力信号、膝关节角度信号及下肢肌电信号数据分别利用SVM算法进行粗分类为单个腿部的各阶段信号，随后将SVM粗分类的数据作为BP神经网络的输入量，训练BP神经网络，选用sigmoid函数作为激活函数，将两腿的测试数据组合运算，最终识别出步行状态的5个状态：支撑初期状态、支撑中期状态、支撑末期状态、摆动前期状态、摆动后期状态。

进一步地，所述对识别结果进行准确率输出优化，得到最终识别结果，如下：

对SVMBP模型进行优化，SVM分类结果的好坏一定程度上受到SVM中惩罚因子c以及核函数中的σ²参数设置的影响，最优参数需要通过网格搜索法寻找，其中c在{2ⁱ|i＝-2,-1.5,...,4},σ²即参数g在{2ⁱ|i＝-4,-3.5,...,4}中寻找；另外，BP神经网络中神经元的层数，神经元的个数，输入向量的初始权值，训练速率、收敛误差、迭代次数、激活函数参数调节可以优化整体模型，提高分类识别准确率；

对比单独使用SVM算法与SVMBP算法对不同步态阶段的识别准确率，输出可靠性更高的识别结果作为整体识别结果。

本发明与现有技术相比，具有如下优点和有益效果：

本发明有效地实现对人体下肢姿态角信号、足底压力信号和腿部多块肌肉表面肌电信号的同时采集，去除信号干扰，输出直观数据反映人体下肢运动状态和实现对人体下肢运动更加准确的识别及预测。

附图说明

图1为本发明所述一种基于多源信号的人体下肢运动检测及识别方法的流程图；

图2为本发明所述实施例中人体下肢运动识别流程图；

图3为本发明所述实施例中识别系统框图；

图4为本发明所述实施例中足底压力测量点示意图；

图5为本发明所述实施例中下肢肌肉测量点示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于多源信号的人体下肢运动检测及识别方法，如图1所示，包括以下步骤：

通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态；通过人体下肢运动信息得到人体下肢运动状态，具体为：通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动。所述非周期性活动包含坐姿状态、站立状态；所述周期性活动包含跑步状态、步行状态、上楼梯状态、下楼梯状态；

对多源信号进行采集并进行数据预处理，得到用于识别的输入信号；所述对多源信号进行采集，具体为：柔性薄膜压力传感器与特制鞋体组合成传感器鞋系统，测量位置为足底局部压力较大的四个位置，测量人体足底压力信号；所述惯性测量传感器固定设置在大腿和小腿节段，测量下肢关节角度信号；所述肌电传感器分别收集两边大腿的股直肌、股二头肌和小腿的胫骨前肌、比目鱼肌四块肌肉的表面肌电数据，进而测量下肢表面肌电信号。所述对多源信号进行数据预处理，

具体如下：进行滤波降噪，采用卡尔曼滤波或高斯滤波方法，以及针对特定频率设计的陷波滤波器，去除信号毛刺，抗干扰；

进行加窗处理，人体运动都是一个连续的运动过程，步态识别也需要分析人体运动连续时间内的数据信息；因此，对于传感器数据进行处理时，为了较好地进行特征提取和选择，以及后续的分类识别，通常对数据进行加窗处理；提取单位时间内的数据合并平均化处理，防止异常信号扰动；

对采集到的数据进行降维处理，提取特征值，在不降低准确率的情况下简少运算量，提高识别速度，进而得到多类步态数据；特征值包括：足底压力信号的均值和标准差；膝关节角度的角度均值比；肌电信号的绝对值积分、功率谱比值、直方图比值等特征值作为步态特征值；

将输入信号分为训练数据和测试数据，分别以SVM分类器和基于SVM的BP神经网络的方法进行训练和检测分类识别，得到识别结果；

具体为：通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动；所述非周期性活动包含坐姿状态、站立状态；所述周期性活动包含跑步状态、步行状态、上楼梯状态、下楼梯状态；

对于非周期活动，计算两腿膝关节角度大小，用于判断处于坐姿状态还是站立状态；对于周期性活动，通过判断足底压力信号是否均有双脚支撑来进一步区分周期性活动；

采用BP神经网络系统，将SVM粗分类数据作为BP神经网络的输入量，训练BP神经网络；根据足底压力信号、膝关节角度信号及下肢肌电信号数据将下肢运动状态进行分类，所述下肢运动状态包含非周期性活动的坐姿状态、站立状态和周期性活动的跑步状态、步行状态、上楼梯状态、下楼梯状态；

具体为：

将步行状态的足底压力信号、膝关节角度信号及下肢肌电信号数据分别利用SVM算法进行粗分类为单个腿部的各阶段信号，随后将SVM粗分类的数据作为BP神经网络的输入量，训练BP神经网络，选用sigmoid函数作为激活函数，将两腿的测试数据组合运算，最终识别出步行的5个状态：支撑初期状态、支撑中期状态、支撑末期状态、摆动前期状态、摆动后期状态。人体下肢运动识别流程具体如图2所示

对识别结果进行准确率输出优化，得到最终识别结果；对SVMBP模型进行优化，SVM分类结果的好坏一定程度上受到SVM中惩罚因子c以及核函数中的σ²参数设置的影响，最优参数需要通过网格搜索法寻找，其中c在{2ⁱ|i＝-2,-1.5,...,4},σ²即参数g在{2ⁱ|i＝-4,-3.5,...,4}中寻找；另外，BP神经网络中神经元的层数，神经元的个数，输入向量的初始权值，训练速率、收敛误差、迭代次数、激活函数参数调节可以优化整体模型，提高分类识别准确率；

对比单独使用SVM算法与SVMBP算法对不同步态阶段的识别准确率，输出可靠性更高的识别结果作为整体识别结果。

整个系统由三部分所组成，如图3所示。第一部分：传感系统，各路传感器测试得到相应的信号值；第二部分：信号采集及数据预处理，对采集到的信号进行AD转换，并对原始数据进行数据预处理；第三部分：数据分类识别，将处理好的数据分为训练数据和测试数据，分别以SVM为基本分类器和基于SVM的BP神经网络(SVMBP)的方法对步态实验所采集的多类步态数据集进行分类识别。并对获得的结果进行误差分析。

具体则有：

在人体下肢运动过程中，双足与地面交替接触分离，利用足底压力可以方便地识别每种步态的支撑前期、支撑中期、支撑后期以及摆动期。经过大量的实验证明，只需测试受试者的第一趾骨、第二跖骨、第三跖骨、足底中部和足后跟的压力便能够较准确的反映人行走的步态相位，如图4所示。膝关节的角度信息及其变化则适合于预测人体下肢的运动趋势，不同的步态拥有不同的膝关节加速度，加速度的大小也可反映出加速力的大小，而且加速度的信息直观可靠。表面肌电信号在识别人体下肢运动时有很大优势，它包含大量的肌肉活动信息，并且可以反映肌肉活动的状态，表面肌电信号的产生要比力和运动的产生提前约40-100ms，这对于预测运动意图识别和实现实时控制有很重要的意义。通过建立这样的多源信息检测系统可以克服由单一信息源无法辨识复杂多步态和识别准确率低的难题。搭建切实有效、可靠性高的人体下肢运动检测系统是实现步态识别的前提，本发明选取人体足底压力、膝关节角度和下肢表面肌电信号作为步态识别信息源，搭建人体下肢多源信息检测系统。

所采集的多源信号包括8路足底压力信号、4路下肢关节角度信号和8路下肢表面肌电信号。本发明中，将柔性薄膜压力传感器MD30-60与特制的鞋体结合，组成传感鞋系统，测量人体的足底压力信号，测试位置选在足底局部压力相对较大的四个位置，如图所示。

下肢关节角度信号使用选用亚德诺(ADI)半导体的ADIS16475 IMU传感器用于人体下肢的运动感测，该IMU内置一个三轴陀螺仪和一个三轴加速度计。使用绑带可以将IMU传感器固定在大腿和小腿节段。IMU的尺寸很小，这将尽可能的减小受试者穿戴IMU后而导致的不适，且不会对人体运动产生干涉。

sEMG借助四通道便携式Flexvolt的蓝牙肌电传感器(采样率：2048Hz)，分别收集两边大腿的股直肌、股二头肌和小腿的胫骨前肌、比目鱼肌四块肌肉的表面肌电数据，如图5所示。

基于SVM的BP神经网络模型

SVM通过支持向量来确定相关的求解范围，可以在样本不多的情况下确定相关的模型，并维持较高的准确率。其典型的目标函数如式(1)所示。

式中：ω为可调权值向量；b为阈值；x_i为输入样本值；y_i为输出样本值。

对式(1)使用拉格朗日乘子法可得到式(2)：

式中：λ为拉格朗日乘子；λ_i为第i个拉格朗日乘子。

利用强对偶性转化并对参数ω和b求偏导数可得到

用序列最小优化算法(Sequential Minimal Optimization，SMO)算法可得到最优解λ^*。将其带入式(4)求得最大分割超平面的系数矩阵ω。

式(4)为求解拉格朗日函数时所求的偏导数。

BP(Back Propagation)神经网络分为两个过程：工作信号正向传递过程和误差信号反向传递过程，其结构和神经元拓扑结构如图所示。x₁...x_j代表输入的训练数据；w_ih代表的是输入层到隐含层对应的连接权值关系；y₁...y_j代表隐含层的输出；w_jh代表的是隐含层到输出层对应的连接权值关系；z₁...z_j代表输出层的训练结果。

该神经元的输出为

其中，函数f被称作激活函数θ为一个阈值，x₁...x_j代表输入的训练数据；w_ih代表的是输入层到隐含层对应的连接权值关系；y₁...y_j代表隐含层的输出；w_jh代表的是隐含层到输出层对应的连接权值关系；z₁...z_j代表输出层的训练结果。常用的激活函数有sigmoid函数等，其表达式为

在本发明中，所涉及的样本数量规模大且需要解决多类的分类问题，因此提出一个由多个支持向量机按照特定规则组成的支持向量机阵列作粗分类，用BP神经网络作细分类的组合算法(SVMBP)模型，结构如图所示，图中各个子神经网络具有相同的结构和功能，但训练样本集不同，支持向量机阵列首先对输入向量进行一级分类，再选择相应子神经网络进行二级分类。这样的模型理论上解决了SVM实际应用的缺陷并很好地结合了SVM和BP神经网络的优势，达到很好的融合效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，包括以下步骤：

通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态；

对多源信号进行采集并进行数据预处理，得到用于识别的输入信号；所述多源信号包括足底压力信号、下肢关节角度信号、下肢表面肌电信号；通过柔性薄膜压力传感器测量人体足底压力信号，通过惯性测量传感器测量下肢关节角度信号，通过肌电传感器测量下肢表面肌电信号；

所述惯性测量传感器固定设置在大腿和小腿节段，测量下肢关节角度信号；所述肌电传感器分别收集两边大腿的股直肌、股二头肌和小腿的胫骨前肌、比目鱼肌四块肌肉的表面肌电数据，进而测量下肢表面肌电信号；

将输入信号分为训练数据和测试数据，分别以SVM分类器和基于SVM的BP神经网络的方法进行训练和检测分类识别，得到识别结果；

通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动；

对于非周期性活动，计算两腿膝关节角度大小，用于判断处于坐姿状态还是站立状态；对于周期性活动，通过判断足底压力信号是否均有双脚支撑来进一步区分周期性活动；

采用BP神经网络系统，将SVM粗分类数据作为BP神经网络的输入量，训练BP神经网络；根据足底压力信号、膝关节角度信号及下肢肌电信号数据将下肢运动状态进行分类，所述下肢运动状态包含非周期性活动的坐姿状态、站立状态和周期性活动的跑步状态、步行状态、上楼梯状态、下楼梯状态；

对识别结果进行准确率输出优化，得到最终识别结果。

2.根据权利要求1所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述通过多源信号传感技术检测方法获取人体下肢运动信息，通过人体下肢运动信息得到人体下肢运动状态，具体为：通过SVM算法对多类步态数据进行粗分类，得到SVM粗分类数据，分为周期性活动和非周期性活动。

3.根据权利要求2所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述非周期性活动包含坐姿状态、站立状态；所述周期性活动包含跑步状态、步行状态、上楼梯状态、下楼梯状态。

4.根据权利要求3所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述对多源信号进行采集，具体为：柔性薄膜压力传感器与特制鞋体组合成传感器鞋系统，测量位置为足底局部压力较大的四个位置，测量人体足底压力信号。

5.根据权利要求4所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述对多源信号进行数据预处理，

具体如下：

进行滤波降噪，采用卡尔曼滤波或高斯滤波方法，以及针对特定频率设计的陷波滤波器，去除信号毛刺；

进行加窗处理，提取单位时间内的足底压力数据合并平均化处理；

进行降维处理，提取特征值，进而得到多类步态数据；特征值包括：足底压力信号的均值和标准差；膝关节角度的角度均值比；肌电信号的绝对值积分、功率谱比值、直方图比值作为步态特征值。

6.根据权利要求5所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述根据足底压力信号、膝关节角度信号及下肢肌电信号数据将步行状态进行分类，具体为：

将步行状态的足底压力信号、膝关节角度信号及下肢肌电信号数据分别利用SVM算法进行粗分类为单个腿部的各阶段信号，随后将SVM粗分类的数据作为BP神经网络的输入量，训练BP神经网络，选用sigmoid函数作为激活函数，将两腿的测试数据组合运算，最终识别出步行状态的5个状态：支撑初期状态、支撑中期状态、支撑末期状态、摆动前期状态、摆动后期状态。

7.根据权利要求6所述的一种基于多源信号的人体下肢运动检测及识别方法，其特征在于，所述对识别结果进行准确率输出优化，得到最终识别结果，如下：

对SVMBP模型进行优化，SVM分类结果的好坏一定程度上受到SVM中惩罚因子c以及核函数中的σ²参数设置的影响，最优参数需要通过网格搜索法寻找，其中c在{2ⁱ|i＝-2,-1.5,...,4},σ²在{2ⁱ|i＝-4,-3.5,...,4}中寻找；另外，BP神经网络中神经元的层数，神经元的个数，输入向量的初始权值，训练速率、收敛误差、迭代次数、激活函数参数调节可以优化整体模型，提高分类识别准确率；

对比单独使用SVM算法与SVMBP算法对不同步态阶段的识别准确率，输出可靠性更高的识别结果作为整体识别结果。

Images