CN115644858B - 基于多传感器数据融合技术的穿戴式智能化步态分析仪 - Google Patents

Abstract

本发明公开了一种基于多传感器数据融合技术的穿戴式智能化步态分析仪，包括：用于采集肌肉收缩产生电信号的双导表面肌电传感器；用于采集人体下肢运动时腿部关节的角度、角速度和角加速度信息的惯性测量单元；用于采集足底压力信息的足底薄膜压力传感器；用于通过多传感器数据融合技术与D‑S证据理论融合算法将采集的数据信息进行融合处理的主控板；用于通过深度神经网络智能算法进行步态识别的CS架构网络服务器。本发明采用多传感器数据融合技术平衡了不同类型传感器的信息强度，采用深度神经网络智能算法提高了步态识别的准确率；同时充分利用网络服务器的算力，降低了对单片机性能的要求。

Description

基于多传感器数据融合技术的穿戴式智能化步态分析仪

技术领域

本发明属于传感器检测技术及可穿戴设备设计技术领域，特别是涉及一种基于多传感器数据融合技术的穿戴式智能化步态分析仪。

背景技术

随着社会经济的快速发展，人民生活水平不断提高，健康问题得到广泛关注。同时，随着人口老年化、交通意外和脑卒中患者的增加，越来越多的人出现下肢运动功能障碍，下肢医疗康复辅助设备需求巨大。在医学上，通过对人体步态分析可以了解人体的机能和健康状况。此外，在下肢伤残、偏瘫、有运动功能障碍患者的医疗康复训练、康复治疗效果评估以及穿戴式下肢外骨骼的研究与应用等方面，步态信息采集与分析发挥着至关重要的作用。因此，开发一种穿戴式智能化便携式步态分析仪具有重大的实际应用价值。

步态分析分为目测分析法（定性法）和仪器分析法（定量法）两种。目测法只能定性，不能定量，诊断结果与医生的水平和经验有关。而仪器分析法可对步态分析的基础参数（步速、步频、步长）、时相与周期、站立相力矩及下肢关节角度等多种步态指标进行定量分析，诊断结果更客观、更精准、更有效。通过外部装置进行人体运动的步态信息采集和步态分析，能够反映被测试者存在的足踝健康问题，如内八字、外八字、扁平足、足内/外翻、马蹄足、高弓足等步态异常；也能帮助医生对异常步态更快速、更准确地进行病理诊断，如前庭小脑综合征、脊髓小脑综合征、帕金森病；还能为异常步态矫正提供可参考数据，以预防和改善足踝部损伤。

人体的步态分析包括动力学分析、运动学分析和生理学分析三个方面。动力学分析需要测量地面作用力来分析人体运动时各个关节的受力情况；运动学分析需要测量关节角度和下肢姿态来研究其运动轨迹；生理学分析需要采集人体生理信号，如肌肉电信号和脑电波信号等，来了解人体各组织、器官的生理功能及健康状况。

目前已有多种人体运动信息采集方法：（1）利用普通摄像机得到的人体运动图像并进行图像处理，这种基于图像处理的方法容易受到图像质量的影响，仅能做运动学分析，无法进行动力学和生理学分析。（2）基于红外检测技术的动态运动捕获方法，通过红外摄像头接收体表标记点反射或发射的红外光线，再借助三维建模来显示人体的运动轨迹。这种方法设备成本高，测试过程复杂，贴片反光点的位置对识别准确率有较大影响。（3）利用高清摄像机拍摄人体运动过程，再对照片进行点阵分析。这种方法虽然操作简单，但需要由人工进行定位分析，仅能做运动学分析，无法进行动力学和生理学分析。（4）采用足底薄膜压力传感器、肌电传感器和姿态传感器组成步态信息采集系统。利用足底薄膜压力传感器来采集足底压力信号，但它受传感器的数量、固定位置及方式影响较大。足底薄膜压力传感器主要有薄膜阵列式和薄膜单点式，前者可反映整个足底压力分布，但单价较贵；后者便宜，但一般要用多个传感器放置在足底关键位置才能有效反映足底压力。利用姿态传感器得到关节角度信息，有利于运动学步态分析，但检测误差和精度受传感器固定位置影响较大。利用肌电传感器采集人体下肢肌肉收缩的电信号，有利于生理学步态分析，但检测误差和精度也很大程度上受到传感器固定位置影响。基于单一传感器所能采集的信息量少，且检测精度较低，易受外部环境影响产生较大的误差。而基于以上三种传感器采集的步态信息更加全面，但不同类型传感器的信息强度、数据处理和传输方式各不相同（如足底压力信号和表面肌电信号不是同一个数量级，足底压力信号和表面肌电信号可以通过模数转换输入单片机中，而惯性测量单元测得的角度信号通过蓝牙串口通信传输），检测系统的误差来源更多，导致误差较大，实时性差，价格较贵，使用成本高。

步态分析是对采集到的步态数据信息进行分类，识别当前运动所处的步态相位。分类是在一群已经知道类别标号的样本中，训练一种分类器，让其能够对某种未知的新的数据集进行划分。分类算法属于一种有监督的学习。目前，常用的分类算法有：朴素贝叶斯分类算法（Naive Bayesian Classifier，NBC）、逻辑回归算法（Logistic Regress，LR）、K近邻算法（k-Nearest Neighbor，KNN)、支持向量机（Support Vector Machine，SVM）、人工神经网络（Artificial Neural Network，ANN）和它们的改进算法。NBC是基于条件独立性假设的，在实际应用中很难成立，故会影响分类效果，使用较少。LR对于非线性和很大特征空间时，性能不是太好。SVM主要用于模式识别，分类结果的错误率低，但对非线性问题没有通用解决方案。KNN 算法计算量较大，对于小样本分类易发生错误。ANN具有极强的自学习性、自适应性、鲁棒性和容错性，可以充分逼近任意复杂的非线性关系。随着处理器计算能力的快速提升，ANN被广泛运用到模式识别领域。其中，长短期记忆网络 (Long ShortTermMemory，LSTM)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，特别适合用于人体步态的识别。卷积神经网络（Convolutional NeuralNetworks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（FeedforwardNeural Networks，FNN），是深度学习（Deep Learning，DL）的代表算法之一 。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。因此，将LSTM 、CNN、DL等人工神经网络算法和分类算法相结合可实现更高精度的分类，可提高人体步态识别的准确率。步态信息采集后，经特征向量提取，获得大量步态特征数据，以此开展步态分析，可用于因疾病或者外伤导致的行走障碍或者步态异常检测及疾病康复诊断。

通过检索有关专利文献可知，基于单一类型传感器采集系统仅能获得人体下肢运动的单一信息，而不能获得步态的运动学信息。如公开号CN108697377A专利涉及到的系统中只包括惯性测量单元，不能获得人体运动时的足底压力等数据；而公开号CN110638462A专利中涉及到的系统中只包括足底薄膜压力传感器，不能获取人体下肢的运动关节角度等信息。利用多传感器设计的系统也无法进行全面的步态分析：如公开号CN109730687A专利涉及到的系统中包括惯性测量单元和足底薄膜压力传感器，但只能测量人体小腿及足底的运动学信息，不能进行人体下肢的生理学分析。公开号113261952A专利虽然采用了足底薄膜压力传感器、肌电传感器和姿态传感器构成多传感器的上位机PC控制系统，但是仅采集了传感器信息，没有进行特征提取，没有得到人体步态信息，更没有进行步态识别。公开号CN113273999A专利虽然也采用足底薄膜压力传感器、肌电传感器和姿态传感器构成多传感器的上位机PC控制系统，实现了逆运动学求解，却没有进行行走步态识别，更没有涉及步态数据分析、步态健康评估、异常步态的疾病诊断等应用。公开号CN112754468A专利提出一种基于后向传播（Back Propagation，BP）神经网络与SVM方法相结合的SVMBP人体下肢运动识别方法以提高步态识别的准确率，其步态识别的目的在于反映人体下肢运动状态和实现对人体下肢运动更加准确的识别及预测，而没有涉及步态数据分析，没有用于医学上的健康诊断。公开号CN113627500A专利采用加速度计、陀螺仪和足底薄膜压力传感器，基于粒子群优化（Particle Swarm Optimization，PSO）与支撑向量机SVM结合的PSO-SVM方法来寻找分类间隔最大的超平面，实现步态相位识别，但没有采集生理信息，无法进行生理学分析，且算法性能有较大的局限，有时基本上无法找到合适的超平面。

发明内容

针对目前步态分析及交互应用相对比较少，设备操作方法复杂，价格高昂，无法满足广大患者的需求的问题，本发明提供了如下方案：一种基于多传感器数据融合技术的穿戴式智能化步态分析仪，包括：

主控板，以及与主控板连接的双导表面肌电传感器、惯性测量单元、足底薄膜压力传感器、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266 WiFi模块和OLED显示模块；

所述双导表面肌电传感器用于采集肌肉收缩产生的肌电信号；

所述惯性测量单元用于采集人体下肢运动时腿部关节的角度、角速度和角加速度信息；

所述足底薄膜压力传感器通过杜邦线与所述主控板相连，用于采集足底压力信息；

所述HC05蓝牙串口通信模块用于将采集到的足底压力信息发送给所述主控板；

所述GPS/北斗双模定位模块用于通过GPS定位系统和北斗定位系统同时获得步态分析仪的准确的位置信息，实现设备定位与查找功能；

所述ESP8266 WiFi模块用于所述主控板与网络服务器之间的通信；

所述主控板用于通过多传感器数据融合技术与D-S证据理论融合算法将所述双导表面肌电传感器、惯性测量单元、足底薄膜压力传感器采集的数据信息进行融合处理；

所述OLED显示模块用于将测得的足底压力、关节角度、角速度、角加速度和肌电信号实时地显示在屏幕上。

优选地，所述双导表面肌电传感器包含信号放大、调理、整流、滤波和归一化处理的电路板模块、双导联线和电极贴片。

优选地，所述足底薄膜压力传感器固定在运动鞋内鞋底的上表面与鞋垫的下表面之间，所述足底薄膜压力传感器的固定位置分别对应于人体足底的踇趾、内侧楔骨、外侧楔骨以及根骨处；

所述足底薄膜压力传感器采集到的足底压力信息经过信号放大及滤波整流电路和线性电压转换模块得到电压数据；再经过人工标定，得到电压值所对应的足底压力值。

优选地，所述步态分析仪还包括步态信息采集电路盒；

所述步态信息采集电路盒用于放置和固定电池、足底薄膜压力传感器的信号放大及滤波整流电路和线性电压转换模块PCB、双导表面肌电传感器PCB、主控板PCB、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266 WiFi模块；同时，在所述步态信息采集电路盒顶部镶嵌OLED显示模块，杜邦线通过步态信息采集电路盒侧面的扁平开孔将外部传感器与盒内PCB相连；步态信息采集电路盒底部两个扁平孔，用于供纹理防滑尼龙绳带穿过并将所述步态信息采集电路盒固定在小腿前骨上。

优选地，所述步态分析仪还与网络服务器和移动终端App进行通信连接；

所述网络服务器以多传感器系统采集到的信息作为输入，并运行深度神经网络智能算法来进行人体运动的步态识别；

所述网络服务器对移动终端App的传感器信息、扩张卷积的长短期记忆全连接的深度神经网络智能算法的步态识别结果和嵌入式系统的控制信息进行更新；

所述移动终端App向网络服务器发起步态信息或步态分析结果查询的请求，网络服务器收到请求信号后，向移动终端App发送步态信息或步态分析结果，同时将移动终端的请求信号复位。

优选地，所述移动终端App包括用户信息管理单元、实时步态显示单元、历史步态数据分析单元、设备定位与查找单元；

所述用户信息管理单元用于实现用户的注册与登录、设备的绑定与解绑功能；

所述实时步态显示单元用于实现足底压力的可视化显示与分析、绘制肢体关节角度的运动轨迹图、下肢运动的三维动图以及穿戴贴合度检测功能；

所述历史步态数据分析单元用于对足底压力大小进行分析，生成热力图；还用于对下肢康复训练效果进行评估，根据步态详细数据生成步态健康评估报告，并根据评估结果给出步态矫正建议；

所述设备定位与查找单元用于通过步态分析仪中GPS/北斗双模定位模块和蜂鸣器发出的报警信号对设备进行定位寻找。

优选地，所述用户信息管理单元包括用户注册单元、设备绑定单元、解除绑定单元；

所述用户注册单元用于输入用户个人信息；

所述设备绑定单元用于扫描并添加设备信息；

所述解除绑定单元用于删除设备信息。

优选地，所述主控板通过多传感器数据融合技术与D-S证据理论融合算法进行数据融合处理的过程包括，

在人体下肢单侧，将足底薄膜压力传感器采集的足底压力信号在数据层进行融合，提取1×4维度的压力特征向量；同时将双导表面肌电传感器的肌电信号在数据层进行融合，提取1×2维度的肌电特征向量；接着将惯性测量单元测量的XYZ三个方向的角度、角速度、角加速度信号在数据层进行融合，提取1×27维度的姿态特征向量；

将所述压力特征向量、肌电特征向量、姿态特征向量进行无量纲化预处理；

在下肢运动过程中，通过步态信息采集电路盒采集一维特征向量数据后，在网络服务器端，采用多传感器数据融合技术，对融合后的一维特征向量数据进行感知，通过考虑时域特征的基于扩张卷积的长短期记忆全连接深度神经网络智能算法进行步态识别。

优选地，通过考虑时域特征的基于扩张卷积的长短期记忆全连接深度的神经网络算法模型进行步态识别的过程包括，

将采集的多传感器信息先经过高斯滤波降噪、去除漂移、抗干扰和归一化的预处理，再进行上采样，对数据进行扩张；

所述深度神经网络智能算法模型包括一维扩张卷积模块、LSTM模块和全连接神经网络模块，训练过程使用交叉熵CE作为损失函数，使用后向传播算法对模型进行优化。

优选地，所述一维扩张卷积模块包括六层卷积层，基础卷积核的大小为5，每层的扩张系数分别为：2，4，6，2，4，6，每一层卷积层都加入skipconnection结构；

所述一维扩张卷积模块是在时间维度上做卷积，首先是从66通道通过一次一维卷积变成128通道，起到上采样作用，后面六层一维扩张卷积则是保持128通道，通过卷积不断扩大感受野，得到初步特征图；

输入数据：T×66的序列，时序长度为T，特征向量的数量为66；

上采样层：128个长度为5的卷积核，扩张系数为1，输入为T×66，输出为T×128；

第一层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；

第二层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；

第三层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128；

第四层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；

第五层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；

第六层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128。

优选地，所述LSTM模块用于进一步提取时序特征；

输入为T×128，输出为T×128；

第一层全连接层：输入为1×128，输出维度为1×64；

第二层全连接层：输入为1×64，输出为1×32；

第三层全连接层：输入为1×32，输出为1×16；

第四层全连接层：输入为1×16，输出为1×8，8为分类数量；

所述全连接神经网络模块，在计算前将Hidden Embedding Resize形成长向量，再送入全连接神经网络，最后通过softmax层得到最终步态信息分类结果。

本发明公开了以下技术效果：

本发明提供的基于多传感器数据融合技术的穿戴式智能化步态分析仪，采用双导表面肌电传感器、惯性测量单元和足底薄膜压力传感器，并采用多传感器数据融合技术与D-S（Dempster-Shafer)证据理论融合算法，对多种类型传感器的数据进行融合处理。该步态信息采集系统具有便携式、智能化和高性价比的特点，能够为人体步态识别和步态分析提供大量的准确的数据。

本发明采用多传感器系统解决了单个传感器无法获得人体下肢运动全面多维度的步态信息的问题；采用多传感器数据融合技术平衡了不同类型传感器的信息强度，提高了多传感器系统的检测精度、可靠性、实时性和容错能力；充分利用网络服务器的算力，降低了对单片机性能的要求；同时采用一种考虑时域特征的基于扩张卷积的长短期记忆全连接（Dilation Convolution-Long Short Term Memory-Fully Connection，DC-LSTM-FC）深度神经网络智能算法，提高了步态识别的准确率。基于临床步态分析（Clinical GaitAnalysis，CGA）的人体步态数据库，对样本按一定的足够小的时序长度T进行划分，每段时序对应一个分类值，组成样本集。将样本集按照1:4来确定测试集和训练集，开展多种人体步态相位识别方法准确率对比测试，本项目采用的算法明显优于其他人工神经网络，准确率提高约5个百分点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的传感器安装固定位置示意图；

图2为本发明实施例的系统组成结构图；

图3为本发明实施例的人体步行周期步态相位划分图；

图4为本发明实施例的基于扩张卷积的长短期记忆全连接深度神经网络智能算法流程图；

图5为本发明实施例的移动终端App功能模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1-2所示，本发明提供了基于多传感器数据融合技术的穿戴式智能化步态分析仪，包括：双导表面肌电传感器、惯性测量单元、足底薄膜压力传感器、基于STM32F103RCT6单片机的主控板、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266WiFi通信模块、OLED显示模块、步态信息采集电路盒、网络服务器、移动终端App、EVA材质运动鞋及鞋垫。

其中，双导表面肌电传感器用于采集肌肉收缩产生的肌电信号；惯性测量单元用于采集人体下肢运动时腿部关节的角度、角速度和角加速度信息；足底薄膜压力传感器通过杜邦线与主控板相连，用于采集足底压力信息；HC05蓝牙串口通信模块用于将采集到的足底压力信息发送给主控板；GPS/北斗双模定位模块用于步态分析仪通过GPS定位系统和北斗定位系统同时获得准确的定位和导航信息；ESP8266 WiFi模块用于主控板与网络服务器之间的通信。所述双导表面肌电（surface ElectroMyoGraphy，sEMG）传感器，用于采集肌肉收缩产生的肌电信号。型号为DCsEMG6，包含信号放大、调理、整流、滤波和归一化处理的电路板模块、双导联线和电极贴片。每个双导表面肌电传感器包括两个表面肌电传感器，每个表面肌电传感器包括红色、黄色和蓝色3个电极贴片；每个双导表面肌电传感器共有6个电极贴片，可以同时检测两块不同肌肉的肌电信号。本发明包括两个双导表面肌电传感器，分别为第一双导表面肌电传感器和第二双导表面肌电传感器。具体地，如图1所示，在右腿设置第一双导表面肌电传感器，包括贴在右大腿股直肌的表面肌电传感器1和右小腿比目鱼肌的表面肌电传感器2；在左腿设置第二双导表面肌电传感器，包括贴在左大腿股直肌的表面肌电传感器3和左小腿比目鱼肌的表面肌电传感器4。在人体腿部安装双导表面肌电传感器的电极贴片之前，需先除净大腿的股直肌、小腿的比目鱼肌对应皮肤的毛发，再用75％医用酒精消毒液擦拭，最后用胶布将表面肌电传感器的电极贴片固定。当使用者穿戴步态分析仪行走时，肌肉的收缩程度会呈现规律性的变化的信号，此电信号通过整流、滤波电路后，输入到STM32F103RCT6单片机，各个表面肌电传感器的模拟量经ADC模数转换器完成肌电信号采集。

所述惯性测量单元（Inertial Measurement Unit，IMU），用于采集人体下肢运动时腿部的角度、角速度、角加速度信息。型号为BWT901CL，集成高精度三轴加速计、三轴陀螺仪、三轴欧拉角和三轴磁场的九轴蓝牙陀螺仪姿态传感器。该模块包含了信号调理、滤波、蓝牙无线收发的功能，能采集三轴角度、三轴速度和三轴加速度信息，自带固定把手，内置电池，附加HID适配器，通过2.0蓝牙无线通信协议与基于STM32F103RCT6单片机的主控板（以下简称单片机）进行信息传输。所述如图1所示，在人体每条腿部安装三个惯性测量单元，用纹理防滑尼龙绳将惯性测量单元1绑在右大腿的股外侧肌处，用纹理防滑尼龙绳将惯性测量单元2绑在右小腿的腓骨长肌处，通过强力纳米双面胶将惯性测量单元3固定在右鞋面中央。采用同样方法，在左腿相应位置分别固定惯性测量单元4、惯性测量单元5和惯性测量单元6（惯性测量单元4和惯性测量单元5在图1中未示出）。

惯性测量单元采集XYZ三轴的角度、角速度、角加速度的大小，并在其内部转化为模拟量。模拟量先经过内部的消抖滤波算法得到输出平稳的数字信号，再通过HC05蓝牙串口通信模块经串口2传输到STM32F103RCT6单片机，然后单片机使用相应的传输协议对数据进行解包和存放，最终在STM32F103RCT6单片机上得到各轴的角度、角速度、角加速度的数字信号。

所述足底薄膜压力传感器用于采集足底各点的压力信息。型号为IMS-C40A，自带线性电压转换模块，属于压阻式力传感器，量程为5kg-100kg，规格为直径40mm，包含了信号放大及滤波整流电路，附加线性电压转换模块，其精度高，柔软度高，蠕变性好，抗干扰力强，能采集人体足底选定点的压力数值。所述足底薄膜压力传感器，通过超薄强力纳米双面胶固定在运动鞋内鞋底的上表面与鞋垫的下表面之间，铺上鞋垫以确保穿戴者的舒适性。如图1所示，8个足底薄膜压力传感器的固定位置分别对应于人体双足足底的踇趾、内侧楔骨、外侧楔骨和根骨处。其中，足底薄膜压力传感器1与右脚的踇趾相对应，足底薄膜压力传感器2与右脚的内侧楔骨相对应，足底薄膜压力传感器3与右脚的外侧楔骨相对应，足底薄膜压力传感器4与右脚的根骨相对应；足底薄膜压力传感器5与左脚的踇趾相对应，足底薄膜压力传感器6与左脚的内侧楔骨相对应，足底薄膜压力传感器7与左脚的外侧楔骨相对应，足底薄膜压力传感器8与左脚的根骨相对应。通过适宜长度的杜邦线与基于STM32F103RCT6单片机的主控板相连，采集4个不同位置的足底压力，实现数模（Analog/Digital，A/D）转换，得到电压数据；再经过人工标定，得到电压值所对应的足底压力值。当使用者穿戴步态分析仪行走时，足底薄膜压力传感器会在各测量点产生不同的压力变化，并以电信号的形式经过滤波后输入到STM32F103RCT6单片机，各个足底薄膜压力传感器的模拟量经ADC模数转换器完成步态压力信号采集。为了达到更好的压力采集效果，在足底薄膜压力传感器的薄膜处垫一块软性塑料片，以使足底薄膜压力传感器的采集处受力均匀将点压力扩散为面压力。

所述基于STM32F103RCT6单片机的主控板，是人体步态信息智能采集系统的核心组成部分。它设计了两种供电方式：DC-9V电池供电或者micro-USB端口供电。DC-9V供电方式时，采用的是LOD串联降压的形式，首先9V电压通过降压芯片NCP1117ST50T3G将9V电压降压至5V用于给各传感器模块供电，然后5V电压再通过降压芯片ASM1117_3.3V降压至3.3V给STM32F103RCT6单片机进行供电。micro-USB端口供电方式是通过数据线连接上位机PC。

所述STM32F103RCT6单片机，是意法半导体公司高性能、低成本、低功耗的单片机，其采用ARM Cortex-M3 32位的RISC内核，最高72MHz工作频率，1.25DMips/MHz，通用增强型，内嵌256KB 的Flash，LQFP封装，最多内嵌20KB的SRAM；供电电压2.0V至3.6V，工作温度范围：-40 - 85℃；支持三种低功耗模式：睡眠模式，停机模式，待机模式。最多多达13个通信接口：2个接口（SMBus/PMBus），3个SPI接口（18 Mbit/s），2个复用，5个USART接口（ISO7816接口，LIN，IrDA兼容，调试控制），1个CAN接口（2.0B）和1个USB 2.0全速接口，1个SDIO接口。多达11个定时器：4个16位定时器，2个16位马达控制PWM定时器，2个看门狗定时器(独立的和窗口型的)；Systick定时器（24位自减计数器），2个用于驱动DAC的16位基本定时器。如图2所示，惯性测量单元通过HC05蓝牙串口通信模块与主控板单片机的串口2进行通信；网络服务器通过ESP8266 WiFi通信模块与主控板单片机的串口3进行通信；GPS/北斗双模定位模块与主控板单片机的串口4进行通信。

所述HC05蓝牙串口通信模块，有6根引脚，VCC 接电源的正极，电压的范围为3.3V到5.0V，VDD为外接供电电源输入端，GND 地线，TXD模块串口发送引脚，RXD模块串口接收引脚，KEY用于进入AT状态，LED引脚用来检测蓝牙模块是否已经连接上了其他蓝牙设备。HC05蓝牙串口通信模块通过TX和RX引脚进行串口通信，支持使用标准AT命令，具有灵敏、易于开发、性价比高的特点。

所述ESP8266 WiFi通信模块，型号为ESP8266 node MCU。支持标准的IEEE802.11b/g/n 协议，内置完整的TCP/IP 协议栈。体积超小的802.11b/g/n Wi-Fi SoC模块，采用低功率32 位CPU，主频最高可达160MHz，内置10 bit高精度ADC，支持UART/GPIO/IIC/PWM/ADC/HSPI等接口，集成Wi-Fi MAC/BB/RF/PA/LNA，支持多种休眠模式，内嵌Lwip协议栈，支持STA/AP/STA+AP工作模式，支持Smart Config/AirKiss一键配网，串口速率最高可达4Mbps，通用AT指令易于上手，支持SDK二次开发，支持串口本地升级和远程固件升级。它使用内置官方库函数实现自动配网功能，设置使用HTTP通信协议，通过局域网与服务器进行数据交互，如有需要可以使用外网透传功能实现远程访问服务器。ESP8266 WiFi通信模块向网络服务器发送post请求，网络服务器响应成功后ESP8266 WiFi通信模块就通过HTTP协议将各个传感器信息以json的数据格式进行打包并使用post方法发送到网络服务器上以更新网络服务器上的各个传感器数据。

所述OLED（Organic Light-Emitting Diode）显示模块，规格为1.3寸的有机发光半导体屏幕，与基于STM32F103RCT6单片机的主控板通过通信协议进行数据传输，将三类传感器测得的足底压力、关节角度、角速度、角加速度和肌电信号显示在屏幕上。OLED不需要背光源，功耗低，成品质量轻，屏幕视角大，可达170度左右，响应速度很快，响应时间仅为微秒级别，比LCD屏更薄、更轻，而且更富于柔韧性。

所述步态信息采集电路盒（简称电路盒），主要用来放置和固定9V电池、足底薄膜压力传感器的信号放大及滤波整流电路和线性电压转换模块PCB、双导sEMG传感器PCB、主控板PCB、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266 WiFi通信模块。在其顶部镶嵌OLED显示模块；杜邦线通过电路盒侧面的扁平开孔将外部传感器与盒内PCB相连；电路盒底部两个扁平孔，可供纹理防滑尼龙绳带穿过并将电路盒固定在小腿前骨上，如图1所示，其中右小腿前骨上固定电路盒1，左小腿前骨上固定电路盒2。

所述网络服务器，是x86服务器，即PC服务器，它是基于PC机体系结构，使用Intel或其它兼容x86指令集的处理器芯片和Windows操作系统的服务器。中央处理器CPU选用12th Generation Intel® Core™ i9-12900K，频率最高能达到5.2GHz，使用融合芯片设计，由8个性能核心P-Core，8个效能核心E-Core组成，线程数达到24个；图形处理器GPU选用2×NVIDIA GeForce RTX 3090，加速频率：1700MHz，基础频率：1400MHz，显存频率：19500MHz，显存位宽：384bit。配置华为WIFI千兆无线路由器，无线传输速率：1500Mbps，无线网络支持频率：2.4G&5G。

所述移动终端App（Application的缩写），是基于Python编程语言与Kivy联合开发的跨平台应用程序。Python具有简单、易学、免费、开源的特点。Kivy是自由、开源、跨平台的Python桌面程序开发框架，用于开发创新的应用程序和其它采用自然用户界面的多点触控应用软件。它可以在Android，iOS，Linux，OSX和Windows执行。同时，虽然kivy是跨平台的，但是想要在不同的平台使用Python代码，还需要将python代码打包成对应平台的可执行程序，利用Kivy项目下的工具包项目–buildozer可实现相对简单、高自动化的代码打包。

所述EVA材质运动鞋及鞋垫，鞋头为包头款式，足底薄膜压力传感器通过强力纳米双面胶固定后，再使用鞋垫，既防止传感器滑落，也能增加鞋子穿戴舒适性；鞋面由EVA透气网布制作，采用蜂窝结构，不易变形断裂，柔软防滑，使得IMU固定在鞋面上不易滑动脱落；鞋底采用EVA环保材质，柔软性好、防震、防滑、抗压力性强。

进一步地优化方案，提出一种多传感器数据融合技术与D-S（Dempster-Shafer)证据理论融合算法。在人体下肢单侧，首先，将4个足底薄膜压力传感器信号在数据层进行融合，提取1×4维度的压力特征向量，同时将双导表面肌电传感器的2个表面肌电信号在数据层进行融合，提取1×2维度的肌电特征向量，接着将3个惯性测量单元测量的XYZ三个方向的角度、角速度、角加速度信号在数据层进行融合，提取1×27维度的特征向量。然后，对33个数据进行无量纲化预处理，所用到的期望值和标准差可通过先验分布在原数据中获取。在下肢运动过程中，两个步态信息采集电路盒共采集66个数据。最后，在网络服务器端，采用多传感器数据融合技术，对融合后的66个一维特征向量进行感知，通过扩张卷积的长短期记忆全连接深度神经网络智能算法进行步态识别。其中，还用到D-S证据理论融合算法。例如，在右腿刚触地后，人体的重心从左腿逐渐转移到右腿的过程中，右腿膝关节角度先增大再减小，同一个膝关节角度值发生在两个不同时刻。因此，仅仅靠惯性测量单元测得的某个关节角度值无法判断它所处的步态相位。所以，还需要结合同侧下肢的足底压力信息和肌电信号共同来判断。在单腿摆动阶段，其足底压力为零，必须结合另一条腿的传感器信号形成证据组合来进行步态识别。

进一步地优化方案，如图4所示，提出一种考虑时域特征的基于扩张卷积—长短期记忆全连接（Dilation Convolution-Long Short Term Memory-Fully Connection，DC-LSTM-FC）深度神经网络智能算法来进行人体下肢运动的步态识别。该网络模型兼具卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent NeuralNetwork，RNN）等人工神经网络算法的优点，由一维扩张卷积模块、LSTM模块和全连接神经网络模块组成，训练过程使用BP算法对模型进行优化。基于网络服务器PC采用Python编程语言实现以上扩张卷积的长短期记忆全连接深度神经网络智能算法。

对多传感器嵌入式系统收集的多维人体下肢时序特征数据进行数据预处理，具体为：进行高斯滤波降噪，并针对传感器独有特性做去除漂移、抗干扰等操作以除去异常信号。对不同传感器采集的信号做数据无量纲化；所述数据无量纲化，具体为数据标准化。经过预处理，能够得到多维人体下肢时序特征信息，将多维人体下肢时序特征信息输入本项目提出的扩张卷积的长短期记忆全连接深度神经网络智能算法对步态相位进行分类和识别。

所述一维扩张卷积模块，由六层卷积层组成，基础卷积核的大小为5，每层的扩张系数分别为：2，4，6，2，4，6，每一层都加入skip connection结构以提高网络性能和训练梯度的稳定性。整个模块是在时间维度上做卷积，首先是从66通道通过一次一维卷积变成128通道，起到上采样作用，后面六层一维扩张卷积则是保持128通道，通过卷积不断扩大感受野，得到初步特征图。如图4所示，输入数据：T×66的序列，时序长度为T，特征向量的数量为66；上采样层：128个长度为5的卷积核，扩张系数为1，输入为T×66，输出为T×128；

第一层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；第二层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；第三层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128；第四层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；第五层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；

第六层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128。

所述LSTM模块，起到进一步提取时序特征的作用，与RNN相比，它不仅能够有效解决长序列处理能力依赖的问题，还能基于长短期记忆网络的特点来自行学习时序特征，哪些时序特征需要短期记忆，哪些需要长期记忆，进而在时序下对不同特征能够更好提取。它为单向的LSTM，输入维度为128，输出维度为128，激活函数为leaky-Relu，系数为0.2。将计算结果的最后一个单元取出送入全连接神经网络模块运算。LSTM层：输入为T×128，输出为T×128；第一层全连接层：输入为1×128，输出维度为1×64；第二层全连接层：输入为1×64，输出为1×32；第三层全连接层：输入为1×32，输出为1×16；第四层全连接层：输入为1×16，输出为1×8，8为分类数量。

所述全连接神经网络模块，在计算前会将Hidden Embedding Resize形成（1，T×hidden_size）的长向量，再送入全连接神经网络，最后过一个softmax层得到最终步态信息分类结果。由数字1-8分别代表图3中的八个不同步态相位阶段。

基于临床步态分析（Clinical Gait Analysis，CGA）的人体步态数据库，对样本按一定的足够小的时序长度t划分，每段时序对应一个分类值，组成样本集。将样本集按照1:4来确定测试集和训练集，开展多种人体步态相位识别方法准确率对比测试，结果如表1所示。训练时按照一定的batch size组成mini batch，batch维度shape =（batch size，T，32），同时训练还会同步索引对应的上述标签值。训练过程使用交叉熵CE(Cross Entropy)作为损失函数，使用后向传播（Back Propagation，BP）算法对模型进行优化。该扩张卷积的长短期记忆全连接深度神经网络智能算法是基于网络服务器PC和采用Python编程语言来实现。

进一步地优化方案，基于STM32F103RCT6单片机的步态信息采集嵌入式系统与网络服务器和移动终端构成一个客户端—服务器端CS（Client Server）架构的网络。移动终端App向网络服务器发起步态信息或步态分析结果查询的请求，网络服务器收到请求信号后，向移动终端App发送步态信息或步态分析结果，同时将移动终端的请求信号复位；所述网络服务器以多传感器系统采集到的信息作为输入，并运行深度神经网络智能算法来进行人体运动的步态识别。所述网络服务器对移动终端App的传感器信息、DC-LSTM的深度神经网络智能算法的步态识别结果和步态采集嵌入式系统的控制信息进行更新；网络服务器端将采用流水线的形式并发式地处理任务，分为多个线程，具体包括模型推理、与客户端通讯交换信息，为使流水线不断流，底层上对各个任务进行细分，多个任务之间存在缓冲池或锁存器，在此结构下服务器能有条不紊地最大效率工作。

进一步地优化方案，开发了一种人机交互应用移动终端App。如图5所示，它具有用户注册与登录、设备绑定与解绑、定位与查找、足底压力数据可视化分析、绘制髋、膝、踝各个关节的运动轨迹图、绘制人体下肢运动的三维动图等功能；能给测试者提供详细步态数据，如步长、步频、速度、各关节姿态角度、脚离地高度、落脚强度等；能进行步态分析，提供健康评估报告，并提出步态矫正和改善的合理建议。

将采集的步态数据与健康步态数据进行分析，比较不同步态相位阶段数据的差异，通过损失函数的拟合计算，推算出当前步态的健康度，给出测试者步态分析与健康评估报告，针对性地提出某种合适的运动方式以改善步态。特别地，对于正在进行康复治疗和康复训练的下肢伤残患者而言，准确评估康复训练所处的阶段，对于制定后期的康复治疗和康复训练方案具有重大参考意义。进一步的，基于多种不同类型的传感器所采集的步态信息，可为下肢康复外骨骼机器人的设计与控制方案提供参考。

所述移动终端App，为了加强对使用者步态数据的认识和理解，利用Python自带的Matplotlib可视化工具包，将步态数据进行分析和可视化处理。通过matplotlib.pyplot.plot( )函数可实现折线图的绘制，用于绘制髋、膝、踝各个关节的运动轨迹图。利用python的matplotlib库可以绘制人体下肢运动的三维动图，同时显示当前运动所处的步态相位阶段。

所述移动终端App，可以实现足底压力数据统计分析与可视化。对单侧足底四个区域的压力进行统计与分析，利用Seaborn的高级界面来绘制有吸引力的统计图形，实现基于matplotlib的Python可视化库。由于热力图在实际中常用于展示一组变量的相关系数矩阵，在展示列联表的上也有较大的用途。可通过seaborn.load_dataset函数导入足底压力数据，利用seaborn.heatmap命令来绘制热力图。通过热力图我们可以非常直观地感受到足底压力大小的分布情况，并以此判断测试者步态的健康水平。

所述移动终端App，具有设备绑定功能。每双智能鞋配有独立的64位身份码，使用移动终端App时，先注册用户账号，再扫描鞋身二维码来绑定设备，获得设备所有权人的授权密钥，可向网络服务器发送绑定请求，具体报文内容包含用户帐号和经扫码解析得到的智能鞋编号；服务器收到请求报文后，在数据库内做检查，若鞋子首次与用户编号绑定，且则可绑定成功；若非首次绑定，可直接读取历史步态数据；若没有获得设备所有权人的授权密钥或密钥输入错误，则拒绝绑定。

所述移动终端App，具有设备查找功能。当需要寻找鞋子时，可在移动终端App端点击查找绑定的智能鞋，点击查找按钮移动终端将向服务器发送报文请求绑定的步态分析仪的位置信息。所述位置信息由GPS/北斗双模定位模块进行采集；服务器收到报文将从数据库查询最后记录的位置信息发送报文至移动终端，移动终端App解析报文得到位置信息会显示给用户。

进一步地优化方案，所述穿戴式智能化步态仪具有传感器和运动鞋的穿戴贴合度检测功能、穿戴异常显示和报警功能。由于双导表面肌电传感器电极贴片的固定位置不同，惯性测量单元的佩戴位置不同，以及运动鞋穿着松紧度不同，都会对采集的数据会有较大的影响，从而降低步态识别准确率。因此，基于STM32F103RCT6单片机，通过传感器阈值上下限判断方法，开发了传感器和运动鞋的穿戴贴合度检测功能。当某个判断传感器采集的数据明显错误或者超出设置阈值的上下限，表明相应传感器的固定位置存在偏差或穿戴不符合要求，会通过OLED屏显示具体提示和报警信息。

本发明为了解决单个传感器无法获得人体下肢运动全面多维度的步态信息的问题，采用足底薄膜压力传感器、双导表面肌电传感器和惯性测量单元三种类型共16个传感器同时进行步态信息采集，能获得动力学、运动学和生理学的全面步态信息。为了平衡不同类型传感器的信息强度，采用一种多传感器数据融合技术与D-S（Dempster-Shafer)证据理论融合算法，将来自每种传感器类型的数据汇总在一起，进行数据分析与处理，提高了多传感器系统的检测精度、可靠性、实时性和容错能力。

本发明为了提高步态识别的准确率，采用一种考虑时域特征的基于扩张卷积的长短期记忆全连接（Dilation Convolution-Long Short Term Memory-Fully Connection，DC-LSTM-FC）深度神经网络智能算法，考虑时域特征，做一维卷积；扩张系数增加感受野，保持分辨率不变；LSTM模块包括四层全连接层，起到进一步提取时序特征的作用，并输出步态辨识结果。这种方法与RNN相比，它不仅能够有效解决长序列处理能力依赖的问题，还能基于长短期记忆网络的特点来自行学习时序特征，哪些时序特征需要短期记忆，哪些需要长期记忆，进而在时序下对不同特征能够更好提取，提高了步态识别的准确率。基于临床步态分析（Clinical Gait Analysis，CGA）的人体步态数据库，对样本按一定的足够小的时序长度T划分，每段时序对应一个分类值，组成样本集。将样本集按照1:4来确定测试集和训练集，开展多种人体步态相位识别方法准确率对比测试，与现有技术中的K近邻算法、支持向量机、多层感知器神经网络、支持向量机前馈网络、支持向量机粒子群优化算法、门控循环神经网络-全连接网络、扩张卷积长短期记忆全连接神经网络进行对比，结果如表1所示。可知，本项目采用的智能算法明显优于其他几种方法，步态识别准确率提高约5个百分点。

表1

为了进一步挖掘步态信息的价值，增强设备的人机交互性，本发明基于Python编程语言与Kivy联合开发了功能强大、人机交互体验良好的移动终端App。通过移动终端App可以查询被测试者的步态详细数据和健康评估报告，还能够获得步态矫正和改善的合理建议。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (2)

1.一种基于多传感器数据融合技术的穿戴式智能化步态分析仪，其特征在于，包括：

主控板，以及与主控板连接的双导表面肌电传感器、惯性测量单元、足底薄膜压力传感器、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266 WiFi模块和OLED显示模块；

所述双导表面肌电传感器用于采集肌肉收缩产生的肌电信号；

所述惯性测量单元用于采集人体下肢运动时腿部关节的角度、角速度和角加速度信息；

所述足底薄膜压力传感器通过杜邦线与所述主控板相连，用于采集足底压力信息；

所述HC05蓝牙串口通信模块用于将采集到的足底压力信息发送给所述主控板；

所述GPS/北斗双模定位模块用于通过GPS定位系统和北斗定位系统同时获得步态分析仪的准确的位置信息，实现设备定位与查找功能；

所述ESP8266 WiFi模块用于所述主控板与网络服务器之间的通信；

所述主控板用于通过多传感器数据融合技术与D-S证据理论融合算法将所述双导表面肌电传感器、惯性测量单元、足底薄膜压力传感器采集的数据信息进行融合处理；

所述OLED显示模块用于将测得的足底压力、关节角度、角速度、角加速度和肌电信号实时地显示在屏幕上；

所述双导表面肌电传感器包含信号放大、调理、整流、滤波和归一化处理的电路板模块、双导联线和电极贴片；

所述足底薄膜压力传感器固定在运动鞋内鞋底的上表面与鞋垫的下表面之间，所述足底薄膜压力传感器的固定位置分别对应于人体足底的踇趾、内侧楔骨、外侧楔骨以及根骨处；

所述足底薄膜压力传感器采集到的足底压力信息经过信号放大及滤波整流电路和线性电压转换模块得到电压数据；再经过人工标定，得到电压值所对应的足底压力值；

所述步态分析仪还包括步态信息采集电路盒；

所述步态信息采集电路盒用于放置和固定电池、足底薄膜压力传感器的信号放大及滤波整流电路和线性电压转换模块PCB、双导表面肌电传感器PCB、主控板PCB、HC05蓝牙串口通信模块、GPS/北斗双模定位模块、ESP8266 WiFi模块；同时，在所述步态信息采集电路盒顶部镶嵌OLED显示模块，杜邦线通过步态信息采集电路盒侧面的扁平开孔将外部传感器与盒内PCB相连；步态信息采集电路盒底部两个扁平孔，用于供纹理防滑尼龙绳带穿过并将所述步态信息采集电路盒固定在小腿前骨上；

所述步态分析仪还与网络服务器和移动终端App进行通信连接；

所述移动终端App包括用户信息管理单元、实时步态显示单元、历史步态数据分析单元、设备定位与查找单元；

所述用户信息管理单元用于实现用户的注册与登录、设备的绑定与解绑功能；

所述实时步态显示单元用于实现足底压力的可视化显示与分析、绘制肢体关节角度的运动轨迹图、下肢运动的三维动图以及穿戴贴合度检测功能；

所述历史步态数据分析单元用于对足底压力大小进行分析，生成热力图；还用于对下肢康复训练效果进行评估，根据步态详细数据生成步态健康评估报告，并根据评估结果给出步态矫正建议；

所述设备定位与查找单元用于通过步态分析仪中GPS/北斗双模定位模块和蜂鸣器发出的报警信号对设备进行定位寻找；

所述用户信息管理单元包括用户注册单元、设备绑定单元、解除绑定单元；

所述用户注册单元用于输入用户个人信息；

所述设备绑定单元用于扫描并添加设备信息；

所述解除绑定单元用于删除设备信息；

所述主控板通过多传感器数据融合技术与D-S证据理论融合算法进行数据融合处理的过程包括，

在人体下肢单侧，将足底薄膜压力传感器采集的足底压力信号在数据层进行融合，提取1×4维度的压力特征向量；同时将双导表面肌电传感器的肌电信号在数据层进行融合，提取1×2维度的肌电特征向量；接着将惯性测量单元测量的XYZ三个方向的角度、角速度、角加速度信号在数据层进行融合，提取1×27维度的姿态特征向量；

将所述压力特征向量、肌电特征向量、姿态特征向量进行无量纲化预处理；

在下肢运动过程中，通过步态信息采集电路盒采集一维特征向量数据后，在网络服务器端，采用多传感器数据融合技术，对融合后的一维特征向量数据进行感知，通过考虑时域特征的基于扩张卷积的长短期记忆全连接深度神经网络智能算法进行步态识别；

通过考虑时域特征的基于扩张卷积的长短期记忆全连接深度神经网络智能算法模型进行步态识别的过程包括，

将采集的多传感器信息先经过高斯滤波降噪、去除漂移、抗干扰和归一化的预处理，再进行上采样，对数据进行扩张；

所述深度神经网络智能算法模型包括一维扩张卷积模块、LSTM模块和全连接神经网络模块，训练过程使用交叉熵CE作为损失函数，使用后向传播算法对模型进行优化；

所述一维扩张卷积模块包括六层卷积层，基础卷积核的大小为5，每层的扩张系数分别为：2，4，6，2，4，6，每一层卷积层都加入skipconnection结构；

所述一维扩张卷积模块是在时间维度上做卷积，首先是从66通道通过一次一维卷积变成128通道，起到上采样作用，后面六层一维扩张卷积则是保持128通道，通过卷积不断扩大感受野，得到初步特征图；

输入数据：T×66的序列，时序长度为T，特征向量的数量为66；

上采样层：128个长度为5的卷积核，扩张系数为1，输入为T×66，输出为T×128；

第一层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；

第二层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；

第三层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128；

第四层扩张卷积：128个长度为5的卷积核，扩张系数为2，输入为T×128，输出为T×128；

第五层扩张卷积：128个长度为5的卷积核，扩张系数为4，输入为T×128，输出为T×128；

第六层扩张卷积：128个长度为5的卷积核，扩张系数为6，输入为T×128，输出为T×128；

所述LSTM模块用于进一步提取时序特征；

输入为T×128，输出为T×128；

第一层全连接层：输入为1×128，输出维度为1×64；

第二层全连接层：输入为1×64，输出为1×32；

第三层全连接层：输入为1×32，输出为1×16；

第四层全连接层：输入为1×16，输出为1×8，8为分类数量；

所述全连接神经网络模块，在计算前将Hidden Embedding Resize形成长向量，再送入全连接神经网络，最后通过softmax层输出最终步态相位识别结果。

2.根据权利要求1所述的基于多传感器数据融合技术的穿戴式智能化步态分析仪，其特征在于，

所述网络服务器以多传感器系统采集到的信息作为输入，并运行深度神经网络智能算法来进行人体运动的步态识别；

所述网络服务器对移动终端App的传感器信息、扩张卷积的长短期记忆全连接的深度神经网络智能算法的步态识别结果和嵌入式系统的控制信息进行更新；

所述移动终端App向网络服务器发起步态信息或步态分析结果查询的请求，网络服务器收到请求信号后，向移动终端App发送步态信息或步态分析结果，同时将移动终端的请求信号复位。

Images