CN115644855A - 基于深度学习的异常步态分析方法、装置、设备及介质 - Google Patents

基于深度学习的异常步态分析方法、装置、设备及介质 Download PDF

Info

Publication number
CN115644855A
CN115644855A CN202211424056.0A CN202211424056A CN115644855A CN 115644855 A CN115644855 A CN 115644855A CN 202211424056 A CN202211424056 A CN 202211424056A CN 115644855 A CN115644855 A CN 115644855A
Authority
CN
China
Prior art keywords
gait
user
frequency
data
scale time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211424056.0A
Other languages
English (en)
Inventor
陈智
李巧勤
刘勇国
兰刚
张云
朱嘉静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202211424056.0A priority Critical patent/CN115644855A/zh
Publication of CN115644855A publication Critical patent/CN115644855A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了基于深度学习的异常步态分析方法、装置、设备及介质，该方法包括：基于智能手机获取用户步态数据，并对用户步态数据进行预处理；根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征；采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。本发明实现客观化的异常步态分析，提高步态量分析的准确性。

Description

基于深度学习的异常步态分析方法、装置、设备及介质
技术领域
本发明涉及步态分析技术领域，具体涉及基于深度学习的异常步态分析方法、装置、设备及介质。
背景技术
现有异常步态分析方法通常使用基于量表的方法对用户的异常步态进行分析，衡量用户步态异常程度。为了实现步态异常程度的客观量化，研究人员开发了利用可穿戴设备或智能手机的步态分析系统。公开号为“CN 107137089 A”，名称为“一种穿戴式传感鞋系统及步态评估方法”的现有技术通过穿戴式鞋传感器收集运动数据，计算标准化压力峰值、跨步时间、站立时间比、步距、步速等参数，实现步态评估。公开号为“CN 110916673 A”，名称为“一种步态监测的方法及智能设备”的现有技术将智能手机固定在脊柱L3位置处，评估步频、加速度平均幅值、步伐规则性、对称性和变异性等步态参数。另外，文献[I.E.Maachi,G.A.Bilodeau,W.Bouachir.Deep 1D-Convnet for accurate Parkinson diseasedetection and severity prediction from gait.Expert Systems with Applications,2020,143:1-7]提出一种基于一维卷积神经网络的步态评估方法，通过采集用户足底压力数据识别用户的异常步态严重程度。
然而，传统基于量表的异常步态分析方式存在以下问题：1)分析过程耗时长，效率低；2)分析过程需要专业评定人员实时监督和指导，对评定人员熟练度要求较高；3)分析结果受评定人员主观影响大，存在主观差异；4)分析过程需要在专业环境下进行，对设备场景要求高。
基于可穿戴设备的步态评估方法(如CN 107137089 A)需要单独设计传感器，成本较高，且设备的安装、调试过程较为繁琐，增加了用户的使用负担。基于智能手机的异常步态量化方法(如CN 110916673 A)通过手工提取传感器数据的时频域特征，此类方法的效果取决于手工提取的特征。现有基于深度学习的异常步态量化方法多只关注数据的单尺度和时域的特征，忽略了数据的多尺度特性以及频域特性。
发明内容
本发明目的在于提供基于深度学习的异常步态分析方法、装置、设备及介质，实现客观化的异常步态分析，提高步态量分析的准确性。
本发明通过下述技术方案实现：
第一方面，本发明提供了基于深度学习的异常步态分析方法，该方法包括：
基于智能手机获取用户步态数据，并对用户步态数据进行预处理；
根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；
将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。
进一步地，基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据；用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。
进一步地，智能手机固定在用户L2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；
用户在长度不少于10米的无障碍环境下进行数据获取。
进一步地，预处理包括：
采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；
采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。
进一步地，构建基于多尺度时频深度特征的异常步态分析模型，包括：
步骤A，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，多尺度时频特征ucr,t的表达式为：
Figure BDA0003944077280000021
其中，tanh()函数作为回声状态网络的储备池内部的激活函数；
Figure BDA0003944077280000022
为回声状态网络的输入层和储备池间的连接权值；
Figure BDA0003944077280000023
为储备池内部的连接权值；ucr,t-cr为尺度为cr的回声状态网络在时刻为t-cr时的储备池状态；
Figure BDA0003944077280000024
为规范化后的惯性传感器信号，
Figure BDA0003944077280000025
为频域系数，
Figure BDA0003944077280000026
表示对
Figure BDA0003944077280000027
和
Figure BDA0003944077280000028
进行串联操作。
步骤B，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d1、第二维时频深度特征d3和第三维时频深度特征d9；其中，第一维时频深度特征d1的步长为1，第二维时频深度特征d3的步长为3，第三维时频深度特征d9的步长为9；
步骤C，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示k＝w1d1+w3d3+w9d9，其中，w1、w3、w9分别为针对三个维尺度下的特征的注意力值；
步骤D，根据融合后的步态特征表示，得到基于多尺度时频深度特征的异常步态分析模型ri＝Softmax(ki)，其中ki为融合后的用户步态数据特征表示；ri为预测的异常步态值。
进一步地，该方法步骤C之后还包括：对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；
关系一致正则化约束项为：
Figure BDA0003944077280000031
其中，tr()表示对一个矩阵求迹；ki是第i个用户的步态数据特征表示；矩阵K＝(k1,k2,…,kN)；矩阵P＝Z-F，为与F关联的拉普拉斯矩阵；其中Z是一个对角矩阵，其第i个对角元
Figure BDA0003944077280000032
T表示转置；N表示用户数目；若两个用户的关键传感器序列接近，那么fij较大，表示
Figure BDA0003944077280000033
在损失lossm的权重则较大，则后续优化将重点关注如何使得ki与kj之间的距离较小，从而实现用户的步态数据特征表示接近的目的。
进一步地，构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：
Figure BDA0003944077280000034
其中，
Figure BDA0003944077280000035
是第i个用户的真实异常步态值，若该用户步态正常，那么
Figure BDA0003944077280000036
若该用户属于异常步态，则
Figure BDA0003944077280000037
第二方面，本发明又提供了基于深度学习的异常步态分析装置，该装置支持的基于深度学习的异常步态分析方法；该装置包括：
获取单元，用于基于智能手机获取用户步态数据；
预处理单元，用于对用户步态数据进行预处理；
异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；
模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；
异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；
输出单元，用于输出异常步态结果。
第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。
第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明基于深度学习的异常步态分析方法、装置、设备及介质，利用多尺度时频回声状态网络和卷积神经网络技术，实现高精度、客观化、低成本异常步态量化；1)使用智能手机采集数据，整个过程易于实施，方便用户在家庭环境中使用，能够有效降低医疗成本；2)克服了传统量表评定方法耗时长、主观性强、环境受限等缺陷，也克服了传统机器学习方法手工提取特征的缺陷；3)回声状态网络能够通过储备池提取出序列的特征表示，且输入层和储备池不需要训练，模型训练效率高；4)回声状态网络通过多尺度结构捕获序列的多尺度时频特征，能够更全面的描述序列数据特征，克服以往基于深度学习的步态评估方法中只能获取限于时域的单一尺度特征的不足；自适应多尺度融合机制引导模型关注对步态评分预测作用较大的尺度，关系正则化增加步态数据特征表示的辨别力，有助于提升异常步态量化准确度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明基于深度学习的异常步态分析方法流程图。
图2为本发明基于多尺度时频深度特征的异常步态分析模型框架图。
图3为本发明基于深度学习的异常步态分析装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本发明利用智能手机采集用户步态数据并提取关键序列数据；使用多尺度时频回声状态网络对多变量时间序列进行建模，获取步态的多尺度时频特征；使用卷积神经网络提取回声状态网络储备池表示的深度特征；构建自适应多尺度融合机制，使用注意力机制对不同尺度时频特征进行加权融合，实现多尺度信息融合；通过关系正则化约束具有相似传感器数据的用户具有相似的步态数据特征表示。进而构建的基于多尺度时频深度特征的异常步态分析模型，实现客观化的异常步态分析，提高步态量分析的准确性。
实施例1
如图1所示，本发明基于深度学习的异常步态分析方法，该方法包括：
步骤1，基于智能手机获取用户步态数据；基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据，采样频率20Hz。用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。
具体地，智能手机固定在用户L2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；用户在长度不少于10米的无障碍环境下进行数据测试获取。首先，用户坐在椅子上保持放松状态10秒，调整自身状态，准备测试。其次，用户起身向前直行10米，转身返回椅子处，然后坐下，保持放松状态10秒，测试过程结束。
步骤2，对用户步态数据进行预处理；
使用矩阵X表示智能手机采集的原始数据为：
Figure BDA0003944077280000051
其中，M表示采集数据包括的变量数目，B表示采集数据的序列长度,
Figure BDA0003944077280000052
在本发明方案中共9个惯性传感器数据，因此M＝9。B的值取决于分析持续时间。xm,t表示在时刻t传感器m采集到的数据。X可以简化表示为X＝(x1,…,xB)，其中xt＝(x1,t,…,xM,t)T,
Figure BDA0003944077280000053
表示手机在时刻t采集的惯性传感器数据。
具体地，预处理包括：
(1)采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；
关键序列提取的目的是滤除原始数据中对步态评估分析无用的部分，提高处理效率。本发明方案使用阈值法提取关键序列。
首先，计算矩阵X的一阶差分：
X′＝(x2-x1,…,xB-xB-1)
＝(x′1,…,x′B-1)
其中
Figure BDA0003944077280000054
x′t＝xt+1-xt＝(x1,2-x1,1,…,xM,B-xM,B-1)T，
Figure BDA0003944077280000055
然后，计算X′每个时刻的绝对幅度：
|X′|＝(||x′1||2,…,||x′B-1||2)
其中，||x′t||2表示x′t的二范数。
设定加速度阈值TH，将智能手机佩戴在用户身上，让用户静坐30秒，取这30秒中最大的加速度作为TH的值。从t＝1时刻开始向t＝B时刻依次考虑，若||x′t||2>TH，那么将该时刻记为开始时刻ts；然后从t＝B时刻开始向t＝1时刻依次考虑，若||x′t||2>TH，那么将该时刻记为结束时刻te。对异常步态量化有用的信息则为ts到te之间的序列，称为关键序列，提取的关键序列数据段表示为：
Figure BDA0003944077280000061
(2)采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。
具体地，采用z规范化法对关键序列数据中每个惯性传感器数据xm进行归一化处理。首先计算均值μm和标准差σm：
Figure BDA0003944077280000062
Figure BDA0003944077280000063
其中，sqrt()为开根号操作。
z规范化后的数据为：
Figure BDA0003944077280000064
规范化后的关键序列表示为：
Figure BDA0003944077280000065
步骤3，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；
本发明的基于多尺度时频深度特征的异常步态分析模型构建过程为：根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；最后基于特征对softmax函数得到用户异常步态值，实现异常步态分析。
构建及训练细节包括：
步骤3.1，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征；
回声状态网络由输入层、储备池和输出层三个部分组成。在训练阶段，输入权值和储备池层权值都是随机初始化和固定的，输出权值可通过线性回归求解。回声状态网络的更新公式为：
Figure BDA0003944077280000071
其中
Figure BDA0003944077280000072
表示在时刻t储备池的状态，初始储备池状态
Figure BDA0003944077280000073
是全为0的向量，D为储备池的大小；
Figure BDA0003944077280000074
为回声状态网络的输入层和储备池间的连接权值；
Figure BDA0003944077280000075
为储备池内部的连接权值；权值Win和Wres随机初始化，不需要进行训练；
Figure BDA0003944077280000076
表示规范化后的传感器信号；tanh()函数作为储备池内部的激活函数。
为获取时间序列数据中的多尺度特性，本发明方案利用多时间尺度回声状态网络的储备池提取传感器信号的特征，如图2所示。尺度为cr的回声状态网络储备池状态更新公式为：
Figure BDA0003944077280000077
为同时利用时域特征和频域特征，本发明方案对规范化后的传感器信号进行频域特征提取。针对时刻t和尺度cr，构建子序列
Figure BDA0003944077280000078
其中J是满足t-J×cr≥ts的最小整数。采用离散傅里叶变换得到该子序列的频域系数
Figure BDA0003944077280000079
Figure BDA00039440772800000710
其中DFT()表示离散傅里叶变换。融合时域和频域特征作为回声状态网络的输入，得到尺度为cr的回声状态网络储备池状态更新公式，即多尺度时频特征ucr,t的表达式为：
Figure BDA00039440772800000711
其中，tanh()函数作为回声状态网络的储备池内部的激活函数；
Figure BDA00039440772800000712
为回声状态网络的输入层和储备池间的连接权值；
Figure BDA00039440772800000713
为储备池内部的连接权值；ucr,t-cr为尺度为cr的回声状态网络在时刻为t-cr时的储备池状态；
Figure BDA00039440772800000714
为规范化后的惯性传感器信号，
Figure BDA00039440772800000715
为频域系数，
Figure BDA00039440772800000716
表示对
Figure BDA00039440772800000717
和
Figure BDA00039440772800000719
进行串联操作。
该回声状态网络得到的储备池状态表示为
Figure BDA00039440772800000718
本发明时间尺度cr分别设置为1，3和9，则对应储备池状态分别表示为U1、U3和U9。
步骤3.2，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d1、第二维时频深度特征d3和第三维时频深度特征d9；其中，第一维时频深度特征d1的步长为1，第二维时频深度特征d3的步长为3，第三维时频深度特征d9的步长为9；
使用卷积层神经网络分别提取每个储备池状态U1、U3和U9的深度特征。本发明方案卷积神经网络包含3个卷积模块，每个卷积模块包括一个卷积阶段、一个修正线性激活阶段和一个池化阶段。三个卷积模块的卷积核数目分别为32，64，64，卷积步长为1；池化阶段采用步长为2的最大池化。在最后一个池化操作完成后，使用全局平均池化分别得到U1、U3和U9的64维深度特征向量d1、d3和d9。
步骤3.3，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示；
本发明使用注意力机制融合多尺度时频深度特征。定义注意力权重
Figure BDA0003944077280000081
分别计算三个尺度的时频特征的注意力值：
α1＝Wattd1
α3＝Wattd3
α9＝Wattd9
Figure BDA0003944077280000082
Figure BDA0003944077280000083
Figure BDA0003944077280000084
其中，w1、w3、w9分别为针对三个维尺度下的特征的注意力值。注意力权重Watt通过学习得到。基于注意力值融合多尺度时频深度特征，得到如下步态特征表示
Figure BDA0003944077280000085
即融合后的用户步态数据特征表示：
k＝w1d1+w3d3+w9d9
步骤3.4，对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；
首先，计算两个样本在惯性传感器信号空间中的相似性：
Figure BDA0003944077280000086
其中Xi和Xj分别是第i个用户和第j个用户规范化后的关键传感器序列，||·||Frob表示矩阵的Frobenius范数，fij表示第i个用户和第j个用户在传感器信号空间的相似性。使用F表示所有样本在传感器信号空间中的相似性矩阵：
Figure BDA0003944077280000087
其中N是用户数目。具有相似关键传感器序列的用户，其对应的步态数据特征表示也应该相似。因此，本发明方案采用的关系一致正则化约束项为：
Figure BDA0003944077280000091
其中，tr()表示对一个矩阵求迹；ki是第i个用户的步态数据特征表示；矩阵K＝(k1,k2,…,kN)；矩阵P＝Z-F，为与F关联的拉普拉斯矩阵；其中Z是一个对角矩阵，其第i个对角元
Figure BDA0003944077280000092
T表示转置；若两个用户的关键传感器序列接近，那么fij较大，表示
Figure BDA0003944077280000093
在损失lossm的权重则较大，则后续优化将重点关注如何使得ki与kj之间的距离较小，从而实现用户的步态数据特征表示接近的目的。
步骤3.5，根据融合后的步态特征表示，通过Softmax层得到步态异常值；
对于第i个用户，Softmax层的输入为用户步态数据特征表示ki，输出是预测的异常步态值ri。异常步态值ri为一个范围在[0,1]，ri越接近0，表明该用户的步态越接近正常步态，ri越接近1，表明该用户的步态越有可能是异常步态。经过全连接层处理之后的输出，即基于多尺度时频深度特征的异常步态分析模型为：
ri＝Softmax(ki)
其中，ki为融合后的用户步态数据特征表示；ri为预测的异常步态值。
步骤3.6，模型损失函数：构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：
Figure BDA0003944077280000094
其中，
Figure BDA0003944077280000095
是第i个用户的真实异常步态值，若该用户步态正常，那么
Figure BDA0003944077280000096
若该用户属于异常步态，则
Figure BDA0003944077280000097
步骤3.7，反向传播迭代训练；
基于步骤3.6得到的模型输出得分与实际得分的误差值，使用梯度下降的误差反向传播算法实现对卷积神经网络权值参数Wconv的迭代更新，梯度下降更新公式为：
Figure BDA0003944077280000098
其中
Figure BDA0003944077280000099
表示第epo次迭代时卷积神经网络的权值参数，η是学习率。
对于注意力权重参数Watt的训练，梯度下降更新公式为：
Figure BDA0003944077280000101
其中
Figure BDA0003944077280000102
表示第epo次迭代时，注意力权值参数。
本发明中η设置为0.0001，经过2000次迭代后，完成模型参数训练，对网络结构和参数进行保存。
以上，步骤3.6和步骤3.7是用于模型训练使用。
步骤4，将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。
具体地，将待分析的用户步态数据，将其进行与步骤1和步骤2相同的数据采集、预处理，并输入到步骤3训练好的模型ri＝Softmax(ki)中，自动生成用户异常步态结果。
具体实施时，经过上述步骤1采集100名步态正常用户和100名步态异常用户的步态样本，经步骤2预处理，通过步骤3构建出基于多尺度时频深度特征的异常步态分析模型并完成训练过程得到异常步态量化模型M。对于步行功能等级未知的受试用户A，通过步骤1、2采集步行过程中的传感器数据并预处理，将预处理后数据输入至模型M，输出得到受试用户A的步态量化结果，完成异常步态量化。该量化过程可以在家庭环境中实施，整个过程无需医师的参与，过程简单、快速、客观。
实施例2
如图3所示，本实施例与实施例1的区别在于，本实施例又提供了基于深度学习的异常步态分析装置，该装置支持实施例1的基于深度学习的异常步态分析方法；该装置包括：
获取单元，用于基于智能手机获取用户步态数据；
预处理单元，用于对用户步态数据进行预处理；
异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；
模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；
异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；
输出单元，用于输出异常步态结果。
其中，各个单元的执行过程按照实施例1所述的基于深度学习的异常步态分析方法流程步骤执行即可，此实施例中不再一一赘述。
同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。
同时，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的异常步态分析方法，其特征在于，该方法包括：
基于智能手机获取用户步态数据，并对所述用户步态数据进行预处理；
根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征；采用卷积神经网络对所述多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合所述多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；
将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。
2.根据权利要求1所述的基于深度学习的异常步态分析方法，其特征在于，所述基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据；所述用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。
3.根据权利要求2所述的基于深度学习的异常步态分析方法，其特征在于，所述智能手机固定在用户L2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；
用户在长度不少于10米的无障碍环境下进行数据获取。
4.根据权利要求1所述的基于深度学习的异常步态分析方法，其特征在于，所述预处理包括：
采用阈值法，对所述用户步态数据进行关键序列提取，得到关键序列数据段；
采用z规范化法，对所述关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。
5.根据权利要求1所述的基于深度学习的异常步态分析方法，其特征在于，所述构建基于多尺度时频深度特征的异常步态分析模型，包括：
步骤A，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，所述多尺度时频特征ucr,t的表达式为：
Figure FDA0003944077270000011
其中，tanh()函数作为回声状态网络的储备池内部的激活函数；
Figure FDA0003944077270000012
为回声状态网络的输入层和储备池间的连接权值；
Figure FDA0003944077270000013
为储备池内部的连接权值；ucr,t-cr为尺度为cr的回声状态网络在时刻为t-cr时的储备池状态；
Figure FDA0003944077270000014
为规范化后的惯性传感器信号，
Figure FDA0003944077270000015
为频域系数，
Figure FDA0003944077270000016
表示对
Figure FDA0003944077270000017
和
Figure FDA0003944077270000018
进行串联操作。
步骤B，采用卷积神经网络对所述多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；所述多尺度时频深度特征表示为第一维时频深度特征d1、第二维时频深度特征d3和第三维时频深度特征d9；
步骤C，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示k＝w1d1+w3d3+w9d9，其中，w1、w3、w9分别为针对三个维尺度下的特征的注意力值；
步骤D，根据所述融合后的步态特征表示，得到基于多尺度时频深度特征的异常步态分析模型ri＝Softmax(ki)，其中ki为融合后的用户步态数据特征表示；ri为预测的异常步态值。
6.根据权利要求5所述的基于深度学习的异常步态分析方法，其特征在于，该方法步骤C之后还包括：对所述融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；
所述关系一致正则化约束项为：
Figure FDA0003944077270000021
其中，tr()表示对一个矩阵求迹；ki是第i个用户的步态数据特征表示；矩阵K＝(k1,k2,…,kN)；矩阵P＝Z-F，为与F关联的拉普拉斯矩阵；其中Z是一个对角矩阵，其第i个对角元
Figure FDA0003944077270000022
Figure FDA0003944077270000028
表示转置；N表示用户数目；若两个用户的关键序列接近，那么fij较大，表示
Figure FDA0003944077270000023
在损失lossm的权重则较大，则后续优化将关注如何使得ki与kj之间的距离较小，从而实现用户的步态数据特征表示接近。
7.根据权利要求5所述的基于深度学习的异常步态分析方法，其特征在于，所述构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：
Figure FDA0003944077270000024
其中，
Figure FDA0003944077270000025
是第i个用户的真实异常步态值，若该用户步态正常，那么
Figure FDA0003944077270000026
若该用户属于异常步态，则
Figure FDA0003944077270000027
8.基于深度学习的异常步态分析装置，其特征在于，该装置包括：
获取单元，用于基于智能手机获取用户步态数据；
预处理单元，用于对所述用户步态数据进行预处理；
异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对所述多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合所述多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；
模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；
异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；
输出单元，用于输出异常步态结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于深度学习的异常步态分析方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的异常步态分析方法。
CN202211424056.0A 2022-11-15 2022-11-15 基于深度学习的异常步态分析方法、装置、设备及介质 Pending CN115644855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211424056.0A CN115644855A (zh) 2022-11-15 2022-11-15 基于深度学习的异常步态分析方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211424056.0A CN115644855A (zh) 2022-11-15 2022-11-15 基于深度学习的异常步态分析方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115644855A true CN115644855A (zh) 2023-01-31

Family

ID=85021735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211424056.0A Pending CN115644855A (zh) 2022-11-15 2022-11-15 基于深度学习的异常步态分析方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115644855A (zh)

Similar Documents

Publication Publication Date Title
CN110020623B (zh) 基于条件变分自编码器的人体活动识别系统及方法
Xu et al. A novel ensemble of random forest for assisting diagnosis of Parkinson's disease on small handwritten dynamics dataset
CN109065027B (zh) 语音区分模型训练方法、装置、计算机设备及存储介质
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111354338B (zh) 基于pso卷积核优化稀疏迁移学习的帕金森语音识别系统
CN113012815B (zh) 一种基于多模态数据的帕金森健康风险评估方法
CN108399434B (zh) 基于特征提取的高维时间序列数据的分析预测方法
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN111141653B (zh) 一种基于神经网络的隧道渗漏速率预测方法
CN114202791A (zh) 面部情绪识别模型的训练方法、情绪识别方法及相关设备
CN113033665A (zh) 样本扩展方法、训练方法和系统、及样本学习系统
CN111292851A (zh) 数据分类方法、装置、计算机设备和存储介质
CN111933148A (zh) 基于卷神经网络的年龄识别方法、装置及终端
CN116741148A (zh) 一种基于数字孪生的语音识别系统
CN111401105A (zh) 一种视频表情识别方法、装置及设备
CN117598700B (zh) 智能化血氧饱和度检测系统及方法
CN114334162A (zh) 疾病患者智能预后预测方法、装置、存储介质及设备
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN115994713B (zh) 一种基于多源数据的操作训练效果评估方法及系统
CN109187898B (zh) 水产养殖环境中水质氨氮含量的软测量方法及装置
CN115644855A (zh) 基于深度学习的异常步态分析方法、装置、设备及介质
CN115376638A (zh) 一种基于多源健康感知数据融合的生理特征数据分析方法
CN114510956A (zh) 基于黎曼空间量化的多类别运动想象脑电信号识别方法
CN111209901A (zh) 一种面部识别方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination