CN113780223A - 假肢的步态识别方法、装置及存储介质 - Google Patents
假肢的步态识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113780223A CN113780223A CN202111093657.3A CN202111093657A CN113780223A CN 113780223 A CN113780223 A CN 113780223A CN 202111093657 A CN202111093657 A CN 202111093657A CN 113780223 A CN113780223 A CN 113780223A
- Authority
- CN
- China
- Prior art keywords
- representing
- gait
- information
- layer
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 210000004027 cell Anatomy 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 210000003414 extremity Anatomy 0.000 description 29
- 238000011176 pooling Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 10
- 230000007787 long-term memory Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 238000002266 amputation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种假肢的步态识别方法、装置及存储介质。其中，该方法包括：获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息；对所获取的实时步态信息进行数据预处理；基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。本发明解决了假肢步态识别实时性不高、准确性不高的技术问题。
Description
技术领域
本发明涉及智能穿戴领域，具体而言，涉及一种假肢的步态识别方法、装置及存储介质。
背景技术
下肢截肢会给患者行动造成障碍，尤其是膝关节以上部位截肢会严重影响其行动能力，给其家庭和社会带来沉重的负担。佩戴性能优异的假肢能极大地提高截肢患者的行动能力，提高患者的社会活动参与度。
步态识别不仅可以为康复训练提供重要的分析依据，还可以为假肢提供运动信号，使之做出相应的调整，提高使用者的舒适感。当前市场上的的假肢设备功能单一、舒适度不高，无法满足使用者的日常需求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种假肢的步态识别方法、装置及存储介质，以至少解决假肢步态识别实时性不高、准确性不高的技术问题。
根据本发明实施例的一个方面，提供了一种假肢的步态识别方法，所述方法包括：获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息；对所获取的实时步态信息进行数据预处理；基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
根据本发明实施例的另一方面，还提供了一种假肢的步态识别装置，包括：获取模块，被配置为获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息；预处理模块，被配置为对所获取的实时步态信息进行数据预处理；识别模块，被配置为基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，其上存储有程序，所述程序在被执行时，使得所述计算机执行如上所述的方法。
在本发明实施例中，把CNN和LSTM融合在一起，充分利用各自的优势来完成人体的行为识别。CNN的优势在于可以高效的进行特征提取，将提取出来的特征映射到特征图，而LSTM的优势在于构建出一个长短期记忆网络的模型，通过前一时刻和后一时刻的状态来更加精准的判断出当前时刻的状态，然后将结果输送给Softmax层，进行最后的分类，解决了假肢步态识别实时性不高、准确性不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的假肢的步态识别方法的流程图一；
图2是根据本发明实施例的假肢的步态识别方法的流程图二；
图3是根据本发明实施例的假肢的步态识别方法的流程图三；
图4是根据本发明实施例的假肢的步态识别方法的流程图四；
图4A是根据本发明实施例的LSTM结构单元的示意图；
图5是根据本发明实施例的假肢的步态识别装置的结构示意图；
图6是根据本发明实施例的假肢的步态识别系统的结构示意图；
图7是根据本发明实施例的假肢的步态识别系统的结构示意图；
图8是根据本发明实施例的假肢的步态识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
概述
卷积神经网络在图像识别领域出色的分类效果，促进了卷积神经网络在人体状态识别等领域的发展。在基于加速度计、陀螺仪传感器的人体状态识别方面，运用神经网络可以获得较好的性能。
加速度计所测量的x，y，z轴三维数据，相当于图像识别中的RGB三个通道，通过识别三轴加速度计的图形特征，进行特征提取、特征比对，来识别人体的运动状态。
卷积神经网络由于其池化操作、局部连接、权重共享和多层结构等众多出色功能应用在了诸多领域，对于庞大的人体动态行为数据集，经过训练的卷积神经网络可以将具有相同行为特征但有某些局部差异的行为归类，来达到识别行为的效果。
而组合神经网络由卷积神经网络(CNN)和长短期记忆网络(LSTM) 融合而成，CNN的优势在于可以高效的进行特征提取，将提取出来的特征映射到特征图。由于假肢穿戴者的运动步态是连续的，而LSTM的优势在于构建出一个长短期记忆网络的模型，通过前一时刻和后一时刻的状态来更加精准的判断出当前时刻的状态，然后将结果输送给Softmax层，进行最后的分类，这种组合方式和单一的神经网络相比有着明显的优势。其中，softmax是指归一化的指数函数，作用是将多分类的结果以概率的形式展现出来。
实施例1
本申请提供了一种假肢的步态识别方法，如图1所示，该方法包括以下步骤：
步骤S102，获取假肢穿戴者的实时步态信息。
实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息。实施步态信息可以从设置在假肢上的惯性传感器、设置在假肢与人体的连接部位上的压力传感器以及足底的压力传感器中获取。
实时步态信息可以包括以下至少之一：假肢的运动姿态信息、足底压力数据信息、假肢的压力数据信息和假肢的行走步频信息。
步骤S104，对所获取的实时步态信息进行数据预处理。
步骤S106，基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
组合神经网络模型是基于卷积神经网络和长短期记忆网络融合而成的，并且，所述组合神经网络模型由输入层、卷积层、LSTM层、全连接层、softmax层、输出层组成。
卷积神经网络被配置为对预处理后的实时步态信息进行步态特征提取；长短期记忆网络被配置为比较前一时刻的步态特征和当前时刻的实时步态特征，并基于比较结果判断当前时刻的步态。
组合神经网络模型被构建之后，还需要进一步地被训练。例如，获取相应的历史步态信息，其中，所述历史步态信息标注有时间戳；将不同的所述历史步态信息进行数据处理分析，将不同的行为活动对应的不同的历史步态信息打上对应标签，形成数据标签对集；将所述数据标签对集分为训练集和测试集，并将所述训练集输入到所述组合神经网络模型进行训练；将所述测试集输入训练后的所述组合神经网络模型中，以评估所述组合神经网络模型的分类效果。
在组合神经网络模型被训练之后，将假肢穿戴者的实时步态数据导入到训练好的组合神经网络模型进行线上实时分类，以进行评估。
实施例2
本申请提供了一种步态识别方法，如图2所示，该方法包括以下步骤：
步骤S201，采集并传送足底压力信息和目标行走步频信息。
利用穿戴于假肢接受腔内的传感器和足底的压力传感器鞋垫采集目标行走步频信息和行走时的足底压力信息，并将采集到的数据信息标注时间戳然后通过无线通讯模块传送至上位机。
步骤S202，处理采集到的足底压力信息和目标行走步频信息。
将采集到的目标行走步频信息和足底压力信息进行数据处理分析，将不同的行为活动打上对应标签，形成数据标签对集。
步骤S203，搭建步态识别组合神经网络模型。
本实施例中的神经网络模型由CNN-LSTM组合组成，由输入层、卷积层、LSTM层、全连接层、softmax层、输出层组成。Dropout rate设为0.5，激活函数为Relu，其中，Dropout是防止过拟合的一种方法， Dropout rate是设置的概率，Relu是激活函数中的一种，其表达式为 f(x)＝max(0，x)。
1)搭建卷积神经网络模型。
输入层：输入层是整个神经网络的输入，在人体姿态识别中输入的数据是经过预处理的加速度计测量的x，y，z轴三维数据，相当于图像识别中的RGB三个通道。在数据输入之前，要进行预处理，目的是为了减少训练时长，加快网络的收敛速度。常见的处理方式有去均值、归一化、SVD 降维等方法。
卷积层：卷积层是构建卷积神经网络的核心，主要作用是提取图像的特征，将神经网络中的每一块内容进行更深入的分析从而得到抽象程度更高的特征。
可以通过以下公式搭建卷积层，即构建卷积神经网络的核心，用于提取图像的特征：
其中，
表示第I+1层输出的第j个通道特征，
表示前一层到当前层的第i个通道的特征图的第j个卷积核，
表示第I层输出的第i 个通道的特征，
表示第I+1层中j个通道的卷积核偏置。
其中，x表示通道特征，j表示通道特征编号，I表示神经网络层的编号，n表示第I层卷积层的特征图通道数，i表示通道编号，k表示卷积核，b表示偏置。
池化层：池化层位于连续的卷积层之间，通过池化层可以进一步减少全连接层中参数的节点和压缩数据，降低过拟合的程度，但是不会改变原有的特征，其是一种降维的方式。常见的池化方式有均值池化和最大值池化。均值池化方式是在每个池化窗口的对应区域，取其平均值，作为池化后的值。最大值池化方式是在每个池化窗口的对应区域，取其最大值，作为池化后的值。
全连接层：在经过多轮的卷积和池化处理后，在卷积神经网络的最后一般会由1至2个全连接层给出最后的分类结果，被提取出的含有更高信息量的类型特征，最后需要全连接层来完成分类结果。
Softmax层：Softmax层主要用于分类问题，经过处理后可以得到当前样例中属于不同种类的概率分布情况，以达到更准确的分类。
可以采用以下两个公式进行概率分布情况计算：
其中，Si表示第i个神经元的概率输出值，
表示Zi的指数函数， K表示预测类别个数，
表示zk的指数函数，zi表示全连接层的第i个输出，xij表示全连接层的输入，wij表示第i个神经元的第j个权重，b表示偏置值，j表示通道特征编号，Zk表示所述全连接层的第k个输出，其中，第i个神经元对应第i个输出，i是神经元的编号，也是全连接层的编号。
过拟合处理：过拟合是一种完全记忆性的训练模式，当出现新的状态时，往往会导致误判。主要表现为模型在训练集上的误差很小，在测试集上的误差很大。在模型进行训练的时候，dropout层会按照一定的随机概率将隐藏的神经元节点置于不活跃的状态，减少隐藏的神经元节点之间的相互作用和复杂的共适应性，在训练的时候就会很好的减少过拟合现象，增加鲁棒性，提高泛化活力。
2)搭建长短期记忆网络(LSTM)。
LSTM是RNN(循环神经网络)的一种延伸，循环神经网络可以有效的处理时间序列上的问题，但是随着训练模型的深入，时间序列的变长， RNN就不再满足要求，这时就需要引入LSTM来补充解决这个问题。在日常生活中，人的行为动作都是连续的，而且是不能跃变的。比如当前的动作是慢跑，那么前一个动作和后一个动作也有极大的可能是慢跑。因此在人体行为识别中，单纯的依靠加速度计的三轴加速度数据进行提取特征来分类会产生一定的误差，而LSTM会很好的弥补这一缺陷，会考虑到前后时序的动作，并长期储存记忆。
LSTM的单元结构包含输入门，遗忘门和输出门，其中起关键性作用的就是遗忘门。输入门的作用是控制新的信息流的加入，输出门用来控制输出的值，并确定下一个隐藏状态，遗忘门的作用是来决定要丢弃或者要保留哪些信息。
以下为其参数公式和单元结构。
ft＝σ(wxfxt+whfht-1+wcfct-1+bf) (4)
it＝σ(wxixt+whiht-1+wcict-1+bi) (5)
ot＝σ(wxoxt+whoht-1+wcoct-1+bo) (6)
ct＝ft·ct-1+it·tanh(wxcxt+whcht-1+bc) (7)
ht＝ot·tanh(ct) (8)
其中，ft表示遗忘门，σ表示sigmoid函数，wxf表示第一遗忘门权重参数，xt表示输入，whf表示第二遗忘门权重参数，ht-1表示t-1时刻隐藏层的输出，wcf表示第三遗忘门权重参数，ct-1表示t-1时刻的记忆单元状态，bf表示遗忘门偏置参数，it表示输入门，wxi表示第一输入门权重参数， whi表示第二输入门权重参数，wci表示第三输入门权重参数，bi表示第一输入门偏置参数，ot表示t时刻输出的细胞状态，wxo表示第一输出门权重参数，who表示第二输出门权重参数，wco表示第三输出门权重参数，bo表示输出门偏置参数，ct表示t时刻的记忆单元状态，tanh表示激活函数， wxc表示第四输入门权重参数，whc表示第五输入门权重参数，bc表示第二输入门偏置参数，ht表示t时刻隐藏层的输出。权重值需要通过训练获得。
步骤S204，对组合神经网络模型进行训练和测试。
将得到的数据标签对集分为训练集和测试集，其中，训练集送入搭建的组合神经网络模型进行训练，训练完成后利用测试集评估组合神经网络模型的分类效果。
步骤S205，对实时数据进行分类和评估。
将假肢穿戴者的实时数据导入到训练好的组合神经网络模型进行线上实时分类，以进行评估。
本实施例是把CNN和LSTM融合在一起，充分利用各自的优势来完成人体的行为识别。CNN的优势在于可以高效的进行特征提取，将提取出来的特征映射到特征图，而LSTM的优势在于构建出一个长短期记忆网络的模型，通过前一时刻和后一时刻的状态来更加精准的判断出当前时刻的状态，然后将结果输送给Softmax层，进行最后的分类。
实施例3
本申请提供了另一种步态识别方法，如图3所示，该方法包括以下步骤：
步骤S301，初始化网络模型。
1)搭建卷积神经网络模型。
采用AlexNet搭建搭建卷积神经网络模型。AlexNet包含8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
AlexNet第一层中的卷积窗口形状是11×11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大10倍以上，ImageNet 图像的物体占用更多的像素，所以需要更大的卷积窗口来捕获物体。第二层中的卷积窗口形状减小到5×5，之后全采用3×3。此外，第一、第二和第五个卷积层之后都使用了窗口形状为3×3、步幅为2的最大池化层。
紧接着最后一个卷积层的是两个输出个数为4096的全连接层。这两个巨大的全连接层带来将近1GB的模型参数。
AlexNet将sigmoid激活函数改成了更加简单的ReLU激活函数。由于当sigmoid激活函数输出极接近0或1时，这些区域的梯度几乎为 0，从而造成反向传播无法继续更新部分模型参数；而ReLU激活函数在正区间的梯度恒为1。因此，若模型参数初始化不当，sigmoid函数可能在正区间得到几乎为0的梯度，从而令模型无法得到有效训练。
2)搭建长短期记忆网络
长短期记忆网络——通常被称为LSTM，是一种特殊的RNN，能够学习长期依赖性。LSTM用来避免长期依赖性问题。
公共LSTM单元由单元，输入门，输出门和忘记门组成。该单元记住任意时间间隔内的值，并且三个门控制进出单元的信息流。
LSTM网络非常适合基于时间序列数据进行分类，处理和预测，因为在时间序列中的重要事件之间可能存在未知持续时间的滞后。LSTM是为了处理在训练传统RNN时可能遇到的爆炸和消失的梯度问题。对于间隙长度的相对不敏感性是LSTM相对于RNN，隐马尔可夫模型和其他序列学习方法在许多应用中的优势。
在时间t时，假设收到一个新的输入。将长期记忆和工作记忆从前两个时间步传递到当前时间步，进行更新。
首先，需要知道哪些长期记忆，哪些需要继续记忆，并且需要知道哪些长期记忆需要舍弃。因此，使用新的输入和工作记忆来学习0和1之间 n个数字的记忆门，各个记忆门决定某长期记忆元素需要保留的程度。(1 表示保存，0表示完全遗忘)。
接下来，需要计算可以从输入中学习的信息，也就是长期记忆的候选添加记忆。φ是一个激活函数，通常被选作为tanh。在将候选记忆添加到长期记忆中之前，需要学习候选记忆的哪些部分值得使用和保存。
最后，更新工作记忆，将长期记忆聚焦到能立刻发挥作用的信息上。
步骤S302，数据集及标签分类。
将采集到的目标行走步频信息和足底压力信息进行数据处理分析，将不同的行为活动打上对应标签，形成数据标签对集。
步骤S303，样本的网络输出值。
步骤S304，误差计算即反向传播。
误差反向传播算法建立在梯度下降法的基础上。误差反向传播网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。
反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。
步骤S305，网络参数更新。
网络参数更新之后，执行步骤S310。
步骤S306，硬件电路设备。
设置硬件电路设备，比如压力传感器和惯性传感器等。
步骤S307，传感器。
在足底设置传感器，并在假肢与人体接触部设置惯性传感器。通过这些传感器，采集目标行走步频信息和足底压力信息。
步骤S308，假肢穿戴者的惯性器件数据和压力数据信息。
将将采集到的目标行走步频信息和足底压力信息传送给上位机。
步骤S309，数据预处理。
上位机对接收到的目标行走步频信息和足底压力信息进行数据处理分析。
步骤S310，确认网络模型。
步骤S311，步态特征提取。
基于传感器传送的假肢穿戴者的实时数据，提取假肢穿戴者的步态特征。
步骤S312，识别分类。
将所提取的步态特征，导入到训练好的组合神经网络模型，进行线上实时分类，以进行评估。
本实施例提供了一种实时性高、准确性高的基于CNN-LSTM步态识别方法，对假肢穿戴的舒适度提供了有利的数据支持。
实施例4
本申请提供了一种神经网络训练方法的流程图，如图4所示，该方法包括以下步骤：
步骤S401，获取假肢穿戴者的运动数据集。
假肢穿戴者的足底上设置有压力传感器，假肢与人体连接部也设置有压力传感器，假肢上还设置有多个惯性传感器，以采集假肢穿戴者的运动数据。
步骤S402，卷积层。
将采集到的运动数据输入到卷积层。
卷积层是卷积神经网络的核心，在神经网络中可以理解为一种可以提取图像特征的运算。
卷积层的卷积核为一个过滤器，原图像经过卷积核的过滤后就可以得到这个图像的特征图谱。使用不同的卷积核就可以得到图像的不同特征，，可以使用卷积核过滤掉运动数据集中的一些不重要的细节，只保留像姿态特征这种有用的特征。
步骤S403，LSTM层。
如图4A所示，LSTM的单元结构包含输入门，遗忘门和输出门，其中起关键性作用的就是遗忘门。输入门的作用是控制新的信息流的加入，输出门用来控制输出的值，并确定下一个隐藏状态，遗忘门的作用是来决定要丢弃或者要保留哪些信息。
其中，在图4A中，sigmoid、tanh都是激活函数。LSTM中的三个门(输入门、输出门、遗忘门)是用的sigmoid作为激活函数，生成候选记忆时候用的是tanh，值域在-1～1。sigmoid激活函数，主要方便把门的开度限制在0～1，它既不能让信息完全不流过，也不能让信息流完全通过门。
步骤S404，全连接层。
在经过多轮的卷积和池化处理后，在卷积神经网络的最后一般会由1 至2个全连接层给出最后的分类结果，被提取出的含有更高信息量的类型特征。
步骤S405，softmax分类器。
Softmax层主要用于分类问题，经过处理后可以得到当前样例中属于不同种类的概率分布情况，以达到更准确的分类。
步骤S406，判断是否达到要求。
通过混淆矩阵、测试准确率判断分类结果是否在精度范围之内。如在精度可控范围内，则是达到要求。
步骤S407，应用上线。
神经网络模型训练好之后，便可以应用神经网络模型了。
实施例5
本公开的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以实施上述实施例1至4中所描述的方法。
可选地，在本实施例中，上述存储介质可以位于网络中的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例1至4中的方法。
可选地，本实施例中的具体示例可以参考上述实施例1至4中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
实施例6
本公开的实施例还提供了一种假肢的步态识别装置。如图5所示，该步态识别装置包括获取模块52、预处理模块54和识别模块56。
获取模块52被配置为获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息。
预处理模块54被配置为对所获取的实时步态信息进行数据预处理。
识别模块56被配置为基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
该步态识别装置还被配置为能够实现实施例1至4中的步态识别方法，因此，此处对步态识别装置不再赘述。
实施例7
本公开的实施例还提供了一种假肢的步态识别系统。如图6所示，该步态识别系统包括假肢附件设备62、主控电路及数据采集模块64、计算机66。
假肢附件设备62包括假肢接受腔622和鞋垫624。如图7和8所示，鞋垫624上设置有多个第一压力传感器6241，用于采集足底压力数据信息；假肢接受腔622的上截面、以及上周缘设置有多个第二压力传感器6221，用于采集假肢的压力数据信息，假肢接受腔622的外周缘设置有多个惯性传感器6221，例如，陀螺仪和加速度计，用于采集假肢的运动姿态信息和/或假肢的行走步频信息。
主控电路及数据采集模块64上设置有第一无线收发设备642，用于接收假肢附件设备62上的第一压力传感器6241和第二压力传感器6221 传送的数据。主控电路及数据采集模块64对所接收到的数据进行预处理，然后，将预处理后的数据通过第一无线收发设备642发送给计算机66。
计算机66上设置有第二无线收发设备662。第二无线收发设备662 用于接收主控电路及数据采集模块64通过第一无线收发设备642发送的预处理后的数据。计算机66基于预先构建的组合神经网络模型，从预处理后的数据例如实时步态信息中提取假肢穿戴者的步态特征，并对步态特征进行识别分类。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种假肢的步态识别方法，其特征在于，所述方法包括：
获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息；
对所获取的实时步态信息进行数据预处理；
基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
2.根据权利要求1所述的方法，其特征在于，所述实时步态信息包括以下至少之一：假肢的运动姿态信息、足底压力数据信息、假肢的压力数据信息和假肢的行走步频信息。
3.根据权利要求1所述的方法，其特征在于，所述组合神经网络模型是基于卷积神经网络和长短期记忆网络融合而成的，并且，所述组合神经网络模型由输入层、卷积层、LSTM层、全连接层、softmax层、输出层组成。
4.根据权利要求3所述的方法，其特征在于，
所述卷积神经网络被配置为对预处理后的实时步态信息进行步态特征提取；
所述长短期记忆网络被配置为比较前一时刻的步态特征和当前时刻的实时步态特征，并基于比较结果判断当前时刻的步态。
5.根据权利要求3所述的方法，其特征在于，所述组合神经网络模型被构建之后，所述方法还包括：
获取相应的历史步态信息，其中，所述历史步态信息标注有时间戳；
将不同的所述历史步态信息进行数据处理分析，将不同的行为活动对应的不同的历史步态信息打上对应标签，形成数据标签对集；
将所述数据标签对集分为训练集和测试集，并将所述训练集输入到所述组合神经网络模型进行训练；
将所述测试集输入训练后的所述组合神经网络模型中，以评估所述组合神经网络模型的分类效果。
6.根据权利要求3所述的方法，其特征在于，所述卷积层是通过以下公式构建的：
其中，
表示第l+1层输出的第j个通道特征，
表示第l层输出的第i个通道的特征值，
表示第l+1层到第l层中第i个通道的特征图的第j个卷积核，
表示第l+1层中j个通道的卷积核偏置。
7.根据权利要求3所述的方法，其特征在于，所述softmax层是通过以下公式构建的：
其中，Si表示第i个神经元的概率输出值，
表示Zi的指数函数，K表示预测类别个数，
表示zk的指数函数，zi表示全连接层的第i个输出，xij表示全连接层的输入，wij表示第i个神经元的第j个权重，b表示偏置值，j表示通道特征编号，Zk表示所述全连接层的第k个输出，其中，第i个神经元对应第i个输出。
8.根据权利要求3所述的方法，其特征在于，所述LSTM层是通过以下公式构建的：
ft＝σ(wxfxt+whfht-1+wcfct-1+bf)
it＝σ(wxixt+whiht-1+wcict-1+bi)
Ot＝σ(wxoxt+whoht-1+wcoct-1+bo)
ct＝ft·ct-1+it·tanh(wxcxt+whcht-1+bc)
ht＝ot·tanh(ct)
其中，ft表示遗忘门，σ表示sigmoid函数，wxf表示第一遗忘门权重参数，xt表示输入，whf表示第二遗忘门权重参数，ht-1表示t-1时刻隐藏层的输出，wcf表示第三遗忘门权重参数，ct-1表示t-1时刻的记忆单元状态，bf表示遗忘门偏置参数，it表示输入门，wxi表示第一输入门权重参数，whi表示第二输入门权重参数，wci表示第三输入门权重参数，bi表示第一输入门偏置参数，ot表示t时刻输出的细胞状态，wxo表示第一输出门权重参数，who表示第二输出门权重参数，wco表示第三输出门权重参数，bo表示输出门偏置参数，ct表示t时刻的记忆单元状态，tanh表示激活函数，wxc表示第四输入门权重参数，whc表示第五输入门权重参数，bc表示第二输入门偏置参数，nt表示t时刻隐藏层的输出。
9.一种假肢的步态识别装置，其特征在于，包括：
获取模块，被配置为获取假肢穿戴者的实时步态信息，其中，所述实时步态信息是与所述假肢穿戴者的当前运动姿态相关的信息；
预处理模块，被配置为对所获取的实时步态信息进行数据预处理；
识别模块，被配置为基于预先构建的组合神经网络模型，从预处理后的实时步态信息中提取所述假肢穿戴者的步态特征，并对所述步态特征进行识别分类。
10.一种计算机可读存储介质，其上存储有程序，所述程序在被执行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021110534255 | 2021-09-09 | ||
| CN202111053425 | 2021-09-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780223A true CN113780223A (zh) | 2021-12-10 |
Family
ID=78851873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111093657.3A Pending CN113780223A (zh) | 2021-09-09 | 2021-09-17 | 假肢的步态识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780223A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115054412A (zh) * | 2022-05-31 | 2022-09-16 | 吉林大学 | 基于机器学习的具有触地步态感知功能的智能假肢脚板系统 |
| CN115337004A (zh) * | 2022-08-22 | 2022-11-15 | 北京聚英翱翔电子有限公司 | 一种假肢康复训练辅助系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108683724A (zh) * | 2018-05-11 | 2018-10-19 | 江苏舜天全圣特科技有限公司 | 一种智能儿童安全及步态健康监护系统 |
| CN109219393A (zh) * | 2016-04-14 | 2019-01-15 | 医学节奏股份有限公司 | 用于神经康复的系统和方法 |
| CN110096940A (zh) * | 2018-01-29 | 2019-08-06 | 西安科技大学 | 一种基于lstm网络的步态识别系统及方法 |
| US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
| CN110691550A (zh) * | 2017-02-01 | 2020-01-14 | 塞雷比安公司 | 对感知体验进行测量的系统和方法 |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
| CN112766142A (zh) * | 2021-01-15 | 2021-05-07 | 天津大学 | 足底压力图像处理方法、识别方法及步态分析系统 |
-
2021
- 2021-09-17 CN CN202111093657.3A patent/CN113780223A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109219393A (zh) * | 2016-04-14 | 2019-01-15 | 医学节奏股份有限公司 | 用于神经康复的系统和方法 |
| CN110691550A (zh) * | 2017-02-01 | 2020-01-14 | 塞雷比安公司 | 对感知体验进行测量的系统和方法 |
| CN110096940A (zh) * | 2018-01-29 | 2019-08-06 | 西安科技大学 | 一种基于lstm网络的步态识别系统及方法 |
| US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
| CN108683724A (zh) * | 2018-05-11 | 2018-10-19 | 江苏舜天全圣特科技有限公司 | 一种智能儿童安全及步态健康监护系统 |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
| CN112766142A (zh) * | 2021-01-15 | 2021-05-07 | 天津大学 | 足底压力图像处理方法、识别方法及步态分析系统 |
Non-Patent Citations (2)
| Title |
|---|
| J. LEE, W 等: "Continuous Gait Phase Estimation Using LSTM for Robotic Transfemoral Prosthesis Across Walking Speeds", IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING * |
| VISHWANATH BIJALWAN 等: "Wearable sensor-based pattern mining for human activity recognition: deep learning approach MT", INDUSTRIAL ROBOT * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115054412A (zh) * | 2022-05-31 | 2022-09-16 | 吉林大学 | 基于机器学习的具有触地步态感知功能的智能假肢脚板系统 |
| CN115337004A (zh) * | 2022-08-22 | 2022-11-15 | 北京聚英翱翔电子有限公司 | 一种假肢康复训练辅助系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gholamiangonabadi et al. | Deep neural networks for human activity recognition with wearable sensors: Leave-one-subject-out cross-validation for model selection | |
| Sansano et al. | A study of deep neural networks for human activity recognition | |
| Trabelsi et al. | An unsupervised approach for automatic activity recognition based on hidden Markov model regression | |
| CN108764107B (zh) | 基于人体骨架序列的行为与身份联合识别方法及装置 | |
| CN108683724A (zh) | 一种智能儿童安全及步态健康监护系统 | |
| CN103268495B (zh) | 计算机系统中基于先验知识聚类的人体行为建模识别方法 | |
| CN107516127B (zh) | 服务机器人自主获取人穿携物品归属语义的方法及系统 | |
| CN110334573B (zh) | 一种基于密集连接卷积神经网络的人体运动状态判别方法 | |
| CN111274998B (zh) | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 | |
| CN110232412B (zh) | 一种基于多模态深度学习的人体步态预测方法 | |
| CN113780223A (zh) | 假肢的步态识别方法、装置及存储介质 | |
| CN110236550B (zh) | 一种基于多模态深度学习的人体步态预测装置 | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN111318009A (zh) | 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法 | |
| Benalcázar et al. | Real-time hand gesture recognition based on artificial feed-forward neural networks and EMG | |
| CN111611859B (zh) | 一种基于gru的步态识别方法 | |
| CN111722713A (zh) | 多模态融合的手势键盘输入方法、设备、系统及存储介质 | |
| Martinez-Hernandez et al. | Recognition of walking activity and prediction of gait periods with a CNN and first-order MC strategy | |
| CN110664412A (zh) | 一种面向可穿戴传感器的人类活动识别方法 | |
| Sun et al. | Real-time elderly monitoring for senior safety by lightweight human action recognition | |
| CN113158861A (zh) | 一种基于原型对比学习的运动分析方法 | |
| Yunas et al. | Gait activity classification using multi-modality sensor fusion: a deep learning approach | |
| Al Jeroudi et al. | Online sequential extreme learning machine algorithm based human activity recognition using inertial data | |
| Hajjej et al. | Deep human motion detection and multi-features analysis for smart healthcare learning tools | |
| KR102194313B1 (ko) | 검출정보별 신경망 분석을 실시하여 개인을 식별하는 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211210 |
|
| RJ01 | Rejection of invention patent application after publication |