CN109271889B - 一种基于双层lstm神经网络的动作识别方法 - Google Patents
一种基于双层lstm神经网络的动作识别方法 Download PDFInfo
- Publication number
- CN109271889B CN109271889B CN201810998284.6A CN201810998284A CN109271889B CN 109271889 B CN109271889 B CN 109271889B CN 201810998284 A CN201810998284 A CN 201810998284A CN 109271889 B CN109271889 B CN 109271889B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- double
- layer
- lstm neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及传感器领域,提出一种基于双层LSTM神经网络的动作识别方法,包括以下步骤:收集原始数据,对原始数据进行去噪处理;对数据进行分片;计算分片数据的频谱图,将两两相邻的频谱图进行减法运算,得出频谱图差值;对分片数据打标签;将打好标签的数据划分为训练集、交叉验证集和测试集;将频谱图差值导入双层单向LSTM神经网络模型对数据进行训练;在交叉验证集上不断调整学习率参数,选择准确度最高的模型对应的学习率作为最终参数值;将最终参数值导入测试集中,将模型运行在测试集数据上,其运行结果即为本算法模型的最终结果。本发明能够记忆所有输入数据,准确划分不同的人体动作的运动数据,提取不同动作在时间上的依赖性。
Description
技术领域
本发明涉及传感器领域,更具体地,涉及一种基于双层LSTM神经网络的动作识别方法。
背景技术
随着传感器技术的发展,学术界热衷于通过传感器数据进行动作识别。
有参考文献一提出了一个使用三轴加速度传感器识别日常动作的算法,该算法采用二叉决策树作为算法模型,所有的传感器数据都会在决策树的每一个结点上进行分裂,当数据到达了决策树的叶子结点时就被分类为某一个动作。参考文献二是在参考文献一的基础上提出了改进的算法,该算法首先在传感器上使用一个简单的阈值判断方法将传感器数据进行粗粒度的分类,得到一个关键词。然后将该关键词和一些提取出来的特征值通过无线网络发送到个人计算机上进行进一步的分析与统计。参考文献三提出一种算法,该算法第一阶段是构建一个预分类器,用于区分动作是静态还是动态的;第二阶段是构建一个静态/动态分类器,用于对第一阶段所分类的动作进行识别。其中构建预分类器的方法是先使用高通过滤器过滤传感器数据,从而提取到了身体躯干的加速度数据,然后使用这些数据来训练预分类器;构建第二阶段分类器的方法是在原始的加速度数据上提取统计学特征,然后使用特征选取方法来选取有效的特征,最后使用神经网络进行建模。
由此可见,现有技术大部分采用的算法模型是二叉决策树算法,然而该算法过于简单,训练出来的模型不够简装,不能学习到数据本身的复杂变换关系导致不能泛化到更多的场景中;参考文献三提出的算法模型虽然更健壮,但运行时间长,效率低下,且无法记忆所有输入数据,无法提取某个动作前后时刻之间的联系。
参考文献一:M.J.Mathie,B.G.Celler,N.H.Lovell,andA.C.F.Coster.Classification of basic daily movements using a triaxialaccelerometer.42(5):679–687.
参考文献二:D.M.Karantonis,M.R.Narayanan,M.Mathie,N.H.Lovell,andB.G.Celler.Implementation ofa real-time human movement classifier using atriaxial accelerometer for ambulatory monitoring.10(1):156–167.
参考文献三:J.-Y.Yang,J.-S.Wang,and Y.-P.Chen.Using accelerationmeasurements for activity recognition:An e ective learning algorithm forconstructing neural classifiers.29(16):2213–2220.
发明内容
本发明为克服上述现有技术所述的无法记忆所有输入数据等至少一种缺陷,提供一种基于双层LSTM神经网络的动作识别方法,可以记忆所有的输入数据,能够提取不同动作在时间上的依赖性。
为解决上述技术问题,本发明的技术方案如下:
一种基于双层LSTM神经网络的动作识别方法,包括以下步骤:
S1:收集原始数据,对原始数据进行去噪处理;
S2:根据分片标准对经去噪处理的数据进行分片;
S3:计算分片数据的频谱图,将两两相邻的频谱图进行减法运算,得出频谱图差值;
S4:对分片数据打标签;
S5:将打好标签的数据划分为训练集、交叉验证集和测试集;
S6:设计双层单向LSTM神经网络模型,并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练;
S7:在交叉验证集上不断调整学习率参数,选择准确度最高的模型对应的学习率作为最终参数值;
S8:确定双层单向LSTM神经网络模型的最终参数值之后,将模型运行在测试集数据上,其运行结果即为动作识别的结果。
本技术方案中主要通过计算所有数据的频谱图,计算相邻频谱图之间的差值,并通过这个差值对不同人体动作运动数据进行划分,再通过采用双层单向LSTM神经网络模型对运动数据进行训练和测试,因此本技术方案能够保存所有的输入数据并提取连续动作之间的依赖性。
优选地,步骤S1中的去噪处理包括:去除原始数据开始和结尾的噪音数据,且在每个数据点的前后共100条数据之间取平均值作为该数据点的值。
优选地,步骤S2中的分片标准包括:数据的时间长度为5秒,数据之间的重叠率为50%。
优选地,步骤S3中的频谱图计算公式为短时傅里叶变换公式:
其中,t为时间,f为频率值,z(t)为源数据,g(t)为窗函数。短时傅里叶变换是最常用的一种时频分析方法,它通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中,窗的长度决定频谱图的时间分辨率和频率分辨率,窗长越长,截取的信号越长,信号越长,傅里叶变换后频率分辨率越高,时间分辨率越差;相反,窗长越短,截取的信号就越短,频率分辨率越差,时间分辨率越好。
优选地,窗函数为矩形窗函数,其公式为:
其中,M为数据样本的数量。
优选地,双层单向LSTM神经网络模型包括第一LSTM单元和第二LSTM单元,其中第一LSTM单元的输入端作为神经网络模型的输入端,第一LSTM单元的输出端与第二LSTM单元的输入端连接,第二LSTM单元的输出端作为神经网络模型的输出端。本技术方案中的双层单向LSTM神经网络能很好地提取不同时间的运动数据的前后联系。
与现有技术相比,本发明技术方案的有益效果是:可以记忆所有输入数据,准确划分不同的人体动作的运动数据,且每一次的动作识别都考虑了整个时间轴上的所有传感器数据,从而提取到不同动作在时间上的依赖性。
附图说明
图1为本实施例的基于双层LSTM神经网络的动作识别方法流程图。
图2为不同运动状态之间对应的频谱图。
图3为本实施例的双层单向LSTM神经网络模型结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示,为本实施例的基于双层LSTM神经网络的动作识别方法流程图。本实施例的基于双层LSTM神经网络的动作识别方法具体步骤如下:
步骤1:收集原始数据,让测试者佩戴运动手表严格执行事先指定的动作,主要包括以下运动:慢跑、快跑、静坐、散步、上楼梯、下楼梯和刷牙。
对收集到的原始数据进行去噪处理。将收集到的数据可视化,去掉全部动作数据的开始和结尾的噪音数据,在每个数据点的前后共100条数据之间取平均值作为该数据点的数据值。
步骤2:将经去噪处理的数据进行分片。经去噪处理的数据以按5秒的时间长度以及数据片之间的重叠率为50%的标准将所有数据进行分片。
步骤3:计算分片数据的频谱图。计算分片数据频谱图的公式为短时傅里叶变换公式:
其中,t为时间,f为频率值,z(t)为源数据,g(t)为矩形窗函数,其公式为:
其中,M为数据样本的数量。
短时傅里叶变换是最常用的一种时频分析方法,它通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中,窗的长度决定频谱图的时间分辨率和频率分辨率,窗长越长,截取的信号越长,信号越长,傅里叶变换后频率分辨率越高,时间分辨率越差;相反,窗长越短,截取的信号就越短,频率分辨率越差,时间分辨率越好。如图2所示,为不同运动状态之间对应的频谱图,本实施例通过提取所有运动之间的频谱图,并通过频谱图之间的差值来分别出不同的运动。
计算了每一数据片上的频谱图后,将两两相邻的频谱图进行减法运算,从而得出数据片平铺图之间的差值。
步骤4:对分片数据打标签。给所有的数据打上对应的标签:0为慢跑,1为快跑,2位静坐,3为上楼梯,4为下楼梯,5为刷牙。
步骤5:将打好标签的数据划分为训练集、交叉验证集和测试集,其中训练集占60%,用于训练算法模型,交叉验证集占20%,用于调整模型参数,测试集占20%,用于测试模型效果。
步骤6:设计双层单向LSTM神经网络模型,并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练。其中双层单向LSTM神经网络模型如图3所示,包括第一LSTM单元和第二LSTM单元,第一LSTM单元的输入端作为神经网络模型的输入端,第一LSTM单元的输出端与第二LSTM单元的输入端连接,第二LSTM单元的输出端作为神经网络模型的输出端。第一和第二LSTM单元包括遗忘门、输入门和输出门,其中遗忘门用于决定保留多少上一时刻的单元状态到当前时刻的单元状态,输入门用于决定保留多少当前时刻的输入到当前时刻的单元状态,输出门用于决定当前时刻的单元状态有多少输出。为了考虑算法的运行速度,该双层单向LSTM神经网络模型中间没有嵌套其他结构和网格层。
步骤7:在交叉验证集上不断调整学习率参数,选择准确度最高的模型对应的学习率作为最终参数值。该步骤采用网格搜索的方法调整该参数,首先设定一个参数列表为[0.1,0.01,0.001],第一次训练的时候设定该值为0.1,第二次训练时设定该值为0.01,第三次训练时设定该值为0.001,将上面3个模型运行在交叉验证集数据上,选择准确率最高的模型对应的学习率作为最终参数值。
步骤8:确定双层单向LSTM神经网络模型的最终参数值之后,将模型运行在测试集数据上,其运行结果即为动作识别的结果。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于双层LSTM神经网络的动作识别方法,其特征在于,包括以下步骤:
S1:收集原始数据,对原始数据进行去噪处理;
S2:根据分片标准对经去噪处理的数据进行分片;
S3:计算分片数据的频谱图,将两两相邻的频谱图进行减法运算,得出频谱图差值;其中,所述步骤S3中的频谱图计算公式为短时傅里叶变换公式:
式中,t为时间,f为频率值,z(t)为源数据,g(t)为窗函数;所述窗函数为矩形窗函数,其公式为:
式中,M为数据样本的数量;
S4:对分片数据打标签;
S5:将打好标签的数据划分为训练集、交叉验证集和测试集;
S6:设计双层单向LSTM神经网络模型,并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练;
S7:在交叉验证集上不断调整学习率参数,选择准确度最高的模型对应的学习率作为最终参数值;
S8:确定双层单向LSTM神经网络模型的最终参数值之后,将模型运行在测试集数据上,其运行结果即为动作识别的结果。
2.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法,其特征在于:所述步骤S1中的去噪处理包括:去除原始数据开始和结尾的噪音数据,且在每个数据点的前后共100条数据之间取平均值作为该数据点的值。
3.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法,其特征在于:所述步骤S2中的分片标准包括:数据的时间长度为5秒,数据之间的重叠率为50%。
4.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法,其特征在于:所述双层单向LSTM神经网络模型包括第一LSTM单元和第二LSTM单元,其中第一LSTM单元的输入端作为神经网络模型的输入端,第一LSTM单元的输出端与第二LSTM单元的输入端连接,第二LSTM单元的输出端作为神经网络模型的输出端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810998284.6A CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810998284.6A CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109271889A CN109271889A (zh) | 2019-01-25 |
CN109271889B true CN109271889B (zh) | 2021-10-08 |
Family
ID=65154449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810998284.6A Active CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109271889B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163421B (zh) * | 2019-04-29 | 2021-08-24 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测方法 |
CN110135634B (zh) * | 2019-04-29 | 2022-01-25 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测装置 |
CN111227839B (zh) * | 2020-01-19 | 2023-08-18 | 中国电子科技集团公司电子科学研究院 | 一种行为识别方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296736A (zh) * | 2016-08-08 | 2017-01-04 | 河海大学 | 一种仿记忆引导的模式识别方法 |
CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
CN108062505A (zh) * | 2016-11-09 | 2018-05-22 | 微软技术许可有限责任公司 | 基于神经网络的动作检测 |
CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
CN108334833A (zh) * | 2018-01-26 | 2018-07-27 | 和芯星通(上海)科技有限公司 | 基于fft模型的行为识别方法及系统、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8929600B2 (en) * | 2012-12-19 | 2015-01-06 | Microsoft Corporation | Action recognition based on depth maps |
-
2018
- 2018-08-29 CN CN201810998284.6A patent/CN109271889B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296736A (zh) * | 2016-08-08 | 2017-01-04 | 河海大学 | 一种仿记忆引导的模式识别方法 |
CN108062505A (zh) * | 2016-11-09 | 2018-05-22 | 微软技术许可有限责任公司 | 基于神经网络的动作检测 |
CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
CN108334833A (zh) * | 2018-01-26 | 2018-07-27 | 和芯星通(上海)科技有限公司 | 基于fft模型的行为识别方法及系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109271889A (zh) | 2019-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502991B (zh) | 基于随机卷积神经网络结构的内燃机健康监测方法及系统 | |
CN108319962B (zh) | 一种基于卷积神经网络的刀具磨损监测方法 | |
CN109271889B (zh) | 一种基于双层lstm神经网络的动作识别方法 | |
Ahmed | The impact of filter size and number of filters on classification accuracy in CNN | |
WO2016176887A1 (zh) | 基于声谱图双特征的动物声音识别方法 | |
CN107320115B (zh) | 一种自适应的精神疲劳评估装置及方法 | |
CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
CN110197235B (zh) | 一种基于独特性注意力机制的人体活动识别方法 | |
CN101587546A (zh) | 基于支持向量多元分类的下肢动作模式的识别方法 | |
CN106228200A (zh) | 一种不依赖于动作信息采集设备的动作识别方法 | |
CN105426814A (zh) | 一种基于手机的老人跌倒检测方法 | |
CN102707806A (zh) | 一种基于加速度传感器的运动识别方法 | |
CN112464738B (zh) | 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法 | |
CN108717548B (zh) | 一种面向传感器动态增加的行为识别模型更新方法及系统 | |
CN111275198A (zh) | 一种轴承异常检测方法及系统 | |
CN106897740A (zh) | 基于惯性传感器的人体行为识别系统下eemd‑dfa特征提取方法 | |
Sheng et al. | An adaptive time window method for human activity recognition | |
CN114897025A (zh) | 一种人体姿态识别模型建立方法和人体姿态识别方法 | |
CN104586402A (zh) | 一种人体活动的特征提取方法 | |
Hussein et al. | Robust human activity recognition using generative adversarial imputation networks | |
CN107045624A (zh) | 一种基于最大加权团的脑电信号预处理与分类方法 | |
CN110132276A (zh) | 一种基于行人运动状态的自适应步长估计方法 | |
CN114354194A (zh) | 基于全卷积自编码器和优化支持向量机的滚动轴承故障诊断方法 | |
Bobkov et al. | Activity recognition on handheld devices for pedestrian indoor navigation | |
CN116776245A (zh) | 一种基于机器学习的三相逆变器设备故障诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |