CN109271889A - 一种基于双层lstm神经网络的动作识别方法 - Google Patents
一种基于双层lstm神经网络的动作识别方法 Download PDFInfo
- Publication number
- CN109271889A CN109271889A CN201810998284.6A CN201810998284A CN109271889A CN 109271889 A CN109271889 A CN 109271889A CN 201810998284 A CN201810998284 A CN 201810998284A CN 109271889 A CN109271889 A CN 109271889A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- double
- deck
- spectrogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 239000012634 fragment Substances 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 241001269238 Data Species 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000002790 cross-validation Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000009183 running Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001027 hydrothermal synthesis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及传感器领域，提出一种基于双层LSTM神经网络的动作识别方法，包括以下步骤：收集原始数据，对原始数据进行去噪处理；对数据进行分片；计算分片数据的频谱图，将两两相邻的频谱图进行减法运算，得出频谱图差值；对分片数据打标签；将打好标签的数据划分为训练集、交叉验证集和测试集；将频谱图差值导入双层单向LSTM神经网络模型对数据进行训练；在交叉验证集上不断调整学习率参数，选择准确度最高的模型对应的学习率作为最终参数值；将最终参数值导入测试集中，将模型运行在测试集数据上，其运行结果即为本算法模型的最终结果。本发明能够记忆所有输入数据，准确划分不同的人体动作的运动数据，提取不同动作在时间上的依赖性。
Description
技术领域
本发明涉及传感器领域，更具体地，涉及一种基于双层LSTM神经网络的动作识别方法。
背景技术
随着传感器技术的发展，学术界热衷于通过传感器数据进行动作识别。
有参考文献一提出了一个使用三轴加速度传感器识别日常动作的算法，该算法采用二叉决策树作为算法模型，所有的传感器数据都会在决策树的每一个结点上进行分裂，当数据到达了决策树的叶子结点时就被分类为某一个动作。参考文献二是在参考文献一的基础上提出了改进的算法，该算法首先在传感器上使用一个简单的阈值判断方法将传感器数据进行粗粒度的分类，得到一个关键词。然后将该关键词和一些提取出来的特征值通过无线网络发送到个人计算机上进行进一步的分析与统计。参考文献三提出一种算法，该算法第一阶段是构建一个预分类器，用于区分动作是静态还是动态的；第二阶段是构建一个静态/动态分类器，用于对第一阶段所分类的动作进行识别。其中构建预分类器的方法是先使用高通过滤器过滤传感器数据，从而提取到了身体躯干的加速度数据，然后使用这些数据来训练预分类器；构建第二阶段分类器的方法是在原始的加速度数据上提取统计学特征，然后使用特征选取方法来选取有效的特征，最后使用神经网络进行建模。
由此可见，现有技术大部分采用的算法模型是二叉决策树算法，然而该算法过于简单，训练出来的模型不够简装，不能学习到数据本身的复杂变换关系导致不能泛化到更多的场景中；参考文献三提出的算法模型虽然更健壮，但运行时间长，效率低下，且无法记忆所有输入数据，无法提取某个动作前后时刻之间的联系。
参考文献一：M.J.Mathie,B.G.Celler,N.H.Lovell,andA.C.F.Coster.Classification of basic daily movements using a triaxialaccelerometer.42(5):679–687.
参考文献二：D.M.Karantonis,M.R.Narayanan,M.Mathie,N.H.Lovell,andB.G.Celler.Implementation ofa real-time human movement classifier using atriaxial accelerometer for ambulatory monitoring.10(1):156–167.
参考文献三：J.-Y.Yang,J.-S.Wang,and Y.-P.Chen.Using accelerationmeasurements for activity recognition:An e ective learning algorithm forconstructing neural classifiers.29(16):2213–2220.
发明内容
本发明为克服上述现有技术所述的无法记忆所有输入数据等至少一种缺陷，提供一种基于双层LSTM神经网络的动作识别方法，可以记忆所有的输入数据，能够提取不同动作在时间上的依赖性。
为解决上述技术问题，本发明的技术方案如下：
一种基于双层LSTM神经网络的动作识别方法，包括以下步骤：
S1：收集原始数据，对原始数据进行去噪处理；
S2：根据分片标准对经去噪处理的数据进行分片；
S3：计算分片数据的频谱图，将两两相邻的频谱图进行减法运算，得出频谱图差值；
S4：对分片数据打标签；
S5：将打好标签的数据划分为训练集、交叉验证集和测试集；
S6：设计双层单向LSTM神经网络模型，并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练；
S7：在交叉验证集上不断调整学习率参数，选择准确度最高的模型对应的学习率作为最终参数值；
S8：确定双层单向LSTM神经网络模型的最终参数值之后，将模型运行在测试集数据上，其运行结果即为动作识别的结果。
本技术方案中主要通过计算所有数据的频谱图，计算相邻频谱图之间的差值，并通过这个差值对不同人体动作运动数据进行划分，再通过采用双层单向LSTM神经网络模型对运动数据进行训练和测试，因此本技术方案能够保存所有的输入数据并提取连续动作之间的依赖性。
优选地，步骤S1中的去噪处理包括：去除原始数据开始和结尾的噪音数据，且在每个数据点的前后共100条数据之间取平均值作为该数据点的值。
优选地，步骤S2中的分片标准包括：数据的时间长度为5秒，数据之间的重叠率为50％。
优选地，步骤S3中的频谱图计算公式为短时傅里叶变换公式：
其中，t为时间，f为频率值，z(t)为源数据，g(t)为窗函数。短时傅里叶变换是最常用的一种时频分析方法，它通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中，窗的长度决定频谱图的时间分辨率和频率分辨率，窗长越长，截取的信号越长，信号越长，傅里叶变换后频率分辨率越高，时间分辨率越差；相反，窗长越短，截取的信号就越短，频率分辨率越差，时间分辨率越好。
优选地，窗函数为矩形窗函数，其公式为：
其中，M为数据样本的数量。
优选地，双层单向LSTM神经网络模型包括第一LSTM单元和第二LSTM单元，其中第一LSTM单元的输入端作为神经网络模型的输入端，第一LSTM单元的输出端与第二LSTM单元的输入端连接，第二LSTM单元的输出端作为神经网络模型的输出端。本技术方案中的双层单向LSTM神经网络能很好地提取不同时间的运动数据的前后联系。
与现有技术相比，本发明技术方案的有益效果是：可以记忆所有输入数据，准确划分不同的人体动作的运动数据，且每一次的动作识别都考虑了整个时间轴上的所有传感器数据，从而提取到不同动作在时间上的依赖性。
附图说明
图1为本实施例的基于双层LSTM神经网络的动作识别方法流程图。
图2为不同运动状态之间对应的频谱图。
图3为本实施例的双层单向LSTM神经网络模型结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，为本实施例的基于双层LSTM神经网络的动作识别方法流程图。本实施例的基于双层LSTM神经网络的动作识别方法具体步骤如下：
步骤1：收集原始数据，让测试者佩戴运动手表严格执行事先指定的动作，主要包括以下运动：慢跑、快跑、静坐、散步、上楼梯、下楼梯和刷牙。
对收集到的原始数据进行去噪处理。将收集到的数据可视化，去掉全部动作数据的开始和结尾的噪音数据，在每个数据点的前后共100条数据之间取平均值作为该数据点的数据值。
步骤2：将经去噪处理的数据进行分片。经去噪处理的数据以按5秒的时间长度以及数据片之间的重叠率为50％的标准将所有数据进行分片。
步骤3：计算分片数据的频谱图。计算分片数据频谱图的公式为短时傅里叶变换公式：
其中，t为时间，f为频率值，z(t)为源数据，g(t)为矩形窗函数，其公式为：
其中，M为数据样本的数量。
短时傅里叶变换是最常用的一种时频分析方法，它通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中，窗的长度决定频谱图的时间分辨率和频率分辨率，窗长越长，截取的信号越长，信号越长，傅里叶变换后频率分辨率越高，时间分辨率越差；相反，窗长越短，截取的信号就越短，频率分辨率越差，时间分辨率越好。如图2所示，为不同运动状态之间对应的频谱图，本实施例通过提取所有运动之间的频谱图，并通过频谱图之间的差值来分别出不同的运动。
计算了每一数据片上的频谱图后，将两两相邻的频谱图进行减法运算，从而得出数据片平铺图之间的差值。
步骤4：对分片数据打标签。给所有的数据打上对应的标签：0为慢跑，1为快跑，2位静坐，3为上楼梯，4为下楼梯，5为刷牙。
步骤5：将打好标签的数据划分为训练集、交叉验证集和测试集，其中训练集占60％，用于训练算法模型，交叉验证集占20％，用于调整模型参数，测试集占20％，用于测试模型效果。
步骤6：设计双层单向LSTM神经网络模型，并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练。其中双层单向LSTM神经网络模型如图3所示，包括第一LSTM单元和第二LSTM单元，第一LSTM单元的输入端作为神经网络模型的输入端，第一LSTM单元的输出端与第二LSTM单元的输入端连接，第二LSTM单元的输出端作为神经网络模型的输出端。第一和第二LSTM单元包括遗忘门、输入门和输出门，其中遗忘门用于决定保留多少上一时刻的单元状态到当前时刻的单元状态，输入门用于决定保留多少当前时刻的输入到当前时刻的单元状态，输出门用于决定当前时刻的单元状态有多少输出。为了考虑算法的运行速度，该双层单向LSTM神经网络模型中间没有嵌套其他结构和网格层。
步骤7：在交叉验证集上不断调整学习率参数，选择准确度最高的模型对应的学习率作为最终参数值。该步骤采用网格搜索的方法调整该参数，首先设定一个参数列表为[0.1,0.01,0.001]，第一次训练的时候设定该值为0.1，第二次训练时设定该值为0.01，第三次训练时设定该值为0.001，将上面3个模型运行在交叉验证集数据上，选择准确率最高的模型对应的学习率作为最终参数值。
步骤8：确定双层单向LSTM神经网络模型的最终参数值之后，将模型运行在测试集数据上，其运行结果即为动作识别的结果。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (6)
1.一种基于双层LSTM神经网络的动作识别方法，其特征在于，包括以下步骤：
S1：收集原始数据，对原始数据进行去噪处理；
S2：根据分片标准对经去噪处理的数据进行分片；
S3：计算分片数据的频谱图，将两两相邻的频谱图进行减法运算，得出频谱图差值；
S4：对分片数据打标签；
S5：将打好标签的数据划分为训练集、交叉验证集和测试集；
S6：设计双层单向LSTM神经网络模型，并将频谱图差值输入双层单向LSTM神经网络模型中对数据进行训练；
S7：在交叉验证集上不断调整学习率参数，选择准确度最高的模型对应的学习率作为最终参数值；
S8：确定双层单向LSTM神经网络模型的最终参数值之后，将模型运行在测试集数据上，其运行结果即为动作识别的结果。
2.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法，其特征在于：所述步骤S1中的去噪处理包括：去除原始数据开始和结尾的噪音数据，且在每个数据点的前后共100条数据之间取平均值作为该数据点的值。
3.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法，其特征在于：所述步骤S2中的分片标准包括：数据的时间长度为5秒，数据之间的重叠率为50％。
4.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法，其特征在于：所述步骤S3中的频谱图计算公式为短时傅里叶变换公式：
其中，t为时间，f为频率值，z(t)为源数据，g(t)为窗函数。
5.根据权利要求4所述的基于双层LSTM神经网络的动作识别方法，其特征在于：所述窗函数为矩形窗函数，其公式为：
其中，M为数据样本的数量。
6.根据权利要求1所述的基于双层LSTM神经网络的动作识别方法，其特征在于：所述双层单向LSTM神经网络模型包括第一LSTM单元和第二LSTM单元，其中第一LSTM单元的输入端作为神经网络模型的输入端，第一LSTM单元的输出端与第二LSTM单元的输入端连接，第二LSTM单元的输出端作为神经网络模型的输出端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998284.6A CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998284.6A CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271889A true CN109271889A (zh) | 2019-01-25 |
| CN109271889B CN109271889B (zh) | 2021-10-08 |
Family
ID=65154449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810998284.6A Active CN109271889B (zh) | 2018-08-29 | 2018-08-29 | 一种基于双层lstm神经网络的动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271889B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135634A (zh) * | 2019-04-29 | 2019-08-16 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测装置 |
| CN110163421A (zh) * | 2019-04-29 | 2019-08-23 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测方法 |
| CN111227839A (zh) * | 2020-01-19 | 2020-06-05 | 中国电子科技集团公司电子科学研究院 | 一种行为识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140169623A1 (en) * | 2012-12-19 | 2014-06-19 | Microsoft Corporation | Action recognition based on depth maps |
| CN106296736A (zh) * | 2016-08-08 | 2017-01-04 | 河海大学 | 一种仿记忆引导的模式识别方法 |
| CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
| CN108062505A (zh) * | 2016-11-09 | 2018-05-22 | 微软技术许可有限责任公司 | 基于神经网络的动作检测 |
| CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
| CN108334833A (zh) * | 2018-01-26 | 2018-07-27 | 和芯星通（上海）科技有限公司 | 基于fft模型的行为识别方法及系统、设备及存储介质 |
-
2018
- 2018-08-29 CN CN201810998284.6A patent/CN109271889B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140169623A1 (en) * | 2012-12-19 | 2014-06-19 | Microsoft Corporation | Action recognition based on depth maps |
| CN106296736A (zh) * | 2016-08-08 | 2017-01-04 | 河海大学 | 一种仿记忆引导的模式识别方法 |
| CN108062505A (zh) * | 2016-11-09 | 2018-05-22 | 微软技术许可有限责任公司 | 基于神经网络的动作检测 |
| CN108288015A (zh) * | 2017-01-10 | 2018-07-17 | 武汉大学 | 基于时间尺度不变性的视频中人体动作识别方法及系统 |
| CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
| CN108334833A (zh) * | 2018-01-26 | 2018-07-27 | 和芯星通（上海）科技有限公司 | 基于fft模型的行为识别方法及系统、设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135634A (zh) * | 2019-04-29 | 2019-08-16 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测装置 |
| CN110163421A (zh) * | 2019-04-29 | 2019-08-23 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测方法 |
| CN110163421B (zh) * | 2019-04-29 | 2021-08-24 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测方法 |
| CN110135634B (zh) * | 2019-04-29 | 2022-01-25 | 广东电网有限责任公司电网规划研究中心 | 中长期电力负荷预测装置 |
| CN111227839A (zh) * | 2020-01-19 | 2020-06-05 | 中国电子科技集团公司电子科学研究院 | 一种行为识别方法及装置 |
| CN111227839B (zh) * | 2020-01-19 | 2023-08-18 | 中国电子科技集团公司电子科学研究院 | 一种行为识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271889B (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN103294199B (zh) | 一种基于脸部肌音信号的无声信息识别系统 | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
| CN104143079A (zh) | 人脸属性识别的方法和系统 | |
| CN104715261A (zh) | fMRI动态脑功能子网络构建及并联SVM加权识别方法 | |
| CN106228200A (zh) | 一种不依赖于动作信息采集设备的动作识别方法 | |
| CN110197235B (zh) | 一种基于独特性注意力机制的人体活动识别方法 | |
| CN105448291A (zh) | 基于语音的帕金森症检测方法及检测系统 | |
| CN109271889A (zh) | 一种基于双层lstm神经网络的动作识别方法 | |
| CN106528655A (zh) | 文本主题识别方法和装置 | |
| CN106127191B (zh) | 基于小波包分解及逻辑回归的脑电分类方法 | |
| CN108681685A (zh) | 一种基于人体表面肌电信号的躯干动作意图识别方法 | |
| CN112580486B (zh) | 一种基于雷达微多普勒信号分离的人体行为分类方法 | |
| CN110298264A (zh) | 基于堆叠降噪自编码器的人体日常行为活动识别优化方法 | |
| CN110120230A (zh) | 一种声学事件检测方法及装置 | |
| CN111248859A (zh) | 基于卷积神经网络的睡眠呼吸暂停自动检测方法 | |
| CN113069117A (zh) | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 | |
| CN109903053A (zh) | 一种基于传感器数据进行行为识别的反欺诈方法 | |
| CN114358194A (zh) | 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法 | |
| Anh-Dao et al. | A multistage system for automatic detection of epileptic spikes | |
| CN114159079B (zh) | 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法 | |
| Whitehill et al. | Whosecough: In-the-wild cougher verification using multitask learning | |
| CN111401435A (zh) | 一种基于运动手环的人体运动模式识别方法 | |
| CN104850225A (zh) | 一种基于多层次融合的活动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |