CN111291804A - 基于注意力机制的多传感器时间序列分析模型 - Google Patents
基于注意力机制的多传感器时间序列分析模型 Download PDFInfo
- Publication number
- CN111291804A CN111291804A CN202010074244.XA CN202010074244A CN111291804A CN 111291804 A CN111291804 A CN 111291804A CN 202010074244 A CN202010074244 A CN 202010074244A CN 111291804 A CN111291804 A CN 111291804A
- Authority
- CN
- China
- Prior art keywords
- sensor
- time
- motion
- decoder
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012731 temporal analysis Methods 0.000 title claims abstract description 21
- 238000000700 time series analysis Methods 0.000 title claims abstract description 21
- 230000007246 mechanism Effects 0.000 title claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000013480 data collection Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000007418 data mining Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 210000003127 knee Anatomy 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 8
- 230000001133 acceleration Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于注意力机制的多传感器时间序列分析模型。本发明包括数据收集、数据挖掘、时间序列分析和前端可视化，所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集；可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧，其中左臂上侧设置主传感器,其余都是从机传感器；从机传感器通过其射频无线传输模块将运动信号发送到主传感器，再发送到手机；根据分析方向进行定向分析，如果是运动预测，则对信号进行预处理，再由模型进行预测；如果是活动识别，则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器；最后均将结果显示在手机上。本发明用于多变量时间序列长期预测，可以实现实时运动预测。
Description
技术领域
本发明涉及一种注意力机制的多传感器时间序列分析模型，用于多传感器时间序列分析的基于注意力的编解码器框架，属于时间序列分析，动作识别和传感器系统及其应用领域。
背景技术
机器学习的最新发展为实现超越人类医疗保健的智能应用程序提供了巨大的机会。随着物联网的不断发展，产生了具有强大的时空特征的海量数据。挖掘这些时间序列数据以指导体育锻炼或监控日常活动非常重要。与时间序列数据相关的研究在许多领域发挥了重要作用，例如交通流量预测、库存预测、活动检测和分类、人机交互、社会网络实时推荐等。可穿戴设备的加速度和角速度传感器收集的运动数据以一定模式的多元时间序列的形式呈现。通常，时间序列预测方法基于历史观测值y1，y2，y3，...，yT-1来生成未来序列yT，但忽略了外源序列x1，x2，x3，...，xT最终预测结果的影响，这些方法通常只能预测一个时间步长的未来值。因此，在长期时间序列预测中，多元序列是一个具有挑战性的问题，主要反映了如何提取相关的外源序列以进行长期预测。最近，基于双重关注机制的递归神经网络模型可以成功地提取多元外源序列的时空依赖性来预测yT，但是该方法仅在下一步的预测中表现良好。传统的RNN遭受梯度消失的困扰，因此无法捕获时间序列数据的长期依赖性。编码器-解码器网络从序列到序列的处理方式很受欢迎，因为它在自然语言处理中具有良好的实验结果。随着输入序列长度的增加，编码器-解码器网络的性能将迅速恶化，这对长期运动预测提出了重大挑战，因为我们希望基于目标序列的相对较长的片段进行预测。为了解决这个问题，我们开发了基于时间注意力的编码器解码器模型，用于多变量时间序列长期预测，可以实现实时运动预测。
另一方面，许多研究人员通过数据预处理和机器学习分类算法设计了基于可穿戴传感器设备的识别系统。在有监督的训练过程中，这些方法可以实现良好的分类效果。随着可穿戴设备的快速发展，深度学习方法可以在资源受限的设备(例如智能手机)上实现，以提供实时反馈，从而可以通过简单的操作揭示与人类动力学密切相关的运动特征和复杂的运动识别。
发明内容
为了解决上述问题，本发明提供了一种用于多传感器时间序列分析的基于注意力的编解码器模型。本发明包括四个部分：数据收集，数据挖掘、时间序列分析和前端可视化。在开始时由传感器测量的人体运动信号，再由可穿戴设备的微控制器进行收集。从机通过RF无线收发器将信号发送到主机，再到手机，手机收集到的运动信号将其传输到后台服务器。如果是运动预测，则对信号进行预处理，然后由模型(Multi-TAED)进行预测。如果是活动识别，则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器。最后，结果显示在手机上。
本发明解决其技术问题所采用的技术方案具体步骤如此：
本发明包括数据收集、数据挖掘、时间序列分析和前端可视化，所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集；可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧，来收集设备的运动信号；其中左臂上侧设置主传感器，其余都是从机传感器；从机传感器通过其射频无线传输模块将运动信号发送到主传感器，再通过主传感器的微控制器发送到手机，手机收集到的运动信号将传输到后台服务器，根据分析方向进行定向分析，如果是根据运动信号进行运动预测，则对信号进行预处理，然后由模型(Multi-TAED)进行预测；如果是根据运动信号进行活动识别，则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器；最后均将结果显示在手机上。
所述的主传感器包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)，一个蓝牙模块(HC05)和一个电源；
所述的三个从机传感器均包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)和一个电源；
从机传感器通过SPI接口与从机传感器的射频无线传输模块相连接，并通过从机传感器的射频无线传输模块将信号发送到主传感器的射频无线传输模块，然后通过主传感器的射频无线传输模块发送到主传感器的微控制器，主传感器的微控制器通过蓝牙模块将信号发送到手机。
所述数据收集过程中，参与者和收集到样本具体如下：选取10名实验人员，其中4名女学生和6名男学生；实验人员的年龄均为22-29岁，身高155cm-190cm，体重为45kg-90kg；所有实验人员都将传感器固定到身体的指定部位；在收集过程中，每个活动数据信号都被标记；总共收集11，354个有效样本进行验证。
所述的数据挖掘，包括数据预处理、特征提取、特征归一化和特征降维。
进一步，根据运动信号进行运动预测，则对信号进行预处理，然后由模型(Multi-TAED)进行预测，具体实现如下：
步骤3-1：构建基于时间注意力的多元时间序列预测的编解码器模型，具体如下：
3-1-1.公式定义：
给定n个外源序列和一个目标序列，对于外源序列使用
其中T代表窗口的长度，使用
代表窗口长度T时间内的第k个特征序列；对于目标序列使用
代表窗口长度T时间内的目标序列，记
作为模型的输入序列，其中
表示在时间t处n个外源序列和一个目标序列，注此输入序列是一个t行n+1列的矩阵；
3-1-2.问题陈述：
使用步骤3-1-1中的外源序列(x1，x2，...，xT)和目标序列(y1，y2，...，yT)的并置
作为输入，用于预测接下来N个时间步，表示为
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系；使用输入特征序列X＝(x1，x2，...，xT)，其中
其中n是传感器数据的特征值，再加上先前的隐藏状态去计算序列的输出y1，y2，...，yT，在t时刻的输出为：
yt＝fa(ht-1，xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器，编码器本质上是RNN；在时间预测方面，使用步骤3-1-1中输入序列
其中
其中n+1代表n个外源序列和一个目标序列；在t时刻由LSTM编码器完成从
到ht的映射；
其中，
ht是在t时刻编码器的隐藏状态，m是隐藏状态的大小；fa是一种非线性函数，本文使用上文介绍的LSTM来更新编码器的隐藏状态；将编码器T时刻隐藏状态hT作为解码器初始隐藏状态；并将hT和一层全连接矩阵的乘积作为解码器初始的预测值；
在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列能够自动对齐，注意力权重
的计算如下：
其中，
是需要学习的参数，
和
分别是编码器的隐藏状态和解码器隐藏状态，而m是隐藏状态的大小；其中注意力权重
表示在t时刻第i个解码器隐藏状态对预测的重要性，然后使用注意力权重
和编码器隐藏状态{h1，h2，...，hT}进行加权求和得到上下文向量ct，可通过下列公式计算：
3-1-5.通过上下文向量ct以及在t-1时刻预测值
串联起来，再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态：
其中
fa则是非线性函数本文使用LSTM作为st的更新；
3-1-6.将在t-1时刻的预测值
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来，然后通过两次全连接，求的最终的预测值：
其中
和
是需要学习的参数。
进一步，根据运动信号进行活动识别，具体实现如下：
基于LSTM的活动识别算法，对通过穿戴传感器设备收集的运动信号进行人类日常活动的识别，基于LSTM的活动识别算法的分类器具体如下：
LSTM由三个门组成：忘记门(ft)，输入门(it)和输出门(ot)；遗忘门决定从单元状态中丢弃的内容，输入门决定在下一步中将多少新信息输入到单元状态；输出门根据单元状态输出那些值；LSTM的计算公式：
ft＝σ(Ufxt+Wfht-1+bf)
it＝σ(Uixt+Wiht-1+bi)
ot＝σ(Uoxt+Woht-1+bo)
st＝ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht＝ot⊙tanh(st)
其中st是内部的存储单元，ht是隐藏层单元，Uf，Ui，Uo，
表示输入的隐藏权重矩阵，bf,bi，bo，
表示偏置值，这些都是需要学习的参数，σ代表激活函数，tanh代表双曲线激活函数，⊙表示逐元素乘法。
本发明的贡献具体如下：
1)在这项工作中，提出了一种可穿戴传感器系统，其中集成了时间序列预测算法(Multi-TAED)和活动识别算法。该原型可以通过人体运动收集多传感器数据，并向用户提供实时交互。
2)针对运动时间预测设计了基于时间注意力的用于多时间序列长期预测的编码器-解码器模型(Multi-TAED)。就不同预测时间尺度下的均方根误差而言，Multi-TAED的性能优于现有方法。
3)提出的活动识别算法利用LSTM模型作为分类器。通过广泛的实验，与其他基于机器学习模型算法在十折和五折交叉策略中相比，本文的活动识别算法对人类活动的识别率为98.89％和99.28％。
附图说明
图1为本模型的发明示意图；
图2为基于时间注意力的多元时间序列预测的编解码器模型。
图3为一种基于LSTM的活动识别算法。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，本发明提供了一种用于多传感器时间序列分析的基于注意力的编解码器框架。它包括四个部分：数据收集，数据挖掘，时间序列分析和前端可视化。该方法包括如下步骤：
步骤1：数据收集
首先介绍一下收集数据的可穿戴传感器设备：可穿戴传感器设备固定在测试人员身体的各个部位(两个在大臂上侧，两个在膝盖上侧，其中左臂设置主机(主传感器)，其余都是从机(从机传感器))，来收集设备的运动信号。
所述的主传感器包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)，一个蓝牙模块(HC05)和一个电源。
所述的三个从机传感器均包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)和一个电源。从机中没有蓝牙模块。
本发明数据收集的过程如下：
从机通过SPI接口和从机的射频无线传输模块相连接，并通过从机的射频无线传输模块将信号发送到主传感器的射频无线传输模块，然后通过主传感器的射频无线传输模块发送到主传感器的微控制器，主传感器的微控制器通过蓝牙模块将信号发送到手机。
参与者和收集到样本：该实验有10名实验学生，其中4名女学生和6名男学生。实验人员的年龄均为22-29岁，身高155cm-190cm，体重为45kg-90kg。所有实验学生都将传感器固定到身体的各个部位(两个手臂的上侧，两个膝盖的上侧)。在收集过程中，每个活动数据都被标记。我们总共收集了11，354个有效样本进行验证。
步骤2：数据挖掘
步骤2-1：数据预处理
可穿戴式传感器设备收集的运动信号包括人体无意识的晃动、人体自身的重力加速度以及传感器自身的偏移误差所产生的噪声。因此，在收集运动信号后，首先使用低通滤波来滤除加速度和角速度中的高频噪声。然后，将通过低通滤波后的加速度运动信号再次通过高通滤波将人体产生的重力加速度进行滤波。
2-1-1.低通滤波
收集加速度和角速度传感器的运动信号使用移动平均滤波器来过滤高频噪声，其中移动平均滤波器是低通滤波器。
其中x[n]是输入到数字低通滤波中要校准的运动信号即(αcx，αcy，αcz，ωcx，ωcy，ωcz)，y[n]是经过低通滤波的信号既(αlx，αly，αlz，ωlx，ωly)，N是平均滤波器中的点数。
2-1-2.高通滤波
对加速度信号进行低通滤波后，应使用高通滤波去除重力加速度，在本文中使用截取频率为0.005Hz的三阶高通滤波器，滤除重力加速度获得加速度传感器的信号(αhx，αhy，αhz)
步骤2-2：特征提取
可穿戴传感器设备采集到的运动信号是一种数据流的形式，不适合直接提取特征。通常在对运动信号进行特征提取前进行数据加窗的预处理。其中滑动窗口被广泛使用，因为其简单直观，实时性强，被广泛应用在可穿戴传感器的活动识别算法中，本文使用相邻窗口50％重叠，重叠的窗口具有更好的平滑性，更适合分析连续的数据，可以达到实时处理的要求。在进行加窗处理后，原始运动信号的长度得到了统一，不同的运动信号之间有一个共同的标准进行比较。接下来，研究人员从时域和频域中提取尽可能多的特征，将最为有效的特征向量从原始的传感器运动信号中提取出来。由于时域分析法是从传感器中的时域运动信号中直接提取特征，相对其他提取特征的方法，时域特征提取简单，比较适合实时系统。在时域中，我们计算了均值，方差，标准差，最大值，最小值，相关系数，最大值与最小值之差，众数。很多时域特征具有明确的物理意义，标准差描述传感器运动信号的稳定性，相关系数反应两两坐标轴之间信号的相关性。之后我们应用快速傅立叶变换算法来提取频域上的特征，在频域中我们提取了直流分量，幅度的统计特征和形状的统计特征(均值，方差，标准差，斜度，峭度)。
步骤2-3：特征归一化
总共提取到456(4×2×3×19)个特征，随后进行特征归一化。由于提取到的不同特征值之间的范围差距较大，将提取到特征归一化到[0，1]区间中，让不同维度的特征在数值上有一定的比较性，会大大提高分类器的准确率。
其中si表示归一化特征向量中第i个特征向量，而smax和smin表示归一化特征向量中的最大值和最小值，yi表示归一化后的第i个特征向量。
步骤2-4：特征降维
特征提取后，由于提取了过多的特征，直接使用高维特征进行分类会遇到很多问题，例如特征之间存在大量的冗余不仅会降低分类器的性能，还会增加计算的复杂性，数据不够直观及数据可视性较差。本文采用主成分分析法对采集到的特征向量进行降维，找到特征向量的最优线性组合，并排列出他们的重要性。主成分分析的主要思想是用新的低维特征集合来代替原始高维特征数据，让其尽可能显示原来数据的信息。主成分分析法在动作识别领域中获得广泛的应用。
步骤3：时间序列分析
针对运动信号的时间序列分析，如果是运动预测，则跳转到步骤3-1中进行处理；如果是活动识别，则跳转到步骤3-2中进行处理。
步骤3-1：基于时间注意力的多元时间序列预测的编解码器模型
如图2所示，本发明提供了一种基于时间注意力的多元时间序列预测的编解码器模型
为了捕获所收集的运动数据的时间特性，本文提出了一种基于时间注意的编码器解码器模型，用于多变量时间序列预测。该模型的目的是预测多变量序列的长期变化，这对于运动预测，尤其是实时运动评价具有实际的意义。该模型可以在编码器中输入历史时间序列样本，并在解码器中使用时间注意机制自动跨所有步长选择相应的编码器隐藏状态。
3-1-1.公式定义：
给定n个外源序列和一个目标序列，对于外源序列使用
其中T代表窗口的长度，使用
代表窗口长度T时间内的第k个特征序列。对于目标序列使用
代表窗口长度T时间内的目标序列，记
作为模型的输入序列，其中
表示在时间t处n个外源序列和一个目标序列，注此输入序列是一个t行n+1列的矩阵。
3-1-2.问题陈述：
使用步骤3-1-1中的外源序列(x1，x2，...，xT)和目标序列(y1，y2，...，yT)的并置
作为输入，用于预测接下来N个时间步，表示为
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系。使用输入特征序列X＝(x1，x2，...，xT)，其中
其中n是传感器数据的特征值，再加上先前的隐藏状态去计算序列的输出y1，y2，...，yT，在t时刻的输出为：
yt＝fa(ht-1，xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器，编码器本质上是RNN。在时间预测方面，使用步骤3-1-1中输入序列
其中
其中n+1代表n个外源序列和一个目标序列。在t时刻由LSTM编码器完成从
到ht的映射。
其中，
ht是在t时刻编码器的隐藏状态，m是隐藏状态的大小。fa是一种非线性函数，本文使用上文介绍的LSTM来更新编码器的隐藏状态。将编码器T时刻隐藏状态hT作为解码器初始隐藏状态。并将hT和一层全连接矩阵的乘积作为解码器初始的预测值。
通常编码器解码器模型，会将输入序列编码为固定长度的向量，解码器根据该向量生成预测的未来时间序列，但随着输入序列长度的增加，编码器解码器模型性能会不断下降，因此在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列可以自动对齐。注意力权重
的计算如下：
其中，
是需要学习的参数，
和
分别是编码器的隐藏状态和解码器隐藏状态，而m是隐藏状态的大小。其中注意力权重
表示在t时刻第i个解码器隐藏状态对预测的重要性，然后使用注意力权重
和编码器隐藏状态{h1，h2，...，hT}进行加权求和得到上下文向量ct，可通过下列公式计算：
3-1-5.通过上下文向量ct以及在t-1时刻预测值
串联起来，再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态：
其中
fa则是非线性函数本文使用LSTM作为st的更新。
3-1-6.将在t-1时刻的预测值
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来，然后通过两次全连接，求的最终的预测值：
其中
和
是需要学习的参数。
步骤3-2：基于LSTM的活动识别算法
如图3所示，本发明提供了一种基于LSTM的活动识别算法
为了获得人类日常活动精确的分类结果，在该框架下提出了一种基于LSTM的活动识别算法。通过穿戴传感器设备收集的运动信号来识别人类的日常活动。对收集到的数据样本进行预处理，特征构建，最后通过LSTM分类器识别日常活动。下面简要介绍分类器算法。
LSTM由三个门组成：忘记门(ft)，输入门(it)和输出门(ot)。遗忘门决定从单元状态中丢弃的内容，输入门决定在下一步中将多少新信息输入到单元状态。输出门根据单元状态输出那些值。LSTM的计算公式：
ft＝σ(Ufxt+Wfht-1+bf)
it＝σ(Uixt+Wiht-1+bi)
ot＝σ(Uoxt+Woht-1+bo)
st＝ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht＝ot⊙tanh(st)
其中st是内部的存储单元，ht是隐藏层单元，Uf，Ui，Uo，
表示输入的隐藏权重矩阵，bf，bi，bo，
表示偏置值，这些都是需要学习的参数，σ代表激活函数，tanh代表双曲线激活函数，⊙表示逐元素乘法。
Claims (6)
1.基于注意力机制的多传感器时间序列分析模型，其特征在于包括数据收集、数据挖掘、时间序列分析和前端可视化，所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集；可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧，来收集设备的运动信号；其中左臂上侧设置主传感器,其余都是从机传感器；从机传感器通过其射频无线传输模块将运动信号发送到主传感器，再通过主传感器的微控制器发送到手机，手机收集到的运动信号将传输到后台服务器，根据分析方向进行定向分析，如果是根据运动信号进行运动预测，则对信号进行预处理，然后由模型(Multi-TAED)进行预测；如果是根据运动信号进行活动识别，则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器；最后均将结果显示在手机上。
2.根据权利要求1所述的基于注意力机制的多传感器时间序列分析模型，其特征在于所述的主传感器包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)，一个蓝牙模块(HC05)和一个电源；
所述的三个从机传感器均包括一个微控制器(STM32F103)，一个六轴惯性传感器模块(MPU-6050)，一个射频无线传输模块(nRF24L01)和一个电源；
从机传感器通过SPI接口与从机传感器的射频无线传输模块相连接，并通过从机传感器的射频无线传输模块将信号发送到主传感器的射频无线传输模块，然后通过主传感器的射频无线传输模块发送到主传感器的微控制器，主传感器的微控制器通过蓝牙模块将信号发送到手机。
3.根据权利要求1或2所述的基于注意力机制的多传感器时间序列分析模型，其特征在于所述数据收集过程中，参与者和收集到样本具体如下：选取10名实验人员，其中4名女学生和6名男学生；实验人员的年龄均为22-29岁，身高155cm-190cm，体重为45kg-90kg；所有实验人员都将传感器固定到身体的指定部位；在收集过程中，每个活动数据信号都被标记；总共收集11,354个有效样本进行验证。
4.根据权利要求3所述的基于注意力机制的多传感器时间序列分析模型，其特征在于所述的数据挖掘，包括数据预处理、特征提取、特征归一化和特征降维。
5.根据权利要求1或4所述的基于注意力机制的多传感器时间序列分析模型，其特征在于根据运动信号进行运动预测，则对信号进行预处理，然后由模型(Multi-TAED)进行预测，具体实现如下：
步骤3-1：构建基于时间注意力的多元时间序列预测的编解码器模型，具体如下“”
3-1-1.公式定义：
给定n个外源序列和一个目标序列，对于外源序列使用
其中T代表窗口的长度，使用
代表窗口长度T时间内的第k个特征序列；对于目标序列使用
代表窗口长度T时间内的目标序列，记
作为模型的输入序列，其中
表示在时间t处n个外源序列和一个目标序列，注此输入序列是一个t行n+1列的矩阵；
3-1-2.问题陈述：
使用步骤3-1-1中的外源序列(x1，x2，...，xT)和目标序列(y1，y2，...，yT)的并置
作为输入，用于预测接下来N个时间步，表示为
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系；使用输入特征序列X＝(x1，x2，...，xT)，其中
其中n是传感器数据的特征值，再加上先前的隐藏状态去计算序列的输出y1，y2，...，yT，在t时刻的输出为：
yt＝fa(ht-1，xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器，编码器本质上是RNN；在时间预测方面，使用步骤3-1-1中输入序列
其中
其中n+1代表n个外源序列和一个目标序列；在t时刻由LSTM编码器完成从
到ht的映射；
其中，
ht是在t时刻编码器的隐藏状态，m是隐藏状态的大小；fa是一种非线性函数，本文使用上文介绍的LSTM来更新编码器的隐藏状态；将编码器T时刻隐藏状态hT作为解码器初始隐藏状态；并将hT和一层全连接矩阵的乘积作为解码器初始的预测值；
在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列能够自动对齐，注意力权重
的计算如下：
其中，
是需要学习的参数，
和
分别是编码器的隐藏状态和解码器隐藏状态，而m是隐藏状态的大小；其中注意力权重
表示在t时刻第i个解码器隐藏状态对预测的重要性，然后使用注意力权重
和编码器隐藏状态{h1，h2，...，hT}进行加权求和得到上下文向量ct，可通过下列公式计算：
3-1-5.通过上下文向量ct以及在t-1时刻预测值
串联起来，再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态：
其中
fa则是非线性函数本文使用LSTM作为st的更新；
3-1-6.将在t-1时刻的预测值
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来，然后通过两次全连接，求的最终的预测值：
其中
和
是需要学习的参数。
6.根据权利要求1或4所述的基于注意力机制的多传感器时间序列分析模型，其特征在于根据运动信号进行活动识别，具体实现如下：
基于LSTM的活动识别算法，对通过穿戴传感器设备收集的运动信号进行人类日常活动的识别，基于LSTM的活动识别算法的分类器具体如下：
LSTM由三个门组成：忘记门(ft)，输入门(it)和输出门(ot)；遗忘门决定从单元状态中丢弃的内容，输入门决定在下一步中将多少新信息输入到单元状态；输出门根据单元状态输出那些值；LSTM的计算公式：
ft＝σ(Ufxt+Wfht-1+bf)
it＝σ(Uixt+Wiht-1+bi)
ot＝σ(Uoxt+Woht-1+bo)
st＝ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht＝ot⊙tanh(st)
其中st是内部的存储单元，ht是隐藏层单元，Uf，Ui，Uo，
表示输入的隐藏权重矩阵，bf，bi，bo，
表示偏置值，这些都是需要学习的参数，σ代表激活函数，tanh代表双曲线激活函数，⊙表示逐元素乘法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074244.XA CN111291804A (zh) | 2020-01-22 | 2020-01-22 | 基于注意力机制的多传感器时间序列分析模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010074244.XA CN111291804A (zh) | 2020-01-22 | 2020-01-22 | 基于注意力机制的多传感器时间序列分析模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111291804A true CN111291804A (zh) | 2020-06-16 |
Family
ID=71023447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010074244.XA Withdrawn CN111291804A (zh) | 2020-01-22 | 2020-01-22 | 基于注意力机制的多传感器时间序列分析模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291804A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932010A (zh) * | 2020-08-10 | 2020-11-13 | 重庆大学 | 一种基于骑行上下文信息的共享单车流量预测方法 |
| CN113287805A (zh) * | 2021-05-27 | 2021-08-24 | 郑州大学 | 一种跌倒防护方法及可穿戴式跌倒防护装置 |
| CN113349791A (zh) * | 2021-05-31 | 2021-09-07 | 平安科技（深圳）有限公司 | 异常心电信号的检测方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106922185A (zh) * | 2014-09-30 | 2017-07-04 | 微软技术许可有限责任公司 | 经由可穿戴和移动设备的基于自然运动的控制 |
| CN108024158A (zh) * | 2017-11-30 | 2018-05-11 | 天津大学 | 利用视觉注意力机制的有监督视频摘要提取方法 |
| US20180189572A1 (en) * | 2016-12-30 | 2018-07-05 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Multi-Modal Fusion Model |
| CN108776796A (zh) * | 2018-06-26 | 2018-11-09 | 内江师范学院 | 一种基于全局时空注意力模型的动作识别方法 |
| CN109086869A (zh) * | 2018-07-16 | 2018-12-25 | 北京理工大学 | 一种基于注意力机制的人体动作预测方法 |
| CN109241835A (zh) * | 2018-07-27 | 2019-01-18 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| US20190122373A1 (en) * | 2018-12-10 | 2019-04-25 | Intel Corporation | Depth and motion estimations in machine learning environments |
| CN109820515A (zh) * | 2019-03-01 | 2019-05-31 | 中南大学 | TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法 |
| CN110276380A (zh) * | 2019-05-22 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度模型框架的实时运动在线指导系统 |
-
2020
- 2020-01-22 CN CN202010074244.XA patent/CN111291804A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106922185A (zh) * | 2014-09-30 | 2017-07-04 | 微软技术许可有限责任公司 | 经由可穿戴和移动设备的基于自然运动的控制 |
| US20180189572A1 (en) * | 2016-12-30 | 2018-07-05 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Multi-Modal Fusion Model |
| CN108024158A (zh) * | 2017-11-30 | 2018-05-11 | 天津大学 | 利用视觉注意力机制的有监督视频摘要提取方法 |
| CN108776796A (zh) * | 2018-06-26 | 2018-11-09 | 内江师范学院 | 一种基于全局时空注意力模型的动作识别方法 |
| CN109086869A (zh) * | 2018-07-16 | 2018-12-25 | 北京理工大学 | 一种基于注意力机制的人体动作预测方法 |
| CN109241835A (zh) * | 2018-07-27 | 2019-01-18 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| US20190122373A1 (en) * | 2018-12-10 | 2019-04-25 | Intel Corporation | Depth and motion estimations in machine learning environments |
| CN109820515A (zh) * | 2019-03-01 | 2019-05-31 | 中南大学 | TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法 |
| CN110276380A (zh) * | 2019-05-22 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度模型框架的实时运动在线指导系统 |
Non-Patent Citations (1)
| Title |
|---|
| 焦一凡: "基于深度学习的视频精彩片段检测" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932010A (zh) * | 2020-08-10 | 2020-11-13 | 重庆大学 | 一种基于骑行上下文信息的共享单车流量预测方法 |
| CN111932010B (zh) * | 2020-08-10 | 2023-09-22 | 重庆大学 | 一种基于骑行上下文信息的共享单车流量预测方法 |
| CN113287805A (zh) * | 2021-05-27 | 2021-08-24 | 郑州大学 | 一种跌倒防护方法及可穿戴式跌倒防护装置 |
| CN113349791A (zh) * | 2021-05-31 | 2021-09-07 | 平安科技（深圳）有限公司 | 异常心电信号的检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764059B (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
| CN106846729B (zh) | 一种基于卷积神经网络的跌倒检测方法和系统 | |
| CN104615983B (zh) | 基于递归神经网络和人体骨架运动序列的行为识别方法 | |
| Ibraheem et al. | Survey on various gesture recognition technologies and techniques | |
| CN111291804A (zh) | 基于注意力机制的多传感器时间序列分析模型 | |
| CN110852382B (zh) | 一种基于时空多特征提取的行为识别系统及其工作方法 | |
| CN107016342A (zh) | 一种动作识别方法及系统 | |
| Su et al. | HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors | |
| CN110133610A (zh) | 基于时变距离-多普勒图的超宽带雷达动作识别方法 | |
| CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| WO2021139337A1 (zh) | 基于深度学习模型的步态识别方法、装置和计算机设备 | |
| CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
| CN106096662A (zh) | 基于加速度传感器的人体运动状态识别 | |
| CN113642432B (zh) | 一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别的方法 | |
| CN112148128A (zh) | 一种实时手势识别方法、装置及人机交互系统 | |
| CN109976526A (zh) | 一种基于表面肌电传感器和九轴传感器的手语识别方法 | |
| CN111562842B (zh) | 一种基于肌电信号的虚拟键盘设计方法 | |
| CN110188669A (zh) | 一种基于注意力机制的空中手写字符轨迹恢复方法 | |
| CN110472506A (zh) | 一种基于支持向量机和神经网络优化的手势识别方法 | |
| CN111382699A (zh) | 基于粒子群优化lstm算法的动态手势识别方法 | |
| CN115294658A (zh) | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 | |
| CN110298263A (zh) | 基于rfid系统的实时精确且无接触的手势识别方法及系统 | |
| Dhanraj et al. | Efficient smartphone-based human activity recognition using convolutional neural network | |
| CN116956222A (zh) | 一种基于自适应特征提取的多复杂度行为识别系统及方法 | |
| Xu et al. | A long term memory recognition framework on multi-complexity motion gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200616 |
|
| WW01 | Invention patent application withdrawn after publication |