CN111291804A - 基于注意力机制的多传感器时间序列分析模型 - Google Patents

基于注意力机制的多传感器时间序列分析模型 Download PDF

Info

Publication number
CN111291804A
CN111291804A CN202010074244.XA CN202010074244A CN111291804A CN 111291804 A CN111291804 A CN 111291804A CN 202010074244 A CN202010074244 A CN 202010074244A CN 111291804 A CN111291804 A CN 111291804A
Authority
CN
China
Prior art keywords
sensor
time
motion
decoder
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010074244.XA
Other languages
English (en)
Inventor
章轲
樊谨
黄益攀
王洪堃
赵备
朱逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010074244.XA priority Critical patent/CN111291804A/zh
Publication of CN111291804A publication Critical patent/CN111291804A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于注意力机制的多传感器时间序列分析模型。本发明包括数据收集、数据挖掘、时间序列分析和前端可视化,所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集;可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧,其中左臂上侧设置主传感器,其余都是从机传感器;从机传感器通过其射频无线传输模块将运动信号发送到主传感器,再发送到手机;根据分析方向进行定向分析,如果是运动预测,则对信号进行预处理,再由模型进行预测;如果是活动识别,则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器;最后均将结果显示在手机上。本发明用于多变量时间序列长期预测,可以实现实时运动预测。

Description

基于注意力机制的多传感器时间序列分析模型
技术领域
本发明涉及一种注意力机制的多传感器时间序列分析模型,用于多传感器时间序列分析的基于注意力的编解码器框架,属于时间序列分析,动作识别和传感器系统及其应用领域。
背景技术
机器学习的最新发展为实现超越人类医疗保健的智能应用程序提供了巨大的机会。随着物联网的不断发展,产生了具有强大的时空特征的海量数据。挖掘这些时间序列数据以指导体育锻炼或监控日常活动非常重要。与时间序列数据相关的研究在许多领域发挥了重要作用,例如交通流量预测、库存预测、活动检测和分类、人机交互、社会网络实时推荐等。可穿戴设备的加速度和角速度传感器收集的运动数据以一定模式的多元时间序列的形式呈现。通常,时间序列预测方法基于历史观测值y1,y2,y3,...,yT-1来生成未来序列yT,但忽略了外源序列x1,x2,x3,...,xT最终预测结果的影响,这些方法通常只能预测一个时间步长的未来值。因此,在长期时间序列预测中,多元序列是一个具有挑战性的问题,主要反映了如何提取相关的外源序列以进行长期预测。最近,基于双重关注机制的递归神经网络模型可以成功地提取多元外源序列的时空依赖性来预测yT,但是该方法仅在下一步的预测中表现良好。传统的RNN遭受梯度消失的困扰,因此无法捕获时间序列数据的长期依赖性。编码器-解码器网络从序列到序列的处理方式很受欢迎,因为它在自然语言处理中具有良好的实验结果。随着输入序列长度的增加,编码器-解码器网络的性能将迅速恶化,这对长期运动预测提出了重大挑战,因为我们希望基于目标序列的相对较长的片段进行预测。为了解决这个问题,我们开发了基于时间注意力的编码器解码器模型,用于多变量时间序列长期预测,可以实现实时运动预测。
另一方面,许多研究人员通过数据预处理和机器学习分类算法设计了基于可穿戴传感器设备的识别系统。在有监督的训练过程中,这些方法可以实现良好的分类效果。随着可穿戴设备的快速发展,深度学习方法可以在资源受限的设备(例如智能手机)上实现,以提供实时反馈,从而可以通过简单的操作揭示与人类动力学密切相关的运动特征和复杂的运动识别。
发明内容
为了解决上述问题,本发明提供了一种用于多传感器时间序列分析的基于注意力的编解码器模型。本发明包括四个部分:数据收集,数据挖掘、时间序列分析和前端可视化。在开始时由传感器测量的人体运动信号,再由可穿戴设备的微控制器进行收集。从机通过RF无线收发器将信号发送到主机,再到手机,手机收集到的运动信号将其传输到后台服务器。如果是运动预测,则对信号进行预处理,然后由模型(Multi-TAED)进行预测。如果是活动识别,则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器。最后,结果显示在手机上。
本发明解决其技术问题所采用的技术方案具体步骤如此:
本发明包括数据收集、数据挖掘、时间序列分析和前端可视化,所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集;可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧,来收集设备的运动信号;其中左臂上侧设置主传感器,其余都是从机传感器;从机传感器通过其射频无线传输模块将运动信号发送到主传感器,再通过主传感器的微控制器发送到手机,手机收集到的运动信号将传输到后台服务器,根据分析方向进行定向分析,如果是根据运动信号进行运动预测,则对信号进行预处理,然后由模型(Multi-TAED)进行预测;如果是根据运动信号进行活动识别,则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器;最后均将结果显示在手机上。
所述的主传感器包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01),一个蓝牙模块(HC05)和一个电源;
所述的三个从机传感器均包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01)和一个电源;
从机传感器通过SPI接口与从机传感器的射频无线传输模块相连接,并通过从机传感器的射频无线传输模块将信号发送到主传感器的射频无线传输模块,然后通过主传感器的射频无线传输模块发送到主传感器的微控制器,主传感器的微控制器通过蓝牙模块将信号发送到手机。
所述数据收集过程中,参与者和收集到样本具体如下:选取10名实验人员,其中4名女学生和6名男学生;实验人员的年龄均为22-29岁,身高155cm-190cm,体重为45kg-90kg;所有实验人员都将传感器固定到身体的指定部位;在收集过程中,每个活动数据信号都被标记;总共收集11,354个有效样本进行验证。
所述的数据挖掘,包括数据预处理、特征提取、特征归一化和特征降维。
进一步,根据运动信号进行运动预测,则对信号进行预处理,然后由模型(Multi-TAED)进行预测,具体实现如下:
步骤3-1:构建基于时间注意力的多元时间序列预测的编解码器模型,具体如下:
3-1-1.公式定义:
给定n个外源序列和一个目标序列,对于外源序列使用
Figure BDA0002378067480000031
Figure BDA0002378067480000032
其中T代表窗口的长度,使用
Figure BDA0002378067480000033
代表窗口长度T时间内的第k个特征序列;对于目标序列使用
Figure BDA0002378067480000034
Figure BDA0002378067480000035
代表窗口长度T时间内的目标序列,记
Figure BDA0002378067480000036
Figure BDA0002378067480000037
作为模型的输入序列,其中
Figure BDA0002378067480000038
表示在时间t处n个外源序列和一个目标序列,注此输入序列是一个t行n+1列的矩阵;
3-1-2.问题陈述:
使用步骤3-1-1中的外源序列(x1,x2,...,xT)和目标序列(y1,y2,...,yT)的并置
Figure BDA0002378067480000041
作为输入,用于预测接下来N个时间步,表示为
Figure BDA0002378067480000042
Figure BDA0002378067480000043
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系;使用输入特征序列X=(x1,x2,...,xT),其中
Figure BDA0002378067480000044
其中n是传感器数据的特征值,再加上先前的隐藏状态去计算序列的输出y1,y2,...,yT,在t时刻的输出为:
yt=fa(ht-1,xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器,编码器本质上是RNN;在时间预测方面,使用步骤3-1-1中输入序列
Figure BDA0002378067480000045
Figure BDA0002378067480000046
其中
Figure BDA0002378067480000047
其中n+1代表n个外源序列和一个目标序列;在t时刻由LSTM编码器完成从
Figure BDA0002378067480000048
到ht的映射;
Figure BDA0002378067480000049
其中,
Figure BDA00023780674800000410
ht是在t时刻编码器的隐藏状态,m是隐藏状态的大小;fa是一种非线性函数,本文使用上文介绍的LSTM来更新编码器的隐藏状态;将编码器T时刻隐藏状态hT作为解码器初始隐藏状态;并将hT和一层全连接矩阵的乘积作为解码器初始的预测值;
在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列能够自动对齐,注意力权重
Figure BDA00023780674800000411
的计算如下:
Figure BDA00023780674800000412
Figure BDA00023780674800000413
其中,
Figure BDA00023780674800000414
是需要学习的参数,
Figure BDA00023780674800000415
Figure BDA00023780674800000416
分别是编码器的隐藏状态和解码器隐藏状态,而m是隐藏状态的大小;其中注意力权重
Figure BDA00023780674800000417
表示在t时刻第i个解码器隐藏状态对预测的重要性,然后使用注意力权重
Figure BDA00023780674800000418
和编码器隐藏状态{h1,h2,...,hT}进行加权求和得到上下文向量ct,可通过下列公式计算:
Figure BDA0002378067480000051
3-1-5.通过上下文向量ct以及在t-1时刻预测值
Figure BDA0002378067480000052
串联起来,再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态:
Figure BDA0002378067480000053
其中
Figure BDA0002378067480000054
fa则是非线性函数本文使用LSTM作为st的更新;
3-1-6.将在t-1时刻的预测值
Figure BDA0002378067480000055
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来,然后通过两次全连接,求的最终的预测值:
Figure BDA0002378067480000056
其中
Figure BDA0002378067480000057
Figure BDA0002378067480000058
是需要学习的参数。
进一步,根据运动信号进行活动识别,具体实现如下:
基于LSTM的活动识别算法,对通过穿戴传感器设备收集的运动信号进行人类日常活动的识别,基于LSTM的活动识别算法的分类器具体如下:
LSTM由三个门组成:忘记门(ft),输入门(it)和输出门(ot);遗忘门决定从单元状态中丢弃的内容,输入门决定在下一步中将多少新信息输入到单元状态;输出门根据单元状态输出那些值;LSTM的计算公式:
ft=σ(Ufxt+Wfht-1+bf)
it=σ(Uixt+Wiht-1+bi)
ot=σ(Uoxt+Woht-1+bo)
st=ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht=ot⊙tanh(st)
其中st是内部的存储单元,ht是隐藏层单元,Uf,Ui,Uo
Figure BDA0002378067480000061
表示输入的隐藏权重矩阵,bf,bi,bo
Figure BDA0002378067480000062
表示偏置值,这些都是需要学习的参数,σ代表激活函数,tanh代表双曲线激活函数,⊙表示逐元素乘法。
本发明的贡献具体如下:
1)在这项工作中,提出了一种可穿戴传感器系统,其中集成了时间序列预测算法(Multi-TAED)和活动识别算法。该原型可以通过人体运动收集多传感器数据,并向用户提供实时交互。
2)针对运动时间预测设计了基于时间注意力的用于多时间序列长期预测的编码器-解码器模型(Multi-TAED)。就不同预测时间尺度下的均方根误差而言,Multi-TAED的性能优于现有方法。
3)提出的活动识别算法利用LSTM模型作为分类器。通过广泛的实验,与其他基于机器学习模型算法在十折和五折交叉策略中相比,本文的活动识别算法对人类活动的识别率为98.89%和99.28%。
附图说明
图1为本模型的发明示意图;
图2为基于时间注意力的多元时间序列预测的编解码器模型。
图3为一种基于LSTM的活动识别算法。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
如图1所示,本发明提供了一种用于多传感器时间序列分析的基于注意力的编解码器框架。它包括四个部分:数据收集,数据挖掘,时间序列分析和前端可视化。该方法包括如下步骤:
步骤1:数据收集
首先介绍一下收集数据的可穿戴传感器设备:可穿戴传感器设备固定在测试人员身体的各个部位(两个在大臂上侧,两个在膝盖上侧,其中左臂设置主机(主传感器),其余都是从机(从机传感器)),来收集设备的运动信号。
所述的主传感器包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01),一个蓝牙模块(HC05)和一个电源。
所述的三个从机传感器均包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01)和一个电源。从机中没有蓝牙模块。
本发明数据收集的过程如下:
从机通过SPI接口和从机的射频无线传输模块相连接,并通过从机的射频无线传输模块将信号发送到主传感器的射频无线传输模块,然后通过主传感器的射频无线传输模块发送到主传感器的微控制器,主传感器的微控制器通过蓝牙模块将信号发送到手机。
参与者和收集到样本:该实验有10名实验学生,其中4名女学生和6名男学生。实验人员的年龄均为22-29岁,身高155cm-190cm,体重为45kg-90kg。所有实验学生都将传感器固定到身体的各个部位(两个手臂的上侧,两个膝盖的上侧)。在收集过程中,每个活动数据都被标记。我们总共收集了11,354个有效样本进行验证。
步骤2:数据挖掘
步骤2-1:数据预处理
可穿戴式传感器设备收集的运动信号包括人体无意识的晃动、人体自身的重力加速度以及传感器自身的偏移误差所产生的噪声。因此,在收集运动信号后,首先使用低通滤波来滤除加速度和角速度中的高频噪声。然后,将通过低通滤波后的加速度运动信号再次通过高通滤波将人体产生的重力加速度进行滤波。
2-1-1.低通滤波
收集加速度和角速度传感器的运动信号使用移动平均滤波器来过滤高频噪声,其中移动平均滤波器是低通滤波器。
Figure BDA0002378067480000071
其中x[n]是输入到数字低通滤波中要校准的运动信号即(αcx,αcy,αcz,ωcx,ωcy,ωcz),y[n]是经过低通滤波的信号既(αlx,αly,αlz,ωlx,ωly),N是平均滤波器中的点数。
2-1-2.高通滤波
对加速度信号进行低通滤波后,应使用高通滤波去除重力加速度,在本文中使用截取频率为0.005Hz的三阶高通滤波器,滤除重力加速度获得加速度传感器的信号(αhx,αhy,αhz)
步骤2-2:特征提取
可穿戴传感器设备采集到的运动信号是一种数据流的形式,不适合直接提取特征。通常在对运动信号进行特征提取前进行数据加窗的预处理。其中滑动窗口被广泛使用,因为其简单直观,实时性强,被广泛应用在可穿戴传感器的活动识别算法中,本文使用相邻窗口50%重叠,重叠的窗口具有更好的平滑性,更适合分析连续的数据,可以达到实时处理的要求。在进行加窗处理后,原始运动信号的长度得到了统一,不同的运动信号之间有一个共同的标准进行比较。接下来,研究人员从时域和频域中提取尽可能多的特征,将最为有效的特征向量从原始的传感器运动信号中提取出来。由于时域分析法是从传感器中的时域运动信号中直接提取特征,相对其他提取特征的方法,时域特征提取简单,比较适合实时系统。在时域中,我们计算了均值,方差,标准差,最大值,最小值,相关系数,最大值与最小值之差,众数。很多时域特征具有明确的物理意义,标准差描述传感器运动信号的稳定性,相关系数反应两两坐标轴之间信号的相关性。之后我们应用快速傅立叶变换算法来提取频域上的特征,在频域中我们提取了直流分量,幅度的统计特征和形状的统计特征(均值,方差,标准差,斜度,峭度)。
步骤2-3:特征归一化
总共提取到456(4×2×3×19)个特征,随后进行特征归一化。由于提取到的不同特征值之间的范围差距较大,将提取到特征归一化到[0,1]区间中,让不同维度的特征在数值上有一定的比较性,会大大提高分类器的准确率。
Figure BDA0002378067480000091
其中si表示归一化特征向量中第i个特征向量,而smax和smin表示归一化特征向量中的最大值和最小值,yi表示归一化后的第i个特征向量。
步骤2-4:特征降维
特征提取后,由于提取了过多的特征,直接使用高维特征进行分类会遇到很多问题,例如特征之间存在大量的冗余不仅会降低分类器的性能,还会增加计算的复杂性,数据不够直观及数据可视性较差。本文采用主成分分析法对采集到的特征向量进行降维,找到特征向量的最优线性组合,并排列出他们的重要性。主成分分析的主要思想是用新的低维特征集合来代替原始高维特征数据,让其尽可能显示原来数据的信息。主成分分析法在动作识别领域中获得广泛的应用。
步骤3:时间序列分析
针对运动信号的时间序列分析,如果是运动预测,则跳转到步骤3-1中进行处理;如果是活动识别,则跳转到步骤3-2中进行处理。
步骤3-1:基于时间注意力的多元时间序列预测的编解码器模型
如图2所示,本发明提供了一种基于时间注意力的多元时间序列预测的编解码器模型
为了捕获所收集的运动数据的时间特性,本文提出了一种基于时间注意的编码器解码器模型,用于多变量时间序列预测。该模型的目的是预测多变量序列的长期变化,这对于运动预测,尤其是实时运动评价具有实际的意义。该模型可以在编码器中输入历史时间序列样本,并在解码器中使用时间注意机制自动跨所有步长选择相应的编码器隐藏状态。
3-1-1.公式定义:
给定n个外源序列和一个目标序列,对于外源序列使用
Figure BDA0002378067480000092
Figure BDA0002378067480000093
其中T代表窗口的长度,使用
Figure BDA0002378067480000094
代表窗口长度T时间内的第k个特征序列。对于目标序列使用
Figure BDA0002378067480000095
Figure BDA0002378067480000101
代表窗口长度T时间内的目标序列,记
Figure BDA0002378067480000102
Figure BDA0002378067480000103
作为模型的输入序列,其中
Figure BDA0002378067480000104
表示在时间t处n个外源序列和一个目标序列,注此输入序列是一个t行n+1列的矩阵。
3-1-2.问题陈述:
使用步骤3-1-1中的外源序列(x1,x2,...,xT)和目标序列(y1,y2,...,yT)的并置
Figure BDA0002378067480000105
作为输入,用于预测接下来N个时间步,表示为
Figure BDA0002378067480000106
Figure BDA0002378067480000107
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系。使用输入特征序列X=(x1,x2,...,xT),其中
Figure BDA0002378067480000108
其中n是传感器数据的特征值,再加上先前的隐藏状态去计算序列的输出y1,y2,...,yT,在t时刻的输出为:
yt=fa(ht-1,xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器,编码器本质上是RNN。在时间预测方面,使用步骤3-1-1中输入序列
Figure BDA0002378067480000109
Figure BDA00023780674800001010
其中
Figure BDA00023780674800001011
其中n+1代表n个外源序列和一个目标序列。在t时刻由LSTM编码器完成从
Figure BDA00023780674800001012
到ht的映射。
Figure BDA00023780674800001013
其中,
Figure BDA00023780674800001014
ht是在t时刻编码器的隐藏状态,m是隐藏状态的大小。fa是一种非线性函数,本文使用上文介绍的LSTM来更新编码器的隐藏状态。将编码器T时刻隐藏状态hT作为解码器初始隐藏状态。并将hT和一层全连接矩阵的乘积作为解码器初始的预测值。
通常编码器解码器模型,会将输入序列编码为固定长度的向量,解码器根据该向量生成预测的未来时间序列,但随着输入序列长度的增加,编码器解码器模型性能会不断下降,因此在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列可以自动对齐。注意力权重
Figure BDA00023780674800001015
的计算如下:
Figure BDA0002378067480000111
Figure BDA0002378067480000112
其中,
Figure BDA0002378067480000113
是需要学习的参数,
Figure BDA0002378067480000114
Figure BDA0002378067480000115
分别是编码器的隐藏状态和解码器隐藏状态,而m是隐藏状态的大小。其中注意力权重
Figure BDA0002378067480000116
表示在t时刻第i个解码器隐藏状态对预测的重要性,然后使用注意力权重
Figure BDA0002378067480000117
和编码器隐藏状态{h1,h2,...,hT}进行加权求和得到上下文向量ct,可通过下列公式计算:
Figure BDA0002378067480000118
3-1-5.通过上下文向量ct以及在t-1时刻预测值
Figure BDA0002378067480000119
串联起来,再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态:
Figure BDA00023780674800001110
其中
Figure BDA00023780674800001111
fa则是非线性函数本文使用LSTM作为st的更新。
3-1-6.将在t-1时刻的预测值
Figure BDA00023780674800001112
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来,然后通过两次全连接,求的最终的预测值:
Figure BDA00023780674800001113
其中
Figure BDA00023780674800001114
Figure BDA00023780674800001115
是需要学习的参数。
步骤3-2:基于LSTM的活动识别算法
如图3所示,本发明提供了一种基于LSTM的活动识别算法
为了获得人类日常活动精确的分类结果,在该框架下提出了一种基于LSTM的活动识别算法。通过穿戴传感器设备收集的运动信号来识别人类的日常活动。对收集到的数据样本进行预处理,特征构建,最后通过LSTM分类器识别日常活动。下面简要介绍分类器算法。
LSTM由三个门组成:忘记门(ft),输入门(it)和输出门(ot)。遗忘门决定从单元状态中丢弃的内容,输入门决定在下一步中将多少新信息输入到单元状态。输出门根据单元状态输出那些值。LSTM的计算公式:
ft=σ(Ufxt+Wfht-1+bf)
it=σ(Uixt+Wiht-1+bi)
ot=σ(Uoxt+Woht-1+bo)
st=ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht=ot⊙tanh(st)
其中st是内部的存储单元,ht是隐藏层单元,Uf,Ui,Uo
Figure BDA0002378067480000121
表示输入的隐藏权重矩阵,bf,bi,bo
Figure BDA0002378067480000122
表示偏置值,这些都是需要学习的参数,σ代表激活函数,tanh代表双曲线激活函数,⊙表示逐元素乘法。

Claims (6)

1.基于注意力机制的多传感器时间序列分析模型,其特征在于包括数据收集、数据挖掘、时间序列分析和前端可视化,所述的数据收集通过设置在人体上的可穿戴传感器设备进行收集;可穿戴传感器设备分别固定在测试人员身体的大臂上侧和膝盖上侧,来收集设备的运动信号;其中左臂上侧设置主传感器,其余都是从机传感器;从机传感器通过其射频无线传输模块将运动信号发送到主传感器,再通过主传感器的微控制器发送到手机,手机收集到的运动信号将传输到后台服务器,根据分析方向进行定向分析,如果是根据运动信号进行运动预测,则对信号进行预处理,然后由模型(Multi-TAED)进行预测;如果是根据运动信号进行活动识别,则对信号进行预处理、特征提取、特征归一化、特征降维和识别分类器;最后均将结果显示在手机上。
2.根据权利要求1所述的基于注意力机制的多传感器时间序列分析模型,其特征在于所述的主传感器包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01),一个蓝牙模块(HC05)和一个电源;
所述的三个从机传感器均包括一个微控制器(STM32F103),一个六轴惯性传感器模块(MPU-6050),一个射频无线传输模块(nRF24L01)和一个电源;
从机传感器通过SPI接口与从机传感器的射频无线传输模块相连接,并通过从机传感器的射频无线传输模块将信号发送到主传感器的射频无线传输模块,然后通过主传感器的射频无线传输模块发送到主传感器的微控制器,主传感器的微控制器通过蓝牙模块将信号发送到手机。
3.根据权利要求1或2所述的基于注意力机制的多传感器时间序列分析模型,其特征在于所述数据收集过程中,参与者和收集到样本具体如下:选取10名实验人员,其中4名女学生和6名男学生;实验人员的年龄均为22-29岁,身高155cm-190cm,体重为45kg-90kg;所有实验人员都将传感器固定到身体的指定部位;在收集过程中,每个活动数据信号都被标记;总共收集11,354个有效样本进行验证。
4.根据权利要求3所述的基于注意力机制的多传感器时间序列分析模型,其特征在于所述的数据挖掘,包括数据预处理、特征提取、特征归一化和特征降维。
5.根据权利要求1或4所述的基于注意力机制的多传感器时间序列分析模型,其特征在于根据运动信号进行运动预测,则对信号进行预处理,然后由模型(Multi-TAED)进行预测,具体实现如下:
步骤3-1:构建基于时间注意力的多元时间序列预测的编解码器模型,具体如下“”
3-1-1.公式定义:
给定n个外源序列和一个目标序列,对于外源序列使用
Figure FDA0002378067470000021
Figure FDA0002378067470000022
其中T代表窗口的长度,使用
Figure FDA0002378067470000023
代表窗口长度T时间内的第k个特征序列;对于目标序列使用
Figure FDA0002378067470000024
Figure FDA0002378067470000025
代表窗口长度T时间内的目标序列,记
Figure FDA0002378067470000026
Figure FDA0002378067470000027
作为模型的输入序列,其中
Figure FDA0002378067470000028
表示在时间t处n个外源序列和一个目标序列,注此输入序列是一个t行n+1列的矩阵;
3-1-2.问题陈述:
使用步骤3-1-1中的外源序列(x1,x2,...,xT)和目标序列(y1,y2,...,yT)的并置
Figure FDA0002378067470000029
作为输入,用于预测接下来N个时间步,表示为
Figure FDA00023780674700000210
Figure FDA00023780674700000211
3-1-3.编码器和解码器组件
编码器选择LSTM单元以捕获时间序列的依存关系;使用输入特征序列X=(x1,x2,...,xT),其中
Figure FDA00023780674700000212
其中n是传感器数据的特征值,再加上先前的隐藏状态去计算序列的输出y1,y2,...,yT,在t时刻的输出为:
yt=fa(ht-1,xt)
3-1-4.基于时间注意力的编解码机制
提出的模型使用基于LSTM的递归神经网络作为编码器,编码器本质上是RNN;在时间预测方面,使用步骤3-1-1中输入序列
Figure FDA0002378067470000031
Figure FDA0002378067470000032
其中
Figure FDA0002378067470000033
其中n+1代表n个外源序列和一个目标序列;在t时刻由LSTM编码器完成从
Figure FDA0002378067470000034
到ht的映射;
Figure FDA0002378067470000035
其中,
Figure FDA0002378067470000036
ht是在t时刻编码器的隐藏状态,m是隐藏状态的大小;fa是一种非线性函数,本文使用上文介绍的LSTM来更新编码器的隐藏状态;将编码器T时刻隐藏状态hT作为解码器初始隐藏状态;并将hT和一层全连接矩阵的乘积作为解码器初始的预测值;
在解码器中使用注意力机制使得编码器隐藏状态和未来的目标序列能够自动对齐,注意力权重
Figure FDA0002378067470000037
的计算如下:
Figure FDA0002378067470000038
Figure FDA0002378067470000039
其中,
Figure FDA00023780674700000310
是需要学习的参数,
Figure FDA00023780674700000311
Figure FDA00023780674700000312
分别是编码器的隐藏状态和解码器隐藏状态,而m是隐藏状态的大小;其中注意力权重
Figure FDA00023780674700000313
表示在t时刻第i个解码器隐藏状态对预测的重要性,然后使用注意力权重
Figure FDA00023780674700000314
和编码器隐藏状态{h1,h2,...,hT}进行加权求和得到上下文向量ct,可通过下列公式计算:
Figure FDA00023780674700000315
3-1-5.通过上下文向量ct以及在t-1时刻预测值
Figure FDA00023780674700000316
串联起来,再加上先前的解码器隐藏状态st-1作为输入序列来计算当前t时刻解码器隐藏状态:
Figure FDA00023780674700000317
其中
Figure FDA00023780674700000318
fa则是非线性函数本文使用LSTM作为st的更新;
3-1-6.将在t-1时刻的预测值
Figure FDA0002378067470000041
和上下文向量ct以及步骤3-1-5中求的当前t时刻解码器隐藏状态st再次串联起来,然后通过两次全连接,求的最终的预测值:
Figure FDA0002378067470000042
其中
Figure FDA0002378067470000043
Figure FDA0002378067470000044
是需要学习的参数。
6.根据权利要求1或4所述的基于注意力机制的多传感器时间序列分析模型,其特征在于根据运动信号进行活动识别,具体实现如下:
基于LSTM的活动识别算法,对通过穿戴传感器设备收集的运动信号进行人类日常活动的识别,基于LSTM的活动识别算法的分类器具体如下:
LSTM由三个门组成:忘记门(ft),输入门(it)和输出门(ot);遗忘门决定从单元状态中丢弃的内容,输入门决定在下一步中将多少新信息输入到单元状态;输出门根据单元状态输出那些值;LSTM的计算公式:
ft=σ(Ufxt+Wfht-1+bf)
it=σ(Uixt+Wiht-1+bi)
ot=σ(Uoxt+Woht-1+bo)
st=ft⊙st-1+it⊙tanh(Usht-1+Wsxt+bs)
ht=ot⊙tanh(st)
其中st是内部的存储单元,ht是隐藏层单元,Uf,Ui,Uo
Figure FDA0002378067470000045
表示输入的隐藏权重矩阵,bf,bi,bo
Figure FDA0002378067470000046
表示偏置值,这些都是需要学习的参数,σ代表激活函数,tanh代表双曲线激活函数,⊙表示逐元素乘法。
CN202010074244.XA 2020-01-22 2020-01-22 基于注意力机制的多传感器时间序列分析模型 Withdrawn CN111291804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074244.XA CN111291804A (zh) 2020-01-22 2020-01-22 基于注意力机制的多传感器时间序列分析模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074244.XA CN111291804A (zh) 2020-01-22 2020-01-22 基于注意力机制的多传感器时间序列分析模型

Publications (1)

Publication Number Publication Date
CN111291804A true CN111291804A (zh) 2020-06-16

Family

ID=71023447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074244.XA Withdrawn CN111291804A (zh) 2020-01-22 2020-01-22 基于注意力机制的多传感器时间序列分析模型

Country Status (1)

Country Link
CN (1) CN111291804A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932010A (zh) * 2020-08-10 2020-11-13 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN113287805A (zh) * 2021-05-27 2021-08-24 郑州大学 一种跌倒防护方法及可穿戴式跌倒防护装置
CN113349791A (zh) * 2021-05-31 2021-09-07 平安科技(深圳)有限公司 异常心电信号的检测方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
US20180189572A1 (en) * 2016-12-30 2018-07-05 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Modal Fusion Model
CN108776796A (zh) * 2018-06-26 2018-11-09 内江师范学院 一种基于全局时空注意力模型的动作识别方法
CN109086869A (zh) * 2018-07-16 2018-12-25 北京理工大学 一种基于注意力机制的人体动作预测方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
US20190122373A1 (en) * 2018-12-10 2019-04-25 Intel Corporation Depth and motion estimations in machine learning environments
CN109820515A (zh) * 2019-03-01 2019-05-31 中南大学 TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法
CN110276380A (zh) * 2019-05-22 2019-09-24 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106922185A (zh) * 2014-09-30 2017-07-04 微软技术许可有限责任公司 经由可穿戴和移动设备的基于自然运动的控制
US20180189572A1 (en) * 2016-12-30 2018-07-05 Mitsubishi Electric Research Laboratories, Inc. Method and System for Multi-Modal Fusion Model
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN108776796A (zh) * 2018-06-26 2018-11-09 内江师范学院 一种基于全局时空注意力模型的动作识别方法
CN109086869A (zh) * 2018-07-16 2018-12-25 北京理工大学 一种基于注意力机制的人体动作预测方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
US20190122373A1 (en) * 2018-12-10 2019-04-25 Intel Corporation Depth and motion estimations in machine learning environments
CN109820515A (zh) * 2019-03-01 2019-05-31 中南大学 TensorFlow平台上基于LSTM神经网络的多传感跌倒检测的方法
CN110276380A (zh) * 2019-05-22 2019-09-24 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦一凡: "基于深度学习的视频精彩片段检测" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932010A (zh) * 2020-08-10 2020-11-13 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN111932010B (zh) * 2020-08-10 2023-09-22 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
CN113287805A (zh) * 2021-05-27 2021-08-24 郑州大学 一种跌倒防护方法及可穿戴式跌倒防护装置
CN113349791A (zh) * 2021-05-31 2021-09-07 平安科技(深圳)有限公司 异常心电信号的检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108764059B (zh) 一种基于神经网络的人体行为识别方法及系统
CN106846729B (zh) 一种基于卷积神经网络的跌倒检测方法和系统
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
Ibraheem et al. Survey on various gesture recognition technologies and techniques
CN111291804A (zh) 基于注意力机制的多传感器时间序列分析模型
CN110852382B (zh) 一种基于时空多特征提取的行为识别系统及其工作方法
CN107016342A (zh) 一种动作识别方法及系统
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN110133610A (zh) 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
WO2021139337A1 (zh) 基于深度学习模型的步态识别方法、装置和计算机设备
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
CN106096662A (zh) 基于加速度传感器的人体运动状态识别
CN113642432B (zh) 一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别的方法
CN112148128A (zh) 一种实时手势识别方法、装置及人机交互系统
CN109976526A (zh) 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN111562842B (zh) 一种基于肌电信号的虚拟键盘设计方法
CN110188669A (zh) 一种基于注意力机制的空中手写字符轨迹恢复方法
CN110472506A (zh) 一种基于支持向量机和神经网络优化的手势识别方法
CN111382699A (zh) 基于粒子群优化lstm算法的动态手势识别方法
CN115294658A (zh) 一种面向多应用场景的个性化手势识别系统及其手势识别方法
CN110298263A (zh) 基于rfid系统的实时精确且无接触的手势识别方法及系统
Dhanraj et al. Efficient smartphone-based human activity recognition using convolutional neural network
CN116956222A (zh) 一种基于自适应特征提取的多复杂度行为识别系统及方法
Xu et al. A long term memory recognition framework on multi-complexity motion gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200616

WW01 Invention patent application withdrawn after publication