CN110991251B - 基于深度学习的无源人体运动识别方法 - Google Patents

基于深度学习的无源人体运动识别方法 Download PDF

Info

Publication number
CN110991251B
CN110991251B CN201911078785.3A CN201911078785A CN110991251B CN 110991251 B CN110991251 B CN 110991251B CN 201911078785 A CN201911078785 A CN 201911078785A CN 110991251 B CN110991251 B CN 110991251B
Authority
CN
China
Prior art keywords
data
matrix
behavior
neural network
axis acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911078785.3A
Other languages
English (en)
Other versions
CN110991251A (zh
Inventor
於晨阳
谢志军
俞建成
吴焕铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumeng Technology (Shenzhen) Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201911078785.3A priority Critical patent/CN110991251B/zh
Publication of CN110991251A publication Critical patent/CN110991251A/zh
Application granted granted Critical
Publication of CN110991251B publication Critical patent/CN110991251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于深度学习的无源人体运动识别方法，通过首先对人体运动数据进行行为特征数据提取获取训练数据，然后在笔记本电脑中使用tensorflow构建深度神经网络模型，基于训练数据采用深度学习的方法实现对深度神经网络模型的训练，在人体运动识别时，通过给待识别人员配备WISP实现人体运动数据的采集，然后提取采集的运动数据的特征数据作为深度神经网络模型的输入数据，通过深度神经网络模型实现运动识别；优点是成本较低，识别时间短，且具有较高的识别准确率。

Description

基于深度学习的无源人体运动识别方法
技术领域
本发明涉及一种无源人体运动识别方法，尤其是涉及一种基于深度学习的无源人体运动识别方法。
背景技术
随着计算机视觉、MEMS(Micro Electro Mechanical Systems)技术以及人工智能等技术的日益成熟和不断发展，各种各样的智能设备进入了人们的日常生活中。与此同时，用于这些智能设备的智能控制或智能监测方法也得到了快速的发展。人体运动识别方法作为一种智能监测的模式识别方法，主要对人体的运动类别和行为模式进行分析和识别，得到了广泛应用。人体运动识别方法通过获取人体的运动信息并对这些运动信息进行处理，从而识别人的行为动作。人体运动识别方法可以识别的人的行为动作，进而判断人所处的地理环境，推测其潜在目的。如在医疗健康领域，人体运动识别方法可以实现子女对年迈的父母行为的远程监测，或者医院工作人员可以对特定病人的日常行为进行远程监测。
现有的人体运动识别方法根据数据采集方式的不同主要分为基于计算机视觉的人体运动识别方法和基于可穿戴设备的人体运动识别方法两大类。基于计算机视觉的人体运动识别方法是在一个限定区域的环境中安装视频数据采集装置，通过视频数据采集装置采集该限定区域内行为人的视频图像远程发送给监测者，监测者采用图像处理方法对采集到的视频图像进行处理获取对应的运动数据，然后基于这些运动数据分析确定行为人的运动状态。基于计算机视觉的人体运动识别方法虽然在人体运动识别方面具有较高的识别准确率，但是其需要在监测区域的中安装视频数据采集装置，成本较高，且容易受到采集区域中其它物体的干扰而导致准确度降低。
基于可穿戴设备的人体运动识别方法中，行为人携带包含高精度传感器的可穿戴设备，通过可穿戴设备对行为人运动状态数据进行采集，可穿戴设备中的高精度传感器有助于提高运动状态的识别准确率。行为人做出相应的运动行为时，可穿戴设备中的高精度传感器采集相应的数据，该可穿戴设备通过无线通信的方式将采集的数据发送给数据处理终端(如PC机),数据处理终端中构建有数据处理模型(SVM(Support Vector Machine)、决策树或者深度神经网络等模型)，这些数据作为数据处理模型的输入数据输入数据处理模型中得到运动类型的结果输出。
基于可穿戴设备的人体运动识别方法相对于基于计算机视觉的人体运动识别方法，使用更加方便灵活，但是该方法需要使用的可穿戴设备成本也较高，且使用的SVM、决策树等模型随着数据量增大耗时严重且识别准确率会降低，使用过度复杂网络难以确定网络结构最终也将影响运动识别准确率。
发明内容
本发明所要解决的技术问题是提供一种成本较低，识别时间短，具有较高的识别准确率的基于深度学习的无源人体运动识别方法
本发明解决上述技术问题所采用的技术方案为：一种基于深度学习的无源人体运动识别方法，包括以下步骤：
①配备WISP(Wireless Identification and Sensing Platform)，并将与WISP对应的WISP源码文件装载到一台笔记本电脑上，打开笔记本电脑上的WISP源码文件对WISP的参数进行设置：将WISP源码文件中WISP上三轴加速度传感器的采样频率参数设置为30Hz；参数设置完成后，将笔记本电脑与WISP通过MSP430 USB仿真器相连将WISP源码文件下载到WISP中，下载完成后，将WISP阅读器与笔记本电脑通过USB相连，此时，WISP阅读器与WISP通过无线网络进行通讯，WISP阅读器与笔记本电脑通过USB连接后进行通信；
②样本数据采集：将WISP依次佩戴于N名测试人员腰腹位置，N为大于等于5且小于等于10的整数，每个佩戴有WISP的测试人员分别独自完成上楼、下楼、站立、行走、卧躺和跑步这6种日常人体行为，其中，上楼为第1种行为，下楼为第2种行为，站立为第3种行为，行走为第4种行为，卧躺为第5种行为，跑步为第6种行为；对每种行为连续采样时长为3分钟，采样频率为30Hz，每个测试人员佩戴的WISP依次获取该测试人员6种行为的三轴加速度数据并通过无线方式发送给所述的WISP阅读器，所述的WISP阅读器将接收到的三轴加速度数据发送给笔记本电脑，在笔记本电脑中将这些三轴加速度数据保存为data.csv文件，其中第n个测试人员第a种行为的X轴加速度序列记为
Figure GDA0004067063520000031
Figure GDA0004067063520000032
第n个测试人员第a种行为的Y轴加速度序列记为
Figure GDA0004067063520000033
Figure GDA0004067063520000034
第n个测试人员第a种行为的Z轴加速度序列记为
Figure GDA0004067063520000035
Figure GDA0004067063520000036
其中
Figure GDA0004067063520000037
为第n个测试人员第a种行为的X轴加速度序列中第m个加速度数据，
Figure GDA0004067063520000038
为第n个测试人员第a种行为的Y轴加速度序列中第m个加速度数据，
Figure GDA0004067063520000039
为第n个测试人员第a种行为的Z轴加速度序列中第m个加速度数据，a＝1，2，3，4,5,6，n＝1，2，...，N，m＝1，2，...，M，M为采样数据量,由采样时长和采样频率计算得到；
③行为特征提取：
在笔记本电脑上使用matlab读取data.csv文件，获得第n个测试人员第a种行为的X轴加速度序列
Figure GDA00040670635200000310
Y轴加速度序列
Figure GDA00040670635200000311
和Z轴加速度序列
Figure GDA00040670635200000338
使用matlab分别对
Figure GDA00040670635200000339
Figure GDA00040670635200000312
和
Figure GDA00040670635200000313
进行加窗处理，其中窗口长度设置为128，重叠率设置为50％，分别得到
Figure GDA00040670635200000314
Figure GDA00040670635200000315
和
Figure GDA00040670635200000316
的加窗数据序列，将第n个测试人员第a种行为的X轴加速度序列
Figure GDA00040670635200000317
的加窗数据序列记为
Figure GDA00040670635200000318
Figure GDA00040670635200000319
Vi n，a表示加窗数据序列
Figure GDA00040670635200000320
中第i个加窗数据，i＝1，2，…，M',
Figure GDA00040670635200000321
将第n个测试人员第a种行为的Y轴加速度序列
Figure GDA00040670635200000322
的加窗数据序列记为
Figure GDA00040670635200000323
Figure GDA00040670635200000324
Figure GDA00040670635200000325
表示加窗数据序列
Figure GDA00040670635200000326
中第i个加窗数据，将第n个测试人员第a种行为的Z轴加速度序列
Figure GDA00040670635200000327
的加窗数据序列记为
Figure GDA00040670635200000328
Figure GDA00040670635200000329
Figure GDA00040670635200000330
表示加窗数据序列
Figure GDA00040670635200000331
中第i个加窗数据；
使用matlab分别对加窗数据序列
Figure GDA00040670635200000332
和
Figure GDA00040670635200000333
进行特征提取，分别获取
Figure GDA00040670635200000334
和
Figure GDA00040670635200000335
的均值、标准差、任意两轴相关系数和FFT 64维系数，具体为：
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的均值记为
Figure GDA00040670635200000336
采用公式(1)计算得到
Figure GDA00040670635200000337
Figure GDA0004067063520000041
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的均值记为
Figure GDA0004067063520000042
采用公式(2)计算得到
Figure GDA0004067063520000043
Figure GDA0004067063520000044
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的均值记为
Figure GDA0004067063520000045
采用公式(3)计算得到
Figure GDA0004067063520000046
Figure GDA0004067063520000047
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的标准差记为
Figure GDA0004067063520000048
采用公式(4)计算得到
Figure GDA0004067063520000049
Figure GDA00040670635200000410
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的标准差记为
Figure GDA00040670635200000411
采用公式(5)计算得到
Figure GDA00040670635200000412
Figure GDA00040670635200000413
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的标准差记为
Figure GDA00040670635200000414
采用公式(6)计算得到
Figure GDA00040670635200000415
Figure GDA00040670635200000416
式(1)～式(6)中，∑表示求和运算符号；
采用N个测试人员第a种行为的X轴加速度序列的加窗数据序列
Figure GDA00040670635200000417
构成第一矩阵Sx，将Sx采用式(7)表示为：
Figure GDA0004067063520000051
采用N个测试人员第a种行为的Y轴加速度序列的加窗数据序列
Figure GDA0004067063520000052
构成第二矩阵Sy，将Sy采用式(8)表示为：
Figure GDA0004067063520000053
采用N个测试人员第a种行为的Z轴加速度序列的加窗数据序列
Figure GDA0004067063520000054
构成第三矩阵Sz，将Sz采用式(9)表示为：
Figure GDA0004067063520000055
将第一矩阵Sx和第二矩阵Sy之间的相关系数记为Corr(Sx,Sy)，将第一矩阵Sx和第三矩阵Sz之间的相关系数记为Corr(Sx,Sz)，将第二矩阵Sy和第三矩阵Sz之间的相关系数记为Corr(Sy,Sz)，分别采用公式(10)、(11)和(12)计算得到Corr(Sx,Sy)、Corr(Sx,Sz)和Corr(Sy,Sz)：
Figure GDA0004067063520000056
Figure GDA0004067063520000057
Figure GDA0004067063520000058
其中，cov()为matlab中用于计算两个矩阵的协方差的函数，cov(Sx,Sy)表示第一矩阵Sx和第二矩阵Sy的协方差，cov(Sx,Sz)表示第一矩阵Sx和第三矩阵Sz的协方差，cov(Sy,Sz)表示第二矩阵Sy和第三矩阵Sz的协方差，σx为第一矩阵Sx的方差,σy为第二矩阵Sy的方差，σz为第三矩阵Sz的方差；
对第一矩阵Sx、第二矩阵Sy和第三矩阵Sz分别使用快速傅里叶变化转换得到变换矩阵，将第一矩阵Sx的变换矩阵记为Px，将第二矩阵Sy的变换矩阵记为Py，将第三矩阵Sz的变换矩阵记为Pz，Px、Py和Pz采用公式(13)、(14)和(15)分别表示为：
Figure GDA0004067063520000061
Figure GDA0004067063520000062
Figure GDA0004067063520000063
其中，
Figure GDA0004067063520000064
为
Figure GDA0004067063520000065
使用快速傅里叶变化转换得到的变换矩阵，
Figure GDA0004067063520000066
为
Figure GDA0004067063520000067
使用快速傅里叶变化转换得到的变换矩阵，
Figure GDA0004067063520000068
为
Figure GDA0004067063520000069
使用快速傅里叶变化转换得到的变换矩阵；
从
Figure GDA00040670635200000610
的第1行第1个数据开始按行依次选取64个数据构建第一个FFT 64维系数f1，f1采用公式(16)表示为：
Figure GDA00040670635200000611
从
Figure GDA00040670635200000612
的第1行第1个数据开始按行依次选取64个数据构建第二个FFT 64维系数f2，f2采用公式(17)表示为：
Figure GDA00040670635200000613
从
Figure GDA00040670635200000614
的第1行第1个数据开始按行依次选取64个数据构建第三个FFT 64维系数f3，f3采用公式(18)表示为：
Figure GDA0004067063520000071
将所有测试人员第a种行为的初始特征向量记为
Figure GDA0004067063520000072
将
Figure GDA0004067063520000073
Corr(Sx,Sy)、Corr(Sx,Sz)、Corr(Sy,Sz)、f1的64个数据、f2的64个数据和f3的64个数据依次排列组成维数为201的向量，该向量即为
Figure GDA0004067063520000074
在matlab中使用PCA和LDA将所有测试人员第a种行为的初始特征向量
Figure GDA0004067063520000075
的维数降到15，得到第a种行为的更新特征向量，将该更新特征向量记为ua，ua采用式(19)表示为：
Figure GDA0004067063520000076
④重复步骤②和步骤③共50次，得到50个第a种行为的更新特征向量，采用50个第a种行为的更新特征向量构建第a种行为的特征矩阵，将第a种行为的特征矩阵记为Ga，G1为上楼的特征矩阵，G2为下楼的特征矩阵，G3为站立的特征矩阵，G4为行走的特征矩阵，G5为卧躺的特征矩阵，G6为跑步的特征矩阵，每种行为的特征矩阵的维度均为50×15；G1,G2,G3,G4,G5,G6分别采用式(20)、(21)、(22)、(23)、(24)和(25)表示为：
Figure GDA0004067063520000077
Figure GDA0004067063520000078
Figure GDA0004067063520000079
Figure GDA0004067063520000081
Figure GDA0004067063520000082
Figure GDA0004067063520000083
其中，
Figure GDA0004067063520000084
为第n'次得到的第a种行为的更新特征向量，n'＝1，2，...，50。
构建包括两列数据的训练集，训练集中第一列数据记为Xt，第二列数据记为Yt，Xt表示训练数据，Yt表示训练数据对应的行为类别，一个Xt和一个Yt构成一个训练数据组，使用matlab获取G1～G6的前40行数据作为训练集的训练数据,G1的40行数据对应的Yt均为1，G2的40行数据对应的的Yt均为2，G3的40行数据对应的Yt均为3，G4的40行数据对应的Yt均为4，G5的40行数据对应的Yt均为5，G6的40行数据对应的Yt均为6，构建得到的训练集中共包括240个训练数据组，将训练集在笔记本电脑中保存为train.csv，构建包括两列数据的验证集，验证集中第一列数据记为Xv，第二列数据记为Yv，Xv表示验证数据，Yv表示验证数据对应的行为类别，一个Xv和一个Yv构成一个验证数据组，获取G1～G6的后10行数据作为验证集的验证数据，G1的10行数据对应的Yv均为1，G2的10行数据对应的Yv均为2，G3的10行数据对应的Yv均为3，G4的10行数据对应的Yv均为4，G5的10行数据对应的Yv均为5，G610行数据对应的Yv均为6，，验证集中共包括60个验证数据组，将验证集在笔记本电脑中保存为test.csv；
⑤在笔记本电脑中使用tensorflow构建深度神经网络模型：所述的神经网络模型包括从左到右排列的输入层、第一隐藏层、第二隐藏层、第三隐藏层和输出层，所述的输入层具有k0个神经单元，k0＝15，所述的第一隐藏层具有k1个神经单元，k1＝50，所述的第二隐藏层具有k2个神经单元，k2＝50，所述的第三隐藏层具有k3个神经单元，k3＝50，所述的输出层具有k4个神经单元，k4＝6，所述的深度神经网络模型中，位于同一层的任意两个神经单元之间互不连接，位于相邻两层的任意两个神经单元之间全连接，每个所述的神经单元分别具有激活状态和关闭状态，当所述的神经单元为激活状态时，其取值为1，当所述的神经单元为关闭状态时，其取值为0；设置所述的第一隐藏层、所述的第二隐藏层和所述的第三隐藏层的激活函数均为sigmoid函数，所述的输出层的激活函数为softmax函数，所述的输入层与所述的第一隐藏层之间存在权重w0，w0为15行50列的矩阵，所述的第一隐藏层和所述的第二隐藏层之间存在权重w1，w1为50行50列的矩阵，所述的第二隐藏层和所述的第三隐藏层之间存在权重w2，w2为50行50列的矩阵，所述的第三隐藏层和所述的输出层之间存在权重w3，w3为50行6列的矩阵，所述的第一隐藏层存在偏置b1,b1为50行1列的矩阵，所述的第二隐藏层存在偏置b2,b2为50行1列的矩阵，所述的第三隐藏层存在偏置b3,b3为50行1列的矩阵；将权重w0、权重w1、权重w2和权重w3分别初始化为平均值为0，方差为1的矩阵，将偏置b1、偏置b2和偏置b3分别初始化为全0矩阵，将深度神经网络模型在训练过程中学习到权重和偏置变化的快慢采用学习率表示，设置学习率为0.03，设置深度神经网络模型的代价函数为交叉熵函数，代价函数用来比较预测值与实际值的差异，进而在深度神经网络模型训练过程中调整各权重和各偏置；将深度神经网络模型的输入数据记为Xi,Xi为10行15列的矩阵，将深度神经网络模型的实际输出值记为Yr，Yr为10行6列的矩阵，将深度神经网络模型的预测输出值记为Yi，将第一隐藏层的输出记为a1，将第二隐藏层的输出记为a2，将第三隐藏层的输出记为a3，将深度神经网络模型的预测输出值与实际输出值之间的误差记为E，将第一隐藏层的网络前向传播过程、第二隐藏层的网络前向传播过程、第三隐藏层的网络前向传播过程、深度神经网络模型的预测输出值以及深度神经网络模型的预测输出值与实际输出值之间的误差分别采用式(26)、(27)、(28)、(29)和(30)表示为：
a1＝sigmoid(Xiw0+b1) (26)
a2＝sigmoid(a1w1+b2) (27)
a3＝sigmoid(a2w2+b3) (28)
Yi＝sigmoid(a3w3) (29)
E＝-∑(Yr*log(Yi)) (30)
其中，*表示乘运算符号，log表示对数运算符号，∑表示求和运算符号；
⑥设置深度神经网络模型训练次数为5000，在后续训练过程中tensorflow自动调用反向传播算法调整权重和偏置对深度神经网络模型进行训练：在笔记本电脑上使用python读取train.csv文件，得到训练数据组Xt和Yt,读取test.csv文件，得到验证数据组Xv和Yv，在训练过程中，从Xt的第1行数据开始，每一次训练按照Xt数据的排列顺序取10行数据作为输入数据Xi，若取得的数据到达Xt尾部则返回第1行开始继续取，同理，在训练过程中，从Yt的第1行数据开始，每一次训练按照Yt数据的排列顺序取10行数据作为深度神经网络模型的实际输出值Yr，Yr即实际行为类别值，若取得的数据到达Yt尾部则返回第1行开始继续取，在每次训练过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E后，tensorflow自动调用反向传播算法调整权重w0、权重w1、权重w2、权重w3、偏置b1、偏置b2和偏置b3更新式(26)、(27)、(28)、(29)和(30)；
在训练过程中，每训练100次需要对当前深度神经网络模型的误差进行验证，具体验证过程为：从Xv的第1行数据开始，每一次验证按照Xv数据的排列顺序取10行数据作为深度神经网络模型的输入数据，取完为止总共需要取6次，同理，在验证过程中，从Yv的第1行数据开始，每一次验证按照Yv数据的排列顺序取10行数据作为深度神经网络模型的实际输出数据Yr，在每次验证过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E，验证过程将Xv和Yv的数据取完为止，总共需要取6次，也就是每次验证过程验证6次，如果当前训练过程中6次得到的误差E相同，则深度神经网络模型训练完成，如果当前训练过程中6次得到的误差E不完全相同，则在该验证过程结束后判定是否已经达到设定的训练次数，如果已经达到，则深度神经网络模型训练完成，如果未达到，再次进行下一次的训练，直至满足深度神经网络模型训练完成条件；
⑧采用训练完成的深度神经网络模型训练对待识别人员运动类别进行识别，具体过程为：待识别人员将WISP佩戴在腹部位置的外衣上进行日常活动，WISP采集该人员当前行为的三轴加速度数据，并通过无线的方式发送给WISP阅读器，其中加速度数据包括X轴加速度序列、Y轴加速度序列和Z轴加速度序列，WISP阅读器再将该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列通过有线的方式发送给笔记本电脑，在笔记本电脑上采用matlab按照步骤③的方法对该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列进行处理，得到该人员当前行为的更新特征向量，将该人员当前行为的更新特征向量作为训练后的深度神经网络模型的输入数据输入到该深度神经网络模型，该深度神经网络模型的输出数据即对应为该人员的人体运动类型，当该深度神经网络模型的输出数据为1时，表示该人员在进行上楼行为，该人员的人体运动类型为上楼，当该深度神经网络模型的输出数据为2时，表示该人员在进行下楼行为，该人员的人体运动类型为下楼，当该深度神经网络模型的输出数据为3时，表示该人员在进行站立行为，该人员的人体运动类型为站立，当该深度神经网络模型的输出数据为4时，表示该人员在进行行走行为，该人员的人体运动类型为行走，当该深度神经网络模型的输出数据为5时，表示该人员在进行卧躺行为，该人员的人体运动类型为卧躺，当该深度神经网络模型的输出数据为6时，表示该人员在进行跑步行为，该人员的人体运动类型为跑步。
与现有技术相比，本发明的优点在于通过在笔记本电脑中使用tensorflow构建深度神经网络模型，通过对人体运动数据进行行为特征数据提取获取训练数据后采用深度学习的方法实现对深度神经网络模型的训练，在人体运动识别时，通过给待识别人员配备成本较低的WISP实现人体运动数据的采集，然后提取采集的运动数据的特征数据作为深度神经网络模型的输入数据，通过深度神经网络模型快速准确实现运动识别，由此本发明的方法成本较低，识别时间短，且具有较高的识别准确率。
具体实施方式
以下结合实施例对本发明作进一步详细描述。
实施例：一种基于深度学习的无源人体运动识别方法，包括以下步骤：
①配备WISP(Wireless Identification and Sensing Platform)，并将与WISP对应的WISP源码文件装载到一台笔记本电脑上，打开笔记本电脑上的WISP源码文件对WISP的参数进行设置：将WISP源码文件中WISP上三轴加速度传感器的采样频率参数设置为30Hz；参数设置完成后，将笔记本电脑与WISP通过MSP430 USB仿真器相连将WISP源码文件下载到WISP中，下载完成后，将WISP阅读器与笔记本电脑通过USB相连，此时，WISP阅读器与WISP通过无线网络进行通讯，WISP阅读器与笔记本电脑通过USB连接后进行通信；
②样本数据采集：将WISP依次佩戴于N名测试人员腰腹位置，N为大于等于5且小于等于10的整数，每个佩戴有WISP的测试人员分别独自完成上楼、下楼、站立、行走、卧躺和跑步这6种日常人体行为，其中，上楼为第1种行为，下楼为第2种行为，站立为第3种行为，行走为第4种行为，卧躺为第5种行为，跑步为第6种行为；对每种行为连续采样时长为3分钟，采样频率为30Hz，每个测试人员佩戴的WISP依次获取该测试人员6种行为的三轴加速度数据并通过无线方式发送给WISP阅读器，WISP阅读器将接收到的三轴加速度数据发送给笔记本电脑，在笔记本电脑中将这些三轴加速度数据保存为data.csv文件，其中第n个测试人员第a种行为的X轴加速度序列记为
Figure GDA0004067063520000121
Figure GDA0004067063520000122
第n个测试人员第a种行为的Y轴加速度序列记为
Figure GDA0004067063520000123
Figure GDA0004067063520000124
第n个测试人员第a种行为的Z轴加速度序列记为
Figure GDA0004067063520000125
Figure GDA0004067063520000126
其中
Figure GDA0004067063520000127
为第n个测试人员第a种行为的X轴加速度序列中第m个加速度数据，
Figure GDA0004067063520000128
为第n个测试人员第a种行为的Y轴加速度序列中第m个加速度数据，
Figure GDA0004067063520000129
为第n个测试人员第a种行为的Z轴加速度序列中第m个加速度数据，a＝1，2，3，4,5,6，n＝1，2，...，N，m＝1，2，...，M，M为采样数据量,由采样时长和采样频率计算得到；
③行为特征提取：
在笔记本电脑上使用matlab读取data.csv文件，获得第n个测试人员第a种行为的X轴加速度序列
Figure GDA0004067063520000131
Y轴加速度序列
Figure GDA0004067063520000132
和Z轴加速度序列
Figure GDA0004067063520000133
使用matlab分别对
Figure GDA0004067063520000134
Figure GDA0004067063520000135
和
Figure GDA0004067063520000136
进行加窗处理，其中窗口长度设置为128，重叠率设置为50％，分别得到
Figure GDA0004067063520000137
Figure GDA0004067063520000138
和
Figure GDA0004067063520000139
的加窗数据序列，将第n个测试人员第a种行为的X轴加速度序列
Figure GDA00040670635200001310
的加窗数据序列记为
Figure GDA00040670635200001311
Figure GDA00040670635200001312
Vi n，a表示加窗数据序列
Figure GDA00040670635200001313
中第i个加窗数据，i＝1，2，…，M',
Figure GDA00040670635200001314
将第n个测试人员第a种行为的Y轴加速度序列
Figure GDA00040670635200001315
的加窗数据序列记为
Figure GDA00040670635200001316
Figure GDA00040670635200001317
Figure GDA00040670635200001318
表示加窗数据序列
Figure GDA00040670635200001319
中第i个加窗数据，将第n个测试人员第a种行为的Z轴加速度序列
Figure GDA00040670635200001320
的加窗数据序列记为
Figure GDA00040670635200001321
Figure GDA00040670635200001322
Figure GDA00040670635200001323
表示加窗数据序列
Figure GDA00040670635200001324
中第i个加窗数据；
使用matlab分别对加窗数据序列
Figure GDA00040670635200001325
和
Figure GDA00040670635200001326
进行特征提取，分别获取
Figure GDA00040670635200001327
和
Figure GDA00040670635200001328
的均值、标准差、任意两轴相关系数和FFT 64维系数，具体为：
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的均值记为
Figure GDA00040670635200001329
采用公式(1)计算得到
Figure GDA00040670635200001330
Figure GDA00040670635200001331
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的均值记为
Figure GDA00040670635200001332
采用公式(2)计算得到
Figure GDA00040670635200001333
Figure GDA00040670635200001334
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的均值记为
Figure GDA00040670635200001335
采用公式(3)计算得到
Figure GDA00040670635200001336
Figure GDA0004067063520000141
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的标准差记为
Figure GDA0004067063520000142
采用公式(4)计算得到
Figure GDA0004067063520000143
Figure GDA0004067063520000144
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的标准差记为
Figure GDA0004067063520000145
采用公式(5)计算得到
Figure GDA0004067063520000146
Figure GDA0004067063520000147
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的标准差记为
Figure GDA0004067063520000148
采用公式(6)计算得到
Figure GDA0004067063520000149
Figure GDA00040670635200001410
式(1)～式(6)中，∑表示求和运算符号；
采用N个测试人员第a种行为的X轴加速度序列的加窗数据序列
Figure GDA00040670635200001414
构成第一矩阵Sx，将Sx采用式(7)表示为：
Figure GDA00040670635200001411
采用N个测试人员第a种行为的Y轴加速度序列的加窗数据序列
Figure GDA00040670635200001412
构成第二矩阵Sy，将Sy采用式(8)表示为：
Figure GDA00040670635200001413
采用N个测试人员第a种行为的Z轴加速度序列的加窗数据序列
Figure GDA0004067063520000151
构成第三矩阵Sz，将Sz采用式(9)表示为：
Figure GDA0004067063520000152
将第一矩阵Sx和第二矩阵Sy之间的相关系数记为Corr(Sx,Sy)，将第一矩阵Sx和第三矩阵Sz之间的相关系数记为Corr(Sx,Sz)，将第二矩阵Sy和第三矩阵Sz之间的相关系数记为Corr(Sy,Sz)，分别采用公式(10)、(11)和(12)计算得到Corr(Sx,Sy)、Corr(Sx,Sz)和Corr(Sy,Sz)：
Figure GDA0004067063520000153
Figure GDA0004067063520000154
Figure GDA0004067063520000155
其中，cov()为matlab中用于计算两个矩阵的协方差的函数，cov(Sx,Sy)表示第一矩阵Sx和第二矩阵Sy的协方差，cov(Sx,Sz)表示第一矩阵Sx和第三矩阵Sz的协方差，cov(Sy,Sz)表示第二矩阵Sy和第三矩阵Sz的协方差，σx为第一矩阵Sx的方差,σy为第二矩阵Sy的方差，σz为第三矩阵Sz的方差；
对第一矩阵Sx、第二矩阵Sy和第三矩阵Sz分别使用快速傅里叶变化转换得到变换矩阵，将第一矩阵Sx的变换矩阵记为Px，将第二矩阵Sy的变换矩阵记为Py，将第三矩阵Sz的变换矩阵记为Pz，Px、Py和Pz采用公式(13)、(14)和(15)分别表示为：
Figure GDA0004067063520000161
Figure GDA0004067063520000162
Figure GDA0004067063520000163
其中，
Figure GDA0004067063520000164
为
Figure GDA0004067063520000165
使用快速傅里叶变化转换得到的变换矩阵，
Figure GDA0004067063520000166
为
Figure GDA0004067063520000167
使用快速傅里叶变化转换得到的变换矩阵，
Figure GDA0004067063520000168
为
Figure GDA0004067063520000169
使用快速傅里叶变化转换得到的变换矩阵；
从
Figure GDA00040670635200001610
的第1行第1个数据开始按行依次选取64个数据构建第一个FFT 64维系数f1，f1采用公式(16)表示为：
Figure GDA00040670635200001611
从
Figure GDA00040670635200001612
的第1行第1个数据开始按行依次选取64个数据构建第二个FFT 64维系数f2，f2采用公式(17)表示为：
Figure GDA00040670635200001613
从
Figure GDA00040670635200001614
的第1行第1个数据开始按行依次选取64个数据构建第三个FFT 64维系数f3，f3采用公式(18)表示为：
Figure GDA00040670635200001615
将所有测试人员第a种行为的初始特征向量记为
Figure GDA00040670635200001616
将
Figure GDA00040670635200001617
Corr(Sx,Sy)、Corr(Sx,Sz)、Corr(Sy,Sz)、f1的64个数据、f2的64个数据和f3的64个数据依次排列组成维数为201的向量，该向量即为
Figure GDA00040670635200001618
在matlab中使用PCA和LDA将所有测试人员第a种行为的初始特征向量
Figure GDA00040670635200001619
的维数降到15，得到第a种行为的更新特征向量，将该更新特征向量记为ua，ua采用式(19)表示为：
Figure GDA0004067063520000171
④重复步骤②和步骤③共50次，得到50个第a种行为的更新特征向量，采用50个第a种行为的更新特征向量构建第a种行为的特征矩阵，将第a种行为的特征矩阵记为Ga，G1为上楼的特征矩阵，G2为下楼的特征矩阵，G3为站立的特征矩阵，G4为行走的特征矩阵，G5为卧躺的特征矩阵，G6为跑步的特征矩阵，每种行为的特征矩阵的维度均为50×15；G1,G2,G3,G4,G5,G6分别采用式(20)、(21)、(22)、(23)、(24)和(25)表示为：
Figure GDA0004067063520000172
Figure GDA0004067063520000173
Figure GDA0004067063520000174
Figure GDA0004067063520000175
Figure GDA0004067063520000176
Figure GDA0004067063520000181
其中，
Figure GDA0004067063520000182
为第n'次得到的第a种行为的更新特征向量，n'＝1，2，...，50。
构建包括两列数据的训练集，训练集中第一列数据记为Xt，第二列数据记为Yt，Xt表示训练数据，Yt表示训练数据对应的行为类别，一个Xt和一个Yt构成一个训练数据组，使用matlab获取G1～G6的前40行数据作为训练集的训练数据,G1的40行数据对应的Yt均为1，G2的40行数据对应的的Yt均为2，G3的40行数据对应的Yt均为3，G4的40行数据对应的Yt均为4，G5的40行数据对应的Yt均为5，G6的40行数据对应的Yt均为6，构建得到的训练集中共包括240个训练数据组，将训练集在笔记本电脑中保存为train.csv，构建包括两列数据的验证集，验证集中第一列数据记为Xv，第二列数据记为Yv，Xv表示验证数据，Yv表示验证数据对应的行为类别，一个Xv和一个Yv构成一个验证数据组，获取G1～G6的后10行数据作为验证集的验证数据，G1的10行数据对应的Yv均为1，G2的10行数据对应的Yv均为2，G3的10行数据对应的Yv均为3，G4的10行数据对应的Yv均为4，G5的10行数据对应的Yv均为5，G610行数据对应的Yv均为6，，验证集中共包括60个验证数据组，将验证集在笔记本电脑中保存为test.csv；
⑤在笔记本电脑中使用tensorflow构建深度神经网络模型：神经网络模型包括从左到右排列的输入层、第一隐藏层、第二隐藏层、第三隐藏层和输出层，输入层具有k0个神经单元，k0＝15，第一隐藏层具有k1个神经单元，k1＝50，第二隐藏层具有k2个神经单元，k2＝50，第三隐藏层具有k3个神经单元，k3＝50，输出层具有k4个神经单元，k4＝6，深度神经网络模型中，位于同一层的任意两个神经单元之间互不连接，位于相邻两层的任意两个神经单元之间全连接，每个神经单元分别具有激活状态和关闭状态，当神经单元为激活状态时，其取值为1，当神经单元为关闭状态时，其取值为0；设置第一隐藏层、第二隐藏层和第三隐藏层的激活函数均为sigmoid函数，输出层的激活函数为softmax函数，输入层与第一隐藏层之间存在权重w0，w0为15行50列的矩阵，第一隐藏层和第二隐藏层之间存在权重w1，w1为50行50列的矩阵，第二隐藏层和第三隐藏层之间存在权重w2，w2为50行50列的矩阵，第三隐藏层和输出层之间存在权重w3，w3为50行6列的矩阵，第一隐藏层存在偏置b1,b1为50行1列的矩阵，第二隐藏层存在偏置b2,b2为50行1列的矩阵，第三隐藏层存在偏置b3,b3为50行1列的矩阵；将权重w0、权重w1、权重w2和权重w3分别初始化为平均值为0，方差为1的矩阵，将偏置b1、偏置b2和偏置b3分别初始化为全0矩阵，将深度神经网络模型在训练过程中学习到权重和偏置变化的快慢采用学习率表示，设置学习率为0.03，设置深度神经网络模型的代价函数为交叉熵函数，代价函数用来比较预测值与实际值的差异，进而在深度神经网络模型训练过程中调整各权重和各偏置；将深度神经网络模型的输入数据记为Xi,Xi为10行15列的矩阵，将深度神经网络模型的实际输出值记为Yr，Yr为10行6列的矩阵，将深度神经网络模型的预测输出值记为Yi，将第一隐藏层的输出记为a1，将第二隐藏层的输出记为a2，将第三隐藏层的输出记为a3，将深度神经网络模型的预测输出值与实际输出值之间的误差记为E，将第一隐藏层的网络前向传播过程、第二隐藏层的网络前向传播过程、第三隐藏层的网络前向传播过程、深度神经网络模型的预测输出值以及深度神经网络模型的预测输出值与实际输出值之间的误差分别采用式(26)、(27)、(28)、(29)和(30)表示为：
a1＝sigmoid(Xiw0+b1) (26)
a2＝sigmoid(a1w1+b2) (27)
a3＝sigmoid(a2w2+b3) (28)
Yi＝sigmoid(a3w3) (29)
E＝-∑(Yr*log(Yi)) (30)
其中，*表示乘运算符号，log表示对数运算符号，∑表示求和运算符号；
⑥设置深度神经网络模型训练次数为5000，在后续训练过程中tensorflow自动调用反向传播算法调整权重和偏置对深度神经网络模型进行训练：在笔记本电脑上使用python读取train.csv文件，得到训练数据组Xt和Yt,读取test.csv文件，得到验证数据组Xv和Yv，在训练过程中，从Xt的第1行数据开始，每一次训练按照Xt数据的排列顺序取10行数据作为输入数据Xi，若取得的数据到达Xt尾部则返回第1行开始继续取，同理，在训练过程中，从Yt的第1行数据开始，每一次训练按照Yt数据的排列顺序取10行数据作为深度神经网络模型的实际输出值Yr，Yr即实际行为类别值，若取得的数据到达Yt尾部则返回第1行开始继续取，在每次训练过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E后，tensorflow自动调用反向传播算法调整权重w0、权重w1、权重w2、权重w3、偏置b1、偏置b2和偏置b3更新式(26)、(27)、(28)、(29)和(30)；
在训练过程中，每训练100次需要对当前深度神经网络模型的误差进行验证，具体验证过程为：从Xv的第1行数据开始，每一次验证按照Xv数据的排列顺序取10行数据作为深度神经网络模型的输入数据，取完为止总共需要取6次，同理，在验证过程中，从Yv的第1行数据开始，每一次验证按照Yv数据的排列顺序取10行数据作为深度神经网络模型的实际输出数据Yr，在每次验证过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E，验证过程将Xv和Yv的数据取完为止，总共需要取6次，也就是每次验证过程验证6次，如果当前训练过程中6次得到的误差E相同，则深度神经网络模型训练完成，如果当前训练过程中6次得到的误差E不完全相同，则在该验证过程结束后判定是否已经达到设定的训练次数，如果已经达到，则深度神经网络模型训练完成，如果未达到，再次进行下一次的训练，直至满足深度神经网络模型训练完成条件；
⑧采用训练完成的深度神经网络模型训练对待识别人员运动类别进行识别，具体过程为：待识别人员将WISP佩戴在腹部位置的外衣上进行日常活动，WISP采集该人员当前行为的三轴加速度数据，并通过无线的方式发送给WISP阅读器，其中加速度数据包括X轴加速度序列、Y轴加速度序列和Z轴加速度序列，WISP阅读器再将该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列通过有线的方式发送给笔记本电脑，在笔记本电脑上采用matlab按照步骤③的方法对该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列进行处理，得到该人员当前行为的更新特征向量，将该人员当前行为的更新特征向量作为训练后的深度神经网络模型的输入数据输入到该深度神经网络模型，该深度神经网络模型的输出数据即对应为该人员的人体运动类型，当该深度神经网络模型的输出数据为1时，表示该人员在进行上楼行为，该人员的人体运动类型为上楼，当该深度神经网络模型的输出数据为2时，表示该人员在进行下楼行为，该人员的人体运动类型为下楼，当该深度神经网络模型的输出数据为3时，表示该人员在进行站立行为，该人员的人体运动类型为站立，当该深度神经网络模型的输出数据为4时，表示该人员在进行行走行为，该人员的人体运动类型为行走，当该深度神经网络模型的输出数据为5时，表示该人员在进行卧躺行为，该人员的人体运动类型为卧躺，当该深度神经网络模型的输出数据为6时，表示该人员在进行跑步行为，该人员的人体运动类型为跑步。

Claims (1)

1.一种基于深度学习的无源人体运动识别方法，其特征在于包括以下步骤：
①配备WISP(Wireless Identification and Sensing Platform)，并将与WISP对应的WISP源码文件装载到一台笔记本电脑上，打开笔记本电脑上的WISP源码文件对WISP的参数进行设置：将WISP源码文件中WISP上三轴加速度传感器的采样频率参数设置为30Hz；参数设置完成后，将笔记本电脑与WISP通过MSP430 USB仿真器相连将WISP源码文件下载到WISP中，下载完成后，将WISP阅读器与笔记本电脑通过USB相连，此时，WISP阅读器与WISP通过无线网络进行通讯，WISP阅读器与笔记本电脑通过USB连接后进行通信；
②样本数据采集：将WISP依次佩戴于N名测试人员腰腹位置，N为大于等于5且小于等于10的整数，每个佩戴有WISP的测试人员分别独自完成上楼、下楼、站立、行走、卧躺和跑步这6种日常人体行为，其中，上楼为第1种行为，下楼为第2种行为，站立为第3种行为，行走为第4种行为，卧躺为第5种行为，跑步为第6种行为；对每种行为连续采样时长为3分钟，采样频率为30Hz，每个测试人员佩戴的WISP依次获取该测试人员6种行为的三轴加速度数据并通过无线方式发送给所述的WISP阅读器，所述的WISP阅读器将接收到的三轴加速度数据发送给笔记本电脑，在笔记本电脑中将这些三轴加速度数据保存为data.csv文件，其中第n个测试人员第a种行为的X轴加速度序列记为
Figure FDA0004067063510000011
第n个测试人员第a种行为的Y轴加速度序列记为
Figure FDA0004067063510000012
第n个测试人员第a种行为的Z轴加速度序列记为
Figure FDA0004067063510000013
其中
Figure FDA0004067063510000014
为第n个测试人员第a种行为的X轴加速度序列中第m个加速度数据，
Figure FDA0004067063510000015
为第n个测试人员第a种行为的Y轴加速度序列中第m个加速度数据，
Figure FDA0004067063510000016
为第n个测试人员第a种行为的Z轴加速度序列中第m个加速度数据，a＝1，2，3，4,5,6，n＝1，2，...，N，m＝1，2，...，M，M为采样数据量,由采样时长和采样频率计算得到；
③行为特征提取：
在笔记本电脑上使用matlab读取data.csv文件，获得第n个测试人员第a种行为的X轴加速度序列
Figure FDA0004067063510000021
Y轴加速度序列
Figure FDA0004067063510000022
和Z轴加速度序列
Figure FDA0004067063510000023
使用matlab分别对
Figure FDA0004067063510000024
Figure FDA0004067063510000025
和
Figure FDA0004067063510000026
进行加窗处理，其中窗口长度设置为128，重叠率设置为50％，分别得到
Figure FDA0004067063510000027
Figure FDA0004067063510000028
和
Figure FDA0004067063510000029
的加窗数据序列，将第n个测试人员第a种行为的X轴加速度序列
Figure FDA00040670635100000210
的加窗数据序列记为
Figure FDA00040670635100000211
Figure FDA00040670635100000212
Figure FDA00040670635100000213
表示加窗数据序列
Figure FDA00040670635100000214
中第i个加窗数据，i＝1，2，…，M',
Figure FDA00040670635100000215
将第n个测试人员第a种行为的Y轴加速度序列
Figure FDA00040670635100000238
的加窗数据序列记为
Figure FDA00040670635100000216
Figure FDA00040670635100000217
Figure FDA00040670635100000218
表示加窗数据序列
Figure FDA00040670635100000219
中第i个加窗数据，将第n个测试人员第a种行为的Z轴加速度序列
Figure FDA00040670635100000220
的加窗数据序列记为
Figure FDA00040670635100000221
Figure FDA00040670635100000222
Figure FDA00040670635100000223
表示加窗数据序列
Figure FDA00040670635100000224
中第i个加窗数据；
使用matlab分别对加窗数据序列
Figure FDA00040670635100000225
和
Figure FDA00040670635100000226
进行特征提取，分别获取
Figure FDA00040670635100000227
和
Figure FDA00040670635100000228
的均值、标准差、任意两轴相关系数和FFT 64维系数，具体为：
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的均值记为
Figure FDA00040670635100000229
采用公式(1)计算得到
Figure FDA00040670635100000230
Figure FDA00040670635100000231
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的均值记为
Figure FDA00040670635100000232
采用公式(2)计算得到
Figure FDA00040670635100000233
Figure FDA00040670635100000234
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的均值记为
Figure FDA00040670635100000239
采用公式(3)计算得到
Figure FDA00040670635100000235
Figure FDA00040670635100000236
将N名测试人员第a种行为的X轴加速度序列的加窗数据序列的标准差记为
Figure FDA00040670635100000237
采用公式(4)计算得到
Figure FDA0004067063510000031
Figure FDA0004067063510000032
将N名测试人员第a种行为的Y轴加速度序列的加窗数据序列的标准差记为
Figure FDA0004067063510000033
采用公式(5)计算得到
Figure FDA0004067063510000034
Figure FDA0004067063510000035
将N名测试人员第a种行为的Z轴加速度序列的加窗数据序列的标准差记为
Figure FDA0004067063510000036
采用公式(6)计算得到
Figure FDA0004067063510000037
Figure FDA0004067063510000038
式(1)～式(6)中，∑表示求和运算符号；
采用N个测试人员第a种行为的X轴加速度序列的加窗数据序列
Figure FDA0004067063510000039
构成第一矩阵Sx，将Sx采用式(7)表示为：
Figure FDA00040670635100000310
采用N个测试人员第a种行为的Y轴加速度序列的加窗数据序列
Figure FDA00040670635100000311
构成第二矩阵Sy，将Sy采用式(8)表示为：
Figure FDA00040670635100000312
采用N个测试人员第a种行为的Z轴加速度序列的加窗数据序列
Figure FDA00040670635100000313
构成第三矩阵Sz，将Sz采用式(9)表示为：
Figure FDA0004067063510000041
将第一矩阵Sx和第二矩阵Sy之间的相关系数记为Corr(Sx,Sy)，将第一矩阵Sx和第三矩阵Sz之间的相关系数记为Corr(Sx,Sz)，将第二矩阵Sy和第三矩阵Sz之间的相关系数记为Corr(Sy,Sz)，分别采用公式(10)、(11)和(12)计算得到Corr(Sx,Sy)、Corr(Sx,Sz)和Corr(Sy,Sz)：
Figure FDA0004067063510000042
Figure FDA0004067063510000043
Figure FDA0004067063510000044
其中，cov()为matlab中用于计算两个矩阵的协方差的函数，cov(Sx,Sy)表示第一矩阵Sx和第二矩阵Sy的协方差，cov(Sx,Sz)表示第一矩阵Sx和第三矩阵Sz的协方差，cov(Sy,Sz)表示第二矩阵Sy和第三矩阵Sz的协方差，σx为第一矩阵Sx的方差,σy为第二矩阵Sy的方差，σz为第三矩阵Sz的方差；
对第一矩阵Sx、第二矩阵Sy和第三矩阵Sz分别使用快速傅里叶变化转换得到变换矩阵，将第一矩阵Sx的变换矩阵记为Px，将第二矩阵Sy的变换矩阵记为Py，将第三矩阵Sz的变换矩阵记为Pz，Px、Py和Pz采用公式(13)、(14)和(15)分别表示为：
Figure FDA0004067063510000045
Figure FDA0004067063510000051
Figure FDA0004067063510000052
其中，
Figure FDA0004067063510000053
为
Figure FDA0004067063510000054
使用快速傅里叶变化转换得到的变换矩阵，
Figure FDA0004067063510000055
为
Figure FDA0004067063510000056
使用快速傅里叶变化转换得到的变换矩阵，
Figure FDA0004067063510000057
为
Figure FDA0004067063510000058
使用快速傅里叶变化转换得到的变换矩阵；
从
Figure FDA0004067063510000059
的第1行第1个数据开始按行依次选取64个数据构建第一个FFT 64维系数f1，f1采用公式(16)表示为：
Figure FDA00040670635100000510
从
Figure FDA00040670635100000511
的第1行第1个数据开始按行依次选取64个数据构建第二个FFT 64维系数f2，f2采用公式(17)表示为：
Figure FDA00040670635100000512
从
Figure FDA00040670635100000513
的第1行第1个数据开始按行依次选取64个数据构建第三个FFT 64维系数f3，f3采用公式(18)表示为：
Figure FDA00040670635100000514
将所有测试人员第a种行为的初始特征向量记为
Figure FDA00040670635100000515
将
Figure FDA00040670635100000516
Corr(Sx,Sy)、Corr(Sx,Sz)、Corr(Sy,Sz)、f1的64个数据、f2的64个数据和f3的64个数据依次排列组成维数为201的向量，该向量即为
Figure FDA00040670635100000517
在matlab中使用PCA和LDA将所有测试人员第a种行为的初始特征向量
Figure FDA00040670635100000518
的维数降到15，得到第a种行为的更新特征向量，将该更新特征向量记为ua，ua采用式(19)表示为：
Figure FDA00040670635100000519
④重复步骤②和步骤③共50次，得到50个第a种行为的更新特征向量，采用50个第a种行为的更新特征向量构建第a种行为的特征矩阵，将第a种行为的特征矩阵记为Ga，G1为上楼的特征矩阵，G2为下楼的特征矩阵，G3为站立的特征矩阵，G4为行走的特征矩阵，G5为卧躺的特征矩阵，G6为跑步的特征矩阵，每种行为的特征矩阵的维度均为50×15；G1,G2,G3,G4,G5,G6分别采用式(20)、(21)、(22)、(23)、(24)和(25)表示为：
Figure FDA0004067063510000061
Figure FDA0004067063510000062
Figure FDA0004067063510000063
Figure FDA0004067063510000064
Figure FDA0004067063510000065
Figure FDA0004067063510000066
其中，
Figure FDA0004067063510000067
为第n'次得到的第a种行为的更新特征向量，n'＝1，2，...，50。
构建包括两列数据的训练集，训练集中第一列数据记为Xt，第二列数据记为Yt，Xt表示训练数据，Yt表示训练数据对应的行为类别，一个Xt和一个Yt构成一个训练数据组，使用matlab获取G1～G6的前40行数据作为训练集的训练数据,G1的40行数据对应的Yt均为1，G2的40行数据对应的的Yt均为2，G3的40行数据对应的Yt均为3，G4的40行数据对应的Yt均为4，G5的40行数据对应的Yt均为5，G6的40行数据对应的Yt均为6，构建得到的训练集中共包括240个训练数据组，将训练集在笔记本电脑中保存为train.csv，构建包括两列数据的验证集，验证集中第一列数据记为Xv，第二列数据记为Yv，Xv表示验证数据，Yv表示验证数据对应的行为类别，一个Xv和一个Yv构成一个验证数据组，获取G1～G6的后10行数据作为验证集的验证数据，G1的10行数据对应的Yv均为1，G2的10行数据对应的Yv均为2，G3的10行数据对应的Yv均为3，G4的10行数据对应的Yv均为4，G5的10行数据对应的Yv均为5，G610行数据对应的Yv均为6，，验证集中共包括60个验证数据组，将验证集在笔记本电脑中保存为test.csv；
⑤在笔记本电脑中使用tensorflow构建深度神经网络模型：所述的神经网络模型包括从左到右排列的输入层、第一隐藏层、第二隐藏层、第三隐藏层和输出层，所述的输入层具有k0个神经单元，k0＝15，所述的第一隐藏层具有k1个神经单元，k1＝50，所述的第二隐藏层具有k2个神经单元，k2＝50，所述的第三隐藏层具有k3个神经单元，k3＝50，所述的输出层具有k4个神经单元，k4＝6，所述的深度神经网络模型中，位于同一层的任意两个神经单元之间互不连接，位于相邻两层的任意两个神经单元之间全连接，每个所述的神经单元分别具有激活状态和关闭状态，当所述的神经单元为激活状态时，其取值为1，当所述的神经单元为关闭状态时，其取值为0；设置所述的第一隐藏层、所述的第二隐藏层和所述的第三隐藏层的激活函数均为sigmoid函数，所述的输出层的激活函数为softmax函数，所述的输入层与所述的第一隐藏层之间存在权重w0，w0为15行50列的矩阵，所述的第一隐藏层和所述的第二隐藏层之间存在权重w1，w1为50行50列的矩阵，所述的第二隐藏层和所述的第三隐藏层之间存在权重w2，w2为50行50列的矩阵，所述的第三隐藏层和所述的输出层之间存在权重w3，w3为50行6列的矩阵，所述的第一隐藏层存在偏置b1,b1为50行1列的矩阵，所述的第二隐藏层存在偏置b2,b2为50行1列的矩阵，所述的第三隐藏层存在偏置b3,b3为50行1列的矩阵；将权重w0、权重w1、权重w2和权重w3分别初始化为平均值为0，方差为1的矩阵，将偏置b1、偏置b2和偏置b3分别初始化为全0矩阵，将深度神经网络模型在训练过程中学习到权重和偏置变化的快慢采用学习率表示，设置学习率为0.03，设置深度神经网络模型的代价函数为交叉熵函数，代价函数用来比较预测值与实际值的差异，进而在深度神经网络模型训练过程中调整各权重和各偏置；将深度神经网络模型的输入数据记为Xi,Xi为10行15列的矩阵，将深度神经网络模型的实际输出值记为Yr，Yr为10行6列的矩阵，将深度神经网络模型的预测输出值记为Yi，将第一隐藏层的输出记为a1，将第二隐藏层的输出记为a2，将第三隐藏层的输出记为a3，将深度神经网络模型的预测输出值与实际输出值之间的误差记为E，将第一隐藏层的网络前向传播过程、第二隐藏层的网络前向传播过程、第三隐藏层的网络前向传播过程、深度神经网络模型的预测输出值以及深度神经网络模型的预测输出值与实际输出值之间的误差分别采用式(26)、(27)、(28)、(29)和(30)表示为：
a1＝sigmoid(Xiw0+b1) (26)
a2＝sigmoid(a1w1+b2) (27)
a3＝sigmoid(a2w2+b3) (28)
Yi＝sigmoid(a3w3) (29)
E＝-∑(Yr*log(Yi)) (30)
其中，*表示乘运算符号，log表示对数运算符号，∑表示求和运算符号；
⑥设置深度神经网络模型训练次数为5000，在后续训练过程中tensorflow自动调用反向传播算法调整权重和偏置对深度神经网络模型进行训练：在笔记本电脑上使用python读取train.csv文件，得到训练数据组Xt和Yt,读取test.csv文件，得到验证数据组Xv和Yv，在训练过程中，从Xt的第1行数据开始，每一次训练按照Xt数据的排列顺序取10行数据作为输入数据Xi，若取得的数据到达Xt尾部则返回第1行开始继续取，同理，在训练过程中，从Yt的第1行数据开始，每一次训练按照Yt数据的排列顺序取10行数据作为深度神经网络模型的实际输出值Yr，Yr即实际行为类别值，若取得的数据到达Yt尾部则返回第1行开始继续取，在每次训练过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E后，tensorflow自动调用反向传播算法调整权重w0、权重w1、权重w2、权重w3、偏置b1、偏置b2和偏置b3更新式(26)、(27)、(28)、(29)和(30)；
在训练过程中，每训练100次需要对当前深度神经网络模型的误差进行验证，具体验证过程为：从Xv的第1行数据开始，每一次验证按照Xv数据的排列顺序取10行数据作为深度神经网络模型的输入数据，取完为止总共需要取6次，同理，在验证过程中，从Yv的第1行数据开始，每一次验证按照Yv数据的排列顺序取10行数据作为深度神经网络模型的实际输出数据Yr，在每次验证过程中按照式(26)、(27)、(28)、(29)、(30)进行前向传播计算得到该次训练的误差E，验证过程将Xv和Yv的数据取完为止，总共需要取6次，也就是每次验证过程验证6次，如果当前训练过程中6次得到的误差E相同，则深度神经网络模型训练完成，如果当前训练过程中6次得到的误差E不完全相同，则在该验证过程结束后判定是否已经达到设定的训练次数，如果已经达到，则深度神经网络模型训练完成，如果未达到，再次进行下一次的训练，直至满足深度神经网络模型训练完成条件；
⑧采用训练完成的深度神经网络模型训练对待识别人员运动类别进行识别，具体过程为：待识别人员将WISP佩戴在腹部位置的外衣上进行日常活动，WISP采集该人员当前行为的三轴加速度数据，并通过无线的方式发送给WISP阅读器，其中加速度数据包括X轴加速度序列、Y轴加速度序列和Z轴加速度序列，WISP阅读器再将该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列通过有线的方式发送给笔记本电脑，在笔记本电脑上采用matlab按照步骤③的方法对该人员当前行为的X轴加速度序列、Y轴加速度序列和Z轴加速度序列进行处理，得到该人员当前行为的更新特征向量，将该人员当前行为的更新特征向量作为训练后的深度神经网络模型的输入数据输入到该深度神经网络模型，该深度神经网络模型的输出数据即对应为该人员的人体运动类型，当该深度神经网络模型的输出数据为1时，表示该人员在进行上楼行为，该人员的人体运动类型为上楼，当该深度神经网络模型的输出数据为2时，表示该人员在进行下楼行为，该人员的人体运动类型为下楼，当该深度神经网络模型的输出数据为3时，表示该人员在进行站立行为，该人员的人体运动类型为站立，当该深度神经网络模型的输出数据为4时，表示该人员在进行行走行为，该人员的人体运动类型为行走，当该深度神经网络模型的输出数据为5时，表示该人员在进行卧躺行为，该人员的人体运动类型为卧躺，当该深度神经网络模型的输出数据为6时，表示该人员在进行跑步行为，该人员的人体运动类型为跑步。
CN201911078785.3A 2019-11-06 2019-11-06 基于深度学习的无源人体运动识别方法 Active CN110991251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911078785.3A CN110991251B (zh) 2019-11-06 2019-11-06 基于深度学习的无源人体运动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911078785.3A CN110991251B (zh) 2019-11-06 2019-11-06 基于深度学习的无源人体运动识别方法

Publications (2)

Publication Number Publication Date
CN110991251A CN110991251A (zh) 2020-04-10
CN110991251B true CN110991251B (zh) 2023-04-07

Family

ID=70083424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911078785.3A Active CN110991251B (zh) 2019-11-06 2019-11-06 基于深度学习的无源人体运动识别方法

Country Status (1)

Country Link
CN (1) CN110991251B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503667A (zh) * 2016-10-26 2017-03-15 太原理工大学 一种基于wisp和模式识别的跌倒检测方法
CN109979161A (zh) * 2019-03-08 2019-07-05 河海大学常州校区 一种基于卷积循环神经网络的人体跌倒检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9221428B2 (en) * 2011-03-02 2015-12-29 Automatic Labs Inc. Driver identification system and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503667A (zh) * 2016-10-26 2017-03-15 太原理工大学 一种基于wisp和模式识别的跌倒检测方法
CN109979161A (zh) * 2019-03-08 2019-07-05 河海大学常州校区 一种基于卷积循环神经网络的人体跌倒检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Van Wart Adam T ; .Weighted Implementation of Suboptimal Paths (WISP): An Optimized Algorithm and Tool for Dynamical Network Analysis.《Journal of Chemical Theory and Computation》.2014,全文. *
仇逊超.无源无线传感器平台在人体跑步检测中的应用.《计算机工程与设计》.2014,全文. *

Also Published As

Publication number Publication date
CN110991251A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
AU2020103811A4 (en) Method for recognizing human knee motion postures based on extreme learning machine
CN105310696B (zh) 一种跌倒检测模型构建方法及相应的跌倒检测方法和装置
CN109886068B (zh) 基于运动数据的动作行为识别方法
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
Khodabandelou et al. Attention-based gated recurrent unit for gesture recognition
Houmanfar et al. Movement analysis of rehabilitation exercises: Distance metrics for measuring patient progress
WO2020008339A1 (en) Sensing system and method for monitoring time-dependent processes
CN110334573B (zh) 一种基于密集连接卷积神经网络的人体运动状态判别方法
CN107220617A (zh) 人体姿态识别系统及方法
WO2020008365A2 (en) Transferring learning in classifier-based sensing systems
CN108683724A (zh) 一种智能儿童安全及步态健康监护系统
CN111401435B (zh) 一种基于运动手环的人体运动模式识别方法
Jalloul et al. Activity recognition using complex network analysis
CN113111756B (zh) 基于人体骨架关键点和长短期记忆人工神经网络的人体摔倒识别方法
CN113012815B (zh) 一种基于多模态数据的帕金森健康风险评估方法
CN110909876A (zh) 基于多生理参数和cnn的体征信息监测方法和系统
CN108958482B (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
Wang et al. A2DIO: Attention-driven deep inertial odometry for pedestrian localization based on 6D IMU
Dhanraj et al. Efficient smartphone-based human activity recognition using convolutional neural network
CN110443145A (zh) 基于传感器的分离式部署的人体行为识别健康管理系统
CN117133409A (zh) 基于vr交互技术辅助儿童孤独症谱系障碍康复系统
CN114916928B (zh) 一种人体姿态多通道卷积神经网络检测方法
CN114881079A (zh) 面向穿戴式传感器的人体运动意图异常检测方法及系统
CN110991251B (zh) 基于深度学习的无源人体运动识别方法
CN116115239A (zh) 基于多模态数据融合的建筑工人尴尬工作姿势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240122

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region after: China

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250410

Address after: Room 307, Building 6, Youth Dream Factory, No. 35 Qianwan 1st Road, Nanshan Street, Qianhai Shenzhen Hong Kong Cooperation Zone, Shenzhen, Guangdong Province 518000

Patentee after: Shumeng Technology (Shenzhen) Co.,Ltd.

Country or region after: China

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region before: China