CN111597881A - 基于数据分离多尺度特征结合的人体复杂行为识别方法 - Google Patents

基于数据分离多尺度特征结合的人体复杂行为识别方法 Download PDF

Info

Publication number
CN111597881A
CN111597881A CN202010258727.5A CN202010258727A CN111597881A CN 111597881 A CN111597881 A CN 111597881A CN 202010258727 A CN202010258727 A CN 202010258727A CN 111597881 A CN111597881 A CN 111597881A
Authority
CN
China
Prior art keywords
data
neural network
features
feature vector
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010258727.5A
Other languages
English (en)
Other versions
CN111597881B (zh
Inventor
宦若虹
葛罗棋
吴炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010258727.5A priority Critical patent/CN111597881B/zh
Publication of CN111597881A publication Critical patent/CN111597881A/zh
Application granted granted Critical
Publication of CN111597881B publication Critical patent/CN111597881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于数据分离多尺度特征结合的人体复杂行为识别方法，分割位于手腕和下肢位置的加速度传感器数据和陀螺仪数据，将分割后的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络，对分割后的传感器数据提取特征，选择保留优势特征向量，将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多尺度特征向量，并将该特征向量与优势特征向量融合，作为全连接网络的输入特征，经过全连接网络后得到样本分类标签。本发明能克服单一神经网络表达能力不完全的问题，并结合网络不同深度的特征，形成多尺度特征，从而提高人体复杂行为识别正确率。

Description

基于数据分离多尺度特征结合的人体复杂行为识别方法
技术领域
本发明涉及传感器数据处理、特征提取、深度学习、行为识别、 多尺度特征融合等领域，尤其涉及一种人体复杂行为识别方法。
背景技术
人体复杂行为识别当前已成为一个热门的研究领域，复杂行为识 别的主要目的是对行为发生对象进行连续、实时的行为观测。近年来， 物联网行业的快速发展，智能手机、手环、手表等快速普及，相伴随 着的是各类传感器的迅速发展与应用。相比于视频检测的人体行为应 用，基于传感器的人体行为识别方法其成本低，便捷，可移植性好。 目前在智能终端上已经集成丰富的传感设备，例如加速度传感器、磁 力计、陀螺仪、全球定位系统等，这样就为智能终端设备应用于行为 识别提供了可行性。
人体复杂行为识别是通过传感器获取自身行为数据，并将数据作 为输入，最后输出人体行为。传感器收集到的数据都是在不同的时间， 以特定的上下波动表现出来的。其中收集数据的传感器主要包括加速 度计和陀螺仪。加速度计传感器是一种测量加速力的电子设备，加速 力就是当物体在加速过程中作用在物体上的作用力。陀螺仪又叫角速 度传感器，它的测量物理量是偏转、倾斜时的转动角速度。当人体以 不同的状态活动时，加速度计和陀螺仪会有特定的表现形式。通过以 上两种传感器，并结合不同部位收集的人体活动数据，可充分利用传 感器数据信息，提高人体复杂行为的正确性和鲁棒性。
目前，各种神经网络模型和计算资源的不断成熟和发展，深度学 习已经广泛应用于行为识别。其中，循环神经网络在序列数据中取得 了极大成功，而行为数据是基于时序的，因而循环神经网络被应用在 人体复杂行为识别方法中。在人体复杂行为识别方法中，用于行为分 类的特征提取至关重要。传统机器学习方法往往用特征提取算法提取 特征，这些特征往往具有片面性，不能完全表征行为，因而，识别准 确率受到了一定的影响。深度学习可以提取到更为全面的行为特征， 因而被广泛应用。但卷积神经网络主要从空间维度上提取特征，而循 环神经网络偏向从时间维度上提取特征，这些单一深度学习模型提取的特征对于行为数据而言也不够全面，影响了人体复杂行为识别准确 率的提高。
发明内容
为了克服现有单一网络模型提取特征不全面的问题，以及网络单 层输出状态信息无法代表最优特征，本发明提出基于数据分离多尺度 特征结合的人体复杂行为识别方法，该方法对身体不同位置处的传感 器数据进行独立训练，并结合网络不同深度的特征，形成多尺度特征， 从而提高人体复杂行为的识别正确率。
本发明解决其技术问题所采用的技术方案是：
一种基于数据分离多尺度特征结合的人体复杂行为识别方法，所 述方法包括以下步骤：
步骤1，将位于手腕和下肢位置的加速度传感器数据、陀螺仪数 据通过滑动窗口进行分割；
步骤2，将分割后的手腕和下肢位置的传感器数据分别输入手腕 位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合 神经网络，保留神经网络不同层输出的状态信息；
步骤3，对分割后的传感器数据提取特征，并进行标准化处理， 通过序列前向选择算法和网络权重比较，对提取的一系列特征进行筛 选，保留优势特征向量；
步骤4，将混合神经网络中第二层卷积输出的状态信息与双向长 短期记忆单元输出的状态信息结合，得到多尺度状态信息，对得到的 多尺度状态信息进行均值池化处理，得到多尺度特征向量；
步骤5，将步骤4得到的多尺度特征向量与步骤3提取的优势特 征向量融合，作为全连接网络的输入特征，该输入特征经过全连接网 络后得到样本分类标签。
进一步，所述步骤1的过程为：将位于手腕和下肢位置的加速度 传感器数据、陀螺仪数据分别按窗口大小为200进行50％的数据重叠 分割，窗口大小200指当传感器频率为50Hz时，一共收集4s数据， 作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小 为200的当前输入数据，后100个数据作为下一个输入数据的前100 个数据。
更进一步，所述步骤2的过程为：将手腕以及下肢位置的传感器 数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期 记忆单元的混合神经网络，传感器数据首先通过一维卷积神经网络， 得到有时序的高维状态特征信息 RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}，其中rci,j表示第i个状态特征向量的第j个值，将这个带时序的高维状态特征 信息作为双向长短期记忆单元的输入，得到 RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。
更进一步，所述步骤3的过程为：对分割后的传感器数据提取特 征，提取的特征包括：均值、均方根、标准差、均值的模、标准差的 模、绝对中位差、最小值、最大值、峰度、偏度和相关系数，将特征 值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式 如下：
Figure BDA0002438459130000041
通过序列前向选择算法和网络权重比较来衡量特征的重要性进 而选择特征，过程是将得到的所有特征，逐个与经过网络平均池化后 的特征向量进行线性融合，融合后的向量作为混合神经网络全连接层 的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升， 则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征后 模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重， 通过比较特征之间的权重大小来判断是否保留该特征，如该特征权重 大于已选择的优势特征权重，则保留该特征，否则剔除该特征，最终 得到优势特征向量。
更进一步，所述步骤4的过程为：将混合神经网络中第二层卷积 输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多 尺度状态信息，将混合神经网络输出得到的状态信息RC转置，然后 和RL结合，得到多尺度状态信息 R＝M(RC.T,RL)＝{{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}}， 其中，RC.T代表RC的转置，M代表线性结合，通过平均池化对结 合后的状态信息进行显著性特征提取，得到多尺度特征向量，其公式 如下所示：
Y＝avg(R)＝[r1,r2,...r96] (2)
其中，avg代表平均池化，r1,r2,...,r96代表每个隐层单元平均池化之后 的输出信息。
更进一步，所述步骤5的过程为：将步骤4得到的多尺度特征向 量Y与步骤3得到的优势特征向量线性融合，得到一个新的特征向量
Figure BDA0002438459130000051
公式如下所示：
Figure BDA0002438459130000052
其中，[z1,z2,...,zm]为步骤3得到的优势特征向量，[r1,r2,...r96]为步骤4 得到的多尺度特征向量，该特征向量
Figure BDA0002438459130000053
作为全连接层的输入特征，经 过全连接层得到样本分类标签，其计算公式如下所示：
Figure BDA0002438459130000054
其中W为特征向量
Figure BDA0002438459130000055
的权重系数,b为特征向量
Figure BDA0002438459130000056
的偏差,output为经过 全连接层之后的输出。
更进一步，所述步骤2中，将手腕以及下肢位置的传感器数据分 别输入各自的CNN与BLSTM混合神经网络，每个人体位置有两个 传感器，每个传感器有x、y、z三轴数据,每个数据窗口大小为200， 得到两组6×200大小的输入数据；定义其输入数据为 l＝{{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}}，传感器数据首先经过一 维卷积神经网络，设F(*)为CNN网络卷积的计算公式，G(*)为CNN 网络池化的计算公式，其计算如下公式所示：
fi,j＝F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2＝G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态 特征信息RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}， 其中rci,j表示第i个状态特征向量的第j个值，接下来将卷积得到的状 态信息RC转置后输入到BLSTM中，Ai为前向LSTM计算节点，定 义
Figure BDA0002438459130000061
为该节点的计算公式，Ai'为反向LSTM计算节点，定义
Figure BDA0002438459130000062
为 该节点的计算公式，如下所示：
Figure BDA0002438459130000063
Figure BDA0002438459130000064
其中
Figure BDA0002438459130000065
为t＝i时刻前向长短期记忆神经网络的输出，
Figure BDA0002438459130000066
为t＝i时刻反向 长短期记忆神经网络的输出，rci为t＝i时刻网络的输入数据，
Figure BDA0002438459130000067
为 前一时刻BLSTM的输出，
Figure BDA0002438459130000068
为后一时刻BLSTM的输出，BLSTM 对CNN输出的高维特征进行充分学习后得到 RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。
更进一步，所述步骤3中，对200窗口大小的数据进行特征提取， 提取的特征包括：均值、均方根、标准差、均值的模、标准差的模、 绝对中位差、最小值、最大值、峰度、偏度和相关系数，分别见公式 (9)，(10)，(11)，(12)，(13)，(14)，(15)，(16)，(17)，(18)， (19)；
Figure BDA0002438459130000071
Figure BDA0002438459130000072
Figure BDA0002438459130000073
Figure BDA0002438459130000074
Figure BDA0002438459130000075
Figure BDA0002438459130000076
Figure BDA0002438459130000077
Figure BDA0002438459130000078
Figure BDA0002438459130000079
Figure BDA00024384591300000710
Figure BDA00024384591300000711
本发明的有益效果为：分离不同位置的传感器数据可以克服单一 神经网络表达能力不完全的问题，而结合不同深度、不同类型网络输 出可以得到包含全局整体信息以及局部详细信息的特征向量，提高人 体复杂行为的识别正确率。
附图说明
图1为本发明的一种基于数据分离多尺度特征结合的人体复杂 行为识别方法流程图。
图2为一维卷积神经网络特征提取流程图。
图3为双向长短期记忆神经网络结构图。
图4为优势特征选择流程图。
图5为多尺度特征结合结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参照图1～图5，一种基于数据分离多尺度特征结合的人体复杂行 为识别方法，包括以下步骤：
步骤1，数据分割；
将手腕和下肢位置处的传感器数据分别按窗口大小为200进行 50％的数据重叠分割，窗口大小200指当传感器频率为50Hz时，一 共收集4s数据，作为一个输入数据；50％数据重叠指有重复的分割， 每一个窗口大小为200的当前输入数据，后100个数据作为下一个输 入数据的前100个数据。
步骤2，数据输入CNN和BLSTM混合神经网络；
将手腕以及下肢位置的传感器数据分别输入各自的CNN与 BLSTM混合神经网络。每个人体位置有两个传感器，每个传感器有 x、y、z三轴数据,每个数据窗口大小为200，得到两组6×200大小 的输入数据；定义其输入数据为 l＝{{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}}，传感器数据首先经过一 维卷积神经网络，设F(*)为CNN网络卷积的计算公式，G(*)为CNN 网络池化的计算公式，其计算如下公式所示：
fi,j＝F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2＝G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态 特征信息RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}， 其中rci,j表示第i个状态特征向量的第j个值，接下来将卷积得到的状 态信息RC转置后输入到BLSTM中，Ai为前向LSTM计算节点，定 义
Figure BDA0002438459130000091
为该节点的计算公式，A'i为反向LSTM计算节点，定义
Figure BDA0002438459130000092
为 该节点的计算公式，如下所示：
Figure BDA0002438459130000093
Figure BDA0002438459130000094
其中
Figure BDA0002438459130000095
为t＝i时刻前向长短期记忆神经网络的输出，
Figure BDA0002438459130000096
为t＝i时刻反向 长短期记忆神经网络的输出，rci为t＝i时刻网络的输入数据，
Figure BDA0002438459130000097
为 前一时刻BLSTM的输出，
Figure BDA0002438459130000098
为后一时刻BLSTM的输出，BLSTM 对CNN输出的高维特征进行充分学习后得到 RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。其一维卷积神经网络特征提取 流程图和双向长短期记忆神经网络结构图分别如附图2和图3所示。
步骤3，特征提取和选择；
对200窗口大小的数据进行特征提取，提取的特征包括：均值、 均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最 大值、峰度、偏度和相关系数(分别见公式(9)，(10)，(11)，(12)， (13)，(14)，(15)，(16)，(17)，(18)，(19))。
Figure BDA0002438459130000101
Figure BDA0002438459130000102
Figure BDA0002438459130000103
Figure BDA0002438459130000104
Figure BDA0002438459130000105
Figure BDA0002438459130000106
Figure BDA0002438459130000107
Figure BDA0002438459130000108
Figure BDA0002438459130000109
Figure BDA00024384591300001010
Figure BDA00024384591300001011
将特征值进行标准化处理，即转换为均值为0，方差为1的正态 分布，公式如下：
Figure BDA00024384591300001012
由于特征集中存在不相关和冗余的特征，通过序列前向选择(SFS, SequentialForward Selection)算法和网络权重值来衡量特征的重要性 进而选择特征，具体过程是将得到的所有特征，逐个与经过网络平均 池化后的特征向量进行线性融合，融合后的向量作为混合神经网络全 连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征。对于添加 特征后模型精度值变化不大(精度值变化在±0.001之间)的特征，读 取网络模型全连接层的权重，通过比较特征之间的权重大小来判断是 否保留该特征，如该特征权重大于已选择的优势特征权重，则保留该 特征，否则剔除该特征，最终得到优势特征向量Z＝[z1,z2,...,zm]，如表 1所示，特征选择流程如附图4所示。
Figure RE-GDA0002554563560000111
表1
步骤4，多尺度特征结合；
将得到的RC状态信息转置，然后将转置后的RC和RL结合，得 到多尺度状态信息，多尺度特征结合结构图如附图5所示，多尺度状 态信息为：
R＝M(RC.T,RL)＝{{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}}
其中，RC.T代表RC的转置，M代表线性结合，通过平均池化对结 合后的状态信息进行显著性特征提取，得到多尺度特征向量，其公式 如下所示：
Y＝avg(R)＝[r1,r2,...r96] (2)
其中，avg代表平均池化，r1,r2,...,r96代表每个隐层单元平均池化之后 的输出信息。
步骤5，特征融合；
通过步骤3和步骤4得到了两组特征向量，一组为序列前向选择 算法和网络权重比较得到的优势特征向量Z，另一组为多尺度特征结 合得到的多尺度特征向量Y，现在对这两个特征向量进行线性融合， 得到一个新的特征向量
Figure BDA0002438459130000121
公式如下所示：
Figure BDA0002438459130000122
其中，[z1,z2,...,zm]为步骤3得到的优势特征向量，[r1,r2,...r96]为步骤4 得到的多尺度特征向量，得到的特征向量
Figure BDA0002438459130000123
作为全连接层的输入特 征，经过全连接层得到最后的样本分类标签，其计算公式如下所示：
Figure BDA0002438459130000124
其中W为特征向量
Figure BDA0002438459130000125
的权重系数,b为特征向量
Figure BDA0002438459130000126
的偏差,output为经过 全连接层之后的输出。
表2是本发明方法分别在PAMAP2数据集和UT-Data数据集进 行人体复杂行为识别的结果，采用精确率、召回率和F1分数来衡量 识别性能。
Figure BDA0002438459130000127
表2
显而易见，在不偏离本发明的真实精神和范围的前提下，在此描 述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显 而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明 所要求保护的范围仅由所述的权利要求书进行限定。

Claims (8)

1.一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述方法包括以下步骤：
步骤1，将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据通过滑动窗口进行分割；
步骤2，将分割后的手腕和下肢位置的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络，保留神经网络不同层输出的状态信息；
步骤3，对分割后的传感器数据提取特征，并进行标准化处理，通过序列前向选择算法和网络权重比较，对提取的一系列特征进行筛选，保留优势特征向量；
步骤4，将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多尺度状态信息，对得到的多尺度状态信息进行均值池化处理，得到多尺度特征向量；
步骤5，将步骤4得到的多尺度特征向量与步骤3提取的优势特征向量融合，作为全连接网络的输入特征，该输入特征经过全连接网络后得到样本分类标签。
2.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤1的过程为：将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据分别按窗口大小为200进行50％的数据重叠分割，窗口大小200指当传感器频率为50Hz时，一共收集4s数据，作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。
3.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤2的过程为：将手腕以及下肢位置的传感器数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期记忆单元的混合神经网络，传感器数据首先通过一维卷积神经网络，得到有时序的高维状态特征信息RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}，其中rci,j表示第i个状态特征向量的第j个值，将这个带时序的高维状态特征信息作为双向长短期记忆单元的输入，得到RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示第(m-1)/2+1个隐层在n时刻的输出。
4.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤3的过程为：对分割后的传感器数据提取特征，提取的特征包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数，将特征值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：
Figure FDA0002438459120000021
通过序列前向选择算法和网络权重比较来衡量特征的重要性进而选择特征，过程是将得到的所有特征，逐个与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为混合神经网络全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征后模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重，通过比较特征之间的权重大小来判断是否保留该特征，如该特征权重大于已选择的优势特征权重，则保留该特征，否则剔除该特征，最终得到优势特征向量。
5.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤4的过程为：将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多尺度状态信息，将混合神经网络输出得到的状态信息RC转置，然后和RL结合，得到多尺度状态信息R＝M(RC.T,RL)＝{{rc′1,1,rc′1,2,...rl1,96},{rc′2,1,rc′2,2,...rl2,96},...,{rc′50,1,rc′50,2,...rl50,96}}，其中，RC.T代表RC的转置，M代表线性结合，通过平均池化对结合后的状态信息进行显著性特征提取，得到多尺度特征向量，其具体公式如下所示：
Y＝avg(R)＝[r1,r2,...r96] (2)
其中，avg代表平均池化，r1,r2,...,r96代表每个隐层单元平均池化之后的输出信息。
6.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤5的过程为：将步骤4得到的多尺度特征向量Y与步骤3得到的优势特征向量线性融合，得到一个新的特征向量
Figure FDA0002438459120000031
公式如下所示：
Figure FDA0002438459120000041
其中，[z1,z2,...,zm]为步骤3得到的优势特征向量，[r1,r2,...r96]为步骤4得到的多尺度特征向量，该特征向量
Figure FDA0002438459120000042
作为全连接层的输入特征，经过全连接层得到样本分类标签，其计算公式如下所示：
Figure FDA0002438459120000043
其中W为特征向量
Figure FDA0002438459120000044
的权重系数,b为特征向量
Figure FDA0002438459120000045
的偏差,output为经过全连接层之后的输出。
7.如权利要求3所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤2中，将手腕以及下肢位置的传感器数据分别输入各自的CNN与BLSTM混合神经网络，每个人体位置有两个传感器，每个传感器有x、y、z三轴数据,每个数据窗口大小为200，得到两组6×200大小的输入数据；定义其输入数据为l＝{{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}}，传感器数据首先经过一维卷积神经网络，设F(*)为CNN网络卷积的计算公式，G(*)为CNN网络池化的计算公式，其计算如下公式所示：
fi,j＝F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2＝G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态特征信息RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}，其中rci,j表示第i个状态特征向量的第j个值，接下来将卷积得到的状态信息RC转置后输入到BLSTM中，Ai为前向LSTM计算节点，定义
Figure FDA0002438459120000046
为该节点的计算公式，A′i为反向LSTM计算节点，定义
Figure FDA0002438459120000047
为该节点的计算公式，如下所示：
Figure FDA0002438459120000051
Figure FDA0002438459120000052
其中
Figure FDA0002438459120000053
为t＝i时刻前向长短期记忆神经网络的输出，
Figure FDA0002438459120000054
为t＝i时刻反向长短期记忆神经网络的输出，rci为t＝i时刻网络的输入数据，
Figure FDA0002438459120000055
为前一时刻BLSTM的输出，
Figure FDA0002438459120000056
为后一时刻BLSTM的输出，BLSTM对CNN输出的高维特征进行充分学习后得到RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示第(m-1)/2+1个隐层在n时刻的输出。
8.如权利要求4所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤3中，对200窗口大小的数据进行特征提取，提取的特征包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数，分别见公式(9)，(10)，(11)，(12)，(13)，(14)，(15)，(16)，(17)，(18)，(19)；
Figure FDA0002438459120000057
Figure FDA0002438459120000058
Figure FDA0002438459120000059
Figure FDA00024384591200000510
Figure FDA00024384591200000511
Figure FDA0002438459120000061
Figure FDA0002438459120000062
Figure FDA0002438459120000063
Figure FDA0002438459120000064
Figure FDA0002438459120000065
Figure FDA0002438459120000066
CN202010258727.5A 2020-04-03 2020-04-03 基于数据分离多尺度特征结合的人体复杂行为识别方法 Active CN111597881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010258727.5A CN111597881B (zh) 2020-04-03 2020-04-03 基于数据分离多尺度特征结合的人体复杂行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010258727.5A CN111597881B (zh) 2020-04-03 2020-04-03 基于数据分离多尺度特征结合的人体复杂行为识别方法

Publications (2)

Publication Number Publication Date
CN111597881A true CN111597881A (zh) 2020-08-28
CN111597881B CN111597881B (zh) 2022-04-05

Family

ID=72188638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010258727.5A Active CN111597881B (zh) 2020-04-03 2020-04-03 基于数据分离多尺度特征结合的人体复杂行为识别方法

Country Status (1)

Country Link
CN (1) CN111597881B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761900A (zh) * 2022-12-06 2023-03-07 深圳信息职业技术学院 用于实训基地管理的物联网云平台

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
US20180047389A1 (en) * 2016-08-12 2018-02-15 Electronics And Telecommunications Research Institute Apparatus and method for recognizing speech using attention-based context-dependent acoustic model
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN109214250A (zh) * 2017-07-05 2019-01-15 中南大学 一种基于多尺度卷积神经网络的静态手势识别方法
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN109784280A (zh) * 2019-01-18 2019-05-21 江南大学 基于Bi-LSTM-Attention模型的人体行为识别方法
US20190236451A1 (en) * 2016-10-10 2019-08-01 Google Llc Very deep convolutional neural networks for end-to-end speech recognition
CN110197195A (zh) * 2019-04-15 2019-09-03 深圳大学 一种新型面向行为识别的深层网络系统及方法
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
US20180047389A1 (en) * 2016-08-12 2018-02-15 Electronics And Telecommunications Research Institute Apparatus and method for recognizing speech using attention-based context-dependent acoustic model
US20190236451A1 (en) * 2016-10-10 2019-08-01 Google Llc Very deep convolutional neural networks for end-to-end speech recognition
CN109214250A (zh) * 2017-07-05 2019-01-15 中南大学 一种基于多尺度卷积神经网络的静态手势识别方法
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN109784280A (zh) * 2019-01-18 2019-05-21 江南大学 基于Bi-LSTM-Attention模型的人体行为识别方法
CN110197195A (zh) * 2019-04-15 2019-09-03 深圳大学 一种新型面向行为识别的深层网络系统及方法
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIKHAIL STARTSEV 等: "1D CNN with BLSTM for automated classification of fixations, saccades, and smooth pursuits", 《BEHAVIOR RESEARCH METHODS》 *
ZHEN-TAO LIU 等: "Speaker-Independent Speech Emotion Recognition Based on CNN-BLSTM and Multiple SVMs", 《INTELLIGENT ROBOTICS AND APPLICATIONS》 *
吴潇颖 等: "一种用于人体行为识别的CNN-BLSTM模型", 《小型微型计算机系统》 *
宦若虹 等: "一种基于特征增强和决策融合的人体行为识别方法", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761900A (zh) * 2022-12-06 2023-03-07 深圳信息职业技术学院 用于实训基地管理的物联网云平台
CN115761900B (zh) * 2022-12-06 2023-07-18 深圳信息职业技术学院 用于实训基地管理的物联网云平台

Also Published As

Publication number Publication date
CN111597881B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
CN107092894A (zh) 一种基于lstm模型的运动行为识别方法
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN112507861A (zh) 一种多层卷积特征融合的行人检测方法
CN111199202A (zh) 基于循环注意力网络的人体动作识别方法及识别装置
CN108898623A (zh) 目标跟踪方法及设备
CN114265498A (zh) 一种多模态手势识别和视觉反馈机制结合的方法
CN110664412A (zh) 一种面向可穿戴传感器的人类活动识别方法
CN111597881B (zh) 基于数据分离多尺度特征结合的人体复杂行为识别方法
CN110163264B (zh) 一种基于机器学习的行走模式识别方法
Shi et al. DSFNet: a distributed sensors fusion network for action recognition
CN111291804A (zh) 基于注意力机制的多传感器时间序列分析模型
CN113642432A (zh) 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
CN112036291A (zh) 基于运动大数据和深度学习的运动学数据模型构建方法
CN111079599B (zh) 基于多特征融合cnn-blstm的人体复杂行为识别方法
CN109029432B (zh) 一种基于六轴惯性传感信号的人体动作检测与识别方法
CN114881150A (zh) 一种基于多位置传感器特征融合的行为识别系统及其方法
CN115944280A (zh) 一种基于多源信息融合深度网络的行为检测方法
CN114601455A (zh) 基于两级神经网络的运动识别方法
CN111950575A (zh) 用于跌倒检测的设备及其方法
CN112102399A (zh) 一种基于生成式对抗网络的视觉里程计算法
Lu et al. Dynamic hand gesture recognition using HMM-BPNN model
Cui et al. Mobile Big Data Analytics for Human Behavior Recognition in Wireless Sensor Network Based on Transfer Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant