CN111079599B - 基于多特征融合cnn-blstm的人体复杂行为识别方法 - Google Patents

基于多特征融合cnn-blstm的人体复杂行为识别方法 Download PDF

Info

Publication number
CN111079599B
CN111079599B CN201911240544.4A CN201911240544A CN111079599B CN 111079599 B CN111079599 B CN 111079599B CN 201911240544 A CN201911240544 A CN 201911240544A CN 111079599 B CN111079599 B CN 111079599B
Authority
CN
China
Prior art keywords
data
neural network
feature
features
blstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911240544.4A
Other languages
English (en)
Other versions
CN111079599A (zh
Inventor
宦若虹
葛罗棋
吴炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911240544.4A priority Critical patent/CN111079599B/zh
Publication of CN111079599A publication Critical patent/CN111079599A/zh
Application granted granted Critical
Publication of CN111079599B publication Critical patent/CN111079599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多特征融合CNN‑BLSTM的人体复杂行为识别方法包括如下步骤：通过滑动窗口对连续的传感器数据进行分割，对分割后的传感器数据提取特征，并通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征；将分割后的行为数据输入深度学习模型进行训练，首先通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取，最后将池化后的特征向量与先前提取的优势特征向量融合，作为全连接层的输入特征，得到复杂行为识别的输出。本发明能充分挖掘传感器数据特征，提高人体复杂行为识别准确率。

Description

基于多特征融合CNN-BLSTM的人体复杂行为识别方法
技术领域
本发明涉及数据分析、特征提取、深度学习、循环神经网络、行为识别等领域，尤其涉及一种人体复杂行为识别方法
背景技术
人体复杂行为识别当前已成为一个突出的研究领域，复杂行为识别的主要目的是对行为发生对象进行连续、实时的行为观测。近年来，物联网行业的快速发展，智能手机、手环、手表等快速普及，相伴随着的是各类传感器的迅速发展与应用。相比于视频检测的人体行为应用，基于传感器的人体行为识别方法其成本低，便捷，可移植性好。目前在智能终端上已经集成丰富的传感设备，例如加速度传感器、磁力计、陀螺仪、全球定位系统等，这样就为智能终端设备应用于行为识别提供了可行性。
人体复杂行为识别是通过传感器获取自身行动数据，并将数据作为输入，最后输出人体行为。传感器收集到的数据都是在不同的时间，以特定的上下波动表现出来的。其中收集数据的传感器主要包括加速度计和陀螺仪。加速度计传感器是一种测量加速力的电子设备，加速力就是当物体在加速过程中作用在物体上的作用力。陀螺仪又叫角速度传感器，它的测量物理量是偏转、倾斜时的转动角速度。当人体以不同的状态活动时，加速度计和陀螺仪会有特定的表现形式。通过以上两种传感器，并结合不同部位收集人体活动数据，充分利用传感器数据信息，提高人体复杂行为的正确性和鲁棒性。
目前，各种神经网络模型和计算资源的不断成熟和发展，深度学习已经广泛应用于行为识别。其中，循环神经网络在序列数据中取得了极大成功，而行为数据是基于时序的，因而循环神经网络被应用在人体复杂行为识别方法中。在人体复杂行为识别方法中，用于行为分类的特征提取至关重要。传统机器学习方法往往用特征提取算法提取特征，这些人工提取的特征往往具有片面性，不能完全表征行为，因而，识别准确率受到了一定的影响。深度学习可以提取到更为全面的行为特征，因而被广泛应用。但卷积神经网络主要从空间维度上提取特征，而循环神经网络偏向从时间维度上提取特征，这些单一深度学习模型提取的特征对于行为数据而言也不够全面，影响了人体复杂行为识别准确率的提高。
发明内容
为了克服传统机器学习方法人工提取特征和单一深度学习模型提取特征不全面的问题，以及循环神经网络在反向传播过程中会出现梯度消散和梯度爆炸的问题，本发明提出基于一维卷积神经网络和双向长短期记忆神经网络(CNN-BLSTM)的人体复杂行为识别方法，该方法融合人工提取特征和深度学习模型特征，能克服传统机器学习和当前单一深度学习模型不能充分提取时序数据特征的问题，并克服循环神经网络长期依赖问题，提高人体复杂行为识别的准确率。
本发明解决其技术问题所采用的技术方案是：
一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，所述方法包括以下步骤：
步骤1，通过滑动窗口对连续的传感器数据进行分割；
步骤2，对分割后的传感器数据提取特征，并进行标准化处理，通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征；
步骤3，将分割后的行为数据输入深度学习模型进行训练，首先通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取；
步骤4，将池化后的特征向量与先前提取的优势特征向量融合，作为全连接网络的输入特征；
步骤5，将待识别的传感器数据进行特征提取，输入训练后的一维卷积神经网络和双向长短期记忆神经网络，得到各个行为类别的输出。
进一步，所述步骤1的过程为：选择窗口大小为200进行50％的数据重叠分割，窗口大小200指传感器频率为50Hz，一共收集4s，作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。
更进一步，所述步骤2的过程为：对200窗口大小的数据进行特征提取，提取的特征值包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数。将特征中的值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：
Figure BDA0002306089610000041
通过序列前向选择算法和网络权重值来衡量特征的重要性进而选择特征，操作是将得到的所有特征，逐个添加至神经网络，与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征值后模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重，通过比较特征值之间的权重大小来判断是否保留该特征，如该特征值权重大于已选择的优势特征值权重，则保留该特征值，否则剔除该特征，最终得到优势特征向量。
更进一步，所述步骤3的过程为：将手腕以及脚踝位置的加速度计和陀螺仪一共4个传感器数据作为CNN-BLSTM网络的输入，每个传感器有x、y、z三轴数据,一共12维数据，每个数据窗口大小为200；将原始数据首先通过一维卷积神经网络，得到有时序的高维特征，并将这个带时序的高维特征作为双向长短期记忆神经网络的输入，经过双向长短期记忆神经网络对高维特征进行充分地学习后得到网络输出的状态信息为
Figure BDA0002306089610000042
其中
Figure BDA0002306089610000043
为t＝i时刻前向长短期记忆神经网络的输出，
Figure BDA0002306089610000044
为t＝i时刻反向长短期记忆神经网络的输出，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，其公式如下所示：
Figure BDA0002306089610000051
更进一步，所述步骤4的过程为：通过步骤2和步骤3得到了两组特征向量，一组为序列前向选择算法得到的向量组合Z，另一组为CNN-BLSTM经过训练学习得到的向量组合Y，现在对这两个特征向量进行线性融合，得到一个新的特征向量，公式如下所示：
Figure BDA0002306089610000052
得到的特征向量
Figure BDA0002306089610000053
作为全连接层的输入，经过全连接层得到最后的样本分类标签，其计算公式如下所示：
Figure BDA0002306089610000054
其中W为特征向量的权重系数，b为特征向量的偏差，output为经过全连接层之后的输出。
本发明的有益效果为：结合传统方法提取的特征向量与深度学习提取的特征向量可充分挖掘传感器数据特征，双向长短期记忆神经网络可克服长期依赖问题，提高人体复杂行为识别准确率。
附图说明
图1为本发明的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法流程图。
图2为优势特征选择流程图。
图3为一维卷积神经网络特征提取流程图。
图4为双向长短期记忆神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参照图1～图4，一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，包括以下步骤：
步骤1，对连续的传感器数据进行分割；
通过滑动窗口对连续的传感器数据进行分割，过程为：选择窗口大小为200进行50％的数据重叠分割，窗口大小200指传感器频率为50Hz，一共收集4s，作为一个输入数据。50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。
步骤2，提取和选择分割后传感器数据的特征；
对分割后的传感器数据提取特征，并进行标准化处理，通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征，过程为：对200窗口大小的数据进行特征提取，提取的特征值包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数(分别见公式(5)，(6)，(7)，(8)，(9)，(10)，(11)，(12)，(13)，(14)，(15))。
Figure BDA0002306089610000061
Figure BDA0002306089610000062
Figure BDA0002306089610000063
Figure BDA0002306089610000064
Figure BDA0002306089610000065
Figure BDA0002306089610000071
Figure BDA0002306089610000072
Figure BDA0002306089610000073
Figure BDA0002306089610000074
Figure BDA0002306089610000075
Figure BDA0002306089610000076
将特征中的值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：
Figure BDA0002306089610000077
另外，特征集中存在不相关和冗余的特征，通过序列前向选择(SFS,SequentialForward Selection)算法和网络权重值来衡量特征的重要性进而选择特征，操作是将得到的所有特征，逐个添加至神经网络，与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征。对于添加特征值后模型精度值变化不大(精度值变化在±0.001之间)的特征，读取网络模型全连接层的权重，通过比较特征值之间的权重大小来判断是否保留该特征，如该特征值权重大于已选择的优势特征值权重，则保留该特征值，否则剔除该特征，最终得到优势特征集为Z＝[z1,z2,...,zm]，如表1所示，特征选择流程如附图2所示。
Figure BDA0002306089610000081
表1
步骤3，一维卷积神经网络和双向长短期记忆网络学习；
将分割后的传感器数据通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取，过程为：将手腕以及脚踝位置的加速度计和陀螺仪一共4个传感器数据作为CNN-BLSTM网络的输入，每个传感器有x、y、z三轴数据,一共12维数据，每个数据窗口大小为200；将原始数据首先通过一维卷积神经网络，得到有时序的高维特征，并将这个带时序的高维特征作为双向长短期记忆神经网络的输入，定义其输入数据为l＝{l1,l2,...,l12；n＝12}，设F(*)为CNN网络卷积的计算公式，G(*)为CNN网络池化的计算公式，可以得到传感器数据经过卷积神经网络后为：
fi＝F(l(r,i),l(r,i+1),l(r,i+2)) (16)
g(i+1)/2＝G(fi,fi+1) (17)
通过卷积神经网络后得到G＝[g1,g2,...,gk]，接下来将G＝[g1,g2,...,gk]输入到BLSTM中，其中，Ai为前向LSTM计算节点，定义
Figure BDA0002306089610000082
为该节点的计算公式，A'i为反向LSTM计算节点，定义
Figure BDA0002306089610000083
为该节点的计算公式，如下所示：
Figure BDA0002306089610000084
Figure BDA0002306089610000091
经过双向长短期记忆神经网络对高维特征进行充分地学习后得到网络输出的状态信息为
Figure BDA0002306089610000092
其中
Figure BDA0002306089610000093
为t＝i时刻前向长短期记忆神经网络的输出，
Figure BDA0002306089610000094
为t＝i时刻反向长短期记忆神经网络的输出，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，其公式如下所示，其一维卷积神经网络特征提取流程图和双向长短期记忆神经网络结构图分别如附图3和图4所示：
Figure BDA0002306089610000095
步骤4，融合多个特征向量；
将池化后的特征向量与先前提取的优势特征向量融合，作为全连接网络的输入特征。通过步骤2和步骤3得到了两组特征向量，一组为序列前向选择算法得到的向量组合Z，另一组为CNN-BLSTM经过训练学习得到的向量组合Y，现在对这两个特征向量进行线性融合，得到一个新的特征向量，公式如下所示：
Figure BDA0002306089610000096
得到的特征向量
Figure BDA0002306089610000097
作为全连接层的输入，经过全连接层得到最后的样本分类标签，其计算公式如下所示：
Figure BDA0002306089610000098
其中W为特征向量的权重系数，b为特征向量的偏差，output为经过全连接层之后的输出。
表2是本发明方法分别在PAMAP2数据集和UT-Data数据集进行人体复杂行为识别的结果，采用精确率、召回率和F1分数来衡量识别性能。
Figure BDA0002306089610000101
表2
显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (5)

1.一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述方法包括以下步骤：
步骤1，通过滑动窗口对连续的传感器数据进行分割；
步骤2，对分割后的传感器数据提取特征，并进行标准化处理，通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征；
步骤3，将分割后的行为数据输入深度学习模型进行训练，首先通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取；
步骤4，将池化后的特征向量与先前提取的优势特征向量融合，作为全连接网络的输入特征。
2.如权利要求1所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤1的过程为：选择窗口大小为200进行50％的数据重叠分割，窗口大小200指传感器频率为50Hz，一共收集4s，作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。
3.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤2的过程为：对200窗口大小的数据进行特征提取，提取的特征值包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数，将特征中的值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：
Figure FDA0003279032470000021
通过序列前向选择算法和网络权重值来衡量特征的重要性进而选择特征，操作是将得到的所有特征，逐个添加至神经网络，与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征值后模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重，通过比较特征值之间的权重大小来判断是否保留该特征，如该特征值权重大于已选择的优势特征值权重，则保留该特征值，否则剔除该特征，最终得到优势特征向量。
4.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤3的过程为：将手腕以及脚踝位置的加速度计和陀螺仪一共4个传感器数据作为CNN-BLSTM网络的输入，每个传感器有x、y、z三轴数据,一共12维数据，每个数据窗口大小为200；将原始数据首先通过一维卷积神经网络，得到有时序的高维特征，并将这个带时序的高维特征作为双向长短期记忆神经网络的输入，经过双向长短期记忆神经网络对高维特征进行充分地学习后得到网络输出的状态信息为
Figure FDA0003279032470000022
其中
Figure FDA0003279032470000023
为t＝i时刻前向长短期记忆神经网络的输出，
Figure FDA0003279032470000031
为t＝i时刻反向长短期记忆神经网络的输出，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，其公式如下所示：
Figure FDA0003279032470000032
5.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤4的过程为：通过步骤2和步骤3得到了两组特征向量，一组为序列前向选择算法得到的向量组合Z，另一组为CNN-BLSTM经过训练学习得到的向量组合Y，现在对这两个特征向量进行线性融合，得到一个新的特征向量，公式如下所示：
Figure FDA0003279032470000033
得到的特征向量
Figure FDA0003279032470000034
作为全连接层的输入，经过全连接层得到最后的样本分类标签，其计算公式如下所示：
Figure FDA0003279032470000035
其中W为特征向量的权重系数,b为特征向量的偏差,output为经过全连接层之后的输出。
CN201911240544.4A 2019-12-06 2019-12-06 基于多特征融合cnn-blstm的人体复杂行为识别方法 Active CN111079599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240544.4A CN111079599B (zh) 2019-12-06 2019-12-06 基于多特征融合cnn-blstm的人体复杂行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240544.4A CN111079599B (zh) 2019-12-06 2019-12-06 基于多特征融合cnn-blstm的人体复杂行为识别方法

Publications (2)

Publication Number Publication Date
CN111079599A CN111079599A (zh) 2020-04-28
CN111079599B true CN111079599B (zh) 2022-04-05

Family

ID=70313166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240544.4A Active CN111079599B (zh) 2019-12-06 2019-12-06 基于多特征融合cnn-blstm的人体复杂行为识别方法

Country Status (1)

Country Link
CN (1) CN111079599B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN109784280A (zh) * 2019-01-18 2019-05-21 江南大学 基于Bi-LSTM-Attention模型的人体行为识别方法
CN110197195A (zh) * 2019-04-15 2019-09-03 深圳大学 一种新型面向行为识别的深层网络系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805255B2 (en) * 2016-01-29 2017-10-31 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
KR102033411B1 (ko) * 2016-08-12 2019-10-17 한국전자통신연구원 주의집중 기반 문맥 종속 음향 모델을 이용한 음성 인식 장치 및 방법
JP6737956B2 (ja) * 2016-10-10 2020-08-12 グーグル エルエルシー エンドツーエンド音声認識のための非常に深い畳み込みニューラルネットワーク

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN109784280A (zh) * 2019-01-18 2019-05-21 江南大学 基于Bi-LSTM-Attention模型的人体行为识别方法
CN110197195A (zh) * 2019-04-15 2019-09-03 深圳大学 一种新型面向行为识别的深层网络系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
1D CNN with BLSTM for automated classification of fixations, saccades, and smooth pursuits;Mikhail Startsev 等;《Behavior Research Methods》;20181108;第556–572 页 *
Speaker-Independent Speech Emotion Recognition Based on CNN-BLSTM and Multiple SVMs;Zhen-Tao Liu 等;《Intelligent Robotics and Applications》;20190802;第481-491页 *
一种基于特征增强和决策融合的人体行为识别方法;宦若虹 等;《计算机科学》;20161130;第43卷(第11A期);第151-155页 *
一种用于人体行为识别的CNN-BLSTM模型;吴潇颖 等;《小型微型计算机系统》;20191130;第40卷(第11期);第2313-2317页 *

Also Published As

Publication number Publication date
CN111079599A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111401265B (zh) 行人重识别方法、装置、电子设备和计算机可读存储介质
CN107219924B (zh) 一种基于惯性传感器的空中手势识别方法
CN104931960B (zh) 动向报文与雷达目标态势信息全航迹段数据关联方法
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
CN105243374A (zh) 三维人脸识别方法、系统及应用其的数据处理装置
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN112507861A (zh) 一种多层卷积特征融合的行人检测方法
CN112464738B (zh) 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法
CN108898623A (zh) 目标跟踪方法及设备
CN110688955A (zh) 一种基于yolo神经网络的建筑构建目标检测方法
CN110664412A (zh) 一种面向可穿戴传感器的人类活动识别方法
CN111259735A (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN111931616A (zh) 基于移动智能终端传感器设备的情绪识别方法及系统
CN113642432A (zh) 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法
CN110163264B (zh) 一种基于机器学习的行走模式识别方法
CN110705599B (zh) 一种基于在线迁移学习的人体动作识别方法
CN111860117A (zh) 一种基于深度学习的人体行为识别方法
CN111597881B (zh) 基于数据分离多尺度特征结合的人体复杂行为识别方法
CN111079599B (zh) 基于多特征融合cnn-blstm的人体复杂行为识别方法
CN109029432B (zh) 一种基于六轴惯性传感信号的人体动作检测与识别方法
CN114881150A (zh) 一种基于多位置传感器特征融合的行为识别系统及其方法
CN114601455A (zh) 基于两级神经网络的运动识别方法
CN114327045A (zh) 基于类别不平衡信号的跌倒检测方法及系统
CN113705339A (zh) 基于对抗性域适应策略的跨用户人体行为识别方法
CN112861679A (zh) 面向行为识别的迁移学习方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant