CN111597881B - 基于数据分离多尺度特征结合的人体复杂行为识别方法 - Google Patents
基于数据分离多尺度特征结合的人体复杂行为识别方法 Download PDFInfo
- Publication number
- CN111597881B CN111597881B CN202010258727.5A CN202010258727A CN111597881B CN 111597881 B CN111597881 B CN 111597881B CN 202010258727 A CN202010258727 A CN 202010258727A CN 111597881 B CN111597881 B CN 111597881B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- features
- feature vector
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于数据分离多尺度特征结合的人体复杂行为识别方法,分割位于手腕和下肢位置的加速度传感器数据和陀螺仪数据,将分割后的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络,对分割后的传感器数据提取特征,选择保留优势特征向量,将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多尺度特征向量,并将该特征向量与优势特征向量融合,作为全连接网络的输入特征,经过全连接网络后得到样本分类标签。本发明能克服单一神经网络表达能力不完全的问题,并结合网络不同深度的特征,形成多尺度特征,从而提高人体复杂行为识别正确率。
Description
技术领域
本发明涉及传感器数据处理、特征提取、深度学习、行为识别、 多尺度特征融合等领域,尤其涉及一种人体复杂行为识别方法。
背景技术
人体复杂行为识别当前已成为一个热门的研究领域,复杂行为识 别的主要目的是对行为发生对象进行连续、实时的行为观测。近年来, 物联网行业的快速发展,智能手机、手环、手表等快速普及,相伴随 着的是各类传感器的迅速发展与应用。相比于视频检测的人体行为应 用,基于传感器的人体行为识别方法其成本低,便捷,可移植性好。 目前在智能终端上已经集成丰富的传感设备,例如加速度传感器、磁 力计、陀螺仪、全球定位系统等,这样就为智能终端设备应用于行为 识别提供了可行性。
人体复杂行为识别是通过传感器获取自身行为数据,并将数据作 为输入,最后输出人体行为。传感器收集到的数据都是在不同的时间, 以特定的上下波动表现出来的。其中收集数据的传感器主要包括加速 度计和陀螺仪。加速度计传感器是一种测量加速力的电子设备,加速 力就是当物体在加速过程中作用在物体上的作用力。陀螺仪又叫角速 度传感器,它的测量物理量是偏转、倾斜时的转动角速度。当人体以 不同的状态活动时,加速度计和陀螺仪会有特定的表现形式。通过以 上两种传感器,并结合不同部位收集的人体活动数据,可充分利用传 感器数据信息,提高人体复杂行为的正确性和鲁棒性。
目前,各种神经网络模型和计算资源的不断成熟和发展,深度学 习已经广泛应用于行为识别。其中,循环神经网络在序列数据中取得 了极大成功,而行为数据是基于时序的,因而循环神经网络被应用在 人体复杂行为识别方法中。在人体复杂行为识别方法中,用于行为分 类的特征提取至关重要。传统机器学习方法往往用特征提取算法提取 特征,这些特征往往具有片面性,不能完全表征行为,因而,识别准 确率受到了一定的影响。深度学习可以提取到更为全面的行为特征, 因而被广泛应用。但卷积神经网络主要从空间维度上提取特征,而循 环神经网络偏向从时间维度上提取特征,这些单一深度学习模型提取的特征对于行为数据而言也不够全面,影响了人体复杂行为识别准确 率的提高。
发明内容
为了克服现有单一网络模型提取特征不全面的问题,以及网络单 层输出状态信息无法代表最优特征,本发明提出基于数据分离多尺度 特征结合的人体复杂行为识别方法,该方法对身体不同位置处的传感 器数据进行独立训练,并结合网络不同深度的特征,形成多尺度特征, 从而提高人体复杂行为的识别正确率。
本发明解决其技术问题所采用的技术方案是:
一种基于数据分离多尺度特征结合的人体复杂行为识别方法,所 述方法包括以下步骤:
步骤1,将位于手腕和下肢位置的加速度传感器数据、陀螺仪数 据通过滑动窗口进行分割;
步骤2,将分割后的手腕和下肢位置的传感器数据分别输入手腕 位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合 神经网络,保留神经网络不同层输出的状态信息;
步骤3,对分割后的传感器数据提取特征,并进行标准化处理, 通过序列前向选择算法和网络权重比较,对提取的一系列特征进行筛 选,保留优势特征向量;
步骤4,将混合神经网络中第二层卷积输出的状态信息与双向长 短期记忆单元输出的状态信息结合,得到多尺度状态信息,对得到的 多尺度状态信息进行均值池化处理,得到多尺度特征向量;
步骤5,将步骤4得到的多尺度特征向量与步骤3提取的优势特 征向量融合,作为全连接网络的输入特征,该输入特征经过全连接网 络后得到样本分类标签。
进一步,所述步骤1的过程为:将位于手腕和下肢位置的加速度 传感器数据、陀螺仪数据分别按窗口大小为200进行50%的数据重叠 分割,窗口大小200指当传感器频率为50Hz时,一共收集4s数据, 作为一个输入数据;50%数据重叠指有重复的分割,每一个窗口大小 为200的当前输入数据,后100个数据作为下一个输入数据的前100 个数据。
更进一步,所述步骤2的过程为:将手腕以及下肢位置的传感器 数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期 记忆单元的混合神经网络,传感器数据首先通过一维卷积神经网络, 得到有时序的高维状态特征信息 RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}},其中rci,j表示第i个状态特征向量的第j个值,将这个带时序的高维状态特征 信息作为双向长短期记忆单元的输入,得到 RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。
更进一步,所述步骤3的过程为:对分割后的传感器数据提取特 征,提取的特征包括:均值、均方根、标准差、均值的模、标准差的 模、绝对中位差、最小值、最大值、峰度、偏度和相关系数,将特征 值进行标准化处理,即转换为均值为0,方差为1的正态分布,公式 如下:
通过序列前向选择算法和网络权重比较来衡量特征的重要性进 而选择特征,过程是将得到的所有特征,逐个与经过网络平均池化后 的特征向量进行线性融合,融合后的向量作为混合神经网络全连接层 的输入,通过输出的结果精度进行取舍,若模型结果精度有所提升, 则保留当前特征,若模型精度下降,则剔除该特征;对于添加特征后 模型精度值变化在±0.001之间的特征,读取网络模型全连接层的权重, 通过比较特征之间的权重大小来判断是否保留该特征,如该特征权重 大于已选择的优势特征权重,则保留该特征,否则剔除该特征,最终 得到优势特征向量。
更进一步,所述步骤4的过程为:将混合神经网络中第二层卷积 输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多 尺度状态信息,将混合神经网络输出得到的状态信息RC转置,然后 和RL结合,得到多尺度状态信息 R=M(RC.T,RL)={{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}}, 其中,RC.T代表RC的转置,M代表线性结合,通过平均池化对结 合后的状态信息进行显著性特征提取,得到多尺度特征向量,其公式 如下所示:
Y=avg(R)=[r1,r2,...r96] (2)
其中,avg代表平均池化,r1,r2,...,r96代表每个隐层单元平均池化之后 的输出信息。
其中,[z1,z2,...,zm]为步骤3得到的优势特征向量,[r1,r2,...r96]为步骤4 得到的多尺度特征向量,该特征向量作为全连接层的输入特征,经 过全连接层得到样本分类标签,其计算公式如下所示:
更进一步,所述步骤2中,将手腕以及下肢位置的传感器数据分 别输入各自的CNN与BLSTM混合神经网络,每个人体位置有两个 传感器,每个传感器有x、y、z三轴数据,每个数据窗口大小为200, 得到两组6×200大小的输入数据;定义其输入数据为 l={{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}},传感器数据首先经过一 维卷积神经网络,设F(*)为CNN网络卷积的计算公式,G(*)为CNN 网络池化的计算公式,其计算如下公式所示:
fi,j=F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2=G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态 特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}, 其中rci,j表示第i个状态特征向量的第j个值,接下来将卷积得到的状 态信息RC转置后输入到BLSTM中,Ai为前向LSTM计算节点,定 义为该节点的计算公式,Ai'为反向LSTM计算节点,定义为 该节点的计算公式,如下所示:
其中为t=i时刻前向长短期记忆神经网络的输出,为t=i时刻反向 长短期记忆神经网络的输出,rci为t=i时刻网络的输入数据,为 前一时刻BLSTM的输出,为后一时刻BLSTM的输出,BLSTM 对CNN输出的高维特征进行充分学习后得到 RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。
更进一步,所述步骤3中,对200窗口大小的数据进行特征提取, 提取的特征包括:均值、均方根、标准差、均值的模、标准差的模、 绝对中位差、最小值、最大值、峰度、偏度和相关系数,分别见公式 (9),(10),(11),(12),(13),(14),(15),(16),(17),(18), (19);
本发明的有益效果为:分离不同位置的传感器数据可以克服单一 神经网络表达能力不完全的问题,而结合不同深度、不同类型网络输 出可以得到包含全局整体信息以及局部详细信息的特征向量,提高人 体复杂行为的识别正确率。
附图说明
图1为本发明的一种基于数据分离多尺度特征结合的人体复杂 行为识别方法流程图。
图2为一维卷积神经网络特征提取流程图。
图3为双向长短期记忆神经网络结构图。
图4为优势特征选择流程图。
图5为多尺度特征结合结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参照图1~图5,一种基于数据分离多尺度特征结合的人体复杂行 为识别方法,包括以下步骤:
步骤1,数据分割;
将手腕和下肢位置处的传感器数据分别按窗口大小为200进行 50%的数据重叠分割,窗口大小200指当传感器频率为50Hz时,一 共收集4s数据,作为一个输入数据;50%数据重叠指有重复的分割, 每一个窗口大小为200的当前输入数据,后100个数据作为下一个输 入数据的前100个数据。
步骤2,数据输入CNN和BLSTM混合神经网络;
将手腕以及下肢位置的传感器数据分别输入各自的CNN与 BLSTM混合神经网络。每个人体位置有两个传感器,每个传感器有 x、y、z三轴数据,每个数据窗口大小为200,得到两组6×200大小 的输入数据;定义其输入数据为 l={{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}},传感器数据首先经过一 维卷积神经网络,设F(*)为CNN网络卷积的计算公式,G(*)为CNN 网络池化的计算公式,其计算如下公式所示:
fi,j=F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2=G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态 特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}, 其中rci,j表示第i个状态特征向量的第j个值,接下来将卷积得到的状 态信息RC转置后输入到BLSTM中,Ai为前向LSTM计算节点,定 义为该节点的计算公式,A'i为反向LSTM计算节点,定义为 该节点的计算公式,如下所示:
其中为t=i时刻前向长短期记忆神经网络的输出,为t=i时刻反向 长短期记忆神经网络的输出,rci为t=i时刻网络的输入数据,为 前一时刻BLSTM的输出,为后一时刻BLSTM的输出,BLSTM 对CNN输出的高维特征进行充分学习后得到 RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示 第(m-1)/2+1个隐层在n时刻的输出。其一维卷积神经网络特征提取 流程图和双向长短期记忆神经网络结构图分别如附图2和图3所示。
步骤3,特征提取和选择;
对200窗口大小的数据进行特征提取,提取的特征包括:均值、 均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最 大值、峰度、偏度和相关系数(分别见公式(9),(10),(11),(12), (13),(14),(15),(16),(17),(18),(19))。
将特征值进行标准化处理,即转换为均值为0,方差为1的正态 分布,公式如下:
由于特征集中存在不相关和冗余的特征,通过序列前向选择(SFS, SequentialForward Selection)算法和网络权重值来衡量特征的重要性 进而选择特征,具体过程是将得到的所有特征,逐个与经过网络平均 池化后的特征向量进行线性融合,融合后的向量作为混合神经网络全 连接层的输入,通过输出的结果精度进行取舍,若模型结果精度有所提升,则保留当前特征,若模型精度下降,则剔除该特征。对于添加 特征后模型精度值变化不大(精度值变化在±0.001之间)的特征,读 取网络模型全连接层的权重,通过比较特征之间的权重大小来判断是 否保留该特征,如该特征权重大于已选择的优势特征权重,则保留该 特征,否则剔除该特征,最终得到优势特征向量Z=[z1,z2,...,zm],如表 1所示,特征选择流程如附图4所示。
表1
步骤4,多尺度特征结合;
将得到的RC状态信息转置,然后将转置后的RC和RL结合,得 到多尺度状态信息,多尺度特征结合结构图如附图5所示,多尺度状 态信息为:
R=M(RC.T,RL)={{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}}
其中,RC.T代表RC的转置,M代表线性结合,通过平均池化对结 合后的状态信息进行显著性特征提取,得到多尺度特征向量,其公式 如下所示:
Y=avg(R)=[r1,r2,...r96] (2)
其中,avg代表平均池化,r1,r2,...,r96代表每个隐层单元平均池化之后 的输出信息。
步骤5,特征融合;
通过步骤3和步骤4得到了两组特征向量,一组为序列前向选择 算法和网络权重比较得到的优势特征向量Z,另一组为多尺度特征结 合得到的多尺度特征向量Y,现在对这两个特征向量进行线性融合, 得到一个新的特征向量公式如下所示:
其中,[z1,z2,...,zm]为步骤3得到的优势特征向量,[r1,r2,...r96]为步骤4 得到的多尺度特征向量,得到的特征向量作为全连接层的输入特 征,经过全连接层得到最后的样本分类标签,其计算公式如下所示:
表2是本发明方法分别在PAMAP2数据集和UT-Data数据集进 行人体复杂行为识别的结果,采用精确率、召回率和F1分数来衡量 识别性能。
表2
显而易见,在不偏离本发明的真实精神和范围的前提下,在此描 述的本发明可以有许多变化。因此,所有对于本领域技术人员来说显 而易见的改变,都应包括在本权利要求书所涵盖的范围之内。本发明 所要求保护的范围仅由所述的权利要求书进行限定。
Claims (7)
1.一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述方法包括以下步骤:
步骤1,将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据通过滑动窗口进行分割;
步骤2,将分割后的手腕和下肢位置的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络,保留神经网络不同层输出的状态信息;
步骤3,对分割后的传感器数据提取特征,并进行标准化处理,通过序列前向选择算法和网络权重比较,对提取的一系列特征进行筛选,保留优势特征向量;
步骤4,将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多尺度状态信息,对得到的多尺度状态信息进行均值池化处理,得到多尺度特征向量;
步骤5,将步骤4得到的多尺度特征向量与步骤3提取的优势特征向量融合,作为全连接网络的输入特征,该输入特征经过全连接网络后得到样本分类标签;
所述步骤2的过程为:将手腕以及下肢位置的传感器数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期记忆单元的混合神经网络,传感器数据首先通过一维卷积神经网络,得到有时序的高维状态特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}},其中rci,j表示第i个状态特征向量的第j个值,将这个带时序的高维状态特征信息作为双向长短期记忆单元的输入,得到RL={{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl2,64},...,{rl50,1,rl50,2,...rl50,64}},其中rln,m表示第(m-1)/2+1个隐层在n时刻的输出。
2.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤1的过程为:将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据分别按窗口大小为200进行50%的数据重叠分割,窗口大小200指当传感器频率为50Hz时,一共收集4s数据,作为一个输入数据;50%数据重叠指有重复的分割,每一个窗口大小为200的当前输入数据,后100个数据作为下一个输入数据的前100个数据。
3.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤3的过程为:对分割后的传感器数据提取特征,提取的特征包括:均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数,将特征值进行标准化处理,即转换为均值为0,方差为1的正态分布,公式如下:
通过序列前向选择算法和网络权重比较来衡量特征的重要性进而选择特征,过程是将得到的所有特征,逐个与经过网络平均池化后的特征向量进行线性融合,融合后的向量作为混合神经网络全连接层的输入,通过输出的结果精度进行取舍,若模型结果精度有所提升,则保留当前特征,若模型精度下降,则剔除该特征;对于添加特征后模型精度值变化在±0.001之间的特征,读取网络模型全连接层的权重,通过比较特征之间的权重大小来判断是否保留该特征,如该特征权重大于已选择的优势特征权重,则保留该特征,否则剔除该特征,最终得到优势特征向量。
4.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤4的过程为:将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合,得到多尺度状态信息,将混合神经网络输出得到的状态信息RC转置,然后和RL结合,得到多尺度状态信息R=M(RC.T,RL)={{rc'1,1,rc'1,2,...rl1,96},{rc'2,1,rc'2,2,...rl2,96},...,{rc'50,1,rc'50,2,...rl50,96}},其中,RC.T代表RC的转置,M代表线性结合,通过平均池化对结合后的状态信息进行显著性特征提取,得到多尺度特征向量,其具体公式如下所示:
Y=avg(R)=[r1,r2,...r96] (2)
其中,avg代表平均池化,r1,r2,...,r96代表每个隐层单元平均池化之后的输出信息。
6.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法,其特征在于:所述步骤2中,将手腕以及下肢位置的传感器数据分别输入各自的CNN与BLSTM混合神经网络,每个人体位置有两个传感器,每个传感器有x、y、z三轴数据,每个数据窗口大小为200,得到两组6×200大小的输入数据;定义其输入数据为l={{l1,1,l1,2,...l1,200},{l2,1,l2,2,...l2,200}...,{l6,1,l6,2,...l6,200}},传感器数据首先经过一维卷积神经网络,设F(*)为CNN网络卷积的计算公式,G(*)为CNN网络池化的计算公式,其计算如下公式所示:
fi,j=F(l(i,j-1),l(i,j),l(i,j+1)) (5)
g(i+1)/2=G(fi,fi+1) (6)
传感器数据通过两层一维卷积神经网络之后得到有时序的高维状态特征信息RC={{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}},其中rci,j表示第i个状态特征向量的第j个值,接下来将卷积得到的状态信息RC转置后输入到BLSTM中,Ai为前向LSTM计算节点,定义为该节点的计算公式,Ai'为反向LSTM计算节点,定义为该节点的计算公式,如下所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258727.5A CN111597881B (zh) | 2020-04-03 | 2020-04-03 | 基于数据分离多尺度特征结合的人体复杂行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258727.5A CN111597881B (zh) | 2020-04-03 | 2020-04-03 | 基于数据分离多尺度特征结合的人体复杂行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111597881A CN111597881A (zh) | 2020-08-28 |
CN111597881B true CN111597881B (zh) | 2022-04-05 |
Family
ID=72188638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010258727.5A Active CN111597881B (zh) | 2020-04-03 | 2020-04-03 | 基于数据分离多尺度特征结合的人体复杂行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111597881B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115761900B (zh) * | 2022-12-06 | 2023-07-18 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506712A (zh) * | 2017-08-15 | 2017-12-22 | 成都考拉悠然科技有限公司 | 一种基于3d深度卷积网络的人类行为识别的方法 |
CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN110321833A (zh) * | 2019-06-28 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络和循环神经网络的人体行为识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9805255B2 (en) * | 2016-01-29 | 2017-10-31 | Conduent Business Services, Llc | Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action |
KR102033411B1 (ko) * | 2016-08-12 | 2019-10-17 | 한국전자통신연구원 | 주의집중 기반 문맥 종속 음향 모델을 이용한 음성 인식 장치 및 방법 |
WO2018071389A1 (en) * | 2016-10-10 | 2018-04-19 | Google Llc | Very deep convolutional neural networks for end-to-end speech recognition |
CN108363978B (zh) * | 2018-02-12 | 2022-04-22 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
CN109670548B (zh) * | 2018-12-20 | 2023-01-06 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
CN110197195B (zh) * | 2019-04-15 | 2022-12-23 | 深圳大学 | 一种新型面向行为识别的深层网络系统及方法 |
-
2020
- 2020-04-03 CN CN202010258727.5A patent/CN111597881B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
CN107506712A (zh) * | 2017-08-15 | 2017-12-22 | 成都考拉悠然科技有限公司 | 一种基于3d深度卷积网络的人类行为识别的方法 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN110321833A (zh) * | 2019-06-28 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络和循环神经网络的人体行为识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111597881A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
CN116226691B (zh) | 用于手势姿态感知的智能戒指数据处理方法 | |
CN111199202B (zh) | 基于循环注意力网络的人体动作识别方法及识别装置 | |
Fang et al. | Dynamic gesture recognition using inertial sensors-based data gloves | |
CN110163264B (zh) | 一种基于机器学习的行走模式识别方法 | |
CN110348494A (zh) | 一种基于双通道残差神经网络的人体动作识别方法 | |
CN108898623A (zh) | 目标跟踪方法及设备 | |
CN112036291A (zh) | 基于运动大数据和深度学习的运动学数据模型构建方法 | |
CN113642432A (zh) | 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法 | |
CN111597881B (zh) | 基于数据分离多尺度特征结合的人体复杂行为识别方法 | |
Shi et al. | Dsfnet: A distributed sensors fusion network for action recognition | |
CN111291804A (zh) | 基于注意力机制的多传感器时间序列分析模型 | |
CN113609999B (zh) | 基于姿态识别的人体模型建立方法 | |
CN110298276A (zh) | 基于卷积神经网络的跌倒检测方法 | |
CN117441980A (zh) | 一种基于多传感信息智能计算的智能头盔系统及方法 | |
CN114881150B (zh) | 一种基于多位置传感器特征融合的行为识别系统及其方法 | |
CN111079599B (zh) | 基于多特征融合cnn-blstm的人体复杂行为识别方法 | |
CN109029432B (zh) | 一种基于六轴惯性传感信号的人体动作检测与识别方法 | |
CN115944280A (zh) | 一种基于多源信息融合深度网络的行为检测方法 | |
Singh et al. | A novel procedure for recognising human activity using machine learning | |
CN111950575A (zh) | 用于跌倒检测的设备及其方法 | |
CN117290773B (zh) | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统 | |
Fataniya et al. | Comprehensive analysis of deep learning-based human activity recognition approaches based on accuracy | |
Lu et al. | Dynamic hand gesture recognition using HMM-BPNN model | |
Huang et al. | Research on Human Gesture Recognition Algorithm Based on Multi-Scale Sparse Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |