CN107679522B - 基于多流lstm的动作识别方法 - Google Patents

基于多流lstm的动作识别方法 Download PDF

Info

Publication number
CN107679522B
CN107679522B CN201711043801.6A CN201711043801A CN107679522B CN 107679522 B CN107679522 B CN 107679522B CN 201711043801 A CN201711043801 A CN 201711043801A CN 107679522 B CN107679522 B CN 107679522B
Authority
CN
China
Prior art keywords
result
action
feature
dynamic attribute
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711043801.6A
Other languages
English (en)
Other versions
CN107679522A (zh
Inventor
韩云
吕小英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neijiang Normal University
Original Assignee
Neijiang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neijiang Normal University filed Critical Neijiang Normal University
Priority to CN201711043801.6A priority Critical patent/CN107679522B/zh
Publication of CN107679522A publication Critical patent/CN107679522A/zh
Application granted granted Critical
Publication of CN107679522B publication Critical patent/CN107679522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了基于多流LSTM的动作识别方法；获取由关节点表示的人体动作序列；对所述动作序列进行视角预处理，并对视角预处理结果进行特征提取；对所述动作序列进行动态属性萃取，并对动态属性萃取结果进行特征提取；分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；分别利用提取的特征以及融合的特征进行动作识别；再对识别结果进行决策融合，最终得到动作的识别结果；本发明整合了动作序列的空间特性和时间特性，融合了动作的静态特性和动态特性，动作识别的精度高，稳定性好，所需的训练数据少，收敛性速度快，适合处理复杂的动作类型。

Description

基于多流LSTM的动作识别方法
技术领域
本发明涉及视频图像处理领域，具体涉及一种基于多流LSTM的动作识别方法，用于对动作进行识别。
背景技术
目前，动作识别方法可分为两类：一类是以传统机器学习为基础的方法，该类方法的核心是人工构建出描述动作属性的特征，然后训练分类器，最后进行动作分类；另一类是基于深度学习的方法，该类方法以目标为导向，通过数据训练，自动学习特征，往往具有更好的区分性。
传统动作识别方法的主要缺点是必须人工构建动作特征，且无法保证特征的区分效果。
目前，动作识别基于深度学习的方法主要有两类：一类是以RGB信息为输入，采用CNN(卷积神经网络)构架的方法；另一类主要以深度相机获取的人体骨架关节点数据为输入，采用基于LSTM(长短期记忆)的RNN(循环神经网络)架构的方法。
基于深度学习的方法，训练模型所需的数据量较大，而实际可用的数据往往较少；基于CNN的方法主要获取动作的静态特性，无法获取动作的时序特性；基于LSTM的方法虽获取了动作的时序特性，但无法萃取肢体变化所带来的动态特性，而动态特性在动作识别中具有重要的作用；动作的静态特性和动态特性在动作识别上各自具有优势和局限，目前采用的方法无法有效整合这两类特性，导致动作识别效率低、识别效果差。
发明内容
本发明的目的在于：提供一种基于多流LSTM的动作识别方法，解决了无法有效整合动作的静态特性和动态特性导致动作识别效率低、识别效果差的技术问题。
本发明采用的技术方案如下：
基于多流LSTM的动作识别方法，包括以下步骤：
步骤1：利用深度相机对人体骨架关节点的坐标数据进行采集，得到由所述关节点表示的动作序列；
步骤2：对所述动作序列进行视角预处理，并利用特征提取模型A对视角预处理结果进行特征提取；
步骤3：对所述动作序列进行动态属性萃取，并利用特征提取模型B对动态属性萃取结果进行特征提取；
步骤4：利用特征提取模型C分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；
步骤5：分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别；
步骤6：对所述步骤5得到的识别结果进行决策融合，最终得到动作的识别结果。
进一步的，所述特征提取模型A、特征提取模型B、特征提取模型C的获取方法如下：
S001：利用深度相机采集人体骨架关节点的坐标数据，得到训练样本；
S002：对所述训练样本进行视角预处理，以视角预处理结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型A；
S003：对所述训练样本进行动态属性萃取，以动态属性萃取结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型B；
S004：以视角预处理结果为输入，构建三层LSTM网络；以动态属性萃取结果为输入，构建三层LSTM网络；构建融合该步骤中两个三层LSTM网络输出特征的特征融合框架；对该步骤中的两个三层LSTM网络和特征融合框架进行联合训练，得到特征提取模型C。
进一步的，所述步骤2具体为：
S201：利用人体骨架关节点的坐标数据得到旋转矩阵，所述旋转矩阵公式如下：
Rc'→h(t)＝[s1 s2 s3]T (1),
其中，
Figure GDA0002648357970000021
Figure GDA0002648357970000022
s3＝s1×s2 (4)；
t表示时间变量，h表示人体骨架坐标系，c表示相机坐标系，c'表示中间坐标系，
Figure GDA0002648357970000023
表示以相机坐标系为基准的人体左肩在t时刻的3D坐标，
Figure GDA0002648357970000024
表示以相机坐标系为基准的人体右肩在t时刻的3D坐标，
Figure GDA0002648357970000025
表示以相机坐标系为基准的人体躯心在t时刻的3D坐标；
S202：计算每个关节点的3D坐标
Figure GDA0002648357970000026
获得视角预处理结果，
Figure GDA0002648357970000027
其中，k表示人体关节点的序号，
Figure GDA0002648357970000028
表示以骨架坐标系为基准的人体第k个关节点在时间t的3D坐标，
Figure GDA0002648357970000031
表示以相机坐标系为基准的人体关节点k在t时刻的3D坐标；
S203：利用特征提取模型A提取步骤S202中视角预处理结果的特征。
进一步的，所述步骤3具体为：
S301：对所述动作序列进行动态属性萃取，动态属性萃取为追踪每个关节点在两个固定时间间隔d间的位置变化信息，获得萃取结果f(t+d)-f(t)(6)，其中，d表示固定时间间隔，f(t)表示在t时刻人体关节点的3D坐标；
S302：利用特征提取模型B提取步骤S301中动态属性萃取结果的特征。
进一步的，所述步骤4的具体内容如下：
S401：利用特征模型C分别对步骤2的视角预处理结果和步骤3的动态属性萃取结果进行特征提取；
S402：对步骤S401提取的特征进行特征融合，特征融合采用的公式如下：
Figure GDA0002648357970000032
其中，L代表融合输出的特征数量，
Figure GDA0002648357970000033
或
Figure GDA0002648357970000034
表示加成权重，M×L表示加成权重α的大小，N×L表示加成权重β的大小，am和bn分别表示需要融合的两类特征，m∈(1,M)，n∈(1,N)分别表示需要融合的两类特征的维度，CL表示特征融合后得到的特征。
进一步的，所述步骤5中动作识别具体为：将步骤2提取的特征、步骤3提取的特征和步骤4融合的特征分别依次输入各自的全连接层和softmax进行动作识别。
进一步的，所述步骤6中决策融合具体为：将所述步骤5得到的3个识别结果进行连乘，连乘结果所代表的类型就是最终动作识别的结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明整合了动作序列的静态特性和动态特性，动作识别的精度高，稳定性好；利用NTU RGB+D数据库的测试结果如下：采用传统的动作识别方法，精度在30％-80％之间，其中最优的方法是STA-LSTM，精度约为80％；而采用本方案，动作识别的精度提高至86.6％。
2.采用视角预处理和构建人体动作动态属性萃取为基础的诱导方法，降低了深度学习框架的训练难度，使得训练所需的数据量较小，收敛速度快。
3.本发明能够识别更加复杂的动作类型，可以适应更复杂的应用场景。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的整体结构图；
图2是本发明构建的萃取动作序列动态属性的原理图；
图3是本发明中以多层权重为基础的特征融合结构图；
图4是本发明中特征融合的结构图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1-4对本发明作详细说明。
基于多流LSTM的动作识别方法，包括以下步骤：
步骤0：获取特征提取模型A、特征提取模型B、特征提取模型C；
具体如下：
S001：利用深度相机采集人体骨架关节点的3D坐标数据，得到训练样本；
S002：对所述训练样本进行视角预处理，以视角预处理结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型A；
S003：对所述训练样本进行动态属性萃取，以动态属性萃取结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型B；
S004：以视角预处理结果为输入，构建三层LSTM网络；以动态属性萃取结果为输入，构建三层LSTM网络；构建融合该步骤中两个三层LSTM网络输出特征的特征融合框架；对该步骤中的两个三层LSTM网络和特征融合框架进行联合训练，得到特征提取模型C。
步骤1：利用深度相机采集待识别目标的人体骨架关节点的3D坐标数据，得到由所述关节点表示的动作序列。
步骤2：对所述动作序列进行视角预处理，并对视角预处理结果进行特征提取；
具体为：
S201：利用人体骨架关节点的坐标数据得到旋转矩阵，所述旋转矩阵公式如下：
Rc'→h(t)＝[s1 s2 s3]T (8),
其中，
Figure GDA0002648357970000041
s3＝s1×s2 (11)；
t表示时间变量，h表示人体骨架坐标系，c表示相机坐标系，c'表示中间坐标系，
Figure GDA0002648357970000042
表示以相机坐标系为基准的人体左肩在t时刻的3D坐标，
Figure GDA0002648357970000051
表示以相机坐标系为基准的人体右肩在t时刻的3D坐标，
Figure GDA0002648357970000052
表示以相机坐标系为基准的人体躯心在t时刻的3D坐标；
S202：计算每个关节点的3D坐标
Figure GDA0002648357970000053
获得视角预处理结果，
Figure GDA0002648357970000054
其中，k表示人体关节点的序号，
Figure GDA0002648357970000055
表示以骨架坐标系为基准的人体第k个关节点在时间t的3D坐标，
Figure GDA0002648357970000056
表示以相机坐标系为基准的人体关节点k在t时刻的3D坐标；
S203：利用特征提取模型A提取步骤S202中视角预处理结果的特征。
步骤3：对所述动作序列进行动态属性萃取，并对动态属性萃取结果进行特征提取；
具体为：
S301：对所述动作序列进行动态属性萃取，动态属性萃取为追踪每个关节点在两个固定时间间隔d间的位置变化信息，获得萃取结果f(t+d)-f(t)(13)，其中，d表示固定时间间隔，f(t)表示在t时刻人体关节点的3D坐标；
S302：利用特征提取模型B提取步骤S301中动态属性萃取结果的特征。
步骤4：分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；
具体为：
S401：利用特征模型C分别对步骤2的视角预处理结果和步骤3的动态属性萃取结果进行特征提取；
S402：对步骤S401提取的特征进行特征融合，特征融合采用的公式如下：
Figure GDA0002648357970000057
其中，L代表融合输出的特征数量，
Figure GDA0002648357970000058
或
Figure GDA0002648357970000059
表示加成权重，M×L表示加成权重α的大小，N×L表示加成权重β的大小，am和bn分别表示需要融合的两类特征，m∈(1,M)，n∈(1,N)分别表示需要融合的两类特征的维度，CL表示特征融合后得到的特征。
该公式的具体解释如下：(1)权重加成：对每一个特征里面的每一个元素，额外赋予一个可训练的加成权重
Figure GDA00026483579700000510
或
Figure GDA00026483579700000511
将这些权重与原始输出相乘，进行辨识力的提升或抑制，接着将加权后的数值全部加总得到一个标量，代表着该神经网络依照此权重加乘后的效果。(2)点积融合C：将前一步得到的不同特征的综述权值进行点乘(pair-wise Product)得到新的输出C，然而此处的C仅有单一的数值，代表着不同特征经过权重加成后融合的结果。(3)多层特征输出CL：在同一时间会使用多组的点积融合结果当作最后的融合输出，越多组的融合结果，也就代表具有越高的的辨识力，L代表融合输出的特征数量，也是该融合网络唯一的超参数，L设置为(M+N)/4，结构如图3所示，分别连接需要融合的两个特征流，然后经过融合得到融合好的特征数据。
步骤5：分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别；
具体为：将步骤2提取的特征、步骤3提取的特征和步骤4融合的特征分别依次输入各自的全连接层和softmax进行动作识别。
步骤6：对所述步骤5得到的识别结果进行决策融合，最终得到动作的识别结果；
具体为：将所述步骤5得到的3个识别结果进行连乘，连乘结果所代表的类型就是最终动作识别的结果。

Claims (5)

1.基于多流LSTM的动作识别方法，其特征在于：包括以下步骤：
步骤1：利用深度相机对人体骨架关节点的坐标数据进行采集，得到由所述关节点表示的动作序列；
步骤2：对所述动作序列进行视角预处理，并利用特征提取模型A对视角预处理结果进行特征提取；
步骤3：对所述动作序列进行动态属性萃取，并利用特征提取模型B对动态属性萃取结果进行特征提取；
步骤4：利用特征提取模型C分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；
步骤5：分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别；
步骤6：对所述步骤5得到的识别结果进行决策融合，最终得到动作的识别结果；
所述步骤2具体为：
S201：利用人体骨架关节点的坐标数据得到旋转矩阵，所述旋转矩阵公式如下：
Rc'→h(t)＝[s1 s2 s3]T (1),
其中，
Figure FDA0002648357960000011
Figure FDA0002648357960000012
s3＝s1×s2 (3)；
t表示时间变量，h表示人体骨架坐标系，c表示相机坐标系，c'表示中间坐标系，
Figure FDA0002648357960000013
表示以相机坐标系为基准的人体左肩在t时刻的3D坐标，
Figure FDA0002648357960000014
表示以相机坐标系为基准的人体右肩在t时刻的3D坐标，
Figure FDA0002648357960000015
表示以相机坐标系为基准的人体躯心在t时刻的3D坐标；
S202：计算每个关节点的3D坐标
Figure FDA0002648357960000016
获得视角预处理结果，
Figure FDA0002648357960000017
其中，k表示人体关节点的序号，
Figure FDA0002648357960000018
表示以骨架坐标系为基准的人体第k个关节点在时间t的3D坐标，
Figure FDA0002648357960000019
表示以相机坐标系为基准的人体关节点k在t时刻的3D坐标；
S203：利用特征提取模型A提取步骤S202中视角预处理结果的特征；
所述步骤3具体为：
S301：对所述动作序列进行动态属性萃取，动态属性萃取为追踪每个关节点在两个固定时间间隔d间的位置变化信息，获得萃取结果f(t+d)-f(t) (6)，其中，d表示固定时间间隔，f(t)表示在t时刻人体关节点的3D坐标；
S302：利用特征提取模型B提取步骤S301中动态属性萃取结果的特征。
2.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述特征提取模型A、特征提取模型B、特征提取模型C的获取方法如下：
S001：利用深度相机采集人体骨架关节点的坐标数据，得到训练样本；
S002：对所述训练样本进行视角预处理，以视角预处理结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型A；
S003：对所述训练样本进行动态属性萃取，以动态属性萃取结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型B；
S004：以视角预处理结果为输入，构建三层LSTM网络；以动态属性萃取结果为输入，构建三层LSTM网络；构建融合该步骤中两个三层LSTM网络输出特征的特征融合框架；对该步骤中的两个三层LSTM网络和特征融合框架进行联合训练，得到特征提取模型C。
3.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤4的具体内容如下：
S401：利用特征模型C分别对步骤2的视角预处理结果和步骤3的动态属性萃取结果进行特征提取；
S402：对步骤S401提取的特征进行特征融合，特征融合采用的公式如下：
Figure FDA0002648357960000021
其中，L代表融合输出的特征数量，
Figure FDA0002648357960000022
或
Figure FDA0002648357960000023
表示加成权重，M×L表示加成权重α的大小，N×L表示加成权重β的大小，am和bn分别表示需要融合的两类特征，m∈(1,M)，n∈(1,N)分别表示需要融合的两类特征的维度，CL表示特征融合后得到的特征。
4.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤5中动作识别具体为：将步骤2提取的特征、步骤3提取的特征和步骤4融合的特征分别依次输入各自的全连接层和softmax进行动作识别。
5.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤6中决策融合具体为：将所述步骤5得到的3个识别结果进行连乘，连乘结果所代表的类型就是最终动作识别的结果。
CN201711043801.6A 2017-10-31 2017-10-31 基于多流lstm的动作识别方法 Active CN107679522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711043801.6A CN107679522B (zh) 2017-10-31 2017-10-31 基于多流lstm的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711043801.6A CN107679522B (zh) 2017-10-31 2017-10-31 基于多流lstm的动作识别方法

Publications (2)

Publication Number Publication Date
CN107679522A CN107679522A (zh) 2018-02-09
CN107679522B true CN107679522B (zh) 2020-10-13

Family

ID=61142443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711043801.6A Active CN107679522B (zh) 2017-10-31 2017-10-31 基于多流lstm的动作识别方法

Country Status (1)

Country Link
CN (1) CN107679522B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222551B (zh) * 2018-03-02 2021-07-09 杭州海康威视数字技术股份有限公司 识别动作类别的方法、装置、电子设备及存储介质
CN110321761B (zh) * 2018-03-29 2022-02-11 中国科学院深圳先进技术研究院 一种行为识别方法、终端设备及计算机可读存储介质
CN108764050B (zh) * 2018-04-28 2021-02-26 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN108875601A (zh) * 2018-05-31 2018-11-23 郑州云海信息技术有限公司 动作识别方法和lstm神经网络训练方法和相关装置
CN108776796B (zh) * 2018-06-26 2021-12-03 内江师范学院 一种基于全局时空注意力模型的动作识别方法
CN109284682B (zh) * 2018-08-21 2022-06-17 南京邮电大学 一种基于stt-lstm网络的手势识别方法及系统
CN109325440B (zh) * 2018-09-19 2021-04-30 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN109346103B (zh) * 2018-10-30 2023-03-28 交通运输部公路科学研究所 一种用于公路隧道交通事件的音频检测方法
CN111353519A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 用户行为识别方法和系统、具有ar功能的设备及其控制方法
CN111488773B (zh) * 2019-01-29 2021-06-11 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
CN109902729B (zh) * 2019-02-18 2020-10-16 清华大学 基于序列状态演进的行为预测方法及装置
CN109948475B (zh) * 2019-03-06 2021-03-16 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法
CN110163086B (zh) * 2019-04-09 2021-07-09 有品国际科技(深圳)有限责任公司 基于神经网络的健身动作识别方法、装置、设备及介质
CN110084214B (zh) * 2019-04-30 2021-09-28 内江师范学院 一种基于诱导式深度学习的动作识别方法
CN110598853B (zh) * 2019-09-11 2022-03-15 腾讯科技（深圳）有限公司 一种模型训练的方法、信息处理的方法以及相关装置
CN111310590B (zh) * 2020-01-20 2023-07-11 北京西米兄弟未来科技有限公司 一种动作识别方法及电子设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
CN104103075A (zh) * 2014-07-24 2014-10-15 北京邮电大学 一种多视角人体部件语义匹配方法和装置
CN104317386A (zh) * 2014-06-25 2015-01-28 西南科技大学 一种姿势序列有限状态机动作识别方法
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
CN106600000A (zh) * 2016-12-05 2017-04-26 中国科学院计算技术研究所 人‑机器人运动数据映射的方法及系统
CN106650789A (zh) * 2016-11-16 2017-05-10 同济大学 一种基于深度lstm网络的图像描述生成方法
CN106709461A (zh) * 2016-12-28 2017-05-24 中国科学院深圳先进技术研究院 基于视频的行为识别方法及装置
CN106778796A (zh) * 2016-10-20 2017-05-31 江苏大学 基于混合式协同训练的人体动作识别方法及系统
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN106909938A (zh) * 2017-02-16 2017-06-30 青岛科技大学 基于深度学习网络的视角无关性行为识别方法
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296793B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102500094A (zh) * 2011-10-28 2012-06-20 北京航空航天大学 一种基于kinect的动作训练方法
CN104317386A (zh) * 2014-06-25 2015-01-28 西南科技大学 一种姿势序列有限状态机动作识别方法
CN104103075A (zh) * 2014-07-24 2014-10-15 北京邮电大学 一种多视角人体部件语义匹配方法和装置
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
CN106778796A (zh) * 2016-10-20 2017-05-31 江苏大学 基于混合式协同训练的人体动作识别方法及系统
CN106650789A (zh) * 2016-11-16 2017-05-10 同济大学 一种基于深度lstm网络的图像描述生成方法
CN106600000A (zh) * 2016-12-05 2017-04-26 中国科学院计算技术研究所 人‑机器人运动数据映射的方法及系统
CN106709461A (zh) * 2016-12-28 2017-05-24 中国科学院深圳先进技术研究院 基于视频的行为识别方法及装置
CN106909938A (zh) * 2017-02-16 2017-06-30 青岛科技大学 基于深度学习网络的视角无关性行为识别方法
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Multi-Stream Bi-Directional Recurrent Neural Network for Fine-Grained Action Detection;Bharat Singh et al.;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161231;全文 *
Two-Stream Convolutional Networks for Action Recognition in Videos;Karen Simonyan et al.;《neural information processing systems》;20141231;全文 *
双视角下多特征信息融合的步态识别;李一波等;《智能系统学报》;20130228;第8卷(第1期);全文 *
四维时空兴趣点提取结合多流形判别分析的人体动作识;王向前等;《湘潭大学自然科学学报》;20160331;第38卷(第1期);全文 *

Also Published As

Publication number Publication date
CN107679522A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107679522B (zh) 基于多流lstm的动作识别方法
Wang et al. Large-scale multimodal gesture recognition using heterogeneous networks
CN106033435B (zh) 物品识别方法和装置，室内地图生成方法和装置
CN110414432A (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN102567716B (zh) 一种人脸合成系统及实现方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN106022380A (zh) 基于深度学习的个体身份识别方法
CN109635727A (zh) 一种人脸表情识别方法及装置
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN110059741A (zh) 基于语义胶囊融合网络的图像识别方法
CN110532861A (zh) 基于骨架引导多模态融合神经网络的行为识别方法
CN105574510A (zh) 一种步态识别方法及装置
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN108921037B (zh) 一种基于BN-inception双流网络的情绪识别方法
CN110188708A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN110175534A (zh) 基于多任务级联卷积神经网络的授课辅助系统
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN109614899A (zh) 一种基于李群特征和卷积神经网络的人体动作识别方法
CN109064389A (zh) 一种手绘线条画生成现实感图像的深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant