CN108776796B - 一种基于全局时空注意力模型的动作识别方法 - Google Patents

一种基于全局时空注意力模型的动作识别方法 Download PDF

Info

Publication number
CN108776796B
CN108776796B CN201810675198.1A CN201810675198A CN108776796B CN 108776796 B CN108776796 B CN 108776796B CN 201810675198 A CN201810675198 A CN 201810675198A CN 108776796 B CN108776796 B CN 108776796B
Authority
CN
China
Prior art keywords
model
sequence
layer
human body
attention model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810675198.1A
Other languages
English (en)
Other versions
CN108776796A (zh
Inventor
韩云
吕小英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Original Assignee
Neijiang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neijiang Normal University filed Critical Neijiang Normal University
Priority to CN201810675198.1A priority Critical patent/CN108776796B/zh
Publication of CN108776796A publication Critical patent/CN108776796A/zh
Application granted granted Critical
Publication of CN108776796B publication Critical patent/CN108776796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全局时空注意力模型的动作识别方法，属于动作识别领域；首先，构建全局时空注意力模型，所述全局时空注意力模型包括依次连接的全局空间注意力模型、累加式曲线模型ALC和分类层；再利用人体动作序列对所述全局时空注意力模型依次进行训练、验证和测试；当测试效果最佳的模型精度达到设定的阈值，则完成训练并将测试效果最佳的模型作为最终模型，否则继续进行训练；最后将待检测人体动作序列输入所述最终模型进行动作识别，得出识别结果；将全局空间注意力模型、全局时间注意力模型和主干网融为一体，结构更加简单、训练更加容易、收敛速度更快，直接采用end to end的训练方式即可，无需任何额外的步骤。

Description

一种基于全局时空注意力模型的动作识别方法
技术领域
本发明涉及动作识别领域，具体涉及一种基于全局时空注意力模型的动作识别方法。
背景技术
随着人工智能的快速发展，基于深度学习的动作识别获得了越来越多研究群体的关注。其中，注意力模型能有效提升动作识别的精度，获得了广泛的应用。目前，在动作识别领域，主要有两类注意力模型：一类是时间注意力模型，它的主要作用是标识出动作序列中哪些帧在识别中具有更重要的作用，哪些帧的作用相对较小；另一类是空间注意力模型，它主要是标识出人体哪些关节点在识别动作中具有更加重要的作用，哪些关节点具有的作用相对较小。同时，按采用信息的不同，注意力模型还可分为：局部注意力模型和全局注意力模型。所谓局部注意力模型是指以局部的两帧或多帧序列来构建注意力。与之相对的是全局注意力模型，以整个动作序列为基础来构建注意力。
目前在动作识别领域中，常用的是局部注意力模型，该类模型主要存在以下问题：
其本质上是利用动作序列的前后两帧或多帧之间的差异来实现注意力，对动作序列来说，只有全部看完整个序列后才能准确的给出每帧动作的重要性、每个关节点的重要性，局部注意力模型无法给出准确的注意力权重；用于动作识别的局部时空注意力模型(包括局部空间注意力模型和局部时间注意力模型)由主干网、空间注意力和时间注意力3部分构成，结构复杂，训练过程繁琐，导致识别效果一般较差。
发明内容
本发明的目的在于：提供一种基于全局时空注意力模型的动作识别方法，解决了目前利用局部时空注意力模型进行动作识别，模型结构复杂、训练过程繁琐、识别效果差的技术问题。
本发明采用的技术方案如下：
一种基于全局时空注意力模型的动作识别方法，包括以下步骤：
步骤1：构建全局时空注意力模型，所述全局时空注意力模型包括依次连接的全局空间注意力模型、累加式曲线模型ALC和分类层；
步骤2：利用人体动作序列对所述全局时空注意力模型依次进行训练、验证和测试；
步骤3：当测试效果最佳的模型精度达到预设的阈值时，则完成训练并将测试效果最佳的模型作为最终模型，否则继续进行训练；
步骤4：将待检测人体动作序列输入所述最终模型进行动作识别，得出识别结果。
进一步的，所述步骤1中全局时空注意力模型的构建方法如下：
步骤11：构建全局空间注意力模型，用于输入人体动作序列X，输出人体动作序列X的空间注意力权重a，a＝(a1，...，ai，...，aK)＝f(X)，
人体动作序列X表示为：
X＝{Xt＝(Xt，1，...，Xt，i...，Xt，K)|t＝1，...，n}，
其中，t表示人体动作序列中动作的时刻，n表示人体动作序列的长度，K表示人体关节点的个数，i表示人体关节点的序号；
步骤12：构建累加式曲线模型ALC，用于输入利用空间注意力权重a进行权重分配后的人体动作序列X′，输出人体动作序列具有时间注意力权重βt的特征ot，
步骤13：构建分类层，用于输入特征ot，输出人体动作序列X分类结果。
进一步的，所述步骤11中，全局空间注意力模型包括依次连接的LSTM层、全连接层、ReLU层和Normalize层；
LSTM层：用于提取所述人体动作序列X中每一动作的特征；
全连接层：用于对输入该层的特征进行降维；
ReLU层：用于增强全局空间注意力模型的非线性化；
Normalize层：用于规格化数据。
进一步的，所述步骤12中，累加式曲线模型ALC包括依次连接的三层LSTM层和权重层，
三层LSTM层：用于对X′进行动作特征提取，得到提取的特征ht；
权重层：用于对所述特征ht赋予权重βt，得到结果ot，ot＝βtht。
进一步的，所述分类层包括全连接层和Softmax分类层。
进一步的，所述步骤2中，训练、验证和测试的具体步骤如下：
步骤21：将由人体关节点数据形成的人体动作序列分为训练集、验证集和测试集；
步骤22：将所述训练集中的人体动作序列输入全局时空注意力模型中进行训练，得到H个模型；
步骤23：将所述验证集输入所述H个模型进行测试，将准确率排名前Q的模型作为测试模型；
步骤24：将所述测试集中的测试数据输入所述测试模型，得到测试效果，若测试效果最佳的测试模型精度达到阈值，则完成训练得到最终模型并跳转至步骤25；否则跳转至步骤22；
步骤25：将待识别动作序列输入所述最终模型，得到识别结果。
进一步的，所述步骤22中，对所述利用全局时空注意力模型进行训练时，采用二阶正则化策略来缓解过拟合，其中，带有二阶正则化的损失函数为：
Figure BDA0001709168410000031
其中，yi表示所述人体动作序列的真实动作类型，C表示动作的类别数量；
Figure BDA0001709168410000032
表示全局时空注意力模型预测出的动作类型，i表示人体关节点的序号，
Figure BDA0001709168410000033
表示全局空间注意力模型参数的二阶正则化，
Figure BDA0001709168410000034
表示累加式曲线模型ALC参数的二阶正则化，λ1和λ2均表示平衡因子。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.利用整个序列来决定空间注意力和时间注意力的权重，使得注意力的权重更加准确，也更符合人类的认知。
2.将全局空间注意力模型、全局时间注意力模型和主干网融为一体，结构更加简单、训练更加容易、收敛速度也更快，直接采用end to end的训练方式即可，无需任何额外的步骤。
3.整体计算量更小，稳定性好，识别精度的更高，在多个主流的数据集上进行了测试，在单流架构下，实现了目前最好的识别效果，具体为：在目前最大的RGB-D动作数据集NTU RGB+D上，仅仅使用LSTM架构的识别率为66.8％，采用局部时空注意力的识别率是73％，本发明的识别率达到80％。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的整体流程图；
图2是本发明中全局时空注意力模型的整体架构图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1、图2对本发明作详细说明。
一种基于全局时空注意力模型的动作识别方法，包括以下步骤：
步骤1：构建全局时空注意力模型，所述全局时空注意力模型包括依次连接的全局空间注意力模型、累加式曲线模型ALC和分类层；
步骤2：利用人体动作序列对所述全局时空注意力模型依次进行训练、验证和测试；
步骤3：当测试效果最佳的模型精度达到设定的阈值，则完成训练并将测试效果最佳的模型作为最终模型，否则继续进行训练；
步骤4：将待检测人体动作序列输入所述最终模型进行动作识别，得出识别结果。
进一步的，所述步骤1中全局时空注意力模型的构建方法如下：
步骤11：构建全局空间注意力模型，用于输入人体动作序列X，输出人体动作序列X的空间注意力权重a，a＝(a1，...，ai，...，aK)＝f(X)，
人体动作序列X表示为：
X＝{Xt＝(Xt，1，...，Xt，i...，Xt，K)|t＝1，...，n}，
其中，t表示人体动作序列中动作的时刻，n表示人体动作序列的长度，K表示人体关节点的个数，i表示人体关节点的序号；
步骤12：构建累加式曲线模型ALC，用于输入利用空间注意力权重a进行权重分配后的人体动作序列X′，输出人体动作序列具有时间注意力权重βt的特征ot，
步骤13：构建分类层，用于输入特征ot，输出人体动作序列X分类结果。
进一步的，所述步骤11中，全局空间注意力模型包括依次连接的LSTM层、全连接层、ReLU层和Normalize层；
LSTM层：用于提取所述人体动作序列X中每一动作的特征；
全连接层：用于对输入该层的特征进行降维；
ReLU层：用于增强全局空间注意力模型的非线性化；
Normalize层：用于规格化数据。
进一步的，所述步骤12中，累加式曲线模型ALC包括依次连接的三层LSTM层和权重层，
三层LSTM层：用于对X′进行动作特征提取，得到提取的特征ht；
权重层：用于对所述特征ht赋予权重βt，得到结果ot，ot＝βtht。
进一步的，所述分类层包括全连接层和Softmax分类层。
进一步的，所述步骤2中，训练、验证和测试的具体步骤如下：
步骤21：将由人体关节点数据形成的人体动作序列分为训练集、验证集和测试集；
步骤22：将所述训练集中的数据输入全局时空注意力模型中进行训练，得到H个模型；
步骤23：将所述验证集中的数据输入所述H个模型进行测试，将准确率排名前Q的模型作为测试模型；
步骤24：将所述测试集中的数据输入所述测试模型，得到测试效果，若测试效果最佳的测试模型的精度达到设定的阈值，则完成训练得到最终模型并跳转至步骤25；否则跳转至步骤22；
步骤25：将待识别动作序列输入所述最终模型，得到识别结果。
进一步的，所述步骤22中，对所述利用全局时空注意力模型进行训练时，采用二阶正则化策略缓解过拟合，其中，带有二阶正则化的损失函数为：
Figure BDA0001709168410000051
其中，y＝(y1，...，yc)T表示所述人体动作序列的真实动作类型，C表示动作的类别数量；
Figure BDA0001709168410000052
表示全局时空注意力模型预测出的动作类型，i表示人体关节点的序号，
Figure BDA0001709168410000053
表示全局空间注意力模型参数的二阶正则化，
Figure BDA0001709168410000054
表示累加式曲线模型ALC参数的二阶正则化，λ1和λ2均表示平衡因子。
具体实施例
一种基于全局时空注意力模型的动作识别方法，包括以下步骤：
步骤1：构建全局时空注意力模型，将由人体关节点数据形成的人体动作序列分为训练集、验证集和测试集；
全局时空注意力模型的构建方法如下：
步骤11：构建全局空间注意力模型，用于输入人体动作序列X，输出人体动作序列X空间注意力权重a，a＝(a1，...，ai，...，aK)＝f(X)，
人体动作序列X表示为：
X＝{Xt＝(Xt，1，...，Xt，i...，Xt，K)|t＝1，...，n}，
其中，t表示人体动作序列中动作的时刻，n表示人体动作序列的长度，K表示人体关节点的个数，i表示人体关节点的序号；
全局空间注意力模型包括依次连接的LSTM层、全连接层、ReLU层和Normalize层；
LSTM层：用于提取所述人体动作序列X中每一动作的特征；
全连接层：用于对输入该层的特征进行降维；
ReLU层：用于增强全局空间注意力模型的非线性化；
Normalize层：用于规格化数据，防止数据变化过于分散。
步骤12：构建累加式曲线模型ALC，用于输入利用空间注意力权重a进行权重分配后的人体动作序列X′，输出人体动作序列具有时间注意力权重βt的特征ot，
累加式曲线模型ALC包括依次连接的三层LSTM层和权重层，
三层LSTM层：用于对X′进行动作特征提取，得到提取的特征ht；
权重层：用于对所述特征ht赋予权重βt，得到结果ot，ot＝βtht。
步骤13：构建分类层，用于输入特征ot，输出人体动作序列X分类结果。
步骤2：将所述训练集中的人体动作序列输入全局时空注意力模型中进行训练，得到H个模型；
训练的步骤具体为：
步骤21：将所述人体动作序列X输入全局空间注意力模型进行训练；
步骤211：将人体动作序列X输入全局空间注意力模型的LSTM层进行特征提取；
步骤212：将所述步骤211提取得到的特征输入深度学习架构，利用BP算法训练得到函数f，进而根据公式a＝(a1，...，ai，...，aK)＝f(X)得到空间注意力权重a；
其中ReLU层采用公式
Figure BDA0001709168410000061
来逼近所述空间注意力权重a，whs表示全局空间注意力模型中全连接层采用的权重，bs表示全局空间注意力模型中全连接层采用的偏置参数；
采用Normalize层对数据进行规格化后，使空间注意力权重a表示为：
Figure BDA0001709168410000062
Figure BDA0001709168410000063
j表示人体关节点的序号；
步骤22：将人体动作序列X赋予所述空间注意力权重a后，得到X′＝Xa，将X′输入累加式曲线模型ALC进行训练；
步骤221：将X′输入累加式曲线模型ALC中的三层LSTM层进行特征提取，得到每个时刻的特征ht，其中，
ht＝LSTM(LSTM(LSTM(Xt′)))；
步骤222：将所述特征ht输入权重层，利用BP算法进行训练后，得到权重βt。
步骤23：将所述特征ht赋予训练得到的权重βt，得到结果ot，ot＝βtht；
步骤24：将所述结果ot输入分类层，进行分类，分类层包括全连接层和Softmax分类层，
所述全连接层采用的公式为：
Figure BDA0001709168410000064
wh～表示分类层中全连接层的权重，b～表示分类层中全连接层的偏置参数.
Softmax分类层采用的公式为：
Figure BDA0001709168410000065
α＝1，...，C表示分类效果，C表示动作的类别数，b与α的含义相同。
步骤25：相对单独的空间注意力和时间注意力而言，该架构更加复杂，训练起来将会更加困难，也更容易出现过拟合；为了缓解上述情况，本发明在损失函数上，采用二阶正则化策略来实现；其损失函数为：
Figure BDA0001709168410000071
其中，y＝(y1，...，yc)T表示所述人体动作序列的真实动作类型，C表示动作的类别数量；
Figure BDA0001709168410000072
表示全局时空注意力模型预测出的动作类型，
Figure BDA0001709168410000073
表示全局空间注意力模型参数的二阶正则化，
Figure BDA0001709168410000074
表示累加式曲线模型ALC参数的二阶正则化，λ1和λ2均表示平衡因子。
步骤3：将所述验证集输入所述H个模型测试，将准确率排名前Q的模型作为测试模型；
步骤4：将所述测试集中的测试数据输入所述Q个测试模型，得到测试效果，若测试效果最佳的测试模型精度达到阈值，则完成训练并跳转至步骤5；否则跳转至步骤2；
步骤5：将待识别动作序列输入所述测试效果最佳的测试模型，得到识别结果；
识别的步骤为：
步骤51：将待识别动作序列Xt输入全局空间注意力模型中，由于函数f已通过训练得到，因此可直接计算出空间注意力权重a；
步骤52：对待识别动作序列中的每帧动作进行权重分配，得到Xt′＝Xta；
步骤53：将X′t输入累加式曲线模型ALC中提取特征ht，再赋予训练后的时间注意力权重βt，得到htβt；
步骤54：将htβt送入全连接层和Softmax层进行分类，分类得到动作序列的类型。

Claims (2)

1.一种基于全局时空注意力模型的动作识别方法，其特征在于：包括以下步骤：
步骤1：构建全局时空注意力模型，所述全局时空注意力模型包括依次连接的全局空间注意力模型、累加式曲线模型ALC和分类层；
步骤2：利用人体动作序列对所述全局时空注意力模型依次进行训练、验证和测试；
步骤3：当测试效果最佳的模型精度达到设定的阈值，则完成训练并将测试效果最佳的模型作为最终模型，否则继续进行训练；
步骤4：将待检测人体动作序列输入所述最终模型进行动作识别，得出动作序列的识别结果；
所述步骤1中全局时空注意力模型的构建方法如下：
步骤11：构建全局空间注意力模型，用于输入人体动作序列X，输出人体动作序列X的空间注意力权重a，a＝(a1,...,ai,...,aK)＝f(X)，
人体动作序列X表示为：
X＝{Xt＝(Xt,1,...,Xt,i...,Xt,K)|t＝1,...,n}，
其中，t表示人体动作序列中动作的时刻，n表示人体动作序列的长度，K表示人体关节点的个数，i表示人体关节点的序号；
步骤12：构建累加式曲线模型ALC，用于输入利用空间注意力权重a进行权重分配后的人体动作序列X'，输出人体动作序列具有时间注意力权重βt的特征ot，
步骤13：构建分类层，用于输入特征ot，输出人体动作序列X的分类结果；
所述步骤11中，全局空间注意力模型包括依次连接的LSTM层、全连接层、ReLU层和Normalize层；
LSTM层：用于提取所述人体动作序列X中每一动作的特征；
全连接层：用于对输入该层的特征进行降维；
ReLU层：用于增强全局空间注意力模型的非线性化；
Normalize层：用于规格化数据；
所述步骤12中，累加式曲线模型ALC包括依次连接的三层LSTM层和权重层，
三层LSTM层：用于对X'进行动作特征提取，得到提取的特征ht；
权重层：用于对所述特征ht赋予权重βt，得到结果ot，ot＝βtht；
所述分类层包括全连接层和Softmax分类层。
2.根据权利要求1所述的一种基于全局时空注意力模型的动作识别方法，其特征在于：训练时采用的损失函数为：
Figure FDA0003305120260000021
其中，yi表示所述人体动作序列的真实动作类型，C表示动作的类别数量；
Figure FDA0003305120260000022
表示全局时空注意力模型预测出的动作类型，i表示人体关节点的序号，
Figure FDA0003305120260000023
表示全局空间注意力模型参数的二阶正则化，
Figure FDA0003305120260000024
表示累加式曲线模型ALC参数的二阶正则化，λ1和λ2均表示平衡因子。
CN201810675198.1A 2018-06-26 2018-06-26 一种基于全局时空注意力模型的动作识别方法 Active CN108776796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810675198.1A CN108776796B (zh) 2018-06-26 2018-06-26 一种基于全局时空注意力模型的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810675198.1A CN108776796B (zh) 2018-06-26 2018-06-26 一种基于全局时空注意力模型的动作识别方法

Publications (2)

Publication Number Publication Date
CN108776796A CN108776796A (zh) 2018-11-09
CN108776796B true CN108776796B (zh) 2021-12-03

Family

ID=64029880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810675198.1A Active CN108776796B (zh) 2018-06-26 2018-06-26 一种基于全局时空注意力模型的动作识别方法

Country Status (1)

Country Link
CN (1) CN108776796B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614874B (zh) * 2018-11-16 2023-06-30 深圳市感动智能科技有限公司 一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统
CN109376720B (zh) * 2018-12-19 2022-01-18 杭州电子科技大学 基于关节点时空简单循环网络和注意力机制的动作分类方法
US11361557B2 (en) * 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
CN110059587A (zh) * 2019-03-29 2019-07-26 西安交通大学 基于时空注意力的人体行为识别方法
CN110135249B (zh) * 2019-04-04 2021-07-20 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110175425B (zh) * 2019-05-31 2023-02-21 重庆大学 一种基于mmalstm的齿轮剩余寿命的预测方法
CN111291804A (zh) * 2020-01-22 2020-06-16 杭州电子科技大学 基于注意力机制的多传感器时间序列分析模型
CN113742451B (zh) * 2021-09-06 2023-12-22 深圳市广联智通科技有限公司 基于多类型问题和多片段答案抽取的机器阅读理解系统
CN114039871B (zh) * 2021-10-25 2022-11-29 中山大学 一种蜂窝流量预测的方法、系统、装置及介质
CN117649630B (zh) * 2024-01-29 2024-04-26 武汉纺织大学 一种基于监控视频流的考场作弊行为识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679522A (zh) * 2017-10-31 2018-02-09 内江师范学院 基于多流lstm的动作识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158654B2 (en) * 1993-11-18 2007-01-02 Digimarc Corporation Image processor and image processing method
EP1987477A2 (en) * 2006-02-10 2008-11-05 Numenta, Inc. Architecture of a hierarchical temporal memory based system
CN101226597B (zh) * 2007-01-18 2010-04-14 中国科学院自动化研究所 一种基于热红外步态的夜间行人识别方法及系统
JP5632512B1 (ja) * 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
CN105718845A (zh) * 2014-12-03 2016-06-29 同济大学 一种室内场景中人体动作的实时侦测方法及装置
US10296793B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition
CN108062505B (zh) * 2016-11-09 2022-03-18 微软技术许可有限责任公司 用于基于神经网络的动作检测的方法和设备
CN108122245B (zh) * 2016-11-30 2021-11-30 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN106709461B (zh) * 2016-12-28 2019-09-17 中国科学院深圳先进技术研究院 基于视频的行为识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679522A (zh) * 2017-10-31 2018-02-09 内江师范学院 基于多流lstm的动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Global Spatio-Temporal Attention for Action Recognition based on 3D Human Skeleton Data;YUN HAN 等;《Preparation of Papers for IEEE Access》;20170228;第1-11页、图1 *

Also Published As

Publication number Publication date
CN108776796A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108776796B (zh) 一种基于全局时空注意力模型的动作识别方法
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN109299657B (zh) 基于语义注意力保留机制的群体行为识别方法及装置
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN105787458B (zh) 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106951825B (zh) 一种人脸图像质量评估系统以及实现方法
CN109523463A (zh) 一种基于条件生成对抗网络的人脸老化方法
CN110534132A (zh) 一种基于谱图特征的并行卷积循环神经网络的语音情感识别方法
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN105469376B (zh) 确定图片相似度的方法和装置
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN111178319A (zh) 基于压缩奖惩机制的视频行为识别方法
CN111784121B (zh) 基于不确定性分数分布学习的动作质量评价方法
CN110070116B (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN108230291A (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN114841257A (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN102819744A (zh) 一种双通道信息融合的情感识别方法
CN111382686A (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN112651360B (zh) 一种小样本下骨架动作识别方法
CN113344479B (zh) 面向在线课堂的学习参与度智能评估方法和装置
CN108108716A (zh) 一种基于深度信念网络的回环检测方法
CN113850243A (zh) 模型训练、人脸识别方法、电子设备及存储介质
CN115346149A (zh) 基于时空图卷积网络的跳绳计数方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240105

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 641112 No. 705, Dongtong Road, Dongxing District, Neijiang City, Sichuan Province

Patentee before: NEIJIANG NORMAL University

TR01 Transfer of patent right