CN110222653B - 一种基于图卷积神经网络的骨架数据行为识别方法 - Google Patents
一种基于图卷积神经网络的骨架数据行为识别方法 Download PDFInfo
- Publication number
- CN110222653B CN110222653B CN201910499246.0A CN201910499246A CN110222653B CN 110222653 B CN110222653 B CN 110222653B CN 201910499246 A CN201910499246 A CN 201910499246A CN 110222653 B CN110222653 B CN 110222653B
- Authority
- CN
- China
- Prior art keywords
- vector
- dimension
- output
- input
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图卷积神经网络的骨架数据行为识别方法,其中,方法包括:通过对训练集中的每一段骨架数据的时间维度进行下采样获得时间维度固定的骨架数据,以训练神经网络;将输入数据按照三维坐标拆分成三个通道,对每一个空间通道分别做带双重注意力的图卷积,再将三个通道合并;对合并后的向量作时空卷积;通过标注动作类别更新神经网络权重;最终获得和指定标注结果强相关的行为识别模型。该方法充分利用骨架数据的拓扑结构和时空关系,提高行为识别性能。
Description
技术领域
本发明涉及深度学习、行为识别技术领域,尤其涉及一种基于图卷积神经网络的骨架数据行为识别方法。
背景技术
行为识别一直是计算机视觉领域的一个热点,近年来随着深度学习和计算机视觉的技术融合和发展,行为识别被广泛应用在视频分析、智能监控、人机交互、增强显示等领域。传统的基于彩色视频数据的行为识别方法需要大量的数据,难以学习到视频中的人体关键信息,而基于骨架的三维人体动作识别由于其对人体运动的高水平的表征性和对视角、外观、尺度和环境干扰的鲁棒性,近年来吸引了许多研究人员的兴趣。
基于骨架的三维人体动作识别方法可以分为手工特征提取和深度学习特征提取两大类。其中手工特征提取有基于人体骨架建模的Lie群方法等,这些方法使用相对关节坐标来描述人体动作,忽略了骨架关节的绝对运动和运动的时间信息,这些手工提取的特征难以表征从骨架结构到动作类别这样复杂的非线性映射。而基于深度学习的方法普遍采用循环神经网络、长短时记忆网络、门控循环单元网络、卷积神经网络等方法,这些方法在基于骨架的人体行为识别上取得了较好的效果,但是基于序列的深度学习方法受限于方法本身难以构建深层网络且不能学习骨架本身的拓扑关系,而基于卷积的深度学习方法又难以学习序列的时间信息。
发明内容
本发明针对现有技术中的上述问题,提出的一种基于图卷积神经网络的骨架数据行为识别方法,利用带有双重注意力机制的图卷积模块学习骨架数据的拓扑关系,利用时空卷积模块学习骨架序列的时空特征,适用于基于骨架数据的人体行为识别,可以高效准确地分类骨架点对应的动作。
本发明所采用的技术方案如下:
步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定,以训练神经网络;
步骤(2)、将步骤(1)中输入神经网络的骨架数据按空间坐标拆分成三个空间通道,把每一个空间通道分别送入带双重注意力的图卷积模块,再将输出的三个通道合并;
步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块;
步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类,获得动作类别和得分;
步骤(5)、将人工标注的动作类别作为监督,更新神经网络权重。
本发明的有益效果是,相比传统的人工设计的骨架数据行为识别方法,本发明提出一种基于图卷积神经网络的骨架数据行为识别方法,充分利用了骨架数据的时空拓扑关系,可以更准确、快速的分类人体骨架点对应的动作类别。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为根据本发明一个实施例的基于图卷积神经网络的骨架数据行为识别方法的流程图;
图2为根据本发明一个实施例的人体骨架建模示意图,捡东西动作的第1、31和61帧;
图3为根据本发明一个实施例的带双重注意力的图卷积模块,该图中,fc表示全连接,LeakyReLU表示修正线性激活函数,Mask表示掩膜函数,softmax表示归一化指数函数,AveragePooling是全局平均池化,Duplicate是堆叠函数,sigmoid是S型激活函数,input表示输入特征向量,output表示输出特征向量,A表示输入的图结构,T表示转置运算;
图4为根据本发明一个实施例的整体网络结构;
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出。参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在介绍基于图卷积神经网络的骨架数据行为识别方法之前,先介绍本实施例选用的数据。人体骨架数据可以由深度传感器(如Kinect)采集,目前有大量的开源骨架数据集,如NTU RGB+D、SYSU-3D、HDM05、UT-Kinect等。其中NTU RGB-D数据集是当前最大的基于骨架的动作识别数据集,拥有56000多个序列和400万帧,共有60类动作,每个骨架有25个关节点,涉及单人动作和双人动作。本实施例将采用NTU RGB-D作为数据集。
图1为根据本发明一个实施例的基于图卷积神经网络的骨架数据行为识别方法的流程图;
如图1所示,该基于图卷积神经网络的骨架数据行为识别方法包括以下步骤:
在步骤S1010中,需要将骨骼数据的时间维度下采样到一个固定值,本实施将时间维度下采样到50。
可以理解的是,无论是NTU RGB-D数据还是直接使用深度传感器采集到的数据,为了完成不同的动作(如喝水和跳跃),所使用的时间是不一样的,为了方便后续的网络训练,需要统一不同动作序列在时间维度上的长度,因此需要下采样。
图2为根据本发明一个实施例的人体骨架建模示意图,表示捡东西动作的第1、31和61帧;
考虑到NTU RGB-D数据集中存在双人动作(具有两副骨架)且每个骨架有25个关节点,为了统一网络的输入,对于双人动作,在空间维度上将两个人骨架关节点连接成长度为25×2=50的向量,对于单人动作,在空间维度上将单人骨架关节点上采样成长度为50的向量。
本实施例构建的图结构A是一个大小为50×50的邻接矩阵,表示50个骨架点之间的连接关系,当两个骨架点之间存在连接关系时矩阵对应位置值为1,否则值为0。
在本实施中,送入网络的特征向量维度是(T,N,C),其中T=50是时间维度,N=50是骨架关节点数即空间维度,C=3表示骨架关节点的三维坐标。
在步骤S1020中,需要将骨架数据拆分成三个通道,将每个通道分别送入带双重注意力的图卷积模块,再将输出的三个通道合并。
为了学习三维坐标每一个维度的空间特性,将骨架数据的三维坐标拆分成三个通道,每个通道用一个特征向量来表示,每一个向量的维度是(T,N)。将三个向量分别送入带双重注意力的图卷积模块。
图3为根据本发明一个实施例的带双重注意力的图卷积模块结构图。
带双重注意力的图卷积模块分为图卷积子模块和注意力子模块。
在带双重注意力的图卷积模块中,为了获得更有代表性的特征,将输入特征向量input送入全连接层得到向量x,全连接的输入和输入维度相同,因此向量x的维度是(T,N)。
在图卷积子模块中,为了使用注意力机制学习带权重的图结构Aattention,需要将x送入如下公式描述的神经网络结构:
Aattention=softmax(LeakyReLU(fc(x)+fc(x)T)+Mask(A)) (1)
上式中,A是原始图结构,fc(.)是全连接层,该处全连接输入和输出维度相同,LeakyReLU(.)是修正线性激活函数,softmax(.)是归一化指数函数,mask(.)是掩膜函数。
在公式(1)中,LeakyReLU公式如下:
上式中z是LeakyReLU(.)函数的输入向量,zi是LeakyReLU(.)函数的输入向量的第i个值,a=0.2是常数,使用LeakyReLU是为了赋予神经网络非线性学习能力,相比与其他激活函数LeakyReLU有更强的生物解释性,因此神经网络具有更好的性能。
在公式(1)中,softmax(.)公式如下:
上式中,Z是softmax(.)函数的输入向量;Zj是softmax(.)函数的输入向量的第j个值,K是softmax(.)函数的输入向量的维度,使用归一化指数函数是为了归一化权重,使得权重值始终保持在区间(0,1)之间,且所有权重之和等于1。
在公式(1)中,Mask(.)公式如下:
Mask(A)=-inf·(1.0-A) (4)
上式中,A是原始图结构,inf表示足够大的数字,本实施例中inf=109,使用掩膜函数是为了增强图结构的表示能力。
接下来对向量x做图卷积操作,公式如下:
上式中,dense为图卷积后输出的特征向量,Aattention是带权重的图结构,*是图卷积计算,M是骨架节点数,m是图结构中每个骨架节点的索引;Λ是对角矩阵,该矩阵的值为x是输入的特征向量,Wm是神经网络的权重。
在注意力子模块中,利用x学习图卷积分支的权重向量attention,注意力子模块由公式(6)定义:
attention=sigmoid(fc(softmax(fc(Duplicate(AveragePooling(x))))))(6)
上式中,AveragePooling(.)是全局平均池化,括号由里到外,第一个全连接层输出维度为每一帧的骨架点数除以16,第二个全连接输出维度为每一帧的骨架点数,sigmoid(.)是S型激活函数,Duplicate(.)是堆叠函数,表示将输入的特征向量重复叠加,由公式(7)定义:
上式中,K′表示叠加次数,该值和每一帧的骨架点数一致,X表示输入特征向量x经全局平均池化后得到的向量;
计算带权重的输出特征向量denseattention,由下式定义:
将特征向量output作为带双重注意力的图卷积模块的输出。
最后合并带双重注意力的图卷积模块输出的三个通道,合并后的通道维度是(N,T,3)。
在步骤S1030中,需要将合并三个通道后的结果作为输入,使用时空卷积模块提取输入特征向量的时空信息,该模块使用ResNet-18结构,该结构为领域内公知。
对时空卷积模块输出的特征向量使用归一化指数分类器分类,获得动作类别和得分。归一化指数分类器为:
Z′是时空卷积模块输出的特征向量;Z′j是时空卷积模块输出的特征向量的第j个值,N是时空卷积模块输出的特征向量的维度;经过归一化指数分类器得到的结果与时空卷积模块的输出特征向量的维度相同,选取经归一化指数分类器得到的结果中数值最高的维度作为动作分类的结果,该数值为动作类别相应的得分。
在步骤S1040中,使用NTU RGB-D数据集自带的标注作为监督,使用梯度下降算法更新网络权重。
把NTU RGB-D数据集划分成训练集和测试集,使用训练集训练网络,使用测试集验证模型效果,最后准确率达到83.1%,效果显著。
综合来看,如图4为根据本发明一个实施例的整体网络结构;
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (1)
1.一种基于图卷积神经网络的骨架数据行为识别方法,其特征在于,包括以下步骤:
步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定,以训练神经网络;
步骤(2)、将步骤(1)中输入神经网络的骨架数据按空间坐标拆分成三个空间通道,把每一个空间通道分别送入带双重注意力的图卷积模块,其中,带双重注意力的图卷积模块包括图卷积子模块和注意力子模块;
对于空间通道,将输入的特征向量input送入一个全连接层获得向量x,该全连接层输入和输出维度相同,向量x的维度为(T,N),T表示时间维度,N表示骨架点空间维度;
在图卷积子模块中,利用向量x和原始图结构A学习带权重骨架图结构Aattention,使用公式(1)表示:
Aattention=softmax(LeakyReLU(fc(x)+fc(x)T)+Mask(A)) (1)
上式中,fc(.)是全连接层,该全连接层输入和输出维度相同,LeakyReLU(.)是修正线性激活函数,softmax(.)是归一化指数函数,Mask(.)是掩膜函数,该掩膜函数使用公式(2)表示:
Mask(A)=-inf·(1.0-A) (2)
上式中,A是原始图结构,inf表示足够大的数字;
LeakyReLU(.)函数表示为:
其中,z是LeakyReLU(.)函数的输入向量,zi是LeakyReLU(.)函数的输入向量的第i个值,a=0.2是常数;
softmax(.)函数表示为:
上式中,Z是softmax(.)函数的输入向量;Zj是softmax(.)函数的输入向量的第j个值,K是softmax(.)函数的输入向量的维度;
对向量x做图卷积,获得输出向量dense,公式如下:
在注意力子模块中,利用向量x学习图卷积分支的权重向量attention,注意力子模块由公式(6)进行表示:
attention=sigmoid(fc(softmax(fc(Duplicate(AveragePooling(x)))))) (6)
上式中,AveragePooling(.)是全局平均池化,括号由里到外,第一个全连接输出维度为每一帧的骨架点数除以16,第二个全连接输出维度为每一帧的骨架点数,sigmoid(.)是S型激活函数,Duplicate(.)是堆叠函数,表示将输入的特征向量X重复叠加,堆叠函数由公式(7)表示:
上式中,K′表示叠加次数,其取值和每一帧的骨架点数一致,其中X表示输入特征向量x经全局平均池化后得到的向量;
计算带权重的输出向量denseattention,由公式(8)表示:
使用残差结构对输入特征向量input和denseattention求和,公式如下:
将向量output作为带双重注意力的图卷积模块的输出;
再将输出的三个通道合并;
步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块;
步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类,获得动作类别和得分,归一化指数分类器为:
Z′是时空卷积模块输出的特征向量,Zj′是时空卷积模块输出的特征向量的第j个值,N是时空卷积模块输出的特征向量的维度,经过归一化指数分类器得到的结果与时空卷积模块的输出特征向量的维度相同,选取经归一化指数分类器得到的结果中数值最高的维度作为动作分类的结果,该数值为动作类别相应的得分;
步骤(5)、将人工标注的动作类别作为监督,更新神经网络权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910499246.0A CN110222653B (zh) | 2019-06-11 | 2019-06-11 | 一种基于图卷积神经网络的骨架数据行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910499246.0A CN110222653B (zh) | 2019-06-11 | 2019-06-11 | 一种基于图卷积神经网络的骨架数据行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110222653A CN110222653A (zh) | 2019-09-10 |
CN110222653B true CN110222653B (zh) | 2020-06-16 |
Family
ID=67816122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910499246.0A Active CN110222653B (zh) | 2019-06-11 | 2019-06-11 | 一种基于图卷积神经网络的骨架数据行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110222653B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659630A (zh) * | 2019-09-17 | 2020-01-07 | 深圳龙岗智能视听研究院 | 一种基于骨架点轨迹动态分析的视频人体异常行为检测方法 |
CN110674829B (zh) * | 2019-09-26 | 2023-06-02 | 哈尔滨工程大学 | 一种基于图卷积注意网络的三维目标检测方法 |
CN111091045B (zh) * | 2019-10-25 | 2022-08-23 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
CN110796110B (zh) * | 2019-11-05 | 2022-07-26 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及系统 |
CN111145913B (zh) * | 2019-12-30 | 2024-02-20 | 讯飞医疗科技股份有限公司 | 基于多重注意力模型的分类方法、装置及设备 |
CN111160294B (zh) * | 2019-12-31 | 2022-03-04 | 西安理工大学 | 基于图卷积网络的步态识别方法 |
CN111199216B (zh) * | 2020-01-07 | 2022-10-28 | 上海交通大学 | 面向人体骨架的运动预测方法及系统 |
CN111325099B (zh) * | 2020-01-21 | 2022-08-26 | 南京邮电大学 | 一种基于双流时空图卷积神经网络的手语识别方法及系统 |
CN111460889B (zh) * | 2020-02-27 | 2023-10-31 | 平安科技(深圳)有限公司 | 一种基于语音及图像特征的异常行为识别方法、装置及设备 |
CN111460928B (zh) * | 2020-03-17 | 2023-07-21 | 中国科学院计算技术研究所 | 一种人体动作识别系统及方法 |
CN111476181B (zh) * | 2020-04-13 | 2022-03-04 | 河北工业大学 | 一种人体骨架动作的识别方法 |
CN111931505A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于子图嵌入的跨语言实体对齐方法 |
CN111709321B (zh) * | 2020-05-28 | 2022-08-16 | 西安交通大学 | 一种基于图卷积神经网络的人体行为识别方法 |
CN111783711B (zh) * | 2020-07-09 | 2022-11-08 | 中国科学院自动化研究所 | 基于身体部件层面的骨架行为识别方法及装置 |
CN111899905B (zh) * | 2020-08-05 | 2022-11-01 | 哈尔滨工程大学 | 一种基于核动力装置的故障诊断方法及系统 |
CN111950485B (zh) * | 2020-08-18 | 2022-06-17 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于人体骨架的人体行为识别方法及系统 |
TWI828942B (zh) | 2020-09-23 | 2024-01-11 | 中強光電股份有限公司 | 訓練或應用神經網路模型的電子裝置和方法 |
CN112036379A (zh) * | 2020-11-03 | 2020-12-04 | 成都考拉悠然科技有限公司 | 基于注意力时间池化图卷积的骨架动作识别方法 |
CN113516028B (zh) * | 2021-04-28 | 2024-01-19 | 南通大学 | 一种基于混合注意力机制的人体异常行为识别方法及系统 |
US11854305B2 (en) | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
CN113420608A (zh) * | 2021-05-31 | 2021-09-21 | 高新兴科技集团股份有限公司 | 一种基于密集时空图卷积网络的人体异常行为识别方法 |
CN113673560B (zh) * | 2021-07-15 | 2023-06-09 | 华南理工大学 | 一种基于多流三维自适应图卷积的人体行为识别方法 |
CN113283400B (zh) * | 2021-07-19 | 2021-11-12 | 成都考拉悠然科技有限公司 | 一种基于选择性超图卷积网络的骨架动作识别方法 |
CN114943324B (zh) * | 2022-05-26 | 2023-10-13 | 中国科学院深圳先进技术研究院 | 神经网络训练方法、人体运动识别方法及设备、存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
CN109614874A (zh) * | 2018-11-16 | 2019-04-12 | 深圳市感动智能科技有限公司 | 一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统 |
CN109711277A (zh) * | 2018-12-07 | 2019-05-03 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN110321761A (zh) * | 2018-03-29 | 2019-10-11 | 中国科学院深圳先进技术研究院 | 一种行为识别方法、终端设备及计算机可读存储介质 |
-
2019
- 2019-06-11 CN CN201910499246.0A patent/CN110222653B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
CN110321761A (zh) * | 2018-03-29 | 2019-10-11 | 中国科学院深圳先进技术研究院 | 一种行为识别方法、终端设备及计算机可读存储介质 |
CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学(保定) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
CN109614874A (zh) * | 2018-11-16 | 2019-04-12 | 深圳市感动智能科技有限公司 | 一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统 |
CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
CN109711277A (zh) * | 2018-12-07 | 2019-05-03 | 中国科学院自动化研究所 | 基于时空频域混合学习的行为特征提取方法、系统、装置 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
Non-Patent Citations (4)
Title |
---|
"Action Recognition with Spatio-Temporal Visual Attention on Skeleton Image Sequences";Zhengyuan Yang et al;《arXiv》;20180411;1-10 * |
"An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition";Chenyang Si et al;《arXiv》;20190329;1-10 * |
"Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition";Sijie Yan et al;《arXiv》;20180125;摘要 * |
"基于时空注意力深度网络的视角无关性骨架行为识别";丰艳 等;《计算机辅助设计与图形学学报》;20181231;第30卷(第12期);第2.1-2.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110222653A (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222653B (zh) | 一种基于图卷积神经网络的骨架数据行为识别方法 | |
CN110175596B (zh) | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 | |
Oliveira et al. | Deep learning for human part discovery in images | |
CN110021051B (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
CN113469094A (zh) | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 | |
CN109858390A (zh) | 基于端到端时空图学习神经网络的人体骨架的行为识别方法 | |
CN107609460A (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
CN112036276B (zh) | 一种人工智能视频问答方法 | |
CN109670576B (zh) | 一种多尺度视觉关注图像描述方法 | |
CN112016601B (zh) | 基于知识图谱增强小样本视觉分类的网络模型构建方法 | |
CN113158861B (zh) | 一种基于原型对比学习的运动分析方法 | |
CN112801762B (zh) | 基于商品感知的多模态视频高光检测方法及其系统 | |
CN114220154A (zh) | 一种基于深度学习的微表情特征提取与识别方法 | |
CN114821640A (zh) | 基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法 | |
CN111860269A (zh) | 一种多特征融合的串联rnn结构及行人预测方法 | |
CN117237559B (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
CN111985532A (zh) | 一种场景级上下文感知的情感识别深度网络方法 | |
CN116434347B (zh) | 一种基于掩码图自编码器的骨架序列识别方法及系统 | |
CN112905762A (zh) | 一种基于同等注意力图网络的视觉问答方法 | |
CN111814658A (zh) | 基于语义的场景语义结构图检索方法 | |
CN109766790A (zh) | 一种基于自适应特征通道的行人检测方法 | |
CN116189306A (zh) | 基于联合注意力机制的人体行为识别方法 | |
CN117373116A (zh) | 基于图神经网络的轻量级特征保留的人体动作检测方法 | |
CN110348395B (zh) | 一种基于时空关系的骨架行为识别方法 | |
CN115497161A (zh) | 基于人体姿态矫正的注意力时空图卷积网络行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |