CN111709321A - 一种基于图卷积神经网络的人体行为识别方法 - Google Patents

一种基于图卷积神经网络的人体行为识别方法 Download PDF

Info

Publication number
CN111709321A
CN111709321A CN202010470852.2A CN202010470852A CN111709321A CN 111709321 A CN111709321 A CN 111709321A CN 202010470852 A CN202010470852 A CN 202010470852A CN 111709321 A CN111709321 A CN 111709321A
Authority
CN
China
Prior art keywords
human
convolution
information
graph
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010470852.2A
Other languages
English (en)
Other versions
CN111709321B (zh
Inventor
田智强
产文颂
郑帅
杜少毅
兰旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xingzhou Zhiyi Intelligent Technology Co ltd
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010470852.2A priority Critical patent/CN111709321B/zh
Publication of CN111709321A publication Critical patent/CN111709321A/zh
Application granted granted Critical
Publication of CN111709321B publication Critical patent/CN111709321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的人体行为识别方法，本发明使用图卷积神经网络进行人体行为识别技术，从而更好的捕捉骨骼点之间的显式关系；在具体的图卷积操作中，使用行为特异图卷积模块，使得模型也可以更好的捕捉骨骼点之间的隐式关系，以捕捉其中的重要信息；为了捕捉时序信息，本技术采用门控时序一维卷积操作，过滤掉冗余及无关信息，保留其中的有用信息，以更好的建模动作的时序信息；在图卷积操作和一维卷积操作之后，均加入通道注意力模块，以建立通道维度的卷积，为不同的通道分配不同的权值，实现通道维度的注意力机制；通过行为门控特异图卷积模块的级联，以更好的提取数据中的信息，以达到较高的识别准确率。

Description

一种基于图卷积神经网络的人体行为识别方法
技术领域
本发明属于人工智能领域，具体涉及一种基于图卷积神经网络的人体行为识别方法。
背景技术
目前智能机器人在工业生产、安保防护、特种作业等领域发挥着越来越重要的作用。人工智能和计算机视觉技术的发展也使得现在的智能机器人愈加智能化。人体行为识别技术可以使得智能机器人理解人类的手势、行为和指令，从而清楚人类的意图，更好的在生产生活中满足人类的需求，为将来更高阶段人机交互提供技术支持。
深度学习作为人工智能领域的一个分支，经过几十年的积累和近年来计算机硬件算力的进步，这些年迎来了蓬勃发展，促进诸多领域技术的进步。AlexNet、VGG和ResNet等深度学习网络的提出，使得图像识别分类等任务的准确度有了极大的飞跃，在工业界也有了很多的应用。而对于非欧式数据，由于传统的卷积神经网络的局限性，图卷积神经网络逐渐在这一类型的数据处理中扮演着越来越重要的角色。图卷积神经网络做为深度学习的一个分支也因此在近几年迅猛发展。其在基于骨骼点数据的人体行为识别任务中也取得了非常好的效果。
当前人体行为识别方法虽然近些年来发展迅速，取得了诸多成果，但是其准确度还是不够高，主要存在以下方面的不足：首先，视频中包含很多除了人体行为以外的冗余的无用信息，容易对识别造成干扰；其次，由于动作是一个序列的信息，所以如何获取人在时序上的变化信息，对行为识别有较大的影响，而又因为时序信息也有很多冗余信息，所以如何建模提取时序信息并且过滤其中的无用信息非常重要；以往虽然存在很多使用图卷积处理骨骼点数据的行为识别方法，但是很多的方法按照人体自然连接通过手工设计来形成邻接矩阵，以表述结点之间的关系，但是虽然很多结点在自然连接中虽然不存在，但对于特定动作来说，某些结点之间可能就存在隐含的关系，不包括这些隐含的关系信息会在数据处理的时候出现一些信息的缺失，从而影响最终的识别结果。
发明内容
本发明的目的在于克服上述不足，提供一种基于图卷积神经网络的人体行为识别方法，能够解决基于行为识别中获取隐含信息，更好的建模时序信息等信息，从而提高识别的准确率。
为了达到上述目的，本发明包括以下步骤：
步骤一，将采集到的视频数据拆分为图片帧；
步骤二，提取每帧图片中的人体姿态，形成人体骨骼点二维或者三维坐标数据；
步骤三，将所需时长的图片帧中的骨骼点坐标数据按照时间顺序叠加到一起，形成骨骼点坐标序列数据；
步骤四，骨骼点坐标序列数据使用图结构来表示，图结构包括邻接矩阵和特征矩阵，邻接矩阵包括人体关节自然连接方式，征矩阵则包含每个骨骼点的坐标信息；
步骤五，将邻接矩阵和特征矩阵输入到行为特异图卷积模块中，行为特异图卷积模块依照当前的特征数据对不同的动作序列生成行为特异邻接矩阵，并且将行为特异邻接矩阵与步骤四生成的邻接矩阵按照设定的比例相加，得到更新以后的邻接矩阵；
步骤六，使用门控时序一维卷积处理更新以后的邻接矩阵的时序信息，去除时序上的无用信息和冗余信息，保留其中有价值的信息；
步骤七，使用插入通道注意力模块的多层特异图卷积模块和门控时序卷积模块，并将最后得到的特征矩阵输入到全连接层，得到类别概率向量；
步骤八，使用大量标记的骨骼点序列数据对类别概率向量进行训练，训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的网络模型；
步骤九，使用保存的训练好的模型构成人体行为识别模型。
使用OpenPose工具对单帧图片进行处理，提取出图片中的人体姿态信息，形成人体的关键骨骼点的坐标信息。
图结构的表示公式为：
Figure BDA0002514254760000031
其中v表示人体骨骼点，ε表示人体骨架；
使用特征矩阵
Figure BDA0002514254760000032
表示人体骨骼点信息，使用邻接矩阵
Figure BDA0002514254760000033
表示人体骨架，其中N表示人体骨骼点的个数，F表示每个人体骨骼点的特征数量；
邻接矩阵的构造规则为：若人体骨骼点i与人体骨骼点j相连，则Aij＝1，否则Aij＝0。
4、根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤五中，行为特异邻接矩阵的计算公式为：
Figure BDA0002514254760000034
Figure BDA0002514254760000035
Figure BDA0002514254760000036
其中M(l)为图卷积中第l层行为特异邻接矩阵，该邻接矩阵将会在图卷积中作为输入使用，
Figure BDA0002514254760000037
为隐含关系邻接矩阵，由输入计算得到，
Figure BDA0002514254760000038
为偏置矩阵，由训练得到，λ(l)为加权权重，由输入计算得到，μ是设定的超参数，H(l-1)为l-1层的输出，
Figure BDA0002514254760000039
和Wφ为可学习的权重，在训练过程中更新，A为邻接矩阵，i和j为人体骨骼点，V为图中节点的总数，Tl为第l层的时间维度；
进行特征聚类的行为特异图卷积操作的计算公式为：
Figure BDA00025142547600000310
其
Figure BDA00025142547600000311
为可学习的权重矩阵，在训练过程中不断更新值，σ为激活函数，且H0＝X。
门控时序一维卷积的计算公式为：
Figure BDA0002514254760000041
其中G为经过门控时序一维卷积得到特征，其中H为输入特征，W1和W2均为一维卷积的卷积核，b1和b2均为偏置，卷积核和偏置的参数均在训练中更新学习。
通道注意力模块为通道维度的注意力机制，通过输入计算不同通道的重要程度，赋给它们不同的权值；
在每层的行为特异图卷积和门控时序一维卷积后都会加上通道注意力模块，级联多层形成门控行为特异图神经网络。
与现有技术相比，本发明使用图卷积神经网络进行人体行为识别技术，从而更好的捕捉骨骼点之间的显式关系；在具体的图卷积操作中，使用行为特异图卷积模块，使得模型也可以更好的捕捉骨骼点之间的隐式关系，以捕捉其中的重要信息；为了捕捉时序信息，本技术采用门控时序一维卷积操作，过滤掉冗余及无关信息，保留其中的有用信息，以更好的建模动作的时序信息；在图卷积操作和一维卷积操作之后，均加入通道注意力模块，以建立通道维度的卷积，为不同的通道分配不同的权值，实现通道维度的注意力机制；通过行为门控特异图卷积模块的级联，以更好的提取数据中的信息，以达到较高的识别准确率。
附图说明
图1为本发明的模型结构图；
图2为本发明的流程图；
图3为本发明的门控行为特异图卷积模块；
图4为本发明的行为特异图卷积模块生成的图结构的可视化效果图。
具体实施方式
下面结合附图对本发明进一步说明。
参见图1和图2，本发明包括以下步骤：
步骤一，将采集到的视频数据拆分为图片帧。
步骤二，OpenPose工具对单帧图片进行处理，提取每帧图片中的人体姿态，形成人体骨骼点二维或者三维坐标数据。
步骤三，将所需时长的图片帧中的骨骼点坐标数据按照时间顺序叠加到一起，形成骨骼点坐标序列数据。
步骤四，骨骼点坐标序列数据使用图结构来表示，图结构包括邻接矩阵和特征矩阵，邻接矩阵包括人体关节自然连接方式，征矩阵则包含每个骨骼点的坐标信息；
图结构的表示公式为：
Figure BDA0002514254760000051
其中v表示人体骨骼点，ε表示人体骨架；
使用特征矩阵
Figure BDA0002514254760000052
表示人体骨骼点信息，使用邻接矩阵
Figure BDA0002514254760000053
表示人体骨架，其中N表示人体骨骼点的个数，F表示每个人体骨骼点的特征数量；
邻接矩阵的构造规则为：若人体骨骼点i与人体骨骼点j相连，则Aij＝1，否则Aij＝0。
步骤五，将邻接矩阵和特征矩阵输入到行为特异图卷积模块中，行为特异图卷积模块依照当前的特征数据对不同的动作序列生成行为特异邻接矩阵，并且将行为特异邻接矩阵与步骤四生成的邻接矩阵按照设定的比例相加，得到更新以后的邻接矩阵。
行为特异邻接矩阵的计算公式为：
Figure BDA0002514254760000054
Figure BDA0002514254760000055
Figure BDA0002514254760000056
其中M(l)为图卷积中第l层行为特异邻接矩阵，该邻接矩阵将会在图卷积中作为输入使用，
Figure BDA0002514254760000061
为隐含关系邻接矩阵，由输入计算得到，
Figure BDA0002514254760000062
为偏置矩阵，由训练得到，λ(l)为加权权重，由输入计算得到，μ是设定的超参数，H(l-1)为l-1层的输出，
Figure BDA0002514254760000063
和Wφ为可学习的权重，在训练过程中更新，A为邻接矩阵，i和j为人体骨骼点；
进行特征聚类的行为特异图卷积操作的计算公式为：
Figure BDA0002514254760000064
其
Figure BDA0002514254760000065
为可学习的权重矩阵，在训练过程中不断更新值，σ为激活函数，且H0＝X。
步骤六，使用门控时序一维卷积处理更新以后的邻接矩阵的时序信息，去除时序上的无用信息和冗余信息，保留其中有价值的信息。
门控时序一维卷积的计算公式为：
Figure BDA0002514254760000066
其中G为经过门控时序一维卷积得到特征，其中H为输入特征，W1和W2均为一维卷积的卷积核，b1和b2均为偏置，卷积核和偏置的参数均在训练中更新学习。
步骤七，使用插入通道注意力模块的多层特异图卷积模块和门控时序卷积模块，并将最后得到的特征矩阵输入到全连接层，得到类别概率向量。
通道注意力模块为通道维度的注意力机制，通过输入计算不同通道的重要程度，赋给它们不同的权值；
在每层的行为特异图卷积和门控时序一维卷积后都会加上通道注意力模块，级联多层形成门控行为特异图神经网络。
步骤八，使用大量标记的骨骼点序列数据对类别概率向量进行训练，训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的网络模型；
步骤九，使用保存的训练好的模型构成人体行为识别模型。
参见图3，控行为特异图卷积模块的工作方法，包括以下部分：
步骤101，输入骨骼点数据，将其以图数据的形式进行表达。
步骤102，对输入的骨骼点数据进行处理，首先是利用数据生成行为特异邻接矩阵，再对其进行图卷积操作，值得一提的是，为加深图网络的层数，使得图网络拟合能力更强，在图卷积这部分会加入残差结构，将输入特征和图卷积的特征连接到一起，然后输出图卷积以后的特征矩阵。
步骤103，上一步输出的特征矩阵，具有较多的通道，不同的通道包括不同的特征，不同的特征其重要程度是不同的，本步骤使用通道注意力模块生成不同的通道注意力，对通道维度进行加权以后再输出特征矩阵；
步骤104，对数据的时间维度进行处理，利用时序一维卷积，由于时间维度的信息很多，存在很多的无用及冗余信息，本步骤使用门控时序一维卷积，由输入数据生成门控权值，对输出特征进行过滤，以留下有用信息。
步骤105，同图卷积操作步骤一样，由于上述门控时序一维卷积的输出也是多通道的，本步骤依然使用通道注意力模块进行通道维度的注意力加权，输出加权以后的特征矩阵。
步骤106，输出门控行为特异图卷积模块的特征矩阵，作为下一步的处理数据。
参见图4，为本发明的行为特异图卷积模块生成的图结构的可视化效果，动作类别为打电话，随机选取其中的一帧，数据来源于NTURGB+D数据集。其中a为原始的图结构，图中只存在结构性连接。b为本模型网络第一层的生成图结构，除了结构性连接之外，还存在非结构性的隐式连接。c为本模型网络第十层的生成图结构，同样包括结构性连接和非结构性的隐式连接。b和c的连接是有区别的，说明本发明中图的连接是在动态变化的。

Claims (6)

1.一种基于图卷积神经网络的人体行为识别方法，其特征在于，包括以下步骤：
步骤一，将采集到的视频数据拆分为图片帧；
步骤二，提取每帧图片中的人体姿态，形成人体骨骼点二维或者三维坐标数据；
步骤三，将所需时长的图片帧中的骨骼点坐标数据按照时间顺序叠加到一起，形成骨骼点坐标序列数据；
步骤四，骨骼点坐标序列数据使用图结构来表示，图结构包括邻接矩阵和特征矩阵，邻接矩阵包括人体关节自然连接方式，征矩阵则包含每个骨骼点的坐标信息；
步骤五，将邻接矩阵和特征矩阵输入到行为特异图卷积模块中，行为特异图卷积模块依照当前的特征数据对不同的动作序列生成行为特异邻接矩阵，并且将行为特异邻接矩阵与步骤四生成的邻接矩阵按照设定的比例相加，得到更新以后的邻接矩阵；
步骤六，使用门控时序一维卷积处理更新以后的邻接矩阵的时序信息，去除时序上的无用信息和冗余信息，保留其中有价值的信息；
步骤七，使用插入通道注意力模块的多层特异图卷积模块和门控时序卷积模块，并将最后得到的特征矩阵输入到全连接层，得到类别概率向量；
步骤八，使用大量标记的骨骼点序列数据对类别概率向量进行训练，训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，根据损失函数的值，更新网络参数，使得损失函数不断下降直到收敛至较小的值，此时训练结束，保存训练好的网络模型；
步骤九，使用保存的训练好的模型构成人体行为识别模型。
2.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤二中，使用OpenPose工具对单帧图片进行处理，提取出图片中的人体姿态信息，形成人体的关键骨骼点的坐标信息。
3.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤四中，图结构的表示公式为：
Figure FDA0002514254750000021
其中
Figure FDA0002514254750000022
表示人体骨骼点，ε表示人体骨架；
使用特征矩阵
Figure FDA0002514254750000023
表示人体骨骼点信息，使用邻接矩阵
Figure FDA0002514254750000024
表示人体骨架，其中N表示人体骨骼点的个数，F表示每个人体骨骼点的特征数量；
邻接矩阵的构造规则为：若人体骨骼点i与人体骨骼点j相连，则Aij＝1，否则Aij＝0。
4.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤五中，行为特异邻接矩阵的计算公式为：
Figure FDA0002514254750000025
Figure FDA0002514254750000026
Figure FDA0002514254750000027
其中M(l)为图卷积中第l层行为特异邻接矩阵，该邻接矩阵将会在图卷积中作为输入使用，
Figure FDA0002514254750000028
为隐含关系邻接矩阵，由输入计算得到，
Figure FDA0002514254750000029
为偏置矩阵，由训练得到，λ(l)为加权权重，由输入计算得到，μ是设定的超参数，H(l-1)为l-1层的输出，
Figure FDA00025142547500000210
和Wφ为可学习的权重，在训练过程中更新，A为邻接矩阵，i和j为人体骨骼点，V为图中节点的总数，Tl为第l层的时间维度；
进行特征聚类的行为特异图卷积操作的计算公式为：
Figure FDA00025142547500000211
其
Figure FDA00025142547500000212
为可学习的权重矩阵，在训练过程中不断更新值，σ为激活函数，且H0＝X。
5.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤六中，门控时序一维卷积的计算公式为：
Figure FDA00025142547500000213
其中G为经过门控时序一维卷积得到特征，其中H为输入特征，W1和W2均为一维卷积的卷积核，b1和b2均为偏置，卷积核和偏置的参数均在训练中更新学习。
6.根据权利要求1所述的一种基于图卷积神经网络的人体行为识别方法，其特征在于，步骤七中，通道注意力模块为通道维度的注意力机制，通过输入计算不同通道的重要程度，赋给它们不同的权值；
在每层的行为特异图卷积和门控时序一维卷积后都会加上通道注意力模块，级联多层形成门控行为特异图神经网络。
CN202010470852.2A 2020-05-28 2020-05-28 一种基于图卷积神经网络的人体行为识别方法 Active CN111709321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470852.2A CN111709321B (zh) 2020-05-28 2020-05-28 一种基于图卷积神经网络的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470852.2A CN111709321B (zh) 2020-05-28 2020-05-28 一种基于图卷积神经网络的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN111709321A true CN111709321A (zh) 2020-09-25
CN111709321B CN111709321B (zh) 2022-08-16

Family

ID=72538739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470852.2A Active CN111709321B (zh) 2020-05-28 2020-05-28 一种基于图卷积神经网络的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN111709321B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036379A (zh) * 2020-11-03 2020-12-04 成都考拉悠然科技有限公司 基于注意力时间池化图卷积的骨架动作识别方法
CN112149645A (zh) * 2020-11-10 2020-12-29 西北工业大学 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN112598021A (zh) * 2020-11-27 2021-04-02 西北工业大学 一种基于自动机器学习的图结构搜索方法
CN112633209A (zh) * 2020-12-29 2021-04-09 东北大学 一种基于图卷积神经网络的人类动作识别方法
CN112991656A (zh) * 2021-02-04 2021-06-18 北京工业大学 基于姿态估计的全景监控下人体异常行为识别报警系统及方法
CN113257279A (zh) * 2021-03-24 2021-08-13 厦门大学 一种基于gtcn的实时语音情感识别方法及应用装置
CN116030537A (zh) * 2023-03-28 2023-04-28 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法
CN116524601A (zh) * 2023-06-21 2023-08-01 深圳市金大智能创新科技有限公司 辅助养老机器人监控的自适应多阶段人体行为识别模型

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222653A (zh) * 2019-06-11 2019-09-10 中国矿业大学(北京) 一种基于图卷积神经网络的骨架数据行为识别方法
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222653A (zh) * 2019-06-11 2019-09-10 中国矿业大学(北京) 一种基于图卷积神经网络的骨架数据行为识别方法
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CONGQI CAO ETC.: "Skeleton-Based Action Recognition With Gated Convolutional Neural Networks", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
LEI SHI ETC.: "Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks", 《ARXIV [CS.CV]》 *
LEI SHI ETC.: "Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SIJIE YAN ETC.: "spatial temporal graph convolutional networks for skeleton-based action recognition", 《ARXIV[CS.CV]》 *
万晓依: "基于时空结构关系的3D人体行为识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036379A (zh) * 2020-11-03 2020-12-04 成都考拉悠然科技有限公司 基于注意力时间池化图卷积的骨架动作识别方法
CN112149645A (zh) * 2020-11-10 2020-12-29 西北工业大学 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN112598021A (zh) * 2020-11-27 2021-04-02 西北工业大学 一种基于自动机器学习的图结构搜索方法
CN112633209A (zh) * 2020-12-29 2021-04-09 东北大学 一种基于图卷积神经网络的人类动作识别方法
CN112633209B (zh) * 2020-12-29 2024-04-09 东北大学 一种基于图卷积神经网络的人类动作识别方法
CN112991656A (zh) * 2021-02-04 2021-06-18 北京工业大学 基于姿态估计的全景监控下人体异常行为识别报警系统及方法
CN113257279A (zh) * 2021-03-24 2021-08-13 厦门大学 一种基于gtcn的实时语音情感识别方法及应用装置
CN116030537A (zh) * 2023-03-28 2023-04-28 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法
CN116030537B (zh) * 2023-03-28 2023-05-23 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法
CN116524601A (zh) * 2023-06-21 2023-08-01 深圳市金大智能创新科技有限公司 辅助养老机器人监控的自适应多阶段人体行为识别模型
CN116524601B (zh) * 2023-06-21 2023-09-12 深圳市金大智能创新科技有限公司 辅助养老机器人监控的自适应多阶段人体行为识别模型

Also Published As

Publication number Publication date
CN111709321B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111709321B (zh) 一种基于图卷积神经网络的人体行为识别方法
Rao et al. Deep convolutional neural networks for sign language recognition
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN109376720B (zh) 基于关节点时空简单循环网络和注意力机制的动作分类方法
CN112131908B (zh) 基于双流网络的动作识别方法、装置、存储介质及设备
CN105772407A (zh) 一种基于图像识别技术的垃圾分类机器人
CN110059593B (zh) 一种基于反馈卷积神经网络的面部表情识别方法
CN113221663B (zh) 一种实时手语智能识别方法、装置及系统
Yang et al. Extracting and composing robust features with broad learning system
CN111507182A (zh) 基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法
CN112651360B (zh) 一种小样本下骨架动作识别方法
CN111626296B (zh) 基于深度神经网络的医学图像分割系统及方法、终端
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN115761905A (zh) 一种基于骨骼关节点的潜水员动作识别方法
Nie Research on facial expression recognition of robot based on CNN convolution neural network
CN113420289B (zh) 面向深度学习模型的隐蔽中毒攻击防御方法及其装置
Zhao et al. Human action recognition based on improved fusion attention CNN and RNN
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN117611428A (zh) 一种时装人物图像风格变换方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN113159007B (zh) 一种基于自适应图卷积的步态情感识别方法
Li et al. Multimodal information-based broad and deep learning model for emotion understanding
CN113688715A (zh) 面部表情识别方法及系统
CN114613011A (zh) 基于图注意力卷积神经网络的人体3d骨骼行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240108

Address after: 710075 Room 204, 2nd Floor, Building 4A, West Yungu Phase II, Fengxi New City, Xixian New Area, Xi'an City, Shaanxi Province

Patentee after: Xi'an Xingzhou Zhiyi Intelligent Technology Co.,Ltd.

Address before: 710049 No. 28 West Xianning Road, Shaanxi, Xi'an

Patentee before: XI'AN JIAOTONG University