CN113159007B - 一种基于自适应图卷积的步态情感识别方法 - Google Patents

一种基于自适应图卷积的步态情感识别方法 Download PDF

Info

Publication number
CN113159007B
CN113159007B CN202110704535.7A CN202110704535A CN113159007B CN 113159007 B CN113159007 B CN 113159007B CN 202110704535 A CN202110704535 A CN 202110704535A CN 113159007 B CN113159007 B CN 113159007B
Authority
CN
China
Prior art keywords
graph
adaptive
network
link
gait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110704535.7A
Other languages
English (en)
Other versions
CN113159007A (zh
Inventor
庄圆
林兰芬
陈延伟
童若锋
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110704535.7A priority Critical patent/CN113159007B/zh
Publication of CN113159007A publication Critical patent/CN113159007A/zh
Application granted granted Critical
Publication of CN113159007B publication Critical patent/CN113159007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应图卷积的步态情感识别方法，首先获取人体关节点按照时间顺序排列的坐标序列；然后构建自适应图卷积网络，图卷积块是以时空图卷积为基础模块，结合了自适应图的构建方法，形成新的图结构，并以此图结构生成邻接矩阵从而进行自适应图卷积操作；最后将获得的坐标序列输入到网络中，经过三个依次连接自适应图卷积块提取到的特征，再经过全局平均池化和全连接操作得到情感识别的初步结果，最后通过Softmax函数得到各类情感的预测分值，分值最高的即为该步态的情感识别结果。本发明将手工设计的固定的图结构和可训练链接通过网络训练得到的非固定的图结构相结合，保留双方优势，互为补充，使得网络对于情感识别的性能明显提升。

Description

一种基于自适应图卷积的步态情感识别方法
技术领域
本发明涉及情感识别领域，尤其涉及一种基于自适应图卷积的步态情感识别方法。
背景技术
随着人工智能技术的发展，机器能否理解人类情感引起广泛关注，由此情感识别任务也逐渐成为研究的热点。用于情感识别研究的数据种类有很多，大多数研究采用面部图片、文本、语音、生理信号的数据，近期的一些研究使用步态信息进行情感识别。步态信息相比其他模态数据有着更难以模仿、远距离可观察、不需要被测人很高的参与度等优势，有着更高的实际应用价值。
目前基于步态的情感识别相关方法通过人体骨架关节点坐标的时间序列表征步态，通过传统机器学习方法或深度学习的方法进行特征提取并根据特征进行情感预测。人体骨架关键点的时间坐标序列获取方式一般有两种：一种是采用成熟的人体姿态评估算法从步态视频中提取，另外一种是在参与者身上安装追踪标记并通过相应的检测设备获取各标记点的坐标信息。现有大多数基于步态的情感识别方法采用传统机器学习技术，坐标信息经过处理后，从中提取并筛选有效的相关特征，例如关节点速度、加速度等，最后通过支持向量机、朴素贝叶斯、随机森林、决策树等经典的分类算法进行情感分类。除此之外，少部分方法采用深度学习技术，通过深度神经网络自动学习和提取情感相关特征并进行分类。采用的深度学习技术主要包括长短期记忆（Long short-term memory，LSTM）、时空图卷积（Spatial Temporal Graph Convolutional Networks，ST-GCN）网络模型。Randhavane等人采用长短期记忆（LSTM）网络模型，将步态序列按照时间顺序输入到LSTM中对应的时间步（time-step)，利用步态数据的时间信息来提取步态特征；Bhattacharya等人提出了以时空图卷积（Spatial Temporal Graph Convolution Networks，ST-GCN)为基本模块搭建的STEP(Spatial Temporal Graph Convolutional Networks for Emotion Perception)网络模型，通过构建骨架时空图从而生成图的拓扑结构，从时间、空间两个维度分别对步态时序信息进行图卷积操作，以获取步态信息的时空特征；Zhuang等人对时空图卷积进行了改进，基于情感识别任务特点提出了从步态的整体状态感知情绪的global link, globallink与原始的图结构结合构成了新的骨架时空图，并进一步基于此提出了全局图卷积网路(Global-Graph Convolution Network, G-GCN)。以上两个方法是基于先验知识等，手工设计出的固定的图结构，会忽略除固定的图结构之外的节点间的依赖关系，使得特征传递和特征提取都不够充分。
本发明基于步态的情感识别问题，创新提出了自适应骨架时空图，并进一步提出了自适应图卷积网络，基于自适应的图结构进行自适应卷积操作来更有效地提取出与情感相关的步态特征。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于自适应图卷积的步态情感识别方法，本发明创新提出了可训练链接（trainable link），与手工设计的图结构共同构成自适应的骨架时空图。手工设计的图结构包括人体骨架物理结构的自然链接natural link和全局链接global link。可训练链接通过网络训练可以挖掘手工设计的固定的图结构之外节点之间的依赖关系，随着网络的优化构建更恰当的的图结构，与手工设计的图结构互为补充。此外，基于自适应图提出了自适应图卷积网络，以更充分、更有效地提取情感相关的步态特征。
本发明的目的是通过以下技术方案来实现的：一种基于自适应图卷积的步态情感识别方法，具体步骤如下：
（1）从步态视频中获取步态数据，构造网络输入；
（2）构建自适应图卷积网络；所述自适应图卷积网络主要包括三个依次连接自适应图卷积块；所述的自适应图卷积块主要依据自适应图的邻接矩阵进行图卷积操作，自适应图包括以下三部分：
第一部分：自然链接natural link，按人体物理结构将骨架上关节点相连形成的自然链接；
第二部分：全局链接global link，是以脊椎节点为中心，其他节点与中心节点相连构成的全局链接；
第三部分：可训练链接trainable link，是一种可训练的图结构构造方式，将其转化为图结构的邻接矩阵形式放入网络中训练；
（3）将步骤（1）中获得步态数据输入到自适应图卷积网络中，根据网络提取到的特征进行步态情感类别的预测。
进一步地，步骤（2）中，网络中自适应图卷积有三层，每层有不同的语义信息，需要的可训练链接trainable link可能是不同的，所以每层的可训练链接trainable link使用不同的参数进行训练，使得网络更加灵活。
进一步地，所述可训练链接trainable link通过网络的训练自动学习到合适的图结构，能够挖掘到除手工设计的固定图结构之外节点之间存在的关联关系，通过节点之间的特征交互，发掘相关特征，从而丰富图的结构，使得在图卷积过程中能更充分的进行特征的传递和提取。
本发明的有益效果：
（1）本发明提出基于可训练链接（trainable link）的新的骨架时空图构造方法，通过网络训练，不断优化图结构，使其能更好的挖掘除手工设计的固定图结构之外的节点间的依赖关系；使得网络对于情感识别的性能明显提升。
（2）本发明将手工设计的固定的图结构和可训练链接通过网络训练得到的非固定的图结构相结合，保留双方优势，互为补充，构成自适应骨架时空图。
（3）本发明基于自适应骨架时空图提出用于步态情感识别任务的自适应图卷积网络。自适应图卷积网络通过堆叠自适应图卷积块搭建，随着网络层数加深，每层语义信息各不相同。每层的自适应图中trainable link使用不同的参数来满足不同层的语义需求，使得网络更加灵活。与现有技术相比，本发明方法可以达到当前基于步态的情感识别的最好性能。
附图说明
图1为本发明提出中自适应图卷积网络示意图；
图2为自适应图卷积过程示意图；
图3为自适应图的组成部分：自然链接（natural link）示意图；
图4为自适应图的组成部分：全局链接（global link）示意图；
图5为自适应图的组成部分：可训练链接（trainable link）邻接矩阵示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于自适应图卷积(Adaptive Graph ConvolutionNetwork, AGCN)的步态情感识别方法，具体步骤如下：
（1）从步态视频每一帧中提取出表征步态的人体关节点的坐标序列，并按照时间顺序排列成规整矩阵，作为步骤（2）中网络的输入；
（2）构建自适应图卷积网络；所述自适应图卷积网络包括三个依次连接自适应图卷积块（AGC)，一个全局平均池化层，一个全连接层和一个Softmax层；其中图卷积块是以时空图卷积为基础模块，结合了自适应图的构建方法，形成新的图结构，并以此图结构生成邻接矩阵从而进行自适应图卷积操作。所述自适应图卷积块先进行空间图卷积（SpatialGraph Convolution, SGC）再进行时间图卷积(Temporal Graph Convolution, TGC)
如图2所示，所述结合自适应图构建方法的新的图结构是由时间维度图结构和空间维度图结构共同构成。时间图卷积的图结构是由相邻帧间相同节点相连（时间维度链接）所构成的，由于输入的特征图在位置结构上符合时间维度图结构的邻接关系，可以直接进行普通卷积操作；所述空间图卷积的图结构即为改进的自适应图，由于空间维度的图结构属于非欧几里得结构，其需要借助自适应图的邻接矩阵进行图卷积操作。自适应图结构包括以下三部分：
第一部分：自然链接natural link。按人体物理结构将骨架上关节点相连形成的链接，即为自然链接，见图3；
第二部分：全局链接global link。以脊椎节点为中心，其他节点与中心节点相连构成的链接，即为全局链接，见图4；
第三部分：可训练链接trainable link，将图结构的邻接矩阵作为可训练参数的形式放入网络中，初始化为1e-6，见图5；网络中自适应图卷积有三层，每层都有不同的语义信息，需要的可训练链接trainable link可能是不同的，所以每层的可训练链接trainablelink使用不同的参数进行训练，使得网络更加灵活。
自适应图卷积网络相较于已有的方法依据手工设计的图结构进行图卷积的网络，所述可训练链接trainable link通过网络的训练自动学习到合适的图结构，在训练中不断优化，能够挖掘到除手工设计的固定图结构（natural link和global link）之外节点之间存在的关联关系，通过节点之间的特征交互，发掘相关特征，从而丰富图的结构，使得在图卷积过程中能更充分的进行特征的传递和提取。
每层网络的自适应图卷积具体表示为：
Figure 502986DEST_PATH_IMAGE001
其中，
Figure 512005DEST_PATH_IMAGE002
是每层的输入，
Figure 508780DEST_PATH_IMAGE003
是每层的输出；M是权重参数，W是权重矩阵，用以转 换特征图的通道数，M,W是通过训练得到的；⊙是指两个矩阵按元素相乘；
Figure 970986DEST_PATH_IMAGE004
、
Figure 69523DEST_PATH_IMAGE005
、
Figure 275376DEST_PATH_IMAGE006
分别是 natural link、global link、trainable link所构成的图的邻接矩阵，邻接矩阵的大小为 (v,v)，v为骨架图中关节点的个数，矩阵中所有元素初始化为1e-6，这三个图的邻接矩阵相 加构成了自适应图的邻接矩阵。
（3）将步骤（1）中获得的人体关节点的坐标序列输入到步骤（2）的网络中，经过三个依次连接自适应图卷积块提取到的特征，再经过全局平均池化（Global AveragePooling, GAP)和全连接（Fully Connected, FC)操作得到情感识别的初步结果，最后通过Softmax函数得到各类情感的预测分值，分值最高的即为该步态的情感识别结果。
进一步地，步骤（2）中，三个自适应图卷积块的输出维度分别为32、64、64，时间图卷积的步长分别为1、2、1。
进一步地，步骤（2）中，每个自适应图卷积块中均添加了残差连接操作。
本发明在Emotion Gait数据集上进行实验。Emotion Gait是gamma实验室公开的情感步态数据集，数据集中共有2177个真实步态，四种情感——生气、开心、中立、悲伤。其中342个步态数据采集自90个志愿者，志愿者想象四种不同的情绪分别走出7米的距离，录制形成步态视频；其余1835个步态来自ELMD数据集，由领域专家将步态数据分别标注成四种情感类别。每个视频都经过处理给出了人体骨架16个关节点的坐标时间序列。
如表1所示，自适应图卷积网络通过对图结构的改进使得网络对于情感识别的性能明显优化。在Emotion-Gait数据集上，只使用natural link的图结构进行图卷积操作的步态情感识别准确率为78.24%；在natural link的基础上结合global link进行改进，识别准确率为 81.10%；本发明在此基础上再结合trainable link，使得准确率能达到82.11%，相比前两种方法分别提升了3.87%和1.01%。实验结果充分说明了可训练链接在图结构完善上起着重要作用，它能自适应地发掘潜在的有价值的节点之间的依赖关系，帮助图卷积更加充分地提取步态的情感特征。
表1改进方法准确率对比
Figure 392237DEST_PATH_IMAGE007
如表2所示，与现有的基于传统机器学习方法相比较，本发明方法有非常大的性能优势；与深度学习的方法比较，本发明方法也有更好的性能。本发明方法提出了可训练链接，将其作为固定图结构的补充，发掘潜在的有价值的节点间的依赖关系。除此之外，本发明方法还考虑了语义信息的重要性，并针对网络中不同层级的自适应图卷积的图结构进行了改进，最终本发明方法能达到82.11%的识别准确率。实验结果充分说明了本发明的方法提高了图卷积中图结构的表达能力，以及网络的学习能力，在基于步态的情感识别任务中准确率超过现有的方法。
表2与现有的算法性能对比
Figure 290923DEST_PATH_IMAGE008
表2中，Base-STEP方法参照：Bhattacharya, U., Mittal, T., Chandra, R.,Randhavane, T., Bera, A., Manocha,D.: Step: Spatial temporal graphconvolutional networks for emotion perception from gaits. In: AAAI. (2020)1342–1350.
表2中，G-GCN方法参照：Zhuang, Y., Lin, L., Tong, R., Liu, j., Iwamoto,Y., Chen, Y.:G-GCSN: Global Graph Convolution Shrinkage Network for EmotionPerception from Gait. In Proceedings of the Asian Conference on ComputerVision (ACCV), 2020.
表2中， Venture et al.方法参照：Venture, G., Kadone, H., Zhang, T., Gr`ezes, J., Berthoz, A., Hicheur, H.: Recognizing emotions conveyed by humangait. International Journal of Social Robotics 6 (2014) 621–632.
表2中， Karg et al.方法参照：Karg, M., K¨uhnlenz, K., Buss, M.:Recognition of affect based on gait patterns.IEEE Transactions on Systems,Man, and Cybernetics, Part B (Cybernetics) 40(2010) 1050–1061.
表2中， Daoudi et al.方法参照：Daoudi, M., Berretti, S., Pala, P.,Delevoye, Y., Del Bimbo, A.: Emotion recognition by body movementrepresentation on the manifold of symmetric positive definite matrices. In:International Conference on Image Analysis and Processing,Springer (2017)550–560.
表2中， Wang et al.方法参照：Wang, W., Enescu, V., Sahli, H.: Adaptivereal-time emotion recognition from body movements. ACM Transactions onInteractive Intelligent Systems (TiiS) 5(2015) 1–21.
表2中， Crenn et al.方法参照：Crenn, A., Khan, R.A., Meyer, A.,Bouakaz, S.: Body expression recognition from animated 3d skeleton. In: 2016International Conference on 3D Imaging (IC3D),IEEE (2016) 1–7.
表2中，ST-GCN方法参照：Randhavane, T., Bhattacharya, U., Kapsaskis, K.,Gray, K., Bera, A., Manocha,D.: Identifying emotions from walking usingaffective and deep features. arXiv preprint arXiv:1906.11884 (2019).
表2中，LSTM方法参照：Yan, S., Xiong, Y., Lin, D.: Spatial temporalgraph convolutional networks for skeleton-based action recognition. arXivpreprint arXiv:1801.07455 (2018).
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (2)

1.一种基于自适应图卷积的步态情感识别方法，其特征在于，具体步骤如下：
（1）从步态视频中获取步态数据，构造网络输入；
（2）构建自适应图卷积网络；所述自适应图卷积网络主要包括三个依次连接自适应图卷积块；所述自适应图卷积块先进行空间图卷积再进行时间图卷积；所述空间图卷积的图结构依据自适应图的邻接矩阵进行图卷积操作，自适应图包括以下三部分：
第一部分：自然链接natural link，按人体物理结构将骨架上关节点相连形成的自然链接；
第二部分：全局链接global link，是以脊椎节点为中心，其他节点与中心节点相连构成的全局链接；
第三部分：可训练链接trainable link，是一种可训练的图结构构造方式，将其转化为图结构的邻接矩阵形式放入网络中训练，通过深度学习的方法自动获取有效的图结构，同时得到对应的权重；网络中自适应图卷积有三层，三个自适应卷积块中natural link、global link是相同的，随着网路的加深，每层的步态特征具有不同层次的语义信息，需要的可训练链接trainable link可能是不同的，所以每层的可训练链接trainable link使用不同的参数进行训练，更好地利用语义信息，使得网络更加灵活；每层网络的自适应图卷积具体表示为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
是每层的输入，
Figure DEST_PATH_IMAGE006
是每层的输出；M是权重参数，W是权重矩阵，用以转换特征图的通道数，M和W是通过训练得到的；⊙是指两个矩阵按元素相乘；
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE012
分别是natural link、global link、trainable link所构成的图的邻接矩阵，邻接矩阵的大小为(v,v)，v为骨架图中关节点的个数，矩阵中所有元素初始化为1e-6，这三个图的邻接矩阵相加构成了自适应图的邻接矩阵；权重M使得更关注重要的关节点间的关联关系，
Figure DEST_PATH_IMAGE013
可以通过网络训练得到对应权重，无需再加以权重M；
（3）将步骤（1）中获得步态数据输入到自适应图卷积网络中，经过三个依次连接自适应图卷积块，借助natural link、global link固定图结构提取特征，再结合trainable link通过网络训练提取到的固定图结构难以充分发掘的有效特征，共同构成步态的情感特征，将这些特征进行全局平均池化和全连接操作得到情感识别的初步结果，最后通过Softmax函数得到各类情感的预测分值，分值最高的即为该步态的情感识别结果。
2.根据权利要求1所述的一种基于自适应图卷积的步态情感识别方法，其特征在于，所述可训练链接trainable link通过深度学习网络的训练自动学习到合适的图结构，能够挖掘到除传统手工设计的固定图结构之外节点之间存在的关联关系，通过节点之间的特征交互，发掘相关特征；从而丰富图的结构，使得在图卷积过程中能更充分的进行特征的传递和提取。
CN202110704535.7A 2021-06-24 2021-06-24 一种基于自适应图卷积的步态情感识别方法 Active CN113159007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110704535.7A CN113159007B (zh) 2021-06-24 2021-06-24 一种基于自适应图卷积的步态情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110704535.7A CN113159007B (zh) 2021-06-24 2021-06-24 一种基于自适应图卷积的步态情感识别方法

Publications (2)

Publication Number Publication Date
CN113159007A CN113159007A (zh) 2021-07-23
CN113159007B true CN113159007B (zh) 2021-10-29

Family

ID=76875919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110704535.7A Active CN113159007B (zh) 2021-06-24 2021-06-24 一种基于自适应图卷积的步态情感识别方法

Country Status (1)

Country Link
CN (1) CN113159007B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688745B (zh) * 2021-08-27 2024-04-05 大连海事大学 一种基于相关节点自动挖掘及统计信息的步态识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN111160294A (zh) * 2019-12-31 2020-05-15 西安理工大学 基于图卷积网络的步态识别方法
CN112101176A (zh) * 2020-09-09 2020-12-18 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335696B (zh) * 2015-08-26 2018-05-22 湖南信息职业技术学院 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法
CN105741323A (zh) * 2016-02-03 2016-07-06 浙江大学 一种基于单目视频的人体骨架跟踪方法
US11853903B2 (en) * 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network
US10984245B1 (en) * 2018-06-11 2021-04-20 Facebook, Inc. Convolutional neural network based on groupwise convolution for efficient video analysis
CN111104902B (zh) * 2019-12-19 2023-03-10 中山大学 一种基于图卷积网络的偏瘫步态分类方法
CN111652124A (zh) * 2020-06-02 2020-09-11 电子科技大学 一种基于图卷积网络的人体行为识别模型的构建方法
CN111914156B (zh) * 2020-08-14 2023-01-20 中国科学院自动化研究所 自适应标签感知的图卷积网络跨模态检索方法、系统
CN112800903B (zh) * 2021-01-19 2022-08-26 南京邮电大学 一种基于时空图卷积神经网络的动态表情识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN111160294A (zh) * 2019-12-31 2020-05-15 西安理工大学 基于图卷积网络的步态识别方法
CN112101176A (zh) * 2020-09-09 2020-12-18 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Adaptive Graph Convolutional Neural Networks;Ruoyu Li等;《https://arxiv.org/pdf/1801.03226.pdf》;20180113;第3-4节 *
G-GCSN: Global Graph Convolution Shrinkage Network for Emotion Perception from Gait;Yuan Zhuang等;《ACCV 2020: Computer Vision – ACCV 2020 Workshops》;20210224;摘要、第3页左栏、第4页右栏 *

Also Published As

Publication number Publication date
CN113159007A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
Li et al. Semantic relationships guided representation learning for facial action unit recognition
Zhang et al. Empowering things with intelligence: a survey of the progress, challenges, and opportunities in artificial intelligence of things
Chen et al. Softmax regression based deep sparse autoencoder network for facial emotion recognition in human-robot interaction
Soo Kim et al. Interpretable 3d human action analysis with temporal convolutional networks
CN111291809B (zh) 一种处理装置、方法及存储介质
CN112307995B (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN111461063B (zh) 一种基于图卷积和胶囊神经网络的行为识别方法
CN114613013A (zh) 一种基于骨骼节点的端到端人类行为识别方法与模型
CN106909938A (zh) 基于深度学习网络的视角无关性行为识别方法
CN112801015A (zh) 一种基于注意力机制的多模态人脸识别方法
US20220318946A1 (en) Method for image shape transformation based on generative adversarial network
Wang et al. The application of a hybrid transfer algorithm based on a convolutional neural network model and an improved convolution restricted Boltzmann machine model in facial expression recognition
CN113128424A (zh) 基于注意力机制的图卷积神经网络动作识别方法
Xu et al. Face expression recognition based on convolutional neural network
WO2023226186A1 (zh) 神经网络训练方法、人体运动识别方法及设备、存储介质
CN113935435A (zh) 基于时空特征融合的多模态情感识别方法
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN113159007B (zh) 一种基于自适应图卷积的步态情感识别方法
Chen et al. Coupled multimodal emotional feature analysis based on broad-deep fusion networks in human–robot interaction
Zhao et al. Human action recognition based on improved fusion attention CNN and RNN
CN117115911A (zh) 一种基于注意力机制的超图学习动作识别系统
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
CN116189306A (zh) 基于联合注意力机制的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant