CN113963435A

CN113963435A - 一种基于图卷积神经网络的人体行为识别系统

Info

Publication number: CN113963435A
Application number: CN202111167649.9A
Authority: CN
Inventors: 张锐; 张梦珂
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2021-10-07
Filing date: 2021-10-07
Publication date: 2022-01-21

Abstract

本发明公开了一种基于图卷积神经网络的人体行为识别系统，涉及人体行为识别技术领域；包括如下方法：步骤一：对深度传感器采集的人体关节数据构建无向时空骨骼图，作为时空图卷积的输入信号；步骤二：将构建好的骨骼图输入至时空图卷积网络进行动作特征提取，实现人体动作识别；步骤三：将门控单元循环神经网络嵌入时空图卷积中对网络进行优化，更好实现空间域特征和时间域特征同步提取；步骤四：利用3D建模软件实现虚拟环境下的人机互动；本发明利用NTU RGB+D数据集中采集到的人体骨骼动作信息，对人体骨架关节点位置的时序表示和空间协同关系构建时空骨架图网络结构，实现端到端的基于时空图卷积神经网络的人体骨架动作识别。

Description

一种基于图卷积神经网络的人体行为识别系统

技术领域

本发明属于人体行为识别技术领域，具体涉及一种基于图卷积神经网络的人体行为识别系统。

背景技术

人体动作识别涵盖了计算机视觉中的许多研究主题，包括视频中的人体检测，姿态估计与跟踪以及动作序列的分析和理解。由于人体动作识别应用广泛，如患者监测，运动分析，智能视频监控和人机交互等应用场景，因此是一个重要的研究领域。传统的人类动作识别主要是基于RGB视频，但RGB视频存在计算量大、易受光照条件影响、对背景噪声敏感等缺点。得益于人体检测算法的成熟，越来越多的研究集中于基于骨骼的人体动作识别。人体可以被视为由枢纽关节连接刚性骨骼而成的铰接系统，其动作主要反映在三维空间中的骨骼运动上，且骨骼信息对尺度、光照和视角等变化具有很强的鲁棒性。与 RGB信息相比，骨骼信息具有特征明确、不易受复杂背景影响的优点。

由于骨骼信息是由若干个关节的三维坐标点表示，无法直接利用传统的CNN进行深度特征提取，已有的CNN方法一般是将骨架数据转换成图像，将空间和时间信息映射在图像的纹理、颜色等属性上，再进行特征提取，但此过程会引起部分关键信息的丢失。因此，如何直接从骨架数据上提取卷积特征成为一个亟待解决的难题。考虑到图 (Graph)在建模各种非规则结构数据方面具有先天优势，将这种先天优势与CNN在特征学习方面的突出能力相结合，构建基于图的卷积神经网络模型与方法以进行有效的骨架表示与高判别性的特征提取，进而建立一般化的、鲁棒的骨架动作识别方法具有重要的研究价值。

发明内容

为解决背景技术中的问题；本发明的目的在于提供一种基于图卷积神经网络的人体行为识别系统。

本发明的一种基于图卷积神经网络的人体行为识别系统，包括如下方法：

步骤一：对深度传感器采集的人体关节数据构建无向时空骨骼图，作为时空图卷积的输入信号；

步骤二：将构建好的骨骼图输入至时空图卷积网络进行动作特征提取，实现人体动作识别；

步骤三：将门控单元循环神经网络嵌入时空图卷积中对网络进行优化，更好实现空间域特征和时间域特征同步提取；

步骤四：利用3D建模软件实现虚拟环境下的人机互动。

与现有技术相比，本发明的有益效果为：

一、实现人体动作识别的高精度识别，进一步提高动作识别的准确率。

二、利用NTU RGB+D数据集中采集到的人体骨骼动作信息，对人体骨架关节点位置的时序表示和空间协同关系构建时空骨架图网络结构，实现端到端的基于时空图卷积神经网络的人体骨架动作识别。

附图说明

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1为本发明的结构框图；

图2为本发明中人体骨骼时空图；

图3为本发明中GRUNN结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本具体实施方式采用以下技术方案：通过图卷积与GRUNN相结合的方式，实现人体动作识别。模块实现步骤如下：

一、骨骼图构建：

如图1所示，把人体骨骼连接图表示成一个无向图时空图G(V, E)，记N为骨骼关节点数，T为帧的数量。因此任何一个骨骼序列的节点集合可以表示为V＝{v_ti|t＝1，...，T，i＝1，...，N}，节点信号特征记 X＝{x_ti|t＝1，...，T，i＝1，...，N}。在ST-GCN中，节点特征采用节点空间三维坐标值F(v_ti)表示。时空图G的构建分为两步：第一步，构建空域图，把所有帧内的骨骼点按照骨骼的生理连接结构进行连接，如图2所示；第二步，构建时域图，把相邻帧对应的骨骼点进行连接。因此，时空图G的边包含两个子集，第一个子集是帧内骨骼点间的连接边，记为E_S＝{v_tiv_tj＝|(i,j)∈H}，其中H为如图2所示的骨骼的空间连接边。第二个子集则是帧间对应骨骼点在时间域上的连接边，记为 E_F＝{v_tiv_(t+1)i}v，特别地，所有的边的强度均设为1。

二、利用时空图卷积进行特征提取：

构造好人体骨骼图之后，接下来需要分别对时空图进行空间域和时间域的特征提取。GCN学习了到空间中相邻关节的局部特征。在此基础上，需要利用时间卷积(TCN)学习时间中关节变化的局部特征。将二者结合构成ST-GCN。在空间域上，直接对骨骼图数据用图卷积神经网络进行特征提取。由采样函数和权重函数组成。

采样函数：在图信号上，类比地定义采样函数离中点节点v_ti距离小于D的邻居节点，即，B(v_ti)＝{v_tj|d(v_ti,v_tj)≤D}，其中，d(v_ti,v_tj)表示从节点v_ti到节点v_ti的最小路径长度。可以得到采样函数为p(v_ti,v_tj)＝v_tj。 D的取值控制了感受野范围的大小，一般情况下为了简化计算D取1，表示只采样一阶的邻居节点。因此图卷积操作定义如下：

对于输入的人体骨架图使用多个图卷积层提取高级空时特征，最后通过softmax函数实现人体动作识别。采用图自编码器(graph auto-encoder,GAE)、图注意力网络(graph attention network,GAT) 和STGCN做对比实验，择优选择网络结构模型。

三、GRUNN：

根据加权融合方法将时空图卷积和GRUNN融合，将两个模型 Softmax分数结合起来以获得最终分数。GRUNN通过主要学习基于时空图的时序动作信息，以获得最佳的性能融合。门控循环神经网络(GRUNN)是循环神经网络的一种变形，它通过引入门控解决了RNN容易发生梯度爆炸和梯度消失的问题，并且能更好地学习长期的时序依赖特征。把GRUNN引入到图序列信号处理中的一个方式是把上述择优模型嵌入到GRUNN结构中，实现空间域特征和时间域特征同步提取。如图3所示，GRUNN中有二个控制门，分别是重置门和更新门。把择优模型嵌入到门控而替代原始的GRUNN中的线性变换。通过将GRUNN 进行叠加从而提出深层次的时域特征和频域特征。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于图卷积神经网络的人体行为识别系统，其特征在于：包括如下方法：

步骤四：利用3D建模软件实现虚拟环境下的人机互动。