CN111476155A

CN111476155A - 基于时空图卷积神经网络与特征融合的人体动作分类方法

Info

Publication number: CN111476155A
Application number: CN202010263150.7A
Authority: CN
Inventors: 张懿扬; 陈志�; 李玲娟; 张怡静; 赵彤彤; 岳文静
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2020-07-31

Abstract

本发明公开了一种基于时空图卷积神经网络与特征融合的人体动作分类方法。本发明结合人体的骨架关键点序列来构建视频中人体运动的时空图，并在时间和空间上划分子网络，在此基础上使用图卷积神经网络进行训练。此外，针对部份特征冗余的现象，还引入特征融合的方法，在原有模型的基础上增强模型检测结果的准确度。本发明方法能够有效避免特征冗余的问题，提高模型对人体动作分类的准确度和鲁棒性。

Description

基于时空图卷积神经网络与特征融合的人体动作分类方法

技术领域

本发明涉及一种时空图卷积神经网络与特征融合的人体动作分类方法，属于计算机视觉人体姿态检测识别技术领域。

背景技术

人物姿态检测分类是指对影视视频中人物的运动进行模式识别后分类的一个过程，而随着如Microsoft Kinect，OpenPose这些人体姿态检测系统的成熟，人体关键点的运动轨迹为动作的描述提供了非常好的表征，基于骨架关键点的模型通常能传达出重要的特征信息，因此它也正在成为计算机视觉，特别是人物动作识别分类研究中的重要任务。

这项任务要求以连续的视频帧中检测到的人体骨架关键点序列为输入，能够输出在视频中发生的人物动作类别。在早期使用骨骼进行人物动作识别时，仅仅利用单个时间步长的关键点坐标形成的特征向量，对其进行时间分析，并没有显式地利用关键点之间的空间联系。在近期的研究中，利用关键点间自然联系的方法已经被开发出来，其效果较早期方法有着长足的进步，证明了连接的重要性。然而，大多数现有的方法依赖于手工制作的部件或规则来分析空间模式，因此为特定应用程序设计的模型很难推广到其他应用程序。

近来，随着可以对任意图结构进行卷积的图卷积GCN的令人惊喜的快速发展，人体运动姿态分类任务有了新的解决方向，不同于传统的基于图像的CNN卷积，GCN可以基于任意拓扑结构进行卷积，因此可以基于人体姿态估计构造拓扑的人体结构，对人体结构进行运动学分析，最后基于时序的人体结构进行CNN卷积，基于卷积的结果进行人体运动姿态分类。

而在卷积网络训练的过程中，关键点检测是检测人体的不同部分，并不是人体各个部分的特征都集中在最后一层特征图上，不同部分的特征可能会分布到不同尺度的特征图上，如果只是通过最后一层的特征图来进行关键点检测，会导致比较差的结果，特征融合可以有效避免特征冗余的问题，增强模型的准确性。

发明内容

发明目的：发明所要解决的技术问题是通过模型，使得对于输入的视频中人体骨架关键点序列，能够构建出时空图并以时间卷积划分子网，使用图卷积神经网络进行人体行为识别，并针对一些模式相同的特征使用特征融合方法，有效避免特征冗余的问题，提高模型对人体动作分类的准确度。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于时空图卷积神经网络与特征融合的人体动作分类方法，包括以下步骤：

步骤1)输入一个经过OpenPose姿态估计软件预处理过的人体骨架关键点信息数据集，可得到骨架关键点的序列；

步骤2)为防止放入特征有过多冗余部分，影响模型准确性，选取模式相同的特征进行特征融合；

步骤3)使用每一帧每一个人体骨骼的坐标表示骨架关键点序列，基于此构建一个时空图，其中，人体的关节关键点为图的节点V，以骨架自然连接方式构建空间图，得到空间边集E_sp；身体结构的连通性和时间上的连通性为图的时序边集E_t。则由以上节点集与空间边集可构成所需时空图；

步骤4)对时空图分别进行空间构型划分和时序划分，最终得到空间划分与时序划分的笛卡尔积；

步骤5)针对划分后的时空图进行卷积神经网络训练，这一过程中每一个卷积层的输出都是一个时空图，每个节点保有特征向量，最后合并所有节点的特征并使用线性分类层实现动作分类。

其中，所述步骤1)具体如下：

利用OpenPose将人体关节如颈部、肩膀、膝盖、手腕等标注出来并连接成骨骼，从而实现姿态估计，此处只需要关注其输出，可由四维矩阵表示视频：A＝(F,T,N,M)，其中，F表示关节的特征，如关节节点的坐标(x,y)及其置信度，T表示关键帧数量，N表示关节点数量，M表示人数。

所述步骤2)具体如下：

采用contact系列特征融合，通过增加通道数将特征直接进行连接。每个输出通道的卷积核独立，设两路输入通道分别为X₁,X₂,...,X_n和Y₁,Y₂,...,Y_n，则经过contact特征融合后的输出通道

*表示卷积，K表示卷积核。

所述步骤3)具体如下：

步骤31)令构建出的时空图为G＝(V,E)，所述V为节点集，E为边集。帧数为T，序列上所有关节节点集合表示为：

V＝{v_ti|t＝1...T,i＝1...N}

第i个节点在t时刻的特征F(v_it)由其坐标(x,y)以及置信度组成(参见：SpatialTemporal Graph Convolutional Networks for Skeleton-Based Action Recognition)。而边集E分为两个子集：空间边集E_sp和时序边集E_t。

步骤32)每一帧中按照人体自然骨架连接关系构造空间图，空间边集表示为E_sp＝{(v_ti,v_tj)|i,j∈B}，所述B为骨架关节点的集合，v_ti、v_tj为同一帧中两关节节点。

步骤33)相邻帧之间将同一个节点按时序关系构成时序边，表示对应关键节点的时序关系，时序边集表示为E_t＝{(v_ti,v_(t+1)i)|i∈B}。所述B为骨架关节点的集合，v_ti，v_(t+1)i为相邻帧的同一节点。

所述步骤4)具体如下：

步骤41)在空间上按照以下规则划分子集：将一个节点的邻域划分为3个子集，①节点本身；②比节点本身更靠近骨架中心的相邻节点集；③比节点本身更远离骨架中心的相邻节点集。

步骤42)在时间上使用时序卷积对时序边网络进行划分，最终得到空间划分与时间划分的笛卡尔积。

本发明相比现有技术，具有以下有益效果：

本发明方法首先检测视频中人体骨架关键点，得到骨架序列，并针对具有相同模式的特征进行特征融合，消除了特征中的冗余信息。又通过将获取的节点特征信息在时间和空间上构建点集和边集，形成时空图，并分别进行时间和空间的子集划分，得到两者结合的笛卡尔积，最大可能地保留了原视频中的特征信息。最后还结合图卷积神经网络(GCN)和时序卷积神经网络(TCN)对时空图进行训练，合并节点特征并使用线性分类层实现结果分类，保证了模型的稳定性与检测结果准确性，具体来说：

(1)本发明通过使用时空图卷积神经网络，与传统训练分类方法相比，能保留原视频更多特征，提高检测分类结果准确性。

(2)本发明采用contact特征融合，使得具有相同模式的特征能够被合并，能够有效避免特征冗余的问题。

附图说明

图1是基于时空图卷积神经网络与特征融合的人体动作检测方法流程。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

在具体实施中，一种基于时空图卷积神经网络与特征融合的人体动作分类方法，该方法首先输入一个经过姿态估计软件预处理过的人体骨架关键点信息数据集，得到骨架关键点的序列；接着选取模式相同的特征进行特征融合；与此同时使用每一帧中每一个人体骨骼的坐标表示骨架关键点序列，基于此构建一个时空图。其中，人体的关节关键点为图的节点集V，以骨架自然连接方式构建空间图，得到边集E_sp；身体结构的连通性和时间上的连通性为图的时序边集E_t，由以上点集与边集构成时空图；然后对时空图分别进行空间构型划分和时序划分，最终得到空间划分与时序划分的笛卡尔积；最后针对划分后的时空图进行卷积神经网络训练，这一过程中每一个卷积层的输出都是一个时空图，每个节点保有特征向量，最后合并所有节点的特征并使用线性分类层实现动作分类。本发明可以有效地保留原视频中的特征，具有良好的分类效果，具体如下：

首先，输入一个经过OpenPose姿态估计软件预处理过的人体骨架关键点信息数据集，利用OpenPose将人体关节如颈部、肩膀、膝盖、手腕等标注出来并连接成骨骼，从而实现姿态估计，此处只需要关注其输出，可由四维矩阵表示视频：A＝(F,T,N,M)，其中，F表示关节的特征，T表示关键帧数量，N表示关节点数量，M表示人数，即可得到骨架关键点的序列和特征。

接着，选取模式相同的特征，采用contact系列特征融合，通过增加通道数将特征直接进行连接。每个输出通道的卷积核独立，设两路输入通道分别为X₁,X₂,...,X_n和Y₁,Y₂,...,Y_n，则经过contact特征融合后的输出通道

*表示卷积，K表示卷积核。

与此同时，使用每一帧每一个人体骨骼的坐标表示骨架关键点序列，基于此构建一个时空图。令构建出的时空图为G＝(V,E)，所述V为节点集，E为边集。帧数为T，序列上所有关节节点集合表示为：

V＝{v_ti|t＝1...T,i＝1...N}

第i个节点在t时刻的特征F(v_it)由其坐标(x,y)以及置信度组成。而边集E＝{E_sp,E_t}，包含空间边集E_sp和时序边集E_t。每一帧中按照人体自然骨架连接关系构造空间图，空间边集表示为E_sp＝{(v_ti,v_tj)|i,j∈B}，所述B为骨架关节点的集合，v_ti，v_tj为同一帧中两关节节点。相邻帧之间将同一个节点按时序关系连成时序边，表示对应关键点的时序关系，时序边集表示为E_t＝{(v_ti,v_(t+1)i)|i∈B}，所述v_ti，v_(t+1)i为相邻帧的同一节点。

然后，对时空图分别进行空间构型划分和时序划分。在空间上按照以下规则划分子集：将一个节点的邻域划分为3个子集，①节点本身；②比节点本身更靠近骨架中心的相邻节点集；③比节点本身更远离骨架中心的相邻节点集。在时间上使用时序卷积对时序边网络进行划分，最终得到空间划分与时间划分的笛卡尔积。

最后，针对划分后的时空图进行卷积神经网络训练，这一过程中每一个卷积层的输出都是一个时空图，每个节点保有特征向量，最后合并所有节点的特征并使用线性分类层实现动作分类。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于时空图卷积神经网络与特征融合的人体动作分类方法，其特征在于采用时空图与特征融合，包括以下步骤：

步骤1)通过一个经过姿态估计软件预处理过的人体骨架关键点信息数据集，得到骨架关键点的序列；

步骤2)选取其中模式相同的特征进行特征融合；

步骤3)使用每一帧中每一个人体骨骼的坐标表示骨架关键点序列，基于此构建一个时空图；其中，人体的关节关键点为图的节点集V，以骨架自然连接方式构建空间图，得到空间边集E_sp；身体结构的连通性和时间上的连通性为图的时序边集E_t；由以上节点集与空间边集构成时空图；

2.根据权利要求1所述的一种基于时空图卷积神经网络与特征融合的人体动作分类方法，其特征在于，所述步骤1)中利用姿态估计软件将包括颈部、肩膀、膝盖、手腕在内的人体关节标注出来并连接成骨架，此处只关注其输出，由四维矩阵表示视频：A＝(F,T,N,M)，其中，A表示视频输出结果，F表示关节的特征，如关节节点的坐标(x,y)及其置信度，T表示关键帧数量，N表示关节点数量，M表示人数。

3.根据权利要求1所述的一种基于时空图卷积神经网络与特征融合的人体动作分类方法，其特征在于，所述步骤2)中采用特征融合，通过增加通道数将特征直接进行连接；每个输出通道的卷积核独立，设两路输入通道分别为X₁,X₂,...,X_n和Y₁,Y₂,...,Y_n，那么经过特征融合之后的输出通道表示为

所述*表示卷积，K表示卷积核。

4.根据权利要求1所述的一种基于时空图卷积神经网络与特征融合的人体动作分类方法，其特征在于，所述步骤3)具体如下：

步骤31)，令构建出的时空图为G＝(V,E)，所述V为节点集，E为边集，帧数为T，关节点数量为N，将节点以v表示，则视频序列上所有关节节点集合表示为：

V＝{v_ti|t＝1…T,i＝1…N}

第i个节点在t时刻的特征F(v_it)由其坐标(x,y)以及置信度组成；边集E分为两个子集：空间边集E_sp和时序边集E_t；

步骤32)，在每一帧中按照人体自然骨架连接关系构造空间图，空间边集表示为E_sp＝{(v_ti,v_tj)|i,j∈B}，B为骨架关节自然连接点的集合，v_ti，v_tj为同一帧中两关节节点，i、j表示人体骨架的两处自然连接；

步骤33)，相邻帧之间将同一个节点按时序关系连成时序边，表示对应关键节点的时序关系，时序边集表示为E_t＝{(v_ti,v_(t+1)i)|i∈B}，B为骨架关节点的集合，v_ti，v_(t+1)i为相邻帧的同一节点。

5.根据权利要求1所述的一种基于时空图卷积神经网络与特征融合的人体动作分类方法，其特征在于，所述步骤4)具体如下：

步骤41)，在空间上按照以下规则划分子集：将一个节点的邻域划分为3个子集：①节点本身；②比节点本身更靠近骨架中心的相邻节点集；③比节点本身更远离骨架中心的相邻节点集；

步骤42)，在时间上使用时序卷积对时序边网络进行划分，最终得到空间划分与时间划分的笛卡尔积。