CN110059620B - 基于时空注意力的骨骼行为识别方法 - Google Patents

Abstract

本发明公开了一种基于时空注意力的骨骼行为识别方法，包括以下步骤：S1：将获取的行为识别数据集进行预处理；S2：建立ST‑GCN网络和注意力单元，把注意力单元嵌入到ST‑GCN网络卷积层后面进行总体网络的搭建；S3：用训练集训练网络，优化参数，得到基于时空注意力的骨骼行为识别网络；S4：把测试集输入到步骤S3得到的网络进行预测，给出对应的动作类别。本发明提供一种带有注意力机制的图卷积行为识别方法，能够在图卷积行为识别方法的基础上进一步提高动作识别的准确率，在骨骼数据集上具有通用性，有广阔的应用前景。

Description

基于时空注意力的骨骼行为识别方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于时空注意力的骨骼行为识别方法。

背景技术

行为识别是计算机视觉领域的一个重要课题，其在行为检测、视频监控等领域都有着广泛的应用价值。人体行为识别的目标是从一个未知的视频或者是图像序列中自动分析其中正在进行的行为。简单的行为识别即动作分类，给定一段视频，只需将其正确分类到已知的几个动作类别。

近年来深度学习在图像领域取得了巨大的进步，同时也带动了视频领域的发展。基于深度学习的行为识别方法主要有基于LSTM的方法、基于CNN的方法、基于3D卷积的方法和基于骨骼数据集发展起来的图卷积方法。相对于RGB图像，骨骼数据集对光照、颜色等具有很强的鲁棒性，可以表达动作的大部分特征等优点，所以现在越来越多的研究人员基于骨骼来研究行为识别。但是之前的基于LSTM的方法、基于CNN的方法和基于3D卷积的方法不能很好地捕捉骨骼之间的空间结构，不能充分利用骨骼数据集的优点。基于图卷积的方法考虑到了图的拓扑结构，可以很好的建模骨骼数据集，再加上图卷积的计算效率比较高，基于图卷积的方法是接下来行为识别研究的热点。

目前基于图卷积的行为识别方法没有考虑到不同节点以及不同帧的重要性，动作识别的准确率低，因此亟需提供一种新型的基于图卷积的行为识别方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于时空注意力的骨骼行为识别方法，能够在图卷积行为识别方法的基础上进一步提高动作识别的准确率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于时空注意力的骨骼行为识别方法，包括以下步骤：

S1：将获取的行为识别数据集进行预处理；

S2：建立ST-GCN网络和注意力单元，把注意力单元嵌入到ST-GCN网络卷积层后面进行总体网络的搭建；

S3：用训练集训练网络，优化参数，得到基于时空注意力的骨骼行为识别网络；

S4：把测试集输入到步骤S3得到的网络进行预测，给出对应的动作类别。

在本发明一个较佳实施例中，步骤S1的具体步骤包括：

S1.1：对获取的行为识别数据集中的骨骼关节点进行标号；

S1.2：按照人体构造，确定骨骼关节点之间边的连接；

S1.3：指定骨骼图中脊柱的中点为重心点，由此确定相邻骨骼关节点之间的向心性和离心性；

S1.4：对每个骨骼关节点的邻域按照中心点、向心点和离心点分成三组，确定邻接矩阵A；

S1.5：对输入数据进行数据增强。

进一步的，步骤S2的具体步骤包括：

S2.1：构建一个图卷积神经网络

其中，X为输入数据，A为步骤S1.4确定的邻接矩阵，y为图卷积神经网络的输出；

S2.2：构建一个时间卷积网络，将图卷积神经网络和时间卷积网络串联起来形成ST-GCN基本块，并在ST-GCN基本块的输出后面引入残差连接结构；

S2.3：构建注意力单元模块，分别实现对时间和空间的注意力；

S2.4：把注意力单元模块嵌入到时间卷积网络和残差连接之间。

更进一步的，步骤S2.3的具体步骤包括：

对于图卷积神经网络的输出y，先对时间通道进行全局池化操作，之后进行两个全连接操作，在这两个全连接操作之间加上relu激活函数，最后采用sigmoid函数把输出归一化到0和1之间，得到时间重要性的权重，与y逐元素相乘，可实现对时间的注意力；

对于节点通道采用相似的操作，可实现对节点的注意力，即空间的注意力。

在本发明一个较佳实施例中，步骤S3的具体步骤包括：

S3.1：选择交叉熵为损失函数，以top1、top5衡量准确率，附加动量的随机梯度下降为优化函数；

S3.2：权重初始化，加载数据、模型、优化器，进行端到端的训练。

本发明的有益效果是：本发明提供一种带有注意力机制的图卷积行为识别方法，能够检测到哪些节点和帧对某类动作是重要的，即可以关注重要信息并忽略次要信息的影响，实现对时间和空间的注意力，从而能够在图卷积行为识别方法的基础上进一步提高动作识别的准确率，在基于骨骼数据集的行为识别上具有通用性，有广阔的应用前景。

附图说明

图1是本发明基于时空注意力骨骼行为识别方法的流程图；

图2是建立所述注意力单元模块的流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于时空注意力的骨骼行为识别方法，包括以下步骤：

S1：将获取的行为识别数据集进行预处理，优选的，使用NTU-RGB+D数据集作为行为识别数据集，该数据集提供了3D的骨骼坐标，包括交叉视角和交叉主体两个基准；具体步骤包括：

S1.1：采用数字0—24对获取的行为识别数据集中的骨骼关节点进行标号；

S1.2：按照人体构造，确定骨骼关节点之间边的连接；

S1.3：指定骨骼图中脊柱的中点为重心点，由此确定相邻骨骼关节点之间的向心性和离心性；

S1.4：对每个骨骼关节点的邻域按照中心点、向心点和离心点分成三组，确定邻接矩阵A，其中，邻接矩阵中相邻的节点值为1，否则为0；

S1.5：对数据集进行数据增强以提高整个网络的泛化性能，如随机选择输入序列的一部分，对输入序列执行随机但连续更改的转换等。

S2：建立ST-GCN网络(时空图卷积网络)和注意力单元，把注意力单元嵌入到ST-GCN网络卷积层后面进行总体网络的搭建；具体步骤包括：

S2.1：构建一个图卷积神经网络

其中，X为输入数据，A为步骤S1.4确定的邻接矩阵，y为图卷积神经网络的输出；

优选的，所述图卷积神经网络的卷积核大小为1*1；

S2.2：构建一个时间卷积网络，将图卷积神经网络和时间卷积网络串联起来形成ST-GCN基本块，并在ST-GCN基本块的输出后面引入残差连接结构；

最终使用的总体网络结构总共有9层ST-GCN，基本设置为64*64*1、64*64*1、64*64*1、64*128*2、128*128*1、128*128*1、128*256*2、256*256*1、256*256*1，其中第一位数代表输入通道，第二位数代表输出通道，第三位数代表步长；

S2.3：构建注意力单元模块，分别实现对时间和空间的注意力，对于一个特定的动作，网络能学到哪个关节点和视频里的哪帧对于该动作的判别是更重要的；

所述注意力单元模块的基本构造为对于时空图卷积神经网络(ST-GCN)的输出y，先对时间通道进行全局池化操作，之后进行两个全连接操作，在这两个全连接操作之间加上relu激活函数(f(x)＝max(0，x))，最后采用sigmoid函数(f(x)＝1/(1+exp(-x)))把输出归一化到0和1之间，得到时间重要性的权重，与y逐元素相乘，可实现对时间的注意力；对于节点通道采用相似的操作，可实现对节点的注意力，即空间的注意力。

具体的，结合图2，输入数据y的维度为N*T*C*V(N代表样本个数，T代表帧数，C代表通道数，V代表节点数)，对于时间注意力网络，对C*V进行全局池化，维度变为N*T*1*1，然后用一个全连接进行压缩操作，维度变为N*T/ratio*1*1，relu函数激活后再经过一个全连接进行伸展操作，维度又变为N*T*1*1，其中ratio设置为3，然后经过sigmoid函数映射到0—1之间，得到时间的重要性权重，最后经过一个广播操作，维度变为N*T*C*V，再与原输入做哈达玛积；对于节点注意力网络，先把y的维度顺序进行交换，变为N*V*T*C，再对T*C进行全局池化，维度变为N*V*1*1，后面的步骤类比时间注意力网络，最后再把输出的维度变回为与原始维度一样的格式。在本实施例中，时间注意力网络和节点注意力网络是串联的。

S2.4：把注意力单元模块嵌入到时间卷积网络和残差连接之间。

S3：用训练集训练网络，优化参数，得到基于时空注意力的骨骼行为识别网络；具体步骤包括：

S3.1：选择交叉熵为损失函数，以top1(预测结果中概率最大的那个分类正确，则预测正确，否则预测错误)、top5(预测结果中概率向量最大的前五个中，只要出现了正确的类别即为预测正确，否则预测错误)衡量准确率，附加动量的随机梯度下降为优化函数，具体设计为起始的学习率为0.1，动量设置为0.9，总共80个周期(epoch)，至第10个周期学习率降为0.01，至第50个epoch学习率降为0.001，训练的样本批量大小(batch size)为10。

S3.2：权重初始化，加载数据、模型、优化器，进行端到端的训练；参数初始化时选择均值为0、方差为0.02的随机初始化。

S4：把测试集输入到步骤S3得到的网络进行预测，给出对应的动作类别，测试的batch size为10。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于时空注意力的骨骼行为识别方法，包括以下步骤：

S1：将获取的行为识别数据集进行预处理；

S2：建立ST-GCN网络和注意力单元，把注意力单元嵌入到ST-GCN网络卷积层后面进行总体网络的搭建；具体步骤包括：

S2.1：构建一个图卷积神经网络

其中，X为输入数据，A为步骤S1.4确定的邻接矩阵，y为图卷积神经网络的输出；

S2.2：构建一个时间卷积网络，将图卷积神经网络和时间卷积网络串联起来形成ST-GCN基本块，并在ST-GCN基本块的输出后面引入残差连接结构；

S2.3：构建注意力单元模块，分别实现对时间和空间的注意力；具体步骤包括：

对于图卷积神经网络的输出y，先对时间通道进行全局池化操作，之后进行两个全连接操作，在这两个全连接操作之间加上relu激活函数，最后采用sigmoid函数把输出归一化到0和1之间，得到时间重要性的权重，与y逐元素相乘，可实现对时间的注意力；

对于节点通道采用相似的操作，可实现对节点的注意力，即空间的注意力；

S2.4：把注意力单元模块嵌入到时间卷积网络和残差连接之间；

S3：用训练集训练网络，优化参数，得到基于时空注意力的骨骼行为识别网络；

S4：把测试集输入到步骤S3得到的网络进行预测，给出对应的动作类别。

2.根据权利要求1所述的基于时空注意力的骨骼行为识别方法，其特征在于，步骤S1的具体步骤包括：

S1.1：对获取的行为识别数据集中的骨骼关节点进行标号；

S1.2：按照人体构造，确定骨骼关节点之间边的连接；

S1.3：指定骨骼图中脊柱的中点为重心点，由此确定相邻骨骼关节点之间的向心性和离心性；

S1.4：对每个骨骼关节点的邻域按照中心点、向心点和离心点分成三组，确定邻接矩阵A；

S1.5：对数据集进行数据增强。

3.根据权利要求1所述的基于时空注意力的骨骼行为识别方法，其特征在于，步骤S3的具体步骤包括：

S3.1：选择交叉熵为损失函数，以top1、top5衡量准确率，附加动量的随机梯度下降为优化函数；

S3.2：权重初始化，加载数据、模型、优化器，进行端到端的训练。

Images