CN109446927A

CN109446927A - 基于先验知识的双人交互行为识别方法

Info

Publication number: CN109446927A
Application number: CN201811181408.8A
Authority: CN
Inventors: 谢雪梅; 陈建宇; 石光明; 李佳楠; 金楷
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2018-10-11
Filing date: 2018-10-11
Publication date: 2019-03-08
Anticipated expiration: 2038-10-11
Also published as: CN109446927B

Abstract

本发明公开了一种基于先验知识的双人交互行为识别方法，主要解决现有技术对于双人交互行为不能准确识别的问题。其实现方案是：1.准备基础行为识别网络ST‑GCN网络结构文件及相关文件；2.由每类交互动作建立先验知识连接关系,依照先验知识的连接关系修改网络结构文件和训练参数文件；3.利用修改后的文件对双人交互行为识别网络进行训练，得到训练好的模型；4.利用训练好的模型可以对已有数据、Kinect提取的数据或者openpose采集的数据进行识别。本发明的提高了双人交互行为的识别准确率，且适应性强，实时性好，可用于视频监控，视频分析。

Description

基于先验知识的双人交互行为识别方法

技术领域

本发明属于模式识别技术领域，主要涉及双人交互行为的识别，可用于视频中双人动作的分类和检测。

背景技术

目前，基于深度学习的行为识别方法有很快的发展，但是对于双人交互有一定的局限性。不同于人在观察动作时直接关注到最重要的部位上，一般的方法将每个人单独分析后进行识别，复杂且包括了大量的冗余信息。这使得引入人类先验知识来指导双人交互行为识别非常有必要。

行为识别是视频分析、检测领域很重要的一个问题，有巨大的应用前景。人体骨架数据在行为识别中有很大的优势，可以不受环境、视角和外貌等信息的干扰，所以近年来被应用的越来越广泛。目前深度学习在骨架数据上处理的双人交互识别方法主要包括长短期记忆网络LSTM方法、卷积神经网络CNN方法、图卷积网络GCN方法等。其中：

LSTM方法是将骨骼数据转化为一维向量处理，破坏了原本的空间结构，使得双人甚至单人行为识别的精度不够。

CNN方法虽具有强大的特征提取能力，在行为识别问题上准确率有所提升，但同样需要固定大小的卷积核遍历处理，不能有效的提取关键特征，计算复杂度较大，在处理双人任务时仍不满足精度要求。

GCN方法是将CNN扩展到一般图结构上，使得对数据处理和特征提取更加自由和灵活，骨架数据的组成包括骨架点和连接关系，属于图结构，GCN在处理骨架序列时一般是按照人体天然的骨架关系连接的，计算复杂度低且在单人行为识别上有很好的准确率，但双人交互任务需要关注到最主要的两人部位上，不需要太多单人信息，所以并不十分适用于双人交互行为识别，造成在双人交互行为识别上精度低的不足。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于先验知识引导的双人交互行为识别方法，以通过将先验知识嵌入到GCN中，引导GCN的学习，直接提取与交互运动最相关部位间的关系特征，减少大量冗余信息，进一步降低计算复杂度,提高双人交互任务识别的精度。

本发明的技术方案是这样实现的：

一.技术原理

本发明借鉴了人类在关注双人交互动作时思考的方法，人类依靠两人运动部位的交互做出判断，比如握手是两人手与手的相对运动表现的，同样网络也需要关注到这些部位上。首先依据经验设计每类动作的骨架点连接方式，将所有的连接存储到矩阵中作为先验知识。然后根据GCN的操作方法，将先验知识作为邻接矩阵构建骨架点的连接，进而指导网络直接学习与运动最相关部位的信息，减少了大量冗余信息，可以实现低计算量、准确的识别。

二.实现方案

根据上述原理本发明的实现步骤包括如下：

1)构建基于知识的双人交互行为识别网络：

1a)从github网站上下载行为识别网络ST-GCN的结构文件、参数设置文件、数据集代码以及训练代码；从SBU网站上下载数据集骨骼序列；

1b)在linux系统下搭建Anaconda3.5以上的环境，安装pytorch0.4以上的深度学习实验框架；

1c)根据双人交互行为涉及两人关键部位的相对运动和数据集中每类动作骨骼点间交互的特点，设定两人参与交互的部位，建立这些部位骨骼点的连接，这些连接组成集合E作为先验知识，然后依照先验知识E在行为识别网络ST-GCN结构文件中添加新的连接方式，并结合GCN操作直接提取两人关键部位骨骼点间的特征并分类，得到基于先验知识的双人交互行为识别网络；

2)处理数据开始训练：

2a)将1a)中下载得到的SBU双人交互数据集骨骼序列放到Dataset/SBUskeleton文件夹下，修改并运行数据集代码，统一骨骼序列数据格式，得到训练集的npy格式文件、验证集的npy格式文件、训练标签的pkl格式文件和测试标签的pkl格式文件，并存放在Dataset/SBU文件夹下以备训练和测试使用；

2b)修改1a)中下载的参数配置文件设置训练过程；

2c)在pytorch深度学习框架下运行训练代码，用npy格式的训练集和pkl格式的训练标签对1c)中搭建好的网络多次训练，产生多个训练模型，同时利用npy格式的测试集和pkl格式的测试标签比较这多个模型对未知样本的识别性能，选择在测试集上识别准确率最高的模型作为最终训练好的模型：

3)利用最终训练好的模型进行双人交互行为识别：

3a)从SBU测试数据集中选取单个骨骼序列，或者利用Kinect深度相机采集双人交互的骨骼序列，或者利用openpose软件从其他来源的双人交互RBG视频中提取骨骼序列，再通过2a)中修改的数据集代码将骨骼序列处理为可输入到模型的npy文件；

3b)将3a)中得到的双人交互骨骼序列的npy文件输入到训练好的模型，判断输入数据属于每类的概率，概率最高的即为所属类别。

本发明与现有技术相比具有以下优点：

1.适应性强：

现有的双人交互方法在骨骼序列上处理时不能很好的提取有效特征，需要整合大量信息，受到数据集大小和形式的限制。本发明采用的方法利用先验知识直接建立骨骼序列上相应关键点的连接，可用于不同情况的训练集，适应性强；

2.识别效果好：

本发明采用的引入先验知识的方法使网络直接关注到相关部位上，提取的特征包含了最关键的信息，减少了大量冗余信息，识别效果较其他方法有了很大的提升；

3.计算量小：

本发明由于采用的是骨骼序列识别方法，运算量小，在实际使用时有很低的功耗。

附图说明

图1为本发明的实现流程图；

图2为本发明中构建的双人交互行为识别网络结构图；

图3为本发明中基于知识的骨骼连接关系示例图；

图4为本发明中双人骨骼点的序号图。

具体实施方式

下面结合附图和实例对本发明进行详细说明。

参照图1，本发明的实现步骤如下：

步骤1，准备行为识别网络ST-GCN网络结构文件及相关文件。

1a)从github网站上下载行为识别网络ST-GCN的有关文件，其包括：结构文件graph.py、tgcn.py和st_gcn.py,参数设置文件train.yaml和test.yaml，生成数据集和数据标签的代码文件ntu_gendata.py、训练代码文件processor.py、recognition.py和io.py,可视化参数设置文件demo.yaml，可视化代码文件demo.py；

1b)从SBU网站上下载双人交互行为数据集，该SBU数据集中有282个交互动作数据，包括8类双人交互动作，类别为：“握手”、“递物”、“靠近”、“远离”、“拥抱”、“踢”、“打”和“推”，其形式包含RBG数据、深度数据和骨骼序列，本实例只用到骨骼序列；

1c)在linux系统下搭建Anaconda3.5以上的开发环境，安装pytorch0.4以上的深度学习框架，并启动GPU加速。

步骤2，设定SBU数据集中8类交互动作关注的部位并建立连接，所有动作的连接组成集合E作为先验知识。

2a)设定SBU数据集中8类交互动作关注的部位并建立连接：

参照图3，本步骤的具体实现是：

将两人的手作为“握手”和“递物”这两类动作的关注部位；

将两人的躯干作为“靠近”和“远离”这两类动作的关注部位；

将两人双手与躯干作为“拥抱”这一动作关注的部位；

将两人的脚与躯干作为“踢”这一动作关注的部位；

将两人的手与头设定为“打”这一动作关注的部位；

2b)对双人30个骨骼点进行标号，即将1到15标为第一个人的骨骼点，用i表示，将16到30标为第二个人的骨架点，用j表示，如图4所示；

2c)将每类动作关注部位的骨骼点建立连接，且用(i,j)表示第i点和第j点有连接；再将所有动作的连接组成集合E，用该集合E作为先验知识，集合E包含的所有连接，如表1所示；

表1集合E包含的所有连接

双人交互行为类别	骨骼点间连接关系
		握手	(6,21),(9,24),(6,24),(9,21)
递物	(6,21),(9,24),(6,24),(9,21)
		靠近	(3,18)
远离	(3,18)
		拥抱	(6,18),(9,18),(3,21),(3,24)
踢	(12,18),(15,18),(3,27),(3,30)
		打	(6,16),(9,16),(1,21),(1,24)
推	(6,22),(9,19),(4,24),(7,21)

步骤3，根据先验知识E的连接关系执行图卷积GCN操作提取特征。

3a)将先验知识E中的全部连接以二值矩阵A的形式存储，A的大小为30*30，矩阵的行和列表示30个骨骼点序号，将骨骼点间有连接的位置值设为1，无连接的位置值为0；

3b)进行图卷积GCN操作提取图结构信息的特征：

图结构由点和点之间的连接关系构成，本实例通过30个骨骼点特征f_in和二值矩阵A中的连接关系构成双人骨骼交互图结构；

用GCN操作整合双人骨骼交互图结构中的信息，得到输出特征：

f_out＝A*f_in*w，

其中A*f_in用于实现基于先验知识对30个骨架点的选取，w表示1*1的卷积核来提取特征。

步骤4，修改训练所需文件。

参照图2，本步骤的具体实现如下：

4a)在行为识别网络ST-GCN中加入先验知识E，得到基于先验知识的双人交互行为识别网络结构，

4a1)打开结构文件graph.py，该文件包括有“openpose”、“ntu-rgb+d”和“ntu_edge”这三种骨骼点间的连接关系集合，按照步骤2中设计的连接关系集合E，将“ntu_edge”中的连接关系更改为先验知识E中的连接关系，重新命名为“sbu_edge_2r”，表示双人骨骼基于先验知识的连接；

4a2)打开进行卷积操作的文件st_gcn.py，该文件包含9层空间卷积操作S和时间卷积操作T，其中空间卷积操作S是利用3b)的操作提取空间特征，时间卷积操作T是利用固定长度的时间卷积核提取时间特征，本实例设置时间卷积核长度temporal_kernel_size为5；

4b)打开生成数据集和数据标签的代码文件ntu_gendata.py，进行修改：

将测试集修改为{'s04s02','s04s03','s04s06','s06s02','s06s03'}；

将骨骼数目num_joint修改为30；

将训练集路径修改为Dataset/SBU/train.npy；

将训练标签路径修改为Dataset/SBU/train_label.pkl；

将测试集路径修改为Dataset/SBU/test.npy；

将测试标签路径修改为Dataset/SBU/test_label.pkl；

4c)打开设置训练参数的文件train.yaml，进行修改：

将工作目录work_dir修改为./SBU；

将输出类别数目num_class修改为8；

将连接关系layout修改为“sbu_edge_2r”；

将优化参数weight_decay修改为0.03；

将初始学习率base_lr修改为0.01；

将数据集batch_size修设为64；

将总的迭代次数num_epoch修改为4000。

步骤5，生成训练集和测试集并开始训练和测试，得到最终模型。

5a)将1b)中下载的数据集骨骼序列放到路径Dataset/SBUskeleton下，在该路径下运行4b)中修改后的代码文件ntu_gendata.py，打开终端输入命令python ntu_gendata.py，得到训练集、训练标签、测试集和测试标签；

5b)在pytorch框架下对基于先验知识的双人交互行为识别网络进行训练，在路径st-gcn-master/下打开linux系统终端，向终端输入命令python main.py recognition-cconfig/st_gcn/kinetics-skeleton/train.yaml开始训练，训练完成后得到多个训练模型；

5c)打开终端，在终端中将目录从当前位置切换到main.py文件所在位置,分别载入每个模型，输入开始测试的指令，得到每个模型在npy格式的测试集上的分类结果，将每个模型在测试集上的分类结果与pkl格式的测试标签进行比较，得到每个模型在测试集上的准确率，选取准确率最高的为最终模型，存储路径为model/SBU/best.pt；

步骤6，利用最终训练好的模型进行双人交互行为识别。

6a)从SBU测试数据集中选取单个骨骼序列，或者利用Kinect深度相机采集双人交互的骨骼序列，或者利用openpose软件从其他来源的双人交互RBG视频中提取骨骼序列，本实例采用的是从SBU测试数据集中选取单个骨骼序列；再使用4b)中修改的数据集代码处理该骨骼序列，得到npy格式的双人交互样例；

6b)利用训练好的最终模型对6a)中得到的npy格式的双人交互样例进行识别，将demo.yaml文件中的模型文件路径修改为model/SBU/best.pt，类别数目修改为8，打开终端并输入命令python main.py demo，得到输入数据的类别。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.基于先验知识的双人交互行为识别方法，包括：

1)构建知识引导的双人交互行为识别网络：

1c)根据双人交互行为涉及两人关键部位的相对运动的特点，设定两人参与交互的部位，建立这些部位骨骼点的连接，这些连接组成集合E作为先验知识，然后依照先验知识E在行为识别网络ST-GCN结构文件中添加新的连接方式，并结合GCN操作直接提取两人关键部位骨骼点间的特征并分类，得到基于先验知识的双人交互行为识别网络；

2)处理数据开始训练：

2b)修改1a)中下载的参数配置文件设置训练过程；

3)利用最终训练好的模型进行双人交互行为识别：

2.根据权利要求1所述的方法，其中步骤1c)中设定两人参与交互的部位，建立这些部位骨骼点的连接，这些连接组成集合E作为先验知识，按如下步骤进行：

1c1)设定SBU数据集中8类交互动作关注的部位：

将两人的手作为“握手”和“递物”这两类动作的关注部位，将两人的躯干作为“靠近”和“远离”这两类动作的关注部位，将两人双手与躯干作为“拥抱”这一动作关注的部位，将两人的脚与躯干作为“踢”这一动作关注的部位，将两人的手与头设定为“打”这一动作关注的部位；

1c2)对双人30个骨骼点进行标号，即将1到15标为第一个人的骨骼点，用i表示，将16到30标为第二个人的骨架点，用j表示；再将每类动作关注部位的骨骼点建立连接，用(i,j)表示i点和j点有连接；最后将所有动作的连接方式组成集合E，用该集合E作为先验知识。

3.根据权利要求1所述的方法，其中步骤1c)中依照先验知识E在行为识别网络ST-GCN结构文件中添加新的连接方式，其实现如下：

1c3)打开结构文件，该文件包括有“openpose”、“ntu-rgb+d”和“ntu_edge”这三种骨骼点间的连接关系集合；

1c4)将连接关系集合“ntu_edge”中的全部连接更改为先验知识集合E中的全部连接，并重新命名为“sbu_edge_2r”，表示双人骨骼基于先验知识的连接关系。

4.根据权利要求1所述的方法，其中步骤2c)中利用npy格式的测试集和pkl格式的测试标签比较这多个模型对未知样本的识别性能，其实现如下：

2c1)打开linux系统终端；

2c2)在终端中将目录从当前位置切换到main.py文件所在位置,分别载入每个模型，输入开始测试的指令，得到每个模型在npy格式的测试集上的分类结果；

2c3)将每个模型在测试集上的分类结果与pkl格式的测试标签进行比较，得到每个模型在测试集上的准确率，选取准确率最高的为最终模型。