CN110889335A - 基于多通道时空融合网络人体骨架双人交互行为识别方法 - Google Patents

Abstract

本发明一种基于多通道时空融合网络人体骨架双人交互行为识别方法，属于人工智能及深度学习领域，旨在解决人体骨架双人交互行为识别结果精度不高的问题。本发明构建双人交互行为骨架序列的视角不变性双人关联骨架描述方法；设计时空融合网络学习双人骨架的时空融合特征表示；采用多通道融合网络结构获取多组时空融合特征，利用融合特征分类，获得骨架序列的行为类别。本发明双人骨架描述方法可获得骨架的多组视角不变性双人关联特征表示；时空融合网络可以学习序列的时空关联特征，多通道融合网络结构可得到多组时空融合特征，提高双人交互行为识别准确率。该方法在基于人体骨架的双人交互行为识别获得较高的准确率。

Description

基于多通道时空融合网络人体骨架双人交互行为识别方法

技术领域

本发明属于计算机视觉及深度学习领域，特别涉及了一种基于多通道时空融合网络人体骨架双人交互行为识别方法。

背景技术

人体行为识别在视频大数据分析，公共安全，人机交互等领域具有重要意义。根据人体行为活动中执行动作的个体数量不同，可分为单个行为人的单人行为识别、两个行为人构成的交互行为识别、多个行为人构成的群体行为识别。双人交互行为包含的两个行为人之间相互关联，两人交互产生了有意义的行为，如“握手”“传球”“互相拍打”等。双人交互行为经常出现在我们的日常生活中，对于交互行为识别具有较高的实用价值和广阔的应用前景。

人体行为识别方法主要分为两类，一类是基于传统特征提取的方法，另一类是基于深度学习的方法。该领域存在的主要问题有：

(1)基于自然场景的人体行为识别受光照、物体遮挡等因素的影响；

(2)基于骨架的人体行为识别对双人行为识别关注较少，主要为单人行为识别；

(3)当前人体行为识别方法很少考虑摄像头位置变化对识别结果的影响。

上述三个原因造成当前双人交互人体行为识别准确率较低。

发明内容

为了解决现有技术中双人交互人体行为识别准确率不高的问题，本发明提出了基于多通道时空融合网络人体骨架双人交互行为识别方法。

本发明采用的技术方案如下：

一种基于多通道时空融合网络人体骨架双人交互行为识别方法，包括以下步骤：

步骤1，提出双人相关视角不变性骨架特征描述方法；

步骤2，设计一维卷积神经网络和双向长短时记忆网络的空间特征学习模型，获取待识别特征序列的空间关联信息；

步骤3，设计时域的长短时记忆网络学习交互序列的时间关联特征；

步骤4，设计权值共享四通道时空融合网络，分别学习各组交互特征。

进一步地，步骤1中对待识别骨架序列的每一帧图，根据人体解剖学结构，计算单人骨架距离特征和双人相关骨架距离特征得到视角不变性双人交互特征描述：

步骤1.1计算单人骨架特征，设行为参与人P₁，P₂骨架脊柱中心点为各自中心点O₁,O₂，参与人P₁中心点O₁到该人所有骨架点的距离形成骨架距离特征d_i1，参与人P₂中心点O₂到该人所有骨架点的距离形成骨架距离特征d_i2。采用欧式距离计算d_i1，d_i2，式(1)。

步骤1.2计算双人关联的骨架特征，以O₁，O₂中点为双人中心点O_c，分别计算单独两人P₁，P₂所有骨架点到双人中心点O_c的距离，式(2)。得到双人关联的距离特征dc_i1，dc_i2。

步骤1.3计算整个行为序列的骨架特征，得到四组骨架距离特征序列D₁，D₂，Dc₁，Dc₂，式(3)。

步骤1.4对所述骨架序列的每一帧中的每种特征归一化处理，将所有序列通过补齐、截短设为定长T。设原始序列长度L，如果L＞T时，采用随机抽样的方法去掉若干帧使序列长度为T。当L＜T时，采用在首帧和尾帧补齐的方法插入若干帧。使序列长度为T。

进一步地，步骤2具体步骤如下：

步骤2.1空间特征网络学习t,t∈(1,...T)时刻的骨架空间关系特征。为保持序列的时序性，采用空间域的一维卷积神经网络(1D CNN)对骨架序列滤波；采用M个一维滤波器ω对长度为T，维度为N的序列F滤波，一维最大池化层提取邻域内的最大特征，并将最初的维度降到(T,P)。经过滤波处理后，得到尺度为(T,P)的M个特征图f_m，式(4)。

f_m＝σ(ω_(1,l)*F+b),m＝(1,2,...,M) (4)

步骤2.2采用双向长短时记忆网络(Bi-LSTM)学习特征图f_m上空间各节点之间的关联性；Bi-LSTM网络是一种双向的LSTM网络，由前向LSTM和后向LSTM组合而成，式(5)、(6)。点i，i∈(1,...,P)在特征图(1,...,M)上的值构成特征向量

维度为M。将

作为Bi-LSTM网络的输入，输出为t时刻节点关联性的空间特征表示fsr(t)，式(6)。

进一步地，步骤4具体步骤如下：

步骤4.1设计四个相同的时空融合特征网络通道分别处理四组特征，将四组时间关联特征融合。将四组序列D₁，D₂，D_c1，D_c2分别输入到上述时空特征融合网络模型，设该模型实现的函数功能为F_SPT，四个分支结构相同，权值共享，式(7)。将输出结果融合到一起形成多分支融合特征f_fusion，式(8)。

f_fusion＝[fsr_d1,fsr_d2,fsr_dc1,fsr_dc2] (8)

步骤4.2进行神经网络的全连接操作，设置全连接的结点个数为要判定的行为类别数。利用全连接网络学习融合特征，分类交互行为，式(9)。

L＝softmax(W*f_fusion) (9)。

本发明具有如下有益效果及优点：

(1)本发明采用双人相关视角不变性骨架特征描述方法能够更准确地表示双人骨架关联特征和视角不变性特征，使总体算法具有视角不变性，进而提高交互行为识别准确率。

(2)本发明设计一维卷积神经网络和双向长短时记忆网络空间特征学习模型，能够提取特征序列的空间关联信息，使序列特征描述更全面、更详细，进而提高双人交互行为识别准确率。

(3)本发明采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征，各通道之间权值共享，利用融合特征识别交互行为，进而提高双人交互行为识别准确率。

本发明实现了双人交互行为的智能化识别，使双人交互行为识别准确率更高。该方法是一种智能的、具有视角不变性的、有效的双人交互行为识别方法，使得针对交互双人的行为识别更加准确，高效。

附图说明

图1是本发明中的双人关联骨架视角不变性特征提取方法示意图。

图2是本发明中的空间特征学习模型。

图3是本发明中的多通道时空融合网络模型。

具体实施方式

为了进一步说明本发明，下面结合附图及实施例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。

实施例：如图1-图3；一种基于多通道时空融合网络人体骨架双人交互行为识别方法，实现步骤如下：

步骤1，提出双人相关视角不变性骨架特征描述方法，如图1双人关联骨架视角不变性特征表示；

(1.1)利用三组深度相机分别在三个固定角度采集多个参与人的多组双人交互骨架视频帧作为待识别骨架序列；将采集到的骨架序列按照3:1的比例分成测试样本和训练样本。

(1.2)对所有骨架序列中的每一帧图，计算单人骨架特征，设行为参与人P₁，P₂骨架脊柱中心点为各自中心点O₁,O₂，参与人P₁中心点O₁到该人所有骨架点的距离形成骨架距离特征d_i1，参与人P₂中心点O₂到该人所有骨架点的距离形成骨架距离特征d_i2，采用欧式距离计算d_i1，d_i2，式(1)。

(1.3)对所有骨架序列中的每一帧图，计算双人关联的骨架特征，以O₁，O₂中点为双人中心点O_c，分别计算单独两人P₁，P₂所有骨架点到双人中心点O_c的距离，式(2)。得到双人关联的距离特征dc_i1，dc_i2。

(1.4)对于所有骨架序列，计算整个行为序列的骨架特征，得到四组骨架距离特征序列D₁，D₂，Dc₁，Dc₂，式(3)。

(1.5)对待识别骨架特征序列进行归一化处理。根据序列长度对其进行补齐、截短、等操作，得到长度为T帧的四组骨架序列，D₁，D₂，D_c1，D_c2。设原始序列长度L，如果L＞T时，采用随机抽样的方法去掉若干帧使序列长度为T。当L＜T时，在首帧和尾帧插入若干帧，使序列长度为T。

步骤2，设计一维卷积神经网络和双向长短时记忆网络的空间特征学习模型，获取待识别特征序列的空间关联信息，如图2所示为空间特征学习模型；

(2.1)空间特征网络学习t,t∈(1,...T)时刻的骨架空间关系特征。为保持序列的时序性，采用空间域的一维卷积神经网络(1D CNN)对骨架序列滤波；采用M个一维滤波器ω对长度为T，维度为N的序列F滤波，一维最大池化层提取邻域内的最大特征，并将最初的维度降到(T,P)。经过滤波处理后，得到尺度为(T,P)的M个特征图f_m，式(4)。

f_m＝σ(ω_(1,l)*F+b),m＝(1,2,...,M) (4)

(2.2)双向长短时记忆网络(Bi-LSTM)学习特征图f_m上空间各节点之间的关联性；LSTM网络定义如式(5)，包含输入门i_t、输出门o_t、遗忘门f_t和记忆门c_t，式(6)前向LSTM和后向LSTM组成BiLSTM网络。设点i，i∈(1,...,P)在特征图(1,...,M)上的值组成特征向量维度为M。将

作为Bi-LSTM网络的输入，输出为t时刻节点关联性的空间特征表示fsr(t)，式(6)。

步骤3，设计时域的长短时记忆网络学习交互序列的时间关联特征；采用两层LSTM结构，隐含层参数分别为64，64。将学习得到空间关联性特征f_sr(t)输入时域长短时记忆网络学习交互序列的时间关联特征fsr。

步骤4，设计权值共享四通道时空融合网络，分别学习各组交互特征，如图3所示。将四组序列D₁，D₂，D_c1，D_c2分别输入到上述时空特征融合网络模型，设该模型实现的函数功能为F_SPT，四个分支结构相同，权值共享，式(7)。将输出结果融合到一起形成多分支融合特征f_fusion，式(8)。

f_fusion＝[fsr_d1,fsr_d2,fsr_dc1,fsr_dc2] (8)

步骤5，进行神经网络的全连接操作，全连接的结点个数为待判定的行为类别数。利用全连接网络学习融合特征，分类交互行为，式(9)。

L＝softmax(W*f_fusion) (9)

步骤6，初始化网络参数，设置停止条件。输入训练样本和样本标签，调整训练参数，直到网络损失函数收敛于期望值，即可得到整个双人交互行为识别深度学习网络模型。

步骤7，固定网络结构及参数，将测试样本输入到网络中，得到双人交互行为分类标签L_pre。利用分类标签L_pre与已知标签L_True计算交互行为识别的准确率Accuracy，式(10)。

本发明基于深度学习理论，提出了基于视角不变性的双人交互特征提取方法，提高了整体算法的视角不变性，增加更多双人关联信息，进而提高双人交互行为识别的准确率；提出了四通道权值共享网络结构，利用较少的参数学习序列间更多的时空关联性特征，使特征更丰富；能够通过该模型完整有效地提取人体骨架在时间、空间上的行为特征，充分表示双人的交互运动行为。本发明在双人交互人体行为识别上准确率明显提升。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.基于多通道时空融合网络人体骨架双人交互行为识别方法，其特征在于：包括以下步骤：

步骤1，提出双人相关视角不变性骨架特征描述方法；

步骤2，设计一维卷积神经网络和双向长短时记忆网络的空间特征学习模型，获取待识别特征序列的空间关联信息；

步骤3，设计时域的长短时记忆网络学习交互序列的时间关联特征；

步骤4，设计权值共享四通道时空融合网络，分别学习各组交互特征。

2.根据权利要求1所述的基于多通道时空融合网络人体骨架双人交互行为识别方法，其特征在于：步骤1中对待识别骨架序列的每一帧图，根据人体解剖学结构，计算单人骨架距离特征和双人相关骨架距离特征得到视角不变性双人交互特征描述：

步骤1.1计算单人骨架特征，设行为参与人P₁，P₂骨架脊柱中心点为各自中心点O₁,O₂，参与人P₁中心点O₁到该人所有骨架点的距离形成骨架距离特征d_i1，参与人P₂中心点O₂到该人所有骨架点的距离形成骨架距离特征d_i2；采用欧式距离计算d_i1，d_i2，式(1)；

步骤1.2计算双人关联的骨架特征，以O₁，O₂中点为双人中心点O_c，分别计算单独两人P₁，P₂所有骨架点到双人中心点O_c的距离，式(2)；得到双人关联的距离特征dc_i1，dc_i2；

步骤1.3计算整个行为序列的骨架特征，得到四组骨架距离特征序列D₁，D₂，Dc₁，Dc₂，式(3)；

步骤1.4对所述骨架序列的每一帧中的每种特征归一化处理，将所有序列通过补齐、截短设为定长T；设原始序列长度L，如果L＞T时，采用随机抽样的方法去掉若干帧使序列长度为T；当L＜T时，采用在首帧和尾帧补齐的方法插入若干帧；使序列长度为T。

3.根据权利要求1所述的基于多通道时空融合网络人体骨架双人交互行为识别方法，其特征在于：步骤2具体步骤如下：

步骤2.1空间特征网络学习t,t∈(1,...T)时刻的骨架空间关系特征；为保持序列的时序性，采用空间域的一维卷积神经网络(1D CNN)对骨架序列滤波；采用M个一维滤波器ω对长度为T，维度为N的序列F滤波，一维最大池化层提取邻域内的最大特征，并将最初的维度降到(T,P)；经过滤波处理后，得到尺度为(T,P)的M个特征图f_m，式(4)；

f_m＝σ(ω_(1,l)*F+b),m＝(1,2,…,M) (4)

步骤2.2采用双向长短时记忆网络(Bi-LSTM)学习特征图f_m上空间各节点之间的关联性；Bi-LSTM网络是一种双向的LSTM网络，由前向LSTM和后向LSTM组合而成，式(5)、(6)；点i，i∈(1,...,P)在特征图(1,…,M)上的值构成特征向量

维度为M；将

i∈(1,…,P)作为Bi-LSTM网络的输入，输出为t时刻节点关联性的空间特征表示fsr(t)，式(6)；

4.根据权利要求1所述的基于多通道时空融合网络人体骨架双人交互行为识别方法，其特征在于：步骤4具体步骤如下：

步骤4.1设计四个相同的时空融合特征网络通道分别处理四组特征，将四组时间关联特征融合；将四组序列D₁，D₂，D_c1，D_c2分别输入到上述时空特征融合网络模型，设该模型实现的函数功能为F_SPT，四个分支结构相同，权值共享，式(7)；将输出结果融合到一起形成多分支融合特征f_fusion，式(8)；

f_fusion＝[fsr_d1,fsr_d2,fsr_dc1,fsr_dc2] (8)

步骤4.2进行神经网络的全连接操作，设置全连接的结点个数为要判定的行为类别数；利用全连接网络学习融合特征，分类交互行为，式(9)；

L＝softmax(W*f_fusion) (9)。

Images