CN109902583B - 一种基于双向独立循环神经网络的骨架手势识别方法 - Google Patents

Abstract

本发明公开了一种基于双向独立循环神经网络的骨架手势识别方法，包括以下步骤：步骤1：获取骨架手势数据集并进行预处理；步骤2：构建双向独立循环神经网络；步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中进行训练；步骤4：采用步骤3训练得到的神经网络进行骨架手势的识别；本发明同时具备提取高级空间信息和时间关联信息的能力且能提取双向时间关联信息，骨架手势识别的准确率高。

Description

一种基于双向独立循环神经网络的骨架手势识别方法

技术领域

本发明涉及骨架手势识别方法，具体涉及一种基于双向独立循环神经网络的骨架手势识别方法。

背景技术

手势识别技术在虚拟现实、手语识别、机器人控制等人机交互领域被广泛的应用；随着微软Kinect和因特尔RealSence等非穿戴式的深度传感器的发展，基于骨架数据的手势识别算法被广泛的研究；但骨架手势识别任务由于空间上的差异小，对时间关联信息的要求高，故其对算法的空间和时间信息提取能力的要求高。骨架手势识别的算法可分为基于人工制作的特征的手势识别算法和基于深度学习的手势识别算法；基于人工制作的特征的方法通过计算手部骨架的几何特征，再利用支持向量机进行进一步的分类以识别手势；基于手工制作的特征的方法有，建立四维空间统计直方图来捕捉表面法线方向的分布的方法；建立表征骨架关节三维坐标及其动作空间中的时间位移轨道的骨架模型的方法；利用视图不变关节角之间的两两相似性来描述骨架的方法；将手的形状描述为时间序列曲线，并建立一种称为手指-表面位移距离的距离度量来区分手势的方法；构建基于指尖的位置和方向的特征集，使用多分类支持向量机分类器进行手势识别的方法等；这类方法受到人工设计的骨架的几何特征的有效性的限制，识别准确率较低。

随着深度学习的发展，基于经验开发的人工制作的特征已经不能充分挖掘任务中数据的属性；基于深度学习的手势识别算法是利用卷积神经网络和循环神经网络等结构，通过学习的方法获得网络参数，同时实现特征提取和分类。基于深度学习的手势识别方法可分为基于卷积神经网络的方法和基于循环神经网络的方法。基于卷积神经网络的方法是利用卷积神经网络提取空间特征对手势识别。基于卷积神经网络的骨架手势识别的方法例如利用并行卷积网络进行手势识别的方法；利用3D卷积神经网络进行手势分类的方法等。该类方法并没有有效地融合时间关联特征，缺乏有效地提取时间关联信息的能力。为了探索时间依赖性，具有提取时间关联特征的能力的基于循环神经网络的方法被逐渐提出。基于循环神经网络结构的手势识别方法主要是利用循环神经网络(RNN)长短期记忆网络(LSTM)、门控循环单元(GRU)、双向循环神经网络(BRNN)等进行识别。该类方法有，利用循环神经网络的细胞对手指关节坐标的运动序列和全局手势骨架坐标序列按时间方向循环计算以逐层提取时间关联特征的方法；也有组合地利用3维卷积神经网络对空间特征进行初步提取，再利用卷积-长短期记忆网络(Conv-LSTM)对时间关联特征进一步提取的方法等。但该类方法受到所利用的循环神经网络(RNN)长短期记忆网络(LSTM)等循环神经网络等结构本身梯度爆炸和梯度消失等问题的限制，所构建的循环神经网络结构的层级结构是非常浅的。因此，该类方法所构建的神经网络缺乏提取高层次时间关联信息的能力，难以在手势识别任务中达到高识别准确率。

目前为了改善传统循环神经网络的梯度爆炸和梯度消失的问题，一些改良的循环神经网络被提出来；独立循环神经网络(IndRNN)是在循环神经网络的基础上修改了网络隐层的计算方式；该神经网络的细胞隐层的输出为输入层的线性映射和上一时间步的隐层输出的哈德马积(Hadamard product)之和再经过随机纠正线性单元(ReLU)的计算结果。隐层的每个神经元独立地进行计算，再通过叠加网络层数来融合隐层的各神经元；网络的激活函数被修改为随机纠正线性单元，且在训练过程中添加了梯度裁剪等功能；独立循环神经网络能在多达21层和5000时间步的网络训练中仍具有鲁棒性，具备较强的挖掘时间关联特征的能力。独立循环神经网络的有效性在自然语言处理、骨架行为识别，手写数字序列分类等任务已得到验证。其对时间信息的挖掘能力仍可以进一步扩展。

双向循环神经网络(BRNN)则是在循环神经网络的基础上添加了双向结构，使网络可以从两个时间方向上更有效的提取时间关联特征，即隐层在两个时间方向上进行计算，并将其计算结果拼接作为下一层的输入。双向循环神经网络(BRNN)在自然语言处理，文本生成等领域已得到应用。但其仍然受到循环结构的梯度爆炸和梯度消失的影响，无法在骨架手势识别任务取得较高的准确率。

发明内容

本发明提供一种具备挖掘高级空间-时间关联信息能力和提取双向时间关联信息能力，能够满足骨架手势识别任务对高级次空间和时间关联信息的要求，具备高识别准确率的基于双向独立循环神经网络的骨架手势识别方法。

本发明采用的技术方案是：一种基于双向独立循环神经网络的骨架手势识别方法，包括以下步骤：

步骤1：获取骨架手势数据集并进行预处理；

步骤2：构建双向独立循环神经网络；

步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中进行训练；

步骤4：采用步骤3训练得到的神经网络进行骨架手势的识别；

双向独立循环神经网络包括输入层、n个依次连接的隐层、输出层；

输入层将骨架手势数据的关节坐标序列及其计算得到的时间位移拼接后按时间维度展开；隐层中的神经网络细胞从时间递增和时间递减两个时间方向对输入的骨架手势数据循环计算并将隐层两个时间方向的计算结果拼接输出给下一隐层；输出层将最后一层隐层的最后一个时刻的输出值经全连接操作后输出。

进一步的，所述隐层计算过程如下：

h_1，t＝σ(W₁x_t+u₁⊙h_1，t-1+b₁)

h_2，t＝σ(W₂x_t+u₂⊙h_2，t+1+b₂)

h_1,t＝concat(h_1,t,h_2,t)

式中：h_t为t时刻的细胞状态值，h_1,t为t时刻时间递增方向的细胞状态值，h_2,t为t时刻时间递减方向的细胞状态值；t-1表示上一时刻，t+1表示下一时刻，x_t为t时刻该层网络的输入数据，W₁为时间递增方向的网络细胞对输入的线性变换矩阵，W₂为时间递减方向的网络细胞对输入的线性变换矩阵，u₁为时间递增方向的网络细胞状态的系数向量，u₂为时间递减方向的网络细胞状态的系数向量，⊙表示哈达马积运算，concat为张量的拼接操作，b₁和b₂均为偏置系数。

进一步的，所述步骤1中的数据集的每个样本中坐标序列随机提取n帧，得到每个样本的长度为n的坐标序列，计算每一帧坐标的时间位移；将数据集中的坐标序列和其时间位移输入到双向独立循环神经网络。

进一步的，所述步骤2中的双向独立循环神经网络中隐层以短路连接或者密集连接的方式连接。

进一步的，所述步骤3训练过程中采用交叉熵函数作为损失函数。

进一步的，所述步骤3训练过程中采用Adam优化器对网络的参数进行优化。

本发明的有益效果是：

(1)本发明同时具备提取高级空间信息和时间关联信息能力，且能提取双向时间关联信息；

(2)本发明骨架手势识别的准确率高。

附图说明

图1为本发明双向独立循环神经网络的网络单层的结构示意图。

图2为本发明实施例中双向独立循环神经网络的结构示意图。

图3为本发明实施例中DHG手势数据集的骨架示意图。

图4为本发明实施例中通过本发明网络测试得到的14手势类下的混淆矩阵。

图5为本发明实施例中通过本发明网络测试得到的28手势类下的混淆矩阵。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

一种基于双向独立循环神经网络的骨架手势识别方法，包括以下步骤：

步骤1：获取骨架手势数据集并进行预处理；

采用通用的骨架手势数据集DHG数据集进行神经网络的训练；DHG数据集包含了14个手势的2800个时间序列，包含了抓取(G)、轻敲(T)、放大(E)、拧(P)、顺时针旋转(RC)、逆时针旋转(RCC)、向右滑动(SR)、向左滑动(SL)、重击(SU)、向下滑动(SD)、斜向滑动(SX)、滑动+(S+)、v型滑动(SV)、摇摆(SH)共十四个手势；在区分单指手势和多指手势时，可分为28个手势类；按照基于深度学习的骨架手势识别方法中的数据划分方法对数据集进行划分，将手势数据集以7比3的比例划分为训练集和测试集；为了使输入数据更具有随机性，将每个坐标序列随机提取n帧，得到每个样本的长度为n的坐标序列，计算每一帧坐标的时间位移；将训练集和测试集的坐标序列与其时间位移一并送入双向独立循环神经网络的输入层，分别进行网络的测试与计算。

步骤2：构建双向独立循环神经网络；

提出的用于骨架手势识别双向独立循环神经网络如图2所示；其网络单层(即隐层)结果如图1所示，该层结构的输入层将骨架手势数据的关节坐标序列按时间维度展开，通过神经网络的细胞从两个时间方向上对输入的手势骨架数据依次计算。隐层的计算方法是在独立循环神经网络的计算方法基础上补充了双时间方向的计算；即隐层的输出为输入层在两个时间方向上的线性映射和上一时间步的隐层输出的哈达马积之和的拼接再经过随机纠正线性单元的计算结果；可有效解决循环神经网络的梯度爆炸和梯度消失的问题，使扩展到较长时间步和高层数的网络成了可能。

本发明构建的神经网络结构能从两个时间方向上对输入的手势关节坐标序列进行高效的特征提取；图1中x为输入的手势关节坐标序列，IndRNN为独立循环神经网络细胞结构；每个神经网络细胞结构的计算过程如下：

h_1,t＝σ(W₁x_t+u₁⊙h_1，t-1+b₁)

h_2,t＝σ(W₂x_t+u₂⊙h_2,t+1+b₂)

h_1,t＝concat(h_1,t,h_2,t)

式中：h_t为t时刻的细胞状态值，h_1,t为t时刻时间递增方向的细胞状态值，h_2,t为t时刻时间递减方向的细胞状态值；t-1表示上一时刻，t+1表示下一时刻，x_t为t时刻该层网络的输入数据，W₁为时间递增方向的网络细胞对输入的线性变换矩阵，W₂为时间递减方向的网络细胞对输入的线性变换矩阵，u₁为时间递增方向的网络细胞状态的系数向量，u₂为时间递减方向的网络细胞状态的系数向量，⊙表示哈达马积运算，concat为张量的拼接操作，b₁和b₂均为偏置系数。

每一个网络单层中，首先沿着时间递增方向，将输入层整理后的手势坐标序列依次进行计算；在完成时间递增方向的计算之后，另一网络细胞按照时间递减方向再次计算；两次计算得到两组尺寸为20*512的输出；最后输出层将两个细胞在输入的两个时间方向上的计算结果进行拼接，得到尺寸为20*1024的输出值，将该输出值作为下一网络层的输入。

本发明中采用具有六个网络单层，神经网络结构的输入层将手势的关节坐标数据和计算得到的时间位移拼接，作为网络的输入；叠加六层单层网络进行计算，得到一组输出序列；输出层将该层输出序列的最后时刻的输出值，通过一个全连接网络进行线性变换，得到本发明双向独立循环神经网络的最终输出，即对手势的分类预测结果。

第一网络单层中x的尺寸为20*22*6，之后的网络单层中x的尺寸为20*1024；第一网络单层的W尺寸为512*6，之后的网络单层W的尺寸为1024*512；第一网络单层的u尺寸为512的向量；其中20表示使用20时间帧的骨架数据，22表示使用22个骨架关节的坐标；6表示关节的三维坐标和三维坐标的位移；512表示每个神经细胞的隐层包含了512个神经元。

步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中进行训练；

训练中采用交叉熵函数作为损失函数，并采用当前广泛应用的Adam优化器对网络的参数进行优化；优化器的初始学习率被设置为2×10^-4，并在20次病态遍历(训练集识别准确率不再提升的训练遍历)后衰减为原来的0.1。批处理尺寸被设置为128。14类情况下本网络在训练过程的第173次遍历时达到收敛，28类情况下，在训练过程的第259次遍历时达到收敛。为了网络能够更具有鲁棒性，在训练过程中加入了随机失活函数，随机失活率被设置为0.2。

训练完成后对本发明方法进行测试，通过DHG手势数据集测试集的测试结果表明；采用本发明方法进行骨架手势识别，14手势类情况下达到了93.15％的准确率，在28手势类下达到91.13的％准确率，28手势类的准确率已超过现有的基于并行卷积神经网络的骨架手势识别方法7％，如表1所示。

表1现有的方法在DHG手势数据集的测试结果

通过本发明网络结构测试得到的14手势类下的混淆矩阵与28手势类下的混淆矩阵如图4和图5所示，从中可以看出轻敲(T)、逆时针旋转(RCC)、重击(SU)等手势类的准确率大幅超越现有的其它方法的准确率。

步骤4：采用步骤3训练得到的神经网络进行骨架手势的识别。

骨架手势识别任务的研究瓶颈在于空间类间差距小，对时间关联信息的依赖性强等方面。基于人工制作的特征的方法受到利用的骨架的几何特征的有效性的限制，识别准确率较低。基于卷积神经网络的方法具有提取空间特征的能力但缺乏有效的提取时间关联信息的能力。因此该两类方法都不足以很好地满足手势识别对时间关联信息的要求。

基于循环神经网络的手势识别方法其结构受到循环神经网络的梯度消失和梯度爆炸等问题的限制，无法叠加较多的网络层数以提取高级的时间关联信息。改良的独立循环神经网络在传统的循环神经网络的基础改进了隐层的计算方式，很好地解决了传统循环神经网络中梯度消失和梯度爆炸等重要问题，使得网络可以叠加更大的深度以挖掘更高级的时间关联信息。且独立循环神经网络在自然语言处理，骨架行为识别，手写数字序列分类等任务取得了优秀的结果。但独立循环神经网络缺乏多方向的提取时间关联信息的能力，实验证明仍不能够满足骨架手势识别任务对时间关联信息的要求。其提取时间关联信息的能力仍然可以被进一步提升。双向循环神经网络可以从两个相反的时间方向对时间关联信息进行特征提取，相比于传统的循环神经网络结构也具备更优越的提取时间关联信息的能力。其在自然语言处理，文本生成等领域已得到应用。但其仍然受到传统循环神经网络的梯度爆炸和梯度消失问题，高层次空间-时间信息的挖掘能力不足，也无法很好地应用于骨架手势识别任务。

为了提出一种同时具备提取高级空间信息和时间关联信息能力且能提取双向时间关联信息的能力的手势识别的方法以更好地满足骨架手势识别中对挖掘高级空间-时间关联信息的要求，从而显著地提升骨架手势识别的准确率。本发明针对手势识别任务空间上的类间差异小，对时间关联信息的依赖性强的特点，融合了独立循环神经网络结构和双向循环神经网络结构的优势，提出了双向独立循环神经网络结构在独立循环神经网络的基础上添加了双向结构，融合了具有提取高级时间关联信息能力的独立循环神经网络结构和具有提取双向时间关联信息能力的双向循环神经网络的优势，构建的双向独立循环神经网络同时具备挖掘高级空间-时间关联信息能力和提取双向时间关联信息的能力，因而能满足手势识别任务对高层次空间和时间关联信息的要求，大幅度地超越了现有方法的识别准确率。

Claims (4)

1.一种基于双向独立循环神经网络的骨架手势识别方法，其特征在于，包括以下步骤：

步骤1：获取骨架手势数据集并进行预处理；

步骤2：构建双向独立循环神经网络；

步骤3：将步骤1得到的数据集输入到步骤2构建的神经网络中进行训练；

步骤4：采用步骤3训练得到的神经网络进行骨架手势的识别；

双向独立循环神经网络包括输入层、n个依次连接的隐层、输出层；

输入层将骨架手势数据的关节坐标序列及其计算得到的时间位移拼接后按时间维度展开；隐层中的神经网络细胞从时间递增和时间递减两个时间方向对输入的骨架手势数据循环计算并将隐层两个时间方向的计算结果拼接输出给下一隐层；输出层将最后一层隐层的最后一个时刻的输出值经全连接操作后输出；所述步骤1中的数据集的每个样本中坐标序列随机提取n帧，得到每个样本的长度为n的坐标序列，计算每一帧坐标的时间位移；将数据坐标序列和其时间位移输入到双向独立循环神经网络进行手势识别；所述步骤2中的双向独立循环神经网络中隐层以短路连接或者密集连接的方式连接；

其中n＝6，神经网络结构的输入层将手势的关节坐标数据和计算得到的时间位移拼接，作为网络的输入；叠加六层单层网络进行计算，得到一组输出序列；输出层将该层输出序列的最后时刻的输出值，通过一个全连接网络进行线性变换，得到所需结果。

2.根据权利要求1所述的一种基于双向独立循环神经网络的骨架手势识别方法，其特征在于，所述隐层计算过程如下：

h_1,t＝σ(W₁x_t+u₁⊙h_1,t-1+b₁)

h_2,t＝σ(W₂x_t+u₂⊙h_2,t+1+b₂)

h_1,t＝concat(h_1,t,h_2,t)

式中：h_t为t时刻的细胞状态值，h_1,t为t时刻时间递增方向的细胞状态值，h_2,t为t时刻时间递减方向的细胞状态值；t-1表示上一时刻，t+1表示下一时刻，x_t为t时刻该层网络的输入数据，W₁为时间递增方向的网络细胞对输入的线性变换矩阵，W₂为时间递减方向的网络细胞对输入的线性变换矩阵，u₁为时间递增方向的网络细胞状态的系数向量，u₂为时间递减方向的网络细胞状态的系数向量，⊙表示哈达马积运算，concat为张量的拼接操作，b₁和b₂均为偏置系数。

3.根据权利要求1所述的一种基于双向独立循环神经网络的骨架手势识别方法，其特征在于，所述步骤3训练过程中采用交叉熵函数作为损失函数。

4.根据权利要求1所述的一种基于双向独立循环神经网络的骨架手势识别方法，其特征在于，所述步骤3训练过程中采用Adam优化器对网络的参数进行优化。

Images