CN110348321A - 基于骨骼时空特征及长短时记忆网络的人体动作识别方法 - Google Patents

Abstract

本发明提供一种基于骨骼时空特征及长短时记忆网络的人体动作识别方法。首先基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征。其次基于传统光流法提出一种基于三维骨骼信息的光流特征计算方法。并将骨骼信息的光流特征作为骨骼点的时间特征。再次设计一种双流长短时记忆网络的人体动作识别模型，双流模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列。从而综合分析人体动作的时空特征，提高人体动作识别的准确率。最后构建带有时空特征的测试数据集和训练数据集，训练双流时空长短时记忆网络模型，并验证人体动作识别的准确率。

Description

基于骨骼时空特征及长短时记忆网络的人体动作识别方法

技术领域

本发明属于计算机视觉领域，涉及一种基于骨骼时空特征及双流时空长短时记忆网络的人体动作描述与识别方法。

背景技术

人体动作识别是计算机视觉和人工智能的研究热点之一，在智能监控、人机交互等领域有着广泛的应用。随着深度相机的普及，基于骨骼信息的人体动作描述与识别成为该领域重要的研究方向。

基于三维骨骼点特征的人体动作描述方法可以主要概括为：基于骨骼点位置的特征表示；基于活动骨骼点的特征表示；基于时序动态的特征表示。其中，基于骨骼点位置的特征表示方法通常从骨架节点中提取含有各节点关联信息的特征，或者直接用节点位置信息作为特征；而基于活动骨骼点的特征表示方法通过挖掘具体动作所涉及的身体部位或者寻找动作的肢体特点用于辨识行为；基于时序动态的特征表示方法通常视骨架序列为三维的轨迹，并对这类时间序列进行建模分析。此外，根据对应骨架节点序列中不同特性，基于骨骼点位置的特征表示方法又可以分为空间描述、几何结构描述、基于关键姿态描述的三种方法。

光流的概念是Gibuson在1950年首先提出的。所谓光流就是指图像表观运动的速度。物体在运动的时候之所以能被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断的流过眼睛视网膜，就好像一种光流过一样，故称之为光流。光流场是一种二维(2D)的瞬时速度场，在景物可见点中，三维(3D)速度矢量在成像表面上形成的投影就是2D速度场矢量。光流包含了观测物体的运动变化信息，同时还含有景物三维结构的信息。光流的计算方法大多数是建立在Horn-Schunck算法和Lucas-Kanade算法基础之上。按照Barron在1994年提出的分类方法，光流计算可以分为微分方法、区域匹配方、基于能量的方法和基于相位的方法等4类。在许多问题的研究中，光流都起着重要作用，在计算机视觉的较高层视觉算法中，光流是一个比较重要的输入，可以实现诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等重要的任务。

人体的运动过程可视为一组人体骨骼点空间位置的时间序列，因此提出的时间特征需要描述人体所有骨骼点的动态信息。人体动作的动态信息可以由帧间骨骼点的光流特征反映。因此，本发明基于Kinect2.0深度相机获取到的骨骼点数据提出一种骨骼信息光流特征的提取方法。基于Lucass-Kanade光流计算方法针对三维空间的骨骼信息提出骨骼光流特征计算方法。计算得到帧间骨骼信息的光流特征作为人体动作的时间特征，并与人体动作的空间特征联合表征人体动作。

LSTM(Long Short-Term Memory)长短时记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM已经在科技领域有了多种应用。基于LSTM的系统可以完成翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等任务。人体动作可描述为一组骨骼信息序列，如何设计一种可以处理人体骨骼时空信息的模型成为当前的研究重点。

发明内容

为了应对上述的技术问题，本发明提出基于骨骼点时空特征的动作描述方法与基于双流时空LSTM的动作识别方法。

为了实现以上目的，本发明方法主要包括以下步骤：

(1)基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征。

首先基于深度相机获取人体骨骼点的三维空间坐标，因为髋部中心点在人体运动中是最稳定的点所以将髋部中心点作为坐标原点，构建人体骨骼的空间坐标系，计算出人体骨骼点相对髋部中心点的球坐标。由于人体动作骨骼点的空间位置分布受人体身高的影响，本发明基于人体身高将人体骨骼的球坐标归一化。基于归一化后的帧内骨骼点相对球坐标构建骨骼点的空间特征。将视频中的骨骼点空间特征序列作为人体动作的空间特征。

(2)将视频中的骨骼点空间特征序列作为人体动作的空间特征。

(3)基于骨骼信息光流法计算骨骼信息的光流特征，作为人体动作的时间特征；

光流是指在光源照射下，在三维空间中连续运动的物体在二维图像平面上的投影，并根据投影的位移和时间差可以计算出运动速度，即光流。传统光流计算的三个基本假设在骨骼信息光流计算中依然适用，即亮度恒定假设、时间连续假设、空间一致假设,即一个场景中同一表面上邻近的点具有相近的运动，在图像平面上的投影也在临近区域。假设传统光流法中图像的某一个像素点在二维空间中的瞬时位移用u＝[u v]^T表示，其中u是在x方向上的位移，v是在y方向上的位移。本发明提出的骨骼信息光流法将二维的像素点位移扩展成三维的骨骼点位移，即用u＝[u v w]^T表示某一骨骼点在三维空间中的瞬时位移，用来计算骨骼信息的光流特征，其中u是在x方向上的位移，v是在y方向上的位移，w表示该骨骼点在深度方向的瞬时位移。本发明采用计算图像光流信息的Lucass-Kanade算法，计算三维骨骼点的光流特征。将骨骼的光流特征作为人体动作的时间特征。

(4)基于双流长短时记忆网络的人体动作识别模型，融合决策得出最后的分类结果；

将两个长短时记忆网络的人体动作识别模型并行，得到双流长短时记忆网络的人体动作识别模型；双流长短时记忆网络的人体动作识别模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列，分别分析人体动作骨骼数据的时间特征和空间空间，最终两个通道在softmax层融合，取两个通道分类概率的平均值，融合决策得出最后的分类结果。

本发明相对于现有技术具有的有益效果：

基于骨骼时空特征的人体动作表征方法，可以综合全面的表征人体动作。同时将人体动作特征分为时间特征和空间特征，从而使人体动作特征更具有合理性。

基于双流时空长短时记忆网络的人体动作识别模型，相较于传统单通道长短时记忆网络，可以综合全面的分析人体动作不同类型的特征，更加准确的得出人体动作的分类结果。

附图说明

图1：右肩骨骼点相对球坐标示意图

图2：基于骨骼时空特征及双流时空LSTM的人体动作识别流程图

图3：双流时空LSTM网络模型图

具体实施方法

如图2所示，基于骨骼时空特征及长短时记忆网络的人体动作识别方法，该方法具体包括以下步骤：

(1)基于Kinect2.0深度相机获取到的骨骼点空间三维坐标，本发明选取头部骨骼点、肩部中央骨骼点、脊柱中心点、髋部中心点、左肩骨骼点、左肘骨骼点、左手骨骼点、左髋骨骼点、左膝骨骼点、左脚裸骨骼点左脚骨骼点、右肩骨骼点、右肘骨骼点、右手骨骼点、右髋骨骼点、右膝骨骼点、右脚裸骨骼点右脚骨骼点作为骨骼时空特征的构建基础。采用髋中心点，左髋骨骼点，右髋骨骼点构建新的自身坐标系，将其他骨骼点仿射到这个新坐标系中，从而将骨骼点的坐标归一化到自身的坐标系中。

(2)设每个关节点空间位置为P(x,y,z),x,y,z分别是P骨骼点在新坐标系下的坐标。本文以髋部中心点为坐标中心，将空间直角坐标系中的点坐标P(x,y,z)转换为球坐标系坐标系转换公式如下：

其中r为髋部中心点O与点P之间的距离，极角θ为有向线段OP与z轴的夹角；方位角为从正z轴来看自x轴按逆时针方向转到OM所转过的角，这里M为点P在面xoy上的投影。假设P点即为右肩骨骼点，图1是右肩骨骼点的相对球坐标示意图。由于不同人的身高差异会影响骨骼点在空间的分布位置，所以本发明将各个骨骼点到髋中心点距离除以身高h,代替原始球坐标系中的r,从而得到人体动作的空间特征

(3)基于Lucas-Kanade计算光流的方法发明一种骨骼信息光流计算方法根据Lucas-Kanade算法原理，光流估计有三个基本假设：

1、亮度恒定假设，即相邻帧之间的亮度恒定。该假设表示为：

I(x,y,t)＝I(x+u,y+u,t+1)

其中u,v分别为x,y方向上的瞬时位移。

2、时间连续假设，即即相邻视频帧的取帧时间连续，或者相邻帧之间物体的运动足够小。将公式在(x,y,t)处进行一阶Talor展开，可以表示为：

I(x,y,t)＝I(x+u,y+v,t+1)＝I(x,y,t)+I_x·u+I_y·v+I_t

3、空间一致假设，即一个场景中同一表面上邻近的点具有相近的运动，在图像平面上的投影也在邻近区域。

光流计算的三个基本假设依然适用于骨骼光流计算。假设传统光流法中图像的某一个像素点在二维空间中的瞬时位移用u＝[u v]^T表示，其中u是在x方向上的位移，v是在y方向上的位移。本发明提出的骨骼信息光流法将二维的像素点位移扩展成三维的骨骼点位移，即用u＝[u v w]^T表示某一骨骼点在三维空间中的瞬时位移，用来计算骨骼信息的光流特征，其中u是在x方向上的位移，v是在y方向上的位移，w表示该骨骼点在z方向的瞬时位移。

对于图像，亮度恒定假设的公式为，根据时间连续假设，在(x,y,t)处进行一阶Talor展开，得到公式

由假设可以得到估计的数字约束项，即：

I_x·u+I_y·v+I_t＝0

针对骨骼点，有

Z(x,y,t)+w＝Z(x+u,y+v,t+1)

同理，在(x,y,t)处进行一阶Talor展开并整理，有：

Z_x·u+Z_y·v+Z_t+w＝0

此处仍然采用全局化的计算方法，建立泛函：

E(u,v)＝∫E_data+E_depth+λ·∫E_smooth

其中

E_data＝∫(I_xu+I_yv+I_t)²dxdy

E_depth＝∫(Z_xu+Z_yv+Z_t-w)²dxdy

由上可得:

结合Euler-Lagrange方程，利用最小变分，分别对u,v,w求偏导，并进一步离散化：

在这里，本文利用Jacobi迭代的方式求解方程。为方便计算，本文将方程整理为以下形式：

b＝-[I_xI_t+Z_xZ_t I_yI_t+Z_yZ_t -Z_t]^T

然后将带入Jacobi迭代公式，即可得到最终迭代结果：

(4)本发明基于传统LSTM结构提出时空双流LSTM结构，将两个LSTM结构并行，分别输入人体动作的时间特征和空间特征，综合分析人体动作信息，得出最后的人体动作识别的结果。图3是双流时空LSTM的结构图。用如下公式表示：

i_t＝σ(w_xix_t+w_hih_t-1+b_i)

f_t＝σ(w_xfx_t+w_hfh_t-1+b_f)

o_t＝σ(w_xox_t+w_hoh_t-1+b_o)

g_t＝tanh(w_xcx_t+w_hch_t-1+b_c)

c_t＝f_t⊙c_t-1+i_t⊙g_t

h_t＝o_t⊙tanh(c_t)

(4)构建带有时空特征的测试数据集和训练数据集，训练双流时空LSTM模型，并验证人体动作识别的准确率。对测试集和训练集视频进行解帧。利用本发明提出的人体动作空间特征和时间特征的计算方法，构建测试集和训练集的时空特征序列。将训练集的时空特征序列分别输入双流时空LSTM网络的两个通道，训练得到人体动作双流时空LSTM网络模型。最后利用带有时空特征序列的测试集验证双流LSTM网络模型对于人体动作识别的准确率。

Claims (1)

1.基于骨骼时空特征及长短时记忆网络的人体动作识别方法，其特征在于，该方法具体包括以下步骤：

(1)基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征；

首先基于深度相机获取人体骨骼点的三维空间坐标，将髋部中心点作为坐标原点，构建人体骨骼的空间坐标系，计算出人体骨骼点相对髋部中心点的球坐标；基于人体身高将人体骨骼的球坐标归一化；基于归一化后的帧内骨骼点相对球坐标构建骨骼点的空间特征；

(2)将视频中的骨骼点空间特征序列作为人体动作的空间特征；

(3)基于骨骼信息光流法计算骨骼信息的光流特征，作为人体动作的时间特征；

通过骨骼信息光流法将传统光流法二维的像素点位移扩展成三维的骨骼点位移，即用z＝[u v w]^T表示某一骨骼点在三维空间中的瞬时位移，其中u是在x方向上的位移，v是在y方向上的位移，w表示该骨骼点在深度方向的瞬时位移；采用计算图像光流信息的Lucass-Kanade算法，计算三维骨骼点的光流特征；将骨骼的光流特征作为人体动作的时间特征；

(4)基于双流长短时记忆网络的人体动作识别模型，融合决策得出最后的分类结果；

将两个长短时记忆网络的人体动作识别模型并行，得到双流长短时记忆网络的人体动作识别模型；双流长短时记忆网络的人体动作识别模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列，分别分析人体动作骨骼数据的时间特征和空间空间，最终两个通道在softmax层融合，取两个通道分类概率的平均值，融合决策得出最后的分类结果。