CN105631420A - 一种基于3d骨架的多视角室内人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于3D骨架的多视角室内人体行为识别方法，包括以下步骤：1)获取人体运动在正视角、斜视角和侧视角三个角度的视频；所述视频包括训练视频和测试视频；2)通过体感设备提取视频中人体骨架3D特征；所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；3)训练模型；通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集；具体如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据集；4)输入测试视频的样本的特征集，通过线性支持向量机(LSVM)进行识别。本发明方法实现了多角度动作的分类识别，克服了单视角识别算法的局限性，更具有研究价值和实际应用价值。

Description

一种基于3D骨架的多视角室内人体行为识别方法

技术领域

本发明涉及人体行为识别领域，尤其涉及一种基于3D骨架的多视角室内人体行为识别方法。

背景技术

近年来，行为识别已经成为计算机视觉和模式识别领域研究的热点。行为识别技术不仅应用在视频监控系统、智能家居、体育运行分析、人机交互、影视动作制作和医学康复等很多领域，还创造了巨大的社会效益和经济效益。根据行为描述方法的不同,已有算法可分为两类：一类是基于表观的方法,另一类是基于人体模型的方法.基于表观的方法直接由图像的前景、轮廓、光流等描述行为；而基于人体模型的方法利用人体模型获取行为者的结构特征,行为往往被描述为人体关节点序列。Johansson通过试验证明人体关节点模型包含了可用于行为识别的丰富信息，3D关节点序列是描述行为最为简洁和有效的方法。Shotton等人提出了利用深度图像得到3D骨架位置的算法，但是仅仅是简单的关节点表示骨架，并没有分析骨架关节点旋转等信息。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于3D骨架的多视角室内人体行为识别方法。

本发明解决其技术问题所采用的技术方案是：基于3D骨架的多视角室内人体行为识别方法，包括以下步骤：

1)获取人体运动在正视角、斜视角和侧视角三个角度的视频；所述视频包括训练视频和测试视频；

2)通过体感设备提取视频中人体骨架3D特征；所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；

3)训练模型；通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集；具体如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据集；

4)输入测试视频的样本的特征集，通过线性支持向量机(LSVM)进行识别。

按上述方案，所述步骤2)中以骨骼的关节点构造3D骨骼结构向量，所述结构向量包括向量之间的向量角和向量角速度变化。

按上述方案，所述步骤2)中全局运动特征包括：身高特征，行为者头部和脚部在人体坐标Z轴上的距离；身体倾斜角特征，行为者当前帧与初始帧在人体坐标Z轴上的夹角；倾斜角速度特征，行为者当前帧与前一帧在人体坐标Z轴上的夹角；朝向角特征，行为者当前帧与初始帧在人体坐标Y轴上夹角；朝向角速度，行为者当前帧与前一帧在人体坐标Y轴上的夹角；速度特征，行为者的躯干中心关节点在人体坐标在Z轴和Y轴的变化；

所述人体坐标建立如下：以躯干中心关节点为坐标原点，中心点到两肩中心的连线方向为z轴，两肩方向为x轴，人体朝向为y轴，建立3维坐标系。

按上述方案，所述步骤2)中手臂、腿部局部运动特征包括：旋转角特征、速度特征。

本发明产生的有益效果是：本发明方法实现了多角度动作的分类识别，该多角度动作识别方法克服了单视角识别算法的局限性，更具有研究价值和实际应用价值。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统流程图；

图2是本发明实施例的识别方法流程图；

图3是本发明实施例的3D人体骨架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，基于3D骨架的多视角室内人体行为识别方法，包括以下步骤：

1)获取人体运动在正对镜头-10°～10°、右对镜头20°～70°和左对镜头-20°～-70°三个角度的视频；所述视频包括训练视频和测试视频；在本实施例中，我们使用体感设备kinect采集视频数据，采集RGB和Depth数据，生成ONI格式的视频文件，同时计算骨骼关节点三维坐标数据和置信度，并保存在文本文件中。

2)通过体感设备提取视频中人体骨架3D特征；所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；3D人体骨架及人体坐标建立如图3所示。

1、全局特征

身高特征W₁，行为者头部和脚部在世界坐标Y轴上的距离；

身体倾斜角特征W₂，行为者当前帧与初始帧在人体坐标Z轴上的夹角；

倾斜角速度特征W₃，行为者当前帧与前一帧在人体坐标Z轴上的夹角；

朝向角特征W₄，行为者当前帧与初始帧在人体坐标Y轴上夹角；

速度特征W_5，6，行为者的关节点2在人体坐标在Z和Y轴的变化；

2、手臂和腿部的局部特征

速度特征：描述人体关节点的运动速度变化过程。设s₁,s₂,s₃,s₄,s₅,s₆,s₇,s₈分别为4、5、7、8、10、11、13、14关节点的运动速度。令表示行为者腿部关节点速度序列，l_n(i)＝{s_i,i＝10,11,13,14}_n＝1,2,3为第i帧与第i-1在X轴方向的差值，类似的Y轴。

令 ${\left\{{\mathrm{Arm}}_n\right\}}_{n=1}^8=\{a_n\left(i\right),i=1,2,\mathrm{...},100\}$ 表示行为者手臂关节点速度序列，a_n(i)＝{s_i,i＝4,5,7,8}_n＝1,2,3为第i帧与第i-1在X轴方向的差值，类似的Y轴。

轨迹特征：关节点轨迹序列表示行为序列中人体关节点在人体坐标系中的变化过程。设t₁,t₂,t₃,t₄,t₅,t₆,t₇,t₈分别为4、5、7、8、10、11、13、14关节点在人体坐标系中的三维空间坐标。令 ${\left\{{\mathrm{Arm}}_n\right\}}_{n=1}^8=\{a_n\left(i\right),i=1,2,\mathrm{...},100\}$ 表示行为者手臂关节点轨迹序列，a_n(i)＝{t_i,i＝4,5,7,8}_n＝1,2,3表示第i帧手臂关节点在人体坐标系内的Z坐标值与初始帧的差值，Y坐标值类似。

${\left\{{\mathrm{Leg}}_n\right\}}_{n=1}^8=\{1_n\left(i\right),i=1,2,\mathrm{...},100\}$ 表示腿部关节点轨迹序列，其中l_n(i)＝{t_i,i＝10，11，13，14}_n＝1,2,3表示腿部的第i帧手臂关节点在人体坐标系内的X坐标值与初始帧的差值，Y坐标值类似。

综上所述，共有38维特征。

以骨骼的关节点构造3D骨骼结构向量，所述结构向量包括向量之间的向量角、向量角速度变化。

3)训练模型；通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集；具体如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据集；

在线优化算法学习字典主要是基于随机逼近的方法，对给定训练样本序列X＝[x₁,...,x_n](∈R^m×n)算法核心思想如下式所示：

$\underset{D\∈c,\mathrm{\α}\∈R^{k\×n}}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|x_i-{\mathrm{D\α}}_i|{|}_2^2+\mathrm{\λ}|\left|{\mathrm{\α}}_i\right|{|}_1$

其中，D是R^m×k的字典，n为样本数，x_i为第i个样本，α_i为k维系数矩阵α＝[α₁,...,α_n]中的第i个分量，λ为规范因子。

为了减少计算机处理特征的困难，本申请对数据进行稀疏主成分分析(SparsePrincipalComponentsAnalysis，SPCA)降维处理。

4)输入测试视频的样本的特征集，通过线性支持向量机(LSVM)进行识别。具体识别过程如图2所示。

验证试验：实验平台操作系统为Win7，32位，使用Kinect设备和OpenNI库得到骨骼特征，计算出骨骼相应的全局和局部特征，并在Matlab9.0的环境下对其调试。数据库是人为采集的，共包含3种行为：蹲下起立、踢腿、挥手，每种行为有三个行为者。该动作数据库中共有540个动作序列，每个动作序列100帧，其中340个作为训练，200个作为测试。实验对象共有11个人，七位男生和四位女生，每个人分别在正对镜头、右侧对镜头、左侧对镜头三个不同位置。

首先将获取的3D骨架直接在LSVM上进行分类，得到识别结果；接着进行线字典学习和SPCA降维，再在LSVM上进行分类，得到识别结果。其结果如表2所示：

表2基于SVM分类器的识别结果

识别方法	无字典和SPCA	字典+SPCA
			蹲下起立	80％	90％
踢腿	83％	100％
			挥手	80％	90％
总识别率	81％	93％

由于视频序列中人体所面向的方向不固定，导致相同的动作在不同角度中得到的观察结果相差很大，这给行为识别带来了一定程度上的困难。针对这一问题，本文提出了一种基于3D骨架的多视角室内人体行为识别方法。首先通过kinect提取行为者的3D骨骼信息，接着通过字典和SPCA处理，最后通过LSVM进行测试，得到识别结果。实验结果表明，本文方法具有较高的识别率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种基于3D骨架的多视角室内人体行为识别方法，其特征在于，包括以下步骤：

1)获取人体运动在正视角、斜视角和侧视角三个角度的视频；所述视频包括训练视频和测试视频；

2)通过体感设备提取视频中人体骨架3D特征；所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；

3)训练模型；通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集；具体如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据集；

4)输入测试视频的样本的特征集，通过线性支持向量机进行识别。

2.根据权利要求1所述的多视角室内人体行为识别方法，其特征在于，所述步骤2)中全局运动特征包括：身高特征，行为者头部和脚部在人体坐标Z轴上的距离；身体倾斜角特征，行为者当前帧与初始帧在人体坐标Z轴上的夹角；倾斜角速度特征，行为者当前帧与前一帧在人体坐标Z轴上的夹角；朝向角特征，行为者当前帧与初始帧在人体坐标Y轴上夹角；朝向角速度，行为者当前帧与前一帧在人体坐标Y轴上的夹角；速度特征，行为者的躯干中心关节点在人体坐标在Z轴和Y轴的变化；

所述人体坐标建立如下：以躯干中心关节点为坐标原点，中心点到两肩中心的连线方向为z轴，两肩方向为x轴，人体朝向为y轴，建立3维坐标系。

3.根据权利要求1所述的多视角室内人体行为识别方法，其特征在于，所述步骤2)中手臂、腿部局部运动特征包括：旋转角特征、速度特征。