CN104866860A - 一种室内人体行为识别方法 - Google Patents

Abstract

本发明公开了一种室内人体行为识别方法，该方法包括以下步骤：基于Kinect设备获取人体三维骨架信息；提取出每个视频集中的三维骨架特征；训练三维骨架特征，对特征进行描述，其中训练步骤为先对特征在线字典学习，然后进行稀疏主成分分析，最后用多任务大边界最近邻算法与线性支持向量机进行分类得到训练特征集；提取测试视频的三维骨架特征；使用多任务大边界最近邻算法和线性支持向量机进行分类得到特征描述，将训练特征集与测试特征以打分机制做出最佳判决。本发明在智能视频监控，病人监护系统，人机交互，虚拟现实，智能家居，智能安防和运动员辅助训练中具有广泛的应用前景，具有较强的可行性和社会经济效益。

Description

一种室内人体行为识别方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种室内人体行为识别的方法。

背景技术

机器视觉作为光电技术应用的一个特定领域，目前已经发展成为一个前景光明、活力无限的行业，年平均增长速度超过20％。机器视觉广泛应用于微电子、电子产品、汽车、医疗、印刷、包装、科研、军事等众多行业。涉及技术一致，应用差异明显，是各种机器视觉应用系统的共同特点。那么作为机器视觉范畴中的人体行为识别研究也必然得到大力的使用。

人体行为识别应用主要集中在智能视频监控，病人监护系统，人机交互，虚拟现实，智能家居，智能安防和运动员辅助训练。另外基于内容的视频检索和智能图像压缩等也用到了不少行为识别的方法，它们有着广阔的应用前景和潜在的经济价值和社会价值。

行为识别大抵分为两个步骤：先提取特征，再对人体行为特征做分类器的设计。到目前为止，行为识别研究中采用的特征多为传统的二维特征，如二维网格、人体轮廓、背景减除法、梯度直方图、光流直方图、运动能量模板等。传统的基于轮廓的人体行为识别方法如图1所示：

步骤101，获取视频图像；

步骤102，利用差分法分离前景与背景；

步骤103，提取前景轮廓特征；

步骤104，PCA降维；

步骤105，放入分类器进行训练与识别。

对于行为识别分类器，不同的需求，选择也有所不同，若需快速完成训练可选择最近邻、正态贝叶斯等算法，若需准确可选择支持向量机(SVM)、神经网络等。对于一些传统的学习方法，SVM具有很大的优势，如解决小样本、高维模式和非线性识别问题，并且其推广性也很强，如应用到类似函数拟合的机器学习等问题中去。

参见图2，为现有的多任务大边界最近邻算法。x_i 1表示用第i个样本训练马氏距离矩阵，第一列表示用欧式距离度量，第二、三列表示用马氏距离度量，同一种形状并且同一种颜色代表同一种类型特征，图2中分别表示k-NN的分类结果(k＝3)。

从现有的人体行为技术可以看出，其存在如下技术缺陷：(1)环境适应性不强，对于光照、非人体的动态物体很难排除，对于识别造成干扰；(2)对人体朝向角的适应性不强，识别率不高；(3)当样本大且高维时处理速率慢；(4) 对于多任务大边界最近邻算法，其具有搜索慢的缺点，对于所选择的权值，依赖性太大，权值过小，得到的近邻数过少，会降低分类进度，同时也会放大噪声数据的干扰。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种室内人体行为识别的方法。

本发明解决其技术问题所采用的技术方案是：一种室内人体行为识别的方法，包括以下步骤：

1)通过体感设备获取人体三维骨架信息；

2)根据三维骨架信息计算三维骨架特征，所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；

3)提取测试视频集中的三维骨架特征；

4)训练测试视频集中的三维骨架特征进行特征描述，得到训练特征集；具体过程如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维；最后融合多任务大边界最近邻算法和线性支持向量机进行联合分类；

5)提取待识别视频中的人体三维骨架特征；

6)使用多任务大边界最近邻算法和线性支持向量机对步骤5)中的人体三 维骨架特征进行分类得到特征描述；

7)将训练特征集与步骤6)中的特征描述通过打分机制做出人体行为识别判决。

按上述方案，所述体感设备为Kinect设备。

按上述方案，所述Kinect设备使用OpenNI库函数提取出彩色图像和深度图像，视频格式为ONI格式，样本集均为带标签的。

按上述方案，所述步骤1)中三维骨架信息为骨骼关节点的三维坐标；所述骨骼关节点的三维坐标以Kinect设备为世界坐标系，建立人体骨骼的动态坐标。

按上述方案，所述全局运动特征包括：身体高度特征、身体倾斜角特征、身体倾斜角速度特征、朝向角特征、朝向角速度特征、人体速度特征和轨迹特征；手臂、腿部局部运动特征包括：旋转角特征、速度特征和轨迹特征。

按上述方案，所述手臂、腿部局部运动特征中旋转角特征的计算方法为：A、设定手臂四个关节点和腿部四个关节点的旋转自由度，手臂为人体朝向方向向量和人体站立方向向量，腿部为平行于人体面方向向量和人体朝向方向向量，共16个旋转自由度；B、根据骨架初始姿态和当前姿态(也即三维坐标值)计算16个旋转自由度的旋转角。

按上述方案，所述计算全局运动特征时包括对人体高度进行归一化的步骤。

按上述方案，所述步骤4)中对特征进行在线字典学习，字典大小为100，分类器训练级数为100。

按上述方案，所述步骤7)中打分机制的判别具体为：先用多任务大边界最近邻算法计算出测试样本与带标签的训练样本的k近邻样本特征，并以此赋予权值，距离与权值成反比；线性支持向量机对测试样本进行分类时也需赋予权值；最后将同类标签的权值相加，得分比例最高的类别即为测试样本的所属类别。

按上述方案，所述步骤6)中线性支持向量机采用一对多的分类方式。

本发明产生的有益效果是：

(1)本发明充分利用现有体感设备，如Kinect，获取深度图像和彩色图像，一定程度上解决了光照、非人体的动态物体给识别造成的干扰，以及人体朝向角对于识别效率的影响。

(2)本发明中所得到的行为特征较少，且进行了在线字典学习以及稀疏降维，提高行为识别分类处理速率。

(3)本发明中充分利用现有的分类器技术，融合多类分类器，取长补短，提高了分类识别率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为背景技术中传统的基于轮廓的人体行为识别方法的流程图；

图2为背景技术中现有的多任务大边界最近邻算法流程图；

图3为本发明实施例的方法流程图；

图4为本发明动态人体骨架坐标系及关节点自由度标示图；

图5为本发明室内人体行为识别研究方法中多任务大边界最近邻算法与线性分类器融合进行打分机制的流程图；

图6为本发明动态人体骨架坐标及关节点自由度标示图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明室内人体行为识别研究一种基于三维(3 Dimension,3D)骨架特征，多任务大边界最近邻算法(Multi-Task Large Margin Nearest Neighbor，MT-LMNN)与线性支持向量机(Linear Support Vector Machine，LSVM)融合的打分机制识别方法。针对人体行为动作的特点，本发明采用的3D骨架特征数据具有量少、保存关键信息的优势，同时充分地用稀疏字典表示，最后通过引用MT_LMNN与LSVM融合的打分机制识别方法，提高了SVM分类精 度。

如图3所示，图3为本发明室内人体行为识别研究的一个较佳实验案例的处理流程图，该流程包括以下步骤：

步骤1，获取人体三维骨架信息。

本步骤中，采集视频的工具是微软的Kinect设备，分为训练视频集和测试视频，训练视频集与最终识别率呈二项分布。并且采集的视频样本是使用OpenNI库函数，来提取出彩色图像和深度图像，视频格式为ONI格式，样本集均为带标签的。

步骤2，提取三维骨架特征。

本步骤中，提取三维骨架特征，首先使用Kinect获得人体在三维空间中的15个骨骼关节点并依次给以编号，如图4所示，建立人体骨架模型。以躯干中心关节点为坐标原点O，中心点到两肩中心的连线方向为Z轴，两肩方向为X轴，人体朝向为Y轴，建立人体动态坐标系。在人体坐标系中设3、6、9、12为一级关节点，4、7、10、13为二级关节点，5、8、11、14为三级关节点，3-4、6-7、9-10、12-13为一级骨骼段，相应4-5、7-8、10-11、13-14为二级骨骼段。由人体结构连通特性可知，描述人体在三维空间中的姿态只需要用到人体坐标系中一、二级关节点的旋转参数即可。为了适应不同场景中不同的身高，本文首先按照身高的比例，对行为序列进行归一化，然后在几种运动的尺度上进行对多类特征进行提取，一共得到了107种特征。

107种特征的获取：使用Kinect获得人体在三维空间中的15个骨骼关节点并依次给以编号：头部-0、颈部关节-1、躯干中心关节点-2、右肩关节-3、右肘关节-4、右腕关节-5、左肩关节-6、左肘关节-7、左腕关节-8、右髋关节-9、左膝关节-10、左踝关节-11、左髋关节-12、左膝关节-13、左踝关节-14，建立人体骨架模型。以躯干中心关节点为坐标原点O，中心点到两肩中心的连线方向为Z轴，两肩方向为X轴，人体朝向为Y轴，建立人体动态坐标系(如图6)。在人体坐标系中设3、6、9、12为一级关节点，4、7、10、13为二级关节点，5、8、11、14为三级关节点，3-4、6-7、9-10、12-13为一级骨骼段，相应4-5、7-8、10-11、13-14为二级骨骼段。由人体结构连通特性可知，描述人体在三维空间中的姿态只需要用到人体坐标系中一、二级关节点的旋转参数即可。为了适应不同场景中不同的身高，本文首先按照身高的比例，对行为序列进行归一化，然后在几种运动的尺度上进行对多类特征进行提取，一共得到了107种特征。

1)全局运动特征 

全局特征包含身体高度、身体倾斜角、倾斜角速度、朝向角、轨迹等特征，表明人体在三维运动空间中的整体变化。设特征序列为

G₁：身体高度特征序列。指人体头部与最低脚部的距离。设Z表示行为者高度序列，g₁(i)表示行为者第i帧的高度。

G₂：身体倾斜角特征序列。设G₂＝{g₂(i),i＝1,2,…,N}表示行为者倾斜角序列，g₂(i)表示行为者第i帧的人体坐标的Z轴与初始Z轴的夹角。

G₃：身体倾斜角速度特征序列。设G₃＝{g₃(i),i＝1,2,…,N}表示行为者倾斜角序列，g₃(i)表示行为者第i帧的人体坐标的Z轴与第i-1帧Z轴的夹角。

G₄：朝向角特征序列。设G₄＝{g₄(i),i＝1,2,…,N}表示行为者朝向角序列，g₄(i)表示行为者第i帧的人体坐标的Y轴与初始Y轴的夹角。

G₅：朝向角特征序列。设G₅＝{g₅(i),i＝1,2,…,N}表示行为者朝向角序列，g₅(i)表示行为者第i帧的人体坐标的Y轴与第i-1帧Y轴的夹角。

G_6,7,8：速度特征序列。设G_6,7,8＝{g_6,7,8(i),i＝1,2,…,N}表示行为者速度序列，g_6,7,8(i)表示第i帧行为者人体坐标系原点的运动速度在三轴上的大小，。

G_9,10,11：轨迹特征序列。设G_9,10,11＝{g_9,10,11(i),i＝1,2,…,N}表示行为者轨迹序列，g_9,10,11(i)表示行为者第i帧位置与初始帧位置的矢量距离，用人体坐标系的原点表示行为者的位置。

2)手臂、腿部局部运动特征

描述手臂、腿部运动过程中的参数，设手臂序列特征为腿部序列特征为 手臂旋转角特征序列，手臂关节点速度特征序列，手臂关节点轨迹特征序列，腿部旋转角特征序列，腿部关节点速度特征序列，腿部关节点轨迹特征序列。

2.1旋转角特征 

描述关节旋转角参数变化过程，从初始姿态到当前帧姿态。设骨骼段绕人体坐标系X轴、Y轴、Z轴旋转矩阵分别为M_x,M_y,M_z，M_x

如式(1)所示，φ_x为绕X轴旋转角参数，依次类推可以得到M_y,M_z。

$M_x=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& {\cos \mathrm{\φ}}_x& {\sin \mathrm{\φ}}_x& 0\\ 0& {-\sin \mathrm{\φ}}_x& {\cos \mathrm{\φ}}_x& 0\\ 0& 0& 0& 1\end{array}\right)---\left(1\right)$

设r_j,j＝1,2,…,16表示手臂腿部的16个姿势参数，如图1所示。如初始化姿态下3-4骨骼段用向量表示为(x₀,y₀,z₀)^T，在当前帧下其姿态为(x,y,z)^T，将两向量平移使两向量始点与人体坐标系原点重合，则3-4骨骼段绕3旋转等效于4绕O旋转。当前帧下骨骼段3-4姿态用旋转参数r₁r₂表示为：

(x,y,z,1)^T＝M_z(r₂)M_x(r₁)(x₀,y₀,z₀,1)^T      (2) 

令表示手臂旋转角序列，a_k(i)＝{r_i,i＝1,2,...8}_k＝i表示行为者在第i帧下的手臂姿势参数，a_k(i)＝{r_i-r₀,i＝1,2,...8}_k＝i+8为的第i帧手臂姿势参数与初始帧的变化，a_k(i)＝{r_i-r_i-1,i＝1,2,...8}_k＝i+16为第i帧手臂姿势参数与前一帧的变化。

为腿部旋转角序列，l_k(i)＝{r_i,i＝9,10,...16}_k＝i-8表示行为者在第i帧下的手臂姿势参数，l_k(i)＝{r_i-r₀,i＝9,10,...16}_k＝i为的第i帧手臂姿势参数与初始帧的变化，l_k(i)＝{r_i-r_i-1,i＝9,10,...16}_k＝i+8为第i帧手臂姿势参数与前一帧的变化。

2.2速度特征

描述人体关节点的运动速度变化过程。设u₁,u₂,…，u₈分别为4、5、7、8、10、11、13、14关节点的运动速度。令表示行为者手臂关节点速度序列，a_k(i)＝{u_i.x,i＝1,2,3,4}_{k＝1，4，7}为第i帧与第i-1在X轴方向的差值，类似的YZ轴， 表示行为者腿部关节点速度序列，l_k(i)＝{u_i,i＝5,6,7,8}_k＝1,4,7为第i帧与第i-1在X轴方向的差值，类似的YZ轴。

2.3轨迹特征

关节点轨迹序列表示行为序列中人体关节点在人体坐标系中的三维位置的变化过程。设d₁,d₂,…,d₈分别为4、5、7、8、10、11、13、14关节点在人体坐标系中的三维空间坐标。令 表示行为者手臂关节点轨迹序列，a_k(i)＝{d_i.x,i＝1,2,3,4}_k＝1,4,7表示第i帧手臂关节点在人体坐标系内的X坐标值与初始帧的差值，YZ坐标值类似。

表示腿部关节点轨迹序列，其中l_k(i)＝{d_i,i＝5,6,7,8}_k＝1,4,7表示腿部的第i帧手臂关节点在人体坐标系内的X坐标值与初始帧的差值，YZ坐标值类似。

以上，可以得到 $X=\{{\left\{G_k\right\}}_{k=1}^{11},{\left\{A_k\right\}}_{k=1}^{48},{\left\{L_k\right\}}_{k=1}^{48}\}$ 共107种特征。

三维骨架特征分为全局运动特征和手臂、腿部局部运动特征。

全局特征包含身体高度、身体倾斜角、倾斜角速度、朝向角、轨迹等特征，表明人体在三维运动空间中的整体变化。其中身体高度特征序列指人体头部与最低脚部的距离。身体倾斜角特征序列表示行为者第i帧的人体坐标的Z轴与初始Z轴的夹角。身体倾斜角速度特征序列表示行为者第i帧的人体坐标的Z轴与第i-1帧Z轴的夹角。朝向角特征序列表示行为者第i帧的人体坐标的Y轴与初始Y轴的夹角。朝向角速度特征序列表示行为者第i帧的人体坐标的Y轴与第i-1帧Y轴的夹角。速度特征序列表示第i帧行为者人体坐标系原点的运动速度在三轴上的大小。轨迹特征序列表示行为者第i帧位置与初始帧位置的矢量距离，用人体坐标系的原点表 示行为者的位置。

手臂、腿部局部运动特征包括关节点三维位置序列特征、旋转角特征、关节点速度特征、关节点轨迹特征。

其中旋转角特征描述关节旋转角参数变化过程，从初始姿态到当前帧姿态。设X骨骼段绕人体坐标系X轴、Y轴、Z轴旋转矩阵分别为M_x，M_y，M_z，其中M_x如式(1)所示，为绕X轴旋转角参数，依次类推可以得到M_y，M_z。

设r_j,j＝1,2,…,16表示手臂腿部的16个姿势参数，如图4所示。如初始化姿态下3-4骨骼段用向量表示为(x₀,y₀,z₀)^T，在当前帧下其姿态为(x,y,z)^T，将两向量平移使两向量始点与人体坐标系原点重合，则3-4骨骼段绕3旋转等效于4绕O旋转。当前帧下骨骼段3-4姿态用旋转参数r₁r₂表示如式(2)：

(x,y,z,1)^T＝M_z(r₂)M_x(r₁)(x₀,y₀,z₀,1)^T  (2) 

则可计算出骨骼段旋转角序列，第i帧手臂姿势参数与初始帧的变化，以及第i帧手臂姿势参数与前一帧的变化。

步骤3,训练三维骨架特征进行特征描述:对特征进行在线字典学习,然后稀疏主成分分析进行降维,最后融合多任务大边界最近邻算法和线性支持向量机进行联合分类。

本步骤中，通过现有的在线字典学习(Online Dictionary Learning)方法生成字典，在线 学习生成字典比其他离线字典优点在于它能够快速处理数以百万计的样本，并且字典效率高。

在线优化算法学习字典主要是基于随机逼近的方法，对给定训练样本序列X＝[x₁,…,x_n](∈R^m×n)算法核心思想如式(3)所示：

$\underset{D\∈c,\mathrm{\α}\∈R^{k\×n}}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|x_i-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_1---\left(3\right)$

D是R^m×n的字典，n为样本数，x_i为第i个样本，α_i为k维系数矩阵α＝[α₁,…,α_n]中的第i个分量，λ为规范因子。对于(3)式求最小值问题，D跟α不同时具有最小值，但如果固定一个变量，则另一个变量就具有最小值，所以可以通过交替固定一个变量的值，来求解D与α的最优解。迭代求解过程如式(4)、(5)所示。

$\begin{array}{c}{\mathrm{\α}}_t\stackrel{\mathrm{\Δ}}{=}\underset{D\∈c,\mathrm{\α}\∈R^{k\×n}}{\min }\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|x_i-D_{t-1}{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_1,\\ A_t\←A_{t-1}+{\mathrm{\α}}_i{\mathrm{\α}}_i^T,\\ B_t\←B_{t-1}+x_t{\mathrm{\α}}_t^T\end{array}---\left(4\right)$

式(4)中字典初始值D₀可以随机选取，也可以用VQ字典作为初值，A₀，B₀为0。

由(4)式求得参量带入上式求解D_t，不断交替求解直到字典训练完成，字典的详细求解过程可参阅现有文献。

字典学习是机器学习中的一个比较热门的小分支，采用不同的学习方法生成的字典精确 度和训练速度也有一定的差别，而且有监督和无监督字典的训练对后面的分类识别效果也有一定的影响。

为了减少计算机处理特征的困难，本文先通过稀疏主成分分析(SPCA)降维处理，即稀疏描述。稀疏主成分解决了不能给出实际解释的问题，因其可在相当程度上简化主成分的解释，使提取得到的主成分可以给出实际解释，从而达到有效降维的目的。稀疏降维过程其实就是矩阵分解过程，对训练样本矩阵X∈(R^m×n)，试图找到矩阵D∈(R^m×r)，通过D的r列基元线性组合能够很好的近似各个样本，若U∈(R^n×r)表示线性组合系数矩阵，则DU^T就能够近似等于训练样本，这就完成了矩阵分解过程，而原来的样本矩阵完全可以由U来近似代替。一般只需要D中少量基元线性组合就能够近似描述X样本集中的一个样本，如果r小于m从矩阵X到矩阵U的变化过程就实现了稀疏降维，如果r大于p就完成了稀疏描述的过程。

降维是对高位向量处理的常用技术，它以少量的信息损失换取计算机的处理效率。传统主成份分析(PCA)的降维方式是通过特征值分解，由较大的特征对应的特征向量提取主成份。但对处理数据维数较高数量较多时运算速度明显降低或是无法处理，而稀疏主成份分析(SPCA)避开了大矩阵的特征值分解过程，对数据的数量基本上没有限制，通过生成字典来达到降维目的的这种方法灵活性高。由上面训练得到的字典D对原样本降维，统一降到100维。

步骤3中，使用多任务大边界最近邻(Multi-Task Large Margin Nearest Neighbor, MT-LMNN)作为主要分类器之一。MT-LMNN的主要思想是学习马氏距离dt，如式(6)所示。

$d_t(x_i,y_j)=\sqrt{{(x_i-y_j)}^T(M_0+M_t)(x_i-y_j)}---\left(6\right)$

T表示学习任务数量，t作为其中的一次学习任务，M₀(M₀≥0)为共享马氏距离矩阵，M_t(M_t＞0)为当前任务马氏距离矩阵，x_i，x_j为不同的训练样本。M₀获取度量学习共性，M_t获取度量学习个性，如图2所示，图中x_i1表是用第i个样本训练马氏距离矩阵，第一列表示用欧式距离度量，第二、三列表示用马氏距离度量，同一种形状并且同一种颜色代表同一种类型特征，图2中分别表示k-NN的分类结果(k＝3)。

多任务学习的一个重要方面就是如何计算才是适合的学习任务，必须确保学习算法不能过于强调动向参数M₀，也不能过于强调独参数M₁,…,M_T，为了达到平衡，通过式(7)进行规范化。

$\underset{M_0,...,M_T}{\min }={\mathrm{\γ}}_0{\left|\right|M_0-I\left|\right|}_F^2+\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t{\left|\right|M_t\left|\right|}_F^2---\left(7\right)$

其中γ_t为权衡参数(trade-off parameter)用于约束M_t的规范，t＝0,1,…,T，如果γ₀→∞共享度量矩阵变为传统的欧式度量矩阵，而如果γ_t>0→∞则特定任务的M_t为0矩阵。

支持向量算法有很多种，本文使用线性核函数(linear kernel)k(x,x_i)＝(xx_i)和一对多的方法构造实现学习机。一对多(One Against the Rest)在k类和k-1之间构造超平面，一共构造k个分类器，即对于第i类，用第i类的训练样本为正样本，其他类别样本为负样本训练分类 器。本文共训练k×(k-1)/2个2值LSVM分类器，该方法的缺点是当类别较多时训练分类器会很慢，测试时用投票法，得票最多的认为样本所属类。支持向量机的核心思想是超平面，如式(8)所示。

g(x)＝ω·x+b(8)

两类情况：对于两类问题的决策规则，如果g(x)≥0，则判定x属于C1类，反之，则属于C2类，通过训练样本得出参数ω和参数b，对于新输入的样本只需带入式(8)中求其值的正负情况即可。

步骤4，得到训练特征集，每一帧样本有107维数据，然后进行保存，可存于文本文件中，也可存于MAT型数据。

步骤5，提取测试视频的三维骨架特征，过程同步骤2。

步骤6，多任务大边界最近邻算法和线性支持向量机进行特征描述与步骤3一样。

步骤7，得到测试特征，一般为一个视频，此样例可以为训练中的视频，行为者可为已出现过的，也可为未出现过的。

步骤8，使用打分机制做出最佳判决。如图5所示，先用MT-LMNN计算出测试样本与带标签的训练样本的K近邻样本特征并依次赋权值，如：k,k-1,…,1，也就是距离与权值成反比；同样地，用LSVM对测试样本进行分类，并依此赋权值如：2*k-1；最后，将同类标签的权值相加，得分比例最高的类别即为测试样本的所属类别。

为了验证本发明，进行了实验案例的检测。实验平台操作系统为Win7，32位，使用Kinect设备和OpenNI库得到骨骼特征，计算出骨骼相应的全局和局部特征，并在Matlab9.0的环境下对其调试。数据库是人为采集的，共包含5种行为(走路、蹲起站立、踢腿、挥手、扫地)。每种行为序列均由4个行为者(每个行为者做30次)完成，一共520个样本，其中320个样本用于训练，剩下200个样本用于测试。对行为序列样本进行模型训练，取最大迭代次数为100次，以获取参数估计。

表1是用SVM和MT-LMNN结合识别的结果，由于背景简单，本文的抗噪能力强，故识别效果良好，可以看出字典和SPCA联合的识别效果提高了许多。表1中扫地识别结果比较差，有很多视频被误认，但通过字典和SPCA融合，识别效率有明显的提高，总体识别效率也有所提高。

表1基于SVM+MT-LMNN分类器的识别结果

接下来在字典+SPCA的基础上对分类器进行结果分析。如表2所示，实验结果表明：SVM与MT-LMNN联合识别正确率要有所提高，这是因为这两分类器在识别决策中存在一定的错误交叉，通过联合识别可以得到一定的弥补。表2中走路、蹲起站立和扫地识别较差，有部分蹲起站立被识别为踢腿或走路行为，但通过本文的SVM+MT-LMNN方法，识别效果明显提高，总体识别率也有所提高。

表2基于字典+SPCA特征筛选的识别结果

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种室内人体行为识别的方法，其特征在于，包括以下步骤：

1）通过体感设备获取人体三维骨架信息；

2）根据三维骨架信息计算三维骨架特征，所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；

3）提取测试视频集中的三维骨架特征；

4）训练测试视频集中的三维骨架特征进行特征描述，得到训练特征集；具体过程如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维；最后融合多任务大边界最近邻算法和线性支持向量机进行联合分类；

5）提取待识别视频中的人体三维骨架特征；

6）使用多任务大边界最近邻算法和线性支持向量机对步骤5）中的人体三维骨架特征进行分类得到特征描述；

7）将训练特征集与步骤6）中的特征描述通过打分机制做出人体行为识别判决。

2.根据权利要求1所述的方法，其特征在于，所述体感设备为Kinect设备。

3.根据权利要求1所述的方法，其特征在于，所述体感设备使用OpenNI库函数提取出彩色图像和深度图像，视频格式为ONI格式，样本集均为带标签的。

4.根据权利要求1所述的方法，其特征在于，所述步骤1）中三维骨架信息为骨骼关节点的三维坐标；所述骨骼关节点的三维坐标以Kinect设备为世界坐标系，建立人体骨骼的动态坐标。

5.根据权利要求1所述的方法，其特征在于，所述全局运动特征包括：身体高度特征、身体倾斜角特征、身体倾斜角速度特征、朝向角特征、朝向角速度特征、人体速度特征和轨迹特征；手臂、腿部局部运动特征包括：旋转角特征、速度特征和轨迹特征。

6.根据权利要求5所述的方法，其特征在于，所述手臂、腿部局部运动特征中旋转角特征的计算方法为：A、设定手臂四个关节点和腿部四个关节点的旋转自由度，手臂为人体朝向方向向量和人体站立方向向量，腿部为平行于人体面方向向量和人体朝向方向向量，共16个旋转自由度；B、根据骨架初始姿态和当前姿态计算16个旋转自由度的旋转角。

7.根据权利要求5所述的方法，其特征在于，所述计算全局运动特征时包括对人体高度进行归一化的步骤。

8.根据权利要求1所述的方法，其特征在于，所述步骤4）中对特征进行在线字典学习，字典大小为100，分类器训练级数为100。

9.根据权利要求1所述的方法，其特征在于，所述步骤7）中打分机制的判别具体为：先用多任务大边界最近邻算法计算出测试样本与带标签的训练样本的k近邻样本特征，并以此赋予权值，距离与权值成反比；线性支持向量机对测试样本进行分类时也需赋予权值；最后将同类标签的权值相加，得分比例最高的类别即为测试样本的所属类别。

10.根据权利要求1所述的方法，其特征在于，所述步骤6）中线性支持向量机采用一对多的分类方式。