CN110263720A - 基于深度图像和骨骼信息的动作识别方法 - Google Patents

Abstract

一种基于深度图像与骨骼信息的人体动作识别方法。其包括采集人体动作视频，从中提取深度图像和骨骼动作帧序列；从深度图像中提取出全局点云特征向量；从骨骼动作帧序列中生成骨骼点特征向量；将全局点云特征向量和骨骼点特征向量输入两个SVM分类器中进行训练，得到两个动作分类模型；利用两个动作分类模型对待识别人体动作样本的类别进行识别等步骤。本发明提供的基于深度图像与骨骼信息的人体动作识别方法基于深度图像生成运动历史点云，提取运动历史点云的全局特征，同时融合骨骼点特征，结合两种特征，提高了动作识别的鲁棒性。

Description

基于深度图像和骨骼信息的动作识别方法

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及一种基于深度图像与骨骼信息的人体动作识别方法。

背景技术

随着计算机技术的快速发展，对于动作识别的需要越来越迫切，在诸如：智能视频监控、病人监护系统、人机交互、虚拟现实、智能家居，游戏体感等领域将有着越来越重要的应用。

在动作识别早期阶段，大量使用传统的RGB视频序列进行动作识别，但这种方式对各种因素极为敏感，例如：光照变化，视点变化，遮挡和背景因素，使得行为识别仍然面临着挑战。随着技术的进步，近年来出现了配有深度传感器的深度摄像机，例如微软的kinect深度摄像机和华硕公司的Xtiont深度摄像机。这种深度摄像机既能获取传统RGB图像，并且可以同时获取高质量的深度图像和骨骼信息。与传统相机相比，深度相机具有对周围因素影响不敏感等一系列优点，因此利用深度摄像机进行人体动作识别也逐渐成为研究的热点。

利用深度相机识别人体动作主要分为两大类：(1)利用深度图像实现动作识别。Yang等提出将深度图像序列投影到笛卡儿积平面上获得3个方向上的深度运动图(depthmotion map,DMM)，对深度运动图提取梯度直方图。Liu等人提出利用运动历史点云(MotionHistory Point cloud，MHPC)对动作视频进行表示，其将一个动作的深度图序列看作是一个整体进行处理，完整地保留了动作的空间与时序信息，完成了对动作的全局表示。中国专利公开号CN105912999A中公开了一种基于深度图像生成运动历史点云进行动作识别的方法，但准确识别需要较高质量的点云的数据，并且该方法无法对运动历史点云高效提取特征。(2)利用骨骼信息进行动作识别。Wang等人提出运用关键姿态序列(Key-pose-motif)对动作进行描述，对动作方式的差异具有鲁棒性。Xia等人提出关节点位置直方图(Histogramof 3D Joint Location,HOJ3D)对人体动作进行表示，采用离散隐马尔科夫模型进行分类。这两种方法依然对骨骼信息提出较高要求，在训练样本数量相对较少的情况下，常常会导致过度拟合，无法满足识别的准确度要求。

发明内容

为了解决上述问题，本发明的目在于提供一种基于深度图像与骨骼信息的人体动作识别方法。

为了达到上述目的，本发明提供的基于骨骼信息和深度图像的动作识别方法包括按顺序进行的下列步骤：

1)利用深度摄像机采集人体动作视频，然后从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，由所有人的人体动作样本构成训练样本；

2)对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν；

3)对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F；

4)将按上述步骤1)至3)得到的大量训练样本的全局点云特征向量ν和骨骼点特征向量F分别输入到两个SVM分类器中进行训练，得到所需要的两个动作分类模型；

5)利用上述两个动作分类模型对待识别人体动作样本的类别进行识别。

在步骤2)中，所述的对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν的方法是：

(1)对深度图像进行预处理；

依据深度值的大小从深度图像中获取人体动作区域，由此将人体动作区域和背景区域分离开；

然后应用背景差分法检测人体运动区域中的人体，公式如下：

其中，D(x,y)为深度图像中某个像素点与深度摄像机间的距离；D'(x,y)为深度图像中当前像素点与深度摄像机间的距离；σ_th为预先设定的距离阈值；D_bk(x,y)为某个像素点背景的距离；

(2)将每一帧预处理后的深度图像进行坐标转换，生成运动历史点云；

将每一帧预处理后的深度图像从二维坐标系转换到三维相机坐标系下，得到人体的实际三维坐标数据，然后将三维相机坐标系下三维点的X、Y、Z值赋给点云三维点的X、Y、Z值，以点云的存储格式表示三维坐标数据，得到三维人体运动历史体；运动历史点云是由每一帧深度图像得到的三维人体运动历史体填充而生成；

运动历史点云是将一个动作序列压缩成一个包含空间信息与时间信息的点的集合，公式为MHPC＝{P₁,P₂,...,P_n}，其中n表示MHPC中点的个数；点云中任一点的坐标定义为P_i(x,y,z,h),i∈(1,n)，其中P_i.x,P_i.y,P_i.z是指在三维相机坐标系下点的x,y,z坐标值，用来记录人体动作的发生位置；P_i.h为深度图像的帧号，用来记录该点的发生时间；

(3)对生成的运动历史点云进行降采样；

(4)从降采样后的运动历史点云中提取出全局点云特征向量；

具体方法如下：

(4.1)计算运动历史点云中每一个点的法线；

运动历史点云中每一个点p_i对应一个协方差矩阵C，公式如下：

其中，k表示点p_i邻近点的数目，表示最近邻近点的三维质心，λ_j表示协方差矩阵的第j个特征值，表示第j个特征向量，v_p表示视点方向向量；

通过上式得到运动历史点云中每一个点p_i的法线

(4.2)利用上述法线计算降采样后的运动历史点云的中心点与任意一点之间的三个角度，得到三组n维向量；

通过下列公式可以计算出该运动历史点云的中心点与任意一点之间的三个角度α，φ，θ：

其中，和为运动历史点云中两个点的坐标，和分别为点和点对应的法线，ν,u,w为定义的三个坐标轴方向向量，n为运动历史点云中点的数量；

通过计算运动历史点云的中心点与每一点之间的三个角度α，φ，θ，可以得到三组{α₁,α₂,α₃…α_n}，{β₁,β₂,β₃…β_n}，{θ₁,θ₂,θ₃…θ_n}n维向量；

(4.3)连接每组n维向量；

通过转换矩阵可将每组n维向量降维成一个50维向量，然后将三组50维向量连接起来，最后得到一个150维的全局点云特征向量ν，作为一个人体动作样本的点云特征；

其中：

为计算得到的三组n维向量；

为转换矩阵；

为降维后得到的的全局点云特征向量；

则连接后的[α₁,α₂,α₃…α₅₀,β₁,β₂,β₃…β₅₀,θ₁,θ₂,θ₃…θ₅₀]为连接后的全局点云特征向量。

在步骤3)中，所述的对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F的方法是：

骨骼动作帧序列为人体运动期间的多个骨骼动作帧，每一骨骼动作帧保存三维相机坐标系下的20个人体骨骼点坐标，具体为头部、右肩、脊柱中心、右肘、右腕、右手、右臀部、右膝盖、右踝、颈部、左肩、臀部中心、左肘、左腕、左手、左臀部、左膝盖、左踝和左脚，用来表示所有人体骨骼点在三维相机坐标系下的三维坐标；

具体方法如下：

(1)对骨骼动作帧序列进行预处理，去除掉一部分冗余帧；

(2)将预处理后的骨骼动作帧序列进行坐标变换；

由于三维相机坐标系并不是真实世界中的坐标，在这里需要转换到实际场景坐标才有意义，实际场景骨骼点坐标用表示；设深度摄像机在X轴、Y轴、Z轴的偏转角度分别为θ_x,θ_y,θ_z，实际场景坐标系与三维相机坐标系原点的偏移量为Δx,Δy,Δz；通过下式就可以实现从三维相机坐标系到实际场景坐标系之间的转换：

其中：

即在实际场景坐标系下所有人体骨骼点三维坐标用来表示；

(3)从经过坐标变换的骨骼动作帧序列中分别计算出人体骨骼帧的相对位移特征、相对位置特征和相对角度特征，得到各自的特征集合，然后将上述三组特征集合合并成一个局部特征集合，之后聚类生成k类字典，最后生成骨骼点特征向量；

具体方法如下：

(3.1)计算相对位移特征，得到相对位移特征特征集合；

将第s+1骨骼动作帧和第s-1骨骼动作帧下的头部、右手、左手、右脚和左脚坐标的位移差值作为相对位移特征，计算公式如下：

表示第s骨骼动作帧下人体骨骼点i的坐标ΔT是第s+1骨骼动作帧和第s-1骨骼动作帧之间的时间间隔，s为总的骨骼动作帧数量；一个人体动作样本的相对位移特征构成的特征集合为

(3.2)计算相对位置特征，得到相对位置特征集合；

将第s骨骼动作帧下头部与脊柱中心、左手与脊柱中心、右手与脊柱中心的坐标差值作为相对位置特征，计算公式如下：

其中，表示第s骨骼动作帧下头、左手、右手的坐标 表示第s骨骼动作帧下中心骨骼点脊柱中心的坐标s为骨骼动作帧；则一个人体动作样本的相对位置特征构成的特征集合为

(3.3)计算相对角度特征，得到相对角度特征集合；

将第s骨骼动作帧时头与脊柱中心的余弦值、左手与脊柱中心的余弦值、右手与脊柱中心的余弦值这三个余弦值作为相对角度特征，计算公式如下：

其中，表示第s骨骼动作帧下头部、左手、右手的坐标 表示第s骨骼动作帧下脊柱中心的坐标s为骨骼动作帧，则一个人体动作样本的相对角度特征构成的特征集合为

(3.4)将上述三组特征集合合并成一个局部特征集合{ν_s}，作为一个人体动作样本的特征集合；

(3.5)将所有人体动作样本的特征集合合并成一个总体特征集合，然后聚类生成k类字典；

将所有人体动作样本的特征集合合并成一个总体特征集合{ν_s}，然后将总体特征集合用K-means聚类方法生成k类字典{c}＝{c₁,c₂,c₃...c_i},i∈(1,k)；

(3.6)采用VLAD算法并利用上述字典从人体动作样本中生成骨骼点特征向量；

具体方法如下：

一个人体动作样本的局部特征集合为{ν_s}＝[x₁,x₂,x₃,......x_N]，其中N为局部特征的个数，

第一步：

将每个局部特征量化到最近邻的字典，并计算其与最近邻字典的残差，字典c_i的残差计算公式如下：

其中c_i∈{c}，NN(x)＝c_i表示字典c_i为局部特征集合{ν_s}的最近邻字典，v_i表示人体动作样本中最近邻字典中属于字典c_i的所有局部特征集合与字典c_i的残差累计和；

第二步：

将所有字典上的残差进行串联，得到VLAD特征向量F＝[v₁,v₂,...v_k]，利用主成分分析法归一化生成相同维度的特征向量F，作为一个人体动作样本的骨骼点特征向量。

在步骤5)中，所述的利用上述两个动作分类模型对待识别人体动作样本的类别进行识别的方法是：

(1)将待识别人体动作视频按上述步骤1)至3)进行处理而得到的全局点云特征向量ν和骨骼点特征向量F；

(2)将上述全局点云特征向量ν和骨骼点特征向量F分别输入到上述步骤4)中获得的两个对应的动作分类模型中，SVM分类器的输出是每个人体动作类别标签的准确率，并将其大小归一化为[0,1]，得到两个概率向量为y_q＝[y₁,…,y_k,…y_C],q∈{1,2},y_k∈{0,1}(1≤k≤C)，其中C为人体动作样本的动作类别总数；

(3)对上述两个概率向量进行加权相加，得到最后的总概率向量，然后取概率向量中准确率最大值所在的类别作为待识别人体动作样本的类别，从而实现人体动作识别，识别公式如下：

其中，α_q为权值，取值范围为0—1，y_q为分类器SVM输出的概率向量，Q为SVM分类器的数量，y^*为加权相加后准确率最大值所在的类别。

本发明提供的基于深度图像与骨骼信息的人体动作识别方法基于深度图像生成运动历史点云，提取运动历史点云的全局特征，同时融合骨骼点特征，结合两种特征，提高了动作识别的鲁棒性。

附图说明

图1为本发明提供的基于骨骼信息和深度图像的动作识别方法流程图；

图2为运动历史点云生成流程图；

图3为基于深度图像生成的运动历史点云示意图；

图4为全局点云特征向量计算定义的坐标系；

图5为人体骨骼点示意图

具体实施方式

下面结合附图对本发明提供的基于骨骼信息和深度图像的动作识别方法作进一步详细描述。

如图1所示，本发明提供的基于骨骼信息和深度图像的动作识别方法包括按顺序进行的下列步骤：

1)利用微软的kinect深度摄像机采集人体动作视频，然后通过微软提供的api接口从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，由所有人的人体动作样本构成训练样本；

2)对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν；

具体步骤如下：

(1)对深度图像进行预处理；

深度摄像机采集的深度图像中包括人体动作区域和背景区域，为了更利于后续特征向量提取，首先对深度图像进行预处理，方法是依据深度值(即深度摄像机上深度传感器的距离值)的大小从深度图像中获取人体动作区域，由此将人体动作区域和背景区域分离开。

然后应用背景差分法检测人体运动区域中的人体，公式如下：

其中，D(x,y)为深度图像中某个像素点与深度摄像机间的距离；D'(x,y)为深度图像中当前像素点与深度摄像机间的距离；σ_th为预先设定的距离阈值；D_bk(x,y)为某个像素点背景的距离。

(2)将每一帧预处理后的深度图像进行坐标转换，生成运动历史点云；

如图2所示，将每一帧预处理后的深度图像从二维坐标系转换到三维相机坐标系下，得到人体的实际三维坐标数据，然后将三维相机坐标系下三维点的X、Y、Z值赋给点云三维点的X、Y、Z值，以点云的存储格式表示三维坐标数据，得到三维人体运动历史体。运动历史点云是由每一帧深度图像得到的三维人体运动历史体填充而生成，所生成的运动历史点云(MHPC)如图3所示。

运动历史点云是将一个动作序列压缩成一个包含空间信息与时间信息的点的集合，公式为MHPC＝{P₁,P₂,...,P_n}，其中n表示MHPC中点的个数。点云中任一点的坐标定义为P_i(x,y,z,h),i∈(1,n)，其中P_i.x,P_i.y,P_i.z是指在三维相机坐标系下点的x,y,z坐标值，用来记录人体动作的发生位置；P_i.h为深度图像的帧号，用来记录该点的发生时间。

(3)对生成的运动历史点云进行降采样；

由于上述生成的运动历史点云数据量庞大，直接提取全局点云特征向量耗费时间，为了加快算法的计算和识别速度，需要对生成的运动历史点云进行降采样以降低点云密度；

(4)从降采样后的运动历史点云中提取出全局点云特征向量；

具体方法如下：

(4.1)计算运动历史点云中每一个点的法线；

运动历史点云中每一个点p_i对应一个协方差矩阵C，公式如下：

其中，k表示点p_i邻近点的数目，表示最近邻近点的三维质心，λ_j表示协方差矩阵的第j个特征值，表示第j个特征向量，v_p表示视点方向向量；

通过上式得到运动历史点云中每一个点p_i的法线

(4.2)利用上述法线计算降采样后的运动历史点云的中心点与任意一点之间的三个角度，得到三组n维向量；

全局点云特征向量计算定义的坐标系如图4所示，在运动历史点云的中心点上定义了如上的一个固定的局部坐标系，通过下列公式可以计算出该运动历史点云的中心点与任意一点之间的三个角度α，φ，θ：

其中，和为运动历史点云中两个点的坐标，和分别为点和点对应的法线，ν,u,w为定义的三个坐标轴方向向量，n为运动历史点云中点的数量。

通过计算运动历史点云的中心点与每一点之间的三个角度α，φ，θ，可以得到三组{α₁,α₂,α₃…α_n}，{β₁,β₂,β₃…β_n}，{θ₁,θ₂,θ₃…θ_n}n维向量。

(4.3)连接每组n维向量；

通过转换矩阵可将每组n维向量降维成一个50维向量，然后将三组50维向量连接起来，最后得到一个150维的全局点云特征向量ν，作为一个人体动作样本的点云特征。

其中：

为计算得到的三组n维向量；

为转换矩阵；

为降维后得到的的全局点云特征向量；

则连接后的[α₁,α₂,α₃…α₅₀,β₁,β₂,β₃…β₅₀,θ₁,θ₂,θ₃…θ₅₀]为连接后的全局点云特征向量。

3)对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子(VLAD)算法生成骨骼点特征向量F；

通过微软提供的api接口从人体动作视频中得到的骨骼动作帧序列为人体运动期间的多个骨骼动作帧，每一骨骼动作帧保存三维相机坐标系下的20个人体骨骼点坐标，具体为头部、右肩、脊柱中心、右肘、右腕、右手、右臀部、右膝盖、右踝、颈部、左肩、臀部中心、左肘、左腕、左手、左臀部、左膝盖、左踝和左脚，如图5所示。用来表示所有人体骨骼点在三维相机坐标系下的三维坐标；

具体方法如下：

(1)对骨骼动作帧序列进行预处理；

由于骨骼动作帧序列中包含大量的冗余帧，所以需要首先去除掉一部分冗余帧。

(2)将预处理后的骨骼动作帧序列进行坐标变换；

由于三维相机坐标系并不是真实世界中的坐标，在这里需要转换到实际场景坐标才有意义，实际场景骨骼点坐标用表示。设深度摄像机在X轴、Y轴、Z轴的偏转角度分别为θ_x,θ_y,θ_z，实际场景坐标系与三维相机坐标系原点的偏移量为Δx,Δy,Δz。通过下式就可以实现从三维相机坐标系到实际场景坐标系之间的转换。

其中：

即在实际场景坐标系下所有人体骨骼点三维坐标用来表示。

(3)从经过坐标变换的骨骼动作帧序列中分别计算出人体骨骼帧的相对位移特征、相对位置特征和相对角度特征，得到各自的特征集合，然后将上述三组特征集合合并成一个局部特征集合，之后聚类生成k类字典，最后生成骨骼点特征向量；

分别计算人体骨骼点不同特征的主要目的是获得更小的特征，而较小的特征集合能够更好利用VLAD(局部聚合描述子向量)算法聚合生成骨骼点特征向量。

具体方法如下：

(3.1)计算相对位移特征，得到相对位移特征特征集合；

将第s+1骨骼动作帧和第s-1骨骼动作帧下的头部、右手、左手、右脚和左脚坐标的位移差值作为相对位移特征，计算公式如下：

表示第s骨骼动作帧下人体骨骼点i的坐标ΔT是第s+1骨骼动作帧和第s-1骨骼动作帧之间的时间间隔，s为总的骨骼动作帧数量。一个人体动作样本的相对位移特征构成的特征集合为

(3.2)计算相对位置特征，得到相对位置特征集合；

将第s骨骼动作帧下头部与脊柱中心、左手与脊柱中心、右手与脊柱中心的坐标差值作为相对位置特征，计算公式如下：

其中，表示第s骨骼动作帧下头、左手、右手的坐标 表示第s骨骼动作帧下中心骨骼点脊柱中心的坐标s为骨骼动作帧。则一个人体动作样本的相对位置特征构成的特征集合为

(3.3)计算相对角度特征，得到相对角度特征集合；

将第s骨骼动作帧时头与脊柱中心的余弦值、左手与脊柱中心的余弦值、右手与脊柱中心的余弦值这三个余弦值作为相对角度特征，计算公式如下：

其中，表示第s骨骼动作帧下头部、左手、右手的坐标 表示第s骨骼动作帧下脊柱中心的坐标s为骨骼动作帧，则一个人体动作样本的相对角度特征构成的特征集合为

(3.4)将上述三组特征集合合并成一个局部特征集合{ν_s}，作为一个人体动作样本的特征集合；

(3.5)将所有人体动作样本的特征集合合并成一个总体特征集合，然后聚类生成k类字典；

将所有人体动作样本的特征集合合并成一个总体特征集合{ν_s}，然后将总体特征集合用K-means聚类方法生成k类字典{c}＝{c₁,c₂,c₃...c_i},i∈(1,k)；

(3.6)采用VLAD算法并利用上述字典从人体动作样本中生成骨骼点特征向量；

具体方法如下：

一个人体动作样本的局部特征集合为{ν_s}＝[x₁,x₂,x₃,......x_N]，其中N为局部特征的个数，

第一步：

将每个局部特征量化到最近邻的字典，并计算其与最近邻字典的残差，字典c_i的残差计算公式如下：

其中c_i∈{c}，NN(x)＝c_i表示字典c_i为局部特征集合{ν_s}的最近邻字典，v_i表示人体动作样本中最近邻字典中属于字典c_i的所有局部特征集合与字典c_i的残差累计和；

第二步：

将所有字典上的残差进行串联，得到VLAD特征向量F＝[v₁,v₂,...v_k]，利用主成分分析法(PCA)归一化生成相同维度的特征向量F，作为一个人体动作样本的骨骼点特征向量；

4)将按上述步骤1)至3)得到的大量训练样本的全局点云特征向量ν和骨骼点特征向量F分别输入到两个SVM分类器中进行训练，得到所需要的两个动作分类模型；

5)利用上述两个动作分类模型对待识别人体动作样本的类别进行识别；

具体方法如下：

(1)将待识别人体动作视频按上述步骤1)至3)进行处理而得到的全局点云特征向量ν和骨骼点特征向量F；

(2)将上述全局点云特征向量ν和骨骼点特征向量F分别输入到上述步骤4)中获得的两个对应的动作分类模型中，SVM分类器的输出是每个人体动作类别标签的准确率，并将其大小归一化为[0,1]，得到两个概率向量为y_q＝[y₁,…,y_k,…y_C],q∈{1,2},y_k∈{0,1}(1≤k≤C)，其中C为人体动作样本的动作类别总数。

(3)对上述两个概率向量进行加权相加，得到最后的总概率向量，然后取概率向量中准确率最大值所在的类别作为待识别人体动作样本的类别，从而实现人体动作识别。识别公式如下：

其中，α_q为权值，取值范围为0—1，y_q为分类器SVM输出的概率向量，Q为SVM分类器的数量，y^*为加权相加后准确率最大值所在的类别。

Claims (4)

1.一种基于骨骼信息和深度图像的动作识别方法，其特征在于：所述的基于骨骼信息和深度图像的动作识别方法包括按顺序进行的下列步骤：

1)利用深度摄像机采集人体动作视频，然后从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，由所有人的人体动作样本构成训练样本；

2)对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν；

3)对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F；

4)将按上述步骤1)至3)得到的大量训练样本的全局点云特征向量ν和骨骼点特征向量F分别输入到两个SVM分类器中进行训练，得到所需要的两个动作分类模型；

5)利用上述两个动作分类模型对待识别人体动作样本的类别进行识别。

2.根据权利要求1所述的基于骨骼信息和深度图像的动作识别方法，其特征在于：在步骤2)中，所述的对上述训练样本中的每一帧深度图像进行预处理以去除背景干扰，然后由预处理后的多帧深度图像生成运动历史点云，之后对运动历史点云进行降采样，以减少点云数量和提高识别速度，然后从降采样后的运动历史点云中提取出全局点云特征向量ν的方法是：

(1)对深度图像进行预处理；

依据深度值的大小从深度图像中获取人体动作区域，由此将人体动作区域和背景区域分离开；

然后应用背景差分法检测人体运动区域中的人体，公式如下：

其中，D(x,y)为深度图像中某个像素点与深度摄像机间的距离；D'(x,y)为深度图像中当前像素点与深度摄像机间的距离；σ_th为预先设定的距离阈值；D_bk(x,y)为某个像素点背景的距离；

(2)将每一帧预处理后的深度图像进行坐标转换，生成运动历史点云；

将每一帧预处理后的深度图像从二维坐标系转换到三维相机坐标系下，得到人体的实际三维坐标数据，然后将三维相机坐标系下三维点的X、Y、Z值赋给点云三维点的X、Y、Z值，以点云的存储格式表示三维坐标数据，得到三维人体运动历史体；运动历史点云是由每一帧深度图像得到的三维人体运动历史体填充而生成；

运动历史点云是将一个动作序列压缩成一个包含空间信息与时间信息的点的集合，公式为MHPC＝{P₁,P₂,...,P_n}，其中n表示MHPC中点的个数；点云中任一点的坐标定义为P_i(x,y,z,h),i∈(1,n)，其中P_i.x,P_i.y,P_i.z是指在三维相机坐标系下点的x,y,z坐标值，用来记录人体动作的发生位置；P_i.h为深度图像的帧号，用来记录该点的发生时间；

(3)对生成的运动历史点云进行降采样；

(4)从降采样后的运动历史点云中提取出全局点云特征向量；

具体方法如下：

(4.1)计算运动历史点云中每一个点的法线；

运动历史点云中每一个点p_i对应一个协方差矩阵C，公式如下：

其中，k表示点p_i邻近点的数目，表示最近邻近点的三维质心，λ_j表示协方差矩阵的第j个特征值，表示第j个特征向量，v_p表示视点方向向量；

通过上式得到运动历史点云中每一个点p_i的法线

(4.2)利用上述法线计算降采样后的运动历史点云的中心点与任意一点之间的三个角度，得到三组n维向量；

通过下列公式可以计算出该运动历史点云的中心点与任意一点之间的三个角度α，φ，θ：

其中，和为运动历史点云中两个点的坐标，和分别为点和点对应的法线，ν,u,w为定义的三个坐标轴方向向量，n为运动历史点云中点的数量；

通过计算运动历史点云的中心点与每一点之间的三个角度α，φ，θ，可以得到三组{α₁,α₂,α₃…α_n}，{β₁,β₂,β₃…β_n}，{θ₁,θ₂,θ₃…θ_n}n维向量；

(4.3)连接每组n维向量；

通过转换矩阵可将每组n维向量降维成一个50维向量，然后将三组50维向量连接起来，最后得到一个150维的全局点云特征向量ν，作为一个人体动作样本的点云特征；

其中：

为计算得到的三组n维向量；

为转换矩阵；

为降维后得到的的全局点云特征向量；

则连接后的[α₁,α₂,α₃…α₅₀,β₁,β₂,β₃…β₅₀,θ₁,θ₂,θ₃…θ₅₀]为连接后的全局点云特征向量。

3.根据权利要求1所述的基于骨骼信息和深度图像的动作识别方法，其特征在于：在步骤3)中，所述的对步骤1)得到的骨骼动作帧序列进行预处理，去除其中的冗余帧，然后分别提取每一骨骼动作帧的相对位移、相对位置和相对角度特征，得到特征集合，利用局部聚合向量描述子算法生成骨骼点特征向量F的方法是：

骨骼动作帧序列为人体运动期间的多个骨骼动作帧，每一骨骼动作帧保存三维相机坐标系下的20个人体骨骼点坐标，具体为头部、右肩、脊柱中心、右肘、右腕、右手、右臀部、右膝盖、右踝、颈部、左肩、臀部中心、左肘、左腕、左手、左臀部、左膝盖、左踝和左脚，用来表示所有人体骨骼点在三维相机坐标系下的三维坐标；

具体方法如下：

(1)对骨骼动作帧序列进行预处理，去除掉一部分冗余帧；

(2)将预处理后的骨骼动作帧序列进行坐标变换；

由于三维相机坐标系并不是真实世界中的坐标，在这里需要转换到实际场景坐标才有意义，实际场景骨骼点坐标用表示；设深度摄像机在X轴、Y轴、Z轴的偏转角度分别为θ_x,θ_y,θ_z，实际场景坐标系与三维相机坐标系原点的偏移量为Δx,Δy,Δz；通过下式就可以实现从三维相机坐标系到实际场景坐标系之间的转换：

其中：

即在实际场景坐标系下所有人体骨骼点三维坐标用来表示；

(3)从经过坐标变换的骨骼动作帧序列中分别计算出人体骨骼帧的相对位移特征、相对位置特征和相对角度特征，得到各自的特征集合，然后将上述三组特征集合合并成一个局部特征集合，之后聚类生成k类字典，最后生成骨骼点特征向量；

具体方法如下：

(3.1)计算相对位移特征，得到相对位移特征特征集合；

将第s+1骨骼动作帧和第s-1骨骼动作帧下的头部、右手、左手、右脚和左脚坐标的位移差值作为相对位移特征，计算公式如下：

表示第s骨骼动作帧下人体骨骼点i的坐标ΔT是第s+1骨骼动作帧和第s-1骨骼动作帧之间的时间间隔，s为总的骨骼动作帧数量；一个人体动作样本的相对位移特征构成的特征集合为

(3.2)计算相对位置特征，得到相对位置特征集合；

将第s骨骼动作帧下头部与脊柱中心、左手与脊柱中心、右手与脊柱中心的坐标差值作为相对位置特征，计算公式如下：

其中，表示第s骨骼动作帧下头、左手、右手的坐标 表示第s骨骼动作帧下中心骨骼点脊柱中心的坐标s为骨骼动作帧；则一个人体动作样本的相对位置特征构成的特征集合为

(3.3)计算相对角度特征，得到相对角度特征集合；

将第s骨骼动作帧时头与脊柱中心的余弦值、左手与脊柱中心的余弦值、右手与脊柱中心的余弦值这三个余弦值作为相对角度特征，计算公式如下：

其中，表示第s骨骼动作帧下头部、左手、右手的坐标 表示第s骨骼动作帧下脊柱中心的坐标s为骨骼动作帧，则一个人体动作样本的相对角度特征构成的特征集合为

(3.4)将上述三组特征集合合并成一个局部特征集合{ν_s}，作为一个人体动作样本的特征集合；

(3.5)将所有人体动作样本的特征集合合并成一个总体特征集合，然后聚类生成k类字典；

将所有人体动作样本的特征集合合并成一个总体特征集合{ν_s}，然后将总体特征集合用K-means聚类方法生成k类字典{c}＝{c₁,c₂,c₃...c_i},i∈(1,k)；

(3.6)采用VLAD算法并利用上述字典从人体动作样本中生成骨骼点特征向量；

具体方法如下：

一个人体动作样本的局部特征集合为{ν_s}＝[x₁,x₂,x₃,......x_N]，其中N为局部特征的个数，

第一步：

将每个局部特征量化到最近邻的字典，并计算其与最近邻字典的残差，字典c_i的残差计算公式如下：

其中c_i∈{c}，NN(x)＝c_i表示字典c_i为局部特征集合{ν_s}的最近邻字典，v_i表示人体动作样本中最近邻字典中属于字典c_i的所有局部特征集合与字典c_i的残差累计和；

第二步：

将所有字典上的残差进行串联，得到VLAD特征向量F＝[v₁,v₂,...v_k]，利用主成分分析法归一化生成相同维度的特征向量F，作为一个人体动作样本的骨骼点特征向量。

4.根据权利要求1至3中任一项所述的基于骨骼信息和深度图像的动作识别方法，其特征在于：在步骤5)中，所述的利用上述两个动作分类模型对待识别人体动作样本的类别进行识别的方法是：

(1)将待识别人体动作视频按上述步骤1)至3)进行处理而得到的全局点云特征向量ν和骨骼点特征向量F；

(2)将上述全局点云特征向量ν和骨骼点特征向量F分别输入到上述步骤4)中获得的两个对应的动作分类模型中，SVM分类器的输出是每个人体动作类别标签的准确率，并将其大小归一化为[0,1]，得到两个概率向量为y_q＝[y₁,…,y_k,…y_C],q∈{1,2},y_k∈{0,1}(1≤k≤C)，其中C为人体动作样本的动作类别总数；

(3)对上述两个概率向量进行加权相加，得到最后的总概率向量，然后取概率向量中准确率最大值所在的类别作为待识别人体动作样本的类别，从而实现人体动作识别，识别公式如下：

其中，α_q为权值，取值范围为0—1，y_q为分类器SVM输出的概率向量，Q为SVM分类器的数量，y^*为加权相加后准确率最大值所在的类别。