CN106156714A - 基于骨骼关节特征和表面特征融合的人体行为识别方法 - Google Patents

Abstract

本发明公开了一种人体行为识别方法，具体为一种新的结合骨骼局部的关节特征和全局的表面特征的融合框架进行行为识别的方法。首先，收集整个序列的关节特征和表面特征，并且分别地对上述收集到的特征进行训练支持向量机(SVM)模型；然后对待检测某一行为的每一种特征(关节或者表面)都进行标签类的匹配；最后，将上述匹配后的两种特征进行融合，通过融合框架计算特征概率来进行人体行为识别。本发明不但能够提供人体每个行为的独特性信息，同时，由于该方法融合了人们的局部深度信息和全局深度信息，因此，能够识别具有挑战性的人体行为。

Description

基于骨骼关节特征和表面特征融合的人体行为识别方法

技术领域

本发明涉及行为识别技术领域，尤其涉及一种基于骨骼关节特征和表面特征的融合框架进行人体行为识别的方法。

背景技术

行为识别距今有很长的研究历史，有调查显示，骨骼和表面的特征与2D形状的表示密切相关。关键的问题包括组内变化，例如人们姿势变化、畸变、自遮挡等和组外的噪声，例如不同行为可能在实践中有相似的外观。早期的行为识别方法主要处理色彩视频。在这些方法中，不变的关键点经常被作为局部特征来捕获目标的行为。然而，这些通过色彩视频提供的信息在实际中通常不足以精确的来识别人类的行为。

基于骨骼的表示能够在2D图形中很好的学习，因为准确的3D结构(3D骨骼)能够通过高性价比的深度感应器获得，它使得更多的关注落在人类行为识别上，如利用隐式的马尔可夫链来反应3D关节的转移概率，使用条件随机域来构建3D关节位置模型。基于轮廓的表示也具有良好的影响，在早期的研究中，基于关键点的策略也经常被利用，并且基于运动轨迹的方法也被提出。更多的，整体性的方法最近越来越流行。最近几年，高性价比深度相机，例如kinect RGB-D传感器，已经引起了人们的关注。这样的相机能够提供场景中的3D深度信息。因此，行为的识别能从深度信息中获益。

在基于深度的行为识别中，比较容易获得强大的3D骨骼关节的位置，因此基于骨骼的3D关节特征被用于捕获人类不变的特点。因为基于骨骼的特征能够利用目标的粗糙结构信息，能自然地定位由人类行为引起的非刚性畸变。另外，通过Kinect传感器捕捉的浓密的3D点云能提供准确的人们的信息。因此，几何外观与表面结合作为人类的3D轮廓，可以对行为识别提供足够的有效信息。

发明内容

本发明的目的在于针对上述技术存在的缺陷，提出了一种新的结合骨骼局部关节特征和全局表面特征的融合框架进行行为识别的方法，首先，收集整个序列的关节特征和表面特征，并且分别地训练支持向量机(SVM)模型；然后，把上述特征融合到基于新的后验分解的融合框架中进行人体行为识别。本发明不但能够提供人体每个行为的独特性信息，同时，由于该方法融合了人们的局部深度特征和全局深度信息，因此，能够识别具有挑战性的人体行为。

本发明是通过如下技术方案实现的：一种基于骨骼关节特征和表面特征融合的人体行为识别方法，其特征在于，包括以下步骤：

步骤1：获取局部深度关节特征：采用人体骨骼关节特征来构建人类活动的局部变化模型；

步骤1.1：获取深度视频序列：采用Kinect传感器获得带有深度信息的视频序列；

步骤1.2：捕捉骨骼并计算关节之间的距离：采用骨骼跟踪器检测所述深度视频序列中每一帧的关节数量并计算关节之间的距离，这些距离信息构成多维向量1；

步骤1.3：获取关节周围的点云数量：从所述深度视频序列的每一帧中获得3D点云，定位每个关节在点云中的位置，围绕关节获得方形区域，然后把方形区域划分为小的区域，计算每个小区域中存在的点云数量，构成新的向量2；

步骤1.4：量化关节局部特征：将所述深度视频序列每一帧的向量1和向量2进行组合，这些组合共同表示出人体行为的局部特征；

步骤2：获取全局深度表面特征：采用4D空间的法向量分布来构建人类活动的全局变化模型；

步骤2.1：获取表面地图：由Kinect获取带有深度信息的视频序列，每一个视频都有T帧图片序列，每一张图片都是带有深度信息的3D点云图像；

步骤2.2：计算全局表面特征：在每一帧的3D点云图像的基础上增加时间轴构成4D空间，之后将4D空间分成不同的区域，在每个区域中都计算相应的法向量，用4D空间的法向量分布来表明人体运动的全局特性；

步骤2.3：量化全局表面特征：通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后，量化相应区域的数据，构成全局表面特征直方图；

步骤3：训练与融合：为整个序列收集上述局部深度关节特征和全局深度表面特征，并分别对收集到的上述局部深度关节特征和全局深度表面特征进行训练SVM模型，得到相应局部深度关节特征和全局深度表面特征所对应标签的后验概率，然后基于条件概率的最大化将上述两种特征融合成为一套统一框架。

本发明具有如下有益效果：本发明主要采用一种统一的框架融合了骨骼局部关节特征和全局深度表面特征，并将每一个单独的特征分解为子对象，对每一个子对象进行训练支持向量机模型，代替原始的特征向量，为每个子对象选择最有区分度的特征；本发明不需要依赖任何特殊描述，能够提供人体每个行为的独特性信息，同时，由于该方法融合了人们的局部深度信息和全局深度信息，因此，能够识别具有挑战性的人体行为。

附图说明

图1为本发明所述的人体行为识别方法流程图

具体实施方式

下面结合附图对本发明做进一步的说明。

一种基于骨骼关节特征和表面特征融合的人体行为识别方法，其特征在于，包括以下步骤：

步骤1：获取局部深度关节特征：采用人体骨骼关节特征来构建人类活动的局部变化模型；

步骤1.1：获取深度视频序列：采用Kinect传感器获得带有深度信息的视频序列；

步骤1.2：捕捉骨骼并计算关节之间的距离：对于带有T帧的视频序列V_i，使用骨骼跟踪器跟踪每一帧的每一关节，并建立3D全局坐标系和带有深度信息的基于屏幕的坐标系；

为了统一关节在不同图像中所处的位置，对坐标数据采取归一标准化处理：

假设关节数量为Q(通常关节数量为20)，则每个关节都有三个坐标q＝(x_q，t，y_q，t，z_q，t)，然后用如下公式计算每对关节之间的距离，f_j(q，g)代表关节(q，g)对之间的距离：

f_j(q，g)＝|x_q，t-x_g，t|+|y_q，t-y_g，t|+|z_q，t-z_g，t|

因此，对任何两个不同的关节分别求出之间的距离并可以构成Q-1维向量P(t，i)。

步骤1.3：获取关节周围的点云数量：由于计算关节之间距离信息的不足，并且识别运动引起的事物的相互作用产生的效果可以更准确的判断人体行为，应测量关节周围的点云数量；从所述深度视频序列的每一帧中获取3D点云后，在点云图上定位关节在点云中的位置，定义关节为q，围绕q划分出立方体区域，像素为N_w×N_h×N_d；立方体区域进一步划分为w×h×d个小区域，每个小区域含有x×y×z像素，其中之后计算出每个小区域中的点云数量；在此帧定位的关节周围，所有小区域包含的点云数量构成w×h×d维向量O(t，i)。

步骤1.4：量化关节局部特征：对上述两种向量P(t，i)和O(t，i)进行组合即构成关节的局部特征，局部特征表示为：L(t，i)＝(P(t，i)，O(t，i))；最终把所有帧的所有关节局部特征向量整合在一起即构成了一个行为采样量化后的局部特征集，局部特征集表示为：(L(t，i)|i∈[1，n]，t∈[1，m]，i∈Z，t∈z]。

步骤2：获取全局深度表面特征：采用4D空间的法向量分布来构建人类活动的全局变化模型；

步骤2.1：获取表面地图：由Kinect获取带有深度信息的视频序列，每一个视频都有T帧图片序列，每一张图片都是带有深度信息的3D点云图像；

步骤2.2：计算全局表面特征：首先在每一帧的3D点云图像的基础上增加时间轴构成4D空间，之后将每一帧的4D空间分成W×h×t个时空区域，在每个区域中计算相应的法向量构成集合N，N＝{n_j}，对于4D空间来说，行为的全局信息即为法向量的分布，用4D空间的法向量分布来表明人体运动的全局特性。

步骤2.3：量化全局表面特征：通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后，量化相应区域的数据，构成全局表面特征直方图；对每个4D空间空间使用带有120个顶点的四维体进行量化，点集为P＝{p_i}；之后计算每个法向量和点的内积，因此，4D法向量的初步的统一分布的公式为：这代表了每个时空空间法向量在4D区域的投影。

原始的全局表面特征是H_o＝(Pr(p_i|N)|p_i∈p)。为了获得最终的全局特征来训练和练习，需要对每个时空区域获得的数据进行串联。

步骤3：训练与融合：在步骤1和步骤2中获取了行为的局部深度关节特征和全局深度表面特征，之后对它们进行分别训练；用f_i，j表示第i个视频的第i个特征，本实施方式中的j为2，行为识别的目标是推断视频集的标签即l_i∈{1，2，…，L}，为了方便讨论，每个视频都只描述一种行为，因此，人体行为识别是求得最大的后验概率，即l^*＝argmaxp(l|V_i)；因为每个特征对标签来说是相互独立的，因此可展开如式：p(l_i|f_i，j)指的是f_i，j特征的标签后验概率；使用SVM模型来训练p(l_i|f_i，j)，例如：

p(l＝c|f_i，j)ccexp(s(f_i，j))，其中，s(f_i，j)由下式获取：

$s\left(f_{i,j}\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_{i}K(w_{i,j}\·f_{i,j})+b)$

训练完上述两种类型后，进行相乘融合成一个统一框架来进行人体行为识别。

前述实施例和优点仅是示例性的，并不应被理解为限制本公开。本发明可容易地应用于其它类型的设备。此外，本公开的示例性实施例的描述是解释性的，并不限制权利要求的范围，许多的替换、修改和变化对于本领域技术人员来说是明显的。

Claims (1)

1.一种基于骨骼关节特征和表面特征融合的人体行为识别方法，包括以下步骤：

步骤1：获取局部深度关节特征：采用人体骨骼关节特征来构建人类活动的局部变化模型；

步骤1.1：获取深度视频序列：采用Kinect传感器获得带有深度信息的视频序列；

步骤1.2：捕捉骨骼并计算关节之间的距离：采用骨骼跟踪器检测所述深度视频序列中每一帧的关节数量并计算关节之间的距离，这些距离信息构成多维向量1；

步骤1.3：获取关节周围的点云数量：从所述深度视频序列的每一帧中获得3D点云，定位每个关节在点云中的位置，然后围绕关节获得方形区域，最后把方形区域划分为小的区域，计算每个小区域中存在的点云数量，构成新的向量2；

步骤1.4：量化关节局部特征：将所述深度视频序列中的每一帧的向量1和向量2进行组合，这些组合共同表示出人体行为的局部特征；

步骤2：获取全局深度表面特征：采用4D空间的法向量分布来构建人类活动的全局变化模型；

步骤2.1：获取表面地图：由Kinect获取带有深度信息的视频序列，每一个视频都有T帧图片序列，每一张图片都是带有深度信息的3D点云图像；

步骤2.2：计算全局表面特征：在每一帧的3D点云图像的基础上增加时间轴构成4D空间，之后将4D空间分成不同的区域，在每个区域中都计算相应的法向量，用4D空间的法向量分布来表明人体运动的全局特性；

步骤2.3：量化全局表面特征：通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后，量化相应区域的数据，构成全局表面特征直方图；

步骤3：训练与融合：为整个序列收集上述局部深度关节特征和全局深度表面特征，并分别对收集到的上述局部深度关节特征和全局深度表面特征进行训练SVM模型，得到相应局部深度关节特征和全局深度表面特征所对应标签的后验概率，然后基于条件概率的最大化将上述两种特征融合成为一套统一框架。