CN104951793A - 一种基于stdf特征的人体行为识别算法 - Google Patents

Abstract

本发明公开了一种基于STDF特征的人体行为识别算法。算法依据运动剧烈区域在行为识别中提供更多判别信息的思想，利用视频图像的深度信息确定人体运动显著性区域，通过计算区域内光流特征作为度量区域活跃度的能量函数，依据能量函数对运动显著性区域进行高斯取样，使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为，结合BoW词袋模型，采用SVM分类器对行为进行识别。实验数据表明，基于STDF特征的人体行为识别算法，在SwustDepth数据集中平均行为识别准确率能够达到92％。

Description

一种基于STDF特征的人体行为识别算法

技术领域

本发明涉及到视频处理的技术领域，尤其涉及到一种基于STDF特征的人体行为识别算法。

背景技术

基于视频图像的行为识别在智能视频监控、视频检索、人机交互和智能家居等方面有着广泛的应用。行为识别的主要任务是利用计算机对包含行人的图像序列进行分析，从而识别人的动作。在基于计算机视觉的行为识别中，主要包括行为特征提取以及行为分类两个步骤，目前，行为识别算法中使用的特征主要包括全局特征和局部特征两大类。

在视频图像中不仅单幅图像空间中存在联系，帧与帧之间也相互关联，因此，在各类特种中，时空体特征受到了学者广泛的关注。全局时空体特征主要以检测轮廓、边缘、光流为主。局部时空体特征，主要以检测时空兴趣点为主。基于局部时空体兴趣点的动作表示和识别的方法，首先从图像序列中提取能够代表行为的时空兴趣点，再使用兴趣点的特征对运动进行表征，最后建立动作分类器进行动作识别。Laptev I首次提出时空体兴趣点的检测，在Harris角点检测中加入时空信息。为了得到更加稠密的兴趣点，Dollar提出通过构造一系列的1D Gabor滤波器对图像序列进行Gaussian卷积,，从而检测局部最大的Cuboids特征进行兴趣点的提取。Willems提出使用Hessian3D检测兴趣点，并且扩展SURF描述子，更加有效的检测复杂的时空体兴趣点。由于时上述方法提取出的空体兴趣点较为稀疏，Wang在综述了现有局部时空体特征后，提出采用稠密网格取样的方法进行行为识别的识别率最 高。

通过检测局部时空体兴趣点和稠密取样的方式提取时空特征都有一定的局限性。大部分时空体兴趣点是由2D空间的兴趣点检测器扩展而来，而这些2D的兴趣点检测器最初是用于特征匹配，而并非用于数据分类。因此，提取时空体特征时需要对像素点进行逐一的计算，特征提取的计算量较大，并且提取出的兴趣点较为稀疏，使用时空兴趣点作为特征，描述性不强。相反，稠密取样可以提取大量的样本点，但是，稠密取样得到的样本点数量巨大，对行为的表现力不强，同时引入了对于行为识别不必要背景信息。在复杂场景下，稠密取样的识别效率低，效果不佳。

发明内容

本发明的目的是为了克服现有技术的不足，提供了一种人体行为识别算法。

本发明是通过以上技术方案实现：

本发明提供了一种人体行为识别算法，该人体行为识别算法包括以下步骤：

依据视频序列深度信息，提取对应的STDF特征；

提取采样点STDF特征，依据LPM模型建立BoW模型；

使用基于RBF核函数的SVM对建立的BoW中的数据进行分析得到结果。

优选的，所述提取采样点STDF特征具体步骤为：

根据视频序列深度信息求取运动显著性区域；

确定显著性区域的区域活跃度；

提取显著性区域的时空特征点。

优选的，所述确定显著性区域的区域活跃度具体为：由视频的深度信息确定人体的头部、四肢作为显著性区域；计算显著性区域的Lucas-Kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

优选的，所述能量函数为计算所述显著性区域内像素点的流光之和。

优选的，所述能量函数包括：

$E_K\left(n\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|v_i\right|}^2$

$|v_i|=\sqrt{v_{\mathrm{ix}}^2+v_{\mathrm{iy}}^2}$

其中v_i为区域内第i个像素点的光流矢量(v_ix，v_iy)；|v_i|表示光流矢量的幅值，区域内能量函数E_K(n)值越大，则认为区域越活跃。

本发明的有益效果是：算法依据运动剧烈区域在行为识别中提供更多判别信息的思想，利用视频图像的深度信息确定人体运动显著性区域，通过计算区域内光流特征作为度量区域活跃度的能量函数，依据能量函数对运动显著性区域进行高斯取样，使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为，结合BoW词袋模型，采用SVM分类器对行为进行识别。实验数据表明，基于STDF特征的人体行为识别算法，在SwustDepth数据集中平均行为识别准确率能够达到92％。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用 以解释本发明，并不用于限定本发明。

本发明实施例提供了一种人体行为识别算法，该人体行为识别算法包括以下步骤：依据视频序列深度信息，提取对应的STDF特征；

提取采样点STDF特征，依据LPM模型建立BoW模型；

使用基于RBF核函数的SVM对建立的BoW中的数据进行分析得到结果。

优选的，所述提取采样点STDF特征具体步骤为：

根据视频序列深度信息求取运动显著性区域；

确定显著性区域的区域活跃度；

提取显著性区域的时空特征点。

优选的，所述确定显著性区域的区域活跃度具体为：由视频的深度信息确定人体的头部、四肢作为显著性区域；计算显著性区域的Lucas-Kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

优选的，所述能量函数为计算所述显著性区域内像素点的流光之和。

优选的，所述能量函数包括：

$E_K\left(n\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|v_i\right|}^2$

$|v_i|=\sqrt{v_{\mathrm{ix}}^2+v_{\mathrm{iy}}^2}$

其中v_i为区域内第i个像素点的光流矢量(v_ix，v_iy)；|v_i|表示光流矢量的幅值，区域内能量函数E_K(n)值越大，则认为区域越活跃。

本实施例提供的算法依据运动剧烈区域在行为识别中提供更多判别信息的思想，利用视频图像的深度信息确定人体运动显著性区域，通过计算区域内光流特征作为度量区域活跃度的能量函数，依据能量函数对运动显著性 区域进行高斯取样，使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为，结合BoW词袋模型，采用SVM分类器对行为进行识别。实验数据表明，基于STDF特征的人体行为识别算法，在SwustDepth数据集中平均行为识别准确率能够达到92％。

为了方便对本实施例的理解，下面结合具体的实施例进行详细的说明。

A1：建立LPM模型：，对于一个大小为2W*2H*2T的视频V_p，对其进行降采样，得到一个大小为W*H*2T，分辨率为原视频一半的视频V_r，使用不同尺度的滑动窗口在视频V_r中，提取粗略3D局部时空块，作为“root”时空块。而对于每一个“root”时空块都有8个对应从V_p中提取的高分辨率的“parts”特征。此模型，旨在建立BoW模式时，使提取的时空块特征包含空间结构信息和时间顺序信息。

A2：提取STDF特征：

A21基于深度信息的显著性区域确定

利用可见光图像的行为识别，常遭遇光照变化、阴影、物体遮挡以及环境变化等因素的干扰。深度图像仅与CCD到物体表面的距离有关。因此，深度图像具有颜色无关性，不会遇到光照、阴影、环境变化等因素的影响。其次，根据距离很容易确定人体的不同区域。将前景与背景以及前景中人的不同区域分割出来。

算法中，使用Jamie Shotton提出的随机森林算法，估计人体不同的区域。首先，使用场景的深度信息，由远到近的分析每个像素，确定最可能为人体的区域，再通过边缘检测技术确定区域，获取人体的完整轮廓，将前景中的人分割出来。然后根据分割出人体身体的区域，识别人体轮廓区域内的各个 身体部位。实验中使用Kinect同时获取颜色和深度信息，通过深度信息获取人体部位的随机森林模型，利用mean shift算法预测各部位节点。使用深度信息，粗略确定人体的头部、手、脚五个运动显著区域。

A22区域活跃度 

在视频图像中，运动剧烈的区域，能够更好的区分行为，由视频的深度信息确定人体的头部、四肢作为显著性区域。计算区域的Lucas-Kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

区域是由区域内的像素点构成，因此，区域内的能量函数，即为计算区域内像素点的光流之和。计算方式如式(1)，其中v_i为区域内第i个像素点的光流矢量(v_ix，v_iy)；|v_i|表示光流矢量的幅值，计算方法为(2)。区域内能量函数E_K(n)值越大，则认为区域越活跃。

$E_K\left(n\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|v_i\right|}^2---\left(1\right)$

$|v_i|=\sqrt{v_{\mathrm{ix}}^2+v_{\mathrm{iy}}^2}---\left(2\right)$

A23时空特征点提取

(1)时空特征点取样策略

本文使用深度信息确定五个运动显著性区域后，对五个运动显著性区域进行取样，抽取的样本总数为视频总像素的30％。例如，Kinect的RGB VGA摄像头分辨率为640*480，因此采集到的样本总数约为90000个。五个显著性区域中样本点的数量，由区域能量函数确定。使用公式(3)计算每个区域取样数数量：

$S_i=S^{*}\frac{E_{\mathrm{ki}}\left(n\right)}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{E}_{\mathrm{ki}}\left(n\right)}---\left(3\right)$

其中：S表示采集到的样本的总数，E_ki(n)代表需要计算样本数的区域的活跃度，代表五个区域中，活跃度的总数。即该区域活跃度和五个区域活跃度的比值。

通过光流作为能量函数表征区域的活跃度后，确定每个区域抽取样本点的数量。以区域内光流幅值|v_i|最大的点作为高斯取样中心点，对区域内像素点进行取样，使抽取到的像素点的数量符合μ＝i,σ＝1的高斯分布。

(2)时空特征点表征

Wang在文献中提到，稠密网格取样，在行为识别中的性能，优于时空体兴趣点检测。本文算法中，对抽取到的每一个样本点，由一个五维向量唯一确定(x,y,t,σ,τ)，其中，σ和τ分别是空间和时间中的尺度，(x,y,t)确定样本点在视频中的具体位置，而取样块的大小由(σ,τ)决定。对一个3D兴趣点s＝(x_s,y_s,t_s,σ_s,τ_s)，一个特征可以通过一个局部时空块计算，其中时空块的宽度w_s，高度h_s，长度l_s的计算方式如(3)：

w_s＝h_s＝σ₀σ_s    (4)

l_s＝τ₀τ_s

将兴趣点表示为时空特征后，我们使用3D HOG描述子，对时空特征进行描述。3D HOG描述子，是由3D灰度差分构建而成。将时空块大小的检测窗口作为输入，通过积分视频，计算视频图像中的每一个像素点求取灰度梯度。

首先将一个3D时空块，划分为M_c×M_c×N_c个cells块，然后将每个一个cell划分成为M_b×M_b×N_b个blocks。对每一个block求像素点的平衡灰度差分。然后，使用六面体归一化每一个灰度差分。最后，将每一个block立方体的 平均灰度差分相加，统计block的方向，作为每一个cell的时空梯度直方图。将每一个cell立方体的直方图联合起来，构成了最终时空块的HOG描述子。

由于本文的算法中，是由含粗略信息的“root”和一系列“pars”组成。在建立HOG3D直方图时，分别使用HOG3D对“root”和“parts”时空块进行描述，然后联合直方图，构成一个局部时空体特征。

A3建立BoW模型

本文算法使用Bag-of-Word模型去表示视频序列。训练过程中，对给定的一段视频序列，从视频序列中提取一系列的时空体兴趣点集p＝{p₁,p₂...p_s}。对于每个兴趣点p_i，计算其时空特征Fi＝{f₁,f₂...f_m}。采用K-means聚类算法对训练数据中的特征点进行聚类，将聚类中心视为Bag-of-Word的视觉单词。并且由这一系列的时空体兴趣点构成视觉单词wi＝{f₁,f₂...f_m}，其中m为特征的为数，f_i表示时空单词的第i个特征分量。时空单词组成的集合V＝{W₁,W₂....W_n}作为时空码本。N为K-means聚类产生聚类中心的个数。对于测试视频，同样提取时空体兴趣点，将每一个时空体兴趣点和视觉单词，通过欧式距离进行比较。统计兴趣点基于视觉单词出现的频率，得到基于视觉单词的兴趣点统计直方图H＝{h₁,h₂...h_n}，n等于时空码本的维数，h_i表示视频中第i个时空单词出现的频率(i＝1,2...n)。

A4：使用SVM分类

建立好Bag-of-word直方图后，使用基于RBF(radial basis function)核函数(如式(5))的SVM对数据进行分类：

K(x_i，x_j)＝exp(-γ||x_i-x_j||²)，γ＞0    (5) 

式中，x_i表示时空单词出现频率的直方图

本文提出了一种基于STDF特征的人体行为识别算法。算法利用深度信息，粗略人体的头部和四肢，五个运动显著性区域。使用光流特征作为能量函数，定义区域内运动的活跃度，根据区域活跃度对样本的进行高斯取样。以此作为特征，对人体行为进行识别。在公开数据集和作者建立的数据集中进行实验。实验数据表明，提出的STDF特征具有较强的区分性和鲁棒性，能够获取到更具描述性的样本点。解决了，目前广泛使用的时空体兴趣点采样稀疏，稠密网格取样样本点引入不必要背景信息的问题，从而，提高了行为识别的准确率。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于STDF特征的人体行为识别算法，其特征在于，包括以下步骤：

依据视频序列深度信息，提取对应的STDF特征；

提取采样点STDF特征，依据LPM模型建立BoW模型；

使用基于RBF核函数的SVM对建立的BoW中的数据进行分析得到结果。

2.根据权利要求1所述的基于STDF特征的人体行为识别算法，其特征在于，所述提取采样点STDF特征具体步骤为：

根据视频序列深度信息求取运动显著性区域；

确定显著性区域的区域活跃度；

提取显著性区域的时空特征点。

3.根据权利要求2所述的基于STDF特征的人体行为识别算法，其特征在于，所述确定显著性区域的区域活跃度具体为：由视频的深度信息确定人体的头部、四肢作为显著性区域；计算显著性区域的Lucas-Kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

4.根据权利要求3所述的基于STDF特征的人体行为识别算法，其特征在于，所述能量函数为计算所述显著性区域内像素点的流光之和。

5.如权利要求4所述的基于STDF特征的人体行为识别算法，其特征在于，所述能量函数包括：

其中v_i为区域内第i个像素点的光流矢量(v_ix,v_iy)；|v_i|表示光流矢量的幅值，区域内能量函数E_K(n)值越大，则认为区域越活跃。