CN106934366A - 一种杂乱背景下人体动作特征的检测方法 - Google Patents

Abstract

本发明公开了一种杂乱背景下人体动作特征的检测方法，具体步骤如下：在空域上采用Kadir提出的一种基于信息熵的显著点检测方法检测空域兴趣点；对检测到的空域兴趣点进行背景兴趣点抑制；在时域上使用1D Gabor滤波器滤波，得到候选时空特征点；对时空特征点响应函数进行非极大值抑制处理后，响应函数局部极大值处的点为最终特征点。本发明在空域上采用基于信息熵的兴趣点检测方法，因此可以检测到更为丰富的特征点，通过对背景兴趣点进行抑制，使得检测到的特征点大部分位于人体，有效的提高了特征点检测的准确性，为后续正确的识别人体动作提供保障。

Description

一种杂乱背景下人体动作特征的检测方法

技术领域

本发明涉及机器视觉技术领域，具体是一种杂乱背景下人体动作特征的检测方法。

背景技术

基于视觉的人体动作识别技术是视频理解中的一个重要研究课题，在智能视频监控、基于内容的视频标注与检索、智能人机交互接口和动画合成等领域有着深远的理论研究意义和广泛的应用前景。

目前简单场景下的人体简单动作的识别已经取得了一定的进展，而复杂场景下的人体动作识别仍面临很多困难。在现实环境中，由于受到杂乱背景、遮挡和光照变化等因素的影响，人体动作识别准确度不高。常见的特征可分为静态特征、动态特征、时空特征和描述性特征。静态特征的形式主要有人体目标的尺寸大小、轮廓、颜色边缘等，静态特征可以较好的表示出人体目标的整体信息，可为动作识别提供有用线索，但是，静态特征非常依赖背景分割的效果，在杂乱背景场景中，各类静态特征的提取并不容易；动态特征方法不考虑人体结构的任何形状信息，而是直接从图像序列中提取出目标运动信息(如运动方向、轨迹、位置、速度等)来表征运动状态，运动特征提取的最典型的代表是光流法。动态特征通常对噪声、颜色和纹理变化很敏感，且计算复杂度较高。时空特征指将一段视频作为一个3维空间中的时空体来分析和处理，常见的时空特征有Harris 3D检测子、Cuboid检测子等，时空特征在尺度、方向和光照的改变下依然具有良好的稳定性，但时空兴趣点检测与物体运动变化突变有关，容易受到背景物体运动所带来的影响。总的来说，时空特征作为一种局部特征，由于不需要不需要人体位置或者身体部位的任何先验知识，因此可以避免进行前景与背景之间的分割等一系列预处理，是目前比较常用的一种人体动作特征提取方法。

时空特征虽然是一种稀疏特征检测方法，但过少的特征点会丢失重要的运动信息，影响到后续步骤对行为识别的准确度。在对杂乱背景中的人体动作进行特征检测时，大部分时空特征检测方法检测到的特征点很多位于背景上，误检测率较高。

发明内容

本发明的目的在于提供一种准确性好的杂乱背景下人体动作特征的检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种杂乱背景下人体动作特征的检测方法，具体步骤如下：

(1)在空域上采用Kadir提出的一种基于信息熵的显著点检测方法检测空域兴趣点；

(2)对检测到的空域兴趣点进行背景兴趣点抑制；

(3)在时域上使用1D Gabor滤波器滤波，得到候选时空特征点；

(4)对时空特征点响应函数进行非极大值抑制处理后，响应函数局部极大值处的点为最终特征点。

作为本发明进一步的方案：所述步骤(1)中检测空域兴趣点，具体是指对于视频序列中的每一帧图像，采用Kadir提出的一种基于信息熵的显著点检测方法进行兴趣点检测，提取出空域兴趣点。

作为本发明进一步的方案：空域兴趣点检测后，将所有非零角点响应强度的点作为第一个特征点集C_σ，其中σ为空间尺度；接着，对C_σ进行背景兴趣点抑制；背景兴趣点抑制方法包括如下步骤：

1)对每一个兴趣点，选取一个邻域抑制掩码SSM来估计Mask中所有像素点对中心点的影响，当前兴趣点位于SSM中心；

2)引入梯度权重因子△_Θ，_σ(X，X_u，_v)，其定义为：

△_Θ,σ(X,X_u,v)＝|cos(Θ_σ(X)-Θ_σ(X_u,v))| (公式1)

其中，Θ_σ(X)和Θ_σ(X_u，v)分别为点X≡(x，y)和点X_u，v≡(x-u，y-v)的梯度，当Θ_σ(X)和Θ_σ(X_u，v)同向时，权重因子取得最大值△_Θ，σ＝1，权重因子取值随着角度差递减，当两个梯度方向正交时，权重因子取得最小值△_Θ，σ＝0；

3)对于每一个兴趣点C_σ(X)，定义一个抑制系数t_σ(X)，t_σ(X)的值为像素邻域梯度值加权和，其定义为：

t_σ(X)＝∫∫_ΩC_σ(X_u,v)×△_Θ,σ(X,X_u,v)dudv (公式2)

4)再引入一个兴趣点强度算子Cα，σ(X)，定义为：

C_α,σ(X)＝H(C_σ(X)-α×t_σ(X)) (公式3)

其中，α取值越大，得到的特征点越少，当z为负数时，H(z)＝0，否则H(z)＝z；

5)对Cα，σ(X)进行非极大值抑制后得到最终的空间兴趣点Isp。

作为本发明进一步的方案：所述公式3中的α取值范围在[1，1.4]区间。

作为本发明再进一步的方案：所述步骤(3)中得到候选时空特征点的具体步骤如下：视频图像序列经过空域特征检测和背景兴趣点抑制后，在时域上，对视频序列进行1DGabor滤波，并计算其时空响应函数的值，响应值大于某一阈值时，该点作为候选时空特征点；其响应函数为：

R＝(I_sp*h_ev)²+(I_sp*h_od)² (公式4)

其中，I_sp为背景兴趣点抑制后的空域兴趣点响应值；h_ev和h_od为一对正交的Gabor滤波器，分别定义为：

参数τ为时域上的尺度因子。

与现有技术相比，本发明的有益效果是：

本发明在空域上采用基于信息熵的兴趣点检测方法，所以检测到的特征点的位置不局限于人体运动突变位置或周期性运动部位，因此可以检测到更为丰富的特征点，能够包含更加丰富的人体动作信息；通过对背景兴趣点进行抑制，使得检测到的特征点大部分位于人体，解决现有人体动作特征检测方法检测到的特征点过于稀疏以及在杂乱背景下进行特征点检测时误检测率过高的问题，有效的提高了特征点检测的准确性，为后续正确的识别人体动作提供保障。

附图说明

图1为本发明提供的一种杂乱背景下人体动作特征检测方法的算法流程图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1，一种杂乱背景下人体动作特征的检测方法，具体步骤如下：

(1)在空域上采用Kadir提出的一种基于信息熵的显著点检测方法检测空域兴趣点；

(2)对检测到的空域兴趣点进行背景兴趣点抑制；

(3)在时域上使用1D Gabor滤波器滤波，得到候选时空特征点；

(4)对时空特征点响应函数进行非极大值抑制处理后，响应函数局部极大值处的点为最终特征点。

所述步骤(1)中检测空域兴趣点，具体是指对于视频序列中的每一帧图像，采用Kadir提出的一种基于信息熵的显著点检测方法进行兴趣点检测，提取出空域兴趣点。

空域兴趣点检测后，将所有非零角点响应强度的点作为第一个特征点集C_σ，其中σ为空间尺度；接着，对C_σ进行背景兴趣点抑制；背景兴趣点抑制方法包括如下步骤：

1)对每一个兴趣点，选取一个邻域抑制掩码SSM来估计Mask中所有像素点对中心点的影响，当前兴趣点位于SSM中心；

2)引入梯度权重因子△_Θ，_σ(X，X_u，_v)，其定义为：

△_Θ,σ(X,X_u,v)＝|cos(Θ_σ(X)-Θ_σ(X_u,v))| (公式1)

其中，Θ_σ(X)和Θ_σ(X_u，v)分别为点X≡(x，y)和点X_u，v≡(x-u，y-v)的梯度，当Θ_σ(X)和Θ_σ(X_u，v)同向时，权重因子取得最大值△_Θ，σ＝1，权重因子取值随着角度差递减，当两个梯度方向正交时，权重因子取得最小值△_Θ，σ＝0；

3)对于每一个兴趣点C_σ(X)，定义一个抑制系数t_σ(X)，t_σ(X)的值为像素邻域梯度值加权和，其定义为：

t_σ(X)＝∫∫_ΩC_σ(X_u,v)×△_Θ,σ(X,X_u,v)dudv (公式2)

4)再引入一个兴趣点强度算子Cα，σ(X)，定义为：

C_α,σ(X)＝H(C_σ(X)-α×t_σ(X)) (公式3)

其中，α取值越大，得到的特征点越少，α取值范围在[1，1.4]区间，效果最好；当z为负数时，H(z)＝0，否则H(z)＝z；

5)对Cα，σ(X)进行非极大值抑制后得到最终的空间兴趣点Isp。

所述步骤(3)中得到候选时空特征点的具体步骤如下：视频图像序列经过空域特征检测和背景兴趣点抑制后，在时域上，对视频序列进行1D Gabor滤波，并计算其时空响应函数的值，响应值大于某一阈值时，该点作为候选时空特征点；其响应函数为：

R＝(I_sp*h_ev)²+(I_sp*h_od)² (公式4)

其中，I_sp为背景兴趣点抑制后的空域兴趣点响应值；h_ev和h_od为一对正交的Gabor滤波器，分别定义为：

参数τ为时域上的尺度因子。

下面通过本发明的实施例和对比例来进一步说明本发明的检测方法以及效果，本发明实施例中未详述部分均按现有方法进行计算和处理。

对比例选择dollar提出的cuboid检测方法。测试数据选用KTH数据集中的walking视频和Youtube数据集中的Horse_riding视频。其中，walking视频为简单背景，horse_riding为杂乱背景。

本实施例具体实现方式如下：

首先读入测试用的视频数据，对视频图像序列中每一帧图像用Kadir提出的一种基于信息熵的显著点检测方法检测空域兴趣点，将所有非零角点响应强度的点作为第一个特征点集C_σ。其中，空间尺度σ取值范围选择1-11。

接着，对C_σ进行背景兴趣点抑制。背景兴趣点抑制方法包括如下步骤：

对每一个兴趣点，选取一个大小为3×3的邻域抑制掩码SSM来估计Mask中所有像素点的对中心点的影响，当前兴趣点位于SSM中心。

α取1.4，计算兴趣点强度Cα，σ(X)，对Cα，σ(X)进行非极大值抑制后得到最终的空间兴趣点I_sp。

视频图像序列经过空域特征检测和背景兴趣点抑制后，在时域上，对视频序列进行1D Gabor滤波，并计算其时空响应函数的值R。

其中，参数τ＝10，ω＝τ/4。

得到候选时空特征点后，需要对其进行非极大值抑制。在一定阈值范围内通过非极大值抑制处理后，响应函数局部极大值处的点为人体动作特征点。

从特征检测结果可以看出，本方法用于人体动作特征检测是有效的。无论是在简单背景场景下，还是杂乱背景场景下，本方法都能检测到比较丰富的人体动作特征，这对于后续的识别是很有帮助的。在杂乱背景场景下，dollar提出的cuboid检测方法检测到的特征点有较大一部分位置背景上，特征点检测的准确性较低，而本方法检测到的特征点虽然也有极少数位于背景上，但大多数都位于期望的区域中，检测准确率较高。

本发明在空域上采用基于信息熵的兴趣点检测方法，所以检测到的特征点的位置不局限于人体运动突变位置或周期性运动部位，因此可以检测到更为丰富的特征点，能够包含更加丰富的人体动作信息；通过对背景兴趣点进行抑制，使得检测到的特征点大部分位于人体，解决现有人体动作特征检测方法检测到的特征点过于稀疏以及在杂乱背景下进行特征点检测时误检测率过高的问题，有效的提高了特征点检测的准确性，为后续正确的识别人体动作提供保障。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (5)

1.一种杂乱背景下人体动作特征的检测方法，其特征在于，具体步骤如下：

(1)在空域上采用Kadir提出的一种基于信息熵的显著点检测方法检测空域兴趣点；

(2)对检测到的空域兴趣点进行背景兴趣点抑制；

(3)在时域上使用1D Gabor滤波器滤波，得到候选时空特征点；

(4)对时空特征点响应函数进行非极大值抑制处理后，响应函数局部极大值处的点为最终特征点。

2.根据权利要求1所述的杂乱背景下人体动作特征的检测方法，其特征在于，所述步骤(1)中检测空域兴趣点，具体是指对于视频序列中的每一帧图像，采用Kadir提出的一种基于信息熵的显著点检测方法进行兴趣点检测，提取出空域兴趣点。

3.根据权利要求1所述的杂乱背景下人体动作特征的检测方法，其特征在于，空域兴趣点检测后，将所有非零角点响应强度的点作为第一个特征点集C_σ，其中σ为空间尺度；接着，对C_σ进行背景兴趣点抑制；背景兴趣点抑制方法包括如下步骤：

1)对每一个兴趣点，选取一个邻域抑制掩码SSM来估计Mask中所有像素点对中心点的影响，当前兴趣点位于SSM中心；

2)引入梯度权重因子△_Θ，σ(X，X_u，v)，其定义为：

△_Θ,σ(X,X_u,v)＝|cos(Θ_σ(X)-Θ_σ(X_u,v))| (公式1)

其中，Θ_σ(X)和Θ_σ(X_u，v)分别为点X≡(x，y)和点X_u，v≡(x-u，y-v)的梯度，当Θ_σ(X)和Θ_σ(X_u，v)同向时，权重因子取得最大值△_Θ，σ＝1，权重因子取值随着角度差递减，当两个梯度方向正交时，权重因子取得最小值△_Θ，σ＝0；

3)对于每一个兴趣点C_σ(X)，定义一个抑制系数t_σ(X)，t_σ(X)的值为像素邻域梯度值加权和，其定义为：

t_σ(X)＝∫∫_ΩC_σ(X_u,v)×△_Θ,σ(X,X_u,v)dudv (公式2)

4)再引入一个兴趣点强度算子Cα，σ(X)，定义为：

C_α,σ(X)＝H(C_σ(X)-α×t_σ(X)) (公式3)

其中，α取值越大，得到的特征点越少，当z为负数时，H(z)＝0，否则H(z)＝z；

5)对Cα，σ(X)进行非极大值抑制后得到最终的空间兴趣点Isp。

4.根据权利要求3所述的杂乱背景下人体动作特征的检测方法，其特征在于，所述公式3中的α取值范围在[1，1.4]区间。

5.根据权利要求1所述的杂乱背景下人体动作特征的检测方法，其特征在于，所述步骤(3)中得到候选时空特征点的具体步骤如下：视频图像序列经过空域特征检测和背景兴趣点抑制后，在时域上，对视频序列进行1D Gabor滤波，并计算其时空响应函数的值，响应值大于某一阈值时，该点作为候选时空特征点；其响应函数为：

R＝(I_sp*h_ev)²+(I_sp*h_od)² (公式4)

其中，I_sp为背景兴趣点抑制后的空域兴趣点响应值；h_ev和h_od为一对正交的Gabor滤波器，分别定义为：

参数τ为时域上的尺度因子。