CN103955682A - 基于surf兴趣点的行为识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于SURF兴趣点的行为识别方法及装置，其中，上述方法包括如下步骤：S01、采集多帧连续的人体动作视频图像；S02、检测每帧图像中与人体动作相关的兴趣点；S03、对兴趣点进行包括去噪音处理以及去离群的预处理；S04、累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；S05、从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；S06、计算运动轨迹点集的特征向量与所有簇中心的欧式距离；S07、根据步骤S06的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。本发明能够增加行为识别的鲁棒性，提高行为识别率。

Description

基于SURF兴趣点的行为识别方法及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及基于SURF兴趣点的行为识别方法及装置。

背景技术

人体行为识别作为计算机视觉领域的一个新兴技术，在人机交互和视频监控等方面具有广泛的应用前景。目前，可应用的场合分别有运动捕捉、监控视频分析、视频分类、体育运动与娱乐视频处理、智能家居开发、人机交互、环境控制与监视等等。

目前主要的人体行为识别方法大致可以分为基于目标跟踪、基于形状模板匹配、基于光流和基于时空兴趣点这四大类。基于目标跟踪和形状模板匹配的方法要求建立精确的人体模板，系统鲁棒性相对较差。基于光流的方法利用光流信息进行行为识别，容易受到噪声以及光照强度变化的干扰。基于时空兴趣点分析的方法通过滤波和非极值抑制法提取出兴趣点，从时空兴趣点中提取人体动作的时空运动特征作为识别的依据。这类方法对于图像遮挡、重叠、尺度变化和光照变化的鲁棒性不好。为此，有必要对上述的人体行为识别方法进行进一步的改进。

发明内容

本发明所要解决的技术问题是：提供一种能够增加图像鲁棒性、提高人体行为识别率的基于SURF兴趣点的行为识别方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：提供一种基于SURF兴趣点的行为识别方法，包括如下步骤：

S01、采集多帧连续的人体动作视频图像；

S02、根据SURF算法检测每帧图像中与人体动作相关的兴趣点；

S03、对兴趣点进行包括去噪音处理以及去离群的预处理；

S04、累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；

S05、从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；

S06、计算运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为样本图像；

S07、根据步骤S06的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。

为了解决上述技术问题，本发明采用的另一技术方案为：提供一种基于SURF兴趣点的行为识别装置，包括顺次电连接的图像采集模块、兴趣点检测模块、预处理模块、点集构造模块、量化模块、计算模块以及识别模块；所述图像采集模块，用于采集多帧连续的人体动作视频图像；所述兴趣点检测集模块，用于根据SURF算法检测每帧图像中与人体动作相关的兴趣点；所述预处理模块，用于预处理兴趣点，包括对兴趣点进行去噪音处理以及去离群处理；所述点集构造模块，用于累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；所述量化模块，用于从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；所述计算模块，用于计算待检测视频的运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为所有标准人体行为；所述识别模块，用于根据计算模块的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作

本发明的有益效果在于：本发明通过SURF算法检测人体动作兴趣点，并对多帧的兴趣点构造成运动轨迹点集提取目标特征并量化得到特征向量后计算特征向量与所有簇中心的欧式距离得到匹配值，最后将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。兴趣点的提取过程不要求精确定位人体和精确分割人体轮廓，因此兴趣点对遮挡、重叠、尺度变化和光照变化不敏感，能够增加行为识别的鲁棒性；对兴趣点进行预处理，能够消除噪声影响以及提高兴趣点的质量。通过对兴趣点的处理方法步骤，能够增加图像的鲁棒性，提高图像中人体行为的识别率。

附图说明

图1是本发明基于SURF兴趣点的行为识别方法的流程图；

图2是积分图像示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于:通过累积多帧多尺度的时空兴趣点来构造兴趣点云，然后提取出能够表征时空兴趣点云的多尺度特征，并通过对特征值进行直方图化实现特征量化，能够增加行为识别的鲁棒性，提高行为识别率。

兴趣点：视频中运动剧烈特征显著的位置，能够反映出视频中人体的时间空间分布信息和运动特征。

请参阅图1，基于SURF兴趣点的行为识别方法，包括如下步骤：

S01、采集多帧连续的人体动作视频图像；

S02、根据SURF算法检测每帧图像中与人体动作相关的兴趣点；

S03、对兴趣点进行包括去噪音处理以及去离群的预处理；

S04、累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；

S05、从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；

S06、计算运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为样本图像；

S07、根据步骤S06的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。

从上述描述可知，本发明的有益效果在于：本发明通过SURF算法检测人体动作兴趣点，并对多帧的兴趣点构造成运动轨迹点集，提取目标特征并量化得到特征向量后计算特征向量与所有簇中心的欧式距离得到匹配值，最后将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。兴趣点的提取过程不要求精确定位人体和精确分割人体轮廓，因此兴趣点对遮挡、重叠、尺度变化和光照变化不敏感，能够增加行为识别的鲁棒性；对兴趣点进行预处理，能够消除噪声影响以及提高兴趣点的质量。通过对兴趣点的处理方法步骤，能够增加图像的鲁棒性，提高图像中人体行为的识别率。

进一步的，所述步骤S02具体包括步骤：

S21、选定一帧人体动作视频图像；

S22、根据累积统计图像中左上角到图像任意一点的矩形区域内像素值之和来计算积分图像；具体为，假设F(i',j')表示原图像中点(i',j')的像素值，I(i,j)表示的是积分图像中点(i,j)相应的值，我们可以通过公式：

$I(i,j)=\underset{0\≤i\≤i,0\≤j\≤j}{\mathrm{\Σ}}F(i^{\′},j^{\′})$

累积统计图像中左上角到任意一点的矩形区域内像素值之和来计算积分图像。

为避免重复统计，引入一个中间变量I_col(i,j)，I_col(i,j)统计的是绿色区域(即第i行点(i,0)到点(i,j))的像素值之和(如图2所示)，上述公式可以变换为如下公式：

$I\_\mathrm{col}(i,j)=\underset{0\≤j\≤j}{\mathrm{\Σ}}F(i,j^{\′})=I\_\mathrm{col}(i,j-1)+F(i,j)$

I(i,j)＝I(i-1,j)+I_col(i,j)

通过上述公式我们可以将积分图像的计算复杂度由O(n²)降低到O(n)，计算好积分图像后，图像中任意一个矩形区域内像素值之和只需要对矩形区域中四个顶点的积分值进行三个加减运算便可得到，与矩形区域的尺寸无关。

S23、构造的若干尺寸逐渐递增的滤波器模拟Hessian矩阵滤波器以计算出与积分图像对应的卷积响应图；具体为：构造一系列尺寸逐渐递增的盒子滤波器，用盒子滤波器来模拟Hessian矩阵滤波器。给定一个点(r,c)，假设第o组第i层盒子滤波器的响应长度为l，尺寸大小为w＝3×l，盒子的一半宽度为b＝3l/2，面积为Area＝w×w＝9l²，则可以通过如下公式，求得在点(r,c)处D_xx、D_xy和D_yy的值。

D_xx＝[BoxI((r-l+1,c-b),(2l-1,w))

-3×BoxI((r-l+1,c-l),(2l-1,l))]/Area

D_yy＝[BoxI((r-b,c-l+1),(w,2l-1))

-3×BoxI((r-l/2,c-l+1),(l,2l-1))]/Area

D_xy＝[BoxI((r-l,c+1),(l,l))+BoxI((r+1,c-l),(l,l))

-BoxI((r-l,c-l),(l,l))-BoxI((r+1,c+1),(l,l))]/Area

其中，BoxI((x₁,y₁),(x₂,y₂))表示的是以(x₁,y₁)为左上角，(x₂,y₂)为右上角的矩形区域内的积分值。

这样，Hessian矩阵的行列式即点(r,c)的响应值可以近似为：

det(H)≈D_xxD_yy-(0.9D_xy)²

S24、根据非极值抑制算法查找兴趣点。

进一步的，所述步骤S24具体包括步骤：

S241、选定卷积响应图的目标点并构造该目标点的邻域；

S242、判断目标点的响应值与其邻域内所有点的响应值的大小，若目标点的响应值大于邻域内所有点的响应值，则判定该目标点为兴趣点，若否，则继续对下一目标点进行判断。

进一步的，所述步骤S03中的去噪音处理具体包括步骤：

S31、提取出当前帧人体动作视频图像与前一帧人体动作视频图像的兴趣点，构造兴趣点集；

S32、对当前帧所有兴趣点与前一帧的对应兴趣点进行匹配，若当前帧的兴趣点和前一帧中对应的兴趣点的最小距离或第二小距离小于设定阀值，则判定兴趣点匹配成功，若否则判定该兴趣点为噪音点并去除。

进一步的，所述步骤S03中离群处理具体包括步骤：

S33、选择一去噪音后的兴趣点作为目标点，该目标点向设定距离阈值内的所有兴趣点进行一次传播；

S34、依次以传播到的兴趣点为新的目标点，并对距离阈值尚未传播到的兴趣点进行传播，直至目标点的距离阈值内无兴趣点停止传播；

S35、判断目标点传播到的兴趣点的数量与预设点数量阈值的大小，若目标点传播到的兴趣点的数量大小预设点数量阈值，则判定兴趣点匹配成功，若否则判定该兴趣点为离群点并去除。

具体实现方案：假设两点之间能够进行扩散的距离阈值为C_diat，首先选择一个起始点，然后向该起始点的周围区域扩散，与起始点距离小于C_diat的点都能被扩散到。这些被成功扩散的点均被放入到一个起始点队列中，其中每个点只能放入一次，且每次只在队列尾部插入新扩散的点。一个点扩散完毕，起始点队列便删除头部节点。每当扩散不能再进行下去，说明这一点簇已经成功扩散到所有点。每扩散完一个点簇，需要再一次设置起始点和起始点队列进行新的一轮扩散。这样直到计算完所有的点。点数量小于阈值的点簇中的点都被判为离群点。

进一步的，所述步骤S05中的目标特征包括运动轨迹点集的长宽比、运动轨迹点集与目标区域的高度比、运动轨迹点集与目标区域的宽度比、运动轨迹点集的密度、运动轨迹点集的扩张速度、运动轨迹点集与目标的重合面积、运动轨迹点集与目标区域几何中心的平均竖直距离以及运动轨迹点集与目标区域几何中心的平均水平距离，其中，所述目标区域为当前帧人体位置。

进一步的，所述步骤S05中提取目标特征后还包括提取目标区域的长宽比和目标区域中人体的填充率，通过对目标特征以及目标区域的长宽比和目标区域中人体的填充率量化得到特征向量。

综上所述，本发明提供的通过SURF算法检测人体动作兴趣点，并对多帧的兴趣点构造成运动轨迹点集，提取目标特征并量化得到特征向量后计算特征向量与所有簇中心的欧式距离得到匹配值，最后将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。兴趣点的提取过程不要求精确定位人体和精确分割人体轮廓，因此兴趣点对遮挡、重叠、尺度变化和光照变化不敏感，能够增加行为识别的鲁棒性；对兴趣点进行预处理，能够消除噪声影响以及提高兴趣点的质量。通过对兴趣点的处理方法步骤，能够增加图像的鲁棒性，提高图像中人体行为的识别率。

本发明还提供了一种基于SURF兴趣点的行为识别装置，包括顺次电连接的图像采集模块、兴趣点检测模块、预处理模块、点集构造模块、量化模块、计算模块以及识别模块；所述图像采集模块，用于采集多帧连续的人体动作视频图像；所述兴趣点检测集模块，用于根据SURF算法检测每帧图像中与人体动作相关的兴趣点；所述预处理模块，用于预处理兴趣点，包括对兴趣点进行去噪音处理以及去离群处理；所述点集构造模块，用于累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；所述量化模块，用于从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；所述计算模块，用于计算待检测视频的运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为所有标准人体行为；所述识别模块，用于根据计算模块的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。

本发明提供的基于SURF兴趣点的行为识别转置，通过SURF算法检测人体动作兴趣点，并对多帧的兴趣点构造成运动轨迹点集，提取目标特征并量化得到特征向量后计算特征向量与所有簇中心的欧式距离得到匹配值，最后将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。兴趣点的提取过程不要求精确定位人体和精确分割人体轮廓，因此兴趣点对遮挡、重叠、尺度变化和光照变化不敏感，能够增加行为识别的鲁棒性；对兴趣点进行预处理，能够消除噪声影响以及提高兴趣点的质量。通过对兴趣点的处理方法步骤，能够增加图像的鲁棒性，提高图像中人体行为的识别率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于SURF兴趣点的行为识别方法，其特征在于，包括如下步骤：

S01、采集多帧连续的人体动作视频图像；

S02、根据SURF算法检测每帧图像中与人体动作相关的兴趣点；

S03、对兴趣点进行包括去噪音处理以及去离群的预处理；

S04、累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；

S05、从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；

S06、计算运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为样本图像；

S07、根据步骤S06的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。

2.根据权利要求1所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S02具体包括步骤：

S21、选定一帧人体动作视频图像；

S22、根据累积统计图像中左上角到图像任意一点的矩形区域内像素值之和来计算积分图像；

S23、构造的若干尺寸逐渐递增的滤波器模拟Hessian矩阵滤波器以计算出与积分图像对应的卷积响应图；

S24、根据非极值抑制算法查找兴趣点。

3.根据权利要求1所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S24具体包括步骤：

S241、选定卷积响应图的目标点并构造该目标点的邻域；

S242、判断目标点的响应值与其邻域内所有点的响应值的大小，若目标点的响应值大于邻域内所有点的响应值，则判定该目标点为兴趣点，若否，则继续对下一目标点进行判断。

4.根据权利要求1所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S03中的去噪音处理具体包括步骤：

S31、提取出当前帧人体动作视频图像与前一帧人体动作视频图像的兴趣点，构造兴趣点集；

S32、对当前帧所有兴趣点与前一帧的对应兴趣点进行匹配，若当前帧的兴趣点和前一帧中对应的兴趣点的最小距离或第二小距离小于设定阀值，则判定兴趣点匹配成功，若否则判定该兴趣点为噪音点并去除。

5.根据权利要求4所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S03中的离群处理具体包括步骤：

S33、选择一去噪音后的兴趣点作为目标点，该目标点向设定距离阈值内的所有兴趣点进行一次传播；

S34、依次以传播到的兴趣点为新的目标点，并对距离阈值尚未传播到的兴趣点进行传播，直至目标点的距离阈值内无兴趣点停止传播；

S35、判断目标点传播到的兴趣点的数量与预设点数量阈值的大小，若目标点传播到的兴趣点的数量大小预设点数量阈值，则判定兴趣点匹配成功，若否则判定该兴趣点为离群点并去除。

6.根据权利要求1所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S05中的目标特征包括运动轨迹点集的长宽比、运动轨迹点集与目标区域的高度比、运动轨迹点集与目标区域的宽度比、运动轨迹点集的密度、运动轨迹点集的扩张速度、运动轨迹点集与目标的重合面积、运动轨迹点集与目标区域几何中心的平均竖直距离以及运动轨迹点集与目标区域几何中心的平均水平距离，其中，所述目标区域为当前帧人体位置。

7.根据权利要求6所述的基于SURF兴趣点的行为识别方法，其特征在于，所述步骤S05中提取目标特征后还包括提取目标区域的长宽比和目标区域中人体的填充率，通过对目标特征以及目标区域的长宽比和目标区域中人体的填充率量化得到特征向量的步骤。

8.一种基于SURF兴趣点的行为识别装置，其特征在于，包括顺次电连接的图像采集模块、兴趣点检测模块、预处理模块、点集构造模块、量化模块、计算模块以及识别模块；

所述图像采集模块，用于采集多帧连续的人体动作视频图像；

所述兴趣点检测集模块，用于根据SURF算法检测每帧图像中与人体动作相关的兴趣点；

所述预处理模块，用于预处理兴趣点，包括对兴趣点进行去噪音处理以及去离群处理；

所述点集构造模块，用于累积多帧图像中所有兴趣点并构造表征人体动作的运动轨迹的点集；

所述量化模块，用于从人体动作的运动轨迹的点集中提取目标特征并量化得到特征向量；

所述计算模块，用于计算待检测视频的运动轨迹点集的特征向量与所有簇中心的欧式距离，得到待检测视频与所有簇中心的匹配值，其中，所述簇中心为所有标准人体行为；

所述识别模块，用于根据计算模块的计算结果，将待检测视频图像人体动作判定为得到的匹配值最高的人体动作。