CN103093204B - 行为监测方法及装置 - Google Patents

Abstract

本发明公开了一种行为检测方法及装置，该方法包括：使用帧差法检测图像中的运动区域；对所述运动区域进行人体图像检测；将所述人体图像中的特征点与预设库中的特征点组进行匹配；根据所述特征点确定出人体中心；根据人体中心的变化确定人体运动的距离；根据所述距离和该距离对应的时间确定人体奔跑的速度；当所述速度大于阈值时，确定进行了奔跑行为；其中，所述根据人体中心的变化确定人体运动的距离包括：计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离；所述序号为人体图像的序号。通过本发明，实现了对视频监控中的行为分析。

Description

行为监测方法及装置

技术领域

本发明涉及机器视觉技术领域，特别涉及一种行为监测方法及装置。

背景技术

随着社会发展和智能城市的需要，越来越多的公共场所安装了视频监控系统。有些视频监控系统中有这样一类功能需求，即视频中是否有快速奔跑的人。该需求为视频监控中行为分析问题，属于智能视频监控较高级处理目标。

发明内容

为了达到上述目的，本发明提供了一种行为检测方法及装置。

根据本发明的一个方面，提供了一种行为监测方法，包括：使用帧差法检测图像中的运动区域；对所述运动区域进行人体图像检测；将所述人体图像中的特征点与预设库中的特征点组进行匹配；根据所述特征点确定出人体中心；根据人体中心的变化确定人体运动的距离；根据所述距离和该距离对应的时间确定人体奔跑的速度；当所述速度大于阈值时，确定进行了奔跑行为。

优选地，将所述人体图像中的特征点与预设库中的特征点组进行匹配包括：采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

优选地，在将所述人体图像中的特征点与预设库中的特征点组进行匹配之后，包括：确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

优选地，根据人体中心的变化确定人体运动的距离包括：计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离。

优选地，根据所述距离和该距离对应的时间确定人体奔跑的速度包括：用运动距离比上两幅图像所在帧的的差再乘以帧率。

根据本发明的一个方面，提供了一种行为监测装置，包括：第一检测模块，用于使用帧差法检测图像中的运动区域；第二检测对所述运动区域进行人体图像检测；匹配模块，用于将所述人体图像中的特征点与预设库中的特征点组进行匹配；第一确定模块，用于根据所述特征点确定出人体中心；第二确定模块，用于根据人体中心的变化确定人体运动的距离；第三确定模块，用于根据所述距离和该距离对应的时间确定人体奔跑的速度；第四确定模块，用于当所述速度大于阈值时，确定进行了奔跑行为。

优选地，所述匹配模块包括：

第一处理模块，用于采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；

第二处理模块，用于当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

优选地，还包括：

第三处理模块，用于确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

优选地，所述第二确定模块用于计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离。

优选地，所述第三确定模块用于使用运动距离比上两幅图像所在帧的的差再乘以帧率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的行为检测方法的流程图；

图2是根据本发明实施例的行为检测装置的结构框图；

图3是根据本发明实施例的奔跑检测的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种行为检测方法，图1是根据本发明实施例的行为检测方法的流程图，如图1所示，包括如下步骤：

步骤Ｓ102：使用帧差法检测图像中的运动区域。

步骤Ｓ104：对该运动区域进行人体图像检测。

步骤Ｓ106：将该人体图像中的特征点与预设库中的特征点组进行匹配。

步骤Ｓ108：根据该特征点确定出人体中心。

步骤Ｓ110：根据人体中心的变化确定人体运动的距离。

步骤Ｓ112：根据该距离和该距离对应的时间确定人体奔跑的速度。

步骤Ｓ114：当该速度大于阈值时，确定进行了奔跑行为。

优选地，将所述人体图像中的特征点与预设库中的特征点组进行匹配包括：采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

优选地，在将所述人体图像中的特征点与预设库中的特征点组进行匹配之后，包括：确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

优选地，根据人体中心的变化确定人体运动的距离包括：计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离。

优选地，根据所述距离和该距离对应的时间确定人体奔跑的速度包括：用运动距离比上两幅图像所在帧的的差再乘以帧率。

根据本发明的一个方面，一种行为检测装置，图2是根据本发明实施例的行为检测装置的结构框图，如图2所示，该装置包括：

第一检测模块21，用于使用帧差法检测图像中的运动区域；第二检测模块22，用于对所述运动区域进行人体图像检测；匹配模块23，用于将所述人体图像中的特征点与预设库中的特征点组进行匹配；第一确定模块24，用于根据所述特征点确定出人体中心；第二确定模块25，用于根据人体中心的变化确定人体运动的距离；第三确定模块26，用于根据所述距离和该距离对应的时间确定人体奔跑的速度；第四确定模块27，用于当所述速度大于阈值时，确定进行了奔跑行为。

优选地，所述匹配模块包括：

第一处理模块，用于采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；

第二处理模块，用于当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

优选地，还包括：

第三处理模块，用于确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

优选地，所述第二确定模块用于计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离。

优选地，所述第三确定模块用于使用运动距离比上两幅图像所在帧的的差再乘以帧率。

优选实施例一

本优选实施例提出一种基于特征点匹配的奔跑检测方法。利用特征点检测，特征点匹配和特征点聚类和行人跟踪的方法对视频场景中的行人进行跟踪。再根据行人的运动距离和对应帧的间隔计算行人的运动速度。最后根据运动速度是否超过阈值判断是否出现奔跑。通过使用sift特征点匹配不同帧中的人体图像，提高了匹配的准确率。

优选实施例二

本优选实施例提出一种基于基于特征点匹配的奔跑检测方法。该方法包括如下步骤：

（1）首先待摄像机所采集图像稳定后，取第一帧图像作为背景图像，从第二帧开始，将当前图像于背景图像简单相减取绝对值并二值化得到差分图像--d(i,j)。

然后对于差分图像先进行形态学开运算去除掉孤立的小点，噪声，毛刺及小桥。再通过形态学闭运算弥合断裂的人体区域。然后输出二值图像作为后续处理，由于形态学处理不是本发明的重点，故在这里不详细的叙述。

再采用基于连通性的边界跟踪算法,获得提取整个图像序列中行人的轮廓。把轮廓以点序列的形式存储。

最后对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值Xmax，Ymin，Xmax，Ymax。则外接矩形的左上角坐标和宽高为（Xmin，Ymin），width=Xmax-Xmin+1，height=Ymax-Xmin+1。

（2）人体检测：

使用支持向量机法进行人体检测。

1）训练：选取合适的核函数，k（xi，xj）。

2）最小化||w||，在ω_i(w·x_i-b)≥1-ξ_i的条件下。

3）只存储非零的α_i和相应的x_i（它们是支持向量）。

4）将图像按一定比例缩放到不同尺度，在每一个尺度下使用8*16大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。

（5）分类：对于模式X，用支持向量x_i和相应的权重α_i计算判别函数

式这个函数的符号决定这个区域是不是人体。

（3）特征点检测

1)构建尺度空间。

这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。

高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中G(x,y,σ)是尺度可变高斯函数

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}.$

（x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，使用高斯差分尺度空间

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y,σ).

2）对于一幅图像I,建立其在不同尺度(scale)的图像

3)在高斯差分尺度空间

一个点如果在高斯差分尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。

4）除去不好的特征点

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为高斯差分算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

5）为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝αtan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

上式为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

6）生成特征点描述子

在建立描述子时，要将描述子的主方向坐标旋转到关键点的主方向上来，这样才能保证具有旋转不变性。之后选择以关键点为中心的16×16区域，计算出其中每一点的梯度值；然后将这个区域所有的梯度值用一个中心在该区域中央的高斯函数加权（高斯函数的标准差为1.5倍的区域宽度）。接下来将整个区域分为16个4×4的小区域，在这个小区域中统计梯度直方图，直方图分为8个方向；那么整个描述子所覆盖的区域含有的信息就是16×8=128个，则整个描述子可以看做是一个128维的向量，即特征向量。

7）最后将特征向量归一化，则可以去掉光照变化产生的影响。

如果光照变化是对比度变化，则相当于是对每个点的梯度乘上了一个常数，那么标准化后这个常数就被消除了；如果光照变化是亮度的变化，那么相对于对每个点的像素值加上了一个常数，对梯度的变化没有任何影响。但是由于一些非线性的光照变化会使某些像素的梯度模值产生较大变化，同时对梯度方向没有影响，因此我们在统计梯度直方图时将所有大于某个阈值的梯度模值都置为这个阈值，就可以降低光照变化的影响。要注意的是，向量归一化是在所有模值经过阈值的限制之后进行的。因为这样的操作相当于降低了大模值点的模值在匹配中的权重。这个阈值一般选为0.2。

（4）特征入库

将人体图像的特征向量组，人体图像的位置，人员ID信息，人体图像所在ID下的图像序号连接成一个特征向量存入库中。

（5）特征点匹配

对于特征点描述子，然后使用欧氏距离标识两个描述子之间的差异

d=sqrt(∑(xi1-xi2)^2)

如果两个特征点A和B真正的是一个对匹配点，那么他们的描述子之间所对应欧式距离首先要最小；其次，这个小还要小到一定程度：需要他比描述子A到除B以外其他任何描述子的距离都显著的小，才能体现正确匹配的唯一独特性。在造作中，我们可以以最近距离与次近距离的比例来衡量这种“显著程度”，只有当最近距离与次近距离小于某个比例阈值时，我们才接受这一对匹配.

当两幅人体图像中匹配成功的特征点数达到有一阈值比例。则认定这两幅图像为同一人体图像。

（6）聚类

对于检测到的人体图像中全部特征点按位置就出类中心。

Center（x，y）=(P1（x,y）+P2（x,y）+…+Pn（x,y）)/n

（7）奔跑判定

每次计算库中的的每个ID，如果ID中连续两帧的人体中心判断下式

Distance（Center1，Center2）/帧间隔*帧率>thr1

则判定奔跑，触发报警。

其中Distance（Center1，Center2）为同一ID下序号连续的两幅人体图像的人员特征点组中心的距离。

thr1为提前设定好的阈值。

优选实施例三

本优选实施例提供了一种行为监测方法，图3是根据本发明实施例的奔跑检测的流程图，如图3所示，该方法包括步骤S302至步骤S316。

步骤S302：获取图像。

步骤S304：人体检测。

步骤S306：检测特征点。

步骤S308：特征点匹配，如果匹配成功，执行步骤Ｓ310，否则执行步骤Ｓ312。

步骤S310：关联。

步骤S312：为特征建立新ＩＤ。

步骤S314：更新特征库。

步骤S316：计算距离。

步骤S316：计算速度。

步骤S320：判断速度是否过大？如果判断结果为是，执行步骤S322，否则执行步骤S324。

步骤S322：获取图像。

步骤S324：人体检测。

需要说明的是，本发明不受光照变化的影响，能够快速较准确的检测出视频中的奔跑事件。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种行为检测方法，其特征在于，包括：

使用帧差法检测图像中的运动区域；

对所述运动区域进行人体图像检测；

将所述人体图像中的特征点与预设库中的特征点组进行匹配；

根据所述特征点确定出人体中心；

根据人体中心的变化确定人体运动的距离；

根据所述距离和该距离对应的时间确定人体奔跑的速度；

当所述速度大于阈值时，确定进行了奔跑行为；

其中，所述根据人体中心的变化确定人体运动的距离包括：

计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离；

在将所述人体图像中的特征点与预设库中的特征点组进行匹配之后，包括：

确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

2.根据权利要求1所述的方法，其特征在于，将所述人体图像中的特征点与预设库中的特征点组进行匹配包括：

采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；

当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

3.根据权利要求1所述的方法，其特征在于，根据所述距离和该距离对应的时间确定人体奔跑的速度包括：

用运动距离比上两幅图像所在帧的的差再乘以帧率。

4.一种行为检测装置，其特征在于，包括：

第一检测模块，用于使用帧差法检测图像中的运动区域；

第二检测模块，用于对所述运动区域进行人体图像检测；

匹配模块，用于将所述人体图像中的特征点与预设库中的特征点组进行匹配；

第一确定模块，用于根据所述特征点确定出人体中心；

第二确定模块，用于根据人体中心的变化确定人体运动的距离；

第三确定模块，用于根据所述距离和该距离对应的时间确定人体奔跑的速度；

第四确定模块，用于当所述速度大于阈值时，确定进行了奔跑行为；

所述第二确定模块用于计算序号连续的两个特征点组的类中心的距离；其中，如果摄像头是垂直于地面放置，计算欧式距离，如果摄像头是水平放置，则计算水平距离代表运动距离；

还包括：

第三处理模块，用于确定出两帧中的人体图像为同一个人时，将后一帧的人体图像中的特征点组赋予之前人体图像的标识ID，并根据这个ID中人体图像的个数赋予后来的人体图像序号。

5.根据权利要求4所述的装置，其特征在于，所述匹配模块包括：

第一处理模块，用于采用特征点描述子所构成的特征向量的欧式距离来作为两个人体中同一特征点的相似性判定度量；

第二处理模块，用于当两幅人体图像中的能匹配成功的特征点比例大于某一阈值，则判定两幅人体图像是同一个人。

6.根据权利要求4所述的装置，其特征在于，所述第三确定模块用于使用运动距离比上两幅图像所在帧的差再乘以帧率。