CN106156706A - 行人异常行为检测方法 - Google Patents

Abstract

本发明涉及一种行人异常行为检测方法，包括：对视频帧中的行人密度进行估计，根据得到的行人密度将所述视频场景划分为中高密度场景或者低密度场景；如果所述视频场景为中高密度场景，则采用群体结构动态演化的群体跟踪方法，对视频帧中的行人进行群体跟踪并检测是否发生异常行为；如果所述视频场景为低密度场景，则采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪并检测是否发生异常行为。本发明简单方便，避免了复杂的模型学习的过程，适应性强，并且提高了监控人员查找造成安全问题的原因的效率，节约了人力。

Description

行人异常行为检测方法

技术领域

本发明涉及一种行人异常行为检测方法。

背景技术

近年来，随着安全问题受到社会的日益关注，视频中的异常行为检测也越来越重要。同周围行人的行为不一致，存在徘徊或者逗留的行为，而这些行为可能引发一些安全问题。通过对监控视频进行分析，进而对一些造成安全问题的异常行为进行判定，可以将监控视频中大量的对安防无用的信息过滤掉，节约大量的人力。

目前对于群体的异常行为，由于人群规模和密度较大，所以大多以宏观的角度进行研究，即将群体当做一个整体进行研究。主要有以下步骤：对视频运动目标检测、跟踪；根据人群的运动特性，进行人群监测；通过模型对人群轨迹建模，识别人群的异常行为。

目前对于个体异常行为的检测，同群体异常行为检测方法大体一致，也是对目标行人进行跟踪，获得目标行人的轨迹，通过轨迹和场景模型的一致性检测目标行人的行为异常，或通过模型实现对异常行为的检测。

可见，目前的行人异常行为检测方式大都需要建立模型，然后进行模型学习，效率较低而且过程复杂。

发明内容

有鉴于此，有必要提供一种行人异常行为检测方法。

本发明提供一种行人异常行为检测方法，该方法包括如下步骤：a.对视频帧中的行人密度进行估计，根据得到的行人密度将所述视频场景划分为中高密度场景或者低密度场景；b.如果所述视频场景为中高密度场景，则采用群体结构动态演化的群体跟踪方法，对视频帧中的行人进行群体跟踪并检测是否发生异常行为；c.如果所述视频场景为低密度场景，则采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪并检测是否发生异常行为。

优选的，所述的步骤a具体包括：提取视频帧中的特征点，采用光流法跟踪所述特征点，计算所述跟踪的特征点的速度，根据统计多帧图像中的特征点的速度与行人密度的关系，估计行人密度；将得到的行人密度与预先设置的阈值进行比较：如果行人密度大于设置的阈值，则该视频中场景为中高密度场景；否则，归为低密度场景。

优选的，所述的步骤b具体包括：b1.采用群体结构动态演化的群体跟踪方法，对视频帧中的群体进行群体跟踪；b2.在群体跟踪的过程中，对视频帧中跟踪到群体的每一帧的群体协同性值进行记录存储，直到群体跟踪结束；b3.根据跟踪的群体的每一帧的群体协同性值，计算该群体d帧内的群体协同性值，并根据预设的阈值判断有无异常行为发生。

优选的，所述的步骤b3具体包括：每间隔d帧，通过函数φ对该群体在d帧内的群体协同性值进行计算；与前一个d帧的φ值做差；当差值大于预先设置的阈值T的时，则判断有异常发生；若差值小于阈值T，则重复上述过程，直到群体跟踪结束，如果直到群体跟踪结束，所述差值仍小于阈值T，则判断群体无异常行为。

优选的，所述的步骤b具体包括：b4.采用群体结构动态演化的群体跟踪方法，对视频帧中的群体进行群体跟踪；b5.对上述跟踪到的群体每一帧中所包含的块的数目进行记录存储，直到群体跟踪结束；b6.计算跟踪到的群体一段时间内所包含的块的数目，根据阈值和权值判断是否发生群体异常行为。

优选的，所述的步骤b6具体包括：每隔m帧，对跟踪到的群体所包含块的数目通过函数f进行计算；将当前m帧的f值和之前的m帧的f值相减，预先设置一权值，并初始化为0；若|f_n-f_n-1|>s，则权值加一，且预设的阈值s也相应增大，重复上述过程；若权值超过w，则判断发生异常行为；若直到群体跟踪结束，权值仍然小于该w值，则判断群体无异常行为发生。

优选的，所述的步骤c具体包括：c1.采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪；c2.分别计算视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离；c3.根据上述计算的视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离，判断是否发生异常行为。

优选的，所述的周围行人是指：在对目标行人开始跟踪时，存在于目标行人周围三米之内的行人，并且这些行人运动的最终目的地与该目标行人相同。

优选的，所述的步骤c2中计算视频帧中的目标行人在整个跟踪过程的运动距离s具体包括：每间隔N帧，利用公式 $L=\sqrt{{(x_{i+N-1}-x_i)}^2+{(y_{i+N-1}-y_i)}^2}$ 计算一次目标行人运动距离，其中，x，y为目标行人的位置坐标，L为在N帧内目标行人运动距离；目标行人在整个跟踪过程中的运动的距离s为：S＝L₁+L₂+…+L_n。

优选的，所述的步骤c3具体包括：对目标行人和其周围行人在整个跟踪过程的运动距离通过β函数进行计算；将该目标行人的运动距离s和计算得到的β函数的值进行差值计算；如果差值大于预先设定的阈值T，则判断为有异常行为发生；如果差值小于预先设定的阈值T，则判断为无异常行为发生。

本发明一种行人异常行为检测方法，直接利用群体的基本变化、属性等来对异常行为进行检测，非常简单方便，避免了复杂的模型学习的过程。本发明还能够根据行人密度，自适应选择不同的方法，进行异常行为检测，提高了检测的准确率。另外，本发明还能够检测出群体人数大幅度的变化，群体运动突然变得杂乱无章,以及个体行人存在徘徊或逗留等异常行为，提高了监控人员查找造成安全问题的原因的效率，节约了人力。

附图说明

图1为本发明一种行人异常行为检测方法的流程图；

图2为本发明一种行人异常行为检测方法步骤S2的详细流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明一种行人异常行为检测方法较佳实施例的作业流程图。

步骤S1，对行人密度进行估计，再根据行人密度对视频中场景进行等级划分。具体而言：

首先提取特征点，采用光流法跟踪所述特征点；然后计算所述跟踪的特征点的速度；最后根据统计多帧图像中的特征点的速度与行人密度的关系，估计行人密度。

将上述得到的行人密度与预先设置的阈值进行比较：如果行人密度大于设置的阈值，则该视频中场景归为中高密度场景；反之，如果行人密度小于设置的阈值，则归为低密度场景。

步骤S2，根据视频中场景的行人密度等级的不同，采用对应的方法对视频帧进行处理。

以下结合参阅图2进行说明：

步骤S20，判断视频中场景的行人密度是否属于中高密度。如果视频中场景的行人密度属于中高密度，则进入步骤S21；否则，如果视频中场景的行人密度不属于中高密度，即为低密度，则进入步骤S24。

第一种情况：对行人密度属于中高密度的场景进行处理：

步骤S21，采用群体结构动态演化的群体跟踪方法，对视频帧中的群体进行群体跟踪。具体过程如下：

(1)利用光流法跟踪视频帧中提取到的特征点，并得到所述特征点的运动信息。

(2)根据得到的所述特征点的运动信息，计算特征点的运动模式是否一致，将运动模式一致的特征点按照密度进行聚类，即将特征点密度大的类生成块(patch)。

(3)采用群体合并(Collective Merging)方法，检测出具有一定群体结构的由块组成的群体。

需要说明的是，本实施例在形成由块组成的群体的过程中，由于可能发生行人离开或者加入群体的情况，使得由块组成的群体的结构不断发生变化，进而群体所包含的块的数目也相应改变。通过不断检测视频帧中块的群体一致性，在行人离开或者加入群体时，及时动态调整群体的结构。

(4)采用分层的动态树结构，对上述检测得到的所述视频帧中的群体进行群体跟踪。

(5)在群体跟踪的过程中，对视频帧中跟踪到的群体每一帧中所包含的块的数目和群体协同性值进行存储，直到群体跟踪结束。在进行存储时，为视频帧中跟踪到的每一个群体分配一个ID号，然后记录该ID号对应的群体在每一帧中所包含的块的数目和群体协同性值。其中，所述群体分配的ID号在整个跟踪过程保持不变。

以下两个实施例分别采用不同的方法，对处于中高密度场景的行人进行异常行为检测。

实施例一：

步骤S22，计算跟踪到的群体一段时间内所包含的块的数目，根据阈值和权值检测是否有异常发生，并更新检测阈值。

由于群体跟踪的过程中，所述群体的群体结构会随着群体中人数的变动动态变化，由块组成的群体所包含的块的数目也会相应改变。所以可以通过群体所包含的块的数目，检测出群体人数大幅度的变化这一群体异常行为。具体过程如下：

由于相邻帧中群体结构的变化很小，群体所包含的块的数目也相对稳定，所以每隔m帧，对跟踪到的群体所包含块的数目通过函数f进行计算。其中，函数f可以为该跟踪到的群体在m帧内的所包含的块的方差。然后，将当前m帧的f值和之前的m帧的f值相减，预先设置一权值，并初始化为0。若|f_n-f_n-1|>s，则权值加一，并将预设的阈值s也相应增大。不断重复上述过程，若权值超过w，则判断发生异常行为；若直到群体跟踪结束，权值仍然小于该w值，则判断群体无异常行为发生。

实施例二：

步骤S23，根据跟踪的群体的每一帧的群体协同性值，计算该群体一定时间段内的群体协同性值，并根据预设的阈值判断有无异常行为发生。具体步骤如下：

每间隔d帧，通过函数φ对该群体在d帧内的群体协同性值进行计算，具体计算时，函数φ可以对群体在d帧内的群体协同性值进行平均计算，或者进行方差计算。然后与前一个d帧的φ值做差，当差值大于预先设置的阈值T的时候，即φ_n-φ_n-1>T时，则判断有异常发生。若差值小于预先设置的阈值T，则重复上述过程，直到群体跟踪结束。如果直到群体整个跟踪过程完成，差值仍小于预先设置的阈值，则判断群体无异常行为。

第二种情况：对行人密度属于低密度的场景进行处理：

步骤S24，采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪。具体而言：

第一步，根据所述视频帧生成行人的轨迹片段：

通过HOG(Histogram of Oriented Gradient，方向梯度直方图)方法在所述视频帧中进行行人检测，然后通过光流法对行人进行跟踪。由于遮挡的存在，光流法跟踪很容易停止，生成行人的轨迹片段。

第二步，采用社会关系分布SAM(social affinity map)特征，对生成的行人的轨迹片段进行关联，实现对所述目标行人的跟踪：

其中，所述的社会关系(social affinity)是指：周围行人的运动关系，社会关系可以由朋友、亲戚、工作伙伴组成，如couple walking，Leader-follower现象。

首先，对生成的行人的轨迹片段进行矢量化，得到该轨迹片段的SAM特征。其中，所述生成的行人的轨迹片段包含所要跟踪的行人，即目标行人的轨迹片段。接着，对在同一时刻该目标行人的轨迹片段周围一定范围内的轨迹片段通过聚类方法按照SAM特征进行聚类。其中，范围大小通常设置为3米，这样可以避免一些异常值。需要注意的是，该目标行人的轨迹片段周围一定范围内的轨迹片段的运动方向和时间应与该轨迹片段一致。

然后，将上述聚类的结果用一个径向直方图描述，按照SAM特征最常见的类别将该径向直方图分为十个区域，也即十个类别，同时该径向直方图表示出了所述十个类别的空间位置分布。

然后，对所述径向直方图进行二进制矢量化，得到SAM特征的矢量。

最后，通过马尔科夫链模型(Markov-chain model)对上述轨迹片段进行关联，在上述轨迹片段关联时，通过汉明距离(Hamming distance)比较两个轨迹片段的SAM特征的矢量，以便将运动在相似的社会关系分布中的两个轨迹片段进行关联，形成目标的长轨迹，最终实现对目标行人的跟踪。

步骤S25，分别计算视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离。

值得注意的是，本实施例是基于社会关系的，所以在轨迹片段关联时，涉及到目标行人周围三米之内的行人的轨迹。

本实施例所述的目标行人周围行人是指：在对目标行人开始跟踪时，存在于目标行人周围三米之内的行人，并且这些行人运动的最终目的地与该目标行人相同。

以下以目标行人运动距离的具体计算为例进行说明：

所述计算的目标行人运动距离是指在整个跟踪过程中目标行人运动距离。

每间隔N帧，计算一次目标行人运动距离，公式如下：

$L=\sqrt{{(x_{i+N-1}-x_i)}^2+{(y_{i+N-1}-y_i)}^2}.$ 其中，x，y为目标行人的位置坐标，L为在N帧内，目标行人运动距离。

目标行人在整个跟踪过程中的运动的距离s为：

S＝L₁+L₂+…+L_n。

所述目标行人周围行人运动距离的计算方法与上述目标行人运动距离的计算方法类似，这里不再赘述。

步骤S26，根据上述计算的视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离，判断是否发生异常行为。具体而言：

对目标行人和其周围行人在整个跟踪过程的运动距离通过β函数进行计算，β函数也可以是方差计算函数或者是平均值计算函数。再将该目标行人的运动距离s和计算得到的β函数的值进行差值计算，如果差值大于预先设定的阈值T，则判断为有异常行为发生，若差值小于预先设定的阈值T，则判断为无异常行为发生。

最后需要说明的是：以上详述了三种行人异常行为检测方法，实施例一、实施例二属于本发明的第一种情况：根据群体的协同性值，可以检测出群体运动突然变得杂乱无章或者群体之间发生冲突的异常行为。根据群体所包含的块的数目，检测群体人数大幅度的变化的异常行为。本发明的第二种情况：可以检测个体行人存在徘徊或逗留等异常行为。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (10)

1.一种行人异常行为检测方法，其特征在于，该方法包括如下步骤：

a.对视频帧中的行人密度进行估计，根据得到的行人密度将所述视频场景划分为中高密度场景或者低密度场景；

b.如果所述视频场景为中高密度场景，则采用群体结构动态演化的群体跟踪方法，对视频帧中的行人进行群体跟踪并检测是否发生异常行为；

c.如果所述视频场景为低密度场景，则采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪并检测是否发生异常行为。

2.如权利要求1所述的方法，其特征在于，所述的步骤a具体包括：

提取视频帧中的特征点，采用光流法跟踪所述特征点，计算所述跟踪的特征点的速度，根据统计多帧图像中的特征点的速度与行人密度的关系，估计行人密度；

将得到的行人密度与预先设置的阈值进行比较：如果行人密度大于设置的阈值，则该视频中场景为中高密度场景；否则，归为低密度场景。

3.如权利要求1所述的方法，其特征在于，所述的步骤b具体包括：

b1.采用群体结构动态演化的群体跟踪方法，对视频帧中的群体进行群体跟踪；

b2.在群体跟踪的过程中，对视频帧中跟踪到群体的每一帧的群体协同性值进行记录存储，直到群体跟踪结束；

b3.根据跟踪的群体的每一帧的群体协同性值，计算该群体d帧内的群体协同性值，并根据预设的阈值判断有无异常行为发生。

4.如权利要求3所述的方法，其特征在于，所述的步骤b3具体包括：

每间隔d帧，通过函数φ对该群体在d帧内的群体协同性值进行计算；

与前一个d帧的φ值做差；

当差值大于预先设置的阈值T的时，则判断有异常发生；

若差值小于阈值T，则重复上述过程，直到群体跟踪结束，如果直到群体跟踪结束，所述差值仍小于阈值T，则判断群体无异常行为。

5.如权利要求1所述的方法，其特征在于，所述的步骤b具体包括：

b4.采用群体结构动态演化的群体跟踪方法，对视频帧中的群体进行群体跟踪；

b5.对上述跟踪到的群体每一帧中所包含的块的数目进行记录存储，直到群体跟踪结束；

b6.计算跟踪到的群体一段时间内所包含的块的数目，根据阈值和权值判断是否发生群体异常行为。

6.如权利要求5所述的方法，其特征在于，所述的步骤b6具体包括：

每隔m帧，对跟踪到的群体所包含块的数目通过函数f进行计算；

将当前m帧的f值和之前的m帧的f值相减，预先设置一权值，并初始化为0；

若|f_n-f_n-1|>s，则权值加一，且预设的阈值s也相应增大，重复上述过程；

若权值超过w，则判断发生异常行为；

若直到群体跟踪结束，权值仍然小于该w值，则判断群体无异常行为发生。

7.如权利要求1所述的方法，其特征在于，所述的步骤c具体包括：

c1.采用轨迹片段关联方法，对视频帧中的目标行人进行跟踪；

c2.分别计算视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离；

c3.根据上述计算的视频帧中的目标行人和其周围行人在整个跟踪过程的运动距离，判断是否发生异常行为。

8.如权利要求7所述的方法，其特征在于，所述的周围行人是指：在对目标行人开始跟踪时，存在于目标行人周围三米之内的行人，并且这些行人运动的最终目的地与该目标行人相同。

9.如权利要求8所述的方法，其特征在于，所述的步骤c2中计算视频帧中的目标行人在整个跟踪过程的运动距离s具体包括：

每间隔N帧，利用公式 $L=\sqrt{{(x_{i+N-1}-x_i)}^2+{(y_{i+N-1}-y_i)}^2}$ 计算一次目标行人运动距离，其中，x，y为目标行人的位置坐标，L为在N帧内目标行人运动距离；

目标行人在整个跟踪过程中的运动的距离s为：S＝L₁+L₂+…+L_n。

10.如权利要求9所述的方法，其特征在于，所述的步骤c3具体包括：

对目标行人和其周围行人在整个跟踪过程的运动距离通过β函数进行计算；

将该目标行人的运动距离s和计算得到的β函数的值进行差值计算；

如果差值大于预先设定的阈值T，则判断为有异常行为发生；如果差值小于预先设定的阈值T，则判断为无异常行为发生。