CN108596045B - 一种基于空中监控平台的群体异常行为检测方法 - Google Patents

Abstract

本文提出一种基于空中监控平台的人群异常行为检测方法。首先通过估计图像的深度信息适当修正特征点的光流矢量，以减小透视现象导致的目标运动速度估算误差，然后对特征点的光流矢量聚类并结合背景运动一致性规律实现移动摄像头下的目标检测。采用双高斯混合模型检测异常行为，用最大期望算法求取模型参数。最后采用一种时间队列机制检验误判，并通过简化的凝聚层次聚类算法对异常特征点的空间坐标进行聚类，去除孤立的异常特征点并标记出异常群体。在多个场景下的实验验证了方法的有效性。

Description

一种基于空中监控平台的群体异常行为检测方法

技术领域

本发明涉及视频智能监控领域中的异常行为检测问题，尤其是涉及一种基于空中监控平台的群体异常行为检测方法。

背景技术

虽然基于固定摄像头的异常行为检测算法已成为研究热点，但是基于空中监控平台的异常检测算法研究却很少。不同于固定摄像头拍摄的视频，空中监控平台拍摄的 视频具有背景移动、视距较远等特点，需要结合这些特点来设计基于空中监控平台的 异常行为检测方法。

由于空中监控平台拍摄的视频画面背景处于移动状态，导致经典的前景提取算法不再适用，因此需要采用移动摄像头下的前景目标检测方法。基于背景运动补偿的方 法和基于特征点聚类的方法是目前主流的移动背景目标检测算法。前者通过特征点匹 配等方法估算出运动参数，然后进行运动补偿运算，转化为静态背景下的前景目标检 测问题。后者先提取特点，对特征点的光流矢量进行聚类，然后按照一定准则选出背 景特征点所在的簇。基于背景运动补偿的方法更适用于背景移动平缓、画面清晰的情 况，对于空中监控平台拍摄的视频，采取特征点聚类的方法提取前景目标更加合适。 本文利用图像的深度信息对特征点的光流矢量进行适当修正，在此基础上对特征点的 光流矢量进行聚类，提出一种基于背景运动一致性的方法选取背景特征点所在的簇。

对于监控视频的异常行为检测，学者们从不同的角度出发研究了许多不同的算法。主要可分为基于轨迹、分类、聚类和推断的异常行为检测算法。基于轨迹的方法 跟踪运动目标得到目标的轨迹，然后通过对比各个轨迹的相似程度等方法来区分正常 目标和异常目标，一般适用于场景中运动目标较少、视距较近的情况，不适用于人群 密集的复杂场景。基于分类的方法一般将部分视频作为训练集训练出一个分类器，之 后将需要测试的视频序列输入到分类器进行分类，结果输出为正常或异常；基于聚类 的方法提取前景目标的特征进行聚类，最后以一定的方法判断出其中

属于异常的类别；基于推断的方法根据人们对异常行为的认知设计一些判断指标，如人群运动能量、运动方向熵、分布熵等，通过观测这些指标或指标的变化情况 判断是否有异常行为发生。

发明内容

本发明提出了一种基于空中监控平台的异常行为检测方法，首先进行移动摄像头下的前景目标提取，然后对提取到的前景目标进行异常行为检测。

本发明通过以下技术方案来实现上述目的：

(1)提取图像中的特征点，并求取特征点的光流矢量。

(2)估算图像的深度信息，通过深度信息对(1)中的特征点的光流矢量进行适 当的修正，深度值大(距离摄像头远)的地方将会得到更大的修正幅度。

(3)对修正后的特征点的光流矢量进行聚类，结合背景运动一致性规律区分前 景特征点所在的簇和背景特征点所在的簇，即提取出前景特征点。

(4)用训练视频中的前景特征点的光流矢量建立双高斯混合模型。在测试阶段，利用建立的双高斯混合模型检测特征点是否异常。

(5)由于群体异常行为必然有一定的持续时间，通过一种时间队列误判机制检 验是否存在误判的情况。

(6)对判断为异常的特征点的空间坐标进行聚类，消除孤立的异常特征点并标 记出异常群体。

附图说明

图1基于空中监控平台的群体异常行为检测方法框架图；

具体实施方式

下面结合附图对本发明作进一步说明：

特征点提取及修正其光流矢量的具体方法如下：

本文采用Shi-Tomasi算法提取角点作为特征点，并用Lucas-Kanade光流法求取特征点的光流矢量，利用估计出的图像深度信息适当修正光流矢量，修正方法如下： 对于特征点(x,y)，假设通过Lucas-Kanade光流法求取的原始光流矢量用I_LK＝(I_x,I_y)表示，设图像中最大深度值为d_max，最小深度值为d_min，特征点(x,y)的深度值为d。令修正因子为：

式中e为自然常数，由上式可看出，修正因子的范围为

且随着深度d单 调递增，即深度越大(距离摄像头越远)获得的修正因子越大。修正后的光流矢量为：

I＝αI_LK (2)

前景提取的具体方法如下：

对于当前时刻视频帧，所有特征点的光流矢量可以构成一个光流矢量集合

用DBSCAN密度聚类来对集合D中的光流矢量进行聚类，聚类 完成形成若干个簇，设C为包含所有簇的集合：

其中

为包含n_k个光流矢量的簇，

为属于簇C_k的光流矢量， 簇C_k的平均光流矢量为：

标准差为：

由于背景特征点具有运动一致性，并且一般情况下数量较大，所以其对应的簇应具有以下两个性质：

(1)标准差很小。

(2)簇的成员数量相对较大。

基于这两点性质，按以下方式选取背景簇：设置一个数量阈值n_th，在成员数量 大于n_th的簇中，选取标准差最小的簇作为背景簇。背景簇对应的特征点即为背景特 征点，其他特征带点作为前景特征点。

建立双高斯异常行为检测模型过程如下：

对于人群状态为正常的训练视频，假设第i帧中第j个前景特征点的光流矢量用I′_ij表示，第i帧中背景特征点的平均光流矢量为

则训练矢量集为：

D_train＝{I₁₁,I₁₂,…I_mn}

假设以上训练矢量集中的光流矢量服从一个二维的高斯混合分布，则对于一个光流矢量I_ij有：

其中，Θ表示模型的参数，Θ＝{λ₁,…,λ_M,μ₁,…,μ_M,∑₁,…∑_M}，下标M为高 斯分量最大个数，λ_k为混合系数，即各个高斯分量的权重，μ_k为高斯分量的均值，∑_k为高斯分量的协方差矩阵，N(I|μ_k,∑_k)为二维高斯分布的概率分布函数：

将D_train作为训练集，通过EM算法(Expectation-Maximization Algorithm)解 得人群状态为正常情况下的模型参数Θ_normal。在此需注意，当训练集数据不够充足时， 协方差矩阵可能为奇异矩阵，会导致求解失败，在本文的背景下，只要保证特征点的 选取不要过于稀疏，训练集的数据量是充足的。

同理，通过人群状态为异常的训练视频可以得到人群状态为异常时的高斯混合模型(GMM)的参数Θ_abnormal。

在测试阶段，对于每一帧图像，依次取其前景特征点的光流矢量I，通过下式得 到二值化的输出结果：

由此，可将前景特征点暂时分为正常和异常两类。

如果没有异常行为视频用于训练，则退化为单GMM模型，此时F(I)由下式求得：

式中，θ_th为需要设定的概率阈值。

误判检验具体方法如下：

Step1:在测试开始时，为所有前景特征点创建一个长度为L的状态队列，并将队列中 的值都初始化为0；

Step2:在检验新的一帧时，让所有状态队列的队尾元素出队，相应的让每个前景特征 点的F(I)入队；

Step3:若某一特征点的状态队列中的元素为全为1，则将该特征点判断为异常点；否 则暂时作为正常点。

对异常特征点进行空间坐标聚类的方法如下：

Step1：设置一个邻近度阈值d_th，对于新的一帧，将所有的异常特征点都初始化为一 个单独的簇；

Step2：计算任意一个簇与其它簇的邻近度，若两簇之间的邻近度小于d_th，则将两簇 合并为一簇；

Step3:重复Step2，直到没有可以被合并的簇。

上述算法中，邻近度定义为两个不同簇的最近点之间的欧氏距离，聚类完成后去除成员数量为1的簇，将剩余的簇分块标记并发出预警。

为了验证本发明的提出的针对空中监控平台异常行为检测方法的有效性，在9个不同的场景(共27段视频)视频下进行了实验，其中3个场景中有异常行为发生。 实验结果如表1和表2所示：

表1存在异常行为场景下实验结果

Tab.1 experiment result in the scenes with abnormal behavior

表2全程行为正常场景下实验结果

Tab.2 experiment result in the scenes without abnormal behavior

从表中可以看出本文算法在实验数据集中取得了较好的效果，具有一定的实用价值。在存在异常行为的3个场景中，平均准确率为85.12％，平均精确率为81.13％， 平均召回率为84.39％；在只存在正常情况的场景中，平均虚警率为9.04％。

Claims (5)

1.一种基于空中监控平台的群体异常行为检测方法,其特征在于包括以下步骤：

(1)提取图像的特征点，计算特征点的光流矢量，通过估计图像的深度信息来对特征点的光流矢量进行修正；

(2)对特征点的光流矢量进行聚类，并根据背景运动一致性规律来选取背景特征点，从而完成移动摄像头下的运动目标检测；

(3)利用训练视频集的前景特征点的光流矢量建立双高斯混合模型，在测试阶段使用双高斯混合模型进行异常行为检测；

(4)根据异常行为必然有一段持续时间的规律，采用一种时间队列机制对(3)中的检测结果进行误判检验，该时间队列机制即：在测试开始时，为所有前景特征点创建一个长度为L的状态队列，并将队列中的值都初始化为0，在检验新的一帧时，让所有状态队列的队尾元素出队，相应的让每个前景特征点的F(I)入队，若某一特征点的状态队列中的元素全为1，则将该特征点判断为异常点，否则为正常点；

(5)使用简化的凝聚层次聚类对所有异常特征点的空间坐标进行聚类,去除孤立的异常特征点并标记出异常人群，该聚类方法即：设置一个邻近度阈值d_th，对于新的一帧，将所有的异常特征点都初始化为一个单独的簇，计算任意一个簇与其他簇的邻近度，若两簇之间的邻近度小于d_th，则将两簇合并为一簇，重复Step2，直到没有可以被合并的簇。

2.根据权利要求1所述的方法，其特征在于步骤(1)中使用图像的深度信息来修正特征点的光流矢量，修正方法如下：

对于特征点(x,y),假设通过光流法求取的原始光流矢量用I_LK＝(I_x,I_y)表示，设图像中最大深度值为d_max,最小深度值为d_min,特征点(x,y)的深度值为d,令修正因子为：

式中e为自然常数,由上式可看出，修正因子的范围为

且随着深度d单调递增，即深度越大(距离摄像头越远)获得的修正因子越大，修正后的光流矢量为：

I＝αI_LK (2)。

3.根据权利要求1所述的方法,其特征在于步骤(2)中通过对光流矢量聚类并结合背景运动一致性规律提取运动前景目标，其中背景运动一致性规律为:在对光流矢量聚类之后,背景簇的标准差很小并且成员数量较大。

4.根据权利要求1所述的方法,其特征在于步骤(3)中使用双高斯混合模型进行异常行为检测，其中双高斯混合模型是指:在训练阶段分别用人群状态为正常的视频和人群状态为异常的视频训练出两个高斯混合模型参数，在测试阶段将测试视频中的前景特征点分别输入到这两个高斯混合模型中，通过比较在两个高斯混合模型中的概率判断是否为异常特征点。

5.根据权利要求1所述的方法，其特征在于步骤(4)中釆用一种时间队列误判检验机制检验步骤⑶中的结果，该时间队列机制如下：

Stepl:在测试开始时,为所有前景特征点创建一个长度为L的状态队列,并将队列中的值都初始化为0；

Step2:在检验新的一帧时，让所有状态队列的队尾元素出队，相应的让每个前景特征点的F(I)入队；

Step3:若某一特征点的状态队列中的元素为全为1,则将该特征点判断为异常点；否则暂时作为正常点。

Images