CN104077571B - 一种采用单类序列化模型的人群异常行为检测方法 - Google Patents

Abstract

本发明公开一种基于单类序列化模型的人群异常行为检测方法，该方法包括区域社会力特征的提取、支持向量描述模型(SVDD)监测、异常定位等主要部分。该方法在区域社会力特征提取前采用统计的方法除去背景，排除背景区域位置的光流场；采用在线更新的SVDD模型对视频中人群的异常行为进行实时的检测；并根据视频数据的序列性特征，对检测结果采取连续密度的隐马尔可夫模型来平滑处理。本方法具有良好的实时性，较好的准确度。可用于安防监控等领域。

Description

一种采用单类序列化模型的人群异常行为检测方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种采用单类序列化模型的人群异常行为检测方法。

背景技术

随着计算机技术的不断更新，互联网传输速度的大幅度提升，手持视频记录设备逐步大众化，数字视频成为日益重要的呈现和表达信息的一种新型载体。由于视频数据形象生动、直观的表现力，深受人们所喜爱，正呈爆炸式增长。面对数量如此之多、内容如此丰富的视频，如何对视频中异常事件监控已成为视频领域急需解决的问题之一。

在公共场所中，人群视频异常检测技术可以用于保障个人的生命财产安全以及维持公共秩序。无论是在超市、机场、交通道路等人群比较密集的地方，还是在私人住宅、地下停车场等一些人流稀少的地方，若能够对人群进行监测，及时发现人群异常行为，就可以及时采取相应的解决方案，避免意外事件的发生，但是大多数传统的监控系统都需要人工来完成，耗费大量的人力、物力、财力，同时人长时间专注于一件事情，可能会疏忽某些异常行为，从而带来严重的后果。

专利申请号为201110090467.6的“一种基于改进的社会力模型的异常集群行为检测方法”，是用于解决复杂高度密集场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好地描述行人间的速度场，即行人受到的社会力。用光流法跟踪均匀分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定的级别，并视不稳定性高的矩形块为异常块，既能检测异常行为又能通过矩形块对异常行为进行准确的定位，但该方法较为复杂，需要进行背景建模、前景提取以及目标检测与跟踪等处理。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种采用单类序列化模型的人群异常行为检测方法，该方法是基于视频序列性特征的人群异常行为检测方法，该方法能有效地解决了人工监测带来的时间和成本问题，同时提高了人群异常检测的准确率。

为了解决上述问题，本发明的技术方案为：

一种基于单类序列化模型的人群异常行为检测方法，获取人群视频图像，将每一帧图像用同一组均匀的横向以及纵向的网格线分隔成多个区域单元，采用基于区域社会力ASF的特征来表示图像，

在训练过程中，结合区域社会力特征训练得到支持向量数据描述SVDD模型；

在测试过程中，结合支持向量数据描述的定时在线更新的SVDD模型来检测人群异常，基于视频数据的序列性特征，采取连续密度的隐马尔可夫模型CDHMM来平滑处理异常检测结果，得到基于区域社会力的单类序列化模型的ASF+SVDD人群异常检测，实现异常定位。

由于每帧图像的粒子数目是各不相同的，但可用于模型的特征的维度都必须是相同，为此本发明引入区域社会力模型。具体的，本方法首先提取图像的区域社会力(ASF)特征；然后采用支持向量数据描述模型(SVDD)来进行异常检测，该过程包括检测模型SVDD的训练学习以及使用学习到的模型来预测样本异常与否；最后进行异常的定位，基于视频数据的序列性特征，采取连续密度的隐马尔可夫模型(CDHMM)来平滑处理异常检测结果，得到基于区域社会力的单类序列化模型的ASF+SVDD异常检测方法。

进一步，在基于区域社会力特征提取前，采用统计的方法，去除所有场景图像的干扰，剔除场景图像的粒子光流，具体流程：

1)对图像中所有的帧计算任意两帧之间的灰度差，将灰度差小于阈值τ的点标记为背景点；

2)统计所有帧中各个位置被标记为背景点的次数，得到整个视频的区域活动图；

3)若该位置被标记为背景点的次数与总次数的比值大于预设的η，则将其标记为整个视频的背景点，得到新的活动图；其中η不可以设置的太高，若为100％则不允许任何噪声点，若是设置过低，又会剔除过多的活动区域，把一些前景的区域误判为背景区域；

4)将步骤3)得到的活动图作为掩码图，与样本进行“与”操作，即可将样本的背景区域去除。

更进一步，本文中设定所有的粒子都处在前景的边框上；为了适应不同的人群密度，在计算区域社会力时每次都需要重新对依据上述方法除去背景区域后的场景图像的前景轮廓采样，即每个粒子的生命周期只有1帧。

实际上，每个区域的人群的行走速度在统计意义上和具体区域的位置无关，每个人群总体的光流场值是一致的，对每个区域，在计算区域社会力之前，可以将各人群区域的光流场归一化至同一个总体光流场值，本发明采用的是标准归一化到0均值和1方差的方法。

随着时间的推移，人群视频中主导的正常行为模式可能会发生改变，因而也决定了人群视频中异常行为的模式是和时间相关的，为此本发明采用在线定时更新的改进的SVDD模型。训练时，可计算出一个由支持向量确定的SVDD模型，将这些支持向量保存起来。而在预测时，根据支持向量计算测试样本到SVDD模型球体中心的距离，同时更新该模型的参数。在测试过程中，采用定时在线更新的方式更新SVDD模型，定时在线更新的具体过程如下：

维护工作集P₁，初始P₁为支持向量集，初始时间计数器count为0，定时更新时间为ut，f(T)为高斯权重函数，θ为筛选的权重：

21)当有新的测试样本x到达时，所有的样本包括这个测试样本的时间都增加1，时间计数器count增加1；

22)使用当前的SVDD模型预测样本x，若x为正常样本，则将x并入到工作集中，同时将x的权重设为一个较小的值f(0)，样本x的时间重设为0；

23)按照权重函数w＝f(T)更新工作集P₁中所有数据的权重，并将工作集中数据权重值小于θ的样本从工作集中删除；

24)若时间计数器count的值超过定时更新时间，则根据当前的工作集P₁更新SVDD模型，同时将时间计数器重置为0；

25)若还有新的测试样本，则执行步骤21)。

由于视频数据的序列性，异常帧的临近帧的异常的概率通常比正常帧的异常概率期望值更大，若忽视这些信息，当出现噪声扰动时，误判的概率比较大，因此本文采用连续密度的隐马尔可夫模型(CDHMM)平滑算法，来减少误判，提高异常检测的准确率。

由于异常的状态判断由SVDD模型的距离向量决定，因而可取最大距离作为判断依据。异常所在的区域社会力大于其他区域的社会力，因而可选择具有最大区域社会力的位置作为异常发生的位置，将之与实际异常位置进行与操作，若交集面积超过实际面积的40％，则视为一次正确的检测，否则检测出错。

本发明与现有的技术相比：本发明公开的一种适合人群异常行为检测的单类序列化模型，将视频序列数据采用统计的方法除去背景，提取出基于区域社会力模型的特征，并将提取的样本特征有效地组合为一系列的子样本，训练SVDD模型，并在检测时在线更新SVDD模型，最后将由在线更新的SVDD模型得到的距离向量作为CDHMM模型的观察序列，通过最大化观察序列的概率得到对应的最佳隐状态序列，将其进行适当的转换，输出最终结果，判决检测人群恐慌、人群踩踏等人群异常行为。

通过验证，本申请提出的单类序列化模型的人群异常行为分析的方法具有较好的实时性，准确性。

附图说明

图1为基于单类序列化模型的人群异常行为分析方法的流程图。

图2为区域社会力的提取流程。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

参照图1，单类序列化模型的人群异常行为检测的方法是：采用基于区域社会力(ASF)的特征来表示图像。社会力特征是一种利用视频的光流信息的简单特征子，在很好的表达视频数据信息的同时也获得可接受的计算复杂度。由于每帧图像的粒子数目是各不相同的，但可用于模型的特征的维度都必须相同，为此引入区域社会力模型，具体做法如下：

(1.1)将每一帧图像用同一组均匀的横向以及纵向的网格线分隔成多个区域单元，每个区域只包含0个、1个或者很少的几个个体；

(1.2)对于每一个区域、去除速度为0的粒子后，计算该区域的粒子的平均速度，即为该区域的主要光流场；

(1.3)计算区域社会力。

在基于区域社会力特征提取前，需排除背景区域位置的光流场，本实施例中采用统计的方法，具体流程：

(2.1)对所有帧计算任意两帧之间的灰度差，将灰度差小于阈值τ的点标记为背景点；

(2.2)统计所有帧的各个位置被标记为背景点的次数，得到整个视频的区域活动图；

(2.3)若该位置被标记为背景点的次数与总次数的比值大于预设的η，(其中η不可以设置太高，若为100％则不允许任何噪声点，若是设置过低，又会剔除过多的活动区域，把一些前景的区域误判为背景区域，本方法将η设置为0.95)则将其标记为整个视频的背景点，得到新的活动图；

(2.4)将步骤(2.3)中得到的活动图作为掩码图，与样本(训练数据和测试数据)进行与操作，即可将样本的背景区域去除。

结合区域社会力特征就可以训练支持向量数据描述(SVDD)模型，并用之来检测异常。

SVDD模型是一种单类学习的数据降维的模型，在视频数据中，位于相邻区域的个体会相互影响，且这种影响是随着距离的增加而减少的。在本发明的模型中定义一个块窗口，其中每个块窗口为一个区域行为模式，将所提取的区域社会力特征形成一个区域模式，把整个原始特征划分为m个区域行为模式，近似认为每个区域行为模式之间是相互独立的，这样可分别训练m个独立的SVDD模型。每当新的测试样本到达，计算其到每个模型球体中心的距离，得到一个m维的距离向量的结果。根据木桶短板原理，在距离向量中，整个m维的距离向量可以由该向量中的最大元素(即最大值)来替代以判断是否异常。

在测试样本时，本方法采用改进的在线更新的SVDD模型。定时在线更新过程如下(维护工作集P₁，初始P₁为支持向量集，初始时间计数器count为0，定时更新时间为ut，f(T)为高斯权重函数，θ为筛选权重)：

(2.1)当有新的测试样本x到达时，所有的样本包括这个测试样本的时间都增加1，时间计数器count增加1；

(2.2)使用当前的SVDD模型预测样本x，若x为正常样本，则将x并入到工作集中，同时将x的权重设为一个较小的值f(0)，样本x的时间重设为0；

(2.3)按照权重函数w＝f(T)更新工作集P₁中所有数据的权重，并将工作集中数据权重值小于θ的样本从工作集中删除；

(2.4)若时间计数器count的值超过定时更新时间，则根据当前的工作集P₁更新SVDD模型，同时将时间计数器重置为0；

(2.5)若还有新的测试样本，则执行步骤(2.1)。

为了使结果的准确率更高，考虑了视频的序列性特征，异常帧的临近帧的异常的概率通常比正常帧的异常概率期望值更大。本实施例是采用连续密度的隐马尔可夫模型(CDHMM)平滑算法，来减少误判，提高异常检测的准确。具体做法如下：

将SVDD模型得到的距离向量作为CDHMM模型的观察序列，通过最大化观察序列的概率得到对应的最佳隐状态序列，将隐状态序列的序号进行适当的转换，可得到ASF+SVDD算法检测异常的最终结果。

在人群异常行为检测中，只有能检测出异常发生的位置，才能有利于对事件防患于未然，上述只是检测出发生了异常，为了实现上述目的，提出了异常定位的模型。

异常的状态判断由SVDD模型的距离向量决定，因而可取最大距离作为判断依据。在计算距离向量的最大值时，保存最大值所在的索引(I是距离向量中最大值的最大值的索引，dist_i是距离向量中第i个分量的值)

I＝max_i{dist_i}_i＝1,2,…m,其中m是距离向量的维数

异常所在的区域社会力大于其他区域的社会力，因而可选择具有最大区域社会力的位置作为异常发生的位置al，用A(I)表示第I个特征组，Φ(k)表示第k个特征位置到图像位置的映射，即

al＝Φ(max_k{F_k},F_k∈A(I))

将al与实际异常位置进行与操作，若交集面积超过实际面积的40％，则视为一次正确的检测，否则检测出错。

对基准视频异常数据集UCSD Peds1和Peds2，该数据集中的视频数据来自于安装在电梯上正对着人行道的固定摄像头。Peds1数据集共包括34个训练视频和34个测试视频，并且该场景与摄像头平面不平行，其中每个视频可分为200帧。Peds2数据集包含16个训练视频和12个测试视频，并且该场景平行于摄像头平面。在Peds1和Peds2数据集中都标注了10个视频异常位置的掩码。此外，这两个数据集的训练数据都不包含异常数据，且测试数据同时包含正常数据和异常数据。

基于本申请所描述的算法对UCSD Peds1和Peds2分别进行实验测试(其中测试的系统环境为：操作系统Ubuntu 12.04，CPU Inter Duo T660 1.6-GHz，程序语言为C++,Python，开发环境G++,OpenCV 2.0)，将ASF+SVDD算法与SF算法、Adam算法，MDT算法对帧异常的判断结果进行了比较，就定位准确率来说，在平均错误率下，ASF+SVDD算法为49％，相较于SF算法的21％、Adam算法的24％、MDT算法的45％来说准确性较好；就实时性来说，ASF+SVDD算法在UCSD Peds1上每一帧运行的时间为0.152秒，在UCSD Peds2上每一帧运行的时间为0.147秒，而准确率相对来说不错的MDT算法在UCSD Peds1上每一帧运行的时间为0.61秒，在UCSD Peds2上每一帧运行的时间为0.76秒，ASF+SVDD算法运行效率相当于MDT算法的4倍，可保证算法的实时性。

通过上述验证，可知本申请提出的单类序列化模型的人群异常行为分析的方法具有较好的实时性，准确性。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所做出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (5)

1.一种采用单类序列化模型的人群异常行为检测方法，获取人群视频图像，将每一帧图像用同一组均匀的横向以及纵向的网格线分隔成多个区域单元，其特征在于，采用基于区域社会力ASF的特征来表示图像，

在训练过程中，结合区域社会力特征训练得到支持向量数据描述SVDD模型；

在测试过程中，结合支持向量数据描述的SVDD模型来检测人群异常，基于视频数据的序列性特征，采取连续密度的隐马尔可夫模型CDHMM来平滑处理异常检测结果，得到基于区域社会力的单类序列化模型的ASF+SVDD人群异常检测，实现异常定位；

在采用基于区域社会力ASF的特征来表示图像前，采用统计的方法，去除所有场景图像的干扰，剔除场景图像的粒子光流，具体流程：

1)对图像中所有的帧计算任意两帧之间的灰度差，将灰度差小于阈值τ的点标记为背景点；

2)统计所有帧中各个位置被标记为背景点的次数，得到整个视频的区域活动图；

3)若该位置被标记为背景点的次数与总次数的比值大于预设的η，则将其标记为整个视频的背景点，得到新的活动图；

4)将步骤3)得到的活动图作为掩码图，与样本进行“与”操作，即可将样本的背景区域去除。

2.根据权利要求1所述的采用单类序列化模型的人群异常行为检测方法，其特征在于，在采用基于区域社会力ASF的特征来表示图像时每次都需要重新对依据上述方法除去背景区域后的场景图像的前景轮廓采样，即每个粒子的生命周期只有1帧。

3.根据权利要求2所述的采用单类序列化模型的人群异常行为检测方法，其特征在于，在采用基于区域社会力ASF的特征来表示图像之前，采用区域归一化主导模式，将各人群区域的光流场归一化至同一个总体光流场值。

4.根据权利要求1所述的采用单类序列化模型的人群异常行为检测方法，其特征在于，在测试过程中，还采用定时在线更新的方式更新SVDD模型，定时在线更新过程如下：

维护工作集P₁，初始P₁为支持向量集，初始时间计数器count为0，定时更新时间为ut，f(T)为高斯权重函数，θ为筛选的权重：

21)当有新的测试样本x到达时，所有的样本包括这个测试样本的时间都增加1，时间计数器count增加1；

22)使用当前的SVDD模型预测样本x，若x为正常样本，则将x并入到工作集中，同时将x的权重设为一个较小的值f(0)，样本x的时间重设为0；

23)按照权重函数w＝f(T)更新工作集P₁中所有数据的权重，并将工作集中数据权重值小于θ的样本从工作集中删除；

24)若时间计数器count的值超过定时更新时间，则根据当前的工作集P₁更新SVDD模型，同时将时间计数器重置为0；

25)若还有新的测试样本，则执行步骤21)。

5.根据权利要求1所述的采用单类序列化模型的人群异常行为检测方法，其特征在于，基于视频数据的序列化特征，将SVDD模型得到的距离向量作为CDHMM模型的观察序列，通过最大化观察序列的概率得到对应的最佳隐状态序列，将隐状态序列的序号进行适当的转换，得到基于ASF+SVDD的异常定位。