CN102682303A - 基于lbp加权社会力模型的人群异常事件检测方法 - Google Patents

Abstract

本发明公开一种基于LBP加权社会力模型的人群异常事件检测方法，包括步骤为：基于块匹配法计算采样点的光流向量；基于时空域局部二进制模式对采样点进行动态纹理提取，并进行傅里叶变换的谱分析；基于LBP加权社会力模型计算采样点的社会力；将社会力进行直方图量化并基于支持向量机对视频序列进行分类判别，检测出异常行为。本发明通过结合光流和LBP频谱对社会力进行创新计算来进行人群异常行为检测，避免了背景建模、前景检测以及目标的检测与跟踪，提高了鲁棒性减少了计算量，尤其适合人群密度较大、场景较为复杂的情况。

Description

基于LBP加权社会力模型的人群异常事件检测方法

技术领域

本发明涉及计算机视频处理技术领域，具体为一种基于LBP加权社会力模型的人群异常事件检测方法，尤其适合人群密度较大、场景较为复杂的异常行为检测。

背景技术

随着社会的发展以及人口的不断增多，大规模人群活动中突发事件造成的人员伤亡引起人们对社会公共安全问题的重视，越来越多的视频监控系统被应用于各种公共场所。传统的视频监控系统通过监控场景的闭路电视进行人工监控报警，费时费力且缺乏客观性。而随着监控系统规模的不断扩大，视频数据快速增长，有限的人力已经很难从海量的监控视频中获取有用的信息。因此，对视频中异常行为的自动识别和判断已经成为人们的研究重点。

视频中的群体研究方法按照其建模方法主要分为两种：一种是微观建模，通过对群体中个体目标的识别和跟踪来分析人群的行为特征。这种方法在人群稀疏、场景简单的状况下效果较好。当人群密度较大、场景较复杂时，多目标的识别和跟踪大大增加了其方法的复杂度，而目标的分割与跟踪也由于遮挡、聚簇等变得难以实现。另一种是宏观建模，通过对视频进行特征提取，建立群体的模型，然后用采集到的数据进行机器学习，对异常情况和正常情况进行分类。这种方法对人群整体的分析效果较好，尤其适用于密度较高的人群。

社会力模型由于可以较好的模拟人群中个体的运动及其受力情况而被用于群体建模。2009年，Mehran等人将社会力模型应用于视频中异常事件的检测，用社会力模型计算每个采样点受到的相互作用力，得到图像上的社会力场，训练学习以判别视频中的异常事件。但其假设每个粒子的质量均为1，行人聚集程度参数统一，光流大小不受摄像距离远近的影响，忽略了场景中不同区域的差别，准确度有待提高。

经检索，中国发明专利申请号为201110090467.6，公开号为102156880A，该专利“提供一种基于改进的社会力模型的异常集群行为检测方法，用于解决复杂高密集度场景中人群异常行为的检测与定位，考虑到行人速度对相互间作用力的影响，使其更好的描述行人间的相互作用力，即行人受到的社会力。用光流法跟踪均匀分布在前景像素中的粒子，得到行人的速度场，用改进的社会力模型，计算出行人受到的社会力。统计每个前景矩形块中行人的速度和受力，设定阈值，判断每个矩形块中行人行为不稳定性的级别，并视不稳定性高的矩形块为异常块，既能够检测异常行为又能通过矩形块对异常行为进行了准确的定位。”但是该专利还是存在上述的背景建模、前景提取以及目标的检测与跟踪等处理，相对比较复杂。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种基于LBP加权社会力模型的人群异常事件检测方法，该方法不用进行目标的识别和跟踪，所采用的社会力模型的参数由区域的具体情况所确定，使特征提取更为接近现实，这种方法大大提高了异常行为的查准率及查全率。此外，由于该方法不需要复杂的背景建模以及对视频进行了网格状粒子采样，计算简单，鲁棒性强。

本发明是通过以下技术方案实现的，包括以下几个步骤：

第一步：基于块匹配法计算采样点的光流向量。

首先将彩色视频转化为灰度视频，使用中值滤波进行去噪，然后在空间和时间上进行网格状采样，使用基于块匹配的方法计算采样点的光流向量。匹配能量函数为平均绝对值差函数，即图像差分的L1范数；搜索方法为旋转搜索法，围绕中心位置搜索最佳匹配的光流向量。

由于距离摄像头越远的人在图像平面上所占据的大小越小，同样的位移在距离摄像头越远的地方所代表的速度越大，为了更进一步贴近实际情况，提高准确率，同时又考虑到计算的复杂度，本发明中采用了基于线性内插权重的透视矫正。对光流大小不为零的地方加一个矫正参数以更为准确的表示实际光流。离摄像头越远，矫正参数越大。

第二步：基于时空域局部二进制模式对采样点进行动态纹理提取，并进行傅里叶变换的谱分析。

局部二值模式(Local Binary Pattern，LBP)是将邻域作为一个处理单元，以中心像素灰度作为阈值，与该像素邻域中的其他像素对比，如果大于中心像素的灰度，则对应邻域像素置为1，否则置0，得到0、1交替的二进制序列。

此种取值方法对像素变化大小表征的不明显，为了弥补此缺陷，本发明通过时空邻域点像素与中心像素差值的大小来决定赋值，差值大的置为1，差值小的置为0。再结合时域特性，取相邻3帧计算。序列顺序主要有两种：螺旋形，即先在帧内旋转排列，再沿圆柱体在帧间旋转排列；之字形，即先排列帧间对应点，再走之字形旋转排列。

将采样点处得到的二进制序列进行傅里叶变换，根据主频和副频的幅值相加得到一个频值。其中，人群流量大的地方变化大，其相应的二进制波形变化快，所得到的频值也大。两个序列得到两个不同的频值，本发明将其相加取平均值并归一化作为下一步要用到的参数。

第三步：基于LBP加权社会力模型计算采样点的社会力。

社会力模型假设行人会受到两种虚拟作用力：来自自身的个人希望作用力和来自外界的交互作用力。个人希望作用力是指为了达到预定目标，行人会主动给自己施加内在的作用力，不断修正其运动方向和速度，使其向希望前进的目标方向移动。交互作用力是指个人所受到的来自其他行人以及障碍物的排斥力与吸引力。

社会力

其中，

为粒子i的光流运动向量，

为光流向量在粒子i时空邻域上的平均值，即相邻多帧粒子i领域光流运动向量的平均值，τ为控制反馈速度的时间参数，

为相邻两帧光流的差值；由于粒子i处LBP谱特征值越大，代表人群密度越大，相应的粒子i的质量也越大，也越倾向于按照周围粒子的趋势运动，因此质量m_i与聚集移动参数p_i与LBP谱特征值成正比，可采用LBP谱特征值来表示质量m_i与聚集移动参数p_i，使社会力模型能够更好的融入视频的时域特性和密度特性，更好的模拟行人运动。

第四步：将社会力进行直方图量化并基于支持向量机对视频序列进行分类判别，检测出异常行为。

获取视频中的社会力大小，忽略其方向和正负号，将社会力场F_int的大小量化为直方图分布，经过归一化输入SVM分类器。使用已标定好的数据训练模型，然后使用测试数据来验证异常事件的检测结果。

由于视频中的背景是静止的，社会力中会出现大量的0，当人群离开和进入视频场景后0的数目会发生变化，影响模型的训练分类结果，因此此处的直方图量化只对非0数据进行直方图量化。

本发明上述方法中，采用网格状采样，计算量少，效率高。

本发明上述方法中，块匹配采用的匹配能量函数为平均绝对值差函数，运算量较小，可大大提高方法速度。

本发明上述方法中，采用旋转扫描，从搜索窗的中心位置开始，从内到外旋转搜索。可以在找到局部极小值后就提前结束方法，减少计算复杂度。

本发明上述方法中，光流计算中加入了线性透视矫正参数，减小射影畸形误差。

本发明上述方法中，局部二值模式利用差值大小来区分0值和1值，而不是原本的大于为1，小于为0，更加凸显了领域的变化大小及快慢，从而能够更加准确的表示人群密度相对大小。

本发明上述方法中，用人群密度相对大小的参数来表示粒子i的质量m_i与聚集移动参数p_i，更加贴合实际，增加了方法的查准率与查全率。

与现有技术相比，本发明的优势在于：1)不需要复杂的背景建模、前景提取以及目标的检测与跟踪，降低了方法的复杂度；2)光流计算中加入了线性透视矫正参数，更贴合实际，减小畸形误差；3)利用LBP计算所得频值来表示区域密度大小，重点区域重点对待，增加了信息量；3)基于时空LBP加权的社会力模型加入了部分时域信息，并融入了区域密度信息，使得检测出的异常事件更为连续且准确，较少出现断点情况；4)将区域密度大小相对值赋值给社会力模型中粒子i的质量参数m_i与聚集移动参数p_i，使社会力模型能够更好的融入视频的时域特性和密度特性，更好的模拟行人运动。

附图说明

图1为本发明实施例的总流程框图；

图2为块匹配运动估计示意图；

图3为旋转扫描示意图；

图4为LBP谱特征计算框图；

图5为异常行为检测结果对比图；(a)为室内社会力与加权社会力检测结果对比图；(b)为室外社会力与加权社会力检测结果对比图。图中的横轴表示时间域上的异常事件监测结果，绿色表示正常，红色表示异常。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施采用的视频序列来自明尼苏达大学中的人群异常事件序列。视频中包含室内室外2种场景。每段视频中的人群在正常行走一段时间后开始四面八方骤散，本文中定义人群骤散的事件是需要进行检测的异常人群行为。其中，室内场景采用548帧进行训练，893帧进行实验结果验证；室外场景采用802帧进行训练，675帧进行实验结果验证。

本实施例涉及的基于LBP加权社会力模型的人群异常事件的检测方法，总流程如图1所示，包括如下具体步骤：

第一步：基于块匹配法计算采样点的光流向量。

首先将彩色视频转化为灰度视频，使用中值滤波进行去噪，然后在空间和时间上进行网格状采样，使用基于块匹配的方法计算采样点的光流向量。块匹配如图2所示。匹配能量函数为平均绝对值差函数，即图像差分的L1范数；搜索方法为如图3所示的旋转搜索，围绕中心位置搜索最佳匹配的光流向量。

本实施例中采用了基于线性内插权重的透视矫正来减小射影畸形误差。对光流大小不为零的地方加一个矫正参数以更为准确的表示实际光流。离摄像头越远，矫正参数越大。矫正参数的取值范围为0～0.3。

第二步：基于时空域局部二进制模式对采样点进行动态纹理提取，并进行傅里叶变换的谱分析。

如图4所示，取采样点前后共3帧，以每帧采样点为中心，取相邻的8个像素点，和特征点像素值做比较，差值的绝对值大于15的对应领域像素置为1，否则置0，按照两种旋转顺序得到两个0、1交替的二进制序列。顺序一：先在每帧图像内进行旋转排列，然后整体3帧前后相接进行沿圆柱形的旋转排列。顺序二：先把3帧图像的对应点进行排列，然后再进行“之”字旋转排列。

如图4所示，取采样点前后共3帧，以每帧采样点为中心，取相邻的8个像素点，和特征点像素值做比较，相邻像素值与特征点像素值差值的绝对值大于阈值15的对应领域像素置为1，否则置0，按照两种旋转顺序得到两个0、1交替的二进制序列。顺序一：先在每帧图像内进行旋转排列，然后整体3帧前后相接进行沿圆柱形的旋转排列。顺序二：先把3帧图像的对应点进行排列，然后再进行“之”字旋转排列。此步中，阈值15的大小是由实验对比所确定，阈值过小则方法对照明变化、噪声等较为敏感，阈值过大则方法对人流运动的检测不敏感，检测结果不能很准确的描述出区域密度大小。

将采样点得到的两个二进制序列进行傅里叶变换，根据主频和第一副频的幅值相加得到两个序列对应的频值，取两个频值的平均值并进行归一化。人群密度大的地方输出大，人群密度小的地方输出小。

第三步：基于LBP加权社会力模型计算采样点的社会力。

F_p为行人i修正其运动轨迹的个人希望作用力，F_int为行人i受到的交互作用力的合力。推导过程如下：

其中，v_i为实际速度，

为希望速度，质量为m_i，τ_i为控制反馈速度的时间参数。F_p从v_i指向

将实际的运动速度修正为行人希望的运动速度。行人i的受力方程如式(3)所示。由于行人会模仿周围行人的运动状态来调整自己的行动，因此

可用式(4)表示。式中

为行人i周围邻域人群的平均移动速度，p_i为表示行人聚集移动程度的参数。p_i ρ 0表示粒子i更倾向于独立运动，较少考虑周围人群的运动状态。p_i ρ 1表示粒子i倾向于按照周围人群的趋势运动，较少独立运动。

粒子的运动速度和邻域人群的平均移动速度使用光流运动向量来估计。设

为粒子i的光流运动向量，

为光流向量在粒子i时空邻域上的平均值，有：

带入式(3)得：

本实施例中，用第二步得到的参数来表示质量m_i与聚集移动参数p_i。因为质量m_i与聚集移动参数p_i与人群密度成正比，第二步中粒子i处所得到的频值越大，代表人群密度越大，则粒子i的质量也越大，也越倾向于按照周围人群的趋势运动。

τ_i值取为1，

为相邻两帧光流的差值，

为以(i，j)为中心的3λ3区域以及相邻3帧共27个光流值得平均值。m_i及p_i取第二步所得输出。

第四步：将社会力进行直方图量化并基于支持向量机对视频序列进行分类判别，检测出异常行为。

获取视频中的社会力大小，忽略其方向和正负号，将社会力场F_int的大小量化为直方图分布，共分为32个区域，经过归一化后输入SVM分类器。使用已标定好的数据训练模型，然后使用测试数据来验证异常事件的检测结果。检测结果对比如图5所示。

通过实验证明，本实施例较之以前方法能很好的进行人群异常事件检测。基于微观建模以及部分宏观建模都需要较为完美的背景提取，而这在实时监控中是较难做到的。且对于人群密度较大的场景，微观建模中目标的识别分割及跟踪都是较难实现的。本发明中基于LBP加权社会力模型的人群异常事件检测参数设置更加贴近现实，提高了方法的准确性。

综上，本发明不需要复杂的背景建模、前景提取以及目标的检测与跟踪，并采用网格状采样以降低维数，大大降低了方法的复杂度，减小了计算量。根据时空LBP序列得到的谱特征能够很好的表示出采样点的密度质量及其随其他采样点聚集移动的程度，重点区域重点对待，增加了信息量，使社会力模型能够更为精确地对人群进行建模，从而更为准确的检测出人群异常行为。实验证明，相对传统的基于社会力模型的检测在异常行为的查准率及查全率上都有较大提升，是一种实时可靠的人群智能监控方法。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，包括以下步骤：

第一步：基于块匹配法计算网格采样点的光流向量；

第二步：基于时空域局部二值模式对采样点进行动态纹理提取，并进行傅里叶变换的谱分析；

第三步：根据LBP加权社会力模型计算采样点的社会力；

第四步：将社会力进行直方图量化并进行归一，通过支持向量机进行学习检测。

2.根据权利要求1所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，第一步中，将彩色视频转化为灰度视频，使用中值滤波进行去噪，然后在空间和时间上进行网格状采样，基于块匹配旋转搜索的方法计算采样点的光流向量，并对光流向量的大小进行线性校正。

3.根据权利要求2所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，所述对光流向量的大小进行线性校正采用了基于线性内插权重的透视矫正，对光流大小不为零的地方加一个矫正参数以更为准确的表示实际光流，离摄像头越远，矫正参数越大。

4.根据权利要求1所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，第二步中，所述基于时空域局部二进制模式对采样点进行动态纹理提取是指：通过时空邻域点像素与中心像素差值的大小来决定赋值，差值大的置为1，差值小的置为0，再结合时域特性，取相邻3帧计算；序列顺序有两种：螺旋形，即先在帧内旋转排列，再沿圆柱体在帧间旋转排列；之字形，即先排列帧间对应点，再走之字形旋转排列。

5.根据权利要求4所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，第二步中，将采样点处得到的二进制序列进行傅里叶变换，根据主频和副频的幅值相加得到一个频值，其中，人群流量大的地方变化大，其相应的二进制波形变化快，所得到的频值也大；两个序列得到两个不同的频值，将其相加取平均值并归一化。

6.根据权利要求1-5任一项所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，第三步中，所述根据LBP加权社会力模型计算采样点的社会力，具体为：

社会力 $F_{\mathrm{int}}=m_i\{\frac{{\mathrm{dv}}_i}{\mathrm{dt}}+\frac{1}{\mathrm{\τ}}{p}_i(O(x_i,y_i)-O_{\mathrm{ave}}(x_i,y_i))\}$

其中，O(x_i，y_i)为粒子i的光流运动向量，O_ave(x_i，y_i)为光流向量在粒子i时空邻域上的平均值，即相邻多帧粒子i领域光流运动向量的平均值，τ为控制反馈速度的时间参数，

为相邻两帧光流的差值；由于粒子i处LBP谱特征值越大，代表人群密度越大，相应的粒子i的质量也越大，也越倾向于按照周围粒子的趋势运动，因此质量m_i与聚集移动参数p_i与LBP谱特征值成正比，采用LBP谱特征值来表示质量m_i与聚集移动参数p_i，使社会力模型能够更好的融入视频的时域特性和密度特性，更好的模拟行人运动。

7.根据权利要求4或5所述的基于LBP加权的社会力模型的人群异常事件检测方法，其特征在于，第四步中，所述直方图量化只对非0数据进行直方图量化。

Images