CN105787472A - 一种基于时空拉普拉斯特征映射学习的异常行为检测方法 - Google Patents

Abstract

一种基于时空拉普拉斯特征映射学习的异常行为检测方法。本发明属于数字图像处理技术领域，涉及计算机视觉、模式识别、机器学习和数据挖掘等相关理论知识。本发明首先利用光流直方图对相邻两帧图片提取光流特征，获得监测场景内的运动特征信息，采用低维空间的视频表达形式，运用谱聚类的方式对运动信息特征进行聚类，得到聚类个数和不同类别下的特征集合，最后对不同类的特征集合运用Hausdorff距离测量其集合间的相似度，找出明显区别于其他类别的特征集合，从而检测出异常行为。本发明将高维空间中的数据在低维空间中重新表示，降低了运算复杂度，利于密集人群场景的异常行为检测。其异常行为检测率达到73.52～78.45％，漏检率为17.05％～21.45％，误检率4.5～6.1％％。

Description

一种基于时空拉普拉斯特征映射学习的异常行为检测方法

技术领域

本发明属于数字图像处理技术领域，涉及计算机视觉、模式识别、机器学习和数据挖掘等相关理论知识。

背景技术

由公共安全问题引起的事故，近几年呈现快速增长的趋势，因此对密集人群场景下的视觉分析成为活跃的研究领域，场景分析是以数字图像处理，模式识别，计算机视觉为基础，对摄像机所拍摄的场景图像或者视频序列进行分析，进而完成识别的过程，通过一些后续处理，可以实现异常行为快速获取，危害公共安全事件的预警等功能。异常行为是指以突聚突散、群殴、暴乱为变现的群体性行为。异常事件获取通常可以分为以下步骤：对视频序列的特征提取、特征聚类、异常行为分析与检测。其中，异常行为检测的准确性直接影响异常事件的判断，因此异常行为检测成为了核心问题。密集人群中的异常行为检测存在以下难题：

1、运动信息量大，如题所述在密集人群的场景中包含有大量的人体运动信息，有慢跑，步行，跳跃，而且大量存在人体遮挡，因此无法对每个个体进行跟踪检测。

2、背景复杂，在诸如：广场，城市中央商务区，车站等人群密集区域往往是一幅幅人来人王，车水马龙的繁忙景象，不仅如此，夜晚时候霓虹灯的闪烁变化，液晶屏幕播放的广告等光照变换，都会对异常行为检测的效果造成负面影响。

当前行为检测算法主要有以下几种方法：

一、基于隐马尔可夫的检测算法。利用正常情况下的时间序列对隐马尔可夫模型进行训练，得到初始状态序列概率分布，状态转移概率分布，观测转移概率分布参数，再利用异常情况下的时间序列对隐马尔可夫模型进行测试，一旦给定参数下的状态分布大于设定阈值时，则判定为异常行为。但是，由于实际情况复杂，无法事先准确地知道状态个数，因此当训练样本中出现未知的异常行为状态时，异常行为误检率高。

二、基于随机森林的检测算法。对场景特征进行重采样并随机选取部分属性，建立树形分类器，运用树形分类器对选取的特征投票，根据票数决定是否存在异常行为。但是，当异常行为类别较多时，容易出现过拟合现象，即过分侧重训练样本的影响，对测试样本缺少泛化能力。

传统的异常行为检测方式是通过在时空域建立正常行为模版，对正常行为模版提取特征集合，用包含异常行为的特征与正常行为特征进行比较，最后设置阈值的方式对正常行为和异常行为分类达到检测的效果。此方法存在的问题：对于设定的正常行为序列，只存在单一的转换方式，例如：设定正常行为有：坐、走、跑，传统的异常行为检测仅仅存在由坐—>走—>跑的状态转换，如果由坐—>跑，这时则会判断为异常行为，同时传统的异常行为检测，在运算复杂度上也是需要引起注意的，特别是在密集人群的场景下，依靠对人群的检测和跟踪的方式往往需要极大时间开销和运算复杂度。

发明内容

针对上述存在问题或不足，本发明提出了一种基于时空拉普拉斯特征映射学习的异常行为检测方法。

该方法包括场景特征提取，学习低维嵌入空间，场景特征聚类和异常行为检测四个步骤。

其流程示意如图1所示，具体技术方案如下：

步骤1、场景特征提取：即将视频流转换成灰度图并对相邻两帧图像每3*3网格提取光流特征；

步骤1-1、首先将监测设备采集到的视频流处理得到单帧图像，并对其进行灰度化处理。

步骤1-2、对连续两帧灰度图像在3*3的网格中提取光流直方图特征，即每3*3的网格求出一个光流特征向量，根据视频帧的不同大小可以得到N个光流特征向量，将光流范围0～2π等分成32个子空间，构建32维的直方图B，在统计直方图时，根据角度值对应位置投票，投票所得结果作为权值，因此得到权值向量x＝[h_k],k＝{1,2,3…,K},其中k为每个网格的索引值，K是网格总数，h_k为第k个网格中32维直方图B对应的权值。

步骤2、学习低维嵌入空间：

步骤2-1、根据视频帧的时空关系构造邻接权重矩阵，其中d_t表示第i帧与第j帧视频之间的时域关系，d_s表示特征第i帧与第j帧视频光流特征之间的差异度量，而式中h的取值取决了处理后视频的流畅程度，取值为4～8， 式中K是每帧图像中总的栅格数，α_k表示位置信息，根据不同的先验信息，取值为1～5，是第i帧与第j帧视频光流特征的距离度量，具体的 表示第i帧的第k个网格的光流直方图权重，同理。

步骤2-2、构建损失函数求出低维嵌入空间，定义损失函数为：

$\mathrm{\Φ}\left(Y\right)=\underset{Y}{\arg \min }\underset{i,j}{\Σ}{w}_{ij}\left|\right|y_i-y_j|{|}^2$

ω_ij由步骤2-1得到，向量y_i是视频帧的低维线性表达，由其构成的矩阵Y就是需要找到低维嵌入空间；

步骤2-3、将步骤2-2中的损失函数展开得到Φ(Y)＝2Y^TLY其中L＝D-W＝∑_id_ii-∑_ijw_ij，D为一对角矩阵，取值邻接权重矩阵的行和，于是最小化损失函数Φ(Y)就转变成为求如下约束问题：

Y＝argmin(Y^TLY)SubjecttoY^TDY

等价于求解广义特征值问题LY＝λDy中的最小的k_s个非零特征值。

步骤3、低维空间相似度量：

步骤3-1、计算步骤2-3中k_s个非零特征值对应的特征向量，分别截取不同两帧下T₁与T₂个特征向量，令S₁为第i帧特征向量的集合，即S₁＝{y₁,y₂,y₃,…y_T1},S₂为第j帧特征向量的集合即S₂＝{y₁,y₂,y₃,…y_T2}。

步骤3-2、利用Hausdorff距离计算S₁与S₂的相似性，即：

d_H(S₁,S₂)＝min(d(S₁,S₂),d(S₂,S₁)),其中

$d(S_1,S_2)=\frac{1}{T_1}{\mathrm{\Σ}}_{i=1}^{T_1}{\min }_i\left(\right|y_i^1-y_i^2\left|\right),j=\{1,2,...,T\}.$

$d(S_2,S_1)=\frac{1}{T_2}\underset{j=1}{\overset{T_2}{\Σ}}\underset{j}{\min }\left(\right|y_i^1-y_i^2\left|\right),i=\{1,2,\mathrm{...},T\}$

步骤4、异常行为检测：

步骤4-1、异常行为检测可以归结为求解正常行为与异常行为在低维空间的相似度量，从正常行为视频中按照步骤1和步骤2提取不同的低维空间特征向量S_r，r＝{1,2,…,C}，C是不同类型的正常行为特征向量，此即为训练过程。

步骤4-2、在检测过程中，选用既含有正常行为也含有异常行为的视频进行检测，同样按照步骤1和步骤2提取不同的低维空间特征向量S_test，按照下面公式进行评估:

$P_{test}=e^{-{\min }_r\left(d_H\right(S_{test},S_r))},r=\{1,2,...,C\}$

若P_test在某区间内则判断为正常行为，否则判断为异常行为。

时空拉普拉斯特征映射：在时空域中找到一个无向有权图，将图通过嵌入的方式来找到它的低维表示，即在保持图的局部邻域关系的情况下将图从高维空间映射到低维空间。

本发明首先利用光流直方图对相邻两帧图片提取光流特征，获得监测场景内的运动特征信息，为了保持场景分析的时空一致性，因而采用低维空间的视频表达形式，运用谱聚类的方式对运动信息特征进行聚类，得到聚类个数和不同类别下的特征集合，最后对不同类的特征集合运用Hausdorff距离测量其集合间的相似度，找出明显区别于其他类别的特征集合，从而检测出异常行为。

综上所述，本发明的优点是：不存在状态转移的处理方式，每次异常行为检测的过程，都会与正常行为模版进行相似度比较；其次，引入时空拉普拉斯映射学习的方式将高维空间中的数据在低维空间中重新表示，降低了运算复杂度，利于密集人群场景的异常行为检测。其异常行为检测率达到73.52～78.45％，漏检率为17.05％～21.45％，误检率4.5～6.1％％。

附图说明

图1：异常行为检测方法总体流程示意图；

图2：时空拉普拉斯特征映射流程示意图；

图3在Caviar数据库上的实验效果；如图3A为随机森林法，图3B为模版匹配法，图3C为本发明所述方法；

图4在真实监控视频上的实验效果；图4A为模版匹配法，图4B为本发明方法；

图5为α_k＝1，d_t在不同取值下的检测效果；

图6为d_t＝4，α_k在不同取值下的检测效果。

具体实施方式

实现语言：Matlab

硬件平台：Inteli32120+4GDDRRAM

本发明方法通过在Matlab上进行直观、有效的算法验证。

在Caviar数据库上进行对本发明所述算法以及随机森林法和模版匹配法进行了验证实验，实验效果如图3所示，其中用随机森林法(如图3A所示)与模版匹配法(如图3B所示)均对光照变换敏感，从而造成误检。本发明对光照变换具有较强鲁棒性(如图3C所示)，在一定程度上降低了误检率，提高了准确性。

采用实际监控视频对模版匹配法与本发明方法做了对比，实验效果如图4所示，其中模版匹配法只能粗略判定视频画面正常与否(如图4A所示)，而本专利所述方法可以对异常行为做出定位(如图4B所示)。

通过大量的有效测试，与传统的异常行为检测算法相比较，本发明的方法具很高的正确识别率以及在复杂的环境中也具有很好的鲁棒性。

Claims (1)

1.一种基于时空拉普拉斯特征映射学习的异常行为检测方法，具体步骤如下：

步骤1、场景特征提取：即将视频流转换成灰度图并对相邻两帧图像每3*3网格提取光流特征；

步骤1-1、首先将监测设备采集到的视频流处理得到单帧图像，并对其进行灰度化处理。

步骤1-2、对连续两帧灰度图像在3*3的网格中提取光流直方图特征，即每3*3的网格求出一个光流特征向量，根据视频帧的不同大小可以得到N个光流特征向量，将光流范围0～2π等分成32个子空间，构建32维的直方图B，在统计直方图时，根据角度值对应位置投票，投票所得结果作为权值，因此得到权值向量x＝[h_k],k＝{1,2,3…,K},其中k为每个网格的索引值，K是网格总数，h_k为第k个网格中32维直方图B对应的权值。

步骤2、学习低维嵌入空间：

步骤2-1、根据视频帧的时空关系构造邻接权重矩阵，其中d_t表示第i帧与第j帧视频之间的时域关系，d_s表示特征第i帧与第j帧视频光流特征之间的差异度量，而式中h的取值取决了处理后视频的流畅程度，取值为4～8， 式中K是每帧图像中总的栅格数，α_k表示位置信息，根据不同的先验信息，取值为1～5，是第i帧与第j帧视频光流特征的距离度量，具体的 表示第i帧的第k个网格的光流直方图权重，同理。

步骤2-2、构建损失函数求出低维嵌入空间，定义损失函数为：

$\mathrm{\Φ}\left(Y\right)=\underset{Y}{\mathrm{argmin}}\underset{i,j}{\mathrm{\Σ}}{w}_{ij}\left|\right|y_i-y_j|{|}^2$

ω_ij由步骤2-1得到，向量y_i是视频帧的低维线性表达，由其构成的矩阵Y就是需要找到低维嵌入空间；

步骤2-3、将步骤2-2中的损失函数展开得到Φ(Y)＝2Y^TLY其中L＝D-W＝∑_id_ii-∑_ijw_ij，D为一对角矩阵，取值邻接权重矩阵的行和，于是最小化损失函数Φ(Y)就转变成为求如下约束问题：

Y＝argmin(Y^TLY)SubjecttoY^TDY

等价于求解广义特征值问题LY＝λDy中的最小的k_s个非零特征值。

步骤3、低维空间相似度量：

步骤3-1、计算步骤2-3中k_s个非零特征值对应的特征向量，分别截取不同两帧下T₁与T₂个特征向量，令S₁为第i帧特征向量的集合，即S₁＝{y₁,y₂,y₃,…y_T1},S₂为第j帧特征向量的集合即S₂＝{y₁,y₂,y₃,…y_T2}。

步骤3-2、利用Hausdorff距离计算S₁与S₂的相似性，即：

d_H(S₁,S₂)＝min(d(S₁,S₂),d(S₂,S₁)),其中

$d(S_1,S_2)=\frac{1}{T_1}{\mathrm{\Σ}}_{i=1}^{T_1}{\min }_i\left(\right|y_i^1-y_i^2\left|\right),j=\{1,2,...,T\}.$

$d(S_2,S_1)=\frac{1}{T_2}\underset{j=1}{\overset{T_2}{\Σ}}\underset{j}{min}\left(\right|y_i^1-y_i^2\left|\right),i=\{1,2,...,T\}$

步骤4、异常行为检测：

步骤4-1、异常行为检测可以归结为求解正常行为与异常行为在低维空间的相似度量，从正常行为视频中按照步骤1和步骤2提取不同的低维空间特征向量S_r，r＝{1,2,…,C}，C是不同类型的正常行为特征向量，此即为训练过程。

步骤4-2、在检测过程中，选用既含有正常行为也含有异常行为的视频进行检测，同样按照步骤1和步骤2提取不同的低维空间特征向量S_test，按照下面公式进行评估:

$P_{test}=e^{-\underset{r}{min}\left(d_H\right(S_{test},S_r\left)\right)},r=\{1,2,...,C\}$

若P_test在某区间内则判断为正常行为，否则判断为异常行为。