CN106548153B

CN106548153B - 基于多尺度变换下图结构的视频异常检测方法

Info

Publication number: CN106548153B
Application number: CN201610956897.4A
Authority: CN
Inventors: 郭春生; 汪洪流
Original assignee: Hangzhou Electronic Science and Technology University
Current assignee: HANGZHOU ROOMBANKER TECHNOLOGY Co.,Ltd.
Priority date: 2016-10-27
Filing date: 2016-10-27
Publication date: 2019-05-28
Anticipated expiration: 2036-10-27
Also published as: CN106548153A

Abstract

本发明公开了一种基于多尺度变换下图结构的视频异常检测方法。本发明利用光流特征进行视频异常检测，不同场景下视频异常关联光流特征的空间相关尺度存在相异性。在保持视频异常关联光流特征的空间相关结构的前提下，减少光流特征数量能够有效提高视频异常检测的计算效率，故提出基于空间相关性构建光流特征的网络图结构，在相关约束下利用图结构的多尺度变换，有效降低视频异常检测中的光流特征数量，在略降低检测精度的前提下，能够大幅改善视频异常检测算法的计算效率，故事件异常的检测也更为快速合理。

Description

基于多尺度变换下图结构的视频异常检测方法

技术领域

本发明属于视频异常检测的技术领域，具体涉及一种基于多尺度变换下图结构的视频异常检测方法。

背景技术

近年来，公共安全问题日益突出，公共场所下人群异常事件的及时发现并告知相关部门进行响应和救援，从而减少群众的人身伤亡和财产的损失。因此，基于视频的人群异常检测则尤为重要。在传统的视频异常检测技术中，通常简化的社会动力模型利用光流特征结合潜在的狄利赫雷分配来完成异常检测，但该方法未能将运动信息完全表达出来。为此，有人提出根据光流计算量大和空时梯度需要包含轮廓信息的缺陷，提出KLT角点作为特征代表运动的物体，在能减少数据处理的计算量的同时又保持丰富的运动信息，但该方法中KLT角点对光照变化极为敏感。又有人提出混合动态纹理进行检测的方法，但混合动态纹理特征在实现上相对较为繁琐，当用多个纹理模型建模时，需用纹理前后帧之间的对比信息，且该方法的复杂度和高耗时性影响了异常检测的快速检测的特性。虽然，该种检测方法在对视频运动目标的异常检测中有一定的效果，但不能实时的实现异常检测也导致该方法未能有效的推广。

发明内容

本发明的目的是针对现有技术的不足，提出了一种基于多尺度变换下图结构的视频异常检测方法。

本发明利用光流特征进行视频异常检测，不同场景下视频异常关联光流特征的空间相关尺度存在相异性。在保持视频异常关联光流特征的空间相关结构的前提下，减少光流特征数量能够有效提高视频异常检测的计算效率，故提出基于空间相关性构建光流特征的网络图结构，在相关约束下利用图结构的多尺度变换，有效降低视频异常检测中的光流特征数量。在略微降低检测精度的前提下，能够大幅改善视频异常检测算法的计算效率。

该方法的具体思路：首先利用金字塔L-K光流算法提取训练集每一视频帧的光流特征(u,v),设置网格大小为24*32，选取10*10像素单元抽取其位移信息。其次，设定运动区域划分阈值T为0.095，对高于阈值的光流分量进行颜色编码，累积记录颜色块的变化区域并得到运动区域的边界轮廓。再次，利用运动区域的边界轮廓、网格位置和光流特征来构建一个稳定的图结构。接下来，对该图结构降维时采用对图结构进行多尺度变换。通过利用含有图顶点信息的图拉普拉斯矩阵作为一个图降维的桥梁，依次进行图下采样和图规约后实现顶点的减少，从而实现特征信息的优化。其中设定稀疏程度参数ε为0.25。然后，对各个尺度的图结构上对训练集的光流特征信号进行自适应频谱滤波并构建其词袋形式。与此同时，在各个尺度的图结构上对测试集的光流特征信号在进行自适应频谱滤波并构建其词袋形式。接着将训练集的词袋送入联合空时模型中学习得到模型的参数及训练集每帧的对数似然函数，最后再将测试集的词袋中的光流特征向量作为已训练“正常”模型的输入进行视频的异常检测，得到测试集每帧的对数似然函数，将连续三帧的训练集的对数似然函数和测试集的对数似然函数进行最差并取绝对值，若大于阈值Th则判断事件异常，否则事件判断为正常。

为方便描述发明内容，首先做以下术语定义：

定义1：L-K光流金字塔

L-K光流金字塔算法是一种改进的相邻帧差分光流估计算法，基于以下三个假设:根据其外部光源稳定、时间间隔δ_t较小时，区域内像素点的灰度保持不变；时间的连续变化不会影响物体运动位置的剧烈变化；一个场景中同一表面上邻近的像素点具有相似的运动变化。

首先定义I和J分别为两帧连续的图像序列，I(x,y)和J(x,y)则表示横坐标x与纵坐标y的像素点在某一时刻的灰度值，如下所示：

I(x)＝I(x,y)

J(x)＝J(x,y)

其中，x＝[xy]^T表示某一像素点的坐标位置。对于金字塔LK光流算法，当外部光源稳定，我们假设时间间隔较小的时候区域内的像素点的灰度值是保持不变的。那么根据这个约束条件，考虑前一帧图像I上的特征点u＝[u_x u_y]^T，在后一帧图像J上找到一点v＝[u_x+d_x u_y+d_y]^T与之相匹配，使得I(u)和J(v)最为相近，实现特征跟踪。向量d＝[d_x d_y]^T表示图像在特征点u处的速度场大小，即光流值。

本发明提出了基于多尺度变换下图结构的视频异常检测方法，该方法的创新点在于：利用不同场景下视频异常关联光流特征的空间相关尺度存在相异性，基于空间相关性构建光流特征的网络图结构，在相关约束下利用图结构的多尺度变换，有效降低视频异常检测中的光流特征数量检测，与其它异常检测方法相比较，不仅改善视频异常检测算法的计算效率，还能做到及时发现异常情况并及时告知有关部门进行对应的响应与救援。

基于多尺度变换下图结构的视频异常检测方法，其具体实现步骤如下：

步骤1：读入分辨率为240*320的UMN公开视频数据集、训练集与测试集的视频图像，设置网格大小为24*32，选取10*10像素单元抽取其位移信息，利用金字塔L-K光流算法计算得到每一帧的运动光流特征(u,v)。其中u和v为相邻两帧网格上点的运动的水平速度场大小与垂直速度场大小。

步骤2：选取光流特征中的一项与设定的阈值T进行比较，将高于阈值T的光流分量进行颜色编码，并累积记录颜色块的变化区域并得到运动区域的边界轮廓。

所述的阈值T为0.095。

步骤3：利用运动区域的边界轮廓、网格位置和光流特征来构建一个稳定的图结构G：

G＝{V,ε,W}

其中，V是顶点(节点)的集合|V|＝N，ε是无向边集合，W是邻接矩阵。一条无向边e＝(i,j)连接顶点i和j。利用一个阈值化的高斯核函数定义连接顶点i和j的边权重W_i,j：

其中，κ为阈值，参数N是总的顶点个数。通常，dist(i,j)定义为顶点i和j的欧式距离或者余弦距离，阈值κ＝0.6。度矩阵D、图拉普拉斯矩阵L、归一化的图拉普拉斯矩阵L^norm如下公式求得：

L＝D-W

L^norm＝D^-1/2LD^-1/2

对L^norm进行奇异值分解后，相对应的特征值和特征向量为{(λ_l,u_l)}_{l＝0,1,...,N-1}。并且将特征值递增排序0＝λ₀≤λ₁≤λ₂≤…≤λ_N-1，定义最大特征值与对应的特征向量为λ_max＝λ_N-1和u_max＝u_N-1°

步骤4：对构建的图结构进行多尺度变换，通过利用含有图顶点信息的图拉普拉斯矩阵作为一个图降维的桥梁，依次进行图下采样和图规约后实现顶点的减少，从而实现特征信息的优化。

在视频异常检测过程中将图结构G＝{V,ε,W}进行图下采样，根据图结构中图拉普拉斯矩阵的最大特征向量u_max的极性来选择顶点V，当顶点为V₊:＝{i∈V:u_max(i)≥0}时，保留顶点；当顶点为V_-:＝{i∈V:u_max(i)＜0}时，删除顶点。将图结构分成两个部分，且对有高权重边所连接的顶点予以保留，从而完成图结构的下采样。

图结构的图规约是重新计算采样后的保留下来的顶点间的权重矩阵W_i,j与拉普拉斯算子L。选择Kron规约，Kron规约由下面公式给出：

上中为图下采样中被选择的顶点集。L_A,B表明子矩阵的|A|×|B|组成整个拉普拉斯矩阵L，其矩阵大小为A的行数和B的列数。从而能看出与Kron规约的拉普拉斯矩阵L^kron-reduced相关的加权图结构G^kron-reduced为：

G^kron-reduced＝{V₁,ε^kron-reduced,W^kron-reduced}

其中经过Kron规约后的边缘权重矩阵为：

其中，ε^kron-reduced由非零权重的边集合构成的。

步骤5：在各个尺度的图结构上，对送入的训练集光流特征信号和测试集的光流特征信号分别进行各自的自适应频谱滤波，并构建其对应的特征词袋形式。

步骤6：将训练集的词袋送入联合空时模型中学习得到模型的参数及训练集每帧的对数似然函数，最后再将测试集的词袋中的光流特征向量作为已训练“正常”模型的输入进行视频的异常检测，得到测试集每帧的对数似然函数。

步骤7：将连续三帧的训练集的对数似然函数和测试集的对数似然函数进行最差并取绝对值，若大于阈值Th则判断事件异常，否则事件判断为正常。直到整个测试视频集全部检测完成。

本发明的优点在于：

针对现有的视频异常检测方法中，对运动目标的特征提取的方法普遍为光流、行为熵、社会感知力、群体能量等，公共场所的待处理的视频数据量庞大，如何对提取到的特征数据进行优化处理，选择合适的特征来代表目标的运动状况则十分重要。实际的视频异常检测的应用中出现不能实时发现异常并及时告知有关部门进行对应的响应与救援，故提出了基于多尺度变换下图结构的视频异常检测方法。利用不同场景下视频异常关联光流特征空间相关尺度存在相异性。在保持视频异常关联光流特征的空间相关结构的前提下，减少光流特征数量略微降低检测精度的前提下，能够有效提高视频异常检测算法的计算效率，故事件异常的检测也更为快速合理。

附图说明

图1为本发明的流程图。

具体实施方式

本发明的实施流程图如图1所示，具体实施步骤如下：

所述的阈值T为0.095。

G＝{V,ε,W}

L＝D-W

L^norm＝D^-1/2LD^-1/2

对L^norm进行奇异值分解后，相对应的特征值和特征向量为{(λ_l,u_l)}_{l＝0,1,...,N-1}。并且将特征值递增排序0＝λ₀≤λ₁≤λ₂≤…≤λ_N-1，定义最大特征值与对应的特征向量为λ_max＝λ_N-1和u_max＝u_N-1。

在视频异常检测过程中将图结构G＝{V,ε,W}进行图下采样，根据图结构中图拉普拉斯矩阵的最大特征向量u_max的极性来选择顶点V，当V₊:＝{i∈V:u_max(i)≥0}时保留顶点，当V-:＝{i∈V:u_max(i)＜0}时删除顶点。将图结构分成两个部分，且对有高权重边所连接的顶点予以保留，从而完成图结构的下采样。

G^kron-reduced＝{V₁,ε^kron-reduced,W^kron-reduced}

其中经过Kron规约后的边缘权重矩阵为：

其中，ε^kron-reduced由非零权重的边集合构成的。

Claims

1.基于多尺度变换下图结构的视频异常检测方法，其特征在于包括如下步骤：

步骤1：读入UMN公开视频数据集、训练集与测试集的视频图像，设置网格大小，选取像素单元抽取其位移信息，利用金字塔L-K光流算法计算得到每一帧的运动光流特征(u,v)；其中u和v为相邻两帧网格上点的运动的水平速度场大小与垂直速度场大小；

步骤2：选取光流特征中的一项与设定的阈值T进行比较，将高于阈值T的光流分量进行颜色编码，并累积记录颜色块的变化区域并得到运动区域的边界轮廓；

步骤3：利用运动区域的边界轮廓、网格位置和光流特征来构建一个稳定的图结构G；

步骤4：对构建的图结构进行多尺度变换，通过利用含有图顶点信息的图拉普拉斯矩阵作为一个图降维的桥梁，依次进行图下采样和图规约后实现顶点的减少，从而实现特征信息的优化；

步骤5：在各个尺度的图结构上，对送入的训练集光流特征信号和测试集的光流特征信号分别进行各自的自适应频谱滤波，并构建其对应的特征词袋形式；

步骤6：将训练集的词袋送入联合空时模型中学习得到模型的参数及训练集每帧的对数似然函数，最后再将测试集的词袋中的光流特征向量作为已训练“正常”模型的输入进行视频的异常检测，得到测试集每帧的对数似然函数；

步骤7：将连续三帧的训练集的对数似然函数和测试集的对数似然函数进行最差并取绝对值，若大于阈值Th则判断事件异常，否则事件判断为正常；直到整个测试视频集全部检测完成；

步骤1读入的UMN公开视频数据集、训练集与测试集的视频图像的分辨率为240*320；设置网格大小为24*32，选取10*10像素单元抽取其位移信息；

步骤3所述的图结构G：

G＝{V,ε,W}

其中，V是顶点(节点)的集合|V|＝N，ε是无向边集合，W是邻接矩阵；一条无向边e＝(i,j)连接顶点i和j；利用一个阈值化的高斯核函数定义连接顶点i和j的边权重W_i,j：

其中，κ为阈值，参数N是总的顶点个数；通常，dist(i,j)定义为顶点i和j的欧式距离或者余弦距离，阈值κ＝0.6；度矩阵D、图拉普拉斯矩阵L、归一化的图拉普拉斯矩阵L^norm如下公式求得：

D＝d_ii＝∑W_i.j

L＝D-W

L^norm＝D^-1/2LD^-1/2

对L^norm进行奇异值分解后，相对应的特征值和特征向量为{(λ_l,u_l)}_{l＝0,1,...,N-1}；并且将特征值递增排序0＝λ₀≤λ₁≤λ₂≤…≤λ_N-1，定义最大特征值与对应的特征向量为λ_max＝λ_N-1和u_max＝u_N-1。

2.根据权利要求1所述的基于多尺度变换下图结构的视频异常检测方法，其特征在于步骤2所述的阈值T为0.095。

3.根据权利要求1或2所述的基于多尺度变换下图结构的视频异常检测方法，其特征在于步骤4具体实现过程如下：

将图结构G＝{V,ε,W}进行图下采样，根据图结构中图拉普拉斯矩阵的最大特征向量u_max的极性来选择顶点V，当顶点为V₊:＝{i∈V:u_max(i)≥0}时，保留顶点；当顶点为V_-:＝{i∈V:u_max(i)＜0}时，删除顶点；将图结构分成两个部分，且对有高权重边所连接的顶点予以保留，从而完成图结构的下采样；

图结构的图规约是重新计算采样后的保留下来的顶点间的权重矩阵W_i,j与拉普拉斯算子L；选择Kron规约，Kron规约由下面公式给出：

上中为图下采样中被选择的顶点集；L_A,B表明子矩阵的|A|×|B|组成整个拉普拉斯矩阵L，其矩阵大小为A的行数和B的列数；从而能看出与Kron规约的拉普拉斯矩阵L^kron ^-reduced相关的加权图结构G^kron-reduced为：

G^kron-reduced＝{V₁,ε^kron-reduced,W^kron-reduced}

其中经过Kron规约后的边缘权重矩阵为：

其中，ε^kron-reduced由非零权重的边集合构成的。