CN107133654A

CN107133654A - 一种监控视频异常事件检测的方法

Info

Publication number: CN107133654A
Application number: CN201710371109.XA
Authority: CN
Inventors: 卢湖川; 陈娇
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2017-05-25
Filing date: 2017-05-25
Publication date: 2017-09-05

Abstract

本发明属于视频异常事件检测技术领域，提供了一种监控视频异常事件检测的方法。本方法能够对任意监控视频的画面进行分析并检测出异常事件，涉及到视频图像处理的相关知识。首先，将视频划分为图像序列，提起视频的三维梯度特征；其次，对原始提取的特征进行随机筛选，然后对随机筛选的特征进行主成分分析进行降维，得到最终特征；对训练样本提取特征后，根据Baum‑Welch算法进行迭代更新，得到隐马尔可夫模型各项参数；最后，计算测试样本由此模型生成的概率，对比设定的阈值，完成异常事件的检测。本发明的效果和益处是能够有效的检测出画面中的异常事件，模型不同数据库中应用较好，边缘影响不明显，并且大大降低了计算复杂度。

Description

一种监控视频异常事件检测的方法

技术领域

本发明属于视频异常事件检测技术领域，能够对任意监控视频的画面进行分析，检测出其中存在的异常事件，涉及到视频图像处理的相关知识，具体涉及一种监控视频异常事件检测的方法。

背景技术

近年来，公共场所的安全问题越来越受到人们的关注。恐怖袭击事件的频发，更促进人们将研究焦点汇聚在如何通过监控视频画面自动进行检测，并在异常事件发生时及时发出警报。

通过设定标签，计算机可以完成“正常事件”与“异常事件”的判别。视频的异常事件检测根据其对标签的选择可以分为三种类型：全监督、半监督、无监督。全监督模型就是必须事先已知正常事件和异常事件的标签，通过建立二分类器完成二者的划分。半监督模型就是仅需要已知正常事件的标签，训练正常事件的模型，而异常事件无法通过此模型生成。无监督模型就是不需要知道任何标签，仅仅通过正常事件比异常事件更普遍这一特性进行模型的迭代，并进行事件是否异常的判断。目前在实际应用中，全监督模型应用面窄，无监督模型实现困难。相比之下，半监督模型最受欢迎，相关优秀算法有很多。如Vijay等人2010年在CVPR会议中发表了‘Anomaly detection in crowded scenes’，使用混合动态纹理模型在时间域和空间域上分别进行视频中异常事件的判别；2011年CVPR会议上，Yang等人发表了‘Sparse reconstruction cost for abnormal event detection’一文,该文提出了一种利用正常事件样本对新样本进行稀疏重构，根据重构误差判断新样本是否存在异常；同年的会议中，Cui等人发表了‘Abnormal detection using interaction energypotentials’，建立能量模型，通过目标与背景的能量交互判断画面是否存在暴力冲突事件；2012年，Kwon等人在CVPR会议中提出‘A unified framework for eventsummarization and rare event detection’，通过联系能连模型的参数与实践的英国关系，实现异常事件总结与检测。

尽管目前使用半监督模型进行异常事件检测的算法取得了很多优秀的成果，但仍旧存在以下几个问题：首先，在不同的场景中异常事件的类型复杂多变，且在各个场景中关注的重点各不相同，这对模型的兼容性存在很高的要求，如何能够使一个固定模型应用于多变的场景还是比较困难的。其次，异常事件由于其具有突发、多变、罕见的特性，无法实现对所有异常事件进行预先定义，再加上边缘容易产生目标突然出现的情况，从而使异常事件发生时无法实现及时检测，出现漏检、误检的情况。最后，目前所有的算法都要面对海量计算的问题，如何能够在监控视频巨大的数据库中，高效、快速、准确的进行模型的迭代和检测是非常重要的问题。

发明内容

本发明要解决的技术问题是：通过半监督的方式建立正常事件的模型，对任意一帧视频图像能够正确检测出其中是否存在异常事件。本发明采用的是隐马尔可夫模型，整体算法框架更加稳定，并能有效解决突发的异常事件无法及时检测以及边缘影响的问题。

本发明的技术方案：

一种监控视频异常事件检测的方法，步骤如下：

依据连续随机数据通过隐马尔可夫模型生成这一特性。隐马尔可夫模型将连续的视频事件作为一个连续随机序列，有效考虑当前状态与前一时间的状态之间的相互关联，即视频数据可以认定为通过隐马尔可夫模型生成。在实际应用中，使用仅包含正常事件的训练数据集建立正常事件的模型，令所有正常事件由此模型生成的概率最大；对新的测试数据，计算其由此模型生成的概率，即与模型的匹配度，从而判断是否为异常，完成异常事件的检测。

(1)视频图像的特征提取

三维梯度特征在视频特征提取中是应用最广泛的特征类型，可以最直接的表现视频图像特征。在提取三维梯度特征时，首先将每帧画面缩放到三种不同的尺寸，在较大尺寸的画面中可以提取到图像的局部信息，较小尺寸的画面中可以提取到图像的全局信息，以这种方式提取特征信息更全面；然后在每种尺寸上都将画面分割为大小相同的片区，并将每五帧对应区域的片区组成一个时空块，作为后续处理的最小单元；

对于每个时空块，使用局部时空区域的动作信息来表示不均匀的局部时空动作模式，对每个时空块D的像素d，其时空梯度表示为：

其中，,x、y、t代表像素d的横向、纵向和时间维度；每个像素的时空梯度共同表示了时空块的动作模式，作为后续处理的基本特征，同时，视频的梯度分布建模为一个三维高斯分布N(μ,∑)，其中：

式中：L为像素的总数目，则在每个局部位置l和时间t，局部动作模式是通过和进行表示；

(2)视频特征筛选

在得到视频特征信息后，由于视频数据的巨大信息量，在下一步操作前需要对特征信息进行筛选。数据的筛选过程有许多的方案，最基本的算法包括：主成分分析、线性判别分析、等距映射、局部线性嵌入、特征映射、局部保留投影、局部切空间排列、最大方差展开等等。首先，本发明对于原始提取的特征信息进行初步筛选。初步筛选的意义是，在不影响模型精度的情况下，根据自身需求设定筛选数目，从原始数据中随机选取设定数的数据信息，这样的筛选就够不具有偏向性，对计算精度影响较小。然后，本发明采用主成分分析算法，进一步对筛选后的数据信息进行降维处理，降低数据冗余度，提取其中的主要信息，作为最终视频数据的特征。在经过筛选和降维处理后，模型的整体计算复杂度大大降低，计算效率得到显著的提升。

(3)模型参数学习

本发明需要建立正常事件的模型，则需要对训练样本提取特征并筛选，导入模型中对模型参数进行迭代更新，完成模型建立。本发明采用的是隐马尔可夫模型，可以表示为：λ＝(A,B,π)。其中，π为初始状态向量，A为状态转移矩阵，B为观测概率矩阵。

将视频特征筛选降维后的结果作为观测结果的集合V＝{V₁,...,V_M}，其中包含了所有可能的观测结果。采用K均值算法将观测结果聚类到N个中心，隐马尔可夫模型的隐状态即可表示为：Q＝{Q₁,...,Q_N}。对于观测序列O＝{O₁,...,O_T}中的观测结果O_i，则：

a_ij＝P(O_t+1∈Q_j|O_t∈Q_i),i,j＝1,…,N (3)

a_ij指的是在时刻t处于状态Q_i的条件下，于t+1时刻处于状态Q_j的概率，其中N为状态数目，状态转移矩阵为A＝[a_ij]_N×N；

观测矩阵B表示为：B＝[b_j]_N×M，其中

b_j(K)＝P(O_t＝V_K|i_t＝Q_j)，K＝1,…,M；j＝1,…N (4)

指的是t时刻处于状态Q_j的条件下生成观测O_i的概率.

初始概率分布π表示为：π＝(π_i)，其中

π_i＝P(i₁＝Q_i) (5)

指的是t＝1时处于状态Q_i的概率。

对于一个观测结果，首先需要计算其由此模型生成的概率。也就是给定模型λ＝(A,B,π)以及观测序列O＝{O₁,...,O_T}，计算在此模型下序列O出现的概率P(O|λ)。

迭代的过程使用的是前向后向算法：给定隐马尔可夫模型λ，定义到时刻t部分观测序列为O₁,O₂,...,O_t且状态为Q_i的概率为前向概率，记作：

α_t(i)＝P(O₁,O₂,…O_t,i_t＝Q_i|λ)1≤t≤T (6)

递归求出前向概率α_t(i)和观测序列概率P(O|λ)：

模型的训练过程使用的是Baum-Welch算法，对于输入的观测数据O＝{O₁,...,O_T}，由初始λ⁽⁰⁾＝(A⁽⁰⁾,B⁽⁰⁾,π⁽⁰⁾)迭代计算隐马尔可夫模型参数，由公式(1)和(2)提取的特征，根据公式(3)、(4)、(5)、(6)、(7)的定义，结合Baum-Welch算法递推最终得到模型参数：λ＝(A,B,π)。Baum-Welch算法是非监督的学习算法，是期望最大化算法在隐马尔可夫模型中的具体实现，通过对输入数据的不断迭代进行参数的学习，使得模型在此参数约束下，生成所有的训练数据的概率最大。

(4)异常事件判断

在训练过程中，本发明建立的模型是使得所有正常事件由此模型生成的概率最大，即正常事件可由此模型生成。反而言之，如果新的样本数据由此模型生成的概率很低，那很有可能是异常事件。

模型生成新样本的概率与计算方式与公式(7)相同，为区别表示，本发明设定新样本O_new＝{O_new1,...,O_newT}由模型生成的概率为：

异常事件的判别条件在于此概率是否满足事先设定的阈值要求。阈值是事先通过人工设定的。在实际应用中，此阈值的设定是通过对实验结果的观察，根据实验所要达到的精度不断修正，最终使得模型检测精准率达到最优。

本发明的效果和益处是：利用隐马尔可夫模型建立正常事件的模型，能够有效的检测出画面中的异常事件，明显区分于正常事件数据集中出现的事件。其次，本专利的模型在不同数据库上的检测结果不存在过大偏差，模型适应能力较强。不仅如此，由于建立了整体画面的检测模型，边缘的影响不再明显。最后，采用本专利所使用的降维方式，明显降低了计算复杂度，提高了整体效率。

附图说明

图1是本发明方法所用的系统框图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

步骤1：选取一个国际认可的公开数据库UCSD，其中包含34个训练视频和36个测试视频。此数据库中将每个视频划分为小序列，每个序列包含200帧图像，分辨率为238*158像素。

步骤2：提取视频特征：将画面缩放到不同尺寸，本发明将画面分别缩放到尺度为120*160、30*40、20*20三种不同的尺寸，在每种尺寸上都将画面分割为若干大小为10*10的片区，一共可以获得208个片区；然后对每五帧对应的片区作为一个时空块，通过公式(1)、(2)提取其三维梯度特征。

步骤3：设定特征选取的维度为1000，对提取的原始特征进行随机筛选，将筛选后的特征进行后续处理。

步骤4：设定压缩维度为100维，对筛选后的特征使用主成分分析算法进行降维处理，提取其中最主要的100维信息。

步骤5：隐马尔可夫模型的建立：训练数据库中包含34仅有正常事件存在的是视频，根据步骤2-4进行特征的提取、筛选和降维处理，得到特征信息；根据公式(3)、(4)、(5)的定义，计算隐马尔可夫模型λ＝(A,B,π)的各项参数。

步骤6：使用前向后向算法，根据公式(6)、(7)计算训练样本由模型生成的概率。

步骤7：对所有训练样本，按照Baum-Welch算法进行迭代，使得(7)的值最大，完成迭代过程，得到隐马尔可夫模型参数；此时仅包含正常事件的训练数据由此隐马尔可夫模型生成的概率达到最大，为正常事件的模型。

步骤8：测试过程使用的测试视频包含36个，通过步骤2-4，获取其特征信息。

步骤9：根据公式(8)，计算模型生成测试样本的概率，即样本与模型的匹配度。

步骤10：将步骤9中得到的结果与设定的阈值进行比较，若低于阈值则表示此事件由正常事件模型生成的概率较小，判定为异常事件。根据实验结果和精度要求，在测试中不断调整匹配度的阈值，使得模型测试结果最优。

Claims

1.一种监控视频异常事件检测的方法，其特征在于，步骤如下：

(1)视频图像的特征提取

在提取三维梯度特征时，首先，将每帧画面缩放到三种不同的尺寸，要求三种尺寸中较大尺寸的画面用于提取图像的局部信息，较小尺寸的画面用于提取图像的全局信息；然后，将三种尺寸的画面分割为大小相同的片区，并将每五帧对应区域的片区组成一个时空块，作为后续处理的最小单元；

其中，x、y、t代表像素d的横向、纵向和时间维度；每个像素的时空梯度共同表示了时空块的动作模式，作为后续处理的基本特征，同时，视频的梯度分布建模为一个三维高斯分布N(μ,∑)，其中：

<mrow> <mi>&mu;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mi>d</mi> <mi>L</mi> </munderover> <mo>&dtri;</mo> <msub> <mi>D</mi> <mi>d</mi> </msub> <mo>,</mo> <mi>&Sigma;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mi>d</mi> <mi>L</mi> </munderover> <mrow> <mo>(</mo> <mo>&dtri;</mo> <msub> <mi>D</mi> <mi>d</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <mo>&dtri;</mo> <msub> <mi>D</mi> <mi>d</mi> </msub> <mo>-</mo> <mi>&mu;</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

(2)视频特征筛选

首先，对于原始提取的视频特征信息进行初步筛选，在不影响模型精度的情况下，根据自身需求设定筛选数目，从原始提取的视频特征信息中随机选取设定的筛选数目的数据信息；然后，采用主成分分析算法，进一步对筛选后的数据信息进行降维处理，降低数据冗余度，提取其中的主要信息，作为最终视频数据的特征；

(3)模型参数学习

本方法采用的是隐马尔可夫模型，表示为：λ＝(A,B,π)，其中，π为初始状态向量，A为状态转移矩阵，B为观测概率矩阵；

将最终视频数据的特征作为观测结果的集合V＝{V₁,...,V_M}，其中包含所有可能的观测结果；采用K均值算法，将观测结果聚类到N个中心，隐马尔可夫模型的隐状态即表示为：Q＝{Q₁,...,Q_N}；对于观测序列O＝{O₁,...,O_T}中的观测结果O_i，则：

a_ij＝P(O_t+1∈Q_j|O_t∈Q_i),i,j＝1,…,N (3)

其中，a_ij指的是在时刻t处于状态Q_i的条件下，于t+1时刻处于状态Q_j的概率，N为状态数目，状态转移矩阵为A＝[a_ij]_N×N；

观测矩阵B表示为：B＝[b_j]_N×M，其中

b_j(K)＝P(O_t＝V_K|i_t＝Q_j)，K＝1,…,M；j＝1,…N (4)

指的是t时刻处于状态Q_j的条件下生成观测O_i的概率；

初始概率分布π表示为：π＝(π_i)，其中

π_i＝P(i₁＝Q_i) (5)

指的是t＝1时处于状态Q_i的概率；

对于一个观测结果，首先计算其由此模型生成的概率；也就是给定模型λ＝(A,B,π)以及观测序列O＝{O₁,...,O_T}，计算在此模型下序列O出现的概率P(O|λ)；

α_t(i)＝P(O₁,O₂,…O_t,i_t＝Q_i|λ) 1≤t≤T (6)

递归求出前向概率α_t(i)和观测序列概率P(O|λ)：

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>O</mi> <mo>|</mo> <mi>&lambda;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>&alpha;</mi> <mi>T</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

模型的训练过程使用的是Baum-Welch算法，对于输入的观测数据O＝{O₁,...,O_T}，由初始λ⁽⁰⁾＝(A⁽⁰⁾,B⁽⁰⁾,π⁽⁰⁾)迭代计算隐马尔可夫模型参数，由公式(1)和(2)提取的特征，根据公式(3)、(4)、(5)、(6)、(7)的定义，结合Baum-Welch算法递推最终得到模型参数：λ＝(A,B,π)；

(4)异常事件判断

在训练过程中，本方法建立的模型是使得所有正常事件由此模型生成的概率最大，即正常事件由此模型生成；反而言之，如果新样本数据由此模型生成的概率很低，那很有可能是异常事件；

模型生成新样本的概率和计算方式与公式(7)相同，为区别表示，本方法设定新样本数据O_new＝{O_new1,...,O_newT}由模型生成的概率为：

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>O</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msub> <mo>|</mo> <mi>&lambda;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>&alpha;</mi> <mi>T</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

异常事件的判别条件在于此概率是否满足事先设定的阈值。