CN108846852B - 基于多示例和时间序列的监控视频异常事件检测方法 - Google Patents

Abstract

本发明涉及了一种基于多示例和时间序列的监控视频异常事件检测方法。特征提取阶段，采用多示例划分的概念将视频流中的每一个图像帧视为一个图像包，并将每个包划分成多个互不相交的示例，然后将同属一个区域的示例按照时间顺序重新组合在一起形成相应的示例流。在特征建模阶段，对采样块中的连续视频帧运用时间序列对其进行建模，并预测后续的运动趋势得到对应的预测区间，再对相互重叠的预测区间进行合并直到所有区间之间互不相交。最后根据实际值与各个预测区间之间的关系来进行异常事件的判断。本发明在保证准确率的前提下，降低了检测的时间复杂度。

Description

基于多示例和时间序列的监控视频异常事件检测方法

技术领域

本发明涉及一种监控视频异常事件检测方法，特别涉及一个基于多示例划分和时间序列预测的监控视频异常事件检测方法。

背景技术

随着计算机科学技术的发展，利用图像处理、计算机视觉、机器学习等技术可以突破传统视频监控系统的局限性，实现对视频监控系统的视频智能分析和异常事件的主动检测、实时预警，对于公共安全领域的视频监控应用有重要价值。

监控视频中异常事件检测方法主要分为四个基本步骤：图像预处理、基本事件表示、构建异常检测模型和判断异常事件。其中基本事件表示主要分为基于低级视觉特征的事件表示和基于高级语义特征的事件表示。基于低级视觉特征进行事件表示的做法一般是从用重叠、非重叠或者时空兴趣点的方式将视频体分割成小的视频块，把视频块看作基本的事件，从视频块中提取低级视觉特征对基本事件进行表示。目前，使用较多的低级视觉特征有光流、梯度、纹理等。基于高级语义特征的事件表示主要是需要对数据进行复杂的模式处理，如目标时空轨迹、社会力等方法。常见的异常事件检测模型主要有：基于分类的异常事件检测模型、基于最近邻的异常事件检测模型、基于聚类的异常事件检测模型、基于统计的异常事件检测模型、基于信息理论的异常事件检测模型等。

虽然监控视频下的异常事件检测方法多种多样，但是多数的异常事件检测方法缺乏对视频连续帧之间的运动相关性的考虑。例如文献《Improved anomaly detection incrowded scenes via cell-based analysis of foreground speed,size and texture》【V Reddy,C Sanderson,BC Lovell】针对视频中新出现的异常事件，提出了一种基于运动、尺寸以及纹理三个特征的异常事件检测方法，通过对输入的视频分别提取运动、尺寸以及纹理三个不同的特征，并运用不同的方法分别对三个特征进行建模；在异常事件判断阶段，该算法首先判断运动特征是否异常，然后再同时判断尺寸及纹理特征是否异常。

上述算法在检测异常事件上表现良好，但是仍存在着以下问题：

1.算法在运动特征阶段提取图像的平均光流值来作为对应采样块的运动特征，使得算法容易受到相同运动在不同区域当中的光流特征值不一致的影响，视频中相同的运动物体，其在距离摄像机位置不同时，其光流值之间存在明显的差异，对最终的检测造成影响；

2.该算法在采样时仅仅对视频进行二维采样，没有考虑时间上的相关信息，而一般视频中的运动往往具有前后相关性，会对模型的检测造成影响。

发明内容

针对上述问题，本发明公开了一种基于多示例和时间序列的监控视频异常事件检测方法。该方法利用多示例概念对视频图像进行示例划分，把每一帧视频图像划分成多个示例并形成相应的示例流，对每个示例流进行重叠采样得到采样块，并将每个采样块中相连续的视频帧视为一个时间序列，采用时间序列算法对其进行建模预测，并通过预测值和实际值之间的差异来进行异常事件判断。

本发明解决其技术问题采用的技术方案步骤如下：

基于多示例和时间序列的监控视频异常事件检测方法，参见图1，采用以下步骤实现：

步骤S101：图像预处理。读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理。

步骤S102：多示例划分。对视频图像的每一帧图像视为一个图像包，将其进行多示例划分，并将划分之后区域位置相同的示例组合成相应的示例流，输出一系列的示例流。

步骤S103：重叠采样。对每一个示例流进行大小固定的重叠采样，输出一系列的视频采样块。

步骤S104：光流特征提取。对于每一个视频采样块，首先计算采样块中每一帧图像每个像素点的光流向量，再将所有像素点的光流向量进行取平均操作，得到每一帧图像的光流特征，再将采样块中所有图像的特征组合在一起，得到采样块的光流特征，输出对应的采样块光流特征。

步骤S105：时间序列预测。将每个视频采样块中连续的视频图像帧视为一个时间序列，运用ARIMA时间序列算法对后续运动情况进行预测，输出采样块后续运动的预测值。

步骤S106：预测区间合并。对于每一个采样块均能得到一个以预测值为中心的δ领域，将所有两两相交的领域进行合并，最终得到一系列互补相交的预测区间。

步骤S107：异常事件判断。对于测试视频的每帧图像进行采样，如果采样块的光流值不位于任何一个预测区间内，就将该采样块视为异常；在得到采样块的局部异常之后，再根据图像多示例的划分将局部异常转化为帧级别的全局异常。

本发明的有益效果：

1.本发明在对输入的视频流进行采样之前，首先对视频流进行了多示例划分，将图像划分成多个示例，并将相同的示例组合在一起形成相应的示例流，而后在每个示例流中分别进行采样建模判断，对于在垂直视频场景中运用光流特征对目标运动进行描述有很好的提升效果。

2.本发明在模型构建阶段，将每个采样块中相连续的视频帧的光流特征值视为一个时间序列，并运用ARIMA算法来对该序列进行建模，预测采样块中的运动之后的运动趋势，在建模的同时将连续帧之间物体运动的连续相关性也纳入了考虑范围内，并通过预测值来进行异常事件的判断。

附图说明

图1为本发明进行监控视频下的异常事件检测的流程图；

图2为本发明进行监控视频下的异常事件检测的示意图；

图3为多示例划分示意图；

图4为光流特征提取流程图；

图5为时间序列预测流程图；

图6为本发明最终结果图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。参见图1，其具体步骤描述如下：

步骤S101：图像预处理。

对输入的视频流I_in，进行灰度化并使用高斯滤波进行降噪处理。高斯滤波降噪处理的具体操作如下：用一个3×3的高斯卷积核扫描视频帧中的每一个像素，用该卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值，输出经过处理之后的视频流I。

步骤S102：多示例划分。

输入经过处理之后的视频流I，本发明中在对输入的视频流进行采样之前，首先根据多示例的概念对视频流进行划分，输出视频流I对应的示例流I＝{I¹,I²,…,I^M}，参见图3，计算过程如下：

步骤S301：将视频流每一帧视为一个图像包。输入经过处理之后的视频流I＝{I₁,I₂,…}，我们对视频流中的每一帧图像进行划分，将每一帧图像定义为一个图像包。

步骤S302：对每个图像包进行多示例划分。输入视频流的每一帧图像I_i，对于每一个图像包，按照图像水平方向距离摄像机的远近，将图像包划分成M个示例，一般情况下M＝3或M＝4，输出该图像对应的多示例划分

步骤S303：形成示例流。输入视频流所有图像的多示例划分，在对视频流的每一帧图像划分完成之后，把所有相同区域位置的多示例按照视频流中的时间顺序重新组合在一起，形成相应的M个示例流，输出视频流I对应的示例流I＝{I¹,I²,…,I^M}。

步骤S103：重叠采样。

通过步骤S102可以将输入的视频流拆分成互不相交的M个示例流，本阶段输入示例流I＝{I¹,I²,…,I^M}，对于每一个示例流，对其进行大小固定的重叠采样。从第一帧图像的第一个像素点开始，依次进行大小为N×N×T，重叠率为θ的重复采样，得到一系列的采样块。其中N为空间维度上的采样大小，T为时间维度上的采样大小，其值根据图像大小而定，一般情况下取N＝8以及T＝9，重复率θ＝0.5，即按照上述参数在采样过程中空间维度每隔4个像素，时间维度每隔5帧进行一次采样，输出每个示例流对应的采样块Cellⁱ,i＝1,2…,M。

步骤S104：光流特征提取。

经过步骤S103，我们从每个示例流中获得了一系列的采样块，在本阶段，输入每个示例流所对应的采样块集合Cellⁱ,i＝1,2…,M，我们对采样块内部的图像帧进行光流特征提取。每一个大小为N×N×T的视频采样块当中均包含有T张大小为N×N的视频图像，我们首先运用Farneback稠密光流算法来计算每一张视频图像中每一个像素点的光流向量值；然后对每一张视频图像的所有像素点的光流值大小取平均，将该平均值作为这一张图像的特征；最后将所有视频图像的光流特征组合成向量，输出对应采样块的光流特征v。参见图4，计算过程如下：

步骤S401：拟合前一帧视频图像。输入I中相邻两个图像帧中的前一帧，对于相邻连续的两个视频帧中的前一帧，对每个像素点的领域使用一个多项式来近似进行表达

其中A为对称矩阵，b为向量，c为标量，其值可以通过加权最小二乘法进行拟合求得，输出对该帧图像的拟合多项式f₁(x)。

步骤S402：拟合后一帧视频图像。输入I中相邻两个图像帧中的后一帧，对于相邻帧中的后一帧，运用同样的方法进行近似表达

并通过加权最小二乘法求得多项式参数，输出该帧图像的拟合多项式f₂(x)。

步骤S403：前后表达式关联求解。输入相邻两帧图像的拟合多项式f₁(x)和f₂(x)，由于两个信号表示的是视频图像中相邻的两帧图像，所以它们之间存在着运动相关性，设两帧之间像素点的位移为d，则有

其中

A₂＝A₁

b₂＝b₁-2A₁d

再将位移d定义为关于x的函数，将对应的A和b定义为

可得像素点x的位移为

d(x)＝A^-1(x)Δb(x)

输出前一帧图像中每个像素点的位移d(x)。

步骤S404：采样块光流特征提取。输入采样块以及每一帧图像所对应的位移d(x)，假设像素点i处的光流向量为(v_xi,v_yi)，那么对于采样块中的第k帧视频图像，可以得到该图像的光流向量特征值

最后将所有视频图像帧的光流特征值组合成向量，就得到了对应采样块的光流特征v＝[O₁,O₂,…,O_T]。

步骤S105：时间序列预测。

经过步骤S104，我们得到了每一个采样块所对应的光流特征。现在输入采样块的光流特征v＝[O₁,O₂,…,O_T]，将每一个采样块的特征向量视为一个时间序列，采用ARIMA算法对每个采样块特征进行时间序列预测，预测在该采样块之后的目标运动情况，并输出对应的运动预测值。参见图5，计算过程如下：

步骤S501：判定序列是否稳定。输入采样块的光流特征v＝[O₁,O₂,…,O_T]，将其视为一个时间序列，首先我们需要对时间序列的平稳性进行判断，若序列是不平稳的，则需要先对其进行差分处理使其平稳。对于序列v＝[O₁,O₂,…,O_T]，若该序列的均值以及方差不随时间的取值发生变化，则其就是平稳的，调至步骤S402；否则对序列进行差分处理，并继续进行平稳性判断，并输出参数d的取值。

步骤S502：模型参数判定。输入平稳序列，对于平稳序列，再进行偏相关函数和自相关函数的截尾性判断，若偏相关函数是p阶截尾且自相关拖尾的，那么对应AR模型进行求解；若偏相关函数是拖尾且自相关函数是q阶截尾的，那么对应MA模型进行求解；若两者分别p阶及q阶截尾，则对应ARMA模型求解，输出对应的参数p和q的取值。

步骤S503：时间序列建模。输入平稳序列以及对应的参数p、d、q，设序列v＝[O₁,O₂,…,O_T]进行d次差分之后为平稳序列，那么对应的ARIMA模型就为

其中φ为p阶AR的权重，θ为q阶MA的权重，ε为白噪声序列。对于上式我们需要根据O_i的取值计算出φ和θ的取值，为此将上式转化为

把ε视为φ和θ的函数，再通过梯度下降法求解即可，对于每个输入的时间序列，输出其对应的预测值O_T+1。

步骤S106：预测区间合并。

步骤S105对每一个采样块的光流特征均视为一个时间序列，并对其进行了预测，得到了一系列的预测值。在本阶段，输入所有采样块的预测值O_T+1，对于每一个预测值，我们设定以该预测值为中心的δ领域为对应采样块的预测区间，那么所有的预测值就能够全部转化成对应的预测区间，一般情况下δ＝0.03。

为了加快异常判断速度，我们将这些预测区间进行合并，将互相相交的预测区间进行合并。为此，我们首先将所有预测区间按照区间起始位置从小到大进行排序，然后从小到大进行扫描，如果当前位置相邻的两个区间O_a(δ_a)和O_b(δ_b)之间存在共同区域，那么就将其进行合并，形成一个新区间来代替O_new(δ_new)

直到所有区间两两不相交为止，最后输出所有预测区间。

步骤S107：异常事件检测。

步骤S106将训练数据的模型构建完成。接下来对于输入的测试视频数据，首先根据步骤S101和S102对测试视频进行预处理以及多示例划分，然后运用步骤S103的方法进行采样，对于测试视频而言，S103中的N和T一般取值8×8×1大小，重复率θ＝0.5取值不变，得到一系列的采样图像；对于每一张采样图像，我们根据步骤S104的方法，运用Farneback稠密光流算法计算图像中每个像素点的光流向量，然后将所有像素点的光流值大小的均值设定为该图像的光流特征值。

在计算求得测试视频的采样图像的光流特征值之后，对于每一个采样图像，将其光流特征值与步骤S106所得到的预测区间进行比较，若特征值落在某一个预测区间当中，就认为该采样图像中的运用事件是正常的；否则就认为是异常的。

Claims (6)

1.基于多示例和时间序列的监控视频异常事件检测方法，其特征在于包括如下步骤：

步骤1：图像预处理；读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理；

步骤2：多示例划分；对视频图像的每一帧图像视为一个图像包，将其进行多示例划分，并将划分之后区域位置相同的示例组合成相应的示例流，输出一系列的示例流；

步骤3：重叠采样；对每一个示例流进行大小固定的重叠采样，输出一系列的视频采样块；

步骤4：光流特征提取；对于每一个视频采样块，首先计算采样块中每一帧图像每个像素点的光流向量，再将所有像素点的光流向量进行取平均操作，得到每一帧图像的光流特征，再将采样块中所有图像的特征组合在一起，得到采样块的光流特征，输出对应的采样块光流特征；

步骤5：时间序列预测；将每个视频采样块中连续的视频图像帧视为一个时间序列，运用ARIMA时间序列算法对后续运动情况进行预测，输出采样块后续运动的预测值；

步骤6：预测区间合并；对于每一个采样块均能得到一个以预测值为中心的δ领域，将所有两两相交的领域进行合并，最终得到一系列互补相交的预测区间；

步骤7：异常事件判断；对于测试视频的每帧图像进行采样，如果采样块的光流值不位于任何一个预测区间内，就将该采样块视为异常；在得到采样块的局部异常之后，再根据图像多示例的划分将局部异常转化为帧级别的全局异常。

2.根据权利要求1所述的基于多示例和时间序列的监控视频异常事件检测方法，其特征在于步骤2所述的多示例划分，具体实现如下：

步骤2-1：将视频流每一帧视为一个图像包；输入经过处理之后的视频流I＝{I₁,I₂,…}，我们对视频流中的每一帧图像进行划分，将每一帧图像定义为一个图像包；

步骤2-2：对每个图像包进行多示例划分；输入视频流的每一帧图像I_i，对于每一个图像包，按照图像水平方向距离摄像机的远近，将图像包划分成M个示例，一般情况下M＝3或M＝4，输出该图像对应的多示例划分

步骤2-3：形成示例流；输入视频流所有图像的多示例划分，在对视频流的每一帧图像划分完成之后，把所有相同区域位置的多示例按照视频流中的时间顺序重新组合在一起，形成相应的M个示例流，输出视频流I对应的示例流I＝{I¹,I²,…,I^M}。

3.根据权利要求1所述的基于多示例和时间序列的监控视频异常事件检测方法，其特征在于步骤3所述的重叠采样，具体实现如下：

通过步骤2将输入的视频流拆分成互不相交的M个示例流，本阶段输入示例流I＝{I¹,I²,…,I^M}，对于每一个示例流，对其进行大小固定的重叠采样；从第一帧图像的第一个像素点开始，依次进行大小为N×N×T，重叠率为θ的重复采样，得到一系列的采样块；其中N为空间维度上的采样大小，T为时间维度上的采样大小，其值根据图像大小而定，一般情况下取N＝8以及T＝9，重复率θ＝0.5，即按照上述参数在采样过程中空间维度每隔4个像素，时间维度每隔5帧进行一次采样，输出每个示例流对应的采样块Cell^i′,i′＝1,2…,M。

4.根据权利要求1所述的基于多示例和时间序列的监控视频异常事件检测方法，其特征在于步骤4所述的光流特征提取，具体实现如下：

步骤4-1：拟合前一帧视频图像；输入I中相邻两个图像帧中的前一帧，对于相邻连续的两个视频帧中的前一帧，对每个像素点的领域使用一个多项式来近似进行表达

其中A为对称矩阵，b为向量，c为标量，其值可以通过加权最小二乘法进行拟合求得，输出对该帧图像的拟合多项式f₁(x)；

步骤4-2：拟合后一帧视频图像；输入I中相邻两个图像帧中的后一帧，对于相邻帧中的后一帧，运用同样的方法进行近似表达

并通过加权最小二乘法求得多项式参数，输出该帧图像的拟合多项式f₂(x)；

步骤4-3：前后表达式关联求解；输入相邻两帧图像的拟合多项式f₁(x)和f₂(x)，由于两个信号表示的是视频图像中相邻的两帧图像，所以它们之间存在着运动相关性，设两帧之间像素点的位移为d，则有

其中

再将位移d定义为关于x的函数，将对应的A和b定义为

可得像素点x的位移为

d(x)＝A^-1(x)Δb(x)

输出前一帧图像中每个像素点的位移d(x)；

步骤4-4：采样块光流特征提取；输入采样块以及每一帧图像所对应的位移d(x)，假设像素点i处的光流向量为(v_xi,v_yi)，那么对于采样块中的第k帧视频图像，可以得到该图像的光流向量特征值

最后将所有视频图像帧的光流特征值组合成向量，就得到了对应采样块的光流特征v＝[O₁,O₂,…,O_T]。

5.根据权利要求1所述的基于多示例和时间序列的监控视频异常事件检测方法，其特征在于步骤5所述的时间序列预测，具体实现如下：

步骤5-1：判定序列是否稳定；输入采样块的光流特征v＝[O₁,O₂,…,O_T]，将其视为一个时间序列，首先我们需要对时间序列的平稳性进行判断，若序列是不平稳的，则需要先对其进行差分处理使其平稳；对于序列v＝[O₁,O₂,…,O_T]，若该序列的均值以及方差不随时间的取值发生变化，则其就是平稳的，调至步骤4-2；否则对序列进行差分处理，并继续进行平稳性判断，并输出参数d的取值；

步骤5-2：模型参数判定；输入平稳序列，对于平稳序列，再进行偏相关函数和自相关函数的截尾性判断，若偏相关函数是p阶截尾且自相关拖尾的，那么对应AR模型进行求解；若偏相关函数是拖尾且自相关函数是q阶截尾的，那么对应MA模型进行求解；若两者分别p阶及q阶截尾，则对应ARMA模型求解，输出对应的参数p和q的取值；

步骤5-3：时间序列建模；输入平稳序列以及对应的参数p、d、q，设序列v＝[O₁,O₂,…,O_T]进行d次差分之后为平稳序列，那么对应的ARIMA模型就为

其中φ为p阶AR的权重，θ为q阶MA的权重，ε为白噪声序列；对于上式我们需要根据O_i的取值计算出φ和θ的取值，为此将上式转化为

把ε视为φ和θ的函数，再通过梯度下降法求解即可，对于每个输入的时间序列，输出其对应的预测值O_T+1。

6.根据权利要求1所述的基于多示例和时间序列的监控视频异常事件检测方法，其特征在于步骤6所述的预测区间合并，具体实现如下：

步骤5对每一个采样块的光流特征均视为一个时间序列，并对其进行了预测，得到了一系列的预测值；输入所有采样块的预测值O_T+1，对于每一个预测值，设定以该预测值为中心的δ领域为对应采样块的预测区间，那么所有的预测值就能够全部转化成对应的预测区间，取δ＝0.03；

为了加快异常判断速度，将这些预测区间进行合并，将互相相交的预测区间进行合并，首先将所有预测区间按照区间起始位置从小到大进行排序，然后从小到大进行扫描，如果当前位置相邻的两个区间O_a(δ_a)和O_b(δ_b)之间存在共同区域，那么就将其进行合并，形成一个新区间来代替O_new(δ_new)

直到所有区间两两不相交为止，最后输出所有预测区间。

Images