CN105913002B - 视频场景下在线自适应的异常事件检测方法 - Google Patents

Abstract

本发明公开了一种视频场景下在线自适应的异常事件检测方法。本发明是基于三维光流直方图的时空域特征和在线自适应的异常事件检测的方法，该方法在特征提取阶段，使用三维光流直方图作为视频场景下基于时空域的前景目标运动的描述子，在异常事件检测阶段，使用在线自适应的方法来进行检测。本发明不仅在特征提取阶段使用了基于三维的光流直方图的时空域信息，而且在检测阶段使用在线自适应的方法，提升了异常事件检测模型对不同场景的适应性。

Description

视频场景下在线自适应的异常事件检测方法

技术领域

本发明涉及一种视频场景下异常事件检测的方法，特别涉及一种视频场景下在线自适应的异常事件检测方法。本发明是基于三维光流直方图的时空域特征和在线聚类的异常事件检测方法。

背景技术

随着现实世界中监控场景的越来越多，视频监控下的场景分析也吸引着更多学者的注意。虽然目前存在的检测方法的准确率和时间性能都较好，但是它只能检测特定场景下的异常事件，然而，真实场景下的监控视频是不断变化的且不可估计的。我们并不能事先判断出哪些情况属于异常事件，哪些情况属于正常事件。因此，这就需要我们能从给定的监控视频中自适应学习出此场景下前景的运动模式，从而判定出异常事件。该场景判定异常的主要依据是：根据一个视频片段，在线地学习出该场景下前景目标的运动模式，得到前景目标的主流运动模式，从而认为与主流运动模式有显著差异的前景目标属于异常事件。

因此，如何能够在线自适应地处理异常事件是未来的主要研究方向。但是，该方法的研究不够深入，其对前景信息的描述不够准确，因此导致了检测准确率的降低。针对在线自适应处理中存在的问题，本发明提出使用三维光流直方图作为视频场景在时空域的特征提取方法，从而达到提高检测准确率的目的。

在线自适应问题，主要是通过使用时空域上的特征提取方法得到特征描述子，从而进一步通过低级的模糊C均值聚类分离出视频流中的前景信息，根据得到的前景信息，运用高级的模糊C均值进行二次聚类，从前景信息中识别出其运动模式，进一步获得运动信息中的主流的运动模式和少有的运动模式。我们主要使用起始的一段视频流作为初始化的视频帧，得到前景的运动模式，并作为训练样本集；然后，当有新的视频帧到来时，根据训练样本集的信息对其进行检测。最后，将新到来的视频帧加入到训练样本集中以更新运动模式，如此循环下去，便达到了在线自适应检测的目的。

发明内容

针对上述问题，本发明公开了一种视频场景下在线自适应的异常事件检测方法。本发明是基于三维光流直方图(Histograms of Optical Flow，HOF)的时空域特征和在线自适应的异常事件检测的方法，该方法在特征提取阶段，使用三维光流直方图作为视频场景下基于时空域的前景目标运动的描述子，在异常事件检测阶段，使用在线自适应的方法来进行检测。与传统方法相比，该方法较好地解决了检测场景的适用性问题。

本发明解决其技术问题所采用的技术方案步骤如下：

视频场景下在线自适应的异常事件检测方法，采用以下步骤实现：

步骤1、获取前景目标的初始运动模式。

1-1、预处理。读取视频流的起始片段作为输入，并对其进行解码，然后使用高斯滤波进行去噪处理。

1-2、特征提取。对步骤1-1中高斯处理后的视频帧，首先使用稠密光流法计算相邻两帧图像逐像素点的稠密光流值；然后提取视频流的块区域，并根据光流向量的大小和方向将块区域中每个像素点投票到直方图的相应区域中，从而得到每个块区域的直方图统计信息，即为该块区域的特征描述子。

1-3、模糊C均值聚类。首先，根据得到的特征描述子，对其进行初级的模糊C均值聚类，得到码本和隶属度信息。然后，对视频流进行重采样，并根据初级聚类后的结果，计算新采样样本的特征描述子。最后，对新的特征描述子进行高级聚类。

1-4、阈值选取。根据步骤1-3中高级聚类后的结果，得到用以区分新到来视频帧中异常事件发生与否的似然阈值。

步骤2、获取新到来视频帧前景目标的运动模式。

2-1、预处理。当有新的视频帧到来时，将该视频帧作为输入，对其进行解码，并使用高斯滤波进行去噪处理。

2-2、特征提取。对步骤2-1中高斯处理后的视频帧，首先使用稠密光流法计算该帧的前一帧与该帧的相邻两帧图像逐像素点的稠密光流值，然后，提取视频流的块区域，并根据光流向量的大小和方向将块中每个像素点投票到直方图的相应区域中，从而得到每个块的直方图统计信息，即为该块的特征描述子。

2-3、模糊C均值聚类。首先，根据得到的特征描述子，对其进行初级的模糊C均值聚类，得到码本和隶属度信息。然后，对视频流进行重采样，并根据初级聚类后的结果，计算新采样样本的特征描述子。最后，对新的特征描述子进行高级聚类，得到高级聚类后的隶属度矩阵。

步骤3、异常事件检测。针对步骤2中得到的新的视频帧高级聚类后的隶属度信息，将其与步骤1-4中的阈值进行比较，从而判断出与视频流中主流运动模式有显著差别的运动模式，并认为该运动模式为异常的运动模式。最后，将新的视频帧加入到初始化数据中以更新训练样本，并进一步检测即将到来的下一个视频帧，达到在线自适应检测的目的。

本发明的有益效果：

1.本发明在特征提取阶段，先对原始的视频帧进行简单的去噪处理，然后进行计算视频帧的稠密光流值，并将单帧的光流特征扩展到时空域中，该方法很好地保留了前景目标在时空域上的运动信息，这在基于中高密度的视频场景中特别适用。

2.本发明在检测阶段，使用了在线自适应的方法。该方法并不关心视频场景中的前景信息，也不具体指定哪些属于异常事件。该方法可以根据实时的监控视频自适应地学习出与主流运动模式有显著差异的运动模式，并认为该运动模式为异常的运动模式。

附图说明

图1为本发明进行在线自适应异常事件检测的流程图。

图2为基于车流视频场景的低级聚类后的结果图像。

图3为基于车流视频场景的在空间域上的高级聚类后的结果图像。

图4为基于车流视频场景的在时间域上的高级聚类后的结果图像。

图5为基于车流视频场景的最终的检测结果图像。

具体实施方式

下面结合附图1，对本发明的具体实施方案作进一步详细描述。由于本发明使用的检测模型是基于在线处理的，也就说需要在线学习出前景目标的运动信息，得到哪些为主流的运动模式，哪些为与主流运动模式有显著差异的运动模式，并认为与主流运动模式有显著差异的运动模式为异常事件的运动模式。该方法需要使用视频流起始的一段视频帧为初始化数据，学习出前景目标的运动模式，然后，根据初始化数据中的运动信息计算得到一个阈值，并将新到来视频帧的前景目标的运动模式与该阈值作比较，从而判断出异常事件发生的区域。其具体实现步骤如下所示：

步骤1、获取前景目标的初始运动模式

为了达到在线学习的目的，需要先学习出前景目标的初始运动模式，具体流程如下：

1-1、预处理。首先从视频流中解码得到前t帧视频帧作为初始化数据，然后对每个视频帧进行高斯滤波，其具体操作是：用一个模板扫描视频帧中的每一个像素，用模板确定邻域内像素的加权平均灰度值，并用该加权平均灰度值替代模板中心像素点的值。

所述的模板，或称卷积、掩模，是大小为N*N的0和1的矩阵；

1-2、特征提取。针对步骤1-1中预处理后的视频帧，使用三维光流直方图的方法提取其时空域特征，具体实现过程包括以下两个部分：

1-2-1、光流值的计算

将步骤1-1中高斯滤波后的视频帧作为输入，使用稠密光流法Horn-Schunck计算相邻两帧间的光流值，以此可以得到前t帧的光流值，组成m×n×t大小的三维矩阵。

1-2-2、建立时空域的特征描述子

将步骤1-2-1中得到的三维矩阵m×n×t，使用逐像素采样的方法提取一个个大小相等的a×a1×a2(例如：5×5×5,5×6×7)的块区域，然后根据每个块区域内像素点的光流值，使用直方图估计的方法计算每个块区域的特征描述子。由于光流值为一个向量，其包含大小和方向两个信息，所以在统计过程中运用如下公式计算：

上述将直方图分为两部分，每一部分的维数均为p/2维，若光流值小于某阈值，则将该光流值投影到直方图的第一部分，若大于等于该阈值则将其投影到直方图的第二部分；在每一部分中，式(1)又将360度的角度信息平均划分成了p/2个部分，并根据像素点的光流值投影到相应的角度范围中。本发明中，取直方图的维数为16维，前后两部分各8维。

1-3、模糊C均值聚类。针对步骤1-2计算得到的特征描述子，对其进行低级的模糊C均值聚类，得到编码本和隶属度信息，然后对视频样本(前t帧视频帧)进行重采样，根据低级的聚类结果重新构建特征描述子，并对其进行高级模糊C均值聚类。

1-3-1、低级模糊C均值聚类如下：

对步骤1-2中得到的特征描述子进行低级的模糊C均值聚类，得到5×5×5的块区域的聚类中心以及隶属度矩阵，该阶段中低级聚类后的结果如图2所示。

1-3-2、所述的高级模糊C均值聚类如下：

根据低级的模糊C均值聚类后的结果，对视频样本(前t帧视频帧)在视频流的空间和时间域上分别进行二次重采样，并重新计算采样后数据的特征描述子。实现流程如下：

1-3-2-1、二次重采样

该阶段的采样主要是基于空间和时间分别采样，因此，在空间上，选取b×b×1大小的区域作为重采样后的集合体，在时间上，选取1×1×b大小的区域作为重采样的集合体。空间和时间域上的集合体分别由初次采样时选取的5×5×5的块区域组成。

所述的当b等于21时，即在空间上选取21×21×1大小的区域，在时间上选取1×1×21大小的区域时效果最佳；

1-3-2-2、特征描述子的计算

该阶段，为了更准确地描述前景目标的运动模式，本发明将像素点的位置信息考虑在内。又由于步骤1-2中特征提取阶段，是逐像素采样的，因此通过计算每个像素点到视频体中间像素点的相对位置来描绘它们的位置关系。然后根据低级聚类后的隶属度矩阵，使用概率密度函数来描述空间和时间域上每个块区域的特征。

首先，使用公式(2)计算出集成体中每个5×5×5块区域的概率值，

其中，P(x_v|v＝c_i)表示在空间或时间域上，若块区域属于第i类时，该块区域在集成体中的位置；P(v＝c_i)表示当块区域属于第i类时的概率，即为低级聚类中的隶属度信息。

然后，根据集成体中每个块区域的概率值，使用非参数估计的方法得到该集合体的概率密度函数。

最后，将计算得到空间和时间域上集成体的概率密度函数作为其特征描述子。

1-3-2-3、改进的高级模糊C均值聚类

根据步骤1-3-2-2得到的特征描述子，分别在空间和时间域上进行改进后的模糊C均值聚类。即改进后的模糊C均值聚类方法主要是使用非对称的Kullback-Leibler(KL)散度，作为两个概率密度函数间差异的衡量标准。因此，两个集成体间差异的判定准则如下计算：

通过高级模糊C均值聚类，最终得到空间和时间域上的编码本C^S和C^T，以及相应的隶属度矩阵。该阶段中分别在空间和时间域上进行模糊C均值聚类，空间域上的聚类结果如图3所示，时间域上的聚类结果如图4所示。

1-4、阈值的选取

根据步骤1-3中高级聚类后得到的隶属度矩阵，分别得到空间域和时间域上的似然阈值和用获得的似然阈值和区分新到来视频帧中异常事件发生与否，具体如下：

首先通过公式(4)得到空间和时间域上两个不相交子集和然后使用公式(5)和(6)计算似然阈值和

其中，参数ε是经验值，本发明中取为0.5；p_i表示第i个像素点；表示在空间域上第i个像素点关于第k个编码单词的隶属度值；表示在时间域上第i个像素点关于第k个编码单词的隶属度值；参数γ∈[0,1]，用于控制正常或异常检测率；|D|表示D中的成员数量；和分别表示从空间和时间编码本中的第k个编码单词中学习到的似然阈值。

步骤2、获取新到来视频帧前景目标的运动模式。

2-1、预处理。当有新的视频帧到来时，将新的视频帧作为输入，对其进行解码，并使用高斯滤波进行去噪处理。

2-2、特征提取。对步骤2-1中高斯处理后的视频帧，首先使用稠密光流法计算该帧的前一帧与该帧的相邻两帧图像逐像素点的稠密光流值，然后，将新到来的视频帧与其前(a2-1)帧组成新的m×n×a2大小的三维矩阵，然后，根据光流向量的大小和方向将块中每个像素点投票到直方图的相应区域中，从而得到每个块的直方图统计信息，即为该块的特征描述子。具体的特征提取计算方法同步骤1中1-2的计算方法相同，均是使用三维光流直方图的方法提取其时空域特征。

2-3、模糊C均值聚类。首先，根据步骤2-2中得到的特征描述子，对其进行低级的模糊C均值聚类，得到码本和隶属度信息。然后，对视频流进行重采样，并根据低级聚类后的结果，计算新采样样本的特征描述子。最后，对新采样样本的特征描述子进行高级聚类，得到高级聚类后的隶属度矩阵和将隶属度矩阵记为和其中为和分别表示在时刻t时空间和时间域上的隶属度矩阵；关于该阶段中模糊C均值的计算方法与步骤1中1-3的计算方法相同。

步骤3、异常事件检测。

针对步骤2计算得到隶属度和得到新采样样本像素点的描述方法，如下所示：

其中，表示在空间域上，基于第i个像素点的隶属度矩阵中隶属度最大的值；表示在空间域上，基于第i个像素点的隶属度矩阵中隶属度最大的值。

对于一个新到来的视频序列Q中的第i个像素点q_i，判断其是否为异常的准则如下所示：

其中，α和β是分别对于空间和时间的编码本中预选择的权值。关于在线自适应的异常事件的检测结果如图5所示。

Claims (4)

1.视频场景下在线自适应的异常事件检测方法，其特征在于包括如下步骤：

步骤1、获取前景目标的初始运动模式；

步骤2、获取新到来视频帧前景目标的运动模式；

步骤3、异常事件检测；

所述的步骤1的具体流程如下：

1-1、预处理；首先从视频流中解码得到前t帧视频帧作为初始化数据，然后对每个视频帧进行高斯滤波，其具体操作是：用一个模板扫描视频帧中的每一个像素，用模板确定邻域内像素的加权平均灰度值，并用该加权平均灰度值替代模板中心像素点的值；

1-2、特征提取；针对步骤1-1中预处理后的视频帧，使用三维光流直方图的方法提取其时空域特征，具体实现过程包括以下两个部分：

1-2-1、光流值的计算

将步骤1-1中高斯滤波后的视频帧作为输入，使用稠密光流法Horn-Schunck计算相邻两帧间的光流值，以此可以得到前t帧的光流值，组成m×n×t大小的三维矩阵；

1-2-2、建立时空域的特征描述子

将步骤1-2-1中得到的三维矩阵m×n×t，使用逐像素采样的方法提取一个个大小相等的a×a1×a2的块区域，然后根据每个块区域内像素点的光流值，使用直方图估计的方法计算每个块区域的特征描述子；由于光流值为一个向量，其包含大小和方向两个信息，所以在统计过程中运用如下公式计算：

上述将直方图分为两部分，每一部分的维数均为p/2维，若光流值小于某阈值，则将该光流值投影到直方图的第一部分，若大于等于该阈值则将其投影到直方图的第二部分；在每一部分中，式(1)又将360度的角度信息平均划分成了p/2个部分，并根据像素点的光流值投影到相应的角度范围中；取直方图的维数为16维，前后两部分各8维；

1-3、模糊C均值聚类；针对步骤1-2计算得到的特征描述子，对其进行低级的模糊C均值聚类，得到编码本和隶属度信息，然后对视频样本，即前t帧视频帧进行重采样，根据低级的聚类结果重新构建特征描述子，并对其进行高级模糊C均值聚类；

1-4、阈值的选取

根据步骤1-3中高级聚类后得到的隶属度矩阵，分别得到空间域和时间域上的似然阈值和用获得的似然阈值和区分新到来视频帧中异常事件发生与否；

步骤1-4具体如下：

首先通过公式(4)得到空间和时间域上两个不相交子集和然后使用公式(5)和(6)计算似然阈值和

其中，参数ε是经验值，取为0.5；p_i表示第i个像素点；表示在空间域上第i个像素点关于第k个编码单词的隶属度值；表示在时间域上第i个像素点关于第k个编码单词的隶属度值；参数γ∈[0,1]，用于控制正常或异常检测率；|D|表示D中的成员数量；和分别表示从空间和时间编码本中的第k个编码单词中学习到的似然阈值；

步骤2所述的获取新到来视频帧前景目标的运动模式，具体如下：

2-1、预处理；当有新的视频帧到来时，将新的视频帧作为输入，对其进行解码，并使用高斯滤波进行去噪处理；

2-2、特征提取；对步骤2-1中高斯处理后的视频帧，首先使用稠密光流法计算该帧的前一帧与该帧的相邻两帧图像逐像素点的稠密光流值，然后，将新到来的视频帧与其前(a2-1)帧组成新的m×n×a2大小的三维矩阵，然后，根据光流向量的大小和方向将块中每个像素点投票到直方图的相应区域中，从而得到每个块的直方图统计信息，即为该块的特征描述子；具体的特征提取计算方法同步骤1中1-2的计算方法相同，均是使用三维光流直方图的方法提取其时空域特征；

2-3、模糊C均值聚类；首先，根据步骤2-2中得到的特征描述子，对其进行低级的模糊C均值聚类，得到码本和隶属度信息；然后，对视频流进行重采样，并根据低级聚类后的结果，计算新采样样本的特征描述子；最后，对新采样样本的特征描述子进行高级聚类，得到高级聚类后的隶属度矩阵和将隶属度矩阵记为和其中为和分别表示在时刻t时空间和时间域上的隶属度矩阵；关于该阶段中模糊C均值的计算方法与步骤1中1-3的计算方法相同；

步骤3、异常事件检测；

针对步骤2计算得到隶属度和得到新采样样本像素点的描述方法，如下所示：

其中，表示在空间域上，基于第i个像素点的隶属度矩阵中隶属度最大的值；表示在空间域上，基于第i个像素点的隶属度矩阵中隶属度最大的值；

对于一个新到来的视频序列Q中的第i个像素点q_i，判断其是否为异常的准则如下所示：

其中，α和β是分别对于空间和时间的编码本中预选择的权值。

2.根据权利要求1所述的视频场景下在线自适应的异常事件检测方法，其特征在于步骤1-3所述的低级模糊C均值聚类如下：

对步骤1-2中得到的特征描述子进行低级的模糊C均值聚类，得到5×5×5的块区域的聚类中心以及隶属度矩阵。

3.根据权利要求1所述的视频场景下在线自适应的异常事件检测方法，其特征在于步骤1-3所述的高级模糊C均值聚类如下：

根据低级的模糊C均值聚类后的结果，对视频样本中的前t帧视频帧，在视频流的空间和时间域上分别进行二次重采样，并重新计算采样后数据的特征描述子；实现流程如下：

1-3-2-1、二次重采样

采样基于空间和时间分别采样，在空间上，选取b×b×1大小的区域作为重采样后的集合体，在时间上，选取1×1×b大小的区域作为重采样的集合体；空间和时间域上的集合体分别由初次采样时选取的5×5×5的块区域组成；

1-3-2-2、特征描述子的计算

将像素点的位置信息考虑在内；又由于步骤1-2中特征提取阶段，是逐像素采样的，因此通过计算每个像素点到视频体中间像素点的相对位置来描绘它们的位置关系；然后根据低级聚类后的隶属度矩阵，使用概率密度函数来描述空间和时间域上每个块区域的特征；

首先，使用公式(2)计算出集成体中每个5×5×5块区域的概率值，

其中，P(x_v|v＝c_i)表示在空间或时间域上，若块区域属于第i类时，该块区域在集成体中的位置的概率；P(v＝c_i)表示当块区域属于第i类时的概率，即为低级聚类中的隶属度信息；

然后，根据集成体中每个块区域的概率值，使用非参数估计的方法得到该集合体的概率密度函数；

最后，将计算得到空间和时间域上集成体的概率密度函数作为其特征描述子；

1-3-2-3、改进的高级模糊C均值聚类

根据步骤1-3-2-2得到的特征描述子，分别在空间和时间域上进行改进后的模糊C均值聚类；即改进后的模糊C均值聚类方法主要是使用非对称的Kullback-Leibler)散度，作为两个概率密度函数间差异的衡量标准；因此，两个集成体间差异的判定准则如下计算：

通过高级模糊C均值聚类，最终得到空间和时间域上的编码本C^S和C^T，以及相应的隶属度矩阵；该阶段中分别在空间和时间域上进行模糊C均值聚类。

4.根据权利要求3所述的视频场景下在线自适应的异常事件检测方法，其特征在于所述的当b等于21时，即在空间上选取21×21×1大小的区域，在时间上选取1×1×21大小的区域时效果最佳。