CN107590427B - 基于时空兴趣点降噪的监控视频异常事件检测方法 - Google Patents

Abstract

本发明涉及了基于时空兴趣点降噪的监控视频异常事件检测方法。本发明采用了分层特征表示的方法，用时空兴趣点作为低级特征表示局部事件，通过C均值聚类学习低级码本，通过K近邻距离与阈值的比较判断局部异常事件；用多个时空兴趣点构成的集合体作为高级特征来表示全局事件，利用贪婪聚类算法学习高级码本并对每个码本进行最小二乘法建模，通过集合体与模板的最小二乘距离判断全局异常事件。本发明不仅在局部事件的表示阶段通过前景掩码对时空兴趣点的筛选严格限制了异常的分析区域，而且在建立全局事件检测模型的时候使用最小二乘法，在保证基本准确率的前提下，降低了检测的时间复杂度和计算复杂度。

Description

基于时空兴趣点降噪的监控视频异常事件检测方法

技术领域

本发明涉及一种监控视频异常事件检测方法，特别涉及一个基于时空兴趣点降噪的监控视频异常事件检测方法。

背景技术

随着计算机科学技术的发展，利用图像处理、计算机视觉、机器学习等技术可以突破传统视频监控系统的局限性，实现对视频监控系统的视频智能分析和异常事件的主动检测、实时预警，对于公共安全领域的视频监控应用有重要价值。

监控视频中异常事件检测方法主要分为四个基本步骤：图像预处理、基本事件表示、构建异常检测模型和判断异常事件。其中基本事件表示主要分为基于低级视觉特征的事件表示和基于高级语义特征的事件表示。基于低级视觉特征进行事件表示的做法一般是从用重叠、非重叠或者时空兴趣点的方式将视频体分割成小的视频块，把视频块看作基本的事件，从视频块中提取低级视觉特征对基本事件进行表示。目前，使用较多的低级视觉特征有光流、梯度、纹理等。基于高级语义特征的事件表示主要是需要对数据进行复杂的模式处理，如目标时空轨迹、社会力等方法。常见的异常事件检测模型主要有：基于分类的异常事件检测模型、基于最近邻的异常事件检测模型、基于聚类的异常事件检测模型、基于统计的异常事件检测模型、基于信息理论的异常事件检测模型等。

虽然监控视频下异常事件检测方法多种多样，但是多数的异常事件检测方法缺乏对全局异常的考虑，不能对多个事件的交互方式是否正常作出判断。文献《Video anomalydetection and localization using hierarchical feature representation andGaussian process regression》【KW Cheng、IEEE Transactions on Image Processing】提出了检测局部和全局异常事件的检测方法，弥补了该方面的不足。该算法利用时空兴趣点作为低级特征表示局部事件，通过K均值聚类学习低级码本，通过KNN距离与阈值的比较判断局部异常事件；利用多个时空兴趣点构成的集合体作为高级特征表示全局事件，通过贪婪聚类算法学习高级码本并对码本中的每一项进行GPR建模，通过集合体与GPR模板的匹配程度判断全局异常事件。

上述算法在检测异常事件上表现良好，但仍存在着以下问题：第一，时空兴趣点计算方法易受到动态背景噪声干扰。算法中时空兴趣点能筛选出视频中的动态区域，但是无法区分动态背景和运动前景，对于存在光照变化或者相机抖动的视频，时空兴趣点的方法会将动态背景划入异常分析范围，造成时间和空间的浪费；第二，该算法使用GPR模型对全局事件进行建模，计算复杂度高，检测过程耗时多，其中80％的处理时间消耗在GPR模型的计算上，导致检测模型计算时间性能较差。

发明内容

针对上述问题，本发明公开了一种基于时空兴趣点降噪的监控视频异常事件检测方法。该方法利用前景掩码方法实现时空兴趣点筛选，对时空兴趣点进行降噪处理，并采用最小二乘法对全局事件进行建模。与已有方法相比，该算法既保证了异常事件检测准确率，同时提升了检测速度。

本发明解决其技术问题采用的技术方案步骤如下：

基于时空兴趣点降噪的监控视频异常事件检测方法，采用以下步骤实现：

步骤S101：图像预处理。读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理。

步骤S102：时空兴趣点降噪。对降噪后的视频提取时空兴趣点并利用ViBe算法(Visual Background Extractor)计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪。

步骤S103：局部事件表示。计算关于降噪后的时空兴趣点HOG3D特征作为低级特征表示局部事件。

步骤S104：局部检测模型构建。对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值。

步骤S105：局部异常事件判断。计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件。

步骤S106：全局事件表示。通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体表示全局事件。

步骤S107：建立全局事件模板。通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板。

步骤S108：全局检测模型构建。利用最小二乘模型对每个全局事件的模板建模。

步骤S109：全局异常事件判断。寻找与测试集合体最匹配的模型，计算集合体中每个兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。

本发明的有益效果：

1.本发明在时空兴趣点降噪阶段，使用了前景掩码对时空兴趣点筛选的降噪方法，对于存在光照变化或者相机抖动的视频有很好的降噪效果。本发明增加了对时空兴趣点的降噪处理，将异常的分析区域严格限制在最小的范围，降低了时间和空间的消耗。

2.本发明在构建全局检测模型阶段，使用最小二乘法来对全局事件的模板建模，在保证较好的检测效果的同时大大提升了检测速度。本发明改进了原有的高斯过程回归建立全局检测模型的方法，减少了检测过程中的时间消耗。

附图说明

图1为本发明进行监控视频下的异常事件检测的流程图；

图2为基于低级特征的局部异常检测框架图；

图3为基于高级特征的全局异常检测框架图；

图4为ViBe算法前景掩码计算流程图；

图5为视频帧时空兴趣点的效果图和掩码图；

图6为视频帧前景提取后的效果图和掩码图；

图7为视频帧通过前景掩码过滤时空兴趣点的效果图和掩码图；

图8为HOG3D特征计算过程示意图；

图9为时空兴趣点特征K均值聚类算法流程图；

图10为全局事件表示过程图；

图11为集合体相似度计算示意图；

图12为集合体贪婪聚类算法流程图；

图13为构建全局检测模型流程图；

图14为全局异常事件判断流程图；

图15为本发明局部异常事件检测结果图；

图16为本发明全局异常事件检测结果图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。参见图

1，其具体步骤描述如下：

步骤S101：图像预处理。

对输入的视频帧进行灰度化并使用高斯滤波进行降噪处理。高斯滤波降噪处理的具体操作如下：用一个3×3的高斯卷积扫描视频帧中的每一个像素，用该卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值。

步骤S102：时空兴趣点降噪。

本发明中利用前景掩码对时空兴趣点筛选的方法对时空兴趣点进行降噪，该过程包含了两个子过程：

(1)时空兴趣点的计算

时空兴趣点STIP_i的计算方法是对图像的每个像素点计算响应值函数R，时空兴趣点STIP_i就是响应值函数R的局部极大值对应的像素点，其结果如图5所示。本发明中的时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器。用I表示当前的视频帧，用g表示高斯内核，用h_ev和h_σd表示一维伽柏正交对，则函数响应函数如下：

R＝(I×g×h_ev)²+(I×g×h_σd) 公式(1)

(2)降噪后的时空兴趣点

本发明使用前景掩码对时空兴趣点STIP_i进行筛选来降低噪声。首先我们用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，参见图4，每个位于(x,y,t)的像素点是否为前景的具体过程如下：

步骤S401：当t＝1时，初始化像素点(x,y,t)的模型。从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p₁,p₂,...，p_z}_(x,y,t)，该样本集可构成该像素点的灰度值模型，其中一般设置为z＝20。

步骤S402：t＝t+1，读取下一帧的新像素点，转至步骤S403，如果没有新的像素点，算法结束。

步骤S403：阈值判断。将{p₁,p₂,...,p_z}_(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体S_R(p(x,y,t))范围内的灰度值进行对比。灰度值p(x,y,t)周围球体S_R(p(x,y,t))与灰度值样本集{p₁,p₂,...,p_z}_(x,y,t-1)交集的势用符号#{S_R(p(x,y,t)∩{p₁,p₂,...,p_z}_(x,y,t-1)}表示，最小阈值用#min表示(#min为经验值)，如果#{S_R(p_t(x)∩{p₁,p₂,...,p_z})}＞#min，转至步骤S404；否则，转至步骤S405。

步骤S404：判断(x,y,t)为背景像素点，设置像素点(x,y,t)的掩码mask＝0，更新当前像素点前景计数count＝0，该像素点有

的概率更新自身样本集，该像素点有

的概率更新邻居的样本集。转至步骤S402。

步骤S405：判断(x,y,t)为前景像素点，设置像素点(x,y,t)的掩码mask＝1，更新当前像素点前景计数count＝count+1。

步骤S406：如果连续多帧被判为前景，即像素点前景计数大于前景计数阈值count＞T_fore(T_fore为经验值)，转至步骤S407，否则转至S402。

步骤S407：该像素点有

的概率更新自身样本集，转至步骤S402。

上述步骤中更新自身样本集的方法均为从当前像素点(x,y,t)的邻居像素点中随机选择一个像素点随机替代样本集{p₁,p₂,...,p_z}_(x,y，t-1)中的一个像素点。当计算得到前景掩码后，我们用前景掩码对时空兴趣点STIP_i进行筛选，保留前景掩码区域的时空兴趣点STIP_i，筛选后的时空兴趣点如图7所示。

图6为视频帧前景提取后的效果图和掩码图。

步骤S103：局部事件表示。

计算步骤S102中降噪后的时空兴趣点STIP_i的HOG3D特征d_i，将其作为低级特征描述局部事件。计算局部区域内的梯度和方向并投票到直方图中可获得HOG3D特征，参见图8，具体过程如下：

步骤S801：将时空兴趣点STIP_i的局部区域r_s划分成M×M×N个直方图单元cell_i，一般设置M＝4,N＝4。

步骤S802：将直方图单元cell_i划分成S×S×S个小块block_i，一般设置S＝3。

步骤S803：求取小块block_i的平均梯度

对于给定视频序列v(x,y,t)，它关于x,y,t的偏微分用

表示。那么

的积分视频可以表示为：

关于

和

的积分视频以此类推。设小块block_i的长宽和时间维度大小分别为w,h,l，开始坐标为(x,y,t)，那么block_i关于x方向的平均梯度计算公式为：

关于y和t方向平均梯度公式以此类推。经过本过程的计算，我们可以得到每个小块block_i关于x,y,t方向的平均梯度

步骤S804：将小块block_i的平均梯度

投票到直方图，求取投票向量q_b。设正二十面体每个面的中心向量为p_i＝(x_i,y_i,t_i)^T，中心向量的集合为P＝(p₁,p₂,...,p_n)^T，黄金比例值为

那么p_i分别为

设梯度向量在某个面上的中心向量上的投影大小为q_bi，那么可以根据下式计算：

为了保证每个梯度向量只能投票到直方图中的一个维度中，我们设置一个中心向量到另一个中心的投影为阈值，即

t＝p_i ^T·p_j 公式(7)

投影向量q_b中每一维的值均减去阈值t，若减去之后小于0则设置为0，否则保持不变。将所得到的向量记为q'_b，q'_b中有且只有一个维度的值是大于0的。最后将q'_b归一化乘以梯度向量的大小就可以得到最终的投票向量q_b了，共20维。

步骤S805：将直方图单元cell_i内的小块block_i的投票q_b向量累加得到直方图单元cell_i的向量h_c，向量h_c共20维，计算公式如下：

步骤S806：将多个直方图单元cell_i的向量h_c串联起来，构成时空兴趣点STIP_i的HOG3D特征d_i，描述符的维度为20×M×M×N维。

步骤S104：局部检测模型建立。

经过步骤S103，我们获得了时空兴趣点STIP_i的特征向量d_i。在本阶段，首先对时空兴趣点的特征向量d_i进行K均值聚类，获得训练数据的初级码本C，然后计算局部K近邻距离阈值T₁。具体过程如下：

首先对时空兴趣点向量d_i进行聚类，训练样本Φ中存在N_d个时空兴趣点特征向量d_i，参见图9，聚类过程如下：

步骤S901：随机初始化。将训练样本Φ中所有的特征向量d_i随机划分到N_C个聚类样本子集Φ_m中，N_m为第m个样本子集Φ_m中特征向量的总个数，d_n为样本子集Φ_m中第n个特征向量。训练数据的初级码本C由N_C个初级码本项c_m构成，即

初级码本项c_m是对应的样本子集Φ_m的聚类中心，计算公式如下：

计算当前状态下的准则函数，

其中，||d_n-c_m||²表示向量d_n与初级码本项c_m之间的欧氏距离。

步骤S902：从训练样本Φ中随机选取一个特征向量d_i，假设当前状态下特征向量d_i位于第j个样本子集Φ_j，其中1≤j≤N_C。

步骤S903：判断样本子集Φ_j是否只有一个特征向量，如果样本子集中只存在一个特征向量，即N_j＝1，转到步骤S902，否则继续。

步骤S904：计算特征向量d_i划分到各个样本子集中对准则函数J_e的影响ρ，

N_t为第t个样本子集Φ_t中特征向量的总个数；

初级码本项c_t是对应的第t个样本子集Φ_t的聚类中心；

步骤S905：判断是否需要移动特征向量d_i到其它的样本子集。

遍历所有的样本子集，ρ_k为最小的ρ_t，如果ρ_k＜ρ_j(其中ρ_j通过公式(14)获取)，则把特征向量d_i从样本子集Φ_j移动到ρ_k所对应的样本子集Φ_k中；否则，转至步骤S902。

步骤S906：重新计算所有的初级码本项c_m,m＝1,...,N_C和准则函数J_e；

步骤S907：判断是否连续10次准则函数的变化小于阈值T_J，T_J为经验阈值。如果连续10次迭代J_e的变化小于阈值T_J，则结束本聚类过程，输出码本；否则，转到步骤S902。

所述的准则函数的变化为前后准则函数差的绝对值。

时空兴趣点特征d_i完成K均值聚类后，计算局部K近邻距离阈值T_l，设C_i是与样本向量d_i距离最近的K_l个初级码本项的集合，K_l为经验阈值，c_t是集合C_i中第t个初级码本项，则阈值的计算公式为

步骤S105：判断局部异常事件。

经过步骤S104，我们获取了训练数据的初级码本C和局部K近邻距离阈值T_l。本阶段，我们将使用阈值T_l对测试数据中的局部异常事件进行判断。我们用

表示测试数据中时空兴趣点特征d_i到初级码本C的KNN距离，C_i是与向量d_i距离最近的K_l个初级码本项的集合，c_t是集合C_i中第t个初级码本项，那么

的计算公式如下：

当KNN距离

超过KNN阈值T_l时，特征向量d_i对应的区域发生局部异常事件。

图2为基于低级特征的局部异常检测框架图。

步骤S106：全局事件表示。

参见图10，全局事件表示的具体过程如下：

步骤S1001：时空兴趣点构成集合体。时空兴趣点表示局部事件，对全局事件的表示需要更大范围的采样。在空间上10个像素的采样间隔在空间上滑动3D窗口获得由时空兴趣点构成的集合体。R_k是第k个采样点的时空邻域，

是时空兴趣点STIP_i在时空邻域R_k中的相对位置，

是STIP_i与初级码本C的KNN距离，C_i∈C是STIP_i的K近邻的码本集合，那么集合体的定义如下：

步骤S1002：获得合格的集合体。由于建立集合体的目的是学习事件的交互模式，需要集合体当中包含一定数量的时空兴趣点，因此需要对集合体进行质量筛选来获得合格的集合体。集合体的质量控制函数是与集合体重时空兴趣点覆盖的体积及集合体本身的体积有关的。质量控制函数q(E_k)的计算公式如下：

当一个集合体E_k的质量控制函数q(E_k)大于质量阈值T_q时，E_k为合格的集合体，否则对集合体E_k进行丢弃。根据经验，一般设置T_q＝0.2。

步骤S107：建立全局事件模板。

通过步骤S106，我们获得了大量的全局事件，接下来，我们将通过自底向上的贪婪聚类算法聚类，建立全局事件的模板。贪婪聚类算法的使用需要计算两个集合体之间在语义和结构上的相似性，示例见图11。首先将集合体的区域划分成n_r个3D子区域，然后通过共同出现的概率计算两个集合体的相似度。设集合体E_k和E_l的相似度为sim(E_k,E_l)，集合体E_k的发生位置u_k是一个n_r×1的掩码向量，集合体E₁的发生位置u₁是一个n_r×1的掩码向量，表示相应的3D子区域内是否存在时空兴趣点；共生矩阵Q_k,l是一个n_r×n_r的二值对角矩阵，对角线上的第i个数据表示集合体E_k和E_l的第i个3D子区域是否存在匹配的码本，那么相似性的计算公式如下：

参见图12，贪婪聚类算法的具体过程如下：

步骤S1201：初始化高级码本，取一个合格的集合体E₁，设置高级码本ε₁＝E_j，高级码本集ε＝{ε₁}，高级码本数量k＝1；

步骤S1202：任取一个未处理的合格的集合体E_j；

步骤S1203：计算与集合体E_j最高的相似度值s以及相似度最高的模板i^*，计算公式如下：

s＝max_i sim(E_j,ε_i) 公式(20)

i^*＝arg max_i sim(E_j,ε_i) 公式(21)

步骤S1204：阈值判断。如果相似度值s大于相似度阈值T_s，说明该集合体与某个码本很相似，转至步骤S1205，否则转至步骤S1206。相似度阈值T_s为经验值。

步骤S1205：更新码本。如果码本的质量函数

小于等于质量阈值T_q，则对码本

进行更新，更新公式

否则转至步骤S1207；

步骤S1206：增加码本项。将E_j作为新的码本加入到高级码本ε,高级码本数量k＝k+1，转至步骤S1207。

步骤S1207：如果还有未处理的集合体E_j，转至步骤S1202，否则算法结束。

步骤S108：构建全局检测模型。

参见图13，构建全局检测模型的具体过程如下：

步骤S1301：计算高级码本ε_k的最小二乘准则函数。

假设有已知的R+1组数据，(x_1,0,x_2,0,...,x_m,0,y₀)，(x_1,1,x_2,1,...，x_m，1，y₁)，……，(x_1,R,x_2,R，...,x_m,R,y_R)，其中第j组数据为(x_1,j,x_2，j，...,x_m,j,y_j)。m元n次多项式的通式公式如下：

其中，

j₁＝n；

j₂＝n-i₁；

j₃＝n-i₁-i₂；

...

j_m＝n-i₁-i₂-...-i_m-1；

将多项式的系数

依次编号为a₀,a₁,···,a_q-1，其中q为多项式的总项数，则

当m元n次多项式的每一项都为1时，该多项式的值就是多项式的总项数q，经过计算对于m元n次多项式总项数为

那么，我们最小二乘的准则函数是

每一高级码本ε_k都存在一组

数据，假设

服从三元二次多项式，将

作为输入数据代入上式，得到关于高级码本ε_k的最小二乘准则函数。

步骤S1302：求解全局检测模型的参数，即高级码本ε_k的参数。

当最小二乘准则函数取得最小值的时候，在x₁,x₂,···,x_R的处值y与在该处的函数值差值的平方和最小，即该多项式函数得到了最佳拟合，接下来的任务就是如何求取多项式的参数。设m元n次多项式每一项变量的积用w_i表示，每一项系数仍用a_i表示，则拟合的多项式

根据最小二乘原理，可以获得线性方程组如下：

对此线性方程组进行求解，就可得m元n次多项式的系数a₀,a₁,...,a_q- ¹。同理对高级码本ε_k准则函数进行计算，得到高级码本ε_k关于最小二乘准则函数的参数集合θ_i＝{a₀，a₁,...,a₉}。对于每个测试数据

都会得到一个关于高级码本ε_i的KNN距离

的估计值P(v_i)，设v_i＝[v_i,1，v_i,2,v_i,3]^T，那么

步骤S109：判断全局异常事件。

本阶段将根据测试的集合体判断全局异常事件，参见图14，具体过程如下：

步骤S1401：寻找与该测试集合体最匹配的模板。对于测试的集合

计算与E_k模型匹配度最高的高级码本，设集合体E_k中包含了n_k个时空兴趣点，P_g(v_i)为v_i在第g个高级码本下的估计值，那么集合体E_k与高级码本ε_i的匹配度计算公式如下：

与集合体匹配度最高的码本计算公式为

g^*＝arg_g min G_g(E_k) 公式(31)

步骤S1402：最小二乘距离与阈值比较判断全局异常事件。为了更精确的定位异常事件，对测试集合体E_k中的时空兴趣点

计算与第g^*个高级码本的最小二乘距离，公式如下：

当

大于全局阈值T_g时，该时空兴趣点STIP_i所在位置判断为全局异常事件。T_g为经验阈值。

图3为基于高级特征的全局异常检测框架图；

图15为本发明局部异常事件检测结果图；

图16为本发明全局异常事件检测结果图。

Claims (9)

1.基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于该方法包括以下步骤：

步骤S101、图像预处理：

读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理；

步骤S102、时空兴趣点降噪：

对降噪后的视频提取时空兴趣点并利用ViBe算法计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪；

步骤S103、局部事件表示：

计算关于降噪后的时空兴趣点HOG3D特征，用HOG3D特征作为低级特征表示局部事件；

步骤S104、局部检测模型构建：

对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值；

步骤S105、局部异常事件判断：

计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件；

步骤S106、全局事件表示：

通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体作为高级特征表示全局事件；

步骤S107、建立全局事件模板：

通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板；

步骤S108、全局检测模型构建：

利用最小二乘模型对每个全局事件的模板建模；

步骤S109、全局异常事件判断：

寻找与测试集合体最匹配的模型，计算集合体中每个时空兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。

2.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S102具体是：

(1)时空兴趣点的计算

对图像的每个像素点计算响应值函数，时空兴趣点STIP_i就是响应值函数的局部极大值对应的像素点；其中时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器；用I表示当前的视频帧，用g表示高斯内核，用h_ev和h_σd表示一维伽柏正交对，则响应值函数如下：

Y＝(I×g×h_ev)²+(I×g×h_σd) 公式(1)

(2)降噪后的时空兴趣点

用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，每个位于(x,y,t)的像素点是否为前景的具体过程如下：

步骤S401、当t＝1时，初始化像素点(x,y,t)的模型；从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p₁,p₂,...,p_z}_(x,y,t)，该样本集可构成该像素点的灰度值模型；

步骤S402、t＝t+1，读取下一帧的新像素点，转至步骤S403，如果没有新的像素点，结束；

步骤S403、阈值判断：将{p₁,p₂,...,p_z}_(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体S_R(p(x,y,t))范围内的灰度值进行对比；灰度值p(x,y,t)周围球体S_R(p(x,y,t))与灰度值样本集{p₁,p₂,...,p_z}_(x,y,t-1)交集的势用符号#{S_R(p(x,y,t)∩{p₁,p₂,...,p_z}_(x,y,t-1)}表示，最小阈值用#min表示，如果#{S_R(p_t(x)∩{p₁,p₂,...,p_z})}＞#min，转至步骤S404；否则，转至步骤S405；

步骤S404、判断(x,y,t)为背景像素点，设置像素点(x,y,t)的掩码 mask＝0，更新当前像素点前景计数count＝0，该像素点有

的概率更新自身样本集，该像素点有

的概率更新邻居的样本集；转至步骤S402；

步骤S405、判断(x,y,t)为前景像素点，设置像素点(x,y,t)的掩码mask＝1，更新当前像素点前景计数count＝count+1；

步骤S406、如果连续多帧被判为前景，即像素点前景计数大于前景计数阈值count＞T_fore，T_fore为经验值，转至步骤S407，否则转至S402；

步骤S407、该像素点有

的概率更新自身样本集，转至步骤S402。

3.如权利要求2所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S103具体是：

步骤S801、将时空兴趣点STIP_i的局部区域r_s划分成M×M×N个直方图单元cell_i；

步骤S802、将直方图单元cell_i划分成S×S×S个小块block_i；

步骤S803、求取小块block_i的平均梯度

对于给定视频序列v(x,y,t)，关于x,y,t的偏微分用

表示；那么

的积分视频表示为：

关于

和

的积分视频以此类推；

设小块block_i的长宽和时间维度大小分别为w,h,l，开始坐标为(x,y,t)，那么block_i关于x方向的平均梯度计算公式为：

关于y和t方向平均梯度公式以此类推，最终得到每个小块block_i关于x,y,t方向的平均梯度：

步骤S804、将小块block_i的平均梯度

投票到直方图，求取投票向量q_b；设正二十面体每个面的中心向量为p_i＝(x_i,y_i,t_i)^T，中心向量的集合为P＝(p₁,p₂,...,p_n)^T，黄金比例值为

那么p_i分别为

设梯度向量在某个面上的中心向量上的投影大小为q_bi，那么根据下式计算：

为了保证每个梯度向量只能投票到直方图中的一个维度中，设置一个中心向量到另一个中心的投影为阈值，即

t＝p_i ^T·p_j 公式(7)

投影向量q_b中每一维的值均减去阈值t，若减去之后小于0则设置为0，否则保持不变；将所得到的向量记为q’_b，q’_b中有且只有一个维度的值是大于0的；最后将q’_b归一化乘以梯度向量的大小得到最终的投票向量q_b了，共20维；

步骤S805、将直方图单元cell_i内的小块block_i的投票q_b向量累加得到直方图单元cell_i的向量h_c，向量h_c共20维，计算公式如下：

步骤S806、将多个直方图单元cell_i的向量h_c串联起来，构成时空兴趣点STIP_i的HOG3D特征d_i，描述符的维度为20×M×M×N维；

。

4.如权利要求3所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S104具体是首先对时空兴趣点向量d_i进行聚类，训练样本Φ中存在N_d个时空兴趣点特征向量d_i，聚类过程如下：

步骤S901、随机初始化：

将训练样本Φ中所有的特征向量d_i随机划分到N_C个聚类样本子集Φ_m中，N_m为第m个样本子集Φ_m中特征向量的总个数，d_n为样本子集Φ_m中第n个特征向量；训练数据的初级码本C由N_C个初级码本项c_m构成，即

初级码本项c_m是对应的样本子集Φ_m的聚类中心，计算公式如下：

计算当前状态下的准则函数：

其中，||d_n-c_m||²表示向量d_n与初级码本项c_m之间的欧氏距离；

步骤S902、从训练样本Φ中随机选取一个特征向量d_i，假设当前状态下特征向量d_i位于第j个样本子集Φ_j，其中1≤j≤N_C；

步骤S903、判断样本子集Φ_j是否只有一个特征向量，如果样本子集中只存在一个特征向量，即N_j＝1，转到步骤S902，否则继续；

步骤S904、计算特征向量d_i划分到各个样本子集中对准则函数J_e的影响ρ：

其中N_t为第t个样本子集Φ_t中特征向量的总个数；初级码本项c_t是对应的第t个样本子集Φ_t的聚类中心；

步骤S905：判断是否需要移动特征向量d_i到其它的样本子集；

遍历所有的样本子集，ρ_k为最小的ρ_t，如果ρ_k＜ρ_j，则把特征向量d_i从样本子集Φ_j移动到ρ_k所对应的样本子集Φ_k中；否则，转至步骤S902；

步骤S906：重新计算所有的初级码本项c_m,m＝1,...,N_C和准则函数J_e；

步骤S907：判断是否连续10次准则函数的变化小于阈值T_J，T_J为经验阈值；如果连续10次迭代J_e的变化小于阈值T_J，则结束本聚类过程，输出训练数据的初级码本C；否则，转到步骤S902；

时空兴趣点特征d_i完成K均值聚类后，计算局部K近邻距离阈值T_l，设C_i是与样本向量d_i距离最近的K_l个初级码本项的集合，K_l为经验阈值，c_t是集合C_i中第t个初级码本项，则阈值的计算公式为

5.如权利要求4所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S105具体是判断KNN距离

是否超过局部K近邻距离阈值T_l，如果是，则认为特征向量d_i对应的区域发生局部异常事件；

其中

表示测试数据中时空兴趣点特征d_i到初级码本C的KNN距离，C_i是与向量d_i距离最近的K_l个初级码本项的集合，c_t是集合C_i中第t个初级码本项。

6.如权利要求5所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S106包括以下步骤：

步骤S1001、时空兴趣点构成集合体：

时空兴趣点表示局部事件，对全局事件的表示需要更大范围的采样；在空间上10个像素的采样间隔在空间上滑动3D窗口获得由时空兴趣点构成的集合体；R_k是第k个采样点的时空邻域，

是时空兴趣点STIP_i在时空邻域R_k中的相对位置，

是STIP_i与初级码本C的KNN距离，C_i∈C是 STIP_i的K近邻的码本集合，那么集合体的定义如下：

步骤S1002、获得合格的集合体：

由于建立集合体的目的是学习事件的交互模式，需要集合体当中包含一定数量的时空兴趣点，因此需要对集合体进行质量筛选来获得合格的集合体；集合体的质量控制函数是与集合体时空兴趣点覆盖的体积及集合体本身的体积有关的；质量控制函数q(E_k)的计算公式如下：

当一个集合体E_k的质量控制函数q(E_k)大于质量阈值T_q时，E_k为合格的集合体，否则对集合体E_k进行丢弃。

7.如权利要求6所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S107具体包括以下步骤：

步骤S1201、初始化高级码本：

取一个合格的集合体E₁，设置高级码本ε₁＝E_j，高级码本集ε＝{ε₁}，高级码本数量k＝1；

步骤S1202、任取一个未处理的合格的集合体E_j；

步骤S1203、计算与集合体E_j最高的相似度值s以及相似度最高的模板i^*，计算公式如下：

s＝max_i sim(E_j,ε_i) 公式(19)

i^*＝arg max_i sim(E_j,ε_i) 公式(20)

集合体E_k和E_l的相似度

其中由于集合体的区域划分成n_r个3D子区域，集合体E_k的发生位置u_k是一个n_r×1的掩码向量，集合体E_l的发生位置u₁是一个n_r×1的掩码向量，表示相应的3D子区域内是否存在时空兴趣点；共生矩阵Q_k,l是一个n_r×n_r的二值对角矩阵；

步骤S1204、阈值判断：

如果相似度值s大于相似度阈值T_s，说明该集合体与某个码本很相似，转至步骤S1205，否则转至步骤S1206；相似度阈值T_s为经验值；

步骤S1205、更新码本：

如果码本的质量函数

小于等于质量阈值T_q，则对码本

进行更新，更新公式

否则转至步骤S1207；

步骤S1206、增加码本项：

将E_j作为新的码本加入到高级码本ε,高级码本数量k＝k+1，转至步骤S1207；

步骤S1207、如果还有未处理的集合体E_j，转至步骤S1202，否则结束。

8.如权利要求7所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S108具体包括以下步骤：

步骤S1301、计算高级码本ε_k的最小二乘准则函数：

假设有已知的R+1组数据，(x_1,0,x_2,0,...,x_m,0,y₀)，(x_1,1,x_2,1,...,x_m,1,y₁)，……，(x_1,R,x_2,R,...,x_m,R,y_R)，其中第j组数据为(x_1,j,x_2,j,...,x_m,j,y_j)；m元n次多项式的通式公式如下：

其中，

j₁＝n；

j₂＝n-i₁；

j₃＝n-i₁-i₂；

...

j_m＝n-i₁-i₂-...-i_m-1；

将多项式的系数

依次编号为a₀,a₁,···,a_q-1，其中q为多项式的总项数， 则

k＝1，2，3，…，q公式(23)

当m元n次多项式的每一项都为1时，该多项式的值就是多项式的总项数q，经过计算对于m元n次多项式总项数为

那么最小二乘的准则函数是

每一高级码本ε_k都存在一组

数据，假设

服从三元二次多项式，将

作为输入数据代入上式，得到关于高级码本ε_k的最小二乘准则函数；

步骤S1302、求解全局检测模型的参数，即高级码本ε_k的参数：

设m元n次多项式每一项变量的积用w_i表示，每一项系数仍用a_i表示，则拟合的多项式

根据最小二乘原理，获得线性方程组如下：

对此线性方程组进行求解，得m元n次多项式的系数a₀,a₁,...,a_q-1；同理对高级码本ε_k准则函数进行计算，得到高级码本ε_k关于最小二乘准则函数的参数集合θ_i＝{a₀,a₁,...,a₉}；对于每个测试数据

都会得到一个关于高级码本ε_i的KNN距离

的估计值P(v_i)，设v_i＝[v_i,1,v_i,2,v_i,3]^T，那么

9.如权利要求8所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S109具体包括以下步骤：

步骤S1401、寻找与该测试集合体最匹配的模板：

对于测试的集合

计算与E_k模型匹配度最高的高级码本，设集合体E_k中包含了n_k个时空兴趣点，P_g(v_i)为v_i在第g个高级码本下的估计值，那么集合体E_k与高级码本ε_i的匹配度计算公式如下：

与集合体匹配度最高的码本计算公式为

g^*＝arg_g min G_g(E_k) 公式(31)

步骤S1402、最小二乘距离与阈值比较判断全局异常事件：

为了更精确的定位异常事件，对测试集合体E_k中的时空兴趣点

计算与第g^*个高级码本的最小二乘距离，公式如下：

当

大于全局阈值T_g时，该时空兴趣点STIP_i所在位置判断为全局异常事件。

Images