CN107590427A - 基于时空兴趣点降噪的监控视频异常事件检测方法 - Google Patents
基于时空兴趣点降噪的监控视频异常事件检测方法 Download PDFInfo
- Publication number
- CN107590427A CN107590427A CN201710378085.0A CN201710378085A CN107590427A CN 107590427 A CN107590427 A CN 107590427A CN 201710378085 A CN201710378085 A CN 201710378085A CN 107590427 A CN107590427 A CN 107590427A
- Authority
- CN
- China
- Prior art keywords
- space
- codebook
- aggregate
- vector
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000009467 reduction Effects 0.000 title claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012216 screening Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 101100049727 Arabidopsis thaliana WOX9 gene Proteins 0.000 claims description 5
- 101150059016 TFIP11 gene Proteins 0.000 claims description 5
- 102100032856 Tuftelin-interacting protein 11 Human genes 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000003908 quality control method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及了基于时空兴趣点降噪的监控视频异常事件检测方法。本发明采用了分层特征表示的方法，用时空兴趣点作为低级特征表示局部事件，通过C均值聚类学习低级码本，通过K近邻距离与阈值的比较判断局部异常事件；用多个时空兴趣点构成的集合体作为高级特征来表示全局事件，利用贪婪聚类算法学习高级码本并对每个码本进行最小二乘法建模，通过集合体与模板的最小二乘距离判断全局异常事件。本发明不仅在局部事件的表示阶段通过前景掩码对时空兴趣点的筛选严格限制了异常的分析区域，而且在建立全局事件检测模型的时候使用最小二乘法，在保证基本准确率的前提下，降低了检测的时间复杂度和计算复杂度。
Description
技术领域
本发明涉及一种监控视频异常事件检测方法，特别涉及一个基于时空兴趣点降噪的监控视频异常事件检测方法。
背景技术
随着计算机科学技术的发展，利用图像处理、计算机视觉、机器学习等技术可以突破传统视频监控系统的局限性，实现对视频监控系统的视频智能分析和异常事件的主动检测、实时预警，对于公共安全领域的视频监控应用有重要价值。
监控视频中异常事件检测方法主要分为四个基本步骤：图像预处理、基本事件表示、构建异常检测模型和判断异常事件。其中基本事件表示主要分为基于低级视觉特征的事件表示和基于高级语义特征的事件表示。基于低级视觉特征进行事件表示的做法一般是从用重叠、非重叠或者时空兴趣点的方式将视频体分割成小的视频块，把视频块看作基本的事件，从视频块中提取低级视觉特征对基本事件进行表示。目前，使用较多的低级视觉特征有光流、梯度、纹理等。基于高级语义特征的事件表示主要是需要对数据进行复杂的模式处理，如目标时空轨迹、社会力等方法。常见的异常事件检测模型主要有：基于分类的异常事件检测模型、基于最近邻的异常事件检测模型、基于聚类的异常事件检测模型、基于统计的异常事件检测模型、基于信息理论的异常事件检测模型等。
虽然监控视频下异常事件检测方法多种多样，但是多数的异常事件检测方法缺乏对全局异常的考虑，不能对多个事件的交互方式是否正常作出判断。文献《Video anomalydetection and localization using hierarchical feature representation andGaussian process regression》【KW Cheng、IEEE Transactions on Image Processing】提出了检测局部和全局异常事件的检测方法，弥补了该方面的不足。该算法利用时空兴趣点作为低级特征表示局部事件，通过K均值聚类学习低级码本，通过KNN距离与阈值的比较判断局部异常事件；利用多个时空兴趣点构成的集合体作为高级特征表示全局事件，通过贪婪聚类算法学习高级码本并对码本中的每一项进行GPR建模，通过集合体与GPR模板的匹配程度判断全局异常事件。
上述算法在检测异常事件上表现良好，但仍存在着以下问题：第一，时空兴趣点计算方法易受到动态背景噪声干扰。算法中时空兴趣点能筛选出视频中的动态区域，但是无法区分动态背景和运动前景，对于存在光照变化或者相机抖动的视频，时空兴趣点的方法会将动态背景划入异常分析范围，造成时间和空间的浪费；第二，该算法使用GPR模型对全局事件进行建模，计算复杂度高，检测过程耗时多，其中80％的处理时间消耗在GPR模型的计算上，导致检测模型计算时间性能较差。
发明内容
针对上述问题，本发明公开了一种基于时空兴趣点降噪的监控视频异常事件检测方法。该方法利用前景掩码方法实现时空兴趣点筛选，对时空兴趣点进行降噪处理，并采用最小二乘法对全局事件进行建模。与已有方法相比，该算法既保证了异常事件检测准确率，同时提升了检测速度。
本发明解决其技术问题采用的技术方案步骤如下：
基于时空兴趣点降噪的监控视频异常事件检测方法，采用以下步骤实现：
步骤S101：图像预处理。读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理。
步骤S102：时空兴趣点降噪。对降噪后的视频提取时空兴趣点并利用ViBe算法(Visual Background Extractor)计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪。
步骤S103：局部事件表示。计算关于降噪后的时空兴趣点HOG3D特征作为低级特征表示局部事件。
步骤S104：局部检测模型构建。对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值。
步骤S105：局部异常事件判断。计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件。
步骤S106：全局事件表示。通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体表示全局事件。
步骤S107：建立全局事件模板。通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板。
步骤S108：全局检测模型构建。利用最小二乘模型对每个全局事件的模板建模。
步骤S109：全局异常事件判断。寻找与测试集合体最匹配的模型，计算集合体中每个兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。
本发明的有益效果：
1.本发明在时空兴趣点降噪阶段，使用了前景掩码对时空兴趣点筛选的降噪方法，对于存在光照变化或者相机抖动的视频有很好的降噪效果。本发明增加了对时空兴趣点的降噪处理，将异常的分析区域严格限制在最小的范围，降低了时间和空间的消耗。
2.本发明在构建全局检测模型阶段，使用最小二乘法来对全局事件的模板建模，在保证较好的检测效果的同时大大提升了检测速度。本发明改进了原有的高斯过程回归建立全局检测模型的方法，减少了检测过程中的时间消耗。
附图说明
图1为本发明进行监控视频下的异常事件检测的流程图；
图2为基于低级特征的局部异常检测框架图；
图3为基于高级特征的全局异常检测框架图；
图4为ViBe算法前景掩码计算流程图；
图5为视频帧时空兴趣点的效果图和掩码图；
图6为视频帧前景提取后的效果图和掩码图；
图7为视频帧通过前景掩码过滤时空兴趣点的效果图和掩码图；
图8为HOG3D特征计算过程示意图；
图9为时空兴趣点特征K均值聚类算法流程图；
图10为全局事件表示过程图；
图11为集合体相似度计算示意图；
图12为集合体贪婪聚类算法流程图；
图13为构建全局检测模型流程图；
图14为全局异常事件判断流程图；
图15为本发明局部异常事件检测结果图；
图16为本发明全局异常事件检测结果图。
具体实施方式
下面结合附图，对本发明的具体实施方案作进一步详细描述。参见图
1，其具体步骤描述如下：
步骤S101：图像预处理。
对输入的视频帧进行灰度化并使用高斯滤波进行降噪处理。高斯滤波降噪处理的具体操作如下：用一个3×3的高斯卷积扫描视频帧中的每一个像素，用该卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值。
步骤S102：时空兴趣点降噪。
本发明中利用前景掩码对时空兴趣点筛选的方法对时空兴趣点进行降噪，该过程包含了两个子过程：
(1)时空兴趣点的计算
时空兴趣点STIPi的计算方法是对图像的每个像素点计算响应值函数R，时空兴趣点STIPi就是响应值函数R的局部极大值对应的像素点，其结果如图5所示。本发明中的时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器。用I表示当前的视频帧，用g表示高斯内核，用hev和hσd表示一维伽柏正交对，则函数响应函数如下：
R＝(I×g×hev)2+(I×g×hσd) 公式(1)
(2)降噪后的时空兴趣点
本发明使用前景掩码对时空兴趣点STIPi进行筛选来降低噪声。首先我们用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，参见图4，每个位于(x,y,t)的像素点是否为前景的具体过程如下：
步骤S401：当t＝1时，初始化像素点(x,y,t)的模型。从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p1,p2,...，pz}(x,y,t)，该样本集可构成该像素点的灰度值模型，其中一般设置为z＝20。
步骤S402：t＝t+1，读取下一帧的新像素点，转至步骤S403，如果没有新的像素点，算法结束。
步骤S403：阈值判断。将{p1,p2,...,pz}(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体SR(p(x,y,t))范围内的灰度值进行对比。灰度值p(x,y,t)周围球体SR(p(x,y,t))与灰度值样本集{p1,p2,...,pz}(x,y,t-1)交集的势用符号#{SR(p(x,y,t)∩{p1,p2,...,pz}(x,y,t-1)}表示，最小阈值用#min表示(#min为经验值)，如果#{SR(pt(x)∩{p1,p2,...,pz})}＞#min，转至步骤S404；否则，转至步骤S405。
步骤S404：判断(x,y,t)为背景像素点，设置像素点(x,y,t)的掩码mask＝0，更新当前像素点前景计数count＝0，该像素点有的概率更新自身样本集，该像素点有的概率更新邻居的样本集。转至步骤S402。
步骤S405：判断(x,y,t)为前景像素点，设置像素点(x,y,t)的掩码mask＝1，更新当前像素点前景计数count＝count+1。
步骤S406：如果连续多帧被判为前景，即像素点前景计数大于前景计数阈值count＞Tfore(Tfore为经验值)，转至步骤S407，否则转至S402。
步骤S407：该像素点有的概率更新自身样本集，转至步骤S402。
上述步骤中更新自身样本集的方法均为从当前像素点(x,y,t)的邻居像素点中随机选择一个像素点随机替代样本集{p1,p2,...,pz}(x,y，t-1)中的一个像素点。当计算得到前景掩码后，我们用前景掩码对时空兴趣点STIPi进行筛选，保留前景掩码区域的时空兴趣点STIPi，筛选后的时空兴趣点如图7所示。
图6为视频帧前景提取后的效果图和掩码图。
步骤S103：局部事件表示。
计算步骤S102中降噪后的时空兴趣点STIPi的HOG3D特征di，将其作为低级特征描述局部事件。计算局部区域内的梯度和方向并投票到直方图中可获得HOG3D特征，参见图8，具体过程如下：
步骤S801：将时空兴趣点STIPi的局部区域rs划分成M×M×N个直方图单元celli，一般设置M＝4,N＝4。
步骤S802：将直方图单元celli划分成S×S×S个小块blocki，一般设置S＝3。
步骤S803：求取小块blocki的平均梯度对于给定视频序列v(x,y,t)，它关于x,y,t的偏微分用表示。那么的积分视频可以表示为：
关于和的积分视频以此类推。设小块blocki的长宽和时间维度大小分别为w,h,l，开始坐标为(x,y,t)，那么blocki关于x方向的平均梯度计算公式为：
关于y和t方向平均梯度公式以此类推。经过本过程的计算，我们可以得到每个小块blocki关于x,y,t方向的平均梯度
步骤S804：将小块blocki的平均梯度投票到直方图，求取投票向量qb。设正二十面体每个面的中心向量为pi＝(xi,yi,ti)T，中心向量的集合为P＝(p1,p2,...,pn)T，黄金比例值为那么pi分别为
设梯度向量在某个面上的中心向量上的投影大小为qbi，那么可以根据下式计算：
为了保证每个梯度向量只能投票到直方图中的一个维度中，我们设置一个中心向量到另一个中心的投影为阈值，即
t＝pi T·pj 公式(7)
投影向量qb中每一维的值均减去阈值t，若减去之后小于0则设置为0，否则保持不变。将所得到的向量记为q'b，q'b中有且只有一个维度的值是大于0的。最后将q'b归一化乘以梯度向量的大小就可以得到最终的投票向量qb了，共20维。
步骤S805：将直方图单元celli内的小块blocki的投票qb向量累加得到直方图单元celli的向量hc，向量hc共20维，计算公式如下：
步骤S806：将多个直方图单元celli的向量hc串联起来，构成时空兴趣点STIPi的HOG3D特征di，描述符的维度为20×M×M×N维。
步骤S104：局部检测模型建立。
经过步骤S103，我们获得了时空兴趣点STIPi的特征向量di。在本阶段，首先对时空兴趣点的特征向量di进行K均值聚类，获得训练数据的初级码本C，然后计算局部K近邻距离阈值T1。具体过程如下：
首先对时空兴趣点向量di进行聚类，训练样本Φ中存在Nd个时空兴趣点特征向量di，参见图9，聚类过程如下：
步骤S901：随机初始化。将训练样本Φ中所有的特征向量di随机划分到NC个聚类样本子集Φm中，Nm为第m个样本子集Φm中特征向量的总个数，dn为样本子集Φm中第n个特征向量。训练数据的初级码本C由NC个初级码本项cm构成，即初级码本项cm是对应的样本子集Φm的聚类中心，计算公式如下：
计算当前状态下的准则函数，
其中，||dn-cm||2表示向量dn与初级码本项cm之间的欧氏距离。
步骤S902：从训练样本Φ中随机选取一个特征向量di，假设当前状态下特征向量di位于第j个样本子集Φj，其中1≤j≤NC。
步骤S903：判断样本子集Φj是否只有一个特征向量，如果样本子集中只存在一个特征向量，即Nj＝1，转到步骤S902，否则继续。
步骤S904：计算特征向量di划分到各个样本子集中对准则函数Je的影响ρ，
Nt为第t个样本子集Φt中特征向量的总个数；
初级码本项ct是对应的第t个样本子集Φt的聚类中心；
步骤S905：判断是否需要移动特征向量di到其它的样本子集。
遍历所有的样本子集，ρk为最小的ρt，如果ρk＜ρj(其中ρj通过公式(14)获取)，则把特征向量di从样本子集Φj移动到ρk所对应的样本子集Φk中；否则，转至步骤S902。
步骤S906：重新计算所有的初级码本项cm,m＝1,...,NC和准则函数Je；
步骤S907：判断是否连续10次准则函数的变化小于阈值TJ，TJ为经验阈值。如果连续10次迭代Je的变化小于阈值TJ，则结束本聚类过程，输出码本；否则，转到步骤S902。
所述的准则函数的变化为前后准则函数差的绝对值。
时空兴趣点特征di完成K均值聚类后，计算局部K近邻距离阈值Tl，设Ci是与样本向量di距离最近的Kl个初级码本项的集合，Kl为经验阈值，ct是集合Ci中第t个初级码本项，则阈值的计算公式为
步骤S105：判断局部异常事件。
经过步骤S104，我们获取了训练数据的初级码本C和局部K近邻距离阈值Tl。本阶段，我们将使用阈值Tl对测试数据中的局部异常事件进行判断。我们用表示测试数据中时空兴趣点特征di到初级码本C的KNN距离，Ci是与向量di距离最近的Kl个初级码本项的集合，ct是集合Ci中第t个初级码本项，那么的计算公式如下：
当KNN距离超过KNN阈值Tl时，特征向量di对应的区域发生局部异常事件。
图2为基于低级特征的局部异常检测框架图。
步骤S106：全局事件表示。
参见图10，全局事件表示的具体过程如下：
步骤S1001：时空兴趣点构成集合体。时空兴趣点表示局部事件，对全局事件的表示需要更大范围的采样。在空间上10个像素的采样间隔在空间上滑动3D窗口获得由时空兴趣点构成的集合体。Rk是第k个采样点的时空邻域，是时空兴趣点STIPi在时空邻域Rk中的相对位置，是STIPi与初级码本C的KNN距离，Ci∈C是STIPi的K近邻的码本集合，那么集合体的定义如下：
步骤S1002：获得合格的集合体。由于建立集合体的目的是学习事件的交互模式，需要集合体当中包含一定数量的时空兴趣点，因此需要对集合体进行质量筛选来获得合格的集合体。集合体的质量控制函数是与集合体重时空兴趣点覆盖的体积及集合体本身的体积有关的。质量控制函数q(Ek)的计算公式如下：
当一个集合体Ek的质量控制函数q(Ek)大于质量阈值Tq时，Ek为合格的集合体，否则对集合体Ek进行丢弃。根据经验，一般设置Tq＝0.2。
步骤S107：建立全局事件模板。
通过步骤S106，我们获得了大量的全局事件，接下来，我们将通过自底向上的贪婪聚类算法聚类，建立全局事件的模板。贪婪聚类算法的使用需要计算两个集合体之间在语义和结构上的相似性，示例见图11。首先将集合体的区域划分成nr个3D子区域，然后通过共同出现的概率计算两个集合体的相似度。设集合体Ek和El的相似度为sim(Ek,El)，集合体Ek的发生位置uk是一个nr×1的掩码向量，集合体E1的发生位置u1是一个nr×1的掩码向量，表示相应的3D子区域内是否存在时空兴趣点；共生矩阵Qk,l是一个nr×nr的二值对角矩阵，对角线上的第i个数据表示集合体Ek和El的第i个3D子区域是否存在匹配的码本，那么相似性的计算公式如下：
参见图12，贪婪聚类算法的具体过程如下：
步骤S1201：初始化高级码本，取一个合格的集合体E1，设置高级码本ε1＝Ej，高级码本集ε＝{ε1}，高级码本数量k＝1；
步骤S1202：任取一个未处理的合格的集合体Ej；
步骤S1203：计算与集合体Ej最高的相似度值s以及相似度最高的模板i*，计算公式如下：
s＝maxi sim(Ej,εi) 公式(20)
i*＝arg maxi sim(Ej,εi) 公式(21)
步骤S1204：阈值判断。如果相似度值s大于相似度阈值Ts，说明该集合体与某个码本很相似，转至步骤S1205，否则转至步骤S1206。相似度阈值Ts为经验值。
步骤S1205：更新码本。如果码本的质量函数小于等于质量阈值Tq，则对码本进行更新，更新公式否则转至步骤S1207；
步骤S1206：增加码本项。将Ej作为新的码本加入到高级码本ε,高级码本数量k＝k+1，转至步骤S1207。
步骤S1207：如果还有未处理的集合体Ej，转至步骤S1202，否则算法结束。
步骤S108：构建全局检测模型。
参见图13，构建全局检测模型的具体过程如下：
步骤S1301：计算高级码本εk的最小二乘准则函数。
假设有已知的R+1组数据，(x1,0,x2,0,...,xm,0,y0)，(x1,1,x2,1,...，xm，1，y1)，……，(x1,R,x2,R，...,xm,R,yR)，其中第j组数据为(x1,j,x2，j，...,xm,j,yj)。m元n次多项式的通式公式如下：
其中，
j1＝n；
j2＝n-i1；
j3＝n-i1-i2；
...
jm＝n-i1-i2-...-im-1；
将多项式的系数依次编号为a0,a1,···,aq-1，其中q为多项式的总项数，则
当m元n次多项式的每一项都为1时，该多项式的值就是多项式的总项数q，经过计算对于m元n次多项式总项数为
那么，我们最小二乘的准则函数是
每一高级码本εk都存在一组数据，假设服从三元二次多项式，将作为输入数据代入上式，得到关于高级码本εk的最小二乘准则函数。
步骤S1302：求解全局检测模型的参数，即高级码本εk的参数。
当最小二乘准则函数取得最小值的时候，在x1,x2,···,xR的处值y与在该处的函数值差值的平方和最小，即该多项式函数得到了最佳拟合，接下来的任务就是如何求取多项式的参数。设m元n次多项式每一项变量的积用wi表示，每一项系数仍用ai表示，则拟合的多项式
根据最小二乘原理，可以获得线性方程组如下：
对此线性方程组进行求解，就可得m元n次多项式的系数a0,a1,...,aq- 1。同理对高级码本εk准则函数进行计算，得到高级码本εk关于最小二乘准则函数的参数集合θi＝{a0，a1,...,a9}。对于每个测试数据都会得到一个关于高级码本εi的KNN距离的估计值P(vi)，设vi＝[vi,1，vi,2,vi,3]T，那么
步骤S109：判断全局异常事件。
本阶段将根据测试的集合体判断全局异常事件，参见图14，具体过程如下：
步骤S1401：寻找与该测试集合体最匹配的模板。对于测试的集合计算与Ek模型匹配度最高的高级码本，设集合体Ek中包含了nk个时空兴趣点，Pg(vi)为vi在第g个高级码本下的估计值，那么集合体Ek与高级码本εi的匹配度计算公式如下：
与集合体匹配度最高的码本计算公式为
g*＝argg min Gg(Ek) 公式(31)
步骤S1402：最小二乘距离与阈值比较判断全局异常事件。为了更精确的定位异常事件，对测试集合体Ek中的时空兴趣点计算与第g*个高级码本的最小二乘距离，公式如下：
当大于全局阈值Tg时，该时空兴趣点STIPi所在位置判断为全局异常事件。Tg为经验阈值。
图3为基于高级特征的全局异常检测框架图；
图15为本发明局部异常事件检测结果图；
图16为本发明全局异常事件检测结果图。
Claims (9)
1.基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于该方法包括以下步骤：
步骤S101、图像预处理：
读取监控视频流作为输入，进行灰度化并使用高斯滤波进行降噪处理；
步骤S102、时空兴趣点降噪：
对降噪后的视频提取时空兴趣点并利用ViBe算法计算前景掩码，用前景掩码对时空兴趣点过滤进行一步降噪；
步骤S103、局部事件表示：
计算关于降噪后的时空兴趣点HOG3D特征，用HOG3D特征作为低级特征表示局部事件；
步骤S104、局部检测模型构建：
对时空兴趣点的特征向量进行K均值聚类，获得训练数据的码本，计算局部K近邻距离阈值；
步骤S105、局部异常事件判断：
计算测试时空兴趣点特征向量到训练码本的K近邻距离，与经验阈值进行比较，判断局部异常事件；
步骤S106、全局事件表示：
通过窗口滑动采样，获得由时空兴趣点构成集合体，用集合体作为高级特征表示全局事件；
步骤S107、建立全局事件模板：
通过自底向上的贪婪聚类算法进行聚类，建立全局事件的模板，即集合体的模板；
步骤S108、全局检测模型构建：
利用最小二乘模型对每个全局事件的模板建模；
步骤S109、全局异常事件判断：
寻找与测试集合体最匹配的模型，计算集合体中每个时空兴趣点与该模型的最小二乘距离，如果最小二乘距离大于经验阈值时则该兴趣点所在位置判断为全局异常事件。
2.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S102具体是：
(1)时空兴趣点的计算
对图像的每个像素点计算响应值函数R，时空兴趣点STIPi就是响应值函数R的局部极大值对应的像素点；其中时空兴趣点检测器在空间和时间上分别使用两个独立的滤波器：空间上使用二维的高斯滤波器，时间上使用一维的伽柏滤波器；用I表示当前的视频帧，用g表示高斯内核，用hev和hσd表示一维伽柏正交对，则函数响应函数如下：
R＝(I×g×hev)2+(I×g×hσd) 公式(1)
(2)降噪后的时空兴趣点
用视觉背景提取器的方法计算前景掩码，设p(x,y,t)为第t帧位于(x,y)位置像素点的灰度值，参见图4，每个位于(x,y,t)的像素点是否为前景的具体过程如下：
步骤S401、当t＝1时，初始化像素点(x,y,t)的模型；从(x,y,t)的邻居像素点中随机选择z个像素点的灰度值来初始化(x,y,t)的样本集{p1,p2,...,pz}(x,y,t)，该样本集可构成该像素点的灰度值模型；
步骤S402、t＝t+1，读取下一帧的新像素点，转至步骤S403，如果没有新的像素点，算法结束；
步骤S403、阈值判断；将{p1,p2,...,pz}(x,y,t-1)中的灰度值与以p(x,y,t)为中心、以R为半径的球体SR(p(x,y,t))范围内的灰度值进行对比；灰度值p(x,y,t)周围球体SR(p(x,y,t))与灰度值样本集{p1,p2,...,pz}(x,y,t-1)交集的势用符号#{SR(p(x,y,t)∩{p1,p2,...,pz}(x,y,t-1)}表示，最小阈值用#min表示，如果#{SR(pt(x)∩{p1,p2,...,pz})}＞#min，转至步骤S404；否则，转至步骤S405；
步骤S404、判断(x,y,t)为背景像素点，设置像素点(x,y,t)的掩码mask＝0，更新当前像素点前景计数count＝0，该像素点有的概率更新自身样本集，该像素点有的概率更新邻居的样本集；转至步骤S402；
步骤S405、判断(x,y,t)为前景像素点，设置像素点(x,y,t)的掩码mask＝1，更新当前像素点前景计数count＝count+1；
步骤S406、如果连续多帧被判为前景，即像素点前景计数大于前景计数阈值count＞Tfore(Tfore为经验值)，转至步骤S407，否则转至S402；
步骤S407、该像素点有的概率更新自身样本集，转至步骤S402。
3.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S103具体是：
步骤S801、将时空兴趣点STIPi的局部区域rs划分成M×M×N个直方图单元celli；
步骤S802、将直方图单元celli划分成S×S×S个小块blocki；
步骤S803、求取小块blocki的平均梯度
对于给定视频序列v(x,y,t)，关于x,y,t的偏微分用表示；那么的积分视频可以表示为：
关于和的积分视频以此类推；
设小块blocki的长宽和时间维度大小分别为w,h,l，开始坐标为(x,y,t)，那么blocki关于x方向的平均梯度计算公式为：
关于y和t方向平均梯度公式以此类推，最终得到每个小块blocki关于x,y,t方向的平均梯度：
步骤S804、将小块blocki的平均梯度投票到直方图，求取投票向量qb；设正二十面体每个面的中心向量为pi＝(xi,yi,ti)T，中心向量的集合为P＝(p1,p2,...,pn)T，黄金比例值为那么pi分别为
设梯度向量在某个面上的中心向量上的投影大小为qbi，那么可以根据下式计算：
为了保证每个梯度向量只能投票到直方图中的一个维度中，设置一个中心向量到另一个中心的投影为阈值，即
t＝pi T·pj 公式(7)
投影向量qb中每一维的值均减去阈值t，若减去之后小于0则设置为0，否则保持不变；将所得到的向量记为q′b，q′b中有且只有一个维度的值是大于0的；最后将q′b归一化乘以梯度向量的大小得到最终的投票向量qb了，共20维；
步骤S805、将直方图单元celli内的小块blocki的投票qb向量累加得到直方图单元celli的向量hc，向量hc共20维，计算公式如下：
步骤S806、将多个直方图单元celli的向量hc串联起来，构成时空兴趣点STIPi的HOG3D特征di，描述符的维度为20×M×M×N维；
。
4.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S104具体是首先对时空兴趣点向量di进行聚类，训练样本Φ中存在Nd个时空兴趣点特征向量di，聚类过程如下：
步骤S901、随机初始化：
将训练样本Φ中所有的特征向量di随机划分到NC个聚类样本子集Φm中，Nm为第m个样本子集Φm中特征向量的总个数，dn为样本子集Φm中第n个特征向量；训练数据的初级码本C由NC个初级码本项cm构成，即初级码本项cm是对应的样本子集Φm的聚类中心，计算公式如下：
计算当前状态下的准则函数，
其中，||dn-cm||2表示向量dn与初级码本项cm之间的欧氏距离；
步骤S902、从训练样本Φ中随机选取一个特征向量di，假设当前状态下特征向量di位于第j个样本子集Φj，其中1≤j≤NC；
步骤S903、判断样本子集Φj是否只有一个特征向量，如果样本子集中只存在一个特征向量，即Nj＝1，转到步骤S902，否则继续；
步骤S904、计算特征向量di划分到各个样本子集中对准则函数Je的影响ρ，
Nt为第t个样本子集Φt中特征向量的总个数；
初级码本项ct是对应的第t个样本子集Φt的聚类中心；
步骤S905：判断是否需要移动特征向量di到其它的样本子集；
遍历所有的样本子集，ρk为最小的ρt，如果ρk＜ρj、，则把特征向量di从样本子集Φj移动到ρk所对应的样本子集Φk中；否则，转至步骤S902；
步骤S906：重新计算所有的初级码本项cm,m＝1,...,NC和准则函数Je；
步骤S907：判断是否连续10次准则函数的变化小于阈值TJ，TJ为经验阈值；如果连续10次迭代Je的变化小于阈值TJ，则结束本聚类过程，输出训练数据的初级码本C；否则，转到步骤S902；
时空兴趣点特征di完成K均值聚类后，计算局部K近邻距离阈值Tl，设Ci是与样本向量di距离最近的Kl个初级码本项的集合，Kl为经验阈值，ct是集合Ci中第t个初级码本项，则阈值的计算公式为
5.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S105具体是判断KNN距离是否超过局部K近邻距离阈值Tl，如果是，则认为特征向量di对应的区域发生局部异常事件；
其中表示测试数据中时空兴趣点特征di到初级码本C的KNN距离，Ci是与向量di距离最近的Kl个初级码本项的集合，ct是集合Ci中第t个初级码本项。
6.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S106包括以下步骤：
步骤S1001、时空兴趣点构成集合体：
时空兴趣点表示局部事件，对全局事件的表示需要更大范围的采样；在空间上10个像素的采样间隔在空间上滑动3D窗口获得由时空兴趣点构成的集合体；Rk是第k个采样点的时空邻域，是时空兴趣点STIPi在时空邻域Rk中的相对位置，是STIPi与初级码本C的KNN距离，Ci∈C是STIPi的K近邻的码本集合，那么集合体的定义如下：
步骤S1002、获得合格的集合体：
由于建立集合体的目的是学习事件的交互模式，需要集合体当中包含一定数量的时空兴趣点，因此需要对集合体进行质量筛选来获得合格的集合体；集合体的质量控制函数是与集合体重时空兴趣点覆盖的体积及集合体本身的体积有关的；质量控制函数q(Ek)的计算公式如下：
当一个集合体Ek的质量控制函数q(Ek)大于质量阈值Tq时，Ek为合格的集合体，否则对集合体Ek进行丢弃。
7.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S107具体包括以下步骤：
步骤S1201、初始化高级码本：
取一个合格的集合体E1，设置高级码本ε1＝Ej，高级码本集ε＝{ε1}，高级码本数量k＝1；
步骤S1202、任取一个未处理的合格的集合体Ej；
步骤S1203、计算与集合体Ej最高的相似度值s以及相似度最高的模板i*，计算公式如下：
s＝maxi sim(Ej,εi) 公式(19)
i*＝argmaxi sim(Ej,εi) 公式(20)
集合体Ek和El的相似度其中由于集合体的区域划分成nr个3D子区域，集合体Ek的发生位置uk是一个nr×1的掩码向量，集合体El的发生位置u1是一个nr×1的掩码向量，表示相应的3D子区域内是否存在时空兴趣点；共生矩阵Qk,l是一个nr×nr的二值对角矩阵；
步骤S1204、阈值判断：
如果相似度值s大于相似度阈值Ts，说明该集合体与某个码本很相似，转至步骤S1205，否则转至步骤S1206；相似度阈值Ts为经验值；
步骤S1205、更新码本：
如果码本的质量函数小于等于质量阈值Tq，则对码本进行更新，更新公式否则转至步骤S1207；
步骤S1206、增加码本项：
将Ej作为新的码本加入到高级码本ε,高级码本数量k＝k+1，转至步骤S1207；
步骤S1207、如果还有未处理的集合体Ej，转至步骤S1202，否则算法结束。
8.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S108具体包括以下步骤：
步骤S1301、计算高级码本εk的最小二乘准则函数：
假设有已知的R+1组数据，(x1,0,x2,0,...,xm,0,y0)，(x1,1,x2,1,...,xm,1,y1)，……，(x1,R,x2,R,...,xm,R,yR)，其中第j组数据为(x1,j,x2,j,...,xm,j,yj)；m元n次多项式的通式公式如下：
其中，
j1＝n；
j2＝n-i1；
j3＝n-i1-i2；
...
jm＝n-i1-i2-...-im-1；
将多项式的系数依次编号为a0,a1,···,aq-1，其中q为多项式的总项数，则
当m元n次多项式的每一项都为1时，该多项式的值就是多项式的总项数q，经过计算对于m元n次多项式总项数为
那么最小二乘的准则函数是
每一高级码本εk都存在一组数据，假设服从三元二次多项式，将作为输入数据代入上式，得到关于高级码本εk的最小二乘准则函数；
步骤S1302、求解全局检测模型的参数，即高级码本εk的参数：
当最小二乘准则函数取得最小值的时候，在x1,x2,···,xR的处值y与在该处的函数值差值的平方和最小，即该多项式函数得到了最佳拟合，接下来的任务就是如何求取多项式的参数；设m元n次多项式每一项变量的积用wi表示，每一项系数仍用ai表示，则拟合的多项式
根据最小二乘原理，可以获得线性方程组如下：
对此线性方程组进行求解，就可得m元n次多项式的系数a0,a1,...,aq-1；同理对高级码本εk准则函数进行计算，得到高级码本εk关于最小二乘准则函数的参数集合θi＝{a0,a1,...,a9}；对于每个测试数据都会得到一个关于高级码本εi的KNN距离的估计值P(vi)，设vi＝[vi,1,vi,2,vi,3]T，那么
9.如权利要求1所述的基于时空兴趣点降噪的监控视频异常事件检测方法，其特征在于步骤S109具体包括以下步骤：
步骤S1401、寻找与该测试集合体最匹配的模板：
对于测试的集合计算与Ek模型匹配度最高的高级码本，设集合体Ek中包含了nk个时空兴趣点，Pg(vi)为vi在第g个高级码本下的估计值，那么集合体Ek与高级码本εi的匹配度计算公式如下：
与集合体匹配度最高的码本计算公式为
g*＝argg minGg(Ek) 公式(31)
步骤S1402、最小二乘距离与阈值比较判断全局异常事件：
为了更精确的定位异常事件，对测试集合体Ek中的时空兴趣点计算与第g*个高级码本的最小二乘距离，公式如下：
当大于全局阈值Tg时，该时空兴趣点STIPi所在位置判断为全局异常事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710378085.0A CN107590427B (zh) | 2017-05-25 | 2017-05-25 | 基于时空兴趣点降噪的监控视频异常事件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710378085.0A CN107590427B (zh) | 2017-05-25 | 2017-05-25 | 基于时空兴趣点降噪的监控视频异常事件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107590427A true CN107590427A (zh) | 2018-01-16 |
| CN107590427B CN107590427B (zh) | 2020-11-24 |
Family
ID=61046125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710378085.0A Active CN107590427B (zh) | 2017-05-25 | 2017-05-25 | 基于时空兴趣点降噪的监控视频异常事件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107590427B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629316A (zh) * | 2018-05-08 | 2018-10-09 | 东北师范大学人文学院 | 一种多视角的视频异常事件检测方法 |
| CN108805002A (zh) * | 2018-04-11 | 2018-11-13 | 杭州电子科技大学 | 基于深度学习和动态聚类的监控视频异常事件检测方法 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN110362713A (zh) * | 2019-07-12 | 2019-10-22 | 四川长虹电子系统有限公司 | 基于Spark Streaming的视频监控预警方法及系统 |
| CN110599281A (zh) * | 2018-06-13 | 2019-12-20 | 北京京东尚科信息技术有限公司 | 一种确定目标店铺的方法和装置 |
| CN111353352A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 异常行为检测方法及装置 |
| CN111598610A (zh) * | 2020-04-13 | 2020-08-28 | 北京邮电大学 | 一种异常事件检测方法及装置 |
| CN118314523A (zh) * | 2024-06-05 | 2024-07-09 | 贵州警察学院 | 一种基于分布式的无人机反制监控方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
| CN105160287A (zh) * | 2015-07-02 | 2015-12-16 | 中国人民解放军国防科学技术大学 | 一种摄像机运动不变的时空兴趣点特征检测方法 |
| CN105354542A (zh) * | 2015-10-27 | 2016-02-24 | 杭州电子科技大学 | 一种拥挤场景下视频异常事件检测方法 |
| CN106228149A (zh) * | 2016-08-04 | 2016-12-14 | 杭州电子科技大学 | 一种视频异常行为检测方法 |
| CN106485713A (zh) * | 2015-08-31 | 2017-03-08 | 上海悠络客电子科技有限公司 | 视频前景检测方法 |
| CN106650617A (zh) * | 2016-11-10 | 2017-05-10 | 江苏新通达电子科技股份有限公司 | 一种基于概率潜在语义分析的行人异常识别方法 |
-
2017
- 2017-05-25 CN CN201710378085.0A patent/CN107590427B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279737A (zh) * | 2013-05-06 | 2013-09-04 | 上海交通大学 | 一种基于时空兴趣点的打架行为检测方法 |
| CN105160287A (zh) * | 2015-07-02 | 2015-12-16 | 中国人民解放军国防科学技术大学 | 一种摄像机运动不变的时空兴趣点特征检测方法 |
| CN106485713A (zh) * | 2015-08-31 | 2017-03-08 | 上海悠络客电子科技有限公司 | 视频前景检测方法 |
| CN105354542A (zh) * | 2015-10-27 | 2016-02-24 | 杭州电子科技大学 | 一种拥挤场景下视频异常事件检测方法 |
| CN106228149A (zh) * | 2016-08-04 | 2016-12-14 | 杭州电子科技大学 | 一种视频异常行为检测方法 |
| CN106650617A (zh) * | 2016-11-10 | 2017-05-10 | 江苏新通达电子科技股份有限公司 | 一种基于概率潜在语义分析的行人异常识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| KAI-WEN CHENG等: "Video Anomaly Detection and Localization Using Hierarchical Feature Representation and Gaussian Process Regression", 《CVPR 2015》 * |
| RUDY CAHYADIHP等: "Video Anomaly Detection using Selective Spatio-Temporal Interest Points and Convolutional Sparse Coding", 《2015 IEEE/WIC/ACM INTERNATIONAL CONFERENCE ON WEB INTELLIGENCE AND INTELLIGENT AGENT TECHNOLOGY》 * |
| 吴丽梅: "基于时空兴趣点的化工厂视频监控系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805002B (zh) * | 2018-04-11 | 2022-03-01 | 杭州电子科技大学 | 基于深度学习和动态聚类的监控视频异常事件检测方法 |
| CN108805002A (zh) * | 2018-04-11 | 2018-11-13 | 杭州电子科技大学 | 基于深度学习和动态聚类的监控视频异常事件检测方法 |
| CN108629316A (zh) * | 2018-05-08 | 2018-10-09 | 东北师范大学人文学院 | 一种多视角的视频异常事件检测方法 |
| CN110599281A (zh) * | 2018-06-13 | 2019-12-20 | 北京京东尚科信息技术有限公司 | 一种确定目标店铺的方法和装置 |
| CN111353352A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视数字技术股份有限公司 | 异常行为检测方法及装置 |
| CN111353352B (zh) * | 2018-12-24 | 2023-05-09 | 杭州海康威视数字技术股份有限公司 | 异常行为检测方法及装置 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN109902612B (zh) * | 2019-02-22 | 2021-01-08 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN110362713A (zh) * | 2019-07-12 | 2019-10-22 | 四川长虹电子系统有限公司 | 基于Spark Streaming的视频监控预警方法及系统 |
| CN110362713B (zh) * | 2019-07-12 | 2023-06-06 | 四川长虹云数信息技术有限公司 | 基于Spark Streaming的视频监控预警方法及系统 |
| CN111598610A (zh) * | 2020-04-13 | 2020-08-28 | 北京邮电大学 | 一种异常事件检测方法及装置 |
| CN111598610B (zh) * | 2020-04-13 | 2023-10-24 | 北京邮电大学 | 一种异常事件检测方法及装置 |
| CN118314523A (zh) * | 2024-06-05 | 2024-07-09 | 贵州警察学院 | 一种基于分布式的无人机反制监控方法 |
| CN118314523B (zh) * | 2024-06-05 | 2024-08-09 | 贵州警察学院 | 一种基于分布式的无人机反制监控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107590427B (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590427B (zh) | 基于时空兴趣点降噪的监控视频异常事件检测方法 | |
| Duman et al. | Anomaly detection in videos using optical flow and convolutional autoencoder | |
| Lu et al. | Dense and sparse reconstruction error based saliency descriptor | |
| Xia et al. | Aquatic toxic analysis by monitoring fish behavior using computer vision: A recent progress | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| Xie et al. | SRUN: Spectral regularized unsupervised networks for hyperspectral target detection | |
| CN109102521B (zh) | 一种基于并行注意力相关滤波的视频目标跟踪方法 | |
| CN106570439B (zh) | 一种车辆检测方法及装置 | |
| CN111860439A (zh) | 一种无人机巡检图像缺陷检测方法、系统及设备 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN114022759A (zh) | 一种融合神经网络时空特性的空域有限像素目标检测系统及方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN109919223B (zh) | 基于深度神经网络的目标检测方法及装置 | |
| Elhassan et al. | DFT-MF: Enhanced deepfake detection using mouth movement and transfer learning | |
| CN109544603A (zh) | 基于深度迁移学习的目标跟踪方法 | |
| CN106157330A (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
| CN112085765A (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
| CN104680554A (zh) | 基于surf的压缩跟踪方法和系统 | |
| CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
| CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
| CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
| CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| CN111062291B (zh) | 一种机器人视觉跟踪方法及系统 | |
| Qin et al. | A background basis selection-based foreground detection method | |
| Naik et al. | Detection and localization of anamoly in videos using fruit fly optimization-based self organized maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180116 Assignee: HANGZHOU ZHISHU TECHNOLOGY CO.,LTD. Assignor: HANGZHOU DIANZI University Contract record no.: X2022330000062 Denomination of invention: Detection method of abnormal events in surveillance video based on spatio-temporal interest point noise reduction Granted publication date: 20201124 License type: Common License Record date: 20220331 |