CN111008596B - 基于特征期望子图校正分类的异常视频清洗方法 - Google Patents

基于特征期望子图校正分类的异常视频清洗方法 Download PDF

Info

Publication number
CN111008596B
CN111008596B CN201911236747.6A CN201911236747A CN111008596B CN 111008596 B CN111008596 B CN 111008596B CN 201911236747 A CN201911236747 A CN 201911236747A CN 111008596 B CN111008596 B CN 111008596B
Authority
CN
China
Prior art keywords
video
feature
subgraph
abnormal
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911236747.6A
Other languages
English (en)
Other versions
CN111008596A (zh
Inventor
叶鸥
邓军
董立红
于振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kesheng Xuanyi Technology Co.,Ltd.
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201911236747.6A priority Critical patent/CN111008596B/zh
Publication of CN111008596A publication Critical patent/CN111008596A/zh
Application granted granted Critical
Publication of CN111008596B publication Critical patent/CN111008596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法，包括步骤：CNN‑LSTM特征提取、特征期望子图构造及基于特征期望子图的校正分类与清洗，本发明提高视频异常事件检测的准确度、查准率和查全率性能指标；另一方面能够实现异常视频的自动清洗，减少视频数据集中的异常视频数据，改善视频数据集的数据质量。

Description

基于特征期望子图校正分类的异常视频清洗方法
技术领域
本发明属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法。
背景技术
目前，相关研究主要集中在异常视频检测方面，包括视频的异常事件检测、异常活动检测和异常行为检测等。主要采用的理论方法包括：1、利用传统低层特征和分类模型进行视频异常检测，例如将轨迹特征、Harris角点特征和光流运动特征等和SVM等分类模型相结合进行异常检测；2、利用高层特征进行视频异常检测，例如通过CNN、LSTM、Resnets、Attention等深度学习模型获取特征向量，进而利用softmax或SVM进行异常的分类识别；3、利用稀疏表示理论和分类算法相结合进行异常检测。
无论上述哪种方式都只能对异常视频数据进行分类识别，但是较难将异常视频进行自动清洗。此外，上述研究在对视频特征进行表征的时候，更多关注的是特征向量的形式化结构，较少考虑到特征向量的结构化特征，例如拓扑和连续性特征等，尤其对于复杂视频场景，噪声等干扰因素造成的特征可能会影响异常分类和识别的效果。
发明内容
为了克服以上问题，本发明提出基于特征期望子图校正分类的异常视频清洗方法，本方法通过构造特征期望子图，过滤与视频中各种干扰因素相关的不期望得到的特征表示，并将特征期望子图与SVC分类器相结合，即在提高单个分类器的识别效果。
为实现上述目的，本发明采用的技术方案是：
基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure GDA0002761689050000021
其中第i个特征向量可表示为
Figure GDA0002761689050000022
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure GDA0002761689050000023
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure GDA0002761689050000024
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射
Figure GDA0002761689050000025
获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
Figure GDA0002761689050000031
Figure GDA0002761689050000032
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure GDA0002761689050000033
其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
S25、在图
Figure GDA0002761689050000034
中计算边集合的期望值，如下述公式所示：
Figure GDA0002761689050000035
当
Figure GDA0002761689050000036
时，获得特征期望子图
Figure GDA0002761689050000037
所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure GDA0002761689050000038
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数；
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure GDA0002761689050000039
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure GDA00027616890500000310
的结果校正的f(V,Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure GDA0002761689050000041
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出通过特征期望子图的方式刻画特征向量中特征值的连续性特性和拓扑特性；
(2)本发明通过特征期望子图和SVM分类器相结合的方式校正上述特征向量和单一分类器相结合的分类结果，缓解单一分类器分类不足的问题，用于改善异常视频检测的准确性。
(3)本发明通过分类识别的标签进行自动清洗，改善视频数据集的数据质量问题。在保留特征向量内部时序和拓扑结构关系特征的同时，能够获得特征向量的主成分，有利于异常事件检测的分类和识别，并且能够进行将识别出的异常数据进行清洗。
附图说明
图(1)为本发明基于特征期望子图校正分类的异常视频清洗方法系统图；
图(2)为本发明通过VGG-LSTM深度神经网络产生的特征向量所生成的特征值点；
图(3)为本发明其中一个视频帧构建的期望特征子图
Figure GDA0002761689050000042
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳的实施例，对依据本发明申请的具体实施方式、结构、特征及其功效，详细说明如下。
如图1所示，基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
如图2所示，所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure GDA0002761689050000051
其中第i个特征向量可表示为
Figure GDA0002761689050000052
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure GDA0002761689050000053
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure GDA0002761689050000054
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射
Figure GDA0002761689050000055
获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
Figure GDA0002761689050000061
Figure GDA0002761689050000062
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure GDA0002761689050000063
其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
S25、在图
Figure GDA0002761689050000064
中计算边集合的期望值，如下述公式所示：
Figure GDA0002761689050000065
当
Figure GDA0002761689050000066
时，获得特征期望子图
Figure GDA0002761689050000067
所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure GDA0002761689050000068
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure GDA0002761689050000069
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure GDA0002761689050000071
的结果校正的f(V,Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure GDA0002761689050000072
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
实施例一
进一步地，CNN-LSTM特征提取
在不同类别的CNN模型中，VGG-16卷积神经网络由于其网络的深度，可以用于提取空间特征和高精度的图像识别。但是，VGG-16网络较难准确地表示输入视频序列的时间关系。为了克服这种局限性，采用LSTM网络来提取视频流中的动态时序行为特征。考虑到视频的时空特性，首先选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取，然后将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。假设上述视频片段的大小为w×h×c×l，w×h表示视频帧的大小，c表示每帧的信道数，l表示视频片段的帧数，在训练VGG-16网络之前，设置w和h均为224，并且c＝3。此外，首先在卷积层用步长1来固定卷积核，然后在池化层用步长2来固定池化窗口，用于实现卷积运算和池化的过程。在卷积运算过程中，特征矩阵Yij的计算公式如下：
Figure GDA0002761689050000073
在这里，f(·)表示激活函数，Xij是在视频帧中第i行和第j列像素周五的窗口矩阵，W表示权重矩阵，并且b表示偏置参数。在VGG-16的网络中，选取ReLU函数表征f(·)，该函数描述如下所示：
f(Yij)＝max(0,Yij) (2)
经过卷积运算之后，利用最大池化操作对生成的特征图进行降维，通过5组卷积和池化层，并利用3个全连通层可以提取出规模为4096维的空间特征向量。将提取的特征向量输入LSTM网络，进一步提取时序特征。采用两层LSTM网络，每个LSTM都有相同的结构，由输入门、遗忘门和输出门组成。在LSTM网络的训练过程中，将学习率设置为0.01，输入节点数设置为64，隐藏层节点数设置为256。此外，利用交叉熵作为损失函数来训练和学习视频样本的特征，损失函数公式如下：
Figure GDA0002761689050000081
其中，yi是指输出门输出的特征向量的第i个特征值，y′i表示与yi相对应的标签。在完成VGG-LSTM网络训练之后，能够从LSTM输出层获得一个大小为[1024,1]的特征向量，用于表征视频片段的特征。
实施例二
进一步地，特征期望子图的构建：构造特征期望子图来表征结构化特征向量中特征值之间的序列和拓扑关系特征。
假设通过VGG-LSTM深度神经网络获得了一组特征向量
Figure GDA0002761689050000082
其中第i个特征向量可表示为
Figure GDA0002761689050000083
由于在视频帧中特征点的分布具有一定的连续性和拓扑结构关系，如果在视频帧中针对同一个事物，表征相邻特征点的特征值
Figure GDA0002761689050000084
和
Figure GDA0002761689050000085
在任意一个向量
Figure GDA0002761689050000091
中很可能彼此距离很近，这里的n和m是指特征向量中特征值的索引位置，并且m,n∈[1,1024],m＜n。为了表征特征向量内部的连续性和拓扑性结构关系，首先利用下面的公式将特征向量转换为二维的特征矩阵：
Figure GDA0002761689050000092
其中，t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure GDA0002761689050000093
一一对应。然后，如果Α(i)中的元素值不为0，通过一个映射
Figure GDA00027616890500000912
获取二维空间中的特征值点。由此，每个特征值y(i)与每个特征值点
Figure GDA0002761689050000095
在二维空间中是一一对应的。假设具有两个特征值点
Figure GDA0002761689050000096
和
Figure GDA0002761689050000097
能够通过如下公式度量两个特征值点之间的距离：
Figure GDA0002761689050000098
其中参数t1,t2,l1,l2∈[1,1024]，并且α1和α2是约束因子，
Figure GDA0002761689050000099
在二维空间中的特征值点的位置是度量特征向量内在连续性和拓扑性结构关系的主要因素。因此，
Figure GDA00027616890500000910
度量的是两个特征点之间特征值的相似度，K2(l2,l1)度量的是两个特征值点之间位置的相似度。此外，能够利用下面的公式计算k值去粗略的度量两项之间针对距离度量的贡献度。
Figure GDA00027616890500000911
其中，dim(Vi)表示特征向量Vi的维度。在此基础上，使用欧式距离函数去表征
Figure GDA0002761689050000101
和K2(l2,l1)，因此，能够进一步描述公式
Figure GDA0002761689050000102
Figure GDA0002761689050000103
其中，r表示邻域的范围。借鉴KNN算法思想只计算r范围内的距离，这不仅可以减少计算代价，也可以降低特征向量中较远位置特征值点之间的距离计算。如果满足关系
Figure GDA0002761689050000104
其中μT是一个给定的阈值，认为
Figure GDA0002761689050000105
和
Figure GDA0002761689050000106
是相似的特征值点，并且可以利用一个边去表征两个特征值点彼此之间的关联关系。通过这种方式，可以利用边关联若干个特征值点，并且可以产生若干个边去表征所有特征向量中特征值点之间的相互关系。通过上述特征值点和边的集合，可以构建一个由特征值点和边构成的图
Figure GDA0002761689050000107
Figure GDA0002761689050000108
其中，V表示特征值,ε(v)表示与特征值点相对应的边的集合。为了利用深度特征向量的结构化特征过滤与干扰相对应的不期望的特征值，以便改进异常事件检测的准确度，提出针对每一个视频帧构建特征期望子图。首先，在图
Figure GDA0002761689050000109
中计算边集合的期望值，如下述公式所示：
Figure GDA00027616890500001010
由于任意ε(v)的共现概率是随机的，可以进一步去描述公式(8)，如下所示：
Figure GDA00027616890500001011
在这之后，当条件
Figure GDA00027616890500001012
被满足时，能够获得特征期望子图
Figure GDA0002761689050000111
如图2所示的是通过VGG-LSTM深度神经网络产生的特征向量所生成的特征值点，图3所示的是其中一个期望特征子图
Figure GDA0002761689050000112
通过图3可以看出，当一些特征值点不满足条件
Figure GDA0002761689050000113
时，这些特征值点将被过滤掉。此外，由这些特征值点构成的图能够保留结构化特征向量的内在连续性和拓扑性关系结构特征。当只有很少的特征期望子图时，将使用所有的特征子图作为特征期望子图。当一个特征子图包含所有特征值点时，将其看作是最大特征期望子图。
实施例三
进一步地，基于特征期望子图的校正分类及清洗，即结合SVC和特征期望子图来校正单个线性SVC分类的结果，从而确定在复杂的视频监控场景中是否存在异常事件。
首先，设
Figure GDA0002761689050000114
是与N个训练视频中n个帧的特征期望子图相对应的标识，其中标识y′i为-1时，表示的是异常事件，当标识y′i为+1时，表示的是正常事件。然后，利用SVC算法对特征期望子图进行分类，并检测异常事件。在此，改进的SVM模型进行特征期望子图的分类计算，如下所示：
Figure GDA0002761689050000115
Figure GDA0002761689050000116
其中，αi和αj是拉格朗日乘数因子，并且y′i∈{-1,+1}，
Figure GDA0002761689050000117
是图核函数，C是一个固定参数。由于能够通过一个逆映射
Figure GDA0002761689050000118
获得一个稀疏向量
Figure GDA0002761689050000119
该向量与特征期望子图
Figure GDA00027616890500001110
相对应。由此，能够确立一个转换关系
Figure GDA0002761689050000121
在此基础上，采用线性核函数
Figure GDA0002761689050000122
度量任意两个特征期望子图
Figure GDA0002761689050000123
和
Figure GDA0002761689050000124
的相似性。对于一个测试的期望子图而言，分类函数如下：
Figure GDA0002761689050000125
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。虽然特征期望子图可以用于获取特征向量的主成分，同时也可以保留特征向量内在的连续性和拓扑性结构关系，但单一的分类器也较难保证分类的准确度。此外，通过特征期望子图获得的稀疏向量也较难完全表征视频帧的特征。因此，结合线性SVC分类器检测监控视频的异常事件，具体计算公式如下所示：
Figure GDA0002761689050000126
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，能够利用
Figure GDA0002761689050000127
的结果校正的f(V,Vi)结果，以便确定在监控视频场景下是否存在异常事件。
由于偶然的异常事件不能说明该视频是异常视频，因此需要在异常事件检测的基础上，判断是否该视频为异常视频。由此，本方法通过如下公式进行异常视频的判断：
Figure GDA0002761689050000128
其中，N表示视频帧的个数。当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。

Claims (2)

1.基于特征期望子图校正分类的异常视频清洗方法，其特征在于，具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造，具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure FDA0002761689040000011
其中第i个特征向量可表示为
Figure FDA0002761689040000012
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure FDA0002761689040000013
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure FDA0002761689040000014
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射
Figure FDA0002761689040000015
获取二维空间中的特征值点；
S24、通过如下公式度量两个特征值点之间的距离：
Figure FDA0002761689040000016
Figure FDA0002761689040000017
其中，r表示邻域的范围，α1和α2分别表示权重因子；
Figure FDA0002761689040000018
Figure FDA0002761689040000019
分别为Vi特征向量中的第1个、第2个至1024个特征值；dim(Vi)表示Vi特征向量的维度；
S25、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure FDA0002761689040000021
其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
S26、在图
Figure FDA0002761689040000022
中计算边集合的期望值，如下述公式所示：
Figure FDA0002761689040000023
当
Figure FDA0002761689040000024
时，获得特征期望子图
Figure FDA0002761689040000025
S3、基于特征期望子图的校正分类与清洗,具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure FDA0002761689040000026
其中，b是偏置，并且f(·)=f(-1,+1)是预测函数；αi表示拉格朗日乘数因子，y'i∈{-1,+1}，表示分类标签；
Figure FDA0002761689040000027
表示获得的特征期望子图，
Figure FDA0002761689040000028
表示第i个已表识的特征期望子图，
Figure FDA0002761689040000029
是图核函数；
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure FDA00027616890400000210
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure FDA00027616890400000211
的结果校正的f(V,Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure FDA0002761689040000031
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行清洗。
2.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
CN201911236747.6A 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法 Active CN111008596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911236747.6A CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911236747.6A CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Publications (2)

Publication Number Publication Date
CN111008596A CN111008596A (zh) 2020-04-14
CN111008596B true CN111008596B (zh) 2020-12-25

Family

ID=70114722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911236747.6A Active CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Country Status (1)

Country Link
CN (1) CN111008596B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115984A (zh) * 2020-08-28 2020-12-22 安徽农业大学 基于深度学习的茶园异常数据校正方法、系统和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184818B (zh) * 2015-09-06 2018-05-18 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN105430384B (zh) * 2015-12-10 2018-05-29 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
US10242266B2 (en) * 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
CN106548153B (zh) * 2016-10-27 2019-05-28 杭州电子科技大学 基于多尺度变换下图结构的视频异常检测方法
CN106779073B (zh) * 2016-12-27 2019-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
WO2018191555A1 (en) * 2017-04-14 2018-10-18 Drishti Technologies. Inc Deep learning system for real time analysis of manufacturing operations
CN107818307B (zh) * 2017-10-31 2021-05-18 天津大学 一种基于lstm网络的多标签视频事件检测方法
CN109086797B (zh) * 2018-06-29 2021-12-28 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Abnormal Event Detection in Videos Using Hybrid Spatio-Temporal Autoencoder;Lin W.等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20180906;第2276-2280页 *

Also Published As

Publication number Publication date
CN111008596A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN110738647B (zh) 融合多感受野特征映射与高斯概率模型的老鼠检测方法
CN110852152B (zh) 一种基于数据增强的深度哈希行人重识别方法
CN110222592B (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN114363195B (zh) 面向时间和频谱残差卷积网络的网络流量预测预警方法
CN114241511B (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN110555870A (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN103310200A (zh) 人脸识别方法
CN113569756B (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN112085765A (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN111008596B (zh) 基于特征期望子图校正分类的异常视频清洗方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN113011399B (zh) 基于生成协同判别网络的视频异常事件检测方法及系统
CN116682043B (zh) 基于SimCLR无监督深度对比学习异常视频清洗方法
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN111666999A (zh) 一种遥感图像的分类方法
CN115908419A (zh) 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
Pillai et al. Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification
CN115761647A (zh) 基于计算机视觉的变电站内物体运动轨迹检测方法及系统
CN113537240A (zh) 一种基于雷达序列图像的形变区智能提取方法及系统
CN113762007A (zh) 一种基于外观和动作特征双预测的异常行为检测方法
CN113535527A (zh) 一种面向实时流数据预测性分析的降载方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210730

Address after: 223001 Room 201, building 7, 83 Beijing North Road, qingjiangpu District, Huai'an City, Jiangsu Province

Patentee after: Jiangsu Kesheng Xuanyi Technology Co.,Ltd.

Address before: Xi'an University of science and technology, 58 Yanta Road, Beilin District, Xi'an City, Shaanxi Province 710054

Patentee before: XI'AN University OF SCIENCE AND TECHNOLOGY