CN111008596A - 基于特征期望子图校正分类的异常视频清洗方法 - Google Patents

基于特征期望子图校正分类的异常视频清洗方法 Download PDF

Info

Publication number
CN111008596A
CN111008596A CN201911236747.6A CN201911236747A CN111008596A CN 111008596 A CN111008596 A CN 111008596A CN 201911236747 A CN201911236747 A CN 201911236747A CN 111008596 A CN111008596 A CN 111008596A
Authority
CN
China
Prior art keywords
feature
video
subgraph
abnormal
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911236747.6A
Other languages
English (en)
Other versions
CN111008596B (zh
Inventor
叶鸥
邓军
董立红
于振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kesheng Xuanyi Technology Co.,Ltd.
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201911236747.6A priority Critical patent/CN111008596B/zh
Publication of CN111008596A publication Critical patent/CN111008596A/zh
Application granted granted Critical
Publication of CN111008596B publication Critical patent/CN111008596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法，包括步骤：CNN‑LSTM特征提取、特征期望子图构造及基于特征期望子图的校正分类与清洗，本发明提高视频异常事件检测的准确度、查准率和查全率性能指标；另一方面能够实现异常视频的自动清洗，减少视频数据集中的异常视频数据，改善视频数据集的数据质量。

Description

基于特征期望子图校正分类的异常视频清洗方法
技术领域
本发明属于监控视频监测领域，具体涉及基于特征期望子图校正分类的异常视频清洗方法。
背景技术
目前，相关研究主要集中在异常视频检测方面，包括视频的异常事件检测、异常活动检测和异常行为检测等。主要采用的理论方法包括：1、利用传统低层特征和分类模型进行视频异常检测，例如将轨迹特征、Harris角点特征和光流运动特征等和SVM等分类模型相结合进行异常检测；2、利用高层特征进行视频异常检测，例如通过CNN、LSTM、Resnets、Attention等深度学习模型获取特征向量，进而利用 softmax或SVM进行异常的分类识别；3、利用稀疏表示理论和分类算法相结合进行异常检测。
无论上述哪种方式都只能对异常视频数据进行分类识别，但是较难将异常视频进行自动清洗。此外，上述研究在对视频特征进行表征的时候，更多关注的是特征向量的形式化结构，较少考虑到特征向量的结构化特征，例如拓扑和连续性特征等，尤其对于复杂视频场景，噪声等干扰因素造成的特征可能会影响异常分类和识别的效果。
发明内容
为了克服以上问题，本发明提出基于特征期望子图校正分类的异常视频清洗方法，本方法通过构造特征期望子图，过滤与视频中各种干扰因素相关的不期望得到的特征表示，并将特征期望子图与SVC分类器相结合，即在提高单个分类器的识别效果。
为实现上述目的，本发明采用的技术方案是：
基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure BDA0002305097620000021
其中第i个特征向量可表示为
Figure BDA0002305097620000022
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure BDA0002305097620000023
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure BDA0002305097620000024
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射φ:
Figure BDA0002305097620000025
获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
Figure BDA0002305097620000031
Figure BDA0002305097620000032
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure BDA0002305097620000033
其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
S25、在图
Figure BDA0002305097620000034
中计算边集合的期望值，如下述公式所示：
Figure BDA0002305097620000035
当
Figure BDA0002305097620000036
时，获得特征期望子图
Figure BDA0002305097620000037
所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure BDA0002305097620000038
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure BDA0002305097620000039
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure BDA00023050976200000310
的结果校正的f(V,Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure BDA0002305097620000041
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出通过特征期望子图的方式刻画特征向量中特征值的连续性特性和拓扑特性；
(2)本发明通过特征期望子图和SVM分类器相结合的方式校正上述特征向量和单一分类器相结合的分类结果，缓解单一分类器分类不足的问题，用于改善异常视频检测的准确性。
(3)本发明通过分类识别的标签进行自动清洗，改善视频数据集的数据质量问题。在保留特征向量内部时序和拓扑结构关系特征的同时，能够获得特征向量的主成分，有利于异常事件检测的分类和识别，并且能够进行将识别出的异常数据进行清洗。
附图说明
图1为本发明基于特征期望子图校正分类的异常视频清洗方法系统图；
图2为本发明通过VGG-LSTM深度神经网络产生的特征向量所生成的特征值点；
图3为本发明其中一个视频帧构建的期望特征子图
Figure BDA0002305097620000042
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳的实施例，对依据本发明申请的具体实施方式、结构、特征及其功效，详细说明如下。
如图1所示，基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
如图2所示，所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure BDA0002305097620000051
其中第i个特征向量可表示为
Figure BDA0002305097620000052
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure BDA0002305097620000053
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure BDA0002305097620000054
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射φ:
Figure BDA0002305097620000055
获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
Figure BDA0002305097620000061
Figure BDA0002305097620000062
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure BDA0002305097620000063
其中，ν表示特征值,ε(v)表示与特征值点相对应的边的集合；
S25、在图
Figure BDA0002305097620000064
中计算边集合的期望值，如下述公式所示：
Figure BDA0002305097620000065
当
Figure BDA0002305097620000066
时，获得特征期望子图
Figure BDA0002305097620000067
所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure BDA0002305097620000068
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure BDA0002305097620000069
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure BDA0002305097620000071
的结果校正的f(V,Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure BDA0002305097620000072
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。
实施例一
进一步地，CNN-LSTM特征提取
在不同类别的CNN模型中，VGG-16卷积神经网络由于其网络的深度，可以用于提取空间特征和高精度的图像识别。但是，VGG-16 网络较难准确地表示输入视频序列的时间关系。为了克服这种局限性，采用LSTM网络来提取视频流中的动态时序行为特征。考虑到视频的时空特性，首先选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取，然后将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。假设上述视频片段的大小为 w×h×c×l，w×h表示视频帧的大小，c表示每帧的信道数，l表示视频片段的帧数，在训练VGG-16网络之前，设置w和h均为224，并且c＝3。此外，首先在卷积层用步长1来固定卷积核，然后在池化层用步长2来固定池化窗口，用于实现卷积运算和池化的过程。在卷积运算过程中，特征矩阵Yij的计算公式如下：
Figure BDA0002305097620000073
在这里，f(·)表示激活函数，Xij是在视频帧中第i行和第j列像素周五的窗口矩阵，W表示权重矩阵，并且b表示偏置参数。在VGG-16 的网络中，选取ReLU函数表征f(·)，该函数描述如下所示：
f(Yij)＝max(0,Yij) (2)
经过卷积运算之后，利用最大池化操作对生成的特征图进行降维，通过5组卷积和池化层，并利用3个全连通层可以提取出规模为4096 维的空间特征向量。将提取的特征向量输入LSTM网络，进一步提取时序特征。采用两层LSTM网络，每个LSTM都有相同的结构，由输入门、遗忘门和输出门组成。在LSTM网络的训练过程中，将学习率设置为0.01，输入节点数设置为64，隐藏层节点数设置为256。此外，利用交叉熵作为损失函数来训练和学习视频样本的特征，损失函数公式如下：
Figure BDA0002305097620000081
其中，yi是指输出门输出的特征向量的第i个特征值，y′i表示与yi相对应的标签。在完成VGG-LSTM网络训练之后，能够从LSTM输出层获得一个大小为[1024,1]的特征向量，用于表征视频片段的特征。
实施例二
进一步地，特征期望子图的构建：构造特征期望子图来表征结构化特征向量中特征值之间的序列和拓扑关系特征。
假设通过VGG-LSTM深度神经网络获得了一组特征向量
Figure BDA0002305097620000082
其中第i个特征向量可表示为
Figure BDA0002305097620000083
由于在视频帧中特征点的分布具有一定的连续性和拓扑结构关系，如果在视频帧中针对同一个事物，表征相邻特征点的特征值
Figure BDA0002305097620000084
和
Figure BDA0002305097620000085
在任意一个向量
Figure BDA0002305097620000091
中很可能彼此距离很近，这里的n和m是指特征向量中特征值的索引位置，并且m,n∈[1,1024],m＜n。为了表征特征向量内部的连续性和拓扑性结构关系，首先利用下面的公式将特征向量转换为二维的特征矩阵：
Figure BDA0002305097620000092
其中，t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure BDA0002305097620000093
一一对应。然后，如果Α(i)中的元素值不为0，通过一个映射φ:
Figure BDA0002305097620000094
获取二维空间中的特征值点。由此，每个特征值y(i)与每个特征值点
Figure BDA0002305097620000095
在二维空间中是一一对应的。假设具有两个特征值点
Figure BDA0002305097620000096
和
Figure BDA0002305097620000097
能够通过如下公式度量两个特征值点之间的距离：
Figure BDA0002305097620000098
其中参数t1,t2,l1,l2∈[1,1024]，并且α1和α2是约束因子，
Figure BDA0002305097620000099
在二维空间中的特征值点的位置是度量特征向量内在连续性和拓扑性结构关系的主要因素。因此，
Figure BDA00023050976200000910
度量的是两个特征点之间特征值的相似度，K2(l2,l1)度量的是两个特征值点之间位置的相似度。此外，能够利用下面的公式计算k值去粗略的度量两项之间针对距离度量的贡献度。
Figure BDA00023050976200000911
其中，dim(Vi)表示特征向量Vi的维度。在此基础上，使用欧式距离函数去表征
Figure BDA0002305097620000101
和K2(l2,l1)，因此，能够进一步描述公式
Figure BDA0002305097620000102
Figure BDA0002305097620000103
其中，r表示邻域的范围。借鉴KNN算法思想只计算r范围内的距离，这不仅可以减少计算代价，也可以降低特征向量中较远位置特征值点之间的距离计算。如果满足关系
Figure BDA0002305097620000104
其中μT是一个给定的阈值，认为
Figure BDA0002305097620000105
和
Figure BDA0002305097620000106
是相似的特征值点，并且可以利用一个边去表征两个特征值点彼此之间的关联关系。通过这种方式，可以利用边关联若干个特征值点，并且可以产生若干个边去表征所有特征向量中特征值点之间的相互关系。通过上述特征值点和边的集合，可以构建一个由特征值点和边构成的图
Figure BDA0002305097620000107
Figure BDA0002305097620000108
其中，V表示特征值,ε(v)表示与特征值点相对应的边的集合。为了利用深度特征向量的结构化特征过滤与干扰相对应的不期望的特征值，以便改进异常事件检测的准确度，提出针对每一个视频帧构建特征期望子图。首先，在图
Figure BDA0002305097620000109
中计算边集合的期望值，如下述公式所示：
Figure BDA00023050976200001010
由于任意ε(v)的共现概率是随机的，可以进一步去描述公式(8)，如下所示：
Figure BDA00023050976200001011
在这之后，当条件
Figure BDA00023050976200001012
被满足时，能够获得特征期望子图
Figure BDA0002305097620000111
如图2所示的是通过VGG-LSTM深度神经网络产生的特征向量所生成的特征值点，图3所示的是其中一个期望特征子图
Figure BDA0002305097620000112
通过图3可以看出，当一些特征值点不满足条件
Figure BDA0002305097620000113
时，这些特征值点将被过滤掉。此外，由这些特征值点构成的图能够保留结构化特征向量的内在连续性和拓扑性关系结构特征。当只有很少的特征期望子图时，将使用所有的特征子图作为特征期望子图。当一个特征子图包含所有特征值点时，将其看作是最大特征期望子图。
实施例三
进一步地，基于特征期望子图的校正分类及清洗，即结合SVC 和特征期望子图来校正单个线性SVC分类的结果，从而确定在复杂的视频监控场景中是否存在异常事件。
首先，设
Figure BDA0002305097620000114
是与N个训练视频中n个帧的特征期望子图相对应的标识，其中标识y′i为-1时，表示的是异常事件，当标识y′i为+1时，表示的是正常事件。然后，利用SVC算法对特征期望子图进行分类，并检测异常事件。在此，改进的SVM模型进行特征期望子图的分类计算，如下所示：
Figure BDA0002305097620000115
Figure BDA0002305097620000116
其中，αi和αj是拉格朗日乘数因子，并且y′i∈{-1,+1}，
Figure BDA0002305097620000117
是图核函数，C是一个固定参数。由于能够通过一个逆映射φ′:
Figure BDA0002305097620000118
获得一个稀疏向量
Figure BDA0002305097620000119
该向量与特征期望子图
Figure BDA00023050976200001110
相对应。由此，能够确立一个转换关系
Figure BDA0002305097620000121
在此基础上，采用线性核函数
Figure BDA0002305097620000122
度量任意两个特征期望子图和
Figure BDA0002305097620000124
的相似性。对于一个测试的期望子图而言，分类函数如下：
Figure BDA0002305097620000125
其中，b是偏置，并且f(·)＝f(-1,+1)是预测函数。虽然特征期望子图可以用于获取特征向量的主成分，同时也可以保留特征向量内在的连续性和拓扑性结构关系，但单一的分类器也较难保证分类的准确度。此外，通过特征期望子图获得的稀疏向量也较难完全表征视频帧的特征。因此，结合线性SVC分类器检测监控视频的异常事件，具体计算公式如下所示：
Figure BDA0002305097620000126
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，能够利用
Figure BDA0002305097620000127
的结果校正的f(V,Vi)结果，以便确定在监控视频场景下是否存在异常事件。
由于偶然的异常事件不能说明该视频是异常视频，因此需要在异常事件检测的基础上，判断是否该视频为异常视频。由此，本方法通过如下公式进行异常视频的判断：
Figure BDA0002305097620000128
其中，N表示视频帧的个数。当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行删除。

Claims (4)

1.基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述具体步骤如下：
S1、CNN-LSTM特征提取；
S2、特征期望子图构造；
S3、基于特征期望子图的校正分类与清洗。
2.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述CNN-LSTM特征提取具体步骤如下：
S11、选取多个视频片段作为训练样本，输入VGG-16网络进行空间特征提取；
S12、将得到的特征输入到LSTM中，进一步提取输入视频片段的时序特征。
3.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述特征期望子图的构建的具体步骤如下：
S21、通过VGG-LSTM深度神经网络获得了一组特征向量
Figure FDA0002305097610000011
其中第i个特征向量可表示为
Figure FDA0002305097610000012
S22、利用下面的公式将特征向量转换为二维的特征矩阵：
Figure FDA0002305097610000013
这里t表示矩阵Α(i)中的第t行，l表示第l列，并且第i个矩阵Α(i)与第i个特征向量
Figure FDA0002305097610000014
一一对应；
S23、若Α(i)中的元素值不为0，通过一个映射φ:
Figure FDA0002305097610000015
获取二维空间中的特征值点；
S25、通过如下公式度量两个特征值点之间的距离：
Figure FDA0002305097610000021
Figure FDA0002305097610000022
其中，r表示邻域的范围；
S26、利用边关联若干个特征值点，并且产生若干个边去表征所有特征向量中特征值点之间的相互关系，通过特征值点和边的集合，构建一个由特征值点和边构成的图
Figure FDA0002305097610000023
其中，v表示特征值，ε(v)表示与特征值点相对应的边的集合；
S25、在图
Figure FDA0002305097610000024
中计算边集合的期望值，如下述公式所示：
Figure FDA0002305097610000025
当
Figure FDA0002305097610000026
时，获得特征期望子图
Figure FDA0002305097610000027
4.如权利要求1所述的基于特征期望子图校正分类的异常视频清洗方法，其特征在于，所述基于特征期望子图的校正分类及清洗的具体步骤如下：
S31、对于一个测试的期望子图而言，分类函数描述如下：
Figure FDA0002305097610000028
其中，b是偏置，并且f(·)＝f(-1，+1)是预测函数；
S32、结合线性SVC分类器检测监控视频的异常事件，计算公式如下：
Figure FDA0002305097610000029
其中，V是从VGG-LSTM神经网络抽取出的特征向量，通过逻辑“与”运算，利用
Figure FDA0002305097610000031
的结果校正的f(V，Vi)结果；
S33、确定在复杂的视频监控场景中是否存在异常事件，进行异常视频的判断：
Figure FDA0002305097610000032
其中，N表示视频帧的个数，当在视频中出现异常事件的频率超过阈值μC，则可以认为该视频是异常视频，并将该视频进行清洗。
CN201911236747.6A 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法 Active CN111008596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911236747.6A CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911236747.6A CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Publications (2)

Publication Number Publication Date
CN111008596A true CN111008596A (zh) 2020-04-14
CN111008596B CN111008596B (zh) 2020-12-25

Family

ID=70114722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911236747.6A Active CN111008596B (zh) 2019-12-05 2019-12-05 基于特征期望子图校正分类的异常视频清洗方法

Country Status (1)

Country Link
CN (1) CN111008596B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115984A (zh) * 2020-08-28 2020-12-22 安徽农业大学 基于深度学习的茶园异常数据校正方法、系统和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统
CN105430384A (zh) * 2015-12-10 2016-03-23 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
CN105550699A (zh) * 2015-12-08 2016-05-04 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN106548153A (zh) * 2016-10-27 2017-03-29 杭州电子科技大学 基于多尺度变换下图结构的视频异常检测方法
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN107818307A (zh) * 2017-10-31 2018-03-20 天津大学 一种基于lstm网络的多标签视频事件检测方法
WO2018191555A1 (en) * 2017-04-14 2018-10-18 Drishti Technologies. Inc Deep learning system for real time analysis of manufacturing operations
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统
CN105550699A (zh) * 2015-12-08 2016-05-04 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN105430384A (zh) * 2015-12-10 2016-03-23 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
WO2017150032A1 (en) * 2016-03-02 2017-09-08 Mitsubishi Electric Corporation Method and system for detecting actions of object in scene
CN106548153A (zh) * 2016-10-27 2017-03-29 杭州电子科技大学 基于多尺度变换下图结构的视频异常检测方法
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
WO2018191555A1 (en) * 2017-04-14 2018-10-18 Drishti Technologies. Inc Deep learning system for real time analysis of manufacturing operations
CN107818307A (zh) * 2017-10-31 2018-03-20 天津大学 一种基于lstm网络的多标签视频事件检测方法
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIN W.等: "Abnormal Event Detection in Videos Using Hybrid Spatio-Temporal Autoencoder", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
OU YE等: "Video scene classification with complex background algorithm based on improved CNNs", 《2018 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》 *
叶鸥 等: "视频数据质量与视频数据检测技术", 《西安科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115984A (zh) * 2020-08-28 2020-12-22 安徽农业大学 基于深度学习的茶园异常数据校正方法、系统和存储介质

Also Published As

Publication number Publication date
CN111008596B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
Zhou et al. Anomalynet: An anomaly detection network for video surveillance
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN110738647B (zh) 融合多感受野特征映射与高斯概率模型的老鼠检测方法
CN110222592B (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN108667684B (zh) 一种基于局部向量点积密度的数据流异常检测方法
CN110852152B (zh) 一种基于数据增强的深度哈希行人重识别方法
CN113569756B (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN114241511B (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN111008596B (zh) 基于特征期望子图校正分类的异常视频清洗方法
CN116682043B (zh) 基于SimCLR无监督深度对比学习异常视频清洗方法
AU2021218192B1 (en) Video anomaly detection method and system based on generative assistant discriminative network
CN111666999A (zh) 一种遥感图像的分类方法
CN115908419A (zh) 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
Wang et al. Coda: Counting objects via scale-aware adversarial density adaption
CN115761647A (zh) 基于计算机视觉的变电站内物体运动轨迹检测方法及系统
CN113537240A (zh) 一种基于雷达序列图像的形变区智能提取方法及系统
CN113535527A (zh) 一种面向实时流数据预测性分析的降载方法及系统
CN113792776A (zh) 面向网络安全异常检测中深度学习模型的解释方法
Al Mamun et al. Missing signal imputation for multi-channel sensing signals on rotary machinery by tensor factorization
CN111897988A (zh) 一种高光谱遥感图像分类方法及系统
Peng et al. Research on missing data filling method of wind power generation based on k-nearest neighbor algorithm
CN114363195B (zh) 面向时间和频谱残差卷积网络的网络流量预测预警方法
Zhao et al. Sparse Bayesian Tensor Completion for Data Recovery in Intelligent IoT Systems
CN115389882B (zh) 电晕放电状态评估方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210730

Address after: 223001 Room 201, building 7, 83 Beijing North Road, qingjiangpu District, Huai'an City, Jiangsu Province

Patentee after: Jiangsu Kesheng Xuanyi Technology Co.,Ltd.

Address before: Xi'an University of science and technology, 58 Yanta Road, Beilin District, Xi'an City, Shaanxi Province 710054

Patentee before: XI'AN University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right