CN111814644B - 一种基于扰动视觉解释的视频异常事件检测方法 - Google Patents

一种基于扰动视觉解释的视频异常事件检测方法 Download PDF

Info

Publication number
CN111814644B
CN111814644B CN202010619232.0A CN202010619232A CN111814644B CN 111814644 B CN111814644 B CN 111814644B CN 202010619232 A CN202010619232 A CN 202010619232A CN 111814644 B CN111814644 B CN 111814644B
Authority
CN
China
Prior art keywords
representing
input
interpretation
video
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010619232.0A
Other languages
English (en)
Other versions
CN111814644A (zh
Inventor
丰江帆
张莉
梁渝坤
熊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010619232.0A priority Critical patent/CN111814644B/zh
Publication of CN111814644A publication Critical patent/CN111814644A/zh
Application granted granted Critical
Publication of CN111814644B publication Critical patent/CN111814644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉和模式识别领域，具体涉及一种基于扰动视觉解释的视频异常事件检测方法，包括：获取视频数据集，将数据集输入到优化的深度学习模型中进行模型训练；实时获取视频数据，将获取的数据输入到训练好的深度学习模型中，得到检测结果以及解释图；本发明在构建深度学习模型中加入了可解释模型，通过可解释模型提取了输入视频中的重要像素以及重要区域，使得深度学习模型在处理视频数据过程中的更明确，增强了检测结果的可信度。

Description

一种基于扰动视觉解释的视频异常事件检测方法
技术领域
本发明属于计算机视觉和模式识别领域，具体涉及一种基于扰动视觉解释的视频异常事件检测方法。
背景技术
随着计算机科学技术的发展，利用图像处理、计算机视觉、机器学习等技术可以突破传统视频监控系统的局限性，实现对视频监控系统的视频智能分析和异常事件的主动检测和实时预警，对于公共安全领域的视频监控应用有重要价值。
通过设定标签，计算机可以完成“正常事件”与“异常事件”的判别。视频的异常事件检测根据其对标签的选择可以分为三种类型：全监督、半监督、无监督。全监督模型为必须在检测前已知正常事件和异常事件的标签，通过建立二分类器完成检测划分。半监督模型为仅需已知正常事件的标签，训练正常事件的模型，而异常事件无法通过此模型生成。无监督模型为不需要知道任何标签，仅仅通过正常事件比异常事件更普通这一特性进行模型的迭代，并进行事件是否异常的判断。目前，已经有一些方法使用无监督步骤来检测视频中的异常事件。如Yong等人在2017发表了“Abnormal event detection in videos usingspatiotemporal autoencoder”，提出了时空自编码器的模型，该模型对正常模式进行训练，通过输入帧与重建帧之间的重构误差来判断是否异常。Lin Wang等人在2018年发表了“Abnormal event detection in videos using spatio-temporal autoencoder”,探索了一种混合自编码器结构，它不仅能提取出更好的时空上下文，而且还能通过快捷连接提高相应解码器的推断能力。2019年CVPR会议上，Radu等人提出“Object-centric auto-encoders and dummy anomalies for abnormal event detection in video”,通过一个基于以对象为中心的卷积自动编码器的无监督特征学习框架来对运动和外观信息进行编码。
但是目前使用无监督模型进行异常事件检测的算法中，由于采用CNNs的黑盒特性，使得模型缺乏解释性，导致了检测结果的可信度低，检测性能差。
发明内容
为解决以上现有技术的问题，本发明提出了一种基于扰动视觉解释的视频异常事件检测方法，包括：获取视频数据集，将数据集输入到优化的深度学习模型中进行模型训练；实时获取视频数据，将获取的数据输入到训练好的深度学习模型中，得到检测结果；
所述模型训练的过程包括：将训练集的数据进行预处理，并将处理好的数据集输入到空间编码器中学习每个视频帧的空间结构；将空间编码器处理后的数据输入到时间自编码中学习空间结构的时间模式，得到特征图；采用删除解释和保留解释方法对特征图进行处理得到解释图；将特征图输入到解码器中进行反卷积操作，得到重建帧；根据输入帧和重建帧计算输入图像的规律性分数；将得到的规律性分数进行划分，得到视频异常与视频正常的分类，完成模型训练。
优选的，所述深度学习模型包括编码器和解码器；所述编码器包括由三个卷积层组成空间编码器以及由三层卷积长短时记忆模型组成的时间自编码器；解码器为三层反卷积层组成的空间自编码器。
优选的，所述长短时记忆模型为：
ft＝σ(WXF*Xt+WHF*ht-1+WCFoCt-1+bF)
it＝σ(WXI*Xt+WHI*ht-1+WCIoCt-1+bI)
Ct＝ftoCt-1+it·tanh(WXC*Xt+WHC*ht-1+bc)
Ot＝σ(WXO*Xt+WHO*ht-1+WCOoCt+bo)
ht＝Oto tanh(Ct)
优选的，得到解释图的过程包括：计算输入视频帧的掩码；将输入视频帧与计算得到的掩码相乘，得到解释图
Figure BDA0002564612990000021
即
Figure BDA0002564612990000022
对解释图进行优化处理。
优选的，计算掩码的过程包括：输入特征图像x，通过移除与目标类CT相关或不相关的像素点得到掩码
Figure BDA0002564612990000031
保留解释的掩码为：
Figure BDA0002564612990000032
删除解释的掩码为：
Figure BDA0002564612990000033
优选的，采用神经网络模型对解释图进行优化处理：所述对解释图进行优化处理包括在模型的所有非线性层之后增加约束，在进行约束后，采用调整公式对解释图进行调整，得到优化后的解释图；所述约束为：
Figure BDA0002564612990000034
其中，
Figure BDA0002564612990000035
表示对网络中第1层的第i神经元的非线性层进行激活后的激活函数；
所述调整公式对解释图进行调整的过程包括：
Figure BDA0002564612990000036
Figure BDA0002564612990000037
Figure BDA0002564612990000038
优选的，计算输入图像的规律性分数包括：计算输入视频序列中第t帧中的一个像素强度值I在位置(x，y)的重构误差e(x，y，t)；根据重构误差计算视频序列中输入帧与重建帧的欧氏距离e(t)；根据欧氏距离计算输入视频的异常分数Sa(t)与规律性分数Sr(t)。
优选的，计算异常分数Sa(t)与规律性分数Sr(t)的公式包括：
Figure BDA0002564612990000039
Sr(t)＝1-Sa(t)
本发明在构建深度学习模型中加入了可解释模型，通过可解释模型提取了输入视频中的重要像素以及重要区域，使得深度学习模型在处理视频数据过程中的更明确，增强了检测结果的可信度。
附图说明
图1为本发明的总体流程图；
图2为本发明的构建深度学习模型的总体结构图；
图3为本发明的视频数据中的异常检测流程图；
图4为本发明的网络架构图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于扰动视觉解释的视频异常事件检测方法，如图1所示，包括：获取视频数据集，将数据集输入到优化的深度学习模型中进行模型训练；实时获取视频数据，将获取的数据输入到训练好的深度学习模型中，得到检测结果以及解释图。
如图4所示，本发明的深度学习模型包括编码器和解码器；所述编码器包括空间编码器和时间自编码器；解码器为空间自编码器。
空间编码器由三个卷积层组成；第一层卷积层有128个滤波器，尺寸为11*11，步长为3；第二层卷积层有64个滤波器，尺寸为3*3，步长为2；第三层卷积层有32个滤波器，尺寸为5*5，步长为1。
时间编码器为三层卷积长短时记忆模型；第一层ConvLSTM有64个滤波器，尺寸为5*5；第二层ConvLSTM有32个滤波器，尺寸为5*5；第三层ConvLSTM有64个滤波器，尺寸为5*5。
空间自编码器由三层反卷积层构成；第一层反卷积层有64个滤波器，尺寸为5*5，步长为1；第二层反卷积层有128个滤波器，尺寸为3*3，步长为2；第三层反卷积层有1个滤波器，尺寸为11*11，步长为3。
如图2所示，将训练集中的数据输入到深度学习模型中进行训练的过程中，需要对原始的数据集进行预处理，其过程包括：从原始视频中提取出每一帧并将大小调整为228*228。为了保证输入的图像都在相同的尺度上，将像素值按照0-1的比例缩放，并从全局均值图像中减去每一帧，并进行归一化处理。由于该模型的参数数量较大，需要大量的训练数据，在时间维度上执行数据扩充以增加训练数据集的大小。视频卷作为该模型的输入，其中每个视频卷由10个连续的视频帧和跳过各种步长的视频帧组成。
深度学习模型中包含长短时记忆模型，其中ConvLSTM单元处理的过程包括：
ft＝σ(WXF*Xt+WHF*ht-1+WCFoCt-1+bF)
其中，ft为遗忘门的输出值，其决定从存储单元中删除或遗忘一部分信息，ht-1为上一时刻的输出值，Xt为当前的输入值，WXF表示输入数据时遗忘门的权重矩阵，WHF表示上一时刻遗忘门的权重矩阵，WCF表示在遗忘门中细胞过去状态单元的权重矩阵，bF表示遗忘门的偏置向量，σ是激活函数sigmoid。
it＝σ(WXI*Xt+WHI*ht-1+WCIoCt-1+bI)
此式用来计算输入门的it值，以此决定更新多少信息，输出为0-1之间的某个值；
其中，it表示输入门，WXI表示输入数据时输入门的权重矩阵，WHI表示上一时刻输入门的权重矩阵，WCI表示在输入门中细胞过去状态单元的权重矩阵，o表示Hadamard乘积，Ct-1表示过去状态单元，bI表示输入门的偏置向量。
Ct＝ftoCt-1+it·tanh(WXC*Xt+WHC*ht-1+bc)
此式用来更新细胞状态，旧的细胞状态Ct-1与遗忘门输出值ft相乘，输出更新的后选值表达式与输入门it相乘，二者相加得到新的细胞状态Ct；
其中，Ct表示细胞更新状态单元，tanh(.)表示tanh激活函数，WXC表示输入数据时输入门的权重矩阵，WHC表示上一时刻细胞更新状态单元的权重矩阵，bc表示长期记忆偏置向量。
Ot＝σ(WXO*Xt+WHO*ht-1+WCOoCt+bo)
此式用来计算输出门的值Ot，它决定多大比例的记忆用于输出；
其中，WXO表示输入数据时输出门的权重矩阵，WHO表示上一时刻输出门的权重矩阵，WCO表示输出门中细胞过去状态单元的权重矩阵，bo表示输出门的偏置向量。
ht＝Oto tanh(Ct)
使用双曲正切函数更新Ct值，使其处于-1～1之间，将输出值Ot。其中，ht表示当前时刻短时记忆模型的输出值。
如图3所示，进行深度学习模型训练的过程包括：将训练集的数据进行预处理，并将处理好的数据集输入到空间编码器中学习每个视频帧的空间结构；将经过空间编码器的数据集输入到时间自编码器中，得到所编码空间结构的时间模式，并得到特征图；根据特征图求出输入视频的解释图；将特征图输入到解码器中进行反卷积操作，得到重构图；根据输入图和重构图计算输入图像的规律性分数；将得到的规律性分数进行划分，得到视频异常与视频正常的分类，完成模型训练。
得到解释图的过程包括：计算特征图的掩码；将输入视频帧与计算得到的掩码相乘，得到解释图
Figure BDA0002564612990000061
即
Figure BDA0002564612990000062
其中，
Figure BDA0002564612990000063
表示掩码，x表示输入视频帧。
所述计算掩码的过程包括：给定一个输入图像x，通过移除与目标类CT相关或不相关的像素点得到掩码
Figure BDA0002564612990000064
由于在计算掩码过程中无法在不替换信息的情况下删除信息，因此采用近似删除符对信息进行删除；
通过Φ操作计算图像x和0值图像r之间的加权平均：
Figure BDA0002564612990000071
其中，
Figure BDA0002564612990000072
表示解释图，
Figure BDA0002564612990000073
表示初始化掩码。
Figure BDA0002564612990000074
H表示高度，W表示宽度；通过对计算图像x和0值图像r进行平均加权处理，使得不相关的像素被置为0而没有被其他像素结构替代，从而产生可视化解释。
Figure BDA0002564612990000075
是一个相似性矩阵，用来度量将解释图输入模型后输出的
Figure BDA0002564612990000076
和将原始图像输入模型后输出的
Figure BDA0002564612990000077
之间的一致性。
保留解释定义为：
Figure BDA0002564612990000078
Figure BDA0002564612990000079
删除解释定义为：
Figure BDA00025646129900000710
Figure BDA00025646129900000711
其中，
Figure BDA00025646129900000712
表示掩码，CT表示目标类，
Figure BDA00025646129900000713
表示取最小值，
Figure BDA00025646129900000714
表示相似性度量，
Figure BDA00025646129900000715
表示原始图像输入模型后的输出，
Figure BDA00025646129900000716
表示解释图输入模型后的输出，λ表示系数，
Figure BDA00025646129900000717
表示初始化掩码，||·||1表示在保留解释中表示最小化，在删除解释中表示最大化，
Figure BDA00025646129900000718
表示取最大值。
CNN中的一个神经元要想被解释图激活，那么他必须能被原始图像x激活，这样就保证了解释图是x的一个子集，在模型的所有非线性层之后增加约束：
Figure BDA00025646129900000719
其中
Figure BDA00025646129900000720
是网络中第1层的第i神经元在非线性计算后的结果。为了求解满足上述的约束问题，在网络中每个非线性计算后增加一个额外的计算：
Figure BDA0002564612990000081
Figure BDA0002564612990000082
Figure BDA0002564612990000083
其中，
Figure BDA0002564612990000084
表示调整后的解释图激活，
Figure BDA0002564612990000085
表示原始解释图的激活，
Figure BDA0002564612990000086
表示原始图像的激活，eCT表示解释图，bu表示激活函数的上边界值，bl表示激活函数的下边界值。
上述的梯度裁剪法不增加超参数，在前向传递中保持模型的原始结构，同时支持细粒度解释。
当模型被训练后，计算视频序列第t帧中一个像素的强度值I在位置(x，y)处的重构误差如下：
e(x，y，t)＝||I(x，y，t)-fw(I(x，y，t))||2
其中，fw为时空模型的学习权值。根据重构误差计算视频序列的输入帧与重建帧之间的欧氏距离e(t)：
e(t)＝||x(t)-fw(x(t))||2
通过0和1之间的比例计算异常分数Sa(t)。从1中减去异常分数，得到规律性分数Sr(t)：
Figure BDA0002564612990000087
Sr(t)＝1-Sa(t)
其中，e(t)表示输入视频中的输入帧与重建帧之间的欧氏距离，e(t)min表示模型训练过程中的最小欧氏距离，e(t)max表示模型训练过程中的最大欧氏距离。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，包括：获取视频数据集，将数据集输入到优化的深度学习模型中进行模型训练；实时获取视频数据，将获取的数据输入到训练好的深度学习模型中，得到检测结果；
所述模型训练的过程包括：将训练集的数据进行预处理，并将处理好的数据集输入到空间编码器中学习每个视频帧的空间结构；将空间编码器处理后的数据输入到时间自编码中学习空间结构的时间模式，得到特征图；采用删除解释和保留解释方法对特征图进行处理得到解释图；将特征图输入到解码器中进行反卷积操作，得到重建帧；根据输入帧和重建帧计算输入图像的规律性分数；将得到的规律性分数进行划分，得到视频异常与视频正常的分类，完成模型训练。
2.根据权利要求1所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，所述深度学习模型包括编码器和解码器；所述编码器包括由三个卷积层组成空间编码器以及由三层卷积长短时记忆模型组成的时间自编码器；解码器为三层反卷积层组成的空间自编码器。
3.根据权利要求2所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，所述长短时记忆模型为：
ft＝σ(WXF*Xt+WHF*ht-1+WCFoCt-1+bF)
it＝σ(WXI*Xt+WHI*ht-1+WCIoCt-1+bI)
Ct＝ftoCt-1+it·tanh(WXC*Xt+WHC*ht-1+bc)
Ot＝σ(WXO*Xt+WHO*ht-1+WCOoCt+bo)
ht＝Ototanh(Ct)
其中，it表示输入门，ft表示遗忘门，Ct表示细胞更新状态单元，Ot表示输出门，ht表示短期记忆，*代表卷积操作，o表示Hadamard乘积，σ表示sigmoid激活函数，tanh(.)表示tanh激活函数，Ct-1表示细胞过去状态单元，ht-1表示上一时刻的输出值，Xt表示当前的输入值，WXF表示输入数据时遗忘门的权重矩阵，WHF表示上一时刻遗忘门的权重矩阵，WCF表示在遗忘门中细胞过去状态单元的权重矩阵，bF表示遗忘门的偏置向量，WXI表示输入数据时输入门的权重矩阵，WHI表示上一时刻输入门的权重矩阵，WCI表示在输入门中细胞过去状态单元的权重矩阵，bI表示输入门的偏置向量，WXC表示输入数据时输入门的权重矩阵，WHC表示上一时刻细胞更新状态单元的权重矩阵，bc表示长期记忆偏置向量，WXO表示输入数据时输出门的权重矩阵，WHO表示上一时刻输出门的权重矩阵，WCO表示输出门中细胞过去状态单元的权重矩阵，bo表示输出门的偏置向量。
4.根据权利要求1所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，得到解释图的过程包括：计算输入视频帧的掩码；将输入视频帧与计算得到的掩码相乘，得到解释图
Figure FDA0002564612980000021
即
Figure FDA0002564612980000022
对解释图进行优化处理；
其中，
Figure FDA0002564612980000023
表示掩码，x表示输入视频帧。
5.根据权利要求4所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，计算掩码的过程包括：输入特征图像x，通过移除与目标类CT相关或不相关的像素点得到掩码
Figure FDA0002564612980000024
保留解释的掩码为：
Figure FDA0002564612980000025
删除解释的掩码为：
Figure FDA0002564612980000026
其中，
Figure FDA0002564612980000027
表示掩码，CT表示目标类，
Figure FDA0002564612980000028
表示取最小值，
Figure FDA0002564612980000029
表示取最大值，
Figure FDA00025646129800000210
表示相似性度量，
Figure FDA00025646129800000211
表示原始图像输入模型后的输出，
Figure FDA00025646129800000212
表示解释图输入模型后的输出，λ表示系数，
Figure FDA00025646129800000213
表示初始化掩码，
Figure FDA00025646129800000214
其中H表高度，W表示宽度，||.||1表示在保留解释中表示最小化，在删除解释中表示最大化。
6.根据权利要求4所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，所述对解释图进行优化处理包括在模型的所有非线性层之后增加约束，在进行约束后，采用调整公式对解释图进行调整，得到优化后的解释图。
7.根据权利要求6所述的所述一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，约束条件为：
Figure FDA0002564612980000031
其中，
Figure FDA0002564612980000032
表示对网络中第l层的第i神经元的非线性层进行激活后的激活函数；
所述调整公式对解释图进行调整的过程包括：
Figure FDA0002564612980000033
Figure FDA0002564612980000034
Figure FDA0002564612980000035
其中，
Figure FDA0002564612980000036
表示调整后的解释图激活，
Figure FDA0002564612980000037
表示原始解释图的激活，
Figure FDA0002564612980000038
表示原始图像的激活，eCT表示解释图，bu表示激活函数的上边界值，bl表示激活函数的下边界值。
8.根据权利要求1所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，所述计算输入图像的规律性分数包括：计算输入视频序列中第t帧中的一个像素强度值I在位置(x,y)的重构误差e(x,y,t)；根据重构误差计算视频序列中输入帧与重建帧的欧氏距离e(t)；根据欧氏距离计算输入视频的异常分数Sa(t)与规律性分数Sr(t)。
9.根据权利要求8所述的一种基于扰动视觉解释的视频异常事件检测方法，其特征在于，所述计算异常分数Sa(t)与规律性分数Sr(t)的公式包括：
Figure FDA0002564612980000041
Sr(t)＝1-Sa(t)
其中，e(t)表示输入视频中的输入帧与重建帧之间的欧氏距离，e(t)min表示模型训练过程中的最小欧氏距离，e(t)max表示模型训练过程中的最大欧氏距离。
CN202010619232.0A 2020-07-01 2020-07-01 一种基于扰动视觉解释的视频异常事件检测方法 Active CN111814644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010619232.0A CN111814644B (zh) 2020-07-01 2020-07-01 一种基于扰动视觉解释的视频异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010619232.0A CN111814644B (zh) 2020-07-01 2020-07-01 一种基于扰动视觉解释的视频异常事件检测方法

Publications (2)

Publication Number Publication Date
CN111814644A CN111814644A (zh) 2020-10-23
CN111814644B true CN111814644B (zh) 2022-05-03

Family

ID=72856629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010619232.0A Active CN111814644B (zh) 2020-07-01 2020-07-01 一种基于扰动视觉解释的视频异常事件检测方法

Country Status (1)

Country Link
CN (1) CN111814644B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287816B (zh) * 2020-10-28 2023-05-23 西安交通大学 一种基于深度学习的危险工作区事故自动检测报警方法
CN113313060A (zh) * 2021-06-17 2021-08-27 山东新一代信息产业技术研究院有限公司 基于视频监控的异常事件分类模型构建方法及检测方法
CN113392805A (zh) * 2021-07-02 2021-09-14 西安交通大学 一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
CN107452104A (zh) * 2017-07-26 2017-12-08 北京声迅电子股份有限公司 一种基于智能监控的车辆卡口的车辆控制方法及系统
CN108764019A (zh) * 2018-04-03 2018-11-06 天津大学 一种基于多源深度学习的视频事件检测方法
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109670446A (zh) * 2018-12-20 2019-04-23 泉州装备制造研究所 基于线性动态系统和深度网络的异常行为检测方法
CN110322009A (zh) * 2019-07-19 2019-10-11 南京梅花软件系统股份有限公司 基于多层卷积长短时记忆神经网络的图像预测方法
US10528819B1 (en) * 2017-11-20 2020-01-07 A9.Com, Inc. Compressed content object and action detection
CN110826702A (zh) * 2019-11-18 2020-02-21 方玉明 一种多任务深度网络的异常事件检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10978050B2 (en) * 2018-02-20 2021-04-13 Intellivision Technologies Corp. Audio type detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
CN107452104A (zh) * 2017-07-26 2017-12-08 北京声迅电子股份有限公司 一种基于智能监控的车辆卡口的车辆控制方法及系统
US10528819B1 (en) * 2017-11-20 2020-01-07 A9.Com, Inc. Compressed content object and action detection
CN108764019A (zh) * 2018-04-03 2018-11-06 天津大学 一种基于多源深度学习的视频事件检测方法
CN108805002A (zh) * 2018-04-11 2018-11-13 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109670446A (zh) * 2018-12-20 2019-04-23 泉州装备制造研究所 基于线性动态系统和深度网络的异常行为检测方法
CN110322009A (zh) * 2019-07-19 2019-10-11 南京梅花软件系统股份有限公司 基于多层卷积长短时记忆神经网络的图像预测方法
CN110826702A (zh) * 2019-11-18 2020-02-21 方玉明 一种多任务深度网络的异常事件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fight Detection in Video Sequences Based on Multi-Stream Convolutional Neural Networks;Sarah Almeida Carneiro等;《IEEE》;20191030;第8-15页 *
视频监控系统异常目标检测与定位综述;胡正平等;《燕山大学学报》;20190131;第1-12页 *

Also Published As

Publication number Publication date
CN111814644A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814644B (zh) 一种基于扰动视觉解释的视频异常事件检测方法
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN112329685A (zh) 一种融合型卷积神经网络人群异常行为检测的方法
CN113449660B (zh) 基于自注意增强的时空变分自编码网络的异常事件检测方法
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
Medel Anomaly detection using predictive convolutional long short-term memory units
Wang et al. A cognitive memory-augmented network for visual anomaly detection
CN114627150A (zh) 基于事件相机的数据处理及运动估计方法及装置
CN113128360A (zh) 基于深度学习的司机驾驶行为检测与识别方法
CN115601403A (zh) 一种基于自注意力机制的事件相机光流估计方法及装置
CN114724060A (zh) 基于掩码自编码器的无监督视频异常检测方法和装置
CN116343265A (zh) 一种全监督视频行人重识别方法、系统、设备及介质
CN113705490A (zh) 基于重构和预测的异常检测方法
Vijayan et al. A fully residual convolutional neural network for background subtraction
CN113011322A (zh) 监控视频特定异常行为的检测模型训练方法及检测方法
CN110795599B (zh) 基于多尺度图的视频突发事件监测方法及系统
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
CN112967227A (zh) 基于病灶感知建模的糖尿病视网膜病变自动评估系统
CN116563243A (zh) 输电线路的异物检测方法、装置、计算机设备和存储介质
CN115512108A (zh) 一种基于不确定性的半监督oct图像视网膜分割方法
Fang et al. An attention-based U-Net network for anomaly detection in crowded scenes
Wei et al. Pedestrian anomaly detection method using autoencoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant