CN117392590A - 视频异常检测方法及装置 - Google Patents

视频异常检测方法及装置 Download PDF

Info

Publication number
CN117392590A
CN117392590A CN202311705997.6A CN202311705997A CN117392590A CN 117392590 A CN117392590 A CN 117392590A CN 202311705997 A CN202311705997 A CN 202311705997A CN 117392590 A CN117392590 A CN 117392590A
Authority
CN
China
Prior art keywords
video frames
previous
video
optical flow
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311705997.6A
Other languages
English (en)
Inventor
程剑杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311705997.6A priority Critical patent/CN117392590A/zh
Publication of CN117392590A publication Critical patent/CN117392590A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频异常检测方法及装置。该方法包括：按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N‑1条视频帧各自的光流，将前N‑1条视频帧各自的光流输入光流重构模型，输出前N‑1条视频帧各自的重建光流；将前N‑1条视频帧及前N‑1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。采用上述技术手段，解决现有技术中，视频异常检测准确率低的问题。

Description

视频异常检测方法及装置
技术领域
本申请涉及视频检测技术领域，尤其涉及一种视频异常检测方法及装置。
背景技术
视频异常检测是指在视频中识别不符合预期行为的事件。在实际应用中，异常事件的发生通常比正常事件少得多，且异常事件的形式是无界的、无法提前定义的。显然，提前收集各类异常数据是不可能的，因此，常见的视频异常检测方法是在正常数据上训练一个无监督学习模型，将被该模型识别为异常值的事件或活动视为异常。该无监督学习模型的工作原理是非正常即异常，即通过判断视频是不是属于正常数据，如果不属于则判定为异常，该方法由于缺少异常数据所以导致视频异常检测准确率低的问题。因为提前收集各类异常数据是不可能的，所以本领域技术人员试图通过其它方法提高视频异常检测的准确率，但目前还没有取得效果。
发明内容
有鉴于此，本申请实施例提供了一种视频异常检测方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，视频异常检测准确率低的问题。
本申请实施例的第一方面，提供了一种视频异常检测方法，包括：获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。
本申请实施例的第二方面，提供了一种视频异常检测装置，包括：获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。采用上述技术手段，可以解决现有技术中，视频异常检测准确率低的问题，进而提高视频异常检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种视频异常检测方法的流程示意图；
图2是本申请实施例提供的一种视频帧预测模型的训练方法的流程示意图；
图3是本申请实施例提供的一种视频异常检测装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种视频异常检测方法的流程示意图。图1的视频异常检测方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该视频异常检测方法包括：
S101，获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；
S102，提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；
S103，将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；
S104，计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；
S105，当加权误差大于预设误差，确定目标视频存在异常。
光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。视频帧是由图像组成的，所以提取视频帧的光流和提取图像的光流的方法一样，提取图像的光流的方法是常用技术，不再赘述。光流重构模型已通过训练，能根据视频帧的光流，确定该视频帧的重建光流。视频帧预测模型已通过训练，能基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，其中，在预测第K条视频帧对应的预测视频帧的过程中，前K-1条视频帧各自的重建光流作为条件指导前K-1条视频帧确定第K条视频帧对应的预测视频帧。因为重建光流和预测视频帧均有N-1个，所以重建误差和预测误差也均有N-1个，其中，每条视频帧的重建光流和光流相对应，每条视频帧的和其预测视频帧相对应。当加权误差小于等于预设误差，确定目标视频不存在异常。
根据本申请实施例提供的技术方案，获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。采用上述技术手段，可以解决现有技术中，视频异常检测准确率低的问题，进而提高视频异常检测的准确率。
进一步地，光流重构模型是由编码器后接多个记忆网络和解码器的组合构成的；编码器是由多个卷积块和一个下采样层依次连接构成的；解码器是由多个卷积块和一个上采样层依次连接构成的；卷积块是由卷积层、批量归一化层和激活层依次连接构成的。
一个记忆网络和一个解码器为一个组合，编码器后接多个组合构成光流重构模型。下采样层和上采样层分别用于进行下采样操作和上采样操作，下采样层和上采样层通过卷积和反卷积实现。激活层可以选用ReLU激活函数。
进一步地，光流重构模型是由编码器、记忆网络、第一解码器、记忆网络、第二解码器、记忆网络和第三解码器依次连接构成的；其中，第一解码器、第二解码器和第三解码器是同一种解码器，编码器还分别与第一解码器和第二解码器存在连接。
本申请实施例是由编码器后接三个组合构成光流重构模型。本申请中的编码器均可以是变分自编码器，解码器均可以是变分自解码器。记忆网络是Memory Network。
进一步地，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流，包括：通过编码器对前N-1条视频帧进行处理，得到前N-1条视频帧各自的编码结果；通过第一解码器之前的记忆网络对前N-1条视频帧各自的编码结果进行处理，得到前N-1条视频帧各自的第一处理结果；通过第一解码器对前N-1条视频帧各自的编码结果和第一处理结果进行处理，得到前N-1条视频帧各自的第一解码结果；通过第二解码器之前的记忆网络对前N-1条视频帧各自的第一解码结果进行处理，得到前N-1条视频帧各自的第二处理结果；通过第二解码器对前N-1条视频帧各自的编码结果和第二处理结果进行处理，得到前N-1条视频帧各自的第二解码结果；通过第三解码器之前的记忆网络对前N-1条视频帧各自的第二解码结果进行处理，得到前N-1条视频帧各自的第三处理结果；通过第三解码器对前N-1条视频帧各自的第三处理结果进行处理，得到前N-1条视频帧各自的重建光流。
第一解码器是通过对比对每条视频帧的编码结果和第一处理结果进行解码，得到每条视频帧的第一解码结果，第二解码器是通过对比对每条视频帧的编码结果和第二处理结果进行解码，得到每条视频帧的第二解码结果，第三解码器对是直接对每条视频帧的第三处理结果进行解码，得到每条视频帧的重建光流。本申请实施例通过多次解码得到每条视频帧的重建光流。
进一步地，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流之前，方法还包括：获取训练数据，并将训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；以每条重建光流和其对应光流之间的重建误差最小为原则，优化光流重构模型的模型参数，以完成对光流重构模型的训练。
进一步地，将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，包括：视频帧预测模型内部包含第一编码器、第二编码器和第三编码器；通过第一编码器对前N-1条视频帧及前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第一编码特征，其中，前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的第一编码特征；对第2条至第N条视频帧各自对应的第一编码特征进行采样，得到第2条至第N条视频帧各自对应的第一分布，对第2条至第N条视频帧各自对应的第一分布进行采样，得到第2条至第N条视频帧各自对应的采样特征；通过第二编码器对前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第二编码特征，其中，前K-1条视频帧确定第K条视频帧对应的第二编码特征；对第2条至第N条视频帧各自对应的采样特征和第二编码特征进行拼接处理，得到第2条至第N条视频帧各自对应的拼接特征；通过第三编码器对第2条至第N条视频帧各自对应的拼接特征进行处理，得到第2条至第N条视频帧各自对应的预测视频帧。
视频帧预测模型内部包含并行的第一编码器和第二编码器，以及连接在第一编码器和第二编码器之后的第三编码器组成的，第一编码器和第三编码器之间还包括两次采样的算法，也就是对第一编码特征进行采样，得到第一分布，对第一分布进行采样，得到采样特征。得到第三编码器之前还有拼接处理的算法，也就是对采样特征和第二编码特征进行拼接处理，得到拼接特征。
第一编码器、第二编码器和第三编码器均可以是变分自编码器，但是用途不同，以及在视频帧预测模型中的位置不同。变分自编码器(VAE)不输出潜空间中的潜在变量，而是输出每个输入的潜空间中预定义分布的参数，也即是输出每个潜在变量的平均值和标准差（第一编码特征和第二编码特征），然后从这个平均值和标准偏差中采样得到潜在向量（第一分布）。
可以用表示第一分布，/>表示前N-1条视频帧，/>表示前N-1条视频帧的重建光流。
图2是本申请实施例提供的一种视频帧预测模型的训练方法的流程示意图。如图2所示，包括：
S201，获取训练数据，并将训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；
S202，提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流，其中，光流重构模型已通过训练，能根据视频帧的光流，确定该视频帧的重建光流；
S203，将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧；
S204，以每条预测视频帧和其对应视频帧之间的预测误差最小为原则，优化视频帧预测模型的模型参数，以完成对视频帧预测模型的训练。
在一些实施例中，通过第二编码器对前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第二编码特征；对第2条至第N条视频帧各自对应的第二编码特征进行采样，得到第2条至第N条视频帧各自对应的第二分布；计算第2条至第N条视频帧各自对应的第一分布和第二分布之间的KL散度；计算每条预测视频帧和其对应视频帧之间的预测误差；根据第2条至第N条视频帧各自对应的第一分布和第二分布之间的KL散度以及每条预测视频帧和其对应视频帧之间的预测误差，优化视频帧预测模型的模型参数，以完成对视频帧预测模型的训练。
KL散度(Kullback-Leibler Divergence)。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种视频异常检测装置的示意图。如图3所示，该视频异常检测装置包括：
划分模块301，被配置为获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；
重构模块302，被配置为提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；
预测模块303，被配置为将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；
计算模块304，被配置为计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；
确定模块305，被配置为当加权误差大于预设误差，确定目标视频存在异常。
根据本申请实施例提供的技术方案，获取待进行视频异常检测的目标视频，并按照时间顺序将目标视频划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对重建误差和预测误差进行加权求和，得到加权误差；当加权误差大于预设误差，确定目标视频存在异常。采用上述技术手段，可以解决现有技术中，视频异常检测准确率低的问题，进而提高视频异常检测的准确率。
进一步地，光流重构模型是由编码器后接多个记忆网络和解码器的组合构成的；编码器是由多个卷积块和一个下采样层依次连接构成的；解码器是由多个卷积块和一个上采样层依次连接构成的；卷积块是由卷积层、批量归一化层和激活层依次连接构成的。
进一步地，光流重构模型是由编码器、记忆网络、第一解码器、记忆网络、第二解码器、记忆网络和第三解码器依次连接构成的；其中，第一解码器、第二解码器和第三解码器是同一种解码器，编码器还分别与第一解码器和第二解码器存在连接。
在一些实施例中，重构模块302还被配置为通过编码器对前N-1条视频帧进行处理，得到前N-1条视频帧各自的编码结果；通过第一解码器之前的记忆网络对前N-1条视频帧各自的编码结果进行处理，得到前N-1条视频帧各自的第一处理结果；通过第一解码器对前N-1条视频帧各自的编码结果和第一处理结果进行处理，得到前N-1条视频帧各自的第一解码结果；通过第二解码器之前的记忆网络对前N-1条视频帧各自的第一解码结果进行处理，得到前N-1条视频帧各自的第二处理结果；通过第二解码器对前N-1条视频帧各自的编码结果和第二处理结果进行处理，得到前N-1条视频帧各自的第二解码结果；通过第三解码器之前的记忆网络对前N-1条视频帧各自的第二解码结果进行处理，得到前N-1条视频帧各自的第三处理结果；通过第三解码器对前N-1条视频帧各自的第三处理结果进行处理，得到前N-1条视频帧各自的重建光流。
在一些实施例中，重构模块302还被配置为获取训练数据，并将训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；以每条重建光流和其对应光流之间的重建误差最小为原则，优化光流重构模型的模型参数，以完成对光流重构模型的训练。
在一些实施例中，预测模块303还被配置为视频帧预测模型内部包含第一编码器、第二编码器和第三编码器；通过第一编码器对前N-1条视频帧及前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第一编码特征，其中，前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的第一编码特征；对第2条至第N条视频帧各自对应的第一编码特征进行采样，得到第2条至第N条视频帧各自对应的第一分布，对第2条至第N条视频帧各自对应的第一分布进行采样，得到第2条至第N条视频帧各自对应的采样特征；通过第二编码器对前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第二编码特征，其中，前K-1条视频帧确定第K条视频帧对应的第二编码特征；对第2条至第N条视频帧各自对应的采样特征和第二编码特征进行拼接处理，得到第2条至第N条视频帧各自对应的拼接特征；通过第三编码器对第2条至第N条视频帧各自对应的拼接特征进行处理，得到第2条至第N条视频帧各自对应的预测视频帧。
在一些实施例中，预测模块303还被配置为获取训练数据，并将训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流，其中，光流重构模型已通过训练，能根据视频帧的光流，确定该视频帧的重建光流；将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧；以每条预测视频帧和其对应视频帧之间的预测误差最小为原则，优化视频帧预测模型的模型参数，以完成对视频帧预测模型的训练。
在一些实施例中，预测模块303还被配置为通过第二编码器对前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第二编码特征；对第2条至第N条视频帧各自对应的第二编码特征进行采样，得到第2条至第N条视频帧各自对应的第二分布；计算第2条至第N条视频帧各自对应的第一分布和第二分布之间的KL散度；计算每条预测视频帧和其对应视频帧之间的预测误差；根据第2条至第N条视频帧各自对应的第一分布和第二分布之间的KL散度以及每条预测视频帧和其对应视频帧之间的预测误差，优化视频帧预测模型的模型参数，以完成对视频帧预测模型的训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频异常检测方法，其特征在于，包括：
获取待进行视频异常检测的目标视频，并按照时间顺序将所述目标视频划分为存在先后次序的N条视频帧；
提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；
将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，所述视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；
计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对所述重建误差和所述预测误差进行加权求和，得到加权误差；
当所述加权误差大于预设误差，确定所述目标视频存在异常。
2.根据权利要求1所述的方法，其特征在于，所述光流重构模型是由编码器后接多个记忆网络和解码器的组合构成的；
所述编码器是由多个卷积块和一个下采样层依次连接构成的；
所述解码器是由多个卷积块和一个上采样层依次连接构成的；
所述卷积块是由卷积层、批量归一化层和激活层依次连接构成的。
3.根据权利要求1所述的方法，其特征在于，所述光流重构模型是由编码器、记忆网络、第一解码器、所述记忆网络、第二解码器、所述记忆网络和第三解码器依次连接构成的；
其中，所述第一解码器、所述第二解码器和所述第三解码器是同一种解码器，所述编码器还分别与所述第一解码器和所述第二解码器存在连接。
4.根据权利要求3所述的方法，其特征在于，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流，包括：
通过所述编码器对前N-1条视频帧进行处理，得到前N-1条视频帧各自的编码结果；
通过所述第一解码器之前的记忆网络对前N-1条视频帧各自的编码结果进行处理，得到前N-1条视频帧各自的第一处理结果；
通过所述第一解码器对前N-1条视频帧各自的编码结果和第一处理结果进行处理，得到前N-1条视频帧各自的第一解码结果；
通过所述第二解码器之前的记忆网络对前N-1条视频帧各自的第一解码结果进行处理，得到前N-1条视频帧各自的第二处理结果；
通过所述第二解码器对前N-1条视频帧各自的编码结果和第二处理结果进行处理，得到前N-1条视频帧各自的第二解码结果；
通过所述第三解码器之前的记忆网络对前N-1条视频帧各自的第二解码结果进行处理，得到前N-1条视频帧各自的第三处理结果；
通过所述第三解码器对前N-1条视频帧各自的第三处理结果进行处理，得到前N-1条视频帧各自的重建光流。
5.根据权利要求1所述的方法，其特征在于，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流之前，所述方法还包括：
获取训练数据，并将所述训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；
提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入所述光流重构模型，输出前N-1条视频帧各自的重建光流；
以每条重建光流和其对应光流之间的重建误差最小为原则，优化所述光流重构模型的模型参数，以完成对所述光流重构模型的训练。
6.根据权利要求1所述的方法，其特征在于，将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，包括：
所述视频帧预测模型内部包含第一编码器、第二编码器和第三编码器；
通过所述第一编码器对前N-1条视频帧及前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第一编码特征，其中，前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的第一编码特征；
对第2条至第N条视频帧各自对应的第一编码特征进行采样，得到第2条至第N条视频帧各自对应的第一分布，对第2条至第N条视频帧各自对应的第一分布进行采样，得到第2条至第N条视频帧各自对应的采样特征；
通过所述第二编码器对前N-1条视频帧各自的重建光流进行处理，得到第2条至第N条视频帧各自对应的第二编码特征，其中，前K-1条视频帧确定第K条视频帧对应的第二编码特征；
对第2条至第N条视频帧各自对应的采样特征和第二编码特征进行拼接处理，得到第2条至第N条视频帧各自对应的拼接特征；
通过所述第三编码器对第2条至第N条视频帧各自对应的拼接特征进行处理，得到第2条至第N条视频帧各自对应的预测视频帧。
7.根据权利要求1所述的方法，其特征在于，将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧之前，所述方法还包括：
获取训练数据，并将所述训练数据中的训练视频按照时间顺序划分为存在先后次序的N条视频帧；
提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入所述光流重构模型，输出前N-1条视频帧各自的重建光流，其中，所述光流重构模型已通过训练，能根据视频帧的光流，确定该视频帧的重建光流；
将前N-1条视频帧及前N-1条视频帧各自的重建光流输入所述视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，所述视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧；
以每条预测视频帧和其对应视频帧之间的预测误差最小为原则，优化所述视频帧预测模型的模型参数，以完成对所述视频帧预测模型的训练。
8.一种视频异常检测装置，其特征在于，包括：
划分模块，被配置为获取待进行视频异常检测的目标视频，并按照时间顺序将所述目标视频划分为存在先后次序的N条视频帧；
重构模块，被配置为提取前N-1条视频帧各自的光流，将前N-1条视频帧各自的光流输入光流重构模型，输出前N-1条视频帧各自的重建光流；
预测模块，被配置为将前N-1条视频帧及前N-1条视频帧各自的重建光流输入视频帧预测模型，输出第2条至第N条视频帧各自对应的预测视频帧，其中，所述视频帧预测模型是基于前K-1条视频帧及前K-1条视频帧各自的重建光流确定第K条视频帧对应的预测视频帧，K为小于等于N的任意正整数；
计算模块，被配置为计算每条重建光流和其对应光流之间的重建误差，计算每条预测视频帧和其对应视频帧之间的预测误差，对所述重建误差和所述预测误差进行加权求和，得到加权误差；
确定模块，被配置为当所述加权误差大于预设误差，确定所述目标视频存在异常。
9.一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202311705997.6A 2023-12-13 2023-12-13 视频异常检测方法及装置 Pending CN117392590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311705997.6A CN117392590A (zh) 2023-12-13 2023-12-13 视频异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311705997.6A CN117392590A (zh) 2023-12-13 2023-12-13 视频异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN117392590A true CN117392590A (zh) 2024-01-12

Family

ID=89435998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311705997.6A Pending CN117392590A (zh) 2023-12-13 2023-12-13 视频异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN117392590A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527150A (zh) * 2022-10-31 2022-12-27 南京邮电大学 一种结合卷积注意力模块的双分支视频异常检测方法
CN117115715A (zh) * 2023-09-06 2023-11-24 安徽大学 一种基于流重构和帧预测结合的视频异常检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527150A (zh) * 2022-10-31 2022-12-27 南京邮电大学 一种结合卷积注意力模块的双分支视频异常检测方法
CN117115715A (zh) * 2023-09-06 2023-11-24 安徽大学 一种基于流重构和帧预测结合的视频异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIAN LIU ET AL: "A Hybrid Video Anomaly Detection Framework via Memory-Augmented Flow Reconstruction and Flow-Guided Frame Prediction", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 28 February 2022 (2022-02-28), pages 13568 - 13575 *

Similar Documents

Publication Publication Date Title
CN108880931B (zh) 用于输出信息的方法和装置
CN110008080A (zh) 基于时间序列的业务指标异常检测方法、装置和电子设备
US20190327481A1 (en) Intra-prediction video coding method and device
CN110929780A (zh) 视频分类模型构建、视频分类的方法、装置、设备及介质
CN111144375B (zh) 基于特征编码的异常行为检测方法、装置及电子设备
CN111160485A (zh) 基于回归训练的异常行为检测方法、装置及电子设备
CN110457524B (zh) 模型生成方法、视频分类方法及装置
US11983866B2 (en) Image defect detection method, electronic device using the same
CN110084742B (zh) 一种视差图预测方法、装置及电子设备
WO2020075019A1 (en) Prediction model enhancement
CN113556442A (zh) 视频去噪方法、装置、电子设备及计算机可读存储介质
CN111639011A (zh) 一种数据监控方法、装置及设备
CN111327946A (zh) 视频质量评价和特征字典的训练方法、装置和介质
CN116912635B (zh) 目标追踪方法及装置
CN113705553B (zh) 视觉任务执行方法、装置、电子设备、存储介质及系统
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
CN117392590A (zh) 视频异常检测方法及装置
CN112187266A (zh) 一种模数转换器的非线性校正方法、装置及电子设备
CN111083494A (zh) 一种视频编码方法、装置及终端设备
CN111563078B (zh) 基于时序数据的数据质量检测方法、检测装置及存储装置
CN115345279A (zh) 多指标异常检测方法、装置、电子设备及存储介质
WO2022216375A1 (en) Anomaly detection in multiple operational modes
CN113515684A (zh) 一种异常数据检测方法及装置
US11947406B2 (en) Method, electronic device, and computer program product for memory fault prediction
CN116341640B (zh) 文本处理模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination