CN112597864B - 一种监控视频异常检测方法及装置 - Google Patents

一种监控视频异常检测方法及装置 Download PDF

Info

Publication number
CN112597864B
CN112597864B CN202011489398.1A CN202011489398A CN112597864B CN 112597864 B CN112597864 B CN 112597864B CN 202011489398 A CN202011489398 A CN 202011489398A CN 112597864 B CN112597864 B CN 112597864B
Authority
CN
China
Prior art keywords
video
network model
video frame
classification
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011489398.1A
Other languages
English (en)
Other versions
CN112597864A (zh
Inventor
黄振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiadu Technology Software Development Co ltd
PCI Technology Group Co Ltd
Original Assignee
Guangzhou Jiadu Technology Software Development Co ltd
PCI Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiadu Technology Software Development Co ltd, PCI Technology Group Co Ltd filed Critical Guangzhou Jiadu Technology Software Development Co ltd
Priority to CN202011489398.1A priority Critical patent/CN112597864B/zh
Publication of CN112597864A publication Critical patent/CN112597864A/zh
Application granted granted Critical
Publication of CN112597864B publication Critical patent/CN112597864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例公开了一种监控视频异常检测方法及装置。本申请实施例提供的技术方案，通过获取待检测监控视频的第一视频帧，将第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型，通过生成式对抗网络模型的生成器输出第一视频帧与重建视频帧的特征向量相似度比对结果，通过分类网络模型输出对应的分类结果。最终基于相似度比对结果和分类结果综合判断待检测监控视频是否异常。采用上述技术手段，基于生成式对抗网络模型和分类网络模型的输出结果进行监控视频的综合判断，以此来提升监控视频异常检测的准确率，实现监控视频的分类，降低生成式对抗网络的训练数据集构建难度。

Description

一种监控视频异常检测方法及装置
技术领域
本申请实施例涉及监控视频处理技术领域，尤其涉及一种监控视频异常检测方法及装置。
背景技术
目前，随着监控技术的发展进步，在生活中的很多场景中，都会使用到监控摄像头对应监控区域采集监控视频，基于监控视频可以了解监控区域的相关情况，实现较好的监控效果。而为了实现较好的监控效果，需要保障监控视频的良好质量，避免监控视频异常。通常，监控视频图像清晰度异常(图像模糊)色偏、雪花(噪点)、画面出现条纹、遮挡等情况，都会影响监控视频的质量，即出现监控视频异常。随着深度学习的快速发展，为了检测监控视频异常，通常会采用一个神经网络模型进行监控视频图像的异常检测，以此来确定异常的监控视频，保障监控视频质量。
但是，在监控视频异常检测中，由于正常图像样本往往容易获得，而异常视频图像样本数量很少，难以获取甚至多变、未知，难以得到较多数量的异常视频图像构建训练样本，其训练得到的神经网络模型难以达到预期的异常检测效果，异常检测准确率相对偏低。
发明内容
本申请实施例提供一种监控视频异常检测方法及装置，能够提升监控视频异常检测的准确率，解决监控视频样本不均衡的技术问题。
在第一方面，本申请实施例提供了一种监控视频异常检测方法，包括：
获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；
通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；
基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常。
进一步的，所述生成式对抗网络模型的训练流程包括：
以各个监控视频的指定视频帧作为训练样本，构建第一训练数据集；
搭建生成器，将所述第一训练数据集的所述训练样本转换成第一样本向量，基于所述第一样本向量重建视频帧，得到对应的重建样本，并将所述重建样本转换成第二样本向量，基于所述训练样本、所述重建样本、所述第一样本向量和所述第二样本向量计算第一损失函数；
搭建判别器，基于所述训练样本和所述重建样本计算第二损失函数；
基于第一损失函数训练所述生成器，基于所述第二损失函数训练所述判别器。
进一步的，所述第一损失函数的计算公式为：
lossG＝wclossc+welosse+walossa
其中，lossG为所述第一损失函数，lossc为所述训练样本和所述重建样本的重建损失函数，losse为所述第一样本向量和所述第二样本向量的特征向量编码损失函数，lossa为所述重建样本的二分类交叉熵损失函数，wc、we和wa为对应的平衡因子。
进一步的，输出第一编码向量和第二编码向量的相似度比对结果，包括：
通过所述特征向量编码损失函数计算第一编码向量和第二编码向量的相似度，输出对应的相似度比对结果。
进一步的，所述分类网络模型的训练流程包括：
分别以各个监控视频的指定视频帧作为第一类别样本和第二类别样本，构建第二训练数据集；
搭建分类网络模型，所述分类网络模型包括深度神经网络和分类器，所述深度神经网络用于将所述第二训练数据集的视频帧转换为特征向量，所述分类器用于基于所述特征向量进行所述第二训练数据集的视频帧类别预测，输出分类结果；
通过随机抽样训练所述深度神经网络和所述分类器，直至对应的交叉熵损失函数收敛，固定所述深度神经网络的参数，通过类别均衡采样训练所述分类器，直至对应的交叉熵损失函数收敛。
进一步的，分别以各个监控视频的指定视频帧作为第一类别样本和第二类别样本，包括：
将所述第一训练数据集的所述训练样本逐一输入所述生成式对抗网络模型的生成器，得到对应的相似度比对结果；
提取相似度比对结果大于第一设定阈值的所述训练样本作为第一类别样本。
进一步的，基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常，包括：
若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第二类别，判定所述待检测监控视频异常；
若所述相似度比对结果小于或等于第二设定阈值，判定所述待检测监控视频正常。
在第二方面，本申请实施例提供了一种监控视频异常检测装置，包括：
获取模块，用于获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；
输出模块，用于通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；
判断模块，用于基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的监控视频异常检测方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的监控视频异常检测方法。
本申请实施例通过获取待检测监控视频的第一视频帧，将第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型，通过生成式对抗网络模型的生成器输出第一视频帧与重建视频帧的特征向量相似度比对结果，通过分类网络模型输出对应的分类结果。最终基于相似度比对结果和分类结果综合判断待检测监控视频是否异常。采用上述技术手段，基于生成式对抗网络模型和分类网络模型的输出结果进行监控视频的综合判断，以此来提升监控视频异常检测的准确率，实现监控视频的分类。
此外，通过生成式对抗网络模型的生成器基于初始视频帧与重建视频帧两者的特征向量对比确定相似度比对结果，可以降低生成式对抗网络模型的训练数据集构建难度。
附图说明
图1是本申请实施例一提供的一种监控视频异常检测方法的流程图；
图2是本申请实施例一中的生成式对抗网络模型的训练流程图；
图3是本申请实施例一中的分类网络模型的训练流程图；
图4是本申请实施例一中的第一类别样本构建流程图；
图5是本申请实施例二提供的一种监控视频异常检测装置的结构示意图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种监控视频的异常检测方法，旨在通过构建生成式对抗网络模型和分类网络模型，基于两个网络模型的输出结果来综合判断监控视频是否出现异常。并且，生成式对抗网络模型采用初始视频帧和重建视频帧两者的特征向量比对输出相似度比对结果，以此可以降低生成式对抗网络模型的训练数据集构建难度，只需要基于监控视频的正常视频帧图片进行模型训练，使得生成器可以针对正常的视频帧构建出符合相似度需求的重建视频帧，以此在保障生成式对抗网络模型异常检测能力的同时，降低生成式对抗网络模型的构建难度。相对于传统的监控视频异常检测方法，其在进行异常检测时，由于异常样本难以获得，基于少量异常样本训练得到的神经网络模型，难以达到预期的异常视频检测效果，其监控视频的异常检测准确率相对偏低。基于此，提供本申请实施例的监控视频异常检测方法，以解决现有监控视频异常检测过程中监控视频样本不均衡、异常检测准确率低的技术问题。
实施例一：
图1给出了本申请实施例一提供的一种监控视频异常检测方法的流程图，本实施例中提供的监控视频异常检测方法可以由监控视频异常检测设备执行，该监控视频异常检测设备可以通过软件和/或硬件的方式实现，该监控视频异常检测设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该监控视频异常检测设备可以是处理器、服务器主机、电脑，手机，平板等数据处理设备。
下述以监控视频异常检测设备为执行监控视频异常检测方法的主体为例，进行描述。参照图1，该监控视频异常检测方法具体包括：
S110、获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型。
具体的，本申请实施例通过预先构建生成式对抗网络模型(GAN,GenerativeAdversarial Networks)和分类网络模型，基于两个网络模型分别进行监控视频的异常检测。在进行异常检测时，提取待检测监控视频，将待检测监控视频的视频帧逐一输入生成式对抗网络模型和分类网络模型，分别进行该帧视频帧的异常检测。定义这一视频帧为第一视频帧，可以理解的是，第一视频帧分别输入到生成式对抗网络模型和分类网络模型，基于该两个网络模型可以得到对应的两个异常检测结果。进而即可基于这两个异常检测结果进行待检测监控视频的异常判断。
在进行待检测监控视频的异常检测之前，需要预先训练生成式对抗网络模型和分类网络模型。其中，参照图2，生成式对抗网络模型的构建流程包括：
S111、以各个监控视频的指定视频帧作为训练样本，构建第一训练数据集；
S112、搭建生成器，将所述第一训练数据集的所述训练样本转换成第一样本向量，基于所述第一样本向量重建视频帧，得到对应的重建样本，并将所述重建样本转换成第二样本向量，基于所述训练样本、所述重建样本、所述第一样本向量和所述第二样本向量计算第一损失函数；
S113、搭建判别器，基于所述训练样本和所述重建样本计算第二损失函数；
S114、基于第一损失函数训练所述生成器，基于所述第二损失函数训练所述判别器。
在构建生成式对抗网络模型时，需要确定进行模型训练的数据集，定义这一数据集为第一训练数据集。由于生成式对抗网络模型用于进行监控视频的异常检测，则在构建第一训练数据集时，以各个监控视频的视频帧作为训练样本。本申请实施例中，以各个监控视频的正常视频帧作为训练样本。通过在视频监控过程中产生的各个监控视频进行筛选，人工筛选出认定为正常的视频帧作为训练样本，以此构成该第一训练数据集。
进一步的，基于该第一训练数据集，进行生成式对抗网络模型的训练。其中，通过搭建生成式对抗网络模型的生成器G_Net和判别器D_Net，生成器G_Net的目标就是尽量生成真实的图片去欺骗判别器D_Net。而判别器D_Net的目标就是尽量把生成器G_Net生成的图片和真实的图片分别开来。以此，生成器G_Net和判别器D_Net就构成了一个动态的“博弈过程”，基于这一博弈过程，最终使得生成器G_Net生成的图片判别器D_Net无法分辨。
具体的，生成器G_Net包括编码器GE1、编码器GE2和一个解码器GD1。在训练生成器时，将第一训练数据集的训练样本X输入到编码器GE1得到第一特征向量Z。第一特征向量Z又经过解码器GD1重建视频帧，得到重建样本X′。重建样本X′经过编码器GE2得到第二特征向量Z′。进而基于训练样本X、重建样本X′、第一特征向量Z和第二特征向量Z′计算生成器G_Net的第一损失函数lossG，该第一损失函数用于训练该生成器。所述第一损失函数的计算公式为：
lossG＝wclossc+welosse+walossa
其中，lossG为所述第一损失函数，lossc为所述训练样本和所述重建样本的重建损失函数，losse为所述第一样本向量和所述第二样本向量的特征向量编码损失函数，lossa为所述重建样本的二分类交叉熵损失函数，wc、we和wa为对应的平衡因子。特征向量编码损失函数losse的实质即为第一样本向量Z和第二样本向量Z′之间的差异，表示两个向量的相似度比对结果。lossc的实质为训练样本和重建样本的像素值之间的差异。重建样本X′被标记为正样本，以此计算二分类交叉熵损失函数lossa。后续生成式对抗网络模型进行异常检测时，基于输入的第一视频帧与生成器重建的视频帧，计算两者的特征向量的相似度比对结果，基于相似度比对结果即可进行第一视频帧的异常判断。
而对于判别器，其为一个二分类模型。在判别器中，训练样本X和重建样本X′分别被标记为正样本和负样本，以此计算二分类交叉熵损失函数，即第二损失函数lossD。
基于上述计算得到的第一损失函数lossG和第二损失函数lossD，采用随机梯度下降算法交替对抗式优化生成器G_Net和判别器D_Net。其中，使用第一损失函数lossG训练生成器G_Net，使用第二损失函数lossD训练判别器D_Net，直到判别器D_Net无法分辨训练样本X和生成器G_Net生成的重建样本X′，即完成当前生成式对抗网络的训练。
由于采用人工筛选出认定为正常的视频帧作为训练样本，因此在生成式对抗网络模型训练完成后，该生成器即可对输入模型的正常图片重新构建一个高相似度的图片。而对于输入模型的异常图片，由于生成器没有基于异常视频帧样本进行训练，则无法重新构建出对应高相似度的图片。基于生成器的这一特性，即可对输入模型的第一视频帧进行异常检测。
另一方面，参照图3，分类网络模型的构建流程包括：
S115、分别以各个监控视频的指定视频帧作为第一类别样本和第二类别样本，构建第二训练数据集；
S116、搭建分类网络模型，所述分类网络模型包括深度神经网络和分类器，所述深度神经网络用于将所述第二训练数据集的视频帧转换为特征向量，所述分类器用于基于所述特征向量进行所述第二训练数据集的视频帧类别预测，输出分类结果；
S117、通过随机抽样训练所述深度神经网络和所述分类器，直至对应的交叉熵损失函数收敛，固定所述深度神经网络的参数，通过类别均衡采样训练所述分类器，直至对应的交叉熵损失函数收敛。
具体的，在进行分类网络模型构建时，同样从各个监控视频帧中人工筛选出认定为正常的视频帧作为第一类别样本，人工筛选出认定为异常的视频帧作为第二类别样本，以此构成该第二训练数据集。
进一步搭建分类网络模型，分类网络模型由深度神经网络B_Net作为骨干网络和分类器C_Net组成。其中，深度神经网络B_Net用于将训练数据集的各个视频帧转换成特征向量d。分类器C_Net基于类别预测输出分类结果，C_Net为线性分类器，其类别预测公式为：
p＝argmaxg(d)
其中P表示分类结果，g(d)表示输入特征向量d的所有特征分类，g(d)＝WTd+b，其中W为分类器C_Net的权重矩阵，b是权重偏置。
基于上述搭建的分类网络模型首先使用随机采样的方式对深度神经网络B_Net和分类器C_Net进行训练，直到交叉熵损失函数收敛，然后将深度神经网络B_Net固定，随机重新初始化分类器C_Net，使用类别均衡策略对分类器C_Net进行微调，直到交叉熵损失函数收敛，训练完成。基于上述训练得到的分类网络模型，即可对应判断输入的第一视频帧是属于第一类别还是第二类别，即判断第一视频帧属于正常图片还是异常图片。实际应用中，根据模型分类需求，可以对异常类别进行具体异常类别(如监控视频图像清晰度异常(图像模糊)色偏、雪花(噪点)、画面出现条纹和或遮挡等情况)分类，在第二训练数据集的基础上，以具体异常类别样本作为新类别构成新的第二训练数据集。则基于新的第二训练数据集进行分类模型训练后，该分类模型即可对第一视频帧进行具体异常类别的分类，输出对应的分类结果。例如，为了判断异常类别是否为遮挡类别，上述第一类别样本保持不变，从第二类别样本中筛选出遮挡类别样本作为第三类别样本，剩余的第二类别样本作为第二类别样本，以此构成新的第二训练数据集，基于新的第二训练数据集进行分类模型训练。后续对输入模型的第一视频帧进行分类时，若判断第一视频帧属于第一类别，输出第一类别(即正常类别)的分类结果。若判断第一视频帧属于第二类别，输出第二类别(即异常类别但不包括遮挡类别)的分类结果。若判断第一视频帧属于遮挡类别，则输出遮挡类别的分类结果。根据具体异常类别的分类需求，构建对应的第二训练数据集，以此来实现更细致的异常类别判断。
在一个实施例中，当构建第二训练数据集时，为了缓解分类模型样本不均衡的问题，提升监控视频异常检测的准确率。本申请实施例在构建第一类别样本时，从上述第一训练数据集中进行第一类别样本的筛选，参照图4，第一类别样本构建流程包括：
S1151、将所述第一训练数据集的所述训练样本逐一输入所述生成式对抗网络模型的生成器，得到对应的相似度比对结果；
S1152、提取相似度比对结果大于第一设定阈值的所述训练样本作为第一类别样本。
具体的，基于上述生成式对抗网络训练时构建的第一训练数据集，从中进行正常样本的筛选。为了提升监控视频异常检测的准确率，需要选择部分可能会被生成式对抗网络模型误判为异常的正常视频帧作为第一类别样本。通过将第一训练数据集的各个训练样本输入生成式对抗网络模型的生成器，由生成器将训练样本转换成第一样本向量，基于第一样本向量重建视频帧，得到对应的重建样本，并将重建样本转换成第二样本向量，进而确定第一样本向量和第二样本向量的相似度比对结果。通过预先设定一个结果阈值，定义这一结果阈值为第一设定阈值，若相似度比对结果大于第一设定阈值，则认为对应的正常视频帧图片会被生成式对抗网络判定为异常图片或者与异常图片接近。则提取第一训练数据集中的这部分训练样本构成第一类别样本。以此训练的分类网络模型，对可能被生成式对抗网络模型误检测为异常的正常视频帧，也可以准确地分类其为正常视频帧。以此来提升监控视频异常检测的准确率。
S120、通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果。
基于上述预先训练的生成式对抗网络模型和分类网络模型，在将第一视频帧输入两个网络模型之后，分别基于生成式对抗网络模型和分类网络模型进行视频异常检测。其中，生成式对抗网络完成训练进行监控视频异常检测时，使用生成器进行监控视频异常检测。生成器基于输入的第一视频帧，将第一视频帧输入到编码器GE1得到第一编码向量。第一编码向量又输入解码器GD1，经过解码器GD1重建视频帧，得到第二视频帧。第二视频帧经过编码器GE2得到第二编码向量。进而基于第一编码向量和第二编码向量计算两者的相似度，得到相应的相似度比对结果。其中，通过所述特征向量编码损失函数计算第一编码向量和第二编码向量的相似度，输出对应的相似度比对结果。特征向量编码损失函数losse的计算公式如下：
其中，s第一编码向量，s′为第二编码向量，cosθ为第一编码向量和第二编码向量的余弦相似度，特征向量编码损失函数losse通过对余弦相似度经归一化处理，将相似度比对结果归一化到[0,1]之间取值。
需要说明的是，由于生成式对抗网络的生成器基于正常视频帧作为训练样本构建而成。其具备对输入模型的正常视频帧重新构建一个高相似度的视频帧。而对于输入模型的异常视频帧，由于生成器没有基于异常视频帧样本进行训练，则无法重新构建出对应高相似度的视频帧。则后续进行异常检测时，若输入模型的是正常视频帧，生成器重建视频帧后，两者的特征向量会相对较为相似。反之如若输入模型的是异常视频帧，生成器重建视频帧后，两者特征向量的相似度会相对较低。
可以理解的是，基于上述特征向量编码损失函数losse的计算公式，该相似度比对结果的值越趋向于1，第一编码向量和第二编码向量越不相似，则第一视频帧越趋向于异常。该相似度比对结果的值越趋向于0，第一编码向量和第二编码向量越相似，则第一视频帧越趋向于正常。基于这一判定基础，即可进一步根据相似度比对结果判断第一视频帧是否异常。
并且，由于生成式对抗网络模型采用初始视频帧和重建视频帧两者的特征向量比对输出相似度比对结果的方式进行监控视频异常检测，则生成式对抗网络模型在进行模型训练时，可以摆脱因为异常样本较少而导致模型检测准确率受限的影响，只需要正常视频帧作为训练样本即可构建生成式对抗网络模型，在保障模型检测精度的同时降低了模型构建难度。
同样的，对应输入分类网络模型的第一视频帧，该分类网络模型基于预先定义的第一类别样本和第二类别样本，会输出对应的分类结果。该分类结果为第一类别或者第二类别。可以理解的是，如若在第二训练数据集的基础上，以具体异常类别样本作为新类别构成新的第二训练数据集。则基于新的第二训练数据集进行分类模型训练后，在确定第一视频帧为第三类别时(即具体异常类别时，如遮挡类别)，会输出第三类别的分类结果，若确定第一视频帧为第二类别(即异常类别但不包括第三类别的情况)，则输出第二类别的分类结果。
S130、基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常。
最终，基于生成式对抗网络模型和分类网络模型得到的相似度比对结果和分类结果，本申请实施例综合两个检测结果对待检测监控视频是否异常进行判定。
其中，若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第二类别，判定所述待检测监控视频异常；若所述相似度比对结果小于或等于第二设定阈值，判定所述待检测监控视频正常。若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第一类别，则标定该视频帧可疑。以此即完成对待检测监控视频是否异常的判定。需要说明的是，实际应用中，根据上述相似度比对结果和分类结果，可以结合异常检测需求，设定相应的异常判定模式。本申请实施例在此对综合相似度比对结果和分类结果进行异常判定的具体实施方式不做固定限制，在此不多赘述。
上述，通过获取待检测监控视频的第一视频帧，将第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型，通过生成式对抗网络模型的生成器输出第一视频帧与重建视频帧的特征向量相似度比对结果，通过分类网络模型输出对应的分类结果。最终基于相似度比对结果和分类结果综合判断待检测监控视频是否异常。采用上述技术手段，基于生成式对抗网络模型和分类网络模型的输出结果进行监控视频的综合判断，以此来提升监控视频异常检测的准确率，实现监控视频的分类。此外，通过生成式对抗网络模型的生成器基于初始视频帧与重建视频帧两者的特征向量对比确定相似度比对结果，可以降低生成式对抗网络模型的训练数据集构建难度。
实施例二：
在上述实施例的基础上，图5为本申请实施例二提供的一种监控视频异常检测装置的结构示意图。参考图5，本实施例提供的监控视频异常检测装置具体包括：获取模块21、输出模块22和判断模块23。
其中，获取模块21用于获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；
输出模块22用于通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；
判断模块23用于基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常。
上述，通过获取待检测监控视频的第一视频帧，将第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型，通过生成式对抗网络模型的生成器输出第一视频帧与重建视频帧的特征向量相似度比对结果，通过分类网络模型输出对应的分类结果。最终基于相似度比对结果和分类结果综合判断待检测监控视频是否异常。采用上述技术手段，基于生成式对抗网络模型和分类网络模型的输出结果进行监控视频的综合判断，以此来提升监控视频异常检测的准确率，实现监控视频的分类。此外，通过生成式对抗网络模型的生成器基于初始视频帧与重建视频帧两者的特征向量对比确定相似度比对结果，可以降低生成式对抗网络模型的训练数据集构建难度。
本申请实施例二提供的监控视频异常检测装置可以用于执行上述实施例一提供的监控视频异常检测方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的监控视频异常检测方法对应的程序指令/模块(例如，监控视频异常检测装置中的获取模块、输出模块和判断模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的监控视频异常检测方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的监控视频异常检测方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种监控视频异常检测方法，该监控视频异常检测方法包括：获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的监控视频异常检测方法，还可以执行本申请任意实施例所提供的监控视频异常检测方法中的相关操作。
上述实施例中提供的监控视频异常检测装置、存储介质及电子设备可执行本申请任意实施例所提供的监控视频异常检测方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的监控视频异常检测方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (9)

1.一种监控视频异常检测方法，其特征在于，包括：
获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；
通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；
基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常；
基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常，包括：
若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第二类别，判定所述待检测监控视频异常；
若所述相似度比对结果小于或等于第二设定阈值，判定所述待检测监控视频正常；
若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第一类别，标定所述第一视频帧可疑。
2.根据权利要求1所述的监控视频异常检测方法，其特征在于，所述生成式对抗网络模型的训练流程包括：
以各个监控视频的指定视频帧作为训练样本，构建第一训练数据集；
搭建生成器，将所述第一训练数据集的所述训练样本转换成第一样本向量，基于所述第一样本向量重建视频帧，得到对应的重建样本，并将所述重建样本转换成第二样本向量，基于所述训练样本、所述重建样本、所述第一样本向量和所述第二样本向量计算第一损失函数；
搭建判别器，基于所述训练样本和所述重建样本计算第二损失函数；
基于第一损失函数训练所述生成器，基于所述第二损失函数训练所述判别器。
3.根据权利要求2所述的监控视频异常检测方法，其特征在于，所述第一损失函数的计算公式为：
lossG＝wclossc+welosse+walossa
其中，lossG为所述第一损失函数，lossc为所述训练样本和所述重建样本的重建损失函数，losse为所述第一样本向量和所述第二样本向量的特征向量编码损失函数，lossa为所述重建样本的二分类交叉熵损失函数，wc、we和wa为对应的平衡因子。
4.根据权利要求3所述的监控视频异常检测方法，其特征在于，输出第一编码向量和第二编码向量的相似度比对结果，包括：
通过所述特征向量编码损失函数计算第一编码向量和第二编码向量的相似度，输出对应的相似度比对结果。
5.根据权利要求2所述的监控视频异常检测方法，其特征在于，所述分类网络模型的训练流程包括：
分别以各个监控视频的指定视频帧作为第一类别样本和第二类别样本，构建第二训练数据集；
搭建分类网络模型，所述分类网络模型包括深度神经网络和分类器，所述深度神经网络用于将所述第二训练数据集的视频帧转换为特征向量，所述分类器用于基于所述特征向量进行所述第二训练数据集的视频帧类别预测，输出分类结果；
通过随机抽样训练所述深度神经网络和所述分类器，直至对应的交叉熵损失函数收敛，固定所述深度神经网络的参数，通过类别均衡采样训练所述分类器，直至对应的交叉熵损失函数收敛。
6.根据权利要求5所述的监控视频异常检测方法，其特征在于，分别以各个监控视频的指定视频帧作为第一类别样本和第二类别样本，包括：
将所述第一训练数据集的所述训练样本逐一输入所述生成式对抗网络模型的生成器，得到对应的相似度比对结果；
提取相似度比对结果大于第一设定阈值的所述训练样本作为第一类别样本。
7.一种监控视频异常检测装置，其特征在于，包括：
获取模块，用于获取待检测监控视频的第一视频帧，将所述第一视频帧输入预先训练的生成式对抗网络模型和分类网络模型；
输出模块，用于通过所述生成式对抗网络模型的生成器生成所述第一视频帧的第一编码向量，基于所述第一编码向量重建视频帧，得到第二视频帧，并生成所述第二视频帧的第二编码向量，输出第一编码向量和第二编码向量的相似度比对结果；通过所述分类网络模型输出对应的分类结果；
判断模块，用于基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常；
基于所述相似度比对结果和所述分类结果综合判断所述待检测监控视频是否异常，包括：
若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第二类别，判定所述待检测监控视频异常；
若所述相似度比对结果小于或等于第二设定阈值，判定所述待检测监控视频正常；
若所述相似度比对结果大于第二设定阈值，所述分类结果为预定义的第一类别，标定所述第一视频帧可疑。
8.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的监控视频异常检测方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的监控视频异常检测方法。
CN202011489398.1A 2020-12-16 2020-12-16 一种监控视频异常检测方法及装置 Active CN112597864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011489398.1A CN112597864B (zh) 2020-12-16 2020-12-16 一种监控视频异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011489398.1A CN112597864B (zh) 2020-12-16 2020-12-16 一种监控视频异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN112597864A CN112597864A (zh) 2021-04-02
CN112597864B true CN112597864B (zh) 2023-07-28

Family

ID=75196783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011489398.1A Active CN112597864B (zh) 2020-12-16 2020-12-16 一种监控视频异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN112597864B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205489A (zh) * 2021-04-16 2021-08-03 广东海文通信有限责任公司 一种监控图像的检测方法、装置、计算机设备和存储介质
CN113553954A (zh) * 2021-07-23 2021-10-26 上海商汤智能科技有限公司 行为识别模型的训练方法及装置、设备、介质和程序产品
CN114338587B (zh) * 2021-12-24 2024-03-12 北京达佳互联信息技术有限公司 一种多媒体数据处理方法、装置、电子设备及存储介质
CN114743136A (zh) * 2022-03-30 2022-07-12 中科融信科技有限公司 异常行为检测方法、装置和存储介质
CN115619882B (zh) * 2022-09-29 2024-02-13 清华大学 一种视频的压缩方法
CN115580721B (zh) * 2022-11-18 2023-03-31 南方电网数字电网研究院有限公司 变电站设备监控视频的质量检测方法、装置、设备和介质
CN115965899B (zh) * 2023-03-16 2023-06-06 山东省凯麟环保设备股份有限公司 一种基于视频分割的无人扫地机器车异常检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221B (zh) * 2018-11-16 2020-07-28 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110070067B (zh) * 2019-04-29 2021-11-12 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN111260620B (zh) * 2020-01-14 2023-08-18 三峡大学 图像异常检测方法、装置和电子设备

Also Published As

Publication number Publication date
CN112597864A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112597864B (zh) 一种监控视频异常检测方法及装置
D'Avino et al. Autoencoder with recurrent neural networks for video forgery detection
CN110009013B (zh) 编码器训练及表征信息提取方法和装置
CN109800710B (zh) 行人重识别系统及方法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
US8908989B2 (en) Recursive conditional means image denoising
CN106778910B (zh) 基于本地训练的深度学习系统和方法
Li Deep learning for image denoising
Al-Dhabi et al. Deepfake video detection by combining convolutional neural network (cnn) and recurrent neural network (rnn)
KR20190125029A (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
CN114627412A (zh) 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
Roziere et al. Tarsier: Evolving noise injection in super-resolution gans
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN113706408A (zh) 一种基于降噪卷积神经网络的鬼成像去噪方法及设备
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN111784750A (zh) 视频图像中移动物体追踪方法、装置、设备以及存储介质
CN115358952B (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN111105438B (zh) 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质
CN115760589A (zh) 一种用于运动模糊图像的图像优化方法及装置
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端
Celona et al. CNN-based image quality assessment of consumer photographs
CN112365551A (zh) 一种图像质量处理系统、方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Applicant after: Jiadu Technology Group Co.,Ltd.

Applicant after: Guangzhou Jiadu Technology Software Development Co.,Ltd.

Address before: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Applicant before: PCI-SUNTEKTECH Co.,Ltd.

Applicant before: Guangzhou Jiadu Technology Software Development Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant