CN114332071A - 一种基于前景信息增强的视频异常检测方法 - Google Patents

一种基于前景信息增强的视频异常检测方法 Download PDF

Info

Publication number
CN114332071A
CN114332071A CN202210006317.0A CN202210006317A CN114332071A CN 114332071 A CN114332071 A CN 114332071A CN 202210006317 A CN202210006317 A CN 202210006317A CN 114332071 A CN114332071 A CN 114332071A
Authority
CN
China
Prior art keywords
video frame
network
video
frame
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210006317.0A
Other languages
English (en)
Inventor
王丰
邝永年
梁振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210006317.0A priority Critical patent/CN114332071A/zh
Publication of CN114332071A publication Critical patent/CN114332071A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于前景信息增强的视频异常检测方法，包括：将视频帧进行背景与前景的分割的预处理；搭建生成网络以及判别网络模型；将预处理后的视频输入生成网络，生成下一帧预测视频帧，构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；以训练集中的多组正常行为的视频帧训练生成网络和判别网络；将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生。

Description

一种基于前景信息增强的视频异常检测方法
技术领域
本发明涉及计算机视觉领域，涉及深度学习、视频异常检测技术，具体涉及一种基于前景信息增强的视频异常检测方法。
背景技术
随着视频采集联网设备的广泛部署，视频和图像体量增长迅速，长短视频数据占据了互联网流量的大部分。因此，如何高效快速分析视频数据，提取有用信息，辅助人工智能决策，是当前计算机视觉领域亟待解决的重大课题。
安防领域作为计算机视觉应用的重要领域，依赖于快速可靠的视频数据分析性能。特别的，在监控视频中，最常见的需求就是要自动识别视频流中的异常事件，也就是视频异常检测任务。其中，计算机视觉与深度学习相结合的技术是解决各类复杂的视频图像处理问题的有效方法。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，是人工智能领域的一个重要部分，它主要任务是通过对采集的图片或视频数据进行处理以获得相应场景的信息。
在传统的计算机视觉系统中，其主要目标是从图像中提取特征，包括边缘检测、角点检测、基于颜色的分割等子任务。传统计算机视觉系统需要预先确定图像特征，采用一些特征提取算法(如尺度不变特征变换匹配算法、加速鲁棒特征算法等)，检测算法性能的提升可以通过人工微调来解决，并且需要针对特定的应用程序进行硬编码，这对高质量计算机视觉的实现造成了很大的障碍。基于深度学习的计算机视觉系统，是训练深度学习系统内的神经网络，可以避免通过复杂的编程算法来搜索特定特征。随着计算机算力的增强，基于深度的学习的计算机视觉有望自动训练和改进模型，以改善视频数据分析性能。
当前基于深度学习的视频异常检测模型，主要包括基于未来帧预测的视频异常检测模型、基于概率的视频异常检测模型、基于距离的视频异常检测模型、基于重构的视频异常检测模型、基于域的视频异常检测等。然而，异常事件通常是不可预测的。当前视频异常检测方法并未考虑在数据预处理时把前景和背景分开，以至于背景的信息也会进入深度学习的神经网络中，浪费部分资源在研究提取背景的特征，而背景的特征数据在视频异常检测中作用有限。其次，异常事件的检测是依靠判断重构图像与实际图像的差异。由于大部分算法是比较图像整体的峰值信噪比(PSNR,Peak Signal to Noise Ratio)的，导致小范围异常帧难以检测，降低了异常检测的正确率。
发明内容
本发明的目的是提供一种基于前景信息增强的视频异常检测方法，针对视频智能化决策的需求，对异常情况进行判断检测，提高视频异常检测的精度以及处理的效率。
为了实现上述任务，本发明采用以下技术方案：
一种基于前景信息增强的视频异常检测方法，包括以下步骤：
步骤1，将训练集中连续的t+1帧视频帧进行背景与前景的分割的预处理，保留视频图像的前景区域；
步骤2，搭建生成网络以及判别网络模型；其中，生成网络包括生成器和光流网络；
将预处理后的连续t帧视频帧I1,I2,…,It作为实际视频帧进入生成网络，生成It的下一帧预测视频帧
Figure BDA0003455591960000021
构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；
步骤3，以训练集中的多组正常行为的视频帧训练生成网络和判别网络；
步骤4，将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生，其中，所述自适应峰值信噪比如下：
Figure BDA0003455591960000022
Figure BDA0003455591960000023
为预测视频帧
Figure BDA0003455591960000024
图像中最大的像素值，Row为图像行像素点数，Col为图像列像素点数，
Figure BDA0003455591960000025
Ii,j表示预测视频帧
Figure BDA0003455591960000026
该预测视频帧对应的实际视频帧I中坐标(i,j)像素点的像素值；Gi,j为预测视频帧
Figure BDA0003455591960000027
和实际视频帧I的识别区域前景掩码在坐标(i,j)像素点的掩码值；‖G‖1为预测视频帧
Figure BDA0003455591960000028
和实际视频帧I的识别区域前景掩码矩阵G的一范数。
进一步地，所述生成网络的损失函数表示如下：
Figure BDA0003455591960000031
s.t:λint+λgd+λop+λadv＝1
其中，λint、λgd、λop、λadv为强度损失Lint、梯度损失Lgd、光流损失Lop以及对抗损失
Figure BDA0003455591960000032
在损失函数中所占的权重。
进一步地，所述加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，具体表示如下：
Figure BDA0003455591960000033
其中Lint为强度损失，
Figure BDA0003455591960000034
表示生成的预测视频帧的像素数据，I表示该预测视频帧所对应的实际视频帧的像素数据；
Figure BDA0003455591960000035
其中Lgd为梯度损失，下标i，j表示视频帧
Figure BDA0003455591960000036
I中像素点的位置；
所述加入运动约束用来保证视频帧在时间上的连续性，具体表示如下：
Figure BDA0003455591960000037
其中，Lop为光流损失，f(It+1,It)表示使用光流网络计算两帧视频帧It+1,It的光流信息；光流网络的输入为生成器生成的预测视频帧、所对应的实际视频帧以及该实际视频帧的前一帧；
所述加入对抗约束用来与判别网络进行对抗，表示为：
Figure BDA0003455591960000038
其中，
Figure BDA0003455591960000039
为对抗损失，
Figure BDA00034555919600000310
表示判断网络判断视频帧
Figure BDA00034555919600000311
是生成出来的“假”图像还是真实的“真”图像，
Figure BDA00034555919600000312
表示判断
Figure BDA00034555919600000313
中像素点(i，j)的标签为真的概率，
Figure BDA00034555919600000314
进一步地，所述判别器的损失函数
Figure BDA00034555919600000315
表示为：
Figure BDA0003455591960000041
其中，D(I)i,j表示判断视频帧I中像素点(i，j)的标签为真的概率。
进一步地，所述以训练集中的多组正常行为的视频帧训练生成网络和判别网络，包括：
将训练集中的一组正常行为的视频帧经过预处理后I1,I2,…,It送入生成网络生成预测视频帧
Figure BDA0003455591960000042
并且将It、
Figure BDA0003455591960000043
所对应的实际视频帧It+1计算生成器和判别器的损失函数；根据计算的损失函数调整生成器以及判别器的损失函数；
使用下一组正常行为的视频帧进行训练，使用训练集中所有数据训练生成网络和判别网络一次为一次迭代；迭代多次训练直到生成器的损失函数达到预设数值为止或迭代预设次数，此时结束训练。
进一步地，所述预测视频帧
Figure BDA0003455591960000044
和实际视频帧It+1的识别区域前景掩码矩阵G表示如下：
Figure BDA0003455591960000045
其中，
Figure BDA0003455591960000046
与K为预测视频帧
Figure BDA0003455591960000047
与其所对应的实际视频帧It+1的二值化掩码矩阵；矩阵K中的元素Ki,j表示如下：
Figure BDA0003455591960000048
进一步地，所述方法还包括：
对自适应峰值信噪比的评估结果
Figure BDA0003455591960000049
进行标准化处理得出一个得分函数，定义得分函数如下：
Figure BDA00034555919600000410
Figure BDA00034555919600000411
为以待判别的视频帧数据中多组同一场景视频帧得出的自适应峰值信噪比中的最大值；
Figure BDA00034555919600000412
为以待判别的视频帧数据中多组同一场景视频帧得出的自适应峰值信噪比中的最小值；
通过得分函数Score(t)就可以判断视频帧是否存在异常行为：得分函数Score(t)越接近1则表示视频帧越正常，反之则存在异常行为。
进一步地，所述训练集中的视频帧为具有连续时间序列以及具有相同尺寸的视频帧，且视频帧中只含有正常行为。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现所述基于前景信息增强的视频异常检测方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现所述基于前景信息增强的视频异常检测方法的步骤。
与现有技术相比，本发明具有以下技术特点：
1.针对视频异常检测的所需信息集中于前景信息，因此提出一种强化前景信息弱化背景信息的预处理方案进行视频异常检测。在视频数据送入视频异常检测模型前进行预处理，增强视频的前景信息并弱化背景信息，使得视频异常检测模型可以高效地进行检测。
2.针对小画幅异常行为的较低响应，提出基于自适应峰值信噪比准则的视频异常检测的评估。在预处理的同时，识别出前景信息的区域，使得视频异常检测模型仅通过识别区域的较小画幅,而不是全画幅进行视频异常检测，以提高小画幅异常行为的响应。
附图说明
图1为本发明方法中步骤1至3的流程示意图；
图2为本发明方法中步骤4的流程示意图；
图3为U-Net模型的结构图；
图4为本发明方法的框架示意图。
具体实施方式
基于未来帧预测的视频异常检测模型是合适的视频异常检测模型，值得注意的是，视频异常检测的重点不在背景而在前景。本发明提出一种基于前景信息增强的视频异常检测方法，本发明的创新点在于，考虑前景信息的重要性以及背景信息的可忽略性，在视频图像进入深度学习网络前，进行数据处理前先强化前景的信息以及弱化背景的信息，依据前景信息结合基于未来帧预测的视频异常检测模型进行视频异常检测，以提高视频异常检测的精度以及效率。
参见附图1和2，本发明的基于前景信息增强的视频异常检测方法，包括以下步骤：
首先需要对数据集中的视频帧数据进行处理，将视频流分解和处理成具有连续时间序列以及具有相同尺寸的视频帧，并且把数据集分为训练集和测试集两部分。训练集只含有正常行为的视频帧，测试集的视频帧中某一帧可能存在或者不存在异常行为。
本发明中以256*256像素尺寸，把连续的t帧
Figure BDA0003455591960000061
为一组视频帧为例进行说明。
步骤1，将训练集中连续的t+1帧视频帧进行背景与前景的分割的预处理，保留视频图像的前景区域。
输入连续的t+1帧视频帧，使用背景分割器(如邻近算法、混合高斯算法)分割前景和背景；将视频帧中识别到的背景部分像素值全部置0，此时视频帧的大部分信息均为前景信息，将此时的连续的t+1帧视频帧记作I1,I2,…,It+1。
步骤2，搭建生成网络以及判别网络模型
本发明中生成网络的目标在于生成与正常行为实际视频帧较小差异的预测视频帧；判别网络的目标在于以判别生成网络生成出的预测视频帧是否为实际视频帧的方式，提高生成网络的生成效果。
步骤2.1，生成网络包含生成器以及光流网络(本方案以U-Net为生成器(图3)，FlowNet为光流网络进行说明)；判别网络包含判别器(本方案以马尔可夫判别器(PatchGAN)为判别器进行说明)。
将预处理后的连续t帧视频帧I1,I2,…,It作为实际视频帧进入生成网络，生成It的下一帧预测视频帧
Figure BDA0003455591960000062
该预测视频帧所对应的实际视频帧为It+1。
步骤2.2，建立生成网络的损失函数LG
U-Net模型是输入和输出同分辨率的帧预测模型，通过训练生成器使得目标函数LG尽可能小，使得生成的预测视频帧
Figure BDA0003455591960000063
尽可能接近对应的实际视频帧It+1；本发明框架示意图如图4。
该生成网络的损失函数LG是由四种损失函数加权累加得到，分别是强度损失Lint、梯度损失Lgd、光流损失Lop以及对抗损失
Figure BDA0003455591960000064
λint、λgd、λop、λadv为强度损失Lint、梯度损失Lgd、光流损失Lop以及对抗损失
Figure BDA0003455591960000065
在总损失函数中所占的权重。
Figure BDA0003455591960000071
s.t:λint+λgd+λop+λadv＝1
(1)加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性。
预处理后的实际视频帧作为训练数据送入生成网络U-Net中，用来训练生成网络生成预测视频帧；强度损失以及梯度损失用来保证生成的预测视频帧在空间上的连续性。
强度损失Lint，用来约束预测视频帧与实际视频帧之间的内容差异，即保持生成的预测视频帧在RGB空间上尽可能与实际视频帧保持相似；该公式内
Figure BDA0003455591960000072
表示生成的预测视频帧的像素数据，I表示该预测视频帧所对应的实际视频帧的像素数据。
Figure BDA0003455591960000073
梯度损失Lgd，用来约束预测视频帧与实际视频帧之间的边缘信息，即对生成图像边缘形状的约束，锐化生成图像，突出边缘信息；函数内序号i，j表示视频帧
Figure BDA0003455591960000074
中像素点的位置。
Figure BDA0003455591960000075
(2)加入运动约束用来保证视频帧在时间上的连续性
将生成器生成的预测视频帧、所对应的实际视频帧以及该实际视频帧的前一帧输入已预训练好的光流网络FlowNet中，加入运动约束用来保证视频帧在时间上的连续性。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。因此获取图像的光流信息即可获取图像上物体运动信息。
光流网络FlowNet是用于获取视频中的运动信息的，并且使用L1距离的损失计算光流变化，f(It+1,It)表示使用FlowNet光流网络计算两帧It+1,It的光流信息，因此光流损失可表示为：
Figure BDA0003455591960000081
(3)加入对抗约束用来与判别网络进行对抗
生成的预测视频帧尽可能与实际视频帧相似需要训练生成网络；生成网络获得正常行为的视频帧来生成与实际视频帧尽可能相似的预测视频帧；训练时，0和1分别代表“假”标签和“真”标签。
优化生成网络需要训练判别网络区分实际视频帧和生成的预测视频帧，使得生成器和判别器通过对抗学习来进行优化。
训练生成器时，判别器的权重是固定的，生成网络的任务是使得生成出来的图像能“欺骗”判别器，使得判别器判断生成网络生成的图像为“真”，即标签值为1，因此生成网络的对抗损失定义为生成器均方误差损失表示为：
Figure BDA0003455591960000082
其中，
Figure BDA0003455591960000083
表示判断网络判断视频帧
Figure BDA0003455591960000084
是生成出来的“假”图像还是真实的“真”图像，
Figure BDA0003455591960000085
表示判断
Figure BDA0003455591960000086
中像素点(i，j)的标签为真的概率，
Figure BDA0003455591960000087
Figure BDA0003455591960000088
步骤2.3，建立判别器的损失函数
Figure BDA0003455591960000089
判别网络仅包含判别器因此判别网络的损失函数即判别器的损失函数
训练判别器时，生成器的权重是固定的，训练判别器的目标是将尝试将实际视频帧和预测视频帧区别开，正确判断生成网络生成的图像为“假”，即标签值为0，以及判断真实的图像为“真”，即标签值为1，因此判别器的对抗损失表示为；
Figure BDA00034555919600000810
其中，D(I)i,j表示判断视频帧I中像素点(i，j)的标签为真的概率。
步骤3，以训练集中的多组正常行为的视频帧训练生成网络和判别网络
步骤3.1，一组正常行为的视频帧经过步骤1的预处理后获得大部分信息为前景信息连续的t+1帧正常行为的视频帧I1,I2,…,It+1。
步骤3.2，将I1,I2,…,It送入生成网络生成预测视频帧
Figure BDA0003455591960000091
并且将It、
Figure BDA0003455591960000092
Figure BDA0003455591960000093
所对应的实际视频帧It+1计算生成器和判别器的损失函数。
步骤3.3，根据步骤3.2计算的损失函数调整生成器以及判别器的内部参数，减小损失函数的数值。
步骤3.4，使用下一组正常行为的视频帧进行训练重复步骤3.1～步骤3.3，使用训练集中所有数据训练生成网络和判别网络一次为一次迭代；迭代多次训练直到生成器的损失函数达到一个较小的预设数值为止或迭代一定预设次数，此时结束训练。
步骤4，将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生。
步骤4.1，以测试集中的数据(或实际采集的图像数据)作为待判别的视频帧数据，将测试集中连续的t+1帧预处理后的视频帧I1,I2,…,It,It+1输入训练好的生成网络，并生成预测视频帧
Figure BDA0003455591960000094
使用背景分割器获取预测视频帧
Figure BDA0003455591960000095
与其所对应的实际视频帧It+1的二值化掩码矩阵
Figure BDA0003455591960000096
与K。
以帧I说明前景掩码矩阵K：背景分割器判断图像的每个像素点是否为前景，如该像素点为前景，则掩码所对应该像素点的值置1，如为背景，则掩码所对应该像素点的值置0，以此获取二值化掩码矩阵K：
Figure BDA0003455591960000097
获取预测视频帧
Figure BDA0003455591960000098
和实际视频帧It+1的识别区域前景掩码矩阵G：
Figure BDA0003455591960000099
步骤4.2，计算自适应峰值信噪比，用以评估预测视频帧和实际视频帧图像间的差异。
因为训练网络是使用正常行为的视频数据进行训练的，所以理论上生成网络生成的未来帧仅能表示正常行为，而异常行为是无法预测出来的。假设正常行为视频的未来帧可以很好地被预测出来，那么预测视频帧和所对应的实际视频帧的差异应该很小；相对的异常行为视频的未来帧是不可被预测出来的，那么预测视频帧和所对应的实际视频帧的差异应该很大。而峰值信噪比可以很好地衡量两张图片之间的差异，峰值信噪比定义如下：
Figure BDA0003455591960000101
Figure BDA0003455591960000102
为预测视频帧
Figure BDA0003455591960000103
中最大的像素值，N表示视频帧图像像素点的个数，
Figure BDA0003455591960000104
表示预测视频帧
Figure BDA0003455591960000105
中第i个像素点的像素值，Ii表示实际视频帧I中第i个像素点的像素值。
若预测视频帧和实际视频帧的相似度越高，则峰值信噪比越大，表明该视频帧是正常帧的概率就越大；因为视频帧是异常帧的话是无法预测的，所以生成的预测视频帧与实际视频帧的相似度会很低，峰值信噪比也会很小。
按照此评估方法可以评估出整幅图像的差异，但是，当异常事件占画面的面积过小，对应的峰值信噪比PSNR的变化量也会变小，导致小画幅的异常事件检测率较低；为更好响应小画幅的异常事件，提出自适应峰值信噪比的评估方法，定义自适应峰值信噪比如下：
Figure BDA0003455591960000106
Figure BDA0003455591960000107
为预测视频帧
Figure BDA00034555919600001015
图像中最大的像素值，Row为图像行像素点数，Col为图像列像素点数(图像的尺寸为Row*Col，如本发明中的图像尺寸为256*256像素尺寸，因此Row＝256，Col＝256)，
Figure BDA0003455591960000108
表示预测视频帧
Figure BDA0003455591960000109
中坐标(i,j)像素点的像素值，Ii,j表示实际视频帧I中坐标(i,j)像素点的像素值。Gi,j为预测视频帧
Figure BDA00034555919600001010
和实际视频帧I的识别区域前景掩码在坐标(i,j)像素点的掩码值；‖G‖1为前景掩码矩阵G的一范数，得出识别区域中属于前景区域的像素的数量。
使用自适应峰值信噪比可以仅对预测视频帧以及其对应的实际视频帧的前景区域进行画面差异评估，提高对于小画幅的异常事件的响应率。
步骤4.3，对自适应峰值信噪比的评估结果
Figure BDA00034555919600001011
进行标准化处理得出一个得分函数，定义得分函数如下：
Figure BDA00034555919600001012
Figure BDA00034555919600001013
为以测试集中多组同一场景视频帧得出的自适应峰值信噪比中的最大值。
Figure BDA00034555919600001014
为以测试集中多组同一场景视频帧得出的自适应峰值信噪比中的最小值。
步骤4.3，得分函数Score(t)可以在范围[0,1]上，表现出测试视频每帧的自适应峰值信噪比标准化的结果；通过得分函数Score(t)就可以判断视频帧是否存在异常行为。得分函数Score(t)越接近1则表示视频帧越正常，反之则存在异常行为。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于前景信息增强的视频异常检测方法，其特征在于，包括以下步骤：
步骤1，将训练集中连续的t+1帧视频帧进行背景与前景的分割的预处理，保留视频图像的前景区域；
步骤2，搭建生成网络以及判别网络模型；其中，生成网络包括生成器和光流网络；
将预处理后的连续t帧视频帧I1,I2,…,It作为实际视频帧进入生成网络，生成It的下一帧预测视频帧
Figure FDA0003455591950000018
构建生成网络的损失函数，在损失函数中加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，加入运动约束用来保证视频帧在时间上的连续性，加入对抗约束用来与判别网络进行对抗；构建判别网络的损失函数，利用判别器进行预测视频帧以及对应的实际视频帧的区分；
步骤3，以训练集中的多组正常行为的视频帧训练生成网络和判别网络；
步骤4，将待判别的视频帧数据输入训练好的生成网络和判别网络中，得出基于自适应峰值信噪比，判断异常行为是否发生，其中，所述自适应峰值信噪比如下：
Figure FDA0003455591950000011
Figure FDA0003455591950000019
为预测视频帧
Figure FDA0003455591950000012
图像中最大的像素值，Row为图像行像素点数，Col为图像列像素点数，
Figure FDA0003455591950000013
Ii,j表示预测视频帧
Figure FDA0003455591950000014
该预测视频帧对应的实际视频帧I中坐标(i,j)像素点的像素值；Gi,j为预测视频帧
Figure FDA0003455591950000015
和实际视频帧I的识别区域前景掩码在坐标(i,j)像素点的掩码值；‖G‖1为预测视频帧
Figure FDA0003455591950000016
和实际视频帧I的识别区域前景掩码矩阵G的一范数。
2.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述生成网络的损失函数表示如下：
Figure FDA0003455591950000017
其中，λint、λgd、λop、λadv为强度损失Lint、梯度损失Lgd、光流损失Lop以及对抗损失
Figure FDA0003455591950000021
在损失函数中所占的权重。
3.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述加入RGB三色强度约束以及梯度约束用来保证视频帧在空间上的连续性，具体表示如下：
Figure FDA0003455591950000022
其中Lint为强度损失，
Figure FDA0003455591950000023
表示生成的预测视频帧的像素数据，I表示该预测视频帧所对应的实际视频帧的像素数据；
Figure FDA0003455591950000024
其中Lgd为梯度损失，下标i，j表示视频帧
Figure FDA0003455591950000025
I中像素点的位置；
所述加入运动约束用来保证视频帧在时间上的连续性，具体表示如下：
Figure FDA0003455591950000026
其中，Lop为光流损失，f(It+1,It)表示使用光流网络计算两帧视频帧It+1,It的光流信息；光流网络的输入为生成器生成的预测视频帧、所对应的实际视频帧以及该实际视频帧的前一帧；
所述加入对抗约束用来与判别网络进行对抗，表示为：
Figure FDA0003455591950000027
其中，
Figure FDA0003455591950000028
为对抗损失，
Figure FDA0003455591950000029
表示判断网络判断视频帧
Figure FDA00034555919500000210
是生成出来的“假”图像还是真实的“真”图像，
Figure FDA00034555919500000211
表示判断
Figure FDA00034555919500000212
中像素点(i，j)的标签为真的概率，
Figure FDA00034555919500000213
4.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述判别器的损失函数
Figure FDA00034555919500000214
表示为：
Figure FDA00034555919500000215
其中，D(I)i,j表示判断视频帧I中像素点(i，j)的标签为真的概率。
5.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述以训练集中的多组正常行为的视频帧训练生成网络和判别网络，包括：
将训练集中的一组正常行为的视频帧经过预处理后I1,I2,…,It送入生成网络生成预测视频帧
Figure FDA0003455591950000031
并且将It、
Figure FDA0003455591950000032
所对应的实际视频帧It+1计算生成器和判别器的损失函数；根据计算的损失函数调整生成器以及判别器的损失函数；
使用下一组正常行为的视频帧进行训练，使用训练集中所有数据训练生成网络和判别网络一次为一次迭代；迭代多次训练直到生成器的损失函数达到预设数值为止或迭代预设次数，此时结束训练。
6.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述预测视频帧
Figure FDA0003455591950000033
和实际视频帧It+1的识别区域前景掩码矩阵G表示如下：
Figure FDA0003455591950000034
其中，
Figure FDA0003455591950000035
与K为预测视频帧
Figure FDA0003455591950000036
与其所对应的实际视频帧It+1的二值化掩码矩阵；矩阵K中的元素Ki,j表示如下：
Figure FDA0003455591950000037
7.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述方法还包括：
对自适应峰值信噪比的评估结果
Figure FDA0003455591950000038
进行标准化处理得出一个得分函数，定义得分函数如下：
Figure FDA0003455591950000039
Figure FDA00034555919500000310
为以待判别的视频帧数据中多组同一场景视频帧得出的自适应峰值信噪比中的最大值；
Figure FDA00034555919500000311
为以待判别的视频帧数据中多组同一场景视频帧得出的自适应峰值信噪比中的最小值；
通过得分函数Score(t)就可以判断视频帧是否存在异常行为：得分函数Score(t)越接近1则表示视频帧越正常，反之则存在异常行为。
8.根据权利要求1所述的基于前景信息增强的视频异常检测方法，其特征在于，所述训练集中的视频帧为具有连续时间序列以及具有相同尺寸的视频帧，且视频帧中只含有正常行为。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现根据权利要求1至8中任一权利要求所述基于前景信息增强的视频异常检测方法的步骤。
10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据权利要求1至8中任一权利要求所述基于前景信息增强的视频异常检测方法的步骤。
CN202210006317.0A 2022-01-04 2022-01-04 一种基于前景信息增强的视频异常检测方法 Pending CN114332071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210006317.0A CN114332071A (zh) 2022-01-04 2022-01-04 一种基于前景信息增强的视频异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210006317.0A CN114332071A (zh) 2022-01-04 2022-01-04 一种基于前景信息增强的视频异常检测方法

Publications (1)

Publication Number Publication Date
CN114332071A true CN114332071A (zh) 2022-04-12

Family

ID=81025799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210006317.0A Pending CN114332071A (zh) 2022-01-04 2022-01-04 一种基于前景信息增强的视频异常检测方法

Country Status (1)

Country Link
CN (1) CN114332071A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225829A (zh) * 2022-07-14 2022-10-21 北京京东尚科信息技术有限公司 一种视频生成方法及装置、计算机可读存储介质
CN116052006A (zh) * 2023-03-29 2023-05-02 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法
CN116777779A (zh) * 2023-06-20 2023-09-19 深圳市瑞云科技股份有限公司 一种基于生成对抗网络的图像去噪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225829A (zh) * 2022-07-14 2022-10-21 北京京东尚科信息技术有限公司 一种视频生成方法及装置、计算机可读存储介质
CN116052006A (zh) * 2023-03-29 2023-05-02 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法
CN116052006B (zh) * 2023-03-29 2023-06-16 山东建筑大学 基于多任务学习与对偶彩票假说的建筑物边缘优化方法
CN116777779A (zh) * 2023-06-20 2023-09-19 深圳市瑞云科技股份有限公司 一种基于生成对抗网络的图像去噪方法

Similar Documents

Publication Publication Date Title
Zhou et al. Attention-driven loss for anomaly detection in video surveillance
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
CN108875624B (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN114332071A (zh) 一种基于前景信息增强的视频异常检测方法
Lin et al. Estimation of number of people in crowded scenes using perspective transformation
CN101510257B (zh) 一种人脸相似度匹配方法及装置
CN105184818B (zh) 一种视频监控异常行为检测方法及其检测系统
Gao et al. Learning independent instance maps for crowd localization
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN105243356B (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
Zhao et al. Robust unsupervised motion pattern inference from video and applications
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN114067251B (zh) 一种无监督监控视频预测帧异常检测方法
CN101950448B (zh) Atm的伪装与偷窥行为检测的方法和系统
Ji et al. Face occlusion detection using skin color ratio and LBP features for intelligent video surveillance systems
CN117272215A (zh) 一种基于数据挖掘的智慧小区安全管理方法及系统
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
CN103971100A (zh) 基于视频并针对自动提款机的伪装与偷窥行为的检测方法
CN113627383A (zh) 一种用于全景智能安防的行人徘徊重识别方法
CN114581819B (zh) 一种视频行为识别方法及系统
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN110852203B (zh) 一种基于视频特征学习的多要素可疑人员识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination