CN111881750A

CN111881750A - 基于生成对抗网络的人群异常检测方法

Info

Publication number: CN111881750A
Application number: CN202010588978.XA
Authority: CN
Inventors: 古雪; 同磊; 肖创柏; 段娟
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2020-06-24
Filing date: 2020-06-24
Publication date: 2020-11-03

Abstract

本发明公开了基于生成对抗网络的人群异常检测方法，通过引入背景去除、多尺度光流结构和自注意力机制来改进GAN，进而预测未来帧，得到了更逼真的未来帧图像，实现了异常数据的有效检测。首先，引入背景去除技术，得到了图像更多的外观信息；其次，通过多尺度光流来引入时序信息；最后，引入自注意力机制来捕捉图像的几何结构和分布。将预测出的异常帧与真实情况进行比对，得到检测结果。本发明技术具有较高的人群异常检测精度。本方法克服了传统方法中只通过重建当前帧来进行建模的局限和GAN生成图像质量不高问题，用改进后的GAN来预测未来帧，能描绘出更细致逼真的未来帧图像，提高了人群异常检测的准确率。

Description

基于生成对抗网络的人群异常检测方法

技术领域

本发明属于信息处理技术领域，涉及一种人群异常检测方法，尤其涉及一种基于生成对抗网络的人群异常检测算法。

背景技术

视频序列异常事件检测是计算机视觉中一个重要的研究课题,已被广泛应用,如人群监控、公共场所检测、交通安全和个人行为异常。其目的是采用智能监控技术从视频数据中的绝大多数正常事件中检测到少量异常事件，并及时发出警报以便于做好相关措施。人群异常事件检测就是从监控视频中发现与平常不同的事件，并发出警报。

面对海量的视频数据,传统的有监督标记异常事件方法需要耗费大量的人力和物力。因此，无监督的视频序列异常检测方法是该领域的研究焦点。虽然关于异常事件检测的研究在特征提取、行为建模和异常措施等方面已经取得了很大的进展，但是视频序列异常事件检测仍然是一个非常具有挑战性的任务。

首先，异常事件具有不确定性，即没有精确的定义，不同场景下异常不同。有两种常见的异常行为识别方法，一种是异常行为模式聚类，不足之处在于没有足够的先验知识来描述异常行为模式；另一种是建立概率模型，将发生率低的检测样本作为异常行为，异常行为检测依赖于正常模式的定义和特征的多尺度变化。其次，拥挤场景中的异常检测具有挑战性。需要考虑密集场景中的运动目标的状态，不仅数目多、运动复杂，目标间还会出现重叠和遮挡。近些年来异常检测的发展主要分为以下两方面：

一是基于判别式模型的异常检测，该方法依据模型提取到的特征对样本空间进行划分，从而区分出正常与异常。早期的方法的研究重点是如何提取更为有效的手工特征来对训练集进行建模，如基于直方图的特征的方法，该方法能清晰地表示目标某时某刻的空间状态，但却不适用与目标间相互遮掩和相互作用的拥挤场景。后来通过运用深度学习中卷积神经网络(Convolutional Neural Networks，CNN)提取图像特征用于异常检测，如使用时空CNN捕获空间和时间特征，并用逻辑回归来判别异常，该方法的局限在于很难断言提取的特征是否完全包含样本信息。

二是基于生成式模型的异常检测，该方法对正常训练样本的分布进行建模，依据测试样本与习得分布的距离来检测异常。早期主流方法包括马尔可夫随机场模型、受限玻尔兹曼机模型和深度玻尔兹曼机模型等。这些基于传统机器学习算法的生成式模型建模能力有限，对正常样本的重建误差不够小，以致于与异常样本的重建误差相比区分度较低，进而影响异常检测效果。

近年来，生成对抗网络(Generative Adversarial Networks，GAN)由于其能生成逼真的图像，在很多领域得到了有效的应用。因此，本发明结合GAN思想，提出了一种基于生成对抗网络的人群异常检测方法，该方法通过改进的GAN生成更逼真的图像来进行视频帧预测，在人群异常检测上取得了较好的效果。该方法主要涉及3个技术：一是背景去除(Background Removal，BR)，通过计算两个连续帧之间的帧绝对差来提取运动前景对象特征，将背景去除后的图像和原图像联合得到更多的外观信息；二是多尺度光流(Muti-scaleOptical Flow，MOF)，通过引入光流结构来引入时序信息；三是自注意力机制(Self-Attention，SA)，引入该机制能效捕捉图像的几何结构和分布。利用上述3个技术辅助GAN，能描绘出更细致逼真的图像。其结果表明，基于生成对抗网络的人群异常检测方法在一定程度上提升了检测精度。

发明内容

本发明旨在解决以上问题，提出了一种基于生成对抗网络的人群异常检测方法，利用改进的GAN网络生成更逼真的图像，提升检测性能。

为了达到上述目的，基于生成对抗网络的人群异常检测方法，本方法的实现步骤如下：

步骤一、特征提取；

(1a)获取视频序列原始帧f_ori；

(1b)对原始帧进行背景去除(BR)得到f_br；

(1c)联合特征f_ori和f_br得f；

步骤二、建立生成对抗网络模型；

(2a)生成器(Generator，G)；

(2b)判别器(Discriminator，D)；

步骤三、模型学习；

定义目标函数，训练生成器和判别器模型。

(3a)约束条件1，强度损失函数；

(3b)约束条件2，梯度损失函数；

(3c)约束条件3，光流损失函数；

(3d)约束条件4，生成对抗损失函数；

(3e)结合上述约束条件得到目标函数，训练生成器和判别器；

步骤四、异常检测；

(4a)利用步骤三训练得到的人群正常模式的参数得到测试集的预测帧f′；

(4b)引入峰值信噪比(Peak Signal to Noise Ratio，PSNR)对预测帧f′和它的真实标签f进行质量评估，得到分数S(t)，设置阈值T，判断测试特征是否为异常特征。

实验表明，将本方法运用到公开的人群异常检测数据集上，对比该领域的方法，平均检测准确率能提高约2.5％，体现了本方法的优越性。

本发明的优点：

克服了传统方法只通过重建当前帧来进行建模的局限，和GAN生成图像质量不高问题，引入背景去除(BR)、多尺度光流(MOF)和自注意力机制(SA)技术来改进GAN。首先，引入背景去除(BR)技术，得到了图像更多的外观信息；其次，通过多尺度光流(MOF)来引入时序信息；最后，引入自注意力机制(SA)来捕捉图像的几何结构和分布。用改进后的GAN来预测未来帧，能描绘出更细致逼真的未来帧图像，提高了人群异常检测的准确率。

附图说明

图1为本发明的框架图。

图2为特征联合示意图。

图3为自注意力机制示意图。

图4为多尺度光流示意图。

图5为传统U-Net网络图。

图6为生成器网络示意图。

图7为判别器网络示意图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明的实现步骤如下：

步骤一、特征提取；

(1a)获取视频序列原始帧f_ori；

(1b)对原始帧f_ori进行背景去除(BR)得f_br；

由于采用的数据集是由固定的摄像机下拍摄的，感兴趣的对象只是移动的对象，在这种情况下，若背景是静止的，引入一种帧绝对差背景移除法(BR)，只提取运动的前景对象特征，并将不重要的像素移动到背景中。相比于一种较为流行的背景减法技术，即基于高斯混合模型的背景减法(GMM-based background subtraction)，BR综合保留了运动前景对象的外观特征信息，更适合于异常检测。

f_br图像是通过计算两个连续帧之间的帧绝对差而获得的外观信息的表示，定义如下

f_br＝|f_ori|t-f_ori|t-1| (1)

(1c)联合特征f_ori和f_br得到帧图像更多的外观信息特征f，并将图像分辨率重设为256×256，详情如图2所示。

步骤二、建立生成对抗网络模型；

(2a)生成器(Generator，G)由一个改进的U-Net网络构成；

图6表示改进U-Net的网络结构(传统U-Net的网络结构如图5所示)，即本发明的生成器网络。该结构引入多尺度光流(MOF)和自注意力机制(SA)，共有6层。其中，全部卷积层和反卷积层的卷积核大小为3×3，步长为1，边填充为“SAME”，具体各层的输出通道数如图中所示；全部的最大池化层的步长为2；卷积层的激活函数均为leaky ReLU；优化算法使用Adam算法；SA表示自注意力机制，具体结构如图3所示；MOF表示多尺度光流，具体结构如图4所示。

(2b)判别器(Discriminator，D)；

图7表示判别器网络结构，具体网络结构为：输入样本为分辨率256×256的3通道图像，经4个卷积核为3×3，步长为2的卷积层处理，特征通道数分别为128、256、512、512，再经过一个卷积核为3×3，步长为1的卷积层处理使得特征图的通道数变为1。卷积层的激活函数均为leaky ReLU。最后，经卷积层计算得到的1通道特征图经逻辑回归判别输入样本是否为真实样本。

步骤三、模型学习；

结合各个约束条件，定义目标函数。将步骤一中预处理的数据作为输入，训练模型。下面公式中，f′表示预测未来帧的灰度值，f表示真实未来帧的灰度值，i,j表示帧的横纵坐标，t,t+1表示当前和未来。

(3a)约束1，强度损失。通过像素级的L₂损失计算，定义为

(3b)约束2，梯度损失。定义为

(3c)约束3，光流损失。定义为

L_of＝||o(f′_t+1,f_t)-o(f_t+1,f_t)||₁ (4)

(3d)约束4，对抗损失；

判别器对抗损失定义为

其中，L_MSE表示均方误差Mean Square Error(MSE)函数，定义为

其中，X＝{0,1}，

生成器对抗损失定义为

(3e)最终，结合全部约束条件，得到目标函数，训练生成器和判别器；

生成器的目标是生成使判别器的判别结果尽可能接近1的帧。当训练生成器时，固定判别器的参数。

目标函数为

判别器目标是将真实的未来帧f_t+1分类为1，而将G(f₁,f₂,...,f_t)＝f_t′₊₁分类为0，1和0分别表示真实和错误标签。当训练判别器时，固定生成器的参数。目标函数为

步骤四、异常检测；

(4a)利用步骤三训练得到的正常模式的参数得到测试集的预测帧f′；

(4b)引入峰值信噪比(Peak Signal to Noise Ratio，PSNR)对预测帧f′和它的真实标签f进行质量评估，得到分数S(t)，设置阈值T，判断测试特征是否为异常特征；

峰值信噪比(PSNR)是一种图像质量评估方法，定义如下

其中，N表示图像像素个数，f′表示预测的未来帧，f表示实际未来帧，max_f′表示预测未来帧灰度的最大值。由于得到了f的预测输出f′，可计算其与真实值f的均方误差(MSE)，即PSNR的分母部分。PSNR的值越低表明该帧异常可能性越大。

为了获得更好的检测效果，考虑到同一个时间段内的帧应具有相似的PSNR，将测试集中每个序列的PSNR归一化至[0,1]。每帧的正常分数定义如下

最后，基于得分S(t)，通过定义一个阈值T来划分正常或异常。

实验以及分析

1.实验条件

本发明是在深度学习框架TensorFlow基础上，利用Python和Matlab实现了该方法。使用NVIDIA GeForce GTX 2080 Ti，Ubuntu 16.04.6 LTS。

2.实验数据

本发明的性能评价主要用到两个公共数据集，UCSD Ped数据集和香港中文大学校园拍摄的CUHK Avenue数据集。

UCSD Ped数据集通过安装在固定高度的监控摄像机获得，俯瞰人行道。数据集中的异常事件是由于非行人实体的流通或异常的行人运动模式造成的，包括车辆、自行车、滑旱冰的人、推手推车的人等。该数据集分为两个数据集UCSD Ped1和UCSD Ped2，两个数据集的训练集都是仅由正常场景组成，而训练集中所有的视频片段都至少包含一个异常。本发明选取UCSD Ped2数据集，包含16个训练视频和12个测试视频，其中每个视频样本的长度是可变的，从120帧到180帧不等。此场景中包含与摄像机平行移动的行人。

CUHK Avenue数据集包含16个测试视频和21个训练视频。训练视频中只有正常场景，测试视频提供像素级别的真实数据。训练视频捕捉正常事件，测试视频包含正常和异常事件，异常事件主要包括三类，如奇怪的行为、错误的方向、异常的目标，如跑步、扔东西和闲逛。同时该数据集也存在一些挑战，如相机抖动，训练数据中包含一些异常值或极少出现一些正常模式。

3.性能比较

为了证明算法的有效性，综合考虑算法的流行性和崭新性，本发明从选取了9种方法进行比较。其中的对比算法分别来自：

(1)MPPCA来自文献Jaechul Kim and Kristen Grauman.Observe locally,inferglobally:A space-time mrf for detecting abnormal activities with incrementalupdates.In CVPR.IEEE,2009.

(2)Lu来自文献Lu C,Shi J,Jia J.Abnormal event detection at 150 FPS inMATLAB.In CVPR.IEEE,2013.

(3)Del et al来自文献A.D.Giorno,J.A.Bagnell,andM.Hebert.Adiscriminative framework for anomaly detection in large videos.InECCV,pages 334–349.Springer,2016.

(4)Conv-AE来自文献M.Hasan,J.Choi,J.Neumann,A.K.Roy-Chowdhury,andL.S.Davis.Learning temporal regularity in video sequences.In CVPR,2016.

(5)ConvLSTM-AE来自文献W.Luo,W.Liu,and S.Gao.Remembering history withconvolutional lstm for anomaly detection.In Multimedia and Expo(ICME),2017IEEE International Conference on,pages 439–444.IEEE,2017.

(6)Stacked RNN来自文献W.Luo,W.Liu,and S.Gao.Arevisit of sparse codingbased anomaly detection in stacked rnn framework.In ICCV,Oct 2017.

(7)Optical Flow-GAN来自文献Mahdyar Ravanbakhsh,Moin Nabi,EnverSangineto,Lucio Marcenaro,Carlo Regazzoni,and Nicu Sebe.Abnormal eventdetection in videos using generative adversarial nets.In ICIP.IEEE,2017

(8)Pred-GAN来自文献W.Liu,W.Luo,D.Lian,and S.Gao.Future frameprediction for anomaly detection—A new baseline.In CVPR,2018.

(9)ST-GAN来自文献Lei Z,Deng F,Yang X.Spatial Temporal BalancedGenerative Adversarial AutoEncoder for Anomaly Detection.In IVSP,2019.

检测指标：

受试者工作特征(Receiver Operation Characteristic，ROC)曲线被广泛运用于异常检测任务，对异常检测效果进行评估。ROC曲线通过逐渐改变的异常分数阈值，分别计算假阳性率(False Positive Rate，FPR)和真阳性率(True Positive Rate，TPR)作为x轴和y轴。随后计算曲线下面积(Area Under Curve，AUC)作为异常检测性能的评估指标。AUC值越高意味着分类器性能越好，即检测效果越好。

实验对比结果如下表所示。

表1 在UCSD Ped2和CUHK Avenue数据集上不同方法的AUC分数对比

表1表示9种算法和本发明算法在两个数据集下的准确率对比，从对比结果可以看出，在两个数据集下，本发明的检测精度均优于现有的方法。其中，相比于使用生成对抗网络的Optical flow-GAN的算法，本发明在UCSD Ped2数据集上，检测准确率提高了约2.5％，对比最新算法ST-GAN提升约0.2％。在CUHK Avenue数据集上，相比于最新算法Pred-GAN，提升了约0.6％。

综上所述，本发明提出的一种基于生成对抗网络的人群异常检测方法，通过引入背景去除(BR)、多尺度光流结构(MOF)和自注意力机制(SA)来改进GAN，进而预测未来帧，得到了更逼真的未来帧图像，实现了异常数据的有效检测。将预测出的异常帧与真实情况进行比对，得到检测结果。其实验结果表明，本发明技术具有较高的人群异常检测精度。