CN111402237B - 基于时空级联自编码器的视频图像异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于时空级联自编码器的视频图像异常检测方法及系统，包括：提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。保证视频序列的时间信息可以被充分利用，同时降低视频数据处理的复杂度。

Description

基于时空级联自编码器的视频图像异常检测方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于时空级联自编码器的视频图像异常检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近几年，监控摄像机广泛地应用在各种公共区域内，由此带来了海量的视频监控数据。越来越多机器视觉领域方面的研究人员致力于从这些原始视频数据中挖掘有效信息。其中，异常行为自动检测与定位(Automatic Detection and Localization ofAbnormal Behaviors)逐渐成为研究热点之一。然而，在复杂的人群视频场景下，异常行为模式多变，难以对其进行准确定义；除此之外，异常行为发生频率较低，导致实验过程中正样本数量不足。

为了解决上述两个问题，近期研究人员提出采用无监督的方式训练异常检测模型，这种训练方式仅使用正常样本作为输入。继而，测试样本中不符合预先训练模型的样本将被判为异常。根据输入数据的种类，现有的无监督异常检测方法可以分为两类：1)基于人工设计特征的方法：这类方法通常使用人工设计特征如轨迹特征，时空梯度特征，梯度直方图(HOG)，光流直方图(HOF)描述视频中人群的运动与表观特征信息。继而使用从正常视频中提取出的特征训练一个异常检测模型。2)基于深度学习的方法：随着深度学习网络被广泛地应用到机器视觉任务中，如文本识别、目标检测、人脸识别等。研究人员提出了无监督的基于深度学习的异常检测算法，通常使用正常视频帧学习一个卷积自编码器，该卷积自编码器重构正常样本时重构误差较小，而重构异常样本时将会获得较大重构误差。

但是，发明人发现现有技术至少存在以下问题：(1)基于人工设计特征的方法中特征提取是一个复杂且耗时的过程，人工设计特征的表征能力具有局限性，而视频数据大都包含很多复杂场景，数据量大，因此这类方法不适合处理复杂情境。(2)基于深度学习的方法中大都采用全连接自编码器或二维卷积自编码器，无法提取对异常检测至关重要的视频序列的时间信息；部分方法在传统自编码器结构中添加三维卷积或卷积LSTM操作以提取视频时间信息，但是这些方法只依靠单一自编码器结构进行异常检测。

发明内容

为了解决上述问题，本发明提出了一种基于时空级联自编码器的视频图像异常检测方法及系统，时空级联自编码器网络(ST-CaAE)包含时空对抗自编码器(ST-AAE)和时空卷积自编码器(ST-CAE)，时空对抗自编码器与时空卷积自编码器训练过程结束后，在第一阶段使用时空对抗自编码器排除明显正常的视频块并检测出疑似异常的视频块，从而减小第二阶段的异常检测时间；在第二阶段使用时空卷积自编码器检测出疑似异常视频块中异常的二维图像块。保证视频序列的时间信息可以被充分利用，同时降低视频数据处理的复杂度。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于时空级联自编码器的视频图像异常检测方法，包括：

提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；

根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

第二方面，本发明提供一种基于时空级联自编码器的视频图像异常检测系统，包括：

数据预处理及训练模块，被配置为提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

第一阶段筛选模块，被配置为根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；

第二阶段判断模块，被配置为根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于时空级联自编码器的视频图像异常检测方法所述的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于时空级联自编码器的视频图像异常检测方法所述的步骤。

与现有技术相比，本发明的有益效果为：

本发明提供一种时空级联自编码器网络用于异常检测，该网络包括时空对抗自编码器和时空卷积自编码器两个阶段，在第一阶段使用时空对抗自编码器排除明显正常的视频块并检测出疑似异常的视频块，从而减小第二阶段的异常检测时间；在第二阶段使用时空卷积自编码器检测出疑似异常视频块中异常的二维图像块。保证视频序列的时间信息可以被充分利用，同时降低视频数据处理的复杂度。

为了实现局部异常检测，本发明提取三维视频块作为网络输入进行训练和测试，采用双流结构同时检测运动异常与表观异常，运动流使用光流图作为视频特征表达，表观流使用时空梯度图作为特征表达，将运动流与表观流的检测结果相融合以获取最终更加准确地检测结果。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于时空级联自编码器的视频图像异常检测方法流程图；

图2为本发明实施例1提供的局部特征块提取流程图；

图3为本发明实施例1提供的时空对抗自编码器网络结构图；

图4为本发明实施例1提供的时空卷积自编码器网络结构图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例提供一种基于时空级联自编码器的视频图像异常检测方法，包括：

S1：提取三维视频块对应的光流特征块与梯度特征块；

S2：以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

S3：根据训练后的时空对抗自编码器筛选测试视频块中的疑似异常视频块；

S4：根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

所述步骤S1中，为实现视频图像中局部区域异常行为的定位，本实施例将原始视频图像分割为三维视频块，采用大小为w×h×t的滑动窗口从原始视频图像序列中提取三维视频块，w和h分别为滑动窗口的宽度和高度，t为其时间深度，并针对不同视频块分别进行异常判别。

为了检测每个图像块中的运动异常与表观异常，提取其对应的三维光流特征块与三维梯度特征块分别作为运动流与表观流中时空级联自编码器的输入；如图2所示，三维光流特征块与三维梯度特征块的获取分别为：

三维梯度特征块的获取：首先计算每个像素点的时空梯度获取每帧图像的时空梯度图；每一帧图像的时空梯度图包含三个通道，前两个通道记录了视频图像水平方向与垂直方向的梯度值，描述了目标的姿态与形状；第三个通道包括时间方向的梯度值，刻画了目标表观特征随着时间的变化。继而使用滑动窗口将计算得到的时空梯度图分割成三维梯度特征块。

三维光流特征块的获取：首先采用光流法计算图像中每个像素点的水平方向光流值f^u与垂直方向光流值f^v构成光流图的前两个通道；继而计算每个像素点的光流幅值

作为光流图的第三个通道；最后使用滑动窗口将光流图进行分割得到三维光流特征块。在本实施例中采用Lucas-Kanade光流法。

采用同样的滑动窗口进行分割，根据分割后的视频图像块提取其对应的三维梯度特征块和三维光流特征块。

所述步骤S2中，基于光流特征块与梯度特征块中的正常样本分别构建光流特征块训练集与梯度特征块训练集，作为运动流与表观流中时空级联自编码器的输入，分别训练运动流与表观流中的时空对抗自编码器和时空卷积自编码器，获取网络参数。在本实施例中，时空级联自编码器网络包含时空对抗自编码器和时空卷积自编码器。

(1)时空对抗自编码器训练过程：时空对抗自编码器的编码器和解码器分别采用了三维卷积操作和三维反卷积操作，因此可以保证视频序列的时间信息可以被充分利用。

在本实施例中，以表观流中的时空对抗自编码器的训练流程为例，用于训练的正常的梯度特征块集合表示为

K为集合中梯度特征块的数目。

对于梯度特征块

其数据分布表示为

通过编码器映射为隐空间向量为

n为向量的维度；根据z，编码器可以生成重构的梯度特征块

重构的梯度特征块应与原始输入梯度特征块应保持一致，目标函数如下：

同时，通过判别器使隐空间表示z符合先验分布p(z)；

为向量z采样自先验分布p(z)的概率；假设z^*～p(z)表示从先验分布p(z)中任意采样的特征向量，D(z^*)表示向量z^*来源于p(z)的概率。目标函数定义为：

根据以下公式迭代训练时空对抗自编码器的编码器与判别器的网络参数w_En与w_Di：

其中，

为用于训练的正常的梯度特征块，

为

通过编码器映射得到的隐空间向量，向量的维度为n，

为向量

采样自先验分布p(z)的概率，

表示从先验分布p(z)中任意采样的特征向量，

表示向量

来源于p(z)的概率，L为训练过程中每个小批量的梯度特征块数目(批量尺寸)，x_a表示梯度特征块，q表示用于训练的梯度特征块的起始位置，j表示用于训练的第j个梯度特征块。

本实施例中的时空对抗自编码器主要用来从输入的原始视频块中排除明显正常的视频块并检测出疑似异常的视频块，从而减小第二阶段异常检测时间。

时空对抗自编码器是在一个传统的对抗自编码器的基础上建立的，包含两个神经网络：自编码器与判别器。自编码器包含一个编码器-解码器结构，为了从原始特征块中同时提取空间和时间特征，为编码器搭建了一个三维卷积神经网络；判别器中使用全连接层。表观流与运动流中的时空对抗自编码器的网络结构保持一致，详细结构如图3所示。

其中，编码器包含四层三维卷积层，解码器具有和编码器对称的结构，包含四层反卷积层。判别器中包含3层全连接层。本实施例只采用正常样本训练时空对抗自编码器，训练过程结束后，正常样本对应的使用时空对抗自编码器计算的隐空间向量将会符合一种先验分布(设置为高斯分布)，测试阶段，使用训练好的时空对抗自编码器获得的隐空间向量不符合高斯分布的样本被判为异常。

(2)时空卷积自编码器训练过程：时空卷积自编码器的编码器和解码器分别采用了三维卷积操作和三维反卷积操作，因此可以保证视频序列的时间信息可以被充分利用。

在本实施例中，以表观流中的时空卷积自编码器的训练流程为例，用于训练的正常的梯度特征块集合表示为

K为集合中梯度特征块的数目。时空卷积自编码器尽可能不失真地重构输入梯度特征块，因此采用传统的重构训练策略，目标函数使用欧式距离，表示如下：

其中，

是第i个梯度特征块，

为其数据分布，

是解码器重构的梯度特征块。

根据该公式迭代更新时空卷积自编码器的网络参数w(包含编码器与解码器器的网络参数w_En与w_De)：

其中，

为用于训练的正常的梯度特征块，

为解码器重构出的梯度特征块，w为时空卷积自编码器的参数，λ为正则化参数，L为训练过程中每个小批量的梯度特征块数目(批量尺寸)。

本实施例中的时空卷积自编码器以第一阶段时空对抗自编码器检测出的异常视频块为输入，判断其中每个二维图像块异常与否。

时空卷积自编码器包含一个传统的编码器-解码器结构。同样地，为了从原始特征块中同时提取空间和时间特征，编码器中采用三维卷积层，解码器中对应地采用三维反卷积层，详细结构如图4所示。本实施例只采用正常样本训练时空卷积自编码器，训练过程结束后，正常样本对应较小的重构误差，测试阶段，重构误差大于设定阈值的样本被判为异常。

在本实施例中，时空对抗自编码器和时空卷积自编码器的编码器和解码器分别都采用了三维卷积操作和三维反卷积操作，因此可以保证视频序列的时间信息可以被充分利用。

所述步骤S3中，异常行为检测与定位流程分为两个阶段：

第一阶段，首先提取原始三维视频块对应的三维光流特征块与三维梯度特征块描述视频中的运动与表观信息，继而将提取的三维光流特征块与三维梯度特征块分别输入到运动流和表观流中的时空对抗自编码器，并使用高斯分布计算原始视频块的运动异常值和表观异常值，最后基于运动异常值和表观异常值的融合值检测出疑似异常的视频块。

第二阶段，首先与第一阶段类似，提取疑似异常视频块对应的三维光流特征块和三维梯度特征块，继而分别输入到运动流和表观流中的时空卷积自编码器，并使用基于重构误差的策略计算异常视频块中每个二维图像块的运动异常值与表观异常值，最后，根据运动异常值和表观异常值的融合值判断每个二维图像块的异常与否。

通常情况下，异常行为中包含未预期的运动模式与表观模式，因此采用一种双流结构同时检测运动异常与表观异常。运动流使用光流图作为视频特征表达，表观流使用时空梯度图作为特征表达。将运动流与表观流的检测结果相融合以获取最终更加准确地检测结果。具体包括：

第一阶段，使用时空级联自编码器中的时空对抗自编码器判断输入的三维视频块是否异常：

(1)对于测试原始视频块y，首先提取其对应的三维光流特征块y_m与三维梯度特征块y_a，在此基础上获取其在双流结构中的隐空间向量，如下所示：

z_m＝E_m(y_m)，

z_a＝E_a(y_a)，

其中，z_m与z_a分别为运动流与表观流中的隐空间向量，E_m与E_a分别为运动流与表观流中训练好的时空对抗自编码器的编码器。

(2)使用高斯分布概率密度函数计算测试三维视频块的运动异常值与表观异常值，如下所示：

S_motion＝-logf(z_m)，

S_appearance＝-logf(z_a)，

其中，n为z_m与z_a的维度，f()为高斯分布的概率密度函数。

(3)使用影响因子α与β将表观异常值S_appearance与运动异常值S_motion进行融合，得到总的异常值S_overall，如下所示：

S_overall＝αS_appearance+βS_motion，

(4)最后，根据预设阈值，判定测试三维视频块y是否疑似异常：

S_overall>θ，

其中，θ为第一阶段预先设定的阈值。

第二阶段：使用时空级联自编码器中的时空卷积自编码器检测异常三维视频块中异常的二维图像块：

(1)对于疑似异常视频块y^*，首先提取其对应的三维光流特征块

与三维梯度特征块

获取其在双流结构中重构的特征块，如下所示：

其中，

与

分别为表观流与运动流中重构的特征块，E'_a与E'_m分别为表观流与运动流中训练好的时空卷积自编码器的编码器，D_a'与D'_m为训练好的解码器。

(2)正常的二维图像块对应的重构误差会较小，因为与正常训练数据在特征空间上较为相近，而异常图像块对应的重构误差会较大。因此使用重构误差计算第i个二维图像块的表观异常值与运动异常值，如下所示：

(3)使用影响因子γ与

将表观异常值S'_appearance与运动异常值S'_motion进行融合，得到总的异常值S'_overall，如下所示：

(4)最后，根据预设阈值，判定测试二维图像块y^*(i)是否存在异常行为：

S′_overall>φ，

其中，φ为第二阶段预先设定的阈值。

实验结果

本实施例在UCSD数据集上进行实验：

(1)UCSD数据集包含两个子数据集：Ped1和Ped2，两个数据集的拍摄角度不同。在Ped1和Ped2中定义了许多异常行为，如：坐轮椅者，滑旱冰者，骑自行车，货车。Ped1中包括34段训练视频与36段测试视频，视频图像分辨率统一为158pixel×238pixel；Ped2中包括16段训练视频与12段测试视频，视频图像分辨率统一为320pixel×240pixel。

采用帧级(frame-level)准则与像素级(pixel-level)准则两种评价准则，并绘制ROC(Receiver Operator Characteristic)曲线，通过ROC曲线计算AUC(Area UnderCurve)、EER(Equal Error Rate)和EDR(Equal Detected Rate)3个重要量化评价指标评价算法优劣。AUC的值越大，EER的值越小，EDR的值越大，算法性能越好。

实验结果较基于传统卷积自编码器的方法如表1和表2：

表1 Ped1子数据集比较结果

表2 Ped2子数据集比较结果

在更多实施例中，还提供：

一种基于时空级联自编码器的视频图像异常检测系统，包括：

数据预处理及训练模块，被配置为提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

第一阶段筛选模块，被配置为根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；

第二阶段判断模块，被配置为根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于时空级联自编码器的视频图像异常检测方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于时空级联自编码器的视频图像异常检测方法所述的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于时空级联自编码器的视频图像异常检测方法，其特征在于，包括：

提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；

根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

2.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，计算原始视频图像中每个像素点的时空梯度并构建时空梯度图，采用滑动窗口将时空梯度图分割成梯度特征块；

或，所述梯度特征块为三维梯度特征块。

3.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，采用光流法计算原始视频图像中每个像素点的水平方向光流值与垂直方向光流值构成光流图的水平通道和垂直通道，计算每个像素点的光流幅值构成光流图的时间通道，采用滑动窗口将光流图分割成光流特征块；

或，所述光流特征块为三维光流特征块。

4.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，所述三维视频块为对原始视频图像采用滑动窗口进行分割后获取；

或，所述滑动窗口大小为w×h×t，w和h分别为滑动窗口的宽度和高度，t为其时间深度。

5.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，在表观流和运动流的双流结构中，分别根据训练集训练时空对抗自编码器；

根据第一训练公式，迭代更新时空对抗自编码器的编码器与判别器的网络参数w_En与w_Di；

其中，

为用于训练的正常的梯度特征块，

为

通过编码器映射得到的隐空间向量，向量的维度为n，

为向量

采样自先验分布p(z)的概率，

表示从先验分布p(z)中任意采样的特征向量，

表示向量

来源于p(z)的概率，L为训练过程中每个小批量的梯度特征块数目；

或，在表观流和运动流的双流结构中，分别根据训练集训练时空卷积自编码器；

根据第二训练公式，迭代更新时空卷积自编码器的网络参数w：

其中，

为用于训练的正常的梯度特征块，

为解码器重构出的梯度特征块，λ为正则化参数，L为训练过程中每个小批量的梯度特征块数目；x_a表示梯度特征块，q表示用于训练的梯度特征块的起始位置，j表示用于训练的第j个梯度特征块。

6.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，所述根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块具体包括：

根据测试三维视频块对应的光流特征块与梯度特征块计算其在运动流和表观流的双流结构中的隐空间向量；

使用高斯分布概率密度函数计算测试三维视频块的运动异常值与表观异常值；

使用第一影响因子将表观异常值与运动异常值进行融合得到总异常值，根据预设第一阈值筛选出疑似异常视频块。

7.如权利要求1所述的基于时空级联自编码器的视频图像异常检测方法，其特征在于，所述根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为具体包括：

根据疑似异常视频块对应的光流特征块与梯度特征块得到其在运动流和表观流的双流结构中的重构特征块；

使用重构误差函数计算疑似异常视频块中每个二维图像块的表观异常值与运动异常值；

使用第二影响因子将表观异常值与运动异常值进行融合得到总异常值，根据预设第二阈值判断每个二维图像块是否存在异常行为。

8.一种基于时空级联自编码器的视频图像异常检测系统，其特征在于，包括：

数据预处理及训练模块，被配置为提取三维视频块对应的光流特征块与梯度特征块，以光流特征块与梯度特征块构建的训练集分别训练时空对抗自编码器和时空卷积自编码器；

第一阶段筛选模块，被配置为根据训练后的时空对抗自编码器筛选测试三维视频块中的疑似异常视频块；

第二阶段判断模块，被配置为根据训练后的时空卷积自编码器计算疑似异常视频块中每个二维图像块的运动异常值和表观异常值，根据运动异常值和表观异常值判断疑似异常视频块中每个二维图像块是否存在异常行为。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。

Images