CN108647592A - 基于全卷积神经网络的群体异常事件检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的群体异常事件检测方法，包括：从视频数据集中获取图像序列，并将该图像序列输入卷积神经网络中，以得到图像序列的卷积特征，使用特征编码方法对图像序列的卷积特征进行降维和编码处理，以得到图像序列的二进制卷积特征集合，根据图像序列的二进制卷积特征集合获得图像序列的二进制特征直方图，根据图像序列的二进制特征直方图获得该图像序列中每一幅图像的异常系数，该异常系数用于表示图像序列中异常事件或行为发生的可能性。本发明能解决现有群体异常事件检测方法存在的预处理过程复杂、特征提取过程的实时性较差的技术问题。

Description

基于全卷积神经网络的群体异常事件检测方法和系统

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于全卷积神 经网络的群体异常事件检测方法和系统。

背景技术

随着经济的发展，城镇化的步伐逐渐加快，市内的地铁站、公园和大型 商场等公共场所越来越多，人们出行游玩的次数也日益增加，公共安全是我 们政府和社会不可忽视的重大问题，公共场所稳定的秩序和有力的监控是 人们安全出行、幸福生活的保障。因此，对公共场所的群体进行智能的异常 事件检测对民众的安全是十分重要的。

目前，常见的群体异常事件检测方法主要包括基于局部特征的 群体异常事件检测(例如光流法、稀疏表示法等)、以及基于全局 的群体异常事件检测(例如社会力模型法、交互势能法等)。然而， 现有的这些群体异常事件检测方法均存在一些缺陷：首先，其需要复杂的预处理过程，从而增加了方法处理的时间；其次，其特征提 取过程的实时性较差，使得这些方法无法广泛应用在各种场合。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于全卷 积神经网络的群体异常事件检测方法和系统，其目的在于，解决现 有群体异常事件检测方法存在的预处理过程复杂、特征提取过程 的实时性较差的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于全卷积神 经网络的群体异常事件检测方法，包括以下步骤：

(1)从视频数据集中获取图像序列，并将该图像序列输入卷 积神经网络中，以得到图像序列的卷积特征；

(2)使用特征编码方法对步骤(1)得到的图像序列的卷积特征进行降 维和编码处理，以得到图像序列的二进制卷积特征集合；

(3)根据步骤(2)得到的图像序列的二进制卷积特征集合获得图像序 列的二进制特征直方图；

(4)根据步骤(3)得到的图像序列的二进制特征直方图获得该图像序 列中每一幅图像的异常系数，该异常系数用于表示图像序列中异常事件或 行为发生的可能性；

(5)确定前半段图像序列中所有图像的异常系数中的最大值，并根 据该最大值判断后半段图像序列中各幅图像是否存在异常。

优选地，视频数据集是明尼苏达大学数据集或者加州大学圣迭戈数据 集，卷积神经网络是全卷积神经网络。

优选地，全卷积神经网络网络包括五层卷积层结构，其中第一卷积层的 卷积核为11*11*96，再经过2×2的最大池化后输入第二卷积层，第二卷积 层的卷积核为5*5*256，再经过2×2的最大池化后输入第三卷积层，第三卷 积层的卷积核为3*3*384，第四卷积层的卷积核为3*3*384，第五卷积层的 卷积核为3*3*256。

优选地，特征编码方法是ITQ方法。

优选地，步骤(3)具体为，首先采用以下公式计算当前时刻图像的二 进制卷积特征与当前时刻图像之前的n幅图像中每一幅图像的二进制卷积 特征之间的汉明距离，其中n的取值范围是5到10之间的整数：

其中b₁、b₂分别表示两幅图像的二进制卷积特征，表示按位异或运算，d则是汉明距离。

然后，将得到的n个汉明距离出现的频次进行统计，从而生成二进制 特征直方图。其横坐标为汉明距离，纵坐标为该汉明距离所出现的频次。

优选地，步骤(4)具体使用以下公式：

其中E表示异常系数，|H_t|表示二进制特征直方图中柱状图的数量， j表示二进制特征直方图中的第j个柱状图，H_t(j)表示二进制特征直方图 中第j个柱状图的纵坐标，H_t(j_max)表示二进制特征直方图中的最大纵坐 标，||·||₂表示L2范数正则化。

优选地，步骤(5)具体为，如果后半段图像序列中某一幅图像的异 常系数大于确定的最大值，则说明该图像存在异常，反之则说明该图像正常。

按照本发明的另一方面，提供了一种基于全卷积神经网络的群体 异常事件检测系统，包括：

第一模块，用于从视频数据集中获取图像序列，并将该图像序 列输入卷积神经网络中，以得到图像序列的卷积特征；

第二模块，用于使用特征编码方法对第一模块得到的图像序列的卷积 特征进行降维和编码处理，以得到图像序列的二进制卷积特征集合；

第三模块，用于根据第二模块得到的图像序列的二进制卷积特征集合 获得图像序列的二进制特征直方图；

第四模块，用于根据第三模块得到的图像序列的二进制特征直方图获 得该图像序列中每一幅图像的异常系数，该异常系数用于表示图像序列中 异常事件或行为发生的可能性；

第五模块，用于确定前半段图像序列中所有图像的异常系数中的最大 值，并根据该最大值判断后半段图像序列中各幅图像是否存在异常。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取 得下列有益效果：

(1)由于本发明能够直接将来自数据集的图像序列输入卷积 神经网络中处理，而不需要对视频图像序列进行预处理(包括滤 波、剪裁等)，因此相比于现有方法减少了处理的时间。

(2)由于本发明能够使用全卷积神经网络快速提取图像序列 的卷积特征，能够保证特征提取的实时性，并使得本发明能够适用 于不同的应用场景。

(3)由于本发明使用ITQ方法对图像序列的卷积特征进行了降维 和编码处理，从而进一步降低了处理的复杂度，减少了处理的时间。

(4)由于本发明通过获取视频序列的异常系数直观地判断图像存在的 异常性，避免了训练复杂的分类模型这一过程，并提高了方法的处理效率。

附图说明

图1是本发明构造的二进制特征直方图的示例。

图2是明尼苏达大学数据集中第一个场景的异常系数的示意图。

图3是使用本发明的方法标注的异常事件与真实情况下的异常事件的 比较示意图。

图4是本发明基于全卷积神经网络的群体异常事件检测方法的 流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及 实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施 例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明 各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互 组合。

如图4所示，本发明基于全卷积神经网络的群体异常事件检测方 法包括以下步骤：

(1)从视频数据集中获取图像序列，并将该图像序列输入卷 积神经网络中，以得到图像序列的卷积特征；

在本步骤中，所使用的视频数据集是明尼苏达大学数据集(UMN Crowd ActivityDataset)或者加州大学圣迭戈数据集(UCSD Anomaly Dataset)；所 使用的卷积神经网络是全卷积神经网络(Fully Convolutional Neural Network， 简称FCN)。

本发明使用的FCN网络包括五层卷积层结构，其中第一卷积层的卷积 核为11*11*96，再经过2×2的最大池化后输入第二卷积层，第二卷积层的 卷积核为5*5*256，再经过2×2的最大池化后输入第三卷积层，第三卷积层 的卷积核为3*3*384，第四卷积层的卷积核为3*3*384，第五卷积层的卷积 核为3*3*256。

(2)使用特征编码方法对步骤(1)得到的图像序列的卷积特征进行降 维和编码处理，以得到图像序列的二进制卷积特征集合；

在本步骤中，所使用的特征编码方法是迭代量化(Iterative Quantization， 简称ITQ)方法。

(3)根据步骤(2)得到的图像序列的二进制卷积特征集合获得图像序 列的二进制特征直方图；

具体而言，首先计算当前时刻图像的二进制卷积特征与当前时刻图像 之前的n幅图像中每一幅图像的二进制卷积特征之间的汉明距离(其中n 的取值范围是5到10之间的整数)，如下式所示：

b₁、b₂分别表示两幅图像的二进制卷积特征，表示按位异或运算，d 则是汉明距离。

然后，将得到的n个汉明距离出现的频次进行统计，从而生成二进制 特征直方图。其横坐标为汉明距离，纵坐标为该汉明距离所出现的频次。

图1示出了一个示例性的二进制特征直方图。

(4)根据步骤(3)得到的图像序列的二进制特征直方图获得该图像序 列中每一幅图像的异常系数，该异常系数用于表示图像序列中异常事件或 行为发生的可能性；

本步骤具体使用以下公式：

其中E表示异常系数，|H_t|表示二进制特征直方图中柱状图的数量 (即不同汉明距离的总数量)，j表示二进制特征直方图中的第j个柱状 图，H_t(j)表示二进制特征直方图中第j个柱状图的纵坐标(即汉明距离的 出现频次)，H_t(j_max)表示二进制特征直方图中的最大纵坐标(即最大的汉 明距离出现最多的频次)，||·||₂表示L2范数正则化。

(5)确定前半段图像序列中所有图像的异常系数中的最大值，并根据 该最大值判断后半段图像序列中各幅图像是否存在异常。

具体而言，如果后半段图像序列中某一幅图像的异常系数大于确定的 最大值，则说明该图像存在异常，反之则说明该图像正常。

将连续7帧视频的二进制特征码计算出对应的直方图，最后基于二进 制特征直方图计算出每一帧测试图像相应的异常系数。以UMN数据集中第 一段视频为例，其归一化后的异常系数如图2所示。

其中横坐标表示视频帧数，纵坐标是该时刻的异常系数。可以很明显的 看出，视频前半段对应的异常系数都很小，一直在0.1左右浮动，这样微小 的幅值往往是由噪声引起的，也表示此时人群处于正常状态。而在后面某一 时刻开始，异常系数突然大幅度上涨，并且变化速度非常之快，意味着视频 中出现了不同寻常的运动，极有可能是因为异常事件的发生。实际应用中， 通过设定阈值就能判断具体每一帧视频图像是否存在异常。

总体而言，本发明具有以下的优点：

1、提出了基于全卷积神经网络的异常行为视频提取算法，并将经典的 卷积神经网络模型AlexNet转换为全卷积神经网络，完成了对视频图像的 特征提取。传统的群体异常行为检测算法大多数都利用光流法或跟踪特征 点的轨迹来描述视频中的运动目标，这些方法往往受光照、遮挡、复杂背景 和人群密度等因素的影响较大，而且在实时性方面有很大的缺陷。针对这些 问题，本发明提出采用全卷积神经网络来提取视频特征，进行异常事件的检 测。通过多层结构的全卷积神经网络，可以获得视频图像的局部细节信息以 及全局的轮廓形状等特征信息，这些特征鲁棒性更好，能充分有效的表示视 频图像，有利于对异常检测准确性和实时性的提高。

2、本发明基于迭代量化的方法对卷积特征进行特征编码，并作为特征 编码层嵌入全卷积神经网络之后，得到了每帧视频的二进制特征图。通过全 卷积神经网络得到的视频图像特征实际上仍然是高维的，直接对这些特征 进行计算的效率较低。本发明采用了ITQ方法将卷积特征进行二值的量化 编码，转换为二进制特征图后的图像特征仍然具有很强的表达能力，并能减 少计算量、提高算法的运行速度。

3、本发明提出了基于二进制特征直方图的异常系数度量算法，定义了 一种量化属性：异常系数。为了对视频进行直观的计算和分析，本发明将特 征编码后的二进制特征进行直方图统计，然后聚合连续多帧视频图像的特 征直方图，从其变化程度中发现异常的运动模式，最后以异常系数的定量形 式为判断依据，展示了测试数据集中异常系数的变化曲线，并设置相应的阈 值检测视频中是否发生了群体异常事件。

4、实验结果表明，利用FCN进行群体异常事件检测能比较准确的检测 出群体场景下的全局异常事件，并具备一定的异常区域定位能力。与基于手 工特征的传统方法相比，特别在实时性上有较大的提升。

实验结果

上述步骤(5)中的最大值(阈值)的选择是根据场景自适应设置的， 即根据前面正常帧的异常系数来确定。正常视频段中最大的异常系数被设 置为阈值，那么第一个场景对应的视频的阈值设定就为0.16。当异常系数大 于阈值时，群体异常检测系统就认为该时刻是异常的。将每一帧视频的检测 结果都进行标记，并与真实情况(ground truth，即视频的正确标注)进行对 比，如图3所示：

标注好的真实数据(图3中的上一幅)和本发明的测试结果(图3中 的下一幅)都以条形图的形式展示，横坐标是视频的帧数，对应第一个场景 中共625帧的视频。其中浅色部分表示正常的视频帧，深色部分则表示存 在异常事件的时刻。在真实数据中，即图中上方的条形图，第525帧到第 614帧视频被标注为异常；而在本发明的实验结果中，视频的第503帧到第 605帧被检测出有异常事件发生，两者之间的误差很小。

将本发明的实验结果与光流法、社会力模型(Social Force Model、简称 SF)和稀疏表示(Sparse representation，简称SRC)等方法进行了比较，如 下表1所示：

表1UMN数据集上不同算法的实验结果比较

从上表可以看出，本发明方法的性能优于大部分传统方法。

将本发明方法在UMN数据集上的实时性实验结果分别与BM (Bayesian Model。简称BM)算法、SRC、结构上下文描述符(structural context descriptor，简称SCD)等算法进行对比，如下表2所示。

表2不同算法在UMN数据集上的实时性比较

在上表2中，BM算法、SRC和SCD等都是基于手工设计特征的传统 方法，它们提取视频特征的方法往往需要用到光流法或特征点跟踪，然后经 过一系列复杂的运算得到异常检测结果，导致计算复杂度较高，处理UMN 数据集中一帧视频需要将近一秒的时间。而我们在Linux系统下使用 2.3GHz的CPU提取UMN数据库卷积特征的速度为每帧30ms到40ms左右，而利用GPU进行特征提取的运行速度会更快，本发明实验在NVIDA Quadro K620的GPU支持下提取每帧视频的卷积特征仅用时4ms左右；并 且，提取特征后的后续过程如特征编码、计算异常系数等处理效率也很高， 运行时间都是毫秒级别。本发明算法利用全卷积神经网络，极大地减少了特 征提取所需的时间。除此之外，通过引入ITQ方法和使用异常系数对视频 直接进行异常检测，也大大提升了算法的实时性，平均每帧视频处理时间为 78ms左右。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同 替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于全卷积神经网络的群体异常事件检测方法，其特征在于，包括以下步骤：

(1)从视频数据集中获取图像序列，并将该图像序列输入卷积神经网络中，以得到图像序列的卷积特征；

(2)使用特征编码方法对步骤(1)得到的图像序列的卷积特征进行降维和编码处理，以得到图像序列的二进制卷积特征集合；

(3)根据步骤(2)得到的图像序列的二进制卷积特征集合获得图像序列的二进制特征直方图；

(4)根据步骤(3)得到的图像序列的二进制特征直方图获得该图像序列中每一幅图像的异常系数，该异常系数用于表示图像序列中异常事件或行为发生的可能性；

(5)确定前半段图像序列中所有图像的异常系数中的最大值，并根据该最大值判断后半段图像序列中各幅图像是否存在异常。

2.根据权利要求1所述的群体异常事件检测方法，其特征在于，视频数据集是明尼苏达大学数据集或者加州大学圣迭戈数据集，卷积神经网络是全卷积神经网络。

3.根据权利要求1或2所述的群体异常事件检测方法，其特征在于，全卷积神经网络网络包括五层卷积层结构，其中第一卷积层的卷积核为11*11*96，再经过2×2的最大池化后输入第二卷积层，第二卷积层的卷积核为5*5*256，再经过2×2的最大池化后输入第三卷积层，第三卷积层的卷积核为3*3*384，第四卷积层的卷积核为3*3*384，第五卷积层的卷积核为3*3*256。

4.根据权利要求1至3中任意一项所述的群体异常事件检测方法，其特征在于，特征编码方法是ITQ方法。

5.根据权利要求1所述的群体异常事件检测方法，其特征在于，步骤(3)具体为，首先采用以下公式计算当前时刻图像的二进制卷积特征与当前时刻图像之前的n幅图像中每一幅图像的二进制卷积特征之间的汉明距离，其中n的取值范围是5到10之间的整数：

其中b₁、b₂分别表示两幅图像的二进制卷积特征，⊕表示按位异或运算，d则是汉明距离。

然后，将得到的n个汉明距离出现的频次进行统计，从而生成二进制特征直方图。其横坐标为汉明距离，纵坐标为该汉明距离所出现的频次。

6.根据权利要求5所述的群体异常事件检测方法，其特征在于，步骤(4)具体使用以下公式：

其中E表示异常系数，|Η_t|表示二进制特征直方图中柱状图的数量，j表示二进制特征直方图中的第j个柱状图，Η_t(j)表示二进制特征直方图中第j个柱状图的纵坐标，Η_t(j_max)表示二进制特征直方图中的最大纵坐标，||·||₂表示L2范数正则化。

7.根据权利要求6所述的群体异常事件检测方法，其特征在于，步骤(5)具体为，如果后半段图像序列中某一幅图像的异常系数大于确定的最大值，则说明该图像存在异常，反之则说明该图像正常。

8.一种基于全卷积神经网络的群体异常事件检测系统，其特征在于，包括：

第一模块，用于从视频数据集中获取图像序列，并将该图像序列输入卷积神经网络中，以得到图像序列的卷积特征；

第二模块，用于使用特征编码方法对第一模块得到的图像序列的卷积特征进行降维和编码处理，以得到图像序列的二进制卷积特征集合；

第三模块，用于根据第二模块得到的图像序列的二进制卷积特征集合获得图像序列的二进制特征直方图；

第四模块，用于根据第三模块得到的图像序列的二进制特征直方图获得该图像序列中每一幅图像的异常系数，该异常系数用于表示图像序列中异常事件或行为发生的可能性；

第五模块，用于确定前半段图像序列中所有图像的异常系数中的最大值，并根据该最大值判断后半段图像序列中各幅图像是否存在异常。