CN104636751A - 基于时间递归神经网络的人群异常检测和定位系统及方法 - Google Patents

Abstract

本发明公布了一种基于时间递归神经网络(recurrent neural network)的人群异常检测和定位系统及方法。该方法在对采集到的样本数据进行预处理的基础上对场景进行网格化划分，将由n帧构成的视频片段划分成多个时空块。然后从每个时空块中构造多规模光流直方图和Gabor小波纹理特征。向量化并合并多个时空块中的特征，将视频片段作为时间序列，分别利用时间递归神经网络的隐含节点和反馈节点来发现空间维度和时间维度的关系，训练能检测长依赖关系的时间递归神经网络模型。最后利用该模型进行人群异常检测和定位。该方法具有较好的实时性和准确性，能检测由少数个体或者是由大量个体触发的异常。

Description

基于时间递归神经网络的人群异常检测和定位系统及方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于时间递归神经网络的人群异常检测和定位系统及方法。

背景技术

群体事件检测是指对由大量目标所构成的事件进行检测，以此来发现异常或者是发现具体的我们所感兴趣的事件，来帮助人们迅速作出决策。异常检测和定位是群体事件检测中的一个重要方面。一方面，随着社会的发展进步，人口持续快速的增长，伴随着城镇化，人群现象越来越频繁，这为公共空间的安全留下了一个隐患。特别是在当代，恐怖事件频繁发生，这严重的危害到了广大人民群众的生命和财产安全，为了能够尽早发现，尽快采取相应的应对措施，如能够通过广布的监控设备进行事件的检测和跟踪，及时的发现异常事件，对于人民的生命财产安全有着深远的意义。另一方面，对于目前来说，监控设备智能程度不高，这就相应的也需要配备相应的人员实时的对监控情况进行跟踪，对异常及时反馈处理，而这些工作是相当枯燥的，通过对视频监控事件的研究，可以自动的发现视频中的异常情况，或者特殊的事件，这样可以大大减轻工作人员的工作量，让他们能从枯燥的工作中解放出来。这两方面使得人群异常检测和定位系统和方法，具有巨大的商业价值。

目前针对的异常检测主要可以分成两类：整体异常检测和局部异常检测。整体异常指的是由场景中的所有个体引发的异常，如人群恐慌。整体异常检测的任务是检测异常事件，并确定异常事件的起始和终止位置，以及它们之间的过渡。局部异常是指由某个个体引发的异常，这个个体可能有别于其他正常的个体。局部异常检测的任务是检测异常事件，并定位异常发生的位置。目前大部分的算法只针对其中一种任务，同时适用这两种任务的算法比较少。并且很多的局部异常检测方法，将检测和定位分开考虑，即先检测出异常帧，再在异常帧中定位异常发生的位置，这样显然花费了更多时间。

人群异常检测由于异常定义的主观性，使得异常形式多样，其中大部分的异常主要由人群动态的变化情况触发的，有少数的异常情况除了人群动态之外还需要借助外形特征来辅助检测。人群异常检测主要的目标在于寻找人群状态的变化与人群异常之间存在的关系。这里面主要包含两个关键点：1)构建能刻画人群状态变化的特征，2)构建人群状态的变化与人群异常之间存在的关系的模型。人群状态变化主要可以从四个维度来刻画：1)人群之间空间维度的变化关系，2)人群之间时间维度的变化关系，3)人群在每一时刻的运动状态，4)有些还需要借助人群在每一时刻的外形特征。目前用于刻画人群状态变化的特征，有光流直方图、局部时空立方体建模、光流聚类、社会动力模型等，而构建人群状态变化与人群异常之 间存在的关系则常常通过在训练数据上拟合一个概率模型，将概率接近某一类别的测试样本判别为该类行为，如隐马尔可夫模型、隐条件随机场等。

目前已有的人群异常行为检测的专利技术主要分为几类，其中以中国计量学院为代表的，申请号为CN201210223375、发明名称为“视频监控中的团体人群异常行为检测方法”的专利是在目标检测和跟踪的基础上进行的，而对于人群来说，由于人群场景的复杂性，在人群场景中存在着大量的遮挡，目标检测和追踪很难达到较好的效果；以上海交通大学为代表的，申请号为CN201210065523、发明名称为“基于LBP加权社会力模型的人群异常事件检测方法”的专利，没有考虑到时间的依赖关系；以中国计量学院为代表的，申请号为CN201310494769、发明名称为“基于SIFT流和隐条件随机场的人群异常行为识别方法”的专利，虽然考虑了长时间依赖关系，但是跟我们的方法是不同的，隐条件随机场希望刻画人群动态背后的概率分布，而时间递归神经网络则是直接拟合数据，或者直接找到区别不同序列类别的判别分界面，对于人群动态来说，想要找到较好的概率分布是比较难的；而以中山大学为代表的，申请号为CN201410312813、发明名称为“一种采用单类序列化模型的人群异常行为检测方法”的专利，仍然没有考虑时间依赖关系，只是在最后使用了隐含马尔科夫模型进行了平滑处理。并且其中大部分的方法都没有考虑到不同位置之间的关系，而对于由某个个体引发的异常情况，不同位置之间的关系是有助于检测异常的；其中大部分的方法也都没有考虑到外形特征，这样的话对于某些异常很难检测，例如车以很慢的速度开到行道上，或者一头牛出现在人群中。

参考文献

[1]上海交通大学.基于改进的社会力模型的异常集群行为检测方法：中国，CN102156880B[P].2013.01.09.

[2]上海交通大学.基于LBP加权社会力模型的人群异常事件检测方法：中国，CN102682303B[P].2014.04.30.

[3]中国计量学院.视频监控中的团体人群异常行为检测方法：中国，CN102799863A[P].2012.11.28.

[4]中国计量学院.基于机器学习的人群异常行为检测方法：中国，CN102930248A[P].2013.02.13.

[5]燕山大学.一种基于因果网络分析的中等规模人群异常行为检测方法：中国，CN103020591A[P].2013.04.03..

[6]北京联合大学.一种基于FAST的人群异常行为识别方法：中国，CN103488993A[P].2014.01.01.

[7]中国计量学院.一种基于微行为分析的密集人群异常行为检测方法：中 国，CN103593646A[P].2014.02.19.

[8]中国计量学院.基于SIFT流和隐条件随机场的人群异常行为识别方法：中国，CN103577804A[P].2014.02.12.

[9]中国计量学院.基于SURF流和LLE稀疏表示的人群异常行为识别方法：中国，CN103699874A[P].2014.04.02.

[10]中山大学.一种采用单类序列化模型的人群异常行为检测方法：中国，CN104077571A[P].2014.10.01.

发明内容

为了解决上述问题，本发明提出了一种人群异常检测和定位系统及方法。

本发明的人群异常检测和定位系统包括：用户接口，用于系统与用户的交互，包括提示用户并输出结果给用户和方便用户查看历史检测结果；管理员接口，用于管理员对检测结果进行修正，或者构建初始异常视频训练样本数据库；数据接口，用于把从监控设备上获取的数据存入到监控视频数据库中，或者直接将实时数据用于异常检测和定位；监控视频数据库，用于存储从监控设备上获取到的数据；人群异常样本数据库，用于存储各种已标注的训练样本；模型数据库，用于存储训练好的时间递归神经网络模型；异常检测结果数据库，用于存储异常检测结果，方便之后管理人员进行修正，以对样本数据库进行更新，也方便用户查看历史检测结果；视频预处理模块，该模块用于对从监控设备上获取到的视频信息以及原始训练样本数据进行图像预处理等操作，方便之后的特征提取；特征提取模块，用于从每个时空块中提取移动和外形特征，并将从所有时空块中获取到的信息向量化，转化为规定的训练数据格式；时间递归神经网络模型训练模块，使用转化后的训练数据调整模型参数，对时间递归神经网络模型进行训练，将训练好的时间递归神经网络模型保存到模型数据库中；异常检测和定位模块，将向量化的视频信息输入已训练好的时间递归神经网络模型中进行异常检测和定位，输出结果给异常展示模块。

本发明还提出了一种基于时间递归神经网络的人群异常检测和定位方法，该方法包括以下四个步骤：1)对视频进行网格化划分，将由n帧构成的视频片段划分成多个时空块；2)利用光流算法计算光流，从每个时空块中构造多规模的光流直方图并利用Gabor小波提取纹理特征，并将从多个时空块中提取的特征向量化后合并起来，训练并获得具有长时间依赖特性的时间递归神经网络模型；3)对视频信息进行预处理，特征提取，利用阶段2中训练好的时间递归神经网络模型实现人群异常检测和定位，并保存检测结果；4)引入反馈机制，能够对判断错误的样本数据进行学习。

使用本发明的系统与方法具有以下几方面的优点：1)异常检测和定位同时进行。能够在检测出异常场景的情况下，同时发现异常发生的位置，而不需要将这两个分开进行，使得检 测效率更加高，有较好的实时性；2)有良好的准确率。一方面，使用时间递归神经网络，可以发现视频中的长依赖关系，而人群异常情况正是根据人群动态的变化情况来判断的，使用时间递归神经网络可以很好的发现这种动态的变化。另一方面，人群中某些个体与周围其他的个体的状态的差异性也是判断异常的一个方面，而通过对场景网格化可以很好的利用时间递归神经网络模型来获取不同网格之间的位置关系；3)能检测多种异常情况。即能检测由多个个体触发的异常也能检测由少数几个个体触发的异常；4)系统具有自动学习机制。反馈机制的引入能够帮助模型学习判断错误的样本信息，使得模型能够不断地学习，提高精度，达到越用越准确的效果；5)不需要进行目标追踪，而是基于整体的方法，来提取局部整体的动态特征。

附图说明

图1为本发明的基于时间递归神经网络的人群异常检测和定位系统架构图；

图2为本发明的基于时间递归神经网络的人群异常检测和定位方法的流程图；

图3为本发明的基于时间递归神经网络的人群异常检测和定位方法中训练样本数据收集步骤的实现原理图；

图4为本发明的基于时间递归神经网络的人群异常检测和定位方法中时间递归神经网络模型训练步骤的实现原理图；

图5为本发明的基于时间递归神经网络的人群异常检测和定位方法中异常检测和定位步骤的实现原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1示出了本发明基于时间递归神经网络的人群异常检测和定位系统的架构图。

参照图1，本发明的人群异常检测和定位系统包括用户接口、数据接口、异常视频训练样本数据库、模型数据库、异常检测结果数据库、监控视频数据库、视频预处理模块、特征抽取模块、时间递归神经网络模型训练模块、异常检测和定位模块、管理员接口以及数据库接口。

用户接口，用于实现人群异常检测和定位系统与用户的各种通信，包括提示用户异常发生并将实时的异常检测结果展示给用户；用户也可以通过用户接口去查看历史的检测结果。

数据接口，用于把从监控设备上获取的数据存入到监控视频数据库中，或者直接将实时数据用于异常检测和定位。

视频预处理模块，通过数据接口与异常样本数据库建立连接，获取异常视频训练样本数 据，并从监控视频数据库中获取实时的视频数据，对这些视频数据进行图像预处理等操作，并将处理好的数据传递给特征抽取模块。

特征抽取模块，计算每一帧的光流，从每个时空块中抽取移动和纹理等特征，并将每个时空块的特征结合起来，将所有特征数据向量化，转化为时间递归神经网络模型训练模块能够处理的格式，并传递给时间递归神经网络模型训练模块。

时间递归神经网络模型训练模块，用于按一定时间间隔对本系统核心的时间递归神经网络模型进行训练。从特征抽取模块获取转化为要求格式的训练数据来训练时间递归神经网络模型，最后将训练好的模型保存到模型数据库中。

异常检测模块，从模型数据库中加载训练好的时间递归神经网络模型，对格式转化后的实时的监控信息进行异常检测和定位，得到异常帧以及异常发生的位置。并将检测结果提交给用户接口，同时将异常检测结果保存到异常检测结果数据库中。

管理员接口，用于管理员与系统进行通信，包括了：系统管理员从异常检测结果数据库中读取历史数据，并对历史的检测结果进行审核修正，并将修正后的错误的检测结果保存到异常视频样本数据库中，来对模型进行更新；系统管理员从监控视频数据库中读取视频数据，并从中选取样本数据，并对其进行标注，最后将挑选的样本数据保存到异常样本数据库中。

数据库接口，实现训练样本数据、模型数据、异常检测结果数据、监控视频数据的存取、更新等数据库操作的统一接口及访问权限控制。

异常视频训练样本数据库，用于存储管理员通过样本构建模块构建的格式化训练样本数据。

模型数据库，用于存储由时间递归神经网络训练模块训练得到的时间递归神经网络模型。

异常检测结果数据库，用于存储由异常检测和定位模块得到的异常检测结果。

监控视频数据库，用于存储从监控设备上获取得到的视频数据。

综上，本发明的基于时间递归神经网络的人群异常检测和定位系统由用户接口、数据接口、异常视频训练样本数据库、模型数据库、异常检测结果数据库、监控视频数据库、视频预处理模块、特征抽取模块、时间递归神经网络模型训练模块、异常检测和定位模块、管理员接口以及数据库接口等部分组成。上述模块一起完成人群异常检测和定位、异常视频训练样本数据的构建、更新、异常结果展示、视频数据获取这五个功能。在人群异常检测和定位功能中，本发明基于时间递归神经网络的人群异常检测和定位系统通过使用由训练模块训练好的时间递归神经网络模型，在异常检测和定位模块中对从监控设备获取到的实时视频数据进行异常检测和定位，将检测结果通过用户接口提供给用户；在异常视频训练样本数据的构建功能中，管理员通过管理员接口从监控视频数据库中获取监控数据，并根据需求选取异常视频样本，并根据预定义的时空块方式，对每个时空块进行标注，最后将构建的样本数据保存到异常视频样本数据库中；在异常训练样本数据更新功能中，管理员通过管理员接口从异 常检测结果数据库中读取历史数据，并对检测出错的数据进行修正，将修正后的结果通过数据库接口存入到训练样本数据库中，对训练样本数据库进行更新；在异常结果展示功能中，本发明基于时间递归神经网络的人群异常检测和定位系统，将从异常检测和定位模块中获取到的检测结果，进行可视化，并将可视化后的结果呈现给用户；在视频数据获取功能中，本发明基于时间递归神经网络的人群异常检测和定位系统和方法，通过数据接口，将从监控设备输入到本系统的视频数据保存到监控视频数据库中。本发明同时进行人群的异常检测和定位，使得系统能够实时的进行异常检测和定位操作。本发明引入反馈机制对错误的结果进行学习。反馈机制的引入使得模型能够对错误分析的结果进行再次学习，使得系统越用越准。

图2为本发明提出的基于时间递归神经网络的异常检测和定位方法的流程图。

参照图2，该方法包括以下步骤：1.管理员通过管理员接口从视频数据库中构建样本数据，并通过管理员接口定期从检测结果数据库中读取历史检测结果，并对检测结果进行修正，将这些信息存储到异常视频训练样本数据库中；2.响应模型训练请求，与训练样本数据建立连接，获取训练数据，对训练数据进行图像预处理，时空块划分等操作；3.对预处理后的数据，从每个时空块中提取移动和外形特征，将每个时空块结合在一起并转换为向量化数据；4.利用特征抽取后的特征数据对时间递归神经网络模型进行训练，并将结果保存到模型数据库中；5.从监控设备中获取实时的监控数据，并进行与2-3步相同的预处理以及特征抽取工作；6.从模型数据库中加载训练好的时间递归神经网络模型对特征数据进行异常检测和定位，并将检测结果输出到用户接口；7.用户接口模块将异常检测结果进行可视化，并将可视化结果呈现给用户。

综上所述，该方法主要包括了训练样本数据收集步骤、时间递归神经网络模型的训练步骤和人群异常检测和定位步骤。

图3为训练样本数据收集步骤的实现原理图。参照图3，该步骤实现从历史的监控数据以及检测后的结果数据这两个来源获取异常视频训练样本，并将这些样本数据通过管理员接口处理后存入异常视频样本数据库。

图4基于时间递归神经网络的人群异常检测和定位方法中时间递归神经网络模型训练步骤的实现原理图。参照图4，在该步骤中，系统首先从训练样本数据库中提取训练样本数据，然后通过预处理模块、以及特征抽取模块对这些训练样本数据进行一系列处理得到向量化的特征数据，并输出到模型训练模块进行时间递归神经网络模型的训练。

图5为人群异常检测和定位步骤的实现原理图。参照图5，在该步骤中，数据接口获取监控设备的实时数据，并通过数据获取模块输入到本系统中，经过预处理模块以及特征抽取模块处理，输出向量化的特征数据到异常检测和定位模块，异常检测和定位模块从训练好的模型数据库中读取模型，进行人群的异常检测和定位，并将结果通过用户接口提供给用户。

以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于时间递归神经网络的人群异常检测和定位系统，其包括：

异常视频训练样本数据库，用于存储各种已标注的包含异常视频片段的训练样本，并定期进行更新；

异常检测结果数据库，用于存储异常检测的结果，以便管理员对结果进行更正；

监控视频数据数据库，用于存储从监控视频中获取的视频数据；

模型数据库，用于存储训练好的模型；

用户接口，用于提示用户异常发生并输出结果给用户和方便用户查看历史检测结果；

管理员接口，用于管理员定期对检测结果进行修正，并将结果保存到视频训练样本数据库中，对模型进行更新修正；或者构建初始异常视频训练样本数据库；

数据接口，用于从监控设备上获取视频数据，并将视频数据保存到监控视频数据数据库中，或者直接将实时数据用于异常检测和定位；

视频数据预处理模块，用于对视频数据进行各种图像预处理操作，方便之后的特征提取；

特征抽取模块，用于对预处理后的视频数据进行特征抽取，将视频信息向量化；

时间递归神经网络模型训练模块，用于根据数据库中已有的训练样本训练时间递归神经网络模型，并将模型保存到模型数据库中；

异常检测模块，从异常数据库中读取模型，并将向量化的视频信息输入到已训练好的时间递归神经网络模型中进行异常检测和定位。

2.如权利要求1所述的基于时间递归神经网络的人群异常检测和定位系统，其特征在于利用时间递归神经网络发现视频中的长时间依赖关系，以及视频场景中各个局部间的关系，并且同时实现异常的检测和异常在场景中发生位置的定位。

3.一种基于时间递归神经网络的人群异常检测和定位方法，该方法包括以下四个步骤：

1)对视频进行网格化划分，将由n帧构成的视频片段划分成多个时空块；

2)利用光流算法计算光流，从每个时空块中构造多规模的光流直方图并利用Gabor小波提取纹理特征，并将从多个时空块中提取的特征向量化后合并起来，训练并获得具有长时间依赖特性的时间递归神经网络模型；

3)对视频信息进行预处理，特征提取，利用阶段2中训练好的时间递归神经网络模型实现人群异常检测和定位，并保存检测结果；

4)引入反馈机制，能够对判断错误的样本数据进行学习。

4.如权利要求3所述的方法，其特征在于，从每个时空块中提取移动和外形等特征作为视频特征向量，训练具有长时间依赖特性的时间递归神经网络模型或利用训练好的模型进行异常的检测和异常发生位置的定位。