CN110619276A - 基于无人机移动监控的异常及暴力检测系统和方法 - Google Patents

Abstract

本发明公开基于无人机移动监控的异常及暴力检测系统和方法。本发明包括无人机云台模块、巡航飞行控制模块、视频处理模块、异常事件检测模块、暴力行为检测模块以及警报模块。视频处理模块用于接收无人机云台模块和巡航飞行控制模块的数据，并对其进行预处理；异常事件检测模块用于分析视频处理模块处理过的视频数据，并对其中的异常事件视频进行检测；暴力行为检测模块接收来自异常事件检测模块的数据，用于分析经异常事件检测模块检测出异常后的视频中是否有暴力行为。本发明实现了在巡航状态的无人机上进行异常事件检测和暴力行为检测的系统,而且能在无人机飞行过程中以近实时的检测速度进行检测,并且可以实时反馈。

Description

基于无人机移动监控的异常及暴力检测系统和方法

技术领域

本发明涉及无人机技术领域和计算机视觉技术领域，特别是涉及一种基于无人机平台的异常事件检测及暴力行为检测的技术。

背景技术

监控系统是安防系统中最重要的一个组成部分，越来越多的企业与个人安全意识的增强促使着监控探头的普及。随着摄像头的覆盖率的大幅提高，各种基于固定监控摄像头的智能监控算法的发展也十分迅速，得益于算法的自动化运行的优势，这些监控系统全天候的在保护着人民生命财产的安全。在各种关键地点的摄像头可以有效的捕捉到生活中的不安全因素，在固定视频监控系统配备了相应的智能检测算法时，更能起到实时监控人群流量，对可疑事物进行检测与追踪等作用,比如偷盗检测、火灾检测、犯罪检测、异常检测等。

但基于固定摄像头的监控系统也有其固有的缺陷，虽然可以在一些场景下很好的检测各种灾难和异常，但单个监控范围有限。虽然可以通过增加监控摄像头密度来解决监控范围问题，但监控成本大幅度上升，特别是对非核心区域或者大范围空旷区域的监控更是如此。另外由于摄像头固定，当检测到异常时，也难以开展跟踪监控。

随着近几年固定翼无人机在民用消费领域和农业、工业等专业领域的迅猛发展，基于无人机平台的各种监控系统也随之产生。得益于无人机的移动性和灵活性，基于无人机的监控系统可以很好的解决大范围区域监控和固定摄像头灵活性不足的问题，能够在近地环境下完成多种不同的飞行任务，更好的利用摄像头和各种传感器来适应多种监控场景如夜跑线路巡逻等监控安防任务。比如无人机行人检测系统，无人机车辆监控系统等可以通过图像处理和视频处理的技术，完成目标检测、目标跟踪、行人与车辆识别等多种任务。

异常事件检测的目的是在一个视频监控场景中，采用无监督学习的方法找出其中的异常事件，并做出预警；暴力检测是采用深度学习的方法判断视频监控场景中是否有暴力行为的发生。它们可以被视作找出监控视频中值得关注的片段和区域的一种手段，以便在实际的工程应用中，为随后的其他精准的监控任务和安保人员介入提供参考区域。

在传统的无人机监控系统中，其步骤是将无人机移动到被监控区域，当需要进行监控时，无人机处于悬停状态，然后照搬固定摄像头算法，所以只是将无人机扩展成一个可移动的“固定摄像头”，这并没有发挥出无人机可移动拍摄的优势。在算法的选择上若是采用固定拍摄检测的算法，则很难将运动物体从运动环境下区分开。但若是采用传统的移动目标检测的算法，都存在一定局限性，光流法的速度较慢，而使用背景补偿和帧间差算法则会导致效果不好区分不出运动物体。但是本系统基于帧间差算法优化,做到了速度比光流法的速度快，效果比帧间差算法的效果好。在本系统中采用巡航状态下的无人机云台移动拍摄得来的视频信号作为输入，使用背景补偿等技术手段将移动背景下的视频信号转化为背景相对静止的视频信号。在相对静止背景下的运动目标检测中，我们的主要目标是求取运动目标的轮廓，并以此求得在后续进行异常判定所需的物体的运动轨迹，在实际应用中需要在此基础上再结合聚类算法等划分具体运动目标的算法，以及后续的目标跟踪算法。为了更好的结合应用背景，我们提出了以划分运动目标为目的的运动目标检测算法，并在算法中直接实现了目标跟踪，更好的贴合了无人机异常事件检测任务。由此我们实现了无人机的移动监控，实现了以可接受的速度下进行无人机运动拍摄并监控的功能，很好地解决了传统无人机视频监控中没有利用好无人机可移动拍摄这一功能的问题。

发明内容

本发明的一个目的是为了克服上述现有技术的不足，提供了在无人机巡航状态下的异常事件检测及暴力检测系统。

本发明所采用的技术方案是：

一种基于无人机平台的异常事件检测和暴力行为检测系统，包括：无人机云台模块、巡航飞行控制模块、视频处理模块、异常事件检测模块、暴力行为检测模块以及警报模块，所述整个系统用于将地面发生的异常事件和暴力行为进行检测并发送警报，对地面的情况进行实时监控。

所述无人机云台模块用于拍摄地面状况，获取视频影像，其视频信号传入视频处理模块；

所述巡航飞行控制模块用于对无人机进行精准定位，获取无人机实时位置信息，将定位信号数据传输至视频处理模块；根据指令控制无人机的飞行，并且接收来自异常事件检测模块、暴力行为检测模块的飞行控制指令，操控无人机巡航或悬停；

所述视频处理模块用于接收无人机云台模块和巡航飞行控制模块的数据，并对其进行预处理，其数据流向异常事件检测模块；

所述异常事件检测模块接收来自视频处理模块的数据，用于分析视频处理模块处理过的视频数据，并对其中的异常事件视频进行检测，其异常情况下的信号数据流向暴力行为检测模块和警报模块；同时发送飞行控制指令给巡航飞行控制模块，控制无人机在异常区域上方悬停；

所述暴力行为检测模块接收来自异常事件检测模块的数据，用于分析经异常事件检测模块检测出异常后的视频中是否有暴力行为，若有则数据流向警报模块，若没有则发送飞行控制指令给巡航飞行控制模块，控制无人机继续飞行；

所述警报模块接收来自异常事件检测模块和暴力行为检测模块的数据，用于检测到异常事件和暴力行为时的警报操作。

优选地，所述无人机云台模块中的摄像头可实现原地360度旋转，并可实现匀速调节俯仰角，其视野大、角度广。

优选地，所述视频处理模块对无人机云台模块和巡航飞行控制模块的数据预处理具体包括：

(1)将无人机云台模块获得的广角视频处理成非畸变的正常视频；该处理为成熟技术手段，故不详解。

(2)通过检测上述非畸变的正常视频中的加速稳健特征，并提取描述向量构造出局部特征描述子，然后将前后两帧的特征描述子进行匹配得到特征匹配结果；

(3)得到特征匹配结果后，计算得出相邻两帧图像之间的帧间偏移；

(4)根据图像的帧间偏移切割视频，得到若干带有GPS定位信息的图片集。

优选地，所述异常事件检测模块可实现在无人机飞行途中实时进行异常事件的检测任务。

优选地，所述暴力行为检测模块中的识别算法采用了三维卷积神经网络的方法，能够提取视频中的时序特征，解决了传统方法通过手工提取特征的方法的费时、费力、难设计出高准确率的模型等问题。

本发明的另一个目的是提供上述系统的异常检测及暴力检测方法。

步骤1、无人机云台模块实时获取地面视频，并传送给视频处理模块；巡航飞行控制模块实时获取地面地理位置信息，并传送给视频处理模块；

步骤2、视频处理模块将上述视频由广角处理成非畸变的正常视频，然后将视频划分为图片集，具体包括提取相邻帧图像的加速稳健特征(Speeded Up Robust Features，SURF)，利用SURF特征进行图像匹配，并得出相邻图像的帧间偏移；利用帧间偏移切割图像等一系列步骤，目的是将无人机动态飞行过程中的视频信号，处理成静态背景下的固定区域图片集并带有GPS定位信息，然后将每个单独的图片集数据传送给异常事件检测模块；

步骤3、异常事件检测模块对来自视频处理模块的图片集数据进行分析检测，对处理好的数据采用帧间差搜索算法获得物体运动轨迹，然后再运用字典学习算法识别出其中的异常事件，在异常情况下发送指令给巡航飞行控制模块，控制无人机在异常区域上方悬停，并将异常区域的视频信号和定位信息传送给警报模块和暴力行为检测模块；

步骤4、暴力行为检测模块对异常事件检测模块识别出的异常事件进行进一步检测，使用预先构建的深度神经网络模型来对当前异常区域的视频信号进行暴力行为的检测。在检测出暴力行为的情况下传送异常信息给警报模块，并保持悬停状态等待安保人员处理；若没有检测到暴力行为则通知巡航飞行控制模块继续飞行；

步骤5、异常事件检测模块和暴力行为检测模块识别完成之后，将结果送至警报模块，若有异常事件、暴力行为发生，则进行警报操作，通知安保人员并等候处理。

与现有技术相比，本发明的有益效果是：

(1)实现了在巡航状态的无人机上进行异常事件检测和暴力行为检测的系统，而且能在无人机飞行过程中以近实时的检测速度进行检测，并且可以实时反馈；

(2)整个系统基于无人机平台可以做到自动进行异常事件和异常行为检测，并且结合飞行控制模块和警报模块，可以自动完成巡逻、异常事件发生时自动悬停、自动警报、处理完成后继续巡航等一系列自动化操作。

附图说明

图1为本发明的总流程模块图；

图2为本发明异常事件检测模块中异常检测算法的流程示意图；

图3为异常事件检测中获取物体运动轨迹部分的算法流程图；

图4为本发明暴力行为检测模块中暴力检测算法所用的3维卷积神经网络结构图。

具体实施方式

下面结合巡航飞行实例来对本发明做详细解释。

巡航任务开始后，无人机在固定的巡航线路中进行巡航飞行，在飞行过程中通过无人机云台模块获取地面视频，并将其传入视频处理模块。视频处理模块对图像进行相关的预处理，并且通过对每一帧图像的加速稳健特征检测与匹配，得出相机与无人机相对地面运动情况。应用此模块得出的运动信息对视频进行匹配和切割，得出局部区域图像集，将其输入异常处理模块。异常事件检测模块自动提取运动物体的轨迹信息，通过无监督的异常检测算法，根据运动物体的轨迹信息来判断异常事件。当检测到前方视野内有异常时通过无人机控制模块进行悬停，继而进行暴力行为的检测，将异常区域视频信号输入至暴力行为检测模块来判断是否属于暴力行为。若无则继续巡航，若有则将结果传送至警报模块发出警报操作。在整个过程中，巡航飞行控制模块实时获取地面地理位置信息。其整个过程和数据流向如图1总流程模块图所示。

所述过程中，视频处理模块和异常事件检测模块的处理流程如图2所示，步骤如下：

步骤1、无人机云台模块实时获取地面视频，并传送给视频处理模块；巡航飞行控制模块实时获取地面地理位置信息，并传送给视频处理模块；

步骤2、视频处理模块将上述视频由广角处理成非畸变的正常视频，然后将视频划分为图片集，并将结果数据传送给异常事件检测模块；

所述的视频划分为图片集具体操作是提取相邻帧图像的SURF特征，并利用上述SURF特征进行图像匹配，得出相邻图像的帧间偏移；最后利用上述帧间偏移切割图像，最终获得所需的图片集；

步骤3、异常事件检测模块对来自视频处理模块的图片集数据进行处理，获取运动目标的轨迹；

3.1获取区域相似度的操作如下：

将图片集中每帧图像切割成10像素*10像素小区域，计算每个区域的当前帧与前一帧图像的帧间差运动特征，当前帧的颜色直方图特征、纹理特征，并利用上述特征分别求出:帧间差区域相似度、颜色相似度、纹理相似度，并利用上述相似度求取最终的区域相似度，同时求取活跃系数；

所述的帧间差运动特征是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。

所述的帧间差区域相似度是对两个区域的帧间差像素分别求取被激活像素的占比，再利用两者比例，求取两个区域的帧间差区域相似度，该相似度采用相似度函数F(x,y)公式获取，见公式(1)：

其中x和y代表两区域被激活像素的占比；

所述的颜色直方图特征用来描述的是不同色彩在每个区域中所占的比例，所述纹理特征为每个区域使用高斯分布在8个方向做梯度统计的结果；

所述颜色相似度、纹理相似度采用相似度函数(皮尔逊系数)计算，即为将两个区域的颜色相似度、纹理相似度分别代入皮尔逊相关系数中，可以分别可得出颜色相似度s₁和纹理相似度s₂。

活跃系数代表当前区域的其他特征受到求取被激活像素的占比限制的系数，活跃系数g为:

上述区域相似度为计算两个区域最终的相似度函数，区域相似度S的计算方式如下:

S＝F(x,y)+g(x,y)*(s₁+s₂) (3)

3.2利用上述得到的区域相似度S，采用帧间差搜索算法获取运动物体的运动目标轨迹；具体如下：

A.对步骤(2)切割后的每帧图像进行初始化，将图片集中每帧图像切割成10像素*10像素小区域，计算每个区域的区域特征，即当前帧与前一帧图像的帧间差运动特征，当前帧的颜色直方图特征、纹理特征，将所有初始化后的小区域和区域特征加入区域队列R中；

B.因为算法的输出结果不唯一，需要找出各小区域间相关重合子区域，具体是依次取出队列R中的小区域以及对应的区域特征，根据公式(3)计算各个区域间的区域相似度S，根据阈值判断任意两个小区域间是否具有相关重合子区域，若有则合并，然后将合并后的区域替换上述两个小区域后加入队列R，若没有相关重合子区域则将该小区域加入结果集S；

C.重复步骤B，直至队列R为空；

D.在结果集S中，筛选最大相关重合子区域。首先，计算S集中任意两个小区域的相关重合子区域像素重合度，判断重合度是否大于阈值，若是则进行相关重合子区域合并和边界拓展，将两个相关联的小区域合并为一个，重复这个过程，直至S集无变化，得出最终的单帧运动目标检测结果；若否则不进行操作。

E.利用上述单帧运动目标轨迹，在多帧图像之中利用单帧检测的检测结果，进行运动目标关联。重用单帧检测中的区域特征，在多帧之间采取区域相似度和像素重合度是否相同判断运动目标是否为同一个物体，最后获取多帧运动目标轨迹；

F.得到每个运动物体在多帧检测中的轨迹和大小；

步骤4、使用预先采集的正常事件轨迹信息构建聚类模型，对于每个进行判断的测试数据判断其与各个聚类的差别，根据阈值判断是否为异常事件，此次为常规操作，不再赘述。判断为异常事件的数据提交给暴力行为检测模块和警报模块。

步骤5、暴力行为检测模块对异常事件检测模块识别出的异常事件进行分析，在构建的暴力行为视频集中，利用大量带标签的视频数据进行有监督的学习，综合并利用视频的空间信息及运动信息来构建深度神经网络模型，通过训练好的模型进行暴力行为的识别；

步骤6、异常事件检测模块和暴力行为检测模块识别完成之后，将结果送至警报模块，若有异常事件、暴力行为，则进行警报操作。

步骤4采用经典异常事件检测算法字典学习方法，通过运动物体的轨迹进行异常事件的检测。

步骤5暴力行为检测模块中暴力行为检测的具体实施方式为：在构建的暴力行为视频集中，利用大量带标签的视频数据进行有监督的学习，综合并利用视频的空间信息及运动信息来构建深度神经网络模型，具体包括：

(1)数据集的构建:获取网络爬取的暴力行为数据集以及自己拍摄的在无人机视角下的暴力行为视频；

(2)数据预处理：通过视频处理模块处理无人机视角下畸变的视频，并将视频预处理，获得图片集；

(3)将图片集划分成若干40帧128*128的3通道图片，并按一定比例划分为训练集、验证集和测试集，并将其处理成便于神经网络输入的格式；

(4)采用3DCNN(三维卷积神经网络)构建模型，其中该网络结构如图4所示，包括8个卷积层，6个池化层和四个全连接层，最后加一个LogSoftmax层加以分类，整个网络结构可以实现提取视频的时序特征和分类(暴力和非暴力行为)的效果。然后在训练集上进行训练，并调整学习率、Batch的size等超参，调节好后在验证集上进行验证，在测试集上进行测试，最后将模型保存；

(5)视频处理模块输入数据进入控制模块后，模块自动调用训练好的模型文件并对视频中行为是否属于暴力行为进行判断。

上面结合巡航飞行实例和附图详细介绍了本发明的具体实施方式，但应注意的是，以上只是本发明的最优实施方案，但本发明不限于上述实施方案，凡在本发明精神和原则之内，所作的任何修改、等同置换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于无人机移动监控的异常及暴力检测系统，其特征在于包括：无人机云台模块、巡航飞行控制模块、视频处理模块、异常事件检测模块、暴力行为检测模块以及警报模块；

所述无人机云台模块用于拍摄地面状况，获取视频影像，其视频信号传入视频处理模块；

所述巡航飞行控制模块用于对无人机进行精准定位，获取无人机的实时位置信息，将定位信号数据传输至视频处理模块；并根据指令控制无人机的飞行,并且接收来自异常事件检测模块、暴力行为检测模块的飞行控制指令,操控无人机巡航或悬停；

所述视频处理模块用于接收无人机云台模块和巡航飞行控制模块的数据，并对其进行预处理，其数据流向异常事件检测模块；

所述异常事件检测模块接收来自视频处理模块的数据，用于分析视频处理模块处理过的视频数据，并对其中的异常事件视频进行检测，其异常情况下的信号数据流向暴力行为检测模块和警报模块；同时发送飞行控制指令给巡航飞行控制模块,控制无人机在异常区域上方悬停；

所述暴力行为检测模块接收来自异常事件检测模块的数据，用于分析经异常事件检测模块检测出异常后的视频中是否有暴力行为，若有则数据流向警报模块，若没有则发送飞行控制指令给巡航飞行控制模块,控制无人机继续飞行；

所述警报模块接收来自异常事件检测模块和暴力行为检测模块的数据，用于检测到异常事件和暴力行为时的警报操作。

2.如权利要求1所述的基于无人机移动监控的异常及暴力检测系统，其特征在于所述无人机云台模块中的摄像头实现原地360度旋转，并可实现匀速调节俯仰角，其视野大、角度广。

3.如权利要求1所述的基于无人机移动监控的异常及暴力检测系统，其特征在于所述视频处理模块对无人机云台模块和巡航飞行控制模块的数据预处理具体包括：

(1)将无人机云台模块获得的广角视频处理成非畸变的正常视频；

(2)通过检测上述非畸变的正常视频中的加速稳健特征,并提取描述向量构造出局部特征描述子,然后将前后两帧的特征描述子进行匹配得到特征匹配结果；

(3)得到特征匹配结果后,计算得出相邻两帧图像之间的帧间偏移；

(4)根据图像的帧间偏移切割视频,得到若干带有GPS定位信息的图片集。

4.基于无人机移动监控的异常及暴力检测方法，其特征在于该方法包括以下步骤：

步骤1、无人机云台模块实时获取地面视频，并传送给视频处理模块；巡航飞行控制模块实时获取地面地理位置信息，并传送给视频处理模块；

步骤2、视频处理模块将上述视频由广角处理成非畸变的正常视频，然后将视频划分为图片集，具体包括提取相邻帧图像的加速稳健特征(Speeded Up Robust Features,SURF)，利用SURF特征进行图像匹配，并得出相邻图像的帧间偏移；利用帧间偏移切割图像等一系列步骤，目的是将无人机动态飞行过程中的视频信号,处理成静态背景下的固定区域图片集并带有GPS定位信息,然后将每个单独的图片集数据传送给异常事件检测模块；

步骤3、异常事件检测模块对来自视频处理模块的图片集数据进行分析检测，对处理好的数据采用帧间差搜索算法获得物体运动轨迹，然后再运用字典学习算法识别出其中的异常事件,在异常情况下发送指令给巡航飞行控制模块,控制无人机在异常区域上方悬停,并将异常区域的视频信号和定位信息传送给警报模块和暴力行为检测模块；

步骤4、暴力行为检测模块对异常事件检测模块识别出的异常事件进行进一步检测，使用预先构建的深度神经网络模型来对当前异常区域的视频信号进行暴力行为的检测；在检测出暴力行为的情况下传送异常信息给警报模块,并保持悬停状态等待安保人员处理；若没有检测到暴力行为则通知巡航飞行控制模块继续飞行。

5.如权利要求4所述的基于无人机移动监控的异常及暴力检测方法，其特征在于步骤3异常事件检测模块对来自视频处理模块的图片集数据进行处理，获取运动目标的轨迹；具体是：

3.1获取区域相似度：

将图片集中每帧图像切割成10像素*10像素小区域，计算每个区域的当前帧与前一帧图像的帧间差运动特征,当前帧的颜色直方图特征、纹理特征,并利用上述特征分别求出:帧间差区域相似度、颜色相似度、纹理相似度,并利用上述相似度求取最终的区域相似度，同时求取活跃系数；

所述的帧间差运动特征是通过对视频图像序列中相邻两帧作差分运算获得运动目标轮廓；

所述的帧间差区域相似度是对两个区域的帧间差像素分别求取被激活像素的占比,再利用两者比例,求取两个区域的帧间差区域相似度,见公式(1)：

其中x和y代表两区域被激活像素的占比；

所述颜色相似度、纹理相似度是将两个区域的颜色直方图特征、纹理特征分别代入皮尔逊相关系数中,即可得出颜色相似度s₁和纹理相似度s₂；

上述活跃系数代表当前区域的其他特征受到求取被激活像素的占比限制的系数,见公式(2)：

上述最终的区域相似度通过公式(3)获得：

S＝F(x,y)+g(x,y)*(s₁+s₂) (3)

3.2利用上述得到的区域相似度S,采用帧间差搜索算法获取运动物体的运动目标轨迹；具体如下：

A.对步骤(2)切割后的每帧图像进行初始化，将图片集中每帧图像切割成10像素*10像素小区域，计算每个区域的区域特征，即当前帧与前一帧图像的帧间差运动特征,当前帧的颜色直方图特征、纹理特征,将所有初始化后的小区域和区域特征加入区域队列R中；

B.依次取出队列R中的小区域以及对应的区域特征，根据公式(3)计算各个区域间的区域相似度S，根据阈值判断任意两个小区域间是否具有相关重合子区域，若有则合并，然后将合并后的区域替换上述两个小区域后加入队列R，若没有相关重合子区域则将该小区域加入结果集S；

C.重复步骤B，直至队列R为空；

D.在结果集S中，筛选最大相关重合子区域：首先，计算S集中任意两个小区域的相关重合子区域像素重合度，判断重合度是否大于阈值，若是则进行相关重合子区域合并和边界拓展，将两个相关联的小区域合并为一个，重复这个过程，直至S集无变化,得出单帧运动目标检测结果，最终获得单帧运动目标轨迹；若否则不进行操作；

E.在多帧图像中，根据单帧运动目标轨迹中区域相似度和像素重合度是否相同，进而判断运动目标是否为同一个物体,最后获取多帧运动目标轨迹；

F.得到每个运动物体在多帧检测中的轨迹和大小。

6.如权利要求4所述的基于无人机移动监控的异常及暴力检测方法，其特征在于步骤4中暴力行为检测模块采用三维卷积神经网络。