CN108256447A - 一种基于深度神经网络的无人机航拍视频分析方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的无人机航拍视频分析方法，步骤为：将采集到的无人机航拍视频上传至视频平台；建立无人机航拍人群分析库，建立训练集和测试集；训练并测试模型直至测试正确率大于期望值；保存并应用训练后的模型，对无人机航拍视频平台上实时采集到的视频进行分析处理；保存并统计分析处理结果。本发明方法结合无人机航拍人群分析库和深度学习神经网络模型，能够自动实时对无人机航拍视频进行人群行为识别和分析，从而能够在相应情况下作出预警，降低人群相关事故发生的概率，其分析方法相对于以往的人工分析方法，分析更准确，效率更高。本发明作为一种基于深度神经网络的无人机航拍视频分析方法可广泛应用于数据处理领域。

Description

一种基于深度神经网络的无人机航拍视频分析方法

技术领域

本发明涉及数据处理领域，尤其是一种基于深度神经网络的无人机航拍视频分析方法。

背景技术

无人机航拍摄影技术可广泛应用于国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球以及广告摄影等领域。无人机最大的好处，是不必担心人员安全，也不必担心飞行员的体力限制。无人机可以执行各种最为危险的任务，最坏的结局不过是损失一架可以大量生产的飞机。

无人机在诸多事关民生和非传统安全事务的领域，发挥着重要作用。如灾情监视、交通巡逻、治安监控和航空摄影、地球物理勘探、海岸缉私等。我国也早在1993年就将无人机应用于大气探测、气象灾害遥感、生态遥感、人工影响天气等课题。当自然灾害(如地震、洪水、泥石流、海啸等)发生时，在指挥中心与现场之间搭建一条无形的信息“桥梁”，快速构成一个应急局域无线通信网以解燃眉之急，为救灾赢得宝贵时间。

在云计算、大数据、深度学习、神经网络、人工智能等新技术逐步广泛应用的大背景下，信息技术对教育的革命性影响日趋明显。在各省陆续建立视频大数据战略的大背景下，数据成为关键资源。而无人机航拍作为数据采集的终端，在这方面具有先天优势。无人机航拍设备已经走进越来越多人的生活，海量的音视频数据被记录和保存下来。但这些音视频往往只是简单的放在视频平台上以供需要时播放使用，除此之外便被束之高阁，价值密度很低，造成资源浪费。

基于无人机航拍视频的行为分析，作为计算机视觉和模式识别、人工智能和数据挖掘等的交叉研究领域，是当前智能视频技术研究中的热点。对特定场景内的人群行为分析，可以对其行为规律作出描述，从而实现利用机器智能进行异常事件自动检测，还可以学习建立相关行为模型，为公共空间设计、智能环境等提供参考。

传统的无人机航拍视频分析平台主要依靠监控人员对视频进行监看。随着经济的发展与社会的进步，视频监控技术被广泛应用在当今世界的各个角落，视频监控设备的数量及其产生的监控数据不断快速增长。在大街小巷采集到的各种无人机航拍视频，每周产生多达40亿个小时的视频数据。人工对这些无人机航拍获得的视频进行监视或信息统计需要付出越来越多的人力成本，甚至可能超出人力的处理范围。一个接受过训练的工作人员可以同时有效监看的视频不超过十六路，且对于一些规模较为庞大的视频信息，增加人力并不一定提高监控的效率。另外，人工进行长时间监控，可能导致监控者视觉疲劳，注意力下降，降低监控的准确性和效率，甚至出现错报漏报。

计算机和网络技术的发展，使得利用机器处理海量监控数据成为可能，并可以获得比人工处理高得多的处理效率和准确性。自2001年美国911恐怖袭击事件发生后，随着恐怖主义势力活动的不断猖獗，为保护公共安全，智能视频监控技术再次得到推广。在我国，由公安部门主导的“平安城市”等为目标的重大工程己在近年里逐步实施。例如，北京奥运会期间，拥有“鸟巢”、“水立方”、国家体育馆、击剑馆等十个竞技场馆的奥林匹克公园，每天人流平均十五万人次，为应对突发事件，仅在奥林匹克公园就布置有四千个摄像头用于监控。

这些摄像头采集的数据经由智能视频监控系统进行处理，可以对入口区域、人流通道、公交车站、活动区等重要区域的人流状况进行实时密度分析，并通过周边区域人流状况，分析预测出重点区域在将来一段时间的人流密度情况，一旦超过危险密度值便提供报警信息，从而提前启动应急方案。京沪高铁，也建立了综合视频监控系统，对线路和车站进行实时监控，并在重点部位设立外部入侵报警系统。

传统无人机航拍视频分析平台中录制资源利用率低、主要依赖人工对录制好的视频资源进行分析处理，但是人工处理工作量大、成本高、效率低的问题，也解决了传统无人机航拍视频分析平台中无法对人群行为进行识别和分析，并且在相应情况下做出预警。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种基于深度神经网络实现对人群行为进行识别分析的低成本、高效率无人机航拍视频分析方法。

本发明所采用的技术方案是：一种基于深度神经网络的无人机航拍视频分析方法，包括有以下步骤：

S1、将采集到的无人机航拍视频上传至视频平台；

S2、建立无人机航拍人群分析库，将无人机航拍人群分析库的数据分为训练集和测试集；

S3、采用测试集数据训练深度学习神经网络模型；

S4、采用训练后的深度学习神经网络模型对测试集进行分析处理，若测试正确率大于期望值，则执行步骤S5，否则执行步骤S3；

S5、保存训练后的深度学习神经网络模型，并应用训练后的深度学习神经网络模型对无人机航拍视频平台上实时采集到的视频进行分析处理；

S6、保存上述步骤S5中的分析处理结果，并对分析处理结果进行统计。

进一步，所述步骤S2中建立无人机航拍人群分析库的具体步骤为：

S201、获取无人机航拍视频的标签；

S202、根据标签对无人机航拍视频进行分类存储。

进一步，所述标签包括有视频采集位置标签和采集对象特征标签。

进一步，所述步骤S2中，无人机航拍人群分析库的70％数据作为训练集，无人机航拍人群分析库的30％数据作为测试集。

进一步，所述步骤S3具体包括有以下子步骤：

S301、搭建深度学习框架；

S302、获取VGGNet的预训练模型；

S303、将训练集中的数据转化为LMDB文件；

S304、采用SSD目标检测算法进行训练。

进一步，还包括有步骤S7：对分析处理结果的统计数据进行可视化展示。

本发明的有益效果是：本发明方法结合无人机航拍人群分析库和深度学习神经网络模型，能够自动实时对无人机航拍视频进行人群行为识别和分析，从而能够在相应情况下作出预警，降低人群相关事故发生的概率，其分析方法相对于以往的人工分析方法，分析更准确，效率更高。

附图说明

图1为本发明方法的步骤流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

参照图1，一种基于深度神经网络的无人机航拍视频分析方法，包括有以下步骤：

S1、将采集到的无人机航拍视频上传至视频平台；

S2、建立无人机航拍人群分析库，将无人机航拍人群分析库的数据分为训练集和测试集；

S3、采用测试集数据训练深度学习神经网络模型；

S4、采用训练后的深度学习神经网络模型对测试集进行分析处理，若测试正确率大于期望值，则执行步骤S5，否则执行步骤S3；

S5、保存训练后的深度学习神经网络模型，并应用训练后的深度学习神经网络模型对无人机航拍视频平台上实时采集到的视频进行分析处理；

S6、保存上述步骤S5中的分析处理结果，并对分析处理结果进行统计。

进一步作为优选的实施方式，所述步骤S2中建立无人机航拍人群分析库的具体步骤为：

S201、获取无人机航拍视频的标签；

进一步作为优选的实施方式，所述标签包括有视频采集位置标签和采集对象特征标签。

采集的大量无人机航拍视频包括不同场景和环境下的航拍视频，涵盖白天光照充足的视频和晚上较昏暗环境下的视频、晴朗天气下的视频和雨雪等天气下的视频、人群稀少场景下的视频和人群拥挤场景下的视频，下载的视频应该涵盖到尽可能多的环境和极端场景形式，为后续做出完备数据集做准备；视频数据通常剪辑为2分钟左右的片段。其中，视频采集位置标签例如体育赛事片段、演唱会片段、公共演讲片段等，采集对象特征标签例如人群拥挤片段、人群稀疏片段、异常行人片段等。

S202、根据标签对无人机航拍视频进行分类存储；即将相同标签的视频片段分类打包，存放之同一文件夹下；通常一个文件夹包括至少100个视频片段，默认存储格式为struct类型，也可以保存为xml格式，方便后续程序调用。

进一步作为优选的实施方式，所述步骤S2中，无人机航拍人群分析库的70％数据作为训练集，无人机航拍人群分析库的30％数据作为测试集。

首先，因为我们需要对无人机航拍视频进行实时分析处理，所以要选择实时性好、准确率高的网络模型，进一步作为优选的实施方式，所述步骤S3具体包括有以下子步骤：

S301、搭建深度学习框架；

在服务器上安装Ubuntu14.04系统，然后搭建深度学习的caffe(ConvolutionalArchitecture for Fast Feature Embedding)框架；在/ssd目录下克隆作者的开源caffe文件包，配置环境变量，然后进行编译；

S302、获取VGGNet的预训练模型；

下载VGGNet的预训练模型，并将它放入caffe/models/VGGNet/目录下；

S303、将训练集中的数据转化为LMDB文件；

S304、采用SSD目标检测算法进行训练；

在终端执行python examples/ssd/ssd_pascal.py开始训练。

进一步作为优选的实施方式，所述步骤S4的具体测试流程为：

S401、在终端执行python examples/ssd/score_ssd_pascal.py开始测试；

S402、查看测试结果中的detection_eval，detection_eval是模型的检测水平，是一个0到1的小数，表示测试正确的比例，也即正确率；

S403、判断detection_eval模型检测水平是否达到我们的期望值，具体期望值可更是实际情况设定和调整；

S404、若达到期望值则执行步骤S5，否则继续回到步骤S3训练网络模型。

进一步作为优选的实施方式，所述步骤S5的实时分析流程为：

S501、从无人机航拍视频平台上下载新的视频文件；

S502、将新的视频文件的路径写入实时处理文件ssd_pascal_video.py中；

S503、在终端运行python examples/ssd/ssd_pascal_video.py进行视频实时处理。

进一步作为优选的实施方式，所述步骤S6的实时分析流程为：

S601、对视频文件进行实时处理后，统计本段视频的基本信息，即体育赛事片段出现在第几帧，持续了多久的时间、演唱会片段出现在第几帧，持续了多长时间、公共演讲片段出现在第几帧，持续了多长时间、人群拥挤片段出现在第几帧，持续了多久的时间，是否需要发出警报、人群稀疏片段出现在第几帧，持续了多久的时间、异常行人出现在第几帧，具体什么异常行为，是否需要发出警报等信息；

S602、统计出视频中每个标签下人群的大概密度，即体育赛事片段中参赛人员数量与观众数量、演唱会片段中表演人员数量与观众数量、公共演讲片段中演讲人员数量与观众数量、人群拥挤片段中的总人流量、人群稀疏片段中的总人流量、异常行人片段中的具体行为识别等。

进一步作为优选的实施方式，还包括有步骤S7：对分析处理结果的统计数据进行可视化展示。所述可视化展示可以以图片或短视频的形式在平台展示，根据上述步骤S6中统计出的人群运动数据中分析得到的规律，以报表形式汇总，可以帮助组织者事先制定相关规则和处理预案，以降低人群相关事故发生的概率。例如：

(1)对公共场所进行改造、装修时，可以考虑根据人群运动的规律，优化场所内的公共设施，为使用者提供方便，或提高公共设施的使用效率；

(2)、基于异常行人分析信息，将异常行人的照片提取出来，展示在平台上，可以使智能视频监控取代由人工完成监看工作的传统视频监控；

(3)、人群行为分析将为智能环境的运行提供必要的参数，并记录成文档格式。通过人群分析，根据当前场景内的人群密度，自动调节灯光、环境温度等，帮助环境智能运行，节能减排。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于深度神经网络的无人机航拍视频分析方法，其特征在于，包括有以下步骤：

S1、将采集到的无人机航拍视频上传至视频平台；

S2、建立无人机航拍人群分析库，将无人机航拍人群分析库的数据分为训练集和测试集；

S3、采用测试集数据训练深度学习神经网络模型；

S4、采用训练后的深度学习神经网络模型对测试集进行分析处理，若测试正确率大于期望值，则执行步骤S5，否则执行步骤S3；

S5、保存训练后的深度学习神经网络模型，并应用训练后的深度学习神经网络模型对无人机航拍视频平台上实时采集到的视频进行分析处理；

S6、保存上述步骤S5中的分析处理结果，并对分析处理结果进行统计。

2.根据权利要求1所述的一种基于深度神经网络的无人机航拍视频分析方法，其特征在于：所述步骤S2中建立无人机航拍人群分析库的具体步骤为：

S201、获取无人机航拍视频的标签；

S202、根据标签对无人机航拍视频进行分类存储。

3.根据权利要求1所述的一种基于深度神经网络的无人机航拍视频分析方法，其特征在于：所述标签包括有视频采集位置标签和采集对象特征标签。

4.根据权利要求1所述的一种基于深度神经网络的无人机航拍视频分析方法，其特征在于：所述步骤S2中，无人机航拍人群分析库的70％数据作为训练集，无人机航拍人群分析库的30％数据作为测试集。

5.根据权利要求1所述的一种基于深度神经网络的无人机航拍视频分析方法，其特征在于：所述步骤S3具体包括有以下子步骤：

S301、搭建深度学习框架；

S302、获取VGGNet的预训练模型；

S303、将训练集中的数据转化为LMDB文件；

S304、采用SSD目标检测算法进行训练。

6.根据权利要求1所述的一种基于深度神经网络的无人机航拍视频分析方法，其特征在于：还包括有步骤S7：对分析处理结果的统计数据进行可视化展示。