CN106054928B - 一种基于无人机网络的全地域火灾发生测定方法 - Google Patents

Abstract

本发明公开了一种基于无人机网络的全地域火灾发生测定方法。采用主要由无人机、远程服务器和位于地面的控制系统组成的系统，无人机网络接收火灾报警点的GPS位置信息选派距离最近的无人机飞行到达火灾报警区域，拍摄报警点的现场视频图像与热红外图像，通过4G移动蜂窝网络发送至远程服务器；远程服务器接收数据得到实时现场视频和热红外图像，图像经过分类器比较得到火灾是否发生的结果。本发明不仅能够在接到报警后及时派出无人机，而且能通过机载传感器设备为救援工作的开展提供了可靠和有效的实时信息，弥补了现有方法确认火灾发生方法中不存在无人机网络确认火灾发生方法的不足。

Description

一种基于无人机网络的全地域火灾发生测定方法

技术领域

本发明涉及了一种火灾发生测定的方法，特别涉及了一种基于无人机网络的全地域火灾发生测定方法。

背景技术

近年来，无人机在民用方面的应用越来越多，各国在无人机的民用方面逐渐开放。

消防工作是一项社会性很强的工作，消防工作具的社会性；消防管理应渗透到人类生丰收的一切领域之中，从而决定了消防工作的社会性；人们对消防安全管理稍有疏漏，对生产一时失神、失控、失误，就有可能酿成火灾，这就决定了消防工作的经常性。所以，对消防工作的工作效率和工作质量随着社会的不断发展和进步就显得尤为突出和重要。

目前的现状是，当火灾报警系统接收到火灾报警后，由驻派在附近待命的工作人员驱车前往火灾发生地进行现场拍照取证。若确认的确有火灾发生，则再通知消防部门赶去救援。但是这种方式因为城市交通拥堵，火灾发生地较远，或者其他突发情况等因素影响，使得火灾确认浪费了大量时间，如果确实发生了火灾，则耽误了救援工作。因此，现在急需一种能够在最短时间内确认火灾发生的方法。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供了一种基于无人机网络的全地域火灾发生测定方法，该方法将无人机控制技术、航拍技术和网络通信技术巧妙地结合起来，从而完成对火灾警报的现场测定工作。

本发明所要解决的问题包括如下步骤：

1)采用主要由包含有无人机的机库、远程服务器和位于地面的控制系统组成的系统，无人机上装载有红外热像仪，GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构、气体传感器、风力风向传感器和4G通信模块；每台无人机及其所在的机库均无线连接到远程服务器，远程服务器上架设有数据库，控制系统分别与远程服务器和数据库连接进行通信；

2)机库以网状方式分布部置于城市中，机库中停靠有若干架无人机待命，接到火灾报警后，无人机接到控制系统发送过来的飞行任务信号后，起飞到火灾报警点现场，无人机分别通过红外热像仪和摄像头采集热红外图像和视频图像，并经远程服务器发送到控制系统；无人机的实时数据下传信息由远程服务器接收并解析，控制系统发出的控制上传信息打包完成后统一由远程服务器发送。

3)控制系统通过图像分类器将接收到的视频图像和热红外图像分别进行图像分类处理，只要其中一种分类器判断获得为火灾报警点报警的图片，则认为火灾报警点发生了火灾。

所述的远程服务器接收无人机飞行数据和拍摄数据发送到数据库和控制系统分别进行存储和处理，控制系统接收远程服务器发送过来的无人机飞行数据和拍摄数据处理并发回到远程服务器在数据库中存储，并调用数据库中存储的数据信息，并向远程服务器发送飞行控制信号，飞行控制信号经由远程服务器发送到无人机，控制系统后台实时更新管辖范围内的无人机状态和布点信息。

所述的无人机与远程服务器之间的通信采用4G蜂窝移动网络进行通信，飞行数据传输协议使用的是TCP协议，红外热像仪和摄像头的视音频数据使用RTP协议进行传输。

平时控制系统一直于待命状态，在接到报警后，所述控制系统统一安排部署控制多架无人机一起起飞工作。

所述步骤2)中机库的网状布点方式如图1所示，圆圈代表的是机库的布点位置，布点相似于等边三角形状分布，两个相邻布点之间的距离小于6公里，目的是能使无人机在5分钟内达到火灾报警点，其中无人机的最慢巡航速度为10m/s。虚线为5分钟内无人机能到达的区域范围。

所述的远程服务器与控制系统之间的通讯协议采用Mavlink，Mavlink协议广泛应用于地面站与无人载具之间的通信，Mavlink的协议操作都由控制系统完成，即远程服务器向控制系统传输无人机根据Mavlink协议编码的数据，控制系统接收到并根据Mavlink协议解析得到数据；另一方面，控制系统的控制指令经Mavlink协议编码发送至远程服务器，由远程服务器根据网络协议二次编码发送给无人机。

本发明的数据传输关系如图2所示。其中，无人机将飞行数据和机载传感器数据首先进行Mavlink编码，再由TCP网络协议进行二次编码发送至远程服务器，视频和音频数据使RTP协议发送至远程服务器，同时也接收远程服务器发送的控制信息，并进行Mavlink解码获得信息；远程服务器向控制系统发送Mavlink协议包装的无人机发送的实时数据，同时也接收控制系统向无人机或向远程服务器发送的控制指令，并根据控制系统的控制要求向数据库存入视频和音频信息；控制系统根据自身的数据需求从数据库调取信息和写入信息。

本发明在控制系统端会实时显示数据，主要分为两部分，其中一部分为无人机的实时状态数据，包括无人机的姿态角信息，GPS位置信息，电量信息，飞行速度。另一部分为无人机在火灾报警点传回的数据信息，包括火灾报警点的视频、红外热成像图、报警点附近的风力风速、报警点附近的异常气体成分与浓度。

所述的控制系统控制距离火灾点最近的两个无人机起飞并发送飞行任务信号：如图3所示，以火灾报警点为正方形的中心，圈出正方形区域作为区域范围A，具体实施的正方形的边长l为9Km，即x1＝x0-l/2，y1＝y0+l/2，以此类推，可以画出区域范围A：

A＝(x,y)，x∈[x0-l/2,x0+l/2],y∈[y0-l/2,y0+l/2]

其中，x0，y0为火灾报警点的GPS坐标，l为区域范围的正方形边长；

数据库中搜索获得该区域范围A内的N个机库布点位置，采用以下公式进行距离计算：

其中，Xi，Yi为机库布点的GPS位置信息，i表示机库的序数，N为机库布点的总数，di为火灾报警点和某一机库布点位置之间的距离；

选取上一步计算获得的距离di最小的两个布点，派出其机库中的无人机赶往火灾报警点。

所述步骤3)中视频图像和热红外图像的图像分类器均选择支持向量机作为分类器，核函数为径向基函数，并的采用交叉验证方式选取最优参数。

所述的视频图像和热红外图像的图像特征提取选用Gist特征，其提取步骤如下：

1)将图像转换为灰度图像，将大小为h×w的灰度图像划分成大小相等的4×4个小块图像，则每个小块图像的大小为h'×w'，其中h为图像的长，w为图像的宽，h’＝h/4，w’＝w/4，h’和w’分别表示小块图像的长和宽；

2)对每个小块图像，用32个通道的滤波器进行卷积滤波，将32个通道滤波后的结果级联起来形成该小块图像的特征：

式中：i＝1，2，......，4*4，f()函数代表图像，x，y分别为图像的横纵坐标值；g()代表Gabor滤波器，m为滤波器的尺度数，n为滤波器的方向数，cat表示将计算结果级联；

3)将上述步骤每一小块图像计算出的特征值取平均值，得到该小块图像的Giat特征：

式中，表示在第n_c个通道滤波后所产生的平均特征值，表示第n_c个通道滤波后所产生的特征值，a，b为图像中的横纵坐标值；

4)将上述步骤每一小块中产生的n_c个平均特征值级联起来，获得整幅图像的Gist特征，其维数为4×4×32＝512维。

本发明的有益效果是：

本发明方法将无人机控制技术、航拍技术和网络通信技术相结合处理，从而完成对火灾警报的现场测定工作。

方法采用无人机网络，具有分布合理、机动性好、成本低廉等的技术特点，能在短时间内赶往火灾报警点进行取证，能通过机载传感器设备为救援工作的开展提供了可靠和有效的实时信息，弥补了现有方法确认火灾发生方法中不存在无人机网络确认火灾发生方法的不足。

本发明利用4G移动蜂窝数据网络能够将火灾现场的实时数据传送给控制系统，控制系统能够简单快速地对火灾警报进行现场确认、过滤误报和加速救援行动，对于消防工作具有非常有利的作用。

附图说明

图1为本发明的无人机布点示意图。

图2为本发明的数据传输示意图。

图3为本发明的无人机执行任务选择计算示意图。

具体实施方式

以下将对本发明的优选实例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明的实施例及其具体实施过程如下：

1)选取某市某消防队的演习场地作为本实施例的实施对象，该演习场地为以大型废旧仓库，该仓库长150米，宽30米，高10米，并在仓库某一随机位置用一火源模拟器，模拟着火点，同时着火点附近安装有火灾警报装置。

2)打开火源模拟器，模拟火灾发生情况，同时火灾警报装置探测到火灾发生，控制系统接收到火灾报警。

3)控制系统根据数据库中的无人机的布点信息和当前火灾报警点的位置，计算并选出最近的两个机库派遣无人机赶往火灾发生点。

4)到达现场后对仓库周边进行高空观察情况确定航拍方案，在视频中明显发现在仓库东北角有类似火灾发生的浓烟飘出。最终确定以东北角所在区域的墙体，进行270°的巡航拍摄，飞行高度为2米(火灾报警器的高度)，飞行半径为20米。无人机飞行速度设置为15°/s。无人机在这段时间内持续拍摄视频，同时并以每秒1幅的速度拍摄热红外图像，共计18幅图像和18秒的视频。完成后，无人机飞到仓库上方30米处，以航拍角度为30°，朝向建筑物以俯视向下30°角度获取屋顶及其建筑物周边的图像和视频。由于仓库周边树木、标志牌和障碍物比较多，所以采用飞手手动操控无人机执行航拍的方案。

5)无人机将拍摄到的视频图像和热红外图像通过4G移动蜂窝网络传输到远程服务器，控制系统将调取视频图像和热红外图像分别送入已经训练好的图像分类器进行有无无火灾的判别。

6)本实施过程中的两种火灾场景图像分类器均采用以下方式获得：提取gist作为图像的全局特征，以支持向量机作为分类器。选取样本图像的数量为5万张，共有2种不同的场景即着火和未着火，每种场景图像数为5万张。在线分类过程中，对待测试图像提取gist全局特征，输入到已经训练好的分类器中，得到分类结果，其中，支持向量机核函数采用线性核函数，惩罚因子设为1。

分类器的最终分类性能如下表：

自然光	分类精度
		着火图像	97％
非着火图像	82％
		总体	89.5％

红外	分类精度
		着火图像	96％
非着火图像	85％
		总体	90.5％

7)本次实施中成功判断为发生火灾，并且通过机载传感器，包括火灾报警点的视频、红外热成像图、报警点附近的风力风速、报警点附近的异常气体成分与浓度。通过4G蜂窝移动网络传送回远程服务器。

Claims (7)

1.一种基于无人机网络的全地域火灾发生测定方法，其特征在于包括如下步骤：

1)采用主要由包含有无人机的机库、远程服务器和位于地面的控制系统组成的系统，无人机上装载有红外热像仪，GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构、气体传感器、风力风向传感器和4G通信模块；每台无人机及其所在的机库均无线连接到远程服务器，远程服务器上架设有数据库，控制系统分别与远程服务器和数据库连接进行通信；

2)机库以网状方式分布部置于城市中，机库中停靠有若干架无人机待命，接到火灾报警后，无人机接到控制系统发送过来的飞行任务信号后，起飞到火灾报警点现场，无人机分别通过红外热像仪和摄像头采集热红外图像和视频图像，并经远程服务器发送到控制系统；

3)控制系统通过图像分类器将接收到的视频图像和热红外图像分别进行图像分类处理，只要其中一种分类器判断获得为火灾报警点报警的图片，则认为火灾报警点发生了火灾；

所述的控制系统控制距离火灾点最近的两个无人机起飞并发送飞行任务信号：

以火灾报警点为正方形的中心，圈出正方形区域作为区域范围A：

A＝(x,y)，x∈[x0-l/2,x0+l/2],y∈[y0-l/2,y0+l/2]

其中，x0，y0为火灾报警点的GPS坐标，l为区域范围的正方形边长；

获得该区域范围A内的N个机库布点位置，采用以下公式进行距离计算：

其中，Xi，Yi为机库布点的GPS位置信息，i表示机库的序数，N为机库布点的总数，di为火灾报警点和某一机库布点位置之间的距离；

选取上一步计算获得的距离di最小的两个布点，派出其机库中的无人机赶往火灾报警点。

2.根据权利要求1所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：所述的远程服务器接收无人机飞行数据和拍摄数据发送到数据库和控制系统分别进行存储和处理，控制系统接收远程服务器发送过来的无人机飞行数据和拍摄数据处理并发回到远程服务器在数据库中存储，并调用数据库中存储的数据信息，并向远程服务器发送飞行控制信号，飞行控制信号经由远程服务器发送到无人机，控制系统后台实时更新管辖范围内的无人机状态和布点信息。

3.根据权利要求1所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：所述的无人机与远程服务器之间的通信采用4G蜂窝移动网络进行通信，飞行数据传输协议使用的是TCP协议，红外热像仪和摄像头的视音频数据使用RTP协议进行传输。

4.根据权利要求1所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：在接到报警后，所述控制系统统一安排部署控制多架无人机一起起飞工作。

5.根据权利要求1所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：所述步骤2)中机库的布点形成以三角形为单元而成的网状分布，所述的三角形不为等边三角形，相邻两个布点之间的距离小于6公里，使无人机在5分钟内达到火灾报警点。

6.根据权利要求1所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：所述步骤3)中视频图像和热红外图像的图像分类器均选择支持向量机作为分类器，核函数为径向基函数，并的采用交叉验证方式选取最优参数。

7.根据权利要求1或6所述的一种基于无人机网络的全地域火灾发生测定方法，其特征在于：所述的视频图像和热红外图像的图像特征提取选用Gist特征，其提取步骤如下：

1)将图像灰度化，转换为灰度图像，将大小为h*w的灰度图像划分成大小相等的4×4个小块图像，则每个小块图像的大小为h'×w'，其中h为图像的长，w为图像的宽，h’＝h/4，w’＝w/4，h’和w’分别表示小块图像的长和宽；

2)对每个小块图像，用32个通道的滤波器进行卷积滤波，将32个通道滤波后的结果级联起来形成该小块图像的特征：

式中：i＝1，2，......，4*4，f()函数代表图像，x，y分别为图像的横纵坐标值；g()代表Gabor滤波器，m为滤波器的尺度数，n为滤波器的方向数，cat表示将计算结果级联；

3)将上述步骤每一小块图像计算出的特征值取平均值，得到该小块图像的Gist特征：

式中，表示在第n_c个通道滤波后所产生的平均特征值，表示第n_c个通道滤波后所产生的特征值，a,b为图像中的横纵坐标值；

4)将上述步骤每一小块中产生的n_c个平均特征值级联起来，获得整幅图像的Gist特征，其维数为4×4×32＝512维。