CN111580425A - 一种适用于林场火险监测的系统及方法 - Google Patents

Abstract

本发明公开了一种适用于林场火险监测的系统及方法，系统包括无人机控制系统、数据处理与通信系统以及远程上位机管理系统；所述无人机控制系统、数据处理与通信系统之间能够进行数据交互，远程上位机管理系统实现对无人机飞行的控制；所述无人机控制系统，用于对无人机的飞行控制以及飞行信息的反馈；所述数据处理与通信系统，用于对数据进行传输并对图像进行处理，能对获得的数据进行管理，包括故障信息、火险灾情异常信息、无人机飞行状态信息、用户登录信息；所述远程上位机管理系统，用于图像的传输和处理，并完成火险灾情的预警。本发明能实现无人机的自主飞行并及时拍摄森林上空的视频和图像数据，通过深度学习人工智能算法对森林火灾进行实时监测。

Description

一种适用于林场火险监测的系统及方法

技术领域

本发明属于林场火险监测的技术领域，具体涉及一种适用于林场火险监测的系统及方法。

背景技术

森林火灾预防的重点是对森林火灾进行监测预警，目前来说，森林火灾预防分为人工检查，包括：采用固定位置的烟火传感器、摄像头进行监测；使用各式民用飞行器巡检火点；采用人工巡山检查，成本低廉，是目前使用较多的一种森林火灾预防方式，但是效率低下。由于森林面积大、幅员广阔，距离城市遥远，且通过人眼识别的能力有限，对早期尚未形成火苗的火灾无法识别，不能做到快速识别早期火灾。要想有效的对大面积的森林、山地等地形进行监测，则需要安装固定位置的烟火传感器，烟火传感器有较强的火焰预警能力。不过森林、山地等地形的不稳定因素会限制烟火传感器的安装，较难选择合适的地点安装烟火传感器，因而会出现观测死角的情况。要使烟火传感器发挥作用还需要数量庞大的传感器支撑，烟火传感器的维修费用也是一笔不小的开支，这样一来便大大的增加了林场防火的成本。要想有效且及时的发现森林火灾，各式民用飞行器就派上用场了，民用飞行器能有效及时的发现森林火灾，而且不存在观测死角的情况，但民用飞行器的租赁费用不低，导致防火成本增高，覆盖物的火灾高危点也会影响巡测检查的效果。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种适用于林场火险监测的系统及方法，能实现无人机的自主飞行并及时拍摄森林上空的视频和图像数据，通过深度学习人工智能算法对森林火灾进行实时监测。

为了达到上述目的，本发明采用以下技术方案：

一种适用于林场火险监测的系统，包括无人机控制系统、数据处理与通信系统以及远程上位机管理系统；所述无人机控制系统、数据处理与通信系统之间能够进行数据交互，无人机控制系统将采集的图像和飞行参数实时回传至远程上位机管理系统，远程上位机管理系统实现对无人机飞行的控制；

所述无人机控制系统，用于对无人机的飞行控制以及飞行信息的反馈；

所述数据处理与通信系统，用于对数据进行传输处理并对图像进行处理，能对获得的数据进行管理，包括故障信息、火险灾情异常信息、无人机飞行状态信息、用户登录信息；

所述远程上位机管理系统，用于图像的传输和处理，并完成火险灾情的预警。

作为优选的技术方案，所述无人机控制系统包括路线规划模块、GPS定位模块和飞控模块；

所述路线规划模块，用于根据设定的指令规划无人机的飞行路线；

所述GPS定位模块，用于获取无人机飞行的当前位置；

所述飞控模块，用于对无人机的起飞、降落以及飞行过程进行控制。

作为优选的技术方案，所述数据处理与通信系统，包括图像数据采集模块和图像数据传输模块；

所述图像数据采集模块，通过搭载在无人机上的专用云台拍摄森林的图像，对森林火险情况进行监测；

所述图像数据传输模块，用于实现远距离把图像数据传输回远程上位机管理系统，并将远程上位机管理系统的控制指令发送到无人机。

作为优选的技术方案，所述远程上位机管理系统包括图像处理与分析模块和火险灾情实时预警模块；

所述图像处理与分析模块，用于接收到无人机传输的图像后，通过图像识别算法对图像进行的数据识别及处理，快速的判断出是否发生火灾并进行预警；

所述火险灾情实时预警模块，用于当发生火险灾情时，对火险灾情进行预警。

作为优选的技术方案，所述无人机包括MCU处理器、陀螺仪、加速度计、地磁针、GPS和气压计，所述陀螺仪、加速度计、地磁针、GPS和气压计均与MCU处理器连接。

作为优选的技术方案，无人机在飞行过程中通过气压计测定海拔，维持飞行高度或者根据设定的航线改变飞行高度来避开树木或山头，实现自主定高。

作为优选的技术方案，所述无人机与远程上位机管理系统的网络传输采用的是UDP协议。

一种适用于林场火险监测的系统的控制方法，其特征在于，包括下述步骤：

通过无人机摄像头采集森林上空的图像信息，并通过GPS定位系统获取无人机位置信息，生成定位轨迹；

图像传输装置将采集到的图像信息传输到远程上位机当中；

远程上位机对图像信息进行深度学习人工智能识别算法处理，识别出火险灾情，并根据定位信息确定灾情位置。

作为优选的技术方案，远程上位机对图像信息进行深度学习人工智能识别算法分析处理的具体步骤为：

前期通过采集的林场上空森林火险灾情发生时候的烟雾和火险图片数据，采用深度学习图像处理算法，对目标图片进行检测训练，对目标图像进行归一化处理，构建无人机林场火险监测模型；在林场上空部署火险灾情监控无人机，通过无人机摄像头对林场上空的图像数据进行采集，将数据及时传送到远程监控中心当中，远程监控中心收集到无人机的图像数据后，将图像数据传输到林场火险监测模型当中，判断目标监测模型输出是否大于设定的阈值，如果是，则触发报警器进行报警，并通知林场工作人员进行下一步灭火巡检工作；如果不是，则认为是普通的野外高温，不具有火灾的危险，不报警，则将图像数据保存下来，以备后期使用。

作为优选的技术方案，所述深度学习图像处理算法具体为：

采用图像预处理技术，削弱或消减无用的图像信息，并使用图像增强技术，提高图像的清晰度；使用形态学对处理技术，从图像中提取对表达式和渲染区域形状有意义的图像分量，对疑似林火区域进行分割，提取疑似林火区域；根据火焰的颜色信息提取疑似林火区域，并从植被颜色信息入手，通过对森林植被的颜色进行研究，引出火焰颜色的检测方法，增强火焰的颜色信息，削弱了植被的颜色信息，并基于FDI指数与R通道相结合的林火分割方法，对林火区域进行分割；

经过图像预处理操作和图像分割后得到的林火区域，选取圆形度、面积变化率、重心高度比、LBP纹理四个特征作为林火识别的依据；

利用机器学习的分类识别方法，选取径向基核函数作为SVM分类器的核函数，对样本的不同特征进行综合的分析，避免了直接依据特征阈值进行林火分类识别而导致的误报率较高的问题。

本发明与现有技术相比，具有如下优点和有益效果：

本发明能通过图像处理的方法来判断森林火灾的温度异常情况，通过无人机所搭载的摄像头将森林火灾隐患画面记录下来，并将拍摄到的图像通过通信网络传输到远程上位机管理系统，远程上位机管理系统通过深度学习算法进行计算处理，以此区分森林火灾是由火焰温度引起还是野外高温引起，快速识别出图像所在地区有没有火灾隐患的发生。通过本发明不仅降低了森林火灾带来的巨大的损失，还保证了国家的生态环境安全。

附图说明

图1是本发明适用于林场火险监测的系统拓扑结构示意图。

图2是本发明适用于林场火险监测的系统数据通讯示意图。

图3是本发明本发明适用于林场火险监测的系统结构示意图。

图4是本发明的数据处理流程示意图。

图5是本发明适用于林场火险监测的系统数据交互图。

图6是本发明适用于林场火险监测的系统控制方法流程图。

图7是本发明图像的传输和处理流程图。

图8是本发明的深度学习图像处理算法原理流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1-图3所示，本实施例一种适用于林场火险监测的系统，包括无人机控制系统、数据处理与通信系统以及远程上位机管理系统；所述无人机控制系统、数据处理与通信系统之间能够实现数据交互，无人机控制系统将采集的图像和飞行参数实时回传至远程上位机管理系统，远程上位机管理系统实现对无人机飞行的控制；所述无人机具备飞行功能，主要负责系统的起飞，巡航，返航，设备携带等功能。网络传输功能承担该无人机控制系统和数据处理与通信系统之间的通讯功能，它将摄像头拍到的画面和无人机飞行状态时的信息传输至远程上位机管理系统，上位机软件再将传来的信息和自身的控制指令一起传输给无人机，例如返航，更改航向等。

所述无人机控制系统，用于对无人机的飞行控制以及飞行信息进行反馈；所述无人机控制系统可以实现远程遥控功能，所述远程遥控功能是指无人机在起飞降落时会应对各种不同的地形环境。要实现多种情况下无人机的自主起飞降落还是有很大困难的，由于起飞降落过程中地面可能不平稳或者地面有障碍物，容易造成无人机产生碰撞和损坏，为此，无人机操控人员可以通过手动遥控操作实现飞机的起飞和降落。通常适用于技术人员操作无人机进行巡查工作，方便森林火灾排除工作的进行。

所述数据处理与通信系统，用于对数据进行传输并对图像进行处理，能对获得的数据进行管理，包括故障信息、火险灾情异常信息、无人机飞行状态信息、用户登录信息；数据处理流程图如图4所示。

所述数据处理与通信系统的通信功能在于实现各组成模块的数据发送和接收，主要包括无人机与远程监控系统之间的数据交互，无人机将采集的图像和飞行参数实时回传至地面终端监测系统，地面终端监测系统能够实现对无人机飞行的控制。整个系统数据交互如图5所示。

所述远程上位机管理系统，用于图像的传输和处理，并完成火险灾情的预警。所述远程上位机监控管理系统一方面具备图像的传输和处理功能，另一方面具备火险灾情预警功能。图像的传输和处理功能主要是通过无人机搭载的云台相机采集林区上空影像，利用图像传输系统以视频的形式实时回传到地面终端林火监测系统的PC机上，再通过林火监测算法判别森林火灾。视频的采集及传输功能主要依靠云台相机、图像采集卡以及图传系统。图像传输和处理的详细过程为无人机搭载摄像机拍摄影像利用图传系统传到无人机遥控器的移动端上，通过HDMI传送到图像采集卡，再经由USB接口传到地面终端监测系统的PC机上，图像的传输和处理流程如图7所示。

在其中一个实施例中，该适用于林场火险监测的系统是采用了多旋翼无人机在林场上空进行拍摄，能够完成基本的起飞，降落，悬停，前进，后退等功能，并且能携带图像拍摄设备以及网络传输设备，通过GPS定位系统，能实现无人机的自主飞行并及时拍摄森林上空的视频和图像数据，通过深度学习人工智能算法对森林火灾进行实时监测。

请再次参见图1，在其中一个实施例中，所述适用于林场火险监测的多旋翼无人机通过无线基站与上位机监测系统通信；多旋翼无人机搭载有摄像头(可以配置云台)；所述多旋翼无人机包括MCU处理器、陀螺仪、加速度计、地磁针、GPS和气压计，所述陀螺仪、加速度计、地磁针、GPS和气压计均与MCU处理器连接，所述陀螺仪用于测量角速度，所述加速度计用于测量重力分量，所述地磁针用于测量地磁熵角，所述GPS用于测量地理坐标，所述气压计用于测量大气压强；所述陀螺仪、加速度计、地磁针、GPS和气压计将测量的相关参量传输到多旋翼无人机的MCU处理器进行处理；处理完成之后，通过网络传输模块传输到无线基站，再由无线基站传输至上位机监测系统；所述网络传输模块包括ncu芯片和无线网关，所述摄像头将采集到的图像传输到ncu芯片；上位机接收到无线基站的信号之后，对图像进行处理，并对飞行状态进行监测。

在其中一个实施例中，所述无人机控制系统包括路线规划模块、GPS定位模块和飞控模块；

所述路线规划模块，用于根据设定的指令规划无人机的飞行路线；在该路线规划模块中，无人机还可以实现自主航行，所述自主航行功能是指无人机能在指定的路线进行飞行巡航等工作；通过在无人机上加装GPS装置，当遇到特殊情况时候能获取当前位置，制定返航路线，实现返航目的。

所述GPS定位模块，用于获取无人机飞行的当前位置；

所述飞控模块，用于对无人机的起飞、降落以及飞行过程进行控制。

在其中一个实施例中，所述数据处理与通信系统，包括图像数据采集模块和图像数据传输模块；

所述图像数据采集模块，通过搭载在无人机上的专用云台拍摄森林的图像，对森林火险情况进行监测；利用该图像数据采集模块可以实现图像拍摄功能，所述图像拍摄功能主要是通过摄像头对森林上空环境进行拍摄，由于无人机在森林上空飞行时候电机转速过快，会导致机身抖动，从而造成画面不清晰，可以采用在无人机上安装一个专用云台，进而减少无人机机身抖动带来不必要的干扰。

所述图像数据传输模块，用于实现远距离把图像数据传输回远程上位机管理系统，并将远程上位机管理系统的控制指令发送到无人机。所述图像数据传输模块可以实现网络传输功能，所述网络传输功能可以实现在远处把图像数据传输回终端，并将终端的控制指令发送到无人机，实现这一功能的前提需要确保网络设备的通信功能保持顺畅以及图像等信息能实时传送到终端设备上进行数据处理。

在其中一个实施例中，所述远程上位机管理系统包括图像处理与分析模块和火险灾情实时预警模块；

所述图像处理与分析模块，用于接收到无人机传输的图像后，通过图像识别算法对图像进行数据识别及处理，快速的判断出是否发生火灾并发出预警；所述图像处理与分析模块可以实现图像识别功能，所述图像识别功能是终端接收到传输回的图像后，通过深度学习人工智能算法进行图像处理，，以此来帮助监测人员更早更快的发现火灾险情，并提前制定好解决方案。

所述火险灾情实时预警模块，用于当发生火险灾情时，对火险情况进行预警。

在其中一个实施例中，无人机通过气压计测定海拔，在飞行过程中维持飞行高度或者根据设定的航线改变飞行高度来避开树木和山头，实现自主定高。

所述自主定高功能是指当无人机在自主巡航时候出现不必要的碰撞或者意外时，无人机能够保持平稳的飞行，在飞行中如有遇到不稳定气流时，无人机可以预测气流方向，避免无人机被气流损坏造成遗失。

在其中一个实施例中，所述图像传输由网络模块传输信息，信息主要由两部分组成，一部分是摄像头采集到的图像信息，另一部分是无人机在空中飞行的状态，能及时发现无人机工作的异常情况，实现及时返航。其中飞行状态信息只是一些字符信息，直接传输就可以，网络传输过程中采用的是UDP协议，能避免传输信息的遗漏，保证当前图像实时传输到终端服务器，确保系统的实时性。

在其中一个实施例中，请参见图6，本实施例适用于林场火险监测的系统的控制方法，包括下述步骤：

S1、通过无人机摄像头采集森林上空的图像信息，并通过GPS定位系统获取无人机位置信息，生成定位轨迹；

S2、图像传输装置将采集到的图像信息传输到远程上位机当中；

S3、远程上位机对图像信息进行深度学习人工智能识别算法分析处理，识别出火险灾情，并根据定位信息确定灾情位置。

更进一步的，请参见图7，远程上位机对图像信息进行深度学习人工智能识别算法分析处理的具体步骤为：

前期通过采集林场上空的烟雾和火险图片数据，采用深度学习图像处理算法，对目标图片进行检测训练，对目标图像进行归一化处理，构建无人机林场火险监测模型，在林场上空部署火险灾情监测无人机，通过无人机摄像头对林场上空的图像数据进行采集，将数据及时传送到远程监控中心当中，远程监控中心收集到无人机的数据后，将图像数据传输到林场火险监测模型当中，判断目标监测模型输出是否大于设定的阈值，如果是，则触发报警器进行报警，并通知林场工作人员进行下一步灭火巡检工作；如果不是，则认为是普通的野外高温，不具有火灾的危险，不报警，则将图像数据保存下来，以备后期使用。

更进一步的，所述的深度学习图像处理算法原理为：

采用图像预处理技术，削弱或消减无用的图像信息，并使用图像增强技术，提高图像的清晰度。使用形态学对处理技术，从图像中提取对表达式和渲染区域形状有意义的图像分量，对疑似林火区域进行分割，提取疑似林火区域。根据火焰的颜色信息提取疑似林火区域，本图像处理算法从植被颜色信息入手，通过对森林植被的颜色进行研究，引出火焰颜色的检测方法，增强火焰的颜色信息，削弱了植被的颜色信息，在实验过程中，首先采取了FDI指数进行阈值分割提取火焰区域，发现部分背景像素点也容易被分割出来，其分割效果较差，但对光照则有良好的抑制效果。最后提出了一种基于FDI指数与R通道相结合的林火分割方法，可准确、完整的分割林火区域。

经过图像预处理操作和图像分割后得到的林火区域，也仍可能是与火焰颜色相近的物体，如穿着红色衣服的护林员、变黄的树叶、太阳、灯光等，为此，选取了圆形度、面积变化率、重心高度比、LBP纹理等四个特征作为林火识别的依据。最后，为提高林火灾情监测的准确性，利用机器学习的分类识别方法，选取径向基核函数作为SVM分类器的核函数，对样本的不同特征进行综合的分析，避免了直接依据特征阈值进行林火分类识别而导致的误报率较高的问题。具体流程图见图8。

本发明能通过图像处理的方法来判断森林火灾的温度异常情况，通过无人机所搭载的摄像头将森林火灾隐患画面记录下来，并将拍摄到的图像通过通信网络传输到远程的监控中心，远程监控中心通过深度学习算法进行计算处理，以此区分森林火灾是由火焰温度引起还是野外高温引起，以此快速地识别出图像所在地区有没有火灾隐患的发生。这不仅降低了森林火灾带来的巨大的损失，还保证了国家的生态环境安全。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种适用于林场火险监测的系统，其特征在于，包括无人机控制系统、数据处理与通信系统以及远程上位机管理系统；所述无人机控制系统、数据处理与通信系统之间能够进行数据交互，无人机控制系统将采集的图像和飞行参数实时回传至远程上位机管理系统，远程上位机管理系统实现对无人机飞行的控制；

所述无人机控制系统，用于对无人机的飞行控制以及飞行信息的反馈；

所述数据处理与通信系统，用于对数据进行传输处理并对图像进行处理，能对获得的数据进行管理，包括故障信息、火险灾情异常信息、无人机飞行状态信息、用户登录信息；

所述远程上位机管理系统，用于图像的传输和处理，并完成火险灾情的预警。

2.根据权利要求1所述适用于林场火险监测的系统，其特征在于，所述无人机控制系统包括路线规划模块、GPS定位模块和飞控模块；

所述路线规划模块，用于根据设定的指令规划无人机的飞行路线；

所述GPS定位模块，用于获取无人机飞行的当前位置；

所述飞控模块，用于对无人机的起飞、降落以及飞行过程进行控制。

3.根据权利要求1所述适用于林场火险监测的系统，其特征在于，所述数据处理与通信系统，包括图像数据采集模块和图像数据传输模块；

所述图像数据采集模块，通过搭载在无人机上的专用云台拍摄森林的图像，对森林火险情况进行监测；

所述图像数据传输模块，用于实现远距离把图像数据传输回远程上位机管理系统，并将远程上位机管理系统的控制指令发送到无人机。

4.根据权利要求1所述适用于林场火险监测的系统，其特征在于，所述远程上位机管理系统包括图像处理与分析模块和火险灾情实时预警模块；

所述图像处理与分析模块，用于接收到无人机传输的图像后，通过图像识别算法对图像进行的数据识别及处理，快速的判断出是否发生火灾并进行预警；

所述火险灾情实时预警模块，用于当发生火险灾情时，对火险灾情进行预警。

5.根据权利要求1所述适用于林场火险监测的系统，其特征在于，所述无人机包括MCU处理器、陀螺仪、加速度计、地磁针、GPS和气压计，所述陀螺仪、加速度计、地磁针、GPS和气压计均与MCU处理器连接。

6.根据权利要求1所述适用于林场火险监测的系统，其特征在于，无人机在飞行过程中通过气压计测定海拔，维持飞行高度或者根据设定的航线改变飞行高度来避开树木或山头，实现自主定高。

7.根据权利要求1所述适用于林场火险监测的系统，其特征在于，所述无人机与远程上位机管理系统的网络传输采用的是UDP协议。

8.根据权利要求1-7中任一项所述适用于林场火险监测的系统的控制方法，其特征在于，包括下述步骤：

通过无人机摄像头采集森林上空的图像信息，并通过GPS定位系统获取无人机位置信息，生成定位轨迹；

图像传输装置将采集到的图像信息传输到远程上位机当中；

远程上位机对图像信息进行深度学习人工智能识别算法处理，识别出火险灾情，并根据定位信息确定灾情位置。

9.根据权利要求8所述适用于林场火险监测的系统的控制方法，其特征在于，远程上位机对图像信息进行深度学习人工智能识别算法分析处理的具体步骤为：

前期通过采集的林场上空森林火险灾情发生时候的烟雾和火险图片数据，采用深度学习图像处理算法，对目标图片进行检测训练，对目标图像进行归一化处理，构建无人机林场火险监测模型；在林场上空部署火险灾情监控无人机，通过无人机摄像头对林场上空的图像数据进行采集，将数据及时传送到远程监控中心当中，远程监控中心收集到无人机的图像数据后，将图像数据传输到林场火险监测模型当中，判断目标监测模型输出是否大于设定的阈值，如果是，则触发报警器进行报警，并通知林场工作人员进行下一步灭火巡检工作；如果不是，则认为是普通的野外高温，不具有火灾的危险，不报警，则将图像数据保存下来，以备后期使用。

10.根据权利要求9所述适用于林场火险监测的系统的控制方法，其特征在于，所述图像处理算法具体为：

采用图像预处理技术，削弱或消减无用的图像信息，并使用图像增强技术，提高图像的清晰度；使用形态学对处理技术，从图像中提取对表达式和渲染区域形状有意义的图像分量，对疑似林火区域进行分割，提取疑似林火区域；根据火焰的颜色信息提取疑似林火区域，并从植被颜色信息入手，通过对森林植被的颜色进行研究，引出火焰颜色的检测方法，增强火焰的颜色信息，削弱了植被的颜色信息，并基于FDI指数与R通道相结合的林火分割方法，对林火区域进行分割；

经过图像预处理操作和图像分割后得到的林火区域，选取圆形度、面积变化率、重心高度比、LBP纹理四个特征作为林火识别的依据；

最后，为提高林火灾情监测的准确性，利用机器学习的分类识别方法，选取径向基核函数作为SVM分类器的核函数，对样本的不同特征进行综合的分析，避免了直接依据特征阈值进行林火分类识别而导致的误报率较高的问题。

Images