CN117197978A - 一种基于深度学习的林火监测预警系统 - Google Patents
一种基于深度学习的林火监测预警系统 Download PDFInfo
- Publication number
- CN117197978A CN117197978A CN202310435290.1A CN202310435290A CN117197978A CN 117197978 A CN117197978 A CN 117197978A CN 202310435290 A CN202310435290 A CN 202310435290A CN 117197978 A CN117197978 A CN 117197978A
- Authority
- CN
- China
- Prior art keywords
- module
- forest fire
- data
- early warning
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 239000000779 smoke Substances 0.000 claims abstract description 19
- 240000007651 Rubus glaucus Species 0.000 claims abstract description 12
- 235000011034 Rubus glaucus Nutrition 0.000 claims abstract description 12
- 235000009122 Rubus idaeus Nutrition 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 230000010354 integration Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于深度学习的林火监测预警系统。本发明公开了一种通过深度学习的图像识别技术来实现目标地点范围内的林火及烟雾识别，在火灾发生后能够第一时间将信息传达至防火指挥部，以便进行快速的应急处置。其同时具有森林火灾发生的预警提示功能，整套系统在北斗卫星导航系统的基础上，在系统前端设置高清摄像头，利用树莓派将BMP180气压传感器、DHT22温湿度传感器、RS‑FXJT‑N01风力风向传感器、MH‑RD雨水收集传感器等进行数据采集，用户可在管理系统上将前端设备采集的实时画面及各种气象数据，用于森林火灾的监测和预警。该系统实现了森林火灾监测预警的集成化、智能化和轻量化，具有应用地域广、受地形环境影响小以及识别准确度高等特点，能够大大提高林火监测的可靠度及预警时效性。
Description
技术领域
本发明具体涉及一种森林火灾监测预警系统，更具体地说是利用深度学习的图像识别方法对森林火灾进行精准判识的监测预警系统。
背景技术
森林是一种重要自然资源，与我们的关系极为密切，它不仅能提供各种木材和经济植物，同时也是许多动物食物的来源。研究一套实用的林火监控系统可按照“打早、打小、打了”的森林火灾扑救原则，实现森林火灾“预防为主、积极消灭”的防灭火方针，使火灾消除在萌芽状态，对林火预测及发生地点进行精确掌握，有效减少森林资源的损失。
现有森林火灾监测系统,多是将感温光纤置在目标地点内，实时监测温度的变化情况，并实时将反应温度变化以电信号的形式传递给数据分析处理系统。但当森林待测面积过大时，消耗资源多且识别准确率低，而且现有监测系统获取信息单一，只有温度指标信息，无法实现预警的功能。
发明内容
本发明的目的在于提供基于深度学习图像识别技术的森林火灾监测预警系统及方法，以解决上述背景技术中提出的问题。本发明能够将火灾位置的坐标地点、温湿度、风力、风向等信息发送到上位机控制中心来实现自动生成森林火险气象等级，进行预警提示。根据摄像头获取的图像信息，在火灾发生的第一时间通过该森林火灾监测系统判断其规模及危险程度，及时报警至消防救援部门。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于深度学习的林火及烟雾识别监控系统，由为上位机和下位机两部分组成。下位机与上位机之间采用WIFI/5G进行无线通信，将数据传送给上位机交互系统。
所述下位机硬件部分包括，树莓派3(B+型)、DHT22数字温湿度传感器模块、BMP180传感器模块、RS-FSJT-N01风速传感器模块、RS-FXJT-N01-360风向传感器模块、RealSenseD435i深度摄像机模块、ATK-S1216F8-BD GPS/北斗模块、WIFI/5G无线网络模块、电池模块。利用树莓派3(B+型)来连接各个传感器，构成前端数据采集的完整设备。
所述下位机软件部分包括，Yolov5林火及烟雾识别模块和各传感器数据采集模块。
所述上位机软件部分包括，管理与控制、实时数据图像与曲线显示、数据与图像存储功能模块、各监测点状态显示及自动报警模块、自动报警及森林火险气象等级预报。
所述管理与控制功能模块，主要进行通信与数据库管理，实现上位机发送指令自动控制摄像头云台的转动。
所述实时数据图像与曲线显示功能模块，在可视化GUI界面中，利用相关GUI开发软件(本文使用的PyQT软件)进行可视化界面的研究与设计工作，并在开发成功的界面中进行数据可视化展示，方便用户对其进行火险预报和数据比对。
所述历史数据查询功能模块，用户在历史数据查询界面可实现对传感器历史数据的按时间、传感器类型、数据显示类型等不同维度的组合查询，方面使用者自由组合，更加便捷查询历史数据。
所述各监测点状态显示及自动报警功能模块，基于北斗模块提供的位置信息，将下位机各个模块安放至各个目标监测点，各监测点显示经度及纬度信息。当各监测点数据处于正常阈值范围内，且图像识别模块未检测到林火和烟雾时，状态显示为绿。如各监测点分辨出目标地点发生森林火灾的情况，状态显示为红灯闪烁并触发声光报警器，系统会在第一时间自动报警至相关部门，并显示实时森林火险等级，供消防救援人员参考。调用百度地图提供的API接口可实现。
烟雾识别YOLOv5s代码介绍：YOLOv5系列有四个不同的模块，YOLOv5针对不同大小(n,s,m,l,x)的网络整体架构是一样的，但在每个子模块中采用不同的深度和宽度，分别应对yaml文件中的depth_multiple和width_multiple参数。深度与宽度不同，对目标检测精度也不同，但森林火灾中烟雾和火焰一般较大，因此对深度和宽度要求较小，选用深度和宽度最小的YOLOv5s网络可以满足我们对较大烟雾和火焰的检测识别。YOLOV5为开源代码，以下为YOLOv5s.yaml文件内容：
nc:80#number of classes数据集中的类别数
depth_multiple:0.33#model depth multiple模型层数因子(用来调整网络的深度)
width_multiple:0.50#layer channel multiple模型通道数因子(用来调整网络的宽度)
它决定的是整个模型中的深度(层数)和宽度(通道数)。
anchors:#表示作用于当前特征图的Anchor大小为xxx
#9个anchor，其中P表示特征图的层级，P3/8该层特征图缩放为1/8,是第3层特征
-[10,13,16,30,33,23]#P3/8，表示[10,13],[16,30],[33,23]3个anchor
-[30,61,62,45,59,119]#P4/16
-[116,90,156,198,373,326]#P5/32
#YOLOv5s v6.0 backbone
backbone:
#[from,number,module,args]
[[-1,1,Conv,[64,6,2,2]],#0-P1/2
[-1,1,Conv,[128,3,2]],#1-P2/4
[-1,3,C3,[128]],
[-1,1,Conv,[256,3,2]],#3-P3/8
[-1,6,C3,[256]],
[-1,1,Conv,[512,3,2]],#5-P4/16
[-1,9,C3,[512]],
[-1,1,Conv,[1024,3,2]],#7-P5/32
[-1,3,C3,[1024]],
[-1,1,SPPF,[1024,5]],#9]
#YOLOv5s v6.0 head
head:
[[-1,1,Conv,[512,1,1]],
[-1,1,nn.Upsample,[None,2,'nearest']],
[[-1,6],1,Concat,[1]],#cat backbone P4
[-1,3,C3,[512,False]],#13
[-1,1,Conv,[256,1,1]],
[-1,1,nn.Upsample,[None,2,'nearest']],
[[-1,4],1,Concat,[1]],#cat backbone P3
[-1,3,C3,[256,False]],#17(P3/8-small)
[-1,1,Conv,[256,3,2]],
[[-1,14],1,Concat,[1]],#cat head P4
[-1,3,C3,[512,False]],#20(P4/16-medium)
[-1,1,Conv,[512,3,2]],
[[-1,10],1,Concat,[1]],#cat head P5
[-1,3,C3,[1024,False]],#23(P5/32-large)
[[17,20,23],1,Detect,[nc,anchors]],#Detect(P3,P4,P5)]
anchors解读：
yolov5初始化了9个anchors，分别在三个特征图(feature map)中使用，每个feature map的每个grid cell都有三个anchor进行预测。分配规则：尺度越大的featuremap越靠前，相对原图的下采样率越小，感受野越小，所以相对可以预测一些尺度比较小的物体(小目标)，分配到的anchors越小。
尺度越小的feature map越靠后，相对原图的下采样率越大，感受野越大，所以可以预测一些尺度比较大的物体(大目标)，所以分配到的anchors越大。
即在小特征图(feature map)上检测大目标，中等大小的特征图上检测中等目标，在大特征图上检测小目标。
backbone&head解读：
[from,number,module,args]参数
四个参数的意义分别是：
第一个参数from：从哪一层获得输入，-1表示从上一层获得，[-1,6]表示从上层和第6层两层获得。
第二个参数number：表示有几个相同的模块，如果为9则表示有9个相同的模块。
第三个参数module：模块的名称，这些模块写在common.py中。
第四个参数args：类的初始化参数，用于解析作为moudle的传入参数。
通过一定时长的训练得到特异性识别林火及烟雾的模型。
附图说明
图1为一种基于深度学习的林火及烟雾识别监控系统流程图；
图2为传感器数据采集模块结构图；
图3为下位机软件设计结构图；
图4为模型训练流程图；
图中：1为数据采集，2为下位机，3为定位系统，4为上位机，5为消防部门，6为树莓派，7为温湿度传感器模块、8为风向传感器模块、9为风速传感器模块、10为气压传感器模块、11为深度摄像头模块、12为北斗卫星定位模块、13为通信模块、14为储存模块、15为Yolov5训练模型、16为数据集的制作、17为模型训练、18为数据集预处理、19为图片标注、20为数据集的处理。
图5为林火判识流程图；
图6位火灾报警流程图；
图7为真实火场测试效果图；
具体实施方式
结合附图对发明进行进一步介绍，但应该清楚，本发明不限于具体实施方式的范围，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，一切利用本发明构思的发明创造均在保护之列。
本发明实施例提供一种基于深度学习的林火监测预警系统。请参阅图1，是本发明实施例的林火及烟雾识别监控系统的流程示意图，由下位机2和上位机4两部分组成，所述数据采集1包括摄像头模块、气压传感器、温湿度传感器等传感器布置在待监测的森林中，实时采集视频流、气压、温湿度等相关数据在下位机2进行保存，并通过图4步骤流程对所获取的视频流进行林火及烟雾识别，同时将采集的数据传送至上位机4交互页面上进行保存和实时显示。
请参阅图2，前端数据采集主要通过树莓派搭建的小型气象站平台来完成，其中包括气温、气压、海拔、湿度、风速、风向等数据，在完成以上数据的采集后，将数据保存至数据库，方便后期分析，通过WIFI/5G无线传输，完成上位机与小型气象站本地数据库的连接。
请参阅图3，下位机硬件部分包含树莓派6、温湿度传感器模块7、风向传感器模块8、风速传感器模块9、气压传感器模块10、深度摄像头模块11、北斗卫星定位模块12、通信模块13、储存模块14、Yolov5训练模型15，传感器采集数据储存在树莓派连接的储存模块中，深度摄像头模块采集的视频流由树莓派上搭载的Yolov5训练完成的网络模型中识别林火及烟雾，北斗卫星模块提供监测地点坐标，数据通过树莓派搭载的通信模块传送至上位机。
请参阅图4，树莓派上搭载的Yolov5训练完成的网络模型中识别林火及烟雾的步骤为：
Step1：前端深度摄像头开始获取视频流，并将获取的视频在下位机进行存储；
Step2：对Step1获取的视频资料进行抽帧处理；
Step3：通过Yolov5提前训练的林火及烟雾识别模型，对Step2所获得的视频帧进行监测识别；
Step4：判断是否发生林火。若无，则回到Step2；若有，则进行下一个步骤；
Step5：识别发生林火并将信息上传至上位机。
请参阅图5，为了得到所述的Yolov5训练模型15，分别进行了数据集的制作16和模型训练17两部分工作。
对数据集进行预处理18，由于没有公开的林火检测的数据集，本发明所采用的数据集来源于互联网和手机拍摄，有夜晚和白天等多种情况，拍摄场景多样化。为了增加数据集的泛化性，对搜集样本进行旋转变换、对称变换、对比度变化、噪声变换等，既增加了数据样本有利于深层卷积的学习，又增加了模型的鲁棒性，减少发生过拟合的可能，最终获得634张不同尺寸林火及烟雾的数据样本图。
对数据集进行图片标注19，本发明设计火、烟2个类别的目标检测，采用开源软件Labelimg，通过手工的方式在每个样本图像上标记待检测目标的位置和类别如图2所示。Labelimg以xml文件的形式记录下待检测目标标记外围框的左上角坐标(x,y)、右下角坐标(x,y)及所属类别。
对数据集进行数据集的处理20，数据集的处理主要分为两步。
第一步需要将对应图标的xml文件转换成满足YOLO v5格式要求的txt文件，其中txt文件中的数据格式为obj-class,x_center、y_center、width、height，分别对应类名编号、标注中心框相对图片的宽度、高度以及标注框相对于图片的宽和高。
第二步是将经预处理后的634张图片组成的数据集按照如下公式所示划分为训练集、测试集和验证集，其中N train为训练集个数，Nvalid为验证集个数，Ntest为测试集个数：
将训练集、测试集、验证集转换成YOLO v5的格式所要求的txt文件存储于train.txt、test.txt和valid.txt中。至此完成数据集收集、预处理和数据集分类的前期准备工作。
由官网给出的四种网络在COCO数据集的测试表现上看，Yolov5s网络最小，速度最快，但是其所对应的精度也最低，Yolov5x的精度最高，但其速度的消耗也是最高的，本发明选取Yolov5l网络结构进行模型训练17，因其在处理速度和精度上处于中间水平，是一个平和了速度快且模型准确的模型。设置每次送入网格学习的图片张数为10张，训练终点为300步，使用train.py进行模型训练17，在训练过程中，经过卷积、池化、反向传播等步骤，最终生成权重文件best.pt。训练共计时长10.545小时。
请参阅图6，基于北斗卫星定位模块12提供的位置信息，将下位机各个模块安放至各个目标监测点，各监测点显示经度及纬度信息。
当各监测点数据处于正常阈值范围内，且图像识别模块未检测到林火和烟雾时，状态显示为绿。如各监测点分辨出目标地点发生森林火灾的情况，状态显示为红灯闪烁并触发声光报警器，系统会在第一时间自动报警至相关部门。调用百度地图提供的API接口可实现。
Claims (4)
1.一种基于深度学习的林火监测预警系统，其特征是，系统包括上位机和下位机两部分组成，下位机与上位机之间采用WIFI/5G进行无线通信。
2.按照权利要求项1所述的设置，其特征是，下位机以树莓派为核心，使用树莓派来连接各个传感器，构成前端数据采集的完整设备，包括北斗模块、摄像头模块、气压传感器、温湿度传感器、风速变送器、风向变送器等传感器。
3.按照权利要求项1所述，其特征是，下位机实时监控目标地点范围内的林火及烟雾，采用基于Yolov5深度学习算法实时进行林火及烟雾检测，采用WIFI/5G进行无线通信，将数据传送给上位机监控软件。
4.根据权利要求1所述，其特征在于，上位机软件具有以下功能模块：
(1)管理与控制功能模块：管理模块主要进行通信与数据库管理，控制模块实现上位机发送指令自动控制摄像头云台的转动；
(2)实时数据图像与曲线显示功能模块：基于云平台配套软件和可视化GUI界面，实时显示监控目标地点范围内的摄像头采集的图像信息、位置信息、温湿度信息、风速和风向信息并进行曲线绘制；
(3)数据与图像存储功能模块：将各传感器数据存入数据库中，用于日后的查询和分析；
(4)森林火灾预警模块：将各传感器采集到的数据信息，如气温、湿度、风速等经标准化运算得到实时森林火险气象等级；
(5)历史数据查询功能模块：可实现对传感器历史数据的按时间、传感器类型等不同维度的组合查询；
(6)各监测点状态显示及自动报警模块：基于北斗模块提供的位置信息，将下位机各个模块安放至各个目标监测点，各监测点显示经度及纬度信息。当各监测点数据处于正常阈值范围内，且图像识别模块未检测到林火和烟雾时，状态显示为绿。如各监测点分辨出目标地点发生森林火灾的情况，状态显示为红灯闪烁并触发声光报警器，系统会在第一时间自动报警至相关部门。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310435290.1A CN117197978A (zh) | 2023-04-21 | 2023-04-21 | 一种基于深度学习的林火监测预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310435290.1A CN117197978A (zh) | 2023-04-21 | 2023-04-21 | 一种基于深度学习的林火监测预警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197978A true CN117197978A (zh) | 2023-12-08 |
Family
ID=89002294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310435290.1A Pending CN117197978A (zh) | 2023-04-21 | 2023-04-21 | 一种基于深度学习的林火监测预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197978A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117544873A (zh) * | 2023-12-19 | 2024-02-09 | 湖南林科达信息科技有限公司 | 一种基于北斗的林业气象数据采集终端及系统 |
-
2023
- 2023-04-21 CN CN202310435290.1A patent/CN117197978A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117544873A (zh) * | 2023-12-19 | 2024-02-09 | 湖南林科达信息科技有限公司 | 一种基于北斗的林业气象数据采集终端及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284739B (zh) | 一种基于深度学习的输电线路防外力破坏预警方法及系统 | |
| CN202434011U (zh) | 森林火灾自动监测与报警系统 | |
| CN115348247A (zh) | 基于天空地一体化技术的森林火灾检测预警及决策系统 | |
| CN109117749A (zh) | 一种基于无人机巡检影像的异常目标监管方法及系统 | |
| CN111915128B (zh) | 一种对地震诱发的次生滑坡灾后评估与救援辅助系统 | |
| CN106373318A (zh) | 基于LoRa技术的火灾防控系统 | |
| CN110602438B (zh) | 一种基于路网的视频监控布局优化方法及装置 | |
| CN111458721B (zh) | 一种暴露垃圾的识别定位方法、装置及系统 | |
| CN101794432A (zh) | 灾情信息采集与支持方法及系统 | |
| KR20160072432A (ko) | 해양환경 관측자료 제공시스템 | |
| CN106297183A (zh) | 一种安全监控方法及设备 | |
| CN209545749U (zh) | 一种陆海空一体化生态环境监测系统 | |
| CN112836657B (zh) | 一种基于轻量化YOLOv3的行人检测方法及系统 | |
| CN111257507A (zh) | 一种基于无人机的气体浓度检测及事故预警系统 | |
| CN117197978A (zh) | 一种基于深度学习的林火监测预警系统 | |
| CN106971511A (zh) | 一种基于飞行器的大气污染物监测与预警系统及方法 | |
| CN102125742A (zh) | 一种数字化消防火场救援系统 | |
| CN111275930A (zh) | 一种防溺水穿戴式设备控制系统及其方法 | |
| CN108256447A (zh) | 一种基于深度神经网络的无人机航拍视频分析方法 | |
| CN108495095B (zh) | 一种基于无人机的雾霾扩散监控系统 | |
| CN109977840A (zh) | 一种基于深度学习的机场场面监视方法 | |
| CN113053063A (zh) | 基于移动端的灾害在线处置流程实现方法 | |
| CN109035695A (zh) | 一种基于bds和超宽带双模定位技术的居家老人应急监测系统 | |
| CN203054567U (zh) | 一种雷电监测预警系统 | |
| CN111103008A (zh) | 一种基于传感器的海洋安全检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |