CN115131937A - 一种基于传感器与深度学习的森林火情预警方法 - Google Patents
一种基于传感器与深度学习的森林火情预警方法 Download PDFInfo
- Publication number
- CN115131937A CN115131937A CN202210735051.3A CN202210735051A CN115131937A CN 115131937 A CN115131937 A CN 115131937A CN 202210735051 A CN202210735051 A CN 202210735051A CN 115131937 A CN115131937 A CN 115131937A
- Authority
- CN
- China
- Prior art keywords
- fire
- sub
- gray
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 239000000779 smoke Substances 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 12
- 210000001503 joint Anatomy 0.000 claims description 12
- 238000001816 cooling Methods 0.000 claims description 9
- 238000011897 real-time detection Methods 0.000 claims description 9
- 239000000428 dust Substances 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 8
- 208000032364 Undersensing Diseases 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 9
- 230000006378 damage Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001012 protector Effects 0.000 description 2
- 235000009267 Patrinia scabiosaefolia Nutrition 0.000 description 1
- 241000868211 Patrinia scabiosifolia Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C31/00—Delivery of fire-extinguishing material
- A62C31/02—Nozzles specially adapted for fire-extinguishing
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C31/00—Delivery of fire-extinguishing material
- A62C31/28—Accessories for delivery devices, e.g. supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
- G08B17/117—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means by using a detection device for specific gases, e.g. combustion products, produced by the fire
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明涉及一种基于传感器与深度学习的森林火情预警方法，针对目标森林区域所划分的各个子区域，应用传感检测分析方式，获得各子区域分别对应的火情风险等级，再结合各火情风险等级的预设权重，确定各子区域分别在巡视周期时长T内被无人机巡视次数，进而据此由无人机对各子区域进行视频巡视，实现传感检测下各子区域对应火情风险等级的检测，以及视频监测下对应已发生火情标签的疑似烟雾区域的火情识别；整个方案设计将传感检测与深度学习相结合，从多重角度进行分析，能够有效提高火情检测效率与准确率。
Description
技术领域
本发明涉及一种基于传感器与深度学习的森林火情预警方法，属于森林智能防火检测技术领域。
背景技术
一直以来，森林火灾严重威胁着生态系统的安全，对森林结构也造成了巨大的破坏。依靠传感器，可以做到对森林火灾进行预测，但是无法做到及时监测火灾；依靠深度学习,可以做到对森林火灾进行实时监测，但是无法做到提前预测火灾，并且传感检测容易受到光照、雾霾等因素的影响导致误判，而且当遭遇极端天气时，摄像仪甚至无法拍摄出清晰的视频。因此，现有技术关于森林火情的检测，还有待进一步设计，提高实际火情检测准确性。
发明内容
本发明所要解决的技术问题是提供一种基于传感器与深度学习的森林火情预警方法，采用全新设计逻辑，能够有效提高火情检测效率与准确率。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于传感器与深度学习的森林火情预警方法，基于目标森林区域所划分的各个子区域，以及各子区域内分别所设覆盖区域的传感器组，传感器组包括红外成像仪、空气湿度传感器、雨量检测传感器、气体烟雾传感器、气体成分分析仪、风速仪、温度传感器，按如下步骤A至步骤C，实现无人机在巡视周期时长T内对各子区域的视频监测；
步骤A.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级的火情风险等级划分标准，分别针对各个子区域，执行如下步骤A1至步骤A4，获得各子区域分别对应火情风险等级划分标准下的火情风险等级，然后进入步骤B；
步骤A1.基于预设气象因素下所预设定义划分的非极端天气、以及极端天气，若当前时刻子区域的天气为非极端天气，则进入步骤A2；若当前时刻子区域的天气为极端天气，则进入步骤A3；
步骤A2.获得子区域中红外成像仪、温度传感器的实时检测结果，并应用预训练好以子区域中红外成像仪、温度传感器检测结果为输入，子区域所对应火情风险等级为输出的第一火情等级分类模型，获得子区域所对应的火情风险等级；
步骤A3.获得子区域中气体烟雾传感器、气体成分分析仪的实时检测结果，并应用预训练好以子区域中气体烟雾传感器、气体成分分析仪检测结果为输入，子区域所对应火情风险等级为输出的第二火情等级分类模型，获得子区域所对应的火情风险等级，然后进入步骤A4；
步骤A4.判断子区域所对应火情风险等级是否为不易发生火情风险等级，是则获得子区域中空气湿度传感器、雨量检测传感器的实时检测结果，并应用预训练好以子区域中空气湿度传感器、雨量检测传感器检测结果为输入，子区域所对应火情风险等级为输出的第三火情等级分类模型，获得并更新子区域所对应的火情风险等级；否则不做进一步处理；
步骤B.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级三个等级依次所对应由小至大的预设权重，分别针对各个子区域，按如下公式：
获得无人机在巡视周期时长T内分别对各子区域的巡视时长Ai，其中，1≤i≤I，1≤i'≤I，I表示目标森林区域中子区域的数量，ai表示目标森林区域中第i个子区域所对应火情风险等级的权重，ai'表示目标森林区域中第i'个子区域所对应火情风险等级的权重，然后进入步骤C；
步骤C.按预设子区域单次巡视时长，获得各子区域分别在巡视周期时长T内被无人机巡视次数，由无人机在巡视周期时长T内对各子区域分别执行各次视频监测。
作为本发明的一种优选技术方案：所述无人机分别对各子区域的各次视频监测中，执行如下步骤i至步骤iv；
步骤i.分别针对视频监测所获子区域的各视频帧，执行图像增强处理，更新各个视频帧，然后进入步骤ii；
步骤ii.分别针对视频监测所获子区域的各有雾的视频帧，应用暗通道先验图像，执行去雾处理，更新该各个视频帧，然后进入步骤iii；
步骤iii.分别针对视频监测所获子区域的视频，分别针对各组相邻两视频帧，应用帧差法，提取视频中的疑似烟雾区域图像，即获得子区域视频中的各个疑似烟雾区域图像，然后进入步骤iv；
步骤iv.分别针对各个疑似烟雾区域，应用预训练好以疑似烟雾区域图像为输入，疑似烟雾区域图像所对应是否为已发生火情标签为输出的火情识别模型，实现对疑似烟雾区域的火情识别。
作为本发明的一种优选技术方案：所述步骤i中，分别针对视频监测所获子区域的各视频帧，按如下操作依次执行，执行图像增强处理，更新各个视频帧；
操作：
1)提取视频帧中RGB三通道的灰度图；
2)分别获取各张灰度图中每个像素点的灰度值；
3)分别针对各个不同灰度值ic，按如下公式：
统计灰度值ic在其所属灰度图像中像素点个数的占比P(ic)，其中，其中，c表示RGB各通道，N(ic)表示灰度值ic在其所属灰度图像中像素点个数，m表示灰度值ic所属灰度图像中的像素点总数；
4)分别针对各个不同灰度值ic，按如下公式：
计算获得灰度值ic所对应的灰度值概率S(ic)，即获得各个不同灰度值ic分别对应的灰度值概率S(ic)，0≤S(ic)≤1；
5)分别针对各个不同灰度值ic，按如下公式：
R(ic)＝Round[S(ic)×255]
获得灰度值ic所对应的新灰度值R(ic)，即获得各个不同灰度值ic分别对应的新灰度值R(ic)，其中，Round表示四舍五入函数；
6)根据各个不同灰度值ic分别对应的新灰度值R(ic)，分别针对各张灰度图，将灰度图中各像素点的灰度值分别替换为其所对应的新灰度值，更新各张灰度图；
7)将三张灰度图重构成一张RGB图像，完成直方图均衡化，实现图像增强处理。
作为本发明的一种优选技术方案：所述步骤ii中，分别针对视频监测所获子区域的各有雾的视频帧，应用暗通道先验图像，按如下操作依次执行，执行去雾处理，更新各个视频帧；
操作：
1)针对有雾的视频帧中各像素点的像素值执行归一化，更新该有雾的视频帧；
2)提取该有雾的视频帧中各像素点RGB三通道的最小值，组成一幅灰度图；
3)根据暗通道先验，针对该灰度图进行最小值滤波，更新该灰度图，获得该灰度图中的雾区域图像；
4)提取该灰度图所有像素点亮度值由大至小排序中前预设比例数量个像素点位置，作为各个待分析像素位置；
5)基于该有雾的视频帧，分别针对RGB三通道，选择各待分析像素位置对应通道的最大像素值，经而获得各通道下、各待分析像素位置中的最大像素值AR、AG、AB，构成最高像素值A；
6)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
提取像素点x所对应透射率t(x)，进而获得该有雾的视频帧中各像素点x分别所对应的透射率，其中，w表示预设常数，Ω(x)表示执行最小滤波时以像素点x为中心的预设大小窗口区域，yR表示像素点y对应R通道的像素值，yG表示像素点y对应G通道的像素值，yB表示像素点y对应B通道的像素值；
7)分别针对该有雾的视频帧中的各个像素点x，当t(x)<0.8时，令t(x)＝0.8，当t(x)≥0.8时，不做任何处理；
8)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
获得各像素点x分别对应的新像素值J(x)，进而应用各新像素值更新该有雾的视频帧，实现去雾处理，更新该视频帧，其中，I(x)表示该有雾的视频帧中的各个像素点x的像素值。
作为本发明的一种优选技术方案：所述步骤iii中，分别针对视频监测所获子区域的视频，分别针对各组相邻两视频帧，应用帧差法，按如下操作依次执行，提取视频中的疑似烟雾区域图像，即获得子区域视频中的各个疑似烟雾区域图像；
操作：
1)获取相邻两视频帧彼此间各像素位置像素值的差值绝对值，构成差值图；
2)根据预设像素阈值T，按定义像素值大于或等于T的像素位置的像素值为1，像素值小于T的像素位置的像素值为0的方式，针对差值图进行二值化，则像素值为1的区域即为疑似烟雾区域图像。
作为本发明的一种优选技术方案：所述像素阈值T等于127。
作为本发明的一种优选技术方案：所述步骤iv中，所述火情识别模型基于如下卷积神经网络训练获得；
卷积神经网络包括5个卷积层、3个最大池化层和3个全连接层，其中，第一个卷积层的输入端构成卷积神经网络的输入端，第一个卷积层的输出端对接第一最大池化层的输入端，第一最大池化层的输出端对接第二卷积层的输入端，第二卷积层的输出端对接第二最大池化层的输入端，第二最大池化层的输出端依次串联第三卷积层、第四卷积层、第五卷积层后，对接第三最大池化层的输入端，第三最大池化层的输出端依次串联三个全连接层，最后一个全连接层的输出端构成卷积神经网络的输出端。
作为本发明的一种优选技术方案：基于各子区域内分别所设覆盖区域的灭火降温模块，针对对应火情风险等级的各个子区域，以及基于无人机视频监测所识别为已发生火情标签的各个区域，控制该区域所在子区域内的灭火降温模块工作，执行灭火操作。
作为本发明的一种优选技术方案：所述灭火降温模块包括覆盖对应子区域的PVC硬质细水管、以及粉尘灭火器。
作为本发明的一种优选技术方案：基于识别对应火情风险等级的各个子区域，以及基于无人机视频监测所识别为已发生火情标签的各个区域，通过目标通讯方式，向目标终端发送报警信号。
本发明所述一种基于传感器与深度学习的森林火情预警方法，采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明所设计一种基于传感器与深度学习的森林火情预警方法，针对目标森林区域所划分的各个子区域，应用传感检测分析方式，获得各子区域分别对应的火情风险等级，再结合各火情风险等级的预设权重，确定各子区域分别在巡视周期时长T内被无人机巡视次数，进而据此由无人机对各子区域进行视频巡视，实现传感检测下各子区域对应火情风险等级的检测，以及视频监测下对应已发生火情标签的疑似烟雾区域的火情识别；整个方案设计将传感检测与深度学习相结合，从多重角度进行分析，能够有效提高火情检测效率与准确率；
2)本发明所设计基于传感器与深度学习的森林火情预警方法中，关于无人机的图像巡视，利用暗通道先验图像去雾算法去除雾霾，降低了雾霾天气对识别精度的影响；并利用帧差法提取视频中的疑似烟雾区域，过滤掉了大量森林背景，有利于卷积神经网络对烟雾进行识别；同时方案设计利用太阳能电板给仪器进行供电，采用水压差的喷射方式进行灭火降温，不仅解决了仪器的电力续航问题，还解决了灭火装置的储备问题，极大地降低了人力资源的消耗；整个过程智能、环保，能够有效做到预防林火、监测林火，从而降低森林火灾带来的危害。
附图说明
图1是本发明设计基于传感器与深度学习的森林火情预警方法的流程图；
图2是本发明设计步骤iv中所设计火情识别模型基于的卷积神经网络示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于传感器与深度学习的森林火情预警方法，基于目标森林区域所划分的各个子区域，以及各子区域内分别所设覆盖区域的传感器组，传感器组包括红外成像仪、空气湿度传感器、雨量检测传感器、气体烟雾传感器、气体成分分析仪、风速仪、温度传感器，如图1所示，按如下步骤A至步骤C，实现无人机在巡视周期时长T内对各子区域的视频监测。
对于硬件的实际安装，红外成像仪放置于森林高塔上，能够覆盖一定范围的监测面积，完成对高温地区的温度监测；所述空气湿度传感器完成对空气中潮湿程度的测量；所述雨量检测传感器监测近几天的降雨程度；所述气体烟雾传感器用于分析空气中是否已经存在了因林火燃烧所产生的烟雾颗粒，以此来判断林火的发生与否；所述气体成分分析仪分析大气中的气体成分，避免气体烟雾传感器因为晨雾等影响因素导致误判，并且，气体成分分析仪还能分析出是否在空气中有枯枝败叶自燃或者燃烧释放的特殊气体；所述风速仪用于判断森林火灾燃烧的方向以及速度；所述温度传感器能够测量出森林中温度的高低，从而加强红外成像仪数据的可靠性。
步骤A.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级的火情风险等级划分标准，分别针对各个子区域，执行如下步骤A1至步骤A4，获得各子区域分别对应火情风险等级划分标准下的火情风险等级，然后进入步骤B。
步骤A1.基于预设气象因素下所预设定义划分的非极端天气、以及极端天气，若当前时刻子区域的天气为非极端天气，则进入步骤A2；若当前时刻子区域的天气为极端天气，则进入步骤A3。
步骤A2.获得子区域中红外成像仪、温度传感器的实时检测结果，并基于Kalman滤波的多传感器数据融合方法，获得红外成像仪、温度传感器检测结果的第一融合结果，并应用以SVM为基础分类模型的预训练好以子区域中第一融合结果为输入，子区域所对应火情风险等级为输出的第一火情等级分类模型，获得子区域所对应的火情风险等级。
步骤A3.获得子区域中气体烟雾传感器、气体成分分析仪的实时检测结果，并基于Kalman滤波的多传感器数据融合方法，获得气体烟雾传感器、气体成分分析仪检测结果的第二融合结果，并应用以SVM为基础分类模型的预训练好以子区域中第二融合结果为输入，子区域所对应火情风险等级为输出的第二火情等级分类模型，获得子区域所对应的火情风险等级，然后进入步骤A4。
步骤A4.判断子区域所对应火情风险等级是否为不易发生火情风险等级，是则获得子区域中空气湿度传感器、雨量检测传感器的实时检测结果，并基于Kalman滤波的多传感器数据融合方法，获得空气湿度传感器、雨量检测传感器检测结果的第三融合结果，并应用以SVM为基础分类模型的预训练好以子区域中第三融合结果为输入，子区域所对应火情风险等级为输出的第三火情等级分类模型，获得并更新子区域所对应的火情风险等级；否则不做进一步处理。
关于Kalman滤波的多传感器数据融合方法，使用多个传感器的观测数据进行最优估计，得到一个误差较小的最终状态估量，克服了单一传感器获取信息有限的问题，其具体步骤为：
1)获取林中多种传感器的采集信息；
2)每个传感器对所获得的信息进行一定的预处理；
3)预处理后将压缩的信息传送到上位机进行信息汇总与融合；
4)在上位机使用Kalman滤波器获得基于融合测量数据的最终状态估量，即融合结果。
步骤B.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级三个等级依次所对应由小至大的预设权重，分别针对各个子区域，按如下公式：
获得无人机在巡视周期时长T内分别对各子区域的巡视时长Ai，其中，1≤i≤I，1≤i'≤I，I表示目标森林区域中子区域的数量，ai表示目标森林区域中第i个子区域所对应火情风险等级的权重，ai'表示目标森林区域中第i'个子区域所对应火情风险等级的权重，然后进入步骤C。
步骤C.按预设子区域单次巡视时长，获得各子区域分别在巡视周期时长T内被无人机巡视次数，由搭载有高清摄像仪的无人机在巡视周期时长T内对各子区域分别执行各次视频监测。
关于无人机分别对各子区域的各次视频监测，实际应用当中，首先利用图像增强算法改善因光照原因导致的图像局部过暗，其次通过森林地区是否有雾霾，有选择地开启暗通道先验图像去雾算法去除雾霾，接着利用帧差法提取出森林中的疑似烟雾区域，最后利用深度学习算法中的Alexnet卷积神经网络，通过改进网络结构进行森林火灾烟雾的识别；具体实施应用中，设计执行如下步骤i至步骤iv。
步骤i.分别针对视频监测所获子区域的各视频帧，按如下操作依次执行，执行图像增强处理，更新各个视频帧，然后进入步骤ii。
操作：
1)提取视频帧中RGB三通道的灰度图；
2)分别获取各张灰度图中每个像素点的灰度值；
3)分别针对各个不同灰度值ic，按如下公式：
统计灰度值ic在其所属灰度图像中像素点个数的占比P(ic)，其中，其中，c表示RGB各通道，N(ic)表示灰度值ic在其所属灰度图像中像素点个数，m表示灰度值ic所属灰度图像中的像素点总数；
4)分别针对各个不同灰度值ic，按如下公式：
计算获得灰度值ic所对应的灰度值概率S(ic)，即获得各个不同灰度值ic分别对应的灰度值概率S(ic)，0≤S(ic)≤1；
5)分别针对各个不同灰度值ic，按如下公式：
R(ic)＝Round[S(ic)×255]
获得灰度值ic所对应的新灰度值R(ic)，即获得各个不同灰度值ic分别对应的新灰度值R(ic)，其中，Round表示四舍五入函数；
6)根据各个不同灰度值ic分别对应的新灰度值R(ic)，分别针对各张灰度图，将灰度图中各像素点的灰度值分别替换为其所对应的新灰度值，更新各张灰度图；
7)将三张灰度图重构成一张RGB图像，完成直方图均衡化，实现图像增强处理。
步骤ii.分别针对视频监测所获子区域的各有雾的视频帧，应用暗通道先验图像，按如下操作依次执行，执行去雾处理，更新各个视频帧，然后进入步骤iii。
操作：
1)针对有雾的视频帧中各像素点的像素值执行归一化，更新该有雾的视频帧；
2)提取该有雾的视频帧中各像素点RGB三通道的最小值，组成一幅灰度图；
3)根据暗通道先验，针对该灰度图进行最小值滤波，更新该灰度图，获得该灰度图中的雾区域图像；
4)提取该灰度图所有像素点亮度值由大至小排序中前预设比例数量个像素点位置，作为各个待分析像素位置；
5)基于该有雾的视频帧，分别针对RGB三通道，选择各待分析像素位置对应通道的最大像素值，经而获得各通道下、各待分析像素位置中的最大像素值AR、AG、AB，构成最高像素值A；
6)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
提取像素点x所对应透射率t(x)，进而获得该有雾的视频帧中各像素点x分别所对应的透射率，其中，w表示预设常数，Ω(x)表示执行最小滤波时以像素点x为中心的预设大小窗口区域，yR表示像素点y对应R通道的像素值，yG表示像素点y对应G通道的像素值，yB表示像素点y对应B通道的像素值；
7)分别针对该有雾的视频帧中的各个像素点x，当t(x)<0.8时，令t(x)＝0.8，当t(x)≥0.8时，不做任何处理；
8)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
获得各像素点x分别对应的新像素值J(x)，进而应用各新像素值更新该有雾的视频帧，实现去雾处理，更新该视频帧，其中，I(x)表示该有雾的视频帧中的各个像素点x的像素值。
步骤iii.分别针对视频监测所获子区域的视频，分别针对各组相邻两视频帧，应用帧差法，按如下操作依次执行，提取视频中的疑似烟雾区域图像，即获得子区域视频中的各个疑似烟雾区域图像，然后进入步骤iv。
操作：
1)获取相邻两视频帧彼此间各像素位置像素值的差值绝对值，构成差值图；
2)根据诸如T＝127的预设像素阈值T，按定义像素值大于或等于T的像素位置的像素值为1，像素值小于T的像素位置的像素值为0的方式，针对差值图进行二值化，则像素值为1的区域即为疑似烟雾区域图像。
步骤iv.分别针对各个疑似烟雾区域，应用预训练好以疑似烟雾区域图像为输入，疑似烟雾区域图像所对应是否为已发生火情标签为输出的火情识别模型，实现对疑似烟雾区域的火情识别。
实际应用当中，关于视频监测分析中，实施终端中设置GPU，GPU保证了卷积神经网络对森林火灾烟雾的快速识别，并且上述步骤iv中，如图2所示，所述火情识别模型基于如下卷积神经网络训练获得；
卷积神经网络包括5个卷积层、3个最大池化层和3个全连接层，其中，第一个卷积层的输入端构成卷积神经网络的输入端，第一个卷积层的输出端对接第一最大池化层的输入端，第一最大池化层的输出端对接第二卷积层的输入端，第二卷积层的输出端对接第二最大池化层的输入端，第二最大池化层的输出端依次串联第三卷积层、第四卷积层、第五卷积层后，对接第三最大池化层的输入端，第三最大池化层的输出端依次串联三个全连接层，最后一个全连接层的输出端构成卷积神经网络的输出端。
实际应用中，第一个卷积层的卷积核为11×11，第二个卷积层的卷积核为5×5，其余卷积层的卷积核为3×3；每个卷积层后面都用ReLu作为激活函数；下采样层采取步长为2，卷积核为3×3的最大池化操作；在全连接层中使用Dropout避免模型产生过拟合。
基于上述所设计基于传感器与深度学习的森林火情预警方法的实际应用中，关于传感检测中所获对应火情风险等级的已发生火情标签的子区域，以及无人机视频监测中对应已发生火情标签的疑似烟雾区域，本发明进一步设计基于各子区域内分别所设覆盖区域的灭火降温模块，针对该各个子区域、以及该各个区域，控制该区域所在子区域内的灭火降温模块工作，执行灭火操作。并且在实际具体实施中，关于各子区域的灭火降温模块，具体设计采用包括覆盖对应子区域的PVC硬质细水管、以及粉尘灭火器，应用PVC硬质细水管开启的同时，开启粉尘灭火器在地表铺洒大量粉尘，降低地面可燃物的燃烧速率，从而降低火灾造成的危害。
并且整个设计方案在实施应用中，采用太阳能板代替传统的电线输电，而水压喷射耗电量大，太阳能板的电压不足以提供足够的电量，因此，关于PVC硬质细水管的应用，将水储蓄在高水塔上，利用极大的压强差来使得PVC硬质细水管能够喷射出更远更多的水，从而防止或抑制林火，并且关于PVC硬质细水管的布设，在发生火灾的高危地区每隔10米布置一条PVC硬质细水管，在易发生火灾的地区每隔50米布置一条PVC硬质细水管，在从未发生火灾的地区每隔5公里布置一条PVC硬质细水管(网状布置)。
并且对于已发生火情标签的子区域，以及已发生火情标签的疑似烟雾区域，还可以根据该识别结果，通过诸如5G技术、局域网、卫星等通讯技术的目标通讯方式，向目标终端发送报警信号，这里的目标终端为护林员手持终端、总火情监控平台，并且护林员可以在步骤A至步骤C分析过程中出现数据异常时，通过手持终端手动向总火情监控平台发出火灾预警。
上述技术方案所设计基于传感器与深度学习的森林火情预警方法，针对目标森林区域所划分的各个子区域，应用传感检测分析方式，获得各子区域分别对应的火情风险等级，再结合各火情风险等级的预设权重，确定各子区域分别在巡视周期时长T内被无人机巡视次数，进而据此由无人机对各子区域进行视频巡视，实现传感检测下各子区域对应火情风险等级的检测，以及视频监测下对应已发生火情标签的疑似烟雾区域的火情识别；整个方案设计将传感检测与深度学习相结合，从多重角度进行分析，能够有效提高火情检测效率与准确率。
并且关于无人机的图像巡视，利用暗通道先验图像去雾算法去除雾霾，降低了雾霾天气对识别精度的影响；并利用帧差法提取视频中的疑似烟雾区域，过滤掉了大量森林背景，有利于卷积神经网络对烟雾进行识别；同时方案设计利用太阳能电板给仪器进行供电，采用水压差的喷射方式进行灭火降温，不仅解决了仪器的电力续航问题，还解决了灭火装置的储备问题，极大地降低了人力资源的消耗；整个过程智能、环保，能够有效做到预防林火、监测林火，从而降低森林火灾带来的危害。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (10)
1.一种基于传感器与深度学习的森林火情预警方法，其特征在于：基于目标森林区域所划分的各个子区域，以及各子区域内分别所设覆盖区域的传感器组，传感器组包括红外成像仪、空气湿度传感器、雨量检测传感器、气体烟雾传感器、气体成分分析仪、风速仪、温度传感器，按如下步骤A至步骤C，实现无人机在巡视周期时长T内对各子区域的视频监测；
步骤A.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级的火情风险等级划分标准，分别针对各个子区域，执行如下步骤A1至步骤A4，获得各子区域分别对应火情风险等级划分标准下的火情风险等级，然后进入步骤B；
步骤A1.基于预设气象因素下所预设定义划分的非极端天气、以及极端天气，若当前时刻子区域的天气为非极端天气，则进入步骤A2；若当前时刻子区域的天气为极端天气，则进入步骤A3；
步骤A2.获得子区域中红外成像仪、温度传感器的实时检测结果，并应用预训练好以子区域中红外成像仪、温度传感器检测结果为输入，子区域所对应火情风险等级为输出的第一火情等级分类模型，获得子区域所对应的火情风险等级；
步骤A3.获得子区域中气体烟雾传感器、气体成分分析仪的实时检测结果，并应用预训练好以子区域中气体烟雾传感器、气体成分分析仪检测结果为输入，子区域所对应火情风险等级为输出的第二火情等级分类模型，获得子区域所对应的火情风险等级，然后进入步骤A4；
步骤A4.判断子区域所对应火情风险等级是否为不易发生火情风险等级，是则获得子区域中空气湿度传感器、雨量检测传感器的实时检测结果，并应用预训练好以子区域中空气湿度传感器、雨量检测传感器检测结果为输入，子区域所对应火情风险等级为输出的第三火情等级分类模型，获得并更新子区域所对应的火情风险等级；否则不做进一步处理；
步骤B.基于不易发生火情风险等级、易发生火情风险等级、已发生火情风险等级三个等级依次所对应由小至大的预设权重，分别针对各个子区域，按如下公式：
获得无人机在巡视周期时长T内分别对各子区域的巡视时长Ai，其中，1≤i≤I，1≤i'≤I，I表示目标森林区域中子区域的数量，ai表示目标森林区域中第i个子区域所对应火情风险等级的权重，ai'表示目标森林区域中第i'个子区域所对应火情风险等级的权重，然后进入步骤C；
步骤C.按预设子区域单次巡视时长，获得各子区域分别在巡视周期时长T内被无人机巡视次数，由无人机在巡视周期时长T内对各子区域分别执行各次视频监测。
2.根据权利要求1所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述无人机分别对各子区域的各次视频监测中，执行如下步骤i至步骤iv；
步骤i.分别针对视频监测所获子区域的各视频帧，执行图像增强处理，更新各个视频帧，然后进入步骤ii；
步骤ii.分别针对视频监测所获子区域的各有雾的视频帧，应用暗通道先验图像，执行去雾处理，更新该各个视频帧，然后进入步骤iii；
步骤iii.分别针对视频监测所获子区域的视频，分别针对各组相邻两视频帧，应用帧差法，提取视频中的疑似烟雾区域图像，即获得子区域视频中的各个疑似烟雾区域图像，然后进入步骤iv；
步骤iv.分别针对各个疑似烟雾区域，应用预训练好以疑似烟雾区域图像为输入，疑似烟雾区域图像所对应是否为已发生火情标签为输出的火情识别模型，实现对疑似烟雾区域的火情识别。
3.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述步骤i中，分别针对视频监测所获子区域的各视频帧，按如下操作依次执行，执行图像增强处理，更新各个视频帧；
操作：
1)提取视频帧中RGB三通道的灰度图；
2)分别获取各张灰度图中每个像素点的灰度值；
3)分别针对各个不同灰度值ic，按如下公式：
统计灰度值ic在其所属灰度图像中像素点个数的占比P(ic)，其中，其中，c表示RGB各通道，N(ic)表示灰度值ic在其所属灰度图像中像素点个数，m表示灰度值ic所属灰度图像中的像素点总数；
4)分别针对各个不同灰度值ic，按如下公式：
计算获得灰度值ic所对应的灰度值概率S(ic)，即获得各个不同灰度值ic分别对应的灰度值概率S(ic)，0≤S(ic)≤1；
5)分别针对各个不同灰度值ic，按如下公式：
R(ic)＝Round[S(ic)×255]
获得灰度值ic所对应的新灰度值R(ic)，即获得各个不同灰度值ic分别对应的新灰度值R(ic)，其中，Round表示四舍五入函数；
6)根据各个不同灰度值ic分别对应的新灰度值R(ic)，分别针对各张灰度图，将灰度图中各像素点的灰度值分别替换为其所对应的新灰度值，更新各张灰度图；
7)将三张灰度图重构成一张RGB图像，完成直方图均衡化，实现图像增强处理。
4.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述步骤ii中，分别针对视频监测所获子区域的各有雾的视频帧，应用暗通道先验图像，按如下操作依次执行，执行去雾处理，更新各个视频帧；
操作：
1)针对有雾的视频帧中各像素点的像素值执行归一化，更新该有雾的视频帧；
2)提取该有雾的视频帧中各像素点RGB三通道的最小值，组成一幅灰度图；
3)根据暗通道先验，针对该灰度图进行最小值滤波，更新该灰度图，获得该灰度图中的雾区域图像；
4)提取该灰度图所有像素点亮度值由大至小排序中前预设比例数量个像素点位置，作为各个待分析像素位置；
5)基于该有雾的视频帧，分别针对RGB三通道，选择各待分析像素位置对应通道的最大像素值，经而获得各通道下、各待分析像素位置中的最大像素值AR、AG、AB，构成最高像素值A；
6)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
提取像素点x所对应透射率t(x)，进而获得该有雾的视频帧中各像素点x分别所对应的透射率，其中，w表示预设常数，Ω(x)表示执行最小滤波时以像素点x为中心的预设大小窗口区域，yR表示像素点y对应R通道的像素值，yG表示像素点y对应G通道的像素值，yB表示像素点y对应B通道的像素值；
7)分别针对该有雾的视频帧中的各个像素点x，当t(x)<0.8时，令t(x)＝0.8，当t(x)≥0.8时，不做任何处理；
8)分别针对该有雾的视频帧中的各个像素点x，按如下公式：
获得各像素点x分别对应的新像素值J(x)，进而应用各新像素值更新该有雾的视频帧，实现去雾处理，更新该视频帧，其中，I(x)表示该有雾的视频帧中的各个像素点x的像素值。
5.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述步骤iii中，分别针对视频监测所获子区域的视频，分别针对各组相邻两视频帧，应用帧差法，按如下操作依次执行，提取视频中的疑似烟雾区域图像，即获得子区域视频中的各个疑似烟雾区域图像；
操作：
1)获取相邻两视频帧彼此间各像素位置像素值的差值绝对值，构成差值图；
2)根据预设像素阈值T，按定义像素值大于或等于T的像素位置的像素值为1，像素值小于T的像素位置的像素值为0的方式，针对差值图进行二值化，则像素值为1的区域即为疑似烟雾区域图像。
6.根据权利要求5所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述像素阈值T等于127。
7.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述步骤iv中，所述火情识别模型基于如下卷积神经网络训练获得；
卷积神经网络包括5个卷积层、3个最大池化层和3个全连接层，其中，第一个卷积层的输入端构成卷积神经网络的输入端，第一个卷积层的输出端对接第一最大池化层的输入端，第一最大池化层的输出端对接第二卷积层的输入端，第二卷积层的输出端对接第二最大池化层的输入端，第二最大池化层的输出端依次串联第三卷积层、第四卷积层、第五卷积层后，对接第三最大池化层的输入端，第三最大池化层的输出端依次串联三个全连接层，最后一个全连接层的输出端构成卷积神经网络的输出端。
8.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：基于各子区域内分别所设覆盖区域的灭火降温模块，针对对应火情风险等级的各个子区域，以及基于无人机视频监测所识别为已发生火情标签的各个区域，控制该区域所在子区域内的灭火降温模块工作，执行灭火操作。
9.根据权利要求8所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：所述灭火降温模块包括覆盖对应子区域的PVC硬质细水管、以及粉尘灭火器。
10.根据权利要求2所述一种基于传感器与深度学习的森林火情预警方法，其特征在于：基于识别对应火情风险等级的各个子区域，以及基于无人机视频监测所识别为已发生火情标签的各个区域，通过目标通讯方式，向目标终端发送报警信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210735051.3A CN115131937A (zh) | 2022-06-27 | 2022-06-27 | 一种基于传感器与深度学习的森林火情预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210735051.3A CN115131937A (zh) | 2022-06-27 | 2022-06-27 | 一种基于传感器与深度学习的森林火情预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115131937A true CN115131937A (zh) | 2022-09-30 |
Family
ID=83380435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210735051.3A Pending CN115131937A (zh) | 2022-06-27 | 2022-06-27 | 一种基于传感器与深度学习的森林火情预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131937A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880598A (zh) * | 2023-02-15 | 2023-03-31 | 深圳市蜉飞科技有限公司 | 一种基于无人机的地面图像检测方法及相关装置 |
-
2022
- 2022-06-27 CN CN202210735051.3A patent/CN115131937A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880598A (zh) * | 2023-02-15 | 2023-03-31 | 深圳市蜉飞科技有限公司 | 一种基于无人机的地面图像检测方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107437318B (zh) | 一种可见光智能识别算法 | |
| EP2689576A2 (en) | Autonomous detection of chemical plumes | |
| CN102236947A (zh) | 基于视频摄像机的火焰监测方法与系统 | |
| CN111523397B (zh) | 一种智慧灯杆视觉识别装置、方法及其系统和电子设备 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN111446920A (zh) | 光伏电站监控方法、装置及系统 | |
| CN110441320B (zh) | 一种煤矸石检测方法、装置及系统 | |
| Hossain et al. | Wildfire flame and smoke detection using static image features and artificial neural network | |
| CN114202646A (zh) | 一种基于深度学习的红外图像吸烟检测方法与系统 | |
| CN115761537A (zh) | 一种面向动态特征补充机制的输电线路异物入侵识别方法 | |
| CN111163290A (zh) | 一种夜间航行船舶检测并跟踪的装置和方法 | |
| CN111178424A (zh) | 一种石油化工生产现场安全合规性实时检测系统及方法 | |
| KR101196678B1 (ko) | 실시간 화재 감시 장치 및 방법 | |
| CN115131937A (zh) | 一种基于传感器与深度学习的森林火情预警方法 | |
| CN116311078A (zh) | 一种林火分析及监测方法、系统 | |
| CN111931573A (zh) | 基于yolo进化深度学习模型的安全帽检测与预警方法 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN112308032A (zh) | 一种视频检测的井下风门智能协同联动控制方法 | |
| CN112883755A (zh) | 一种基于深度学习与行为先验的吸烟和打电话检测方法 | |
| CN107977531A (zh) | 一种基于图像处理和领域数学模型进行接地电阻软测量的方法 | |
| CN112883969B (zh) | 一种基于卷积神经网络的降雨强度检测方法 | |
| CN111145275A (zh) | 一种智能化自控森林防火监控系统及方法 | |
| CN105872464B (zh) | 基于视频信号的工厂烟气排放自动监测系统 | |
| CN115063427A (zh) | 用于新型船舶的污染物排放监控图像处理方法 | |
| CN112668535A (zh) | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |