CN112396024A - 一种基于卷积神经网络的森林火灾告警方法 - Google Patents

一种基于卷积神经网络的森林火灾告警方法 Download PDF

Info

Publication number
CN112396024A
CN112396024A CN202011379885.2A CN202011379885A CN112396024A CN 112396024 A CN112396024 A CN 112396024A CN 202011379885 A CN202011379885 A CN 202011379885A CN 112396024 A CN112396024 A CN 112396024A
Authority
CN
China
Prior art keywords
fire
data
neural network
convolutional neural
forest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011379885.2A
Other languages
English (en)
Inventor
何书强
邱彦林
陈尚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co ltd
Original Assignee
Hangzhou Xujian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co ltd filed Critical Hangzhou Xujian Science And Technology Co ltd
Priority to CN202011379885.2A priority Critical patent/CN112396024A/zh
Publication of CN112396024A publication Critical patent/CN112396024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明提供一种基于卷积神经网络的森林火灾告警方法,包括如下步骤:S1:采集有关森林火灾的视频以及图片数据,将视频数据序列化为图片,预处理之后,形成样本数据;S2:使用样本数据训练一个识别火灾的卷积神经网络模型;S3:采集实时监控视频数据,输入步骤S2所述的卷积神经网络模型,实时分析是否有火灾发生,如果发生火灾,则产生告警信息。本发明通过上述技术手段,首先通过大量正负样本数据训练卷积神经网络模型,使得模型很好的学习到了火灾的几乎所有特征,另外卷积神经网络对于处理图像数据有着天然的优势,结合这两个特点,保证了模型的准确率,确保了数据识别过程中的准确性。

Description

一种基于卷积神经网络的森林火灾告警方法
技术领域
本发明涉及计算机视觉分析领域和深度神经网络技术,具体涉及一种基于卷积神经网络的森林火灾告警方法。
背景技术
随着我国社会经济不断发展,环境、环保问题日益突出,而森林资源对缓解温室效应、净化空气、保持水土等方面有着重要的作用,同时森林资源也是重要的工业原材料。在我国,每年因为森林火灾,不仅造成了生态环境破坏,而且还造成了人民生命财产的损失,因此对森林火灾实施有效的监控是非常有必要的。
目前,大部分森林区域要么没有监控火情的装置,要么采用人工巡逻发现;或者设置监控,然后护林人员在监控室定时查看;或者使用红外检测系统;这几种种方式实时性差,不能及时的发现火情,而且浪费了很多人力,另外红外检测,常常在火势较小或者只是有烟雾的时候,不能及早发现,效率不高。
发明内容
有鉴于此,本发明提出了一种基于卷积神经网络的森林火灾告警方法,通过卷积神经网络模型和图像识别算法,能够自动的分析监控视频,自动的判断监控区域是否有火灾发生,不需要人员巡逻,也不需要人员去观察监控视频,同时以卷积神经网络模型为代表的深度学习算法在图像识别领域精确度已经达到了很高的精确度,对于早期的森林烟雾和很小的火苗有较好的识别效果,避免了红外监控的缺点,提高了识别的实时性、准确性。
本发明是通过以下技术方案实现的:一种基于卷积神经网络的森林火灾告警方法,包括如下步骤:
S1:采集有关森林火灾的视频以及图片数据,将视频数据序列化为图片,预处理之后,形成样本数据;
S2:使用样本数据训练一个识别火灾的卷积神经网络模型;
S3:采集实时监控视频数据,输入步骤S2所述的卷积神经网络模型,实时分析是否有火灾发生,如果发生火灾,则产生告警信息。
作为优选地,所述步骤S1的具体流程如下:
S11:使用FFmpeg库对视频数据进行帧序列化,将视频数据转换为图片数据;
S12:对图片数据进行分类,图片数据中包含火灾的图片分类为正样本,没有火灾发生的图片分类为负样本,根据实际情况再加入合适数量的负样本;
S13:判断是否发生火灾有两个要素:是否产生烟雾或者明火;
作为优选地,所述步骤S2,还包含以下步骤:
S21:对所有样本数据进行预处理,等比例压缩,归一化操作;
S22:对输入图像数据进行高斯滤波,过滤图像中的噪点;
S23:训练使用的主干网络为MobileNetV3,MobileNetV3是一种卷积神经网络。
作为优选地,所述步骤S3,还包含以下步骤:
S31:视频数据采集,采用高清广角摄像头,分辨率不低于1080p;
S32:摄像头应架设在森林的山顶或者森林的最高点,使用固定金属架,保证能够提取大范围的森林监控画面;
S33:同一位置,至少应安装三台摄像头,摄像头之间的夹角为120度;
S34:获取视频流之后,使用OpenCV对其进行预处理操作,包括但不限于压缩、通道变换(YUV转RGB)、分离通道操作;
S35:使用高斯滤波算法,过滤图像中的噪点;
S36:计算分离通道之后的帧数据(仅包含B通道)确定监控画面中的运动区域,这些运动区域是烟雾运动或者明火运动区域;
S37:采用非极大值抑制策略过滤掉步骤S36计算出来的面积小于100像素的运动区域目标框;
S38:通过计算帧数据的颜色来判断是否有疑似为明火;
S39:综合上述步骤,获取到了疑似为烟雾或者明火的目标框,提取这些目标框的区域,输入已经训练完成的识别火灾的卷积神经网络模型中,得到每一个目标框的置信度,并与预先设置好的阈值进行比较,超过阈值的判定为有火灾发生。
与现有技术相比,本发明通过上述技术手段,首先通过大量正负样本数据训练卷积神经网络模型,使得模型很好的学习到了火灾的几乎所有特征,另外卷积神经网络对于处理图像数据有着天然的优势,结合这两个特点,保证了模型的准确率,确保了数据识别过程中的准确性;其次对RGB数据的B通道进行高斯滤波运算以及方差计算,过滤图像中的噪点,得到了画面中的运动区域,去除了监控画面静态背景的影响;然后通过计算目标框的颜色域,并对目标框进行了无效目标的筛选,最终得到了准确的疑似火灾区域,使得识别过程中的运算量大为减少;最后使用GPU运算,加速了图像预处理和识别推理运算,达到了实时识别的速度。综合来看,本发明实时性强、自动化程度高、检测精确率高。
附图说明
图1是一种基于卷积神经网络的森林火灾告警方法模型训练流程示意图;
图2是一种基于卷积神经网络的森林火灾告警方法计算流程示意图;
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
如图1所示,一种基于卷积神经网络的森林火灾告警方法,模型训练其主要包括如下步骤:
S1:搜集森林火灾的视频数据,使用FFmpeg解码,将视频数据序列化为图片数据,选出其中明显有火灾发生的图片分类为正样本,选出或者另外增加有关森林的不同状态的图片,其中没有火灾发生的作为负样本;正样本大于10000张,负样本大于10000张;
S2:以同S1步骤的方法制作2000张不同于S1步骤的正样本,4000张负样本,作为模型的测试数据;
S3:使用S1步骤的数据训练卷积神经网络模型MobileNetV3,得到模型文件;
S4:使用S2步骤中的测试数据,测试S3中训练得到的模型,测试得到准确率R1,如果R1达到预期的准确率R0,则保存当前的模型,如果R1小于预期的准确率R0,则更新S1步骤的数据,重新进行训练,直至R1大于或等于R0。
如图2所示,一种基于卷积神经网络的森林火灾告警方法,计算方法流程主要包括如下步骤:
S1:在需要监控的林区的最高点假设铁架,安装三个广角高清(分辨率大于等于1080p)摄像头,三个摄像头夹角120度,并且视频画面尽可能大的包含森林区域;
S2:在机房部署分析视频服务器,服务器包含GPU;
S3:使用GB28181国标协议,获取摄像头的实时视频流,传送至分析服务器;
S4:调用CUDA解码将视频解码为YUV数据帧;
S5:使用OpenCV工具处理YUV数据,包括将帧数据为压缩为分辨率为416*416大小,将YUV数据转换为RGB数据;
S6:分离RGB数据通道,提取B通道数据;
S7:调用GPU运算资源,对B通道的数据实行高斯滤波运算,过滤图像中的噪点;
其中高斯滤波的公式为:
一维高斯函数公式:
Figure BDA0002809082130000041
其中,μ是x的均值,σ是x的方差。因为计算平均值的时候,中心点就是原点,所以μ等于0。
二维高斯函数公式:
Figure BDA0002809082130000042
高斯滤波一般使用的二维零均值的高斯分布函数,通过高斯分布函数求出模板系数,例如一个3*3的模板:以模板的中心位置为坐标原点进行取样,x轴水平向右,y轴垂直向下,(x,y)表示。
Figure BDA0002809082130000043
对所帧数据进行高斯滤波,取出因采集、抖动、传输引起的画面中的噪点,为识别的准确率提供优质的检测数据。
S8:对S7步骤的数据在进行方差计算,得到图像中运动区域,运动区域包含烟雾的运动区域和火苗的运动区域;这里的区域以坐标的形式表示;
S9:对S8步骤所得数据进行汇总,达到N帧(N大于5,小于200)之后,对着N帧数据进行频率运算,计算出于运动区域的频率,这里的频率就是烟雾或者明火的固有运动频率;
S10:对S8中的数据进行颜色空间的计算,烟雾对应的颜色是白色色域,明火对应的色域是黄色色域;
S11:对S10步骤所得到的疑似火灾的目标预期进行预处理,如果目标框的面积小于100像素(即分辨率10*10大小)则去除该目标;
S12:综合S9步骤和S11步骤,最终得到疑似火灾的目标框的坐标,将这些区域从原图中裁剪下来,得到对应框的图片,对着图片进行等比例压缩,压缩至416*224;
S13:将S12步骤中的所有图片数据,输入到训练好的模型文件中,进行识别操作,最终得到每一个框是否发生火灾的置信度T0;
S14:根据设置的火灾告警阈值T1,与S13中得到的置信度T0进行比较,如果T0>T1,则判定当前发生火灾,如果T0<T1则判定为无火情发生;
S15:根据S14得到的告警情况,如果发生告警,则系统自动将告警信息发送至维护人员的手机端,由相关人员实时处理。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于卷积神经网络的森林火灾告警方法,其特征在于,包括如下步骤:
S1:采集有关森林火灾的视频以及图片数据,将视频数据序列化为图片,预处理之后,形成样本数据;
S2:使用样本数据训练一个识别火灾的卷积神经网络模型;
S3:采集实时监控视频数据,输入步骤S2所述的卷积神经网络模型,实时分析是否有火灾发生,如果发生火灾,则产生告警信息。
2.根据权利要求1所述的一种基于卷积神经网络的森林火灾告警方法,其特征在于,所述步骤S1的具体流程如下:
S11:使用FFmpeg库对视频数据进行帧序列化,将视频数据转换为图片数据;
S12:对图片数据进行分类,图片数据中包含火灾的图片分类为正样本,没有火灾发生的图片分类为负样本,根据实际情况再加入合适数量的负样本;
S13:判断是否发生火灾有两个要素:是否产生烟雾或者明火。
3.根据权利要求1所述的一种基于卷积神经网络的森林火灾告警方法,其特征在于,所述步骤S2,还包含以下步骤:
S21:对所有样本数据进行预处理,等比例压缩,归一化操作;
S22:对输入图像数据进行高斯滤波,过滤图像中的噪点;
S23:训练使用的主干网络为MobileNetV3,MobileNetV3是一种卷积神经网络。
4.根据权利要求1所述的一种基于卷积神经网络的森林火灾告警方法,其特征在于,所述步骤S3,还包含以下步骤:
S31:视频数据采集,采用高清广角摄像头,分辨率不低于1080p;
S32:摄像头应架设在森林的山顶或者森林的最高点,使用固定金属架,保证能够提取大范围的森林监控画面;
S33:同一位置,至少应安装三台摄像头,摄像头之间的夹角为120度;
S34:获取视频流之后,使用OpenCV对其进行预处理操作,包括但不限于压缩、通道变换、分离通道操作;
S35:使用高斯滤波算法,过滤图像中的噪点;
S36:计算分离通道之后的帧数据确定监控画面中的运动区域,这些运动区域是烟雾运动或者明火运动区域;
S37:采用非极大值抑制策略过滤掉步骤S36计算出来的面积小于100像素的运动区域目标框;
S38:通过计算帧数据的颜色来判断是否有疑似为明火;
S39:综合上述步骤,获取到了疑似为烟雾或者明火的目标框,提取这些目标框的区域,输入已经训练完成的识别火灾的卷积神经网络模型中,得到每一个目标框的置信度,并与预先设置好的阈值进行比较,超过阈值的判定为有火灾发生。
CN202011379885.2A 2020-12-01 2020-12-01 一种基于卷积神经网络的森林火灾告警方法 Pending CN112396024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379885.2A CN112396024A (zh) 2020-12-01 2020-12-01 一种基于卷积神经网络的森林火灾告警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379885.2A CN112396024A (zh) 2020-12-01 2020-12-01 一种基于卷积神经网络的森林火灾告警方法

Publications (1)

Publication Number Publication Date
CN112396024A true CN112396024A (zh) 2021-02-23

Family

ID=74604900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379885.2A Pending CN112396024A (zh) 2020-12-01 2020-12-01 一种基于卷积神经网络的森林火灾告警方法

Country Status (1)

Country Link
CN (1) CN112396024A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN102163361A (zh) * 2011-05-16 2011-08-24 公安部沈阳消防研究所 一种基于前景累积图像的图像型火灾探测方法
CN106250859A (zh) * 2016-08-04 2016-12-21 杭州电子科技大学 基于特征矢量运动杂乱度的视频火焰检测方法
CN109034038A (zh) * 2018-07-19 2018-12-18 东华大学 一种基于多特征融合的火灾识别装置
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计系统
CN109948706A (zh) * 2019-03-20 2019-06-28 西安建筑科技大学 结合深度学习与特征多尺度融合的微钙化簇检测方法
CN110070033A (zh) * 2019-04-19 2019-07-30 山东大学 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN111079572A (zh) * 2019-11-29 2020-04-28 南京恩博科技有限公司 一种基于视频理解的森林烟火检测方法、存储介质和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163358A (zh) * 2011-04-11 2011-08-24 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN102163361A (zh) * 2011-05-16 2011-08-24 公安部沈阳消防研究所 一种基于前景累积图像的图像型火灾探测方法
CN106250859A (zh) * 2016-08-04 2016-12-21 杭州电子科技大学 基于特征矢量运动杂乱度的视频火焰检测方法
CN109034038A (zh) * 2018-07-19 2018-12-18 东华大学 一种基于多特征融合的火灾识别装置
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计系统
CN109948706A (zh) * 2019-03-20 2019-06-28 西安建筑科技大学 结合深度学习与特征多尺度融合的微钙化簇检测方法
CN110070033A (zh) * 2019-04-19 2019-07-30 山东大学 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN111079572A (zh) * 2019-11-29 2020-04-28 南京恩博科技有限公司 一种基于视频理解的森林烟火检测方法、存储介质和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688748A (zh) * 2021-08-27 2021-11-23 武汉大千信息技术有限公司 一种火灾检测的模型及方法
CN113688748B (zh) * 2021-08-27 2023-08-18 武汉大千信息技术有限公司 一种火灾检测的模型及方法

Similar Documents

Publication Publication Date Title
CN111626188B (zh) 一种室内不可控明火监测方法及系统
CN106600888B (zh) 一种森林火灾自动检测方法及系统
CN111462451B (zh) 基于视频信息的秸秆焚烧检测报警系统
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN106097366B (zh) 一种基于改进的Codebook前景检测的图像处理方法
CN107197233A (zh) 基于边缘计算模型的监控视频数据质量评测方法及装置
CN112312087B (zh) 一种在长时监控视频中快速定位事件发生时刻的方法及其系统
CN111126293A (zh) 一种火焰和烟雾异常情况检测方法及系统
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
CN113887412B (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN107392116A (zh) 一种指示灯识别方法和系统
CN109118548A (zh) 一种综合智能水质识别方法
CN108009479A (zh) 分布式机器学习系统及其方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN111581679A (zh) 一种基于深度网络的防范屏幕拍照方法
CN115049955A (zh) 一种基于视频分析技术的火灾探测分析方法及装置
CN116320292A (zh) 基于大数据的水利监控控制系统
CN112396024A (zh) 一种基于卷积神经网络的森林火灾告警方法
CN111899210A (zh) 一种基于图像识别的电弧检测方法
CN105405153A (zh) 智能移动终端抗噪声干扰运动目标提取方法
CN103425958B (zh) 一种视频中不动物检测的方法
CN112422818B (zh) 一种基于多元图像融合的智能化掉筛远程检测方法
KR101917622B1 (ko) 배경모델링 기법을 이용한 영상 내 누수 감지 방법
CN117978966A (zh) 一种用于后厨视频多点接入自主运行状态监测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210223

RJ01 Rejection of invention patent application after publication