CN112257554B - 基于多光谱的森林火灾识别方法、系统、程序及存储介质 - Google Patents

基于多光谱的森林火灾识别方法、系统、程序及存储介质 Download PDF

Info

Publication number
CN112257554B
CN112257554B CN202011122717.5A CN202011122717A CN112257554B CN 112257554 B CN112257554 B CN 112257554B CN 202011122717 A CN202011122717 A CN 202011122717A CN 112257554 B CN112257554 B CN 112257554B
Authority
CN
China
Prior art keywords
image
visible light
fire
infrared
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011122717.5A
Other languages
English (en)
Other versions
CN112257554A (zh
Inventor
曹毅超
王东华
陈皓
范小成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING ENBO TECHNOLOGY CO LTD
Original Assignee
NANJING ENBO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING ENBO TECHNOLOGY CO LTD filed Critical NANJING ENBO TECHNOLOGY CO LTD
Priority to CN202011122717.5A priority Critical patent/CN112257554B/zh
Publication of CN112257554A publication Critical patent/CN112257554A/zh
Application granted granted Critical
Publication of CN112257554B publication Critical patent/CN112257554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明公开了一种基于多光谱的森林火灾识别方法、系统、程序及存储介质,属于森林防火技术领域。本发明首先获取场景的可见光图像和近红外图像;并识别可见光图像中的疑似火灾区域以及近红外图像中的疑似火灾区域;将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行匹配,对场景中森林火灾情况进行初次验证;同步调节可见光相机和近红外相机的焦距,并将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行再次匹配验证;最后进行云端识别验证。本发明有效地提高了森林火灾识别的准确率,较少了误报。

Description

基于多光谱的森林火灾识别方法、系统、程序及存储介质
技术领域
本发明属于森林防火技术领域,具体涉及一种基于多光谱的基于多光谱的森林火灾识别方法、系统、程序及存储介质。
背景技术
森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害,世界上每年因森林火灾导致的损失难以估量。森林火灾对森林生态、地球环境以及人类生命财产都造成了严重的威胁,因此,及早发现森林火灾险情并及早处理显得尤为重要。然而,因为森林面积较大,环境也比较复杂,单纯依靠人工来发现森林火灾,是难以满足需求的,因此,为了能够更加准确地对火灾进行识别,现有技术中提出了很多火灾识别方法,主要是通过图像识别的方法来识别火灾。
现有森林防火项目针对火的检测大多使用红外热成像相机进行识别。热成像相机分辨率较低,目前主流的热成像相机分辨率有640x480、384x288等,这就要求能识别到的火点面积较大,无法在燃烧刚产生的时候准确捕捉火点,等燃烧物开始向四周蔓延后才能检测时,火灾往往已不能简单控制。
现有热成像相机通常是定焦的,无法做出变倍处理,在针对大林区或者远距离检测时,热像和可见光的检测画面和检测距离无法一致,往往只能实现可见光和热像分别检测,利用可见光来检测烟雾和火光,利用热成像相机来检测异常高温,容易产生误报。当可见光发现疑似火情时,疑似起火点无法在热成像相机上捕捉到,无法使用热成像进行验证是否为真实火情,反之亦然。
由于热辐射的衰耗,远距离的火光往往无法被热成像相机捕捉到。现有的热成像相机仅能捕捉5km内的火点,且在这种距离下,测温功能已无法正常使用,与实际燃烧温度差距非常大。检测距离超过5km后,常用的热成像相机已无法捕捉热源,更无法进行火点检测,在大林区和需要进行远距离监测的林场并不适用。
除了应用红外热成像相机进行火灾检测外,另一种还是传统的利用可见光相机对森林火灾进行监控,其中,基于可见光图像的火点检测算法中,利用了火焰的可见光光谱特征(如颜色特征、纹理特征和运动特征等),难以滤除外观与火焰相似度高的物体(如飘扬的红旗及灯光等),报警准确率低,且算法中火点与背景进行同样处理,需要计算较大的数据量,效率较低,尤其不适用于在远距离以及低照度环境下的检测。
此外,随着空间技术的发展,还有利用卫星遥感图像进行火灾监测,主要是利用特定卫星的某些波段经过不同方式的伪彩色合成、波段代数运算后阈值化得到火点位置,通常需要人工交互处理;此外,遥感数据为地面站接收、解析、处理并分发出来的,并且遥感图像分辨率低,发现火点时地面可能已经成灾,因此实时性方面较为逊色。
为了更好的对森林火灾进行监测,现有技术中提供了一些其他的方法,例如,申请号为201610029028.7的中国专利公开了一种基于红外-可见光图像的双光谱森林火情监测方法及装置,该专利中首先获取当前场景的红外图像和可见光图像;确定红外图像中的疑似火点标记区域;将疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域;对感兴趣区域内的图像进行验证,根据验证结果确定当前场景中是否存在真实火点。然而该专利中的技术方案,如果当火灾区域距离相机过远,当可见光相机或者红外相机未拍摄到着火点时,会导致红外图像和可见光图像无法建立映射,使得在火灾识别过程中识别准确率低,易发生误报,因此有必要对现有的森林火灾识别方法基于多光谱的森林火灾识别方法进行改进,从而提高森林火灾的识别准确率,从而更好地对森林火灾进行识别,进而及早发现森林火灾,减少损失。
发明内容
技术问题:针对现有技术难以对森林火灾进行准确识别的问题,本发明提供了一种基于多光谱的森林火灾识别方法,基于可见光图像和近红外图像,利用深度学习算法进行图像识别,以及两个相机的同步定位,提高森林火灾识别的准确率;并进一步地,提供一种基于多光谱的森林火灾识别系统、程序及存储介质。
技术方案:本发明的基于多光谱的森林火灾识别方法,包括:
步骤1:利用可见光相机获取场景的可见光图像;利用近红外相机获取场景的近红外图像;
步骤2:采用第一识别模块对可见光图像进行火灾特征识别,标记可见光图像中的疑似火灾区域;利用第二识别模块对近红外图像进行火灾特征识别,标记近红外图像中的疑似火灾区域;
步骤3:将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行匹配,对场景中森林火灾情况进行初次验证;
步骤4:同步调节可见光相机和近红外相机的焦距,再次执行步骤1和步骤2,并将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行二次匹配,对场景中森林火灾情况进行再次验证;
步骤5:经过再次验证后,若认定场景中发生森林火灾,将可见光图像和近红外图像上传至云端服务器,进行云端识别验证,若验证结果显示场景中的发生森林火灾,则进行火灾报警。
进一步地,所述近红外相机的监测波长范围为0.7~1.5μm。
进一步地,可见光相机与近红外相机的镜头倍率、焦距相同,且安装时,可见光相机与近红外相机的光轴保持平行。
进一步地,第一识别模块利用神经网络模型识别可见光图像中的疑似火灾区域,采用的神经网络模型为R-CNN、YOLO、SSD或CenterNet网络模型。
进一步地,第二识别模块识别近红外图像中的疑似火灾区域的方法为:
首先通过伽码变换对近红外图像进行亮度调节,调整近红外图像的质量,完成图像预处理;
然后对预处理后的近红外图像的每个像素点的周围的多尺度邻域进行统计,得到领域的均值和方差;
对待识别像素点通过“3σ”概率准则进行判别,若当前像素值同时大于多尺度邻域的均值加三倍标准差时,认为该像素点为高温火点。
进一步地,进行多尺度领域时,设定三个邻域,大小分别为20*20、50*50和100*100。
进一步地,步骤2和步骤4中,对可见光图像和近红外图像的疑似火灾区域进行匹配的方法为:
可见光图像中的疑似火灾区域为矩形区域,近红外图像中的疑似火灾区域为一点;计算可见光图像中的疑似火灾区域的中心点与近红外图像中的疑似火灾区域的距离,若该距离小于设定阈值,则可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域匹配。
进一步地,利用神经网络多可见光图像进行特征识别前,需对神经网络模型进行训练,方法为:
利用可见光相机采集火灾图像以及正常图像,建立森林火灾图像数据集;对火灾图像中的火灾区域进行边框标注,并对数据集中的图像通过随机裁剪、镜像翻转进行样本增强;利用Adam优化算法对神经网络进行训练,得到训练好的神经网络模型。
进一步地,在云端进行识别时,利用一个或多个神经网络模型对图像进行识别。
本发明的基于多光谱的森林火灾识别系统,采用本发明的基于多光谱的森林火灾识别方法进行森林火灾识别,包括:可见光相机、近红外相机、第一识别模块、第二识别模块、数据传输模块、后端服务器和云服务器;其中,
可见光相机,用于获取场景的可见光图像;
近红外相机,用于获取场景的近红外图像;
第一识别模块,用于对可见光图像进行火灾特征识别,标记可见光图像中的疑似火灾区域;
第二识别模块,用于对近红外图像进行特征识别,标记近红外图像中的疑似火灾区域;
数据传输模块,用于将图像传输到后端服务器;
后端服务器,用于接收图像,并将图像上传至云服务器;
云服务器,内置有一种或多种神经网络模型,用于对森林火灾进行云端识别,并在识别到火灾发生时,将发生火灾的截图及录像发送到后端服务器,进行警报。
进一步地,可见光相机、近红外相机、第一识别模块和第二识别模块均设置在前端,安装可见光相机和近红外相机时,可见光相机与近红外相机的光轴保持平行。
本发明的程序,包括计算机指令,执行所述计算机指令,能够执行本发明的基于多光谱的森林火灾识别方法。
本发明的存储介质,存储有本发明的程序。
有益效果:本发明与现有技术相比,具有以下优点:
(1)本发明的基于多光谱的森林火灾识别方法,利用可见光相机和近红外相机对森林火灾进行监控,通过双相机联动协作,减少了采用单相机容易误报的情况;分别对可见光图像和近红外相机图像进行火灾特征识别,将识别结果进行初次匹配验证,并同步调整相机焦距,对再次获取火灾图像完成识别,进行再次匹配验证,从而有效地提高了识别准确率;同时经再次识别后,再发送到云端进行识别,进一步地提高了识别的准确率,避免了误报。通过测试验证,采用本发明的方法,误报率低于万分之一,在识别目标与背景的对比度不小于10%时,漏报率不大于万分之一。
(2)本发明中,近红外相机的监测波长范围为0.7~1.5μm,该波长范围能够只对300℃以上的高温物体进行监测,低于300℃的干扰物无法在视频画面中显示,有效地避免了高温物体,如马路、工厂排放物、烟囱等的干扰,从而提高了识别准确率,减少误报。
(3)本发明的基于多光谱的森林火灾识别系统,包括可见光相机、可见光相机、近红外相机、第一识别模块、第二识别模块、数据传输模块、后端服务器和云服务器,该系统利用本发明提供的方法进行森林火灾识别,识别准确率高。在本发明的实施例中,可见光相机、可见光相机、近红外相机、第一识别模块、第二识别模块、数据传输模块均设置在前端,后端服务器设置在后端,同时利用云服务器进行识别,能够有效地减少前端硬件的计算压力,在保证具有高的识别准确率的同时,保证了计算速度。
附图说明
图1为本发明的基于多光谱的森林火灾识别方法的流程图;
图2为本发明的基于多光谱的森林火灾识别系统的拓扑图;
图3为本发明的实施例的测试效果图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
结合图1所示,本发明的基于多光谱的森林火灾识别方法,包括:
步骤1:利用可见光相机获取场景的可见光图像;利用近红外相机获取场景的近红外图像。
在本发明的实施例中,可见光相机以及近红外相机,可采用市面上已有的工业相机,或者专用于监控的相机等,具体可根据需要选择。
利用可见光相机对森林场景进行拍摄,得到可见光图像,通常得到的是彩色图像,利用近红外相机对森林场景进行拍摄,得到近红外图像,近红外图像通常为黑白的图像。并且,在本发明的实施例中,选则近红外相机的监测波长范围为0.7~1.5μm,因为采用这个波段的近红外相机,能够只对300℃以上的较高温物体进行监测,低于这个温度的干扰物无法在视频画面上显示,有效避免了高温马路、工厂排放物等干扰。因为这些干扰物的温度通常在200℃以下,远低于燃烧温度,燃烧温度通常在300℃以上,因此本发明的实施例中,采用监测波长范围为0.7~1.5μm的近红外相机,从而有效地避过这些温度较高但又达不到着火点的物体,减少了干扰,从而利于提高森林火灾识别的准确性,同时也能够避免误报。
并且,近红外相机的输出图像最高分辨率可达到1920*1080,相较于现有技术中采用的热成像相机,画面显示的像素更加丰富,能够发现更小的火点,检测范围更广,当配置长焦镜头时,能够监测20km范围内火灾情况。
在本发明的实施例中,采用的可见光相机与近红外相机的镜头倍率、焦距相同,且安装时,可见光相机与近红外相机的光轴保持平行,从而使得两个相机接收的画面保持一致。
步骤2:采用第一识别模块对可见光图像进行火灾特征识别,标记可见光图像中的疑似火灾区域;利用第二识别模块对近红外图像进行火灾特征识别,标记近红外图像中的疑似火灾区域。
第一识别模块中设置有图像处理算法模型,从而能够对可见光图像进行特征识别,因为本发明的方法是用于识别森林火灾,因此第一识别模块利用图像处理算法对森林火灾特征进行识别,然后对识别出的可见光图像中的疑似火灾区域。在本发明的实施例中,第一识别模块采用的神经网络模型,具体的,在本发明的实施例中,可采用R-CNN(RegionConvolutional Neural Networks)、YOLO(You Only Look Once)、SSD(Single ShotMultibox Detector)或CenterNet网络模型,当然,应该说明的是,利用其它现有的能够用于图像识别的神经网络模型,来识别可见光图像中的疑似火灾区域,应该认为是对算法模型的简单替换。
在利用神经网络模型进行火灾特征识别前,需对神经网络模型进行训练,训练的方法为:
利用可见光相机采集火灾图像以及正常图像,建立森林火灾图像数据集;对火灾图像中的火灾区域进行边框标注,并对数据集中的图像通过随机裁剪、镜像翻转进行样本增强;利用Adam优化算法对神经网络进行训练,得到训练好的神经网络模型。
在将可见光图像送入神经网络模型进行特征识别前,可以对可见光图像进行图像预处理,如随机裁剪、镜像翻转等操作,从而更好地可见光图像进行特征识别,准确地识别出可见光图像中的疑似烟火区域,然后将疑似烟火区域标注出来。通常情况下,都是标注出的疑似烟火区域为矩形区域。
在本发明中,采用的是深度学习方法对可见光图像进行识别,有利于提高识别的准确率。
第二识别模块中也同样内置有识别算法,能够对近红外图像进行特征识别,识别出近红外图像中的疑似烟火区域,并将疑似烟火区域标记出。由于近红外相机获取到的近红外图像是黑白的图像,因此,为了能够对近红外图像进行特征识别,在本发明的实施例中,第二识别模块采用如下方法进行特征识别:
首先通过伽码变换对近红外图像进行亮度调节,调整近红外图像的质量,完成图像预处理;然后对预处理后的近红外图像的每个像素点的周围的多尺度邻域进行统计,得到领域的均值和方差;对待识别像素点通过“3σ”概率准则进行判别,若当前像素值同时大于多尺度邻域的均值加三倍标准差时,认为该像素点为高温火点,当对可见光图像中的所有像素点都完成识别后,即可得到近红外图像中的疑似烟火区域,通常也得到一个点。
在本发明的实施例中,设置三个领域,大小分别为20*20、50*50和100*100,说明的是,在其他实施例中,也可以设置更多领域,根据需要设置大小。
步骤3:将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行匹配,对场景中森林火灾情况进行初次验证。
在本发明的实施例中,可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域均为矩形区域,因此进行匹配时,计算可见光图像中的疑似火灾区域的中心点与近红外图像中的疑似火灾区域的中心点的距离,若该距离小于设定阈值,则可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域匹配。在本发明的实施例中,在计算计算可见光图像中的疑似火灾区域的中心点与近红外图像中的疑似火灾区域的中心点的距离时,采用的是欧式距离,当该距离小于设定阈值,则认为匹配,说明该区域中,发生火灾的可能性很大。
步骤4:同步调节可见光相机和近红外相机的焦距,再次执行步骤1和步骤2,并将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行二次匹配,对场景中森林火灾情况进行再次验证。
因为在本发明的实施例中,因为两个相机的镜头倍率、焦距相同,且安装时,可见光相机与近红外相机的光轴保持平行。因此在设备运行时,同步调节可见光相机和近红外相机的焦距,两相机的视场角等参数仍然一致,可同步两台相机对目标进行放大以查看更多细节信息。再重复步骤1和步骤2,会得到新的可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域,然后利用前述的匹配方法,进行二次匹配,对场景中森林火灾情况进行再次验证。如果经过再次验证,依然匹配成功,则进一步验证了识别的区域发生了火灾。
通过可见光通道和近红外通道的联动调整,二次匹配进行再次验证,进一步地提高了识别准确率,避免误报。
步骤5:经过再次验证后,如认定场景中发生森林火灾,将可见光图像和近红外图像上传至云端服务器,进行云端识别验证,若该次验证结果显示场景中的发生森林火灾,则进行火灾报警。
因为常用的嵌入式设备受限于计算能力,可能会导致识别的准确率降低,如果在外界场景中设置大型的计算设备,会导致成本增加,因此为了进一步地提高识别准确率,本发明的实施例中,将经过两次识别验证后,如果已认定场景中发生森林火灾,则将可见光图像和近红外图像上传至云端服务器,进行云端识别验证,验证结果显示场景中的发生森林火灾,则进行火灾报警。
因为在云端服务器中,计算能力强,因此可以设置更复杂的神经识别算法对图像进行识别,从而进一步地是提高火灾识别的准确率。在本发明的实施例中,在云端识别时,可利用一个或多个神经网络模型对图像进行识别,神经网络模型可以为R-CNN、YOLO、SSD和CenterNet网络模型。
采用本发明的方法能够准确地识别森林火灾,并且经过测试,本发明的方法误报率实际测试低于万分之一,在识别目标与背景的对比度不小于10%时,火情监测系统漏报率不大于万分之一,因此识别准确率大幅度提高。
进一步地,基于本发明的基于多光谱的森林火灾识别方法,本发明提供了一种基于多光谱的森林火灾识别系统,如图2所示,该系统包括:可见光相机、近红外相机、第一识别模块、第二识别模块、数据传输模块、后端服务器和云服务器;其中,可见光相机,用于获取场景的可见光图像;近红外相机,用于获取场景的近红外图像;第一识别模块,用于对可见光图像进行特征识别,标记可见光图像中的疑似火灾区域;第二识别模块,用于对近红外图像进行火灾特征识别,标记近红外图像中的疑似火灾区域;数据传输模块,用于将图像传输到后端服务器;后端服务器,用于接收图像,并将图像上传至云服务器;云服务器,内置有一种或多种神经网络模型,用于对森林火灾进行云端识别,并在识别到火灾发生时,将发生火灾的图像发送到后端服务器,进行警报。
本发明的实施例在具体实施时,第一识别模块、第二识别模块以及数据传输模块统计集成为前置式林火智能报警器,并与可见光相机、近红外相机均被设置在前端,即森林场景中。两个相机的镜头倍率、焦距相同,且安装时,可见光相机与近红外相机的光轴保持平行。可见光相机和将拍摄的可将光图像传输到前置式林火智能报警器,近红外相机将拍摄的近红外图像传输到前置式林火智能报警器,图像在前置式林火智能报警器完成相应识别匹配操作。如果经过两次识别验证后,若认定场景中发生森林火灾,则产生报警信息,然后前置式林火智能报警器能够将报警信息以及火灾图像传输给后端服务器。在进行图像传输时,第一种是利用专线,这种传输方式非常稳定,传输距离很远,且信号基本不会受到干扰,图片和视频基本不会受损;第二种方式是通过无线网桥进行传输,利用微波可以实现短距离的信号传输。后端服务器可以直接访问互联网,在收到前端发现的火情后可以转发至云端服务器,在云顿服务器中进行再次识别判断,如果判断发生火灾,则将火灾截图及录像发送至后端服务器,发出火情警报,以便工作人员及时知道火情。
在本发明的其他实施例中,工作人员可以在任何能访问互联网的地方进行远程值班,云端服务器也可以将警报信息发送到工作人员的手机,以便工作人员及时知道火灾发生。
利用本发明的系统,可以准确地对森林火灾进行识别监测,减少误报,从而及时发现森林火灾。
如图3所示,为利用本发明的方法及系统进行森林火灾识别时的情况,可见光和近红外图像画面基本处于同一画面,对于异常的森林火灾,可见光画面上的特征是扩散的烟雾,近红外画面上特征则是异常高温亮点,近红外和可见光通道的协同识别,为火灾检测和判别提供了更多的有效信息。通过本发明的方法判定某位置发生真实火灾时,系统会输出报警截图和录像,并以明显红框标注起火位置。
进一步地,本发明提供一种程序,该程序包括计算机指令,执行计算机指令,能够执行本发明的基于多光谱的森林火灾识别方法,例如,该程序可以采用C++、C、Java等计算机语言编写。
进一步地,本发明还提供一种存储介质,该存储介质中存储有本发明的程序。该存储介质可以是固态或机械式硬盘、U盘以及常用存储介质。
本发明的基于多光谱的森林火灾识别方法及系统,能够对森林火灾进行准确地识别,减少误报,从而能够及早发现火情,避免了森林火灾引起的损失,保护了环境。
上述实施例仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和等同替换,这些对本发明权利要求进行改进和等同替换后的技术方案,均落入本发明的保护范围。

Claims (9)

1.一种基于多光谱的森林火灾识别方法,其特征在于,包括:
步骤1:利用可见光相机获取场景的可见光图像;利用近红外相机获取场景的近红外图像;其中,可见光相机与近红外相机的镜头倍率、焦距相同,且安装时,可见光相机与近红外相机的光轴保持平行;
步骤2:采用第一识别模块对可见光图像进行火灾特征识别,标记可见光图像中的疑似火灾区域;利用第二识别模块对近红外图像进行火灾特征识别,标记近红外图像中的疑似火灾区域;
步骤3:将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行匹配,对场景中森林火灾情况进行初次验证;其中,对可见光图像和近红外图像的疑似火灾区域进行匹配的方法为:
可见光图像中的疑似火灾区域为矩形区域,近红外图像中的疑似火灾区域为一点;计算可见光图像中的疑似火灾区域的中心点与近红外图像中的疑似火灾区域的距离,若该距离小于设定阈值,则可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域匹配;
步骤4:同步调节可见光相机和近红外相机的焦距,再次执行步骤1和步骤2,并将可见光图像中的疑似火灾区域与近红外图像中的疑似火灾区域进行二次匹配,对场景中森林火灾情况进行再次验证;
步骤5:经过再次验证后,若认定场景中发生森林火灾,将可见光图像和近红外图像上传至云端服务器,进行云端识别验证,若验证结果显示场景中的发生森林火灾,则进行火灾报警。
2.根据权利要求1所述的一种基于多光谱的森林火灾识别方法,其特征在于,所述近红外相机的监测波长范围为0.7~1.5μm。
3.根据权利要求1所述的一种基于多光谱的森林火灾识别方法,其特征在于,第一识别模块利用神经网络模型识别可见光图像中的疑似火灾区域,采用的神经网络模型为R-CNN、YOLO、SSD或CenterNet网络模型。
4.根据权利要求1所述的一种基于多光谱的森林火灾识别方法,其特征在于,第二识别模块识别近红外图像中的疑似火灾区域的方法为:
首先通过伽码变换对近红外图像进行亮度调节,调整近红外图像的质量,完成图像预处理;
然后对预处理后的近红外图像的每个像素点的周围的多尺度邻域进行统计,得到领域的均值和方差;
对待识别像素点通过“3σ”概率准则进行判别,若当前像素值同时大于多尺度邻域的均值加三倍标准差时,认为该像素点为高温火点。
5.根据权利要求4所述的一种基于多光谱的森林火灾识别方法,其特征在于,进行多尺度领域时,设定三个邻域,大小分别为20*20、50*50和100*100。
6.根据权利要求4所述的一种基于多光谱的森林火灾识别方法,其特征在于,利用神经网络多可见光图像进行特征识别前,需对神经网络模型进行训练,方法为:
利用可见光相机采集火灾图像以及正常图像,建立森林火灾图像数据集;对火灾图像中的火灾区域进行边框标注,并对数据集中的图像通过随机裁剪、镜像翻转进行样本增强;利用Adam优化算法对神经网络进行训练,得到训练好的神经网络模型。
7.根据权利要求1所述的一种基于多光谱的森林火灾识别方法,其特征在于,在云端进行识别时,利用一个或多个神经网络模型对图像进行识别。
8.一种基于多光谱的森林火灾识别系统,其特征在于,采用权利要求1-7任一项所述的基于多光谱的森林火灾识别方法进行森林火灾识别,包括:可见光相机、近红外相机、第一识别模块、第二识别模块、数据传输模块、后端服务器和云服务器;其中,
可见光相机,用于获取场景的可见光图像;
近红外相机,用于获取场景的近红外图像;
第一识别模块,用于对可见光图像进行火灾特征识别,标记可见光图像中的疑似火灾区域;
第二识别模块,用于对近红外图像进行特征识别,标记近红外图像中的疑似火灾区域;
数据传输模块,用于将图像传输到后端服务器;
后端服务器,用于接收图像,并将图像上传至云服务器;
云服务器,内置有一种或多种神经网络模型,用于对森林火灾进行云端识别,并在识别到火灾发生时,将发生火灾的截图及录像发送到后端服务器,进行警报;
所述可见光相机、近红外相机、第一识别模块和第二识别模块均设置在前端,安装可见光相机和近红外相机时,可见光相机与近红外相机的光轴保持平行。
9.一种存储介质,其特征在于,存储有计算机指令,执行所述计算机指令,能够执行权利要求1-7任一项所述的基于多光谱的森林火灾识别方法。
CN202011122717.5A 2020-10-20 2020-10-20 基于多光谱的森林火灾识别方法、系统、程序及存储介质 Active CN112257554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011122717.5A CN112257554B (zh) 2020-10-20 2020-10-20 基于多光谱的森林火灾识别方法、系统、程序及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122717.5A CN112257554B (zh) 2020-10-20 2020-10-20 基于多光谱的森林火灾识别方法、系统、程序及存储介质

Publications (2)

Publication Number Publication Date
CN112257554A CN112257554A (zh) 2021-01-22
CN112257554B true CN112257554B (zh) 2021-11-05

Family

ID=74244199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122717.5A Active CN112257554B (zh) 2020-10-20 2020-10-20 基于多光谱的森林火灾识别方法、系统、程序及存储介质

Country Status (1)

Country Link
CN (1) CN112257554B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178047A (zh) * 2021-04-21 2021-07-27 广东利盾电气消防检测有限公司 一种建筑消防设施气体灭火控制系统的检测方法
CN113807329B (zh) * 2021-11-18 2022-04-01 深圳市沃特沃德软件技术有限公司 融合监控方法、装置和计算机设备
CN115240359A (zh) * 2022-07-15 2022-10-25 南京信息工程大学 一种基于遥感技术预防森林火灾的监测装置
CN115239138A (zh) * 2022-07-25 2022-10-25 应急管理部国家减灾中心 一种森林火灾动态风险评估方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458865A (zh) * 2008-05-09 2009-06-17 丁国锋 一种火灾探测系统及方法
CN101527073A (zh) * 2009-02-17 2009-09-09 丁国锋 火灾探测系统及方法
CN101989373A (zh) * 2009-08-04 2011-03-23 中国科学院地理科学与资源研究所 基于可见光—热红外的多光谱多尺度森林火情监测方法
CN104036611A (zh) * 2014-06-24 2014-09-10 北京中恩时代科技有限责任公司 一种火灾探测报警的方法及其探测报警器
CN105488941A (zh) * 2016-01-15 2016-04-13 中林信达(北京)科技信息有限责任公司 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN207319395U (zh) * 2017-10-19 2018-05-04 王露露 一种基于近红外图像处理的火灾探测装置
CN109919120A (zh) * 2019-03-15 2019-06-21 江苏鼎集智能科技股份有限公司 一种基于近红外光谱成像的火焰检测方法
CN110390788A (zh) * 2019-08-21 2019-10-29 深圳云感物联网科技有限公司 一种森林防火烟火识别方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199629B (zh) * 2020-02-18 2021-11-23 普宙科技(深圳)有限公司 热源识别装置、无人机以及热源识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458865A (zh) * 2008-05-09 2009-06-17 丁国锋 一种火灾探测系统及方法
CN101527073A (zh) * 2009-02-17 2009-09-09 丁国锋 火灾探测系统及方法
CN101989373A (zh) * 2009-08-04 2011-03-23 中国科学院地理科学与资源研究所 基于可见光—热红外的多光谱多尺度森林火情监测方法
CN104036611A (zh) * 2014-06-24 2014-09-10 北京中恩时代科技有限责任公司 一种火灾探测报警的方法及其探测报警器
CN105488941A (zh) * 2016-01-15 2016-04-13 中林信达(北京)科技信息有限责任公司 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN207319395U (zh) * 2017-10-19 2018-05-04 王露露 一种基于近红外图像处理的火灾探测装置
CN109919120A (zh) * 2019-03-15 2019-06-21 江苏鼎集智能科技股份有限公司 一种基于近红外光谱成像的火焰检测方法
CN110390788A (zh) * 2019-08-21 2019-10-29 深圳云感物联网科技有限公司 一种森林防火烟火识别方法及其系统

Also Published As

Publication number Publication date
CN112257554A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112257554B (zh) 基于多光谱的森林火灾识别方法、系统、程序及存储介质
CN109461168B (zh) 目标对象的识别方法和装置、存储介质、电子装置
CN104966372B (zh) 多数据融合的森林火灾智能识别系统和方法
CN104657940B (zh) 畸变图像校正复原与分析报警的方法和装置
CN101833838B (zh) 一种大范围火灾分析预警系统
CN102693603B (zh) 一种基于双光谱的森林防火智能监控系统
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
KR101953342B1 (ko) 멀티 센서 화재감지 방법 및 시스템
CN111985365A (zh) 一种基于目标检测技术的秸秆焚烧监测方法和系统
Lim et al. Gun detection in surveillance videos using deep neural networks
CN111899452A (zh) 基于边缘计算的森林防火预警系统
CN104954744A (zh) 烟雾检测系统
CN104363414A (zh) 一种智能视频的分析方法
CN113095114A (zh) 液压系统漏油检测方法、装置和设备
CN116797977A (zh) 巡检机器人动态目标识别与测温方法、装置和存储介质
KR20180053118A (ko) 가시광 통신을 이용한 IoT 모니터링 시스템
CN114120171A (zh) 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质
Batista et al. Improved real-time wildfire detection using a surveillance system
KR20210094931A (ko) 영상 기반 재난 감지 방법 및 장치
CN111126230A (zh) 一种烟雾浓度的量化评价方法及应用该方法的电子设备
CN108520615B (zh) 一种基于图像的火灾识别系统和方法
CN114299451A (zh) 一种深度学习监控视频遮挡的识别系统及方法
CN111428695B (zh) 一种基于深度学习与地域特征的秸秆燃烧检测方法
Adurkar et al. Fire detection using HSV color picker: a review
CN113807467A (zh) 一种基于光学图像和红外图像融合分析的森林防火监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant