CN117765680B - 森林火险监测预警方法、装置、设备和存储介质 - Google Patents
森林火险监测预警方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117765680B CN117765680B CN202410195807.9A CN202410195807A CN117765680B CN 117765680 B CN117765680 B CN 117765680B CN 202410195807 A CN202410195807 A CN 202410195807A CN 117765680 B CN117765680 B CN 117765680B
- Authority
- CN
- China
- Prior art keywords
- fire
- early warning
- visible light
- current
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 239000000779 smoke Substances 0.000 claims abstract description 61
- 238000013135 deep learning Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 239000000428 dust Substances 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 239000008264 cloud Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000003595 mist Substances 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003897 fog Substances 0.000 description 5
- 239000002689 soil Substances 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- RNFJDJUURJAICM-UHFFFAOYSA-N 2,2,4,4,6,6-hexaphenoxy-1,3,5-triaza-2$l^{5},4$l^{5},6$l^{5}-triphosphacyclohexa-1,3,5-triene Chemical compound N=1P(OC=2C=CC=CC=2)(OC=2C=CC=CC=2)=NP(OC=2C=CC=CC=2)(OC=2C=CC=CC=2)=NP=1(OC=1C=CC=CC=1)OC1=CC=CC=C1 RNFJDJUURJAICM-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003063 flame retardant Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
本发明属于森林火灾监测技术领域,公开了一种森林火险监测预警方法、装置、设备和存储介质,其中,方法包括:获取同一森林区域当前的可见光图像和红外图像;利用基于深度学习的烟雾检测模型对可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;计算当前的FWI指数;根据当前的FWI指数确定当前的火险等级;根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。本发明可提高森林火灾发生初期烟雾识别的准确性,尤其是排除云、雾、灰尘等引起的干扰,从而提高火情预警准确性。
Description
技术领域
本申请涉及森林火灾监测预警技术领域,特别是涉及到一种森林火险监测预警方法、装置、设备和存储介质。
背景技术
随着图像处理技术和视频分析技术的发展,基于视频识别的森林火灾监测技术在林火防控领域愈发的受到重视,目前应用于森林火灾视频图像监测系统监测的对象主要是火焰和烟雾。当森林火情出现初期,火焰太小容易被林木遮挡而监测不到,当火焰大到能够识别并监测到时,火情已经扩散到一定的规模,这样给扑救带来一定的难度;烟雾识别可以在森林火灾初期发现火情,如果在森林火灾发生初期做出预警,就可以降低扑救难度、减少生命和财产损失,但火灾引起的烟雾与水雾、尘土、云很相似,现有方法又不能很好将他们区分,导致误识别率较高。因此,如何提高森林火灾发生初期烟雾识别的准确性,从而提高火情预警准确性是目前亟需解决的技术问题。
发明内容
本发明的主要目的为提供一种森林火险监测预警方法、装置、设备和存储介质,旨在提高森林火灾发生初期烟雾识别的准确性,尤其是区别出水雾、尘土、云等易发生误报警的情形,从而提高预警准确性。
本发明提供一种森林火险监测预警方法,所述方法包括:
获取同一森林区域当前的可见光图像和红外图像;
利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;
判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;
计算当前的FWI指数;
根据当前的FWI指数确定当前的火险等级;
根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。
进一步的,所述火险等级包括5个级别,分别为1级、2级、3级、4级和5级,所述根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警的步骤包括:
根据如下规则确定是否进行火情预警:
若火险等级为2级,且所述可见光图像发生火情的置信度大于或等于第一阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,基于红外图像的判断结果为1表示所述红外图像的局部温度值超出预警值;
若火险等级为3级,且所述可见光图像发生火情的置信度大于或等于第二阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为4级,且所述可见光图像发生火情的置信度大于或等于第三阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为5级,且所述可见光图像发生火情的置信度大于或等于第四阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,所述第一阈值大于所述第二阈值,所述第二阈值大于所述第三阈值,所述第三阈值大于所述第四阈值;
其他情况不进行火情预警。
进一步的,所述获取同一森林区域当前的可见光图像和红外图像之前,所述方法还包括:
对收集到的森林火情初期的图像打标签,标注出真实火点及烟火的位置和形状;其中,所述森林火情初期的图像为可见光图像;
对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状;引起火情误报的对象包括云、雾以及尘土;
利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型。
进一步的,所述预设模型通过如下方法构建得到:
获取YOLOv5模型;
在所述YOLOv5模型的特征提取网络引入EMA注意力机制,获得所述预设模型。
进一步的,所述利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型包括:
基于打过标签的图像,采用Mosaic进行数据增强,使用YOLOv5s官方预训练权重,训练迭代数为 600 epochs,Batch-size 为16,优化器采用SGD,初始学习率为0.01,动量为0.937,权重衰减的正则化系数为0.005对所述预设模型进行训练,获得所述基于深度学习的烟雾检测模型。
进一步的,所述计算当前的FWI指数的步骤包括:
从气象站点中获取指定的数据;其中,所述指定的数据包括温度、相对湿度、风速和降雨量;
将所述指定的数据输入FWI计算模型中进行计算,获得当前的FWI指数;其中,所述FWI计算模型各组分因子采用时间序列的气象因子进行计算,且时间长度要比当前需要分析的数据提前N年以上;其中,N大于0。
进一步的,所述根据当前的FWI指数确定当前的火险等级的步骤包括:
获取所述森林区域的各火险等级的FWI火险阈值;
根据当前FWI指数和所述各火险等级的FWI火险阈值确定当前的火险等级。
第二方面,本申请提供一种森林火险监测预警装置,所述装置包括:
图像获取模块,用于获取同一森林区域当前的可见光图像和红外图像;
检测模块,用于利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;
判断模块,用于判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;
计算模块,用于计算当前的FWI指数;
火险等级确定模块,用于根据当前的FWI指数确定当前的火险等级;
确定模块,用于根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的森林火险监测预警方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的森林火险监测预警方法的步骤。
在林火监测场景下,可见光图像难以区分烟火与其他像水雾、尘土、云彩、机器尾气等形状,导致误识别率较高,本发明综合考虑了可见光图像和红外图像的特征值,且引入了FWI指数,能够区别出水雾、尘土、云等易发生误报警的情形,极大地提高了森林火灾发生初期烟雾识别的准确性,从而提高了火情预警的准确性。
附图说明
图1为本发明一实施例提供的森林火险监测预警方法的流程示意图;
图2为本发明一实施例提供的预设模型的框架图;
图3为EMA注意力机制的计算流程图;
图4为本发明一实施例提供的森林火险监测预警装置的结构示意图;
图5是本发明一实施例提供的计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
如图1所示,本申请实施例提供一种森林火险监测预警方法,所述方法包括步骤S1-S6:
S1、获取同一森林区域当前的可见光图像和红外图像。
在步骤S1中,具体地,通过部署可见光红外双光谱摄像机对森林区域进行拍摄,即可得到同一森林区域的可见光图像和红外图像。
S2、利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度。
在步骤S2中,所述基于深度学习的烟雾检测模型预先训练得到,具体地,对收集到的森林火情初期的可见光图像打标签,标注出真实火点及烟火的位置和形状,对收集到的其他会引起火情误报的可见光图像,如雾气图像、云彩图像、机器高温图像、湖面反光图像、建筑烟冲图像等,并对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状,引起火情误报的对象包括云、雾以及尘土等,标注时,分为四类进行标注,分别是火、云、雾以及其他,然后以检测出烟雾为目标,利用预设模型对打过标签的图像进行深度学习训练,最终训练得到能够检测出烟雾的模型,该模型的输出为输入图像发生火情的置信度。输入图像发生火情的置信度应当理解为输入图像所对应实际环境出现火情的置信度。
S3、判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果。
在步骤S3中,红外图像是基于红外热成像技术生成的,红外热成像技术通过接收物体发射的红外线,将被测目标物体表面的红外辐射转变成视频信号,同时接收被探测目标自身辐射的热能,并将其转换成反映目标特征的实时物体表面的热图像,即得到被测目标的温度分布从而判断物体所处的状态。林区背景温度一般在-40度到60度,而森林可燃物产生的火焰的温度为600到1200度,两者温差较大,可以早发现热源,从而达到预防火灾的目的。燃烧或阴燃的火点位置温度会远超过周围温度,因此温度特征是用于火场识别的首选,也是在森林火灾监测预警中为可见光摄像机配置红外摄像机的主要原因。若红外图像的局部温度值超出预设的预警值,那么,则认为该红外图像对应的森林区域极有可能发生火灾。当红外图像的局部温度值超出预设的预警值时,将其判断结果记为1。当红外图像的局部温度值没有超出预设的预警值时,则将其判断结果记为0。
S4、计算当前的FWI指数。
S5、根据当前的FWI指数确定当前的火险等级。
在步骤S4、S5中,在林火生态研究中,FWI指数(林火天气指数)是预测森林发生林火行为、能量释放、估计火险大小的主要指标,能够比较好地反映火险天气情况。具体地,通过气象站点可以获取到包括温度、湿度、风速、风向、土壤温度、土壤含水率、近1小时雨量、连续无雨日等数据,依据这些数据,根据FWI计算公式计算出火险等级,作为森林火灾风险预警辅助判断的依据。另外,在中国林区普遍使用五级制,根据计算出来的FWI指数,将火险等级分为:一级—不燃;二级—难燃;三级—可燃;四级—易燃;五级—强燃。
S6、根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。
步骤S6中,具体地,根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果判断识别到的烟雾是否的确是火灾产生的烟雾,如果是,则进行火情预警,否则,不进行火情预警。
在林火监测场景下,可见光图像难以区分烟火与其他像云彩、水雾、机器尾气等形状导致误识别率较高,本发明综合考虑了可见光图像和红外图像的特征值,且引入了FWI指数,能够区别出水雾、尘土、云等易发生误报警的情形,极大地提高了森林火灾发生初期烟雾识别的准确性,从而提高了火情预警的准确性。
在一实施例中,所述火险等级包括5个级别,分别为1级、2级、3级、4级和5级,所述根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警的步骤包括:
根据如下规则确定是否进行火情预警:
若火险等级为2级,且所述可见光图像发生火情的置信度大于或等于第一阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,基于红外图像的判断结果为1表示所述红外图像的局部温度值超出预警值;
若火险等级为3级,且所述可见光图像发生火情的置信度大于或等于第二阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为4级,且所述可见光图像发生火情的置信度大于或等于第三阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为5级,且所述可见光图像发生火情的置信度大于或等于第四阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,所述第一阈值大于所述第二阈值,所述第二阈值大于所述第三阈值,所述第三阈值大于所述第四阈值;
其他情况不进行火情预警。
在这一实施例中,其目的在于提高火情预警的准确性。具体地,若火险等级为2级,且所述可见光图像发生火情的置信度大于或等于第一阈值以及基于红外图像的判断结果为1,则判定识别到的烟雾是火灾产生的烟雾,进行火情预警;其中,基于红外图像的判断结果为1表示所述红外图像的局部温度值超出预警值。若火险等级为3级,且所述可见光图像发生火情的置信度大于或等于第二阈值以及基于红外图像的判断结果为1,则判定识别到的烟雾是火灾产生的烟雾,进行火情预警;若火险等级为4级,且所述可见光图像发生火情的置信度大于或等于第三阈值以及基于红外图像的判断结果为1,则判定识别到的烟雾是火灾产生的烟雾,进行火情预警。若火险等级为5级,且所述可见光图像发生火情的置信度大于或等于第四阈值以及基于红外图像的判断结果为1,则判定识别到的烟雾是火灾产生的烟雾,进行火情预警。除了上述需要进行火情预警的情况,其他情况不进行火情预警,即其他情况对应的烟雾不是火灾产生的烟雾,比如,当火险等级为1级时,识别到的烟雾不是火灾产生的烟雾,不进行火情预警。即当火险等级为1级时,无论置信度的值是多少以及基于红外图像的判断结果是什么,只要火险等级为1级时,就不进行火情预警;又比如,对于火险等级为2级、所述可见光图像发生火情的置信度大于或等于第一阈值、基于红外图像的判断结果为0的情况,不进行火情预警。表1是属于需要进行火情预警的情况;其中,预警结果为1表示需要进行火情预警。
表1需要进行森林火情预警的情况
在一个实施例中,所述第一阈值为90%,第二阈值为80%,第三阈值为65%,第四阈值为58%。
需要说明的是,所述第一阈值、第二阈值、第三阈值以及第四阈值根据环境条件略有变化,并不限于所述90%、80%、65%和58%。
在一实施例中,所述获取同一森林区域当前的可见光图像和红外图像之前,所述方法还包括:
对收集到的森林火情初期的图像打标签,标注出真实火点及烟火的位置和形状;其中,所述森林火情初期的图像为可见光图像;
对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状;引起火情误报的对象包括云、雾以及尘土;
利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型。
在本申请实施例中,具体地,收集大量的森林火情初期的图像,然后对这些图像进行打标签,标注出火点及烟火的位置和形状,收集其他会引起火情误报的可见光图像,这些会引起火情误报的可见光图像包括雾气图像、云彩图像、机器高温图像、湖面反光图像、建筑烟冲图像等,并对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状,引起火情误报的对象包括云、雾以及尘土等,标注时,分为四类进行标注,分别是火、云、雾以及其他,然后利用预设模型对这些打过标签的图像进行深度学习训练,最终获得所述基于深度学习的烟雾检测模型。通过深度学习训练,更能准确地实现火情初期烟雾的检测。另外,通过该训练方法训练得到的烟雾检测模型,可以获得含有水雾、云彩、灰尘、大型机器的尾气、太阳的倒影的图像发生火情的置信度。
在一实施例中,所述预设模型通过如下方法构建得到:
获取YOLOv5模型;
在所述YOLOv5模型的特征提取网络引入EMA注意力机制,获得所述预设模型。
在这一实施例中,其目的在于提升模型预测能力以及提高网络的特征表示能力。具体地,YOLO系列目标检测模型不需要对一个图像进行数千次的查看(提取数千个AnchorBox)来产生一个分类结果,而是将对象检测问题转化为回归问题,使用一个深度神经网络预测对象信息,并直接生成每个类别的坐标和概率。在训练过程中,它一次处理整个图像,它的预测是由图像的全局上下文决定的,因此YOLO是一种端到端的单阶段方法,至今通过不断优化诞生了多个版本。YOLOv5在预测框的筛选上采用了加权NMS的方式,也进一步提升了模型预测能力,因此本发明选择YOLOv5对可见光图像进行深度学习训练,并在YOLOv5模型特征提取网络引入EMA(Exponential Moving Average)注意力机制,提高网络的特征表示能力,本发明所采用网络模型框架如图2所示,图2中,Focus模块是一种特殊的卷积操作,用于提取输入特征图的局部信息。Leaky relu ,其英文全称是Leaky Rectified LinearUnit,它是一种激活函数。CBL的英文全称是Convolution-BatchNorm-LeakyReLU,它是一种由卷积层、批归一化层和LeakyReLu激活函数层组成的模块。CSP的英文全称是Cross StagePartial,其含义是跨阶段部分连接;SPP 的英文全称是Spatial Pyramid,其含义是空间金字塔池化;Res Unit表示残差组件,Y1、Y2、Y3表示不同的预测出的特征图。
其中,除了EMA模块,该框架为现有YOLOv5框架,在YOLOv5模型特征提取网络加入EMA模块,即引入了EMA注意力机制。EMA注意力机制的计算流程如图3,图3中,C*H*W中的C表示通道数, H表示图像的高度,W表示图像的宽度,G表示特征分组,C//G*H*W 中的C//G表示特征分组后特征图的表示。EMA注意力机制计算流程为现有流程,该EMA注意力机制充分考虑了特征分组和多尺度结构,有利于有效地建立短期和长期依赖关系,从而获得更好的性能。该模块通过三条平行路线来提取分组特征图的注意力权重描述符。在1x1分支中分别沿两个空间方向对通道进行编码采用了两个1D(即两个一维)全局平均池化操作,在3x3分支中仅堆叠一个3x3内核以捕获多尺度特征表示。将1x1卷积的输出分解为两个向量后,利用两个非线性Sigmoid函数拟合线性卷积后的二维二项分布。为了在1x1分支的两条平行路径之间实现不同的跨通道交互特征,通过乘法将每个组内的两个通道智能注意力图聚合在一起。3x3分支通过3x3卷积捕获局部跨通道交互以扩大特征空间。对信道间信息进行编码以调整不同信道的重要性,而且将精确的空间结构信息保留到信道中。利用二维全局平均池化对1x1支路输出的全局空间信息进行编码。最后,将每组内的输出特征映射计算为生成的两个空间注意力权重值的集合,然后使用Sigmoid函数,突出显示所有像素的全局上下文。考虑了跨空间信息聚合方法,并行使用3x3和1x1卷积可以在中间特征中利用更多的上下文信息,在建模远程依赖关系的同时,将精确的位置信息嵌入到EMA机制中。
在一实施例中,所述利用打过标签的图像对预设模型进行训练,获得所述基于深度学习的烟雾检测模型包括:
基于打过标签的图像,采用Mosaic进行数据增强,使用YOLOv5s官方预训练权重,训练迭代数为 600 epochs,Batch-size 为16,优化器采用SGD,初始学习率为0.01,动量为0.937,权重衰减的正则化系数为0.005对所述预设模型进行训练,获得所述基于深度学习的烟雾检测模型。
在本申请实施例中,Mosaic是一种常用的数据增强方法,它可以通过将多张图片拼接在一起来生成新的训练数据,这种方法可以有效地增加数据集的大小,从而提高模型的泛化能力和准确率。epochs(时期)是在机器学习中用于训练神经网络的一个概念。一个epoch表示将训练数据集中的所有样本都输入到神经网络中进行一次正向传播和反向传播的过程。Batch size(批大小)是在机器学习中用于训练神经网络的一个参数,表示每个批次中包含的样本数量。SGD(Stochastic Gradient Descent,随机梯度下降算法)是深度学习中非常重要的一个优化算法,SGD优化器通过不断调整权重参数,使神经网络的损失函数最小化,从而获得最优的预测效果。另外,模型损失函数为LOSS=a*box_loss+b*seg_loss+c*obj_loss;其中,box_oss为边界框损失,obj_loss为置信度损失、seg_loss为分割损失,a、b、c为对应的权重。边界框损失box_ loss用于衡量模型预测的边界框与真实边界框之间差异,这有助于确保模型能够准地定位对象,置信度损失obj_loss用于衡量模型预测的框(即包合对象的矩形) 与真实框之间的差异;分割失seg loss用于衡量模型预测的mask(掩膜)与真实的mask的差异;其中,分割损失和置信度损失均可以采用二元交叉熵损失函数、边界框损失可以采用GloU损失函数。
在一实施例中,所述计算当前的FWI指数的步骤包括:
从气象站点中获取指定的数据;其中,所述指定的数据包括温度、相对湿度、风速和降雨量;
将所述指定的数据输入FWI计算模型中进行计算,获得当前的FWI指数;其中,所述FWI计算模型各组分因子采用时间序列的气象因子进行计算,且
时间长度要比当前需要分析的数据提前N年以上;其中,N大于0。
需要说明的是,FWI指数计算涉及到很多因子,除了温度、相对湿度、风速和降雨量外,还包括土壤温度、土壤含水率、近1小时雨量、连续无雨日等等数据,由于FWI指数计算是现有方法,本发明实施例在此不做过多赘述。在这一实施例中,其目的是尽可能地减少因初始值的不同而对结果造成的影响。具体地,由于FWI指数是基于累积计算的指标,每天的FWI指数都依赖于前一天的FWI指数作为初始值,初始值的高低会影响到后续指定的计算结果,从而影响到最终的FWI指数的准确性,本申请通过采用基于时间序列的气象因子进行FWI计算模型各组分因子的计算,且时间长度要比当前分析的数据(即上述提及到的从气象站点中获取到的数据)提前N(N根据实际情况设定,一般选择1)年以上,可以尽可能地减少因初始值的不同而对结果造成的影响,另外,在进行分析时对受初始值影响的时间段不纳入分析过程,可以进一步尽可能地减少因初始值的不同而对结果造成的影响。
在一实施例中,所述根据当前的FWI指数确定当前的火险等级的步骤包括:
获取所述森林区域的各火险等级的FWI火险阈值;
根据当前FWI指数和所述各火险等级的FWI火险阈值确定当前的火险等级。
在这一实施例中,其目的是提高当前的火险等级判断准确性。具体地,根据所述森林区域所在地区过去的火灾数据和气象观测数据统计分析出所述森林区域的各火险等级的FWI火险阈值,然后将当前FWI指数和这些FWI火险阈值进行比较,确定当前的火险等级。在一个例子中,A森林各火险等级的FWI火险阈值如下表2所示:
表2FWI火险阈值
本申请通过利用当前森林区域过去的火灾数据和气象观测数据统计分析出该森林区域各火险等级的FWI火险阈值,做到了FWI火险阈值和地区相匹配,并利用计算出的这些FWI火险阈值计算出当前森林区域的火险等级,从而提高了当前的火险等级判断的准确性。
采用上述各实施例的举例方法以及各实施例的举例,经过验证,本发明的准确率(Accuracy)达到了94.12%,精确率(Precision)为96.1%,召回率(Recall)为93.67,F1-score()是94.87。如图4所示,本申请实施例还提供一种森林火险监测预警装置,所述装置包括:
图像获取模块1,用于获取同一森林区域当前的可见光图像和红外图像;
识别模块2,用于利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;
判断模块3,用于判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;
计算模块4,用于计算当前的FWI指数;
火险等级确定模块5,用于根据当前的FWI指数确定当前的火险等级;
确定模块6,用于根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。
在一实施例中,所述火险等级包括5个级别,分别为1级、2级、3级、4级和5级,所述根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警包括:
根据如下规则确定是否进行火情预警:
若火险等级为2级,且所述可见光图像发生火情的置信度大于或等于第一阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,基于红外图像的判断结果为1表示所述红外图像的局部温度值超出预警值;
若火险等级为3级,且所述可见光图像发生火情的置信度大于或等于第二阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为4级,且所述可见光图像发生火情的置信度大于或等于第三阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为5级,且所述可见光图像发生火情的置信度大于或等于第四阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,所述第一阈值大于所述第二阈值,所述第二阈值大于所述第三阈值,所述第三阈值大于所述第四阈值;
其他情况不进行火情预警。
在一实施例中,所述装置还包括:
标注模块,用于对收集到的森林火情初期的图像打标签,标注出火点及烟火的位置和形状;其中,所述森林火情初期的图像为可见光图像;
对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状;引起火情误报的对象包括云、雾以及尘土;
训练模块,用于利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型。
在一实施例中,所述预设模型通过如下方法构建得到:
获取YOLOv5模型;
在所述YOLOv5模型的特征提取网络引入EMA注意力机制,获得所述预设模型。
在一实施例中,所述利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型包括:
基于打过标签的图像,采用Mosaic进行数据增强,使用YOLOv5s官方预训练权重,训练迭代数为 600 epochs,Batch-size 为16,优化器采用SGD,初始学习率为0.01,动量为0.937,权重衰减的正则化系数为0.005对所述预设模型进行训练,获得所述基于深度学习的烟雾检测模型。
在一实施例中,所述计算模块4包括:
获取单元,用于从气象站点中获取指定的数据;其中,所述指定的数据包括温度、相对湿度、风速和降雨量;
计算单元,用于将所述指定的数据输入FWI计算模型中进行计算,获得当前的FWI指数;其中,所述FWI计算模型各组分因子采用时间序列的气象因子进行计算,且时间长度要比当前需要分析的数据提前N年以上;其中,N大于0。
在一实施例中,所述火险等级确定模块5包括:
FWI火险阈值获取单元,用于获取所述森林区域的各火险等级的FWI火险阈值;
确定单元,用于根据当前FWI指数和所述各火险等级的FWI火险阈值确定当前的火险等级。
参照图5,本发明实施例还提供一种计算机设备,该计算机设备的内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储森林火险监测预警的数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地,上述计算机设备还可以设置有输入装置和显示屏等。上述计算机程序被处理器执行时以实现森林火险监测预警方法,包括如下步骤:获取同一森林区域当前的可见光图像和红外图像;利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;计算当前的FWI指数;根据当前的FWI指数确定当前的火险等级;根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现森林火险监测预警方法,包括如下步骤:获取同一森林区域当前的可见光图像和红外图像;利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;计算当前的FWI指数;根据当前的FWI指数确定当前的火险等级;根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种森林火险监测预警方法,其特征在于,所述方法包括:
获取同一森林区域当前的可见光图像和红外图像;
利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;
判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;
计算当前的FWI指数;
根据当前的FWI指数确定当前的火险等级;
根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警;
所述火险等级包括5个级别,分别为1级、2级、3级、4级和5级,所述根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警的步骤包括:
根据如下规则确定是否进行火情预警:
若火险等级为2级,且所述可见光图像发生火情的置信度大于或等于第一阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,基于红外图像的判断结果为1表示所述红外图像的局部温度值超出预警值;若红外图像的局部温度值超出预设的预警值,则认为该红外图像对应的森林区域有可能发生火灾;
若火险等级为3级,且所述可见光图像发生火情的置信度大于或等于第二阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为4级,且所述可见光图像发生火情的置信度大于或等于第三阈值以及基于红外图像的判断结果为1,则进行火情预警;
若火险等级为5级,且所述可见光图像发生火情的置信度大于或等于第四阈值以及基于红外图像的判断结果为1,则进行火情预警;其中,所述第一阈值大于所述第二阈值,所述第二阈值大于所述第三阈值,所述第三阈值大于所述第四阈值;
其他情况不进行火情预警;
所述获取同一森林区域当前的可见光图像和红外图像之前,所述方法还包括:
对收集到的森林火情初期的图像打标签,标注出真实火点及烟火的位置和形状;其中,所述森林火情初期的图像为可见光图像;
对收集到的其他会引起火情误报的可见光图像打上标签,标注出引起火情误报的对象以及引起火情误报的对象所在的位置和形状;引起火情误报的对象包括云、雾以及尘土;
利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型。
2.根据权利要求1所述的森林火险监测预警方法,其特征在于,所述预设模型通过如下方法构建得到:
获取YOLOv5模型;
在所述YOLOv5模型的特征提取网络引入EMA注意力机制,获得所述预设模型。
3.根据权利要求2所述的森林火险监测预警方法,其特征在于,所述利用预设模型对打过标签的图像进行深度学习训练,获得所述基于深度学习的烟雾检测模型包括:
基于打过标签的图像,采用Mosaic进行数据增强,使用YOLOv5s官方预训练权重,训练迭代数为 600 epochs,Batch-size 为16,优化器采用SGD,初始学习率为0.01,动量为0.937,权重衰减的正则化系数为0.005对所述预设模型进行训练,获得所述基于深度学习的烟雾检测模型。
4.根据权利要求1所述的森林火险监测预警方法,其特征在于,所述计算当前的FWI指数的步骤包括:
从气象站点中获取指定的数据;其中,所述指定的数据包括温度、相对湿度、风速和降雨量;
将所述指定的数据输入FWI计算模型中进行计算,获得当前的FWI指数;其中,所述FWI计算模型各组分因子采用时间序列的气象因子进行计算,且时间长度要比当前需要分析的数据提前N年以上;其中,N大于0。
5.根据权利要求1所述的森林火险监测预警方法,其特征在于,所述根据当前的FWI指数确定当前的火险等级的步骤包括:
获取所述森林区域的各火险等级的FWI火险阈值;
根据当前FWI指数和所述各火险等级的FWI火险阈值确定当前的火险等级。
6.一种森林火险监测预警装置,其特征在于,用于执行权利要求1-5任一项所述的森林火险监测预警方法,所述装置包括:
图像获取模块,用于获取同一森林区域当前的可见光图像和红外图像;
检测模块,用于利用基于深度学习的烟雾检测模型对所述可见光图像进行烟雾检测,获得所述可见光图像发生火情的置信度;
判断模块,用于判断所述红外图像的局部温度值是否超出预设的预警值,获得基于红外图像的判断结果;
计算模块,用于计算当前的FWI指数;
火险等级确定模块,用于根据当前的FWI指数确定当前的火险等级;
确定模块,用于根据所述火险等级、所述可见光图像发生火情的置信度和所述基于红外图像的判断结果确定是否进行火情预警。
7.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的森林火险监测预警方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的森林火险监测预警方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195807.9A CN117765680B (zh) | 2024-02-22 | 2024-02-22 | 森林火险监测预警方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195807.9A CN117765680B (zh) | 2024-02-22 | 2024-02-22 | 森林火险监测预警方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117765680A CN117765680A (zh) | 2024-03-26 |
CN117765680B true CN117765680B (zh) | 2024-05-03 |
Family
ID=90322407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410195807.9A Active CN117765680B (zh) | 2024-02-22 | 2024-02-22 | 森林火险监测预警方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117765680B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673448A (zh) * | 2009-09-30 | 2010-03-17 | 青岛科恩锐通信息技术有限公司 | 一种森林火灾探测方法及系统 |
CN103854413A (zh) * | 2014-03-10 | 2014-06-11 | 南京林业大学 | 一种森林火灾天气指数预警系统及应用 |
CN103886130A (zh) * | 2014-02-24 | 2014-06-25 | 中国林业科学研究院森林生态环境与保护研究所 | 森林火灾可燃物燃烧效率的估算方法 |
CN113345194A (zh) * | 2021-04-29 | 2021-09-03 | 浙江大华技术股份有限公司 | 森林火情预警方法、系统、电子装置和存储介质 |
CN115019164A (zh) * | 2022-04-21 | 2022-09-06 | 青岛鼎信通讯消防安全有限公司 | 一种基于深度学习方法的图像型火灾探测器烟火识别方法 |
CN116385959A (zh) * | 2023-03-10 | 2023-07-04 | 唐山惠唐物联科技有限公司 | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 |
CN116778406A (zh) * | 2023-05-16 | 2023-09-19 | 浪潮软件集团有限公司 | 基于国产cpu和os的多图像融合下的火灾监测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102280005B (zh) * | 2011-06-09 | 2014-10-29 | 广州飒特红外股份有限公司 | 基于红外热成像技术的森林防火预警系统及方法 |
-
2024
- 2024-02-22 CN CN202410195807.9A patent/CN117765680B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673448A (zh) * | 2009-09-30 | 2010-03-17 | 青岛科恩锐通信息技术有限公司 | 一种森林火灾探测方法及系统 |
CN103886130A (zh) * | 2014-02-24 | 2014-06-25 | 中国林业科学研究院森林生态环境与保护研究所 | 森林火灾可燃物燃烧效率的估算方法 |
CN103854413A (zh) * | 2014-03-10 | 2014-06-11 | 南京林业大学 | 一种森林火灾天气指数预警系统及应用 |
CN113345194A (zh) * | 2021-04-29 | 2021-09-03 | 浙江大华技术股份有限公司 | 森林火情预警方法、系统、电子装置和存储介质 |
CN115019164A (zh) * | 2022-04-21 | 2022-09-06 | 青岛鼎信通讯消防安全有限公司 | 一种基于深度学习方法的图像型火灾探测器烟火识别方法 |
CN116385959A (zh) * | 2023-03-10 | 2023-07-04 | 唐山惠唐物联科技有限公司 | 一种基于深度学习的皮带通廊全域烟雾实时检测方法 |
CN116778406A (zh) * | 2023-05-16 | 2023-09-19 | 浪潮软件集团有限公司 | 基于国产cpu和os的多图像融合下的火灾监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117765680A (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Syifa et al. | Detection of the pine wilt disease tree candidates for drone remote sensing using artificial intelligence techniques | |
CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
US11568178B2 (en) | Closed loop automatic dataset creation systems and methods | |
Hong et al. | Active fire detection using a novel convolutional neural network based on Himawari-8 satellite images | |
CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
CN113469278A (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
CN114898238A (zh) | 一种野生动物遥感识别方法及装置 | |
Leinonen et al. | Unsupervised classification of snowflake images using a generative adversarial network and K-medoids classification | |
Kan et al. | Snow Cover Mapping for Mountainous Areas by Fusion of MODIS L1B and Geographic Data Based on Stacked Denoising Auto-Encoders. | |
Madkar et al. | Video based forest fire and smoke detection using YoLo and CNN | |
Abraham et al. | Classification and detection of natural disasters using machine learning and deep learning techniques: A review | |
Kim et al. | Data-to-data translation-based nowcasting of specific sea fog using geostationary weather satellite observation | |
CN116910491B (zh) | 一种雷电监测预警系统、方法、电子设备及存储介质 | |
CN117765680B (zh) | 森林火险监测预警方法、装置、设备和存储介质 | |
Khennou et al. | Improving wildland fire spread prediction using deep U-Nets | |
Wang et al. | Improving YOLOX network for multi-scale fire detection | |
Rajan et al. | Forest fire detection using machine learning | |
CN116206221A (zh) | 一种水体耀斑检测方法和系统 | |
Qiao et al. | FireFormer: an efficient Transformer to identify forest fire from surveillance cameras | |
Maile et al. | The successes and pitfalls: Deep‐learning effectiveness in a Chernobyl field camera trap application | |
Mou et al. | A novel efficient wildlife detecting method with lightweight deployment on UAVs based on YOLOv7 | |
Yunusov et al. | Robust Forest Fire Detection Method for Surveillance Systems Based on You Only Look Once Version 8 and Transfer Learning Approaches | |
Kim et al. | Estimation of 24 h continuous cloud cover using a ground-based imager with a convolutional neural network | |
Thirumal et al. | Forest Fire Detection and Prediction–Survey | |
Gupta et al. | Utilizing MODIS Fire Mask for Predicting Forest Fires Using Landsat-9/8 and Meteorological Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |