CN103456122B - 一种森林火灾烟雾识别方法及装置 - Google Patents
一种森林火灾烟雾识别方法及装置 Download PDFInfo
- Publication number
- CN103456122B CN103456122B CN201310376899.2A CN201310376899A CN103456122B CN 103456122 B CN103456122 B CN 103456122B CN 201310376899 A CN201310376899 A CN 201310376899A CN 103456122 B CN103456122 B CN 103456122B
- Authority
- CN
- China
- Prior art keywords
- smog
- pixel
- processing unit
- layer processing
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种森林火灾烟雾识别方法,该方法使用多通道阈值法和每个像元的36个光谱通道的反射率或亮温值,识别出烟雾像元和非烟雾像元,并将从36个光谱通道的反射率或亮温值中获取神经网络分类器的输入特征,使用烟雾像元的烟雾输入特征和非烟雾像元的非烟雾输入特征对神经网络分类器进行训练,得到烟雾识别分类单元,使用烟雾识别分类单元能够精确识别出烟雾像元和非烟雾像元。实现了对烟雾像元的精确分类,由于非烟雾像元包括云像元,因此大大降低了将云像元误分为烟雾像元的概率。又由于烟雾像元包括薄烟像元,因此使用烟雾识别分类单元能够精确识别出薄烟像元,进一步提高了薄烟区域识别的精度。
Description
技术领域
本申请涉及火灾探测技术领域,特别涉及一种森林火灾烟雾识别方法及装置。
背景技术
森林火灾是当今世界性的重大灾害之一,具有突发性强,破坏力大的特点。森林火灾会造成重大经济损失,且森林火灾释放的大量温室气体和气溶胶将改变地球大气化学成分,对全球环境和气候将产生重大影响。烟雾是森林火灾发生初期的产物。因此,对森林火灾的烟雾识别,是森林火灾探测的重要组成部分,可以为森林草原防火工作的现代化管理提供基础保障。
国内外许多科研工作者利用NOAA/AVHRR(NationalOceanicandAtmosphericAdministration/TheAdvancedVeryHighResolutionRadiometer,美国国家海洋和气象卫星/甚高分辨率辐射仪)、TM(ThematicMapper,专题制图仪)、MODIS(中分辨率成像光谱仪,Moderate-resolutionImagingSpectroradiometer)等卫星遥感数据对森林火灾的烟雾识别方法开展了广泛研究。其中,MODIS数据包括覆盖可见光、近红外和远红外波段的36个光谱通道的数据。
最常见的烟雾识别方法是三通道合成法,即将三个波段分别赋予红、绿、蓝通道来产生真彩色或假彩色图(ChungandLe1984,ChrysoulakisandOpie2004,Kaufmanetal.1990,Randriambeloetal.1998),通过真彩色图或假彩色图来识别烟雾。当然,几个波段的组合也可以赋予一个通道来产生辨识图像,以识别烟雾,比如,ChristopherandChou(1997)利用AVHRR数据的波段1和波段4的归一化比值赋予绿色通道,通过绿色通道产生辨识图像。然而上述方法仅仅提供了火灾烟雾的基本信息而未能实现对烟雾的自动识别。
Lietal.(2001)利用多层感知器建立前向神经网络模型,通过代表性的多边形(包含烟、云以及地表像元)获取训练样本对AVHRR包含的5个通道数据进行训练测试;同时使用AVHRR多通道阈值法来检测烟雾,即通过预设的阈值来过滤掉非烟雾像素点。其主要的缺点是AVHRR数据只有5个通道,且获取训练样本的方法存在很大的不确定性,所以实现对薄烟的识别存在困难。
Xieetal.(2007)基于对不同地物类型的MODIS的8个光谱波段的数据进行光谱分析提出了多通道阈值算法实现烟雾像元的识别,虽然该方法对于浓厚烟雾的检测具有很高的精度,但对于薄烟区域的检测精度很低,且阈值随着季节和地域的变化需要作出适当的改变,稳定性较差。
王静等人(2011)提出了结合Kmeans和Fisher分类器实现烟雾区域的识别,使得薄烟区域识别的精度有了明显提高,但仍然存在薄烟像元漏检和将云像元误分为烟雾像元的缺点。
由此可见,现有技术中的各种烟雾识别方法,存在识别薄烟区域精度差,且容易将云像元误分为烟雾像元的缺点。
发明内容
为解决上述技术问题,本申请实施例提供一种森林火灾烟雾识别方法及装置,以达到精确识别出烟雾像元和非烟雾像元,大大降低了将非烟雾像元误分为烟雾像元的概率,且能精确识别出薄烟像元的目的,技术方案如下:
一种森林火灾烟雾识别方法,包括:
对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值,所述光谱通道组包括36个光谱通道;
依据对所述每个像元的各个光谱通道的反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征;
利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元;
从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本;
使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元,其中,所述烟雾训练输入特征、所述非烟雾像元训练输入特征分别与所述神经网络分类器识别火灾烟雾的输入特征对应;
使用所述烟雾识别分类单元识别未知像元是否为烟雾像元。
优选的,所述利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元,包括:
判断所述识别场景中任意一个像元是否满足烟雾预设条件;
若是,将该像元作为烟雾像元;
若否,将该像元作为非烟雾像元;
其中,所述烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,所述R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
优选的,所述非烟雾像元包括:云像元、植被像元和水体像元;
在所述非烟雾像元满足云预设条件时,所述非烟雾像元为云像元;其中,所述云预设条件为:R1+R2>0.9;或,T32<265K;或,R1+R2>0.7和T32<285K;所述R1为像元的第一光谱通道反射率,所述R2为像元的第二光谱通道反射率,T32为像元的第三十二光谱通道亮温值;
在所述非烟雾像元满足植被预设条件时,所述非烟雾像元为植被像元;其中,所述植被预设条件为:NDVI=(R2-R1)/(R2+R1)≥0.2;所述NDVI为归一化差异植被指数;
在所述非烟雾像元满足水体预设条件时,所述非烟雾像元为水体像元;其中,所述水体预设条件为:R2<0.15和R7<0.05和(R2-R1)/(R2+R1)<0。
优选的,所述使用烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练的过程,包括:
使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果;
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征;
使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果;
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果;
依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E;其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同;
判断所述输出误差E是否小于预设值;
若是,将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类器;
若否,使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值;
将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值;
并返回执行使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果和所述神经网络分类器的各个隐含层处理单元对应的非烟雾隐含层输出结果,直至所述输出误差E小于所述预设值。
优选的,所述使用梯度下降法调整所述输出误差对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值的过程,包括:
使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;
其中,所述 所述η为正常数;
使用公式θ′k=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θ′k作为输出层处理单元的阈值;
其中,所述
使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值;
其中,所述 所述η'为正常数;
使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值;
其中,所述
优选的,所述非烟雾像元训练样本包括:
云像元训练样本、水体像元训练样本和植被像元训练样本;
在所述非烟雾训练样本为云像元训练样本时,所述非烟雾训练输入特征为云训练输入特征;
在所述非烟雾训练样本为水体像元训练样本时,所述非烟雾训练输入特征为水体训练输入特征;
在所述非烟雾训练样本为植被像元训练样本时,所述非烟雾训练输入特征为植被训练输入特征。
优选的,所述使用所述烟雾识别分类单元识别未知像元是否为烟雾像元,包括:
接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果;
其中,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述ωji为任意一个隐含层处理单元j的权值,所述xi为未知像元的任意一个输入特征,所述θj为隐含层处理单元j的阈值;
使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果;
其中,所述ok为唯一的输出层处理单元对应的未知输出层输出结果,所述ωkj为所述输出层处理单元k的权值,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述θk为输出层处理单元k的阈值;
判断所述未知输出结果是否满足ok>0.5;
若是,将所述未知像元作为烟雾像元;
若否,将所述未知像元作为非烟雾像元。
优选的,所述将未知像元作为非烟雾像元中,所述非烟雾像元包括:
云像元和下垫面像元,其中,所述下垫面像元包括植被像元和水体像元;
在所述未知输出结果满足ok<-0.5时,所述非烟雾像元为云像元;
在所述未知输出结果满足-0.5<ok<0.5时,所述非烟雾像元为下垫面像元。
优选的,在所述使用所述烟雾识别分类器识别未知像元是否为烟雾像元之后,还包括:
对所述识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。
优选的,所述烟雾像元训练样本包括:不同季节的烟雾像元季节训练样本;
所述非烟雾像元训练样本包括:
不同季节的非烟雾像元季节训练样本;
所述烟雾像元季节训练样本和所述非烟雾像元季节训练样本用于对所述神经网络分类器进行训练,得到季节烟雾识别分类器。
一种森林火灾烟雾识别装置,包括:
获取单元,用于对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道反射率或亮温值,所述光谱通道组包括36个光谱通道;
选取单元,用于依据对所述每个像元的各个光谱通道反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征;
识别单元,用于利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元;
提取单元,用于从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本;
训练单元,用于使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元,其中,所述烟雾训练输入特征、所述非烟雾像元训练输入特征分别与所述神经网络分类器识别火灾烟雾的输入特征对应;
烟雾识别分类单元,用于识别未知像元是否为烟雾像元。
优选的,所述识别单元包括:
第一判断单元,用于判断所述识别场景中任意一个像元是否满足烟雾预设条件,若是,执行第一处理单元,若否,执行第二处理单元;
第一处理单元,用于将该像元作为烟雾像元;
第二处理单元,用于将该像元作为非烟雾像元;
其中,所述烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,所述R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
优选的,所述训练单元包括:
第一计算单元,用于使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果;
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征;
第二计算单元,用于使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果;
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果;
第三计算单元,用于依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E;其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同;
第二判断单元,用于判断所述输出误差E是否小于预设值,若是,执行第三处理单元,若否,执行第一调整单元;
第三处理单元,用于将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类单元;
第一调整单元,用于使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值;
第四处理单元,用于将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并触发第一计算单元,直至所述输出误差E小于所述预设值。
优选的,所述第一调整单元包括:
第二调整单元,用于使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;其中,所述 所述η为正常数;
第三调整单元,用于使用公式θk'=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θk'作为输出层处理单元的阈值,其中所述
第四调整单元,用于使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值,其中,所述 所述η'为正常数;
第五调整单元,用于使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值,其中,所述
优选的,所述烟雾识别分类单元包括:
第四计算单元,用于接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果;
第五计算单元,用于使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果;
第三判断单元,用于判断所述未知输出结果是否满足ok>0.5,若是,执行第五处理单元,若否,执行第六处理单元;
第五处理单元,用于将所述未知像元作为烟雾像元;
第六处理单元,用于将所述未知像元作为非烟雾像元。
优选的,还包括:
去噪单元,用于对所述识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。
与现有技术相比,本申请的有益效果为:
在本申请中,使用多通道阈值法和每个像元的36个光谱通道的反射率或亮温值,识别出烟雾像元和非烟雾像元,并将从36个光谱通道的反射率或亮温值中获取神经网络分类器的输入特征,使用烟雾像元的烟雾输入特征和非烟雾像元的非烟雾输入特征对神经网络分类器进行训练,得到烟雾识别分类单元,使用烟雾识别分类单元能够精确识别出烟雾像元和非烟雾像元,实现了对烟雾像元的精确分类,因此大大降低了将非烟雾像元误分为烟雾像元的概率,又由于非烟雾像元包括云像元,因此大大降低了将云像元误分为烟雾像元的概率。又由于烟雾像元包括薄烟像元,因此使用烟雾识别分类单元能够精确识别出薄烟像元,进一步提高了薄烟区域识别的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种森林火灾烟雾识别方法的一种流程图;
图2是本申请提供的一种森林火灾烟雾识别方法的一种子流程图;
图3是本申请提供的一种森林火灾烟雾识别方法的另一种子流程图;
图4是本申请提供的一种森林火灾烟雾识别装置的一种结构示意图;
图5是本申请提供的一种识别单元的一种结构示意图;
图6是本申请提供的一种训练单元的一种结构示意图;
图7是本申请提供的一种第一调整单元的一种结构示意图;
图8是本申请提供的一种烟雾识别分类单元的一种结构示意图;
图9是本申请提供的一种森林火灾烟雾识别装置的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
一个实施例
请参见图1,其示出了本申请提供的一种森林火灾烟雾识别方法的一种流程图,可以包括以下步骤:
步骤S11:对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值,所述光谱通道组包括36个光谱通道。
在本实施例中,中分辨率成像光谱仪MODIS原始数据可以从NASA网站中获取,也可以从森林火灾卫星遥感实验平台中获取。
在获取到中分辨率成像光谱仪MODIS原始数据后,对MODIS原始数据进行辐射校正和几何校正,获取烟雾火灾识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值。其中,光谱通道组包括36个光谱通道。
在本实施例中,由于对MODIS原始数据进行辐射校正和几何校正后,36个光谱通道中,部分光谱通道表现为反射率,部分光谱通道表现为亮温值,因此在对MODIS原始数据进行辐射校正和几何校正后,可以获取烟雾火灾识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值。
在本实施例中,获取烟雾火灾识别场景中每个像元的光谱通道组中的各个光谱通道反射率或亮温值,即获取烟雾火灾识别场景中每个像元的36个光谱通道中对应光谱通道反射率和对应光谱通道亮温值。
步骤S12:依据对所述每个像元的各个光谱通道反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征。
在本实施例中,依据对所述每个像元的各个光谱通道反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,可以选取出神经网络分类器识别火灾烟雾的输入特征。
本实施例中,选取出的神经网络分类器识别火灾烟雾的输入特征可以包括:R3、R8、R7、R26、BT11和BTD。
其中,R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R26为像元的第二十六光谱通道反射率,BT11为像元的第三十一光谱通道亮温值,BTD为像元的第二十光谱通道亮温值和第三十二光谱通道亮温值的差,其中,由于第二十光谱通道的中心波长为3.7μm,第三十二光谱通道中心波长为12μm,因此像元的第二十光谱通道亮温值和第三十二光谱通道亮温值的差也可以表示为BTD(3.7-12)。
选取出R3、R8、R7、R26、BT11和BTD作为神经网络分类器识别火灾烟雾的输入特征的依据是:R3和R8对于烟雾像元和云像元具有较高的反射率,R7则对水体像元和植被像元具有较高的敏感度,因而R3、R8、R7可以分离出烟雾像元和云像元。
R26、BT11和BTD在三维空间中可以依据烟雾像元与云像元之间的亮温存在较大的差异的原理将烟雾像元和云像元区分出来。
由于云像元、水体像元和植被像元均为非烟雾像元,因此,选取出R3、R8、R7、R26、BT11和BTD作为神经网络分类器识别火灾烟雾的输入特征,神经网络分类器可以通过神经网络分类器识别火灾烟雾的输入特征识别出烟雾像元。
步骤S13:利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元,并从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本。
由于利用多通道阈值法可以从识别场景中识别出多个烟雾像元和多个非烟雾像元,因此需要从多个烟雾像元中提取出部分烟雾像元作为烟雾像元训练样本,从多个非烟雾像元中提取出部分非烟雾像元作为非烟雾像元训练样本。提取出的烟雾训练样本与1-4-3通道合成真彩色图中的烟雾像元相对应,提取出的非烟雾训练样本与1-4-3通道合成真彩色图中的非烟雾像元相对应。其中,1-4-3通道合成真彩色图与识别场景相对应。
使用烟雾像元训练样本和非烟雾像元训练样本可以对神经网络分类器进行训练,具体的训练过程可以参见步骤S14。
在本实施例中,利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元的具体过程可以为:
步骤A11:判断所述识别场景中任意一个像元是否满足烟雾预设条件。
烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
将0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09作为烟雾预设条件的依据是:第8通道是最短波长通道,对烟雾敏感,第8通道和第19通道均对植被不敏感,所以0.4≤(R8-R19)/(R8+R19)≤0.85用于排除植被像元;中心波长为2.13μm的第7光谱通道,可以穿透烟层,对土地较为敏感,其与第9通道的归一化比值用于排除裸土的影响;第3通道和第8通道的归一化比值以及第8通道的反射率主要是用于排除水体像元或者海岸线像元,这两个蓝光通道的比值对气溶胶像元及其的敏感,相反地对于暗地表却极其的不敏感。
由于植被像元、裸土像元、水体像元和海岸线像元均为非烟雾像元,因此可以通过烟雾像元自身的特征以及排除所有非烟雾像元的特征,识别出烟雾像元。
在判断结果为是时,执行步骤A12,在判断结果为否时,执行步骤A13。
步骤A12:将该像元作为烟雾像元。
步骤A13:将该像元作为非烟雾像元。
在本实施例中,非烟雾像元包括:云像元、植被像元和水体像元。
其中,在非烟雾像元满足云预设条件时,非烟雾像元为云像元。云预设条件为:R1+R2>0.9;或,T32<265K;或,R1+R2>0.7和T32<285K;所述R1为像元的第一光谱通道反射率,所述R2为像元的第二光谱通道反射率,T32为像元的第三十二光谱通道亮温值。
将R1+R2>0.9;或,T32<265K;或,R1+R2>0.7和T32<285K作为云预设条件的依据是:云在第一光谱通道和第二光谱通道的反射率高于其他地物类型,并且云具有较低的亮温值。
在非烟雾像元满足植被预设条件时,非烟雾像元为植被像元。植被预设条件为:NDVI=(R2-R1)/(R2+R1)≥0.2;所述NDVI为归一化差异植被指数。
将NDVI=(R2-R1)/(R2+R1)≥0.2作为植被预设条件的依据是:第二光谱通道和第一光谱通道的归一化差异植被指数,能够对植被叶子细胞内叶绿素和细胞间叶肉组织的变化产生响应。其中,0.2为判别非烟雾像元为植被像元的分界值。
在非烟雾像元满足水体预设条件时,非烟雾像元为水体像元。水体预设条件为:R2<0.15和R7<0.05和(R2-R1)/(R2+R1)<0。
将R2<0.15和R7<0.05和(R2-R1)/(R2+R1)<0作为水体预设条件的依据是:水体几乎全部吸收了近红外通道即第二光谱通道和中红外通道即第七光谱通道内的全部入射能量,所以水体在近红外通道和中红外通道的反射能量很少,并且植被指数(R2-R1)/(R2+R1)在满足小于0时,可以将水体从其他地物类型中识别出来。
步骤S14:使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元,其中,所述烟雾训练输入特征、所述非烟雾像元训练输入特征分别与所述神经网络分类器的输入特征对应。
本实施例中,使用与神经网络分类器的输入特征对应的烟雾训练输入特征和与神经网络分类器的输入特征对应的非烟雾训练输入特征对神经网络分类器进行训练,可以得到烟雾识别分类单元。
使用烟雾训练输入特征和非烟雾训练输入特征对神经网络分类单元进行训练的具体过程可以为:分别将烟雾训练输入特征和非烟雾训练特征作为神经网络分类器的输入特征,对神经网络分类器进行训练。
在选取出R3、R8、R7、R26、BT11和BTD作为神经网络分类器的输入特征的情况下,使用烟雾训练输入特征和与非烟雾训练输入特征对神经网络分类器进行训练,可以得到烟雾识别分类单元的具体过程可以为:
将烟雾像元训练样本的R3、R8、R7、R26、BT11和BTD作为烟雾训练输入特征,将非烟雾像元训练样本的R3、R8、R7、R26、BT11和BTD作为非烟雾训练输入特征,使用烟雾训练输入特征R3、R8、R7、R26、BT11和BTD和非烟雾训练输入特征R3、R8、R7、R26、BT11和BTD对神经网络分类器进行训练,得到烟雾识别分类单元。
本实施例中的烟雾识别分类单元可以由烟雾识别分类器实现。
步骤S15:使用所述烟雾识别分类单元识别未知像元是否为烟雾像元。
通过烟雾识别分类单元可以识别任意一个未知像元是否烟雾像元。
在本申请中,使用多通道阈值法和每个像元的36个光谱通道的反射率或亮温值,识别出烟雾像元和非烟雾像元,并将从36个光谱通道的反射率或亮温值中获取神经网络分类器的输入特征,使用烟雾像元的烟雾输入特征和非烟雾像元的非烟雾输入特征对神经网络分类器进行训练,得到烟雾识别分类单元,使用烟雾识别分类单元能够精确识别出烟雾像元和非烟雾像元,实现了对烟雾像元的精确分类,因此大大降低了将非烟雾像元误分为烟雾像元的概率,又由于非烟雾像元包括云像元,因此大大降低了将云像元误分为烟雾像元的概率。又由于烟雾像元包括薄烟像元,因此使用烟雾识别分类单元能够精确识别出薄烟像元,进一步提高了薄烟区域识别的精度。
由于本申请能够对薄烟像元进行精确分类,森林火灾发生初期烟雾像元多为薄烟像元,因此在森林火灾发生初期便能快速的检测出火灾已发生,以在森林火灾发生初期快速完成防火工作,大大降低了森林火灾带来的财产损失,同时也大大降低森林火灾对环境造成的污染程度。
在通过烟雾识别分类器识别出未知像元为烟雾像元之后,还可以对识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。其中,云边界的伪烟雾像元为
由于识别场景中的烟雾像元大部分是连续的,且云像元与烟雾像元十分接近,云边界的云像元容易误分为烟雾像元,因此在对单一烟雾像元以及云边界的伪烟雾像元进行去噪处理后,能够进一步提高烟雾像元的识别精度。
另一个实施例
本实施例示出的是使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练的具体过程,请参见图2,图2示出的是本申请提供的一种森林火灾烟雾识别方法的一种子流程图,可以包括以下步骤:
步骤S21:使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果。
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征。
任意一个烟雾训练输入特征为任意一个烟雾像元训练样本的烟雾训练输入特征,任意一个非烟雾训练输入特征为任意一个非烟雾像元训练样本的非烟雾训练输入特征。
本实施例中,非烟雾训练样本可以包括:云像元训练样本、水体像元训练样本和植被像元训练样本。
在非烟雾训练样本为云像元训练样本时,非烟雾训练输入特征为云训练输入特征,即云像元训练样本的输入特征,且云像元训练样本的输入特征与神经网络分类器的输入特征对应。
在非烟雾训练样本为水体像元训练样本时,非烟雾训练输入特征为水体训练输入特征,即水体像元训练样本的输入特征,且水体像元训练样本的输入特征与神经网络分类器的输入特征对应。
在非烟雾训练样本为植被像元训练样本时,非烟雾训练输入特征为植被训练输入特征,即植被像元训练样本的输入特征,且植被像元训练样本的输入特征与神经网络分类器的输入特征对应。
在计算各个隐含层处理单元对应的非烟雾隐含层输出结果时,使用公式时对应的xi可以为云训练输入特征,也可以为水体训练输入特征,当然,也可以为植被训练输入特征。
步骤S22:使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果。
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果。
步骤S23:依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E;其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同。
步骤S24:判断所述输出误差E是否小于预设值。
在判断结果为输出误差E小于预设值时,执行步骤S25,在判断结果为输出误差不小于预设值时,执行步骤S26。
步骤S25:将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类单元。
步骤S26:使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值。
步骤S27:将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,返回执行步骤S21,直至所述输出误差E小于所述预设值。
,在本实施例中,神经网络分类器的输入特征可以为R3、R8、R7、R26、BT11和BTD,因此烟雾训练输入特征为烟雾像元训练样本的R3、R8、R7、R26、BT11和BTD,非烟雾训练输入特征为非烟雾像元训练样本的R3、R8、R7、R26、BT11和BTD。
再一个实施例
本实施例示出的是使用梯度下降法调整所述输出误差对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值的具体过程,可以包括以下步骤:
步骤A21:使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;其中,所述 所述η为正常数。
在本实施例中, 可以通过 计算得到。
步骤A22:使用公式θ′k=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θ′k作为输出层处理单元的阈值;
其中,所述
在本实施例中, 可以通过 计算得到。
步骤A23:使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值;
其中,所述 所述η'为正常数。
在本实施例中, 可以通过 计算得到。
步骤A24:使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值;
其中,所述 在本实施例中, 可以通过 计算得到。
再一个实施例
本实施例示出的是使用所述烟雾识别分类单元识别未知像元是否为烟雾像元的具体过程,请参见图3,图3示出的是本申请提供的一种森林火灾烟雾识别方法的另一种子流程图,可以包括以下步骤:
步骤S31:接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果。
其中,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述ωji为任意一个隐含层处理单元j的权值,所述xi为未知像元的任意一个输入特征,所述θj为隐含层处理单元j的阈值。
步骤S32:使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果。
其中,所述ok为唯一的输出层处理单元对应的未知输出层输出结果,所述ωkj为所述输出层处理单元k的权值,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述θk为输出层处理单元k的阈值。
步骤S33:判断所述未知输出结果是否满足ok>0.5。
在判断结果为未知输出结果满足ok>0.5时,执行步骤S34,在判断结果为未知输出结果不满足ok>0.5时,执行步骤S35。
步骤S34:将所述未知像元作为烟雾像元。
步骤S35:将所述未知像元作为非烟雾像元。
本实施例中,将未知像元作为非烟雾像元中的非烟雾像元同样包括:云像元和下垫面像元,其中,所述下垫面像元包括植被像元和水体像元。
其中,在未知输出结果满足ok<-0.5时,非烟雾像元为云像元;
在未知输出结果满足-0.5<ok<0.5时,非烟雾像元为下垫面像元。
在本实施例中,可以精确的识别出烟雾像元和非烟雾像元。而非烟雾像元又包括云像元,通过未知输出结果满足ok<-0.5的条件,可以精确识别出云像元,大大降低了将云像元误分为烟雾像元的概率。
在上述所有实施例中,烟雾像元训练样本包括:不同季节的烟雾像元季节训练样本。非烟雾像元训练样本包括:不同季节的非烟雾像元季节训练样本。
烟雾像元季节训练样本和非烟雾像元季节训练样本可以用于对神经网络分类器进行训练,得到季节烟雾识别分类器。使用季节烟雾识别分类器可以判断不同季节的未知像元是否是烟雾像元,进一步提高了识别烟雾像元的精度。其中,使用烟雾像元季节训练样本和非烟雾像元季节训练样本对神经网络分类器进行训练的过程与使用烟雾像元训练样本和非烟雾像元训练样本对神经网络分类器进行训练的过程相同,在此不再赘述。
与上述方法实施例相对应,本申请提供了一种森林火灾烟雾识别装置的一种结构示意图,请参阅图4,火灾烟雾识别装置包括:获取单元41、选取单元42、识别单元43、提取单元44、训练单元45和烟雾识别分类单元46。其中:
获取单元41,用于对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值,所述光谱通道组包括36个光谱通道。
选取单元42,用于依据对所述每个像元的各个光谱通道的反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征。
选取单元42选取出的神经网络分类器识别火灾烟雾的输入特征可以包括:R3、R8、R7、R26、BT11和BTD。其中,R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R26为像元的第二十六光谱通道反射率,BT11为像元的第三十一光谱通道亮温值,BTD像元的第二十光谱通道亮温值和第三十二光谱通道亮温值的差,其中,第二十光谱通道的中心波长为3.7μm,第三十二光谱通道中心波长为12μm。
识别单元43,用于利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元。
在本实施例中,识别单元43的具体结构可以参见图5,图5示出的是本申请提供的一种识别单元的一种结构示意图。识别单元43可以包括:
第一判断单元51,用于判断所述识别场景中任意一个像元是否满足烟雾预设条件,若是,执行第一处理单元52,若否,执行第二处理单元53。
第一处理单元52,用于将该像元作为烟雾像元。
第二处理单元53,用于将该像元作为非烟雾像元。
其中,所述烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,所述R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
在本实施例中,非烟雾像元可以包括云像元、植被像元和水体像元。
在非烟雾像元满足云预设条件时,非烟雾像元为云像元,第二处理单元53可以将该像元作为云像元。其中,云预设条件为:R1+R2>0.9;或,T32<265K;或,R1+R2>0.7和T32<285K;R1为像元的第一光谱通道反射率,R2为像元的第二光谱通道反射率,T32为像元的第三十二光谱通道亮温值。
在非烟雾像元满足植被预设条件时,非烟雾像元为植被像元,第二处理单元53可以将该像元作为植被像元。其中,植被预设条件为:NDVI=(R2-R1)/(R2+R1)≥0.2;NDVI为归一化差异植被指数。
在非烟雾像元满足水体预设条件时,非烟雾像元为水体像元,第二处理单元53可以将该像元作为水体像元。其中,水体预设条件为:R2<0.15和R7<0.05和(R2-R1)/(R2+R1)<0。
提取单元44,用于从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本。
训练单元45用于使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元。
其中,烟雾训练输入特征、非烟雾像元训练输入特征分别与神经网络分类器识别火灾烟雾的输入特征对应。
在本实施例中,训练单元45的具体结构可以参见图6,图6示出的是本申请提供的一种训练单元的一种结构示意图,训练单元45包括:
第一计算单元61、第二计算单元62、第三计算单元63、第二判断单元64、第三处理单元65、第一调整单元66和第四处理单元67。
第一计算单元61,用于使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果。
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征。
第二计算单元62,用于使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果。
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果。
第三计算单元63,用于依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E。
其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同。
第二判断单元64,用于判断所述输出误差E是否小于预设值,若是,执行第三处理单元,若否,执行第一调整单元。
第三处理单元65,用于将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类单元。
第一调整单元66,用于使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值。
第一调整单元66的具体结构可以参见图7,图7示出了本申请提供的一种第一调整单元的一种结构示意图,第一调整单元66包括:
第二调整单元71、第三调整单元72、第四调整单元73和第五调整单元74。
第二调整单元71,用于使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;其中,所述 所述η为正常数。
第三调整单元72,用于使用公式θ′k=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θ′k作为输出层处理单元的阈值,其中所述
第四调整单元73,用于使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值,其中,所述 所述η'为正常数。
第五调整单元74,用于使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值,其中,所述
第四处理单元67,用于将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并触发第一计算单元,直至所述输出误差E小于所述预设值。
烟雾识别分类单元46,用于识别未知像元是否为烟雾像元。
烟雾识别分类单元46的具体结构可以参见图8,图8示出的是本申请提供的一种烟雾识别分类单元的一种结构示意图,烟雾识别分类单元46包括:第四计算单元81、第五计算单元82、第三判断单元83、第五处理单元84和第六处理单元85。其中:
第四计算单元81,用于接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果。
第五计算单元82,用于使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果。
第三判断单元83,用于判断所述未知输出结果是否满足ok>0.5,若是,执行第五处理单元,若否,执行第六处理单元。
第五处理单元84,用于将所述未知像元作为烟雾像元。
第六处理单元85,用于将所述未知像元作为非烟雾像元。
在图4所示的一种火灾烟雾识别装置的基础上扩展出另一种森林火灾烟雾识别装置,具体构成请参阅图9。其中图9为本申请提供的一种火灾烟雾识别装置的另一种结构示意图,在图4所示的一种火灾烟雾识别装置的基础上还包括:去噪单元91,用于对所述识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种森林火灾烟雾识别方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种森林火灾烟雾识别方法,其特征在于,包括:
对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道的反射率或亮温值,所述光谱通道组包括36个光谱通道;
依据对所述每个像元的各个光谱通道的反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征,所述输入特征为预设光谱通道的反射率或亮温值;
利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元;
从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本;
使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元,其中,所述烟雾训练输入特征、所述非烟雾像元训练输入特征分别与所述神经网络分类器识别火灾烟雾的输入特征对应;
使用所述烟雾识别分类单元识别未知像元是否为烟雾像元。
2.根据权利要求1所述的方法,其特征在于,所述利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元,包括:
判断所述识别场景中任意一个像元是否满足烟雾预设条件;
若是,将该像元作为烟雾像元;
若否,将该像元作为非烟雾像元;
其中,所述烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,所述R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
3.根据权利要求2所述的方法,其特征在于,所述非烟雾像元包括:云像元、植被像元和水体像元;
在所述非烟雾像元满足云预设条件时,所述非烟雾像元为云像元;其中,所述云预设条件为:R1+R2>0.9;或,T32<265K;或,R1+R2>0.7和T32<285K;所述R1为像元的第一光谱通道反射率,所述R2为像元的第二光谱通道反射率,T32为像元的第三十二光谱通道亮温值;
在所述非烟雾像元满足植被预设条件时,所述非烟雾像元为植被像元;其中,所述植被预设条件为:NDVI=(R2-R1)/(R2+R1)≥0.2;所述NDVI为归一化差异植被指数;
在所述非烟雾像元满足水体预设条件时,所述非烟雾像元为水体像元;其中,所述水体预设条件为:R2<0.15和R7<0.05和(R2-R1)/(R2+R1)<0。
4.根据权利要求1所述的方法,其特征在于,所述使用烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练的过程,包括:
使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果;
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征;
使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果;
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果;
依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E;其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同;
判断所述输出误差E是否小于预设值;
若是,将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类器;
若否,使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值;
将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值;
并返回执行使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果和所述神经网络分类器的各个隐含层处理单元对应的非烟雾隐含层输出结果,直至所述输出误差E小于所述预设值。
5.根据权利要求4所述的方法,其特征在于,所述使用梯度下降法调整所述输出误差对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值的过程,包括:
使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;
其中,所述 所述η为正常数;
使用公式θ′k=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θ′k作为输出层处理单元的阈值;
其中,所述
使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值;
其中,所述 所述η'为正常数;
使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值;
其中,所述
6.根据权利要求4所述的方法,其特征在于,所述非烟雾像元训练样本包括:
云像元训练样本、水体像元训练样本和植被像元训练样本;
在所述非烟雾训练样本为云像元训练样本时,所述非烟雾训练输入特征为云训练输入特征;
在所述非烟雾训练样本为水体像元训练样本时,所述非烟雾训练输入特征为水体训练输入特征;
在所述非烟雾训练样本为植被像元训练样本时,所述非烟雾训练输入特征为植被训练输入特征。
7.根据权利要求4所述的方法,其特征在于,所述使用所述烟雾识别分类单元识别未知像元是否为烟雾像元,包括:
接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果;
其中,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述ωji为任意一个隐含层处理单元j的权值,所述xi为未知像元的任意一个输入特征,所述θj为隐含层处理单元j的阈值;
使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果;
其中,所述ok为唯一的输出层处理单元对应的未知输出层输出结果,所述ωkj为所述输出层处理单元k的权值,所述yj为任意一个隐含层处理单元对应的未知隐含层输出结果,所述θk为输出层处理单元k的阈值;
判断所述未知输出结果是否满足ok>0.5;
若是,将所述未知像元作为烟雾像元;
若否,将所述未知像元作为非烟雾像元。
8.根据权利要求7所述的方法,其特征在于,所述将未知像元作为非烟雾像元中,所述非烟雾像元包括:
云像元和下垫面像元,其中,所述下垫面像元包括植被像元和水体像元;
在所述未知输出结果满足ok<-0.5时,所述非烟雾像元为云像元;
在所述未知输出结果满足-0.5<ok<0.5时,所述非烟雾像元为下垫面像元。
9.根据权利要求1所述的方法,其特征在于,在所述使用所述烟雾识别分类器识别未知像元是否为烟雾像元之后,还包括:
对所述识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。
10.根据权利要求1-9任意一项所述的方法,其特征在于,所述烟雾像元训练样本包括:不同季节的烟雾像元季节训练样本;
所述非烟雾像元训练样本包括:
不同季节的非烟雾像元季节训练样本;
所述烟雾像元季节训练样本和所述非烟雾像元季节训练样本用于对所述神经网络分类器进行训练,得到季节烟雾识别分类器。
11.一种森林火灾烟雾识别装置,其特征在于,包括:
获取单元,用于对获取到的中分辨率成像光谱仪MODIS原始数据进行辐射校正和几何校正,获取识别场景中每个像元的光谱通道组中的各个光谱通道反射率或亮温值,所述光谱通道组包括36个光谱通道;
选取单元,用于依据对所述每个像元的各个光谱通道反射率或亮温值,及对每个像元的光谱通道进行光谱分析后的结果,选取出神经网络分类器识别火灾烟雾的输入特征,所述输入特征为预设光谱通道的反射率或亮温值;
识别单元,用于利用多通道阈值法从所述识别场景中识别出烟雾像元和非烟雾像元;
提取单元,用于从所述烟雾像元中提取烟雾像元训练样本,从所述非烟雾像元中提取非烟雾像元训练样本;
训练单元,用于使用所述烟雾像元训练样本的烟雾训练输入特征和所述非烟雾像元训练样本的非烟雾训练输入特征对所述神经网络分类器进行训练,得到烟雾识别分类单元,其中,所述烟雾训练输入特征、所述非烟雾像元训练输入特征分别与所述神经网络分类器识别火灾烟雾的输入特征对应;
烟雾识别分类单元,用于识别未知像元是否为烟雾像元。
12.根据权利要求11所述的装置,其特征在于,所述识别单元包括:
第一判断单元,用于判断所述识别场景中任意一个像元是否满足烟雾预设条件,若是,执行第一处理单元,若否,执行第二处理单元;
第一处理单元,用于将该像元作为烟雾像元;
第二处理单元,用于将该像元作为非烟雾像元;
其中,所述烟雾预设条件为:0.4≤(R8-R19)/(R8+R19)≤0.85和(R9-R7)/(R9+R7)≥0.3和(R8-R3)/(R8+R3)≤0.09和R8≥0.09,所述R3为像元的第三光谱通道反射率,R8为像元的第八光谱通道反射率,R7为像元的第七光谱通道反射率,R19为像元的第十九光谱通道反射率,R9为像元的第九光谱通道反射率。
13.根据权利要求11所述的装置,其特征在于,所述训练单元包括:
第一计算单元,用于使用公式计算所述神经网络分类器的各个隐含层处理单元对应的烟雾隐含层输出结果,及各个隐含层处理单元对应的非烟雾隐含层输出结果;
其中,所述ωji为任意一个隐含层处理单元j的权值,所述θj为隐含层处理单元j的阈值,在计算所述烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果,所述xi为任意一个烟雾训练输入特征;在计算所述非烟雾隐含层输出结果时,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果,所述xi为任意一个非烟雾训练输入特征;
第二计算单元,用于使用公式计算所述神经网络分类器中唯一的输出层处理单元对应的烟雾输出层输出结果,及所述唯一的输出层处理单元对应的非烟雾输出层输出结果;
其中,所述ωkj为所述输出层处理单元k的权值,所述θk为输出层处理单元k的阈值,在计算所述烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的烟雾隐含层输出结果;在计算所述非烟雾输出层输出结果时,所述ok为唯一的输出层处理单元对应的非烟雾输出层输出结果,所述yj为任意一个隐含层处理单元对应的非烟雾隐含层输出结果;
第三计算单元,用于依据所有烟雾像元的输出层输出结果、所有非烟雾像元的输出层结果及公式计算输出误差E;其中,所述tk为期望输出,所述烟雾像元和所述非烟雾像元的期望输出tk不同;
第二判断单元,用于判断所述输出误差E是否小于预设值,若是,执行第三处理单元,若否,执行第一调整单元;
第三处理单元,用于将所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值、将所述输出误差E对应的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并将所述输出误差E对应的当前神经网络分类器作为烟雾识别分类单元;
第一调整单元,用于使用梯度下降法调整所述输出误差E对应的各个隐含层处理单元的当前权值和当前阈值、输出层处理单元的当前权值和当前阈值;
第四处理单元,用于将调整后的各个隐含层处理单元的当前权值和当前阈值作为各个隐含层处理单元的权值和阈值,将调整后的输出层处理单元的当前权值和当前阈值作为输出层处理单元的权值和阈值,并触发第一计算单元,直至所述输出误差E小于所述预设值。
14.根据权利要求13所述的装置,其特征在于,所述第一调整单元包括:
第二调整单元,用于使用公式ω'kj=ωkj+Δωkj调整输出层处理单元的当前权值,将调整后的ω'kj作为输出层处理单元的权值;其中,所述 所述η为正常数;
第三调整单元,用于使用公式θ′k=θk+Δθk调整输出层处理单元的当前阈值,将调整后的θ′k作为输出层处理单元的阈值,其中所述
第四调整单元,用于使用公式ω'ji=ωji+Δωji调整各个隐含层处理单元的当前权值,将调整后的各个隐含层处理单元ω'ji作为各个隐含层处理单元的权值,其中,所述 所述η'为正常数;
第五调整单元,用于使用公式θ′j=θj+Δθj调整各个隐含层处理单元的当前阈值,将调整后的各个隐含层处理单元的θ′j作为各个隐含层处理单元的阈值,其中,所述
15.根据权利要求13所述的装置,其特征在于,所述烟雾识别分类单元包括:
第四计算单元,用于接收未知像元的输入特征,依据所述未知像元的输入特征和公式计算所述烟雾识别分类单元中各个隐含层处理单元对应的未知隐含层输出结果;
第五计算单元,用于使用公式计算所述烟雾识别分类单元中唯一的输出层处理单元的未知输出层输出结果;
第三判断单元,用于判断所述未知输出结果是否满足ok>0.5,若是,执行第五处理单元,若否,执行第六处理单元;
第五处理单元,用于将所述未知像元作为烟雾像元;
第六处理单元,用于将所述未知像元作为非烟雾像元。
16.根据权利要求11所述的装置,其特征在于,还包括:
去噪单元,用于对所述识别场景中的单一烟雾像元以及云边界的伪烟雾像元进行去噪处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310376899.2A CN103456122B (zh) | 2013-08-26 | 2013-08-26 | 一种森林火灾烟雾识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310376899.2A CN103456122B (zh) | 2013-08-26 | 2013-08-26 | 一种森林火灾烟雾识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103456122A CN103456122A (zh) | 2013-12-18 |
CN103456122B true CN103456122B (zh) | 2015-11-25 |
Family
ID=49738442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310376899.2A Expired - Fee Related CN103456122B (zh) | 2013-08-26 | 2013-08-26 | 一种森林火灾烟雾识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103456122B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104316974B (zh) * | 2014-11-04 | 2017-03-01 | 青岛橡胶谷知识产权有限公司 | 森林烟雾区域检测系统 |
CN104537792A (zh) * | 2014-12-26 | 2015-04-22 | 浙江大学 | 基于背景信息的输电线路山火卫星监测方法 |
US10777398B2 (en) * | 2015-03-06 | 2020-09-15 | Micromass Uk Limited | Spectrometric analysis |
CN105096511B (zh) * | 2015-08-04 | 2017-08-08 | 中国林业科学研究院资源信息研究所 | 一种自动生成烟区检测结果的方法 |
CN105788143A (zh) * | 2016-05-23 | 2016-07-20 | 北京林业大学 | 一种林火监测方法及系统 |
CN108363992B (zh) * | 2018-03-15 | 2021-12-14 | 南京钜力智能制造技术研究院有限公司 | 一种基于机器学习监测视频图像烟雾的火情预警方法 |
CN109035664A (zh) * | 2018-08-08 | 2018-12-18 | 湖北河海科技发展有限公司 | 基于葵花气象卫星的森林火灾监测方法及平台 |
CN109211793B (zh) * | 2018-09-12 | 2020-10-27 | 中国科学技术大学 | 结合光谱指数和神经网络的火灾过火迹地识别方法 |
CN110309800B (zh) * | 2019-07-05 | 2021-07-06 | 中国科学技术大学 | 一种林火烟雾探测方法及装置 |
CN110517575B (zh) * | 2019-08-21 | 2021-03-02 | 华北水利水电大学 | 一种地表水体制图方法及装置 |
CN110555484A (zh) * | 2019-09-10 | 2019-12-10 | 云南电网有限责任公司带电作业分公司 | 基于knn分类的modis数据山火检测方法、系统及其存储介质 |
CN112580396A (zh) * | 2019-09-29 | 2021-03-30 | 东北林业大学 | 一种森林火灾识别方法 |
CN113210264B (zh) * | 2021-05-19 | 2023-09-05 | 江苏鑫源烟草薄片有限公司 | 烟草杂物剔除方法及装置 |
CN116071708A (zh) * | 2023-03-07 | 2023-05-05 | 山东哲远信息科技有限公司 | 一种用于火灾风险安防的图像识别分析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5487133A (en) * | 1993-07-01 | 1996-01-23 | Intel Corporation | Distance calculating neural network classifier chip and system |
CN101315667A (zh) * | 2008-07-04 | 2008-12-03 | 南京航空航天大学 | 室外早期火灾多种特征综合识别方法 |
CN101504790A (zh) * | 2008-11-07 | 2009-08-12 | 清华大学 | 红外光束型火灾烟雾探测器及其检测方法 |
CN102254398A (zh) * | 2011-06-13 | 2011-11-23 | 中国科学技术大学 | 一种森林火灾烟雾监测方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115569A (ja) * | 2003-10-06 | 2005-04-28 | Matsushita Electric Works Ltd | 信号識別装置および信号識別方法 |
-
2013
- 2013-08-26 CN CN201310376899.2A patent/CN103456122B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5487133A (en) * | 1993-07-01 | 1996-01-23 | Intel Corporation | Distance calculating neural network classifier chip and system |
CN101315667A (zh) * | 2008-07-04 | 2008-12-03 | 南京航空航天大学 | 室外早期火灾多种特征综合识别方法 |
CN101504790A (zh) * | 2008-11-07 | 2009-08-12 | 清华大学 | 红外光束型火灾烟雾探测器及其检测方法 |
CN102254398A (zh) * | 2011-06-13 | 2011-11-23 | 中国科学技术大学 | 一种森林火灾烟雾监测方法和系统 |
Non-Patent Citations (1)
Title |
---|
基于神经网络的火灾烟雾识别方法;赵建华等;《光学学报》;20030930;第23卷(第9期);1086-1089 * |
Also Published As
Publication number | Publication date |
---|---|
CN103456122A (zh) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103456122B (zh) | 一种森林火灾烟雾识别方法及装置 | |
Hansen et al. | Humid tropical forest disturbance alerts using Landsat data | |
Joshi et al. | Mapping dynamics of deforestation and forest degradation in tropical forests using radar satellite data | |
Nagendra et al. | Remote sensing for conservation monitoring: Assessing protected areas, habitat extent, habitat condition, species diversity, and threats | |
Hill et al. | Mapping tree species in temperate deciduous woodland using time‐series multi‐spectral data | |
CN106840409A (zh) | 一种基于modis的森林火灾火点检测方法 | |
Mustapha et al. | Comparison of neural network and maximum likelihood approaches in image classification | |
CN103914692B (zh) | 一种用于煤矿周围地表水系的遥感识别方法 | |
CN109211793A (zh) | 结合光谱指数和神经网络的火灾过火迹地识别方法 | |
Chunyang et al. | Sea fog detection using U-Net deep learning model based on MODIS data | |
Hansell et al. | Simultaneous detection/separation of mineral dust and cirrus clouds using MODIS thermal infrared window data | |
George et al. | Detection of pollution content in an urban area using landsat 8 data | |
CN107423670A (zh) | 基于深度置信网络的modis雾监测方法 | |
Lassalle et al. | Tracking canopy gaps in mangroves remotely using deep learning | |
Guo et al. | New morphological features for urban tree species identification using LiDAR point clouds | |
CN105096511B (zh) | 一种自动生成烟区检测结果的方法 | |
Potić et al. | Remote sensing role in environmental stress analysis: Eаst Serbia wildfires case study (2007-2017) | |
Malik et al. | Wildfire risk prediction and detection using machine learning in san diego, california | |
Haq et al. | Change monitoring of Gangotri Glacier using remote sensing | |
Arekhi | Prediction of spatial land use changes based on LCM in a GIS environment (a case study of Sarabeleh (Ilam), Iran). | |
Do et al. | Classifying forest cover and mapping forest fire susceptibility in Dak Nong province, Vietnam utilizing remote sensing and machine learning | |
Rahimi et al. | A new indicator for enhancing fire fuel mapping in Marivan forests, west of Iran | |
Sekertekin et al. | The surface heat island effect of urbanization: spatial-temporal analysis | |
Cárdenas et al. | Geospatial technologies to support coniferous forests research and conservation efforts in Mexico | |
Alkaabi et al. | Drones applications for smart cities: Monitoring palm trees and street lights |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151125 Termination date: 20210826 |