CN105741480B - 基于图像识别的火灾和烟雾检测方法 - Google Patents

基于图像识别的火灾和烟雾检测方法 Download PDF

Info

Publication number
CN105741480B
CN105741480B CN201610151496.1A CN201610151496A CN105741480B CN 105741480 B CN105741480 B CN 105741480B CN 201610151496 A CN201610151496 A CN 201610151496A CN 105741480 B CN105741480 B CN 105741480B
Authority
CN
China
Prior art keywords
image
pixel
smog
fire
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610151496.1A
Other languages
English (en)
Other versions
CN105741480A (zh
Inventor
张栋
石伟光
林界
黄少强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201610151496.1A priority Critical patent/CN105741480B/zh
Publication of CN105741480A publication Critical patent/CN105741480A/zh
Application granted granted Critical
Publication of CN105741480B publication Critical patent/CN105741480B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于图像识别的火灾和烟雾检测方法,其通过利用摄像头获取的图像视频信息,通过计算机处理能力,利用RGB、HSV空间颜色模型和运动模型来检测火灾和烟雾区域,该方法简单,实现灵活,能利用在普通感应装置难以工作的区域,具有较强的实用性。

Description

基于图像识别的火灾和烟雾检测方法
技术领域
本发明涉及图像处理识别领域,特别是一种基于运动模型和空间颜色模型的火灾和烟雾检测方法。
背景技术
火灾是最常见的灾害之一,是一种在时空上失去控制的燃烧所引发的灾害。在大空间复杂环境下,如住宅区、森林、仓库等,一旦发生火灾,不仅造成巨大经济损失,更严重的是影响周边居民的正常生活。目前广泛应用火灾探测器来探测建筑物烟雾和火灾产生。由于他们通过电离或光度法,需要粒子到达,不能用在开放空间和大覆盖区域。并且由于监控范围大,运用原始的监控的成本非常高,难以推广应用。因此通过不需要对火灾或者烟雾直接接触的方式,并且实现在森林仓库这种空间范围大的自动化监控系统,是目前对环境保护,以及预防火灾发生研究中的重要问题。
发明内容
本发明的目的在于提供一种基于图像识别的火灾和烟雾检测方法,以克服现有技术中存在的缺陷,能够有效应用于监控系统中,对火灾和烟雾区域进行检测。
为实现上述目的,本发明的技术方案是:一种基于图像识别的火灾和烟雾检测方法,通过摄像头获取现场的图像视频信息,并通过计算机处理,利用RGB、HSV空间颜色模型以及运动模型识别火灾和烟雾区域,具体按照如下步骤实现:
步骤S1:将所获取的视频图像转化为RGB以及HSI颜色模型;
步骤S2:对视频图像进行分帧处理,对每个帧图像进行火灾颜色模型以及烟雾颜色模型的提取,将符合火灾颜色特征以及烟雾颜色特征的像素点提取出来;
步骤S3:构建运动模型,提取前景图像;利用三帧差分方法,设定差分阈值,并将符合运动模型的运动像素点提取出来,再通过帧间积累以及抖动检测,使提取的烟雾形状饱满,降低由于抖动而检测出错误运动像素的干扰;
步骤S4:对符合运动模型,且符合火灾颜色特征以及烟雾颜色特征的像素点进行提取,将当前处理帧图像转化为二值化图片,确定与所述前景图像的相同部分,并获取结果提取图像;
步骤S5:将所述结果提取图像进行用以除噪的腐蚀处理以及膨胀处理,并通过连通性判断,将火灾区域以及烟雾区域标志出来。
在本发明一实施例中,在所述步骤S2中,在进行所述火灾颜色模型提取时,将满足如下条件的像素点标记为火灾像素:
(1)R>RT;(2)R>=G>=B;(3)S>=((255-R)*ST和RT);
其中,S=(1-3.0*min(R,G,B)和(R+G+B)),Rt为R分量的阈值,且描述为55至56内采样数;St为饱和度的阈值,且描述为115至135内采样数。
在本发明一实施例中在所述步骤S2中,在进行所述烟雾颜色模型提取时,提供如下条件:将满足如下条件的像素点标记为烟雾像素:
(1)t1<=I<=t2;(2)max(R,G,B)-min(R,G,B)<=t3;(3)max(R,G,B)-min(R,G,B)<=t4且max(R,G,B)==B;
将满足条件(1)以及条件(2)或满足条件(1)以及条件(3)的像素点标记为烟雾像素:
其中,I=(B+G+R)/3,T1取80,T2取220,T3取25至35,T4取35至40。
在本发明一实施例中在所述步骤S3中,所述三帧差分方法按照如下方式实现:选取连续三帧视频图像进行差分运算,从当前帧开始向前取三帧图像,并进行灰度化处理,且将得到处理后的图像分别记作cur、per1以及pre2;计算dif1=pre2-pre1,dif2=pre1-cur,dif1,dif2均为二值化图像,且对进行减操作的两个图像分别对应进行每个像素点的遍历相减,若差值大于设定的差分阈值T1,则将该差值置为255,否则置为0,T1取10~15之间;
计算得到dif1以及dif2后,分别对dif1以及dif2进行先腐蚀后膨胀的形态学滤波处理,并将这两幅图像进行逻辑与操作:R=dif1&dif2,即对每个像素点进行遍历;若在遍历过程中,若当前处理像素点在两幅二值化图像中都为255,则将该处的像素点置为255,否则置为0;将经遍历后得到的二值化图像作为运动图像,也即前景图像。
在本发明一实施例中在所述步骤S3中,所述帧间积累为通过从当前帧起,包括当前帧往前计数的三帧G1,G2,G3进行积累,即利用或操作,使当前结果图像G=G1|G2|G3,其中,|为或操作。
在本发明一实施例中在所述步骤S3中,所述抖动检测通过如下方式实现:(Num/Tot)>=T2,抖动检测阈值T2=0.3,Num为当前处理帧图像运动像素的数量,Tot为当前处理帧图像所有像素的数量,即判定为出现抖动效果;在检测过程中,动态地为之前检测得到的比重的平均值加上一个上限因子a,即Tnew=Ave+a,Ave为处理当前帧之前所有的运动像素点数量与总像素点数量的比值,a为0.2。
在本发明一实施例中在所述步骤S4中,按照阈值T3进行二值化处理,得到二值化图像,将该二值图像与所述前景图像进行逻辑与运算,Cnow=Cs3&Cs4,&为逻辑与符号,即分别对该二值图像与所述前景图像中的每个像素点进行遍历,且在遍历过程中,若当前处理像素点在两张二值化图像中均为255,则将该像素点置为255,否则置为0,从而获得运动目标的轮廓信息,其中,所述阈值T3取值范围为8至15。
相较于现有技术,本发明具有以下有益效果:本发明所提出的一种基于图像识别的火灾和烟雾检测方法,其通过利用摄像头获取的图像视频信息,通过计算机处理能力,利用RGB、HSV空间颜色模型和运动模型来识别火灾和烟雾区域,该方法简单,实现灵活,能利用在普通感应装置难以工作的区域,具有较强的实用性。
附图说明
图1为本发明中基于图像识别的火灾和烟雾检测方法的流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提出一种基于图像识别的火灾和烟雾检测方法,如图1所示,通过摄像头获取现场的图像视频信息,并通过计算机处理,利用RGB、HSV空间颜色模型以及运动模型识别火灾和烟雾区域,具体按照如下步骤实现:
步骤S1:将所获取的视频图像转化为RGB以及HSI颜色模型;
步骤S2:对视频图像进行分帧处理,对每个帧图像进行火灾颜色模型以及烟雾颜色模型的提取,将符合火灾颜色特征以及烟雾颜色特征的像素点提取出来;
步骤S3:构建运动模型,提取前景图片,构建出的运动模型中,将符合运动模型性质条件的像素点提取出来,组成相应的图像;利用三帧差分方法,即帧与帧之前的差距,并且设定差分阈值,将符合运动模型的运动像素点提取出来,通过帧间积累以及抖动检测,使提取的烟雾形状饱满,降低由于抖动而检测出错误运动像素的干扰;
步骤S4:对符合运动模型,且符合火灾颜色特征以及烟雾颜色特征的像素点进行提取,将当前处理帧图像转化为二值化图片,确定与所述前景图像的相同部分,并获取结果提取图像;
在本实施例中,将一帧的图片,复制为两份,分别经过步骤S3和步骤S4得到相应的二值化图片,即满足各个步奏中相应的模型就将该像素点置为白,否则置为黑,如果当前图像中,在得到的两幅二值化图像中都存在,即都为白,那这个像素点就是本发明需要的像素点;
当前处理帧图像:由于处理的是视频,视频可以分为每一帧图像进行处理,本实施例中处理的单位就是视频中的每一帧,而当前处理帧图像即为视频中正在进行处理的当前帧;
步骤S5:将步骤S4获取的图像进行先腐蚀后膨胀的除噪处理,并通过连通性判断,将火灾区域以及烟雾区域标志出来。
进一步的,在本实施例中,在步骤S2中,在进行火灾颜色模型提取时,将满足如下条件的像素点标记为火灾像素:
(1)R>RT;(2)R>=G>=B;(3)S>=((255-R)*ST和RT);
其中,S=(1-3.0*min(R,G,B)和(R+G+B)),Rt为R分量的阈值,且描述为55至56内采样数;St为饱和度的阈值,且描述为115至135内采样数。
在进行烟雾颜色模型提取时,提供如下条件:将满足如下条件的像素点标记为烟雾像素:
(1)t1<=I<=t2;(2)max(R,G,B)-min(R,G,B)<=t3;(3)max(R,G,B)-min(R,G,B)<=t4且max(R,G,B)==B;
将满足条件(1)以及条件(2)或满足条件(1)以及条件(3)的像素点标记为烟雾像素:
其中,I=(B+G+R)/3,T1取80,T2取220,T3取25至35,T4取35至40。
进一步的,在本实施例中,在步骤S3以及步骤S4中,运动模型建立,提取运动图像,三帧差分算法:选取连续三帧视频图像进行差分运算,消除由于运动而显露背景影响,从而提取精确的运动目标轮廓信息。该算法的基本原理是是先选取视频图像序列中连续三帧图像并分别计算相邻两帧的差分图像,然后将差分图像通过选取适当的阈值进行二值化处理,得到二值化图像,最后在每一个像素点得到的二值图像进行逻辑与运算,获取共同部分,从而获得运动目标的轮廓信息。
进一步的,在本实施例中,三帧差分方法按照如下方式实现:选取连续三帧视频图像进行差分运算,从当前帧开始向前取三帧图像,并进行灰度化处理,且将得到处理后的图像分别记作cur、per1以及pre2;计算dif1=pre2-pre1,dif2=pre1-cur,dif1,dif2均为二值化图像,且对进行减操作的两个图像分别对应进行每个像素点的遍历相减,若差值大于设定的差分阈值T1,则将该差值置为255,否则置为0,T1取10~15之间;
计算得到dif1以及dif2后,分别对dif1以及dif2进行先腐蚀后膨胀的形态学滤波处理,并将这两幅图像进行逻辑与操作:R=dif1&dif2,即对每个像素点进行遍历;若在遍历过程中,若当前处理像素点在两幅二值化图像中都为255,则将该处的像素点置为255,否则置为0;将经遍历后得到的二值化图像作为运动图像,也即前景图像。
进一步的,在本实施例中,在步骤S3中,帧间积累:该做法只适用于烟雾运动模型。由于烟雾运动缓慢,利用三帧差分法得到的前景图像,存在希望得到的很大运动部分并没有被检测出来。由于烟雾的扩散形状,可以由三帧差分法得到的运动图像,帧间积累为通过从当前帧起,包括当前帧往前计数的三帧G1,G2,G3进行积累,即利用或操作,使当前结果图像G=G1|G2|G3,其中,|为或操作。
进一步的,在本实施例中,在步骤S3中,抖动检测通过如下方式实现:(Num/Tot)>=T2,抖动检测阈值T2=0.3,Num为当前处理帧图像运动像素的数量,Tot为当前处理帧图像所有像素的数量,即判定为出现抖动效果;在检测过程中,动态地为之前检测得到的比重的平均值加上一个上限因子a,即Tnew=Ave+a,Ave为处理当前帧之前所有的运动像素点数量与总像素点数量的比值,a为0.2。
进一步的,在本实施例中,在步骤S4中,按照阈值T3进行二值化处理,得到二值化图像,将该二值图像与所述前景图像进行逻辑与运算,Cnow=Cs3&Cs4,&为逻辑与符号,即分别对该二值图像与所述前景图像中的每个像素点进行遍历,且在遍历过程中,若当前处理像素点在两张二值化图像中均为255,则将该像素点置为255,否则置为0,从而获得运动目标的轮廓信息,其中,所述阈值T3取值范围为8至15。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (5)

1.一种基于图像识别的火灾和烟雾检测方法,其特征在于,通过摄像头获取现场的图像视频信息,并通过计算机处理,利用RGB、HSV空间颜色模型以及运动模型识别火灾和烟雾区域,具体按照如下步骤实现:
步骤S1:将所获取的视频图像转化为RGB以及HSI颜色模型;
步骤S2:对视频图像进行分帧处理,对每个帧图像进行火灾颜色模型以及烟雾颜色模型的提取,将符合火灾颜色特征以及烟雾颜色特征的像素点提取出来;
步骤S3:构建运动模型,提取前景图像;利用三帧差分方法,设定差分阈值,并将符合运动模型的运动像素点提取出来,再通过帧间积累以及抖动检测,使提取的烟雾形状饱满,降低由于抖动而检测出错误运动像素的干扰;
步骤S4:对符合运动模型,且符合火灾颜色特征以及烟雾颜色特征的像素点进行提取,将当前处理帧图像转化为二值化图片,确定与所述前景图像的相同部分,并获取结果提取图像;
步骤S5:将所述结果提取图像进行用以除噪的腐蚀处理以及膨胀处理,并通过连通性判断,将火灾区域以及烟雾区域标志出来;
在所述步骤S3中,所述抖动检测通过如下方式实现:(Num/Tot)>=T2,抖动检测阈值T2=0.3,Num为当前处理帧图像运动像素的数量,Tot为当前处理帧图像所有像素的数量,即判定为出现抖动效果;在检测过程中,动态地为之前检测得到的当前帧之前所有的运动像素点数量与总像素点数量的比值加上一个上限因子a,即Tnew=Ave+a,Ave为处理当前帧之前所有的运动像素点数量与总像素点数量的比值,a为0.2。
2.根据权利要求1所述的基于图像识别的火灾和烟雾检测方法,其特征在于,在所述步骤S2中,在进行所述烟雾颜色模型提取时,提供如下条件:将满足如下条件的像素点标记为烟雾像素:
(1)T1<=I<=T2;(2)max(R,G,B)-min(R,G,B)<=T3;(3)max(R,G,B)-min(R,G,B)<=T4且max(R,G,B)==B;
将满足条件(1)以及条件(2)或满足条件(1)以及条件(3)的像素点标记为烟雾像素:
其中,I=(B+G+R)/3,T1取80,T2取220,T3取25至35,T4取35至40。
3.根据权利要求1所述的基于图像识别的火灾和烟雾检测方法,其特征在于,在所述步骤S3中,所述三帧差分方法按照如下方式实现:选取连续三帧视频图像进行差分运算,从当前帧开始向前取三帧图像,并进行灰度化处理,且将得到处理后的图像分别记作cur、per1以及pre2;计算dif1=pre2-pre1,dif2=pre1-cur,dif1,dif2均为二值化图像,且对进行减操作的两个图像分别对应进行每个像素点的遍历相减,若差值大于设定的差分阈值T1,则将该差值置为255,否则置为0,T1取10~15之间;
计算得到dif1以及dif2后,分别对dif1以及dif2进行先腐蚀后膨胀的形态学滤波处理,并将这两幅图像进行逻辑与操作:R1=dif1&dif2,即对每个像素点进行遍历;若在遍历过程中,若当前处理像素点在两幅二值化图像中都为255,则将该处的像素点置为255,否则置为0;将经遍历后得到的二值化图像作为运动图像,也即前景图像。
4.根据权利要求1所述的基于图像识别的火灾和烟雾检测方法,其特征在于,在所述步骤S3中,所述帧间积累为通过从当前帧起,包括当前帧往前计数的三帧G1,G2,G3进行积累,即利用或操作,使当前结果图像G=G1|G2|G3,其中,|为或操作。
5.根据权利要求1所述的基于图像识别的火灾和烟雾检测方法,其特征在于,在所述步骤S4中,按照阈值T3进行二值化处理,得到二值化图像,将该二值图像与所述前景图像进行逻辑与运算,Cnow=Cs3&Cs4,&为逻辑与符号,即分别对该二值图像与所述前景图像中的每个像素点进行遍历,且在遍历过程中,若当前处理像素点在两张二值化图像中均为255,则将该像素点置为255,否则置为0,从而获得运动目标的轮廓信息,其中,所述阈值T3取值范围为8至15。
CN201610151496.1A 2016-03-17 2016-03-17 基于图像识别的火灾和烟雾检测方法 Expired - Fee Related CN105741480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610151496.1A CN105741480B (zh) 2016-03-17 2016-03-17 基于图像识别的火灾和烟雾检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610151496.1A CN105741480B (zh) 2016-03-17 2016-03-17 基于图像识别的火灾和烟雾检测方法

Publications (2)

Publication Number Publication Date
CN105741480A CN105741480A (zh) 2016-07-06
CN105741480B true CN105741480B (zh) 2018-04-13

Family

ID=56250720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610151496.1A Expired - Fee Related CN105741480B (zh) 2016-03-17 2016-03-17 基于图像识别的火灾和烟雾检测方法

Country Status (1)

Country Link
CN (1) CN105741480B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590418A (zh) * 2016-07-08 2018-01-16 尹航 一种基于动态特征的视频烟雾识别方法
CN106650594A (zh) * 2016-10-09 2017-05-10 北方民族大学 视频火灾检测方法、装置及系统
CN106778488B (zh) * 2016-11-22 2019-07-16 中国民航大学 基于图像相关性的低照度烟雾视频检测方法
CN107067412A (zh) * 2017-04-01 2017-08-18 江苏移动信息系统集成有限公司 一种多信息融合的视频火焰烟雾检测方法
CN109726620B (zh) * 2017-10-31 2021-02-05 北京国双科技有限公司 一种视频火焰检测方法及装置
CN108279287B (zh) * 2018-02-01 2020-12-18 嘉兴市丰成五金材料股份有限公司 基于通信技术的烟雾快速散发系统
CN108921215A (zh) * 2018-06-29 2018-11-30 重庆邮电大学 一种基于局部极值共生模式和能量分析的烟雾检测
CN109472745A (zh) * 2018-09-29 2019-03-15 佛山市云米电器科技有限公司 一种油烟帧差图像的去噪方法及油烟图像识别系统
CN109493361B (zh) * 2018-11-06 2021-08-06 中南大学 一种火灾烟雾图像分割方法
CN109740505B (zh) * 2018-12-29 2021-06-18 成都视观天下科技有限公司 一种训练数据生成方法、装置及计算机设备
CN109815863B (zh) * 2019-01-11 2021-10-12 北京邮电大学 基于深度学习和图像识别的烟火检测方法和系统
CN111047818A (zh) * 2019-11-01 2020-04-21 浙江省林业技术推广总站(浙江省林业信息宣传中心) 一种基于视频图像的森林火灾预警系统
CN111080955A (zh) * 2019-12-30 2020-04-28 重庆市海普软件产业有限公司 一种森林防火智能控制系统及方法
CN111931612A (zh) * 2020-07-24 2020-11-13 东风商用车有限公司 一种基于图像处理的室内火焰识别方法及设备
CN112720406A (zh) * 2020-12-14 2021-04-30 北京建筑大学 轨道车辆厂房消防巡逻机器人、巡逻系统及火焰检测方法
CN113537213B (zh) * 2021-07-14 2024-01-30 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201993875U (zh) * 2010-12-13 2011-09-28 徐勇 基于颜色与动态特性的燃烧检测系统
CN103116746B (zh) * 2013-03-08 2016-08-03 中国科学技术大学 一种基于多特征融合技术的视频火焰探测方法
CN103473788B (zh) * 2013-07-31 2016-09-07 中国电子科技集团公司第三十八研究所 一种基于高清视频图像的室内火灾火焰检测方法
CN104794486B (zh) * 2015-04-10 2018-10-16 电子科技大学 基于多特征融合的视频烟雾检测方法

Also Published As

Publication number Publication date
CN105741480A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105741480B (zh) 基于图像识别的火灾和烟雾检测方法
CN101738394B (zh) 室内烟雾检测方法及系统
TWI413024B (zh) 物件偵測方法及系統
US9213896B2 (en) Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
Cavallaro et al. Shadow-aware object-based video processing
Cho et al. Image processing-based fire detection system using statistic color model
CN105046719B (zh) 一种视频监控方法及系统
CN106851302B (zh) 一种基于帧内编码压缩域的监控视频运动目标检测方法
Gunawaardena et al. Computer vision based fire alarming system
CN106778488B (zh) 基于图像相关性的低照度烟雾视频检测方法
Benjamin et al. Extraction of fire region from forest fire images using color rules and texture analysis
CN102034110A (zh) 一种火焰检测方法
CN108334824A (zh) 基于背景差分和迭代搜索的高压隔离开关状态识别方法
CN105528581B (zh) 基于仿生颜色感应模型的视频烟雾事件智能检测方法
Siricharoen et al. Robust outdoor human segmentation based on color-based statistical approach and edge combination
CN109583414B (zh) 基于视频检测的室内占道检测方法、设备、介质及处理器
US8311345B2 (en) Method and system for detecting flame
CN103489202A (zh) 基于视频的入侵检测方法
Alejandro et al. Improvement of a video smoke detection based on accumulative motion orientation model
Zulkifley et al. Enhancement of robust foreground detection through masked greyworld and color co-occurrence approach
Wilson et al. A comprehensive study on fire detection
Russell et al. Vehicle detection based on color analysis
JP2010218046A (ja) 煙検出装置
CN104574340A (zh) 一种基于历史图像的视频入侵检测方法
CN114998788A (zh) 一种基于视频分析的烟雾判定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413

Termination date: 20210317