CN112133052B - 核电厂图像火灾探测方法 - Google Patents

核电厂图像火灾探测方法 Download PDF

Info

Publication number
CN112133052B
CN112133052B CN202011000356.7A CN202011000356A CN112133052B CN 112133052 B CN112133052 B CN 112133052B CN 202011000356 A CN202011000356 A CN 202011000356A CN 112133052 B CN112133052 B CN 112133052B
Authority
CN
China
Prior art keywords
flame
algorithm
smoke
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011000356.7A
Other languages
English (en)
Other versions
CN112133052A (zh
Inventor
林特君
方华松
肖飞
李建文
李原
白绪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China General Nuclear Power Corp
CGN Power Co Ltd
Lingao Nuclear Power Co Ltd
Suzhou Nuclear Power Research Institute Co Ltd
Original Assignee
China General Nuclear Power Corp
CGN Power Co Ltd
Lingao Nuclear Power Co Ltd
Suzhou Nuclear Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China General Nuclear Power Corp, CGN Power Co Ltd, Lingao Nuclear Power Co Ltd, Suzhou Nuclear Power Research Institute Co Ltd filed Critical China General Nuclear Power Corp
Priority to CN202011000356.7A priority Critical patent/CN112133052B/zh
Publication of CN112133052A publication Critical patent/CN112133052A/zh
Application granted granted Critical
Publication of CN112133052B publication Critical patent/CN112133052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/06Electric actuation of the alarm, e.g. using a thermally-operated switch
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/10Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Abstract

本发明公开了一种核电厂图像火灾探测方法,包括如下步骤:获取探测区域内的红外热成像数据和彩色图像数据;通过红外热成像数据获取温度信息和火焰信息,针对温度信息采用火焰燃烧温度变化算法进行温度预警,针对火焰信息采用火焰燃烧火焰形态学算法进行火焰识别;通过彩色图像数据获取烟雾信息,针对烟雾信息采用火焰燃烧烟雾形态学算法进行烟雾识别;若红外热成像模组监测到温度异常,触发温度变化算法,当温度变化算法检测到温度预警后,发出火灾预警信号,触发火焰形态学算法和烟雾特性算法识别火焰和烟雾,根据设定的算法决策模型,当烟雾或火焰任一算法识别处理报警后,作为火警处理,发出火灾报警信号,否则不予发出火灾报警信号。

Description

核电厂图像火灾探测方法
技术领域
本发明涉及火灾探测领域,具体涉及一种适用于核电厂的火灾探测方法。
背景技术
安全是核电的生命线,国家对核电的要求是“必须绝对保证安全”、“安全大于天”,安全至上铭记在每个核工业者的心中。在众多威胁核安全的因素中,火灾具有非确定破坏性,易形成二次灾害,其影响往往难以估量。
核电厂内目前使用的火灾探测器有线型感温火灾探测器、点型感烟火灾探测器、吸气式感烟火灾探测器、线型光束感烟火灾探测器等产品,其中核岛厂房20m区域、KAC检修大厅、常规岛、变压器等场所内部环境、工艺结构较为复杂,受火灾探测器的探测原理、使用环境、探测距离、热障效应等影响,火灾信号难以快速到达探测器表面,常导致响应速度缓慢或无法有效响应,由于高温湿热、气体水蒸气、腐蚀、辐射等复杂环境情况,传统的火灾探测器易发生误报、漏报、故障率等情况。
近年来火灾探测领域专利急速上升发展趋势。该类技术主要涉及将火灾的视觉特征转变为图像数字信息,再通过计算机图像处理自动识别火情,实现监控、识别、报警等步骤。对于火灾火焰图像的识别主要是针对火焰图像所具备的可见光辐射特性、色谱特性和蔓延增长趋势等多方面的特征信息来进行的。当基于火焰图像可见光辐射特征进行火灾图像识别时,周围环境中的光源,甚至墙壁、地板对光的反射都将构成干扰光源,导致误报警。
红外热成像运用光电技术检测物体热辐射的红外线特定波段(8~14um)信号,将该信号转换成可供人类视觉分辨的图像和图形,并可以进一步计算出温度值。红外热成像技术使人类超越了视觉障碍,由此人们可以看到物体表面的温度分布状况。红外热成像技术作为革命性的测温和成像技术,自其被发明开始即发挥其非接触测温和可视成像的特点,被广泛地应用于电力、石油化工、建筑节能、医疗诊断、质量检测、防火预警等领域中。
基于红外热成像进行温度预警监测、火焰报警监测,并与高清彩色图像进行的烟雾识别检测,实现核电厂内早期火灾预警+报警模式,提高核电厂早期火灾探测响应性能。
发明内容
有鉴于此,为了克服现有技术的缺陷和达到上述目的,本发明的目的是提供一种适用于核电厂的早期火灾探测方法,能够有效的识别早期阴燃火灾、火焰、烟气,并有较强的抗干扰能力。
为了达到上述目的,本发明采用以下的技术方案:
一种核电厂图像火灾探测方法,包括如下步骤:获取探测监控区域内的红外热成像温度数据和高清彩色视频图像数据;通过红外热成像数据获取温度信息和火焰视频信息,针对温度信息采用火灾燃烧温度变化算法等特性进行温度监测预警,针对火焰信息采用火灾燃烧火焰特性变化进行火焰识别;通过彩色图像数据获取烟雾信息,针对烟雾信息采用火灾燃烧烟雾特性变化算法进行烟雾识别,形成复合型的火灾探测算法,进行核电厂早期火灾温度、烟雾、火焰识别、监控、报警等。
根据本发明的一些优选实施方面,所述红外热成像模组监测到温度异常,触发温度变化算法,当温度变化算法检测到温度预警后,发出火灾预警信号,触发火焰形态学算法和烟雾特性算法识别火焰和烟雾,根据设定的算法决策模型,当烟雾或火焰任一算法识别处理报警后,作为火警处理,发出火灾报警信号,否则不予发出火灾报警信号。
根据本发明的一些优选实施方面,所述温度变化算法包括如下步骤:
1.1)通过红外热成像数据获取探测区域内的温度分布;
1.2)计算探测区域内温度的增长速率是否超过设定的阈值,获得温度增长速率超过阈值的区域;
1.3)针对温度增持速率超过阈值的区域,计算当前区域内温度蔓延速率是否超过设定的阈值,获得温度蔓延速率超过阈值的区域;
1.4)针对温度蔓延速率超过阈值的区域,计算当前区域内高温是否超过设定的阈值,获得高温的区域;
1.5)若步骤1.2)、1.3)、1.4)均满足则提示温度预警;否则重复步骤1.1)、1.2)、1.3)、1.4)。
根据本发明的一些优选实施方面,所述火焰形态学算法包括如下步骤:
2.1)通过二值化及形态学膨胀腐蚀处理,提取火焰轮廓特征;
2.2)针对提取的火焰轮廓特征,计算尖角个数的标准方差是否超过设定的阈值,初步确定火焰轮廓特征区域;
2.3)针对初步确定的火焰轮廓特征区域,计算圆角特性个数的标准方差是否超过设定的阈值,进一步确定火焰轮廓特征区域;
2.4)针对进一步确定的火焰轮廓特征区域,计算区域长宽比例的标准方差是否超过设定的阈值,确定火焰轮廓特征区域;
2.5)针对确定的火焰轮廓特征区域,计算火焰面积变化的标准方差是否超过设定的阈值;
2.6)若步骤2.2)、2.3)、2.4)、2.5)均满足则识别出火焰;否则重复步骤2.1)、2.2)、2.3)、2.4)、2.5)。
根据本发明的一些优选实施方面,步骤2.1)中图像二值化采用的是双OTSU算法,首先基于整帧图像采用OTSU算法计算二值化阈值,然后对二值化后的图像进行一次目标分割,最后提取其中面积较大的目标逐个进行局部OTSU操作。
根据本发明的一些优选实施方面,步骤2.3)中采用圆形度表征圆角特性,圆形度通过以下公式进行计算:
Figure BDA0002694077120000021
其中,A为目标面积,对于二值图像,可以通过计算像素值为1的像素点个数获得;L为目标周长,根据提取到目标的轮廓,通过连码的方式计算得到。
根据本发明的一些优选实施方面,步骤2.5)中采用傅里叶工具对可疑区域的亮度变化进行频谱特征分析,具体包括如下步骤:
a)提取目标的运动区域,计算帧间亮度变化:
[I2(i,j)-I1(i,j),I3(i,j)-I2(i,j),...,IN+1(i,j)-IN(i,j)] (i,j)∈Region
式中,i,j表示图像的坐标点,I1、I2、。。。。。IN+1表示序列图像,N表示总的序列图像数量;
b)计算每帧图像中可疑区域的亮度变化平均值:
Figure BDA0002694077120000031
其中,f(k)表示亮度变化平均值,i,j表示图像的坐标点,I1、I2……Ik、Ik+1……IN+1表示序列图像,Area表示目标区域面积;
c)去除f(k)中的最大最小值;
d)进行快速傅里叶变化:
Figure BDA0002694077120000032
e)计算傅里叶特征向量的平均值M,该平均值值即为火焰频谱特征值FTC
Figure BDA0002694077120000033
式中,K表示图像的序列编号。
以上公式中,K和k的含义是相同的。
根据本发明的一些优选实施方面,所述烟雾形态学算法包括如下步骤:
3.1)算法启动状态确认:用于确定视频源状态是否满足烟雾探测算法需求,在开启红外辅助照明后进入该算法流程。输入为视频图像,输出为状态码。
3.2)烟雾区域累积帧差标记:在确定视频源状态后启动该算法,采用基于红外视频能量的帧差法提取烟雾目标区域。输入为视频图像,输出为网格化的目标区域标记图,用以进行全局判定。
3.3)可疑目标提取:在确定视频源状态后启动该算法,通过间隔提取的两帧图像初步判定是否存在烟雾区域。输出为网格标记图;
3.4)目标分离:通过初步标记的烟雾可疑区域网格图,进行目标的聚类和分离。输入为网格标记图,输出为可疑目标的ROI区域;
3.5)生成待识别目标链表:确定存在可疑目标之后,生成目标链表;
3.6)目标更新:在进入烟雾目标识别周期之后,逐帧对识别的目标进行更新,同时对同一个目标区域对应的网格进行融合。输出目标链表;
3.7)目标链表更新:在对目标更新后,同时对目标的链表进行更新。
3.8)FFT(fast Fourier transform,快速傅立叶变换)分析:该模块为静态特征分析模块,通过二维傅里叶变化得到ROI(rect of interesting)区域的静态特征值。输出FFT变换系数。ROI区域为在光截面发射器周围通过自动搜索得到的观察区域,根据现场情况可设置多个。
3.9)全局判定:采用投票机制,结合运动区域标记图、目标链表所生成的特征值及FFT特征值进行判定是否存在烟雾目标。输入为三个流程所得到的可疑烟雾区域特征值。
根据本发明的一些优选实施方面,步骤3.9)全局判定中需要同时满足以下条件:可疑区域生长数与消亡数之差是否大于可疑区域增长阈值;计算FFT特征值Ratio是否在处于报警曲线内;根据烟雾区域帧差标记图,统计可疑目标区域是否存在运动标记;则判定可疑区域为烟雾目标。
根据本发明的一些优选实施方面,所述步骤还包括在确定发出火灾报警信号时进行视频OSD叠加、视频编码、RTSP推送至核电厂火灾报警系统软件。
由于采用了以上的技术方案,相较于现有技术,本发明的有益之处在于:本发明的核电厂图像火灾探测方法,利用红外热成像火焰燃烧温度变化算法、火焰燃烧形态学算法及火焰燃烧烟雾变化算法识别技术对核电站内的火灾分析、判定,可以有效的早期识别火灾、烟气,并有较强的抗干扰能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中图像二值化处理中的OSTU图像;
图2为本发明实施例中火焰和白炽灯的尖角特性图;
图3为本发明实施例中火焰目标圆形度计算过程示意图;
图4为本发明实施例中白炽灯圆形度计算过程示意图;
图5(a)为本发明实施例中火焰视频图像中的目标高度变化特征曲线;
图5(b)为本发明实施例中干扰源高度变化特征曲线;
图6为本发明实施例中小火源形状变化特征曲线;
图7为本发明实施例中FTC特性图;
图8为本发明实施例中火焰面积与圆形度相关性示意图;
图9为本发明实施例中面积与火苗特征相关性示意图;
图10为本发明实施例中面积与占空比相性示意图;
图11为本发明实施例中烟雾探测算法总流程图;
图12为本发明实施例中算法启动状态确认流程图;
图13为本发明实施例中可疑目标提取流程图;
图14为本发明实施例中目标分离流程图;
图15为本发明实施例中可疑目标标志图生成流程图;
图16为本发明实施例中目标更新流程图;
图17为本发明实施例中目标链表更新流程图;
图18为本发明实施例中自动设置ROI区域流程图;
图19为本发明实施例中FFT分析流程图;
图20为本发明实施例中全局判据流程图;
图21为本发明实施例中的火灾报警流程图;
图22为本发明实施例中温度变化算法分析原理图;
图23为本发明实施例中火焰形态学算法分析原理图;
图24为本发明实施例中烟雾形态学算法分析原理图;
图25为本发明实施例中嵌入式图像火焰探测软件模块图;
图26为本发明实施例中嵌入式图像火焰探测软件数据流向图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参见附图1-26,本实施例的核电厂图像火灾探测方法,通过红外热成像模组监测到温度异常,触发温度变化算法,当温度变化算法检测到温度预警后,发出火灾预警信号,触发火焰形态学算法和烟雾特性算法识别火焰和烟雾,根据设定的算法决策模型,当烟雾或火焰任一算法识别处理报警后,作为火警处理,发出火灾报警信号,否则不予发出火灾报警信号。
如图21所示,探测方法具体包括如下步骤:
1)系统启动,红外热成像模组、高清彩色模组工作。
2)红外热成像模组定时采集红外热成像数据,通过红外热成像数据获取温度信息和火焰视频信息,针对温度信息采用火焰燃烧温度变化算法进行温度预警,如红外热成像监测到温度异常,系统发出预警信号,对火焰信息采用火焰燃烧火焰形态学算法进行火焰识别。
3)高清彩色模组定时采集彩色图像数据,通过彩色图像数据获取烟雾信息,针对烟雾信息采用火焰燃烧烟雾形态学算法进行烟雾识别。
4)当烟雾或火焰任一算法或全部算法检测到火灾,系统发出火灾报警信号,若步骤2)和步骤3)中未检测到火灾信号,系统正常,进行实时监测。
以下对温度变化算法(如图22所示)、火焰形态学算法(如图23所示)和烟雾形态学算法(如图24所示)进行详细说明:
一、温度变化算法分析说明
1.1)针对红外热成像数据,通过红外热成像模组厂家提供获取温度的接口获取探测区域内的温度分布;
1.2)针对获取区域的温度分布,计算当前区域内温度的增长速率是否超过设定的阈值,本实施例中设定温度的增长速率的阈值为10℃,从而获得温度增持速率超过阈值的区域;
1.3)针对温度增长速率超过阈值的区域,计算当前区域内温度蔓延速率是否超过设定的阈值,本实施例中设定温度蔓延速率的阈值为5℃/s,从而获得温度蔓延速率超过阈值的区域;
1.4)针对温度蔓延速率超过阈值的区域,判断当前区域内高温是否超过设定的阈值,本实施例中设定高温的阈值为60℃,从而获得高温的区域;
1.5)若1.2)、1.3)、1.4)步骤均满足则提示温度预警;否则重复1.1)、1.2)、1.3)、1.4)步骤。
二、火焰形态学算法分析说明
2.1)针对红外热成像成像视频图像数据,进行图像预处理,图像预处理包括二值化和形态学膨胀腐蚀操作,其中图像二值化采用的是双OTSU算法,首先基于整帧图像采用OTSU算法计算二值化阈值,然后对二值化后的图像进行一次目标分割,最后提取其中面积较大的目标逐个进行局部OTSU操作。本实施例中为了降低运算量,将OTSU算法中的阈值搜索范围定为[50,150]。通过二值化及膨胀腐蚀处理,提取火焰轮廓特征;火焰目标经形态学处理后,目标形状更加清晰,完整,如图1所示。
双OTSU二值化算法可以将部分火焰目标与其倒影进行分离,从而通过后续的探测算法可以进行准确识别和定位。如图1所示,对于能量较弱的火焰倒影,通过该方法可以将其与真实火焰很好的分割开来。
2.2)针对提取的火焰轮廓特征,计算尖角个数是否超过设定的阈值
在火焰燃烧过程中,随时间序列的变化会呈现火苗腾跃的现象,将其定义为时间尖角。对火焰目标进行轮廓提取,并统计尖角的位置、方向及大小,其应符合整体变化较为剧烈的特性,本实施例中设定火灾尖角的阈值为4。如图2所示,图2中左侧两幅图为火焰的尖角特性图,右侧两幅图为白炽灯的尖角特性图。
2.3)针对初步确定的火焰轮廓特征区域,计算圆角特性(即下方的圆形度形状特征)是否超过设定的阈值,从而进一步确定火焰轮廓特征区域;
圆形度形状特征是图像表达、图像检索以及图像分类识别的一个重要特征。通过观察大量的火焰以及干扰物体图像发现:一般的火焰不具有规则的形状,其边缘呈现为不规则的曲线,而手电筒、白炽灯以及蜡烛等干扰光源往往具有比较规则的形状。本实施例采用了圆形度这一特征,用其表征物体边缘的复杂程度,并将其作为区分火焰以及干扰光源的一个特征。
圆形度定义:
Figure BDA0002694077120000061
其中,A为目标面积,对于二值图像,可以通过计算像素值为1的像素点个数获得;L为目标周长,根据提取到目标的轮廓,通过连码的方式计算。从式中可以看出,当面积相同时,可疑图元的形状越复杂,其周长值越大,圆形度的值会越小;当可疑图元为圆形物体时,其圆形度最大,值为1。点型的目标对象圆形度参数,如《特种火灾探测器》中记载的光干扰装置圆形度C≥0.8,太阳的圆形度C≈0.99632,火焰的圆形度C≤0.5,矩形窗户的圆形度C≤0.23等。
如图3和4所示,图3为火焰目标圆形度计算过程示意图,图4为白炽灯圆形度计算过程示意图。
2.4)针对进一步确定的火焰轮廓特征区域,计算火焰形状变化特性
随着火焰的燃烧,其面积是在不断变化的,其中运动最剧烈的为火焰顶部,采用了火焰的顶部变化特征作为一种判决依据。通过分析火焰在燃烧过程中的顶部高度变化将其与一些稳定的光源进行区分开来。如图5所示,图5(a)为一段火焰视频图像中的目标高度变化曲线,(b)为一段干扰源高度变化曲线。火焰的高度变化明显要剧烈。该特征对于面积较小的火焰也同样适用,图6中为一段小目标火焰的形状变化,图像中的火焰目标像素数仅为50。对比两幅图像可以看出,小火源的形状变化没有大火源变化剧烈,但相对一些干扰源还是具有很好的分类特性的。
2.5)针对确定的火焰轮廓特征区域,进行连续特征区域的频谱特性分析,可以有效过滤一些高亮静止的干扰区域。
采用傅里叶工具对可疑区域的亮度变化进行频谱特征分析,反映可疑区域亮度波动幅度的动态信息,本实施例中火焰的FTC变化取值范围为20~180。本实施例中在统计亮度变化后,去除最大最小值,再进行傅里叶变化,效果更优,结果更加准确。具体算法步骤如下:
a)提取目标的运动区域,计算帧间亮度变化:
[I2(i,j)-I1(i,j),I3(i,j)-I2(i,j),...,IN+1(r,j)-IN(i,j)] (i,j)∈Region
式中,i,j表示图像的坐标点,I1、I2、。。。。。IN+1表示序列图像,N表示总的序列图像数量,N+1为图像序列长度;
b)计算每帧图像中可疑区域的亮度变化平均值:
Figure BDA0002694077120000071
其中i,j表示图像的坐标点,I1、I2……Ik、Ik+1……IN+1表示序列图像,Area表示目标区域面积;
c)去除f(k)中的最大最小值;
d)进行快速傅里叶变化:
Figure BDA0002694077120000072
式中,f(k)表示亮度变化平均值,N表示总的序列图像数量;
e)计算傅里叶特征向量的平均值(M),该平均值值即为火焰频谱特征值(FTC)
Figure BDA0002694077120000073
式中,K表示图像的序列编号,N表示总的序列图像数量;
以上公式中,K和k的含义是相同的。
如图7所示,图7(a)、(b)、(c)、(d)分别为窗户、蜡烛、白炽灯和小火焰对应的FTC值。
2.6)目标判决
某些特征如圆形度、形状变化等,与火焰的面积大小具有一定的相关性。对于面积较小的火焰,其圆形度平均值较大,主要原因有两点,一为小油盆的火焰绝对波动值较小,火源比较稳定;另外,随着火焰的面积减小及其像素数的降低,其形状越接近圆形。如图8所示,图8为火焰面积与圆形度相关性。
图9显示了火焰的火苗个数与面积间关系,在一个周期内(算法中取32帧)火焰的平均火苗个数在2~6之间,主要集中在2~4个。
图10为火焰的面积与其占空比间的关系,由图10可以看出,占空比随着面积的增加,呈现下降的趋势。
算法判决模型中采用了分类器进行判决,轮廓变化特征为火焰特征中具有代表性的特征,其优先级较高,因此首先通过目标的轮廓变化特征对其进行初判决。通过以上分析可知,不同大小的火焰具有不同的特征,如小目标火焰的圆形度相对较大,波动特征和火苗特征都不显著,随着火焰面积的上升,各种特征值呈现的变化趋势也不相同。因此采用目标的面积特征作为一个分类器,将目标划分几个等级,最后结合圆形度、占空比及火苗特征进行最后的判决。2.7)若2.2)、2.3)、2.4)、2.5)、2.6)步骤均满足则识别出火焰;否则重复2.1)、2.2)、2.3)、2.4)、2.5)、2.6)步骤。
三、烟雾形态学算法分析说明
如图11所示,首先启动状态确认,调用第一个功能模块即算法启动状态确认,待返回成功状态码之后进入烟雾探测算法流程。在算法启动状态确认之后,有以下三个并行处理流程:
(1)步骤3.3)、3.4)、3.5)、3.6)、3.7)为组成第一个流程,该流程为基于动态特征的烟雾探测。首先提取两帧视频图进行可疑目标的提取、分离和判定,并生成待识别目标链表。待确定存在可疑目标之后,进入识别周期,识别周期帧数为TotalFrame。对识别周期中的每帧图像进行目标更新和链表更新,识别周期结束之后进行目标特征值计算,主要为可疑区域的动态特征值。
(2)步骤3.2)采用帧差法对运动区域进行标定:调用烟雾区域累积帧差标记算法模块生成可疑运动目标的二值化图像,并进行分块标记生成运动区域标记图。
(3)步骤3.8)为基于二维傅里叶变化的烟雾特征提取。
以上三个流程所得到的动态特征值、静态特征值及可疑区域标记图作为全局判据的依据,根据判据机制最终进行烟雾识别。
各个步骤和模块功能介绍如下:
3.1)算法启动状态确认:用于确定视频源状态是否满足烟雾探测算法需求,在开启红外辅助照明后进入该算法流程。输入为视频图像,输出为状态码。
3.2)烟雾区域累积帧差标记:在确定视频源状态后启动该算法,采用基于红外视频能量的帧差法提取烟雾目标区域。输入为视频图像,输出为网格化的目标区域标记图,用以进行全局判定。
3.3)可疑目标提取:在确定视频源状态后启动该算法,通过间隔提取的两帧图像初步判定是否存在烟雾区域。输出为网格标记图;
3.4)目标分离:通过初步标记的烟雾可疑区域网格图,进行目标的聚类和分离。输入为网格标记图,输出为可疑目标的ROI区域;
3.5)生成待识别目标链表:确定存在可疑目标之后,生成目标链表;
3.6)目标更新:在进入烟雾目标识别周期之后,逐帧对识别的目标进行更新,同时对同一个目标区域对应的网格进行融合。输出目标链表;
3.7)目标链表更新:在对目标更新后,同时目标的链表进行更新。
3.8)FFT分析:该模块为静态特征分析模块,通过二维傅里叶变化得到ROI(rectof interesting)区域的静态特征值。输出FFT变换系数。ROI区域为在光截面发射器周围通过自动搜索得到的观察区域,根据现场情况可设置多个。
3.9)全局判定:采用投票机制,结合运动区域标记图、目标链表所生成的特征值及FFT特征值进行判定是否存在烟雾目标。输入为三个流程所得到的可疑烟雾区域特征值。
以下对各个模块和步骤进行详细说明:
3.1算法启动状态确认
如图12所示,用于确定视频源状态是否满足烟雾探测算法需求,连续采集视频图像帧数为Query_Frame_Num,计算每帧图像的直方图和灰度均值,如果灰度均值满足阈值条件,则统计高亮区域像素所占的百分比,这里的高亮像素是指灰度值大于240的像素点,根据该百分比判断图像是否存在过曝区域,同时根据灰度均值判断图像质量是否过亮或过暗,如果图像质量不满足算法处理需求,需要重新采集图像。如果连续Query_Frame_Num帧图像符合要求,则统计该连续Query_Frame_Num帧图像的灰度均值方差,如果小于设定阈值,则返回成功状态码,否则重新采集图像进行判断。连续两次不满足要求,则视为故障,返回失败状态码。在图12的右上角为各参数的初始值。
3.2可疑目标提取
如图13所示,在确定视频源状态后启动该算法,通过间隔提取的两帧图像初步判定是否存在烟雾区域。首先读入一帧视频图像IMG_PRO_PRE并进行网格化,网格大小为Grid_Size_Height*Grid_Size_Width,计算每个网格内像素的方差和均值。间隔Wt(250ms)之后采集第二幅图像,进行相同的操作。生成一副标记图用以记录两幅图像的网格特征值(std,mean)比较结果,如图13所示,分别以Gird_Flag_Null、Grid_Flag_Smoke_A、Grid_Flag_Smoke_B、Grid_Flag_Watch进行标记,并统计各种标记的网格数。
3.3目标分离
通过初步标记的烟雾可疑区域网格图(可疑目标提取的结果),进行目标的聚类和分离。如图14所示,首先统计整帧图像中SmokeA和SmokeB类型的网格数之和,如果统计数之和不大于预定值2则将Wt重新赋值并进行可疑目标提取(4.3.3),如此重复3次,如果3次均没有可疑区域,则视为无明显运动烟雾目标,因此无法进行后续的动态跟踪与识别流程,对上级系统返回一个状态码。如果SmokeA和SmokeB的网格数之和大于2,则存在可持续跟踪识别的可疑目标。通过采用目标8方向连通方式,将空间位置临近的可疑网格组成一个整体,并纳入到可疑目标链表之中,作为后续动态跟踪与识别的初始目标。
3.4可疑目标标志图生成
如图15所示,在进入动态目标跟踪周期后,为了便于锁定目标区域的初始位置,减少计算的复杂度,会在周期中每次目标更新之前,依据动态跟踪链表中目标的参数信息,创建上帧的目标标志图。通过对生成的目标标志图的临近区域进行检索的方式,进行目标的跟踪与更新工作。可疑目标标志图生成算法流程如图15所示。
3.5目标更新
如图16所示,在进入到动态跟踪与识别的周期中后,对输入视频图像信号,依据每个目标在时间轴上的顺序及空间的临近原则,首先进行当前目标与动态跟踪链表内目标的匹配。匹配的结果用于更新动态目标链表的目标空间信息。
目标更新模块作为目标更新机制的主功能模块,主要负责实现每个初始目标在时间序列上的跟踪、排列,并解决在跟踪过程中的目标相交、融合、分离的问题。(从烟雾目标运动方式主要为扩散形式,因此本文算法没有考虑目标分离问题)。完整的目标更新模块能够获取到每个目标沿着时间轴序列上空间分布的变化及范围。
3.6目标链表更新
如图17所示,目标链表更新模块,主要功能是实现在目标跟踪与更新的过程中,对目标链表中的目标进行检索,及在动态时间序列上目标的特征值的计算与更新操作。形成每个目标在时间轴序列上特征值的有序排列,并为最终的特征判定提供相应的数据支持。
目标链表更新模块的主要功能是统计树干增长和消亡的节点数,即可疑烟雾目标的扩散和消失网格数。
3.7FFT分析
该模块主要利用烟雾的静态特征——高频衰减特性,二维傅里叶变换一般用在数字图像处理中,一般是二维的灰度图像f(x,y)变换到频域F(u,v)。在频谱图中,中心部分表示原图像中的低频部分,是图像中灰度变化不太快的成分,反映了图像的主体框架;而频谱的四周,也即是高频区域是图像中灰度变化较快的成分,一般反映着图像中的椒盐噪声(突发性的白点或黑点)或者是图像内部变化剧烈的边缘成分。如果原始图像具有十分明显的规律,例如将一个简单图样有规律的平移并填满整个图形,那么其频谱一般表现为坐标原点周围的一圈亮点。如果在图像中任意选取某一矩形框作为二维傅里叶变化的观察框,则当烟雾蔓延到框内时,其FFT系数将发生明显变化,通过FFT系数的变化规律可以对烟雾加以识别。
该模块算法流程如图18所示,首先在光截面发射器周围自动选取几个ROI区域,图像搜索区域设置在发射器周围。图19为FFT分析算法流程。输出FFT特征值Ratio(n,i),用作全局判断的特征值之一。
3.8全局判据
全局判定流程图如图20所示,其中IsSmokeFlag为标识符。该全局判据共有以下三个规则:
A:可疑区域生长数与消亡数之差是否大于可疑区域增长阈值
Sum(Grow-Die)>The_Gloabal_Smoke_Grow
B:计算FFT特征值Ratio是否在处于报警曲线内(是否存在报警区域)
C:根据烟雾区域帧差标记图,统计可疑目标区域是否存在运动标记(255标记)
以上每个规则均对应IsSmokeFlag的一个标志位,当三个规则全满足则判定可疑区域为烟雾目标。
如图25和26所示,本发明的适用于核电厂的火灾探测方法匹配的软件功能模块如下:
1)系统参数:功能包括核电厂火灾探测系统软件的常规配置参数的读取及保存;参数包括设备序列号、主机IP、主机端口号、日志启用标志、视频播放、灵敏度等参数;
2)算法参数:功能包括核电厂火灾探测系统软件的算法参数的读取及保存;参数包括算法不同灵敏度对应的算法处理阈值;
3)视频获取:功能包括视频的初始化、视频参数设置及视频图像帧的获取;
4)视频OSD:实现图像的信息叠加功能,包括报警信息、运行状态的叠加等;
5)视频编码:实现对视频的编码工作,包括视频H264编码、视频编码参数获取、视频流的获取等功能;
6)算法控制:控制算法的启动、停止、复位等操作;并可以实时获取算法的运行状态;
7)算法处理:对视频帧图像进行温度、火焰及烟雾识别功能,主要包括温度变化处理、火焰形态学处理及烟雾形态学、目标提前、分离、特征的提取、处理和判决模型等处理操作;
8)串口通信:与扩展板进行串口通信,实现状态、控制等信息交互;
9)TCP通信:采用TCP/IP通信方式与核电厂火灾探测系统软件通信,实现状态、控制等信息的交互;
10)RTSP传输:采用RTSP协议进行传输,使视频可以通过2路码流播放;
11)ARP通信:用于实现设备可以通过工具搜索、配置等操作;
12)设备激活:设备激活功能及启动时的激活验证;
13)看门狗:用于监视主程序的运行状态,当程序发生未知错误时可以及时使程序正常;
14)GPIO控制:实现对GPIO的监视及控制,包括:光敏电阻检测、IR-CUT切换等。
软件数据流:软件主要通信方式为网络通信及RS232串口通信,网络通信主要使用了TCP/IP、RTSP协议;视频源采用数字视频接入方式获取。
通过对视频源进行算法处理,实现了火灾识别报警,并且通过软件代码逻辑实现了网络层主机、核心板、扩展板的数据交互及操作交互。
本发明的核电厂图像火灾探测方法,采用温度变化算法、火焰形态学算法及烟雾形态学算法火灾识别技术能很好地应用于核电站中。核电站厂内火灾往往是由不明显的阴燃火引发的。这是毁灭性火灾的根源,用现有的普通方法,很难发现这种隐性火灾苗头。然而利用温度变化算法、火焰形态学算法及烟雾形态学算法火灾识别技术,在火灾发生早期,烟雾形成至火焰的产生,利用烟雾及火焰的温度、尖角、圆角特性长宽比例及面积比例等信息作为火灾识别的依据,基于图像多特征的火焰识别算法能够有效识别出火灾火焰,并有较强的抗干扰能力。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种核电厂图像火灾探测方法,其特征在于,包括如下步骤:获取探测监控区域内的红外热成像数据和彩色视频图像数据;通过红外热成像数据获取温度信息和火焰视频信息,针对温度信息采用火灾燃烧温度变化算法进行温度监测预警,针对火焰视频信息采用火焰形态学算法进行火焰识别;通过彩色视频图像数据获取烟雾信息,针对烟雾信息采用烟雾形态学算法进行烟雾识别,根据算法结果进行核电厂早期火灾温度、火焰、烟雾的识别、监控和报警;
红外热成像模组监测到温度异常,触发温度变化算法,当温度变化算法检测到温度预警后,发出火灾预警信号,并触发火焰形态学算法和烟雾形态学算法分别识别火焰和烟雾,当火焰形态学算法和/或烟雾形态学算法识别处理报警后,作为火警处理,发出火灾报警信号,否则不予发出火灾报警信号;
所述温度变化算法包括如下步骤:
1.1)通过红外热成像数据获取探测区域内的温度分布;
1.2)计算探测区域内温度的增长速率是否超过设定的阈值,获得温度增长速率超过阈值的区域;
1.3)针对温度增长速率超过阈值的区域,计算当前区域内温度蔓延速率是否超过设定的阈值,获得温度蔓延速率超过阈值的区域;
1.4)针对温度蔓延速率超过阈值的区域,计算当前区域内高温是否超过设定的阈值,获得高温的区域;
1.5)若步骤1.2)、1.3)、1.4)均满足则提示温度预警;否则重复步骤1.1)、1.2)、1.3)、1.4);
所述火焰形态学算法包括如下步骤:
2.1)通过二值化及形态学膨胀腐蚀处理,提取火焰轮廓特征;
2.2)针对提取的火焰轮廓特征,计算尖角个数的标准方差是否超过设定的阈值,初步确定火焰轮廓特征区域;
2.3)针对初步确定的火焰轮廓特征区域,计算圆角特性个数的标准方差是否超过设定的阈值,进一步确定火焰轮廓特征区域;
2.4)针对进一步确定的火焰轮廓特征区域,计算区域长宽比例的标准方差是否超过设定的阈值,确定火焰轮廓特征区域;
2.5)针对确定的火焰轮廓特征区域,计算火焰面积比例的标准方差是否超过设定的阈值、计算火焰频谱特征值是否超过设定的阈值;
2.6)若步骤2.2)、2.3)、2.4)、2.5)均满足则识别出火焰;否则重复步骤2.1)、2.2)、2.3)、2.4)、2.5);
步骤2.5)中采用傅里叶工具对火焰轮廓特征区域的亮度变化进行频谱特征分析,具体包括如下步骤:
a)提取目标的运动区域,计算帧间亮度变化:
[I2(i,j)-I1(i,j),I3(i,j)-I2(i,j),…,IN+1(i,j)-IN(i,j)] (i,j)∈Region
式中,i,j表示图像的坐标点,I1、I2、……IN+1表示序列图像,N表示总的序列图像数量;
b)计算每帧图像中可疑区域的亮度变化平均值:
Figure FDA0003671821420000021
其中,f(k)表示亮度变化平均值,i,j表示图像的坐标点,I1、I2……Ik……Ik+1……IN+1表示序列图像,Area表示目标区域面积;
c)去除f(k)中的最大最小值;
d)进行快速傅里叶变化:
Figure FDA0003671821420000022
e)计算傅里叶特征向量的平均值M,该平均值即为火焰频谱特征值FTC
Figure FDA0003671821420000023
式中,K表示图像的序列编号;
所述烟雾形态学算法包括如下步骤:
3.1)算法启动状态确认:用于确定彩色视频图像数据状态是否满足烟雾探测算法需求,在开启红外辅助照明后进入该算法流程;
3.2)烟雾区域累积帧差标记:在确定彩色视频图像数据状态后启动该算法,采用基于彩色视频图像数据的帧差法提取烟雾目标区域;
3.3)可疑目标提取:在确定彩色视频图像数据状态后启动该算法,通过间隔提取的两帧图像初步判定是否存在烟雾区域;
3.4)目标分离:通过初步标记的烟雾可疑区域网格图,进行目标的聚类和分离;
3.5)生成待识别目标链表:确定存在可疑目标之后,生成目标链表;
3.6)目标更新:在进入烟雾目标识别周期之后,逐帧对识别的目标进行更新,同时对同一个目标区域对应的网格进行融合;
3.7)目标链表更新:在对目标更新后,同时对目标的链表进行更新;
3.8)快速傅立叶变换分析:该模块为静态特征分析模块,通过二维傅里叶变化得到ROI区域的静态特征值;所述ROI区域为在光截面发射器周围通过自动搜索得到的观察区域;
3.9)全局判定:采用投票机制,结合运动区域标记图、目标链表所生成的特征值及FFT特征值进行判定是否存在烟雾目标;
步骤2.1)中图像二值化采用的是双OTSU算法,首先基于整帧图像采用OTSU算法计算二值化阈值,然后对二值化后的图像进行一次目标分割,最后提取其中面积较大的目标逐个进行局部OTSU操作;
步骤2.3)中采用圆形度表征圆角特性,圆形度通过以下公式进行计算:
Figure FDA0003671821420000031
其中,A为目标面积,对于二值图像,可以通过计算像素值为1的像素点个数获得;L为目标周长,根据提取到目标的轮廓,通过连码的方式计算得到;
步骤3.9)全局判定中需要同时满足以下条件:可疑区域生长数与消亡数之差是否大于可疑区域增长阈值;计算FFT特征值Ratio是否在处于报警曲线内;根据烟雾区域帧差标记图,统计可疑目标区域是否存在运动标记;则判定可疑区域为烟雾目标;
所述步骤还包括在确定发出火灾报警信号时进行视频OSD叠加、视频编码、RTSP推送至核电厂火灾探测报警系统软件。
CN202011000356.7A 2020-09-22 2020-09-22 核电厂图像火灾探测方法 Active CN112133052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011000356.7A CN112133052B (zh) 2020-09-22 2020-09-22 核电厂图像火灾探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011000356.7A CN112133052B (zh) 2020-09-22 2020-09-22 核电厂图像火灾探测方法

Publications (2)

Publication Number Publication Date
CN112133052A CN112133052A (zh) 2020-12-25
CN112133052B true CN112133052B (zh) 2022-09-20

Family

ID=73842171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011000356.7A Active CN112133052B (zh) 2020-09-22 2020-09-22 核电厂图像火灾探测方法

Country Status (1)

Country Link
CN (1) CN112133052B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735072B (zh) * 2021-01-06 2022-03-04 浙江弄潮儿智慧科技有限公司 一种基于物联网林区动态及林区火情预警云平台
CN113077604B (zh) * 2021-03-18 2022-10-11 合肥科大立安安全技术有限责任公司 一种隧道型复合火焰探测识别方法
CN113177467A (zh) * 2021-04-27 2021-07-27 上海鹰觉科技有限公司 火焰识别方法及系统、装置、介质
CN113092331B (zh) * 2021-05-10 2023-12-01 中科永安(六安)科技有限公司 一种基于图像识别和多路激光对射式复合烟雾探测器
CN113256928A (zh) * 2021-05-14 2021-08-13 中科永安(六安)科技有限公司 一种基于图像识别和温度判定算法的火灾探测方法
CN113569943B (zh) * 2021-07-26 2023-10-24 中铁工程装备集团有限公司 一种基于深度神经网络的渣片大块预警方法、系统及装置
CN113516091B (zh) * 2021-07-27 2024-03-29 福建工程学院 一种识别变电站电火花图像的方法
CN113920679A (zh) * 2021-10-29 2022-01-11 苏州和歌信息科技有限公司 城市远距离火灾监测方法、装置、计算机设备及存储介质
CN114519918A (zh) * 2022-03-01 2022-05-20 华南师范大学 化工石化医药行业极早期热成像火灾报警系统
CN114506221B (zh) * 2022-03-03 2023-08-08 西南交通大学 基于高温超导磁浮的隧道火场环境侦测系统及方法
CN115294718A (zh) * 2022-08-09 2022-11-04 九江职业技术学院 一种基于多源数据融合的火灾预警系统
CN116433035B (zh) * 2023-06-13 2023-09-15 中科数创(临沂)数字科技有限公司 一种基于人工智能的建筑电气火灾风险评估预测方法
CN116777707B (zh) * 2023-06-20 2023-12-01 浙江宏远智能科技有限公司 一种智慧社区管理系统和方法
CN117671608B (zh) * 2024-02-02 2024-04-26 江苏林洋亿纬储能科技有限公司 启动电池储能系统消防作业的方法和系统及计算设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237308A (en) * 1991-02-18 1993-08-17 Fujitsu Limited Supervisory system using visible ray or infrared ray
US7786877B2 (en) * 2008-06-20 2010-08-31 Billy Hou Multi-wavelength video image fire detecting system
CN101908142A (zh) * 2010-08-04 2010-12-08 丁天 一种基于特征分析的视频火焰检测方法
CN105069957A (zh) * 2015-07-16 2015-11-18 苏州欧可罗电子科技有限公司 一种基于紫外火焰探测的无线火灾探测方法
CN206451323U (zh) * 2016-10-31 2017-08-29 广东核电合营有限公司 核电厂反应堆厂房火灾探测系统
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法
CN107577997A (zh) * 2017-08-21 2018-01-12 国家电网公司 一种输电线路通道内山火入侵的辨识方法
CN108229458A (zh) * 2017-12-22 2018-06-29 湖南源信光电科技股份有限公司 一种基于运动检测和多特征提取的火焰智能识别方法
CN110263696A (zh) * 2019-06-17 2019-09-20 沈阳天眼智云信息科技有限公司 基于红外视频的火焰探测方法
CN111275918B (zh) * 2020-03-05 2020-12-11 深圳市君利信达科技有限公司 一种火焰检测分析预警系统

Also Published As

Publication number Publication date
CN112133052A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112133052B (zh) 核电厂图像火灾探测方法
US8565484B2 (en) Forest fire smoke detection method using random forest classification
Toreyin et al. Online detection of fire in video
US7002478B2 (en) Smoke and flame detection
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
CN112069975A (zh) 一种基于紫外、红外、视觉的综合火焰检测方法
US20160350908A1 (en) Method and system for detecting sea-surface oil
CN108389359B (zh) 一种基于深度学习的城市火灾报警方法
CN107437318B (zh) 一种可见光智能识别算法
CA2275893C (en) Low false alarm rate video security system using object classification
JP7395684B2 (ja) 煙検出装置及び煙識別方法
CN104599427A (zh) 一种用于公路隧道的智能图像型火灾报警系统
CN109034038B (zh) 一种基于多特征融合的火灾识别装置
KR101196678B1 (ko) 실시간 화재 감시 장치 및 방법
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与系统
CN115601919A (zh) 基于物联网设备和视频图像综合识别的火灾报警方法
KR101679148B1 (ko) 깊이 카메라를 이용한 화재 감시 시스템 및 이를 이용한 화재 감시 방법
JP6617015B2 (ja) 炎検出装置および炎検出方法
De Venâncio et al. Fire detection based on a two-dimensional convolutional neural network and temporal analysis
Ji-neng et al. An early flame identification method based on edge gradient feature
CN111353350B (zh) 一种基于组合传感器图像融和技术的火焰检测与定位方法
Maheen et al. Machine learning algorithm for fire detection using color correlogram
JP6140599B2 (ja) 炎検出装置
CN113299034B (zh) 一种适应多场景的火焰识别预警方法
JP6593791B2 (ja) 炎検出装置および炎検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant