CN106780514A - 基于监控视频影像的暴雨积涝区积水深度的计算方法 - Google Patents

基于监控视频影像的暴雨积涝区积水深度的计算方法 Download PDF

Info

Publication number
CN106780514A
CN106780514A CN201611234930.9A CN201611234930A CN106780514A CN 106780514 A CN106780514 A CN 106780514A CN 201611234930 A CN201611234930 A CN 201611234930A CN 106780514 A CN106780514 A CN 106780514A
Authority
CN
China
Prior art keywords
image
region
product flood
depth
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611234930.9A
Other languages
English (en)
Other versions
CN106780514B (zh
Inventor
薛丰昌
朱晗
朱一晗
宋肖依
唐步兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201611234930.9A priority Critical patent/CN106780514B/zh
Publication of CN106780514A publication Critical patent/CN106780514A/zh
Application granted granted Critical
Publication of CN106780514B publication Critical patent/CN106780514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284Electromagnetic waves
    • G01F23/292Light, e.g. infrared or ultraviolet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Thermal Sciences (AREA)
  • Fluid Mechanics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种基于监控视频影像的暴雨积涝区积水深度的计算方法,包括如下步骤:计算背景图像;获取所述区域的一帧监控视频图像,并转化为灰度图像;进行背景差分运算;根据所述背景差分运算得到的图像判断是否积水,若是,则进行滤波处理;对滤波后的图像上的所有像元进行计算,得到积涝区域;设置n个标记点,将积涝区域和标记点进行叠加分析得到最大积涝深度。本发明提供的方法,利用遍布城市各个区域的监控摄像头,监控数据容易获取,且数据更新及时,计算结果的时效性好,结合图像背景差分运算对积涝区域进行识别,效果较好,利用积涝区域与标记点的重叠来求取最大积水深度。

Description

基于监控视频影像的暴雨积涝区积水深度的计算方法
技术领域
本发明涉及城市内涝监测预警技术领域,尤其涉及一种基于监控视频影像的暴雨积涝区积水深度的计算方法。
背景技术
现如今,由于暴雨现象时有发生,内涝已经成了影响人们生活的一个重要因素。所谓内涝,由于强降水或连续性降水超过城市排水能力致使城市内产生积水灾害的现象。内涝严重时,可能会导致洪涝灾害的发生。对内涝进行监测,及早通知人们做好预防措施,是保护人们生命、财产安全的重要内容。暴雨积涝区的积水深度是内涝监测预警的重要参数。但是,传统的采用遥感影像监测城市暴雨积涝的方法,无法实现即时自动监测和重点灾害区的连续监测,监测效率较低。
发明内容
本发明提供一种基于监控视频影像的暴雨积涝区积水深度的计算方法,用以实现对积涝区域积水深度的实时监控,提高积涝监测的精确性。
为了解决上述问题,本发明提供了一种基于监控视频影像的暴雨积涝区积水深度的计算方法,包括如下步骤:获取预定帧数未发生积涝时的一区域的视频图像,并根据所述预定帧数的未发生积涝时的一区域视频图像计算背景图像;获取所述区域的一帧监控视频图像,并将所述监控视频图像转化为灰度图像;将所述灰度图像与所述背景图像进行背景差分运算;根据所述背景差分运算得到的图像判断所述区域是否积水,若是,则对所述背景差分运算得到的图像进行滤波;对滤波后的图像上的所有像元进行计算,得到积涝区域;设置n个标记点,将积涝区域和标记点进行叠加分析得到最大积涝深度Dw
Rw∩Wn=k,(k=0、1、2、3...n)
Dw=max(D(Wp)),(p=0、1、2、3...K)
其中,表示积涝区域,表示滤波后的图像中设置的第n个标志点,k表示重叠点,表示重叠点的积水深度。
优选的,所述对滤波后的图像上的所有像元进行计算,得到积涝区域的具体步骤包括:(1)利用区域增长法对滤波后的图像进行分割,形成多个分割区;(2)在所述积涝区域内、外各设置复数个种子点;(3)在积涝区域边缘,选取临近的p组积涝点的像元值和非积涝点的像元值分别相减,所得差值的平均值作为阈值m;(4)将待判别的像元的像元值与相邻种子点的像元值做差值计算,当差值小于m时,则判定该像元与该种子点属同类像元,该种子区域增长一个像元,反之,则不增加;(5)重复上述步骤(4),直到图像上所有的像元全部判定,得到积涝区域。
本发明提供的基于监控视频影像的暴雨积涝区积水深度的计算方法,利用遍布城市各个区域的监控摄像头,监控数据容易获取,且数据更新及时,计算结果的时效性好,结合图像背景差分运算对积涝区域进行识别,效果较好,利用区域分割法灵活、精确的特点对积涝区域进行提取,最后利用积涝区域与标记点的重叠来求取最大积水深度。
附图说明
附图1是本发明具体实施方式的基于监控视频影像的暴雨积涝区积水深度的计算方法流程图;
附图2A是本发明具体实施方式的无积水时的差分效果图;
附图2B是本发明具体实施方式的无积水时的栅格直方图;
附图3A是本发明具体实施方式的有积水时的差分效果图;
附图3B是本发明具体实施方式的有积水时的栅格直方图;
附图4是本发明具体实施方式的背景图像;
附图5A是本发明具体实施方式的少量积水时的背景差分运算结果图;
附图5B是本发明具体实施方式的中等积水时的背景差分运算结果图;
附图5C是本发明具体实施方式的较多积水时的背景差分运算结果图;
附图5D是本发明具体实施方式的最多积水时的背景差分运算结果图;
附图6A是本发明具体实施方式的少量积水时的积涝标记点叠加图;
附图6B是本发明具体实施方式的中等积水时的积涝标记点叠加图;
附图6C是本发明具体实施方式的较多积水时的积涝标记点叠加图;
附图6D是本发明具体实施方式的最多积水时的积涝标记点叠加图。
具体实施方式
下面结合附图对本发明提供的基于监控视频影像的暴雨积涝区积水深度的计算方法的具体实施方式做详细说明。
本发明的发明人在研究中发现,一固定区域有积水和无积水时的差分效果图和栅格直方图存在较大差异。附图2A是本发明具体实施方式的无积水时的差分效果图,附图2B是本发明具体实施方式的无积水时的栅格直方图,附图3A是本发明具体实施方式的有积水时的差分效果图,附图3B是本发明具体实施方式的有积水时的栅格直方图。为了说明该差异,本发明以一监控数据为例,首先选取10帧地面干燥时的影像,以及1帧有积水时的影像,采用如下公式进行灰度转换:
Y=0.299R+0.587G+0.114B
式中,Y表示一像元的灰度值,R表示该像元红色通道的颜色值,G表示该像元绿色通道的颜色值,B表示该像元蓝色通道的颜色值。
首先,选取无积水时的相邻两帧图像进行差分处理,得到差分效果图和栅格直方图,如图2A、2B所示;然后,选取有积水时1帧图像与均值法得到的背景图像进行差分处理,得到差分效果图和栅格直方图,如图3A、3B所示。由图2A-2B、3A-3B可以看出,积水和非积水差分图像和栅格直方图差异明显,因而,可以通过栅格直方图的栅格分布来判断是否有积水。
本具体实施方式基于上述原理,提供了一种基于监控视频影像的暴雨积涝区积水深度的计算方法,附图1是本发明具体实施方式的基于监控视频影像的暴雨积涝区积水深度的计算方法流程图。如图1所示,本具体实施方式所述的基于监控视频影像的暴雨积涝区积水深度的计算方法包括如下步骤:
步骤S11,获取预定帧数未发生积涝时的一区域的视频图像,并根据所述预定帧数的未发生积涝时的一区域视频图像计算背景图像。为了简化运算量,并提高积水深度计算的准确度,本具体实施方式所述的计算背景图像,是指采用均值法计算背景图像,例如,获取b(b为大于1的正整数)帧未发生积涝时的一区域的视频图像,则采用如下公式计算背景图像B:
式中,Ik为当前图像,K∈[1,b]。
步骤S12,获取所述区域的一帧监控视频图像,并将所述监控视频图像转化为灰度图像。可以采用公式:Y=0.299R+0.587G+0.114B,进行灰度图像的转化。
步骤S13,将所述灰度图像与所述背景图像进行背景差分运算。
步骤S14,根据所述背景差分运算得到的图像判断所述区域是否积水,若是,则对所述背景差分运算得到的图像进行滤波。本步骤中,可以将所述灰度图像与所述背景图像进行背景差分运算后,按照前述原理,根据栅格直方图来判断该区域是否产生积水,灰度图像中与背景图像差别明显的部分为积水部分(即积涝区),几乎无差别的部分为未积水部分(即未产生积涝地区)。如图1所示,当根据背景查分运算得到的图像判断所述区域有积水时,则对所述背景差分运算得到的图像进行滤波处理;若判断所述区域未产生积水,则获取新的监控视频图像。
步骤四:对背景差分得到的图像进行滤波处理以实现对图像的降噪。
步骤S15,对滤波后的图像上的所有像元进行计算,得到积涝区域。
步骤S16,设置n个标记点,将积涝区域和标记点进行叠加分析得到最大积涝深度Dw
Rw∩Wn=k,(k=0、1、2、3...n)
Dw=max(D(Wp)),(p=0、1、2、3...K)
其中,表示积涝区域,表示滤波后的图像中设置的第n个标志点,k表示重叠点,表示重叠点的积水深度。
为了准确的判断积水深度,优选的,所述对滤波后的图像上的所有像元进行计算,得到积涝区域的具体步骤包括:
(1)利用区域增长法对滤波后的图像进行分割,形成多个分割区。
(2)在所述积涝区域内、外各设置复数个种子点。其中,所述种子点是指,区域内定义的像元,为区域同类像元归类计算的起始点,作为同一区域中的相似特征的像元的初始设定标准。
(3)在积涝区域边缘,选取临近的p组积涝点的像元值和非积涝点的像元值分别相减,所得差值的平均值作为阈值m。其中,所述像元,是组成数字化影像的最小单元,在遥感数据采集,如扫描成像时,它是传感器对地面景物进行扫描采样的最小单元;所述像元值,是每个图像单元所具有的针对所描述问题的数值,图像成像时根据地面地物的反射的光谱及纹理自动生成。所述阈值m,是由多次边缘采样得到。
(4)将待判别的像元的像元值与相邻种子点的像元值做差值计算,当差值小于m时,则判定该像元与该种子点属同类像元,该种子区域增长一个像元,反之,则不增加。
(5)重复上述步骤(4),直到图像上所有的像元全部判定,得到积涝区域。
为说明本具体实施方式的效果,本具体实施方式首先选取10帧地面干燥的影像,1帧少量积水的影像,1帧中等积水的影像,1帧较多积水的影像和1帧最多积水的影像,采用如下公式进行灰度转换:
Y=0.299R+0.587G+0.114B
式中,Y表示一像元的灰度值,R表示该像元红色通道的颜色值,G表示该像元绿色通道的颜色值,B表示该像元蓝色通道的颜色值。其中,积水量的关系为:少量积水<中等积水<较多积水<最多积水。
然后对选取的10张无积水影像用均值法计算背景图像,再分别用少量积水图、中等积水图、较多积水图、最多积水图与背景图像进行背景差分,得到4个不同积水状态时的背景差分结果。附图5A是本发明具体实施方式的少量积水时的背景差分运算结果图,附图5B是本发明具体实施方式的中等积水时的背景差分运算结果图,附图5C是本发明具体实施方式的较多积水时的背景差分运算结果图,附图5D是本发明具体实施方式的最多积水时的背景差分运算结果图。如图5A-5D所示,积水区域的光谱特征得到强化,未积水区域的光谱特征弱化,进而使两者的差异明显。
接着,在积涝区域内、外各设置15个种子点,根据积涝边缘区多次采样,积涝部分和非积涝部分提取差值作为阈值,本具体实施方式将阈值定为15,根据每个像元的像元值与相邻种子点的差值判定像元所属区域,得到积涝区域。
最后,采用如下三步计算积水深度:
(1)根据地形起伏影响,沿着积涝扩大的方向在积水为3-11cm的区间内每隔1cm设置一个积水深度标记点,标记点的值代表积水深度。
(2)使用ArcGIS软件对积涝区域和积涝标记点进行叠加分析,计算出与积涝区域重叠的点的个数。附图6A是本发明具体实施方式的少量积水时的积涝标记点叠加图,附图6B是本发明具体实施方式的中等积水时的积涝标记点叠加图,附图6C是本发明具体实施方式的较多积水时的积涝标记点叠加图,附图6D是本发明具体实施方式的最多积水时的积涝标记点叠加图。如图6A-6D所示,本具体实施方式的4个积涝状态(少量积水、中等积水、较多积水、最多积水)中,积涝区域和积涝标记点重叠个数分别为2、4、6和7个。
(3)重叠的点中,值最大的点即为所寻找的点,该点的值即为该区域的最大积水深度。本具体实施方式中4个积水状态的最大积水深度分别为4cm、6cm、8cm和9cm。由此,快速计算出了基于监控视频影像的暴雨积涝区的积水深度。
本具体实施方式提供的基于监控视频影像的暴雨积涝区积水深度的计算方法,利用遍布城市各个区域的监控摄像头,监控数据容易获取,且数据更新及时,计算结果的时效性好,结合图像背景差分运算对积涝区域进行识别,效果较好,利用区域分割法灵活、精确的特点对积涝区域进行提取,最后利用积涝区域与标记点的重叠来求取最大积水深度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于监控视频影像的暴雨积涝区积水深度的计算方法,其特征在于,
包括如下步骤:
获取预定帧数未发生积涝时的一区域的视频图像,并根据所述预定帧数的未发生积涝时的一区域视频图像计算背景图像;
获取所述区域的一帧监控视频图像,并将所述监控视频图像转化为灰度图像;
将所述灰度图像与所述背景图像进行背景差分运算;
根据所述背景差分运算得到的图像判断所述区域是否积水,若是,则对所述背景差分运算得到的图像进行滤波;
对滤波后的图像上的所有像元进行计算,得到积涝区域;
设置n个标记点,将积涝区域和标记点进行叠加分析得到最大积涝深度Dw
Rw∩Wn=k,(k=0、1、2、3...n)
Dw=max(D(Wp)),(p=0、1、2、3...K)
其中,Rw表示积涝区域,Wn表示滤波后的图像中设置的第n个标志点,k表示重叠点,D(Wp)表示重叠点的积水深度。
2.根据权利要求1所述的基于监控视频影像的暴雨积涝区积水深度的计算方法,其特征在于,所述对滤波后的图像上的所有像元进行计算,得到积涝区域的具体步骤包括:
(1)利用区域增长法对滤波后的图像进行分割,形成多个分割区;
(2)在所述积涝区域内、外各设置复数个种子点;
(3)在积涝区域边缘,选取临近的p组积涝点的像元值和非积涝点的像元值分别相减,所得差值的平均值作为阈值m;
(4)将待判别的像元的像元值与相邻种子点的像元值做差值计算,当差值小于m时,则判定该像元与该种子点属同类像元,该种子区域增长一个像元,反之,则不增加;
(5)重复上述步骤(4),直到图像上所有的像元全部判定,得到积涝区域。
CN201611234930.9A 2016-12-28 2016-12-28 基于监控视频影像的暴雨积涝区积水深度的计算方法 Active CN106780514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611234930.9A CN106780514B (zh) 2016-12-28 2016-12-28 基于监控视频影像的暴雨积涝区积水深度的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611234930.9A CN106780514B (zh) 2016-12-28 2016-12-28 基于监控视频影像的暴雨积涝区积水深度的计算方法

Publications (2)

Publication Number Publication Date
CN106780514A true CN106780514A (zh) 2017-05-31
CN106780514B CN106780514B (zh) 2019-11-19

Family

ID=58924503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611234930.9A Active CN106780514B (zh) 2016-12-28 2016-12-28 基于监控视频影像的暴雨积涝区积水深度的计算方法

Country Status (1)

Country Link
CN (1) CN106780514B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171721A (zh) * 2017-12-04 2018-06-15 北京农业智能装备技术研究中心 一种大尺度图像的目标对象图像提取方法及装置
CN108198422A (zh) * 2018-01-22 2018-06-22 中国地质大学(武汉) 一种基于视频影像的道路积水提取系统和方法
CN109272484A (zh) * 2018-08-03 2019-01-25 河海大学 一种基于视频图像的降雨检测方法
CN109708721A (zh) * 2019-01-12 2019-05-03 王涛 智慧供水采集方法
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通(北京)技术有限公司 城市内涝积水程度识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482929A (zh) * 2009-03-09 2009-07-15 中国农业科学院农业资源与农业区划研究所 遥感影像的处理方法及系统
CN102902893A (zh) * 2012-10-29 2013-01-30 南京信息工程大学 一种基于dem的汇水区降雨积水深度的计算方法
CN105678272A (zh) * 2016-03-25 2016-06-15 符锌砂 一种复杂环境下基于图像处理的目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482929A (zh) * 2009-03-09 2009-07-15 中国农业科学院农业资源与农业区划研究所 遥感影像的处理方法及系统
CN102902893A (zh) * 2012-10-29 2013-01-30 南京信息工程大学 一种基于dem的汇水区降雨积水深度的计算方法
CN105678272A (zh) * 2016-03-25 2016-06-15 符锌砂 一种复杂环境下基于图像处理的目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
杨辰 等: "基于GIS的上海市社区暴雨积涝模拟研究", 《自然灾害学报》 *
殷剑敏: "南昌市暴雨积涝模拟及气候风险评估研究", 《中国博士学位论文全文数据库基础科学辑》 *
沈东东: "基于GIS的城市积涝灾害分析模型研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
郑辉: "南京市主城区暴雨内涝灾害预报模拟", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
黄昌: "基于遥感和GIS的河漫滩洪水淹没分析与建模方法研究", 《中国博士学位论文全文数据库基础科学辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171721A (zh) * 2017-12-04 2018-06-15 北京农业智能装备技术研究中心 一种大尺度图像的目标对象图像提取方法及装置
CN108198422A (zh) * 2018-01-22 2018-06-22 中国地质大学(武汉) 一种基于视频影像的道路积水提取系统和方法
CN109272484A (zh) * 2018-08-03 2019-01-25 河海大学 一种基于视频图像的降雨检测方法
CN109272484B (zh) * 2018-08-03 2021-07-27 河海大学 一种基于视频图像的降雨检测方法
CN109708721A (zh) * 2019-01-12 2019-05-03 王涛 智慧供水采集方法
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通(北京)技术有限公司 城市内涝积水程度识别方法及装置

Also Published As

Publication number Publication date
CN106780514B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN106780514A (zh) 基于监控视频影像的暴雨积涝区积水深度的计算方法
Dorj et al. An yield estimation in citrus orchards via fruit detection and counting using image processing
CN111696123A (zh) 超像素分类识别的遥感图像水域分割提取方法
CN100520362C (zh) 基于彩色ccd图像分析的森林火情烟雾检测方法
CN101527043B (zh) 基于运动目标轮廓信息的视频对象分割方法
CN102184534B (zh) 一种利用多尺度高帽选择变换的图像融合方法
CN101901477A (zh) 植物叶片田间图像边缘提取方法及其系统
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN102737374B (zh) 图像处理装置以及图像处理方法
CN109544464A (zh) 一种基于轮廓提取的火灾视频图像分析方法
CN103208105B (zh) 一种红外图像细节增强与噪声自适应抑制方法
US9185270B2 (en) Ghost artifact detection and removal in HDR image creation using graph based selection of local reference
CN103761522B (zh) 基于最小外接矩形窗河道分段模型的sar图像河道提取方法
Kirstein et al. Robust adaptive flow line detection in sewer pipes
CN104182952A (zh) 多聚焦序列图像融合方法
CN111476723B (zh) 一种Landsat-7扫描线纠正器失效的遥感图像丢失像素恢复方法
CN105809673A (zh) 基于surf算法和合并最大相似区域的视频前景分割方法
JP2013105245A (ja) 画像処理方法、装置及びプログラム
CN103500451B (zh) 一种用于卫星数据的独立浮冰提取方法
CN103208121B (zh) 基于硬边界约束与两阶段合并的遥感图像分割方法
CN105427279A (zh) 一种基于计算机视觉及物联网的草原旱情监测系统和方法
Das et al. A review: shadow detection and shadow removal from images
CN109727202A (zh) 气体红外视频增强方法、装置及存储介质
CN106415596B (zh) 基于分割的图像变换
CN105787955A (zh) 一种带钢缺陷的稀疏分割方法及其分割装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant