CN109488383A - 智能视频分析系统及其应用方法 - Google Patents

智能视频分析系统及其应用方法 Download PDF

Info

Publication number
CN109488383A
CN109488383A CN201811613161.2A CN201811613161A CN109488383A CN 109488383 A CN109488383 A CN 109488383A CN 201811613161 A CN201811613161 A CN 201811613161A CN 109488383 A CN109488383 A CN 109488383A
Authority
CN
China
Prior art keywords
picture
video analysis
intelligent
intelligent video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811613161.2A
Other languages
English (en)
Other versions
CN109488383B (zh
Inventor
张吉哲
高仁祥
黄秀勇
徐金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU SHINE TECHNOLOGY Co Ltd
Original Assignee
JIANGSU SHINE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU SHINE TECHNOLOGY Co Ltd filed Critical JIANGSU SHINE TECHNOLOGY Co Ltd
Priority to CN201811613161.2A priority Critical patent/CN109488383B/zh
Publication of CN109488383A publication Critical patent/CN109488383A/zh
Application granted granted Critical
Publication of CN109488383B publication Critical patent/CN109488383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E21EARTH DRILLING; MINING
    • E21FSAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18Special adaptations of signalling or alarm devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明涉及矿井安全技术领域,尤其涉及一种智能视频分析系统,包括:与路由器相连的至少一个摄像头,路由器通过至少一个交换机与智能筛选系统连接,经过智能筛选系统筛选得到的数据通过与交换机连接的数据存储单元进行存储,并通过与交换机连接的服务器为客户提供服务。通过本发明的技术方案,可减少现场生产管理工作量,真正做到无人值守自动化工作,准确率高、处理速度快、硬件投入资源低,同时本发明中还请求保护一种智能视频分析系统的应用方法。

Description

智能视频分析系统及其应用方法
技术领域
本发明涉及矿井安全技术领域,尤其涉及一种智能视频分析系统及其应用方法。
背景技术
目前市面上没有针对煤矿安全生产的视屏分析方案,矿用安全生产要求准确、快速、无人值守、可回看、可统计。对于目前市面上在安防工作上所使用图像分析并不能满足矿方的以下要求:
(1)准确性要求:现有的视频分析系统采用模拟信号进行传输,此传输方式会由于现场信号的干扰而引起画面非正常突变,从而引起误判,同时现有的设备也会因为现场光线的不足而硬性结果的准确性;
(2)快速要求:在市面安防产品中采用在需要检测区逐点对比的方法得出目标区域的变化量。然后把这个变化量与现场人员设置的定值作对比。高于这个定值则发出报警。该种方案算法简单,但是计算工作量大。且无法避免电磁噪声引起的画面局部异常,容易引起误报。
由于上述缺陷的存在,使得现有的用于安防的图像分析系统无法使得现场脱离人员的值守而实现自动化的管理。
鉴于上述情况,本发明人基于从事此类产品工程应用多年丰富的实务经验及专业知识,并配合学理的运用,积极加以研究创新,以期创设一种智能视频分析系统及其应用方法,使其更具有实用性。
发明内容
本发明要解决的问题是提一种智能视频分析系统,从而减少现场生产管理工作量,真正做到无人值守自动化工作,准确率高、处理速度快、硬件投入资源低。
为了达到上述目的,本发明所采用的技术方案是:智能视频分析系统,其特征在于,包括:与路由器相连的至少一个摄像头,所述路由器通过至少一个交换机与智能筛选系统连接,经过所述智能筛选系统筛选得到的数据通过与所述交换机连接的数据存储单元进行存储,并通过与所述交换机连接的服务器为客户提供服务;
其中,所述智能筛选系统的筛分原理为:对所述摄像头采集的视频帧与基准背景图像进行比较,获得相同位置的像素发生变化的区域;
为客户提供的服务包括:对筛分出的所述区域进一步处理、跟踪、识别,得到至少包括目标位置、尺寸、形状、速度和停留时间的基本形态信息和动态信息,从而对目标的行为进行理解,通过完成图像与图像描述之间的映射关系,从而以所述映射关系为依据判断是否触发报警。
进一步地,在对所述摄像头采集的视频帧与基准背景图像进行比较前,需进行数据预先处理,具体包括以下步骤:
A1:图片处理:原始色彩图至图像灰度化;
A2:系统早期学习:对前T分钟内的视频图片进行定时抽取, T≥1,抽取数量为S个画面,S≥10,将所述S个画面做灰度平均化,得到背景参照图片,
A3:视频分析:调整画面清晰度;
A4:前景后景分离:采用当前图片灰度值减去背景图片灰度值,得到前景值;
A5:滤波除噪声:采用特征值除燥;
A6:设置需要检测的最小像素值。
进一步地,用于在所述摄像头采集画面发生遮挡时进行报警,具体包括:
B1:遮挡范围选择,包括遮挡的最大前景百分比,遮挡的最小前景百分比;
B2:根据画面持续遮挡的帧数、遮挡时间或者画面像素变化率判断是否进行报警。
进一步地,用于根据检测的遗撒物的最小面积大小,判断是否进行报警,具体包括:
C1:通过画面像素的比较判断是否存在遗撒物;
C2:设定步骤C1中所获得的要检测的遗撒物的最小面积大小,超过所述面积,再进行步骤C3;
C3:将物体放大或者缩小做进一步判断。
进一步地,智能视频分析系统的应用方法,用于对物体大小及种类进行判定,判定标准至少包括:前景大小和物体像素大小。
进一步地,智能视频分析系统的应用方法,用于对矿井下的逆行、非法穿越线及非法入侵情况进行判断,判断方法如下:绘制标准向量线,判断运动物体与所述标准向量线的方向性和重合性。
进一步地,用于对矿井下特定场景下的物体状态进行监控,具体地地,通过对摄像头进行学习功能的赋予,从而判断所采集画面与所学习的画面的差别性。通过上述技术方案,本发明的有益效果是:
1、规范安全生产
安全生产法第二十一条:矿山、金属冶炼、建筑施工、道路运输单位和危险物品的生产、经营、储存单位,应当设置安全生产管理机构或者配备专职安全生产管理人员。通过本发明的技术方案,对现场人员危险行为作出分析和报警,具有工作稳定、检测准确率高、反应速度快等特点。
2、减少现场人员工作量
智能视频分析可以替代非关键区域安全员作用,特别是对于一些工作环境恶劣场所,对于现场人员危险动作可以自动分析判断、自动发出报警提示。
3、量化检测数据
智能视频分析系统可以自动存储报警事件、生成报表,管理人员可以随时调取想要时间段、规定区域的报警事件,供管理者统计事件类型和时间,对现场作出相应的硬件调整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明中智能视频分析系统的系统框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
如图1所示,智能视频分析系统,包括:与路由器相连的至少一个摄像头,路由器通过至少一个交换机与智能筛选系统连接,也可串行多个交换机,经过智能筛选系统筛选得到的数据通过与交换机连接的数据存储单元进行存储,并通过与交换机连接的服务器为客户提供服务;其中,智能筛选系统的筛分原理
为:对摄像头采集的视频帧与基准背景图像进行比较,获得相同位置的像素发生变化的区域;为客户提供的服务包括:对筛分出的区域进一步处理、跟踪、识别,得到至少包括目标位置、尺寸、形状、速度和停留时间的基本形态信息和动态信息,从而对目标的行为进行理解,通过完成图像与图像描述之间的映射关系,从而以所述映射关系为依据判断是否触发报警。通过上述系统,可减少现场生产管理工作量,真正做到无人值守自动化工作,准确率高、处理速度快、硬件投入资源低。
作为上述实施例的优选,在对摄像头采集的视频帧与基准背景图像进行比较前,需进行数据预先处理,具体包括以下步骤:
A1:图片处理:原始色彩图至图像灰度化,本实施例中,将彩色图像根据色彩转化为0-256的黑白图像;
A2:系统早期学习:对前T分钟内的视频图片进行定时抽取, T≥1,抽取数量为S个画面,S≥10,将S个画面做灰度平均化,从而去除画面干扰,等到背景参照图片,此时报警不做判断,直至做到较为完美的背景值,此外,上述背景可以设置为静止不动,也可以设置为实时更新,具体的更新方法为:在做视频分析的同时也做背景;
A3:进行视频分析,此时对收到的数据进行压缩或者放大,用于调整画面清晰度;调整参数包括:摄像头分辨率宽、摄像头分辨率高、宽压缩比、高压缩比;
A4:前景后景分离:采用当前图片灰度值减去背景图片灰度值,得到前景值;
A5:滤波除噪声:采用特征值除燥,设置噪声的长宽;
A6:设置需要检测的最小像素值。此处关系到检测的灵敏度。
通过上述处理过程,可将检测区域在进行再划分成小块,这样好处在于对于没有变化区域不进行计算,减小运算量。其中,摄像头优选采用500w像素以上视屏摄像头,为了避免光线对分析结果的影响,优选红外摄像头作为图像采集设备,提高画面的质量,同时优选采用千兆TCP/IP传输协议进行数据传输。报警装置可选标示卡报警、喇叭提示报警,声光报警等,并可采取相应的自动化控制,如开关闸门、风机、煤块传送带导流板等。本发明中的数据存储单元采用1T硬盘作为存储。
如上所述的智能视频分析系统的应用方法一:用于在摄像头采集画面发生遮挡时进行报警,具体包括:
B1:遮挡范围选择,包括遮挡的最大前景百分比,遮挡的最小前景百分比;
B2: 根据画面持续遮挡的帧数、遮挡时间或者画面像素变化率判断是否进行报警。
其中,帧数设定的越小越容易出发报警,超过设定的遮挡时间范围则认为遮挡,画面中每个像素变化参数越大越容易报警。
如上所述的智能视频分析系统的应用方法二:用于根据检测的遗撒物的最小面积大小,判断是否进行报警,具体包括:
C1:通过画面像素的比较判断是否存在遗撒物;
C2:设定步骤C1中所获得的要检测的遗撒物的最小面积大小,超过所述面积,再进行步骤C3;
C3:将物体放大或者缩小做进一步判断。
具体的遗撒物检测过程可设定多少帧更新一次背景,以及多少帧更新前景找遗撒物一次。
如上所述的智能视频分析系统的应用方法三:用于根据前景大小对人数进行统计,当物体小于设定阈值时,则不做计数,当物体大于设定阈值时,则做计数,或者,用于对火焰进行判断,具体为, 判断橘红色物体的像素大小,通过上述方式还可针对矿井下皮带进行视频智能分析,其中包括皮带煤流大小识别、皮带撕裂识别、皮带起烟识别等,从而对矿井皮带无人化监控,达到皮带安全风险评估、皮带运转控制等。
如上所述的智能视频分析系统的应用方法四:用于对矿井下的逆行、非法穿越线及非法入侵情况进行判断,判断方法如下:绘制标准向量线,判断运动物体与所述标准向量线的方向性和重合性,具体的:
逆行实现方法:绘制一条向量线,看运动方向(像素方向)是否与该线方向相同;
非法穿越线实现方法:绘制一条向量线,看运动方向(像素方向)是否在该线一次方程上;
非法入侵实现方法:绘制一条向量线,看运动方向(像素方向)是否在该线一次方程里;
通过本应用方法可针对矿井采面进行视频跟踪,利用多个摄像机的图像无缝切换对目标进行跟踪,获取目标的移动轨迹和运动状态,可进行采煤机移动监控。
如上所述的智能视频分析系统的应用方法七:用于对矿井下特定场景下的物体状态进行监控,具体地,通过对摄像头进行学习功能的赋予,从而判断所采集画面与所学习的画面的差别性,本应用方法中,学习功能即物体形状的学习识别功能,通过对标准图像的学习,可当所采集的图像与标注图像发生偏差时进行报警,如进行矿井打钻的视频智能分析,实时监控打钻现场,分析人员打钻行为,实时计算打钻杆数,进行打钻深度分析;或者进行矿井罐容智能视频分析,安装在罐容容器顶端,摄像仪随着罐容进行上下移动,实时监测和分析钢丝绳状态和罐容井内部状况,实时防护;再或者矿井人员入井安全帽佩戴检测等。
本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.智能视频分析系统,其特征在于,包括:与路由器相连的至少一个摄像头,所述路由器通过至少一个交换机与智能筛选系统连接,经过所述智能筛选系统筛选得到的数据通过与所述交换机连接的数据存储单元进行存储,并通过与所述交换机连接的服务器为客户提供服务;
其中,所述智能筛选系统的筛分原理为:对所述摄像头采集的视频帧与基准背景图像进行比较,获得相同位置的像素发生变化的区域;
为客户提供的服务包括:对筛分出的所述区域进一步处理、跟踪、识别,得到至少包括目标位置、尺寸、形状、速度和停留时间的基本形态信息和动态信息,从而对目标的行为进行理解,通过完成图像与图像描述之间的映射关系,从而以所述映射关系为依据判断是否触发报警。
2.根据权利要求1所述的智能视频分析系统,其特征在于,在对所述摄像头采集的视频帧与基准背景图像进行比较前,需进行数据预先处理,具体包括以下步骤:
A1:图片处理:原始色彩图至图像灰度化;
A2:系统早期学习:对前T分钟内的视频图片进行定时抽取, T≥1,抽取数量为S个画面,S≥10,将所述S个画面做灰度平均化,得到背景参照图片,
A3:视频分析:调整画面清晰度;
A4:前景后景分离:采用当前图片灰度值减去背景图片灰度值,得到前景值;
A5:滤波除噪声:采用特征值除燥;
A6:设置需要检测的最小像素值。
3.如权利要求2所述的智能视频分析系统的应用方法,其特征在于,用于在所述摄像头采集画面发生遮挡时进行报警,具体包括:
B1:遮挡范围选择,包括遮挡的最大前景百分比,遮挡的最小前景百分比;
B2:根据画面持续遮挡的帧数、遮挡时间或者画面像素变化率判断是否进行报警。
4.如权利要求2所述的智能视频分析系统的应用方法,其特征在于,用于根据检测的遗撒物的最小面积大小,判断是否进行报警,具体包括:
C1:通过画面像素的比较判断是否存在遗撒物;
C2:设定步骤C1中所获得的要检测的遗撒物的最小面积大小,超过所述最小面积,再进行步骤C3;
C3:将物体放大或者缩小做进一步判断。
5.如权利要求2所述的智能视频分析系统的应用方法,其特征在于,用于对物体大小及种类进行判定,判定标准至少包括:前景大小和物体像素大小。
6.如权利要求2所述的智能视频分析系统的应用方法,其特征在于,用于对矿井下的逆行、非法穿越线及非法入侵情况进行判断,判断方法如下:绘制标准向量线,判断运动物体与所述标准向量线的方向性和重合性。
7.如权利要求2所述的智能视频分析系统的应用方法,其特征在于,用于对矿井下特定场景下的物体状态进行监控,具体地地,通过对摄像头进行学习功能的赋予,从而判断所采集画面与所学习的画面的差别性。
CN201811613161.2A 2018-12-27 2018-12-27 智能视频分析系统及其应用方法 Active CN109488383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811613161.2A CN109488383B (zh) 2018-12-27 2018-12-27 智能视频分析系统及其应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811613161.2A CN109488383B (zh) 2018-12-27 2018-12-27 智能视频分析系统及其应用方法

Publications (2)

Publication Number Publication Date
CN109488383A true CN109488383A (zh) 2019-03-19
CN109488383B CN109488383B (zh) 2020-11-03

Family

ID=65712567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811613161.2A Active CN109488383B (zh) 2018-12-27 2018-12-27 智能视频分析系统及其应用方法

Country Status (1)

Country Link
CN (1) CN109488383B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647858A (zh) * 2019-09-29 2020-01-03 上海依图网络科技有限公司 一种视频遮挡判断方法、装置和计算机存储介质
CN111783575A (zh) * 2020-06-18 2020-10-16 合肥恒翔电子科技有限公司 一种井下人工智能视频打钻系统
CN113446061A (zh) * 2021-07-14 2021-09-28 上海六梓科技有限公司 高精度人员定位的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115088A (ja) * 1995-10-23 1997-05-02 Shinko Electric Co Ltd トンネル内監視システム
CN101098463A (zh) * 2007-07-12 2008-01-02 浙江大学 具备保护固定目标功能的智能网络摄像机
CN101581932A (zh) * 2009-06-23 2009-11-18 北京旺斯达科技有限公司 一种煤矿安全监控系统
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN103726879A (zh) * 2013-12-26 2014-04-16 辽宁石油化工大学 利用摄像头自动捕捉矿井矿震坍塌并及时记录报警的方法
CN104469309A (zh) * 2014-12-12 2015-03-25 天津艾思科尔科技有限公司 隧道行人入侵检测装置与方法
CN205071220U (zh) * 2015-11-04 2016-03-02 湖南省森普科技有限公司 一种实时视频图像识别系统在矿山安全监控中的应用系统
CN106593534A (zh) * 2016-12-18 2017-04-26 河北科技大学 一种智能隧道施工安全监控系统
CN107493455A (zh) * 2017-08-07 2017-12-19 西安兖矿科技研发设计有限公司 一种煤矿数据采集分析系统
CN107704820A (zh) * 2017-09-28 2018-02-16 深圳市鑫汇达机械设计有限公司 一种有效的煤矿火灾检测系统
CN108757040A (zh) * 2018-05-31 2018-11-06 安徽理工大学 一种矿山安全监控系统
CN108961662A (zh) * 2018-07-30 2018-12-07 肥城矿业集团矿业管理服务有限公司 一种基于无线技术的煤矿火灾监控系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115088A (ja) * 1995-10-23 1997-05-02 Shinko Electric Co Ltd トンネル内監視システム
CN101098463A (zh) * 2007-07-12 2008-01-02 浙江大学 具备保护固定目标功能的智能网络摄像机
CN101581932A (zh) * 2009-06-23 2009-11-18 北京旺斯达科技有限公司 一种煤矿安全监控系统
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN103726879A (zh) * 2013-12-26 2014-04-16 辽宁石油化工大学 利用摄像头自动捕捉矿井矿震坍塌并及时记录报警的方法
CN104469309A (zh) * 2014-12-12 2015-03-25 天津艾思科尔科技有限公司 隧道行人入侵检测装置与方法
CN205071220U (zh) * 2015-11-04 2016-03-02 湖南省森普科技有限公司 一种实时视频图像识别系统在矿山安全监控中的应用系统
CN106593534A (zh) * 2016-12-18 2017-04-26 河北科技大学 一种智能隧道施工安全监控系统
CN107493455A (zh) * 2017-08-07 2017-12-19 西安兖矿科技研发设计有限公司 一种煤矿数据采集分析系统
CN107704820A (zh) * 2017-09-28 2018-02-16 深圳市鑫汇达机械设计有限公司 一种有效的煤矿火灾检测系统
CN108757040A (zh) * 2018-05-31 2018-11-06 安徽理工大学 一种矿山安全监控系统
CN108961662A (zh) * 2018-07-30 2018-12-07 肥城矿业集团矿业管理服务有限公司 一种基于无线技术的煤矿火灾监控系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647858A (zh) * 2019-09-29 2020-01-03 上海依图网络科技有限公司 一种视频遮挡判断方法、装置和计算机存储介质
CN111783575A (zh) * 2020-06-18 2020-10-16 合肥恒翔电子科技有限公司 一种井下人工智能视频打钻系统
CN113446061A (zh) * 2021-07-14 2021-09-28 上海六梓科技有限公司 高精度人员定位的方法

Also Published As

Publication number Publication date
CN109488383B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN105979210B (zh) 一种基于多枪多球摄像机阵列的行人识别系统
EP1665127B1 (en) Method and apparatus for computerized image background analysis
Rabiee et al. Novel dataset for fine-grained abnormal behavior understanding in crowd
CN110428522A (zh) 一种智慧新城的智能安防系统
CN107229894B (zh) 基于计算机视觉分析技术的智能视频监控方法及系统
EP4105101A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
JP4673849B2 (ja) 複数のイメージセンサ間における視野関係を決定するためのコンピュータ化された方法及び装置
DE60105006T2 (de) Verfahren und system zur brandfrüherkennung
CA2399106C (en) System for automated screening of security cameras
CN109488383A (zh) 智能视频分析系统及其应用方法
CN109241933A (zh) 视频联动监控方法、监控服务器、视频联动监控系统
CN106781165A (zh) 一种基于深度传感的室内多摄像头智能联动监控装置
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
Alshammari et al. Intelligent multi-camera video surveillance system for smart city applications
CN107222660B (zh) 一种分布式网络视觉监控系统
KR20050082442A (ko) 다수의 병렬 연속 영상에서 사건 감지를 효과적으로 수행하는 방법 및 시스템
TWI511058B (zh) 一種影片濃縮之系統及方法
CN106210634A (zh) 一种智慧金睛识别人员倒地报警方法和装置
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN106128022A (zh) 一种智慧金睛识别暴力动作报警方法和装置
CN106548158A (zh) 基于机器视觉的人群密度智能监测系统及方法
CN109905670A (zh) 一种多级平台监控系统
KR20090044957A (ko) 도난 및 방치 감시 시스템 및 도난 및 방치 검출 방법
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
CN109086717B (zh) 基于人体骨架和运动信号特征的暴力行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant