CN110399792B - 一种监控方法、装置及计算机可读存储介质 - Google Patents

一种监控方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110399792B
CN110399792B CN201910530670.7A CN201910530670A CN110399792B CN 110399792 B CN110399792 B CN 110399792B CN 201910530670 A CN201910530670 A CN 201910530670A CN 110399792 B CN110399792 B CN 110399792B
Authority
CN
China
Prior art keywords
monitoring area
monitoring
image information
information
secondary screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910530670.7A
Other languages
English (en)
Other versions
CN110399792A (zh
Inventor
曹明月
王祥瑞
王红星
杨萌
范一斌
周省伟
韩轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Branch Of Henan Toll Repayment Expressway Management Co ltd
Henan Beidou Satellite Navigation Platform Co ltd
Original Assignee
Zhengzhou Branch Of Henan Toll Repayment Expressway Management Co ltd
Henan Beidou Satellite Navigation Platform Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Branch Of Henan Toll Repayment Expressway Management Co ltd, Henan Beidou Satellite Navigation Platform Co ltd filed Critical Zhengzhou Branch Of Henan Toll Repayment Expressway Management Co ltd
Priority to CN201910530670.7A priority Critical patent/CN110399792B/zh
Publication of CN110399792A publication Critical patent/CN110399792A/zh
Application granted granted Critical
Publication of CN110399792B publication Critical patent/CN110399792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种监控方法,所述监控方法包括:获取监控区域内的图像信息;将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果;将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果;根据所述二次筛选结果判断监测区域是否有异常发生。本发明提出的监控方法通过对同一监控区域内的图像信息依此通过两次筛选后,最终判断监测区域是否有异常发生,从而降低误报率,节省人力成本。本发明还提供一种监控装置及计算机可读存储介质。

Description

一种监控方法、装置及计算机可读存储介质
技术领域
本发明涉及一种监控方法,尤其涉及一种误报率低的监控方法、装置及计算机可读存储介质。
背景技术
高速路桥梁下方私自搭建板房、倾倒建筑垃圾等违法行为,会造成高速公路巡查盲区,从而对桥墩及桥梁形成安全隐患,因此需要对上述违法行为进行监控及处理。现有监控方法一般是通过在桥下安装摄像机等监控设备,依据摄像机拍摄到的图形调配相应的路政巡查人员到现场确认处理。
但现有的监控方式存下以下问题:
1、桥下环境复杂、会有动物、行人及车辆进出,很多情况下并不是违法侵害,传统的视频监测误报率较高;
2、摄像机本身受光影影响较大,在夜晚等光线昏暗时或逆光等环境中,侦测功能会出现错误报警。
发明内容
鉴于上述问题,本发明提供一种误报率低的监控方法、装置及计算机可读存储介质。
一种监控方法,所述监控方法包括:获取监控区域内的图像信息;将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果;将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果;根据所述二次筛选结果判断监测区域是否有异常发生。
将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果,具体包括:预设一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留特征;将获取的图像信息与预设的一级筛选特征信息进行对比,如果符合预设的一级筛选特征信息,则一级筛选结果为是,将图像信息上传并进行二次筛选。
将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果,具体包括:预设一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留及离开监控区域特征;将获取的图像信息与预设的一级筛选特征信息进行对比,如果符合预设的一级筛选特征信息,则一级筛选结果为是,将相对应的图像信息上传并进行二次筛选。
将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果,具体包括:预设二级筛选特征信息为图像信息内包含车辆特征;识别接收到的经过筛选的图像信息中包含的所有物体;判断识别出的所有物体中是否有车辆,如果有车辆,则二次筛选结果为是,则判断监控区域内有异常发生。
所述监控方法还包括:当二次筛选结果判断监控区域有异常发生时,则做出预警提醒。
所述监控方法还包括:将二次筛选结果进行实时显示,以便于值班人员查看。
一种监控装置, 包括信息采集单元,用于获取待监控区域内的图像信息;
处理器;以及存储器,用于存储指令,所述存储器还存储有一级筛选特征信息和二级筛选特征信息; 所述指令被所述处理器执行时实现如上所述的监控方法。
所述监控装置还包括提醒单元,当所述二次筛选结果判断监控区域有异常发生时,所述处理器控制所述提醒单元做出预警提醒。
所述监控装置还包括显示单元,所述显示单元用于实时显示监控区域位置及所述二次筛选结果,以便于值班人员查看确认。
一种计算机可读存储介质,所述计算机可读存储介质上存储有至少一条指令,所述指令被处理器执行时实现如上所述的监控方法。
上述监控方法、装置及计算机可读存储介质通过对同一监控区域内的图像信息依次通过两次筛选后,最终判断监测区域是否有异常发生,从而降低误报率,节省人力成本。
附图说明
图1是本发明一实施方式的监控装置的模块示意图。
图2是本发明一实施方式的监控系统的模块示意图。
图3是本发明一实施方式的监控方法的流程示意图。
主要元件符号说明
监控装置 100
处理器 10
存储器 20
信息采集单元 30
提醒单元 40
显示单元 50
监控系统 200
信息采集模块 210
一级筛选模块 220
二级筛选模块 230
提醒控制模块 240
如下具体实施方式将结合上述附图进一步对本发明进行说明。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
需要说明的是,当一个元件或组件被认为是“连接”另一个元件或组件,它可以是直接连接到另一个元件或组件或者可能同时存在居中设置的元件或组件。当一个元件或组件被认为是“设置在”另一个元件或组件,它可以是直接设置在另一个元件或组件上或者可能同时存在居中设置的元件或组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请同时参阅图1,图1为本发明一实施方式的一种监控装置100的模块示意图。监控装置100包括处理器10、存储器20、信息采集单元30、提醒单元40及显示单元50。
处理器10用于加载并运行多条指令。处理器10可以是中央处理器、微处理器。
存储器20用于存储指令。存储器20可以是U盘、硬盘及随机存取存储器(RAM)。在本实施方式中,存储器20中存储了至少一条指令。存储器20中还存储有一级筛选特征信息和二级筛选特征信息。
信息采集单元30设置在监控区域,用于获取监控区域内的图像信息。在本实施方式中,信息采集单元30为高清红外摄像机。本实施方式中,信息采集单元30为多个,信息采集单元30设置在高架桥靠近地面一侧或高架桥支撑立柱上。
提醒单元40用于根据筛选结果做出提醒。提醒方式可以是声音提醒、信息提醒、闪灯提醒或者以上方式组合提醒等。在本实施方式中,当监控区域发生异常时,在显示单元上显示具体信息并发出预警声音提示值班人员。
显示单元50用于实时显示监控区域位置及二次筛选结果,以便于值班人员查看确认。在本实施方式中,显示单元50可以为显示器、手机或平板电脑。
请参阅图2,图2为本发明一实施方式中监控系统200的模块示意图。监控系统200应用于监控装置100上。监控系统200包括信息采集模块210、一级筛选模块220、二级筛选模块230及提醒控制模块240。在本实施方式中,信息采集模块210、一级筛选模块220、二级筛选模块230及提醒控制模块240为存储于存储器20中的计算机指令,用于被处理器10加载并执行以实现固定功能。
信息采集模块210用于获取信息采集单元30采集的监控区域的图像信息。在本实施方式中,信息采集模块根据信息采集单元30获取的图像信息,将监控区域内发生的物体进入监控、物品遗留、离开监控区域等事件上报至处理器10、并实时在显示单元50进行显示。
一级筛选模块220用于将收到的监控区域的图像信息与一级筛选特征信息进行对比并获得一次筛选结果。在本实施方式中,存储器20中预设存储的一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留及离开监控区域特征。一级筛选模块220将获取的图像信息与预设的一级筛选特征信息进行对比,如果符合预设的一级筛选特征信息,则一级筛选结果为是,将图像信息上传并进行二次筛选。
二级筛选模块230用于对接收到的经一级筛选模块220筛选后的图像信息与二级筛选特征信息进行对比并获得二次筛选结果。在本实施方式中,存储器20中预设存储的二级筛选特征信息为图像信息内包含车辆特征;识别接收到的经过筛选的图像信息中包含的所有的物体;判断识别出的所有物体中是否有车辆,如果有车辆,则二次筛选结果为是,则判断监控区域内有异常发生。
提醒控制模块240用于控制提醒单元40根据二级筛选模块230的二次筛选结果做出预警提醒。在本实施方式中,当二次筛选结果为监控区域有异常发生时,提醒控制模块240控制提醒单元40发出预警声音并控制显示单元50显示二次筛选结果。
请参阅图3,图3为本发明一实施方式的监控方法的流程图。监控方法包括以下步骤:
S101:获取监控区域图像信息。
具体地,信息采集模块210获取信息采集单元30采集到的监控区域内的图像信息,并将图像信息传送至处理器10中。
S102:将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果,判断一次筛选结果是否为是。
具体地,存储器20中预设存储的一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留及离开监控区域特征。一级筛选模块220将获取的图像信息与预设的一级筛选特征信息进行对比,如果符合预设的一级筛选特征信息,则一级筛选结果为是,将图像信息上传并进行二次筛选。
在本实施方式中,预设存储的一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留及离开监控区域特征,可以理解地,预设存储的一级筛选特征信息也可以为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留特征。也就是说,只要在同一监控区域有按照时间顺序连续发生的进入监控区域和物品遗留,即可判断一级筛选结果为是。
S103:将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果,判断二次筛选结果是否为是;
具体地,存储器20中预设存储的二级筛选特征信息为图像信息内包含车辆识别特征,二级筛选模块230对收到的经一级筛选模块220筛选过的图像信息进行识别,识别图像信息中所有的物体,并判断识别出的所有物体是否有车辆。如果判断有车辆,则二次筛选结果为是,则判断监控区域内有异常发生。
S104:控制提醒单元40根据判断结果做出预警提醒。
具体地,提醒控制模块240控制提醒单元40根据二级筛选模块230的二次筛选结果做出预警提醒。
可以理解的是,步骤S104可以去除,可以由值班人员直接从显示单元50显示上述判断筛选结果,从而判断监控区域内是否有异常发生。
在本实施方式中,将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果,将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果,一级筛选特征信息为预先存储在存储器中的为同一监控区域内有按照时间顺序发生的进入监控区域、物品遗留及离开监控区域特征,二级筛选特征信息为识别是否有车辆信息,可以理解的是,在其它实施方式中,一级筛选特征信息还可以是按照实际需求设置的人像识别或其他图像识别,二级筛选特征信息也可以是人像识别或其他图像识别等。
可以理解的是,在其它实施方式中,一级筛选特征信息和二级筛选特征信息可以互换,也就是说,可以先识别信息采集单元30的获得的图像信息中是否有车辆,再筛选在同一监控区域内是否有该车辆按照时间顺序连续发生的进入监控区域、物品遗留等特征。
可以理解的是,在其它实施方式中,信息采集单元30还可以是照相机、摄像机等能够获得图像信息的设备。
可以理解的是,在其它实施方式中,提醒单元40和显示单元50也可以去除,并不影响对监测结果的判断。
上述监控装置100、监控系统200及监测方法,将信息采集单元30获取的图像信息首先通过一级筛选模块220筛选图像信息是否有按照时间顺序连续发生的物体进入监控区域、物品遗留和物体离开监控区域的事件发生,将符合该筛选条件的图像信息上传给二级筛选模块230,二级筛选模块230识别图像信息中的物体,并判断识别出的物体是否有车辆,如果有车辆则判断有异常发生,从而做出提醒。通过两次筛选降低了误报率,节省了人工成本。
对于本领域技术人员而言,显然本发明不限于上述示范性实施方式的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此,无论从哪一点来看,均应将实施方式看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其它单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由同一个单元或系统通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施方式仅用以说明本发明的技术方案而非限制,尽管参照较佳实施方式对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种监控方法,其特征在于:所述监控方法包括:
获取监控区域内的图像信息,所述图像信息为智能侦测得到的监控区域内发生的进入监控区域、物品遗留、离开监控区域的事件对应的图像信息;
将获取的图像信息与一级筛选特征信息进行对比以获得一次筛选结果,具体包括:
预设一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留特征;或预设一级筛选特征信息为同一监控区域内有按照时间顺序连续发生的进入监控区域、物品遗留及离开监控区域特征;
将获取的图像信息与预设的一级筛选特征信息进行对比,如果符合预设的一级筛选特征信息,则一级筛选结果为是,将图像信息上传并进行二次筛选;
将筛选后的图像信息与二级筛选特征信息进行对比以获得二次筛选结果,具体包括:
预设二级筛选特征信息为图像信息内包含车辆特征;
识别接收到的经过筛选的图像信息中包含的所有物体;
判断识别出的所有物体中是否有车辆,如果有车辆,则二次筛选结果为是,则判断监控区域内有异常发生;
根据所述二次筛选结果判断监测区域是否有异常发生。
2.如权利要求1所述的监控方法,其特征在于:所述监控方法还包括:当二次筛选结果判断监控区域有异常发生时,则做出预警提醒。
3.如权利要求1所述的监控方法,其特征在于:所述监控方法还包括:将二次筛选结果进行实时显示,以便于值班人员查看。
4.一种监控装置,其特征在于:包括:
信息采集单元,用于获取监控区域内的图像信息,所述图像信息为所述信息采集单元智能侦测得到的监控区域内发生的物体进入监控区域、物品遗留、离开监控区域的事件对应的图像信息;
处理器;以及
存储器,用于存储指令;所述存储器还存储有一级筛选特征信息和二级筛选特征信息;所述指令被所述处理器执行时实现如权利要求1至3中任意一项所述的监控方法。
5.如权利要求4所述的监控装置,其特征在于:所述监控装置还包括提醒单元,当所述二次筛选结果判断监控区域有异常发生时,所述处理器控制所述提醒单元做出预警提醒。
6.如权利要求4所述的监控装置,其特征在于:所述监控装置还包括显示单元,所述显示单元用于实时显示监控区域位置及所述二次筛选结果,以便于值班人员查看确认。
7.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质上存储有至少一条指令,所述指令被处理器执行时实现如权利要求1-3中任意一项所述的监控方法。
CN201910530670.7A 2019-06-19 2019-06-19 一种监控方法、装置及计算机可读存储介质 Active CN110399792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910530670.7A CN110399792B (zh) 2019-06-19 2019-06-19 一种监控方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910530670.7A CN110399792B (zh) 2019-06-19 2019-06-19 一种监控方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110399792A CN110399792A (zh) 2019-11-01
CN110399792B true CN110399792B (zh) 2023-07-25

Family

ID=68324191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910530670.7A Active CN110399792B (zh) 2019-06-19 2019-06-19 一种监控方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110399792B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680280B (zh) * 2020-05-20 2022-05-24 青岛黄海学院 一种计算机人像识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
CN101552910A (zh) * 2009-03-30 2009-10-07 浙江工业大学 基于全方位计算机视觉的遗留物检测装置
CN101720029A (zh) * 2009-12-08 2010-06-02 中国电信股份有限公司 网络智能视频监控方法及系统
JP2011197936A (ja) * 2010-03-18 2011-10-06 Secom Co Ltd 画像監視装置および監視システム
CN109900328A (zh) * 2019-04-01 2019-06-18 中国测试技术研究院电子研究所 一种水电机组有限空间人员进出及环境监视的安全装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003012157A (ja) * 2001-07-02 2003-01-15 Nissin Electric Co Ltd 不法投棄監視支援方法および不法投棄監視支援システム
JP3179018U (ja) * 2012-07-31 2012-10-11 湘南電子機器有限会社 ゴミ投入規制装置およびこの装置を備えたゴミ箱
KR101923900B1 (ko) * 2018-10-10 2018-11-30 대신네트웍스 주식회사 다목적 쓰레기 불법 투기 감시 시스템
CN109409315B (zh) * 2018-11-07 2022-01-11 浩云科技股份有限公司 一种atm机面板区域遗留物检测方法及系统
CN109685039B (zh) * 2019-01-14 2023-02-07 博拉网络股份有限公司 一种训练人工智能摄像头识别特征物体的训练方法
CN109544838B (zh) * 2019-01-14 2020-09-08 博拉网络股份有限公司 一种用于特殊区域的人工智能认知识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
CN101552910A (zh) * 2009-03-30 2009-10-07 浙江工业大学 基于全方位计算机视觉的遗留物检测装置
CN101720029A (zh) * 2009-12-08 2010-06-02 中国电信股份有限公司 网络智能视频监控方法及系统
JP2011197936A (ja) * 2010-03-18 2011-10-06 Secom Co Ltd 画像監視装置および監視システム
CN109900328A (zh) * 2019-04-01 2019-06-18 中国测试技术研究院电子研究所 一种水电机组有限空间人员进出及环境监视的安全装置

Also Published As

Publication number Publication date
CN110399792A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
EP3026880B1 (en) Damage recognition assist system
US10726724B2 (en) Car park monitoring system
CN111161541B (zh) 车辆监控方法、装置、系统及车辆监控设备
US9792526B2 (en) Automatic identification of changes in objects
US20070247526A1 (en) Camera Tamper Detection
JP6954420B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106384532A (zh) 视频数据分析方法、装置以及停车位监控系统
CN113011833A (zh) 施工现场的安全管理方法、装置、计算机设备和存储介质
US20140118543A1 (en) Method and apparatus for video analysis algorithm selection based on historical incident data
CN110956104A (zh) 一种检测垃圾桶溢出的方法、装置及系统
CN110399792B (zh) 一种监控方法、装置及计算机可读存储介质
CN106710219A (zh) 停车位监控装置
CN112804489A (zh) 基于互联网+的智慧工地管理系统及方法
CN113850995B (zh) 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN112634625A (zh) 一种智能识别路边车位被非法占用的方法及系统
CN110909641A (zh) 一种检测摩托车超载的方法、装置及系统
CN113891050B (zh) 一种基于视频联网共享的监控设备管理系统
CN112393790B (zh) 改造地磅称重系统远程无人值守的方法
CN115497268A (zh) 一种基于智慧工地的人员定位管理系统及应用
CN114283582A (zh) 隧道交通预警处理方法及装置
KR20030040434A (ko) 지원 또는 증거 자료를 필요로 하는 사건을 검출하기 위한영상 기반 방법 및 장치
Collinson The application of camera based traffic monitoring systems
CN113096333A (zh) 监所报警信息处理方法、装置及计算机设备
KR101870900B1 (ko) 다목적 감시 이원화 시스템의 통합 운영시스템 및 그 운영방법
JP2021097336A (ja) 監視用テレビモニタ装置の故障予兆検知システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant