CN111583577A - 远程人员聚集识别与告警系统及方法 - Google Patents

远程人员聚集识别与告警系统及方法 Download PDF

Info

Publication number
CN111583577A
CN111583577A CN202010377890.3A CN202010377890A CN111583577A CN 111583577 A CN111583577 A CN 111583577A CN 202010377890 A CN202010377890 A CN 202010377890A CN 111583577 A CN111583577 A CN 111583577A
Authority
CN
China
Prior art keywords
crowd
characteristic information
personnel
unmanned vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010377890.3A
Other languages
English (en)
Other versions
CN111583577B (zh
Inventor
李博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202010377890.3A priority Critical patent/CN111583577B/zh
Publication of CN111583577A publication Critical patent/CN111583577A/zh
Application granted granted Critical
Publication of CN111583577B publication Critical patent/CN111583577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本申请涉及远程人员聚集识别与告警系统、方法及无人车辆,应用在无人车、无人驾驶和自动驾驶等无人车辆技术领域,人群信息获取单元,用于获得无人车辆周围的人群信息视频流;数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。本发明能够有效的克服现有固定式的监控方式无法流动的对园区等场所进行监控识别的不足。通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。

Description

远程人员聚集识别与告警系统及方法
技术领域
本发明涉及远程人员聚集识别与告警技术,应用于无人车、无人驾驶和自动驾驶等领域,具体涉及一种远程人员聚集识别与告警系统及方法。
背景技术
现有的监控系统中,仅有固定地点监控的人员识别,固定式的监控方式无法流动的对园区等场所进行监控识别,在车联网与无人车慢慢普及的情况下,由于移动无人车辆广泛用于企事业单位的宣传、产品推广、品牌推广,现场展示,体育赛事、演唱会、音乐会及选秀活动等。也可在繁华商业区、广场、居民小区、广场公园等区域与观众或消费者进行现场展示、交流、互动,宣传范围广泛,可使客户获得最大的广告传播效果。
采用无人车来进行流动监控以克服现有固定监控方式的不足,然而现有的无人车运营过程中,无工作人员接触的情况下,对工况道路,社区园区等公共场所进行巡逻监控,防止人员聚集扎堆,其存在预警不足和无人车的在无效地区运营的概率。
为此,提供一种基于无人车移动中远程人员聚集识别与告警系统,有效的对人员密集程度进行大数据与商业分析,获得人员密集的点进行相应的告警和商业投放,成为本来技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明为至少在一定程度上克服相关技术中存在的问题,采用与无人车辆自动驾驶技术相结合的方式,提供一种基于无人车移动中远程人员聚集识别与告警系统,对运营区域进行流动性监控,克服预警不足和提升无人车的在有效地区运营的概率。
为实现上述目的,本发明根据本申请实施例的第一方面,提供一种远程人员聚集识别与告警系统,所述系统包括:
人群信息获取单元,用于获得无人车辆周围的人群信息视频流;
数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
进一步的,还包括路径更新单元,根据人员密集点分析的情况重新规划无人车辆营运路径。
进一步的,所述数据分析单元包括视频帧提取单元、人群特征信息分析单元和数据统计分析单元,其中
所述视频帧提取单元,用于从人群信息视频流中提取含有人脸的视频帧;
人群特征信息分析单元,用于分析每一张视频帧中人群特征信息;
数据统计分析单元,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
进一步的,所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
进一步的,还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。
根据本申请实施例的第二方面,提供一种远程人员聚集识别与告警方法,包括如下步骤:
用于获得无人车辆周围的人群信息视频流;
基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
进一步的,对人员密集点及人群特征信息进行分析的步骤中,包括
用于从人群信息视频流中提取含有人脸的视频帧;用于分析每一张视频帧中人群特征信息;将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
进一步的,还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。
进一步的,根据人员密集点分析的情况重新规划无人车辆营运路径。
进一步的,无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。
进一步的,所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
根据本申请实施例的第三方面,提供一种无人车辆,所述无人车辆采用上述的远程人员聚集识别与告警系统实现远程人员聚集识别与告警;或者采用上述的远程人员聚集识别与告警方法实现远程人员聚集识别与告警。
与现有技术相比,本发明至少具有如下有益效果:
1)、本发明提供了一种基于无人车辆无人车移动中远程人员聚集识别与告警系统,能够有效的克服现有固定式的监控方式无法流动的对园区等场所进行监控识别的不足。
2)、通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本发明远程人员聚集识别与告警系统示意图;
图2是本发明远程人员聚集识别与告警方法流程图之一;
图3是本发明远程人员聚集识别与告警方法一实施例。
图中:1、人群信息获取单元;2、数据分析单元;21、视频帧提取单元;22、人群特征信息分析单元;23、数据统计分析单元;3、车辆控制单元;4、路径更新单元。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
如图1所示,本实施例第一方面提供一种远程人员聚集识别与告警系统,所述系统包括:
人群信息获取单元1,用于获得无人车辆周围的人群信息视频流;
数据分析单元2,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元3,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
还包括路径更新单元4,根据人员密集点分析的情况重新规划无人车辆营运路径。
本实施例中,所述数据分析单元包括视频帧提取单元21、人群特征信息分析单元22和数据统计分析单元23,其中,所述视频帧提取单元21,用于从人群信息视频流中提取含有人脸的视频帧;人群特征信息分析单元22,用于分析每一张视频帧中人群特征信息;数据统计分析单元23,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
需要补充说明的是,本实施例中所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
作为一种优选的实施方式,本实施例中还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。每帧图中的人都会在人脸库中去注册,假如另一帧中某个人去人脸库中注册时发现人脸库中已有这个人,就相当于重复的人数,截出来的人会与人脸库中的数据绑定,会起到滤重,用户绑定的效果。
现列举一使用场景做进一步说明,采集的视频流同时上传云端和无人车辆本地端;对上传云端人群信息视频流进行人员密集点及人群特征信息进行分析;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计等,人群特征信息包括年龄、年龄段、性别和体貌特征;比如,某一视频流在某一时间段中有10个人出现,分别截取每个人的图像,识别出其年龄、性别、体貌特征,若青年人占的比例较多,假定大于60%,若男性多于女性,则无人车辆前后显示屏文字显示“帅哥,您好,欢迎光临”;若女性多于男性,则显示“美女,您好,欢迎光临”。
若小孩子的比例比较多,则显示“小朋友,您好,欢迎光临”,当然根据体貌特征的识别,可以显示“穿红色衣服的小朋友,您好,欢迎光临”并匹配相应的声音播报或者灯光信号。
根据本申请实施例的第二方面,提供一种远程人员聚集识别与告警方法,包括如下步骤:
S1、用于获得无人车辆周围的人群信息视频流;
S2、基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
S3、根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
作为优选的实施方式,对人员密集点及人群特征信息进行分析的步骤中,包括用于从人群信息视频流中提取含有人脸的视频帧;用于分析每一张视频帧中人群特征信息;将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
在车联网与无人车慢慢普及的情况下,无人车不仅用于运输,此次新型冠状病毒的蔓延,在无人车运营过程中,无工作人员接触的情况下,对工况道路,社区园区等公共场所进行巡逻监控,防止人员聚集扎堆,通过自动驾驶无人车的运营以及人工智能识别视频流,对此次疫情以及以及以后各种危急情况的人员聚集识别。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
如图3所示,本发明将通过无人车辆双目获取视频流,采集的人群信息视频流上传云端进行深度处理,一方面对人员密集点进行记录,将大数据分析后的信息反馈给无人车辆,无人车辆下一运行时,按照路径跟新单元跟新后路劲运营,提升无人车的在有效地区运营的概率。
另一方面通过数据分析单元对人群特征信息进行分析,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。同时根据人群特征信息推送/播放相适配的广告。
本实施例中还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。根据人员密集点分析的情况重新规划无人车辆营运路径。无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。这里的阈值是可以设置的,场景一、为了最高的广告播放效果,驱动无人车辆前往选择人群多的地方;场景二、比如在当下疫情严重的情况下,为了人员聚集扎堆,当检测到有人员聚集扎堆时,则进行预警处理或者上报给相关机构或人员。
根据本申请实施例的第三方面,提供一种无人车辆,所述无人车辆采用上述的远程人员聚集识别与告警系统实现远程人员聚集识别与告警;或者采用上述的远程人员聚集识别与告警方法实现远程人员聚集识别与告警。
本发明丰富无人车的功能,使无人车在售卖与运输运营过程中,对紧急情况有预判并通知相关人员处理;解决各种固定场所摄像头无法流动覆盖整体的弊端。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种远程人员聚集识别与告警系统,其特征在于:所述系统包括
人群信息获取单元,用于获得无人车辆周围的人群信息视频流;
数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
2.根据权利要求1所述的远程人员聚集识别与告警系统,其特征在于:还包括路径更新单元,根据人员密集点分析的情况重新规划无人车辆营运路径。
3.根据权利要求1或2所述的远程人员聚集识别与告警系统,其特征在于:所述数据分析单元包括视频帧提取单元、人群特征信息分析单元和数据统计分析单元,其中
所述视频帧提取单元,用于从人群信息视频流中提取含有人脸的视频帧;
人群特征信息分析单元,用于分析每一张视频帧中人群特征信息;
数据统计分析单元,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
4.根据权利要求3所述的远程人员聚集识别与告警系统,其特征在于:所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
5.根据权利要求1至5任一项所述的远程人员聚集识别与告警系统,其特征在于:还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。
6.一种远程人员聚集识别与告警方法,其特征在于:所述方法采用上述权利要求1至5任一项所述的远程人员聚集识别与告警系统,包括如下步骤:
用于获得无人车辆周围的人群信息视频流;
基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
7.根据权利要求6所述的远程人员聚集识别与告警方法,其特征在于:对人员密集点及人群特征信息进行分析的步骤中,包括
用于从人群信息视频流中提取含有人脸的视频帧;
用于分析每一张视频帧中人群特征信息;
将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
8.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。
9.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:根据人员密集点分析的情况重新规划无人车辆营运路径。
10.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。
CN202010377890.3A 2020-05-07 2020-05-07 远程人员聚集识别与告警系统及方法 Active CN111583577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377890.3A CN111583577B (zh) 2020-05-07 2020-05-07 远程人员聚集识别与告警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377890.3A CN111583577B (zh) 2020-05-07 2020-05-07 远程人员聚集识别与告警系统及方法

Publications (2)

Publication Number Publication Date
CN111583577A true CN111583577A (zh) 2020-08-25
CN111583577B CN111583577B (zh) 2022-01-11

Family

ID=72117017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377890.3A Active CN111583577B (zh) 2020-05-07 2020-05-07 远程人员聚集识别与告警系统及方法

Country Status (1)

Country Link
CN (1) CN111583577B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146376A (zh) * 2017-07-16 2017-09-08 汤庆佳 一种基于无人机的智能车辆行驶方法及其系统
CN108592932A (zh) * 2018-04-27 2018-09-28 平安科技(深圳)有限公司 一种无人车调度方法、系统、设备及存储介质
CN108694627A (zh) * 2018-07-16 2018-10-23 安徽爱依特科技有限公司 移动广告展示机器人系统
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN109934625A (zh) * 2019-03-01 2019-06-25 统云信息科技有限公司 一种人工智能显示屏广告动态投放系统和方法
CN110162109A (zh) * 2018-03-07 2019-08-23 陈磊 一种游览车无人驾驶系统
US20190318487A1 (en) * 2016-12-28 2019-10-17 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method and apparatus for detection of false alarm obstacle
CN110378502A (zh) * 2018-09-13 2019-10-25 北京京东尚科信息技术有限公司 辅助无人车确定路径的方法和装置
CN110488846A (zh) * 2019-09-19 2019-11-22 广州文远知行科技有限公司 无人驾驶远程协助方法、装置、设备及储存介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318487A1 (en) * 2016-12-28 2019-10-17 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method and apparatus for detection of false alarm obstacle
CN107146376A (zh) * 2017-07-16 2017-09-08 汤庆佳 一种基于无人机的智能车辆行驶方法及其系统
CN110162109A (zh) * 2018-03-07 2019-08-23 陈磊 一种游览车无人驾驶系统
CN108592932A (zh) * 2018-04-27 2018-09-28 平安科技(深圳)有限公司 一种无人车调度方法、系统、设备及存储介质
CN108694627A (zh) * 2018-07-16 2018-10-23 安徽爱依特科技有限公司 移动广告展示机器人系统
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN110378502A (zh) * 2018-09-13 2019-10-25 北京京东尚科信息技术有限公司 辅助无人车确定路径的方法和装置
CN109934625A (zh) * 2019-03-01 2019-06-25 统云信息科技有限公司 一种人工智能显示屏广告动态投放系统和方法
CN110488846A (zh) * 2019-09-19 2019-11-22 广州文远知行科技有限公司 无人驾驶远程协助方法、装置、设备及储存介质

Also Published As

Publication number Publication date
CN111583577B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN109922310B (zh) 目标对象的监控方法、装置及系统
CN110008298B (zh) 驻车多维信息感知应用系统及方法
CN105027550A (zh) 用于处理视觉信息以检测事件的系统和方法
CN106203458B (zh) 人群视频分析方法及系统
DE112005000028B4 (de) Erfassung von Daten bezüglich der Nutzung von Veröffentlichungen durch eine Person
CN102576412B (zh) 图像处理以为图像中的对象进行分类的方法和系统
Troscianko et al. What happens next? The predictability of natural behaviour viewed through CCTV cameras
CN109919009A (zh) 目标对象的监控方法、装置及系统
US20130346550A1 (en) System and Method for Communicating Information
CN106557937B (zh) 广告推送方法和装置
CN108495153B (zh) 多媒体内容的推送方法、装置和系统
CN110705482A (zh) 一种基于视频ai智能分析的人员行为告警提示系统
CN110889334A (zh) 人员闯入识别方法及装置
CN111291682A (zh) 确定目标对象的方法、装置、存储介质及电子装置
CN110689367A (zh) 数据采集方法、装置、计算机装置及存储介质
Wells et al. Crime and CCTV in Australia: Understanding the relationship
EP1186128B9 (de) Verfahren, vorrichtung für die erfassung von daten über die betrachtung von videoinformationen, und die weiterleitung dieser daten zu einer zentralen datenverarbeitungsanlage
CN109344726A (zh) 一种广告投放方法和装置
CN109446998A (zh) 目标人物检测方法及系统
CN111629184A (zh) 能识别监控区域内人员的视频监控报警系统及方法
US20120001828A1 (en) Selecting displays for displaying content
CN110111129B (zh) 一种数据分析方法、广告播放设备及存储介质
CN111583577B (zh) 远程人员聚集识别与告警系统及方法
TW201918934A (zh) 運用深度學習技術之智慧影像資訊及大數據分析系統及方法
KR20140068634A (ko) 지능형 광고를 위한 얼굴 영상 분석시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant