CN111583577A - 远程人员聚集识别与告警系统及方法 - Google Patents
远程人员聚集识别与告警系统及方法 Download PDFInfo
- Publication number
- CN111583577A CN111583577A CN202010377890.3A CN202010377890A CN111583577A CN 111583577 A CN111583577 A CN 111583577A CN 202010377890 A CN202010377890 A CN 202010377890A CN 111583577 A CN111583577 A CN 111583577A
- Authority
- CN
- China
- Prior art keywords
- crowd
- characteristic information
- personnel
- unmanned vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及远程人员聚集识别与告警系统、方法及无人车辆,应用在无人车、无人驾驶和自动驾驶等无人车辆技术领域,人群信息获取单元,用于获得无人车辆周围的人群信息视频流;数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。本发明能够有效的克服现有固定式的监控方式无法流动的对园区等场所进行监控识别的不足。通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
Description
技术领域
本发明涉及远程人员聚集识别与告警技术,应用于无人车、无人驾驶和自动驾驶等领域,具体涉及一种远程人员聚集识别与告警系统及方法。
背景技术
现有的监控系统中,仅有固定地点监控的人员识别,固定式的监控方式无法流动的对园区等场所进行监控识别,在车联网与无人车慢慢普及的情况下,由于移动无人车辆广泛用于企事业单位的宣传、产品推广、品牌推广,现场展示,体育赛事、演唱会、音乐会及选秀活动等。也可在繁华商业区、广场、居民小区、广场公园等区域与观众或消费者进行现场展示、交流、互动,宣传范围广泛,可使客户获得最大的广告传播效果。
采用无人车来进行流动监控以克服现有固定监控方式的不足,然而现有的无人车运营过程中,无工作人员接触的情况下,对工况道路,社区园区等公共场所进行巡逻监控,防止人员聚集扎堆,其存在预警不足和无人车的在无效地区运营的概率。
为此,提供一种基于无人车移动中远程人员聚集识别与告警系统,有效的对人员密集程度进行大数据与商业分析,获得人员密集的点进行相应的告警和商业投放,成为本来技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明为至少在一定程度上克服相关技术中存在的问题,采用与无人车辆自动驾驶技术相结合的方式,提供一种基于无人车移动中远程人员聚集识别与告警系统,对运营区域进行流动性监控,克服预警不足和提升无人车的在有效地区运营的概率。
为实现上述目的,本发明根据本申请实施例的第一方面,提供一种远程人员聚集识别与告警系统,所述系统包括:
人群信息获取单元,用于获得无人车辆周围的人群信息视频流;
数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
进一步的,还包括路径更新单元,根据人员密集点分析的情况重新规划无人车辆营运路径。
进一步的,所述数据分析单元包括视频帧提取单元、人群特征信息分析单元和数据统计分析单元,其中
所述视频帧提取单元,用于从人群信息视频流中提取含有人脸的视频帧;
人群特征信息分析单元,用于分析每一张视频帧中人群特征信息;
数据统计分析单元,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
进一步的,所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
进一步的,还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。
根据本申请实施例的第二方面,提供一种远程人员聚集识别与告警方法,包括如下步骤:
用于获得无人车辆周围的人群信息视频流;
基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
进一步的,对人员密集点及人群特征信息进行分析的步骤中,包括
用于从人群信息视频流中提取含有人脸的视频帧;用于分析每一张视频帧中人群特征信息;将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
进一步的,还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。
进一步的,根据人员密集点分析的情况重新规划无人车辆营运路径。
进一步的,无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。
进一步的,所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
根据本申请实施例的第三方面,提供一种无人车辆,所述无人车辆采用上述的远程人员聚集识别与告警系统实现远程人员聚集识别与告警;或者采用上述的远程人员聚集识别与告警方法实现远程人员聚集识别与告警。
与现有技术相比,本发明至少具有如下有益效果:
1)、本发明提供了一种基于无人车辆无人车移动中远程人员聚集识别与告警系统,能够有效的克服现有固定式的监控方式无法流动的对园区等场所进行监控识别的不足。
2)、通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本发明远程人员聚集识别与告警系统示意图;
图2是本发明远程人员聚集识别与告警方法流程图之一;
图3是本发明远程人员聚集识别与告警方法一实施例。
图中:1、人群信息获取单元;2、数据分析单元;21、视频帧提取单元;22、人群特征信息分析单元;23、数据统计分析单元;3、车辆控制单元;4、路径更新单元。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
如图1所示,本实施例第一方面提供一种远程人员聚集识别与告警系统,所述系统包括:
人群信息获取单元1,用于获得无人车辆周围的人群信息视频流;
数据分析单元2,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元3,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
还包括路径更新单元4,根据人员密集点分析的情况重新规划无人车辆营运路径。
本实施例中,所述数据分析单元包括视频帧提取单元21、人群特征信息分析单元22和数据统计分析单元23,其中,所述视频帧提取单元21,用于从人群信息视频流中提取含有人脸的视频帧;人群特征信息分析单元22,用于分析每一张视频帧中人群特征信息;数据统计分析单元23,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。通过对人群特征信息的大数据分析,能够有针对性的进行预警处理,提升无人车的在有效地区运营的概率。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
需要补充说明的是,本实施例中所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
作为一种优选的实施方式,本实施例中还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。每帧图中的人都会在人脸库中去注册,假如另一帧中某个人去人脸库中注册时发现人脸库中已有这个人,就相当于重复的人数,截出来的人会与人脸库中的数据绑定,会起到滤重,用户绑定的效果。
现列举一使用场景做进一步说明,采集的视频流同时上传云端和无人车辆本地端;对上传云端人群信息视频流进行人员密集点及人群特征信息进行分析;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计等,人群特征信息包括年龄、年龄段、性别和体貌特征;比如,某一视频流在某一时间段中有10个人出现,分别截取每个人的图像,识别出其年龄、性别、体貌特征,若青年人占的比例较多,假定大于60%,若男性多于女性,则无人车辆前后显示屏文字显示“帅哥,您好,欢迎光临”;若女性多于男性,则显示“美女,您好,欢迎光临”。
若小孩子的比例比较多,则显示“小朋友,您好,欢迎光临”,当然根据体貌特征的识别,可以显示“穿红色衣服的小朋友,您好,欢迎光临”并匹配相应的声音播报或者灯光信号。
根据本申请实施例的第二方面,提供一种远程人员聚集识别与告警方法,包括如下步骤:
S1、用于获得无人车辆周围的人群信息视频流;
S2、基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
S3、根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
作为优选的实施方式,对人员密集点及人群特征信息进行分析的步骤中,包括用于从人群信息视频流中提取含有人脸的视频帧;用于分析每一张视频帧中人群特征信息;将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
在车联网与无人车慢慢普及的情况下,无人车不仅用于运输,此次新型冠状病毒的蔓延,在无人车运营过程中,无工作人员接触的情况下,对工况道路,社区园区等公共场所进行巡逻监控,防止人员聚集扎堆,通过自动驾驶无人车的运营以及人工智能识别视频流,对此次疫情以及以及以后各种危急情况的人员聚集识别。通过无人车采集的视频,后台可以识别与运算各个位置的人员密集程度,再通过大数据与商业分析,获得人员密集的点进行商业投放。
如图3所示,本发明将通过无人车辆双目获取视频流,采集的人群信息视频流上传云端进行深度处理,一方面对人员密集点进行记录,将大数据分析后的信息反馈给无人车辆,无人车辆下一运行时,按照路径跟新单元跟新后路劲运营,提升无人车的在有效地区运营的概率。
另一方面通过数据分析单元对人群特征信息进行分析,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。同时根据人群特征信息推送/播放相适配的广告。
本实施例中还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。根据人员密集点分析的情况重新规划无人车辆营运路径。无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。这里的阈值是可以设置的,场景一、为了最高的广告播放效果,驱动无人车辆前往选择人群多的地方;场景二、比如在当下疫情严重的情况下,为了人员聚集扎堆,当检测到有人员聚集扎堆时,则进行预警处理或者上报给相关机构或人员。
根据本申请实施例的第三方面,提供一种无人车辆,所述无人车辆采用上述的远程人员聚集识别与告警系统实现远程人员聚集识别与告警;或者采用上述的远程人员聚集识别与告警方法实现远程人员聚集识别与告警。
本发明丰富无人车的功能,使无人车在售卖与运输运营过程中,对紧急情况有预判并通知相关人员处理;解决各种固定场所摄像头无法流动覆盖整体的弊端。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种远程人员聚集识别与告警系统,其特征在于:所述系统包括
人群信息获取单元,用于获得无人车辆周围的人群信息视频流;
数据分析单元,基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
车辆控制单元,根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
2.根据权利要求1所述的远程人员聚集识别与告警系统,其特征在于:还包括路径更新单元,根据人员密集点分析的情况重新规划无人车辆营运路径。
3.根据权利要求1或2所述的远程人员聚集识别与告警系统,其特征在于:所述数据分析单元包括视频帧提取单元、人群特征信息分析单元和数据统计分析单元,其中
所述视频帧提取单元,用于从人群信息视频流中提取含有人脸的视频帧;
人群特征信息分析单元,用于分析每一张视频帧中人群特征信息;
数据统计分析单元,将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
4.根据权利要求3所述的远程人员聚集识别与告警系统,其特征在于:所述人群特征信息包括年龄、性别和体貌特征;人员密集情况大数据分析包括视频拍摄的地点、时间和人流统计。
5.根据权利要求1至5任一项所述的远程人员聚集识别与告警系统,其特征在于:还包括人脸特征库,每一张视频帧中的人脸在人脸特征库中注册,将视频帧中的人脸与人脸特征库中的数据绑定。
6.一种远程人员聚集识别与告警方法,其特征在于:所述方法采用上述权利要求1至5任一项所述的远程人员聚集识别与告警系统,包括如下步骤:
用于获得无人车辆周围的人群信息视频流;
基于获取的人群信息视频流,对人员密集点及人群特征信息进行分析;
根据人群特征信息控制无人车辆匹配相应的声光电配置模式。
7.根据权利要求6所述的远程人员聚集识别与告警方法,其特征在于:对人员密集点及人群特征信息进行分析的步骤中,包括
用于从人群信息视频流中提取含有人脸的视频帧;
用于分析每一张视频帧中人群特征信息;
将每一张视频帧中人群特征信息进行汇总,根据分析后的人群特征信息进行人员密集情况大数据分析与紧急情况预判。
8.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:还包括将每一张视频帧中的人脸在人脸特征库中进行注册,将视频帧中的人脸与人脸特征库中的数据绑定。
9.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:根据人员密集点分析的情况重新规划无人车辆营运路径。
10.根据权利要求7所述远程人员聚集识别与告警方法,其特征在于:无人车辆车端对人群信息视频流预处理,若人员密集度阈值高于预设的阈值,则通过无人车辆做预警处理或者上报预警信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010377890.3A CN111583577B (zh) | 2020-05-07 | 2020-05-07 | 远程人员聚集识别与告警系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010377890.3A CN111583577B (zh) | 2020-05-07 | 2020-05-07 | 远程人员聚集识别与告警系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583577A true CN111583577A (zh) | 2020-08-25 |
CN111583577B CN111583577B (zh) | 2022-01-11 |
Family
ID=72117017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010377890.3A Active CN111583577B (zh) | 2020-05-07 | 2020-05-07 | 远程人员聚集识别与告警系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583577B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107146376A (zh) * | 2017-07-16 | 2017-09-08 | 汤庆佳 | 一种基于无人机的智能车辆行驶方法及其系统 |
CN108592932A (zh) * | 2018-04-27 | 2018-09-28 | 平安科技(深圳)有限公司 | 一种无人车调度方法、系统、设备及存储介质 |
CN108694627A (zh) * | 2018-07-16 | 2018-10-23 | 安徽爱依特科技有限公司 | 移动广告展示机器人系统 |
CN108765762A (zh) * | 2018-07-25 | 2018-11-06 | 智慧式控股有限公司 | 智慧式无人载客车辆、共享系统及商业模式 |
CN109934625A (zh) * | 2019-03-01 | 2019-06-25 | 统云信息科技有限公司 | 一种人工智能显示屏广告动态投放系统和方法 |
CN110162109A (zh) * | 2018-03-07 | 2019-08-23 | 陈磊 | 一种游览车无人驾驶系统 |
US20190318487A1 (en) * | 2016-12-28 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for detection of false alarm obstacle |
CN110378502A (zh) * | 2018-09-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 辅助无人车确定路径的方法和装置 |
CN110488846A (zh) * | 2019-09-19 | 2019-11-22 | 广州文远知行科技有限公司 | 无人驾驶远程协助方法、装置、设备及储存介质 |
-
2020
- 2020-05-07 CN CN202010377890.3A patent/CN111583577B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190318487A1 (en) * | 2016-12-28 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method and apparatus for detection of false alarm obstacle |
CN107146376A (zh) * | 2017-07-16 | 2017-09-08 | 汤庆佳 | 一种基于无人机的智能车辆行驶方法及其系统 |
CN110162109A (zh) * | 2018-03-07 | 2019-08-23 | 陈磊 | 一种游览车无人驾驶系统 |
CN108592932A (zh) * | 2018-04-27 | 2018-09-28 | 平安科技(深圳)有限公司 | 一种无人车调度方法、系统、设备及存储介质 |
CN108694627A (zh) * | 2018-07-16 | 2018-10-23 | 安徽爱依特科技有限公司 | 移动广告展示机器人系统 |
CN108765762A (zh) * | 2018-07-25 | 2018-11-06 | 智慧式控股有限公司 | 智慧式无人载客车辆、共享系统及商业模式 |
CN110378502A (zh) * | 2018-09-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 辅助无人车确定路径的方法和装置 |
CN109934625A (zh) * | 2019-03-01 | 2019-06-25 | 统云信息科技有限公司 | 一种人工智能显示屏广告动态投放系统和方法 |
CN110488846A (zh) * | 2019-09-19 | 2019-11-22 | 广州文远知行科技有限公司 | 无人驾驶远程协助方法、装置、设备及储存介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111583577B (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105027550B (zh) | 用于处理视觉信息以检测事件的系统和方法 | |
CN109922310B (zh) | 目标对象的监控方法、装置及系统 | |
CN104504112B (zh) | 影院信息采集系统 | |
CN106203458B (zh) | 人群视频分析方法及系统 | |
KR101271483B1 (ko) | 사용자 인식기능을 이용하는 지능형 양방향 광고 단말기 | |
DE112005000028B4 (de) | Erfassung von Daten bezüglich der Nutzung von Veröffentlichungen durch eine Person | |
CN102576412B (zh) | 图像处理以为图像中的对象进行分类的方法和系统 | |
Troscianko et al. | What happens next? The predictability of natural behaviour viewed through CCTV cameras | |
CN111612113A (zh) | 防疫管控方法、装置、系统、存储介质以及处理器 | |
CN110263613A (zh) | 监控视频处理方法及装置 | |
US20130346550A1 (en) | System and Method for Communicating Information | |
CN108345854A (zh) | 基于图像分析的信息处理方法、装置、系统及存储介质 | |
WO2015006369A1 (en) | Real-time analytics, collaboration, from multiple video sources | |
CN104091446A (zh) | 行人过斑马线的智能化视频分析方法 | |
DE10393957T5 (de) | Universelle Messung von Exposition durch Anzeigemedien | |
TW201033908A (en) | System and method for counting people flow | |
CN110689367A (zh) | 数据采集方法、装置、计算机装置及存储介质 | |
CN111291682A (zh) | 确定目标对象的方法、装置、存储介质及电子装置 | |
CN110503821A (zh) | 行人及非机动车过街智能管理控制系统 | |
EP1186128B1 (de) | Verfahren, vorrichtung für die erfassung von daten über die betrachtung von videoinformationen, und die weiterleitung dieser daten zu einer zentralen datenverarbeitungsanlage | |
CN115797125B (zh) | 一种乡村数字化智慧服务平台 | |
CN111629184A (zh) | 能识别监控区域内人员的视频监控报警系统及方法 | |
CN109040841B (zh) | 监测院线映前广告的方法和装置以及计算机可读存储介质 | |
WO2012012059A2 (en) | Selecting displays for displaying content | |
CN111583577B (zh) | 远程人员聚集识别与告警系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |