CN112714446B - 一种基于边缘智能的协作入侵感知方法 - Google Patents
一种基于边缘智能的协作入侵感知方法 Download PDFInfo
- Publication number
- CN112714446B CN112714446B CN202011642263.4A CN202011642263A CN112714446B CN 112714446 B CN112714446 B CN 112714446B CN 202011642263 A CN202011642263 A CN 202011642263A CN 112714446 B CN112714446 B CN 112714446B
- Authority
- CN
- China
- Prior art keywords
- data
- sensing
- intrusion
- information
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明提供一种基于边缘智能的协作入侵感知方法,所述的方法包括步骤如下:S1:感知节点基于自身的传感器完成数据信息收集,并进行初步数据融合;S2:汇聚节点对感知节点收集的数据信息进行存储和基于汇聚节点计算能力构建边缘智能模型;S3:基于分布式存储的数据信息对边缘智能模型进行训练,更新边缘智能模型参数,生成最终协作入侵感知模型;S4:利用协作入侵感知模型进行协作入侵感知。本发明能实现在极端环境下对入侵对象进行识别,且识别成功率高。
Description
技术领域
本发明涉及物联网技术领域,更具体地,涉及一种基于边缘智能的协作入侵感知方法。
背景技术
物联网(IoT)是由装备了计算机和传感器的物体彼此互联形成的新兴信息网络,是提供事物信息自动跟踪、追溯和控制的基础平台。物联网通过射频识别,无线传感器、全球定位系统和激光扫描器等信息传感设备按约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理。它的出现使整个物理世界能够被智能地感知。
面向常规应用场景下的环境感知技术得到较大发展,可采用计算机全景视觉、激光雷达等新一代信息技术完成环境建模与环境信息感知。然而,这类技术通常需要预先部署,单位设备造价和运营维护成本很高,在部分极端环境下使用受限。
现有技术之一,采用单一环境感知组件,如摄像头、激光雷达等,完成对环境的建模和感知。然而这种方法需要预先部署基础设施,需能源、信息回传等支撑,感知信息维度有限,受环境变化影响大,部分特殊场景难以使用。
在现有技术一的基础上,采用多种环境感知组件,各环境感知组件独立采集环境信息,将环境感知信息全部回传至云端,由云端完成信息融合和判决。这种方法的感知信息回传需要回传网络支撑,受回传网影响易产生信息丢失,降低入侵识别率。
光纤传感的入侵识别系统,可以识别车辆等入侵行为产生的磁场变化、应变变化和声音变化,将三种信号检测手段融合,形成多源光纤传感技术,利用磁致伸缩薄片、金属应变增敏薄片和声音增敏薄片提升光纤光栅和光纤检测性能。但是这种方法需提前完成光纤布设,部署成本高,运维费用较高,入侵识别对象有限,环境感知能力不足。
因此面向环境入侵感知应用,需提供造价更为低廉,运维开销低,部署方式灵活的环境入侵感知解决方案,解决面临无电、无水、无路等特殊场景下对环境入侵感知的需求。
发明内容
本发明为克服现有入侵感知技术无法兼顾入侵识别率、环境适应性以及识别对象类型等问题,提供了一种基于边缘智能的协作入侵感知方法,其能实现在极端环境下对入侵对象进行识别,且识别成功率高。
为解决上述技术问题,本发明的技术方案如下:一种基于边缘智能的协作入侵感知方法,所述的方法包括步骤如下:
S1:感知节点基于自身的传感器完成数据信息收集,并进行初步数据融合;
S2:汇聚节点对感知节点收集的数据信息进行存储和基于汇聚节点计算能力构建边缘智能模型;
S3:基于分布式存储的数据信息对边缘智能模型进行训练,更新边缘智能模型参数,生成最终协作入侵感知模型;
S4:利用协作入侵感知模型进行协作入侵感知。
优选地,一个汇聚节点对应若干个感知节点,汇聚节点之间进行数据共享通信;所述的感知节点、汇聚节点通过自组织方式构成无线网络,以协作的方式感知、采集和处理网络覆盖区域中数据信息。
进一步地,所述的数据信息包括位置类信息、载具类信息、人体感知类信息、气象环境类信息。
再进一步地,步骤S1,采用时空相关性数据融合方法进行初步数据融合,具体根据区域内的历史数据对时间融合和空间融合进行组合排序,然后按照组合排序,采用预设波动容忍度的方法完成时间数据融合,采用节点距离与观测值的关联程度对关联度高的数据进行整合,完成空间相关性数据融合。
再进一步地,在进行初步数据融合之后,对数据信息进行识别,首先以滑动时间窗口的方式将采集数据信息与历史数据对比,采用均方差对偏离进行量化,若高于预设阈值,则对该段时间窗口内的数据信息进行分析,与数据库中存储相关突变数据进行对比,确定是否为突变数据;
若为突变数据,则重新采集,确认有目标闯入时,将该紧急信息上传给汇聚节点处理,然后缩短采集间隔,进行高频率的监测与上报。
所述的深度神经模型的总层数为L,隐层和输出层的输出值为a,第l-1层共有m个神经元,第l层有n个神经元,则第l层的线性系数w组成了一个n×m的矩阵Wl,第l层的偏移b组成一个n×1的向量bl;若第l层的第j个神经元的输出为则有
再进一步地,步骤S3,所述的训练边缘智能模型具体如下:
S301:接收加密公钥,在加密保护下不断交互用于计算梯度的中间结果;
S303:生成最终协作入侵感知模型。
再进一步地,所述的汇聚节点支持包括以太网、无线宽带、5G几种通讯方式,同时设有预留接口。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过构建边缘智能模型,利用感知节点收集的数据信息构建数据库,基于分布式存储的数据信息对边缘智能模型进行训练,最终得到支持入侵对象识别的协作入侵感知模型。其实现极端环境下入侵对象识别功能,该方法有效降低设备成本和运维开销,且易于灵活部署,识别成功率高。
附图说明
图1是实施例1区域物联网入侵监测示意图。
图2是实施例1所述的基于边缘智能的协作入侵感知方法。
图3是实施例1中由异常特征引发高频捕捉流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,仅用于示例性说明,不能理解为对本专利的限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于边缘智能的协作入侵感知方法,所述的方法包括步骤如下:
S1:感知节点基于自身的传感器完成数据信息收集,并进行初步数据融合;
S2:汇聚节点对感知节点收集的数据信息进行存储和基于汇聚节点计算能力构建边缘智能模型;
S3:基于分布式存储的数据信息对边缘智能模型进行训练,更新边缘智能模型参数,生成最终协作入侵感知模型;
S4:利用协作入侵感知模型进行协作入侵感知。
通过海量数据信息训练,降低环境干扰对入侵识别率的影响,以低成本、灵活部署的方式实现高入侵识别率。
本实施例涉及的以感知节点和汇聚节点为基础的物联网系统,运用于区域入侵监测。如图2所示,要实现边缘智能与感知信息的联系,需要借助汇聚节点和感知节点组成的无线传感器网络及其通信、计算、存储能力。
汇聚节点即sink节点,在无线传感器网络主要负责传感器网与外网(如GPRS、Internet等)的连接,将感知节点上传的传感信息转发给应用服务。汇聚节点应支持以太网、无线宽带、5G等通讯方式,同时预留与特定终端设备连接接口。一个汇聚节点可能对应若干个感知节点,因此也要求其计算能力较强,运算速度快。汇聚节点与感知节点采用的无线通讯方式满足感知节点数目庞大、分布广的应用特点。
在本实施例中,考虑到使用的实际场景,汇聚节点可以是固定在建筑物上,可以车载、机载,甚至可以人力背负。汇聚节点是网络结构的核心,保证其正常稳定工作是首要的,由于其功率较大,需要为其配备充足容量的电源。
所述的汇聚节点之间可以进行数据共享通信,这样,每一个汇聚节点均拥有全部传感信息。即便其中某一汇聚节点损坏,也不影响整体网络。
所述的感知节点(传感器网络节点)的组成和功能包括如下四个基本单元:传感单元(由传感器和模数转换功能模块组成)、处理单元(由嵌入式系统构成,包括CPU、存储器、嵌入式操作系统等)、通信单元(由无线通信模块组成)、以及电源部分。此外,可以选择的其它功能单元包括:定位系统、运动系统以及发电装置等。所述的感知节点通过各种方式大量部署在被感知对象内部或者附近。
所述的感知节点、汇聚节点通过自组织方式构成无线网络,以协作的方式感知、采集和处理网络覆盖区域中数据信息,可以实现对任意地点信息在任意时间的采集,处理和分析。
在区域监测应用中,由于需监测范围广,所述的感知节点无法使用电源线缆进行供电,而以电池替代,可以快速投放到监测区域各处,位置随机性比较大。再将汇聚节点安置到附近区域准备接收,这样就快速建立好了网络基础。一个汇聚节点能够与范围内所有具备入网权限的感知节点进行组网通信,信息以上行为主,主要做传感信息采集。应用服务通过感知节点上传的传感数据,了解监测区域的整体环境、态势等。
所述的感知节点能够识别所装备传感器类型,按照既定规则进行数据的采集,将采集的数据进行本地存储
无线传感器网络可以聚合大量的数据信息,如果不在传输前对信息进行融合处理,而是全部上发,系统所承担的回传负荷十分巨大,此外直接从这些数据提取出有效信息也非常困难,想进一步对监测区域进行管理和决策就更困难。
区域物联网系统的信息融合主要在汇聚节点进行,感知节点可能数量很大,全部交给汇聚节点处会使得汇聚节点进程繁忙,占用计算资源,可能贻误关键信息的上报。为解决这个问题,需要在感知节点处进行初步融合,具体如下:
主要考虑消除时空相关性的数据融合,在同一区域内的传感器相对距离较近,其观察值在时间和空间上存在相关性,导致数据冗余现象。采用时空相关性数据融合方法进行初步数据融合,具体根据区域内的历史数据对时间融合和空间融合进行组合排序,然后按照组合排序,采用预设波动容忍度的方法完成时间数据融合,采用节点距离与观测值的关联程度对关联度高的数据进行整合,完成空间相关性数据融合。
在感知节点中,可能因干扰等原因获得一些不正确的数据信息,当传感数据出现异常特征(突变)时(如某地区湿度受降雨影响然升高、受地震影响突然持续产生震动信号等),信息需要再次确认。只有经过确认的信息才能存储与发送。确认过程在短期内进行,一旦判定为真实的突变特征,及时进行后续处理。
在进行初步数据融合之后,对数据信息进行识别,首先以滑动时间窗口的方式将采集数据信息与历史数据对比,采用均方差对偏离进行量化,若高于预设阈值,则对该段时间窗口内的数据信息进行分析,与数据库中存储相关突变数据进行对比,确定是否为突变数据;
若为突变数据,则重新采集,确认有目标闯入时,将该紧急信息上传给汇聚节点处理,然后缩短采集间隔,进行高频率的监测与上报。
所述的数据信息包括位置类信息、载具类信息、人体感知类信息、气象环境类信息。具体按功能分组,如可将温度、湿度划归为气象环境类信息,将声音、振动、金属探测等划归为载具类信息,按照功能的划分制定不同的基础采集周期,如表1所示,使非重要信息低频采集,重要信息高频采集,一定程度上减小了感知节点的功率消耗。
表1基本传感器类型表
如表1所示,将目前定义的基本传感器根据数据信息类型分为4类:位置类、载具类、人体感知类、气象环境类。其中载具类信息和人体感知类信息对于监测非常重要且敏感,需要保持较高的采集频率。气象类信息与随时间变化不大,可设置较低的采样频率。位置类信息则更不需要保持高采集频率(因为感知节点通常是不运动的),因此均设置为小时级别。
如图3所示,在感知节点中,当采集到某传感器数据表现出异常特征时,会立即进行一次重新采集,用以判断确认刚才的信息是否有误。有误就恢复正常工作状态,确认异常则立即开启传输,尽快将信息反馈给汇聚节点,然后临时缩短采集时间间隔,达到高效信息捕捉的目的。
如振动检测传感器突然出现超过设定阈值时,就证明现场可能存在异常(如非法闯入),立即进行一次重复采集,确认的确有目标闯入时,将该紧急信息立即上传。然后缩短采集间隔,短期内进行高频率的监测与上报。通过这样的机制,就能够第一时间将接收到的可疑情况发出,并且系统自动转入高频动态监视,方便后续及时上传区域新动向。广大的区域内拥有大量的感知节点,就能够在整个监视环境下对该情况持续跟踪。
所述的深度神经模型的总层数为L,隐层和输出层的输出值为a,第l-1层共有m个神经元,第l层有n个神经元,则第l层的线性系数w组成了一个n×m的矩阵Wl,第l层的偏移b组成一个n×1的向量bl;若第l层的第j个神经元的输出为则有
在一个具体的实施例中,步骤S3,所述的训练边缘智能模型具体如下:
S301:接收加密公钥,在加密保护下不断交互用于计算梯度的中间结果;
S303:生成最终协作入侵感知模型。
步骤S4,根据生成最终协作入侵感知模型进行协作入侵感知。
本实施例利用感知节点收集的环境数据构建数据库,完成边缘智能模型的训练,得到区分入侵对象的边缘智能模型。
面向感知节点本地化数据存储,利用局部更新来实现学习目标,降低信息交互风险,减少边缘智能集的训练开销。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种基于边缘智能的协作入侵感知方法,其特征在于:所述的方法包括步骤如下:
S1:感知节点基于自身的传感器完成数据信息收集,并进行初步数据融合;
S2:汇聚节点对感知节点收集的数据信息进行存储和基于汇聚节点计算能力构建边缘智能模型;
S3:基于分布式存储的数据信息对边缘智能模型进行训练,更新边缘智能模型参数,生成最终协作入侵感知模型;
S4:利用协作入侵感知模型进行协作入侵感知;
所述的深度神经模型的总层数为L,隐层和输出层的输出值为a,第l-1层共有m个神经元,第l层有n个神经元,则第l层的线性系数w组成了一个n×m的矩阵Wl,第l层的偏移b组成一个n×1的向量bl;若第l层的第j个神经元的输出为则有
2.根据权利要求1所述的基于边缘智能的协作入侵感知方法,其特征在于:一个汇聚节点对应若干个感知节点,汇聚节点之间进行数据共享通信;所述的感知节点、汇聚节点通过自组织方式构成无线网络,以协作的方式感知、采集和处理网络覆盖区域中数据信息。
3.根据权利要求2所述的基于边缘智能的协作入侵感知方法,其特征在于:所述的数据信息包括位置类信息、载具类信息、人体感知类信息、气象环境类信息。
4.根据权利要求3所述的基于边缘智能的协作入侵感知方法,其特征在于:步骤S1,采用时空相关性数据融合方法进行初步数据融合,具体根据区域内的历史数据对时间融合和空间融合进行组合排序,然后按照组合排序,采用预设波动容忍度的方法完成时间数据融合,采用节点距离与观测值的关联程度对关联度高的数据进行整合,完成空间相关性数据融合。
5.根据权利要求4所述的基于边缘智能的协作入侵感知方法,其特征在于:在进行初步数据融合之后,对数据信息进行识别,首先以滑动时间窗口的方式将采集数据信息与历史数据对比,采用均方差对偏离进行量化,若高于预设阈值,则对该段时间窗口内的数据信息进行分析,与数据库中存储相关突变数据进行对比,确定是否为突变数据;
若为突变数据,则重新采集,确认有目标闯入时,将紧急信息上传给汇聚节点处理,然后缩短采集间隔,进行高频率的监测与上报。
6.根据权利要求1所述的基于边缘智能的协作入侵感知方法,其特征在于:步骤S3,所述的训练边缘智能模型具体如下:
S301:接收加密公钥,在加密保护下不断交互用于计算梯度的中间结果;
S302:将梯度回传给各参与感知节点,各参与感知节点更新深度神经模型参数Wi l;
S303:生成最终协作入侵感知模型。
7.根据权利要求6所述的基于边缘智能的协作入侵感知方法,其特征在于:所述的汇聚节点支持包括以太网、无线宽带和5G的通讯方式,同时设有预留接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642263.4A CN112714446B (zh) | 2020-12-31 | 2020-12-31 | 一种基于边缘智能的协作入侵感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642263.4A CN112714446B (zh) | 2020-12-31 | 2020-12-31 | 一种基于边缘智能的协作入侵感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112714446A CN112714446A (zh) | 2021-04-27 |
CN112714446B true CN112714446B (zh) | 2023-05-02 |
Family
ID=75548040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011642263.4A Active CN112714446B (zh) | 2020-12-31 | 2020-12-31 | 一种基于边缘智能的协作入侵感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112714446B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114423077B (zh) * | 2022-01-13 | 2023-09-08 | 中国电子科技集团公司第七研究所 | 基于智能超表面的4d内生安全室内定位方法及其定位系统 |
CN116338113B (zh) * | 2023-06-01 | 2023-07-28 | 北京盈创力和电子科技有限公司 | 环境智慧感知模拟系统、方法、服务器和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102420824A (zh) * | 2011-11-30 | 2012-04-18 | 中国科学院微电子研究所 | 一种可重构的物联网节点入侵检测方法 |
CN104935600A (zh) * | 2015-06-19 | 2015-09-23 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的移动自组织网络入侵检测方法与设备 |
CN107766889A (zh) * | 2017-10-26 | 2018-03-06 | 济南浪潮高新科技投资发展有限公司 | 一种云端边缘计算融合的深度学习计算系统和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10771487B2 (en) * | 2016-12-12 | 2020-09-08 | Gryphon Online Safety Inc. | Method for protecting IoT devices from intrusions by performing statistical analysis |
US10862921B2 (en) * | 2017-07-31 | 2020-12-08 | Cisco Technology, Inc. | Application-aware intrusion detection system |
-
2020
- 2020-12-31 CN CN202011642263.4A patent/CN112714446B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102420824A (zh) * | 2011-11-30 | 2012-04-18 | 中国科学院微电子研究所 | 一种可重构的物联网节点入侵检测方法 |
CN104935600A (zh) * | 2015-06-19 | 2015-09-23 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的移动自组织网络入侵检测方法与设备 |
CN107766889A (zh) * | 2017-10-26 | 2018-03-06 | 济南浪潮高新科技投资发展有限公司 | 一种云端边缘计算融合的深度学习计算系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112714446A (zh) | 2021-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rajab et al. | IoT based smart cities | |
Sundhari et al. | IoT assisted Hierarchical Computation Strategic Making (HCSM) and Dynamic Stochastic Optimization Technique (DSOT) for energy optimization in wireless sensor networks for smart city monitoring | |
CN112714446B (zh) | 一种基于边缘智能的协作入侵感知方法 | |
US7480395B2 (en) | Decentralized detection, localization, and tracking utilizing distributed sensors | |
CN106331602A (zh) | 一种基于红外热成像技术的家居监控系统 | |
Salim et al. | K-predictions based data reduction approach in WSN for smart agriculture | |
CN112598150A (zh) | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 | |
CN115775085B (zh) | 一种基于数字孪生的智慧城市管理方法及系统 | |
CN114689129B (zh) | 一种地下空间环境监控系统和方法 | |
CN113115342B (zh) | 一种虚拟力导向麻雀搜索算法的WSNs部署方法及系统 | |
Li et al. | Coverage blind area repair based on perceived multimedia data driven in mobile wireless sensor networks | |
Al-Hawawreh et al. | An online model to minimize energy consumption of IoT sensors in smart cities | |
Muhammad et al. | Deep-reinforcement-learning-based sustainable energy distribution for wireless communication | |
Liu et al. | Coverage algorithm based on perceived environment around nodes in mobile wireless sensor networks | |
EP3594898A2 (en) | Systems for facilitating motion analysis in an environment using cameras and motion sensors and a gateway | |
CN117251825A (zh) | 一种新能源电站多传感器数据融合平台 | |
Dinc et al. | Smart home security with the use of wsns on future intelligent cities | |
El Boudani et al. | Positioning as service for 5g iot networks | |
Indu et al. | Self deployment of mobile sensor network for optimal coverage | |
Wang et al. | Mobile agent based wireless sensor network for intelligent maintenance | |
Pavithra et al. | Investigation of energy optimization for spectrum sensing in distributed cooperative iot network using deep learning techniques | |
CN114845308A (zh) | 一种计及电力多业务动态需求的跨mec资源管理方法 | |
CN107995632B (zh) | 一种保证静态目标检测质量的无源传感节点部署调度方法 | |
CN110999263B (zh) | Iot装置集群的分层数据处理 | |
CN115185780B (zh) | 基于工业互联网的数据采集方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |