CN111694861A - 一种基于网络数据码流特征分析的车牌数据提取方法 - Google Patents
一种基于网络数据码流特征分析的车牌数据提取方法 Download PDFInfo
- Publication number
- CN111694861A CN111694861A CN202010547324.2A CN202010547324A CN111694861A CN 111694861 A CN111694861 A CN 111694861A CN 202010547324 A CN202010547324 A CN 202010547324A CN 111694861 A CN111694861 A CN 111694861A
- Authority
- CN
- China
- Prior art keywords
- data
- license plate
- packet
- head
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013075 data extraction Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 12
- 230000006855 networking Effects 0.000 abstract description 7
- 210000001503 joint Anatomy 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Abstract
本发明公开了一种基于网络数据码流特征分析的车牌数据提取方法，通过抓取网络数据包、滤取有效数据包获得来自停车场抓拍摄像机的有效数据包，再通过分析网络数据码流特征，得到选定特征数据头和车牌数据体的偏移数值，共同构建车牌提取算法，从而基于该车牌提取算法实现实时提取有效车牌数据。这样采用通用流程和机器学习的方式，突破了停车场车辆牌照信息采集系统厂家(品牌)的制约，解决了车牌数据采集的通用性问题，实现了无需进行私有协议对接的车牌数据采集，整个采集过程无须多方沟通，降低了开发成本、缩短了开发周期，易于采集、具备标准化和通用性的优点，可轻松实现广域范围的停车场联网采集，便于主管部门进行监管。
Description
技术领域
本发明属于车辆车牌数据采集技术领域，更为具体地讲，涉及一种基于网络数据码流特征分析的车牌数据提取方法。
背景技术
基于自动化抓拍识别技术的车辆牌照信息采集系统在停车场管理中已得到普遍应用，但各停车场均是自采自建，所用的抓拍摄像机和管理软件厂家(品牌)繁杂。
由于通讯协议尚无国家标准或行业标准，主管部门若要监管，实现对多个停车场的车牌数据进行联网采集，如图1所示，当前只能采取私有协议对接开发的方式，即向每个车辆牌照信息采集系统厂家逐一索要私有协议并逐一进行对接开发。这种开发方式的调试成本高昂、周期长、非标准、沟通困难、可复制性低，很难大范围推广普及，因此，目前还无法实现省市级别的全域停车场车牌数据的联网采集。
为达到跨厂家(品牌)、可快速复制的通用性车牌数据采集目标，降低开发成本和周期，有必要提出一种无需进行私有协议对接即可实现跨厂家的车牌数据联网采集的新方法。
发明内容
本发明的目的在于克服现有车牌数据联网采集方法的不足，提供一种基于网络数据码流特征分析的车牌数据提取方法，以解决车牌数据采集的通用性问题，实现无需进行私有协议对接的车牌数据采集，降低开发成本、缩短开发周期。
为实现上述发明目的，本发明基于网络数据码流特征分析的车牌数据提取方法，通过抓取网络数据包和滤取有效数据包获得来自停车场抓拍摄像机的有效数据包，通过分析网络数据码流特征生成车牌数据提取算法，从而基于该车牌数据提取算法实现车牌数据的提取，其特征在于，包括以下步骤：
(1)、抓取网络数据包
让停车场网络中包含有抓拍摄像机数据的复杂网络码流进入已开启混杂模式的网卡，对复杂网络码流进行全量数据复制抓包，根据停车场网络实际拓扑情况可采用串入方式或镜像方式抓包；
(2)、滤取有效数据包
以来自指定来源IP和端口、按照特定(用于车牌数据传输)的传输层通讯协议、发往指定的目标IP和端口进行条件约束，对抓取到的网络数据包进行过滤，获得仅包含车牌数据的有效数据包；
(3)、分析网络数据码流特征
从已有的特征数据头仓库中逐一取出特征数据头在有效数据包中进行匹配；
如果匹配成功，则选定匹配的特征数据头(选定特征数据头)；
如果匹配不成功，则通过机器学习的方式进行特征数据头提取训练：在多个有效数据包中反复进行监督学习，找出可能的特征数据头待选项，然后对找出的特征数据头待选项逐一进行正确性验证，直到提取成功，得到新的特征数据头(存入特征数据头仓库)，并选定该新的特征数据头(选定特征数据头)；
借助的选定特征数据头，在有效数据包中进行标定，排除非车牌数据段，定位车牌数据体在有效数据包中的偏移数值；
(4)、构建车牌提取算法并提取有效车牌数据
由选定特征数据头和车牌数据体的偏移数值共同构建车牌提取算法，通过已开启混杂模式的网卡持续从停车场网络中抓取数据包，通过构建的车牌提取算法进行车牌数据体实时提取，得到有效车牌数据。
本发明的发明目的是这样实现的：
本发明基于网络数据码流特征分析的车牌数据提取方法通过抓取网络数据包、滤取有效数据包获得来自停车场抓拍摄像机的有效数据包，再通过分析网络数据码流特征，得到选定特征数据头和车牌数据体的偏移数值，共同构建车牌提取算法，从而基于该车牌提取算法实现实时提取有效车牌数据。其中，选定特征数据头通过将特征数据头仓库中已有特征数据头逐一在有效数据包中进行匹配来实现，若数据头仓库中特征数据头匹配不成功，则通过机器学习的方式进行提取特征数据头训练来获得；车牌数据体的偏移数值则借助选定特征数据头在有效数据包中进行标定定位。这样采用通用流程和机器学习的方式，突破了停车场车辆牌照信息采集系统厂家(品牌)的制约，解决了车牌数据采集的通用性问题，实现了无需进行私有协议对接的车牌数据采集，将原来需要多方沟通、反复开发的高人力成本方式大幅优化，整个采集过程无须多方沟通，降低了开发成本、缩短了开发周期，易于采集、具备标准化和通用性的优点，可轻松实现广域范围的停车场联网采集，便于主管部门进行监管。
附图说明
图1是现有停车场车牌数据联网采集示意图；
图2是本发明基于网络数据码流特征分析的车牌数据提取方法一种具体实施方式流程图；
图3是本发明中分析网络数据码流特征的一种具体实施方式流程图；
图4是本发明中的停车场车牌数据联网采集示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图2是本发明基于网络数据码流特征分析的车牌数据提取方法一种具体实施方式流程图。
在本实施例中，如图2所示，本发明基于网络数据码流特征分析的车牌数据提取方法包括以下步骤：
步骤S1：抓取网络数据包
让停车场网络中包含有抓拍摄像机数据的复杂网络码流进入已开启混杂模式的网卡，对复杂网络码流进行全量数据复制抓包，根据停车场网络实际拓扑情况可采用串入方式或镜像方式抓包。
在具体实施过程中，网卡根据停车场网络实际拓扑情况可采用串入方式或镜像方式接入网络，通过PF_PACKET和SOCK_RAW创建套接字，监听所有协议类型，建立函数recvfrom(sockfd,pchRecvPack,iBufSize,0,(struct sockaddr*)&addr,&len)对全量数据进行复制抓包。
步骤S2：滤取有效数据包
以来自指定来源IP和端口、按照特定(用于车牌数据传输)的传输层通讯协议、发往指定的目标IP和端口进行条件约束，对抓取到的网络数据包进行过滤，获得仅包含车牌数据的有效数据包。
含有车牌数据的有效数据包具备来自指定来源IP和端口、按照特定的传输层通讯协议、发往指定的目标IP和端口这三个特征。按照实际(用于车牌数据传输)协议，选择TCP、UDP、ICMP等传输层通讯协议，以数据包的来源IP地址、来源port号、目标IP地址、目标port号作为参数进行条件约束，对对抓取到的网络数据包进行过滤，获得包含车牌数据的有效数据包，即获取到来自停车场抓拍摄像机的数据包即有效数据包。
步骤S3：分析网络数据码流特征
特征数据头是一组由16位十六进制数字组成的字串，各个厂家(品牌)的抓拍摄像机的特征数据头均不同且唯一，是构建车牌提取算法的基础。车牌数据体包括车辆牌照字符和车牌照片，是要提取的对象，特征数据头也是车牌数据体的起始标志位。因为有效数据包内还混杂有视频流、心跳信号、操作控制等大量其他数据，也有必要先确定特征数据头来定位车牌数据体。事先将一系列已知厂家(品牌)的特征数据头集合组成特征数据头仓库，从特征数据头仓库中逐一取出特征数据头，在有效数据包中进行匹配尝试，如果匹配成功即可选定为适用的特征数据头。在厂家未知情况下，则需要进行特征数据头训练，
分析网络数据码流特征的步骤为：
从已有的特征数据头仓库中逐一取出特征数据头在有效数据包中进行匹配；
如果匹配成功，则选定匹配的特征数据头(选定特征数据头)；
如果匹配不成功，则通过机器学习的方式进行特征数据头提取训练：在多个有效数据包中反复进行监督学习，找出可能的特征数据头待选项，然后对找出的特征数据头待选项逐一进行正确性验证，直到提取成功，得到新的特征数据头(存入特征数据头仓库)，并选定该新的特征数据头(选定特征数据头)；
借助的选定特征数据头，在有效数据包中进行标定，排除非车牌数据段，定位车牌数据体在有效数据包中的偏移数值。
具体实施流程如图3所示，具体包括以下步骤：
步骤S3.1:从已有特征数据头仓库中取出特征数据头在有效数据包中进行匹配；
步骤S3.2:判断是否匹配成功？如果匹配不成功，则进入步骤S3.3，匹配成功，则进入步骤S3.7；
步骤S3.3:判断特征数据头仓库还有没有未取出的特征数据头，如果有，则返回步骤S3.1，如果没有，则进入步骤S3.4；
步骤S3.4:进行特征数据头提取训练：在多个有效数据包中反复进行监督学习，找出特征数据头；
步骤S3.5:对找出的特征数据头进行正确性验证；
步骤S3.6:如果正确，则得到新的特征数据头，并存入特征数据头仓库，进入步骤S3.7，如果不正确，则返回步骤S3.4继续进行特征数据头提取训练；
步骤S3.7:选定匹配或获取的特征数据头；
步骤S3.8:借助的选定特征数据头，在有效数据包中进行标定，排除非车牌数据段，定位车牌数据体在有效数据包中的偏移数值。
若在特征数据头仓库中找不到能匹配成功的特征数据头，则判定为这是一个新的抓拍摄像机厂家，需要通过机器学习的方式进行提取特征数据头训练。因为停车场所在省份的车牌数据在有效数据包中出现概率最大，因此，在本实施例中，通过GPS或人工录入的方式获取停车场所在地信息，以停车场所在地的省份简称汉字、数据包头等关键特征字符的UTF8编码作为超级参数，在抓拍摄像机的有效数据包中进行监督学习。以天津牌照为例，“津”字的编码是bdf2，作为超级参数在多组数据包中反复尝试学习，逐渐逼近可能的特征数据头7e5a9805。对训练结果进行正确性验证，反复验证回归优化，直到成功提取出正确的特征数据头，并将之选定为可用特征数据头。
在本实施例中，定位车牌数据体在有效数据包中的偏移数值为：通过特征数据头在有效数据包中进行分段标定，排除掉有效数据包内的视频流、心跳信号、操作控制等无用数据，分拆出包含车牌数据体的独立数据单元，根据车牌字符数据和车牌图片数据格式特征字符，分别以ASCII模式和二进制模式在数据单元中进行搜索定位，确定车牌数据体在有效数据包中的偏移位置数值。
步骤S4:构建车牌提取算法并提取有效车牌数据
由选定特征数据头和车牌数据体的偏移数值共同构建车牌提取算法，通过已开启混杂模式的网卡持续从停车场网络中抓取数据包，通过构建的车牌提取算法进行车牌数据体实时提取，得到有效车牌数据。
图4是本发明中的停车场车牌数据联网采集示意图。
与现有的协议对接技术方式对比，如图4所示，本发明基于网络数据码流特征分析的车牌数据提取方法通过采用创新的通用流程和机器学习的方式，突破了停车场设备的厂家(品牌)制约，将原来需要多方沟通、反复开发的高人力成本方式大幅优化，整个采集过程无须多方沟通，降低成本、缩短周期、易于采集，具备标准化和通用性的优点，可轻松实现广域范围的停车场联网采集，便于主管部门进行监管。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于网络数据码流特征分析的车牌数据提取方法，其特征在于，包括以下步骤：
(1)、抓取网络数据包
让停车场网络中包含有抓拍摄像机数据的复杂网络码流进入已开启混杂模式的网卡，对复杂网络码流进行全量数据复制抓包，根据停车场网络实际拓扑情况可采用串入方式或镜像方式抓包；
(2)、滤取有效数据包
以来自指定来源IP和端口、按照特定(用于车牌数据传输)的传输层通讯协议、发往指定的目标IP和端口进行条件约束，对抓取到的网络数据包进行过滤，获得仅包含车牌数据的有效数据包；
(3)、分析网络数据码流特征
从已有的特征数据头仓库中逐一取出特征数据头在有效数据包中进行匹配；
如果匹配成功，则选定匹配的特征数据头(选定特征数据头)；
如果匹配不成功，则通过机器学习的方式进行特征数据头提取训练：在多个有效数据包中反复进行监督学习，找出可能的特征数据头待选项，然后对找出的特征数据头待选项逐一进行正确性验证，直到提取成功，得到新的特征数据头(存入特征数据头仓库)，并选定该新的特征数据头(选定特征数据头)；
借助的选定特征数据头，在有效数据包中进行标定，排除非车牌数据段，定位车牌数据体在有效数据包中的偏移数值；
(4)、构建车牌提取算法并提取有效车牌数据
由选定特征数据头和车牌数据体的偏移数值共同构建车牌提取算法，通过已开启混杂模式的网卡持续从停车场网络中抓取数据包，通过构建的车牌提取算法进行车牌数据体实时提取，得到有效车牌数据。
2.根据权利要求1所述的车牌数据提取方法，其特征在于，步骤(1)中所述的对复杂网络码流进行全量数据复制抓包为：通过PF_PACKET和SOCK_RAW创建套接字，监听所有协议类型，建立函数recvfrom(sockfd,pchRecvPack,iBufSize,0,(struct sockaddr*)&addr,&len)对全量数据进行复制抓包。
3.根据权利要求1所述的车牌数据提取方法，其特征在于，步骤(3)中所述的监督学习为：通过GPS或人工录入的方式获取停车场所在地信息，以停车场所在地的省份简称汉字、数据包头等关键特征字符的UTF8编码作为超级参数，在抓拍摄像机的有效数据包中进行监督学习。
4.根据权利要求1所述的车牌数据提取方法，其特征在于，步骤(3)中所述的定位车牌数据体在有效数据包中的偏移数值为：通过特征数据头在有效数据包中进行分段标定，排除掉有效数据包内的视频流、心跳信号、操作控制等无用数据，分拆出包含车牌数据体的独立数据单元，根据车牌字符数据和车牌图片数据格式特征字符，分别以ASCII模式和二进制模式在数据单元中进行搜索定位，确定车牌数据体在有效数据包中的偏移位置数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010547324.2A CN111694861B (zh) | 2020-06-16 | 2020-06-16 | 一种基于网络数据码流特征分析的车牌数据提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010547324.2A CN111694861B (zh) | 2020-06-16 | 2020-06-16 | 一种基于网络数据码流特征分析的车牌数据提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111694861A true CN111694861A (zh) | 2020-09-22 |
| CN111694861B CN111694861B (zh) | 2023-10-24 |
Family
ID=72481291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010547324.2A Active CN111694861B (zh) | 2020-06-16 | 2020-06-16 | 一种基于网络数据码流特征分析的车牌数据提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111694861B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113851013A (zh) * | 2021-08-06 | 2021-12-28 | 厦门识图科技有限公司 | 多停车场的车辆数据处理系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546625A (zh) * | 2011-12-31 | 2012-07-04 | 深圳市永达电子股份有限公司 | 半监督聚类集成的协议识别系统 |
| US20170300786A1 (en) * | 2015-10-01 | 2017-10-19 | Intelli-Vision | Methods and systems for accurately recognizing vehicle license plates |
| CN108877229A (zh) * | 2017-05-09 | 2018-11-23 | 深圳市赛菲姆科技有限公司 | 一种实现脱机收费的车牌识别摄像机及方法 |
| CN109887112A (zh) * | 2019-03-28 | 2019-06-14 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置及电子设备 |
| CN110362557A (zh) * | 2019-05-27 | 2019-10-22 | 华南理工大学 | 一种基于机器学习和车牌识别数据的缺失路径修复方法 |
| CN110555994A (zh) * | 2019-09-17 | 2019-12-10 | 南京瓦图信息技术有限公司 | 基于网络流量准确获取车辆进出数据的系统及其工作方法 |
-
2020
- 2020-06-16 CN CN202010547324.2A patent/CN111694861B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546625A (zh) * | 2011-12-31 | 2012-07-04 | 深圳市永达电子股份有限公司 | 半监督聚类集成的协议识别系统 |
| US20170300786A1 (en) * | 2015-10-01 | 2017-10-19 | Intelli-Vision | Methods and systems for accurately recognizing vehicle license plates |
| CN108877229A (zh) * | 2017-05-09 | 2018-11-23 | 深圳市赛菲姆科技有限公司 | 一种实现脱机收费的车牌识别摄像机及方法 |
| CN109887112A (zh) * | 2019-03-28 | 2019-06-14 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置及电子设备 |
| CN110362557A (zh) * | 2019-05-27 | 2019-10-22 | 华南理工大学 | 一种基于机器学习和车牌识别数据的缺失路径修复方法 |
| CN110555994A (zh) * | 2019-09-17 | 2019-12-10 | 南京瓦图信息技术有限公司 | 基于网络流量准确获取车辆进出数据的系统及其工作方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113851013A (zh) * | 2021-08-06 | 2021-12-28 | 厦门识图科技有限公司 | 多停车场的车辆数据处理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111694861B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111865815B (zh) | 一种基于联邦学习的流量分类方法及系统 | |
| CN110113345B (zh) | 一种基于物联网流量的资产自动发现的方法 | |
| CN112260861A (zh) | 一种基于流量感知的网络资产拓扑识别方法 | |
| CN111385297B (zh) | 无线设备指纹识别方法、系统、设备及可读存储介质 | |
| CN109995740A (zh) | 基于深度协议分析的威胁检测方法 | |
| CN107426059B (zh) | Dpi设备特征库自动更新方法、系统、dpi设备及云端服务器 | |
| CN109450733A (zh) | 一种基于机器学习的网络终端设备识别方法及系统 | |
| CN111885106A (zh) | 一种基于终端设备特征信息的物联网安全管控方法及系统 | |
| CN106803813B (zh) | 一种智能家居设备控制命令字段的识别方法 | |
| CN111694861A (zh) | 一种基于网络数据码流特征分析的车牌数据提取方法 | |
| CN112953928A (zh) | 一种视频监控前端设备的网络安全防护系统和方法 | |
| CN105656730A (zh) | 一种基于tcp数据包的网络应用快速发现方法和系统 | |
| CN113067810A (zh) | 网络抓包方法、装置、设备和介质 | |
| CN112183244A (zh) | 场景建立方法及装置、存储介质、电子装置 | |
| CN110138780B (zh) | 一种基于探针技术实现物联网终端威胁检测的方法 | |
| CN111478925B (zh) | 应用于工业控制环境的端口扫描检测方法、系统 | |
| CN112291226B (zh) | 一种网络流量的异常检测方法及装置 | |
| CN113824721B (zh) | 基于网络的信息处理方法及电子设备 | |
| CN111865724B (zh) | 视频监控设备信息采集控制实现方法 | |
| CN116107902A (zh) | 测试数据的回灌方法和装置、测试数据的回灌系统 | |
| CN111935069B (zh) | 一种基于时序的流量攻击可视化表征方法 | |
| CN113851013A (zh) | 多停车场的车辆数据处理系统及方法 | |
| CN114202817A (zh) | 一种etc无线电环境监测保障方法、系统、设备及介质 | |
| CN109962898B (zh) | 僵尸网络控制节点的检测方法及装置 | |
| CN110958200A (zh) | 一种基于无线电特征提取的无人机识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |