CN111932477B - 一种基于单线激光雷达点云的噪声去除方法及装置 - Google Patents
一种基于单线激光雷达点云的噪声去除方法及装置 Download PDFInfo
- Publication number
- CN111932477B CN111932477B CN202010788993.9A CN202010788993A CN111932477B CN 111932477 B CN111932477 B CN 111932477B CN 202010788993 A CN202010788993 A CN 202010788993A CN 111932477 B CN111932477 B CN 111932477B
- Authority
- CN
- China
- Prior art keywords
- points
- line
- ground
- vehicle
- laser scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于单线激光雷达点云的噪声去除方法及装置，该方法包括：根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点。通过该方案解决了现有高精度地图要素制作效率低的问题，可以自动识别出车辆噪声点，实现正负样本的自动挑选，降低要素的误检率，提高地图要素的制作效率。
Description
技术领域
本发明涉及高精度地图制作领域，尤其涉及一种基于单线激光雷达点云的噪声去除方法及装置。
背景技术
在高精度地图制作过程中，激光雷达点云作为高精度自动驾驶地图基础，其在采集过程中，会受到其他车辆的遮挡，导致点云数据中出现车辆噪声点和空洞，这样会影响部分要素的图像样本准确性及地图制作效率。
如对地图要素中隔离护栏样本进行制作时，通常是根据需求将点云数据等距离分割，而后进行侧视投影，若某一处被车辆遮挡，则该位置的图像样本属于负样本，在自动化制作样本时，由于正负样本是混合在一起的，在进行深度学习模型训练前，一般需要进行人工挑选，这样会大大降低地图要素的制作效率。
发明内容
有鉴于此，本发明实施例提供了一种基于单线激光雷达点云的噪声去除方法及装置，以解决现有地图要素制作效率低问题。
在本发明实施例的第一方面，提供了一种基于单线激光雷达点云的噪声去除方法，包括：
根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点。
在本发明实施例的第二方面，提供了一种基于单线激光雷达点云的噪声去除装置，包括：
构建模块，用于根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
检索模块，用于以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
判提取去除模块，用于根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，确定满足预定条件的聚类最大包围框中对应车辆噪点，并去除对应车辆噪点。通过该方案可以自动识别出原始点云中的车辆噪点，方便车辆噪声的剔除，进而实现正负样本的自动挑选，降低地图要素的误检率，提高道路要素的制作效率，节省人力物力成本，从而解决了现有地图要素制作效率低问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种基于单线激光雷达点云的噪声去除方法的流程示意图；
图2为本发明的一个实施例提供的一种基于单线激光雷达点云的噪声去除装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
请参阅图1，图1为本发明一个实施例提供的一种基于单线激光雷达点云的噪声去除方法的流程示意图，包括：
S101、根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
所述单线激光扫描线为单线激光雷达中激光发射器发出单线线束激光进行扫描，通过单线激光扫描点云，可以进行路面与非路面区分、对扫描分类以确定车辆噪声，基于单线激光雷达不仅可以简单方便实现车辆噪声提取，而实施成本低。
S102、以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
基于每条扫描线向轨迹线两侧(即垂直于车辆轨迹方向或垂直道路方向，由轨迹线或道路中心向两侧进行扫描)进行点云检索，以确定地面点云和非地面点云。
具体的，以单线激光扫描线为单位，分别向道路两侧检索路面点云，并记录每条扫描线在道路两侧的路面边界位置。
S103、根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点。
通过扫描线进行点云扫描可以确定路面(或地面)部分点云，基于扫描线地面长度可以进行扫描线分类，基于扫描线聚类可以进行车辆噪声区域大致划分，基于聚类最大包围框中所有点的粗糙度、地面点所占比例可以准确判定存在车辆噪声的最大包围框。
其中，满足预定条件的车辆噪点为分别将扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例与预设阈值进行比对，确定存在车辆噪声的最大包围框，所述车辆噪点一般为聚类最大包围框中非地面点。
具体的，计算每条单线激光扫描线的地面长度；计算所有单线激光扫描线地面长度的加权平均值；提取地面长度小于加权平均值的单线激光扫描线。
将扫描线地面长度作为第一判定条件进行扫描线分类。
进一步的，对地面长度小于加权平均值的单线激光扫描线进行聚类；提取聚类中单线激光扫描线数量大于第一阈值的聚类对象。
将聚类中扫描线数量作为第二判定条件，确定可能包含有车辆噪声的聚类对象。
进一步的，计算每个聚类对象对应的最大包围框；在原始点云数据中搜索每个最大包围框内的非地面点；计算最大包围框内所有点的粗糙度和地面点所占比例，当所有点的粗糙度大于第二阈值且地面点所占比例小于第三阈值，则当前最大包围框内非地面点为车辆噪点。
将聚类对象最大包围框中所有点的粗糙度和地面点占比作为第三判定条件，确定最大聚类包围框中是否存在车辆噪点，即将包围框内的非地面点作为车辆噪声点。
通过本实施例提供的方法，可自动识别出车辆噪声点，实现正负样本的自动挑选，能有效降低地图要素提取的误检率，提高地图要素的制作效率。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图2为本发明实施例提供的一种基于单线激光雷达点云的噪声去除装置的结构示意图，该装置包括：
构建模块210，用于根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
检索模块220，用于以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
具体的，所述以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云还包括：
以单线激光扫描线为单位，分别向道路两侧检索路面点云，并记录每条扫描线在道路两侧的路面边界位置。
提取去除模块230，用于根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点。
可选的，所述提取去除230模块包括第一提取单元，所述第一提取单元中包括:
第一计算子单元，计算每条单线激光扫描线的地面长度；
第二计算子单元，计算所有单线激光扫描线地面长度的加权平均值；
第一提取子单元，提取地面长度小于加权平均值的单线激光扫描线。
进一步的，提取去除230模块中包括第二提取单元，所述第二提取单元中包括：
聚类子单元，对地面长度小于加权平均值的单线激光扫描线进行聚类；
第二提取提取子单元，提取聚类中单线激光扫描线数量大于第一阈值的聚类对象。
进一步的，提取去除230模块中包括第三提取单元，所述第三提取单元中包括：
计算子单元，计算每个聚类对象对应的最大包围框；
搜索子单元，在原始点云数据中搜索每个最大包围框内的非地面点；
判定子单元，计算最大包围框内所有点的粗糙度和地面点所占比例，当所有点的粗糙度大于第二阈值且地面点所占比例小于第三阈值，则当前最大包围框内非地面点为车辆噪点。
可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序执行如实施例一中步骤S101～S103，处理器执行所述计算机程序时实现车辆噪声的提取去除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101～S103，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于单线激光雷达点云的噪声去除方法，其特征在于，包括：
根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点；
其中，所述根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点包括：
计算每条单线激光扫描线的地面长度；
计算所有单线激光扫描线地面长度的加权平均值；
提取地面长度小于加权平均值的单线激光扫描线；
对地面长度小于加权平均值的单线激光扫描线进行聚类；
提取聚类中单线激光扫描线数量大于第一阈值的聚类对象；
计算每个聚类对象对应的最大包围框；
在原始点云数据中搜索每个最大包围框内的非地面点；
计算最大包围框内所有点的粗糙度和地面点所占比例，当所有点的粗糙度大于第二阈值且地面点所占比例小于第三阈值，则当前最大包围框内非地面点为车辆噪点。
2.根据权利要求1所述的方法，其特征在于，所述以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云还包括：
以单线激光扫描线为单位，分别向道路两侧检索路面点云，并记录每条扫描线在道路两侧的路面边界位置。
3.一种基于单线激光雷达点云的噪声去除装置，其特征在于，包括：
构建模块，用于根据车辆的轨迹数据，构建带有索引值的单线激光扫描线；
检索模块，用于以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云；
提取去除模块，用于根据扫描线地面长度、扫描线聚类中扫描线的数量以及聚类最大包围框中所有点的粗糙度、地面点所占比例，提取满足预定条件的车辆噪点，并去除所述车辆噪点；
其中，所述提取去除模块包括第一提取单元、第二提取单元和第三提取单元，所述第一提取单元中包括:
第一计算子单元，计算每条单线激光扫描线的地面长度；
第二计算子单元，计算所有单线激光扫描线地面长度的加权平均值；
提取子单元，提取地面长度小于加权平均值的单线激光扫描线；
所述第二提取单元中包括：
聚类子单元，对地面长度小于加权平均值的单线激光扫描线进行聚类；
第二提取子单元，提取聚类中单线激光扫描线数量大于第一阈值的聚类对象；
所述第三提取单元中包括：
计算子单元，计算每个聚类对象对应的最大包围框；
搜索子单元，在原始点云数据中搜索每个最大包围框内的非地面点；
判定子单元，计算最大包围框内所有点的粗糙度和地面点所占比例，当所有点的粗糙度大于第二阈值且地面点所占比例小于第三阈值，则当前最大包围框内非地面点为车辆噪点。
4.根据权利要求3所述的装置，其特征在于，所述以单线激光扫描线为单位，由车辆轨迹线分别向道路两侧检索路面点云还包括：
以单线激光扫描线为单位，分别向道路两侧检索路面点云，并记录每条扫描线在道路两侧的路面边界位置。
5.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述基于单线激光雷达点云的噪声去除方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于单线激光雷达点云的噪声去除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010788993.9A CN111932477B (zh) | 2020-08-07 | 2020-08-07 | 一种基于单线激光雷达点云的噪声去除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010788993.9A CN111932477B (zh) | 2020-08-07 | 2020-08-07 | 一种基于单线激光雷达点云的噪声去除方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932477A CN111932477A (zh) | 2020-11-13 |
| CN111932477B true CN111932477B (zh) | 2023-02-07 |
Family
ID=73308021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010788993.9A Active CN111932477B (zh) | 2020-08-07 | 2020-08-07 | 一种基于单线激光雷达点云的噪声去除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932477B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763262A (zh) * | 2021-07-27 | 2021-12-07 | 华能伊敏煤电有限责任公司 | 自动驾驶矿卡车的点云数据中过滤车身技术的应用方法 |
| CN117392000B (zh) * | 2023-12-08 | 2024-03-08 | 吉咖智能机器人有限公司 | 一种噪点去除方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598541A (zh) * | 2019-08-05 | 2019-12-20 | 香港理工大学深圳研究院 | 一种提取道路边缘信息的方法及设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101702200B (zh) * | 2009-11-03 | 2012-02-29 | 武汉大学 | 一种机载激光雷达点云数据的自动分类方法 |
| KR20150037366A (ko) * | 2013-09-30 | 2015-04-08 | 삼성전자주식회사 | 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치 |
| CN103778429B (zh) * | 2014-01-24 | 2017-03-08 | 青岛秀山移动测量有限公司 | 一种车载激光扫描点云中道路信息自动提取方法 |
| CN104050473B (zh) * | 2014-05-20 | 2019-07-19 | 中国人民解放军理工大学 | 一种基于矩形邻域分析的道路数据提取方法 |
| CN105551016B (zh) * | 2015-12-02 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 一种基于激光点云的路沿识别方法及装置 |
| CN107918753B (zh) * | 2016-10-10 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 点云数据处理方法及装置 |
| JP2020507137A (ja) * | 2017-12-11 | 2020-03-05 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 車両周辺の物体を識別して測位するためのシステムおよび方法 |
| CN110361754B (zh) * | 2019-07-15 | 2021-07-16 | 武汉中海庭数据技术有限公司 | 一种基于激光点云数据的道路印刷体生长式聚类方法及装置 |
-
2020
- 2020-08-07 CN CN202010788993.9A patent/CN111932477B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598541A (zh) * | 2019-08-05 | 2019-12-20 | 香港理工大学深圳研究院 | 一种提取道路边缘信息的方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932477A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062517B (zh) | 基于车载激光点云的非结构化道路边界线自动提取方法 | |
| CN111192284B (zh) | 一种车载激光点云分割方法及系统 | |
| CN111932477B (zh) | 一种基于单线激光雷达点云的噪声去除方法及装置 | |
| CN105701478A (zh) | 杆状地物提取的方法和装置 | |
| CN112801022A (zh) | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 | |
| EP4120123A1 (en) | Scan line-based road point cloud extraction method | |
| CN114596555B (zh) | 障碍物点云数据筛选方法、装置、电子设备及存储介质 | |
| CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN109522852B (zh) | 基于光学遥感影像的人造目标检测方法、装置及设备 | |
| CN114722944A (zh) | 点云精度确定方法、电子设备及计算机存储介质 | |
| WO2023024241A1 (zh) | 一种基于激光雷达点云的小障碍物检测方法及装置 | |
| CN114882701A (zh) | 车位检测方法、装置、电子设备及机器可读存储介质 | |
| CN114638934A (zh) | 一种3D激光slam建图中动态障碍物的后处理方法 | |
| CN113496182B (zh) | 基于遥感影像的道路提取方法及装置、存储介质及设备 | |
| CN111881752A (zh) | 一种护栏检测分类方法、装置、电子设备及存储介质 | |
| CN111783648A (zh) | 道路点云中护栏的提取方法及装置 | |
| CN115436900A (zh) | 基于雷达图的目标检测方法、装置、设备和介质 | |
| CN114022857A (zh) | 一种杆状地物的提取分类方法、装置、设备和介质 | |
| CN112884026B (zh) | 一种图像识别辅助的输电线路激光LiDAR点云分类方法 | |
| CN114387293A (zh) | 道路边缘检测方法、装置、电子设备及车辆 | |
| CN114325678A (zh) | 障碍物检测方法、装置及服务器 | |
| CN109580979B (zh) | 基于视频处理的车速实时测量方法 | |
| CN114910881A (zh) | 一种负障碍物检测方法及其装置、车辆 | |
| Ding et al. | Comparison of several lane marking line recognition methods | |
| CN111191661A (zh) | 一种基于车载激光扫描数据的路灯要素提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |