CN115965855A - 一种提高托盘识别精度的方法及装置 - Google Patents
一种提高托盘识别精度的方法及装置 Download PDFInfo
- Publication number
- CN115965855A CN115965855A CN202310110509.0A CN202310110509A CN115965855A CN 115965855 A CN115965855 A CN 115965855A CN 202310110509 A CN202310110509 A CN 202310110509A CN 115965855 A CN115965855 A CN 115965855A
- Authority
- CN
- China
- Prior art keywords
- tray
- point cloud
- data
- improving
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种提高托盘识别精度的方法，S1：通过叉车上的相机传感器获取托盘的点云数据和图片数据；S2：通过神经网络对图片数据进行处理，并输出对应托盘的候选框区域；S3：得到托盘候选框区域内的托盘目标，将其从像素坐标系下映射到点云坐标系下，并对S1中的点云数据进行滤波处理；S4：对托盘点云进行位姿计算并发布，还公开了装置。本发明的有益效果是：通过神经网络对图片数据进行处理以及托盘候选框区域内的托盘目标从像素坐标系下映射到点云坐标系下，对点云数据进行滤波处理，避免了因光照太强导致相机点云发生畸变，从而保证了托盘识别的精度和稳定性，提高了插取托盘的工作效率。
Description
技术领域
本发明涉及托盘识别技术领域，特别是一种提高托盘识别精度的方法及装置。
背景技术
近些年来，随着科学技术的发展，机器人的应用越来越广泛，渗透在人们生活的方方面面。随着工业化4.0的推进，工业机器人托盘搬运车慢慢的映入人们的眼帘中。其中托盘搬运车的核心技术便是托盘识别算法，然而常规的托盘识别算法均是基于相机来进行识别的，但是相机会受到光照等因素的影响，这其中包括相机传感器中的图片数据源以及点云数据源等会受到光照等因素而发生形变。因此，托盘识别算法的精度也会受到光照因素的影响，在光照强烈的环境下，托盘识别的精度会受到严重的影响。经过发明人长期研究，发明了一种提高托盘识别精度的方法及装置。
发明内容
本发明的目的在于克服现有技术的缺点，提供一种提高托盘识别精度的方法及装置。
本发明的目的通过以下技术方案来实现：一种提高托盘识别精度的方法及装置，包括以下步骤：
S1：通过叉车上的相机传感器获取托盘的点云数据和图片数据；
S2：通过神经网络对图片数据进行处理，并输出对应托盘的候选框区域；
S3：得到托盘候选框区域内的托盘目标，将其从像素坐标系下映射到点云坐标系下，并对S1中的点云数据进行滤波处理；
S4：对托盘点云进行位姿计算并发布。
优选的，步骤S2中，通过对神经网络进行训练，网络训练的标签使用数据集中自有的数据标签来进行训练，得到预训练好的权重数据进行迁移学习。
优选的，步骤S3中，对点云数据进行直通滤波、体素滤波和颜色滤波。
优选的，步骤S4中，还包括以下步骤：
S41：对滤波后的点云数据进行聚类操作，得到托盘形状的点云；
S42：通过颜色滤波来辅助形状匹配，当识别出托盘形状与真实的托盘形状大小尺寸一致时，则识别成功，进行托盘位姿计算，否则重复步骤S1~步骤S3；
S43：通过托盘3个腿的点云数据，求解不同腿的点云的质心得到对应的空间坐标
、
和
，托盘中心点的坐标为
；并计算得到最终的偏转角度，计算方式为
；
通过托盘的最左边的腿的点云质心坐标
以及最右边的腿的点云质心坐标
，并通过两点的坐标来确定直线方程，求解直线方程的法向量来得到托盘位姿的角度，位姿发布给叉车控制器，
S44：叉车控制器接收到托盘位姿识别结果后，控制定位导航系统按目标点行驶，从而对托盘进行插取。
优选的，步骤S41中，通过常规的K-means对点云数据进行聚类。
一种装置，包括上述任意一项的一种提高托盘识别精度的方法，还包括防反光物件，防反光物件放置在托盘的下方。
本发明具有以下优点：本发明通过神经网络对图片数据进行处理以及托盘候选框区域内的托盘目标从像素坐标系下映射到点云坐标系下，对点云数据进行滤波处理，避免了因光照太强导致相机点云发生畸变，从而保证了托盘识别的精度和稳定性，提高了插取托盘的工作效率。
附图说明
图1 为识别精度的方法流程的结构示意图。
实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本实施例中，如图1所示，一种提高托盘识别精度的方法，包括以下步骤：
S1：通过叉车上的相机传感器获取托盘的点云数据和图片数据；
S2：通过神经网络对图片数据进行处理，并输出对应托盘的候选框区域；
S3：得到托盘候选框区域内的托盘目标，将其从像素坐标系下映射到点云坐标系下，并对S1中的点云数据进行滤波处理；
S4：对托盘点云进行位姿计算并发布。通过神经网络对图片数据进行处理以及托盘候选框区域内的托盘目标从像素坐标系下映射到点云坐标系下，对点云数据进行滤波处理，避免了因光照太强导致相机点云发生畸变，从而保证了托盘识别的精度和稳定性，提高了插取托盘的工作效率。
进一步的，步骤S2中，通过对神经网络进行训练，网络训练的标签使用数据集中自有的数据标签来进行训练，得到预训练好的权重数据进行迁移学习。具体地说，通过使用公开的COCO等数据集来对神经网络进行训练，网络训练的标签使用数据集中自有的数据标签来进行训练，从而得到预训练好的神经网络权重数据，该权重数据可用于后续托盘识别的增量训练，并通过预训练好的权重数据进行迁移学习，主要方法是：第一，自制托盘数据集，并通过现有的目标跟踪算法来制作神经网络标签，其目的是不用人工来一一来制作标签，减少了人力，每一个视频片段只需要进行一次人为的标注，以人为标注的目标来作为先验，后续均通过目标跟踪算法来进行自动跟踪人为标注的标签，从而达到自动化标注标签；第二，用自制的数据集和标签来对之前预训练好的神经网络进行增量训练和迁移学习，完成对神经网络的特征丰富，从而增强了神经网络的泛化性以及识别准确性，使得神经网络能够准确的识别出不同颜色的托盘，并输出对应托盘的候选框区域，通过候选框的方式来进行滤波能够对托盘的点云数据进行过滤，减少了人为设计过滤区域的难点以及工作量。
再进一步的，步骤S3中，对点云数据进行直通滤波、体素滤波和颜色滤波。具体地说，对点云数据进行直通滤波、体素滤波和颜色滤波的主要目的是过滤掉距离过远的点云以及高度高于托盘高度的点云，同时减少了点云数据的数量，减少了后续运算的计算量。在本实施例中，通过现有滤波算法对点云数据进行直通滤波、体素滤波和颜色滤波。
在本实施例中，步骤S4中，还包括以下步骤：
S41：对滤波后的点云数据进行聚类操作，得到托盘形状的点云；进一步的，步骤S41中，通过常规的K-means对点云数据进行聚类。具体地说，以空间中m个点为中心进行聚类，对最靠近他们的对象进行归类，逐次计算各类中心的值为新的中心值，迭代更新，直至类中心位置不再改变或者达到最大迭代次数，从而可以得到托盘形状的点云。在本实施例中，对滤波后的点云数据进行聚类操作是通过现有方法实现的，这里就不再赘述。
S42：通过颜色滤波来辅助形状匹配，当识别出托盘形状与真实的托盘形状大小尺寸一致时，则识别成功，进行托盘位姿计算，否则重复步骤S1~步骤S3；具体地说，为了减少点云形状的误匹配，通过颜色滤波来辅助形状匹配，从而增加匹配成功的概率和鲁棒性。
S43：通过托盘3个腿的点云数据，优选的，为了降低环境中的杂物的点云对于托盘识别的影响，采用半径滤波的方式对环境杂点进行滤除操作，从而得到高质量的托盘腿点云。求解不同腿的点云的质心得到对应的空间坐标
、
和
，托盘中心点的坐标为
；具体地说，质心的计算是通过对该腿部分的所有点云进行求平均的方式来得出。并计算得到最终的偏转角度，计算方式为
；通过托盘的最左边的腿的点云质心坐标
以及最右边的腿的点云质心坐标
，并通过两点的坐标来确定直线方程，求解直线方程的法向量来得到托盘位姿的角度，位姿发布给叉车控制器，具体地说，求解直线方程的法向量是通过现有方法得出，这里就不再进行赘述。
S44：叉车控制器接收到托盘位姿识别结果后，控制定位导航系统按目标点行驶，从而对托盘进行插取。
一种装置，包括上述任意一项的一种提高托盘识别精度的方法，还包括防反光物件，所述防反光物件放置在托盘的下方。具体地说，防反光物件的主要作用是降低光照对托盘识别的影响，防反光物件可以为纸板、木板、毯子、垫子、油漆和防反光涂料等，从而提高了托盘识别的精度和稳定性。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种提高托盘识别精度的方法，其特征在于：包括以下步骤：
S1：通过叉车上的相机传感器获取托盘的点云数据和图片数据；
S2：通过神经网络对图片数据进行处理，并输出对应托盘的候选框区域；
S3：得到托盘候选框区域内的托盘目标，将其从像素坐标系下映射到点云坐标系下，并对所述S1中的点云数据进行滤波处理；
S4：对托盘点云进行位姿计算并发布，通过对神经网络进行训练，网络训练的标签使用数据集中自有的数据标签来进行训练，得到预训练好的权重数据进行迁移学习。
2.根据权利要求1所述的一种提高托盘识别精度的方法，其特征在于：所述S3中，对点云数据进行直通滤波、体素滤波和颜色滤波。
3.根据权利要求2所述的一种提高托盘识别精度的方法，其特征在于：所述S4中，还包括以下步骤：
S41：对滤波后的点云数据进行聚类操作，得到托盘形状的点云；
S42：通过颜色滤波来辅助形状匹配，当识别出托盘形状与真实的托盘形状大小尺寸一致时，则识别成功，进行托盘位姿计算，否则重复所述S1~所述S3；
S43：通过托盘3个腿的点云数据，求解不同腿的点云的质心得到对应的空间坐标
、
和
，托盘中心点的坐标为
；并计算得到最终的偏转角度，计算方式为
；通过托盘的最左边的腿的点云质心坐标
以及最右边的腿的点云质心坐标
，并通过两点的坐标来确定直线方程，求解直线方程的法向量来得到托盘位姿的角度，位姿发布给叉车控制器；
S44：叉车控制器接收到托盘位姿识别结果后，控制定位导航系统按目标点行驶，从而对托盘进行插取。
4.根据权利要求3所述的一种提高托盘识别精度的方法，其特征在于：所述S41中，通过常规的K-means对点云数据进行聚类。
5.一种装置，其特征在于：包括权利要求1~4任意一项所述的一种提高托盘识别精度的方法，还包括防反光物件，所述防反光物件放置在托盘的下方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110509.0A CN115965855B (zh) | 2023-02-14 | 2023-02-14 | 一种提高托盘识别精度的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110509.0A CN115965855B (zh) | 2023-02-14 | 2023-02-14 | 一种提高托盘识别精度的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115965855A true CN115965855A (zh) | 2023-04-14 |
| CN115965855B CN115965855B (zh) | 2023-06-13 |
Family
ID=85888160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310110509.0A Active CN115965855B (zh) | 2023-02-14 | 2023-02-14 | 一种提高托盘识别精度的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115965855B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116383229A (zh) * | 2023-06-02 | 2023-07-04 | 未来机器人（深圳）有限公司 | 托盘识别方法、无人叉车及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
| CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
| CN112017240A (zh) * | 2020-08-18 | 2020-12-01 | 浙江大学 | 一种面向无人叉车的托盘识别定位方法 |
| CN113537096A (zh) * | 2021-07-21 | 2021-10-22 | 常熟理工学院 | 基于ros的agv叉车库位托盘识别及辅助定位方法及系统 |
| CN114821571A (zh) * | 2022-03-11 | 2022-07-29 | 天津四维向量科技有限公司 | 一种用于电力线缆识别和重建的点云处理方法 |
| CN114911226A (zh) * | 2021-10-08 | 2022-08-16 | 广东利元亨智能装备股份有限公司 | 搬运车行驶控制方法、装置及搬运车 |
| CN114972968A (zh) * | 2022-05-19 | 2022-08-30 | 长春市大众物流装配有限责任公司 | 基于多重神经网络的托盘识别和位姿估计方法 |
| US20220335688A1 (en) * | 2021-04-14 | 2022-10-20 | Lineage Logistics, LLC | Generating mappings of physical spaces from point cloud data |
| CN115600118A (zh) * | 2022-11-29 | 2023-01-13 | 山东亚历山大智能科技有限公司（Cn） | 基于二维激光点云的托盘腿识别方法及系统 |
| CN115661382A (zh) * | 2022-09-23 | 2023-01-31 | 广州南方卫星导航仪器有限公司 | 一种三维地貌重建中基于形态学模板保角的滤波方法 |
-
2023
- 2023-02-14 CN CN202310110509.0A patent/CN115965855B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
| CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
| CN112017240A (zh) * | 2020-08-18 | 2020-12-01 | 浙江大学 | 一种面向无人叉车的托盘识别定位方法 |
| US20220335688A1 (en) * | 2021-04-14 | 2022-10-20 | Lineage Logistics, LLC | Generating mappings of physical spaces from point cloud data |
| CN113537096A (zh) * | 2021-07-21 | 2021-10-22 | 常熟理工学院 | 基于ros的agv叉车库位托盘识别及辅助定位方法及系统 |
| CN114911226A (zh) * | 2021-10-08 | 2022-08-16 | 广东利元亨智能装备股份有限公司 | 搬运车行驶控制方法、装置及搬运车 |
| CN114821571A (zh) * | 2022-03-11 | 2022-07-29 | 天津四维向量科技有限公司 | 一种用于电力线缆识别和重建的点云处理方法 |
| CN114972968A (zh) * | 2022-05-19 | 2022-08-30 | 长春市大众物流装配有限责任公司 | 基于多重神经网络的托盘识别和位姿估计方法 |
| CN115661382A (zh) * | 2022-09-23 | 2023-01-31 | 广州南方卫星导航仪器有限公司 | 一种三维地貌重建中基于形态学模板保角的滤波方法 |
| CN115600118A (zh) * | 2022-11-29 | 2023-01-13 | 山东亚历山大智能科技有限公司（Cn） | 基于二维激光点云的托盘腿识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| EFTHIMIOS TSIOGAS等: "Pallet detection and docking strategy for autonomous pallet truck AGV operation", 《2021 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, pages 3444 - 3451 * |
| 徐斌等: "融合图像与点云处理的托盘定位系统", 《制造业自动化》, vol. 44, no. 8, pages 157 - 161 * |
| 陶满礼: "三维物体识别与定位及其在机器人仓采中的应用", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 04, pages 138 - 752 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116383229A (zh) * | 2023-06-02 | 2023-07-04 | 未来机器人（深圳）有限公司 | 托盘识别方法、无人叉车及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115965855B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109357630B (zh) | 一种多类型工件批量视觉测量系统及方法 | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN111640157B (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| AU2019100886A4 (en) | Plant organ image separation method and system | |
| CN115965855A (zh) | 一种提高托盘识别精度的方法及装置 | |
| CN111562791B (zh) | 一种无人机合作目标识别视觉辅助着陆的系统及方法 | |
| CN110490936A (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
| CN111553949A (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
| CN103440643A (zh) | 一种单线阵摄像机标定方法 | |
| CN112488207B (zh) | 一种基于仿真图像的高相似度零件视觉识别方法及系统 | |
| CN117291918B (zh) | 一种基于三维点云的汽车冲压件缺陷检测方法 | |
| CN111160280B (zh) | 基于rgbd相机的目标物体识别与定位方法及移动机器人 | |
| CN111127417A (zh) | 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法 | |
| CN112700537A (zh) | 轮胎的点云构建方法、装配方法、控制装置、存储介质 | |
| CN111462310B (zh) | 一种基于多视几何的螺栓缺陷空间定位方法 | |
| CN113220924A (zh) | 一种产品型号视觉识别方法及视觉识别系统 | |
| CN114663457A (zh) | 复杂背景下基于圆形卷积核的纱筒识别方法及系统 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN114495109A (zh) | 基于目标与场景文字匹配的抓取机器人及抓取方法和系统 | |
| CN117589145A (zh) | 一种基于远距二维码的地图创建方法及系统 | |
| CN116843618A (zh) | 一种金属零件浅显外观缺陷检测方法 | |
| CN113591548B (zh) | 靶环识别方法及系统 | |
| CN111091086B (zh) | 一种利用机器视觉技术提高物流面单特征信息识别率的方法 | |
| CN115235505A (zh) | 一种基于非线性优化的视觉里程计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |