CN111189449B - 一种机器人地图构建方法 - Google Patents
一种机器人地图构建方法 Download PDFInfo
- Publication number
- CN111189449B CN111189449B CN202010069031.8A CN202010069031A CN111189449B CN 111189449 B CN111189449 B CN 111189449B CN 202010069031 A CN202010069031 A CN 202010069031A CN 111189449 B CN111189449 B CN 111189449B
- Authority
- CN
- China
- Prior art keywords
- map
- frame
- robot
- data
- laser data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种机器人地图构建方法，包括如下步骤：1、机器人会在人手动控制的情况下进行数据采集；机器人获取第一帧激光数据和对应时刻的imu数据；2、根据第一帧的imu获取到的的姿态角数据将第一帧激光数据矫正到重力坐标系下，并用矫正后的激光数据创建点云地图；同时对校正后的激光数据截取5米范围与机器人车身高度内的点云，投影到2d平面，初始化可视化地图；3、机器人获取第二帧激光数据以及在一二帧之间的多帧imu数据、多帧轮速计数据；本发明能够通过多种传感器检测数据相融合的方法准确对机器人进行精确定位，保证机器人定位的准确性，并能实时的构建定位地图、可视化地图、导航地图。
Description
技术领域
本发明涉及机器人技术领域，尤其是涉及一种机器人地图构建方法。
背景技术
随着人工智能技术和计算机技术的发展，自动驾驶技术日渐成熟。自动驾驶车辆能够高效利用交通资源，缓解交通拥堵、减少碳排放，自动驾驶技术近年来发展迅速，自动驾驶技术也是近年的热点话题。自动驾驶技术已经逐渐走进人们的日常生活，潜移默化的改变着人们的出行方式。自动驾驶技术在军用及民用上均具有巨大的应用前景。军用上，它不仅能够作为无人运输平台，还能用作无人爆破车、无人作战平台、无人巡逻与监视车辆等；民用中，除了为人类生活带来便捷之外，还能够降低交通事故发生率与提高道路通行效率。
自动驾驶技术可分为感知、定位、规划及控制四大模块。感知及定位模块相当于人类眼睛及耳朵，通过接收外界信息源来获取自身及周围目标相关信息；规划模块相当于人类大脑，通过分析自身及目标信号来做出任务、行为决策及运动规划；控制模块类似于人类手脚，执行上层的运动规划信号。
然而，但是现有的定位技术不够精确，在驾驶过程中经常出现车辆在当前车道行驶，却定位在旁边车道的现象，定位的不准确将导致行为决策及运动规划的错误，从而导致车辆在自动行驶过程中的安全性较差问题。
发明内容
本发明的目的是提供一种机器人地图构建方法，能够通过多种传感器检测数据相融合的方法准确对机器人进行精确定位，保证机器人定位的准确性，并且根据机器人的精确的位置实时加载地图信息，使机器人能够准确进行决策及运动规划，从而保证机器人在自动驾驶过程中的安全性。
为实现上述目的，本发明提供一种机器人地图构建方法，包括如下步骤：
步骤(1)、机器人会在人手动控制的情况下进行数据采集；在开始阶段，机器人获取第一帧激光数据和对应时刻的imu数据；
步骤(2)、由于机器人的摆放位置或者地面的平整度不一样，因此将根据第一帧的imu获取到的的姿态角数据将第一帧激光数据矫正到重力坐标系下，并用矫正后的激光数据创建点云地图；同时对校正后的激光数据截取5米范围与机器人车身高度内的点云，投影到2d平面，初始化可视化地图；
步骤(3)、机器人获取第二帧激光数据以及在一二帧之间的多帧imu数据、多帧轮速计数据；根据imu数据的加速度信息、角速度信息与轮速计的线速度信息预测第二帧激光数据的先验位置；预测是指通过对多帧imu数据中的角速度信息积分获得角度，通过对多帧imu数据中的加速度信息与轮速计的线速度积分获得位移量。将获得的角度与位移量作为作为第二帧激光数据的先验位置；先验位置是指通过imu和轮速计预测的位置；
步骤(4)、结合第二帧数据的先验位置、第二帧激光数据、点云地图，通过算法进行匹配，获得第二帧激光数据的后验位置；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；后验位置是指通过激光数据与点云地图匹配后的位置；
步骤(5)、根据步骤3和步骤4以此类推，获取后续每一帧激光数据的后验位置；若后续后验位置与点云地图中最新加入的一帧激光数据的后验位置相差超过一个固定的距离或者一个固定的旋转角，则在点云地图中加入该帧激光数据；
步骤(6)、每次点云地图更新，对应的可视化地图也会更新；更新方法是将新增的点云数据截取5米范围与机器人车身高度内的点云，投影到原先的可视化地图中，生成新的可视化地图；
步骤(7)、在结束上述建图步骤后，将自动生成导航地图，导航地图为2d栅格占用地图，设置黑色区域不可通行、白色区域可通行；
导航地图的生成方法是：先创建和可视化地图一样尺寸的2D图片，并全部设置为黑色。再根据每一帧激光数据的位置、激光雷达和机器人车身的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色。最后将擦除后的图片保存下来，即为导航地图。
作为优选地，对步骤(7)中生成的导航地图进行辅助修正：
首先载入定位地图，并手动指定机器人所在的位置和朝向；算法根据输入的信息与激光数据自动完成机器人的定位；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；
操作员遥控机器人在工作区域，沿着边角行走；此时算法将自动更新导航地图，将机器人走过的正投影区域设置为白色，即可通行区域。此步骤中的算法是指根据每一帧激光数据的位置、激光雷达和机器人车体的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色。
作为优选地，对步骤(7)中生成的导航地图进行编辑、撤销及保存操作：
1、对2d栅格占用地图中黑色区域进行擦除或者增加；
2、可以撤销上一步骤的编辑操作；
3、对编辑好的导航地图进行保存。
与现有技术相比，本发明具有如下有益效果：
本发明能够通过多种传感器检测数据相融合的方法准确对机器人进行精确定位，保证机器人定位的准确性，并能实时的构建定位地图、可视化地图、导航地图。注意此步骤是在机器人端完成的，而非云端。
在地图构建的过程中分为初步构建地图与后期修改导航地图两个步骤，对于现场部署人员较为友好，不需要连接服务器即可在本地端完成部署。对于一些网络不稳定区域、场景保密的区域等都能保证信息的安全性。这种模式也具有很好的复制效益，操作员只需要经过简单的培训即可单人操作。
附图说明
图1是本发明中主要流程步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种机器人地图构建方法的具体实施例，应用于服务器或单体机器人，其中单体机器人可理解为具有遥控、感知功能的运动车辆，装备有激光雷达、惯性测量单元(imu)、轮速计的移动机器人。
其中，激光雷达可以是多线激光雷达也可以是单线激光雷达，也可以由多台激光雷达组成的综合体，主要用于提供环境的稠密点云测距数据。惯性测量单元(imu)可用于测量加速度、角速度、姿态角等，可以设置在与激光雷达任何刚性连接的位置。轮速计为测量车身轮子运动的装置，也可以是测量转向机构与动力机构的装置，用于提供机器人车身的位移累计信息，也可以获得瞬时速率与瞬时角速度。机器人依赖点云地图、导航地图，在建图过程中人需要可视化地图。因此本发明集合了三种地图，可以在一次地图构建的过程中全部完成。并提供了一种辅助修正导航地图方法。还提供了一种后处理工具，可用于完善导航地图。
如图1所示，地图构建的步骤具体如下：
步骤(1)、机器人会在人手动控制的情况下进行数据采集；在开始阶段，机器人获取第一帧激光数据和对应时刻的imu数据；
步骤(2)、由于机器人的摆放位置或者地面的平整度不一样，因此将根据第一帧的imu获取到的的姿态角数据将第一帧激光数据矫正到重力坐标系下，并用矫正后的激光数据创建点云地图；同时对校正后的激光数据截取5米范围与机器人车身高度内的点云，投影到2d平面，初始化可视化地图；
步骤(3)、机器人获取第二帧激光数据以及在一二帧之间的多帧imu数据、多帧轮速计数据；根据imu数据的加速度信息、角速度信息与轮速计的线速度信息预测第二帧激光数据的先验位置；预测是指通过对多帧imu数据中的角速度信息积分获得角度，通过对多帧imu数据中的加速度信息与轮速计的线速度积分获得位移量。将获得的角度与位移量作为作为第二帧激光数据的先验位置；先验位置是指通过imu和轮速计预测的位置；
步骤(4)、结合第二帧数据的先验位置、第二帧激光数据、点云地图，通过算法进行匹配，获得第二帧激光数据的后验位置；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；后验位置是指通过激光数据与点云地图匹配后的位置；
步骤(5)、根据步骤3和步骤4以此类推，获取后续每一帧激光数据的后验位置；若后续后验位置与点云地图中最新加入的一帧激光数据的后验位置相差超过一个固定的距离或者一个固定的旋转角，则在点云地图中加入该帧激光数据；
步骤(6)、每次点云地图更新，对应的可视化地图也会更新；更新方法是将新增的点云数据截取5米范围与机器人车身高度内的点云，投影到原先的可视化地图中，生成新的可视化地图；
步骤(7)、在结束上述建图步骤后，将自动生成导航地图，导航地图为2d栅格占用地图，设置黑色区域不可通行、白色区域可通行；
导航地图的生成方法是：先创建和可视化地图一样尺寸的2D图片，并全部设置为黑色。再根据每一帧激光数据的位置、激光雷达和机器人车身的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色。最后将擦除后的图片保存下来，即为导航地图。
其中，对步骤(7)中生成的导航地图进行辅助修正，如下修正流程：
首先载入定位地图，并手动指定机器人所在的位置和朝向；算法根据输入的信息与激光数据自动完成机器人的定位；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；
操作员遥控机器人在工作区域，沿着边角行走；此时算法将自动更新导航地图，将机器人走过的正投影区域设置为白色，即可通行区域。此步骤中的算法是指根据每一帧激光数据的位置、激光雷达和机器人车体的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色。
另外，对步骤(7)中生成的导航地图进行编辑、撤销及保存操作，如操作下流程：
在导航地图编辑模式下，操作员可通过橡皮擦擦除黑色区域，也可以通过画笔增加黑色区域。同时可以用油漆桶工具，对闭合的黑色区域进行整块擦除；
操作员在对导航地图进行修正的过程中可以撤销上一步操作；
操作员可保存编辑好的导航地图。
本发明能够通过多种传感器检测数据相融合的方法准确对机器人进行精确定位，保证机器人定位的准确性，并能实时的构建定位地图、可视化地图、导航地图。注意此步骤是在机器人端完成的，而非云端。
在地图构建的过程中分为初步构建地图与后期修改导航地图两个步骤，对于现场部署人员较为友好，不需要连接服务器即可在本地端完成部署。对于一些网络不稳定区域、场景保密的区域等都能保证信息的安全性。这种模式也具有很好的复制效益，操作员只需要经过简单的培训即可单人操作。
上述实施例是本发明较佳的实施方式，但是本发明的实施方式不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (3)
1.一种机器人地图构建方法，其特征在于，包括如下步骤：
步骤(1)、机器人会在人手动控制的情况下进行数据采集；在开始阶段，机器人获取第一帧激光数据和对应时刻的imu数据；
步骤(2)、由于机器人的摆放位置或者地面的平整度不一样，因此将根据第一帧的imu获取到的的姿态角数据将第一帧激光数据矫正到重力坐标系下，并用矫正后的激光数据创建点云地图；同时对校正后的激光数据截取5米范围与机器人车身高度内的点云，投影到2d平面，初始化可视化地图；
步骤(3)、机器人获取第二帧激光数据以及在一二帧之间的多帧imu数据、多帧轮速计数据；根据imu数据的加速度信息、角速度信息与轮速计的线速度信息预测第二帧激光数据的先验位置；预测是指通过对多帧imu数据中的角速度信息积分获得角度，通过对多帧imu数据中的加速度信息与轮速计的线速度积分获得位移量；将获得的角度与位移量作为作为第二帧激光数据的先验位置；先验位置是指通过imu和轮速计预测的位置；
步骤(4)、结合第二帧数据的先验位置、第二帧激光数据、点云地图，通过算法进行匹配，获得第二帧激光数据的后验位置；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；后验位置是指通过激光数据与点云地图匹配后的位置；
步骤(5)、根据步骤3和步骤4以此类推，获取后续每一帧激光数据的后验位置；若后续后验位置与点云地图中最新加入的一帧激光数据的后验位置相差超过一个固定的距离或者一个固定的旋转角，则在点云地图中加入该帧激光数据；
步骤(6)、每次点云地图更新，对应的可视化地图也会更新；更新方法是将新增的点云数据截取5米范围与机器人车身高度内的点云，投影到原先的可视化地图中，生成新的可视化地图；
步骤(7)、在结束上述建图步骤后，将自动生成导航地图，导航地图为2d栅格占用地图，设置黑色区域不可通行、白色区域可通行；
导航地图的生成方法是：先创建和可视化地图一样尺寸的2D图片，并全部设置为黑色；再根据每一帧激光数据的位置、激光雷达和机器人车身的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色；最后将擦除后的图片保存下来，即为导航地图。
2.根据权利要求1中所述的一种机器人地图构建方法，其特征在于，对步骤(7)中生成的导航地图进行辅助修正：
首先载入定位地图，并手动指定机器人所在的位置和朝向；算法根据输入的信息与激光数据自动完成机器人的定位；此步骤中的算法是采用正态分布变换算法或基于角点平面点的最小二乘算法；
操作员遥控机器人在工作区域，沿着边角行走；此时算法将自动更新导航地图，将机器人走过的正投影区域设置为白色，即可通行区域；此步骤中的算法是指根据每一帧激光数据的位置、激光雷达和机器人车体的位置关系、机器人车身物理尺寸，自动擦除地图中机器人走过的正投影区域，擦除是指将黑色栅格设置为白色。
3.根据权利要求1中所述的一种机器人地图构建方法，其特征在于，对步骤(7)中生成的导航地图进行编辑、撤销及保存操作：
1、对2d栅格占用地图中黑色区域进行擦除或者增加；
2、可以撤销上一步骤的编辑操作；
3、对编辑好的导航地图进行保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069031.8A CN111189449B (zh) | 2020-01-21 | 2020-01-21 | 一种机器人地图构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069031.8A CN111189449B (zh) | 2020-01-21 | 2020-01-21 | 一种机器人地图构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111189449A CN111189449A (zh) | 2020-05-22 |
| CN111189449B true CN111189449B (zh) | 2023-04-25 |
Family
ID=70708779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010069031.8A Active CN111189449B (zh) | 2020-01-21 | 2020-01-21 | 一种机器人地图构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111189449B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112946681B (zh) * | 2021-05-17 | 2021-08-17 | 知行汽车科技（苏州）有限公司 | 融合组合导航信息的激光雷达定位方法 |
| CN114754762A (zh) * | 2022-04-14 | 2022-07-15 | 中国第一汽车股份有限公司 | 地图的处理方法、装置 |
| CN116929338B (zh) * | 2023-09-15 | 2024-01-09 | 深圳市智绘科技有限公司 | 地图构建方法、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934920A (zh) * | 2019-05-20 | 2019-06-25 | 奥特酷智能科技(南京)有限公司 | 基于低成本设备的高精度三维点云地图构建方法 |
| CN110109134A (zh) * | 2019-05-05 | 2019-08-09 | 桂林电子科技大学 | 一种基于2d激光雷达测距的折线提取极大似然估计的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9384394B2 (en) * | 2013-10-31 | 2016-07-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method for generating accurate lane level maps |
| US10807236B2 (en) * | 2018-04-30 | 2020-10-20 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for multimodal mapping and localization |
| CN109064506B (zh) * | 2018-07-04 | 2020-03-13 | 百度在线网络技术（北京）有限公司 | 高精度地图生成方法、装置及存储介质 |
-
2020
- 2020-01-21 CN CN202010069031.8A patent/CN111189449B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109134A (zh) * | 2019-05-05 | 2019-08-09 | 桂林电子科技大学 | 一种基于2d激光雷达测距的折线提取极大似然估计的方法 |
| CN109934920A (zh) * | 2019-05-20 | 2019-06-25 | 奥特酷智能科技(南京)有限公司 | 基于低成本设备的高精度三维点云地图构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 纪嘉文等.一种基于多传感融合的室内建图和定位算法.《成都信息工程大学学报》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111189449A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107246868B (zh) | 一种协同导航定位系统及导航定位方法 | |
| CN111189449B (zh) | 一种机器人地图构建方法 | |
| US11009884B2 (en) | Method for calculating nominal vehicle paths for lanes within a geographic region | |
| CN109669401B (zh) | 无人飞行器辅助的工地数据获取 | |
| Siebert et al. | Mobile 3D mapping for surveying earthwork projects using an Unmanned Aerial Vehicle (UAV) system | |
| CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
| US9378554B2 (en) | Real-time range map generation | |
| CN106796112B (zh) | 检测车辆控制设备、控制方法和计算机程序 | |
| CN109901625B (zh) | 一种桥梁巡检系统 | |
| CN111652952B (zh) | 车道线生成方法、装置、计算机设备和存储介质 | |
| CN112518739B (zh) | 履带式底盘机器人侦察智能化自主导航方法 | |
| CN112461227B (zh) | 轮式底盘机器人巡检智能化自主导航方法 | |
| CN108958250A (zh) | 多传感器移动平台及基于已知地图的导航与避障方法 | |
| CN106030430A (zh) | 用于使用旋翼微型航空载具（mav）在室内和室外环境中的稳健的自主飞行的多传感器融合 | |
| CN105867404A (zh) | 一种无人机测量土石方的设备及方法 | |
| CN113050685B (zh) | 一种煤矿井下无人机自主巡检的方法 | |
| CN111006646A (zh) | 基于无人机倾斜摄影测量技术实现施工进度监测的方法 | |
| CN114003997B (zh) | 一种BIM与Vissim融合的施工交通组织三维仿真模拟方法 | |
| Baril et al. | Kilometer-scale autonomous navigation in subarctic forests: challenges and lessons learned | |
| US20190283760A1 (en) | Determining vehicle slope and uses thereof | |
| CN103886208A (zh) | 一种高分辨率光学卫星机动成像偏流角修正方法 | |
| CN110645960A (zh) | 测距方法、地形跟随测距方法、避障测距方法及装置 | |
| EP3757512A1 (en) | Aircraft imaging system using projected patterns on featureless surfaces | |
| AU2021448614A9 (en) | Precise stopping system and method for multi-axis flatbed vehicle | |
| CN101762269A (zh) | 无控制点地区地形图低空测图技术和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |