CN110910498A - 一种利用激光雷达和双目相机构建栅格地图的方法 - Google Patents
一种利用激光雷达和双目相机构建栅格地图的方法 Download PDFInfo
- Publication number
- CN110910498A CN110910498A CN201911146114.6A CN201911146114A CN110910498A CN 110910498 A CN110910498 A CN 110910498A CN 201911146114 A CN201911146114 A CN 201911146114A CN 110910498 A CN110910498 A CN 110910498A
- Authority
- CN
- China
- Prior art keywords
- grid
- edge
- depth
- binocular camera
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利用激光雷达和双目相机构建栅格地图的方法,属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准,从硬件的层次提升系统效率。利用GPU构建高性能运算平台,并构建高性能求解算法构建栅格地图。系统容易构建,程序简单,易于实现;利用激光雷达和双目相机使得算法鲁棒性强精度高。
Description
技术领域
本发明属于图像处理和计算机视觉领域。利用激光雷达和双目相机的特性,相互弥补缺陷,使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。
背景技术
近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注,而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图,因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器,双目相机,深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点,双目相机受光照和纹理影响大,深度相机测距范围有限。抗干扰能力差,激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。本发明提出使用双目相机和雷达数据融合方案构建精度的栅格地图。使用双目相机的稠密数据填充雷达的稀疏数据,使用雷达的精确数据修正双目相机的粗略数据,最终构建可较好反映场景视差图,然后可利用生成的视差图构建栅格地图。这种方案中存在两个难点,一是如何标定传感器位姿和时间延迟,为了提升鲁棒性发明中使用最大点云配准和分段位姿对齐的方式,二是不同精度传感器融合后如何确定数据精度,发明中使用场景边缘指导数据精度计算。
发明内容
针对现有技术中存在的问题,本发明提供了一种利用激光雷达和双目相机构建栅格地图的方法。具体技术方案的步骤如下:
1)传感器配准
传感器配准旨在标定传感器位姿,在硬件层次减少软件的计算量提升系统执行效率。采用标定物对传感器进行标定,设激光雷达视差图换算的点云为Pl,双目相机的点云为Ps;当位姿为T时要使点对满足且点对的数量达到最大得出标定结果为T;
分别计算激光雷达点云序列和双目相机点云序列的位姿,将位姿数据分成n段,分别进行位姿对齐得到时间偏移t1…tn,取均值t为传感器的时间偏移。配准后的激光雷达和双目相机是时域和空间域上得到了配准。
2)视差融合
经过位姿T配准后得到激光雷达和双目相机产生的两个视差图Dl和Ds,如果在时间偏移t内。因为传感器性质Dl比Ds更加稀疏。所以可以相互补偿,利用Dl使Ds更精准,利用Ds使Dl更稠密。具体做法为取和之间的所有利用和其对应的场景检查边缘情况。如果不存在边缘则应该更加平滑,并且在两侧应该趋向于和如果存在边缘则边缘区域应该更明显,并且在两侧应该趋向于和视差图融合结果为Df。然后计算视差图Df的精度,设Dl的精度为dl,Ds的精度为ds。融合后视差图Df的精度为df。
3)筛选视线
由视差图Df变换得到点云Pf,对点云进行筛选;连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′;从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影;
4)更新栅格状态
由视差值的精度df当前的栅格状态计算,并使用贝叶斯推断的方式更新栅格状态。具体指的是在已知栅格已有的状态和本次测量的栅格状态,用贝叶斯推断的方式可得出本次测量后的栅格状态。首先计算当前的栅格状态,Df转换为深度为Depthf,Df+df转换为深度为depthf,由精度df计算Depthf的准确性w=|Depthf-depthf|/Depthf;然后进行状态更新,设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-w+xt;如果栅格在Q的位置说明此时栅格中应该存在障碍物,则更新栅格的状态为xt+1=w+xt;
步骤1)~4)中ε、n和h为设定阈值。
进一步地,上述步骤2)利用双目相机的场景图和视差图提取场景边缘,场景边缘将用于指导视差图融合;
本发明的有益效果是:
本发明设计了一种利用激光雷达和双目相机构建栅格地图的方法。利用激光雷达和双目相机的特性,相互弥补缺陷,使得构建栅格地图更精细更准确。具有以下特点:
1、程序简单,易于实现;
2、算法效率高,实时性强;
3、构建栅格地图更精细更准确。
附图说明
图1是系统架构。
图2是传感器配准的算法流程。
图3是传感器融合构建栅格地图的算法流程。
图4是Kitti数据集双目相机的场景图。
图5是Kitti数据集场景图生成的视差图。
图6是Kitti数据集激光雷达数据。
图7是构建的栅格地图。
具体实施方式
本发明提出了一种利用激光雷达和双目相机构建栅格地图方法,结合附图及实施例详细说明如下:
总体流程如图1,首先由传感器获得视差图Dl和Ds,如图5,然后利用标定结果完成视差融合,并构建栅格地图,最后显示。本发明所述的方法包括下列步骤:
1)传感器配准
如图2上部标定时间偏移。分别计算激光雷达点云序列P1…Pi和双目相机点云序列P1…Pj的位姿为T1…Ti和T1…Tj。将位姿数据分成n段,分别进行位姿对齐得到时间偏移t1…tn,统计时间偏移序列的均值t。配准后的激光雷达和双目相机是时域和空间域上得到了配准。
图3为传感器融合构建栅格地图的算法流程,涉及到2)3)4)步骤
2)视差融合
如图3上部利用双目相机的场景图如图4和视差图如图5提取场景边缘,场景边缘将用于指导视差图融合。
如图3下部如果激光雷达和双目相机产生的两个用位姿T配准的视差图Dl和Ds在时间偏移t内,则进行融合。因为传感器性质Dl比Ds更加稀疏,取和之间的所有利用和其对应的场景检查边缘情况。如果不存在边缘则应该更加平滑,并且在两侧应该趋向于和如果存在边缘则边缘区域应该更明显,并且在两侧应该趋向于和视差图融合结果为Df。
3)筛选视线
如图3不是所有的三维点都会参与栅格状态的更新。由视差图Df变换得到点云Pf,对点云进行筛选。连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影。
4)测量值融合
如图3最后进入更新阶段。首先计算当前的栅格状态,Df转换为深度为Depthf,Df+df转换为深度为depthf,由精度df计算Depthf的准确性w=|Depthf-depthf|/Depthf。然后进行状态更新,设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-w+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物,则更新栅格的状态为xt+1=w+xt。栅格地图的预期可视化效果如图7示意。
Claims (2)
1.一种利用激光雷达和双目相机构建栅格地图的方法,其特征在于,包括以下步骤:
1)传感器配准
分别计算激光雷达点云序列和双目相机点云序列的位姿,将位姿数据分成n段,分别进行位姿对齐得到时间偏移t1…tn,取均值t为传感器的时间偏移;
2)视差融合
位姿T配准后得到激光雷达和双目相机产生的两个视差图Dl和Ds,如果在时间偏移t内,利用Dl使Ds更精准,利用Ds使Dl更稠密,融合结果为Df,精度为df;
3)筛选视线
由视差图Df变换得到点云Pf,对点云进行筛选;连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′;从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影;
4)更新栅格状态
首先计算当前的栅格状态,Df转换为深度为Depthf,Df+df转换为深度为depthf,由精度df计算Depthf的准确性w=|Depthf-depthf|/Depthf;然后进行状态更新,设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-w+xt;如果栅格在Q的位置说明此时栅格中应该存在障碍物,则更新栅格的状态为xt+1=w+xt;
步骤1)~4)中ε、n和h为设定阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911146114.6A CN110910498B (zh) | 2019-11-21 | 2019-11-21 | 一种利用激光雷达和双目相机构建栅格地图的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911146114.6A CN110910498B (zh) | 2019-11-21 | 2019-11-21 | 一种利用激光雷达和双目相机构建栅格地图的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110910498A true CN110910498A (zh) | 2020-03-24 |
CN110910498B CN110910498B (zh) | 2021-07-02 |
Family
ID=69818307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911146114.6A Active CN110910498B (zh) | 2019-11-21 | 2019-11-21 | 一种利用激光雷达和双目相机构建栅格地图的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910498B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
CN111547156A (zh) * | 2020-05-14 | 2020-08-18 | 福勤智能科技(昆山)有限公司 | 基于差速轮的自动导引车及系统 |
CN111890358A (zh) * | 2020-07-01 | 2020-11-06 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN113689502A (zh) * | 2021-09-01 | 2021-11-23 | 南京信息工程大学 | 一种多信息融合的障碍物测量方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080027591A1 (en) * | 2006-07-14 | 2008-01-31 | Scott Lenser | Method and system for controlling a remote vehicle |
CN106599108A (zh) * | 2016-11-30 | 2017-04-26 | 浙江大学 | 一种三维环境中多模态环境地图构建方法 |
CN108608466A (zh) * | 2018-02-26 | 2018-10-02 | 北京克路德人工智能科技有限公司 | 一种双目相机和激光雷达联合的机器人定位方法 |
CN108680156A (zh) * | 2018-02-26 | 2018-10-19 | 北京克路德人工智能科技有限公司 | 一种多传感器数据融合的机器人定位方法 |
WO2018196001A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Sensing assembly for autonomous driving |
CN109102537A (zh) * | 2018-06-25 | 2018-12-28 | 中德人工智能研究院有限公司 | 一种激光雷达和球幕相机结合的三维建模方法和系统 |
CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
CN110361027A (zh) * | 2019-06-25 | 2019-10-22 | 马鞍山天邦开物智能商务管理有限公司 | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 |
CN110427022A (zh) * | 2019-07-08 | 2019-11-08 | 武汉科技大学 | 一种基于深度学习的消防隐患检测机器人及检测方法 |
-
2019
- 2019-11-21 CN CN201911146114.6A patent/CN110910498B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080027591A1 (en) * | 2006-07-14 | 2008-01-31 | Scott Lenser | Method and system for controlling a remote vehicle |
CN106599108A (zh) * | 2016-11-30 | 2017-04-26 | 浙江大学 | 一种三维环境中多模态环境地图构建方法 |
WO2018196001A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Sensing assembly for autonomous driving |
CN108608466A (zh) * | 2018-02-26 | 2018-10-02 | 北京克路德人工智能科技有限公司 | 一种双目相机和激光雷达联合的机器人定位方法 |
CN108680156A (zh) * | 2018-02-26 | 2018-10-19 | 北京克路德人工智能科技有限公司 | 一种多传感器数据融合的机器人定位方法 |
CN109102537A (zh) * | 2018-06-25 | 2018-12-28 | 中德人工智能研究院有限公司 | 一种激光雷达和球幕相机结合的三维建模方法和系统 |
CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
CN110361027A (zh) * | 2019-06-25 | 2019-10-22 | 马鞍山天邦开物智能商务管理有限公司 | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 |
CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
CN110427022A (zh) * | 2019-07-08 | 2019-11-08 | 武汉科技大学 | 一种基于深度学习的消防隐患检测机器人及检测方法 |
CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
Non-Patent Citations (1)
Title |
---|
王轩 等: "双目立体视觉栅格地图构建方法", 《软件》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111547156A (zh) * | 2020-05-14 | 2020-08-18 | 福勤智能科技(昆山)有限公司 | 基于差速轮的自动导引车及系统 |
CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
CN111337947B (zh) * | 2020-05-18 | 2020-09-22 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
CN111890358A (zh) * | 2020-07-01 | 2020-11-06 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN111890358B (zh) * | 2020-07-01 | 2022-06-14 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN113689502A (zh) * | 2021-09-01 | 2021-11-23 | 南京信息工程大学 | 一种多信息融合的障碍物测量方法 |
CN113689502B (zh) * | 2021-09-01 | 2023-06-30 | 南京信息工程大学 | 一种多信息融合的障碍物测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110910498B (zh) | 2021-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110910498B (zh) | 一种利用激光雷达和双目相机构建栅格地图的方法 | |
CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
CN107945220B (zh) | 一种基于双目视觉的重建方法 | |
CN107886477B (zh) | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 | |
CN110942477B (zh) | 一种利用双目相机和激光雷达深度图融合的方法 | |
CN108520554A (zh) | 一种基于orb-slam2的双目三维稠密建图方法 | |
CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
CN110889899B (zh) | 一种数字地表模型的生成方法及装置 | |
CN113409459A (zh) | 高精地图的生产方法、装置、设备和计算机存储介质 | |
CN111028281A (zh) | 基于光场双目系统的深度信息的计算方法及装置 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
CN112270698A (zh) | 基于最邻近曲面的非刚性几何配准方法 | |
CN110349249B (zh) | 基于rgb-d数据的实时稠密重建方法及系统 | |
Yang et al. | Vision system of mobile robot combining binocular and depth cameras | |
WO2021016803A1 (zh) | 高精度地图定位方法、系统、平台及计算机可读存储介质 | |
CN110889364A (zh) | 一种利用红外传感器和可见光传感器构建栅格地图的方法 | |
Wang et al. | Gr-fusion: Multi-sensor fusion slam for ground robots with high robustness and low drift | |
CN110782506B (zh) | 一种利用红外相机和深度相机融合构建栅格地图的方法 | |
CN110849351B (zh) | 一种利用深度相机和双目相机构建栅格地图的方法 | |
CN110849352B (zh) | 一种利用红外、深度和双目相机融合构建栅格地图的方法 | |
CN112505723B (zh) | 一种基于导航点选择的三维地图重建方法 | |
CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 | |
CN102818561A (zh) | 基于数字狭缝摄像技术的靶场弹丸运动参数测量方法 | |
Zhai et al. | Target tracking based on millimeter wave radar in complex scenes | |
CN114529603B (zh) | 一种基于激光slam与单目视觉slam融合的里程计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |