CN112785702A - 一种基于2d激光雷达和双目相机紧耦合的slam方法 - Google Patents

一种基于2d激光雷达和双目相机紧耦合的slam方法 Download PDF

Info

Publication number
CN112785702A
CN112785702A CN202011640920.1A CN202011640920A CN112785702A CN 112785702 A CN112785702 A CN 112785702A CN 202011640920 A CN202011640920 A CN 202011640920A CN 112785702 A CN112785702 A CN 112785702A
Authority
CN
China
Prior art keywords
binocular
laser
image
camera
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011640920.1A
Other languages
English (en)
Other versions
CN112785702B (zh
Inventor
熊彪
哀薇
宋高高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011640920.1A priority Critical patent/CN112785702B/zh
Publication of CN112785702A publication Critical patent/CN112785702A/zh
Application granted granted Critical
Publication of CN112785702B publication Critical patent/CN112785702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于2D激光雷达和双目相机紧耦合的SLAM方法，包括以下步骤：1)双目相机内外参数标定及其与2D激光雷达的联合标定；2)双目视觉前端执行特征的提取与匹配，并在左右目图像之间或前后两帧图像之间执行特征跟踪；3)通过图像信息估计机器人初始位姿，同时假设相邻关键帧之间机器人做匀速运动进行位姿预测；4)结合视觉重投影误差和激光PL‑ICP匹配误差构建联合代价函数；5)在基于视觉词袋模型的闭环检测之上，增加激光ICP对齐约束，优化闭环校正估计；6)双目相机可实时构建稠密点云地图，可将稠密地图转换成便于存储和导航避障的八叉树地图或直接由机器人位姿和激光扫描数据生成栅格占据地图。

Description

一种基于2D激光雷达和双目相机紧耦合的SLAM方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于2D激光雷达和双目相机紧耦合的SLAM方法。
背景技术
定位与导航是自主移动服务机器人的关键技术，而同时定位与地图构建(simultaneous localization and mapping,SLAM)技术被认为是实现此功能的必要基础。SLAM的主要原理就是通过机器人上的传感器检测周围环境，并在估计机器人位姿的同时构建环境地图。根据所应用的主要传感器，SLAM系统主要分为两种：LiDAR-SLAM和Visual-SLAM。不过如果只使用单一传感器进行SLAM，都存在一些自身无法克服的问题，因此在具体的应用场景中往往是多种传感器结合使用。
SLAM问题在过去几十年得到了积极的研究，也有了长足的发展。早期SLAM通常使用LiDAR作为主要传感器，LiDAR-SLAM可构建占据栅格地图用于路径规划与导航，但是当构建大规模环境地图时，由于2D激光扫描数据没有明显的特征并且彼此之间非常相似，所以很难进行闭环检测和快速重定位功能，如Gmapping[Grisetti G,Stachniss C,BurgardW.Improved Techniques for Grid Mapping With Rao-Blackwellized ParticleFilters[J].IEEE Transactions on Robotics,2007,23(1):34–46.]。2016年，谷歌发布了著名的cartographer[Hess W,Kohler D,Rapp H,et al.Real-time Loop Closure in 2DLIDAR SLAM[C]//Proceedings of the IEEE International Conference on Roboticsand Automation.Stockholm,Sweden,2016:1271–1278.]方法，通过对子图和全局地图进行激光闭环检测来减少累积误差，但纯激光数据仍然容易检测到错误闭环。Visual-SLAM通常生成稀疏特征点图，这种地图可用于定位，但是无法用于路径规划与导航避障，如ORB-SLAM[Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:A Versatile and AccurateMonocular SLAM System[J].IEEE Transactions on Robotics,2017,31(5):1147–1163.]。由于LiDAR-SLAM难以进行闭环检测和快速重定位以及在重复性环境(如隧道和走廊)会失败等原因，而Visual-SLAM生成的地图无法用于导航和路径规划，并且受光照和环境影响大等原因。近年来，一些研究人员已开始将这两个主要传感器结合在一起研究，如论文[王消为,贺利乐,赵涛.基于激光雷达与双目视觉的移动机器人SLAM研究[J].传感技术学报,2018(3):394-399.]提出了一种基于改进粒子滤波的融合激光雷达数据和视觉数据的SLAM方法，但是当环境较大时，存储大量粒子会消耗大量内存资源，并且粒子滤波存在粒子耗散问题。还有一些基于视觉信息和激光雷达数据松耦合(每个传感器作为单独模块进行位姿估计，将每个模块估计的位姿进行融合)的方案，实现了某一传感器失效仍然能准确定位的系统，但松耦合无法充分利用传感器信息，理论上难以获得最优值，如V-LOAM[ZhangJ,Singh S.Visual-lidar Odometry and Mapping:Low-drift,Robust,and Fast[C]//Proceedings of the IEEE International Conference on Robotics and Automation(ICRA).Washington,USA,2015:2174–2181.]
发明内容
针对上述存在的问题，本发明提出了一种基于2D激光雷达和双目相机紧耦合的SLAM方法，结合视觉重投影误差和激光PL-ICP匹配误差(点到线的距离)构建一个联合的代价函数，进行局部和全局的位姿优化，能够有效地提高系统的定位精度和鲁棒性。增加激光ICP对齐约束的闭环检测方法比一般的基于视觉词袋模型的闭环检测更加鲁棒，更严格的闭环检测可以筛选掉更多错误闭环。此外，因为额外的图像信息，实现了快速重定位功能而且解决了纯LiDAR-SLAM在重复性环境失效的问题。最后可依据实际需要生成易于存储和避障导航的不同形式的地图。
本发明至少通过如下技术方案之一实现。
一种基于2D激光雷达和双目相机紧耦合的SLAM方法，包括以下步骤：
(1)标定双目相机内外参数，进行双目平行校正，使得左右目的光轴完全平行且两个镜头的图像在水平方向严格对齐，然后进行激光雷达和双目相机的联合标定，确定激光雷达与相机之间的变换关系；
(2)双目视觉前端提取与匹配特征，并在左右目图像之间以及前后两帧图像之间执行特征跟踪，对跟踪到的以及匹配好的特征点执行三角化操作；
(3)通过图像信息估计初始机器人位姿，同时使用匀速模型进行位姿预测；
(4)结合视觉重投影误差和激光PL-ICP匹配误差构建联合的代价函数，进行局部和全局位姿优化；
(5)在基于视觉词袋模型的闭环检测之上，增加激光ICP对齐约束，优化闭环校正估计；
(6)双目相机实时构建稠密点云地图，根据需要将稠密点云地图转换成便于存储和导航避障的八叉树地图或直接由机器人位姿和激光扫描数据生成二维栅格占据地图。
优选的，步骤(1)是采用Bouguet立体校正算法进行双目平行校正。
优选的，步骤(1)中，所述联合标定主要是确定双目左眼相机与激光雷达的转换关系，具体是通过激光点云落在标定板上，得到激光点云在激光坐标系下的坐标，并且通过棋盘格或二维码获得标定板在左眼相机坐标系下的平面方程，构建点在平面上的约束求解激光雷达到左眼相机的变换，即(Rcl,tcl)，最后将左眼相机作为机器人的主体坐标系，即body系；
为了得到激光雷达到左眼相机的变换的最优解需要采集N组数据进行联合优化，使用g2o或ceres工具构建非线性最小二乘问题进行求解，表示式为：
Figure BDA0002881170070000031
其中N为采集的数据组数，Ni为第i帧激光落在标定板上的数目，nci、dci分别为相机坐标系下第i帧激光对应的标定板平面的三维法向量和相机坐标系原点到平面的距离，Plim为第i帧激光中第m个激光点在激光雷达坐标系下的坐标，Rcl、tcl分别为相机坐标系到激光坐标系的旋转矩阵和平移向量。
优选的，所述步骤(2)中，双目视觉前端通过校正的双目图像对，首先对左目图像提取ORB特征点，并设置图像掩模(mask)，掩模值为0处不进行特征点提取；接着基于像素的运动速度完成右目对左目图像的光流跟踪；然后左目再跟踪右目图像的特征点，即反向光流跟踪，如果两次跟踪特征点都存在，则保留该特征点，否则删除；对于左目前后两帧的特征点，如果跟踪到的特征点个数小于阈值，则通过特征提取来补充特征点数，根据之前设置的掩模使特征点尽量分布均匀，最后根据特征描述子进行暴力匹配得到新的匹配点，如果右目跟踪到左目图像的特征点时，对特征点进行三角化，否则，进行前后两帧之间的三角化，若特征点被多帧图像跟踪到，采用最小二乘法进行三角化。
优选的，步骤(3)是根据图像特征点和对应的空间点信息，采用EPnP算法估计初始机器人位姿。
优选的，步骤(3)中，由于相邻关键帧之间的时间较短，假设这段时间里机器人是做匀速运动，获得机器人的运动估计初始值。
优选的，所述代价函数为：
Figure BDA0002881170070000032
其中，n是特征匹配点对数量，pi、Pi分别为特征点像素坐标和对应得3D空间点坐标，C为相机内参数，si为尺度信息，m是对应的激光扫描点数，
Figure BDA0002881170070000041
为在参考帧中离当前帧的激光点j最近两个点(j1,j2)连线的法向量，Pj为当前帧的点j的坐标，Pj′为(j1,j2)两个点中任意一点坐标，λ是用于图像重投影误差与激光距离误差的之间单位转换的参数，由相机分辨率和激光测距范围决定；η是用于平衡两个测量的参数，其取值介于(0,1)之间，R、t分别表示机器人的旋转矩阵和平移向量，即机器人位姿；
(R,t)用李代数形式表示，李代数变换公式为：
RP+t＝exp(ξ^)P
其中ξ为由(R,t)表示的变换矩阵对应的李代数，是一个六维向量，符号^表示将该六维向量转换成四维矩阵；
将误差函数重新表示为李代数形式:
Figure BDA0002881170070000042
根据相机和激光雷达的观测模型，误差函数是非线性函数，因此对于K个位姿的优化，构建非线性最小二乘问题来进行求解：
Figure BDA0002881170070000043
其中，ek(ξ)表示第k个机器人位姿关于李代数ξ的误差函数，∑k为ek(ξ)对应的信息矩阵，K为待优化的位姿个数，当进行帧间位姿优化时K＝2，当检测到闭环进行全局优化时，K为所有位姿；
最后使用g2o或Ceres优化工具将目标函数最小化，以获得多个位姿之间最好的变换。
优选的，所述闭环检测采用双目图像和LiDAR扫描使用时间戳进行关联，将双目图像和LiDAR扫描分别表示为图像关键帧和扫描关键帧，将候选闭环限制在一定的时间阈值内；在满足时间阈值的关键图像帧中，首先通过先前图像关键帧的Bag-of-Words数据集检测当前图像关键帧来获得闭环候选帧；将左眼图像关键帧的特征描述子与闭环候选帧进行匹配来滤除错误的闭环候选帧，然后对闭环候选帧中所有双目匹配特征点进行三角化以获得其3D位置，再通过匹配特征描述子得到闭环候选帧中所有双目匹配点与当前图像关键帧的关联关系，接着使用EPNP得到视觉的闭环约束，最后为了提高视觉闭环约束的准确性，在相应的LiDAR扫描关键帧的特征点上进行ICP对齐约束。
优选的，所述稠密点云地图通过三维建图线程构建，具体包括以下步骤：
步骤一、根据校正好的双目图像关键帧以及对应的相机和激光雷达融合优化的机器人位姿，计算每一个双目图像关键帧能够观测到的地图点的深度值，取其中最大最小深度设置场景深度范围；
步骤二、根据ELAS算法对校正后的双目图像关键帧进行立体匹配并获得视差图；
步骤三、根据步骤二的视差图并只在步骤一得到的深度范围中进行深度搜索得到深度图；
步骤四：根据当前帧图像灰度信息和步骤三得到的深度信息进行三维稠密建图并进行外点剔除，再用当前帧的三维稠密地图乘以位姿，得到世界坐标系下的的三维地图，将所有帧的三维地图进行拼接，得到稠密点云地图。
优选的，所述步骤(6)中，将双目相机的稠密点云地图转换成八叉树地图，八叉树地图可看作是由很多小方块组成的，每个方块有占据、空闲、不确定三种状态；通过查询方块的状态，判断其是否能通过，若方块为占据或不确定状态，则表示不能通过，若方块为空闲状态，则表示可以通过，以实现机器人的导航和路径规划，或者直接使用激光的扫描数据和优化后的机器人位姿生成二维栅格占据地图。
与现有的技术相比，本发明具备的有益效果如下：
(1)设计了激光雷达与双目相机的紧耦合系统，构建了一个联合代价函数，充分利用激光雷达和相机的原始测量数据，有效提高了机器人的定位精度和系统的鲁棒性；
(2)采用激光SLAM和视觉SLAM的融合，使得系统具备快速重定位功能，当机器人被置于一个已访问过的地图中或者跟踪丢失时，可以快速重定位，而不需要重新执行SLAM。
(3)在视觉闭环检测和校正的基础之上，增加激光ICP对齐约束，提高了闭环校正的估计精度。
(4)根据实际场景调整联合代价函数中的参数，实现在图像特征丰富或者其他利于视觉定位的环境中，视觉信息起主导作用，相反，激光信息起主导作用。
(5)双目相机实时构建稠密地图，并且可以根据实际需要转换成便于存储和具备导航避障功能的八叉树地图或直接输出二维栅格占据地图。
附图说明
图1为本实施例的系统装置以及相机与激光雷达联合标定示意图；
图2为本实施例一种基于2D激光雷达和双目相机紧耦合的轮式机器人SLAM方法流程图；
图3a为本实施例的双目校正前的相机成像模型及几何模型示意图；
图3b为本实施例的双目校正后的相机成像模型及几何模型示意图；
图4为本实施例的全局位姿图优化示意图；
图5为本实施例的激光增强的鲁棒的视觉闭环检测流程图；
图6为本实施例的双目三维稠密重建流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合实施例和附图对本发明进行详细说明。
如图1所示的一种基于2D激光雷达和双目相机紧耦合的SLAM系统，包括视觉传感器、激光雷达和运行平台。所述视觉传感器型号为小觅双目相机D1000-IR-120，双目的基线为120.0mm，最大帧率可达60FPS，支持多种分辨率，如1280×720，FOV为120度等。所述激光雷达型号为RPLIDAR-A2，其测距范围为0.15-18m，扫描频率为10赫兹等。系统运行平台为Ubuntu 16.04，对应的ROS系统为Kinetic Kame。
如图2所示，所述一种基于2D激光雷达和双目相机紧耦合的SLAM方法，包括以下步骤：
(1)标定和校正双目相机，双目相机一般是由两个水平放置(可以是任意相对位置)的单目镜头组成的，每个镜头都符合针孔相机模型，可使用张正友棋盘格标定法进行标定，获得左右相机各自的内外参数和畸变校正系数。使用Bouguet立体校正算法进行双目平行校正，使得左右目的光轴完全平行且两个镜头的图像在水平方向严格对齐，获得左右相机的整体旋转矩阵，然后让左右相机坐标系乘以各自的整体旋转矩阵就可完成校正，整体旋转矩阵如下：
Figure BDA0002881170070000061
其中,Rl、Rr是左右相机的合成旋转矩阵，Rl＝R1/2，Rr＝R-1/2,R是右眼相机相对于左眼相机的旋转矩阵，表示将左右相机各旋转一半，使得左右相机的光轴平行。Rrect为实现基线和成像平面平行(行对齐)构造的转换矩阵，由右眼相机与左眼相机之间的转换矩阵T计算得到。校正后还需重新选择图像中心和图像边缘，完成图像的裁剪，从而使左右目图像有最大的重叠部分。双目相机校正前后的成像模型和几何模型如图3a和图3b所示。几何模型中，OL、OR是左右光圈中心，b是双目相机的基线(Baseline，即OL、OR之间的距离)，f是焦距。uL和uR是空间点的成像平面坐标，uR是负数，所以图中标出的距离为-uR。
根据三角形相似性，有：
Figure BDA0002881170070000071
可以得到：
Figure BDA0002881170070000072
其中z是空间点P的深度，d是左右图像素坐标横坐标之差，称为视差(Disparity)。
本实施例采用双目相机和2D激光雷达紧耦合的视觉-雷达里程计提供定位功能。双目相机与激光雷达融合系统的联合标定示意图如图1所示，激光点云会落在标定板上(图1中的黑色圆点)，可以得到激光点云在激光坐标系下的坐标，并且通过二维码(本实施例采用的是尺寸为0.1612m的apriltag)可以获得标定板在相机坐标系下的平面方程。于是可以构建点在平面上的约束来求解激光雷达到相机的变换，即(Rcl,tcl)。
最后，为了得到最优解需要采集N组数据进行联合优化，然后使用g2o或ceres等工具构建非线性最小二乘问题进行求解，该问题可以表示为：
Figure BDA0002881170070000073
其中N为采集的数据组数，Ni为第i帧激光落在标定板上的数目，nci、dci分别为相机坐标系下第i帧激光对应的标定板平面的三维法向量和相机坐标系原点到平面的距离，Plim为第i帧激光中第m个激光点在激光雷达坐标系下的坐标，Rcl、tcl分别为相机坐标系到激光坐标系的旋转矩阵和平移向量。
(2)当标定工作完成之后，视觉前端接受一个校正的双目图像对，首先对左目图像提取200个ORB特征点，并设置图像掩模(mask)，掩模值为0处不进行特征点提取。接着基于像素的运动速度完成右目对左目图像的光流跟踪，本实施例使用Kanade Lucas Tomasi(KLT)特征跟踪方法进行跟踪。然后左目再跟踪右目图像的特征点，即反向光流跟踪，如果两次跟踪特征点都存在，则保留该特征点，否则删除。对于前后两帧(针对左目)的特征点，如果跟踪到的特征点个数小于阈值，那么通过特征提取来补充特征点数，根据之前设置的掩模可使特征点尽量分布均匀，最后根据特征描述子进行暴力匹配得到新的匹配点。如果右目跟踪到左目图像的特征点时，可以三角化特征点，否则，进行前后两帧之间的三角化，若特征点被多帧图像跟踪到，采用最小二乘法进行三角化。
(3)双目相机可以较容易地获得图像特征点和对应的空间点，故本实施例采用EPnP方法得到机器人的位姿的初始估计。其过程就是先选取四个不共面的控制点表示图像上的ORB特征点所对应的空间点，再计算四个控制点在相机坐标系下的坐标，最后根据特征点在世界坐标系下的坐标和相机坐标系下的坐标求解机器人初始位姿估计，即(R,t)。
本实施例同时假设两个相邻关键帧之间机器人是做匀速运动来预测下一关键帧的位姿。因为前后两个关键帧之间的时间比较短，可以认为这段时间里机器人是做匀速运动。通过初始位姿估计将前一个关键帧的所有地图点重投影到当前关键帧中的像平面，根据设置的搜索半径在投影像素点附近搜索特征点作为候选匹配点集，计算地图空间点和候选匹配点集之间的距离，如果该距离在给定的阈值之间可认为是最佳匹配，进而作为后续位姿优化的信息。
(4)结合雷达扫描数据和图像特征点数据构建联合代价函数，对于图像数据，本实施例是采用重投影误差：
Figure BDA0002881170070000081
其中，n是特征匹配点对数量，pi、Pi分别为特征点像素坐标和对应得3D空间点坐标，K为相机内参数，si为尺度信息，R、t分别为机器人的旋转矩阵和平移向量。
对于激光数据，本实施例采用PL-ICP帧间匹配方法，即用点线距离来计算误差：
Figure BDA0002881170070000082
其中，m是对应的激光扫描点数，
Figure BDA0002881170070000083
为在参考帧中离当前帧的点j最近两个点(j1,j2)连线的法向量，Pj为当前帧的点j的坐标，P′j为(j1,j2)两个点中任意一点坐标。PL-ICP方法相对经典ICP方法更加鲁棒，也更适应结构化环境。
最后结合图像数据和扫描数据的联合代价函数为：
Figure BDA0002881170070000084
其中，λ是用于图像重投影误差与激光距离误差的之间单位转换的参数，由相机分辨率和激光测距范围决定；η是用于平衡两个测量的参数，其取值介于(0,1)之间，取决于两个传感器的可靠性和精度，例如环境中图像特征丰富，则η会更大，认为视觉信息更重要，相反，如果场景更适合激光，则η可以相对小一点。
(R,t)可以用李代数形式表示，李代数变换公式为：
RP+t＝exp(ξ^)P
其中ξ为由(R,t)表示的变换矩阵对应的李代数，是一个六维向量，符号^表示将该六维向量转换成四维矩阵。
然后可以将误差函数重新表示为李代数形式:
Figure BDA0002881170070000091
根据相机和激光雷达的观测模型可知，误差函数是一个非线性函数，因此对于K个位姿的优化，可以构建一个非线性最小二乘问题来进行求解：
Figure BDA0002881170070000092
其中，ek(ξ)表示第k个机器人位姿关于ξ的误差函数，∑k为ek(ξ)对应的信息矩阵，K为待优化的位姿个数，当进行帧间位姿优化时K＝2，当检测到闭环进行全局优化时，K为所有位姿。
最后使用g2o或Ceres优化工具将目标函数最小化，以获得多个位姿之间最好的变换。其示意图如图4所示：其中Xt表示机器人位姿，Z表示观察结果。
(5)本实施例提出了一种除了视觉词袋模型和PnP闭环约束之外，还增加了激光ICP对齐约束的闭环检测和优化方法。所述的闭环检测是一种除了视觉词袋模型和PnP闭环约束之外，还增加了激光ICP对齐约束的闭环检测和优化方法。其实施流程如图5所示。双目图像和LiDAR扫描使用时间戳进行关联，将双目图像和LiDAR扫描分别表示为图像关键帧和扫描关键帧。为了防止检测到错误的闭环，将候选闭环限制在一定的时间阈值内。
在满足时间阈值的关键图像帧中，首先通过先前图像关键帧的Bag-of-Words数据集检测当前图像关键帧来获得闭环候选帧。此外，将左眼图像关键帧的特征描述子与闭环候选帧进行匹配来滤除错误的闭环候选帧。然后对闭环候选帧中所有双目匹配特征点进行三角化以获得其3D位置，再通过匹配特征描述子得到闭环候选帧中所有双目匹配点与当前图像关键帧的关联关系。接着使用EPNP得到视觉的闭环约束。最后为了提高视觉闭环约束的准确性，在相应的LiDAR扫描关键帧的特征点上进行ICP对齐约束。因为视觉闭环约束提供了一个良好的初始估计，所以ICP能较快收敛。
于是可以获得较为精确的闭环校正估计，将该约束加入到全局位姿图中，进行全局的位姿优化。
(6)本实施例使用双目相机来进行稠密重建的工作，通过三维建图线程进行环境的三维稠密构图。
三维稠密建图线程的具体过程如图6所示：步骤一，系统输入为校正好的双目图像关键帧以及对应的相机和激光雷达融合优化的位姿；步骤二，计算每一个双目图像关键帧能够观测到的地图点的深度值，取其中最大最小深度设置场景深度范围；步骤三，根据ELAS算法进行立体匹配并获得视差图；步骤四：根据步骤三的视差图并只在步骤二得到的深度范围中进行深度搜索得到深度图；步骤五，根据当前帧图像灰度信息和深度信息进行三维稠密构图并进行外点剔除，用当前帧的三维稠密地图乘以位姿，得到世界坐标系下的的三维地图，将所有帧的三维地图进行拼接，得到全局稠密地图。
由于稠密点云地图存储时会消耗大量的存储空间，所以本实施例将地图根据需要转换成八叉树地图或直接由激光扫描数据和机器人位姿生成二维栅格占据地图。双目相机的稠密点云地图转换成八叉树地图是由很多小方块(大小根据分辨率决定)组成的，每个方块有占据、空闲、不确定三种状态，通过查询方块的状态，判断其是否能通过，若方块为占据或不确定状态，则表示不能通过，若方块为空闲状态，则表示可以通过，以实现导航和路径规划，或者直接使用激光的扫描数据和优化后的机器人位姿生成二维栅格占据地图。
本发明所提出的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，解决了2D激光SLAM在大规模环境中的闭环检测和重定位问题，也解决了视觉SLAM生成的地图无法进行导航和路径规划等问题，同时充分利用两者的数据信息有效地提高了系统的定位精度和鲁棒性，从而保证了服务机器人自主定位的充分性，具有高度的产业价值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，包括以下步骤：
(1)标定双目相机内外参数，进行双目平行校正，使得左右目的光轴完全平行且两个镜头的图像在水平方向严格对齐，然后进行激光雷达和双目相机的联合标定，确定激光雷达与相机之间的变换关系；
(2)双目视觉前端提取与匹配特征，并在左右目图像之间以及前后两帧图像之间执行特征跟踪，对跟踪到的以及匹配好的特征点执行三角化操作；
(3)通过图像信息估计初始机器人位姿，同时使用匀速模型进行位姿预测；
(4)结合视觉重投影误差和激光PL-ICP匹配误差构建联合的代价函数，进行局部和全局位姿优化；
(5)在基于视觉词袋模型的闭环检测之上，增加激光ICP对齐约束，优化闭环校正估计；
(6)双目相机实时构建稠密点云地图，根据需要将稠密点云地图转换成便于存储和导航避障的八叉树地图或直接由机器人位姿和激光扫描数据生成二维栅格占据地图。
2.根据权利要求1所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，步骤(1)是采用Bouguet立体校正算法进行双目平行校正。
3.根据权利要求2所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，步骤(1)中，所述联合标定主要是确定双目左眼相机与激光雷达的转换关系，具体是通过激光点云落在标定板上，得到激光点云在激光坐标系下的坐标，并且通过棋盘格或二维码获得标定板在左眼相机坐标系下的平面方程，构建点在平面上的约束求解激光雷达到左眼相机的变换，即(Rcl,tcl)，最后将左眼相机作为机器人的主体坐标系，即body系；
为了得到激光雷达到左眼相机的变换的最优解需要采集N组数据进行联合优化，使用g2o或ceres工具构建非线性最小二乘问题进行求解，表示式为：
Figure FDA0002881170060000011
其中N为采集的数据组数，Ni为第i帧激光落在标定板上的数目，nci、dci分别为相机坐标系下第i帧激光对应的标定板平面的三维法向量和相机坐标系原点到平面的距离，Plim为第i帧激光中第m个激光点在激光雷达坐标系下的坐标，Rcl、tcl分别为相机坐标系到激光坐标系的旋转矩阵和平移向量。
4.根据权利要求3所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，所述步骤(2)中，双目视觉前端通过校正的双目图像对，首先对左目图像提取ORB特征点，并设置图像掩模(mask)，掩模值为0处不进行特征点提取；接着基于像素的运动速度完成右目对左目图像的光流跟踪；然后左目再跟踪右目图像的特征点，即反向光流跟踪，如果两次跟踪特征点都存在，则保留该特征点，否则删除；对于左目前后两帧的特征点，如果跟踪到的特征点个数小于阈值，则通过特征提取来补充特征点数，根据之前设置的掩模使特征点尽量分布均匀，最后根据特征描述子进行暴力匹配得到新的匹配点，如果右目跟踪到左目图像的特征点时，对特征点进行三角化，否则，进行前后两帧之间的三角化，若特征点被多帧图像跟踪到，采用最小二乘法进行三角化。
5.根据权利要求4所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，步骤(3)是根据图像特征点和对应的空间点信息，采用EPnP算法估计初始机器人位姿。
6.根据权利要求5所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，步骤(3)中，由于相邻关键帧之间的时间较短，假设这段时间里机器人是做匀速运动，获得机器人的运动估计初始值。
7.根据权利要求6所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，所述代价函数为：
Figure FDA0002881170060000021
其中，n是特征匹配点对数量，pi、Pi分别为特征点像素坐标和对应得3D空间点坐标，C为相机内参数，si为尺度信息，m是对应的激光扫描点数，
Figure FDA0002881170060000022
为在参考帧中离当前帧的激光点j最近两个点(j1,j2)连线的法向量，Pj为当前帧的点j的坐标，Pj′为(j1,j2)两个点中任意一点坐标，λ是用于图像重投影误差与激光距离误差的之间单位转换的参数，由相机分辨率和激光测距范围决定；η是用于平衡两个测量的参数，其取值介于(0,1)之间，R、t分别表示机器人的旋转矩阵和平移向量，即机器人位姿；
(R,t)用李代数形式表示，李代数变换公式为：
RP+t＝exp(ξ^)P
其中ξ为由(R,t)表示的变换矩阵对应的李代数，是一个六维向量，符号^表示将该六维向量转换成四维矩阵；
将误差函数重新表示为李代数形式:
Figure FDA0002881170060000031
根据相机和激光雷达的观测模型，误差函数是非线性函数，因此对于K个位姿的优化，构建非线性最小二乘问题来进行求解：
Figure FDA0002881170060000032
其中，ek(ξ)表示第k个机器人位姿关于李代数ξ的误差函数，∑k为ek(ξ)对应的信息矩阵，K为待优化的位姿个数，当进行帧间位姿优化时K＝2，当检测到闭环进行全局优化时，K为所有位姿；
最后使用g2o或Ceres优化工具将目标函数最小化，以获得多个位姿之间最好的变换。
8.根据权利要求7所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，所述闭环检测采用双目图像和LiDAR扫描使用时间戳进行关联，将双目图像和LiDAR扫描分别表示为图像关键帧和扫描关键帧，将候选闭环限制在一定的时间阈值内；在满足时间阈值的关键图像帧中，首先通过先前图像关键帧的Bag-of-Words数据集检测当前图像关键帧来获得闭环候选帧；将左眼图像关键帧的特征描述子与闭环候选帧进行匹配来滤除错误的闭环候选帧，然后对闭环候选帧中所有双目匹配特征点进行三角化以获得其3D位置，再通过匹配特征描述子得到闭环候选帧中所有双目匹配点与当前图像关键帧的关联关系，接着使用EPNP得到视觉的闭环约束，最后为了提高视觉闭环约束的准确性，在相应的LiDAR扫描关键帧的特征点上进行ICP对齐约束。
9.根据权利要求8所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，所述稠密点云地图通过三维建图线程构建，具体包括以下步骤：
步骤一、根据校正好的双目图像关键帧以及对应的相机和激光雷达融合优化的机器人位姿，计算每一个双目图像关键帧能够观测到的地图点的深度值，取其中最大最小深度设置场景深度范围；
步骤二、根据ELAS算法对校正后的双目图像关键帧进行立体匹配并获得视差图；
步骤三、根据步骤二的视差图并只在步骤一得到的深度范围中进行深度搜索得到深度图；
步骤四：根据当前帧图像灰度信息和步骤三得到的深度信息进行三维稠密建图并进行外点剔除，再用当前帧的三维稠密地图乘以位姿，得到世界坐标系下的的三维地图，将所有帧的三维地图进行拼接，得到稠密点云地图。
10.根据权利要求9所述的一种基于2D激光雷达和双目相机紧耦合的SLAM方法，其特征在于，所述步骤(6)中，将双目相机的稠密点云地图转换成八叉树地图，八叉树地图可看作是由很多小方块组成的，每个方块有占据、空闲、不确定三种状态；通过查询方块的状态，判断其是否能通过，若方块为占据或不确定状态，则表示不能通过，若方块为空闲状态，则表示可以通过，以实现机器人的导航和路径规划，或者直接使用激光的扫描数据和优化后的机器人位姿生成二维栅格占据地图。
CN202011640920.1A 2020-12-31 2020-12-31 一种基于2d激光雷达和双目相机紧耦合的slam方法 Active CN112785702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640920.1A CN112785702B (zh) 2020-12-31 2020-12-31 一种基于2d激光雷达和双目相机紧耦合的slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640920.1A CN112785702B (zh) 2020-12-31 2020-12-31 一种基于2d激光雷达和双目相机紧耦合的slam方法

Publications (2)

Publication Number Publication Date
CN112785702A true CN112785702A (zh) 2021-05-11
CN112785702B CN112785702B (zh) 2023-06-20

Family

ID=75753525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640920.1A Active CN112785702B (zh) 2020-12-31 2020-12-31 一种基于2d激光雷达和双目相机紧耦合的slam方法

Country Status (1)

Country Link
CN (1) CN112785702B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256696A (zh) * 2021-06-28 2021-08-13 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113298941A (zh) * 2021-05-27 2021-08-24 广州市工贸技师学院（广州市工贸高级技工学校） 一种基于激光雷达辅助视觉的地图构建方法、装置和系统
CN113436274A (zh) * 2021-06-28 2021-09-24 兰剑智能科技股份有限公司 一种移动机器人的校准方法、装置及设备
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN113640822A (zh) * 2021-07-07 2021-11-12 华南理工大学 一种基于非地图元素过滤的高精度地图构建方法
CN113720324A (zh) * 2021-08-30 2021-11-30 上海大学 一种八叉树地图构建方法及系统
CN113793417A (zh) * 2021-09-24 2021-12-14 东北林业大学 一种可创建大规模地图的单眼slam方法
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114092569A (zh) * 2022-01-19 2022-02-25 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114137953A (zh) * 2021-10-12 2022-03-04 杭州电子科技大学 基于三维激光雷达的电力巡检机器人系统及建图方法
CN114237264A (zh) * 2022-02-23 2022-03-25 博学宽行(成都)科技有限公司 一种基于激光与视觉识别导航的机器人控制方法
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114674308A (zh) * 2022-05-26 2022-06-28 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN116839555A (zh) * 2023-08-30 2023-10-03 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN117036663A (zh) * 2022-04-18 2023-11-10 荣耀终端有限公司 视觉定位方法、设备和存储介质
CN117173342A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于水下单双目相机的自然光下移动三维重建装置及方法
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪系统和相机对齐的方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
CN111983639A (zh) * 2020-08-25 2020-11-24 浙江光珀智能科技有限公司 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN111983639A (zh) * 2020-08-25 2020-11-24 浙江光珀智能科技有限公司 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN Y 等: "Object modelling by registration of multiple range images", 《IMAGE AND VISION COMPUTING》 *
王消为等: "基于激光雷达与双目视觉的移动机器人SLAM研究", 《传感技术学报》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298941A (zh) * 2021-05-27 2021-08-24 广州市工贸技师学院（广州市工贸高级技工学校） 一种基于激光雷达辅助视觉的地图构建方法、装置和系统
CN113298941B (zh) * 2021-05-27 2024-01-30 广州市工贸技师学院（广州市工贸高级技工学校） 一种基于激光雷达辅助视觉的地图构建方法、装置和系统
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113436260B (zh) * 2021-06-24 2022-04-19 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113256696A (zh) * 2021-06-28 2021-08-13 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113436274A (zh) * 2021-06-28 2021-09-24 兰剑智能科技股份有限公司 一种移动机器人的校准方法、装置及设备
CN113256696B (zh) * 2021-06-28 2021-09-24 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113640822A (zh) * 2021-07-07 2021-11-12 华南理工大学 一种基于非地图元素过滤的高精度地图构建方法
CN113640822B (zh) * 2021-07-07 2023-08-18 华南理工大学 一种基于非地图元素过滤的高精度地图构建方法
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113587933B (zh) * 2021-07-29 2024-02-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN113720324A (zh) * 2021-08-30 2021-11-30 上海大学 一种八叉树地图构建方法及系统
CN113793417A (zh) * 2021-09-24 2021-12-14 东北林业大学 一种可创建大规模地图的单眼slam方法
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114137953A (zh) * 2021-10-12 2022-03-04 杭州电子科技大学 基于三维激光雷达的电力巡检机器人系统及建图方法
CN114413881A (zh) * 2022-01-07 2022-04-29 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114413881B (zh) * 2022-01-07 2023-09-01 中国第一汽车股份有限公司 高精矢量地图的构建方法、装置及存储介质
CN114092569A (zh) * 2022-01-19 2022-02-25 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114237264A (zh) * 2022-02-23 2022-03-25 博学宽行(成都)科技有限公司 一种基于激光与视觉识别导航的机器人控制方法
CN117036663A (zh) * 2022-04-18 2023-11-10 荣耀终端有限公司 视觉定位方法、设备和存储介质
CN114674308B (zh) * 2022-05-26 2022-09-16 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN114674308A (zh) * 2022-05-26 2022-06-28 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115267796B (zh) * 2022-08-17 2024-04-09 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN116839555A (zh) * 2023-08-30 2023-10-03 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN116839555B (zh) * 2023-08-30 2023-12-08 山东科技大学 一种基于摄影测量与激光点融合的海洋波浪测量方法
CN117173342A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于水下单双目相机的自然光下移动三维重建装置及方法
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪系统和相机对齐的方法、装置、设备以及存储介质
CN117372548B (zh) * 2023-12-06 2024-03-22 北京水木东方医用机器人技术创新中心有限公司 跟踪系统和相机对齐的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN112785702B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
Tardif et al. Monocular visual odometry in urban environments using an omnidirectional camera
EP1855247B1 (en) Three-dimensional reconstruction from an image sequence with outlier removal
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Vidas et al. Real-time mobile 3D temperature mapping
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
Salih et al. Depth and geometry from a single 2d image using triangulation
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN110599545B (zh) 一种基于特征的构建稠密地图的系统
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
Ahmed et al. Pothole 3D reconstruction with a novel imaging system and structure from motion techniques
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
Gautam et al. An experimental comparison of visual SLAM systems
CN116128966A (zh) 一种基于环境物体的语义定位方法
Kawanishi et al. Three-dimensional environment model construction from an omnidirectional image sequence
Zhao et al. An ORB-SLAM3 Autonomous Positioning and Orientation Approach using 360-degree Panoramic Video
Grinstead et al. A comparison of pose estimation techniques: Hardware vs. video
Gautham et al. 3D scene reconstruction and mapping with real time human detection for search and rescue robotics
Ruf et al. FaSS-MVS--Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Geng et al. Feature-matching and extended kalman filter for stereo ego-motion estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant