CN111045017A - 一种激光和视觉融合的巡检机器人变电站地图构建方法 - Google Patents

一种激光和视觉融合的巡检机器人变电站地图构建方法 Download PDF

Info

Publication number
CN111045017A
CN111045017A CN201911321149.9A CN201911321149A CN111045017A CN 111045017 A CN111045017 A CN 111045017A CN 201911321149 A CN201911321149 A CN 201911321149A CN 111045017 A CN111045017 A CN 111045017A
Authority
CN
China
Prior art keywords
laser
point
coordinate system
pose
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911321149.9A
Other languages
English (en)
Other versions
CN111045017B (zh
Inventor
张葛祥
王安涛
姚光乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN201911321149.9A priority Critical patent/CN111045017B/zh
Publication of CN111045017A publication Critical patent/CN111045017A/zh
Application granted granted Critical
Publication of CN111045017B publication Critical patent/CN111045017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

本发明公开了一种激光和视觉融合的巡检机器人变电站地图构建方法,将3D激光雷达SLAM和视觉SLAM结合,以解决现有激光SLAM存在的问题。首先将3D激光点与二维图像平面的特征点结合,估算出图像特征点在空间中的深度信息,解决单目视觉在定位时存在的尺度性问题;并采用高频率视觉定位信息和激光帧间定位信息纠正激光雷达由于运动造成的帧间点云畸变;在后端计算机器人全局位姿时,加入视觉定位信息对激光雷达得到的全局位姿进行优化更新,得到更为准确的位姿用于后端建图,防止激光匹配定位错误使全局位姿误差过大,导致后端建图失败;最后将视觉图像的RGB像素信息和激光雷达的点云融合,构建环境信息更为丰富的彩色3D激光点云地图。

Description

一种激光和视觉融合的巡检机器人变电站地图构建方法
技术领域
本发明涉及图像处理技术领域,特别是一种激光和视觉融合的巡检机器人变电站地图构建方法,用于巡检机器人的定位以及变电站场景的地图构建。
背景技术
随着智能电网概念的提出,世界多国争相通过本国先进的传感器和测量技术、设备技术、控制方法和决策支持系统开发电力系统的智能化设备,以确保电网的智能化、信息化、经济环保化的运行,电力巡检机器人作为智能化设备的典型代表,在变电站中得到了广泛的应用。由于变电站电力场所中高压设备众多、工作环境复杂且安全等级要求高,巡检机器人在巡检过程中必须严格按照规定的安全道路运行,任何超过安全行驶区域的举措,如触碰到高压设备、碰撞仪器仪表等,都有可能给机器人自身或变电站等场所带来巨大的损害,甚至导致整个变电站供电系统瘫痪,因此需要给巡检机器人提供正确的精确的环境地图以及正确的行驶路线。
同步定位与地图构建(SLAM,Simultaneous Localization And Mapping)技术是一种在未知环境下的同时定位与地图构建技术,是实现定位、自主导航和自动泊车等的关键技术之一,巡检机器人SLAM技术能够帮助巡检机器人建立变电站环境地图同时完成对自身的定位,帮助巡检机器人实现自主导航,确保巡检机器人在变电站的安全运行。目前市场上巡检机器人大多使用单一的激光传感器进行地图构建和自主导航,使用的激光雷达类型也逐渐从2D激光雷达转向3D激光雷达。使用激光雷达作为传感器的优点是获取的信息快速、准确、误差模型简单、室内外的稳定性都很高、工程实用性较强,但激光传感器所建地图包含的环境信息较为单一,同时在一些空旷和环境特征相似的环境激光传感器的定位误差会很大,导致最终建立的地图出现较大偏差。视觉SLAM是当前SLAM领域的研究热点之一,相机价格便宜、体积小便于安装,并且能够获得丰富的环境信息,能够较为真实的反映当时的环境状况,但视觉传感器受环境条件影响很大,室外稳定性较差,同时受限于当前计算机的性能,目前很难在工程上应用实现。
发明内容
为了克服当前激光SLAM存在的缺点,本发明提出了一种融合3D激光雷达和视觉的变电站巡检机器人SLAM方法,方法通过视觉定位解决激光由于信息缺陷造成的定位建图失败,同时将图像信息和激光信息融合,构建环境信息更为丰富的彩色3D激光点云地图。
实现本发明目的技术方案具体操作步骤如下:
一种激光和视觉融合的巡检机器人变电站地图构建方法,包括:
步骤1:传感器数据处理,包括
1.1对激光传感器采集的激光点云进行数据处理:通过坐标变换将激光雷达坐标系下的点转换到相机坐标系下,坐标转换公式为q=R*qL+t,其中,q为转换到相机坐标系下的激光点坐标,qL是激光雷达坐标系下的激光点坐标,R、t是激光雷达坐标系到相机坐标系的旋转和平移矩阵,通过传感器标定得到;
1.2对相机采集的图像进行特征点的提取和匹配:采用ORB算法提取图像ORB特征点,采用快速近似最邻近算法对两张图像的特征点进行匹配;
步骤2:帧间位姿信息计算,包括
2.1激光帧间位姿计算:采用迭代最近点算法ICP对第n帧和第n-1帧激光点云进行匹配,并计算得到第n帧到第n-1帧之间的位姿变换矩阵
Figure BDA0002327198170000021
上标L代表该矩阵是激光帧间位姿矩阵;
2.2视觉帧间位姿计算,包括
2.2.1计算视觉特征点的深度:
a、通过相机的内参矩阵将图像特征点的像素坐标p’(u,v)转换到相机坐标系的归一化平面上得到点p(x,y,1),转换关系如下,
Figure BDA0002327198170000022
其中,fx,cx,fy,cy为相机的内参,x’、y’、z为图像特征点在空间中的实际位置P(x’,y’,z)的坐标;
b、将相机坐标系下的激光点投影到归一化平面即Z=1上,激光点投影后坐标为(X/Z,Y/Z,1);对于归一化平面上的图像特征点p,寻找距离特征点p最近的三个激光点q1、q2、q3,它们在空间中的实际位置为Q1、Q2、Q3;从相机光心引出一条射线经过点p与空间中三个激光点构成的平面Q1Q2Q3相交于点P(x’,y’,z),视P为该视觉特征点在空间中的实际位置,将P点坐标带入Q1Q2Q3三点构成的平面方程中:f(xz,yz,z)=0,其中x,y为p的坐标,求解该方程得到P的深度值,即z坐标值;深度计算过程需满足以下条件:q1、q2、q3与特征点p的距离小于d1;对应的Q1、Q2、Q中Z坐标的最大值Zmax与最小值Zmin应满足Zmax-Zmin<d2;计算得到的视觉特征点P的深度即z坐标值应在(Zmin-d3,Zmax+d3)内;d1,d2,d3为距离阈值;
2.2.2视觉位姿计算:对相邻两帧图像匹配好的特征点都通过上述方法计算其深度即z坐标,得到两组匹配好的3D特征点集a和b,然后通过奇异值分解方法求解约束方程
Figure BDA0002327198170000031
ai和bi是点集a和b中对应的匹配点对,
Figure BDA0002327198170000032
Figure BDA0002327198170000033
为相机第m帧到第m-1帧的旋转矩阵和平移矩阵,用位姿转换矩阵表示为
Figure BDA0002327198170000034
上标V表示该位姿矩阵由视觉计算得到,将当前时刻到起始时刻这段时间内得到的帧间矩阵累积得到当前时刻机器人坐标系到世界坐标系即第一帧的位置的位姿转换矩阵
Figure BDA0002327198170000035
任意时间段(tm,tn)之间的位姿转换矩阵
Figure BDA0002327198170000036
为tn到tm时刻这段时间内的帧间位姿矩阵做累积,下标代表tn到tm的位姿转换矩阵;
步骤3:激光雷达点云畸变处理:
对于(ta,tb)内任意一激光点q(x,y,z),计算其扫描时间t,
Figure BDA0002327198170000037
其中水平扫描角度
Figure BDA0002327198170000038
Figure BDA0002327198170000039
为激光水平扫描范围,T为扫描周期;
3.1通过视觉插值纠正非匀速运动造成的畸变:
通过视觉计算得到(t0,tb)和(ta,tb)时间段的位姿转换矩阵
Figure BDA00023271981700000310
对点q在图像周期(ta,tb)内进行线性插值得到点q对应的位姿转换矩阵:
Figure BDA00023271981700000311
然后通过视觉计算得到激光周期(t0,t1)时间段的转换矩阵
Figure BDA00023271981700000312
在(t0,t1)按照线性插值得到q对应的位姿转换矩阵:
Figure BDA00023271981700000313
将点q通过坐标转换消除非匀速的畸变量得到点q’,
Figure BDA00023271981700000314
3.2通过激光插值纠正匀速运动造成的畸变:
通过激光帧间位姿计算得到激光扫描周期(t0,t1)时间段的位姿矩阵
Figure BDA00023271981700000315
按照匀速运动进行线性插值得到q’对应的位姿矩阵:
Figure BDA00023271981700000316
然后对上述已经消除了非匀速畸变量的点q’进行如下转换,消除匀速运动造成的畸变量:
Figure BDA00023271981700000317
最终得到的激光点Q为在激光扫描周期结束t1时刻扫描得到的点,对单帧所有激光点做如上处理消除由于激光雷达运动造成的点云畸变;
步骤4:全局位姿计算:
采用当前激光SLAM中的点云匹配算法ICP,将激光传感器得到的当前帧点云与世界坐标系下的全局点云地图做匹配,计算得到当前ti时刻机器人坐标系到世界坐标系下的位姿转换矩阵
Figure BDA0002327198170000041
其中上标Lw表示该位姿转换矩阵是由激光当前帧点云和全局点云地图匹配得到的;在计算时需要采用当前激光帧间位姿计算结果结合前一时刻的全局位姿即
Figure BDA0002327198170000042
作为ICP算法的迭代初值;
步骤5:全局位姿选择和更新:
以惯性测量单元IMU得到的当前时间段内机器人的转换矩阵为参考,综合相机和激光计算得到的位姿转换矩阵得到准确性更高的全局位姿转换矩阵;
5.1 IMU数据预处理,包括
5.1.1加速度坐标转换及去重力影响:
A(x)=imu(y)-sin(roll)*cos(pitch)*G
A(y)=imu(z)-cos(roll)*cos(pitch)*G
A(z)=imu(x)+sin(pitch)*G
转换到世界坐标系下:
Figure BDA0002327198170000043
上式中,G为重力加速度,imu(x)、imu(y)和imu(z)是IMU测量得到的当前坐标系下的三轴加速度,roll和pitch为IMU测得的翻滚角和俯仰角,RyRpRr为IMU所得到的旋转矩阵,A'(x)、A'(y)和A'(z)为根据IMU信息计算得到的世界坐标系下三轴的加速度;
5.1.2速度校准:根据计算得到的机器人上一帧的位移,计算出上一帧的平均速度作为IMU下一帧的初速度;
5.2位姿的选取和更新:
根据激光计算得到的全局位姿中的平移矩阵
Figure BDA0002327198170000044
计算上一时刻t(i-1)到当前时刻ti机器人在世界坐标系下XYZ三个方向的移动距离:
Figure BDA0002327198170000045
(此处T为矩阵转置),根据视觉帧间计算该时间段内在世界坐标系下的移动距离为
Figure BDA0002327198170000046
IMU计算的位移(xi,yi,zi)由加速度A'(x),A'(y),A'(z)积分得到;然后计算上一时刻到当前时刻这段时间内激光和视觉估算的机器人运动的位置差异
Figure BDA0002327198170000051
这段时间内视觉和IMU估算的位置差异
Figure BDA0002327198170000052
这段时间内激光雷达和IMU估算的位置差异
Figure BDA0002327198170000053
然后根据上一段时间内运动速度预测当前时间段内机器人的移动距离
Figure BDA0002327198170000054
其中速度
Figure BDA0002327198170000055
tΔ=ti-t(i-1);
如果视觉和激光雷达估计的位置误差e小于aS,表明激光匹配定位正常,最终的全局位姿矩阵为
Figure BDA0002327198170000056
如果视觉和激光估计的位置误差e大于aS,则计算视觉和IMU位置估计误差e1、激光和IMU位置估计误差e2,如果e1>e2表明激光匹配定位正常,最终的全局位姿矩阵为
Figure BDA0002327198170000057
其中,a为比例系数,S为预测当前时段内的位移;如果e1小于e2,则当前时段激光传感器定位错误,融合视觉位姿对当前计算的全局位姿矩阵进行更新,更新后的全局位姿矩阵
Figure BDA0002327198170000058
其中
Figure BDA0002327198170000059
是由视觉计算得到的ti到t(i-1)的位姿矩阵;
步骤6:构建巡检机器人变电站地图:
通过步骤5得到当前时刻的全局位姿矩阵
Figure BDA00023271981700000510
将步骤3中畸变消除之后的激光点Q从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式构建全局点云地图,构建方式如下:
Figure BDA00023271981700000511
上式中(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q的坐标,(Xw,Yw,Zw)为转换到世界坐标系下的地图点Qw的坐标,将当前机器人坐标系下激光点云通过上述操作加入到世界坐标系下,增量式构建全局地图。
进一步地,所述步骤6替换为:构建变电站彩色激光点云地图;包括
6.1单帧激光点云染色:将相机坐标系下的激光点Q(Xc,Yc,Zc)通过反投影到相机的成像平面上,得到对应的像素坐标(u,v):
Figure BDA00023271981700000512
上式中,K为相机的内参矩阵,通过标定得到;计算出激光点对应的像素点坐标之后,得到该处的像素值f(u,v),将像素值f(u,v)的RGB信息融入到激光点得到彩色激光点Q’(Xc,Yc,Zc,R,G,B),如果得到的(u,v)超出像素平面范围,表明该激光点处于视野范围之外,无法染色;
6.2变电站地图构建:通过当前全局位姿转换矩阵
Figure BDA0002327198170000061
将染色后的激光点Q’(Xc,Yc,Zc,R,G,B)从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式的构建全局的彩色激光点云地图;构建地图公式如下:
Figure BDA0002327198170000062
(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q’的坐标,Q’w代表转换到世界坐标系下的彩色激光点即Q’w(Xw,Yw,Zw,R,G,B),将当前机器人坐标系下彩色激光点通过上述操作转换到世界坐标系下,增量式构建全局彩色激光点云地图。
本发明的有益效果是:首先通过视觉特征点和激光点融合估算出特征点的深度信息,解决了单目视觉在定位时存在的尺度性问题;然后根据视觉和激光的定位信息采用插值法纠正由于运动造成的激光雷达点云畸变;然后加入视觉定位信息对全局位姿进行优化,解决单一激光传感器定位失误造成建图失败的问题;最后将图像的像素信息和激光雷达点云融合,构建了彩色的变电站激光点云地图,给巡检机器人导航提供更多的环境信息。
附图说明
图1为本发明算法的整体框图。
图2为激光投影法计算特征点深度示意图。
图3为激光点云畸变处理的示意图。
图4为位姿选取的示意图。
图5为激光SLAM算法与本发明算法在室内实际场景的建图结果对比。
图6、7为本发明算法建立的变电站非染色全局与局部放大地图。
图8为本发明算法建立的变电站的彩色全局点云地图。
具体实施方式
本发明将3D激光雷达SLAM和视觉SLAM结合,以解决现有激光SLAM存在的问题。通过将3D激光点与二维图像平面的特征点结合,估算出图像特征点在空间中的深度信息,解决单目视觉在定位时存在的尺度性问题;并采用高频率视觉定位信息和激光帧间定位信息纠正激光雷达由于运动造成的帧间点云畸变;在后端计算机器人全局位姿时,加入视觉定位信息对激光雷达得到的全局位姿进行优化更新,得到更为准确的位姿用于后端建图,防止激光匹配定位错误使全局位姿误差过大,导致后端建图失败;最后将视觉图像的RGB像素信息和激光雷达的点云融合,构建环境信息更为丰富的彩色3D激光点云地图。
本发明的算法框架如附图1所示,本算法前端主要分为激光和视觉两个部分组成,其中视觉部分包括图像特征提取和匹配、特征点深度信息计算以及视觉位姿计算;激光部分包括数据处理、激光帧间位姿计算、激光点云畸变处理以及全局位姿计算;然后加入视觉定位信息对激光得到的全局位姿进行优化和更新;最后建立变电站的环境地图,建立的环境地图分为彩色点云地图和原始非染色点云地图,彩色点云地图将图像的色彩信息与激光点云融合,使建立的变电站地图中的激光点具有真实的环境色彩信息。
本实例中算法平台采用机器人操作平台ROS,传感器采用的Velodyne16线3D激光雷达和索尼低照度相机,图像大小为640*480,IMU频率为100HZ,处理器为I5处理器,8G运行内存,移动平台采用轮式电力巡检机器人。
步骤1:传感器数据处理
传感器数据处理主要包括对激光传感器采集的激光点云进行数据处理以及对相机采集的图像进行特征点的提取和匹配。
1、激光数据预处理。通过坐标变换将激光雷达坐标系下的点转换到相机坐标系下,以便计算视觉特征点的深度信息,坐标转换公式如下:q=R*qL+t,其中qL是激光雷达坐标系下的激光点坐标,q为转换到视觉坐标系下的激光点坐标,R,t是激光雷达坐标系到相机坐标系的旋转和平移矩阵,通过传感器标定得到。
2、图像特征点的提取和匹配。为了提高特征点的提取速度,采用现有的ORB(Oriented FAST and Rotated BRIEF)算法提取图像特征点,采用现有的快速近似最邻近算法(FLANN,fast library for approximate nearest neighbors)对两张图像的特征点进行匹配。
步骤2:帧间位姿信息计算
帧间位姿计算包括视觉帧间位姿计算和激光帧间位姿计算。由于单目视觉定位存在尺度不确定性,因此本发明通过激光点计算视觉特征点深度信息解决单目定位尺度不确定性问题。
1、激光帧间位姿计算。激光传感器帧间位姿采用当前已经很成熟的迭代最近点算法ICP(Iterative Closest Point),对第n帧和第n-1帧激光点云进行匹配,并计算得到第n帧到第n-1帧之间的位姿变换矩阵
Figure BDA0002327198170000071
上标L代表该矩阵是激光帧间位姿矩阵。
2、视觉帧间位姿计算。由于单目视觉定位时存在尺度不确定性,无法得到真实的位姿信息,本发明通过结合激光点的位置信息计算视觉特征点的深度,解决单目视觉的尺度性问题。
主要计算方式如下:
(1)激光投影法计算特征点深度。
a、通过相机的内参矩阵将图像特征点的像素坐标p’(u,v)转换到相机坐标系的归一化平面上点p(x,y,1),转换关系如下,fx,cx,fy,cy为相机的内参,x’、y’、z为图像特征点在空间中的实际位置P(x’,y’,z)的坐标;:
Figure BDA0002327198170000081
b、如附图2所示,将相机坐标系下的激光点投影到归一化平面即Z=1上,激光点投影后坐标为(X/Z,Y/Z,1);对于归一化平面上的图像特征点p,寻找距离特征点p最近的三个激光点q1、q2、q3,它们在空间中的实际位置为Q1、Q2、Q3;从相机光心引出一条射线经过点p与空间中三个激光点构成的平面Q1Q2Q3相交于点P(x’,y’,z),视P为该视觉特征点在空间中的实际位置,将P点坐标带入Q1Q2Q3三点构成的平面方程中:f(xz,yz,z)=0,其中x,y为p的坐标,求解该方程得到P的深度值,即z坐标值;深度值Z计算过程需满足以下条件:q1、q2、q3与特征点p的距离小于0.05;对应的Q1、Q2、Q中Z坐标的最大值Zmax与最小值Zmin应满足Zmax-Zmin<2m;计算得到的视觉特征点P的深度即z坐标值应在(Zmin-0.2,Zmax+0.2)内;
(2)、视觉位姿计算。对相邻两帧图像匹配好的特征点都通过上述方法计算其深度信息得到Z坐标,就可以得到两组3D特征点集a和b,然后通过奇异值分解方法求解约束方程
Figure BDA0002327198170000082
ai和bi是点集a和b中对应的匹配点对,
Figure BDA0002327198170000083
Figure BDA0002327198170000084
为相机第m帧到第m-1帧的旋转矩阵和平移矩阵,用位姿转换矩阵表示为
Figure BDA0002327198170000085
上标V表示该位姿矩阵由视觉计算得到,将当前时刻到起始时刻这段时间内得到的帧间矩阵累积得到当前时刻机器人坐标系到世界坐标系即第一帧的位置的位姿转换矩阵
Figure BDA0002327198170000086
任意时间段(tm,tn)之间的位姿转换矩阵
Figure BDA0002327198170000087
为tn到tm时刻这段时间内的帧间位姿矩阵做累积,下标代表tn到tm的位姿转换矩阵。
步骤3:激光雷达点云畸变处理
激光雷达在进行数据采集时忽略了扫描周期,所以激光在运动过程中采集的激光点会出现位置畸变,激光点云位置畸变的纠正示意图如附图3所示,(t0,t1)为激光传感器扫描周期,(ta,tb)为相机采集周期,计算过程如下:
对于(ta,tb)内任意一激光点q(x,y,z),计算其扫描时间t,
Figure BDA0002327198170000091
其中水平扫描角度
Figure BDA0002327198170000092
Figure BDA0002327198170000093
取360度,T为扫描周期,取0.1s;
1、通过视觉插值纠正非匀速运动造成的畸变
通过视觉计算得到(t0,tb)和(ta,tb)时间段的位姿转换矩阵
Figure BDA0002327198170000094
对点q在图像周期(ta,tb)内进行线性插值得到点q对应的位姿转换矩阵:
Figure BDA0002327198170000095
然后通过视觉计算得到激光周期(t0,t1)时间段的转换矩阵
Figure BDA0002327198170000096
在(t0,t1)按照线性插值得到q对应的位姿转换矩阵:
Figure BDA0002327198170000097
将点q通过坐标转换消除非匀速的畸变量得到点q’,
Figure BDA0002327198170000098
2、通过激光插值纠正匀速运动造成的畸变
通过激光帧间位姿计算得到激光扫描周期(t0,t1)时间段的位姿矩阵
Figure BDA0002327198170000099
按照匀速运动进行线性插值得到q’对应的位姿矩阵:
Figure BDA00023271981700000910
然后对上述已经消除了非匀速畸变量的点q’进行如下转换,消除匀速运动造成的畸变量:
Figure BDA00023271981700000911
最终得到的激光点Q为在激光扫描周期结束t1时刻扫描得到的点,对单帧所有激光点做如上处理消除由于激光雷达运动造成的点云畸变。
步骤4:全局位姿计算
激光畸变纠正后需要得到当前机器人传在世界坐标下的位置关系,计算方式采用当前激光SLAM中的点云匹配算法ICP,将激光传感器得到的当前帧点云与世界坐标系下的全局点云地图做匹配,计算得到当前ti时刻机器人坐标系到世界坐标系下的位姿转换矩阵
Figure BDA00023271981700000912
其中上标Lw表示该位姿转换矩阵是由激光当前帧点云和全局点云地图匹配得到的;在计算时需要采用当前激光帧间位姿计算结果结合前一时刻的全局位姿即
Figure BDA0002327198170000101
作为ICP算法的迭代初值。
步骤5:全局位姿选择和更新
单一激光传感器在定位时由于环境特征相似会出现匹配失误,使得到的全局位姿矩阵计算误差过大,导致后端建图出现错误。本发明以惯性测量单元IMU(Inertialmeasurement unit)得到的当前时间段内机器人的转换矩阵为参考,综合相机和激光计算得到的位姿转换矩阵得到准确性更高的全局位姿转换矩阵。计算程如下:
1、IMU数据预处理。
(1)加速度坐标转换及去重力影响取G=9.81m/s2
A(x)=imu(y)-sin(roll)*cos(pitch)*9.81
A(y)=imu(z)-cos(roll)*cos(pitch)*9.81
A(z)=imu(x)+sin(pitch)*9.81
转换到世界坐标系下:
Figure BDA0002327198170000102
上式中imu(x),imu(y),imu(z)是IMU测量得到的当前坐标系下的三轴加速度,yoll,pitch,为IMU测得的翻滚角和俯仰角,RyRpRr为IMU所得到的旋转矩阵,A'(x),A'(y),A'(z)为根据IMU信息计算得到的世界坐标系下三轴的加速度。
(2)速度校准:由于IMU速度由加速度积分得到,误差会随时间累积。因此根据计算得到的机器人上一帧的位移,计算出上一帧的平均速度作为IMU下一帧的初速度,防止由于积分造成的误差。
2、位姿的选取和更新
根据激光计算得到的全局位姿中的平移矩阵
Figure BDA0002327198170000103
计算上一时刻t(i-1)到当前时刻ti机器人在世界坐标系下XYZ三个方向的移动距离:
Figure BDA0002327198170000104
(此处T为矩阵转置),根据视觉帧间计算该时间段内在世界坐标系下的移动距离为
Figure BDA0002327198170000105
IMU计算的位移(xi,yi,zi)由加速度A'(x),A'(y),A'(z)积分得到;然后计算上一时刻到当前时刻这段时间内激光和视觉估算的机器人运动的位置差异
Figure BDA0002327198170000106
这段时间内视觉和IMU估算的位置差异
Figure BDA0002327198170000107
这段时间内激光雷达和IMU估算的位置差异
Figure BDA0002327198170000111
然后根据上一段时间内运动速度预测当前时间段内机器人的移动距离
Figure BDA0002327198170000112
其中速度
Figure BDA0002327198170000113
tΔ=ti-t(i-1)。
如附图4所示,如果视觉和激光雷达估计的位置误差e小于aS(a取0.1),表明激光匹配定位正常,最终的全局位姿矩阵为
Figure BDA0002327198170000114
如果视觉和激光估计的位置误差e大于aS,则计算视觉和IMU位置估计误差e1、激光和IMU位置估计误差e2,如果e1>e2表明激光匹配定位正常,最终的全局位姿矩阵为
Figure BDA0002327198170000115
如果e1小于e2,则当前时段激光传感器定位错误,融合视觉位姿对当前计算的全局位姿矩阵进行更新,更新后的全局位姿矩阵
Figure BDA0002327198170000116
其中
Figure BDA0002327198170000117
是由视觉计算得到的ti到t(i-1)的位姿矩阵;
步骤6:构建巡检机器人变电站地图:
通过步骤5得到当前时刻的全局位姿矩阵
Figure BDA0002327198170000118
将步骤3中畸变消除之后的激光点Q从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式构建全局点云地图,构建方式如下:
Figure BDA0002327198170000119
上式中(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q的坐标,(Xw,Yw,Zw)为转换到世界坐标系下的地图点Qw的坐标,将当前机器人坐标系下激光点云通过上述操作加入到世界坐标系下,增量式构建全局地图。
为了使所建立的变电站激光点云地图包含更多的环境信息,将图像的像素信息和激光点云融合,对相机视野范围内的激光点染色,建立符合真实环境颜色的变电站彩色激光点云地图,便于巡检机器人对环境地图的理解。上述步骤6可以替换为:
步骤6:构建变电站彩色激光点云地图
1、单帧激光点云染色。将相机坐标系下的激光点Q通过反投影到相机的成像平面上,得到对应的像素坐标(u,v):
Figure BDA00023271981700001110
上式中K为相机的内参矩阵,通过标定得到。计算出激光点对应的像素点之后,得到该处的像素值f(u,v),将像素值f(u,v)的RGB信息融入到激光点得到彩色激光点Q’(Xc,Yc,Zc,R,G,B),如果得到u不在(0,640)范围内或者v不在(0,480)范围内,表明该激光点处于视野范围之外,无法染色。
2、变电站地图构建。通过步骤5得到的当前全局位姿转换矩阵
Figure BDA0002327198170000121
将染色后的激光点Q’(Xc,Yc,Zc,R,G,B)从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式的构建全局的彩色激光点云地图;构建地图公式如下:
Figure BDA0002327198170000122
(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q’的坐标,Q’w代表转换到世界坐标系下的彩色激光点即Q’w(Xw,Yw,Zw,R,G,B),将当前机器人坐标系下彩色激光点通过上述操作转换到世界坐标系下,增量式构建全局彩色激光点云地图。
实验结果展示如下:
1、室内环境
附图5为室内建图效果的对比,测试环境为室内一个走廊构成的回环,原单一的激光SLAM算法由于走廊部分环境相似出现定位错误,导致建图时走廊中间的通道错位,如图5左图所示。而本发明的方法在激光发生误匹配时,采用了视觉定位来纠正激光的偏差,最终所建地图走廊中间的通道两侧并未错位,如图5右所示,可见本发明可解决单一激光传感器出现误匹配时建图错误的问题。下表为单一激光SLAM算法和本发明算法的回环误差,回环误差计算公式error=100×|A(x,y,z)-B(x,y,z)|/d,A,B为起始和终止点的坐标,d为机器人轨迹长度。
Figure BDA0002327198170000131
2、室外变电站环境
附图6为本发明算法所建的变电站的非彩色地图,图7为局部放大图,图8为构建的彩色的变电站激光点云地图,彩色激光点云地图能够真实的还原环境中道路、草坪等物体的颜色,增加地图中的环境信息。由于相机的视角限制,只能给相机视野内点云染色,因此彩色点云地图在显示范围小于非彩色地图,但巡检机器人在导航时只需要关注巡检机器人道路前方一定范围的情况,而彩色地图中的道路、道路边界以及道路两侧的草坪都清晰可见,容易分辨,方便路径规划以及巡检机器人道路环境的判断,利于自主导航的实现。

Claims (2)

1.一种激光和视觉融合的巡检机器人变电站地图构建方法,其特征在于,包括:
步骤1:传感器数据处理,包括
1.1对激光传感器采集的激光点云进行数据处理:通过坐标变换将激光雷达坐标系下的点转换到相机坐标系下,坐标转换公式为q=R*qL+t,其中,q为转换到相机坐标系下的激光点坐标,qL是激光雷达坐标系下的激光点坐标,R、t是激光雷达坐标系到相机坐标系的旋转和平移矩阵,通过传感器标定得到;
1.2对相机采集的图像进行特征点的提取和匹配:采用ORB算法提取图像ORB特征点,采用快速近似最邻近算法对两张图像的特征点进行匹配;
步骤2:帧间位姿信息计算,包括
2.1激光帧间位姿计算:采用迭代最近点算法ICP对第n帧和第n-1帧激光点云进行匹配,并计算得到第n帧到第n-1帧之间的位姿变换矩阵
Figure FDA0002327198160000011
上标L代表该矩阵是激光帧间位姿矩阵;
2.2视觉帧间位姿计算,包括
2.2.1计算视觉特征点的深度:
a、通过相机的内参矩阵将图像特征点的像素坐标p’(u,v)转换到相机坐标系的归一化平面上得到点p(x,y,1),转换关系如下,
Figure FDA0002327198160000012
其中,fx,cx,fy,cy为相机的内参,x’、y’、z为图像特征点在空间中的实际位置P(x’,y’,z)的坐标;
b、将相机坐标系下的激光点投影到归一化平面即Z=1上,激光点投影后坐标为(X/Z,Y/Z,1);对于归一化平面上的图像特征点p,寻找距离特征点p最近的三个激光点q1、q2、q3,它们在空间中的实际位置为Q1、Q2、Q3;从相机光心引出一条射线经过点p与空间中三个激光点构成的平面Q1Q2Q3相交于点P(x’,y’,z),视P为该视觉特征点在空间中的实际位置,将P点坐标带入Q1Q2Q3三点构成的平面方程中:f(xz,yz,z)=0,其中x,y为p的坐标,求解该方程得到P的深度值,即z坐标值;深度计算过程需满足以下条件:q1、q2、q3与特征点p的距离小于d1;对应的Q1、Q2、Q中Z坐标的最大值Zmax与最小值Zmin应满足Zmax-Zmin<d2;计算得到的视觉特征点P的深度即z坐标值应在(Zmin-d3,Zmax+d3)内;d1,d2,d3为距离阈值;
2.2.2视觉位姿计算:对相邻两帧图像匹配好的特征点都通过上述方法计算其深度即z坐标,得到两组匹配好的3D特征点集a和b,然后通过奇异值分解方法求解约束方程
Figure FDA0002327198160000021
ai和bi是点集a和b中对应的匹配点对,
Figure FDA0002327198160000022
为相机第m帧到第m-1帧的旋转矩阵和平移矩阵,用位姿转换矩阵表示为
Figure FDA0002327198160000023
上标V表示该位姿矩阵由视觉计算得到,将当前时刻到起始时刻这段时间内得到的帧间矩阵累积得到当前时刻机器人坐标系到世界坐标系即第一帧的位置的位姿转换矩阵
Figure FDA0002327198160000024
任意时间段(tm,tn)之间的位姿转换矩阵
Figure FDA0002327198160000025
为tn到tm时刻这段时间内的帧间位姿矩阵做累积,下标代表tn到tm的位姿转换矩阵;
步骤3:激光雷达点云畸变处理:
对于(ta,tb)内任意一激光点q(x,y,z),计算其扫描时间t,
Figure FDA0002327198160000026
其中水平扫描角度
Figure FDA0002327198160000027
Figure FDA0002327198160000028
为激光水平扫描范围,T为扫描周期;
3.1通过视觉插值纠正非匀速运动造成的畸变:
通过视觉计算得到(t0,tb)和(ta,tb)时间段的位姿转换矩阵
Figure FDA0002327198160000029
对点q在图像周期(ta,tb)内进行线性插值得到点q对应的位姿转换矩阵:
Figure FDA00023271981600000210
然后通过视觉计算得到激光周期(t0,t1)时间段的转换矩阵
Figure FDA00023271981600000211
在(t0,t1)按照线性插值得到q对应的位姿转换矩阵:
Figure FDA00023271981600000212
将点q通过坐标转换消除非匀速的畸变量得到点q’,
Figure FDA00023271981600000213
3.2通过激光插值纠正匀速运动造成的畸变:
通过激光帧间位姿计算得到激光扫描周期(t0,t1)时间段的位姿矩阵
Figure FDA00023271981600000214
按照匀速运动进行线性插值得到q’对应的位姿矩阵:
Figure FDA00023271981600000215
然后对上述已经消除了非匀速畸变量的点q’进行如下转换,消除匀速运动造成的畸变量:
Figure FDA00023271981600000216
最终得到的激光点Q为在激光扫描周期结束t1时刻扫描得到的点,对单帧所有激光点做如上处理消除由于激光雷达运动造成的点云畸变;
步骤4:全局位姿计算:
采用当前激光SLAM中的点云匹配算法ICP,将激光传感器得到的当前帧点云与世界坐标系下的全局点云地图做匹配,计算得到当前ti时刻机器人坐标系到世界坐标系下的位姿转换矩阵
Figure FDA0002327198160000031
其中上标Lw表示该位姿转换矩阵是由激光当前帧点云和全局点云地图匹配得到的;在计算时需要采用当前激光帧间位姿计算结果结合前一时刻的全局位姿即
Figure FDA0002327198160000032
作为ICP算法的迭代初值;
步骤5:全局位姿选择和更新:
以惯性测量单元IMU得到的当前时间段内机器人的转换矩阵为参考,综合相机和激光计算得到的位姿转换矩阵得到准确性更高的全局位姿转换矩阵;
5.1 IMU数据预处理,包括
5.1.1加速度坐标转换及去重力影响:
A(x)=imu(y)-sin(roll)*cos(pitch)*G
A(y)=imu(z)-cos(roll)*cos(pitch)*G
A(z)=imu(x)+sin(pitch)*G
转换到世界坐标系下:
Figure FDA0002327198160000033
上式中,G为重力加速度,imu(x)、imu(y)和imu(z)是IMU测量得到的当前坐标系下的三轴加速度,roll和pitch为IMU测得的翻滚角和俯仰角,RyRpRr为IMU所得到的旋转矩阵,A'(x)、A'(y)和A'(z)为根据IMU信息计算得到的世界坐标系下三轴的加速度;
5.1.2速度校准:根据计算得到的机器人上一帧的位移,计算出上一帧的平均速度作为IMU下一帧的初速度;
5.2位姿的选取和更新:
根据激光计算得到的全局位姿中的平移矩阵
Figure FDA0002327198160000034
计算上一时刻t(i-1)到当前时刻ti机器人在世界坐标系下XYZ三个方向的移动距离:
Figure FDA0002327198160000035
(此处T为矩阵转置),根据视觉帧间计算该时间段内在世界坐标系下的移动距离为
Figure FDA0002327198160000041
IMU计算的位移(xi,yi,zi)由加速度A'(x),A'(y),A'(z)积分得到;然后计算上一时刻到当前时刻这段时间内激光和视觉估算的机器人运动的位置差异
Figure FDA0002327198160000042
这段时间内视觉和IMU估算的位置差异
Figure FDA0002327198160000043
这段时间内激光雷达和IMU估算的位置差异
Figure FDA0002327198160000044
然后根据上一段时间内运动速度预测当前时间段内机器人的移动距离
Figure FDA0002327198160000045
其中速度
Figure FDA0002327198160000046
tΔ=ti-t(i-1);
如果视觉和激光雷达估计的位置误差e小于aS(其中,a为比例系数),表明激光匹配定位正常,最终的全局位姿矩阵为
Figure FDA0002327198160000047
如果视觉和激光估计的位置误差e大于aS,则计算视觉和IMU位置估计误差e1、激光和IMU位置估计误差e2,如果e1>e2表明激光匹配定位正常,最终的全局位姿矩阵为
Figure FDA0002327198160000048
如果e1小于e2,则当前时段激光传感器定位错误,融合视觉位姿对当前计算的全局位姿矩阵进行更新,更新后的全局位姿矩阵
Figure FDA0002327198160000049
其中
Figure FDA00023271981600000410
是由视觉计算得到的ti到t(i-1)的位姿矩阵;
步骤6:构建巡检机器人变电站地图:
通过步骤5得到当前时刻的全局位姿矩阵
Figure FDA00023271981600000411
将步骤3中畸变消除之后的激光点Q从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式构建全局点云地图,构建方式如下:
Figure FDA00023271981600000412
上式中(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q的坐标,(Xw,Yw,Zw)为转换到世界坐标系下的地图点Qw的坐标,将当前机器人坐标系下激光点云通过上述操作加入到世界坐标系下,增量式构建全局地图。
2.如权利要求1所述的一种激光和视觉融合的巡检机器人变电站地图构建方法,其特征在于,所述步骤6替换为:构建变电站彩色激光点云地图;包括
6.1单帧激光点云染色:将相机坐标系下的激光点Q(Xc,Yc,Zc)通过反投影到相机的成像平面上,得到对应的像素坐标(u,v):
Figure FDA0002327198160000051
上式中,K为相机的内参矩阵,通过标定得到;计算出激光点对应的像素点坐标之后,得到该处的像素值f(u,v),将像素值f(u,v)的RGB信息融入到激光点得到彩色激光点Q’(Xc,Yc,Zc,R,G,B),如果得到的(u,v)超出像素平面范围,表明该激光点处于视野范围之外,无法染色;
6.2变电站地图构建:通过当前全局位姿转换矩阵
Figure FDA0002327198160000052
将染色后的激光点Q’(Xc,Yc,Zc,R,G,B)从当前机器人坐标系即相机坐标系加入到世界坐标系下,逐帧累积,增量式的构建全局的彩色激光点云地图;构建地图公式如下:
Figure FDA0002327198160000053
(Xc,Yc,Zc)代表当前机器人坐标系下的激光点Q’的坐标,Q’w代表转换到世界坐标系下的彩色激光点即Q’w(Xw,Yw,Zw,R,G,B),将当前机器人坐标系下彩色激光点通过上述操作转换到世界坐标系下,增量式构建全局彩色激光点云地图。
CN201911321149.9A 2019-12-20 2019-12-20 一种激光和视觉融合的巡检机器人变电站地图构建方法 Active CN111045017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321149.9A CN111045017B (zh) 2019-12-20 2019-12-20 一种激光和视觉融合的巡检机器人变电站地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321149.9A CN111045017B (zh) 2019-12-20 2019-12-20 一种激光和视觉融合的巡检机器人变电站地图构建方法

Publications (2)

Publication Number Publication Date
CN111045017A true CN111045017A (zh) 2020-04-21
CN111045017B CN111045017B (zh) 2023-03-31

Family

ID=70238142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321149.9A Active CN111045017B (zh) 2019-12-20 2019-12-20 一种激光和视觉融合的巡检机器人变电站地图构建方法

Country Status (1)

Country Link
CN (1) CN111045017B (zh)

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111538032A (zh) * 2020-05-19 2020-08-14 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置
CN111553937A (zh) * 2020-04-23 2020-08-18 东软睿驰汽车技术(上海)有限公司 激光点云地图构建方法、装置、设备及系统
CN111652179A (zh) * 2020-06-15 2020-09-11 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111709893A (zh) * 2020-06-16 2020-09-25 华南师范大学 一种基于信息熵和锐化调整的orb-slam2改进算法
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111757021A (zh) * 2020-07-06 2020-10-09 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111798397A (zh) * 2020-07-08 2020-10-20 上海振华重工电气有限公司 一种激光雷达数据的消抖与雨雾处理方法
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN111812669A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN111932614A (zh) * 2020-07-06 2020-11-13 清华大学 一种基于聚类中心特征的激光雷达即时定位与建图方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN111986232A (zh) * 2020-08-13 2020-11-24 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN112016612A (zh) * 2020-08-26 2020-12-01 四川阿泰因机器人智能装备有限公司 一种基于单目深度估计的多传感器融合slam方法
CN112083433A (zh) * 2020-07-21 2020-12-15 浙江工业大学 一种应用于两轮移动机器人的激光雷达除畸变方法
CN112200850A (zh) * 2020-10-16 2021-01-08 河南大学 一种基于成熟特征点的orb提取方法
CN112304957A (zh) * 2020-11-20 2021-02-02 天津朗硕机器人科技有限公司 一种基于机器视觉的外观缺陷智能检测方法及系统
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112462385A (zh) * 2020-10-21 2021-03-09 南开大学 一种基于激光雷达的室外大环境下的地图拼接定位方法
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112506200A (zh) * 2020-12-14 2021-03-16 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112596070A (zh) * 2020-12-29 2021-04-02 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航系统
CN112764053A (zh) * 2020-12-29 2021-05-07 深圳市普渡科技有限公司 一种融合定位方法、装置、设备和计算机可读存储介质
CN112767458A (zh) * 2020-11-13 2021-05-07 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN112859051A (zh) * 2021-01-11 2021-05-28 桂林电子科技大学 激光雷达点云运动畸变的矫正方法
CN112965063A (zh) * 2021-02-11 2021-06-15 深圳市安泽智能机器人有限公司 一种机器人建图定位方法
CN112987065A (zh) * 2021-02-04 2021-06-18 东南大学 一种融合多传感器的手持式slam装置及其控制方法
CN113066105A (zh) * 2021-04-02 2021-07-02 北京理工大学 激光雷达和惯性测量单元融合的定位与建图方法及系统
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113124880A (zh) * 2021-05-18 2021-07-16 杭州迦智科技有限公司 一种基于两种传感器数据融合的建图及定位方法、装置
CN113253293A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 一种激光点云畸变的消除方法和计算机可读存储介质
CN113269837A (zh) * 2021-04-27 2021-08-17 西安交通大学 一种适用于复杂三维环境的定位导航方法
CN113379910A (zh) * 2021-06-09 2021-09-10 山东大学 基于slam的移动机器人矿山场景重建方法及系统
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113570715A (zh) * 2021-07-23 2021-10-29 东北大学 基于传感器融合的旋转激光实时定位建模系统及方法
CN113592865A (zh) * 2021-09-29 2021-11-02 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113610910A (zh) * 2021-07-30 2021-11-05 合肥科大智能机器人技术有限公司 一种移动机器人避障方法
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN113722796A (zh) * 2021-08-29 2021-11-30 中国长江电力股份有限公司 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法
CN113763303A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN113819914A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种地图构建方法及装置
CN113822932A (zh) * 2021-08-30 2021-12-21 湖北亿咖通科技有限公司 设备定位方法、装置、非易失性存储介质及处理器
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114359463A (zh) * 2022-03-20 2022-04-15 宁波博登智能科技有限公司 一种针对地面标识的点云标注系统及方法
CN114429432A (zh) * 2022-04-07 2022-05-03 科大天工智能装备技术(天津)有限公司 一种多源信息分层融合方法、装置及存储介质
CN114485658A (zh) * 2021-12-08 2022-05-13 上海智能网联汽车技术中心有限公司 一种面向路侧感知系统精度评估的装置及方法
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN114674308A (zh) * 2022-05-26 2022-06-28 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN115220012A (zh) * 2022-09-20 2022-10-21 成都睿芯行科技有限公司 一种基于反光板定位方法
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115373407A (zh) * 2022-10-26 2022-11-22 北京云迹科技股份有限公司 机器人自动避开安全警戒线的方法及装置
CN115661395A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车位建图方法、车辆及存储介质
CN115774265A (zh) * 2023-02-15 2023-03-10 江苏集萃清联智控科技有限公司 用于工业机器人的二维码和激光雷达融合定位方法与装置
CN115903797A (zh) * 2022-11-09 2023-04-04 硕能(上海)自动化科技有限公司 一种针对变电站多楼层建模自主巡检方法
CN116105720A (zh) * 2023-04-10 2023-05-12 中国人民解放军国防科技大学 低照度场景机器人主动视觉slam方法、装置和设备
CN116222543A (zh) * 2023-04-26 2023-06-06 齐鲁工业大学(山东省科学院) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN116442286A (zh) * 2023-06-15 2023-07-18 国网瑞嘉(天津)智能机器人有限公司 机器人作业对象定位系统、方法、装置、机器人及介质
CN116660923A (zh) * 2023-08-01 2023-08-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和系统
CN116958842A (zh) * 2023-09-19 2023-10-27 北京格镭信息科技有限公司 基于激光-视觉融合的地下管线的巡检方法及装置
CN117168441A (zh) * 2023-11-02 2023-12-05 西安因诺航空科技有限公司 一种多传感器融合的slam定位和重建方法及系统
CN117470280A (zh) * 2023-12-21 2024-01-30 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305278A (zh) * 2018-01-30 2018-07-20 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
ADI SUJIWO 等: "Localization based on multiple visual-metric maps" *
ZHANG J 等: "Low-drift and real-time lidar odometry and mapping" *
刘明春 等: "基于深度学习的变电站巡检机器人道路场景识别" *
周阳: "基于多传感器融合的移动机器人SLAM算法研究" *
张杰 等: "一种改进ICP算法的移动机器人激光与视觉建图方法研究" *
朱英: "污水管道机器人视觉SLAM研究" *
苏晖 等: "电厂智能巡检机器人导航技术研究及应用" *
陈劭: "移动机器人RGB-D视觉SLAM算法" *
骆燕燕: "融合视觉信息的激光定位与建图" *
鲜开义: "变电站轨道式巡检机器人控制系统设计" *

Cited By (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459166B (zh) * 2020-04-22 2024-03-29 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN111553937B (zh) * 2020-04-23 2023-11-21 东软睿驰汽车技术(上海)有限公司 激光点云地图构建方法、装置、设备及系统
CN111553937A (zh) * 2020-04-23 2020-08-18 东软睿驰汽车技术(上海)有限公司 激光点云地图构建方法、装置、设备及系统
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111337947B (zh) * 2020-05-18 2020-09-22 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium
CN111538032B (zh) * 2020-05-19 2021-04-13 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置
CN111538032A (zh) * 2020-05-19 2020-08-14 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置
CN111652179A (zh) * 2020-06-15 2020-09-11 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111652179B (zh) * 2020-06-15 2024-01-09 东风汽车股份有限公司 基于点线特征融合激光的语义高精地图构建与定位方法
CN111709893A (zh) * 2020-06-16 2020-09-25 华南师范大学 一种基于信息熵和锐化调整的orb-slam2改进算法
CN111709893B (zh) * 2020-06-16 2023-06-27 华南师范大学 一种基于信息熵和锐化调整的orb-slam2改进算法
CN113819914A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种地图构建方法及装置
CN111932614B (zh) * 2020-07-06 2022-10-14 清华大学 一种基于聚类中心特征的激光雷达即时定位与建图方法
CN111757021B (zh) * 2020-07-06 2021-07-20 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111932614A (zh) * 2020-07-06 2020-11-13 清华大学 一种基于聚类中心特征的激光雷达即时定位与建图方法
CN111757021A (zh) * 2020-07-06 2020-10-09 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111798397A (zh) * 2020-07-08 2020-10-20 上海振华重工电气有限公司 一种激光雷达数据的消抖与雨雾处理方法
CN111735446B (zh) * 2020-07-09 2020-11-13 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111812669A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN112083433A (zh) * 2020-07-21 2020-12-15 浙江工业大学 一种应用于两轮移动机器人的激光雷达除畸变方法
CN112083433B (zh) * 2020-07-21 2023-06-13 浙江工业大学 一种应用于两轮移动机器人的激光雷达除畸变方法
CN111958595B (zh) * 2020-08-13 2021-09-17 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN111986232B (zh) * 2020-08-13 2021-09-14 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合系统及方法
CN111986232A (zh) * 2020-08-13 2020-11-24 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN112016612A (zh) * 2020-08-26 2020-12-01 四川阿泰因机器人智能装备有限公司 一种基于单目深度估计的多传感器融合slam方法
CN112346073A (zh) * 2020-09-25 2021-02-09 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112346073B (zh) * 2020-09-25 2023-07-11 中山大学 一种动态视觉传感器与激光雷达数据融合方法
CN112200850B (zh) * 2020-10-16 2022-10-04 河南大学 一种基于成熟特征点的orb提取方法
CN112200850A (zh) * 2020-10-16 2021-01-08 河南大学 一种基于成熟特征点的orb提取方法
CN112462385A (zh) * 2020-10-21 2021-03-09 南开大学 一种基于激光雷达的室外大环境下的地图拼接定位方法
CN112767458B (zh) * 2020-11-13 2022-07-29 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN112767458A (zh) * 2020-11-13 2021-05-07 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN112304957A (zh) * 2020-11-20 2021-02-02 天津朗硕机器人科技有限公司 一种基于机器视觉的外观缺陷智能检测方法及系统
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN114529603B (zh) * 2020-11-23 2023-05-19 新疆大学 一种基于激光slam与单目视觉slam融合的里程计方法
CN112596064B (zh) * 2020-11-30 2024-03-08 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112596064A (zh) * 2020-11-30 2021-04-02 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112506200B (zh) * 2020-12-14 2023-12-08 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112506200A (zh) * 2020-12-14 2021-03-16 广州视源电子科技股份有限公司 机器人定位方法、装置、机器人及存储介质
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航系统
CN112747749B (zh) * 2020-12-23 2022-12-06 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航系统
CN112596070B (zh) * 2020-12-29 2024-04-19 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN112596070A (zh) * 2020-12-29 2021-04-02 四叶草(苏州)智能科技有限公司 一种基于激光及视觉融合的机器人定位方法
CN112764053A (zh) * 2020-12-29 2021-05-07 深圳市普渡科技有限公司 一种融合定位方法、装置、设备和计算机可读存储介质
CN112764053B (zh) * 2020-12-29 2022-07-15 深圳市普渡科技有限公司 一种融合定位方法、装置、设备和计算机可读存储介质
CN112859051B (zh) * 2021-01-11 2024-04-09 桂林电子科技大学 激光雷达点云运动畸变的矫正方法
CN112859051A (zh) * 2021-01-11 2021-05-28 桂林电子科技大学 激光雷达点云运动畸变的矫正方法
CN112987065A (zh) * 2021-02-04 2021-06-18 东南大学 一种融合多传感器的手持式slam装置及其控制方法
CN112987065B (zh) * 2021-02-04 2024-01-12 东南大学 一种融合多传感器的手持式slam装置及其控制方法
CN112965063A (zh) * 2021-02-11 2021-06-15 深圳市安泽智能机器人有限公司 一种机器人建图定位方法
CN113075686A (zh) * 2021-03-19 2021-07-06 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113075686B (zh) * 2021-03-19 2024-01-12 长沙理工大学 一种基于多传感器融合的电缆沟智能巡检机器人建图方法
CN113066105A (zh) * 2021-04-02 2021-07-02 北京理工大学 激光雷达和惯性测量单元融合的定位与建图方法及系统
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113269837B (zh) * 2021-04-27 2023-08-18 西安交通大学 一种适用于复杂三维环境的定位导航方法
CN113269837A (zh) * 2021-04-27 2021-08-17 西安交通大学 一种适用于复杂三维环境的定位导航方法
CN113124880A (zh) * 2021-05-18 2021-07-16 杭州迦智科技有限公司 一种基于两种传感器数据融合的建图及定位方法、装置
CN113124880B (zh) * 2021-05-18 2023-06-13 杭州迦智科技有限公司 一种基于两种传感器数据融合的建图及定位方法、装置
CN113253293A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 一种激光点云畸变的消除方法和计算机可读存储介质
CN113379910A (zh) * 2021-06-09 2021-09-10 山东大学 基于slam的移动机器人矿山场景重建方法及系统
CN113436260B (zh) * 2021-06-24 2022-04-19 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113570715A (zh) * 2021-07-23 2021-10-29 东北大学 基于传感器融合的旋转激光实时定位建模系统及方法
CN113570715B (zh) * 2021-07-23 2023-10-13 东北大学 基于传感器融合的旋转激光实时定位建模系统及方法
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113587933B (zh) * 2021-07-29 2024-02-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113610910B (zh) * 2021-07-30 2024-04-09 合肥科大智能机器人技术有限公司 一种移动机器人避障方法
CN113610910A (zh) * 2021-07-30 2021-11-05 合肥科大智能机器人技术有限公司 一种移动机器人避障方法
CN113608236A (zh) * 2021-08-03 2021-11-05 哈尔滨智兀科技有限公司 一种基于激光雷达及双目相机的矿井机器人定位建图方法
CN113722796A (zh) * 2021-08-29 2021-11-30 中国长江电力股份有限公司 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法
CN113722796B (zh) * 2021-08-29 2023-07-18 中国长江电力股份有限公司 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法
CN113822932B (zh) * 2021-08-30 2023-08-18 亿咖通(湖北)技术有限公司 设备定位方法、装置、非易失性存储介质及处理器
CN113822932A (zh) * 2021-08-30 2021-12-21 湖北亿咖通科技有限公司 设备定位方法、装置、非易失性存储介质及处理器
CN113592865B (zh) * 2021-09-29 2022-01-25 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN113592865A (zh) * 2021-09-29 2021-11-02 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN114018236A (zh) * 2021-09-30 2022-02-08 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN113814953B (zh) * 2021-10-13 2024-03-19 国网山西省电力公司超高压变电分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN113763303A (zh) * 2021-11-10 2021-12-07 北京中科慧眼科技有限公司 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN114485658A (zh) * 2021-12-08 2022-05-13 上海智能网联汽车技术中心有限公司 一种面向路侧感知系统精度评估的装置及方法
CN114359463A (zh) * 2022-03-20 2022-04-15 宁波博登智能科技有限公司 一种针对地面标识的点云标注系统及方法
CN114429432A (zh) * 2022-04-07 2022-05-03 科大天工智能装备技术(天津)有限公司 一种多源信息分层融合方法、装置及存储介质
CN114429432B (zh) * 2022-04-07 2022-06-21 科大天工智能装备技术(天津)有限公司 一种多源信息分层融合方法、装置及存储介质
CN114674308A (zh) * 2022-05-26 2022-06-28 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN114674308B (zh) * 2022-05-26 2022-09-16 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
CN115267796B (zh) * 2022-08-17 2024-04-09 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115267796A (zh) * 2022-08-17 2022-11-01 深圳市普渡科技有限公司 定位方法、装置、机器人和存储介质
CN115220012A (zh) * 2022-09-20 2022-10-21 成都睿芯行科技有限公司 一种基于反光板定位方法
CN115373407A (zh) * 2022-10-26 2022-11-22 北京云迹科技股份有限公司 机器人自动避开安全警戒线的方法及装置
CN115903797A (zh) * 2022-11-09 2023-04-04 硕能(上海)自动化科技有限公司 一种针对变电站多楼层建模自主巡检方法
CN115661395A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车位建图方法、车辆及存储介质
CN115774265A (zh) * 2023-02-15 2023-03-10 江苏集萃清联智控科技有限公司 用于工业机器人的二维码和激光雷达融合定位方法与装置
CN116105720A (zh) * 2023-04-10 2023-05-12 中国人民解放军国防科技大学 低照度场景机器人主动视觉slam方法、装置和设备
CN116222543A (zh) * 2023-04-26 2023-06-06 齐鲁工业大学(山东省科学院) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN116442286B (zh) * 2023-06-15 2023-10-20 国网瑞嘉(天津)智能机器人有限公司 机器人作业对象定位系统、方法、装置、机器人及介质
CN116442286A (zh) * 2023-06-15 2023-07-18 国网瑞嘉(天津)智能机器人有限公司 机器人作业对象定位系统、方法、装置、机器人及介质
CN116660923B (zh) * 2023-08-01 2023-09-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和系统
CN116660923A (zh) * 2023-08-01 2023-08-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和系统
CN116958842A (zh) * 2023-09-19 2023-10-27 北京格镭信息科技有限公司 基于激光-视觉融合的地下管线的巡检方法及装置
CN116958842B (zh) * 2023-09-19 2024-01-05 北京格镭信息科技有限公司 基于激光-视觉融合的地下管线的巡检方法及装置
CN117168441A (zh) * 2023-11-02 2023-12-05 西安因诺航空科技有限公司 一种多传感器融合的slam定位和重建方法及系统
CN117168441B (zh) * 2023-11-02 2024-02-20 西安因诺航空科技有限公司 一种多传感器融合的slam定位和重建方法及系统
CN117470280A (zh) * 2023-12-21 2024-01-30 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备
CN117470280B (zh) * 2023-12-21 2024-04-05 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备

Also Published As

Publication number Publication date
CN111045017B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111045017B (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN106441286B (zh) 基于bim技术的无人机隧道巡检系统
CN105225269B (zh) 基于运动机构的三维物体建模系统
CN107478214A (zh) 一种基于多传感器融合的室内定位方法及系统
CN111060924B (zh) 一种slam与目标跟踪方法
Fruh et al. Fast 3D model generation in urban environments
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN110992487B (zh) 手持式飞机油箱快速三维地图重建装置及重建方法
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
Shi et al. Calibrcnn: Calibrating camera and lidar by recurrent convolutional neural network and geometric constraints
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN107483911A (zh) 一种基于多目图像传感器的信号处理方法及系统
CN113409459A (zh) 高精地图的生产方法、装置、设备和计算机存储介质
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN112762899A (zh) 一种激光点云加bim模型在可视化变电站中与视频信息的融合方法
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN115222919A (zh) 一种用于移动机械彩色点云地图构建的感知系统及方法
CN114543787B (zh) 基于条纹投影轮廓术的毫米级室内建图定位方法
CN105303518A (zh) 一种基于区域特征的视频帧间拼接方法
CN110443837B (zh) 一种直线特征约束下的城区机载激光点云与航空影像配准方法和系统
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant