CN111275763B - 闭环检测系统、多传感器融合slam系统及机器人 - Google Patents
闭环检测系统、多传感器融合slam系统及机器人 Download PDFInfo
- Publication number
- CN111275763B CN111275763B CN202010062310.1A CN202010062310A CN111275763B CN 111275763 B CN111275763 B CN 111275763B CN 202010062310 A CN202010062310 A CN 202010062310A CN 111275763 B CN111275763 B CN 111275763B
- Authority
- CN
- China
- Prior art keywords
- key frame
- pose
- closed loop
- unit
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 19
- 230000010354 integration Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Robotics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种闭环检测系统、多传感器融合SLAM系统及机器人,所述系统运行于移动机器人,包括:相似性检测单元、视觉位姿求解单元、以及激光位姿求解单元。根据本发明提供的闭环检测系统、多传感器融合SLAM系统及机器人,可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
Description
技术领域
本发明涉及机器人技术领域,特别涉及一种闭环检测系统、多传感器融合SLAM系统及机器人。
背景技术
SLAM技术在过去的几十年里得到了广泛的研究,尽管SLAM技术解决了机器人在未知环境同步定位与地图构建,但在处理多样化的环境和长时间连续运行方面,任然存在挑战。SLAM可以运行在各种各样的传感器上。在过去的几年里,基于激光雷达的SLAM系统因其对环境变化的鲁棒性而比基于视觉的系统更受欢迎。然而,纯激光雷达系统有其不足之处,它们在隧道或走廊等重复结构的环境中会失效。
发明内容
长时间运行的系统在访问同一个地点时,除了受到移动物体的影响外,还是会受到视角、亮度变化等情况的影响,使得使用图像进行场景识别变得及其困难。
鉴于此,本发明的目的在于提供一种闭环检测系统、多传感器融合SLAM系统及机器人,提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性
为了实现上述目的,本发明实施方式提供如下技术方案:
本发明提供一种所述闭环检测系统,包括:
相似性检测单元,用于提取当前关键帧图像描述符,并与关键帧数据集中的关键帧图像描述符做对比,选出最相似的相似关键帧,将所述相似关键帧插入所述关键帧数据集;
视觉位姿求解单元,通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点,使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点,当正确匹配的所述特征点达到第三阈值,使用随机抽样一致算法和n点透视法求解所述当前关键帧到所述相似关键帧的相对位姿变换;
激光位姿求解单元,选择所述当前关键帧以及所述相似关键帧相关联的两个体素子图,将所述相对位姿变换作为初值,采用迭代最近点算法匹配所述两个体素子图,得到最终相对位姿变换。
在这种情况下,可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
其中,所述闭环检测系统使用深度神经网络提取所述关键帧图像描述符,将所述图像描述符与之前的关键帧的所述图像描述符进行比较,判断是否存在闭环,如果存在闭环,则采用n点透视法确定两个所述关键帧的位姿变换,根据所述位姿变换和所述体素子图求解闭环位姿约束。
本发明还提供一种多传感器融合SLAM系统,所述SLAM系统包括如上所述的闭环检测系统,所述SLAM系统还包括:
扫描匹配模块,使用所述位姿信息作为初值,将激光扫描的点云与体素地图匹配求解出高级位姿, 根据所述高级位姿将所述点云融入所述体素地图,并衍生新的体素子图,所述激光扫描匹配模块产生激光匹配约束;
视觉激光图优化模块,在发生所述闭环后,根据所述位姿信息、所述激光匹配约束以及所述相对位姿变换,修正系统累计误差。
其中,将所述闭环位姿约束发送至所述激光扫描匹配模块。
在这种情况下,使用体素子图可减少激光匹配约束优化的计算量,使得位姿的计算更加准确,系统长时间运行累计的误差可以通过各模块及闭环检测系统充分融合而及时得到修复,并且整体提升了系统的鲁棒性及定位和建图的准确性。
其中,采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出所述高级位姿。
其中,所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元, 所述视觉前端单元用于选定所述关键帧,所述IMU预积分单元生成IMU观测值,所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。
由此,IMU预积分单元可将重力加速度对位姿和速度的影响去除,使得新定义的IMU观测值与初值积分的位姿和速度无关,在优化过程中无需反复重新积分,加快优化速度,进而可提高滑动窗口优化单元计算相邻帧的预积分增量、预积分误差的雅各比矩阵和协方差矩阵的效率;滑动窗口优化单元采用窗口优化而不是全局优化,可显著降低计算量,保证计算速度,视觉惯性模块可以为激光扫描匹配模块输出实时准确地位姿信息。
其中,所述视觉前端单元采用单目相机或者双目相机作为输入,所述单目相机或者双目相机采集初始图像,所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点,所述视觉前端单元包括检测器,所述检测器检测角点特征,保持每个所述初始图像中的所述特征点为最小数量,所述检测器用于设置相邻两个所述特征点之间的最小像素间隔,所述视觉前端单元去除所述特征点的畸变,并使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点,将正确匹配的所述特征点投影到单位球面上。
由此,可以是特征点便于进一步优化。
其中,所述选定关键帧,具体包括:判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值,如果超过第一阈值,则将所述当前帧视为新的关键帧,如果所述帧的跟踪的特征点的数量低于第二阈值,则将所述帧视为所述新的关键帧。
在这种情况下,避免了完全丢失特征跟踪。
其中,所述激光扫描匹配模块包括激光雷达,所述激光雷达获取扫描点,根据所述位姿信息和IMU观测值对所述扫描点执行变换,将其转换为当前时刻的所述机器人所在坐标系下的三维点云。
由此,可避免由于激光雷达的旋转速度相对机器人移动速度较慢时,产生的非常严重的运动畸变,显著提升了位姿估计的精度。
本发明还提供一种机器人,所述机器人包括如上所述的闭环检测系统。
根据本发明所提供的闭环检测系统、多传感器融合SLAM系统及机器人,可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
附图说明
图1示出了本发明的实施方式所涉及的闭环检测系统的示意图;
图2示出了本发明的实施方式所涉及的多传感器融合SLAM系统的示意图;
图3示出了本发明的实施方式所涉及的多传感器融合SLAM系统的视觉惯性模块的示意图。
具体实施方式
以下,参考附图,详细地说明本发明的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
本发明实施方式涉及闭环检测系统、多传感器融合SLAM系统及机器人。
如图1所示,闭环检测系统30,包括:相似性检测单元31、视觉位姿求解单元32和激光位姿求解单元33。相似性检测单元31提取当前关键帧图像描述符,并与关键帧数据集中的关键帧图像描述符做对比,选出最相似的相似关键帧,将所述相似关键帧插入所述关键帧数据集。视觉位姿求解单元32通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点,使用随机抽样一致算法(RANSAC)和基本矩阵模型剔除错误匹配的所述特征点,当正确匹配的所述特征点达到第三阈值,使用随机抽样一致算法(RANSAC)和n点透视法(PnP)求解所述当前关键帧到所述相似关键帧的相对位姿变换。激光位姿求解单元33选择所述当前关键帧以及所述相似关键帧相关联的两个所述体素子图,将所述相对位姿变换作为初值,采用迭代最近点算法(ICP)匹配所述两个体素子图,得到最终相对位姿变换。在这种情况下,可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。
在一些示例中,当求解内点数量大于设定阈值才认为当前回环检查有效。
在本实施方式中,闭环检测系统30使用深度神经网络提取所述关键帧图像描述符,将所述图像描述符与之前的关键帧的所述图像描述符进行比较,判断是否存在闭环,如果存在闭环,则采用n点透视法确定两个所述关键帧的位姿变换,根据所述位姿变换和所述体素子图求解闭环位姿约束。由此,可显著提升闭环检测的效率。
本发明实施方式涉及的多传感器融合SLAM系统100。该系统运行于移动机器人。SLAM系统100包括如上所述的闭环检测系统30。关于闭环检测系统30,在此不做赘述。
如图2所示,多传感器融合SLAM系统100还包括:视觉惯性模块10、激光扫描匹配模块20、视觉激光图优化模块40。视觉惯性模块10,用于输出位姿信息。激光扫描匹配模块20使用所述位姿信息作为初值,将激光扫描的点云与体素地图匹配求解出高级位姿,根据所述高级位姿将所述点云融入所述体素地图,并衍生新的体素子图,所述激光扫描匹配模块产生激光匹配约束。视觉激光图优化模块40在发生所述闭环后,根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束,修正系统累计误差。其中,闭环检测系统30将所述闭环位姿约束发送至所述激光扫描匹配模块。在这种情况下,使用体素子图可减少激光匹配约束优化的计算量,使得位姿的计算更加准确,系统长时间运行累计的误差可以通过各模块充分融合而及时得到修复,并且整体提升了系统的鲁棒性及定位和建图的准确性。
在本实施方式中,采用迭代最近点算法(ICP)将激光扫描的点云与体素地图匹配求解出所述高级位姿。
如图3所示,在本实施方式中,视觉惯性模块10包括视觉前端单元11、IMU预积分单元12和滑动窗口优化单元13。视觉前端单元11用于选定所述关键帧。IMU预积分单元12生成IMU观测值。滑动窗口优化单元13用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。由此,IMU预积分单元可将重力加速度对位姿和速度的影响去除,使得新定义的IMU观测值与初值积分的位姿和速度无关,在优化过程中无需反复重新积分,加快优化速度,进而可提高滑动窗口优化单元计算相邻帧的预积分增量、预积分误差的雅各比矩阵和协方差矩阵的效率;滑动窗口优化单元采用窗口优化而不是全局优化,可显著降低计算量,保证计算速度,视觉惯性模块可以为激光扫描匹配模块输出实时准确地位姿信息。
在本实施方式中,视觉前端单元11采用单目相机或者双目相机作为输入。所述单目相机或者双目相机采集初始图像。视觉前端单元11通过KLT稀疏光流算法跟踪各个帧的特征点。视觉前端单元11包括检测器。所述检测器检测角点特征,保持每个所述初始图像中的所述特征点为最小数量。所述检测器用于设置相邻两个所述特征点之间的最小像素间隔。视觉前端单元11去除所述特征点的畸变,并使用随机抽样一致算法(RANSAC)和基本矩阵模型剔除错误匹配的所述特征点,将正确匹配的所述特征点投影到单位球面上。由此,可以使特征点便于进一步优化。
在本实施方式中,优选地,每个图像中特征点的最小数量为100 – 300。
在本实施方式中,所述选定关键帧,具体包括:
判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值,如果超过第一阈值,则将所述当前帧视为新的关键帧,如果所述帧的跟踪的特征点的数量低于第二阈值,则将所述帧视为所述新的关键帧。在这种情况下,避免了完全丢失特征跟踪。
在本实施方式中,滑动窗口优化单元13的滑动窗口中的状态变量为:
其中,xk对应第k帧图像的IMU状态,包括IMU在世界坐标系下的位置、速度、姿态,以及IMU坐标系下的加速度计偏置和陀螺仪偏置。n和m分别滑动窗口中关键帧数量和特征点数量。λl表示第l个特征点在其第一次观测帧上的逆深度。表示相机到IMU的外参,包括位置、姿态和时延。
为计算滑动窗口中的状态变量,使用非线性优化方式求解公式。其中,
分别表示IMU、视觉和里程测量误差。表示窗口内所有IMU测量,C表示窗口内至少观测到两次的特征点,O表示窗口内所有的里程测量。是由边缘化得到的先验信息。
在一些示例中,为保证窗口长度固定,需要丢弃多余的关键帧。但为了保留被丢弃关键帧对窗口内其他帧的约束,需要将被丢弃的信息转化为先验信息,转化过程称为边缘化,具体由舒尔补计算实现。
在本实施方式中,激光扫描匹配模块20包括激光雷达。所述激光雷达获取扫描点,根据所述位姿信息和IMU观测值对所述扫描点执行变换,将其转换为当前时刻的所述机器人所在坐标系下的三维点云。由此,可避免由于激光雷达的旋转速度相对机器人移动速度较慢时,产生的非常严重的运动畸变,显著提升了位姿估计的精度。
在一些示例中,激光雷达可选择二维或三维激光。为减小三维激光匹配的计算量需要对其提取几何特征,包括边缘点和平面点。
在本实施方式中,第一阈值、第二阈值、第三阈值可以是预设设定的任意值。
本发明实施方式涉及的一种机器人。所述机器人包括如上所述的闭环检测系统30。关于闭环检测系统30,在此不做赘述。在这种情况下,可显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等,均应包含在该技术方案的保护范围之内。
Claims (5)
1.一种多传感器融合SLAM系统,其特征在于,所述SLAM系统包括闭环检测系统,所述闭环检测系统运行于移动机器人,所述闭环检测系统包括:
相似性检测单元,用于提取当前关键帧图像描述符,并与关键帧数据集中的关键帧图像描述符做对比,选出最相似的相似关键帧,将所述相似关键帧插入所述关键帧数据集,所述闭环检测系统使用深度神经网络提取所述关键帧图像描述符,将所述关键帧图像描述符与之前的关键帧的所述图像描述符进行比较,判断是否存在闭环,如果存在闭环,则采用n点透视法确定两个所述关键帧的位姿变换,根据所述位姿变换和体素子图求解闭环位姿约束;
视觉位姿求解单元,通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点,使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点,当正确匹配的所述特征点达到第三阈值,使用随机抽样一致算法和n点透视法求解所述当前关键帧到所述相似关键帧的相对位姿变换;
激光位姿求解单元,选择所述当前关键帧以及所述相似关键帧相关联的两个体素子图,将所述相对位姿变换作为初值,采用迭代最近点算法匹配所述两个体素子图,得到最终相对位姿变换;
所述SLAM系统还包括:
视觉惯性模块,用于输出位姿信息,所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元,所述视觉前端单元用于选定所述关键帧,所述IMU预积分单元生成IMU观测值,所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差;
激光扫描匹配模块,使用所述位姿信息作为初值,采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出高级位姿,根据所述高级位姿将所述点云融入所述体素地图,并衍生新的体素子图,所述激光扫描匹配模块产生激光匹配约束;
视觉激光图优化模块,在发生所述闭环后,根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束,修正系统累计误差,
其中,将所述闭环位姿约束发送至所述激光扫描匹配模块。
2.如权利要求1所述的多传感器融合SLAM系统,其特征在于,所述视觉前端单元采用单目相机或者双目相机作为输入,所述单目相机或者双目相机采集初始图像,所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点,所述视觉前端单元包括检测器,所述检测器检测角点特征,保持每个所述初始图像中的所述特征点为最小数量,所述检测器用于设置相邻两个所述特征点之间的最小像素间隔,所述视觉前端单元去除所述特征点的畸变,并使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点,将正确匹配的所述特征点投影到单位球面上。
3.如权利要求2所述的多传感器融合SLAM系统,其特征在于,选定关键帧,具体包括:判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值,如果超过第一阈值,则将所述当前帧视为新的关键帧,如果所述帧的跟踪的特征点的数量低于第二阈值,则将所述帧视为所述新的关键帧。
4.如权利要求1所述的多传感器融合SLAM系统,其特征在于,所述激光扫描匹配模块包括激光雷达,所述激光雷达获取扫描点,根据所述位姿信息和所述IMU观测值对所述扫描点执行变换,将其转换为当前时刻的所述机器人所在坐标系下的三维点云。
5.一种机器人,其特征在于,所述机器人包括如权利要求1所述的多传感器融合SLAM系统。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010062310.1A CN111275763B (zh) | 2020-01-20 | 2020-01-20 | 闭环检测系统、多传感器融合slam系统及机器人 |
EP20915483.0A EP4083919A4 (en) | 2020-01-20 | 2020-12-09 | CLOSED-LOOP DETECTION METHOD AND SYSTEM, MULTI-SENSOR FUSION SERVO SYSTEM, ROBOT AND SUPPORT |
US17/793,954 US20230045796A1 (en) | 2020-01-20 | 2020-12-09 | Loop closure detection method and system, multi-sensor fusion slam system, robot, and medium |
PCT/CN2020/135029 WO2021147549A1 (zh) | 2020-01-20 | 2020-12-09 | 闭环检测方法及系统、多传感器融合slam系统及机器人、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010062310.1A CN111275763B (zh) | 2020-01-20 | 2020-01-20 | 闭环检测系统、多传感器融合slam系统及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275763A CN111275763A (zh) | 2020-06-12 |
CN111275763B true CN111275763B (zh) | 2023-10-13 |
Family
ID=71001789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010062310.1A Active CN111275763B (zh) | 2020-01-20 | 2020-01-20 | 闭环检测系统、多传感器融合slam系统及机器人 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230045796A1 (zh) |
EP (1) | EP4083919A4 (zh) |
CN (1) | CN111275763B (zh) |
WO (1) | WO2021147549A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275763B (zh) * | 2020-01-20 | 2023-10-13 | 深圳市普渡科技有限公司 | 闭环检测系统、多传感器融合slam系统及机器人 |
CN111258313B (zh) * | 2020-01-20 | 2022-06-07 | 深圳市普渡科技有限公司 | 多传感器融合slam系统及机器人 |
CN111879306B (zh) * | 2020-06-17 | 2022-09-27 | 杭州易现先进科技有限公司 | 视觉惯性定位的方法、装置、系统和计算机设备 |
CN111765882B (zh) * | 2020-06-18 | 2024-07-12 | 浙江华睿科技股份有限公司 | 激光雷达定位方法及其相关装置 |
CN112102400B (zh) * | 2020-09-15 | 2022-08-02 | 上海云绅智能科技有限公司 | 基于距离的闭环检测方法、装置、电子设备和存储介质 |
CN112631271A (zh) * | 2020-10-09 | 2021-04-09 | 南京凌华微电子科技有限公司 | 一种基于机器人感知融合的地图生成方法 |
CN112233177B (zh) * | 2020-10-10 | 2021-07-30 | 中国安全生产科学研究院 | 一种无人机位姿估计方法及系统 |
CN112305554B (zh) * | 2020-11-23 | 2021-05-28 | 中国科学院自动化研究所 | 基于有向几何点和稀疏帧的激光里程计方法、系统、装置 |
CN113829353B (zh) * | 2021-06-07 | 2023-06-13 | 深圳市普渡科技有限公司 | 机器人、地图构建方法、装置和存储介质 |
CN113776528B (zh) * | 2021-09-13 | 2024-06-11 | 河北环铁技术开发有限公司 | 一种物流机器人及其定位方法 |
CN114358133B (zh) * | 2021-12-09 | 2023-04-18 | 虎联智能(武汉)科技有限公司 | 一种基于语义辅助双目视觉slam检测回环帧的方法 |
CN114505854A (zh) * | 2022-01-11 | 2022-05-17 | 北京盈迪曼德科技有限公司 | 多传感器数据的检测处理方法、装置及机器人 |
CN116423515B (zh) * | 2023-04-28 | 2023-10-03 | 燕山大学 | 一种多机器人的数字孪生控制系统及其定位与建图的方法 |
CN117761717B (zh) * | 2024-02-21 | 2024-05-07 | 天津大学四川创新研究院 | 一种自动回环三维重建系统及运行方法 |
CN118411415A (zh) * | 2024-07-02 | 2024-07-30 | 中国科学院合肥物质科学研究院 | 基于鲸鱼算法与集成学习的移动机器人重定位方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
WO2019140745A1 (zh) * | 2018-01-16 | 2019-07-25 | 广东省智能制造研究所 | 机器人定位方法及装置 |
US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
CN110645998A (zh) * | 2019-09-10 | 2020-01-03 | 上海交通大学 | 一种基于激光点云的无动态物体地图分段建立方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9904845B2 (en) * | 2009-02-25 | 2018-02-27 | Honda Motor Co., Ltd. | Body feature detection and human pose estimation using inner distance shape contexts |
CN106324616B (zh) * | 2016-09-28 | 2019-02-26 | 深圳市普渡科技有限公司 | 一种基于惯性导航单元与激光雷达的地图构建方法 |
US10274325B2 (en) * | 2016-11-01 | 2019-04-30 | Brain Corporation | Systems and methods for robotic mapping |
WO2018125938A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Enrichment of point cloud data for high-definition maps for autonomous vehicles |
CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
CN110428467B (zh) * | 2019-07-30 | 2020-05-19 | 四川大学 | 一种相机、imu和激光雷达联合的机器人定位方法 |
CN111275763B (zh) * | 2020-01-20 | 2023-10-13 | 深圳市普渡科技有限公司 | 闭环检测系统、多传感器融合slam系统及机器人 |
-
2020
- 2020-01-20 CN CN202010062310.1A patent/CN111275763B/zh active Active
- 2020-12-09 US US17/793,954 patent/US20230045796A1/en active Pending
- 2020-12-09 WO PCT/CN2020/135029 patent/WO2021147549A1/zh unknown
- 2020-12-09 EP EP20915483.0A patent/EP4083919A4/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
WO2019140745A1 (zh) * | 2018-01-16 | 2019-07-25 | 广东省智能制造研究所 | 机器人定位方法及装置 |
WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
CN110645998A (zh) * | 2019-09-10 | 2020-01-03 | 上海交通大学 | 一种基于激光点云的无动态物体地图分段建立方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4083919A4 (en) | 2024-01-31 |
EP4083919A1 (en) | 2022-11-02 |
CN111275763A (zh) | 2020-06-12 |
WO2021147549A1 (zh) | 2021-07-29 |
US20230045796A1 (en) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275763B (zh) | 闭环检测系统、多传感器融合slam系统及机器人 | |
CN111258313B (zh) | 多传感器融合slam系统及机器人 | |
CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
CN109993113B (zh) | 一种基于rgb-d和imu信息融合的位姿估计方法 | |
CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
US10546387B2 (en) | Pose determination with semantic segmentation | |
CN112219087A (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
CN112749665B (zh) | 一种基于图像边缘特征的视觉惯性slam方法 | |
CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
CN112649016A (zh) | 一种基于点线初始化的视觉惯性里程计方法 | |
CN111366153B (zh) | 一种激光雷达与imu紧耦合的定位方法 | |
CN111932674A (zh) | 一种线激光视觉惯性系统的优化方法 | |
CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
CN116359905A (zh) | 基于4d毫米波雷达的位姿图slam计算方法及系统 | |
CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
CN116007609A (zh) | 一种多光谱图像和惯导融合的定位方法和计算系统 | |
CN112432653B (zh) | 基于点线特征的单目视觉惯性里程计方法 | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN116045965A (zh) | 一种融合多传感器的环境地图构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |