CN111795686B - 一种移动机器人定位与建图的方法 - Google Patents
一种移动机器人定位与建图的方法 Download PDFInfo
- Publication number
- CN111795686B CN111795686B CN202010511607.1A CN202010511607A CN111795686B CN 111795686 B CN111795686 B CN 111795686B CN 202010511607 A CN202010511607 A CN 202010511607A CN 111795686 B CN111795686 B CN 111795686B
- Authority
- CN
- China
- Prior art keywords
- imu
- sensor
- wheel speed
- coordinate system
- monocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000013519 translation Methods 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种移动机器人定位与建图的方法，包括移动机器人主体、单目相机、IMU传感器和轮速计传感器，单目相机镜头朝向所述移动机器人主体的正前方；处理单目相机获取的每帧图像，获得单目相机的处理值，对每两相邻帧图像间的IMU传感器测量值进行预积分，获得IMU传感器的处理值，对每两相邻帧图像间的轮速计传感器测量值进行预积分，获得轮速计传感器的处理值；将单目相机、IMU传感器和轮速计传感器的处理值加入滑动窗口；获取滑动窗口的处理值，对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化；初始化成功后，构建因子图模型获得待估计状态值，对滑动窗口的处理值和待估计状态值进行非线性优化，得到所述移动机器人的位姿和地图。
Description
技术领域
本发明涉及移动机器人领域，具体涉及一种移动机器人定位与建图的方法。
背景技术
同步定位与建图(SLAM，Simultaneous Localization and Mapping)技术是移动机器人的关键技术。该技术可以让机器人利用自身携带的传感器提取到环境信息和已有地图，从而进行定位和地图更新。目前SLAM技术大致可以分为两大类：激光SLAM和视觉SLAM。
激光SLAM使用的核心传感器之一是激光雷达，视觉SLAM使用的核心传感器之一是视觉传感器，但是同等级激光雷达的价格普遍高于同等级的视觉传感器。现有技术当中，视觉SLAM采用的单目相机和IMU传感器信息融合是主流方案之一，被称为单目视觉惯性里程计。因为该方案采用的单目相机和IMU传感器价格较为低廉，而且技术也较为成熟，所以应用较为广泛。该方案通过获取预积分后的IMU测量值和单目相机对环境中特征点的观测值，采用非线性优化方法对机器人的位姿、线速度、IMU线加速度偏差、角速度偏差以及特征点的三维坐标进行实时状态估计。
但是，该方案在某些情况下存在额外的不可观性。例如当机器人在平面上以固定的线加速度运动时，存在尺度因子不可观性；当机器人在平面上沿直线运动时，存在航向角、俯仰角和横滚角的不可观性。某个值存在不可观性，意味着该值可能有多个解。因此，该方案会造成移动机器人位姿估计不准确，进而无法构建高准确度的地图。
发明内容
为了克服单目视觉惯性里程计方案在某些情况下存在额外的不可观性造成移动机器人位姿估计不准确，进而无法构建高准确度地图的问题，本发明在单目视觉惯性里程计方案的基础上加入轮速计传感器和平面约束信息，提出一种移动机器人的定位与建图方法，可以提高移动机器人的定位精度和建图的准确性。
基于上述目的，本发明的技术方案如下：
提供一种移动机器人定位与建图的方法，所述移动机器人包括移动机器人主体、单目相机、IMU传感器和轮速计传感器，所述单目相机镜头朝向所述移动机器人主体的正前方，其中IMU传感器包括IMU加速度计和IMU陀螺仪；
处理单目相机获取的每帧图像，获得单目相机的处理值，对每两相邻帧图像间的IMU传感器测量值进行预积分，获得IMU传感器的处理值，对每两相邻帧图像间的轮速计传感器测量值进行预积分，获得轮速计传感器的处理值；
将所述单目相机、IMU传感器和轮速计传感器的处理值加入滑动窗口；获取滑动窗口的处理值，对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化；
初始化成功后，构建因子图模型获得待估计状态值，对滑动窗口的处理值和待估计状态值进行非线性优化最小化残差项，得到所述移动机器人的位姿和地图。
其中，成功完成对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子的初始化的方法包括：对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化，若初始化失败，对所述滑动窗口进行更新，之后再次获取所述滑动窗口的处理值，直至成功初始化。
在得到所述移动机器人的位姿和地图后，对所述滑动窗口进行更新，对更新后的滑动窗口的处理值和待估计状态值再次进行非线性优化，得到所述更新后的移动机器人的位姿和地图。
上述的更新使用同一种方法，具体的，读取滑动窗口内的最新两帧，判断倒数第二帧是否为关键帧，若是关键帧，则删除滑动窗口内的最老关键帧的单目相机、IMU传感器和轮速计传感器的处理值，并保留当前帧的单目相机、IMU传感器和轮速计传感器的处理值；若不是关键帧，则删除当前帧的单目相机的处理值，保留IMU传感器和轮速计传感器的处理值，该种更新方法称之为边缘化，边缘化的方法可以有效减少计算量，减轻机器人的计算负担。
本发明的单目相机、IMU传感器的处理值通过现有算法获得；轮速计传感器的处理值通过构建轮速计传感器的运动测量模型、测量预积分模型、误差传播模型以及协方差传播模型获取。
本发明初始化IMU陀螺仪偏差方法包括：获取滑动窗口内的相邻的两个关键帧，读取关键帧中的单目相机坐标系、IMU传感器坐标系、轮速计传感器坐标系在每个关键帧时刻的旋转量，将所述单目相机坐标系、IMU传感器坐标系的旋转量和所述单目相机坐标系、轮速计传感器坐标的旋转量分别构建最小二乘方程，将求出的值进行求和与平均，初始化所述IMU陀螺仪偏差。
本发明初始化线速度和尺度因子的方法包括：获取滑动窗口内的相邻的两个关键帧，读取关键帧中的IMU传感器和轮速计传感器的预积分平移量、速度变化量；以及单目相机的平移量、速度变化量和重力分量；将IMU传感器和轮速计传感器的预积分平移量、速度变化量，以及单目相机的平移量、速度变化量和重力分量构建最小二乘方程，初始化所述线速度和尺度因子。
本发明构建因子图模型获得待估计状态值的方法包括：所述残差项包括：IMU传感器残差、轮速计传感器残差、单目相机残差、平面残差；所述每个关键帧滑动窗口的待估计状态值包括：在世界坐标系下的平移量、速度、旋转量、IMU加速度计偏差、IMU陀螺仪偏差、特征点逆深度；所述IMU传感器残差约束所述世界坐标系下的平移量、旋转量、速度和IMU加速度计偏差、IMU陀螺仪偏差；所述轮速计传感器约束所述世界坐标系下的平移量、旋转量和IMU传感器到轮速计的外参；所述单目相机残差约束所述世界坐标系下的特征点逆深度、平移量、旋转量、速度和IMU加速度计偏差、IMU陀螺仪偏差、IMU到单目相机的外参；所述平面残差约束所述世界坐标系下的平移量和旋转量；完成所述构建因子图模型获得待估计状态值。
其中，IMU残差和单目视觉残差使用VINS-Mono获得，轮速计残差和平面约束残差使用本发明的方法获得。
具体的，轮速计残差公式如下：
平面约束残差rpl公式如下：
本发明具有以下有益效果：
本发明提出了一种鲁棒的初始化方法，提高了移动机器人的定位精度和准确性，此外，本发明还提供了一种边缘化的更新方法，可以有效减少计算量，减轻机器人的计算负担。
下文将结合附图对本发明具体实施例进行详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例，附图中相同的附图标志标示了相同或类似的部件或部分，本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是本发明移动机器人的示意图；
图2是本发明定位与建图的流程示意图；
图3是本发明的因子图模型。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
在本发明说明方案之前，对文中出现的符号做以下说明：
表示带噪声的测量值，例如：如果/>表示在轮速计的坐标系下，机器人沿前进方向线速度的大小，即真实值，则/>表示在轮速计的坐标系下，机器人沿前进方向带噪声的线速度的大小，即测量值；
表示从M坐标系到N坐标系的旋转矩阵，/>为/>的四元数表达形式，/>表示从M坐标系到N坐标系的平移量，/>表示从M坐标系到N坐标系的变换矩阵。M和N包括：世界坐标系W，IMU坐标系B，相机坐标系C，轮速计坐标系O；获取第k帧图像时的IMU坐标系表示为bk，获取第k帧图像时的相机坐标系表示为ck，获取第k帧图像时的轮速计坐标系表示为ok。
例如：表示从IMU坐标系到轮速计坐标系的旋转矩阵，/>为/>的四元数表达形式，/>表示从IMU坐标系到轮速计坐标系的平移量。/>表示从IMU坐标系到轮速计坐标系的变换矩阵，由/>和/>组成；/>表示从IMU坐标系到相机坐标系的旋转矩阵，/>为/>的四元数表达形式，/>表示从IMU坐标系到相机坐标系的平移量。/>表示从IMU坐标系到相机坐标系的变换矩阵，由/>和/>组成。
表示向量N关于向量M的雅可比矩阵。
本发明提供一种移动机器人定位与建图的方法，如图1所示，该移动机器人包括移动机器人主体1、单目相机2、IMU传感器3和轮速计传感器4，其中，IMU传感器包括IMU陀螺仪和IMU加速度计，单目相机2的镜头朝向移动机器人主体1的正前方，在移动机器人运动前，需要对单目相机2进行标定，获取其内参，包括焦距、主点和畸变参数，标定方法采用业界普遍使用的方法，比如张正友标定法；测量轮速计传感器4左右轮子之间的距离，单位为米，最后检查IMU传感器3的可靠性。
确定第一个关键帧时刻的IMU坐标系为世界坐标系，建立如图1所示的单目相机、IMU传感器和轮速计传感器之间的坐标系。其中，判断关键帧的方法为：若该帧与上一个关键帧的平均视差足够大或跟踪到的特征点数目低于阈值，则判断该帧为关键帧。
如图2所示，是本发明的定位与建图方法的流程示意图。本发明获取单目相机、IMU传感器、轮速计传感器的测量值，对上述测量值进行处理获得单目相机、IMU传感器、轮速计传感器的处理值。具体的，对单目相机获取的每帧图像进行处理，获得单目相机的处理值；对每两帧图像间的IMU传感器测量值进行预积分，获得IMU传感器的处理值；对每两帧图像间的轮速计传感器测量值进行预积分，获得轮速计传感器的处理值。
将所述单目相机、IMU传感器和轮速计传感器的处理值加入滑动窗口，然后获取滑动窗口的处理值，对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化；初始化成功后，通过构建因子图模型获得待估计状态值，对滑动窗口的处理值和待估计的状态值进行非线性优化最小化残差项，得到所述移动机器人的位姿和地图。
如果未在滑动窗口内的帧中找到特征匹配数目足够多和视差足够大的帧，或者没能计算出位姿的旋转量和环境特征点的三维坐标，会导致初始化失败；若初始化失败，则需要对滑动窗口进行更新，完成更新后，再次获取滑动窗口的处理值进行初始化，直至初始化成功。
同时为了避免滑动窗口内帧数过多导致计算量变大，加重移动机器人计算负担的问题，得到移动机器人的位姿和地图后，仍需要对滑动窗口进行更新，之后对更新后滑动窗口的处理值和待估计状态值再次进行非线性优化最小化残差项，得到更新后的移动机器人的位姿和地图。
具体的，滑动窗口更新方法如下：滑动窗口包括多个关键帧的单目相机处理值、多个关键帧时刻间所有的IMU传感器和轮速计传感器的处理值、以及最新两帧的单目相机处理值、IMU和轮速计传感器的处理值，读取在滑动窗口内时间保存时间最短和次短的两帧，即最新两帧，判断倒数第二帧，即保存时间次短的帧是否为关键帧，若是关键帧，则删除最老关键帧的单目相机、IMU传感器和轮速计传感器的处理值，即目前滑动窗口内保存时间最长的关键帧其处理值的删除，并保留当前帧的单目相机、IMU传感器和轮速计传感器的处理值，因为最老关键帧的删除，原保存时间最长关键帧与次长关键帧之间所有的IMU传感器和轮速计传感器的处理值也会随之删除；若不是关键帧，则删除当前帧的单目相机的处理值，保留IMU传感器和轮速计传感器的处理值，该更新的方法称为边缘化。
其中，本发明的单目相机、IMU传感器的处理值通过现有算法获得，本发明使用VINS-Mono算法处理单目相机获取的每帧图像，获得单目相机的处理值，具体的，对单目相机拍摄到的图像首先通过KLT稀疏光流算法进行特征提取跟踪与匹配，然后使用RANSAC剔除异常匹配对，再通过三角化计算特征点的三维坐标和相机位姿，最后通过最小化重投影误差进一步优化，得到单目相机的处理值；
本发明使用VINS-Mono算法对每两相邻帧图像间的IMU传感器测量值进行预积分，获得IMU传感器的处理值。
另外，本发明构建了轮速计传感器的运动测量模型、测量预积分模型、误差传播模型以及协方差传播模型对轮速计传感器测量值进行处理，获得轮速计传感器的处理值。
具体的，本发明的轮速计传感器的运动测量模型如下：
其中，k表示获取轮速计测量值的时间戳。和/>表示在轮速计的坐标系下，机器人沿前进方向带噪声的线速度和航向角速度的大小，即测量值。/>和/>表示机器人沿前进方向线速度和航向角速度的大小，即真实值。nr和nl分别是右轮编码器和左轮编码器的测量噪声，为高斯白噪声。l表示左轮编码器和右轮编码器之间的距离。
本发明的轮速计传感器的测量预积分模型如下：
因为轮速计传感器测量值的获取频率远大于单目相机获取图像的频率，所以对每两相邻帧图像间的轮速计传感器测量值进行预积分。本发明的预积分模型如下：
其中，和/>为IMU坐标系下从i时刻到j时刻的旋转矩阵和平移量的真实值，为IMU坐标系下从i时刻到k-1时刻旋转矩阵的真实值，/>为IMU坐标系下从k-1时刻到k时刻旋转矩阵的真实值。/>和/>为IMU坐标系到轮速计坐标系的旋转矩阵和平移量。Δt为相邻两帧图像之间的时间间隔。exp()^为李代数到李群的指数映射。
根据一阶泰勒展开，可以将旋转和平移的积分测量项和误差项分离。公式(3)和公式(4)可以用公式(5)和公式(6)表示。其中，和/>为IMU坐标系下从i时刻到j时刻带误差的旋转矩阵和平移量，即测量值。/>和/>为轮速计在IMU坐标系下从i时刻到j时刻累积的旋转误差项和平移误差项。/> 为右雅可比。
之后通过将测量预积分模型中的测量项和误差项分离，可以得到旋转误差项和平移误差项/>即本发明的轮速计传感器的误差传播模型，具体如下：
进一步的，可以将累积的误差项随时间的变化用矩阵形式进行表示，公式(7)表示的是从时刻i到时刻k的累积误差经过k+1时刻的旋转和平移变换到从时刻i到时刻k+1的累积误差。
最后根据公式(7)可以计算误差项的协方差，可获得本发明的轮速计传感器协方差传播模型：
因此，误差项服从高斯分布/>
通过上述方法获得单目相机、IMU传感器和轮速计传感器的处理值后，将上述处理值加入滑动窗口，对机器人位姿、特征点的坐标、IMU陀螺仪、尺度因子和线速度进行初始化，其中，机器人的位姿包括机器人位姿的旋转量和平移量。
一般的，初始化有如下四个步骤：
(1)首先通过单目相机的SFM技术初始化机器人位姿的旋转量、平移量和环境中特征点的三维坐标，这里旋转量指的是单目相机坐标系相对于世界坐标系的旋转量，这里的平移量指的是单目相机坐标系相对于世界坐标系的平移量，同理，IMU传感器、轮速计传感器的旋转量、平移量分别指的是IMU传感器相对于世界坐标系的旋转量、平移量和轮速计传感器相对于世界坐标系的旋转量、平移量；
(2)然后利用旋转量约束初始化陀螺仪偏差，这里旋转量的约束使得单目相机坐标系相对于世界坐标系的旋转，应该是等于，IMU坐标系相对于世界坐标系的旋转，也应该是等于，轮速计坐标系相对于世界坐标系的旋转；
(3)之后利用平移量约束和平面运动中重力向量分量基本不变的前提条件，构建线性最小二乘方程联合优化线速度和尺度因子，使滑动窗口内的IMU预积分量、轮速计的预积分量和单目相机计算的平移量对齐，这里平移量约束是指相机坐标系相对于世界坐标系的平移，应该是等于，IMU坐标系相对于世界坐标系的平移，也应该是等于，轮速计坐标系相对于世界坐标系的平移；因为本发明针对的是平面运动，故重力向量是相机的竖直方向的分量，其基本不变；这里尺度因子用于还原场景的原本大小，这是因为单目相机无法获取真实的场景大小，通过尺度因子来还原场景的原有大小；
(4)最后，因为无法保证重力向量的模长不变，需要再对重力向量添加模长约束，进一步优化重力方向。这样，就得到了尺度因子修正后的机器人位姿和环境中特征点的坐标。
其中，本发明的(1)、(4)步骤的处理方法使用现有技术，具体的，(1)步骤使用单目相机的SFM技术初始化机器人的位姿和特征点的坐标，(4)步骤添加模长约束的初始化，是使用VINS-Mono算法的方法。
本发明(2)步骤的利用旋转量约束初始化陀螺仪偏差方法如下：
获取滑动窗口中连续的两个关键帧，两帧的时刻分别为k和k+1，利用相邻两个关键帧之间的IMU预积分旋转量和IMU坐标系下相邻两个关键帧之间的单目相机旋转量相等的关系，以及利用相邻两个关键帧之间的轮速计预积分旋转量和轮速计坐标系下相邻两个关键帧之间的单目相机旋转量相等的关系，即得到的单目相机从时刻k到时刻k+1的旋转量转换到IMU坐标系下，应该是等于IMU从时刻k到时刻k+1的预积分旋转量；得到的单目相机从时刻k到时刻k+1的旋转量转换到轮速计坐标系下，也应该是等于轮速计从时刻k到时刻k+1的预积分旋转量。这样，构建如下最小二乘方程：
其中，是滑动窗口内所有关键帧的集合。/>分别为IMU坐标系、轮速计坐标系和单目相机坐标系下k+1到k时刻旋转量的四元数表示形式。/> 表示带误差的旋转量，/>表示经过IMU陀螺仪偏差校正后的旋转量，δbgk表示k+1到k时刻IMU陀螺仪偏差的变化量。
通过公式(8)得到的IMU陀螺仪偏差记为公式(9)得到的IMU陀螺仪偏差记为则最终IMU陀螺仪偏差的初始值为/>然后，用该值再一次校正IMU的预积分旋转量。
然后利用平移量约束和平面运动中重力向量分量基本不变的前提条件，本发明(3)步骤构建线性最小二乘方程联合优化线速度和尺度因子的方法如下：
首先，确定待估计状态量为其中，/>表示滑动窗口中第k关键帧时刻，机器人在IMU坐标系下的线速度。考虑滑动窗口中连续的两个关键帧时刻k和k+1，有如下等式：
其中，的每一行依次表示从时刻k+1到时刻k，IMU传感器和轮速计传感器的预积分平移量、速度变化量和单目相机SFM计算的重力分量。/>表示从时刻k+1到时刻k，通过单目相机SFM计算的平移量和速度变化量在xI下的分量，并转换到IMU坐标系下。/>表示从单目相机0时刻的坐标系到IMU坐标系k时刻的坐标系的旋转矩阵，/>表示从IMU坐标系的k+1时刻的坐标系到单目相机0时刻的坐标系的旋转矩阵。g表示当地的重力加速度，Δtk表示时刻k+1到k的时间间隔，s为尺度因子，/>为IMU坐标系下从k+1时刻到k时刻平移量的测量值，/>为IMU坐标系下从k+1时刻到k时刻线速度的测量值，/>为轮速计坐标系下从k+1时刻到k时刻平移量的测量值，/>为单目相机坐标系下从从k+1时刻到k时刻平移量的真实值。
利用相邻两个关键帧之间的IMU预积分平移量和IMU坐标系下相邻两个关键帧之间的单目相机平移量相等的关系，以及利用相邻两个关键帧之间的轮速计预积分平移量和轮速计坐标系下相邻两个关键帧之间的单目相机平移量相等的关系，结合公式(10)和公式(11)构建如下最小二乘方程
然后，通过SVD方法进行线性优化，求解出xI，得出线速度和尺度因子。
对机器人位姿、特征点坐标、IMU传感器、尺度因子和线速度初始化成功后，对待估计状态值和滑动窗口内的处理值进行非线性优化，通过构建因子图模型最小化残差项的方式获取待估计状态值，然后将待估计状态值和滑动窗口内的处理值构建最小二乘方程最小化残差项，获得机器人的地图与位姿，具体方法如下：
非线性优化的目的是准确的估计出机器人的位姿、特征点的三维坐标和外参，同时对IMU加速度计和陀螺仪偏差进行修正。本发明用x表示待估计的变量：
其中，n和m表示当前滑动窗口内关键帧的个数和特征点的个数。xk中的ba，bg分别表示滑动窗口中第k个关键帧的机器人在世界坐标系下的平移量、速度、旋转量、IMU加速度计偏差和IMU陀螺仪偏差。λl表示第l个特征点在第一次被观察到时的逆深度。
建立因子图如3图所示。因子图中的点，即图中的圆圈为待估计变量χ。因子图中的边，即图中方块，残差项包括IMU残差、轮速计残差、单目视觉残差、平面残差。图中λ1～λm表示逆深度，p1q1～pnqn表示平移量和旋转量，v1b1～vnbn表示线速度和IMU偏差，这里的IMU偏差指的是IMU加速度计偏差和IMU陀螺仪偏差，表示IMU到轮速计的外参，即IMU坐标系到轮速计坐标系的变换矩阵，/>表示IMU到单目相机的外参，即IMU坐标系到相机坐标系的变换矩阵。
本发明的因子图模型中，IMU残差约束了平移量、旋转量以及线速度、IMU加速度计偏差和IMU陀螺仪偏差/>ba，bg。
轮速计残差约束了平移量、旋转量和IMU到轮速计的外参/>
单目视觉残差约束了其观察到的特征点逆深度λl、IMU到单目相机的外参平移量、旋转量/>以及线速度、IMU加速度计偏差和IMU陀螺仪偏差/>ba，bg。
平面残差约束了平移量、旋转量
之后通过单目相机、IMU和轮速计传感器获得一系列滑动窗口内的处理值，建立如下最小二乘方程：
其中，{rp，Hp}是边缘化留下的先验信息，即本发明滑动窗口更新方法留下来的先验信息。rpl分别对应IMU残差、轮速计残差、单目视觉残差、平面约束残差，分别表示IMU、轮速计和单目相机在各自坐标系下，从时刻k+1到时刻k的带噪声的测量值。其中，/>和/>的使用VINS-Mono算法得出。
Σpl分别对应IMU残差的协方差、轮速计残差的协方差、单目视觉残差的协方差、平面约束残差的协方差。/>表示在滑动窗口中的第l个关键帧的第j个特征点，并且该特征点至少在滑动窗口内出现两次。
本发明对轮速计残差和平面约束残差进行了计算，下面进行具体说明。
轮速计残差的计算：
考虑滑动窗口中第k到第k+1关键帧，轮速计传感器带噪声的旋转和平移测量值，和世界坐标系(IMU第0帧坐标系)下待估计的旋转和平移量转换到轮速计坐标系下的差，即为轮速计残差，用如下形式表示：
其中，log()为李群到李代数的转换，即旋转矩阵到旋转向量的转换，表示在第0、第K+1个关键帧机器人在世界坐标系下的平移量，/>表示在第K、第K+1个关键帧机器人在世界坐标系下的旋转矩阵，/>是/>的转置矩阵，/>表示轮速计坐标系下从k+1时刻到k时刻的平移量，/>表示/>的测量值，/>表示轮速计坐标系下从k+1时刻到k时刻的旋转矩阵，/>表示/>的测量值。
这样，通过非线性优化公式(14)构建的最小二乘方程，这里使用高斯牛顿方法进行求解。在使用高斯牛顿方法时，需要知道残差项对与其相关的状态量的倒数，即残差雅可比。
轮速计残差雅可比计算如下：
滑动窗口中第k到第k+1关键帧之间的轮速计残差的计算涉及到第k帧和第k+1帧的旋转量平移量，此外还有轮速计和IMU之间的外参。这样，轮速计残差雅可比包含
平面约束残差的计算：
因为本发明涉及到的机器人为在平面运动的差速移动机器人，因此旋转矩阵对应的欧拉角中，横滚角和俯仰角几乎为零值，此外，在垂直方向的移动也几乎为零值。因此，可以构建平面约束残差如下
其中，分别表示在第1、第k个关键帧时刻机器人在世界坐标系下的旋转矩阵，/>分别表示在第1、第k个关键帧时刻机器人在世界坐标系下的平移量，分别表示/>的转置矩阵。()roll和()pitch表示旋转矩阵对应的欧拉角的横滚角和俯仰角。()z表示平移量的垂直分量。
这样，通过非线性优化公式(14)构建的最小二乘方程，这里使用高斯牛顿方法进行求解。在使用高斯牛顿方法时，需要知道残差项对与其相关的状态量的倒数，即残差雅可比。
平面约束残差雅可比计算如下：
滑动窗口中第k到第k+1关键帧之间的平面约束残差的计算涉及到第k帧和第k+1帧的旋转量平移量。
通过非线性优化中的高斯牛顿方法最小化残差项，最终得到优化后的机器人位姿、特征点的坐标、IMU偏差和传感器之间的外参。
本发明通过VINS-Mono算法获得单目相机、IMU传感器处理值，使用本发明的运动测量模型、测量预积分模型、误差传播模型以及协方差传播模型获得轮速计传感器的处理值，之后将处理值加入滑动窗口，通过单目相机的SFM技术初始化机器人的位姿和环境中特征点的三维坐标，并使用本发明上述叙述的方法初始化机器人IMU陀螺仪偏差、线速度和尺度因子，使用VINS-Mono中的方法优化重力方向，初始化成功后，构建因子图模型获得待估计状态值，获取单目相机、IMU传感器、轮速计传感器处理值，将待估计状态值和处理值构建最小二乘方程最小化残差项，即对待估计状态值和滑动窗口内的处理值进行非线性优化，其中，IMU残差和单目视觉残差使用VINS-Mono获得，轮速计残差和平面约束残差使用本发明上述方法得出，最后得出机器人的位姿和地图。随着新的处理值进入滑动窗口，滑动窗口内的信息会随之更新，故重复非线性优化的步骤，即将之前获得待估计状态值和更新后滑动窗口的处理值进行非线性优化，获得更新后机器人的位姿和地图。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (7)
1.一种移动机器人定位与建图的方法，其特征在于，所述移动机器人包括移动机器人主体、单目相机、IMU传感器和轮速计传感器，所述单目相机镜头朝向所述移动机器人主体的正前方，其中IMU传感器包括IMU加速度计和IMU陀螺仪；处理单目相机获取的每帧图像，获得单目相机的处理值，对每两相邻帧图像间的IMU传感器测量值进行预积分，获得IMU传感器的处理值，对每两相邻帧图像间的轮速计传感器测量值进行预积分，获得轮速计传感器的处理值；将所述单目相机、IMU传感器和轮速计传感器的处理值加入滑动窗口；获取滑动窗口的处理值，对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化；初始化成功后，构建因子图模型获得待估计状态值，对滑动窗口的处理值和待估计状态值进行非线性优化最小化残差项，得到所述移动机器人的位姿和地图；
所述构建因子图模型获得待估计状态值的方法包括：所述残差项包括：IMU传感器残差、轮速计传感器残差、单目相机残差、平面残差；每个关键帧滑动窗口的待估计状态值包括：在世界坐标系下的平移量、速度、旋转量、IMU加速度计偏差、IMU陀螺仪偏差、特征点逆深度；所述IMU传感器残差约束所述世界坐标系下的平移量、旋转量、速度和IMU加速度计偏差、IMU陀螺仪偏差；所述轮速计传感器残差约束所述世界坐标系下的平移量、旋转量和IMU传感器到轮速计的外参；所述单目相机残差约束所述世界坐标系下的特征点逆深度、平移量、旋转量、速度和IMU加速度计偏差、IMU陀螺仪偏差、IMU到单目相机的外参；所述平面残差约束所述世界坐标系下的平移量和旋转量；完成所述构建因子图模型获得待估计状态值；所述轮速计残差公式如下：
其中，log()为李群到李代数的转换，即旋转矩阵到旋转向量的转换，表示在第0、第K+1个关键帧机器人在世界坐标系下的平移量，/>表示在第K、第K+1个关键帧机器人在世界坐标系下的旋转矩阵，/>是/>的转置矩阵，/>表示轮速计坐标系下从k+1时刻到k时刻的平移量，/>表示/>的测量值，/>表示轮速计坐标系下从k+1时刻到k时刻的旋转矩阵，/>表示/>的测量值；
所述平面残差rpl公式如下：
其中，分别表示在第1、第k个关键帧时刻机器人在世界坐标系下的旋转矩阵，分别表示在第1、第k个关键帧时刻机器人在世界坐标系下的平移量，/>分别表示/>的转置矩阵，()roll和()pitch表示旋转矩阵对应的欧拉角的横滚角和俯仰角，()z表示平移量的垂直分量。
2.根据权利要求1所述的方法，其特征在于，成功完成对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子的初始化的方法包括：对所述移动机器人的位姿、特征点的坐标、IMU陀螺仪偏差、线速度和尺度因子进行初始化，若初始化失败，对所述滑动窗口进行更新，之后再次获取所述滑动窗口的处理值，直至成功初始化。
3.根据权利要求1所述的方法，其特征在于，得到所述移动机器人的位姿和地图后，对所述滑动窗口进行更新，对更新后的滑动窗口的处理值和待估计状态值再次进行非线性优化，得到所述更新后的移动机器人的位姿和地图。
4.根据权利要求2或3所述的方法，其特征在于，所述更新的方法包括：读取滑动窗口内的最新两帧，判断倒数第二帧是否为关键帧，若是关键帧，则删除滑动窗口内的最老关键帧的单目相机、IMU传感器和轮速计传感器的处理值，并保留当前帧的单目相机、IMU传感器和轮速计传感器的处理值；若不是关键帧，则删除当前帧的单目相机的处理值，保留IMU传感器和轮速计传感器的处理值。
5.根据权利要求1所述的方法，其特征在于，所述轮速计传感器测量值进行预积分方法包括：构建轮速计传感器的运动测量模型、测量预积分模型、误差传播模型以及协方差传播模型。
6.根据权利要求1所述的方法，其特征在于，初始化IMU陀螺仪偏差方法包括：获取滑动窗口内的相邻的两个关键帧，读取关键帧中的单目相机坐标系、IMU传感器坐标系、轮速计传感器坐标系在每个关键帧时刻的旋转量，将所述单目相机坐标系、IMU传感器坐标系的旋转量和所述IMU传感器坐标系、轮速计传感器坐标的旋转量分别构建最小二乘方程，将求出的值进行求和与平均，初始化所述IMU陀螺仪偏差。
7.根据权利要求1所述的方法，其特征在于，初始化线速度和尺度因子的方法包括：获取滑动窗口内的相邻的两个关键帧，读取关键帧中的IMU传感器和轮速计传感器的预积分平移量、速度变化量；以及单目相机的平移量、速度变化量和重力分量；将IMU传感器和轮速计传感器的预积分平移量、速度变化量，以及单目相机的平移量、速度变化量和重力分量构建最小二乘方程，初始化所述线速度和尺度因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010511607.1A CN111795686B (zh) | 2020-06-08 | 2020-06-08 | 一种移动机器人定位与建图的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010511607.1A CN111795686B (zh) | 2020-06-08 | 2020-06-08 | 一种移动机器人定位与建图的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111795686A CN111795686A (zh) | 2020-10-20 |
| CN111795686B true CN111795686B (zh) | 2024-02-02 |
Family
ID=72802929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010511607.1A Active CN111795686B (zh) | 2020-06-08 | 2020-06-08 | 一种移动机器人定位与建图的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111795686B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112880687B (zh) * | 2021-01-21 | 2024-05-17 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
| CN112837374B (zh) * | 2021-03-09 | 2023-11-03 | 中国矿业大学 | 一种空间定位方法及系统 |
| CN113155121B (zh) * | 2021-03-22 | 2024-04-02 | 珠海深圳清华大学研究院创新中心 | 一种车辆定位方法、装置及电子设备 |
| CN113516692A (zh) * | 2021-05-18 | 2021-10-19 | 上海汽车集团股份有限公司 | 一种多传感器融合的slam方法和装置 |
| CN113077515B (zh) * | 2021-06-07 | 2021-09-21 | 之江实验室 | 一种水下视觉惯导压力定位的紧耦合初始化方法 |
| CN113566828A (zh) * | 2021-07-09 | 2021-10-29 | 哈尔滨工业大学 | 一种基于多传感器决策融合的抗冲击扫描匹配方法及系统 |
| CN113793381A (zh) * | 2021-07-27 | 2021-12-14 | 武汉中海庭数据技术有限公司 | 单目视觉信息和轮速信息融合的定位方法及系统 |
| CN113610001B (zh) * | 2021-08-09 | 2024-02-09 | 西安电子科技大学 | 基于深度相机和imu组合的室内移动终端定位方法 |
| CN114018284B (zh) * | 2021-10-13 | 2024-01-23 | 上海师范大学 | 一种基于视觉的轮速里程计校正方法 |
| CN114136311B (zh) * | 2021-11-08 | 2023-08-04 | 上海应用技术大学 | 一种基于imu预积分的激光slam定位方法 |
| CN114018274B (zh) * | 2021-11-18 | 2024-03-26 | 阿波罗智能技术(北京)有限公司 | 车辆定位方法、装置及电子设备 |
| CN116817928B (zh) * | 2023-08-28 | 2023-12-01 | 北京交通大学 | 基于因子图优化的卫导/惯导列车多源融合定位的方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205426175U (zh) * | 2016-03-08 | 2016-08-03 | 中山大学 | 一种融合车载多传感器的slam装置 |
| WO2016187759A1 (en) * | 2015-05-23 | 2016-12-01 | SZ DJI Technology Co., Ltd. | Sensor fusion using inertial and image sensors |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
| CN109764880A (zh) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | 紧耦合车辆轮子编码器数据的视觉惯性测程方法及系统 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110084832A (zh) * | 2019-04-25 | 2019-08-02 | 亮风台（上海）信息科技有限公司 | 相机位姿的纠正方法、装置、系统、设备和存储介质 |
| CN110111389A (zh) * | 2019-05-14 | 2019-08-09 | 南京信息工程大学 | 一种基于slam的移动增强现实跟踪注册方法和系统 |
| CN110345944A (zh) * | 2019-05-27 | 2019-10-18 | 浙江工业大学 | 融合视觉特征和imu信息的机器人定位方法 |
| CN110763251A (zh) * | 2019-10-18 | 2020-02-07 | 华东交通大学 | 视觉惯性里程计优化的方法及系统 |
| CN110956665A (zh) * | 2019-12-18 | 2020-04-03 | 中国科学院自动化研究所 | 车辆拐弯轨迹双向计算方法、系统、装置 |
| CN111024066A (zh) * | 2019-12-10 | 2020-04-17 | 中国航空无线电电子研究所 | 一种无人机视觉-惯性融合室内定位方法 |
| CN111161337A (zh) * | 2019-12-18 | 2020-05-15 | 南京理工大学 | 一种动态环境下的陪护机器人同步定位与构图方法 |
| CN111156984A (zh) * | 2019-12-18 | 2020-05-15 | 东南大学 | 一种面向动态场景的单目视觉惯性slam方法 |
| CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11175146B2 (en) * | 2017-05-11 | 2021-11-16 | Anantak Robotics Inc. | Autonomously moving machine and method for operating an autonomously moving machine |
-
2020
- 2020-06-08 CN CN202010511607.1A patent/CN111795686B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016187759A1 (en) * | 2015-05-23 | 2016-12-01 | SZ DJI Technology Co., Ltd. | Sensor fusion using inertial and image sensors |
| CN205426175U (zh) * | 2016-03-08 | 2016-08-03 | 中山大学 | 一种融合车载多传感器的slam装置 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
| CN109764880A (zh) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | 紧耦合车辆轮子编码器数据的视觉惯性测程方法及系统 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110084832A (zh) * | 2019-04-25 | 2019-08-02 | 亮风台（上海）信息科技有限公司 | 相机位姿的纠正方法、装置、系统、设备和存储介质 |
| CN110111389A (zh) * | 2019-05-14 | 2019-08-09 | 南京信息工程大学 | 一种基于slam的移动增强现实跟踪注册方法和系统 |
| CN110345944A (zh) * | 2019-05-27 | 2019-10-18 | 浙江工业大学 | 融合视觉特征和imu信息的机器人定位方法 |
| CN110763251A (zh) * | 2019-10-18 | 2020-02-07 | 华东交通大学 | 视觉惯性里程计优化的方法及系统 |
| CN111024066A (zh) * | 2019-12-10 | 2020-04-17 | 中国航空无线电电子研究所 | 一种无人机视觉-惯性融合室内定位方法 |
| CN110956665A (zh) * | 2019-12-18 | 2020-04-03 | 中国科学院自动化研究所 | 车辆拐弯轨迹双向计算方法、系统、装置 |
| CN111161337A (zh) * | 2019-12-18 | 2020-05-15 | 南京理工大学 | 一种动态环境下的陪护机器人同步定位与构图方法 |
| CN111156984A (zh) * | 2019-12-18 | 2020-05-15 | 东南大学 | 一种面向动态场景的单目视觉惯性slam方法 |
| CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Visual-Inertial Odometry Tightly Coupled with Wheel Encoder Adopting Robust Initialization and Online Extrinsic Calibration;Jinxu Liu 等;《2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;5391-5397 * |
| 结合轮速传感器的紧耦合单目视觉惯性SLAM;陆泽早;《中国优秀硕士学位论文全文数据库信息科技辑》(第1期);I140-501 * |
| 陆泽早.结合轮速传感器的紧耦合单目视觉惯性SLAM.《中国优秀硕士学位论文全文数据库信息科技辑》.2020,(第1期),I140-501. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111795686A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111795686B (zh) | 一种移动机器人定位与建图的方法 | |
| CN111207774B (zh) | 一种用于激光-imu外参标定的方法及系统 | |
| CN111561923B (zh) | 基于多传感器融合的slam制图方法、系统 | |
| CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
| CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
| CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
| CN112815939B (zh) | 移动机器人的位姿估计方法及计算机可读存储介质 | |
| CN112649016A (zh) | 一种基于点线初始化的视觉惯性里程计方法 | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| CN111890373A (zh) | 车载机械臂的感知定位方法 | |
| CN114529576A (zh) | 一种基于滑动窗口优化的rgbd和imu混合跟踪注册方法 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN114494629A (zh) | 一种三维地图的构建方法、装置、设备及存储介质 | |
| CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
| CN115218889A (zh) | 一种基于点线特征融合的多传感器室内定位方法 | |
| CN112284381B (zh) | 视觉惯性实时初始化对准方法及系统 | |
| CN113155152B (zh) | 基于李群滤波的相机与惯性传感器空间关系自标定方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及系统 | |
| CN115930948A (zh) | 一种果园机器人融合定位方法 | |
| CN113495281B (zh) | 可移动平台的实时定位方法及装置 | |
| CN113503872B (zh) | 一种基于相机与消费级imu融合的低速无人车定位方法 | |
| CN114397642A (zh) | 一种基于图优化的三维激光雷达与imu外参标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |