CN112731503B - 一种基于前端紧耦合的位姿估计方法及系统 - Google Patents

一种基于前端紧耦合的位姿估计方法及系统 Download PDF

Info

Publication number
CN112731503B
CN112731503B CN202011565075.6A CN202011565075A CN112731503B CN 112731503 B CN112731503 B CN 112731503B CN 202011565075 A CN202011565075 A CN 202011565075A CN 112731503 B CN112731503 B CN 112731503B
Authority
CN
China
Prior art keywords
eye
image frame
pose
feature
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011565075.6A
Other languages
English (en)
Other versions
CN112731503A (zh
Inventor
秦家虎
余雷
刘晨昕
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202011565075.6A priority Critical patent/CN112731503B/zh
Publication of CN112731503A publication Critical patent/CN112731503A/zh
Application granted granted Critical
Publication of CN112731503B publication Critical patent/CN112731503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/393—Trajectory determination or predictive tracking, e.g. Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/51—Relative positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude

Abstract

本申请提供的一种基于前端紧耦合的位姿估计方法及系统，通过提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；通过运动学积分模型利用惯性测量元件信息预测相机位姿；建立图像透视形变模型，辅助特征提取，嵌入IMU预测的相机位姿信息到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的IMU信息辅助的描述子，降低相机旋转运动对特征匹配的影响；联合特征点深度值和IMU预测的相机位姿，辅助特征匹配减少特征匹配搜索空间，提高特征跟踪效率同时有效排除动态物体和图像非凸性影响。本申请能够有效提高整个视觉惯性里程计的精度，从而提高位姿估计的准确率。

Description

一种基于前端紧耦合的位姿估计方法及系统
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于前端紧耦合的位姿估计方法及系统。
背景技术
随着人工智能领域的快速发展，移动机器人技术在工业、服务业等领域的应用越来越广泛。为应对各种复杂的室内与室外场景，机器人必须能够有着智能化和鲁棒性地自主导航能力，而机器人的自主导航技术一般分为感知、定位、规划与控制等模块，其中，定位模块的功能是实现实时的姿态的估计，这是保证规划与控制模块正常工作的基础，因此一直是重要的研究课题。
近年来，随着嵌入式设备计算资源快速发展，基于激光雷达和视觉传感器的同步定位与建图技术(SLAM，Simultaneous Localization and Mapping)成为解决上述问题的突破性技术。相比较激光雷达和视觉传感器具有小尺寸、低成本和信息丰富等特点更适合机器人领域，由于视觉与惯性传感器的高度互补性，视觉惯性SLAM或里程计定位技术使得无人机实现高精度全天候鲁棒的定位成为了可能，因此，非常具有工程应用和学术研究价值，在无人机定位领域备受关注。
随着视觉惯性SLAM领域的快速发展，已经存在大量优秀的视觉惯性定位开源算法，比如MSCKF、OKVIS、VINS-FUSION等。然而这些算法，主要关注后端的视觉与惯性信息紧耦合融合优化，而前端则是视觉信息与惯性松耦合处理，这种处理方式有以下缺陷：(1)不能充分融合视觉与惯性信息，这使得前端继承了视觉信息和惯性信息的双重噪声，并不能使得视觉和惯性信息实现优势互补。(2)单独的视觉处理，使得视觉惯性里程计依然受到视觉传感线自身固有缺陷的影响，一方面，如快速的大运动场景下，图像会发生透视形变使得描述子不再具有运动的鲁棒性，从而增加图像误匹配的概率；另一方面，图像本身具有非凸性，单纯利用图像自身的局部信息实现特征匹配，容易显然局部极小值而发生错误的特征跟踪。此外，在动态环境下，只使用图像信息，特征跟踪会受到外部动态物体运动的影响，无法保证位姿估计的准确率。
发明内容
本申请提供了一种基于前端紧耦合的位姿估计方法及系统，克服现有技术的上述不足，用以保证位姿估计的准确率。
为了实现上述目的，本申请提供了以下技术方案：
一种基于前端紧耦合的位姿估计方法，其特征在于，包括：
获取当前图像帧的左目图像、右目图像和惯性测量信息；
提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；
通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子；
联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计。
优选的，所述提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值，具体为：
对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像；
利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点；
分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对；
利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对；
通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标。
优选的，所述通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子，具体为：
利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息；
利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型；
利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子；
利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对；
利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
优选的，还包括：
基于所述当前图像帧的位姿，通过三角测量估计器深度，并对所述当前图像帧对应的特征点深度值进行融合，对所述特征点深度值进行修正。
优选的，还包括：
利用所述当前图像帧的位姿，计算所述特征点深度值中3D特征点的重投影误差，将所述重投影误差大于预设值的3D特征点剔除。
优选的，还包括：
通过所述惯性测量信息构建预积分约束，对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计。
优选的，所述对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计，具体为：
构建3D-2D视觉约束残差模型；
利用所述前端预积分约束建立帧间IMU残差约束模型；
将所述当前图像帧与滑动窗口内容所有帧的所述3D-2D视觉约束残差模型和帧间IMU残差约束模型紧耦合结合，构建非线性最小二乘联合代价函数；
利用高斯牛顿法迭代优化参数，使得所述非线性最小二乘联合代价函数中函数代价减小，以确定所述当前图像帧对应的位姿估计。
一种基于前端紧耦合的位姿估计系统，包括：
第一处理单元，用于获取当前图像帧的左目图像、右目图像和惯性测量信息；
第二处理单元，用于提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；
第三处理单元，用于通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子；
第四处理单元，用于联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计。
优选的，所述第二处理单元具体用于：
对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像；
利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点；
分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对；
利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对；
通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标。
优选的，所述第三处理单元具体用于：
利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息；
利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型；
利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子；
利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对；
利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
本申请提供的一种基于前端紧耦合的位姿估计方法及装置系统，通过提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；通过运动学积分模型利用惯性测量元件信息预测相机位姿；建立图像透视形变模型，辅助特征提取，嵌入IMU预测的相机位姿信息到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的IMU信息辅助的描述子，降低相机旋转运动对特征匹配的影响；联合特征点深度值和IMU预测的相机位姿，辅助特征匹配减少特征匹配搜索空间，提高特征跟踪效率同时有效排除动态物体和图像非凸性影响。本申请能够有效提高整个视觉惯性里程计的精度，从而提高位姿估计的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种位姿估计系统结构示意图；
图2为本申请实施例提供的一种基于前端紧耦合的位姿估计方法流程示意图；
图3为本申请实施例提供的步骤S202的一种实施方式流程图；
图4为本申请实施例提供的步骤S203的一种实施方式流程图；
图5为本申请实施例提供的步骤S205的一种实施方式流程图；
图6为本申请实施例提供的闭环检测的流程图；
图7为本申请实施例提供的一种基于前端紧耦合的位姿估计系统结构示意图。
具体实施方式
申请人发现，传统的基于全球定位系统(GPS，G的lobal Positioning System)的绝对定位技术，在机器人中应用广泛，虽能在室外空旷场景中能够提供较高精度的定位信息，但是GPS技术在密集建筑群、山洞和室内等场景由于信号被遮挡或干扰，定位精度大幅度下降甚至失效，因此，无法在信号遮挡、干扰或者缺失的场景中使用，这使得GPS技术的应用场景受到很多限制，无法在类似室内或者火星表面的场景使用。而惯性导航作为机器人领域应用广泛的一种相对定位技术，它虽不依赖外部信息而是利用机体自身携带的惯性测量元件(加速度计和陀螺仪)获取机体的加速度和角度，然后进行积分计算从而推算机器人的当前位姿，但是由于测量噪声的存在，惯性导航技术与时间呈正相关的累积误差，因此，惯性导航不适合长期位姿估计。
基于视觉的SLAM定位方法(视觉SLAM或里程计)，则是通过对图像序列的分析来确定机器人的位姿，可应用于室内和室外各种复杂场景中，特别地，视觉SLAM利用视觉的丰富信息进行闭环检测消除累积误差实现长期高精度定位。然而由于视觉SLAM严重依赖视觉纹理信息，而真实环境中会存在如走廊等少量的弱纹理场景使得视觉定位存在出现短期位姿估计精度下降甚至失败的风险。而惯性传感器的不依赖环境信息和短期高精度定位等优势能够有效弥补视觉定位的缺点。由于视觉与惯性传感器的高度互补性，视觉惯性SLAM或里程计定位技术使得无人机实现高精度全天候鲁棒的定位成为了可能，因此，非常具有工程应用和学术研究价值，在无人机定位领域备受关注。
当前视觉惯性SLAM根据传感器的不同分为单目视觉惯性SLAM、双目视觉惯性SLAM、RGB-D视觉惯性SLAM，由于单目视觉惯性SLAM无法在静止初始状态下完成初始化，而且当相机运动较小时，估计结果误差较大。而双目或RGBD视觉惯性SLAM则不需要依赖任何特征的运动状态，直接完成系统初始化，既准确又高效。然而在实际应用中，相比较RGBD相机，低成本和高精度的双目相机更受青睐，因此，当前视觉惯性SLAM通常采用的双目视觉惯性SLAM或里程计。
但是经过申请人的研究发现，受视觉传感器本身的局限性以及现有视觉惯性融合技术的局限性，当前的双目视觉惯性SLAM或里程计存在以下问题：
(1)现有的视觉惯性里程计主要关注视觉与惯性信息在后端的紧耦合融合而在前端视觉和惯性信息依旧保持松耦合性。
(2)视觉特征在运动过程中其跟踪效果会受到手工设计特征的透视形变或者图像局部非凸性影响而降低跟踪的准确率。而IMU短期的位姿估计却能减缓或抵消这些影响却未被大部分SLAM系统所考虑。
为此，本申请提供一种基于前端紧耦合的位姿估计方法及系统，应用于图1所示的系统，该系统包括：前端处理模块10、后端处理模块20和闭环检测与优化模块30，本申请适用于增强现实(AR，Augmented Reality)、虚拟现实(VR，Virtual Reality)、移动机器人室内定位的应用场景，该方法继承了传统视觉惯性SLAM或里程计的优良特性，弥补了传统GPS或惯性导航的缺陷，可在室内等遮挡场景中使用，同时利用闭环检测也消除了累积误差。更重要的是，本申请不仅在后端实现了紧耦合融合，在前端也实现了紧耦合融合，利用惯性信息有效减缓图像透视形变和局部非凸性对特征跟踪的影响。
本申请的发明目的在于：克服现有技术的上述不足，用以保证位姿估计的准确率。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见附图2，本申请实施例提供一种基于前端紧耦合的位姿估计方法流程图。如图2所示，本申请实施例提供一种基于前端紧耦合的位姿估计方法，该方法具体包括如下步骤：
S201：获取当前图像帧的左目图像、右目图像和惯性测量信息。
本申请实施例中，上述当前图像帧的左目图像和右目图像是通过双目相机获取得到的，上述惯性测量信息是通过IMU传感器获取得到的。
S202：提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值。
需要说明的是，本申请实施例改变现有视觉惯性里程计松耦合前端的处理方式，通过利用IMU信息辅助视觉前端紧耦合处理，能够有效地在前端融合视觉和惯性信息，发挥两种信息的互补优势，从而提高视觉前端处理精度，进一步提高整个视觉惯性里程计的精度。
如图3所示，上述所述提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值，具体可以包括如下步骤：
S301：对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像。
S302：利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点。
本申请实施例中，利用FAST角点检测分别从左目校正图像和右目校正图像提取有效FAST角点，即：按网格划分左目校正图像和右目校正图像的区域，从左目校正图像和右目校正图像的每个区域分别按特征点Harris响应值排序选取响应值大的点作为有效FAST角点，以保证角点鲁棒性和分布均匀性。
S303：分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对。
S304：利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对。
本申请实施例中，计算左目和右目有效FAST角点的BRIEF描述子，用于双目图像匹配，选取匹配汉明距离符合阈值范围的匹配点对利用绝对差值和(SAD，Sum of absolutedifferences)匹配对其进行优化以得到更精确的特征匹配特征点对。
需要说明的是，上述汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，一般以d(x，y)表示两个字x，y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
S305：通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标。
本申请实施例中，利用双目模型估计匹配特征点对应于其左目相机坐标系下的的深度值，恢复该特征点在左目相机坐标系下的3D坐标。需要说明的是，每一个通过此步骤恢复深度值的特征点都被加入临时局部地图当中。能够恢复满足阈值数量特征点3D坐标的图像帧称为有效图像帧。第一帧有效图像帧称为图像参考帧，记作cw，相应的IMU数据帧记作bw，bw被称为世界坐标系，以后第k图像帧记为ck，IMU数据帧记为bk，IMU数据帧也记为机体帧。
S203：通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子。
如图4所示，上述所述通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子，具体可以包括如下步骤：
S401：利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息。
本申请实施例中，假设当前图像帧为第i帧，则运动学积分模型可以表示如下：
其中，分别表示第i机体帧在世界坐标系的位置、旋转和速度；/>是旋转矩阵/>的四元数形式；/>是IMU传感器的加速度和角速度测量值；/>和/>是IMU加速度计和陀螺仪的偏置；na、nw是加速度和角速度高斯噪声，gw重力加速度向量，δt是IMU传感器相邻两帧数据的采样时间间隔。
S402：利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型。
本申请实施例中，构建的图像旋转透视形变模型可以表示如下：
其中：表示在临时局部地图第m个3D特征点在第i帧上像素齐次坐标，/>表示第m个3D特征点在第j帧上发生透视形变后的齐次坐标位置；函数π和π-1分别表示相机的内参函数/>表示第j图像帧相对于第i图像帧的旋转矩阵，可利用步骤S401中公式结合/>式得到，其中，/>和/>是相机与IMU传感的相对旋转矩阵和相对位移，可离线标定得到。
S403：利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子。
本申请实施例中，利用步骤S402中图像透视形变模型对每一图像帧中有效特征点及其BRIEF描述子使用的候选区域像素之间的相对距离进行校正，即每一次都将当前图像帧提取的特征点及BRIEF候选区域点通过上式变换到同一参考图像帧，计算对应像素在图像参考帧中的相对位置，利用该相对位置作为当前图像帧每一个特征点对应BRIEF描述子候选像素的选取依据。需要说明的是，经过此步骤校正后的BRIEF描述子有效的利用了IMU信息，因此，在本申请实施例中，称为IMU-AIDED描述子。
S404：利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对。
本申请实施例中，利用步骤S403得到的IMU-AIDED描述子匹配上一图像帧与当前图像帧特征点，为了加快特征点匹配搜索效率和精确性，通过步骤S401预测的位姿信息，通过下述公式预测上一图像帧特征点在当前图像帧的位置，并且在预测位置附近半径为10个像素点距离的范围内进行搜索。
其中：为第m个特征点在第j帧的预测位置。/>是该特征点通过双目深度估计还原的3D坐标。
S405：利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
本申请实施例中，利用步骤S404得到的上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性(RANSAC)的EPNP算法估计当前图像帧的位姿。
需要说明的是，为了得到更精确的位姿估计，本申请实施例还包括：
基于所述当前图像帧的位姿，通过三角测量估计器深度，并对所述当前图像帧对应的特征点深度值进行融合，对所述特征点深度值进行修正。
需要说明的是，为了得到更精确的位姿估计，本申请实施例还包括：
利用所述当前图像帧的位姿，计算所述特征点深度值中3D特征点的重投影误差，将所述重投影误差大于预设值的3D特征点剔除。
本申请实施例中，为了得到更精确的位姿估计，可以基于所述当前图像帧的位姿，通过三角测量估计器深度，并对所述当前图像帧对应的特征点深度值进行融合，对所述特征点深度值进行修正；或；利用所述当前图像帧的位姿，计算所述特征点深度值中3D特征点的重投影误差，将所述重投影误差大于预设值的3D特征点剔除。
本申请实施例中，上述所述对所述惯性测量信息进行前端紧耦合处理，得到所述当前图像帧对应的前端预积分约束，具体可以利用惯性测量信息为后端优化构建预积分约束，预积分模型可以表示如下：
其中，分别是第i与第j机体帧之间位移、速度和旋转相对约束。
S204：联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计。
S205：通过所述惯性测量信息构建预积分约束，对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计。
如图5所示，上述所述对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计，具体可以包括如下步骤：
S501：构建3D-2D视觉约束残差模型。
本申请实施例中，上述3D-2D视觉约束残差模型可以表示如下：
其中λm是局部地图第m个特征点在视觉坐标系下逆深度值。χ表示机体位姿、速度、IMU内参、特征点逆深度等待优化参数。
S502：利用所述前端预积分约束建立帧间IMU残差约束模型。
本申请实施例中，需要利用上述求得的前端预积分约束建立帧间IMU残差约束模型，该帧间IMU残差约束模型可以表示如下：
其中分别是/>带有噪声的形式，Δtkk+1是相邻帧bk和bk+1之间的图像采样时间间隔，/>表示取四元数的前三项。
S503：将所述当前图像帧与滑动窗口内容所有帧的所述3D-2D视觉约束残差模型和帧间IMU残差约束模型紧耦合结合，构建非线性最小二乘联合代价函数。
本申请实施例中，上述非线性最小二乘联合代价函数可以表示如下：
其中：Hp和bp是边缘化约束，表示滑动窗口内所有IMU数据帧集合，/>滑动窗口内所有视觉帧和对应局部地图特征点集合，函数ρ表示核函数，Σ表示相关残差项的协方差矩阵。
S504：利用高斯牛顿法迭代优化参数，使得所述非线性最小二乘联合代价函数中函数代价减小，以确定所述当前图像帧对应的位姿估计。
为了进一步的得到更加精确的位姿估计，本申请实施例中，在所述位姿估计系统启动时，该方法还包括：
需要说明的是，本申请实施例中，在启动系统的同时，启动闭环检测与优化线程，对所述位姿估计系统中的历史图像帧进行闭环检测；若为闭环，则基于闭环图像帧之间特征匹配约束，利用预设视觉残差约束代价函数对所述历史图像帧进行全局一致性优化，对所述当前图像帧对应的位姿估计进行修正。
本申请实施例中，闭环检测的流程图如图6所示，需要说明的是，闭环检测线程流程与原理可以参见如下描述：
构建图4中步骤S402得到的FAST特征点的新描述子，与图4中步骤S403相似不同的是新构建描述子只需考虑沿着相机平面法向量方向旋转引起的图像透视形变，即只需步骤S403中旋转矩阵分解为/>即为沿着相机平面法向量旋转矩阵，利用此矩阵仿真图4中步骤S403即可得到面内旋转不变描述子用于闭环检测。然后通过BOW词袋检测基于上述面内旋转不变描述子进行闭环检测。
本申请实施例中，如果发现闭环，基于闭环图像帧之间特征匹配约束，利用视觉残差约束代价函数对过去所有图像帧进行全局一致性优化，得到更加精确的机体位姿和特征点3D坐标，消除累积误差，并基于新得到的精确位姿和特征点坐标值更新局部地图和滑动窗口实时值，得到高精度位姿估计结果。
本申请实施例提供的一种基于前端紧耦合的位姿估计方法，
请参阅图7，基于上述实施例公开的一种基于前端紧耦合的位姿估计方法，本实施例对应公开了一种基于前端紧耦合的位姿估计系统，具体的，该装置包括：
第一处理单元701，用于获取当前图像帧的左目图像、右目图像和惯性测量信息；
第二处理单元702，用于提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；
第三处理单元703，用于通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子；
第四处理单元704，用于联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计。
优选的，所述第二处理单元702具体用于：
对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像；
利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点；
分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对；
利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对；
通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标。
优选的，所述第三处理单元703具体用于：
利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息；
利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型；
利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子；
利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对；
利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于前端紧耦合的位姿估计方法，其特征在于，包括：
获取当前图像帧的左目图像、右目图像和惯性测量信息；
提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；
通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子；
联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计；
所述提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值，具体为：
对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像；
利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点；
分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对；
利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对；
通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标；
所述通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子，具体为：
利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息；
利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型；
利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子；
利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对；
利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
2.根据权利要求1所述的方法，其特征在于，还包括：
基于所述当前图像帧的位姿，通过三角测量估计器深度，并对所述当前图像帧对应的特征点深度值进行融合，对所述特征点深度值进行修正。
3.根据权利要求1所述的方法，其特征在于，还包括：
利用所述当前图像帧的位姿，计算所述特征点深度值中3D特征点的重投影误差，将所述重投影误差大于预设值的3D特征点剔除。
4.根据权利要求1所述的方法，其特征在于，还包括：
通过所述惯性测量信息构建预积分约束，对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计。
5.根据权利要求4所述的方法，其特征在于，所述对所述特征点深度值、所述位姿预估计和所述前端预积分约束进行后端紧耦合处理，得到所述当前图像帧对应的位姿估计，具体为：
构建3D-2D视觉约束残差模型；
利用所述前端预积分约束建立帧间IMU残差约束模型；
将所述当前图像帧与滑动窗口内容所有帧的所述3D-2D视觉约束残差模型和帧间IMU残差约束模型紧耦合结合，构建非线性最小二乘联合代价函数；
利用高斯牛顿法迭代优化参数，使得所述非线性最小二乘联合代价函数中函数代价减小，以确定所述当前图像帧对应的位姿估计。
6.一种基于前端紧耦合的位姿估计系统，其特征在于，包括：
第一处理单元，用于获取当前图像帧的左目图像、右目图像和惯性测量信息；
第二处理单元，用于提取左目和右目图像的FAST特征点和BRIEF描述子，通过特征匹配和三角测量获取特征点深度值；
第三处理单元，用于通过运动学积分模型，利用惯性测量信息预测所述当前图像帧的相机位姿信息，建立图像透视形变模型，辅助特征提取，嵌入惯性测量信息预测的相机位姿到BRIEF描述子，校正相机旋转引起的特征点BRIEF描述子透视形变，构建具有旋转不变性的惯性测量信息辅助的描述子；
第四处理单元，用于联合所述特征点深度值和利用惯性测量信息预测的相机位姿，辅助特征匹配实现位姿估计；
所述第二处理单元具体用于：
对所述左目图像和所述右目图像进行图像立体校正，得到左目校正图像和右目校正图像；
利用FAST角点检测分别从所述左目校正图像和所述右目校正图像中提取有效FAST角点，得到左目有效FAST角点和右目有效FAST角点；
分别计算所述左目有效FAST角点和所述右目有效FAST角点的BRIEF描述子进行双目特征匹配，选取匹配汉明距离符合阈值范围的匹配特征点对；
利用绝对差值和匹配对所述匹配特征点对进行优化，以得到特征匹配特征点对；
通过特征匹配和三角测量，利用双目模型估计所述特征匹配特征点对在左目相机坐标系下的特征点深度值，确定所述特征点在左目相机坐标系下的3D坐标；
所述第三处理单元具体用于：
利用所述惯性测量信息，基于运动学积分模型估计所述当前图像帧的位姿信息；
利用IMU的预测位姿辅助图像信息构建旋转不变描述子，构建图像旋转透视形变模型；
利用所述图像旋转透视形变模型对每一图像帧中有效特征点及其所述BRIEF描述子使用的候选区域像素之间的相对距离进行校正，得到IMU-AIDED描述子；
利用所述IMU-AIDED描述子匹配上一图像帧与所述当前图像帧的特征点，得到上一图像帧与当前图像帧的匹配特征点对；
利用所述上一图像帧与当前图像帧的匹配特征点对，通过基于随机采样一致性的EPNP算法估计所述当前图像帧的位姿，确定所述当前图像帧对应的位姿预估计。
CN202011565075.6A 2020-12-25 2020-12-25 一种基于前端紧耦合的位姿估计方法及系统 Active CN112731503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011565075.6A CN112731503B (zh) 2020-12-25 2020-12-25 一种基于前端紧耦合的位姿估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011565075.6A CN112731503B (zh) 2020-12-25 2020-12-25 一种基于前端紧耦合的位姿估计方法及系统

Publications (2)

Publication Number Publication Date
CN112731503A CN112731503A (zh) 2021-04-30
CN112731503B true CN112731503B (zh) 2024-02-09

Family

ID=75616396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011565075.6A Active CN112731503B (zh) 2020-12-25 2020-12-25 一种基于前端紧耦合的位姿估计方法及系统

Country Status (1)

Country Link
CN (1) CN112731503B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113375665B (zh) * 2021-06-18 2022-12-02 西安电子科技大学 基于多传感器松紧耦合的无人机位姿估计方法
CN113391338B (zh) * 2021-08-17 2021-11-09 湖北亿咖通科技有限公司 紧耦合轨迹修复方法、装置、设备、介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN111583136A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种救援场景下自主移动平台同时定位与建图方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN111583136A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种救援场景下自主移动平台同时定位与建图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ORB关键帧匹配算法的机器人SLAM实现;艾青林;余杰;胡克用;陈琦;;机电工程(第05期);全文 *

Also Published As

Publication number Publication date
CN112731503A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN110084832B (zh) 相机位姿的纠正方法、装置、系统、设备和存储介质
CN111561923B (zh) 基于多传感器融合的slam制图方法、系统
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
Tanskanen et al. Live metric 3D reconstruction on mobile phones
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN110246147A (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN111161337B (zh) 一种动态环境下的陪护机器人同步定位与构图方法
US11880931B2 (en) High-definition city mapping
CN112819860B (zh) 视觉惯性系统初始化方法及装置、介质和电子设备
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及系统
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN114529576A (zh) 一种基于滑动窗口优化的rgbd和imu混合跟踪注册方法
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
WO2023087681A1 (zh) 定位初始化方法、装置、计算机可读存储介质和计算机程序产品
CN111862146A (zh) 一种目标对象的定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant