CN110751123B - 一种单目视觉惯性里程计系统及方法 - Google Patents

一种单目视觉惯性里程计系统及方法 Download PDF

Info

Publication number
CN110751123B
CN110751123B CN201911031727.5A CN201911031727A CN110751123B CN 110751123 B CN110751123 B CN 110751123B CN 201911031727 A CN201911031727 A CN 201911031727A CN 110751123 B CN110751123 B CN 110751123B
Authority
CN
China
Prior art keywords
matching
matching point
module
carrier
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911031727.5A
Other languages
English (en)
Other versions
CN110751123A (zh
Inventor
李晨轩
张志彦
徐轶轲
王三舟
周军
王涛
马力超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Publication of CN110751123A publication Critical patent/CN110751123A/zh
Application granted granted Critical
Publication of CN110751123B publication Critical patent/CN110751123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明涉及一种单目视觉惯性里程计系统及方法，属于移动载体的自主导航控制领域。本发明包括惯导模块、单目视觉模块、控制模块和姿态输出模块。惯导模块感应测量载体的运动信息，单目视觉模块通过图像帧获取载体周围环境信息。控制模块中的预处理模块根据运动信息采用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；REPF滤波器对得到的粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息。本发明具有尺度确定和计算复杂度低的优点，提高了里程计系统的导航精度和实时性。

Description

一种单目视觉惯性里程计系统及方法
技术领域
本发明涉及移动载体的自主导航控制技术领域，尤其涉及一种单目视觉惯性里程计系统及方法。
背景技术
近年来，单目视觉和惯导融合的里程计系统被广泛应用于移动载体的自主导航控制领域，主要用于在缺乏绝对定位技术的场景中实现移动载体的导航定位以及利用自身的相对定位系统辅助移动载体的导航定位。因此提高里程计系统的定位精度和实时性是保障移动载体准确导航定位的关键。
目前，关于单目视觉和惯导融合的里程计系统技术方案可以分为两类：一是单目视觉模块和惯导模块采用松耦合融合方式，分别让单目视觉和惯导两个模块独立运行，并进行单独解算，然后将各自解算的结果进行融合；二是单目视觉模块和惯导模块采用紧耦合融合方式，充分考虑单目视觉和惯导两个模块之间的状态关联性，将视觉模块的图像特征放到状态向量中，然后再解算姿态信息。现有技术中，采用扩展卡尔曼滤波器将单目相机与IMU信息相融合的方法，但是其定位精度低，不便于应用于对定位精度较高的导航载体。针对上述问题发展的单目视觉和惯性紧耦合的方法，虽然提高了精度，但是计算复杂度高，对硬件设备资源要求高且不具备实时处理的能力。
现有技术存在以下缺点：一是单目视觉里程计尺度不确定性导致定位精度差；二是计算复杂度高，需要大型视觉识别系统设备，实时性差，不便于推广应用。
发明内容
鉴于上述的分析，本发明旨在提供一种单目视觉惯性里程计系统及方法，以解决现有的里程计系统定位精度低和实时性差的问题。
一方面，本发明提出了一种单目视觉惯性里程计系统，包括：惯导模块、单目视觉模块、控制模块和姿态输出模块。惯导模块用于感应测量载体的运动信息；单目视觉模块用于通过图像帧获取载体周围环境信息；控制模块包括预处理模块和REPE(RANSAC-ExtendedKalman Particle Filter)滤波器；预处理模块用于根据运动信息采用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；REPF滤波器，用于基于解算的载体惯导信息对得到的粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；姿态输出模块用于输出控制模块解算得到的姿态信息。
进一步的，惯导模块包括固联在载体上陀螺仪和加速度计，所述陀螺仪用于感应测量载体轴向的角速度，所述加速度计用于感应测量载体的线速度。
进一步的，单目视觉模块提供的连续三帧图像信息分别为当前帧数据、前一帧数据和前两帧数据。
进一步的，预处理模块执行下述流程得到粗匹配点：
利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，并利用LK光流跟踪进行特征点匹配；
从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组。
进一步的，REPE滤波器执行下述流程得到最佳匹配点组：
随机选取一组粗匹配提取的匹配点组，与三帧图像对应的惯导信息进行融合，得到系统状态量；利用REPF滤波算法估计系统的误差量，与惯导信息进行融合，得到系统真实状态量；根据所述系统真实状态量及三帧图像几何中的“点-线-点”的映射关系，得到三焦点张量；
判断其它匹配点组的约束关系，是否满足所述三焦点张量的约束关系，如果满足约束关系，则判断为局内匹配点组并保留；
多次随机取样进行局内匹配点组判断，保留局内匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，将其它未被选中的匹配点组剔除掉，得到最佳匹配点组。
进一步的，REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
根据上述技术方案，本发明的有益效果如下：
1.惯导模块与单目视觉模块具有互补性，充分利用两个模块的优势，将两个模块相融合，解决单目视觉里程计尺度不确定性问题，提高了单目视觉里程计的适应能力和定位精度，使其能够在多种场景中应用；
2.控制模块中采用计算复杂度较低的REPF滤波器算法处理惯导和单目视觉模块提供的信息，在保证系统高精度性能的前提下，降低控制模块处对处理器性能的要求，提高了里程计系统的实时性。
另一方面，本发明还提出了一种单目视觉惯性里程计系统的工作方法，包括以下步骤：
惯导模块和单目视觉模块分别向控制模块发送运动信息和连续三帧图像信息；
预处理模块根据运动信息采用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；
REPF滤波器基于解算的载体惯导信息对得到的图像粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；
控制模块将载体的姿态信息发送至姿态输出模块。
进一步的，预处理模块执行下述流程得到粗匹配点组：
利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，并利用LK光流跟踪进行特征点匹配；
从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组。
进一步的，REPE滤波器执行下述流程得到最佳匹配点组：
随机选取一组粗匹配提取的匹配点组，与三帧图像对应的惯导信息进行融合，得到系统状态量；利用REPF滤波算法估计系统的误差量，与惯导信息进行融合，得到系统真实状态量；根据所述系统真实状态量及三帧图像几何中的“点-线-点”的映射关系，得到三焦点张量；
判断其它匹配点组的约束关系，是否满足所述三焦点张量的约束关系，如果满足约束关系，则判断为局内匹配点组并保留；
多次随机取样进行局内匹配点组判断，保留局内匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，将其它未被选中的匹配点组剔除掉，得到最佳匹配点组。
进一步的，REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
由于本发明中的里程计系统工作方法与上述里程计系统原理相同，所以该方法也具有与上述里程计系统相应的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
图1为单目视觉惯性里程计系统的组成结构框图；
图2为单目视觉惯性里程计系统的工作流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
系统实施例：
本发明的一个具体实施例，公开了一种单目视觉惯性里程计系统。如图1所示，包括：惯导模块、单目视觉模块、控制模块和姿态输出模块。惯导模块用于感应测量载体的运动信息；单目视觉模块用于通过图像帧获取载体周围环境信息；控制模块包括预处理模块和REPE(RANSAC-Extended Kalman Particle Filter)滤波器；预处理模块用于根据运动信息采用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；REPF滤波器，用于基于解算的载体惯导信息对得到的粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；姿态输出模块用于输出控制模块解算得到的姿态信息。
其中，载体可以是飞机、无人机、潜艇、移动机器人等需要智能导航定位系统的移动载体。预处理模块解算出的惯导信息包括位置、姿态和速度信息；单目视觉模块通过图像帧获得的载体周围环境信息包括位置和姿态信息等；姿态输出模块输出的姿态信息包括位置、姿态和速度等信息。
进一步的，惯导模块包括固联在载体上陀螺仪和加速度计，所述陀螺仪用于感应测量载体轴向的角速度，所述加速度计用于感应测量载体的线速度。
其中，采用捷联惯导算法解算运动信息得到载体的惯导信息；先根据陀螺仪输出的角速度建立导航坐标系，再根据加速度计输出的线速度解算出载体在导航坐标系中的速度、位置和姿态等信息。
进一步的，现有技术中通常仅采用两帧图像数据来获得载体周围环境信息，但是为了提高里程计系统定位导航的精度，本发明的单目视觉模块提供了连续三帧图像数据，即当前帧数据、前一帧数据和前两帧数据；当采集到新的图像数据时，则前述当前帧数据变为前一帧数据，前述前一帧数据变为前辆帧数据，采集到的新图像数据作为当前帧数据，以此循环实现里程计系统定位导航的实时性。
进一步的，预处理模块执行下述流程得到粗匹配点组：
利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，并利用LK光流跟踪进行特征点匹配；
从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组。
其中，采用八点法估计得到单目视觉模块相机的外参数包括：本质矩阵以及相机的旋转矩阵和平移量，用以剔除偏差较大的匹配点组，以减少计算量。
进一步的，REPE滤波器执行下述流程得到最佳匹配点组：
随机选取一组粗匹配提取的匹配点组，与三帧图像对应的惯导信息进行融合，得到系统状态量；利用REPF滤波算法估计系统的误差量，与惯导信息进行融合，得到系统真实状态量；根据所述系统真实状态量及三帧图像几何中的“点-线-点”的映射关系，得到三焦点张量；
系统的状态量包括坐标、位置、矩阵、旋转量以及惯导运动方程等，根据系统的状态量，利用REPF滤波算法可以估计系统的误差量；再根据系统的误差量并与惯导信息相融合，可以得到系统真实的状态量；根据系统真实的状态量去解算载体的位置、速度、姿态以及轨迹等信息。
其中，“点-线-点”的映射关系具体为：单目视觉模块可以提供前两帧图像、前一帧图像和当前帧图像，将空间中的一条直线在三帧图像分别投影成三条直线；当前帧图像和前一帧图像为相邻两帧图像，可以利用相邻两帧图像间的对极几何约束关系确定空间中该直线上的某一点在两个成像平面映射点之间的映射关系，同理可以得到前两帧图像和前一帧图像两个映射点之间关系；空间直线和投影在前一帧图像的投影线形成一个平面，结合两个相邻帧图像的对极几何约束关系，可以推导出空间中该直线上的某一点分别在前两帧图像和当前帧图像之间的映射关系；
判断其它匹配点组的约束关系，是否满足所述三焦点张量的约束关系，如果满足约束关系，则判断为局内匹配点组并保留；
多次随机取样进行局内匹配点组判断，保留局内匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，将其它未被选中的匹配点组剔除掉，得到最佳匹配点组；
先对特征点进行粗匹配再进行精匹配，大大降低了计算量和计算复杂程度，从而提高了里程计系统的实时性。
重复上述步骤，直至得到全部最佳匹配点，并利用全部最佳匹配点组解算得到载体的姿态信息；利用全部最佳匹配点组解算载体的姿态信息可以避免单一匹配点组的单一性和偶然性并提高里程计系统的定位导航精度。
进一步的，为了实现里程计系统的实时性，需要判断是否采集到新的图像数据和惯导数据。若有新的数据，则需要重复前述步骤，直至整个里程计系统采集和处理完成。
进一步的，REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
本发明实施例中的单目视觉惯性里程计系统用于移动载体的自主导航控制。首先，惯导模块与单目视觉模块相融合，解决了单目视觉里程计尺度不确定性问题，提高了单目视觉里程计的适应能力和定位精度；其次，应用控制模块中的两级优化，采用预处理模块对数据进行粗处理，再利用计算复杂度较低的REPF滤波器算法对预处理后的数据进一步优化，降低了控制模块处对处理器性能的要求，提高了里程计系统的实时性。从而实现了里程计系统对高定位精度和实时性的要求。
方法实施例：
参见图2，图2为本发明实施例提出的单目视觉惯性里程计系统的工作流程图。如图所示，包括以下步骤：
惯导模块和单目视觉模块分别向控制模块发送运动信息和连续三帧图像信息；
预处理模块根据运动信息利用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；
REPF滤波器基于解算的载体惯导信息对得到的图像粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；
控制模块将载体的姿态信息发送至姿态输出模块。
其中，运动信息包括载体的角速度和线速度，惯导信息包括载体的位置、速度和姿态等信息；连续三帧图像通过获取周围环境信息而提供载体的位置和姿态等信息；控制模块输出的姿态信息包括位置、速度和姿态等信息。
进一步的，预处理模块执行下述流程得到粗匹配点组：
利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，并利用LK光流跟踪进行特征点匹配；
从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组。
进一步的，REPE滤波器执行下述流程得到最佳匹配点组：
随机选取一组粗匹配提取的匹配点组，与三帧图像对应的惯导信息进行融合，得到系统状态量；利用REPF滤波算法估计系统的误差量，与惯导信息进行融合，得到系统真实状态量；根据所述系统真实状态量及三帧图像几何中的“点-线-点”的映射关系，得到三焦点张量；
判断其它匹配点组的约束关系，是否满足所述三焦点张量的约束关系，如果满足约束关系，则判断为局内匹配点组并保留；
多次随机取样进行局内匹配点组判断，保留局内匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，将其它未被选中的匹配点组剔除掉，得到最佳匹配点组；
重复上述步骤，直至得到全部最佳匹配点，并利用全部最佳匹配点解算载体的姿态信息。
进一步的，判断是否采集到新的图像数据和惯导数据。若有新数据，则重复前述步骤，直至整个里程计系统采集和处理完成。
进一步的，REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
本发明实施例中的单目视觉惯性里程计系统的工作方法用于移动载体的自主导航控制。首先，惯导模块与单目视觉模块相融合，解决了单目视觉里程计尺度不确定性问题，提高了单目视觉里程计的适应能力和定位精度；其次，应用控制模块中的两级优化，采用预处理模块对数据进行粗处理，再利用计算复杂度较低的REPF滤波器算法对预处理后的数据进一步优化，降低了控制模块处对处理器性能的要求，提高了里程计系统的实时性。从而实现了里程计系统对高定位精度和实时性的要求。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种单目视觉惯性里程计系统，用于移动载体的自主导航，其特征在于，包括：惯导模块、单目视觉模块、控制模块和姿态输出模块；
所述惯导模块，用于感应测量载体的运动信息；
所述单目视觉模块，用于通过图像帧获取载体周围环境信息；
所述控制模块包括预处理模块和REPF滤波器；所述REPF滤波器表示RANSAC-ExtendedKalman Particle Filter；
所述预处理模块用于根据所述运动信息采用捷联惯导算法解算得到载体的惯导信息；并利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，利用LK光流跟踪进行特征点匹配；从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组；所述单目视觉模块提供的连续三帧图像信息分别为当前帧数据、前一帧数据和前两帧数据；采集到的新图像数据作为当前帧数据；采用八点法估计得到单目视觉模块相机的外参数包括：本质矩阵以及相机的旋转矩阵和平移量；
所述REPF滤波器，用于基于解算的载体惯导信息对得到的所述粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；
所述REPF滤波器执行下述流程得到最佳匹配点组：
随机选取一组粗匹配提取的匹配点组，与三帧图像对应的惯导信息进行融合，得到系统状态量；利用REPF滤波算法估计系统的误差量，与惯导信息进行融合，得到系统真实状态量；根据所述系统真实状态量及三帧图像几何中的“点-线-点”的映射关系，得到三焦点张量；
判断其它匹配点组的约束关系，是否满足所述三焦点张量的约束关系，如果满足约束关系，则判断为局内匹配点组并保留；
多次随机取样进行局内匹配点组判断，保留局内匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，将其它未被选中的匹配点组剔除掉，得到最佳匹配点组；
所述姿态输出模块，用于输出控制模块解算得到的姿态信息。
2.根据权利要求1所述的单目视觉惯性里程计系统，其特征在于，所述惯导模块包括固联在载体上陀螺仪和加速度计，所述陀螺仪用于感应测量载体轴向的角速度，所述加速度计用于感应测量载体的线速度。
3.根据权利要求2所述的单目视觉惯性里程计系统，其特征在于，所述REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
4.一种单目视觉惯性里程计系统的工作方法，其特征在于，所述方法包括以下步骤：
惯导模块和单目视觉模块分别向控制模块发送运动信息和连续三帧图像信息；
预处理模块根据运动信息采用捷联惯导算法解算得到载体的惯导信息，并根据单目视觉模块提供的连续三帧图像信息利用特征点匹配算法对图像特征点进行粗匹配，得到粗匹配特征点组；所述预处理模块执行下述流程得到粗匹配点组：
利用Fast特征算法从单目视觉模块提供的连续三帧图像中分别提取特征点，并利用LK光流跟踪进行特征点匹配；
从LK光流跟踪得到的匹配特征点组中随机选取八组匹配点组，并采用八点法估计得到单目视觉模块相机的外参数，根据所述相机外参数及图像间的对极几何关系确定局内匹配点组数，保留匹配点组数最大的匹配点组以及与所述匹配点组数最大的匹配点组相匹配的匹配点组，剔除其它匹配点组，得到粗匹配点组；所述单目视觉模块提供的连续三帧图像信息分别为当前帧数据、前一帧数据和前两帧数据；采集到的新图像数据作为当前帧数据；采用八点法估计得到单目视觉模块相机的外参数包括：本质矩阵以及相机的旋转矩阵和平移量；
REPF滤波器基于解算的载体惯导信息对得到的图像粗匹配特征点组进行精匹配得到最佳匹配点组，并利用全部最佳匹配点组解算得到载体的姿态信息；
控制模块将载体的姿态信息发送至姿态输出模块。
5.根据权利要求4所述的方法，其特征在于，REPF滤波算法利用全部最佳匹配点组更新系统真实的状态量以解算得到载体的姿态信息。
CN201911031727.5A 2019-06-25 2019-10-28 一种单目视觉惯性里程计系统及方法 Active CN110751123B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910556050 2019-06-25
CN2019105560500 2019-06-25

Publications (2)

Publication Number Publication Date
CN110751123A CN110751123A (zh) 2020-02-04
CN110751123B true CN110751123B (zh) 2022-12-23

Family

ID=69280491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031727.5A Active CN110751123B (zh) 2019-06-25 2019-10-28 一种单目视觉惯性里程计系统及方法

Country Status (1)

Country Link
CN (1) CN110751123B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111578937B (zh) * 2020-05-29 2024-01-09 上海新天策数字科技有限公司 同时优化外参数的视觉惯性里程计系统
CN111780781B (zh) * 2020-06-23 2022-05-06 南京航空航天大学 基于滑动窗口优化的模板匹配视觉和惯性组合里程计
CN112649016B (zh) * 2020-12-09 2023-10-03 南昌大学 一种基于点线初始化的视觉惯性里程计方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
WO2018081348A1 (en) * 2016-10-26 2018-05-03 The Charles Stark Draper Laboratory, Inc. Vision-inertial navigation with variable contrast tracking residual
CN107607111A (zh) * 2017-09-07 2018-01-19 驭势科技（北京）有限公司 加速度偏置估计方法和装置、视觉惯性里程计及其应用
CN107796391A (zh) * 2017-10-27 2018-03-13 哈尔滨工程大学 一种捷联惯性导航系统/视觉里程计组合导航方法
CN108592950B (zh) * 2018-05-17 2021-11-26 北京航空航天大学 一种单目相机和惯性测量单元相对安装角标定方法
CN109871024A (zh) * 2019-01-04 2019-06-11 中国计量大学 一种基于轻量级视觉里程计的无人机位姿估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A sliding-window visual-IMU odometer based on tri-focal tensor geometry;Jwu-Sheng Hu等;《2014 IEEE International Conference on Robotics and Automation (ICRA)》;20140929;第1-6页 *
惯性/视觉组合导航系统的研究;邓丽颖;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180615;第1-34页 *
邓丽颖.惯性/视觉组合导航系统的研究.《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》.2018, *

Also Published As

Publication number Publication date
CN110751123A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN106840148B (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN110084832B (zh) 相机位姿的纠正方法、装置、系统、设备和存储介质
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN112747750B (zh) 一种基于单目视觉里程计和imu融合的定位方法
CN111968228B (zh) 一种基于航空装配的增强现实自定位方法
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
Olson et al. Wide-baseline stereo vision for Mars rovers
CN114494629A (zh) 一种三维地图的构建方法、装置、设备及存储介质
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN113701750A (zh) 一种井下多传感器的融合定位系统
KR20230003803A (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
Pagel Robust monocular egomotion estimation based on an iekf
CN117128951B (zh) 适用于自动驾驶农机的多传感器融合导航定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant