CN112907633B - 动态特征点识别方法及其应用 - Google Patents

动态特征点识别方法及其应用 Download PDF

Info

Publication number
CN112907633B
CN112907633B CN202110288199.2A CN202110288199A CN112907633B CN 112907633 B CN112907633 B CN 112907633B CN 202110288199 A CN202110288199 A CN 202110288199A CN 112907633 B CN112907633 B CN 112907633B
Authority
CN
China
Prior art keywords
camera
imu
feature point
pairs
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110288199.2A
Other languages
English (en)
Other versions
CN112907633A (zh
Inventor
蔡浩原
李文宽
赵晟霖
柳雅倩
刘春秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110288199.2A priority Critical patent/CN112907633B/zh
Publication of CN112907633A publication Critical patent/CN112907633A/zh
Application granted granted Critical
Publication of CN112907633B publication Critical patent/CN112907633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种动态特征点识别方法，应用于机器人定位和建图算法领域，包括以下步骤：采集图像并获取惯性测量单元传感器的数据，并对所述数据进行预积分；对所述图像和所述惯性测量单元的差值进行对齐操作，并获取惯性测量单元感知到的位姿变化q_IMU；采用特征点提取算法对经过对齐的前后两帧图像进行特征点检测，并进行特征点匹配；通过RNASAC算法获取前后两帧图像之间所有特征点匹配对满足的运动模型R_camera和内点集合inlier；比较所述q_IMU和所述R_camera，并发布特征点；将发布的特征点给后端优化进行使用，得到相机的运行轨迹。

Description

动态特征点识别方法及其应用
技术领域
本发明涉及机器人定位和建图算法领域，尤其涉及一种融合计算机视觉和惯性测量单元信息的动态特征点识别方法及其应用。
背景技术
近年来，随着机器人技术的不断发展，对于机器人在环境中的自主定位和移动的需求也越来越迫切，因此，机器人定位和建图(Simultaneous Localization And Mapping，SLAM)技术应运而生。而视觉惯性里程计(Visual Inertial Odometry，VIO)作为SLAM的前端，融合了来自于视觉里程计(Visual Odometry，VO)和惯性测量单元(InertialMeasurement Unit，IMU)的信息来估算相机的位姿。视觉里程计的主要作用是根据相机所拍摄图像的特征点或者像素来估算相邻图像间相机的位姿，惯性测量单元的主要作用是通过测量载体的加速度和角速度来估算载体的位姿，将二者信息融合，不仅可以得到更高精度的位姿，还可以得到尺度和俯仰角和横滚角信息，是目前主流的SLAM前端算法之一。
目前SLAM/VIO的研究多数都是基于静态世界的假设前提下，即相机观察到的周围环境时，环境中的物体是相对静止的，且相对于惯性坐标系也是静止的。在这种情况下，VO得到的位姿就是相机相对于此静态世界的相对位姿，和IMU得到的位姿变化是相吻合的；而在动态环境下，VO捕捉到的特征点并不一定满足这个条件，一部分特征点分布在静态物体上，而另一部分特征点是分布在动态物体上的，如果使用动态特征点对相机的位姿进行估计，就会得到相机相对于该动态物体的位姿变化，从而导致VIO定位精度的下降，若相机视野中存在大量的动态物体，VO所得到的位姿变化和IMU得到的位姿变化是相互冲突的，即运动冲突(motion conflict)，甚至会引起定位失败，从而影响整个SLAM系统的精度。
而目前对于动态物体的主流处理方式是采用深度学习来对图像进行分割，区分出动态物体和静态世界。Dynamic-SLAM使用多物体检测方法(Single Shot MultiBoxDetector，SSD)来提取图像中的语义物体，然后对语义物体根据其运动的频率进行评分，对于高频率的动态物体(比如车，人等)所在的区域不进行特征点的提取，同时对动态物体使用匀速假设来进行跟踪；此外还有使用卷积神经网络(Convolutional Neural Networks，CNN)来进行运动分割，以此来区别动态物体和静态环境，其基本原理与Dynamic-SLAM类似。但是这种方法在处理效率上表现一般，而且对于标准训练集之外的动态物体是没有区分效果的，使用场景有限。
发明内容
有鉴于此，本发明的主要目的在于提供一种动态特征点识别方法，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一方面，提供了一种动态特征点识别方法，应用于机器人定位和建图算法领域，包括以下步骤：
采集图像并获取惯性测量单元传感器的数据，并对所述数据进行预积分；
对所述图像和所述惯性测量单元的差值进行对齐操作，并获取惯性测量单元感知到的位姿变化q_IMU；
采用特征点提取算法对经过对齐的前后两帧图像进行特征点检测，并进行特征点匹配；
通过RNASAC算法获取前后两帧图像之间所有特征点匹配对满足的运动模型R_camera和内点集合inlier；
比较所述q_IMU和所述R_camera，并发布特征点；
将发布的特征点给后端优化进行使用，得到相机的运行轨迹。
其中，所述RNASAC算法包括以下步骤：
迭代开始，从观测数据中随机挑选5对匹配点对；
通过定义特征点匹配后的匹配点对构成的观测数据的几何约束条件，使用所述5对匹配点对计算得到本轮迭代中的本质矩阵E；
遍历除了选出的5对匹配点对之外的所有匹配点对，并进行三步操作至此遍历完成；
获得满足所述本质矩阵的内点集合inlier，并统计得到集合中匹配点对的个数，记为num；
判断num是否小于之前迭代中所获得的最优内点集合inlier_best的匹配点对个数num_best，如果否，则返回第一步，重新迭代；
如果是，则更新最优内点集合inlier_best＝inlier，更新集合中匹配点对的个数num_best＝num，并且更新迭代次数k＝k+1；
判断迭代次数是否大于阈值，如果否，则返回第一步，重新迭代；
如果是，则退出迭代，本次迭代中的本质矩阵E即为最终结果，从中分解得到相机感知到的姿态变化q_camera。
其中，所述遍历包括以下步骤：
计算所选择的匹配点对与其所在的轮次迭代中的本质矩阵E的误差；
判断误差是否小于阈值；
如果小于阈值，就将该匹配点对加入到内点集合inlier中。
其中，所述比较所述q_IMU和所述R_camera，并发布特征点包括：将R_camera转换为四元数q_camera，将q_camera的参数与惯性测量单元感知到的姿态变化q_IMU的参数进行比较，若二者差值小于阈值则认为二者相等。
其中，所述比较所述q_IMU和所述R_camera，即比较q_IMU和q_camera，用于区分特征点是否位于动态物体上。
其中，所述后端优化是使用位于静态世界中的特征点参与的视觉惯性里程计进行的。
作为本发明的另一方面，还提供了一种如上所述的动态特征点识别方法的应用，所述动态特征点识别方法应用于机器人定位和建图领域中的当相机的视野被动态物体部分遮挡时的场景。
基于上述技术方案可知，本发明的动态特征点识别方法相对于现有技术至少具有如下有益效果之一：
1)能够更加有效的识别图像中位于动态物体上的特征点。相较于使用深度学习的方法，不需要提前训练，不需要动态物体含有语义信息，且不需要限制使用场景，在绝大多数环境下都适用。
2)可以提高动态环境下VIO的定位精度，解决运动冲突问题。由于剔除了动态物体上的特征点，从而在优化之前就消除了误差较大的残差项，所以在动态环境下，可以提高定位精度。
附图说明
图1是本发明实施例提供的本发明特征点识别方法的流程图；
图2是本发明实施例提供的IMU数据差值对齐示意图；
图3是本发明实施例提供的特征点匹配示意图；
图4是本发明实施例提供的RANSAC算法流程图；
图5是本发明实施例提供的R_IMU和R_camera示意图；
图6是本发明实施例提供的动态特征点剔除效果图；
图7是本发明实施例提供的轨迹对比图；
图8是本发明实施例提供的姿态示意图；
图9是本发明实施例提供的RANSAC算法实例；
图10是本发明实施例提供的对极约束示意图。
具体实施方式
目前的机器人定位和建图算法，大多基于静态世界的假设，当相机视野中存在动态物体时，会出现精度下降甚至定位失败的情况。本发明提出一种融合计算机视觉和惯性测量单元信息的动态特征点识别方法。首先通过对惯性测量单元数据进行预积分，获取两帧图像之间的相对位姿变化，之后通过随机采样一致性算法获取两帧图像之间的运动模型，并与惯性测量单元预积分值进行比较，剔除动态特征点，选择静态特征点进行发布，参与后端优化得到更加精确的运动轨迹。本发明方法能够快速有效的识别动态特征点，提高动态环境下的定位精度，适用于绝大多数环境。该算法在机器人定位和建图，图像处理等领域具有广泛的应用潜力。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
如图1所示，为本发明的动态特征点识别方法流程图。其中，本发明的方法如下：
(1)获取传感器数据。
同步采集相机和IMU传感器，得到图像和IMU数据。因为IMU的采集频率(100Hz以上)往往大于图像采集频率(10-30Hz)，所以在采集IMU数据的同时，对其进行预积分。
(2)IMU预积分。
实时获取IMU中的加速度测量值和角速度测量值，并采用IMU预积分公式，对数据进行预积分，获取上一帧图像至此时刻的位移速度/>和姿态/>变化。
其中，bibj表示从第i帧图像到第j帧图像的变化，和/>表示t时刻载体坐标系中的加速度和角速度值，/>表示四元数乘法。本发明中，主要使用的是预积分的姿态变化信息/>
通过此步骤，就可以获得从第i帧图像到当前时刻t的IMU预积分值。
(3)进行图像和IMU的差值对齐操作。
因为采样不同步的原因，IMU和图像之间的时间戳不能严格对齐，会存在一定的时间偏差，且IMU的频率往往都会高于图像的频率。所以需要采用差值的方法，将时间戳对齐，以此来保证获得的IMU预积分是两帧图像之间的预积分。
当获取到图像数据时，进行线性差值计算得到T时刻的IMU数据(加速度a和角速度ω)，如图2所示。
w1＝(T-t1)/(t2-t1)
w1＝(t2-T)/(t2-t1)
之后对T时刻的IMU值再次使用预积分。
通过此步骤，就可以获得由IMU计算得到的第i帧和第j帧图像之间的相机位姿变化记为q_IMU。
(4)图像特征点提取和匹配。
获取第i帧和第j帧的图像，并采用各种特征点提取算法，如FAST方法(Featuresfrom Accelerated Segment Test)，Harris或者ORB方法(Oriented FAST and RotatedBRIEF)等对图像进行特征点检测，并对其进行描述子的提取，之后通过描述子将前后两时刻的特征点进行匹配(还可以采用光流跟踪法进行匹配)。最终得到特征点的匹配关系，如图3所示。
所有匹配点对构成观测数据，数学模型即为多数匹配点对所满足的姿态变化R_camera，满足该数学模型的匹配点对即为内点，不满足的即为外点。
通过此步骤，准备好了使用RNASAC算法的前提条件。
(5)使用RNASAC获取多数特征点满足的R_camera.
本步骤的主要流程图如图4所示，其中圆角方框为算法起始和结束步骤，直角方框代表普通步骤，菱形代表判断步骤。
①迭代开始，从观测数据中随机挑选5对匹配点对，因为确定本质矩阵E最少需要5个观测数据(类似于两点确定一条直线)。
②通过定义4中的几何约束条件，使用上一步得到的5对匹配点对计算得到本轮迭代中的本质矩阵E。
③遍历除了选出的5对匹配点对之外的所有匹配点对，并进行三步操作至此遍历完成：1.计算该匹配点对与本轮迭代中的本质矩阵E的误差；2.判断误差是否小于阈值(本发明中阈值为0.5个像素单位)；3.如果小于，就将该匹配点对加入到内点集合inlier中。
④获得满足该本质矩阵的内点集合inlier，并统计得到集合中匹配点对的个数，记为num；
⑤判断num是否小于之前迭代中所获得的最优内点集合inlier_best的匹配点对个数num_best，如果否，则返回第一步，重新迭代。
⑥如果是，则更新最优内点集合inlier_best＝inlier，更新集合中匹配点对的个数num_best＝num，通是更新迭代次数k＝k+1。
⑦判断迭代次数是否大于阈值(阈值可视需求还更改，本发明中阈值为30)，如果否，则返回第一步，重新迭代。
⑧如果是，则退出迭代，本次迭代中的本质矩阵E即为最终结果，从中可以分解得到相机感知到的姿态变化R_camera。
通过此步骤，就可以获得前后两帧图像之间所有特征点匹配对最可能满足的运动模型R_camera。
(6)R_camera与q_IMU比较，并发布特征点。
将R_camera转换为四元数q_camera，并根据定义2b，将其参数与IMU感知到的姿态变化q_IMU的参数进行比较，若二者差值小于阈值则认为二者相等。具体比较方式可视传感器误差大小而定，本发明中采用四个参数中的第三个虚部进行做差然后取模，阈值取0.005。若小于0.005，则认为二者相等。
当图像没有被动态物体遮挡时，q_camera得到的就是真实的前后两帧图像之间的姿态变化，此时相机和IMU感知到的姿态变化应该相同，即q_camera与q_IMU相等，其原理如图5所示，其中的f表示空间中的特征点，和/>表示的是同一特征点fj在前后两个相机坐标系c1和c2拍到的图像中的量测值，它们两个组成步骤4中的匹配点对。
此时内点集合中的匹配点对即为位于静态世界中的特征点，所以应该使用满足该模型的内点集合inlier中的匹配点对参与VIO中的后端优化，得到相机的轨迹。
当大部分视野被动态物体遮挡时，此时相机主要使用位于动态物体上的特征点来计算q_camera，就会导致q_camera与q_IMU相差过大，那么内点集合中的匹配点对均是位于动态物体上的。所以此时应该使用不满足该模型的外点集合outlier中的匹配点对参与VIO中的后端优化，得到相机轨迹。
本发明在开源数据集Euroc的基础上制作了动态遮挡的数据集并进行了验证，添加小人作为动态物体，在镜头前从左向右缓慢划过，最大时占据1/3视野。
通过此步骤，即可区分出特征点是否位于动态物体上。如图6所示，圆圈标记的特征点是位于动态物体上的特征点，方框标注的特征点是位于静态世界中的特征点。
(7)发布特征点给后端优化进行使用，得到相机的运行轨迹。
通过上一步骤正确识别到动态特征点并剔除，仅使用位于静态世界中的特征点参与VIO中的后端优化来计算轨迹，因此本发明算法得到的相机运动轨迹的精度更高。
实现了本发明的方法并在开源数据集Euroc上进行了实验，并与开源VIO算法VINS-Mono进行了对比，如图7所示，左侧是VINS-Mono在动态数据集上运行得到的运动轨迹，右侧图中实线是本发明方法在动态数据集上运行得到的轨迹，虚线是相机的真实运动轨迹。可以发现本发明方法在动态数据集上仍可以正常运行，而VINS-Mono已不能正常运行。
表1中记录了多种遮挡下本发明方法和VINS-Mono所得到的相机轨迹和真实轨迹的均方误差(RMSE)，其值越小，精度越高。同样证明了本发明的有益效果。
表1.相机轨迹和真实轨迹的均方误差(RMSE)
通过此步骤，就可以获得剔除动态特征带点后的运动轨迹。
(8)获取下一次传感器数据，并从步骤1开始重复上述步骤。
对本发明中用到的坐标系定义如下：
载体坐标系：即载体本身，其坐标原点为IMU传感器中心，x轴指向右侧，y轴指向正前方，z轴由右手定则确定，本发明中使用角标b来表示。
相机坐标系：因为IMU和相机的中心不可能完全重合，所以本发明中规定一个以相机中心为坐标原点的相机坐标系，x轴指向右侧，y轴指向正前方，z轴由右手定则确定，使用角标c来表示。
地理坐标系：也称当地水平坐标系，本发明中使用“东北天”坐标系作为地理坐标系。“东北天”坐标系的原点是初始位置，x轴指向东，y轴指向北，z轴指向是铅锤方向的反方向。
导航坐标系：用来确定载体导航参数的参考坐标系。在本发明中，导航坐标系选用地理坐标系，即“东北天”坐标系。
姿态表示：任何三维刚性物体在空间中的存在都有一定的位置和姿态，也就是载体坐标系在导航坐标系中存在的位置和姿态，其中姿态代表其在空间中的朝向。如图8所示，虚线代表载体坐标系，实线代表导航坐标系。其中α，β，γ分别表示载体的航向角，横滚角和俯仰角。本发明中使用旋转矩阵和四元数来表示姿态，它们之间可以相互转换。
旋转矩阵：本发明中使用R表示，它是一个3×3的正交矩阵，可以表示两个坐标系之间的旋转，如图8所示的，从实线坐标系旋转到虚线坐标系，可以用旋转矩阵表示为：
四元数：本发明中使用q表示，它是一个1×4的向量，是一种扩展复数。其定义为：q＝q0+q1i+q2j+q3k。其中，i，j，k为四元数的三个虚部，它们满足以下关系：
RANSAC算法中的一些定义：
RANSAC可以从一组包含“外点”的观测数据集中，通过迭代方式估计数学模型的参数。
观测数据：本次量测中，可以用于估算数学模型的所有数据。如图9中左侧的所有点。
数学模型：所有观测数据最为符合的某个模型，可以建模为某函数。在图9中，采用线性函数作为本次观测数据估算的数学模型。
内点和外点：符合该数学模型或误差较小的观测数据称为内点，所有这样的观测数据组成内点集合(inlier)，如图9右侧中圆点(·)表示的点；不符合或误差较大的观测数据称为外点，所有这样的观测数据组成外点集合(outlier)，如图9右侧中黑色方块(■)表示的点。
对极约束：在已知2D的像素坐标的前提下，根据两幅图像间多组2D像素点对来估计相机的运动。通常用下式来表示：x表示特征点的归一化坐标，tc和Rc表示相机在拍摄两幅图像时的位置和姿态变化。其中/>皮称为本质矩阵E。如图10所示，为对极约束示意图。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种动态特征点识别方法，应用于机器人定位和建图算法领域，其特征在于，包括以下步骤：
采集图像并获取惯性测量单元传感器的数据，并对所述数据进行预积分；
对所述图像和所述惯性测量单元的差值进行对齐操作，并获取惯性测量单元感知到的位姿变化q_IMU；
采用特征点提取算法对经过对齐的前后两帧图像进行特征点检测，并进行特征点匹配；
通过RNASAC算法获取前后两帧图像之间所有特征点匹配对满足的运动模型R_camera和内点集合inlier；
比较所述q_IMU和所述R_camera，并发布特征点；
所述比较所述q_IMU和所述R_camera，并发布特征点包括：将R_camera转换为四元数q_camera，将q_camera的参数与惯性测量单元感知到的姿态变化q_IMU的参数进行比较，若二者差值小于阈值则认为二者相等；
所述比较所述q_IMU和所述R_camera，即比较所述q_IMU和所述q_camera，用于区分所述特征点是否位于动态物体上；
将发布的特征点给后端优化进行使用，得到相机的运行轨迹。
2.根据权利要求1所述的动态特征点识别方法，其特征在于，所述RNASAC算法包括以下步骤：
迭代开始，从观测数据中随机挑选5对匹配点对；
通过定义特征点匹配后的匹配点对构成的观测数据的几何约束条件，使用所述5对匹配点对计算得到本轮迭代中的本质矩阵E；
遍历除了选出的5对匹配点对之外的所有匹配点对，并进行三步操作至此遍历完成；
获得满足所述本质矩阵的内点集合inlier，并统计得到集合中匹配点对的个数，记为num；
判断num是否小于之前迭代中所获得的最优内点集合inlier_best的匹配点对个数num_best，如果否，则返回第一步，重新迭代；
如果是，则更新最优内点集合inlier_best＝inlier，更新集合中匹配点对的个数num_best＝num，并且更新迭代次数k＝k+1；
判断迭代次数是否大于阈值，如果否，则返回第一步，重新迭代；
如果是，则退出迭代，本次迭代中的本质矩阵E即为最终结果，从中分解得到相机感知到的姿态变化q_camera。
3.根据权利要求2所述的动态特征点识别方法，其特征在于，所述遍历包括以下步骤：
计算所选择的匹配点对与其所在的轮次迭代中的本质矩阵E的误差；
判断误差是否小于阈值；
如果小于阈值，就将该匹配点对加入到内点集合inlier中。
4.根据权利要求1所述的动态特征点识别方法，其特征在于，所述后端优化是使用位于静态世界中的特征点参与的视觉惯性里程计进行的。
5.根据权利要求1-4任一项所述的动态特征点识别方法，其特征在于，所述动态特征点识别方法应用于机器人定位和建图领域中的当相机的视野被动态物体部分遮挡时的场景。
CN202110288199.2A 2021-03-17 2021-03-17 动态特征点识别方法及其应用 Active CN112907633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110288199.2A CN112907633B (zh) 2021-03-17 2021-03-17 动态特征点识别方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110288199.2A CN112907633B (zh) 2021-03-17 2021-03-17 动态特征点识别方法及其应用

Publications (2)

Publication Number Publication Date
CN112907633A CN112907633A (zh) 2021-06-04
CN112907633B true CN112907633B (zh) 2023-12-01

Family

ID=76105598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110288199.2A Active CN112907633B (zh) 2021-03-17 2021-03-17 动态特征点识别方法及其应用

Country Status (1)

Country Link
CN (1) CN112907633B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920194B (zh) * 2021-10-08 2023-04-21 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法
CN115239758A (zh) * 2022-05-24 2022-10-25 广东人工智能与先进计算研究院 时间戳校正方法、装置、设备、介质及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN109829459A (zh) * 2019-01-21 2019-05-31 重庆邮电大学 基于改进ransac的视觉定位方法
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767388A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN109829459A (zh) * 2019-01-21 2019-05-31 重庆邮电大学 基于改进ransac的视觉定位方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110009681A (zh) * 2019-03-25 2019-07-12 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Also Published As

Publication number Publication date
CN112907633A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
Li et al. Monocular visual-inertial state estimation for mobile augmented reality
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN110490900B (zh) 动态环境下的双目视觉定位方法及系统
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
Liu et al. Robust and efficient relative pose with a multi-camera system for autonomous driving in highly dynamic environments
Hu et al. A sliding-window visual-IMU odometer based on tri-focal tensor geometry
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN111210477B (zh) 一种运动目标的定位方法及系统
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN112907633B (zh) 动态特征点识别方法及其应用
CN111862316B (zh) 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN111932674A (zh) 一种线激光视觉惯性系统的优化方法
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
Liu et al. A SLAM-based mobile augmented reality tracking registration algorithm
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN109544632B (zh) 一种基于层次主题模型的语义slam对象关联方法
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及系统
Zhao et al. Robust depth-aided RGBD-inertial odometry for indoor localization
Singh et al. Fusing semantics and motion state detection for robust visual SLAM
Li et al. RD-VIO: Robust visual-inertial odometry for mobile augmented reality in dynamic environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant