CN108489482A - 视觉惯性里程计的实现方法及系统 - Google Patents

视觉惯性里程计的实现方法及系统 Download PDF

Info

Publication number
CN108489482A
CN108489482A CN201810150612.7A CN201810150612A CN108489482A CN 108489482 A CN108489482 A CN 108489482A CN 201810150612 A CN201810150612 A CN 201810150612A CN 108489482 A CN108489482 A CN 108489482A
Authority
CN
China
Prior art keywords
point
dimensional
map
image
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810150612.7A
Other languages
English (en)
Other versions
CN108489482B (zh
Inventor
王强
徐尚
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Original Assignee
EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd filed Critical EASYAR INFORMATION TECHNOLOGY (SHANGHAI) Co Ltd
Priority to CN201810150612.7A priority Critical patent/CN108489482B/zh
Publication of CN108489482A publication Critical patent/CN108489482A/zh
Priority to PCT/CN2019/072921 priority patent/WO2019157925A1/zh
Application granted granted Critical
Publication of CN108489482B publication Critical patent/CN108489482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种视觉惯性里程计的实现方法，包括以下步骤：第一步，通过相机实时采集图像数据；通过IMU采集陀螺仪和加速度的数据；第二步，场景初始化模块建立视觉惯性里程计系统的初始空间三维地图；第三步，地图扩展模块对空间三维地图进行实时更新；第四步，姿态估计模块接收计算出每一帧图像对应的设备的位置和姿态。本发明通过场景初始化模块实现鲁棒易用的系统初始化过程，通过姿态估计模块实现视觉信息与IMU信息的联合约束进行位置和姿态优化，通过重定位模块实现失败处理和重定位算法，能够得到设备实时的位置和姿态信息。本发明实施例还公开了一种视觉惯性里程计系统。

Description

视觉惯性里程计的实现方法及系统
技术领域
本发明实施例涉及一种计算机视觉技术，具体涉及一种视觉惯性里程计的实现方法。本发明实施例还涉及一种视觉惯性里程计系统。
背景技术
实时追踪设备在未知环境中的位置与姿态问题，是增强现实、虚拟现实、导航与控制、移动机器人、无人驾驶、无人机等领域的核心问题之一。作为解决此类问题的最常用方法，同时定位与地图构建(SLAM)也在机器人学和计算机视觉等相关领域被广泛研究。最近，基于计算机视觉和惯性测量单元融合的定位算法，由于成本低、精度高、互补性强受到越来越多的关注。这种利用设备本身的相机和IMU(惯性测量单元)信息，进行实时设备位置和姿态追踪的方法，统称为视觉惯性里程计(visual inertial odometry)。
苹果公司在2017年推出的ARKit功能是一种典型的视觉里程计方法，但是仅在少数最新iPhone机型才可以支持。谷歌公司在同年推出的 ARCore功能，也是仅支持少数几款最新旗舰手机。
中国专利文献CN102538781A公开了一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法，基于扩展卡尔曼滤波框架进行姿态追踪，但精度偏低。
中国专利文献CN107462259A公开了一种变基线双目视觉惯性里程计及其方法，同样是基于双目摄像头和惯性导航的融合。
中国专利文献CN103292804B公开了一种单目自然视觉路标辅助的移动机器人定位方法，需要预先建立环境地图。
世界知识产权组织专利文献WO2016187757A1公开了一种基于惯性和图像传感器的传感器融合方法(Sensor fusion using inertial and image sensors)，是针对无人机应用的视觉惯性里程计技术。
上述文献所公开的技术，针对特定硬件如双目相机和IMU，而不适用于单目相机和IMU。并且系统计算复杂，实时性差，功耗高，难以用于处理能力较弱、耗电功能较低的移动设备。
发明内容
本发明所要解决的技术问题是提供一种视觉惯性里程计的实现方法，它可以灵活适配多种相机和IMU组合。
为解决上述技术问题，本发明实施例视觉惯性里程计的实现方法的技术解决方案为，包括以下步骤：
第一步，设备通过配备的相机实时采集图像数据，通过配备的IMU实时采集设备的角速度和加速度数据；所述IMU包括陀螺仪和加速度计；
第二步，场景初始化模块根据相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
进一步地，所述第二步具体包括以下步骤：
在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
第三步，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
进一步地，所述第三步地图扩展模块对空间三维地图进行更新的方法如下：
地图扩展模块接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
第四步，姿态估计模块接收相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间 IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息。
进一步地，所述第四步中计算每一帧图像对应的设备的位置和姿态的具体方法如下：
步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；
和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
步骤三，通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
步骤四，通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
进一步地，所述方法还包括：如果姿态估计模块无法计算出当前帧图像对应的相机的位置和姿态，则相机所采集的当前帧图像数据和IMU采集的角速度和加速度数据由重定位模块接收，重定位模块通过搜索当前帧图像与所有地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU采集的角速度和加速度数据由姿态估计模块接收，执行第四步操作。
进一步地，所述第四步中重定位模块的流程如下：
步骤一，提取当前图像中的二维特征点和对应特征描述；
步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
本发明实施例还提供一种视觉惯性里程计系统，其技术解决方案为，包括存储器和处理器，其中：
所述存储器，用于存储代码和相关数据；
所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施如权利要求1至6任一项所述的方法步骤。
本发明实施例还提供一种视觉惯性里程计系统，其技术解决方案为，包括
相机，用于实时采集图像数据；
IMU，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪的和加速度计；
场景初始化模块，用于视觉惯性里程计系统的初始空间三维地图建立；
进一步地，所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
地图扩展模块，用于实时更新场景初始化模块建立起来的空间三维地图；
进一步地，所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备的位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
姿态估计模块，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU 的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
进一步地，所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
进一步地，所述系统还包括：重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态时，则接收相机所采集的当前帧图像数据和IMU采集的的角速度和加速度数据，并通过搜索当前帧图像与地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
更进一步地，所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备的位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
本发明可以达到的技术效果是：
本发明通过场景初始化模块实现鲁棒易用的系统初试化过程，通过姿态估计模块实现图像和地图投影关系约束、图像帧间匹配约束以及视觉信息与IMU信息的联合约束进行位置和姿态优化，通过重定位模块实现失败处理和重定位算法，能够得到设备实时的位置和姿态信息。
本发明通过场景初始化模块实现环境建模，对于未知环境同样可以进行跟踪和定位。
附图说明
本领域的技术人员应理解，以下说明仅是示意性地说明本发明实施例的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明实施例的教导内容的一般原理，不意味着限制在此所公开的发明构思。
结合在本说明书中并构成本说明书的一部分的附图示出了本发明实施例的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明实施例的原理。
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明实施例视觉惯性里程计的实现方法及系统的流程示意图；
图2是本发明实施例视觉惯性里程计系统的示意图；
图3是本发明实施例视觉惯性里程计系统的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
实施例一：
如图1所示，本发明实施例视觉惯性里程计的实现方法，包括以下步骤：
第一步(S1)，设备通过相机实时采集图像数据；通过惯性测量单元 (IMU)实时采集设备的角速度和加速度数据；所述IMU包含陀螺仪和加速度计，所述IMU采集的角速度和加速度的数据也可以简称为IMU的采集数据；
第二步(S2)，场景初始化模块根据相机实时采集的图像数据和IMU 使用陀螺仪所采集到的设备的角速度数据和使用加速度计所采集到的加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
优选地，该第二步(S2)可以包括以下步骤：
在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构(structure from motion)的方式，逐步恢复出初始空间三维地图和每一帧对应的设备位置和姿态；优选地，空间三维地图由一些稀疏的三维地图点组成；
然后利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU 的采集数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
第三步(S3)，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
第四步(S4)，姿态估计模块接收相机实时采集的图像数据和IMU的采集数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息；优选地，第四步(S4)可以包括：
步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU的采集数据，计算出粗略的设备位置和姿态；
步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系可以作为当前设备的位置和姿态估计的约束；
和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系也可以作为帧间设备的位置和姿态的约束；
步骤三，通过数值积分的方式，将图像帧间所有IMU的角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
上述步骤二和步骤三可以共同作为一个非线性优化问题，利用优化方法，然后对于需要优化的变量(如设备的位置和姿态、地图点的空间位置) 等统一优化，得到更准确的当前图像帧的位置姿态估计，作为姿态估计模块的输出。
在本发明实施例中，如果姿态估计模块根据地图扩展模块所维护的地图和来自于IMU的约束信息，无法计算出当前帧图像对应的设备的位置和姿态，说明此时设备的位置和姿态不合理(如相机被遮挡、相机快速移动、相机拍摄没有纹理的区域等)，则相机所采集的当前帧图像数据和IMU的采集数据由重定位模块接收，重定位模块通过搜索当前帧图像与地图之间匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU的采集数据由姿态估计模块接收，执行前述步骤中第四步(S4)的操作。
在本发明实施例中，重定位模块进行重定位时的方法流程如下：
步骤一，提取当前图像中的二维特征点和对应特征描述；
步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态(即姿态估计模块执行第四步操作)，否则下一帧图像仍进入重定位模块。
实施例二
如图2所示，本发明实施例还提供了一种视觉惯性里程计系统，包括相机21、IMU22、场景初始化模块23、地图扩展模块24和姿态估计模块 25，其中：
相机21，用于实时采集图像数据；
IMU22，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪和加速度计；
场景初始化模块23，用于视觉惯性里程计系统的初始空间三维地图建立；
地图扩展模块24，用于实时更新场景初始化模块23建立起来的空间三维地图；
姿态估计模块25，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间 IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
在本发明实施例中，所述的设备可以是集成了一种视觉惯性里程计系统的智能终端例如智能手机、手持设备、PAD等。
在本发明实施例中，所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
然后利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU 的采集数据，估算相机与IMU的相对空间位置，完成相机坐标系与IMU坐标系的统一。
在本发明实施例中，所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
在本发明实施例中，所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU的采集数据，计算出粗略的设备位置和姿态；
通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
通过数值积分的方式，将图像帧间所有IMU的采集数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
在本发明实施例中，所述系统还包括：
重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态，则接收相机所采集的当前帧图像数据和IMU的采集数据，并通过搜索当前帧图像与地图之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
在本发明实施例中，所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
实施例三：
本发明实施例所提供的视觉惯性里程计的实现方法，以在未知室内环境下利用智能手机进行实时手机的定位和跟踪为实施例具体说明本发明的技术方案：
301、使用配备有相机、陀螺仪和加速度计的智能手机，该智能手机也集成有本发明实施例所提供的视觉惯性里程计系统，在本发明实施例中，所述智能手机可以看作是设备；视觉惯性里程计系统可以实时获取相机的实时二维图像输入和IMU的输入；相机按照固定帧率采集图像，比如30 赫兹，相机采集的图像大小可根据实际手机运算能力设定，比如720p；陀螺仪和加速度计的频率通常比相机频率更高，比如200赫兹；
302、启动视觉惯性里程计系统，手持智能手机在室内场景比如办公室、家庭、展馆等运动，系统通过相机拍摄用户的周边环境，该环境信息可以包括墙壁、文具、装饰、地毯、家具、家用电器等；系统获得固定帧率比如30赫兹的图像输入I，陀螺仪实时记录手机相对本身坐标系的三轴旋转角速度ω，加速度计实时记录手机相对于本身坐标系的加速度计α；图像输入I，陀螺仪的输出ω和加速度计的输出α以及对应的采集时间共同作为视觉惯性里程计系统的输入；
303、视觉惯性里程计系统在启动时，处于未初始化状态，在接收到相机输入的图像序列和IMU采集的数据(陀螺仪和加速度计的数据)的输入后，首先被送到初始化模块进行系统的初始化；
在本发明实施例中，系统初始化的具体方法是：
步骤一、初始化模块建立初始环境的三维空间地图，并确定系统参数；初始化模块根据两帧图像采集时刻对应手机相对姿态，在两帧图像上分别提取特征点(比如ORB等)并进行匹配得到若干匹配点对后，通过计算机多视几何学中的五点法或者八点法得到两个时刻手机在相机坐标系下的相对位置和姿态TCam；
步骤二、由于环境对定位系统是未知的，系统需要建立周边环境的三维地图结构，典型的三维地图由若干空间中位置确定的三维点组成；根据从运动推断结构方法，当手机位置发生变化的时候，通过同一空间位置点在两幅图像中的不同位置造成的视差计算得出该空间点的三维位置；初始化模块根据得到的图像序列，分别提取一些的特征点并进行匹配，然后判断匹配特征点对在不同图像中的视差是否足够大；在同一个空间三维点在两幅图像中视差足够大的时候，根据两个时刻手机在相机坐标系下相对位姿TCam，利用三角化方法，恢复得到这个特征点的三维位置；多个已知三维位置的特征点即可以作为初始的空间三维地图；后续系统输出的手机的位置和姿态T都是相对于该三维地图坐标系而言；手机的位置和姿态的一种典型的表示包括空间位置x,y,z和偏航角θ、俯仰角ψ和滚转角φ；
步骤三、初始化模块除了上述利用相机的输入确定不同时刻相机相对姿态和初始的三维空间地图之外，还需要计算系统的其他必要参数，一种典型参数为相机坐标系和IMU坐标系的变换关系；初始化模块可以根据牛顿力学，通过对两个相机获得图像帧之间的IMU数据进行积分的方式，获得在两个时刻手机在IMU坐标系下的相对位置和姿态TIMU；同时利用两个时刻手机在相机坐标系下相对位姿TCam，利用最小二乘法，获得相机坐标系到IMU坐标系的转换关系CamTIMU,使得TCam＝CamTIMU*TIMU，从而完成相机坐标系和IMU坐标系的统一；
上述步骤一至三均完成后，即认为系统初始化完成，后续系统接收到的相机和IMU输入，将被发送到姿态估计模块，结合初始化模块建立起的地图和IMU信息，实时跟踪智能手机的位置和姿态；如系统初始化未成功，则下一次相机输入继续重复上述初始化过程；
304、姿态估计模块的输入为新的一帧图像，以及与上一帧图像之间的若干个IMU输出的加速度测量值和角速度测量值；姿态估计模块的输出为这一帧对应时刻图像采集时刻手机的位置和姿态，如前述空间位置 x,y,z和偏航角θ、俯仰角ψ和滚转角φ；为了得到准确的位置和姿态输出，姿态估计模块将位置和姿态的估计问题转化为针对相机位姿的最优化问题，即最小化联合约束argmin(党0+党1+党2)；该优化问题中的能量函数包括三项，其中L0对应当前图像特征点和地图点的二维-三维投影误差；L0可以通过估算哪些地图点可以被观测到，然后针对性进行三维到二维的搜索匹配得到相应约束；如假设相机成像模型为理想针孔相机模型，三维地图点在当前帧的投影点位置与匹配上的特征点位置差的欧式距离应该尽量小；L1对应当前图像和之前图像帧之间的二维-二维约束关系，可以通过在相邻帧之间对特征点进行跟踪，然后建立相应几何约束关系，比如计算机视觉几何学中匹配上特征点对必须满足极线约束，即当然帧特征点到上一帧特征点所对应的极线的欧式距离尽可能小；L2对应图像帧间的所有IMU观测值所带来的约束信息。
具体做法为：假设设备上相机与IMU之间的相对位置和姿态不变，即满足刚体变换，且该变换关系已经在场景初始化模块作为系统的参数估计得到，即camTIMU；那么根据图像信息所计算出得到设备在两个时刻t-1和t 时刻相机坐标系下的位姿变换为Tcam；利用IMU采集的角速度和加速度数据，得到这两个时刻设备相对位姿在IMU坐标系下的形式为Timu；在相机与IMU之间的相对位置和姿态不变假设下，上述变量仍应满足Tcam 与camTIMU*Timu尽可能接近，例如另二者之差的二范数可以作为IMU对位姿的约束；实际由于优化算法的结果依赖于要优化位姿的初始值，因此可以通过上一帧手机的位姿结合IMU数据，通过简单的IMU信息传播策略获得一个粗略的当前帧手机位姿态估计，作为数值优化的初始值；最终通过对上述联合约束进行数值优化，迭代所得到的优化后的手机位置和姿态，即为姿态估计模块的输出。
305、随着用户不断移动，周围的环境随之发生变化，相机也不断看到新的物体，为了保证一直能够建立相机图像上特征点和地图点之间的对应关系，初始化模块建立的三维地图需要随着手机的移动进行扩展；当姿态估计模块已经得到当前图像时刻相机姿态的准确估计后，地图扩展模块利用这帧图像对空间三维地图进行更新；通过建立当前帧与之前图像帧上特征点之间的匹配关系，对于没有对应三维点的匹配点对，可以通过三角化的方式，计算出其在空间中的三维位置，进而添加到地图中；地图扩展模块还同时负责对一些错误的地图点进行删除操作，如果一个地图点根据其位置和相机位姿应该被观测到，而几次均为找到对应的二维点，则认为其最初位置估计有错误或者观测的场景发生了变化，则可以将该地图点其从地图中删除；
3.6、如果由于用户剧烈运动、相机拍到了无纹理的墙壁或者相机被遮挡等造成跟踪失败，无法建立视觉的对应关系，此时通过重定位算法，通过匹配算法，寻找当前图像帧上的特征点和所有地图点的匹配关系，尝试恢复当前设备的位置和姿态；如果恢复成功，则进入正常的姿态跟踪状态。
本发明实施例属于一种通用的从内向外(inside-out)的设备(手机、眼镜、头盔等)追踪方法，利用设备所搭载的相机(RGB、RGBD、双目等) 和惯性测量单元(IMU)，能够实时计算出设备在当前环境中的位置和姿态信息。
本发明可以灵活适配多种相机和IMU组合(如单目相机tIMU、双目相机和IMU等的组合)，能够广泛支持当前主流的手机、智能眼镜、头盔等，提供通用且鲁棒的解决方案，因此通用性强。
本发明视觉惯性里程计系统的输入为设备本身相机实时输出的图像数据和IMU采集的陀螺仪和加速度的数据，以及两者对应的时间；输出为设备实时的位置和姿态信息。
本发明可以广泛应用在增强现实、虚拟现实、导航、移动机器人、无人机、无人驾驶等领域。
实施例四：
如图3所示，本发明实施例所提供的视觉惯性里程计系统，还包括存储器41和处理器42，其中所述存储器41用于存储代码和相关数据，处理器42用于调用存储器41中的数据，执行存储器41中的代码，执行所述存储器41中的代码可以实现实施例一、实施例二所提供的视觉惯性里程计的实现方法，具体方法步骤参照前述实施例的描述，在此不再赘述。
在本发明实施例中，所述存储器41可能包含易失性存储器，例如，随机存取存储器(random access memory，RAM)，所述RAM可以包括静态RAM或动态RAM。所述存储器41也可能包括非易失性存储器 (non-volatile memory)，例如只读存储器(read-only memory，PROM)、可编程只读存储器(programmable read-only memory，PROM)、可擦写可编程只读存储器(erasable programmable read-only memory，EPROM)、电可擦写可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)或闪存(flashmemory)。所述存储器41 还可能是外部闪存、至少一个磁盘存储器或缓存器。
在本发明实施例中，所述处理器42可以是中央处理单元(Central ProcessingUnit,CPU)，所述处理器还可以是其他通用控制处理器、数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述通用控制处理器可以是微控制处理器或者是任何常规的控制处理器，例如单片机等。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存 (Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。

Claims (13)

1.一种视觉惯性里程计的实现方法，其特征在于，包括以下步骤：
第一步，设备通过配备的相机实时采集图像数据，通过配备的IMU实时采集设备的角速度和加速度数据；所述IMU包括陀螺仪和加速度计；
第二步，场景初始化模块根据相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，建立视觉惯性里程计系统的初始空间三维地图；
第三步，地图扩展模块在场景初始化模块建立起来的空间三维地图的基础上，根据相机实时采集的新的图像数据，对空间三维地图进行实时更新；
第四步，姿态估计模块接收相机实时采集的图像数据和IMU采集的所述角速度和加速度数据，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，输出设备在当前环境中的位置和姿态信息。
2.根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第二步具体包括以下步骤：
在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据，估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
3.根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第三步地图扩展模块对空间三维地图进行更新的方法如下：
地图扩展模块接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
4.根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第四步中计算每一帧图像对应的设备的位置和姿态的具体方法如下：
步骤一，姿态估计模块根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
步骤二，姿态估计模块通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；
和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
步骤三，通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
步骤四，通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
5.根据权利要求1至4任一项所述的视觉惯性里程计的实现方法，其特征在于，所述方法还包括：如果姿态估计模块无法计算出当前帧图像对应的相机的位置和姿态，则相机所采集的当前帧图像数据和IMU采集的角速度和加速度数据由重定位模块接收，重定位模块通过搜索当前帧图像与所有地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态；之后相机继续采集图像数据，新的图像数据和IMU采集的角速度和加速度数据由姿态估计模块接收，执行第四步操作。
6.根据权利要求1所述的视觉惯性里程计的实现方法，其特征在于，所述第四步中重定位模块的流程如下：
步骤一，提取当前图像中的二维特征点和对应特征描述；
步骤二，利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；
步骤三，利用上述图像中的特征点与地图点对应关系，估算出设备位置和姿态；
步骤四，验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
7.一种视觉惯性里程计系统，其特征在于，包括存储器和处理器，其中：
所述存储器，用于存储代码和相关数据；
所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施如权利要求1至6任一项所述的方法步骤。
8.一种视觉惯性里程计系统，其特征在于，包括
相机，用于实时采集图像数据；
IMU，用于采集设备的角速度和加速度数据，所述IMU包括陀螺仪的和加速度计；
场景初始化模块，用于视觉惯性里程计系统的初始空间三维地图建立；
地图扩展模块，用于实时更新场景初始化模块建立起来的空间三维地图；
姿态估计模块，利用当前图像特征点与地图扩展模块所维护的三维地图点对应的空间约束关系、图像帧之间特征匹配约束关系和图像帧间IMU的约束信息，计算出每一帧图像对应的设备的位置和姿态，从而得到设备在当前环境中的位置和姿态信息。
9.根据权利要求8所述的视觉惯性里程计系统，其特征在于，
所述场景初始化模块，具体用于在相机所采集的多帧图像上分别提取特征点，进行帧间相应的特征点匹配；根据特征点匹配结果的信息，利用从运动推断结构的方式，恢复出初始空间三维地图和每一帧对应的设备位置和姿态；
利用该空间三维地图和每一帧对应的设备位置和姿态以及IMU的所述角速度和加速度数据估算相机与IMU的相对空间位姿，完成相机坐标系与IMU坐标系的统一。
10.根据权利要求8所述的视觉惯性里程计系统，其特征在于，
所述地图扩展模块，具体用于接收相机所采集的新图像，利用图像上已经提取特征点；根据提取的特征点与地图点匹配关系不同，分别执行下述操作：
当新提取的特征点与初始的空间三维地图上的所有三维地图点均不匹配时，利用三角化方法，从该特征点两个或者多个相机之间的观测计算出该特征点对应的三维空间位置，从而相应在空间三维地图上增加新的地图点；或者
当新提取的特征点的位置确定性高于初始的空间三维地图上的地图点的位置确定性，根据对应的二维图像特征点和图像对应设备的位置和姿态，更新该地图点的三维空间坐标，从而更新空间三维地图上单个地图点的位置；或者
当新提取的或者已有的特征点的三维位置与二维投影关系误差较大，从空间三维地图上删除这些特征点；
通过集群调整的方式，同时优化初始的空间三维地图上多个特征点的三维空间位置，使得多个地图点对应相机观测的整体观测误差最小，更新空间三维地图上所有地图点的位置。
11.根据权利要求8所述的视觉惯性里程计系统，其特征在于，
所述姿态估计模块，具体用于根据相机所采集的最新的一帧图像和对应的帧间IMU采集的所述角速度和加速度数据信息，计算出粗略的设备位置和姿态；
通过在当前图像上提取特征点与地图点进行特征匹配的方式，获取图像上二维特征点和已有三维地图点之间的对应关系；该三维到二维的对应关系作为当前设备的位置和姿态估计的约束；和/或，姿态估计模块通过特征点跟踪算法，得到当前图像帧与之前若干个图像帧之间的二维点到二维点之间的匹配关系；该二维到二维的匹配关系作为帧间设备的位置和姿态的约束；
通过数值积分的方式，将图像帧间所有IMU的所述角速度和加速度数据，转化为当前帧设备姿态与之前帧设备姿态之间的约束关系；
通过数值优化算法，利用所述视觉和IMU的共同约束作为优化目标项，利用所述粗略设备位置和姿态作为优化初值，得到优化后的设备位置和姿态信息，作为姿态估计模块的输出。
12.根据权利要求8至11任一项所述的视觉惯性里程计系统，其特征在于，所述系统还包括：
重定位模块，用于当所述姿态估计模块无法计算出当前帧图像对应的设备的位置和姿态时，则接收相机所采集的当前帧图像数据和IMU采集的的角速度和加速度数据，并通过搜索当前帧图像与地图点之间特征点的匹配关系，重新恢复出当前设备的位置和姿态。
13.根据权利要求12所述的视觉惯性里程计系统，其特征在于，
所述重定位模块，具体用于提取当前图像中的二维特征点和对应特征描述；利用图像匹配搜索算法，建立图像中的特征点与地图点的对应关系；利用上述图像中的特征点与地图点对应关系，估算出设备的位置和姿态；验证上述设备的位置和姿态是否合理，如果合理，则恢复正常工作状态，否则下一帧图像仍进入重定位模块。
CN201810150612.7A 2018-02-13 2018-02-13 视觉惯性里程计的实现方法及系统 Active CN108489482B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810150612.7A CN108489482B (zh) 2018-02-13 2018-02-13 视觉惯性里程计的实现方法及系统
PCT/CN2019/072921 WO2019157925A1 (zh) 2018-02-13 2019-01-24 视觉惯性里程计的实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810150612.7A CN108489482B (zh) 2018-02-13 2018-02-13 视觉惯性里程计的实现方法及系统

Publications (2)

Publication Number Publication Date
CN108489482A true CN108489482A (zh) 2018-09-04
CN108489482B CN108489482B (zh) 2019-02-26

Family

ID=63340583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150612.7A Active CN108489482B (zh) 2018-02-13 2018-02-13 视觉惯性里程计的实现方法及系统

Country Status (2)

Country Link
CN (1) CN108489482B (zh)
WO (1) WO2019157925A1 (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN109085840A (zh) * 2018-09-21 2018-12-25 大连维德智能视觉技术创新中心有限公司 一种基于双目视觉的车辆导航控制系统及控制方法
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109752003A (zh) * 2018-12-26 2019-05-14 浙江大学 一种机器人视觉惯性点线特征定位方法及装置
CN109798889A (zh) * 2018-12-29 2019-05-24 航天信息股份有限公司 基于单目vins系统的优化方法、装置、存储介质及电子设备
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN110196047A (zh) * 2019-06-20 2019-09-03 东北大学 基于tof深度相机与imu的平仓机器人自主定位方法
CN110309330A (zh) * 2019-07-01 2019-10-08 北京百度网讯科技有限公司 视觉地图的处理方法和装置
CN110411457A (zh) * 2019-08-27 2019-11-05 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN110426051A (zh) * 2019-08-05 2019-11-08 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110763251A (zh) * 2019-10-18 2020-02-07 华东交通大学 视觉惯性里程计优化的方法及系统
CN111121767A (zh) * 2019-12-18 2020-05-08 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法
CN111275769A (zh) * 2020-01-17 2020-06-12 联想(北京)有限公司 一种单目视觉参数的校正方法及装置
CN111292420A (zh) * 2020-02-28 2020-06-16 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111307165A (zh) * 2020-03-06 2020-06-19 新石器慧通（北京）科技有限公司 一种车辆的定位方法、定位系统及无人车辆
CN111709990A (zh) * 2020-05-22 2020-09-25 贵州民族大学 一种相机重定位方法和系统
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111879306A (zh) * 2020-06-17 2020-11-03 杭州易现先进科技有限公司 视觉惯性定位的方法、装置、系统和计算机设备
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111982148A (zh) * 2020-07-06 2020-11-24 杭州易现先进科技有限公司 Vio初始化的处理方法、装置、系统和计算机设备
CN112050806A (zh) * 2019-06-06 2020-12-08 北京初速度科技有限公司 一种移动车辆的定位方法及装置
CN112129272A (zh) * 2019-06-25 2020-12-25 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN112129287A (zh) * 2020-09-24 2020-12-25 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知系统及机器人
CN112577493A (zh) * 2021-03-01 2021-03-30 中国人民解放军国防科技大学 一种基于遥感地图辅助的无人机自主定位方法及系统
CN112700546A (zh) * 2021-01-14 2021-04-23 视辰信息科技(上海)有限公司 一种室外大规模三维地图的构建系统与方法
CN112710308A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112819860A (zh) * 2021-02-18 2021-05-18 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112991440A (zh) * 2019-12-12 2021-06-18 纳恩博（北京）科技有限公司 车辆的定位方法和装置、存储介质和电子装置
CN113034538A (zh) * 2019-12-25 2021-06-25 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113124854A (zh) * 2019-12-31 2021-07-16 杭州海康机器人技术有限公司 一种视觉定位方法、以及地图构建方法、装置
CN113358117A (zh) * 2021-03-09 2021-09-07 北京工业大学 一种利用地图的视觉惯性室内定位方法
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN114543786A (zh) * 2022-03-31 2022-05-27 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114993338A (zh) * 2022-03-24 2022-09-02 浙江大学 基于多段独立地图序列的一致性高效视觉惯性里程计算法
WO2022183665A1 (zh) * 2021-03-02 2022-09-09 浙江商汤科技开发有限公司 初始化方法及装置、电子设备、存储介质和程序产品
WO2024045632A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105454B (zh) * 2019-11-22 2023-05-09 北京小米移动软件有限公司 一种获取定位信息的方法、装置及介质
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111024066B (zh) * 2019-12-10 2023-08-01 中国航空无线电电子研究所 一种无人机视觉-惯性融合室内定位方法
CN112991441A (zh) * 2019-12-12 2021-06-18 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
CN111862337B (zh) * 2019-12-18 2024-05-10 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN110986967B (zh) * 2019-12-20 2023-05-05 上海有个机器人有限公司 一种机器人自动重定位方法、介质、终端和装置
CN113012216B (zh) * 2019-12-20 2023-07-07 舜宇光学（浙江）研究院有限公司 特征分类优化方法和slam定位方法及其系统和电子设备
CN113065572B (zh) * 2019-12-31 2023-09-08 北京凌宇智控科技有限公司 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN111260789B (zh) * 2020-01-07 2024-01-16 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
CN113223064B (zh) * 2020-01-21 2023-09-15 北京魔门塔科技有限公司 一种视觉惯性里程计尺度的估计方法和装置
CN111307176B (zh) * 2020-03-02 2023-06-16 北京航空航天大学青岛研究院 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN111429524B (zh) * 2020-03-19 2023-04-18 上海交通大学 一种相机与惯性测量单元在线初始化与标定方法及系统
CN111539982B (zh) * 2020-04-17 2023-09-15 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN111862150B (zh) * 2020-06-19 2024-06-14 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN111929699B (zh) * 2020-07-21 2023-05-09 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统
CN112083403B (zh) * 2020-07-21 2023-10-10 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统
EP3944806A1 (de) 2020-07-29 2022-02-02 Carl Zeiss Vision International GmbH Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
CN111915651B (zh) * 2020-07-31 2023-09-12 西安电子科技大学 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法
CN114814872A (zh) * 2020-08-17 2022-07-29 浙江商汤科技开发有限公司 位姿确定方法及装置、电子设备和存储介质
CN112348921B (zh) * 2020-11-05 2024-03-29 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112381877B (zh) * 2020-11-09 2023-09-01 北京百度网讯科技有限公司 定位融合、室内定位方法、装置、设备及介质
CN114088093A (zh) * 2020-11-09 2022-02-25 北京京东乾石科技有限公司 一种点云地图构建方法、装置、系统及存储介质
CN114791291B (zh) * 2020-11-16 2024-06-07 浙江商汤科技开发有限公司 视觉惯性系统的参数标定方法及装置、电子设备和介质
CN112432653B (zh) * 2020-11-27 2024-02-23 北京工业大学 基于点线特征的单目视觉惯性里程计方法
CN112396634A (zh) * 2020-11-27 2021-02-23 苏州欧菲光科技有限公司 运动目标检测方法、装置、车辆及存储介质
CN112492292B (zh) * 2020-11-27 2023-04-11 天目爱视（北京）科技有限公司 一种自由姿态的智能视觉3d信息采集设备
CN112880687B (zh) * 2021-01-21 2024-05-17 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN113048978B (zh) * 2021-02-01 2023-10-20 苏州澜途科技有限公司 移动机器人重定位方法及移动机器人
CN112967340A (zh) * 2021-02-07 2021-06-15 咪咕文化科技有限公司 同时定位和地图构建方法、装置、电子设备及存储介质
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113129433B (zh) * 2021-04-26 2024-04-30 哈尔滨工业大学 一种柔性光纤姿态传感方法、装置及传感器
CN113124906A (zh) * 2021-05-06 2021-07-16 苏州挚途科技有限公司 基于在线标定的测距方法、装置及电子设备
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN113587916B (zh) * 2021-07-27 2023-10-03 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113744308B (zh) * 2021-08-06 2024-02-20 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN113763470B (zh) * 2021-08-10 2024-06-07 北京理工大学 点线特征融合的rgbd视觉惯性同时定位与地图构建
CN113793379A (zh) * 2021-08-12 2021-12-14 视辰信息科技(上海)有限公司 相机姿态求解方法及系统、设备和计算机可读存储介质
CN113838129B (zh) * 2021-08-12 2024-03-15 高德软件有限公司 一种获得位姿信息的方法、装置以及系统
CN113763481B (zh) * 2021-08-16 2024-04-05 北京易航远智科技有限公司 一种移动场景中多相机视觉三维地图构建与自标定方法
CN113701750A (zh) * 2021-08-23 2021-11-26 长安大学 一种井下多传感器的融合定位系统
CN113721189B (zh) * 2021-09-26 2023-08-01 中国科学院空天信息创新研究院 一种基于uwb和vio融合的多运动节点定位方法及系统
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN114001733B (zh) * 2021-10-28 2024-03-15 浙江大学 一种基于地图的一致性高效视觉惯性定位算法
CN114459467B (zh) * 2021-12-30 2024-05-03 北京理工大学 一种未知救援环境中基于vi-slam的目标定位方法
CN114719848B (zh) * 2022-01-25 2024-05-03 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114538088B (zh) * 2022-02-11 2024-02-13 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114964209B (zh) * 2022-05-13 2023-05-09 天健极光(北京)科技发展有限公司 基于红外阵列成像的长航时无人机自主导航方法和系统
CN115175119A (zh) * 2022-07-12 2022-10-11 燕山大学 一种适应于移动机器人的vr随动控制系统
CN115388902B (zh) * 2022-10-28 2023-03-24 苏州工业园区测绘地理信息有限公司 室内定位方法和系统、ar室内定位导航方法和系统
CN116358547B (zh) * 2022-12-09 2024-01-30 珠海创智科技有限公司 一种基于光流估计获取agv位置的方法
CN115855117B (zh) * 2023-02-16 2023-06-02 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN115959122B (zh) * 2023-03-10 2023-06-02 杭州枕石智能科技有限公司 泊车场景下车辆定位方法、装置、电子设备及存储介质
CN116408808B (zh) * 2023-06-09 2023-08-01 未来机器人（深圳）有限公司 机器人取货检测方法及装置、机器人
CN116592876B (zh) * 2023-07-17 2023-10-03 北京元客方舟科技有限公司 定位装置及定位装置的定位方法
CN117848331A (zh) * 2024-03-06 2024-04-09 河北美泰电子科技有限公司 基于视觉标签地图的定位方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
WO2017155970A1 (en) * 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107462259A (zh) * 2017-08-03 2017-12-12 中国矿业大学 一种变基线双目视觉惯性里程计及其方法
CN107478220A (zh) * 2017-07-26 2017-12-15 中国科学院深圳先进技术研究院 无人机室内导航方法、装置、无人机及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313684B2 (en) * 2016-03-28 2022-04-26 Sri International Collaborative navigation and mapping
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106446815B (zh) * 2016-09-14 2019-08-09 浙江大学 一种同时定位与地图构建方法
CN108489482B (zh) * 2018-02-13 2019-02-26 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155970A1 (en) * 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
CN107478220A (zh) * 2017-07-26 2017-12-15 中国科学院深圳先进技术研究院 无人机室内导航方法、装置、无人机及存储介质
CN107462259A (zh) * 2017-08-03 2017-12-12 中国矿业大学 一种变基线双目视觉惯性里程计及其方法

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109085840A (zh) * 2018-09-21 2018-12-25 大连维德智能视觉技术创新中心有限公司 一种基于双目视觉的车辆导航控制系统及控制方法
CN109085840B (zh) * 2018-09-21 2022-05-27 大连维德集成电路有限公司 一种基于双目视觉的车辆导航控制系统及控制方法
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN109079799B (zh) * 2018-10-23 2021-11-12 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109752003A (zh) * 2018-12-26 2019-05-14 浙江大学 一种机器人视觉惯性点线特征定位方法及装置
CN109798889A (zh) * 2018-12-29 2019-05-24 航天信息股份有限公司 基于单目vins系统的优化方法、装置、存储介质及电子设备
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN112050806A (zh) * 2019-06-06 2020-12-08 北京初速度科技有限公司 一种移动车辆的定位方法及装置
CN110196047A (zh) * 2019-06-20 2019-09-03 东北大学 基于tof深度相机与imu的平仓机器人自主定位方法
CN112129272B (zh) * 2019-06-25 2022-04-26 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
WO2020259185A1 (zh) * 2019-06-25 2020-12-30 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN112129272A (zh) * 2019-06-25 2020-12-25 京东方科技集团股份有限公司 视觉里程计的实现方法和实现装置
CN110309330A (zh) * 2019-07-01 2019-10-08 北京百度网讯科技有限公司 视觉地图的处理方法和装置
CN110426051B (zh) * 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110426051A (zh) * 2019-08-05 2019-11-08 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110411457B (zh) * 2019-08-27 2024-04-19 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN110411457A (zh) * 2019-08-27 2019-11-05 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN110763251B (zh) * 2019-10-18 2021-07-13 华东交通大学 视觉惯性里程计优化的方法及系统
CN110763251A (zh) * 2019-10-18 2020-02-07 华东交通大学 视觉惯性里程计优化的方法及系统
CN112710308B (zh) * 2019-10-25 2024-05-31 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112710308A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 机器人的定位方法、装置和系统
CN112991440B (zh) * 2019-12-12 2024-04-12 纳恩博（北京）科技有限公司 车辆的定位方法和装置、存储介质和电子装置
CN112991440A (zh) * 2019-12-12 2021-06-18 纳恩博（北京）科技有限公司 车辆的定位方法和装置、存储介质和电子装置
CN111121767A (zh) * 2019-12-18 2020-05-08 南京理工大学 一种融合gps的机器人视觉惯导组合定位方法
CN113034538A (zh) * 2019-12-25 2021-06-25 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113034538B (zh) * 2019-12-25 2023-09-05 杭州海康威视数字技术股份有限公司 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113124854A (zh) * 2019-12-31 2021-07-16 杭州海康机器人技术有限公司 一种视觉定位方法、以及地图构建方法、装置
CN111275769A (zh) * 2020-01-17 2020-06-12 联想(北京)有限公司 一种单目视觉参数的校正方法及装置
CN111275769B (zh) * 2020-01-17 2023-10-24 联想(北京)有限公司 一种单目视觉参数的校正方法及装置
CN111292420A (zh) * 2020-02-28 2020-06-16 北京百度网讯科技有限公司 用于构建地图的方法和装置
CN111307146A (zh) * 2020-03-02 2020-06-19 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111307146B (zh) * 2020-03-02 2023-07-18 北京航空航天大学青岛研究院 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN111307165A (zh) * 2020-03-06 2020-06-19 新石器慧通（北京）科技有限公司 一种车辆的定位方法、定位系统及无人车辆
CN111709990A (zh) * 2020-05-22 2020-09-25 贵州民族大学 一种相机重定位方法和系统
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN111879306A (zh) * 2020-06-17 2020-11-03 杭州易现先进科技有限公司 视觉惯性定位的方法、装置、系统和计算机设备
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111780764A (zh) * 2020-06-30 2020-10-16 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111780764B (zh) * 2020-06-30 2022-09-02 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN111982148A (zh) * 2020-07-06 2020-11-24 杭州易现先进科技有限公司 Vio初始化的处理方法、装置、系统和计算机设备
CN112129287A (zh) * 2020-09-24 2020-12-25 北京华捷艾米科技有限公司 一种基于视觉惯性里程计处理的方法和相关装置
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知系统及机器人
CN112700546A (zh) * 2021-01-14 2021-04-23 视辰信息科技(上海)有限公司 一种室外大规模三维地图的构建系统与方法
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112819860A (zh) * 2021-02-18 2021-05-18 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN112577493A (zh) * 2021-03-01 2021-03-30 中国人民解放军国防科技大学 一种基于遥感地图辅助的无人机自主定位方法及系统
WO2022183665A1 (zh) * 2021-03-02 2022-09-09 浙江商汤科技开发有限公司 初始化方法及装置、电子设备、存储介质和程序产品
CN113358117A (zh) * 2021-03-09 2021-09-07 北京工业大学 一种利用地图的视觉惯性室内定位方法
CN113570716A (zh) * 2021-07-28 2021-10-29 视辰信息科技(上海)有限公司 云端三维地图构建方法、系统及设备
CN114993338B (zh) * 2022-03-24 2024-03-15 浙江大学 基于多段独立地图序列的一致性高效视觉惯性里程计算法
CN114993338A (zh) * 2022-03-24 2022-09-02 浙江大学 基于多段独立地图序列的一致性高效视觉惯性里程计算法
CN114543786B (zh) * 2022-03-31 2024-02-02 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114543786A (zh) * 2022-03-31 2022-05-27 华中科技大学 一种基于视觉惯性里程计的爬壁机器人定位方法
WO2024045632A1 (zh) * 2022-08-31 2024-03-07 华南理工大学 基于双目视觉和imu的水下场景三维重建方法及设备

Also Published As

Publication number Publication date
WO2019157925A1 (zh) 2019-08-22
CN108489482B (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN108489482B (zh) 视觉惯性里程计的实现方法及系统
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN106446815B (zh) 一种同时定位与地图构建方法
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
US11199414B2 (en) Method for simultaneous localization and mapping
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN109084732A (zh) 定位与导航方法、装置及处理设备
CN109544636A (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
Chen et al. Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
Tanskanen et al. Live metric 3D reconstruction on mobile phones
Ribo et al. Hybrid tracking for outdoor augmented reality applications
CN108492316A (zh) 一种终端的定位方法和装置
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN111445526B (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
US20210183100A1 (en) Data processing method and apparatus
CN110749308B (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN109671105A (zh) 一种视觉导航系统的跟踪恢复方法和装置
CN108615246A (zh) 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法
CN114001733B (zh) 一种基于地图的一致性高效视觉惯性定位算法
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN109141393A (zh) 重定位方法、设备及存储介质
CN108520559A (zh) 一种基于双目视觉的无人机定位导航的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant