CN118052940A - 地图的构建方法、定位方法及装置、设备、存储介质 - Google Patents

地图的构建方法、定位方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN118052940A
CN118052940A CN202211439878.6A CN202211439878A CN118052940A CN 118052940 A CN118052940 A CN 118052940A CN 202211439878 A CN202211439878 A CN 202211439878A CN 118052940 A CN118052940 A CN 118052940A
Authority
CN
China
Prior art keywords
target
positioning
pose
target landmark
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211439878.6A
Other languages
English (en)
Inventor
何孝游
邱裕鹤
任一珂
王水介
程倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202211439878.6A priority Critical patent/CN118052940A/zh
Priority to PCT/CN2023/130290 priority patent/WO2024104225A1/zh
Publication of CN118052940A publication Critical patent/CN118052940A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)

Abstract

本申请公开了地图的构建方法、定位方法、装置、设备及存储介质，包括：通过定位传感器实时定位第一设备的第一位置；基于双目相机在当前时刻采集得到的第一图像数据，确定n个目标地标点以及n个目标地标点中每个目标地标点在相机坐标系下的第二位置；基于第一设备的第一位置以及每个目标地标点在相机坐标系下的第二位置，确定每个目标地标点在世界坐标系下对应的实际位置；将每个目标地标点在初始地图信息中的初始位置更新为每个目标地标点的实际位置，以得到目标地图信息。该方案通过定位传感器的定位更新目标地标点的实际位置，从而可以得到高精度的地图信息；且在定位时的定位精度也更高。

Description

地图的构建方法、定位方法及装置、设备、存储介质
技术领域
本申请涉及数据处理技术领域，涉及但不限于定位方法及装置、设备、存储介质。
背景技术
随着机器人技术的不断发展，机器人在各个领域得到广泛应用。为解决泛机器人的定位问题，相关技术，一般基于双目与惯性测量单元(Inertial Measurement Unit，IMU)进行定位与地图构建与定位。
但是双目与IMU的定位精度较低，所以构建得到的地图的精度也较低，基于双目与IMU定位时的定位精度也较低。
发明内容
本申请提供一种地图的构建方法、定位方法及装置、设备、存储介质，该方案通过定位传感器的定位更新目标地标点的实际位置，从而可以得到高精度的地图信息；且在定位时的定位精度也更高。
本申请的技术方案是这样实现的：
本申请提供了一种地图的构建方法，所述方法应用于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，所述方法包括：
通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；
基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；
针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；
针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
本申请还提供了一种定位方法，所述方法应用于第二设备，所述第二设备至少包括双目相机，所述方法包括：
基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；
调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；
对所述第二图像数据进行特征提取，得到p个特征点；所述为大于0的整数；
基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
本申请提供了一种地图的构建装置，所述装置部署于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，所述装置包括：
定位单元，用于通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；
第一确定单元，用于基于所述双目相机在所述当前时刻采集的第一图像，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；
第二确定单元，用于针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；
更新单元，用于针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点对应的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
本申请提供了一种定位装置，所述装置部署于第二设备，所述第二设备至少包括双目相机，所述装置包括：
第三确定单元，用于基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；
调整单元，用于调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；
提取单元，用于对所述第二图像数据进行特征提取，得到p个特征点；所述p为大于0的整数；
第四确定单元，用于基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
本申请还提供了一种电子设备，包括：存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述地图的构建方法或者定位方法。
本申请还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述地图的构建方法或者定位方法。
本申请所提供的目标地图的构建方法、定位方法、装置、设备及存储介质，应用于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，所述方法包括：通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
对于本申请的方案，通过定位传感器的定位实时更新目标地标点的实际位置，由于在定位第一无人机的第一位置时，定位传感器的定位精度大于IMU的定位精度，即定位传感器的定位精度高，所以，本申请在满足实时性的基础上，还可以得到高精度的地图信息；且在定位时的定位精度也更高。
附图说明
图1为本申请实施例提供的数据处理系统的一种可选的结构示意图；
图2为本申请实施例提供的地图的构建方法的第一种可选的流程示意图；
图3为本申请实施例提供的地图的构建方法的第二种可选的流程示意图；
图4为本申请实施例提供的定位方法第一种可选的流程示意图；
图5为本申请实施例提供的定位方法第二种可选的流程示意图；
图6为本申请实施例提供的数据处理过程的一种可选的流程示意图；
图7为本申请实施例提供的双目相机与反射装置的一种可选的结构示意图；
图8为本申请实施例提供的地图构建的一种可选的结构示意图；
图9为本申请实施例提供的在线视觉定位的一种可选的结构示意图；
图10为本申请实施例提供的视觉定位系统输出的一种可选的结构示意图；
图11为本申请实施例提供的地图的构建装置的一种可选的结构示意图；
图12为本申请实施例提供的定位装置的一种可选的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅是为例区别不同的对象，不代表针对对象的特定排序，不具有先后顺序的限定。可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
本申请实施例可提供定位方法及装置、设备和存储介质。实际应用中，定位方法可由定位装置实现，定位装置中的各功能实体可以由电子设备(如终端设备)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
本申请实施例提供的定位方法应用于定位系统，定位系统包括第一设备。
所述第一设备包括双目相机、惯性测量单元IMU、定位传感器。
第一设备用于执行：通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
在一示例中，定位系统还可以包括第二设备。
所述第二设备至少包括双目相机。
第二设备用于执行：基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；对所述第二图像数据进行特征提取，得到p个特征点；所述为大于0的整数；基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
作为一示例，定位系统的结构可如图1所示，包括：第一设备10和第二设备20。第一设备10与第二设备20之间可以通信。
这里，第一设备10用于构建目标地图信息；第二设备20，用于加载第一设备构建的目标地图信息，并基于目标地图信息确定第二设备20在当前时刻的位姿。
下面，结合图1所示的定位系统的示意图，对本申请实施例提供的地图的构建方法、定位方法及装置、设备和存储介质的各实施例进行说明。
第一方面，本申请实施例提供了一种地图的构建方法，该方法应用于地图的构建装置，其中，地图的构建装置可以部署于作为第一设备的电子设备上。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
下面，以第一设备为执行主体为例，对本申请实施例提供的地图的构建方法进行说明。
第一设备为可以运动并具有定位功能的电子设备。
本申请实施例对第一设备的类型不作限定，可以根据实际情况确定。在一示例中，第一设备可以为无人机、或者扫地机器人等电子设备。
本申请实施例对第一设备包括的具体模块或者器件不作限定，可以根据实际需求进行确定。
在一种可能的实施方式中，第一设备包括双目相机、惯性测量单元IMU、定位传感器。
可以理解的，第一设备还可以包括其他器件，例如滑轮或者飞行器件等等。此处不再一一列举。
图2为本申请实施例的地图的构建方法的流程示意图，如图2所示，该定位方法可以包括但不限于下述S201至S204。
S201、第一设备通过所述定位传感器实时定位所述第一设备的第一位置。
其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置。
在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度。
定位传感器用于实时采集第一设备的位置信息。本申请实施例对定位传感器的类型不作限定，可以根据实际情况进行确定。
在一种可能的实施方式中，定位传感器的定位精度大于IMU的定位精度。
本申请实施例对定位传感器的定位精度不作具体限定，可以根据实际情况进行配置。在一种可能的实施方式中，定位传感器的定位精度可以为厘米级别。
示例性的，定位传感器可以实时差分定位(Real-time kinematic，RTK)传感器。
本申请实施例对定位传感器采集信息的周期，即实时采集的时间间隔不作限定，可以根据实际情况进行确定。
S201可以实施为：第一设备通过定位传感器实时采集的位置信息确定第一设备的第一位置。
这里，第一位置可以为定位传感器实时采集的位置信息，也可以为对定位传感器实时采集的位置信息进行转换后得到的第一设备的位置信息。
S202、第一设备基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置。
第一图像数据是根据双目相机分别采集的两张图像得到的。
在一种可能的实施方式中，第一图像数据为双目相机分别采集的两张图像的图像中的交集所对应的像素以及像素的深度值。
本申请实施例对双目相机采集图像的方式、范围不作限定，可以根据实际情况进行确定。
地标点，指相机采集的图像中具有地标特点的点集合。示例性的地标点可以指向一座楼或者一个桌子等等。
目标地标点，指双目相机在当前时刻采集的图像中包括的地标点。
第二位置为目标地标点在相机坐标系下的位置。
S202可以实施为：第一设备先获取基于双目相机在当前时刻采集得到的第一图像数据，然后对第一图像数据采用特征提取算法，提取第一图像数据中的特征点，将具有一定规律的特征点的集合确定为目标地标点，从而得到n个目标地标点；然后针对n个目标地标点中的每个目标地标点，根据该目标地标点对应的像素位置确定该目标地标点在相机坐标系下的第二位置，从而得到n个与目标地标点一一对应的n个第二位置。
所述n为大于0的整数。本申请实施例对得到的目标地标点的数量不作限定，可以根据实际情况确定。例如，n可以等于1，也可以大于1。
S203、第一设备针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置。
实际位置，指基于第一设备的第一位置重新得到的高精度位置信息。
由于第一设备的第一位置是已知的，双目相机在第一设备中的位置也是固定的，所以可以得到世界坐标系与相机坐标系的坐标转换矩阵。再，目标地标点在相机坐标系下的第二位置也是已知的，所以可以第一设备根据第一设备的第一位置、目标地标点在相机坐标系下的第二位置以及世界坐标系与相机坐标系之间的坐标转换矩阵，得到目标坐标点在世界坐标系下对应的实际位置。
示例性的，S203可以实施为：第一设备针对目标地标点，将目标地标点在相机坐标系下的第二位置、第一设备的第一位置与相机坐标系与世界坐标系之间转换矩阵进行计算，得到目标地标点在世界坐标系下对应的实际位置；第一设备在遍历n个目标地标点中的每个目标地标点，针对每个目标点采用同样的方法得到每个目标地标点在世界坐标系下对应的实际位置。
S204、第一设备针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息。
其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。本申请实施例对第一设备基于所述双目相机和所述IMU采集的数据确定初始地图信息的具体过程不作具体限定，可以根据实际情况进行确定。
初始地图信息包括多个地标点以及与地标点一一对应的初始位置。
该多个地标点包含该n个目标地标点。本申请实施例对初始地图信息包括的地标点的具体数量不作限定，可以根据实际情况进行确定。
初始位置指初始地图信息中目标地标点未更新前的位置。
在一种可能的实施方式中，初始位置是基于双目相机与IMU确定的目标地标点在世界坐标系下的位置。
S204可以实施为：第一设备遍历所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，并将更新为实际位置后的地图信息作为目标地图信息。
本申请实施例所提供的地图的构建方案包括：通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；所述n为大于0的整数；针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
对于本申请的方案，通过定位传感器的定位实时更新目标地标点的实际位置，由于在定位第一无人机的第一位置时，定位传感器的定位精度大于IMU的定位精度，即定位传感器的定位精度高，所以，本申请在满足实时性的基础上，还可以得到高精度的地图信息；且在定位时的定位精度也更高。
下面，对S202中涉及的获取第一图像数据的步骤进行说明。
该过程可以包括但不限于下述实现方式1或者实现方式2。
实现方式1、基于双目相机直接采集的图像得到第一图像数据；
实现方式2、基于双目相机采集的反射装置中的图像得到第一图像数据。
在实现方式1中，双目相机分别实时进行图像采集得到两张图像，对该两张图像进行匹配处理，得到双目相机在当前时刻采集得到的第一图像数据。
下面，对实现方式2的实现过程进行说明。
在实现方式2中，在所述双目相机的两侧分别安装有一个反射装置。
其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度。
在安装双目相机时，由于第一设备的位置的限制，双目相机之间的基线长度较短，所以拍摄的图像范围(两个图像的交集)较小。通过在双目相机的两侧分别安装一个反射装置，由于两个反射装置之间的虚拟基线的长度大于双目相机之间的实际基线的长度，通过双目相机拍摄反射装置中的反射图像，从而可以扩大拍摄的图像范围。
两个反射装置的具体安装位置可以根据实际情况进行确定，本申请实施例对此不予唯一限定。
具体的，获得第一图像数据的过程可以包括但不限于下述S2021和S2022。
S2021、第一设备针对所述双目相机中的每个相机，通过每个所述相机采集所述相机侧的所述反射装置反射的反射图像，得到第一反射图像和第二反射图像。
其中，反射图像为反射装置中图像。
第一反射图像和第二反射图像分别为双目相机采集的反射装置中的图像。
S2022、第一设备对所述第一反射图像和所述第二反射图像进行匹配处理，得到所述双目相机在所述当前时刻采集得到的所述第一图像数据。
S2022可以实施为：第一设备对第一反射图像和第二反射图像进行匹配处理，第一反射图像与第二反射图像的交集图像像素，以及交集图像像素的深度值，将交集图像像素以及交集图像像素的深度值作为双目相机在当前时刻采集得到的第一图像数据。
在一些实施例中，本申请实施例提供的地图的构建方法还可以包括基于所述第一设备的第一位置更新目标关键帧对应的第一设备的位置信息的步骤，具体可以包括但不限于下述S205和S206。
S205、第一设备确定所述当前时刻对应的目标关键帧。
由于双目相机的采集频率一般较快，若根据每帧图像采集的数据确定目标地标点的位置，则相邻两帧中的重复数据较多，增加了数据处理量，处理效率较低。所以，一般根据关键帧采集的图像数据机型定位。
其中，一个关键帧与一个时刻对应。
目标关键帧，指关键帧中与当前时刻对应的关键帧。
S205可以实施为：第一设备根据当前时刻对应的帧图像，在关键帧中确定目标关键帧。
S206、第一设备将所述目标关键帧对应的第一设备的位置信息更新为所述第一位置。
关键帧的位置指，基于该关键帧确定的第一设备的位置。
下面，对获取每个所述目标地标点在初始地图信息中的初始位置的步骤进行说明。
如图3所示，该过程可以包括但不限于下述S301至S304。
S301、第一设备对所述第一图像数据进行特征提取得到所述n个目标地标点，并针对所述n个目标地标点中的每个所述目标地标点进行双目匹配，得到每个所述目标地标点对应的第一数据。
第一数据为目标地标点在相机坐标系下基于双目相机采集的图像信息得到位置信息。
S301可以实施为：第一设备对第一图像数据采用特征提取算法进行特征提取，得到n个目标地标点，并针对所述n个目标地标点中的每个所述目标地标点进行双目匹配，计算得到每个地标点的在相机坐标系下的位置，得到n个目标地标点对应的第一数据。
其中，由于双目相机具有采集误差，且采集过程受环境影响，所以得到的目标地标点对应的第一数据包含噪声影响。
S302、第一设备基于所述IMU在初始时刻至当前时刻的测量得到的第二数据，以及所述第一设备在所述初始时刻的初始位姿，通过预计分的方式确定所述第一设备在所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿。
IMU测量得到的第二数据包括：加速度a的取值以及角速度ω的取值。
对加速度a和角速度ω进行预积分模型的计算，可以得到相邻两个时刻第一设备的相对位姿。
位姿可以包括：速度、位置和方向。
S302可以实施为：第一设备先获取IMU在初始时刻至当前时刻的测量得到的加速度a的取值以及角速度ω的取值，由于第一设备在初始时刻的初始位姿是已知的，对测量得到的加速度a的取值以及角速度ω的取值通过预积分模型进行计算，得到所述第一设备在所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿。
其中，由于IMU采集的数据受加速度偏置等信息的影响，所以得到的当前时刻中每相邻两个时刻的相对位姿包含噪声影响。
S303、第一设备基于所述n个目标地标点中的每个所述目标地标点的第一数据计算得到的视觉残差，以及基于所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿计算得到的惯性残差，确定所述第一设备在所述当前时刻的位姿信息。
视觉残差，指目标地标点在相机坐标系下的投影误差。
惯性残差，指基于IMU确定所有相邻两个时刻的相对位姿之间的残差。
本申请实施例对视觉残差与惯性残差的具体计算方式不作限定，可以根据实际情况进行确定。
本申请实施例对基于视觉残差和惯性残差确定第一设备在当前时刻的位姿信息的具体方式不作限定，可以根据实际情况进行确定。
由于得到的当前时刻中每相邻两个时刻的相对位姿包含噪声影响，得到的目标地标点对应的第一数据包含噪声影响，所以得到的第一设备在当前时刻的位姿信息也受噪声的影响，具有不确定性。本申请实施例基于视觉残差和惯性残差确定得到的第一设备在所述当前时刻的位姿信息，可以尽可能的减小视觉和惯性方面的噪声影响，从而提高了当前时刻的位姿对的准确性。
S304、第一设备基于所述当前时刻的位姿信息以及n个目标地标点中的每个所述目标地标点的第二位置，得到所述n个目标地标点中的每个所述目标地标点对应的初始位置。
由于位姿信息中包括位置，所以第一设备在当前时刻的世界坐标系下的位置是已知的，目标地标点在相机坐标系下的第二位置是已知的，所以可以根据第一设备在当前时刻的位置和目标地标点的第二位置，得到目标地标点下实际坐标系下的位置，并将该位置作为目标地标点对应的初始位置。
第一设备遍历n个目标地标点中的每个目标地标点，采用同样的方式，可以得到n个目标地标点对应的初始位置。
下面，对S303第一设备基于所述n个目标地标点中的每个所述目标地标点的第一数据计算得到的视觉残差，以及基于所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿计算得到的惯性残差，确定所述第一设备在所述当前时刻的位姿信息的过程进行说明。
具体可以包括但不限于下述S3031至S3034。
S3031、第一设备基于所述n个目标地标点中的每个所述目标地标点的投影误差确定所述视觉残差。
目标地标点的投影误差与目标地标点的第一数据相关。
S3031可以实施为：第一设备基于n个目标地标点中的每个目标地标点的第一数据确定该目标地标点的投影误差，得到n个投影误差；然后基于n个目标地标点中的每个目标地标点的投影误差确定视觉残差。
本申请实施例对投影误差、以及视觉残差的确定方式不作限定，可以根据实际情况进行确定。
示例性的，可以基于下述公式(1)确定投影误差。
在公式(1)中，rij表示目标地标点j在第i帧图像的投影点误差，所述第i帧图像为所述当前时刻对应的图像帧；uij表示目标地标点j在第i帧图像中的第一数据；表示重投影函数。
示例性的，可以基于下述公式(2)确定视觉残差。
在公式(2)中，S表示视觉残差；所述rij表示目标地标点j在第i帧图像的投影点误差；第i帧图像为当前时刻对应的图像帧；所述∑ij表示n个目标地标点的第一数据的协方差；Hub表示鲁棒核函数。
S3032、第一设备基于所述初始时刻至所述当前时刻中每相邻两个时刻的位姿残差确定所述惯性残差。
所述每相邻两个时刻的位姿残差与所述每相邻两个时刻的相对位姿相关。
S3032可以实施为：第一设备基于初始时刻至所述当前时刻中每相邻两个时刻的相对位姿确定每相邻两个时刻的位姿残差；然后基于每相邻两个时刻的位姿残差确定惯性残差。
本申请实施例对位姿残差、以及惯性参数的确定方式不作限定，可以根据实际情况进行确定。
示例性的，可以基于下述公式(3-1)至公式(3-4)确定位姿残差。
在公式(3-1)至公式(3-4)中，ri,i+1表示相邻两个时刻的方向残差；表示相邻两个时刻的位姿残差；/>表示相邻两个时刻的速度残差；/>表示相邻两个时刻的位置残差；/>表示方向残差函数；/>表示速度残差函数；/>表示位置残差；i与i+1表示相邻两帧，即相邻两个时刻。
示例性的，可以基于下述公式(4)确定惯性残差。
在公式(4)中，G表示惯性残差；ri-1,i表示当前时刻与当前时刻的前一时刻之间的位姿残差；i＝1表示对应初始时刻；所述i＝k表示对应当前时刻；∑i,i+1表示第i帧图像与第i+1帧图像之间的协方差。
S3033、第一设备基于所述视觉残差与所述惯性残差确定第一目标残差。
本申请实施例对第一目标残差的确定方式不作限定，可以根据实际情况进行确定。
在一种可能的实施方式中，第一目标残差为视觉残差与惯性残差的和的最小值。
示例性的，第一目标残差的确定方式可以基于下述公式(5)。
在公式(5)中，M表示第一目标残差；表示惯性残差；/>表示视觉残差。
S3034、第一设备将所述第一目标残差对应的位姿信息确定为所述第一设备在所述当前时刻的位姿信息。
第一设备确定第一目标残差对应的第一设备的位姿信息，将该位姿信息确定为第一设备在当前时刻的位姿信息。
基于第一目标残差确定的位姿信息可以尽可能的消除噪声的影响，具有较高的准确性。
第二方面，本申请实施例提供了一种定位方法，该方法应用于定位装置，其中，定位装置可以部署于作为第二设备的电子设备上。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
下面以第二设备为执行主体为例，对本申请实施例提供的定位方法进行说明。
在一种可能的实施方式中，第二设备至少包括双目相机。
图4为本申请实施例的定位方法的流程示意图，如图4所示，该定位方法可以包括但不限于下述S401至S404。
S401、第二设备基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息。
目标地图信息包括至少一个地标点的实际位置。
S401可以实施为：第二设备对双目相机实时采集的第一图像数据进行特征提取，得到第一图像数据中的地标点，然后基于第一图像数据中的地标点与目标地图信息中的地标点进行匹配，从而确定第二设备在当前时刻的位姿，并将该位姿确定第二设备的初始位姿信息。
S402、第二设备调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据。
由于基于双目相机确定的位姿受噪声的影响，所以与实际位姿不完全一致，所以需要将第二设备的位姿进行调整，调整至该初始位姿。然后第二设备在通过双目相机采集初始位姿下的第二图像数据。
S403、第二设备对第二图像数据进行特征提取，得到p个特征点。
所述p为大于0的整数。
第二设备对第二图像数据采用特征提取算法进行处理，提取到p个特征点，以及p个特征点中的每个特征点在当前时刻的相机坐标系下的位置。
这里的一个特征点与一个地标点对应。
S404、第二设备基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
S404可以实施为：第二设备基于所述p个特征点当前时刻的相机坐标系下的位置确定p个特征点的残差，然后基于p个特征点的残差确定第二设备在当前时刻的位姿。
本申请实施例对p个特征点的残差的确定方式不作限定，可以根据实际情况进行确定。
本申请实施例所提供的定位方案包括：基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；对所述第二图像数据进行特征提取，得到p个特征点；所述p为大于0的整数；基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
对于本申请的方案，基于双目相机采集的第一图像数据和目标地图信息确定初始位姿，且在初始位姿的基础上基于特征点的残差优化第二设备的位姿，提高了定位的精度，且实现成本较低。
下面，对S402中得到第二图像数据的过程进行说明。
该过程可以包括但不限于下述实现方式A或实现方式B。
实现方式A、基于双目相机直接采集的图像得到第二图像数据；
实现方式B、基于双目相机采集的反射装置中的图像得到第二图像数据。
实现方式A的具体实现过程可以参考上述实现方式1中的描述，此处不再赘述。
在实现方式B中，在所述双目相机的两侧分别安装有一个反射装置，其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度。
所述获取在当前时刻所述初始位姿下的第二图像数据，包括：针对所述双目相机中的每一相机，通过所述相机在所述当前时刻采集所述相机侧的所述反射装置反射的反射图像，得到第三反射图像和第四反射图像；对所述第三反射图像和所述第四反射图像进行匹配处理，得到所述第二图像数据。
实现方式B的具体实现也可以参考上述实现方式2中的描述，此处不再赘述。
下面，对S404第二设备基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿的过程进行说明。
该过程可以包括但不限于下述S4041和S4042。
S4041、第二设备基于所述p个特征点中每个所述特征点的投影误差确定第二目标残差。
其中，所述特征点的投影误差表示所述特征点的投影与目标地图点信息中所述特征点对应的地标点的残差。
本申请实施例对确定第二目标残差的具体方式不作限定，可以根据实际情况进行确定。
示例性的，可以根据下述公式(6)确定第二目标残差。
在公式(6)中，所述J表示第二目标残差；rj表示第j个特征点的投影与目标地图点信息中第j的特征点对应的地标点的残差；∑j表示目标地图信息包括的m个地标点的定位精度的协方差；Hub表示鲁棒核函数；所述L表示所述p个特征点的集合。
S4042、第二设备将所述第二目标残差对应的位姿信息确定为所述第二设备在所述当前时刻的位姿。
第二设备确定第二目标残差对应的第二设备的位姿信息，将该位姿信息确定为第二设备在当前时刻的位姿信息。
基于第二目标残差确定的位姿信息可以尽可能的消除噪声的影响，具有较高的准确性。
在一些实施例中，本申请实施例提供的第二种定位方法还可以用于导航。
在该实施例中，所述第二设备还包括惯性测量单元IMU。如图5所示，导航过程可以包括但不限于下述S405至S407。
S405、第二设备基于所述IMU对所述第二设备进行定位，得到惯性定位信息。
S405可以实施为：第二设备基于IMU的测量数据(例如加速值与角度值)可以确定没相邻两帧之间的相对位姿，结合第二设备在世界坐标系下的初始位置，可以得到第二设备当前时刻在世界坐标系下的位姿，将该位置作为惯性定位信息。
S406、第二设备基于卡尔曼滤波融合所述惯性定位信息与视觉定位信息，得到所述第二设备的目标定位。
其中，所述视觉定位信息为所述第二设备在所述当前时刻的位姿。即S404中得到第二设备在当前时刻的位姿。
S406可以实施为：第二设备基于卡尔曼滤波融合惯性定位信息与视觉定位信息，先计算得到两种滤波的误差，然后基于该误差调整定位信息，得到第二设备的目标定位。
S407、第二设备基于所述目标定位对所述第二设备进行导航。
S407可以实施为：第二设备基于该目标定位调整下一时刻的位姿，实现对第二设备的导航。
下面，通过具体的应用场景对本申请实施例提供的定位方法进行说明。
本申请的该实施例可以确保无人机在全球定位系统(Global PositioningSystem，GPS)丢失情形下能够获知自身位姿信息，保护无人机飞行安全。
近年来，智能机器人研究通常会涉及定位。为解决泛机器人的定位问题，通常会涉及多类传感器的使用。譬如，广泛使用的GPS、北斗。但是在高楼林立的城市街道，GPS信息经常缺失，甚至于室内，GPS不可用，而此时成本低的视觉信息可以用于获取机器人的位置信息。而视觉传感器一般又分为3类：一类单目，其缺点是缺失深度信息；第二种是双目：较单目的视场范围更小；第三类是红黄蓝深度(red green blue depth，RGBD)相机，但由于是发射-接收的测量方式，其使用范围十分受限。
在相关技术中，双目视觉定位一般是直接采取同时定位与构图模式和两步走方式：第一步先利用传感器进行构建离线地图，再结合离线地图和双目进行定位两种方式。
例如，相关技术1中公开了了一种定位方法，首先利用双目摄像装置实时采集图像，并通过惯性测量单元实时采集角速度信息和加速度信息，利用上述信息进行融合获取视觉离线地图；在线获取图像数据，与视觉离线地图进行特征匹配，获取重定位信息，然后利用重定位信息、图像数据和惯性测量信息进行融合获得当前相机视觉定位信息。
具体分析，该方法采用的是常规的双目相机设置，具有传统的双目相机视场范围小的缺陷，由于小型无人机空间有限，使得其双目基线长度较小，从而不可避免导致双目相机的测距范围较小。本申请的该实施例在双目相机各侧引入反射装置，从而间接提高双目基线长度，从而提升双目相机的测距范围；另外该方法在构建离线视觉地图与在线定位时所用传感器一致，未引入成本相对较高但定位精度达到厘米级的RTK传感器；本申请的该实施例在进行离线地图时引入RTK传感器。同时，因为离线地图传感器可以复用，使得增加成本并不高；另外本申请的该实施例进行在线定位时将视觉定位端与系统最终定位输出端进行解耦，使得系统可以复用其他视觉传感器的输出信息。
本申请的该实施例提供了一套新型双目视觉定位方法，原理包括：首先在双目摄像头两侧安装反射装置，摄像头通过反射装置接收外部环境的视觉信息，形成图像；安装有上述摄像装置的无人机在特定区域进行采集图像数据，RTK数据和IMU数据，利用上述数据生成高精度离线地图；利用在线获取的图像数据与离线地图数据库进行特征匹配，得到匹配的定位信息辅助无人机进行视觉定位；视觉定位信息与惯性测量单元进行组合导航，输出最终的无人机定位信息。
下面，对本申请该实施例提供的定位方法进行说明。
总体来说，整个定位过程可以参考图6。如图6所示，该过程可以包括但不限于下述S601至S608。
S601、对无人机进行初始化。
主要包括：坐标系的建立，无人机初始位置的初始化，双目相机的初始化等。
S602、进行离线地图的下载。
若地图下载失败，执行下述S603；若地图下载成功，执行下述S606。
S603、构建离线地图。
基于RTK、IMU以及双目相机构建离线地图。
S604、保存离线地图。
S605、关闭地图构建无人机。
结束地图的构建，关闭用于地图构建的无人机。
S606、基于双目相机采集的图像数据进行视觉定位。
主要包括：于双目相机采集的图像数据以及加载的地图对无人机在当前时刻的位置进行定位过程。
S607、关闭在线定位无人机。
结束定位，关闭用于在线定位的无人机。
S608、结束。
第一步，双目相机两侧安装反射装置。
在双目摄像头两侧安装固定反射装置，摄像头通过反射装置接收外部环境的视觉信息，形成图像，该措施可以间接提高双目基线长度，从而提升双目相机的测距范围，并且固定的反射装置因为未加入伺服系统，导致增加的成本和重量在可以接受的范围内。
示例性的，双目相机与反射装置的结构可以参考图7，如图7所示，包括相机701、相机702、反射装置703以及反射装置704。
相机701的焦心和相机702的焦心之间为双目相机的基线。反射装置703的虚拟焦心和反射装置704的虚拟焦心之间为虚拟基线。从图7可以看出，虚拟基线的长度大于双目相机的基线的长度。
第二步，构建离线地图。
简单来说，首先利用纯双目视觉位姿信息、RTK信息对IMU偏差模型以及重力加速度方向等进行估计；然后基于估计值构建离线地图。
具体的，该过程可以包括但不限于下述步骤1至步骤4。
步骤1、在视觉位姿中，使用高效率的(Oriented FAST and Rotated BRIEF，ORB)特征提取算法，对图像提取丰富的描述子，然后利用提取的特征点进行双目匹配，获取其特征点对应的深度信息。
步骤2、利用基于预积分的IMU运动学模型建立相机的运动模型，采用运动模型对相机位置进行实时初步估计；在初步估计的基础上对前后两个图像帧之间位姿进行估计，在利用视觉几何知识，对机器人当前位置进行更加精确的估计。
首先建立导航坐标系，记为世界坐标系，后续相机中心位姿、航路点(相当于上述地标点)坐标均建立在世界坐标系中。该世界坐标系的确立由初始化成功时刻得到，其初始化利用相机和IMU的测量信息。
根据中IMU预积分部分，IMU提供的原始数据包含陀螺仪数据(角速度)以及加速度计数据(加速度)/>
其中，陀螺仪数据以及加速度计数据/>满足下述公式(6-1)和公式(6-2)。
在公式(6-1)和公式(6-2)中，和/>分别表示陀螺仪数据以及加速度计数据；ba，bω分别表示加速度偏置以及陀螺仪偏置；ba，bω被认定为随机游走，即导数符合高斯性质，而na，nw代表噪声影响，并假设其符合高斯噪声；R表示旋转矩阵，gw为世界坐标系下的重力向量。
给定两帧bk、bk+1的瞬时时间，那么位置、速度以及旋转方向(也可以称为角度或者旋转角度)可以通过惯性测量的积分来得到。
具体可以参考下述公式(7)。
在公式(7)中，p表示位置，v表示速度，q表示角度，w表示世界坐标系，bk、bk+1表示相邻两帧；和/>分别表示陀螺仪数据以及加速度计数据；ba，bω分别表示加速度偏置以及陀螺仪偏置；ba，bω被认定为随机游走，即导数符合高斯性质，而na，nw代表噪声影响，并假设其符合高斯噪声；R表示旋转矩阵，gw为世界坐标系下的重力向量。
在公式(7)中，
然后对位姿进行优化，优化bk帧的速度、位置以及方向并重新计算第bk+1帧的速度、位置以及方向。那么，每次优化都需要重复计算上述公式，也就是调用bk帧IMU测量值，重新积分。而这些重复处理可以通过IMU预积分的方式减少调用数据次数，具体参考下述公式(8)和公式(9)。
其中，在公式(8)和公式(9)中，p表示位置，v表示速度，q表示角度，w表示世界坐标系，bk、bk+1表示相邻两帧；和/>分别表示陀螺仪数据以及加速度计数据；ba，bω分别表示加速度偏置以及陀螺仪偏置；ba，bω被认定为随机游走，即导数符合高斯性质，而na，nw代表噪声影响，并假设其符合高斯噪声；R表示旋转矩阵，gw为世界坐标系下的重力向量。
公式(8)中将第bk+1帧的速度、位置以及方向转换到第bk帧世界坐标系下，而公式(9)左边只与加速度计以及陀螺仪偏置有关，因此对于公式(8)中积分项可以提前计算，并记录为公式(9)中积分所得数值。当bk帧状态改变时，无需重复计算，以此节约计算资源。
下面，对位姿求解过程进行说明。
在纯视觉即时定位与地图构建(SIMUltaneous Localization and Mapping，SLAM)中，估计的状态仅包括当前的相机位姿，在视觉惯性SLAM中，需要计算额外的变量。主体位姿Ti＝[Ri,pi]∈SE(3)和世界帧的速度Vi，以及陀螺仪和加速度计的偏置，即ba，bω，状态向量Si＝[Ti,Vi,ba,bw]。对视觉惯性SLAM，在两个连续帧bk和bk+1之间，按上述公式(8)和公式(9)进行预积分，获得预积分的旋转、速度和位置测量，用ΔRi,i+1、ΔVi,i+1、Δpi,i+1进行表示。给定预积分项，以及状态Si、Si+1，惯性残差可以参考上述公式(3-1)至公式(3-4)。
航路点(相当于地标点)的视觉残差也采用重投影误差rij(第j个航路点在第i帧图像的投影点误差)，具体可以参考上述公式(1)。
结合惯性和视觉残差，视觉惯性SLAM可以作为一个给予关键帧的最小化问题，给定一系列关键帧集合，该集合包含k+1个关键帧，以及每个关键帧的状态以及l个航路点，其状态记为/>视觉惯性优化问题可以构建成上述公式(5)。
步骤3、将上述获取的相机位姿、地图点信息利用时间同步后的RTK信息进行修正，得到修正后的地图点、关键帧信息、地图信息以及关键帧数据库等信息。
步骤4、结束时将存储的地图点、关键帧信息、地图信息以及关键帧数据库等信息保存至二进制文件，及生成离线地图。
简单来说，构建地图的过程可以如图8所示，包括但不限于：惯性测量单元801、第一双目摄像头802、视觉里程计803、RTK804、回环检测单元805、第一后端优化单元806、地图构建单元807、保存地图单元808。
惯性测量单元801，用于惯性单元的数据测量。
第一双目摄像头802，用于进行双目图像数据采集。
视觉里程计803用于基于惯性测量单元801的惯性测量数据与双目摄像头802的图像采集数据进行视觉里程计算，估计无人机在世界坐标系下的初始位置。
RTK804，用于实时采集无人机在世界坐标系下的实际位置。
回环检测单元805，用于基于双目摄像头802的图像采集数据进行回环检测，得到地标点在当前相机坐标系下的位置。
第一后端优化单元806，用于基于RTK804采集无人机在世界坐标系下的实际位置，以及回环检测单元805得到地标点在当前相机坐标系下的位置，计算出地标点在世界坐标系下的实际位置。
地图构建单元807，用于根据后端优化单元806得到的地标点在世界坐标系下的实际位置进行地图构建。
保存地图单元808，用于保存地图构建单元807构建的地图。
为构建离线地图，相关技术中仅利用双目和IMU传感器。由于双目和IMU均只能获取相对位置信息，而不可以获取全局定位信息，使其应用范围受限。另外在室外由于关照、场景没有室内丰富等原因，其精度并不能达到厘米级，且会因为特征匹配错误而易造成系统定位失败；为克服上述两个缺陷，本申请的该实施例在构建离线地图时引入高精度的RTK传感器，尽管该传感器相对成本较高，但是用于在线定位的机器人上不需要安装，只安装在用于构建离线地图的机器人身上，使得可以无限复用，故成本可以接收。
第三步，在线视觉定位。
首先进行重定位，其重定位可以以下方式执行：通过双目摄像装置采集图像，并与视觉离线地图进行匹配；当匹配成功时，进行闭环检测及后端优化以得到初始位姿信息。在进行重定位时，需要加载上述视觉离线地图，在该视觉离线地图中进行重定位。上述匹配方式可以是词袋匹配。
其次，启动相机定位模式，重定位的位姿作为初始化时刻的相机位姿，利用初始位姿获取与该相机图片匹配的地图点信息，构建最小二乘获取当前相机的位姿信息。具体可以参考上述公式(6)。
在相关技术中，获得重定位位姿后直接输出给激光定位系统，作为视觉的定位信息，本本申请的该实施例引入离线地图中地图点信息，继续对该位姿进行修正，其精度相对更高。
简单来说，在线视觉定位的过程可以如图9所示，包括但不限于：第二双目摄像头901、地图加载单元902、词袋匹配单元903、初始位姿估计单元904、第二后端优化单元905、输出位姿单元906。
第二双目摄像头901，用于采集当前时刻的图像数据。
地图加载单元902，用于加载离线地图。
词袋匹配单元903，用于将第二双目摄像头901采集的当前时刻的图像数据，以及地图加载单元902加载的离线地图进行词袋匹配，若匹配成功，估计初始位姿，若匹配失败，则结束。
初始位姿估计单元904，用于基于词袋匹配结果得到初始位姿信息。
第二后端优化单元905，用于基于进行优化处理，得到无人机在当前时刻的实际位姿。
输出位姿单元906，用于将无人机的实际位姿输出。
第四步，视觉定位系统输出。
根据第三步得到的视觉定位信息，与IMU构成组合导航系统，利用组合导航输出的位姿信息作为整个系统的输出。
这样，相机更新频率一般为25赫兹(hz)，其更新速率较慢，不能应用于需要更高频率输出的场景；利用IMU信息与上述视觉定位信息的融合，可以得到更高精度的定位输出；将IMU与视觉定位解耦，可以复用不同的视觉传感器和算法。
简单来说，视觉定位系统输出的过程可以如图10所示，包括但不限于：IMU1001、惯导解算单元1002、视觉定位单元1003、卡尔曼滤波单元1004、系统输出单元1005。
IMU1001，用于采集惯导数据；
惯导解算单元1002，用于基于IMU1001采集惯导数据进行惯性定位；
视觉定位单元1003，用于进行视觉定位；
卡尔曼滤波单元1004，用于基于视觉定位与惯性定位估计系统误差，并将该误差反馈至IMU1001，以使IMU1001将误差反馈至惯导解算单元1002，惯导解算单元1002在惯性定位的基础上结合估计的系统误差计算出最终的定位信息；
系统输出单元1005，用于输出最终的定位信息。
本申请的该实施例可以包括但不限于以下技术效果：
在双目相机两侧引入反射装置，间接提高双目的基线长度，从而扩大双目的测距范围。
在构建高精度离线地图时引入RTK传感器，利用RTK传感器、IMU传感器和双目视觉传感器共同构建离线地图，可以获取更高精度的地图，同时地图内位置信息为绝对位置信息，使其后续可以应用到无GPS的系统。
在进行实时定位时将重定位获取的初始位姿、离线地图信息进行融合获得视觉定位信息，同时将上述信息与IMU信息构建组合导航系统，使得系统输出频率可以达到上千赫兹；利用离线地图信息、重定位得到的初始位姿、IMU信息融合可以获得更高的系统精度；将IMU与视觉定位系统解耦，可以复用不同的视觉传感器和算法。
第三方面，本申请实施例提供了地图的构建装置，地图的构建装置部署于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，如图11所示，地图的构建装置110可以包括定位单元1101、第一确定单元1102、第二确定单元1103和更新单元1104。
其中：
定位单元1101，用于通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；
第一确定单元1102，用于基于所述双目相机在所述当前时刻采集的第一图像，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；
第二确定单元1103，用于针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；
更新单元1104，用于针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点对应的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
在一些实施例中，所述定位传感器为实时差分定位RTK传感器。
在一些实施例中，在所述双目相机的两侧分别安装有一个反射装置，其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度；地图的构建装置还包括第一反射处理单元，第一反射处理单元用于：
针对所述双目相机中的每个相机，通过每个所述相机采集所述相机侧的所述反射装置反射的反射图像，得到第一反射图像和第二反射图像；
对所述第一反射图像和所述第二反射图像进行匹配处理，得到所述双目相机在所述当前时刻采集得到的所述第一图像数据。
在一些实施例中，地图的构建装置110还包括关键帧处理单元，关键帧处理单元用于：
确定所述当前时刻对应的目标关键帧；其中，一个关键帧与一个时刻对应；将所述目标关键帧对应的第一设备的位置信息更新为所述第一位置。
在一些实施例中，地图的构建装置110还包括预处理单元，预处理单元用于：
对所述第一图像数据进行特征提取得到所述n个目标地标点，并针对所述n个目标地标点中的每个所述目标地标点进行双目匹配，得到每个所述目标地标点对应的第一数据；
基于所述IMU在初始时刻至当前时刻的测量得到的第二数据，以及所述第一设备在所述初始时刻的初始位姿，通过预计分的方式确定所述第一设备在所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿；
基于所述n个目标地标点中的每个所述目标地标点的第一数据计算得到的视觉残差，以及基于所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿计算得到的惯性残差，确定所述第一设备在所述当前时刻的位姿信息；
基于所述当前时刻的位姿信息以及n个目标地标点中的每个所述目标地标点的第二位置，得到所述n个目标地标点中的每个所述目标地标点对应的初始位置。
在一些实施例中，预处理单元还用于：
基于所述n个目标地标点中的每个所述目标地标点的投影误差确定所述视觉残差；所述目标地标点的投影误差与所述目标地标点的第一数据相关；
基于所述初始时刻至所述当前时刻中每相邻两个时刻的位姿残差确定所述惯性残差；所述每相邻两个时刻的位姿残差与所述每相邻两个时刻的相对位姿相关；
基于所述视觉残差与所述惯性残差确定第一目标残差；
将所述第一目标残差对应的位姿信息确定为所述第一设备在所述当前时刻的位姿信息。
第四方面，本申请实施例提供了一种定位装置，如图12所示，定位装置120可以包括第三确定单元1201、调整单元1202、提取单元1203、第四确定单元1204。其中：
第三确定单元1201，用于基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；
调整单元1202，用于调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；
提取单元1203，用于对所述第二图像数据进行特征提取，得到p个特征点；所述p为大于0的整数；
第四确定单元1204，用于基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
在一些实施例中，在所述双目相机的两侧分别安装有一个反射装置，其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度；定位装置120还包括第二反射处理单元，第二反射处理单元用于：
针对所述双目相机中的每一相机，通过所述相机在所述当前时刻采集所述相机侧的所述反射装置反射的反射图像，得到第三反射图像和第四反射图像；
对所述第三反射图像和所述第四反射图像进行匹配处理，得到所述第二图像数据。
在一些实施例中，第四确定单元1204还用于：
基于所述p个特征点中每个所述特征点的投影误差确定第二目标残差；其中，所述特征点的投影误差表示所述特征点的投影与目标地图点信息中所述特征点对应的地标点的残差；
将所述第二目标残差对应的位姿信息确定为所述第二设备在所述当前时刻的位姿。
在一些实施例中，所述第二设备还包括惯性测量单元IMU，定位装置120还可以包括导航处理单元，导航处理单元用于：
基于所述IMU对所述第二设备进行定位，得到惯性定位信息；
基于卡尔曼滤波融合所述惯性定位信息与视觉定位信息，得到所述第二设备的目标定位；其中，所述视觉定位信息为所述第二设备在所述当前时刻的位姿；
基于所述目标定位对所述第二设备进行导航。
需要说明的是，本申请实施例提供的定位装置包括所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro ProcessorUnit)、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列(FPGA，Field-Programmable Gate Array)等。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的定位方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
第五方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的地图构建方法或者定位方法中的步骤。
第六方面，本申请实施例提供一种存储介质，也就是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的地图构建方法或者定位方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种地图的构建方法，其特征在于，所述方法应用于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，所述方法包括：
通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；
基于所述双目相机在所述当前时刻采集得到的第一图像数据，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；
针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；
针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
2.根据权利要求1所述的方法，其特征在于，
所述定位传感器为实时差分定位RTK传感器。
3.根据权利要求1所述的方法，其特征在于，在所述双目相机的两侧分别安装有一个反射装置，其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度；
所述方法还包括获取第一图像数据的步骤：
针对所述双目相机中的每个相机，通过每个所述相机采集所述相机侧的所述反射装置反射的反射图像，得到第一反射图像和第二反射图像；
对所述第一反射图像和所述第二反射图像进行匹配处理，得到所述双目相机在所述当前时刻采集得到的所述第一图像数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括基于所述第一设备的第一位置更新目标关键帧对应的第一设备的位置信息的步骤：
确定所述当前时刻对应的目标关键帧；其中，一个关键帧与一个时刻对应；
将所述目标关键帧对应的第一设备的位置信息更新为所述第一位置。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括获取每个所述目标地标点在初始地图信息中的初始位置的步骤：
对所述第一图像数据进行特征提取得到所述n个目标地标点，并针对所述n个目标地标点中的每个所述目标地标点进行双目匹配，得到每个所述目标地标点对应的第一数据；
基于所述IMU在初始时刻至当前时刻的测量得到的第二数据，以及所述第一设备在所述初始时刻的初始位姿，通过预计分的方式确定所述第一设备在所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿；
基于所述n个目标地标点中的每个所述目标地标点的第一数据计算得到的视觉残差，以及基于所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿计算得到的惯性残差，确定所述第一设备在所述当前时刻的位姿信息；
基于所述当前时刻的位姿信息以及n个目标地标点中的每个所述目标地标点的第二位置，得到所述n个目标地标点中的每个所述目标地标点对应的初始位置。
6.根据权利要求5所述的方法，其特征在于，所述基于所述n个目标地标点中的每个所述目标地标点的第一数据计算得到的视觉残差，以及基于所述初始时刻至所述当前时刻中每相邻两个时刻的相对位姿计算得到的惯性残差，确定所述第一设备在所述当前时刻的位姿信息，包括：
基于所述n个目标地标点中的每个所述目标地标点的投影误差确定所述视觉残差；所述目标地标点的投影误差与所述目标地标点的第一数据相关；
基于所述初始时刻至所述当前时刻中每相邻两个时刻的位姿残差确定所述惯性残差；所述每相邻两个时刻的位姿残差与所述每相邻两个时刻的相对位姿相关；
基于所述视觉残差与所述惯性残差确定第一目标残差；
将所述第一目标残差对应的位姿信息确定为所述第一设备在所述当前时刻的位姿信息。
7.一种定位方法，其特征在于，所述方法应用于第二设备，所述第二设备至少包括双目相机，所述方法包括：
基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；
调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；
对所述第二图像数据进行特征提取，得到p个特征点；所述p为大于0的整数；
基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
8.根据权利要求7所述的方法，其特征在于，在所述双目相机的两侧分别安装有一个反射装置，其中，两个所述反射装置之间的虚拟基线的长度大于所述双目相机之间的实际基线的长度；
所述获取在当前时刻所述初始位姿下的第二图像数据，包括：
针对所述双目相机中的每一相机，通过所述相机在所述当前时刻采集所述相机侧的所述反射装置反射的反射图像，得到第三反射图像和第四反射图像；
对所述第三反射图像和所述第四反射图像进行匹配处理，得到所述第二图像数据。
9.根据权利要求7所述的方法，其特征在于，所述基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿，包括：
基于所述p个特征点中每个所述特征点的投影误差确定第二目标残差；其中，所述特征点的投影误差表示所述特征点的投影与目标地图点信息中所述特征点对应的地标点的残差；
将所述第二目标残差对应的位姿信息确定为所述第二设备在所述当前时刻的位姿。
10.根据权利要求7所述的方法，其特征在于，所述第二设备还包括惯性测量单元IMU，所述方法还包括：
基于所述IMU对所述第二设备进行定位，得到惯性定位信息；
基于卡尔曼滤波融合所述惯性定位信息与视觉定位信息，得到所述第二设备的目标定位；其中，所述视觉定位信息为所述第二设备在所述当前时刻的位姿；
基于所述目标定位对所述第二设备进行导航。
11.一种地图的构建装置，其特征在于，所述装置部署于第一设备，所述第一设备包括双目相机、惯性测量单元IMU、定位传感器，所述装置包括：
定位单元，用于通过所述定位传感器实时定位所述第一设备的第一位置；其中，所述第一位置为当前时刻所述第一设备在世界坐标系中的绝对位置；在定位所述第一无人机的第一位置时，所述定位传感器的定位精度大于所述IMU的定位精度；
第一确定单元，用于基于所述双目相机在所述当前时刻采集的第一图像，确定n个目标地标点以及所述n个目标地标点中每个所述目标地标点在相机坐标系下的第二位置；n为大于0的整数；
第二确定单元，用于针对所述n个目标地标点中每个所述目标地标点，基于所述第一设备的第一位置以及每个所述目标地标点在相机坐标系下的第二位置，确定每个所述目标地标点在世界坐标系下对应的实际位置；
更新单元，用于针对所述n个目标地标点中每个所述目标地标点，将每个所述目标地标点在初始地图信息中的初始位置更新为每个所述目标地标点对应的实际位置，以得到目标地图信息；其中，所述初始地图信息是基于所述双目相机和所述IMU采集的数据确定的。
12.一种定位装置，其特征在于，所述装置部署于第二设备，所述第二设备至少包括双目相机，所述装置包括：
第三确定单元，用于基于所述双目相机实时采集的第一图像数据和目标地图信息，确定所述第二设备的初始位姿信息；所述目标地图信息包括至少一个地标点的实际位置；
调整单元，用于调整所述相机位姿为所述初始位姿，并获取在当前时刻所述初始位姿下的第二图像数据；
提取单元，用于对所述第二图像数据进行特征提取，得到p个特征点；所述p为大于0的整数；
第四确定单元，用于基于所述p个特征点的残差确定所述第二设备在所述当前时刻的位姿。
13.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至10任一项所述的方法。
14.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至10任一项所述的方法。
CN202211439878.6A 2022-11-17 2022-11-17 地图的构建方法、定位方法及装置、设备、存储介质 Pending CN118052940A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211439878.6A CN118052940A (zh) 2022-11-17 2022-11-17 地图的构建方法、定位方法及装置、设备、存储介质
PCT/CN2023/130290 WO2024104225A1 (zh) 2022-11-17 2023-11-07 地图的构建方法、定位方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211439878.6A CN118052940A (zh) 2022-11-17 2022-11-17 地图的构建方法、定位方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN118052940A true CN118052940A (zh) 2024-05-17

Family

ID=91043750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211439878.6A Pending CN118052940A (zh) 2022-11-17 2022-11-17 地图的构建方法、定位方法及装置、设备、存储介质

Country Status (2)

Country Link
CN (1) CN118052940A (zh)
WO (1) WO2024104225A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313684B2 (en) * 2016-03-28 2022-04-26 Sri International Collaborative navigation and mapping
KR102001728B1 (ko) * 2017-11-07 2019-07-18 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN113945206B (zh) * 2020-07-16 2024-04-19 北京图森未来科技有限公司 一种基于多传感器融合的定位方法及装置
CN114111776B (zh) * 2021-12-22 2023-11-17 广州极飞科技股份有限公司 定位方法及相关装置
CN114419180A (zh) * 2022-01-25 2022-04-29 智道网联科技(北京)有限公司 重构高精地图的方法、装置和电子设备

Also Published As

Publication number Publication date
WO2024104225A1 (zh) 2024-05-23

Similar Documents

Publication Publication Date Title
CN108303099B (zh) 基于三维视觉slam的无人机室内自主导航方法
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN107990899B (zh) 一种基于slam的定位方法和系统
CN108717710B (zh) 室内环境下的定位方法、装置及系统
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN113406682B (zh) 一种定位方法、装置、电子设备及存储介质
JP2020507072A (ja) 実時間オンライン自己運動推定を備えたレーザスキャナ
WO2020048623A1 (en) Estimation of a pose of a robot
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN108981687B (zh) 一种视觉与惯性融合的室内定位方法
US11875519B2 (en) Method and system for positioning using optical sensor and motion sensors
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
KR102127679B1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN112556696B (zh) 一种对象定位方法、装置、计算机设备以及存储介质
CN111077907A (zh) 一种室外无人机的自主定位方法
CN114111776B (zh) 定位方法及相关装置
CN113551665A (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN111474932B (zh) 一种集成情景经验的移动机器人建图与导航方法
Lo et al. The direct georeferencing application and performance analysis of uav helicopter in gcp-free area
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination