CN111750853A - 一种地图建立方法、装置及存储介质 - Google Patents

一种地图建立方法、装置及存储介质 Download PDF

Info

Publication number
CN111750853A
CN111750853A CN202010594549.3A CN202010594549A CN111750853A CN 111750853 A CN111750853 A CN 111750853A CN 202010594549 A CN202010594549 A CN 202010594549A CN 111750853 A CN111750853 A CN 111750853A
Authority
CN
China
Prior art keywords
image data
frame
data
vehicle
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010594549.3A
Other languages
English (en)
Other versions
CN111750853B (zh
Inventor
霍盈盈
严刚
李庆建
熊丽音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN202010594549.3A priority Critical patent/CN111750853B/zh
Publication of CN111750853A publication Critical patent/CN111750853A/zh
Application granted granted Critical
Publication of CN111750853B publication Critical patent/CN111750853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种地图建立方法、装置及存储介质，其中，方法应用于终端，终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括如下步骤：获取车辆行驶过程中的IMU数据以及IMU数据对应的图像数据；根据车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；根据第一目标误差算法对帧间位姿矩阵以及帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；根据每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，建立地图。通过实施本发明，能够通过图像采集设备以及惯性传感器实现特征地图建立。

Description

一种地图建立方法、装置及存储介质
技术领域
本发明涉及智能导航领域，具体涉及一种地图建立方法、装置及存储介质。
背景技术
在当前国家提出新基建的背景下，大力发展无人技术、人工智能等新技术、新应用是中国实现多种战略目标的关键之举。随着科技的发展，无人技术在我们生活的各个方面都发挥出了巨大的作用。在无人技术中，精准的定位是实现无人控制的前提，除了传统惯性导航、GPS实现定位外，高精度地图也是有效的定位手段。
高精度地图相比于普通地图其拓扑结构更加复杂，不仅仅要检测车道，还要检测转弯的路标点的位置等。相关技术中，在高精度地图的路标点位置等信息的建立的过程中通常采用激光雷达、惯性导航系统、GPS等，这种地图建立方式不仅设备价格高昂，且采集数据量大、处理流程复杂，所以亟需提出一种新的地图建立方法。
发明内容
有鉴于此，本发明实施例提供了一种地图建立方法、装置及存储介质，以解决现有技术中设备价格高昂，且采集数据量大，处理流程复杂的缺陷。
根据第一方面，本发明实施例提供一种地图建立方法，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括如下步骤：获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。
可选地，获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据，包括：将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到所述IMU数据对应的图像数据。
可选地，所述图像采集设备为双目摄像头，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述车辆行驶过程中图像采集设备采集到的图像数据得到车辆行驶过程中的帧间变化矩阵之前，所述方法还包括：根据初始IMU数据得到初始位姿矩阵；根据初始IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；根据所述特征点的深度信息，得到所述特征点的初始坐标。
可选地，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，包括：对所述IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。
可选地，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立之前，还包括：根据所述车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，所述状态优化参数包括路标点的逆深度；根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。
可选地，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立，包括：获取目标帧图像数据；将所述目标帧图像数据与相邻帧图像数据中的特征点进行匹配，得到匹配特征点；确定所述匹配特征点对应的路标点在所述地图中的位置，将所述路标点添加至所述地图；当所述目标帧图像数据对应的后续关键帧图像数据的路标点信息中不存在所述路标点，则将所述路标点在所述地图中删除。
可选地，所述获取目标帧图像数据，包括：从所有帧数据中筛选出符合目标约束条件的帧数据作为关键帧；将与相邻关键帧的路标点重合的关键帧剔除，剩余关键帧作为目标帧图像数据。
可选地，所述方法还包括：将所述地图中每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，以最小化重投影目标进行优化。
可选地，所述方法还包括：对所述目标帧图像数据进行回环检测。
可选地，所述方法还包括：将建立的所述地图，上传至云端。
根据第二方面，本实施例提供一种地图建立装置，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括：数据获取模块，用于获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；位姿获取模块，用于根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；联合约束模块，用于根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；地图建立模块，用于根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。
根据第三方面，本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的地图建立方法的步骤。
根据第四方面，本实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的地图建立方法的步骤。
本发明技术方案，具有如下优点：
本实施例提供的地图建立方法/装置，通过图像采集设备以及惯性传感器设备即可完成地图的建立，具有价格便宜，功耗低，处理流程简单，并且图像采集设备数据以及惯性传感器数据可以相互补充。图像采集设备在大多数纹理丰富的场景中效果很好，但对于一些纹理特征不够丰富的场景，适用性并不高，并且图像采集设备可能由于车辆速度以及图像获取速度导致采集的信息不够清晰和完整，IMU数据可以对图像采集设备的缺陷进行补充；同时，惯性传感器长时间使用有很大的累计误差，但在短时间内，其相对位移数据又有很高的精度。所以图像采集设备失效时，融合imu数据，能够提高定位的精度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中地图建立方法的一个具体示例的流程图；
图2为本发明实施例中地图建立装置的一个具体示例原理框图；
图3为本发明实施例中电子设备的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本实施例提供一种地图建立方法，应用于终端，终端与集成有图像采集设备以及惯性传感器的车辆通信连接，如图1所示，包括如下步骤：
S101，获取车辆行驶过程中的IMU数据以及IMU数据对应的图像数据。
示例性地，车辆行驶过程中的IMU数据的获取方式可以是通过安装在车辆上的惯性传感器得到，图像数据的获取方式可以是通过安装在车辆上的图像采集设备得到。IMU数据与图像数据对应的方式可以是同时开启惯性传感器和图像采集设备。本实施例对IMU数据与图像数据一一对应的方式不做限定，本领域技术人员可以根据需要确定。
S102，根据车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵。
示例性地，车辆在行驶过程中，惯性传感器以及图像采集设备会采集到多帧IMU数据以及多帧图像数据。由惯性传感器采集的IMU数据得到的帧间位姿矩阵包括三轴加速度计数据以及根据三轴加速度计数据计算出的俯仰角信息、横滚角信息、航向角信息。帧间位姿矩阵可以是根据IMU数据积分得到，比如，对IMU数据中三轴加速度计数据进行一次积分得到车辆速度信息，二次积分得到车辆的位移量信息，对IMU数据中三轴陀螺仪数据中的角速度信息积分获得角度信息等，从而得到车辆行驶过程中的六自由度位姿，将该位姿作为帧间位姿矩阵。
帧间变化矩阵的计算方式可以是：将图像采集设备初始化坐标作为世界坐标系，当图像采集设备为单目相机时，通过采集相邻两帧的图像，进行特征点匹配，将匹配的特征点三角化得到深度信息，从而得出该特征点对应的路标点的三维坐标，作为初始化坐标，将该坐标作为世界坐标系。将车辆后续行驶过程中图像采集设备采集的图像帧数据进行特征点匹配，得到各个特征点对应的路标点的三维坐标，将该三维坐标表示为相机坐标系坐标。图像采集设备在任一时刻获取的帧图像中，特征点的相机坐标系坐标与世界坐标系坐标之间做变换矩阵，能够得到图像采集设备的旋转矩阵以及平移矩阵，在标定图像采集设备的初始位姿的情况下，根据旋转矩阵以及平移矩阵能够得到图像采集设备的实时位姿信息，将该位姿信息作为帧间变化矩阵。
其中，图像帧数据进行特征点匹配包括：获取图像数据，将图像数据进行金字塔分层并利用fast算法进行特征点检测，计算特征点的描述子，然后根据描述子信息进行特征点匹配，完成匹配后，剔除野点，得到匹配特征点的图像。
S103，根据第一目标误差算法对帧间位姿矩阵以及帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵以及路标点位置。
示例性地，第一目标误差算法可以是视觉重投影误差最小化算法，也可以是视觉重投影误差与IMU预积分误差最小化算法，本实施例对第一目标误差算法不做限定，本领域技术人员可以根据不同需求设置。根据第一目标误差算法对帧间位姿矩阵以及帧间变化矩阵进行联合约束，实现对每一帧帧间位姿矩阵以及帧间变化矩阵同时优化，得到每一帧图像数据的车辆位姿矩阵以及特征点对应的路标点位置。
S104，根据每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。
示例性地，本实施例中地图构建是指建立车辆所处环境中的各种物体，包括障碍、道路等的准确的空间位置描述，即建立空间模型或地图。本实施例中所建立地图为特征地图，在实现了定位功能得到一些路标点信息和特征点时，可建立稀疏地图，表征运动的轨迹。本实施例中的地图由目标帧图像、路标点、描述子以及所有目标帧图像中的位姿信息等组成。其中目标帧图像为一系列的图像，路标点包括对应这张图像的特征点像素坐标，位姿信息会记录所有目标帧图像的详细信息。
建立特征地图的过程包括：首先，获取目标帧图像数据。
获取目标帧图像数据的方式可以是在多帧图像数据中将筛选满足预设条件的图像数据作为目标帧数据图像，预设条件包括该帧图像与上一目标帧图像数据的视差大于视差阈值，视差阈值可以为10，从而约束相邻目标帧之间的运动增量，以及目标帧图像中的特征点对局部地图的贡献，将贡献大的帧图像作为目标帧图像数据。
其次，将目标帧图像数据与相邻帧图像数据中的特征点进行匹配，得到匹配特征点；确定匹配特征点对应的路标点在地图中的位置，将路标点添加至地图。
当新的目标帧图像数据添加到地图中，会建立当前目标帧图像数据与其他目标帧图像数据的连接，并将新目标帧图像数据中特征点对应的路标点添加到地图中，以便于后续帧能够进行地图的特征匹配。新目标帧图像数据的特征点会与地图内的其他目标帧图像数据帧的特征点进行匹配，如果完成匹配，则通过几何关系计算其地图点坐标，在满足重投影误差小于阈值等约束条件，即可添加到地图中。
本实施例提供的地图建立方法，通过图像采集设备以及惯性传感器设备即可完成特征地图的建立，具有价格便宜，功耗低，并且图像采集设备数据以及惯性传感器数据可以相互补充。图像采集设备在大多数纹理丰富的场景中效果很好，但对于一些纹理特征不够丰富的场景，适用性并不高，并且图像采集设备可能由于车辆速度以及图像获取速度导致采集的信息不够清晰和完整，IMU数据可以对图像采集设备的缺陷进行补充；同时，惯性传感器长时间使用有很大的累计误差，但在短时间内，其相对位移数据又有很高的精度。所以图像采集设备失效时，融合imu数据，能够提高定位的精度。
作为本申请一种可选的实施方式，上述步骤S101，包括：将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到IMU数据对应的图像数据。
示例性地，由于地图建立系统可能存在触发延时、传输延时和没有准确同步时钟等问题，导致惯性传感器和图像采集设备即使同步开启，也会出现数据信息时间未对齐的情况，因此需要将IMU数据与图像数据重新对齐。IMU数据与图像数据对应的方式可以是将IMU数据与图像数据按照时间戳进行对齐，对齐具体方式可以是将接收到的图像数据存入缓冲区队列，同时将IMU数据也存入到缓冲区队列，对每一帧图像数据和IMU数据进行时间戳的比对，如果没有获得图像数据与IMU数据严格的时间对齐数据则对IMU数据进行插值处理，将时间误差控制在一个可接受的范围内选取数据。
作为本申请一种可选的实施方式，图像采集设备为双目摄像头，上述步骤S102之前，所述方法还包括：根据初始IMU数据得到初始位姿矩阵；根据IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；根据所述特征点的深度信息，得到特征点的初始坐标。
示例性地，根据初始IMU数据得到初始位姿矩阵的具体方式可以是：
首先，确定三轴加速度计数据求取平均值：
Figure BDA0002555734730000091
Figure BDA0002555734730000092
Figure BDA0002555734730000093
其中，acc_x、acc_y、acc_z分别是三轴加速度计在x，y，z轴上的测量值，n为求取平均值的IMU数据帧数，i取值为0到n中任一数值，acc_X、acc_Y、acc_Z分别为n个IMU数据帧在x，y，z轴上加速度的总和；
Figure BDA0002555734730000094
为三轴加速度计在x，y，z轴上的平均值。
根据平均值计算出俯仰角、横滚角，根据俯仰角、横滚角和航向角共同组成初始位姿矩阵，在初始状态下，航向角ψ＝0。俯仰角和横滚角的计算方式如下所示：
Figure BDA0002555734730000095
其中，θ为俯仰角，γ为横滚角。
根据IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息，并根据深度信息，得到初始坐标的方式可以是：由于图像采集设备为双目摄像头，可以通过左目和右目分别采集一张图像，将两张图像进行特征点的匹配，将匹配的特征点三角化得到深度信息，从而得出对应特征点的路标点三维坐标，将该三维坐标作为初始坐标。
本实施例提供的地图建立方法，通过双目摄像头采集图像数据，而相关技术中，采用单目摄像头需要车辆处于动态才能完成初始化，也即可能会丢失一部分图像信息，导致制图不完整，且如果初始化时间较长，可能导致制图成功率降低，而采用双目摄像头能够在车辆处于静止状态即可完成坐标的初始化，提高了制图完整性以及成功率。
作为本申请一种可选的实施方式，根据车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，包括：对IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。
示例性地，IMU通过三轴陀螺仪和三轴加速度计来敏感当前车辆的角速度和线速度，通过积分可以得到某个时刻到另一时刻的位置、姿态和速度。由于累积误差比较大，视觉和IMU的后端优化要对每个位置、姿态和速度进行调整，调整后，以这些时刻为初始时刻的数据在进行更新时，需要重新计算，导致计算量增大。为了防止重复积分，降低系统的计算量，本实施例对IMU数据进行预积分。IMU数据在数据处理时需要转换到载体坐标系进行积分，得到载体坐标系下两个图像帧之间的位置、速度、姿态，便于后端优化时，即使调整了世界坐标系下的位置、速度、姿态也不会影响相对的输出。
IMU数据预积分过程可以是：惯性传感器输出的三轴陀螺仪测量值为
Figure BDA0002555734730000101
三轴加速度计测量值为
Figure BDA0002555734730000102
三轴陀螺仪和三轴加速度计的噪声分别为gyro_noise、acc_noise，零偏分别为gyro_bias、acc_bias，gyrob为载体坐标系的三轴陀螺仪输出，qbw为世界坐标系到载体坐标系的旋转矩阵，accw为世界坐标系下的加速度值，gw为世界坐标系下的重力加速度。
Figure BDA0002555734730000111
Figure BDA0002555734730000112
位置、速度和姿态对时间的导数可写成：
Figure BDA0002555734730000113
Figure BDA0002555734730000114
Figure BDA0002555734730000115
其中，
Figure BDA0002555734730000116
表示世界坐标系下载体位置对时间的导数，vt w表示世界坐标系下载体的速度，
Figure BDA0002555734730000117
表示世界坐标系下载体的速度对时间的导数，acct w表示世界坐标系下载体的加速度，
Figure BDA0002555734730000118
表示世界坐标系下载体姿态对时间的导数，qwbt表示载体坐标系到世界坐标系的旋转矩阵。
从第i帧的位置、速度和姿态对IMU的测量值进行积分得到第j帧的位置、速度和姿态：
Figure BDA0002555734730000119
Figure BDA00025557347300001110
Figure BDA00025557347300001111
其中，Pwbj表示第j帧世界系下的载体位置，Pwbi表示第i帧世界系下载体的位置，accbt表示载体坐标系下的加速度，qwbj表示第j帧世界坐标系下载体的姿态。
将上式进行展开得：
Figure BDA0002555734730000121
Figure BDA0002555734730000122
Figure BDA0002555734730000123
其中，qbibt表示载体坐标系下t时刻到载体系下第i帧的旋转四元数；且令以下为预积分项：
pbibj＝∫∫t∈[i,j](qbibtaccbt)δt2
vbibj＝∫t∈[i,j](qbibtaccbt)δt
Figure BDA0002555734730000124
上述预积分项，仅仅与IMU测量值有关，将一段时间内的IMU数据直接进行积分。因此整理得到：
Figure BDA0002555734730000125
Figure BDA0002555734730000126
qwbj＝qwbiqbibj
第i帧的位置、速度和姿态进行调整后并不会影响i帧到j帧的相对位置、速度和姿态，因此不必再进行重复积分即可得到第j帧的位置、速度和姿态。
作为本申请一种可选的实施方式，上述步骤S104之前，还包括：
首先，根据车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，状态优化参数包括路标点的逆深度。
示例性地，利用第二目标误差算法实现后端优化，在后端优化时为了兼顾精度与效率的问题，在算法上设计一个固定的滑动窗口，窗口中存入固定数量的关键帧及路标点，每次优化的数量控制在一个范围内。窗口的大小可以根据选用的计算平台的计算能力评估，窗口大小设为n。在优化窗口内对车辆位姿矩阵、图像数据中路标点特征信息、固定窗口定时去掉关键帧产生的误差，建立相应的误差模型，进行整体的误差优化。
状态优化参数可以是滑动窗口内n+1个关键帧时刻IMU坐标系的位置、速度、姿态、加速度计零偏、陀螺零偏，m+1个路标点的逆深度，如下：
X＝[x0,x1,...xn,l0,l1,...lm]；
其中，
Figure BDA0002555734730000131
lz表示第z个路标点的逆深度，z∈[0，m]。
第二目标误差算法可以是：
Figure BDA0002555734730000132
其中，EP＝||rP-HPX||2表示边缘化误差，其中，{rp，Hp}为边缘化先验信息。由于计算量的约束，在后端优化中不能将所有信息都优化。因此设定一个滑动优化窗口，当窗口满了后，再来新的图像帧时需要对图像帧之间的信息进行取舍，从而剔除掉滑动窗口中的某个图像帧。但是在滑动窗口中的图像帧与之前多帧图像信息中的路标点有关联，当剔除掉某个图像帧，相应的约束关系随之丢失，导致造成误差。为了能够保留相应的约束关系，应用边缘化算法，将剔除掉的约束关系转变为先验信息补充到优化函数中，从而实现将约束信息进行传递。
Figure BDA0002555734730000133
为IMU的预积分测量残差，通过上述IMU数据预积分得到误差方程为：
Figure BDA0002555734730000141
其中
Figure BDA0002555734730000142
为k时刻到k+1时刻载体坐标系的预积分位置误差，同理
Figure BDA0002555734730000143
为姿态误差，
Figure BDA0002555734730000144
为速度误差，δacc_bias为加速度计零偏误差，δgyro_bias为陀螺仪零偏误差。
Figure BDA0002555734730000145
为k时刻世界坐标系到载体坐标系的变换矩阵；
Figure BDA0002555734730000146
为世界坐标系下k+1时刻的位置，
Figure BDA0002555734730000147
为世界坐标系下k时刻的位置；
Figure BDA0002555734730000148
为世界坐标系下k时刻的速度，Δtk为时间间隔，
Figure BDA0002555734730000149
为k时刻到k+1时刻的位置预积分值；
Figure BDA00025557347300001410
为k时刻到k+1时刻的姿态预积分值，
Figure BDA00025557347300001411
为k时刻载体坐标系到世界坐标系的旋转，
Figure BDA00025557347300001412
为k+1时刻载体坐标系到世界坐标系的旋转；
Figure BDA00025557347300001413
为k时刻到k+1时刻的速度预积分值；
Figure BDA00025557347300001414
为k+1时刻载体坐标系的加速度计零偏，
Figure BDA00025557347300001415
为k时刻载体坐标系的加速度计零偏；
Figure BDA00025557347300001416
为k+1时刻载体坐标系的陀螺仪零偏，
Figure BDA00025557347300001417
为k时刻载体坐标系的陀螺仪零偏。
Figure BDA00025557347300001418
为视觉重投影误差，也就是第i帧图像中首次观测到的路标点l，在第j帧图像中对路标点l的视觉测试残差，具体展开为：
Figure BDA00025557347300001419
Figure BDA0002555734730000151
其中
Figure BDA0002555734730000152
Figure BDA0002555734730000153
是第j帧图像对路标点camera的观测值，通过反投影操作及相应的内参转换为相应时刻相机坐标系下的单位向量。
Figure BDA0002555734730000154
是路标点camera在第j帧图像对应时刻相机坐标系下的坐标。
Figure BDA0002555734730000155
为相机坐标系到载体坐标系的平移，
Figure BDA0002555734730000156
为i帧图像载体坐标系到世界坐标系的平移，
Figure BDA0002555734730000157
为j帧图像载体坐标系到世界坐标系的平移。Rb c表示载体坐标系到相机坐标系的变换矩阵；Rw bj为第j帧图像世界坐标系到载体坐标系的变换矩阵；Rbi w为第i帧图像载体坐标系到世界坐标系的变换矩阵；Rc b表示相机坐标系到载体坐标系的变换矩阵；λl表示第l个特征点的逆深度。
计算视觉重投影误差关于其相关变量的雅可比矩阵：
J[0]：
Figure BDA0002555734730000158
Figure BDA0002555734730000159
J[1]：
Figure BDA00025557347300001510
对其它状态量求导为0，其中，Pbt w表示世界系坐标系下，载体在t时刻的位置。
其次，根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。根据建立的第二目标误差算法对状态量求导，设置初始值，利用高斯牛顿法迭代优化，当优化后误差小于预设阈值时结束优化，否则继续进行迭代。
本实施例提供的地图建立方法，通过对车辆位姿矩阵、图像数据中路标点特征信息、固定窗口定时去掉关键帧产生的误差进行优化，降低了地图建立的误差，提高了地图建立的准确性。
作为本申请一种可选的实施方式，上述步骤S104，包括：
当目标帧图像数据对应的后续关键帧图像数据的路标点信息中不存在路标点，则将路标点在地图中删除。
示例性地，由于在特征匹配时可能出现误匹配，导致一些地图点坐标出现错误，也有一些新增的路标点仅在几个关键帧被观测到，在后续的帧中没有被观测到，这些错误或者不可靠的路标点会增大估计的误差，因此需要对路标点进行严格的筛选，评价的标准是地图点是否在连续多个目标帧图像数据中被稳定地观测到，将不满足评价标准的路标点在地图中进行删除，从而提高地图建立的准确性。
作为本申请一种可选的实施方式，地图建立方法还包括：将地图中每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，以最小化重投影目标进行优化。
作为本申请一种可选的实施方式，地图建立方法还包括：对目标帧图像数据进行回环检测。
示例性地，回环检测具体过程为：计算目标帧图像数据的词汇表，将计算出的目标帧图像数据的单词表与词袋库进行匹配，当匹配相似度高于预设阈值时，表示已经发生回环，则将目标帧图像数据传递给后端再一次进行优化，当匹配相似度不高于预设阈值时，则处理下一帧目标帧图像数据。
本实施例提供的地图建立方法，对目标帧图像数据进行回环检测，能够克服随着定位时间的不断增长，利用优化的方法仅能减小定位过程中出现的累计误差，当误差结果积累到一定程度，定位的结果将不再可信的问题，根据回环检测结果对累计误差进行修正。回环把目标帧图像数据传递给后端再一次进行优化，能进一步减小累积误差。
可选地，地图建立方法还包括：将建立的地图，上传至云端。
示例性地，生成地图后，首先根据协议对本地生成的数据进行压缩打包，将压缩打包后的数据打上标签，数据传输过程中选用FTP协议，向云端发送数据上传请求，对于数据的上传设有专有用户名及密码，当用户名和密码校验通过后，将本地文件数据发送至云端指定目录，以备下次使用。在系统启动时检测本地是否有该地图数据，如果有加载已有地图，如果没有与云端建立通信，下载数据。
本实施例提供一种地图建立装置，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，如图2所示，包括：
数据获取模块201，用于获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；具体内容参见上述方法对应步骤S101，在此不再赘述。
位姿获取模块202，用于根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；具体内容参见上述方法对应步骤S102，在此不再赘述。
联合约束模块203，用于根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；具体内容参见上述方法对应步骤S103，在此不再赘述。
地图建立模块204，用于根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。具体内容参见上述方法对应步骤S104，在此不再赘述。
本实施例提供的地图建立装置，通过图像采集设备以及惯性传感器设备即可完成地图的建立，具有价格便宜，功耗低，并且图像采集设备数据以及惯性传感器数据可以相互补充。图像采集设备在大多数纹理丰富的场景中效果很好，但对于一些纹理特征不够丰富的场景，适用性并不高，并且图像采集设备可能由于车辆速度以及图像获取速度导致采集的信息不够清晰和完整，IMU数据可以对图像采集设备的缺陷进行补充；同时，惯性传感器长时间使用有很大的累计误差，但在短时间内，其相对位移数据又有很高的精度。所以图像采集设备失效时，融合imu数据，能够提高定位的精度。
作为本实施例一种可选的实施方式，数据获取模块201，包括：
数据对齐模块，用于将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到所述IMU数据对应的图像数据。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，图像采集设备为双目摄像头，地图建立模块还包括：
初始位姿矩阵确定模块，用于根据初始IMU数据得到初始位姿矩阵；具体内容参见上述方法对应步骤，在此不再赘述。
深度信息确定模块，用于根据IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；具体内容参见上述方法对应步骤，在此不再赘述。
初始变化矩阵确定模块，用于根据所述特征点的深度信息，得到特征点的初始坐标。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，位姿获取模块202，包括：
预积分模块，用于对所述IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，地图建立装置还包括：
优化参数确定模块，用于根据所述车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，所述状态优化参数包括路标点的逆深度；具体内容参见上述方法对应步骤，在此不再赘述。
第一优化模块，用于根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，地图建立模块204，包括：
目标帧图像数据获取模块，用于获取目标帧图像数据；具体内容参见上述方法对应步骤，在此不再赘述。
匹配特征点模块，用于将所述目标帧图像数据与相邻帧图像数据中的特征点进行匹配，得到匹配特征点；具体内容参见上述方法对应步骤，在此不再赘述。
路标点添加模块，用于确定所述匹配特征点对应的路标点在所述地图中的位置，将所述路标点添加至所述地图；具体内容参见上述方法对应步骤，在此不再赘述。
删除模块，用于当所述目标帧图像数据对应的后续关键帧图像数据的路标点信息中不存在所述路标点，则将所述路标点在所述地图中删除。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，所述目标帧图像数据获取模块，包括：
关键帧确定模块，用于从所有帧数据中筛选出符合目标约束条件的帧数据作为关键帧；具体内容参见上述方法对应步骤，在此不再赘述。
目标帧图像数据获取子模块，用于将与相邻关键帧的路标点重合的关键帧剔除，剩余关键帧作为目标帧图像数据。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，地图建立装置还包括：
第二优化模块，用于将所述地图中每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，以最小化重投影目标进行优化。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，地图建立装置还包括：回环检测模块，用于对所述目标帧图像数据进行回环检测。具体内容参见上述方法对应步骤，在此不再赘述。
作为本实施例一种可选的实施方式，地图建立装置还包括：
通信模块，用于将建立的所述地图，上传至云端。具体内容参见上述方法对应步骤，在此不再赘述。
本申请实施例还提供一种电子设备，如图3所示，处理器310和存储器320，其中处理器310和存储器320可以通过总线或者其他方式连接。
处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的地图建立方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。
存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器320中，当被所述处理器310执行时，执行如图1所示实施例中的地图建立方法。
上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1中地图建立方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (13)

1.一种地图建立方法，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，其特征在于，包括如下步骤：
获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；
根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；
根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；
根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据，包括：
将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到所述IMU数据对应的图像数据。
3.根据权利要求1所述的方法，其特征在于，所述图像采集设备为双目摄像头，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述车辆行驶过程中图像采集设备采集到的图像数据得到车辆行驶过程中的帧间变化矩阵之前，所述方法还包括：
根据初始IMU数据得到初始位姿矩阵；
根据所述IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；
根据所述特征点的深度信息，得到所述特征点的初始坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，包括：对所述IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。
5.根据权利要求1所述的方法，其特征在于，根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立之前，还包括：
根据所述车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，所述状态优化参数包括路标点的逆深度；
根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。
6.根据权利要求1所述的方法，其特征在于，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立，包括：
获取目标帧图像数据；
将所述目标帧图像数据与相邻帧图像数据中的特征点进行匹配，得到匹配特征点；
确定所述匹配特征点对应的路标点在所述地图中的位置，将所述路标点添加至所述地图；
当所述目标帧图像数据对应的后续关键帧图像数据的路标点信息中不存在所述路标点，则将所述路标点在所述地图中删除。
7.根据权利要求6所述的方法，其特征在于，所述获取目标帧图像数据，包括：
从所有帧数据中筛选出符合目标约束条件的帧数据作为关键帧；
将与相邻关键帧的路标点重合的关键帧剔除，剩余关键帧作为目标帧图像数据。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述地图中每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，以最小化重投影目标进行优化。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：对所述目标帧图像数据进行回环检测。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：将建立的所述地图，上传至云端。
11.一种地图建立装置，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，其特征在于，包括：
数据获取模块，用于获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；
位姿获取模块，用于根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；
联合约束模块，用于根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；
地图建立模块，用于根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1－9任一所述的地图建立方法的步骤。
13.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1－10任一所述的地图建立方法的步骤。
CN202010594549.3A 2020-06-24 2020-06-24 一种地图建立方法、装置及存储介质 Active CN111750853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010594549.3A CN111750853B (zh) 2020-06-24 2020-06-24 一种地图建立方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594549.3A CN111750853B (zh) 2020-06-24 2020-06-24 一种地图建立方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111750853A true CN111750853A (zh) 2020-10-09
CN111750853B CN111750853B (zh) 2022-06-07

Family

ID=72677410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594549.3A Active CN111750853B (zh) 2020-06-24 2020-06-24 一种地图建立方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111750853B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097767A (zh) * 2020-10-15 2020-12-18 杭州知路科技有限公司 一种惯性导航的预积分辅助组件及数据处理方法
CN112577499A (zh) * 2020-11-19 2021-03-30 上汽大众汽车有限公司 一种vslam特征地图尺度恢复方法及系统
CN112815939A (zh) * 2021-01-04 2021-05-18 清华大学深圳国际研究生院 移动机器人的位姿估计方法及计算机可读存储介质
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN113094462A (zh) * 2021-04-30 2021-07-09 腾讯科技（深圳）有限公司 数据处理方法和装置及存储介质
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113515536A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
CN113763560A (zh) * 2021-08-02 2021-12-07 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN114429515A (zh) * 2021-12-21 2022-05-03 北京地平线机器人技术研发有限公司 一种点云地图构建方法、装置和设备
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327395A1 (en) * 2014-07-11 2016-11-10 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
CN109714421A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于车路协同的智能网联汽车运行系统
JP2019074532A (ja) * 2017-10-17 2019-05-16 有限会社ネットライズ Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110033489A (zh) * 2018-01-12 2019-07-19 华为技术有限公司 一种车辆定位准确性的评估方法、装置及设备
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110617814A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉和惯性传感器融合的远距离测距系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327395A1 (en) * 2014-07-11 2016-11-10 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
CN107747941A (zh) * 2017-09-29 2018-03-02 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
JP2019074532A (ja) * 2017-10-17 2019-05-16 有限会社ネットライズ Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定
CN110033489A (zh) * 2018-01-12 2019-07-19 华为技术有限公司 一种车辆定位准确性的评估方法、装置及设备
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
CN109714421A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于车路协同的智能网联汽车运行系统
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110617814A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉和惯性传感器融合的远距离测距系统及方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097767B (zh) * 2020-10-15 2022-07-12 杭州知路科技有限公司 一种惯性导航的预积分辅助组件及数据处理方法
CN112097767A (zh) * 2020-10-15 2020-12-18 杭州知路科技有限公司 一种惯性导航的预积分辅助组件及数据处理方法
CN112577499A (zh) * 2020-11-19 2021-03-30 上汽大众汽车有限公司 一种vslam特征地图尺度恢复方法及系统
CN112577499B (zh) * 2020-11-19 2022-10-11 上汽大众汽车有限公司 一种vslam特征地图尺度恢复方法及系统
CN112815939A (zh) * 2021-01-04 2021-05-18 清华大学深圳国际研究生院 移动机器人的位姿估计方法及计算机可读存储介质
CN112815939B (zh) * 2021-01-04 2024-02-23 清华大学深圳国际研究生院 移动机器人的位姿估计方法及计算机可读存储介质
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN112880687B (zh) * 2021-01-21 2024-05-17 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113155121B (zh) * 2021-03-22 2024-04-02 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113094462B (zh) * 2021-04-30 2023-10-24 腾讯科技（深圳）有限公司 数据处理方法和装置及存储介质
CN113094462A (zh) * 2021-04-30 2021-07-09 腾讯科技（深圳）有限公司 数据处理方法和装置及存储介质
CN113515536A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
CN113763560B (zh) * 2021-08-02 2024-02-09 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN113763560A (zh) * 2021-08-02 2021-12-07 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN114429515A (zh) * 2021-12-21 2022-05-03 北京地平线机器人技术研发有限公司 一种点云地图构建方法、装置和设备
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置

Also Published As

Publication number Publication date
CN111750853B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111750853B (zh) 一种地图建立方法、装置及存储介质
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN109887057B (zh) 生成高精度地图的方法和装置
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
JP6821712B2 (ja) 自然光景中での統合センサの較正
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
US10970924B2 (en) Reconstruction of a scene from a moving camera
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
CN106814753B (zh) 一种目标位置矫正方法、装置及系统
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
KR20200064542A (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
CN113875222B (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN110031880B (zh) 基于地理位置定位的高精度增强现实方法及设备
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
EP4386676A1 (en) Method and apparatus for calibrating cameras and inertial measurement unit, and computer device
CN113551665A (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN111307146A (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN103411587A (zh) 定位定姿方法及系统
CN114638897B (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A map building method, device and storage medium

Effective date of registration: 20221223

Granted publication date: 20220607

Pledgee: China Construction Bank Corporation Beijing Economic and Technological Development Zone sub branch

Pledgor: GUOQI (BEIJING) INTELLIGENT NETWORK ASSOCIATION AUTOMOTIVE RESEARCH INSTITUTE Co.,Ltd.

Registration number: Y2022110000347

PE01 Entry into force of the registration of the contract for pledge of patent right