CN114088103B - 车辆定位信息的确定方法和装置 - Google Patents

车辆定位信息的确定方法和装置 Download PDF

Info

Publication number
CN114088103B
CN114088103B CN202210058513.2A CN202210058513A CN114088103B CN 114088103 B CN114088103 B CN 114088103B CN 202210058513 A CN202210058513 A CN 202210058513A CN 114088103 B CN114088103 B CN 114088103B
Authority
CN
China
Prior art keywords
current
time point
pose
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210058513.2A
Other languages
English (en)
Other versions
CN114088103A (zh
Inventor
余长松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210058513.2A priority Critical patent/CN114088103B/zh
Publication of CN114088103A publication Critical patent/CN114088103A/zh
Application granted granted Critical
Publication of CN114088103B publication Critical patent/CN114088103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种车辆定位信息的确定方法和装置。其中，该方法可应用于地图领域，包括：根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、当前车辆上的惯性传感器在当前时间点上获取的当前传感器信息，确定当前车辆在所述当前时间点上的初步位姿，并获取当前车辆上的摄像头在当前时间点上拍摄到的当前图像；根据初步位姿，在离线数据库中确定与当前图像匹配的目标历史图像，并根据目标历史图像，获取多个匹配对；根据所述多个匹配对，确定当前车辆在当前时间点上的车辆定位信息。本发明解决了车辆定位精准度较低的技术问题。

Description

车辆定位信息的确定方法和装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种车辆定位信息的确定方法和装置。
背景技术
相关技术中，通常采用全球定位系统（Global Position System，简称为GPS）对车辆进行定位。但是GPS定位误差较大。并且在如隧道、山区等GPS信号较弱的地区难以对车辆进行定位。通过结合惯性传感器（Inertial Measurement Unit，简称IMU），可以辅助在GPS信号较弱的地区对车辆进行定位，但是惯性传感器随着时间的增长，定位误差越大。
随着自动驾驶技术的发展，对车辆定位的精准度要求越来越高，目前的车辆定位技术难以满足自动驾驶的需求。激光雷达的定位精度可以满足需求，但是激光雷达成本太高。若在车辆上安装激光雷达，车辆的成本较高。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车辆定位信息的确定方法和装置，以至少解决车辆定位精准度较低的技术问题。
根据本发明实施例的一个方面，提供了一种车辆定位信息的确定方法，包括：根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，所述根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，包括：根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像；在所述历史图像集合中确定与所述当前图像匹配的所述目标历史图像。
可选地，所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合，包括：在所述离线数据库中查找与所述初步位姿匹配的位姿；在所述离线数据库中查找到与所述初步位姿匹配的位姿集合时，在所述离线数据库中获取与所述位姿集合中的位姿具有对应关系的图像，得到所述历史图像集合。
可选地，所述在所述历史图像集合中确定与所述当前图像匹配的目标历史图像，包括：在所述历史图像集合中将与所述当前图像相似度最高的图像确定为所述目标历史图像。
可选地，所述根据所述目标历史图像，获取多个匹配对，包括：在所述离线数据库中获取与所述目标历史图像具有对应关系的一组3D点；在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点；将所述一组3D点和所述一组2D点中对应的一个3D点和一个2D点确定为一个匹配对，共得到所述多个匹配对。
可选地，所述在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点，包括：在所述每组离线建图信息包括与每个2D特征点对应的描述子，且每个所述描述子用于描述对应的2D特征点的数据结构时，在所述离线数据库中获取与所述一组3D点对应的一组2D特征点，并在所述离线数据库中获取与所述一组2D特征点对应的一组描述子；在所述当前图像中获取2D特征点集合，以及与所述2D特征点集合对应的描述子集合，其中，所述描述子集合中的每个描述子用于描述所述2D特征点集合中对应的2D特征点的数据结构；根据所述一组描述子和所述描述子集合，在所述2D特征点集合中查找与所述一组3D点对应的所述一组2D点，其中，所述一组描述子中的描述子与所述描述子集合中与所述一组2D点对应的描述子匹配。
可选地，所述根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息，包括：根据所述当前传感器信息，确定所述惯性传感器对应的预积分信息，其中，所述预积分信息表示所述惯性传感器在上一个时间点到所述当前时间点获取到的传感器信息的变化量，所述上一个时间点与所述当前时间点是所述GPS器件采集GPS信息的相邻两个时间点，或者，是所述摄像头拍摄图像的相邻两个时间点，所述惯性传感器被设置为在所述上一个时间点与所述当前时间点之间多次获取传感器信息；根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息。
可选地，所述根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息，包括：将所述多个匹配对中的3D点投影到所述当前图像所在的相机坐标系，得到一组投影2D点；通过所述一组投影2D点和所述一组2D点，得到一组重投影误差；根据所述一组重投影误差确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，所述根据所述一组重投影误差确定所述当前车辆在所述当前时间点上的车辆定位信息，包括：将所述一组重投影误差的最小二乘函数取值最小时对应的位姿，确定为修正位姿；通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息，包括：将所述修正位姿和所述初步位姿的加权和得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息；或者，将所述修正位姿和所述初步位姿通过卡尔曼滤波得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，在所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合之前，所述方法还包括：根据所述目标车辆上的全球定位系统GPS器件在历史时间点上获取到的GPS信息、所述目标车辆上的惯性传感器在所述历史时间点上获取的传感信息，确定所述目标车辆在所述历史时间点上的位姿，并获取所述目标车辆上的摄像头在所述历史时间点上拍摄的图像，以及所述目标车辆上的激光雷达在所述历史时间点上采集的3D点；将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
可选地，所述将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库，包括：获取所述历史时间点上拍摄的图像上的2D点和对应的描述子；在所述历史时间点上采集的3D点中确定与所述历史时间点上拍摄的图像上的2D点对应的3D点；将所述历史时间点上获取到的姿势、图像、所述历史时间点上拍摄的图像上的2D点和对应的描述子，以及与所述历史时间点上拍摄的图像上的2D点对应的3D点确定为所述一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
根据本发明实施例的另一方面，还提供了一种车辆定位信息的确定装置，包括：获取模块，用于根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；第一确定模块，用于根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；第二确定模块，用于根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述车辆定位信息的确定方法。
根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上车辆定位信息的确定方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的车辆定位信息的确定方法。
在本发明实施例中，在离线建图阶段和在线定位阶段。在离线建图阶段，通过目标车辆上的GPS和IMU获取历史时间段上目标车辆的位姿，摄像头在该历史时间点上拍摄的历史图像，以及目标车辆上的激光雷达在该历史时间点上采集到的激光点云。将上述在历史时间点上采集到的目标车辆的位姿、图像中的2D特征点、以及激光点云中与2D特征点对应3D点云对应存储在离线数据库。
在线定位阶段，通过当前车辆上的GPS和IMU获取当前车辆在当前时间上的初步位姿，通过当前车辆上的摄像头获取在当前时间上采集的当前图像。在离线数据库中查找与当前车辆初步位姿相匹配的位姿，并在离线数据库中获取相匹配的位姿对应的历史图像，根据离线数据库中历史图像对应的3D点，以及当前图像中与该3D点对应的2D点，结合当前车辆的GPS信息对当前车辆进行定位。这样在当前车辆未安装激光雷达的情况下，结合离线数据库中的目标车辆的激光雷达采集到的3D点，对当前车辆进行定位。达到了在保证车辆成本低的同时，提高了车辆定位精准度的目的，进而解决了车辆定位精准度较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的车辆定位信息的确定方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的车辆定位信息的确定方法的流程图；
图3是根据本发明实施例的一种可选的离线数据库示意图；
图4是根据本发明实施例的一种可选的2D特征点示意图；
图5是根据本发明实施例的一种可选的位姿匹配示意图；
图6是根据本发明实施例的一种可选的图像匹配示意图；
图7是根据本发明实施例的一种可选的构建匹配对示意图；
图8是根据本发明实施例的另一种可选的构建匹配对示意图；
图9是根据本发明实施例的另一种可选的时序示意图；
图10是根据本发明实施例的一种可选的重投影误差示意图；
图11是根据本发明实施例的一种可选的因子图示意图；
图12是根据本发明实施例的一种可选的流程图；
图13是根据本发明实施例的一种可选的架构图；
图14是根据本发明实施例的另一种可选的流程图；
图15是根据本发明实施例的一种可选的车辆定位信息的确定装置的结构示意图；
图16是根据本发明实施例的一种可选的电子设备的结构示意图；
图17是根据本发明实施例的一种可选的电子设备的计算机系统结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明实施例可应用于智能交通系统(Intelligent Traffic System，ITS)又称智能运输系统(Intelligent Transportation System)，以及智能车路协同系统(Intelligent Vehicle Infrastructure Cooperative Systems，IVICS)，简称车路协同系统。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息（如车辆的定位信息）等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种车辆定位信息的确定方法，可选地，作为一种可选的实施方式，上述车辆定位信息的确定方法可以但不限于应用于如图1所示的环境中。上述环境中包括当前车辆上安装的移动终端100，上述移动终端包括但不限于当前车辆上安装的GPS、IMU，以及摄像头。上述移动终端100用于间当前车辆信息通过网络110上报至服务器112，其中，当前车辆信息包括但不限于上述：当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，当前车辆上的摄像头在当前时间点上拍摄到的当前图像。
上述网络110可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。
上述服务器112中包括数据库114和处理引擎116，其中，数据库114中存储了上述离线数据库中的数据，包括但不限于上述离线数据库中包括的多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像、在所述历史时间点上拍摄到的图像中的2D特征点、所述目标车辆上的激光雷达在所述历史时间点上采集到的点云中与所述2D特征点对应的3D点。上述处理引擎116用于对当前车辆进行定位，包括但不限于可以用于执行以下步骤：
步骤S102，根据初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对；
步骤S104，根据所述当前GPS信息和所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述车辆定位信息的确定方法包括：
步骤S202，根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；
其中，上述当前车辆是在线定位阶段的车辆，该车辆上安装了GPS、IMU和摄像头，通过当前车辆上的GPS获取当前车辆的当前GPS信息，当前GPS信息中包括但不限于当前车辆在世界坐标系的位置。通过IMU获取当前传感信息，当前传感信息包括但不限于当前车辆在世界坐标系的位置。上述在世界坐标系的位置包括但不限于经度、纬度、方向角等。
位姿是世界坐标系到相机坐标系的变换，包括旋转和平移。相机坐标系是指以相机的光心为原点所构成的坐标系。上述相机包括本发明实施例中的摄像头。本申请中涉及到的相机坐标系是指以车辆上的摄像头的光心为原点构成的坐标系。
位姿通常以三维空间中的欧式变换来表示，变换矩阵T最常用，也可以分别用旋转R和平移向量t来表示。因为车辆上摄像头随着车辆运动，因此，相机坐标系是发生变化的，位姿也是随着变换的。
设通过当前车辆上的GPS和IMU得到当前车辆在世界坐标系下的坐标为Pw，在当前车辆的摄像头的相机坐标系下的坐标为Pc，根据位姿的定义有：
Pw=Twc*Pc
Pc= Tcw*Pw
其中，上述Twc和Tcw互为逆矩阵，Twc和Tcw是位姿的两种表达方式，实际过程可以根据实际情况设置。
上述初步位姿是在当前时间点上当前车辆在世界坐标系上的坐标位置到当前车辆上的摄像头的相机坐标系的转换。
步骤S204，根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；
上述离线建图信息是在离线建图阶段，通过目标车辆上安装的GPS、IMU和摄像头，以及激光雷达在历史时间点上采集到的信息，上述离线建图信息记录在离线数据库。离线数据库中记录的离线建图信息包括但不限于可以是图3中所示的形式。
如上述图3所示的离线数据库中包括的三组离线建图信息，每组离线建图信息中记录了在历史时间点上采集到的目标车辆的位姿、图像、图像中的2D特征点，以及描述子和3D点之间的对应关系。
上述离线数据库中的位姿是在历史时间点上（例如i、t2和t3）目标车辆在世界坐标系上的坐标位置到目标车辆上摄像头的相机坐标系的转换，其中，目标车辆在世界坐标系上的坐标位置是通过目标车辆上的GPS和IMU采集到的位置，包括但不限于经度、维度和偏移角度。
上述离线数据库中的图像P1、P2 、P3是目标车辆上的摄像头在历史时间点上拍摄的图像，例如图中所示的在i时间点拍摄的图像P1。
上述离线数据库中2D特征点是对图像中的关键像素点进行提取得到的特征点。例如，图中的A1…N1是在图像P1提取出的特征点，图像特征点的提取可以采用现有技术中的图像特征提取算法，例如：方向梯度直方图HOG特征、局部二值模式LBP、Haar特征等。以对图4中所示的图像400进行特征点提取为例，如对图像400中的三角形对象的特征点进行提取，通过图像特征提取算法可以提取出如图4中所示的2D特征点。
上述离线数据库中的3D点是通过目标车辆上的激光雷达采集到的激光点，激光雷达采集到的通常是激光点云。上述离线数据库中的3D点是在激光雷达采集到的激光点云中提取出的与图像中2D特征点对应的激光点。例如，离线数据库中的3D点A1’’与2D特征点A1相对应。
上述离线数据库中的描述子与2D特征点是一一对应的，描述子是对特征点附近邻域内高斯图像梯度统计结果的一种表示。
假设上述当前车辆在所述当前时间点上的初步位姿为Twc0，在上述图3中记载的多组离线建图信息中查找与Twc0相匹配的位姿，具体地，可以是与Twc0的差值小于或等于预设值的位姿，预设值可以根据实际情况而定，例如，可以是1、2、3等。如图5中所示，将当前车辆的初始位姿Twc0与离线数据库中的位姿进行比对，假设离线数据库中与Twc0相匹配的位姿是Twc1和Twc2。由于离线数据库中记录的每组离线建图信息中包括位姿势、图像、2D特征点、描述子以及3D点之间的对应关系，通过离线数据库中每组离线建图信息可以确定与Twc1对应的图像是P1，与Twc2对应的图像是P2，则上述历史图像集合中图像P1和P2。
步骤S206，根据所述当前GPS信息和所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
其中，上述当前GPS信息是当前车辆上的GPS系统得到的定位信息，包括但不限于当前车辆所在位置的经度、纬度和偏移角度。通过上述3D点和2D点的匹配对，对GPS系统得到的定位信息进行修正，得到当前车辆的定位信息。
可选地，所述根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，包括：根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像；在所述历史图像集合中确定与所述当前图像匹配的所述目标历史图像。
其中，以上述历史图像集合中包括的图像P1和P2为例。如图5所示假设当前车辆上的摄像头在当前时间点上获取到的图像是P0，通过图像匹配算法可以确定P1和P2中与P0最相似的图像，作为上述目标历史图像。上述图像匹配算法可以采用现有技术中的图像匹配算法，例如，灰度匹配、特征匹配等。假设上述P1和P2中与P0最匹配的是图像P1，如图6所示确定P1为上述目标历史图像。由于离线数据库中的每组离线建图信息中记录了位姿、图像、2D特征点和3D点的对应关系，在P1所在的离线建图信息中可以确定与P1对应的3D点是A1’’…N1’’。
对当前车辆的摄像头在当前时间点采集的图像P0进行特征点提取图像特征点的提取可以采用现有技术中的图像特征提取算法，例如：方向梯度直方图HOG特征、局部二值模式LBP、Haar特征等。如图7所示，其中700是当前车辆上的摄像头在当前时间拍摄得到的图像P0，对该图像进行特征点提取得到如图中所示的2D点A1’’’、B1’’’和C1’’’，将A1’’’、B1’’’和C1’’’与离线数据库中图像P1对应的3D点组成匹配对。假设在P1对应的3D点中与2D点A1’’’、B1’’’和C1’’’匹配的3D点是A1’’、B1’’和C1’’，则离线数据库中一个3D点与当前图像中对应的2D点构成匹配对，例如上述离线数据库中的3D点A1’’与当前图像的2D点A1’’’构成匹配对A1’’- A1’’’，离线数据库中的3D点B1’’与当前图像的2D点B1’’’构成匹配对B1’’- B1’’’，离线数据库中的3D点C1’’与当前图像的2D点C1’’’构成匹配对C1’’-C1’’’。
可选地，所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合，包括：在所述离线数据库中查找与所述初步位姿匹配的位姿；在所述离线数据库中查找到与所述初步位姿匹配的位姿集合时，在所述离线数据库中获取与所述位姿集合中的位姿具有对应关系的图像，得到所述历史图像集合。
作为一个可选的实施方式，如图5所示的当前车辆的初始位姿是Twc0，在离线数据库的多组离线建图信息中查找与Twc0相匹配的位姿，具体地，可以是与Twc0的差值小于或等于预设值的位姿，预设值可以根据实际情况而定，例如，可以是1、2、3等。如图5中所示，将当前车辆的初始位姿Twc0与离线数据库中的位姿进行比对，假设离线数据库中与Twc0相匹配的位姿是Twc1和Twc2。由于离线数据库中记录的每组离线建图信息中包括位姿势、图像、2D特征点、描述子以及3D点之间的对应关系，通过离线数据库中每组离线建图信息可以确定与Twc1对应的图像是P1，与Twc2对应的图像是P2，则上述历史图像集合中图像P1和P2。
可选地，所述在所述历史图像集合中确定与所述当前图像匹配的目标历史图像，包括：在所述历史图像集合中将与所述当前图像相似度最高的图像确定为所述目标历史图像。
作为一个可选的实施方式，假设上述当前车辆的摄像头拍摄的图像是P0，通过图像匹配算法可以在上述历史图像集合中的图像P1和P2中，选取与图像P0最相似的图像作为上述目标历史图像，图像匹配算法可以使用现有技术中的灰度匹配、特征匹配等。假设上述历史图像集合中的P1与当前图像P0的相似度最高，则确定历史图像集合中的P1为上述目标历史图像。
可选地，所述根据所述目标历史图像，获取多个匹配对，包括：在所述离线数据库中获取与所述目标历史图像具有对应关系的一组3D点；在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点；将所述一组3D点和所述一组2D点中对应的一个3D点和一个2D点确定为一个匹配对，共得到所述多个匹配对。
作为一个可选的实施方式，对当前图像进行特征提取，得到当前图像的2D特征点。在离线数据库中确定与目标历史图像对应的一组3D点中与当前图像中提取出的2D点匹配的3D点构成匹配对。以上述实施例中的在当前图像中提取出的2D点为A1’’’、B1’’’和C1’’’，在A1’’’、B1’’’和C1’’’中查找与目标历史图像P1对应的一组3D点A1’’…N1’’向匹配的2D点，假设A1’’’与A1’’匹配，则确定A1’’’与A1’’为匹配对，B1’’’与B1’’匹配，则确定B1’’’与B1’’为匹配对。若C1’’’与C1’’，则确定C1’’’与C1’’为匹配对。
可选地，所述在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点，包括：在所述每组离线建图信息包括与每个2D特征点对应的描述子，且每个所述描述子用于描述对应的2D特征点的数据结构时，在所述离线数据库中获取与所述一组3D点对应的一组2D特征点，并在所述离线数据库中获取与所述一组2D特征点对应的一组描述子；在所述当前图像中获取2D特征点集合，以及与所述2D特征点集合对应的描述子集合，其中，所述描述子集合中的每个描述子用于描述所述2D特征点集合中对应的2D特征点的数据结构；根据所述一组描述子和所述描述子集合，在所述2D特征点集合中查找与所述一组3D点对应的所述一组2D点，其中，所述一组描述子中的描述子与所述描述子集合中与所述一组2D点对应的描述子匹配。
作为一个可选的实施方式，如图3所示的离线数据库中包括的多组离线建图信息中，每组离线建图信息中包括2D特征点、描述子和3D点之间的对应关系。以图6所示为例，一组3D点为图中所示的A1’’…N1’’， 一组3D点A1’’…N1’’对应的一组2D特征点为A1…N1。一组2D特征点A1…N1对应的一组描述子为A1’…N1’。以2D特征点A1为例，2D特征点A1、描述子A1’和3D点A1”相对应，描述子A1’是用于描述2D特征点A1的数据结构。
假设上述当前图像中提取出的2D特征点集合为A1’’’、B1’’’和C1’’’，与当前图像中提取出的每个2D特征点存在对应的描述子，描述子是用于描述对应2D特征点的数据结构。假设A1’’’、B1’’’和C1’’’对应的描述子集合为A1’、B1’和C1’。如图8所示，通过离线数据库中3D点与描述子之间的对应关系，在离线数据库中3D点A”对应描述子A1’，3D点B”对应描述子B1’，3D点C”对应描述子C1’。则可以确定一组3D点中的A”与一组2D点中的A1’’’对应，一组3D点中的B”与一组2D点中的B1’’’对应，一组3D点中的C”与一组2D点中的C1’’’对应，其中，A”和A1’’’构成匹配对，B”和B1’’’构成匹配对，C1’’和C1’’’构成匹配对。
可选地，所述根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息，包括：根据所述当前传感器信息，确定所述惯性传感器对应的预积分信息，其中，所述预积分信息表示所述惯性传感器在上一个时间点到所述当前时间点获取到的传感器信息的变化量，所述上一个时间点与所述当前时间点是所述GPS器件采集GPS信息的相邻两个时间点，或者，是所述摄像头拍摄图像的相邻两个时间点，所述惯性传感器被设置为在所述上一个时间点与所述当前时间点之间多次获取传感器信息；根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息。
作为一个可选的实施方式，如图9所示的时序图中，假设当前时间点是第j个时间点，当前时间点的上一时间点是第i个时间点，第i个时间点和第j个时间点是摄像头拍摄图像的相邻两个时间点，或者是GPS器件采集GPS信息的相邻两个时间点。由于IMU采集传感信息的频率比GPS器件采集GPS信息（假设IMU和相机或者GPS的时间已经同步完成），以及摄像头拍摄图像的频率高，对第i个时间点和第j个时间点之间IMU采集到的传感器信息进行积分，得到上述预积分信息。
对IMU加速度和角速度在流形上进行预积分计算得到车辆位姿相对运动增量，如下式：
Figure 607689DEST_PATH_IMAGE001
其中，Δt表示预设IMU采样时间周期。上述目标时间段中的第i个目标时间点与第j个目标时间点之间的时间段对应的车辆姿态变化量、上述目标时间段中的第i个目标时间点与第j个目标时间点之间的时间段对应的速度值变化量、上述目标时间段中的第i个目标时间点与第j个目标时间点之间的时间段对应的位置矢量值变化量。i、j和k表示序号。ω表示上述目标时间段中的目标时间点对应的第一角速度值。
Figure 653005DEST_PATH_IMAGE002
表示上述目标时间段中的第k个目标时间点对应的第一角速度值。a表示上述目标时间段中的目标时间点对应的第一加速度值。
Figure 579373DEST_PATH_IMAGE003
表示上述目标时间段中的第k个目标时间点对应第一加速度值。
Figure 721641DEST_PATH_IMAGE004
表示预设加速度计的噪声值。
Figure 75262DEST_PATH_IMAGE005
表示预设陀螺仪的噪声值。
Figure 607874DEST_PATH_IMAGE006
表示预设加速度计的零偏值。
Figure 134671DEST_PATH_IMAGE007
表示预设陀螺仪的零偏值。R表示上述目标时间段中的目标时间点对应的车辆姿态。
Figure 334708DEST_PATH_IMAGE008
表示上述目标时间段中的第i个目标时间点对应的车辆姿态。
Figure 859230DEST_PATH_IMAGE009
表示上述目标时间段中的第j个目标时间点对应的车辆姿态。
Figure 144718DEST_PATH_IMAGE010
表示上述目标时间段中的第i个目标时间点与第j个目标时间点之间的时间段对应的车辆姿态变化量。
Figure 147309DEST_PATH_IMAGE011
表示上述目标时间段中的第k个目标时间点对应的车辆姿态。Δ
Figure 998590DEST_PATH_IMAGE012
表示上述目标时间段中的第i个目标时间点与第k个目标时间点之间的时间段对应的车辆姿态变化量。v表示上述目标时间段中的目标时间点对应的速度值。
Figure 959593DEST_PATH_IMAGE013
表示上述目标时间段中的第i个目标时间点对应的速度值。
Figure 732377DEST_PATH_IMAGE014
表示上述目标时间段中的第j个目标时间点对应的速度值。
Figure 273080DEST_PATH_IMAGE015
表示上述目标时间段中的第i个目标时间点和第j个目标时间点之间的时间段对应的速度值变化量。
Figure 262025DEST_PATH_IMAGE016
表示上述目标时间段中的第k个目标时间点对应的速度值。
Figure 862771DEST_PATH_IMAGE017
表示上述目标时间段中的第i个目标时间点和第k个目标时间点之间的时间段对应的速度值变化量。ρ表示上述目标时间段中的目标时间点的位置矢量值。
Figure 122851DEST_PATH_IMAGE018
表示上述目标时间段中的第i个目标时间点的位置矢量值。
Figure 732824DEST_PATH_IMAGE019
表示上述目标时间段中的第j个目标时间点的位置矢量值。
Figure 558697DEST_PATH_IMAGE020
表示上述目标时间段中的第i个目标时间点和第j个目标时间点的之间的时间段对应的位置矢量值变化量。
可选地所述根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息，包括：将所述多个匹配对中的3D点投影到所述当前图像所在的相机坐标系，得到一组投影2D点；通过所述一组投影2D点和所述一组2D点，得到一组重投影误差；根据所述一组重投影误差确定所述当前车辆在所述当前时间点上的车辆定位信息。
作为一个可选的实施方式，将世界坐标系上的D点投影到所述当前图像所在的相机坐标系，如图10所示的3D点P与当前图像上的2D点P2是一对匹配对，将3D点P投影到当前图像所在的相机坐标系得到投影2D点P1，P1与P2之间的距离为重投影误差。
可选地，所述根据所述一组重投影误差确定所述当前车辆在所述当前时间点上的车辆定位信息，包括：将所述一组重投影误差的最小二乘函数取值最小时对应的位姿，确定为修正位姿；通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
作为一个可选的实施方式，通过以下最小二乘函数确定所述修正位姿
Figure 595923DEST_PATH_IMAGE021
其中，
Figure 77720DEST_PATH_IMAGE022
为所述一组重投影误差中的第i个重投影误差，n是匹配对的数量，
Figure 491384DEST_PATH_IMAGE023
是最小二乘函数的最小值，
Figure 375026DEST_PATH_IMAGE024
为所述修正位姿，K为预设参数，
Figure 848733DEST_PATH_IMAGE025
是第i个匹配对中的3D点投影到所述当前图像所在的相机坐标系得到的投影2D点，
Figure 817826DEST_PATH_IMAGE026
是第i个第i个匹配对中的3D点到当前图像所在的相机坐标系的深度（例如图10中的d），
Figure 300760DEST_PATH_IMAGE027
是第i个匹配对中的3D点。
可选地，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息，包括：将所述修正位姿和所述初步位姿的加权和得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息；或者，将所述修正位姿和所述初步位姿通过卡尔曼滤波得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息。
作为一个可选的实施方式，本申请中涉及的位姿中包括经度、维度和偏移方向，其中，经度和维度可以通过GPS信息确定，偏移角度可以通过IMU得到。
作为一个可选的实施方式，将修正位姿势和初步位姿的加权和得到的目标位姿作为当前车辆的车辆定位信息，上述权重可以根据实际奇迹情况而定，可以将修正位姿势的权重设置为a，将初步位姿的权重设置为b，a和b可以根据实际情况设置，例如a为0.4，b为0.6，或者a为0.5，b为0.5等。上述目标位姿中包括当前车辆的所在的经度、纬度和偏移方向。
作为一个可选的实施方式，卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。在本实施例中，将修正位姿和初步位姿作为卡尔曼滤波的输入，得到当前车辆的位姿的最优估计，得到当前车辆的目标位姿。
可选地，所述根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息，包括：对所述当前GPS信息、所述预积分信息以及所述多个匹配对构建目标因子图；对所述目标因子图进行平滑处理，得到所述当前车辆在所述当前时间点上的所述车辆定位信息。
作为一个可选的实施方式，预计分IMU因子为：
Figure 304488DEST_PATH_IMAGE028
视觉2D-3D点匹配对因子为
Figure 949096DEST_PATH_IMAGE029
可选地，所述根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息，包括：对所述当前GPS信息、所述预积分信息以及所述多个匹配对构建目标因子图；对所述目标因子图进行平滑处理，得到所述当前车辆在所述当前时间点上的所述车辆定位信息。
作为一个可选的实施方式，系统启动阶段利用GPS和IMU的观测进行静态初始化，同时构建先验因子，加入到如图11所示的因子图中，即初始因子图。如图12所示的流程图中，因子图构建模块构建先验因子，初始值确定模块，确定初始值。因子图模块对因子图进行求解，定位信息模块得到车辆定位信息。当新的GPS或者图像数据到来时，先对上一时刻与当前时刻之间的IMU数据进行积分计算得到上述预积分信息。然后构建IMU帧与帧之间因子，再对利用GPS观测构建GPS因子或者利用图像观测构建视觉因子（重投影误差）。本系统采用GTSAM作为后端优化求解器，因为SLAM在每次新的状态量加入都要对所有状态重新计算，耗时较大，而GTSAM作用就是在一定程度上解决这一问题，在每次有新的变量和因子加入时，首先分析它们和因子图之间的链接和影响关系，考虑之前存储的信息有哪些可以继续利用，哪些必须重新计算，从而实现增量特征。
作为一个可选的实施方式，与平滑处理相对应的是滤波处理，传统定位算法用的后端是滤波处理、使用平滑处理，是因为精度优于滤波，所谓的平滑，意思是利用信息矩阵稀疏性的特点，做一次前向递推和一次后向递推，这样可以加速信息矩阵方程的求解。本申请可应用到图13所示的架构图中，该架构包括：存储器、存储控制器、处理器、外接接口、输出设备，其中，存储器用于对数据进行处理，包括但不限于上述GPS信息、IMU信息等，存储控制器用于对存储器进行控制，处理器用于对数据进行处理，包括但不限于确定当前车辆在所述当前时间点上的初步位姿；在离线数据库中确定与当前图像匹配的目标历史图像，并根据目标历史图像，获取多个匹配对；根据所述多个匹配对，确定当前车辆在当前时间点上的车辆定位信息等。外接接口用于连接外接设备，包括但不限于外接输出设备，外接存储控制器等。
作为一个可选的实施方式，如图14所示的流程图包括以下步骤：
步骤S1401，电子设备的处理器构建用于表示车辆在多个时刻的导航状态以及多个时刻的导航状态之间的约束；
步骤S1402，电子设备的处理器确定因子图中多个时刻的导航状态的初始值；
步骤S1403，电子设备的处理器基于多个时刻的导航状态的初始值，以及多个时刻的导航状态之间对因子图进行优化求解；
步骤S1404，电子设备的处理器将目标时刻的导航状态的优化值确定为车辆在目标时刻的定位信息。
可选地，在所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合之前，所述方法还包括：根据所述目标车辆上的全球定位系统GPS器件在历史时间点上获取到的GPS信息、所述目标车辆上的惯性传感器在所述历史时间点上获取的传感信息，确定所述目标车辆在所述历史时间点上的位姿，并获取所述目标车辆上的摄像头在所述历史时间点上拍摄的图像，以及所述目标车辆上的激光雷达在所述历史时间点上采集的3D点；将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
可选地，所述将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库，包括：获取所述历史时间点上拍摄的图像上的2D点和对应的描述子；在所述历史时间点上采集的3D点中确定与所述历史时间点上拍摄的图像上的2D点对应的3D点；将所述历史时间点上获取到的姿势、图像、所述历史时间点上拍摄的图像上的2D点和对应的描述子，以及与所述历史时间点上拍摄的图像上的2D点对应的3D点确定为所述一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
作为一个可选的实施方式，在离线建图阶段获取目标车辆上激光雷达采集的点云和相机采集的图像，利用安装车辆上的高精度组合导航设备（GPS和IMU）采集的位姿信息确定目标车辆的姿态。从每帧图像上提取多个2D特征点和描述子。将激光点云转到图像坐标系下，根据2D特征点的位置可获取对应的3D点。建立绝对位姿、图像、2D特征点、3D点和描述子的数据库。
作为一个可选的实施方式，在线定位阶段获取当前车辆上传感器数据，利用安装车辆上的低成本低精度组合导航设备采集的位姿确定当前相机预测的位姿，根据该姿态在数据库中找到近邻图像集。将当前图像与该图像集合通过某种算法作比较，可找到最类似的离线图像。将离线图像对应的3D点投到当前图像上去，在局部暴力匹配算法找到最最匹配的2D点，形成2D-3D匹配对。对GPS位置、Imu预积分信息、轮速信息和2D-3D匹配对构建因子图，对因子图进行平滑处理生成车辆定位信息。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述车辆定位信息的确定方法的车辆定位信息的确定装置。如图15所示，该装置包括：获取模块1502，用于根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；第一确定模块1504，用于根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；第二确定模块1506，用于根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，上述装置还用于根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像；在所述历史图像集合中确定与所述当前图像匹配的所述目标历史图像。
可选地，上述装置还用于在所述离线数据库中查找与所述初步位姿匹配的位姿；在所述离线数据库中查找到与所述初步位姿匹配的位姿集合时，在所述离线数据库中获取与所述位姿集合中的位姿具有对应关系的图像，得到所述历史图像集合。
可选地，上述装置还用于在所述历史图像集合中将与所述当前图像相似度最高的图像确定为所述目标历史图像。
可选地，上述装置还用于在所述离线数据库中获取与所述目标历史图像具有对应关系的一组3D点；在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点；将所述一组3D点和所述一组2D点中对应的一个3D点和一个2D点确定为一个匹配对，共得到所述多个匹配对。
可选地，上述装置还用于在所述每组离线建图信息包括与每个2D特征点对应的描述子，且每个所述描述子用于描述对应的2D特征点的数据结构时，在所述离线数据库中获取与所述一组3D点对应的一组2D特征点，并在所述离线数据库中获取与所述一组2D特征点对应的一组描述子；在所述当前图像中获取2D特征点集合，以及与所述2D特征点集合对应的描述子集合，其中，所述描述子集合中的每个描述子用于描述所述2D特征点集合中对应的2D特征点的数据结构；根据所述一组描述子和所述描述子集合，在所述2D特征点集合中查找与所述一组3D点对应的所述一组2D点，其中，所述一组描述子中的描述子与所述描述子集合中与所述一组2D点对应的描述子匹配。
可选地，上述装置还用于根据所述当前传感器信息，确定所述惯性传感器对应的预积分信息，其中，所述预积分信息表示所述惯性传感器在上一个时间点到所述当前时间点获取到的传感器信息的变化量，所述上一个时间点与所述当前时间点是所述GPS器件采集GPS信息的相邻两个时间点，或者，是所述摄像头拍摄图像的相邻两个时间点，所述惯性传感器被设置为在所述上一个时间点与所述当前时间点之间多次获取传感器信息；根据所述当前GPS信息、所述预积分信息以及所述多个匹配对，确定所述当前车辆在所述当前时间点上的所述车辆定位信息。
可选地，上述装置还用于将所述多个匹配对中的3D点投影到所述当前图像所在的相机坐标系，得到一组投影2D点；通过所述一组投影2D点和所述一组2D点，得到一组重投影误差；根据所述一组重投影误差确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，上述装置还用于将所述一组重投影误差的最小二乘函数取值最小时对应的位姿，确定为修正位姿；通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，上述装置还用于将所述修正位姿和所述初步位姿的加权和得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息；将所述修正位姿和所述初步位姿通过卡尔曼滤波得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，上述装置还用于在所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合之前，根据所述目标车辆上的全球定位系统GPS器件在历史时间点上获取到的GPS信息、所述目标车辆上的惯性传感器在所述历史时间点上获取的传感信息，确定所述目标车辆在所述历史时间点上的位姿，并获取所述目标车辆上的摄像头在所述历史时间点上拍摄的图像，以及所述目标车辆上的激光雷达在所述历史时间点上采集的3D点；将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
可选地，上述装置还用于获取所述历史时间点上拍摄的图像上的2D点和对应的描述子；在所述历史时间点上采集的3D点中确定与所述历史时间点上拍摄的图像上的2D点对应的3D点；将所述历史时间点上获取到的姿势、图像、所述历史时间点上拍摄的图像上的2D点和对应的描述子，以及与所述历史时间点上拍摄的图像上的2D点对应的3D点确定为所述一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
根据本发明实施例的又一个方面，还提供了一种用于实施上述车辆定位信息的确定方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图16所示，该电子设备包括存储器1602和处理器1604，该存储器1602中存储有计算机程序，该处理器1604被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；
S2，根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像、在所述历史时间点上拍摄到的图像中的2D特征点、所述目标车辆上的激光雷达在所述历史时间点上采集到的点云中与所述2D特征点对应的3D点；
S3，在所述历史图像集合中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；
S4，根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，本领域普通技术人员可以理解，图16所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图16其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图16中所示更多或者更少的组件（如网络接口等），或者具有与图16所示不同的配置。
其中，存储器1602可用于存储软件程序以及模块，如本发明实施例中的车辆定位信息的确定方法和装置对应的程序指令/模块，处理器1604通过运行存储在存储器1602内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的车辆定位信息的确定方法。存储器1602可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1602可进一步包括相对于处理器1604远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1602具体可以但不限于用于存储物品的样本特征与目标虚拟资源账号等信息。作为一种示例，如图16所示，上述存储器1602中可以但不限于包括上述车辆定位信息的确定装置中的获取模块1502、第一确定模块1504及第二确定模块1506。此外，还可以包括但不限于上述车辆定位信息的确定装置其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1606包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1606为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1608，用于显示上述当前车辆的车辆定位信息；和连接总线1610，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理器1701执行时，执行本申请实施例提供的各种功能。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
图17示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图17示出的电子设备的计算机系统1700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图17所示，计算机系统1700包括中央处理器1701（Central Processing Unit，CPU），其可以根据存储在只读存储器1702（Read-Only Memory，ROM）中的程序或者从存储部分1708加载到随机访问存储器1703（Random Access Memory，RAM）中的程序而执行各种适当的动作和处理。在随机访问存储器1703中，还存储有系统操作所需的各种程序和数据。中央处理器1701、在只读存储器1702以及随机访问存储器1703通过总线1704彼此相连。输入/输出接口1705（Input /Output接口，即I/O接口）也连接至总线1704。
以下部件连接至输入/输出接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1707；包括硬盘等的存储部分1708；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至输入/输出接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入存储部分1708。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理器1701执行时，执行本申请的系统中限定的各种功能。
根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；
S2，根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像、在所述历史时间点上拍摄到的图像中的2D特征点、所述目标车辆上的激光雷达在所述历史时间点上采集到的点云中与所述2D特征点对应的3D点；
S3，在所述历史图像集合中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；
S4，根据所述多个匹配对，确定所述当前车辆在所述当前时间点上的车辆定位信息。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种车辆定位信息的确定方法，其特征在于，包括：
建立离线数据库，其中，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像，以及所述目标车辆上的激光雷达在所述历史时间点上采集的3D点；
根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在世界坐标系上的坐标位置；
将所述当前车辆在世界坐标系上的坐标位置转换到所述当前车辆上的摄像头的相机坐标系，得到所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；
根据所述初步位姿，在所述离线数据库中确定与所述当前图像匹配的目标历史图像，其中，所述目标历史图像是所述离线数据库中与所述初步位姿匹配的位姿所对应的图像；
在所述离线数据库中获取与所述目标历史图像具有对应关系的一组3D点，并在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点；
将所述一组3D点和所述一组2D点中对应的一个3D点和一个2D点确定为一个匹配对，共得到多个匹配对；
根据所述多个匹配对确定所述当前车辆在所述当前时间点上的修正位姿，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，包括：
根据所述初步位姿，在离线数据库中查找对应的历史图像集合，其中，所述历史图像集合中的图像对应的位姿与所述初步位姿匹配，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像；
在所述历史图像集合中确定与所述当前图像匹配的所述目标历史图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初步位姿，在离线数据库中查找对应的历史图像集合，包括：
在所述离线数据库中查找与所述初步位姿匹配的位姿；
在所述离线数据库中查找到与所述初步位姿匹配的位姿集合时，在所述离线数据库中获取与所述位姿集合中的位姿具有对应关系的图像，得到所述历史图像集合。
4.根据权利要求2所述的方法，其特征在于，所述在所述历史图像集合中确定与所述当前图像匹配的目标历史图像，包括：
在所述历史图像集合中将与所述当前图像相似度最高的图像确定为所述目标历史图像。
5.根据权利要求1所述的方法，其特征在于，所述在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点，包括：
在所述每组离线建图信息包括与每个2D特征点对应的描述子，且每个所述描述子用于描述对应的2D特征点的数据结构时，在所述离线数据库中获取与所述一组3D点对应的一组2D特征点，并在所述离线数据库中获取与所述一组2D特征点对应的一组描述子；
在所述当前图像中获取2D特征点集合，以及与所述2D特征点集合对应的描述子集合，其中，所述描述子集合中的每个描述子用于描述所述2D特征点集合中对应的2D特征点的数据结构；
根据所述一组描述子和所述描述子集合，在所述2D特征点集合中查找与所述一组3D点对应的所述一组2D点，其中，所述一组描述子中的描述子与所述描述子集合中与所述一组2D点对应的描述子匹配。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述当前传感器信息，确定所述惯性传感器对应的预积分信息，其中，所述预积分信息表示所述惯性传感器在上一个时间点到所述当前时间点获取到的传感器信息的变化量，所述上一个时间点与所述当前时间点是所述GPS器件采集GPS信息的相邻两个时间点，或者，是所述摄像头拍摄图像的相邻两个时间点，所述惯性传感器被设置为在所述上一个时间点与所述当前时间点之间多次获取传感器信息；
根据所述多个匹配对确定所述当前车辆在所述当前时间点上的修正位姿；
根据所述当前GPS信息、所述预积分信息，确定所述当前车辆在所述当前时间点上的所述初步位姿；
通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
7.根据权利要求6所述的方法，其特征在于，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息，包括：
将所述多个匹配对中的3D点投影到所述当前图像所在的相机坐标系，得到一组投影2D点；
通过所述一组投影2D点和所述一组2D点，得到一组重投影误差；
根据所述一组重投影误差确定所述当前时间点上的修正位姿；
通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述一组重投影误差确定所述当前时间点上的修正位姿，包括：
将所述一组重投影误差的最小二乘函数取值最小时对应的位姿，确定为修正位姿。
9.根据权利要求7或8所述的方法，其特征在于，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息，包括：
将所述修正位姿和所述初步位姿的加权和得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息；或者，
将所述修正位姿和所述初步位姿通过卡尔曼滤波得到的目标位姿，确定为所述当前车辆在所述当前时间点上的车辆定位信息。
10.根据权利要求1所述的方法，其特征在于，所述建立离线数据库，包括：
根据所述目标车辆上的全球定位系统GPS器件在历史时间点上获取到的GPS信息、所述目标车辆上的惯性传感器在所述历史时间点上获取的传感信息，确定所述目标车辆在所述历史时间点上的位姿；
将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
11.根据权利要求10所述的方法，其特征在于，所述将所述历史时间点上获取到的姿势、图像、以及所述历史时间点上采集的3D点确定一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库，包括：
获取所述历史时间点上拍摄的图像上的2D点和对应的描述子；
在所述历史时间点上采集的3D点中确定与所述历史时间点上拍摄的图像上的2D点对应的3D点；
将所述历史时间点上获取到的姿势、图像、所述历史时间点上拍摄的图像上的2D点和对应的描述子，以及与所述历史时间点上拍摄的图像上的2D点对应的3D点确定为所述一组离线建图信息，并将所述一组离线建图信息记录在所述离线数据库。
12.一种车辆定位信息的确定装置，其特征在于，包括：
获取模块，用于根据当前车辆上的全球定位系统GPS器件在当前时间点上获取到的当前GPS信息、所述当前车辆上的惯性传感器在所述当前时间点上获取的当前传感器信息，确定所述当前车辆在世界坐标系上的坐标位置；将所述当前车辆在世界坐标系上的坐标位置转换到所述当前车辆上的摄像头的相机坐标系，得到所述当前车辆在所述当前时间点上的初步位姿，并获取所述当前车辆上的摄像头在所述当前时间点上拍摄到的当前图像；
第一确定模块，用于根据所述初步位姿，在离线数据库中确定与所述当前图像匹配的目标历史图像，并根据所述目标历史图像，获取多个匹配对，其中，所述目标历史图像是所述离线数据库中与所述初步位姿匹配的位姿所对应的图像，每个匹配对包括在所述离线数据库中与所述目标历史图像对应的一组3D点中的一个3D点、以及在所述当前图像中与所述一个3D点对应的2D点；
第二确定模块，用于根据所述多个匹配对确定所述当前车辆在所述当前时间点上的修正位姿，通过所述修正位姿对所述初步位姿进行修正，得到所述当前车辆在所述当前时间点上的车辆定位信息；
所述装置还用于建立离线数据库，其中，所述离线数据库中包括多组离线建图信息，每组离线建图信息包括具有对应关系的目标车辆在历史时间点上的位姿、所述目标车辆上的摄像头在所述历史时间点上拍摄到的图像，以及所述目标车辆上的激光雷达在所述历史时间点上采集的3D点；
所述装置还用于在所述离线数据库中获取与所述目标历史图像具有对应关系的一组3D点，并在所述当前图像中确定与所述一组3D点中的每个3D点对应的2D点，得到一组2D点；将所述一组3D点和所述一组2D点中对应的一个3D点和一个2D点确定为一个匹配对，共得到多个匹配对。
13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至11任一项中所述的方法。
14.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。
CN202210058513.2A 2022-01-19 2022-01-19 车辆定位信息的确定方法和装置 Active CN114088103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058513.2A CN114088103B (zh) 2022-01-19 2022-01-19 车辆定位信息的确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058513.2A CN114088103B (zh) 2022-01-19 2022-01-19 车辆定位信息的确定方法和装置

Publications (2)

Publication Number Publication Date
CN114088103A CN114088103A (zh) 2022-02-25
CN114088103B true CN114088103B (zh) 2022-05-20

Family

ID=80308536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058513.2A Active CN114088103B (zh) 2022-01-19 2022-01-19 车辆定位信息的确定方法和装置

Country Status (1)

Country Link
CN (1) CN114088103B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205828B (zh) * 2022-09-16 2022-12-06 毫末智行科技有限公司 一种车辆定位方法、装置、整车控制器及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802786A (zh) * 2018-07-20 2018-11-13 北斗星通（重庆）汽车电子有限公司 一种车载定位方法
CN110009739A (zh) * 2019-01-29 2019-07-12 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备
CN110533694A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN111829532A (zh) * 2019-04-18 2020-10-27 顺丰科技有限公司 一种飞行器重定位系统和重定位方法
CN111882612A (zh) * 2020-07-21 2020-11-03 武汉理工大学 一种基于三维激光检测车道线的车辆多尺度定位方法
CN113256719A (zh) * 2021-06-03 2021-08-13 舵敏智能科技(苏州)有限公司 停车导航定位方法、装置、电子设备及存储介质
CN113793297A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿确定方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950710A (zh) * 2021-02-24 2021-06-11 广州极飞科技股份有限公司 位姿确定方法、装置、电子设备和计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802786A (zh) * 2018-07-20 2018-11-13 北斗星通（重庆）汽车电子有限公司 一种车载定位方法
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备
CN110009739A (zh) * 2019-01-29 2019-07-12 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN111829532A (zh) * 2019-04-18 2020-10-27 顺丰科技有限公司 一种飞行器重定位系统和重定位方法
CN110533694A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN111882612A (zh) * 2020-07-21 2020-11-03 武汉理工大学 一种基于三维激光检测车道线的车辆多尺度定位方法
CN113256719A (zh) * 2021-06-03 2021-08-13 舵敏智能科技(苏州)有限公司 停车导航定位方法、装置、电子设备及存储介质
CN113793297A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿确定方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN114088103A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN110412635B (zh) 一种环境信标支持下的gnss/sins/视觉紧组合方法
Huang Review on LiDAR-based SLAM techniques
CN112179330B (zh) 移动设备的位姿确定方法及装置
KR20190082070A (ko) 지도 생성 및 운동 객체 위치 결정 방법 및 장치
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
CN113406682B (zh) 一种定位方法、装置、电子设备及存储介质
CN113899375B (zh) 车辆定位方法和装置、存储介质及电子设备
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
CN114088103B (zh) 车辆定位信息的确定方法和装置
CN113763549A (zh) 融合激光雷达和imu的同时定位建图方法、装置和存储介质
CN113379915B (zh) 一种基于点云融合的行车场景构建方法
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN117036447A (zh) 基于多传感器融合的室内场景稠密三维重建方法及装置
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
CN115993132A (zh) 视觉惯性里程计初始化方法、装置及飞行汽车
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN110864685A (zh) 一种基于松耦合的车辆单目视觉轮式里程计定位方法
CN113034538A (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN116012624B (zh) 定位方法、装置、电子设备、介质以及自动驾驶设备
CN113592929B (zh) 一种无人机航摄影像实时拼接方法与系统
CN114998389A (zh) 室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant