CN110617821B - 定位方法、装置及存储介质 - Google Patents

定位方法、装置及存储介质 Download PDF

Info

Publication number
CN110617821B
CN110617821B CN201810631712.1A CN201810631712A CN110617821B CN 110617821 B CN110617821 B CN 110617821B CN 201810631712 A CN201810631712 A CN 201810631712A CN 110617821 B CN110617821 B CN 110617821B
Authority
CN
China
Prior art keywords
positioning device
road element
image
moment
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810631712.1A
Other languages
English (en)
Other versions
CN110617821A (zh
Inventor
屈孝志
许杰
马腾
李保利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201810631712.1A priority Critical patent/CN110617821B/zh
Priority to JP2020563450A priority patent/JP2021524026A/ja
Priority to PCT/CN2019/091829 priority patent/WO2019242628A1/en
Priority to DE112019002080.3T priority patent/DE112019002080T5/de
Publication of CN110617821A publication Critical patent/CN110617821A/zh
Priority to US17/039,803 priority patent/US11781863B2/en
Application granted granted Critical
Publication of CN110617821B publication Critical patent/CN110617821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明提供一种定位方法、装置及存储介质，该方法包括：获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像；基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息；对比所述第一道路要素的属性信息和所述第二道路要素的属性信息，确定所述定位装置在所述第二时刻的位姿。本发明提供的定位方法、装置及存储介质，可以实现低成本、高精度的定位。

Description

定位方法、装置及存储介质
技术领域
本发明涉及定位技术，尤其涉及一种定位方法、装置及存储介质。
背景技术
精确定位和导航是自动驾驶、机器人以及移动测量等应用的核心技术之一。目前，广泛使用全球卫星定位系统(Global Navigation Satellite System，GNSS)和高精度的惯性导航系统(Inertial Navigation System，INS)进行定位。通过INS，可以在一定程度上克服GNSS的多径效应，以及，信号屏蔽的影响，因此，通过GNSS和高精度的INS进行定位时，定位精度较高，但成本较高。
近年来，随着视觉传感器的发展和即时定位与地图构建(SimultaneousLocalization and Mapping，SLAM)技术的不断进步，视觉SLAM应运而生。在使用视觉SLAM进行定位时，在空间较小的场景下可以达到比较高的定位精度，但在空间较大场景下仍然会有较大的误差积累，导致定位精度较低。
故，在进行室外定位和导航时，如何实现高精度、低成本的定位是一个亟待解决的问题。
发明内容
本发明提供一种定位方法、装置及存储介质，用于实现高精度、低成本的定位。
本发明第一方面提供一种定位方法，该方法包括：
获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像；
基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息；
对比所述第一道路要素的属性信息和所述第二道路要素的属性信息，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息之前，所述方法还包括：
确定所述第二时刻采集的图像为关键帧图像。
在一种可能的实施方式中，所述确定所述第二时刻采集的图像为关键帧图像，包括：
若所述定位装置的惯性测量单元采集的所述定位装置从所述第一时刻至所述第二时刻的运动距离大于或等于预设距离，和/或，所述定位装置在所述第一时刻采集的图像与所述定位装置在所述第二时刻采集的图像之间匹配的点数小于或等于预设阈值，则确定所述第二时刻采集的图像为关键帧图像。
在一种可能的实施方式中，所述对比所述第一道路要素的属性信息和所述第二道路要素的属性信息，确定所述定位装置在所述第二时刻的位姿，包括：
在所述第一道路要素的属性信息和所述第二道路要素的属性信息一致时，结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿之前，还包括：
获取所述定位装置在所述第二时刻的地理位置；
所述结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿，包括：
结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述方法还包括：
根据所述第二道路要素在所述第二时刻采集的图像中的二维位置，预测所述第二道路要素的预测尺寸；
所述结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿，包括：
结合所述预测尺寸、所述第二道路要素的实际尺寸、所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述预设地图数据库为高精度地图数据库。
在一种可能的实施方式中，所述属性信息包括：类别、颜色、尺寸比例、相对位置关系。
在一种可能的实施方式中，所述方法还包括：
输出所述定位装置在所述第二时刻的位姿。
本发明第二方面提供一种定位装置，该装置包括：
获取模块，用于获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像；
处理模块，用于基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息；
第一确定模块，用于对比所述第一道路要素的属性信息和所述第二道路要素的属性信息，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述装置还包括：
第二确定模块，用于在所述处理模块基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息之前，确定所述第二时刻采集的图像为关键帧图像。
在一种可能的实施方式中，所述第二确定模块，具体用于在所述定位装置的惯性测量单元采集的所述定位装置从所述第一时刻至所述第二时刻的运动距离大于或等于预设距离，和/或，所述定位装置在所述第一时刻采集的图像与所述定位装置在所述第二时刻采集的图像之间匹配的点数小于或等于预设阈值时，确定所述第二时刻采集的图像为关键帧图像。
在一种可能的实施方式中，所述第一确定模块，具体用于在所述第一道路要素的属性信息和所述第二道路要素的属性信息一致时，结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述获取模块，还用于在所述第一确定模块结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿之前，获取所述定位装置在所述第二时刻的地理位置；
所述第一确定模块，具体用于结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述装置还包括：
预测模块，用于根据所述第二道路要素在所述第二时刻采集的图像中的二维位置，预测所述第二道路要素的预测尺寸；
所述第一确定模块，具体用于结合所述预测尺寸、所述第二道路要素的实际尺寸、所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
在一种可能的实施方式中，所述预设地图数据库为高精度地图数据库。
在一种可能的实施方式中，所述属性信息包括：类别、颜色、尺寸比例、相对位置关系。
在一种可能的实施方式中，所述装置还包括：
输出模块，用于输出所述定位装置在所述第二时刻的位姿。
本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面及第一方面任一可能的实施方式所述的方法。
本发明提供的定位方法、装置及存储介质，以视觉SLAM为基础，通过GPS和IMU来提高视觉SLAM的鲁棒性，并将融合了GPS、IMU的SLAM定位结果与预设地图数据库进行匹配和融合，因此在定位过程中不会受GPS信号遮蔽和多路径效应的影响，同时还可以修正定位误差，提高定位精度。由于相机、GPS、IMU的成本较低，因此，通过上述方式，可以实现低成本和高精度的定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种定位方法的流程示意图；
图2为本发明提供的另一种定位方法的流程示意图；
图3为本发明提供的一种定位装置的结构示意图；
图4为本发明提供的另一种定位装置的结构示意图；
图5为本发明提供的另一种定位装置的结构示意图；
图6为本发明提供的另一种定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
精确定位和导航是自动驾驶、机器人以及移动测量等应用的核心技术之一。目前，广泛使用GNSS和高精度的INS进行定位。通过INS，可以在一定程度上克服GNSS的多径效应，以及，信号屏蔽的影响，因此，通过GNSS和高精度的INS进行定位时，定位精度较高，但成本较高。近年来，随着视觉传感器的发展和SLAM技术的不断进步，视觉SLAM应运而生。在使用视觉SLAM进行定位时，在空间较小的场景下可以达到比较高的定位精度，但在空间较大场景下仍然会有较大的误差积累，导致定位精度较低。故，在进行室外定位和导航时，如何实现高精度、低成本的定位是一个亟待解决的问题。
考虑到上述问题，本发明提供了一种定位方法，通过将低成本的相机、卫星定位系统、惯性测量单元(Inertial measurement unit，IMU)，与预设地图数据库结合在一起，可以在室外定位和导航时，实现低成本、高精度的定位。本发明的执行主体可以为定位装置，该为定位装置可以例如可以为：交通工具(例如：无人驾驶的车辆)、机器人、移动测量系统等。在本发明中，定位装置上设置有相机、卫星定位系统和IMU。其中，在定位装置进行定位的过程中，相机、卫星定位系统和IMU以时间同步的方式采集数据。即，相机、卫星定位系统和IMU采集数据的时间点一致。
上述所说的相机可以为任一能够拍摄RBG图、深度图与点云图的相机。定位装置在进行定位时，相机用于沿定位装置的运动方向采集图像。上述IMU用于在定位装置进行定位时，采集定位装置的运动数据，例如：定位装置的加速度数据和定位装置的旋转角速度数据。
上述所说的卫星定位系统可以为任一能够提供地理位置的卫星定位系统，例如：全球定位系统(Global Positioning System，GPS)、北斗卫星导航定位系统(BeiDouNavigation Satellite System，BDS)、伽利略定位系统(Galileo Satellite NavigationSystem)、GNASS等。下述申请文件均以GPS为例，对申请文件进行说明和介绍。
上述所说的预设地图数据库是指包含有道路要素的属性信息的三维地图数据库。例如，高精度地图数据库等。上述所说的道路要素例如可以是路牌、道路线、路标、杆状物等能够标识该道路的要素。道路要素的属性信息可以包括：类别(以路牌为例，类别例如可以包括：交通标志、标牌、红绿灯，车道线、指示线等)、颜色、几何属性(例如：形状、尺寸)、绝对位置信息(即在地理坐标系中的经度、纬度和高度)，与预设范围内的其他道路要素的相对位置关系。
在本实施例中，定位装置在进行定位之前，可以先从存储有预设地图数据库的服务器加载预设地图数据库。或者，定位装置可以在进行定位时，访问存储有预设地图数据库的服务器，获取预设地图数据库中的数据。本发明不限定生成上述预设地图数据库的方式。例如，服务器可以根据移动测量系统(例如：采集车)所采集的数据，生成上述预设地图数据库。具体地：
采集车可以设置有GPS(或者INS系统)、激光设备、相机。其中，相机、激光设备的相对位置关系可以通过采集固定场景的数据获得。采集车在道路上行驶的过程中，相机可以实时采集图像，相应的，激光设备可以同步采集点云。由于激光设备实时采集的点云为相对于激光设备所在的局部坐标系的点云，相机实时采集的图像为相对于相机所在的局部坐标系的图像，因此，服务器在获取到相机采集的图像和激光设备同步采集的点云后，可以先将点云和图像的局部坐标系统一。
然后，服务器可以进一步基于GPS、IMU测量的采集车的实时位姿，将点云和图像转换到地理坐标系下。由于GPS的测量的采集车的实时位姿和GPS卫星的观测质量相关，若仅基于GPS的测量的采集车的实时位姿，将点云转换到地理坐标系下，则在部分区域定位误差较大时会导致点云转换到地理坐标系下后出现分层等质量问题。因此，服务器可以基于联合平差原理，将点云数据、GPS测量的采集车的实时位姿、IMU测量的采集车的实时位姿联合做优化提升定位精度。最后，服务器可以结合点云的强度信息和图像的颜色信息，提取道路要素。同时，根据车道线的空间关系，建立车道线的连接关系，并将从图像中识别的道路要素的纹理、文字、标志等信息，添加到道路要素的属性信息，得到预设地图数据库。
下面对定位装置如何获取定位装置采集第一帧图像(即定位装置在进行定位时拍摄的第一帧图像)时的位置和姿态(简称：位姿)进行说明。图1为本发明提供的一种定位方法的流程示意图。如图1所示，该方法包括：
S101、获取定位装置的初始地理位置和初始姿态，以及，定位装置采集的第一帧图像。
S102、以初始地理位置为起点，沿初始姿态的方向，在预设地图数据库中提取图像视场角范围内的第三道路要素的属性信息，并提取第一帧图像中的第四道路要素的属性信息。
S103、在第三道路要素的属性信息和第四道路要素的属性信息一致时，根据第三道路要素的三维位置与第四道路要素的二维位置的投影关系，确定定位装置采集第一帧图像时的位姿。
具体地，定位装置在开始进行定位时，可以获取GPS所采集的定位装置的初始地理位置、IMU所采集的定位装置的运动数据、以及，相机拍摄的第一帧图像。定位装置可以基于IMU所采集的定位装置的运动数据，计算定位装置的初始姿态。关于定位装置如何基于运动数据获取姿态可以参见现有技术，对此不再加以赘述。
然后，定位装置可以使用机器学习的方法，对第一帧图像进行语义分割，识别和分割第一帧图像中的道路要素(即第四道路要素)的属性信息。同时，定位装置可以以GPS所采集的定位装置的初始地理位置为起点，沿初始姿态方向在预设地图数据库中检索出图像视场角范围内的地图要素(即第三道路要素)的属性信息。即，定位装置可以以GPS所采集的定位装置的初始地理位置为起点，将当前图像可视范围内的道路要素作为第三道路要素。上述图像视场角范围具体可以根据用户的需求设定，例如可以将沿初始姿态方向50米内作为图像视场角范围。
若上述定位装置从服务器中提前加载了上述预设地图数据库，则上述定位装置可以将GPS所采集的定位装置的初始地理位置作为起点，沿初始姿态方向，在本地存储的预设地图数据库中检索第三道路要素的属性信息。若上述定位装置并未提前加载预设地图数据库，则上述定位装置可以向存储有预设地图数据库的服务器发送查询请求，该查询请求可以包括：定位装置的初始地理位置，以及，定位装置的初始姿态。相应地，服务器在以GPS所采集的定位装置的初始地理位置为起点，沿初始姿态方向，在本地存储的预设地图数据库中检索出第三道路要素的属性信息后，可以向定位装置发送响应消息。其中，响应消息中携带有第三道路要素的属性信息。
定位装置在提取到第三道路要素的属性信息和第四道路要素的属性信息之后，可以将两个道路要素的属性信息进行匹配。例如，类别是否相同、颜色是否相同、尺寸比例是否相同、相对位置关系是否相同(例如A在B的左侧)。在第三道路要素的属性信息和第四道路要素的属性信息一致时，定位装置可以根据下述公式(1)，确定定位装置采集第一帧图像时的位姿。其中，公式(1)具体如下：
m2d＝F(Pi，X3D) (1)
其中，F(Pi，X3D)表示透视投影函数，i表示第i帧图像，m2d表示第i帧图像中与从预设地图数据库中所提取的道路要素匹配的道路要素(即第四道路要素)在图像中的二维位置，X3D表示与第i帧图像中提取的道路要素匹配的道路要素(即第三道路要素)的三维位置，可以直接从预设地图数据库中获得，Pi表示定位装置采集第i帧图像时的位姿。在本实施例中i等于1。
定位装置在得到定位装置采集第一帧图像时的位姿之后，在后续定位过程中，可以基于定位装置采集第一帧图像时的位姿，以及，所采集的第二帧图像，确定定位装置采集第二帧图像时的位姿。然后，定位装置可以再基于定位装置采集第二帧图像时的位姿，以及，所采集的第三帧图像，确定定位装置采集第三帧图像时的位姿，以此类推。也就是说，定位装置可以使用定位装置采集前一帧图像时的位姿，定位定位装置采集当前帧图像时的位姿。即，定位装置可以使用定位装置前一时刻的位姿，以及，当前时刻采集的图像，定位定位装置当前时刻的位姿。下面以第一时刻采集的第i-1帧图像(即第一图像)和第二时刻采集的第i帧图像(即第二图像)为例，对定位装置如何确定定位装置在第二时刻的位姿(即定位装置采集第i帧图像时的位姿)进行说明。
需要说明的是，虽然通过IMU测量的运动数据可以计算定位装置的相对位姿，但是根据IMU所测量的运动数据得到的定位结果的误差会随时间的积累越来越大。相应的，通过相机所拍摄的图像，可以采用视觉SLAM技术，得到定位装置的位姿，但是在图像纹理单一和运动模糊的等情况下，采用视觉SLAM技术也无法得到定位装置的位姿，导致定位失败。
因此，在本实施例中，定位装置通过采用视觉惯性里程计(Visual InertialOdometry，VIO)技术，将IMU融合到视觉SLAM中，在保证定位精度的同时可以提高SLAM的鲁棒性。在一些实施例中，VIO也称为融合IMU的测量数据的视觉SLAM技术。
具体实现时，定位装置可以使用现有的视觉SLAM技术，对所采集的第i-1帧图像和第i帧图像进行处理，得到第i帧图像的三维地图点(即第i帧图像中所包括的物体的每个特征点)的三维坐标，以得到三维地图点的视觉特征。在得到第i帧图像的三维地图点后，定位装置可以对第i帧图像和三维地图点的视觉特征进行匹配，获得三维地图点在第i帧图像中对应的图像点的二维坐标，以计算定位装置采集第i帧图像时的位姿。
其中，本实施例不限定上述定位装置对第i帧图像和三维地图点的视觉特征进行匹配的实现方式。例如，定位装置可以基于先验知识的预测方式，对第i帧图像和三维地图点的视觉特征进行匹配，以提高匹配的效率。具体地，假设定位装置采集第i-1帧图像和采集第i帧图像的时间间隔为Δt(即第一时刻和第二时刻的时间间隔为Δt)，定位装置采集第i-1帧图像时的位姿为Pi-1、采集第i帧图像时的位姿为Pi。即定位装置在第一时刻的位姿为Pi-1、在第一时刻的位姿为Pi。
其中，Pi-1＝[Xi-1，Yi-1，Zi-1，αi-1，βi-1，γi-1]、Pi＝[Xi，Yi，Zi，αi，βi，γi]。X、Y、Z用于表征定位装置的三维位置、α，β，γ用于表征定位装置的姿态。
定位装置可以根据定位装置在采集第i-1帧图像到第i帧图像时的运动速度Vi，根据下述公式(2)，计算定位装置采集第i帧图像时的初始位姿P′i。其中，公式(2)具体如下：
P′i＝Pi-1+Vi*Δt (2)
根据上述计算的P′i，则第i帧图像的每一个三维地图点都可以通过透视投影原理(3D到2D)投影到第i帧图像上。由于第P′i计算的误差，其投影点与需要匹配的目标点会有一定的差距，但是可以将三维地图点和图像的匹配限定到一个较小的范围，提高了匹配效率和SLAM的鲁棒性，从而能够快速的获得三维地图点在第i帧图像中对应的图像点的二维坐标。需要说明的是，上述Vi可以通过IMU测量获得，对此不再加以赘述。另外，关于定位装置如何对三维地图点和图像进行匹配，以得到三维地图点在第i帧图像中对应的图像点的二维坐标，可以参见现有技术，对此不再加以赘述。
在通过上述定位装置在对第i帧图像和三维地图点的视觉特征进行匹配，得到三维地图点在第i帧图像中对应的图像点之后，可以结合IMU测量的速度和加速度通过预积分获得的定位装置采集第i帧图像时的相对位姿、GPS在相机拍摄第i帧图像时所采集的地理位置，采用光束平差(bundle adjustment，BA)算法中代价函数，计算定位装置采集第i帧图像时的位姿Pi(即定位装置在第二时刻的位姿)，该代价函数具体可以如下述公式(3)所示：
Figure BDA0001700141090000101
其中，i表示第i帧图像，j表示第i帧图像中的第j个三维地图点，d表示求差，F(Pi，Xi)表示透视投影函数，Pi表示定位装置采集第i帧图像时的位姿，Xj表示第j个三维地图点的三维坐标，mij表示第j个三维地图点在第i帧图像中所匹配的图像点的二维坐标。PIMU表示IMU所测量的采集第i帧图像时的相对位姿，WIMU表示IMU所测量的相对位姿态的权重。WIMU的大小具体根据IMU输出数据质量决定。Tgps表示GPS在相机拍摄第i帧图像时所采集的地理位置，Ti表示定位装置计算的地理位置，Wgps为权重。Wgps的大小具体根据GPS信号质量决定。例如，在信号较差的情况下给定比较小的权值，反之给定的权值较大。
需要说明的是，在上述计算定位装置采集第i帧图像时的位姿Pi的过程中，将GPS测量的地理位置作为约束条件融合到代价函数中。通过这种方式，可以避免定位装置通过VIO技术所得到的位置的误差随时间积累会越来越大，以抑制误差积累。由于在城市环境下GPS定位容易受到多路径、信号遮蔽的影响。可选的，在一些实施例中，若在计算定位装置采集第i帧图像时的位姿Pi时，GPS在相机拍摄第i帧图像时(即第二时刻)未采集到地理位置，定位装置可以使用不含有GPS测量的地理位置的约束条件的代价函数。该代价函数与上述公式1的区别在于，公式中不含有d(Tgps Ti)TWgpsd(Tgps，Ti)部分。
另外，在采用上述方式计算上述定位装置采集第i帧图像时的位姿Pi之前，定位装置还可以先确定上述第i帧图像是否为关键帧图像(即第二时刻采集的图像是否为关键帧图像)。若第i帧图像不是关键帧图像，则定位装置可以采用上述方式，确定定位装置采集第i帧图像时的位姿。若第i帧图像是关键帧图像，则定位装置需要进一步结合预设地图数据库，来确定定位装置采集第i帧图像时的位姿，以确保定位精度。
具体实现时，定位装置可以基于IMU采集的定位装置从第一时刻至第二时刻的运动距离是否大于或等于预设距离(即定位装置采集第i-1帧图像到第i帧图像时的运动距离是否大于或等于预设距离)，和/或，定位装置在第一时刻采集的第i-1帧图像与第二时刻采集的第i帧图像之间匹配的点数是否小于或等于预设阈值，确定第i帧图像是否为关键帧图像。在满足上述条件时，可以确定第i帧图像为关键帧图像。
在确定第二时刻采集的第i帧图像为关键帧时，定位装置可以进一步结合预设地图数据库，计算定位装置在第二时刻的位姿(即采集第i帧图像时的位姿)。
图2为本发明提供的另一种定位方法的流程示意图。如图2所示，该方法包括：
S201、获取定位装置在第一时刻的位姿，以及在第二时刻采集的图像。
S202、基于定位装置在第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取第二时刻采集的图像中的第二道路要素的属性信息。
S203、对比第一道路要素的属性信息和第二道路要素的属性信息，确定定位装置在第二时刻的位姿。
具体地，定位装置可以以定位装置采集第i-1帧图像时的位置为起点，沿定位装置采集第i-1帧图像时的姿态方向，在预设地图数据库中提取图像视场角范围内的第一道路要素的属性信息，并提取第i帧图像(即第二时刻采集的图像)中的第二道路要素的属性信息。
若上述定位装置从服务器中提前加载了上述预设地图数据库，则上述定位装置可以将定位装置采集第i-1帧图像时的位置作为起点，沿定位装置采集第i-1帧图像时姿态方向，在本地存储的预设地图数据库中检索第一道路要素的属性信息。若上述定位装置并未提前加载预设地图数据库，则上述定位装置可以向存储有预设地图数据库的服务器发送查询请求，该查询请求可以包括：定位装置采集第i-1帧图像时位姿(即定位装置第一时刻的位姿)。相应地，服务器在将定位装置采集第i-1帧图像时的位置作为起点，沿定位装置采集第i-1帧图像时姿态方向，在本地存储的预设地图数据库中检索第一道路要素的属性信息后，可以向定位装置发送响应消息。其中，响应消息中携带有第一道路要素的属性信息。
然后，定位装置可以对第一道路要素的属性信息和第二道路要素的属性信息进行匹配，在第一道路要素的属性信息和第二道路要素的属性信息一致时，定位装置可以建立第一道路要素与第二道路要素的对应关系，简称3D-2D的对应关系。该3D-2D对应关系可以用如前述公式(1)所示。
由于VIO过程中会产生尺度误差，也就是说，第一道路要素的在第i帧图像中的位置，与m2d在第i帧图像中的位置有一定的误差，该误差可以表示为d(F(Pi，X3D)，m2d)。因此，通过将该误差作为一个控制点添加到前述所述的BA算法的代价函数中(即公式(3))，形成公式(4)。即，定位装置可以通过公式(4)计算定位装置采集第i帧图像时的位姿。通过这种方式，可以纠正VIO过程中产生的尺度误差，进而提高定位精度。该公式(4)具体如下：
Figure BDA0001700141090000121
可选的，若在计算定位装置采集第i帧图像时的位姿Pi时，GPS在相机拍摄第i帧图像时(即第二时刻)未采集到地理位置，定位装置可以使用不含有GPS测量的地理位置的约束条件的代价函数。该代价函数与上述公式4的区别在于，公式中不含有d(Tgps Ti)TWgpsd(Tgps，Ti)部分。
可选的，在一些实施例中，定位装置还可以进一步根据第二道路要素在第i帧图像中的二维位置，预测第二道路要素的预测尺寸。具体地，定位装置可以采用多视几何理论，计算第二道路要素的预测尺寸。例如，假定第二要素包括两个顶点V1和V2，则，第二道路要素的预测尺寸可以用下述公式(5)所示：
dis预测＝||V1-V2|| (5)
由于定位装置估算的第二道路要素的位置和姿态的误差，导致预测的第二道路要素的预测尺寸dis预测和第二道路要素的实际尺寸(dis实际)会有一定的误差。定义该误差为d(dis实际，dis预测)，因此，可以将该误差作为新的约束条件加入到公式(4)中，组成新的代价函数(6)。即，定位装置可以通过公式(6)计算定位装置采集第i帧图像时的位姿。通过这种方式，可以以进一步提高定位精度。该公式(6)如下所示：
Figure BDA0001700141090000131
其中，W尺寸为权值，由第二地图要素的精度决定，第二道路要素的实际尺寸可以通从预设地图数据库中提取。
可选的，若在计算定位装置采集第i帧图像时的位姿Pi时，GPS在相机拍摄第i帧图像时未采集到地理位置，定位装置可以使用不含有GPS测量的地理位置的约束条件的代价函数。该代价函数与上述公式6的区别在于，公式中不含有d(Tgps Ti)TWgpsd(Tgps，Ti)部分。
进一步的，上述定位装置在采用上述方式，得到定位装置采集第i帧图像时的位姿(即定位装置在第二时刻的位姿)之后，还可以进一步地的输出定位装置采集第i帧图像时的位姿，以使得用户可以及时的获知定位结果，提高了用户体验。
虽然上述示例以第i帧图像为关键帧图像为例，对定位装置如何结合预设地图数据库，确定定位装置采集第i帧图像时的位姿进行了说明。但是本领域技术人员可以理解的是，即便上述第i帧图像不是关键帧图像，定位装置仍然也可以采用图2所示的方式，确定定位装置采集第i帧图像时的位姿(即定位装置在第二时刻的位姿)，本实施例对此不进行限定。
另外，本领域技术人员可以理解的是，定位装置可以在得到第一帧图像的位姿之后，在后续的定位过程中，循环的采用上述计算定位装置采集第i帧图像时的位姿的方式，精确的计算定位装置采集每一帧图像时的位姿，以实现高精度的定位。
本发明提供的定位方法，以视觉SLAM为基础，通过GPS和IMU来提高视觉SLAM的鲁棒性，并将融合了GPS、IMU的SLAM定位结果与预设地图数据库进行匹配和融合，因此在定位过程中不会受GPS信号遮蔽和多路径效应的影响，同时还可以修正定位误差，提高定位精度。由于相机、GPS、IMU的成本较低，因此，通过上述方式，可以实现低成本和高精度的定位。和传统基于路网匹配技术的SLAM和地图融合方法相比较，本发明直接将视觉SLAM和预设地图数据库中的道路要素相融合，可以提供车道级、甚至更为精确的定位结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明提供的一种定位装置的结构示意图，如图3所示，该定位装置可以包括：获取模块11、处理模块12和第一确定模块13。其中，
获取模块11，用于获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像。
处理模块12，用于基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息。例如，所述预设地图数据库为高精度地图数据库。所述属性信息包括：类别、颜色、尺寸比例、相对位置关系等。
第一确定模块13，用于对比所述第一道路要素的属性信息和所述第二道路要素的属性信息，确定所述定位装置在所述第二时刻的位姿。
例如，第一确定模块13，具体用于在所述第一道路要素的属性信息和所述第二道路要素的属性信息一致时，结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿
可选的，在一些实施例中，所述获取模块11，还用于在所述第一确定模块13结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿之前，获取所述定位装置在所述第二时刻的地理位置；相应地，第一确定模块13，具体用于结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
图4为本发明提供的另一种定位装置的结构示意图，如图4所示，在上述图3所示框图的基础上，可选的，在一些实施例中，定位装置还可以包括：预测模块14。其中，
预测模块14，用于根据所述第二道路要素在所述第二时刻采集的图像中的二维位置，预测所述第二道路要素的预测尺寸；
所述第一确定模块13，具体用于结合所述预测尺寸、所述第二道路要素的实际尺寸、所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
图5为本发明提供的又一种定位装置的结构示意图，如图5所示，在上述图3所示框图的基础上，可选的，在一些实施例中，定位装置还可以包括：第二确定模块15。其中，
第二确定模块15，用于在所述处理模块12基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息之前，确定所述第二时刻采集的图像为关键帧图像。例如，第二确定模块15，具体用于在所述定位装置的惯性测量单元采集的所述定位装置从所述第一时刻至所述第二时刻的运动距离大于或等于预设距离，和/或，所述定位装置在所述第一时刻采集的图像与所述定位装置在所述第二时刻采集的图像之间匹配的点数小于或等于预设阈值时，确定所述第二时刻采集的图像为关键帧图像。
图6为本发明提供的又一种定位装置的结构示意图，如图6所示，在上述图3所示框图的基础上，可选的，在一些实施例中，定位装置还可以包括：输出模块16，用于输出所述定位装置在所述第二时刻的位姿。
本发明提供的定位装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种定位方法，其特征在于，所述方法包括：
获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像；
基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息；
在所述第一道路要素的属性信息和所述第二道路要素的属性信息一致时，结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息之前，所述方法还包括：
确定所述第二时刻采集的图像为关键帧图像。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第二时刻采集的图像为关键帧图像，包括：
若所述定位装置的惯性测量单元采集的所述定位装置从所述第一时刻至所述第二时刻的运动距离大于或等于预设距离，和/或，所述定位装置在所述第一时刻采集的图像与所述定位装置在所述第二时刻采集的图像之间匹配的点数小于或等于预设阈值，则确定所述第二时刻采集的图像为关键帧图像。
4.根据权利要求1所述的方法，其特征在于，所述结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿之前，还包括：
获取所述定位装置在所述第二时刻的地理位置；
所述结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿，包括：
结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第二道路要素在所述第二时刻采集的图像中的二维位置，预测所述第二道路要素的预测尺寸；
所述结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿，包括：
结合所述预测尺寸、所述第二道路要素的实际尺寸、所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述预设地图数据库为高精度地图数据库。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述属性信息包括：类别、颜色、尺寸比例、相对位置关系。
8.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
输出所述定位装置在所述第二时刻的位姿。
9.一种定位装置，其特征在于，所述装置包括：
获取模块，用于获取定位装置在第一时刻的位姿，以及，在第二时刻采集的图像；
处理模块，用于基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息，并提取所述第二时刻采集的图像中的第二道路要素的属性信息；
第一确定模块，用于在所述第一道路要素的属性信息和所述第二道路要素的属性信息一致时，结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于在所述处理模块基于所述定位装置在所述第一时刻的位姿，在预设地图数据库中获取图像视场角范围内的第一道路要素的属性信息之前，确定所述第二时刻采集的图像为关键帧图像。
11.根据权利要求10所述的装置，其特征在于，所述第二确定模块，具体用于在所述定位装置的惯性测量单元采集的所述定位装置从所述第一时刻至所述第二时刻的运动距离大于或等于预设距离，和/或，所述定位装置在所述第一时刻采集的图像与所述定位装置在所述第二时刻采集的图像之间匹配的点数小于或等于预设阈值时，确定所述第二时刻采集的图像为关键帧图像。
12.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于在所述第一确定模块结合所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿之前，获取所述定位装置在所述第二时刻的地理位置；
所述第一确定模块，具体用于结合所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
预测模块，用于根据所述第二道路要素在所述第二时刻采集的图像中的二维位置，预测所述第二道路要素的预测尺寸；
所述第一确定模块，具体用于结合所述预测尺寸、所述第二道路要素的实际尺寸、所述定位装置在所述第二时刻的地理位置、所述第一道路要素的三维位置、所述第二道路要素在图像中的二维位置，确定所述定位装置在所述第二时刻的位姿。
14.根据权利要求9-13任一项所述的装置，其特征在于，所述预设地图数据库为高精度地图数据库。
15.根据权利要求9-13任一项所述的装置，其特征在于，所述属性信息包括：类别、颜色、尺寸比例、相对位置关系。
16.根据权利要求9-13任一项所述的装置，其特征在于，所述装置还包括：
输出模块，用于输出所述定位装置在所述第二时刻的位姿。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-8任一项所述的方法。
CN201810631712.1A 2018-06-19 2018-06-19 定位方法、装置及存储介质 Active CN110617821B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810631712.1A CN110617821B (zh) 2018-06-19 2018-06-19 定位方法、装置及存储介质
JP2020563450A JP2021524026A (ja) 2018-06-19 2019-06-19 姿勢判断システムおよび方法
PCT/CN2019/091829 WO2019242628A1 (en) 2018-06-19 2019-06-19 Systems and methods for pose determination
DE112019002080.3T DE112019002080T5 (de) 2018-06-19 2019-06-19 Systeme und verfahren zur stellungsbestimmung
US17/039,803 US11781863B2 (en) 2018-06-19 2020-09-30 Systems and methods for pose determination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810631712.1A CN110617821B (zh) 2018-06-19 2018-06-19 定位方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110617821A CN110617821A (zh) 2019-12-27
CN110617821B true CN110617821B (zh) 2021-11-02

Family

ID=68920424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810631712.1A Active CN110617821B (zh) 2018-06-19 2018-06-19 定位方法、装置及存储介质

Country Status (5)

Country Link
US (1) US11781863B2 (zh)
JP (1) JP2021524026A (zh)
CN (1) CN110617821B (zh)
DE (1) DE112019002080T5 (zh)
WO (1) WO2019242628A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190564A (zh) * 2020-01-14 2021-07-30 阿里巴巴集团控股有限公司 地图更新系统、方法及设备
CN111274974B (zh) * 2020-01-21 2023-09-01 阿波罗智能技术(北京)有限公司 定位元素检测方法、装置、设备和介质
US20230120433A1 (en) * 2020-03-09 2023-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatuses for detecting a change in an area of interest
CN111461981B (zh) * 2020-03-30 2023-09-01 北京百度网讯科技有限公司 点云拼接算法的误差估计方法和装置
US11604070B2 (en) 2020-03-31 2023-03-14 GM Cruise Holdings LLC. Map maintenance and verification
US11898853B2 (en) * 2020-03-31 2024-02-13 Gm Cruise Holdings Llc Map surveillance system
CN113873426A (zh) * 2020-06-30 2021-12-31 罗伯特·博世有限公司 用于决策车辆的地理围栏事件的系统、控制单元和方法
CN111784798B (zh) * 2020-06-30 2021-04-09 滴图(北京)科技有限公司 地图生成方法、装置、电子设备和存储介质
CN111854678B (zh) * 2020-07-17 2022-02-15 浙江工业大学 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
CN111928857B (zh) * 2020-10-14 2021-01-05 蘑菇车联信息科技有限公司 一种动态环境中实现slam定位的方法及相关装置
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232515A (ja) * 2010-04-27 2011-11-17 Denso It Laboratory Inc 地図表示装置、方法及びプログラム
CN102693676A (zh) * 2011-03-24 2012-09-26 昆达电脑科技(昆山)有限公司 地图、定位装置、定位系统及其方法
CN103443839A (zh) * 2011-03-28 2013-12-11 松下电器产业株式会社 图像显示装置
CN106846467A (zh) * 2017-01-23 2017-06-13 阿依瓦（北京）技术有限公司 基于每个相机位置优化的实体场景建模方法和系统
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN108020225A (zh) * 2016-10-28 2018-05-11 大辅科技（北京）有限公司 基于图像识别的地图系统及导航方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
US8050458B2 (en) * 2007-06-18 2011-11-01 Honda Elesys Co., Ltd. Frontal view imaging and control device installed on movable object
JP2010249768A (ja) * 2009-04-20 2010-11-04 Toyota Motor Corp 車両検出装置
EP2983153B1 (en) * 2013-04-04 2018-12-19 Nissan Motor Co., Ltd Signal recognition device
US9488483B2 (en) 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
KR102059311B1 (ko) 2013-12-19 2019-12-24 애플 인크. 모바일 디바이스에서의 slam
MX349023B (es) 2014-02-24 2017-07-07 Nissan Motor Aparato de calculo de la posicion propia y metodo de calculo de la posicion propia.
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法
US10295365B2 (en) 2016-07-29 2019-05-21 Carnegie Mellon University State estimation for aerial vehicles using multi-sensor fusion
CN106352877B (zh) * 2016-08-10 2019-08-23 纳恩博（北京）科技有限公司 一种移动装置及其定位方法
US9940729B1 (en) 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
JP2018185239A (ja) * 2017-04-26 2018-11-22 株式会社豊田中央研究所 位置姿勢推定装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232515A (ja) * 2010-04-27 2011-11-17 Denso It Laboratory Inc 地図表示装置、方法及びプログラム
CN102693676A (zh) * 2011-03-24 2012-09-26 昆达电脑科技(昆山)有限公司 地图、定位装置、定位系统及其方法
CN103443839A (zh) * 2011-03-28 2013-12-11 松下电器产业株式会社 图像显示装置
CN108020225A (zh) * 2016-10-28 2018-05-11 大辅科技（北京）有限公司 基于图像识别的地图系统及导航方法
CN106846467A (zh) * 2017-01-23 2017-06-13 阿依瓦（北京）技术有限公司 基于每个相机位置优化的实体场景建模方法和系统
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质

Also Published As

Publication number Publication date
US20210019535A1 (en) 2021-01-21
CN110617821A (zh) 2019-12-27
JP2021524026A (ja) 2021-09-09
DE112019002080T5 (de) 2021-03-25
WO2019242628A1 (en) 2019-12-26
US11781863B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110617821B (zh) 定位方法、装置及存储介质
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
US10240934B2 (en) Method and system for determining a position relative to a digital map
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN103377476B (zh) 使用三维地理弧的多模型数据的图像配准
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN110100151A (zh) 在视觉惯性测距中使用全球定位系统速度的系统及方法
CN109931939A (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
CN109029444A (zh) 一种基于图像匹配和空间定位的室内导航系统及导航方法
CN103874193A (zh) 一种移动终端定位的方法及系统
JP2017090239A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
US11474193B2 (en) Camera calibration for localization
CN113240813A (zh) 三维点云信息确定方法及装置
WO2018131546A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
CN112184906B (zh) 一种三维模型的构建方法及装置
CN113874681B (zh) 点云地图质量的评估方法和系统
US10878278B1 (en) Geo-localization based on remotely sensed visual features
EP4361565A2 (en) Method, device, system and computer-readable storage medium for vehicle positioning
CN114004957B (zh) 增强现实图片的生成方法、装置、设备和存储介质
LU et al. Scene Visual Perception and AR Navigation Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant