CN110832279B - 对准由自主车辆捕获的数据以生成高清晰度地图 - Google Patents

对准由自主车辆捕获的数据以生成高清晰度地图 Download PDF

Info

Publication number
CN110832279B
CN110832279B CN201780086520.0A CN201780086520A CN110832279B CN 110832279 B CN110832279 B CN 110832279B CN 201780086520 A CN201780086520 A CN 201780086520A CN 110832279 B CN110832279 B CN 110832279B
Authority
CN
China
Prior art keywords
map
nodes
gesture
vehicle
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086520.0A
Other languages
English (en)
Other versions
CN110832279A (zh
Inventor
陈辰
德里克·施勒特
马克·达蒙·惠乐
杰斯里·米诺鲁·阿达基
格雷戈里·库姆
邹亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN110832279A publication Critical patent/CN110832279A/zh
Application granted granted Critical
Publication of CN110832279B publication Critical patent/CN110832279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694Output thereof on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Ecology (AREA)
  • Atmospheric Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Instructional Devices (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

一种高清晰度地图系统从沿路线行进的车辆接收传感器数据并且组合数据以生成在驾驶车辆时使用的,例如用于引导自主车辆的高清晰度地图。根据收集的数据构建姿势图,每个姿势表示车辆的位置和方向。姿势图被优化以最小化姿势之间的约束。与表面相关联的点被分配有使用表面的硬度/软度的度量确定的置信度度量。基于机器学习的结果过滤器检测不良对准结果,并防止它们进入随后的全局姿势优化中。对准框架是可并行化的,以使用并行/分布式架构执行。检测对准热点以用于进一步验证和改进。系统支持增量更新,从而允许对子图进行细化,以增量改进高清晰度地图以使其保持最新。

Description

对准由自主车辆捕获的数据以生成高清晰度地图
相关申请的交叉引用
本申请要求于2016年12月30日提交的美国临时申请第62/441,080号的权益,该美国临时申请通过引用整体合并至本文中。
背景技术
本公开内容一般涉及用于自主车辆的地图,并且更具体地涉及执行对由自主车辆捕获的数据的三维表示的对准以生成用于自主车辆的安全导航的高清晰度地图。
自主车辆,也称为自动驾驶汽车、无人驾驶汽车、汽车或机器人汽车,在不需要人类驾驶员控制和导航车辆的情况下从源位置行驶到目的地。驾驶的自动化由于若干原因而是困难的。例如,自主汽车使用传感器即时做出驾驶决策,但车辆传感器不能无时无刻地观察所有事物。车辆传感器可能被角落、连绵起伏的山丘和其他车辆遮挡。车辆传感器可能不会足够早地观察某些事物以做出决策。此外,道路上可能缺少车道和标志,或者车道和标志被撞倒或被灌木丛隐藏,因此不能被传感器检测到。此外,可能不容易看到用于通行权的道路标志,以确定车辆可能来自哪里,或者用于在紧急情况下或者在存在必须通过的停止障碍物时转弯或移出车道。
自主车辆可以使用地图数据来找出上述一些信息,而不是依赖传感器数据。然而,传统地图具有若干缺点,使得它们难以用于自主车辆。例如,地图不提供安全导航所需的准确度水平(例如,10cm或更小)。基于GNSS(全球导航卫星系统)的系统提供大约3-5米的精确度,但是具有导致超过100m的准确度的大的误差条件。这使得准确确定车辆的位置变得具有挑战性。
此外,传统地图由调查团队创建,调查团队使用具有特殊装备汽车的驾驶员,这些汽车具有高分辨率传感器,可以在地理区域内行驶并进行测量。测量值被取回,地图编辑器团队根据测量值汇总地图。该过程昂贵且耗时(例如,可能花费数月来完成地图)。因此,使用这种技术汇总的地图不具有新近数据。例如,道路以每年大约5-10%的频率基础来更新/修改。但调查车昂贵且数量有限,因此不能捕获这些更新中的大部分。例如,调查车队可能包括一千辆汽车。甚至对于美国的单个州,一千辆汽车不能定期更新地图以使得能够安全自动驾驶。因此,维护地图的传统技术不能提供对于自主车辆的安全导航而言足够准确且最新的正确数据。
发明内容
实施方式从沿地理区域内的路线行进的车辆接收传感器数据并且组合数据以生成高清晰度地图。传感器数据的示例包括由安装在车辆上的LIDAR收集的LIDAR帧、GNSS(全球导航卫星系统)数据和惯性测量单元(IMU)数据。GNSS包括各种导航系统,所述导航系统包括GPS、GLONASS、北斗、伽利略等。高清晰度地图用于驾驶车辆,例如用于引导自主车辆。
系统生成姿势图,使得图的每个节点表示车辆的姿势。车辆的姿势包括车辆的位置和方向。系统从姿势图中选择节点子集,并且对于子集中的每个节点,识别与该节点对应的GNSS姿势。系统基于使子集的节点中的每个节点与相应的GNSS姿势之间的姿势差异最小化的约束来执行姿势图的优化。系统合并由多个自主车辆捕获的传感器数据,以生成地理区域的点云表示。系统基于点云表示生成高清晰度地图。系统将高清晰度地图发送到自主车辆以在地理区域中进行导航。
实施方式基于以下技术中的一个或更多个技术来选择节点子集:沿路径以固定距离间隔选择节点、随机选择或者从基于纬度和经度值创建的每个边界框中选择节点。
实施方式可以基于GNSS姿势和逐对对准的质量来调整节点子集的创建。例如,选择过程可以有利于选择具有高质量姿势的GNSS节点或者增加具有低质量逐对对准的区域中的采样密度。
在实施方式中,系统在与单个轨迹相关联的节点对之间执行逐对对准。系统还执行节点对之间的逐对对准,使得从第一轨迹中选择该对中的第一节点,并且从第二轨迹中选择该对中的第二节点。轨迹是连续的数据集合,与通过世界的车辆的单次驾驶对应。轨迹数据包括具有相关联的传感器数据的一系列姿势。
在实施方式中,系统接收由行驶通过地理区域中的路径的车辆捕获的传感器数据。传感器数据的示例包括由LIDAR收集的数据、由全球定位系统(GPS)收集的数据或由惯性测量单元(IMU)收集的数据。系统基于传感器数据生成姿势图。图的每个节点表示描述车辆的位置和方向的车辆姿势。节点对之间的边缘表示节点对中的节点之间的变换。系统将姿势图划分为多个子图,每个子图包括核心节点集合和缓冲节点集合。系统迭代地执行以下步骤:在保持边界节点的值固定并且仅更新子姿势图的核心节点姿势的同时优化子姿势图。系统基于点云表示生成高清晰度地图并且将高清晰度地图发送到自主车辆以用于自主车辆的导航。
在实施方式中,系统将子图分发给多个处理器以用于分布式执行。处理器在每次迭代结束时交换信息以确定边界节点值。
在实施方式中,更新所有节点姿势的结果,系统确定是否存在边界节点的改变。响应于确定边界节点的改变低于阈值,例如如果在迭代期间边界节点没有改变,则系统停止迭代。
在实施方式中,系统接收由自主车辆的传感器收集的轨迹数据。每个轨迹数据由行驶通过地理区域中的路径的自主车辆的传感器收集。系统生成姿势图,使得姿势图的每个节点表示车辆的姿势,并且节点对之间的每个边缘表示节点对中的节点之间的变换。系统接收新轨迹数据的集合以更新姿势图。系统执行新轨迹数据内的姿势之间的对准。系统还执行姿势对之间的对准,每对姿势包括来自所生成的姿势图的姿势和来自新轨迹的集合的姿势。系统通过将来自新轨迹的集合的姿势添加到姿势图来更新姿势图,并执行更新的姿势图的姿势图优化。系统基于经优化的更新姿势图生成高清晰度地图,并将高清晰度地图发送到自主车辆以用于自主车辆的导航。
在实施方式中,系统通过在从相同轨迹数据内选择的姿势对之间执行单个轨迹对准来执行新轨迹数据的集合内的姿势之间的对准。系统还在姿势对之间执行交叉轨迹对准,其中,来自该对的第一姿势来自第一轨迹数据,并且来自该对的第二姿势来自第二轨迹数据。
在一些实施方式中,系统通过保持来自姿势图的姿势的数据固定而改变来自新轨迹数据的集合的姿势来执行更新的姿势图的姿势图优化。在其他实施方式中,系统在改变来自姿势图的姿势以及来自新轨迹数据的集合的姿势的同时执行姿势图优化。
在一些实施方式中,系统基于由行驶通过地理区域的自主车辆捕获的传感器数据生成地理区域的第一三维表示和地理区域的第二三维表示。系统针对三维表示中的多个点中的每一个确定该点的置信度。点在结构上,并且置信度的度量是基于结构的表面类型。系统基于一个或更多个标准确定表面硬度的度量,并基于硬度的度量确定置信度的度量。用于确定表面硬度的度量的标准的示例包括与表面相关联的法向量的分布、表面的颜色纹理、来自表面的LIDAR信号的返回的数量等。
在一些实施方式中,系统通过基于每个点的置信度的度量对数据点进行加权,基于迭代最近点(ICP)方法来确定用于将第一3D表示映射到第二3D表示的变换。系统通过使用变换将第一3D表示组合到第二3D表示来确定区域的高清晰度地图。系统提供高清晰度地图以用于驾驶自主车辆。
在实施方式中,系统基于结构表面上的多个点的法向量的方差的度量来确定置信度的度量。所述多个点与该点相邻。在实施方式中,置信度的度量是与结构表面上的多个点的法向量的方差的度量逆相关的值。
在实施方式中,由车辆捕获的传感器数据包括由安装在车辆上的LIDAR捕获的LIDAR距离图像。系统通过确定LiDAR距离图像中的点的多个相邻点来确定LIDAR距离图像中的点的法向量。系统确定点与相邻点之间的水平向量和垂直向量。系统将法向量确定为水平向量和法向量的交叉积。
在实施方式中,系统如下所述来确定点的置信度的度量。系统选择LIDAR距离图像中的窗口。系统针对LiDAR距离图像中的所选窗口中的点选择多个相邻点,并将方差值确定为点与相邻点之间的距离的总和。系统基于方差确定置信度的度量。
在一些实施方式中,系统组合从车辆接收的传感器数据以生成地理区域的三维表示。示例三维表示是点云表示。系统识别三维表示内的地理区域的由于组合数据而未对准的部分。例如,进一步分析未对准部分以验证数据的准确性。
在一个实施方式中,系统从地理区域的三维表示中识别表面并确定表面厚度的度量。表面的示例是地面或墙壁。例如,如果点簇表示表面的一部分,则系统分析由点簇占据的空间的厚度。系统将表面的一部分的未对准的可能性的度量确定为与厚度的度量成比例的值。
在实施方式中,系统确定指向与所识别的表面垂直的方向的法向量。系统选择表面上的点,并且沿着法线方向和与法线方向相反的方向识别与三维表示中的所选择的点相关的点簇。系统将簇中的点之间的最大距离确定为表面厚度的度量。
在实施方式中,系统配置显示在地理区域内所识别的表面的未对准可能性的度量的用户界面。配置的示例用户界面是热图。系统发送用户界面以经由客户端设备进行呈现。系统还可以响应于发送用户界面以进行呈现来接收对正在生成的高清晰度地图的修改。
附图说明
图(图)1示出了根据实施方式的与多个车辆计算系统交互的HD地图系统的整体系统环境。
图2示出了根据实施方式的车辆计算系统的系统架构。
图3示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。
图4示出了根据实施方式的HD地图系统的系统架构。
图5示出了根据实施方式的HD地图的部件。
图6A至图6B示出了根据实施方式的在HD地图中定义的地理区域。
图7示出了根据实施方式的HD地图中的车道的表示。
图8A至图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。
图9A至图9B示出了根据实施方式的由HD地图系统使用的坐标系。
图10示出了根据实施方式的由HD地图系统进行的LIDAR点云解开的过程。
图11示出了根据实施方式的全局对准模块的系统架构。
图12(A)示出了根据实施方式的单轨迹逐对对准过程。
图12(B)示出了根据实施方式的全局对准过程。
图13示出了根据实施方式的姿势图的可视化。
图14示出了根据实施方式的包括基于GNSS的姿势先验的姿势图的可视化。
图15示出了根据实施方式的用于执行姿势图优化的过程的流程图。
图16示出了根据实施方式的基于机器学习的ICP结果过滤器的系统架构。
图17示出了根据实施方式的用于训练基于机器学习的ICP结果过滤器的模型的过程。
图18示出了根据实施方式的使用基于机器学习的模型执行ICP结果过滤器的过程。
图19(A)示出了根据实施方式的来自姿势图的示例子图。
图19(B)示出了根据实施方式的将姿势图划分为子图以用于姿势图优化的分布式执行。
图20示出了根据实施方式的用于姿势图的分布式处理的过程。
图21示出了根据实施方式的用于姿势图的分布式优化的过程。
图22示出了说明根据实施方式的对姿势图的增量更新的过程的示例。
图23示出了说明根据实施方式的对姿势图的增量更新的过程的流程图。
图24示出了根据实施方式的由HD地图系统执行的ICP过程。
图25示出了根据实施方式的由HD地图系统使用LiDAR距离图像估计点云法线。
图26示出了根据实施方式的用于由HD地图系统使用LiDAR距离图像确定点云法线的过程。
图27示出了根据实施方式的用于基于作为硬/软的表面分类来执行逐对对准的过程。
图28示出了根据实施方式的用于确定沿着表面的点的置信度的度量以用于逐对对准的过程。
图29示出了根据实施方式的用于确定点的置信度的度量的过程。
图30示出了根据实施方式的用于未对准热点的自动检测的过程。
图31示出了根据实施方式的用于检测在点云中表示的表面的未对准的过程。
图32示出了根据实施方式的在点云中表示的地面的未对准的检测。
图33示出了根据实施方式的用于检测在点云中表示的地面的未对准的过程。
图34示出了根据实施方式的用于检测在点云中表示的垂直表面的未对准的过程。
图35示出了说明根据实施方式的垂直结构例如在点云中表示的墙壁的未对准的检测的示例。
图36示出了可以从机器可读介质读取指令并在处理器或控制器中执行指令的计算机器的实施方式。
附图仅出于说明的目的描绘了本发明的各种实施方式。本领域的技术人员将从以下讨论中容易地认识到,可以采用在本文中所示的结构和方法的替选实施方式而不脱离在本文中所描述的本发明的原理。
具体实施方式
概述
本发明的实施方式维护使用高精度的包含最新信息的高清晰度(HD)地图。自主车辆可以使用HD地图来安全地导航到他们的目的地而不利用人工输入或利用有限的人工输入。自主车辆是能够感测其环境并在没有人工输入的情况下导航的车辆。自主车辆在本文中也可以被称为“无人驾驶汽车”、“自动驾驶汽车”或“机器人汽车”。HD地图是指存储具有通常为5-10cm的非常高精度的数据的地图。实施方式生成包含关于自主车辆可以行驶的道路的空间几何信息的HD地图。因此,生成的HD地图包括自主车辆在无人工干预的情况下安全导航所需的信息。代替使用昂贵且耗时的包括配备有高分辨率传感器的车辆的地图车队过程收集HD地图的数据,本发明的实施方式使用来自自动驾驶车辆自身的当它们行驶通过其环境时的较低分辨率传感器的数据。车辆可能不具有这些路线或甚至区域的先前地图数据。本发明的实施方式提供位置即服务(LaaS),使得不同制造商的自主车辆各自都可以访问经由本发明的这些实施方式创建的最新地图信息。
实施方式生成并维护包括用于安全导航的最新路况的准确的高清晰度(HD)地图。例如,HD地图提供自主车辆相对于道路车道的当前位置,其足够精确以使得自主车辆能够在车道中安全地行驶。
HD地图存储非常大量的信息,因此面临管理信息方面的挑战。例如,大地理区域的HD地图可能不适合车辆的本地存储。本发明的实施方式向自主车辆提供HD地图的必要部分,该部分使得车辆能够确定其在HD地图中的当前位置、确定相对于车辆位置的道路上的特征、基于物理约束和法律约束等确定移动车辆是否安全。物理约束的示例包括物理障碍,例如墙壁,并且法律约束的示例包括车道的法律法允许的行驶方向、速度限制、让行、停靠。
本发明的实施方式通过提供用于提供对请求的响应的低延迟例如10-20毫秒或更短;位置方面的高准确度即10cm或更小的准确度;通过确保地图被更新以反映在合理时间范围内的道路上的改变的数据新鲜度;通过最小化HD地图所需的存储的存储效率来实现自主车辆的安全导航。
图1示出了根据实施方式的与多个车辆交互的HD地图系统的整体系统环境。HD地图系统100包括与多个车辆150交互的在线HD地图系统110。车辆150可以是自主车辆,但不是必需的。在线HD地图系统110接收由车辆的传感器捕获的传感器数据,并且组合从车辆150接收的数据以生成和维护HD地图。在线HD地图系统110将HD地图数据发送到车辆以用于驾驶车辆。在实施方式中,在线HD地图系统110被实现为分布式计算系统,例如,使得诸如车辆计算系统120的客户端能够请求信息和服务的基于云的服务。例如,车辆计算系统120可以请求用于沿着路线驾驶的HD地图数据,并且在线HD地图系统110提供所请求的HD地图数据。
图1和其他附图使用相同的附图标记来标识相同的元件。附图标记之后的字母,例如“105A”,表示文本具体指代具有特定附图标记的元件。没有后续字母的文本中的附图标记,例如“105”,指代图中的具有该附图标记的任何或所有元件(例如,文中的“105”指代图中的附图标记“105A”和/或“105N”)。
在线HD地图系统110包括车辆接口模块160和HD地图存储器165。在线HD地图系统110使用车辆接口模块160与各种车辆150的车辆计算系统120交互。在线HD地图系统110将各种地理区域的地图信息存储在HD地图存储器165中。在线HD地图系统110可以包括除图1中所示的模块之外的其他模块,例如,如图4所示并且在本文中进一步描述的各种其他模块。
在线HD地图系统110接收115由多个车辆150例如数百或数千辆汽车的传感器收集的数据。车辆提供在沿着各种路线行驶时捕获的传感器数据并将其发送到在线HD地图系统110。在线HD地图系统110使用从车辆150接收的数据来创建和更新描述车辆150正在行驶的区域的HD地图。在线HD地图系统110基于从车辆150接收的总体信息创建高清晰度地图,并将HD地图信息存储在HD地图存储器165中。
在线HD地图系统110根据车辆150的需求将HD地图发送125到各个车辆150。例如,如果自主车辆需要沿着路线驾驶,则自主车辆的车辆计算系统120提供描述正在行驶到在线HD地图系统110的路线的信息。作为响应,在线HD地图系统110提供用于沿着路线行驶的所需HD地图。
在实施方式中,在线HD地图系统110以压缩格式将HD地图数据的一部分发送到车辆,使得发送的数据消耗较少的带宽。在线HD地图系统110从各种车辆接收描述存储在车辆的本地HD地图存储器275中的数据的信息。如果在线HD地图系统110确定车辆不具有本地存储在本地HD地图存储器275中的HD地图的某些部分,则在线HD地图系统110将HD地图的该部分发送到车辆。如果在线HD地图系统110确定车辆之前确实接收到HD地图的该特定部分但是由于车辆最近接收到数据而在线HD地图系统110更新了对应的数据,则在线HD地图系统110发送存储在车辆中的HD地图的该部分的更新。这使得在线HD地图系统110能够使与车辆通信的数据量最小化,并且还保持定期更新本地存储在车辆中的HD地图数据。
车辆150包括车辆传感器105、车辆控制器130和车辆计算系统120。车辆传感器105使得车辆150能够检测车辆的周围环境以及描述车辆的当前状态的信息,例如,描述车辆的位置和运动参数的信息。车辆传感器105包括相机、光检测和测距传感器(LIDAR)、GNSS导航系统、惯性测量单元(IMU)等。车辆具有捕获车辆的周围环境的图像的一个或更多个相机。LIDAR通过经由用激光脉冲照亮目标并测量反射脉冲来测量到该目标的距离从而来勘测车辆的周围环境。GNSS导航系统基于来自卫星的信号确定车辆的位置。IMU是使用加速度计和陀螺仪或其他测量仪器的组合来测量和报告车辆的运动数据,例如速度、加速度、运动方向、速率,角速率等的电子设备。
车辆控制器130控制车辆的物理运动,例如,加速度、方向改变、启动、停止等。车辆控制器130包括用于控制加速度计、制动器、方向盘等的机器。车辆计算系统120连续地向车辆控制器130提供控制信号,从而致使自主车辆沿着所选择的路线行驶。
车辆计算系统120执行各种任务,包括处理由传感器收集的数据以及从在线HD地图系统110接收的地图数据。车辆计算系统120还处理数据以发送到在线HD地图系统110。车辆计算系统的细节在图2中示出并进一步结合图2进行描述。
车辆计算系统120与在线HD地图系统110之间的交互通常经由网络例如经由因特网执行。网络实现车辆计算系统120与在线HD地图系统110之间的通信。在一个实施方式中,网络使用标准通信技术和/或协议。通过网络交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外,可以使用诸如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、因特网协议安全性(IPsec)等的传统加密技术来对除了所有或一些链接进行加密。在另一实施方式中,实体可以使用代替或者上述之外的定制和/或专用数据通信技术。
图2示出了根据实施方式的车辆计算系统的系统架构。车辆计算系统120包括感知模块210、预测模块215、计划模块220、控制模块225、本地HD地图存储器275、HD地图系统接口280和HD地图应用程序接口(API)205。车辆计算系统120的各种模块处理各种类型的数据,包括传感器数据230、行为模型235、路线240和物理约束245。在其他实施方式中,车辆计算系统120可以具有更多或更少的模块。被描述为由特定模块实现的功能可以由其他模块实现。
感知模块210从车辆150的传感器105接收传感器数据230。这包括由汽车的相机、LIDAR、IMU、GNSS导航系统等收集的数据。感知模块210使用传感器数据来确定哪些对象在车辆周围、车辆行驶的道路的细节等。感知模块210处理传感器数据230以填充存储传感器数据的数据结构并将信息提供给预测模块215。
预测模块215使用被感知的对象的行为模型来解释由感知模块提供的数据,以确定对象是在移动还是可能移动。例如,预测模块215可以确定表示道路标志的对象不可能移动,然而被识别为车辆、人等的对象正在移动或者可能移动。预测模块215使用各种类型的对象的行为模型235来确定它们是否可能移动。预测模块215向计划模块200提供各种对象的预测,以计划车辆接下来需要采取的后续动作。
计划模块200从预测模块215、确定车辆的目的地的路线240以及车辆应当采取以到达目的地的路径来接收描述车辆的周围环境的信息。计划模块200使用来自预测模块215和路线240的信息来计划车辆在短时间间隔内例如在接下来的几秒内需要采取的一系列动作。在实施方式中,计划模块200将一系列动作指定为表示车辆接下来要行驶通过的附近位置的一个或更多个点。计划模块200将包括要由车辆采取的一系列动作的计划细节提供给控制模块225。计划可以确定车辆的后续动作,例如,车辆是否执行车道变换、转弯、通过增加速度的加速或者减速等。
控制模块225基于从计划模块200接收的计划确定用于发送到车辆的控制器130的控制信号。例如,如果车辆当前在点A并且计划指定车辆应该接下来去往附近的点B,则控制模块225确定控制器130的控制信号,该控制信号将使车辆以安全平稳的方式例如在不进行任何急转弯或不采取从A点到B点的锯齿形路径的情况下从A点去往B点。车辆所采取的从A点去往B点的路径可能取决于车辆的当前速度和方向以及B点相对于A点的位置。例如,如果车辆的当前速度高,则与缓慢行驶的车辆相比,车辆可以进行更宽的转弯。
控制模块225还接收物理约束245作为输入。这些包括该特定车辆的物理能力。例如,具有特定品牌和型号的汽车可能能够安全地进行具有不同品牌和型号的另一辆车可能不能够安全地进行的某些类型的车辆运动,例如加速和转弯。控制模块225在确定控制信号时结合这些物理约束。控制模块225将控制信号发送到车辆控制器130,车辆控制器130使车辆执行使车辆按计划移动的指定的一系列动作。每隔几秒不断重复上述步骤,以使车辆沿着为车辆计划的路线安全地行驶。
包括感知模块210、预测模块215和计划模块220的车辆计算系统120的各种模块接收地图信息以执行它们各自的计算。车辆100将HD地图数据存储在本地HD地图存储器275中。车辆计算系统120的模块使用提供可以被用于访问地图信息的模块调用的一组应用程序接口(API)的HD地图API 205与地图数据交互。HD地图系统接口280允许车辆计算系统120经由网络(图中未示出)与在线HD地图系统110交互。本地HD地图存储器275以HD地图系统110指定的格式存储地图数据。HD地图API205能够处理由HD地图系统110提供的地图数据格式。HD地图API 205提供具有用于与HD地图数据交互的接口的车辆计算系统120。HD地图API205包括若干个API,所述若干个API包括本地化API 250、地标地图API 255、路线API 265、3D地图API 270、地图更新API 285等。
本地化API 250确定例如当车辆启动时以及当车辆沿着路线移动时的车辆的当前位置。本地化API 250包括确定车辆在HD地图内的准确位置的本地化API。车辆计算系统120可以将该位置用作准确的相对定位,以进行其他查询,例如,在本文中进一步描述的特征查询、可导航空间查询和占用地图查询。本地化API接收包括由GNSS提供的位置、由IMU提供的车辆运动数据、LIDAR扫描仪数据和相机图像中的一个或更多个的输入。本地化API返回作为纬度和经度坐标的车辆的准确位置。与用作输入的GNSS坐标相比,本地化API返回的坐标更准确,例如,本地化API的输出可能具有5-10cm的精度范围。在一个实施方式中,车辆计算系统120调用本地化API以使用扫描仪数据基于LIDAR例如以10Hz的频率周期性地确定车辆的位置。如果GNSS/IMU数据以该速率可用,则车辆计算系统120可以调用本地化API来以更高的速率(例如,60Hz)确定车辆位置。车辆计算系统120存储位置历史记录作为内部状态,以提高后续本地化调用的准确性。位置历史记录存储从汽车关闭/停止的时间点开始的位置历史。本地化API 250包括基于HD地图生成指定车道的准确路线的本地化路线API。本地化路线API经由第三方地图将从源到目的地的路线作为输入,并基于HD地图生成表示为沿着输入路线的可导航车道的连通图的高精度路线。
地标地图API 255提供车辆周围的世界的几何和语义描述,例如,车辆当前行驶的车道的各个部分的描述。地标地图API 255包括允许基于地标地图的查询的API,例如,获取车道API和获取特征API。获取车道提供相对于车辆和获取特征API的车道信息。获取车道API接收位置例如使用车辆的纬度和经度指定的车辆的位置作为输入,并返回相对于输入位置的车道信息。获取车道API可以指定指示相对于检索到车道信息的输入位置的距离的距离参数。获取特征API接收识别一个或更多个车道元素的信息,并返回相对于指定车道元素的地标特征。对于每个地标,地标特征包括特定于地标类型的空间描述。
3D地图API 265提供对存储在本地HD地图存储器275中的道路的空间三维(3D)表示和道路周围的各种物理对象的有效访问。3D地图API 365包括获取可导航表面API和获取占用网格API。获取可导航表面API接收一个或更多个车道元素的标识符作为输入,并返回指定车道元素的可导航边界。获取占用网格API接收位置例如车辆的纬度和经度作为输入,并返回描述道路表面的占用的信息以及该位置附近的HD地图中可用的所有对象。描述占用的信息包括在地图中占用的所考虑的所有位置的分层体积网格。占用网格包括在可导航区域附近例如在路缘和凸起处的高分辨率的信息,以及在较不重要的区域中例如路缘以外的树木和墙壁的相对低的分辨率的信息。获取占用网格API对于检测障碍物并在必要时改变方向是有用的。
3D地图API还包括地图更新API,例如,下载地图更新API和上传地图更新API。下载地图更新API接收计划路线标识符作为输入,并下载与所有计划路线或特定计划路线相关的数据的地图更新。上传地图更新API将由车辆计算系统120收集的数据上传到在线HD地图系统110。这使得在线HD地图系统110能够基于沿着各种路线行驶的车辆的传感器观察到的地图数据的改变使存储在在线HD地图系统110中的HD地图数据保持最新。
当车辆沿着路线行驶时,路线API 270返回包括源和目的地之间的完整路线以及路线的一部分的路线信息。3D地图API 365允许查询HD地图。路线API 270包括添加计划路线API和得到计划路线API。添加计划路线API提供描述到在线HD地图系统110的计划路线的信息,使得描述相关HD地图的信息可以由车辆计算系统120下载并保持最新。添加计划路线API接收使用以纬度和经度表示的折线指定的路线以及指定可以删除路线数据之后的时间段的生存时间(TTL)参数作为输入。因此,添加计划路线API使得车辆指示在不久的将来车辆正在计划采取的路线作为自主行程。添加计划路线API将路线与HD地图对准、记录路线及其TTL值并确保存储在车辆计算系统120中的路线的HD地图数据是最新的。得到计划路线API返回计划路线列表,并提供描述路线标识符标识的路线的信息。
地图更新API 285管理与本地HD地图存储器275和存储在在线HD地图系统110中的HD地图存储器165的地图数据的更新有关的操作。因此,车辆计算系统120中的模块调用地图更新API 285,用于将数据从在线HD地图系统110下载到车辆计算系统120,以根据需要存储在本地HD地图存储器275中。地图更新API 285还使得车辆计算系统120能够确定由车辆传感器105监视的信息是否指示由在线HD地图系统110提供的地图信息中的差异并且将数据上传到在线HD地图系统110,这可以使在线HD地图系统110更新存储在HD地图存储器165中的被提供给其他车辆150的地图数据。
图4示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。不同的车辆制造商具有用于从车辆传感器105接收信息和用于控制车辆控制器130的不同指令。此外,不同的供应商提供具有自主驾驶功能例如车辆传感器数据的收集和分析的不同计算平台。用于自主车辆的计算平台的示例包括供应商提供的平台,例如NVIDIA、QUALCOMM和INTEL。这些平台提供自主车辆制造商在自主车辆制造中使用的功能。车辆制造商可以使用用于自主车辆的任一个或一些计算平台。在线HD地图系统110基于特定于车辆制造商的指令和特定于车辆的供应商特定平台的指令来提供用于处理HD地图的库。该库提供对HD地图数据的访问,并允许车辆与在线HD地图系统110交互。
如图3所示,在实施方式中,HD地图API被实现为包括车辆制造商适配器310、计算平台适配器320和公共HD地图API层330的库。公共HD地图API层包括可以跨多个车辆计算平台和车辆制造商使用的通用指令。计算平台适配器320包括特定于每个计算机平台的指令。例如,公共HD地图API层330可以调用计算平台适配器320以从特定计算平台支持的传感器接收数据。车辆制造商适配器310包括特定于车辆制造商的指令。例如,公共HD地图API层330可以调用由车辆制造商适配器310提供的功能,以将特定控制指令发送到车辆控制器130。
在线HD地图系统110存储用于多个计算平台的计算平台适配器320和用于多个车辆制造商的车辆制造商适配器310。在线HD地图系统110确定特定车辆制造商和特定自动驾驶车辆的特定计算平台。在线HD地图系统110为特定车辆制造商选择车辆制造商适配器310,并为该特定车辆的特定计算平台选择计算平台适配器320。在线HD地图系统110将所选择的车辆制造商适配器310和所选择的计算平台适配器320的指令发送到该特定自主车辆的车辆计算系统120。该特定自主车辆的车辆计算系统120安装所接收的车辆制造商适配器310和计算平台适配器320。车辆计算系统120周期性地检查在线HD地图系统110是否具有对所安装的车辆制造商适配器310和计算平台适配器320的更新。如果与安装在车辆上的版本相比可获得更近的更新,则车辆计算系统120请求并接收最新更新并安装它。
HD地图系统架构
图4示出了根据实施方式的HD地图系统的系统架构。在线HD地图系统110包括地图创建模块410、地图更新模块420、地图数据编码模块430、负载平衡模块440、地图准确度管理模块、车辆接口模块和HD地图存储器165。在线HD地图系统110的其他实施方式可以包括比图4中所示更多或更少的模块。指示由特定模块执行的功能可以由其他模块实现。在实施方式中,在线HD地图系统110可以是包括多个处理器的分布式系统。
地图创建模块410根据从沿着各种路线行驶的多个车辆收集的地图数据来创建地图。地图更新模块420通过从最近沿着地图信息被改变的路线行驶的车辆接收更近的信息来更新先前计算的地图数据。例如,如果由于区域中的建造,某些道路标志已经改变或者车道信息已经改变,则地图更新模块420相应地更新地图。地图数据编码模块430对地图数据进行编码以能够有效地存储数据和有效地将所需的地图数据发送到车辆150。负载平衡模块440平衡车辆之间的负载以确保从车辆接收数据的请求均匀地分布在不同的车辆之间。即使从各个车辆接收的信息可能不具有高准确度,然而地图准确度管理模块450仍使用各种技术保持地图数据的高准确度。
图5示出了根据实施方式的HD地图的部件。HD地图包括若干地理区域的地图。地理区域的HD地图510包括地标地图(LMap)520和占用地图(OMap)530。地标地图包括描述车道的包括车道的空间位置的信息和关于每个车道的语义信息。车道的空间位置包括高精度例如等于或低于10cm精度的纬度、经度和高度上的几何位置。车道的语义信息包括诸如方向、速度、车道类型(例如,直行车道、左转车道、右转车道、出口车道等)的限制、向左横穿的限制、到其他车道的连接等。地标地图还可以包括描述停止线、让行线、人行横道的空间位置、安全可导航空间、减速带的空间位置、路缘和包括与行驶限制相关的所有标志的空间位置和类型的道路标志的信息。在HD地图中描述的道路标志的示例包括停车标志、交通灯、速度限制、单向、不进入、让行(车辆、行人、动物)等。
占用地图530包括道路的空间三维(3D)表示以及道路周围的所有物理对象。存储在占用地图530中的数据在本文中也被称为占用网格数据。3D表示可以与指示对象存在于位置处的可能性的置信度分数相关联。占用地图530可以以多种其他方式表示。在一个实施方式中,占用地图530表示为覆盖表面的3D网格几何形状(三角形的集合)。在另一实施方式中,占用地图530表示为覆盖表面的3D点的集合。在另一实施方式中,使用5-10cm分辨率的3D体积单元网格来表示占用地图530。每个单元指示在该单元处是否存在表面,并且如果表面存在,则朝向沿着表面的方向。
与地标地图520相比,占用地图530可以占用大量存储空间。例如,占用地图530可以使用lGB/Mile的数据,使美国地图(包括4百万英里的道路)占用4×1015字节或4千兆字节。因此,在线HD地图系统110和车辆计算系统120使用数据压缩技术以能够存储和传输地图数据,从而降低存储和传输成本。因此,在本文中公开的技术使得可以自动驾驶自主车辆。
在一个实施方式中,HD地图不需要或依赖于通常包括在地图中的数据,例如地址、道路名称、地理编码地址的能力和计算地名或地址之间的路线的能力。车辆计算系统120或在线HD地图系统110访问其他地图系统,例如谷歌地图以获得该信息。因此,车辆计算系统120或在线HD地图系统110从诸如谷歌地图的工具接收导航指令到路线中并且基于HD地图信息将信息转换为路线。
HD地图中的地理区域
在线HD地图系统110将大的物理区域划分为地理区域并存储每个地理区域的表示。每个地理区域表示由几何形状例如矩形或正方形界定的连续区域。在实施方式中,在线HD地图系统110将物理区域划分为相同大小的地理区域,而与存储每个地理区域的表示所需的数据量无关。在另一实施方式中,在线HD地图系统110将物理区域划分为不同大小的地理区域,其中每个地理区域的大小是基于表示地理区域所需的信息量来确定的。例如,表示具有大量街道的人口稠密区域的地理区域表示与表示具有非常少街道的人口稀疏区域的地理区域相比的较小物理区域。因此,在该实施方式中,在线HD地图系统110基于存储与HD地图相关的物理区域的各种元素所需的信息量的估计来确定地理区域的大小。
在实施方式中,在线HD地图系统110表示使用对象或数据记录的地理区域,该对象或数据记录包括各种属性,所述各种属性包括地理区域的唯一标识符、地理区域的唯一名称、例如使用纬度和经度坐标的边界框的地理区域的边界的描述以及地标特征和占用网格数据的集合。
图6A至图6B示出了根据实施方式的在HD地图中定义的地理区域。图6A示出了方形地理区域610a。图6B示出了两个相邻的地理区域610a和610b。在线HD地图系统110以地理区域的表示存储数据,其在当车辆跨地理区域边界行驶时实现从一个地理区域平滑过渡到另一地理区域。
根据实施方式,如图6所示,每个地理区域具有围绕其的预定宽度的缓冲区。缓冲区包括地理区域的所有4个侧周围的冗余地图数据(在地理区域由矩形界定的情况下)。图6A示出了地理区域610a周围50米的缓冲区的边界620和地理区域610a周围100米的缓冲区的边界630。当车辆跨越该缓冲区内的阈值距离时,车辆计算系统120将车辆的当前地理区域从一个地理区域切换到相邻的地理区域。例如,如图6B所示,车辆在地理区域610a中的位置650a处启动。车辆沿着路线行进以到达位置650b,在达位置650b处它跨越地理区域610的边界但是停留在缓冲区的边界620内。因此,车辆计算系统120继续使用地理区域610a作为车辆的当前地理区域。一旦车辆跨越位置650c处的缓冲区的边界620,车辆计算系统120就将车辆的当前地理区域从地理区域610a切换到610b。由于车辆沿着紧密跟随地理区域的边界的路线行驶,缓冲区的使用阻止了车辆的当前地理区域的快速切换。
HD地图中的车道表示
HD地图系统100表示HD地图中的街道的车道信息。尽管在本文中描述的实施方式涉及街道,但是技术适用于高速公路、小巷、大道、林荫大道或车辆可以行驶的任何其他路径。HD地图系统100使用车道作为参考系,用于选择路线和车辆的定位。由HD地图系统100表示的车道包括明确标记的车道,例如白色黄色带车道,例如在没有线路或路缘但具有两个行驶方向的乡村道路上隐含的车道和用作车道的隐含路径,例如,转弯车从另一车道进入车道时所产生的路径。HD地图系统100还存储关于车道的信息,例如,诸如相对于车道的道路标志和交通灯的地标特征、用于障碍物检测的相对于车道的占用网格和相对于车道的可导航空间,因此车辆可以在当车辆必须在车道外进行计划外的移动时的紧急情况下有效地计划/做出反应。因此,HD地图系统100存储车道网络的表示,以允许车辆计划源和目的地之间的合法路径,并添加参考系以实时感测和控制车辆。HD地图系统100存储信息并提供API,API使得车辆能够确定车辆当前所在的车道、相对于车道几何形状的精确车辆位置和相对于车道和相邻连接车道的所有相关特征/数据。
图7示出了根据实施方式的HD地图中的车道表示。图7示出了交通路口处的车辆710。HD地图系统为车辆提供对与车辆的自动驾驶相关的地图数据的访问。这包括例如与车道相关联的特征720a和720b,但可能不是与车辆最接近的特征。因此,HD地图系统100存储表示车道与特征的关系的数据的以车道为中心的表示,使得车辆可以在给定车道的情况下有效地提取特征。
HD地图系统100将车道的一部分表示为车道元素。车道元素指定车道的边界和各种约束,所述各种约束包括车道元素内的车辆可以行驶的合法方向、车道元素内的车辆可以行驶的速度、车道元素是否仅用于左转或右转等。HD地图系统100将车道元素表示为单个车辆车道的连续几何部分。HD地图系统100存储表示车道元素的对象或数据结构,所述车道元素包括表示车道的几何边界;沿着车道的行驶方向;用于在车道中行驶的车辆限制,例如,速度限制、与包括进出车道的连接车道的关系;终止限制,例如,车道是否在停止线处、让行标志处或减速带处终止;以及与自主驾驶相关的道路特征的关系,例如交通灯位置、道路标志位置等的信息。
由HD地图系统100表示的车道元素的示例包括:高速公路上的一条右车道、道路上的一条车道、左转车道、从左转车道进入另一车道的转弯、从入口匝道进入的合并车道、从出口匝道进入的出口车道,以及私人车道。HD地图系统100表示使用每个方向一个的两个车道元素的一车道道路。HD地图系统100表示类似于一车道道路共享的中间转弯车道。
图8A至图8B示出了根据实施方式的HD地图中的车道元素和车道元素之间的关系。图8A示出了道路中的T形交叉路口的示例,其示出了经由转弯车道810b连接到车道元素810c并且经由转弯车道810d连接到车道810e的车道元素810a。图8B示出了道路中的Y形交叉路口的示例,其示出了直接连接到车道810h并且经由车道810g连接到车道810i的标签81f。HD地图系统100将从源位置到目的地位置的路线确定为可以被遍历以从源位置到达目的地位置的一系列连接车道元素。
坐标系统
图9A至图9B示出了根据实施方式的由HD地图系统使用的坐标系。其他实施方式可以使用其他坐标系。
在实施方式中,HD地图系统使用图9A中所示的车辆坐标系,使得X轴的正方向是车辆的前向方向,在面向前方时Y轴的正方向位于车辆的左侧,并且Z轴的正方向向上。所有轴代表例如使用米的距离。坐标系的原点位于汽车中心附近的地面上,使得原点的z坐标值位于地面上以及x坐标和y坐标值在汽车的中心附近。在实施方式中,原点的X,Y坐标位于汽车的LIDAR传感器的中心。
在另一实施方式中,HD地图系统使用图9B中所示的LIDAR坐标系,使得在面向前方时X轴的正方向位于车辆的左侧,Y轴的正方向是车辆的前向方向,并且Z轴的正方向向上。所有轴代表例如使用米的距离。坐标系的原点位于LIDAR的圆盘设备的物理中心。
在校准阶段期间,HD地图系统确定坐标变换Tl2c以将LIDAR坐标系映射到车辆坐标系。例如,给定点Plidar,可以通过执行变换Pcar=Tl2c*Plidar来获得车辆P中的对应点。点表示P用于对准和处理。
点云解开
图10示出了根据实施方式的由HD地图系统进行的LIDAR点云解开的过程。LiDAR安装在移动的车辆上。因此,LIDAR在进行扫描时正在移动。例如,在每小时65英里的行驶速度下,每次扫描期间,10HZ的LIDAR采样可以行进最多达3.5米。HD地图系统补偿LIDAR的运动,以将原始LIDAR扫描数据转换为与现实世界一致的点云。
为了恢复在特定时间戳处相对于LiDAR的位置的周围环境的真实3D点云,HD地图系统在扫描环境的过程期间执行被称为解开的过程以补偿LiDAR的运动。
假设LiDAR在扫描期间移动的运动为T。LiDAR波束经由其在距离图像中的行和列索引来识别。HD地图系统得到每个LiDAR波束相对于扫描开始时间的相对定时。HD地图系统使用线性运动插值来根据其相对于开始时间的插值运动来移动每个LiDAR波束。在为每个LiDAR波束添加该附加运动补偿之后,HD地图系统将静态世界环境恢复为解开的点云。
根据不同的实施方式,存在不同方式来在每次扫描的过程期间估计LiDAR的相对运动(T),即解开变换。在一个实施方式中,HD地图系统使用GNSS-IMU(全球定位系统-惯性测量单元)数据进行解开。在另一实施方式中,HD地图系统使用原始的连续LiDAR点云来运行逐对点云配准。在另一实施方式中,HD地图系统执行全局对准,然后计算来自相邻LiDAR姿势的相对变换。
全局对准
给定轨迹集合(包括GNSS-IMU和LiDAR数据),HD地图系统执行融合GNSS-IMU和LiDAR数据以计算每个LiDAR帧的全局一致的车辆姿势(位置和方向)的全局对准。利用全局车辆姿势,HD地图系统将LiDAR帧合并为一致的统一的点云,根据该一致的统一的点云可以构建3D HD地图。
图11示出了根据实施方式的全局对准模块的系统架构。全局对准模块包括姿势图更新模块1110、逐对对准模块1120、ICP结果过滤器模块1130、表面分类模块1140、姿势图优化模块1150、分布式执行模块1160、未对准热点检测模块1160、GNSS姿势先验处理模块1170和姿势图存储器1180。结合在本文中描述的各种过程进一步描述每个模块的功能。
单轨迹成对对准
图12(A)示出了根据实施方式的单个轨迹逐对对准过程。在实施方式中,单个逐对对准过程由逐对对准模块1120执行。HD地图系统将每个数据集合数据组织为轨迹。轨迹数据至少包括GNSS-IMU和LiDAR数据。单个轨迹对准是执行以下步骤的预处理步骤:(1)接收1205单个轨迹数据(1)执行1210LiDAR到车辆校准变换;(2)基于GNSS-IMU和LiDAR数据的时间戳执行1215它们的同步;(3)移除1220静态样本,例如,当车辆停在交通灯处时所取的样本;(4)计算1225运动补偿的解开变换;(5)通过计算同一轨迹内的点云之间的逐对配准来执行1230逐对对准。HD地图系统还执行1235ICP结果过滤器。
当车辆停止例如在红色交通灯处时,LiDAR测量是多余的。HD地图系统通过预先过滤轨迹样本来移除静止点云样本。HD地图系统保留每个轨迹的第一样本。当且仅当它们与通过其GNSS位置测量的先前非静态样本的距离超过以米测量的特定阈值(例如,0.1米)时,HD地图系统将后续样本识别为非静态样本。尽管GNSS测量并不总是准确的并且可能具有突然跳跃,但是HD地图系统使用GNSS位置来过滤掉静态样本,因为GNSS测量是全局一致的。作为比较,来自全局LiDAR姿势的相对位置可以在每次计算全局优化时变化,从而产生不稳定的非静态样本。
解开变换是扫描过程期间的相对运动(即,从扫描的开始时间到结束时间)。因此,HD地图系统始终使用连续的LiDAR样本来估计解开变换。例如,HD地图系统需要计算非静态样本i的解开变换,HD地图系统使用即时样本(i+1)来计算该解开变换,即使样本(i+1)可能不是非样本。
HD地图系统使用原始LiDAR点云预先计算解开变换。基本假设是可以通过仅使用原始LiDAR点云运行点到面的ICP来估计正确的运动。对于稳定运动(即,速度或旋转速率没有变化),该假设通常是正确的。在该假设下,解开变换对相关点云具有相同的效果,因此,忽略它仍然提供来自两个原始点云的合理运动估计。
为了计算非静态样本i的解开变换,HD地图系统找到其连续的LiDAR样本(i+1),并使用以下设置运行点到面的ICP:(1)源点云:LiDAR样本i+1(2)目标点云:LiDAR样本i。HD地图系统估计法线并构造目标点云的空间索引数据结构(KD树),并使用点到面ICP计算源点云的相对变换作为解开变换。对于ICP处理的初始猜测,HD地图系统使用来自GNSS-IMU的运动估计。用于计算解开变换的ICP可能不能收敛。在这种情况下,HD地图系统忽略非静态样本。
一旦计算出所有非静态样本的解开变换,则HD地图系统使用解开变换来对所有相关点云进行运动补偿,使得它们与现实世界一致。HD地图系统计算相同轨迹非静态样本之间的逐对点云对准。对于每个非静态轨迹样本,HD地图系统使用搜索半径来查找其他附近的单轨迹非静态样本。HD地图系统将有关样本组织成用于ICP计算的ICP对的列表。每个ICP对可以经由并行计算框架独立计算。对于每个ICP对,首先使用源点云和目标点云的相应的解开变换解开源点云和目标点云,然后将其作为输入提供给点到面ICP处理以获得它们的相对变换。
逐对点到面ICP处理计算变换矩阵(T),并且还将6DOF(自由度)变换的置信度报告为6×6信息矩阵。例如,如果6DOF的运动估计是[tx,ty,tz,侧倾,俯仰,偏摆],则6×6信息矩阵(Q)是为每个维度提供置信度度量的协方差矩阵的逆。例如,如果汽车沿x轴进入长走廊,则点到面ICP不能准确确定沿x轴的相对运动,因此,HD地图系统向信息矩阵中的与tx对应的元素分配低置信度值(即tx的大方差)。
交叉轨迹逐对对准
为了合并来自不同轨迹的LiDAR样本,HD地图系统计算来自不同轨迹的LiDAR样本的环路闭合逐对变换。对于每个非静态样本,HD地图系统在半径内搜索来自其他轨迹的附近非静态样本。相关样本被组织成ICP对的列表,用于ICP计算。每个ICP对可以通过并行计算框架独立计算。对于每个ICP对,首先使用相应的解开变换解开源和目标点云,然后将其馈送到点到面ICP以获得它们的相对变换。
在完成所有逐对对准后,HD地图系统执行全局姿势优化并解决以下问题。
给定来自多个轨迹的N个样本的集合{Samplei}及它们在这些样本中的相对变换{Tij,i∈[1...N],j∈[1...N]}和相应的信息矩阵{Ωij,i∈[1...N],j∈[1...N]},HD地图系统为每个样本{xi,i∈[1...N]}计算全局一致姿势的集合,使得逐对转换之间的不一致性被最小化:
图12(B)示出了根据实施方式的全局对准过程。在完成单个轨迹对准后,全局对准模块400出于环路闭合目的通过对来自不同轨迹的LiDAR样本执行1245交叉轨迹逐对对准来执行全局对准。HD地图系统将单个轨迹逐对对准结果和交叉轨迹逐对对准结果组合,以构建全局姿势图。HD地图系统重复执行1255全局姿势优化并执行1260结果的审核和手动改进。HD地图系统经由全局姿势图优化确定1270最终车辆姿势。
生成姿势图
在实施方式中,执行全局优化作为姿势图的处理。HD地图系统使用节点来表示所有可用样本({Vi=xi})的每个样本的姿势。边缘是逐对变换和用于节点之间的逐对变换的相应信息矩阵({Eij={Tijij}})。
图13示出了根据实施方式的姿势图的可视化。全局姿势优化的目标是优化姿势图中每个节点的姿势,使得它们的相对逐对变换尽可能接近根据逐对ICP计算的由相应的信息矩阵加权的变换。这可以使用以下等式在数学上表达:
其中,是根据全局姿势计算的节点i和节点j之间的逐对变换;是根据全局姿势计算出的逐对变换与根据ICP计算出的逐对变换相比的差异;以及
是来自边缘eij的由全局姿势与由信息矩阵Ωij加权的逐对ICP之间的不一致性引起的误差项。ICP结果的置信度越高,则因而误差项越高。
将姿势先验添加到姿势图
上面的姿势图优化增加了由于逐对变换而引起的约束,因此,对所有节点的任何全局变换仍然是优化的有效解决方案。在实施方式中,因为GNSS测量通常是全局一致的,所以HD地图系统尽可能接近地保持姿势与GNSS测量一致。因此,HD地图系统选择节点子集(P),并使与它们相对应的GNSS姿势的全局姿势差异最小化。
图14示出了根据实施方式的包括基于GNSS的姿势先验的姿势图的可视化。如图14所示,将一元边缘添加到姿势图中节点的子集。示出为粉红色节点的点1410是添加到相应的图节点的姿势先验。
添加全局姿势先验等同于在节点子集上添加正则化项:xi:是添加到节点xi的全局GNSS姿势先验,并且是当前姿势xi与其姿势先验/>之间的姿势差异;Ωii:是全局姿势先验的强度或置信度。该信息越大,为该全局姿势先验添加的权重越大。根据各种实施方式,有多种方式来选择姿势先验的样本子集:(1.)以固定距离间隔从每个轨迹中选择样本(2.)执行随机采样(3.)每纬度/经度边界框选择一个节点。实施方式可以基于GNSS姿势和逐对对准的质量来调整节点子集的创建。例如,选择过程可以有利于选择具有高质量姿势的GNSS节点或者增加具有低质量逐对对准的区域中的采样密度。
HD地图系统确定全局姿势先验的置信度,其类似于GNSS姿势的置信度度量。可以使用估计的误差方差的逆来测量置信度。因此,HD地图系统将姿势中较低的方差与较高的置信度相关联。HD地图系统在执行用于估计位置的GNSS计算时确定位置误差方差。HD地图系统通过考虑诸如卫星的相对位置和到每个卫星的距离的残余误差等的因素来确定位置误差方差。HD地图系统将完整姿势(位置和方向)误差方差确定为用于将GNSS姿势与其他传感器数据(例如,IMU、磁力计、视觉测距等)组合的计算的副产品。在实施方式中,HD地图系统使用输出具有每个姿势估计的误差方差的卡尔曼滤波器。HD地图系统确定估计的姿势与GNSS和IMU数据越一致,则姿势中的预期误差方差越低并且我们的置信度越高。位置和姿势误差方差都是集成GNSS/IMU设备的标准输出。
姿势图优化
HD地图系统执行姿势图的初始化以用于正确的收敛。姿势图优化是非线性优化,其中可能存在多个局部最小值。HD地图系统使用GNSS姿势初始化姿势图中的所有姿势。虽然每个GNSS姿势可能完全偏离,但是GNSS测量提供了姿势误差的全局界限。初始化姿势图之后,HD地图系统使用非线性求解器优化整个姿势图。
自动构造的姿势图可能由于缺少环路闭合边缘或非平面结构,例如立交桥、多层车库等而容易出错。HD地图系统通过检查具有全局姿势的合并的点云的锐度来指定操作员验证全局优化的姿势。HD地图系统还允许操作员手动添加环路闭合边缘以改善姿势图质量。在完成手动审核过程后,优化具有添加的手动边缘的新姿势图,使得可以产生更准确的全局姿势集。为了自动识别HD地图系统需要手动审核或改进的位置,HD地图系统提供自动对准热点检测。
总体对准过程
图15示出了根据实施方式的用于执行姿势图优化的过程的流程图。过程的各个步骤可以由姿势图优化模块1150和GNSS姿势先验处理模块1170执行。HD地图系统在姿势图存储器1180中存储1500姿势图。姿势表示车辆的位置和方向。HD地图系统收集轨迹数据,每个轨迹数据包括由沿着路线行驶的车辆收集的传感器数据,例如,LIDAR帧表示由安装在自主车辆上的LIDAR收集的距离图像。姿势图中的两个姿势之间的边缘连接两个相关联的节点,例如,表示车辆沿着路线从其收集传感器数据的连续位置的节点。
GNSS姿势先验处理模块1170从姿势图中选择1510节点子集。对于子集的每个节点,GNSS姿势先验处理模块1170执行步骤1520和1530。GNSS姿势先验处理模块1170识别1520与节点对应的GNSS姿势。GNSS姿势先验处理模块1170使节点与GNSS姿势之间的全局姿势差异最小化1530。
姿势图优化模块1150使用姿势图执行1540姿势图优化。HD地图系统合并传感器数据,例如LIDAR帧,以生成一致的统一的点云。HD地图系统使用点云生成高清晰度地图。
ICP结果的过滤
传统的ICP技术不保证收敛到全局最优解。实际上,如果对ICP算法的初始猜测不良,则ICP可能会陷入局部最小值并返回不正确的变换。因此,实施方式使用质量控制方法对每个ICP结果进行评级,并去除不良的ICP结果。HD地图系统基于ICP计算期间可以收集的各种统计数据,对ICP结果使用自动QA方法。
在每个ICP的最后迭代中,HD地图系统从当前的对应关系集合C={ci|ci=[si→(di,ni)]}中收集统计数据。从这些对应关系中,HD地图系统收集以下统计数据:(1)对应关系之间的平均签名距离误差。(2)对应关系之间签名的点到面的误差的方差。(3)对应关系之间签名距离误差分布的直方图。由于变换是在6D参数空间(用于平移的三个自由度(3DOF)和用于旋转的3DOF),故HD地图系统将代价函数近似为二次代价,如下式所示:
其中,xT=[tx,ty,tz,侧倾,俯仰,偏摆]是可以生成4x4变换矩阵的6D向量,并且被称为ICP信息矩阵。信息矩阵揭示了ICP优化的每个维度的不确定性。对于ICP信息矩阵,HD地图系统计算以下属性:条件数和特征值。
除了统计数据之外,HD地图系统还计算ICP结果与相应的GNSS-IMU姿势之间的姿势差异。对于每个ICP结果,HD图系统计算ICP结果与逐对姿势之间的姿势差异,该逐对姿势根据ICP结果与根据GNSS-IMU计算的逐对姿势之间的GNSS-IMU姿势差异来计算。姿势差异可以概括为6D向量:[delta_x,delta_y,delta_z,delta_侧倾,delta_俯仰,delta_偏摆]。该6D向量也被添加到SVM ICP结果分类器的特征向量中。
结合ICP信息矩阵的统计和分析,HD地图系统为每个ICP形成特征向量,包括以下特征:平均签名距离误差、方差签名距离误差、误差直方图、条件数、特征值、GNSS-IMU姿势之间的差异和其他可能的特征,例如视觉测距之间的差异。HD地图系统首先构建一组人工验证的地面真实ICP结果数据集,并计算每个ICP结果的特征向量。该特征向量的集合使得HD地图系统能够训练二进制分类器,例如SVM分类器,其可以根据相应的特征向量预测当前ICP结果正确的概率。训练的机器学习模型(例如,SVM模型)报告每个ICP结果正确的概率,这使得HD地图系统能够过滤掉不良的ICP结果,并且告知人工贴标签机可能需要手动调整的不良的ICP结果。
图16示出了根据实施方式的基于机器学习的ICP结果过滤器的系统架构。ICP结果过滤器480包括训练模块1610、ICP结果过滤器模型1620、特征提取模块1630和训练数据存储器1640。训练数据存储器1640存储用于训练ICP结果过滤器模型1620的训练数据。特征提取模块1630从存储在训练数据存储器1640中的数据或者从接收以用于使用ICP结果过滤器模型1620进行处理的输入数据中提取特征。训练模块1610使用存储在训练数据存储器1640中的训练数据来训练ICP结果过滤器模型1620。
图17示出了根据实施方式的用于训练基于机器学习的ICP结果过滤器的模型的过程。训练模块1610接收1700多个数据集,所述多个数据集包括根据由车辆的传感器捕获的数据确定的区域的3D表示。
训练模块1610重复步骤1610、1620、1630、1640和1650。训练模块1610确定1710地理区域中的多个对象的第一3D表示和第二3D表示。训练模块1610基于迭代最近点(ICP)技术确定1720用于将第一3D表示映射到第二3D表示的变换。特征提取模块1630基于特定ICP结果提取1730包括特征的特征向量。训练模块1610从用户接收1750用于ICP结果的标签。训练模块1610将带标签的ICP结果存储在训练数据存储器1740中。
训练模块1610训练基于机器学习的ICP结果过滤器模型1620,ICP结果过滤器模型1620被配置成生成指示输入的ICP结果是否需要手动验证的分数。
图18示出了根据实施方式的使用基于机器学习的模型执行ICP结果过滤器的过程。ICP结果过滤器模块480接收1800由在该区域中行驶的自主车辆的传感器捕获的地理区域的一部分的传感器数据。
ICP结果过滤器模块480重复步骤1810、1820、1830、1840和1850以执行全局姿势优化。ICP结果过滤器模块480确定1810区域的一部分中的多个对象的第一3D表示和第二3D表示。ICP结果过滤器模块480基于迭代最近点(ICP)技术确定1820用于将第一3D表示映射到第二3D表示的变换。ICP结果过滤器模块480基于ICP结果提取1830包括特征的特征向量。ICP结果过滤器模块480提供1840特征向量作为基于机器学习的ICP结果过滤器模型1820的输入以用于确定指示ICP结果的正确性的分数。如果分数指示结果不准确,则ICP结果过滤器模块480提供用于手动验证的结果。在一些实施方式中,结果验证由自动代理执行,例如由专家系统执行。
HD地图系统基于手动验证接收结果,并基于全局姿势优化生成1860HD图。
全局对准的分布式执行
为了创建覆盖大地理区域例如大城市的地图,姿势图可以包含具有大量边缘的数十亿个样本。实际上不可能在单个计算机器上执行姿势图优化。HD地图系统的实施方式实现分布式方法以优化大姿势图。
图19(A-B)示出了根据实施方式的将姿势图划分为用于姿势图优化的分布式执行的子图。如图19(A)所示,给定大姿势图1900,HD地图系统将姿势图分成不相交的子图1910。对于每个子图1910,HD地图系统以一些余量扩展其边界,如图19所示。因此,每个子图包含作为由该特定子图处理的节点的核心节点1920的集合。另外,它还在缓冲区中具有周围的缓冲节点1930。在缓冲区的边界上,HD地图系统具有固定的边界节点。
如图19(B)所示,HD地图系统将整个姿势图1900划分为大量子图1910,其中,所有子图的核心节点1920的并集覆盖原始姿势图中的所有节点。以下过程以分布式方式优化姿势图。
图20示出了根据实施方式的用于分布式处理姿势图的过程。在实施方式中,该过程的步骤由分布式执行模块1160执行。HD地图系统接收2000姿势图的节点和边缘。姿势图中的节点表示样本的姿势,并且姿势图中的边缘表示对中的节点之间的逐对变换。分布式执行模块1160将姿势图划分2010为多个姿势子图,每个姿势子图包括核心姿势子图部分和边界姿势子图部分,如图19所示。分布式执行模块1160在多个处理器上分发2020子图,每个处理器被分配有相邻姿势子图的集合。HD地图系统100使用多个处理器并行地执行2030全局姿势图优化。
图21示出了根据实施方式的用于分布式优化姿势图的过程。对于每个姿势子图,HD地图系统重复以下步骤。在边界节点姿势在迭代之间改变或者跨边界节点的改变化的总度量大于阈值的情况下,重复以下步骤。HD地图系统在保持边界节点固定的同时优化2100姿势子图。HD地图系统根据相邻姿势子图更新2110边界节点。HD地图系统确定2120边界节点的改变量。如果边界节点没有改变或者边界节点的改变量低于阈值,则HD地图系统标记2130子图优化完成。
HD地图系统将姿势图切割成具有不相交核心节点的子姿势的的方式影响了相交姿势图的收敛速度。子姿势图在本文中也被称为姿势子图。存在长反馈环,其中错误以波形弹跳,致使边界节点在大量迭代中发生变化。各种实施方式。各种实施方式利用不同的候选再划分策略来解决问题。根据实施方式,HD地图系统基于纬度/经度边界框来再划分姿势图。该策略可能产生大量的边界节点,这会减慢收敛速度。在另一实施方式中,HD地图系统基于图形切割来再划分姿势图。例如,HD地图系统可以在长路段的中心处切割姿势图。这使得边界节点的数量最少。
在另一实施方式中,HD地图系统在交叉路口处切割姿势图。由于交叉路口中的样本通常良好受约束于许多边缘,故在交叉路口处切割姿势图可以致使边界节点的快速收敛,从而加速分布式姿势图优化。通常,在实施方式中,HD地图系统识别大量具有由车辆返回的样本的地理区域部分,并将姿势图划分为子图,使得边界通过这样的区域。使子图的边界通过具有大量样本的地理区域部分致使更快的收敛。
全局对准的增量处理
HD地图系统使得能够将轨迹数据增量添加到构造和优化的姿势图。这使得能够定期更新姿势图并将其结合到HD地图中。
图22示出了说明根据实施方式的对姿势图的增量更新的过程的示例。
图22示出了包括轨迹{轨迹1,轨迹2,......,轨迹N}的现有姿势图G0。在收集新轨迹之后,新轨迹集合被添加到图形G0中,HD地图系统将这些M个{轨迹N+1,轨迹N+2,......,轨迹N+M}添加到现有姿势图以获得包括所有N+M个轨迹的新姿势图G
图23示出了说明根据实施方式的对姿势图的增量更新的过程的流程图。在实施方式中,过程的各个步骤由增量姿势图更新模块1110执行并在在线HD地图系统110中执行。
HD地图系统生成2300包括轨迹的集合S1{轨迹1,轨迹2,......,轨迹N}的姿势图G0。在实施方式中,使用如图20和图21所示的过程生成并优化姿势图G0。HD地图系统接收2310新轨迹的集合S2{轨迹N+1,轨迹N+2,......,轨迹N+M}以添加到现有姿势图G0
HD地图系统在包括轨迹Tx和Ty的轨迹对之间执行2320逐对对准,使得从M个新轨迹的集合S2中选择Tx和Ty。因此,HD地图系统为新轨迹执行单个轨迹解开变换和单个轨迹逐对变换。
HD地图系统在轨迹对(Tp,Tq)之间执行2330逐对对准,使得从集合S1中选择Tp并且从集合S2中选择Tq。因此,HD地图系统通过将新轨迹彼此相关联以及将新轨迹与现有轨迹相关联来执行交叉轨迹逐对对准。如图22所示,除了计算M个新轨迹之间的交叉轨迹逐对对准之外,HD地图系统还计算新轨迹与现有N个轨迹的交叉轨迹逐对对准。利用新的单个轨迹和交叉轨迹逐对对准结果,HD地图系统构建新姿势图G,其中G的节点是G0中的所有样本与新轨迹中的所有样本的并集。G的边缘包括G0的边缘和新计算的单个轨迹和交叉轨迹逐对ICP结果。
HD地图系统在来自集合S1和S2的轨迹上执行2340姿势图优化。在一个实施方式中,HD地图系统执行姿势图的优化而不改变用于轨迹{轨迹1,轨迹2,......,轨迹N}的现有样本的姿势。因此,在姿势图优化期间,HD地图系统冻结轨迹{轨迹1,轨迹2,......,轨迹N}的现有样本的姿势。因此,HD地图系统仅优化新轨迹样本姿势。
在另一实施方式中,HD地图系统对轨迹{轨迹1,轨迹2,......,轨迹N}的现有样本姿势进行改变。因此,HD地图系统启动整个新的全局优化过程而不冻结任何节点姿势。在这种情况下,全局优化类似于姿势图G的新的全局优化。
HD地图系统在姿势图存储器2280中存储2350更新的姿势图。HD地图系统使用更新的姿势图来更新HD地图并向在适当的区域中行驶的车辆提供更新的HD地图。
姿势图的修补
由于姿势图的质量,由HD地图系统生成的优化姿势可能并非对于姿势图中的所有节点是准确的。有时,由于缺少环路闭合边缘或插入错误的ICP边缘,优化结果可能在小区域中是不正确的。在这些情况下,HD地图系统接收来自用户例如人类操作员的输入。接收到的输入使得有问题的区域被标记有纬度/经度边界框。随后,例如,手动地固定该纬度/经度边界框内的姿势图的一部分。
在实施方式中,HD地图系统呈现显示纬度/经度边界框内的姿势图的一部分的用户界面。HD地图系统通过用户界面接收移除被识别为不正确的边缘的请求或接收添加新的经验证的边缘的请求。
在基于经由用户界面接收的请求执行姿势图编辑之后,HD地图系统重新优化姿势图并为边界框内的所有节点生成正确的姿势。在实施方式中,HD地图系统在执行编辑的姿势图的优化时不改变纬度/经度边界框外的姿势。因此,HD地图系统在姿势图优化期间冻结纬度/经度边界框外的节点的姿势。因此,HD地图系统仅优化和更新指定的纬度/经度边界框内的样本姿势。在另一实施方式中,HD地图系统开始全新的全局优化而不冻结任何节点姿势。在这种情况下,全局优化类似于对编辑的姿势图执行新的全局优化。
在实施方式中,HD地图系统允许弃用旧轨迹。假设当前姿势图G0被优化,HD地图系统仅移除相应的轨迹样本和连接到它们的所有边缘。结果是没有弃用样本的较小姿势图。在这种情况下,HD地图系统响应于弃用轨迹而不执行姿势图优化。
基于表面分类为硬/软的逐对对准
HD地图系统计算两个邻近样本之间的相对逐对变换。给定两个点云,HD地图系统使用点到面ICP(即,迭代最近点)处理来获得它们的相对变换和相应的置信度估计,其使用是协方差矩阵的逆的信息矩阵来表示。
HD地图系统如下执行点到面ICP处理。HD地图系统将被称为源点云和目标点云的两个点云识别为对周围环境的稀疏观测,并使用ICP处理来找到将源点云从其局部坐标系变换为目标点云的坐标系的期望变换。由于数据的稀疏性,源点云和目标点云不可能在环境中采样完全相同的点。因此,对于稀疏的LiDAR点云,简单的点到点的ICP很容易产生误差。通常,环境,特别是在驾驶场景下,通常具有大量的平坦表面。在这些情况下,在基本ICP处理中使用点到面误差度量会产生更鲁棒的变换估计。
图24示出了根据实施方式的由HD地图系统执行的ICP处理。给定对应关系,HD地图系统执行使以下成本函数最小化得点到面ICP:
其中,(ni,di)是目标点云中的点,其中ni是点di处的估计的表面法线,并且si是源点云中的对应点;wi是分配给每个对应关系的权重,其对于最简单的加权策略被设置为1.0,并且可以具有针对其他加权方案的不同自适应。优化问题通过调整变换T来使从源到目标的点到面误差的总和最小化。在每次迭代中,经由最邻近搜索来更新对应关系。
HD地图系统利用不同的置信度度量来处理不同点的法线估计。例如,HD地图系统将道路表面或建筑物表面的法线与高置信度相关联,将树叶或灌木丛的法线与低置信度相关联,因为这些不是稳定的平面结构。在正常计算期间,除了计算每个位置处的法向量之外,HD地图系统还通过估计相邻点的分布来估计每个法线的置信度(或鲁棒性)。可以从LiDAR距离图像获得相邻点。
图25示出了根据实施方式的由HD地图系统对LiDAR距离图像上的点云法线的估计。图25示出了形成LIDAR点云的LIDAR扫描的波束。图25还示出了对应的LIDAR距离图像。
在执行点到面ICP时由HD地图系统执行的步骤之一是可靠地估计目标点云的表面法线。在一个实施方式中,HD地图系统经由对特定半径上的p的相邻点的统计分析来估计特定点p处的表面法线。这是具有挑战性的,因为在自主驾驶车辆中使用的大多数LiDAR具有有限数量的激光束。收集的LiDAR点云对于利用相同激光束收集的点具有更高的点密度,并且在不同的激光束之间更稀疏。点密度的这种不均匀分布导致传统邻近搜索的麻烦。因此,较小的搜索半径使得难以在相同的激光束内找到相邻者,其大部分位于线而不是平面上。另一方面,包括来自不同行的相邻点的大搜索半径也可以包括来自其他平面表面的点。本发明的实施方式解决了这些问题并且允许估计LIDAR范围扫描的法线。
HD地图系统将LiDAR点云的测量编码为距离图像,其中,行和列对预校准的俯仰角和偏摆角进行编码,并且像素值对到障碍物的距离进行编码。为了解决基于最邻近者的法线估计的挑战,HD地图系统直接在LiDAR距离图像上估计点云法线。该技术具有以下优点:(1)更可靠,因为它解决了每个激光束内和激光束之间的点密度差异。(2)更有效,因为邻近搜索在图像网格上非常快,并且不需要额外的空间搜索结构,例如K-D树。
图26示出了根据实施方式的用于通过由HD地图系统确定LiDAR距离图像上的点云法线的过程。HD地图系统接收2600由安装在特定地理区域中行驶的车辆上的LIDAR捕获的LIDAR数据。
对于每个点P,HD地图系统执行以下步骤2630、2640和2650。HD地图系统确定2630LiDAR距离图像中的数据点的四个直接相邻者,所述四个直接相邻者至少距离最小阈值距离:p,p,p和p。如果缺少顶相邻者和底相邻者,或缺少左相邻者和右相邻者,则HD地图系统确定法线是空值。
HD地图系统基于直接相邻者根据数据点确定2640水平和垂直向量。HD地图系统根据p及其四个相邻者确定最合适的水平和垂直向量水平向量被计算如下,并以类似的方式计算垂直向量。如果/>均存在,则系统检查它们的角度。如果系统确定角度太大(即,大于预定阈值),则系统将较短的向量视为/>否则系统将平均值视为/>
HD地图系统将数据点的法线确定2650为水平和垂直向量和/>的交叉积。在实施方式中,将法向量调整为指向LiDAR中心。
图27示出了根据实施方式的用于基于表面分类为硬/软来执行逐对对准的过程。流程图中所示的各种步骤可以通过除了在本文中指出的模块之外的模块来执行。可以以与在本文中指出的顺序不同的顺序执行某些步骤。
全局对准模块400确定2700地理区域的一部分的多个3D表示。3D表示可以是点云表示,但可以是用于对3D对象和结构建模的任何其他机制。地理区域的一部分的多个3D表示包括地理区域的一部分的第一3D表示R1和第二3D表示R2。地理区域的一部分可以包括多个结构或对象,例如,建筑物、树木、栅栏、墙壁等。
表面分类模块1140确定2710与数据点相关联的指示与数据点对应的表面的硬度度量的置信度度量。表面分类模块1140将诸如建筑物和墙壁等的结构和对象视为与诸如树木等的结构或诸如生物等的对象相比的相对硬的表面。表面分类模块1140基于与结构表面上的点返回的LIDAR信号相关联的各种标准来确定结构表面的硬度度量。在实施方式中,每个标准与分数相关联。表面硬度的度量被确定为与表面相关联的分数的加权总和。用于确定结构表面的硬度度量的标准是表面上的点的法向量的分布。确定结构表面的硬度的另一标准是由表面反射的光的颜色。例如,表面分类模块1140将某些颜色识别为指示植被,例如绿色。因此,表面分类模块1140将具有这种颜色的表面与作为诸如树或任何类型的植被的软表面的高可能性相关联。表面分类模块1140使用的另一标准是表面返回的激光信号的强度。表面分类模块1140将由表面返回的较高强度的信号关联为硬表面的指示。在实施方式中,提取与点或表面相关联的各种特征作为特征向量,并将其提供给基于机器学习的模型,以确定指示表面硬度水平的分数。在实施方式中,基于机器学习的模型是将表面分类为硬表面或软表面的分类器。在实施方式中,使用描述由车辆的传感器捕获的表面的标记样本来训练基于机器学习的模型。下面结合图28、图24和图26进一步描述确定置信度的度量的进一步细节。
表面分类模块1140通过基于每个数据点的置信度度量来对数据点进行加权,基于迭代最近点(ICP)技术确定2730用于将第一3D表示映射到第二3D表示的变换T。确定HD地图系统100通过使用变换T组合第一3D表示R1和第二3D表示R2来确定2740地理区域的高清晰度地图。HD地图系统100存储高清晰度地图。HD地图系统100使用高清晰度地图用于自主车辆的驾驶。
图27中描述的过程是基于启发式的并且可能不测量结构的实际硬度。例如,树的硬雕像将被归类为软表面,即使它是刚性的且不可移动的。然而,技术在实践中提供了准确的结果,因为遇到与软表面非常相似的雕像或刚性结构的可能性很低。因此,统计上,在实践中遇到的大多数结构和物体的结果是准确的。
图28示出了根据实施方式的用于确定沿着表面的点的置信度的度量以用于逐对对准的过程。表面分类模块1140识别结构表面上的点。表面分类模块1140确定与点对应的表面处的法线。表面分类模块1140确定表面的相邻点的法线的分布的度量。分布的度量可以是统计度量,例如方差或标准差。表面分类模块1140将表面处的点的置信度的度量确定为与表面的相邻点的法线的分布的度量逆相关的值。因此,表面分类模块1140在例如,墙壁、建筑物等的表面的相邻点的法线分布中具有低方差的点中分配指示高置信度的分数。类似地,表面分类模块1140在例如树的表面的相邻点的法线分布中具有高方差的点中分配指示低置信度的分数。
图29示出了根据实施方式的用于确定点的置信度的度量的过程。对于具有估计的法线的每个点P重复图29的处理。表面分类模块1140初始化2910计数器N=0和变量V=0。对于距离图像的矩形窗口中的点P的相邻区域中的每个点Pi执行步骤2920和2930。表面分类模块1140使用等式/>确定2920点Pi的点到面距离di。表面分类模块1140将di与阈值进行比较以确定距离是否低于阈值。如果距离值di被确定为低于阈值,则表面分类模块1140将di的平方与变量V的值相加,即,V=V+di 2,并且例如通过执行N++将N递增1。
表面分类模块1140将方差的值确定2940为V/N。表面分类模块1140将点P的置信度的度量确定2950为方差的函数。在实施方式中,法向量的置信度的度量被确定为置信度其中,σ是参数。表面分类模块1140确定每个法线的置信度值,并将置信度值组合成每个ICP代价的权重,使得较高权重对应于高法线置信度,如以下等式所示:
minTiwi|ni·(T·si-di)|2,其中,
在一些实施方式中,除了经由法线置信度对每个对应关系进行加权之外,HD地图系统还经由基于对应点之间的距离对对应关系进行加权来实现对噪声和异常值的进一步鲁棒性。给定对应关系HD地图系统通过Lorentz函数经由对应的点到面误差对对应关系进行加权:
Lorentz函数用于惩罚错误的对应关系,从而使结果具有鲁棒性。在一些实施方式中,表面分类模块1140将Lorentz的权重与法线置信度相乘作为每个对应关系的最终权重。
软表面在本文中也被称为软景观表面,并且硬表面在本文中被称为硬景观表面。表面具有可以是硬的或软的表面类型。具有硬表面类型的表面是硬表面,例如,墙壁,并且具有软表面类型的表面是软表面,例如树。
HD地图系统使用置信度度量作为表面分类器,其中,“硬景观”表面具有高置信度并且“软景观”具有低置信度。HD地图系统使用此硬景观/软景观分类方法来避免在一次扫描中将硬景观点与另一次扫描中的软景观匹配,并使用置信度权重来强制执行该约束。
HD地图系统将硬景观表面与更高的置信度相关联,因为它们通常在对准上比软景观点更有价值。这是因为当LIDAR扫描诸如墙壁的硬表面时,它返回一组干净、结构良好的点。因此匹配墙壁的两次扫描相当容易。但是当它扫描软景观(诸如灌木丛)时,点非常嘈杂,并且具有复杂的随机结构,这取决于信号进入灌木丛的深度、叶子定向的方式等。因此,当HD地图系统尝试匹配灌木丛的两次扫描时,HD地图系统可能会减少法线的权重并仅使用这些点。
通常,将硬景观与硬景观匹配提供了强大的约束,并且由HD地图系统以更大的权重进行加权。将软景观与软景观匹配是有用的,但具有较弱的约束,因为一次扫描可能会击中一片叶子,并且第二次扫描可能会击中不同但在附近的叶子。因此,与硬景观到硬景观表面匹配相比,HD地图系统利用更低的权重对软景观到软景观表面匹配进行加权。此外,HD地图系统对硬景观到软景观匹配的权重最小,因为这表示匹配错误。
因此,与具有不同表面类型的点相比,如果点具有匹配表面类型的表面,则HD地图系统通过将对应点加权得较高来确定用于将第一3D表示映射到第二3D表示的变换。在实施方式中,如果点在具有匹配的硬度度量的表面上,则HD地图系统将对应点加权得较高。因此,如果两个表面的硬度度量在彼此的阈值内,则两个表面具有匹配的硬度度量。此外,与均在软表面上的点相比,如果点均在硬表面上,则HD地图系统将对应点加权得较高。
未对准热点的检测
在HD地图系统执行全局对准之后,通常存在需要进一步分析的潜在对准问题,例如,人工或使用自动化工具的质量保证。人工或自动化工具可以进一步提供用于改进对准数据的输入。然而,覆盖大面积的HD地图中存在的数据量是巨大的。因此,例如通过使用人工操作员对整个地图进行QA来对整个地图进行详细的后续分析是不切实际的。HD地图系统的实施方式实现自动未对准热点检测过程以自动识别对准问题的区域。因此,仅对所识别的热点而不是整个HD地图执行后续分析。这提高了完成HD地图的过程的效率,并提高了结果的质量。例如,HD地图需要在阈值时间量内完成,以能够提供用于沿着路线行驶的车辆。如果HD地图的验证和完成过程花费很长时间,则由于从各种自主车辆接收的更新而对HD地图的改变不能传播到沿着路线行驶的其他车辆。实施方式使得HD地图的验证过程和QA有效,从而使得能够向沿着各种路线适时行驶的后续车辆提供HD地图。
实施方式自动识别需要例如以人工QA的形式进一步分析和验证的以下情况。HD地图系统经由未对准热点检测过程进行检测:(1)道路的非平面交叉:例如,上下通道、桥梁等。LIDAR样本具有非常小的重叠,因此难以使用ICP来对准,而需要人工将它们对准以保证全局姿势的一致性。(2)远程环路闭合:由于缺少重叠的点云,ICP可能失效,因此HD地图系统不会自动对准彼此远离(例如,超过25米)的点云。由于典型的LiDAR具有非常大的范围(~100m),点云可能仍然有重叠。在这种情况下,HD地图系统通过在相距很远但仍然具有一些重叠部分的点云之间添加约束来向用户发送信息以手动闭合环路。(3)引起OMap中的未对准地面、未对准垂直平面墙壁等的对准误差。
检测未对准热点的整体过程
之后图30示出了根据实施方式的用于基于未对准热点的自动检测来生成高清晰度地图的过程。在实施方式中,由在线HD地图系统110例如由全局对准模块460执行图30中所示的各个步骤。在其他实施方式中,处理的一些步骤可以由车辆计算系统120执行。
HD地图系统100从行驶通过地理区域的多个车辆的传感器接收3000数据。例如,多个车辆可以在同一条道路上行驶并且发送传感器数据,所述传感器数据包括由安装在汽车上的相机捕获的图像、LIDAR扫描数据等。HD地图系统100基于所接收的数据执行3010点云的对准。例如,基于从车辆V1接收的传感器数据确定的地理区域的一部分的点云可以与基于从车辆V2接收的传感器数据确定的地理区域的相同部分的点云稍微不同。全局对准模块460执行不同点云表示的对准以生成地理区域的总点云表示。因此,全局对准模块460基于所接收的传感器数据生成区域的三维表示。
未对准热点检测模块1160识别3030地理区域的三维表示中的未对准热点。在本文中进一步详细描述了热点检测模块1160使用的用于识别3030未对准热点的各种技术。在实施方式中,HD地图系统100构建3040突出显示各种未对准热点的地理区域的视觉表示,例如,视觉表示可以是热地图图表。HD地图系统100经由客户端设备的显示器的用户界面呈现3050视觉表示。在实施方式中,HD地图系统100经由用户界面接收3060修改地理区域的高清晰度地图的请求。例如,用户可以查看视觉表示并分析热点以识别对准的问题,然后对表示对准结果的数据进行校正。在另一实施方式中,自动代理,例如,专家系统可以执行对3030所识别的未对准热点的分析,以推荐对HD地图数据的修改或者自动地对地理区域的HD地图数据进行修改。
在实施方式中,未对准热点检测模块1160基于环路闭合数据检测未对准。未对准热点检测模块1160检测非平面交叉道路和远程环路闭合边缘。对于两种情况,给定两个任意样本,未对准热点检测模块1160计算它们的图形距离(即,通过遍历姿势图确定的最短路径距离)与它们的测地距离即两点之间的直线距离之间的比率。如果比率高,则未对准热点检测模块1160确定存在以下高可能性:两个点云具有重叠部分,但是不具有环路闭合逐对变换。因此,未对准热点检测模块1160将这些部分指示为未对准热点。
在另一实施方式中,未对准热点检测模块1160检测地理区域的三维表示中的未对准地面。完全对准的地面应该是单层节点,但是实践由全局对准模块400确定的对准地面节点具有非零值的厚度。未对准热点检测模块1160确定厚的地面节点层指示不良的对准,而薄层指示良好的对准。因此,未对准热点检测模块1160将未对准的可能性确定为与地理区域的一部分中的代表地面的层的厚度直接有关的值。
图31示出了根据实施方式的用于检测在点云中表示的表面的未对准的过程。图31所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别地理区域的三维表示例如点云表示中的表面3100。例如,表面可以代表地面或墙壁。未对准热点检测模块1160确定3110所识别表面的法线。未对准热点检测模块1160沿着法线方向和与法线相反的方向识别3120点云表示内的数据点。未对准热点检测模块1160选择3130可能表示所识别的表面的点簇,例如,未对准热点检测模块1160可以对所识别的数据点进行聚类,并选择表示接近所识别的表面的最邻近点的簇。
在实施方式中,未对准热点检测模块1160以最接近所识别的表面的所识别的数据点开始。未对准热点检测模块1160通过将数据点添加到集合来构建数据点的集合,如果它们在集合内的至少一个其他数据点的阈值距离内的话。当最近的数据到所选择的数据点集合大于阈值距离时,未对准热点检测模块1160。
未对准热点检测模块1160确定3140沿着法线的被确定为表示表面的所选择的数据点之间的最大距离。未对准热点检测模块1160将在沿着表面的在特定数据点处的未对准的度量确定QX50为与沿着与在表面上该特定数据点对应的法线的所选择的数据点之间的确定3140的最大距离直接相关或直接成比例的值。
图32示出了根据实施方式的对在点云中表示的地面的未对准的检测。在OMap构建过程中,HD地图系统将插值的地面点获取到垂直列的临时存储器中。当HD地图系统获取所有地面点,基于该垂直列中的所有z坐标值计算平均高度值(沿Z轴)。未对准热点检测模块1160确定平均z值,并将地面表示的厚度确定为在垂直列内的z坐标的最大值(max_z)与z坐标的最小值(min_z)之间的差值。未对准热点检测模块1160使用沿垂直列的地面厚度的度量作为未对准的指示。因此,未对准热点检测模块1160将表示未对准可能性的分数确定为与max_z和min_z值之间的差值成正比(或直接相关)的值。在一个实施方式中,未对准热点检测模块1160使用一个字节(0-255)来表示未对准的可能性,0表示完全对准的地面,255表示diff(max_z,min_z)>=50cm。例如,节点z值的列表可以是[12,13,14,16],节点z的平均值是14(13.75几乎等于14),并且diff(max_z,min_z)=4。每个节点约为5厘米,因此转换为公制值,diff为20厘米。未对准热点检测模块1160将一个字节值确定为(255*20/50.0)=100(近似)。
图33示出了根据实施方式的用于检测点云中表示的地面的未对准的过程。图31所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别3300表示区域的三维表示中的地面表面的一部分的节点。未对准热点检测模块1160将与节点对应的多个数据点映射3310到三维表示内的垂直列。假设地面的法线处于垂直方向,即Z轴。垂直列包括通过改变z坐标值而具有相同x和y坐标值的数据点。未对准热点检测模块1160确定3320多个数据点中的最大z坐标和最小z坐标值。未对准热点检测模块1160基于与最大z坐标值与最小z坐标值之间的差成比例的值来确定3330对于地面的一部分的未对准的度量。
图34示出了根据实施方式的用于检测在点云中表示的垂直表面的未对准的过程。图34所示的过程是图30所示的步骤3030的实施方式。未对准热点检测模块1160识别3400地理区域的三维表示中的非地面节点。未对准热点检测模块1160识别3410表示垂直平面表面的数据点。在实施方式中,未对准热点检测模块1160使用平面分割技术来识别3410表示垂直平面表面的数据点。
未对准热点检测模块1160对于垂直表面的每个节点或对于垂直表面的至少节点的子集重复以下的步骤3420、步骤3430、步骤3440和步骤3450。未对准热点检测模块1160识别3420垂直表面的法线。法线表示水平面中的向量。未对准热点检测模块1160沿法线方向和与法线相反的方向识别数据点。未对准热点检测模块1160选择具有相同z坐标值的与垂直表面接近的数据点的簇。未对准热点检测模块1160将节点处的未对准的度量确定3450为与簇内的最远点之间的距离成比例的值。
未对准热点检测模块1160还确定每个垂直节点列的平均未对准度量。未对准热点检测模块1160将结果转换为2D热图图像,因此每个图像像素表示一个垂直列的未对准的平均概率。
图35示出了说明根据实施方式的垂直结构例如在点云中表示的墙壁的未对准的检测的示例。类似于地面对准,未对准热点检测模块1160将墙壁处理为薄的垂直平面层。但是,未对准会导致重复且厚的墙壁层。未对准热点检测模块1160识别未对准的墙壁或任何垂直表面内的部分。HD地图系统通过将每个节点的中心视为点来将构建的OMap处理为点云。未对准热点检测模块1160获得非地面节点,因为它们表示垂直表面。未对准热点检测模块1160使用平面分割算法来获得所有平面表面,例如,基于子窗口的区域增长(SBRG)算法。由于点云是从OMap转换的,故不包括所有临时障碍点(例如汽车)。未对准热点检测模块1160将分割点标记为墙壁或垂直表面。
根据实施方式,未对准热点检测模块1160执行以下步骤。在以下描述中,地理区域的三维表示中的点被称为节点。未对准热点检测模块1160将所有墙壁节点标记为未知。
未对准热点检测模块1160针对每个未知墙壁节点执行以下步骤。未对准热点检测模块1160获得节点的法线。沿着法线方向和反方向,未对准热点检测模块1160找到相同的z水平中的最小x坐标(min_x)、最大x坐标(max_x)、最小y坐标(min_y)和最大y坐标(max_y)。找到的节点的法线应与正在处理的当前墙壁节点的法线相匹配。目的不是选择墙壁节点的另一侧。在实施方式中,未对准热点检测模块1160构建所有墙壁节点的KD树。对于正在处理的当前墙壁节点,未对准热点检测模块1160搜索在阈值距离(例如,1米)内的所有墙壁节点。未对准热点检测模块1160识别墙壁节点的最邻近点。热点检测模块1160基于某些标准排除(或跳过)一些点。如果节点z坐标不同,则未对准热点检测模块1160排除该点。如果当前节点的法线与相邻节点的法线之间的角度大于阈值,则未对准热点检测模块1160排除该点。如果从相邻节点到当前节点的向量方向与当前节点的法线不平行,则未对准热点检测模块1160排除该点。如果需要,未对准热点检测模块1160更新min_x、max_x、min_y和max_y值。未对准热点检测模块1160将最邻近节点标记为DONE。
未对准热点检测模块1160使用min_x、max_x、min_y和max_y来计算距离以指示未对准厚度。例如,min_x=2、max_x=5、min_y=10、max_y=20,产生10.4的距离,其大致等于52(10.4*5cm)厘米。类似于地面未对准概率值,在实施方式中,HD地图系统使用一个字节来表示该值。HD地图系统将所有这些节点从未知标记为DONE,因此不需要再次计算它们。
在完成所有墙壁节点之后,未对准热点检测模块1160针对每个垂直列确定该垂直列中的所有墙壁节点的平均未对准概率,并将该值分配给垂直列。为了确定未对准概率的平均值,未对准热点检测模块1160将同一垂直列中的所有墙壁节点未对准概率值相加。未对准热点检测模块1160将所产生的值除以该垂直列中的墙壁节点的总数,以获得平均的未对准概率。
在实施方式中,未对准热点检测模块1160将垂直列概率或地面未对准概率导出为作为热图的2D图像。例如,未对准热点检测模块1160可以将高概率的未对准着色为红色,并且将对准良好的x、y位置着色为绿色。HD地图系统向用户提供生成的热图,以使得用户能够可视地检查OMap并关注被识别为具有高概率的未对准的区域。
生成的热图还可以用于通过使用下面描述的方法生成热点位置。该过程适用于地面未对准概率和墙壁未对准概率热图。当生成2D热图时,HD地图系统通过使用n x n移动窗口(例如,n=5)根据其确定热点位置。如果超过50%(当n=5时,实际数字为13,25*0.5=12.5)像素值大于100(意味着未对准大约20厘米。255*20cm/50cm=102),热点的纬度/经度被导出到输出。因此,最终结果是热点纬度/经度位置的列表,其被提供给审核工具以使得操作员能够审核那些位置的数据并手动检查对准。
根据另一实施方式,在保持聚类直径的约束大约为10m(即,类似于对准采样的比例的值)的情况下,通过使用合并相邻簇的聚类算法来对大于100的像素值进行聚类来识别热点。HD地图系统为每个簇生成热点并将其导出到审核工具。
计算机器架构
图36是示出能够从机器可读介质读取指令并在处理器(或控制器)中执行它们的示例机器的部件的框图。具体地,图36示出了计算机系统3600的示例形式的机器的图形表示,在所述计算机系统3600内可以执行用于使机器执行在本文中所讨论的任何一种或多种方法的指令3624(例如,软件)。在替选实施方式中,机器作为独立设备操作或者可以被连接(例如,联网)到其他机器。在联网部署中,机器可以在服务器客户端网络环境中以服务器机器或客户端机器的功能来运行,或者作为对等(或分布式)网络环境中的对等机器运行。
机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能手机、web设备、网络路由器、交换机或网桥,或能够执行指定该机器要采取的动作的指令3624(顺序或以其他方式)的任何机器。此外,虽然仅示出了单个机器,但术语“机器”还应被视为包括单独或联合执行指令3624以执行在本文中所讨论的任一种或更多种方法的机器的任何集合。
示例计算机系统3600包括处理器3602(例如,中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或这些的任何组合)、主存储器3604和静态存储器3606,其被配置成经由总线3608彼此通信。计算机系统3600还可以包括图形显示单元3610(例如,等离子体显示板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。计算机系统3600还可以包括也被配置成经由总线3608进行通信的字母数字输入设备3612(例如,键盘)、光标控制设备3614(例如,鼠标、轨迹球、操纵杆、运动传感器或其他指向仪器)、存储单元3616、信号发生设备3618(例如,扬声器)和网络接口设备3620。
存储单元3616包括机器可读介质3622,其上存储有体现在本文中描述的方法或功能中的任一个或更多个的指令3624(例如,软件)。指令3624(例如,软件)也可以在由计算机系统3600、主存储器3604和也构成机器可读介质的处理器3602执行期间完全或至少部分地驻留在主存储器3604内或处理器3602内(例如,在处理器的高速缓存存储器内)。可以经由网络接口设备3620在网络3626上发送或接收指令3624(例如,软件)。
虽然在示例实施方式中将机器可读介质3622示为单个介质,但是术语“机器可读介质”应当被视为包括能够存储指令(例如,指令3624)的单个介质或多个介质(例如,集中式或分布式数据库,或者相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储用于由机器执行的指令(例如,指令3624)并且使机器执行在本文中公开的任一种或更多种方法的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据存储库。
附加配置考虑
已经出于说明的目的呈现了本发明的实施方式的前述描述;它并非旨在穷举或将本发明限制于所公开的确切形式。相关领域的技术人员可以理解,根据以上公开内容,许多修改和变化是可能的。
例如,尽管在本文中描述的技术应用于自主车辆,但是该技术也可以应用于其他应用,例如,用于显示具有驾驶员的车辆的HD地图、用于在诸如移动电话、笔记本电脑、平板电脑或任何具有显示屏的计算设备的客户端设备的显示器上显示HD地图。在本文中显示的技术还可以应用于例如在计算机游戏中显示用于计算机模拟目的的地图等。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述本发明的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述,但应理解为由计算机程序或等效电路、微代码等实现。此外,在不失一般性的情况下,将这些操作的安排称为模块,有时也证明是方便的。所描述的操作及其相关联的模块可以体现为软件、固件、硬件或其任何组合。
在本文中描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或更多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块用包括含有计算机程序代码的计算机可读介质的计算机程序产品实现,计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。
本发明的实施方式还可以涉及用于执行在本文中的操作的装置。该装置可以针对所需目的而专门构造,和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中,并且耦接到计算机系统总线。此外,说明书中提到的任何计算系统可以包括单个处理器,或者可以是采用多个处理器设计以提高计算能力的架构。
本发明的实施方式还可以涉及体现在载波中的计算机数据信号,其中计算机数据信号包括计算机程序产品或在本文中描述的其他数据组合的任何实施方式。计算机数据信号是以有形介质或载波呈现并在有形的载波中调制或以其他方式编码的产品,并且根据任何合适的传输方法传输。
最后,说明书中使用的语言主要是出于可读性和指导目的而选择的,并且其可以不被选择用于描绘或限制本发明的主题。因此,本发明的范围旨在不受该详细描述的限制,而是受基于其的申请提交的任何权利要求的限制。

Claims (19)

1.一种用于生成高清晰度地图以在驾驶自主车辆时使用的方法,所述方法包括:
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据;
生成姿势图,其中,所述姿势图的每个节点表示车辆的姿势,所述姿势包括车辆的位置和方向,并且其中,节点对之间的每个边表示所述节点对中的节点之间的变换;
从所述姿势图中选择节点子集,其中从所述姿势图中选择所述节点子集包括:
识别具有高质量的全球导航卫星系统GNSS姿势的节点;以及
增加选择所识别出的与具有较低质量的GNSS姿势的节点相比的节点的可能性;
对于所述节点子集中的每个节点,识别与所述节点对应的GNSS姿势;
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化;
合并由多个自主车辆捕获的传感器数据,以生成地理区域的点云表示;
基于所述点云表示来生成高清晰度地图;以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。
2.根据权利要求1所述的方法,其中,所述传感器数据包括LIDAR距离图像。
3.根据权利要求1所述的方法,还包括:
在与单个轨迹相关联的节点对之间执行逐对对准,其中,轨迹表示与车辆通过路线的单次行驶对应的数据集合,所述数据包括具有相关联的传感器数据的姿势序列。
4.根据权利要求3所述的方法,还包括:
执行节点对之间的逐对对准,其中,从第一轨迹中选择所述对中的第一节点,并且从第二轨迹中选择所述对中的第二节点。
5.根据权利要求4所述的方法,还包括:
执行逐对对准的结果的过滤以确定结果是否需要进一步审核。
6.根据权利要求5所述的方法,其中,所述逐对对准的结果的过滤是使用基于机器学习的模型来执行的,所述基于机器学习的模型被配置成预测指示逐对对准的结果是否需要进一步审核的分数。
7.根据权利要求1所述的方法,还包括:
响应于确定传感器数据的一个或更多个样本是被静止车辆捕获的来移除所述样本。
8.根据权利要求1所述的方法,其中,从所述姿势图中选择所述节点子集包括:沿着捕获与所述节点对应的传感器数据的自主车辆行进的路径以固定距离间隔来选择节点。
9.根据权利要求1所述的方法,其中,从所述姿势图中选择所述节点子集包括:从所述姿势图中随机选择节点。
10.根据权利要求1所述的方法,其中,从所述姿势图中选择所述节点子集包括:
基于纬度值和经度值确定边界框;以及
从每个边界框中选择节点。
11.根据权利要求1所述的方法,其中,从所述姿势图中选择所述节点子集包括:
识别具有低质量的逐对对准的区域;以及
增加所识别出的区域中的采样频率。
12.一种非暂态计算机可读存储介质,其存储指令,所述指令用于:
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据;
生成姿势图,其中,所述姿势图的每个节点表示车辆的姿势,所述姿势包括所述车辆的位置和方向,并且其中,节点对之间的每个边缘表示所述节点对中的节点之间的变换;
从所述姿势图中选择节点子集,其中从所述姿势图中选择所述节点子集包括:
识别具有高质量的全球导航卫星系统GNSS姿势的节点;以及
增加选择所识别出的与具有较低质量的GNSS姿势的节点相比的节点的可能性;
对于所述节点子集中的每个节点,识别与所述节点对应的GNSS姿势;
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化;
合并由多个自主车辆捕获的传感器数据,以生成地理区域的点云表示;
基于所述点云表示来生成高清晰度地图;以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。
13.根据权利要求12所述的非暂态计算机可读存储介质,其中所存储的指令用于进一步:
在与单个轨迹相关联的节点对之间执行逐对对准,其中,轨迹表示与车辆通过路线的单次行驶对应的数据集合,所述数据包括具有相关联的传感器数据的姿势序列。
14.根据权利要求13所述的非暂态计算机可读存储介质,其中所存储的指令用于进一步:
执行节点对之间的逐对对准,其中,从第一轨迹中选择所述对中的第一节点,并且从第二轨迹中选择所述对中的第二节点。
15.根据权利要求14所述的非暂态计算机可读存储介质,其中所存储的指令用于进一步:
执行逐对对准的结果的过滤以确定结果是否需要进一步审核,其中,所述逐对对准的结果的过滤是使用基于机器学习的模型来执行的,所述基于机器学习的模型被配置成预测指示逐对对准的结果是否需要进一步审核的分数。
16.根据权利要求12所述的非暂态计算机可读存储介质,其中所存储的指令用于进一步:
响应于确定传感器数据的一个或更多个样本是被静止车辆捕获的来移除所述样本。
17.一种计算机系统,包括:
电子处理器;以及
非暂态计算机可读存储介质,其存储可由所述电子处理器执行的指令,所述指令用于:
接收由行驶通过地理区域中的路径的多个车辆捕获的传感器数据;
生成姿势图,其中,所述姿势图的每个节点表示车辆的姿势,所述姿势包括所述车辆的位置和方向,并且其中,节点对之间的每个边缘表示所述节点对中的节点之间的变换;
从所述姿势图中选择节点子集,其中从所述姿势图中选择所述节点子集包括:
识别具有高质量的全球导航卫星系统GNSS姿势的节点;以及
增加选择所识别出的与具有较低质量的GNSS姿势的节点相比的节点的可能性;
对于所述节点子集中的每个节点,识别与所述节点对应的GNSS姿势;
基于使所述子集的节点中的每个节点与对应的GNSS姿势之间的姿势差异最小化的约束来执行所述姿势图的优化;
合并由多个自主车辆捕获的传感器数据,以生成地理区域的点云表示;
基于所述点云表示来生成高清晰度地图;以及
将所述高清晰度地图发送到一个或更多个自主车辆以用于在所述地理区域中进行导航。
18.根据权利要求17所述的计算机系统,其中所存储的指令用于进一步:
在与单个轨迹相关联的节点对之间执行逐对对准,其中,轨迹表示与车辆通过路线的单次行驶对应的数据集合,所述数据包括具有相关联的传感器数据的姿势序列。
19.根据权利要求18所述的计算机系统,其中所存储的指令用于进一步:
执行节点对之间的逐对对准,其中,从第一轨迹中选择所述对中的第一节点,并且从第二轨迹中选择所述对中的第二节点。
CN201780086520.0A 2016-12-30 2017-12-28 对准由自主车辆捕获的数据以生成高清晰度地图 Active CN110832279B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662441080P 2016-12-30 2016-12-30
US62/441,080 2016-12-30
PCT/US2017/068840 WO2018126083A1 (en) 2016-12-30 2017-12-28 Alignment of data captured by autonomous vehicle to generate high definition maps

Publications (2)

Publication Number Publication Date
CN110832279A CN110832279A (zh) 2020-02-21
CN110832279B true CN110832279B (zh) 2023-12-29

Family

ID=62708473

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780085785.9A Active CN111108342B (zh) 2016-12-30 2017-12-27 用于高清地图创建的视觉测程法和成对对准
CN201780085792.9A Active CN110832348B (zh) 2016-12-30 2017-12-27 用于自主车辆的高清晰度地图的点云数据丰富
CN201780086520.0A Active CN110832279B (zh) 2016-12-30 2017-12-28 对准由自主车辆捕获的数据以生成高清晰度地图

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201780085785.9A Active CN111108342B (zh) 2016-12-30 2017-12-27 用于高清地图创建的视觉测程法和成对对准
CN201780085792.9A Active CN110832348B (zh) 2016-12-30 2017-12-27 用于自主车辆的高清晰度地图的点云数据丰富

Country Status (3)

Country Link
US (13) US10837773B2 (zh)
CN (3) CN111108342B (zh)
WO (3) WO2018125938A1 (zh)

Families Citing this family (321)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US10491879B2 (en) * 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
DE102016205868A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs mittels speziell ausgewählter und von einem Backend-Server übertragener Landmarken
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
DE102016209625A1 (de) * 2016-06-01 2017-12-07 Continental Teves Ag & Co. Ohg Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera
RU2647670C1 (ru) * 2016-09-27 2018-03-16 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений
RU2728836C2 (ru) 2016-10-28 2020-07-31 Ппг Индастриз Огайо, Инк. Покрытия для увеличения расстояния обнаружения до объекта, обнаруживаемого с помощью электромагнитного излучения ближнего инфракрасного диапазона
CN111108342B (zh) 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
KR20210111890A (ko) * 2017-01-05 2021-09-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. Hd 지도의 생성 및 사용
WO2018132605A1 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
WO2018142496A1 (ja) * 2017-02-01 2018-08-09 株式会社日立製作所 三次元計測装置
FR3062834B1 (fr) * 2017-02-16 2019-04-12 IFP Energies Nouvelles Procede de determination d'une zone atteignable par un vehicule au moyen d'un modele dynamique et d'un graphe adjoint
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
WO2018180285A1 (ja) * 2017-03-31 2018-10-04 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体
EP3388972B1 (en) * 2017-04-13 2020-08-26 Aptiv Technologies Limited A method and a device for generating an occupancy map of an environment of a vehicle
US10650270B2 (en) * 2017-04-21 2020-05-12 X Development Llc Methods and systems for simultaneous localization and calibration
US10489663B2 (en) * 2017-04-24 2019-11-26 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment
US10916076B2 (en) * 2017-04-25 2021-02-09 Ford Global Technologies, Llc Method and apparatus for adaptive vehicle route-related data gathering
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10862970B2 (en) * 2017-06-16 2020-12-08 Ford Global Technologies, Llc Call-ahead downloading to vehicles
JP6897376B2 (ja) * 2017-07-11 2021-06-30 トヨタ自動車株式会社 移動計画装置、移動ロボット、および移動計画プログラム
JP6843712B2 (ja) * 2017-07-27 2021-03-17 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置
CN107403456B (zh) * 2017-07-28 2019-06-18 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
WO2019019157A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
CN109410735B (zh) * 2017-08-15 2021-06-29 百度在线网络技术(北京)有限公司 反射值地图构建方法和装置
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
CN109425365B (zh) * 2017-08-23 2022-03-11 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
EP3465267A4 (en) * 2017-08-25 2019-05-22 Beijing Didi Infinity Technology and Development Co., Ltd. METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的信息输出方法和装置
US11403816B2 (en) * 2017-11-30 2022-08-02 Mitsubishi Electric Corporation Three-dimensional map generation system, three-dimensional map generation method, and computer readable medium
US10338223B1 (en) * 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
US11003193B2 (en) * 2017-12-29 2021-05-11 Intel Corporation Broadcasting map segments for individualized maps
US10551850B2 (en) * 2018-01-03 2020-02-04 Uatc, Llc Low quality pose
EP3514757A1 (en) * 2018-01-18 2019-07-24 Koninklijke Philips N.V. Spectral matching for assessing image segmentation
MX2020007660A (es) 2018-01-19 2020-09-18 Interdigital Vc Holdings Inc Procesamiento de una nube de puntos.
KR102612960B1 (ko) * 2018-01-23 2023-12-13 삼성전자주식회사 지도 수신 방법 및 이를 위한 장치
US10895463B1 (en) * 2018-01-24 2021-01-19 State Farm Mutual Automobile Insurance Company Systems and methods of monitoring and analyzing multimodal transportation usage
US11009365B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
WO2019158442A1 (en) * 2018-02-16 2019-08-22 3Shape A/S Intraoral scanning with surface differentiation
US10957072B2 (en) 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
US10529089B2 (en) * 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
WO2019161517A1 (zh) * 2018-02-26 2019-08-29 深圳前海达闼云端智能科技有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
US10884428B2 (en) * 2018-03-06 2021-01-05 Zoox, Inc. Mesh decimation techniques and validation
US11188091B2 (en) * 2018-03-06 2021-11-30 Zoox, Inc. Mesh decimation based on semantic information
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US10825241B2 (en) * 2018-03-16 2020-11-03 Microsoft Technology Licensing, Llc Using a one-dimensional ray sensor to map an environment
US10504282B2 (en) * 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US10699477B2 (en) 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
EP3769507A4 (en) 2018-03-23 2022-03-30 Netradyne, Inc. MAPPING OF TRAFFIC BOUNDARIES
US11340632B2 (en) * 2018-03-27 2022-05-24 Uatc, Llc Georeferenced trajectory estimation system
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
GB2583839B (en) * 2018-04-05 2021-05-05 Imagination Tech Ltd Matching local image feature descriptors
GB2572755B (en) 2018-04-05 2020-06-10 Imagination Tech Ltd Matching local image feature descriptors
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
US20190337511A1 (en) * 2018-05-02 2019-11-07 GM Global Technology Operations LLC System and Method for Controlling an Autonomous Vehicle
US11035933B2 (en) * 2018-05-04 2021-06-15 Honda Motor Co., Ltd. Transition map between lidar and high-definition map
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
CN108764187B (zh) * 2018-06-01 2022-03-08 百度在线网络技术(北京)有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
JP6821712B2 (ja) * 2018-06-25 2021-01-27 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 自然光景中での統合センサの較正
CN110264437B (zh) * 2018-07-13 2022-04-01 首都医科大学附属北京友谊医院 密度数据分析方法、装置及电子设备
CN109101998B (zh) * 2018-07-13 2021-05-28 中国地质大学(武汉) 一种基于居民地上下文空间信息的聚类方法及系统
US10970929B2 (en) * 2018-07-16 2021-04-06 Occipital, Inc. Boundary detection using vision-based feature mapping
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
CN108921947B (zh) * 2018-07-23 2022-06-21 百度在线网络技术(北京)有限公司 生成电子地图的方法、装置、设备、存储介质以及采集实体
CN109062205A (zh) * 2018-07-26 2018-12-21 武汉水草能源科技研发中心(有限合伙) 人工智能汽车无人驾驶系统
CN110763243B (zh) * 2018-07-27 2021-08-24 杭州海康威视数字技术股份有限公司 一种滑动地图更新方法和装置
US11914614B2 (en) * 2018-08-02 2024-02-27 Resight Ltd. System and method for generating a collection of approximately coordinated region maps
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10884411B1 (en) 2018-08-03 2021-01-05 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a lidar data segmentation system and an aligned heightmap
US11022693B1 (en) 2018-08-03 2021-06-01 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a lidar data segmentation system
EP4079135A1 (en) * 2018-08-08 2022-10-26 The Toro Company Method of training an autonomous vehicle
WO2020039937A1 (ja) * 2018-08-23 2020-02-27 日本電信電話株式会社 位置座標推定装置、位置座標推定方法およびプログラム
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术(北京)有限公司 用于定位无人车的方法和装置
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN110873568B (zh) * 2018-08-30 2021-02-23 百度在线网络技术(北京)有限公司 高精度地图的生成方法、装置以及计算机设备
CN110874610B (zh) * 2018-09-01 2023-11-03 图森有限公司 一种使用机器学习的人类驾驶行为建模系统及方法
CN109115186B (zh) * 2018-09-03 2020-07-28 山东科技大学 一种针对车载移动测量系统的360°可量测全景影像生成方法
EP3617749B1 (en) * 2018-09-03 2020-11-11 Zenuity AB Method and arrangement for sourcing of location information, generating and updating maps representing the location
CN109145860B (zh) * 2018-09-04 2019-12-13 百度在线网络技术(北京)有限公司 车道线跟踪方法和装置
US10970871B2 (en) * 2018-09-07 2021-04-06 Huawei Technologies Co., Ltd. Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
CN112789672B (zh) 2018-09-10 2023-12-12 感知机器人有限公司 控制和导航系统、姿态优化、映射和定位技术
GB2577134B (en) 2018-09-10 2021-01-13 Perceptual Robotics Ltd Control and navigation systems
US10775509B2 (en) * 2018-09-19 2020-09-15 Ford Global Technologies, Llc Sensor field of view mapping
CN110944187B (zh) * 2018-09-19 2022-05-10 华为技术有限公司 点云编码方法和编码器
EP3853684A4 (en) * 2018-09-19 2022-06-08 Brain Corporation SYSTEMS AND METHODS FOR DEVIATING ROBOTS AWAY FROM PROHIBITED AREAS
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US11016175B2 (en) * 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
US10872435B2 (en) * 2018-10-19 2020-12-22 Here Global B.V. Method and apparatus for iteratively establishing object position
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
US11270162B2 (en) * 2018-10-30 2022-03-08 Here Global B.V. Method and apparatus for detecting objects of interest in an environment
CN109658504B (zh) * 2018-10-31 2021-04-20 百度在线网络技术(北京)有限公司 地图数据标注方法、装置、设备及存储介质
US20210396543A1 (en) * 2018-11-06 2021-12-23 Sony Group Corporation Information processing apparatus, information processing method, and program
SG11201811462PA (en) * 2018-11-09 2020-06-29 Beijing Didi Infinity Technology & Development Co Ltd Vehicle positioning system using lidar
US11146759B1 (en) * 2018-11-13 2021-10-12 JMJ Designs, LLC Vehicle camera system
SG11201811747XA (en) 2018-11-15 2020-06-29 Beijing Didi Infinity Technology & Development Co Ltd Systems and methods for correcting a high-definition map based on detection of obstructing objects
DE102018219602A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Verfahren zum Erkennen von Kartenfehlern
US11126197B2 (en) 2018-11-19 2021-09-21 Waymo Llc Verification of iterative closest point alignments for autonomous vehicles
US10823855B2 (en) * 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
CN109597410B (zh) * 2018-11-28 2022-03-04 北京航天自动控制研究所 一种可自主移动的自适应测试平台及自主寻路方法
CN111260779B (zh) * 2018-11-30 2022-12-27 华为技术有限公司 地图构建方法、装置及系统、存储介质
CN112424568A (zh) * 2018-12-04 2021-02-26 北京嘀嘀无限科技发展有限公司 构建高清地图的系统和方法
CN109558854B (zh) * 2018-12-05 2021-04-06 百度在线网络技术(北京)有限公司 障碍物感知方法、装置、电子设备及存储介质
KR20210102953A (ko) * 2018-12-13 2021-08-20 콘티넨탈 오토모티브 게엠베하 노면 상의 객체를 검출 및 모델링하기 위한 방법
US11391844B2 (en) * 2018-12-19 2022-07-19 Fca Us Llc Detection and tracking of road-side pole-shaped static objects from LIDAR point cloud data
US11790667B2 (en) 2018-12-20 2023-10-17 Here Global B.V. Method and apparatus for localization using search space pruning
US10922558B2 (en) * 2018-12-20 2021-02-16 Here Global B.V. Method and apparatus for localization using search space pruning
DE102018222643A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh 5Verfahren zum Ermitteln eines UERE, Verfahren zur Bestimmung eines UERE, computerimplementierte Datenstruktur, Verwendung, Vorrichtung und computerimplementiertes Programm
US11348453B2 (en) * 2018-12-21 2022-05-31 Here Global B.V. Method and apparatus for dynamic speed aggregation of probe data for high-occupancy vehicle lanes
US10620317B1 (en) * 2018-12-23 2020-04-14 Chongqing Jinkang New Energy Automobile Co., Ltd. Lidar-based high definition map generation
CN111369780B (zh) * 2018-12-26 2021-09-03 北京图森智途科技有限公司 一种岸吊区卡车精准停车方法、设备及系统
CN109726864B (zh) * 2018-12-26 2021-04-09 杭州优行科技有限公司 线路规划方法、装置、服务端及存储介质
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
CN112136021A (zh) * 2018-12-29 2020-12-25 北京嘀嘀无限科技发展有限公司 用于构建基于地标的高清地图的系统和方法
CN112005079B (zh) * 2019-01-03 2022-08-09 北京嘀嘀无限科技发展有限公司 用于更新高清地图的系统和方法
US11675083B2 (en) * 2019-01-03 2023-06-13 Nvidia Corporation Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
CN111435537B (zh) * 2019-01-13 2024-01-23 北京魔门塔科技有限公司 模型训练方法、装置及基于拼接图的位姿优化方法、装置
US11545030B2 (en) * 2019-01-17 2023-01-03 International Business Machines Corporation Vehicle traffic information analysis and traffic jam management
US11435194B2 (en) * 2019-01-28 2022-09-06 Uatc, Llc Scaffolds for globally consistent maps
KR102319065B1 (ko) * 2019-01-30 2021-10-29 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 실시간 지도 생성 시스템
EP3749976A4 (en) * 2019-01-30 2021-08-18 Baidu.com Times Technology (Beijing) Co., Ltd. DEEP LEARNING FEATURES EXTRACTION FOR LIDAR LOCALIZATION OF AUTONOMOUS DRIVING VEHICLES
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
US11288521B2 (en) * 2019-01-31 2022-03-29 Uatc, Llc Automated road edge boundary detection
US11036986B2 (en) * 2019-02-08 2021-06-15 Lyft, Inc. Systems and methods for aligning map data
US11567514B2 (en) * 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11709501B2 (en) 2019-02-14 2023-07-25 Toyota Motor North America, Inc. System and method for controlling an autonomous vehicle
US20210396526A1 (en) * 2019-02-15 2021-12-23 Lg Electronics Inc. Vehicular electronic device, operation method of vehicular electronic device, and system
GB2596475B (en) * 2019-02-25 2023-07-19 Deka Products Lp System and method for surface feature detection and traversal
US10803635B2 (en) * 2019-02-26 2020-10-13 Tusimple, Inc. Method and system for map construction
US11170230B2 (en) 2019-02-26 2021-11-09 Tusimple, Inc. Method and system for map construction
CN113246858B (zh) * 2019-02-27 2023-05-19 百度在线网络技术(北京)有限公司 车辆行驶状态图像生成方法、设备和系统
US11313696B2 (en) * 2019-03-01 2022-04-26 GM Global Technology Operations LLC Method and apparatus for a context-aware crowd-sourced sparse high definition map
US11422265B2 (en) 2019-03-04 2022-08-23 Ouster, Inc. Driver visualization and semantic monitoring of a vehicle using LiDAR data
US11512964B2 (en) 2019-03-05 2022-11-29 Nvidia Corporation Distributed processing of pose graphs for generating high definition maps for navigating autonomous vehicles
US11287267B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11096026B2 (en) 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
US11280622B2 (en) 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287266B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11255680B2 (en) 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11402220B2 (en) 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11828848B2 (en) * 2019-03-14 2023-11-28 Aeva, Inc. Velocity estimation using doppler per point LiDAR systems
CN109798888B (zh) * 2019-03-15 2021-09-17 京东方科技集团股份有限公司 移动设备的姿态确定装置、方法和视觉里程计
CN110059073B (zh) * 2019-03-18 2021-04-06 浙江工业大学 基于子图同构的web数据自动可视化方法
US10992752B2 (en) 2019-03-28 2021-04-27 Intel Corporation Sensor network configuration mechanisms
CN112543877B (zh) * 2019-04-03 2022-01-11 华为技术有限公司 定位方法和定位装置
CN110045733B (zh) * 2019-04-04 2022-11-01 肖卫国 一种实时定位方法及其系统、计算机可读介质
EP3719696A1 (en) * 2019-04-04 2020-10-07 Aptiv Technologies Limited Method and device for localizing a sensor in a vehicle
CN110097592B (zh) * 2019-04-07 2020-12-15 杭州晶一智能科技有限公司 地面信息的语义性描述方法
CN109766878B (zh) * 2019-04-11 2019-06-28 深兰人工智能芯片研究院(江苏)有限公司 一种车道线检测的方法和设备
JP2022526825A (ja) * 2019-04-12 2022-05-26 エヌビディア コーポレーション 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
CN110009054B (zh) * 2019-04-12 2021-01-29 南京大学 一种利用几何与强度特征的分层次机载LiDAR点云分类方法
US20200326203A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Real-world traffic model
US20220184811A1 (en) * 2019-04-16 2022-06-16 Yujin Robot Co., Ltd. Method and system for initialization diagnosis of mobile robot
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
KR102212268B1 (ko) * 2019-05-15 2021-02-04 주식회사 폴라리스쓰리디 위치 측정 시스템과 이를 구비하는 이동 수단 및 이를 수행하기 위한 컴퓨팅 장치
WO2020232709A1 (en) * 2019-05-23 2020-11-26 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for evaluating quality of a point cloud map
CN110070544A (zh) * 2019-06-06 2019-07-30 江苏省农业科学院 一种果树靶标三维数据补偿方法及补偿系统
US11340354B2 (en) * 2019-06-26 2022-05-24 Nio Usa, Inc. Methods to improve location/localization accuracy in autonomous machines with GNSS, LIDAR, RADAR, camera, and visual sensors
US11619724B2 (en) * 2019-06-26 2023-04-04 Nvidia Corporation Calibration of multiple lidars mounted on a vehicle using localization based on a high definition map
US11549815B2 (en) * 2019-06-28 2023-01-10 GM Cruise Holdings LLC. Map change detection
KR20190084916A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 주차 위치 알림 장치 및 방법
US11391578B2 (en) * 2019-07-02 2022-07-19 Nvidia Corporation Using measure of constrainedness in high definition maps for localization of vehicles
US20210004613A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
US11590989B2 (en) 2019-07-03 2023-02-28 Nvidia Corporation Training data generation for dynamic objects using high definition map data
US11527012B2 (en) 2019-07-03 2022-12-13 Ford Global Technologies, Llc Vehicle pose determination
WO2021007117A1 (en) * 2019-07-05 2021-01-14 DeepMap Inc. Generating training data for deep learning models for building high definition maps
KR20220031685A (ko) * 2019-07-08 2022-03-11 웨이모 엘엘씨 포인트 클라우드들에서의 객체 검출
CN110285793B (zh) * 2019-07-08 2020-05-15 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
US11506502B2 (en) * 2019-07-12 2022-11-22 Honda Motor Co., Ltd. Robust localization
CN111936821A (zh) * 2019-07-12 2020-11-13 北京航迹科技有限公司 用于定位的系统和方法
CN112219206A (zh) * 2019-07-25 2021-01-12 北京航迹科技有限公司 用于确定位姿的系统和方法
CN112154303B (zh) * 2019-07-29 2024-04-05 深圳市大疆创新科技有限公司 高精度地图定位方法、系统、平台及计算机可读存储介质
CN110487274B (zh) * 2019-07-30 2021-01-29 中国科学院空间应用工程与技术中心 用于弱纹理场景的slam方法、系统、导航车及存储介质
US11781875B2 (en) * 2019-08-21 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for forming and analyzing connected roads
US20220276655A1 (en) * 2019-08-21 2022-09-01 Sony Group Corporation Information processing device, information processing method, and program
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN112446915B (zh) * 2019-08-28 2024-03-29 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112444251B (zh) * 2019-08-29 2023-06-13 长沙智能驾驶研究院有限公司 车辆行车位置确定方法、装置、存储介质及计算机设备
US11442463B1 (en) * 2019-09-23 2022-09-13 Amazon Technologies, Inc. System to determine stationary features by autonomous mobile device
WO2021060894A1 (en) * 2019-09-24 2021-04-01 Samsung Electronics Co., Ltd. Method for generating diagrammatic representation of area and electronic device thereof
CN110660218B (zh) * 2019-09-29 2021-01-05 上海莫吉娜智能信息科技有限公司 利用毫米波雷达的高精度地图制作方法及系统
US11526175B1 (en) * 2019-09-30 2022-12-13 Aurora Operations, Inc. Sensor data prioritization for autonomous vehicle based on vehicle operation data
US11550322B1 (en) 2019-09-30 2023-01-10 Aurora Operations, Inc. External environment sensor data prioritization for autonomous vehicle
US11269356B2 (en) 2019-10-10 2022-03-08 Kyndryl, Inc. Edge computing for clusters of vehicles
BR102019021266A2 (pt) * 2019-10-10 2021-04-20 Robert Bosch Limitada método de navegação e sistema
US11262759B2 (en) * 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
CN110865389B (zh) * 2019-10-29 2021-08-10 浙江大学 一种海洋激光雷达系统响应优化处理方法
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
DE102019217147A1 (de) * 2019-11-06 2021-05-06 Robert Bosch Gmbh Verwendung von Kostenkarten und Konvergenzkarten zur Lokalisierung und Kartierung
DE102019217263A1 (de) * 2019-11-08 2021-05-12 Continental Automotive Gmbh Verfahren zum Bestimmen einer Qualität von geografischen Daten
DE102019217264A1 (de) * 2019-11-08 2021-05-12 Continental Automotive Gmbh Verfahren zum Erkennen von Änderungen in Referenzdaten für geografische Daten
US12005892B2 (en) 2019-11-14 2024-06-11 Nec Corporation Simulating diverse long-term future trajectories in road scenes
US11327506B2 (en) * 2019-11-20 2022-05-10 GM Global Technology Operations LLC Method and system for localized travel lane perception
US11367212B2 (en) 2019-11-21 2022-06-21 Ford Global Technologies, Llc Vehicle pose detection with fiducial marker
US11521329B2 (en) * 2019-11-22 2022-12-06 Baidu Usa Llc Updated point cloud registration pipeline based on ADMM algorithm for autonomous vehicles
US11688082B2 (en) * 2019-11-22 2023-06-27 Baidu Usa Llc Coordinate gradient method for point cloud registration for autonomous vehicles
US10928830B1 (en) * 2019-11-23 2021-02-23 Ha Q Tran Smart vehicle
CN110954114B (zh) * 2019-11-26 2021-11-23 苏州智加科技有限公司 电子地图的生成方法、装置、终端及存储介质
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US10969232B1 (en) 2019-12-06 2021-04-06 Ushr Inc. Alignment of standard-definition and High-Definition maps
CN111121805A (zh) * 2019-12-11 2020-05-08 广州赛特智能科技有限公司 基于道路交通标线标志的局部定位修正方法、设备及介质
WO2021119590A1 (en) * 2019-12-13 2021-06-17 Ohio University Determining position using computer vision, lidar, and trilateration
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术(北京)有限公司 地图生成方法和装置
RU2767949C2 (ru) * 2019-12-30 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ (варианты) и система для калибровки нескольких лидарных датчиков
DE102020200183A1 (de) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten
CN111275763B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
US11860315B2 (en) 2020-01-20 2024-01-02 Direct Cursus Technology L.L.C Methods and systems for processing LIDAR sensor data
RU2764708C1 (ru) 2020-01-20 2022-01-19 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для обработки данных лидарных датчиков
KR20210100297A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN111310654B (zh) * 2020-02-13 2023-09-08 北京百度网讯科技有限公司 一种地图要素的定位方法、装置、电子设备及存储介质
CN111308481B (zh) * 2020-02-21 2021-10-15 深圳市银星智能科技股份有限公司 一种激光定位方法、装置及移动机器人
CN111340822B (zh) * 2020-02-24 2022-07-15 武汉大学 一种多尺度自适应机载LiDAR点云建筑物单体化分割方法
CN111414804B (zh) * 2020-02-27 2024-05-14 广州文远知行科技有限公司 识别框确定方法、装置、计算机设备、车辆和存储介质
US11567173B2 (en) 2020-03-04 2023-01-31 Caterpillar Paving Products Inc. Systems and methods for increasing lidar sensor coverage
CN113375656B (zh) * 2020-03-09 2023-06-27 杭州海康威视数字技术股份有限公司 定位方法和设备
US11619943B2 (en) * 2020-03-20 2023-04-04 Tusimple, Inc. Optimal path library for local path planning of an autonomous vehicle
CN113435227B (zh) * 2020-03-23 2023-04-07 阿里巴巴集团控股有限公司 地图生成及车辆定位方法、系统、设备及存储介质
JP7235691B2 (ja) * 2020-03-23 2023-03-08 株式会社日立製作所 自動検査装置
WO2021189350A1 (en) * 2020-03-26 2021-09-30 Baidu.Com Times Technology (Beijing) Co., Ltd. A point cloud-based low-height obstacle detection system
US11257197B2 (en) * 2020-03-31 2022-02-22 Woven Planet North America, Inc. Mapping pipeline optimization using aggregated overhead view reconstruction
CN113916215A (zh) * 2020-03-31 2022-01-11 上海擎朗智能科技有限公司 定位地图的更新方法、装置、设备及存储介质
US11556127B2 (en) * 2020-04-03 2023-01-17 Baidu Usa Llc Static obstacle map based perception system
JP2021165910A (ja) * 2020-04-06 2021-10-14 トヨタ自動車株式会社 データ送信装置およびデータ送信方法
US11340081B2 (en) * 2020-04-08 2022-05-24 Pony Ai Inc. System and method for updating map
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111462017A (zh) * 2020-04-14 2020-07-28 四川省安全科学技术研究院 隧道激光点云数据的去噪方法
CN111452786B (zh) * 2020-04-14 2021-03-19 北京理工大学 一种无人车辆避障方法及系统
WO2021218620A1 (zh) * 2020-04-30 2021-11-04 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质
CN111596299B (zh) * 2020-05-19 2022-09-30 三一机器人科技有限公司 反光柱跟踪定位方法、装置及电子设备
CN111625612B (zh) * 2020-05-26 2023-07-18 北京百度网讯科技有限公司 高精地图的纠偏方法和装置、电子设备和存储介质
CN111596665B (zh) * 2020-05-29 2021-06-22 浙江大学 一种适用于腿足机器人规划的稠密高度地图构建方法
CN111695489B (zh) 2020-06-09 2023-08-11 阿波罗智能技术(北京)有限公司 建模路线的验证方法、装置、无人车及存储介质
US11904890B2 (en) * 2020-06-17 2024-02-20 Baidu Usa Llc Lane change system for lanes with different speed limits
US11907522B2 (en) 2020-06-24 2024-02-20 Bank Of America Corporation System for dynamic allocation of navigation tools based on learned user interaction
US11288520B2 (en) 2020-06-25 2022-03-29 Toyota Motor Engineering & Manufacturing N.A. Inc. Systems and methods to aggregate and distribute dynamic information of crowdsourcing vehicles for edge-assisted live map service
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
CN111968229A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 高精度地图制图方法及装置
US11682124B2 (en) * 2020-06-29 2023-06-20 Lytt, inc. Systems and methods for transferring map data between different maps
CN111795687B (zh) * 2020-06-29 2022-08-05 深圳市优必选科技股份有限公司 一种机器人地图更新方法、装置、可读存储介质及机器人
CN111780764B (zh) * 2020-06-30 2022-09-02 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
US20210407186A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Multi-Collect Fusion
US11543247B2 (en) 2020-07-02 2023-01-03 Ford Global Technologies, Llc Methods and systems for vehicle localization
CN111836014B (zh) * 2020-07-14 2021-07-09 北京仁光科技有限公司 信息安全显示系统
CN111999740A (zh) * 2020-07-17 2020-11-27 中国南方电网有限责任公司超高压输电公司广州局 无人机载激光雷达数据获取方法、系统、装置以及介质
CN113970919A (zh) 2020-07-21 2022-01-25 图森有限公司 用于自动路线导航的系统和方法
US20220067768A1 (en) * 2020-08-28 2022-03-03 Telenav, Inc. Navigation system with high definition mapping mechanism and method of operation thereof
US11494927B2 (en) 2020-09-15 2022-11-08 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation
US11615544B2 (en) 2020-09-15 2023-03-28 Toyota Research Institute, Inc. Systems and methods for end-to-end map building from a video sequence using neural camera models
US11508080B2 (en) 2020-09-15 2022-11-22 Toyota Research Institute, Inc. Systems and methods for generic visual odometry using learned features via neural camera models
US11321862B2 (en) 2020-09-15 2022-05-03 Toyota Research Institute, Inc. Systems and methods for multi-camera modeling with neural camera networks
JPWO2022075356A1 (zh) * 2020-10-07 2022-04-14
CN112284402B (zh) * 2020-10-15 2021-12-07 广州小鹏自动驾驶科技有限公司 一种车辆定位的方法和装置
CN112269385B (zh) * 2020-10-23 2021-09-07 北京理工大学 云端无人车动力学控制系统和方法
DE102020128391A1 (de) 2020-10-28 2022-04-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Ermittlung von Kartendaten anhand von Observationen
JP2022073247A (ja) * 2020-10-30 2022-05-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN112269847A (zh) * 2020-10-31 2021-01-26 武汉中海庭数据技术有限公司 一种高精度地图数据的实时展示方法、系统及电子设备
US11679766B2 (en) 2020-11-23 2023-06-20 Fca Us Llc Techniques for vehicle lane level localization using a high-definition map and perception sensors
US11361484B1 (en) * 2020-12-04 2022-06-14 Argo AI, LLC Methods and systems for ground segmentation using graph-cuts
US11538185B2 (en) * 2020-12-11 2022-12-27 Zoox, Inc. Localization based on semantic objects
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
US12012126B2 (en) * 2020-12-11 2024-06-18 Zoox, Inc. Calibration based on semantic objects
CN112732313B (zh) * 2020-12-21 2021-12-21 南方电网电力科技股份有限公司 一种变电站巡检机器人地图增量更新方法及系统
US20220196849A1 (en) * 2020-12-23 2022-06-23 ClearMotion, Inc. Vehicle localization systems and methods
US11880902B2 (en) * 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture
US11568649B2 (en) * 2021-01-15 2023-01-31 Continental Automotive Systems, Inc. Landmark-less simultaneous localization and mapping
JP7501385B2 (ja) 2021-01-21 2024-06-18 株式会社豊田自動織機 地図データ作成方法及び装置
CN112923919B (zh) * 2021-01-21 2023-05-16 湖南云箭格纳微信息科技有限公司 基于图优化的行人定位方法及系统
CN112734290B (zh) * 2021-01-25 2022-02-11 腾讯科技(深圳)有限公司 交通工具运动状态评估方法、装置、设备以及介质
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US20220250642A1 (en) * 2021-02-11 2022-08-11 GM Cruise Holdings, LLC High definition map updates using assets generated by an autonomous vehicle fleet
CN112819861B (zh) * 2021-02-26 2024-06-04 广州小马慧行科技有限公司 点云的运动补偿方法、装置与计算机可读存储介质
CN113029919B (zh) * 2021-03-13 2024-04-02 长春长光辰英生物科学仪器有限公司 一种细胞富集与荧光计数的检测装置以及检测、计数方法
US11145208B1 (en) 2021-03-15 2021-10-12 Samsara Networks Inc. Customized route tracking
RU2767831C1 (ru) * 2021-03-26 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и электронные устройства для обнаружения объектов в окружении беспилотного автомобиля
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
US11741721B2 (en) * 2021-05-05 2023-08-29 Gm Cruise Holdings Llc Automatic detection of roadway signage
US20220402521A1 (en) * 2021-06-16 2022-12-22 Waymo Llc Autonomous path generation with path optimization
CN113392913B (zh) * 2021-06-21 2023-09-29 常州大学 基于边界特征点集的平面图形匹配度评价方法、装置及系统
CN113447953B (zh) * 2021-06-29 2022-08-26 山东高速建设管理集团有限公司 一种基于道路交通点云数据的背景滤除方法
CN113506368B (zh) * 2021-07-13 2023-03-24 阿波罗智能技术(北京)有限公司 地图数据融合方法、装置、电子设备、介质和程序产品
CN113515536B (zh) * 2021-07-13 2022-12-13 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
US11677931B2 (en) * 2021-07-23 2023-06-13 Embark Trucks Inc. Automated real-time calibration
CN113776543B (zh) * 2021-07-27 2023-11-28 武汉中海庭数据技术有限公司 一种车辆融合定位方法、系统、电子设备及存储介质
EP4281729A1 (en) * 2021-07-30 2023-11-29 Huawei Technologies Co., Ltd. Device and method for navigation
DE102021208525A1 (de) 2021-08-05 2023-02-09 Volkswagen Aktiengesellschaft Verfahren und Kartenerzeugungseinrichtung für ein Fahrzeug zur Erzeugung einer hochauflösenden Karte einer Bodenfläche in einem Fahrzeugumfeld
US20230050402A1 (en) * 2021-08-11 2023-02-16 Here Global B.V. Method and apparatus for generating maps from geospatial observations
CN113760908B (zh) * 2021-08-23 2023-07-07 北京易航远智科技有限公司 基于时间序列的既定路径下不同地图间的位姿映射方法
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
DE102021209698A1 (de) 2021-09-03 2023-03-09 Continental Automotive Technologies GmbH Verfahren zur Kalibrierung einer Straßenüberwachungseinrichtung und Straßenüberwachungssystem
US20230082486A1 (en) * 2021-09-13 2023-03-16 Southwest Research Institute Obstacle Detection and Avoidance System for Autonomous Aircraft and Other Autonomous Vehicles
US20230102443A1 (en) * 2021-09-28 2023-03-30 GM Global Technology Operations LLC Monitoring uncertainty for human-like behavioral modulation of trajectory planning
EP4170389A1 (en) * 2021-10-22 2023-04-26 Aptiv Services Poland S.A. Methods and apparatuses for supporting vehicle-to-infrastructure, v2i, communication
KR102554184B1 (ko) * 2021-11-11 2023-07-11 메타빌드 주식회사 자율주행 자동차의 자율주행 데이터 활성화 구간 선정 방법
CN113970330B (zh) * 2021-12-22 2022-04-19 比亚迪股份有限公司 车载多传感器融合定位方法、计算机设备及存储介质
CN114526722B (zh) * 2021-12-31 2024-05-24 易图通科技(北京)有限公司 地图对齐处理方法、装置及可读存储介质
CN114526721B (zh) * 2021-12-31 2024-05-24 易图通科技(北京)有限公司 地图对齐处理方法、装置及可读存储介质
CN114445593B (zh) * 2022-01-30 2024-05-10 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
US20230243952A1 (en) * 2022-02-02 2023-08-03 Gm Cruise Holdings Llc Unified radar perception architecture
US20230280184A1 (en) * 2022-03-01 2023-09-07 Here Global B.V. Method and apparatus for generating maps from aligned geospatial observations
US20230286529A1 (en) * 2022-03-10 2023-09-14 Argo AI, LLC Systems and methods for dynamic data mining during data collection missions
WO2023194759A2 (en) * 2022-04-08 2023-10-12 Commsignia Kft. Method for assembling a local high-definition map, system for using map data, computer program product and computer readable medium for implementing the method
US20230324194A1 (en) * 2022-04-12 2023-10-12 Nvidia Corporation Translating route information between data structures for autonomous systems and applications
US11562501B1 (en) * 2022-06-20 2023-01-24 Plusai, Inc. Multi-mode visual geometry localization
WO2023249802A1 (en) * 2022-06-20 2023-12-28 Plusai, Inc. Multi-mode visual geometry localization
US11624616B1 (en) 2022-06-20 2023-04-11 Plusai, Inc. Multi-mode visual geometry localization
DE102022208227A1 (de) 2022-08-08 2024-02-08 Volkswagen Aktiengesellschaft Verfahren zur komprimierten Speicherung von Bewegungsdaten eines Fahrzeuges, Verfahren zur Erfassung von komprimierten Bewegungsdaten für eine Karte von zumindest einem Fahrzeug und entsprechende Vorrichtungen
US20240094009A1 (en) * 2022-08-19 2024-03-21 Zoox, Inc. Map annotation modification using sparse pose graph node updates
TWI807997B (zh) * 2022-09-19 2023-07-01 財團法人車輛研究測試中心 感測器融合之時序同步方法
US20240173863A1 (en) * 2022-11-29 2024-05-30 Baker Hughes Holdings Llc Internal asset model reconstruction for inspection
US11977391B1 (en) * 2023-04-14 2024-05-07 Jack George Lawrence, Jr. Robot navigation with obstacle detection using a distance measuring sensor
CN116524029B (zh) * 2023-06-30 2023-12-01 长沙智能驾驶研究院有限公司 轨道交通工具的障碍物检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771837B1 (en) * 1999-09-27 2004-08-03 Genesis Microchip Inc. Method and apparatus for digital image rescaling with adaptive contrast enhancement
US8259994B1 (en) * 2010-09-14 2012-09-04 Google Inc. Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN104330022A (zh) * 2013-07-22 2015-02-04 赫克斯冈技术中心 使用从运动恢复结构算法的体积确定方法和系统
CN104422449A (zh) * 2013-08-27 2015-03-18 上海博泰悦臻电子设备制造有限公司 一种车辆导航的方法、装置
CN105466438A (zh) * 2014-09-25 2016-04-06 通用汽车环球科技运作有限责任公司 防撞车辆中的传感器测距和应用
CN106030430A (zh) * 2013-11-27 2016-10-12 宾夕法尼亚大学理事会 用于使用旋翼微型航空载具(mav)在室内和室外环境中的稳健的自主飞行的多传感器融合
CN111108342A (zh) * 2016-12-30 2020-05-05 迪普迈普有限公司 用于高清地图创建的视觉测程法和成对对准

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US6016151A (en) * 1997-09-12 2000-01-18 Neomagic Corp. 3D triangle rendering by texture hardware and color software using simultaneous triangle-walking and interpolation for parallel operation
US20080147253A1 (en) 1997-10-22 2008-06-19 Intelligent Technologies International, Inc. Vehicular Anticipatory Sensor System
GB2372656A (en) * 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US6885939B2 (en) 2002-12-31 2005-04-26 Robert Bosch Gmbh System and method for advanced 3D visualization for mobile navigation units
US7298869B1 (en) * 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
US7046841B1 (en) * 2003-08-29 2006-05-16 Aerotec, Llc Method and system for direct classification from three dimensional digital imaging
US7804498B1 (en) 2004-09-15 2010-09-28 Lewis N Graham Visualization and storage algorithms associated with processing point cloud data
US7505037B2 (en) * 2004-10-02 2009-03-17 Accuray, Inc. Direct volume rendering of 4D deformable volume images
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
CN101688774A (zh) 2006-07-13 2010-03-31 威力登音响公司 高精确度激光雷达系统
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US20080226070A1 (en) * 2007-03-12 2008-09-18 Herz William S Coordinate-based encryption system, method and computer program product
US20090140887A1 (en) 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
JP4985516B2 (ja) * 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
DE112008003959T5 (de) * 2008-07-31 2011-06-01 Hewlett-Packard Development Co., L.P., Houston Wahrnehmungssegmentierung von Bildern
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP4623200B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
CN102278993B (zh) * 2010-06-09 2015-11-25 深圳富泰宏精密工业有限公司 车载导航装置及方法
US20130202197A1 (en) 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
JP6363341B2 (ja) * 2010-07-12 2018-07-25 3シェイプ アー/エス テクスチャ的特徴を用いる物体の3dモデル化方法
AU2011323801B2 (en) * 2010-10-25 2015-12-10 Lockheed Martin Corporation Building a three dimensional model of an underwater structure
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
CN102324030B (zh) * 2011-09-09 2013-11-06 广州灵视信息科技有限公司 一种基于图像块特征的目标跟踪方法及跟踪系统
US8521418B2 (en) * 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
GB201116961D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
US9404764B2 (en) * 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US20130286193A1 (en) 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US8527199B1 (en) 2012-05-17 2013-09-03 Google Inc. Automatic collection of quality control statistics for maps used in autonomous driving
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
ES2394540B1 (es) * 2012-07-26 2013-12-11 Geonumerics, S.L. Procedimiento para la adquisición y procesamiento de información geográfica de un trayecto
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
GB2522142A (en) * 2012-09-14 2015-07-15 Faro Tech Inc Laser scanner with dynamical adjustment of angular scan velocity
US9082008B2 (en) * 2012-12-03 2015-07-14 Honeywell International Inc. System and methods for feature selection and matching
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
RU2013106319A (ru) * 2013-02-13 2014-08-20 ЭлЭсАй Корпорейшн Основанная на характерных точках надежная регистрация трехмерного твердого тела
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9483703B2 (en) * 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video
CN103279989B (zh) * 2013-05-30 2016-05-04 北京航天控制仪器研究所 一种三维激光成像系统平面点云数据三角化处理方法
US9412173B2 (en) 2013-06-21 2016-08-09 National University Of Ireland, Maynooth Method for mapping an environment
CN103425764B (zh) * 2013-07-30 2017-04-12 广东工业大学 一种基于视频的车辆匹配方法
JP6086368B2 (ja) * 2013-10-04 2017-03-01 アイシン精機株式会社 駐車支援装置
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US9177481B2 (en) * 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
CN103729846B (zh) * 2013-12-23 2017-01-11 西安电子科技大学 基于不规则三角网的LiDAR点云数据边缘检测方法
CN104715471B (zh) * 2014-01-03 2018-01-02 杭州海康威视数字技术股份有限公司 目标定位跟踪方法及其装置
US9613388B2 (en) * 2014-01-24 2017-04-04 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
CN104021588B (zh) * 2014-06-18 2017-04-26 公安部第三研究所 一种实时恢复车辆三维真实模型的系统及方法
CN105404844B (zh) * 2014-09-12 2019-05-31 广州汽车集团股份有限公司 一种基于多线激光雷达的道路边界检测方法
CN104392491B (zh) * 2014-12-15 2017-02-22 中南大学 基于旋转面的采空区激光扫描点云三角剖分方法
CN104616321B (zh) * 2015-02-09 2019-02-12 公安部第一研究所 一种基于尺度不变特征变换的行李图像运动行为描述方法
WO2016130719A2 (en) 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
EP3152089A4 (en) * 2015-03-31 2017-08-02 SZ DJI Technology Co., Ltd. Systems and methods for geo-fencing device communications
CN112908042A (zh) * 2015-03-31 2021-06-04 深圳市大疆创新科技有限公司 用于操作无人飞行器的系统和遥控器
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
US10024965B2 (en) * 2015-04-01 2018-07-17 Vayavision, Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
KR101703515B1 (ko) * 2015-05-19 2017-02-07 국방과학연구소 영상의 표적 추적 장치 및 방법
US9830509B2 (en) * 2015-06-29 2017-11-28 Nokia Technologies Oy Method and apparatus for constructing a digital elevation model utilizing ground points captured by ground-based LiDAR
CN105157602A (zh) * 2015-07-13 2015-12-16 西北农林科技大学 基于机器视觉的远程三维扫描系统及方法
CN105093237B (zh) * 2015-09-08 2018-05-11 天津远翥科技有限公司 一种无人机用障碍物检测装置及其检测方法
US10055885B2 (en) * 2015-09-16 2018-08-21 Raytheon Company Systems and methods for digital elevation map filters for three dimensional point clouds
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US20190227553A1 (en) * 2015-11-04 2019-07-25 Zoox, Inc. Interactive autonomous vehicle command controller
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US9495764B1 (en) * 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
CN106022381B (zh) * 2016-05-25 2020-05-22 厦门大学 基于车载激光扫描点云的路灯杆自动提取方法
CN106097447A (zh) * 2016-06-07 2016-11-09 中国石油集团川庆钻探工程有限公司地球物理勘探公司 一种大规模地震数据的曲面重建方法
GB201610949D0 (en) * 2016-06-22 2016-08-03 Q-Bot Ltd Autonomous surveying of underfloor voids
US10031231B2 (en) * 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles
JP6294928B1 (ja) * 2016-09-23 2018-03-14 株式会社Subaru 車両の走行制御装置
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术(北京)有限公司 用于车辆的障碍物识别方法和装置
EP3552147A1 (en) * 2016-12-12 2019-10-16 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
WO2018126228A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
US10436595B2 (en) 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US10296828B2 (en) * 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
US10949660B2 (en) 2017-04-10 2021-03-16 Pearson Education, Inc. Electronic handwriting processor with convolutional neural networks
US11676296B2 (en) * 2017-08-11 2023-06-13 Sri International Augmenting reality using semantic segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771837B1 (en) * 1999-09-27 2004-08-03 Genesis Microchip Inc. Method and apparatus for digital image rescaling with adaptive contrast enhancement
US8259994B1 (en) * 2010-09-14 2012-09-04 Google Inc. Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN104330022A (zh) * 2013-07-22 2015-02-04 赫克斯冈技术中心 使用从运动恢复结构算法的体积确定方法和系统
CN104422449A (zh) * 2013-08-27 2015-03-18 上海博泰悦臻电子设备制造有限公司 一种车辆导航的方法、装置
CN106030430A (zh) * 2013-11-27 2016-10-12 宾夕法尼亚大学理事会 用于使用旋翼微型航空载具(mav)在室内和室外环境中的稳健的自主飞行的多传感器融合
CN105466438A (zh) * 2014-09-25 2016-04-06 通用汽车环球科技运作有限责任公司 防撞车辆中的传感器测距和应用
CN111108342A (zh) * 2016-12-30 2020-05-05 迪普迈普有限公司 用于高清地图创建的视觉测程法和成对对准

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Global pose estimation with limited GPS and long range visual odometry;Joern Rehder 等;《2012 IEEE International Conference on Robotics and Automation》;627-633 *

Also Published As

Publication number Publication date
US20180188027A1 (en) 2018-07-05
CN110832348A (zh) 2020-02-21
US20180190016A1 (en) 2018-07-05
US11280609B2 (en) 2022-03-22
WO2018125939A1 (en) 2018-07-05
US20180188040A1 (en) 2018-07-05
US20220205783A1 (en) 2022-06-30
US10267635B2 (en) 2019-04-23
US10309778B2 (en) 2019-06-04
US20200225032A1 (en) 2020-07-16
CN111108342A (zh) 2020-05-05
US11162788B2 (en) 2021-11-02
WO2018125938A1 (en) 2018-07-05
US10309777B2 (en) 2019-06-04
US10837773B2 (en) 2020-11-17
US20190277632A1 (en) 2019-09-12
US20180188042A1 (en) 2018-07-05
US20180188041A1 (en) 2018-07-05
US10422639B2 (en) 2019-09-24
US20180188043A1 (en) 2018-07-05
US10598489B2 (en) 2020-03-24
WO2018126083A1 (en) 2018-07-05
US20180188039A1 (en) 2018-07-05
US10962366B2 (en) 2021-03-30
US10267634B2 (en) 2019-04-23
US20180188038A1 (en) 2018-07-05
US20200284581A1 (en) 2020-09-10
US10222211B2 (en) 2019-03-05
US10527417B2 (en) 2020-01-07
US20180188026A1 (en) 2018-07-05
CN110832348B (zh) 2023-08-15
CN111108342B (zh) 2023-08-15
CN110832279A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110832279B (zh) 对准由自主车辆捕获的数据以生成高清晰度地图
JP7371111B2 (ja) 自律走行車のナビゲーション用高精度地図を生成するためのポーズグラフの分散処理
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
US20240005167A1 (en) Annotating high definition map data with semantic labels
US11598876B2 (en) Segmenting ground points from non-ground points to assist with localization of autonomous vehicles
CN111492403A (zh) 用于生成高清晰度地图的激光雷达到相机校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221128

Address after: California, USA

Applicant after: NVIDIA Corp.

Address before: California, USA

Applicant before: Dipup Ltd.

GR01 Patent grant
GR01 Patent grant