CN110832474B - 更新高清地图的方法 - Google Patents

更新高清地图的方法 Download PDF

Info

Publication number
CN110832474B
CN110832474B CN201780085924.8A CN201780085924A CN110832474B CN 110832474 B CN110832474 B CN 110832474B CN 201780085924 A CN201780085924 A CN 201780085924A CN 110832474 B CN110832474 B CN 110832474B
Authority
CN
China
Prior art keywords
map
vehicle
data
online
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085924.8A
Other languages
English (en)
Other versions
CN110832474A (zh
Inventor
马克·达蒙·惠乐
吴夏晴
罗威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN110832474A publication Critical patent/CN110832474A/zh
Application granted granted Critical
Publication of CN110832474B publication Critical patent/CN110832474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3822Road feature data, e.g. slope data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/53Network services using third party service providers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/18Network protocols supporting networked applications, e.g. including control of end-device applications over a network

Abstract

在线系统基于由行驶通过地理区域的多个车辆捕获的传感器数据来构建用于地理区域的高清地图。高清地图包括:地标地图,所述地标地图包括行驶路径和地标的表示;以及占用地图,所述占用地图包括道路和道路周围的所有物理对象的空间3D表示。车辆向在线系统提供用于更新地标地图和占用地图的信息。基于使用传感器数据观察到的周围环境与高清地图相比的差异来检测地图差异,并且向在线系统发送描述这些地图差异的消息。在线系统基于各种因素包括车辆的上传速率对车辆进行排名,并且基于排名请求来自所选择的车辆的描述高清地图的数据。

Description

更新高清地图的方法
相关申请的交叉引用
本申请要求于2016年12月30日提交的美国临时申请第62/441,069号的权益,其全部内容通过引用并入本文。
技术领域
本公开内容一般涉及用于自主车辆的地图,并且更具体地涉及更新高清地图。
背景技术
自主车辆,也被称为自驾驶汽车、无人驾驶汽车、自动汽车或机器人汽车,在不需要人类驾驶员控制和导航车辆的情况下从源位置驾驶至目的地位置。由于若干个原因驾驶的自动化是困难的。例如,自主车辆使用传感器以即时做出驾驶决策,但是车辆传感器无法始终观察所有事物。车辆传感器可能会被转角、波状丘陵地和其他车辆遮挡。车辆传感器可能不能足够早地观察到某些事物以做出决策。此外,道路上可能缺少车道和标志,或者车道和标志被撞倒或被灌木隐藏,并且因此无法被传感器检测到。此外,可能不容易看到关于通行权的道路标志以确定哪里可能会驶来车辆时,或者在紧急情况下或者在存在必须通过的停滞的障碍物时突然转向或移出车道。
代替依赖于传感器数据,自主车辆可以使用地图数据以计算出上述信息中的一些信息。然而,常规地图具有若干缺点使得常规地图难以用于自主车辆。例如,地图不提供安全导航所需的准确度水平(例如,10cm或更小)。GPS系统提供约3米至5米的准确度,但是具有大的误差状况导致准确度超过100m。这使得准确地确定车辆的位置具有挑战性。
此外,常规地图由勘测队创建,勘测队利用驾驶员连同特别地配备有具有高分辨率传感器的汽车,汽车围绕地理区域行驶并且进行测量。收回测量结果并且一组地图编辑器根据测量结果组装地图。这个过程昂贵并且耗时(例如,可能花费几个月来完成地图)。因此,使用这种技术组装的地图不具有最新数据。例如,对道路以每年大约5%至10%的频率进行更新/修改。但是勘测汽车昂贵并且数目有限,因此不能捕获大部分更新。例如,勘测车队可能包括一千辆汽车。对于即使是美国的一个州,一千辆汽车也不能定期保持地图的最新状态,以使得能够安全的自驾驶。因此,维护地图的常规技术不能提供用于自主车辆的安全导航的足够准确和最新的正确数据。
发明内容
在线系统的实施方式基于由行驶通过地理区域的多个自主车辆捕获的传感器数据来构建用于地理区域的高清(HD)地图。自主车辆基于使用传感器数据观察到的周围环境中的差异来检测与高清地图相比的地图差异,并且向在线系统发送描述这些地图差异的消息。在线系统更新现有地标地图以提高地标地图(LMap)和占用地图(OMap)的准确度,并且从而提高乘客和行人的安全性。这是因为物理环境会经受变化,并且对物理环境的测量可能包含错误。例如,诸如交通安全标志的地标可能会随着时间而改变,包括被移动或移除、被新的不同的标志替换、被损坏等。这是因为随着移动实体(人、动物、移动对象)围绕环境移动并且随着静态环境发生改变(例如,树被砍倒、墙被移除、路面发展为洞或其他损坏、添加路面标记、移除或移动路面标记等),环境的占用会经受不断变化。当车辆处于运动状态时,它们可以经由其传感器连续地收集关于车辆的周围的数据,所述数据可以包括环境中的地标。除了车辆操作数据、关于车辆行程的数据之外,收集并且本地存储所述传感器数据。当从车队内的各种车辆中可获得新数据时,所述新数据被传递至在线HD地图系统(例如,在云中)以更新地标地图,并且将经更新的地图存储在云中。随着地图的新版本变得可用,地图新版本中的这些地图或部分地图被推送至车队中的车辆以在周围行驶时使用。车辆验证地标地图的本地副本并且在线系统基于验证结果对地标地图进行更新。
基于由行驶通过地理区域的多个自主车辆捕获的传感器数据。自主车辆基于使用传感器数据观察到的周围环境与高清地图相比的差异来检测地图差异,并且向在线系统发送描述这些地图差异的消息。在线系统基于各种因素包括指示多久使用一次车辆向在线系统提供数据的上传速率对自主车辆进行排名。来自车辆的传感器数据被上传至在线系统(如云中),以创建HD地图,同时将上传该数据的负担尽可能均匀地分散至车队中。数据上传是昂贵的并且耗时,因此系统通过在车队中仔细地平衡/管理上传使得数据上传对于每个车辆来说是微不足道的。
在线系统识别具有穿过与地图差异相关联的特定位置的路线的自主车辆。基于排名来选择一个或更多个自主车辆。在线系统向所选择的一个或更多个自主车辆发送对与地图差异相关联的附加数据的请求。在接收到附加数据后,在线系统对HD地图进行更新并且将经更新的HD地图发送至在穿过地理区域的路线上行驶的自主车辆。
在实施方式中,在线系统确定用于更新地图数据的紧急程度的度量。例如,如果地图差异指示车道关闭,则可以将该地图差异视为与指示在距该道路一定距离处的树被移除的地图差异相比对于被更新具有较高的水平或较高的紧急程度。在线系统使用紧急程度来向车辆指示自主车辆应当多快提供针对位置的数据。紧急地图改变也被称为实时地图改变,即需要立即向其他汽车传播信息差异的地图改变。示例包括:妨碍行驶的障碍物;车道关闭;交通改道;信号灯故障,以及更多。
在实施方式中,在线系统基于对于位置的地图数据的年龄请求自主车辆提供对于该位置的数据。因此,如果针对该位置的地图数据未被更新超过阈值时间量,则在线系统请求来自自主车辆的针对该位置的数据。在实施方式中,在线系统将基于地图数据的年龄的地图数据的请求与和基于由车辆报告的地图差异的数据请求相比的较低的紧急程度相关联。
附图说明
图1示出了根据实施方式的与多个车辆计算系统交互的HD地图系统的整体系统环境。
图2示出了根据实施方式的车辆计算系统的系统架构。
图3示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。
图4示出了根据实施方式的HD地图系统的系统架构。
图5示出了根据实施方式的HD地图的部件。
图6A至图6B示出了根据实施方式的HD地图中限定的地理区域。
图7示出了根据实施方式的HD地图中的车道的表示。
图8A至图8B示出了根据实施方式的HD地图中的车道元素以及车道元素之间的关系。
图9是示出根据实施方式的车辆验证现有地标地图的示例过程的流程图。
图10是示出根据实施方式的在线HD地图系统更新现有地标地图的示例过程的流程图。
图11A是示出根据一个实施方式的车辆验证和更新现有占用地图的示例过程的流程图。
图11B是示出根据一个实施方式的车辆验证和更新现有占用地图的示例过程的流程图。
图12示出了根据实施方式的不同类型的街道中的交通率。
图13示出了根据实施方式的地图数据收集模块的系统架构。
图14示出了根据实施方式的利用车辆数据负荷平衡来更新HD地图的过程。
图15示出了根据实施方式的响应检测地图差异而利用车辆数据负荷平衡来更新HD地图的过程。
图16示出了可以从机器可读介质中读取指令并且在处理器或控制器中执行指令的计算机器的实施方式。
仅出于说明的目的,附图描绘了本发明的各种实施方式。本领域的技术人员将容易地从下列讨论中认识到,可以在不脱离本文中描述的本发明的原理的情况下,使用本文中示出的结构和方法的替选实施方式。
具体实施方式
概述
本发明的实施方式维护包含使用高精度的最新信息的高清(HD)地图。自主车辆可以使用高清地图来安全地导航至自主车辆的目的地而无需人工输入或者仅需有限的人工输入。自主车辆是能够感测其环境并且在没有人工输入的情况下导航的车辆。自主车辆在本文中也可以称为“无人驾驶汽车”、“自驾驶汽车”或“机器人汽车”。HD地图指的是存储具有通常5cm至10cm的非常高精度的数据的地图。实施方式生成包含关于自主车辆可以行进的道路的空间几何信息的HD地图。因此,生成的HD地图包括自主车辆在没有人为干预的情况下安全导航所需的信息。代替利用包括配备有高分辨率传感器的车辆的昂贵且耗时的绘图车队处理来收集用于HD地图的数据,本发明的实施方式使用当自驾驶车辆在其环境中行驶时来自自驾驶车辆自身的较低分辨率传感器的数据。车辆可能没有针对这些路线的先前地图数据,甚至也有没有针对该地区的先前地图数据。本发明的实施方式提供了位置即服务(LaaS)使得不同制造商的自主车辆均可以访问经由本发明的实施方式创建的最新地图信息。
实施方式生成并维护其是准确的并且包括用于安全导航的最新更新的道路信息的高清(HD)地图。例如,HD地图提供自主车辆相对于道路的车道的当前位置,这足以精确到使自主车辆能够在车道上安全地行驶。
HD地图存储了大量信息,并且因此在管理信息方面面临挑战。例如,针对大的地理区域的HD地图可能不适用于车辆的本地存储。本发明的实施方式向自主车辆提供HD地图的必要部分,所述HD地图的必要部分允许车辆确定其在HD地图中的当前位置,确定道路上的相对于车辆位置的特征,确定基于物理约束和法律约束等移动车辆是否安全。物理约束的示例包括物理障碍诸如墙,并且法律约束的示例包括法律上允许的车道行驶方向、限速、让行、停止。
本发明的实施方式通过以下方式允许对于自主车辆的安全导航:提供用于提供对请求的响应的例如10毫秒至20毫秒或者更小的低时延;提供在位置方面的高准确度,即在10cm或更小之内的准确度;通过确保对地图进行更新以反映在合理的时间范围内的关于道路的变化来提供数据的新鲜度;以及通过使HD地图所需的存储最小化来提供存储效率。
图1示出了根据实施方式的与多个车辆交互的HD地图系统的整体系统环境。HD地图系统100包括与多个车辆150交互的在线HD地图系统110。车辆150可以是自主车辆但不是必需的。在线HD地图系统110接收由车辆的传感器捕获的传感器数据,并且将从车辆150接收到的数据进行组合以生成并维护HD地图。在线HD地图系统110向车辆发送HD地图数据以用于驾驶车辆。在实施方式中,在线HD地图系统110被实现为分布式计算系统,例如,基于云的服务,该系统允许诸如车辆计算系统120的客户端提出对信息和服务作出请求。例如,车辆计算系统120可以请求用于沿路线行驶的HD地图数据,并且在线HD地图系统110提供所请求的HD地图数据。
图1和其他附图使用相似的附图标记以识别相似的元件。附图标记之后的字母诸如“105A”指示该文本具体指的是具有该特定附图标记的元件。文本中没有后续字母的附图标记诸如“105”是指图中带有该附图标记的任何元件或所有元件(例如文本中的“105”是指图中的附图标记“105A”和/或“105N”)。
在线HD地图系统110包括车辆接口模块160和HD地图存储165。在线HD地图系统110使用车辆接口模块160与各种车辆150的车辆计算系统120交互。在线HD地图系统110将用于各种地理区域的地图信息存储在HD地图存储165中。在线HD地图系统110可以包括除图1中所示模块之外的其他模块,例如,图4中所示的各种其他模块和本文中进一步描述的各种其他模块。
在线HD地图系统110接收115由多个车辆150例如几百或几千辆汽车的传感器收集的数据。这些车辆提供沿各种路线行驶时捕获的传感器数据并且将所捕获的数据发送至在线HD地图系统110。在线HD地图系统110使用从车辆150接收到的数据来创建并更新描述车辆150正在行驶所处的区域的HD地图。在线HD地图系统110基于从车辆150接收到的集合信息来构建高清地图,并且将HD地图信息存储在HD地图存储165中。
在线HD地图系统110根据车辆150的需要将HD地图发送125至各个车辆150。例如,如果自主车辆需要沿路线行驶,则自主车辆的车辆计算系统120向在线HD地图系统110提供描述正在行进的路线的信息。作为响应,在线HD地图系统110提供用于沿路线行驶所需的HD地图。
在实施方式中,在线HD地图系统110以压缩格式将HD地图数据的各部分发送至车辆使得传输的数据消耗较少的带宽。在线HD地图系统110从各种车辆接收描述存储在车辆的本地HD地图存储装置275中的数据的信息。如果在线HD地图系统110确定车辆不具有本地存储在本地HD地图存储装置275中的HD地图中的某个部分,则在线HD地图系统110将HD地图中的该部分发送至车辆。如果在线HD地图系统110确定车辆确实先前接收了HD地图中的特定部分,但是由于例如为了解决地图差异车辆最后接收到了数据而由在线HD地图系统110更新了相应的数据,则在线HD地图系统110发送对于存储在车辆处的HD地图中的该部分的更新。这使得在线HD地图系统110能够使与车辆通信的数据量最小化,并且还使本地存储在车辆中的HD地图数据保持定期地更新。
车辆150包括车辆传感器105、车辆控制器130和车辆计算系统120。车辆传感器105允许车辆150检测车辆的周围环境以及描述车辆的当前状态的信息例如描述车辆的位置和运动参数的信息。车辆传感器105包括摄像装置、光探测和测距传感器(LIDAR)、全球定位系统(GPS)导航系统、惯性测量单元(IMU)以及其他。车辆具有捕获车辆的周围环境的图像的一个或更多个摄像装置。LIDAR通过借助于利用激光脉冲照亮目标并且测量所反射的脉冲来测量至目标的距离从而调查车辆的周围环境。GPS导航系统基于来自卫星的信号确定车辆的位置。IMU是使用加速度计和陀螺仪或其他测量仪器的组合来测量和报告车辆的运动数据诸如速率、加速度、移动方向、速度、角速率等的电子设备。
车辆控制器130控制车辆的物理移动例如加速度、方向改变、启动、停止等。车辆控制器130包括用于控制加速器、制动器、转向轮等的机器。车辆计算系统120连续地向车辆控制器130提供控制信号,从而使自主车辆沿选定的路线行驶。
车辆计算系统120执行各种任务,包括处理由传感器收集的数据以及从在线HD地图系统110接收到的地图数据。车辆计算系统120还处理用于发送至在线HD地图系统110的数据。车辆计算系统的详细信息在图2中示出并且进一步结合图2进行描述。
车辆计算系统120与在线HD地图系统110之间的交互通常经由网络例如经由因特网来执行。网络实现车辆计算系统120与在线HD地图系统110之间的通信。在一个实施方式中,网络使用标准通信技术和/或协议。通过网络交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式表示。此外,可以使用常规的加密技术诸如安全套接层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、因特网协议安全性(IPsec)等来对所有链路或一些链路进行加密。在另一实施方式中,实体可以使用定制和/或专用数据通信技术代替上述技术,或者除了上述技术之外使用定制和/或专用数据通信技术。
图2示出了根据实施方式的车辆计算系统的系统架构。车辆计算系统120包括感知模块210、预测模块215、规划模块220、控制模块225、本地HD地图存储装置275、HD地图系统接口280、地图差异模块290和HD地图应用编程接口(API)205。车辆计算系统120的各个模块处理各种类型的数据包括传感器数据230、行为模型235、路线240和物理约束245。在其他实施方式中,车辆计算系统120可以具有更多或更少的模块。被描述为由特定模块实现的功能可以由其他模块来实现。
感知模块210接收来自车辆150的传感器105的传感器数据230。这包括由汽车的摄像装置、LIDAR、IMU、GPS导航系统等收集的数据。感知模块210使用传感器数据以确定在车辆周围有什么对象、车辆正在行进所在的道路的详细信息等。感知模块210处理传感器数据230以填充存储传感器数据的数据结构并且将信息提供至预测模块215。
预测模块215使用被感知的对象的行为模型来解析由感知模块提供的数据,以确定对象是正在移动还是可能移动。例如,预测模块215可以确定表示道路标志的对象不可能移动,而被识别为车辆、人等的对象正在移动或者可能移动。预测模块215使用各种类型的对象的行为模型235以确定各种类型的对象是否可能移动。预测模块215将对各种对象的预测提供至规划模块220用于规划车辆接下来需要采取的后续动作。
规划模块220接收来自预测模块215的描述车辆的周围环境的信息、确定了车辆目的地的路线240以及车辆到达目的地应当采取的路径。规划模块220使用来自预测模块215的信息和路线240以规划车辆在短时间间隔内例如在接下来的几秒内需要采取的一系列动作。在实施方式中,规划模块220将一系列动作指定为表示车辆接下来需要行驶通过的附近位置的一个或更多个点。规划模块220将包括车辆要采取的一系列动作的规划的细节提供至控制模块225。该规划可以确定车辆的后续动作,例如车辆是否执行车道变换、转向、通过增加速度或减慢速度来变速等。
控制模块225基于从规划模块220接收到的规划来确定用于发送至控制器130的控制信号。例如,如果车辆当前在点A处并且规划指定车辆接下来应当去向附近的点B,则控制模块225确定用于控制器130的使车辆以安全且平稳的方式例如从点A至点B不需要采取任何的急转弯或曲折路径从点A去向点B的控制信号。车辆采取的从点A去向点B的路径可能取决于车辆的当前速度和方向以及点B相对于点A的位置。例如,如果车辆的当前速度高,则与车辆行驶缓慢相比,车辆可以采取更宽的转弯。
控制模块225还接收物理约束245作为输入。这些包括该特定车辆的物理能力。例如,具有特定品牌和型号的汽车可能能够安全地进行某些类型的车辆移动诸如加速,并且转而具有不同品牌和型号的另一汽车可能无法安全地进行这些类型的车辆移动。控制模块225在确定控制信号时结合了这些物理约束。控制模块225将控制信号发送至车辆控制器130使车辆执行规定的一系列动作使车辆按规划移动。每隔几秒不断地重复上述步骤,使得车辆沿为车辆规划的路线安全地行驶。
车辆计算系统120的各种模块包括感知模块210、预测模块215和规划模块220接收地图信息以执行它们各自的计算。车辆100将HD地图数据存储在本地HD地图存储装置275中。车辆计算系统120的模块使用HD地图API 205与地图数据交互,HD地图API 205提供可以由模块调用用于访问地图信息的一组应用程序编程接口(API)。HD地图系统接口280允许车辆计算系统120经由网络(图中未示出)与在线HD地图系统110交互。本地HD地图存储装置275以由HD地图系统110指定的格式存储地图数据。HD地图API 205能够处理如由HD地图系统110提供的地图数据格式。HD地图API 205为车辆计算系统120提供接口以用于与HD地图数据交互。HD地图API 205包括若干个API,所述若干个API包括定位API 250、地标地图API255、路线API 265、3D地图API 270、地图更新API 285等。
定位API 250确定例如在车辆启动时以及在车辆沿路线移动时车辆的当前位置。定位API 250包括确定车辆在HD地图内的准确位置的定位API。车辆计算系统120可以将该位置用作准确的相对定位以进行其他查询,例如,本文中进一步描述的特征查询、可导航空间查询和占用地图查询。定位API接收包括由GPS提供的位置、由IMU提供的车辆运动数据、LIDAR扫描仪数据和摄像装置图像中的一个或更多个的输入。定位API返回车辆的准确位置作为纬度坐标和经度坐标。与用作输入的GPS坐标相比,由定位API返回的坐标更准确,例如,定位API的输出可以具有从5cm至10cm的精度范围。在一个实施方式中,车辆计算系统120调用定位API来使用扫描仪数据基于LIDAR例如以10Hz的频率周期性地确定车辆的位置。如果GPS/IMU数据在该速率下可用,则车辆计算系统120可以调用定位API以更高的速率(例如,60Hz)确定车辆位置。车辆计算系统120将位置历史记录存储为内部状态以提高后续定位调用的准确度。位置历史记录存储了从汽车关闭/停止时的时间点起的位置的历史。定位API 250包括定位路线API,所述定位路线API基于HD地图生成指定车道的准确路线。定位路线API将经由第三方地图从源至目的地的路线作为输入并且基于HD地图生成表示为沿输入路线的可导航车道的连接图的高精度路线。
地标地图API 255提供了车辆周围世界的几何描述和语义描述,例如,对车辆当前正在行进的车道的各个部分的描述。地标地图API 255包括允许基于地标地图进行查询的API,例如提取车道API和提取特征API。提取车道API提供与车辆和提取特征API相关的车道信息。提取车道API接收位置例如使用车辆的纬度和经度指定的车辆位置作为输入,并且返回相对于输入位置的车道信息。提取车道API可以指定指示相对于检索到车道信息的输入位置的距离的距离参数。提取特征API接收识别一个或更多个车道元素的信息并且返回相对于指定的车道元素的地标特征。对于每个地标,地标特征包括特定于地标类型的空间描述。
3D地图API 265提供对存储在本地HD地图存储装置275中的道路和道路周围的各种物理对象的空间3维(3D)表示的有效访问。3D地图API 365包括提取可导航表面API和提取占用网格API。提取可导航表面API接收用于一个或更多个车道元素的标识符作为输入,并且返回对于所指定的车道元素的可导航边界。提取占用网格API接收位置例如车辆的纬度和经度作为输入,并且返回描述道路的表面的占用的信息和该位置附近的HD地图中所有可用对象。描述占用的信息包括被认为地图中占用的所有位置的分层体积网格。占用网格包括在可导航区域附近例如在路缘和凸起处的高分辨率的信息,以及在较不重要的区域例如路缘外的树木和墙壁中相对低分辨率的信息。提取占用网格API用于检测障碍物并且用于在必要时改变方向。
3D地图API还包括地图更新API,例如下载地图更新API和上传地图更新API。下载地图更新API接收规划的路线标识符作为输入并且下载用于与所有规划路线相关的数据的地图更新或者针对特定规划路线的地图更新。上传地图更新API将由车辆计算系统120收集的数据上传至在线HD地图系统110。这使得在线HD地图系统110能够基于由沿各种路线行驶的车辆的传感器观察到的地图数据的变化将存储在在线HD地图系统110中的HD地图数据保持最新。
路线API 270返回当车辆沿路线行进时的包括源和目的地之间的完整路线以及路线的各部分的路线信息。3D地图API 365允许查询HD地图。路线API 270包括添加规划路线API和获取规划路线API。添加规划路线API向在线HD地图系统110提供描述规划路线的信息,使得描述相关HD地图的信息可以由车辆计算系统120下载并且保持最新。添加规划路线API接收下述作为输入:使用按照纬度和经度表示的多线来指定的路线;以及另外指定在其之后可以删除路线数据的时间段的生存时间(TTL)参数。因此,添加规划路线API允许车辆指示车辆规划在不久的将来作为自主旅行采用的路线。添加规划路线API将路线与HD地图对准,记录路线及路线的TTL值,并且确保对于存储在车辆计算系统120中的路线的HD地图数据是最新的。获取规划路线API返回规划的路线的列表并且提供描述由路线标识符识别的路线的信息。
地图更新API 285针对本地HD地图存储装置275和针对HD地图存储装置165二者管理存储在在线HD地图系统110中的与地图数据的更新相关的操作。因此,车辆计算系统120的模块调用地图更新API 285,用于将数据从在线HD地图系统110下载至车辆计算系统120以根据需要存储在本地HD地图存储装置275中。地图更新API 285还允许车辆计算系统120确定由车辆传感器105监测到的信息是否指示由在线HD地图系统110提供的地图信息中的差异并且将数据上传至在线HD地图系统110,这可能引起在线HD地图系统110更新存储在HD地图存储装置165中的地图数据,该地图数据被提供至其他车辆150。
地图差异模块290与地图更新API 285一起工作以确定地图差异,并且将地图差异信息传送至在线HD地图系统110。确定地图差异涉及将特定位置的传感器数据230与对于该特定位置的HD地图数据进行比较。例如,HD地图数据可能指示高速公路的车道应当由车辆150可使用,但是传感器数据230可能指示在已经关闭避免使用的该车道上存在正在发生的施工作业。在检测到地图差异时,车辆150向在线HD地图系统110发送更新消息包括关于地图差异的信息。地图差异模块290可以构造更新消息,所述更新消息可以包括车辆标识符(ID)、一个或更多个时间戳、行进的路线、经过的车道元素的车道元素ID、差异的类型、差异的大小、用于帮助识别重复的差异警报消息的差异指纹、消息大小等。在实施方式中,这至少部分地由如下详细描述的地图数据收集模块460代替处理。
根据实施方式,车辆可以在检测到地图差异时并且/或者周期性地发送更新消息。例如,车辆150可以记录差异并且每隔10英里经由更新消息向服务器报告差异。在线HD地图系统110管理更新消息并且对更新消息进行优先级排序,如下面参照地图数据收集模块460更详细地描述的。在实施方式中,车辆仅在到达或停靠在高带宽接入点时发送更新消息,此时车辆将发送经整理的更新消息或一组更新消息,包括自到达或停靠在上一个高带宽接入点以来构造的更新消息。在实施方式中,在接收到对由在线HD地图系统110接收到所整理的更新消息或者一个或更多个更新消息的确认消息时,车辆150标记要删除的数据以安排本地删除过程以及/或者删除数据。可替选地,车辆可以基于时间诸如每小时周期性地向服务器报告。
地图差异模块290也响应于来自在线HD地图系统110的消息而动作。例如,在接收到请求关于沿车辆150的路线的特定位置的数据的消息时,地图差异模块290指示车辆传感器105收集该数据并且将该数据报告至地图差异模块290。在接收到数据时,地图差异模块290构造包含数据的消息并且根据实施方式在周期性时间表的下一个预定时间处将消息立即发送至在线HD地图系统110,或者在下一个高带宽接入点处将消息发送至在线HD地图系统110。
地图差异模块290可以确定所确定的地图差异的紧急程度。例如,可能存在两种紧急程度,这两种紧急程度为低紧急性和高紧急性。在确定如何处理更新消息时,在线HD地图系统110可以考虑更新消息的紧急程度,如下面关于地图数据收集模块460详细描述的。例如,沙漠道路上的单车道封闭可以被确定为具有低紧急性,而在一百万人口的城市中的主要公路的全封闭可以被确定为具有高紧急性。可以由在线HD地图系统110在处理低紧急性更新消息之前处理高紧急性更新消息。
在实施方式中,车辆150连续地记录传感器数据230并且对至在线HD地图系统110的诸如响应于针对特定位置的附加数据的请求的消息的相关部分进行编码。在实施方式中,车辆仅删除在从在线HD地图系统110确认在线HD地图系统不需要任何传感器数据时连续记录的传感器数据。
图3示出了根据实施方式的车辆计算系统的HD地图API中的各种指令层。不同的车辆制造商具有用于接收来自车辆传感器105的信息以及用于控制车辆器130的不同的指令。此外,不同的供应商提供对自主驾驶能力例如车辆传感器数据的收集和分析的不同计算平台。用于自主车辆的计算平台的示例包括诸如NVIDIA、QUALCOMM和INTEL的供应商提供的平台。这些平台提供由自主车辆制造商在制造自主车辆时使用的功能。车辆制造商可以将任意一个或若干个计算平台用于自主车辆。在线HD地图系统110提供用于基于特定于车辆制造商的指令和特定于车辆的供应商特定平台的指令来处理HD地图的库。所述库提供对HD地图数据的访问并且允许车辆与在线HD地图系统110交互。
如图3所示,在实施方式中,HD地图API被实现为包括车辆制造商适配层310、计算平台适配层320和公共HD地图API层330的库。公共HD地图API层包括可以跨多个车辆计算平台和车辆制造商使用的通用指令。计算平台适配层320包括特定于每个计算机平台的指令。例如,公共HD地图API层330可以调用计算平台适配层320以接收来自由特定计算平台支持的传感器的数据。车辆制造商适配层310包括特定于车辆制造商的指令。例如,公共HD地图API层330可以调用由车辆制造商适配层310提供的功能以将特定控制指令发送至车辆控制器130。
在线HD地图系统110存储用于多个计算平台的计算平台适配层320以及用于多个车辆制造商的车辆制造商适配层310。在线HD地图系统110为特定的自主车辆确定特定的车辆制造商以及特定的计算平台。在线HD地图系统110选择用于该特定车辆的特定车辆制造商的车辆制造商适配层310,并且选择用于该特定车辆的特定计算平台的计算平台适配层320。在线HD地图系统110将所选择的车辆制造商适配层310的指令和所选择的计算平台适配层320的指令发送至该特定自主车辆的车辆计算系统120。该特定自主车辆的车辆计算系统120安装接收到的车辆制造商适配层310和计算平台适配层320。车辆计算系统120周期性地检查在线HD地图系统110是否具有对所安装的车辆制造商适配层310和计算平台适配层320的更新。如果与安装在车辆上的版本相比更近期的更新是可用的,则车辆计算系统120请求并接收最新的更新并且安装最新的更新。
HD地图系统架构
图4示出了根据实施方式的HD地图系统的系统架构。在线HD地图系统110包括地图创建模块410、地图更新模块420、地图数据编码模块430、负荷平衡模块440、地图准确度管理模块450、车辆接口模块160、地图数据收集模块460和HD地图存储装置165。在线HD地图系统110的其他实施方式可以包括比图4中示出的更多或更少的模块。指示由特定模块执行的功能可以由其他模块实现。在实施方式中,在线HD地图系统110可以是包括多个处理器的分布式系统。
地图创建模块410根据从沿各种路线行驶的若干个车辆收集的地图数据来创建地图。地图更新模块420通过接收来自最近沿其上地图信息被改变的路线行进的车辆的最近期的信息来更新先前计算的地图数据。例如,如果由于区域中的施工,某些道路标志已经改变或者车道信息已经改变,则地图更新模块420相应地对地图进行更新。地图数据编码模块430对地图数据进行编码以便能够有效地存储数据,以及将所需的地图数据有效地发送至车辆150。负荷平衡模块440平衡车辆之间的负荷以确保用于从车辆接收数据的请求被均匀地分布在不同的车辆上。即使从各个车辆接收到的信息可能不具有高准确度,地图准确度管理模块450也使用各种技术保持地图数据的高准确度。地图数据收集模块460监测车辆并且处理来自车辆的状态更新,以确定是否对某些车辆请求与特定位置相关的附加数据。结合图13进一步描述地图数据收集模块460的细节。
图5示出了根据实施方式的HD地图的组成部分。HD地图包括若干地理区域的地图。地理区域的HD地图510包括地标地图(LMap)520和占用地图(OMap)530。地标地图包括行驶路径(例如,车道、让行线、可安全导航空间、行车道、未铺砌的道路等)的表示、行人路径(例如,人行横道、行人道等)的表示以及地标对象(例如,道路标志、建筑物等)的表示。例如,地标地图包括描述车道的信息,包括车道的空间位置以及关于每个车道的语义信息。车道的空间位置包括在纬度、经度和高度方面高精度例如,等于或低于10cm的精度的几何位置。车道的语义信息包括诸如方向、速度、车道类型(例如,直行车道、左转车道、右转车道、出口车道等)的限制、对向左横穿的限制、与其他车道的连接等。地标地图还可以包括描述停止线、让行线、人行横道的空间位置、可安全导航的空间、减速带的空间位置、路缘和道路标志的信息,道路标志包括与行驶限制相关的所有标志的空间位置和类型。在HD地图中描述的道路标志的示例包括交通标志、停车标志、交通灯、限速、单行、不能进入、让行(车辆、行人、动物)等。
在地标地图中包括的信息与置信度值相关联,置信度值测量表示是准确的可能性。如果描述对象的信息与对象的属性(例如,行驶路径、行人路径、地标对象)相匹配,则对对象的表示是准确的。例如,如果行驶路径的空间位置和语义信息与行驶路径的属性(例如,物理测量、限制等)相匹配,那么对行驶路径的表示被认为是准确的。车辆计算系统120(例如,规划模块220)可以使用置信度值来控制车辆150。例如,如果在地标地图中对地标对象的表示与高置信度值相关联,但是车辆150基于车辆自身对其环境的观察没有检测到地标对象,则车辆计算系统120控制车辆150以避开基于高置信度值假定存在的地标物体,或者控制车辆150以遵守由地标对象施加的行驶限制(例如,基于地标地图上的让行标志使车辆让行)。
占用地图530包括道路的空间三维(3D)表示以及道路周围的所有物理对象。存储在占用地图530中的数据在本文中也称为占用网格数据。3D表示可以与指示对象存在于该位置处的可能性的置信度分数相关联。占用地图530可以以多种其他方式表示。在一个实施方式中,占用地图530被表示为覆盖表面的3D网格几何形状(三角形的集合)。在另一实施方式中,占用地图530被表示为覆盖表面的3D点的集合。在另一实施方式中,使用以5cm至10cm分辨率的3D单元格的体积网格来表示占用地图530。每个单元格指示在该单元格处是否存在表面,并且如果存在表面,则指示表面沿其定向的方向。
与地标地图520相比,占用地图530可能占用大量存储空间。例如,占用地图530可能使用1GB/英里的数据,从而产生占用4×1015字节或4拍字节的美国(包括4百万英里的道路)的地图。因此,在线HD地图系统110和车辆计算系统120使用数据压缩技术以能够存储和传输地图数据,从而降低存储成本和传输成本。因此,本文中公开的技术使得自主车辆的自驾驶成为可能。
在一个实施方式中,HD地图不需要或不依赖于通常包括在地图中的数据,诸如地址、道路名称、对地址进行地理编码的能力以及计算地名或地址之间的路线的能力。车辆计算系统120或在线HD地图系统110访问其他地图系统例如GOOGLE地图以获得该信息。因此,车辆计算系统120或在线HD地图系统110从诸如GOOGLE地图的工具接收进入路线的导航指令,并且基于HD地图信息将信息转换成路线。
HD地图中的地理区域
在线HD地图系统110将大的物理区域划分成地理区域并且存储每个地理区域的表示。每个地理区域表示由几何形状界定的连续区域,例如,矩形或正方形。在实施方式中,在线HD地图系统110将物理区域划分成相同大小的地理区域,而与存储每个地理区域的表示所需的数据量无关。在另一实施方式中,在线HD地图系统110将物理区域划分成不同大小的地理区域,其中每个地理区域的大小基于表示该地理区域所需的信息量来确定。例如,表示具有大量街道的人口稠密的地理区域表示与表示具有非常少街道的人口稀少区域的地理区域相比的较小的物理区域。因此,在该实施方式中,在线HD地图系统110基于存储与用于HD地图相关的物理区域的各种元素所需的数据量的估计来确定地理区域的大小。
在实施方式中,在线HD地图系统110使用包括各种属性的对象或数据记录(例如使用纬度坐标和经度坐标的边界框以及地标特征和占用网格数据的集合)来表示地理区域,所述各种属性包括地理区域的唯一标识符、地理区域的唯一名称、地理区域的边界的描述符。
图6A至图6B示出了根据实施方式的在HD地图中限定的地理区域。图6A示出了正方形地理区域610a。图6B示出了两个相邻的地理区域610a和610b。在线HD地图系统110以地理区域的表示来存储数据,当车辆跨地理区域边界行驶时,该地理区域的表示允许从一个地理区域平滑过渡到另一个地理区域。
根据实施方式,如图6所示,每个地理区域具有围绕该地理区域的预定宽度的缓冲区。缓冲区包括围绕地理区域的所有4条边的冗余地图数据(在地理区域由矩形界定的情况下)。图6A示出了地理区域610a周围50米的缓冲区的边界620以及地理区域610a周围100米的缓冲区的边界630。当车辆越过该缓冲区内的阈值距离时,车辆计算系统120将车辆的当前地理区域从一个地理区域切换至相邻的地理区域。例如,如图6B所示,车辆在地理区域610a中的位置650a处开始。车辆沿着路线行驶以到达位置650b,在位置650b处车辆越过地理区域610的边界但是停留在缓冲区的边界620内。因此,车辆计算系统120继续使用地理区域610a作为车辆的当前地理区域。一旦车辆在位置650c处越过缓冲区的边界620,车辆计算系统120就将车辆的当前地理区域从610a切换至地理区域610b。由于车辆沿着紧密跟踪地理区域的边界的路线行驶,因此缓冲区的使用阻止了车辆的当前地理区域的快速切换。
HD地图中的车道表示
HD地图系统100表示HD地图中的街道的车道信息。尽管本文中描述的实施方式涉及街道,但是该技术适用于车辆可以行进的高速公路、小巷、大道、林荫大道或任何其他路径。HD地图系统100使用车道作为参考框架,以用于路线选择和车辆的定位的目的。由HD地图系统100表示的车道包括:明确标记的车道例如白色条纹和黄色条纹的车道;隐式的车道例如没有线或路缘但是是双向行进方向的乡村道路;以及充当车道的隐式路径例如当转向的汽车从另一车道进入该车道时行进的路径。HD地图系统100还存储与车道相关的信息,例如,诸如与车道相关的道路标志和交通灯的地标特征、用于障碍物检测的相对于车道的占用网格以及相对于车道的可导航空间,因此在车辆意外地必须移出车道时的紧急情况下车辆可以有效地规划/做出反应。因此,HD地图系统100存储车道的网络的表示,以允许车辆规划源与目的地之间的合法路径,并且添加用于实时感测和控制车辆的参考框架。HD地图系统100存储信息并且提供API,所述API允许车辆确定车辆当前所在的车道、相对于车道几何形状的精确车辆位置以及相对于车道以及邻接且连接车道的所有相关特征/数据。
图7示出了根据实施方式的HD地图中的车道表示。图7示出了交通路口处的车辆710。HD地图系统为车辆提供对与车辆的自主驾驶相关的地图数据的访问。这包括例如与车道相关联的但是可能不是与车辆最接近的特征的特征720a和720b。因此,HD地图系统100存储以车道为中心的数据的表示,该数据表示车道与特征的关系,使得车辆可以有效地提取给定车道的特征。
HD地图系统100将车道的各部分表示为车道元素。车道元素指定车道的边界和各种约束,包括车辆可以在车道元素内行进的合法方向、车辆可以在车道元素内行驶所处于的速度、车道元素是否仅用于左转向或者仅用于右转向等。HD地图系统100将车道元素表示为单个车辆车道的连续几何部分。HD地图系统100存储表示包括下述的车道元素的对象或数据结构:表示车道的几何边界的信息;沿着车道的行驶方向;用于在车道中行驶的车辆限制,例如限速、与包括驶入车道和驶出车道的连接车道的关系;终止限制,例如,车道是否在停止线、让行标志或减速带处结束;以及与自主驾驶相关的道路特征例如交通灯位置、道路标志位置等的关系。
由HD地图系统100表示的车道元素的示例包括:高速公路上的右车道、道路上的车道、左转车道、从左转车道进入另一车道的转弯、从驶进匝道的汇入车道、驶出匝道上的出口车道以及行车道。HD地图系统100表示使用两个车道元素的单车道道路,每个方向一个车道元素。HD地图系统100表示与单车道道路类似的共享的中间转向车道。
图8A至图8B示出了根据实施方式的HD地图中的车道元素以及车道元素之间的关系。图8A示出了道路中的T形连接的示例,该示例示出了车道元素810a,所述车道元素810a经由转向车道810b连接至车道元素810c并且经由转向车道810d连接至车道810e。图8B示出了道路中的Y形连接的示例,该示例示出了标记810f,所述标记810f直接连接至车道810h并且经由车道810g连接至车道810i。HD地图系统100确定从源位置到目的地位置的路线,作为可以穿过以从源位置到达目的地位置的连接的车道元素的序列。
地标地图更新
如前所述,地图更新模块420更新现有地标地图以提高地标地图的准确度,并且从而提高乘客和行人的安全性。这是因为物理环境会经受变化,并且对物理环境的测量可能包含错误。例如,诸如交通安全标志的地标可能会随着时间而改变,包括被移动或移除、被新的不同的标志替换、被损坏等。当车辆处于运动中时,车辆可以经由其传感器连续地收集关于车辆的周围环境的数据,所述数据可能包括环境中的地标。除了车辆操作数据、关于车辆行程的数据之外,收集并且本地存储所述传感器数据。当从车队内的各种车辆中可获得新数据时,所述新数据被传递至在线HD地图系统(例如,在云中)以更新地标地图,并且将经更新的地图存储在云中。随着地图的新版本变得可用,地图新版本中的这些或各部分被推送至车队中的车辆以在周围行驶时使用。车辆150验证地标地图的本地副本并且在线HD地图系统100基于验证结果对地标地图进行更新。
在一些实现方式中,车辆150分析验证结果,基于验证结果确定是否应当更新现有地标地图,并且将信息发送至在线HD地图系统100以用于更新现有地标地图。在线HD地图系统100使用该信息以更新存储在在线HD地图系统100中的现有地标地图。在一些实现方式中,车辆150将验证结果的概要发送至在线HD地图系统100,在线HD地图系统100对验证结果的概要进行分析以确定是否应当更新现有地标地图,请求对来自车辆150的现有地标地图进行更新所需的信息并且使用所请求的信息来更新现有地标地图。
图9是示出根据一个实施方式的车辆150验证现有地标地图的示例过程的流程图。与车辆150沿路线行驶的同时车辆150从车辆传感器105接收902传感器数据。如前所述,传感器数据(例如,传感器数据230)包括图像数据、位置数据、车辆运动数据和LIDAR扫描仪数据等。
车辆150处理904传感器数据以确定车辆150的当前位置,并且根据传感器数据检测一组对象(例如,地标)。例如,可以根据GPS位置数据确定当前位置。可以根据图像数据和LIDAR扫描仪数据检测一组对象。在各种实施方式中,车辆150检测在车辆当前位置周围的预定区域中的对象。对于每个确定的对象,车辆150还可以确定与对象相关联的信息,诸如对象远离当前位置的距离、对象的位置、对象的几何形状等。车辆150(例如,上面描述的车辆上的感知模块210)应用各种信号处理技术以对传感器数据进行分析。
车辆150基于车辆的当前位置获得906一组表示的对象(例如,在LMap上表示的地标)。例如,车辆150在存储在位于车辆上的本地HD地图存储装置275中的HD地图数据中查询车辆的当前位置,以找到位于车辆当前位置周围的预定区域内的一组表示的对象。存储在车载或本地HD地图存储装置275中的HD地图数据对应于地理区域,并且包括具有地标对象在地理区域中的表示的地标地图数据。地标对象的表示包括诸如所表示的地标对象的纬度坐标和经度坐标的位置。存储在本地HD地图存储装置275中的HD地图数据通常是存储在HD地图存储装置165中的现有地图信息(或现有地图信息的部分)的特定版本的副本。通过从本地HD地图数据中查询车辆的当前位置,车辆150识别其环境中存在的对象,这些对象也表示在存储在在线系统中(例如,在HD地图存储装置165内的云中)的地标地图中。
车辆150将与由车辆检测到的对象相关联的数据和与地图上的对象相关联的数据进行比较908,以确定车辆150对其环境(即,与预定区域相对应的物理环境)的感知与存储在HD地图存储装置165中的对环境的表示之间的任何差异。车辆150可以将检测到的对象的位置数据和几何形状数据与所表示的对象的位置数据和几何形状数据进行比较。例如,车辆150将检测到的交通标志的纬度坐标和经度坐标与地图上的交通标志的纬度坐标和经度坐标进行比较以确定任何匹配。对于每个匹配的纬度坐标和经度坐标,车辆150将检测到的对象的几何形状(例如,六角形停止标志)与地图上的对象的几何形状进行比较。可替选地,可以在没有首先匹配坐标的情况下匹配形状。并且然后,对于每个匹配的几何图形,车辆150对对象之间的纬度坐标和经度坐标进行比较。
车辆150基于该比较来确定910其检测到的对象与地图上的对象是否存在任何匹配。如果检测到的对象的位置数据和几何形状数据分别与所表示的对象的位置数据和几何形状数据相匹配,则车辆150确定存在匹配。如本文所述,匹配是指数据的差异在预定阈值之间。
车辆150创建912匹配记录。匹配记录是一种类型的地标地图验证记录。匹配记录对应于在存储于本地HD地图存储装置275中的地标地图中的被确定为与由车辆检测到的对象相匹配的特定表示对象,该特定表示对象可以被称为“经验证的表示对象”。匹配记录包括车辆150的当前位置和当前时间戳。匹配记录还可以包括关于经验证的表示对象的信息,诸如识别在存储于HD地图系统HD地图存储装置165中的现有地标地图中使用的经验证的表示对象的对象ID。对象ID可以从本地HD地图存储装置275中获得。匹配记录还可以包括关于车辆的其他信息(例如,特定品牌和型号、车辆ID、当前方向(例如,相对于北方)、当前速度、当前运动等)。匹配记录还可以包括存储本地HD地图存储装置275中的HD地图的版本(例如,版本ID)。
在一些实施方式中,车辆150仅为相关联的置信度值低于预定阈值的经验证的表示对象创建匹配记录。相关联的置信度值可以从本地HD地图存储装置275中获得。
在一些实施方式中,车辆150还验证对象的操作。例如,一些对象根据各种通信协议向车辆150显示信息或者传输包括信息的无线信号。例如,某些交通灯或交通标志具有通信能力并且可以传输数据。由这种类型的交通灯传输的数据会影响车辆150对要采取的一系列动作(例如,停止、减速或前进)的确定。车辆可以将交通灯或交通标志与来自V2X系统的实时交通信号馈送进行比较以确定是否存在匹配。如果不存在与实时交通信号馈送的匹配,那么车辆可以调整其如何响应于该地标。在一些情况下,可以例如基于诸如交通状况、道路状况或天气状况的各种因素动态地控制从对象(例如,交通灯、交通标志)发送的信息。例如,车辆150处理交通标志的图像数据以检测显示在交通标志上的内容,并且处理来自标志的无线信号以从该标志获得无线传送的信息,并且对这些信息进行比较,并且基于是否存在匹配来进行响应。如果显示的信息与无线传送的信息不匹配,则车辆150确定验证失败并且在确定要采取的动作时忽略该信息。
在一些实施方式中,如果第一次操作验证失败,则车辆150可以通过获得经更新的无线信号并且进行另一比较来重复验证过程。在确定验证失败之前,车辆150可以重复验证过程达预定的次数或达预定的时间间隔。车辆150将操作验证结果与为对象创建的匹配记录相关联。
车辆150可以将经验证的表示对象分类为特定的地标对象类型(例如,具有无线通信能力的交通灯、具有无线通信能力的交通标志),以确定是否对经验证的表示对象的操作进行验证。这是因为并非所有地标对象的操作都需要验证。为了进行分类,车辆150可以确定是接收来自特定表示对象的任何无线信号还是从存储在本地HD地图存储装置275中的HD地图数据中获得分类。此外,车辆150还可以应用机器学习算法以进行分类。可替选地,车辆150可以向在线HD地图系统110或第三方服务提供对象和相关联数据(例如,位置数据、几何形状数据、图像数据等)以用于分类。
车辆150还可以确定操作验证失败是否是由各种类型的错误(例如传感器错误、测量错误、分析错误、分类错误、通信错误、传输错误、接收错误等)引起的。即,车辆150执行错误控制(即,错误检测和纠正)。这些错误可能导致对车辆150周围环境的误感知,诸如对对象的误分类或对所显示的信息的错误识别。错误还可能引起车辆150和另一设备诸如经验证的表示对象之间的错误传达。如果车辆150去除检测到的错误,则车辆150可以对经验证的表示对象的操作重新进行验证(例如,使用恢复的原始信息和/或使用恢复的所显示的信息),或者确定操作验证是不必要的(例如,对象是不传输无线信号的特定类型)。如果车辆150没有去除检测到的错误,则车辆150包括用于指示失败可能由操作验证结果中的错误引起的指示。车辆还可以包括操作验证结果中的检测到的错误和/或错误类型。
在一些实施方式中,车辆150还可以确定操作验证失败由错误引起的可能性,并且将该可能性包括在操作验证结果中。如果可能性高于阈值可能性,则车辆150可以去除操作验证失败结果。
如果由车辆检测到的对象(或地图上的对象)的位置数据和几何形状数据与地图上的任何对象(或由车辆检测到的任何对象)的位置数据和几何形状数据不匹配,则车辆150确定存在不匹配。车辆150创建914不匹配记录。不匹配记录是另一类型的地标地图验证记录。不匹配记录可以有两种类型。第一类型的不匹配记录对应于被确定为与存储在本地HD地图存储装置275中的地标地图中表示的任何对象不匹配的特定检测对象(下文中被称为“未经验证的检测对象”)。第二类型的不匹配记录对应于存储在本地HD地图存储装置275中的地标地图中的被确定为与任何检测到的对象不匹配的特定表示对象(被称为“未经验证的表示对象”)。不匹配记录包括不匹配记录类型、车辆150的当前位置(例如,纬度坐标和经度坐标)以及当前时间戳。不匹配记录与原始传感器数据(例如,与未经验证的检测对象或其位置相关的原始传感器数据)相关联。第二类型的不匹配记录包括关于未经验证的表示对象的信息,诸如识别在存储于HD地图系统HD地图存储装置165中的现有地标地图中使用的未经验证的表示对象的对象ID。对象ID可以从本地HD地图存储装置275中获得。不匹配记录还可以包括关于车辆的其他信息(例如,特定品牌和型号、车辆ID、当前方向(例如,相对于北方)、当前速度、当前运动等)。不匹配记录还可以包括存储在本地HD地图存储装置275中的HD地图的版本(例如,版本ID)。
车辆150还可以确定不匹配是否是由各种类型的错误(例如传感器错误、测量错误、分析错误、分类错误、通信错误、传输错误、接收错误等)引起的。即,车辆150执行错误控制(即,错误检测和纠正)。错误可能引起对车辆150周围环境的误感知,诸如对对象的错误检测、对对象的位置和/或几何形状的错误确定等。错误还可能引起存储在本地HD地图存储装置275中的HD地图的版本与存储在HD地图存储装置165中的HD地图的相同版本不匹配。如果车辆150去除检测到的错误,则车辆150可以对未经验证的检测对象或未经验证的表示对象重新进行验证。如果车辆150没有去除检测到的错误,则车辆150指示失败可能是由不匹配记录中的错误引起的。车辆还可以包括操作验证结果中的检测到的错误和/或错误类型。
在一些实施方式中,车辆150还可以确定不匹配由错误引起的可能性,并且将该可能性包括在不匹配记录中。如果可能性高于阈值可能性,则车辆150可以移除不匹配记录。
在一些实施方式中,车辆150仅为相关联的置信度值低于预定阈值的未经验证的表示对象创建不匹配记录。相关联的置信度值可以从本地HD地图存储装置275中获得。
对于每个创建的地标地图验证记录,车辆150确定916是否报告该记录。车辆150可以周期性地报告地标地图验证记录。例如,车辆150每隔预定的时间间隔报告验证记录。作为另一示例,车辆150在总验证记录的数目达到阈值时报告验证记录。车辆150可以在创建验证记录时报告验证。车辆150还可以响应于从在线HD地图系统110接收到的对验证记录的请求来报告验证记录。在线HD地图系统100可以向车辆150例如位于特定地理区域中的车辆150周期性地发送对验证记录的请求。在线HD地图系统100可以基于从车辆150接收到的概要向车辆150发送对验证记录的请求。例如,在线HD地图系统100对从一个或更多个车辆接收到的一个或更多个概要进行分析以识别一个或更多个验证记录,并且向相应的创建所识别的验证记录的一个或更多个车辆发送对所识别的验证记录的请求。一个或更多个车辆可以位于特定的地理区域中。验证记录的概要可以包括统计信息,诸如验证所表示的对象的次数、未验证所表示的对象的次数、未验证特定位置处的检测到的对象的次数等。车辆150可以周期性地或者响应于在线HD地图系统110的请求来创建未报告的验证记录的概要。
车辆150传输916被确定的一个或更多个验证记录以向在线HD地图系统110报告。车辆150可以将在创建不匹配记录时使用的原始传感器数据连同不匹配记录一起发送至在线HD地图系统110。车辆150在将验证记录传输至在线HD地图系统110之后移除验证记录。可替选地,车辆150可以将验证记录在本地存储预定的时间段。
如果车辆150确定不报告这些验证记录,则车辆150存储920未报告的验证记录。在一些实施方式中,车辆在预定的时间段之后移除未报告的验证记录。
图10是示出根据一个实施方式的在线HD地图系统110(例如,地图更新模块420)更新现有地标地图的示例过程的流程图。在线HD地图系统110接收1002来自车辆150的验证记录和相关联的数据(例如,原始传感器数据)。如先前关于图9描述的,在线HD地图系统110可以随时间连续地接收来自车辆150的验证记录。在特定的时间点处,在线HD地图系统110可以接收来自一些车辆150但不是所有车辆150的验证记录,包括来自可能分布在跨与HD地图510的不同区域相对应的不同地理区域的车辆的验证记录。
在一些实施方式中,在线HD地图系统110在一段时间间隔内收集验证记录,并且然后处理验证记录以更新HD地图510。可以基于在每个时间点处接收到的验证记录的数目来预定或调整时间间隔。
在线HD地图系统110基于位置(例如,纬度坐标和经度坐标)将验证记录组织1004成组。所述位置可以根据包括在每个验证记录中的车辆的当前位置来确定。每个组对应于一个地理区域,并且包括对于该地理区域内的位置的验证记录。可以基于接收到的验证记录来预定或动态地确定地理区域。例如,在线HD地图系统110确定地理区域,使得每个组包括基本相同数目的验证记录。
在线HD地图系统110移除1006异常值验证记录和异常值原始传感器数据。异常值验证记录是对于其中对于特定位置的验证结果与其他验证记录不一致的验证记录。例如,对于特定位置,如果12个验证记录是不匹配记录并且1877个验证记录是匹配记录,则不匹配记录是异常值验证记录。如果对于特定位置的原始传感器数据的一个副本与对于相同位置的原始传感器数据的其他副本不同,那么这个特定副本是异常值。在线HD地图系统110移除任何已识别的异常值验证记录以及任何已识别的异常值原始传感器数据。对于特定的组验证记录,在线HD地图系统110识别异常值验证记录和/或异常值原始传感器数据(如果有)。在线HD地图系统110可以应用数据异常值检测技术诸如基于密度的技术、基于子空间的异常值检测、复制器神经网络、基于聚类分析的异常值检测等,以识别异常值验证记录和异常值原始传感器数据。异常值验证记录和异常值传感器数据可能是由错误引起的。通过移除异常值验证记录和异常值传感器数据二者,在线HD地图系统110提高了HD地图的可靠性以及准确度。
对于每个组,在线HD地图系统110确定1008包括在组中的验证记录的验证记录类型。验证记录可以是匹配记录、第一类型的不匹配记录或第二类型的不匹配记录。
对于每个组,在线HD地图系统110基于组中的验证记录类型和原始传感器数据来更新1010地标对象。例如,在线HD地图系统110增加与对应于一个或更多个匹配记录的每个地标对象相关联的置信度值。在线HD地图系统110降低与对应于一个或更多个第二类型的不匹配记录的每个地标对象相关联的置信度值。可以基于各种因素诸如与地标对象相关联的原始置信度值、地标对象的位置、地标对象所在的地理区域(例如,市区、郊区等)、与地标对象所对应的匹配记录或不匹配记录的数目等确定置信度值调整量。对于与特定位置处的未经验证的检测对象相对应的一个或更多个第一类型的不匹配记录,在线HD地图系统110对与不匹配记录相关联的原始传感器数据进行分析以检测未在地标地图520中表示的地标对象。HD地图系统110还可以对检测到的地标对象进行分类。在线HD地图系统110使用相关联的原始传感器数据来确定对于检测到的对象的置信度值。
对于每个地标对象,HD地图系统110确定1012与地标对象相关联的置信度值是否低于阈值置信度值。HD地图系统110对于不同的地标对象使用不同的阈值置信度值。HD地图系统110基于各种因素诸如置信度值调整量、地标对象的位置、地标对象的类型(例如,交通标志、道路标志等)、地标对象所在的地理区域(例如,市区、郊区等)、不同车辆150对于确定一系列动作所使用的阈值等来确定特定的阈值置信度值。例如,对于交通控制地标对象的阈值置信度值通常高于对于道路标志地标对象的阈值置信度值,这是因为与对道路标志地标对象的错误表示相比,对交通控制地标对象的错误表示更可能导致事故。
如果置信度值低于阈值置信度值,则HD地图系统110验证相应的地标对象。验证可以以若干个方式执行。HD地图系统110可以分析所收集的与特定地标对象以及如HD地图110中表示的地标对象相关的原始传感器数据,以验证如在HD地图110中呈现的地标对象是准确的还是应当进行更新。HD地图系统110还可以通知人类审查者以进行验证。人类操作员可以向HD地图系统110提供关于如在HD地图110中表示的地标对象是准确的还是应当被更新的指令。人类操作员可以提供应当对HD地图510做出的特定改变。HD地图系统110还可以与人类审查者进行交互以对地标对象进行验证。例如,HD地图系统110可以通知人类审查者以验证HD地图系统110确定为可能不准确的信息,诸如原始传感器数据、原始传感器数据的分析、物理对象的一个或更多个属性、如HD地图中表示的地标对象的一个或更多个属性。基于人类审查者的输入,HD地图系统110完成对如HD地图510中表示的地标对象是准确的还是应当更新的验证。在HD地图系统110完成验证之后,HD地图系统110确定1016对HD地图510(例如,地标地图520)的一组改变。
如果置信度值高于阈值,则HD地图系统110确定1016对HD地图510的一组改变。HD地图系统110确定是否应当对地标地图520进行更改。例如,HD地图系统110确定是否需要改变现有地标对象的一个或更多个属性(例如,位置、几何形状、语义信息)、是否应当移除现有地标对象、以及是否应当添加新的地标对象和相关联的属性。HD地图系统110创建对应当修改、添加或移除的特定地标对象的改变记录。HD地图系统110将改变记录与时间戳、改变细节(例如,属性的改变、删除、添加)、改变源(例如,改变是否由人类观察者请求、人类审查者ID、改变是否由算法确定、算法ID等)、由人类审查者提供的输入、数据源(例如,提供验证记录的车辆150、提供原始传感器数据的车辆、与原始传感器数据相关联的传感器)等相关联。
HD地图系统110将该组改变应用于HD地图510以对地图进行更新。例如,HD地图系统100根据该组改变来修改现有地标对象、添加新的地标对象或者移除现有地标对象。HD地图系统1100可以监测在应用改变时地标地图510的一致性。也就是说,HD地图系统1100确定所述改变是否触发了其他改变,这是因为一些地标对象是相互依赖的。例如,当添加左转标志时,HD地图系统1100创建LaneEl以与左转目标的LaneEl连接。相对地,当移除相应的左转标志或检测到禁止左转的标志时,可以移除这样的LaneEl。可以基于每次改变或者基于每个区域执行一致性维护。当基于每个区域执行时,HD地图系统110等待直到完成对区域内的所有单个地标对象的改变为止。基于改变的位置,HD地图系统110确定受影响的地标对象的最大影响区域(因为LaneEl具有最大长度),并且更新该影响区域内的所有地标对象(根据需要可能添加/删除LaneEl)。
占用地图更新
如前所述,地图更新模块420更新现有占用地图以提高占用地图的准确度,从而提高乘客和行人的安全性。这是因为物理环境会经受改变,并且对物理环境的测量可能包含错误。在各种实施方式中,在线HD地图系统110验证现有占用地图并且更新现有占用地图。如果对象(例如,树、墙、障碍物、路面)移动、出现或消失,那么对占用地图进行更新以反映改变。例如,如果道路上出现洞、洞被填满,树被砍倒,树生长超出合理容限等,那么更新占用地图。如果对象的外观发生改变,那么对占用地图进行更新以反映改变。例如,如果路面的反射比和/或颜色在不同的照明条件下发生改变,那么对占用地图进行更新以反映改变。
如下面进一步描述的,在线HD地图系统100将现有占用地图或现有占用地图的一部分的副本分发至车辆150,并且车辆150对现有占用地图或现有占用地图的一部分的本地副本进行验证。在线HD地图系统100基于验证结果对占用地图进行更新。在一些实现方式中,车辆150分析验证结果,基于验证结果确定是否应当更新现有占用地图,并且将信息发送至在线HD地图系统100以用于更新现有占用地图。在线HD地图系统100使用接收到的信息以对现有地标地图进行更新。在一些实现方式中,车辆150将验证结果概要发送至在线HD地图系统100,在线HD地图系统100对验证结果的概要进行分析以确定是否应当更新现有占用地图、请求来自车辆150的对现有占用地图进行更新所需的信息、以及使用所请求的信息来更新现有占用地图。
图11A是示出根据一个实施方式的车辆150验证现有占用地图并更新现有占用地图的示例过程的流程图。车辆150接收1102来自车辆传感器105的传感器数据。在车辆150沿路线行进的同时车辆150接收传感器数据。如前所述,传感器数据(例如,传感器数据230)包括图像数据、位置数据、车辆运动数据和LIDAR扫描仪数据等。
车辆150对传感器数据进行处理1104以确定车辆150的当前位置并且根据传感器数据获得图像。所述图像从不同的视角捕获在当前位置处的车辆150周围的环境。环境包括道路和道路周围的对象。可以根据GPS位置数据或者将传感器数据匹配至占用地图来确定当前位置。可以使用周围环境的图像和LIDAR数据来创建周围环境的3D表示。车辆150诸如感知模块210应用各种信号处理技术以对传感器数据进行分析。可替选地,车辆150可以向在线HD地图系统110或向第三方服务提供传感器数据以用于分析。
车辆150基于当前位置来获得1106占用地图。例如,车辆150在存储于本地HD地图存储装置275中的HD地图数据中查询当前位置,以找到其中相关联位置范围包括当前位置的占用地图或者其中相关联位置与当前位置匹配的占用地图。存储在本地HD地图存储装置275中的HD地图数据对应于地理区域,并且包括占用网格数据,所述占用网格数据包括地理区域中的道路和道路周围的对象的3D表示。通过查询在存储于本地HD地图存储装置275中的HD地图数据中的当前位置,车辆150识别在存储于HD地图存储装置165中的现有占用地图中3D表示的道路和对象。
车辆150利用占用地图来登记1108周围环境的图像。换句话说,车辆150将占用地图的2D图像信息转换成3D坐标系。例如,车辆150将立体图像中的点、线和面映射成3D坐标系中的点、线和面。车辆150还利用占用地图来登记LIDAR扫描仪数据。车辆150从而使用图像、LIDAR扫描仪数据和占用地图来创建车辆150周围环境的3D表示。如此,车辆150创建周围环境的3D表示。
在一些实施方式中,车辆150根据传感器数据(例如,图像数据、LIDAR扫描仪数据)来检测对象(例如,障碍物),将检测到的对象分类为移动对象,并且在创建周围环境的3D表示的同时移除移动对象。如此,周围环境的3D表示不包括移动对象。在各个实施方式中,车辆150检测在当前位置周围的预定区域中的对象。对于每个确定的对象,车辆150还可以确定与对象相关联的信息,诸如对象距当前位置的距离、对象的位置、对象的几何形状等。对于每个检测到的对象,车辆150对对象是移动对象还是静止对象进行分类。移动对象(例如,汽车、自行车、行人)正在移动或者可能移动。车辆150可以确定对象的移动的可能性。如果移动的可能性大于阈值可能性,则将对象分类为移动对象。车辆150从图像中移除移动对象。也就是说,车辆150将调用对象分类成移动对象组或静止对象组。移动对象组包括移动对象并且静止对象组包括静止对象。车辆150移除包括在移动对象组中的对象。车辆150诸如感知模块210或预测模块215根据传感器数据来检测对象并且对对象进行分类。可替选地,车辆150可以向在线HD地图系统110或向第三方服务提供传感器数据以用于分析。
如果车辆150利用占用地图来登记图像和LIDAR扫描仪数据失败,则车辆150可以重复登记过程几次。然后,车辆150可以确定失败是由传感器故障引起的,由损坏的登记过程引起的,还是由损坏的占用地图数据(例如,未正确安装更新)引起的。
车辆150检测1110根据立体图像创建的3D表示中的对象。例如,车辆150可以应用一个或更多个机器学习模型以定位和识别3D表示中的所有对象。车辆150可以向在线HD地图系统110或向另一第三方服务提供3D表示以用于对象检测。
车辆150对检测到的对象进行分类1112。对象可以表示诸如树或建筑物的固定结构,或者可以表示移动对象诸如车辆。例如,车辆150可以应用一个或更多个机器学习模型以将所有检测到的对象分类为移动对象或静止对象。车辆150可以可替选地向在线HD地图系统110或向另一第三方服务提供3D表示以用于对象分类。
车辆150从3D表示中移除1114移动对象以创建更新的占用地图。特别地,车辆150从3D表示中移除移动对象并且使用3D表示的其余部分以对现有占用地图进行更新。例如,车辆150将3D表示的其余部分与现有占用地图进行比较以确定是否添加新的表示以及/或者是否移除现有表示。例如,如果3D表示的其余部分包括未在现有占用地图中表示的对象(或道路),则车辆150更新现有占用地图以包括该对象(或该道路)的表示。作为另一示例,如果现有占用地图包括未在3D表示的其余部分中表示的对象(或道路)的表示,则车辆150更新现有占用地图以移除该对象(或该道路)的表示。作为另一示例,如果现有占用地图包括与3D表示的其余部分中的对象(或道路)不同的对象(或道路)的表示,则车辆150根据3D表示的其余部分对现有占用地图中的该对象(或该道路)的表示进行更新。
车辆150将经更新的占用地图与现有占用地图(即,存储在本地HD地图存储装置275中的占用地图)进行比较1116以识别一个或更多个差异。经更新的占用地图包括根据传感器数据检测到的车辆150周围环境中的对象的3D表示。本地存储的占用地图包括先前检测到的环境中的对象的表示。差异包括根据传感器数据检测到的但是先前未检测到的任何对象、先前检测到的但是根据传感器数据未检测到的任何对象、或者根据传感器数据检测到的任何对象与先前检测到的任何对象之间的差异。
车辆150可以验证特定差异。验证可以以若干个方式来执行。车辆150可以连续地分析收集到的与对象相关的新生成的原始传感器数据,以验证在占用地图530中表示的对象是准确的还是应当更新。当车辆150横穿道路时,传感器105连续地生成原始传感器数据。因为新生成的原始传感器数据是在不同的位置处生成的,所以新生成的原始传感器数据可以提供附加信息以对差异进行验证。车辆150还可以通知人类审查者(例如,乘客)以进行验证。人类审查者可以向车辆150提供关于本地HD地图存储装置275中表示的地标对象是准确的还是应当更新的指令。人类审查者可以提供应当对占用地图520做出的具体改变。车辆150还可以与人类审查者进行交互以验证差异。例如,车辆150可以通知人类审查者以验证车辆150确定为可能不准确的可视信息。基于人类审查者的输入,HD地图系统110完成对差异的验证。
车辆150确定1118是否报告已识别的差异。车辆将所识别的差异与差异阈值进行比较以确定任意差异是否是重要的或者所识别的差异是否是总体重要的。例如,车辆150根据预定规则计算针对特定差异的重要度值,并且将重要度值与阈值进行比较以对差异是否重要进行评估。作为一个示例,如果所识别的改变影响车道的可用性或者对定位(即,在占用地图的3D坐标系中登记2D图像或LIDAR扫描仪数据)具有大的影响,则车辆150确定所识别的改变是重要改变。车辆150可以基于重要度值对要报告的差异进行优先级排序。与较不重要的差异相比,可以更快地报告较重要的差异。
如果车辆150确定差异是重要差异,则车辆150向在线HD地图系统110传输1120差异。车辆可以将与差异相关联的原始传感器数据连同差异一起发送至在线HD地图系统110。车辆150将经更新的占用地图本地存储1122在本地HD地图存储装置275中。在一些实施方式中,如果相关联的重要度值大于阈值,则车辆150立即传输差异。车辆150可以传输传感器数据(例如,LIDAR扫描仪数据、图像数据)连同差异。在一些实施方式中,仅与差异相关联的传感器数据连同差异一起被传输。例如,车辆150滤出LIDAR点和图像的与之前基本相同的部分,并且发送LIDAR点和/或图像数据以进行非常特定的改变。车辆150可以在随后的时间(例如,如果在线HD地图系统110请求这样的信息,或者如果带宽变得可用)处发送与之前基本相同的3D表示相关联的传感器数据。
在线HD地图系统110使用从车辆150接收到的差异来更新存储在HD地图存储装置165中的占用地图。在一些实施方式中,如果相关联的重要度值大于阈值,则立即更新占用地图。在线HD地图系统110可以请求与来自车辆150的差异相关联的附加数据(例如,原始传感器数据)。请求可以指示要求车辆150在预定时间间隔内响应的紧急程度。如果紧急程度低,则车辆150可以等待高速连接以将附加数据发送至在线HD地图系统110。
图11B是示出根据一个实施方式的车辆150验证并更新现有占用地图的示例过程的流程图。车辆150周期性地接收1140实时传感器数据。车辆150基于传感器数据确定当前位置。车辆150基于来自占用地图数据库1168的当前位置提取1142占用地图数据。车辆150处理1144传感器数据以获得车辆150周围环境的图像以及LIDAR扫描点。车辆150将图像登记1146在占用地图的3D坐标系中,从而创建周围环境的3D表示。车辆150可以在登记图像的同时执行1148实时3D障碍物检测。车辆150检测1150任何移动障碍物,并且可以从周围环境的3D表示中移除1152某些移动障碍物。车辆150可以移除移动障碍物以提高定位成功率。步骤1148、1150和1152可以实时发生,而其余步骤可以离线发生。
车辆150确定1154 3D登记是否成功。如果3D登记成功,则将成功的定位结果返回1182至车辆控制系统。将在后台或者稍后对实时传感器数据进行进一步处理。车辆150从3D表示中提取障碍物。车辆150将障碍物分类1178为移动物或静止物。车辆150从3D表示中移除1180移动障碍物。车辆150基于被移除的移动障碍物的3D表示更新1172本地占用地图。车辆150确定1174是否需要验证经更新的本地占用地图。如果验证被确定为是需要的,则车辆150可以执行1176自动验证、手动验证和/或半手动验证的组合。如果验证被确定为是不必要的,则车辆150可以将占用地图更新数据提供至云并且云对云中的占用地图进行更新1184。如果检测到存储在云中的OMap中的主要差异,则车载系统可以决定向云报告。
如果定位失败并且不能重试,则可以调用异常处理服务。如果3D登记失败,则车辆150可以重试1156 3D登记。如果3D登记继续失败,则车辆150可以调用异常处理服务。车辆150还可以在其传感器中的任意传感器发生故障时调用1162传感器故障处理器。车辆150还可以调用1164针对登记失败的登记失败处理器。在排除传感器故障和其他故障之后,车辆150向云报告事件。车辆150可以调用1160占用地图更新处理器以处理对云的更新。
地图数据收集
车辆计算系统与在线HD地图系统进行交互以确保收集足够的数据以更新地图,同时使车队与云之间的通信成本最小化。以下因素被视为负荷平衡算法的一部分。1)对检测到的地图更新质量进行交叉检查所需的数据量。当检测到改变时,在将所述改变传播至其他车辆之前经常需要由其他车辆验证所述改变。2)给定车辆在过去已经发送至云的数据量。考虑汽车的上传历史使得车辆不会超过其数据消耗上限。
图12示出了根据实施方式的在不同类型的街道上的交通率。街道是指道路、高速公路、大道、林荫大道或车辆可以行进的其他路径。不同类型的街道在包括不同级别的街道的街道网络中互连。如图12中所见,不同级别的街道包括住宅行车道1235、住宅街道1230、停车场1225、三级街道1220、次要街道1215和高速公路1210。街道网络可以包括这些级别的街道中的每一个街道中的零个或更多个。在其他实施方式中,可能存在表现得类似于本文中描述的街道的诸如乡村道路、私人道路等的附加级别的街道。
如图所见,每个级别的街道具有相关联的交通量。例如,住宅行车道1235通常可以具有近似每天一个车辆穿过住宅车道的少数车辆。住宅街道1230通常可以具有近似每天十个车辆穿过住宅街道的相对较高数目的车辆。停车场1225通常可以具有近似每天100个车辆穿过停车场的车辆数目。三级街道1220通常可以具有近似每天500个车辆穿过三级街道的车辆数目。次要街道1215通常可以具有近似每天1000个车辆穿过次要街道的车辆数目。高速公路1210通常可以具有近似每天10000个车辆穿过高速公路的车辆数目。在线HD地图系统使用每条街道上的交通度量来选择从中访问地图相关数据的车辆。
因此,对于给定街道的街道上的交通水平对于车辆数据负荷平衡是重要的,并且如下面描述的地图数据请求模块1330在选择车辆150时考虑对于给定街道的街道上的交通水平。例如,高速公路1210与住宅街道1230相比将具有每天多得多的流量。如此,与关于住宅街道的地图差异相比,关于高速公路的地图差异将由多得多的车辆报告。此外,不同车辆报告的不同地图差异可能指的是相同的差异。例如,第一车辆可能报告在街道的车道上的事故车辆,并且第二车辆可能报告在大概相同位置处的事故车辆周围的锥形物的位置。因此,通过在线HD地图系统110使用与地图差异相关联的街道上的交通量来选择用于请求数据的车辆。此外,由于穿过某些级别的街道的车辆数目较少,因此在线HD地图系统110在选择针对这些街道的车辆时进行较少的区分,这是因为将要穿过这些街道的车辆总数较少并且因此用于选择的有效车辆的池将是较小的。因此,如果街道具有非常低的流量,则在线系统可以多次选择相同的车辆以请求车辆上传数据。
图13示出了根据实施方式的地图数据收集模块460的系统架构。地图数据收集模块460包括地图差异分析模块1310、车辆排名模块1320、地图数据请求模块1330、以及车辆数据存储装置1340。地图数据收集模块460的其他实施方式可以包括更多或更少的模块。本文中指示为由特定模块执行的功能可以由其他模块代替执行。
在实施方式中,每个车辆向在线HD地图系统110周期性地发送状态更新消息或更新消息。状态更新消息包括描述由车辆所识别的指示在线HD地图系统向车辆提供的地图数据与由车辆从车辆传感器接收到的传感器数据之间的差异的任何地图差异的元数据。在实施方式中,即使车辆确定在一个位置处不存在地图差异,车辆也提供状态更新消息,指示注意到不存在地图差异。这些状态消息允许地图数据收集460验证车辆是否错误地报告了地图差异。此外,这些状态消息可以允许来自特定区域的较旧的数据被老化掉并且用关于该区域的较新的数据进行替换使得HD地图包括可能的最新数据。
地图差异分析模块1310分析从车辆接收到的数据作为状态更新消息的一部分以确定车辆是否报告了地图差异。如果地图差异分析模块1310确定从车辆接收到的状态更新消息描述了差异,则地图差异分析模块1310进一步分析所报告的地图差异,例如,以确定如上关于地图差异模块290描述的与差异相关联的紧急程度。
地图数据收集模块460将描述从车辆接收到的数据的信息存储在车辆数据存储装置1340中。这包括从每个车辆接收到的原始数据以及描述从各个车辆接收到的数据的统计信息,例如每个车辆报告数据的速率、请求车辆上传对于特定位置的附加地图数据的速率等。
车辆排名模块1320基于各种标准对车辆进行排名以确定地图数据收集模块460是否应当向车辆发送用于提供对特定位置的附加地图数据的请求。在实施方式中,车辆排名模块1320基于各个车辆的上传速率对车辆进行排名。在其他实施方式中,车辆排名模块1320可以基于其他标准例如车辆的通信带宽的测量、车辆当前是正在行驶还是静止等对车辆进行排名。
街道元数据存储装置1350存储关于如图12所示的在各个位置处的每个街道的交通量的度量。例如,街道元数据存储装置1350可以存储映射街道的各个部分的表以及车辆在街道的该部分上行驶所处的速率。车辆在街道的该部分上行驶所处的率可以被指定为在给定时间例如每小时内在该街道上行驶的车辆的平均数目。在实施方式中,街道元数据存储装置1350还存储在特定时间例如夜间、早晨、晚上等车辆在街道的一部分上行进所处的速率。
地图数据请求模块1330选择用于对特定位置的附加地图数据进行请求的车辆并且向该车辆发送请求。地图数据请求模块1330经由车辆接口模块160发送请求并且同样经由车辆接口模块160接收附加地图数据。地图数据请求模块1330基于各种标准选择车辆,所述各种标准包括由车辆排名模块1320确定的车辆排名和与地图差异相关联的级别或紧急程度,以及车辆行驶通过该街道的该位置所处于的速率。在实施方式中,地图数据请求模块1330与具有在黎明、黄昏或夜晚记录的数据的车辆相比优先地选择具有在白天期间针对特定位置记录的数据的车辆150。在接收到对请求的响应时,地图数据请求模块1330可以通知在线HD地图系统110的其他模块以使用对请求的响应的附加数据来实现对HD地图的改变。
过时的地图警报包括对地图数据收集模块460的通知例如来自地图更新模块420的指示HD地图的一部分已过时并且需要利用新信息进行更新的通知。期望HD地图数据是最新的。这需要HD地图数据的至少周期性的更新。并非所有的HD地图数据都是相同年龄的,其中一些数据早于其他数据被收集。在线HD地图系统110可以跟踪HD地图数据有多旧。对于每个车道元素,在线HD地图系统110可以记录用于构建该车道元素的最新的时间数据和最旧的时间数据,例如在收集最旧的所使用的数据时的时间戳和针对最新的所使用的数据的类似时间戳。如果该车道元素的数据的最旧的时间戳或最新的时间戳比各自的阈值年龄更旧,则可以发送请求针对车道元素的新地图数据的过时地图警报。例如,如果最旧的数据超过四个星期,或者如果最新的数据超过一个星期,则可以发送请求用于更新HD地图的附加数据的过时地图警报。如本文描述的,可以类似地应用对地图差异的任何响应以处理过时地图警报。
地图数据请求模块1330可以具有需要由地图数据收集模块460请求的来自车辆150的附加数据的多个地图差异或者过时地图警报的积压。在这种情况下,地图差异和/或过时地图警报,此后通常一起被称为更新请求,由同样对地图差异和过时地图警报的处理进行优先级排序的在线HD地图系统110来管理。
例如,基于每个更新请求的紧急程度,较紧急的更新请求可以优先于不太紧急的更新请求。例如,更新请求可以被标记为关键,这意味着它是最重要的,这可以使得在线HD地图系统110将该更新请求移动至请求队列的前面。关键更新请求的示例可以包括新路线和由多个汽车检测到重要地图差异的路线。例如,如果一百个车辆检测到高速公路关闭,则在线HD地图系统110可以优先处理该地图差异。在线HD地图系统110可以将属于相同地图差异的地图差异整理成为一个地图差异(对于该一个地图差异发送对附加数据的请求),例如,来自一百个车辆的上述地图差异。通过分析每个地图差异的地图差异指纹的相似性,可以对地图差异进行整理或将地图差异组合成一个地图差异,其中,在线HD地图系统110将彼此的相似性在阈值内的地图差异作为单个地图差异进行处理。
非关键更新请求可以具有各种级别的非关键性,例如,其中所使用数据的最旧时间戳比阈值年龄较旧的更新请求可以优先于其中最新时间戳比阈值年龄较旧的更新请求。
较旧的更新请求可以优先于较新的更新请求。例如,一个星期前的更新请求可以优先于一小时前的更新请求。地图差异可以优先于过时地图警报,或者过时地图警报可以优先于地图差异。如果更新请求是非紧急的,则如果存在需要解决的其他紧急请求,在线HD地图系统110可以延迟来自车辆对在线HD地图系统110的数据的访问。此外,在线HD地图系统可以等待以找到具有低更新负荷的车辆以便使每个车辆的数据上传要求最小化。
为了响应于更新请求来适当地更新HD地图,可能需要来自超过一个车辆的附加数据。在这种情况下,地图数据请求模块1330请求来自多个车辆150的附加数据。如果需要用于收集针对特定更新请求的附加信息的一定数目的车辆并且没有足够的用于完全地处理更新请求的适用车辆,则向每个适用车辆发送对附加信息的请求。否则,选择可用车辆的子集。类似于对单个车辆的选择,即,基于每个车辆的上传速率,以通过将对附加数据的请求分布至多个车辆来使每个车辆的上传速率最小化,其中最低上传速率的车辆优先,对用于响应对附加数据的请求所选择的多个车辆进行选择。上传速率是每个时间段上传的数据的速率(例如,每个时间段诸如超过10秒、1分钟、10分钟、1小时等上传的数据字节)。
本文描述了与更新HD地图相关联的过程。本文描述的用于每个过程的步骤可以以不同于本文描述的步骤的顺序来执行。此外,这些步骤可以由与本文描述模块相比不同的模块来执行。
图14示出了根据实施方式的利用车辆数据负荷平衡来更新HD地图的过程1400。在线HD地图系统110将用于地理区域的HD地图发送1402至将行驶或正在行驶穿过该地理区域的路线的多个车辆150。在线HD地图系统110基于车辆将数据上传至在线系统所处的频率对多个车辆150中的每一个确定上传速率。在线HD地图系统110然后基于每个车辆150的上传速率或最近上传的数据大小对多个车辆150进行排名1404,以平衡上传经由传感器跨车辆的车队收集的数据的负担。例如,对于每个车辆150,存在所记录的指示例如以兆字节(MB)为单位测量的当天车辆将多少数据上传至在线HD地图系统110的数据负荷。在实施方式中,较低的上传速率排名较高并且较高的上传速率排名较低。例如,与具有在统计时期期间上传总计500MB数据的车辆相比,具有在上一个统计时期或时间段(例如,几天或一个星期)y期间上传总计100MB数据的车辆150排名较高。上传速率是在一段时间内(例如,几分钟内、一天或更多天内、一个或更多个星期内、一个或更多个月内等)上传的数据的速率(例如,以字节为单位)。可以调整时间段以优化性能。因此,每个星期跟踪数据上传使得能够实现跨车辆的车队的更好的负荷平衡,然后可以使用每天跟踪,每星期跟踪。并且这可以随着时间的推移进行调整以继续优化性能,包括逐年调整,或者甚至全年(例如,冬季与夏季、假日期间等)调整。
然后,在线HD地图系统110识别1406使用通过地理区域的特定位置例如某个道路的特定交叉口的路线的多个车辆中的车辆150。特定位置可以是关于在线系统需要或期望收集当前车辆传感器数据的位置。可以出于多种原因中的任意一个例如因为针对特定位置的HD地图数据已经超过阈值年龄或者因为在需要进一步调查的特定位置处检测到地图差异来选择特定位置。
在线HD地图系统110然后基于排名来选择1408所识别的车辆150。例如,如果具有最低上传速率、排名第一的车辆没有通过特定位置,但是具有第二最低上传速率、排名第二的车辆通过特定位置,那么选择具有第二最低上传速率的车辆。在其他实施方式中,当选择1408所识别的车辆时,可以考虑其他因素,例如,所识别的车辆穿过特定位置所处的一天中的某个时间,或者相对于行进的方向的一天中的某个时间(例如,阳光方向),因为这可能影响摄像装置数据的质量。所选择的车辆可以是最可能收集最高质量的摄像装置数据的车辆。因此,在夜间行进的车辆可以具有比白天行进的车辆较低的优先级,因为夜间摄像装置数据可能不如白天的摄像装置数据那么清晰。类似地,阳光在车辆后面的车辆可以具有比驶入阳光的车辆较低的优先级,这是因为来自直接驶入阳光的车辆的摄像装置数据可能质量较低。
在线HD地图系统110然后向所选择的车辆150发送1410对附加数据的请求。特别地,对附加数据的请求可以涉及地理区域的特定位置。所请求的附加数据通常可以是,即所选择的车辆在穿越特定位置的同时能够感测的任何数据,或者可以是特定的即特定类型的传感器数据。请求可以包括分别开始记录数据和停止记录数据的开始位置和结束位置,以响应对附加数据的请求。
在线HD地图系统110然后例如通过无线网络从车辆150接收1412附加数据。附加数据可以被格式化使得在线HD地图系统110可以将附加数据合并至对HD地图的更新中。在线HD地图系统110然后使用附加数据以更新1414HD地图。例如,如果附加数据属于由于附近的施工作业而暂时关闭的道路的车道,则在线HD地图系统110可以对地图进行更新以指示该道路的车道为暂时关闭。可替选地,附加数据可以涉及在线HD地图系统110中已经超过阈值年龄的数据,并且因此需要进行更新以确保HD地图是最新的。在线HD地图系统110然后将经更新的HD地图发送至多个车辆,使得在多个车辆在行驶的同时可以使用更准确的HD地图。
图15示出了根据实施方式,响应检测地图差异而利用车辆数据负荷平衡来更新HD地图的过程1500。车辆150从在线HD地图系统110接收1510包括用于地理区域的HD地图的地图数据。车辆150然后接收1520描述车辆150正在行驶所通过的特定位置的传感器数据230。
车辆150将传感器数据230与用于传感器数据230所属的特定位置的地图数据进行比较1530。使用该比较,车辆150确定1540在传感器数据与地图数据之间是否存在差异。例如,地图数据可能指示道路具有车辆150可以使用的三个车道,但是传感器数据230可能指示诸如由于附近的施工或道路施工,车道中的一个被阻挡并且因此关闭。
在确定存在地图差异后,车辆150将描述差异的信息编码1550在消息中。在前面部分中更详细的描述了关于地图差异模块290的消息或更新消息。消息包括如下信息:在线HD地图系统110可以使用该信息来理解和/或分析差异和/或用新信息来更新HD地图。对消息进行编码1550时,例如通过无线网络将消息发送1560至在线HD地图系统110。发送消息会增加发送消息的车辆的上传速率,所述上传速率与所发送的消息的大小成比例。
可以周期性地重复1570如下过程:接收1520描述车辆150位置的传感器数据,将针对车辆位置的传感器数据与地图数据进行比较1530,确定1540在传感器数据与地图数据之间是否存在地图差异,将描述差异的信息编码1550在消息中,以及将消息发送1560至在线HD地图系统110。例如,车辆可以重复每个阈值的时间量或行驶的阈值距离,例如每小时和/或每10英里。在实施方式中,车辆150记录对于周期性消息之间的给定时间窗口或距离的所有差异,并且将所有那些记录的差异编码至下一个周期性消息中。在实施方式中,仅在车辆停靠在到网络的高带宽接入点时发送消息,但是通常这些消息可以被设计成小的并且可以在蜂窝网络上发送,因此在其他实施方式中不需要高带宽接入点。
车辆150然后可以从在线HD地图系统110接收1580请求描述在特定位置处的地图差异的附加数据的请求。该请求可以指定一个或更多个期望类型的传感器数据,或者可以要求能够由在特定位置处的车辆测量的任何传感器数据和所有传感器数据。此外,请求可以指定对要报告的数据量的限制,例如,对于车辆150响应不超过500MB的涉及地图差异的数据。车辆150然后向在线HD地图系统110发送1590描述与特定位置相关联的地图差异的附加数据。在实施方式中,发送附加数据涉及穿过特定位置并且记录针对特定位置的附加传感器数据,诸如由在线HD地图系统110请求的数据类型。
在实施方式中,车辆与在线HD地图系统遵循握手协议。在行进固定量的距离例如x英里之后,无论车辆是否检测到地图差异,车辆都发送消息。消息包括各种类型的信息,包括:车辆的标识符、指示消息被发送的时间的时间戳、描述行进的粗略路线的信息(例如,使用以固定间隔(例如,200m)采样的纬度/经度坐标,如果穿过车道元素(即,在地图中的现有区域上行驶),则消息包括穿过的车道元素ID列表)、描述改变范围(如果有)的信息(什么类型的改变以及改变的大小)、改变指纹(为了帮助识别重复的改变)和改变数据包的大小。
替选实施方式
在实施方式中,在线HD地图系统执行以下步骤以分配车辆之间上传数据的负荷。在线HD地图系统识别:(1)关键路线(需要多个副本的路线);(2)非关键路线优先化;以及(3)按照车辆的最近上传对车辆进行的排序。
在线HD地图系统首先如下处理关键路线。在线HD地图系统首先识别具有关键路线的数据的汽车,并且对其进行排序。对于每个汽车,在线HD地图系统对每个汽车覆盖的关键路线的数目进行总计。在线HD地图系统采用覆盖至少一个关键路线的所有汽车,并且按照汽车的关键路线的数目首先是最少的路线数目对汽车进行排序。如果在线HD地图系统确定对于每个关键路线,如果只有N个或更少的汽车覆盖新路线,则在线HD地图系统请求来自那些汽车的所有传感器数据。如果在线HD地图系统确定超过N个汽车覆盖一个路线,则在线HD地图系统(从已排序的汽车列表中)挑选具有该路线的前N个汽车。对于N个所选定的汽车,在线HD地图系统可以保持对路线请求的跟踪并且将路线请求移动至排序列表的底部。
在线HD地图系统如下处理非关键路线。在线HD地图系统构建候选汽车的排序列表。在线HD地图系统确定不具有关键路线的汽车和来自未被选中上传的关键路线组中的汽车的列表。在线HD地图系统按照最后一段时间(例如,最后一个星期)的汽车上传负荷对列表进行排序,至少按第一上传排序。对于每个非关键路线,在线HD地图系统从列表顶部选择车辆。在线HD地图系统保持对路线请求的跟踪并且将路线请求移动至排序列表的底部。
因此,在线HD地图系统获得车辆和路线请求的表。当车辆到达高带宽通信位置时,车辆向在线HD地图系统发出“停靠”协议消息。在线HD地图系统回复:要上传的路线数据的列表。车辆继续上传所请求的数据。可替选地,在线HD地图系统响应:请求不进行上传。车辆将其路线数据标记为可删除。
因此,在线HD地图系统确保:在线HD地图系统获取新的行驶路线的数据;在线HD地图系统获取改变的路线的数据;通过不请求来自沿相同道路离开的每个汽车的数据来节省带宽;以及每个汽车没有花费大量的时间/精力和带宽上传数据,因为在线HD地图系统在所有汽车中公平分配负荷。
随机数据上传
在另一实施方式中,在线HD地图系统跟踪如上描述的路线握手,并且维护路线覆盖频率的数据库。如果给定的路线每天被车辆覆盖N次,则在线HD地图系统确保该路线的最新数据和最旧数据在给定的时间段内(我们的新鲜度约束)。在线HD地图系统估计在线HD地图系统需要用于保持这种新鲜度约束(统计上)的更新的频率。
例如,假设在线HD地图系统确定路线每天获得N次覆盖,其中N=10。在线HD地图系统确定最新数据为2天长,并且最旧数据为14天长。在线HD地图系统确定满足最新时间约束需要选择20个样本中的1个,而满足最旧时间约束仅需要140个样本中的1个。在线HD地图系统取这2个约束中的最大值(20个中的1个),并且将其用作请求覆盖该路线的随机概率。
当在线HD地图系统从具有用于特定路线的数据的车辆接收消息时,在线HD地图系统将该路线的覆盖概率检索为百分比值。在线HD地图系统计算0.0至100.0之间的随机数,如果该数字低于检索概率,则在线HD地图系统请求上传数据。
根据其他实施方式,在线HD地图系统执行附加检查。例如,如果在线HD地图系统确定如果针对路线的新鲜度约束无效,则在线HD地图系统简单地请求路线数据。对于新的数据或改变,在线HD地图系统简单地从前N次覆盖中请求上传。
计算机架构
图16是示出能够从机器可读介质中读取指令并且在处理器(或控制器)中执行指令的示例机器的部件的框图。特别地,图16以计算机系统1600的示例形式示出机器的图形表示,在计算机系统1600内可以执行用于使机器执行本文中讨论的方法中的任意一个或更多个方法的指令1624(例如,软件)。在替选实施方式中,机器操作为独立设备或者可以连接(或联网)至其他机器。在联网部署中,机器可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力进行操作,或者作为对等(或分布式)网络环境中的对等机器进行操作。
机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能电话、网络设备、网络路由器、交换机或桥或者能够执行指定要由该机器采取的动作的指令1624(顺序地或以其他方式)的任何机器。此外,虽然仅示出了单个机器,但是术语“机器”也应被视为包括单独地或联合地执行指令1624以执行本文中讨论的方法中的任何一个或更多个的方法的机器的任何集合。
示例计算机系统1600包括:处理器1602(例如,中央处理器(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或它们的任何组合),主存储器1604和静态存储器1606,处理器1602、主存储器1604和静态存储器1606被配置成经由总线1608相互通信。计算机系统1600还可以包括图形显示单元1610(例如,等离子显示板(PDP)、液晶显示器(LCD)、投影仪或阴极射线管(CRT))。计算机系统1600还可以包括字母数字输入设备1612(例如,键盘)、光标控制设备1614(例如,鼠标、轨迹球、操纵杆、运动传感器或其他指向仪器)、存储单元1616、信号生成设备1618(例如,扬声器)以及网络接口设备1620,上述部分被配置成经由总线1608进行通信。
存储单元1616包括机器可读介质1622,其上存储有体现本文描述的方法或功能中的任何一个或更多个的指令1624(例如,软件)。指令1624(例如,软件)还可以在由计算机系统1600执行期间完全或至少部分地驻留在主存储器1604内或处理器1602内(例如,处理器的高速缓冲存储器内),主存储器1604和处理器1602还构成机器可读介质。可以经由网络接口设备1620在网络1626上发送或接收指令1624(例如,软件)。
虽然在示例实施方式中将机器可读介质1622示出为单个介质,但是术语“机器可读介质”应当被视为包括能够存储指令(例如,指令1624)的单个介质或多个介质(例如,集中式或分布式数据库,或相关联的高速缓存和服务器)。术语“机器可读介质”还应当被视为包括能够存储用于由机器执行并且使得机器执行本文讨论的方法中的任何一个或更多个的指令(例如,指令1624)的任何介质。术语“机器可读介质”包括但不限于以固态存储器、光学介质和磁性介质形式的数据存储库。
附加配置考虑
已经为了说明的目的呈现了本发明的实施方式的前述描述;该描述不意在是穷尽的或将本发明限制于所公开的精确形式。相关领域的技术人员可以理解,鉴于上述公开内容,许多修改和变化是可能的。
例如,尽管本文描述的技术应用于自主车辆,但是该技术也可以应用于其他应用,例如,用于为具有驾驶员的车辆显示HD地图,用于在客户端设备诸如移动电话、膝上型电脑、平板电脑或任何具有显示屏的计算设备的显示器上显示HD地图。本文显示的技术还可以应用于显示出于计算机模拟的目的的地图例如在计算机游戏中等。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述本发明的实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来将他们工作的主旨有效地传达给本领域的其他技术人员。尽管在功能上、计算上或逻辑上对这些操作进行描述,但是这些操作被理解为由计算机程序或等效电路、微代码等来实现。此外,已经证明,在不失一般性的情况下,有时将这些操作布置称为模块是方便的。所描述的操作及其相关联的模块可以被实现为软件、固件、硬件或它们的任何组合。
本文描述的任何步骤、操作或过程可以单独地或者与其他设备结合地执行或者使用一个或更多个硬件模块或软件模块实现。在一个实施方式中,使用计算机程序产品来实现软件模块,该计算机程序产品包括含有计算机程序代码的计算机可读介质,该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或处理。
本发明的实施方式还可以涉及用于执行本文的操作的装置。该装置可以是为了所需目的而特别构造的,以及/或者该装置可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质中,并且耦合至计算机系统总线。此外,说明书中提到的任何计算系统可以包括单个处理器,或者可以是采用多处理器设计以提高计算能力的架构。
本发明的实施方式还可以涉及在载波中实施的计算机数据信号,其中计算机数据信号包括本文描述的计算机程序产品或其他数据组合的任何实施方式。计算机数据信号是以有形介质或载波呈现并且在载波中被调制或以其他方式编码的产品,该产品是有形的并且根据任何合适的传输方法来传输。
最后,在说明书中使用的语言主要是为了可读性和指导目的而选择的,并且可能不是出于描绘或限制本发明的主题所选择的。因此,本发明的范围将不受该详细描述的限制,而是受到基于此处的对应用发布的任何权利要求的限制。

Claims (20)

1.一种维护高清地图的方法,包括:
由车辆从在线系统接收用于地理区域的高清地图,所述高清地图包括对所述地理区域的几何描述和语义描述;
从所述车辆的传感器接收传感器数据,所述传感器数据包括在所述地理区域中的当前位置的信息;
基于所述传感器数据确定所述车辆的所述当前位置;
识别所述地理区域的几何描述和语义描述中的第一组对象,所述第一组中的每个对象与置信度值相关联,所述置信度值指示所述对象的几何描述和语义描述是准确的概率;
基于所述传感器数据识别第二组对象;
对所述第一组对象与所述第二组对象进行比较;
响应于确定所述第一组中的第一对象与所述第二组中的第二对象相匹配,发送用于更新所述高清地图的请求以增加与所述第一对象相关联的置信度值。
2.根据权利要求1所述的方法,其中,对所述第一组对象与所述第二组对象进行比较包括:对与所述第一组对象相关联的几何形状数据和位置数据以及与所述第二组对象相关联的几何形状数据和位置数据进行比较。
3.根据权利要求1所述的方法,还包括:
响应于确定所述第一对象与所述第二对象相匹配,对所述第一对象的操作进行验证。
4.根据权利要求3所述的方法,其中,对所述第一对象的操作进行验证包括:
确定由所述第一对象显示的信息;
确定从所述第一对象传输的信息,以及
响应于确定所显示的信息与所传输的信息不同,确定所述验证失败。
5.根据权利要求4所述的方法,还包括:
响应于确定所述失败,确定所述失败是否是由错误引起的。
6.根据权利要求1所述的方法,还包括:
响应于确定所述第一对象与所述第二对象相匹配,对所述第一对象进行分类;
响应于确定所述第一对象被分类成预定对象类型,对所述第一对象的操作进行验证。
7.根据权利要求1所述的方法,还包括:
响应于确定所述第一组中的第二对象与所述第二组中的任何对象都不匹配,发送用于更新所述高清地图的请求以降低与所述第二对象相关联的置信度值。
8.根据权利要求1所述的方法,还包括:
响应于确定所述第二组中的第三对象与所述第一组中的任何对象都不匹配,发送用于更新所述高清地图的请求以包括对所述第三对象的表示。
9.根据权利要求8所述的方法,还包括发送与具有所述请求的所述第三对象相关联的传感器数据。
10.根据权利要求1所述的方法,其中,所述请求包括以下中至少之一:时间戳、与所述第一对象相关联的对象ID以及与所述车辆相关联的信息。
11.根据权利要求1所述的方法,其中,所述传感器数据包括由摄像装置捕获的图像、LIDAR扫描仪数据、GPS数据以及IMU数据。
12.一种更新高清地图的方法,包括:
从车辆接收包括高清地图的验证信息的验证记录,所述高清地图包括对地理区域中的对象的几何描述和语义描述,每个对象与置信度值相关联,所述置信度值指示所述对象的几何描述和语义描述是准确的概率;
基于位置将所述验证记录组织成组,验证记录的每个组对应于所述地理区域的子区域;
对于验证记录的每个组:
确定每个验证记录的记录类型;以及
根据所述记录类型更新所述置信度值。
13.根据权利要求12所述的方法,其中,更新置信度值包括:
响应于验证记录是匹配记录,增加与对应于所述验证记录的所述对象中的一个对象相关联的置信度值。
14.根据权利要求13所述的方法,还包括:至少基于与所述对象相关联的置信度值来确定调整量。
15.根据权利要求12所述的方法,其中,更新置信度值包括:
响应于验证记录是第二类型的不匹配记录,降低与对应于所述验证记录的所述对象中的一个对象相关联的置信度值,其中所述第二类型的不匹配记录对应于所述高清地图的地标地图中的被确定为与任何检测到的对象不匹配的表示对象。
16.根据权利要求15所述的方法,还包括:至少基于与所述对象相关联的置信度值来确定调整量。
17.根据权利要求12所述的方法,其中,更新置信度值包括:
响应于验证记录是第一类型的不匹配记录:
基于与所述验证记录相关联的传感器数据识别新对象;
基于所述传感器数据来确定与所述新对象相关联的置信度值;
确定对所述新对象的几何描述和语义描述;以及
更新所述高清地图以包括与所述置信度值相关联的所述新对象的几何描述和语义描述;
其中所述第一类型的不匹配记录对应于被确定为与所述高清地图的地标地图中表示的任何对象不匹配的检测对象。
18.根据权利要求12所述的方法,还包括:
对于验证记录的每个组:识别异常值验证记录并且从所述组中移除所述异常值验证记录,所述异常值验证记录的验证结果在所述组内不一致。
19.根据权利要求12所述的方法,还包括:
对于验证记录的每个组:识别异常值原始传感器数据并且从所述组中移除所述异常值原始传感器数据,所述异常值原始传感器数据的验证结果在所述组内不一致。
20.根据权利要求12所述的方法,还包括:向所述车辆发送对验证记录的请求,其中,响应于所述请求来接收所述验证记录。
CN201780085924.8A 2016-12-30 2017-12-29 更新高清地图的方法 Active CN110832474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662441069P 2016-12-30 2016-12-30
US62/441,069 2016-12-30
PCT/US2017/069104 WO2018126215A1 (en) 2016-12-30 2017-12-29 High definition map updates

Publications (2)

Publication Number Publication Date
CN110832474A CN110832474A (zh) 2020-02-21
CN110832474B true CN110832474B (zh) 2023-09-15

Family

ID=62710752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085924.8A Active CN110832474B (zh) 2016-12-30 2017-12-29 更新高清地图的方法

Country Status (4)

Country Link
US (5) US10429194B2 (zh)
EP (1) EP3563265B1 (zh)
CN (1) CN110832474B (zh)
WO (1) WO2018126215A1 (zh)

Families Citing this family (275)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI589839B (zh) * 2016-05-17 2017-07-01 Mitac Int Corp 辨別車輛當前位於高架道路或平面道路的方法
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10317240B1 (en) * 2017-03-30 2019-06-11 Zoox, Inc. Travel data collection and publication
EP3388972B1 (en) * 2017-04-13 2020-08-26 Aptiv Technologies Limited A method and a device for generating an occupancy map of an environment of a vehicle
US10489663B2 (en) * 2017-04-24 2019-11-26 Toyota Research Institute, Inc. Systems and methods for identifying changes within a mapped environment
US10679312B2 (en) * 2017-04-25 2020-06-09 Lyft Inc. Dynamic autonomous vehicle servicing and management
US10942525B2 (en) 2017-05-09 2021-03-09 Uatc, Llc Navigational constraints for autonomous vehicles
US11288612B2 (en) 2017-05-23 2022-03-29 Uatc, Llc Generalized risk routing for human drivers
US10762447B2 (en) 2017-05-23 2020-09-01 Uatc, Llc Vehicle selection for on-demand transportation services
US11282016B2 (en) 2017-05-23 2022-03-22 Uatc, Llc Individualized risk vehicle matching for an on-demand transportation service
US10501091B2 (en) 2017-05-23 2019-12-10 Uber Technologies, Inc. Software version and mode switching for autonomous vehicles
US10884902B2 (en) * 2017-05-23 2021-01-05 Uatc, Llc Software version verification for autonomous vehicles
US11282009B2 (en) 2017-05-23 2022-03-22 Uatc, Llc Fleet utilization efficiency for on-demand transportation services
US11080806B2 (en) 2017-05-23 2021-08-03 Uber Technologies, Inc. Non-trip risk matching and routing for on-demand transportation services
US10489721B2 (en) 2017-05-23 2019-11-26 Uatc, Llc Path segment risk regression system for on-demand transportation services
US10697789B2 (en) 2017-05-23 2020-06-30 Uatc, Llc Individualized risk routing for human drivers
US10789835B2 (en) 2017-05-23 2020-09-29 Uatc, Llc Fractional risk performance evaluation for autonomous vehicles
US10663303B2 (en) * 2017-06-12 2020-05-26 Panasonic Intellectual Property Management Co., Ltd. System and method for dynamically authenticating map data using blockchains
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
WO2019032684A1 (en) 2017-08-08 2019-02-14 Diversey, Inc. CREATING AND LOADING MAPPING DATA ON AUTONOMOUS ROBOTIC DEVICES
DE102017214921A1 (de) * 2017-08-25 2019-02-28 Robert Bosch Gmbh Mobiles Gerät, Server und Verfahren zum Aktualisieren und Bereitstellen einer hochgenauen Karte
EP3460406B1 (en) * 2017-08-28 2024-04-03 Panasonic Intellectual Property Corporation of America Information processing apparatus, vehicle, information processing method, running control method, and map updating method
CN109510851B (zh) * 2017-09-15 2022-01-04 华为技术有限公司 地图数据的构建方法和设备
WO2019090417A1 (en) * 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
US11360216B2 (en) 2017-11-29 2022-06-14 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
WO2019107536A1 (ja) * 2017-11-30 2019-06-06 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
WO2019105714A1 (en) * 2017-11-30 2019-06-06 Robert Bosch Gmbh Vehicle fleet management having a hiearachy of priority factors
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
DE102017222810A1 (de) * 2017-12-14 2019-06-19 Robert Bosch Gmbh Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
US11157002B2 (en) * 2017-12-28 2021-10-26 Intel Corporation Methods, systems, articles of manufacture and apparatus to improve autonomous machine capabilities
US10713510B2 (en) 2017-12-29 2020-07-14 Waymo Llc Autonomous vehicle system configured to respond to temporary speed limit signs
US11465614B2 (en) 2018-01-08 2022-10-11 STEER-Tech, LLC Methods and systems for controlling usage of parking maps for autonomous vehicles
US11745727B2 (en) 2018-01-08 2023-09-05 STEER-Tech, LLC Methods and systems for mapping a parking area for autonomous parking
KR102221695B1 (ko) * 2018-01-15 2021-03-02 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US11320831B2 (en) * 2018-01-23 2022-05-03 Panasonic Intellectual Property Management Co., Ltd. Mover, mover control system, method of detecting object by mover, moving system, and method of controlling mover
US11145146B2 (en) * 2018-01-31 2021-10-12 Mentor Graphics (Deutschland) Gmbh Self-diagnosis of faults in an autonomous driving system
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
US11386055B2 (en) * 2018-02-23 2022-07-12 Toyota Research Institute, Inc. Adaptive storage of data captured by one or more vehicles
US11188091B2 (en) * 2018-03-06 2021-11-30 Zoox, Inc. Mesh decimation based on semantic information
US10884428B2 (en) * 2018-03-06 2021-01-05 Zoox, Inc. Mesh decimation techniques and validation
JP7102800B2 (ja) * 2018-03-13 2022-07-20 富士通株式会社 評価プログラム、評価方法および評価装置
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
JP2021081758A (ja) * 2018-03-15 2021-05-27 ソニーグループ株式会社 制御装置、制御方法及びプログラム
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US10062281B1 (en) * 2018-04-20 2018-08-28 Smartdrive Systems, Inc. Systems and methods for using a distributed data center to create map data
US10102691B1 (en) * 2018-04-20 2018-10-16 Smartdrive Systems, Inc. Systems and methods for using on-board resources of individual vehicles in a fleet of vehicles as a distributed data center
US20190346841A1 (en) * 2018-05-09 2019-11-14 GM Global Technology Operations LLC Method and system for remotely guiding an autonomous vehicle
US11164016B2 (en) * 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US11287816B2 (en) 2018-06-11 2022-03-29 Uatc, Llc Navigational constraints for autonomous vehicles
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
EP3610225B1 (en) 2018-06-22 2022-03-02 Beijing Didi Infinity Technology and Development Co., Ltd. Systems and methods for updating highly automated driving maps
KR102611507B1 (ko) * 2018-07-04 2023-12-07 르노 에스.아.에스. 주행 지원 방법 및 주행 지원 장치
US20200019173A1 (en) * 2018-07-12 2020-01-16 International Business Machines Corporation Detecting activity near autonomous vehicles
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11181384B2 (en) * 2018-07-23 2021-11-23 Waymo Llc Verifying map data using challenge questions
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
CN110851545B (zh) * 2018-07-27 2023-11-14 比亚迪股份有限公司 地图绘制方法、装置及设备
DE102018118215B4 (de) * 2018-07-27 2020-04-16 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
US10915115B2 (en) * 2018-08-02 2021-02-09 Nvidia Corporation Method and apparatus for enabling map updates using a blockchain platform
US20200050205A1 (en) * 2018-08-07 2020-02-13 Cnh Industrial America Llc System and method for updating a mapped area
US10789788B1 (en) 2018-08-08 2020-09-29 Smartdrive Systems, Inc. Systems and methods for querying fleet information stored in a distributed data center
CN110146097B (zh) * 2018-08-28 2022-05-13 北京初速度科技有限公司 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN110873568B (zh) * 2018-08-30 2021-02-23 百度在线网络技术(北京)有限公司 高精度地图的生成方法、装置以及计算机设备
JP7001024B2 (ja) * 2018-08-31 2022-01-19 株式会社デンソー 車載機
JP7063310B2 (ja) * 2018-08-31 2022-05-09 株式会社デンソー 地図生成システム、車載装置
JP7147712B2 (ja) * 2018-08-31 2022-10-05 株式会社デンソー 車両側装置、方法および記憶媒体
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
JP6873960B2 (ja) 2018-09-27 2021-05-19 株式会社日立製作所 地図データ高詳細度化システム、そのサーバ、及びその方法
US11365975B2 (en) * 2018-09-27 2022-06-21 Honda Motor Co., Ltd. Visual confirmation system for driver assist system
KR20210069098A (ko) * 2018-10-01 2021-06-10 톰톰 글로벌 콘텐트 비.브이. 지도를 업데이트하기 위한 방법, 장치, 시스템 및 컴퓨터 프로그램
JP7147442B2 (ja) * 2018-10-02 2022-10-05 トヨタ自動車株式会社 地図情報システム
JP7056501B2 (ja) * 2018-10-04 2022-04-19 トヨタ自動車株式会社 サーバ、情報処理方法およびプログラム
JP7035945B2 (ja) * 2018-10-04 2022-03-15 トヨタ自動車株式会社 地図情報システム
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11017674B1 (en) * 2018-10-15 2021-05-25 Waymo Llc Managing and tracking scouting tasks using autonomous vehicles
US11256261B1 (en) * 2018-10-16 2022-02-22 Amazon Technologies, Inc. System for movement of autonomous mobile device
US11081010B2 (en) 2018-10-18 2021-08-03 Transfinder Corporation Automatically pairing GPS data to planned travel routes of mobile objects
US11143513B2 (en) * 2018-10-19 2021-10-12 Baidu Usa Llc Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
JP7103161B2 (ja) * 2018-10-29 2022-07-20 トヨタ自動車株式会社 地図情報システム
KR102653177B1 (ko) * 2018-10-29 2024-04-01 삼성에스디에스 주식회사 객체 정보 추출 장치 및 방법
DK180774B1 (en) 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
EP4163595A1 (en) * 2018-10-29 2023-04-12 Motional AD LLC Automatic annotation of environmental features in a map during navigation of a vehicle
WO2020091111A1 (ko) * 2018-11-01 2020-05-07 엘지전자 주식회사 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11163312B2 (en) 2018-11-02 2021-11-02 Aurora Operations, Inc. Removable automotive LIDAR data collection POD
US11209821B2 (en) * 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
CN109515439B (zh) * 2018-11-13 2021-02-02 北京四维图新科技股份有限公司 自动驾驶控制方法、装置、系统及存储介质
US11074812B2 (en) 2018-11-29 2021-07-27 Here Global B.V. Method, apparatus, and computer program product for reducing redundant data uploads
CN111256687A (zh) * 2018-11-30 2020-06-09 广东星舆科技有限公司 地图数据的处理方法、装置、采集设备和存储介质
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US10960894B2 (en) * 2018-12-13 2021-03-30 Waymo Llc Automated performance checks for autonomous vehicles
US10997137B1 (en) * 2018-12-13 2021-05-04 Amazon Technologies, Inc. Two-dimensional partition splitting in a time-series database
US11030898B2 (en) * 2018-12-13 2021-06-08 Here Global B.V. Methods and systems for map database update based on road sign presence
DE102018222344A1 (de) 2018-12-19 2020-06-25 Robert Bosch Gmbh Verfahren zum Prognostizieren einer zeitlichen Beständigkeit von Einträgen einer Wissensdatenbank
KR20200084934A (ko) 2018-12-20 2020-07-14 삼성전자주식회사 차량의 주행을 제어하는 장치 및 차량의 주행을 제어하는 장치가 캘리브레이션을 수행하는 방법
US10839005B2 (en) * 2018-12-24 2020-11-17 Automotive Research & Testing Center Dynamic graphic information classification device and method
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
WO2020133088A1 (zh) * 2018-12-27 2020-07-02 驭势科技(北京)有限公司 一种可用于自动驾驶的地图更新系统与方法
US10990105B2 (en) 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. Vehicle-based virtual stop and yield line detection
WO2020139388A1 (en) * 2018-12-28 2020-07-02 Didi Research America, Llc Vehicle-provided virtual stop and yield line clustering
US10991244B2 (en) 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. On-board vehicle stop cause determination system
US11435751B2 (en) 2018-12-28 2022-09-06 Beijing Voyager Technology Co., Ltd. Vehicle-based road obstacle identification system
WO2020133415A1 (en) * 2018-12-29 2020-07-02 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for constructing a high-definition map based on landmarks
WO2020140164A1 (en) * 2019-01-03 2020-07-09 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-definition map
US11167751B2 (en) 2019-01-18 2021-11-09 Baidu Usa Llc Fail-operational architecture with functional safety monitors for automated driving system
US11402842B2 (en) * 2019-01-18 2022-08-02 Baidu Usa Llc Method to define safe drivable area for automated driving system
DE102019101639A1 (de) * 2019-01-23 2020-07-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. System zum Update von Navigationsdaten
WO2020159247A1 (ko) 2019-01-31 2020-08-06 엘지전자 주식회사 영상 출력 장치
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
US11036986B2 (en) * 2019-02-08 2021-06-15 Lyft, Inc. Systems and methods for aligning map data
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11112252B2 (en) * 2019-02-14 2021-09-07 Hitachi Ltd. Sensor fusion for accurate localization
US11118916B2 (en) 2019-02-14 2021-09-14 Here Global B.V. Method, apparatus, and system for providing a campaign management platform to discover map data
US11280620B2 (en) 2019-02-14 2022-03-22 Here Global B.V. Method, apparatus, and system for providing a campaign management platform to update map data
US11126200B2 (en) * 2019-02-14 2021-09-21 Here Global B.V. Method, apparatus, and system for providing an interface for publishing sensor data requests in campaign management platform
US20200263992A1 (en) * 2019-02-14 2020-08-20 Here Global B.V. Method, apparatus, and system for providing a campaign management platform to validate map data
CN109857111B (zh) * 2019-02-18 2020-11-13 广州小鹏汽车科技有限公司 基于共享slam地图的高精度定位方法及系统
CN109872392B (zh) * 2019-02-19 2023-08-25 阿波罗智能技术(北京)有限公司 基于高精地图的人机交互方法和装置
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109819044A (zh) * 2019-02-20 2019-05-28 深圳市显控科技股份有限公司 远程数据采集方法、装置、设备及存储介质
US11699063B2 (en) * 2019-02-25 2023-07-11 Intel Corporation Partial inference path technology in general object detection networks for efficient video processing
GB2621499B (en) * 2019-02-25 2024-05-08 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
US11094197B2 (en) 2019-02-26 2021-08-17 Toyota Research Institute, Inc. System and method for switching from a curbside lane to a lane-of-interest
US11106922B2 (en) * 2019-02-26 2021-08-31 Toyota Research Institute, Inc. System and method for collecting data from lanes-of-interest
WO2020181418A1 (en) 2019-03-08 2020-09-17 SZ DJI Technology Co., Ltd. Techniques for collaborative map construction between unmanned aerial vehicle and ground vehicle
US11168990B2 (en) * 2019-03-11 2021-11-09 Toyota Research Institute, Inc. Crowdsourcing annotations of roadway information
US11198443B2 (en) * 2019-03-11 2021-12-14 Toyota Jidosha Kabushiki Kaisha Message content selection based on uncertainty for cooperative vehicular systems
US11237007B2 (en) * 2019-03-12 2022-02-01 Here Global B.V. Dangerous lane strands
US11287266B2 (en) * 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11287267B2 (en) * 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11280622B2 (en) * 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11096026B2 (en) 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
US11402220B2 (en) * 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11255680B2 (en) * 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11507084B2 (en) * 2019-03-27 2022-11-22 Intel Corporation Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
WO2020194650A1 (ja) * 2019-03-28 2020-10-01 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
US11423710B2 (en) * 2019-03-29 2022-08-23 Lyft, Inc. Approaches for managing vehicles
US10936903B2 (en) * 2019-03-30 2021-03-02 Intel Corporation Technologies for labeling and validating human-machine interface high definition-map data
US11341846B2 (en) 2019-04-04 2022-05-24 Geotab Inc. Traffic analytics system for defining road networks
US10699564B1 (en) * 2019-04-04 2020-06-30 Geotab Inc. Method for defining intersections using machine learning
US11335191B2 (en) 2019-04-04 2022-05-17 Geotab Inc. Intelligent telematics system for defining road networks
US11403938B2 (en) * 2019-04-04 2022-08-02 Geotab Inc. Method for determining traffic metrics of a road network
US11335189B2 (en) 2019-04-04 2022-05-17 Geotab Inc. Method for defining road networks
US11776390B2 (en) * 2019-04-24 2023-10-03 Toyota Motor Engineering & Manufacturing North America, Inc. Machine learning system for roadway feature extraction from wireless vehicle data
KR20200130883A (ko) 2019-04-26 2020-11-23 현대모비스 주식회사 주차 지원 장치 및 방법
DE102019207215A1 (de) * 2019-05-17 2020-11-19 Robert Bosch Gmbh Verfahren zum Verwenden einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug
DE102019207212A1 (de) * 2019-05-17 2020-11-19 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten
US10854012B1 (en) * 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
EP3745376B1 (en) * 2019-05-29 2024-03-27 Zenuity AB Method and system for determining driving assisting data
US11293762B2 (en) 2019-06-18 2022-04-05 Here Global B.V. System and methods for generating updated map data
WO2020255409A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 要素データ管理装置、要素データ管理方法、プログラム及び要素データのデータ構造
US11726209B2 (en) * 2019-06-25 2023-08-15 Faro Technologies, Inc. Artifact filtering using artificial intelligence
US11256719B1 (en) * 2019-06-27 2022-02-22 Amazon Technologies, Inc. Ingestion partition auto-scaling in a time-series database
US20220234621A1 (en) * 2019-06-28 2022-07-28 Gm Cruise Holdings Llc Augmented 3d map
US11549815B2 (en) * 2019-06-28 2023-01-10 GM Cruise Holdings LLC. Map change detection
US11346682B2 (en) 2019-06-28 2022-05-31 GM Cruise Holdings, LLC Augmented 3D map
US11593344B2 (en) * 2019-07-02 2023-02-28 Nvidia Corporation Updating high definition maps based on age of maps
US11738770B2 (en) 2019-07-02 2023-08-29 Nvidia Corporation Determination of lane connectivity at traffic intersections for high definition maps
GB201909556D0 (en) * 2019-07-03 2019-08-14 Tomtom Traffic Bv Collecting user-contributed data relating to a navibable network
US11095741B2 (en) * 2019-07-11 2021-08-17 Ghost Locomotion Inc. Value-based transmission in an autonomous vehicle
US11619511B2 (en) 2019-07-30 2023-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for local storage based mapping
CN112347206A (zh) * 2019-08-06 2021-02-09 华为技术有限公司 地图更新方法、装置及存储介质
WO2021023429A1 (en) * 2019-08-06 2021-02-11 Mentor Graphics (Deutschland) Gmbh Method, device and system for controlling autonomous vehicles
WO2021029445A1 (ko) * 2019-08-09 2021-02-18 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
KR20210022935A (ko) * 2019-08-21 2021-03-04 엘지전자 주식회사 Slam을 구현하는 방법 및 전자 장치
JP6705540B1 (ja) * 2019-08-22 2020-06-03 トヨタ自動車株式会社 車両用学習システム、車両用制御装置、および車両用学習装置
US11301967B2 (en) * 2019-08-27 2022-04-12 Samsung Electronics Company, Ltd. Intelligence-based editing and curating of images
CN110807075B (zh) * 2019-08-30 2022-10-25 腾讯科技(深圳)有限公司 地图数据查询方法、装置、计算机设备及存储介质
US11788861B2 (en) * 2019-08-31 2023-10-17 Nvidia Corporation Map creation and localization for autonomous driving applications
US10940793B1 (en) 2019-09-05 2021-03-09 Ford Global Technologies, Llc Ingress and egress for autonomous vehicle
US20210078593A1 (en) * 2019-09-12 2021-03-18 Motional Ad Llc Operation of an autonomous vehicle based on availability of navigational information
DE102019214143B3 (de) * 2019-09-17 2021-01-14 Continental Automotive Gmbh Verfahren zum Detektieren einer Verkehrskartenänderung mit Classifiern
KR20210057276A (ko) * 2019-11-11 2021-05-21 현대자동차주식회사 내비게이션 장치 및 그의 개인화 지도 서비스 방법
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
JP7288393B2 (ja) 2019-11-28 2023-06-07 株式会社日立製作所 演算システム、演算方法
US10999719B1 (en) * 2019-12-03 2021-05-04 Gm Cruise Holdings Llc Peer-to-peer autonomous vehicle communication
US11391577B2 (en) * 2019-12-04 2022-07-19 Pony Ai Inc. Dynamically modelling objects in map
CN111160420B (zh) * 2019-12-13 2023-10-10 北京三快在线科技有限公司 基于地图的故障诊断方法、装置、电子设备和存储介质
CN111071249B (zh) * 2019-12-16 2021-02-05 南京航空航天大学 基于障碍物运动预测的无人车紧急转向避障方法
KR20210079045A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 전자 장치, 이동 로봇 및 그의 작동 방법
KR102327185B1 (ko) * 2019-12-24 2021-11-17 한국도로공사 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
DE102020200183A1 (de) * 2020-01-09 2021-07-15 Continental Automotive Gmbh Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten
CN111274343B (zh) * 2020-01-20 2023-11-24 阿波罗智能技术(北京)有限公司 一种车辆定位方法、装置、电子设备及存储介质
CN113498474A (zh) * 2020-01-21 2021-10-12 深圳元戎启行科技有限公司 高精度地图更新方法、装置、计算机设备和存储介质
JP7111118B2 (ja) * 2020-01-29 2022-08-02 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法
US11827247B2 (en) * 2020-02-19 2023-11-28 Verizon Connect Development Limited Systems and methods for externally assisted self-driving
KR20210105692A (ko) * 2020-02-19 2021-08-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11590978B1 (en) * 2020-03-03 2023-02-28 Waymo Llc Assessing perception of sensor using known mapped objects
CN111427985B (zh) * 2020-03-25 2023-04-11 北京小马慧行科技有限公司 地图更新的方法及装置、存储介质、处理器
WO2021189386A1 (zh) * 2020-03-26 2021-09-30 华为技术有限公司 一种驾驶控制方法及装置
CN113440849B (zh) * 2020-03-27 2024-05-07 比亚迪股份有限公司 车辆控制方法、装置、计算机设备及存储介质
US11898853B2 (en) * 2020-03-31 2024-02-13 Gm Cruise Holdings Llc Map surveillance system
US11604070B2 (en) * 2020-03-31 2023-03-14 GM Cruise Holdings LLC. Map maintenance and verification
US11644846B2 (en) * 2020-03-31 2023-05-09 GM Cruise Holdings LLC. System and method for real-time lane validation
US20210302171A1 (en) * 2020-03-31 2021-09-30 Gm Cruise Holdings Llc Map change detection system
US11340081B2 (en) * 2020-04-08 2022-05-24 Pony Ai Inc. System and method for updating map
WO2021206195A1 (ko) * 2020-04-09 2021-10-14 엘지전자 주식회사 자율주행시스템에서 차량의 통신연결 설정방법
CN113701767B (zh) * 2020-05-22 2023-11-17 杭州海康机器人股份有限公司 一种地图更新的触发方法和系统
US11892857B2 (en) * 2020-06-05 2024-02-06 Ghost Autonomy Inc. Distributed data sampling
DE102020115746A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zum Beurteilen einer Genauigkeit einer Positionsbestimmung einer Landmarke, sowie Bewertungssystem
DE102020115743A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zum Bewerten einer digitalen Karte, sowie Bewertungssystem
FR3111450A1 (fr) * 2020-06-16 2021-12-17 Psa Automobiles Sa Procédé de mise à jour d’une signalisation routière par un véhicule autonome
WO2021258368A1 (zh) * 2020-06-24 2021-12-30 华为技术有限公司 地图更新数据的处理方法、装置及系统
US20210404839A1 (en) * 2020-06-30 2021-12-30 Tusimple, Inc. Systems and methods for navigational map version management
US11506503B2 (en) 2020-07-09 2022-11-22 Toyota Research Institute, Inc. Prioritizing uploading of map related data from vehicles
US11709258B2 (en) * 2020-07-23 2023-07-25 Toyota Motor Engineering & Manufacturing North America, Inc. Location data correction service for connected vehicles
US20220057225A1 (en) * 2020-08-18 2022-02-24 International Business Machines Corporation Landmark determination
US20230012470A9 (en) * 2020-09-18 2023-01-12 Here Global B.V. System and method for detecting a roadblock zone
CN112180923A (zh) * 2020-09-23 2021-01-05 深圳裹动智驾科技有限公司 自动驾驶方法、智能控制设备及自动驾驶车辆
US20220090919A1 (en) * 2020-09-24 2022-03-24 Here Global B.V. System, method, and computer program product for identifying a link offset
CN112163280B (zh) * 2020-10-28 2022-02-01 腾讯科技(深圳)有限公司 一种自动驾驶场景的模拟方法、装置、设备以及存储介质
DE102020213831B4 (de) 2020-11-03 2023-02-02 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln einer Existenzwahrscheinlichkeit eines möglichen Elements in einer Umgebung eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
CN114492550A (zh) * 2020-11-11 2022-05-13 华为技术有限公司 动态事件分类方法及设备
GB2601115A (en) * 2020-11-13 2022-05-25 Sony Semiconductor Solutions Corp An audio/video capturing device, vehicle mounted device, control centre system, computer program and method
KR20220068043A (ko) * 2020-11-18 2022-05-25 현대자동차주식회사 정밀 지도의 오류 판단 장치 및 방법
CN112455388A (zh) * 2020-12-08 2021-03-09 山东经贸职业学院 一种基于5g网络的车辆智能防盗及追回系统
GB2601780A (en) * 2020-12-10 2022-06-15 Daimler Ag Method for verifying map data of an environment of a vehicle
US20220196829A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
US20220196828A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
US20210150694A1 (en) * 2020-12-22 2021-05-20 Daniel Pohl Vehicle-based measurement of signal object integrity
US20220201442A1 (en) * 2020-12-23 2022-06-23 Autotalks Ltd. Method and apparatus for enhancing the value of vehicular data using v2x communications
CN112579724A (zh) * 2020-12-24 2021-03-30 广州小马智行科技有限公司 语义地图的构建方法、构建装置、处理器和车辆系统
CN112776799A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 车辆的控制方法、计算机可读存储介质、处理器和车辆
CN112785704A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 语义地图的构建方法、计算机可读存储介质和处理器
CN112785641A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 智能驾驶车辆的检测方法、控制方法和处理器
US11877217B2 (en) * 2021-02-01 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Message processing for wireless messages based on value of information
US20220250642A1 (en) * 2021-02-11 2022-08-11 GM Cruise Holdings, LLC High definition map updates using assets generated by an autonomous vehicle fleet
US20220291681A1 (en) * 2021-03-12 2022-09-15 6 River Systems, Llc Systems and methods for edge and guard detection in autonomous vehicle operation
US11644335B2 (en) * 2021-03-26 2023-05-09 Gm Cruise Holdings Llc Service area coverage for autonomous vehicle fleets
EP4092383A1 (en) * 2021-05-19 2022-11-23 NextBillion.ai Pte. Ltd. Customized digital map generation
US11461347B1 (en) 2021-06-16 2022-10-04 Amazon Technologies, Inc. Adaptive querying of time-series data over tiered storage
US11941014B1 (en) 2021-06-16 2024-03-26 Amazon Technologies, Inc. Versioned metadata management for a time-series database
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
US20230004161A1 (en) * 2021-07-02 2023-01-05 Cnh Industrial America Llc System and method for groundtruthing and remarking mapped landmark data
CN113492841B (zh) * 2021-07-22 2022-09-06 上汽通用五菱汽车股份有限公司 泊车控制方法、装置及计算机可读存储介质
JP2023028609A (ja) * 2021-08-19 2023-03-03 トヨタ自動車株式会社 自動運転システム、自動運転方法およびプログラム
CN113899355A (zh) * 2021-08-25 2022-01-07 上海钧正网络科技有限公司 地图更新方法、装置、云端服务器和共享骑行设备
CN113505139B (zh) * 2021-09-10 2021-12-07 成都国星宇航科技有限公司 基于单服务的遥感影像自动化更新及历史回溯方法及装置
US11898871B2 (en) * 2021-09-15 2024-02-13 Here Global B.V. Apparatus and methods for providing a map layer of one or more temporary dynamic obstructions
CN113947906A (zh) * 2021-10-19 2022-01-18 阿波罗智联(北京)科技有限公司 交通路网的检测方法、装置和电子设备
US20230137111A1 (en) * 2021-11-03 2023-05-04 Gm Cruise Holdings Llc Methodology for establishing cadence-based review frequency for map segments
US11821738B2 (en) * 2021-11-03 2023-11-21 Gm Cruise Holdings Llc Methodology for establishing time of response to map discrepancy detection event
CN116136410A (zh) 2021-11-17 2023-05-19 财团法人资讯工业策进会 地图扫描系统及地图扫描方法
US20230186641A1 (en) * 2021-12-10 2023-06-15 Qualcomm Incorporated Image-coupled sensor sharing for cloud-based driving assistance
EP4198456A1 (en) * 2021-12-14 2023-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for controlling an automated vehicle
US20230194275A1 (en) * 2021-12-20 2023-06-22 Here Global B.V. Systems and methods for communicating uncertainty around stationary objects
US20230221136A1 (en) * 2022-01-12 2023-07-13 Woven Alpha, Inc. Roadmap generation system and method of using
US20230228591A1 (en) * 2022-01-14 2023-07-20 Faraday&Future Inc. System and method of collaboratively refining high definition maps for autonomous parking of a vehicle
DE102022200675A1 (de) 2022-01-21 2023-07-27 Volkswagen Aktiengesellschaft Verfahren und System (SY) zum Anpassen eines assistierten und/oder autonomen Fahrbetriebs (AF)
US11543264B1 (en) * 2022-02-23 2023-01-03 Plusai, Inc. Methods and apparatus for navigating an autonomous vehicle based on a map updated in regions
US20230298268A1 (en) * 2022-03-15 2023-09-21 Nvidia Corporation Environment reconstruction and path planning for autonomous systems and applications
US20230322260A1 (en) * 2022-04-06 2023-10-12 Gm Cruise Holdings Llc Systems and methods for dynamically responding to detected changes in a semantic map of an autonomous vehicle
US20230322259A1 (en) * 2022-04-06 2023-10-12 Qualcomm Incorporated Inclusion And Use Of Safety and Confidence Information Associated With Objects In Autonomous Driving Maps
US11810459B1 (en) 2022-05-09 2023-11-07 Aptiv Technologies Limited Vehicle localization based on radar detections in garages
WO2024028827A1 (en) * 2022-08-04 2024-02-08 Aniket Vijay Gore System and method enabling connected and autonomous vehicles (cavs) using wireless communication
WO2024064587A1 (en) * 2022-09-23 2024-03-28 Qualcomm Incorporated Over-the-air occupancy grid aggregation using compressed sensing
DE102022210504A1 (de) * 2022-10-05 2024-04-11 Continental Automotive Technologies GmbH System und Verfahren zur Prädiktion einer zukünftigen Position eines Verkehrsteilnehmers
CN115512065B (zh) * 2022-11-17 2023-05-05 之江实验室 一种基于分块化的大规模场景下实时地图构建方法和装置
CN115601972B (zh) * 2022-11-28 2023-03-21 青岛慧拓智能机器有限公司 无人矿山行驶区域的障碍物处理系统
US11938963B1 (en) * 2022-12-28 2024-03-26 Aurora Operations, Inc. Remote live map system for autonomous vehicles
DE102023002195A1 (de) 2023-05-30 2024-04-18 Mercedes-Benz Group AG Verfahren zur Aktualisierung einer digitalen Karte
CN116429125B (zh) * 2023-06-09 2023-08-11 高德软件有限公司 道路匹配方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011149748A (ja) * 2010-01-20 2011-08-04 Clarion Co Ltd 地図情報配信方法および地図情報配信装置
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4812415B2 (ja) 2005-11-30 2011-11-09 富士通株式会社 地図情報更新システム、中央装置、地図情報更新方法、及びコンピュータプログラム
WO2009036058A1 (en) 2007-09-10 2009-03-19 Rappaport Theodore R Clearinghouse system for determining available network equipment
KR101495166B1 (ko) * 2008-07-01 2015-02-24 엘지전자 주식회사 차량 항법 방법 및 그 장치
US8332242B1 (en) 2009-03-16 2012-12-11 United Services Automobile Association (Usaa) Systems and methods for real-time driving risk prediction and route recommendation
EP2427729A4 (en) 2009-05-04 2014-08-27 Tomtom North America Inc METHOD AND SYSTEM FOR REDUCING SHAPE POINTS IN A GEOGRAPHIC DATA COMPUTING SYSTEM
EP2531969A4 (en) * 2010-02-01 2013-12-04 Jumptap Inc INTEGRATED ADVERTISING SYSTEM
US9704393B2 (en) 2011-01-11 2017-07-11 Videonetics Technology Private Limited Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
US8736463B1 (en) * 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
US9378601B2 (en) 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US9047774B2 (en) * 2013-03-12 2015-06-02 Ford Global Technologies, Llc Method and apparatus for crowd-sourced traffic reporting
US9816823B2 (en) * 2013-03-15 2017-11-14 Hewlett Packard Enterprise Development Lp Updating road maps
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
US20140310277A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context
US9037404B2 (en) * 2013-06-01 2015-05-19 Savari, Inc. System and method for map matching
EP3114574A4 (en) * 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
US9842496B1 (en) 2015-01-20 2017-12-12 State Farm Mutual Automobile Insurance Company Broadcasting information related to hazards impacting vehicle travel
US9543897B2 (en) * 2015-02-13 2017-01-10 Qualcomm Incorporated Fully I/Q balanced quadrature radio frequency mixer with low noise and low conversion loss
US10223816B2 (en) 2015-02-13 2019-03-05 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US9672734B1 (en) 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
US10133275B1 (en) * 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US11675083B2 (en) * 2019-01-03 2023-06-13 Nvidia Corporation Removal of ephemeral points from point cloud of a high-definition map for navigating autonomous vehicles
US11340082B2 (en) * 2019-07-02 2022-05-24 Nvidia Corporation Determining localization confidence of vehicles based on convergence ranges

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011149748A (ja) * 2010-01-20 2011-08-04 Clarion Co Ltd 地図情報配信方法および地図情報配信装置
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
简灿良 ; 赵彬彬 ; 邓敏 ; 余丽钰 ; .多尺度地图面/面目标匹配模式及变化探测方法研究.地理与地理信息科学.2013,(05),全文. *

Also Published As

Publication number Publication date
US20190368882A1 (en) 2019-12-05
EP3563265A4 (en) 2020-08-05
US10429194B2 (en) 2019-10-01
US10794711B2 (en) 2020-10-06
EP3563265A1 (en) 2019-11-06
EP3563265B1 (en) 2021-06-02
US20180188044A1 (en) 2018-07-05
US20180188037A1 (en) 2018-07-05
US20210254983A1 (en) 2021-08-19
CN110832474A (zh) 2020-02-21
US20180188045A1 (en) 2018-07-05
WO2018126215A1 (en) 2018-07-05
US10801845B2 (en) 2020-10-13
US10816346B2 (en) 2020-10-27
US11842528B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN110832474B (zh) 更新高清地图的方法
US11593344B2 (en) Updating high definition maps based on age of maps
US20240044662A1 (en) Updating high definition maps based on lane closure and lane opening
CN110832417B (zh) 使用高清地图为自主车辆生成路线
US11774250B2 (en) Using high definition maps for generating synthetic sensor data for autonomous vehicles
US11340355B2 (en) Validation of global navigation satellite system location data with other sensor data
US11727272B2 (en) LIDAR-based detection of traffic signs for navigation of autonomous vehicles
CN111656135A (zh) 基于高清地图的定位优化
US20200393566A1 (en) Segmenting ground points from non-ground points to assist with localization of autonomous vehicles
US11514682B2 (en) Determining weights of points of a point cloud based on geometric features
US11590989B2 (en) Training data generation for dynamic objects using high definition map data
US11927449B2 (en) Using map-based constraints for determining vehicle state
WO2021007117A1 (en) Generating training data for deep learning models for building high definition maps
US20230121226A1 (en) Determining weights of points of a point cloud based on geometric features
US20200408533A1 (en) Deep learning-based detection of ground features using a high definition map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221130

Address after: California, USA

Applicant after: NVIDIA Corp.

Address before: California, USA

Applicant before: Dipup Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant