CN113748448B - 基于车辆的虚拟停止线和让行线检测 - Google Patents

基于车辆的虚拟停止线和让行线检测 Download PDF

Info

Publication number
CN113748448B
CN113748448B CN201880100703.8A CN201880100703A CN113748448B CN 113748448 B CN113748448 B CN 113748448B CN 201880100703 A CN201880100703 A CN 201880100703A CN 113748448 B CN113748448 B CN 113748448B
Authority
CN
China
Prior art keywords
vehicle
data
stop
line
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880100703.8A
Other languages
English (en)
Other versions
CN113748448A (zh
Inventor
陈祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN113748448A publication Critical patent/CN113748448A/zh
Application granted granted Critical
Publication of CN113748448B publication Critical patent/CN113748448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles

Abstract

一种车辆,该车辆可以包括车载数据处理系统,该车载数据处理系统接收由车辆的多种传感器捕获的传感器数据。当车辆沿着路线行驶时,该车载数据处理系统可以处理捕获的传感器数据以标识潜在的车辆停止。该车载数据处理系统然后可以标识发生潜在车辆停止所在位置的地理坐标,使用人工智能将潜在停车处的车辆情况进行分类,并使用该分类和/或地图数据来确定停车是由于未标记的交叉路口还是车辆通常让行迎面来车的位置。如果停车是由于未标记的交叉路口或让行操作,则该车载数据处理系统可以生成与标识的地理坐标对应的虚拟停止线或让行线数据,并通过网络将该数据传输到服务器进行处理。

Description

基于车辆的虚拟停止线和让行线检测
通过引用并入任何优先权申请
在本申请的申请数据表中认定外国或国内优先权要求的任何和所有申请(如果有的话)依据37 CFR 1.57通过引用整体并入本文。
版权声明
本专利文件公开的部分内容包含受版权保护的材料。版权所有者不反对任何人按美国专利和商标局文件或记录中所示原样传真复制该专利文件或专利公开内容,而在其他方面保留所有版权。
背景技术
车辆——例如用于共享出行目的的车辆、提供驾驶员辅助功能的车辆和/或自动化或自动驾驶车辆(AV)——可以使用车载数据处理系统获取和处理传感器数据以执行多种多样功能。例如,功能可以包括确定和/或显示导航路线、识别道路标志、检测物体和/或道路障碍物、控制车辆操作和/或类似的。
发明内容
本文描述的是由车辆和/或与车辆通信的外部系统实现的地图创建和更新框架。例如,一种车辆可以包括车载数据处理系统,该车载数据处理系统接收由车辆的多种传感器捕获的传感器数据。当车辆沿着路线行驶时,该车载数据处理系统可以处理捕获的传感器数据以识别潜在的车辆停止。车载数据处理系统然后可以标识潜在车辆停止发生所在位置的地理坐标,使用人工智能(例如,经过训练的神经网络、经过训练的机器学习模型等)对潜在停止处车辆的情况进行分类,使用该分类和/或地图数据确定导致车辆停车的原因,并确定停车原因是否与未标记的交叉路口和/或车辆通常让行迎面来车所在的位置相对应。如果停车原因与未标记的交叉路口和/或车辆通常让行迎面来车所在的位置相对应,则车载数据处理系统可以在标识的地理坐标处生成虚拟停止线或让行线和/或相应地更新内部地图数据。再者,车辆可以将对应于虚拟停止线或让行线的信息(例如,虚拟停止线的位置、生成虚拟停止线的原因等)传输到外部系统(例如,网络可访问的服务器)。
一个或多个车辆可以重复上述操作一次或多次。例如,每次车辆行驶通过特定位置时,车辆可以对于该位置生成虚拟停止线或让行线信息。因此,对于特定位置,通过一些或所有车辆多次提供虚拟停止线或让行线信息,外部系统可以从一个或多个车辆接收虚拟停止线或让行线信息。外部系统可以将针对特定位置由多个不同车辆生成的虚拟停止线或让行线进行聚合或聚类,以便标识该位置代表性的虚拟停止线或让行线。然后,外部系统可以通过将代表性虚拟停止线或让行线与现有地图数据进行比较来验证代表性虚拟停止线或让行线。如果代表性虚拟停止线或让行线得到验证,则外部系统可以更新地图以包括虚拟停止线或让行线,并将更新后的地图传输到一个或多个车辆。因此,车载系统和车外系统可以协同工作来标识道路网中不可见的特征并相应地更新地图。
本公开的一个方面提供一种包括多个传感器的车辆,其中多个传感器中的第一传感器被配置为生成速度数据,并且其中多个传感器中的第二传感器被配置为生成位置数据。该车辆还包括配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:使用生成的速度数据检测在第一时刻处车辆停止;使用生成的位置数据确定第一时刻处车辆的位置;使用该车辆上存储的深度神经网络,确定该车辆在所确定的位置处的情况;基于所确定的情况或地图数据中的至少一项,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及将所述虚拟停止线数据在网络上经由通信阵列传输到服务器。
前文段落的车辆可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标和车辆在第一时刻处所在道路上的车道;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:生成网格地图,将该网格地图作为输入应用于深度神经网络,并且根据该深度神经网络的输出来确定车辆的情况;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:获得该地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据所述地图数据导出的信息叠加在根据所述光探测和测距(LiDAR)数据、所述雷达数据或所述相机数据中的至少一种数据导出的信息上,以形成所述网格地图。其中该计算机可执行指令在被执行时还使处理器使用网格地图的训练集来训练该深度神经网络;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:检测在第一时刻之前的第二时刻处第二车辆停止,以及确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;其中所述车辆的情况是以下情况中的至少一种:所述车辆是否位于交叉路口;另一个车辆是否位于所述车辆正前方;所述另一个车辆之外的物体是否位于所述车辆正前方,所述车辆是否邻近道路标线;所述车辆是否处于转弯的过程中;所述车辆是否处于变道的过程中;所述车辆前方以及公交站是否有公共汽车;所述车辆后方、前方或侧方是否存在行人;所述车辆后方、前方或侧方是否存在骑自行车者;或者是否存在道路危害。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:使用车辆测得的速度数据检测在第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所述检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及将所述虚拟停止线数据在网络上传输到服务器。
前文段落的方法可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标或车辆在第一时刻处所在道路上的车道中的至少一项;其中确定检测的车辆停止的原因是该车辆到达所述未标记的交叉路口,还包括:生成网格地图,将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定所述原因;其中生成网格地图还包括:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,以及生成图像,在所述图像中,将根据所述地图数据导出的信息叠加在根据所述光探测和测距(LiDAR)数据、所述雷达数据或所述摄像机数据中的至少一项导出的信息上,以形成所述网格地图;其中该人工智能引擎是深度神经网络或机器学习模型中的一种;其中该方法还包括使用网格地图的训练集来训练该人工智能引擎;其中检测车辆停止还包括:检测在第一时刻之前的第二时刻处第二车辆停止,以及确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;并且其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,包括用于标识虚拟停止线的计算机可执行指令,其中所述计算机可执行指令在被车辆执行时使所述车辆执行以下操作:使用所述车辆测得的速度数据检测在第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及将所述虚拟停止线数据传输到所述车辆外部。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标或车辆在第一时刻处所在道路上的车道中的至少一项;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:生成网格地图;将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定该原因;并且其中该人工智能引擎是深度神经网络或机器学习模型中的一种。
本公开的另一个方面提供一种包括多个车辆的系统。该系统还包括通过网络与这些多个车辆通信的计算设备,该计算设备包括配置有计算机可执行指令的处理器,该指令在被执行时使该计算设备执行以下操作:从这些多个车辆中的第一车辆获得第一虚拟线数据;从这些多个车辆中的第二车辆获得第二虚拟线数据;使用统计分析将第一虚拟线数据和第二虚拟线数据进行聚合;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中代表性虚拟线在被并入地图数据时,使多个车辆中的至少一些车辆根据代表性虚拟线操作。
前段的系统可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机可执行指令在被执行时,还使该计算设备选择第一虚拟线数据对应的第一虚拟线或第二虚拟线数据对应的第二虚拟线之一作为代表性虚拟线;其中该代表性虚拟线对应于由第一虚拟线数据和第二虚拟线数据聚合得到的地理位置、地理位置范围或道路上的车道中的至少一种;其中第一虚拟线数据对应于第一交叉路口,并且第二虚拟线数据对应于第一交叉路口;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:从第一车辆获得第三虚拟线数据,其中第一虚拟线数据和第三虚拟线数据对应于第一交叉路口,并且其中第一虚拟线数据和第三虚拟线数据对应于不同的时刻,并使用统计分析将第一虚拟线数据、第二虚拟线数据和第三虚拟线数据聚合;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第三虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;以及其中这些多个车辆中的每一个车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种计算机实施的方法,包括:正如通过网络与第一车辆通信的一个或多个计算设备所实施的一样,从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻和第一交叉路口;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻和第一路口;将第一虚拟线数据和第二虚拟线数据进行聚类;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中代表性虚拟线在被访问时,使第一车辆或另一个车辆中的至少一辆根据该代表性虚拟线操作。
前一段的计算机实现的方法可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中确定代表性虚拟线还包括选择与第一虚拟线数据对应的第一虚拟线或与第二虚拟线数据对应的第二虚拟线的其中之一作为代表性虚拟线;其中该代表性虚拟线在被访问时使第一车辆或另一车辆中的至少一辆停止在与代表性虚拟线对应的位置处;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;以及其中第一车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,包括用于标识代表性虚拟线的计算机可执行指令,其中该计算机可执行指令在被计算系统执行时使该计算系统执行以下操作:从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻;将第一虚拟线数据和第二虚拟线数据进行聚类;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中该代表性虚拟线在被访问时,使得根据该代表性虚拟线生成至少一个驾驶员提醒或开始车辆操作。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;以及其中该驾驶员提醒包括第一车辆应停止在与该代表性虚拟线相对应的位置的指示。
本公开的另一个方面提供一种包括多个车辆的系统。该系统还包括通过网络与这些多个车辆通信的计算设备,该计算设备包括配置有计算机可执行指令的处理器,这些指令在被执行时使该计算设备执行以下操作:从这些多个车辆中的第一车辆获得第一虚拟线数据;从这些多个车辆中的第二车辆获得第二虚拟线数据;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;验证该代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到这些多个车辆,其中该更新后的地图数据在被访问时使这些多个车辆中的至少一些车辆根据该代表性拟线操作。
前段的系统可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:将该代表性虚拟线与存在于地图数据中的标记线进行比较,基于比较确定代表性虚拟线距标记线至少为阈值距离,并基于确定代表性虚拟线距标记线至少为阈值距离来验证代表性虚拟线;其中该代表性虚拟线对应于由第一虚拟线数据和第二虚拟线数据中的至少一种得到的地理位置、地理位置范围或道路上的车道中的至少一种;其中第一虚拟线数据对应于第一交叉路口,并且第二虚拟线数据对应于第一交叉路口;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:从第一车辆获得第三虚拟线数据,其中第一虚拟线数据和第三虚拟线数据对应于第一交叉路口,并且其中第一虚拟线数据和第三虚拟线数据对应于不同的时刻,并基于第一虚拟线数据、第二虚拟线数据和第三虚拟线数据来确定代表性虚拟线;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第三虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;并且其中这些多个车辆中的每一个车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种计算机实施的方法,包括:正如通过网络与第一车辆通信的一个或多个计算设备实现的方式一样,从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻和第一交叉路口;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻和第一交叉路口;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到第一车辆,其中更新后的地图数据在被访问时使第一车辆或另一车辆中的至少一辆根据代表性虚拟线操作。
前一段的计算机实现的方法可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机实施的方法还包括确定代表性虚拟线的验证成功;其确定该代表性虚拟线的验证成功还包括:将该代表性虚拟线与存在于地图数据中的标记线进行比较,基于比较确定代表性虚拟线距标记线至少为阈值距离,并基于确定代表性虚拟线距标记线至少为阈值距离来验证代表性虚拟线;其中该更新后的地图数据在被访问时使第一车辆或另一车辆中的至少一辆停止在与代表性虚拟线对应的位置处;以及其中第一车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆的至少其中之一。
本公开的另一个方面提供非暂时性计算机可读存储介质,包括用于编辑地图的计算机可执行指令,其中该计算机可执行指令在被计算系统执行时使该计算系统执行以下操作:从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到第一车辆,其中该更新后的地图数据在被访问时使得至少一个提醒被生成以在第一车辆中显示或第一车辆开始根据该代表性虚拟线操作。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;以及其中该提醒包括第一车辆应停止在与该代表性虚拟线相对应的位置的指示。
本公开的另一方面提供一种车辆,包括被配置为生成速度数据的第一传感器。该车辆还包括:配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:基于速度数据,标识多个速度值的波谷,其中该波谷发生在第一时刻处;确定多个速度值中对应于第一时刻的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的车辆可以包括以下特征的任何子组合:其中先前的车辆停止对应于多个速度值中的第二波谷,其中该第二波谷对应于第二时刻;该第二波谷对应于多个速度值中的第二速度值,并且其中对应于多个速度值中的介于第一时刻与第二时刻之间的第三时刻的第三速度值与第二速度值之差为大于速度波动值;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值高于速度阈值,以及确定第三时刻未发生第三车辆停止;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值低于速度阈值,确定第二停车发生在第三时刻之前超过阈值时间处,并且在第三时刻检测第三停车;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度未增加介于第一时刻和第三时刻之间的至少速度波动值,并且确定第三时刻处未发生第三车辆停止;其中第一传感器是雷达传感器、速度计、加速度计、相机、光探测和测距(LiDAR)传感器或全球定位系统(GPS)中的一种;并且其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:从耦合到车辆或嵌入车辆内的第一传感器获取速度数据;基于该速度数据,确定对应于第一时刻的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度纹波值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的方法可以包括以下特征的任何子组合:其中先前车辆停止对应于第二速度值,其中第二速度值处于速度值的波谷处;其中对应于介于第一时刻和第二时刻之间的第三时刻的第三速度值与第二速度值的差值大于速度波动值;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值高于速度阈值,并且确定第三时刻处未发生第三车辆停止;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二车辆停止发生在第三时刻之前超过阈值时间处,并且检测在第三时刻处的第三车辆停止;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度未增加介于第一时刻和第三时刻之间的至少速度波动值,并且确定第三车辆停止未发生在第三时刻处;其中第一传感器是雷达传感器、速度计、加速度计、相机、光探测和测距(LiDAR)传感器或全球定位系统(GPS)中的一种;并且其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,包括用于检测停车的计算机可执行指令,其中该计算机可执行指令在被车辆执行时使该车辆执行以下操作:基于从车辆的第一传感器获得的速度数据,确定与第一时刻对应的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值高于速度阈值,并且确定第三时刻处未发生第三车辆停止;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二车辆停止发生在第三时刻之前超过阈值时间处,并且检测在第三时刻处的第三车辆停止;并且其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度在第一时刻和第三时刻之间未增加至少速度波动值,并且确定第三时刻处未发生第三车辆停止。
本公开的另一个方面提供一种包括多个传感器的车辆,其中多个传感器中的第一传感器被配置为生成速度数据,并且其中多个传感器中的第二传感器被配置为生成位置数据。该车辆还包括配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:使用生成的速度数据检测在第一时刻处车辆停止;使用生成的位置数据确定第一时刻处车辆的位置;使用该车辆上存储的深度神经网络,确定该车辆在所确定的位置处的情况;基于所确定的情况或地图数据中的至少一项,确定检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据在网络上经由通信阵列传输到服务器。
前文段落的车辆可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标和车辆在第一时刻处所在道路上的车道;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:生成网格地图,将该网格地图作为输入应用于深度神经网络,并且根据该深度神经网络的输出来确定车辆的情况;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:获得该地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据所述地图数据导出的信息叠加在根据所述光探测和测距(LiDAR)数据、所述雷达数据或所述相机数据中的至少一项导出的信息上,以形成所述网格地图;其中该计算机可执行指令在被执行时还使处理器使用网格地图的训练集来训练该深度神经网络;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:在第一时刻之前的第二时刻处检测第二车辆停止,并且确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;其中该道路障碍物包括减速带、排水沟、未标记的人行横道、坑洼、道路警示灯、交通锥、绕行标志或不平坦路面中的至少一种;以及其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:使用该车辆测得的速度数据检测在第一时刻处车辆停止;确定该车辆在第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据在网络上传输到服务器。
前文段落的方法可以包括以下特征的任何子组合:其中该方法还包括响应于访问并入根据虚拟停止线数据得到的信息的地图数据,在所确定的位置处以敏感模式操作;其中确定检测的车辆停止的原因是道路障碍物,还包括:生成网格地图;将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,并且基于所确定的情况或地图数据中的至少一项来确定该原因;其中生成网格地图还包括:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据地图数据导出的信息叠加在根据光探测和测距(LiDAR)数据、雷达数据或相机数据中的至少一种导出的信息上,以形成网格地图;其中该人工智能引擎是深度神经网络或机器学习模型中的一种;其中该道路障碍物包括减速带、排水沟、未标记的人行横道、坑洼、道路警示灯、交通锥、绕行标志或不平坦路面中的至少一项;其中检测车辆停止还包括:在第一时刻之前的第二时刻处检测第二车辆停止,并且确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;以及其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,包括用于标识虚拟停止线的计算机可执行指令,其中所述计算机可执行指令在被车辆执行时使所述车辆执行以下操作:使用所述车辆测量的速度数据检测第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对所确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据传输到所述车辆外部。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该计算机可执行指令在被执行时还使该车辆响应于访问并入根据虚拟停止线数据得到的信息的地图数据,在所确定的位置处以敏感模式操作;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:生成网格地图,将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定该原因;以及其中该人工智能引擎是深度神经网络或机器学习模型中的一种。
附图说明
图1A图示根据一个实施例的网络车辆环境的框图,其中一个或多个车辆和/或一个或多个用户设备经由网络与服务器交互。
图1B图示的框图示出根据一个实施例的图1A的车辆与图1A的一个或多个其他车辆和/或服务器通信。
图2图示根据一个实施例的图1A的网络车辆环境的框图,其中车辆生成虚拟停止线或让行线,并且服务器聚合多个虚拟停止线或让行线来标识代表性虚拟停止线或让行线。
图3图示的框图示出根据一个实施例的由车辆执行以生成虚拟停止线的操作。
图4A图示的框图示出根据一个实施例的由车辆和服务器执行以更新地图来包括代表性虚拟停止线的操作。
图4B图示的框图示出根据一个实施例的由车辆和服务器执行以向车辆提供更新后的地图的操作。
图5A-5B图示以可视方式解释图2的车辆停止检测器如何检测实际停止的多种速度曲线图。
图6A图示根据一个实施例的可能检测实际停止并且可以生成虚拟停止线所在的示例未标记的交叉路口。
图6B图示根据一个实施例的可能检测实际停止并且可以生成虚拟让行线所在的示例未标记的让行交叉路口。
图7示出由车辆实现以便生成虚拟停止线的例行程序的实施例的流程图。
图8示出由服务器实现以便标识代表性虚拟停止线的例行程序的实施例的流程图。
图9示出由服务器实现以便基于车辆提供的数据更新或编辑地图的例行程序的实施例的流程图。
图10图示由车辆实现以检测停止的例行程序的实施例的流程图。
图11图示由车辆实现以便生成包括指示虚拟停止线所在位置处隐藏问题的虚拟停止线数据的例行程序的实施例的流程图。
具体实施方式
正如上文描述,车辆——例如用于共享出行目的的车辆、提供驾驶员辅助功能的车辆和/或自动化或自动驾驶车辆(AV)——可以使用车载数据处理系统获取和处理传感器数据以执行多种多样功能。例如,车辆可以获得传感器数据来捕捉道路网的特征。车辆或外部系统可以使用捕获的道路网特征来更新地图(例如,2D和/或3D地理地图,如道路地图、地形地图等)以供车辆在未来使用,以辅助导航、驾驶和/或操控。
然而,车辆或许只能捕捉到可观察到的道路网特征。例如,人行横道、交叉路口停止线和/或其他涂印的道路标记是道路网的可觉察特征,其可以被捕获并转换成数据用于更新地图。道路网的其他特征可能是不可见的,例如车辆停止在未标志的交叉路口所在的位置,或车辆等待让行汇流来车和/或迎面来车的适当位置。虽然不可见,但是期望将这些特征并入地图,以帮助车辆导航、驾驶和/或操控。具体地,将这些不可见的特征并入地图中,可以帮助车辆规避碰撞,避免不必要的停车,节省燃料和/或类似的。
用户可以尝试手动标记地图来并入不可见的特征。然而,车辆在未标志的交叉路口或汇车之前停止的适当位置可能取决于仅位于未标志的交叉路口位置或让行区域的车辆可觉察到的多种因素。这些因素可以包括该位置处的车流密度、迎面来车通常行驶的速度、通常存在的行人数量、迎面来车是否足够显眼以便决定是前行还是保持在停止状态(例如,树木、建筑物或其他物体是否遮挡迎面来车的视线)、是否存在道路危害(例如,坑洼、施工、不平整的路面等)和/或此类危害的位置和/或类似的。仅是查看和标记地图并不可行,并且如果将来车辆据此行驶,可能会导致碰撞。
但是,本文描述的是由车辆和/或与车辆通信的外部系统实现的地图创建和更新框架。例如,一种车辆可以包括车载数据处理系统,该车载数据处理系统接收由车辆的多种传感器捕获的传感器数据。当车辆沿着路线行驶时,该车载数据处理系统可以处理捕获的传感器数据以标识潜在的车辆停止(例如,车辆正在以低于阈值速度行驶至少一段阈值时间的事件)。车载数据处理系统然后可以标识潜在车辆停止发生所在位置的地理坐标,使用人工智能(例如,经过训练的神经网络、经过训练的机器学习模型等)对潜在车辆停止处车辆的情况进行分类,使用该分类和/或地图数据确定导致车辆停车的原因,并确定停车原因是否与未标记的交叉路口和/或车辆通常让行迎面来车所在的位置相对应。如果停车原因与未标记的交叉路口和/或车辆通常让行迎面来车所在的位置相对应,则车载数据处理系统可以在标识的地理坐标处生成虚拟停止线或让行线和/或相应地更新或编辑内部地图数据。再者,车辆可以将对应于虚拟停止线或让行线的信息(例如,虚拟停止线的位置、生成虚拟停止线的原因等)传输到外部系统(例如,网络可访问的服务器)。
一个或多个车辆可以重复上述操作一次或多次。例如,每次车辆行驶通过特定位置时,车辆可以对于该位置生成虚拟停止线或让行线信息。因此,对于特定位置,通过一些或所有车辆多次提供虚拟停止线或让行线信息,外部系统可以从一个或多个车辆接收虚拟停止线或让行线信息。外部系统可以将针对特定位置由多个不同车辆生成的虚拟停止线或让行线进行聚合或聚类,以便标识该位置的代表性虚拟停止线或让行线。然后,外部系统可以通过将代表性虚拟停止线或让行线与现有地图数据进行比较来验证代表性虚拟停止线或让行线。如果代表性虚拟停止线或让行线得到验证,则外部系统可以更新或编辑地图以包括虚拟停止线或让行线,并将更新后的地图传输到一个或多个车辆。因此,车载系统和车外系统可以协同工作来标识道路网中不可见的特征并相应地更新地图。
本文描述的地图创建和更新框架不仅能够通过将不可见的道路网特征纳入车辆使用的地图来改善车辆导航、驾驶和/或操控,而且该框架还能够减少道路网拥塞并保护位置敏感数据的隐私。例如,车辆的传感器可以频繁地(例如,每1毫秒、每5毫秒等)捕获传感器数据,因此车辆捕获并用于标识虚拟停止线或让行线的原始传感器数据量可能非常大(例如,数以兆字节、太位字节计等)。取代将原始传感器数据传输到外部系统进行处理,车辆可以在内部处理原始传感器数据,并且仅将输出(例如,潜在虚拟停止线或让行线的位置)传输到外部系统。由此,车辆通过网络传输的数据量大大地减少。此外,原始传感器数据可以包括敏感的用户数据,例如用户位置、驾驶习惯等。通过处理原始传感器数据并仅传输处理过的输出,车辆可以保护敏感用户数据的隐私。
根据本发明公开的一个或多个说明性实施例的系统和方法的详细描述和示例可以参见标题为“使用虚拟停止线和让行线更新地图”的部分以及标题为“示例实施例”的部分以及本文附图2至图11。再者,可以在本文图1A-1B中描述的网络车辆环境100中配置用于地图创建和更新框架的部件和功能和/或将其并入该网络车辆环境中。
本文描述的多种实施例与计算机技术密切相关,通过计算机技术能够得以实现,并且依存于计算机技术。例如,在没有实现这些实施例所采用的车辆和计算机技术的情况中,本文结合多个实施例描述的地图创建和更新框架无法合理地单独由人来执行。
网络车辆环境
图1A图示根据一个实施例的网络车辆环境100的框图,其中一个或多个车辆120和/或一个或多个用户设备102经由网络110与服务器130交互。例如,车辆120可以配备成提供出行共享和/或其他基于位置的服务,以帮助驾驶员控制车辆操作(例如,通过多种驾驶员辅助特征,例如自适应和/或常规巡航控制,自适应前照灯控制,防抱死制动、自动泊车、夜视、盲区监测、防撞、侧风稳定、驾驶员疲劳检测、驾驶员监控系统、紧急驾驶员辅助,交叉口辅助、坡道缓降控制、智能速度自适应、车道居中、车道偏离预警、前方、后方和/或侧方停车传感器、行人检测、雨量传感器、环视系统、胎压监测器、交通标志识别、转向辅助、错误道路驾驶警告、交通状况提示等)和/或完全控制车辆运行。因此,车辆120可以是常规的汽油、天然气、生物燃料、电力、氢气等的且被配置成提供共享出行和/或其他基于位置的服务的车辆,提供驾驶员辅助功能(例如,一个或多个本文描述的驾驶员辅助特征)的车辆或自动化或自动驾驶车辆(AV)。车辆120可以是汽车、卡车、面包车、公共汽车、摩托车、踏板车、自行车和/或任何其他机动车辆。
服务器130可以与车辆120通信以获得车辆数据,例如路线数据、传感器数据、感知数据、车辆120控制数据、车辆120部件故障和/或故障数据等。服务器130可以处理和存储这些车辆数据以供服务器130和/或另一计算系统(未示出)执行的其他操作中使用。此类操作可以包括运行诊断模型以识别车辆120运行问题(例如,车辆120导航误差的原因、异常传感器读数、未识别的物体、车辆120部件故障等);运行模型以模拟给定一组变量的车辆120性能;识别车辆120无法识别的物体,生成在被车辆120执行时使车辆120沿着指定的路径以某种方式行驶和/或移动的控制指令;和/或类似操作。
服务器130还可以将数据传送到车辆120。例如,服务器130可以传送地图数据、固件和/或软件更新、车辆120控制指令、未能被车辆120识别的物体的识别结果、乘客接取信息、交通数据和/或者类似信息。
除了与一个或多个车辆120通信之外,服务器130还能够与一个或多个用户设备102通信。具体地,服务器130可以提供网络服务以便让用户能够通过用户设备102上运行的应用请求基于位置的服务(例如,运送服务,如共享出行服务)。例如,用户设备102可以对应于计算设备,例如智能手机、平板电脑、笔记本电脑、智能手表或可以通过网络110与服务器130通信的任何其他设备。在该实施例中,用户设备102执行诸如移动应用的应用,操作用户设备102的用户可以使用该应用与服务器130交互。例如,用户设备102可以与服务器130通信以向服务器130提供位置数据和/或查询,从服务器130接收地图相关数据和/或方向和/或类似操作。
服务器130可以处理从用户设备102接收的请求和/或其他数据,以识别服务提供方(例如,车辆120驾驶员)以向用户提供所请求的服务。此外,服务器130可以接收数据——例如用户行程接取或目的地数据、用户位置查询数据等——服务器130基于这些数据识别与各种用户关联的区域、地址和/或其他位置。然后,服务器130可以使用所识别的位置以向服务提供方和/或用户提供指向所确定的接取位置的方向。
可以通过对服务器130负责的相同实体创建和/或制造在用户设备102上运行的应用程序。备选地,用户设备102上运行的应用可以是包括能够与服务器130通信的特征(例如,应用程序编程接口或软件开发工具包)的第三方应用。
为了简洁和易于解释,图1A中图示一个服务器130。然而,应当认识到,服务器130可以是单个计算设备,或者可以包括逻辑上或物理上归为一组统一地作为服务器系统运行的多个不同计算设备。服务器130的部件可以采用专用的硬件(例如,具有一个或多个ASIC的服务器计算设备)来实现而无需软件,或者可以作为硬件和软件的组合来实现。另外,服务器130的模块和部件可以被组合在一个服务器计算设备上,或者在若干服务器计算设备上单独分离或分组。在一些实施例中,服务器130可以包括比图1A中所示的更多或更少的部件。
网络110包括任何有线网络、无线网络或其组合。例如,网络110可以是个人区域网络、局域网、广域网、空中广播网络(例如,用于广播或电视的网络)、有线网络、卫星网络、蜂窝电话网络或其组合。作为另一示例,网络110可以是链接网络的可公开访问的网络,可能由各种不同参与方运行,例如因特网。在一些实施例中,网络110可以是专用或半专用网络,例如公司或大学内联网。网络110可以包括一个或多个无线网络,例如用于全球移动通信系统(GSM)网络、码分多址(CDMA)网络、长期演进(LTE)网络或任何其他类型的无线网络。网络110可以使用用于经因特网或任何其他上述网络进行通信的协议和部件。例如,网络110使用的协议可以包括超文本传输协议(HTTP)、超文本传输安全协议(HTTPS)、消息队列遥测传输(MQTT)、受限应用协议(CoAP)及类似协议。用于经因特网或前述任何其他类型的通信网络进行通信的协议和部件对于本领域技术人员是公知的,因此本文不再详细描述。
服务器130可以包括导航单元140、车辆数据处理单元145和数据存储150。导航单元140可以协助基于位置的服务。例如,导航单元140可以帮助用户(在此也称为“驾驶员”)将另一用户(在此也称为“搭车者”)和/或物体(例如,食物、包裹等)从第一位置(在此也称为“接取位置”)运送到第二位置(在此也称为“目的地位置”)。导航单元140可以通过向在驾驶员的用户设备102上运行的应用、向搭车者的用户设备102上运行的应用和/或向车辆120上运行的导航系统提供地图和/或导航指令来帮助实现用户和/或物体运送。
作为示例,导航单元140可以包括匹配服务(未示出),该匹配服务将请求从接取位置到目的地位置的行程的搭车者与能够完成该行程的驾驶员进行配对。该匹配服务可以与在搭车者的用户设备102上运行的应用和/或在驾驶员的用户设备102上运行的应用交互,以建立搭车者的行程和/或处理搭车者向驾驶员支付的款项。
导航单元140还可以在行程期间与驾驶员的用户设备102运行上的应用通信以从用户设备102获得行程位置信息(例如,通过耦合到和/或嵌入在用户设备102中的全球定位系统(GPS)部件),并向该应用提供导航方向,这帮助驾驶员从当前位置行驶到目的地位置。导航单元140还可以向驾驶员指示多个不同地理位置或兴趣点,而无论驾驶员是否在搭载搭车者。
车辆数据处理单元145可以被配置成支持车辆120的驾驶员辅助特征和/或支持自动驾驶。例如,车辆数据处理单元145可以生成和/或向车辆120传送地图数据,运行诊断模型来识别车辆120的运行问题,运行模型来模拟给定一组变量的车辆120性能,使用车辆120提供的车辆数据来识别物体并将物体的标识传送到车辆120,生成和/或向车辆120传送车辆120控制指令和/或类型操作。
数据存储150可以存储导航单元140、车辆数据处理单元145、用户设备102和/或车辆120所使用的多种类型的数据。例如,数据存储150可以存储用户数据152、地图数据154、搜索数据156和日志数据158。
用户数据152可以包括有关注册了基于位置的服务的一些或所有用户的信息,例如驾驶员和搭车者。该信息可以包括例如用户名、密码、姓名、地址、账单信息、与用户所采用或服务的先前行程关联的数据、用户评级信息、用户忠诚度计划信息和/或类似信息。
地图数据154可以包括从传感器(例如,光探测和测距(LiDAR)传感器、无线电探测和测距(RADAR)传感器、红外摄像机、可见光摄像机、立体摄像机、惯性测量单元(IMU)等)、卫星图像、在捕获的街道图像上执行的光学字符识别(OCR)(例如,识别街道名称、识别街道标志文字、识别兴趣点名称等)等生成的高分辨率(HD)地图;用于计算路线的信息;用于呈现二维(2D)和/或三维(3D)图形地图的信息;和/或类似信息。例如,地图数据154可以包括诸多元素:如街道和十字路口的布局、桥梁(例如,包括有关街道上桥梁的高度和/或宽度的信息)、出口匝道、建筑物、停车场入口和出口(例如,包括有关车辆入口和/或出口的高度和/或宽度的信息)、路牌和停车灯的位置、紧急岔道、兴趣点(例如公园、餐馆、加油站、景点、地标等以及关联名称)、道路标线(例如,分隔对面车道的中心线标线、车道标线、停车线、左转引导线、右转引导线、人行横道、公交车道标线、自行车道标线、安全岛标线、路面文字、高速公路出口和入口标线等)、路缘石、铁路线、航道、左右转弯的转弯半径和/或角度、道路特征的距离和尺寸、双向交通之间隔离物的位置和/或类似元素,连同这些元素的关联的地理位置(例如,地理坐标)。地图数据154还可以包括参考数据,例如实时和/或历史交通信息、当前和/或预测的天气状况、道路作业信息、有关法律和法规的信息(例如,速度限制、是否允许或禁止在红灯时右转、是否允许或禁止掉头、允许的行驶方向和/或类似的信息)、新闻事件和/或类似信息。
虽然地图数据154图示为存储在服务器130的数据存储150中,但这并不意味着是限制性的。例如,服务器130可以将地图数据154传送到车辆120以存储在其中(例如,如下文描述,存储在数据存储129中)。
搜索数据156可以包括过去由多个不同用户输入的搜索。例如,搜索数据156可以包括对接取和/或目的地位置的文本搜索。搜索可以针对特定地址、地理位置、与地理位置关联的名称(例如,公园、餐厅、加油站、景点、地标等的名称)等。
日志数据158可以包括由一个或多个车辆120提供的车辆数据。例如,车辆数据可以包括路线数据、传感器数据、感知数据、车辆120控制数据、车辆120部件故障和/或故障数据等。
图1B图示的框图示出根据一个实施例的图1A的车辆120与图1A的一个或多个其他车辆170A-N和/或服务器130通信。如图1B所示,车辆120可以包括多种部件和/或数据存储。例如,车辆120可以包括传感器阵列121、通信阵列122、数据处理系统123、通信系统124、内部接口系统125、车辆控制系统126、操作系统127、地图引擎128和/或数据存储129。
可以在车辆120、一个或多个车辆170A-N和/或服务器130之间发送和/或接收通信180。服务器130可以传送和/或从车辆120接收数据,正如上文结合图1A所描述的。例如,服务器130可以向车辆120传送车辆控制指令或命令(例如,作为通信180)。车辆控制指令可以被通信阵列122(例如,被配置成发射和/或接收无线信号的一个或多个天线的阵列)接收,该通信阵列由通信系统124(例如,收发器)来操作。通信系统124可以将车辆控制指令传送到车辆控制系统126,该车辆控制系统可以操作车辆120的加速、转向、刹车、灯光、信号和其他操作系统127以便驾驶和/或操控车辆120和/或协助驾驶员驾驶和/或操控车辆120沿直达路径驶向车辆控制指令所指定的目的地位置。
作为示例,车辆控制指令可以包括路线数据163,其可以由车辆控制系统126处理以操控车辆120和/或协助驾驶员沿着给定路线操控车辆120(例如,由服务器130和/或地图引擎128计算出的优化路线)驶向指定的目的地位置。在处理路线数据163时,车辆控制系统126可以生成控制命令164以供操作系统127执行(例如,加速、转向、刹车、操控、倒车等)以使车辆120沿路线行驶到目的地位置和/或协助驾驶员沿路线操控车辆120驶向目的地位置。
目的地位置166可以由服务器130基于从用户设备102上运行的应用传送的用户请求(例如,接取请求、递送请求等)来指定。备选地或附加地,车辆120的搭车者和/或驾驶员可以通过内部接口系统125(例如,车辆导航系统)提供用户输入169以提供目的地位置166。在一些实施例中,车辆控制系统126可以将输入的目的地位置166和/或车辆120的当前位置(例如,作为GPS数据包)作为通信180经由通信系统124和通信阵列122传送到服务器130。服务器130(例如,导航单元140)可以使用车辆120的当前位置和/或输入的目的地位置166来执行优化操作以确定车辆120行驶到目的地位置166的最优路线。可以将包括最优路线的路线数据163经由通信阵列122和通信系统124从服务器130传送到车辆控制系统126。由于接收到路线数据163,车辆控制系统126能使操作系统127操控车辆120沿最优路线直达驶向目的地位置166,协助驾驶员操控车辆120沿最优路线直达驶向目的地位置166和/或使内部接口系统125显示和/或呈现用于操控车辆120沿最优路线直达驶向目的地位置166的指令。
备选地或附加地,路线数据163包括最优路线并且车辆控制系统126自动地将路线数据163输入到地图引擎128中。地图引擎128可以使用最优路线生成地图数据165(例如,生成显示最优路线的地图和/或采取最优路线的指令)并且将地图数据165提供到内部接口系统125(例如,经由车辆控制系统126)以便进行显示。地图数据165可以包括从存储在服务器130上的数据存储150中的地图数据154导出的信息。显示的地图数据165可以指示估计的到达时间和/或显示车辆120沿最优路线的行程进度。显示的地图数据165还可以包括指示符,例如改道命令、紧急通知、道路作业信息、实时交通数据、当前天气状况、有关法律和法规的信息(例如,限速、红灯时是否允许或禁止右转、哪里允许或禁止掉头、允许的行驶方向等)、新闻事件和/或类似信息。
用户输入169也可以是访问网络(例如,网络110)的请求。响应于此类请求,内部接口系统125可以生成访问请求168,其可以由通信系统124处理以将通信阵列122被配置成发送和/或接收对应于用户与内部接口系统125交互和/或与内部接口系统125通信的用户设备102交互(例如,通过无线连接连接到内部接口系统125的用户设备102)的数据。例如,车辆120可以包括车载Wi-Fi,乘客和/或驾驶员可以访问该Wi-Fi以发送和/或接收电子邮件和/或文本消息、流媒体音频和/或视频内容、浏览内容页面(例如,网络页面、网页等)和/或访问使用网络访问的应用。基于用户交互,内部接口系统125可以经由网络110、通信阵列122和/或通信系统124接收内容167。通信系统124可以动态地管理网络访问以避免内容167传输中断或将其减到最少。
传感器阵列121可以包括任意数量的一种或多种类型的传感器,例如卫星无线电导航系统(例如,GPS)、光探测和测距(LiDAR)传感器、景观(landscape)传感器(例如,无线电探测和测距传感器)、惯性测量单元(IMU)、摄像机(例如,红外摄像机、可见光摄像机、立体摄像机等)、Wi-Fi检测系统、蜂窝通信系统、车辆间通信系统、道路传感器通信系统、特征传感器、接近传感器(例如,红外、电磁、光电等)、距离传感器、深度传感器和/或类似装置。卫星无线电导航系统可以基于对从卫星星座接收的信号进行分析来计算车辆120的当前位置(例如,在1-10米的范围内)。
光探测和测距(LiDAR)传感器、无线电探测和测距传感器和/或任何其他类似类型的传感器可用于在车辆120处于运动中或即将开始运动时检测车辆120周围环境。例如,光探测和测距(LiDAR)传感器可用于从接近的物体反射多个激光束,以评估它们的距离并提供有关周围环境的准确三维(3D)信息。从光探测和测距(LiDAR)传感器获得的数据可用于执行物体识别、运动矢量确定、碰撞预测和/或实施事故避免过程。可选地,光探测和测距(LiDAR)传感器可以使用旋转扫描反射镜组件来提供360度视角。光探测和测距(LiDAR)传感器可以可选地安装在车辆120的车顶上。
惯性测量单元(IMU)可以包括X、Y、Z朝向的陀螺仪和/或加速度计。惯性测量单元(IMU)提供有关车辆120的转动和直线运动的数据,其可用于计算车辆120的运动和位置。
摄像机可用于捕获车辆120周围环境的视觉图像。具体根据摄像机的配置和数量,摄像机可以提供车辆120周围的360度视角。来自摄像机的图像可用于读取道路标记(例如,车道标记)、读取街道标志、检测物体和/或类似操作。
Wi-Fi检测系统和/或蜂窝通信系统可分别用于对Wi-Fi热点或蜂窝塔进行三角测量,以确定车辆120的位置(可选地结合卫星无线电导航系统)。
车辆间通信系统(其可包括Wi-Fi检测系统、蜂窝通信系统和/或通信阵列122)可用于接收和/或向其他车辆170A-N传送数据,例如车辆120的当前速度和/或位置坐标、与规划减速时对应的时间和/或位置坐标以及规划的减速率、规划停止操作时的时间和/或位置坐标、规划变道时的时间和/或位置坐标以及变道方向、规划转弯操作时的时间和/或位置坐标、规划停车操作时的时间和/或位置坐标和/或类似操作。
道路传感器通信系统(可包括Wi-Fi检测系统和/或蜂窝通信系统)可用于从道路传感器读取信息(例如,指示车流速度和/或交通拥堵)和/或从交通控制设备读取信息(例如,交通信号灯)。
当用户(例如,通过在用户设备102上运行的应用)请求搭送时,用户可以指定具体的目的地位置。始发位置可以是车辆120的当前位置,其可以使用安装在车辆中的卫星无线电导航系统(例如,GPS、伽利略(Galileo)、北斗/COMPASS、DORIS、GLONASS和/或其他卫星无线电导航系统)、Wi-Fi定位系统、蜂窝塔三角测量和/或类似方式来予以确定。可选地,始发位置可由用户通过车辆120提供的用户界面(例如,内部接口系统125)或通过运行该应用的用户设备102来指定。可选地,可以根据从用户设备102获得的位置信息自动确定始发位置。除了始发位置和目的地位置之外,还可以指定一个或多个导航点,从而启用多个目的地位置。
来自传感器阵列121的原始传感器数据161可由车载数据处理系统123来处理。处理的数据162则可以被数据处理系统123传送到车辆控制系统126,并且可选地经由通信系统124和通信阵列122传送到服务器130。
数据存储129可以存储地图数据(例如,地图数据154)和/或地图数据154的子集(例如,对应于车辆120当前所在的大致区域的地图数据154的一部分)。在一些实施例中,车辆120可以使用传感器阵列121沿行驶路线记录更新的地图数据,并且经由通信系统124和通信阵列122将更新的地图数据传送到服务器130。服务器130然后可以将更新的地图数据传送到车辆170A-N中的一个或多个和/或进一步处理更新的地图数据。
数据处理系统123可以向车辆控制系统126提供连续或接近连续处理的数据162以响应车辆120周围环境中的点对点活动。处理的数据162可以包括原始传感器数据161——表示车辆120的运行环境并且由传感器阵列121连续收集——与存储在数据存储129中的地图数据之间的比较。在一个示例中,将数据处理系统123编程为具有机器学习或其他人工智能能力,以使车辆120能够识别和响应状况、事件和/或潜在危险。在变化例中,数据处理系统123可以连续地或接近连续地将原始传感器数据161与存储的地图数据进行比较以便执行定位以连续地或接近连续地确定车辆120的位置和/或方向。车辆120的定位可使车辆120能与存储的地图数据相比得知车辆120的即时位置和/或朝向,以便操控在地面街道上的车辆120穿过车流和/或协助驾驶员操控在地面街道上的车辆120穿过车流并且识别和响应潜在危险(例如,行人)或当地状况,例如天气或交通状况。
再者,定位可使车辆120能够对通信阵列122进行调谐或波束转向控制以将通信链路质量提高到最大和/或将来自其他车辆170A-N的其他通信的干扰减到最小。例如,通信系统124可以响应于从服务器130接收到的网络配置命令来对通信阵列122的辐射方向图进行波束转向控制。数据存储129可以存储标识网络基站和/或提供网络连接的其他网络源的当前网络资源地图数据。网络资源地图数据可以指示车辆120所在区域内的基站和/或可用网络类型(例如,3G、4G、LTE、Wi-Fi等)的位置。
虽然图1B将某些操作描述为由车辆120或服务器130执行,但这并不意味着作为限制。如本文描述的由车辆120和服务器130执行的操作可以由任一实体来执行。例如,通常由服务器130执行的某些操作(例如,向车辆170A-N传送更新的地图数据)可由车辆120执行以便达到负载平衡目的(例如,减少服务器130的处理负载,利用车辆120上的空闲处理能力等)。
再者,车辆170A-N中的任一个可以包括本文描述的车辆120的一些或全部部件。例如,车辆170A-N可以包括通信阵列122以与车辆120和/或服务器130进行通信。
使用虚拟停止线和让行线更新地图
正如上文描述,车载系统和/或车外系统可以协同工作来标识道路网中不可见的特征并相应地更新地图。例如,车辆120的数据处理系统123和服务器130的车辆数据处理单元145可以彼此通信以标识道路网的不可见的特征并相应地更新地图。
图2图示根据一个实施例的网络车辆环境100的框图,其中车辆120生成虚拟停止线或让行线,并且服务器130聚合多个虚拟停止线或让行线来标识代表性虚拟停止线或让行线。如图2所示,车辆120的数据处理系统123包括用于实现本文描述的一些或全部功能的多种部件。例如,数据处理系统123可以包括车辆停止检测器220、车辆情况分类器222、停止原因导出器224、停止原因分析器226和停止线生成器228。此外,服务器130的车辆数据处理单元145包括用于实现本文描述的一些或全部功能的多种部件。例如,车辆数据处理单元145可以包括停止线聚合器246和地图更新器248。
车辆停止检测器220可以被配置为检测实际车辆停止的可能发生的情况(例如,由于交通灯、停车标志、行人过马路、让行区和/或有时或总是需要车辆停止的任何其他设置位置而发生的停车)。通常,由于驾驶员行为的差异性,很难识别车辆是否确实停止了。例如,实际停止不能简单地定义为车辆完全停止持续至少一段阈值时间(例如,车辆未在移动(例如以0mph、0m/s等速度行驶)的事件。虽然一些驾驶员可能会在交通灯、停车标志或其他有时或总是需要停车的设置位置处操控车辆完全停车,但其他驾驶员可能会减慢车辆速度,但不会完全停车。例如,这些驾驶员可能会在短时间内将车辆减速到0mph、0m/s等阈值速度内的速度,然后开始加速。在未标记的交叉路口和/或准备与迎面来车会车时,驾驶员可能会以这种方式使车辆减速,并且因此该减速动作应被视为实际停止。然而,驾驶员还可能在走走停停的交通状况(例如,车辆在短距离内反复加速和减速的交通状况)中以此方式将车辆减速,并且因此这种减速动作不应被视为实际停止。
车辆停止检测器220可以使用由传感器阵列121提供的传感器数据来识别应该被视为实际停止的停止和不应该被视为实际停止的停止。例如,车辆停止检测器220可以从速度计、加速度计、雷达传感器、光探测和测距(LiDAR)传感器、相机、全球定位系统(GPS)和/或包括在传感器阵列121内且能够测量车辆速度或可用于导出车辆速度的数据的任何其他传感器获得车辆120的车辆速度信息。车辆速度信息可以包括(或用于导出)在一段时间和/或距离上测得的车辆速度值。例如,车辆速度信息可以形成自身车辆速度分布图。
车辆停止检测器220可以分析车辆速度信息以检测实际停止。例如,车辆停止检测器220可以标识车辆120速度低于速度阈值(例如,5mph、10mph等)的第一时刻(例如,时间和/或日期)并且车速是该时刻附近的阈值时间范围(例如,5秒、10秒、30秒等)内的最低值。车辆停止检测器220然后可以识别在第一时刻之前是否存在第二时刻:在该第二时刻处,车辆120的速度也低于速度阈值并且是第二时刻附近的阈值时间范围内的最低值。如果不存在这样的第二时刻,则车辆停止检测器220确定第一时刻对应于实际停止。如果存在这样的第二时刻,则车辆停止检测器220确定第二时刻是否在第一时刻的阈值时间(例如,5秒、10秒、30秒、1分钟等)内和/或车辆120速度是否在第二时刻与第一时刻之间增加了第二速度阈值(例如,10mph、15mph等,在此也称为速度波动值)。如果第二时刻在第一时刻的阈值时间内或者车辆120速度在第二时刻和第一时刻之间没有增加第二速度阈值,则车辆停止检测器220确定第一时刻不对应于实际停止。相反,第一时刻可能是对应于第二时刻的实际停止的一部分。否则,如果第二时刻不在第一时刻的阈值时间内和/或车辆120的速度在第二时刻和第一时刻之间增加了至少第二速度阈值,则车辆停止检测器220确定第一个时刻对应于实际停止(和/或对应于第二个时刻的停止可以是单独的停止)。如果车辆停止检测器220确定第一时刻对应于实际停止,则车辆停止检测器220可以标识车辆120的地理坐标和/或车辆120在第一时刻时所在的车道(例如,通过从传感器阵列121获得全球定位系统(GPS)数据)并向车辆情况分类器222提供该地理坐标、车道标识和/或第一时刻。下文结合图5A-5B更详细地描述描绘可能视为或可能不视为实际停止的多种情况的曲线图。
车辆情况分类器222可以使用人工智能来确定车辆120在由车辆停止检测器220提供的地理坐标处的情况。例如,车辆情况分类器222可以将网格地图作为输入提供到经过训练的深度神经网络(或经过训练的机器学习模型),并且经过训练的深度神经网络可以产生指示车辆120在该地理坐标处的情况的输出。网格地图可以是叠加有不同信息的图像。所述信息可以包括所提供的地理坐标、标识的车道和/或第一时刻处的地图布局(例如,标识的车道、道路等的地图数据,在此也称为水平线层(horizon layer));车辆120在所提供的地理坐标、标识的车道和/或第一时刻处的周围区域的光探测和测距(LiDAR)扫描(本文也称为占用层);指示车辆120在所提供的地理坐标、标识的车道和/或第一时刻处的周围区域中哪个区域是空闲空间以及哪个区域不是空闲空间的数据(这可以根据雷达数据、光探测和测距(LiDAR)数据、相机数据等导出,本文中也称为语义层);和/或在所提供的地理坐标、标识的车道和/或第一时刻处的速度数据(这可以根据雷达数据导出,本文中也称为速度层)。可以将地平线层、占用层、语义层和速度层编码为不同的颜色并相互叠加以形成网格地图。或者,可以将这些层的其中一些或全部分开并单独作为输入提供到经过训练的深度神经网络。
由经过训练的深度神经网络输出的车辆情况可以是在所提供的地理坐标、标识的车道和/或第一时刻处车辆120周围的交通场景。例如,车辆情况可以包括车辆120是否位于交叉路口,另一个车辆是否位于车辆120的正前方(例如,在车辆120的阈值距离内,例如在2m、5m、10m等以内,其中另一个车辆可称为前方车辆),另一个车辆是否靠近(例如,在2m、5m、10m或某个其他阈值距离内)车辆120且与车辆120不同向行驶,是否有另一个车辆以外的物体位于车辆120的正前方,车辆120是否靠近道路标记(例如,在例如停止线、让行线、人行横道等道路标线的2m、5m、10m或某个其他阈值距离内),车辆120是否处于转弯过程中,车辆120是否处于变道的过程中,车辆120前方且在公交站处是否有公交车,车辆120的后方、前方和/或侧边是否有行人,车辆120的后方、前方和/或侧边是否有骑自行车者,车辆120附近(例如,在2m、5m、10m或某个其他阈值距离内)是否存在车辆碰撞或其他道路危害(例如,杂物、轮胎漏气的车辆、雪、冰、冰雹、水、油、倒下的树、倒下的电线、水管破裂、道路警示灯、交通锥、绕行标志、低环境光和/或由于天气条件导致的视野减小等)和/或类似情况。
车辆情况分类器222和/或服务器(例如,车辆数据处理单元145)可以使用训练集中的一个或多个网格地图来训练深度神经网络。例如,训练集中的网格地图可以对应于车辆在交叉路口停止所处的位置、车道和/或时刻;车辆停止但不位于交叉路口所处的位置、车道和/或时刻;车辆在前方车辆后面停止所处的位置、车道和/或时刻;车辆停止但不在前方车辆后面所处的位置、车道和/或时刻;车辆在非车辆物体后面停止所处的位置、车道和/或时刻;车辆停止但不在前方车辆或非车辆物体后面所处的位置、车道和/或时刻;车辆靠近道路标记停止所处的位置、车道和/或时刻;车辆停止但不靠近道路标记所处的位置、车道和/或时刻;和/或类似的位置、车道和/或时刻。可以对训练集中的网格地图进行标注或以其他方式标记以指示对应于相应网格地图的车辆情况。
车辆情况分类器222可以向停止原因导出器224提供车辆情况的指示。停止原因导出器224可以使用所提供的车辆情况和/或地图数据165来确定车辆120停止的原因。例如,停止原因导出器224可以基于地图数据165和/或车辆情况来确定车辆120由于交叉路口处有涂印的停止线而停止。作为说明性示例,地图数据165可以包括所涂印的停止线的地理坐标,并且停止原因导出器224可以使用地图数据165确定实际停止的地理坐标沿车辆120路径位于涂印的停止线的地理坐标之前。作为另一个说明性示例,地图数据165可以包括所涂印的停止线的地理坐标以及车辆情况可以指示车辆120位于交叉路口处,并且停止原因导出器224可以使用地图数据165确定实际停止的地理坐标沿车辆120路径位于涂印的停止线的地理坐标之后,但是使用所提供的车辆情况确定停止发生在交叉路口处。又如,如果车辆情况指示停车未发生在靠近道路标记处且车辆120不是在前方车辆之后,则停车原因导出器224可以确定车辆120单独停在可能的未标记的交叉路口和/或让行迎面来车。又如,如果车辆情况指示停车未发生在交叉路口处和/或车辆120位于前方车辆之后,则停车原因导出器224可以确定车辆120停止是因为交叉路口以外的位置处有交通堵塞。停止原因导出器224可以确定任何类型的车辆120停止的原因。
可选地,停止原因导出器224可以使用人工智能来确定车辆120停止的原因。例如,可以由停止原因导出器224和/或车辆数据处理单元145训练神经网络和/或机器学习模型以便基于作为输入提供到该神经网络和/或机器学习模型的车辆情况和/或地图数据165输出车辆120停止原因。
停止原因导出器224可以向停止原因分析器226提供车辆120停止原因的指示。停止原因分析器226可以评估所指示的原因,并摒弃除可能未标记的交叉路口和/或让行迎面来车以外的任何原因而引起的任何实际停止。例如,停止原因分析器226可以摒弃由不在交叉路口而由于前方车辆引起的实际停止。如果停止原因分析器226确定车辆120停止的原因是可能未标记的交叉路口和/或让行迎来车,则停止原因分析器226可以将实际停止数据(例如,实际停止的地理坐标、实际停车发生所在的车道、实际停车发生所处的时刻等)提供到停止线生成器228。
停止线生成器228可以使用实际停止数据生成虚拟停止线或让行线。例如,停止线生成器228可以生成指示车辆120应停止所处的地理位置和/或车道的虚拟停止线或让行线数据。停止线生成器228可以可选地更新地图数据165以包括虚拟停止线或让行线数据。例如,将虚拟停止线或让行线数据包含到地图数据165中可以使地图数据165包括图形线,其表示车辆120应停止所处的地理位置和/或车道处的虚拟停止线或让行线。停止线生成器228还可以将虚拟停止线或让行线数据传输到停止线聚合器246。停止线生成器228可以通过车辆控制系统和通信系统124将虚拟停止线或让行线数据提供到通信阵列122,以便通过网络110传输。备选地,停止线生成器228可以经由通信系统124将虚拟停止线或让行线数据提供到通信阵列122。
停止线聚合器246可以从一个或多个车辆120接收虚拟停止线或让行线数据。例如,对于特定位置,一个车辆120可以提供虚拟停止线或让行线数据,一辆车辆120可以提供虚拟停止线或让行线数据的多个实例(例如,车辆120每次通过对应地理坐标时,车辆120可以生成新的虚拟停止线或让行线数据),多个车辆120可以各自提供虚拟停止线或让行线数据和/或它们的任何组合。停止线聚合器246可以将车辆120中的一个或多个车辆生成的虚拟停止线或让行线聚类以标识代表性虚拟停止线或让行线。例如,停止线聚合器246可以对车辆120生成的虚拟停止线或让行线的位置取均值,并且将平均位置设置为代表性虚拟停止线或让行线的位置。又如,停止线聚合器246可以标识虚拟停止线或让行线的最常见位置,并且将该最常见位置设置为代表性虚拟停止线或让行线的位置。又如,停止线聚合器246可以标识中值虚拟停止线或让行线位置并将中值位置设置为代表性虚拟停止线或让行线的位置。一旦设置了代表性虚拟停止线或让行线的位置(例如,地理坐标和/或车道),则停止线聚合器246可以将该代表性虚拟停止线或让行线的指示提供到地图更新器248。
地图更新器248可选地通过将该代表性虚拟停止线或让行线与地图数据154交叉引用来执行验证操作。具体地,地图更新器248可以确定在代表性虚拟停止线或让行线的位置附近是否存在标记的停止线或让行线(例如,标记的停止线或让行线位于代表性虚拟停止线或让行线位置的2m、5m、10m或某个其他阈值距离之内和/或与代表性虚拟停止线或让行线位于相同的车道中)。如果代表性虚拟停止线或让行线靠近标记的停止线或让行线,则地图更新器248可以不更新或编辑地图数据154以包括代表性虚拟停止线或让行线,因为代表性虚拟停止线或让行线可能对标记的停止线或让行线是冗余的。另一方面,如果代表性虚拟停止线或让行线不靠近标记的停止线或让行线,则地图更新器248可更新或编辑地图数据154以包括该代表性虚拟停止线或让行线。
如果地图数据154被更新,则地图更新器248可以将更新后的地图数据154存储在数据存储150中。地图更新器248还可以将更新后的地图数据154传输到车辆120中的一个或多个车辆以供车辆120的部件存储和使用。例如,地图更新器248可以将更新后的地图数据154(通过通信阵列122、通信系统124和/或车辆控制系统126)传输到停止线生成器228,并且停止线生成器228可以将更新后的地图数据154(直接地或通过车辆控制系统126)存储在数据存储129中以替换原来存储的地图数据165。车辆控制系统126、内部接口系统125、地图引擎128和/或车辆120的其他部件然后可以依据更新后的地图数据154、165来改进共享出行服务(例如,改进呈现给驾驶员的导航指令,例如指示在哪里停止或让行),以帮助驾驶员驾驶和/或操控车辆120和/或自动驾驶和/或自动操控操纵车辆120。
因此,车辆120和/或车辆数据处理单元145可以实现自行修复地图过程,在该过程中车辆120检测不可见的道路网特征,并且向车辆数据处理单元145提供建议的虚拟停止线或让行线,车辆数据处理单元145确定单个聚合的虚拟停止线或让行线并相应地更新地图,并且车辆数据处理单元145将地图更新传输到车辆120。车辆120然后可以使用更新后的地图来改进未来的导航、驾驶和/或操控。
虽然本公开描述在车辆120上执行的特定操作和在服务器130上执行的特定操作,但这并不意味着限制。本文描述为由车辆120执行的任何操作可以备选地或附加地由车辆数据处理单元145来执行。例如,车辆120可以向车辆数据处理单元145发送车辆120停止的原因的指示,并且车辆数据处理单元145可以确定该原因是否对应于未标记的交叉路口和/或发生让行所在的位置,并且如果情况如此,则生成虚拟停止线或让行线。类似地,本文描述为由车辆数据处理单元145执行的任何操作可以备选地或附加地由车辆120执行。例如,车辆120可以从其他车辆120接收虚拟停止线或让行线数据并将该虚拟停止线或让行线聚集以形成代表性虚拟停止线或让行线。
在又一个实施例中,本文描述的由车辆120和/或车辆数据处理单元145实现的技术可以用于标识其他不可见的道路网特征(例如,未标记的交叉路口或车辆120等待迎面来车汇入的位置之外的不可见的道路网特征)并相应地更新地图数据154、165。例如,其它不可见的道路网特征可以是减速带、横穿街道的排水沟、未标记的人行横道、铁路交叉口和/或车辆120经常部分但未完全停车所处的其他特征(例如,其中部分停车可以是车辆120减慢阈值速度和/或阈值百分比,然后加速时)。车辆120和/或车辆数据处理单元145可以使用本文描述的技术在这些特征之一的位置处生成代表性虚拟局部停止线并且更新地图数据154、165以包括该代表性虚拟局部停止线。
在又一个实施例中,停止原因分析器226可以被配置为保留车辆120处于未标记的交叉路口和/或发生让行的位置之外而可选地可能导致车辆120以敏感或谨慎的模式操作和/或提醒驾驶员更加谨慎的情况所导致的实际停止。此类情况可以是道路障碍物(或道路危害),例如减速带、排水沟、非正式的人行横道、坑洼、施工、不平坦路面和/或不一定位于交叉路口的其他类似障碍物。例如,停止原因分析器226可以保留车辆120不在交叉路口时因车辆120识别行人引起的实际停止。停止线生成器228可以以本文描述的方式生成虚拟停止线并将虚拟停止线数据提供给停止线聚合器246。停止线生成器228还可以在虚拟停止线数据中包括指示在该虚拟停止线的位置处(例如,在未标记的位置处行人穿行)可能存在隐藏问题(例如,隐患)的信息。停止线聚合器246然后可以确定代表性虚拟停止线,地图更新器248可以更新地图数据154以包括该代表性虚拟停止线和/或指示在该代表性虚拟停止线的位置处可能存在隐藏问题的信息,并且地图更新器248可以将更新后的地图数据154传输到数据处理系统123。鉴于隐藏的问题已经被标识,车辆控制系统126然后可以基于更新后的地图数据154、165在靠近代表性虚拟停止线的位置时以敏感或谨慎模式操作。例如,车辆控制系统126可以向操作系统127提供控制命令164,其指导操作系统127使车辆120以较慢的速度驾驶和/或操控,打开大灯、雾灯和/或闪光灯、鸣喇叭、开启牵引力控制等,同时保持在与隐藏问题相关联的代表性虚拟停止线的某个距离内。又如,车辆控制系统126可以指示内部接口系统125向驾驶员显示提醒:在与隐藏问题相关联的代表性虚拟停止线的某个距离内以较慢速度行驶、打开大灯、雾灯和/或闪光灯、鸣喇叭、开启牵引力控制等。
图3图示的框图示出根据一个实施例的由车辆120执行以生成虚拟停止线的操作。如图3所示,在(1)处,传感器阵列121可以将车辆速度数据和位置数据传输到车辆停止检测器220。例如,车辆速度数据可以包括车辆120在多个时刻处的速度值。位置数据可以包括车辆120在多个不同时刻处的地理坐标和/或车辆120所在的车道。传感器阵列121可以连续地或周期性地将车辆速度数据和/或位置数据传输到车辆停止检测器220。
在(2)处,车辆停止检测器220可以检测车辆停止。例如,车辆停止检测器220可以基于车辆120的速度分布(如从车辆速度数据导出的)确定车辆120在特定时刻处停止。在(3)处,车辆停止检测器220然后可以确定车辆停止的位置。例如,车辆停止检测器220可以使用位置数据来标识车辆120在对应于检测的车辆120停止的时刻所处的位置的地理坐标和/或车道。在(4)处,车辆停止检测器220然后可以向车辆情况分类器222传输车辆停止位置的指示。如本文所述,位置可包括车辆120所在的地理坐标和/或车道的标识。
在(5)处,在车辆停止检测器220检测车辆停止和/或确定车辆停止的位置之前、期间和/或之后,传感器阵列121可以将感知数据传输到车辆情况分类器222。感知数据可以与车辆120停止时刻或车辆120停止时刻附近的时刻范围相关联(例如,捕获时间)。感知数据可以包括用于导出地平线层、占用层、语义层和/或速度层的至少一部分的数据。例如,感知数据可以包括雷达数据、光探测和测距(LiDAR)数据、相机数据等。在(6)处,车辆情况分类器222还可以(例如,直接或通过车辆控制系统126)从数据存储129中检索地图数据(例如,地图数据165)。车辆情况分类器222可以使用地图数据来导出地平线层的至少一部分。因此,车辆情况分类器222可以使用感知数据和/或地图数据来形成网格地图。车辆情况分类器222然后可以将网格地图作为输入提供给由车辆情况分类器222执行的经过训练的人工智能引擎(例如,经过训练的深度神经网络、经过训练的机器学习模型等)。结果,在(7)处,经过训练的人工智能引擎可以产生输出,该输出使车辆情况分类器222能够确定车辆120停止时刻处的车辆120的情况。在(8)处,车辆情况分类器222可以将确定的车辆情况传输到停止原因导出器224。
在(9)处,停止原因导出器224可以(例如,直接地或经由车辆控制系统126)从数据存储129检索地图数据。使用确定的车辆情况和/或地图数据,停止原因导出器224可以在(10)处确定车辆停止的原因。例如,原因可能是在交叉路口处存在涂印的停止线,另一辆车位于车辆120前方但不在交叉路口处,另一辆车在交叉路口处位于车辆120前方,车辆120处在未标记的交叉路口(例如,因为没有其他车辆在车辆120前面并且无标记的停止线或让行线),车辆120处于等待并入迎面来车的位置(例如,因为没有其他车辆在车辆120前方,没有标记的停车或让行线,并且车辆120正在转弯或变道)和/或类似情况。在(11)处,停止原因导出器224可以将车辆120停止原因的指示传输到停止原因分析器226。
停止原因分析器226可以过滤数据处理系统123不感兴趣的原因引起的停止。例如,停车原因分析器226可以过滤车辆120不在交叉路口处时由于前方车辆而发生的停车。然而,停止原因分析器226可以保留由于车辆120处于未标记的交叉路口或处于等待并入迎面来车的位置而发生的停止。就此,在(12)处,停止原因分析器226保留车辆停止,因为该停止对应于未标记的交叉路口。结果,在(13)处,停止原因分析器226可以将车辆停止数据传输到停止线生成器228。车辆停止数据可以包括检测的停止的地理位置、在检测的停止期间车辆120所处的车道和/或停止发生的时刻。
在(14)处,停止线生成器228可以生成虚拟停止线数据。例如,虚拟停止线数据可以指示车辆120应当停止的地理位置和/或车道。可选地,停止线生成器可以(例如,直接地或经由车辆控制系统126)从数据存储129检索地图数据(例如,地图数据165),并且在(15)处,更新地图数据,将更新后的地图数据存储在数据存储129中。由此,下一次车辆120到达对应于虚拟停止线的地理位置和/或车道时,车辆控制系统126可以使用更新后的地图数据来指示内部接口系统125和/或外部用户设备102显示停止指令、指示操作系统127停止车辆120、指示操作系统127协助驾驶员将车辆120停止和/或类似操作。
虽然图3图示为了生成虚拟停止线而执行的操作,这并不意味着是限制性的。结合图3描述的操作还可以用于生成虚拟让行线、指示车辆120应该以更加谨慎或敏感的模式操作的虚拟线或标记和/或类似的。
虽然图3描绘按编号顺序发生的操作序列,这并不意味着是限制性的。上文结合图3描述的一些或全部操作可以按照与所示不同的顺序执行。例如,虽然图3描绘停止原因导出器224在接收到确定的车辆情况的指示之后检索地图数据,但是停止原因导出器224可以在接收到确定的车辆情况的指示之前检索地图数据。
由如图3所示的车辆120执行的任何操作可以在车辆120沿着路线行驶时周期性地和/或连续地执行。备选地或附加地,可以在车辆120已经完成沿着路线行程并且处于空闲和/或泊车位置之后执行一些或全部操作。
图4A图示的框图示出根据一个实施例的由车辆120和服务器130执行以更新地图来包括代表性虚拟停止线的操作。如图4A所示,多个不同车辆120A-N可以将虚拟停止线数据传输到停止线聚合器246。具体地,在(1A)处,车辆120A的停止线生成器228A可以将虚拟停止线数据传输到停止线聚合器246,在(1B)处,车辆120B的停止线生成器228B可以将虚拟停止线数据传输到停止线聚合器246,在(1N)处,车辆120N的停止线生成器228N可以将虚拟停止线数据传输到停止线聚合器246,以此类推。车辆120A-N可以在相同和/或不同时间传输虚拟停止线数据。
对于图4A,车辆120A-N传输的虚拟停止线数据可能对应于相同的路口。然而,这些虚拟停止线数据不一定都对应于相同的地理位置和/或车道。例如,车辆120A可能在交叉路口处车辆120B之前一段短距离(例如,在车辆120B之前2m)处停车,并且因此车辆120A传输的虚拟停止线数据对应的地理位置可能与车辆120B传输的虚拟停止线数据对应的地理位置相距一段短距离。因此,停止线聚合器246可以接收对应于彼此间相距某一短距离内的地理位置和/或的车道的虚拟停止线数据。正如上文提到的,车辆120A-N可以多次传输虚拟停止线数据,例如车辆120A-N行驶到和/或穿过交叉路口一次或多次。然而,车辆120A-N可能不会每次都停在同一位置。因此,即使是同一车辆120A-N也可能将对应于同一交叉路口的不同地理位置和/或车道的虚拟停止线数据传输到停止线聚合器246。
在(2)处,停止线聚合器246可以使用从车辆120A-N接收的虚拟停止线数据确定代表性虚拟停止线。例如,停止线聚合器246可以将虚拟停止线数据中标识的不同地理位置和/或车道聚合以标识代表性地理位置和/或车道(例如,均值地理位置和/或车道、中值地理位置和/或车道、众数地理位置和/或车道和/或使用任何其他统计分析标识的地理位置和/或车道)。在(3)处,停止线聚合器246可以将代表性虚拟停止线的指示传输到地图更新器248。
在(4)处,地图更新器248可以从数据存储150检索地图数据。例如,该地图数据可以是地图数据154。地图更新器248可以使用地图数据来执行代表性虚拟停止线的验证。例如,地图更新器248可以确定代表性虚拟停止线是否靠近涂印的或标记的停止线和/或并入地图数据中的另一个虚拟停止线。如果代表性虚拟停止线靠近涂印的或标记的停止线和/或另一个虚拟停止线,则它对于已经存在的停止线可能是冗余的。因此,地图更新器248可以不验证该代表性虚拟停止线并且不采取进一步行动。然而,如果代表性虚拟停止线不靠近涂印的或标记的停止线和/或另一个虚拟停止线,则可能不存在冗余并且代表性虚拟停止线可以得到验证。就此,在(5)处,地图更新器248验证代表性虚拟停止线。因此,在(6)处,地图更新器248更新地图数据以包括对应于代表性虚拟停止线的数据。例如,该数据可以包括应该发生停车的地理位置或地理位置范围(例如,地理位置线)和/或车道。将代表性虚拟停止线数据并入地图数据可以使对应于该地图数据的图形显示地图在该地理位置、地理位置范围和/或标识的车道处描绘的彩色线或阴影线。类似地,将代表性虚拟停止线数据合并到地图数据中可以使地图数据包括位于该地理位置、地理位置范围和/或标识的车道处且看起来与涂印或标记的停止线相同或几乎相同的线。因此,地图更新器248可以更新地图数据以包括以其他方式呈现为环境中存在的实际停止线的虚拟停止线。在(7)处,地图更新器248可以可选地将更新后的地图数据存储在数据存储150中。
图4B图示的框图示出根据一个实施例的由车辆120和服务器130执行以向车辆120提供更新后的地图的操作。如上所述,车辆120和/或服务器130可以实现自行修复地图过程,其中车辆120和服务器130可以相互通信以持续地细化和/或更新地图以改进未来的导航、驾驶和/或操控。图4B描绘基于由车辆120A-N中的一个或多个提供的虚拟停止线数据向车辆120A-N提供更新后的地图所执行的操作。
如图4B所示,地图更新器248已经验证代表性虚拟停止线并且更新了地图数据。地图更新器248然后可以将更新后的地图数据传输到车辆120A-N。具体地,在(8A)处,地图更新器248可以将更新后的地图数据传输到车辆120A的停止线生成器228A,在(8B)处,地图更新器248可以将更新后的地图数据传输到车辆120B的停止线生成器228B,在(8N)处,地图更新器248可以将更新后的地图数据发送到车辆120N的停止线生成器228N,以此类推。地图更新器248可以同时、顺序和/或其任何组合将更新后的地图数据传输到车辆120A-N。地图更新器248可以将更新后的地图数据分发给任何数量的车辆120A-N,无论这些车辆120A-N是否提供过用于标识代表性虚拟停止线的虚拟停止线数据。
停止线生成器228A-228N然后可以将更新后的地图数据存储在它们相应的数据存储129A-N中。具体地,在(9A)处,停止线生成器228A可以(例如,直接地或经由车辆控制系统126A)将更新后的地图数据存储在数据存储129A中,在(9B)处,停止线生成器228B可以(例如,直接或通过车辆控制系统126B)将更新后的地图数据存储在数据存储129B中,在(9N)处,停止线生成器228N可以(例如,直接或通过车辆控制系统126N)将更新后的地图数据存储在数据存储129N中,以此类推。停止线生成器228A-N可以在相同和/或不同时间存储更新后的地图数据。如本文所述,车辆120A-N然后可以使用更新后的地图数据来例如在接近对应于代表性虚拟停止线的地理位置和/或车道时,指示驾驶员停车、协助驾驶员停车、自动停车和/或进入谨慎或敏感模式。
虽然图4A-4B图示为了更新和分发包括代表性虚拟停止线的地图数据而执行的操作,这并不意味着是限制性的。结合图4A-4B描述的操作还可以用于更新和分发地图数据,该地图数据包括指示车辆120应该以更谨慎或更敏感的模式操作的代表性虚拟让行线、代表性虚拟线或标线和/或类似的。
虽然图4A-4B描绘按编号顺序发生的操作序列,这并不意味着是限制性的。上文结合图4A-4B描述的一些或全部操作可以按照与所示不同的顺序执行。例如,虽然图4A描绘地图更新器248是在更新地图数据之前验证代表性虚拟停止线,但是地图更新器248可以在更新地图数据之后验证代表性虚拟停止线。
图5A-5B图示以可视方式解释车辆停止检测器220如何检测实际停止的多种速度曲线图500和550。如图5A所示,曲线图500可以是在y轴上描绘速度以及在x轴上描绘距离的自身车辆速度分布。图形500可以对应于包括人行横道540的交叉路口,并且距离值可以表示距人行横道540的距离。如曲线图500所示,根据路径505和510行驶的车辆120短暂地减速,但在通过交叉路口时通常保持速度。此类车辆120可能没有停止,因为绿灯允许车辆120行驶的方向上的车流通行(例如,在曲线图500中从左到右)和/或人行横道540中没有行人。
然而,根据路径515、520、525和530行驶的车辆120在交叉路口停止。由-20m的距离附近和-5m的距离附近出现的波谷可以明显看出停止。即使存在人行横道540,也可能未在道路上标线或涂印停止线,并且因此道路网中不可见特征可能是不可见的停止线535(其代表基于路径515、520、525和/或530的均值停止位置)。如果一个或多个车辆120最终确定实际停止发生在此未标记的交叉路口,则线535可能最终成为代表性虚拟停止线。具体地,车辆停止检测器220可以分析这些停止以确定这些停止是否是实际停止。确定时所考虑的因素可以包括潜在停止前的减速率、潜在停止后的加速率、潜在停止前速度下降的量或百分比、潜在停止之后速度增加的量或百分比、停止发生处与人行横道540的距离和/或类似因素。
如图5B所示,曲线图550在y轴上描绘速度并且在x轴上描绘时间。如曲线图550中所描绘的,速度中的四个波谷555、560、565和570在不同时间出现并且每个波谷可以对应于潜在的停止。第一波谷555的速度可能大于速度阈值(例如,Vth),因此车辆停止检测器220可以确定对应于波谷555的潜在停止不是实际停止。
第二波谷560可以处于小于速度阈值的速度。因此,车辆停止检测器220可以确定在对应于波谷560的时刻的阈值时间内是否发生任何实际停止。这里,波谷555可能在波谷560的阈值时间内,但波谷555不是实际停止,因此车辆停止检测器220确定在对应于波谷560的时刻的阈值时间内没有实际停止。因此,车辆停止检测器220将波谷560标识为对应于实际停止。如果实际停止出现在对应于波谷560的时刻的阈值时间内,则车辆停止检测器220将确定在波谷560发生之前速度是否已经提升了至少速度波动值(例如,Vripple)。如果速度增加了至少速度波动值,则车辆停止检测器220将波谷560视为单独的实际停止。否则,如果速度未增加至少速度波纹值,则车辆停止检测器220将波谷560视为与先前实际停止属于相同的实际停止。
第三波谷565也可以处于小于速度阈值的速度。然而,车辆停止检测器220可以确定波谷565不对应于实际停止。虽然波谷565处的速度小于速度阈值,但是波谷565对应的时刻的阈值时间内发生了实际停止(例如560对应的实际停止),并且速度在下降到波谷565处的值之前没有增加至少速度波动值。
第四波谷570也可以处于小于速度阈值的速度。这里,车辆停止检测器220可以确定波谷570对应于实际停止。对应于波谷570的时刻可能不在对应于波谷560的时刻的阈值时间内,波谷560是上次检测的实际停止。即使对应于波谷570的时刻处于对应于波谷560的时刻的阈值时间内,速度在波谷560时刻和波谷570时刻之间增加了超过速度波动值。例如,波峰568处的速度值与波谷560处的速度值之间的差值可能大于速度波动值。
图6A图示根据一个实施例的可能检测实际停止并且可以生成虚拟停止线所在的示例未标记的交叉路口600。如图6A所示,交叉路口600包括横穿道路610的人行横道605和横穿道路620北端的人行横道615。人行横道605和615可以用作自然停止线并且可以这样识别。然而,没有人行横道穿过道路620的南端,并且没有其他涂印的或标记的停止线。尽管如此,当在道路620上向北行驶时通过交叉路口600之前,车辆120可能停止在交叉路口600的南端。
因此,多个不同车辆120可以在行驶通过交叉路口600时检测实际停止,并且可以生成与图6A中描绘的虚拟停止线622、624和/或626中的一个或多个相对应的虚拟停止线数据。车辆数据处理单元145可最终从一个或多个车辆120接收该虚拟停止线数据并选择或确定代表性虚拟停止线。例如,车辆数据处理单元145可以选择虚拟停止线622、624和/或626中的一项作为代表性虚拟停止线。又如,车辆数据处理单元145可以对虚拟停止线622、624和/或626执行统计分析并且生成作为虚拟停止线622、624和/或626的聚合的代表性虚拟停止线。车辆数据处理单元145然后可以更新地图数据以包括该代表性虚拟停止线(使得如果被显示的话,则基于该地图数据的地图将描绘类似于所描绘的虚拟停止线622、624和/或626的线)并将更新后的地图数据传输到一个或多个车辆120。
图6B图示根据一个实施例的可能检测实际停止并且可以生成虚拟让行线所在的示例未标记的让行交叉路口650。如图6B所示,交叉路口650包括与道路660相交的道路670。道路670可以包括标记和/或涂印的停止线672。然而,操作停在停止线672处的车辆120的驾驶员可能无法观察道路660向东行驶的车流。因此,驾驶员在停止线672处停车后可能不会立即右转。相反,驾驶员可能越过停止线672并在进入交叉路口650之前再次停车,以获得对于道路660东向行驶的车辆更好的视野。在第二次停车后,司机可以在安全的情况下进入道路660。
因此,多个不同车辆120可以在行驶通过交叉路口600时检测实际停止,并且可以生成与图6B中描绘的虚拟让行线662、664、666和/或668中的一个或多个相对应的虚拟让行线数据。车辆数据处理单元145可最终从一个或多个车辆120接收该虚拟让行线数据并选择或确定代表性虚拟让行线。例如,车辆数据处理单元145可以选择虚拟让行线662、664、666和/或668中的一项作为代表性虚拟让行线。又如,车辆数据处理单元145可以对虚拟让行线662、664、666和/或668执行统计分析并且生成作为虚拟让行线662、664、666和/或668的聚合的代表性虚拟让行线。车辆数据处理单元145然后可以更新地图数据以包括该代表性虚拟让行线(使得如果被显示的话,则基于该地图数据的地图将描绘类似于所描绘的虚拟让行线662、664、666和/或668的线)并将更新后的地图数据传输到一个或多个车辆120。
图7示出由车辆120实现以便生成虚拟停止线的例行程序700的实施例的流程图。对于例行程序700列出的要素可以由与车辆120的数据处理系统123相关联的一个或多个部件来实现。
在框702处,检测车辆停止。例如,车辆120的数据处理系统123可以基于对车辆120在不同时刻和/或结合某些道路标线(如停止线、人行横道等)进行速度的分析来检测停止。下文结合图10更详细地描述由数据处理系统123执行以检测车辆停止的过程。
在框704处,确定车辆在被检测车辆停止时的位置。例如,可以使用全球定位系统(GPS)数据确定该位置,其标识在与检测停止所对应的时刻处车辆120的位置。
在框706处,确定车辆在所确定的位置处的情况。例如,可以通过获得感知数据和/或地图数据,将感知数据和/或地图数据转换为网格地图,并将网格地图作为输入应用于经过训练的深度神经网络来确定情况。
在框708处,确定车辆停止的原因对应于未标记的交叉路口。可以基于所确定的车辆情况和/或地图数据作出该确定。
在框710处,生成虚拟停止线数据。可以生成虚拟停止线数据,因为所确定的车辆停止原因是车辆120和/或服务器130最终生成虚拟停止线的感兴趣的原因。
在框712处,通过网络将虚拟停止线数据传输到服务器。例如,可以将虚拟停止线数据传输到服务器130的车辆数据处理单元145。在传输虚拟停止线数据后,例行程序700完成。
虽然图7是结合虚拟停止线来描述的,但这并不意味着是限制性的。可以执行与例行程序700类似的例行程序来生成虚拟让行线数据。例如,如果确定的车辆停车原因有关于车辆120让行并等待并入迎面来车,则可以生成虚拟让行线数据。
图8示出由服务器130实现以便标识代表性虚拟停止线的例行程序800的实施例的流程图。例行程序800概述的要素可以由与服务器130的车辆数据处理单元145相关联的一个或多个组件来实现。
在框802处,多个车辆获得虚拟停止线或让行线数据。例如,一个或多个车辆120可以执行图7的例行程序700生成特定交叉路口或让行区域的虚拟停止线或让行线数据。
在框804处,将获得的虚拟停止线或让行线数据聚合。例如,可以将获得的虚拟停止线或让行线数据聚类以标识平均虚拟停止线或让行线、中值虚拟停止线或让行线、最常见的虚拟停止线或让行线等。
在框806处,基于聚合确定代表性虚拟停止线或让行线。例如,代表性虚拟停止线或让行线可以是由特定车辆120生成的虚拟停止线或让行线,或者可以是由同一车辆120或多个车辆120生成的虚拟停止线或让行线的组合。在确定了代表性虚拟停止线或让行线之后,例行程序800完成。
图9示出由服务器130实现以便基于车辆提供的数据更新或编辑地图的例行程序900的实施例的流程图。对于例行程序900列出的要素可以由与服务器130的车辆数据处理单元145相关联的一个或多个部件来实现。
在框902处,从多个车辆获得虚拟停止线或让行线数据。例如,一个或多个车辆120可以执行图7的例行程序700生成特定交叉路口或让行区域的虚拟停止线或让行线数据。
在框904处,基于获得的虚拟停止线或让行线数据确定代表性虚拟停止线或让行线。例如,代表性虚拟停止线或让行线可以是由特定车辆120生成的虚拟停止线或让行线,或者可以是由同一车辆120或多个车辆120生成的虚拟停止线或让行线的组合。
在框906处,验证代表性虚拟停止线或让行线。例如,可以将代表性虚拟停止线或让行线与已经并入地图数据中的任何实际或虚拟停止线进行比较。如果代表性虚拟停止线或让行线靠近已经存在的停止线或让行线,则验证可能失败。否则,如果代表性虚拟停止线或让行线不接近已经存在的停止线或让行线,则验证可能成功。
在框908处,验证成功并且更新或编辑地图数据以并入该代表性虚拟停止线或让行线。然后可以将更新后的地图数据传输到一个或多个车辆120以帮助未来导航、驾驶和/或操控。在更新了地图数据后,例行程序900完成。
图10图示由车辆120实现以检测停止的例行程序1000的实施例的流程图。对于例行程序1000列出的要素可以由与车辆120的数据处理系统123相关联的一个或多个部件来实现。
在框1002处,确定对应于速度波谷或低谷的时刻处的速度是否低于速度阈值。如果该时刻处的速度不低于速度阈值,则没有检测停止并且例行程序1000返回到框1002。否则,如果该时刻的速度低于速度阈值,则检测可能的停止并且例行程序1000进行到框1004。
在框1004处,确定先前停止是否发生在当前被评估的可能停止的时刻的阈值时间内。如果先前停止发生在该阈值时间内,则例行程序1000进行到框1008。否则,如果先前停止未发生在阈值时间内,则例行程序1000进行到框1006。
在框1006处,确定停止发生。例行程序1000然后返回到框1002以重复例行程序1000以检测未来的停止。
在框1008处,确定在与先前停止对应的时刻与当前被评估的可能停止所对应的时刻之间速度是否增加了至少速度波动值。如果速度增加了至少速度波动值,则当前正在评估的可能停止是停止,并且例行程序1000进行到框1006。否则,如果速度没有增加至少速度波动值,则当前正在评估的可能停止实际上是先前停止的一部分(例如,车辆120减速到停止,暂时释放刹车允许车辆120向前移动,然后再次接合刹车)并且例行程序1000进行到框1010。
在框1010处,确定当前正在评估的可能停止是先前停止的一部分。例行程序1000然后返回到框1002以重复例行程序1000以检测未来的停止。
图11图示由车辆120实现以便生成包括指示虚拟停止线所在位置处隐藏的问题的虚拟停止线数据的例行程序1100的实施例的流程图。对于例行程序1100列出的要素可以由与车辆120的数据处理系统123相关联的一个或多个部件来实现。
在框1102处,检测车辆停止。例如,车辆120的数据处理系统123可以基于对车辆120在不同时刻和/或结合某些道路标线(如停止线、人行横道等)进行速度的分析来检测停止。上文结合图10更详细地描述由数据处理系统123执行以检测车辆停止的过程。
在框1104处,确定车辆在被检测车辆停止时的位置。例如,可以使用全球定位系统(GPS)数据确定该位置,其标识在与检测停止所对应的时刻处车辆120的位置。
在框1106处,确定车辆在所确定的位置处的情况。例如,可以通过获得感知数据和/或地图数据,将感知数据和/或地图数据转换为网格地图,并将网格地图作为输入应用于经过训练的深度神经网络来确定情况。
在框1108处,确定车辆停止的原因对应于道路障碍物。例如,道路障碍物可以是减速带、横穿道路的排水沟、非正式(例如,未标记的)人行横道、坑洼、施工(例如,道路警示灯、交通锥、绕行标志等)、不平坦的路面和/或类似的原因。可以基于所确定的车辆情况和/或地图数据作出该确定。
在框1110处,生成虚拟停止线数据,其包括所确定位置处的隐藏问题的指示。可以生成虚拟停止线数据,因为所确定的车辆停止原因是车辆120和/或服务器130最终生成虚拟停止线的感兴趣的原因。
在框1112处,通过网络将虚拟停止线数据传输到服务器。例如,可以将虚拟停止线数据传输到服务器130的车辆数据处理单元145。如果并入到地图数据中,则该虚拟停止线数据可以使车辆120提醒驾驶员靠近与该虚拟停止线对应的地理位置附近时小心驾驶和/或进入谨慎和/或敏感模式(例如,自动促使车辆120,协助驾驶员和/或指示驾驶员较类似交通场景中通常会发生的情况减速更多,开启大灯、雾灯和/或闪光灯,发出声音喇叭,开启牵引力控制等)。在传输虚拟停止线数据后,例行程序1100完成。
就本文描述的附图而言,在本发明的范围内,其他实施例是可能的,上述部件、步骤、框、操作和/或消息/请求/查询/指令进行不同地排列、排序、细分、组织和/或组合。在一些实施例中,不同的部件可以发起或执行给定的操作。例如,在一些实施例中,可以将由车辆120和/或服务器130执行的一些或全部操作下放到由车辆120外部的驾驶员、乘客和/或用户操作的用户设备102。
示例实施例
本发明的一些示例列举的实施例,在本段落部分中是以方法、系统和非瞬态计算机可读介质且非限制的形式来引述的。
本公开的一个方面提供一种包括多个传感器的车辆,其中多个传感器中的第一传感器被配置为生成速度数据,并且其中多个传感器中的第二传感器被配置为生成位置数据。该车辆还包括配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:使用生成的速度数据检测在第一时刻处车辆停止;使用生成的位置数据确定第一时刻处车辆的位置;使用该车辆上存储的深度神经网络,确定该车辆在所确定的位置处的情况;基于所确定的情况或地图数据中的至少一项,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;并且将所述虚拟停止线数据在网络上经由通信阵列传输到服务器。
前文段落的车辆可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标和车辆在第一时刻处所在道路上的车道;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:生成网格地图,将该网格地图作为输入应用于深度神经网络,并且根据该深度神经网络的输出来确定车辆的情况;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据地图数据导出的信息叠加在根据光探测和测距(LiDAR)数据、雷达数据或相机数据中的至少一种数据导出的信息上,以形成网格地图;其中该计算机可执行指令在被执行时还使处理器使用网格地图的训练集来训练该深度神经网络;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:检测在第一时刻之前的第二时刻处第二车辆停止,以及确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;以及其中所述车辆的情况是以下情况中的至少一种:所述车辆是否位于交叉路口;另一个车辆是否位于所述车辆正前方;所述另一个车辆之外的物体是否位于所述车辆正前方;所述车辆是否邻近道路标记;所述车辆是否处于转弯的过程中;所述车辆是否处于变道的过程中;所述车辆前方以及公交站是否有公共汽车;所述车辆后方、前方或侧方是否存在行人;所述车辆后方、前方或侧方是否存在骑自行车者;或者是否存在道路危害。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:使用所述车辆测得的速度数据检测在第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所述检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及通过网络将所述虚拟停止线数据传输到服务器。
前文段落的方法可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标或车辆在第一时刻处所在道路上的车道中的至少一项;其中确定检测的车辆停止的原因是该车辆到达所述未标记的交叉路口,还包括:生成网格地图;将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定该原因;其中生成网格地图还包括:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,以及生成图像,在该图像中,将根据地图数据导出的信息叠加在根据光探测和测距(LiDAR)数据、雷达数据或相机数据中的至少一项导出的信息上,以形成网格地图;其中该人工智能引擎是深度神经网络或机器学习模型中的一种;其中该方法还包括使用网格地图的训练集来训练该人工智能引擎;其中检测车辆停止还包括:检测在第一时刻之前的第二时刻处第二车辆停止,以及确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;以及其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,其包括用于标识虚拟停止线的计算机可执行指令,其中所述计算机可执行指令在被车辆执行时使所述车辆执行以下操作:使用所述车辆测得的速度数据检测在第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及将所述虚拟停止线数据传输到所述车辆外部。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标或车辆在第一时刻处所在道路上的车道中的至少一项;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:生成网格地图;将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定该原因;并且其中该人工智能引擎是深度神经网络或机器学习模型中的一种。
本公开的另一个方面提供一种包括多个车辆的系统。该系统还包括通过网络与这些多个车辆通信的计算设备,该计算设备包括配置有计算机可执行指令的处理器,这些指令在被执行时使该计算设备执行以下操作:从这些多个车辆中的第一车辆获得第一虚拟线数据;从这些多个车辆中的第二车辆获得第二虚拟线数据;使用统计分析将第一虚拟线数据和第二虚拟线数据进行聚合;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中代表性虚拟线在被并入地图数据时,使多个车辆中的至少一些车辆根据代表性虚拟线操作。
前段的系统可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机可执行指令在被执行时,还使该计算设备选择第一虚拟线数据对应的第一虚拟线或第二虚拟线数据对应的第二虚拟线之一作为代表性虚拟线;其中该代表性虚拟线对应于由第一虚拟线数据和第二虚拟线数据聚合得到的地理位置、地理位置范围或道路上的车道中的至少一种;其中第一虚拟线数据对应于第一交叉路口,并且第二虚拟线数据对应于第一交叉路口;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:从第一车辆获得第三虚拟线数据,其中第一虚拟线数据和第三虚拟线数据对应于第一交叉路口,并且其中第一虚拟线数据和第三虚拟线数据对应于不同的时刻,并使用统计分析将第一虚拟线数据、第二虚拟线数据和第三虚拟线数据聚合;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第三虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;以及其中这些多个车辆中的每一个车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种计算机实施的方法,其包括:正如通过网络与第一车辆通信的一个或多个计算设备实现的方式一样,从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻和第一交叉路口;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻和第一交叉路口;将第一虚拟线数据和第二虚拟线数据进行类聚;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中代表性虚拟线在被访问时,使第一车辆或另一个车辆中的至少一辆根据该代表性虚拟线操作。
前一段的计算机实现的方法可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中确定代表性虚拟线还包括选择与第一虚拟线数据对应的第一虚拟线或与第二虚拟线数据对应的第二虚拟线的其中之一作为代表性虚拟线;其中该代表性虚拟线在被访问时使第一车辆或另一车辆中的至少一辆停止在与代表性虚拟线对应的位置处;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;并且其中第一车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,其包括用于标识代表性虚拟线的计算机可执行指令,其中该计算机可执行指令在被计算系统执行时使该计算系统执行以下操作:从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻;将第一虚拟线数据和第二虚拟线数据进行聚类;以及基于第一虚拟线数据和第二虚拟线数据的聚合来确定代表性虚拟线,其中该代表性虚拟线在被访问时,使得根据该代表性虚拟线生成至少一个驾驶员提醒或开始车辆操作。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;并且其中该驾驶员提醒包括第一车辆应停止在与该代表性虚拟线相对应的位置的指示。
本公开的另一个方面提供一种包括多个车辆的系统。该系统还包括通过网络与这些多个车辆通信的计算设备,该计算设备包括配置有计算机可执行指令的处理器,这些指令在被执行时使该计算设备执行以下操作:从这些多个车辆中的第一车辆获得第一虚拟线数据;从这些多个车辆中的第二车辆获得第二虚拟线数据;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;验证该代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到这些多个车辆,其中该更新后的地图数据在被访问时使这些多个车辆中的至少一些车辆根据该代表性拟线操作。
前段的系统可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:将该代表性虚拟线与存在于地图数据中的标记线进行比较,基于比较确定代表性虚拟线距标记线至少为阈值距离,并基于确定代表性虚拟线距标记线至少为阈值距离来验证代表性虚拟线;其中该代表性虚拟线对应于由第一虚拟线数据和第二虚拟线数据中的至少一种得到的地理位置、地理位置范围或道路上的车道中的至少一种;其中第一虚拟线数据对应于第一交叉路口,并且第二虚拟线数据对应于第一交叉路口;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第二虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;其中该计算机可执行指令在被执行时还使该计算设备执行以下操作:从第一车辆获得第三虚拟线数据,其中第一虚拟线数据和第三虚拟线数据对应于第一交叉路口,并且其中第一虚拟线数据和第三虚拟线数据对应于不同的时刻,并基于第一虚拟线数据、第二虚拟线数据和第三虚拟线数据来确定代表性虚拟线;其中第一虚拟线数据对应于第一交叉路口中的第一位置,并且其中第三虚拟线数据对应于第一交叉路口中与第一位置不同的第二位置;以及其中这些多个车辆中的每一个车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种计算机实施的方法,其包括:正如通过网络与第一车辆通信的一个或多个计算设备实现的方式一样,从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻和第一交叉路口;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻和第一交叉路口;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到第一车辆,其中更新后的地图数据在被访问时使第一车辆或另一车辆中的至少一辆根据代表性虚拟线操作。
前一段的计算机实现的方法可以包括以下特征的任何子组合:其中第一虚拟线数据是第一虚拟停止线数据或第一虚拟让行线数据之一;其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;其中该计算机实施的方法还包括确定代表性虚拟线的验证成功;其确定该代表性虚拟线的验证成功还包括:将该代表性虚拟线与存在于地图数据中的标记线进行比较,基于比较确定代表性虚拟线距标记线至少为阈值距离,并基于确定代表性虚拟线距标记线至少为阈值距离来验证代表性虚拟线;其中该更新后的地图数据在被访问时使第一车辆或另一车辆中的至少一辆停止在与代表性虚拟线对应的位置处;并且其中第一车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,其包括用于编辑地图的计算机可执行指令,其中该计算机可执行指令在被计算系统执行时使该计算系统执行以下操作:从第一车辆获得第一虚拟线数据,其中第一虚拟线数据对应于第一时刻;从第一车辆获得第二虚拟线数据,其中第二虚拟线数据对应于第一时刻之后的第二时刻;根据第一虚拟线数据和第二虚拟线数据确定代表性虚拟线;更新地图数据以并入该代表性虚拟线;以及将更新后的地图数据传输到第一车辆,其中该更新后的地图数据在被访问时使得至少一个提醒被生成以在第一车辆中显示或第一车辆开始根据该代表性拟线操作。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该代表性虚拟线是代表性虚拟停止线或代表性虚拟让行线之一;以及其中该提醒包括第一车辆应停止在与该代表性虚拟线相对应的位置的指示。
本公开的另一方面提供一种车辆,其包括被配置为生成速度数据的第一传感器。该车辆还包括:配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:基于速度数据,标识多个速度值的波谷,其中该波谷发生在第一时刻处;确定多个速度值中对应于第一时刻的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的车辆可以包括以下特征的任何子组合:其中先前的车辆停止对应于多个速度值中的第二波谷,其中该第二波谷对应于第二时刻;该第二波谷对应于多个速度值中的第二速度值,并且其中对应于多个速度值中的介于第一时刻与第二时刻之间的第三时刻的第三速度值与第二速度值之差为大于速度波动值;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值高于速度阈值,以及确定第三时刻未发生第三停车;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值低于速度阈值,确定第二停车发生在第三时刻之前超过阈值时间处,并且在第三时刻检测第三停车;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:基于速度数据,标识多个速度值中的第二波谷,其中第二波谷发生在第一时刻之后的第三时刻,确定多个速度值中对应于第三时刻的第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度未增加介于第一时刻和第三时刻之间的至少速度波动值,并且确定第三时刻处未发生第三车辆停止;其中第一传感器是雷达传感器、速度计、加速度计、相机、光探测和测距(LiDAR)传感器或全球定位系统(GPS)中的一种;并且其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:从耦合到车辆或嵌入车辆内的第一传感器获取速度数据;基于该速度数据,确定对应于第一时刻的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的方法可以包括以下特征的任何子组合:其中先前车辆停止对应于第二速度值,其中第二速度值处于速度值的波谷处;其中对应于介于第一时刻和第二时刻之间的第三时刻的第三速度值与第二速度值的差值大于速度波动值;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值高于速度阈值,并且确定第三时刻处未发生第三车辆停止;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二车辆停止发生在第三时刻之前超过阈值时间处,并且检测在第三时刻处的第三车辆停止;其中该方法还包括:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度介于第一时刻和第三时刻之间未增加至少速度波动值,并且确定第三车辆停止未发生在第三时刻处;其中第一传感器是雷达传感器、速度计、加速度计、相机、光探测和测距(LiDAR)传感器或全球定位系统(GPS)中的一种;以及其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,其包括用于检测停车的计算机可执行指令,其中该计算机可执行指令在被车辆执行时使该车辆执行以下操作:基于从车辆的第一传感器获得的速度数据,确定与第一时刻对应的第一速度值低于速度阈值;确定先前车辆停止发生在第一时刻之前小于阈值时间的第二时刻处;确定该车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值;以及响应于确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值,检测在第一时刻处第二车辆停止。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值高于速度阈值,并且确定第三时刻处未发生第三车辆停止;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二车辆停止发生在第三时刻之前超过阈值时间处,并且检测在第三时刻处的第三车辆停止;并且其中该计算机可执行指令在被执行时还使该车辆执行以下操作:基于该速度数据,标识与第一时刻之后的第三时刻对应的第二速度值,确定第二速度值低于速度阈值,确定第二停车发生在第三时刻的阈值时间内,确定该车辆的速度在第一时刻和第三时刻之间未增加至少速度波动值,并且确定第三时刻处未发生第三车辆停止。
本公开的另一个方面提供一种包括多个传感器的车辆,其中多个传感器中的第一传感器被配置为生成速度数据,并且其中多个传感器中的第二传感器被配置为生成位置数据。该车辆还包括配置有计算机可执行指令的处理器,其中该计算机可执行指令在被执行时使处理器执行以下操作:使用生成的速度数据检测在第一时刻处车辆停止;使用生成的位置数据确定第一时刻处车辆的位置;使用该车辆上存储的深度神经网络,确定该车辆在所确定的位置处的情况;基于所确定的情况或地图数据中的至少一项,确定检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据在网络上经由通信阵列传输到服务器。
前文段落的车辆可以包括以下特征的任何子组合:其中该车辆的位置包括车辆在第一时刻的地理坐标和车辆在第一时刻处所在道路上的车道;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:生成网格地图,将该网格地图作为输入应用于深度神经网络,并且根据该深度神经网络的输出来确定车辆的情况;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据地图数据导出的信息叠加在根据光探测和测距(LiDAR)数据、雷达数据或相机数据中的至少一种数据导出的信息上,以形成网格地图。其中该计算机可执行指令在被执行时还使处理器使用网格地图的训练集来训练该深度神经网络;其中该计算机可执行指令在被执行时还使该处理器执行以下操作:在第一时刻之前的第二时刻处检测第二车辆停止,并且确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;其中该道路障碍物包括减速带、排水沟、未标记的人行横道、坑洼、道路警示灯、交通锥、绕行标志或不平坦路面中的至少一种;以及其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供一种由车辆实施的方法。该方法包括:使用该车辆测得的速度数据检测在第一时刻处车辆停止;确定该车辆在第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据在网络上传输到服务器。
前文段落的方法可以包括以下特征的任何子组合:其中该方法还包括响应于访问并入根据虚拟停止线数据得到的信息的地图数据,在所确定的位置处以敏感模式操作;其中确定检测的车辆停止的原因是道路障碍物,还包括:生成网格地图;将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,并且基于所确定的情况或地图数据中的至少一项来确定该原因;其中生成网格地图还包括:获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一种,并且生成图像,在该图像中,将根据地图数据导出的信息叠加在根据光探测和测距(LiDAR)数据、雷达数据或相机数据中的至少一种导出的信息上,以形成网格地图;其中该人工智能引擎是深度神经网络或机器学习模型中的一种;其中该道路障碍物包括减速带、排水沟、未标记的人行横道、坑洼、道路警示灯、交通锥、绕行标志或不平坦路面中的至少一项;以及其中检测车辆停止还包括:在第一时刻之前的第二时刻处检测第二车辆停止,并且确定该车辆的速度在第二时刻与第一时刻之间增加了至少速度波动值;并且其中该车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
本公开的另一个方面提供非暂时性计算机可读存储介质,其包括用于标识虚拟停止线的计算机可执行指令,其中所述计算机可执行指令在被车辆执行时使所述车辆执行以下操作:使用所述车辆测量的速度数据检测第一时刻处车辆停止;确定所述车辆在所述第一时刻处的位置;部分地基于所述车辆上运行的人工智能引擎的执行,确定所检测的车辆停止的原因是道路障碍物;响应于确定检测的车辆停止的原因是道路障碍物,生成虚拟停止线数据,其中该虚拟停止线数据包括对所确定的位置处的隐藏问题的指示;以及将所述虚拟停止线数据传输到所述车辆外部。
前文段落的非暂时性计算机可读存储介质可以包括以下特征的任何子组合:其中该计算机可执行指令在被执行时还使该车辆执行以下操作:响应于访问并入根据虚拟停止线数据得到的信息的地图数据,在所确定的位置处以敏感模式操作;其中该计算机可执行指令在被执行时还使该车辆执行以下操作:生成网格地图,将该网格地图作为输入应用于人工智能引擎,基于该人工智能引擎的输出确定该车辆的情况,以及基于所确定的情况或地图数据中的至少一项来确定该原因;以及其中该人工智能引擎是深度神经网络或机器学习模型中的一种。
在其他实施例中,一个或多个系统可以根据前述段落中引述的方法和/或计算机可读介质中的其中一个或多个来操作。在又一些实施例中,一种或多种方法可以根据前述段落中引述的系统和/或计算机可读介质中的其中一个或多个来操作。在再一些实施例中,一种或多种计算机可读介质,不包括暂时性传播信号,可以使具有一个或多个处理器和非暂时性计算机可读存储器的一个或多个计算设备根据前述段落中引述的系统和/或方法的其中一个或多个操作。
术语
条件语言,例如“能够”、“可能”、“可以”或“可”,除非另有特别说明,或在所使用的上下文中以其他方式理解,否则通常旨在传达某些实施例包括,而其他实施例不包括某些特征、元素和/或步骤。因此,这种条件性语言通常不旨在暗示特征、元件和/或步骤以任何方式必须用于一个或多个实施例,或者一个或多个实施例必然包括用于确定以下的逻辑:在有或没有用户输入或提示的情况下,是否这些特征、元件和/或步骤包括在任何特定实施例中或将在其中执行。
除非上下文另有明确要求,否则在说明书和权利要求书中,词语“包括”、“包括”等应被解释为包括性意义,而不是排他性或穷举性意义,即“包括但不限于”。如本文所用,术语“连接”、“耦合”或其任何变体是指两个或更多个元素之间的任何直接或间接的连接或耦合;元素之间的耦合或连接可以是物理的、逻辑的或其组合。此外,在本申请中使用的词语“此处”、“以上”、“以下”和类似含义的词语,是指本申请的整体而不是本申请的任何特定部分。在上下文允许的情况下,使用单数或复数的词汇也可以分别包括复数或单数。结合两个或更多个项的列表时,词汇“或”涵盖该词汇的以下所有解释:列表中的任何一个项、列表中的所有项目以及列表中项的任意组合。同样,结合两个或更多个项的列表时,术语“和/或”,涵盖该词的所有以下解释:列表中的任何一个项、列表中的所有项以及列表中项的任何组合。
在一些实施例中,本文中描述的任何算法的某些操作、动作、事件或功能可以以不同的顺序执行,可以添加、合并或完全排除(例如,对于实施算法,并非全部都是必不可少的)。在某些实施例中,操作、动作、功能或事件可以例如通过多线程处理、中断处理或多个处理器或处理器核或在其他并行架构上并发执行,而不是顺序执行。
本文描述的系统和模块可以包括软件、固件、硬件或适合于所描述的目的的软件、固件或硬件的任何组合。软件和其他模块可以驻留在服务器、工作站、个人计算机、计算机化平板电脑、PDA和其他适于本文描述的目的的计算设备上并在其上执行。软件和其他模块可以通过本地计算机存储器、网络、浏览器或适于本文描述的目的的其他方式来访问。本文描述的数据结构可以包括适于本文描述的目的的计算机文件、变量、编程阵列、编程结构或任何电子信息存储方案或方法或者它们的任何组合。本文描述的用户接口元素可以包括来自图形用户界面、交互式语音响应、命令行界面和其他合适接口的元素。
再者,所示系统的各种部件的处理可以分布在多个机器、网络和其他计算资源上。可以将一个系统的两个或更多个部件组合成更少的部件。所示系统的各种部件可以在一个或多个虚拟机中而不是在专用计算机硬件系统和/或计算设备中实现。同样,所示的数据存储库可以表示物理和/或逻辑数据存储,包括例如存储区域网络或其他分布式存储系统。此外,在一些实施例中,所示部件之间的连接表示数据流的可能路径,而不是硬件之间的实际连接。虽然示出了可能连接的一些示例,但是在多种实现中,所示部件的任何子集都能够彼此通信。
上面还结合用于方法、装置(系统)和计算机程序产品的流程图描述了实施例。流程图图示和/或框图的每个框和流程图示例和/或框图中的框组合可以通过计算机程序指令来实现。可以将此类指令提供给通用计算机的处理器、专用计算机,专用计算机(例如,包括高性能数据库服务器、图形子系统等)或其他可编程数据处理装置来生产机器,使得通过计算机的处理器或其他可编程数据处理装置执行的指令构成用于实现流程图和/或框图的一个或多个框中指定的动作的装置。这些计算机程序指令也可以存储在非暂时性计算机可读存储器中,这些计算机程序指令可以指导计算机或其他可编程数据处理装置以特定方式操作,使得存储在计算机可读存储器中的指令构成包括实现流程图和/或框图的一个或多个框中指定的动作的指令装置的制造品。这些计算机程序指令也可以加载到计算设备或其他可编程数据处理装置上,以在该计算设备或其他可编程装置上执行操作以产生计算机实现的处理,使得在该计算设备或其他可编程装置上执行的指令提供用于实现流程图和/或框图一个或多个框指定的动作的步骤。
上面提到的任何专利和应用和其他引用,包括可以在附属提交文件中列出的任何内容,可以通过引用并入本文。如有需要,可以修改本发明的多个方面以采用上文描述提供本发明再一个实施方式的多种引用的系统、功能和概念。鉴于上述详细描述,可以对本发明进行这些和其他改变。虽然上文描述了本发明的某些示例,并且描述了可设想的最佳方式,但是无论文本中呈现如何详尽,均可以多种方式实施本发明。系统的细节在其具体实施方式中显著有所不同,同时仍涵盖在本文公开的本发明中。如上所述,不应将描述本发明多个方面的某些特征时使用的特定术语解释为暗示在本文中将该术语重新定义为被限制于本发明的与该术语关联的任何特定特性、特征或方面。一般而言,在以下权利要求中使用的术语不应解释为将本发明限制于本说明书中公开的具体示例,除非上述具体实施方式部分中显性地定义此类术语。因此,本发明的实际范围不仅包括所公开的示例,而且包括依据权利要求实施或实现本发明的所有等效方式。
为了减少权利要求的数量,下文以某种权利要求形式呈示本发明的某些方面,但是申请人以任何数量的权利要求形式可设想本发明的其他方面。例如,虽然本发明的仅一个方面被引述为依据35 U.S.C sec.112(f)(AIA)的手段加功能的权利要求,但是其他方面同样可以实施为手段加功能权利要求或者以其他形式实施,例如在计算机可读介质中实施。旨在依据35 U.S.C.§112(f)处理的任何权利要求将以“用于……的装置”语句开始,但是在任何其他上下文中使用“用于”不意味着依据35 U.S.C.§112(f)的援引处理。因此,申请人保留在提交本申请后在本申请或接续申请中追加附加权利要求的权利。

Claims (17)

1.一种车辆,所述车辆包括:
多个传感器,其中,所述多个传感器中的第一传感器被配置为生成速度数据,并且其中,所述多个传感器中的第二传感器被配置为生成位置数据;以及
配置有计算机可执行指令的处理器,其中,所述计算机可执行指令在被执行时使所述处理器执行以下操作:
使用所生成的速度数据检测第一时刻处车辆停止;
使用所生成的位置数据确定所述第一时刻处所述车辆的位置;
生成网格地图,所述网格地图包括叠加有不同信息的图像;
将所述网格地图作为输入应用于所述车辆上存储的深度神经网络;
基于所述深度神经网络的输出确定在所确定的位置处所述车辆的情况;
基于所确定的情况或地图数据中的至少一项,确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;
响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及
将所述虚拟停止线数据在网络上经由通信阵列传输到服务器。
2.根据权利要求1所述的车辆,其中,所述车辆的位置包括所述车辆在所述第一时刻的地理坐标和所述车辆在所述第一时刻处所在道路上的车道。
3.根据权利要求1所述的车辆,其中,所述计算机可执行指令在被执行时还使所述处理器执行以下操作:
获得所述地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一项;以及
生成图像,在所述图像中,将根据所述地图数据导出的信息叠加在根据所述光探测和测距(LiDAR)数据、所述雷达数据或所述相机数据中的至少一项导出的信息上,以形成所述网格地图。
4.根据权利要求1所述的车辆,其中,所述计算机可执行指令在被执行时还使所述处理器使用网格地图的训练集来训练所述深度神经网络。
5.根据权利要求1所述的车辆,其中,所述计算机可执行指令在被执行时还使所述处理器执行以下操作:
检测在所述第一时刻之前的第二时刻处第二车辆停止;以及
确定所述车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值。
6.根据权利要求1所述的车辆,其中所述车辆的情况至少是以下情况之一:所述车辆是否位于交叉路口;另一个车辆是否位于所述车辆正前方;所述另一个车辆之外的物体是否位于所述车辆正前方,所述车辆是否邻近道路标记;所述车辆是否处于转弯的过程中;所述车辆是否处于变道的过程中;所述车辆前方以及公交站是否有公共汽车;所述车辆后方、前方或侧方是否存在行人;所述车辆后方、前方或侧方是否存在骑自行车者;或者是否存在道路危害。
7.根据权利要求1所述的车辆,其中,所述车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
8.一种由车辆实施的方法,所述方法包括:
使用所述车辆测得的速度数据检测在第一时刻处车辆停止;
确定在所述第一时刻处所述车辆的位置;
生成网格地图,所述网格地图包括叠加有不同信息的图像;
将所述网格地图作为输入应用于所述车辆上的人工智能引擎;
基于所述人工智能引擎的输出确定所述车辆的情况;
基于所确定的情况或地图数据中的至少一项来确定确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;
响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及
将所述虚拟停止线数据在网络上传输到服务器。
9.根据权利要求8所述的方法,其中,所述车辆的位置包括所述车辆在所述第一时刻的地理坐标或所述车辆在所述第一时刻处所在道路上的车道中的至少一项。
10.根据权利要求8所述的方法,其中,生成网格地图还包括:
获得地图数据和光探测与测距(LiDAR)数据、雷达数据或相机数据中的至少一项;以及
生成图像,在所述图像中,将根据所述地图数据导出的信息叠加在根据所述光探测和测距(LiDAR)数据、所述雷达数据或所述相机 数据中的至少一种项导出的信息上,以形成所述网格地图。
11.根据权利要求8所述的方法,其中,所述人工智能引擎是深度神经网络或机器学习模型中的一种。
12.根据权利要求8所述的方法,所述方法还包括使用网格地图的训练集来训练所述人工智能引擎。
13.根据权利要求8所述的方法,其中检测车辆停止还包括:
检测所述第一时刻之前的第二时刻处第二车辆停止;以及
确定所述车辆的速度在所述第二时刻与所述第一时刻之间增加了至少速度波动值。
14.根据权利要求8所述的方法,其中,所述车辆是自动驾驶车辆、提供一种或多种驾驶员辅助特征的车辆或用于提供基于位置的服务的车辆中的至少一种。
15.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质包括用于标识虚拟停止线的计算机可执行指令,其中,所述计算机可执行指令在被车辆执行时使所述车辆执行以下操作:
使用所述车辆测得的速度数据检测在第一时刻处车辆停止;
确定所述第一时刻处所述车辆的位置;
生成网格地图,所述网格地图包括叠加有不同信息的图像;
将所述网格地图作为输入应用于所述车辆上的人工智能引擎;
基于所述人工智能引擎的输出确定所述车辆的情况;
基于所确定的情况或地图数据中的至少一项来确定所检测的车辆停止的原因是所述车辆到达未标记的交叉路口;
响应于确定所检测的车辆停止的原因是所述车辆到达所述未标记的交叉路口,生成虚拟停止线数据;以及
将所述虚拟停止线数据传输到所述车辆外部。
16.根据权利要求15所述的非暂时性计算机可读存储介质,其中,所述车辆的位置包括所述车辆在所述第一时刻的地理坐标或所述车辆在所述第一时刻处所在道路上的车道中的至少一项。
17.根据权利要求15所述的非暂时性计算机可读存储介质,其中,所述人工智能引擎是深度神经网络或机器学习模型中的一种。
CN201880100703.8A 2018-12-28 2018-12-28 基于车辆的虚拟停止线和让行线检测 Active CN113748448B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/068035 WO2020139391A1 (en) 2018-12-28 2018-12-28 Vehicle-based virtual stop and yield line detection

Publications (2)

Publication Number Publication Date
CN113748448A CN113748448A (zh) 2021-12-03
CN113748448B true CN113748448B (zh) 2023-03-07

Family

ID=71127376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100703.8A Active CN113748448B (zh) 2018-12-28 2018-12-28 基于车辆的虚拟停止线和让行线检测

Country Status (2)

Country Link
CN (1) CN113748448B (zh)
WO (1) WO2020139391A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2592197A (en) * 2020-02-18 2021-08-25 Daimler Ag Autonomous vehicle and system thereof
CN112258602B (zh) * 2020-10-26 2023-02-03 武汉中海庭数据技术有限公司 一种停止线生成方法、装置、电子设备及存储介质
KR20220150691A (ko) * 2021-05-04 2022-11-11 현대자동차주식회사 차량의 위치 보정 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629963A (zh) * 2017-03-24 2018-10-09 纵目科技(上海)股份有限公司 基于卷积神经网络的交通事故上报方法及系统、车载终端
JP2018197964A (ja) * 2017-05-24 2018-12-13 日産自動車株式会社 車両の制御方法及び装置
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112009005401B4 (de) * 2009-11-27 2021-01-28 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren
US9547989B2 (en) * 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
MX2017014870A (es) * 2015-05-26 2018-04-20 Nissan Motor Dispositivo y metodo de ajuste de posicion de detencion del vehiculo.
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US10169999B2 (en) * 2016-11-10 2019-01-01 Allstate Solutions Private Limited Identifying roadway obstacles based on vehicular data
EP3343172B1 (en) * 2017-01-03 2024-03-13 iOnRoad Technologies Ltd. Creation and use of enhanced maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629963A (zh) * 2017-03-24 2018-10-09 纵目科技(上海)股份有限公司 基于卷积神经网络的交通事故上报方法及系统、车载终端
JP2018197964A (ja) * 2017-05-24 2018-12-13 日産自動車株式会社 車両の制御方法及び装置
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置

Also Published As

Publication number Publication date
WO2020139391A1 (en) 2020-07-02
CN113748448A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US10990105B2 (en) Vehicle-based virtual stop and yield line detection
US11860639B2 (en) Vehicle-based road obstacle identification system
US11373524B2 (en) On-board vehicle stop cause determination system
US20200211370A1 (en) Map editing using vehicle-provided data
US11287270B2 (en) Systems and methods for safe route planning for a vehicle
AU2020203517B2 (en) Dynamic routing for autonomous vehicles
US11720094B2 (en) System and method for remote intervention of vehicles
US11131554B2 (en) Systems and methods for vehicle telemetry
US11860625B2 (en) System and method for updating vehicle operation based on remote intervention
CN113748316B (zh) 用于车辆遥测的系统和方法
US20200208991A1 (en) Vehicle-provided virtual stop and yield line clustering
CN113748448B (zh) 基于车辆的虚拟停止线和让行线检测
WO2020139392A1 (en) Vehicle-based road obstacle identification system
US11620987B2 (en) Generation of training data for verbal harassment detection
WO2020139324A1 (en) Systems and methods for safe route planning for a vehicle
WO2020139388A1 (en) Vehicle-provided virtual stop and yield line clustering
WO2020139390A1 (en) Map editing using vehicle-provided data
WO2020139394A1 (en) On-board vehicle stop cause determination system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant