CN109949590A - 交通信号灯状态评估 - Google Patents

交通信号灯状态评估 Download PDF

Info

Publication number
CN109949590A
CN109949590A CN201811496028.3A CN201811496028A CN109949590A CN 109949590 A CN109949590 A CN 109949590A CN 201811496028 A CN201811496028 A CN 201811496028A CN 109949590 A CN109949590 A CN 109949590A
Authority
CN
China
Prior art keywords
intersection
label
lane
data
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811496028.3A
Other languages
English (en)
Other versions
CN109949590B (zh
Inventor
J·法索拉
T·泽尔
T·格拉特利
V·弗恩那帕恩
M·维斯露斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109949590A publication Critical patent/CN109949590A/zh
Application granted granted Critical
Publication of CN109949590B publication Critical patent/CN109949590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

提供了用于控制车辆的系统和方法。在一个实施例中，一种方法包括：经由处理器接收语义地图数据，其中该语义地图数据包括交通信号灯位置数据，经由处理器使用语义地图数据计算路线数据；基于交通信号灯位置数据，经由感测装置查看交通信号灯并经由处理器评估所查看的交通信号灯的状态，并且经由处理器至少基于路线数据和交通信号灯的状态来控制自主车辆的驾驶。

Description

交通信号灯状态评估
引言
本公开总体上涉及自主车辆，并且更具体地涉及用于自主驾驶的系统和方法。
自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。
车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。
自主车辆可以感测和评估交叉路口处的交通信号灯状态并根据交通灯状态来采取适当的车辆控制动作。然而，在每个交叉路口处寻找每个交通信号灯并在多种可能性中推断交通信号灯表示哪个行驶路径可能是计算密集型的。此外，准确识别相关交通信号灯很重要。
因此，期望提供一种系统和方法来以增强的计算效率和/或准确度查看和评估沿着路线的每个交叉路口的相关交通信号灯的状态。另外，结合附图和前述技术领域和背景技术，根据随后的具体实施方式和所附权利要求，本公开的其它期望的特征和特性将变得显而易见。
发明内容
提供了用于控制车辆的系统和方法。
在一个实施例中，自主驾驶系统包括引导系统，其被配置为经由处理器接收语义地图数据并使用语义地图数据来计算路线数据。语义地图数据包括交通信号灯位置数据。计算机视觉系统被配置为经由处理器来基于交通信号灯位置数据查看和评估交通信号灯的状态。车辆控制系统被配置为经由处理器来至少基于路线数据和交通信号灯的状态来控制自主车辆的驾驶。
在实施例中，路线数据包括标记交叉路口车道，并且交通信号灯位置数据与标记交叉路口车道相关联。
在实施例中，语义地图使用多个标记交叉路口车道来测绘交叉路口，该多个交叉路口车道定义穿过交叉路口的路径。每个标记交叉路口车道包括定义交通信号灯位置数据的交通信号灯标签。至少一些标记交叉路口车道的交通信号灯标签识别彼此不同的交通信号灯。
在实施例中，语义地图包括进入交叉路口的标记车道和离开交叉路口的至少第一和第二标记车道。第一标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第一标记车道的路径，并且第二标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第二标记车道的路径。不同的交通信号灯标签分别与第一和第二标记交叉路口车道相关联，从而识别不同的交通信号灯并定义不同的交通信号灯位置数据。
在实施例中，语义地图包括进入和离开交叉路口的标记车道、定义连接进入交叉路口的标记车道和离开交叉路口的标记车道的路径的标记交叉路口车道、其中车道进入交叉路口的标记锚点以及标记交通信号灯，其中每个标记锚点链接到标记交通信号灯，其中每个标记交叉路口车道与标记交通信号灯相关联。
在实施例中，语义地图包括交通信号灯标识符、交通信号灯类型数据、交叉路口车道标识符、进入交叉路口的车道的标识符和/或离开交叉路口的车道的标识符。
在实施例中，路线数据包括识别沿着路线使用的车道的车道标识符和识别沿着路线使用的交叉路口车道的交叉路口车道标识符。
在实施例中，该系统包括将语义地图存储在自主车辆中的数据存储装置。
在实施例中，交通信号灯位置数据在包括高度的三个空间维度中定义交通信号灯的位置。在实施例中，交通信号灯位置数据包括交通信号灯的定向。在实施例中，交通信号灯位置数据包括六个自由度位置信息。在实施例中，交通信号灯位置数据包括对x、y和z坐标以及滚动、俯仰和偏航的估计。
在实施例中，计算机视觉系统被配置为基于交通信号灯位置数据来控制感测装置的视场和/或基于交通信号灯位置数据来选择由包含交通信号灯的至少一个感测装置获得的成像数据的一部分，由此计算机视觉系统被配置为通过关注(例如，关注图像处理)成像数据的选定部分中的交通信号灯来评估交通信号灯的状态。
在实施例中，计算机视觉系统被配置为从感测装置接收交通信号灯的视觉数据，并被配置为评估交通信号灯的状态，包括停止和行驶状态。车辆控制系统被配置为根据交通信号灯的状态来控制自主车辆在交通信号灯之前开始行驶、继续行驶或停止。
在实施例中，该系统包括定位系统，其被配置为确定表示自主车辆的当前位置的位置数据。
在实施例中，计算机视觉系统被配置为基于识别车辆相对于语义地图的位置的位置数据、识别即将到来的交通信号灯的路线数据和与属于根据路线数据遵循的交叉路口车道相关联的交通信号灯位置数据来可视化即将到来的交通信号灯。在实施例中，计算机视觉系统基于几何形状(例如，视线)计算、定位数据和确定交通信号灯何时首次能够可视化的交通信号灯位置数据或者基于语义地图中识别交通信号灯首次能够被可视化的位置的数据标签或者基于在交通信号灯的预定距离内来开始可视化和评估交通信号灯的状态，该预定距离根据定位数据和交通信号灯位置数据来确定。
在实施例中，计算机视觉系统被配置为查看交通信号灯和/或基于车辆的当前位置和交通信号灯位置数据来在交通信号灯上集中图像处理。
在另一个实施例中，一种自主驾驶的计算机实施方法包括经由处理器来接收语义地图数据。语义地图数据包括交通信号灯位置数据。该方法包括经由处理器来使用语义地图数据计算路线数据。该方法包括经由至少一个感测装置查看交通信号灯并基于交通信号灯位置数据经由至少一个处理器评估所查看的交通信号灯的状态。该方法包括经由处理器来至少基于路线数据和交通信号灯的状态来控制自主车辆的驾驶。
在实施例中，语义地图包括进入交叉路口的标记车道和离开交叉路口的至少第一和第二标记车道。第一标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第一标记车道的路径，并且第二标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第二标记车道的路径。不同的交通信号灯标签分别与第一和第二标记交叉路口车道相关联，从而识别不同的交通信号灯并定义不同的交通信号灯位置数据。
在实施例中，交通信号灯位置数据在包括高度的三个空间维度中定义交通信号灯的位置。在实施例中，交通信号灯位置数据包括六个自由度位置信息。在实施例中，交通信号灯位置数据包括对x、y和z坐标以及滚动、俯仰和偏航的估计。
在实施例中，该方法包括基于交通信号灯位置数据来控制感测装置的视场和/或选择由包含交通信号灯的至少一个感测装置获得的成像数据的一部分，由此计算机视觉系统被配置为通过关注成像数据的选定部分中的交通信号灯来评估交通信号灯的状态。
在实施例中，该方法包括基于用于自主车辆的当前位置数据来在语义地图中跟踪自主车辆的位置；从语义地图中根据路线数据遵循的即将到来的标记交叉路口车道中提取交通信号灯位置数据；以及基于所提取的交通信号灯位置数据来配置感测装置以查看交通信号灯。
在一个实施例中，自主车辆包括：数据存储装置，其存储语义地图；引导系统，其被配置为从语义地图接收语义地图数据并被配置为经由处理器来使用语义地图数据计算路线数据。语义地图数据包括交通信号灯位置数据。计算机视觉系统被配置为经由处理器来基于交通信号灯位置数据查看和评估交通信号灯的状态。车辆控制系统被配置为经由处理器来至少基于路线数据和交通信号灯的状态来控制自主车辆的驾驶。
在实施例中，语义地图包括进入交叉路口的标记车道和离开交叉路口的至少第一和第二标记车道。第一标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第一标记车道的路径，并且第二标记交叉路口车道定义了连接进入交叉路口的标记车道和离开交叉路口的第二标记车道的路径。不同的交通信号灯标签分别与第一和第二标记交叉路口车道相关联，识别不同的交通信号灯并定义不同的交通信号灯位置数据。
在实施例中，定位系统被配置为确定自主车辆的当前位置数据并被配置为基于用于自主车辆的当前位置数据来在语义地图中跟踪自主车辆的位置。计算机视觉系统被配置为从语义地图中根据路线数据遵循的即将到来的标记交叉路口车道中提取交通信号灯位置数据。计算机视觉系统进一步用于配置感测装置以基于所提取的交通信号灯位置数据来查看交通信号灯和/或关注对交通信号灯的图像处理。
附图说明
下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：
图1是说明根据各种实施例的自主车辆的功能框图；
图2是说明根据各种实施例的具有如图1中所示的一台或多台自主车辆的运输系统的功能框图；
图3和图4是说明根据各种实施例的自主驾驶系统的数据流程图；
图5A说明了根据各种实施例的交叉路口处的语义地图的一部分。
图5B说明了来自至少一个感测装置的交叉路口的视图。
图6是说明根据各种实施例的用于控制自主车辆的控制方法的流程图。
具体实施方式
具体实施方式本质上仅仅是示例性的，而不意图限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、发明内容或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或成组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。
本公开的实施例在本文可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可以采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可以结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。
为了简明起见，本文可以不详细描述与信号处理、数据传输、信令、控制以及该系统(和该系统的单独操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
参考图1，总体上示为100的系统与根据各种实施例的车辆10相关联。通常，系统100使用存储在语义地图中的交通信号灯数据并基于此智能地控制车辆10。
如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并大致上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。
在各种实施例中，车辆10是自主车辆，并且系统100和/或其部件被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、船舶、飞行器等任何其它车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化车辆。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能。
如所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到车轮16到18。根据各种实施例，变速器系统22可以包括分级传动比自动变速器、无级变速器或其它适当的变速器。制动系统26被配置为向车轮16到18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。转向系统24影响车轮16到18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机40a、热像仪、超声波传感器、惯性测量单元和/或其它传感器。致动器系统30包括一个或多个致动器42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24以及制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，诸如但不限于车门、行李箱以及诸如无线电、音乐、照明等驾驶室特征(未编号)。
通信系统36被配置为向和从其它实体48(诸如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人装置无线地传送信息(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为经由使用IEEE802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(DSRC)信道等附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专门为汽车使用以及相应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。
数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储定义的可导航环境地图100。在各种实施例中，定义地图100可以由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，定义地图100可以由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。如将明白的是，数据存储装置32可以为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。
在实施例中，地图101是从一组标记的(例如，人类标记的)激光雷达(LiDAR)地图创建的语义地图101。即，测绘车辆首先获得点云或LiDAR地图，并且从LiDAR图中导出语义地图101。在一个示例中，语义地图101被编码有详细信息，如可行驶区域、车道类型、通过交叉路口(交叉路口车道)的路线概率、交通信号灯位置数据、交通信号灯类型数据和行人通道，并保存在车辆10上的Postgres数据库中。语义地图101包括由标签组成的二维地图，其中标签已基于所获得的LiDAR数据而制作，诸如可行驶区域、通过交叉路口的可能路线以及交通信号灯数据(包括交通信号灯位置和类型数据)等信息通过语义层添加到二维地图。在一些实施例中，标记通过自动化过程和人工手动注释的混合来执行。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储装置。KAM是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。
指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器系统30产生控制信号以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。
在各种实施例中，控制器34的一个或多个指令体现在控制系统100中，并当由处理器44执行时从语义地图(或多个地图)100中检索交通信号灯位置数据，基于交通信号灯位置数据来引导由至少一个视觉感测装置40a获得的图像的图像处理，评估交通信号灯的状态，并根据交通信号灯的状态来控制车辆10。
现在参考图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可以只需由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统52，其与关于图1所描述的一台或多台自主车辆10a到10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程运输系统52进行通信的一个或多个用户装置54。
通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个蜂窝塔都包括发送和接收天线以及基站，其中来自不同蜂窝塔的基站直接或经由诸如基站控制器等中间设备连接到MSC。无线载波系统60可以实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或正涌现的无线技术等数字技术。其它蜂窝塔/基站/MSC布置是可能的并且可以结合无线载波系统60使用。例如，基站和蜂窝塔可以共同位于相同站点处或它们可远离彼此，每个基站可以负责单个蜂窝塔或单个基站可服务于各个蜂窝塔，且各个基站可以联接到单个MSC，这里仅列举几种可能布置。
除包括无线载波系统60外，可以包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可以包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可以包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可以利用卫星电话。
可以进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地通信系统62可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线接入(BWA)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可以包括无线电话设备使得其可以直接与无线网络(诸如无线载波系统60)通信。
虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。在这方面，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其它显示器。
远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可以为基于云的、基于网络的或常驻在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可以由现场顾问、自动顾问、人工智能系统或它们的组合来管理。远程运输系统52可以与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、行为模式以及其它相关用户信息等账户信息。
根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的上车位置(或当前GPS位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及上车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的上车地点且在适当的时间派遣自主车辆10a到10n中的选定车辆来让乘客上车(当一台车辆可用时和如果一台车辆可用)。远程运输系统52还可以向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。
如可明白，本文公开的主题提供了可以被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可以被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。
现在参考图3，根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ADS)70。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3中所示，自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78以及车辆控制系统80。如可以明白的是，在各种实施例中，由于本公开不限于本示例，所以可以将指令组织(例如，组合、进一步划分等)为任何数量的系统。
在各种实施例中，计算机视觉系统74合成并处理传感器数据并预测对象的存在、位置、分类和/或路径以及车辆10的环境的特征。在各种实施例中，计算机视觉系统74可以结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。
定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。
在各种实施例中，车辆控制系统34实施机器学习技术以辅助车辆控制系统34的功能性，诸如特征检测/分类、障碍物减少、路线穿越、测绘、传感器集成、地面实况确定等。
如上面简要提到的，图1的系统100包括在例如如下文将描述的ADS70内。通常，自主驾驶系统被配置为从语义地图101中检索交通信号灯位置数据，计算机视觉系统74被配置为基于交通信号灯位置数据来引导由至少一个感测装置40a获得的图像的图像处理，评估相关交通信号灯的状态，并且车辆控制系统80被配置为基于交通信号灯的状态来控制车辆10。
例如，如关于图4更详细地示出并继续参考图3，自主驾驶系统70被配置为从存储在自主车辆10的存储装置32中的语义地图101中检索语义地图数据112。可以设想其它实施例，其中经由无线网络从远程存储装置中检索地图数据112。
参考图5(a)，说明了语义地图101，其包括二维底图122和与底图122在空间上对齐的至少一个语义层120。即，语义层120中的语义特征在地理上与底图122的坐标对齐。至少一个语义层可以是覆盖图的形式。至少一个语义层120包括用于各种道路特征的标签，如前所述。与本公开特别相关的是与包括交通信号灯的交叉路口相关联的标签。在所说明的实施例中，至少一个语义层包括交通信号灯标签1100-1107、进入交叉路口1200-1203的正常车道的标签、离开交叉路口1210-1213的正常车道的标签，以及交叉路口车道1300，其定义所有可能的(根据道路和行驶规则允许的)行驶路径，该行驶路径连接进入交叉路口1200-1203的车道和离开交叉路口1210-1213的车道。此外，锚点6000-6003-6003包括在至少一个语义层120中，该锚点被设置在交叉路口的定义入口处，其中进入交叉路口的正常车道1200-1203过渡到交叉路口车道1300。至少一个语义层包括将每个锚点6000-6003连接到相关交通信号灯的连接器标签1220。在示例性实施例中，至少一个语义层120包括与每个交叉路口车道1300相关联的交通信号灯数据124(例如，交通信号灯标识符和/或位置数据124)。交通信号灯位置数据直接从交通信号灯数据获取，或者通过交通信号灯标识符间接获得。在实施例中，交通信号灯位置数据包括对x、y和z坐标以及滚动、俯仰和偏航数据的估计。
在实施例中，至少一个语义层的标签包括行、标识符、位置数据等中的至少一个。在所说明的实施例中，进入和离开交叉路口1200-1203、1210-1213的标记的正常通道和标记的交叉路口车道1300被标记为包括唯一地识别语义地图101中的车道的车道标识符、方向信息(例如，允许车辆在遵循车道时行驶的方向)、位置信息以及定义遵循车道的车辆的行驶路径。一些标记的交叉路口通道1300使得一个以上(例如，两个或三个)交叉路口通道从进入交叉路口1200-1203的单个通道延伸，以连接到离开交叉路口1210-1213的相应车道，从而分别定义左转、右转和/或直行的路径。在实施例中，锚点6000-6003-6003各自连接到一个或多个交通信号灯1100-1107。锚点6000-6003仅连接到与来自该锚点6000和进入交叉路口1200-1203的相关车道的交通流相关的交通信号灯。在所说明的实施例中，锚点6000与交通信号灯1105-1106之间的标记连接1220通过诸如直线等连接线形成。在一个实施例中，交通信号灯1100-1107标记有唯一地识别交叉路口处的每个交通信号灯的交通信号灯标识符，标记有相对于底图122的二维位置信息标记并标记有来自路面信息的高度。在另一实施例中，除了三维位置数据之外，交通信号灯标签1100-1107还包括定向信息(例如，俯仰、偏航和滚动)。此外，在一些实施例中，交通信号灯标记有交通信号灯类型数据。不同的交通信号灯类型被体现在与每个交通信号灯相关联的类型参数中。例如，常规的红色/黄色/绿色交通信号灯与红色/黄色/绿色/绿色箭头离开交通信号灯的类型不同。
在实施例中，每个交叉路口车道1300通过关联标签与至少一个交通信号灯1101-1107相关联，使得不同的交叉路口车道1300将与不同的交通信号灯数据124相关联，这取决于哪些交通信号灯与沿着该交叉路口车道行驶相关。在一个示例中，交通信号灯1101-1107标签与交叉路口车道1300标签之间的关联是通过将交通信号灯标识符或其它关联标签嵌入交叉路口车道1300标签而进行的。替代地，交通信号灯位置数据124(三维)嵌入交叉路口车道1300的标签中。
在各种实施例中，至少一个语义层120通过如下过程构建。通过手动和自动过程的混合将交通信号灯放置在精确的x、y和z空间中，并且在地图中的该位置处构造交通信号灯标签1100-1107，其包括三维交通信号灯位置数据、交通信号灯标识符数据和可选的交通信号灯定向数据。每个交通信号灯标签1100-1107链接到所有车道1200-1203的标记交叉路口入口或锚点6000，这些车道将使用交通信号灯进行引导。语义地图101中的交叉路口包括表示从锚点6000发出的所有可能的行驶路径的行串，由此提供交叉路口车道1300。交通信号灯数据124形式的交通信号灯关联基于锚点6000-6003和转弯类型来自动填充到这些单独的行驶路径或交叉路口车道1300中(例如，带有红色/黄色/绿色左转箭头的信号灯仅链接到指定为“左”转弯类型的交叉路口行驶路径)。
返回图3和图4，同时继续参考图5A，将进一步描述语义地图101的使用。计算机视觉系统74被配置为在自主车辆10接近交叉路口时从语义地图101中检索或以其它方式接收语义地图数据112。如上所述，语义地图数据112包括交通信号灯位置数据124作为交通信号灯1100-1107的标签的一部分和/或作为交叉路口车道1300的标签的一部分。包括在语义地图数据112中的交通信号灯位置数据124允许计算机视觉系统74将图像处理引导到至少一个感测装置40a的视场的选定部分。在一个实施例中，至少一个感测装置40a包括一个或多个光学相机。在各种实施例中，计算机视觉系统74被配置为基于交通信号灯位置数据124产生相机(或其它感测装置)控制命令108，以用于控制视场大小、视场方向(例如，平移运动，包括偏航、倾斜和/或滚动)和相机变焦中的至少一个。以此方式，交通信号灯由计算机视觉系统74基于包括在语义地图101中的交通信号灯位置数据124来有效地识别，并通过感测装置40a可视化以允许计算机视觉系统74进行交通信号灯评估。在其它实施例中，计算机视觉系统74不引导至少一个感测装置并且不产生对应的控制命令108。相反，计算机视觉系统74基于交通信号灯位置数据124关注捕获图像的选定部分上的图像处理。
在实施例中，计算机视觉系统74检索交通信号灯类型数据作为交通信号灯1100-1107的标签的一部分。计算机视觉系统74被配置为执行图像处理技术以将由交通信号灯类型数据识别的交通信号灯的类型与由至少一个感测装置40a捕获的视觉数据进行比较以确保匹配，由此允许减少误报。当视觉数据与交通信号灯类型不匹配时，计算机视觉系统74被配置为继续邻域搜索相关的真实交通信号灯。
在各种实施例中，至少一个感测装置40a基于控制命令108使交通信号灯可视化并产生感测数据106，其通常为至少交通信号灯以及可能相邻区域的图像或视频数据的形式。计算机视觉系统74接收感测数据106并包括交通信号灯评估模块104，其处理感测数据106以评估交通信号灯的状态(例如，红色表示停止，红琥珀色表示开始即将行驶，绿色表示行驶，琥珀色表示开始停止)。在各种实施例中，交通信号灯评估模块104使用图像处理技术和交通信号灯评估算法来评估交通信号灯的状态。交通信号灯评估模块104将表示任何可能的交通信号灯状态的交通信号灯状态数据107输出到车辆控制系统80，如下面将进一步描述的。在图4中所示的替代或附加的实施例中，计算机视觉系统74被配置为不一定通过控制至少一个感测装置40a的视场而是通过定位由包含交通信号灯的至少一个感测装置40a获得的图像的一部分来关注特定的交通信号灯。通过将从语义地图数据112中的交通信号灯位置数据124获得的交通信号灯的实物坐标变换到图像空间，可以确定图像的定位部分。在各种实施例中，除了车辆10的滚动、俯仰和偏航之外，实物坐标到图像空间的变换利用相机40a的位置的校准数据，该相机捕获交通信号灯相对于车辆10的图像。车辆10信息的滚动、俯仰和偏航可以从定位系统76获得。校准数据可以从至少一个存储装置32获得。交通信号灯评估模块104能够仅评估包含在定位部分中的交通信号灯以确定交通信号灯状态数据107。
在示例性实施例中，计算机视觉系统74被配置为从定位系统76接收定位数据118。定位系统76能够基于GPS数据和根据基于激光雷达的扫描匹配技术来确定车辆10在六个自由度中的位置。在一般水平上，视觉里程计通过将从捕获的三维点云(例如，LiDAR点云)导出的特征与三维地图中的对应特征进行比较来夏凝对于存储在存储装置中的三维地图定位车辆10。以此方式，在三维地图中定位车辆10。定位系统76被配置为将三维地图中的定位位置转换为二维语义地图101中的定位位置来作为定位数据118的一部分。由此，可以从语义地图数据112获得相关交通信号灯位置数据124(以及诸如交通信号灯类型等其它交通信号灯数据)。基于车辆在三维中的当前定位位置、从交通信号灯位置数据124外在相机校准数据获得的交通信号灯的三维位置，计算机视觉系统74确定交通信号灯在图像空间中的位置。
在实施例中，计算机视觉系统74被配置为选择由至少一个感测装置40a获得的图像的感兴趣区域，其对应于基于如上所述的交通信号灯位置数据124确定的图像空间中的交通信号灯位置。基于几何考虑，计算机视觉系统74将在车辆接近交通信号灯时选择更大的感兴趣区域。交通信号灯评估模块104将在后续处理中使用将感兴趣区域。
在各种实施例中，交通信号灯评估模块104被配置为将感兴趣区域缩放到固定比例并通过被配置为识别交通信号灯状态的神经网络来运行缩放的图像数据。在一些实施例中，交通信号灯评估模块104被配置为检查交通信号灯类型(如从语义地图数据112中包括的交通信号灯类型数据所知)与包括在感兴趣区域中的交通信号灯匹配。可以使用神经网络来执行该匹配过程。在误报的情况下，计算机视觉系统74被配置为在感兴趣区域的邻域搜索或者将交通信号灯评估基于不返回误报的后续或先前图像数据帧。
参考图5B，示出了来自包括在至少一个感测装置40a中的自主车辆10的前置相机的示例性视图。该视图表示由位于图5A的锚点6000处的自主车辆10的前置相机拍摄的图像。在图5A的语义地图101中标记为1105、1106的两个交通信号灯由前置相机可视化。在该示例中，两个交通信号灯都与直行相关并将与遵循语义地图中的直行路径的交叉路口车道1300的对应标签相关联。计算机视觉系统74被配置为提取包括在语义地图101中并与直行交叉路口车道相关联的交通信号灯位置数据124，并配置前置相机的视场和/或关注如上所述由相机基于交通信号灯位置数据124获得的图像中的交通信号灯。语义地图101中的交通信号灯位置数据124包括三维位置数据。基于自主车辆10的当前位置(其从如下所述的位置数据118、交通信号灯位置数据124和几何计算得知)，计算机视觉系统74被配置为确定交通信号灯相对于车辆10的位置。在实施例中，计算机视觉系统74被配置为基于交通信号灯相对于车辆的位置来确定交通信号灯的视线和/或被配置为确定交通信号灯在图像空间中的位置。通过使用交通信号灯位置数据124来确定交通信号灯的图像空间中的位置，可以增强的准确度识别和评估交通信号灯。具体地，本文描述的系统和方法允许滤除交通信号灯的误报预测。例如，理论上尾灯可能与尾灯混淆，但事实上根据交通信号灯位置数据124，尾灯不会与交通信号灯的位置相对应，由此排除或避免这种错误确定。此外，因为从交通信号灯数据124得知应当存在控制局部交叉路口的交通信号灯，所以系统可以确保以保守方式控制车辆10以假设存在交通信号灯，即使交通信号灯尚未被可视化(例如，因为障碍物)并因此通过交叉路口。此外，使计算机处理有效地定位每个交叉路口处的每个交通信号灯并推断交通信号灯表示哪些行驶路径。
更详细地以图5B为例，自主驾驶系统70被配置为跟踪车辆10沿着进入交叉路口的车道段1200的位置。自主驾驶系统70被配置为根据路线数据114遵循车道段1200。自主驾驶系统70被配置为从语义地图数据101中检索锚点6000，其符合由路线数据114定义的路线。锚点6000与两个交通信号灯1105、1106相关联，这两个交通信号灯控制通过该车道段1200的交叉路口的交通。基于与相关定位点6000相关联的交通信号灯1105、1106，可以从语义地图101中提取每个交通信号灯1105、1106的交通信号灯位置数据124。计算机视觉系统74被配置为捕获即将到来的交叉路口的图像，并且该计算机视觉系统的处理器被配置为基于三维交通信号灯位置数据124和真实空间到图像空间变换处理来确定作为在图像空间中定位的捕获图像的一小部分的局部框(或其它边界)。交通信号灯评估模块104关注与交通信号灯1105、1106的位置对应的捕获图像的一小部分，由此减少误报的可能性并提高处理效率。车辆控制系统80根据交通信号灯信号来适当地控制车辆。
基于语义地图数据112，自主车辆10相对于语义地图101的定位数据118和定义自主车辆10将遵循的路线的路线数据114，计算机视觉系统74能够确定即将到来的交通信号灯，并开始在适当的位置搜索相关交通信号灯。即，路线数据114定义即将到来的路线，其包括要遵循的正常车道和交叉路口车道。交叉路口车道与语义地图数据112中的标签中的交通信号灯数据124相关联，如上面关于图5A所描述的。在各种实施例中，计算机视觉系统74被配置为当定位数据118、路线数据114和语义地图数据112指示接近(例如，在与自主车辆10的当前位置距预定距离以内)交通信号灯时根据上述过程来将可视化交通信号灯进行可视化。在实施例中，路线数据114包括即将到来的交叉路口车道的标识符。从语义地图数据112，交通信号灯数据124与交叉路口车道相关联，该交叉路口车道包括交通信号灯位置数据124或与其相关联。定位数据118允许跟踪(例如，通过定位系统76)沿着由路线数据114定义的路线的自主车辆10，并允许计算待计算的与交通信号灯相距的距离。当足够接近交通信号灯附近时(例如，如阈值所确定的，计算机视觉系统74被配置为可视化或旨在可视化交通信号灯，或者开始图像处理以寻找并选择与交叉路口车道相关联的交通信号灯并开始评估交通信号灯的状态。在附加或替代实施例中，语义地图101包括例如至少一个语义层中的标签(例如，与交叉路口车道相关联，描述交通信号灯的第一视线位置)，使得计算机视觉系统74开始在沿着路线的最早可能位置处可视化相关交通信号灯。
通过定位系统76获得定位数据118，并且通过引导系统78获得路线数据114，如下面将进一步描述的。
在各种实施例中，定位系统76被配置为基于传感器输入来确定自主车辆10的位置。在实施例中，定位系统76被配置为从全球定位接收器接收全球定位数据并从至少一个传感器装置40a至40n(例如，激光雷达传感器装置)接收传感器成像以定位自主车辆相对于语义地图101的位置。定位系统76被配置为接收三维地图数据并将通过传感器成像获得的特征与三维地图数据中的特征匹配以相对于三维地图精确地定位自主车辆。因为三维地图和语义101彼此校准，所以定位系统76能够产生表示车辆10在语义地图101中的位置的定位数据118。
在各种实施例中，引导系统78包括选路器110，其被配置为使用语义地图数据112并运行选路算法来绘制从起始位置到终点位置的路线。起始位置可以是自主车辆10的当前位置。在实施例中，终点位置是由自主车辆10的乘员输入的目的地或通过无线网络从远程源接收的目的地。在实施例中，路线数据114包括一串车道标识符，其包括正常车道和交叉路口车道。通过遵循由沿着语义地图101的路线数据114定义的路线，可以从语义地图101中提取与该路线相关联的标记数据，诸如与标记的交叉路口车道1300相关联的交通信号灯位置数据124。
在实施例中，车辆控制系统80利用路线数据114和语义地图数据112，并在致动命令116上以算法确定遵循由路线数据114定义的路线。致动器系统30响应于致动命令116以控制车辆移动，如车辆控制系统80所指示的。车辆控制系统80接收交通信号灯状态数据107并基于此确定适当的车辆动作。例如，在由交通信号灯状态数据107定义的绿灯状态的情况下，车辆控制系统80被配置为开始行驶或继续行驶通过路线规定的交叉路口。在由交通信号灯状态数据107定义的红灯状态的情况下，车辆控制系统80被配置为在交通信号灯之前停止车辆。车辆控制系统80被配置为输出控制命令116，其描述响应于交通信号灯状态而由自主车辆10执行的动作。
现在参考图6并继续参考图1至图5，流程图说明了可以由根据本公开的图1的系统100执行的计算机控制方法400。如可以根据本公开明白的是，该方法内的操作顺序不限于如图6中所描绘的顺序执行，而是可以根据需要并且根据本公开来以一个或多个不同顺序来执行。在各种实施例中，方法400可以被调度为基于一个或多个预定事件运行，和/或可以在自主车辆10的操作期间连续运行。
在步骤402中，自主驾驶系统70从存储在至少一个存储装置32中的语义地图101接收语义地图数据112。语义地图数据112包括标记的交通信号灯数据124，其包括交通信号灯位置数据124作为标记的道路特征的至少一个语义层120的一部分。语义地图数据还可以包括如前所述的交通信号灯类型数据。语义地图数据112由自主驾驶系统70的各种部件使用。
在步骤404中，路线数据114由引导系统78的选路器110基于输入起始和目的地位置、语义地图数据112、特别是其底图122来计算。路由器110实施路线算法以计算起始位置与目的地位置之间的最佳路线。路线数据114包括自主车辆10将遵循的正常车道和交叉路口车道的识别。
在步骤406中，自主驾驶系统70(例如，定位系统76或计算机视觉系统74)提取与至少一个交叉路口车道相关联的交通信号灯位置数据124，以识别要查看哪些交通信号灯以及在真实空间中找到该交通信号灯的位置。这种交通信号灯位置数据124包括在语义地图101中并与每个交叉路口车道1200-1203相关联。路线数据114识别正在行驶的交叉路口车道1200-1203，由此允许提取相关交通信号灯位置数据124。在实施例中，定位系统76相对于语义地图101定位自主车辆10并提供对应的定位数据118。计算机视觉系统74根据路线数据114、由定位数据118定义的当前位置和语义地图101来确定即将到来的交叉路口车道，并提取与语义地图101中的标记交叉路口车道相关联的交通信号灯位置数据124。
在步骤408中，计算机视觉系统74可视化由交通信号灯位置数据124在语义地图数据112中指定的交通信号灯并评估该交通信号灯的状态。计算机视觉系统74产生指示交通信号灯的评估状态的交通信号灯状态数据107。在一些实施例中，计算机视觉系统74控制至少一个感测装置40a(例如，光学相机)的视场和/或缩放或其它参数以基于交通信号灯位置数据124捕获交通信号灯。为此，计算机视觉系统74将交通信号灯位置数据124的三维坐标从语义地图101变换为相机控制命令108以可视化交通信号灯。为了确定光学相机40a首先能够查看交通信号灯的位置，在一些实施例中，使用几何计算来确定从至少一个感测装置40a到由交通信号灯位置数据124定义的交通信号灯位置的视线。替代地，首先能够查看每个交通信号灯的位置(假设正常的可见性条件)被存储为语义地图101中的标签，可选地与每个标记交叉路口车道1300相关联。在另一种可能性中，当自主车辆在交通信号灯的预定距离内时确定首先能够观看每个交通信号灯的位置，该预定距离可以从表示自主车辆10的当前位置的定位数据118和交通信号灯位置数据107来计算。在附加的或替代实施例中，计算机视觉系统74处理捕获图像的选定部分，该图像包含由交通信号灯位置数据124识别的交通信号灯。在一些实施例中，通过将交通信号灯位置数据124变换成图像空间来确定捕获图像的一部分，以允许计算机视觉系统74仅关注包含交通信号灯的图像的一部分。使用车辆姿态信息，交通信号灯1101-1103(如交通信号灯位置数据124中所述)和车辆10的相对位置是可确定的。根据该相对位置和相机校准信息，确定交通信号灯1101-1103在图像空间中的位置。
在步骤410中，车辆控制系统80控制自主车辆10的驾驶以遵循由路线数据114定义的路线并基于交通信号灯状态数据在交通信号灯处采取适当的动作。车辆控制系统80产生致动器命令116以供致动器系统30执行。
虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施或多个示例性实施例仅仅是示例的并且不意图以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可以对元件的功能和设置作出各种改变。

Claims (10)

1.一种自主驾驶系统，包括：
引导系统，其被配置为经由至少一个处理器来接收语义地图数据并使用所述语义地图数据计算路线数据；
其中所述语义地图数据包括交通信号灯位置数据；
计算机视觉系统，其被配置为经由至少一个处理器来基于所述交通信号灯位置数据查看和评估交通信号灯的状态；以及
车辆控制系统，其被配置为经由至少一个处理器来至少基于所述路线数据和所述交通信号灯的所述状态来控制自主车辆的驾驶。
2.根据权利要求1所述的自主驾驶系统，其中所述路线数据包括至少一个标记交叉路口车道，并且所述交通信号灯位置数据与所述至少一个标记交叉路口车道相关联。
3.根据权利要求1所述的自主驾驶系统，其中所述语义地图使用定义用于穿过交叉路口的路径的多个标记交叉路口车道来测绘所述交叉路口，其中每个标记交叉路车道包括定义交通信号灯位置数据的交通信号灯标签，并且其中至少一些所述标记交叉路口车道的交通信号灯标签识别彼此不同的交通信号灯。
4.根据权利要求1所述的自主驾驶系统，其中所述语义地图包括进入交叉路口的至少一个标记车道和离开所述交叉路口的至少第一和第二标记车道，其中第一标记交叉路口车道定义连接进入所述交叉路口的所述至少一个标记交叉路口车道和离开所述交叉路口的所述第一标记车道的路径，并且第二标记交叉路口车道定义连接进入所述交叉路口的所述至少一个标记车道和离开所述交叉路口的所述第二标记车道的路径，其中不同的交通信号灯标签分别与所述第一和第二标记交叉路口车道相关联，识别不同的交通信号灯并定义不同的交通信号灯位置数据。
5.根据权利要求1所述的自主驾驶系统，其中所述语义地图包括进入和离开交叉路口的标记车道、定义连接进入所述交叉路口的标记车道和离开所述交叉路口的标记车道的路径的标记交叉路口车道、其中车道进入所述交叉路口的标记锚点以及标记的交通信号灯，其中每个标记锚点链接到至少一个标记的交通信号灯，其中每个标记交叉路口车道与标记的交通信号灯相关联。
6.根据权利要求5所述的自主驾驶系统，其中所述语义地图包括以下至少一个：交通信号灯标识符、交通信号灯类型数据、交叉路口车道标识符、进入所述交叉路口的车道的标识符以及离开所述交叉路口的车道的标识符。
7.根据权利要求1所述的自主驾驶系统，其中所述路线数据包括识别沿着所述路线使用的车道的车道标识符和识别沿着所述路线使用的交叉路口车道的交叉路口车道标识符。
8.根据权利要求1所述的自主驾驶系统，包括至少一个数据存储装置，其将所述语义地图存储在所述自主车辆中。
9.一种自主驾驶的计算机实施方法，所述方法包括：
经由至少一个处理器接收语义地图数据，其中所述语义地图数据包括交通信号灯位置数据；
经由至少一个处理器使用所述语义地图数据来计算路线数据；
经由至少一个感测装置查看交通信号灯并基于所述交通信号灯位置数据经由至少一个处理器评估所查看的交通信号灯的状态；
至少基于所述路线数据和所述交通信号灯的所述状态经由至少一个处理器来控制自主车辆的驾驶。
10.一种自主车辆，包括：
数据存储装置，其存储语义地图；
引导系统，其被配置为经由至少一个处理器来从所述语义地图接收语义地图数据并被配置为使用所述语义地图数据计算路线数据；
其中所述语义地图数据包括交通信号灯位置数据；
计算机视觉系统，其被配置为经由至少一个处理器来基于所述交通信号灯位置数据查看和评估交通信号灯的状态；以及
车辆控制系统，其被配置为经由至少一个处理器来至少基于所述路线数据和所述交通信号灯的所述状态来控制所述自主车辆的驾驶。
CN201811496028.3A 2017-12-21 2018-12-07 交通信号灯状态评估 Active CN109949590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/851,153 US10458810B2 (en) 2017-12-21 2017-12-21 Traffic light state assessment
US15/851153 2017-12-21

Publications (2)

Publication Number Publication Date
CN109949590A true CN109949590A (zh) 2019-06-28
CN109949590B CN109949590B (zh) 2021-11-02

Family

ID=61970086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496028.3A Active CN109949590B (zh) 2017-12-21 2018-12-07 交通信号灯状态评估

Country Status (3)

Country Link
US (1) US10458810B2 (zh)
CN (1) CN109949590B (zh)
DE (1) DE102018132981A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111422204A (zh) * 2020-03-24 2020-07-17 北京京东乾石科技有限公司 自动驾驶车辆通行判定方法及相关设备
CN112435460A (zh) * 2019-08-26 2021-03-02 通用汽车环球科技运作有限责任公司 交通灯状态监控和交通灯到车道的分配的方法和系统
CN112489466A (zh) * 2020-11-27 2021-03-12 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
CN112509353A (zh) * 2020-11-04 2021-03-16 深圳优地科技有限公司 一种机器人的过路方法、装置、机器人和存储介质
CN112639813A (zh) * 2020-02-21 2021-04-09 华为技术有限公司 自动驾驶控制方法、信息处理方法、装置及系统
CN113064439A (zh) * 2021-06-02 2021-07-02 北京三快在线科技有限公司 一种控制无人驾驶设备及设置枢纽的方法及装置
CN113313936A (zh) * 2020-02-26 2021-08-27 动态Ad有限责任公司 用于运载工具的交通灯检测系统
CN113327446A (zh) * 2020-02-28 2021-08-31 大唐高鸿数据网络技术股份有限公司 信息传输处理方法、装置、处理设备、车载单元及车辆
CN114127823A (zh) * 2019-07-15 2022-03-01 法雷奥开关和传感器有限责任公司 确定交通灯设备的信号状态
CN114202942A (zh) * 2022-01-12 2022-03-18 北京京东乾石科技有限公司 交通灯相关模块控制方法和装置
CN114332815A (zh) * 2021-12-24 2022-04-12 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
US10643084B2 (en) * 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
DE102018203353A1 (de) * 2018-03-07 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zum Betreiben einer Fahrfunktion an einer Signalisierungsanlage
WO2019222358A1 (en) * 2018-05-15 2019-11-21 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
DE102018209336A1 (de) * 2018-06-12 2019-12-12 Robert Bosch Gmbh Verfahren und Einrichtung zum Betrieb von autonom betriebenen Arbeitsmaschinen
US10424196B1 (en) 2018-06-25 2019-09-24 At&T Intellectual Property I, L.P. Dynamic edge network management of vehicular traffic
CN112400095B (zh) * 2018-07-11 2024-04-05 日产自动车株式会社 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置
US11747166B2 (en) 2018-07-11 2023-09-05 Nissan Motor Co., Ltd. Driving environment information generation method, driving control method, driving environment information generation device
CN109035831B (zh) 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
US20200082561A1 (en) * 2018-09-10 2020-03-12 Mapbox, Inc. Mapping objects detected in images to geographic positions
US11798293B2 (en) 2018-12-28 2023-10-24 Sony Group Corporation Optical vehicle positioning
US11205343B2 (en) * 2019-02-20 2021-12-21 GM Global Technology Operations LLC Methods and systems for interpretating traffic signals and negotiating signalized intersections
US11475675B2 (en) 2019-07-08 2022-10-18 Uatc, Llc Systems and methods for identifying unknown instances
DE102019217555B4 (de) * 2019-11-14 2022-01-27 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zur Fahrzeugsteuerung
US11797906B2 (en) * 2019-12-18 2023-10-24 Industrial Technology Research Institute State estimation and sensor fusion switching methods for autonomous vehicles
RU2764223C2 (ru) 2019-12-25 2022-01-14 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для определения состояния светофора
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
US11210571B2 (en) 2020-03-13 2021-12-28 Argo AI, LLC Using rasterization to identify traffic signal devices
US20210284195A1 (en) * 2020-03-13 2021-09-16 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
US20210295171A1 (en) * 2020-03-19 2021-09-23 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine applications
CN111428663B (zh) * 2020-03-30 2023-08-29 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质
CN111597700B (zh) * 2020-05-09 2023-08-15 北京百度网讯科技有限公司 信控算法评估方法、装置、电子设备及可读存储介质
US11900689B1 (en) * 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
US11704912B2 (en) 2020-06-16 2023-07-18 Ford Global Technologies, Llc Label-free performance evaluator for traffic light classifier system
DE102020126686A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zur Berücksichtigung von Umfelddaten beim Betrieb einer Fahrfunktion
CN114170821B (zh) * 2021-12-16 2023-03-31 阿波罗智联(北京)科技有限公司 信号机的性能检测方法、装置、交通信号灯的控制系统
KR102513365B1 (ko) * 2022-08-16 2023-03-24 주식회사 라이드플럭스 차량의 자율주행을 위한 신호 정보 인지방법, 장치 및 컴퓨터프로그램

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
JP2010246355A (ja) * 2009-04-10 2010-10-28 Honda Motor Co Ltd 車両の制御装置
CN102117546A (zh) * 2011-03-10 2011-07-06 上海交通大学 车载交通信号灯辅助装置
EP2636577A1 (de) * 2012-03-07 2013-09-11 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
CN105096633A (zh) * 2014-05-14 2015-11-25 广州杰赛科技股份有限公司 一种交通灯提醒导航装置
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
CN106023622A (zh) * 2016-07-22 2016-10-12 百度在线网络技术（北京）有限公司 一种确定红绿灯识别系统识别性能的方法和装置
CN206147953U (zh) * 2016-10-19 2017-05-03 胡爱彬 一种提前、实时提示交通信号灯信息的提醒装置
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
CN106663193A (zh) * 2014-05-14 2017-05-10 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
CN106910358A (zh) * 2017-04-21 2017-06-30 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
US20170221366A1 (en) * 2016-01-29 2017-08-03 Electronics And Telecommunications Research Institute Autonomous vehicle driving system and method
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统
CN107316488A (zh) * 2017-08-23 2017-11-03 苏州豪米波技术有限公司 信号灯的识别方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
JP2010246355A (ja) * 2009-04-10 2010-10-28 Honda Motor Co Ltd 車両の制御装置
CN102117546A (zh) * 2011-03-10 2011-07-06 上海交通大学 车载交通信号灯辅助装置
EP2636577A1 (de) * 2012-03-07 2013-09-11 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
CN106663193A (zh) * 2014-05-14 2017-05-10 御眼视觉技术有限公司 用于路缘检测和行人危险评估的系统和方法
CN105096633A (zh) * 2014-05-14 2015-11-25 广州杰赛科技股份有限公司 一种交通灯提醒导航装置
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
US20170221366A1 (en) * 2016-01-29 2017-08-03 Electronics And Telecommunications Research Institute Autonomous vehicle driving system and method
CN106023622A (zh) * 2016-07-22 2016-10-12 百度在线网络技术（北京）有限公司 一种确定红绿灯识别系统识别性能的方法和装置
CN206147953U (zh) * 2016-10-19 2017-05-03 胡爱彬 一种提前、实时提示交通信号灯信息的提醒装置
CN106910358A (zh) * 2017-04-21 2017-06-30 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
CN107195186A (zh) * 2017-06-07 2017-09-22 千寻位置网络有限公司 自动优化路口车辆通行速度的方法和系统
CN107316488A (zh) * 2017-08-23 2017-11-03 苏州豪米波技术有限公司 信号灯的识别方法、装置和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114127823A (zh) * 2019-07-15 2022-03-01 法雷奥开关和传感器有限责任公司 确定交通灯设备的信号状态
CN112435460A (zh) * 2019-08-26 2021-03-02 通用汽车环球科技运作有限责任公司 交通灯状态监控和交通灯到车道的分配的方法和系统
WO2021164018A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 自动驾驶控制方法、信息处理方法、装置及系统
CN112639813A (zh) * 2020-02-21 2021-04-09 华为技术有限公司 自动驾驶控制方法、信息处理方法、装置及系统
CN113313936A (zh) * 2020-02-26 2021-08-27 动态Ad有限责任公司 用于运载工具的交通灯检测系统
CN113327446A (zh) * 2020-02-28 2021-08-31 大唐高鸿数据网络技术股份有限公司 信息传输处理方法、装置、处理设备、车载单元及车辆
CN111422204A (zh) * 2020-03-24 2020-07-17 北京京东乾石科技有限公司 自动驾驶车辆通行判定方法及相关设备
CN111422204B (zh) * 2020-03-24 2022-03-04 北京京东乾石科技有限公司 自动驾驶车辆通行判定方法及相关设备
CN112509353A (zh) * 2020-11-04 2021-03-16 深圳优地科技有限公司 一种机器人的过路方法、装置、机器人和存储介质
CN112509353B (zh) * 2020-11-04 2022-05-24 深圳优地科技有限公司 一种机器人的过路方法、装置、机器人和存储介质
CN112489466A (zh) * 2020-11-27 2021-03-12 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
CN113064439A (zh) * 2021-06-02 2021-07-02 北京三快在线科技有限公司 一种控制无人驾驶设备及设置枢纽的方法及装置
CN114332815A (zh) * 2021-12-24 2022-04-12 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质
CN114332815B (zh) * 2021-12-24 2023-08-29 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质
CN114202942A (zh) * 2022-01-12 2022-03-18 北京京东乾石科技有限公司 交通灯相关模块控制方法和装置
CN114202942B (zh) * 2022-01-12 2023-09-01 北京京东乾石科技有限公司 交通灯相关模块控制方法和装置

Also Published As

Publication number Publication date
DE102018132981A1 (de) 2019-06-27
US20180112997A1 (en) 2018-04-26
US10458810B2 (en) 2019-10-29
CN109949590B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109949590A (zh) 交通信号灯状态评估
US11640174B2 (en) Smart vehicle
US10816993B1 (en) Smart vehicle
US10928830B1 (en) Smart vehicle
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
US10365650B2 (en) Methods and systems for moving object velocity determination
US10528824B2 (en) Artificial neural network for lane feature classification and localization
US10146225B2 (en) Systems and methods for vehicle dimension prediction
CN109814520A (zh) 用于确定自主车辆的安全事件的系统和方法
CN109866778A (zh) 具有自动辅助的自主车辆操作
US11619940B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
US20190382007A1 (en) Multi-Task Machine-Learned Models for Object Intention Determination in Autonomous Driving
CN109817008A (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的系统和方法
US20180074506A1 (en) Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN109808688A (zh) 针对即将到来的变道在自主车辆中调整速度的系统和方法
CN109426806A (zh) 用于车辆信号灯检测的系统和方法
US20190016331A1 (en) Programming complex parking maneuvers for driverless vehicles
CN110083163A (zh) 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
CN110068346A (zh) 用于自主车辆中不受保护的操纵缓解的系统和方法
CN109131346A (zh) 用于预测自主车辆中的交通模式的系统和方法
CN109425359A (zh) 用于生成实时地图信息的方法和系统
CN108802761A (zh) 用于激光雷达点云异常的方法和系统
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
CN109144049A (zh) 用于控制感测装置视场的系统和方法
CN109472986A (zh) 用于确定交通控制人员和交通控制标志物的存在的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant