CN108734979A - 交通信号灯检测系统及方法 - Google Patents

交通信号灯检测系统及方法 Download PDF

Info

Publication number
CN108734979A
CN108734979A CN201810319922.7A CN201810319922A CN108734979A CN 108734979 A CN108734979 A CN 108734979A CN 201810319922 A CN201810319922 A CN 201810319922A CN 108734979 A CN108734979 A CN 108734979A
Authority
CN
China
Prior art keywords
traffic lights
vehicle
traffic
automatic driving
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810319922.7A
Other languages
English (en)
Inventor
M·维斯露斯基
S·格拉泽
G·明斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108734979A publication Critical patent/CN108734979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)

Abstract

提供用于分析交通信号灯以便控制自动驾驶车辆的系统和方法。一种方法包括从摄像头接收关于至少一个交通信号灯的图像以及接收与所述交通信号灯有关的数据。神经网络确定所述交通信号灯的位置和特点。

Description

交通信号灯检测系统及方法
技术领域
本发明总体上涉及自动驾驶车辆，具体涉及自动驾驶车辆中的交通信号灯检测系统及方法。
引言
自动驾驶车辆是一种能够感测其环境及通过极少或不需要用户输入进行导航的车辆。自动驾驶车辆利用雷达、激光雷达、图像传感器等感测装置来感测其环境。自动驾驶车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车间通信、车辆对基本设施技术和/或线控系统的信息为车辆导航。
已将车辆自动化分为从对应于通过全人工控制无自动化的0级到对应于无人工控制全自动化的5级的数字化等级。各种自动化驾驶员辅助系统，比如巡航控制、自适应巡航控制及停车辅助系统，对应于较低的自动化等级，而真正的“无人驾驶的”车辆对应于较高的自动化等级。
一些自动驾驶车辆可以包括检测驾驶环境里的交通信号灯的系统。在这些系统中，计算机视觉分割方法将交通信号灯置入三维坐标景象中，以用于检测。这种交通信号灯检测方法计算密集且价格高，这使得在自动驾驶车辆环境中其速度慢且相当费时。
因此，需要提供可以加快转向信号检测过程的系统和方法。此外，本发明其他的特征和特点将从后续的结合附图与前述的技术领域和背景技术所做的细节描述及随附的权利要求中变得显而易见。
发明内容
提供控制自动驾驶车辆的系统和方法。在一个实施例中，一种系统和方法，包括从摄像头接收关于至少一个交通信号灯的图像以及接收与所述交通信号灯有关的数据。机器学习模型可以使用该信息确定所述交通信号灯的位置及特点。
在实施例中，一种系统和方法，包括分析交通信号灯以便控制自动驾驶车辆。由一个或多个处理器接收来自摄像头的图像，其关于位于所述自动驾驶车辆的驾驶环境中的至少一个交通信号灯。由一个或多个处理器接收来自激光雷达装置的数据，其与位于所述图像中的所述交通信号灯的可能的几何形状和位置有关。利用所述一个或多个处理器将包括一个或多个神经网络的机器学习模型应用于所接收的数据以及所述摄像头图像，以确定所述交通信号灯的位置及特点。所确定的特点包括所述交通信号灯的有关形状和颜色的表征，以便确定指示符类型。所述自动驾驶车辆的控制是基于通过所述一个或多个神经网络确定的所述交通信号灯的位置及特点。
附图说明
下文将结合以下附图对示例性实施例进行描述，在附图中，相同附图标记表示相同的元件，并且：
图1为根据各实施例的一种自动驾驶车辆的功能框图；
图2为根据各实施例的一种具有一辆或多辆如图1所示的自动驾驶车辆的交通运输系统的功能框图；
图3为根据各实施例的一种与自动驾驶车辆的相关联的自动驾驶系统(ADS)的功能框图；
图4为根据各实施例的一种交通信号灯处理系统的功能框图；
图5示出了根据本发明各实施例的一种示例性车辆，其包括围绕所述车辆分布的多个雷达装置、摄像头以及激光雷达装置；
图6为涉及交通信号灯检测的操作场景的流程图；和
图7-9为根据各实施例的使用神经系统以进行交通信号灯处理的功能框图。
具体实施方式
下面的详细描述本质上仅仅是示例性的，并非意图限制应用和用途。另外，不存在被任何前述的技术领域、背景、摘要或者下面的详细描述中提出的任何表述的或暗示的理论约束的意图。在本文中使用的数目“模块”指的是单独的或任意组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享的、专用的或组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或其他提供所描述的功能的合适的部件。
本发明实施例在此可参照功能和/或逻辑块部件以及各处理步骤描述。应当理解的是，这些块组件可通过配置为执行特定功能的任意数量的硬件、软件和/或固件来实现。例如，本发明的实施例可采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查询表等，这些部件可以在一个或多个微处理器或者其他控制设备的控制下执行各种功能。另外，本领域技术人员应理解，本发明实施例可结合任意数量的系统来实现，以及本文中所描述的系统仅为本发明的示例性实施例。
为了简洁，本文中不对与这些系统的信号处理、数据传输、发信号、控制、机器学习、图像分析和其他功能方面有关的常规技术进行详细描述。此外，本文中所记载的各附图中所示的连线旨在表示各元件之间的示例的功能关系和/或物理耦连。应该指出，在本发明实施例中可出现许多替代的或附加的功能关系或者物理连接。
参见图1，总体上示出为100的执行自动驾驶车辆控制的系统与根据各实施例的车辆10相关联。一般而言，系统100可进行车辆10的环境的三维图像(点云形式)的低阶处理，以确定周围物体的速度用于控制车辆10。
如图1所示，车辆10通常包括底盘12、车身14、前车轮16和后车轮18。车身14设置于底盘12上，基本上包含车辆10的部件。车身14和底盘12可共同地形成车架。车辆16-18各自都在靠近车身14的相应角落处可旋转地耦连到底盘12上。
在各实施例中，车辆10为自动驾驶车辆，系统100和/或其部件结合到自动驾驶车辆10中(以下都称为自动驾驶车辆10)。自动驾驶车辆10为例如自动控制的将乘客从一个位置运送到另一个位置的车辆。虽然车辆10在所示实施例中描述为乘用车，但应当理解的是，还可以使用任何其他车辆，包括摩托车、货车、运动型多功能汽车(SUV)、休闲车(RV)、船舶、航空器等。
在示例性实施例中，自动驾驶车辆10对应于美国汽车工程师学会(SAE)的自动化驾驶等级的“J3016”标准分类法下的4级或5级自动化系统。通过使用该术语，4级系统表示“高自动化”，其指的是自动化驾驶系统执行动态驾驶任务的各个方面的驾驶模式，即使真人驾驶员并未恰当地对干预请求进行响应。另一方面，5级系统表示“全自动化”，其指的是自动化驾驶系统执行所有道路及环境条件下的能够由真人驾驶员控制的动态驾驶任务的各个方面的驾驶模式。然而，应当理解的是，根据本主题的实施例并不局限于任何特定的自动化类别的分类法或量规。此外，根据本实施例的系统可以结合任何利用导航系统和/或其他系统以提供线路引导和/或实施的自动驾驶或其他车辆。
如图所示，自动驾驶车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各实施例中，推进系统20可包括内燃机、牵引电机等电机和/或燃料电池推进系统。传动系统22用于根据可选择的速比将动力从推进系统20传递至车辆的车轮16和18。根据各实施例，传动系统22可包括级比自动变速器、无级变速器或其他合适的变速器。
制动系统26用于将制动扭矩提供给车辆的车轮16和18。在各实施例中，制动系统26可包括摩擦制动器、线控制动器、电机等再生制动系统和/或其他合适的制动系统。
转向系统24影响到车辆的车轮16和/或18的位置。虽然为了说明的目的被描绘为包括方向盘25，但在本发明范围内考虑到的一些实施例中，转向系统24可不包括方向盘。
传感器系统28包括一个或多个感测自动驾驶车辆10的外部环境和/或内部环境的可观察的条件的感测装置40a-40n。感测装置40a-40n可包括但不限于：雷达、激光雷达、全球定位系统、光学摄像头、热感摄像头、超声传感器和/或气体传感器。致动器系统30包括一个或多个控制一个或多个车辆特征，比如(但不限于)推进系统20、传动系统22、转向系统24及制动系统26的致动器装置42a-42n。在各实施例中，自动驾驶车辆10还可以包括图1中未示出的内部和/或外部车辆特征，比如各车门、行李箱，以及空调、音乐、照明、触摸屏显示部件(比如与导航系统结合使用的那些部件)等驾驶室特征等等。
数据存储装置32存储有用于自动控制自动驾驶车辆10的数据。在各实施例中，数据存储装置32存储有可导航环境的定义的地图。在各实施例中，定义的地图可由远程系统(其将关于图2更详细地描述)预定义或自其获取。例如，定义的地图可由远程系统组装并传达至自动驾驶车辆10(以无线和/或有线方式)，保存在数据存储装置32中。还可以在数据装置32内保存线路信息，即一起定义用户可能采取的从开始位置驶往目标位置的线路的一组路段(在地理上与一个或多个定义的地图相关联)。而且，在各实施例中，数据存储装置32存储有用于处理三维点云以在逐帧基础上确定环境中物体速度的处理算法和数据。应当理解的是，数据存储装置32可以是控制器34的一部分、与控制器34分隔开、或控制器的一部分以及单独系统的一部分。
控制器34包括至少一个处理器44及计算机可读存储装置或媒介46。处理器44可以是定制或商用处理器、中央处理器(CPU)、图形处理器(GPU)、数个与控制器34相关联的处理器之中的辅助处理器、半导体基微处理器(呈微芯片或芯片组的形式)、其任意组合或通常用于执行指令的任何装置。计算机可读存储装置或媒介46可以包括，例如，只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储设备。保活存储器是当处理器44掉电时可用于存储各种操作变量的永久或非易失性存储器。计算机可读存储装置或媒介46可以使用如下若干已知存储器装置中的任何一种来实现：可编程只读存储器(PROM)、电气编程只读存储器(EPROM)、闪存、或任何其他可储存数据的电气、磁性、光学或组合存储器装置，其中一些数据代表可执行指令，由控制器34用于控制自动驾驶车辆10。
所述指令可包括一个或多个单独的程序，每个程序包括用于执行逻辑功能的可执行指令的有序列表。当被处理器44执行时，所述指令接收和处理来自传感器系统28的信号，处理逻辑、计算、用于自动控制自动驾驶车辆10的部件的方法和/或算法，以及生成控制信号，该控制信号被传输至致动器系统30，以基于逻辑、计算、方法和/或算法自动控制自动驾驶车辆10的部件。虽然图1中只示出了一个控制器34，但自动驾驶车辆10的实施例可包括任何数量的控制器34，这些控制器通过任何适当的通信介质或通信介质的组合通信，并协助处理传感器信号，处理逻辑、计算、方法和/或算法以及生成控制信号以自动控制自动驾驶车辆10的控制特征。在一个实施例中，如将在下文进行详细描述的，控制器34配置为用于处理车辆10的环境的点云形式的三维成像数据，以在逐帧基础上确定用于车辆控制的速度。
通信系统36用于与其他实体48(比如但不限于：其他车辆(“V2V)通信)、基础设施(“V2I”通信)、远程交通运输系统和/或用户在装置(其将关于图2进行更详细描述)之间无线传达信息。在一个示例性实施例中，通信系统36为用于使用IEEE802.11标准经由无线局域网(WLAN)或通过使用蜂窝数据通信进行通信的无线通信系统。然而，在本发明的范围内，还可以考虑额外的或替换的通信方法，比如专用短程通信(DSRC)信道。DSRC信道指的是专为汽车使用和相应的一组协议及标准而设计的单向或双向短程至中程无线通信信道。
现在参照图2，在各实施例中，关于图1所述的自动驾驶车辆10可适于用于特定地理区域(例如城市、学校或商业场所、购物中心、游乐园、事务中心等等)的出租车或往返系统的环境中，或者可以只由远程系统控制。例如，自动驾驶车辆10可以与基于自动驾驶车辆的远程交通运输系统相关联。图2示出了总体示出为50的操作环境的示例性实施例，该操作环境包括与一个或多个如关于图1所述的自动驾驶车辆10a-10n相关联的基于自动驾驶车辆的远程交通运输系统(或只是“远程交通运输系统”)52。在各实施例中，操作环境50(其全部或部分可对应于图1所示的实体48)进一步包括一个或多个经由通信网络56与自动驾驶车辆10和/或远程交通运输系统52通信的用户装置54。
通信网络56支持由操作环境50支持(例如经由有形的通信链路和/或无线通信链路)的装置、系统及部件之间的根据需要的通信。例如，通信网络56可以包括无线载波系统60，比如包括多个基地台(未示出)、一个或多个移动交换中心(MSC)(未示出)以及连接无线载波系统60与陆地通信系统所需的任何其他组网部件的蜂窝电话系统。每个基地台包括发送和接收天线以及基站，其中不同基地台的基站直接或经由基站控制器等中间设备连接至移动交换中心。无线载波系统60可以实现任何适当的通信技术，包括，例如，数字化技术，比如CDMA(如CDMA2000)、LTE(如4G LTE或5G LTE)、GSM/GPRS、或其他当前或新兴的无线技术。其他基地台/基站/移动交换中心布置也可以与无线载波系统60一起使用。例如，基站和基地台可一同定位在相同的地点或它们可彼此远离定位，每个基站可以负责单个基地台或单个基站可以服务各个基地台，或各基站可以耦连至单个移动交换中心，仅举例一些可能的布置。
除了包括无线载波系统60外，还可以包括卫星通信系统64形式的第二无线载波系统，以提供与自动驾驶车辆10a-10n的单向或双向通信。这可利用一个或多个通信卫星(未示出)以及上行链路发射台(未示出)来完成。单向通信可以包括，例如，卫星无线电服务，其中节目内容(新闻、音乐等等)由发射台接收，封装用于上传，然后发送至卫星，卫星向用户广播节目。双向通信可以包括，例如，利用卫星转播车辆10和基站之间的电话通信的卫星电话服务。可以在无线载波系统60的基础上或替代其来使用卫星电话。
可以进一步包括陆地通信系统62，其为与一个或多个固定电话连接的传统陆基电信网络，并将无线载波系统60与远程交通运输系统52连接。例如，陆地通信系统62可以包括比如用于提供硬连线电话、分组交换数据通信以及互联网基础结构的公共交换电话网(PSTN)。陆地通信系统62的一个或多个网段可以通过使用标准有线网络、光纤或其他光网络、电缆网络、电力线、无线局域网(WLAN)等其他无线网络、或提供宽带无线接入(BWA)的网络、或其组合来实现。此外，远程交通运输系统52不需要经由陆地通信系统62来连接，但可以包括无线电话设备，使得其可以直接与无线网络比如无线载波系统60通信。
虽然图2中只示出了一个用户装置54，操作环境50的实施例可以支持任何数量的用户装置54，包括由一个人拥有、操作或使用的多个用户装置54。操作环境50支持的每个用户装置54都可以使用任何适当的硬件平台来实现。就这一方面，用户装置54能够以任何常见规格来实现，包括但不限于：台式计算机；移动计算机(例如平板计算机、便携计算机或上网本)；智能电话；电子游戏装置；数字媒体播放器；家庭娱乐设备的部件；数字摄影机或视频摄影机；可穿戴的计算装置(例如智能手表、智能眼镜、智能服装)；等等。操作环境50支持的每个用户装置54都实现为具有硬件、软件、固件和/或实施本文所述的各种技术和方法所需要的处理逻辑的计算机实现的或基于计算机的装置。例如，用户装置54包括可编程装置的微处理器，其包括一个或多个保存于内存储器结构、应用于接收二进制输入以创建二进制输出的指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝通信功能，使得该装置通过通信网络56使用一个或多个如本文中所述的蜂窝通信协议执行语音和/或数据通信。在各实施例中，用户装置54包括可视显示器、比如触摸屏图形显示器或其他显示器。
远程交通运输系统52包括一个或多个后端服务器系统(未示出)，其可以基于云、基于网络、或驻留于由远程交通运输系统52服务的特定园区或地理位置。远程交通运输系统52可以由人通过真实的顾问、自动顾问、人工智能系统或其组合来操纵。远程交通运输系统52可以与用户装置54和自动驾驶车辆10a-10n通信，以安排乘坐、调度自动驾驶车辆10a-10n等等。在各实施例中，远程交通运输系统52存储有存储账户信息，比如用户授权信息、车辆标识符、档案记录、生物特征数据、行为模式以及其他相关的用户信息。在一个实施例中，如将在下文进行详细描述的，远程交通运输系统52包括存储涉及导航系统线路的信息的路由数据库53，该信息包括沿各线路的道路的车道标志线，以及特定线路段受建筑区或其他可能已被自动驾驶车辆10a-10n中的一辆或多辆检测到的危险或障碍影响与否和影响的程度由该信息决定。
根据典型使用案例流程，远程交通运输系统52的注册用户能够经由用户装置54建立乘坐请求。该乘坐请求通常指示该乘客的要求的接载位置(或当前GPS位置)、要求的目的地位置(其可以识别预定的车辆车站和/或用户指定的乘客目的地)和接载时间。远程交通运输系统52接收该乘坐请求，处理该请求并调度自动驾驶车辆10a-10n中所选择的一辆(当或若有一辆车可用时)以在指定的接载位置和合适的时间接载该乘客。交通运输系统52还可以生成和发送适当配置的确认消息或通知至用户装置54，以让该乘客知道车辆已在路上。
可以理解的是，本文中所公开的主体给可认为是标准或基准自动驾驶车辆10和/或基于自动驾驶车辆的远程交通运输系统52提供特定的增强的特征和功能。有鉴于此，自动驾驶车辆和基于自动驾驶车辆的远程交通运输系统可以被改进、增强或增补以提供下文中更详细描述的附加的特征。
根据各实施例，控制器34实现如图3所示的自动驾驶系统(ADS)70。换言之，控制器34的适当的软件和/或硬件部件(例如处理器44和计算机可读存储装置46)用于提供与车辆10结合使用的自动驾驶系统70。
在各实施例中，自动驾驶系统70的指令可以由功能或系统组织。例如，如图3所示，自动驾驶系统70可以包括传感器融合系统74、定位系统76、制导系统78及车辆控制系统80。可以理解的是，在各实施例中，由于本发明不限于示出的实施例，因此所述指令可以组织成任何数量的系统(例如组合的、进一步分割的等)。
在各实施例中，传感器融合系统74合成和处理传感器数据并预测车辆10的环境中的物体和特征的存在、位置、分类和/或路径。在各实施例中，传感器融合系统74可以合并来自多个传感器的信息，传感器包括但不限于摄像头、激光雷达、雷达和/或任何数量的其他类型的传感器。
定位系统76处理传感器数据连同其他数据以确定车辆10相对于环境的位置(例如相对于地图的局部位置、相对于道路车道、车辆航向、速度的确切位置等)。制导系统78处理传感器数据连同其他数据以确定车辆10遵循的路径。车辆控制系统80根据确定的路径生成用于控制车辆10的控制信号。
在各实施例中，控制器34实现机器学习技术以辅助控制器34的功能，比如特征检测/分类、障碍减缓、线路遍历、映射、传感器整合、地面实况确定等等。
例如，如关于图4并继续参照图3以100详细示出的，系统102用于检测驾驶环境中的交通信号灯104以及确定交通信号灯104的特点。这些特点可以包括交通信号灯的状态、形状、颜色等。系统102可以进一步确定交通信号灯的左箭头、右箭头、上箭头、斜箭头等106是否处于活动状态中(例如发送交通左或右转向信号等)。系统102还可以将用于行人、自行车及公共交通的灯分类。
系统102使用来自传感器系统28的信息以检测交通信号灯104。自动驾驶车辆的传感器系统28具有提供深度/距离信息的激光雷达装置108以及捕捉环境图像的摄像头110的组合。通过校准这两种类型的传感器，激光雷达装置108可以为来自传感器110的图像分配深度。如此，系统102使用激光雷达装置108以获得来自传感器110的图像中物体的几何形状及位置的细微细节，以便定位其自身。
系统102的交通信号灯分析可以被自动驾驶车辆用于许多目的，包括自动驾驶车辆追踪控制操作112。该信号行为分析改善了对自动驾驶车辆104附近的其他车辆的追踪。这可包括，例如，基于驾驶环境中的交通灯的信号状态自动驾驶车辆及其他车辆应该是静止的还是移动的。许多不同类型的传感器配置可以，例如，如图6所示那样来使用。
图6在200处示出了示例性的自动驾驶车辆，其包括多个围绕车辆200分布的雷达装置240a，多个围绕车辆200分布的摄像头240b以及多个围绕车辆200分布的激光雷达装置240c。
雷达装置240a设置在车辆200的不同的位置，且在一个实施例中，关于车辆200的纵轴对称设置以实现视差。每个雷达装置240a都可以包括或合并适当配置为水平地及可转动地扫描环境以生成由其他系统耗用的雷达数据的部件。
摄像头240b也设置在不同的位置并适应于提供捕捉车辆200附近的周围环境的不同部分的不同视野。例如，第一摄像头240b位于车辆200的左前(或驾驶员)侧，具有其相对于正向中的车辆200的纵轴逆时针45°朝向的视野，而另一摄像头240b可以定位在车辆200的右前(或乘客)侧，具有相对于车辆200的纵轴顺时针45°朝向的视野。额外的摄像头240b位于车辆200的左右后侧，类似地相对于车辆纵轴而偏离该纵轴45°，同时摄像头240b位于车辆200的左右侧，垂直于车辆纵轴地偏离纵轴。图示的实施例还包括一对摄像头240b，其位于车辆纵轴上或其附近，适应于捕捉沿基本上平行于车辆纵轴的视线的正视视野。
在示例性实施例中，摄像头240b具有与一个或多个其他摄像头240b不同的视角、焦距及其他属性。例如，车辆左右侧的摄像头240b可具有大于与位于车辆左前方、右前方、左后方或右后方的摄像头240b相关的视角的视角。在一些实施例中，选择该摄像头240b的视角，使得不同摄像头240b的视野至少部分地叠加在一起以确保在特定位置或方位上相对于车辆200的摄像头覆盖。
激光雷达装置240c也设置于车辆200的不同位置，且在一个实施例中，关于车辆200的纵轴对称设置以实现视差。每个激光雷达装置240c都可以包括或合并一个或多个激光器、扫描部件、光学布置、光电探测器和其他适当配置为水平地及可转动地扫描具有特定角频率或转动速度的车辆200附近的环境的部件。例如，在一个实施例中，各激光雷达装置240c都配置为水平地转动并以频率10赫兹(Hz)360°扫描。如在本文中所使用的，激光雷达扫描应当理解为指的是激光雷达装置240c的单圈转动。
在本文中所述的示例性实施例中，摄像头240b捕捉图像的频率或速率大于激光雷达装置240c的角频率。例如，在一个实施例中，摄像头240b以30Hz的速率捕捉相对于它们各自视野的新图像数据。如此，各摄像头240b每次激光雷达扫描都可以捕捉多个图像，并不管在所述扫描中激光雷达装置240c的方位或角位置以不同次数捕捉图像。
自动驾驶车辆使用来自这些不同类型的传感器的信息来追踪车辆附近的物体的三维位置和几何形状。在一个示例性实施例中，自动驾驶车辆的追踪系统可以生成或使用这些信息以识别物体的三维位置、物体与车辆的距离/深度、物体的维度和形状、物体的速度等。作为一个示例，追踪系统使用激光雷达以确定汽车的位置和方位。
图6示出了使用这些传感器信息以分析交通信号灯。离线执行过程块300，其包括当各城市都以3D绘制成地图时测量交通信号灯。在一个示例性实施例中，通过固定摄像头光圈和测量3D的交通信号灯以及融合链接的交通信号灯的结果可以得到关于交通信号灯的传感器信息。如此，过程块300获得了交通信号灯的3D位置及3D方位。
还离线执行过程块302，其将交通信号灯置于点云以获得它们周围的点云信息。将将交通信号灯置于点云减少了计算开销并滤除了误报。例如，若自动驾驶车辆了解其在驾驶环境中的位置且其了解驾驶环境中交通信号灯的位置，则其可以了解在图像中哪个地方可以期望找到交通信号灯以及距离多远。在该实例中，点云的激光雷达数据已由车辆映像驾驶累积起来，以便找到交通信号灯。该数据在映像车辆驶经路口时由多次扫描累积，并提供交通灯上的点以在累积的点云中对其识别。
在生成的点云中，过程块304为运行过程中的自动驾驶车辆置放交通信号灯，使得可以获得交通信号灯可能的几何形状和位置。这识别了交通信号灯可能位于的窗口。在那个窗口中，过程块306运行一个或多个神经网络以确定其是否是交通信号灯以及关于交通信号灯的特点。语义信息，比如来自线路数据库的车道信息，可以进一步帮助解决关于交通信号灯的特点。
图7示出了使用一个或多个神经网络406进行交通信号灯检测408及分类410。为了提供神经网络406需要的数据，来自激光雷达装置400的数据持续存在于点云402中。对于点云402，激光雷达数据由车辆映像驾驶累积以离线定位交通灯。
在该实例中为了生成点云402，激光雷达装置400通过以激光灯脉冲照亮目标比如交通信号灯来执行扫描，并通过接收反射回来的脉冲测量与目标的距离。反射脉冲的强度可以共同被激光雷达装置400使用以生成表示视野中的物体比如交通信号灯的空间结构/特点的激光雷达点云。在一个实施例中，激光雷达装置400使用旋转以围绕车辆进行360度扫描的旋转激光束。在另一个实施例中，激光雷达装置400以特定扫描频率(即它们摆动的快慢)前后摆动。激光雷达装置400以KHz脉动的速率可以指的是重复率。例如，若脉冲重复率为100KHz，则激光器一秒钟脉动100，000次，且在该时间内从脉冲往回接收信息。
每个激光雷达装置400都接收激光雷达数据并处理激光雷达数据(例如，激光雷达返回信息数据包)以生成激光雷达点云。每个点云都是车辆周围360度区域中的一组三维点。除了三维XYZ位置之外，每个点都具有强度数据。在一个实施例中，所述点云包括第一、中间及最后从各激光脉冲返回的点。在一个实施例中，使用两个激光雷达装置并将其同步到一起(或锁相)。
此外，应当指出，在一个实施例中，摄像头以其最大帧率运行。摄像头的刷新率比激光雷达装置400大得多。随着激光雷达从汽车后部顺时针旋转，在激光雷达装置的转动过程中，各摄像头以顺时针顺序捕捉图像。非固有标定程序提供关于摄像头指向何处的信息。激光雷达装置400被锁相(即被安排为特定次数的特定转动状态下)，因此可知其是在当激光雷达装置400扫描其圆周的特定部分时。为了分析场景，所述系统可以确定在获取到特定激光雷达数据的时间点对准了哪个成像器/摄像头。系统可以选择在最接近获取到特定激光雷达数据的时间点所采样/获取到的任何图像，使得仅对邻近特定目标时间(即当激光雷达装置正瞄准摄像头指向的相同区域时)所捕捉的图像进行处理。因此，可以确定完美对准的摄像头-激光雷达。这样可提供特定航向/方位上的激光雷达数据连同该航向/方位上的场景/环境的对应的图像数据。
将由这两个激光雷达装置400获取到的两个激光雷达点云的激光雷达数据融合在一起形成单一激光雷达点云。执行三维点采样以便对激光雷达数据(该单一激光雷达点云的)进行预处理以生成一组代表物体外表面的三维点。
在自动驾驶车辆的运行过程中，将交通灯(其为点云402中的一组点)的可能的位置404提供给神经网络406。神经网络406使用该信息来确定所述可能的位置404内识别到的物体是否为交通信号灯。神经网络406还基于形状、颜色或其他特点对交通信号灯分类。作为一个示例，交通信号灯分类可以包括识别其可能是多种不同类型的交通信号灯中的哪一种，比如带左转向信号的交通信号灯、铁路平交道信号灯等。
图8在500处描绘了使用两个神经网络，其中第一神经网络502定位摄像头图像中的交通灯的坐标，第二神经网络506在给定候选者情况下对它们的形状和颜色进行分类。
在该操作场景中，在交通灯的摄像头图像中生成一个窗口作为可能的交通信号灯位置404，并与神经网络502和506一起使用。所述窗口作为置于交通灯周围的感兴趣区域(ROI)。在该操作场景中，所述感兴趣区域为交通灯周围的宽2米、高4米的矩形。
然后，将该矩形投射进所述摄像头图像中，因此其在图像中的像素尺寸随车辆靠近而变大。然后，将所述感兴趣区域缩放至固定的像素尺寸(例如160*320等)。因为固定了米制尺寸，所以交通信号灯在那个缩放的图像中具有相同的尺寸，不管车辆离开多远。
所有交通信号灯都缩放至相同的尺寸，使得可以以单一尺度训练单个探测器，而不是必须以多个尺度训练单个探测器或以单个尺度训练多个探测器。然后，以该操作场景的两个步骤来使用所述缩放的感兴趣区域。在第一步骤中，神经网络输出值网格(而不是单个值)，其指的是本地化神经网络502。该本地化神经网络502为每个网格单元或相邻网格单元组输出置信指示，指示该单元或单元组包含交通信号灯的可能性有多大。在该步骤之后，确定在所产生的响应地图中的局部最大值并用作交通信号灯的候选位置。
在第二步骤中，在每个候选位置周围施加一个48*48的像素窗口，并输入第二神经网506即分类神经网络中。网络分类的输出为针对每个状态以概率响应的矢量。例如，来自网络506分类的输出可以包括：(p_red_circle,p_yellow_circle,…,p_red_left_arrow,p_red_right_arrow,…)。
分类神经网络506可以以如下方式确定即时交通信号灯状态(例如红、黄、绿)以及红灯或黄灯闪烁等派生状态。可以通过保存滑动时间窗内的检测次数并执行时间序列分析而检测到闪烁灯。在一个实施例中，可以使用傅里叶变换，并且若傅里叶变换的信号足够可信，则针对相应的颜色将该信号抑制，并替换为相同颜色的闪烁灯的固定置信值。
来自神经网络502和506的交通信号灯位置及分类数据可以用于许多不同的目的，比如用于自动驾驶车辆控制510。作为一个示例，识别的交通信号灯行为改善了对自动驾驶车辆附近的其他车辆的追踪，并有助于基于分析的交通信号灯确定期望它们是静止的还是移动的。
应当理解的是，图8的系统可以以许多不同的方式配置。例如，该系统可以被训练使得图像中的每个感兴趣区域由分类神经网络506分类，且各分类都产生一个作为用(p_red、p_yellow等)表示的概率矢量的置信矢量，其中该矢量的大小为1。在这种情形下，若这些值中仅有一个值较高而其他值都较低时，则这些矢量可以以概率投票方案结合起来，该概率投票方案使得在大多数同意的情况下，矛盾得以解决。
进一步地，还可以使用来自驾驶环境中其他车辆的交通信号灯数据以形成交通灯的整体观。来自其他车辆的该数据可以在所述投票方案中使用。另外，交通灯的整体观也可以用于路由选择及车队优化，比如当交通处于短间隔的交通灯时，可以改变车队的线路以避开该路口。
图9提供了可以如何使用来自神经网络502和506的输出的另一个实例。可以使用行为模型600来抽象化分类神经网络506的输出。当分类神经网络506输出形状、颜色及其他特点时，行为模型600可以提取语义信息602.例如，传入的交通信号可以分成用于向左行驶、直行或向右行驶的信息。然和，将来自位于驾驶环境内的链接的不同类型的灯的信息融合。例如，若出现绿色圆圈，表示在所有方向直行都是合法的。左向绿色箭头仅包含向左行驶的信号。若没有这一级抽象化，该绿色圆圈以及绿色箭头会彼此冲突。通过这一级抽象化，提高了确定自动驾驶车辆向左形式时的行为中的置信度，同时不降低直行和向右行驶的置信度。
另一个融合来自不同交通灯的信息的实例涉及靠近具有多个链接的控制路口的交通灯的路口的自动驾驶车辆。通过确定哪些交通灯与特定车道相关联，来自神经网络502和506的交通信号灯信息可以融合在一起以得到交通信号灯真实状态的更好信息，特别是若一个或多个交通信号灯被阻塞或闭塞时。为了协助融合交通信号灯信息，可以训练深度学习神经网络(DLNN)来基于不同类型的交通信号灯追踪并建立行为模型，比如交通运输部(DOT)追踪的超过50个官方交通灯。
虽然在前述细节描述中示出了至少一个示例性实施例，但应当理解的是还存在大量的变型。还应当理解的是，(各)示例性实施例仅仅为实例，并非意在以任何方式限制本发明的范围、实用性或构造。相反，前述细节描述将为本领域技术人员提供方便的道路图以实现(各)示例性实施例。应当理解，在不脱离本发明的在所附权利要求书及其合法的等效方案中所阐述的范围的情况下，可以在元件的功能和设置方面作出各种改变。
作为本文中所描述的系统和方法的较宽范围的一个示例，可以使用卷积神经网络以对交通信号灯进行分类。所述卷积神经网络应用于来自自动驾驶车辆的摄像头的图像数据，其中图像数据提供车辆驾驶环境的描述。所述卷积神经网络包含相继识别来自输入的摄像头图像的交通信号灯特征的滤波器层。作为一个实例，交通信号灯上的左转向箭头可以是由所述卷积神经网络的各层检测并学习到的用于交通信号灯分类的特征。
作为本文中所描述的系统和方法的较宽范围的又另一个示例，可以会用不同类型的机器学习模型。例如，这些可包括支持向量机(SVM)、随机森林等。这种机器学习模型可以配置为通过学习来自一组分类数据的类别自动建立交通信号灯分类器。然后，机器学习模型可以使用分类器将输入数据(比如来自传感器的车辆环境数据)分类为预定类别，比如交通信号灯分类。可以单独或一起使用不同类型的机器学习模型以便提高交通信号灯过程的鲁棒性。

Claims (10)

1.一种分析交通信号灯以控制自动驾驶车辆的方法，包括：
由一个或多个处理器从摄像头接收关于至少一个位于所述自动驾驶车辆的驾驶环境中的交通信号灯的图像；
由所述一个或多个处理器接收与位于所述图像中的所述交通信号灯的可能的几何形状和位置有关的数据；和
利用所述一个或多个处理器将包括一个或多个神经网络的机器学习模型应用于所接收的数据以及所述摄像头图像，以确定所述交通信号灯的位置及特点，其中，所述所确定的特点包括所述交通信号灯的有关形状和颜色的表征；
其中所述自动驾驶车辆的控制是基于通过所述一个或多个神经网络确定的所述交通信号灯的位置及特点。
2.如权利要求1所述的方法，其中所述摄像头图像来自固定曝光摄像头。
3.如权利要求1所述的方法，其中通过使用所述的一个或多个神经网络定位所述一个或多个交通信号灯的结果是滤除误报。
4.如权利要求1所述的方法，其中所述一个或多个神经网络包括定位神经网络和分类神经网络；
其中所述定位神经网络确定所述交通信号灯的位置；
其中所述分类神经网络确定一个或多个与所述交通信号灯相关联的特点，其中所述特点包括颜色和形状。
5.如权利要求4所述的方法，其中基于所述交通信号灯的由所述分类神经网络确定的特点来确定所述交通信号灯的状态，其中所述交通信号灯的状态包括确定所述交通信号灯是指示左转向还是右转向。
6.如权利要求4所述的方法，其中测量多个交通信号灯以生成所测量的交通信号灯在点云中的三维位置数据及三维方位数据；
其中所述点云用于确定所述自动驾驶车辆的有关位于所述驾驶环境中的所述交通信号灯的位置，以及生成所述驾驶环境中的所述交通信号灯期望通过所述一个或多个神经网络定位的窗口。
7.如权利要求4所述的方法，其中将窗口投射入所述摄像头图像中并缩放至固定的像素尺寸，其中所述交通信号灯被缩放至相同的固定的像素尺寸。
8.如权利要求7所述的方法，其中所述定位神经网络输出关于所述窗口的值网格；
其中所述值网格为每个网格单元或相邻网格单元组输出置信指示，指示所述网格单元或所述组中的每一个包含交通信号灯的可能性有多大。
9.如权利要求8所述的方法，其中带有满足预选择的标准的置信指示的所述网格单元或所述相邻网格单元组被所述分类神经网络用作候选位置；
其中所述分类神经网络输出针对不同交通信号灯状态以概率响应的矢量。
10.如权利要求1所述的方法，其中关于链接的交通信号灯以及所述驾驶环境的语义信息和状态信息用于确定所述交通信号灯的状态。
CN201810319922.7A 2017-04-20 2018-04-11 交通信号灯检测系统及方法 Pending CN108734979A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/492669 2017-04-20
US15/492,669 US10699142B2 (en) 2017-04-20 2017-04-20 Systems and methods for traffic signal light detection

Publications (1)

Publication Number Publication Date
CN108734979A true CN108734979A (zh) 2018-11-02

Family

ID=63714970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810319922.7A Pending CN108734979A (zh) 2017-04-20 2018-04-11 交通信号灯检测系统及方法

Country Status (3)

Country Link
US (1) US10699142B2 (zh)
CN (1) CN108734979A (zh)
DE (1) DE102018109366B4 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544955A (zh) * 2018-12-26 2019-03-29 广州小鹏汽车科技有限公司 一种交通信号灯的状态获取方法及系统
CN110021176A (zh) * 2018-12-21 2019-07-16 文远知行有限公司 交通灯决策方法、装置、计算机设备和存储介质
CN110110696A (zh) * 2019-05-17 2019-08-09 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN110136181A (zh) * 2019-05-17 2019-08-16 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN111079680A (zh) * 2019-12-23 2020-04-28 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN112146680A (zh) * 2019-06-28 2020-12-29 百度（美国）有限责任公司 基于特征图确定消失点
CN112560737A (zh) * 2020-12-22 2021-03-26 清华大学苏州汽车研究院（吴江） 一种信号灯识别方法、装置、存储介质及电子设备
CN113156935A (zh) * 2020-01-07 2021-07-23 动态Ad有限责任公司 用于交通灯检测的系统和方法
CN113177522A (zh) * 2021-05-24 2021-07-27 的卢技术有限公司 一种用于自动驾驶场景下的红绿灯检测与识别方法
CN113614730A (zh) * 2018-11-15 2021-11-05 御眼视觉技术有限公司 多帧语义信号的cnn分类

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102016211420A1 (de) * 2016-06-27 2017-12-28 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Lokalisierungsinformation zum Lokalisieren eines Fahrzeugs an einem Lokalisierungsort und Verfahren zum Bereitstellen zumindest einer Information zum Lokalisieren eines Fahrzeugs durch ein anderes Fahrzeug
FR3062944B1 (fr) * 2017-02-10 2021-05-14 Continental Automotive France Procede de detection de faux-positifs relatifs a un feu de signalisation
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
CN109508580B (zh) * 2017-09-15 2022-02-25 阿波罗智能技术(北京)有限公司 交通信号灯识别方法和装置
US11866046B2 (en) * 2017-12-10 2024-01-09 Anatoly S. Weiser Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons
US10836393B2 (en) * 2017-12-10 2020-11-17 Anatoly S. Weiser Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons
GB201804194D0 (en) * 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Urban Environmrnt labeling
KR102423172B1 (ko) 2018-03-20 2022-07-22 모빌아이 비젼 테크놀로지스 엘티디 차량의 항법을 위한 시스템 및 방법
US11393160B2 (en) * 2018-03-23 2022-07-19 Intel Corporation Deep geometric model fitting
CN112106073B (zh) 2018-05-09 2024-08-16 渊慧科技有限公司 使用网格代码执行导航任务
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
CN110660254B (zh) * 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
EP3842304B1 (en) 2018-08-14 2024-09-18 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10884424B2 (en) 2018-09-07 2021-01-05 GM Global Technology Operations LLC Traffic light occlusion detection for autonomous vehicle
US11358605B2 (en) * 2018-09-10 2022-06-14 Here Global B.V. Method and apparatus for generating a passenger-based driving profile
US11535262B2 (en) 2018-09-10 2022-12-27 Here Global B.V. Method and apparatus for using a passenger-based driving profile
US10928826B2 (en) * 2018-10-26 2021-02-23 Lyft, Inc. Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles
US11249487B2 (en) 2018-10-26 2022-02-15 Waymo Llc Railroad light detection
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
DE102018219125A1 (de) * 2018-11-09 2020-05-14 Volkswagen Aktiengesellschaft Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges und automatisiert fahrendes Kraftfahrzeug
US10467487B1 (en) * 2018-12-11 2019-11-05 Chongqing Jinkang New Energy Automobile Co., Ltd. Fusion-based traffic light recognition for autonomous driving
US11221399B2 (en) * 2018-12-12 2022-01-11 Waymo Llc Detecting spurious objects for autonomous vehicles
CN111723614A (zh) * 2019-03-20 2020-09-29 北京四维图新科技股份有限公司 交通信号灯识别方法及装置
US11798291B2 (en) * 2019-05-30 2023-10-24 Robert Bosch Gmbh Redundancy information for object interface for highly and fully automated driving
EP3819665B1 (en) 2019-11-06 2022-01-19 Yandex Self Driving Group LLC Method and computer device for calibrating lidar system
CN112880692B (zh) * 2019-11-29 2024-03-22 北京市商汤科技开发有限公司 地图数据标注方法及装置、存储介质
RU2767949C2 (ru) 2019-12-30 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ (варианты) и система для калибровки нескольких лидарных датчиков
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11195033B2 (en) 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
DE102020111861A1 (de) * 2020-04-30 2021-11-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum automatischen Bestimmen eines Anzeigestatus einer Verkehrssignalanlage
WO2021231906A1 (en) * 2020-05-14 2021-11-18 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation involving traffic lights and traffic signs
DE102020003100A1 (de) 2020-05-22 2020-08-06 Daimler Ag Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen
US11328519B2 (en) 2020-07-23 2022-05-10 Waymo Llc Detecting traffic signaling states with neural networks
US11935309B2 (en) 2020-08-25 2024-03-19 Ford Global Technologies, Llc Determining traffic light labels and classification quality from infrastructure signals
US11620836B2 (en) * 2020-12-04 2023-04-04 Argo AI, LLC Light emitting diode flicker mitigation
US12060078B2 (en) * 2020-12-10 2024-08-13 Motional Ad Llc Merging LiDAR information and camera information
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备
US11348282B1 (en) * 2021-02-04 2022-05-31 GM Global Technology Operations LLC Systems and methods for calibrating vehicle cameras using external smart sensor
CN112991446A (zh) * 2021-03-10 2021-06-18 北京百度网讯科技有限公司 图像稳像方法、装置、路侧设备以及云控平台
RU2753988C1 (ru) * 2021-03-26 2021-08-25 Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" Система управления движением поездов
US20240246564A1 (en) * 2021-05-21 2024-07-25 Magna Electronics Inc. Efficient detection of structure and status of traffic lights
DE102021119319B4 (de) 2021-07-26 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Erkennung und/oder Repräsentation einer Signalisierungseinheit
CN113807310A (zh) * 2021-09-29 2021-12-17 中国第一汽车股份有限公司 一种信号灯的目标检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN102682618A (zh) * 2012-06-12 2012-09-19 中国人民解放军军事交通学院 一种用于安全驾驶的红绿灯检测与提醒装置
US20150179088A1 (en) * 2010-01-22 2015-06-25 Google Inc. Traffic light detecting system and method
CN105612403A (zh) * 2013-08-29 2016-05-25 日产自动车株式会社 车辆用行驶引导装置以及方法
CN106205170A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种用于自动驾驶的路口精确停车装置与方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8620032B2 (en) 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
GB201301281D0 (en) * 2013-01-24 2013-03-06 Isis Innovation A Method of detecting structural parts of a scene
US10783393B2 (en) * 2017-06-20 2020-09-22 Nvidia Corporation Semi-supervised learning for landmark localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
US20150179088A1 (en) * 2010-01-22 2015-06-25 Google Inc. Traffic light detecting system and method
CN102682618A (zh) * 2012-06-12 2012-09-19 中国人民解放军军事交通学院 一种用于安全驾驶的红绿灯检测与提醒装置
CN105612403A (zh) * 2013-08-29 2016-05-25 日产自动车株式会社 车辆用行驶引导装置以及方法
CN106205170A (zh) * 2016-08-30 2016-12-07 上海交通大学 一种用于自动驾驶的路口精确停车装置与方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755918B2 (en) 2018-11-15 2023-09-12 Mobileye Vision Technologies Ltd. Fast CNN classification of multi-frame semantic signals
CN113614730B (zh) * 2018-11-15 2023-04-28 御眼视觉技术有限公司 多帧语义信号的cnn分类
CN113614730A (zh) * 2018-11-15 2021-11-05 御眼视觉技术有限公司 多帧语义信号的cnn分类
CN110021176A (zh) * 2018-12-21 2019-07-16 文远知行有限公司 交通灯决策方法、装置、计算机设备和存储介质
CN109544955A (zh) * 2018-12-26 2019-03-29 广州小鹏汽车科技有限公司 一种交通信号灯的状态获取方法及系统
CN110136181B (zh) * 2019-05-17 2021-08-20 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110136181A (zh) * 2019-05-17 2019-08-16 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110110696A (zh) * 2019-05-17 2019-08-09 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN112146680A (zh) * 2019-06-28 2020-12-29 百度（美国）有限责任公司 基于特征图确定消失点
CN112146680B (zh) * 2019-06-28 2024-03-29 百度（美国）有限责任公司 基于特征图确定消失点
CN111079680A (zh) * 2019-12-23 2020-04-28 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
CN113156935A (zh) * 2020-01-07 2021-07-23 动态Ad有限责任公司 用于交通灯检测的系统和方法
CN112560737A (zh) * 2020-12-22 2021-03-26 清华大学苏州汽车研究院（吴江） 一种信号灯识别方法、装置、存储介质及电子设备
CN113177522A (zh) * 2021-05-24 2021-07-27 的卢技术有限公司 一种用于自动驾驶场景下的红绿灯检测与识别方法

Also Published As

Publication number Publication date
DE102018109366B4 (de) 2024-01-18
US20180307925A1 (en) 2018-10-25
US10699142B2 (en) 2020-06-30
DE102018109366A1 (de) 2018-10-25

Similar Documents

Publication Publication Date Title
CN108734979A (zh) 交通信号灯检测系统及方法
CN109426806B (zh) 用于车辆信号灯检测的系统和方法
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109814520A (zh) 用于确定自主车辆的安全事件的系统和方法
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
US20170242436A1 (en) Road construction detection systems and methods
US20180341263A1 (en) Methods and systems for moving object velocity determination
CN109466548A (zh) 用于自主车辆操作的地面参照确定
CN110036425A (zh) 用于自动驾驶车辆的动态路由
CN109949590A (zh) 交通信号灯状态评估
CN108693876A (zh) 目标跟踪
CN112106124A (zh) 用于使用v2x和传感器数据的系统和方法
CN109808701A (zh) 用于自主车辆进入交通流的系统和方法
Chen et al. Centimeter-grade metropolitan positioning for lane-level intelligent transportation systems based on the internet of vehicles
CN110126825A (zh) 用于低级别前馈车辆控制策略的系统和方法
CN104572065A (zh) 远程车辆监控系统和方法
RU2759975C1 (ru) Операционное управление автономным транспортным средством с управлением восприятием визуальной салиентности
CN110441790A (zh) 激光雷达系统中的方法和装置串扰和多径降噪
CN109552212A (zh) 用于自主车辆中的雷达定位的系统和方法
CN109552211A (zh) 用于自主车辆中的雷达定位的系统和方法
CN109781129A (zh) 一种基于车辆间通信的路面安全性检测系统及方法
Anaya et al. Motorcycle detection for ADAS through camera and V2V Communication, a comparative analysis of two modern technologies
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
Chai et al. Autonomous driving changes the future
CN110494341A (zh) 一种智能驾驶车辆让行方法、装置及车载设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102