CN113168513A - 用于自动车辆的交通灯检测和车道状态辨识 - Google Patents

用于自动车辆的交通灯检测和车道状态辨识 Download PDF

Info

Publication number
CN113168513A
CN113168513A CN201980077196.5A CN201980077196A CN113168513A CN 113168513 A CN113168513 A CN 113168513A CN 201980077196 A CN201980077196 A CN 201980077196A CN 113168513 A CN113168513 A CN 113168513A
Authority
CN
China
Prior art keywords
lane
image
vehicle
interest
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980077196.5A
Other languages
English (en)
Inventor
M.克里沃康
A.S.奥加尔
E.萧
A.温德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113168513A publication Critical patent/CN113168513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Game Theory and Decision Science (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的各方面涉及训练和使用用于确定感兴趣的车道的状态的模型。例如，包括图像(472、600)和标识至少一个交通灯(620、720)、至少一个交通灯的状态和由至少一个交通灯控制的车道的相关联的标签(910)的图像数据可以被接收并用于训练模型，使得模型被配置为响应于接收图像和图像中包括的感兴趣的车道，输出感兴趣的车道的车道状态。然后，车辆(100)可以使用该模型来确定感兴趣的车道的状态。然后，该状态可以被使用以基于感兴趣的车道的状态，以自动驾驶模式控制车辆。

Description

用于自动车辆的交通灯检测和车道状态辨识
相关申请的交叉引用
本申请要求2018年10月24日提交的序列号为16/169,080的申请的权益，其公开内容通过引用结合于此。
背景技术
自动车辆(诸如以自动驾驶模式操作时不需要驾驶员的车辆)可以用于协助将乘客或物品从一个位置运送到另一个位置。自动车辆的重要组件是感知系统，其允许车辆使用传感器(诸如相机、雷达、LIDAR传感器和其他类似的设备)感知和解释其周围环境。例如，感知系统和/或车辆的计算设备可以处理来自这些传感器的数据，以便识别对象及其特性，诸如位置、形状、尺寸、朝向、航向、加速度或减速度、类型等。该信息对于允许车辆的计算系统为车辆做出适当的驾驶决策至关重要。
发明内容
本公开的各方面提供了一种训练用于确定感兴趣的车道的状态的模型的方法。该方法包括由一个或多个服务器计算设备接收图像数据，该图像数据包括图像和标识(identify)至少一个交通灯、至少一个交通灯的状态以及由至少一个交通灯控制的车道的相关联的标签；以及由一个或多个服务器计算设备使用图像数据来训练模型，使得模型被配置为响应于接收到图像和图像中包括的感兴趣的车道，输出感兴趣的车道的车道状态。
在一个示例中，该方法还包括在训练之前，将与车道相对应的路段投影(project)到图像中。在另一个示例中，该方法还包括在训练之前，使用图像和投影生成第二图像，第二图像突出显示(highlight)图像中的投影区域，并且其中，训练模型还基于第二图像。在另一个示例中，该方法还包括：通过将至少一个交通灯的三维位置投影到图像中来生成相关联的标签。在该示例中，该方法还包括：通过处理图像以识别(identify)投影区域内的颜色斑点(blob of color)来确定状态。在另一个示例中，车道状态标识(identify)在那条车道中的车辆需要前进、停车还是小心。在另一个示例中，该方法还包括：训练模型以标识图像中与感兴趣的车道相关的停车线。在该示例中，训练还包括：使用标识图像中停车线的位置的标签。在另一个示例中，图像数据还包括第二图像和标识至少一个交通灯、至少一个交通灯在第二图像中的第二状态的第二相关联的标签，第二状态不同于至少一个交通灯的状态，使得训练包括使用在不同时间、不同状态下捕获到的至少一个交通灯的图像。
本公开的另一个方面提供了一种使用模型来确定感兴趣的车道的状态的方法。该方法包括：由一个或多个处理器接收由车辆的感知系统生成的图像；由一个或多个处理器标识感兴趣的车道；由一个或多个处理器使用图像和感兴趣的车道作为模型的输入，以根据图像中交通灯的状态输出感兴趣的车道的状态；以及由一个或多个处理器基于感兴趣的车道的状态，以自动驾驶模式控制车辆。
在一个示例中，用感兴趣的车道标识图像包括：将与车辆当前行驶的车道相对应的路段投影到图像中。在另一个示例中，该方法还包括：将感兴趣的车道的状态与图像中所确定的交通灯的状态进行比较，并且其中，还基于该比较来控制车辆。在该示例中，车道状态标识该车道中的车辆需要前进、停车还是小心。在另一个示例中，模型还输出图像中与感兴趣的车道相关的停车线的位置，并且还基于停车线的位置来控制车辆。在另一个示例中，该方法还包括：在捕获图像之前，基于预先存储的地图信息，以自动驾驶模式控制车辆，并且当车辆位于不被包括在地图信息中的区域中时，图像被输入到模型中。在另一个示例中，该方法还包括：在捕获图像之前，基于预先存储的地图信息，以自动驾驶模式控制车辆，并且当车辆位于地图信息中不是最新的区域中时，图像被输入到模型中。在另一个示例中，该方法还包括：将车道的状态与基于第二交通灯的状态确定的车道的状态进行比较，并且其中，控制车辆还基于该比较。
本公开的另一个方面提供了一种使用模型来确定感兴趣的车道的状态的系统。该系统包括一个或多个处理器，该一个或多个处理器被配置为接收由车辆的感知系统生成的图像；标识感兴趣的车道；使用图像和感兴趣的车道作为模型的输入，以根据图像中交通灯的状态输出感兴趣的车道的状态；并且基于感兴趣的车道的状态、以自动驾驶模式控制车辆。
在一个示例中，一个或多个处理器还被配置为用感兴趣的车道标记图像包括通过将与车辆当前行驶的车道相对应的路段投影到图像中。在另一个示例中，系统还包括车辆。
附图说明
图1是根据示例性实施例的示例车辆的功能图。
图2是根据本公开的各方面的地图信息的示例。
图3是根据本公开的各方面的车辆的示例外部视图。
图4是根据本公开的各方面的示例系统的示意图。
图5是根据本公开的各方面的图4的系统的功能图。
图6是根据本公开的各方面的示例相机图像。
图7是根据本公开的各方面的LIDAR传感器框架的示例俯视图和相应的部分。
图8是根据本公开的各方面的示例图像和数据。
图9是根据本公开的各方面的示例图像和数据。
图10是根据本公开的各方面的示例图像和数据。
图11是根据本公开的各方面的示例图像和数据。
图12是根据本公开的各方面的示例流程图。
图13是根据本公开的各方面的示例流程图。
具体实施方式
概述
本技术涉及用于自动车辆的对未被映射的(unmapped)交通灯的检测和响应。尽管一些图像处理技术可以用于检测交通灯的位置和状态(红色、绿色、黄色、绿色箭头、闪烁的红色等)，但是自动车辆在不能确定交通灯控制哪条或哪些车道的情况下，不能以有用的方式响应交通灯。通常，这样的信息存储在车辆的地图信息中(例如，标识车道的道路图)，并且可以按需被检索以标识交通灯和车道状态。然而，在一些情况下，诸如在因为地图信息不正确或过时而导致交通灯不被包括在地图信息中的情况下，车辆实际上可能不能确定交通灯控制什么车道以及车辆是否应该响应于该交通灯。这样，车辆可以向操作人员发送远程协助请求，以便被“告知”要做什么。为了避免这种情况，可以使用被标记的相机图像和地图数据来训练机器学习模型，以标识交通灯的位置、那些交通灯与特定车道的关系以及那些车道的状态。
模型的初始训练数据可以以各种方式生成。例如，现有的模型或图像处理技术可以用于标记交通灯的图像以及交通灯的状态。训练数据还可以包括车道信息。例如，给定交通灯的标签可以链接到由该交通灯控制的车道。因此，给定交通灯的标签可以用于推断由该交通灯控制的车道的状态。附加地或可替代地，模型可以使用随时间捕获到的相同的交通灯的标记的图像来训练。
然后，训练后的模型可以用于协助车辆检测和响应交通灯。例如，由车辆的感知系统的相机捕获到的图像可以与感兴趣的车道(此外，这可能是车辆当前行驶的车道)一起被输入到模型中。车辆的计算设备可以使用模型的输出来确定车辆当前行驶的车道的状态。然后可以根据感兴趣的车道的状态来控制车辆。换句话说，输出可以用于确定是否以及如何响应交通灯。该模型还可以用于确认车辆的各种系统的操作。
本文所描述的特征可以允许自动车辆实时地检测和响应交通灯，而不需要那些交通灯被预先识别，或者更确切地，已经被存储在车辆的地图信息中。这在未被映射的区域或地图不正确或不是最新的区域中尤其有用。
示例系统
如图1所示，根据本公开一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、娱乐车辆等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或使用的指令134和数据132。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质、或存储可以借助电子设备来读取的数据的其他介质，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD或其他光盘、以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令134可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在这里可以互换使用。指令可以以目标代码格式存储以便由处理器直接处理、或者以任何其他计算设备语言(包括按需解释或预先编译的脚本或独立源代码模块的集合)存储。下面更详细地解释指令的功能、方法和例程。
数据132可以由处理器120根据指令134来检索、存储或修改。例如，尽管要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中、存储在关系数据库中作为具有多个不同的字段和记录的表、XML文档或平面文件。数据也可以以任何计算设备可读格式被格式化。
一个或多个处理器120可以是任何常规处理器，诸如商业上可获得的CPU或GPU。可替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上示出了处理器、存储器和计算设备110的其他元件在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储在或不存储在同一物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或者存储器的集合的引用。
计算设备110可以包括通常与计算设备结合使用的组件中的所有，诸如上述处理器和存储器以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的车舱内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。
计算设备110还可以包括一个或多个无线网络连接156，以便于与其他计算设备(诸如下面详细描述的客户端计算设备和服务器计算设备)通信。无线网络连接可以包括短程通信协议(诸如蓝牙、蓝牙低能量(LE)、蜂窝连接)，以及各种配置和协议(包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP)，以及前述的各种组合。
在一个示例中，计算设备110可以是结合到车辆100中的自动驾驶计算系统。自动驾驶计算系统可能能够与车辆的各种部件通信，以便以自动驾驶模式控制车辆100。例如，回到图1，计算设备110可以与车辆100的各种系统(诸如减速系统160、加速系统162、转向系统164、信令系统166、规划系统168、定位系统170和感知系统172)通信，以便根据存储器130的指令134、以自动驾驶模式控制车辆100的运动、速度等。此外，尽管这些系统被示出为在计算设备110的外部，但是实际上，这些系统也可以被结合到计算设备110中，同样作为用于控制车辆100的自动驾驶计算系统。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164来控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括控制车轮的角度以转动车辆的部件。计算设备110可以使用信令系统166，以便向其他驾驶员或车辆发信号通知(例如，在需要时通过点亮转弯信号灯或刹车灯)车辆的意图。
计算设备110可以使用规划系统168，以便确定并遵循到某个位置的路线。在这方面，规划系统168和/或数据132可以存储详细的地图信息，例如，标识道路的形状和高度、车道线、十字路口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、停车点植被或其他这样的对象和信息的高度详细的地图。
图2是对包括十字路口202和204的道路的一部分的地图信息200的示例。地图信息200可以是存储在计算设备110的存储器130中的地图信息的本地(local)版本。地图信息的其他版本也可以存储在存储系统450中，下面将进一步讨论。在该示例中，地图信息200包括标识车道线210、212、214、交通灯220、222、停车线224、人行横道230、人行道240、停车标志250、252和让行标志260的形状、位置和其他特性的信息。在这方面，地图信息包括交通灯220、222的三维(3D)位置以及标识由这些交通灯控制的车道的信息。例如，交通灯220可以由与路段218相对应的车道216控制。为了清楚和简单，仅描绘了路段218，尽管地图信息200可以包括地图信息的所有可行驶区域的路段。换句话说，地图信息在这里被描绘为基于图像的地图，地图信息不需要完全地基于图像(例如，光栅)。例如，地图信息可以包括信息(诸如道路、车道、十字路口以及这些特征之间的连接，这些连接可以由路段来表示)的一个或多个道路图或图形网络。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和十字路口等。在一些示例中，相关联的数据可以包括道路图的基于网格的(grid-based)索引，以允许对特定道路图特征的高效查找。
计算设备110可以使用定位系统170来确定车辆在地图上或地球上的相对或绝对定位。例如，定位系统170可以包括GPS接收器，以确定设备的纬度、经度和/或海拔定位。其他位置系统(诸如基于激光的位置(localization)系统、惯性辅助的GPS或基于相机的位置)也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置(诸如纬度、经度和海拔)、以及相对位置信息(诸如相对于紧邻其周围的其他车辆的位置，其通常可以用比绝对地理位置更少的噪声来确定)。
定位系统170还可以包括与计算设备110通信的其他设备，诸如加速度计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或其变化。仅作为示例，加速设备可以确定其相对于重力方向或垂直于重力方向的平面的俯仰、偏转或滚动(或其变化)。设备还可以跟踪速度的增加或减少以及这种变化的方向。本文所阐述的设备提供的位置和朝向数据可以被自动地提供给计算设备110、其他计算设备以及前述的组合。
感知系统172还包括用于检测车辆外部的对象(诸如其他车辆、道路上的障碍物、交通信号、标志、树木等)的一个或多个组件。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备110处理的数据的任何其他的检测设备。在车辆是诸如小型货车的客车的情况下，小型货车可以包括安装在车顶或其他方便位置的激光器或其他的传感器。例如，图3是车辆100的示例外部视图。在该示例中，车顶外壳310和圆顶外壳312可以包括LIDAR传感器以及各种相机和雷达单元。此外，位于车辆100的前端的外壳320和车辆的驾驶员侧和乘客侧的外壳330、332可以各自存储LIDAR传感器。例如，外壳330位于驾驶员车门360的前面。车辆100还包括同样位于车辆100的顶部的雷达单元和/或相机的外壳340、342。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端、和/或在沿着顶部或车顶外壳310的其他定位上。
在一个示例中，计算设备110可以是自动驾驶计算系统的控制计算设备、或者被结合到车辆100中。自动驾驶计算系统可能能够与车辆的各种组件通信，以便根据存储器130的主要车辆控制代码来控制车辆100的移动。例如，回到图1，计算设备110可以与车辆100的各种系统(诸如减速系统160、加速系统162、转向系统164、信令系统166、规划系统168、定位系统170、感知系统172和动力系统174(即车辆的引擎或马达))通信，以便根据存储器130的指令134控制车辆100的移动、速度等。此外，尽管这些系统被示为在计算设备110的外部，但实际上，这些系统也可以被结合到计算设备110中，同样作为用于控制车辆100的自动驾驶计算系统。
车辆的各种系统可以使用自动车辆控制软件运行(function)，以确定如何控制车辆以及确定控制车辆。作为示例，感知系统172的感知系统软件模块可以使用由自动车辆的一个或多个传感器(诸如相机、LIDAR传感器、雷达单元、声纳单元等)生成的传感器数据，以检测和识别对象及其特性。这些特性可以包括位置、类型、航向、朝向、速度、加速度、加速度变化、尺寸、形状等。在一些情况下，特性可以被输入到行为预测系统软件模块中，该行为预测系统软件模块使用基于对象类型的各种行为模型来为检测到的对象输出预测的未来行为。在其他情况下，特性可以被输入到一个或多个检测系统软件模块中，诸如被配置为检测已知交通信号的状态的交通灯检测系统软件模块、被配置为从由车辆的一个或多个传感器生成的传感器数据检测建筑区的建筑区检测系统软件模块、以及被配置为从由车辆的传感器生成的传感器数据检测紧急车辆的紧急车辆检测系统。这些检测系统软件模块中的每一个都可以使用各种模型来输出建筑区或对象是紧急车辆的可能性。检测到的对象、预测的未来行为、来自检测系统软件模块的各种可能性、标识车辆的环境的地图信息、来自定位系统170的标识车辆位置和朝向的定位信息、车辆的目的地以及来自车辆的各种其他系统的反馈可以被输入到规划系统168的规划系统软件模块中。规划系统和/或计算设备110可以使用该输入来生成车辆在未来的某个短暂时间段内要遵循的路线和轨迹。例如，计算设备110的控制系统软件模块可以被配置为通过控制车辆的制动、加速和转向来控制车辆的移动，以便遵循轨迹。
计算设备110可以通过控制各种组件来控制车辆。例如，作为示例，计算设备110可以使用来自详细的地图信息和规划系统168的数据完全自动地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置，并且使用感知系统172在需要时检测并响应对象以安全到达该位置。此外，为了这样做，计算设备110可以生成轨迹，并且例如通过使车辆加速(例如，通过加速系统162向引擎或动力系统174提供燃料或其他能量)、减速(例如，通过减少向引擎或动力系统174提供的燃料、换档和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164转动车辆100的前轮或后轮)和发信号通知这样的改变(例如，通过点亮信令系统166的转向信号)，来使车辆遵循这些轨迹。因此，加速系统162和减速系统160可以是动力传动系统的部分，该动力传动系统包括车辆的引擎和车轮之间的各种组件。此外，通过控制这些系统，计算设备110还可以控制车辆的传动系统，以便自动地操纵车辆。
车辆100的计算设备110还可以从其他计算设备(诸如作为运输服务的部分的那些计算设备以及其他计算设备)接收信息或向其他计算设备传送信息。图4和图5分别是示例系统400的示意图和功能图，示例系统400包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括车辆100和可以被配置为与车辆100相同或相似的车辆100A、100B。尽管为了简单起见，仅描述了几个车辆和计算设备，但是典型的系统可以包括显著更多的车辆和计算设备。
如图4所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可以被配置为类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134。
网络460和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙、蓝牙LE、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP，以及前述的各种组合。这样的通信可以由能够向其他计算设备发送和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
在一个示例中，一个或多个计算设备110可以包括具有多个计算设备的一个或多个服务器计算设备(例如负载平衡服务器群)，所述多个计算设备与网络的不同节点交换信息，目的是从其他计算设备接收、处理数据和向其他计算设备发送数据。例如，一个或多个计算设备410可以包括能够经由网络460与车辆100的计算设备110或车辆100A、100B的类似计算设备以及计算设备420、430、440通信的一个或多个服务器计算设备。例如，车辆100、100A、100B可以是可以向服务器计算设备410发送信息和从其接收信息的车队的部分。此外，服务器计算设备410可以使用网络460向用户(诸如用户422、432、442)发送信息并在显示器(诸如计算设备420、430、440的显示器424、434、444)上向用户呈现信息。在这方面，计算设备420、430、440可以被认为是客户端计算设备。
如图4所示，每个客户端计算设备420、430、440可以是供用户422、432、442使用的个人计算设备，并且具有通常与个人计算设备结合使用的组件中的所有，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器424、434、444的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或可操作来显示信息的其他设备)和用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的组件中的所有。
尽管客户端计算设备420、430和440每个可以包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如互联网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话或能够经由互联网或其他网络获得信息的设备，诸如支持无线的PDA、平板PC、可穿戴计算设备或系统或者上网本。在另一个示例中，客户端计算设备430可以是可穿戴计算系统，如图4所示的手表。作为示例，用户可以使用小型键盘、小键盘、麦克风、通过相机使用可视信号或触摸屏来输入信息。
与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在可以物理上位于相同或不同地理位置的多个不同的存储设备上。如图4和图5所示，存储系统450可以经由网络460连接到计算设备，和/或可以直接连接到或结合到计算设备110、410、420、430、440等中的任何一个。
存储系统450可以存储各种类型的信息，如下文更详细描述的。该信息可以由服务器计算设备(诸如一个或多个服务器计算设备)来检索或以其他方式被访问，以便执行本文所描述的特征中的一些或所有。该信息可以由服务器计算设备(诸如一个或多个服务器计算设备410)来检索或以其他方式被访问，以执行本文所描述的特征中的一些或所有。
例如，存储系统450可以存储由车辆的感知系统(诸如车辆100的感知系统172)捕获到的传感器数据。该传感器数据可以包括多个图像472。该多个图像可以包括由自动车辆的感知系统捕获到的图像，以便提供可能出现在这些图像中的标志的最相关的上下文和朝向。例如，多个图像可以是由安装在一个或多个车辆(诸如车辆100或100A)上的静止的和/或视频相机或者其他传感器捕获到的图像或帧，并且经由网络460被上传或以其他方式被发送到存储系统450以进行存储。因此，图像可以准确地反映从车辆的相机或感知系统的视角、对道路和各种对象的感知。这些图像中的至少一些可以与标签和其他信息相关联，如下文进一步讨论的。
每个图像可以与标识图像被捕获的位置和朝向的位置信息和/或更多细节信息(诸如图像内的各种表面的地理信息，该图像通过与其他图像进行比较和/或从与图像同时地由感知系统172的LIDAR传感器捕获到的LIDAR传感器数据确定)相关联。例如，LIDAR传感器数据可以包括与表面的位置和强度(或反射率)相对应的数据点，由LIDAR传感器生成的光从该表面反射回LIDAR传感器。该信息可以用于确定相机图像中那些表面的对应关系。
存储系统450以及车辆100的数据132可以存储一个或多个模型470以及每个这样的模型的模型参数值474。例如，存储系统可以存储用于确定感兴趣的车道的状态的一个或多个模型。模型470可以包括分类器，诸如神经网络、深度神经网络、决策树、提升树(boosting tree)等。此外，存储系统450可以包括可以用于训练模型的训练子系统476，如下面进一步讨论的。
与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机存储，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在可以物理上位于相同或不同地理位置处的多个不同的存储设备上。存储系统450可以经由如图4所示的网络460连接到计算设备，和/或可以直接连接到或结合到计算设备110、410、420、430、440等中的任何一个。
示例方法
除了上述和附图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序来执行。相反，可以以不同的顺序或同时处理各种步骤，并且也可以添加或省略步骤。
为了能够使用一个或多个模型470的模型来识别交通灯，模型可以首先被“离线”训练，即提前和/或在远程计算设备处被训练，然后经由网络460和无线网络连接156被发送到车辆100。例如，服务器计算设备410中的一个或多个可以通过首先从存储系统450检索训练数据来生成模型参数值474。
例如，一个或多个服务器计算设备410可以检索图像集。如上所述，这些图像可以包括存储系统450中与交通灯可能可见的位置相对应的多个图像472，诸如距离由交通灯控制的地图信息的十字路口预定距离并朝向该十字路口的图像，诸如图2的十字路口202。例如，由安装在诸如车辆100的车辆上的相机或其他传感器捕获到的图像可以被检索和/或包括在集合中，其中，相机在交通灯的特定距离内并且朝向交通灯。在一些示例中，包括被部分遮挡或被完全遮挡的交通灯的图像可能不被检索和/或不包括在集合中。在其他示例中，包括被遮挡的交通灯的图像可以被检索和包括在集合中，以用于确定或预测每个图像是否包括被部分或被完全被遮挡的交通灯、以及用于确定或预测是否可以从被部分遮挡的交通灯图像中确定交通灯状态。在一些示例中，可以使用模型470来执行对被遮挡的图像是否包括足够的用于确定交通灯状态的交通灯视图的预测。在其他示例中，可以使用另一个模型(未示出)来提供指示被遮挡的图像被包括在交通灯可能可见的图像集中的输出，该被遮挡的图像具有足够的用于确定交通灯状态的交通灯的视图。图6是当车辆接近地图信息的十字路口202时，由车辆100的感知系统172的相机捕获到的示例相机图像600。在该示例中，交通灯620和十字路口630以及车道640的部分在相机图像600中被捕获。该相机图像可以被处理并用于生成模型的初始训练数据。
如上所述，存储系统的图像可以与标识图像被捕获的位置和朝向的信息相关联。图7描绘了车辆100在包括十字路口702和704的道路的部分700上被操纵。在图7的示例中，十字路口702和704分别对应于地图信息200的十字路口202和204。在该示例中，车道线710、712和714分别对应于车道线210、212和214的形状、位置和其他特性。类似地，人行横道730分别对应于人行横道230的形状、位置和其他特性；人行道740对应于人行道240；交通信号灯720、722分别对应于交通信号灯220、222；停车标志750、752分别对应于停车标志250、252；而让行标志760对应于让行标志260。车辆100正以图像600被捕获的位置和朝向接近十字路口702。在这方面，图像600可以从存储系统450中被检索并包括在图像集中。
模型的初始训练数据可以以各种方式从图像集生成。例如，操作人员可以通过查看图像、在交通灯周围绘制边界框以及识别交通灯的状态来标记交通灯的图像以及交通灯的状态。附加地或可替代地，现有的模型或图像处理技术可以用于标记交通灯的图像以及交通灯的状态。如上所述，车辆100可以利用交通灯检测系统软件模块，该模块被配置为基于先验位置(诸如在地图信息200中标识的位置)来检测已知交通信号的状态。该软件模块可以用于检测交通灯的位置及其状态。例如，在地图信息中标识的交通灯的三维位置可以被投影到由车辆的感知系统捕获到的图像中。
例如，交通灯220的三维位置可以被投影到图像600中，如图8所示。然后，图像中该投影区域810可以被处理，以确定图像600中交通灯的状态。因此，转向图9，可以生成图像600的标签910，包括(来自地图信息200的)交通灯220的三维位置和/或(来自投影区域810的)交通灯620的二维位置。
然后，投影区域可以被处理，以识别颜色和/或形状(绿色圆、箭头、绿色等)，以便确定交通灯的状态。该信息可以用于生成标识由交通灯控制的车道的状态的图像的第二标签。由交通灯控制的车道可以具有不同的状态。例如，车道可以具有诸如“前进”或“行进”(绿色)、“停车”(红色)、“行进前停车”(闪烁的红色：)、“小心”或“让行”(黄色或闪烁的黄色)、“箭头向左”(进入左转车道的变体)、“箭头向右”(进入右转车道的变体)等状态。在这方面，回到图9，标签920可以包括从图像600确定的交通灯620的状态。
训练数据还可以包括车道信息。例如，标识给定交通灯的二维或三维位置的标签也可以标识由该交通灯控制的车道。这可以通过将由图像中被标记的交通灯控制的车道的位置(例如，如在地图信息中所提供的车道的中心)绘制或投影在该图像中来实现。投影可以使用从三维世界坐标到图像坐标的已知三维变换来实现。例如，地图信息200可以标识交通灯220控制与车道216相对应的路段218。转向图10，该车道的区域或路段的形状可以被投影到图像600中，以确定投影1010的线或第二投影1020的区域。然后，该投影(例如线或区域)、以及在一些情况下图像中距交通灯620的距离和方向，可以用于生成标签1030，例如，标签1030对感兴趣的车道的位置进行着色或以其他方式进行标识。这样，标签1030标识感兴趣的车道，在此是车道640和/或路段218。
可替代地，可以生成附加图像，而不是将另一个标签应用于图像。例如，相同的图像可以被处理，以便以一种颜色(诸如白色)突出描绘车道，或者更确切地说，突出描绘投影区域，并且以另一种颜色(诸如黑色)突出描绘图像的其余部分。当然，可以有多种不同的方法来标识感兴趣的车道。
在这方面，给定图像和感兴趣的车道(典型地，车辆当前行驶的车道)，模型可以被训练为输出车道的状态，而不是输出图像中交通灯的状态。例如，诸如图像600和标签910、920和1030的被标记的图像可以用于训练模型，或者更确切地说，用于生成模型参数474。作为示例，图像和标识交通灯的感兴趣的车道位置的标签(诸如图像600和标签1030)，可以被提供为训练输入，并且标识车道的状态和交通灯的二维或三维位置以及感兴趣的车道和交通灯之间的关系的标签(诸如标签910和920)，可以被提供为相应的训练输出。在这方面，模型可以被训练为还标识与感兴趣的车道相对应的一个或多个交通灯以及该交通灯和感兴趣的车道之间的关系。用于训练模型的图像和标签越多，模型参数274可能变得越准确。同时，用于训练模型的图像和标签越多，模型在预测感兴趣的车道的状态方面就越可能变得更好。
在一些情况下，模型可以被训练，以标识活动和非活动元素和/或交通灯的配置。例如，训练数据可以识别交通灯中哪些交通信号灯可以点亮和不点亮和/或元素的数量(例如，有多少灯是红色、绿色、黄色、变绿等)。
在一些情况下，模型也可以被训练，以标识停车线以及到感兴趣的车道的停车线的距离。换句话说，图像可以用被投影到图像中的停车线来标记，该停车线也是先前在地图信息中标识的。例如，转向图11，图像600还可以通过将停车线224的位置投影到图像600中来处理，如投影区域1110所示。然后，投影区域1110(包括其位置)、以及在一些情况下距图像中的交通灯620的距离和方向可以用于生成另一个标签，该标签可以用作训练模型的训练输出。作为结果，模型也可以被训练来提供停车线的位置和距离信息，向车辆的计算设备提供关于车辆应该如何响应交通灯的更多信息。
附加地或可替代地，可以使用随时间捕获到的相同的交通灯的图像来训练模型。在这方面，模型可以是循环神经网络或长短期记忆神经网络。例如，随着时间的推移，交通灯720的状态会改变，并且在不同时间捕获到的图像中呈现出不同。这以及关于交通灯模式的一些启发式方法(heuristics)，也可以用于确定或确认交通灯(和车道)的检测状态。例如，如果交通灯是绿色的，则下一个颜色交通灯可能是红色的。因此，车道状态可以被确定，使得交通灯状态之间的时间一致性得以实施。这也可以帮助模型提供关于灯的动态状态的信息，诸如闪烁的红色或黄色灯。
图12是根据本公开的各方面的示例流程图1200，其可以由一个或多个计算设备的一个或多个处理器(诸如服务器计算设备410的处理器)执行，以便训练用于标识感兴趣的车道的车道状态的模型。例如，在框1210，接收图像数据，该图像数据包括图像和标识至少一个交通灯、至少一个交通灯的状态以及由至少一个交通灯控制的车道的相关联的标签。如上所述，这些标签可以以各种方式生成。在框1220，使用图像数据训练模型，使得模型被配置为响应于接收图像和包括在图像中的感兴趣的车道，输出感兴趣的车道的车道状态。
然后，模型可以被提供给一个或多个车辆，以允许这些车辆的计算设备做出更明智的驾驶决策。例如，模型470和模型参数值474可以被发送到车辆100的计算设备110，例如经由网络460、或者通过以其他方式将该信息加载到计算设备110中。然后，该信息可以存储在计算设备110的存储器130中，以便允许计算设备使用该模型来为车辆100做出驾驶决策。
然后，训练后的模型可以用于协助车辆检测和响应交通灯。例如，由车辆的感知系统(诸如车辆100的感知系统172)的相机捕获到的图像可以与感兴趣的车道一起被输入到模型中。由计算设备110可以标识感兴趣的车道以作为到模型的输入，并且可以是车辆当前行驶的车道和/或车辆将在未来某个点穿过的路段。因此，在一些情况下，模型可以被训练为假设感兴趣的车道总是汽车当前所在的车道，并且仅基于相机图像来预测该车道的状态，而不特别要求将感兴趣的车道指定为输入。在其他情况下，感兴趣的车道可以是相邻的车道(诸如转向车道)、或者用于相反或交叉交通的车道。这可以协助计算设备110更好地响应那些车道中的交通，以及更好地评估车辆当前行驶的车道的状态。然后，感兴趣的车道和图像可以被输入到模型中。
在一些情况下，车辆的计算设备(诸如计算设备110)可以用感兴趣的车道来标记图像。为此，计算设备110例如使用上述任何技术生成标识图像中的感兴趣的车道的标签。因此，被标记的图像，或者更确切地说，图像和标签，可以被输入到模型中。
模型的输出可以提供感兴趣的车道的状态和图像中相应的交通灯。该状态可以由车辆的计算设备220使用，以便确定车辆当前行驶的车道的状态。然后，可以根据感兴趣的车道的状态，以自动驾驶模式控制车辆(如上所述)。在这方面，计算设备110可以控制车辆，以便前进、停车或小心地行进。换句话说，输出可以用于确定是否以及如何响应交通灯。
模型可以被“全时(full time)”使用，即从图像中连续地检测车道的状态，以便从被映射的交通灯中识别未被映射或车道状态。可替代地，模型可以在未被映射或以其他方式被改变的区域(在一定程度上不同于地图信息的区域)中用作备份系统，以便识别车道状态。换句话说，图像和标签是输入，仅当车辆位于不被包括在地图信息中的区域中和/或仅当车辆位于地图信息的本地版本中不是最新的区域中时，图像才被输入到模型中。这可以避免向远程操作员请求协助的需要。
模型还可以用于确认车辆各种系统的操作。例如，典型地，在十字路口有多于一个交通灯。如果第二个交通灯是可见的并且连接到同一感兴趣的车道，则可以比较从交通灯中的每一个确定的车道的状态，以确保一致性。这可以允许车辆识别其感知系统的问题，并在需要时请求协助。
图13是根据本公开的各方面的示例流程图1300，其可以由一个或多个计算设备的一个或多个处理器(诸如计算设备110的处理器120)来执行，以便确定感兴趣的车道的车道状态并以自动驾驶模式控制车辆，诸如车辆100。在框1310，接收由车辆的感知系统生成的图像。在框1320，标识感兴趣的车道。在框1330，图像和感兴趣的车道用作模型的输入，该模型根据图像中交通灯的状态输出感兴趣的车道的状态。在框1340，基于感兴趣的车道的状态，以自动驾驶模式控制车辆。
本文所描述的特征可以允许自动车辆实时地检测和响应交通灯，而不需要那些交通灯被预先识别，或者更确切地，已经被存储在车辆的地图信息中。这在未被映射的区域或地图不正确或不是最新的区域中尤其有用。
除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上面描述的这些特征和特征的其他变化和组合，所以对实施例的前述描述应该通过说明的方式进行，而不是通过限制由权利要求所限定的主题进行。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的子句不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例旨在仅说明多种可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。

Claims (20)

1.一种训练用于确定感兴趣的车道的状态的模型的方法，所述方法包括：
由一个或多个服务器计算设备接收图像数据，所述图像数据包括图像和标识至少一个交通灯、所述至少一个交通灯的状态以及由所述至少一个交通灯控制的车道的相关联的标签；以及
由一个或多个服务器计算设备使用所述图像数据来训练所述模型，使得所述模型被配置为响应于接收到图像和所述图像中包括的感兴趣的车道，输出所述感兴趣的车道的车道状态。
2.根据权利要求1所述的方法，还包括，在训练之前，将与所述车道相对应的路段投影到所述图像中。
3.根据权利要求1所述的方法，还包括，在训练之前，使用所述图像和所述投影生成第二图像，所述第二图像突出显示所述图像中的投影区域，并且其中，训练所述模型的还基于所述第二图像。
4.根据权利要求1所述的方法，还包括，通过将所述至少一个交通灯的三维位置投影到所述图像中来生成所述相关联的标签。
5.根据权利要求4所述的方法，还包括，通过处理所述图像以识别所述投影区域内的颜色斑点来确定所述状态。
6.根据权利要求1所述的方法，其中，所述车道状态标识在那条车道中的车辆需要前进、停车还是小心。
7.根据权利要求1所述的方法，还包括，训练所述模型以标识图像中与所述感兴趣的车道相关的停车线。
8.根据权利要求7所述的方法，其中，所述训练还包括：使用标识所述图像中的停车线的位置的标签。
9.根据权利要求1所述的方法，其中，所述图像数据还包括第二图像和标识所述至少一个交通灯、所述至少一个交通灯在所述第二图像中的第二状态的第二相关联标签，所述第二状态不同于所述至少一个交通灯的状态，使得所述训练包括使用在不同时间、不同状态下捕获到的所述至少一个交通灯的图像。
10.一种使用模型来确定感兴趣的车道的状态的方法，所述方法包括：
由一个或多个处理器接收由车辆的感知系统生成的图像；
由一个或多个处理器标识感兴趣的车道；
由一个或多个处理器使用所述图像和所述感兴趣的车道作为所述模型的输入，以根据所述图像中的交通灯的状态输出所述感兴趣的车道的状态；以及
由一个或多个处理器基于所述感兴趣的车道的状态以自动驾驶模式控制车辆。
11.根据权利要求10所述的方法，其中，标识感兴趣的车道包括：将与车辆当前行驶的车道相对应的路段投影到所述图像中。
12.根据权利要求10所述的方法，还包括，将所述感兴趣的车道的状态与所述图像中所确定的交通灯的状态进行比较，并且其中，控制车辆还基于所述比较。
13.根据权利要求12所述的方法，其中，所述车道状态标识所述车道中的车辆需要前进、停车还是小心。
14.根据权利要求10所述的方法，其中，所述模型还输出所述图像中与所述感兴趣的车道相关的停车线的位置，并且还基于所述停车线的位置来控制车辆。
15.根据权利要求10所述的方法，还包括，在捕获所述图像之前，基于预先存储的地图信息以自动驾驶模式控制车辆，并且当车辆位于不被包括在所述地图信息中的区域中时，将所述图像输入到所述模型中。
16.根据权利要求10所述的方法，还包括，在捕获所述图像之前，基于预先存储的地图信息以自动驾驶模式控制车辆，并且当车辆位于所述地图信息中不是最新的区域中时，将所述图像输入到所述模型中。
17.根据权利要求10所述的方法，还包括，将所述车道的状态与基于第二交通灯的状态所确定的车道的状态进行比较，并且其中，控制车辆还基于所述比较。
18.一种用于使用模型来确定感兴趣的车道的状态的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为：
接收由车辆的感知系统生成的图像；
标识感兴趣的车道；
使用所述图像和所述感兴趣的车道作为所述模型的输入，以根据所述图像中的交通灯的状态输出所述感兴趣的车道的状态；以及
基于所述感兴趣的车道的状态以自动驾驶模式控制车辆。
19.根据权利要求10所述的系统，其中，所述一个或多个处理器还被配置为用所述感兴趣的车道标记所述图像包括：通过将与车辆当前行驶的车道相对应的路段投影到所述图像中。
20.根据权利要求18所述的系统，还包括所述车辆。
CN201980077196.5A 2018-10-24 2019-10-18 用于自动车辆的交通灯检测和车道状态辨识 Pending CN113168513A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/169,080 US11056005B2 (en) 2018-10-24 2018-10-24 Traffic light detection and lane state recognition for autonomous vehicles
US16/169,080 2018-10-24
PCT/US2019/056941 WO2020086398A1 (en) 2018-10-24 2019-10-18 Traffic light detection and lane state recognition for autonomous vehicles

Publications (1)

Publication Number Publication Date
CN113168513A true CN113168513A (zh) 2021-07-23

Family

ID=68468847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077196.5A Pending CN113168513A (zh) 2018-10-24 2019-10-18 用于自动车辆的交通灯检测和车道状态辨识

Country Status (6)

Country Link
US (2) US11056005B2 (zh)
EP (1) EP3850537A1 (zh)
JP (1) JP7150159B2 (zh)
KR (1) KR102558774B1 (zh)
CN (1) CN113168513A (zh)
WO (1) WO2020086398A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3709623A1 (en) * 2019-03-15 2020-09-16 Aptiv Technologies Limited Method for simulating a digital imaging device
JP2020167550A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 通信装置、通信方法及びプログラム
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
KR20210016927A (ko) * 2019-08-06 2021-02-17 현대자동차주식회사 차량 내 장치 및 그의 신호등 정보 제공 방법
US20210166145A1 (en) * 2019-12-02 2021-06-03 Lyft, Inc. Leveraging Traffic Patterns to Understand Traffic Rules
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
US11436842B2 (en) * 2020-03-13 2022-09-06 Argo AI, LLC Bulb mask representation for traffic light classification
US20210284195A1 (en) * 2020-03-13 2021-09-16 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
KR20210127858A (ko) * 2020-04-14 2021-10-25 현대모비스 주식회사 주행 가이드 시스템 및 그 방법
US11704912B2 (en) * 2020-06-16 2023-07-18 Ford Global Technologies, Llc Label-free performance evaluator for traffic light classifier system
US11845469B2 (en) * 2020-06-29 2023-12-19 Waymo Llc Yellow light durations for autonomous vehicles
US11935309B2 (en) * 2020-08-25 2024-03-19 Ford Global Technologies, Llc Determining traffic light labels and classification quality from infrastructure signals
DE102020214327A1 (de) * 2020-11-13 2022-05-19 Continental Automotive Gmbh Verfahren und System zum Bestimmen einer Position einer Fahrspur
CN112347969B (zh) * 2020-11-18 2022-11-04 合肥湛达智能科技有限公司 一种基于深度学习的变道不打灯行为检测方法
US11620836B2 (en) 2020-12-04 2023-04-04 Argo AI, LLC Light emitting diode flicker mitigation
CN113723229A (zh) * 2021-08-16 2021-11-30 浙江大华技术股份有限公司 信号灯的检测方法、装置及计算机可读存储介质
US20230169780A1 (en) * 2021-12-01 2023-06-01 Motional Ad Llc Automatically detecting traffic signals using sensor data
WO2024081593A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Methods and systems for traffic light labelling via motion inference

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034348A (zh) * 2010-11-26 2011-04-27 南京莱斯信息技术股份有限公司 一种道路交通状态识别方法
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
CN106980657A (zh) * 2017-03-15 2017-07-25 北京理工大学 一种基于信息融合的车道级电子地图构建方法
CN107992829A (zh) * 2017-12-05 2018-05-04 武汉中海庭数据技术有限公司 一种交通信号灯车道级控制关系提取方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704619B1 (en) 2003-05-24 2004-03-09 American Gnc Corporation Method and system for universal guidance and control of automated machines
JP5254102B2 (ja) * 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
DK2435149T3 (en) * 2009-05-28 2015-09-21 Anki Inc Distributed system for autonomous control of toy cars
US8521396B2 (en) 2009-09-23 2013-08-27 Honda Motor Co., Ltd. Control device of inverted pendulum type vehicle
JP5874972B2 (ja) * 2012-01-11 2016-03-02 いすゞ自動車株式会社 路車間通信システム
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
JP6579699B2 (ja) * 2015-07-29 2019-09-25 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
US10127461B2 (en) * 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
US10185881B2 (en) 2016-11-23 2019-01-22 Ford Global Technologies, Llc Traffic-light detection and classification using computer vision and deep learning
US10745009B2 (en) 2016-12-21 2020-08-18 Samsung Electronics Co., Ltd. Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US10490066B2 (en) 2016-12-29 2019-11-26 X Development Llc Dynamic traffic control
US20180211120A1 (en) 2017-01-25 2018-07-26 Ford Global Technologies, Llc Training An Automatic Traffic Light Detection Model Using Simulated Images
KR101908309B1 (ko) * 2017-04-12 2018-10-16 엘지전자 주식회사 차량용 램프
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
US10220769B1 (en) * 2017-08-22 2019-03-05 Ford Global Technologies, Llc Vehicular image projection
JP6494729B2 (ja) * 2017-11-24 2019-04-03 株式会社ゼンリン 運転支援システム、プログラム
US10816985B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method on moving obstacle representation for trajectory planning
EP3784989B1 (en) 2018-05-15 2024-02-14 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
CN102034348A (zh) * 2010-11-26 2011-04-27 南京莱斯信息技术股份有限公司 一种道路交通状态识别方法
CN106980657A (zh) * 2017-03-15 2017-07-25 北京理工大学 一种基于信息融合的车道级电子地图构建方法
CN107992829A (zh) * 2017-12-05 2018-05-04 武汉中海庭数据技术有限公司 一种交通信号灯车道级控制关系提取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOU XING,FEI XIAO: "《Predictions of short-term driving intention using recurrent neural network on sequential data》", 《ARXIV》 *

Also Published As

Publication number Publication date
JP2022504457A (ja) 2022-01-13
KR20210078532A (ko) 2021-06-28
WO2020086398A1 (en) 2020-04-30
US20200135030A1 (en) 2020-04-30
JP7150159B2 (ja) 2022-10-07
US11056005B2 (en) 2021-07-06
KR102558774B1 (ko) 2023-07-25
US11645852B2 (en) 2023-05-09
US20210343150A1 (en) 2021-11-04
EP3850537A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
US11645852B2 (en) Traffic light detection and lane state recognition for autonomous vehicles
US11061406B2 (en) Object action classification for autonomous vehicles
US11307587B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
CN113196357B (zh) 响应于检测和分析陌生交通标志来控制自主车辆的方法和系统
CA3043211A1 (en) Dynamic routing for autonomous vehicles
US20220155415A1 (en) Detecting Spurious Objects For Autonomous Vehicles
US20220004197A1 (en) Verification Of Iterative Closest Point Alignments For Autonomous Vehicles
US11673581B2 (en) Puddle occupancy grid for autonomous vehicles
US20230046289A1 (en) Automatic labeling of objects in sensor data
WO2020041023A1 (en) Detecting and responding to processions for autonomous vehicles
CN113928335A (zh) 用于控制具有自主驾驶模式的车辆的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination