CN113226878B - 铁路灯检测 - Google Patents

铁路灯检测 Download PDF

Info

Publication number
CN113226878B
CN113226878B CN201980085600.3A CN201980085600A CN113226878B CN 113226878 B CN113226878 B CN 113226878B CN 201980085600 A CN201980085600 A CN 201980085600A CN 113226878 B CN113226878 B CN 113226878B
Authority
CN
China
Prior art keywords
determining
vehicle
pair
confidence level
lamps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980085600.3A
Other languages
English (en)
Other versions
CN113226878A (zh
Inventor
E.萧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113226878A publication Critical patent/CN113226878A/zh
Application granted granted Critical
Publication of CN113226878B publication Critical patent/CN113226878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Atmospheric Sciences (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

本技术涉及基于铁路灯的激活状态来控制车辆200。在一个示例中，一个或多个处理器220接收铁路灯100的图像。一个或多个处理器基于铁路灯的图像来确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯110A、110B的照明状态。一个或多个处理器基于该一对灯的照明状态确定置信水平，其中，该置信水平指示铁路灯是活动的可能性。基于置信水平在车辆接近铁路灯时控制车辆。

Description

铁路灯检测
相关申请的交叉引用
本申请要求于2018年10月26日提交的申请序列号16/171,730的权益，其公开内容通过引用并入于此。
技术领域
本申请涉及铁路灯检测。
背景技术
自主车辆——诸如不需要人类驾驶员的车辆——可以用于帮助将乘客或物品(item)从一个位置运输到另一位置。这样的车辆可以在完全自主模式中进行操作，在完全自主模式中，乘客可以提供诸如上车或目的地位置的一些初始输入，并且车辆将自身操纵到该位置。为了安全地这样做，这些车辆必须能够检测和识别环境中的对象并且快速地对其进行响应。典型地，这些对象是从可以由传感器(诸如，LIDAR、雷达或相机)感知的信息来识别的。
在某些情况下，对活动信号和标志的状态的检测和识别对于将车辆安全地操纵至其目的地至关重要。例如，铁路道口(crossing)灯可以为人类驾驶员提供关于下述的重要的上下文提示：车辆轨迹中的铁路道口处可能正在发生或即将发生的事情。因此，能够检测这样的活动信号并且对其进行响应可能对于确保安全和有效的自主驾驶体验尤其重要。
发明内容
本技术一般涉及基于铁路灯的激活状态来控制车辆。本技术的一个方面是一种方法，该方法包括：由一个或多个处理器接收铁路灯的图像；由一个或多个处理器基于铁路灯的图像，确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯的照明状态；由一个或多个处理器基于该一对灯的照明状态来确定置信水平，其中，置信水平指示铁路灯是活动的可能性；以及基于置信水平在车辆接近铁路灯时控制车辆。
在一些情况下，自主车辆的轨迹基于置信水平来更新，并且基于更新的轨迹在车辆接近铁路灯时来控制该车辆。
在一些情况下，在确定该一对灯的照明状态之前，确定铁路灯沿着自主车辆的轨迹定位并被配置为控制在车辆穿过铁路轨道的方向上的交通行进。
在一些实施例中，确定该一对灯的照明状态还包括：确定车辆与铁路灯的距离；以及在距离确定在预先定义的阈值距离内时，确定该一对灯的照明状态。
在一些实施例中，确定该一对灯的照明状态包括：按照颜色和形状将铁路灯的图像的图像数据进行分类；确定被分类为红色和圆形的图像数据的部分的亮度水平；以及确定亮度水平分别满足或不满足阈值，该阈值指示该一对灯中的至少一个灯被照明或未被照明。在一些情况下，确定亮度水平包括使用基于滑动窗口的相关滤波器。在一些实施例中，确定亮度水平是否满足或不满足阈值包括使用卷积神经网络。
在一些实施例中，确定一对灯的照明状态包括确定该一对灯中的每个灯之间的照明模式。
在一些实施例中，基于该一对灯的照明模式确定更新的置信水平，该更新的置信水平指示铁路灯是活动的更大可能性。
在一些实施例中，当置信水平是第一水平时，更新的轨迹包括在铁路轨道之前停止车辆。在一些情况下，当置信水平是第二水平时，更新的轨迹与紧接在前的轨迹相同。在一些情况下，当置信水平在第一水平与第二水平之间时，更新的轨迹包括使车辆减速。
本技术的另一方面针对一种包括一个或多个处理器的系统。一个或多个处理器被配置为接收铁路灯的图像；基于铁路灯的图像，确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯的照明状态；基于该一对灯的照明状态确定置信水平，其中，该置信水平指示铁路灯是活动的可能性；以及基于该置信水平在车辆接近铁路灯时控制该车辆。
在一些实施例中，一个或多个处理器还被配置为：基于置信水平更新自主车辆的轨迹；以及基于更新的轨迹在车辆接近铁路灯时来控制该车辆。
在一些实施例中，在确定该一对灯的照明状态之前，确定铁路灯沿着自主车辆的轨迹定位并被配置为控制在车辆穿过铁路轨道的方向上的交通行进。在一些实施例中，确定该一对灯的照明状态还包括：确定车辆与铁路灯的距离；以及在距离确定在预先定义的阈值距离内时，确定该一对灯的照明状态。
在一些实施例中，确定该一对灯的照明状态包括：按照颜色和形状将铁路灯的图像的图像数据进行分类；确定被分类为红色和圆形的图像数据的部分的亮度水平；以及确定亮度水平分别满足或不满足阈值，该阈值指示该一对灯中的至少一个灯被照明或未被照明。在一些情况下，确定亮度水平包括使用基于滑动窗口的相关滤波器。在一些情况下，确定亮度水平是否满足或不满足阈值包括使用卷积神经网络。
在一些实施例中，确定一对灯的照明状态包括确定该一对灯中的每个灯之间的照明模式，并且其中一个或多个处理器还被配置为：基于该一对灯的照明状态，确定更新的置信水平，其中，更新的置信水平指示铁路灯是活动的更大可能性。
附图说明
图1A和图1B示出了根据本公开的方面的示例铁路灯。
图2是根据本公开的方面的示例车辆的功能图。
图3是根据本公开的方面的车辆的示例代表性视图。
图4是根据本公开的方面的与地图信息相对应的一段道路的示例视图。
图5A和图5B示出了根据本公开的方面的铁路灯的示例照明。
图6是根据本公开的方面的与地图信息相对应的一段道路和更新的车辆轨迹的示例视图。
图7是根据本公开的方面的流程图。
具体实施方式
概述
本技术涉及检测车辆附近的活动的铁路灯并且对其进行响应。作为一个示例，控制铁路道口的铁路灯组装件100可以包括标志111和一对红色的、圆形的灯110A和110B，其附接到支撑件112，如图1A所示。当铁路灯组装件100被激活时，该一对灯110A、110B被配置为以交替模式闪烁来向车辆、驾驶员、行人等提供铁路道口和/或铁路轨道是活动的警告，包括当火车正接近铁路轨道时。
确定铁路灯组装件100是活动的还是非活动的可以包括使用一个或多个传感器(诸如相机)来通过车辆上的传感器捕获该一对灯的图像，并且确定该一对灯中的一个灯或另一个灯是否被照明。然而，确保该一对灯的图像提供铁路灯的状态的准确表示可能是困难的。例如，存在传感器可能无法捕获该一对灯100A、100B中的被照明的灯的图像的可能性，因为即使当铁路灯是活动的时，灯通常也不会被照明。换句话说，即使当铁路灯被激活时，传感器可能在该一对灯未被照明时捕获其图像。此外，与典型的交通信号灯(例如，交叉路口处的“红”灯)相比，该一灯对100A、100B中的灯的稍大的尺寸，可能导致从该一对灯表面的光反射。这样，存在下述可能性：该一对灯110A和110B的图像——诸如当在太阳120低并且在灯前的时间期间被拍摄时——可能使非活动的铁路灯组装件(诸如铁路灯组装件100)显现为活动的，如图1B中所示。无法准确地表示铁路灯的当前状态的图像可能导致自主(包括半自主)车辆做出可能导致不安全决策的错误确定，诸如行进穿过活动的铁路轨道(例如，当火车正接近或在铁路轨道上时)，或紧急制动以避免穿过非活动的铁路轨道(当火车不一定正接近或在铁路轨道上时)。
为了解决这些问题，在自主车辆接近铁路道口时，可以基于分配给对于一对灯在一时间段上的照明状态的确定的置信水平来调整自主车辆的动作。车辆中的一个或多个计算设备可以与车辆的各种系统通信，各种系统诸如感知和定位系统。从这些系统接收的数据，包括由感知系统的传感器捕获的图像数据，可以被分析以确定沿着自主车辆的轨迹或在自主车辆的轨迹附近定位的铁路灯的状态信息。
铁路灯的状态信息的确定可以基于在车辆接近铁路灯时该一对灯中的每个灯的照明状态。在这点上，计算设备可以确定表示灯的图像数据的亮度和/或颜色强度。基于亮度和/或颜色强度，计算设备可以将由图像数据表示的灯分类为被照明或未被照明。
基于照明分类，可以确定指示铁路灯是活动的或非活动的可能性的置信值。在这点上，针对被照明的灯或该一对灯中的灯之间的特定照明模式中的一些或所有检测，可以增加置信水平。可以基于确定的置信值来调整车辆的行为。在这点上，依赖于置信水平的水平，诸如低或高水平，车辆可以执行一些动作，诸如减速、停止、加速等。
在自主车辆接近和穿过铁路道口时，本文描述的特征允许自主车辆的改进的和更安全的行进。在这点上，本文描述的特征提供活动的铁路灯的更可靠的检测。此外，通过将灯配对在一起，如果仅单个灯被确定为活动的，则减少了检测到伪阳性的机会并且允许车辆更早地减速。这样，可以避免回避操纵，诸如在活动的铁路灯之前紧急制动以停止。
示例系统
如图2中所示，根据本公开的一个方面的车辆200包括各种组件。虽然本公开的某些方面在与特定类型的车辆结合时特别地有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器220、存储器230以及通常地存在于通用计算设备中的其他组件的计算设备210。
存储器230存储由一个或多个处理器220可访问的信息，包括可以由处理器220执行或另外地使用的指令234和数据232。存储器230可以是能够存储由处理器可访问的信息的任何类型，包括计算设备可读介质，或存储可以在电子设备的帮助下读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令234可以是由处理器直接地执行的任何指令集(诸如机器代码)或间接地执行的任何指令集(诸如脚本)。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这点上，术语“指令”和“程序”在本文中可以互换地使用。指令可以以目标代码格式存储以由处理器直接处理，或以任何其他计算设备语言(包括按需解释或预先编译的独立源代码模块的集合或脚本)存储。下面更详细地解释指令的功能、方法和例程。
数据232可以由处理器220根据指令234来检索(retrieve)、存储或修改。例如，尽管要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中、作为具有多个不同字段和记录的表存储在关系数据库中、存储在XML文档中或平面文件中。数据还可以以任何计算设备可读的格式被格式化。
处理器220可以是任何一个或多个常规处理器，诸如市场上可买到的CPU。替选地，该一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图2将计算设备210的处理器、存储器和其他元件功能性地示为在同一块内，但是本领域普通技术人员将理解处理器、计算设备或存储器实际上可以包括可能或可能不存放在同一物理壳体内的多个处理器、计算设备或存储器。例如，存储器230可以是位于与计算设备210的壳体不同的壳体中的硬盘驱动器和/或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。
计算设备210可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器以及一个或多个用户输入250(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕或可操作以显示信息的任何其他电学设备的监视器)。在该示例中，车辆包括一个或多个内部显示器252以及一个或多个扬声器254以提供信息或视听体验。在这点上，显示器252可以位于车辆200的座舱内并且可以由计算设备210使用以向车辆200内或另外地在车辆200附近的乘客或维修人员提供信息。
计算设备210还可以包括一个或多个无线网络连接256以有助于与其他计算设备的通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短距离通信协议，诸如蓝牙、蓝牙低功耗(LE)、蜂窝连接以及各种配置和协议，包括互联网、万维网、内联网、虚拟私人网络、广域网、本地网络、使用对于一个或多个公司专有的通信协议的私人网络、以太网、Wi-Fi和HTTP，以及前述各项的各种组合。车辆200的计算设备210还可以从其他计算设备(未示出)接收信息或向其他计算设备(未示出)传输信息，其他计算设备诸如包含或另外地存储进一步的地图或感知数据的计算设备。
在一个示例中，计算设备210可以控制并入车辆200的自主驾驶计算系统的计算设备。自主驾驶计算系统可能能够与车辆的各种组件通信，以根据在存储器230中所存储的主车辆控制代码来控制车辆200的移动。例如，计算设备210可以与车辆200的各种系统通信，各种系统诸如减速系统260、加速系统262、转向系统264、信令(signaling)系统266、导航系统268、定位系统270、感知系统272和动力系统274(即，车辆的引擎或马达)，以根据存储器230的指令234来控制车辆200的移动、速度(speed)等。再次地，尽管这些系统被示为在计算设备210的外部，但是实际上，这些系统也可以被并入计算设备210中，再次地作为用于控制车辆200的自主驾驶计算系统。
作为示例，计算设备210可以与减速系统260和/或加速系统262的一个或多个致动器或其他这样的组件——诸如车辆的制动器、加速器踏板和/或引擎或马达——相互作用以控制车辆的速度。类似地，可以由计算设备210使用转向系统264的一个或多个致动器或其他这样的组件——诸如转向盘、转向轴和/或齿轮和齿条系统中的小齿轮和齿条，以控制车辆200的方向。例如，如果车辆200被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括一个或多个致动器或其他这样的设备来控制车轮的角度以转动车辆。信令系统266可以由计算设备210使用以例如通过在需要时点亮转向信号或刹车灯(brake light)来向其他驾驶员或车辆用信号发送车辆的意图。
导航系统268可以由计算设备210使用以确定并且跟随到一位置的路线。在这点上，导航系统268和/或数据232可以存储详细的地图/道路图信息，例如识别道路、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植被或其他这样的对象和信息的形状和高度的高度详细的地图。例如，图4示出了识别靠近交叉路口402和铁路道口404的各种道路特征的形状、位置和其他特性的示例地图信息。在该示例中，地图信息400包括定义车道标记410-414、铁路道口闸门420、422、铁路灯组装件424、426(其可以与铁路灯组装件100相同或相似)、铁路轨道480、人行横道430、432、人行道440、停止标志450、452以及车道460、462的形状和交通方向等的形状和位置的信息。尽管地图信息400的示例仅包括一些道路特征，例如，车道线、路肩区域、交叉路口以及车道和朝向，但是地图信息400还可以识别各种其他道路特征，诸如交通信号灯、人行横道、人行道、停止标志、让行(yield)标志、限速标志、道路标志、减速带等。尽管未示出，但是地图信息还可以包括识别限速和其他交通法规要求的信息，诸如给定停止标志的位置或交通信号的状态等，哪个车辆具有通行权。
尽管详细的地图信息在本文被描述为基于图像的地图，但是地图信息不必完全地基于图像(例如，光栅)。例如，详细的地图信息可以包括诸如道路、车道、交叉路口以及这些特征之间的连接的信息的一个或多个道路图或图形网络。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及其是否链接到其他相关特征(例如，停止标志可以链接到道路和交叉路口)的信息相关联。在一些示例中，相关联的数据可以包括基于网格的道路图的索引，以允许某些道路图特征的有效查找。
定位系统270可以由计算设备210使用以确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统270可以包括GPS接收器以确定定位系统的纬度、经度和/或海拔位置。其他定位系统，诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位，也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，诸如纬度、经度和海拔；以及相对位置信息，诸如相对于紧邻围绕其的其他汽车的位置，这经常可以以比绝对地理位置更少的噪声来确定。
定位系统270还可以包括与计算设备210通信的其他设备，诸如加速度计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或对其的改变。仅作为示例，加速设备可以确定其相对于重力方向或与其垂直的平面的俯仰、偏航或滚转(或对其的改变)。设备还可以跟踪速度的增加或减少以及这种改变的方向。可以自动地向计算设备210、其他计算设备和前述的组合提供如本文中阐述的设备的位置和朝向数据的提供。
感知系统272还可以包括一个或多个用于检测车辆外部的对象(诸如，其他车辆、道路中的障碍物、交通信号、标志、树木等)的组件。例如，感知系统272可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备210处理的数据的任何其他检测设备。例如，感知系统272可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备处理的数据的任何其他检测设备。在一些情况下，感知系统可以包括安装在车辆的车顶(roof)或其他方便的位置上的激光器或其他传感器。例如，感知系统272可以使用各种传感器——诸如LIDAR、声纳、雷达、相机等——来检测对象及其特性，诸如位置、朝向、尺寸、形状、类型、方向和移动速度等。在车辆是诸如小型货车的乘用车的情况下，小型货车可以包括安装在车顶或其他方便的位置上的激光器或其他传感器。
例如，图3是车辆200的示例外部视图。在该示例中，车顶上(roof-top)传感器壳体310和圆顶传感器壳体312可以包括一个或多个lidar传感器、相机和/或雷达单元。另外，位于车辆200的前端的壳体320和车辆的驾驶员侧和乘客侧的壳体330、332可以各自存放lidar传感器。例如，壳体330位于驾驶员车门360的前方。车辆200还包括同样位于车辆200的车顶上的雷达单元和/或相机的壳体340、342。额外的雷达单元和相机(未示出)可以位于车辆200的前端和后端和/或沿车顶或车顶上传感器壳体310的其他位置。在这点上，壳体310、312、320、330、332、340和342中的每个可以被视为传感器壳体，任何或所有上述传感器可以被视为车辆感知系统272的一部分。
计算设备可以使用定位系统来确定车辆的位置，并且可以使用感知系统来检测对象(诸如铁路灯(包括一灯对)和/或铁路道口)并且在需要时对对象进行响应，以安全到达该位置。为了这样做，计算设备可以使车辆加速(例如，通过增加由加速系统提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、改变档位和/或通过由减速系统施加制动)、改变方向(例如，通过由转向系统转动车辆的前轮或后轮)，并且用信号发送这种改变(例如，通过点亮信令系统的转向信号)。因此，加速系统和减速系统可以是包括车辆的引擎和车辆的车轮之间的各种组件的传动系统(drivetrain)的一部分。再次地，通过控制这些系统，计算设备还可以控制车辆的传动系统以便自主地操纵车辆。
基于从各个系统组件接收的数据，计算设备可以通过向车辆的各个组件发送指令来控制车辆的方向、速度、加速度等。例如，计算设备可以使用来自地图信息和导航系统的数据完全自主地将车辆导航到目的地位置。
存储器130可以存储各种软件模块和模型。这些模型包括学习得到的模型，例如，那些利用机器学习的模型，诸如分类器。如在本文中所讨论的，该分类器一旦被训练，就可以用于识别活动的和非活动的铁路灯以及铁路灯状态的置信值或可能性值。
示例方法
除了以上描述的和图中示出的操作之外，现在将描述各种操作。应当理解，不必以下面描述的精确顺序执行以下操作。相反，可以以不同的顺序或同时地处置各个步骤，并且还可以添加或省略步骤。
为了检测铁路灯的状态(例如，活动的或非活动的)，计算设备210可以在车辆接近铁路道口时分析铁路灯的图像。如本文所述，地图数据可以包括铁路灯和铁路道口的位置的细节，并且定位系统可以包括关于车辆相对于铁路灯的位置的细节。一旦自主车辆与沿着自主车辆轨迹或在自主车辆轨迹附近定位的并被配置为控制在车辆的方向上的交通的铁路灯相距一定距离，诸如150米或更长或更短，可以开始图像的分析。计算设备210可以基于地图数据和定位系统270来做出车辆相对于铁路灯组装件100的位置的距离确定。
例如，并且再次参考图4，车辆200的示例被示出为在与地图信息400的区域相对应的道路(460、462)的一部分上操纵。在这点上，车辆200正在通过跟随轨迹470越过交叉路口402并且进入车道462。如果跟随轨迹470，则轨迹470将使车辆200越过由铁路灯组装件426控制的铁路道口404。因此，一旦车辆的计算设备210检测到车辆与铁路灯组装件426之间的距离(在图4中标记为X)处于某个阈值距离或在某个阈值距离之内，则计算设备210和/或感知系统272可以分析图像以得到铁路灯组装件426的状态信息。在一些情况下，感知系统272的多个传感器可以同时地捕获铁路灯的图像。在这种情况下，可以选择与具有铁路灯中的灯的最清晰、最直接的视线的图像相对应的图像数据以供分析。
该分析可以包括在车辆接近铁路灯时在一时间段上，经由来自感知系统172的图像监视铁路灯的一对灯中的每个灯的照明状态。例如，计算设备210可以连续地或周期性地对表示围绕并包括一灯对100A、100B中的灯的区域的图像数据进行颜色和形状分类。由于铁路灯通常使用圆形红色的灯，所以计算设备可以确定被分类为红色和圆形的图像数据的部分的亮度和/或颜色强度。例如，可以使用基于滑动窗口的相关滤波器来确定在时间段上被分类为红色和圆形的图像数据的强度。
卷积神经网络可用于基于通过基于滑动窗口的相关滤波器输出的强度确定来对灯是否被照明进行分类。在这点上，满足通过卷积神经网络确定的亮度和/或颜色强度阈值的图像数据可以指示由图像数据表示的灯被照明。强度阈值可以基于特定铁路灯的位置处的条件(诸如环境光、太阳相对于灯的位置等)实证地选择。这样，可以基于一天中的时间、季节等、铁路灯放置的位置和/或铁路灯的历史亮度来调整阈值水平。
在一些情况下，铁路灯组装件100的一对灯100A、100B可以配对在一起以确定该对灯的照明模式是否与典型的铁路灯匹配。在这点上，铁路灯的一对灯中的灯通常可能以每分钟45至65次或者更多或更少的速率交替地闪烁。这样，计算设备210可以监视该对灯的照明模式以确定灯是否正在以与典型的铁路灯的交替模式一致的交替模式照明。例如并且如图5A中所示，可以与铁路灯组装件100相比较的铁路灯组装件426上的一对灯中的第一灯510B可被确定为被照明。如图5B中所示，在第一灯510B被确定为不再照明之后立即地或很快地(诸如一秒或者更长或更短，第二灯510A可以被确定为被照明。在这种情况下，铁路灯组装件426的该对灯的照明模式可以被确定为与典型的铁路灯组装件的照明模式一致。
每次检测到或未检测到一对灯中的单个灯照明或该一对灯中的两个灯照明可以用于调整置信水平。置信水平可以指示计算设备210对于铁路灯是活动的还是非活动的可能性的确定的置信度。在这点上，如在本文中所描述的，针对被照明的灯的每次检测或针对特定照明模式(诸如典型的铁路灯的照明模式)的每次检测，可以增加置信水平。例如，在计算设备210确定该对灯510A、510B以与典型的铁路灯的模式一致的模式照明的情况下，如图5A和图5B中所示，可以增加置信水平，因为铁路灯组装件426更有可能是活动的。在另一示例中，如果计算设备210确定该对灯510A、510B中的单个灯或两个灯已经被照明多次，则置信水平可以每次增加少量。
计算设备210可以在满足阈值的置信水平时确定铁路灯是活动的。在这点上，在检测到该对灯中的某一灯或两个灯被照明特定次数时，置信水平可以增加到使得置信水平满足阈值水平的水平，从而指示铁路灯是活动的。在未检测到照明或针对特定时间段(诸如2秒或者更长或更短)未检测到照明的情况下，置信水平可能降低，因为铁路灯更有可能是非活动的。如果置信水平低于阈值水平(或者高于阈值水平并下降至阈值水平以下)，则计算设备可能认为铁路灯是非活动的。另外，在确定该对灯中的两个灯同时地被照明时(其不在典型的铁路灯的功能内，诸如可能在太阳低并且在灯前时发生)，置信水平也可能降低。
车辆的计算设备210和/或导航系统268可以基于置信水平调整车辆的行为。在这点上，计算设备可以向车辆的导航系统268传递置信水平或数据，其指示计算设备210已经确定了指示活动的或非活动的铁路灯的置信水平。依赖于置信水平的水平或者计算设备210是否已经确定了铁路灯是活动的还是非活动的，导航系统268可以指示车辆执行一些动作。例如，当导航系统268接收到低于阈值的置信水平(指示铁路灯是非活动的)时，导航系统可以指示车辆400保持其当前轨迹，诸如轨迹470，包括其速度和加速度。在另一示例中，当导航系统268接收到在阈值的特定预先定义值内但不满足阈值的置信水平时，导航系统可以使车辆减速以允许用于计算设备的更多时间以接收更多的数据，使得可以调整置信水平，以使其指示活动的或非活动的铁路灯。在又一示例中，如图6中所示，当铁路灯(诸如铁路灯组装件426)是活动的置信水平高时，导航系统268可以生成更新的轨迹670，其指示车辆400减速并且停止在铁路道口404处的停止线625。尽管就高和低而言讨论了置信水平，但是可以使用任何标度(scale)来指示计算设备在其关于铁路灯是活动的还是非活动的确定时的置信度，例如1-10、1-100等。
机器学习模型可以被用于完善(refine)或重新计算置信水平确定。在这点上，诸如在本文中讨论的灯照明确定的输入，以及对火车噪声、落下的铁路闸门、自行车、行人和/或停在铁路闸门(诸如铁路闸门420)前的车辆的检测，在示出火车在铁轨上行进的铁路轨道的附近捕获的图像，火车时刻表等可以馈送到模型中。基于输入，模型可以输出调整后的置信水平。每次将新的输入馈送到机器学习模型时，可以重新计算调整后的置信水平。在一些情况下，先前的置信水平可以被输入到机器学习模型中以提供用于确定调整后的或新的置信水平确定的起点。例如，当模型的输入包括检测到被照明的铁路灯(诸如铁路灯组装件426)和落下的铁路闸门(诸如铁路闸门420)时，置信水平可能是高的。这样，导航系统268可以指示车辆减速(即，降低速度(velocity)和/或加速)并且停止在停止线625处，如图6中所示。
图7是可以由一个或多个处理器(诸如计算设备210的一个或多个处理器220)执行以基于铁路灯的激活状态来控制车辆(诸如车辆200)的流程图700。在框701，铁路灯的图像由一个或多个处理器来接收。在框703，由一个或多个处理器基于铁路灯的图像来确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯的照明状态。在框705，由一个或多个处理器基于该一对灯的照明状态来确定置信水平，其中，置信水平指示铁路灯是活动的的可能性。而且，在框707，基于置信水平在车辆接近铁路灯时控制车辆。
除非另有说明，否则前述替代示例不是相互排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离由权利要求限定的主题的情况下利用以上讨论的特征的这些和其他变化以及组合，因此应当通过对由权利要求所限定的主题的说明的方式而非限制的方式来进行实施例的前述描述。另外，本文描述的示例的提供以及表述为“诸如”、“包括”等的语句不应被解释为将权利要求的主题限制于具体实施例；相反，这些示例仅意图说明许多可能实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (20)

1.一种用于基于铁路灯的激活状态来控制车辆的方法，所述方法包括：
由一个或多个处理器接收铁路灯的图像；
由一个或多个处理器基于铁路灯的图像，确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯的照明状态，其中所述照明状态指示交替闪烁速率，所述交替闪烁速率指示所述一对灯中的每个灯之间的每时间单位的交替闪烁次数；
由一个或多个处理器基于所述一对灯的照明状态来确定置信水平，其中，所述置信水平指示铁路灯是活动的可能性；以及
基于所述置信水平在车辆接近铁路灯时控制所述车辆。
2.根据权利要求1所述的方法，还包括：
由一个或多个处理器基于置信水平来更新自主车辆的轨迹；以及
基于更新的轨迹在车辆接近铁路灯时控制所述车辆。
3.根据权利要求1所述的方法，其中，在确定所述一对灯的照明状态之前，确定铁路灯被配置为控制沿着自主车辆穿过铁路轨道的轨迹的交通行进。
4.根据权利要求1所述的方法，其中，确定所述一对灯的照明状态还包括：
确定车辆与铁路灯的距离；
确定距离小于预先定义的阈值距离；以及
响应于确定距离小于预先定义的阈值距离，确定所述一对灯的照明状态。
5.根据权利要求1所述的方法，其中，确定所述一对灯的照明状态包括：
按照颜色和形状将铁路灯的图像的图像数据进行分类；
确定被分类为红色和圆形的图像数据的部分的亮度水平；以及
确定亮度水平分别满足或不满足阈值，所述阈值指示所述一对灯中的至少一个灯被照明或未被照明。
6.根据权利要求5所述的方法，其中，确定亮度水平包括使用基于滑动窗口的相关滤波器。
7.根据权利要求5所述的方法，其中，确定所述亮度水平是否满足或不满足阈值包括使用卷积神经网络。
8.根据权利要求1所述的方法，其中，确定一对灯的照明状态包括确定所述一对灯中的每个灯之间的照明模式。
9.根据权利要求8所述的方法，还包括：
基于所述一对灯的照明模式确定更新的置信水平，所述更新的置信水平指示铁路灯是活动的更大可能性。
10.根据权利要求2所述的方法，其中，当置信水平是第一水平时，更新的轨迹包括在铁路轨道之前停止车辆。
11.根据权利要求2所述的方法，其中，当置信水平是第二水平时，更新的轨迹与紧接在前的轨迹相同。
12.根据权利要求2所述的方法，其中，当置信水平在第一水平和第二水平之间时，更新的轨迹包括使车辆减速。
13.一种用于基于铁路灯的激活状态来控制车辆的系统，所述系统包括：
一个或多个处理器，其中，所述一个或多个处理器被配置为：
接收铁路灯的图像；
基于铁路灯的图像，确定在车辆接近铁路灯时、在一时间段上铁路灯的一对灯的照明状态，其中所述照明状态指示交替闪烁速率，所述交替闪烁速率指示所述一对灯中的每个灯之间的每时间单位的交替闪烁次数；
基于所述一对灯的照明状态来确定置信水平，其中，所述置信水平指示铁路灯是活动的可能性；以及
基于所述置信水平在车辆接近铁路灯时控制所述车辆。
14.根据权利要求13所述的系统，其中，所述一个或多个处理器还被配置为：
基于置信水平来更新自主车辆的轨迹；以及
基于更新的轨迹在车辆接近铁路灯时控制所述车辆。
15.根据权利要求13所述的系统，其中，在确定所述一对灯的照明状态之前，确定铁路灯被配置为控制沿着自主车辆穿过铁路轨道的轨迹的交通行进。
16.根据权利要求13所述的系统，其中，确定所述一对灯的照明状态还包括：
确定车辆与铁路灯的距离；以及
确定距离小于预先定义的阈值距离；以及
响应于确定距离小于预先定义的阈值距离，确定所述一对灯的照明状态。
17.根据权利要求13所述的系统，其中，确定所述一对灯的照明状态包括：
按颜色和形状对铁路灯的图像的图像数据进行分类；
确定被分类为红色和圆形的图像数据的部分的亮度水平；以及
确定亮度水平分别满足或不满足阈值，该阈值指示所述一对灯中的至少一个灯被照明或未被照明。
18.根据权利要求17所述的系统，其中，确定亮度水平包括使用基于滑动窗口的相关滤波器。
19.根据权利要求17所述的系统，其中，确定亮度水平是否满足或不满足阈值包括使用卷积神经网络。
20.根据权利要求13所述的系统，其中，确定一对灯的照明状态包括确定所述一对灯中的每个灯之间的照明模式，并且其中，所述一个或多个处理器还被配置为：
基于所述一对灯的照明状态确定更新的置信水平，其中，所述更新的置信水平指示铁路灯是活动的更大可能性。
CN201980085600.3A 2018-10-26 2019-10-24 铁路灯检测 Active CN113226878B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/171,730 2018-10-26
US16/171,730 US11249487B2 (en) 2018-10-26 2018-10-26 Railroad light detection
PCT/US2019/057825 WO2020086822A1 (en) 2018-10-26 2019-10-24 Railroad light detection

Publications (2)

Publication Number Publication Date
CN113226878A CN113226878A (zh) 2021-08-06
CN113226878B true CN113226878B (zh) 2024-06-07

Family

ID=70328322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980085600.3A Active CN113226878B (zh) 2018-10-26 2019-10-24 铁路灯检测

Country Status (4)

Country Link
US (2) US11249487B2 (zh)
EP (1) EP3853092A4 (zh)
CN (1) CN113226878B (zh)
WO (1) WO2020086822A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723690B (zh) * 2020-06-03 2023-10-20 北京全路通信信号研究设计院集团有限公司 一种电路设备状态监测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4934633A (en) * 1988-10-07 1990-06-19 Harmon Industries, Inc. Crossing control unit
JP2008115823A (ja) * 2006-11-07 2008-05-22 Toshiba Corp 車両運転支援システム
CN108346315A (zh) * 2017-01-25 2018-07-31 沃尔沃汽车公司 用于共享有关铁路叉口的信息的方法和系统
US10110860B1 (en) * 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013401A (ja) * 2002-06-05 2004-01-15 Sony Corp 車両用通信システム、車両、および車両用通信装置
US20080043099A1 (en) * 2006-08-10 2008-02-21 Mobileye Technologies Ltd. Symmetric filter patterns for enhanced performance of single and concurrent driver assistance applications
JP2011169301A (ja) * 2010-02-22 2011-09-01 Denso Corp エンジン自動停止システム
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
EP2851249B1 (en) * 2013-09-19 2020-08-19 Volvo Car Corporation Motor vehicle safety arrangement and method
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
DE102015218196A1 (de) 2015-09-22 2017-03-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs bei Annäherung an eine Kreuzung mit einer Lichtsignalanlage
DE102016202508B4 (de) 2016-02-18 2022-04-14 Yunex Gmbh Sicherung eines unbeschrankten Bahnübergangs
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10699142B2 (en) * 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection
US10650678B2 (en) * 2018-08-21 2020-05-12 International Business Machines Corporation Cognitive traffic light pattern analysis and notification
US10852743B2 (en) * 2018-09-07 2020-12-01 GM Global Technology Operations LLC Multimodal multi-technique signal fusion system for autonomous vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4934633A (en) * 1988-10-07 1990-06-19 Harmon Industries, Inc. Crossing control unit
US10110860B1 (en) * 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
JP2008115823A (ja) * 2006-11-07 2008-05-22 Toshiba Corp 車両運転支援システム
CN108346315A (zh) * 2017-01-25 2018-07-31 沃尔沃汽车公司 用于共享有关铁路叉口的信息的方法和系统

Also Published As

Publication number Publication date
EP3853092A4 (en) 2022-06-22
CN113226878A (zh) 2021-08-06
US20200133292A1 (en) 2020-04-30
US20220121216A1 (en) 2022-04-21
US11249487B2 (en) 2022-02-15
EP3853092A1 (en) 2021-07-28
WO2020086822A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US11938967B2 (en) Preparing autonomous vehicles for turns
US11636362B1 (en) Predicting trajectory intersection by another road user
US10671079B2 (en) Speed-dependent required lateral clearance for autonomous vehicle path planning
US9120484B1 (en) Modeling behavior based on observations of objects observed in a driving environment
US11760354B2 (en) Multi-way stop intersection precedence for autonomous vehicles
US12005891B2 (en) Early object detection for unprotected turns
US10838417B2 (en) Systems for implementing fallback behaviors for autonomous vehicles
US20200189463A1 (en) Detecting puddles and standing water
CN112789205B (zh) 针对自动驾驶车辆检测队列并对队列进行响应
US20240124030A1 (en) Responding to emergency vehicles for autonomous vehicles
US20220176987A1 (en) Trajectory limiting for autonomous vehicles
US11226626B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
US20220121216A1 (en) Railroad Light Detection
US11590978B1 (en) Assessing perception of sensor using known mapped objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant