CN111108505B - 用于检测交通工具的尾灯信号的系统和方法 - Google Patents

用于检测交通工具的尾灯信号的系统和方法 Download PDF

Info

Publication number
CN111108505B
CN111108505B CN201880061462.0A CN201880061462A CN111108505B CN 111108505 B CN111108505 B CN 111108505B CN 201880061462 A CN201880061462 A CN 201880061462A CN 111108505 B CN111108505 B CN 111108505B
Authority
CN
China
Prior art keywords
tail light
vehicle
light signal
images
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880061462.0A
Other languages
English (en)
Other versions
CN111108505A (zh
Inventor
王一杰
朱力耕
王泮渠
陈鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Priority to CN202410389432.XA priority Critical patent/CN118196759A/zh
Publication of CN111108505A publication Critical patent/CN111108505A/zh
Application granted granted Critical
Publication of CN111108505B publication Critical patent/CN111108505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/12—Motorcycles, Trikes; Quads; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/143—Busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/252—Snowmobiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/30—Railway vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/50—Aeroplanes, Helicopters
    • B60Y2200/51—Aeroplanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/50—Aeroplanes, Helicopters
    • B60Y2200/52—Helicopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/86—Carts; Golf carts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Abstract

一种使用卷积神经网络检测交通工具尾灯信号的系统和方法。方法包括：从一个或多个图像生成设备接收图像；对于每个图像生成帧；生成地面实况，其中该地面实况包括标记图像，该标记图像具有用于该交通工具的右尾灯信号或左尾灯信号的以下尾灯状态条件中的一种尾灯状态条件：(1)不可见的右尾灯信号或左尾灯信号，(2)可见但未被照亮的右尾灯信号或左尾灯信号，以及(3)可见且被照亮的右尾灯信号或左尾灯信号，创建第一数据集，该第一数据集包括与该多个图像相对应的标记图像，该标记图像包括右尾灯信号或左尾灯信号的尾灯状态条件中的一个或多个尾灯状态条件；以及创建第二数据集，该第二数据集包括至少一对图像的部分，其中至少一对该图像的部分在时间上连续。

Description

用于检测交通工具的尾灯信号的系统和方法
相关申请的交叉引用
本申请要求于2017年9月20日提交的美国专利申请第15/709,832号的优先权。
版权声明
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有人不反对任何人对专利文件或专利公开内容的传真复制，就像在美国专利商标局的专利文件或记录中所显示的那样，但是任何情况下都保留了所有版权。以下声明适用于此处的公开内容和形成本文件一部分的附图：版权206-201，TUSimple，保留所有权利。
技术领域
本专利文件总体上涉及用于图像处理、交通工具控制系统和自主驾驶系统的工具(系统、装置、方法、计算机程序产品等)，以及更具体地(但不限于)涉及用于检测交通工具尾灯信号的系统和方法。
背景技术
对于所有在公共道路上运行的机动交通工具，尾灯信号是法律要求的项目。尾灯信号的状态能够帮助驾驶员理解前方交通工具(前方的邻近交通工具)中的另一驾驶员的意图。即使对于人类驾驶员，与夜间驾驶相比，在白天更难辨别交通工具的尾灯信号的状态。对于自主交通工具控制系统，标识交通工具的尾灯信号的状态并由此确定其他前方交通工具的驾驶员的意图是关键的。另外，在自主交通工具中的传统摄像机系统中存在限制，这使得传统的自主交通工具控制系统难以识别前方交通工具的尾灯的状态，特别是在白天的条件下。而且，对于自主交通工具控制系统来说，与区分指示制动条件的尾灯信号相比，区分指示转向意图的尾灯信号更加复杂。交通工具类型的多样性也提出了许多挑战，特别是考虑到重型交通工具。传统的自主交通工具控制系统不能实现模仿人类驾驶员在各种驾驶条件下快速和准确识别尾灯信号的能力。结果，由于传统系统不能实现尾灯识别以确定前方的邻近交通工具驾驶员的意图，所以牺牲了自主交通工具控制的安全性和效率。
发明内容
公开了一种用于检测交通工具的尾灯信号的系统和方法。尾灯识别是检测交通工具尾灯信号的任务，包括制动、转向和紧急停止信号。在本文公开的各种示例实施例中，提供了一种尾灯信号识别系统。示例实施例能够在所有驾驶条件下实时自动检测针对所有类型交通工具的尾灯信号。示例实施例能够使用安装在对象交通工具上的面向前方的摄像机作为输入传感器。示例实施例提供了一种用于自动检测邻近前方交通工具的尾灯信号的方法，该方法包括在计算设备处从对象交通工具的一个或多个摄像机接收图像序列，对于图像序列中的每个图像生成帧，以及用邻近前方交通工具的尾灯信号的三种状态中的一种尾灯信号状态来标记图像。该方法还包括创建对应于图像的第一数据集和第二数据集，以及训练卷积神经网络以组合第一数据集和第二数据集。该方法还包括标识对应于尾灯信号的时间模式的统计的置信度，将该置信度加载到计算模型，以及细化计算模型的参数。
附图说明
在附图的各图中通过示例而非通过限制的方式示出了各种实施例，其中：
图1图示出示例生态系统的框图，在该示例生态系统中能够实现示例实施例的车载尾灯信号识别系统；
图2图示出示例实施例的尾灯信号识别系统的部件；
图3是基本流程图，其图示出用于检测交通工具尾灯信号的系统和方法的示例实施例；
图4至图6图示出通过示例实施例的尾灯信号识别模块执行的处理的示例；
图7是详细流程图，其图示出用于检测交通工具尾灯信号的系统和方法的示例实施例；
图8是处理流程图，其图示出用于检测交通工具的尾灯信号的系统和方法的示例实施例；以及
图9示出了计算机系统的示例形式的机器的示意图，其中一组指令在被执行时能够使机器执行本文讨论的任何一种或多种方法。
具体实施方式
在下面的描述中，出于解释的目的，阐述了许多具体细节，以提供对各种实施例的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，能够在没有这些具体细节的情况下实施各种实施例。
如在各种示例实施例中所描述的，本文描述了一种用于检测交通工具的尾灯信号的系统和方法。本文公开的示例实施例可用于交通工具生态系统101中的车载控制系统150的环境中。在一个示例实施例中，车载控制系统150具有驻留在交通工具105中的尾灯信号识别模块200，该车载控制系统能够被配置为与图1所图示的架构和生态系统101类似。然而，对于本领域的普通技术人员来说清楚的是，本文描述和要求保护的尾灯信号识别模块200也能够被实现、配置和用于各种其他应用和系统中。
现在参照图1，框图图示出示例生态系统101，其中能够实现示例实施例的车载控制系统150和尾灯信号识别模块200。下面将更详细地描述这些部件。生态系统101包括各种系统和部件，该生态系统能够产生和/或传送一个或多个信息源/数据源和相关的服务到能够安装在交通工具105中的车载控制系统150和尾灯信号识别模块200。例如，安装在交通工具105中的摄像机(或其他图像生成设备)能够生成能够通过车载控制系统150接收的图像和定时数据，该摄像机作为交通工具子系统140的设备之一。车载控制系统150和在其中执行的尾灯信号识别模块200能够接收该图像和定时数据输入。如下文更详细地描述的，尾灯信号识别模块200能够处理图像输入并生成尾灯信号状态信息，该尾灯信号状态信息能够被自主交通工具控制子系统用作交通工具子系统140的另一个子系统。例如，自主交通工具控制子系统能够使用实时生成的尾灯信号状态信息来安全高效地导航和控制交通工具105通过真实世界的驾驶环境，同时避开障碍物和安全地控制交通工具。
在本文描述的示例实施例中，车载控制系统150能够与多个交通工具子系统140进行数据通信，所有这些交通工具子系统都能够驻留在用户的交通工具105中。提供交通工具子系统接口141，以促进车载控制系统150和多个交通工具子系统140之间的数据通信。车载控制系统150能够被配置为包括数据处理器171，以执行尾灯信号识别模块200，用于处理从一个或多个交通工具子系统140接收的图像数据。数据处理器171能够与数据存储设备172结合，作为车载控制系统150中的计算系统170的一部分。数据存储设备172可用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165，以促进数据处理器171和尾灯信号识别模块200之间的数据通信。在各种示例实施例中，与尾灯信号识别模块200类似地被配置的多个处理模块能够被提供用于由数据处理器171执行。如图1中虚线所示，尾灯信号识别模块200能够集成到车载控制系统150中，可选地下载到车载控制系统150，或者与车载控制系统150分开部署。
车载控制系统150能够被配置为从广域网120和与广域网120连接的网络资源122接收数据，或向广域网120和与广域网120连接的网络资源122发送数据。车载网络使能设备130和/或用户移动设备132能够用于经由网络120进行通信。网络使能设备接口131能够由车载控制系统150使用，以促进经由车载网络使能设备130在车载控制系统150和网络120之间进行数据通信。类似地，车载控制系统150能够使用用户移动设备接口133，以便于经由用户移动设备132在车载控制系统150和网络120之间的数据通信。以这种方式，车载控制系统150能够经由网络120获得对网络资源122的实时访问。网络资源122可以被用于获得由数据处理器171执行的处理模块，训练内部神经网络的数据内容，系统参数或其他数据。
生态系统101能够包括广域数据网络120。网络120代表一个或多个传统的广域数据网络，诸如因特网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等。这些网络120中的一个或多个网络可用于将用户或客户机系统与网络资源122连接，该网络资源诸如网站、服务器、中央控制站点等。网络资源122能够生成和/或分发数据，该数据能够经由车载网络使能设备130或用户移动设备132在交通工具105中接收。网络资源122还能够托管网络云服务，其能够支持用于计算或协助处理图像输入或图像输入分析的功能。天线可用于经由蜂窝、卫星、无线电或其他传统信号接收机制而将车载控制系统150和尾灯信号识别模块200与数据网络120连接。这样的蜂窝数据网络当前是可用的(例如VerizonTM、AT&TTM、T-MobileTM等)。这样的基于卫星的数据或内容网络当前也是可用的(例如，SiriusXMTM、HughesNetTM等)。传统的广播网络，诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WIFI网络、对等网络、IP语音(VoIP)网络等也是众所周知的。因此，如下文更详细地描述的，车载控制系统150和尾灯信号识别模块200能够经由车载网络使能设备接口131接收基于网络的数据或内容，该车载网络使能设备接口能够用于连接车载网络使能设备接收器130和网络120。以这种方式，车载控制系统150和尾灯信号识别模块200能够从交通工具105内支持各种网络可连接的车载设备和系统。
如图1所示，车载控制系统150和尾灯信号识别模块200还能够从用户移动设备132接收数据、图像处理控制参数和训练内容，该用户移动设备能够被设置在交通工具105内部或附近。用户移动设备132能够代表标准移动设备，诸如蜂窝电话、智能手机、个人数字助理(PDA)、MP3播放器、平板计算设备(例如iPadTM)、膝上计算机、CD播放器和其他移动设备，它们能够为车载控制系统150和尾灯信号识别模块200产生、接收和/或传送数据、图像处理控制参数和内容。如图1所示，移动设备132也能够与网络云120进行数据通信。移动设备132能够从移动设备132自身的内部存储器部件或经由网络120从网络资源122获得数据和内容。另外，移动设备132本身能够包括GPS数据接收器、加速度计、WiFi三角测量或移动设备中的其他地理位置传感器或部件，其能够用于在任何时刻(经由移动设备)确定用户的实时地理位置。在任何情况下，如图1所示，车载控制系统150和尾灯信号识别模块200都能够从移动设备132接收数据。
仍然参照图1，生态系统101的示例实施例能够包括交通工具操作子系统140。对于在交通工具105中实施的实施例，许多标准交通工具包括支持用于发动机、制动器、变速器、电气系统、排放系统、内部环境等的监测/控制子系统的操作子系统，诸如电子控制单元(ECU)。例如，经由交通工具子系统接口141从交通工具操作子系统140(例如，交通工具105的ECU)传输给车载控制系统150的数据信号，该数据信号能够包括关于交通工具105的一个或多个部件或子系统的状态的信息。特别地，数据信号能够从交通工具操作系统140向交通工具105的控制器局域网(CAN)总线传输，该数据信号能够由车载控制系统150经由交通工具子系统接口141接收和处理。本文描述的系统和方法的实施例能够与基本上任何使用本文定义的CAN总线或类似数据通信总线的机械化系统一起使用，包括但不限于工业设备、船舶、卡车、机械设施或汽车；因此，本文使用的术语“交通工具”能够包括任何这样的机械化系统。本文所描述的系统和方法的实施例也能够与采用某种形式的网络数据通信的任何系统一起使用，但是，不需要这样的网络通信。
仍然参照图1，生态系统101和其中的交通工具操作子系统140的示例实施例能够包括支持交通工具105操作的各种交通工具子系统。通常，交通工具105能够采取例如汽车、卡车、摩托车、公共汽车、船舶、飞行器、直升机、割草机、推土机、雪地车、飞行器、娱乐车辆、游乐场车辆、农用设备、建筑设备、电车、高尔夫球车、火车和电车的形式。其他交通工具也是可能的。交通工具105能够被配置为完全或部分地在自主模式下操作。例如，当处于自主模式时，交通工具105能够控制其自身，并可操作以确定交通工具的当前状态及其环境，确定该环境中的至少一个其他交通工具的预测行为，确定可对应于该至少一个其他交通工具执行所述预测行为的可能性的置信度水平，以及基于所确定的信息控制该交通工具105。当处于自主模式时，交通工具105能够被配置为在没有人际交互作用的情况下操作。
交通工具105能够包括各种交通工具子系统，诸如交通工具驱动子系统142、交通工具传感器子系统144、交通工具控制子系统146和乘员接口子系统148。如上所述，交通工具105还可以包括车载控制系统150、计算系统170和尾灯信号识别模块200。交通工具105可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。此外，交通工具105的每个子系统和元件能够互连。因此，交通工具105的一个或多个所述功能能够被划分为附加的功能或物理部件，或者被组合为较少的功能或物理部件。在一些另外的实施例中，附加的功能和物理部件能够被添加到图1所示的实施例中。
交通工具驱动子系统142可以包括可操作以向交通工具105提供动力运动的部件。在示例实施例中，交通工具驱动子系统142可以包括发动机或马达、车轮/轮胎、变速器、电气子系统和动力源。发动机或马达可以是内燃机、电动机、蒸汽机、燃料电池发动机、丙烷发动机或其他类型的发动机或马达的任何组合。在一些示例实施例中，发动机可以被配置为将动力源转换为机械能。在一些示例实施例中，交通工具驱动子系统142能够包括多种类型的发动机或马达。例如，气电混合动力汽车能够包括汽油发动机和电动机。其他示例也是可能的。
交通工具105的车轮可以是标准轮胎。交通工具105的车轮能够配置成各种形式，包括单轮车、两轮车、三轮车或四轮形式，例如诸如在汽车或卡车上。其他车轮几何形状也是可能的，诸如包括六个或更多车轮的那些车轮。交通工具105的车轮的任何组合可操作以相对于其他车轮差动地旋转。车轮可以表示至少一个固定附接到变速器的车轮，和至少一个联接到该车轮的轮缘的轮胎，该轮缘能够与驱动表面接触。车轮可以包括金属和橡胶的组合，或者材料的另一种组合。变速器可包括可操作以将机械动力从发动机传递给车轮的元件。为此，变速器可包括齿轮箱、离合器、差速器和驱动轴。传动装置也可以包括其他元件。驱动轴可以包括可联接到一个或多个车轮的一个或多个轴。电气系统可以包括可操作以在交通工具105中传送和控制电信号的元件。这些电信号可用于启动交通工具105的灯、伺服装置、电动机和其他电驱动或控制的装置。动力源可以表示能够全部或部分地为发动机或马达提供动力的能源。也就是说，发动机或马达能够被配置为将动力源转换成机械能。动力源的示例包括汽油、柴油、其他石油基燃料、丙烷、其他压缩气体基燃料、乙醇、燃料电池、太阳能电池板、电池和其他电力源。动力源能够附加地或备选地包括燃料箱、电池、电容器或飞轮的任何组合。动力源还可以为交通工具105的其他子系统提供能量。
交通工具传感器子系统144可以包括被配置为感测关于交通工具105的环境或条件的信息的多个传感器。例如，交通工具传感器子系统144可以包括惯性测量单元(IMU)、全球定位系统(GPS)收发器、雷达单元、激光测距仪/激光雷达单元，以及一个或多个摄像机或其他图像生成设备。交通工具传感器子系统144还可以包括被配置为监测交通工具105的内部系统(例如O2监测器、燃油表、机油温度)的传感器。其他传感器也是可能的。包括在交通工具传感器子系统144中的一个或多个传感器可以被配置为单独地或共同地致动，以便修改一个或多个传感器的位置、定向或二者。
IMU可以包括被配置为基于惯性加速度来感测交通工具105的位置和定向变化的传感器(例如，加速度计和陀螺仪)的任何组合。GPS收发器可以是被配置为估计交通工具105的地理位置的任何传感器。为此，GPS收发器可以包括接收机/发射机，该接收机/发射机可操作以提供关于交通工具105相对于地球的位置的信息。雷达单元可以表示利用无线电信号来感测交通工具105的本地环境内的对象的系统。在一些实施例中，除了感测物体外，雷达单元可以附加地被配置为感测邻近交通工具105的对象的速度和前进方向。激光测距仪或激光雷达单元可以是被配置为使用激光感测交通工具105所处于环境中的对象的任何传感器。在示例实施例中，激光测距仪/激光雷达单元，可以包括一个或多个激光源、激光扫描器和一个或多个检测器以及其他系统部件。激光测距仪/激光雷达单元能够被配置为在相干(例如，使用外差检测)或非相干检测模式下操作。摄像机能够包括被配置为一个或多个捕获交通工具105环境的多个图像的设备。摄像机可以是静止图像摄像机或运动视频摄像机。
交通工具控制系统146可以被配置为控制交通工具105及其部件的操作。相应地，交通工具控制系统146可以包括各种元件，诸如转向单元、节气门、制动单元、导航单元和自主控制单元。
转向单元可以表示可操作以调整交通工具105前进方向的机构的任何组合。节气门可以被配置为控制例如发动机的操作速度，进而控制交通工具105的速度。制动单元可包括配置为使交通工具105减速的机构的任何组合。制动单元可利用摩擦力以标准方式使车轮减速。在其他实施例中，制动单元能够将车轮的动能转换成电流。制动单元也可以采用其他形式。导航单元可以是被配置为确定交通工具105的行驶路径或路线的任何系统。导航单元可以附加地被配置为在交通工具105运行时动态地更新行驶路径。在一些实施例中，导航单元可以被配置为并入来自尾灯信号识别模块200、GPS收发器和一个或多个预定地图的数据，以确定交通工具105的行驶路径。自主控制单元可以表示控制系统，该控制系统被配置为标识、评估和避免或以其他方式协商交通工具105的环境中的潜在障碍物。通常，自主控制单元可以被配置为控制交通工具105用于在没有驾驶员的情况下操作，或者在控制交通工具105时提供驾驶员辅助。在一些实施例中，自主控制单元可以被配置为并入来自尾灯信号识别模块200、GPS收发器、雷达、激光雷达、摄像机和其他交通工具子系统的数据，以确定交通工具105的行驶路径或轨迹。交通工具控制系统146可以附加地或备选地包括除了所示出和所述的那些部件之外的部件。
乘员接口子系统148可以被配置为允许交通工具105与外部传感器、其他交通工具、其他计算机系统、和/或交通工具105的乘员或用户之间的交互。例如，乘员接口子系统148可以包括标准可视显示设备(例如，等离子显示器、液晶显示器(LCD)、触摸屏显示器、平视显示器等)，扬声器或其他音频输出设备，麦克风或其他音频输入设备，导航接口，以及用于控制交通工具105的内部环境(例如温度、风扇等)的接口。
在示例实施例中，乘员接口子系统148可以提供例如用于交通工具105的用户/乘员与其他交通工具子系统交互的装置。可视显示设备可以向交通工具105的用户提供信息。用户接口设备还能够可操作以经由触摸屏接收来自用户的输入。触摸屏可以被配置为经由电容感测、电阻感测或表面声波处理以及其他可能性来感测用户手指的位置和移动二者中的至少一个。触摸屏能够感测手指在平行于或平面于触摸屏表面的方向上的运动、在垂直于触摸屏表面的方向上的运动，或者这两个方向上的运动，并且还可以能够感测施加到触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏也能够采用其他形式。
在其他情况下，乘员接口子系统148可以针对交通工具105提供与其环境中的设备进行通信的装置。麦克风可以被配置为从交通工具105的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器可以被配置为向交通工具105的用户输出音频。在一个示例实施例中，乘员接口子系统148可以被配置为直接或经由通信网络与一个或多个设备进行无线通信。例如，无线通信系统能够使用3G蜂窝通信，诸如CDMA、EVDO、GSM/GPRS，或者4G蜂窝通信，诸如WiMAX或LTE。备选地，无线通信系统可以例如使用与无线局域网(WLAN)通信。在一些实施例中，无线通信系统146可以例如使用红外链路、/>或/>直接与设备通信。在本公开的上下文中，诸如各种交通工具通信系统的其他无线协议也是可能的。例如，无线通信系统可以包括一个或多个专用短距离通信(DSRC)设备，该专用短距离通信设备能够包括交通工具和/或路边站点之间的公共或私人数据通信。
交通工具105的许多或所有功能可由计算系统170控制。计算系统170可以包括至少一个数据处理器171(其能够包括至少一个微处理器)，该数据处理器执行存储在诸如数据存储设备172的非瞬时计算机可读介质中的处理指令。计算系统170还可以表示多个计算设备，这些计算设备可以用于以分布式方式控制交通工具105的各个部件或子系统。在一些实施例中，数据存储设备172可以包含可由数据处理器171实行的处理指令(例如，程序逻辑)，以执行交通工具105的各种功能，包括本文结合附图描述的那些功能。数据存储设备172也可以包含附加的指令，这些指令包括：向交通工具驱动子系统142、交通工具传感器子系统144、交通工具控制子系统146和乘员接口子系统148中的一个或多个发送数据的指令，从交通工具驱动子系统142、交通工具传感器子系统144、交通工具控制子系统146和乘员接口子系统148中的一个或多个接收数据的指令，与交通工具驱动子系统142、交通工具传感器子系统144、交通工具控制子系统146和乘员接口子系统148中的一个或多个交互的指令，或控制交通工具驱动子系统142、交通工具传感器子系统144、交通工具控制子系统146和乘员接口子系统148中的一个或多个的指令。
除了处理指令之外，数据存储设备172还能够存储数据，例如图像处理参数，训练数据，道路地图和路径信息，以及其他信息。这样的信息能够由交通工具105和计算系统170在交通工具105以自主、半自主和/或手动模式操作期间使用。
交通工具105可以包括用户界面，用于向交通工具105的用户或乘员提供信息或从交通工具105的乘员接收输入。用户界面可以控制可在显示设备上显示的交互式图像的内容和布局，或启用该内容和布局的控制。此外，用户界面可以包括一组乘客接口子系统148内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信系统。
计算系统170可以基于从各种交通工具子系统(例如，交通工具驱动子系统142，交通工具传感器子系统144和交通工具控制子系统146)以及从乘员接口子系统148接收的输入来控制交通工具105的功能。例如，计算系统170可以使用来自交通工具控制系统146的输入来控制转向单元，以避开由交通工具传感器子系统144和尾灯信号识别模块200检测到的障碍物，基于尾灯信号识别模块200产生的输出，以受控方式移动，或沿路径或轨迹移动。在一个示例实施例中，计算系统170能够操作以提供对交通工具105及其子系统的许多方面的控制。
虽然图1示出了交通工具105的各种部件，例如，交通工具子系统140、计算系统170、数据存储装置172，以及尾灯信号识别模块200，当被集成到交通工具105中时，这些部件中的一个或多个部件能够与交通工具105分开安装或相关联。例如，数据存储设备172能够部分地或全部地与交通工具105分开存在。因此，交通工具105能够以设备元件的形式提供，该设备元件能够单独地或一起地定位。组成交通工具105的设备元件能够以有线或无线方式通信地耦合在一起。
另外，如上所述，通过车载控制系统150能够从本地和/或远程源获得其他数据和/或内容(本文表示为辅助数据)。辅助数据可用于扩充、修改、或者基于多种因素训练尾灯信号识别模块200的操作，包括：用户操作交通工具的环境(例如，交通工具的位置、指定的目的地、行进方向、速度、一天中的时间、交通工具的状态等)，以及如本文所述可从本地和远程的各种来源获得的各种其他数据。
在特定实施例中，车载控制系统150和尾灯信号识别模块200能够实现为交通工具105的车载部件。在各种示例实施例中，与之进行数据通信的车载控制系统150和尾灯信号识别模块200能够被实现为集成部件或分离部件。在示例实施例中，通过使用经由网络120与移动设备132和/或网络资源122的数据连接，车载控制系统150和/或尾灯信号识别模块200的软件组件能够被动态地更新、修改和/或扩充。车载控制系统150能够周期性地向移动设备132或网络资源122查询更新，或者能够将更新推送到车载控制系统150。
现在参照图2，图中示出了示例实施例的尾灯信号识别系统201的部件，其中具有尾灯信号识别模块200。在示例实施例中，尾灯信号识别模块200能够被配置为包括深度卷积神经网络173和尾灯信号状态确定模块175。如下文更详细地描述的，深度卷积神经网络173和尾灯信号状态确定模块175用于分析从一个或多个交通工具传感器子系统144接收的一个或多个输入图像210，包括一个或多个摄像机，并且确定对应于邻近前方交通工具的图像的尾灯信号的状态。深度卷积神经网络173和尾灯信号状态确定模块175能够被配置为由车载控制系统150的数据处理器171所执行的软件模块。如下文更详细地描述的，尾灯信号识别模块200的模块173和模块175能够接收图像输入210并产生尾灯信号状态信息220。结果，交通工具控制子系统146的自主控制子系统能够更高效和安全地控制交通工具105。作为它们的图像处理的一部分，深度卷积神经网络173和尾灯信号状态确定模块175能够被配置为与尾灯信号分析参数174一起工作，这能够用于定制和微调尾灯信号识别模块200的操作。尾灯信号分析参数174能够被存储在车载控制系统150的存储器172中。
在示例实施例中，如图1所示，尾灯信号识别模块200能够被配置为包括与车载控制系统150接合的接口，尾灯信号识别模块200能够通过该接口发送和接收本文所述的数据。另外，尾灯信号识别模块200能够被配置为包括与车载控制系统50和/或其他生态系统101子系统的接口，尾灯信号识别模块200能够通过该接口从上述各种数据源接收辅助数据。如本文所述，尾灯信号识别模块200也能够在未部署在交通工具中的系统和平台中实施，并且这些系统和平台不必须在交通工具中或与交通工具一起使用。
在如图2所示的示例实施例中，尾灯信号识别模块200能够被配置为包括深度卷积神经网络173和尾灯信号状态确定模块175，以及为了清楚起见未示出的其他处理模块。这些模块中的每个模块能够实施为在尾灯信号识别系统201的可执行环境内执行或激活的软件、固件或其他逻辑部件，该尾灯信号识别系统在车载控制系统150内操作或与车载控制系统进行数据通信。下面结合本文提供的附图更详细地描述示例实施例的这些模块中的每个模块。
用于检测交通工具尾灯信号的系统和方法
公开了一种用于检测交通工具的尾灯信号的系统和方法。在本文公开的各种示例实施例中，提供了一种尾灯信号识别系统。示例实施例能够在所有行驶条件下实时自动检测所有类型交通工具的尾灯信号。示例实施例能够使用安装在对象交通工具上的面向前方的摄像机作为输入传感器。示例实施例提供了一种用于自动检测邻近前方交通工具的尾灯信号的方法，该方法包括：在计算设备处从对象交通工具的一个或多个摄像机接收图像序列，针对图像序列中的每个图像生成帧，以及用邻近前方交通工具的尾灯信号的三种状态中的一种尾灯信号状态来标记图像。该方法还包括创建对应于图像的第一数据集和第二数据集，以及训练卷积神经网络以组合第一数据集和第二数据集。该方法还包括标识对应于尾灯信号的时间模式的统计的置信度，将该置信度加载到计算模型，以及细化计算模型的参数。
再次参照图2，该图示出了示例实施例的尾灯信号识别模块200的部件。如下文更详细地描述的，深度卷积神经网络173和尾灯信号状态确定模块175用于分析从一个或多个交通工具传感器子系统144接收的一个或多个输入图像210，并且确定对应于邻近前方交通工具的图像的尾灯信号的状态，该一个或多个交通工具传感器子系统包括一个或多个摄像机。深度卷积神经网络173和尾灯信号状态确定模块175能够被配置为提供从一个或多个交通工具传感器子系统144接收的输入图像210的像素级语义分割，该一个或多个交通工具传感器子系统包括一个或多个摄像机。备选地，深度卷积神经网络173和尾灯信号状态确定模块175能够被配置为从交通工具105的子系统的图像处理模块和/或检测和跟踪模块获得处理图像。在一个示例实施例中，如下文更详细地描述的，尾灯信号识别模块200的模块173和模块175能够接收一个或多个输入图像210，并产生尾灯信号状态信息220。对于输入图像210，尾灯信号状态信息220表示像素级交通工具定义的输出和可视化，所述像素级交通工具定义是由输入图像210的语义分割分析确定的。另外，尾灯信号状态信息220表示基于由尾灯信号识别模块200执行的处理操作的每个邻近的前方交通工具的尾灯信号状态的输出和可视化。因此，尾灯信号状态信息220包括在一个或多个输入图像210中检测到的每个前方交通工具对象的针对每个实例检测到的尾灯信号的当前状态。像素级示例性的交通工具尾灯状态识别使得尾灯信号识别模块200能够确定针对每个邻近的前方交通工具的尾灯状态，从而使得交通工具控制子系统能够确定邻近的前方交通工具中的驾驶员的意图。结果，交通工具控制子系统146的自主控制子系统能够更高效和安全地控制交通工具105。作为图像处理和尾灯状态检测的一部分，深度卷积神经网络173和尾灯信号状态确定模块175可被配置为与尾灯信号分析参数174一起工作，该参数可用于定制和微调尾灯信号识别模块200的操作。尾灯信号分析参数174能够被存储在车载控制系统150的存储器172中。
现在参照图3，基本流程图示出了如本文所公开的用于检测交通工具尾灯信号的系统和方法的示例实施例。下面结合图4至图6所示的样本图像来描述如图3所示的基本操作流程。图4至图6示出了由示例实施例的尾灯信号识别模块200执行的处理的示例。图4示出了作为输入图像210接收的样本未处理的输入图像。图5示出了对未处理的输入图像210应用语义分割操作的结果。图5还示出了对象检测框架的例子，其使用边界框来定义对输入图像210中的对象的检测以及生成相应的语义分割标签映射。在图5所示的示例中，在未处理的输入图像210中检测到的交通工具对象的实例各自用边界框取景，并给予唯一标识符(ID)。图6示出了由示例实施例的尾灯信号识别模块200执行的处理的结果的示例，其中已经从在未处理的输入图像210中检测到的邻近前方交通工具对象之一识别出尾灯信号。作为由尾灯信号识别模块200产生的尾灯信号状态信息220的一部分，如在图6的例子中被标识为#2的交通工具所示，产生对于邻近的前方交通工具识别的尾灯信号状态的输出和可视化。
再次参照图3，参照上述图4至图6的示例，基本流程图示出了用于检测交通工具的尾灯信号的系统和方法的示例实施例。在示例实施例中，示例实施例的尾灯识别系统201使用由一个或多个面向前方的摄像机305产生的图像作为输入。在示例实施例中，尾灯信号识别模块200能够执行语义分割和边界框的应用，以定义对输入图像210中的对象的检测和生成相应的语义分割标签映射。在一个备选实施例中，尾灯信号识别模块200能够利用已经在其他交通工具子系统中提供的检测和跟踪模块产生的输出。本质上，尾灯信号识别模块200能够从检测模块产生或接收在每个未处理的输入图像210帧中检测到的所有邻近的前方交通工具的边界框。尾灯信号识别模块200还能够确定在时间上连续的多个帧上的边界框的关联，从而使用跟踪模块随时间跟踪相同的检测到的交通工具。跟踪模块能够通过向每个交通工具实例的边界框分配唯一ID，来跟踪相同的检测到的交通工具随时间(以及在多个图像帧上)的变化。如图3所示，该检测和跟踪操作310是由尾灯信号识别模块200对输入图像210执行的初始操作。
在示例实施例中，如图3的操作块312所示，尾灯信号识别的第一步骤是单帧尾灯状态分类。对于在每个图像帧中检测到的每个交通工具，能够通过使用深度卷积神经网络173将神经网络分类器应用到对应于检测到的交通工具的图像块或图像部分。神经网络分类器能够分别对于每个检测交通工具的关于尾灯图像部分的左部和右部输出两个分类结果。在示例实施例中，对于两个分类结果中的每个分类结果，都存在三种可能的尾灯状态条件：(1)尾灯的左部分/右部分是不可见的(这可能意味着尾灯被其他物体遮挡或者只是看不见)；(2)尾灯的左部分/右部分是可见的，但不被照亮；以及(3)尾灯的左部分/右部分可见并被照亮。在示例实施例中，我们将称为ResNet-18的卷积神经网络(CNN)的特定架构用于深度卷积神经网络173的部分。该神经网络分类器的训练将在下面进一步描述。鉴于此处的公开，本领域的普通技术人员将明白，能够类似地使用其他神经网络架构。
在示例实施例中，如图3的操作块314所示，尾灯信号识别的第二步骤是时间状态融合。在该操作步骤中，如上所述，我们保持来自神经网络分类器的针对每个交通工具的先前单帧尾灯状态条件分类结果的长期历史。保留的历史表示在预先配置或可变时间段上针对每个交通工具的在时间上连续的多个图像帧。尾灯信号识别模块200能够使用抗噪声统计推理方法，来从图像帧的保留历史中区分制动灯信号、转向信号和紧急停止信号。尾灯信号识别模块200能够收集先前单帧尾灯状态条件分类结果的历史中检测到的时间模式的统计。随着时间的推移，能够生成尾灯图像的时间状态的模板集合。先前的单帧图像能够与模板集合相匹配，以确定特定交通工具的尾灯信号的状态。一旦对于特定交通工具的尾灯信号的状态被确定，如图3的操作块316所示，就能够生成具有相对应输出和可视化的尾灯信号状态信息220。如上所述，对于输入图像210，尾灯信号状态信息220表示：基于由尾灯信号识别模块200执行的处理操作，针对每个邻近前方交通工具的像素级交通工具定义的输出和可视化，以及针对每个邻近前方交通工具的尾灯信号状态的输出和可视化。
具体地关于转向信号识别，在示例实施例中，尾灯信号识别模块200能够使用两个不同的推理输出：一个推理输出被配置为响应更快(例如，100毫秒延迟)，但是具有确定性更少的结果；另一推理输出被配置为响应更慢(例如，1秒延迟)，但具有更可靠或更准确的结果。鉴于此处的公开，对于本领域的普通技术人员来说清楚的是，其他实施方式能够使用更多或更少数量的推理输出。当由图形处理单元(GPU)加速时，示例实施例的尾灯识别系统能够在80Hz下运行，超过了实时处理的速度要求。
再次参照图4至图6，示例实施例接收输入图像210。图4示出了作为输入图像210接收的样本未处理的输入图像。在示例实施例中，给定未处理的输入图像210，尾灯信号识别模块200的深度卷积神经网络173能够使用深度卷积神经网络(CNN)，以用作特征提取模块。图5示出了通过语义分割将特征提取应用于未处理的输入图像210以产生特征映射的结果。在未处理的输入图像210中检测到的交通工具对象的实例中的每个都用边界框而成帧，并且被给予唯一的标识符(ID)。然后，尾灯信号识别模块200的尾灯信号状态确定模块175能够应用尾灯识别操作来识别在输入图像210中检测到的对象实例的尾灯信号状态。图6示出了由示例实施例的尾灯信号识别模块200执行的处理的结果的示例，其中从在未处理的输入图像210中检测到的邻近的前方交通工具对象之一中识别出尾灯信号。作为由尾灯信号识别模块200产生的尾灯信号状态信息220的一部分，如在图6的示例中被标识为#2的交通工具所示，产生对于邻近的前方交通工具识别的尾灯信号状态的输出和可视化。因此，公开了使用卷积神经网络的尾灯信号识别。
现在参照图7，详细流程图图示出用于检测交通工具的尾灯信号的系统和方法的示例实施例。如图7所示，示例实施例的尾灯识别系统201使用由一个或多个面向前方摄像机305产生的图像作为输入。在示例实施例中，尾灯信号识别模块200能够执行语义分割和边界框的应用，以定义对输入图像210中的对象的检测和生成对应的语义分割标签映射。备选地，尾灯信号识别模块200能够利用已经在其他交通工具子系统中提供的检测和跟踪模块所产生的输出。尾灯信号识别模块200能够从检测模块产生或接收在每个未处理的输入图像210帧中检测到的所有邻近前方交通工具的边界框。尾灯信号识别模块200还能够确定在时间上连续的帧上的边界框的关联，从而使用跟踪模块随时间跟踪相同的检测到的交通工具。跟踪模块能够通过向每个交通工具实例的边界框分配唯一ID来跟踪相同的检测到的交通工具随时间(以及在多个图像帧上)的变化。如图7所示，该检测和跟踪操作310是由尾灯信号识别模块200对输入图像210执行的初始操作。
仍然参照图7，在示例实施例中，尾灯信号识别的第一步骤涉及收集通常安装有尾灯的交通工具的后表面的图像或图像部分的大数据集410。我们收集由安装在测试交通工具上的面向前方的摄像机拍摄的许多测试图像和许多小时的测试视频。我们确保覆盖各种道路、天气和照明条件。我们在测试图像和视频中包括各种不同类型的交通工具。我们还收集来自上述检测和跟踪模块的输出，使得尾灯信号识别模块200能够在许多图像帧中标识每个交通工具的后表面外观。这些测试图像和视频连同来自检测和跟踪模块的输出可用于训练深度卷积神经网络173。
在示例实施例中，用于单帧尾灯状态分类的深度卷积神经网络173的训练能够使用两个不同的训练数据集。接下来描述在示例实施例中用于建立这两个数据集的过程。第一种类型的数据集是用于分类器监督的分类器监督数据集420。分类器监督数据集420包含成对的图像块或交通工具后表面的部分及它们的分类。对于分开的尾灯的左部和右部，每个图像块或图像部分被分类为三个尾灯状态条件之一：(1)尾灯是不可见的，(2)尾灯是可见的但是不被照亮，以及(3)尾灯是可见的并且被照亮。我们对尾灯的左部分和右部分使用分开的分类，因为这对于检测转向信号是非常有用的。为了建立分类器监督数据集420，我们首先对在如上所述的第一步骤中收集的来自通用数据集410的图像块或图像部分进行采样。在示例实施例中，图像块能够被呈现给人类图像贴标机，以用于手动标记。由于尾灯信号在正常交通中可能是不常见的，因此我们使用两种采样方法来采样图像块或图像部分，使得组合结果具有均衡的分类分布。第一种采样方法在所有图像或视频帧中使用来自所有交通工具边界框的均匀随机采样，这仅产生具有照亮的尾灯的少数图像块或图像部分。第二种采样方法使用正采样滤波，其中我们使用简单的尾灯检测器来收集具有照亮的尾灯的块或部分。虽然简单的尾光检测器不完美，但对于采样的目的是足够好的。合并两种采样方法的结果，产生具有平衡的分类分布的图像块或图像部分集合。然后，我们能够将图像块或图像部分呈现给人类贴标机以进行手动标记。结果，分类器监督数据集420能够从转换和组合的标记结果中生成并用于神经网络训练。
仍然参照示例实施例中的图7，第二种类型的数据集是收集的时间平滑性数据集422，以确保所得神经网络分类器的时间平滑性。时间平滑性数据集422是有用的，因为我们观察到否则神经网络分类器会对图像块或图像部分输入中的小变化变得过于敏感，从而在零点几秒钟内产生对单个交通工具的不一致预测。这对于在如上所述示例实施例中使用的时间融合过程是不希望的。时间平滑性数据集422由彼此相距100毫秒的成对相同交通工具后表面的图像块或图像部分组成。时间平滑性数据集422不包含分类结果，并且因此不需要手动标记。如上所述，我们从在第一步骤中建立的通用数据集410均匀地随机抽样这样的图像块或图像部分对，以构建时间平滑性数据集422。
如上所述，在生成分类器监督数据集420和时间平滑性数据集422之后，我们能够使用称作ResNet-18的通用架构来训练深度卷积神经网络173。我们从预训练的模型加载神经网络173的参数，并微调参数以实现可接受的尾灯信号识别水平。我们通过利用分类任务的左右对称性，将左尾灯和右尾灯的单独分类任务减少为一个任务。左右翻转图像块或图像部分将一个分类任务转换为另一个分类任务，因此我们只需要为两个任务训练一个分类器。深度卷积神经网络173的训练能够使用数据集420和数据集422以及上述过程来完成。如上所述，在我们完成对单帧尾灯状态分类器的训练之后，我们能够收集一些用于尾灯时间融合的特征统计。在许多统计中，重要的统计是与各种交通工具的转向信号和紧急停止信号的模式相对应的统计。我们使用这些统计来过滤来自单帧分类器的噪声预测，并且如上所述通过在时间融合过程中集成时间信息来进行置信度预测。
示例实施例能够使用由自主交通工具控制系统的交通工具检测和跟踪模块产生的输出。示例实施例还能够在配备有图形处理单元(GPU)的车载计算机上运行。在本文描述的各种实施例中，尾灯信号识别模块200能够产生尾灯信号状态信息220，该尾灯信号状态信息表示在超过80Hz的频率下视线高达100米(328英尺)的所有交通工具的尾灯状态。因此，公开了使用卷积神经网络的尾灯信号识别。
现在参照图8，流程图示出了用于尾灯信号识别的系统和方法1000的示例实施例。示例实施例能够被配置用于：从一个或多个图像生成设备接收多个图像(处理块1010)；针对多个图像中的每个生成帧(处理块1020)；生成地面实况，其中地面实况包括标记图像，该标记图像具有用于所述交通工具的右尾灯信号或左尾灯信号的以下尾灯状态条件中的一种尾灯状态条件：(1)不可见的右尾灯信号或左尾灯信号，(2)可见但未被照亮的右尾灯信号或左尾灯信号，和(3)可见且被照亮的右尾灯信号或左尾灯信号(处理块1030)；创建包括对应于多个图像的标记图像的第一数据集，标记图像包括右尾灯信号或左尾灯信号的尾灯状态条件中的一个或多个尾灯状态条件(处理块1040)；以及创建包括至少一对多个图像的部分的第二数据集，其中至少一对多个图像的部分在时间上连续(处理块1050)。
如本文所用，除非另有说明，术语“移动设备”包括能够与本文所述的车载控制系统150、尾灯信号识别模块200和/或尾灯信号识别模块200进行通信的任何计算或通信设备，以获得对经由任何模式的数据通信而传输的数据信号、消息或内容的读或写访问。在许多情况下，移动设备130是手持式的便携式设备，诸如智能电话、手机、蜂窝电话、平板电脑、膝上型计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持式计算机、可佩戴计算机、便携式游戏机，其他移动通信和/或计算设备，或结合一个或多个上述设备的集成设备等。另外，移动设备130能够为计算设备、个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、诊断设备、由交通工具119制造商或服务技术人员操作的系统等，并且不限于便携式设备。移动设备130能够接收和处理多种数据格式中的任何一种格式的数据。数据格式可以包括任何编程格式、协议或语言，或者被配置为以任何编程格式、协议或语言操作，该编程格式、协议或语言包括但不限于JavaScript、C++、iOS、Android等。
如本文所用，除非另有说明，术语“网络资源”包括能够与本文所述的车载控制系统150、尾灯信号识别模块200和/或尾灯信号识别模块200进行通信的任何设备、系统或服务，以获得对经由任何模式的进程间或联网数据通信而传输的数据信号、消息或内容的读或写访问。在许多情况下，网络资源122是数据网络可访问的计算平台，包括客户计算机或服务器计算机、网站、移动设备、对等(P2P)网络节点等。另外，网络资源122能够是网络设备、网络路由器、交换机、网桥、网关、诊断设备、由交通工具119制造商或服务技术人员操作的系统，或能够执行一组指令(顺序的或其他的)的任何机器，该指令指定由机器采取的动作。此外，虽然仅示出了单个机器，术语“机器”也能够被认为包括单独地或联合地执行一组(或多组)指令以实行本文讨论的任何一种或多种方法的任何机器的集合。网络资源122可以包括网络可传输数字内容的各种提供商或处理器中的任何一个。通常，所采用的文件格式是可扩展标记语言(XML)，然而，各种实施例不限于此，能够使用其他文件格式。例如，除了超文本标记语言(HTML)/XML之外的数据格式或除了开放/标准数据格式之外的格式能够由各种实施例支持。任何电子文件格式，诸如便携式文档格式(PDF)、音频(例如，运动图像专家组音频层3-MP3等)、视频(例如，MP4等)，以及由特定内容站点定义的任何专有互换格式，能够由本文所述的各种实施例支持。
与网络资源122一起使用的广域数据网络120(也表示为网络云)能够被配置为将一个计算或通信设备与另一个计算或通信设备耦合。网络可以被使得能够采用任何形式的计算机可读数据或介质来将信息从一个电子设备传输到另一个电子设备。网络120能够包括因特网以及其他广域网(WANs)、蜂窝电话网络、城域网、局域网(LANs)，其他分组交换网络、电路交换网络，直接数据连接，诸如通过通用串行总线(USB)或以太网端口、其他形式的计算机可读介质，或其任意组合。网络120能够包括因特网以及其他广域网(WANs)、蜂窝电话网络、卫星网络、空中广播网络、AM/FM无线电网络、寻呼机网络、UHF网络、其他广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络、城域网、局域网(LANs)、其他分组交换网络、电路交换网络，直接数据连接，诸如通过通用串行总线(USB)或以太网端口，其他形式的计算机可读介质，或其任意组合。在互连的一组网络上，包括基于不同架构和协议的网络，路由器或网关能够充当网络之间的链路，使得消息能够在不同网络上的计算设备之间发送。而且，网络内的通信链路通常可包括双绞线对布线、USB、火线、以太网、或同轴电缆，虽然网络之间的通信链路可以使用模拟或数字电话线、包括T1、T2、T3和T4的全部或部分专用数字线路、综合业务数字网络(ISDN)、数字用户线路(DSL)、包括卫星链路的无线链路、蜂窝电话链路或本领域普通技术人员已知的其他通信链路。此外，远程计算机和其他相关电子设备能够经由调制解调器和临时电话链路远程连接到网络。
网络120还可以包括能够进一步覆盖独立自组织网络等的各种无线子网络中的任何一个子网络，以提供面向基础设施的连接。这样的子网络能够包括网状网络、无线局域网(WLAN)网络，蜂窝网络等。该网络还能够包括通过无线无线电链路或无线收发器连接的终端、网关、路由器等的自主系统。这些连接器可以被配置为自由地和随机地移动并且任意地组织它们自己，使得网络的拓扑能够快速地改变。网络120可以进一步使用多个标准无线协议和/或蜂窝协议或接入技术中的一个或多个，该一个或多个标准无线协议和/或蜂窝协议或接入技术包括本文结合附图中所描述的网络接口712和网络714所阐述的那些。
在特定实施例中，移动设备132和/或网络资源122可以充当客户机设备，使用户能够访问和使用车载控制系统150、尾灯信号识别模块200和/或尾灯信号识别模块200，从而与交通工具子系统的一个或多个部件交互。这些客户机设备132或122实际上能够包括任何被配置为通过网络(诸如本文所描述的网络120)发送和接收信息的计算设备。这样的客户机设备可以包括移动设备，诸如蜂窝电话、智能电话、平板计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持计算机、可佩戴计算机、游戏控制台，结合一个或多个上述设备的集成设备等。客户机设备还可以包括其他计算设备，诸如个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC等。因此，客户机设备可以在能力和特征方面有很大的范围。例如，被配置为蜂窝电话的客户机设备能够具有数字小键盘和几行单色LCD显示器，在该单色LCD显示器上能够仅显示文本。在另一个示例中，网络使能的客户机设备可以具有触摸敏感屏幕、触针和其中能够显示文本和图形的彩色LCD显示屏。此外，网络使能的客户机设备可以包括浏览器应用，该浏览器应用被启用以接收和发送无线应用协议消息(WAP)和/或有线应用消息等。在一个实施例中，浏览器应用能够使用超文本标记语言(HTML)、动态HTML、手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScriptTM、可扩展HTML(xHTML)、压缩HTML(CHTML)等来显示和发送具有相关信息的消息。
客户机设备还可以包括至少一个客户机应用，该客户机应用被配置为经由网络传输从另一计算设备接收内容或消息。客户机应用可以包括提供和接收文本内容、图形内容、视频内容、音频内容、警报、消息、通知等的能力。此外，客户机设备还可以被配置为与另一个计算设备(等)之间传输和/或接收消息，诸如通过短消息服务(SMS)、直接消息传递(例如，Twitter)、电子邮件、多媒体消息服务(MMS)、即时消息传递(IM)、互联网中继聊天(IRC)、mIRC，Jabber、增强消息传递服务(EMS)、文本消息传递、智能消息传递、空中(OTA)消息传递等。客户机设备还可以包括无线应用设备，客户机应用被配置在该无线应用设备上，以使该设备的用户能够经由网络向网络资源无线地发送信息和从网络资源无线地接收信息。
车载控制系统150、尾灯信号识别模块200、和/或尾灯信号识别模块200能够使用增强执行环境的安全性的系统来实施，从而提高安全性，并降低了车载控制系统150、尾灯信号识别模块200和/或尾灯信号识别模块200以及相关服务可能被病毒或恶意软件损害的可能性。例如，车载控制系统150、尾灯信号识别模块200和/或尾灯信号识别模块200能够使用可信的执行环境来实施，该可信的执行环境能够确保以安全的方式存储、处理和传输敏感数据。
图9示出了计算系统700的示例形式的机器的图解表示，其中一组指令在被执行时和/或处理逻辑在被激活时，可以导致机器执行在此描述和/或要求保护的任何一种或多种方法。在备选实施例中，机器作为独立设备操作，或者能够被连接(例如联网)到其他机器。在网络化部署中，机器可以在服务器-客户端网络环境中以服务器或客户端机器的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。机器可以是个人计算机(PC)、笔记本电脑、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能电话、网络设备、机顶盒(STB)、网络路由器、交换机或网桥，或能够执行一组指令(顺序的或其他的)或激活指定由该机器采取的动作的处理逻辑的任何机器。另外，虽然仅示出了单个机器，术语“机器”也能够被认为包括单独或联合执行一组(或多组)指令或处理逻辑，以执行本文描述和/或要求保护的任何一种或多种方法的任何机器的集合。
示例计算系统700能够包括数据处理器702(例如，片上系统(SoC)、通用处理核心、图形核心，以及可选的其他处理逻辑)和存储器704，它们能够通过总线或其他数据传输系统706彼此通信。移动计算和/或通信系统700还可以包括各种输入/输出(I/O)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口、以及可选的网络接口712。在示例实施例中，网络接口712能够包括一个或多个无线电收发器，该无线电收发器被配置为与任何一个或多个标准无线和/或蜂窝协议或接入技术兼容，该一个或多个标准无线和/或蜂窝协议或接入技术，例如，用于蜂窝系统的第二代(2G)、第2.5代、第三代(3G)、第4代(4G)以及未来几代的无线接入，全球移动通信系统(GSM)、通用分组无线服务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网状等)。网络接口712也可以被配置为与各种其他有线和/或无线通信协议一起使用，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMAX、IEEE 802.11x等。本质上，网络接口712可以包括或实际上支持任何有线和/或无线通信和数据处理机制，通过这些机制，信息/数据可以经由网络714在计算系统700和另一计算或通信系统之间传播。
存储器704能够表示一种机器可读介质，在该介质上存储有一组或多组指令、软件、固件或其他处理逻辑(例如逻辑708)，这些指令、软件、固件或其他处理逻辑体现了本文描述和/或要求保护的任何一种或多种方法或功能。在由移动计算和/或通信系统700执行的过程中，逻辑708或其一部分也能够完全或至少部分地驻留在处理器702内。因此，存储器704和处理器702也可以构成机器可读介质。逻辑708或其一部分也能够被配置为处理逻辑或逻辑，该处理逻辑或逻辑的至少一部分部分地在硬件中实施。逻辑708或其一部分还能够经由网络接口712在网络714上发送或接收。虽然示例实施例的机器可读介质能够是单个介质，术语“机器可读介质”应当认为包括存储一组或多组指令的单个非暂态介质或多个非暂态介质(例如，集中式或分布式数据库，和/或相关的高速缓存和计算系统)。术语“机器可读介质”也能够被认为包括任何非暂态介质，该非暂态介质能够存储、编码或携带一组由机器执行并使机器执行各种实施例的任何一种或多种方法的指令，或者该非暂态介质能够存储、编码或携带由这样一组指令使用或与之相关联的数据结构。相应地，术语“机器可读介质”能够被认为包括但不限于固态存储器、光学介质和磁性介质。
提供本公开的摘要，以允许读者快速确定本技术公开的本质。应当理解，它将不用于解释或限制权利要求的范围或含义。另外，在前面的详细描述中，能够看出，出于简化本公开的目的，在单个实施例中将各种特征组合在一起。本公开的方法不应被解释为反映所要求保护的实施例需要比在每个权利要求中明确限定的更多特征的意图。相反，如所附权利要求所反映的，本发明的主题在于少于单个公开的实施例的所有特征。因此，所附的权利要求据此被结合到详细描述中，其中每个权利要求独立的作为单独的实施例。

Claims (16)

1.一种检测交通工具的尾灯信号的方法，所述方法包括：
从一个或多个图像生成设备接收多个图像；
对于所述多个图像中的每个图像生成帧；
通过神经网络分类器针对每个帧生成地面实况，其中所述地面实况包括标记图像，所述标记图像具有用于交通工具的右尾灯信号或左尾灯信号的以下尾灯状态条件中的一种尾灯状态条件：（1）不可见的右尾灯信号或左尾灯信号，（2）可见但未被照亮的右尾灯信号或左尾灯信号，以及（3）可见且被照亮的右尾灯信号或左尾灯信号；
创建第一数据集，所述第一数据集包括与所述多个图像相对应的所述标记图像，所述标记图像包括所述右尾灯信号或左尾灯信号的所述尾灯状态条件中的一个或多个尾灯状态条件；以及
创建第二数据集，所述第二数据集包括至少一对所述多个图像的图像部分，其中所述至少一对所述多个图像的图像部分在时间上连续，
其中，所述第一数据集和所述第二数据集用于调节所述神经网络分类器的参数，并且
其中所述方法还包括：向时间状态融合过程输出参数，其中，所述时间状态融合过程用于通过使用所述第一数据集和所述第二数据集生成尾灯图像的时间状态的模板集合，以用于确定尾灯信号状态。
2.根据权利要求1所述的方法，还包括：通过组合所述第一数据集和所述第二数据集来生成损耗函数。
3.根据权利要求1所述的方法，还包括：使用参数来确定置信度级别。
4.根据权利要求1所述的方法，还包括：调整时间状态融合过程的参数。
5.根据权利要求1所述的方法，其中生成地面实况还包括：通过手动添加注释来标记所述多个图像。
6.根据权利要求1所述的方法，还包括：确定尾灯信号打开和尾灯信号关闭的周期的时间长度。
7.根据权利要求1所述的方法，其中所述尾灯信号包括转向信号、制动信号以及紧急停止信号。
8.根据权利要求1所述的方法，还包括：向时间状态融合过程提供对尾灯信号的时间模式的统计。
9.一种检测交通工具的尾灯信号的系统，包括：
数据处理器；以及
由所述数据处理器执行的尾灯信号识别处理模块，所述尾灯信号识别处理模块被配置为使用神经网络分类器执行尾灯信号识别操作，所述尾灯信号识别操作被配置为：
从一个或多个图像生成设备接收多个图像；
对于所述多个图像中的每个图像生成帧；
针对每个帧生成地面实况，其中所述地面实况包括标记图像，所述标记图像具有用于交通工具的右尾灯信号或左尾灯信号的以下尾灯状态条件中的一种尾灯状态条件：（1）不可见的右尾灯信号或左尾灯信号，（2）可见但未被照亮的右尾灯信号或左尾灯信号，以及（3）可见且被照亮的右尾灯信号或左尾灯信号；
创建第一数据集，所述第一数据集包括与所述多个图像相对应的所述标记图像，所述标记图像包括所述右尾灯信号或左尾灯信号的所述尾灯状态条件中的一个或多个尾灯状态条件；以及
创建第二数据集，所述第二数据集包括至少一对所述多个图像的图像部分，其中所述至少一对所述多个图像的图像部分在时间上连续，
其中，所述第一数据集和所述第二数据集用于调节所述神经网络分类器的参数，并且
其中所述系统还被配置为向时间状态融合过程输出参数，其中，所述时间状态融合过程用于通过使用所述第一数据集和所述第二数据集生成尾灯图像的时间状态的模板集合，以用于确定尾灯信号状态。
10.根据权利要求9所述的系统，还被配置为通过组合所述第一数据集和所述第二数据集来生成损耗函数。
11.根据权利要求9所述的系统，还被配置为使用参数确定置信度级别。
12.根据权利要求9所述的系统，还被配置为调整时间状态融合过程的参数。
13.根据权利要求9所述的系统，还被配置为通过手动添加注释来标记所述多个图像以生成所述地面实况。
14.根据权利要求9所述的系统，还被配置为确定尾灯信号打开和尾灯信号关闭的周期的时间长度。
15.根据权利要求9所述的系统，其中所述尾灯信号包括转向信号、制动信号以及紧急停止信号。
16.根据权利要求9所述的系统，还被配置为向时间状态融合过程提供对尾灯信号的时间模式的统计。
CN201880061462.0A 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法 Active CN111108505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410389432.XA CN118196759A (zh) 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/709,832 2017-09-20
US15/709,832 US10387736B2 (en) 2017-09-20 2017-09-20 System and method for detecting taillight signals of a vehicle
PCT/US2018/052010 WO2019060583A1 (en) 2017-09-20 2018-09-20 SYSTEM AND METHOD FOR DETECTING REAR LIGHT SIGNALS OF A VEHICLE

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410389432.XA Division CN118196759A (zh) 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法

Publications (2)

Publication Number Publication Date
CN111108505A CN111108505A (zh) 2020-05-05
CN111108505B true CN111108505B (zh) 2024-04-26

Family

ID=65721490

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410389432.XA Pending CN118196759A (zh) 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法
CN201880061462.0A Active CN111108505B (zh) 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410389432.XA Pending CN118196759A (zh) 2017-09-20 2018-09-20 用于检测交通工具的尾灯信号的系统和方法

Country Status (3)

Country Link
US (1) US10387736B2 (zh)
CN (2) CN118196759A (zh)
WO (1) WO2019060583A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353390B2 (en) 2017-03-01 2019-07-16 Zoox, Inc. Trajectory generation and execution architecture
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10691962B2 (en) * 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
CN108509907B (zh) * 2018-03-30 2022-03-15 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11341356B2 (en) * 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
JP7052660B2 (ja) * 2018-09-25 2022-04-12 トヨタ自動車株式会社 学習画像選別装置
DE102018218015A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Zustands einer Fahrzeugleuchte eines Fahrzeugs
US11361557B2 (en) * 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US10762393B2 (en) * 2019-01-31 2020-09-01 StradVision, Inc. Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
CN110723072B (zh) * 2019-10-09 2021-06-01 卓尔智联(武汉)研究院有限公司 辅助驾驶方法、装置、计算机设备和存储介质
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
US11841479B2 (en) 2020-07-31 2023-12-12 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as a function of position in a subsurface volume of interest
US11733424B2 (en) 2020-07-31 2023-08-22 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as functions of feature positions in a subsurface volume of interest
WO2022139783A1 (en) * 2020-12-21 2022-06-30 Intel Corporation High end imaging radar
US11776281B2 (en) 2020-12-22 2023-10-03 Toyota Research Institute, Inc. Systems and methods for traffic light detection and classification
US12014549B2 (en) 2021-03-04 2024-06-18 Toyota Research Institute, Inc. Systems and methods for vehicle light signal classification
US20230351774A1 (en) * 2022-04-28 2023-11-02 Toyota Research Institute, Inc. Vehicle taillight recognition based on a velocity estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040088246A (ko) * 2003-04-09 2004-10-16 현대모비스 주식회사 차량의 미등 및 전조등 자동 점등 장치 및 방법
CN105555606A (zh) * 2013-08-19 2016-05-04 金泰克斯公司 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像系统和方法
CN106845453A (zh) * 2017-02-24 2017-06-13 太原理工大学 基于图像的尾灯检测与识别方法

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
WO2005098782A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Collision warning system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
ATE477549T1 (de) * 2005-02-22 2010-08-15 Adc Automotive Dist Control Verfahren zur erkennung der aktivierung von bremsleuchten vorausfahrender fahrzeuge
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8064643B2 (en) 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
JP4882844B2 (ja) * 2007-04-18 2012-02-22 トヨタ自動車株式会社 制動灯検出装置
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8582881B2 (en) 2009-03-26 2013-11-12 Tp Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
DE102009025545A1 (de) * 2009-06-15 2010-12-16 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Erkennen von Bremslichtsystemen
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP3588939B1 (en) 2010-10-31 2023-10-18 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
US9355635B2 (en) 2010-11-15 2016-05-31 Futurewei Technologies, Inc. Method and system for video summarization
EP2463843B1 (en) 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
JP5518007B2 (ja) * 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
JP5564620B2 (ja) 2011-07-28 2014-07-30 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
CN105659304B (zh) 2013-06-13 2020-01-03 移动眼视力科技有限公司 车辆、导航系统及生成并递送导航信息的方法
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
EP3742339A1 (en) 2013-12-04 2020-11-25 Mobileye Vision Technologies Ltd. System and method for implementing a multi-segment braking profile for a vehicle
EP3100206B1 (en) 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
EP4187523A1 (en) 2014-05-14 2023-05-31 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040088246A (ko) * 2003-04-09 2004-10-16 현대모비스 주식회사 차량의 미등 및 전조등 자동 점등 장치 및 방법
CN105555606A (zh) * 2013-08-19 2016-05-04 金泰克斯公司 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像系统和方法
CN106845453A (zh) * 2017-02-24 2017-06-13 太原理工大学 基于图像的尾灯检测与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Large-Scale Car Dataset for Fine-Grained Categorization and Verification;Linjie Yang et al;《2015 IEEE Conference on Computer Vision and Pattem Recognition (CVPR)》;20151230;第3973-3981页 *
Appearance-Based Brake-Lights Recognition Using Deep Learning and Vehicle Detection;Jian Gang Wang;《2016 IEEE Intelligent Vehicles Symposium (IV)》;20160630;第815-820页 *

Also Published As

Publication number Publication date
US10387736B2 (en) 2019-08-20
CN118196759A (zh) 2024-06-14
US20190087672A1 (en) 2019-03-21
CN111108505A (zh) 2020-05-05
WO2019060583A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN111108505B (zh) 用于检测交通工具的尾灯信号的系统和方法
US11734563B2 (en) System and method for vehicle taillight state recognition
US11745736B2 (en) System and method for vehicle occlusion detection
US11830205B2 (en) System and method for online real-time multi- object tracking
CN110753934B (zh) 主动选择和标记图像以进行语义分割的系统和方法
US11948082B2 (en) System and method for proximate vehicle intention prediction for autonomous vehicles
US10311312B2 (en) System and method for vehicle occlusion detection
CN111344646B (zh) 用于自主车辆的轨迹规划的基于数据驱动的预测的系统和方法
US11610406B2 (en) System and method for lateral vehicle detection
US11935210B2 (en) System and method for fisheye image processing
CN111356620B (zh) 用于自主车辆控制以最小化能量成本的系统和方法
CN112154088B (zh) 用于自主车辆的自动车道变更控制的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant