CN110831832B - 自动车辆的移动交通灯检测系统 - Google Patents

自动车辆的移动交通灯检测系统 Download PDF

Info

Publication number
CN110831832B
CN110831832B CN201880043576.2A CN201880043576A CN110831832B CN 110831832 B CN110831832 B CN 110831832B CN 201880043576 A CN201880043576 A CN 201880043576A CN 110831832 B CN110831832 B CN 110831832B
Authority
CN
China
Prior art keywords
images
camera
series
controller
traffic light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880043576.2A
Other languages
English (en)
Other versions
CN110831832A (zh
Inventor
M·H·劳尔
B·R·希尔布兰德
R·J·萨伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN110831832A publication Critical patent/CN110831832A/zh
Application granted granted Critical
Publication of CN110831832B publication Critical patent/CN110831832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种在视觉上确定靠近自动车辆的交通灯(20)的灯状态(18)的交通灯检测系统(10)包括相机(24)、控制器(32)并且可选地包括雷达(28)。相机(24)以及雷达(28)在主车辆(12)上。相机(24)呈现靠近主车辆(12)的交通灯(20)的系列图像(26)。雷达(28)检测来自交通灯(20)的雷达返回(30)。控制器(32)被配置成用于基于系列图像(26)和/或雷达返回(30)确定交通灯(20)的运动模式(34)，并且基于运动模式(34)从系列图像(26)中选择优选的图像(36)。当运动模式(34)指示交通灯(20)正在移动时，优选的图像(36)示出表征为最直接地指向相机(24)的交通灯(20)的光源(38)。控制器(32)进一步被配置成用于基于优选的图像(36)确定交通灯(20)的灯状态(18)。

Description

自动车辆的移动交通灯检测系统
技术领域
本公开大体上涉及交通灯检测系统，并且更具体地涉及如下的系统：确定交通灯的运动模式，并且随后基于运动模式从相机提供的系列图像中选择优选的图像，其中优选的图像是示出表征为最直接地指向相机的交通灯的光源的图像。
背景技术
据观察，在自动车辆上使用的基于相机的视觉系统在当交通信号由于例如风而移动时，通常难以检测交通信号的状态(例如，红色、黄色、绿色)。
发明内容
根据一个实施例，提供了在视觉上确定靠近自动车辆的交通灯的灯状态的交通灯检测系统。该系统包括相机和控制器。相机在主车辆上。相机呈现靠近主车辆的交通灯的系列图像。控制器与相机通信。控制器被配置成用于基于系列图像确定交通灯的运动模式，并且随后从系列图像中选择优选的图像。当运动模式指示交通灯正在移动时，优选的图像示出表征为最直接地指向相机的交通灯的光源。控制器进一步被配置成用于基于优选的图像确定交通灯的灯状态。
在另一实施例中，提供了在视觉上确定靠近自动车辆的交通灯的灯状态的交通灯检测系统。该系统包括相机、雷达以及控制器。相机以及雷达在主车辆上。相机呈现靠近主车辆的交通灯的系列图像。雷达检测来自交通灯的雷达返回。控制器与相机和雷达通信。控制器被配置成用于基于雷达返回确定交通灯的运动模式，并且基于运动模式从系列图像中选择优选的图像。当运动模式指示交通灯正在移动时，优选的图像示出表征为最直接地指向相机的交通灯的光源。控制器进一步被配置成用于基于优选的图像确定交通灯的灯状态。
通过阅读优选实施例的下列详细描述，进一步的特征和优点将更清楚地呈现，该优选实施例仅通过非限制性示例的方式并且参考附图给出。
附图说明
现将通过示例的方式参照附图描述本发明，其中：
图1是根据一个实施例的交通灯检测系统的图；
图2是根据一个实施例的图1的系统所遇到的交叉口的俯视图；以及
图3A以及图3B是根据一个实施例的由图1的系统所呈现的系列图像的图像。
具体实施方式
图1示出了交通灯检测系统10(下文中被称为系统10)的非限制性示例。一般而言，系统10在视觉上确定靠近自动车辆(例如，主车辆12)，例如该自动车辆前方例如五十米(50m)内的交通灯20的灯状态18(例如，红色、绿色、黄色)。有利地，当交通灯20正在移动(例如从跨越交叉口22的线缆40(图2)摆动)时，系统10能够确定灯状态18。当交通灯20正在移动时，因为由交通灯20发射的光的孔位置的方向变化，因此从主车辆12的角度看去交通灯20发射的光看起来在变化。交通灯20上点亮的光(例如，红色、绿色、黄色)的视在强度(apparent-intensity)和/或视在大小(apparent-size)的视在变化使得视觉交通灯检测系统的现有示例难以确定交通灯的灯状态18。
如本文中所使用，术语自动化车辆可应用于正以自动化模式14(即，完全自主模式)操作主车辆12的情况，其中，为了操作主车辆12，主车辆12的人类操作员(未示出)可几乎不用做除指定目的地以外的其他操作。然而，完全自动化不是必需的。设想了本文中所呈现的教导在主车辆12以手动模式16操作时是有用的，在该手动模式16下，自动化的程度或水平可能仅是向大体上控制主车辆12的转向、加速器和制动器的人类操作员提供可听或可视警告。例如，系统10可仅在需要时警告人类操作员，例如，避免“闯”红灯，即，当交通灯20指示主车辆12应当停车时行驶穿过交叉口22(图2)。
系统10包括主车辆12上的相机24。相机24可以是视频相机或能够周期性拍摄定时图像的相机。无论使用了何种类型的相机，相机24需要能够呈现交通灯20的系列图像26。本领域的人员将认识到存在多种可购得的适用于本申请的相机。如果交通灯20正在移动或者当交通灯20正在移动时，如果相机24被用于确定交通灯20的运动模式34，则优选地相机24具有例如每秒十帧(10fps)的最低帧率或由每秒十帧的最低帧率表征。如本文所使用的，运动模式34可以是交通灯20展现的运动的类型的表征。例如，运动模式34可被表征为：相对于主车辆12向前和向后摆动；相对于主车辆12侧到侧摆动(即，侧向摆动或左右摆动)；相对于主车辆12对角地摆动；绕着交通灯20的垂直轴振荡地旋转；沿着垂直轴垂直地振荡(弹跳)；或它们的任何组合。稍后将更加详细地解释如何确定运动模式34以及如何分析系列图像26的详情。
系统10可选地包括主车辆12上的雷达28。针对汽车应用，多种雷达设备是可购得的，这些雷达设备将适合于向交通灯20发射雷达信号并且检测由交通灯20反射和/或从交通灯20返回的雷达返回30的实例。如果雷达28被用于在交通灯20正在移动时确定交通灯20的运动模式34，则优选地雷达28具有例如每秒十帧(10fps)的最低帧率或由每秒十帧的最低帧率表征。
系统10包括控制器32，控制器32与相机24通信，并且如果在系统10的配备中提供或者包括了雷达28，则控制器32也与雷达28通信。控制器32可以包括诸如微处理器的处理器(未具体示出)或诸如包括应当为本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路的其它控制电路。控制器32可以包括用于存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，该存储器包括诸如电可擦除可编程只读存储器(EEPROM)的非易失性存储器。处理器可处理一个或多个例程，以执行如下步骤：基于由控制器32从相机24处接收的信号以及可选地从如本文所描述的雷达28处接收的信号，确定运动模式34以及灯状态18。
如果系统10不包括雷达28，则控制器32可被配置成用于基于系列图像26确定交通灯20的运动模式34，并且随后从系列图像26中选择优选的图像36。如果交通灯未移动，则可分析系列图像26中的可能的任何图像或所有图像以确定灯状态18。实际上，认识到的是，基于多个图像上的灯状态18的确定增加了灯状态18的确定的置信度水平。然而，当交通灯20正在移动时，系列图像26中每一张图像中的点亮的灯(红色、绿色、黄色)的位置很可能改变，这使得难以具有高置信度水平。
如本文所使用的，当运动模式34指示交通灯20正在移动时，来自系列图像26的优选图像36可被表征为图像中的一个或多个图像，该一个或多个图像示出了交通灯20的光源38(图3A以及图3B)被表征为最直接地指向相机24，或该一个或多个图像是在当交通灯20的光源38(图3A以及图3B)被表征为最直接地指向相机24时呈现的。即，从系列图像26中选择优选的图像36作为最可能以高置信度指示交通灯18的一个或多个图像。所认识到的是，如果运动模式34是相对周期性的，即，相对可预测的，则系列图像26中可能存在根据交通灯20的运动或振荡的周期性而在时间上分隔的优选的图像36的多个实例。
图2示出了配备有交通灯20的交叉口22的非限制性示例，该交通灯20通过附接至在线缆40的每一端处的杆的线缆40悬挂在交叉口22上方。在该非限制性示例中，交通灯20正在以运动模式34移动或摆动，该运动模式34可被表征为相对于主车辆12的视角对角地摆动。
图3A以及图3B是来自系列图像26的图像的非限制性示例，这些图像可以是当交通灯根据图2中示出的运动模式34运动时由相机24从图2中示出的视角拍摄的。图3A可被表征为优选的图像36的实例，因为光源38(在本示例中是绿灯)正好指向相机24，即，几乎直接指向相机24。相比之下，图3B可被表征为来自系列图像26的丢弃的图像44的实例，因为光源没有正好指向相机24，即，没有指向相机24。如果运动模式34是相对周期性的，则系列图像26中可能存在在时间上分隔并且以周期性基础重复或者重现的在图3中示出的优选的图像36的多个实例。因此，图3A中示出的优选的图像36的多个实例可被组合在一起用于图像处理，以基于优选的图像36的多个实例确定灯状态18，并且由此以高置信度确定灯状态18。
如先前所提到的，系统10可包括雷达28，因此控制器32将与相机24以及雷达28通信。在系统10的这个包含雷达的实施例中，控制器32可被配置成用于基于雷达返回30确定交通灯20的运动模式34，并且随后基于由雷达28所指示的运动模式34而不是相机24可能指示的运动模式34来从系列图像26中选择优选的图像36。替代地，所设想的是，来自相机24以及雷达28两者的信息可被组合以确定系列图像26中的哪个或哪些图像是优选的图像36。可使用雷达技术领域的人员所熟知的多种技术分析雷达返回30，以确定交通灯20的运动模式34。
通过示例而不是限制的方式，一种技术可用于基于雷达返回30来确定周期性运动的中点何时出现，并且随后将来自系列图像26的在时间上与中点重合的图像指定为优选的图像36。鉴于图2中提到的运动模式34，与中点对应的图像可能是在图3A中示出的图像，该图像与图2中示出的交通灯的位置对应。即，据信，中点是交通灯20的光源38被表征为最直接地指向相机24的位置。相反，运动模式34的终点(即，从中点偏转程度最大的点)可与图3B对应。也设想的是，系列图像26将可能包括与图3B相反的一个或多个图像。即，如果图3B被表征为交通灯20向着相机24并且相对于相机24向左摆动，则预期系列图像中存在将交通灯20示出为远离相机24并且相对于相机24向右摆动的相反图像。
现在将讨论可如何对交通灯20的图像进行图像处理以帮助确定运动状态34以及灯状态18的若干非限制性示例。一个选择是通过例如对检测到光源38的相机像素的数量进行计数以确定系列图像中的光源38的视在大小46。所认识到的是，在系列图像26的每一个图像中对检测到光源38的相机像素的数量进行计数将包括跟踪光源38在图像中的每一个图像中出现的位置。用于在系列图像中跟踪移动对象的若干算法是已知的并且可以在此处使用。随后基于多个图像中的哪一个示出或呈现了被表征为在系列图像26中是最大的视在大小46，来选择优选的图像36。即，优选的图像36是具有最多数量的检测到光源38的相机像素的图像。在该示例中，确定运动的具体类型(例如，向前和向后、侧到侧、对角、振荡旋转、弹跳)可能不是必须的。通过检查图3A以及图3B，视在大小46由于交通灯20的摆动而导致的变化的效果是明显的。
控制器32的另一选项是被配置成用于确定系列图像26中的光源38的视在强度48。当交通灯20被表征为最直接地指向相机24时，所预期的是光源的视在强度48将是最大的。随后将选择具有被表征为系列图像26中的图像中的最大的视在强度48的图像作为优选的图像。此处，再一次地，确定运动的具体类型(例如，向前和向后、侧到侧、对角、振荡旋转、弹跳)可能不是必须的。
控制器32的另一选项是被配置成用于限定围绕系列图像26中的交通灯20的每一个图像的边界框50，并且基于系列图像中边界框50的框大小的改变来确定交通灯20是否正在移动和/或确定运动模式34。如本文所使用的，框大小可能由框高度、框宽度、框面积或它们的组合组成或包括框高度、框宽度、框面积或它们的组合。例如，如果运动是相对于相机24向前和向后运动，则框高度将变化，而框宽度将基本不变。如果运动模式34被确定为向前和向后运动，则由于视在强度48中的实质性变化，优选的图像36的选择对于作出灯状态18的可靠的确定而言可能是相对关键的。相反，与框高度的变化相比较，侧到侧运动可导致框宽度以及框面积的较大变化。然而，由于视在强度48可能不会实质地改变，因此对于作出灯状态18的可靠的确定而言，哪个图像或哪几个图像是优选的图像36的选择可能不是关键的。
所设想的是，控制器32可有利地进一步被配置成用于确定运动模式34何时使得其他灯52(图3B)可周期性地向相机24显露。如图3中所示出的，交通灯20的摆动导致未指向主车辆12的红灯向相机24显露。替代地，其他灯52可以是隐藏在图3A中的交通灯后方的街灯(未示出)或广告灯(未示出)。知道运动模式34会使得其他灯52可周期性地向相机24显露可帮助防止关于灯状态18的混淆。例如，如果系统10检测到光源38为相对恒定强度的绿灯以及其他灯52为闪烁的红灯两者，则车辆操作框54(图1)可能错误地选择应用制动器，而不是继续穿过交叉口22。
还设想的是，控制器32可有利地进一步被配置成用于确定运动模式34的运动周期56，其中运动周期56可与交通灯20的摆动运动的振荡的周期相对应。给定运动模式56，控制器32可预测由相机24呈现的未来图像58中的哪一个图像将被选择为优选的图像36。即，运动周期56可被用于预测可能是优选的图像36的实例的图像的下一实例将何时出现，而不是等到已经呈现并且分析系列图像26中的大量图像才来选择优选的图像36。这将允许系统10更加快速并且更加确信地确定灯状态18最近曾改变。
系统10还可包括数字地图60或具有经由无线通信访问数字地图60的入径，该数字地图60指示主车辆12可能遇到的交通灯20的各种实例的交通灯位置。
因此，提供了一种交通灯检测系统(系统10)、用于系统10的控制器32以及一种操作系统10的方法。系统10提供了当交通灯20相对于配备了系统10的主车辆12正在摆动或正在以其他方式移动时对交通灯20的灯状态18的更加可靠并且更快的确定。
尽管已经根据本发明的优选实施例描述了本发明，然而并不旨在受限于此，而是仅受所附权利要求书中所阐述的范围限制。

Claims (13)

1.一种交通灯检测系统(10)，所述交通灯检测系统(10)在视觉上确定靠近主车辆(12)的交通灯(20)的灯状态(18)，所述系统(10)包括：
相机(24)，所述相机(24)在所述主车辆(12)上，所述相机(24)呈现靠近所述主车辆(12)的所述交通灯(20)的系列图像(26)；以及
控制器(32)，所述控制器(32)与所述相机(24)通信，其中所述控制器(32)被配置成用于：
基于所述系列图像(26)确定所述交通灯(20)本身的运动模式(34)；
从所述系列图像(26)中选择优选的图像(36)，其中当所述运动模式(34)指示所述交通灯(20)正在移动时，所述优选的图像(36)示出被表征为最直接地指向所述相机(24)的所述交通灯(20)的光源(38)；
基于所述优选的图像(36)确定所述交通灯(20)的灯状态(18)。
2.根据权利要求1所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述系列图像(26)中所述光源(38)的视在大小(46)，并且所述优选的图像(36)被选择具有表征为在所述系列图像(26)中是最大的所述视在大小(46)。
3.根据权利要求1所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述系列图像(26)中所述光源(38)的视在强度(48)，并且所述优选的图像(36)被选择具有表征为在所述系列图像(26)中是最大的所述视在强度(48)。
4.根据权利要求1所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于限定围绕所述系列图像(26)中的所述交通灯(20)的每一个图像的边界框(50)，并且基于所述系列图像(26)中所述边界框(50)的框大小的改变来确定所述运动模式(34)。
5.根据权利要求1所述的系统(10)，其特征在于，所述控制器(32)被进一步配置成用于确定所述运动模式(34)何时使得其他灯(52)周期性地向所述相机(24)显露。
6.根据权利要求1所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述运动模式(34)的运动周期(56)，并且预测由所述相机(24)呈现的未来图像(58)中的哪一个将会被选择为所述优选的图像(36)。
7.根据权利要求1所述的系统(10)，其特征在于，所述系统(10)包括雷达(28)，所述雷达(28)与所述控制器(32)通信，并且所述控制器(32)进一步被配置成用于基于由所述雷达(28)检测的返回信号来进一步确定所述运动模式(34)。
8.一种交通灯检测系统(10)，所述交通灯检测系统(10)在视觉上确定靠近主车辆(12)的交通灯(20)的灯状态(18)，所述系统(10)包括：
相机(24)，所述相机(24)在所述主车辆(12)上，所述相机(24)呈现靠近所述主车辆(12)的所述交通灯(20)的系列图像(26)；
雷达(28)，所述雷达(28)在所述主车辆(12)上，所述雷达(28)检测来自所述交通灯(20)的雷达返回(30)；以及
控制器(32)，所述控制器(32)与所述相机(24)以及所述雷达(28)通信，其中所述控制器(32)被配置成用于：
基于所述雷达返回(30)确定所述交通灯(20)的运动模式(34)；
基于所述运动模式(34)从所述系列图像(26)中选择优选的图像(36)，其中当所述运动模式(34)指示所述交通灯(20)正在移动时，所述优选的图像(36)示出被表征为最直接地指向所述相机(24)的所述交通灯(20)的光源(38)；
基于所述优选的图像(36)确定所述交通灯(20)的灯状态(18)。
9.根据权利要求8所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述系列图像(26)中所述光源(38)的视在大小(46)，并且所述优选的图像(36)被选择具有表征为在所述系列图像(26)中是最大的所述视在大小(46)。
10.根据权利要求8所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述系列图像(26)中所述光源(38)的视在强度(48)，并且所述优选的图像(36)被选择具有表征为在所述系列图像(26)中是最大的所述视在强度(48)。
11.根据权利要求8所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于限定围绕所述系列图像(26)中的所述交通灯(20)的每一个图像的边界框(50)，并且进一步基于所述系列图像(26)中所述边界框(50)的框大小的改变来确定所述运动模式(34)。
12.根据权利要求8所述的系统(10)，其特征在于，所述控制器(32)被进一步配置成用于确定所述运动模式(34)何时使得其他灯(52)周期性地向所述相机(24)显露。
13.根据权利要求8所述的系统(10)，其特征在于，所述控制器(32)进一步被配置成用于确定所述运动模式(34)的运动周期(56)，并且预测由所述相机(24)呈现的未来图像(58)中的哪一个将会被选择为所述优选的图像(36)。
CN201880043576.2A 2017-06-30 2018-06-28 自动车辆的移动交通灯检测系统 Active CN110831832B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/638,546 2017-06-30
US15/638,546 US10525903B2 (en) 2017-06-30 2017-06-30 Moving traffic-light detection system for an automated vehicle
PCT/US2018/039940 WO2019006084A1 (en) 2017-06-30 2018-06-28 CIRCULATION FIRE DETECTION SYSTEM FOR AN AUTOMATED VEHICLE

Publications (2)

Publication Number Publication Date
CN110831832A CN110831832A (zh) 2020-02-21
CN110831832B true CN110831832B (zh) 2022-12-20

Family

ID=64735276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043576.2A Active CN110831832B (zh) 2017-06-30 2018-06-28 自动车辆的移动交通灯检测系统

Country Status (4)

Country Link
US (1) US10525903B2 (zh)
EP (1) EP3621863A4 (zh)
CN (1) CN110831832B (zh)
WO (1) WO2019006084A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852743B2 (en) * 2018-09-07 2020-12-01 GM Global Technology Operations LLC Multimodal multi-technique signal fusion system for autonomous vehicle
CN111882899B (zh) * 2020-07-24 2021-10-22 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
US11681780B2 (en) * 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
CN116887488B (zh) * 2023-09-07 2023-12-12 中建照明有限公司 一种用于城市道路的交通照明控制系统及其控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4507815B2 (ja) * 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP4783431B2 (ja) 2006-09-28 2011-09-28 パイオニア株式会社 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
US8620032B2 (en) 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9881220B2 (en) * 2013-10-25 2018-01-30 Magna Electronics Inc. Vehicle vision system utilizing communication system
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
WO2015136601A1 (ja) * 2014-03-10 2015-09-17 日産自動車株式会社 信号機検出装置及び信号機検出方法
RU2643861C1 (ru) * 2014-03-10 2018-02-06 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофоров и способ обнаружения светофоров
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
CA2992080C (en) 2015-07-13 2020-01-28 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system

Also Published As

Publication number Publication date
EP3621863A4 (en) 2021-03-10
WO2019006084A1 (en) 2019-01-03
US20190001900A1 (en) 2019-01-03
US10525903B2 (en) 2020-01-07
EP3621863A1 (en) 2020-03-18
CN110831832A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110831832B (zh) 自动车辆的移动交通灯检测系统
JP5198835B2 (ja) ビデオ画像を提示する方法およびシステム
EP1930863B1 (en) Detecting and recognizing traffic signs
US9637118B2 (en) Processing apparatus, processing system, and processing method
JP4783431B2 (ja) 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
JP2006085285A (ja) 危険車両予測装置
JP2002083297A (ja) 物体認識方法および物体認識装置
CN107408288B (zh) 警告装置、警告方法以及警告程序
JP2008013070A (ja) 車両用表示装置
JPH08320997A (ja) 車両用走行車線認識装置及び障害物検出装置・道路逸脱報知装置
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
JP2016038757A (ja) 信号機認識装置及び信号機認識方法
KR102418051B1 (ko) 차선별 교통상황 판단 장치, 시스템, 및 방법
CN107111741B (zh) 用于具有摄像机的机动车的方法，设备和系统
JP2010210477A (ja) ナビゲーション装置
CN107345807A (zh) 障碍物检测的方法电路设备组件系统及相关机器可执行码
JP2004102827A (ja) 車両周辺監視装置
JP2005182307A (ja) 車両運転支援装置
JP2006242643A (ja) ナビゲーション装置
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
JP2003009140A (ja) 歩行者検出装置
CN110599762A (zh) 道路状况感测系统及方法
US10767989B2 (en) Method and device for detecting a light-emitting object at a traffic junction for a vehicle
JP2007072948A (ja) 信号機点灯状態識別方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210414

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: Delphi Technologies, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant