CN116729425A - 用于检测转向指示灯信号的系统和方法 - Google Patents

用于检测转向指示灯信号的系统和方法 Download PDF

Info

Publication number
CN116729425A
CN116729425A CN202211287701.9A CN202211287701A CN116729425A CN 116729425 A CN116729425 A CN 116729425A CN 202211287701 A CN202211287701 A CN 202211287701A CN 116729425 A CN116729425 A CN 116729425A
Authority
CN
China
Prior art keywords
turn signal
vehicle
detected
data
duty cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211287701.9A
Other languages
English (en)
Inventor
D·R·卡夫
T·A·雅库布扎克
A·S·格勒瓦尔
D·可汗
B·卢埃林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116729425A publication Critical patent/CN116729425A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4045Intention, e.g. lane change or imminent movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems

Abstract

检测和确认车辆中的转向灯指示器的系统和方法包括从光学感知系统接收光学感知数据。光学感知数据包括描述由光学感知系统感知到的另一车辆的检测到的转向指示灯的数据,包括检测到的转向指示灯的状态。基于检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号。获得转向指示灯信号的占空比和频率。通过将占空比和频率与预先确定的界限进行比较来评估检测到的转向指示灯是否是有效检测。当检测到的转向指示灯被评估成有效检测时,则基于描述检测到的转向指示灯的数据控制车辆的自动化特征。

Description

用于检测转向指示灯信号的系统和方法
技术领域
本公开一般来说涉及用于检测转向指示灯信号的车辆、系统和方法。
背景技术
自主和半自主车辆能够感测其环境并基于感测的环境进行导航。此类车辆使用诸如雷达、激光雷达、图像传感器等等感测设备感测其环境。车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线驱动系统的信息来导航车辆。
车辆自动化已经被分类成在零(对应于无自动化、完全人为控制)到五(对应于完全自动化、无人为控制)的范围内的数字等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制、车道保持控制和停车辅助系统)对应于较低自动化水平,而真正的“无人驾驶”车辆对应于较高自动化水平。
人类驾驶员可以使用闪烁的转向指示灯来通信其进行驾驶操纵的意图以给出事前警告。驾驶员激活转向指示灯的示例性情况包括准备驶出的停放车辆、旨在改变车道的车辆和转入辅路的车辆。自动驾驶系统可以受益于检测和解释转向指示灯,以便响应于指示的驾驶员意图控制车辆运动。光学感知系统可能由于各种原因而错误地检测转向指示灯,诸如太阳光的闪烁、环境因素或外部人造光以及目标车辆上的可变阴影。
因此,期望提供支持光学感知系统以减少错误转向灯信号检测的情况的系统和方法。此外,结合附图以及前述技术领域和背景技术,根据后续具体实施方式和所附权利要求,本发明的其他期望特征和特性将变得显而易见。
发明内容
在一个方面中,提供一种检测和确认车辆中的转向灯指示器的方法。方法包括经由处理器从车辆的光学感知系统接收光学感知数据,其中光学感知数据包括描述由光学感知系统感知到的另一车辆的检测到的转向指示灯的数据,包括检测到的转向指示灯的状态。方法包括经由处理器基于检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号。方法包括经由处理器获得转向指示灯信号的占空比和频率。方法包括经由处理器通过将占空比和频率与预先确定的界限进行比较来评估检测到的转向指示灯是否是有效检测。当检测到的转向指示灯被评估成有效检测时,则经由处理器基于描述检测到的转向指示灯的数据控制车辆的自动化特征。
在另一方面中,提供一种车辆。车辆包括光学感知系统和与光学感知系统可操作通信的处理器。处理器被配置成执行程序指令。程序指令被配置成致使处理器执行以下步骤:从车辆的光学感知系统接收光学感知数据,其中光学感知数据包括描述由光学感知系统感知到的另一车辆的检测到的转向指示灯的数据,包括检测到的转向指示灯的状态;基于检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号;获得转向指示灯信号的占空比和频率;通过将占空比和频率与预先确定的界限进行比较来评估检测到的转向指示灯是否是有效检测;以及当检测到的转向指示灯被评估成有效检测时,则基于描述检测到的转向指示灯的数据控制车辆的自动化特征。
在实施例中,当检测到的转向指示灯被评估成不是有效检测,则在不使用描述检测到的转向指示灯的数据的情况下控制车辆的自动化特征。
在实施例中,评估进一步包括针对占空比和频率导出随时间推移一致性量度并将随时间推移一致性量度与预期限制进行比较。
在实施例中,预先确定的界限对于频率在1至2赫兹的范围内,并且对于占空比在30%至75%接通时间的范围内,尽管可以想到其他界限范围。
在实施例中,光学感知系统包括被配置成基于来自车辆的一个或多个相机的图像数据检测转向指示灯的人工智能引擎。
在实施例中,车辆的自动化特征包括制动、转向、推进、警报输出和警告输出。
在实施例中,时变波形是阶梯函数。
在实施例中,占空比在第一时窗内测量,并且频率在第二时窗内测量。
在实施例中,第一时窗的时间长度与第二时窗的时间长度相同。
在实施例中,描述另一车辆的检测到的转向指示灯的数据包括位置。
本发明还包括如下技术方案。
技术方案1. 一种检测和确认车辆中的转向灯指示器的方法,所述方法包括:
经由至少一个处理器从车辆的光学感知系统接收光学感知数据,其中,光学感知数据包括描述由光学感知系统感知到的另一车辆的至少一个检测到的转向指示灯的数据,包括至少一个检测到的转向指示灯的状态;
经由至少一个处理器基于至少一个检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号;
经由至少一个处理器获得转向指示灯信号的占空比和频率;
经由至少一个处理器通过将占空比和频率与预先确定的界限进行比较来评估至少一个检测到的转向指示灯是否是有效检测;以及
当至少一个检测到的转向指示灯被评估成有效检测时,则经由至少一个处理器基于描述至少一个检测到的转向指示灯的数据控制车辆的至少一个自动化特征。
技术方案2. 根据技术方案1所述的方法,其中,当至少一个检测到的转向指示灯被评估成不是有效检测时,则在不使用描述至少一个检测到的转向指示灯的数据的情况下控制车辆的至少一个自动化特征。
技术方案3. 根据技术方案1所述的方法,其中,评估进一步包括针对占空比和频率中的至少一者导出随时间推移一致性量度并将随时间推移一致性量度与预期限制进行比较。
技术方案4. 根据技术方案1所述的方法,其中,预先确定的界限对于频率在1至2赫兹的范围内,并且对于占空比在30%至75%接通时间的范围内。
技术方案5. 根据技术方案1所述的方法,其中,光学感知系统包括被配置成基于来自车辆的一个或多个相机的图像数据检测至少一个检测到的转向指示灯的人工智能引擎。
技术方案6. 根据技术方案1所述的方法,其中,车辆的至少一个自动化特征包括制动、转向、推进以及通过视觉和/或音频输出设备输出视觉和/或听觉警告或警报。
技术方案7. 根据技术方案1所述的方法,其中,时变波形包括阶梯函数。
技术方案8. 根据技术方案1所述的方法,其中,占空比在第一时窗内测量,并且频率在第二时窗内测量。
技术方案9. 根据技术方案8所述的方法,其中,第一时窗的时间长度与第二时窗的时间长度相同。
技术方案10. 根据技术方案1所述的方法,其中,描述另一车辆的至少一个检测到的转向指示灯的数据包括位置。
技术方案11. 一种车辆,其包括:
光学感知系统;以及
与光学感知系统可操作通信的至少一个处理器,其中,至少一个处理器被配置成执行程序指令,其中,程序指令被配置成致使至少一个处理器:
从车辆的光学感知系统接收光学感知数据,其中,光学感知数据包括描述由光学感知系统感知到的另一车辆的至少一个检测到的转向指示灯的数据,包括至少一个检测到的转向指示灯的状态;
基于至少一个检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号;
获得转向指示灯信号的占空比和频率;
通过将占空比和频率与预先确定的界限进行比较来评估至少一个检测到的转向指示灯是否是有效检测;以及
当至少一个检测到的转向指示灯被评估成有效检测时,则基于描述至少一个检测到的转向指示灯的数据控制车辆的至少一个自动化特征。
技术方案12. 根据技术方案11所述的车辆,其中,当至少一个检测到的转向指示灯被评估成不是有效检测时,则在不使用描述至少一个检测到的转向指示灯的数据的情况下控制车辆的至少一个自动化特征。
技术方案13. 根据技术方案11所述的车辆,其中,程序指令被配置成致使至少一个处理器进一步通过针对占空比和频率中的至少一者导出随时间推移一致性量度并将随时间推移一致性量度与预期限制进行比较来评估至少一个检测到的转向指示灯是否是有效检测。
技术方案14. 根据技术方案11所述的车辆,其中,预先确定的界限对于频率在1至2赫兹的范围内,并且对于占空比在30%至75%接通时间的范围内。
技术方案15. 根据技术方案11所述的车辆,其中,车辆包括一个或多个相机,并且光学感知系统包括被配置成基于来自一个或多个相机的图像数据检测至少一个检测到的转向指示灯的人工智能引擎。
技术方案16. 根据技术方案11所述的车辆,其中,车辆的至少一个自动化特征包括制动、转向、推进以及通过视觉和/或音频输出设备输出视觉和/或听觉警告或警报。
技术方案17. 根据技术方案11所述的车辆,其中,时变波形包括阶梯函数。
技术方案18. 根据技术方案11所述的车辆,其中,占空比在第一时窗内测量,并且频率在第二时窗内测量。
技术方案19. 根据技术方案18所述的车辆,其中,第一时窗的时间长度与第二时窗的时间长度相同。
技术方案20. 根据技术方案11所述的车辆,其中,描述另一车辆的至少一个检测到的转向指示灯的数据包括位置。
附图说明
在下文中将结合以下附图描述示例性实施例,其中相似的附图标记表示相似的元件,并且其中:
图1是图示根据各种实施例的利用用于检测到的转向灯指示器的确认系统的自主或半自主车辆系统的功能框图;
图2是图示根据各种实施例的包括用于检测到的转向灯指示器的确认系统的自主驾驶系统的数据流图;
图3是图示根据各种实施例的用于确认检测到的转向灯指示器的功能块的系统图;
图4是图示根据各种实施例的用于检测和确认转向指示灯的算法过程的方法步骤的流程图。
具体实施方式
以下具体实施方式在本质上仅是示例性的,并且并不旨在限制应用和使用。此外,并不旨在受到在前述技术领域、背景技术、发明内容或以下具体实施方式中提出的任何明示或暗示理论的约束。如本文中所使用的,术语模块是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备(单独或以任一组合),包括但不限于:专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
本公开的实施例可以在本文中根据功能和/或逻辑块部件以及各种处理步骤来描述。应了解,此类块部件可以由被配置成实施指定功能的任何数量的硬件、软件和/或固件部件实现。例如,本公开的实施例可以采用各种集成电路部件,例如,存储器元件、数字信号处理元件、逻辑元件、查找表等等,其可以在一个或多个微处理器或其他控制设备的控制下执行多种功能。另外,本领域技术人员将了解,本公开的实施例可以结合任意数量的系统来实践,并且本文中描述的系统仅是本公开的示例性实施例。
为简洁起见,本文中可能不详细描述与信号处理、数据传输、传讯、控制以及系统的其他功能方面(以及系统的单独操作部件)有关的常规技术。此外,本文中包含的各种图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦接。应注意,在本公开的实施例中可能存在许多替代或额外功能关系或物理连接。
参考图1,根据各种实施例,通常以100示出的车辆系统与车辆10相关联。一般来说,车辆系统100包括接收从光学感知系统输出的转向灯检测信号的确认系统200。转向灯检测信号表示检测到的转向指示灯状态。确认系统根据频率和占空比表征转向灯检测信号并应用检查频率和占空比是否落入预期界限内的过滤标准。如果检查确定频率和占空比落入界限内,则转向灯检测信号被认为是有效的。如果不是,则转向灯检测信号被认为是错误的。
如图1中所绘示的,车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应拐角附近旋转地耦接到底盘12。
在一些实施例中,车辆10是自主车辆,并且确认系统200并入到自主车辆10(在下文中称为自主车辆10)中。本描述集中于自主车辆应用中的示例性应用。然而,应理解,本文中描述的确认系统200被设想成用于半自主机动车辆中。特别地,确认系统200具有与驾驶员辅助系统相关联的功用,诸如自适应巡航控制、车道保持辅助和防撞系统。
自主车辆10例如是被自动控制以将乘客从一个位置载送到另一位置的车辆。车辆10在所图示的实施例中被绘示为客车,但是应该了解,可以使用任何其他车辆,包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等等。在示例性实施例中,自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”,指的是即使人类驾驶员并不对干预请求适当地做出响应,自动驾驶系统也针对动态驾驶任务的所有方面实施特定驾驶模式。五级系统指示“完全自动化”,指的是在人类驾驶员可以管理的所有道路和环境条件下,自动驾驶系统针对动态驾驶任务的所有方面实施全时驾驶模式。
如图所示,自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中,推进系统20可以包括内燃发动机、诸如牵引马达的电机和/或燃料电池推进系统。传动系统22被配置成根据可选择的速度比将动力从推进系统20传递到车辆车轮16-18。根据各种实施例,传动系统22可以包括有级自动变速器、无级变速器或其他合适变速器。制动系统26被配置成向车辆车轮16-18提供制动扭矩。在各种实施例中,制动系统26可以包括摩擦制动器、线驱动制动器、诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车辆车轮16-18的位置。虽然出于说明性目的绘示为包括方向盘,但是在能够想到落入本公开的范围内的一些实施例中,转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察条件的一个或多个感测设备40a-40n。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机140a-140n、热像仪、超声波传感器和/或其他传感器。光学相机140a-140n安装在车辆10上并且被布置成用于捕获车辆10周围的环境的图像(例如呈视频形式的图像序列)。在所图示的实施例中,存在被分别布置成用于对广角近视场和窄角远视场进行成像的两个前置相机140a、140b。可以存在一个相机或多个相机。进一步图示左侧和右侧相机140c、140e以及后置相机140d。各种相机140a-140n的数量和位置仅是示例性的,并且能够想到其他布置。例如,可以仅提供一个相机,诸如前置相机或仪表板相机。致动器系统30包括控制一个或多个车辆特征的一个或多个致动器设备42a-42n,诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中,车辆特征可以进一步包括内部和/或外部车辆特征,诸如但不限于车门、行李箱和车厢特征,诸如空气、音乐、照明等等(未编号)。
数据存储设备32存储用于自动控制自主车辆10的数据。在各种实施例中,数据存储设备32存储可导航环境的限定的地图。在各种实施例中,限定的地图可以由远程系统预先限定并从远程系统获得。例如,限定的地图可以由远程系统组合并通信到自主车辆10(无线地和/或以有线方式)并且存储在数据存储设备32中。如可以了解的,数据存储设备32可以是控制器34的一部分,与控制器34分开,或者是控制器34的一部分和单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制或市售处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的数个处理器之中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、宏处理器、其任何组合或者通常是用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和不失效存储器(KAM)中的易失性和非易失性存储装置。KAM是可以用于在处理器44掉电时存储各种操作变量的永久或非易失性存储器。可以使用许多已知存储器设备中的任一者实现计算机可读存储设备或介质46,诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或者能够存储数据的任何其他电、磁、光或组合存储器设备,数据中的一些表示由控制器34在控制自主车辆10时使用的可执行指令。
指令可以包括一个或多个单独的程序,程序中的每一者包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收和处理来自传感器系统28的信号、实施用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法,并向致动器系统30生成控制信号以基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。虽然在图1中仅示出一个控制器34,但是自主车辆10的实施例可以包括任何数量的控制器34,其通过任何合适通信介质或若干通信介质的组合通信,并且协作以处理传感器信号,实施逻辑、计算、方法和/或算法,并生成控制信号以自动控制自主车辆10的特征。
在各种实施例中,控制器34的一个或多个指令包含在确认系统200中,并且当由处理器44执行时被配置成实现本文中描述的方法和系统,用于通过验证信号的频率和占空比在预期值范围内来自动确认转向指示灯的光学感知。
通信系统36被配置成将信息无线地通信到其他实体48(诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备)和从其他实体48无线地通信信息。在示例性实施例中,通信系统36是被配置成经由无线局域网(WLAN)使用IEEE802.11标准或者通过使用蜂窝数据通信进行通信的无线通信系统。然而,诸如专用短程通信(DSRC)通道的额外或替代通信方法也被视为在本公开的范围内。DSRC通道是指专门针对汽车用途设计的单向或双向短程至中程无线通信通道以及一组对应的协议和标准。
如可以了解的,本文中公开的主题向可视为标准或基准自主车辆10的车辆提供某些经增强的特征和功能。为此目的,可以修改、增强或以其他方式补充自主车辆和基于自主车辆的运输系统以提供下文更详细描述的额外特征。本文中关于确认系统200描述的主题不仅适用于自主驾驶应用,而且还适用于具有利用自动转向指示灯检测的一个或多个自动化特征的其他驾驶系统。
根据示例性自主驾驶应用,控制器34实现如图2中所示的自主驾驶系统(ADS) 70。即,利用控制器34的合适软件和/或硬件部件(例如,处理器44和计算机可读存储设备46)来提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中,自主驾驶系统70的指令可以按功能、模块或系统进行组织。例如,如图3中所示,自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。如可以了解的,在各种实施例中,指令可以被组织成任何数量的系统(例如,组合、进一步分割等等),因为本公开并不限于本示例。
在各种实施例中,计算机视觉系统74合成和处理传感器数据并预测物体的存在、位置、分类和/或路径以及车辆10的环境特征。在各种实施例中,计算机视觉系统74可以并入来自多个传感器的信息,包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。计算机视觉系统74包括提供光学感知数据146的光学感知系统144(参见图3),光学感知数据146包括与转向指示灯相关的数据,诸如灯类型(例如制动、转向指示器、危险警示)以及其他灯描述符(颜色)、语义含义(例如接通/断开状态)、目标车辆上的左侧或右侧位置以及边界框位置。
定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如,相对于地图的本地位置、相对于道路的车道的准确位置、车辆前进方向、速度等等)。引导系统78处理传感器数据以及其他数据以确定车辆10要遵循的路径。车辆控制系统80根据所确定的路径生成用于控制车辆10的控制信号。定位系统76在确定车辆10的位置时可以处理多种类型的原始定位数据,包括惯性测量单元数据、全球定位系统(GPS)数据、实时运动学(RTK)校正数据、蜂窝和其他无线数据(例如4G、5G、V2X等等)等等。
在各种实施例中,控制器34实现机器学习技术以辅助控制器34的功能,诸如特征检测/分类、障碍物缓解、路线遍历、映射、传感器集成、地面实况确定等等。
如上文简要提及的,在自主驾驶应用中,图1(以及图3)的确认系统200包括在ADS70内,例如与计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80可操作地通信。确认系统200从计算机视觉系统74接收描述转向指示灯的数据,数据转换成脉冲形式的转向指示器信号并根据脉冲宽度和占空比来表征。确认系统200通过检查频率和占空比是否落入相应预先确定的界限内来确认转向指示灯信号。
参考图3,继续参考图1和图2,根据示例性实施例进一步图示确认系统200。确认系统200包括由上文中描述的编程指令和其他系统部件实施的功能模块。确认系统200包括一个或多个相机140、光学感知系统144、转向指示灯信号生成模块148、信号特征表征模块152和通过/失败决定模块154。
一个或多个相机140是提供表示车辆10周围的环境的数字版本的成像数据142的成像设备。成像数据142以一个或多个相机的帧速率以帧序列的形式提供。如参考图1所述,一个或多个相机可以是前视、后视和/或侧视相机。图像数据142包括其他交通车辆(或目标车辆)的图像。例如,当车辆10沿着道路行进时,图像数据142可以对车辆10的可视外部环境中的另一车辆进行成像。其他目标车辆的图像数据142可以包括其他目标车辆的灯设备,诸如制动灯、前灯、转向指示灯、危险警示灯等等。转向指示灯是那些闪烁(或反复亮起和熄灭)以指示其他车辆沿指示的方向(例如,针对左侧指示灯向左,并且针对右侧指示灯向右)移动的意图的灯。指示灯可以由其他车辆的人类操作员激活,或者可以由其他车辆的自动化系统激活。
来自一个或多个相机140的图像数据142被提供到光学感知系统144,光学感知系统144可以被包括为计算机视觉系统74的一部分(图2)。光学感知系统144可以以多种方式实施以除其他感兴趣的光学目标之外还识别和描述其他车辆的转向指示灯。例如,可以训练诸如卷积神经网络的神经网络来识别车辆信号灯的状态。在一个示例中,在环境的深度图(例如使用激光雷达深度传感器)中识别的目标车辆可以用于识别图像数据142内对应于目标车辆的聚焦区域(包括转向指示灯)的子部分。可以训练卷积神经网络(cNN)以通过处理图像数据的聚焦区域来实施对转向指示灯状态(以及其他描述符)的识别。在一个示例中,可以训练cNN以辨识出现在聚焦区域内的颜色以及其他因素,诸如聚焦区域内颜色对象(例如,“斑点”)的位置。在由神经网络处理之前,可以对图像数据142实施一些预处理以增强转向指示灯(以及其他信号灯,如制动灯)的对比度。因此,光学感知系统144包括用于检测和提取描述车辆10周围的环境中的目标车辆的转向指示灯的特征的人工智能。人工智能可以借助于诸如机器学习、深度学习、神经网络、卷积神经网络(例如,ConvNet)、递归神经网络、随机森林、遗传算法和强化学习的技术来实现。光学感知系统144可以输出光学感知数据146,包括描述任何检测到的转向信号指示灯的特征,包括诸如位置(例如,像素位置)、大小、形状、平均强度(例如,以流明为单位)和/或颜色(例如,白色、黄色、红色)、左闪光灯(转向指示灯)接通、左闪光灯断开、右闪光灯接通和右闪光灯断开的特征。光学感知数据146是时变的,因为其随一个或多个相机提供图像数据142的新帧而改变。
转向指示灯信号生成模块148根据感知数据146中提供的分类隔离和提取关于转向指示灯的数据。转向指示灯信号生成模块148生成转向指示器信号150,其是表示包括在光学感知数据146中的每一单独转向指示灯的状态的时变信号。在图3的示例性实施例中,转向指示灯信号150被提供为脉冲波形,当转向指示灯状态为接通时脉冲波形为高,并且当转向指示灯状态为断开时脉冲波形为低(或者反之亦然)。
信号特征表征模块152被配置成分析转向指示灯信号150并表征转向指示灯信号150的占空比和频率。占空比表征转向指示灯信号的第一时窗内的接通时间百分比或断开时间百分比。频率可以通过在第二时窗内对转向指示灯信号150的接通循环的平均数进行计数并除以第二时窗的长度来测量。第一和第二时窗可以持续相同或不同的时间量并且是可调整(可校准)的值。转向指示灯信号的占空比和频率由信号特征表征模块152作为信号特征160输出。
通过/失败决定模块154应用过滤标准来分类信号特征160是否很可能被认为代表转向指示灯。转向指示灯通常将具有落入预先确定的界限内的频率和占空比。通过/失败决定模块154将频率界限和占空比界限应用于转向指示灯信号150的测量频率和占空比以确定转向指示灯信号是否可以被有效地假定成转向指示灯(通过条件),或者任何检测到的转向指示灯的光学感知数据146中的转向指示灯数据是否表示错误检测(失败条件)。除了应用通过或失败条件的转向指示灯的标识符以外,通过/失败决定模块154还可以输出通过或失败条件作为输出数据156。在一些实施例中,占空比和频率的界限作为从计算机可读存储设备46检索的界限数据158提供到通过/失败决定模块。占空比的界限可能例如需要30%至75%之间的接通时间。频率的界限可能例如需要每分钟60至120次闪光(接通循环)(或者1至2赫兹)。
在实施例中,通过/失败决定模块可以应用额外的过滤标准,即,频率和/或占空比的一致性。可以在第三时窗内导出时变频率和/或占空比中的一致性量度(诸如标准偏差),并且必须针对通过/失败决定模块154实现某一最小一致性以将转向指示灯信号确认为有效地对应于转向指示灯。
在一个示例性实施例中,输出数据156被提供到ADS 70。当输出数据156指示已经有效地检测到转向指示灯时,ADS 70可以继续依赖于光学感知数据146中的对应转向指示灯数据并基于其控制至少一个车辆特征。例如,可以基于针对目标车辆的转向指示灯检测到的数据控制推进、转向和制动中的一者或多者。另外或可替代地,车辆可以包括响应于输出数据输出听觉和/或视觉警告或警报的一个或多个听觉和/或视觉输出设备。示例性控制动作可以包括在检测到近端合并车辆时改变车辆10的速度。当输出数据156指示已经错误地检测到转向指示灯时,转向指示灯检测被忽略/去抖动,并且ADS 70继续控制车辆10,就好像尚未检测到转向指示灯一样。
现在参考图4,并且继续参考图1-图3,流程图图示根据本公开的确认对转向指示灯的检测的方法300。如根据本公开可以了解的,方法内的操作次序并不限于如图4中所图示的顺序执行,而是可以按适用并根据本公开的一个或多个不同次序实施。在各种实施例中,方法300可以被调度成基于一个或多个预先确定的事件运行,和/或可以在车辆10的操作期间连续运行。如本文中先前论述的,方法适用于具有转向指示灯检测功能的自主、半自主和非自主车辆300。
在步骤310处,从光学感知系统144接收光学感知数据146。光学感知数据146包括车辆10的环境中的另一车辆的至少一个检测到的转向指示灯的转向指示灯描述数据。转向指示灯描述数据可以包括转向指示灯类型的分类、状态(接通/断开)和多种其他描述符,诸如位置、颜色、亮度等等。光学感知系统144使用人工智能引擎对转向指示灯信号进行分类并回归状态和任何其他描述符。人工智能引擎可以借助于诸如机器学习、深度学习、神经网络、卷积神经网络(例如,ConvNet)、递归神经网络、随机森林、遗传算法、强化学习及其组合的技术来实现。
在步骤320处,由包括在光学感知数据146中的转向指示灯数据生成转向指示灯信号150。转向指示灯信号150以根据检测到的转向指示灯的状态在高状态和低状态之间振荡的时变脉冲波的形式提供。即,当检测到转向指示灯具有接通状态时输出高状态,并且当检测到转向指示灯具有断开状态时输出低状态(或者反之亦然)。时变脉冲波可以是阶梯函数。
在步骤330处,确定转向指示灯信号150的占空比和频率。转向指示灯信号的占空比和频率可以在相应时窗内确定,时窗可以是或可以不是相同的时间长度。时窗可以对应于平均转向指示灯的至少几个循环,例如至少2秒。
在步骤340处,方法300检查占空比和频率是否落入有效界限内。转向指示灯的频率的有效界限可以是1至2赫兹。占空比的有效界限可以是30%接通至75%接通。可以根据法规和制造商偏好调整这些范围。通过检查一致性量度(例如标准偏差)是否落入预先确定的界限内,可以实施进一步检查,即,占空比和/或频率是否随时间的推移(例如至少3秒的时窗)不充分一致。
在步骤350处,如果步骤340的检查揭示占空比和频率在有效界限内(并且任选地,如果占空比和频率随时间推移充分一致),则方法300继续使用光学感知数据146中的转向指示灯数据控制至少一个自动化车辆特征。自动化车辆特征可以包括在ADS 70中,或者可以是高级驾驶辅助特征。在步骤360处,如果步骤340的检查揭示占空比和频率不在有效界限内(并且任选地,如果占空比和频率随时间推移充分一致),则光学感知数据146中的转向指示灯数据不用于控制至少一个自动化车辆特征。
本文中公开使用信号频率和占空比来使图像处理和报告中的转向信号检测合理化的方法和系统。需要对转向信号状态的阳性检测才能通过检查,以确保其始终在转向信号频率和占空比的预期界限(根据已知制造商和法规要求)内。系统和方法利用将减少对半自主和自主驾驶员特征中的转向信号的假阳性检测的算法。算法监视信号频率和占空比以确保其落入预先确定的界限内。转向信号状态的可靠性可以导致更好的主动安全性和自主驾驶系统性能。如果在检测到的车辆上存在闪光或对比度变化,则在没有本文中描述的确认系统和方法的情况下,假阳性检测是可能的,其中闪光或对比度变化不是来自转向信号(诸如从车辆反射的光)。通过集成本文中描述的算法,对转向信号状态的阳性检测通过信号表征和过滤标准以确保在信号输出之前其始终在转向信号频率和占空比的预期界限内。
虽然在前述具体实施方式中已经呈现至少一个示例性实施例,但是应了解,存在大量变型。还应了解,一个或多个示例性实施例仅是示例,并且并不旨在以任何方式限制本公开的范围、适用性或配置。相反,前述具体实施方式将为本领域技术人员提供用于实现一个或多个示例性实施例的方便路线图。应理解,可在不背离如在所附权利要求书及其合法等效内容中所阐述的本公开的范围的情况下,在元件的功能和布置上作出各种改变。

Claims (10)

1.一种检测和确认车辆中的转向灯指示器的方法,所述方法包括:
经由至少一个处理器从车辆的光学感知系统接收光学感知数据,其中,光学感知数据包括描述由光学感知系统感知到的另一车辆的至少一个检测到的转向指示灯的数据,包括至少一个检测到的转向指示灯的状态;
经由至少一个处理器基于至少一个检测到的转向指示灯的状态生成呈时变波形形式的转向指示灯信号;
经由至少一个处理器获得转向指示灯信号的占空比和频率;
经由至少一个处理器通过将占空比和频率与预先确定的界限进行比较来评估至少一个检测到的转向指示灯是否是有效检测;以及
当至少一个检测到的转向指示灯被评估成有效检测时,则经由至少一个处理器基于描述至少一个检测到的转向指示灯的数据控制车辆的至少一个自动化特征。
2.根据权利要求1所述的方法,其中,当至少一个检测到的转向指示灯被评估成不是有效检测时,则在不使用描述至少一个检测到的转向指示灯的数据的情况下控制车辆的至少一个自动化特征。
3.根据权利要求1所述的方法,其中,评估进一步包括针对占空比和频率中的至少一者导出随时间推移一致性量度并将随时间推移一致性量度与预期限制进行比较。
4.根据权利要求1所述的方法,其中,预先确定的界限对于频率在1至2赫兹的范围内,并且对于占空比在30%至75%接通时间的范围内。
5.根据权利要求1所述的方法,其中,光学感知系统包括被配置成基于来自车辆的一个或多个相机的图像数据检测至少一个检测到的转向指示灯的人工智能引擎。
6.根据权利要求1所述的方法,其中,车辆的至少一个自动化特征包括制动、转向、推进以及通过视觉和/或音频输出设备输出视觉和/或听觉警告或警报。
7.根据权利要求1所述的方法,其中,时变波形包括阶梯函数。
8.根据权利要求1所述的方法,其中,占空比在第一时窗内测量,并且频率在第二时窗内测量。
9.根据权利要求8所述的方法,其中,第一时窗的时间长度与第二时窗的时间长度相同。
10.根据权利要求1所述的方法,其中,描述另一车辆的至少一个检测到的转向指示灯的数据包括位置。
CN202211287701.9A 2022-03-01 2022-10-20 用于检测转向指示灯信号的系统和方法 Pending CN116729425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/652965 2022-03-01
US17/652,965 US11951981B2 (en) 2022-03-01 2022-03-01 Systems and methods for detecting turn indicator light signals

Publications (1)

Publication Number Publication Date
CN116729425A true CN116729425A (zh) 2023-09-12

Family

ID=87572200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211287701.9A Pending CN116729425A (zh) 2022-03-01 2022-10-20 用于检测转向指示灯信号的系统和方法

Country Status (3)

Country Link
US (1) US11951981B2 (zh)
CN (1) CN116729425A (zh)
DE (1) DE102022126305A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8941482B1 (en) * 2011-06-23 2015-01-27 BenJoaquin Tomas Gouverneur Automating turn indication systems
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
US9701241B2 (en) * 2015-09-17 2017-07-11 Volkswagen AG and Audi AG Early detection of turning and automatic response by the vehicle
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11341356B2 (en) * 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
WO2021226062A1 (en) * 2020-05-04 2021-11-11 Intel Corporation Intelligent transport system service dissemination
US20230211726A1 (en) * 2022-01-04 2023-07-06 Mobileye Vision Technologies Ltd. Crowdsourced turn indicators

Also Published As

Publication number Publication date
US20230278553A1 (en) 2023-09-07
DE102022126305A1 (de) 2023-09-07
US11951981B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US10392009B2 (en) Automatic parking system and automatic parking method
CN109421739B (zh) 用于监控自主车辆的方法和设备
CN106537180B (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
US10913464B1 (en) Intelligent escalation strategy for autonomous vehicle
US10733420B2 (en) Systems and methods for free space inference to break apart clustered objects in vehicle perception systems
US9827956B2 (en) Method and device for detecting a braking situation
US11691619B2 (en) Automatic parking system and automatic parking method
US20200283021A1 (en) Vehicle control apparatus, vehicle, and control method
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
US10935652B2 (en) Systems and methods for using road understanding to constrain radar tracks
US20180074200A1 (en) Systems and methods for determining the velocity of lidar points
US10600323B2 (en) Vehicle external notification device
US11631325B2 (en) Methods and systems for traffic light state monitoring and traffic light to lane assignment
CN115071702A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN112406876A (zh) 车辆及其控制方法、控制装置
CN111599166B (zh) 用于解释交通信号和协商信号化的交叉路口的方法和系统
US11433888B2 (en) Driving support system
US20200387161A1 (en) Systems and methods for training an autonomous vehicle
US20230322215A1 (en) System and method of predicting and displaying a side blind zone entry alert
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
US11951981B2 (en) Systems and methods for detecting turn indicator light signals
US20230311858A1 (en) Systems and methods for combining detected objects
US20220388545A1 (en) Autonomous driving control apparatus and method thereof
US20230365124A1 (en) Systems and methods for generating vehicle alerts
US11869250B2 (en) Systems and methods for detecting traffic objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination