CN110550042B - 用于辅助驾驶员预防性驾驶的方法和系统 - Google Patents

用于辅助驾驶员预防性驾驶的方法和系统 Download PDF

Info

Publication number
CN110550042B
CN110550042B CN201910477089.3A CN201910477089A CN110550042B CN 110550042 B CN110550042 B CN 110550042B CN 201910477089 A CN201910477089 A CN 201910477089A CN 110550042 B CN110550042 B CN 110550042B
Authority
CN
China
Prior art keywords
host vehicle
vehicle driver
driver
threat
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910477089.3A
Other languages
English (en)
Other versions
CN110550042A (zh
Inventor
T·维克托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN110550042A publication Critical patent/CN110550042A/zh
Application granted granted Critical
Publication of CN110550042B publication Critical patent/CN110550042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种可操作用于检测并充分警告被确定为属于错误地相信在驾驶员辅助或自驾驶(即,自动驾驶)模式下操作的道路车辆将自动地识别并对感知到的或突然的威胁做出反应的独特的决策圈外类别的驾驶员的方法和系统。一种可操作用于检测并充分警告不专注、困倦和/或决策圈外驾驶员并评估和确认驾驶员对相关联的警告提示(多个警告提示)的充分响应的方法和系统,所述警告提示(多个警告提示)可包括听觉、视觉、触觉、更优选地制动脉冲或类似警告提示(多个警告提示)。

Description

用于辅助驾驶员预防性驾驶的方法和系统
相关申请的交叉引用
本公开要求2018年6月1日提交并且题为“METHOD AND SYSTEM FOR ASSISTINGDRIVERS TO DRIVE WITH PRECAUTION”的共同未决的美国临时专利申请号62/679,047的优先权,出于所有目的,该临时专利申请的内容以其全部内容并入本文。
技术领域
本公开总体上涉及一种用于辅助主车辆的驾驶员预防性驾驶的方法。本公开还涉及一种用于辅助主车辆的驾驶员预防性驾驶的系统以及包括这种系统的道路车辆。
背景技术
现代道路车辆配备有越来越多的外部传感器和通信装置以便能够收集关于其周围环境的信息。这种外部传感器的示例是监控道路车辆前方的交通使得例如可以辅助车辆的驾驶员避免交叉和后端碰撞的雷达和摄像机传感器。
用于辅助道路车辆驾驶员保持高水平的注意力的先前系统已主要集中于针对驾驶员眼睛偏离道路/驾驶员分心状况的检测和警告。这种系统通常一直被设计成如果眼睛偏离道路时间超出极限则警告道路车辆的驾驶员,或者如果道路车辆的驾驶员分心则在低威胁水平下触发对威胁的警告。
在手动或监督自动化模式下驾驶道路车辆时,这种现有解决方案有时遭受一些缺点。这是因为低水平的驾驶员注意力并不总是意味着高水平的风险。如果即使伴随低水平的驾驶员注意力交通状况也被认为是安全的,则警告低注意力水平的道路车辆的驾驶员可能导致不必要的警告。然而,在驾驶员分心时,威胁也可能在任何时间突然出现,这可能使得一旦检测到威胁就难以及时警告驾驶员。
为了克服该问题,已经提出了将驾驶员监控摄像机与外部传感系统相结合以在评估出驾驶员没有察觉到已被外部传感系统检测到的威胁时警告道路车辆的驾驶员的解决方案。这些类型的解决方案可用于减少不必要的警告的数量,但是,它们然而也可能导致具有延迟或错过的警告的状况,例如由于被遮蔽的威胁,例如从外部传感系统无法获得足够信息的被遮挡区域走出的行人。
从而,存在对于用于辅助道路车辆驾驶员避免事故(尤其是在手动或监督自动化模式下驾驶时)的改进的解决方案的需要。
此外,存在对于一种用于检测和充分警告被确定为属于错误地相信在驾驶员辅助或自驾驶(即,自动驾驶)模式下操作的道路车辆将自动地识别并对感知到的或突然的威胁作出反应的独特类别的驾驶员的改进的解决方案的需要。这被称为“决策圈外(out-of-the-loop)”驾驶员。该状况要求对给定驾驶员的行为的系统性分析和分类以及对于该独特类别的驾驶员更高水平的指导和警告。
更进一步地,存在对于一种用于检测充分地警告不专注、困倦和/或决策圈外驾驶员并评估和确认驾驶员对相关联的警告提示(多个警告提示)的充分响应的改进的解决方案,所述警告提示(多个警告提示)可包括听觉、视觉、触觉以及更优选地制动脉冲或类似警告提示(多个警告提示)。该状况要求对反应时间的建模以及一旦已识别出感知到的或突然的威胁则对到碰撞的时间概率的考虑。
发明内容
本发明的一个目的是提供一种用于辅助道路车辆的驾驶员在手动或监督自动化模式下驾驶时避免事故的改进的方法。
这通过一种用于辅助主车辆的驾驶员预防性驾驶的方法来提供,该方法包括:从布置成监控主车辆的环境的一个或更多主车辆传感器来确定与主车辆的交通状况相关联的其他道路使用者和至少一个特定特征;基于所确定的其他道路使用者和所述至少一个特定特征,施加与可能出现的至少一个假想威胁有关的至少一个假想;基于所施加的所述至少一个假想来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平并估计直到将要求该主车辆驾驶员注意力水平的时间;从主车辆的一个或更多驾驶员监控传感器导出前主车辆驾驶员注意力水平;确定所设定或估计的所要求的主车辆驾驶员注意力水平是否超出当前主车辆驾驶员注意力水平以及所估计的直到将要求所估计的主车辆驾驶员注意力水平的时间是否小于阈值时间,并且如果确定如此则向主车辆驾驶员环境产生视觉、听觉和触觉信息中的至少一个以促进对所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发主车辆的自动化制动和转向中的至少一个以促进对所述至少一个假想威胁的安全裕度的增加。
在进一步的实施例中,该方法进一步包括:由主车辆的一个或更多驾驶员监控传感器导出主车辆的驾驶员的注视方向和头部姿势中的至少一个;以及从所导出的注视方向和/或头部姿势确定主车辆驾驶员是否在所述至少一个假想威胁的方向上专注并且如果确定为如此则与如果导出注意力不在所述至少一个假想威胁的方向上相比减小阈值时间。
在又进一步的实施例中,该方法进一步包括考虑主车辆的驾驶员的和主车辆的一个或更多主动安全系统的能力的组合假定能力,估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
在又进一步的实施例中,该方法包括通过将假想的未来行为模型引入与主车辆的交通状况相关联的所有确定的道路使用者以及潜在隐藏的道路使用者而导出直到将要求所估计的主车辆驾驶员关注水平力的时间的近似值。
在一个另外的实施例中,该方法进一步包括将与主车辆的交通状况相关联的至少一个特定特征确定为与行人、另一车辆、十字路口、动物、另一个道路使用者或基础设施的元素中的至少一个相关联的特征。
在又一个另外的实施例中,该方法进一步包括如果所估计的直到要求所估计的主车辆驾驶员注意力水平剩余的时间小于阈值时间,则向主车辆驾驶员环境产生视觉、听觉或触觉信息中的至少一个以促进在可能出现所述至少一个假想威胁的方向上增加的主车辆驾驶员注意力。
在再一个另外的实施例中,该方法进一步包括使用具有针对不同潜在威胁的所估计的反应时间的驾驶员模型来估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
此外,在此设想了一种用于辅助道路车辆的驾驶员在手动或监督自动化模式下驾驶时避免事故的系统。
这由一种用于辅助主车辆的驾驶员预防性驾驶的系统提供,该系统包括至少一个处理装置,该处理装置被编程为:从布置成监控主车辆环境的一个或更多主车辆传感器确定与主车辆的交通状况相关联的其他道路使用者和至少一个特定特征;基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的所述至少一个假想威胁相关的至少一个假想;基于所施加的所述至少一个假想来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平并估计直到将要求该主车辆驾驶员注意力水平的时间;从主车辆的一个或更多驾驶员监控传感器导出当前主车辆驾驶员注意力水平;确定所设定或估计的所要求的主车辆驾驶员注意力水平是否超出当前主车辆驾驶员注意力水平以及所估计的直到将要求所估计的主车辆驾驶员注意力水平的时间是否小于阈值时间,并且如果确定如此则向主车辆驾驶员环境产生视觉、听觉和触觉信息中的至少一个以促进对所述至少一个假想威胁增加的主车辆驾驶员注意力,和/或触发主车辆的自动化制动和转向中的至少一个以促进对所述至少一个假想威胁的安全裕度的增加。
在该系统的进一步实施例中,所述至少一个处理装置被进一步编程为:由主车辆的一个或更多驾驶员监控传感器导出主车辆的驾驶员的注视方向和头部姿势中的至少一个;以及从所导出的注视方向和/或头部姿势确定主车辆驾驶员是否在所述至少一个假想威胁的方向上专注并且如果确定如此则与如果导出注意力不在所述至少一个假想威胁方向相比减小阈值时间。
在该系统的又进一步的实施例中,所述至少一个处理装置被进一步编程为考虑主车辆的驾驶员和主车辆的一个或更多主动安全系统的能力的组合假定能力,估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
在该系统的一个另外的实施例中,所述至少一个处理装置被进一步编程为通过将假想的未来行为模型引入与主车辆的交通状况相关联的所有确定的道路使用者以及与潜在隐藏道路使用者相关的所有假想威胁,导出直到将要求所估计的主车辆驾驶员注意力水平的时间的近似值。
在该系统的又一个另外的实施例中,所述至少一个处理装置被进一步编程为将与主车辆的交通状况相关联的所述至少一个特定特征确定为与行人、另一车辆、十字路口、动物、另一个道路使用者或基础设施的元素中的至少一个相关联的特征。
在该系统的又一个另外的实施例中,所述至少一个处理装置被进一步编程为如果所估计的直到要求所估计的主车辆驾驶员注意力水平剩余的时间小于阈值时间,则向主车辆驾驶员环境产生视觉、听觉或触觉信息中的至少一个以促进在可能出现所述至少一个假想威胁的方向上增加的主车辆驾驶员注意力。
在该系统的又一个另外的实施例中,所述至少一个处理装置被进一步编程为使用具有针对不同潜在威胁的所估计的反应时间的驾驶员模型来估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
在又一个另外的实施例中,该方法和系统可操作用于检测并充分警告被确定为属于错误地相信在驾驶员辅助或自驾驶(即,自动驾驶)模式下操作的道路车辆将自动地识别并对感知到的或突然的威胁作出反应的独特的决策圈外驾驶员类别的驾驶员。该状况要求对给定驾驶员的行为的系统性分析和分类以及对于该独特类别的驾驶员更高水平的指导和警告。要注意的是,该决策圈外检测也可以被称为从碰撞之前的行为的图案的“对碰撞状况的预测的驾驶员响应的估计”或“自动期望不匹配”检测。
在又一个另外的实施例中,该方法和系统可操作用于检测并充分警告不专注、困倦和/或决策圈外的驾驶员并评估和确认驾驶员对相关联的警告提示(多个警告提示)的充分反应,所述警告提示(多个警告提示)可包括听觉、视觉、触觉以及更优选地制动脉冲或类似警告提示(多个警告提示)。该状况要求对反应时间进行建模并且一旦已识别出感知到的或突然的威胁则对到碰撞的时间概率的考虑。
本公开提供了一种用于辅助主车辆的驾驶员预防性驾驶的方法,该方法包括:从布置成监控主车辆的环境一个或更多主车辆传感器或摄像机确定与主车辆的交通状况相关联的其他道路使用者和至少一个特定特征;基于所确定的其他道路使用者和所述至少一个特定特征,施加与可能出现的所述至少一个假想威胁有关的至少一个假想;基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来分析主车辆驾驶员的决策圈外状况;基于所施加的所述至少一个假想和决策圈外状况设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并估计直到将要求该主车辆驾驶员注意力水平的时间;从主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平;确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出当前主车辆驾驶员注意力水平;并且如果所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出当前主车辆驾驶员注意力水平,则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个以促进对于所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发主车辆的自动化制动和转向中的至少一个以促进对上述至少一个假想威胁的安全裕度的增加。该方法进一步包括使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中的一个或更多来监控主车辆驾驶员对视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应,如果该响应低于使用概率数据制定的预定阈值,则向主车辆驾驶员提供增强的视觉、听觉、触觉信息和制动脉冲提示中的至少一个。
本公开进一步提供了一种用于辅助主车辆的驾驶员预防性驾驶的系统,该系统包括:执行用于从布置成监控主车辆的环境的一个或更多主车辆传感器或摄像机确定与主车辆的交通状况相关联的其他道路使用者和至少一个特定特征的算法的车载处理器;执行用于基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的至少一个假想威胁相关的至少一个假想的算法的车载处理器;执行用于基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中的一个或更多来分析主车辆驾驶员的决策圈外状况的算法的车载处理器;执行用于基于所施加的所述至少一个假想和决策圈外状况来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并估计直到将要求该主车辆驾驶员注意力水平的时间的算法的车载处理器;执行用于从主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平的算法的车载处理器;执行用于确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出当前主车辆驾驶员注意力水平的算法的车载处理器;以及其执行用于如果所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出当前主车辆驾驶员注意力水平则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个以促进对所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发主车辆的自动化制动和转向中的至少一个以促进对所述至少一个假想威胁的安全裕度的增加的算法的车载处理器。该系统进一步包括执行用于使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中的一个或更多来监控主车辆驾驶员对视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应的算法的车载处理器,并且如果该响应低于使用概率数据制定的预定阈值,则向主车辆驾驶员提供增强的视觉、听觉、触觉信息和制动脉冲提示中的至少一个。
而且,在此设想了一种道路车辆,其包括如本文中描述的用于辅助主车辆的驾驶员预防性驾驶的系统。
以上各实施例具有以下有益效果:能够辅助道路车辆的驾驶员保持关于可能出现的可检测的以及被遮蔽的不同威胁的交通状况所要求的注意力水平。
附图说明
在下文中,将通过示例的方式仅参考附图更详细地描述本文中的各实施例,其中:
图1示意性地示出根据一个示例实施例的用于辅助主车辆的驾驶员预防性驾驶的方法;
图2示意性地示出根据一个示例实施例的用于辅助主车辆的驾驶员预防性驾驶的系统;
图3示意性地示出根据一个示例实施例的用于辅助主车辆的驾驶员预防性驾驶的另一种方法;以及
图4示意性地示出根据一个示例实施例的用于辅助主车辆的驾驶员预防性驾驶的又一种方法。
具体实施方式
在下文中将描述用于使用从具有至少一个道路车辆驾驶员监控传感器(例如摄像机传感器)的道路车辆外部传感系统收集的信息来辅助道路车辆驾驶员在要求高水平注意力的交通状况中预防性驾驶的方法和系统的一些示例实施例。
从而,本文中的各实施例旨在辅助道路车辆的驾驶员保持关于可能出现的不同风险的状况所要求的注意力水平。在一些状况中,所要求的注意力水平较低,而其它状况则要求更高水平的注意力。
在图1中示意性地示出了用于辅助主车辆1的驾驶员预防性驾驶的所提出的方法,并且该方法包括从布置成监控主车辆1的环境的一个或更多主车辆传感器3a、3b来确定10与主车辆1的交通状况相关联的其他道路使用者和至少一个特定特征。从而,假定主车辆1配备有一个或更多传感器3a、3b(例如摄像机、激光雷达或基于雷达的传感器或者这些传感器的融合),通过所述传感器可检测周围对象并确定它们相对于主车辆的位置和速度以及确定与主车辆1的交通状况相关联的特征。
基于所确定的其他道路使用者和所述至少一个特定特征,施加11与可能出现的至少有一个假想威胁相关的至少一个假想。这种假想威胁包括被遮蔽的威胁,例如可能从外部传感系统3a、3b无法从其获得足够信息的被遮挡区域走出的行人,例如,可能从停放的车辆或其他障碍物后面走出的行人。
因此,根据该方法的总体实施例,提出估计12直到道路车辆1的驾驶员可能必须采取防御性驾驶动作(例如当通过例如停放在道路旁的车辆的车辆时降低速度或增加横向裕度)剩余的时间。估计直到要求高水平注意力剩余的时间可以通过向环境中所有道路使用者和潜在隐藏的道路使用者引入“假设(what ifs)”来完成。从而,基于所施加的至少一个假想,设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平,并且估计直到将要求该主车辆驾驶员注意力水平的时间。从而,作为使用处理假想威胁所要求的固定的预设定主车辆驾驶员注意力水平的替代,还可以估计这种所要求的驾驶员注意力水平。对于不同类型的威胁,所要求的驾驶员注意力水平可能不同,其可以通过针对不同假想威胁设定不同的固定主车辆驾驶员注意力水平或通过基于不同假想威胁的不同估计来反映。
从主车辆1的一个或更多驾驶员监控传感器4导出13当前主车辆驾驶员注意力水平。这种当前主车辆驾驶员注意力水平可以例如从由主车辆1的一个或更多驾驶员监控传感器4确定的主车辆驾驶员的注视方向和头部姿势导出。一个或更多驾驶员监控传感器4可以例如包括用于监控驾驶员行为的一个或更多驾驶员监控摄像机和/或其他类型的传感器,例如用于监控驾驶员与控制面板(例如触摸屏显示器或类似物)的交互的传感器。
根据所提出的方法还确定14所设定或估计的所要求的主车辆驾驶员注意力水平是否超出当前主车辆驾驶员注意力水平以及所估计的直到将要求所估计的主车辆驾驶员注意力水平的时间是否小于阈值时间tthres。阈值时间tthres是驾驶员变得专注的所估计的反应时间和对可能出现的状况做出响应的反应时间的总和。
如果确定所估计的要求的主车辆驾驶员注意力水平超出当前主车辆驾驶员注意力水平并且直到将要求所估计的主车辆驾驶员注意力水平的时间小于阈值时间tthres,则根据所提出的方法,应该向主车辆驾驶员环境产生15视觉、听觉和触觉信息中的至少一个。因此,如果直到要求高水平注意力剩余的时间小于阈值时间tthres,则应鼓励驾驶员保持高水平注意力。应提供这种信息以促进对所述至少一个假想威胁增加的主车辆驾驶员注意力。作为对其替代或补充,根据所提出的方法,应该触发主车辆的自动化制动和转向中的至少一个。从而,应该触发主车辆的这种自动化制动和/或转向以促进对所述至少一个假想威胁的安全裕度的增加。
从而,如果在给定当前主车辆1速度的情况下存在假想威胁,则驾驶员需要在可能必须启动避让动作的临界点/时间提前例如1至2秒具有高水平注意力,然后将需要及时警告分心的驾驶员以响应警告并且在该临界点处及时实现高水平注意力。提前1至2秒的时间是驾驶员感知并对状况做出反应所需的时间。可能必须启动避让行动的临界点/时间可以例如是由于接近交通信号灯、行人频繁穿过道路的位置或超过可能将车道改变为主车辆1车道的车辆。
因此,取决于驾驶员分心的水平,应及时向驾驶员给出警告以在临界点之前及时对警告做出反应并达到高水平注意力。对于已经专注的驾驶员,不需要警告,而对于分心的驾驶员,取决于分心的水平,应在临界点之前例如1到3秒及时给出警告。总之,驾驶员需要在临界点之前2至5秒被警告,或者需要降低主车辆的速度和/或需要调整横向位置以及时使临界点向前移动。临界点又可以取决于驾驶员的能力和/或驾驶员与ADAS系统处理假想威胁的组合能力。哪些假想威胁是驾驶员应该被警告的以及警告或减速应该如何被设计是对于系统设计者的选择的问题。典型地,系统设计者可能希望对于有很高可能发生的假想威胁更频繁和更早地发出警告并且对于当前交通状况中不太可能发生的威胁较迟发出警告。假想威胁既可以被施加到观察的对象也可以被施加到对象和道路使用者可能被隐藏的被遮挡的区域。威胁事件的概率又可以使用环境传感器和/或来自自然驾驶数据和事故数据的统计数据在线/离线估计。
可以使用一个或更多显示单元5、指示灯或类似物将视觉信息提供给主车辆驾驶员环境。可以使用一个或更多扬声器6、蜂鸣器或类似物将听觉信息提供给主车辆驾驶员环境。可以例如使用布置成向车辆1的方向盘、踏板或驾驶员座椅提供振动的一个或更多振动装置7或者使用车辆的制动系统8来产生制动脉冲(这已被证明当警告驾驶员时非常有效)而将触觉信息提供给主车辆驾驶员环境。
主车辆1的自动化制动可以使用其制动系统8来实现并且主车辆1的自动化转向可以使用其转向辅助系统9来实现。
从而,如上所示,根据所提出的方法操作的车辆1可以可选地被设计成自动地降低速度或对潜在威胁增加横向裕度以增加直到如果驾驶员不增加他/她的注意力水平则要求高水平注意力剩余的时间,不管是提供视觉、听觉以及触觉刺激来鼓励付出注意力。此外,如果判断速度太高以至于即使高水平注意力也不足以在当前交通状况中安全地驾驶,则也可以可选地自动地降低速度。
利用所提出的方法,应该辅助道路车辆驾驶员具有足够水平的注意力:确保使用避让的转向/制动动作可以避免/减轻与可能从停放的车辆后面走出的行人的碰撞;确保在引导车辆突然紧急制动的情况下可以利用避让转向/制动动作避免与引导车辆发生碰撞;确保在交通信号灯切换为红的情况下车辆1在进入交叉路口之前可以完全停止;或者确保在驾驶通过交叉路口时可以避免与横向交通的碰撞。
简而言之,根据所提出的方法的解决方案用于在需要预防措施时和/或如果所要求的注意力水平很快将非常高时提前警告驾驶员和/或降低速度/转向。可以以对于技术人员公知的许多方式设计警告/信息以鼓励减速和/或保持高注意力水平,并且从而本文中不进一步描述。
可选地,该方法进一步包括由主车辆1的一个或更多驾驶员监控传感器4导出主车辆1的驾驶员的注视方向和头部姿势中的至少一个。这种驾驶员监控传感器4可以例如是内部摄像机,其被布置用于导出道路车辆1的驾驶员的注视和头部姿势,使得可以确定驾驶员的观察方向。从所导出的注视方向和/或头部姿势确定主车辆驾驶员在所述至少一个假想威胁的方向上是否是专注的。如果确定主车辆驾驶员在所述至少一个假想威胁的方向上是专注的,则与如果导出注意力不在所述至少一个假想威胁的方向上相比,可以减小阈值时间tthres。此外,如果所估计的直到高水平注意力剩余的时间小于阈值时间tthres,则可以鼓励驾驶员,例如,通过提供的视觉、听觉和触觉刺激来保持在可能出现威胁的方向上的高水平注意力。
该方法可以可选地还被设计成当考虑驾驶员和安装在车辆1中的主动安全系统的组合能力而不仅仅是驾驶员的能力时提供何时要求高水平注意力的估计。从而,在进一步的实施例中,该方法包括考虑主车辆的驾驶员和主车辆的一个或更多主动安全系统的能力的组合的假定能力,估计直到将要求处理所述至少一个假想威胁所要求的估计的主车辆驾驶员注意力水平的时间。主动安全系统通常被设置到道路车辆以帮助其驾驶员避免事故或减轻事故的后果。这种主动安全系统可包括以下中的一个或更多:防抱死制动系统(ABS);电子稳定系统(ESP);主动车道保持系统;主动盲点系统;限速系统;距离保持系统;注意力辅助系统以及道路车辆1中的用于避免或减轻与其他道路使用者碰撞的其它主动安全装置。
在又进一步的实施例中,该方法包括通过将假想的未来行为模型引入所有确定的道路使用者以及引入与主车辆1的交通状况相关联的与潜在隐藏的道路使用者相关的所有假想威胁,导出直到将要求所估计的主车辆驾驶员注意力水平的时间的近似值。该假想的未来行为模型可以比作向主车辆的交通环境中的所有道路使用者和潜在隐藏的道路使用者引入假想的“假设”。这可以例如通过向行人指定假想的未来行为模型来完成,该假想的未来行为模型包括行人将从被停放的路边车辆部分或完全遮挡的位置进入道路。从而,辅助主车辆1的驾驶员保持关于可能出现的不同风险的状况所要求的注意力水平,其是基于由向交通环境中的所有道路使用者和潜在隐藏的道路使用者引入“假设该道路使用者以这种方式做出行为怎么办?”导出的关于何时要求驾驶员的注意力而进行的评估。
在另外的实施例中,该方法进一步包括将与主车辆1的交通状况相关联的所述至少一个特定特征确定为与行人、另一车辆、十字路口、交通信号灯、动物或另一道路使用者或主车辆附近的基础设施的元素中的至少一个相关联的特征。
先前研究已示出,如果道路车辆驾驶员在临界状况出现之前至少两秒钟具有高水平注意力,则他们能够避免大多数类型的事故。从而,在又一个另外的实施例中,该方法进一步包括如果所估计的直到要求所估计的主车辆驾驶员注意力水平剩余的时间小于阈值时间tthres,则向主车辆驾驶员环境产生视觉、听觉或触觉信息中的至少一个以促进在所述至少一个假想威胁可能出现的方向上增加的主车辆驾驶员注意力。从而可以视觉地指示可能出现所述至少一个假想威胁的方向,例如,使用指向其的箭头或放置为指示不同威胁方向的指示器,或者类似地听觉地(例如通过合成似乎源于威胁的方向的警告)或触觉地(例如通过在威胁的大体方向上造成主车辆驾驶员环境的振动)指示可能出现所述至少一个假想威胁的方向。
然而,应该注意的是,在一些状况中,可能连续地要求主车辆1的防御性转向/制动动作,例如,在通过静止车辆(在该处行人可能在任何时间点突然从一个被遮挡的区域出现)的最后两秒钟期间。
该方法可以可选地还被设计成使用具有针对不同潜在威胁、照明、天气和道路状况以及威胁放松率和类似物的估计的独立反应时间的驾驶员模型来提供何时要求高水平注意力的独立的估计。从而,在又一个另外的实施例中,该方法进一步包括使用具有针对不同潜在威胁的估计的反应时间的驾驶员模型来估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
此外,在此设想的是一种改进的系统,如图2中示意性示出的,其用于辅助主车辆1的驾驶员预防性驾驶并辅助驾驶员在手动或监督自动化模式下驾驶时避免事故。
所提出的系统包括至少一个处理装置2,该至少一个处理装置2被编程为从布置成监控主车辆1的环境一个或更多主车辆传感器3a、3b(例如摄像机、激光雷达或基于雷达的传感器或这些传感器的融合)确定与主车辆1的交通状况相关联的其他道路使用者和至少一个特定特征。
所述至少一个处理装置2还被编程为基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的所述至少一个假想威胁相关的至少一个假想。假想威胁包括被遮蔽的威胁,例如可能从外部传感系统3a、3b无法获得足够信息的被遮挡的区域走出的行人,例如可能从停放的车辆或其它障碍物后面走出的行人。威胁可能出现在主车辆1的前面以及从其后部和侧面出现(例如,当驾驶通过十字路口或在十字路口处转弯时)。
所述至少一个处理装置2被进一步编程为基于所施加的所述至少一个假想来设定或估计处理所述至少一个假想设威胁所要求的主车辆驾驶员注意力水平并估计直到将要求该主车辆驾驶员注意力水平的时间。由此,可以估计直到道路车辆1的驾驶员可能必须采取防御性驾驶动作(例如在通过例如停放在道路旁边的车辆时降低速度或增加横向裕度)剩余的时间。这是通过向环境中的所有道路使用者和潜在隐藏的道路使用者引入“假设”类型的假想来完成的,即“假设该道路使用者以这种方式做出行为怎么办?”。
所述至少一个处理装置2被进一步编程为从主车辆的一个或更多驾驶员监控传感器4导出当前主车辆驾驶员注意力水平。这种当前主车辆驾驶员注意力水平可以例如从所确定的主车辆的驾驶员的注视方向和头部姿势导出。
所述至少一个处理装置2被进一步编程为确定所设定或估计的所要求的主车辆驾驶员注意力水平是否超出当前主车辆驾驶员注意力水平以及所估计的直到将要求所估计的主车辆驾驶员注意力水平的时间是否小于阈值时间tthres
如果确定所设定或估计的所要求的主车辆驾驶员注意力水平超出当前主车辆驾驶员注意力水平并且所估计的直到将要求所估计的主车辆驾驶员注意力水平的时间小于阈值时间tthres,则所述至少一个处理装置2被进一步编程为向主车辆驾驶员环境产生视觉、听觉和触觉信息中的至少一个。
视觉信息例如使用一个或更多显示单元5、指示灯或类似物被提供给主车辆驾驶员环境。听觉信息例如使用一个或更多扬声器6、蜂鸣器或类似物被提供给主车辆驾驶员环境。触觉信息例如使用布置成向车辆1的方向盘、踏板或驾驶员座椅提供振动的一个或更多振动设备7而例如被提供给主车辆驾驶员环境,或者使用车辆的制动系统8来产生制动脉冲,这已被证明在警告驾驶员时非常有效。
主车辆1的自动化制动例如使用其制动系统8实现并且主车辆1的自动化转向例如使用其转向辅助系统9实现。
因此,如果直到要求高水平注意力剩余的时间小于阈值时间tthres,则所述至少一个处理装置2被进一步编程为鼓励驾驶员保持高水平注意力。从而将提供这种信息以促进对所述至少一个假想威胁增加的主车辆驾驶员注意力。作为对其替代或补充,所述至少一个处理装置2被进一步编程为触发主车辆1的自动化制动和转向中的至少一个。然后将触发主车辆1的这种自动化制动和/或转向以促进对所述至少一个假想威胁的安全裕度的增加。
从而,如上所示,配备有所提出的系统的车辆1可以可选地被设计成如果驾驶员不增加他/她的注意力水平,除非由所述至少一个处理装置2提供的视觉、听觉和触觉刺激来鼓励付出注意力,则自动地降低速度或增加对潜在威胁的横向裕度以增加直到要求高水平注意力剩余的时间。此外,所述至少一个处理装置2可以进一步可选地被编程为如果判断出速度太高以至于即使高水平的注意力也不足以在当前交通状况下安全地驾驶,则自动地降低速度。
通过所提出的系统,配备有该系统的道路车辆1的驾驶员将被辅助具有足够的注意力水平:确保使用避让转向/制动动作可以避免/减轻与可能从停放的车辆后面走出的行人的碰撞;确保在引导车辆突然地紧急制动的情况下,通过避让转向/制动动作可以避免与引导车辆的碰撞;确保在交通信号灯变切换到红的情况下车辆1在进入交叉路口之前可以完全停止;或者确保当驾驶通过交叉路口时可以避免与横向交通的碰撞。
从而,所提出的系统用于在需要预防措施时和/或如果很快所要求的注意力水平将非常高时提前警告驾驶员和/或降低速度/转向。鼓励减速和/或保持高注意力水平的警告/信息可以以对技术人员公知的许多方式设计并且从而在本文中不再详述。
可选地,所述至少一个处理装置2被进一步编程为通过主车辆1的一个或更多驾驶员监控传感器4导出主车辆1的驾驶员的注视方向和头部姿势中的至少一个。如上所述,这种驾驶员监控传感器4可以例如是内部摄像机,其被布置用于导出道路车辆1的驾驶员的注视和头部姿势,使得可以确定驾驶员的观察方向。所述至少一个处理装置2进一步还被编程为从所导出的注视方向和/或头部姿势确定主车辆驾驶员是否在所述至少一个假想威胁的方向上专注并且如果确定如此则与如果推导出注意力不在所述至少一个假想威胁的方向上相比减小阈值时间tthres。此外,如果确定所估计的直到高水平注意力剩余的时间小于阈值时间tthres,则所述至少一个处理装置2还可以被编程为鼓励驾驶员(例如通过提供视觉、听觉和触觉刺激中的至少一种)以在可能出现威胁的方向上保持高注意力水平。
在进一步的实施例中,所述至少一个处理装置2被进一步编程为考虑主车辆1的驾驶员和主车辆1的一个或更多主动安全系统的能力的组合假设能力,即驾驶员和安装在车辆1中的主动安全系统的组合能力而不仅仅是驾驶员的能力,估计直到将要求处理所述至少一个假想威胁所要求的所估计的主车辆驾驶员注意力水平的时间。
主动安全系统通常被设置到道路车辆以帮助道路车辆的驾驶员避免事故或减轻事故的后果。这种主动安全系统可包括以下中的一个或更多:防抱死制动系统(ABS);电子稳定系统(ESP);主动车道保持系统;主动盲点系统;限速系统;距离保持系统;注意力辅助系统以及用于避免或减轻与其他道路使用者碰撞的其它主动安全设备。
在又进一步的实施例中,所述至少一个处理装置2被进一步编程为导出直到将要求所估计的主车辆驾驶员注意力水平的时间的近似值。这通过向与主车辆1的交通状况相关联的所有确定的道路使用者以及与潜在隐藏的道路使用者相关的所有假想威胁引入假想的未来行为模型来完成。
假想的未来行为模型可以比作向主车辆1的交通环境中的所有道路使用者和潜在隐藏的道路使用者引入假想的“假设”。从而,辅助主车辆1的驾驶员保持关于可能出现的不同风险的状况所要求的注意力水平,其是基于由向交通环境中的所有道路使用者和潜在隐藏的道路使用者引入“假设该道路使用者以这种方式做出行为怎么办?”导出的关于何时要求驾驶员的注意力而进行的评估。
在一些另外的实施例中,所述至少一个处理装置2被进一步编程为将与主车辆1的交通状况相关联的所述至少一个特定特征确定为与行人、另一车辆、交叉路口、动物或另一个道路使用者或主车辆1附近的基础设施的元素中的至少一个相关联的特征。
先前的研究已示出,如果道路车辆驾驶员在危急状况出现之前至少两秒钟具有高水平注意力,则他们能够避免大多数类型的事故。从而,在一些另外的实施例中,所述至少一个处理装置2被进一步编程为如果所估计的直到要求所估计的主车辆驾驶员注意力水平剩余的时间小于阈值时间tthres,则向主车辆驾驶员环境产生视觉、听觉或触觉信息中的至少一个以促进在所述至少一个假想威胁可能出现的方向上增加的主车辆驾驶员注意力。
然而,应该注意的是,在一些状况中,可能连续地要求主车辆1的防御性转向/制动动作,例如,在通过静止车辆(在该处行人可能在任何时间点突然地从一个被遮挡的区域出现)的最后两秒钟期间。从而,所述至少一个处理装置2可以被进一步编程为当要求时执行这种操作。
在又一些进一步的实施例中,该系统被设计成使用具有针对不同潜在威胁、照明、天气和道路状况以及威胁放松率和类似物的估计的独立反应时间的驾驶员模型来独立地估计何时要求高水平注意力。从而,在这样的实施例中,所述至少一个处理装置2被进一步编程为使用具有针对不同潜在威胁的所估计的反应时间的驾驶员模型来估计直到将要求处理所述至少一个假想威胁所要求的估计的主车辆驾驶员注意力水平的时间。
而且,在此设想的是包括如上所述的系统的道路车辆1。
在下文中将描述交通场景的一些示例,在所述交通场景中所提出的解决方案将是有益的。
假定道路车辆1的驾驶员正在具有单向交通并且不存在可能阻碍视线的对象的空通勤路线上驾驶。在该环境中,没有将要求驾驶员保持高水平注意力的“假设”并且因此只要车辆1没有开始偏离车道的中央则具有正常的注意力水平是安全的。
替代地,假定驾驶员正在停放到道路旁边的汽车附近(可能有儿童在该区域中玩耍)驾驶。那么,至少每次车辆1通过潜在地遮挡玩耍的儿童的停放的汽车时,所要求的注意力水平较高。如果驾驶员加速,则所要求的注意力水平甚至更高,因为这将减少所要求的反应时间。如果驾驶员正进一步加速,则所要求的反应时间可能会变得危险地低甚至是负的,这意味着应该鼓励驾驶员减速,这可以通过触发制动(注意力不集中)或通过向驾驶员提供视觉/听觉/触觉信息以鼓励驾驶员启动的道路车辆1的制动而自动地完成。
当上述方法或系统用于主动安全系统的适配时,可以在辅助分心的道路车辆驾驶员时确定更合适的干预时间和干预禁止。基本上,在仅要求低水平注意力的状况中,驾驶员不会被过早地警告,并且如果驾驶员在要求高水平注意力的状况中分心则被更早地通知。
在又一个另外的实施例中,该方法和系统可操作用于检测并充分地警告被确定为属于错误地相信在驾驶员辅助或自驾驶(即,自动驾驶)模式下操作的道路车辆将自动地识别并对感知到的或突然的威胁作出反应的独特的决策圈外类别的驾驶员。该状况要求对给定驾驶员的行为的系统性分析和分类以及对于该独特类别的驾驶员更高水平的指导和警告。上述方法针对所有驾驶员利用一个不专注度阈值,然而该实施方式利用如由不同的眼睛运动特性及类似物所确定的针对决策圈外驾驶员的第二阈值。这种驾驶员被提供有更早和/或增强的警告,因为存在对干预的高度需求,尤其是就潜在的到碰撞的时间概率而言。
在该实施例中,眼睛运动加上其它补充信息(例如触摸屏使用)、其它驾驶员活动、座椅斜倚状态等被用于检测决策圈外驾驶员。在此,眼睛运动不是简单地相对于时间和焦点进行评估,而是还相对于道路车辆已进行的威胁评估而评估。决策圈外驾驶员倾向于具有长时间的眼睛注视(例如,1-40秒)并且忽视警告。从而,可以用缓冲器将这些眼睛注视图案化和概括。例如,可以整合(integrated)一段时间内观察道路的时间和远离道路观察的时间,其中观察道路的时间被记录并且远离道路观察的时间被扣除。以这种方式,可以建立图案并且可以建立规则以检测决策圈外驾驶员。当前的方法仅在瞬时分析“分心”或“未分心”。本方法分析行为的图案并建立给定驾驶员是否在决策圈外的概率。该方法在图3中被概念性地示出。随着时间的推移,该决策圈外检测图案被例示为缓冲器,但是也可以实现用于图案检测的另外的替代方案。替代图案量化超出了安全注意力行为规则,例如不适当的偏离路径(或偏离威胁)长注视持续时间、不适当的集中于路径(或集中于威胁)短暂注视持续时间,以及在例如6s、30s、60s或数分钟的时间窗口内的一系列集中和偏离注视的检测。可以将这些图案与专注和熟练的驾驶员眼睛运动的参考图案进行比较以确定不适当性。可以针对不同的驾驶情境(例如白天/夜晚、道路曲率、摩擦水平、交通环境的类型(例如交通密度)、不同速度、道路类型(高速公路、乡村道路、城市驾驶、交叉路口附近等))确定这些参考图案。参考图案还可以适应于个体差异(例如眼睛和面部特征)以及医学问题(例如斜视),所有这些都影响眼睛运动图案。基本上,针对随时间或响应于提示(例如警告)的图案,为驾驶情境中的个体确定不适当性。
从而,在图3中,该方法包括经由如上提供的传感数据(包括眼睛运动、其它驾驶员活动、来自车辆传感器的数据、专注/不专注的时间段等)的分析来分析驾驶员的决策圈外状态20。如前所述,基于感知到的威胁,就到碰撞的时间概率而言施加图案规则,尽管当前决策圈外状态也在22中被考虑。因为驾驶员在决策圈外,所以现在发出增强的驾驶员提示,例如听觉提示、视觉提示、触觉提示、脉冲的叫声/转向等24。
如图4中所示,该方法可以进一步包括分析驾驶员对该增强的驾驶员提示的响应26,并且如果没有检测到充分的响应,则发出进一步增强的驾驶员提示,或者如果必要则实施自动车辆控制28。
在又一个另外的实施例中,该方法和系统可操作用于检测并充分警告不专注、困倦和/或决策圈外驾驶员并评估和确认驾驶员对相关联的警告提示(多个警告提示)的充分响应,所述警告提示(多个警告提示)可以包括听觉、视觉、触觉以及更优选地制动脉冲或类似警告提示(多个警告提示)。该状况要求对反应时间的建模并且一旦已识别出感知到的或突然的威胁则对到碰撞的时间概率的考虑。在已检测到不专注、困倦和/或决策圈外状态并且已发出警告提示(多个警告提示)(其可以包括听觉、视觉、触觉以及更优选地制动脉冲或类似警告提示(多个警告提示))之后,评估驾驶员对警告、道路和/或预防性事件的响应。系统对响应时间建模并且将这些响应时间与所观察到的那些响应时间进行比较,针对到碰撞的时间概率来平衡这一点,其中开始时间被选择为预防性事件或警告。基于警告成功和驾驶员响应,随后可以给出警告提示和/或可以启动受控的车辆响应。在图4中再次概念性地示出了该方法。重点在于,一旦检测到决策圈外驾驶员,就可以警告驾驶员(以各种模态)和/或可以实现替代的车辆控制算法。替代的车辆控制算法可以是对转向和制动的更不精确的控制(如果车辆以驾驶员辅助或自驾驶(即,自动驾驶)模式操作)。不精确的控制可以包括引入不稳定的转向或制动行为,或者在车道中央的1-2英尺部分中引入无控制的“死区(dead-band)”,或者例如引入非平滑的连续制动行为。
受益于前述说明书和相关联的附图中呈现的教导,本发明所属领域中的技术人员将想到对本文中阐述的本发明的许多修改和其它实施例。因此,应该理解,本发明不限于所公开的各特定实施例,并且修改和其它实施例旨在被包括在所附权利要求的范围内。此外,尽管前述说明书和相关联的附图在元件和/或功能的某些示例性组合的上下文中描述了各示例性实施例,但是应该理解,在不脱离所附权利要求的范围的情况下,可以通过替代实施例提供元件和/或功能的不同组合。在这方面,例如,也可以预期元件和/或功能的不同组合,而不是如可能在一些所附权利要求中阐述的上面明确描述的元件和/或功能的组合。在本文中描述了优点、益处或对问题的解决方案的情况下,应该理解,这种优点、益处和/或解决方案可适用于一些示例实施例,但不必适用于所有示例实施例。从而,不应认为本文中描述的任何优点、益处或解决方案对于所有实施例或本文中要求保护的所有实施例是关键的、要求的或基本的。尽管本文中采用了特定术语,但它们仅以一般性和描述性意义而使用,而不是出于限制的目的。

Claims (15)

1.一种用于辅助主车辆的驾驶员预防性驾驶的方法,从布置成监控所述主车辆的环境的一个或更多主车辆传感器或摄像机确定与所述主车辆的交通状况相关联的其他道路使用者和至少一个特定特征,并且基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的至少一个假想威胁相关的至少一个假想,与其同时或在其之后,所述方法包括:
在施加与所述至少一个假想威胁相关的所述至少一个假想之前,基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来分析所述主车辆驾驶员的决策圈外状况(20),其中分析所述主车辆驾驶员的决策圈外状况包括识别在一个时间窗口内不适当的偏离路径长注视持续时间、不适当的集中于路径短暂注视持续时间以及一系列集中和偏离注视的检测中的一个或更多,并将观察到的图案与专注和熟练的驾驶员眼睛运动的参考图案进行比较以确定不适当性;
部分地基于所述决策圈外状况来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并且估计直到将要求所述主车辆驾驶员注意力水平的时间;
从所述主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平;
确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出所述当前主车辆驾驶员注意力水平;以及
如果所述所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出所述当前主车辆驾驶员注意力水平,则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个(24)以促进对于所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发所述主车辆的自动化制动和转向中的至少一个(28)以促进对所述至少一个假想威胁的安全裕度的增加。
2.根据权利要求1所述的方法,其进一步包括使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中的一个或更多来监控主车辆驾驶员对所述视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应(26),并且如果所述响应低于使用概率数据制定的预定阈值,则向所述主车辆驾驶员提供增强的视觉、听觉、触觉信息和制动脉冲提示中的至少一个(28)。
3.根据权利要求1所述的方法,其进一步包括使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中的一个或更多来监控主车辆驾驶员对所述视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应(26),并且如果所述响应低于使用概率数据制定的预定阈值,则造成所述主车辆自动地采取响应动作(28)。
4.根据权利要求1所述的方法,其中分析所述主车辆驾驶员的决策圈外状况包括利用缓冲器对所述主车辆驾驶员眼睛运动进行图案化和概括(22)。
5.根据权利要求4所述的方法,其中分析所述主车辆驾驶员的决策圈外状况包括将一段时间内观察道路的时间和远离道路观察的时间相整合,其中观察所述道路的时间被记录并且远离所述道路观察的时间被扣除。
6.根据权利要求1所述的方法,其中针对不同的驾驶情境确定所述参考图案。
7.根据权利要求1所述的方法,其中所述参考图案适应于个体差异。
8.一种用于辅助主车辆的驾驶员预防性驾驶的方法,从布置成监控所述主车辆的环境的一个或更多主车辆传感器或摄像机确定与所述主车辆的交通状况相关联的其他道路使用者和至少一个特定特征,并且基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的至少一个假想威胁相关的至少一个假想,与其同时或在其之后,所述方法包括:
在施加与所述至少一个假想威胁相关的所述至少一个假想之前,基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来分析所述主车辆驾驶员的决策圈外状况(20),其中分析所述主车辆驾驶员的决策圈外状况包括识别在一个时间窗口内不适当的偏离威胁长注视持续时间、不适当的集中于威胁短暂注视持续时间以及一系列集中和偏离注视的检测中的一个或更多,并将观察到的图案与专注和熟练的驾驶员眼睛运动的参考图案进行比较以确定不适当性;
部分地基于所述决策圈外状况来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并且估计直到将要求所述主车辆驾驶员注意力水平的时间;
从所述主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平;
确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出所述当前主车辆驾驶员注意力水平;以及
如果所述所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出所述当前主车辆驾驶员注意力水平,则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个(24)以促进对于所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发所述主车辆的自动化制动和转向中的至少一个(28)以促进对所述至少一个假想威胁的安全裕度的增加。
9.一种非暂时性计算机可读介质,其包括存储在存储器中的指令,当由处理器执行时,所述指令造成从布置成监控主车辆的环境的一个或更多主车辆传感器或摄像机确定与所述主车辆的交通状况相关联的其他道路使用者和至少一个特定特征,并且基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的至少一个假想威胁相关的至少一个假想,在其之后或与其同时,所述处理器执行包括以下的步骤:
在施加与所述至少一个假想威胁相关的所述至少一个假想之前,基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来分析所述主车辆驾驶员的决策圈外状况(20),其中分析所述主车辆驾驶员的决策圈外状况包括识别在一个时间窗口内不适当的偏离路径长注视持续时间、不适当的集中于路径短暂注视持续时间以及一系列集中和偏离注视的检测中的一个或更多,并将观察到的图案与专注和熟练的驾驶员眼睛运动的参考图案进行比较以确定不适当性;
部分地基于所述决策圈外状况来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并且估计直到将要求所述主车辆驾驶员注意力水平的时间;
从所述主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平;
确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出所述当前主车辆驾驶员注意力水平;以及
如果所述所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出所述当前主车辆驾驶员注意力水平,则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个(24)以促进对于所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发所述主车辆的自动化制动和转向中的至少一个(28)以促进对所述至少一个假想威胁的安全裕度的增加。
10.根据权利要求9所述的非暂时性计算机可读介质,所述步骤进一步包括使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来监控主车辆驾驶员对所述视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应(26),并且如果所述响应低于使用概率数据制定的预定阈值,则向所述主车辆驾驶员提供增强的视觉、听觉、触觉信息和制动脉冲提示中的至少一个(28)。
11.根据权利要求9所述的非暂时性计算机可读介质,所述步骤进一步包括使用主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来监控主车辆驾驶员对所述视觉、听觉、触觉信息和制动脉冲提示中的至少一个的响应(26),并且如果所述响应低于使用概率数据制定的预定阈值,则造成所述主车辆自动地采取响应动作(28)。
12.根据权利要求9所述的非暂时性计算机可读介质,其中分析所述主车辆驾驶员的决策圈外状况包括利用缓冲器对所述主车辆驾驶员眼睛运动进行图案化和概括(22)。
13.根据权利要求12所述的非暂时性计算机可读介质,其中分析所述主车辆驾驶员的决策圈外状况包括将一段时间内观察道路的时间和远离道路观察的时间与所记录的观察所述道路的时间和所扣除的远离所述道路观察的时间相整合。
14.根据权利要求9所述的非暂时性计算机可读介质,其中针对不同的驾驶情境确定所述参考图案并且其中所述参考图案适应于个体差异。
15.一种非暂时性计算机可读介质,其包括存储在存储器中的指令,当由处理器执行时,所述指令造成从布置成监控主车辆的环境的一个或更多主车辆传感器或摄像机确定与所述主车辆的交通状况相关联的其他道路使用者和至少一个特定特征,并且基于所确定的其他道路使用者和所述至少一个特定特征施加与可能出现的至少一个假想威胁相关的至少一个假想,在其之后或与其同时,所述处理器执行包括以下的步骤:
在施加与所述至少一个假想威胁相关的所述至少一个假想之前,基于主车辆驾驶员眼睛运动、主车辆驾驶员活动、主车辆设备传感器数据以及在一段时间内主车辆驾驶员专注和不专注的时间段中一个或更多来分析所述主车辆驾驶员的决策圈外状况(20),其中分析所述主车辆驾驶员的决策圈外状况包括识别在一个时间窗口内不适当的偏离威胁长注视持续时间、不适当的集中于威胁短暂注视持续时间以及一系列集中和偏离注视的检测中的一个或更多,并将观察到的图案与专注和熟练的驾驶员眼睛运动的参考图案进行比较以确定不适当性;
部分地基于所述决策圈外状况来设定或估计处理所述至少一个假想威胁所要求的主车辆驾驶员注意力水平阈值并且估计直到将要求所述主车辆驾驶员注意力水平的时间;
从所述主车辆的一个或更多主车辆驾驶员监控传感器导出当前主车辆驾驶员注意力水平;
确定所设定或估计的所要求的主车辆驾驶员注意力水平阈值是否超出所述当前主车辆驾驶员注意力水平;以及
如果所述所设定或估计的所要求的主车辆驾驶员注意力水平阈值超出所述当前主车辆驾驶员注意力水平,则向主车辆驾驶员环境产生视觉、听觉、触觉信息和制动脉冲提示中的至少一个(24)以促进对于所述至少一个假想威胁增加的主车辆驾驶员注意力和/或触发所述主车辆的自动化制动和转向中的至少一个(28)以促进对所述至少一个假想威胁的安全裕度的增加。
CN201910477089.3A 2018-06-01 2019-06-03 用于辅助驾驶员预防性驾驶的方法和系统 Active CN110550042B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862679047P 2018-06-01 2018-06-01
US62/679,047 2018-06-01

Publications (2)

Publication Number Publication Date
CN110550042A CN110550042A (zh) 2019-12-10
CN110550042B true CN110550042B (zh) 2023-01-10

Family

ID=66676366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477089.3A Active CN110550042B (zh) 2018-06-01 2019-06-03 用于辅助驾驶员预防性驾驶的方法和系统

Country Status (3)

Country Link
US (1) US11027750B2 (zh)
EP (1) EP3576074A1 (zh)
CN (1) CN110550042B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
DE102018219103A1 (de) * 2018-11-08 2020-05-14 Ford Global Technologies, Llc Vorrichtung und Verfahren zum Ermitteln eines Aufmerksamkeitserforderlichkeitsgrades eines Fahrers eines Fahrzeugs
US10824148B2 (en) * 2018-12-14 2020-11-03 Waymo Llc Operating an autonomous vehicle according to road user reaction modeling with occlusions
JP2021033508A (ja) * 2019-08-21 2021-03-01 株式会社東海理化電機製作所 情報通知装置、制御装置、およびコンピュータプログラム
CN111880545A (zh) * 2020-02-17 2020-11-03 李华兰 自动驾驶装置、系统、自动驾驶决策处理方法及装置
CN111731311B (zh) * 2020-05-29 2023-04-07 阿波罗智联(北京)科技有限公司 车机行驶的安全控制方法、装置、设备以及存储介质
CN113753035A (zh) * 2020-06-02 2021-12-07 奥迪股份公司 驾驶辅助系统、包括其的车辆、驾驶辅助方法和介质
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
CN111775960A (zh) * 2020-07-14 2020-10-16 吴昌旭 一种自动驾驶车辆的多通道警示装置和警示方法
CN112477855B (zh) * 2020-11-10 2023-01-06 浙江吉利控股集团有限公司 一种车辆转向辅助方法、装置及设备
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
US20220189307A1 (en) * 2020-12-16 2022-06-16 GM Global Technology Operations LLC Presentation of dynamic threat information based on threat and trajectory prediction
DE102021104080A1 (de) * 2021-02-22 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Verfahren zum Ausgeben einer erweiterten Warninformation im Fahrzeug
US11760318B2 (en) * 2021-03-11 2023-09-19 GM Global Technology Operations LLC Predictive driver alertness assessment
CN113232668B (zh) * 2021-04-19 2022-08-30 上海科技大学 一种驾驶辅助方法、系统、介质及终端
DE102021114523A1 (de) * 2021-06-07 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Einrichtung zur erzeugung eines durch einen benutzer eines fahrzeugs haptisch wahrnehmbaren signals
CN113415285B (zh) * 2021-07-07 2022-04-05 西南交通大学 一种驾驶员警觉度评估方法及系统
US11651692B2 (en) * 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator
US20230286437A1 (en) * 2022-03-09 2023-09-14 Toyota Research Institute, Inc. Vehicular warning system and method based on gaze abnormality

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356812B1 (en) * 2000-09-14 2002-03-12 International Business Machines Corporation Method and apparatus for displaying information in a vehicle
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US20020151297A1 (en) * 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6925425B2 (en) * 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
EP2296008A1 (en) * 2002-02-19 2011-03-16 Volvo Technology Corporation Method for monitoring and managing driver attention loads
DE60330980D1 (de) * 2002-10-15 2010-03-04 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7835834B2 (en) * 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
CN104641406B (zh) * 2012-09-17 2017-07-14 沃尔沃卡车集团 用于向车辆驾驶员提供指导消息的方法和系统
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
DE102012112802B4 (de) 2012-12-20 2024-06-06 Continental Autonomous Mobility Germany GmbH Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
GB2532457B (en) * 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
US20160180677A1 (en) * 2014-12-18 2016-06-23 Ford Global Technologies, Llc Apparatus for reducing driver distraction via short range vehicle communication
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
WO2016169582A1 (en) * 2015-04-20 2016-10-27 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
EP3286058B1 (en) * 2015-04-20 2021-07-28 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
DE102015221651B4 (de) * 2015-11-04 2018-03-01 Ford Global Technologies, Llc Verfahren und System zum Vermeiden von Konzentrationsfehlern beim Führen eines Kraftfahrzeugs
US10486707B2 (en) * 2016-01-06 2019-11-26 GM Global Technology Operations LLC Prediction of driver intent at intersection
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US20210316720A1 (en) * 2018-01-09 2021-10-14 State Farm Mutual Automobile Insurance Company Vehicle collision alert system and method for directing collision avoidance action
EP3575175B1 (en) * 2018-06-01 2024-03-13 Zenuity AB Method and system for assisting drivers to drive with precaution
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution

Also Published As

Publication number Publication date
US20190367050A1 (en) 2019-12-05
EP3576074A1 (en) 2019-12-04
CN110550042A (zh) 2019-12-10
US11027750B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN110550042B (zh) 用于辅助驾驶员预防性驾驶的方法和系统
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US11351992B2 (en) Method and system for assisting drivers to drive with precaution
CN107787282B (zh) 用于自动化车辆的具有可变辅助的认知驾驶员辅助
US20240059281A1 (en) Collision Avoidance upon Brake Light Detection and Time-to-Impact Analysis
CN107810127B (zh) 用于自动化车辆的利用可变警报的认知型驾驶员辅助
WO2020024743A1 (zh) 智能驾驶控制方法和装置、车辆、电子设备、介质、产品
US10086757B2 (en) Display device
US9007198B2 (en) Adaptive Actuator interface for active driver warning
CN107000760B (zh) 车辆控制设备、车辆控制方法和程序
EP2682318B1 (en) Motor vehicle collision warning system
US20130090806A1 (en) Method for operating a driver assistance system of a motor vehicle and driver assistance system for a motor vehicle
US9978273B2 (en) Method and system for improving a traffic participant's attention
JP2019199251A (ja) 車両を運転する際に運転者を支援する方法および運転者支援システム
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
CN109416887B (zh) 识别控制对象车辆报知装置
US20220169176A1 (en) Attention Assist for Dynamic Blind Zone with Driver State in the Loop
JP2022513192A (ja) 人間監視自律システムの性能及び安全性を監視する方法及び装置
JP6520554B2 (ja) 情報処理装置
JP7464757B2 (ja) 隠された原動機付き車両との衝突リスクの低減
CN116653938A (zh) 将车辆保持在预定路径上的方法和系统以及计算机可读存储介质
CN116442995A (zh) 针对碰撞障碍物的车辆控制方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant