CN107074246A - 动态控制装置及相关方法 - Google Patents

动态控制装置及相关方法 Download PDF

Info

Publication number
CN107074246A
CN107074246A CN201580062770.1A CN201580062770A CN107074246A CN 107074246 A CN107074246 A CN 107074246A CN 201580062770 A CN201580062770 A CN 201580062770A CN 107074246 A CN107074246 A CN 107074246A
Authority
CN
China
Prior art keywords
driver
vehicle
eyes
road
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580062770.1A
Other languages
English (en)
Other versions
CN107074246B (zh
Inventor
塞巴斯蒂安·帕什科维奇
罗伯特·哈迪
爱德华多·迪亚斯
乔治·亚历山大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Land Rover UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Land Rover UK Ltd filed Critical Land Rover UK Ltd
Publication of CN107074246A publication Critical patent/CN107074246A/zh
Application granted granted Critical
Publication of CN107074246B publication Critical patent/CN107074246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种动态地控制车辆(V)中的一个或更多个系统的方法。该方法使用至少一个图像传感器(3‑1、3‑2)来确定驾驶员注意力。随后，根据所确定的驾驶员注意力对一个或更多个车辆驾驶员辅助系统的灵敏度进行控制。本申请还涉及一种动态控制装置(1)以及一种车辆(V)。

Description

动态控制装置及相关方法
技术领域
本公开涉及动态控制装置及相关方法。特别地但非排他地，本发明的实施方式涉及用于动态地控制一个或更多个车辆驾驶员辅助系统的装置和方法。本发明的各方面涉及装置、方法和车辆。
背景技术
从US 2002/0140562获知提供了一种用于监测驾驶员的驾驶车辆的注意力的系统。该系统包括摄像机，驾驶员的脸部定位于该摄像机的视野中。提供有注视方向及面部姿态确定器以判断驾驶员的注视方向及面部姿态是否朝向车辆的行驶的前方。物体距离确定器确定从车辆至由物体监测摄像机观察到的物体的相对距离。报警器可以通知驾驶员注视方向面部姿态不是朝向车辆的行驶的前方。
至少在某些方面，本发明试图提供对车辆驾驶员辅助系统的改进控制。
发明内容
本发明的各方面涉及：一种动态地控制一个或更多个车辆驾驶员辅助系统的方法；一种用于控制一个或更多个车辆驾驶员辅助系统的动态控制装置；以及一种车辆。
根据本发明的另一方面，提供了一种动态地控制一个或更多个车辆驾驶员辅助系统的方法，所述方法包括：
使用至少一个图像传感器来确定驾驶员注意力；以及
根据所确定的驾驶员注意力对所述车辆驾驶员辅助系统中的一者或更多者的灵敏度进行控制。因此，该方法可以基于驾驶员的行为来提供对一个或更多个车辆驾驶员辅助系统的动态控制。作为示例，如果驾驶员把眼睛从道路移开并持续预定时间，则所述一个或更多个车辆驾驶员辅助系统的灵敏度可以增大。通过监测驾驶员的视线，所述一个或更多个车辆驾驶员辅助系统的灵敏度可以动态地改变。
该方法包括调节所述一个或更多个车辆驾驶员辅助系统的灵敏度。可以使用控制器来对所述一个或更多个车辆驾驶员辅助系统的灵敏度进行调节。车辆驾驶员辅助系统的灵敏度设定可以与所确定的驾驶员的注意力等级成反比例。当识别出驾驶员注意力的降低时，灵敏度等级可以提高。相反地，当识别出驾驶员注意力的提高时，灵敏度等级可以降低。
可以使用处理器来确定驾驶员注意力。处理器可以联接至所述至少一个图像传感器。处理器可以接收来自所述至少一个图像传感器的图像数据以进行处理。确定驾驶员注意力可以包括监测眼睛离开道路事件和/或眼睛在看道路事件。眼睛离开道路事件表示驾驶员没有看道路的情况。在某些实施方式中，眼睛离开道路事件可以更精确地表示驾驶员没有看车辆前方的道路(即，驾驶员没有看向前方)的情况。相反地，眼睛在看道路事件表示驾驶员正在看道路的情况。
确定驾驶员注意力可以包括测量所述眼睛离开道路事件和/或所述眼睛在看道路事件的累计时间和/或频率。因此，驾驶员正在看(或没有看)道路期间内的时间量可以被量化。所确定的驾驶员注意力可以基于眼睛离开道路事件(即，当驾驶员没有看道路时)持续的第一时间与眼睛在看道路事件(即，当驾驶员正在看道路时)持续的第二时间的比率来确定。
该方法可以包括：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。第一预定时间段和第二预定时间段可以是相同的，例如2秒。替代性地，第一预定时间段和第二预定时间段可以是不同的。第一预定时间段可以大于第二预定时间段，或者反之亦然。
该方法可以包括对驾驶员注意力进行分类。可以基于一个或更多个预定的注意力等级对驾驶员注意力进行分类。可以基于一个或更多个预定的时间阈值进行分类。阈值可以各自限定眼睛离开道路事件的累计持续时间。
驾驶员注意力可以通过监测驾驶员头部姿态和/或驾驶员注视方向来确定。替代性地，驾驶员注意力可以通过绘制对应于驾驶员的视线的虚拟投影来确定。虚拟投影可以基于头部姿态和驾驶员注视方向两者。虚拟投影可以采用表示驾驶员的视线的主轴线的注视矢量的形式。
眼睛在看道路事件和/或眼睛离开道路事件可以参照车辆的一部分的虚拟模型来确定。虚拟模型可以包括车辆舱室的内部的至少一部分的三维表现形式。虚拟模型可以限定一个或更多个关注区域。例如，一个所述关注区域可以对应于车辆中的车窗，例如前风挡。虚拟投影可以结合到虚拟模型中以判断虚拟投影是否与预定的关注区域相交。
虚拟模型可以包括多个预定的关注区域。该方法可以包括将驾驶员的视线与所述多个预定的关注区域进行比较。可以对每个所述预定的关注区域赋予权重。驾驶员注意力可以根据与驾驶员的视线一致的关注区域的权重确定。关注区域的相对权重可以根据车辆的行驶方向限定。
车辆驾驶员辅助系统可以例如包括先进驾驶员辅助系统，该先进驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。应当领会的是，车辆驾驶员辅助系统可以包括其他类型的先进驾驶员辅助系统。
对所述一个或更多个车辆驾驶员辅助系统的控制可以包括仅针对驱动循环停用所述一个或更多个车辆驾驶员辅助系统。替代性地或另外地，对所述一个或更多个车辆驾驶员辅助系统的控制可以包括停用所述一个或更多个车辆驾驶员辅助系统直到阈值被超过为止。
本文描述的方法意在通过包括联接至至少一个图像传感器的一个或更多个处理器的装置来执行。
本发明的另一方面涉及一组计算指令，所述一组计算指令在处理器上运行时使处理器执行本文描述的方法中的一些或所有方法。计算指令可以被编码在计算机可读介质上或编码在通过有线或无线网络传输的信号中。
根据本发明的另一方面，提供了一种用于控制一个或更多个车辆驾驶员辅助系统的动态控制装置，该装置包括：
至少一个图像传感器，所述图像传感器用于监测车辆的驾驶员；
一个或更多个处理器，所述处理器配置成对从所述至少一个图像传感器输出的图像数据进行分析以确定驾驶员注意力；以及
控制器，所述控制器配置成根据所确定的驾驶员注意力对一个或更多个所述车辆驾驶员辅助系统的灵敏度进行控制。
控制器可以配置成与所确定的驾驶员的注意力等级成反比例地对车辆驾驶员辅助系统的灵敏度设定进行控制。当确定驾驶员注意力的降低时，灵敏度等级可以提高。相反地，当确定驾驶员注意力的提高时，灵敏度等级可以降低。
处理器可以配置成通过识别眼睛离开道路事件和/或眼睛在看道路事件来确定驾驶员注意力。处理器可以配置成通过测量所述眼睛离开道路事件和/或所述眼睛在看道路事件的累计时间段来确定驾驶员注意力。
处理器可以配置成：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。第一预定时间段和第二预定时间段可以是相同的，例如2秒。替代性地，第一预定时间段和第二预定时间段可以是不同的。第一预定时间段可以大于第二预定时间段，或者反之亦然。
处理器可以配置成对驾驶员注意力进行分类，例如以限定一个或更多个注意力等级。分类可以基于一个或更多个预定阈值进行。
处理器可以配置成生成对应于驾驶员的视线的虚拟投影。处理器可以配置成通过将所确定的虚拟投影与所述车辆舱室的至少一部分的模型进行比较来确定驾驶员注意力。模型可以存储在存储器中。存储器可以形成所述动态控制装置的一部分。
虚拟模型可以包括多个预定的关注区域。处理器可以将驾驶员的视线与所述多个预定的关注区域进行比较。可以对每个所述预定的关注区域赋予权重。驾驶员注意力可以根据与驾驶员的视线一致的关注区域的权重确定。关注区域的相对权重可以根据车辆的行驶方向限定。例如，如果车辆向前移动，则对应于前风挡的关注区域可以具有最高的权重。至少在某些实施方式中，其他关注区域的权重可以按降序限定如下：用于车辆驾驶员辅助的控制件(该控制件可以安装在方向盘上)、仪表组、触摸屏(如果显示的内容是驾驶相关的)、侧面(车门)车窗。触摸屏(如果显示的内容不是驾驶相关的)以及其他关注区域可以限定为具有最低的权重。相反地，如果车辆向后移动，则对应于后风挡的关注区域可以具有最高的权重。
车辆驾驶员辅助系统可以例如包括先进驾驶员辅助系统(ADAS)，该先进驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。
根据本发明的另一方面，提供了一种包括如本文所述的动态控制装置的车辆。
术语处理器在本文中用于指代适于执行计算指令的一个或更多个电子微处理器。
在本申请的范围内明确地预期到，在前述段落、权利要求和/或以下描述和附图中阐述的各个方面、实施方式、示例和替代方案以及特别是其各个特征可以独立地使用或以任意组合的方式使用。也就是说，所有实施方式和/或任一实施方式的特征可以以任何方式和/或组合来进行组合，除非这些特征不相容。尽管原先没有以此方式声明，但是申请人保留改变任何原始提交的权利要求或相应地提交任何新的权利要求的权利，包括将任何原始提交的权利要求修改成从属于任何其他权利要求和/或合并任何其他权利要求的任何特征的权利。
附图说明
现在将参照附图仅通过示例的方式对本发明的一个或更多个实施方式进行描述，在附图中：
图1是结合有根据本发明的实施方式的动态控制装置的车辆舱室的前部部分的立体图；
图2是根据本发明的实施方式的动态控制装置的示意性框图；
图3是示出了根据本发明的实施方式的用于监测驾驶员的一对图像传感器的布置的示意图；
图4示出了车辆舱室的结合有预定的关注区域的三维模型；
图5示出了基于图4中所示的三维模型的根据本发明的实施方式的动态控制装置的操作；
图6示出了根据本发明的实施方式的所确定的驾驶员注意力；以及
图7是包括根据本发明的实施方式的动态控制装置的车辆的示意图。
具体实施方式
现在将参照附图对根据本发明的实施方式的用于车辆V的动态控制装置1进行描述。动态控制装置1配置成根据对驾驶员的注意力的监测对车载车辆驾驶员辅助系统进行控制。特别地，动态控制装置1配置成对一个或更多个车辆驾驶员辅助系统、例如先进驾驶员辅助系统(ADAS)的灵敏度等级和/或启用进行控制。
图1中示出了具有第一图像传感器3-1和第二图像传感器3-2的车辆舱室C的前部部分的内部立体图。舱室C容纳车辆驾驶员、通常容纳驾驶员和一个或更多个乘客，并且舱室C包括用于操作车辆系统的各种用户界面。舱室C的前部部分由车辆V的收容在顶板部分、前风挡WF、后风挡WR、驾驶员侧门D1、乘客侧门D2与车辆地板(未示出)之间的内部限定。舱室C包括用于使驾驶员就坐的驾驶员座椅S1和用于使乘客就坐的乘客座椅S2。相应地，驾驶员座椅S1位于驾驶员侧，并且乘客座椅S2位于相反的乘客侧。在驾驶员侧门D1中设置有驾驶员侧窗WD；并且在乘客侧门D2中设置有乘客侧窗WP。应当领会的是，本发明可以通过改变图像传感器3-1、3-2的位置而应用于左侧驾驶车辆和右侧驾驶车辆。
仪表板5位于前风挡WF下方并且在驾驶员侧门D1与乘客侧门D2之间延伸。仪表板5包括显示面板7(呈包括转速表、车速表和燃料表的仪表组的形式)和信息娱乐系统控制面板9，信息娱乐系统控制面板9包括与信息娱乐系统相关联的显示屏。显示屏可以例如包括触摸屏。在仪表板5的驾驶员侧设置有方向盘11以使车辆V转向。方向盘11设置有辅助控制件(未示出)，该辅助控制件允许对信息娱乐系统进行控制并且还能够实现对车辆V的选择性操作控制、例如启用/停用巡航控制功能。舱室C的驾驶员侧部和乘客侧部由中央操纵台13部分地分隔开。中央操纵台13包括用于操作车辆V的变速器变速的档位选择器15以及用于信息娱乐系统的控制件17。中央操纵台13还包括储存隔室19。
图2是动态控制装置1的示意性框图。动态控制装置1包括驾驶员监测器21，驾驶员监测器21具有：一个或更多个处理器23(出于说明简便的目的，仅示出一个处理器模块)；以及一个或更多个存储器25(出于简便的目的，仅示出了一个存储器模块)，存储器25具有存储在其上的计算机代码27。动态控制装置1还包括联接至驾驶员监测模块的第一图像传感器3-1和第二图像传感器3-2。车辆系统控制器29联接至驾驶员监测器21。车辆系统控制器29适于根据来自驾驶员监测器21的输出信号对一个或更多个ADAS系统的操作进行控制，如下面更详细描述的。车辆系统控制器29可以包括用于执行计算功能的一个或更多个处理器。在替代性的实施方式中，驾驶员监测器21和车辆系统控制器29可以进行组合。
一个或更多个存储器25存储车辆舱室C的三维模型CMOD。三维模型CMOD限定舱室C的内部的关键特征。至少在某些实施方式中，三维模型CMOD可以从车辆V的计算机辅助设计(CAD)模型导出。以这种方式，内部舱室C的各部分可以映射到由三维模型CMOD限定的虚拟车辆舱室上。内部虚拟车辆舱室包括多个预定的关注区域An(其中，n是整数)。如本文所述，预定的关注区域An对应于本申请中的舱室C的车窗W。
第一图像传感器3-1和第二图像传感器3-2各自包括面向驾驶员的摄像机，并且至少一个图像传感器3具备以追踪眼睛为目的的红外(或近红外)能力。在变型中，图像传感器3-1、3-2可以以可见波长检测光以确定头部位置和/或眼睛注视方向。然而，使用图像传感器3-1、3-2检测可见光谱中的光可能需要舱室照明设备以在低亮度条件下提供照明。
如图3中所示，第一图像传感器3-1位于前风挡WF的中心点下方的仪表板5中，并且第二图像传感器3-2位于前风挡WF的在车辆V的驾驶员侧的底角部附近。第一图像传感器3-1和第二图像传感器3-2在舱室C中朝向内侧。第一图像传感器3-1和第二图像传感器3-2中的每一者的视野矩阵在图3中以相应的视锥体VF1、VF2示出。图3中示意性地示出了车辆的驾驶员O。在操作中，第一图像传感器3-1和第二图像传感器3-2各自生成输出至图像处理器的图像数据。图像传感器3-1、3-2配置成检测驾驶员O并且能够基于驾驶员的头部的位置确定三维坐标空间中的原点。驾驶员的头部的取向还可以更准确地确定以对注视方向进行建模并且/或者确定供眼睛追踪机构使用的近似眼睛位置。驾驶员的头部的位置和取向可以统称为“头部姿态”。眼睛追踪机构追踪驾驶员的眼睛以确定驾驶员的目标视线相对于固定基准的角度方向(称为“注视方向”)。
如参照图4和图5更详细地描述的，头部取向和注视方向是相对于所存储的舱室C的三维模型CMOD计算的。三维模型CMOD包括一个或更多个预定的关注区域An(其中，n是整数)。本申请中的关注区域An主要(但非排他地)涉及车窗W并且附图标记表示相应的车窗W。因此，三维模型CMOD包括以下关注区域An：前风挡AWF、后风挡、驾驶员侧窗AWD、以及乘客侧窗AWP。关注区域An被限定为以三个维度布置在三维模型CMOD内的元件。
利用所确定的原点和注视方向，虚拟投影(该虚拟投影可以被称为“注视矢量”)随后被确定以表示驾驶员的相对于舱室C的视线。虚拟投影与舱室C的三维模型CMOD结合以确定驾驶员所看的地方。驾驶员监测器21配置成对所得到的数据进行分析以确定车辆V的驾驶员的注意力。驾驶员监测器21可以将驾驶员分类为以下多个预定的注意力等级中的一个注意力等级，即：等级1–注意、等级2-中度不注意、以及等级3-高度不注意。在本实施方式中，注意/不注意状态被限定为正在看/没有看前方道路场景。不注意状态基于驾驶员不专注于道路的时间量(即，检测到眼睛离开道路的累计时间)而被细分(等级2和等级3)。
为了确定驾驶员的注意力等级，驾驶员监测器21配置成监测驾驶员在驾驶车辆V的同时所看的地方。驾驶员监测器21可以例如监测虚拟投影何时与关注区域An中的对应于车窗W的一个关注区域相交。当虚拟投影与对应于车窗W的关注区域An不相交时，驾驶员监测器21确定驾驶员没有看道路(被归类为“眼睛离开道路”事件)。相反地，当虚拟投影与对应于车窗W的关注区域An相交时，驾驶员监测器21确定驾驶员正在看道路(被归类为“眼睛在看道路”事件)。驾驶员的注意力等级可以基于虚拟投影与关注区域An中的对应于车窗W的一个关注区域不相交时的累计时间段来确定。驾驶员监测器21还可以配置成识别驾驶员的眼睛何时闭合并且相应地修改注意力等级。
此外，驾驶员监测器21可以对关注区域An赋予偏重或权重以表示每个车窗W的相对权重。例如，对应于前风挡WF的关注区域AWF可以具有比后风挡WR大的权重。权重可以根据车辆的当前动态运行参数、例如车辆V的行驶方向和/或车辆V的转向角度进行修改。权重可以根据车辆V的行驶方向进行调节。当车辆V向前移动时，对应于前风挡WF的关注区域AWF可以具有最高的权重，用于ADAS的控制件可以具有较低的权重，并且其他关注区域An可以具有更低的权重(或不具有权重)。相反地，在倒车档被接合的同时，权重可以颠倒使得后视镜AWF具有最高的权重，并且倒车摄像机显示器(该倒车摄像机显示器可以在与信息娱乐系统相关联的屏幕中显示)可以具有较低的权重。后风挡WR可以具有更低的权重，并且其他关注区域An可以具有更低的权重(或不具有权重)。
当车辆V沿向前的方向行驶时，驾驶员监测器21可以配置成在虚拟投影与对应于前风挡WF的关注区域AWF相交时将驾驶员分类为处于等级1状态(即，注意)。在相同的驾驶情况下，如果驾驶员监测器21确定虚拟投影与对应于前风挡WF的关注区域AWF不相交并持续超过预定的时间阈值(例如2秒、3秒、5秒或10秒)的时间段，则驾驶员监测器21可以确定驾驶员的注意力已经下降并且相应地将驾驶员的注意力等级再分类、例如从等级1降低至等级2或等级3。
如果虚拟投影反复地移动远离对应于前风挡WF的关注区域AWF，则驾驶员监测器21也可以确定驾驶员的注意力已经下降。例如，如果虚拟投影反复地移动远离关注区域AWF并持续限定的时间段(例如，超过预定阈值)，则驾驶员监测器21可以将驾驶员的注意力等级再分类。
驾驶员监测器21配置成将当前的注意力等级发布至通信区域网络(CAN)总线(或其他通信总线)。车辆系统控制器29操作用于根据所发布的注意力等级对车载车辆驾驶员辅助系统的灵敏度进行控制。在本实施方式中，车辆系统控制器29配置成对以下车辆驾驶员辅助系统的操作进行控制：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。在使用中，根据所确定的驾驶员的注意力等级的变化对车辆驾驶员辅助系统中的一者或更多者的灵敏度等级(或启用状态)进行修改。
在现有技术结构中，ACC通常在检测到车辆V的前方没有其他车辆的情况下加速至用户限定的车速。在动态控制装置1的本实施方式中，动态控制装置1可以基于所确定的注意力等级对ACC的操作进行控制。如果ACC已经开启并且驾驶员的注意力处于低等级、例如等级3(高度不注意)，则ACC的灵敏度可以增大(+1)。TJA的灵敏度也可以结合ACC的灵敏度的变化可选地增大(+1)。只有在驾驶员正在看前方道路场景的情况下，才可以执行车辆速度的自动恢复。因此，如果驾驶员监测器21确定驾驶员的注意力等级较低、例如等级3(高度不注意)，则车辆系统控制器29可以修改ACC的控制策略以抑制车辆速度的增大。一旦所确定的注意力等级提高、例如返回至等级1(注意)或等级2(中度不注意)，则车辆系统控制器29就可以恢复至标准的控制策略。替代性地或另外地，车辆系统控制器29可以配置成根据所确定的驾驶员的注意力等级修改由ACC设定的车辆V与前方车辆之间距离。ACC可以例如利用雷达系统来检测主体车辆V附近的其他车辆(通常在车辆V的前方)。
如果驾驶员监测器21确定驾驶员的注意力等级较低、例如等级3(高度不注意)，则车辆系统控制器29可以自动地启用FWC并且/或者增大FWC的灵敏度。一旦驾驶员的注意力等级提高、例如返回至等级1(注意)或等级2(中度不注意)，则车辆系统控制器29就可以自动地停用FWC(或者使FWC恢复至较低的灵敏度等级)。
如果驾驶员监测器21确定驾驶员的注意力等级较低、例如等级3(高度不注意)，则车辆系统控制器29可以自动地启用LKA。如果车辆V偏离当前车道，则LKA可以例如通过方向盘向驾驶员提供反馈。一旦驾驶员的注意力等级提高、例如返回至等级1(注意)或等级2(中度不注意)，则车辆系统控制器29就可以自动地停用LKA。车辆系统控制器29还可以配置成根据所确定的驾驶员的注意力等级对LKA的灵敏度等级进行修改。车辆系统控制器29可以配置成在驾驶员监测器21确定驾驶员注意力处于高等级、例如等级1(注意)时关闭LKA。
如果驾驶员监测器21确定驾驶员的注意力等级较低、例如等级3(高度不注意)，则车辆系统控制器29可以自动地启用TJA。如果TJA已经开启并且驾驶员注意力处于较低等级、例如等级3(高度不注意)，则TJA的灵敏度等级可以提高(+1)。TJA将LKA与队列协助功能组合。一旦驾驶员的注意力等级提高、例如提高至等级1(注意)或等级2(中度不注意)，则车辆系统控制器29就可以自动地停用TJA。车辆系统控制器29还可以配置成根据所确定的驾驶员的注意力等级对TJA的灵敏度等级进行修改。
如果驾驶员监测器21确定驾驶员的注意力等级较低、例如等级3(高度不注意)，则车辆系统控制器29可以自动地启用LDW。替代性地或者另外地，车辆系统控制器29可以根据所确定的驾驶员的注意力等级对LDW的灵敏度等级进行调节。例如，LDW的灵敏度等级可以提高以补偿所确定的驾驶员的注意力等级的降低。一旦驾驶员的注意力等级提高至例如等级1(注意)或等级2(中度不注意)，则车辆系统控制器29就可以自动地停用LDW或者使LDW恢复至较低的灵敏度等级。驾驶员监测器21可以配置成在驾驶员监测器21确定驾驶员的注意力等级为等级1(注意)的情况下自动地停用LDW。
下面仅通过示例的方式对由车辆系统控制器29实施的不同控制策略进行概述。
策略1
如果动态控制装置被启动
并且ADAS特征是启用的
并且摄像机系统检测到驾驶员对前方道路场景是中度不注意
的
则系统设定系统灵敏度等级的递增+1的等级用于该特征
或者
如果动态控制装置被启动
并且ADAS特征不是启用的
并且系统检测到驾驶员对前方道路场景是高度不注意的
则启用给定的一组ADAS特征
并且设定系统灵敏度的最大等级用于该特征
否则
不作改变
策略2
如果ACC或TJA系统已经使车辆的速度降低
则当驾驶员被确定为处于注意状态时，ACC或TJA系统仅恢复至预先的设定速度
否则
保持调节后的速度
虚拟模型CMOD已经被描述为包括与车辆V的车窗W对应的关注区域An。应当领会的是，虚拟模型CMOD可以限定另外的关注区域An。例如，关注区域An可以对应于以下所列中的一者或更多者：显示面板7(形成仪表组)、信息娱乐系统控制面板9、以及所述储存隔室19中的一个或更多个储存隔室。本发明人已经认识到，驾驶员在研究仪表组时很可能比在看储存隔室19时处于更加注意的状态。这可以通过对形成虚拟模型CMOD的一部分的每个关注区域An限定不同的权重来反映。
现在将参照图4和图5中所示的三维模型CMOD对图2中所示的动态控制装置1的操作进行详细说明。
图4是三维模型CMOD的示意图，该三维模型CMOD提供了图1的舱室C的虚拟表现形式。为了便于说明，虚拟表现形式已经被简化，然而应当领会的是，虚拟表现形式将被理解为在尺寸和形状方面映射到图1的舱室C上以依循舱室C的轮廓。三维模型CMOD包括多个预定的关注区域An，每个关注区域An各自与所述视觉区域中的不同的一个视觉区域相关联，所述视觉区域与舱室C相关。舱室C以图4中的阴影示出以突出显示三维模型CMOD与车辆V的舱室C之间的关系。此外，舱室C的相关联特征的附图标记在本文中用作下标以标示模型CMOD中的相应的关注区域An。在本实施方式中，每个关注区域A的位置和取向以三个维度限定在三维模型CMOD内。
在操作中，处理器23接收来自图像传感器3-1、3-2的图像数据并且执行图像处理以确定车辆驾驶员的原点31和虚拟投影33。原点31在图5中示出为位于舱室C的驾驶员侧，并且虚拟投影33示出为从原点31指向舱室C的乘客侧。原点31是以三维轴线系统(X轴、Y轴、Z轴)表示的三维坐标空间中的点。类似地，虚拟投影33相对于三维轴线被限定，并且因此虚拟投影33将相对于每个轴线具有角度偏移。如图5中所示，图像传感器3-1、3-2用于确定原点31和虚拟投影33。随后，该信息与三维模型CMOD结合以确定用户当前观看的是哪个所述关注区域An。
更详细地，原点是通过例如使用如本领域众所周知的面部检测算法或“面部追踪”首先利用图像数据来识别车辆驾驶员的面部而计算出的。在识别之后，可以得到车辆驾驶员的头部的位置和取向的近似值。随后，使用图像处理技术来识别眼睛位置。在确定了头部位置、取向和眼睛位置之后，处理器23可以计算舱室C的三维空间中的原点31。原点31可以选定为车辆驾驶员的眼睛之间的中点。原点31是相对于车辆舱室原点(未示出)计算出的，该车辆舱室原点是舱室C中的中心原点位置。特别地，由于存在被已知的预定距离间隔开的两个图像传感器3-1、3-2，因此可以执行三角测量计算来相对于车辆舱室原点确定原点31。两个图像传感器3-1、3-2的使用允许除了其他空间尺寸以外的深度尺寸被确定。图像传感器3-1、3-2的固定基准点也可以用于协助确定原点31。此后，使用图像传感器3-1、3-2来执行眼睛追踪以确定虚拟投影33。例如，红外光或近红外光可以指向车辆驾驶员的眼睛，红外光或近红外光可以从眼睛反射以提供关于车辆驾驶员所看的方向的信息。随后，执行图像处理以确定虚拟投影33。
随后，处理器23基于原点31和虚拟投影33来计算表示车辆驾驶员的注视矢量的虚拟投影33。虚拟投影33绘制在三维模型CMOD中，使得虚拟投影33在所确定的原点31处开始并且沿着所确定的虚拟投影33延伸。随后，处理器23判断虚拟投影33是否与限定在三维模型CMOD内的多个关注区域An中的对应于车窗W的一个关注区域相交。相交的关注区域An与车辆驾驶员当前观看的视觉区域对应。在该示例中，虚拟投影正在与关注区域A9相交，该关注区域A9与信息娱乐系统9相关联。因此，驾驶员监测器21可以确定驾驶员何时正在看道路(眼睛在看道路)以及驾驶员何时没有看道路(眼睛离开道路)。驾驶员注意力的等级是基于驾驶员的眼睛在看道路的时间量和/或频率得出的。如果驾驶员监测器21确定这种眼睛离开道路的情况持续期间的累计时间超过预定阈值，则驾驶员的注意力的等级可以降低。驾驶员的注意力的等级的再分类被发布至CAN总线。
在使用中，动态控制装置1可以结合驾驶员对道路的注意力的等级的监测状态，并且动态控制装置1可以基于驾驶员的注意状态来调节灵敏度等级或者启用ADAS特征。下面参照图6中所示的流程图对实施策略进行概述。应用2秒的时间阈值来确定驾驶员的注意力等级的增大(+1)或减小(-1)。如果眼睛离开道路事件被检测到且持续大于2秒，则注意力等级被减小(-1)。相反地，如果眼睛在看道路的事件被检测到且持续大于2秒，则注意力等级被增大(+1)。应当领会的是，时间阈值可以被校正或者可以根据动态车辆参数、例如根据车辆速度而改变。
车辆系统控制器29根据发布至CAN总线的注意力的等级修改车辆驾驶员辅助系统的灵敏度等级。例如，如本文所概述的，车辆系统控制器29可以修改一个或更多个ADAS的灵敏度。因此，动态控制装置1可以根据所确定的驾驶员的注意力的等级动态地调节车载车辆驾驶员辅助系统的灵敏度设定。
图7中示意性地示出了包括动态控制装置1的车辆V。已经特别地参照前风挡WF以及车辆V前方的相应道路场景对动态控制装置1进行了描述。应当领会的是，装置1还可以对侧窗WD、WP以及可选地对后风挡WR起作用。另外的控制策略可以确定驾驶员O何时看后视镜(未示出)或何时看车辆的侧视镜中的一个侧视镜(未示出)。
应当领会的是，在不脱离本文限定的本发明的范围的情况下，可以对本文所描述的动态控制装置1做出各种变型和改型。已经参照对应于车辆舱室的三维模型CMOD对动态控制装置1进行了描述。模型CMOD可以简化例如以相对于固定的原点限定关注区域。
动态控制装置1已经描述为包括两个图像传感器3-1、3-2。应当领会的是，装置1可以利用单个图像传感器或立体图像传感器。驾驶员的注意力可以参照头部姿态或注视方向来确定。
驾驶员监测器可以布置成确定表面上的关注点，而不是确定驾驶员O的虚拟投影。模型CMOD可以配置成限定用于识别关注点何时对应于眼睛离开道路事件的表面。
本发明的其他方面可以在以下段落中进行阐述：
1.一种动态地控制一个或更多个车辆驾驶员辅助系统的方法，所述方法包括：
使用至少一个图像传感器来确定驾驶员注意力；以及
根据所确定的所述驾驶员注意力对所述车辆驾驶员辅助系统中的一者或更多者的灵敏度进行控制。
2.根据段落1所述的方法，其中，确定驾驶员注意力包括识别眼睛离开道路事件和/或眼睛在看道路事件。
3.根据段落2所述的方法，其中，确定驾驶员注意力包括测量所述眼睛离开道路事件和/或所述眼睛在看道路事件的累计时间段和/或频率。
4.根据段落2所述的方法，包括：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。
5.根据段落1所述的方法，包括绘制表示所述驾驶员的视线的虚拟投影。
6.根据段落5所述的方法，包括将所述虚拟投影与所述车辆的至少一部分的存储在存储器中的虚拟模型结合以确定驾驶员注意力。
7.根据段落6所述的方法，其中，所述虚拟模型包括多个预定的关注区域，并且对每个所述关注区域赋予相对权重。
8.根据段落7所述的方法，其中，根据与所述驾驶员的视线一致的关注区域的权重确定驾驶员注意力。
9.根据段落1所述的方法，其中，所述一个或更多个车辆驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。
10.一种用于控制一个或更多个车辆驾驶员辅助系统的动态控制装置，所述装置包括：
至少一个图像传感器，所述图像传感器用于监测车辆的驾驶员；
一个或更多个处理器，所述处理器配置成对从所述至少一个图像传感器输出的图像数据进行分析以确定驾驶员注意力；以及
控制器，所述控制器配置成根据所确定的所述驾驶员注意力对所述车辆驾驶员辅助系统中的一者或更多者的灵敏度进行控制。
11.根据段落10所述的动态控制装置，其中，所述处理器配置成通过识别眼睛离开道路事件和/或眼睛在看道路事件来确定驾驶员注意力。
12.根据段落11所述的动态控制装置，其中，所述处理器配置成：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。
13.根据段落10所述的动态控制装置，其中，所述处理器配置成根据一个或更多个预定阈值对驾驶员注意力进行分类。
14.根据段落10所述的动态控制装置，其中，所述处理器配置成绘制表示所述驾驶员的视线的虚拟投影。
15.根据段落14所述的动态控制装置，其中，所述处理器配置成将所述虚拟投影与所述车辆的至少一部分的存储在存储器中的虚拟模型结合以确定驾驶员注意力。
16.根据段落15所述的动态控制装置，其中，所述虚拟模型包括多个预定的关注区域，并且对每个所述关注区域赋予相对权重。
17.根据段落16所述的动态控制装置，其中，驾驶员注意力是根据与所述驾驶员的视线一致的关注区域的权重确定的。
18.根据段落10所述的动态控制装置，其中，所述一个或更多个车辆驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。
19.一种车辆，包括根据段落10所述的动态控制装置。

Claims (20)

1.一种动态地控制一个或更多个车辆驾驶员辅助系统的方法，所述方法包括：
使用至少一个图像传感器来确定驾驶员注意力；以及
根据所确定的驾驶员注意力对所述车辆驾驶员辅助系统中的一者或更多者的灵敏度进行控制，
其中，确定驾驶员注意力包括识别眼睛离开道路事件和/或眼睛在看道路事件以及测量所述眼睛离开道路事件和/或所述眼睛在看道路事件的累计时间段和/或频率。
2.根据权利要求1所述的方法，包括：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。
3.根据权利要求1或权利要求2所述的方法，包括绘制表示所述驾驶员的视线的虚拟投影。
4.根据权利要求3所述的方法，包括将所述虚拟投影与所述车辆的至少一部分的存储在存储器中的虚拟模型结合以确定驾驶员注意力。
5.根据权利要求4所述的方法，其中，所述虚拟模型包括多个预定的关注区域，并且对每个所述关注区域赋予相对权重。
6.根据权利要求5所述的方法，其中，根据与所述驾驶员的视线一致的关注区域的权重确定驾驶员注意力。
7.根据前述权利要求中的任一项所述的方法，其中，所述一个或更多个车辆驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。
8.一种用于控制一个或更多个车辆驾驶员辅助系统的动态控制装置，所述装置包括：
至少一个图像传感器，所述图像传感器用于监测车辆的驾驶员；
一个或更多个处理器，所述处理器配置成对从所述至少一个图像传感器输出的图像数据进行分析以确定驾驶员注意力；以及
控制器，所述控制器配置成根据所确定的所述驾驶员注意力对所述车辆驾驶员辅助系统中的一者或更多者的灵敏度进行控制。
9.根据权利要求8所述的动态控制装置，其中，所述处理器配置成通过识别眼睛离开道路事件和/或眼睛在看道路事件来确定驾驶员注意力。
10.根据权利要求8所述的动态控制装置，其中，所述处理器配置成：在检测到眼睛在看道路事件持续第一预定时间段时，确定驾驶员注意力已经提高；以及在检测到眼睛离开道路事件持续第二预定时间段时，确定驾驶员注意力已经降低。
11.根据权利要求8至10中的任一项所述的动态控制装置，其中，所述处理器配置成根据一个或更多个预定阈值对驾驶员注意力进行分类。
12.根据权利要求8至11中的任一项所述的动态控制装置，其中，所述处理器配置成绘制表示所述驾驶员的视线的虚拟投影。
13.根据权利要求12所述的动态控制装置，其中，所述处理器配置成将所述虚拟投影与所述车辆的至少一部分的存储在存储器中的虚拟模型结合以确定驾驶员注意力。
14.根据权利要求13所述的动态控制装置，其中，所述虚拟模型包括多个预定的关注区域，并且对每个所述关注区域赋予相对权重。
15.根据权利要求14所述的动态控制装置，其中，驾驶员注意力是根据与所述驾驶员的视线一致的关注区域的权重确定的。
16.根据权利要求8至15中的任一项所述的动态控制装置，其中，所述一个或更多个车辆驾驶员辅助系统包括以下系统中的一者或更多者：自适应巡航控制(ACC)、前方碰撞警示(FWC)、车道偏离警示(LDW)、交通堵塞协助(TJA)、以及车道保持辅助(LKA)。
17.一种车辆，包括根据权利要求8至16中的任一项所述的动态控制装置。
18.一种基本上如本文参照附图所描述的方法。
19.一种基本上如本文参照附图所描述的动态控制装置。
20.一种基本上如本文参照附图所描述的车辆。
CN201580062770.1A 2014-11-19 2015-11-02 动态控制装置及相关方法 Active CN107074246B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1420553.8A GB2532457B (en) 2014-11-19 2014-11-19 Dynamic control apparatus and related method
GB1420553.8 2014-11-19
PCT/EP2015/075462 WO2016078901A1 (en) 2014-11-19 2015-11-02 Dynamic control apparatus and related method

Publications (2)

Publication Number Publication Date
CN107074246A true CN107074246A (zh) 2017-08-18
CN107074246B CN107074246B (zh) 2019-06-04

Family

ID=52248596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062770.1A Active CN107074246B (zh) 2014-11-19 2015-11-02 动态控制装置及相关方法

Country Status (5)

Country Link
US (1) US10223602B2 (zh)
EP (1) EP3221198A1 (zh)
CN (1) CN107074246B (zh)
GB (1) GB2532457B (zh)
WO (1) WO2016078901A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109941278A (zh) * 2017-12-20 2019-06-28 广州汽车集团股份有限公司 一种基于监控驾驶员状态的车辆控制方法、装置和系统
CN111434553A (zh) * 2019-01-15 2020-07-21 初速度（苏州）科技有限公司 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN111508273A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
CN112883843A (zh) * 2021-02-02 2021-06-01 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN113844456A (zh) * 2021-11-29 2021-12-28 宁波均联智行科技股份有限公司 Adas自动开启方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562763B (zh) * 2016-08-09 2021-05-04 日产自动车株式会社 自动驾驶车辆的控制方法及控制装置
DE102017208971A1 (de) 2017-05-29 2018-11-29 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur unterstützung eines in einem fahrzeug befindlichen fahrzeuginsassen
JP6822325B2 (ja) 2017-06-21 2021-01-27 日本電気株式会社 操縦支援装置、操縦支援方法、プログラム
GB2571075A (en) * 2018-02-14 2019-08-21 Jaguar Land Rover Ltd A controller
US11315361B2 (en) * 2018-04-11 2022-04-26 Mitsubishi Electric Corporation Occupant state determining device, warning output control device, and occupant state determining method
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
EP3640109A1 (en) * 2018-10-17 2020-04-22 Volvo Car Corporation System and method for detecting and/or preventing automation expectation mismatch in vehicle
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
US11587461B2 (en) * 2019-10-23 2023-02-21 GM Global Technology Operations LLC Context-sensitive adjustment of off-road glance time
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
DE102021103242A1 (de) 2021-02-11 2022-08-11 Bayerische Motoren Werke Aktiengesellschaft Automatisiertes kraftfahrzeug und verfahren zum steuern des automatisierten kraftfahrzeuges
US11872985B2 (en) * 2021-03-30 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Determining a setting for a cruise control
US11794753B2 (en) 2021-04-09 2023-10-24 Ford Global Technologies, Llc Eyes-on-road detection
DE102021204858A1 (de) * 2021-05-12 2022-11-17 Hyundai Motor Company Verfahren zur adaptiven Querführung eines Kraftfahrzeugs und Querführungsassistent für ein Kraftfahrzeug
CN113525402B (zh) * 2021-07-20 2023-06-02 张鹏 高级辅助驾驶及无人驾驶视场智能响应方法及系统
DE102022103912A1 (de) 2022-02-18 2023-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, computerlesbares Medium, System und Fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2000889A2 (en) * 2006-03-15 2008-12-10 Omron Corporation Monitor and monitoring method, controller and control method, and program
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
GB2500690A (en) * 2012-03-30 2013-10-02 Jaguar Cars Driver monitoring and vehicle control system
US20140244105A1 (en) * 2013-02-25 2014-08-28 Behzad Dariush Real time risk assessment for advanced driver assist system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060011399A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation System and method for controlling vehicle operation based on a user's facial expressions and physical state
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
JP4929777B2 (ja) * 2006-03-23 2012-05-09 トヨタ自動車株式会社 車両用走行制御装置
JP2008174092A (ja) * 2007-01-18 2008-07-31 Aisin Seiki Co Ltd 速度制御装置
US8077915B2 (en) * 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
EP2755192A4 (en) * 2011-10-06 2015-05-27 Honda Motor Co Ltd VISUALALLY DISTANCE DRIVING DETECTION DEVICE
DE102011116301A1 (de) * 2011-10-18 2012-04-12 Daimler Ag Fahrassistenzsystem für ein Kraftfahrzeug
EP2752348A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Adaptive emergency brake and steer assist system based on driver focus
US9881221B2 (en) * 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2000889A2 (en) * 2006-03-15 2008-12-10 Omron Corporation Monitor and monitoring method, controller and control method, and program
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
GB2500690A (en) * 2012-03-30 2013-10-02 Jaguar Cars Driver monitoring and vehicle control system
US20140244105A1 (en) * 2013-02-25 2014-08-28 Behzad Dariush Real time risk assessment for advanced driver assist system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109941278A (zh) * 2017-12-20 2019-06-28 广州汽车集团股份有限公司 一种基于监控驾驶员状态的车辆控制方法、装置和系统
CN111434553A (zh) * 2019-01-15 2020-07-21 初速度（苏州）科技有限公司 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN111434553B (zh) * 2019-01-15 2021-12-24 魔门塔(苏州)科技有限公司 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN111508273A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
CN111508273B (zh) * 2019-01-31 2022-06-14 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
CN112883843A (zh) * 2021-02-02 2021-06-01 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN112883843B (zh) * 2021-02-02 2022-06-03 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN113844456A (zh) * 2021-11-29 2021-12-28 宁波均联智行科技股份有限公司 Adas自动开启方法及装置

Also Published As

Publication number Publication date
GB201420553D0 (en) 2014-12-31
GB2532457B (en) 2018-04-18
CN107074246B (zh) 2019-06-04
US20180285665A1 (en) 2018-10-04
EP3221198A1 (en) 2017-09-27
US10223602B2 (en) 2019-03-05
WO2016078901A1 (en) 2016-05-26
GB2532457A (en) 2016-05-25

Similar Documents

Publication Publication Date Title
CN107074246B (zh) 动态控制装置及相关方法
JP6339235B2 (ja) 制御装置および関連方法
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
CN107798895B (zh) 停止的车辆交通恢复警报
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
US10653350B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
US11334754B2 (en) Apparatus and method for monitoring object in vehicle
WO2017056401A1 (ja) 制御装置、制御方法及びプログラム
JP6288653B2 (ja) 運転者注意力検出方法および装置
KR102494865B1 (ko) 차량 및 그 제어 방법
GB2525655A (en) Dynamic lighting apparatus and method
GB2500690A (en) Driver monitoring and vehicle control system
WO2010061272A1 (en) Vehicle display device and display method
CN110422169A (zh) 一种车辆控制方法、系统及设备
US11708079B2 (en) Method, device, and system for influencing at least one driver assistance system of a motor vehicle
CN107640092B (zh) 车辆内部和外部监视
JP2016133981A (ja) 運転支援装置
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
KR102425036B1 (ko) 차량 및 그 제어방법
KR101704524B1 (ko) 차량 및 그 제어방법
JP2018094294A (ja) 状態推定システム
JP5289920B2 (ja) 車両用警報装置
JP2012022504A (ja) 脇見判定装置
US20230150528A1 (en) Information display device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant