CN113147770A - 驾驶员监测系统 - Google Patents

驾驶员监测系统 Download PDF

Info

Publication number
CN113147770A
CN113147770A CN202110013494.7A CN202110013494A CN113147770A CN 113147770 A CN113147770 A CN 113147770A CN 202110013494 A CN202110013494 A CN 202110013494A CN 113147770 A CN113147770 A CN 113147770A
Authority
CN
China
Prior art keywords
driver
score
supervision
controller circuit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110013494.7A
Other languages
English (en)
Other versions
CN113147770B (zh
Inventor
杨阳
D·L·威尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN113147770A publication Critical patent/CN113147770A/zh
Application granted granted Critical
Publication of CN113147770B publication Critical patent/CN113147770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Instrument Panels (AREA)

Abstract

本公开的技术涉及驾驶员监测系统。系统包括接收来自驾驶员监测传感器的监测数据的控制器电路，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员。控制器电路基于监测数据来确定一个或多个驾驶员监督度量的分数，驾驶员监督度量中的每个驾驶员监督度量指示驾驶员是否正在监督车辆的运行。控制器电路基于驾驶员监督度量的分数来确定监督分数。监督分数指示驾驶员是否准备好恢复对车辆的控制。控制器电路基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。系统可以通过当驾驶员表现出减少的驾驶员感知行为时警告驾驶员来提高车辆安全性。

Description

驾驶员监测系统
相关申请的交叉引用
本申请要求于2020年1月6日提交的美国临时申请第62/957,426号的权益，该申请的公开藉此通过引用以其整体并入本文。
背景技术
汽车工程师协会(SAE)的2级自动化驾驶系统包括驾驶员辅助功能，该功能提供转向、制动和加速辅助(例如，车道居中和自适应巡航控制)。配备有2级自动化驾驶系统的车辆在自动化驾驶系统放弃控制的情况下，需要人类驾驶员准备就绪来接手对车辆的控制。当车辆在2级自动化控制下运行时，驾驶员负责监督自动化驾驶功能和车辆周围的环境。当需要不专心的驾驶员从自动化驾驶系统取回控制时，驾驶员可能无法及时作出反应以避免事故或碰撞。当驾驶员在预定义的时间段内将他们的手从方向盘上移开或视线离开道路时，一些自动化驾驶系统向不专心的驾驶员发出警告。在一些情况下，驾驶员能够通过将物体放置在方向盘上以模拟来自驾驶员的手的扭矩输入或者将照片放置在驾驶员座椅上以使驾驶员看上去专心地观察道路，来克服这些监测系统。
发明内容
该文档描述了驾驶员监测系统的一个或多个方面。在一个示例中，系统包括被配置成用于接收来自驾驶员监测传感器的监测数据的控制器电路，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员。控制器电路还被配置成用于基于监测数据来确定一个或多个驾驶员监督度量的分数，该驾驶员监督度量中的每个驾驶员监督度量至少部分地指示驾驶员是否正在监督车辆的运行。控制器电路还被配置成用于基于一个或多个驾驶员监督度量的分数来确定监督分数。监督分数指示驾驶员是否准备好恢复对车辆的控制。控制器电路还被配置成用于基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。
在另一个示例中，方法包括利用控制器电路接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员。方法还包括利用控制器电路基于监测数据来确定一个或多个驾驶员监督度量的分数。方法还包括利用控制器电路基于一个或多个驾驶员监督度量的分数来确定监督分数。方法还包括利用控制器电路基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。
提供本发明内容以介绍在以下具体实施方式和附图中进一步描述的驾驶员监测系统的各方面。为了便于描述，本公开侧重于基于车辆或基于汽车的系统，诸如集成在行驶于道路上的车辆上的那些系统。然而，本文所述的技术和系统不限于车辆或汽车情境，而且还适用于其中相机可用于检测物体的其他环境。本发明内容并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。
附图说明
本文档参考以下附图描述了驾驶员监测系统的一个或多个方面的细节。贯穿附图使用相同的数字来引用相似的特征和部件：
图1示出了安装在车辆上的驾驶员监测系统的示例；
图2示出了与图1的驾驶员监测系统的示例隔离的示例驾驶员监测传感器；
图3示出了图1的驾驶员监测系统的驾驶员监督度量的示例；
图4示出了态势感知(situational awareness)驾驶员监督度量的注意缓冲区值图的示例；
图5示出了基于驾驶员监督度量分数的监督分数的示例；
图6示出了基于驾驶员监督度量分数的监督分数的另一示例；
图7示出了基于驾驶员监督度量分数的监督分数的又另一示例；
图8示出了图1的驾驶员监测系统沿车辆的仪表板延伸的显示器的示例；
图9示出了监督分数和可以在图8的显示器上点亮的相关联的颜色的示例；
图10示出了图1的驾驶员监测系统沿车辆的门延伸的显示器的示例；
图11是由图1的系统的控制器电路执行的示例逻辑流的示例流程图；以及
图12是操作图1的示例驾驶员监测系统的示例方法。
具体实施方式
概述
本公开的技术涉及驾驶员监测系统。控制器电路接收来自座舱中传感器的数据，该座舱中传感器检测驾驶员是否正在监督以自动化驾驶模式运行的自动化车辆。座舱中传感器检测驾驶员是否正确地坐在驾驶员座椅上以及驾驶员是否正在注意车辆周围环境。系统确定若干驾驶员监督度量的分数，该驾驶员监督度量指示驾驶员是否正在监督车辆的运行。系统基于驾驶员监督度量的分数来确定监督分数，该监督分数指示驾驶员是否准备好恢复对车辆的控制。系统基于监督分数来在发光的显示器上指示驾驶员感知状态。发光的显示器位于驾驶员的视野中，并且显示器上点亮的颜色与驾驶员感知状态相对应。当确定驾驶员不专心时，控制器电路通过改变显示器的颜色和使显示器上的光脉动来警告驾驶员。当驾驶员随时间持续不专心时，控制器电路增加脉动的频率。驾驶员监测系统可以通过当车辆以自主驾驶模式运行时警告驾驶员的不专心行为来提高车辆安全性，并使控制平稳地移交给驾驶员，从而改善用户体验。
示例系统
图1示出了驾驶员监测系统100(以下称为系统100)的示例。系统100包括被配置成用于接收来自安装在车辆108上的驾驶员监测传感器106的监测数据104的控制器电路102。驾驶员监测传感器106可以是安装在车辆108上的占用者分类系统110(OCS 110)的部件，以下将更详细地解释该部件。控制器电路102被配置成用于确定驾驶员的监督分数112(参见图5)并且在驾驶员视野中可见的显示器116上指示驾驶员感知状态114。
尽管车辆108可以是任何车辆，但是为了便于描述，车辆108被主要描述为自动驾驶汽车，该自动驾驶汽车被配置成以用于辅助乘坐车辆108的驾驶员的自主驾驶模式运行。车辆108可以能够实现汽车工程师协会(SAE)的2级自主运行，该2级自主运行辅助驾驶员转向、制动和加速，同时驾驶员始终在驾驶员座椅上监测车辆108的运行。
在图1所示的示例中，控制器电路102安装在车辆108上，并且经由传输链路通信地耦合至驾驶员监测传感器106和显示器116。传输链路可以是有线或无线接口，例如，
Figure BDA0002885836090000041
近场通信(NFC)、通用串行总线(USB)、通用异步接收器/发射器(UART)、或控制器区域网(CAN)。在一些示例中，控制器电路112经由CAN总线(未示出)接收来自其他的车辆系统的数据，例如，点火状态、车辆速度、车辆相对运动和变速器档位选择。
控制器电路
控制器电路102可被实现为微处理器或其他控制电路系统(诸如模拟和/或数字控制电路系统)。控制电路系统可以包括被编程以执行技术的一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或被编程以用于根据固件、存储器、其他存储或组合中的程序指令执行技术的一个或多个通用硬件处理器。控制器电路102还可以将定制的硬接线逻辑、ASIC、或FPGA与定制的编程进行组合，以执行技术。控制器电路102可以包括存储器或存储介质(未示出)，包括非易失性存储器，诸如用于存储一个或多个例程、阈值、和所捕获的数据的电可擦除可编程只读存储器(EEPROM)。EEPROM存储数据并且允许通过应用编程信号来擦除并且重新编程单个字节。控制器电路102可以包括非易失性存储器的其他示例，诸如闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、以及可擦除可编程只读存储器(EPROM)。控制器电路102可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM))。控制器电路102可以包括用于同步控制电路系统或确定事件的经过时间的一个或多个时钟或计时器。一个或多个例程可由处理器执行，以执行用于基于由控制器电路102从如本文所描述的驾驶员监测传感器106接收的信号来确定监督分数112的步骤。
驾驶员监测传感器
图2示出了远离系统100定位的驾驶员监测传感器106的示例。如以下将详细描述的，驾驶员监测传感器106被配置成用于监测车辆108的驾驶员。驾驶员监测传感器106可包括检测驾驶员的各方面的一个或多个传感器，并且可以是安装在车辆108上的OCS 110的部件。驾驶员监测传感器106可包括捕获驾驶员的图像的相机，并且OSC 110基于该图像来确定驾驶员的座椅是否被人占用。由OCS 110执行的软件可以使用已知的图像分析技术来将人与动物和物体区分开来。在与座舱内的乘坐位置(例如，驾驶员的座椅位置)相对应的关注区域中检测图像中的物体，并且通过软件将物体分类为人类和其他分类。软件中的处理块或模型被预训练以识别人类形态或其他物体(例如，购物袋、盒子、或动物)的形状。相机可以是二维(2D)相机或3D飞行时间相机，其测量光脉冲离开相机并反射回该相机的成像阵列的时间。
OCS 110可以使用由相机捕获的图像来确定驾驶员是否正确地位于驾驶员的座椅上。OCS 110可以使用已知的定位技术来定位驾驶员的头部或上半身，并确定驾驶员是否位于驾驶员的座椅区域内。OCS 110可包括头部模型和身体模型，这些模型在驾驶员的座椅内具有与正常驾驶行为相对应的已知旋转和动态。OCS 110可以将图像中头部和上半身的位置与头部和身体模型进行比较，以确定驾驶员是否正确地位于驾驶员的座椅上。
OCS 110可以使用由相机捕获的图像来确定驾驶员的注视方向，例如，驾驶员是在看车辆108前方的道路还是在看其他方向。OCS 110可以使用已知的眼睛跟踪技术以基于眼睛的瞳孔的定位和确定的头部姿势来确定注视方向。OCS 110可以跟踪驾驶员的注视固定在特定方向(例如，固定(fixation))的时间，并且可以对眼睛在不同固定位置之间快速移动(例如，眼睛飞快扫视(saccade))的频率进行计数。如以下将更详细地解释的，OCS 110可以使用驾驶员的注视信息来指示驾驶员的态势感知程度。在一些示例中，当驾驶员戴着眼镜或在夜间条件下，红外(IR)光源用于照亮眼睛，以实现瞳孔定位。
OCS 110可以使用由相机捕获的图像来跟踪驾驶员的眼睛闭合的时间量，以确定困倦程度和睡眠程度。OCS 110可以使用眼睛模型以基于由相机捕获的图像来确定眼睑是否正在遮挡眼睛的虹膜。OCS 110可以确定眼睑张开的量和眼睛闭合的持续时间，以作为困倦或睡眠的指示。
驾驶员监测传感器106还可包括座椅压力传感器，该座椅压力传感器检测施加到座椅上的压力或压力分布。OCS 110可以基于指示驾驶员体重的压力阈值来确定驾驶员是否正坐在驾驶员座椅上。例如，如果占用者的重量大于30千克，则OCS 110可以确定将该驾驶员视为成人。压力分布可以指示占用驾驶员座椅的物体是人还是人以外的物体。压力分布还可以指示驾驶员是否在驾驶员座椅内的正确位置中；例如，当驾驶员倾斜到座椅的一侧时，压力集中在座椅的一侧。
驾驶员监测传感器106还可包括方向盘扭矩传感器，该方向盘扭矩传感器检测施加到方向盘的扭矩。即使在自主控制系统使车辆108转向的情况下，当驾驶员将手放在方向盘上时，也可以检测到扭矩。方向盘扭矩传感器可以是集成到车辆108的动力转向系统中的机电设备，其确定转向移动所需的扭杆角度。方向盘扭矩传感器还可以输出转向角和方向盘角位置的变化率。
驾驶员监测传感器106还可以包括电容式方向盘传感器，该电容式方向盘传感器检测驾驶员的手在方向盘上的触摸。电容式方向盘传感器可以位于方向盘的边缘，并且可以检测手与方向盘的接触点。在一些示例中，用手触摸方向盘会扭曲由传感器生成的电场，并改变传感器的电容，从而指示驾驶员的手的存在。电容式方向盘传感器可以检测驾驶员的一只手在方向盘上还是两只手都在方向盘上。
驾驶员监测传感器106还可包括检测车辆座舱中物体的存在的雷达传感器，并且OCS 110可以基于从该雷达传感器接收到的点云数据来确定驾驶员座椅是被驾驶员还是被物体占用。OCS 110将点云数据与软件中的模型进行比较，以确定座椅是被人占用还是被物体占用。在一些示例中，雷达传感器可以检测到相对较小的移动(例如，正在呼吸的驾驶员的胸壁的移动)。
OCS 110可以周期地更新来自OCS 110的监测数据104，以确保控制器电路102可以准确地确定监督分数112。例如，OCS 110可以以一秒的间隔更新监测数据104，以考虑驾驶员的座椅占用或注意力的短暂变化。
OCS 110可以使用机器学习来检测各种驾驶员方面和行为。机器学习是数据分析技术，其教导计算机从经验中学习。机器学习例程或算法使用计算方法从数据中学习信息，而不依赖于预先确定的方程作为模型。随着可用于学习的样本量的增加，这些例程提高了它们的性能。机器学习使用两种类型的技术：监督式学习，其在已知的输入和输出数据上训练模型，使得其能够预测未来的输出；以及无监督式学习，其发现输入数据中的隐藏模式(hidden patterns)或内在(intrinsic)结构。监督式学习使用分类和回归技术来开发预测模型。用于执行分类的常用算法包括支持向量机(SVM)、增强(boosted)和袋装(bagged)决策树、k-最近邻、朴素贝叶斯(
Figure BDA0002885836090000071
Bayes)、判别分析、逻辑回归和神经网络。常用回归算法包括线性模型、非线性模型、正则化、逐步回归、增强和袋装决策树、神经网络和自适应神经模糊学习。无监督式学习发现数据中的隐藏模式或内在结构，并用于从由没有标签响应的输入数据组成的数据集中得出推论。聚类(Clustering)是常用的无监督式学习技术。用于执行聚类的常用算法包括k-均值和K-中心点法、层次聚类、高斯混合模型、隐马尔可夫(Markov)模型、自组织映射、模糊c-均值聚类和减法聚类。在自动驾驶汽车的情境中，OCS110可以使用机器学习来专门基于驾驶员监测传感器106来检测驾驶员的注意力或馈送驾驶员监督度量118的驾驶行为的其他方面，以确保控制器电路102能够准确地确定监督分数112。
驾驶员监督度量
图3是示出了驾驶员监督度量118的示例的表，该驾驶员监督度量118指示驾驶员是否正在监督车辆的运行。图3并不旨在成为驾驶员监督度量118的详尽列表，因为可以如用户所定义的那样包括其他度量。控制器电路102可以基于从OCS 110接收的监测数据104来确定驾驶员监督度量118的分数。驾驶员监督度量118的分数可以是用户定义的，并且在图3中所示出的示例中，范围从零到100，其中零指示相应度量的最高分数而100指示相应度量的最低分数。例如，放手方向盘时间的分数为零指示驾驶员的手在大部分时间与方向盘接触，而分数为100指示驾驶员的手不在方向盘上大于阈值的时间，如以下将解释的。驾驶员监督度量118中的一些(例如，驾驶员睡眠状态)是二进制的(例如，零或100)，其中零指示驾驶员醒着而100指示驾驶员睡眠。
驾驶员监督量度118包括驾驶员的态势感知，驾驶员的态势感知部分地基于如由相机检测到并由OCS 110确定的驾驶员的扫视方向、驾驶员的扫视持续时间以及对驾驶员的扫视计数。态势感知度量的分数是基于美国马萨诸塞州剑桥市麻省理工学院(MIT)赞助的汽车需求高级人为因素评估者(AHEAD)联盟(包括来自汽车和保险业以及消费者权益实体的成员)开发的缓冲区算法计算得出的。缓冲区算法使用注意缓冲区设计，其中缓冲区最初是满的(例如，值为2.0)，并且当驾驶员扫视道路外时减小到零。使用等式(2-缓冲区)*50来计算态势感知，其中缓冲区值为2指示高态势感知，导致驾驶员监督度量分数为零；缓冲区值为1指示认知超负荷(cognitive overload)，导致驾驶员监督度量分数为50；而缓冲区值为零指示低态势感知，导致驾驶员监督度量分数为100。例如，当驾驶员长时间在看同一方向时，缓冲区算法还考虑注视固定或视觉隧道(vision tunneling)。注视固定可能与认知负荷或精神分心有关，尽管驾驶员看上去在注视着道路，由于驾驶员并未针对变化的交通状况扫描周围环境，因此注意缓冲区可减少。
图4示出了如由OCS 110所确定的，随着驾驶员不同时间段在不同方向上扫视而引起的注意缓冲区随时间变化的示例。缓冲区在10秒处从2的值开始，并且当在9秒至8秒之间驾驶员从向前方向扫视别处时减小到1的值。在8秒至7秒之间驾驶员回视向前，此时缓冲区增加到大约1.25。驾驶员继续从向前方向扫视别处更长的时间段，并且在5秒处缓冲区值为零，指示低态势感知程度。从大约4.5秒至3秒，驾驶员的注视恢复为向前方向，并且缓冲区增加回到最大值2。如图4中所示，在大约2秒时，缓冲区算法不惩罚驾驶员在与周围环境有关或与车辆108的运行有关的方向上扫视，其中驾驶员扫视后视镜或车速表，并且缓冲区保持最大值2。
返回参考图3，驾驶员监督量度118包括驾驶员的分心程度，该分数从零(当认为驾驶员不分心时)到最高100(当认为驾驶员分心时)。分心程度可以由控制器电路102基于确定驾驶员正在看道路的时间来确定。例如，OCS 110可以定义与挡风玻璃的驾驶员侧相对应的道路上关注的区域。当OCS110确定驾驶员一段时间内没有看道路上关注的区域时，OCS110可以确定驾驶员分心。控制器电路102可以使用等式MIN(100,100*(眼睛离开道路时间/2000))来确定零至100之间的分数，其中眼睛离开道路时间是以毫秒(ms)为单位的驾驶员没有看向道路上关注的区域的时间。控制器电路102可以在最大2000ms(即，2秒)的持续时间内监测驾驶员的注视方向，由此分数变为最大值100。分心程度与态势感知的不同之处在于其不考虑扫视行为，仅考虑驾驶员是否正朝着挡风玻璃向前方向看。
驾驶员监督度量118包括驾驶员的手中物体检测，其可以由相机检测并且由OCS110使用已知的物体识别和分类技术来确定。例如，相机可以捕获持有手机或书籍的驾驶员的图像，而OCS 110可以确定驾驶员手中持有的物体的身份。控制器电路102可以包括已知物体的图像库，以与在驾驶员的手中检测到的物体进行比较，并确定是将分数分配为零还是分配为100。例如，可以给移动电话或书籍分配分数为100，而驾驶员提起喝的一瓶水可能被分配分数为零。
驾驶员监督量度118可包括驾驶员的放手方向盘时间，其可以由控制器电路102使用计时器结合来自相机的图像或电容式方向盘传感器来确定。通过将确定放手方向盘的时间(以秒为单位)乘以因子10，可以将手放开方向盘的时间从零至100进行评分。例如，当检测到手离开方向盘的时间小于阈值(例如，小于1秒)时，值为零，当确定手离开方向盘的时间超过另一阈值(例如，大于5秒)时，值为50，而当确定手离开方向盘的时间超过又一阈值(例如，大于10秒)时，值为100。OCS 110可以确定驾驶员是否将他们的手从方向盘上移开，并且控制器电路102可以启动计时器，直到OCS 110确定驾驶员的手已经回到方向盘为止。
驾驶员监督度量118可包括驾驶员在场。如上所述，可以由OCS 110使用相机或座椅压力传感器确定驾驶员是否在场。驾驶员在场度量作为二进制值进行评分，即当驾驶员坐在驾驶员座椅上时为零，或者当确定驾驶员不在驾驶员座椅上时为100。
驾驶员监督度量118可包括驾驶员的驾驶员身体位置。如上所述，可以由OCS 110使用相机或座椅压力传感器确定驾驶员身体位置。驾驶员身体位置作为二进制值进行评分，即当驾驶员就位于驾驶员座椅上时为零，或者当确定驾驶员没有就位于驾驶员座椅上时为100。
驾驶员监督度量118可包括驾驶员睡眠状态。驾驶员睡眠状态作为二进制值进行评分，即当驾驶员醒着时为零，或者当确定驾驶员睡着时为100。驾驶员睡眠状态可包括微睡眠事件，其是可以持续数微秒至数十秒的短暂睡眠时段。微睡眠事件可表现为眼睑下垂、缓慢的眼睑闭合和点头。如上所述，OCS110可以通过使用相机监测驾驶员的眼睛和头部姿势来检测驾驶员正在表现出微睡眠事件。控制器电路102可以跟踪眼睑闭合的时间并且确定眼睑闭合的持续时间是否比可以指示睡眠或微睡眠事件的眨眼显著更长。
驾驶员监督度量118可包括驾驶员困倦程度。驾驶员困倦程度与驾驶员睡眠状态相关，因为驾驶员困倦程度是连续睡眠的部分。例如，当驾驶员的睡眠状态为零(例如，完全清醒)时，驾驶员没有指示困倦的迹象，而当驾驶员的睡眠状态为100(例如，睡眠中)时，驾驶员已经从困倦转变为睡眠。因此，图3中所示出的驾驶员困倦程度的分数不包括零和100。如上所述，OCS110可以通过监测驾驶员的眼睛和头部姿势来确定驾驶员的困倦程度。驾驶员困倦的分数随着在给定时段内眼睑闭合和点头发生计数的增加而增加。例如，OCS 110可以确定随时间在瞳孔上的眼睑闭合百分比(PERCLOS)，其将慢眼睑闭合或下垂与眨眼区分开。随着PERCLOS的增加，驾驶员困倦程度分数可以从10缩放到90，以与在采样的时间段内眼睛被遮挡的时间百分比相对应，如图3所示。
监督分数
图5示出了由控制器电路102基于驾驶员监督度量118的分数确定的监督分数112的示例。监督分数112指示如果车辆系统退出自主驾驶模式或响应于车辆系统可能无法预期的变化的交通状况，驾驶员是否准备好恢复对车辆108的控制。控制器电路102可以通过确定驾驶员监督度量118中的任一个驾驶员监督度量的最大值来确定监督分数112。在图5中所示出的示例中，确定驾驶员具有高态势感知，其分数为零，放手方向盘时间小于第一阈值(例如，小于一秒)，其分数为零，驾驶员在场并在驾驶员座椅的正确位置上，其分数为零，并且针对驾驶员睡眠状态的分数为零指示驾驶员高警觉程度。控制器电路102选择具有最大分数的驾驶员监督度量118，在该示例中该最大分数为零。
图6示出了由控制器电路102确定的监督分数112的另一示例，其中，确定驾驶员表现出认知超负荷，其态势感知的分数为50，如由上述缓冲区算法所确定的。在该示例中，缓冲区值为1，从而生成分数为(2-1)*50＝50。如上所述，OCS 110确定放手方向盘时间大于5秒，其分数为50，并基于PERCLOS确定驾驶员的驾驶员困倦程度分数为20。其余驾驶员监督度量118的分数为零。在该示例中，控制器电路102选择具有最大分数的驾驶员监督度量118，该最大分数为50。
图7示出了由控制器电路102确定的监督分数112的另一示例，其中，确定驾驶员表现出低态势感知，其分数为100，如由上述缓冲区算法所确定的。在该示例中，缓冲区值为零，从而生成分数为(2-0)*50＝100。如上所述，OCS 110确定放手方向盘时间大于10秒，其分数为100，并确定驾驶员不在驾驶员座椅上或不在适当的位置上，其分数各自为100。其余驾驶员监督度量118的分数为零。在该示例中，控制器电路102选择具有最大分数的驾驶员监督度量118，该最大分数为100。
除了选择驾驶员监督度量118的最大值之外，控制器电路102可以使用其他技术来确定监督分数112。例如，控制器电路102可以确定所有驾驶员监督度量118的平均值，并且基于该平均值确定监督分数112，或者可以确定驾驶员监督度量118在一段时间内的最大值，以减少监督分数112的变化。
如下所述，控制器电路102可以基于在驾驶员的视野中的显示器116上的监督分数112来指示驾驶员感知状态114。
显示器
图8示出了显示器116的示例，该显示器是沿恰好位于车辆108的挡风玻璃下方的仪表板的长度延伸的灯条。控制器电路102可以基于监督分数112来改变在灯条上点亮的光的颜色，以向驾驶员指示驾驶员感知状态114，如下面将更详细描述的。灯条可包括不同的发光二极管(LED)，其被配置成用于基于从控制器电路102接收的信号来点亮不同颜色的光。在图8中所示出的示例中，控制器电路102通过在灯条上点亮与零的监督分数112相对应的绿光来指示驾驶员感知状态114。随着监督分数112从零增加到100，控制器电路102可以通过将灯条上的光的颜色从绿色更改为红色(包括指示分数在零至100之间的其他颜色)来指示驾驶员感知状态114。
图9示出了监督分数112和相关联的驾驶员感知状态114的示例，其范围从具有550纳米(nm)的波长(λ)的绿色至具有700nm的波长的红色。绿色与红色之间的可见光谱的其他颜色由它们各自的波长指示。例如，波长为580nm的光为黄色，而波长为620nm的光为橙色。光颜色可以由车辆制造商预先确定，也可以由车辆操作员基于操作员的偏好进行选择。绿色的驾驶员感知状态114指示驾驶员准备好在短时间内接手对车辆的控制，而红色的驾驶员感知状态114指示严重的车辆安全问题，此时如果自主驾驶模式无法对威胁作出响应，驾驶员可能无法及时做出反应以避免发生事故。
当监督分数112超过第一阈值时，控制器电路102可以使由灯条显示的光脉动，如图9中“效果”列中所指示的。控制器电路102可以以第一频率(例如，以两秒的间隔或一半的赫兹(0.5Hz))使光脉动。第一阈值可以是用户定义的，并且在图9中所示出的示例中，第一阈值是80的监督分数112，此时驾驶员监督分数112指示驾驶员表现出低注意力。当监督分数超过第一阈值持续超过第二阈值的时间时，控制器电路可以增加光脉动的频率。例如，当监督分数112超过80达20秒的时段时，控制器电路102可以将光的脉动频率从0.5Hz增加到1Hz。
图10示出了沿车辆108的门的长度延伸的灯条的示例。灯条可以沿着车辆108的左侧门和右侧门两者的长度延伸，当驾驶员看向车辆108的左侧或右侧时，灯条可以在驾驶员的视野中。控制器电路102可以用与如上所述的位于仪表板上的灯条相同的颜色和效果点亮安装在车门上的灯条。控制器电路102可以使用来自OCS 110的监测数据104来确定驾驶员的注视方向是朝向左侧车门还是右侧车门，并且基于该注视方向使灯条上的光脉动进行追逐(chase)120，从而将驾驶员的注视引导朝向车辆108的前面，如图10中所示。追逐120是一种电气应用，其中相邻的LED被循环打开和关闭以产生光在沿着灯条的特定方向上移动的错觉。控制器电路102可以使用不同的追逐模式来将驾驶员的注视引导朝向车辆108的前面，例如，随着追逐120沿着灯条移动时，逐渐点亮越来越大的LED集群，或者随着追逐120沿着灯条移动时，点亮较大的LED部分。
图11是示出了由控制器电路102执行的示例逻辑流200的流程图。逻辑流程在202处以以下操作开始：在车辆点火时在显示器116上指示驾驶员感知状态114，并在214处以脉动频率的增加而结束。在该示例中，在202处，当驾驶员致动车辆108内的车辆点火开关时，控制器电路102基于驾驶员监督度量118的分数来确定监督分数112，如上所述。如图8-图10中所示，控制器电路102在灯条上指示驾驶员感知状态114，并在204处，确定监督分数112是否大于阈值。如果监督分数112大于阈值(例如，大于80)，则在206处，控制器电路102启动计时器。
在208处，控制器电路102开始以0.5Hz的第一频率在灯条上使光脉动，以警告驾驶员的驾驶员注意力下降。在210处，控制器电路102确定监督分数112是否保持大于阈值。如果监督分数112下降到阈值以下，则控制器电路102在灯条上指示与新的监督分数112相对应的新的驾驶员感知状态114。如果监督分数112保持在阈值之上，则在212处，控制器电路102确定时间是否大于时间阈值(例如，20秒)。当时间超过20秒的时间阈值时，在214处，控制器电路102将脉动的频率增加到1Hz，以进一步警告驾驶员下降的驾驶员注意力。
控制器电路102可以使用除了光的颜色和效果以外的其他警告方法，例如，语音警告和触觉警告或振动警告。例如，语音警告可以呼唤驾驶员以警告驾驶员提高他们的注意力。触觉警告可以应用于驾驶员的座椅，以提醒驾驶员他们的监督责任。这些其他通知方法也可以通过提高强度来升级，例如，通过增加语音通知的音量，增加重复语音通知的频率以及以增加的频率振动驾驶员座椅或使座椅振动朝向车辆的前面追逐。
示例方法
图11示出了由系统100执行的示例方法300。例如，控制器电路102通过执行与控制器电路102相关联的指令来配置系统100以执行操作302到308。执行操作(或步骤)302到308，但不一定限于本文中所示的操作的顺序或组合。此外，一个或多个操作中的任何一个可以被重复、组合或重组以提供其他操作。
步骤302包括“接收监测数据”。这可以包括利用控制器电路102经由传输链路从安装在车辆108上的驾驶员监测传感器106接收监测数据104。如上所述，驾驶员监测传感器106可包括检测驾驶员的各方面或行为的多个传感器，并且可以是OCS 110的部件。如上所述，驾驶员监测传感器106可包括捕获驾驶员的视频图像的2D相机和3D相机，并且OSC 110基于该图像来确定座椅是被驾驶员占用还是被物体占用。驾驶员监测传感器106还可以包括雷达传感器，该雷达传感器检测驾驶员在驾驶员座椅中的存在。如上所述，OCS 110可以使用相机来检测驾驶员的身体和头部位置，并检测驾驶员的眼睛注视方向。驾驶员监测传感器106还可以包括检测驾驶员何时坐在座椅上的座椅压力传感器，并且还可以包括转向扭矩传感器和电容式方向盘传感器，以检测驾驶员的手是否在方向盘上。监测数据104可以由OCS 110周期性地更新并且被传输到控制器电路102，以确保控制器电路102能够准确地确定监督分数112。
步骤304包括“确定驾驶员监督度量分数”。这可以包括利用控制器电路102基于从OCS 110接收到的监测数据104来确定驾驶员监督度量的分数。驾驶员监督度量包括态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在驾驶员座椅中的存在、驾驶员在驾驶员座椅中的身体位置、驾驶员睡眠状态以及驾驶员困倦程度，如图3中所示出和上面所述。
如上所述，控制器电路102基于由相机检测到的驾驶员的扫视行为来确定态势感知分数。如上所述，态势感知分数的范围从高态势感知的零到低态势感知的100，并基于注意缓冲区。如上所述，控制器电路102基于相机检测到驾驶员朝向道路上关注的区域的注视方向来确定分心程度。如上所述，分心程度分数对于未分心的驾驶员为零，而对于看向关注区域外超过2秒的驾驶员，则增加至100。
控制器电路102基于相机检测到驾驶员是否握住移动电话或可能是驾驶员注意的物体的其他物体来确定手中物体检测。当没有检测到手中物体时，在手物体分数为零；而当检测到物体在手中时，在手物体分数为100。控制器电路102基于计时器以及转向扭矩和电容式方向盘传感器来确定放手方向盘时间。放手方向盘时间的分数范围是零到100，并且通过将以秒为单位的时间乘以10来确定。
控制器电路102基于来自相机、雷达传感器和座椅压力传感器的监测数据104来确定驾驶员是否存在于驾驶员座椅上以及驾驶员是否正确地位于驾驶员座椅上。对于检测到驾驶员在驾驶员座椅上，驾驶员在场分数为零，对于未检测到驾驶员，驾驶员在场分数为100。对于处于正确位置的驾驶员，驾驶员身体位置分数为零，而对于驾驶员被检测到不在适当位置，分数为100。
如上所述，控制器电路102基于检测驾驶员的眼睛和头部姿势以及眼睑闭合的时间量的相机来确定驾驶员是醒着还是睡着。驾驶员睡眠状态分数在完全清醒时为0，而在睡眠时为100。如上所述，控制器电路102可以基于驾驶员的眼睛和头部姿势以及PERCLOS来确定驾驶员的困倦程度。如上所述，驾驶员困倦程度分数在10至90之间，并且反映了眼睛被遮挡的时间百分比。
步骤306包括“确定监督分数”。这包括利用控制器电路102基于驾驶员监督度量118的分数来确定监督分数112。如上所述，控制器电路102可以基于驾驶员监督度量118的最大值或驾驶员监督度量118的平均值来确定监督分数112。
步骤308包括“指示驾驶员感知状态”。如上所述，这可以包括利用控制器电路102在灯条上指示驾驶员感知状态114。驾驶员感知状态114是基于监督分数112的，并且可以通过用不同颜色点亮灯条来显示。灯条可以位于驾驶员的视野中，例如，沿着车辆108的仪表板和车门延伸。如上所述，控制器电路102可以改变灯的颜色和照明效果，以在控制器电路102确定监督分数大于指示驾驶员注意力下降的阈值时，警告驾驶员。如上所述，控制器电路102可以使灯条上的光脉动以警告驾驶员，并且除了照明效果之外还可以使用语音警告和振动警告。如上所述，控制器电路102可以确定驾驶员何时正朝向车辆的左侧和右侧看，并且使在灯条上显示的光脉动进行追逐120，以将驾驶员的注意力引导朝向车辆的前面。
示例
在以下部分中，提供了示例。
示例1。一种系统，包括：控制器电路，该控制器电路被配置成用于：
接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于在车辆以自主驾驶模式运行时监测车辆的驾驶员；基于监测数据来确定一个或多个驾驶员监督度量的分数，驾驶员监督度量中的每个驾驶员监督度量至少部分地指示驾驶员是否正在监督车辆的运行；基于一个或多个驾驶员监督度量的分数来确定监督分数，该监督分数指示驾驶员是否准备好恢复对车辆的控制；以及基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。
示例2。前述示例的系统，其中，驾驶员监测传感器包括以下各项中的一者或多者：二维相机、三维相机、转向扭矩传感器和电容式方向盘传感器。
示例3。前述示例中任一项的系统，其中，驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。
示例4。前述示例中任一项的系统，其中，控制器电路通过确定驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定监督分数。
示例5。前述示例中任一项的系统，其中，态势感知度量部分地基于以下各项中的一者或多者：驾驶员相对于车辆行驶的向前道路的扫视方向、驾驶员的扫视持续时间和驾驶员的扫视计数。
示例6。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第一监督分数，该第一监督分数指示驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。
示例7。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第二监督分数，该第二监督分数指示驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。
示例8。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定第三监督分数，该第三监督分数指示驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。
示例9。前述示例中任一项的系统，其中，显示器包括灯条，并且控制器电路进一步被配置成用于基于监督分数来改变所显示的光的颜色。
示例10。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于当监督分数超过第一阈值时，使由灯条显示的光脉动。
示例11。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于当监督分数超过第一阈值持续超过第二阈值的时间时，增加光脉动的频率。
示例12。前述示例中任一项的系统，其中，控制器电路进一步被配置成用于确定驾驶员的注视方向，并且基于该注视方向来使光脉动进行追逐，从而将驾驶员的注视引导朝向车辆的前面。
示例13。前述示例中任一项的系统，其中，灯条沿着车辆的仪表板的长度延伸。
示例14。前述示例中任一项的系统，其中，灯条进一步沿着车辆的左侧门和右侧门的长度延伸。
示例15。一种方法，包括：利用控制器电路接收来自驾驶员监测传感器的监测数据，该驾驶员监测传感器被配置成用于监测车辆的驾驶员；利用控制器电路基于监测数据来确定一个或多个驾驶员监督度量的分数；利用控制器电路基于一个或多个驾驶员监督度量的分数来确定监督分数；以及利用控制器电路基于监督分数来在驾驶员视野中的显示器上指示驾驶员感知状态。
示例16。前述示例的方法，包括通过确定驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定监督分数。
示例17。前述示例中任一项的方法，其中，驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。
示例18。前述示例中任一项的方法，包括通过确定第一监督分数来确定监督分数，该第一监督分数指示驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。
示例19。前述示例中任一项的方法，包括通过确定第二监督分数来确定监督分数，该第二监督分数指示驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。
示例20。前述示例中任一项的方法，包括通过确定第三监督分数来确定监督分数，该第三监督分数指示驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。
结论
虽然本公开的各种实施例在前述描述中进行了描述并且在附图中示出，但是应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。从前述描述中，将显而易见的是，可以在不偏离由接下来的权利要求所限定的本公开的精神和范围的情况下做出各种更改。
除非上下文另有明确规定，否则“或”和语法相关术语的使用表示无限制的非排他性替代物。如本文中所使用的，引述一列项目“中的至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。

Claims (20)

1.一种系统(100)，包括：
控制器电路(102)，所述控制器电路(102)被配置成用于：
接收来自驾驶员监测传感器(106)的监测数据(104)，所述驾驶员监测传感器(106)被配置成用于在车辆(108)以自主驾驶模式运行时监测所述车辆(108)的驾驶员；
基于所述监测数据(104)来确定一个或多个驾驶员监督度量的分数，所述驾驶员监督度量中的每个驾驶员监督度量至少部分地指示所述驾驶员是否正在监督所述车辆(108)的运行；
基于所述一个或多个驾驶员监督度量的所述分数来确定监督分数(112)，所述监督分数(112)指示所述驾驶员是否准备好恢复对所述车辆(108)的控制；以及
基于所述监督分数(112)来在所述驾驶员的视野中的显示器(116)上指示驾驶员感知状态。
2.如权利要求1所述的系统(100)，其中，所述驾驶员监测传感器(106)包括以下各项中的一者或多者：二维相机、三维相机、转向扭矩传感器和电容式方向盘传感器。
3.如权利要求1所述的系统(100)，其中，所述驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。
4.如权利要求3所述的系统(100)，其中，所述控制器电路(102)通过确定所述驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定所述监督分数(112)。
5.如权利要求3所述的系统(100)，其中，所述一个或多个驾驶员监督度量部分地基于以下各项中的一者或多者：驾驶员相对于所述车辆(108)行驶的向前道路的扫视方向、驾驶员的扫视持续时间和驾驶员的扫视计数。
6.如权利要求3所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于确定第一监督分数(112)，所述第一监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。
7.如权利要求3所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于确定第二监督分数(112)，所述第二监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。
8.如权利要求3所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于确定第三监督分数(112)，所述第三监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。
9.如权利要求1所述的系统(100)，其中，所述显示器(116)包括灯条，并且所述控制器电路(102)进一步被配置成用于基于所述监督分数(112)来改变所显示的光的颜色。
10.如权利要求9所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于当所述监督分数(112)超过第一阈值时，使由所述灯条显示的光脉动。
11.如权利要求10所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于当所述监督分数(112)超过所述第一阈值持续超过第二阈值的时间时，增加光脉动的频率。
12.如权利要求10所述的系统(100)，其中，所述控制器电路(102)进一步被配置成用于确定所述驾驶员的注视方向，并且基于所述注视方向来使光脉动进行追逐(120)，从而将驾驶员的注视引导朝向所述车辆(108)的前面。
13.如权利要求9上所述的系统(100)，其中，所述灯条沿着所述车辆(108)的仪表板的长度延伸。
14.如权利要求13所述的系统(100)，其中，所述灯条进一步沿着所述车辆(108)的左侧门和右侧门的长度延伸。
15.一种方法，包括：
利用控制器电路(102)接收来自驾驶员监测传感器(106)的监测数据(104)，所述驾驶员监测传感器(106)被配置成用于在车辆(108)以自主驾驶模式运行时监测所述车辆(108)的驾驶员；
利用所述控制器电路(102)基于所述监测数据(104)来确定一个或多个驾驶员监督度量的分数；
利用所述控制器电路(102)基于所述一个或多个驾驶员监督度量的分数来确定监督分数(112)；以及
利用所述控制器电路(102)基于所述监督分数(112)来在所述驾驶员的视野中的显示器(116)上指示驾驶员感知状态。
16.如权利要求15所述的方法，进一步包括通过确定所述驾驶员监督度量中的任一个驾驶员监督度量的最大值来确定所述监督分数(112)。
17.如权利要求15所述的方法，其中，所述驾驶员监督度量包括以下各项中的一者或多者：态势感知、分心程度、手中物体检测、放手方向盘时间、驾驶员在场、驾驶员身体位置、驾驶员睡眠状态和驾驶员困倦程度。
18.如权利要求17所述的方法，进一步包括通过确定第一监督分数(112)来确定所述监督分数(112)，所述第一监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：高态势感知、小于第一阈值的放手方向盘时间、驾驶员在驾驶员座椅上并处于正确位置以及高警觉程度。
19.如权利要求17所述的方法，进一步包括通过确定第二监督分数(112)来确定所述监督分数(112)，所述第二监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：认知超负荷以及大于第二阈值的放手方向盘时间。
20.如权利要求17所述的方法，进一步包括通过确定第三监督分数(112)来确定所述监督分数(112)，所述第三监督分数(112)指示所述驾驶员具有以下各项中的一者或多者：低态势感知、大于第三阈值的放手方向盘时间、驾驶员不在驾驶员座椅上或不处于驾驶员座椅中的正确位置以及低警觉程度。
CN202110013494.7A 2020-01-06 2021-01-06 驾驶员监测系统 Active CN113147770B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062957426P 2020-01-06 2020-01-06
US62/957,426 2020-01-06

Publications (2)

Publication Number Publication Date
CN113147770A true CN113147770A (zh) 2021-07-23
CN113147770B CN113147770B (zh) 2023-10-20

Family

ID=74095727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110013494.7A Active CN113147770B (zh) 2020-01-06 2021-01-06 驾驶员监测系统

Country Status (3)

Country Link
US (2) US11423759B2 (zh)
EP (1) EP3845431A3 (zh)
CN (1) CN113147770B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11565713B2 (en) * 2017-06-02 2023-01-31 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
US11565653B2 (en) 2020-01-03 2023-01-31 Aptiv Technologies Limited Vehicle occupancy-monitoring system
EP3845431A3 (en) * 2020-01-06 2021-07-28 Aptiv Technologies Limited Driver-monitoring system
US11414102B2 (en) * 2020-01-28 2022-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle communication consistency
US11760318B2 (en) * 2021-03-11 2023-09-19 GM Global Technology Operations LLC Predictive driver alertness assessment
US20220324511A1 (en) * 2021-04-13 2022-10-13 Ford Global Technologies, Llc Takeover determination for a vehicle
US11654922B2 (en) * 2021-08-09 2023-05-23 Ford Global Technologies, Llc Driver attention and hand placement systems and methods
US11840145B2 (en) * 2022-01-10 2023-12-12 GM Global Technology Operations LLC Driver state display
US11718314B1 (en) 2022-03-11 2023-08-08 Aptiv Technologies Limited Pedestrian alert system
US11840265B1 (en) * 2023-05-02 2023-12-12 Plusai, Inc. Variable safe steering hands-off time and warning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160288709A1 (en) * 2015-04-02 2016-10-06 Denso International America, Inc. Visual Alert System
US20180154903A1 (en) * 2016-09-20 2018-06-07 Faraday&Future Inc. Attention monitoring method and system for autonomous vehicles
US20180231976A1 (en) * 2017-02-10 2018-08-16 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment
CN109716411A (zh) * 2016-09-08 2019-05-03 福特汽车公司 用以监测驾驶员的活动水平的方法和设备
CN109878527A (zh) * 2017-12-04 2019-06-14 李尔公司 分心感测系统
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
CN110435538A (zh) * 2018-05-02 2019-11-12 通用汽车环球科技运作有限责任公司 远程车辆空间感知通知系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359527B2 (en) 1995-06-07 2008-04-15 Automotive Technologies International, Inc. Combined occupant weight and spatial sensing in a vehicle
US7489236B2 (en) 2005-04-29 2009-02-10 Chavarria Faustino V Pedestrian alert system for vehicles
US7777646B2 (en) 2007-10-04 2010-08-17 Moshe Konforty Alerting a driver to the presence of a pedestrian on a road
US8005595B2 (en) 2007-11-20 2011-08-23 Tk Holdings Inc. Occupant monitoring and restraint status system
US20140085070A1 (en) 2007-12-14 2014-03-27 Cars-N-Kids Llc Systems and Methods for Monitoring the Orientation, Tensioning, and Installation of a Child Safety Restraint
US20130021476A1 (en) 2008-10-10 2013-01-24 Trummer Marcus A Child seat safety system
US9235987B2 (en) * 2011-11-17 2016-01-12 GM Global Technology Operations LLC System and method for closed-loop driver attention management
US20140104053A1 (en) 2012-10-16 2014-04-17 Benjamin T. Clark, Jr. Vehicle occupancy and restraint status indication and driver distraction system
DE102013012779A1 (de) * 2013-07-31 2015-02-05 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Fahrerassistenzeinrichtung zum autonomen Führen eines Kraftfahrzeugs und Kraftfahrzeug
US9070023B2 (en) 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult
JP6477026B2 (ja) 2014-06-02 2019-03-06 Ａｇｃ株式会社 映像投影窓
JP6078032B2 (ja) 2014-09-29 2017-02-08 矢崎総業株式会社 車載用警告装置
US10013620B1 (en) * 2015-01-13 2018-07-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for compressing image data that is representative of a series of digital images
JP6319349B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
US9505346B1 (en) * 2015-05-08 2016-11-29 Honda Motor Co., Ltd. System and method for warning a driver of pedestrians and other obstacles
CN204641663U (zh) 2015-05-19 2015-09-16 吕俊飞 一种安全带未系提醒装置
JP6497353B2 (ja) * 2016-04-28 2019-04-10 トヨタ自動車株式会社 自動運転制御装置
ES2645407B1 (es) 2016-05-02 2018-09-17 Pirtle Eric Lee Sistema decorativo de interiores de vehículos
IL253699A0 (en) 2016-07-27 2017-09-28 Entis Sheila Babybeep
US9981602B2 (en) 2016-08-19 2018-05-29 2236008 Ontario Inc. System and method for pedestrian alert
JP6597690B2 (ja) * 2017-03-24 2019-10-30 株式会社デンソー 運転支援装置
US20210155261A1 (en) * 2017-05-05 2021-05-27 Toyota Motor Europe Automated driving system
JP2019034576A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
DE112017007854T5 (de) * 2017-08-11 2020-04-23 Toyota Motor Europe System für automatisiertes Fahren und Verfahren zum Stimulieren eines Fahrers
US10635101B2 (en) * 2017-08-21 2020-04-28 Honda Motor Co., Ltd. Methods and systems for preventing an autonomous vehicle from transitioning from an autonomous driving mode to a manual driving mode based on a risk model
US10377299B2 (en) 2017-09-11 2019-08-13 Ford Global Technologies, Llc Vehicle spotlight with tracking feature
CN107599904B (zh) 2017-10-11 2024-05-28 宁波惠尔顿婴童安全科技股份有限公司 一种儿童安全座椅电子报警系统
US10620627B2 (en) * 2017-12-19 2020-04-14 PlusAI Corp Method and system for risk control in switching driving mode
US10406978B2 (en) * 2017-12-19 2019-09-10 PlusAI Corp Method and system for adapting augmented switching warning
WO2019188398A1 (ja) * 2018-03-30 2019-10-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US10391972B1 (en) 2018-04-18 2019-08-27 The Boeing Company Seat assembly, seatbelt security system, and method
US10457208B1 (en) 2018-05-08 2019-10-29 Freedman Seating Company Vehicle passenger sensing and reporting system
US20200070848A1 (en) * 2018-08-30 2020-03-05 Arm Limited Method and System for Initiating Autonomous Drive of a Vehicle
EP3795441A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
US11587461B2 (en) * 2019-10-23 2023-02-21 GM Global Technology Operations LLC Context-sensitive adjustment of off-road glance time
EP3845431A3 (en) * 2020-01-06 2021-07-28 Aptiv Technologies Limited Driver-monitoring system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160288709A1 (en) * 2015-04-02 2016-10-06 Denso International America, Inc. Visual Alert System
CN109716411A (zh) * 2016-09-08 2019-05-03 福特汽车公司 用以监测驾驶员的活动水平的方法和设备
US20180154903A1 (en) * 2016-09-20 2018-06-07 Faraday&Future Inc. Attention monitoring method and system for autonomous vehicles
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US20180231976A1 (en) * 2017-02-10 2018-08-16 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment
CN109878527A (zh) * 2017-12-04 2019-06-14 李尔公司 分心感测系统
CN110435538A (zh) * 2018-05-02 2019-11-12 通用汽车环球科技运作有限责任公司 远程车辆空间感知通知系统

Also Published As

Publication number Publication date
EP3845431A3 (en) 2021-07-28
US11423759B2 (en) 2022-08-23
EP3845431A2 (en) 2021-07-07
US20220358826A1 (en) 2022-11-10
US20210209922A1 (en) 2021-07-08
CN113147770B (zh) 2023-10-20
US11685385B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN113147770B (zh) 驾驶员监测系统
CN108205731B (zh) 情境评估车辆系统
US11485284B2 (en) System and method for driver distraction determination
US20170355377A1 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US9873437B2 (en) Coordinated vehicle response system and method for driver behavior
US10150478B2 (en) System and method for providing a notification of an automated restart of vehicle movement
CN113056390A (zh) 情境驾驶员监控系统
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9505402B2 (en) System and method for responding to driver behavior
JP4400624B2 (ja) 居眠り防止装置及び方法
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3158392A2 (en) System and method for responding to driver state
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
US11447140B2 (en) Cognitive tunneling mitigation device for driving
US11708079B2 (en) Method, device, and system for influencing at least one driver assistance system of a motor vehicle
Bhaskar EyeAwake: A cost effective drowsy driver alert and vehicle correction system
CN115019289A (zh) 用于识别驾驶员疲劳状态的方法以及电子疲劳识别系统和机动车
CN112041903B (zh) 用于影响用于监控注意力的系统的方法
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
JP7363377B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP7363378B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
WO2023026553A1 (ja) 交通流シミュレーションシステムおよび交通流シミュレーション方法
US20240112337A1 (en) Vehicular driver monitoring system with health monitoring
Bhavya et al. Intel-Eye: An Innovative System for Accident Detection, Warning and Prevention Using Image Processing (A Two-Way Approach in Eye Gaze Analysis)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant