CN113226884A - 用于检测和动态地减轻驾驶员疲劳的系统和方法 - Google Patents

用于检测和动态地减轻驾驶员疲劳的系统和方法 Download PDF

Info

Publication number
CN113226884A
CN113226884A CN201980085233.7A CN201980085233A CN113226884A CN 113226884 A CN113226884 A CN 113226884A CN 201980085233 A CN201980085233 A CN 201980085233A CN 113226884 A CN113226884 A CN 113226884A
Authority
CN
China
Prior art keywords
driver
task
vehicle
interactive cognitive
driving system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980085233.7A
Other languages
English (en)
Other versions
CN113226884B (zh
Inventor
K.哈钦斯
J.莫凯
P.内梅克
H-O.卡韦利
S.帕尼格拉希
R-R.休伯特
J.恩格斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113226884A publication Critical patent/CN113226884A/zh
Application granted granted Critical
Publication of CN113226884B publication Critical patent/CN113226884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及自动系统中动态地检测、管理和减轻驾驶员疲劳。例如，可以监视车辆中驾驶员的交互，以确定与车辆的操作相关联的主要任务或由车辆计算发出的次要任务被最后执行的距离或时间(610)。如果在给定的距离阈值或时间限制内没有执行主要任务或次要任务(620)，则由车辆的计算设备启动一个或多个次要任务(630)。在另一个实例中，基于驾驶员的注视方向或模式来检测潜在的驾驶员疲劳、驾驶员分心或对自动驾驶系统的过度依赖。例如，给定车辆附近的周围环境，可以将检测到的注视方向或模式(810)与预期注视方向或模式进行比较(860)。

Description

用于检测和动态地减轻驾驶员疲劳的系统和方法
相关申请的交叉引用
本申请要求于2018年12月19日提交的第16/226,322号美国申请的权益，其全部公开内容通过引用结合于此。
背景技术
自主车辆(诸如不需要人类驾驶员的车辆)可以用于协助将乘客或物品从一个地点运输到另一个地点。这种车辆可以以完全自主模式操作，在该模式下，乘客可以提供一些初始输入，诸如搭载位置或目的地位置，并且车辆操纵自身到该位置。然而，在某些情况下，人类驾驶员可能位于车辆的车厢内。在这种情况下，驾驶员可能需要协助车辆的操作或以某种方式协助乘客(“辅助驾驶员(assist driver)”)。就前者而言，这可能发生在例如车辆试运行期间。对于后者，这种情况可能发生在例如乘客有问题或担心或者不舒服的情况下。这里，车辆中的人类驾驶员可以与乘客通信，并向他或她保证车辆运行正常，在乘坐期间检查乘客，和/或在一旦车辆出现问题或紧急情况时向乘客提供指示。由于辅助驾驶员在驾驶过程中可能并不总是处于认知状态的，他或她可能会变得疲劳，忙于分散注意力的任务，或者可能过度依赖自动化。尽管前面已经针对自主驾驶车辆进行了讨论，但是对于操作非自主驾驶车辆的驾驶员，这种疲劳也可能成为因素。
发明内容
所公开的技术的一个方面提供了一种用于自驾驶系统的动态交互式认知任务(interactive cognitive task)方法。该方法包括由自驾驶系统的一个或多个处理器确定与主要任务相关联的主要任务需求度量；以及由一个或多个处理器将主要任务需求度量与阈值进行比较。该方法还可以包括由一个或多个处理器触发自驾驶系统，以基于比较的结果向自驾驶系统的驾驶员启动(initiate)交互式认知任务。
在该技术的这一方面，主要任务需求度量包括与驾驶员的评论、评论评级或自驾驶系统的乘客使用自驾驶系统的请求之一相关联的值。此外，作为示例，阈值包括至少10分钟的时间阈值。阈值还可以包括至少10英里的距离阈值。
此外，触发交互式认知任务包括启动需要来自驾驶员的响应的任务。此外，启动需要响应的任务可以包括启动需要使用动作(motor)技能和认知技能作为来自驾驶员的响应的部分的任务。
作为另一个示例，触发交互式认知任务可以包括生成对驾驶员完成非视觉按钮按压(non-visual button push)任务的语音请求。
该方法还可以进一步包括由自驾驶系统监视驾驶员对已启动的交互式认知任务的响应，并且如果在预定时间限制内没有响应，则发出后续交互式认知响应。
在另外的示例中，该方法可以进一步包括至少基于主要事件的复杂度来确定交互式认知任务的复杂度。此外，基于比较的结果，与触发自驾驶系统以启动交互式认知任务相关联的频率是可调的。该方法还可以进一步包括如果自驾驶系统在时间限制内检测到另一个主要任务事件，则取消交互式认知任务。此外，主要任务需求度量可以包括自驾驶系统行驶的时间或自驾驶系统行驶的距离中的至少一个。
在另一个方面，该技术提供了一种用于自驾驶系统的动态交互式认知任务方法，该方法包括：由自驾驶系统的一个或多个处理器监视与至少一个主要任务相关联的主要任务需求度量；由一个或多个处理器将所监视的主要任务需求度量与阈值进行比较；以及由一个或多个处理器基于比较的结果使用自驾驶系统来启动交互式认知任务。
进一步根据该技术的这个方面，主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来行驶的距离。此外，主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来经过的时间。主要任务需求度量还可以包括驾驶员的评论、评论评级或乘客对使用自动驾驶系统的请求之一。
在另一个方面，该技术包括一种用于管理驾驶员注意力分散(inattention)的方法。该方法可以包括由一个或多个处理器获取驾驶员的一只或两只眼睛的图像，以确定驾驶员的实际注视方向或模式；由一个或多个处理器基于车辆的规划路线和车辆外部环境中的对象来确定驾驶员的预期注视方向或模式；以及由一个或多个处理器将实际注视方向或模式与预期注视方向或模式进行比较。该方法还包括在确定驾驶员对驾驶环境的视觉扫描指示驾驶员注意力分散时采取校正动作。
进一步根据该技术的这个方面，确定驾驶员对驾驶环境的视觉扫描是否偏离预期注视方向或模式可以包括，给定规划驾驶路径，使用基于环境统计的规范(normative)模型来确定预期注视方向或模式。确定驾驶员对驾驶环境的视觉扫描是否偏离预期注视方向或模式还可以包括使用基于人类视觉行为统计的规范模型来确定预期注视方向或模式。
此外，获取图像可以包括监视驾驶员的一只或两只眼睛是否闭眼。此外，驾驶员可以包括非自主车辆的驾驶员或者监视自主车辆操作的辅助驾驶员。
附图说明
图1是根据本公开的各方面的示例车辆的功能图。
图2是根据本公开的各方面的车辆的示例外部视图。
图3A和图3B是根据本公开的各方面的车辆的内部视图的示例。
图4是根据本公开的各方面的系统的示例示意图。
图5是根据本公开的各方面的系统的示例功能图。
图6是根据本公开的各方面的示例流程图。
图7A和图7B是根据本公开的各方面的示例流程图。
图8是根据本公开的各方面的示例流程图。
具体实施方式
概述
该技术涉及在自主系统中检测、管理和减轻驾驶员疲劳和分心。一些自主系统需要人工监督。例如，在能够部分或完全自主驾驶的车辆或自驾驶系统(SDS)中，辅助或安全驾驶员可以乘坐在车辆的车厢中，以监视和监督车辆的操作。辅助驾驶员可能会经历被动疲劳(passive fatigue)，例如，由于刺激不足或负荷不足而导致的疲劳，因为自主车辆对于与车辆操作相关联的主要任务(例如，监视SDS)通常需要较少或可能不需要与辅助驾驶员的交互。因此，产生被动疲劳的风险，以及导致对自动化监视任务注意力分散的其他现象(诸如驾驶员分心和对自动化的过度依赖)增加。这可能导致辅助驾驶员接管与车辆操作相关联的主要任务(如果需要的话)的能力相应地降低。
在一个实例中，引入了与主要任务需求(辅助驾驶员的交互性水平)相关的次要任务或所谓的交互式认知任务(interactive cognitive task，ICT)的车辆或SDS中的一个或多个计算设备可以提供在自主系统中减少和/或避免被动疲劳的动态方法。更具体地，一个或多个计算设备可以监视和/或接收关于执行与操作SDS车辆相关联的主要任务和由驾驶员用SDS执行的次要任务的信息。主要任务和/或次要任务的执行可以经由诸如主要任务需求的度量来测量，其提供了对驾驶员交互性水平的量度。然后，计算设备可以与主要任务需求相关地系统地改变次要任务。例如，时间阈值或距离阈值可以与主要任务需求相关联。如果驾驶员在时间阈值或距离阈值内没有与SDS交互，则计算设备可以触发次要任务或ICT。
主要任务需求可以基于以下交互性标记：评论、驾驶质量评估、在客户(customer)行程中。评论标记可以包括对交互性时间段的量度(例如，自辅助驾驶员最后一次与SDS交互起经过的时间)。驾驶质量评估可以是对来自辅助驾驶员的评论的重要性的量度。在客户行程中是对乘客使用自驾驶系统的请求的量度。任务需求的其他指示可以包括驾驶条件，诸如速度、道路复杂度和/或与汽车和行人的接近度；环境复杂度的这一方面和其他方面也可以用于推断主要任务需求。次要任务或ICT一般包括可能涉及驾驶员的动作技能或认知技能的活动。ICT的示例包括需要驾驶员响应于语音请求按下特定按钮(例如，调高音量)。在这个示例中，按下按钮涉及动作技能，而理解语音请求涉及认知技能。其他ICT可以包括任何其他适当的车辆控制，例如，打开/关闭雨刮器、将收音机调到特定的电台等。
作为工作示例，时间阈值可以被设置为自上次驾驶员交互起20分钟(或者更多或更少)、或者自上次驾驶员交互起10英里(或者更多或更少)。计算设备可以周期性地轮询SDS以确定驾驶员交互并接收关于主要任务需求的反馈。如果驾驶员在20分钟或10英里内没有进行交互，则计算设备或SDS可以使得ICT被触发。ICT可以包括提示驾驶员完成需要按下，或更一般地，移动特定物理按钮或屏幕按钮的任务的语音请求。如果驾驶员在预定时间限制(例如10秒)内没有对ICT作出响应于或者不正确地响应，则计算设备，或更一般地，SDS可以发出另一个或后续ICT。如果对于后续ICT没有接收到响应或接收到不正确的响应，则SDS或计算设备可以启动附加的动作。
这种附加的动作可以包括警告调度员，以便调度员可以联系驾驶员或激活视频监视系统来确定驾驶员的警觉状态。其他动作可以包括发出旨在唤醒甚至在睡觉的司机的独特的警报，播放响亮的音乐或振动驾驶座。还要注意的是，ICT触发标准可以取决于驾驶员的ICT执行历史来调整，使得最近出现错误/失误遗漏或响应时间较慢的驾驶员可以接收更频繁的ICT。调度员或SDS还可以建议提高驾驶员警觉性的应对手段，诸如休息、伸展等。当ICT执行指示疲劳程度高时，可以采取更激进的应对手段，诸如启动靠边停车。
一般地，该技术允许次要任务需求的增加与主要任务需求成反比。例如，如果车辆的操作需要更加警惕的关注，并且因此主要任务需求相对较高(例如，在繁忙的交叉路口驾驶)，则次要任务需求和ICT的频率可以降低，以使驾驶员更容易专注于主要任务。相反，如果主要任务需求较低(例如，在偏僻的高速公路上驾驶)，ICT的频率和复杂度可能会增加。增加复杂度可以包括需要更复杂的动作技能来完成语音请求(例如，在第一方向上移动按钮，并且在第二方向上移动相同或不同的按钮)。因为主要任务需求是确定是否启动次要任务或ICT的输入，所以当驾驶员参与主要任务时，系统可以避免启动次要任务或ICT。
尽管以上示例提供了固定的时间和/或距离作为阈值，但是阈值也可以基于车辆的操作条件或驾驶员的简档，在复杂度和频率上变化。例如，如果SDS或计算设备确定车辆已经以通常快的时间穿行了距离阈值(例如，8分钟内行驶了10英里与每小时80英里的速度相关，)，这可以被认为是车辆正在以较快的速度行驶的指示，因此可能需要取决于所感知到的辅助驾驶员的注意力水平更频繁地发出ICT。此外，如果驾驶员的简档指示驾驶员在高速公路上会更快地感到厌倦，则ICT的频率和复杂度可能增加，以使这样的驾驶员更专注地参与驾驶。复杂度和频率还可以基于驾驶员经验而变化。例如，对于新的驾驶员来说，在训练期间或与更有经验的驾驶员相比，ICT可能会更频繁地被触发。ICT频率和复杂度也可能因一天中的时间(例如，疲劳可能随一天中的时间而变化)、与用餐时间的接近度或与休息时间的接近度而变化。
驾驶情境的复杂度还可以作为确定ICT的定时或复杂度的输入。例如，ICT的发生可以被定时，使得ICT在辅助驾驶员应该参与车辆操作的驾驶情况或情境之后发生，而不是在期间发生。例如，ICT的发生可以被定时为在汽车穿过交叉路口之后，而不是在汽车穿过交叉路口期间。或者，当汽车在红灯时停下时，ICT可以发生。。此外，由于自主车辆的路线是已知的，也可以在复杂驾驶场景出现之前触发ICT，从而在更复杂的驾驶情境出现之前启动一个或多个ICT。其他输入可以包括地图数据、道路几何形状和车辆周围的对象。这样，ICT可以有助于在更复杂的驾驶情境之前提高警惕。
在另一个方面，该技术涉及被动地检测车辆中辅助驾驶员的驾驶员疲劳，该车辆被配置为以完全或部分自主模式操作、或者被配置为手动操作。注视模式(gaze pattern)可以用作认知状态(诸如分心)的可靠指示。注视模式也可以用作疲劳的可靠指示。例如，疲劳的驾驶员通常不会警觉地监视道路，而是注视着一个方向，例如正前方。自主车辆包括能够检测围绕着车辆的对象等并且导出关于车辆的场景理解，并且能够检测驾驶员的注视的方向的传感器和系统。这样，车辆的一个或多个计算设备可以基于导出的场景理解确定驾驶员的一个或多个预期注视方向，包括预期或规范(normative)注视方向、方向模式、方向组或方向序列(在此统称为“注视方向或模式”)。如果驾驶员在一个或多个时机没有朝预期注视方向或模式看，诸如如果驾驶员的注视模式与预期注视模式没有很好地相关，则这可以用作被动疲劳的指示。
例如，如果从车辆感知系统导出的场景理解指示基于车辆外部自然发生的刺激，驾驶员应该朝特定方向看，则可以将驾驶员的实际注视方向或模式(pattern)与该特定方向或模式进行比较，以提供对驾驶员的注意力的量度，从而提供对被动疲劳的量度。作为另一个示例，如果驾驶员正在右转弯，则预期驾驶员将主要向左边看驶来的车辆。然而，如果检测到的驾驶员的注视方向或模式指示驾驶员正直视前方，则这可能表示驾驶员不再充分地参与驾驶任务(例如，由于低警惕性或疲劳)。由于系统可以分辨驾驶员被预期何时看向何地，因此系统允许被动地动态评估驾驶员的警惕性和/或疲劳程度。可以通过使用车辆的车厢内的相机来检测实际注视方向(或注视方向的模式)。
给定视野中的视觉刺激，可以使用不同的模型来确定和/或分配驾驶员应该看的位置。这种视觉扫描的规范模型可以基于所记录的人类驾驶员的注意力分配行为(使用疲劳数据以及专注驾驶数据)，但也可以从驾驶环境统计中导出。所述模型可以使用机器学习或其他统计技术来学习这种数据的统计特性，以便在给定的驾驶情景中确定驾驶员(例如辅助驾驶员)的适当的注视方向或模式。基于人类数据的规范扫描模型可以通过训练所述模型在相似的情景中再现与专注的驾驶员相关联的视觉扫描模式来建立。可替代地，可以根据以下原则、基于环境统计来建立所述规范扫描模型：驾驶情况将通常包括规划路径以及规划路径的的周围对象和相关的道路基础设施元素。统计特性可以包括，例如，其他对象或道路基础设施元素相对于规划路径通常出现的位置、这些位置的频率、对象将接近这些位置的速度和/或这些对象接近这些位置时的行为等。如下所述，可以基于在操作自主车队时收集到的数据来对这种统计特性进行建模。因此，可以针对给定的情况开发预期扫描模型，并将其用作可以根据其评估所测量的实际驾驶员的视觉扫描模式的基准。以这种方式，可以将基于规范扫描模型的驾驶员的预期注视方向或模式之间的偏差与由车辆中的摄像机、静态照相机或其他注视检测系统测量的驾驶员的实际注视方向或模式进行比较，以确定驾驶员是否正确地分配了他的注意力或注视方向。其他模型(例如，机器学习模型)可以用于提供关于预期或规范注视方向或模式的类似输入，以用于与实际注视方向和模式进行比较。
上述特征提供了在SDS或自主车辆中对被动驾驶员疲劳的动态检测、监视和管理。系统允许通过检测实际注视方向并将实际注视与驾驶员应该注视的方向(例如，预期或规范注视方向或模式)进行比较来监视驾驶员疲劳状态。然后，实际注视方向或模式与预期或规范注视方向或模式之间的偏差可以用作驾驶员可能疲劳的指示，并触发驾驶员认知负荷的增加。系统还允许使用驾驶员交互性模式(例如，参与和未参与)来监视和评估驾驶员状态，然后使用该评估来确定增加驾驶员认知负荷的需要。该技术的动态性质也使其更安全，因为当驾驶员参与时(例如，在主要任务需求相对较高的时段)，避免了次要任务需求。该技术不仅在ICT或次要任务启动的方式上是动态的，而且系统允许ICT的复杂度和频率根据主要任务需求和/或车辆操作条件来动态地调整。系统的监测方面可以用于更可靠地确定驾驶员的疲劳状态，然后疲劳状态可以用来触发ICT。因此，监视系统和管理系统(例如，发出任务)可以协作使用以相互补充。
示例系统
如图1所示，根据本公开一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质、或存储可以借助电子设备来读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘、以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在这里可以互换使用。指令可以以目标代码格式存储以便由处理器直接处理、或者以任何其他计算设备语言(包括按需解释或预先编译的脚本或独立源代码模块的集合)存储。下面更详细地解释指令的功能、方法和例程。
处理器120根据指令132可以检索、存储或修改数据134。作为示例，存储器130的数据134可以存储预定义的情景。给定的情景可以标识包括对象的类型、对象相对于车辆的位置范围以及其他因素(诸如自主车辆是否能够围绕对象操纵、对象是否正在使用转弯信号、与对象的当前位置相关的交通灯的情况、对象是否正在接近停止标志等)的情景要求集。这些要求可以包括离散值(诸如“右转信号开启”或“在仅右转车道上”)，或者值的范围(诸如“具有与车辆100的当前路径成20至60度偏移的航向”)。在一些示例中，预定的情景可以包括针对多个对象的相似的信息。
一个或多个处理器120可以是任何常规处理器，诸如商用CPU。可替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上示出了处理器、存储器和计算设备110的其他元件在同一框内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储在或不存储在同一物理外壳内。作为示例，内部电子显示器152可以由专用计算设备控制，该专用计算设备具有其自己的处理器或中央处理单元(CPU)、存储器等，其可以经由高带宽或其他网络连接与计算设备110接口。在一些示例中，该计算设备可以是能够与用户的客户端设备通信的用户界面计算设备。类似地，存储器可以是位于不同于计算设备110外壳的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对并行操作或不并行操作的处理器或计算设备或者存储器的集合的引用。
计算设备110可以包括通常与诸如上述处理器和存储器的计算设备以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)结合使用的组件中的所有。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的车舱内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。车辆还可以包括一个或多个无线网络连接156，以便于与远离车辆的设备和/或车辆的各种系统之间的通信。
在一个示例中，计算设备110可以是结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种组件和系统通信，例如，无线地(经由无线网络连接156)和/或有线连接(诸如控制器区域网络(CAN)总线或其他通信总线)。例如，计算设备110可以与车辆100的各种系统通信，诸如减速系统160(用于控制车辆的制动)、加速系统162(用于控制车辆的加速)、转向系统164(用于控制车轮的朝向和车辆的方向)、信号系统166(用于控制转向信号)、导航系统168(用于将车辆导航到某个位置或对象周围)、定位系统170(用于确定车辆的位置)、感知系统172(用于检测车辆环境中的对象)和动力系统174(例如，电池和/或汽油或柴油引擎)，以便根据存储器130的指令132、以自主驾驶模式控制车辆100的移动、速度等，该自主驾驶模式不要求或不需要来自车辆的乘客的连续的或周期性的输入。除了这些系统之外，计算设备可以与交互式认知任务(ICT)系统178(用于检测和跟踪驾驶员疲劳，以及与车辆100的认知和其他任务导向的交互、这样的交互之间的时间或距离等)通信。ICT系统可以使用来自摄像机或静态相机、按钮、开关、拨号盘或其他致动器以及汽车内的其他组件的信号来执行其功能。尽管这些系统被示为在计算设备110外部，但是实际上，这些系统也可以被结合到计算设备110中，作为用于控制车辆100的自主驾驶计算系统。附加地或可替代地，这些系统中的每一个可以包括具有处理器和存储器的一个或多个计算设备，这些处理器和存储器被配置为与计算设备110的处理器120和存储器130相同或相似，以便实现本文所描述的这些系统的功能。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。例如，计算设备110可以使用来自地图信息和导航系统168的数据完全自动地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置，并且使用感知系统172来检测对象并且在需要时对对象作出响应，以安全到达该位置。为此，计算设备110可以使车辆加速(例如，通过增加加速系统162提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、换档和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164转动车辆100的前轮或后轮)，并且信号通知这种改变(例如，通过点亮信号系统166的转向灯)。因此，加速系统162和减速系统160可以是包括车辆的引擎和车轮之间的各种组件的传动系统的部分。此外，通过控制这些系统，计算设备110还可以控制车辆的传动系统，以便自动地操纵车辆。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164来控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括控制车轮的角度以转动车辆的组件。计算设备110可以使用信号系统166，以便向其他驾驶员或车辆信号通知(例如，在需要时通过点亮转向灯或刹车灯)车辆的意图。
计算设备110可以使用导航系统168，以便确定并遵循到达位置的路线。在这方面，导航系统168和/或数据134可以存储地图信息，例如，计算设备110可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以标识道路的形状和高度、车道标记、交叉路口、人行横道、速度限制、交通信号灯、建筑物、标志、实时或历史交通信息、植被或其他这样的对象和信息。车道标记可以包括诸如实线或虚线双车道线或单车道线、实线或虚线车道线、反光标记等特征。给定的车道可以与左右车道线或其他定义车道边界的车道标记相关联。因此，大多数车道可以由一条车道线的左边缘和另一条车道线的右边缘界定。如上所述，地图信息可以存储来自过去相似的时间的特定搭载位置的已知交通或拥堵信息和/或交通时刻表(火车、公共汽车等)。该信息甚至可以由计算设备110接收到的信息实时地更新。
作为示例，详细的地图信息可以包括一个或多个道路图或信息的图形网络，诸如道路、车道、交叉路口以及这些特征之间的连接。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及该特征是否链接到其他相关特征(例如，停车标志可以链接到道路和交叉路口等)的信息相关联。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许对某些道路图特征的高效查找。
感知系统172还包括用于检测车辆外部对象(诸如其他车辆、道路上的障碍物、交通信号、标志、树木等)的一个或多个组件。例如，感知系统172可以包括一个或多个LIDAR传感器、声纳或其他声学设备、雷达单元、相机(例如，摄像机或静止相机、可见光或红外相机)和/或记录可以由计算设备110处理的数据的任何其他检测设备。感知系统的传感器可以检测对象及其特性，诸如位置、朝向、尺寸、形状、类型(例如，车辆、行人、骑自行车者等)、航向、速度、加速度、加速度的变化率、减速度、减速度的变化率等。来自传感器的原始数据和/或前述特性可以被量化或布置为描述性函数、向量和/或边界框，并且当其由感知系统172生成时，被周期性地和连续地发送到计算设备110以用于进一步处理。
如下面进一步详细讨论的，计算设备110可以使用定位系统170来确定车辆的位置，并且使用感知系统172来检测对象并且在需要时对对象作出响应，以安全到达该位置。
例如，图2是车辆100的示例外部视图。在此示例中，车顶外壳210和圆顶外壳212可以包括LIDAR传感器以及各种相机和雷达单元。此外，位于车辆100前端的外壳220和车辆的驾驶员和乘客侧的外壳230、232可以各自存储LIDAR传感器。例如，外壳230位于驾驶员车门250的前面。车辆100还包括同样位于车辆100的顶部的雷达单元和/或相机的外壳240、242。附加的雷达单元和摄像机(未示出)可以位于车辆100的前端和后端和/或沿着顶部或车顶外壳210的其他位置。车辆100还包括典型的乘客车辆的多个特征，诸如门250、252、车轮260、262等。
图3A和图3B是车辆100的示例性内部视图或配置。如图3A所示的，内部300A包括区域306，该区域306包括一个或多个按钮，例如按钮L1、L2、L3和L4。按钮L1、L2、L3和L4可以包括按压按钮或拨转按钮。这些按钮可以是为响应ICT启动的音频评论而预留的特定按钮。然而，它们也可以包括与其他汽车功能相关联的按钮。除了这些按钮之外，区域308包括可以用于操作与汽车的音频系统相关联的功能(除了附加地或可替代地控制音频系统之外，包括音量调节、音频模式调节(例如，将音频源从卫星收音机切换到音乐播放器)、调谐无线电台等)的按钮的集合。在其他示例中，区域308中的按钮可以控制与显示区域310相关联的特征，显示区域310包含速度计、转速表等。例如，区域308中的按钮可以允许显示区域301中在显示模式之间切换。区域306中的按钮(或按钮306)和区域308中的按钮(或按钮308)被示出为位于方向盘312上或邻近方向盘312，但是可以被定位在面向方向盘312坐在驾驶员座椅上的辅助驾驶员方便且能安全触及到的任何地方。
内部300A还包括扬声器314，其可以提供音乐、电话呼叫、由计算设备110或由或通过ICT系统172启动的音频请求或其他声音。还可以提供屏幕318(例如，触敏屏幕)。风挡雨刮器控制臂320和前灯/指示器控制臂322也设置在方向盘312附近。还提供了摄像机或静态相机326，使得至少可以看到乘坐在车辆内部的辅助驾驶员。还提供了制动和加速踏板328，并且例如，制动和加速踏板328可以用于当汽车正在自主操作时覆盖制动或加速设置，或者可以用于以手动驾驶模式操作汽车。同样，当车辆100的安全操作需要时，方向盘312可以由辅助驾驶员接管。
图3B示出了车辆100的另一个示例内部视图或配置300B。这里，内部300B包括扬声器314、摄像机326以及制动和加速踏板328，它们具有与关于内部300A所讨论的功能相似的功能。内部300B还包括区域336，如图所示，区域336包括可以用于选择与车辆100相关联的特征和/或功能的各种按钮和旋钮。例如，区域336可以包括按钮3381和3382。这些按钮可以包括上面讨论的按钮L1、L2。其他按钮(诸如L3、L4)未被示出，但是也可以被设置在区域336中。区域336还可以包括各种旋钮或其他致动器3391、3392和3393。旋钮339可以控制功能，诸如对无线电台和音乐频道的选择、音量控制以及与车辆100的操作相关联的其他功能。用户与旋钮339以及按钮338的交互可以经由屏幕342、344来显示。屏幕342、344还可以包括触敏屏幕，通过该触敏屏幕，可以控制与车辆相关联的各种功能，诸如音乐选择、音量控制、L按钮操作、风挡雨刮器操作等。
车辆100的计算设备110还可以从其他计算设备(诸如作为运输服务的部分的那些计算设备以及其他计算设备(诸如其他车辆的那些计算设备))接收信息或向其他计算设备传送信息。图4和图5分别是示例系统400的示意图和功能图，示例系统400包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括车辆100和可以被配置为与车辆100相同或相似的车辆100A、100B。尽管为了简单起见，仅描述了几个车辆和计算设备，但是典型的系统可以包括显著更多的车辆和计算设备。
如图5所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可以被配置为类似于计算设备110的一个或多个处理器120、存储器130、数据134和指令132。
网络460和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙TM、蓝牙TMLE、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP，以及前述的各种组合。这样的通信可以由能够向其他计算设备发送和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
在一个示例中，一个或多个计算设备410可以包括具有多个计算设备的一个或多个服务器计算设备(例如负载平衡服务器群)，多个计算设备与网络的不同节点交换信息，目的是处理数据、从其他计算设备接收数据和向其他计算设备发送数据。例如，一个或多个计算设备410可以包括能够经由网络460与车辆100的计算设备110或车辆100A、100B的类似计算设备以及计算设备420、430、440通信的一个或多个服务器计算设备。例如，车辆100、100A、100B可以是可以向服务器计算设备410发送信息和从服务器计算设备410接收信息的车队的部分。在这方面，服务器计算设备410一起可以用作车队管理系统，服务器计算设备中的每一个都用作执行车队管理系统的一个或多个角色。此外，车队管理系统的服务器计算设备可以使用网络460向用户(诸如用户422、432、442)发送信息，并且在显示器上(诸如计算设备420、430、440的显示器424、434、444)向用户(诸如用户422、432、442)呈现信息。在这方面，计算设备420、430、440可以被认为是客户端计算设备。
如图4所示，每个客户端计算设备420、430、440可以是供用户422、432、442使用的个人计算设备，并且具有通常与个人计算设备有关的组件中的所有，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器424、434、444的显示器(例如，具有屏幕、触摸屏、投影仪、电视机或可操作来显示信息的其他设备的监视器)、扬声器和用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的组件中的所有。
客户端计算设备440也可以是客户服务代表的工作站。在这方面，用户422可以是客户服务代表或调度员，当通过服务器计算设备连接时，用户422可以与车辆100、100A和100B的乘客或辅助驾驶员通信，如下文进一步讨论的。此外，客户端计算设备440可以例如通过网络460与车队管理系统的服务器计算设备410通信，使用户422能够访问存储在存储系统450中的关于车队的车辆的信息。此外，尽管在图4和图5中仅示出了单个客户服务工作站，但是系统实际上可以包括数十个或数百个这样的工作站和客户服务代表。
尽管客户端计算设备420、430和440每个可以包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如互联网的网络与服务器计算设备(诸如服务器计算设备410)无线交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话或能够经由互联网或其他网络获得信息的设备，诸如支持无线的PDA、平板PC、可穿戴计算设备或系统或者上网本。在另一个示例中，客户端计算设备430可以是可穿戴计算系统，如图5所示的智能手表。作为示例，用户可以使用小型键盘、小键盘、麦克风、利用相机使用视觉信号、或触摸屏来输入信息。
与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在物理上位于相同或不同地理位置的多个不同的存储设备上。如图4和图5所示，存储系统450可以经由网络460连接到计算设备，和/或可以直接连接到或结合到计算设备110、410、420、430、440等中的任何一个。
存储系统450可以存储各种类型的信息，如下文更详细描述的。一个或多个服务器计算设备(诸如车队管理系统的服务器计算设备)和/或一个或多个客户端计算设备(诸如客户端计算设备440)可以检索或以其他方式访问这样的信息，以便执行本文所描述的特征中的一些或所有。
此外，如上所述，存储系统450的信息可以存储关于车队中的每个车辆的状态和特性的信息，以及如上所述的地图信息。当车队的车辆行驶时，它们可以持续地和/或周期性地向车队管理系统的一个或多个服务器计算设备410广播它们的状态。例如，这可以包括，车辆当前是否在行程中(例如，正在运输乘客和/或货物)、车辆的当前目的地和/或车辆的一个或多个附加的未来目的地(如下面进一步讨论的)、车辆是否有任何维护需求等。作为示例，维护需求可以包括车辆是否需要冷却或遮阴(shade)、加油或充电、清洁、定期检查(经过如此多的服务小时、行程或里程后)、传感器的重新校准(解决故障或定期维护)或其他维护。一个或多个服务器计算设备410可以将它的信息存储在存储系统450中。
存储系统450还可以存储关于辅助驾驶员的信息。这样的信息可以包括驾驶员简档(年龄、所讲的语言、经验水平、联系信息等)、驾驶员换班信息(例如，驾驶员当班何时开始/结束、自上次休息以来的时间等)。将采取保护措施来确保用户隐私得到保护。例如，辅助驾驶员可能需要特别授权对关于他们自己的特定信息的存储。附加的保护措施包括个人可识别信息的匿名化、数据聚合、个人信息过滤、加密、对个人信息进行散列(hash)或过滤以移除个人属性、信息存储的时间限制或数据使用或共享的限制。
存储系统450还可以存储关于客户服务的请求的信息。例如，该信息可以包括请求的类型、请求是如何发起的、与请求相关联的车队的车辆、请求是何时生成的(时间戳)、相关联的优先级、请求是否被分配给队列(如果被分配给队列，如果有多于一个队列，则被分配给哪个队列)、请求是否被完成等。此外，存储系统450还可以用于存储前述队列和/或关于队列的信息，如下文进一步讨论的。
存储系统450还可以存储关于客户服务代表或调度员(诸如用户442)的信息。这可以包括针对每个客户服务代表的信息，诸如所服务的请求的数量、客户服务代表先前与之通信的服务器的乘客(或用户)、以及该客户服务代表的特性，诸如经验水平、排名或评级、技能集、认证、所讲的语言或其他这样的特性。与辅助驾驶员一样，关于客户服务代表或调度员的个人信息也可以受到加强的保护措施的保护。
为了向用户提供运输服务，存储系统450的信息可以包括用户账户信息，诸如可以用于车队管理系统识别用户的凭证(例如，在传统单因素认证的情况下的标识符，诸如用户名和密码、以及在多因素认证中通常使用的其他类型的凭证，诸如随机标识符、生物测定等)。用户账户信息还可以包括个人信息，诸如用户的姓名、联系信息、用户的客户端计算设备(或者多个设备，如果用同一用户账户使用多个设备的话)的识别信息、用户的一个或多个唯一信号、用户是否已经选择了一个或多个不同的预定服务级别或者是否需要可访问性服务、以及其他的用户偏好或设置数据。
与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在物理上位于相同或不同地理位置处的多个不同的存储设备上。存储系统450可以经由如图4和图5所示的网络460连接到计算设备，和/或可以直接连接到或结合到计算设备110、410、420、430、440等中的任何一个。
示例方法
除了上述和附图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序来执行。相反，可以以不同的顺序或同时处理各种步骤，并且也可以添加或省略步骤。例如，图6是可以由一个或多个处理器(诸如车辆100、100A或100B中的计算设备110的一个或多个处理器)执行，以便监视和减轻一个或多个车辆100、100A和/或100B中的驾驶员疲劳的示例流程图600。流程图600可以作为服务器410上的进程来执行。在这样的实现方式中，每辆汽车可以向服务器410提供数据，使得服务器随后将执行流程图600的进程，以结合其他考虑因素(诸如一天中的时间、驾驶员经验、自上次ICT以来的时间或者如全文所进一步描述的)来管理ICT。
如图6的框610所示，计算设备110监视驾驶员与车辆或SDS的交互。这些交互包括执行与车辆操作相关联的主要任务或由计算设备110或SDS启动的用以刺激驾驶员的交互的次要或ICT任务。主要任务可以包括驾驶员提供的与车辆的操作相关的评论、驾驶质量评估、或者车辆正被用于将乘客运送到目的地。次要任务或ICT一般包括涉及驾驶员的动作技能或认知技能的任务。动作技能包括使用肌肉的动作，诸如按下按钮、拨动翘板开关、肢体移动等。认知技能是基于对大脑的使用的，并且可能需要思考、阅读、记忆、推理或集中注意力中的一种或多种。作为示例，认知技能是响应于执行动作(诸如按下特定的按钮)的请求而被调用的，因为其涉及思考该请求、记住该请求并且集中注意力足够长的时间来完成所请求的动作。
利用主要任务需求度量，计算设备可以测量主要任务和/或次要任务的执行。主要任务需求度量可以包括对自辅助驾驶员上次执行主要任务或次要任务以来行驶的距离和/或行驶的时间的测量。距离测量可以由与跟踪行驶距离的车辆系统相链接的计数器累计。然后，计数器可以向计算设备110提供行驶距离。可替代地，车辆系统可以将信号提供给计算设备110，其本身可以实现距离计数器。可以使用经由计算设备110实现的定时器或者具有将其输出馈送到计算设备110的定时器来跟踪行驶的时间。计算设备110可以通过周期性地轮询执行那些功能的设备或者经由实时提供这种信息的连接来接收计数器或定时器信息。主要任务需求度量可以包括对主要任务执行和次要任务执行两者的测量。然而，该度量可能仅包括对主要任务或次要任务之一的测量。此外，计算设备可以跟踪两个单独的需求度量，例如，仅次要任务度量或仅主要任务度量。
如图6的框620所示，将所测量的主要任务需求度量与阈值进行比较。在主要任务需求度量包括距离和时间两者的测量的示例中，在一种情景下，距离阈值可以被设置为10英里，并且时间阈值可以被设置为20分钟。距离阈值可以结合某种程度的随机性，并且变化例如+/-3英里(例如，最高30％的变化)。例如，如果距离阈值最初被设置为10英里，当执行任务时，距离阈值随后可以被重置为7英里，当在重置之后接收到后续任务时，该距离阈值随后可以被设置回10英里，然后之后被重置为13英里，等等。引入随机性有助于避免训练驾驶员通过了解完成任务需要的准确时间段或者距离而绕过(circumvent)系统。
时间阈值可以是硬性时间限制以应对一些情形，例如，由于交通模式，穿越给定距离可能花费太长时间，因此距离阈值可能不是有用的阈值。此外，可以对于定时阈值引入随机性的量度，类似于上面关于距离阈值所讨论的。例如，定时阈值中可以存在高达30％(或更多)的变化。
如图6的框630所示，如果自执行主要任务或次要任务以来行驶的距离或时间满足或超过各自阈值，则计算设备110启动要由驾驶员完成的次要任务或ICT。例如，计算设备110可以通过扬声器314向驾驶员发起“请按下L2按钮”的请求。然后给驾驶员预定时间(例如10秒)来完成所请求的动作。取决于驾驶员的响应，可以发出附加的ICT，如果确定驾驶员疲劳，则可以调用应对手段、或者系统可以在框610重置计数器并开始监视进程。
如上所述，主要任务需求度量包括作为分量的、对主要任务执行的监视。因此，ICT或次要任务的启动将与执行主要任务的频率相关地、动态地变化。例如，如果驾驶情境要求在时间或距离阈值限制内与车辆或SDS的定期的交互(例如，对主要任务执行的需求相对较高)，则将不会发出ICT。相反地，当对执行主要任务的需求较低时，将更经常地发出ICT。因此，次要任务需求与主要任务需求相关地、动态地变化。在这方面，在本公开的一个方面，次要任务需求与主要任务需求成反比地增加。这允许更有效地应对不同程度的疲劳。此外，根据本公开实现的系统可能更安全，因为当驾驶员高度参与时(例如，主要任务需求高)，主要任务需求不被启动或发出。
系统还可以通过基于驾驶情境和其他因素调整ICT或次要任务的复杂度或启动任务的频率来动态地管理和减轻被动疲劳。其他因素，例如，诸如场景理解(例如，车辆附近的外部对象的位置和移动)、正在行驶的地形或路线、驾驶员简档、天气条件、车辆的速度、一天中的时间、交通条件等因素)。实际上，这些因素可能会影响驾驶员情境，并且因此需要驾驶员不同程度的警惕或注意。例如，如果感知系统172指示车辆附近的场景包括多个对象，使得车辆处于复杂环境中，则可以调整ICT的定时和复杂度以适应这种环境。作为另一个示例，如果车辆的行程相对较长，ICT的频率和复杂度可能会与行驶的距离或行程的时间长度成比例地增加。作为另一个示例，夜间驾驶也可能需要ICT的频率和复杂度增加。在设置上述讨论并且由服务器410或调度员设置的距离阈值和时间阈值时，可以考虑前述因素。
更复杂的ICT的示例可以包括序列，在序列中一个以上按钮需要被操作，例如，按下L2一次、L3两次和L4三次。作为另一个示例，ICT可以包括将无线电调谐到特定电台频率的请求。其他示例包括操作风挡雨刮器、打开特定的窗户等。作为另一个示例，因为SDS能够感测环境，所以ICT可以包括要求驾驶员报告或描述其驾驶环境中的场景或对象。在这种ICT上不佳的表现可以提供对由于疲劳或分心而警惕性差的指示。只要计算设备110能够接收指示所请求的任务已经完成的信息，就可以在ICT中使用不会影响车辆的安全操作的车辆的任何特征。在这方面，可以使用提供减轻疲劳的认知参与的任何ICT。
在另一个实例中，图7A和图7B是具有可以由一个或多个处理器(诸如车辆100、100A或100B中的计算设备110的一个或多个处理器)执行、以便监视和减轻一个或多个车辆100、100A和/或100B中的驾驶员疲劳的操作的另外的示例流程图700。如图7A的框710所示，计算设备110在菱形框710确定是否启动ICT系统。在做出该确定时，处理设备可以确定车辆是否正在移动、是否释放了停车制动器、是否有双驾驶员、车辆内部是否有乘客、车辆是否处于手动模式或部分自动模式、或者是否没有辅助驾驶员。例如，如果车辆是静止的或者没有移动，处理经由线715返回到菱形框710。另一个方面，如果车辆正在移动，则处理进行到框720。类似地，如果释放了停车制动器，则过程进行到框720。同样，如果其他参数因为车辆中有单个辅助驾驶员，车辆中没有乘客，并且汽车不处于手动方式而指示ICT系统应该被启用，则处理进行到框720。在这方面，当另一个驾驶员或乘客在车内时，ICT系统可能不需要被启用，因为预期是车辆的内部有另一个人，辅助驾驶员将很可能更加警惕和专注。当汽车接近乘客搭载地点或一旦汽车驶入乘客搭载地点处的停车场时，ICT系统也可以被关闭。
随着ICT系统在框720已被启动，计算设备110监视SDS以与驾驶员交互、或者接收来自SDS的指示驾驶员与SDS交互的信息，启动距离计数器和监视定时器。如上所述，交互可以包括主要任务或次要任务/ICT。
如菱形框726所示，如果在距离计数器或监视定时器达到相应距离阈值或时间阈值之前检测到适当的驾驶员交互，则进程经由线728返回到框720，在框720，距离计数器和监视定时器被重置。如上所述，适当的驾驶员交互包括主要任务或次要任务的执行。如果在距离计数器或监视定时器达到它们的阈值之前没有检测到驾驶员交互，则处理进行到框730。如上所述，时间阈值将通常被设置为硬性时间限制。这是用于由于交通模式、穿越给定的距离可能需要更长的时间并且距离阈值可能没有那么有用的情况。
在框730，计算设备110启动第一ICT或辅助任务，并且ICT响应定时器启动。例如，驾驶员可能被要求“按下L2按钮”。然后，该驾驶员有预定时间段(例如10到30秒)来记录由ICT响应定时器测量时间的响应。
如菱形框734所示，如果驾驶员在ICT响应定时器超时之前提供了正确的响应，则处理返回到框720，如线739所示的。另一个方面，如果驾驶员提供了不正确的答案或者ICT响应定时器超时，则处理进行到图7B中的框750。
在框750，启动第二ICT或辅助任务，并且重置响应定时器。第二ICT通常不同于第一ICT。例如，第二ICT可能请求“请按下L3按钮。”如菱形框754所示，如果驾驶员在响应超时之前提供了正确的响应，则过程返回到框720，如线755所示的。另一个方面，如果驾驶员提供了不正确的答案或者响应定时器超时，则处理进行到框760。
在框760，计算设备可以启动通信或者使得通信被发送给调度员。通信可以是电子邮件、文本消息或电话呼叫。然后，调度员可以联系到驾驶员以询问驾驶员的警觉性程度，并建议他们采用应对手段(例如休息、伸展等)来提高警觉性。还要注意，如果第二ICT未能获得及时和正确的响应，则将在框768记录该事件。
尽管框760指示在第二ICT没有被及时响应的情况下将向调度员启动通信，但是注意，在一些示例中，系统可以通过具有第三ICT的过程进行循环，并且在其他示例中，可以在联系调度员之前或除了联系调度员之外，采用其他应对手段。例如，车辆中的收音机或音乐播放器的音量可以增加到应该唤醒甚至正在睡觉的人的水平。可替代地，驾驶员侧车窗可以打开到足以让额外的外部空气进入、或者可以按喇叭。本质上，任何可经由SDS访问的、不会影响车辆操作或危及驾驶员(或乘客)的安全的车辆功能都可以被启动，以获得辅助驾驶员的注意。如果采用这种应对手段，则可以向流程700添加附加的步骤，包括启动附加的ICT并等待响应。然而，最终，如果没有响应到来，那么将联系调度员。
在另一个实例中，如图8所示的示例流程图800示出了可以由一个或多个处理器(诸如车辆100、100A或100B中的计算设备110的一个或多个处理器)执行、以便检测一个或多个车辆100、100A和/或100B中的潜在的驾驶员疲劳的另一个情节。在框810，使用例如图3的相机326来监视驾驶员的实际注视方向(或注视方向的模式)。相机326可以聚焦在驾驶员的一只或两只眼睛上，使得它捕获到眼睛的数字图像。然后，计算设备110可以使用数字图像信息来计算驾驶员的实际眼睛注视方向。并行地，在框820，计算设备或SDS可以接收关于规划驾驶路径和沿着驾驶路径的车辆附近的对象的信息。然后，所测量的注视方向和周围对象的位置可以被组合以确定驾驶员正在看着什么对象。当驾驶员戴着太阳镜时，可以选择发射器，使得某波长光(例如红外光)穿过太阳镜。否则，相机应适当放置以捕获驾驶员的注视方向。
在框840，关于规划驾驶路径和对象的信息用于确定由规范扫描模型定义的预期或规范注视方向或模式。在某些情况下，例如在模型中有足够的置信度的情况下，规范注视方向或模式可以被认为是最佳注视方向。可以基于从实际人类扫描数据开发的视觉扫描模型和/或基于环境统计来确定规范扫描模型。视觉扫描在驾驶中的基本作用是减少规划或预测的驾驶路径的不确定性。这种不确定性可以分为(1)关于驾驶路径的不确定性和(2)关于车辆外部的对象相对于驾驶路径的位置和移动的不确定性。对于给定的驾驶情况，可以采用视觉上扫描环境的策略，以最小化关于穿越规划路径的不确定性。这种策略可以由驾驶情境的统计特性(例如，其他对象可能出现的位置、它们的速度、它们的行为等)来确定。例如，如果驾驶员在双车道道路上左转，他至少会左右看一次。人类驾驶员通过经验、随着时间的推移学习这些统计特性，因此，可以基于记录自有经验的专心的驾驶员的视觉扫描模式来导出规范扫描模型。也可以从作为SDS车队管理平台的部分收集到的数据中估计出这些统计特性，用于导出特定驾驶情况或情境的预期视觉扫描模型。这些统计特性基于最佳扫描将最小化给定情节中相对于规划路径的不确定性的原则，而不使用人类数据。给定驾驶情境、给定预期驾驶路径和沿着驾驶路径的对象，扫描模型用于导出预期注视方向或模式。
在框860，预期注视方向或模式则可以用作基准，并与由相机326检测到的实际注视方向或模式进行比较。如果实际注视方向或模式与基准之间存在偏差，则在框880，可以如前所述地启动ICT系统，以向驾驶员启动ICT请求。驾驶员的实际视觉扫描模式与预期模型所规定的模式之间的偏差指示适当地分配注意力来支持安全驾驶的能力降低，这可能与驾驶员注意力分散、疲劳或过度依赖自动化(例如，测试驾驶员没有正确地扫描道路，因为他们开始过度信任以自主驾驶模式操作的车辆)相关。
前述公开内容是在自驾驶系统的情境中讨论的。然而，请注意，前述方法和过程可以在非SDS情景中实现。例如，图3A中的车辆可以在ICT系统完全启用时以手动模式操作。在这种情况下，图6至图8的方法步骤可以被实现和实践，以在手动操作车辆时避免可能的驾驶员疲劳。
除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以对实施例的前述描述应该通过说明的方式进行，而不是通过限制由权利要求所限定的主题进行。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的分句不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例旨在仅说明多种可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。
权利要求书(按照条约第19条的修改)
1.一种用于自驾驶系统的动态交互式认知任务方法，包括：
由自驾驶系统的一个或多个处理器确定与主要任务相关联的主要任务需求度量；
由一个或多个处理器将所述主要任务需求度量与阈值进行比较；以及
由一个或多个处理器触发自驾驶系统，以基于所述比较的结果向自驾驶系统的驾驶员启动交互式认知任务。
2.根据权利要求1所述动态交互式认知任务方法，其中，所述主要任务需求度量包括与驾驶员的评论、评论评级或自驾驶系统的乘客对使用自驾驶系统的请求之一相关联的值。
3.根据权利要求1所述的动态交互式认知任务方法，其中，所述阈值包括至少10分钟的时间阈值。
4.根据权利要求1所述的动态交互式认知任务方法，其中，所述阈值包括至少10英里的距离阈值。
5.根据权利要求1所述的动态交互式认知任务方法，其中，触发交互式认知任务包括启动需要来自驾驶员的响应的任务。
6.根据权利要求5所述的动态交互式认知任务方法，其中，启动需要响应的任务包括启动需要使用动作技能和认知技能作为来自驾驶员的响应的部分的任务。
7.根据权利要求1所述的动态交互式认知任务方法，其中，触发交互式认知任务包括生成对驾驶员完成非视觉按钮按压任务的语音请求。
8.根据权利要求1所述的动态交互式认知任务方法，还包括，由自驾驶系统监视驾驶员对已启动的交互式认知任务的响应，并且如果在预定时间限制内没有响应，则发出后续交互式认知响应。
9.根据权利要求1所述的动态交互式认知任务方法，还包括，至少基于主要事件的复杂度来确定交互式认知任务的复杂度。
10.根据权利要求1所述的动态交互式认知任务方法，其中，基于所述比较的结果，与触发自驾驶系统以启动交互式认知任务相关联的频率是可调的。
11.根据权利要求1所述的动态交互式认知任务方法，还包括，如果自驾驶系统在时间限制内检测到另一个主要任务事件，则取消所述交互式认知任务。
12.根据权利要求1所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自驾驶系统行驶的时间或自驾驶系统行驶的距离中的至少一个。
13.一种用于自驾驶系统的动态交互式认知任务方法，包括：
由自驾驶系统的一个或多个处理器监视与至少一个主要任务相关联的主要任务需求度量；
由一个或多个处理器将所监视的主要任务需求度量与阈值进行比较；以及
由一个或多个处理器基于所述比较的结果使用自驾驶系统来启动交互式认知任务。
14.根据权利要求13所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来经过的时间。
15.根据权利要求13所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来行驶的距离。
16.根据权利要求15所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括驾驶员的评论、评论评级或乘客对使用自驾驶系统的请求之一。
17.一种用于管理驾驶员注意力分散的方法，包括：
由一个或多个处理器获取驾驶员的一只或两只眼睛的图像，以确定驾驶员的实际注视方向或模式；
由一个或多个处理器基于车辆的规划路线和车辆外部环境中的对象来确定驾驶员的预期注视方向或模式；
由一个或多个处理器将所述实际注视方向或模式与所述预期注视方向或模式进行比较；
由一个或多个处理器基于所述比较来确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式；以及
在确定驾驶员对驾驶环境的视觉扫描指示驾驶员注意力分散时，采取校正动作。
18.根据权利要求17所述的方法，其中，确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式包括，给定规划驾驶路径，使用基于环境统计的规范模型来确定所述预期注视方向或模式。
19.根据权利要求17所述的方法，其中，确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式包括，使用基于人类视觉行为统计的规范模型来确定所述预期注视方向或模式。
20.根据权利要求17所述的方法，其中，获取图像包括监视驾驶员的一只或两只眼睛的闭眼。
21.根据权利要求17所述的方法，其中，所述驾驶员包括非自主车辆的驾驶员或监视自主车辆操作的辅助驾驶员。

Claims (21)

1.一种用于自驾驶系统的动态交互式认知任务方法，包括：
由自驾驶系统的一个或多个处理器确定与主要任务相关联的主要任务需求度量；
由一个或多个处理器将所述主要任务需求度量与阈值进行比较；以及
由一个或多个处理器触发自驾驶系统，以基于所述比较的结果向自驾驶系统的驾驶员启动交互式认知任务。
2.根据权利要求1所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括与驾驶员的评论、评论评级或自驾驶系统的乘客对使用自驾驶系统的请求之一相关联的值。
3.根据权利要求1所述的动态交互式认知任务方法，其中，所述阈值包括至少10分钟的时间阈值。
4.根据权利要求1所述的动态交互式认知任务方法，其中，所述阈值包括至少10英里的距离阈值。
5.根据权利要求1所述的动态交互式认知任务方法，其中，触发交互式认知任务包括启动需要来自驾驶员的响应的任务。
6.根据权利要求5所述的动态交互式认知任务方法，其中，启动需要响应的任务包括启动需要使用动作技能和认知技能作为来自驾驶员的响应的部分的任务。
7.根据权利要求1所述的动态交互式认知任务方法，其中，触发交互式认知任务包括生成对驾驶员完成非视觉按钮按压任务的语音请求。
8.根据权利要求1所述的动态交互式认知任务方法，还包括，由自驾驶系统监视驾驶员对已启动的交互式认知任务的响应，并且如果在预定时间限制内没有响应，则发出后续交互式认知响应。
9.根据权利要求1所述的动态交互式认知任务方法，还包括，至少基于主要事件的复杂度来确定交互式认知任务的复杂度。
10.根据权利要求1所述的动态交互式认知任务方法，其中，基于所述比较的结果，与触发自驾驶系统以启动交互式认知任务相关联的频率是可调的。
11.根据权利要求1所述的动态交互式认知任务方法，还包括，如果自驾驶系统在时间限制内检测到另一个主要任务事件，则取消所述交互式认知任务。
12.根据权利要求1所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自驾驶系统行驶的时间或自驾驶系统行驶的距离中的至少一个。
13.一种用于自驾驶系统的动态交互式认知任务方法，包括：
由自驾驶系统的一个或多个处理器监视与至少一个主要任务相关联的主要任务需求度量；
由一个或多个处理器将所监视的主要任务需求度量与阈值进行比较；以及
由一个或多个处理器基于所述比较的结果使用自驾驶系统来启动交互式认知任务。
14.根据权利要求13所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来经过的时间。
15.根据权利要求13所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括自从自驾驶系统的驾驶员执行主要任务需求事件以来行驶的距离。
16.根据权利要求15所述的动态交互式认知任务方法，其中，所述主要任务需求度量包括驾驶员的评论、评论评级或乘客对使用自驾驶系统的请求之一。
17.一种用于管理驾驶员注意力分散的方法，包括：
由一个或多个处理器获取驾驶员的一只或两只眼睛的图像，以确定驾驶员的实际注视方向或模式；
由一个或多个处理器基于车辆的规划路线和车辆外部环境中的对象来确定驾驶员的预期注视方向或模式；
由一个或多个处理器将所述实际注视方向或模式与所述预期注视方向或模式进行比较；
由一个或多个处理器基于所述比较来确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式；以及
在确定驾驶员对驾驶环境的视觉扫描指示驾驶员注意力分散时，采取校正动作。
18.根据权利要求17所述的方法，其中，确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式包括，给定规划驾驶路径，使用基于环境统计的规范模型来确定所述预期注视方向或模式。
19.根据权利要求17所述的方法，其中，确定驾驶员对驾驶环境的视觉扫描是否偏离所述预期注视方向或模式包括，使用基于人类视觉行为统计的规范模型来确定所述预期注视方向或模式。
20.根据权利要求16所述的方法，其中，获取图像包括监视驾驶员的一只或两只眼睛的闭眼。
21.根据权利要求16所述的方法，其中，所述驾驶员包括非自主车辆的驾驶员或监视自主车辆操作的辅助驾驶员。
CN201980085233.7A 2018-12-19 2019-12-17 用于检测和动态地减轻驾驶员疲劳的系统和方法 Active CN113226884B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/226,322 US10807605B2 (en) 2018-12-19 2018-12-19 Systems and methods for detecting and dynamically mitigating driver fatigue
US16/226,322 2018-12-19
PCT/US2019/066739 WO2020131803A1 (en) 2018-12-19 2019-12-17 Systems and methods for detecting and dynamically mitigating driver fatigue

Publications (2)

Publication Number Publication Date
CN113226884A true CN113226884A (zh) 2021-08-06
CN113226884B CN113226884B (zh) 2024-06-11

Family

ID=

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
DE102012221090A1 (de) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) System und Verfahren für Regelkreis-Fahreraufmerksamkeitsmanagement
US20130131907A1 (en) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC System and method for managing misuse of autonomous driving
DE102012213965A1 (de) * 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
US20140365062A1 (en) * 2012-04-24 2014-12-11 Ford Global Technologies, Llc Method and apparatus for changing an autonomously travelling motor vehicle to a safe state
CN104837705A (zh) * 2012-11-30 2015-08-12 谷歌公司 启用和停用自动驾驶
CN105136156A (zh) * 2014-05-29 2015-12-09 通用汽车环球科技运作有限责任公司 基于用户行为模式的自适应导航与基于位置的服务
US20160207455A1 (en) * 2015-01-21 2016-07-21 Hyundai Motor Company Safe driving notification system using wearable device and method thereof
FR3041916A1 (fr) * 2015-10-02 2017-04-07 Peugeot Citroen Automobiles Sa Procede de maintien de la vigilance du conducteur d’un vehicule durant une phase de conduite automatisee.
CN107924191A (zh) * 2015-08-31 2018-04-17 优步技术公司 用于自动驾驶车辆的控制系统
US20180143635A1 (en) * 2010-06-07 2018-05-24 Affectiva, Inc. Vehicle manipulation using occupant image analysis
CN108290580A (zh) * 2015-12-08 2018-07-17 罗伯特·博世有限公司 用于运行车辆的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004414A (ja) * 2003-06-11 2005-01-06 Nissan Motor Co Ltd 車両用運転支援装置
US20180143635A1 (en) * 2010-06-07 2018-05-24 Affectiva, Inc. Vehicle manipulation using occupant image analysis
DE102012221090A1 (de) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) System und Verfahren für Regelkreis-Fahreraufmerksamkeitsmanagement
US20130131907A1 (en) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC System and method for managing misuse of autonomous driving
US20140365062A1 (en) * 2012-04-24 2014-12-11 Ford Global Technologies, Llc Method and apparatus for changing an autonomously travelling motor vehicle to a safe state
DE102012213965A1 (de) * 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
CN104837705A (zh) * 2012-11-30 2015-08-12 谷歌公司 启用和停用自动驾驶
CN105136156A (zh) * 2014-05-29 2015-12-09 通用汽车环球科技运作有限责任公司 基于用户行为模式的自适应导航与基于位置的服务
US20160207455A1 (en) * 2015-01-21 2016-07-21 Hyundai Motor Company Safe driving notification system using wearable device and method thereof
CN107924191A (zh) * 2015-08-31 2018-04-17 优步技术公司 用于自动驾驶车辆的控制系统
FR3041916A1 (fr) * 2015-10-02 2017-04-07 Peugeot Citroen Automobiles Sa Procede de maintien de la vigilance du conducteur d’un vehicule durant une phase de conduite automatisee.
CN108290580A (zh) * 2015-12-08 2018-07-17 罗伯特·博世有限公司 用于运行车辆的方法
US20180319408A1 (en) * 2015-12-08 2018-11-08 Robert Bosch Gmbh Method for operating a vehicle

Also Published As

Publication number Publication date
EP3898372A4 (en) 2022-09-07
EP3898372A1 (en) 2021-10-27
US11491994B2 (en) 2022-11-08
US11634145B2 (en) 2023-04-25
KR102591432B1 (ko) 2023-10-20
US20210001864A1 (en) 2021-01-07
US10807605B2 (en) 2020-10-20
WO2020131803A1 (en) 2020-06-25
US20210001865A1 (en) 2021-01-07
JP2022512114A (ja) 2022-02-02
WO2020131803A4 (en) 2020-08-13
US20200198644A1 (en) 2020-06-25
US20230202485A1 (en) 2023-06-29
KR20210092328A (ko) 2021-07-23

Similar Documents

Publication Publication Date Title
US11634145B2 (en) Systems and methods for detecting and dynamically mitigating driver fatigue
US11151876B2 (en) Apparatus and method of safety support for vehicle
CN111315627B (zh) 信息处理装置和信息处理方法
US11993293B2 (en) Information processing apparatus, moving apparatus, and method, and program
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7203035B2 (ja) 情報処理装置および情報処理方法
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
Trimble et al. Human factors evaluation of level 2 and level 3 automated driving concepts: Past research, state of automation technology, and emerging system concepts
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN111656423A (zh) 信息处理装置、移动装置、方法以及程序
US10611384B1 (en) Systems and methods for autonomous vehicle operator vigilance management
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN113226884B (zh) 用于检测和动态地减轻驾驶员疲劳的系统和方法
US20210291870A1 (en) Testing situational awareness of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US20210291869A1 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
WO2023276207A1 (ja) 情報処理システム及び情報処理装置
WO2023007844A1 (ja) 情報処理装置及び情報処理システム
JP7238193B2 (ja) 車両制御装置および車両制御方法
KR102669020B1 (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
WO2023228781A1 (ja) 処理システム及び情報提示装置
JP2022012352A (ja) 車両の表示・音声出力制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant