CN114007919A - 用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法 - Google Patents

用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法 Download PDF

Info

Publication number
CN114007919A
CN114007919A CN202080044872.1A CN202080044872A CN114007919A CN 114007919 A CN114007919 A CN 114007919A CN 202080044872 A CN202080044872 A CN 202080044872A CN 114007919 A CN114007919 A CN 114007919A
Authority
CN
China
Prior art keywords
driver
take over
evaluation processor
vehicle control
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044872.1A
Other languages
English (en)
Inventor
卡罗琳·钟
托马斯·J·赫伯特
弗朗西斯·J·贾奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vennell America
Original Assignee
Vennell America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vennell America filed Critical Vennell America
Publication of CN114007919A publication Critical patent/CN114007919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/05—Leading to automatic stopping of the vehicle

Abstract

本发明提供了一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的监测系统(112)。该监测系统可包括评估处理器(230)和驾驶员监测系统。该评估处理器可访问来自该驾驶员监测系统的驾驶员数据。该驾驶员监测系统可以包括一个或多个驾驶员监测传感器(218，220)，这些驾驶员监测传感器获取该驾驶员的指示驾驶员接管车辆控制的能力的属性。该评估处理器可以响应于来自自主驾驶系统的接管请求以及感测到的该驾驶员的指示该驾驶员准备好接管车辆控制的属性，提示该驾驶员进行接管的肯定性确认。

Description

用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法
相关申请的交叉引用
本申请要求于2019年6月18日提交的美国临时申请第62/863,128号的权益，该申请公开的全部内容据此以引用方式并入本文。
背景技术
1.技术领域
本申请整体涉及一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的监测系统。
发明内容
本发明提供了一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的监测系统。监测系统包括驾驶员监测系统，该驾驶员监测系统包括至少一个驾驶员监测传感器，该驾驶员监测传感器被配置为获取该驾驶员的指示驾驶员接管车辆控制的能力的属性。监测系统还包括评估处理器，该评估处理器被配置为访问来自驾驶员监测系统的驾驶员数据并且使用来自驾驶员监测系统的驾驶员数据来确定驾驶员接管车辆控制的能力。
还提供了一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的方法。方法包括：由至少一个驾驶员监测传感器获取驾驶员的指示驾驶员接管车辆控制的能力的属性；由驾驶员监测系统使用来自至少一个驾驶员监测传感器的传感器数据来生成驾驶员数据；以及由评估处理器使用来自驾驶员监测系统的驾驶员数据来确定驾驶员接管车辆控制的能力。
在参考附加于本说明书中并构成本说明书的一部分的附图和权利要求书查看以下描述后，本申请的其他目的、特征和优点对本领域的技术人员将变得显而易见。
附图说明
图1是驾驶员监测器的示意图。
图2A是车辆的示意图，该车辆具有用于监测驾驶员和外部环境属性的传感器。
图2B是示出通信和警示系统的车辆的示意图。
图3是示出用于监测驾驶员是否准备就绪和执行接管的方法的框图。
具体实施方式
2级和3级半自主车辆不能在所有状况和场景下驾驶，并且在某些情况下需要驾驶员接管车辆的控制。市场上的当前技术都没有解决驾驶员是否准备好接管以及如何使驾驶员充分地重新参与的问题。本发明所公开的系统基于输入(诸如驾驶员注视、损伤、认知负荷等)来确定驾驶员是否准备好接管。二次确认可包括不断变化的任务系统，驾驶员被要求执行这些任务以确认他们“回归正常”并集中注意力。
图1是驾驶员监测器112的示意图。如本申请别处所描述，驾驶员监测器可以确定驾驶员简档和驾驶员基准。在完成这些任务时，驾驶员监测器112可以与外部传感器114通信。外部传感器可在车辆停止时或在车辆沿其路线行进时监测车辆周围的环境。外部传感器可包括激光雷达122、雷达124和相机126。然而，应当理解，可使用其他外部感测技术，例如车辆内的超声波传感器或其他距离或环境测量传感器。在一些示例中，传感器可包括温度传感器、湿度传感器以及可来源于传感器(诸如相机)的各种特征。这些特征可包括是否存在下雪状况、来自太阳的眩光量或其他外部环境状况。驾驶员监测器系统112在确定车辆简档和/或基准时可以使用来自外部传感器114的输入来向驾驶员监测器112提供环境背景。驾驶员监测器112还可以与乘员监测传感器系统116通信。乘员监测系统116可包括一个或多个相机142、生物传感器144和/或其他传感器146。相机142可以安装在车辆内的不同位置、取向或方向上，以提供针对车辆中乘员的不同视点。在一些实施方案中，相机142中的一个或多个相机被定位成使得驾驶员位于相机的视场中。
一个或多个相机142可用于分析乘员的手势或确定乘员的位置和/或取向，或者监测乘员的指示(诸如指示情绪或状况的面部特征)。生物传感器144可包括例如触摸传感器，以确定驾驶员是否正在触摸某个控件(诸如方向盘或换档器)。生物传感器144可包括心率监测器以确定乘客的心率以及其他生物指示(诸如温度或皮肤水分)。此外，可使用其他传感器146，诸如用于确定例如乘员是否佩戴安全带的存在、不存在或位置传感器，用于确定乘员的重量的重量传感器。驾驶员监测器112可以使用来自乘员监测传感器系统的乘员监测数据来确定驾驶员简档和/或基准。
驾驶员监测器112还可以与驾驶员通信和警示系统118通信。驾驶员通信和警示系统118可包括视频屏幕132、音频系统134以及其他指示器136。屏幕可以是控制台中的屏幕，并且可以是仪表盘的一部分或车辆信息娱乐系统的一部分。音频可以集成到车辆信息娱乐系统或单独的音频特征部中，例如作为导航或远程通信系统的一部分。音频可提供噪声(诸如哔哔声、啁啾声或钟声)，或者可提供语言提示，例如以自动或预先录制的语音提问或提供陈述。驾驶员通信和警示系统118还可包括其他指示器，例如灯或LED，以在仪表盘上或车辆中的其他地方(包括例如在侧视镜或后视镜上)提供视觉指示或刺激。
驾驶员监测器112还可以与自主驾驶系统150通信。自主驾驶系统150可以利用驾驶员简档和驾驶员基准信息来做出各种决策，例如，何时以及如何提供车辆控制移交、何时做出关于驾驶员和当前车辆周围的对象(例如，人、车辆等)的决策。在一个示例中，车辆对车辆通信系统可以基于驾驶员信息系统提供关于附近汽车中的驾驶员的信息，并且自主驾驶系统150可以基于周围车辆中的驾驶员的驾驶员简档和/或驾驶员基准做出驾驶决策。
现在参见图2，提供了车辆200的示意图。车辆可包括传感器处理器210。传感器处理器210可包括一个或多个处理器，以监测和/或测量来自车辆内部或外部的各种车辆传感器的输入。例如，如之前所描述，车辆可以包括范围传感器212，例如超声传感器，以确定对象是否直接来自另一车辆200。车辆可包括雷达传感器214。雷达传感器214可以是前向雷达传感器，并且提供位于雷达感测场内的对象的距离和位置信息。因此，车辆可包括被示出为雷达214的前向雷达。然而，也可包括后向雷达或侧向雷达。系统可以包括激光雷达216。激光雷达216可以为在激光雷达系统的感测场内的车辆提供距离和位置信息。因此，车辆可以包括如关于激光雷达216所示的前向激光雷达系统。然而，也可提供后向激光雷达系统或侧向激光雷达系统。
车辆200还可包括生物传感器218。生物传感器218可例如集成到车辆的方向盘中。然而，其他具体实施可包括集成到座椅和/或座椅安全带中或集成在其他车辆控件(诸如换挡器或其他控制旋钮)内。生物传感器218可确定车辆的驾驶员的心跳、温度和/或皮肤的湿度。因此，可通过测量由生物传感器218提供的各种生物传感器读数来评估驾驶员的状况。系统还可具有一个或多个向内型或面向座舱的相机220。面向座舱的相机220可包括在白光光谱、红外光谱或其他可用波长下操作的相机。相机可用于确定驾驶员的各种手势、驾驶员的位置或取向、或驾驶员的面部表情，以提供关于驾驶员的状况的信息(例如，驾驶员的情绪状态、参与度、困倦度和损伤)。此外，可将生物分析应用于来自相机的图像，以确定驾驶员的状况或者是否驾驶员已经历某种医学状态的一些症状。例如，如果驾驶员的眼睛扩张，则这可指示在控制车辆时可考虑的潜在医学状况。因此，可基于来自一个或多个传感器的测量值的组合来确定驾驶员的状况。例如，某个范围内的心率、特定面部表情、以及某个范围内的皮肤颜色可对应于驾驶员的特定情绪状态、参与度、困倦度和/或损伤。
相机222可用于查看外部道路状况，诸如车辆前方、后方或旁边。这可用于确定车辆前方道路的路径、道路上的车道指示、相对于道路表面或相对于车辆外部环境的道路状况(包括车辆是否处于下雨或下雪环境中)以及车辆外部的照明状况(包括是否存在来自太阳或车辆周围的其他物体的眩光或闪光，以及由于路面照明基础设施差而导致的光线不足)。如之前所描述的，车辆可包括先前提及的传感器中的任一个传感器的后向或侧向的具体实施。因此，侧视镜传感器224可附接到车辆的侧视镜，并且可包括雷达传感器、激光雷达传感器和/或相机传感器，以用于确定相对于车辆的外部状况，包括本车辆周围的物体(诸如其他车辆)的位置。另外，车辆后保险杠中的后向相机226和超声传感器228提供了后向传感器的其他示例性具体实施，其功能与之前所描述的前向传感器的功能相同。
车辆还可包括评估处理器230，该评估处理器被配置为访问来自驾驶员监测系统的驾驶员数据并且使用来自驾驶员监测系统的驾驶员数据来确定驾驶员接管车辆控制的能力。例如，评估处理器230可以与传感器处理器210功能通信。在一些实施方案中，评估处理器230可为独立单元。在一些其他实施方案中，评估处理器230可与一个或多个其他处理器(诸如传感器处理器210)一体地实现。
参照图2B，车辆200可包括车辆通信和警示处理器250。车辆通信和警示处理器250包括一个或多个处理器，并且可与各种通信设备(诸如屏幕、音频以及车辆内的其他指示器)通信，以警示车辆的乘员和/或对车辆的乘员传送某些信息项目。车辆可包括视频显示器252，该视频显示器可以是仪表盘的一部分或车辆娱乐系统的一部分。指示器254也可以是仪表盘的一部分，或者可以采取抬头显示或挡风玻璃投影指示器的形式。此外，系统可通过后视镜256或侧镜258上的指示器向乘员提供刺激。此外，可通过音频在系统和乘员之间提供通信。例如，扬声器260和麦克风262可提供乘员与系统250之间的声音指示或言语交流。
图3是示出用于检测驾驶员对车辆接管请求是否准备就绪的方法的示意图。在框310中，车辆发起接管请求。在框312中，向驾驶员提供警示。可通过乘员通信和警示系统(诸如例如，使用通信和警示处理器250)向驾驶员提供警示。因此，警示可以是触觉的、听觉的、视觉的或其他类型的警示。在框314中，系统监测驾驶员对接管是否准备就绪。驾驶员对接管是否准备就绪可以基于各种驾驶员属性来评估，这些属性可以由驾驶员监测系统的一个或多个驾驶员监测传感器来测量，如本申请中别处所讨论的。驾驶员是否准备就绪的评估可基于属性，诸如认知负荷、驾驶员的参与度、驾驶员的损伤、驾驶员任务(驾驶员进食、驾驶员饮用、驾驶员调节广播)、驾驶员的注视(方向、长度)、困倦度等。如框316所示，系统可以在车辆接管之前或在车辆接管请求之前主动与驾驶员接洽，使得驾驶员将在需要驾驶员接管车辆之前参与车辆的驾驶。车辆的接洽可以提供与驾驶员的定时通信，例如，让驾驶员知道可能的事件和/或待定的驾驶员接管。接洽可以包括车辆防止驾驶员在例如长时间驾驶中感到无聊，或者防止驾驶员由于获得其他输入而负荷过重并且使其能够专注于接管请求任务。接洽可包括言语问题、钟声或其他视觉指示。当车辆驾驶员参与时，系统可以再次发起车辆接管请求，如框310所示。在框314中如果驾驶员准备好进行车辆接管，则该方法前进至框318。在框320中，确认驾驶员准备就绪。该确认可以是要求驾驶员采取特定动作的主动确认。确认可以是不断变化的序列，其中车辆必须驾驶或遵循一组指令。例如，指令可包括触摸方向盘的某些部分，和/或做出手势(诸如拇指向上)。序列还可包括诸如按压方向盘上的按钮的组合、查看某些区域(诸如查看道路)、检查镜子等。如果在框320中确认准备就绪，则驾驶员进行接管，如框322所示。驾驶员接管可以由驾驶员例如通过言语通知(诸如“驾驶员接管序列完成”)来确认。如果未接收到准备就绪确认，则车辆监测器接管步骤以及驾驶员对这些请求的注意力，如框324所示。这可包括确定驾驶员是否在为下一步骤观看屏幕和/或确定驾驶员是否由于新的干扰或新的目标而移开视线。一旦准备就绪的确认完成，驾驶员进行接管，如框322所示。在框314中如果驾驶员未准备好，则方法前进至框326。该方法可以根据外部变量(诸如接管请求的原因、待处理对象、车辆的速度等)而分支成不同的步骤。在一些状况下，系统可例如通过使警示更响亮、或更强振动、或各种警报的组合(例如，视觉警示和音频警示两者结合)来提升对驾驶员的警示。警示的提升在框312中完成，并且该过程继续监测是否准备就绪状态，如框314所示。在另一种情况下，基于外部状况，该过程可以从框326前进到框328，在此处车辆确定接下来的步骤，这些步骤用于安全停车或使其他系统参与。这可以包括启用车道保持系统、使车辆减速或采取安全停车动作。在一些具体实施中，其可包括使自主驾驶系统重新参与。
还提供了一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的方法。该方法包括由至少一个驾驶员监测传感器获取驾驶员的指示驾驶员接管车辆控制的能力的属性。指示驾驶员接管车辆控制的能力的属性可包括例如认知负荷、驾驶员参与度、驾驶员困倦度、驾驶员损伤、驾驶员任务和/或驾驶员正在看的注视方向。
该方法还包括由驾驶员监测系统使用来自至少一个驾驶员监测传感器的传感器数据来生成驾驶员数据。驾驶员监测数据可以包括例如关于指示驾驶员接管车辆控制的能力的一个或多个属性的计算值。
该方法继续由评估处理器使用来自驾驶员监测系统的驾驶员数据来确定驾驶员接管车辆控制的能力。该步骤可包括例如将驾驶员监测数据与对应于驾驶员准备好并且能够接管车辆控制的一个或多个预定基准值或条件进行比较。
该方法还可以包括以下步骤：响应于来自自主驾驶系统的接管请求提示驾驶员执行肯定性准备就绪确认；以及使用来自驾驶员监测系统的驾驶员数据来确定肯定性准备就绪确认的执行。该步骤可包括识别驾驶员的手势响应或言语响应。另选地或除此之外，该步骤可以包括确定驾驶员使用用户接口进行的动作的执行，例如按钮按压或与触摸板或触摸屏的特定交互。确定肯定性确认的执行的该步骤可由评估处理器执行。在一些实施方案中，确定肯定性确认的执行的该步骤可由另一个系统或控制器(诸如在肯定性确认需要与信息娱乐系统交互的情况下的信息娱乐系统)执行。
上述方法、设备、处理和逻辑可在硬件和软件的许多不同组合中以许多不同的方式实现。例如，具体实施的所有或部分可为包括指令处理器诸如中央处理器(CPU)、微控制器或微处理器的电路；专用集成电路(ASIC)、可编程逻辑设备(PLD)或现场可编程门阵列(FPGA)；或者包括离散逻辑或其他电路部件(包括模拟电路部件、数字电路部件或两者)的电路；或它们的任何组合。例如，该电路可包括离散的互连硬件部件以及/或者可被组合在单个集成电路管芯上、分布在多个集成电路管芯之间、或在采用公共封装的多个集成电路管芯的多芯片模块(MCM)中实现。
该电路还可包括或访问用于由电路执行的指令。不同于暂态信号，这些指令可存储在有形存储介质(诸如闪存存储器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM))中；或者存储在磁盘或光盘(诸如光盘只读存储器(CDROM)、硬盘驱动器(HDD)或其他磁盘或光盘)上；或者存储在另外的机器可读介质中或其上。产品诸如计算机程序产品可包括存储介质以及存储在该介质中或该介质上的指令，并且当这些指令被设备中的电路执行时，这些指令可使得该设备实现上述或附图中所示的任何处理。
具体实施可作为电路分布在多个系统部件之间，诸如在多个处理器和存储器之间，任选地包括多个分布式处理系统。参数、数据库和其他数据结构可单独地存储和管理，可合并到单个存储器或数据库中，可以多种不同的方式逻辑地和物理地进行组织，并且可以多种不同的方式来实现，包括以数据结构(诸如链表、散列表、阵列、记录、对象或隐式存储机制)的方式来实现。程序可为单个程序的部分(例如，子例程)、单独的程序、分布在多个存储器和处理器之间，或者以多种不同的方式来实现，诸如在程序库诸如共享库(例如，动态链接库(DLL))中实现。例如，DLL可存储指令，这些指令在由电路执行时，执行上述或附图中所示的任何处理。
本领域技术人员易于理解的是，以上描述的用意是说明本申请的原理。该描述并非旨在限制权利要求的范围或应用，因为所述组件易于修改、改变和改动，而不会脱离随附权利要求书所限定的本申请的精神。

Claims (20)

1.一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的监测系统，所述监测系统包括：
驾驶员监测系统，所述驾驶员监测系统包括至少一个驾驶员监测传感器，所述驾驶员监测传感器被配置为获取所述驾驶员的指示驾驶员接管车辆控制的能力的属性；
评估处理器，所述评估处理器被配置为访问来自所述驾驶员监测系统的驾驶员数据并且使用来自所述驾驶员监测系统的所述驾驶员数据确定驾驶员接管车辆控制的能力。
2.根据权利要求1所述的系统，其中所述至少一个驾驶员监测传感器包括相机，所述相机定位成使得所述驾驶员位于所述相机的视场中。
3.根据权利要求1所述的系统，其中所述评估处理器还被配置为响应于来自所述自主驾驶系统的接管请求提示所述驾驶员执行肯定性准备就绪确认。
4.根据权利要求3所述的系统，其中所述评估处理器还被配置为使用来自所述驾驶员监测系统的所述驾驶员数据来确定所述肯定性准备就绪确认的执行。
5.根据权利要求3所述的系统，其中所述肯定性确认包括请求动作序列。
6.根据权利要求5所述的系统，其中所述请求动作序列随时间改变。
7.根据权利要求1所述的系统，其中所述评估处理器被配置为基于认知负荷、驾驶员参与度、驾驶员困倦度、驾驶员损伤或驾驶员任务中的一者来确定所述驾驶员接管车辆控制的能力。
8.根据权利要求1所述的系统，其中所述评估处理器被配置为基于所述驾驶员正在看的注视方向来确定所述驾驶员接管车辆控制的能力。
9.根据权利要求1所述的系统，其中所述评估处理器被配置为使所述驾驶员参与以保持接管所述车辆的能力的阈值水平。
10.根据权利要求1所述的系统，其中所述评估处理器被配置为通过言语询问使所述驾驶员参与。
11.根据权利要求10所述的系统，其中所述评估处理器被配置为使用所述至少一个驾驶员监测传感器确定所述驾驶员是否对所述言语询问做出了响应。
12.根据权利要求11所述的系统，其中所述至少一个驾驶员监测传感器包括麦克风，并且其中所述评估处理器被配置为确定对所述言语询问的言语响应。
13.根据权利要求11所述的系统，其中所述至少一个驾驶员监测传感器包括相机，所述相机被定位成使得所述驾驶员位于所述相机的视场中，并且其中所述评估处理器被配置为确定驾驶员对所述言语询问的手势响应。
14.根据权利要求1所述的系统，其中所述评估处理器被配置为响应于确定所述驾驶员不能接管车辆控制而向所述驾驶员生成警示。
15.根据权利要求14所述的系统，其中所述警示包括多个警示，所述多个警示的音量或强度随时间推移而增大并且直到所述驾驶员对所述警示做出响应。
16.根据权利要求1所述的系统，还包括外部传感器，所述外部传感器被配置为监测所述车辆周围的环境，其中所述评估处理器被配置为使用所述外部传感器确定外部环境属性，并且响应于所述外部环境属性而从自主驾驶系统发起驾驶员接管请求；并且
其中所述评估处理器被配置为响应于确定所述驾驶员未准备好接管所述车辆并且与所述外部环境属性相关的距离或定时低于阈值而执行另选动作。
17.根据权利要求16所述的系统，其中所述评估处理器确定所述另选动作包括启用车道保持、使所述车辆降速和采取安全停车动作中的至少一者。
18.一种用于确定驾驶员对从自主驾驶系统接管车辆控制是否准备就绪的方法，所述方法包括：
由至少一个驾驶员监测传感器获取所述驾驶员的指示驾驶员接管车辆控制的能力的属性；
由驾驶员监测系统使用来自所述至少一个驾驶员监测传感器的传感器数据来生成驾驶员数据；以及
由评估处理器使用来自所述驾驶员监测系统的所述驾驶员数据来确定驾驶员接管车辆控制的能力。
19.根据权利要求18所述的方法，其中所述至少一个驾驶员监测传感器包括相机，所述相机被定位成使得所述驾驶员位于所述相机的视场中。
20.根据权利要求19所述的方法，其中由所述评估处理器使用来自所述驾驶员监测系统的所述驾驶员数据来确定所述驾驶员接管车辆控制的能力还包括基于认知负荷、驾驶员参与度、驾驶员困倦度、驾驶员损伤、驾驶员任务或所述驾驶员正在观看的注视方向中的一者来确定所述确定所述驾驶员接管车辆控制的能力。
CN202080044872.1A 2019-06-18 2020-06-18 用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法 Pending CN114007919A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962863128P 2019-06-18 2019-06-18
US62/863,128 2019-06-18
PCT/US2020/038364 WO2020257406A1 (en) 2019-06-18 2020-06-18 System and method for determinig driver readiness for takeover vehicle control

Publications (1)

Publication Number Publication Date
CN114007919A true CN114007919A (zh) 2022-02-01

Family

ID=71527970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044872.1A Pending CN114007919A (zh) 2019-06-18 2020-06-18 用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法

Country Status (3)

Country Link
US (1) US20220258771A1 (zh)
CN (1) CN114007919A (zh)
WO (1) WO2020257406A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020209099A1 (de) * 2020-07-21 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überführung eines Kraftfahrzeugs von einem autonomen in einen manuellen Fahrmodus unter Berücksichtigung eines kognitiven Modells des Fahrers
JP7280901B2 (ja) * 2021-01-27 2023-05-24 本田技研工業株式会社 車両制御装置
US11760318B2 (en) * 2021-03-11 2023-09-19 GM Global Technology Operations LLC Predictive driver alertness assessment
GB2616893A (en) * 2022-03-24 2023-09-27 Jaguar Land Rover Ltd Control system and method for interfacing with an automatable function of a vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104276180A (zh) * 2013-07-09 2015-01-14 福特全球技术公司 具有监测驾驶员是否存在及其生理指标功能的自动驾驶车辆
US20150070160A1 (en) * 2013-09-12 2015-03-12 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
US20150094899A1 (en) * 2013-10-01 2015-04-02 Volkswagen Ag Method for Driver Assistance System of a Vehicle
CN107472252A (zh) * 2016-06-07 2017-12-15 福特全球技术公司 自主切换期间的驾驶员胜任能力
US20180088574A1 (en) * 2016-09-29 2018-03-29 Magna Electronics Inc. Handover procedure for driver of autonomous vehicle
CN107953891A (zh) * 2016-10-17 2018-04-24 操纵技术Ip控股公司 用于自动驾驶切换控制的传感器融合
US20180290660A1 (en) * 2017-04-07 2018-10-11 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
CN109002817A (zh) * 2018-08-31 2018-12-14 武汉理工大学 基于自动驾驶车辆驾驶疲劳时变规律的接管绩效监测预警系统
CN109591823A (zh) * 2017-09-29 2019-04-09 操纵技术Ip控股公司 汽车驾驶员健康监测与响应系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823657B1 (en) * 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104276180A (zh) * 2013-07-09 2015-01-14 福特全球技术公司 具有监测驾驶员是否存在及其生理指标功能的自动驾驶车辆
US20150070160A1 (en) * 2013-09-12 2015-03-12 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
US20150094899A1 (en) * 2013-10-01 2015-04-02 Volkswagen Ag Method for Driver Assistance System of a Vehicle
CN107472252A (zh) * 2016-06-07 2017-12-15 福特全球技术公司 自主切换期间的驾驶员胜任能力
US20180088574A1 (en) * 2016-09-29 2018-03-29 Magna Electronics Inc. Handover procedure for driver of autonomous vehicle
CN107953891A (zh) * 2016-10-17 2018-04-24 操纵技术Ip控股公司 用于自动驾驶切换控制的传感器融合
US20180290660A1 (en) * 2017-04-07 2018-10-11 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
CN109591823A (zh) * 2017-09-29 2019-04-09 操纵技术Ip控股公司 汽车驾驶员健康监测与响应系统
CN109002817A (zh) * 2018-08-31 2018-12-14 武汉理工大学 基于自动驾驶车辆驾驶疲劳时变规律的接管绩效监测预警系统

Also Published As

Publication number Publication date
US20220258771A1 (en) 2022-08-18
WO2020257406A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
CN114007919A (zh) 用于确定驾驶员对接管车辆控制是否准备就绪的系统和方法
US20230219580A1 (en) Driver and vehicle monitoring feedback system for an autonomous vehicle
WO2020010822A1 (en) Adaptive driver monitoring for advanced driver-assistance systems
US9956963B2 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US10150478B2 (en) System and method for providing a notification of an automated restart of vehicle movement
US8823530B2 (en) System and method for auto-correcting an autonomous driving system
KR20210088565A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN112041910A (zh) 信息处理装置、移动设备、方法和程序
WO2015122158A1 (ja) 運転支援装置
WO2016047063A1 (ja) 車載システム、車両制御装置、および車両制御装置用のプログラム製品
JP4973551B2 (ja) 運転者状態判定装置
US20130093603A1 (en) Vehicle system and method for assessing and communicating a condition of a driver
US20130131905A1 (en) System and method for closed-loop driver attention management
KR20160118142A (ko) 차량 제어 장치
US10427693B2 (en) Vehicle-surrounding monitoring device and non-transitory computer readable storage medium
US11447140B2 (en) Cognitive tunneling mitigation device for driving
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
US20220319354A1 (en) Good driver scorecard and driver training
US11556175B2 (en) Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity
US11055997B1 (en) System and method for resolving ambiguous right of way
WO2017221603A1 (ja) 覚醒維持装置
JP4882420B2 (ja) 覚醒度推定装置及び方法
US11685384B2 (en) Driver alertness detection method, device and system
US11919532B2 (en) System matching driver intent with forward-reverse gear setting
US10969240B2 (en) Systems and methods for controlling vehicle systems using experience attributes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Michigan, USA

Applicant after: Veninger USA LLC

Address before: Michigan, USA

Applicant before: Vennell America

CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: U.S.A.

Address after: michigan

Applicant after: Magna Electronics Co.,Ltd.

Address before: michigan

Applicant before: Veninger USA LLC

Country or region before: U.S.A.