CN116135660A - 基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系统和方法 - Google Patents

基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系统和方法 Download PDF

Info

Publication number
CN116135660A
CN116135660A CN202211302950.0A CN202211302950A CN116135660A CN 116135660 A CN116135660 A CN 116135660A CN 202211302950 A CN202211302950 A CN 202211302950A CN 116135660 A CN116135660 A CN 116135660A
Authority
CN
China
Prior art keywords
operator
vehicle
autonomous vehicle
behavior
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211302950.0A
Other languages
English (en)
Inventor
刘珂
R·赫克特
Y·G·格拉泽
O·齐姆霍尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116135660A publication Critical patent/CN116135660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种管理自动驾驶车辆的操作员接管的方法。该方法包括收集关于自动驾驶车辆的外部环境的信息；分析所收集的关于自动驾驶车辆的外部环境的信息，以确定即将到来的交通模式；收集关于自动驾驶车辆的操作员的信息；分析所收集的关于自动驾驶车辆的操作员的信息，以确定操作员行为；基于所确定的即将到来的交通模式和所确定的操作员行为，来预测操作员动作；以及基于预测的操作员动作，来发起预定车辆响应。预测操作员动作包括将所确定的即将到来的交通模式与相似的历史交通模式进行比较，并检索响应于相似的历史模式的历史操作员动作。

Description

基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系 统和方法
技术领域
本公开涉及配备有高级驾驶员辅助系统的车辆，更具体地，涉及一种基于车辆操作员的监控行为管理高级驾驶员辅助系统的驾驶员接管的系统和方法。
背景技术
高级驾驶员辅助系统(Advanced Driver Assistance System，ADAS)是智能系统，这些智能系统位于车辆上，在车辆操作中辅助驾驶员(也称为车辆操作员)。ADAS用于增强或自动化选择性机动车辆系统，以便根据SAE J3016驾驶自动化水平提高车辆操作员的驾驶性能或提高自动驾驶水平。典型的ADAS包括ADAS模块，该模块与各种车辆外部传感器、车辆状态传感器以及诸如转向、加速和制动系统等选择性车辆控制系统通信。ADAS模块分析由外部传感器和车辆状态传感器收集的信息，以生成指令并将其传送给车辆控制系统，从而对车辆进行部分或完全自动控制。ADAS还可以包括驾驶员监控系统(Driver MonitoringSystem，DMS)，该DMS具有与各种车辆内部传感器通信的DMS模块，这些内部传感器被配置为监控车辆操作员的行为，例如，眼神、面部表情、身体运动和与主体相关的其他因素，以预测车辆操作员的疲劳、注意力分散和情绪状态。
在一种操作场景中，当ADAS以较低等级的自动驾驶模式运行(即SAE J3016等级0-2)并且DMS检测到车辆操作员可能疲劳或注意力分散时，DMS可发起听觉或视觉警报，以警告车辆操作员，和/或与ADAS模块通信以从车辆操作员手中接管对车辆的控制。在另一种操作场景中，当ADAS以较高等级的自动驾驶模式运行(即SAE J3016等级3-5)并且ADAS模块遇到可能需要手动控制车辆的驾驶场景时，ADAS可以指示DMS激活听觉或视觉警报，以请求车辆操作员手动控制车辆。在又一种操作场景中，当ADAS以部分至完全自动驾驶模式运行，并且车辆操作员对“ADAS能够充分应对交通状况”没有足够的信心时，车辆操作员可以自愿接管对ADAS的控制。
车辆操作员接管ADAS的控制被称为自动驾驶车辆的接管控制，或简称为接管。ADAS请求车辆操作员手动控制车辆被称为自动驾驶车辆的移交控制，或简称为移交。
因此，尽管配备有具有DMS的ADAS的车辆实现了其预期目的，但仍需要持续改进，以通过减少车辆操作员从ADAS接管控制的感知到的需求或期望以及通过减少车辆操作员从ADAS接管控制的移交请求频率，来提高车辆操作员的体验质量。
发明内容
提供了一种管理自动驾驶车辆的操作员接管的方法。该方法包括：收集关于自动驾驶车辆的外部环境的信息；分析所收集的关于自动驾驶车辆的外部环境的信息，以确定即将到来的交通模式；收集关于自动驾驶车辆的操作员的信息；分析所收集的关于自动驾驶车辆的操作员的信息，以确定操作员行为；基于所确定的即将到来的交通模式和所确定的操作员行为，来预测操作员动作；以及基于预测的操作员动作，来发起预定车辆响应。预测操作员动作包括将所确定的即将到来的交通模式与相似的历史交通模式进行比较，并检索响应于相似的历史模式的历史操作员动作。
公开了一种管理车辆操作员因感知到的需求或期望而接管控制自动驾驶车辆的意图的方法。该方法包括：由至少一个外部传感器收集关于即将到来的交通模式的信息；由至少一个内部传感器收集关于车辆操作员的行为的信息；分析响应于即将到来的交通模式的车辆操作员的行为，以确定车辆操作员何时感知需要接管控制自动驾驶车辆；以及发起自动驾驶车辆的动态变化，以消除车辆操作员接管控制自动驾驶车辆的感知需要。
提供了一种管理车辆操作员的警告优先级的方法。该方法包括：收集关于车辆周围环境的外部信息；收集关于车辆操作员的内部信息；分析外部信息，以确定即将到来的交通模式；分析内部信息，以确定响应于即将到来的交通模式的操作员行为；基于响应于所确定的即将到来的交通模式所确定的操作员行为，来预测操作员动作；以及基于预测的操作员动作，对警告进行优先级排序。
根据本文提供的描述，进一步的应用领域将变得明显。应当理解，描述和具体示例仅用于说明的目的，并不旨在限制本公开的范围。
附图说明
本文所述的附图仅用于说明目的，并非旨在以任何方式限制本公开的范围。
图1是根据示例性实施例的配备有高级驾驶员辅助系统(ADAS)的自动驾驶车辆的功能图，该自动驾驶车辆具有驾驶员监控系统(DMS)；
图2是根据示例性实施例的管理图1的自动驾驶车辆的驾驶员接管的方法的框图；
图3是根据示例性实施例的自动驾驶车辆系统的功能图；
图4是根据示例性实施例的交通模式的平面图，该交通模式可以引起车辆操作员接管控制自动驾驶车辆的感知到的需求或期望；
图5是示出根据示例性实施例的管理对接管自动驾驶车辆的控制的感知到的需求或期望的方法的流程框图；
图6示出了根据一个示例性实施例的交通模式的平面图，该交通模式可以引起ADAS向车辆操作员发出警告优先级，以接管控制自动驾驶车辆；
图7是根据示例性实施例的改变车辆操作员的警告优先级的方法700的流程框图；以及
图8是根据示例性实施例的交通模式的平面图，其中，驾驶员扫视行为可用于预测接管。
具体实施方式
以下说明本质上仅是示例性的，并非旨在限制本公开内容、应用或用途。参考附图公开了图示的实施例，其中，在几幅附图中，相同的数字表示相应的部分。附图不一定按比例绘制，一些特征可能放大或缩小，以显示特定特征的细节。所公开的具体结构和功能细节不旨在解释为限制性的，而是作为教导本领域技术人员如何实践所公开的概念的代表性基础。
如本文所用，模块或控制模块是指一个或多个处理器、相关存储器和其他部件的任何一种或各种组合，其中，其他部件可操作，以执行软件、固件、程序、指令、例程、代码和算法，以提供所述功能。处理器包括但不限于专用集成电路(Application SpecificIntegrated Circuit，ASIC)、电子电路、中央处理单元、微处理器和微控制器。相关存储器包括但不限于只读存储器(Read Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)和电可编程只读存储器(Electrically Programmable Read Only Memory，EPROM)。在本公开中阐述的控制模块的功能可以在几个联网的控制模块之间的分布式控制架构中执行。控制模块可以包括各种通信接口，包括到其他控制模块的点到点或离散线路以及有线或无线接口。
软件、固件、程序、指令、例程、代码、算法和类似术语是指包括方法、校准、数据结构和查找表的任何控制模块可执行指令集。控制模块具有被执行以提供所述功能的控制例程集合。例程例如由中央处理单元执行，并且可操作以监控来自感测装置和其他联网控制模块的输入，并且可操作以执行控制和诊断例程，以控制致动器的操作。在正在进行的车辆操作期间，可以定期执行例程。或者，可以响应于事件的发生、软件调用或者根据经由用户接口输入或请求的要求，来执行例程。
图1示出了配备有高级驾驶员辅助系统(ADAS)102的示例性车辆100的功能图，车辆100具有驾驶员监控系统(DMS)104。ADAS 102被配置为根据SAE J3016驾驶自动化水平提供从部分自动驾驶模式到完全自动驾驶模式的驾驶自动化水平。较低驾驶自动化水平可以包括一定范围的动态驾驶和车辆操作，包括与多种车辆功能(例如，转向、加速和制动)的同时自动控制相关的一些水平的自动控制或干预，其中，操作员保留对车辆的部分控制。更高驾驶自动化水平还可以包括对所有的车辆驾驶功能(包括转向、加速、制动和执行诸如自动变道等操纵)的全自动控制，其中，驾驶员在一段时间内放弃对车辆的大部分或全部控制。车辆102也被称为自动驾驶车辆102。
ADAS 102包括ADAS模块106，也称为ADAS控制模块106，该模块被配置为与车辆100的各种系统通信，例如，检测系统128、加速系统130、转向系统132、导航系统136、定位系统138、减速系统140和用于部分地或完全地控制车辆102的运动、速度、方向等所必要的其他系统。DMS 104包括DMS模块108，也称为DMS控制模块108，其被配置为与ADAS模块106通信并且从至少一个内部传感器150接收数据，该内部传感器被配置为监控车辆操作员(未示出)。这些车辆系统128、130、132、136、138、140可以具有与ADAS模块106通信的系统专用控制模块(未示出)，用于车辆102的协调控制。在替代实施例中，ADAS模块106可以用作主控制模块，用于直接控制所有系统专用控制模块或与系统专用控制模块结合工作，以控制系统128、130、132、136、138、140中的一个或多个。
检测系统128与外部传感器152通信，该外部传感器包括但不限于光学激光装置，例如，用于对主车辆102进行360°观察的光探测和测距(Light Detection and Ranging，LIDAR)装置152A、前视摄像机152B、后视摄像机152C、侧视摄像机152D和距离传感器152E，例如，雷达和声纳装置。检测系统128与内部传感器150通信，该内部传感器包括但不限于摄像机。这些内部传感器150和外部传感器152中的每一个都可以配备有局部处理部件，这些部件处理收集到的数据，并将处理后的或原始的传感器数据直接提供给检测系统128、ADAS模块106和DMS模块108中的一个或多个。
车辆102还可以包括通信系统142，该通信系统具有配置有专用短程通信协议(例如，WiFi)的电路，用于与配备有类似通信系统的其他车辆进行通信。通信系统可以被配置用于车辆对车辆通信(vehicle-to-vehicle，V2V)、车辆对基础设施(vehicle-to-infrastructure，V2I)和车辆对一切(vehicle-to-everything，V2X)通信。
ADAS 102、DMS 104、车辆系统128、130、132、136、138、140、142、内部传感器150和外部传感器152之间的通信可通过使用直接有线点对点链路、联网通信总线链路、无线链路或另一合适的通信链路170实施。通信包括以适当的形式交换数据信号，包括例如经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号等。数据信号可以包括离散的、模拟的或数字化的模拟信号，表示来自传感器的输入、致动器命令以及车辆系统和模块之间的通信。
图2示出了管理自动驾驶车辆102的驾驶员接管的方法200的功能框图。方法200通过(i)减少或消除操作员对接管动作的感知到的需求或期望，以及(ii)减少或消除为操作员发起接管动作而生成的警报、警告或通知的频率或数量，来提高自动驾驶车辆的操作员的体验质量。
自动驾驶车辆的操作员也称为车辆的操作员、车辆操作员、操作员，或简称为驾驶员。接管动作或接管被定义为车辆操作员发起接管ADAS的功能的动作，也称为自动驾驶车辆的接管。接管动作的示例包括但不限于，车辆操作员通过向转向装置输入命令、踩下加速踏板和/或踩下制动踏板，从ADAS接管车辆的操作控制。车辆操作员发起接管的意图或动机可能是由于车辆操作员对接管控制的感知到的需求或期望。
在方框202中，外部传感器152收集车辆102的外部环境的信息。在方框204中，通信系统142可以从路边单元或配备有V2V或V2X通信的其他车辆无线接收关于车辆102的外部环境的信息。从外部传感器152和无线通信收集的信息可以包括周围车辆布局、车辆动态、道路几何形状、天气、照明条件和针对ADAS模块感知和协商通过即将到来的交通模式的其他必要信息。即将到来的交通模式的示例包括但不限于自动驾驶车辆的路径中的道路的布局或几何形状、道路上行驶的车辆、道路上自动驾驶车辆将需要协商通过或绕过的物体、以及诸如天气和照明条件等环境背景。
从方框202和方框204移至方框206，分析由外部传感器152和V2X通信收集的信息，以确定即将到来的交通模式。
在方框208中，内部传感器150收集关于自动驾驶车辆102的操作员的信息。分析由内部传感器150收集的信息，以确定操作员的行为。分别在方框210、212、214和216中分析操作员的面部表情、眼神、包括姿态在内的身体姿势以及其他主体相关因素。主体相关因素包括疲劳、情境意识、信任等。
移至方框222，DMS基于所确定的操作员行为和所确定的即将到来的交通模式，预测操作员动作。DMS模块108通过从方框218检索历史数据来执行预测模型。该历史数据包括多个历史交通模式以及对应于该多个历史交通模式的多个历史操作员行为和结果动作。DMS模块108将所确定的即将到来的交通模式与相似的历史交通模式进行比较，并且检索对应于该相似的历史模式的历史操作员动作。然后，DMS模块108通过将所确定的即将到来的交通模式和观察到的操作员行为与历史交通模式和历史操作员行为进行比较，来预测操作员的接管动作的趋势和概率。
每个车辆操作员基于其特定的历史数据具有其自己的个性化预测模型。每个新确定的即将到来的交通模式和相应的确定的操作员行为可以被添加到历史数据中。返回参考方框222，基于新的和历史的交通模式以及来自框218的响应于这些新的和历史的交通模式的操作员行为，可以利用优化算法来更准确地预测操作员接管的趋势和概率。优化算法可以存储在DMS模块108中并由DMS模块108执行。
可用于预测操作员接管和改变车辆动态的示例操作员行为可以是操作员扫视行为。可以分析操作员的眼神，以确定感兴趣的区域、注视持续时间、迅速扫视幅度等。
在方框220中，在方框202和方框204中收集的外部信息被传送至ADAS模块。在方框220中，来自方框222的预测的操作员的接管/不接管的趋势和接管动作的概率也被传送到ADAS模块。ADAS模块与车辆系统模块300通信，以执行车辆动态或车辆操纵的变化，从而消除对接管动作的感知到的需求，或者抢先向操作员发出接管警报。
参考图3，从方框220开始，ADAS模块可以与用于控制EPS电机的转向控制模块302；用于控制发动机控制模块(Engine Control Module，ECM)308、扭矩控制模块(TorqueControl Module，TCM)310和功率逆变模块(Power Inverted Module TCM)312的加速控制模块306；以及用于控制制动器318的电子制动控制模块(Electronic Brake ControlModule，EBCM)316通信。在方框320中，可以基于即将到来的交通模式的严重性和观察到的操作员行为来预先确定系统激活升级的优先级。
示例1-修改车辆动态
图4示出了交通模式的平面图400，该交通模式可能引起车辆操作员接管控制自动驾驶车辆的感知到的需求。图5示出了显示通过修改自动驾驶车辆的动态来管理车辆操作员接管自动驾驶车辆的感知到的需求的方法500的框图。
参考图4，平面图400显示了通过纵向虚线406分为第一车道402和第二车道404的双车道道路401。第三车道408被显示为与第一车道402汇合。示出了自动驾驶车辆410在第三车道408与第一车道402相交之前在时间戳1(T1)在第一车道402中行驶。示出了目标车辆412在第三车道408中在时间戳1(T1)朝第一车道402行驶。
同时参考图4和图5，方法500开始于方框502，此时DMS分析外部传感器152收集的信息，并确定即将到来的交通模式为如图4所示的即将到来的交通模式，目标车辆412并入自动驾驶车辆410行驶的第一车道402。
移至方框504，DMS分析内部传感器收集的信息，并且确定响应于图4的即将到来的交通模式的车辆操作员的行为。该行为可以被解释为车辆操作员对ADAS协商这种交通模式的信心低，或者车辆操作员担心与目标车辆412的潜在碰撞。可以基于车辆操作员表现出的眼神、面部表情、身体姿势和其他相关生物因素，来确定车辆操作员的行为。
移至方框506，DMS基于关于车辆操作员在如图4所示的类似历史交通模式下的历史行为的历史数据，预测车辆操作员的潜在接管。DMS预测车辆操作员接管自动驾驶车辆的概率以避开汇合目标车辆412。DMS也可以与ADAS通信，以确定汇合目标车辆412的碰撞概率。
移至方框508，如果车辆操作员接管控制自动驾驶车辆的概率高于预定接管水平，或如果与汇合目标车辆412的碰撞概率高于预定碰撞水平，则方法500进行到方框510。术语“或”被定义为“包含或”，意思是这个或那个或两者都有。在方框510中，DMS与ADAS通信，以在方框510中修改自动驾驶车辆410的动态，当汇合目标车辆412接近晚于时间戳1(T1)的时间戳2(T2)指示的位置时，在时间戳2(T2)指示的位置处将自动驾驶车辆转向第二车道404(例如，改变车道)。
从方框510移至方框512，如果车辆操作员发起接管，这意味着从方框510改变车辆动态以减轻碰撞不是车辆操作员所希望的方式。在方框504中，数据点记录在历史数据中。如果车辆操作员不发起接管，则该方法进行到方框514并结束。
返回参考方框508，如果车辆操作员接管控制自动驾驶车辆的概率等于或低于预定接管水平，并且与汇合目标车辆412的碰撞概率等于或低于预定碰撞水平，则DMS不干预管理操作员接管自动驾驶车辆，并在方框514结束，然后该方法进行到方框514并结束。
示例2-改变警告优先级
图6示出了交通模式的平面图600，该交通模式可能引起ADAS向车辆操作员发出警告或警报，以接管控制自动驾驶车辆。图7示出了改变对车辆操作员的警告优先级的方法700的框图。
参考图6，平面图600示出了道路602，该道路具有由虚线608分隔的第一车道604和相反方向的第二车道606。第一安全岛610设置在道路602中，分隔两个相对的车道604、606，以限定第一环行路612，第二安全岛614设置在道路602的更远处，分隔两个相对的车道604、606，以限定第二环行路616。自动驾驶车辆618被示出在第一车道604中行驶，在时间戳1(T1)进入第一环行路612，并在稍后的时间戳2(T2)进入第二环行路。
参考图6和图7，方法700开始于方框702，此时DMS分析外部传感器152收集的信息，并且确定即将到来的交通模式为第一环行路，随后可能是第二环行路。
移至方框704，DMS分析(一个或多个)内部传感器收集的信息，并且确定响应于即将到来的交通模式的车辆操作员的行为。可以基于车辆操作员表现出的眼神、面部表情、身体姿势和其他相关生物因素来确定车辆操作员的行为。
移至方框706，DMS搜索历史数据库，以确定车辆操作员是否经历了如图6所示的类似交通模式。如果历史数据没有显示车辆操作员经历了如图6所示的类似交通模式，则方法700移至方框714并结束。如果历史数据确实显示车辆操作员经历了如图6所示的类似交通模式，则方法700继续至方框708。
移至方框708，DMS分析内部传感器150收集的信息，以确定车辆操作员即将接管自动驾驶车辆的概率。如果所确定的概率等于或低于预定水平，则该方法移至方框714并结束。
返回参考方框708，如果确定的概率高于预定水平，则DMS与ADAS通信，以取消未决移交升级，例如，通过不发出驾驶员警报。移至方框712，如果车辆操作员不接管自动驾驶车辆，该方法移回至方框704并继续。移交失败也意味着预测不准确。然后在方框704中，数据点记录在历史数据中，用于将来的对准。返回参考712，如果车辆操作员确实接管了自动驾驶车辆，则该方法移至方框714并结束。
示例3-使用扫视行为预测接管
图8示出了交通模式的平面图800，其中，车辆操作员的扫视行为可用于预测接管动作，并改变车辆行为，以在该接管动作前抢先进行。平面图800示出了由纵向虚线806分成第一车道802和第二车道804的双车道道路801。自动驾驶车辆810被示出在第一车道802中行驶，第一目标车辆812被示出在自动驾驶车辆810前方的第一车道802中，第二目标车辆814被示出在邻近自动驾驶车辆810的第二车道804中。
自动驾驶车辆810被示出以纵向接近速度(VLo)和纵向接近距离(DLo)接近第一目标车辆812。当VLo超过预定的纵向接近速度和/或DLo小于预定的纵向接近距离，并且车辆操作员的眼神停留在预定的目标上超过预定的时间限制时，则ADAS可以调整自动驾驶车辆810的速度，以增加自动驾驶车辆810和第一目标车辆812之间的相对接近距离，以在驾驶员的接管动作前抢先操作。例如，预定的纵向接近速度可以是5英里/小时或更快，预定的纵向接近距离可以是29米或更短，预定的扫视时间限制可以是2秒或更长，并且预定的扫视目标可以是第一目标车辆812。或者，预定的操作员扫视模式可用于预测驾驶员接管。
第二目标车辆814被示出以横向接近速度(VLa)和横向接近距离(DLa)接近自动驾驶车辆810。当VLa超过预定的横向接近速度和/或DLa小于预定的横向接近距离，并且车辆操作员的眼神停留在预定的目标上超过预定的时间限制时，则ADAS可以增加横向接近距离或增加车辆之间的横向重叠，以在驾驶员的接管动作前抢先操作。例如，预定的横向接近速度可以是1英里/小时或更快，预定的横向接近距离可以是0.7米或更短，预定的扫视时间限制可以是1秒或更长，并且预定的扫视目标可以是第二目标车辆814。或者，预定的操作员扫视模式可用于预测驾驶员接管。
上述公开的系统和方法通过减少车辆操作员从ADAS接管控制的感知到的需求或期望以及通过减少车辆操作员从自动驾驶车辆接管控制的移交请求频率，提高了车辆操作员的体验质量。
本公开的描述本质上仅是示例性的，不偏离本公开的一般意义的变化在本公开的范围内。这种变化不应被视为背离了本公开的精神和范围。

Claims (10)

1.一种管理自动驾驶车辆的操作员接管的方法，包括：
由至少一个外部传感器收集关于所述自动驾驶车辆的外部环境的信息；
分析所收集的关于所述自动驾驶车辆的所述外部环境的信息，以确定即将到来的交通模式；
由至少一个内部传感器收集关于所述自动驾驶车辆的操作员的信息；
分析所收集的关于所述自动驾驶车辆的所述操作员的信息，以确定响应于所述即将到来的交通模式的操作员行为；
基于响应于所述即将到来的交通模式所确定的操作员行为，来预测操作员动作；以及
基于所述预测的操作员动作，来发起预定车辆响应。
2.根据权利要求1所述的方法，其中，预测所述操作员动作包括：搜索包含多个历史交通模式和响应于所述多个历史交通模式的多个历史操作员行为和结果动作的数据库。
3.根据权利要求2所述的方法，其中，预测所述操作员动作还包括：将响应于所述即将到来的交通模式的所述所确定的操作员行为与相似的历史交通模式以及响应于所述相似的历史交通模式的历史操作员行为和结果动作进行比较。
4.根据权利要求1所述的方法，其中，所述预定车辆响应包括车辆操纵，所述车辆操纵消除了对所述预测的操作员动作的感知到的需求。
5.根据权利要求1所述的方法，其中，所述预定车辆响应包括消除移交警报。
6.根据权利要求1所述的方法，其中，分析所收集的关于所述自动驾驶车辆的所述操作员的信息以确定响应于所述即将到来的交通模式的操作员行为，包括分析所述操作员的眼神、面部表情、身体运动和姿势中的至少一个。
7.根据权利要求1所述的方法，其中，所述操作员动作是接管动作。
8.根据权利要求1所述的方法，其中，同时收集和分析关于所述自动驾驶车辆的外部环境的信息和关于所述自动驾驶车辆的所述操作员的信息。
9.根据权利要求1所述的方法，其中，收集关于所述自动驾驶车辆的外部环境的信息包括通过车辆对一切(V2X)通信无线接收外部信息。
10.根据权利要求1所述的方法，其中，所述预定车辆响应包括以下之一：(i)发起车辆操纵以消除接管动作，以及(ii)消除对所述操作员的移交警报。
CN202211302950.0A 2021-11-18 2022-10-24 基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系统和方法 Pending CN116135660A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/530,006 US20230150552A1 (en) 2021-11-18 2021-11-18 System and method of managing a driver take-over from an autonomous vehicle based on monitored driver behavior
US17/530,006 2021-11-18

Publications (1)

Publication Number Publication Date
CN116135660A true CN116135660A (zh) 2023-05-19

Family

ID=86227670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211302950.0A Pending CN116135660A (zh) 2021-11-18 2022-10-24 基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系统和方法

Country Status (3)

Country Link
US (1) US20230150552A1 (zh)
CN (1) CN116135660A (zh)
DE (1) DE102022123930A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114026008B (zh) * 2019-07-05 2023-09-01 本田技研工业株式会社 车辆的控制系统、车辆的控制方法以及存储介质
KR20230093834A (ko) * 2021-12-20 2023-06-27 현대자동차주식회사 자율 주행 차량, 그와 정보를 공유하는 관제 시스템 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659034B1 (ko) * 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
US11084487B1 (en) * 2018-01-09 2021-08-10 State Farm Mutual Automobile Insurance Company Vehicle collision alert system and method for facilitating vehicle collision avoidance
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
KR20210120393A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 자율주행차량의 제어권 전환 장치 및 그 방법

Also Published As

Publication number Publication date
DE102022123930A1 (de) 2023-05-25
US20230150552A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
US10503165B2 (en) Input from a plurality of teleoperators for decision making regarding a predetermined driving situation
CN109421739B (zh) 用于监控自主车辆的方法和设备
CN106994968B (zh) 自动车辆控制系统和方法
JP6900915B2 (ja) 自動運転システム
US11345359B2 (en) Autonomous driving vehicles with dual autonomous driving systems for safety
EP2915718B1 (en) Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
US20190064823A1 (en) Method and apparatus for monitoring of an autonomous vehicle
US11325617B2 (en) Automatic driving system
WO2018208591A1 (en) Method and system for vehicular communication and safety monitoring of driving environment to provide early warnings in real-time
US10521974B2 (en) Method and apparatus for monitoring an autonomous vehicle
CN116135660A (zh) 基于监控的驾驶员行为管理自动驾驶车辆的驾驶员接管的系统和方法
US20200282984A1 (en) Vehicle driving control system
JP2019152896A (ja) 走行制御装置、走行制御方法およびプログラム
JP2017151041A (ja) 走行支援装置及びセンタ
US20190066406A1 (en) Method and apparatus for monitoring a vehicle
KR20150066303A (ko) 운전자의 주행 패턴을 반영하는 자율 주행 장치 및 그 방법
JP2020128167A (ja) 車両制御装置
CN112180911A (zh) 用于监控自动驾驶车辆的控制系统的方法
EP3543086A1 (en) Method for predicting a change in the direction of travel of a vehicle
JP7379033B2 (ja) 運転支援方法及び運転支援装置
JP2021006448A (ja) 単一車両走行用に設計された自動運転システムでの車両隊列実施
KR102060303B1 (ko) 자율 주행 제어 장치 및 방법
JP7226238B2 (ja) 車両制御システム
CN112896117B (zh) 用于控制车辆的自主制动系统的方法和子系统
WO2021229671A1 (ja) 走行支援装置および走行支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination