CN115700203A - 用于设备的自动控制期间非监控时间段分配的用户界面 - Google Patents

用于设备的自动控制期间非监控时间段分配的用户界面 Download PDF

Info

Publication number
CN115700203A
CN115700203A CN202210527773.XA CN202210527773A CN115700203A CN 115700203 A CN115700203 A CN 115700203A CN 202210527773 A CN202210527773 A CN 202210527773A CN 115700203 A CN115700203 A CN 115700203A
Authority
CN
China
Prior art keywords
user
ndrt
monitoring
time
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210527773.XA
Other languages
English (en)
Inventor
Y.S.弗里德兰
O.齐姆霍尼
A.德加尼
R.巴斯廷
C.高德曼-申哈尔
Z.布纳亚
G.卡米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115700203A publication Critical patent/CN115700203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00136—Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0016—State machine analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于用户与自动化设备交互的系统包括控制系统，该控制系统配置成在对应于第一状态的操作模式期间操作该设备，在第一状态中，控制系统自动控制该设备操作，并且操作模式规定用户在自动控制期间监控该设备操作。控制系统配置为分配一时间段，用于该设备转换到临时状态，在该临时状态中，自动控制被维持，并且用户被允许停止监控并执行与设备操作无关的任务。该系统包括用户交互系统，该用户交互系统包括配置成呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息的视觉显示器，该用户交互系统包括用户可参与的界面，以管理所分配的时间段的调度。

Description

用于设备的自动控制期间非监控时间段分配的用户界面
技术领域
本公开涉及自动驾驶或自动设备操作领域。更具体地，本公开涉及用于与用户或驾驶员通信和交互的系统和方法，用于在自动化设备或车辆操作期间分配非监控时间段。
背景技术
车辆越来越多地配备了提供不同程度自动化的自动驾驶系统。在某些条件下，车辆可以具有全自动控制、半自动控制和特定车辆功能(例如制动或转向)的自动控制的特征。车辆中的自动化可以根据自动化水平进行分类。例如，0级自动化是指全手动操作(无驾驶自动化)，1级自动化包括驾驶员辅助。二级自动化允许车辆控制转向和加速，由驾驶员监控并随时准备控制。在3级自动化(条件自动化)中，车辆可以监控环境并自动控制运行。3级中的驾驶员不需要监控环境，但必须准备好注意控制。
2级自动化系统通常要求驾驶员注意力集中(眼睛看着路面)，并准备好在车辆执行自动化操作的任何时刻进行手动控制。通常，允许驾驶员的眼睛离开道路一小段时间(例如3-5秒，取决于速度和其他因素)。这种有限的时间段使得驾驶员无法执行许多非驾驶相关任务，并且没有考虑到驾驶环境。因此，希望有一种为用户执行各种非驾驶相关任务提供灵活性的系统。
发明内容
在一示例性实施例中，一种用于用户与自动化设备交互的系统包括控制系统，该控制系统配置成在操作模式期间操作该设备，操作模式对应于第一状态，在该第一状态中，控制系统自动控制设备操作，并且操作模式规定用户在自动控制期间监控设备操作。控制系统配置为分配一时间段，用于该设备转换到临时状态，在该临时状态中，自动控制被维持，并且用户被允许停止监控并且执行与该设备操作无关的任务。该系统还包括用户交互系统，该用户交互系统包括配置成向用户呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息的视觉显示器，该用户交互系统包括用户可参与的界面，以管理一个或多个分配的时间段的调度。
除了这里描述的一个或多个特征之外，控制系统配置为响应于请求分配时间段，该时间段包括非监控时间段，该非监控时间段具有基于完成任务的时间量的持续时间，并且在分配的时间段开始时将设备置于临时状态。
除了这里描述的一个或多个特征之外，设备是车辆，任务是非驾驶相关任务(NDRT)。
除了这里描述的一个或多个特征之外，该指示包括与轨迹相交的可允许区域的表示，该可允许区域有助于将设备置于临时状态。
除了这里描述的一个或多个特征之外，视觉显示器包括第一指示器，其配置成通知用户设备是否在可允许区域内，并且用户交互系统包括自适应定时器，其配置成通知用户该用户执行任务的剩余时间量。
除了这里描述的一个或多个特征之外，视觉显示器包括第二指示器，其配置成在用户的视线指向视觉显示器时淡入，并且在用户的视线远离视觉显示器时淡出。
除了这里描述的一个或多个特征之外，视觉显示器包括方向指示器，其配置成指示设备周围环境中检测到的物体或条件的方向。
除了这里描述的一个或多个特征之外，用户交互系统包括移动设备应用，该移动设备应用配置成呈现与第一指示器相协调的第二指示器。
除了这里描述的一个或多个特征之外，用户交互系统配置成当设备能够进入临时状态时向用户呈现警报，该警报包括视觉警报、听觉警报和触觉警报中的至少一个。
除了这里描述的一个或多个特征之外，用户交互系统配置为基于检测到保证从第一状态转换到手动状态的紧急状况来阻止时间段的分配。
在一示例性实施例中，一种控制自主设备的方法包括在操作模式期间操作该设备，操作模式对应于第一状态，在该第一状态中，控制系统自动控制设备操作，操作模式规定用户在自动控制期间监控设备操作。该方法还包括经由用户交互系统接收用户临时停止监控以执行与设备操作无关的任务的请求，并且为设备分配时间段以转换到临时状态，在该临时状态中，自动控制被维持并且允许用户停止监控并执行与设备操作无关的任务，并且经由用户交互系统的视觉显示器向用户呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息，用户交互系统包括用户可参与的界面，以管理一个或多个分配的时间段的调度。
除了这里描述的一个或多个特征之外，所分配的时间段包括非监控时间段，该非监控时间段具有基于完成任务的时间量的持续时间，该方法包括在所分配的时间段开始时将设备置于临时状态。
除了这里描述的一个或多个特征之外，该指示包括与轨迹相交的可允许区域的表示，该可允许区域有助于将设备置于临时状态。
除了这里描述的一个或多个特征之外，视觉显示器包括第一指示器，其配置成通知用户该设备是否在可允许区域内，并且用户交互系统包括自适应定时器，其配置成通知用户该用户执行任务的剩余时间量。
除了这里描述的一个或多个特征之外，视觉显示器包括第二指示器，其配置成在用户的视线指向视觉显示器时淡入，并且在用户的视线远离视觉显示器时淡出。
除了这里描述的一个或多个特征之外，视觉显示器包括方向指示器，其配置成指示设备周围环境中检测到的物体或条件的方向。
在一示例性实施例中，车辆系统包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理装置，计算机可读指令控制处理装置执行：在操作模式期间操作车辆，操作模式对应于控制系统自动控制车辆操作的第一状态，操作模式规定用户在自动控制期间监控车辆操作，通过用户交互系统接收用户暂时停止监控以便执行与车辆操作无关的任务的请求，分配车辆转换到临时状态的时间段，在该临时状态中，自动控制被维持并且允许用户停止监控并执行与车辆操作无关的任务，以及经由用户交互系统的视觉显示器向用户呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息，用户交互系统包括用户可参与的界面，以管理一个或多个分配的时间段的调度。
除了这里描述的一个或多个特征之外，该指示包括与轨迹相交的可允许区域的表示，该可允许区域有助于将车辆置于临时状态。
除了这里描述的一个或多个特征之外，视觉显示器包括第一指示器，其配置成通知用户车辆是否在可允许区域内，并且用户交互系统包括自适应定时器，其配置成通知用户执行任务的剩余时间量。
除了这里描述的一个或多个特征之外，视觉显示器包括方向指示器，其配置为指示车辆周围环境中检测到的物体或条件的方向。
当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：
图1是根据示例性实施例的机动车辆的俯视图，包括调度和分配系统的各方面；
图2描绘了根据示例性实施例的计算机系统；
图3是根据示例性实施例的控制系统的实施例的示意图，该控制系统配置成执行车辆操作的各方面并为非驾驶相关任务(或与自动化设备操作无关的任务)分配时间段，每个分配的时间段包括一个或多个非监控时间段；
图4示出了根据示例性实施例的在车辆自动运行期间分配给非监控的时间段的实施例；
图5是描绘根据示例性实施例的为自动化车辆和/或其他自动化设备调度和分配包括非监控时间段的时间段的方法的各方面的流程图；
图6示出了根据示例性实施例的控制系统的有限状态机(FSM),该FSM配置成分配预定义的时间段；
图7描绘了由图6的控制系统分配的时间段的示例；
图8示出了根据示例性实施例的控制系统的FSM，该FSM配置成分配多个时间段和/或延长预定义的时间段；
图9示出了根据示例性实施例的控制系统的FSM，该FSM配置成在非监控时间段之间和/或在分配的时间段之后分配一个或多个时间段和相对较短的监控时间段；
图10描绘了包括分配的非监控时间段的时间段的示例，该非监控时间段由图9的控制系统分配；
图11示出了根据示例性实施例的控制系统的FSM，该FSM配置成识别非驾驶相关任务的性能，并基于环境条件(例如车辆、道路和交通条件)和用户状态确定是否为非驾驶相关任务分配时间段；
图12示出了根据示例性实施例的用于调度关联于与驾驶或自动化设备操作无关的多个任务的多个时间段的动态优先级队列的实施例；
图13示出了根据示例性实施例的控制系统的FSM，该FSM配置成对各种任务分配时间段并对其进行优先级排序；
图14是描绘根据示例性实施例的图3的控制系统和用户交互系统之间的交互的框图；
图15描绘了根据示例性实施例的用户交互系统的显示器，包括配置为呈现车辆轨迹和车辆周围环境特征的道路图形；
图16描绘了根据示例性实施例的当车辆已经到达有助于分配包括非监控时间段的时间段的区域时图15的显示器；
图17描绘了根据示例性实施例的图15的显示器，包括配置为通知用户关于用户是否能够执行非驾驶相关任务的指示器；
图18描绘了根据示例性实施例的图15的显示器，包括配置为指示检测到的物体或条件的方向的方向指示器；
图19描绘了根据示例性实施例的在非监控时间段期间的图15的显示器；
图20描绘了根据示例性实施例的在非监控时间段期间的图15的显示器；
图21描绘了根据示例性实施例的图15的显示器，包括警告用户紧急状况的指示器；
图22描绘了根据示例性实施例的与图15的指示器协调的车辆驾驶舱指示器的示例；以及
图23描绘了根据示例性实施例的包括呈现对应于图15的指示器的移动设备指示器的应用的移动设备。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
根据一个或多个示例性实施例，提供了用于为自动化车辆、系统或设备调度和分配非监控时间段的方法和系统。一些车辆可以具有自主能力(5级),并且可以根据环境条件、传感器能力以及驾驶员的条件和意图将自己降级到较低的自动化水平(4级、3级、2级和/或1级)。在一实施例中，当车辆处于允许自动控制车辆的自动化水平时，系统和方法执行车辆的调度和分配，同时用户或驾驶员主动监控车辆。这种自动化水平的示例是由汽车工程师协会(SAE)定义的2级自动化。
一种调度和分配系统配置成调度和分配非监控时间段，该非监控时间段允许用户暂时将注意力从自动化设备操作转移，并且停止主动监控以便执行与自动化操作无关的任务。非监控时间段可以是预先选择的时间段，如果条件允许，该时间段可以延长。可以在非监控时间段之间提供短监控时间段(范围界定(periscoping))。自动化设备可以是交通工具或任何其他合适的设备或系统，例如飞机、由人监控的发电厂、生产或制造系统或设备、医疗过程中使用的设备等。在车辆情况下，不相关任务被称为非驾驶相关任务(NDRT)。在下文中，不相关任务被描述为NDRT；然而，应当理解，这里描述的实施例适用于在任何合适的自动化设备(例如2级和/或3级交通工具)的操作期间执行的任何类型的不相关任务。
系统响应于对非监控时间段的请求(例如来自用户或由车辆处理单元产生的请求(“NDRT请求”)分配包括非监控时间段的时间段，并且还可以包括用于在车辆状态之间转换和对环境条件或事件做出反应的配给(分配)。非监控时间段基于执行NDRT(例如阅读电子邮件、应答呼叫等)的估计时间量。
系统可以在“固定”方案下分配时间段，其中为NDRT提供限定的时间量，或者在“滚动”方案下分配时间段，其中分配的时间段可以基于当前条件进一步延长。分配的时间段可以包括在非监控时间段之间或者在给定的非监控时间段内的相对较短的监控时间段。包含这种短的监控时间段被称为“范围界定”。在一实施例中，“短”监控时间段是足以允许用户将注意力集中到道路上并观察道路上的物体的持续时间(例如3秒)。
在一实施例中，该系统配置成协调多个离散NDRT的多个分配的时间段的调度。例如，该系统包括动态优先级队列或其他机制，以基于诸如紧急性、重要性和生理(舒适)需求等因素来调度NDRT。
在一实施例中，系统基于用户准备程度和环境背景来确定要分配的时间量。“环境背景”包括能够影响驾驶或操作行为的环境条件和特征的任何组合。环境背景可包括车辆或其他自动化系统周围的环境特征，其可包括物理环境及其特征和条件(例如其他车辆、行人、道路类型、十字路口、交通控制设备、道路条件、一天中的时间、天气等)，以及车辆动态(例如静止、给定速度、制动、加速、转弯等)。用户准备状态是指指示用户是否准备好执行与控制车辆自动化系统相关的任务的用户状态(例如注意力分散、紧张、眼睛离开道路、转换到手动控制等)。
时间段的分配可以响应于用户请求或者在驾驶或操作之前或期间调度的预选请求而发生。分配可以响应于所选择的标准(例如基于向用户呈现的建议以及用户接受该建议)而自动发生。例如，可以监控或跟踪用户，以确定控制车辆或承担监控的准备程度，和/或识别表示希望执行NDRT的状况(例如用户看起来疲劳或饥饿，用户看移动设备或来自车辆信息娱乐系统的消息)。例如，分配过程可以基于车辆驾驶员监控系统(DMS)或其他合适的跟踪系统的眼睛视线跟踪来激活。
在一实施例中，车辆和/或调度和分配系统包括用户交互系统，其支持车辆状态之间的转换(例如NDRT状态，在该状态期间可以执行NDRT，以及监控状态，在该状态期间用户主动监控自动操作)。用户交互系统还允许用户管理调度和分配方面，例如输入NDRT请求，选择NDRT请求(例如从动态队列中)，指示NDRT的完成和/或忽略或否决NDRT请求。
用户交互系统包括向用户显示或呈现相关信息的可视显示器，例如NDRT状态的指示、即将到来或当前分配的时间段的指示和/或可用于分配的时间段和区域的指示(可允许时间和/或可允许区域)。视觉显示器还可以呈现环境信息(例如诸如其他车辆和道路用户的检测到的物体的位置)和驾驶相关信息(例如即将到来的操纵的通知)。在一实施例中，即将到来的时间段由语音对话来处理，并且当前时间段被可视地呈现。
用户交互系统可以直观和微妙的方式向用户显示信息，避免过度分散用户的注意力，同时向用户提供关于即将到来的转换和可允许区域的提示。例如，用户交互系统通过指示车辆状态并告知用户关于用户是否可以执行NDRT的彩色编码指示器来支持转换。指示器可以基于用户视线的方向逐渐出现(淡入)和消失(淡出)。用户交互系统可以提供通知用户关于时间分配和车辆状态的模态(例如视觉、听觉和/或触觉)的组合，并且还可以通知用户关于检测到的物体的方向。
尽管以下描述是在车辆的背景下进行的，但这里描述的实施例不限于此，并且可以结合具有自动化行为的各种设备和系统(自动化系统)中的任何一个或者涉及人工监控的任何系统或过程(其中人工可以干预)来实现。这种设备或系统的示例包括飞机、工厂或制造机械、机器人、建筑车辆、智能家居设备、物联网设备等。
这里描述的实施例呈现了许多优点。例如，当前的自动化车辆具有2级或3级自动化，如果驾驶员疏忽(停止监控)超过几秒钟，这需要将控制转移回手动的机制。例如，许多自动车辆受到自动车辆行业使用的非正式的经验法则持续时间的限制，例如当驾驶员操作收音机或其他信息娱乐设备时，允许“3秒钟”的视线离开道路。然而，在没有不利影响的情况下可以分配的视线离开时间的量可以基于许多因素而变化，例如驾驶员状态、车辆状态、道路和其他道路用户状态以及环境状态。例如，存在需要不超过1秒或甚至不需要视线离开时间的驾驶情况(例如在并道或出口操纵期间)，但也存在这样的情况(例如笔直的公路、很少的其他道路用户、晴朗的天气等)：其中有可能扩展自动控制能力以促进自动行为，从而将视线离开道路的持续时间延长到3秒以上。这里描述的实施例通过提供时间段的分配来改善当前的自动车辆能力，该时间段可以针对特定用户和情况进行定制，以解决用户的非驾驶需求，同时保持安全性。此外，实施例提供了便于分配和调度的特征和能力，例如通过吸引用户并帮助减少用户在NDRT状态和监控状态之间转换所花费的时间。
图1示出了机动车辆10的实施例，该机动车辆10包括车身12，该车身12至少部分地限定乘员舱14。车身12还支撑各种车辆子系统，包括动力系统16(例如燃烧、电气等)和其他子系统，以支撑发动机系统16和其他车辆部件的功能，例如制动子系统、转向子系统等。
该车辆还包括监控、检测和自动控制系统18，该系统的各方面可以结合到车辆10中或与之连接。该实施例中的控制系统18包括一个或多个光学相机20，其配置成拍摄图像，图像可以是静止图像和/或视频图像。控制系统18中可以包括附加设备或传感器，例如车辆10中包括的一个或多个雷达组件22。控制系统18不限于此，并且可以包括其他类型的传感器，例如红外线传感器。
车辆10和控制系统18包括或连接到车载计算机系统30，其包括一个或多个处理装置32和用户界面34。用户界面34可以包括触摸屏、语音识别系统和/或各种按钮，用于允许用户与车辆的特征进行交互。用户界面34可以配置成经由视觉通信(例如文本和/或图形显示)、触觉通信或警报(例如振动)和/或听觉通信与用户交互。车载计算机系统30还可以包括用于监控用户的设备，例如内部相机和图像分析部件，或者与它们通信。这种设备可以并入驾驶员监控系统(DMS)中。
除了用户界面34，车辆10可以包括其他类型的显示器和/或能够与用户交互和/或向用户传递信息的其他设备。例如，另外或可替代地，车辆10可以包括结合到后视镜36和/或一个或多个侧镜38中的显示屏(例如全显示镜或FDM)。在一实施例中，车辆10包括一个或多个平视显示器(HUD)。可以并入的其他设备包括指示灯、触觉设备、内部灯、听觉通信设备等。触觉设备(触觉界面)包括例如车辆方向盘和/或座椅中的振动设备。各种显示器、触觉设备、灯和听觉设备配置成以各种组合使用来向用户(例如驾驶员、操作员或乘客)呈现解释。
在一实施例中，车辆10包括调度和分配系统，该系统可以并入车载计算机系统30或与计算机系统30通信。另外或可替代地，调度和分配系统可以结合到远程处理设备中，例如服务器、个人计算机、移动设备或任何其他合适的处理器。
图2示出了计算机系统40的实施例的各个方面，计算机系统40与控制系统18和/或解释系统通信或者是其一部分，并且可以执行本文描述的实施例的各个方面。计算机系统40包括至少一个处理装置42，其通常包括一个或多个处理器，用于执行这里描述的图像采集和分析方法的各方面。处理装置42可以集成到车辆10中，例如作为车载处理装置32，或者可以是与车辆10分离的处理装置，例如服务器、个人计算机或移动装置(例如智能手机或平板电脑)。
计算机系统40的部件包括处理装置42(例如一个或多个处理器或处理单元)、系统存储器44以及将包括系统存储器44在内的各种系统部件耦合到处理装置42的总线46。系统存储器44可以包括各种计算机系统可读介质。这种介质可以是可由处理装置42访问的任何可用介质，包括易失性和非易失性介质，以及可移动和不可移动介质。
例如，系统存储器44包括诸如硬盘驱动器的非易失性存储器48，并且还可以包括诸如随机存取存储器(RAM)和/或高速缓冲存储器的易失性存储器50。计算机系统40还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。
系统存储器44可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，其配置成执行这里描述的实施例的功能。例如，系统存储器44存储通常执行这里描述的实施例的功能和/或方法的各种程序模块。可以包括一个或多个模块52，以执行与确定用户状态、车辆状态和环境条件相关的功能。可以包括调度和分配模块54，用于接收数据(例如状态信息和NDRT请求)。可以包括接口模块56，用于与用户交互，以便于这里描述的各种方法。系统40不限于此，因为可以包括其他模块。系统存储器44还可以存储各种数据结构，例如数据文件或存储与成像和图像处理相关的数据的其他结构。如这里所用，术语“模块”指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或群组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
处理装置42还可以与一个或多个外部设备58通信，例如键盘、定点设备和/或任何设备(例如网卡、调制解调器等)，这些设备使处理装置42能够与一个或多个其他计算设备通信。此外，处理装置42可以与一个或多个装置通信，比如相机20和雷达组件22。处理装置42可与一个或多个显示装置60(例如车载触摸屏、仪表盘、中央仪表盘、HUD、镜面显示器(FDM)等)和车辆控制装置或系统62(例如用于部分自动化(例如驾驶员辅助)和/或全自动化车辆控制)通信。与各种设备的通信可以通过输入/输出(I/O)接口64和65进行。
处理装置42还可以经由网络适配器68与一个或多个网络66通信，例如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如互联网)。应当理解，尽管未示出，但其他硬件和/或软件部件可以与计算机系统40结合使用。示例包括但不限于：微码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID系统和数据归档存储系统等。
图3描绘了用于为非驾驶相关任务(NDRT)分配时间段的系统80的实施例。NDRT是导致用户对车辆操作不注意的任何任务或行为。这种任务的示例包括阅读(例如电子邮件或文本消息)、吃东西、喝水、通过电话或视频通信、检索物品或者用户的注意力集中在除了驾驶或操作车辆(或其他自动化设备)之外的任何其他任务。尽管结合车辆讨论了实施例，但它们可以应用于包括手动控制和自动操作的某种组合的任何设备或系统。这种设备的示例包括制造机械、机器人、建筑设备等。因此，NDRT将被理解为将用户注意力从任何设备上移开的任务，并且不限于驾驶自动车辆的环境。
系统80包括调度和分配模块82，该模块基于非监控时间段的请求(NDRT请求)、驾驶员状态信息、车辆和环境状态信息接收时间估计(例如t估计非监控,t规避动作和t监控->驾驶，如下文定义)，并估计和分配适应用户NDRT的时间段。系统80包括与调度和分配模块82交互和/或提供NDRT请求的各种部件或模块。例如，驾驶员状态估计模块84确定驾驶员状态(例如专注、分散、眼睛看着道路、眼睛离开道路等)，并且环境和车辆状态估计模块86确定车辆的状态(例如操作模式、动态)和车辆周围环境的状态或状况。可以估计驾驶员状态，以确定驾驶员从监控转换到手动驾驶所需的估计时间(以确保驾驶员有足够的时间返回到监控并在需要时驾驶)，以及系统建议NDRT的时间段所需的时间。
环境和车辆状态估计模块86可以用于确定环境和车辆状况是否存在，从而可以分配NDRT的时间段。环境条件的示例包括道路类型(例如高速公路、本地)、与其他车辆的接近度、环境中的物体、会排除或限制NDRT可用性的是否有车辆正在接近的事件或者会影响用户疏忽时间可用性的环境特征的任何组合。
驾驶员状态估计模块84可用于检测驾驶员是否执行指示非驾驶任务或行为的动作(例如低头看移动设备，或在前排乘客座位上看报纸)。在一实施例中，驾驶员状态估计模块84基于用户条件(例如眼睛离开道路、驾驶员拿起或看着移动设备、驾驶员显得焦虑或饥饿等)来确定NDRT是否适合让驾驶员受益。如果给定NDRT所允许的时间，NDRT与用户偏好一致(例如从用户输入或从跟踪用户行为和条件推断)，或者与类似用户的偏好一致，则NDRT可被认为是有益的。例如，如果用户已经监控了给定的时间量，驾驶员状态估计模块84可以确定用户将受益于位置的改变，确定转换时间(在状态之间转换的时间量)，并且自动生成请求或者向NDRT的用户提供建议。
模块84和86可用于计算各种时间段(例如t估计非监控,t规避动作和t监控->驾驶)，这些时间段用于计算各个分配的时间段(tNDRT_分配)用于执行NDRT。这种单独的时间段考虑了在操作状态之间转换和执行规避动作所需的时间。例如，模块84和/或86可用于确定驾驶员处于非监控能力的时间量(例如t估计非监控)，这是在给定车辆状态、环境和/或驾驶员状态的情况下确定的。在另一示例中，模块84和/或86可以用于确定用户和车辆从“监控状态”转换到“手动状态”或“驾驶状态”的时间量，在“监控状态”中，驾驶员注意道路和车辆系统状态，但没有物理地控制车辆，在“手动状态”或“驾驶状态”中，驾驶员具有主动手动控制。这段时间称为t监控->驾驶。在分配的时间段期间，车辆处于“NDRT状态”，其中驾驶员不需要监控车辆(即用户监控被暂停)。
此外，模块84和/或86可以用于计算用于执行临界规避动作(t规避动作)的时间段。规避动作的示例包括诸如转向、变道、紧急刹车等规避行动。t规避动作可能因环境和车辆状况以及驾驶员对规避动作的准备程度而异。例如，该时间段在较高速度区域(例如高速公路)或拥堵区域较短，而在较低速度区域或非拥堵区域较长。
系统80还包括人机界面(HMI)90，例如触摸屏或显示器，其允许用户或其他实体向分配模块82输入请求。HMI90还可以向用户输出信息(框97)，例如分配的时间段开始的指示、分配的持续时间、路线信息等。
NDRT的时间段的分配由请求(NDRT请求)来提示，该请求可以由各种位置和设备或模块生成或提供。如下面进一步讨论，用户可以在车辆驾驶时(“乘车期间请求”)和/或驾驶前(“乘车前请求”)生成一个或多个请求(由框92表示)，例如用于预期的视频会议或电话呼叫。这种请求可以由用户通过HMI90(例如触摸屏、移动设备、车辆信息娱乐系统显示器或按钮)输入。请求也可以基于经由例如驾驶员状态估计模块84监控用户状况而自动产生。
在一实施例中，基于用户的历史(例如通过机器学习)生成NDRT请求。系统80学习用户的特定模式(例如用户在开车回家时总是给他的妻子打电话)。NDRT请求也可以基于识别通知来生成，例如传入的紧急电子邮件或SMS消息。
计算(例如连续地或周期性地)时间段t监控->驾驶和t规避动作，并连同不需要用户监控车辆运行的估计时间量(t估计非监控)一起输入到分配和调度模块82，该估计时间量可以从各种来源获得，例如监管来源、先前收集的数据的分析和/或模拟，和/或基于例如道路条件、交通密度、速度和用户状态的条件。
分配和调度模块82的输入还可以包括关于执行NDRT的估计时间(t估计_NDRT)、在非监控时间段之后从NDRT状态返回到监控状态的估计时间(t转换->监控)以及给定NDRT的最小时间(t最小NDRT)的信息。最小NDRT时间可以从实验数据或先前收集的车辆数据中确定，并且当系统80不能分配足够的时间时，提供该时间以避免提出建议或允许NDRT。如果系统80不能容纳至少最小时间，则不给出建议(并且分配和调度模块82可移动到另一NDRT，例如在列表或队列中)。
调度和分配模块82包括用于启动NDRT状态、返回监控或驾驶状态和/或协调多个NDRT状态的各种模块。例如，调度模块94从HMI90和/或模块84和86，和/或从基于历史和学习行为估计NDRT时间的ML单元接收输入。对于给定的NDRT请求，调度模块94接收t估计_NDRT和t转换->监控(以及在一些情况下最小NDRT时间t最小NDRT)。这些时间段可以是远程存储和/或本地存储在选定位置的预定时间段。例如，数据库96中的查找表或其他数据结构在数据库96中存储时间预算和信息，例如估计的NDRT时间、估计的转换时间和/或最小NDRT时间(框95)。
在分配的时间段开始和NDRT状态开始时，转换模块98将车辆从监控状态转换到NDRT状态。NDRT模块100控制监控状态、NDRT状态和手动状态之间的转换。NDRT模块100可以在所分配的时间段(tNDRT总计)期满时转换回监控状态。例如，如果用户如此要求或者出现需要转换到手动驾驶的情况(例如事故、行人或道路上的其他物体等)，NDRT模块100可以更快地转换。一个或多个上述模块可以配置为或包括一个或多个有限状态机(FSM)。
调度模块94可配置成执行和/或协调与多个NDRT相关的多个NDRT状态的执行。例如，调度模块94可以访问各种类型任务的时间，并使用这些时间来分配执行多个任务的时间段。在某些情况下，模块82可以在NDRT之间分配短监控时间段。如下面进一步讨论，可以基于紧急程度或重要性来分配时间段。
图4描绘了时间段110期间的各种车辆状态。时间段110包括分配的时间段112，其对应于分配给用户执行NDRT的时间量(tNDRT_分配)，在条件允许的情况下可以固定或延长。该时间段可以例如通过HMI90呈现给用户。另一时间段114对应于t转换->监控，即从NDRT状态返回到监控的估计时间(例如出现紧急状况或紧急满足，需要将用户带回驾驶循环)，或tNDRT_分配期满。时间段116对应于车辆处于监控状态的时间
估计时间段114、118和122，以确定车辆是否有足够的时间转换到手动控制(驾驶状态)并对道路事件或环境条件(例如道路上的行人、另一车辆与车辆或轨迹相交)做出反应。时间段114、118和122表示车辆和用户返回手动操作以对道路事件做出反应的能力。
时间段118是对应于从监控状态转换到(手动)驾驶状态(t监控->驾驶)的时间的时间段。该时间段允许以有效的方式返回到驱动循环(包括稳定)。时间段120(t驾驶)表示车辆处于行驶状态。时间段122(t规避动作)被提供给用户以执行成功的关键动作(例如紧急规避动作)。
图5描绘了在自动驾驶(或其他自动操作)期间为用户调度和分配时间段以使其不注意车辆或设备操作的方法130。结合框131-136讨论方法130。方法130不限于其中步骤的数量或顺序，因为由框131-136表示的一些步骤可以与下面描述的顺序不同的顺序执行，或者可以执行少于所有步骤的顺序。
结合图1的车辆和处理系统讨论方法130，该处理系统可以是例如计算机系统40、车载计算机系统30或其组合。为了说明的目的，结合控制系统80讨论方法130的各方面。注意，方法130不限于此，并且可以由任何合适的处理设备或系统或者处理设备的组合来执行。
在框131，车辆系统(例如控制系统80)在车辆的自动操作期间跟踪或观察用户。车辆处于监控状态，在这种状态下，自动控制车辆并跟踪驾驶员，以确保驾驶员注意力集中(“眼睛看着道路”)。当处于监控状态时，车辆可以允许用户疏忽的默认时间段，其可以是短时间段(例如3秒)或更长(例如几分钟、几十分钟或更大)。该时间量是与用户条件或执行NDRT的愿望无关的固定量。
在框132，系统识别NDRT请求。可以基于接收到来自用户的肯定输入、基于预先调度的任务或基于用户条件来识别请求。例如，用户可以通过车辆的信息娱乐系统、HMI90或其他用户界面输入请求。
一种类型的请求是基于呈现给用户并被用户接受的建议而生成的，这可以通过监控用户行为、车辆状态和/或环境来识别，以识别潜在的NDRT。NDRT建议(例如改变位置、打电话等)可被生成并显示给用户，并且用户可以确认或拒绝该建议。例如，通过相机和/或其他传感器来监控用户，以识别用户将受益于NDRT的指示(例如用户不舒服或烦躁的指示，或者用户已经处于驾驶或监控状态一段延长的时间并且可能需要休息的指示)。
此外，可以通过识别外部需求和活动(重要电子邮件、SMS、电话的传入)来生成请求。例如，该系统可以访问车辆的信息娱乐系统，以接收重要的传入电子邮件、收藏夹列表中的SMS、工作相关列表中的SMS等。该系统可以配置成基于用户历史和学习来提供对潜在NDRT的建议。
还可以根据之前输入或调度的NDRT来识别请求，NDRT可被输入到车辆系统或移动应用程序(app)中。例如，在车辆运行之前，移动设备或信息娱乐系统中的日历可以与系统同步，并且该信息成为系统的输入。
在一实施例中，机器学习模块、FSM或其他处理单元配置成识别潜在的NDRT并基于机器学习(ML)提出建议。这种模块回顾用户与车辆系统(例如信息娱乐系统)或移动设备的接触历史，并基于先前呼叫(或其他通信，例如文本和电子邮件)的时间和接收者提出建议。例如，该模块了解到用户通常在大多数或所有先前的日子里在上午8:00左右打电话给妈妈，因此自动生成在上午8:00“打电话给妈妈”的建议。如本文进一步讨论，该模块还可以动态地布置车辆路线，以便为调度的NDRT创造更好的机会。因此，本文的系统和方法可以特别的或机会主义的方式请求NDRT，并且可以请求和调度计划的NDRT(基于例如调度的事件、ML学习的NDRT、用户偏好等)，其可以通过选择最佳路线、速度、车道、时间等来预先布置，以确保NDRT的安全有效(即紧急接管的可能性极小)的时间配给或分配。
在一实施例中，系统维护已经预先调度的、可能在操作期间由用户潜在地请求的任务和/或可以基于用户条件建议的任务的队列。动态队列可被维持，该队列列出了各种NDRT(或NDRT类型),并将每个NDRT与可以动态变化的重要性或紧急程度相关。每个NDRT在队列中与时间段相关，该时间段与执行NDRT的最小时间和转换到监控的时间相关。NDRT可以在调度的时间或根据当前条件添加到队列中。
在框133，系统确定驾驶员的准备程度，和/或驾驶员的意图和动机。准备类别包括身体可用性、生理准备状态、认知意识和技能水平(执行各种NDRT或任务类型的能力)。例如，可以通过监控驾驶员的姿势、监控眼睛视线和面部分析来确定情绪状态，和/或询问驾驶员来确定准备。准备类别可被存储并与驾驶员从NDRT状态转换到监控的时间量(t转换->监控)相关。t转换->监控的值可以附加到队列中的每个NDRT，因为它可以是用户以及特定NDRT的函数。
除了驾驶员“准备”之外，该系统可以评估驾驶员的“意图和动机”以承担监控和/或采取手动控制。“意图和动机”可以基于类似情况下的过去事件(例如驾驶员在他或她阅读报纸时不愿意承担监控)、驾驶员的口头陈述和/或他或她对正在进行的警报的响应来评估。准备以及意图和动机用来评估将控制转移给用户的质量。
在一实施例中，控制转移的质量被估计为“准备”和“意图和动机”的笛卡尔乘积。例如，如果驾驶员准备较低(例如驾驶员不在座位上或处于某种笨拙的姿势)，但由于沮丧和焦虑，他或她的动机较高(基于图像分析或其他驾驶员跟踪手段估计)，则两个元素(“准备”和“意图和动机”)的乘积产生转换时间(t转换→监控,t监控→监控,t规避动作)。基于这些时间，可以预测可被提供给驾驶员的NDRT的长度。
在框134，系统基于准备、意图和动机和/或环境背景来确定是否可以执行NDRT。如果是，系统计算或获取时间分配tNDRT_分配供用户执行NDRT，考虑到转换到监控的时间。如上所述，该系统还确定转换和执行规避动作的时间段。
在框135处，系统转换到NDRT状态，在此期间，系统自动控制车辆，并且不要求用户保持专注。
在框136，在分配的时间段期满时，系统转换回监控状态。可替代地，系统基于用户输入(例如用户取消NDRT请求或指示NDRT完成，或响应于车辆或环境的变化)更早地转换回监控状态。其他事件或用户行动可被识别为完成的指示，例如用户发送电子邮件或文本、结束电话呼叫、吃完饭等。
在一实施例中，系统可以主动向用户询问NDRT完成的指示，这可以用于单独或结合从相机和其他传感器收集的数据来确定完成。例如，在tNDRT_分配期间(例如结束前的几秒钟)的选定点，系统开始通过听觉请求或显示询问驾驶员关于任务的完成。此外，可以通过从队列中移除任务来强制完成。
NDRT可以通过多种方式调度。例如，可以根据“固定”NDRT算法、“滚动”NDRT算法或“滚动受限”算法来调度整个时间段。
固定的NDRT时间段特定于给定的任务，并为用户提供预定的时间来执行NDRT。如果最初分配的时间不足，滚动NDRT时间段可以提供额外的时间来完成任务。滚动受限的NDRT时间段提供了额外的时间，但受到例如监管要求或基于驾驶员状态、路况和环境状态的内部计算的限制。
图6描绘了用于执行固定NDRT分配方法的有限状态机(FSM)150的实施例。FSM150包括监控状态152，该监控状态152可以响应于各种条件(例如需要规避动作的情况)而转变为手动操作(驾驶循环)。
响应于对NDRT的请求，FSM150转换到NDRT请求状态154。在这种状态下，调度和分配模块82基于车辆状态(例如速度)、道路和其他环境条件、交通条件和驾驶员状态来确定非监控时间的估计总量。“非监控时间”或t估计非监控是驾驶员处于非监控状态的总时间量。
t估计非监控是指驾驶员或用户不需要监控车辆运行的估计时间，可基于各因素，比如车辆的感应能力(例如范围、覆盖范围、检测能力等)、道路状况(例如附近的交通和其他道路用户)、道路和基础设施类型(例如郊区、农村、公路、城市等)、环境因素(例如雨、黄昏、雨夹雪等)以及道路几何形状(例如曲线、直线等)。非监控时间可能受制于预定最大值(例如受某个监管值的限制)。此外，非监控时间可以随着条件的变化而动态调整。
将非监控时间与最小NDRT时间t最小NDRT(其可以基于从驾驶员和/或其他驾驶员观察到的数据)和转换到监控的时间(t转换->监控)之和进行比较，以确保可以为NDRT分配足够的时间。这种比较可以表示为：
t估计非监控≥t最小NDRT+t转换->监控。
最小时间可以是分配给所有任务的值，或者可以特定于一个或多个任务。
如果估计非监控时间大于或等于总和，则FSM150转换到NDRT状态156。在NDRT状态156下，车辆自动运行，同时允许用户疏忽并执行NDRT。
图7示出了包括为NDRT分配的时间段的时间段110的示例。在这个示例中，时间分配是固定配给。在该示例中，调度和分配系统80维护任务队列，这些任务可被分配不同的优先级。用户想要发送紧急SMS消息并输入相关的请求(例如通过从显示的队列中选择任务或输入任务)。该请求被认为是高优先级的，因此在其他预定的NDRT时间段之前被执行。
在该示例中，执行NDRT(编写和发送消息)的估计时间为10秒，t最小NDRT为5秒，t转换->监控为3秒。估计非监控时间是9秒，这表示基于车辆传感器能力、驾驶员状态和外部条件(例如天气、道路和交通)的允许时间量。
t最小NDRT+t转换->监控为8秒，其小于非监控时间，因此系统可以为该NDRT分配时间。在该示例中，分配的时间段112(tNDRT分配)是9秒–3秒＝6秒。
图8描绘了用于执行滚动NDRT分配方法的FSM160的实施例。FSM160包括监控状态162，其中车辆处于监控状态并且可以返回到驱动循环。响应于对NDRT的请求，FSM160转换到NDRT请求状态164。如果t估计非监控≥t最小NDRT+t转换→监控，则FSM160转换到NDRT状态166。只要t估计非监控≥t转换→监控，FSM160就停留在NDRT状态166。如果用户指示NDRT完成，或者t估计非监控<t转换→监控，FMS160转换到“转换到监控”状态168，并且调度和分配系统80返回到监控。
在一实施例中，FSM160配置成执行如上所述的“滚动”NDRT，和/或配置成执行“滚动受限”NDRT分配方法。
在滚动实施例中，只要t估计非监控≥t转换→监控(除非条件或用户输入需要更早完成)，FSM160就停留在NDRT状态166。原则上，系统80可以无限期地停留在NDRT状态，或者至少直到出现需要返回到监控和/或手动控制的状况。
在滚动受限NDRT实施例中，总非监控时间被限制在选定或计算的范围内。
例如，NDRT时间受监管要求、制造商、驾驶员偏好或内部计算限制。在一实施例中，tNDRT分配受最大时间(称为“NDRT总计”)限制。这种限制可以由制造商或根据驾驶员的偏好来强加或提供。该限制也可以由监管要求来施加。
在NDRT状态166中，系统可以为多个任务分配时间。如果用户指示NDRT完成，t估计非监控<t转换→监控，或者NDRT总计大于或等于选定阈值，则FSM160转换到转换到监控状态168，并且系统80返回到监控状态，并且驾驶员返回到监控。
在一实施例中，系统80配置成在短监控时间段之后扩展NDRT分配tNDRT分配。这短监控时间段配给被称为“范围界定”。
图9描绘了用于执行滚动和范围界定NDRT分配方法的FSM170的实施例，其中为范围界定提供了短时间配给t监控最小。FSM170包括监控状态172，其中车辆处于监控状态并且可以返回到驱动循环。响应于对NDRT的请求，FSM170转换到NDRT请求状态174。系统80估计非监控时间的总量。如果t估计非监控≥t最小NDRT+t转换→监控，则FSM170转换到NDRT状态176。
注意，t估计非监控可以作为环境和/或用户条件的函数随着时间而改变。当用户忙于NDRT时，评估用户返回到监控(和驾驶)的能力的能力可能会随着时间而降低(例如用户低头看他的手机)。因此，随着用户在NDRT状态(滚动)花费更多时间，t估计非监控减少，这是因为系统80可能暂时不能估计用户的监控和驾驶能力，也是因为系统故障的可能性随着时间增加。结果，FSM170可以转换到短周期监控，或“范围界定”。一旦范围界定完成，t估计非监控可能会再次增加。
例如，当FSM170进入NDRT状态176时，定时器被激活。只要t估计非监控≥t转换→监控，FSM160就停留在NDRT状态166。如果用户指示NDRT完成，或t估计非监控<t转换→监控，FMS转换到监控状态178。
如果NDRT没有完成，或者要执行另一NDRT，则FSM170转换到短时间段监控状态180，在该状态下，为驾驶员配给短时间段t监控最小以暂时返回到监控。当t监控最小结束并且t估计非监控<t最小NDRT+t转换→监控时，FSM170返回到监控状态172。如果t监控最小结束并且t估计非监控≥t最小NDRT+t转换→监控，则FSM170转换回NDRT状态176。这可以根据需要或者时间和条件允许而重复。
在一实施例中，滚动和范围界定可以基于例如监管要求来限制。随着分配的NDRT时间段进展，累积的NDRT时间tNDRT_总计(从最后一次转换到NDRT状态开始)被限制在最大时间内。例如，如果t估计非监控≥t转换->监控并且tNDRT_总计小于阈值(例如30秒)，则FSM170停留在NDRT状态176。同样，如果t估计非监控<t转换->监控，用户指示完成，或者达到阈值(例如tNDRT_总计大于或等于30)，则发生从NDRT状态176转换到转换到监控状态178。
在一实施例中，系统80配置成调度和分配多个任务，这些任务可以是先前调度的任务或在驾驶或操作期间请求的任务。可以为调度的任务分配优先级或紧急级别，以便快速分配更重要或紧急的任务。
图10描绘了时间段110的实施例，其包括用于滚动和范围界定的分配时间。如图所示，时间段112包括表示为tNDRT分配的分配NDRT时间112，其可以从初始值延长到延长值。分配时间段112包括最小时间t最小NDRT、完成NDRT的估计时间(t估计NDRT)以及包括tNDRT分配的延长时间和延长时间(“滚动”)。延长时间由时间112A表示。例如，选择时间段110，使得在分配NDRT时间112结束时，提供到监控时间114和短监控时间116(范围界定)的转换。
图11描绘了用于执行NDRT分配方法的FSM185的实施例，其包括与识别NDRT相关的特征。FSM185配置成在用户试图执行未授权的NDRT或者疏忽的时间长于默认时间的情况下对用户的行为做出反应。FSM185包括执行范围界定和滚动NDRT分配的能力，但不限于此。例如，FSM185可以配置成执行严格分配，或者滚动分配(没有范围界定)。
FSM185包括监控状态172、NDRT请求状态174和NDRT状态176。FDM185还包括转换到监控状态178和短时间段监控状态180。以上参考FSM170描述了这些状态之间的转换。
FSM185配置成接收相机数据、传感器数据和/或与用户条件和行为相关的其他信息。如果用户的行为表明用户正试图执行NDRT(没有来自系统的批准并且没有分配NDRT时间段)，则FSM185转换到“未识别NDRT”状态186。可以触发这种转换的行为包括姿势的改变、引导用户的目光远离道路超过默认时间(例如朝向信息娱乐界面、乘客座位或后座区域等)、用户试图使用信息娱乐系统或其他车辆接口以及用户口头表达执行NDRT的意图。
如果用户的行为表明用户打算或正试图执行NDRT，则FSM185转换到未识别NDRT状态186。当处于未识别NDRT状态186时，如果出现用户应该监控或驾驶的状况，则FSM185立即或在默认时间内转换到监控状态，实质上拒绝NDRT。此时，系统80可以向用户指示NDRT不可用和/或提供关于系统80何时可以为预期NDRT分配时间的估计。
如果条件允许，FSM185转换到“识别NDRT”状态188，并且系统80试图识别预期NDRT。如果识别出NDRT，系统查询查找表或其他数据结构来确定转换到监控的估计时间t转换->监控。如果未确定预期NDRT，则选择t转换->监控的预配置固定值。
如果t估计非监控大于或等于t转换->监控，则FSM185转换到NDRT状态176。如果t估计非监控小于t转换->监控，则系统拒绝识别的NDRT，转换到监控状态172，并向用户指示拒绝。可替代地，如果条件允许，系统可以尝试增加t估计非监控(例如通过降低速度、换到右侧车道等)。
图12描述了一个优先权队列190的示例，它可被系统80用来协调各种NDRT(或NDRT类型)的时间段分配。每个NDRT以初始优先级进入优先级队列190。当选择条目时，可以从数据库或其他地方的存储记录中提取相关的时间段。
根据执行顺序或根据优先级，队列190由单独的NDRT条目(NDRTi)填充。当一NDRT完成时，它的记录被删除，随后的NDRT条目在队列中上移。
例如，队列190包括NDRT“驾驶员位置改变”192的低优先级条目。传入的电子邮件提示根据优先级将相应的条目插入队列190。在这个示例中,“传入电子邮件-紧急”条目194以高优先级被插入到队列的顶部。以中间优先级插入“传入电子邮件-非紧急”条目196。
NDRT可能会随着时间的推移改变它们的优先级，因此是“动态的”。各个记录的优先级可能会改变，例如由于车辆、用户或环境条件的变化。在图12的示例中，经过一段时间后，驾驶员行为可以指示位置变化更加紧急。这样,“驾驶员位置改变”条目192被赋予更高优先级，并在队列190中上移。
图13描述了用于执行调度和分配方法的FSM200，该方法调度多个NDRT。在该实施例中，系统80利用优先级队列(例如队列190)来调度NDRT时间段，可选地利用范围界定。FSM200利用显式或隐式的完成指示来确定NDRT何时完成。如果这样的指示不可用，则系统80尽可能长时间地继续NDRT分配(只要t估计非监控允许，因为t估计非监控可被连续地或周期性地更新，以确保条件允许分配NDRT时间段)。
确定用户是否在NDRT中的“进行中的NDRT”参数被初始化为“假”。队列中条目的位置表示为“x”，当前NDRT表示为“NDRTx”。
NDRTx有两个定义值：从特定NDRT状态返回到监控状态所需的最小时间t最小NDRT(x)和额外时间t转换->监控(x)。如果队列中的NDRT条目符合以下，则从最高优先级开始向下检查：
t估计非监控≥tminNDRT(x)+t转换->监控(x)，
如果是，则为NDRT分配以下时间：
tNDRT分配＝t估计非监控–t转换->监控(x)。
这可能超出了特定NDRT的要求。在这种情况下，驾驶员将指示“完成”,并在能够切换到另一NDRT之前返回到短时间段监控。
仍参考图13，FSM200包括监控状态172和短时间段监控状态180。当FSM200处于监控状态172时，系统80跟踪车辆以识别将有助于分配非监控时间段的条件。如果是，FSM200转换到“在队列中找到NDRT”状态206，其中通过将参考时间t估计非监控(基于条件估计)与最小NDRT时间和转换到监控的时间的总和进行比较来检查队列顶部的NDRTx。如果t估计非监控小于总和，系统80检查队列中的下一个NDRT(NDRT(x+1))。如果t估计非监控大于或等于总和，则FSM200转换到状态208，并向用户建议NDRTx。如果用户拒绝，FSM200转换回状态206。如果用户接受，FSM200转换到NDRT状态176，在此期间分配一时间段，车辆暂时允许用户执行NDRTx。
一旦系统从用户接收到明确的完成指示或隐含的指示，NDRT完成(进行中NDRT＝假)并且完成的NDRTx从队列中删除。
如果t估计非监控<t转换->监控，则执行到状态178中的转换到监控。如果NDRTx没有完成，FMS200转换到短监控时间段状态180，并初始化监控定时器。如果NDRT当前正在执行，并且监控定时器达到最小值t监控最小，则系统返回到NDRT状态176。以这种方式，在为特定NDRT分配的NDRT时间中插入短监控时间段。
如果t估计非监控<t转换->监控，则FSM200转换到状态178中的监控。如果NDRTx完成(进行中NDRT＝假)，转换到监控状态172。然后从队列中删除NDRTx，并将x初始化为零。如果用于执行NDRT的额外时间可用，FSM200转换回状态206，并根据队列再次检查NDRT。
在一实施例中，可以控制车辆运行和/或路线，以便为更长NDRT留出时间，或者以其他方式促进更长NDRT。如果多条路线是可能的，则可以基于与NDRT性能相关的标准来选择给定路线。例如，评估路线是基于确定最短路线，服从于整个路线上足够的估计NDRT时间，以容纳队列中的当前NDRT(例如驾驶员请求的那些)。这是驾驶员可以在系统的偏好页面中操纵的设置。该设置可以预先定义和/或在驾驶过程中动态改变。可用路线可以表示为一组S＝{s1,s2,…,sk}可能路线。每条路线si具有两个相关参数：ti和NDRT时间i。选择最佳可能路线的优化问题是在使NDRT时间i至少是基于驾驶员要求的NDRT的某个估计值的约束下找到最小ti。
系统80也可以调整车辆动态以适应NDRT。例如，系统80识别对即时NDRT的需求(例如安排在驾驶之前或驾驶期间、明确的请求、积极的NDRT行为、紧急电子邮件等)。系统80然后确定t估计非监控是否足以允许用户执行NDRT。如果不是，系统80可以调整驾驶风格以增加t估计非监控。驾驶调整的非限制性示例包括改变到最左侧车道并避免额外的车道改变、降低速度、调整速度以跟随另一车辆以及改变路线。
下表举例说明了NDRT时间。每个NDRT时间都与一特定任务或一类任务相关。如图所示，NDRT时间可以分为短和长。短时间(类型I)通常不到一分钟，涉及相对简单的任务。长时间(类型II)通常持续时间更长(几分钟到几小时)并且涉及高注意力。该表可以配置成查找表，并存储在例如数据库96中。
Figure BDA0003645029040000221
Figure BDA0003645029040000231
参考图14-23描述了用户交互系统199的实施例。用户交互系统199配置为结合这里描述的调度和分配系统和方法来操作，并且便于调度和分配，以及用户的情境认知。用户交互系统199包括向用户提供信息的可视显示器，包括接近NDRT分配或NDRT分配的机会(例如NDRT安全段和安全时间段)、车辆状态(例如NDRT状态和监控状态)、用于选择NDRT的界面和环境信息，例如检测到的物体的存在。用户交互系统199包括视觉特征(例如软按钮和/或可选视觉元素)、物理按钮和/或听觉识别，以允许用户提供输入。系统的各方面可以作为HMI90或其他合适接口的一部分被包括。
图14示出了调度和分配模块82、HMI90或其他接口以及包括视觉显示器200的显示系统之间的交互。显示系统可以包括其他部件，例如车辆驾驶舱内的照明、听觉部件和触觉。如图所示，模块82基于NDRT请求、用户通过HMI90的输入和/或用户和环境条件产生分配的时间段110。显示器200包括交互特征(例如车辆信息娱乐界面中的软按钮和可选菜单)，并提供环境中的车辆轨迹和/或检测到的物体(例如其他车辆、其他道路用户等)的表示。除了表示之外，显示器200还提供情境认知信息。
用户交互系统199支持各种形式的用户输入，诸如触摸屏输入(例如显示器200和/或移动设备的触摸屏中的软按钮)、平视显示器(HUD)输入、经由麦克风的听觉或语音输入以及从跟踪或监控用户条件和行为(例如眼睛跟踪)中导出的隐式输入。
输出包括启示(即提示用户行动以执行NDRT，或通知用户在给定所有外部条件下车辆有助于执行NDRT的警报、指示和/或可视化)和NDRT的时间段分配、显示特征(例如颜色、车辆路径和环境的表示)、显示的定时器信息(例如分配时间段的剩余时间或tNDRT分配)以及情境认知信息。可以通过一种或多种模态的组合来提供情境认知信息，例如视觉表示、光、声音(定向或非定向)和触觉(定向或非定向)。例如，如本文进一步讨论，输出包括有助于分配非监控时间段的即将到来的区域或段的轨迹信息和视觉指示(例如虚线)，当车辆接近该区域时，可选地具有附加队列(例如声音和/或触觉)。
图15-23描绘了用户交互系统199的部件的实施例，以及管理用户交互和控制车辆操作的方法的方面。具体地，图15-21描绘了显示器200的实施例。显示器200可以是如图所示的仪表板组合显示器、镜子显示器(后部或侧面)、平视显示器或任何其他合适的显示器或显示器的组合。在该实施例中，显示器200位于车辆的仪表板处并在方向盘202的后面。显示器200包括车辆的动画道路图形或显示器204和车辆的轨迹或路径(例如沿着高速公路或其他道路)、软按钮205和图形信息娱乐界面或信息娱乐图形209。
如图15所示，在驾驶期间，道路显示器204提供指示器，例如表征车辆路径或轨迹的视觉路径标记210。路径标记210可以是如图所示的线或任何其他合适的图形元素，并且被颜色编码以指示汽车的自动化水平。
参考图15和16，道路显示器204指示当路径标记210为绿色时可以执行NDRT，并且显示器200的附加视觉表示，比如安全段标记214，作为指示器出现在显示器上，以指示车辆环境现在处于或接近有助于NDRT的区域或段(可允许区域)。在一实施例中，安全段标记214是覆盖路径标记210的一部分的白色虚线，尽管可以使用任何合适的标记或任何期望颜色的视觉表示。如图15所示，安全段标记214指示车辆正在接近“NDRT安全段”,在此期间可以执行NDRT。如果NDRT安全段仅在未来可用，则可通过路线规划获得更大规模的可视化，以显示何时可能开始以及何时结束。在该阶段，在一实施例中，信息娱乐图形209的特征(例如“我的任务”)被禁用。
图16描绘了当车辆在NDRT安全段内时的显示，并且示出了所有或大部分路径标记210被安全段标记214覆盖或替换。此时没有定时器被激活。
此外，方向盘指示器212，例如沿着方向盘202的一部分的LED灯阵列，可以补充路径标记210和NDRT安全段标记214。方向盘指示器212也被颜色编码，以对应于车辆路径和NDRT安全段标记的颜色编码(例如方向盘的颜色编码可以是绿色，带有与道路显示204中的NDRT安全段的颜色和表示格式相匹配的白色虚线201)。
显示器200和/或车辆驾驶舱内的不同位置可以包括附加指示器。例如，如图17所示，提供信息娱乐界面209周围的彩色边界216，以指示车辆处于NDRT安全段，并且信息娱乐系统已被激活。软按钮205还可以包括与边界216匹配(例如与边界216的颜色匹配)的边界(未示出)。边界216可以配置成基于用户请求(例如经由用户的输入、信息娱乐界面上的触摸、用户的视线被引向信息娱乐界面209以及任何其他类型的请求)来激活(出现或淡入)，并且快速通知用户。在一实施例中，如果调度和分配系统请求用户控制车辆，则边界216将变成黄色或红色，与方向盘颜色同步。
在一实施例中，车辆路径标记210、边界216和方向盘指示器212的颜色都具有相同的颜色，其可被选择为不同于道路显示器204所表示的其他物体或车辆的颜色。例如，当在安全段时，车辆路径标记的颜色是带有白色虚线的绿色，在自动路段时是纯绿色，响应非紧急系统接管请求时是黄色，当分配不可用时是红色(例如条件不利于NDRT或由于紧急状况，用户应该可以控制)。可以使用任何不同的颜色方案。例如，如果车辆已经将绿-黄-红颜色方案用于其他目的，则可以使用额外的颜色(例如品红色)或纹理来区分NDRT分配。
当车辆处于对应于安全段的“NDRT安全区域”时，时间段的分配和进入NDRT状态被允许，并且NDRT安全段标记214出现。车辆处于NDRT安全区域的时间被称为“NDRT安全时间段”。在NDRT安全时间段内，可以选择一个或多个NDRT，并为其执行分配时间。
当分配和调度系统80决定执行NDRT是安全的时，可以生成单模态或多模态警报，并且信息娱乐图形209的特征(例如“我的任务”)被启用并开放用于交互。此外，交互系统199使得边界216出现在显示器200中(例如响应于用户的视线和/或在确定执行先前请求的NDRT是安全的时)，并且以稳定光或微妙脉动光、短暂悦耳声音和/或包括方向盘的一个或多个脉动、振动等的触觉的形式提供警报。该警报通知用户可以执行NDRT或者可以请求分配。例如，结合边界216的淡入,“我的任务”特征可以显示用户请求的列表和/或用户可以选择的NDRT的系统生成的推荐列表(例如来自动态队列)。跟踪当前活动，未完成且调度的任务保留在列表中(例如未完成的任务保留在顶部)。当到达或接近NDRT安全段的末端时，可以提供附加队列来通知用户。
在一实施例中，交互系统199包括自适应定时器，其配置成跟踪分配的时间段中剩余的时间量或者用户请求NDRT的剩余时间，如图17所示。例如，在用户请求、直接输入或眼睛视线激活之后，并且当车辆进入对应于NDRT安全段的区域时，边界216逐渐出现并且定时器被激活。定时器可以任何合适的格式显示。例如，软按钮205包括倒计时符号，其包括一个或多个时间标记207(例如作为软按钮205上和/或按钮205外围的数字)。每当进入并激活NDRT安全段时，和/或当处于NDRT安全区域时，每次从“我的任务”特征选择NDRT时，定时器都会重新生成。例如，在应用短监控时间段(范围界定)之后，或者每当分配的非监控时间段结束或被中断时，定时器重新生成。
如下面进一步讨论，可以基于直接的用户输入(例如经由用户按压软按钮，或者经由语音)或者隐含地基于由眼睛视线检测或其他用户注意力跟踪手段确定的用户正在看哪里来激活和停用一个或多个指示器。例如，当用户的视线指向信息娱乐图形209时，边界216(当车辆处于安全区域时)出现，指示与图形209交互是安全的。
在一实施例中，用户交互系统199适应范围界定(即在分配的时间段内或在NDRT之间提供短监控时间段)。例如，在分配的时间段期间(车辆处于NDRT状态)，如果用户将他或她的视线从信息娱乐界面209转移回道路，倒计时标记207和边界216逐渐消失。信息娱乐区域的新激活(例如通过将视线返回到信息娱乐界面209)重置定时器。在完成NDRT时，用户可以通过语音、划去任务、按压软按钮205或任何其他合适的方式来通知系统199。
指示器可以与定时器一起操作，以微妙的方式通知用户剩余的时间。例如，随着定时器倒计时，边界216可以逐渐变淡，直到定时器结束，并且可选地可以脉动。触觉指示器可以与边界216协同操作，以指示车辆路径和NDRT安全段即将结束。例如，可以发出悦耳但坚定的钟声，车辆座椅也可以振动。方向盘202中的触觉设备可以与边界216的脉动同步的频率脉动。指示器也可以这种方式工作，以指示NDRT安全时间段的开始。
除了上述信息之外，显示器200可以配置为提供关于在车辆周围的环境中检测到的物体的情境认知信息，例如其他车辆和道路用户，和/或环境的任何其他特征或物体。例如，如图18和19所示，一个或多个方向指示器218支持情境认知。在图18和19的示例中，指示器218被投影到边界216的位置上，作为具有不同颜色和/或亮度的部分。还可以包括声音和/或触觉指示器，以证明所考虑的物体或任何其他道路用户的方向信息。
在NDRT安全时间段内，用户可以随时请求NDRT。该请求可以通过语音做出，用自然语言指定所需的任务、其估计持续时间和/或其执行所需的条件。可替代地，用户可以在不提供任何进一步细节的情况下提出请求。此外，用户可以决定以非正式的方式启动NDRT，例如通过跟踪用户(无需任何请求)来检测。在这种情况下，如果NDRT可被支持，系统80将允许它。如果不能支持NDRT，系统80将否决它，可选地在道路显示器204上用一些解释和/或警告消息和标记来指示NDRT安全段是否以及何时变得可用。
如果车辆不在NDRT安全区域，显示器200的输入特征可被禁用。例如，与信息娱乐图形209的“我的任务”区域的交互被禁用。如果用户触摸信息娱乐图形209或与之交互，显示器200可以各种方式通知用户“我的任务”被禁用、为什么它被禁用以及何时它将再次可用。该通知可以是可视的，例如通过边界216变成灰色或另一种颜色来指示车辆在NDRT安全段之外。这种通知也可以是语音的形式。例如，系统199可以在请求之后读出列出的任务，包括到达下一个NDRT安全区需要多长时间，并且允许用户发出请求，该请求将在以后由系统80处理或解决。
图17-20示出了由用户交互系统199执行的过程的示例。在该示例中，在用户激活之后，系统199决定执行NDRT确实是安全的。道路显示器204显示车辆在NDRT安全区域内。如图17所示，车辆路径标记210是绿色的，方向盘指示器212是绿色的(可选地具有白色虚线201或其他合适的指示器),并且在部分214中的NDRT安全段标记是活动的。此时,“我的任务”部分被启用，可选地伴随着方向盘202的短暂悦耳声音和轻微脉动，以指示与信息娱乐系统交互和/或进行任何其他NDRT是安全的。
如图20所示，用户触摸我的任务部分，这导致显示任务列表。该列表可以包括调度任务和/或可供选择的任务，或者由系统199推荐的任务。用户可以浏览和导航信息娱乐图形209，并选择未列出的其他任务，并且调度模块82可以在后台添加它们。图18示出了活动任务打开时的显示器200。
当用户选择NDRT时，分配时间段，并且在软按钮205上显示倒计时。当新任务开始时，倒计时标记207具有与车辆路径标记210和NDRT安全段标记210相同的颜色。如果用户希望执行未列出的离线任务(即短任务，例如转向后座)，则用户可以独立于所选择的分配固定时间(例如10秒)的NDRT来激活按钮205。转动一个人的视线可以激活外围照明(例如参见图22)。当检测到新的物体和其他道路用户时，边界216被更新以包括适当的方向指示器。完成NDRT后，用户通过语音通知系统，刷走任务，或者按下屏幕上的按钮。
如图21所示，如果分配的时间段到期，并且系统不能以“滚动”方式延长NDRT，则车辆路径标记210、边界216和方向盘指示器212变成红色(或其他合适的颜色)，并且可以高频率脉动，具有尖锐的脉冲，以警告用户。当检测到要求用户停止执行NDRT并进行监控的情况，或者要求用户停止NDRT和接管控制的紧急状况时，也会发生此。
图22示出了结合显示器200和方向盘指示器212操作的附加指示器的示例。在该示例中，附加指示器是带状照明226的形式，其颜色对应于具有安全段标记214、边界216和方向盘指示器212的车辆路径的颜色。带状照明226围绕车厢延伸。带状照明226的各部分可以配置成基于视线方向淡入淡出，并且还可以包括方向物体指示器228(不同颜色或亮度的区域)以指示环境中物体的方向。
用户交互系统的各方面可被结合到与分配系统和显示器相协调的移动设备中。例如，如图23所示，移动设备230可以配备有应用程序，该应用程序允许用户请求NDRT，指示NDRT完成，被通知状态变化和NDRT段，和/或分配和控制系统以及交互系统的其他功能。应用程序使移动设备230在移动设备显示器的边界周围显示指示器236。指示器236还可以包括基于检测到的物体的方向定位的方向指示器238。
这里使用的术语仅仅是为了描述特定的实施例，而不是为了限制本发明。如这里所用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指出。还将理解，术语“包括”和/或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。
虽然已经参考示例性实施例描述了上述公开，但本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于用户与自动化设备交互的系统，包括：
控制系统，其配置成在操作模式期间操作所述设备，所述操作模式对应于第一状态，在所述第一状态中，所述控制系统自动控制所述设备操作，所述操作模式规定用户在自动控制期间监控所述设备操作，所述控制系统配置成分配用于所述设备转换到临时状态的时间段，在所述临时状态中，自动控制被维持，并且用户被允许停止监控并执行与所述设备操作无关的任务；以及
用户交互系统，其包括配置成向用户呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息的视觉显示器，该用户交互系统包括用户可参与的界面，以管理一个或多个分配的时间段的调度。
2.根据权利要求1所述的系统，其中，所述设备是车辆，并且所述任务是非驾驶相关任务(NDRT)。
3.根据权利要求1所述的系统，其中，所述指示包括与所述轨迹相交的可允许区域的表示，所述可允许区域有助于将所述设备置于所述临时状态。
4.根据权利要求3所述的系统，其中，所述视觉显示器包括第一指示器，所述第一指示器配置成通知用户所述设备是否在所述可允许区域内，并且所述用户交互系统包括自适应定时器，所述自适应定时器配置成通知用户所述用户执行所述任务的剩余时间量。
5.根据权利要求4所述的系统，其中，所述视觉显示器包括以下中的至少一个：
第二指示器，其配置成在用户的视线指向视觉显示器时淡入，并且在用户的视线远离视觉显示器时淡出；以及
方向指示器，其配置成指示所述设备周围的环境中检测到的物体或条件的方向。
6.根据权利要求4所述的系统，其中，所述用户交互系统包括移动设备应用，所述移动设备应用配置成呈现与所述第一指示器相协调的第二指示器。
7.根据权利要求1所述的系统，其中，所述用户交互系统配置成当所述设备能够进入所述临时状态时向用户呈现警报，所述警报包括视觉警报、听觉警报和触觉警报中的至少一个。
8.根据权利要求1所述的系统，其中，所述用户交互系统配置成基于检测到保证从所述第一状态转换到手动状态的紧急状况来阻止所述时间段的分配。
9.一种控制自动化设备的方法，包括：
在操作模式期间操作所述设备，所述操作模式对应于第一状态，在所述第一状态中，所述控制系统自动控制所述设备操作，所述操作模式规定用户在自动控制期间监控所述设备操作；
经由用户交互系统接收用户临时停止监控以便执行与设备操作无关的任务的请求，并且为设备分配时间段以转换到临时状态，在该临时状态中自动控制被维持并且允许用户停止监控并执行与设备操作无关的任务；以及
经由用户交互系统的视觉显示器向用户呈现轨迹信息、关于区域是否有助于将设备置于临时状态的指示以及时间段分配信息，用户交互系统包括用户可参与的界面，以管理一个或多个分配的时间段的调度。
10.根据权利要求9所述的方法，其中，所分配的时间段包括非监控时间段，该非监控时间段具有基于完成任务的时间量的持续时间，该方法包括在所分配的时间段开始时将设备置于所述临时状态。
CN202210527773.XA 2021-07-23 2022-05-16 用于设备的自动控制期间非监控时间段分配的用户界面 Pending CN115700203A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/384,031 2021-07-23
US17/384,031 US20230025804A1 (en) 2021-07-23 2021-07-23 User interface for allocation of non-monitoring periods during automated control of a device

Publications (1)

Publication Number Publication Date
CN115700203A true CN115700203A (zh) 2023-02-07

Family

ID=84784866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210527773.XA Pending CN115700203A (zh) 2021-07-23 2022-05-16 用于设备的自动控制期间非监控时间段分配的用户界面

Country Status (3)

Country Link
US (1) US20230025804A1 (zh)
CN (1) CN115700203A (zh)
DE (1) DE102022109372A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11687155B2 (en) * 2021-05-13 2023-06-27 Toyota Research Institute, Inc. Method for vehicle eye tracking system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013110909A1 (de) * 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung zum automatischen Fahren eines Fahrzeugs
DE102013219887A1 (de) * 2013-10-01 2015-04-02 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
EP3040809B1 (en) * 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
EP3109119B1 (en) * 2015-06-23 2022-08-10 Volvo Car Corporation Method and arrangement for allowing secondary tasks during semi-automated driving
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
WO2019097944A1 (ja) * 2017-11-17 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
US10406978B2 (en) * 2017-12-19 2019-09-10 PlusAI Corp Method and system for adapting augmented switching warning
DE102019002403A1 (de) * 2019-04-02 2020-10-08 Daimler Ag Verfahren und Vorrichtung zur Beeinflussung einer optischen Ausgabe von Bilddaten auf einer Ausgabeeinrichtung in einem Fahrzeug
KR20210151802A (ko) * 2019-04-18 2021-12-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP7192698B2 (ja) * 2019-07-29 2022-12-20 株式会社デンソー セカンドタスク実施支援装置及びセカンドタスク実施支援プログラム
WO2022158230A1 (ja) * 2021-01-21 2022-07-28 株式会社デンソー 提示制御装置及び提示制御プログラム

Also Published As

Publication number Publication date
US20230025804A1 (en) 2023-01-26
DE102022109372A1 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6883766B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
JP7203035B2 (ja) 情報処理装置および情報処理方法
CN111163968B (zh) 交通工具中的显示系统
US20170168689A1 (en) Systems and methods for providing vehicle-related information in accord with a pre-selected information-sharing mode
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20130219294A1 (en) Team-Oriented Human-Vehicle Interface For Adaptive Cruise Control System And Methods For Using Same
WO2016170764A1 (ja) 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
US20180319408A1 (en) Method for operating a vehicle
JP4659754B2 (ja) 車両運転者および複数のアプリケーション間の対話方法およびシステム
JP2007511414A6 (ja) 車両運転者および複数のアプリケーション間の対話方法およびシステム
CN115700203A (zh) 用于设备的自动控制期间非监控时间段分配的用户界面
CN115675513A (zh) 在装置的自动控制期间的非监控时间段的分配
Arezes Wellness in Cognitive Workload-A Conceptual Framework
WO2023156036A1 (en) A computer-implemented method for providing a function recommendation in a vehicle, a vehicle and a system for implementing the method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination