CN111699521A - 用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和系统 - Google Patents

用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和系统 Download PDF

Info

Publication number
CN111699521A
CN111699521A CN201880075289.XA CN201880075289A CN111699521A CN 111699521 A CN111699521 A CN 111699521A CN 201880075289 A CN201880075289 A CN 201880075289A CN 111699521 A CN111699521 A CN 111699521A
Authority
CN
China
Prior art keywords
vehicle
driver
risk
mode
alert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880075289.XA
Other languages
English (en)
Inventor
郑皓
D·W·刘
T·P·小戴利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhijia Technology Co ltd
PlusAI Corp
Original Assignee
Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhijia Technology Co ltd filed Critical Zhijia Technology Co ltd
Publication of CN111699521A publication Critical patent/CN111699521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007Emergency override
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本示教涉及运行车辆的方法、系统和介质。接收与车辆有关的实时数据。确定车辆运行的当前模式以及车辆中存在的驾驶者的状态。根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险。响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险。当第二风险满足第二判据时,将车辆从当前模式切换到该不同模式。

Description

用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和 系统
相关申请的交叉引用
本申请要求2017年12月19日提交的美国专利申请15/846,817以及2018年1月16日提交的美国专利申请15/872,215的优先权,在此引入其整个内容作为参考。
技术领域
本示教一般涉及自动车辆和混合车辆领域。具体而言,本示教涉及运行车辆的机制及其扩增行为规划接口(augmented behavior planning interface)。
背景技术
自动车辆采用多种计算手段以辅助自动车辆运行。近来,在汽车行业中,许多焦点放在以安全的方式使车辆以自动模式运行。自动驾驶车辆允许乘员(驾驶者)从人类驾驶模式(即操作者完全执行车辆控制的模式)手动切换到自动模式(即车辆实质上自行驾驶的模式)。具有两种运行模式(自动和手动)能力的车辆为混合驾驶车辆。
过去,在自动与手动驾驶模式之间的切换是手动完成的。在运行中,在某些情况下,切换自身可能出现危险,如果其在特定情况下进行的话。另外,甚至是在自动驾驶车辆检测到潜在危险并决定将控制切换到人类驾驶者时,人类驾驶者以手动模式接管控制的方式可能取决于乘员的状态。例如,在自动驾驶模式中,乘员可能已经给予更少的关注,或者甚至可能坠入梦乡。自动驾驶中的这些真实情况在过去没有解决。
另一方面涉及相反方向的混合驾驶模式车辆的自动切换,即,从人类驾驶模式到自动驾驶模式。传统方法并未设法解决这一方向的切换,遑论如何以安全方式去做到它。
因此,存在对解决这些问题的解决方案的需求。
发明内容
这里公开的示教涉及用于在自动和混合车辆驾驶环境中的扩增行为规划的方法、系统和程序设计。特别地,本示教涉及执行与车辆的不同运行模式相关联的移交(handover)操作的机制的方法、系统和程序设计。
藉由本公开的一个实施形态,公开了一种方法,其在一机器上实现,该机器具有至少一个处理器、存储器以及能够连接到网络的通信平台,该方法用于运行车辆。根据该方法,首先,接收与车辆有关的实时数据。确定车辆运行的当前模式以及车辆中存在的驾驶者的状态。根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险。响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险。当第二风险满足第二判据时,将车辆从当前模式切换到该不同模式。
藉由本公开的一实施形态,公开了一种用于运行车辆的系统。该系统包含当前风险评估器、切换风险确定器和切换执行器。当前风险评估器被配置为接收与车辆有关的实时数据,确定车辆运行的当前模式,确定车辆中存在的驾驶者的状态,根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险。切换风险确定器被配置为,响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险。切换执行器被配置为,响应于第二风险满足第二判据,将车辆从当前模式切换到该不同模式。
其他概念涉及用于实现关于开发车辆系统的本示教的软件。根据此概念,软件产品包括至少一个机器可读的非暂时性介质以及由该介质承载的信息。由该介质承载的信息可以是可执行程序代码数据、与可执行程序代码相关联的参数和/或与用户有关的信息、请求、内容或是与社会群体有关的信息,等等。
在一实例中,公开了一种机器可读介质,其上存有用于运行车辆的信息,其中,信息在由机器读取时,使得机器执行以下步骤。接收与车辆有关的实时数据。确定车辆运行的当前模式以及车辆中存在的驾驶者的状态。根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险。响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险。当第二风险满足第二判据时,将车辆从当前模式切换到该不同模式。
其他的优点和新特征将部分在下面的说明书中给出,部分将由本领域技术人员在检视下面的说明书和附图时明了或通过制造或运行实例来习得。本示教的优点可通过实践和应用下面讨论的详细实例中给出的方法、设备以及组合的多种实施形态来实现和获得。
附图说明
这里介绍的方法、系统和/或程序设计进一步以示例性实施例的方式描述。这些示例性实施例参照附图详细介绍。这些实施例是非限制性的示例性实施例,其中,贯穿几幅附图,类似的参考标号代表类似的结构,其中:
图1示出了一示例性图,其中示出了根据本示教一实施例,在车辆之中切换运行模式;
图2示出了根据本示教一实施例的车辆驾驶模式切换单元的示例性框图;
图3示出了由根据本示教一实施例的车辆驾驶模式切换单元执行的示例性过程的说明性流程图;
图4示出了一图表,其给出了根据本示教多种实施例与实时内在以及外在数据相关联的信息;
图5示出了一图表,其给出了根据本示教多种实施例与实时车辆数据相关联的信息;
图6示出了一图表,其给出了根据本示教多种实施例与实时人类状态相关联的信息;
图7示出了根据本示教一实施例,包含在车辆驾驶模式切换单元中的风险评估器的示例性框图;
图8示出了一示例性图表,其给出了根据本示教一实施例的风险评估的类型;
图9示出了一说明性流程图,该流程图概述了根据本示教一实施例,由包含在车辆的驾驶模式切换单元中的风险评估器执行的示例性过程;
图10示出了根据本示教一实施例,包含在风险评估器中的驾驶者状态分析器的示例性框图;
图11示出了一说明性流程图,该流程图概述了根据本示教一实施例由包含在车辆的风险评估器单元中的驾驶者状态分析器执行的示例性过程;
图12示出了根据本示教一实施例,包含在驾驶模式切换单元中的切换风险确定器的示例性框图;
图13示出了一说明性流程图,该流程图概述了根据本示教一实施例,由切换风险确定器执行的示例性过程;
图14示出了根据本示教一实施例,自动模式到人类驾驶者(A-H)模式切换风险确定器的示例性框图;
图15示出了一说明性流程图,该流程图概述了根据本示教一实施例,由(A-H)模式切换风险确定器执行的示例性过程;
图16示出了一图表,该图表给出了根据本示教多种实施例与响应时间相关联的信息;
图17A示出了根据本示教一实施例,人类驾驶者模式到自动(H-A)模式切换风险确定器的示例性框图;
图17B示出了一示例性表格,该表格概述了根据本示教一实施例的多种车辆运行模式;
图18示出了一示例性流程图,该流程图概述了根据本示教一实施例,由(H-A)模式切换风险确定器执行的示例性过程;
图19示出了根据本示教一实施例的切换警示控制单元的示例性框图;
图20A示出了一说明性流程图,该流程图概述了根据本示教一实施例由切换警示控制单元执行的示例性过程;
图20B示出了一示例性任务计划,该任务计划给出了根据本示教一实施例,用于警示车辆驾驶者的不同的介质;
图21示出了根据本示教一实施例,多模态切换警示单元的示例性框图;
图22示出了一说明性流程图,该流程图概述了根据本示教一实施例,由多模态切换警示单元执行的示例性过程;
图23示出了一移动装置的体系结构,该移动装置可以用于实现包含本示教的专用系统;且
图24示出了一计算机的体系结构,该计算机可用于实现包含本示教的专用系统。
具体实施方式
在下面的具体介绍中,通过举例的方式,给出了多种具体细节,以便提供对相关示教的详尽理解。然而,本领域技术人员应当明了,本示教可以在没有这些细节的情况下实现。在其他的实例中,公知的方法、过程、部件和/或电路以相对较高的层次介绍而没有细节,从而避免不必要地模糊本示教的实施形态。
自动车辆是能够检测其环境并在没有人类输入的情况下在该环境中航渡(navigate through the environment)的车辆。自动车辆使用多种技术检测其周围,例如雷达、激光、GPS、里程表和计算机视觉。高级控制系统解释传感器信息,以便识别合适的航渡路径以及障碍物和相关标牌。自动车辆包括控制系统,其能够分析传感器数据,以便区分道路上不同的车辆。自动车辆的潜在好处包括减小的移动性与基础设施花费、增加的安全性、增加的移动性、增加的用户满足度、减小的犯罪率。具体而言,由于自动车辆而带来交通碰撞和相关花费的显著降低,包括对保险的较小的需求。自动车辆预计会增加交通流量,将旅行者从驾驶和导航杂务中解放出来,并降低燃料消耗。
然而,广泛采用自动车辆还存在某些障碍。例如,关于责任的争议、更换已有车辆存货需要的时间段、个体对失去控制的抵触、消费者安全顾虑、切实可行的法律框架的实现、政府规章的建立、丧失隐私风险与安全性顾虑是妨碍采用自动车辆的某些因素。因此,下面介绍了车辆系统的框架,其使用自动运行模式以及人类驾驶者运行模式。注意,在本公开中,术语“自动模式”和“自动驾驶模式”可互换地使用,对应于车辆的自动运行,而术语“人类驾驶者模式”和“手动模式”可互换地使用,以对应由人类驾驶者运行车辆。
图1示出了一说明性视图,其示出了根据本示教一实施例,车辆之中的运行模式切换。如图1所示,车辆包含驾驶模式切换单元130和多模态切换警示单元140。车辆可以以自动模式150或人类驾驶者模式160运行。驾驶模式切换单元130被配置为分别将车辆运行模式在自动模式150和人类驾驶者模式160之间切换。
通过一实施例,驾驶模式切换单元130在一开始确定车辆正在运行的当前模式。在确定当前运行模式时,基于特定的判据(下面参照图2介绍),驾驶模式切换单元130确定是否要求转换到不同模式。例如,如果当前运行模式被确定为自动模式(或作为替代地,人类驾驶者模式),驾驶模式切换单元130基于与在当前模式中运行车辆相关联的标准来判断是否要求转换到人类驾驶者模式(或者,作为替代地,自动模式)。在切换当前运行模式的肯定判断时,驾驶模式切换单元130提供对多模态切换警示单元140的指示,其表示切换车辆运行模式的意图。
在接收到表示执行车辆运行模式切换的意图的指示时,多模态切换警示单元140将警示信号(下面参照图21介绍)传送给车辆的操作者(例如驾驶者)。另外,警示信号可包括这样的特定任务:其将要由车辆的驾驶者执行,以便以高效的方式切换车辆运行模式。因此,由一实施例,多模态切换警示单元140监视驾驶者,以判断这些任务是否正在适时地(timely)执行。具体而言,多模态切换警示单元140监视分配给车辆驾驶者的各个任务,以确保分配的任务正在适时地执行。驾驶模式切换单元130接收反馈信号,该信号指示分配给车辆驾驶者的各个任务的状态。基于各个任务的成功完成,驾驶模式切换单元130执行车辆运行模式的切换。通过一实施例,如果某任务没有适时完成,驾驶模式切换单元130接收反馈信号,该信号指示将要执行异常处理过程。关于多模态切换警示单元140以及驾驶模式切换单元130的运行的细节在本公开的其余部分介绍。
图2示出了根据本示教一实施例的驾驶模式切换单元130的示例性框图。驾驶模式切换单元130包含当前风险评估器230、切换风险确定器240、切换警示控制单元250、切换执行器280、车辆控制系统260、驾驶者档案210以及地图/道路配置模型220。
当前风险评估器230被配置为确定以当前运行模式运行车辆的风险。由一实施例,为了确定该风险,当前风险评估器230接收作为输入的实时车辆数据、实时内在与外在数据、传感器数据、驾驶者档案210以及地图/道路配置数据220。地图/道路配置数据220提供关于车辆当前位于的地理位置的信息。另外,地图/道路配置数据220可包括对应于车辆地理位置内的交通(traffic)的信息。驾驶者档案210数据包括关于驾驶者的驾驶历史的信息。这样的信息可包括例如在预定时间段内驾驶者已经涉入违章的次数、驾驶者正在操作的车辆的型号、驾驶者的特性(例如,驾驶者是否残疾、驾驶者是否近视、法律是否要求驾驶者佩戴帮助驾驶者操作车辆的装置(例如处方眼镜)、驾驶者被优选推荐为不操作车辆的天气条件等)。
转到图5,示出了输入到当前风险评估器230的示例性实时车辆数据。具体而言,图5示出了一说明性图表,该图表给出了根据本示教多个实施例,与实时车辆数据相关联的信息。例如,实时车辆数据可包括关于车辆当前位置的信息(例如纬度和经度位置)、关于车辆周围的信息、车辆驾驶者经历的当前可见度(例如基于当前时间的太阳眩光量)、车辆的重量或质量特有的控制(例如车辆中的当前乘员重量以及与车辆运行有关的其他控制参数)以及关于车辆维护的信息(例如当前油量、轮胎状况、制动器、雨刷)以及其他判断车辆是否应该以安全方式运行的重要参数。
当前风险评估器230还接收实时数据(车辆的外在和内在性能),该数据在确定车辆当前运行模式的风险中使用。回到图4,示出了一说明性图表,该图表给出了根据本示教多种实施例,与实时内在以及外在数据相关联的信息。如图4所示,与车辆内在性能有关的数据可包括关于车辆运行参数的信息,例如车辆的支持速度、支持安全等级、车辆中的缺陷(例如低胎压、缺陷刹车片、缺陷前灯/尾灯,等等)以及车辆的可靠性因子。与车辆外在性能有关的数据可包括车辆外部的信息,例如车辆穿过的道路的类型和状况(例如道路的陡峭度/斜度,道路允许的限速、道路上的当前车辆和人类交通量以及例如道路是否较滑等的道路表面状况)、对应于车辆环境的天气信息(例如车辆穿过的道路上的冰、雪或降水量)、车辆环境中的可见度、例如车辆路径上是否有事故等的外部事件、车辆是否正在穿过限制地带(例如医院或学校)或是车辆路径上是否存在导致脱离车辆初始规划路径的绕行的施工,等等。
到当前风险评估器230的进一步的输入是实时传感器数据,该数据用于确定车辆驾驶者的当前状态。转到图6,示出了一说明性图表,该图表给出了根据本示教多种实施例,与车辆驾驶者状态相关联的信息。这样的信息可包括与驾驶者和/或乘员的姿态(例如检测位置(detecting position)、坐姿,驾驶者是否系安全带,等)以及驾驶者和乘员在车内的位置对应的数据。与驾驶者状态相关联的另外的信息可包括关于驾驶者健康的信息、驾驶者的功能状态(即,驾驶者是否昏昏欲睡、睡着或感到困倦,以及驾驶者是否醉酒)、驾驶者的精神状态(例如,驾驶者的警觉水平)以及关于驾驶者所作旅程的性质的信息(例如,驾驶者和/或乘员是否严重受伤,以及车辆是否正在前往医院的路上,等等)。当前风险评估器230用于检测上面介绍的驾驶者状态的传感器数据在下面参照图10介绍。
在接收到上面介绍的输入时,风险评估器230确定在车辆的当前运行模式中涉及的风险。具体而言,风险评估器230确定以当前运行模式运行车辆是否安全。关于这种风险的计算的细节在下面参照图7介绍。在计算风险时,当前风险评估器230确定计算得到的风险是否满足特定判据(例如计算得到的风险高于还是低于预定的第一阈值风险等级)。与车辆的特定运行模式相关联的预定第一阈值风险等级可以对应于在车辆的特定运行模式中运行车辆的安全等级。具体而言,如果计算得到的风险高于第一预定阈值风险等级,可以视为以当前模式运行车辆不安全,而如果计算得到的风险低于第一预定阈值风险等级,可以视为车辆可以继续以当前模式运行。基于计算得到的风险满足(或是不满足)该判据,风险评估器230可以判断以当前运行模式运行车辆是否安全,或是是否将要执行当前模式到运行车辆的不同模式的切换。
由一实施例,如果计算得到的与当前运行模式相关联的风险在可允许的限制值范围内(例如,风险低于第一预定阈值风险等级),车辆保持当前的车辆运行模式(即,不执行车辆运行模式的转换)。然而,如果计算得到的风险不满足该判据(例如,计算得到的风险高于第一预定阈值风险等级),当前风险评估器230致动切换风险确定器240,以确定将车辆运行模式切换到不同模式是否可行。
切换风险确定器240接收实时内在和外在数据、关于驾驶者当前状态的信息、车辆正在运行的当前模式。由一实施例,切换风险确定器240被配置为,确定与将车辆切换到以不同运行模式运行相关联的风险。例如,如果车辆当前运行在自动模式下,切换风险确定器240计算将车辆切换到以人类驾驶模式(即手动模式)运行的风险,类似地,如果车辆当前运行在人类驾驶模式,切换风险确定器240计算将车辆切换到以自动模式运行的风险。对切换车辆运行模式所招致的风险的确定基于如下面参照图12介绍的几种因素来计算。
由一实施例,当前风险评估器240确定与车辆当前运行模式相关联的当前风险。如果当前风险被判断为异常地高,即,大于与当前模式相关联的第二预定阈值(明显大于第一预定阈值(例如安全等级),风险确定器240可不初始化切换风险确定器来确定与将车辆运行模式切换到不同模式相关联的风险。
相反,当前风险评估器230可执行异常处理过程,例如,以安全的方式将车辆停下。例如,考虑当前车辆运行模式是人类驾驶模式。如果风险确定器230判断为,例如,车辆的驾驶者正处于突发疾病或危及生命的事件(经由包含在风险评估器230中并在下面参照图7介绍的驾驶者状态分析器检测得出),于是,风险确定器230可不初始化切换风险确定器240以确定与切换车辆运行模式相关联的风险。相反,当前风险确定器230可执行异常处理过程,例如使车辆立即停下、发起呼叫以寻求政府主管部门的帮助(例如自动拨打911或经由与车辆相关联的移动电话呼叫路边协助)、将车辆的GPS位置发送到监视特定车辆以及其他类似车辆运行的服务器。必须明了,执行上面所述的将车辆完全停下的功能可包括这样的处理步骤:例如确定车辆的当前速度、车辆正在穿行的当前车道、邻近的交通,识别道路上的路肩区域(例如靠边停车地带),并以安全的方式渐渐将车辆完全停下。因此,如图2所示,当前风险确定器230可绕过切换风险确定器240,并直接向切换执行器280发信号,以便向车辆控制260指示迫在眉睫的车辆运行改变,例如将车辆停下。
通过一实施例,如果当前风险评估器230判断为与当前车辆运行模式相关联的当前风险高于与当前模式相关联的第一预定阈值(当前模式的安全等级),且低于与当前模式相关联的第二预定阈值等级,当前风险评估器致动切换任务确定器240,以确定与将车辆切换到不同模式相关联的风险。如果切换风险确定器240判断为与将车辆运行模式切换到不同模式相关联的风险是可行的,即,切换风险确定器240确定为车辆能以高效的方式在不同模式下运行,切换风险确定器240对切换警示控制单元250进行控制,以便将信号发送到多模态切换警示单元140,该单元向驾驶者提供指示(例如,经由下面参照图19介绍的视觉和音频手段),以执行特定的一组任务,使得车辆能有效地转换到不同的模式。具体而言,多模态切换警示单元140向驾驶者提供这样的指示:车辆当前运行模式存在风险,因此,到不同的车辆运行模式的切换将基于驾驶者执行该组指定任务而紧急发生。关于将车辆运行模式切换到不同运行模式所涉及的操作的细节在下面参照图19介绍。
相反,如果切换风险确定器240判断为与将车辆切换到不同模式相关联的风险高,切换风险确定器240可对切换执行器280进行控制,以便指示车辆控制系统260实现先前所说的异常处理过程。
图3示出了根据本示教一实施例,由车辆的驾驶模式切换单元130执行的示例性过程的说明性流程图。该过程在步骤310中开始,其中,驾驶模式切换单元130接收实时信息(即实时车辆数据,实时内在与外在数据)和传感器数据。
进一步地,在步骤320中,基于在步骤310中接收的信息,该过程判断车辆的当前驾驶模式和运行车辆的驾驶者的当前状态。关于运行车辆的驾驶者的当前状态的检测的细节在下面参照图10介绍,而关于车辆当前运行模式的判断的细节在下面参照图7介绍。
进一步地,在步骤330中,该过程评估与车辆的当前运行模式相关联的风险。此后,在步骤340中,该过程执行查询,以判断如果评估的以当前模式运行车辆的风险是否异常地高。例如,如前所述,该过程判断评估的风险是否高于与车辆当前运行模式相关联的第二预定阈值。如果对该查询的响应是肯定性的,该过程移动到步骤395,在那里,执行如前所述的异常处理过程。然而,如果对该查询的响应是否定性的,该过程移动到步骤350.
在步骤350中,该过程判断切换风险,即,与将车辆转换到不同的车辆运行模式相关联的风险。通过一实施例,并且如下面参照图12所介绍的,切换风险可以基于车辆的驾驶者在执行至少一个任务的推定时间内执行至少一个任务来计算,其中,推定时间基于驾驶者的状态来确定。另外,必须明了,在从当前模式到车辆的不同运行模式的切换时,车辆的不同运行模式的风险不超过与该不同模式相关联的风险阈值水平。
于是,该过程移动到步骤360,其中,执行查询,以判断在步骤350中评估的切换风险是否高。通过一实施例,该过程可判断是否存在与将车辆转换到该不同模式相关联的其他切换风险。如果步骤360中对查询的响应是肯定性的,该过程移动到步骤395,并执行异常处理过程,否则,该过程移动到步骤370。
在步骤370中,该过程从多种警示介质源中选择至少一个警示介质,以便向车辆的驾驶者警示车辆运行模式的紧急切换。通过一实施例,警示介质基于在步骤350中评估的切换风险来选择。另外,通过本公开的一实施形态,警示介质可基于驾驶者状态来选择,其中,警示介质警示驾驶者执行特定的任务(下面参照图21介绍),以便高效转换/切换车辆的运行模式。
在步骤380中,该过程基于所选择的介质来执行警示,此后在步骤390中,驾驶模式切换单元130执行车辆运行模式切换。
现在转到图7,其示出了根据一实施例,包含在车辆的驾驶模式切换单元130中的风险评估器230的示例性框图。如前所述,风险评估器230被配置为确定与车辆运行的当前模式相关联的风险。如图8所示,通过本公开一实施例,风险评估分别在自动运行模式和手动运行模式下进行。另外,与各个运行模式相关联的是与在从当前运行模式切换到不同模式时招致的风险对应的风险评估。必须明了,车辆能够运行的模式的数量不限于图8所示的两种模式。另外,车辆能以如下面参照图17B所介绍的多种模式运行。
如图7所示的风险评估器230包括驾驶者状态分析器710、驾驶者风险模式720、当前模式检测器760、自动模式风险检测器730、手动模式风险检测器770、当前模式风险报告生成器740、异常风险处理器750以及驾驶者档案780.
通过一实施例,驾驶者状态分析器710接收来自多个传感器的数据,这些传感器被配置为捕获关于驾驶者和/或车内乘员的多种特性的信息。例如,车辆系统可包含多个传感器,包括视觉传感器、听觉传感器、嗅觉传感器、光照传感器等,它们使得风险评估器230能够确定驾驶者的状态。关于多种传感器以及由它们捕获以检测驾驶者状态的信息的细节在下面参照图10介绍。
当前模式检测器760被配置为确定车辆当前运行状态。通过一实施例,先前参照图5介绍的实时车辆数据能用于确定车辆运行模式。例如,布置在车辆内的传感器可被配置为,通过检测例如方向盘是否正在被驾驶者操作、油门和/或制动器踏板是否正在被驾驶者控制等,判断驾驶者是否正在运行车辆。必须明了,多种机制能用于判断车辆是处于人类驾驶者运行模式还是自动运行模式。
基于当前车辆运行模式的判断,当前模式检测器760致动自动模式风险检测器730或手动模式风险检测器770,以判断与相应的车辆运行模式相关联的风险。作为输入,自动模式风险检测器730接收前面参照图4和图5介绍的实时数据和实时车辆数据。作为输入,手动模式风险检测器770接收实时数据和实时车辆数据、驾驶者状态以及包含在驾驶者档案780中的信息。
通过一实施例,自动模式风险检测器730可基于环境条件判断风险事件。例如,在大雾天气下,自动模式风险检测器730可判断为车辆自动运行不安全,例如,车辆的碰撞检测器可能难以准确检测邻近的车辆。以类似的方式,当车辆正在穿过有冰的陡峭道路时,在人类控制下运行车辆可能是可行的,即,自动模式可能不适合用于在严苛(有冰)的道路条件下控制车辆。另外,还可能存在某些特定地理区域,其中,自动驾驶被禁止或被视为不安全,例如加速车道、驶离车道、收费站、已知的施工地带、学校地带和这些区域附近的道路部分。与这些事件相关联的风险由自动模式风险检测器730判断。
类似于上面介绍的危险的自动驾驶情况的场景,通过一实施例,手动模式风险检测器770可判断这样的情况:其中,在手动控制下运行车辆可能是危险的。例如,手动模式风险检测器770可基于检测到的驾驶者状态以及驾驶者档案780来判断驾驶者可能在迫近的未来遭遇事故。这样的判断可以基于所考虑的车辆附近的交通密度。作为另一实例,与车辆的手动运行模式相关联的风险可对应于检测到若干次(在预定的时间窗口内)车辆偏离其预定路径。例如,车内的传感器可检测车辆正在以这样的方式由驾驶者运行:车辆偏离车道中心,进入邻近的车道。基于在车辆附近的交通量,手动模式风险检测器770可将这样的事件的发生看作有风险的事件。类似地,驾驶者状态检测器可判断驾驶者处于昏昏欲睡、困倦和/或打哈欠的状态,且以人类驾驶模式运行车辆可能具有风险。
根据驾驶风险模型720,自动模式风险检测器730以及手动模式风险检测器770分别检测与以自动模式或手动模式运行车辆相关联的相应的风险。具体而言,基于相应的输入信息,自动模式风险检测器730以及手动模式风险检测器770使用风险模式720来评估以相应的模式运行车辆的风险。
通过一实施例,自动模式风险检测器730和手动模式风险检测器770将关于驾驶者的信息和/或上述检测的关于车辆正在穿过的地理位置的场景输入到风险报告生成器740。风险报告生成器740使用驾驶风险模型720来生成分别与车辆运行的自动模式或手动模式相关联的风险报告,并输出与车辆的运行模式相关联的当前风险。
另外,通过本公开一实施例,自动模式风险检测器730和手动模式风险检测器770向异常风险处理器750提供输入(指示分别检测到的风险).如下面参照图12所介绍的,通过一实施例,在检测到车辆当前运行模式中的风险时,车辆系统可以确定与将车辆切换到不同运行模式相关联的风险。如果与该不同运行模式相关联的风险在可允许的限制值范围之内,车辆系统可执行切换车辆运行模式的操作。
然而,如果与该不同的车辆运行模式相关联的风险不可接受,当前风险评估器230可致动异常风险处理器750,其可基于驾驶者档案被配置为执行如前所述的安全相关功能。例如,异常风险处理器750可执行处理,例如,将车辆引入立即停止,发起呼叫以寻求政府主管部门的协助(例如通过与车辆相关联的移动电话自动拨打911或呼叫路边协助),将车辆GPS地址发送到对特定车辆以及其他类似车辆的运行进行监视的服务器。必须明了,为了执行上面所述的将车辆引入完全停止的功能可包括这样的处理步骤:例如,确定车辆的当前速度,车辆穿行的当前车道,附近的交通,识别道路的路肩区域(例如靠边停车区),并以安全的方式渐渐使车辆完全停下。
图9示出了一说明性流程图,其概述了根据本示教一实施例,由风险评估器230执行的示例性过程。该过程在步骤905处开始,其中,被考虑的车辆的驾驶者和/或乘员的活动(下面参照图10介绍)经由多种传感器被检测。
基于传感器检测到的信息和驾驶者检测模型(下面参照图10介绍),步骤910中的过程分析驾驶者/乘员状态。在步骤915中,确定车辆的当前运行状态。例如,图7所示的当前模式检测器760可检测车辆的当前运行模式。
过程进一步进行到步骤920,其中,执行查询,以确定车辆是否正运行在自动模式。如果对该查询的响应是肯定性的,该过程移动到步骤925,否则,如果车辆正在以手动模式运行,该过程移动到步骤930。
在步骤930中,该过程检测与运行在手动模式的车辆相关联的风险。如先前所介绍的,这样的风险的判断可以至少基于检测到的驾驶者的状态、包含在驾驶者档案中的信息、关于驾驶者正在运行的车辆的实时信息。必须明了,包含在驾驶者档案中的信息是静态驾驶者信息,其对应于驾驶者的特性,例如,驾驶者是否残疾、近视、驾驶者的医疗信息等,而与检测到的驾驶者状态有关的信息是基于驾驶者当前行为的动态信息。
回到步骤920,如果判断为车辆运行在自动模式,该过程移动到步骤925,并获得处于自动模式的车辆的运行状态。例如,该过程可确定车辆的位置、车辆行驶的当前速度以及类似的信息。通过一实施例,该过程可被配置为确定车辆正在运行的自动模式的级别(level)(下面参照图17B介绍)。
在确定了以自动模式(步骤935)或以人类驾驶模式(步骤930)运行车辆的相应风险时,该过程移动到步骤940。在步骤940中,执行查询,以确定是否需要异常处理,即,判断出的车辆的自动模式或人类驾驶模式的风险异常地高。如果对查询的响应是肯定性的,该过程移动到步骤950,其中,车辆以异常处理模式运行,执行先前介绍的异常处理功能中的至少一个。
然而,如果在步骤940中对查询的响应是否定的,该过程移动到步骤955,其中,生成风险评估报告。另外,如步骤960所示,所生成的风险评估报告可在包含在车辆内的显示面板上显示,和/或发送到用于监视目的的远程服务器。
图10示出了根据本示教一实施例的驾驶状态分析器710的示例性框图。驾驶者状态分析器710包含传感器致动器1010、多种原位(in-situ)传感器1020、驾驶者检测器1030、驾驶者检测模型1040、行为特征检测器1050、特征行为模型1060、驾驶者健康推定器1070、功能状态推定器1055、精神状态推定器1080以及当前用户状态生成器1090。
通过本公开一实施形态,驾驶者状态分析器710被配置为确定驾驶者的状态。确定状态使得能够以准确的方式预测驾驶者是否能够执行与操纵车辆有关的活动,由此能够避免任何潜在的危险情况。
通过一实施例,传感器致动器1010致动原位传感器1020,以检测驾驶者的状态。原位传感器1020包含多个传感器,包括视觉传感器、听觉传感器、嗅觉传感器、光传感器等,它们使得驾驶者状态的检测成为可能。例如,包含在原位传感器1020中的视觉传感器可包含车内的多个空间分布式照相机装置,它们能够处理和融合来自多种视角的景象的图像,成为比个体图像更加有用的某种形式。例如,视觉传感器可被配置为捕获驾驶者的姿态(即驾驶者座椅上,驾驶者的姿势/方位)。姿态信息可用于确定附加的信息,例如驾驶者头部相对于方向盘的位置,驾驶者看向的方向(基于驾驶者眼球追踪)等。原位传感器1020捕获的信息被输入到驾驶者检测器1030,例如,其基于驾驶者检测模型1040来确定驾驶者姿态。
由驾驶者检测器单元1030检测的信息——例如驾驶者的姿态——可被输入到行为特征检测器1050。行为特征检测器1050可被配置为基于特征行为模型1060来确定与检测到的驾驶者姿态相关联的特征。例如,驾驶者是否睡着、驾驶者是否打哈欠、驾驶者是否感到困倦和/或恶心等等特征可由特征行为检测器1050判断。
通过一实施例,检测到的驾驶者行为被输入到驾驶者健康推定器1070,其被配置为确定驾驶者的健康。通过一实施例,原位传感器可包括:布置在车辆驾驶者身上的多个传感器,例如可穿戴传感器;和/或包含在由驾驶者穿戴的装置(例如手表)内的传感器,其收集关于驾驶者健康的信息。这样的传感器可包括:例如,心率传感器,其被配置为确定驾驶者的心率;温度传感器,其被配置为检测驾驶者皮肤表面的温度,等等。关于驾驶者健康的信息被输入到当前用户状态生成器1090。
根据本公开一实施例,关于驾驶者行为的信息可输入到功能状态推定器1055和精神状态推定器1080。功能状态推定器1055也接收来自特征行为模型1060、驾驶者检测器单元1030以及原位传感器1020的附加输入,以确定驾驶者的功能状态。例如,功能状态推定器1055可被配置为基于检测到的驾驶者姿态/方位来确定驾驶者是否能以安全的方式运行车辆,即,驾驶者是否以可接受的方式发挥功能。
基于由功能状态推定器1055推定的驾驶者功能状态,精神状态推定器1080可被配置为确定驾驶者的精神状态是否正常。这样的信息可用于确定驾驶者是否能操纵车辆。精神状态信息可包括关于驾驶者是否正在经历危及生命的事件(例如突发疾病)的信息。必须明白,来自例如医用传感器(包括心率监视器等)等传感器的信息可由精神状态推定器1080用于确定驾驶者精神状态。由健康推定器1070、精神状态推定器1080以及功能状态推定器1055等模块推定的关于驾驶者的信息被输入到当前用户状态生成器1090,其对推定的健康相关信息进行合并,以确定用户当前的状态,即驾驶者状态信息。
图11示出了一说明性流程图,其概述了根据本示教一实施例由驾驶者状态分析器710执行的示例性过程。该过程在步骤1110中开始,其中,传感器致动器(图10中的1010)致动多个原位传感器,以便分别捕获关于车辆驾驶者的信息。在步骤1120中,驾驶者检测器在接收到来自相应的传感器的信息时使用驾驶者检测模型来检测驾驶者的状态(步骤1130)。具体而言,在步骤1103中,关于车辆驾驶者状态的信息——例如车内驾驶者的位置、驾驶者的姿态等——可基于驾驶者检测模型来确定。
于是,该过程进行到步骤1140,其中,检测驾驶者的行为特征。具体而言,在步骤1140中,基于在步骤1130中检测到的信息,行为特征模型可被用于检测行为特征,例如驾驶者是否睡着、困倦、恶心等。在步骤1140中检测到的行为特征可用于步骤1150、1160和1170,以便如前面参照图10介绍的那样分别推定驾驶者的功能状态、驾驶者的健康以及驾驶者的精神状态。
检测到的驾驶者功能状态、健康以及驾驶者精神状态可在步骤1180中用于生成驾驶者的总体状态。例如,当前驾驶者状态生成器(图10中的1090)可被用于确定驾驶者的总体状态,这种确定是基于检测到的驾驶者的精神、功能和健康信息的。
于是,该过程进行到步骤1190,其中,来自步骤1180的所生成的驾驶者状态可被输出,以便包含在当前模式风险报告生成器(图7中的740)中和/或由切换风险确定器和切换风险评估器使用,以便确定例如与车辆正在运行的当前模式相关联的风险。
图12示出了根据本示教一实施例的切换风险确定器240的示例性框图。切换风险确定器240包含切换方向控制器1210、自动到人类(A-H)模式切换风险确定器1230、A-H异常风险处理器1220、人类到自动(H-A)模式切换风险确定器以及H-A异常风险处理器1250。
作为输入,切换方向控制器1210接收当前车辆运行模式。基于当前模式,切换方向控制器1210致动A-H切换风险确定器1230和H-A切换风险确定器1240中的一个。如下面分别参照图14和17所介绍的,A-H切换风险确定器1230确定与从车辆的自动运行模式转换到人类驾驶者运行模式相关联的风险,而H-A切换风险确定器1240确定与从车辆的人类驾驶者模式转换到自动运行模式相关联的风险。
通过一实施例,A-H切换风险确定器1230和H-A切换风险确定器1240分别基于与切换车辆当前模式相关联的风险低于预定阈值水平的判断来生成车辆控制信号。车辆控制信号可分别由A-H切换风险确定器1230和H-A切换风险确定器1240发送到切换执行器(例如图2中的方框280),以指示车辆控制(图2中的260)执行相应的车辆运行模式切换。
另外,A-H切换风险确定器1230和H-A切换风险确定器1240分别生成下面的信号:A-H切换警示指令和H-A切换警示指令(下面分别参照图14和图17A介绍)。通过一实施例,A-H切换警示指令和H-A切换警示指令均与将由车辆驾驶者执行的一组任务相关联,使得车辆运行模式的成功切换能够发生。
然而,如果A-H切换风险确定器1230或H-A切换风险确定器1240判断为与车辆运行模式切换相关联的风险是不可接受的(即高风险模式),A-H切换风险确定器1230和H-A切换风险确定器1240分别致动A-H异常风险处理器1220和H-A异常风险处理器1250。如先前所介绍的,A-H异常风险处理器1220和H-A异常风险处理器1250可被一实施例配置为执行安全相关功能,例如,使车辆立即停下,向政府主管部门发起要求协助的呼叫(例如自动拨打911或呼叫路边协助,经由与车辆相关联的移动电话)、将车辆的GPS位置发送到监视特定车辆以及其他类似车辆的运行的服务器。必须明了,为了执行上面所述的使车辆完全停下的功能可能包括这样的处理步骤:例如,确定车辆的当前速度、车辆穿行的当前车道、附近的交通,识别道路的路肩部分(例如靠边停车区域),以安全的方式逐渐使车辆完全停下。
图13示出了一说明流程图,其概述了根据本示教一实施例,由切换风险确定器240执行的示例性过程。该过程在步骤1310处开始,其中,实时信息(前面参照图4介绍)由切换风险确定器获得。在步骤1315中,切换风险确定器接收关于驾驶者当前状态的信息。例如,切换风险确定器从图10中的当前驾驶者状态生成器1910获得驾驶者当前状态。
该过程进一步进行到步骤1320,其中,执行查询,以确定车辆是否意欲从运行车辆的自动模式切换到人类驾驶(A-H)模式,或是车辆意欲从运行车辆的人类驾驶切换到自动(H-A)模式。如果对该查询的响应是从自动模式切换到人类驾驶模式(即A-H切换),该过程移动到步骤1325。如果对该查询的响应是从人类驾驶切换到自动模式(即H-A),该过程移动到步骤1350。
在步骤1325中,切换风险确定器确定与执行从运行车辆的自动模式到人类驾驶模式的切换相关联的风险。如将在后面参照图14和图17B详细介绍的,在从自动模式切换到人类驾驶者模式时,向驾驶者呈现一组将要执行的推定任务,以便切换车辆的运行模式。基于驾驶者是否执行该组推定任务,A-H切换风险确定器240确定与将车辆切换到人类驾驶者模式相关联的风险。
此后,步骤1330中的过程执行查询,以便确定高风险是否与转换到人类驾驶模式相关联。如果对此查询的响应是肯定性的,该过程移动到步骤1345,其中,执行异常处理过程。然而,如果在步骤1330中对该查询的响应是否定的,该过程移动到步骤1335。
在步骤1335中,该过程生成A-H切换指令警示,其与在到车辆运行的人类驾驶模式的成功切换能够发生之前将由车辆驾驶者执行的一组任务相关联。此后,步骤1340中的过程生成(并输出)A-H车辆控制信号,以指示车辆的控制系统在驾驶者执行该组推定任务的同时执行切换操作。
类似于上面介绍的步骤1325到1345,步骤1350到1370中的切换风险确定器执行与从运行车辆的人类驾驶模式到自动模式的切换有关的功能。具体而言,在步骤1350中,切换任务确定器确定与执行从运行车辆的人类驾驶模式到自动模式的切换相关联的风险。
于是,该过程移动到步骤1355,其中,做出查询,以确定高风险是否与到运行车辆的自动模式的转换相关联。如果对该查询的响应是肯定性的,该过程移动到步骤1370,其中,执行异常处理过程。然而,如果在步骤1335中对该查询的响应是否定性的,该过程移动到步骤1360。
在步骤1360中,该过程生成H-A切换指令警示,其与在到运行车辆的自动模式的成功切换能够发生时将由车辆驾驶者执行的一组任务相关联。此后,该过程在步骤1365中生成(并输出)H-A车辆控制信号,以指示车辆控制系统执行到自动运行模式的切换。
图14示出了根据本示教一实施例,自动模式到人类驾驶者/手动(A-H)模式切换风险确定器1230的示例性框图。如前面所述,A-H切换风险确定器1230被配置为确定与将车辆的运行模式从自动模式切换到人类驾驶者运行模式相关联的风险。如图14所示,A-H切换风险确定器1230包含驾驶者档案1410、通用响应时间档案1420、响应时间推定器1430、切换任务推定器1460、切换任务模型1415、切换风险推定器1440以及A-H警示指令生成器1450。
通过本公开一实施例,基于与运行车辆的当前模式(即,参照图14的自动模式)相关联的风险程度/等级,A-H切换任务确定器1230确定车辆应当转换到人类驾驶模式以避免危险场景的时间量。例如,考虑车辆正在沿着浓雾覆盖的道路以自动模式驾驶的情况。在这种情况下,车辆的传感器可能不能准确检测附近的车辆,因此,继续以自动模式运行车辆可能不可行。基于与自动运行模式相关联的风险(例如,基于实时雾况、该区域的交通量等所确定的),A-H切换风险确定器1230可确定到运行车辆的人类模式的转换应当出于安全考虑做出的时间量。
另外,作为输入,切换任务推定器1460接收当前乘员状态、实时数据和实时车辆数据。如先前参照图4和图5所介绍的,实时数据包含车辆的内在和外在性能,而实时车辆数据包括关于汽车位置的信息、车辆当前位于的环境、能见度、车辆的在役服务信息(in-service information)等。通过一实施例,基于所接收的输入,并且根据切换任务模型1415,切换任务推定器1460确定将由驾驶者执行的一组任务,该组任务使得车辆运行模式从自动到人类驾驶者模式的切换成为可能。另外,通过一实施例,切换任务推定器1460接收当前驾驶者状态,并确定驾驶者是否能执行任何任务。例如,如果驾驶者状态是完全不警觉、晕倒等,切换任务推定器可向切换风险推定器发信号表示与将车辆运行模式切换到人类驾驶模式相关联的高风险,并因此指示切换风险推定器1440实现如前面所介绍的异常处理过程。
在切换到车辆的手动运行模式之前,可能需要判断,以验证驾驶者是否能够运行车辆。这样的判断可包括验证驾驶者的姿态,确定驾驶者的警醒程度等。通过一实施例,驾驶者的警醒程度可通过向驾驶者施加一系列的任务并判断驾驶者是否以令人满意的方式执行所指示的任务来判断(其中,例如,这些任务可以以指令的形式显示在车内包含的显示面板上)。这些任务可包括指示驾驶者执行车道变换、在车辆显示器面板上显示对象(例如闪烁的图标)以及跟踪驾驶者眼睛的移动,以便确定警醒程度等。另外,可能需要一定量的时间来确定驾驶者的健康度(例如,经由医学传感器,例如测量驾驶者关键指征的血压、心率监视器等,其由包含在车辆系统内的传感器(下面参照图24介绍)处理)。
另外,基于由切换任务推定器1460接收的实时信息,一组任务可被推定,用于由驾驶者执行,以便成功地将车辆转换到人类驾驶者模式。必须明了,由切换任务推定器1460根据切换任务模型1415推定的该组任务不限于上面介绍的任务。
如图14所示,切换任务推定器1460的输出,即,将要(例如,由车辆的人类驾驶者)执行以初始化到车辆运行的手动模式的切换的推定任务被输入到响应时间推定器1430。响应时间推定器1430推定车辆驾驶者执行该组推定任务需要的时间量。具体而言,响应时间推定器1430推定驾驶者完成由切换任务推定器1460推定的各项任务需要的时间量。通过一实施例,响应时间推定器1430基于当前乘员状态、驾驶者档案1410以及通用响应时间档案1420来推定执行任务需要的时间量。必须明了,如前面所介绍的,可以从当前状态生成器(图10中的1090)获得当前乘员状态,当前状态生成器被包含在驾驶者状态分析器(即图7中的方框710)中.
驾驶者档案1410可包含关于驾驶者的驾驶历史的信息,例如驾驶者在预定的在前时间段内涉入的违章次数、驾驶者正在运行的车辆的型号以及驾驶者的特性,例如驾驶者是否残疾、近视等等。另外,驾驶者档案1410可包括驾驶者警醒度评分,该评分可基于先前的从自动到手动模式的模式切换操作以及驾驶者在那些切换操作中执行该组推定任务需要的对应时间来计算。另外,来自通用响应时间档案1420的信息(例如,其包含由其他驾驶者(具有与当前驾驶者类似的档案)在执行该组推定任务时耗用的时间量)可由响应时间推定器1430用于推定(当前驾驶者)执行该组推定任务所需要的时间量。
通过一实施例,如图16所示,执行该组推定任务需要的响应时间可基于驾驶者的生理信息(例如,驾驶者的当前姿势或姿态)、用户/驾驶者信息(例如先前转换手动运行模式需要的时间,驾驶者的状态等)、外在因素(例如道路状况、道路可见度、道路上的交通量)以及车辆的内在因素(例如车辆的可允许速度、车辆的容许安全性、车辆的状况(例如车辆缺陷数量))等等来确定。
推定的将要执行的一组任务以及推定的执行任务的对应响应时间被输入到切换风险推定器1440。通过一实施例,切换风险推定器1440将推定的执行任务所需时间(TE)与车辆应当转换到不同模式(当前实施例中的人类驾驶者模式)的时间量(T)进行比较。必须明了,执行该组任务的推定时间由通用响应时间档案1420确定。如果推定的时间(TE)大于(T),切换风险推定器1440生成高风险控制信号,该信号指示与转换到手动运行模式相关联的风险高,即切换到人类驾驶者模式的风险高。在这种情况下,A-H切换任务确定器1230可执行前面介绍的异常处理操作。然而,如果推定时间(TE)低于(T),切换风险推定器1440致动A-H切换指令生成器1450。A-H切换指令生成器1450生成A-H切换警示指令信号,该信号与将要由车辆驾驶者执行以成功将车辆运行模式切换到人类驾驶模式的该组任务相关联。
回到图15,示出了根据本公开一实施例的说明性流程图,其概述了由(A-H)模式切换风险确定器执行的示例性过程。该过程在步骤1510中开始,其中,(A-H)切换模式风险确定器接收实时信息,其包括车辆的内在和外在性能以及实时车辆数据。
于是,该过程移动到步骤1520,在那里,(A-H)切换模式风险确定器推定将要由人类驾驶者执行以便将车辆运行模式成功切换到人类驾驶模式的一组任务。注意,通过一实施例,该组任务可根据切换任务模型,基于接收到的实时信息来推定。
在步骤1530中,推定响应时间,即,车辆驾驶者完成该组任务中的每一个所需要的时间量。必须明了,响应时间可以如前面参照图14介绍的那样基于驾驶者档案、当前驾驶者状态和通用响应时间档案中的至少一个来计算。
该过程进一步进行到步骤1540,其中,确定与将车辆运行模式切换到人类驾驶模式相关联的风险。如前所述,切换风险可以基于执行该组任务的总推定时间与车辆应当转换到该不同模式(例如,人类驾驶者模式)的时间(其基于与以当前模式(例如自动模式)运行车辆相关联的风险等级来确定)的比较来确定。
下面,步骤1550中的过程执行查询,以判断(在步骤1540中)所确定的风险是不是高。例如,做出判断,以验证步骤1540所确定的风险是否违反特定判据,例如,TE是否大于T。如果步骤1550中对查询的响应是肯定性的,该过程进行到步骤1570,否则,该过程进行到步骤1560。
在步骤1560中,响应于步骤1540中所确定的风险不违反判据(即TE低于T)的情况,该过程生成A-H切换警示指令信号,该信号进一步在步骤1580中使用,以便向车辆的驾驶者输出(例如在面板上显示)该组推定的任务。关于向驾驶者呈现该组任务的细节在后面参照图19和21更为详细地介绍。然而,如果步骤1550中的风险被判断为高,该过程在步骤1570中执行如前面所介绍的异常处理步骤。
图17A示出了根据本示教一实施例的人类驾驶者到自动(H-A)模式切换风险确定器的示例性框图。如前所述,H-A切换风险确定器1240被配置为确定将车辆的运行模式从车辆的手动模式切换到自动模式的风险。如下面所介绍的,基于所推定的切换车辆运行模式的风险,(H-A)切换模式风险确定器1240确定(从人类驾驶者模式)切换到运行车辆的自动模式是否可行。
如图17A所示,H-A切换风险确定器1240包含切换任务确定器1710、切换时间推定器1720、自动接管风险推定器1750、自动接管任务模型1730、车辆模型1740、H-A警示指令生成器1760以及控制信号生成器1770。作为输入,切换任务确定器1710接收实时数据、实时车辆数据以及当前驾驶者状态。如前面参照图4和图5所介绍的,实时数据包括车辆的内在和外在性能,而实时车辆数据包括关于车辆位置的信息、车辆当前行驶的环境、环境可视度、车辆在役服务信息以及类似信息。另外,作为输入,切换任务确定器1710接收当前乘员状态,其如前面在图10中介绍的那样由用户状态生成器生成。
基于所接收的输入,切换风险确定器1710使用自动接管任务模型1730来生成一组任务,该组任务将在自动运行模式下(例如由车辆)执行。例如,通过一实施例,该组任务可以包括控制车辆速度(即,基于附近的交通,减小或增大车辆速度)、控制车辆的可操纵性(即,控制车辆的方向盘的功能性)、改变车辆当前行驶的车道、确定(出于安全目的)车辆位置是否处于限制自动驾驶的地带(例如某些地理位置,如学校区、高速公路上的特定区域,像是收费站等)。必须明了,各个上面所说的将在自动模式中执行的任务可以与这样的任务相关联:该任务将由车辆驾驶者执行,以保证从运行车辆的人类驾驶模式到自动模式的平滑转换。例如,将由驾驶者执行的任务可包括将驾驶者的脚从加速器和/或制动器移开,因为车辆将要在自动运行模式下以自动的方式受到控制。可能需要由驾驶者执行的另一任务可包括驾驶者将手从方向盘移开,以便将车辆操纵性的控制让渡给自动系统。
通过本公开一实施例,H-A切换风险确定器1240观察驾驶者的当前状态,以判断驾驶者是否能够执行任何在上面提到的任务。例如,如果判断为车辆的驾驶者完全失去知觉,H-A切换风险确定器1240可发起车辆自动功能的立即接管,即,车辆将以立即自动模式运行。必须明了,如果车辆的完全立即接管不可行,H-A切换风险确定器1240可执行如下所述的异常处理过程。
通过一实施例,所确定的任务的序列、驾驶者状态以及当前车辆数据被输入到切换时间推定器1720。基于接收的输入,切换时间推定器1720使用车辆模型1740来推定由车辆和/或对应地由车辆驾驶者执行相应的所确定任务所需要的时间量。通过一实施例,车辆模型1740包含关于当前车辆的先前运行的信息,例如,车辆将其速度从第一运行速度改变到第二运行速度所需要的平均时间量、车辆改变其运行车道所需要的时间量(其可基于附近的交通)、车辆控制车辆操纵性所需要的时间量,等等。因此,通过一实施形态,根据车辆模型1740,切换时间推定器1720使用实时信息来推定车辆执行特定任务所需要的时间。
通过一实施例,切换时间推定器1720推定由车辆和/或对应地由车辆驾驶者执行所有相应的所推定任务需要的总时间。总推定时间被输入到自动接管风险推定器1750。作为输入,自动接管风险推定器1750接收自动接管控制信号,其可由图12的切换方向控制器1210生成。具体而言,当切换方向控制器(图12中的1210)判断为到自动运行模式的转换将要进行时,自动接管控制信号致动自动接管风险推定器1750。自动接管风险推定器1750评估与转换到车辆的自动运行模式相关联的风险。
通过一实施例,与切换到自动模式相关联的风险可基于与车辆当前运行模式相关联的风险等级/程度来确定。例如,类似于前面参照A-H切换风险确定器提供的介绍,H-A切换风险确定器确定与以人类驾驶者模式运行车辆相关联的风险等级。基于该风险等级,H-A切换风险确定器获得车辆出于安全考虑应该切换到自动运行模式的时间量。另外,基于(例如由车辆)执行任务所需要的推定时间与车辆应当切换运行模式的时间量的比较,自动接管风险确定器1750可计算与将车辆切换到自动模式相关联的风险。
基于评估的风险在可接受范围内,自动接管风险推定器1750致动H-A警示指令生成器1760和控制信号生成器1770。通过一实施例,H-A警示指令生成器1760生成H-A切换警示指令信号,由此,向驾驶者指示车辆将要立即转换到自动运行模式。另外,用户警示指令生成器1760可使用音频/视频机制(下面参照图19和21来介绍)来向驾驶者指示将要执行、以便将车辆成功转换到自动运行模式的任务。
如上所述,必须明了,在当前实施例中,将要由车辆驾驶者执行的各个功能/任务对应于将在自动运行模式中执行的任务。另外,如果由自动接管任务模型1730确定的任务中的一个是减小车辆速度,那么,这样的任务可对应于驾驶者将他/她的脚从油门踏板移开。H-A切换警示指令信号的执行在下面参照图19详细介绍。另外,接管任务推定器1750触发控制信号生成器1770,以生成将要发送到切换执行器(例如,图2中的单元280)的车辆控制信号。切换执行器又致动车辆控制系统(图2中的单元260),其指示到自动运行模式的切换正在执行。必须明了,如果风险推定器1750判断为与转换到自动模式相关联的风险是不可接受的,风险推定器1750可向控制信号生成器1770发信号,以指示切换执行器280执行异常处理。
另外,通过一实施例,当与转换到自动模式相关联的风险不可接受时,在执行异常处理功能之前,风险推定器1750可执行多种附加的功能。例如,代替如上所述的从运行车辆的人类驾驶者模式切换到完全自动模式的是,H-A切换风险确定器可确定与将车辆从运行车辆的人类驾驶者模式切换到低水平的自动模式相关联的风险。
图17B提供了根据本示教一实施例,基于六种不同水平(范围从完全手动到完全自动系统)的多种车辆运行模式的分类。该分类可基于所需要的驾驶者干预和关注的量。如图17B所示,存在六种车辆运行模式/层次:
·模式0,其中,自动系统发出警示,但没有车辆控制。
·模式1(下面也称为“动手(hands-on)”模式)是车辆的驾驶者和自动系统共享车辆控制的模式。例如,驾驶者控制转向功能且自动系统控制车辆速度的适应性巡航控制(ACC)是模式1运行的实例。另外,例如泊车辅助(其中,转向是自动的,而速度是手动的)以及车道保持辅助(LKA)等特征是车辆的模式1运行的实例。在模式1运行中,驾驶者必须准备好随时重新取得对车辆的完全控制。
·模式2(这里也称为“离手(hands-off)”模式)是自动系统占据车辆完整控制(加速,制动和转向)的运行模式。驾驶者监视驾驶,并预期随时准备好在自动系统不能适当响应的情况下立刻加以干预。
·模式3(也称为“离眼”模式)是驾驶者可安全地将他/她的注意力从驾驶任务转移开的模式,例如,驾驶者可以发短信或看电影。车辆处理要求立即响应的情况,例如紧急制动。在这种模式下,驾驶者仍然必须准备好在车辆要求这样做的时候在由制造商规定的某个有限的时间范围内加以干预。当由人类驾驶者致动时,车辆取得以最大为60公里每小时的速度对缓慢移动的交通的驾驶的所有方面的完全控制。在某些实例中,车辆被编程为仅仅在具有分隔对向交通的物理屏障的高速公路上以这种模式运行。
·模式4(这里也称为“离心”模式)类似于模式3,但甚至不再为安全性目的需要驾驶者关注,即,驾驶者可安全入睡或离开驾驶者座椅。通过一实施例,自动驾驶性能仅仅在有限区域中或在特定情况下得到支持,例如交通堵塞。这些区域或情况以外,车辆必须能够安全中止旅程,即,将车辆停下,如果驾驶者不重新取回控制的话。
·模式5(这里也称为“方向盘可选”模式)中,不需要人类干预。因此,如前面所述,通过一实施例,驾驶模式切换单元130可被配置为将车辆的运行模式从上面介绍的模式之一切换到另一模式。
因此,通过一实施例,H-A切换风险确定器可确定与从人类驾驶者模式切换到图17B所示所有水平的自动模式关联的风险。必须明了,相比于切换到完全自动水平,切换到较低水平的车辆自动控制可能需要车辆自动系统执行较少数量的任务。然而,较低水平的自动控制可能需要驾驶者的更大的警醒水平。
回到图18,示出了根据本公开一实施例的说明性流程图,其中概述了由(H-A)切换模式风险确定器执行的示例性过程。该过程在步骤1810处开始,其中,(H-A)切换模式风险确定器接收实时信息,包括当前驾驶者状态、车辆的内在与外在性能以及实时车辆数据。
该过程于是移动到步骤1820,其中,(H-A)切换模式风险确定器根据自动接管任务模型来推定在将车辆运行模式切换到自动模式时将要由车辆执行的一组任务。另外,在步骤1820中,也可推定将由车辆驾驶者执行的一组对应的任务。
在步骤1830中,推定响应时间,即完成推定的该组任务需要的时间量。必须明白,响应时间可基于车辆模型来推定。另外,在步骤1840中,H-A切换风险确定器可确定执行到运行车辆的自动模式的切换的紧急性。这样的确定可以基于与运行车辆的人类模式相关联的极高风险(其可基于车辆当前状态(例如驾驶者失去知觉)来确定)来作出。另外,在步骤1840中,H-A切换风险确定器可确定与将车辆切换到自动运行模式相关联的风险。
基于所确定的与将车辆切换到自动模式相关联的风险(在步骤1840中)没有违反判据,该过程在步骤1850中生成H-A切换警示指令信号和控制信号(在步骤1860中),以便向车辆系统指示车辆将被切换到自动运行模式。
另外,该过程在步骤1870中输出在步骤1850和1860中所生成的信号.另外,切换警示指令信号可被输出(例如在显示面板上),以显示将要由车辆驾驶者执行的该组推定任务。关于向驾驶者呈现该组任务的细节在下面参照图19和21更为详细地介绍。
图19示出了根据本示教一实施例,包含在车辆系统的驾驶模式切换单元(图1中的方框130)中的切换警示控制单元250的示例性框图。切换警示控制单元250包含警示指令分析器1910、车辆型号1920、用户档案1930、警示时间确定器1950、警示内容确定器1940、警示介质确定器1970、任务/警示配置模型1960、多个多模态介质模型1980以及多模态警示指令生成器1990。
通过一实施例,警示指令分析器1910接收与车辆运行模式的从自动到人类驾驶(A-H)模式的切换或从人类驾驶到自动(H-A)模式的切换对应的警示指令信号。具体而言,警示指令分析器1910接收来自A-H切换指令生成器(图14中的方框1450)的A-H切换警示指令信号和来自H-A切换指令生成器(图17中的方框1760)的H-A切换警示指令信号中的一个。必须明了,A-H切换警示指令和H-A切换警示指令信号各自对应于一组任务,这组任务将被执行,以便切换车辆的运行模式。另外,警示指令分析器1910获得对完成各个任务所需时间的推定(这里称为任务持续时间)。
警示指令分析器1910将各个分析的任务输入到警示时间确定器1950。警示时间确定器1950确定执行警示操作需要的时间量(这里称为警示持续时间)。具体而言,警示持续时间对应于这样的时间段:警示性提示被呈现给车辆驾驶者,以确保驾驶者适时地执行对应的任务。通过一实施例,对于各个任务的警示持续时间基于驾驶者的当前状态来确定。另外,各个任务的警示持续时间可以基于驾驶者的当前状态调节。关于调节各任务的警示持续时间的细节在下面参照图20B介绍。
例如,考虑具有30秒任务持续时间的任务,即车辆驾驶者预期在30秒内完成任务。在这种情况下警示时间确定器1950可判断为10秒的警示持续时间将用于向驾驶者提供警示性提示,由此向驾驶者通知将要执行的对应的任务。通过一实施例,警示持续时间是任务持续时间的一部分。具体而言,参照上面的实例,10秒的警示时间(在30秒的时间窗口内)被呈现给驾驶者(例如在该时间窗口的开头),以便通知驾驶者在30秒的推定窗口内执行任务。必须明了,在判断为驾驶者尚未执行所分配的任务时,具有10秒的初始持续时间的警示时间可延长到例如15秒。
因此,如上所述,警示时间确定器1950可基于驾驶者的当前状态为各个任务确定警示持续时间。例如,考虑期望驾驶者执行特定任务的情况,且驾驶者状态分析器(图7)判断为驾驶者并非完全警醒(例如打哈欠,困倦等)。在这样的情况下,警示时间确定器1950可确定为,与驾驶者状态分析器判断为驾驶者完全警醒相比,具有更长的警示持续时间。必须注意,完成特定任务的任务持续时间由切换时间推定器(例如图17中的1720)基于驾驶者状态来推定。
对于各个任务,警示时间确定器1950将各个任务以及与任务相关联的警示持续时间输入到警示介质确定器1970和警示内容确定器1940。另外,作为输入,警示介质确定器1970接收关于车辆型号1920的信息、对应于运行车辆的驾驶者的用户档案1930以及车辆驾驶者的当前状态。通过一实施例,警示介质确定器1970被配置为(从多介质模型1980的池中)选择将要用作向驾驶者提供警示的平台的至少一个介质。具体而言,警示介质确定器1970将各个任务与用于警示驾驶者执行相应任务的所述至少一个介质1980相关联。
通过一实施例,所选择的介质可基于驾驶者的偏好来确定。驾驶者的偏好可预先确定并先验地存储在驾驶者档案1930内。作为附加或作为替代的是,所选择介质的类型可以基于驾驶者的状态确定。例如,如果驾驶者处于打哈欠的状态(如图7中的驾驶者状态分析器方框710确定的),可视介质(即显示器)和/或可听介质形式(即扬声器)可用于警示驾驶者。相反,如果驾驶者正在睡觉或是极度困倦,所选择的介质形式可包括振动机制(即触觉响应)和/或其他介质形式的组合。作为另一实例,如果用户/驾驶者档案1930指示车辆驾驶者有听力损伤,则警示介质确定器1970可避免使用听觉源来警示驾驶者。在这样的方案中,警示介质确定器1970可使用振动介质和/或显示介质来警示驾驶者。必须明了,可用于警示介质确定器1970的若干个介质源1980经由驾驶者当前运行的车辆型号1920来确定。必须明了,图19所示的可选择声音源可对应于任何能选择为警示目的非语音声音,例如警笛,而音频可具体对应于任何语音相关的可听信号。通过本公开一实施例,可选择的声音源和音频源可被独立选择并用于构成多模型增强警示。
通过一实施例,警示内容确定器1940确定与各个任务相关联的警示内容。例如,对于显示型的介质,内容可对应于将在车辆显示面板上显示的具体消息。所显示的消息用作对于车辆驾驶者的警示。以类似的方式,音频内容可对应于将经由包含在车辆中的音频系统来播放的内容。与警示的音频或视频模式有关的内容也可包括分贝水平(即音频消息应当有多响)、呈现警示的频率、面板上的显示消息的亮度、消息是否以例如闪烁等效果显示以及类似的信息。
关于振动型介质警示,警示内容确定器1940可确定振动的量级。例如,如果警示驾驶者的振动模式包括向方向盘或驾驶者座位提供振动,警示内容确定器可确定将向驾驶者施加的相应的振动的量级。如图19所示,警示内容确定器1940也可使用任务/警示配置模型1960来将各个任务与至少一个介质源相关联,并将警示呈现给驾驶者。
另外,将用于警示目的的介质源的类型(如由警示介质确定器1970所确定的)以及警示内容(如由警示内容确定器1940所确定的)被输入到多模态警示指令生成器1990。在接收到来自警示内容确定器1940和警示介质确定器1970的输入时,多模态警示指令生成器1990生成将由驾驶者执行的任务的序列。
通过一实施例,多模态警示指令生成器1990也被配置为生成任务的警示计划,用于提示驾驶者。具体而言,多模态警示指令生成器1990确定将把任务呈现给驾驶者的序列。例如,多模态警示指令生成器1990可基于各个任务的任务持续时间生成计划,其中,具有最大任务持续时间的任务被首先呈现给驾驶者。作为替代的是,多模态警示指令生成器1990可首先向驾驶者呈现具有最小任务持续时间的任务。另外,多模态警示指令生成器1990可基于与各个任务相关联的关键性评分(critical score)(即优先级)生成任务计划。任务的关键性评分对应于执行该任务的紧迫度等级。例如,在转换到运行车辆的自动模式时,例如将驾驶者的脚从油门踏板移开的任务可被看作相比于例如在切换车辆运行模式之前改变车道的任务更为重要。在这样的场景下,多模态警示指令生成器1990可生成一计划,其中,将驾驶者的脚从踏板移开的任务(即具有较高优先级的任务)首先被呈现给驾驶者。下面参照图21给出对执行多介质警示指令的详细介绍。
图20A示出了一说明性流程图,其概述了根据本示教一实施例,由切换警示控制单元250执行的示例性过程。该过程在步骤2010处开始,其中,切换警示控制单元接收A-H切换警示指令和H-A切换警示指令中的一个。
在步骤2020中,该过程分析所接收的切换警示指令信号,以获得一组任务中的各个任务的任务持续时间(步骤2030)。注意,如前面所述,各个任务有着这样的推定时间(即任务持续时间):在该时间内,任务必须执行。该过程在步骤2040中确定对于各个任务的警示持续时间,即,执行对于该任务的警示操作需要的时间。必须明了,各个任务的警示持续时间可基于驾驶者的当前状态来确定。另外,警示持续时间可基于驾驶者状态来调节。
于是,该过程移动到步骤2050,其中,切换警示控制单元确定将与各个任务相关联的警示内容。例如,如前面参照图19介绍的,警示内容确定器1940确定将与各个任务相关联的警示内容。另外,在步骤2060中,切换警示控制单元从多个介质源中选择将要用于警示驾驶者的至少一个介质。
在确定了将与各个任务相关联的内容和介质(步骤2050和2060)时,步骤2070中的切换警示控制单元生成用于提示驾驶者的任务的警示计划。具体而言,如前面参照图19所介绍的,切换警示控制单元的多模态警示指令生成器1990确定这样的序列:任务将以该序列呈现给驾驶者。
现在转到图20B,其示出了示例性任务计划2800,其中描绘了用于警示车辆驾驶者执行计划中的任务的不同介质。根据本示教一实施例,为简化起见,图20B示出了包括三个任务(分别是任务1,任务2,任务3)的计划。任务计划2800包含具有量值为|t1-t0|的任务持续时间2081a的第一任务、具有量值为|t2-t1|的任务持续时间2081b的第二任务以及具有量值为|t3-t2|的任务持续时间2081c的第三任务。注意,通过本公开一实施例,任务持续时间基于车辆当前驾驶者状态来推定。
另外,图20B示出了用于提示车辆驾驶者以执行相应任务的至少一个警示介质(来自一组四个介质源2085a、2085b、2085c和2085d)。例如,如图20B所示,介质1(2085a)用于警示驾驶者执行任务1,介质2(2085b)和介质3(2085c)用于警示驾驶者执行任务2,介质4(2085d)用于警示驾驶者执行任务4。各个任务的警示持续时间如下所示:第一警示持续时间2083a与任务1相关联,并具有|w0-t0|的时间量值,其中,介质1被选择为警示驾驶者执行任务1。注意,介质1的致动持续警示持续时间2083a,以警示驾驶者执行任务1。类似地,对于任务2,介质2和介质3的组合(2085b和2085c)被选择为警示驾驶者执行任务2。注意,介质2和3同时致动达警示持续时间2083b(即具有量值|w1-t1|),以警示驾驶者执行任务1。以类似的方式,第三警示持续时间2083c与任务3相关联并具有时间量值|w2-t2|,其中,介质4被选择为警示驾驶者执行任务3。
必须明了,警示持续时间2083a到2083c在X轴上沿时间、在Y轴上按强度绘制。例如,特定警示持续时间的高度对应于用于警示目的的介质源的强度等级。例如,对于音频型介质,强度可对应于音量等级,对于显示型介质,强度可对应于呈现给驾驶者的显示消息的亮度等级。
另外,如参照任务2所示,多种介质可用于向驾驶者警示将要执行的相应的任务。注意,用于警示驾驶者执行必要任务的多种介质可以同时呈现,如图20B所示,和/或可以以相继的方式呈现(即,一个接一个)。另外,如前所述,各个任务的警示持续时间可基于驾驶者的状态进行配置。如图20B所示,箭头2087a到2087c以及2089a到2089c指示用于警示驾驶者执行任务的各个介质类型的警示持续时间可以基于检测到的驾驶者状态增大。
例如,如果观察到在呈现警示时,驾驶者尚未执行任务,警示的持续时间可被调节。以类似的方式,用于警示驾驶者执行相应任务的介质类型的强度也可如箭头2089a到2089c所示地调节。必须明了,在使用多种介质源警示驾驶者执行任务时(例如,如图20B对于任务2所示),警示持续时间以及各个介质类型的强度可以以独立的方式受到控制。另外,通过一实施例,各个任务的警示持续时间优选为对应的任务持续时间的一部分。必须注意,特定任务的警示持续时间可具有比对应的任务持续时间略小的最大持续时间(假设车辆驾驶者执行任务需要一小段时间)。另外,如前面所说的,如果车辆的驾驶者未在推定任务持续时间内执行特定任务,车辆控制能终止切换车辆模式的操作,相反,初始化异常处理过程。
图21示出了根据本示教一实施例的多模态切换警示单元140的示例性框图。多模态切换警示单元140包含多模态警示指令分析器2110、时间控制模型2105、多个介质生成器2120、多个多模态介质模型2130、多模态警示协调器2140、多模态警示递送单元2150、警示效果监视器2160以及警示指令修改器2170。
多个多模态介质模型2130至少包括可选择声音介质2130-1、振动介质2130-2、灯2130-3、可视介质2130-4、增强可视介质2130-5以及音频介质2130-6。通过一实施例,包含在多模态介质模型2130中的各个介质包括对应的介质生成器,其被配置为选择和致动对应的介质。例如,如图21所示,所述多个介质生成器2120至少包括警示声音生成器2120-1、振动信号生成器2120-2、警示灯光生成器2120-3、可视警示信号生成器2120-4、增强可视效果生成器2120-5以及音频警示信号生成器2120-6。
作为输入,多模型警示指令分析器2120接收多模型警示指令,其由前面参照图19介绍的切换警示控制单元250生成。多模型警示指令分析器2110被配置为对该组指令进行分析,其中,各个指令可与将由车辆驾驶者执行的多个任务相关联。注意,多模型警示指令分析器2110接收的各个指令包括任务的计划(由图19的切换警示控制单元250确定),这些任务将被呈现给驾驶者,以便执行。
通过一实施例,多模态警示指令分析器2110使用时间控制模型2105来致动(在由任务组的计划确推定的特定的时间)至少一个介质生成器2120-1到2120-6,其被配置为致动与该任务相关联的对应介质。注意,具体任务可与多个介质源相关联。例如,如果将要执行的预期驾驶者功能是驾驶者将他/她的脚从踏板移开,对应的警示可通过使用可视和音频介质源二者呈现给驾驶者。
相应地,对于各个任务,所选择的介质与任务计划一起被输入到多模态警示协调器2140。多模态警示协调器2140协调与特定任务相关联的所有介质的致动,并确保相应的介质保持致动达到与和该任务相关联的警示持续时间对应的持续时间。另外,多模态警示递送单元2150通过使用致动的介质源并将警示呈现给驾驶者来执行警示指令。
通过一实施例,多模态切换警示单元140包含警示效果监视器2160,其被配置为判断在向驾驶者呈现特定警示时,驾驶者是否正在执行(或已经执行)与警示相关联的特定任务。例如,警示效果监视器2160可使用布置在车辆中的多个传感器来捕获关于驾驶者是否已经执行任务的信息。例如,考虑驾驶者被警示将他/她的脚从油门踏板移开的任务,警示效果监视器可使用传感器(例如位移传感器)来判断驾驶者是否已经将他/她的脚从油门踏板提开。
通过一实施例,由所述多个传感器捕捉的信息可被输入到警示指令修改器2170。警示指令修改器2170被配置为修改/调节与任务的警示相关联的参数。例如,如果警示效果监视器2160判断为驾驶者尚未将他/她的脚从油门踏板移开,指令修改器2170可增大用于向驾驶者提供警示的音频源的分贝等级。作为附加的是,通过一实施例,警示指令修改器2170可使用多模态介质模型2130来并入将要用于重新警示驾驶者执行任务的附加源。因此,警示指令修改器2170将更新指令反馈回到多模态警示指令分析器,其重复警示指令的执行。必须明了,在将警示呈现给驾驶者以执行所分配的任务时,多模态切换警示单元140监视驾驶者以判断任务是否正在适时地执行。如果观察到驾驶者没有在推定的任务持续时间内执行所分配的任务,车辆可向驾驶模式切换单元130提供反馈(参照图1),以执行异常处理过程。
转到图22,示出了一说明性流程图,该流程图概述了由多模态切换警示单元140执行的示例性过程。该过程在步骤2210中开始,其中,多模态切换警示单元140接收多模态警示指令。在步骤2220中,多模态切换警示单元对多模态警示进行分析,以获得与各个指令相关联的任务的计划。
该过程进一步进行到步骤2230,其中,基于为各个任务选择的介质(即由图19中的警示介质确定器1970选择的),多模态切换警示单元140使用时间控制模型来选择至少一个介质生成器2120-1到2120-6,其被配置为致动与任务相关联的对应的介质。通过这种方式,与任务相关联的警示信号被生成并被发送到多模态切换警示单元140的警示协调器。
另外,该过程在步骤2240中使用多模态切换警示单元140的警示协调器来协调与特定任务相关联的所有介质的致动。另外,在步骤2250中,所生成的警示被递送给驾驶者。
该过程于是移动到步骤2260,其中,多模态切换警示单元观察警示的效果。如前所述,多模态切换警示单元收集来自多个传感器的信息,以观察呈现给用户的警示是否被遵循。另外,该过程在步骤2270中基于步骤2260的观察来判断计划的任务是否完成。
响应于驾驶者没有完成计划任务,多模态切换警示单元140在步骤2280中修改指令。具体而言,多模态切换警示单元140修改/调节与任务警示相关联的参数。另外,多模态切换警示单元140可通过将附加的介质关联到警示指令来修改任务。通过这种方式,修改的警示(步骤2280的)被反馈到多模态切换警示单元140,用于重新呈现给车辆的驾驶者。注意,如果特定的任务没有在对应的任务持续时间内完成,可初始化如前面所介绍的异常处理过程。
图23示出了可用于实现实施本示教的特定系统的移动装置2300的架构。此移动装置2300包括但不限于智能电话、平板电脑、音乐播放器、手持式游戏机、全球定位系统(GPS)接收器和可穿戴计算装置(例如眼镜、腕表等),或者出于任何其他的形态。此实例中的移动装置2300包括:一个或多于一个的中央处理单元(CPU)2340;一个或多于一个的图形处理单元(GPU)2330;存储器2360;通信平台2310,例如无线通信模块;存储器2390;一个或多于一个的输入/输出(I/O)装置2350;用于基于视觉的呈现的显示器或投影仪2320-a;以及,一个或多于一个的多模态接口通道3020-b。多模态通道可包括听觉通道或用于发信号或通信的其它介质通道。任何其他合适的部件——包括但不限于系统总线或控制器(未示出)——也可包括在移动装置2300中。如图23所示,移动操作系统2370(例如iOS、Android、WindowsPhone等)以及一个或多于一个的应用2380可从存储器2390载入到存储器2360中,以便由CPU 2340执行。
为了实现本公开中介绍的多种模块、单元及其功能,计算机硬件平台可用作用于这里介绍的一个或多于一个元件的硬件平台。硬件元件、操作系统和这种计算机的编程语言在性质上是传统的,且假设本领域技术人员足够熟悉它们,以便使这些技术适应于这里介绍的本示教。具有用户接口元件的计算机可用于实现个人计算机(PC)或其他类型的工作站或终端装置,但是,如果合适地编程的话,计算机也可作为服务器运行。据信,本领域技术人员熟悉这种计算机设备的结构、编程和一般运行,因此,附图可能是不言自明的。
图24示出了能用于实现实施本示教的特定系统的计算装置的架构。实现本示教的这种特定系统具有硬件平台的功能框图,该硬件平台包括用户接口元件。计算机可以是通用计算机或专用计算机。二者都能用于实施用于本示教的特定系统。这种计算机2400可用于实现如这里所介绍的本示教的任何部件或实施形态。尽管为方便起见示出了仅仅一个这样的计算机,与这里介绍的本示教有关的计算机功能可以以分布式方式在若干个类似的平台上实现,从而分散处理负荷。
例如,计算机2400包括与连接于其上的网络相连接的COM端口2450,以促进数据通信。计算机2400还包括中央处理单元(CPU)2420,其采用一个或多于一个处理器的形式,用于执行程序指令。示例性计算机平台包括:内部通信总线2410;不同形式的程序存储器和数据存储器,例如盘24170、只读存储器(ROM)2430或随机访问存储器(RAM)2440,用于将要由计算机处理和/或进行通信的多种数据文件以及将由CPU执行的可能的程序指令。计算机2400还包括I/O部件2460,其支持在计算机和这里的其他部件(例如接口元件2480)之间不同介质形式的输入/输出流。接口元件的示例性类型可对应于在自动驾驶车辆上配置的不同类型的传感器2480-a。另一类型的接口元件可对应于显示器或投影仪2480-b,用于基于视觉的通信。还可以有用于其他多模态接口通道的附加部件,例如:听觉装置2480c,其用于基于音频的通信;和/或,部件2480-d,用于基于通信发信号,例如,使得车辆部件(例如车辆座椅)振动的信号。计算机2400也可经由网络通信接收编程和数据。
因此,如上面所概述的本示教的方法的实施形态可以在程序中实现。本技术的程序方面可被看作典型地出于可执行代码和/或相关数据的形式的“产品”或“制品”,该可执行代码和/或相关数据被承载在一种机器可读介质上或在其中实现。有形非暂时性“存储器”类型介质包括任何或全部存储器或其他的用于计算机、处理器等的存储器或其相关模块,例如多种半导体存储器、带驱动器、盘驱动器等,其可在任何时候提供用于软件编程的存储。
所有或部分软件有时可通过网络(例如互联网或多种其他电信网络)传送。例如,这种传送可使软件从一台计算机或处理器向另一台(例如从管理服务器或搜索引擎操作者的主机或其他增强广告服务器向着计算环境的硬件平台或实现与本示教相关的计算环境或类似功能的其他系统)的载入成为可能。因此,可承载软件元件的另一类型的介质包括光、电和电磁波,例如通过本地装置之间的物理接口、通过有线和光固定网络、通过多种空中链路使用。承载这种波的物理元件(例如有线或无线链路,光链路等)也被看作承载软件的介质。如这里所使用的,除了限制为有形的“存储”介质,例如计算机或机器“可读介质”的术语指参与向处理器提供指令以便执行的任何介质。
因此,机器可读介质可采用多种形式,包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光或磁盘,例如任何计算机等等之中的任何存储装置,其可用于实现附图所示的系统或其任何部件。易失性存储介质包括动态存储器,例如这种计算机平台的主存储器。有形传输介质包括:同轴电缆、铜线和光纤,其包括构成计算机系统内的总线的导线。载波传输介质可采用电或电磁信号或者是声或光波(例如在射频(RF)和红外(IR)数据通信期间生成的那些)的形式。计算机可读介质的一般形式因此包括例如软盘、可折叠盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光介质、穿孔卡片纸带、具有孔的图案的任何其他物理存储介质、RAM、PROM和EPROM、闪速EPROM、任何其他的存储器芯片或插装盒、载波传输数据或指令、传送这样的载波的链路或电缆、或计算机可从之读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉入将一个或多于一个的指令的一个或多于一个的序列承载到物理处理器,以便执行。
本领域技术人员将会明了,本示教适用于多种修改和/或增强。例如,尽管上面介绍的多种部件的实现可以在硬件装置中实现,其还可实现为仅仅使用软件的解决方案,例如安装在已有的服务器上。另外,这里所公开的本示教也实现为固件、固件/软件组合、固件/硬件组合或是硬件/固件/软件组合。
尽管上面已经介绍了本示教和/或其他实例,将会明了,可对之做出多种修改,且这里公开的主题可以以多种形式和实例实现,且本示教可以在多种应用中应用,这里仅仅介绍了其中的一些。所附权利要求旨在要求落入本示教真实范围内的任何以及全部应用、修改和变型。

Claims (22)

1.一种方法,其在一机器上实现,该机器具有至少一个处理器、存储器以及能够连接到网络的通信平台,该方法用于运行车辆,其包含:
接收与车辆有关的实时数据;
确定车辆运行的当前模式;
确定车辆中存在的驾驶者的状态;
根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险;
响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险;以及
响应于第二风险满足第二判据,将车辆从当前模式切换到该不同模式。
2.权利要求1的方法,其中,确定驾驶者的状态的步骤包含:
接收与驾驶者相关联的传感器数据;
基于检测模型,从传感器数据中对驾驶者进行检测;以及
基于从传感器数据中识别的一个以上的特征,推定驾驶者的状态。
3.权利要求1的方法,其中,驾驶者的状态包括以下中的一者以上:
驾驶者的功能状态;
驾驶者的精神状态;以及
驾驶者的健康状态。
4.权利要求1的方法,其中,
第一风险表示如果车辆继续以当前模式运行的第一危险;且
第二风险表示与从当前模式切换到该不同模式相关联的第二危险。
5.权利要求1的方法,其中,
车辆运行的当前模式是手动模式,且该不同模式是自动模式;或者
车辆运行的当前模式是自动模式,且车辆运行的该不同模式是手动模式。
6.权利要求1的方法,其中,
第一判据对应于第一风险超过与车辆运行的当前模式相关联的第一等级;且
第二判据对应于第二风险不超过与车辆运行的该不同模式相关联的第二等级。
7.权利要求1的方法,其中,与车辆有关的实时数据包括内在性能参数以及外在性能参数,内在性能参数具体指定限制车辆的运行性能的车辆内部的状况,外在性能参数具体指定限制车辆运行性能的车辆外部的状况。
8.一种机器可读介质,其上存有用于运行车辆的信息,其中,信息在由机器读取时,使得机器执行:
接收与车辆有关的实时数据;
确定车辆运行的当前模式;
确定车辆中存在的驾驶者的状态;
根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险;
响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险;以及
响应于第二风险满足第二判据,将车辆从当前模式切换到该不同模式。
9.权利要求8的介质,其中,确定驾驶者的状态的步骤包含:
接收与驾驶者相关联的传感器数据;
基于检测模型,从传感器数据中对驾驶者进行检测;以及
基于从传感器数据中识别的一个以上的特征,推定驾驶者的状态。
10.权利要求8的介质,其中,驾驶者的状态包括以下中的一者以上:
驾驶者的功能状态;
驾驶者的精神状态;以及
驾驶者的健康状态。
11.权利要求8的介质,其中,
第一风险表示如果车辆继续以当前模式运行的第一危险;且
第二风险表示与从当前模式切换到该不同模式相关联的第二危险。
12.权利要求8的介质,其中,
车辆运行的当前模式是手动模式,且该不同模式是自动模式;或者
车辆运行的当前模式是自动模式,且车辆运行的该不同模式是手动模式。
13.权利要求8的介质,其中,
第一判据对应于第一风险超过与车辆运行的当前模式相关联的第一等级;且
第二判据对应于第二风险不超过与车辆运行的该不同模式相关联的第二等级。
14.权利要求8的介质,其中,与车辆有关的实时数据包括内在性能参数以及外在性能参数,内在性能参数具体指定限制车辆的运行性能的车辆内部的状况,外在性能参数具体指定限制车辆运行性能的车辆外部的状况。
15.一种用于运行车辆的系统,包含:
当前风险评估器,其被配置为:
接收与车辆有关的实时数据;
确定车辆运行的当前模式;
确定车辆中存在的驾驶者的状态;
根据风险模型,基于实时数据和驾驶者的状态,评估与车辆运行的当前模式相关联的第一风险;
切换风险确定器,其被配置为,响应于第一风险满足第一判据,基于驾驶者的状态,确定与将当前模式切换到车辆运行的不同模式相关联的第二风险;以及
切换执行器,其被配置为,响应于第二风险满足第二判据,将车辆从当前模式切换到该不同模式。
16.权利要求15的系统,其中,确定驾驶者的状态的步骤包含:
接收与驾驶者相关联的传感器数据;
基于检测模型,从传感器数据中对驾驶者进行检测;以及
基于从传感器数据中识别的一个以上的特征,推定驾驶者的状态。
17.权利要求15的系统,其中,第一风险表示如果车辆继续以当前模式运行的第一等级的危险;且第二风险表示与从当前模式切换到该不同模式相关联的第二等级的危险。
18.权利要求15的系统,其中,驾驶者的状态包括以下中的一者以上:
驾驶者的功能状态;
驾驶者的精神状态;以及
驾驶者的健康状态。
19.权利要求15的系统,其中,
第一风险表示如果车辆继续以当前模式运行的第一危险;且
第二风险表示与从当前模式切换到该不同模式相关联的第二危险。
20.权利要求1的系统,其中,
车辆运行的当前模式是手动模式,且该不同模式是自动模式;或者
车辆运行的当前模式是自动模式,且车辆运行的该不同模式是手动模式。
21.权利要求15的系统,其中,
第一判据对应于第一风险超过与车辆运行的当前模式相关联的第一等级;且
第二判据对应于第二风险不超过与车辆运行的该不同模式相关联的第二等级。
22.权利要求15的系统,其中,与车辆有关的实时数据包括内在性能参数以及外在性能参数,内在性能参数具体指定限制车辆的运行性能的车辆内部的状况,外在性能参数具体指定限制车辆运行性能的车辆外部的状况。
CN201880075289.XA 2017-12-19 2018-01-16 用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和系统 Pending CN111699521A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/846,817 2017-12-19
US15/846,817 US10710590B2 (en) 2017-12-19 2017-12-19 Method and system for risk based driving mode switching in hybrid driving
PCT/IB2018/050269 WO2019123021A1 (en) 2017-12-19 2018-01-16 Method and system for driving mode switching based on driver's state in hybrid driving

Publications (1)

Publication Number Publication Date
CN111699521A true CN111699521A (zh) 2020-09-22

Family

ID=66814186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075289.XA Pending CN111699521A (zh) 2017-12-19 2018-01-16 用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和系统

Country Status (4)

Country Link
US (4) US10710590B2 (zh)
EP (1) EP3729401B1 (zh)
CN (1) CN111699521A (zh)
WO (1) WO2019123021A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298184A (zh) * 2020-10-26 2021-02-02 腾讯科技(深圳)有限公司 基于人工智能的驾驶切换方法、装置、设备和存储介质
CN113581209A (zh) * 2021-08-04 2021-11-02 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562763B (zh) * 2016-08-09 2021-05-04 日产自动车株式会社 自动驾驶车辆的控制方法及控制装置
US10640117B2 (en) * 2016-08-17 2020-05-05 Allstate Insurance Company Driving cues and coaching
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US10710590B2 (en) 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
US10620627B2 (en) 2017-12-19 2020-04-14 PlusAI Corp Method and system for risk control in switching driving mode
US10406978B2 (en) 2017-12-19 2019-09-10 PlusAI Corp Method and system for adapting augmented switching warning
US10642266B2 (en) * 2017-12-28 2020-05-05 Automotive Research & Testing Center Safe warning system for automatic driving takeover and safe warning method thereof
FR3078517B1 (fr) * 2018-03-01 2020-02-07 Psa Automobiles Sa Procede et dispositif d’assistance a la conduite automatisee d’un vehicule a proximite de zone(s) de passage oblige.
US20210197856A1 (en) * 2018-05-31 2021-07-01 Mitsubishi Electric Corporation Image processing device, image processing method, and image processing system
US11535262B2 (en) * 2018-09-10 2022-12-27 Here Global B.V. Method and apparatus for using a passenger-based driving profile
WO2020122175A1 (ja) * 2018-12-12 2020-06-18 日本電気株式会社 運転支援装置、運転支援方法、プログラムを記憶する記憶媒体
US10807605B2 (en) 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
US11383722B2 (en) * 2019-01-02 2022-07-12 Qualcomm Incorporated Methods and systems for managing interactions between vehicles with varying levels of autonomy
US11586202B2 (en) * 2019-03-28 2023-02-21 Baidu Usa Llc Automatic driving safety interaction system
US10916072B2 (en) 2019-05-13 2021-02-09 Gm Cruise Holdings Llc Self-maintaining autonomous vehicle procedure
US11772671B2 (en) * 2019-06-03 2023-10-03 Toyota Research Institute, Inc. Systems and methods for predicting control handback
US11643010B2 (en) * 2019-07-25 2023-05-09 International Business Machines Corporation Vehicle driver and autonomous system collaboration
JP7158352B2 (ja) * 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
CN110782117A (zh) * 2019-09-04 2020-02-11 腾讯科技(深圳)有限公司 驾驶风险检测方法及装置、存储介质、电子设备
US11562206B2 (en) * 2019-09-30 2023-01-24 Wipro Limited System and method for providing personalized driving or navigation assistance
CN111619576B (zh) * 2020-06-03 2021-06-25 中国第一汽车股份有限公司 一种控制方法、装置、设备及存储介质
US11603120B2 (en) * 2020-06-21 2023-03-14 TrueLite Trace, Inc. Autonomous driving co-driver switch mode certification system and method of its operation in a commercial vehicle ELD
CN111688700A (zh) * 2020-06-22 2020-09-22 中国第一汽车股份有限公司 一种驾驶模式切换系统、方法、装置及存储介质
KR102440255B1 (ko) * 2020-08-14 2022-09-07 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법
JP7371591B2 (ja) * 2020-08-31 2023-10-31 トヨタ自動車株式会社 走行制御装置および走行制御方法
DE102020123976A1 (de) * 2020-09-15 2022-03-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)
KR20220063855A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US11932271B2 (en) * 2021-02-05 2024-03-19 Ford Global Technologies, Llc Drive assist optimization systems and methods using artificial intelligence
CN113044038B (zh) * 2021-04-02 2022-08-05 中国第一汽车股份有限公司 一种车辆控制切换方法、装置、车辆及存储介质
CN112960001A (zh) * 2021-04-19 2021-06-15 北京七鑫易维信息技术有限公司 驾驶模式的切换方法、装置、车辆及存储介质
DE102021123270B3 (de) 2021-09-08 2022-12-29 Cariad Se Verfahren und Steuerschaltung zum Überprüfen, ob ein aktuell aktiver Fahrmodus innerhalb seiner ODD betrieben wird, sowie System und Backend-Server
CN114384900B (zh) * 2021-12-09 2023-12-12 武汉理工大学 内河水面自主船舶航行驾驶方法、装置及存储介质
CN114104007B (zh) * 2022-01-28 2022-04-15 交通运输部公路科学研究所 一种自动驾驶车辆最小风险控制策略
CN114475621B (zh) * 2022-02-22 2022-10-11 星河智联汽车科技有限公司 一种车辆控制方法及装置
DE102022106789B3 (de) 2022-03-23 2023-06-22 Cariad Se Fahrerassistenzverfahren, Steuereinrichtung, kraftfahrzeugexterner Datenserver, und Kraftfahrzeug
US20240087458A1 (en) * 2022-09-08 2024-03-14 Bendix Commercial Vehicle Systems Llc Systems and method for integrating driver facing imaging device with a vehicle blind spot detection system
CN117601857B (zh) * 2023-12-18 2024-05-10 广东工业大学 一种基于轨迹预测的人机共驾切换控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106740853A (zh) * 2016-11-21 2017-05-31 百度在线网络技术(北京)有限公司 一种无人驾驶车辆的驾驶模式切换控制方法和装置
CN107097780A (zh) * 2012-11-30 2017-08-29 伟摩有限责任公司 启用和停用自动驾驶
CN107123175A (zh) * 2017-03-31 2017-09-01 百度在线网络技术(北京)有限公司 一种记录驾驶信息的方法、装置和系统
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983836B2 (en) 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicle-traffic control device communication techniques
FR2773521B1 (fr) 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6611739B1 (en) 2000-08-17 2003-08-26 New Flyer Industries System and method for remote bus diagnosis and control
US6945346B2 (en) 2000-09-28 2005-09-20 Automotive Distance Control Systems Gmbh Method for operating a driver support system for motor vehicles
US7027621B1 (en) 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
JP4735310B2 (ja) 2005-04-15 2011-07-27 株式会社デンソー 走行支援装置
US7792641B2 (en) 2007-06-12 2010-09-07 Palo Alto Research Center Incorporated Using long-range dynamics and mental-state models to assess collision risk for early warning
JP4609482B2 (ja) 2007-11-20 2011-01-12 トヨタ自動車株式会社 車両用操作方法提示装置
US20100057511A1 (en) 2008-08-27 2010-03-04 Mansouri Ali R Integrated autonomous fleet management using self-aware vehicles
CN101380923A (zh) 2008-09-28 2009-03-11 深圳市同洲电子股份有限公司 一种驾驶导航安全的提醒方法、系统及驾驶导航提醒装置
US8618922B2 (en) 2010-03-30 2013-12-31 GM Global Technology Operations LLC Method and system for ensuring operation of limited-ability autonomous driving vehicles
US8078349B1 (en) 2011-05-11 2011-12-13 Google Inc. Transitioning a mixed-mode vehicle to autonomous mode
GB2492748B (en) 2011-07-04 2014-05-07 Jaguar Land Rover Ltd Vehicle control system and method for controlling a vehicle
JP5344089B2 (ja) 2011-07-20 2013-11-20 トヨタ自動車株式会社 車両制御装置
CA2859069C (en) * 2011-12-15 2020-02-25 Peter YORKE A device to increase fuel economy
US8781669B1 (en) 2012-05-14 2014-07-15 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
CN102717765B (zh) 2012-07-09 2015-02-11 湖南赛格导航技术研究有限公司 疲劳驾驶检测方法及防疲劳驾驶辅助装置
KR20140043536A (ko) 2012-09-24 2014-04-10 현대자동차주식회사 자율주행 차량의 차량 제어권 전환 방법
KR101438942B1 (ko) * 2012-12-12 2014-09-11 현대자동차주식회사 페달 시뮬레이터의 반력제어장치
KR101736306B1 (ko) 2013-02-27 2017-05-29 한국전자통신연구원 차량과 운전자간 협력형 자율 주행 장치 및 방법
US20150025917A1 (en) 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
DE102013216263A1 (de) 2013-08-16 2015-02-19 Continental Automotive Gmbh Anordnung zur Steuerung eines hochautomatisierten Fahrens eines Fahrzeugs
DE102013019141A1 (de) 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
JP6065328B2 (ja) 2013-12-17 2017-01-25 みこらった株式会社 自動運転車及び自動運転車用プログラム
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
DE112014006721T5 (de) 2014-06-03 2017-02-16 Bayerische Motoren Werke Aktiengesellschaft Adaptive Warnungsverwaltung für das fortschrittiiche Fahrerassistenzsystem (ADAS)
DE102014212596A1 (de) * 2014-06-30 2015-12-31 Robert Bosch Gmbh Autonomes Fahrsystem für ein Fahrzeug bzw. Verfahren zur Durchführung des Betriebs
CN104239741B (zh) 2014-09-28 2016-05-18 清华大学 基于行车风险场的汽车驾驶安全辅助方法
US9684306B2 (en) 2015-01-09 2017-06-20 Qualcomm Incorporated Transitioning from autonomous vehicle control to operator vehicle control
JP6176264B2 (ja) 2015-01-19 2017-08-09 トヨタ自動車株式会社 自動運転車両システム
KR101659034B1 (ko) 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
JP6191633B2 (ja) 2015-02-20 2017-09-06 トヨタ自動車株式会社 運転支援装置
DE102015205580A1 (de) 2015-03-27 2016-09-29 Robert Bosch Gmbh Verfahren zum mindestens teilautomatisierten Fahren in einem Fahrzeug
US20200317216A1 (en) 2015-04-10 2020-10-08 State Farm Mutual Automobile Insurance Company Operator-specific configuration of autonomous vehicle operation
US20160339916A1 (en) 2015-05-21 2016-11-24 Ford Global Technologies, Llc Systems and methods for smooth driving mode transitions for a motor vehicle
JP6524501B2 (ja) 2015-06-11 2019-06-05 パナソニックIpマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
EP3109119B1 (en) * 2015-06-23 2022-08-10 Volvo Car Corporation Method and arrangement for allowing secondary tasks during semi-automated driving
JP6528583B2 (ja) 2015-07-31 2019-06-12 株式会社デンソー 運転支援制御装置
DE102015215079A1 (de) * 2015-08-06 2017-02-09 Zf Friedrichshafen Ag Übernahmewarnung bei autonom gesteuertem Kraftfahrzeug
US9896100B2 (en) 2015-08-24 2018-02-20 International Business Machines Corporation Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
FR3041778B1 (fr) 2015-09-29 2018-08-17 Psa Automobiles Sa. Procede d’assistance a la reprise en main d’un vehicule automobile
US9834224B2 (en) 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
JP6641916B2 (ja) 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
GB2545714B (en) 2015-12-23 2018-10-24 Jaguar Land Rover Ltd Control system for a vehicle and method
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US10747234B1 (en) * 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
US9940834B1 (en) * 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10134278B1 (en) * 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10942038B2 (en) 2016-02-15 2021-03-09 Allstate Insurance Company Real time risk assessment and operational changes with semi-autonomous vehicles
CA3014656C (en) 2016-02-15 2021-10-26 Allstate Insurance Company Early notification of non-autonomous area
US9688288B1 (en) 2016-03-08 2017-06-27 VOLKSWAGEN AG et al. Geofencing for auto drive route planning
CN108883773B (zh) 2016-03-29 2021-07-23 本田技研工业株式会社 自动驾驶控制装置
US9896096B2 (en) 2016-04-11 2018-02-20 David E. Newman Systems and methods for hazard mitigation
JP2017200786A (ja) 2016-05-02 2017-11-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6597475B2 (ja) 2016-05-19 2019-10-30 株式会社デンソー 自動運転システム及び自動運転切替判定プログラム
US10059346B2 (en) 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
US10203031B2 (en) 2016-07-19 2019-02-12 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for changing driving modes using navigation and control
CN106218639B (zh) 2016-07-20 2019-01-11 百度在线网络技术(北京)有限公司 无人驾驶车辆、用于控制无人驾驶车辆的方法和装置
CN106218405A (zh) 2016-08-12 2016-12-14 深圳市元征科技股份有限公司 疲劳驾驶监控方法及云端服务器
DE102016218070A1 (de) 2016-09-21 2018-05-03 Continental Automotive Gmbh Bestimmung des optimalen Beginns der Verzögerungsphase im Backend
US11119480B2 (en) 2016-10-20 2021-09-14 Magna Electronics Inc. Vehicle control system that learns different driving characteristics
US11249544B2 (en) 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10569782B2 (en) 2016-12-29 2020-02-25 Automotive Research & Testing Center Interactive autonomous safe driving system and deciding method thereof
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
US10710590B2 (en) 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
US10406978B2 (en) 2017-12-19 2019-09-10 PlusAI Corp Method and system for adapting augmented switching warning
US10620627B2 (en) * 2017-12-19 2020-04-14 PlusAI Corp Method and system for risk control in switching driving mode
WO2019188398A1 (ja) 2018-03-30 2019-10-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US10955855B1 (en) 2019-11-23 2021-03-23 Ha Q Tran Smart vehicle
US20220074758A1 (en) 2020-09-09 2022-03-10 Here Global B.V. Method, apparatus, and system for providing lane-level routing or mapping based on vehicle or user health status data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107097780A (zh) * 2012-11-30 2017-08-29 伟摩有限责任公司 启用和停用自动驾驶
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
CN106740853A (zh) * 2016-11-21 2017-05-31 百度在线网络技术(北京)有限公司 一种无人驾驶车辆的驾驶模式切换控制方法和装置
CN107123175A (zh) * 2017-03-31 2017-09-01 百度在线网络技术(北京)有限公司 一种记录驾驶信息的方法、装置和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298184A (zh) * 2020-10-26 2021-02-02 腾讯科技(深圳)有限公司 基于人工智能的驾驶切换方法、装置、设备和存储介质
CN112298184B (zh) * 2020-10-26 2023-11-28 腾讯科技(深圳)有限公司 基于人工智能的驾驶切换方法、装置、设备和存储介质
CN113581209A (zh) * 2021-08-04 2021-11-02 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN113581209B (zh) * 2021-08-04 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3729401C0 (en) 2023-12-13
EP3729401A1 (en) 2020-10-28
US20200324769A1 (en) 2020-10-15
US11511752B2 (en) 2022-11-29
US20190184997A1 (en) 2019-06-20
US10723358B2 (en) 2020-07-28
EP3729401B1 (en) 2023-12-13
US10710590B2 (en) 2020-07-14
US20190184998A1 (en) 2019-06-20
US11597390B2 (en) 2023-03-07
EP3729401A4 (en) 2021-08-25
US20200353926A1 (en) 2020-11-12
WO2019123021A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111373335B (zh) 用于混合驾驶中基于自身觉知性能参数的驾驶模式切换的方法和系统
US11597390B2 (en) Method and system for driving mode switching based on driver's state in hybrid driving
US11590890B2 (en) Method and system for augmented alerting based on driver's state in hybrid driving
CN111372830A (zh) 用于混合驾驶中基于风险的驾驶模式切换的方法和系统
CN111615722A (zh) 用于切换驾驶模式中的风险控制的方法和系统
CA3083411C (en) Method and system for adapting augmented switching warning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036543

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200922

WD01 Invention patent application deemed withdrawn after publication