CN111801260A - 利用底盘反馈的高级驾驶员注意力升级 - Google Patents

利用底盘反馈的高级驾驶员注意力升级 Download PDF

Info

Publication number
CN111801260A
CN111801260A CN201880085727.0A CN201880085727A CN111801260A CN 111801260 A CN111801260 A CN 111801260A CN 201880085727 A CN201880085727 A CN 201880085727A CN 111801260 A CN111801260 A CN 111801260A
Authority
CN
China
Prior art keywords
electric vehicle
vehicle
occupant
mode
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880085727.0A
Other languages
English (en)
Inventor
朱特科维茨·艾弗里
卡米·杰米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinkang New Energy Automobile Co Ltd
Original Assignee
Chongqing Jinkang New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinkang New Energy Automobile Co Ltd filed Critical Chongqing Jinkang New Energy Automobile Co Ltd
Publication of CN111801260A publication Critical patent/CN111801260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/22Conjoint control of vehicle sub-units of different type or different function including control of suspension systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本文提供一种提醒电动或其他车辆(105)的乘员(110)采取手动控制车辆功能的系统和方法。环境传感模块(215)可以识别使车(105)内乘员(110)采取手动控制车辆功能的条件。底盘控制模块(230)可以控制悬架系统(140)、加速系统(145)、刹车系统(150)和转向系统(155)的驱动。所述底盘控制模块(230)可以具有标准模式和升级模式。标准模式可以减少来自车辆(105)外部的外力反馈。升级模式可以机械地引导来自车辆(105)内部的内力反馈。策略实施模块(220)可使底盘控制模块(230)从标准模式更改为升级模式,以使用多个定义的反馈模式中的其中一个作为机械引导的内力反馈,以将所识别的条件传递给乘员(110)。

Description

利用底盘反馈的高级驾驶员注意力升级
相关申请的交叉引用
本申请要求享有于2018年7月12日提交的申请号为16/033,977,标题为“ADVANCEDDRIVER ATTENTION ESCALATION USING CHASSIS FEEDBACK”的优先权,这里申请书以全文引用的方式纳入本申请。
背景技术
诸如汽车等车辆可以收集与车辆运行或车辆环境相关的信息。这些信息可以指示自主驾驶的车辆的状态或环境条件。
发明内容
本公开针对的提醒诸如电动、化石燃料或混合动力汽车等车辆的乘员采取手动控制车辆功能的系统和方法。半自动车辆可以在自动模式和手动模式之间切换,并且当从自动模式切换到手动模式时可以指示乘员(例如司机或乘客)采取手动控制车辆功能。公开的高级驾驶员辅助系统(ADAS)可以通过底盘控制系统机械地引导一组预先定义的力反馈模式中的一个提醒所述乘员采取手动控制。通过机械地引导力反馈模式,所公开的ADAS可以改进车辆的功能,并增加车辆跨各种环境的可操作性。
至少一个方面针对一个提醒电动或其他类型车辆的乘员采取手动控制车辆功能的系统。所述系统可以包括在数据处理系统上执行的环境传感模块。所述数据处理系统可以有一个或多个处理器。所述数据处理系统设置在电动车辆中。所述环境传感模块可以识别使电动车辆内的乘员从自动操作中采取手动控制车辆功能的条件。所述系统可包括在所述数据处理系统上执行的底盘控制模块。所述底盘控制模块可控制电动车辆的悬架系统、加速系统、刹车系统和转向系统中的至少一个的驱动。底盘控制模块可以有标准模式和升级模式。标准模式可以控制驱动对从电动车辆外部通过电动车辆传播到乘员的外力反馈作出反应。升级模式可控制驱动机械地引导来自电动车辆内部内力反馈,以提醒乘员采用手动控制车辆的功能。该系统可以包括在数据处理系统上执行的策略实施模块。响应所识别的条件,策略执行模块可使该底盘控制模块从标准模式更改为升级模式,并使用多个定义的反馈模式中的一个作为机械地引导内力反馈,以将所识别的条件传递给乘员。
至少一个方面是针对电动或其他类型的车辆。所述电动车辆可以包括在数据处理系统上执行的环境传感模块。数据处理系统可以有一个或多个处理器。所述环境传感模块可以识别使电动车辆内的乘员从自动控制中采用手动控制车辆功能的条件。所述电动车辆可包括在所述数据处理系统上执行的底盘控制模块。所述底盘控制模块可控制电动车辆的悬架系统、加速系统、刹车系统和转向系统中的至少一个的驱动。底盘控制模块可以有标准模式和升级模式。标准模式可以控制驱动对从电动车辆外部通过电动车辆传播到乘员的外力反馈做出反应。升级模式可控制驱动以机械地引导来自电动车辆内部的内力反馈,以提醒乘员采用手动控制车辆的功能。该电动车辆可以包括在数据处理系统上执行的策略实施模块。响应所识别的条件,策略实施模块可使该底盘控制模块从标准模式更改为升级模式,并使用多个定义的反馈模式中的一个作为机械地引导内力反馈,以将所识别的条件传递给乘员。
至少一个方面是针对一个提醒电动或其他类型车辆的乘员采取手动控制车辆功能的方法。数据处理系统具有一个或多个设置在电动车辆中处理器,所述数据处理系统可以识别使电动车辆中的乘员从自动控制中采用手动控制车辆功能的条件。响应所识别的条件,数据处理系统可以使电动车辆的底盘控制模块从标准模式改为升级模式。底盘控制模块可配置为控制电动车辆的悬架系统、加速系统、制动系统和转向系统中的至少一个的驱动。标准模式可以控制驱动,以减少或允许外力反馈从电动车辆外部通过电动车辆传播到乘员。升级模式可控制驱动以机械地引导来自电动车辆内部的内力反馈,以提醒乘员采用手动控制车辆的功能。诉搜狐数据处理系统可以使用多个定义的反馈模式中的一个作为机械引导内力反馈,以将所识别的条件传递给所述乘员。
以下详细讨论了这些以及其他方面的内容和实现。前述信息和以下详细描述包括各个方面和实施方式的说明性示例,并且提供了用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供了对各个方面和实施方式的说明和进一步的理解,并且被并入本说明书中构成本说明书的一部分。
附图说明
附图并非按比例绘制。在各个附图中,相同的附图标记和标号表示相同的元件。为了清楚起见,并非每个元件都在每个附图中标记。在图中:
图1示出了提醒车辆内的乘员采取手动控制车辆功能的示例性环境的框图;
图2示出了提醒车辆内的乘员采取手动控制车辆功能的示例性系统的框图;
图3示出了提醒车辆内的乘员采取手动控制车辆功能的示例性方法的流程图;
图4是用于说明计算机系统的结构的框图,其可应用于实现本申请描述和说明的系统和方法中的元件。
具体实施方式
以下是有关向提醒诸如电动、混合动力或化石燃料汽车等车辆的乘员采用手动控制车辆功能的方法、仪器和系统的各种概念以及其实现的更详细的描述。前文介绍的以及下面详细讨论的各种概念可以通过多种方式实现。
本文描述的是提醒电动车辆或其他类型车辆的乘员采用手动控制车辆功能的方法的系统和方法。车辆功能可以指导航或操纵车辆的功能,如转向、加速和制动等功能。车辆可以包括电动车辆、混合动力车辆、瓦斯、天然气或其他化石燃料车辆、氢燃料车辆、汽车、摩托车、载客汽车、卡车、飞机、直升机、潜艇或船只等。半自动汽车可以有自动模式和手动模式。在自动模式下,车辆可以利用来自各种外部传感器的车辆的环境的感知数据,自动通过环境。在手动模式下,车辆可以有一个乘员(例如司机)手动操作车辆控制系统,引导车辆通过环境。车辆是处于自动模式还是手动模式可能至少取决于其中之一:车辆周围的环境条件、用户在车辆中的动作以及车辆的数据处理系统。
为确保乘员可以勤勉地或专心地或监督、管理或控制所述车辆的操作和操纵,电动车辆(或其他类型的)的高级驾驶员辅助系统(这里可以称为ADAS或作为数据处理系统)可以将向司机展现一个指示,以采取手动控制车辆功能,如加速度、转向、制动。所述指示可以在将车辆控制系统从自动模式转换到手动模式之前展现。随着车辆自动驾驶水平的提高,这类车辆的正常运行可能越来越依赖于给乘员的指示的展现。所述指示可以包括所述车辆内的乘客舱内产生的音频输出、视觉输出或触觉输出。例如,所述车辆可以闪烁仪表盘上的灯,在屏幕上显示通知,输出声音警告,或引起方向盘或座椅振动,以试图抓住驾驶员的注意。
然而,这种在乘客舱内产生的刺激并不总能成功地抓住驾驶员的注意。例如,对于一个注意力分散的司机,特别是当司机的视觉焦点在另一个方向时,视觉指示可能会被忽略。音频指示可能会被误解或被误解为另一种音频刺激来源的一部分(例如,多媒体或电话交谈)。此外,触觉指示也可能被误解为另一个来源的一部分,可能根本不会被精神不集中的司机察觉,也可能不会传递有关司机一方要采取的行动的信息。在保证驾驶员注意力方面的低效率会导致乘员和车辆之间的人机交互(HCl)质量下降,比如对自动驾驶性能失去信任。此外,驾驶员在这种模式中不采用手动控制车辆功能的可能性较高,可能会导致车辆的普通功用下降,特别是车辆的自动模式功能。
为了解决这种情况下明显存在的技术挑战,电动或其他类型车辆的ADAS在其他刺激可能无法奏效时,可以驱使底盘控制以机械地引导力反馈来吸引驾驶员的注意力。已经装备在所述车辆中的所述底盘控制系统可以包括悬架系统,加速系统,刹车系统和转向系统。这种控制装置通常可以用来稳定或抑制来自车辆外部的任何颠簸或扰动,例如道路上的凸起(如隆起物)或缩进(如污水坑)。与典型的使用相反,这些相同的底盘控制也可以用来引导力反馈内部地通过所述车辆。例如,为了使驾驶员处于专心状态,所述ADAS可以使刹车发出一系列快速减速使车辆前后摇晃。所述ADAS还可以使转向装置移动和震动或左右移动车辆或向其他方向移动。所述ADAS可以通过调整所述车辆的至少一个弹跳、缓冲、俯仰和滚转来驱动悬架系统,使驾驶员垂直地摇晃。驾驶员感知到底盘控制的驱动的概率可能高于上文所讨论的感知音频、视觉或触觉刺激的概率。
力反馈的机械引导可以按照一个已定义的反馈模式进行。通过驱动所述底盘控制,所述ADAS可以模拟驾驶表面条件,如停车振动带,路面标示(Bott’s dots),减速带,以及任何其他道路干扰。所述ADAS可以配置底盘控制的驱动,以选择其中一个已定义的反馈模式,以提醒司机不同的条件。例如,如果在前方的道路上检测到一个尽头,所述ADAS可以使底盘控制装置泵动刹车,以提醒驾驶者前方有尽头,并通过踩刹车来进行手动控制。在另一个例子中,如果在路上识别到了一个路口,所述ADAS可以使底盘控制装置控制转向装置使车辆左右摇摆,以提醒驾驶员去抓住方向盘。每个已定义的反馈模式都可以被设计成提醒驾驶员注意一个特定的、可辨认的条件,该条件区别于其他条件。一旦驾驶员采用手动控制车辆功能,所述ADAS就可以停止对底盘控制的驱动,并从自动模式切换到手动模式。
因为通过底盘控制机械地引导扰动(可辨认的且区别于其他模式的反馈模式)比视觉的、音频、或触觉刺激有更高的概率被司机感知,所述ADAS可以提高个别司机以及其他成员与车辆之间HCl质量。此外,车辆的可操作性和整体功用可以在更广泛的环境中得到提高。目前,当车辆处于自动驾驶模式时,车辆的驾驶员可以在车内执行其他任务,并在被召唤去采用手动控制时将注意力转向操作车辆控制。此外,通过减少视觉、音频和触觉刺激的使用同时通过底盘控制机械诱导增加感知的可能性,可减少计算资源的消耗和用于产生此类刺激的电力的支出,从而提高ADAS的效率。因此,本文所述的系统和方法相对于缺乏本文所述高级驾驶员辅助系统的车辆通过尤其优化了驾驶员提醒的时间、通知以及类型提高了车辆的运行和控制的效率。与不具备ADAS的车辆相比,所述ADAS的结构和运行改善了车辆的运行状态在自动、半自动和手动操作模式之间的转换。
图1示出了提醒电动或其他类型车辆内的乘员采取手动控制车辆功能的示例性环境100的框图。环境100可以包括至少一辆交通工具105,例如至少一辆行驶在驾驶表面160(例如道路)上的电动车辆105。交通工具105(也可以指本文参照电动车辆105的例子)可以包括,例如,汽车(轿车、卡车、公共汽车、电动车辆、化石燃料汽车、混合动力汽车或货车)、化石燃料汽车、混合动力汽车、汽车(如轿车、卡车、公共汽车或货车)、摩托车、飞机或直升机、机车或轮船等交通工具。交通工具105可以配备或可以包括至少一个高级驾驶员辅助系统(ADAS)115(例如,一个数据处理系统115,包括至少一个处理器、内存存储单元或控制电路),一个或多个驾驶控制120,一个或多个环境传感器125,一个或多个分隔传感器130,以及一个或多个用户界面等组件。所述ADAS 115可以包括一个或多个处理器和存储器,这些处理器和存储器设置遍及于交通工具105中,或者从交通工具105远程操作,或任何它们的组合。交通工具105还可以配备或可以包括底盘控制装置,如至少一个悬架系统140,至少一个加速系统145,至少一个刹车系统150,和至少一个转向系统155。交通工具105也可以有一个或多个乘员110坐在或位于一个乘客舱内。环境传感器125和分隔传感器130一般称为传感器。如图1所示,乘员110通常位于驾驶控制120前面的座位上,本文中乘员可以被称为驾驶员。本文中位于乘客舱其他部分的其他乘员110可称为乘客。
例如,所述ADAS 115最初可以处于自动模式,利用从环境传感器125获得的关于电动或其他类型车辆105的数据,在环境100中操纵驾驶表面160向行驶方向165行驶。有时在自动模式期间,所述ADAS 115可以基于从环境传感器125获得的数据识别至少一种条件170。所述ADAS 115可以应用模式识别技术来识别条件170。响应条件170的识别,所述ADAS115可将电动车辆105的操作模式从自动模式改为手动模式。条件170可以在相对于电动车辆105行驶的方向165(例如,描述的为前进)上。例如,条件170可以包括在驾驶面上160的行驶方向165上的一个交叉路口(例如,一个十字路口,一个环形路口,一个转弯车道,一个交叉路口,一个交叉路口,或一个斜坡)或一个障碍(例如,路缘,污水坑,屏障,行人,骑自行车的人,或其他车辆)。所述ADAS 115通过对从作为环境传感器125示例的摄像机中获取的数据应用图像目标识别技术,可以识别出驾驶表面160上的交叉路口或障碍物。条件170可以独立于相对于电动车辆105的行驶方向165。例如,条件170可以包括存在一辆紧急车辆(如救护车、消防车或警车)或其他道路状况(如建筑工地)在电动车辆105附近(如长达10公里),且与行驶方向165无关。所述ADAS 115可通过检测从紧急车辆或道路状况传输的信号来识别出紧急车辆或其他道路状况。所述ADAS 115还可以根据当前速度、加速度(或加速度)和行驶方向165计算从现在到条件170发生的时间T。
通过识别条件170,所述ADAS 115可以通过用户界面135显示指示,使乘员110控制一种或多种车辆功能。用户界面135可用于显示包括音频刺激、视觉刺激或触觉刺激或其中任何组合的指示,以呼叫乘员110来手动控制驾驶控制装置120。在显示指示时,所述ADAS115可以维护一个计时器,用于识别自指示开始显示以来所经过的时间。所述ADAS 115可以将运行时间与阈值时间进行比较。所述ADAS 115可以已经根据发生条件170的时间T设置了阈值时间(例如,在固定的分数)。阈值时间可对应于通过用户界面135产生的音频、视觉或触觉刺激被认为在使乘员110注意并接管手动控制驾驶控制装置120时无效的时间点。
响应于判断出所经过的时间大于阈值时间,所述ADAS 115可以改变所述底盘控制的操作模式,以根据一个已定义的反馈模式机械地引导来自电动车辆105内部的力反馈或扰动。在某些实施方式中,所述ADAS 115可以改变底盘控制的操作模式,而不显示包含音频刺激、视觉刺激或触觉刺激或其组合的指示。所述ADAS 115可以用信号通知底盘控制240或与底盘控制240进行通信,以机械地引导一种力反馈或扰动,这种力反馈或扰动对应于一种可识别的和已定义的反馈模式,且区别于其他反馈模式和车辆扰动。所述已定义的反馈模式可以传递给乘员110以进行手动控制,也可以传递有关条件170自身状况的信息。所述ADAS115可以根据条件170本身以及其他因素选择已定义的反馈模式。所述底盘控制最初可以处于标准模式,所述ADAS115可以将底盘控制的操作模式更改为升级模式。在标准模式下,所述底盘控制可以通过减少来自电动车辆105外部的外力来对外力做出反应,例如,通过悬架系统140来抑制驾驶表面160的颠簸带来的震动。在升级模式下,所述底盘控制可以根据已定义的反馈模式,通过悬架系统140、加速系统145、刹车系统150和转向系统155机械地引导一个力反馈。机械引导的力反馈是独立于任何同时或瞬时发生的、从道路状态传输至车辆内部的颠簸、扰动或其他力反馈。当乘员110手动控制驾驶控制120时,所述ADAS115可以将底盘控制的操作模式从升级模式恢复到标准模式。例如,所述ADAS115可以使用方向盘上的触觉传感器来检测乘员120是否与方向盘接触,以采用手动控制车辆的控制。作为回应,ADAS115可以将底盘控制的操作模式从升级模式切换到标准模式。所述ADAS115还可以从自动模式切换到手动模式,依靠驾驶员的输入操纵电动车辆105通过环境100。
图2示出了提醒电动车辆的乘员采用手动控制车辆功能的示例性系统200的框图。系统200可以包括如图1所示的环境100的一个或多个组件。该系统200可以包括拥有至少一个内部框架245的所述电动车辆105和所述高级驾驶员辅助系统(ADAS)115。所述电动车辆105可以配备或安装或包括一个或多个驾驶控制120,一个或多个环境传感器125,一个或多个分隔传感器130,和一个或多个用户界面135,和一个或多个电子控制单元(ECUs)205。所述电动车辆105还可以包括至少一个悬架系统140、至少一个加速系统145、至少一个刹车系统150和至少一个转向系统155。所述悬架系统140、加速系统145、刹车系统150和转向系统155可以统称为底盘控制240或成为底盘控制240的一部分。所述ADAS 115可包括至少一个车辆控制单元210、至少一个环境传感模块215、至少一个策略实施模块220、至少一个响应检测模块225、至少一个底盘控制模块230和至少一个组件协调模块235等。
系统200的每个组件可以包括或使用硬件或软件和硬件的组合来实现。所述ADAS115,所述底盘控制240以及所述ECUs 205内的每个组件可以包括逻辑电路(如中央处理单元),它于响应和处理从内存单元取出的指令。所述ADAS 115和所述ECUs 205的每个电子组件都可以从驾驶控制120、环境传感器125、分隔传感器130和用户界面135等接收、检索、访问或获取输入数据,并相互通信。所述ADAS 115和所述ECUs 205的每一个电子组件都可以产生、转发、传输或提供输出数据到驾驶控制120、环境传感器125、分隔传感器140和用户界面135等,以及相互之间。所述ADAS 115和所述ECUs 205的每个电子组件可以由一个微处理器单元提供。所述ADAS 115、所述底盘控制240以及所述ECUs 205的每个电子组件都可以基于这些处理器中的任何一个,或能够执行此处所述操作的任何其他处理器。中央处理器单元可以利用指令级并行、线程级并行、不同级别的缓存和多核处理器。多核处理器可以在单个计算组件上包括两个或多个处理单元。
所述一个或多个ECUs 205可以联网在一起进行通信和相互交互。每个ECUs 205可以是一个嵌入式系统,它控制运输车辆中的一个或多个电气系统或子系统。ECUs 205(例如,汽车计算机)可以包括一个处理器或微控制器、存储器、嵌入式软件、输入/输出和通信链路,以运行所述ADAS 115等的一个或多个组件。所述ECUs 205可以通过有线连接(如车辆总线)或无线连接(如近场通信)彼此通信耦合。每个ECU 205可以从驾驶控制130,环境传感器135,分隔传感器140,用户界面145和远程服务器110接收,检索,访问,或获得输入数据。每个ECU 205可以产生,转发,或传输,或提供输出数据到驾驶控制130,所述环境传感器135,分隔传感器140,用户界面145和远程服务器110。每个ECU205可以包括硬件和软件来执行为该模块配置的功能。所述ADAS 115的各种组件和模块可以跨一个或多个ECUs 205实现。所述ADAS 115的各种功能和子组件可以在单个ECU 205中执行。所述ADAS 115的各种功能和子组件可以在设置在电动车辆105和远程服务器110中的一个或多个ECUs 205之间进行分割。所述ADAS 115的各种功能和子组件可以在一个或多个ECUs 205之间进行分割。例如,所述车辆控制单元210可在电动车辆105中的多个ECUs 205上实现。
所述一个或多个环境传感器125可被所述ADAS 115的各种组件用于获取关于电动车辆105的环境100的感知数据。所述感知数据可以包括环境传感器125测量环境100的物理方面所获得的任何数据,如电磁波(例如,可见的、红外、紫外和无线电波)。所述一个或多个环境传感器125可以包括全球定位系统(GPS)单元、摄像机(可见光谱、红外或紫外线)、声纳传感器、雷达传感器、激光探测和测量(LIDAR)传感器和超声波传感器等。所述一个或多个环境传感器125也可以被所述ADAS 115的各种组件用于通过与其他组件或实体建立的车载自组网感知或接触电动车辆105之外的其他组件或实体。所述一个或多个环境传感器125可以包括车辆到一切(V2X)单元,例如车辆到车辆(V2V)传感器、车辆到基础设施(V2I)传感器、车辆到设备(V2D)传感器或车辆到乘客(V2D)传感器等。所述一个或多个环境传感器125可被所述ADAS 115的各种组件用于获取电动车辆105自身乘客舱外的数据。所述一个或多个环境传感器125可以包括轮胎压力表,燃料表,电池容量测量器,温度计,惯性测量单元(IMU)(包括速度表,加速器表,磁强计,和陀螺仪),和接触传感器等。
所述一个或多个环境传感器125可以安装或放置在遍及所述电动车辆105。所述一个或多个环境传感器125中的一些可以安装或放置在电动车辆105的前部(例如,在发动机罩或前保险杠下)。所述一个或多个环境传感器125中的一些可以安装或放置在电动车辆105的底盘或内部框架上。所述一个或多个环境传感器125中的一些可以安装或放置在电动车辆105的后部(如后备箱或后保险杠上)。所述一个或多个环境传感器125中的一些可以通过轮胎安装或放置在电动车辆105的悬挂或转向系统上。所述一个或多个环境传感器125中的一些可以放置在电动车辆105的外部。所述一个或多个环境传感器125中的一些可以放置在电动车辆105的乘客舱内。
以摄像机作为环境传感器125的一个例子,可以在电动车辆105的外部安装多个摄像机,这些摄像机可以面向任何方向(例如向前、向后、向左、向右)。所述摄像机可以包括配置为中高范围的摄像机系统,例如在80米到300米之间的区域。中距离摄像机可以用来警告所述驾驶员关于交叉交通,行人,前方车辆的紧急刹车,以及车道和信号灯检测。高距离摄像机用于交通标志识别、视频远程控制和道路引导。中距离摄像机和高距离摄像机之间的差异可以是镜头的光圈角度或视野不同。对于中距离系统,可以使用70度到120度的水平视场,而宽范围光圈的摄像机可以使用大约35度的水平角度。所述摄像机可以为所述ADAS115提供数据以作进一步处理。
以雷达传感器作为环境传感器125的一个例子,所述雷达传感器可以放置在电动车辆105的车顶或其他位置。所述雷达能传输在一定的频率范围内的信号。所述雷达能以一个中心频率传输信号。所述雷达可以传输包括up-chirp或down-chirp的信号。所述雷达可以发射脉冲。例如,所述雷达可以基于24ghz或77ghz。相对于24GHZ雷达,77GHZ雷达可以提供更高的距离和速度测量精度以及更精确的角度分辨率。与配置为24GHz的雷达相比,77GHz可以使用更小尺寸的天线,并可能具有更低的干扰问题。所述雷达可以是短程雷达(“SRR”)、中程雷达(“MRR”)或远程雷达(“LRR”)。SRR雷达可配置用于盲点检测、盲点监测、车道和变道辅助、雷达尾部碰撞警告或避免碰撞、公园辅助或交叉交通监控。
所述SSR传感器可以补充或替代超声波传感器。SRR传感器可放置在电动车辆105的每个角落,用于远程检测的前视传感器可放置在电动车辆105的前部。额外的传感器被放置在电动车辆105的每侧中间部位。作为示例,SRR传感器可以包括使用79-GHz频段、4-GHZ带宽或1GHZ带宽、77GHZ频段的雷达传感器。所述雷达传感器可以包括或利用单片微波集成电路(MMIC),作为示例,所述单片微波集成电路具有单片集成的三个传输通道(TX)和四个接收通道(RX)。所述雷达可以向所述ADAS 115提供原始数据或预处理数据。例如,雷达传感器可以为每个探测目标提供速度、距离、信号强度、水平角、垂直角等预处理信息。所述原始数据雷达传感器可以提供未经滤波的原始数据给所述ADAS 115进行进一步处理。
以激光雷达传感器作为环境传感器125的一个例子,所述激光雷达传感器可以放置在电动车辆105的整个外部。激光雷达传感器可以指或包括一个基于激光的系统。除了发射机(激光),所述激光雷达传感器系统可以使用一个敏感的接收器。所述激光雷达传感器可以测量到静止和移动物体的距离。激光雷达传感器系统可以提供被探测物体的三维图像。激光雷达传感器可以配置为提供360度全方位的能见度,以捕捉物体的空间图像。激光雷达传感器可以包括使用微机电机械系统(MEMS)的红外激光雷达系统,旋转激光器,或固态激光雷达。所述激光雷达传感器可以识别物体发射和反射的光束。例如,所述激光雷达传感器可以使用配置为测量单光子的探测器,如单光子雪崩二极管(SPAD)。
一个或多个分隔传感器130可被所述ADAS115的各种组件用于获取电动车辆105的乘客舱内的数据。数据可以包括任何由分隔传感器130测量电动车辆105的乘客舱的物理方面所获得的数据,如电磁波(例如,可见的、红外、紫外和无线电波)。所述一个或多个分隔传感器130可以共享或可以包括任何那些环境传感器125。例如,所述一个或多个分隔传感器130可以包括摄像机(用于可见光谱、红外或紫外线)、激光探测和测量(激光雷达)传感器,声纳传感器、超声波传感器、触觉接触传感器,体重秤,麦克风,和生物传感器(如指纹阅读器和视网膜扫描仪)等等。所述一个或多个分隔传感器130可以包括电动车辆105的辅助组件的接口,如温度控制、座位控制、娱乐系统和GPS导航系统等。所述一个或多个分隔传感器130可以面对或可以直接在电动车辆105的乘客舱预定义的位置,以获取感知数据。例如,一个或多个舱室传感器140中的一些可以通常朝着驾驶控制120前面的位置(例如,在驾驶位)。所述一个或多个分隔传感器130中的一些可朝着电动车辆105的乘客舱内的相应座位(例如,其他乘客)。所述一个或多个分隔传感器40可以安装或放置在整个电动车辆105上。例如,所述一个或多个分隔传感器130中的一些可以放置在电动车辆105的整个乘客舱。
以摄像机作为分隔传感器1140的一个例子,多个摄像机可以被放置在电动车辆105的内部,且可以面向任何方向(例如,向前、向后、向左和向右)。摄像机可以包括配置用于近距离的摄像机系统,比如在4米范围内。从近距离摄像机获取的数据可用于执行电动车辆105中的一个或多个乘员120的人脸检测、面部识别、眼睛注视跟踪和步态分析等技术。从近距离摄像机获得的数据可以用于执行任何物体的边缘检测,目标识别以及其他技术,所述任何物体包括在电动车辆105中的乘员120。多个摄像机可用于执行立体摄像技术。摄像机可以为所述ADAS115提供进一步处理的数据。
一个或多个用户界面135可包含输入和输出设备,用于与电动车辆105的各种组件进行交互。用户界面135可以包括一个显示器,例如液体晶体显示器,或有源矩阵显示器,用于向电动车辆105的一个或多个乘员120显示信息。用户界面135还可以包括一个扬声器,用于与电动车辆105的乘员120交流音频输入和输出。用户界面135还可以包括触摸屏、光标控制和键盘等,用于接收乘员120的用户输入。用户界面135还可以包括一个触觉装置(例如,在方向盘上或座位上),以触觉方式向电动车辆105的乘员120传达信息(例如,使用力反馈)。下面将详细介绍用户界面135与ADAS 115结合的功能。
所述悬架系统140可以控制电动车辆105的车辆操纵。所述悬架系统140可以将车轮连接到电动车辆105的内部框架245上。悬架系统140可以在运动时通过车轮控制电动车辆105相对于驾驶表面160的方向稳定性和运动(如俯仰、偏航、滚转)。悬架系统140可以是一个具有轮胎、弹簧、阻尼器和减震器的被动式悬架系统。所述悬架系统140可以是主动式悬架系统,具有轮胎和电可配置的执行机构(例如,液压执行器)来控制方向的稳定性,底盘的阻尼和运动或电动车辆105的内部框架(如通过车轮相对或独立于驾驶表面160)。悬架系统140即主动式悬架系统的驱动,可包括至少一个ECUs 205,并可由底盘控制模块230控制。
加速系统145可以利用车辆105中的发动机控制电动车辆或其他车辆105的运动速度。电动车辆或其他车辆105的所述发动机可以在车轮中产生旋转以使车辆105以指定的速度以及以一个特定的加速度或减速度移动。所述发动机可以包括一个电动,混合,化石燃料动力,或内燃机,或其组合。由发动机产生的旋转可由输入发动机的功率量来控制。内燃机产生的旋转可以通过向发动机注入的燃料的量(如汽油、乙醇、柴油和液化天然气(LNG))来控制。加速系统的发动机的旋转可由至少一个ECUs 205控制,所述ECUs 205可由所述车辆控制单元210(例如,通过驾驶控制120的油门踏板)和所述底盘控制模块230控制。
刹车系统可以通过抑制电动车辆105车轮的转动来降低电动或其他车辆105的速度。刹车系统可以包括机械制动器,并可以对车轮的旋转施加摩擦以抑制运动。机械制动器的例子可以包括一种盘式制动器,其被配置为强制压在车轮的盘上。刹车系统150可以是电磁的,并且可以应用电磁感应来产生对车轮旋转的阻力,从而抑制运动。刹车系统150可包括可由车辆控制单元210控制的至少一个ECUs 205(例如,通过驾驶控制120的制动踏板)。
所述转向系统可以通过调整电动车辆105的车轮相对于驾驶表面160的角度来控制电动车辆105的方向。所述转向系统可以包括一组连杆,枢轴和齿轮,如转向柱,直线驱动器(如齿条和小齿轮),拉杆,和主销以连接到电动车辆105的车轮。转向系统还可以将驾驶控制120的方向盘的转动转移到直线驱动器和拉杆上,以调节电动车辆105的车轮倾角。所述转向系统155可包括可由所述车辆控制单元210(例如,通过所述驾驶控制120的方向盘)控制的至少一个ECUs 205。
车辆控制单元210可以控制电动车辆105的操纵,以控制电动车辆105在驾驶表面160上通过环境100。所述车辆控制单元210对电动车辆105的操纵可以通过电动车辆105的转向系统、加速系统和制动系统等组件来控制或设置。车辆控制单元210可以将驾驶控制120与电动车辆105的转向系统、加速系统和刹车系统等组件进行交互。驾驶控制120可包括方向盘以控制转向系统155,油门踏板以控制加速系统145,以及刹车踏板以控制刹车系统150等。转向系统155可以通过例如调整电动车辆105的前轮方向来控制电动车辆105的行驶方向165。加速度系统145可以维护、减少或增加电动车辆105沿着行驶方向165的速度,例如,通过调整输入到电动车辆105的引擎的电源改变电动车辆105的一个或多个车轮旋转的频率和速度。刹车系统150通过施加摩擦抑制车轮的运动,使电动车辆105沿着行驶方向165的速度降低。更多关于加速系统145、刹车系统150和转向系统155在系统200的背景下的功能的细节将在下文中提供。
车辆控制单元210可以具有或以自动模式或手动模式操作电动车辆105等。在自动模式下,车辆控制单元210可以使用从所述一个或多个环境传感器125获得的数据来导航电动车辆105通过环境100。例如,车辆控制单元210可以应用模式识别技术,如计算机视觉算法,基于模式识别技术的输出检测驾驶表面170本身(如边界和宽度)和驾驶表面170的物体、以及根据模式识别技术的输出控制转向,加速,应用刹车。在手动模式下,车辆控制单元210可以依靠来自乘员110的通过驾驶控制120(如方向盘、油门踏板和刹车踏板)接收到的用户输入,操纵电动车辆105通过环境100。例如,在手动模式下,车辆控制单元210可以通过驾驶控制120的方向盘、油门踏板或的刹车踏板接收并传递用户输入,从而控制转向、加速和应用刹车以操纵所述电动车辆105。车辆控制单元210可以根据乘员110的用户输入在自动模式和手动模式之间切换。例如,电动车辆105的驾驶员可以通过按下显示在中心堆栈上的命令来启动自动模式。车辆控制单元210可以根据配置或由ADAS 115的其他组件造成的情况在自动模式和手动模式之间进行切换。下面将详细说明ADAS 115的其他组件在自动模式和手动模式之间的切换。
在自动模式下,车辆控制单元210可以自动控制转向系统、加速系统和刹车系统以操纵和导航电动车辆105。车辆控制单元210可以从所述一个或多个环境传感器125获取环境数据。车辆控制单元210可以处理从环境传感器125获得的环境数据来执行时定位与地图构建(SLAM)技术。所述SLAM技术可以被执行,例如,使用扩展的卡尔曼滤波器。在执行SLAM技术时,所述车辆控制单元210可以执行各种模式识别算法(例如,图像对象识别)来识别驾驶表面160(例如,道路上的边界和车道)。所述车辆控制单元210还可以识别靠近电动车辆105的一个或多个物体(例如标志、行人、骑自行车的人、其他车辆)以及从电动车辆105到每个物体的距离(例如使用立体摄像技术)。利用环境传感器125获得的环境数据,所述车辆控制单元210可以进一步识别行驶方向165,电动车辆105的速度和电动车辆105的位置。
基于这些识别和确定结果,所述车辆控制单元210可以生成一个数字地图结构。所述数字地图数据结构(这里也称为数字地图)可以包括可以被车辆控制单元210访问、解析或处理的数据,用于通过环境100时路径的生成。三维动态地图可以指在x-y-z坐标平面上具有三维的数字地图。例如,所述维数可以包括宽度(例如,x轴)、高度(例如,y轴)和深度(例如,z轴)。维度可以包括纬度、经度和范围。数字地图可以是动态的数字地图。例如,数字地图可以定期更新,或者反映或指示使用图像识别技术检测到的一个或多个物体的运动、移动或变化。数字地图也可以包括非静止的物体,比如一个人的移动(例如,步行,骑自行车,或跑步),车辆的移动,或动物的移动。该数字地图可以检测移动的量或类型,并将移动描述为在三维数字地图结构建立的三维坐标平面中具有速度和方向的速度矢量。
所述数字地图可以检测移动的数量或类型,并将移动描述为在三维数字地图建立的三维坐标平面上具有速度和方向的速度矢量。车辆控制单元210可以周期性地更新速度矢量。车辆控制单元210可以基于间歇性更新之间的速度矢量预测目标的位置。例如,如果更新周期是2秒,车辆控制单元210可以确定在t0=0秒的速度矢量,然后使用所述速度矢量预测目标在t=1秒的位置,然后将目标放置在预测位置上作为t1=1秒时的数字地图实例。车辆控制单元210在t2=2秒时接收更新的感知数据,然后将物体放置在三维数字地图中在t2实际感知到位置,并更新速度矢量。更新速率可以是1Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、0.5Hz、0.25Hz或自动导航通过环境100的其他速率。
使用数字地图和SLAM技术,车辆控制单元210可以生成自动导航在驾驶表面160通过环境100的路径。车辆控制单元210可以周期性地生成路径。该路径可以包括目标行驶方向165、电动车辆105的目标速度和导航通过环境100的电动车辆105的目标位置。目标行驶方向165可以用电动车辆105的主轴来定义(如纵轴滚转、横轴俯仰、纵轴偏航)。电动车辆105的目标速度可以相对于当前电动车辆105的速度(如维持、增加或减少)来定义。电动车辆105的目标位置可以是电动车辆105被预计或被指示前进的位置。根据生成的路径,车辆控制单元210可以设置、调整或控制转向系统、加速系统和刹车系统。例如,车辆控制单元210可以使用转向系统将车轮转向目标方向或目标位置。所述车辆控制单元210也可以通过应用所述加速系统的加速器来加速或通过应用所述刹车系统的刹车来减速,从而达到所述电动车辆105的目标速度。
在手动模式下,车辆控制单元210可以依靠乘员110在驾驶控制120上的用户输入来控制转向系统、加速系统和刹车系统以操纵和导航电动车辆105通过环境100。如上所述,驾驶控制110可以包括方向盘、油门踏板和刹车踏板等。车辆控制单元210可以在方向盘上接收来自乘员110的用户输入(例如顺时针转向右,逆时针转向左)。车辆控制单元210可以使用转向系统根据用户在方向盘上的输入来转动车轮。车辆控制单元210可以接收在油门踏板上的用户输入。根据乘员110对油门踏板的力,车辆控制单元210可以通过使加速系统增加发动机的电力来提高电动车辆105的速度。车辆控制单元210还可以接收在制动踏板上的用户输入。基于乘员110对制动踏板施加的力,车辆控制单元210通过刹车系统的制动来抑制车轮的运动,从而降低电动车辆105的速度。
环境传感模块215可以根据环境传感器125获取的环境数据,识别条件170来改变车辆控制单元210的工作模式。条件170可以对应环境100中的任何事件,以将车辆控制单元210从自动模式切换到手动模式。条件170可以相当于让乘员110采用手动控制车辆的功能,如转向、加速或刹车。车辆控制单元210最初可能处于自动模式。例如,在驾驶时,电动车辆105的乘员110可能已经激活了自动模式,以自动操纵电动车辆105通过驾驶表面160。所述条件170可以与驾驶表面160在运动方向165有关,也可以与运动方向165无关。如前面所讨论的,条件170可以包括一个交叉路口(例如,十字路口,环形交叉路口,转弯车道,枢纽站,或斜坡)或一个障碍(比如,路缘,建筑工地,污水坑,迂回路,障碍,行人、骑自行车的人,或其他车辆)在驾驶表面160行驶方向165上。所述条件170也可以传达给电动车辆105。条件170包括一辆紧急车辆(如救护车、消防车或警车)出现在电动车辆105附近(如10公里内)。环境传感模块215可以定期从所述一个或多个环境传感器125检索、接收或获取环境数据,以识别条件170。从环境传感器125获取的环境数据可以是1Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、0.5Hz、0.25Hz或其他速率。
为了识别驾驶表面160上的条件170,所述环境传感模块215可以对从环境传感器125获得的环境数据进行各种图像识别技术。例如,所述环境传感模块215可以从放置在电动车辆105外部的摄像机接收图像数据。环境传感模块215可以应用边缘检测技术和角检测技术来确定驾驶表面160的边界。边缘检测技术可以包括Canny边缘检测器、差分边缘检测器和Sobel-Feldman算子等。角点检测技术可以包括哈里斯算子,Shi-Tomasi检测算法,和水平曲线曲率算法。根据驾驶表面160的边界,环境传感模块215可以确定相对于电动车辆105的行驶方向165存在的一个交叉路口(例如十字路口、环形路口、转弯车道、交叉路口或匝道)。利用该判定结果,环境传感模块215可以识别条件类型(例如,十字路口、环形路口、转弯车道、交叉路口或匝道)。环境传感模块215可以应用目标识别技术,以确定在相对电动车辆105的行驶方向165存在的障碍物(例如,路缘、污水坑、障碍物、行人、骑自行车的人或其他车辆)。目标识别技术可以包括几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF)等。基于目标识别技术,环境传感模块215可以识别条件类型(如路缘、污水坑、障碍、行人、自行车或其他车辆)。边缘检测技术,角点检测技术和目标识别技术可以应用于来自激光雷达传感器,雷达传感器,声纳等的环境数据。在确定交叉路口或障碍物存在的基础上,环境传感模块215可以识别条件170,以将车辆控制单元210的操作模式从自动模式改为手动模式。
环境传感模块215也可以使用立体摄像机技术来确定条件170到电动车辆105的方向和距离。所述方向可以相对于行驶方向165。所述距离可从电动车辆105的一侧沿行驶方向165计算出来。例如,如果条件170在电动车辆105的前面,则可以测量从电动车辆105的前保险杠的距离。环境传感模块215可以根据自动模式下自动导航的数字地图生成的路径确定条件170与电动车辆105之间的距离。通过确定到条件170的距离,环境传感模块215可以确定条件170发生的估计时间。环境传感模块215可以从环境传感器125获取的环境数据中识别电动车辆105的速度。根据电动车辆105的速度和到条件170的距离,环境传感模块215可以确定从现在到条件170发生的估计时间量(图1中标记为T)。
环境传感模块215可以从电动车辆105附近的一个源(例如,长达10公里)识别条件170。环境传感模块215可以接收通过其中一个V2X传感器进行通信的指示。接收到的指示可以限制在信号源周围的传输距离(例如10公里)。指示的来源可以包括另一辆汽车、无线电基站、智能手机或任何其他具备V2X通信能力的设备。指示可以包括一辆驶近的急救车(如救护车、消防车或警车)、道路中断(如道路施工或绕行)和一辆抛锚的车辆,以及其他情况。例如,环境传感模块215可以通过车对车传感器接收紧急车辆正在接近的指示。该指示可以包括紧急车辆类型、紧急车辆的位置和紧急车辆的速度等信息。在接收指示的基础上,环境传感模块215可以识别条件170。环境传感模块215可以进一步识别一辆接近的紧急车辆的存在作为条件类型。环境传感模块215可以通过车辆到基础设施传感器接收道路中断(例如,道路关闭,或退化或不能通航的条件,因洪水、停电、事故现场、塌方、损坏、障碍物等等)的指示。指示可以包括道路中断的位置以及其他信息。在接收指示的基础上,环境传感模块215可以识别条件170。环境传感模块215可以识别道路中断的存在作为条件类型。
环境传感模块215可以确定与电动车辆105通信的条件170的距离。环境传感模块215可以解析通过V2X传感器传达的指示,从而识别条件170的位置。环境传感模块215可以使用GPS传感器识别电动车辆105的位置。根据电动车辆105的位置和指示器所包含的位置,环境传感模块215可以确定从电动车辆105到条件170的距离。通过确定到条件170的距离,环境传感模块215也可以确定条件170发生的估计时间。环境传感模块215可以从环境传感器125获取的环境数据中识别电动车辆105的速度。环境传感模块215可以根据自动模式下自动导航的数字地图生成的路径确定条件170与电动车辆105之间的距离。根据电动车辆105的速度和到条件170的距离,环境传感模块215可以确定到条件170发生的估计时间(图1中标记为T)。
环境传感模块215可以利用从环境传感器125获得的数据识别电动车辆105内部的条件170。电动车辆105内部的条件170可以包括燃料将尽(例如,剩下不到10%),电池电量(例如,剩下不到15%),低轮胎压力低(例如,不到30Psi或2Bar),引擎温度高(例如,200℃以上),结构损伤(如裂缝的窗口或转向杆),或引擎故障(例如,冷却系统损坏)等等。用于检测或识别电动车辆105的内的条件170的环境传感器125可以包括车辆传感器,如轮胎压力表,燃料表,电池容量测量,IMU,温度计,和接触传感器等。环境传感模块215可以将车辆传感器测量的数据与定义的阈值进行比较。通过将测量值与定义的阈值进行比较,环境传感模块215可以识别条件170。基于该车载传感器,环境传感模块215可以识别条件类型。例如,环境传感模块215可以读出小于25psi的轮胎压力。如果定义的低胎压阈值为30Psi或以下,环境传感模块215可以识别胎压低为条件170。由于条件170目前正在电动车辆105内进行,环境传感模块215可以确定距离条件170的距离和时间为空。
环境传感模块215可以计算或确定条件170的紧急程度。紧急程度可以表明或可以与乘员110采用手动控制车辆功能的时间长短相关。紧急程度可以表明或可以与条件170(类型和其他方面)相关。紧急程度可以是一个数值范围(例如,从-1到1的实数或从0到100的整数)。环境传感模块215可以根据到条件170的估计的距离确定紧急程度。环境传感模块215可以将到条件170的估计的距离与一组定义的紧急程度的范围进行比较。每个定义的范围可以包括对应紧急程度的距离范围。基于与到条件170的估计的距离匹配的某一定义的范围,环境传感模块215根据定义的范围设置紧急程度。环境传感模块215可以根据到条件170的估计的时间确定紧急程度。环境传感模块215可以将到条件170的估计的时间与一组定义的紧急程度的范围进行比较、。每个定义的范围可以包括对应紧急程度的时间范围。基于到条件170的估计的时间匹配的某一定义的范围,环境传感模块215可以根据定义的范围和条件170设置紧急程度。
通过识别条件170,策略实施模块220可以在用户界面135和底盘控制240之间选择,以向乘员110显示一个指示以手动控制车辆功能。如上所述,通过用户界面135显示的指示可包括电动车辆105的乘客舱内的音频刺激、视觉刺激或触觉刺激。另外,底盘控制240可以指悬架系统140,加速系统145,刹车系统150和转向系统155。通过底盘控制显示的指示可以包括来自电动车辆105内部的力反馈。策略实施模块220可以根据到条件170的估计的距离、到条件170的估计的时间或紧急程度等因素在用户界面135和底盘控制240之间选择以显示所述指示。
作为说明,策略实施模块220可以将到条件170的估计的距离与阈值距离进行比较。阈值距离可以对应于乘员110(如司机)预计采用手动控制车辆功能以响应通过用户界面135显示的指示(如音频、视频或触觉刺激)的距离。响应于确定到条件170的估计的距离小于阈值距离,策略执实施模块220可选择用户界面135去显示指示,以采用手动控制车辆功能。响应于确定到条件170的估计的距离大于阈值距离,策略执实施模块220可选择底盘控制去显示指示,以采用手动控制车辆功能。
策略实施模块220可以将到条件170的估计的时间与阈值时间进行比较。阈值时间可以对应于乘员110(如司机)预计采用手动控制车辆功能以响应通过用户界面135显示的指示(如音频、视频或触觉刺激)的时间。响应于确定到条件170的估计的时间小于阈值时间,策略执实施模块220可选择用户界面135去显示指示,以采用手动控制车辆功能。响应于确定到条件170的估计的时间大于阈值时间,策略执实施模块220可选择底盘控制去显示指示,以采用手动控制车辆功能。
策略实施模块220可以将条件170的紧急程度与阈值程度进行比较。阈值程度可以对应于乘员110(如司机)预计采用手动控制车辆功能以响应通过用户界面135显示的指示(如音频、视频或触觉刺激)的距离或时间。响应于确定条件170的紧急程度小于阈值程度,策略执实施模块220可选择用户界面135去显示指示,以采用手动控制车辆功能。响应于确定到条件170的紧急程度大于阈值程度,策略执实施模块220可选择底盘控制去显示指示,以采用手动控制车辆功能。
响应于用户界面135的选择,策略实施模块240可以通过用户界面135在先于条件170向乘员110呈现手动控制车辆的功能的指示。策略实施模块220可以根据操作应用策略选择通过用户界面135指示的显示形式。操作应用策略可以是在ADAS 115上维护的数据结构(例如,在数据库上)。操作应用策略可以指定通过用户界面135作为指示显示给乘员120以采用手动控制车辆功能的刺激类型。所述音频刺激可包括一组音频信号,每个音频信号具有指定的持续时间和强度。视觉刺激可以包括一组图像或视频,每个图像或视频都有特定的颜色、大小和显示持续时间。触觉刺激可以包括施加在乘员110上的力,如驾驶控制120、座椅、用户界面135或电动车辆105的其他组件的振动或移动。生成和产生音频、视觉和触觉刺激的指令可以作为数据文件存储和维护在ADAS 115上。操作应用程序策略可以指定刺激序列。刺激序列可以列举每个刺激的强度级别和持续时间。刺激序列可以识别用于生成和产生音频刺激、视觉刺激和触觉刺激或其任何组合的数据文件路径名。强度级别可包括音频刺激的音量、视觉刺激的亮度和触觉刺激的力度。例如,动作应用程序策略可以指定在前30秒播放低强度的音频刺激,然后在接下来的10秒播放另一个高强度的音频刺激,然后在之后应用触觉刺激和前一个音频刺激。
根据操作应用策略,策略实施模块240可以通过用户界面135向乘员120显示指示,以采取手动控制车辆控制。策略实施模块240可以识别操作应用策略指定的选定的刺激序列。策略实施模块240可以查找并加载与刺激序列相对应的数据文件。加载之后,策略实施模块220可以根据刺激序列的数据文件启动刺激生成。对于音频刺激,策略实施模块240可通过电动车辆105内的扬声器播放音频刺激,以指示乘员110取得手动控制。对于视觉刺激,策略实施模块240可控制灯或在显示器上呈现电动车辆105内的视觉刺激,以指示乘员110取得手动控制。对于触觉刺激,策略实施模块240可在电动车辆105的座椅或方向盘上引起振动或运动,以指示乘员110进行手动控制。
在启动之后,在操作应用策略的刺激序列指定的持续时间内,策略实施模块240可以通过用户界面135继续显示指示。策略实施模块240可以解析数据文件以生成刺激。通过解析数据文件,策略实施模块240可以根据刺激类型确定将哪个用户界面135输出刺激给乘员110。为了响应识别出的刺激类型为音频,策略实施模块240可以识别或选择扬声器以输出音频刺激。为了响应识别出的刺激类型为视觉,策略实施模块240可以识别或选择用于输出视觉刺激的显示器。为了响应识别出的刺激类型为触觉,策略实施模块240可以识别或选择用于输出力(如振动或运动)的触觉设备。
当指示通过用户界面135显示时,响应检测模块225还可以确定乘员110是否注意到条件170本身。响应检测模块225可以根据从一个或多个分隔传感器130获得的感知数据判断乘员110是否注意。当确定乘员110的焦点至少朝向驾驶控制120时,可以认为乘员110处于专注状态。响应检测模块225可以根据从分隔传感器130获得的一个感知数据样本对应的单帧来确定乘员110是否注意到条件170。响应检测模块225可以根据多个感知数据样本对应的多帧来判断乘员110是否注意到条件170。如上所述,来自分隔传感器130的感知数据可能是电动车辆105的乘客舱的。例如,所述感知数据可包括由定向于电动车辆105的乘客舱内的摄像机所拍摄的图像数据。响应检测模块225可以识别哪个分隔传感器130被定向到电动车辆105内的乘客舱的预定义的区域。通过对分隔传感器130的识别,响应检测模块225可以检索、选择或以其他方式接收定向到预定义区域的分隔传感器130的感知数据。为驾驶员预定义的区域通常可以对应于具有驾驶控制120、驾驶员座位和两者之间的空间的乘客舱内的区域。定向到预定义区域的分隔传感器130可以获取与电动车辆105的驾驶员对应的乘员110的感知数据。例如,响应检测模块225可以选择电动车辆105中指向驾驶员座位的摄像机的图像数据。该为乘客预定义的区域可以对应于该司机区域之外的乘客舱内的区域。
响应检测模块225可以将各种模式识别技术应用于从分隔传感器130获得的感知数据。为了从感知数据中识别乘员110,响应检测模块225可以应用边缘检测技术(例如,坎尼边缘检测器(Canny edge detector)、微分边缘检测器(differential edge detector)和索贝尔-费尔德曼算子(Sobel-Feldman operator))。乘员110可以在分隔传感器130被定向的预定义的区域内。响应检测模块225可以使用边缘检测技术识别与乘员110对应的感知数据的区域。响应检测模块225可将立体摄像机技术应用在从分隔传感器130获得的感知数据上,以在电动车辆105的预定义的区域内建立乘员110的三维模型。
通过从感知数据中识别出乘员110,响应检测模块225可以利用模式识别技术判断乘员110是否注意到条件170。模式识别技术的例子可以包括目标识别(如几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF))。响应检测模块225可以从分隔传感器130获得的感知数据中提取一个或多个特征。响应检测模块225可以根据从分隔传感器130获得的感知数据维护一个模型来识别乘员110是注意还是不注意。该模型可能已经使用训练数据集进行了训练。训练数据集可以包括样本感知数据,每一个样本感知数据都标记了对应的注意状态(如不注意或注意)。训练数据集还可以包括从感知数据中提取的样本特征,每一个样本特征都标记了相应的活动类型。样本感知数据可以是单个帧(例如,一幅图像)或多个帧(例如,视频)。例如,一个人低头看一本书的样本图像可能会被标记为“不注意”,而一个人眼睛瞪得大大的朝前的样本图像可能会被标记为“注意”。
利用训练过的模型,响应检测模块225可以生成乘员110是否注意到条件170的概率。在生成概率时,响应检测模块225可以将从感知数据中提取的特征与训练数据集的标记的特征进行比较。响应检测模块225可根据该概率判断乘员110是注意还是不注意的概率。例如,响应于判断出乘员110不注意的概率大于乘员110注意的概率,响应检测模块225可以判断乘员110不注意。相反地,响应于判断出乘员110不注意的概率小于乘员110注意的概率,响应检测模块225可以判断乘员110注意。
在确定乘员110是注意还是不注意到条件170时,响应检测模块225也可以使用其他模式识别技术从分隔传感器130获得的感知数据中提取一个或多个特征。例如,响应检测模块225可以使用面部检测来从感知数据中识别出乘员110的面部。响应检测模块225可以应用面部识别技术,从分隔传感器130的感知数据中的乘员110的识别出的面部上识别一个或多个面部特征(例如,眼睛、鼻子、嘴唇、眉毛和脸颊)。响应检测模块225还可以为使用面部识别技术从乘员110识别出的每个特征确定一个或多个属性。用于训练模型的训练数据集可以包括一个或多个面部特征,以及标记为与注意状态相关的每个特征的一个或多个属性。利用每个特征的一个或多个属性和训练过的模型,响应检测模块225可以确定乘员110的活动类型(例如,睡觉、操作个人设备、与另一个乘员沟通)。响应检测模块225还可以使用视线跟踪来识别乘员110被识别出的脸的眼睛的一个或多个特征。用于训练模型的训练数据集可以包括一个或多个标记为与注意状态相关的眼睛特征。利用一个或多个识别的眼睛特征和训练过的模型,响应检测模块225可以确定乘员110的注意状态。
响应检测模块225可以根据用户与电动车辆105的辅助部件(如温度控制、座椅控制、娱乐系统和GPS导航系统)的交互,确定乘员110是否注意到条件170。响应检测模块225可以接收或识别乘员110在电动车辆105组件上的用户交互。响应检测模块225可以识别用户交互对应的辅助组件。响应检测模块225可以使用所识别的辅助组件上的用户交互来调整或设置概率,然后才能识别出概率最大的注意状态。例如,与座椅控制的倾斜按钮的用户交互可能意味着乘员110注意力不集中。在本例中,响应检测模块225可以根据与座椅控制的倾斜按钮的用户交互,降低乘客110注意力集中的概率。
此外,在通过用户界面135显示指示时,响应检测模块225可以监控驾驶控制120(如方向盘、油门踏板、刹车踏板)上的用户输入。响应通过用户界面135显示指示的启动,响应检测模块225可以保持一个计时器,以识别自通过用户界面135显示指示以来所经过的时间。根据所经过的时间的比较,响应检测模块225可以确定乘员110是否注意或不注意通过用户界面135输出的音频、视觉或触觉刺激。响应检测模块225可以将所经过的时间与阈值时间进行比较。响应检测模块225可以使用到条件170的估计的时间确定阈值时间。例如,响应检测模块225可以将阈值时间设置为到条件170的估计的时间的一个预定义比例(例如,10-25%)。响应于确定出所经过的时间大于阈值时间,响应检测模块225可以确定乘员110对通过用户界面135显示的指示不注意。另一方面,响应于确定出所经过的时间大于阈值时间,响应检测模块225可以等待在驾驶控制120上的用户输入。响应检测模块225可以在所经过的时间超过阈值时间之前检测出驾驶控制120上的用户输入。为了响应在阈值时间之前检测出用户输入,响应检测模块225可以确定乘员110正在采用手动控制车辆功能。此外,响应检测模块225可以确定乘员110是否注意到指示的显示。响应检测模块225可以确定乘员110注意到条件170本身。车辆控制单元210也可以从自动模式进入手动模式,以响应对车辆控制120上的用户输入的检测。
此外,响应于条件170的识别,策略实施模块220可以通过底盘控制240先于条件170向乘客110显示指示以采用手动控制车辆功能。如前文所述,底盘控制240可以包括悬架系统140,加速系统145,刹车系统150,和转向系统155。策略实施模块220可以启动通过底盘控制240向乘员110显示指示,以响应于上文所讨论的基于条件170的估计的距离、条件170的估计的时间和紧急程度选择了底盘控制240。通过用户界面135显示指示可以先于通过底盘控制240显示指示。策略实施模块220可以启动通过底盘控制240显示指示,以响应判断出乘员110对条件170不注意。策略实施模块220还可以启动通过底盘控制240显示指示,以响应确定出乘客110对通过用户界面135输出的音频、视觉或触觉刺激不注意。
在向乘员110通过底盘控制240显示指示以进行手动控制时,策略实施模块220可以改变底盘控制模块230的操作模式。策略实施模块220可使底盘控制模块230通过底盘控制240从电动车辆105内部机械地引导内力反馈,以呈现手动控制的指示。机械引导的内力反馈的可以与底盘控制模块230所选择的一组已定义的反馈模式中的一个或多个相一致。所述一组已定义的反馈模式可以在ADAS 115(例如在数据库上)上以数据结构的形式进行维护。所述一组已定义的反馈模式可用于复制或模拟由驾驶表面160的条件所施加的外力反馈,这些外力从电动车辆105的外部传播到整个电动车辆105。例如,所述一组已定义的反馈模式可以模拟一个停车减震带,一个Bott′s点,一个减速带,一个凸起的路面标记,砾石路,以及其他道路条件。相对于通常由相应路况引起的反馈,所述一组已定义的反馈模式可以被夸大或强调,以提高对相应路况的识别,并区别于其他路况。
每个已定义的反馈模式可以指定要驱动的底盘控制类型、驱动类型、驱动强度、通过底盘控制240的驱动时间分配、模式的总持续时间以及相关条件。要驱动的底盘控制类型可以指定一个或多个底盘控制240来驱动(例如,悬架系统140,加速系统145,刹车系统150和转向系统155)。驱动类型和驱动强度可以指定机械地引导内力反馈的方式。对于悬架系统140,驱动类型可以指定在一个或多个连接到各自的执行器的车轮上的正引导或负引导。驱动强度可以指定在一个或多个车轮上的引导或扰动的量。正诱导可指定内部框架245在指定的一个或多个车轮(例如,左前、右前、左后和右后轮)上的垂直倾斜或提升。驱动强度可以指定垂直倾斜的高度或角度。该负诱导可指定内部框架245在指定的一个或多个车轮上的垂直倾角或高度降低,该一个或多个车轮连接到各自的执行器上。驱动强度可以指定垂直偏差的高度或角度。对于加速系统145,驱动类型可以指定增加(或减少)输入发动机的电能或燃料以增加(或减少)电动车辆105的速度,并改变发动机的声音(如对应加速或减速的声音)。驱动强度可指定电动车辆105的速度的增加量。对于刹车系统150,驱动类型可以指定应用制动器来抑制车轮的运动,以降低电动车辆105的速度。驱动类型可以指定变速箱来改变车辆的速度和发动机的声音(例如,由于“转速”或旋转速度)。驱动强度可指定电动车辆105的速度的下降量。对于转向系统155,驱动类型可以指定是否使用转向系统155改变电动车辆的方向。驱动强度可以指定电动车辆105的车轮的方向的角度(例如,一个倾角)。时间分配可以指定通过底盘控制240应用的每个驱动类型的时间量。持续时间可以指定通过底盘控制240应用的整个已定义的反馈模式的时间量。关联的条件可以指定已选择已定义的反馈模式的条件170。已定义反馈模式的关联条件可以指定与条件170相关的一个或多个参数,例如条件170的方向、到条件170的距离、到条件170的估计的时间、条件类型或紧急程度。
策略实施模块220可以根据条件170从一组已定义的反馈模式中选择一个或多个。所选的已定义的反馈模式可将所识别的条件170传递给电动车辆105内的乘员110。策略实施模块220可以根据与条件170相关的一个或多个参数从一组已定义的反馈模式中选择一个或多个。与条件170相关的参数可以包括条件170的方向、到条件170的距离、到条件170的估计的时间、条件类型和紧急程度等因素。例如,当条件170被确定为相对于行驶方向165向左时,策略实施模块220可以选择已定义的反馈模式,该模式指定电动车辆105左侧悬架系统140的振动。
策略实施模块220可以遍历所述一组已定义的反馈模式,将每个已定义的反馈模式的规范与条件170的参数进行比较。策略实施模块220可以确定已定义的反馈模式的规范与条件170的参数之间的匹配。例如,策略实施模块220可以确定已识别条件170的紧急程度与已定义的反馈模式指定的紧急程度之间的匹配。随着时间的比较,策略实施模块220可以确定已定义的反馈模式的规范与条件170的参数之间的匹配,以响应确定反馈模式的总持续时间小于通过一个已定义的反馈模式发生条件170的估计的时间。策略实施模块220响应于确定匹配,可以选择用于驱动底盘控制240的已定义的反馈模式。通过选择一个或多个已定义的反馈模式,策略实施模块220可使底盘控制模块230改变操作模式,并使用已定义的反馈模式机械地引导内力反馈(如底盘或其他电动车辆元件振动)。
底盘控制模块230可以控制一个或多个悬架系统140、加速系统145、刹车系统150和转向系统155的驱动。在控制驱动时,底盘控制模块230可以与对应悬架系统140、加速系统145、刹车系统150和转向系统155的ECUs 205交互。通过与ECUs 205的交互,底盘控制模块230可以测量或识别底盘控制240的指标。例如,底盘控制模块230可以通过ECUs 205测量悬架系统140的弹簧、阻尼器或执行器的运动。底盘控制模块230可以通过加速系统145测量发动机的转速和电动车辆105的速度。底盘控制模块230可以测量由刹车系统150的制动器施加的力或引导量。底盘控制模块230可以测量电动车辆105车轮的一个角度(例如,外倾角)。底盘控制模块230可以在标准模式或升级模式下操作。底盘控制模块230也可以与策略实施模块220交互,以在操作模式的标准模式之间切换。一般情况下,底盘控制模块230在缺少条件170时可以在标准模式下工作,条件170使乘员110承担手动控制车辆的功能。底盘控制模块230可以在升级模式下运行,以提醒乘员110承担手动控制车辆的功能。
在标准模式下,底盘控制模块230可以驱动底盘控制240的悬架系统140、加速系统145、刹车系统150和转向系统155来自电动车辆105外部的外力反馈做出反应(如减少或允许)。外力反馈可以通过电动车辆105传播到乘员110。外力反馈可以来自于驾驶表面160上的凸起(如颠簸)、凹坑(如坑洞)或其他特征,并可以通过车轮、悬架系统140和内部框架245在电动车辆105中传播。在对来自电动车辆105外部的外力反馈做出反应时,底盘控制模块230可以执行纠正措施以减少或允许外力反馈通过电动车辆105传播。修正措施可以稳定电动车辆105的方向稳定性(如俯仰、偏航和滚转),以响应在电动车辆105沿驾驶表面160运动时的扰动。使用从底盘控制240获得的测量数据,底盘控制模块230可以确定用于底盘控制240的纠正措施,以减少或允许外力反馈。底盘控制模块230可以通过减少外力反馈对源自驾驶表面160的外力反馈做出反应。例如,外力反馈可能来自驾驶表面160上的减速带,导致悬架系统140中的弹簧运动。基于悬架系统140中减震器和弹簧的测量到的运动,底盘控制模块230可以确定通过执行器施加的力的大小,以减少悬架系统140弹簧的运动。底盘控制模块230可以通过允许外力反馈对源自驾驶表面160的外力反馈做出反应。在另一个实施例中,外力反馈可能来自驾驶表面160上的一个凹坑,导致悬架系统140(例如减震器)接触内部框架245的底部表面的一部分。底盘控制模块230可以至少部分允许外力反馈通过电动车辆105传播,然后确定施加的力的大小来抵消悬架系统140的运动。在这两种情况下,所施加的力可以部分地减少外力反馈最初施加的运动量。根据确定纠正措施,底盘控制模块230可以驱动悬架系统140,加速度系统145,刹车系统150,转向系统155通过减少或允许至少部分外部力反馈以应对从驾驶表面160传播来的扰动。
在升级模式下,底盘控制模块230可通过底盘控制机械地引导来自电动车辆105内部的内力反馈。如上所述,内力反馈的机械引导可用于提醒乘员110采用手动控制车辆的功能(例如,握住方向盘或踩油门踏板或刹车踏板)。与源自电动车辆105外部的外力反馈相反,内力反馈可以通过驱动一个或多个底盘控制240而来自电动车辆105内部。此外,而外部力反馈的起源可能被限制到悬架系统140,内部力反馈的起源可能来自悬架系统140,加速度系统145,刹车系统150,或转向系统155中的任何一个,例如,从汽车内的组件。底盘控制模块230可驱动底盘控制240根据已定义的反馈模式机械地诱导内力反馈,从而将所识别的条件170传递给乘员110。根据已定义的反馈模式,通过机械地诱导内力反馈,底盘控制模块230可以模拟驾驶表面160上的道路状况,如停车减震带、路面标示点(Bott′s dot)、减速带、凸起的路面标记和砾石路面等。
为了按照已定义的反馈模式驱动底盘控制240,底盘控制模块230可以解析策略实施模块220选择已定义的反馈模式,以识别每个已定义的反馈模式的一个或多个规范。通过解析,底盘控制模块230可以识别底盘控制类型、驱动类型、驱动强度、时间分配、模式的总持续时间。底盘控制模块230可以选择一个或多个底盘控制240以驱动对应于已定义的反馈模式所指定的底盘控制类型。通过选择底盘控制240,底盘控制模块230可以根据驱动类型和驱动强度为每个底盘控制240生成一个命令。命令可以指定由各自的底盘控制240(例如,悬架系统140,加速系统145,刹车系统150和转向系统155)执行的驱动类型和驱动强度。该命令可以采用与相应的底盘控制240相对应的ECUs 205兼容的格式。底盘控制模块230可以将命令转发到与底盘控制240相应的ECUs 205。底盘控制模块230可以维护一个计时器,以测量自命令启动以来经过的时间。底盘控制模块230可以在已定义的反馈模式所设置的时间分配的持续时间内应用该命令,以使底盘控制240在该持续时间内执行驱动类型和驱动强度。在按照已定义的反馈模式指定的整个时间持续期间,底盘控制模块230可以重复生成命令的功能,以转发到与底盘控制240相应的ECUs 205。响应于该命令的接收,接收方底盘控制240可以执行该命令中指定的驱动。当底盘控制模块230在升级模式下时,悬架系统140,加速系统145,刹车系统150,和转向系统155的功能的细节在本文的下面解释。
接到命令后,悬架系统140可以控制执行器以控制电动车辆105指定的车轮的垂直倾角或倾斜。如上所述,悬架系统140可以包括车轮、弹簧、阻尼器、减震器和液压执行器,以控制方向稳定性、底盘阻尼和移动的或电动车辆105的内部框架。悬架系统140可以识别命令的驱动类型指定的电动车辆105的一个或多个车轮。对于每个所识别的车轮,悬架系统140可以识别命令的驱动强度指定车轮垂直倾角的高度或角度。悬架系统140可以计算或确定施加在车轮上的力的大小,以在确定的轮子上达到命令指定的垂直倾斜的高度或角度。施加在车轮上的力的大小可以基于对悬架系统140的弹簧、阻尼器和执行器响应外力反馈的运动的测量。使用确定的力的量,悬架系统140可以控制与一个或多个车轮连接的执行器执行正诱导以实现垂直倾斜或负诱导以实现车轮的垂直倾角。
在接收到指令后,加速系统145(例如可以包括变速箱系统)可以调节车轮的转速来控制电动车辆105的速度。如上所述,加速系统145可以利用电动车辆105的发动机控制电动车辆105的运动速度。加速系统145可以从命令中指定的驱动类型判断是否要增加发动机输入的燃料或电力以提高电动车辆105的速度。一旦确定驱动类型指定增加发动机的输入燃料或电力后,加速系统145可以从命令的驱动强度中识别电动车辆105的速度增加量。根据速度的增加量,加速系统145可以计算或确定输入发动机的燃料或电力的量,以达到电动车辆105的速度增加。输入燃料或电力的量可以根据电动车辆105的当前测量速度或发动机的转速来确定。使用确定的输入燃料或电力的量、或通过改变车辆的变速箱总成,加速度系统145可以控制电动车辆105的发动机旋转的速度,例如,达到速度的变化(例如相应的发动机振动和声音)。
响应于接收到命令,刹车系统150可以抑制车轮运动,以降低电动车辆105的速度。如上所述,刹车系统150可以通过抑制车轮转动来降低电动车辆105的运动速度。刹车系统150可以从命令中指定的驱动类型识别是否要制动(例如,使用摩擦或电磁力)来抑制车轮的运动以降低电动车辆105的速度。通过识别出驱动类型指定的应用制动,刹车系统150可以根据命令的驱动强度识别出电动车辆105的速度的降低量。基于速度下降的量,刹车系统150可以计算或确定通过制动器来达到电动车辆105的速度下降所应用的力的大小。力的大小可以根据电动车辆105的当前测量速度来确定。利用所确定的力的大小,刹车系统150可以对电动车辆105的车轮进行制动抑制运动,从而达到减速的目的。当收到指令后,刹车系统150可以通过某种方式或模式来控制刹车,例如通过控制车辆的防抱死制动系统(ABS)来控制刹车。这可以引起特征力反馈(包括相应的声音)到车辆105的乘员。
当接到命令后,转向系统155通过调整电动车辆105车轮相对于驾驶表面160的角度来控制电动车辆105的方向。如上文所述,电动车辆105的转向系统155由一组连杆、枢轴和齿轮组成,如转向柱、直线致动器(如齿条和小齿轮)、拉杆和主销控制电动车辆105的车轮的角度。转向系统155可以根据命令中指定的驱动类型使用转向系统155识别是否改变电动车辆105的方向。通过识别出驱动类型指定改变电动车辆105的方向,转向系统155可以识别驱动强度指定的电动车辆105的车轮方向(如前轮)的角度。转向系统155可以识别电动车辆105的车轮当前角度。转向系统155可以计算或确定当前角度和驱动强度指定的车轮角度之间的差异。转向系统155可以根据角度的差异调整车轮的角度,以达到指定的方向,从而改变电动车辆105的行驶方向165。转向系统155可以控制各种部件(如连杆、枢轴和齿轮)来调整电动车辆105的航向。
底盘控制模块230处于升级模式时,响应检测模块225可以维持定时器,以测量和识别通过底盘控制240机械引导内力反馈所经过的时间。计时器可能与用于测量自通过用户界面135显示指示以来所经过的时间的计时器相同。响应检测模块225可以将所经过的时间与切换临界阈值时间进行比较。此处的切换临界阈值时间可以表示在条件170发生之前,乘员110应该采用手动控制车辆功能的最终时间。响应检测模块225可以根据发生条件170的估计的时间设置切换临界阈值时间。例如,响应检测模块225可以将切换临界阈值时间设置为发生条件170的估计的时间的固定比例(例如,50-75%)。
通过这种方式,底盘控制模块230可以驱动底盘控制240以机械地引导来自电动车辆105内部的内力反馈。由于电动车辆105的乘客舱内的乘客110可能会感受到这种力,因此使乘客110注意力集中的可能性可能会增加。此外,随着根据力反馈模式执行的机械地引导内力反馈,乘员110也可以被告知条件170的性质。因此,与被限制在乘客舱内呈现音频、视觉和触觉刺激的电动车辆105相比,乘客110与电动车辆105之间的人机交互可能会增强。电动车辆105的一般用途也可以改进。特别是,在车辆控制单元210中自动模式和手动模式之间切换的可操作性和效率可能会被放大。此外,计算资源和电力的消耗可以避免浪费在试图通过音频、视觉或触觉刺激来抓住乘员110的注意力。
响应检测模块225可以确定自机械引导内力反馈开始所经过的时间小于或等于切换临界阈值时间。当所经过的时间小于阈值时间时,响应检测模块225可以继续监测驾驶控制120(如方向盘、油门踏板、刹车踏板)上的用户输入。响应检测模块225可以在先于所经过的时间超过切换临界阈值时间之前检测到驾驶控制120上的用户输入。为了响应在切换临界阈值时间之前检测到用户输入,响应检测模块225可以确定乘员110正在采用的手动控制车辆功能。此外,策略实施模块220可以返回、恢复或以其他方式使底盘控制模块230从升级模式更改为标准模式。针对手动控制的假设,所述车辆控制单元210可以将操作模式从自动模式改为手动模式。
在切换临界阈值时间内,策略实施模块220可以使用定时器从一个已定义的反馈模式切换到下一个已定义的反馈模式。使用定时器,策略实施模块220可以使用当前应用的已定义的反馈模式自机械引导内力反馈开始以来所经过的时间。策略实施模块220可以将所经过的时间与当前引导的已定义的反馈模式指定的总持续时间进行比较。在确定所经过的时间小于总持续时间时,策略实施模块220可以持续地使底盘控制模块230按照当前已定义的反馈模式机械地引导内力反馈。与此相反,在确定所经过的时间大于总持续时间时,策略实施模块220可以停止使底盘控制模块230按照当前已定义的反馈模式机械地引导内力反馈。策略实施模块220可以识别所识别出的条件170的下一个选定已定义的反馈模式。下一个选定的已定义的反馈模式可以包括不同于前一个已定义的反馈模式的规范。例如,下一个选定的已定义的反馈模式可用于通过另一个底盘控制240机械地引导内力反馈。通过识别,策略实施模块220可以使底盘控制模块230按照下一个选定的已定义的力反馈模式机械地引导内力反馈。
相反,响应检测模块225可以确定自机械引导内力反馈所经过的时间大于切换临界阈值时间。当确定所经过时间大于切换临界阈值时间时,策略实施模块220可以启动自动对策程序,将电动车辆105转换到静止状态。为了启动自动对策程序,政策实施模块220可以调用车辆控制单元210,利用环境传感器125获取的环境数据导航电动车辆105到静止状态。由于乘员110没有采用手动控制车辆的功能,车辆控制单元210可能仍然处于自动模式。基于使用来自环境传感器125的环境数据生成的数字地图数据结构,车辆控制单元210可以识别条件170的位置。利用条件170的位置,车辆控制单元210可以识别将电动车辆105转换到静止状态的位置。例如,静止状态的位置可能包括路肩或路边的停车车道。静止状态的位置可能比条件170的位置更接近电动车辆105的当前位置。
基于电动车辆105的当前位置和静止状态的位置,结合前面描述的SLAM技术,车辆控制单元210可以生成到静止状态位置的路径。该路径可以包括目标行驶方向165、电动车辆105目标速度和静止状态的位置。车辆控制单元210可以应用目标识别技术来确定当前位置和静止状态位置之间存在的障碍(例如,路缘、污水坑、障碍、行人、骑自行车的人或其他车辆)。目标识别技术包括几何哈希、尺度不变特征变换(SIFT)和加速鲁棒特征(SURF)等。基于使用目标识别技术检测到的障碍,车辆控制单元210可以改变到静止状态的位置的路径。根据生成的路径,车辆控制单元210可以设置、调整或控制转向系统、加速系统和刹车系统。例如,车辆控制单元210可以使用转向系统将车轮转向目标方向或目标位置。所述车辆控制单元210也可以通过应用加速系统的加速器来加速或通过刹车系统来减速来获得电动车辆105的目标速度。在确定电动车辆105在目标位置时,车辆控制单元210可以应用刹车系统150的刹车以保持静止状态。
当底盘制模块230在升级模式下通过底盘控制240机械地引导内力反馈时,组件协调模块235可使ECUs 205维持正常或默认操作。当底盘控制模块230的操作模式改变到升级模式时,组件协调模块235可以向ECUs 205发送或转发命令以维持ECUs 205的正常或默认操作。组件协调模块235可以识别ECUs 205的一个子集,该子集不与策略实施模块220和底盘控制模块230交互。组件协调模块235可以将指令转发给ECUs 205子集中的每一个ECU。在没有维持正常或默认操作指令的情况下,这样的ECUs 205(例如,远程信息处理ECUs、娱乐ECUs、旅客乘坐舒适度ECUs和电池管理ECUs)可以对由底盘控制240机械引导的内力反馈执行对策。一些ECU采取的对策可以减小升级模式下底盘控制模块230机械引导内力反馈。例如,电池管理ECU可以切断或减少对发动机的电源,以抵消在升级模式下由底盘控制模块230引起的电力激增。通过将ECUs 205保持在正常或默认模式下,电动车辆105中的乘员110可以感受到全部的内力反馈。此外,当底盘控制模块230处于标准模式时,ECUs 205可以继续像以前一样工作。
图3示出了一个提醒电动车辆的乘员采用手动控制车辆功能的示例性方法的流程图。上述方法300的操作可由本文结合图1和2详细描述的ADAS 115或结合图4描述的计算机系统400或其任何组合实现或执行。例如,方法300的功能可以在ADAS 115(数据处理系统115)上执行,如本文结合图1和2详细说明的那样,所述ADAS 115分布在一个或多个ECUs205中。数据处理系统(例如ADAS 115)可以识别条件(305)。数据处理系统115可以选择一种反馈模式来传达条件(310)。数据处理系统(如ADAS 115)可以改变底盘控制模式(315)。数据处理系统115可以转回底盘控制模式(320)。
数据处理系统115可以识别一种条件(305)。数据处理系统115可以识别使电动车辆内的乘员从自动操作中对车辆功能进行手动控制的条件。数据处理系统115可以从电动车辆传感器获取的环境数据中识别从自动模式到手动模式的变化条件。数据处理系统115可以识别条件的类型,以及条件的任何其他方面(例如,影响或碰撞电动车辆的时间或距离,以及条件的紧急程度)。所述条件会使电动车辆的车辆控制单元从自动模式变为手动模式。所述条件可以与电动车辆正在上面操纵的驾驶表面、接近的物体或障碍物或道路中断有关,并且可以与电动车辆本身沟通。数据处理系统115可以应用各种模式识别技术从环境数据中识别出条件。
数据处理系统115可以选择一种反馈模式来传达条件(310)。设置在电动车辆105内的传感器125可获取电动车辆105内的传感数据。在数据处理系统115上执行的响应检测模块225可以根据从传感器125获得的感知数据确定乘员对所识别的条件不注意。数据处理系统115可以选择一种反馈模式,对所识别的条件作出响应,并对确定出的乘员对所识别的条件不注意作出响应。数据处理系统115可以选择与所述条件对应、可识别或唯一的反馈模式。数据处理系统115可以从多个定义的反馈模式中选择反馈模式。数据处理系统115可以选择与条件的类型或其他方面(例如,紧急程度)相对应的反馈模式。
在预期的条件下,数据处理系统115可以选择反馈模式机械引导来自电动车辆105的内力反馈。例如,数据处理系统115的环境传感模块215可以确定让乘员承担手动控制车辆功能的估计的时间或紧急程度。策略执行模块220可选择多个已定义的反馈模式中的一个,以基于估计的时间或紧急程度机械地引导内力反馈。机械地引导内力反馈的可由电动车辆105中的悬架系统140、加速系统145、制动系统150和转向系统155中至少一个的引导引起。
每个反馈模式都可以与特定的条件相关联。数据处理系统115可以根据关联来选择反馈模式。例如,数据处理系统115的策略实施模块220可以选择与所识别的条件相对应的多个已定义反馈模式中的一个。响应于确定乘员注意力不集中,数据处理系统115的策略执行模块220会根据已定义的多个反馈模式中的一个使车辆105的底盘控制模块230来控制悬架系统140,加速度系统145,制动系统150,和转向系统155的至少一个驱动。
数据处理系统115可以改变底盘控制模式(315)。数据处理系统115可使电动车辆105的底盘控制240由标准模式变为升级模式。数据处理系统115可以确定(例如,根据获得的感知数据),乘员对已识别条件的指示性音频警报、视绝警报或触觉警报中的至少一种没有注意。数据处理系统115可在判断乘员不注意时,使底盘控制模块230从正标准模式切换到升级模式。数据处理系统115可使电动车辆105的底盘控制240从标准模式转变为升级模式,以对识别出的条件作出响应,以及对判断出乘员对所识别条件不注意作出响应。
底盘控制240可以控制悬架系统140、加速系统145(例如,包括变速箱总成)、刹车系统150和转向系统145中至少一个的驱动。在标准模式下,底盘控制240可以控制驱动反应、减少或允许从电动车辆105外部接收的外力反馈通过电动车辆105传播。而在升级模式下,底盘控制240可以控制驱动以机械地引导来自电动车辆内部的内力反馈,而不受来自电动车辆外部并发的任何外力反馈的影响。
所述数据处理系统(ADAS115)可选择并使用多个定义的反馈模式中的一个作为机械地引导内力反馈,以将所识别的条件传达给所述乘员。底盘控制240可根据所选反馈模式控制驱动,以将所识别的条件传达给电动车辆的乘员。所述数据处理系统115可通过根据多个已定义的反馈模式之一机械地引导内力反馈来模拟路面状况,包括至少一种停车减震带、减速带、凸起的路面标志和砾石路。在数据处理系统115上执行的组件协调模块235可使设置在电动车辆105中的一个或多个电子控制单元(ECUs)205维持正常运行,同时内力反馈由底盘控制模块230在升级模式下机械地引导。
数据处理系统(ADAS 115)可以转回底盘控制模式(320)。数据处理系统115可以监控电动车辆105的驾驶控制的用户交互,如方向盘、油门踏板或刹车踏板。例如,执行在数据处理系统115上的响应检测模块225可以确定乘员正在采用手动控制车辆功能(例如,通过电动车辆105的驾驶控制的用户交互)。在检测到用户交互后,数据处理系统115可以使底盘控制240从升级模式恢复到标准模式。例如,数据处理系统115的策略实施模块220响应乘员正在采用手动控制车辆功能的确定将底盘控制模块230从升级模式返回到标准模式。一旦检测到用户交互,数据处理系统115可使电动车辆105从自主模式转变为手动模式。
在数据处理系统115上执行的响应检测器模块225可以将自机械地引导内力反馈所经过的时间与阈值时间进行比较。响应所经过的时间大于阈值时间的判断,策略实施模块220可以执行自动对策程序,从而将电动车辆转换到静止状态。在数据处理系统115上执行的响应检测器模块225可以将自机械引导内力反馈经过的时间与第一定义反馈模式的定义的持续时间进行比较。响应于所经过的时间大于所述定义的持续时间的确定,所述策略执行模块220可选择所述多个定义的反馈模式的第二定义反馈模式,用于通过底盘控制模块230机械地诱导内力反馈。
图4是一示例性的计算机系统400框图。计算机系统或计算设备400可以包括或用于实现ADAS/数据处理系统115,或ADAS/数据处理系统115的组件。计算系统400包括至少一个用于传输信息的总线405或其他通信组件,以及与总线405连接,用于处理信息的至少一个处理器410或处理电路。计算系统400还可以包括与总线连接,用于处理信息的一个或多个处理器410或处理电路。计算系统400还包括至少一个主存储器415,如随机存取存储器(RAM)或其他动态存储设备,该主存储器415与总线405连接,用于存储信息和由处理器410执行的指令。主存储器415可以是或包括存储器112。主存储器415也可用于存储位置信息、车辆信息、命令指令、车辆状态信息、车辆内部或外部的环境信息、道路状况或道路条件信息或处理器410执行指令期间的其他信息。计算系统400可进一步包括至少一个只读存储器(ROM)420或其他静态存储设备,其与总线405连接,用于存储静态信息和处理器410的指令。存储设备425,例如固态设备、磁盘或光盘,可以与总线405连接以持久地存储信息和指令。该存储设备425可包括存储器112,也可以是存储器112的一部分。
计算系统400可以通过总线405连接到显示器435,例如液晶显示器,或有源矩阵显示器,用于向用户(如车辆105的驾驶员)显示信息。输入设备430,例如键盘或语音接口,可以连接到总线405,用于向处理器410发送信息和命令。输入设备430可以包括触摸显示屏435。输入设备430还可以包括光标控制,如鼠标、轨迹球或光标方向键,用于向处理器410发送方向信息和命令选择,并用于控制显示器435上的光标移动。显示435(例如,在车辆仪表盘上)可以是数据处理系统115的一部分,用户接口135,或图1或2所示的其他组件。
这里所述的进程、系统和方法可由计算系统400响应所述处理器410执行包含在主存储器415中的一系列的指令来实现。这样的指令可以从另一个计算机可读的介质(如存储设备425)读入主存储器415。包含在主存储器415中的一系列指令的执行使计算系统400实现这里所描述的说明性进程。多进程布置中的一个或多个处理器也可以被用来执行主存储器415中包含的指令。硬线电路可用来代替软件指令或与本文描述的系统和方法结合使用。此处描述的系统和方法均不限于任何特定的硬件电路和软件的组合。
尽管图4中描述了一个计算系统的实施例,主题包括本说明中所述的操作可以在其他类型的数字电子电路中实现,或在计算机软件,固件或硬件中实现,包括本说明书中公开的结构中及其类似结构,或其中一个或多个组合。
这里的一些描述强调了系统组件的多方面的结构独立性(例如,ADAS 115模块和组件),举例说明了操作的分类和这些系统组件的职责。执行类似全局操作的其他分类应当被认为在本申请的范围内。模块可以在硬件中实现,也可以在非瞬时计算机可读存储介质上作为计算机指令实现,模块可以分布在各种硬件或基于计算机的组件中。
上面描述的系统可以提供这些组件中的任何一个或多个,这些组件可以在一个独立的系统上提供,也可以在一个分布式系统中的多个实例化上提供。此外,上述系统和方法可以作为一个或多个计算机可读程序或可执行指令提供,这些程序或指令包含在一个或多个产品中。该产品可以是云存储、硬盘、CD-ROM、闪存卡、PROM、RAM、ROM或磁带。一般来说,计算机可读程序可以用任何编程语言实现,比如LISP、PERL、C、C++、C#、PROLOG,或者用任何字节码语言实现,比如JAVA。软件程序或可执行指令可以作为目标代码存储在一个或多个产品中。
示例和非限制性模块实施方式元件包括传感器,用于提供任何确定的值,传感器提供任何值为此处确定的值的前身,在根据模块说明书的一个特定的非瞬态状态配置中,数据链或网络硬件包括通信芯片、振荡晶体、通信链路、电缆、双芯绞合线、同轴布线、屏蔽线路、发射器、接收器、或收发器、逻辑电路、硬连线逻辑电路、可重构逻辑电路,任何执行器至少包括一个电气、液压或气动执行器,一个螺线管,一个运放,模拟控制元件(弹簧,滤波器,积分器,加法器,分隔器,增益元件),或数字控制元件。
本说明书中描述的主题和操作可以在数字电子电路中实现,或在计算机软件、固件或硬件中实现,包括本说明书中公开的结构及其类似结构,或它们中的一个或多个的组合。本说明书中描述的主题可以实现为一个或多个计算机程序,例如,编码在一个或多个计算机存储介质上的一个或多个计算机程序指令电路,用于由数据处理设备执行或控制数据处理设备的操作。作为替代或补充,程序指令可以在人工产生的传播信号上进行编码,例如,机器产生的电信号、光信号或电磁信号,产生这些信号是为了对信息进行编码,以便传输到合适的接收设备上,由数据处理设备执行。计算机存储介质可以是或包含在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备,或其中一个或多个的组合。虽然计算机存储介质不是传播信号,但计算机存储介质可以是编码在人工产生的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包含在一个或多个独立的组件或媒体中(例如,多个cd、磁盘或包括云存储在内的其他存储设备)。本说明书中描述的操作可以实现为数据处理设备对存储在一个或多个计算机可读存储设备上或从其他来源接收的数据执行的操作。
“数据处理系统”、“计算设备”、“组件”或“数据处理装置”或类似的术语,包括用于处理数据的各种装置、设备和机器,例如包括一个或多个可编程处理器、计算机、芯片上的系统,或前述的组合。该装置可以包括特殊用途的逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(应用专用集成电路)。装置还可以包括,除了硬件之外的,为相关计算机程序创建执行环境的代码,例如,构成处理器固件的代码,一个协议栈,数据库管理系统、操作系统、跨平台的运行时环境,虚拟机,或者它们中一个或者多个的组合。设备和执行环境可以实现各种不同的计算模型基础设施,如web服务、分布式计算和网格计算基础设施。
计算机程序(也称为程序,软件,软件应用程序,应用程序,脚本或代码)可以以任何形式的编程语言编写,包括编译或解释语言,声明或过程语言,也可以以任何形式部署,包括作为一个独立的程序或模块,组件,子程序、对象,或其他适用于计算环境的单元。计算机程序可以对应于文件系统中的文件。一个计算机程序可以存储在一个文件的一部分中,该文件还存储有其他程序或数据(例如,一个或多个脚本存储在标记语言文档中),在程序的单个文件中,或在多个协通文件(例如,存储一个或多个模块,子程序,或部分代码的文件)。计算机程序可以部署在一台计算机上执行,也可以部署在位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行,这些处理器执行一个或多个计算机程序,通过对输入数据进行操作并生成输出来执行操作。该过程和逻辑流程也可以由特殊用途的逻辑电路来执行,设备也可以被实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(应用特定集成电路)。适合存储计算机程序指令和数据的设备可以包括非易失性存储器、介质和存储器设备,包括举例来说的半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM光盘。处理器和存储器可以由特殊用途的逻辑电路来补充或组成。
本文描述的主题可以一个计算系统中实现在,该计算系统包括一个后端组件,例如,作为一个数据服务器,或者包含一个中间件组件,例如,一个应用程序服务器,或者包含一个前端组件,例如,一个具有图形用户界面或web浏览器的客户端计算机,用户可以通过该计算机与本说明书中描述的主题的实施方式相互作用,或一个或多个这样的后端,中间件或前端组件的组合。系统的组件可以通过数字数据通信的任何形式或媒介进行互连,例如通信网络。通信网络的示例包括局域网(LAN)和广域网(WAN)、互联网络(如因特网)和点对点网络(如特定的点对点网络)。
虽然操作在附图中以特定顺序描述,但是这样的操作不需要以示出或描述的特定顺序或按序执行,并且描述的操作不需要全部执行。这里描述的动作可以以不同的顺序执行。
现在已经描述了一些说明性实施方式,很明显,前述内容是说明性的而非限制性的,且已经通过示例的方式给出了。特别地,虽然这里提出了许多涉及到方法动作或系统元素的特定组合的示例,那些动作和那些元素可以以其他方式进行组合来实现相同的目标。在一个实施方式中讨论的动作、元素和特征并不打算被排除在其他实施方式或实现中的类似角色之外。
这里使用措辞和术语的目的是为了描述,而不应被视为限制性的。在此使用的″包括″、″包含″、″具有″、″含有″、″涉及″、″特征在于″及其变化,意味着包括其后列出的项目、其等同物和附加项目,以及由其后列出的项目专门组成的替代实施方式。在一个实施方式中,本文描述的系统和方法由一个、多于一个的每种组合、或所有描述的元件、动作或组件组成。
本文中以单数形式提及的系统和方法的实现或元件或动作的任何引用也可以包括多个这些元件的实现,并且本文中任何实现或元件或动作的复数形式的任何引用也可以仅包括单个的实现。单数或复数形式的引用无意将当前公开的系统或方法、它们的组件、动作或元件限制为单个或多个配置。对基于任何动作或元件的任何动作或元件的引用可以包括其中该动作或元件至少部分基于任何动作或元件的实现。
本文公开的任何实施方式可以与任何其他实施方式或实施例相结合,并且对“一个实施方式”,“一些实施方式”,“一种实施方式”或类似的术语的引用并不是相互排斥的,其旨在表明结合实施方式描述的特定的功能,结构,或者特征可以被包括在至少一个实施方式或实施例中。这里使用的这些术语不一定全部指同一实施方式。任何实施方式可以与任何其他实施方式相结合,包括地或排他地,以任何方式与本文所公开的方面和实施方式一致。
“或”的引用可以被解释为包括性的,使得使用“或”描述的任何术语可以指示单个、一个以上以及所有所描述术语中的任何一个。对词语的组合列表中的至少一个的引用可以被解释为包括性的或,以指示单个,一个以上,以及所有所描述的术语中的任何一个。例如,对“A”和“B”中的至少一个的引用可以包括仅有“A”、仅有“B”以及“A”和“B”。与“包含”或其他开放式术语一起使用的此类引用也可以包括其他项目。
当附图、说明书或任何权利要求中的技术特征之后附有附图标记时,附图标记的添加是为了增加附图、详细描述和权利要求的可理解性。因此,无论附图标记存在或还是缺失,都不会对任何权利要求的范围产生任何限制作用。
对所描述的元件和动作的修改,如不同元件的大小、尺寸、结构、形状和比例的变化,参数的值、安装形式、使用的材料、颜色、方向等,可以在不实质上背离本文公开的主题的教义和优势的情况下发生。例如,以整体形式显示的元件可以由多个部分或元件构成,元件的位置可以反转或改变,离散元件的性质或数量或位置可以改变或变化。在不偏离本申请公开的范围的前提下,本申请公开的元件和操作的设计、运行条件和布置也可作其他替代、修改、变更和移除。
本文描述的系统和方法可以以其他特定形式来体现,而不脱离其特征。例如,虽然交通工具105在这里的实施例中通常被称为电动交通工具105,但是交通工具105除了电动车辆之外还可以包括化石燃料或混合动力汽车,交通工具105的实施例包括并适用于其他交通工具105。因此,本文所描述的系统和方法的范围由所附权利要求说明,而不是前述描述来指明,并且包括权利要求的等同含义和范围内的变化。

Claims (20)

1.一种提醒电动车辆内的乘员采取手动控制车辆功能的系统,包括:
环境传感模块,所述环境传感模块在具有一个或多个设置在电动车辆内的处理器的数据处理系统上执行,以识别使电动车辆中的乘员从自动操作采取手动控制车辆功能的条件;
底盘控制模块,所述底盘控制模块在所述数据处理系统上执行,以控制电动车辆的悬架系统、加速系统、刹车系统以及转向系统中至少一个的驱动,所述底盘控制模块具有标准模式和升级模式,所述标准模式用于控制驱动应对来自电动车辆外部的通过电动车辆传播给乘员的外力反馈,所述升级模式用于控制驱动机械地引导来自电动车辆内部的内力反馈,以提醒乘员采取手动控制车辆功能;
策略实施模块,所述策略实施模块在所述数据处理系统上执行,响应于所述条件的识别,以引起所述底盘控制模块从标准模式改为升级模式,并使用多个定义的反馈模式中的一个作为机械引导的内力反馈以将所述条件的指示传递给所述乘员。
2.根据权利要求1所述的系统,包括:
传感器,所述传感器设置在所述电动车辆内,以获取所述电动车辆内的感知数据;
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以根据从所述传感器获取的所述感知数据确定所述乘员对所述识别的条件疏忽;
策略实施模块,响应所述乘员疏忽的确定,引起所述底盘控制模块根据所述多个定义的反馈模式中的一个驱动悬架系统、加速系统、刹车系统和转向系统中的至少一个。
3.根据权利要求1所述的系统,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以确定所述乘员对所识别的条件的指示性的音频警报、视听警报和触觉警报中的至少一个疏忽;
所述策略实施模块响应所述乘员疏忽的确定,引起所述底盘控制模块从标准模式更改为升级模式。
4.根据权利要求1所述的系统,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以确定所述乘员正在采取手动控制所述车辆功能;
所述策略实施模块响应所述乘员正在采取控制车辆功能的确定,将所述底盘控制模块从升级模式转为标准模式。
5.根据权利要求1所述的系统,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以将自机械引导内力反馈起所经过的时间与阈值时间进行比较;和
所策略实施模块响应所述所经过的时间大于所述阈值时间的确定,执行自动对策程序以将所述电动车辆转换到静止状态。
6.根据权利要求1所述的系统,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以将自机械引导内力反馈起所经过的时间与为第一定义的反馈模式的定义的持续时间进行比较;
所述策略实施模块响应所述所经过的时间大于所述定义的持续时间的确定,选择所述多个定义的反馈模式中的第二定义的反馈模式,用于通过所述底盘控制模块机械地引导内力反馈。
7.根据权利要求1所述的系统,包括:
所述底盘控制模块根据所述多个定义的反馈模式中的一个机械地引导内力反馈,以模拟路面状况,包括停车振动带、减速带、凸形铺面标物和碎石路中的至少一个。
8.根据权利要求1所述的系统,包括:
所述策略实施模块对应于所识别的条件选择多个定义的反馈模式中的一个。
9.根据权利要求1所述的系统,包括:
所述环境传感模块用于确定使所述乘员采取手动控制车辆功能的估计的时间或紧急程度;
所述策略实施模块选择所述多个定义的反馈模式中的一个,以基于所述估计的时间或所述紧急程度机械地引导所述内力反馈。
10.根据权利要求1所述的系统,包括:
组件协调模块,所述在组件协调模块所述数据处理系统上执行,使设置在所述电动车辆中的一个或多个电子控制单元维持正常运行,同时所述底盘控制模块在升级模式下机械地引导内力反馈。
11.一种电动车辆,包括:
环境传感模块,所述环境传感模块在具有一个或多个设置在电动车辆内的处理器的数据处理系统上执行,以识别使电动车辆中的乘员从自动操作采取手动控制车辆功能的条件;
底盘控制模块,所述底盘控制模块在所述数据处理系统上执行,以控制电动车辆的悬架系统、加速系统、刹车系统以及转向系统中至少一个的驱动,所述底盘控制模块具有标准模式和升级模式,所述标准模式用于控制驱动应对来自电动车辆外部的通过电动车辆传播给乘员的外力反馈,所述升级模式用于控制驱动机械地引导来自电动车辆内部的内力反馈,以提醒乘员采取手动控制车辆功能;
策略实施模块,所述策略实施模块在所述数据处理系统上执行,响应于所述条件的识别,以引起所述底盘控制模块从标准模式改为升级模式,并使用多个定义的反馈模式中的一个作为机械引导内力的反馈以将所述条件的指示传递给所述乘员。
12.根据权利要求1所述的电动车辆,包括:
传感器,所述传感器设置在所述电动车辆内,以获取所述电动车辆内的感知数据;
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以根据从所述传感器获取的所述感知数据确定所述乘员对所述识别的条件疏忽;
策略实施模块,响应所述乘员疏忽的确定,引起所底盘控制模块根据所述多个定义的反馈模式中的一个驱动悬架系统、加速系统、刹车系统和转向系统中的至少一个。
13.根据权利要求1所述的电动车辆,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以确定所述乘员对所识别的条件的指示性的音频警报、视听警报和触觉警报中的至少一个疏忽;
所述策略实施模块响应所述乘员疏忽的确定,引起所述底盘控制模块从标准模式更改为升级模式。
14.根据权利要求1所述的电动车辆,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以将自机械引导内力反馈起所经过的时间与阈值时间进行比较;和
所策略实施模块响应所述所经过的时间大于所述阈值时间的确定,执行自动对策程序以将所述电动车辆转换到静止状态。
15.根据权利要求1所述的电动车辆,包括:
响应检测模块,所述响应检测模块在所述数据处理系统上执行,以将自机械引导内力反馈起所经过的时间与为第一定义的反馈模式的定义的持续时间进行比较;
所策略实施模块响应所述所经过的时间大于所述定义的持续时间的确定,选择所述多个定义的反馈模式中的第二定义的反馈模式,用于通过所述底盘控制模块机械地引导内力反馈。
16.根据权利要求1所述的电动车辆,包括:
所述底盘控制模块根据所述多个定义的反馈模式中的一个机械地引导内力反馈,以模拟路面状况,包括停车振动带、减速带、凸形铺面标物和碎石路中的至少一个。
17.根据权利要求1所述的电动车辆,包括:
组件协调模块,所述在组件协调模块所述数据处理系统上执行,使设置在所述电动车辆中的一个或多个电子控制单元维持正常运行,同时所述底盘控制模块在升级模式下机械地引导内力反馈。
18.一种提醒电动车辆内的乘员采取手动控制车辆功能的方法,包括:
通过具有一个或多个设置在车辆内的处理器的数据处理系统,识别使车辆中的乘员从自动操作采取手动控制车辆功能的条件;
通过所述数据处理引起所述车辆的底盘控制模块从标准模式改为升级模式以响应所述条件的识别,所述底盘控制模块配置为控制车辆的悬架系统、加速系统、刹车系统以及转向系统中至少一个的驱动,所述标准模式用于控制驱动以减少或允许来自所述车辆外部的通过所述车辆传播给乘员的外力反馈,所述升级模式用于控制驱动以机械地引导来自所述车辆内部的内力反馈,以提醒乘员采取手动控制车辆功能;
通过所述数据处理系统使用多个定义的反馈模式中的一个作为机械引导的内力反馈以将所述条件的指示传递给所述乘员。
19.根据权利要求18所述的方法,包括:
通过所述数据处理系统确定所述乘员对所识别的条件的指示性的音频警报、视听警报和触觉警报中的至少一个疏忽;
通过所述数据处理系统引起所述底盘控制模块从标准模式更改为升级模式以响应所述乘员疏忽的确定。
20.根据权利要求18所述的方法,包括:
通过所述数据处理系统根据所述多个定义的反馈模式中的一个通过机械的引导的内力反馈,模拟路面状况,包括停车振动带、减速带、凸形铺面标物和碎石路中的至少一个。
CN201880085727.0A 2018-07-12 2018-12-29 利用底盘反馈的高级驾驶员注意力升级 Pending CN111801260A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/033,977 US10421465B1 (en) 2018-07-12 2018-07-12 Advanced driver attention escalation using chassis feedback
US16/033,977 2018-07-12
PCT/CN2018/125641 WO2020010823A1 (en) 2018-07-12 2018-12-29 Advanced driver attention escalation using chassis feedback

Publications (1)

Publication Number Publication Date
CN111801260A true CN111801260A (zh) 2020-10-20

Family

ID=67988593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085727.0A Pending CN111801260A (zh) 2018-07-12 2018-12-29 利用底盘反馈的高级驾驶员注意力升级

Country Status (3)

Country Link
US (1) US10421465B1 (zh)
CN (1) CN111801260A (zh)
WO (1) WO2020010823A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10906554B2 (en) * 2017-05-23 2021-02-02 Magna Electronics Inc. Autonomous driving system
US20200073379A1 (en) * 2018-08-31 2020-03-05 Toyota Research Institute, Inc. Systems and methods for confirming that a driver has control of a vehicle
JP2021033508A (ja) * 2019-08-21 2021-03-01 株式会社東海理化電機製作所 情報通知装置、制御装置、およびコンピュータプログラム
US11400953B2 (en) * 2019-10-30 2022-08-02 Continental Automotive Systems, Inc. Method and product for alerting or refocusing an inattentive driver
US11535260B2 (en) * 2020-03-05 2022-12-27 Harman International Industries, Incorporated Attention-based notifications
US11718139B2 (en) * 2020-10-07 2023-08-08 Hyundai Mobis Co., Ltd. System and method for controlling vehicle
US11897480B1 (en) 2020-12-18 2024-02-13 Zoox, Inc. Vehicle scheduling based on occupant preferences
US11794742B1 (en) * 2020-12-18 2023-10-24 Zoox, Inc. Dynamic vehicle suspension and steering adjustment
US11851084B2 (en) * 2021-04-16 2023-12-26 Toyota Research Institute, Inc. Systems and methods for controlling an autonomous vehicle
KR20230013566A (ko) * 2021-07-19 2023-01-26 현대자동차주식회사 차량용 서스팬션 제어 장치 및 방법
CN114044000B (zh) * 2021-11-05 2023-06-23 东风汽车集团股份有限公司 一种自动驾驶车辆hmi人机交互的安全冗余系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104290745A (zh) * 2014-10-28 2015-01-21 奇瑞汽车股份有限公司 车辆用半自动驾驶系统及其方法
CN105988467A (zh) * 2015-03-23 2016-10-05 丰田自动车株式会社 自动驾驶装置
DE102015009217B3 (de) * 2015-07-15 2016-10-13 Audi Ag Verfahren zum Betrieb eines zur automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrerassistenzsystems und Kraftfahrzeug
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
US20170297569A1 (en) * 2016-04-15 2017-10-19 Volvo Car Corporation Device and method for safety stoppage of an autonomous road vehicle
CN107415938A (zh) * 2016-05-13 2017-12-01 通用汽车环球科技运作有限责任公司 基于乘员位置和注意力控制自主车辆功能和输出
CN107472350A (zh) * 2016-06-07 2017-12-15 本田技研工业株式会社 车辆控制装置、车辆控制方法和车辆控制程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228417A1 (en) * 2009-03-06 2010-09-09 Gm Global Technology Operations, Inc. Driver hands on/off detection during automated lane centering/changing maneuver
JP6205640B2 (ja) * 2012-07-30 2017-10-04 市光工業株式会社 車両用警告装置
JP6176263B2 (ja) * 2015-01-19 2017-08-09 トヨタ自動車株式会社 自動運転装置
JP2016203718A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 車両の制御装置
US9718471B2 (en) * 2015-08-18 2017-08-01 International Business Machines Corporation Automated spatial separation of self-driving vehicles from manually operated vehicles
US10438493B2 (en) * 2016-08-24 2019-10-08 Uber Technologies, Inc. Hybrid trip planning for autonomous vehicles
KR102025809B1 (ko) * 2017-09-29 2019-09-26 엘지전자 주식회사 차량 주행 제어 장치 및 차량 주행 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104290745A (zh) * 2014-10-28 2015-01-21 奇瑞汽车股份有限公司 车辆用半自动驾驶系统及其方法
CN105988467A (zh) * 2015-03-23 2016-10-05 丰田自动车株式会社 自动驾驶装置
DE102015009217B3 (de) * 2015-07-15 2016-10-13 Audi Ag Verfahren zum Betrieb eines zur automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrerassistenzsystems und Kraftfahrzeug
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
US20170297569A1 (en) * 2016-04-15 2017-10-19 Volvo Car Corporation Device and method for safety stoppage of an autonomous road vehicle
CN107415938A (zh) * 2016-05-13 2017-12-01 通用汽车环球科技运作有限责任公司 基于乘员位置和注意力控制自主车辆功能和输出
CN107472350A (zh) * 2016-06-07 2017-12-15 本田技研工业株式会社 车辆控制装置、车辆控制方法和车辆控制程序

Also Published As

Publication number Publication date
US10421465B1 (en) 2019-09-24
WO2020010823A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US11878683B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
US11287820B1 (en) System and method for predicting behaviors of detected objects through environment representation
CN111801260A (zh) 利用底盘反馈的高级驾驶员注意力升级
USRE49650E1 (en) System and method for automatically detecting key behaviors by vehicles
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
US10074280B2 (en) Vehicle pedestrian safety system and methods of use and manufacture thereof
US10915101B2 (en) Context-dependent alertness monitor in an autonomous vehicle
CN110641472B (zh) 基于神经网络的用于自主车辆的安全监控系统
US9969404B2 (en) Conveyance of required driver behaviors using persistent patterned sound
US8948955B2 (en) System and method for predicting behaviors of detected objects
US9196164B1 (en) Pedestrian notifications
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US20180144636A1 (en) Distracted driver detection, classification, warning, avoidance system
US20220348217A1 (en) Electronic apparatus for vehicles and operation method thereof
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
CN106292432B (zh) 信息处理方法、装置和电子设备
US10933867B2 (en) Artificial intelligence based collision avoidance system and method
Manichandra et al. Advanced Driver Assistance Systems
US11926259B1 (en) Alert modality selection for alerting a driver
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
US20230368663A1 (en) System, method and application for lead vehicle to trailing vehicle distance estimation
CN115320635A (zh) 评估自主驾驶车辆的规划功能的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination