CN107117179B - 基于乘员注意的自主控制 - Google Patents

基于乘员注意的自主控制 Download PDF

Info

Publication number
CN107117179B
CN107117179B CN201710089042.0A CN201710089042A CN107117179B CN 107117179 B CN107117179 B CN 107117179B CN 201710089042 A CN201710089042 A CN 201710089042A CN 107117179 B CN107117179 B CN 107117179B
Authority
CN
China
Prior art keywords
vehicle
factor
alertness
control
readiness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710089042.0A
Other languages
English (en)
Other versions
CN107117179A (zh
Inventor
威廉·保罗·珀金斯
大卫·B·凯利
肯尼斯·詹姆斯·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107117179A publication Critical patent/CN107117179A/zh
Application granted granted Critical
Publication of CN107117179B publication Critical patent/CN107117179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0071Controller overrides driver automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

从多个源接收表示车辆、车辆操作者和车辆周围的环境的方面的信号。至少部分地基于信号来产生警觉性因子因子和准备状态因子。至少部分地基于警觉性因子和准备状态因子,在自主控制水平之间转换车辆的控制。

Description

基于乘员注意的自主控制
技术领域
本发明涉及车辆技术领域,并且更具体地涉及基于乘员注意的自主控制。
背景技术
近年来,已经看到所谓的自主或半自主车辆,即乘用车等的发展,该车辆包括编程以运载我们的一个或多个车辆操作的计算机。这样的车辆的范围从具有有限的控制制动和转向(例如,当前存在的车道保持技术)的能力的半自主车辆到完全自主的车辆,例如现在已知的,其中,车辆计算机可以做出所有车辆操作决策,例如所有关于推进、制动和转向的决策。
当人类操作者请求对一个或多个车辆部件的控制时,在完全和半自主车辆中出现挑战。例如,在自主车辆中,如果操作者使转向装置、制动器或加速踏板移动,则车辆计算机可能缺乏足够的信息来决策是否更好地将控制返回给驾驶员或继续自主控制。在该示例中,车辆计算机可能缺少信息以确定操作者在睡着或醉酒时已经碰到踏板或方向盘,孩子或其他乘客在转弯中途已经碰到方向盘等。
另一方面,例如在完全自主的车辆中,控制车辆操作的计算机可能不具有用于控制和操作车辆的足够的数据。例如,条件或故障可以妨碍传感器清楚地检测周围环境,这可能导致车辆计算机提供使车辆沿危险方向转向的指令。
在其他情况下,条件可以在“灰色区域”中,使得难以清楚地确定车辆计算机和/或操作者是否可以安全地操作一些或所有车辆部件。因此,在决策如何分担与车辆乘员操作车辆的责任的车辆计算机中出现困难。这个问题由于真实世界驾驶包括具有高变化性、不确定性和模糊性的许多不同事件的事实而加剧。
发明内容
根据本发明,提供一种用于控制车辆的方法,包含以下步骤:
从多个源接收表示车辆、车辆操作者和车辆周围的环境的方面的信号;
至少部分地基于信号来产生警觉性因子和准备状态因子;和
至少部分地基于警觉性因子和准备状态因子来在自主控制水平之间转换车辆的控制。
根据本发明的一个实施例,水平包括自主控制水平、半自主控制水平和手动控制水平。
根据本发明的一个实施例,自主控制水平包含由车辆操作者对车辆转向、制动和推进中的每一个的少量控制或不进行控制,半自主控制水平包括由车辆操作者对车辆转向装置、制动器和推进器中的至少一个的部分或全部控制,以及手动控制水平包括由车辆操作者对车辆转向、制动和推进中的每一个的部分或全部控制。
根据本发明的一个实施例,部件警觉性因子和准备状态因子各自从一个或多个车辆子系统确定。
根据本发明的一个实施例,方法进一步包含:当警觉性因子和准备状态因子中的一个超过第一阈值时,从自主控制水平中的第一水平变换到自主控制水平的第二水平。
根据本发明的一个实施例,第一阈值是第一警觉性阈值,方法进一步包含当警觉性因子超过第一警觉性阈值并且准备状态因子超过第一准备状态阈值时,从自主控制水平中的第一水平变换到自主控制水平中的第二水平。
根据本发明的一个实施例,方法进一步包含根据警觉性因子和准备状态因子致动车辆转向装置、制动器和推进器中的至少一个。
根据本发明的一个实施例,方法进一步包含至少部分地基于关于车辆操作者的数据来产生警觉性因子和准备状态因子。
根据本发明的一个实施例,关于车辆操作者的数据包括面部识别、眼睛运动、面部表情、言语、手位置、座椅位置、制动响应时间、加速器响应时间和转向响应时间中的至少一个。
根据本发明的一个实施例,方法进一步包含基于警觉性因子和准备状态因子在多个车辆子系统中的每一个车辆子系统的自主控制水平之间转换。
根据本发明,提供一种自主车辆,包含:
多个车辆控制子系统;
多个传感器和接收器,传感器和接收器用于从多个源接收表示车辆、至少一个车辆操作者、控制子系统和车辆周围环境的方面的信号;和
至少一个控制器,控制器被编程为至少部分地基于信号来产生警觉性因子和准备状态因子;
其中至少一个控制器被编程为至少部分地基于警觉性因子和准备状态因子来在自主控制水平之间转换车辆的控制。
根据本发明的一个实施例,水平包括自主控制水平、半自主控制水平和手动控制水平。
根据本发明的一个实施例,自主控制水平包含由车辆操作者对车辆转向、制动和推进中的每一个的少量控制或不进行控制,半自主控制水平包括由车辆操作者对车辆转向装置、制动器和推进器中的至少一个的部分或全部控制,以及手动控制水平包括由车辆操作者对车辆转向、制动和推进中的每一个的部分或全部控制。
根据本发明的一个实施例,控制器被编程为从一个或多个车辆子系统确定部件警觉性因子和准备状态因子中的每一个。
根据本发明的一个实施例,控制器被编程为当警觉性因子和准备状态因子中的一个超过第一阈值时,从自主控制水平中的第一水平变换到自主控制水平中的第二水平。
根据本发明的一个实施例,第一阈值是第一警觉性阈值,并且控制器被编程为当警觉性因子超过第一警觉性阈值和准备状态因子超过第一准备状态阈值时,从自主控制水平中的第一水平变换到自主控制水平中的第二水平。
根据本发明的一个实施例,控制器被编程为根据警觉性因子和准备状态因子致动车辆转向装置、制动器和推进器中的至少一个。
根据本发明的一个实施例,控制器被编程为至少部分地基于关于车辆操作者的数据来产生警觉性因子和准备状态因子。
根据本发明的一个实施例,关于车辆操作者的数据包括面部识别、眼睛运动、面部表情、言语、手位置、座椅位置、制动响应时间、加速器响应时间和转向响应时间中的至少一个。
根据本发明的一个实施例,控制器被编程为基于警觉性因子和准备状态因子在多个车辆子系统中的每一个车辆子系统的自主控制水平之间转换。
附图说明
图1是车辆控制系统的框图;
图2是可以在图1的系统的环境中实现的处理子系统的示意图;
图3是可以在图1的系统的环境中实现以确定警觉性因子和准备状态因子的另一处理子系统的示意图;
图4是可以在图1的系统的环境中实现以确定自主置信因子的另一处理子系统的示意图;
图5A-5C示出了收集数据和确定数据的置信度的数据收集器的示例集合;
图6A-6C示出了收集数据和确定数据的置信度的数据收集器的另一示例集合;
图7A示出了将来自部件子系统的数据处理成自主置信因子的框图;
图7B是图4的处理子系统的示意图;
图7C示出了示例车辆和数据收集器的示例范围;
图8A是由图4的处理子系统收集和处理以确定自主置信因子的数据表;
图8B-8C示出了来自图8A的图表的数据;
图9是可以在图1的系统的环境中实现以确定危险因子的另一处理子系统的示意图;
图10是可以用于确定动作概率因子的示例概率阵列的示意图;
图11示出了多个方向概率阵列,该每个方向概率阵列指示潜在的车辆轨迹;
图12是可以在图1的系统的环境中实现以确定组合方向概率阵列的另一处理子系统的示意图;
图13是可以在图1的系统的环境中实现以确定动作概率因子的另一处理子系统的示意图;
图14是用于实现车辆的操作控制的示例性过程的示意图;
图15是用于基于警觉性因子和准备状态因子实现车辆的操作控制的另一示例性过程的示意图;
图16是用于基于动作概率因子实现车辆的操作控制的另一示例性过程的示意图;
图17是用于基于自主置信因子实现车辆的操作控制的另一示例性过程的示意图;
图18是用于基于危险因子实现车辆的操作控制的另一示例性过程的示意图。
具体实施方式
引言
图1是示例性自主车辆系统100的框图,系统100包括设置有一个或多个传感器数据收集器110的车辆101,所述传感器数据收集器110收集例如与车辆101的操作、接近车辆101的环境、车辆101操作者有关的所收集的数据115。车辆101中的计算设备105通常接收所收集的数据115,并且还包括程序编制,例如作为存储在计算设备105的存储器中并且可由计算设备105的处理器执行的一组指令,由此一些或全部操作可以自主地或半自主地进行,即没有人类控制和/或有限的人类干预。
计算设备105被编程为识别允许的控制状态,即,一个或多个车辆部件的手动控制和/或计算机控制。此外,计算机105可以被编程为识别车辆操作的多个可能模式中的一个。计算机105可以获取可以用于评估多个操作因子的所收集的数据115,每个操作因子是根据大体上当前所收集的数据115随时间变化的值。操作因子在下面详细解释,并且可以包括例如驾驶员警觉性因子、驾驶员准备状态因子、驾驶员行动概率因子、自主置信因子和/或危险因子。操作因子可以被组合,例如经受可以根据当前条件以及车辆101和/或类似车辆101的操作历史对操作因子加权的模糊逻辑分析。基于操作因子,计算机105被编程为输出车辆101控制决策,并且根据控制决策来操作一个或多个车辆101部件。
例如,车辆101计算机105可以基于操作因子输出指定车辆101操作的模式(例如自主、半自主或手动)的控制规则,其中自主模式意味着与车辆推进、转向和制动相关的所有操作由计算机105控制,半自主意味着上述操作的子集由计算机105控制,并且一些操作留给操作员控制,并且手动意味着前述操作留给车辆乘员控制。类似地,在另一个示例中,计算机105可以确定允许的人工操作者控制的级别,例如(1)计算机101没有控制转向装置、制动器或推进器,(2)由计算机105控制制动器,3)由计算机105控制制动器和推进器,(4)由计算机105控制制动器、推进器和转向装置,以及(5)组合控制,例如由计算机控制制动器、推进器和转向装置但是乘员可以施加力以克服计算机105致动制动器或加速踏板位置和/或方向盘位置。下面讨论车辆操作模式的其他示例,例如不同级别的自主操作。
示例性系统元件
车辆101包括车辆计算机105,车辆计算机105通常包括处理器和存储器,该存储器包括一种或多种形式的计算机可读介质,并且存储可由处理器执行以执行各种操作(包括如本文所公开的)的指令。例如,计算机105通常包括并且能够执行选择车辆101的自主操作模式、调整车辆101的自主操作模式、改变车辆101的自主操作模式等的指令。如下面进一步解释的,计算机105通常还包括用于确定自主或半自主控制——即,根据计算机105中的程序编制控制的一组部件和/或由人类操作者控制的一组部件——的级别的指令,以及在车辆101处于完全或半自主模式的情况下一些或所有车辆101部件的指令。例如,计算机105可以包括操作一个或多个车辆制动器、推进器(例如,通过控制内燃发动机、电动马达、变速器挡位、点火提前、可变进气和排气凸轮、燃料比等来控制车辆101的加速度)、转向装置、气候控制、内部和/或外部灯等,以及确定计算机105是否与人类操作者相对的控制这样的操作以及计算机105何时控制这样的操作。
计算机105可以包括或例如经由如下面进一步描述的车辆101通信总线通信地连接到多于一个计算设备,例如,控制器或包括在车辆101中的用于监视和/或控制的各种车辆部件——例如发动机控制单元(ECU)、变速器控制单元(TCU)等——的类似部件。计算机105通常配置为用于在车辆101中的网络上通信,例如控制器局域网(CAN)总线等。计算机105还可以具有到车载诊断连接器(OBD-II)的连接。
通过CAN总线和/或其他有线或无线通信介质(有时,如已知的,通常称为“车辆总线”或“车辆通信总线”),计算机105可以在车辆中向包括数据收集器110的各种设备传送消息和/或从包括数据收集器110的各种设备接收消息,各种设备例如是控制器、致动器、传感器等。可选地或附加地,在计算机105实际上包含多个设备的情况下,CAN总线等可用于在本公开中表示为计算机105的设备之间的通信。此外,如下所述,各种控制器等(例如ECU、TCU等)可以经由车辆101网络(例如CAN总线等)向计算机105提供数据115。
另外,计算机105可以配置为经由网络120与一个或多个远程计算机125通信,如下所述,网络120可以包括各种有线和/或无线联网技术,例如蜂窝、蓝牙、有线和/或无线分组网络等。此外,计算机105通常包括用于例如从一个或多个数据收集器110和/或诸如交互式语音响应(IVR)系统、包括触摸屏等的图形用户界面(GUI)等的人机界面(HMI)接收数据的指令。
如已经提到的,通常包括在存储在计算机105中并由计算机105执行的指令中的是用于在没有人类操作者干预的情况下操作一个或多个车辆101部件(例如制动器、转向装置、推进器等)的程序编制。使用在计算机105中接收的数据,例如从数据收集器110、服务器125等所收集的数据115,计算机105可以在没有驾驶员操作车辆101的情况下进行各种确定和/或控制各种车辆101部件和/或操作。例如,计算机105可以包括调节车辆101的操作行为(例如速度、加速度、减速度、转向等)以及战术行为(例如车辆之间的距离和/或车辆之间的时间量、车辆之间的车道变化最小间隙、左转穿过路径最小值、到达特定位置的时间、穿越十字路口(没有信号灯)的十字路口最小到达时间等)的程序编制。此外,计算机105可以基于例如车辆101路线、路线上的路点等数据115做出战略确定。
车辆101包括多个车辆子系统107。车辆子系统107控制车辆101的各种部件,例如推进车辆101的推进子系统107,使车辆101停止的制动器子系统107,使车辆101转弯的转向装置子系统107等。子系统107可以各自由例如特定控制器108和/或直接由计算设备105致动。
控制器108是被编程以控制特定车辆子系统107的计算装置,例如,控制器108可以是诸如已知的可能包括如本文所述的附加程序编制的电子控制单元(ECU),例如发动机控制单元、变速器控制单元、制动器控制模块等。控制器108可以通信地连接到计算机105并从计算机105接收指令,以根据指令致动子系统。例如,控制器108可以从计算设备105接收指令,以使用来自人类操作者的部分输入或没有输入来操作车辆子系统107,例如推进器、制动器等。车辆101可以包括多个控制器108。
数据收集器110可以包括已知通过车辆通信总线提供数据的各种设备。例如,如上所述,车辆中的各种控制器可以作为数据收集器110操作,以经由CAN总线提供所收集的数据115,例如与车辆速度、加速度等相关的所收集的数据115。此外,传感器或类似器件、全球定位系统(GPS)设备等可以包括在车辆中并且配置为数据收集器110,以例如通过有线或无线连接将数据直接提供给计算机105。
数据收集器110可以包括车辆101中或车辆101上的传感器,以提供关于车辆101乘员的所收集的数据115。例如,一个或多个摄像机数据收集器110可以被定位成提供对驾驶员座椅中的车辆101乘员的眼睛和/或面部的监控。麦克风数据收集器110可以被定位成捕获车辆101乘员的语音。方向盘传感器、加速踏板传感器、制动踏板传感器和/或座椅传感器数据收集器110可以以已知方式定位,以提供关于操作者的手和/或脚是否与上述各种车辆101部件接触和/或是否将压力施加到各种车辆101部件的信息。此外,计算机105可以收集与操作者对车辆101人机界面(HMI)的使用——例如操作者活动的级别——相关的所收集的数据115,例如每个时间段的输入的数量、操作者活动的类型,例如,观看电影、收听无线电节目等。
数据收集器110还可以包括传感器等,例如中程和长程传感器,用于检测靠近车辆101的对象(例如其他车辆、道路障碍物等)并且可能还从靠近车辆101的对象(例如其他车辆、道路障碍物等)获取信息,以及车辆101外部的其他条件。例如,传感器数据收集器110可以包括诸如无线电、雷达、激光雷达、声纳、摄像机或其他图像捕获设备的机构,该机构可以被部署以检测周围特征,例如道路特征、其他车辆等,和/或获取与车辆101的操作相关的其他所收集的数据115,例如测量车辆101和其他车辆或对象之间的距离、检测其他车辆或对象、和/或检测道路状况,例如弯道、坑洼、凹陷、隆起、坡度变化等。
作为另一个示例,GPS数据115可以与二维(2D)和/或三维(3D)高分辨率数字地图数据和/或称为“电子地平线数据(例如存储在计算机105的存储器中的数据)”的基本数据组合。基于与以已知方式的航位推算相关的数据115和/或诸如已知的可能使用GPS数据115的某些其他同时定位和映射(SLAM)和/或定位计算,数字地图数据115可以用作用于计算机105的相关数据以在确定车辆101路径或支持路径规划器时使用,以及在用于战术驾驶决策的其他决策过程中使用。
计算机105的存储器通常存储所收集的数据115。所收集的数据115可以包括在车辆101中从数据收集器110收集的各种数据,此外,数据115可以另外包括在计算机105中从中计算出的数据。一般来说,所收集的数据115可以包括可以由收集设备110收集和/或从诸如原始传感器110数据115值——例如原始雷达或激光雷达数据115值、例如从原始雷达数据115计算出的对象160的距离的派生数据值、例如由发动机控制器或车辆101中的一些其它控制和/或监测系统提供的测量数据值——这样的数据计算的任何数据。一般来说,各种类型的原始数据115可以是所收集的例如图像数据115、与反射光或声音相关的数据115、指示环境光的量、温度、速度、加速度、横摆等的数据115。
因此,一般来说,所收集的数据115可以包括与车辆101操作和/或性能相关的各种数据115,以及特别与车辆101的运动相关的数据。例如,除了所获取的与其他车辆、道路特征等相关的数据115,所收集的数据115可以包括关于车辆101速度、加速度、制动、车道变化和/或车道使用(例如,在特定道路和/或诸如洲际公路的道路类型)、在相应速度或速度范围内与其它车辆的平均距离的数据,和/或与车辆101操作相关的其他数据115。
另外,可以例如使用车辆到车辆通信从远程服务器125和/或一个或多个其他车辆101提供所收集的数据115。已知用于车辆到车辆通信的各种技术,包括硬件、通信协议等。例如,可以根据专用短程通信(DSRC)等发送和接收车辆到车辆消息。众所周知,DSRC是在5.9GHz频带中由美国政府特别分配的频谱中的短至中等范围内的相对低功率操作。在任何情况下,车辆到车辆消息中的信息可以包括所收集的数据115,例如发射车辆101的位置(例如,根据诸如纬度和经度的地理坐标)、速度、加速度、减速度等。此外,发射车辆101可以提供其他数据115,诸如一个或多个目标160的位置、速度等。
服务器125可以是一个或多个计算机服务器,每个通常包括至少一个处理器和至少一个存储器,该存储器存储可由处理器执行的指令,包括用于执行本文所述的各种步骤和过程的指令。服务器125可以包括或通信地连接到数据存储器130,用于存储从一个或多个车辆101接收的所收集的数据115。
另外地或替代地,服务器可提供供车辆计算机105使用的数据115。通常,来自不同源(例如,经由服务器125的数据存储器130、其他车辆101和/或车辆101中的数据收集器110)的数据115的组合可以被合成和/或组合以提供警报、消息和/或自主操作的基础。例如,车辆101可以从第二车辆和/或服务器125接收关于由第二车辆检测到的道路中的对象的信息。
因此,计算机105可以进一步被编程为使用其自己的操作历史和/或由其他车辆101记录的历史,用于做出关于自主操作的确定。
计算设备105可以基于操作因子使用模糊逻辑处理器22来确定控制信号。操作因子通常开始为脆性输入(crisp input)23,即二进制值0或1,但不在0和1之间。模糊处理器22然后应用模糊器24,即将脆性输入23转换成可以具有应用于脆性输入的模糊逻辑的输入的一组指令,以创建模糊输入,即0和1之间的值。例如,模糊器24可以应用权重来将二进制操作因子转换为0和1之间的各种实数。计算设备105然后使用推理引擎25(即一组指令)、基于模糊化的因子推断控制决策输出,以及使用规则库26(即推理引擎25遵循的推断控制决策输出的一组规则)确定控制决策输出。模糊处理器22然后应用解模糊器27,即将模糊控制决策输出(其是0和1之间的值)转换成脆性输出决策28的一组指令。脆性输出决策28可以是以下四个决策中的一个:完全人类操作员控制、完全虚拟操作员控制、共享人类和虚拟操作员控制、以及利用虚拟辅助的人类控制,如上所述。计算设备105然后将脆性输出决策28作为历史数据保存在数据存储器106中,并且基于脆性输出决策28致动一个或多个车辆101部件。
模糊化数据的示例在下面的表1中示出。从左边开始的第一列示出了模糊化输入,即在0和1之间的数据。中间的第二列示出了应用于模糊化输入的模糊权重。模糊权重可以是任何值,包括超过1的值。右边的最后一列示出了模糊化输出,即输入乘以模糊权重。然后将输出相加在一起以产生模糊化和。模糊化和除以加权和(即模糊权重的和),以产生在0和1之间的结果因子。
模糊化输入 模糊权重 模糊化输出
0.870 2.410 2.097
0.093 0.107 0.010
0.953 7.417 7.069
0.347 1.036 0.360
0.892 4.009 3.576
0.269 0.225 0.061
0.862 6.050 5.241
0.368 0.715 0.263
0.321 0.533 0.171
加权和 22.503
模糊化和 18.848
因子 0.838
表1
操作因子
如上所述,操作因子是基于加权的所收集的数据115的数值,其涉及计算机105的能力和/或人类操作者控制车辆101的能力。每个操作因子涉及特定方面的计算机105的能力和/或人类操作者控制车辆的能力。示例性操作因子在以下段落中讨论。
警觉性因子(AL)
操作因子的一个示例是操作者警觉性因子。如上所述,各种传感器数据收集器110可收集关于车辆101操作者的数据115。该数据115可以用于确定操作者警觉性因子。例如,诸如已知的图像识别技术可以用于例如基于人的眼睛、面部表情等确定人是否醒着、睡着、清醒、醉酒等。同样,麦克风数据收集器110可以提供可以使用已知技术进行分析的数据115,以基于人的声音来确定该人是否受药物或酒精的影响。作为另一个示例,方向盘传感器110可以用于确定人的手是否在方向盘上或方向盘附近,同样也适用于踏板和/或加速度传感器110。来自一个或多个前述数据收集器或其他数据收集器110的所收集的数据115可以用于确定操作者警觉性因子,例如,归一化到0和1之间的数值范围的警觉性水平,其中0表示操作者具有零警觉性,例如,无意识,并且1表示操作者完全警觉并且能够取得对车辆101的控制。
准备状态因子(RE)
操作因子的另一示例是操作者准备状态因子。无论操作者是否警觉,操作者可能由于各种原因(例如,因为操作者正在观看电影,并且操作者的座椅没有适当地定位为取得对车辆101的控制)而未准备好取得对车辆101的控制。因此,指示座椅位置、制动器响应时间、加速器响应时间、转向装置响应时间中的至少一种、指示车辆101HMI的状态、眼睛位置和活动、语音聚焦等的传感器数据收集器110可用于提供数据115以确定操作者准备状态因子。例如,座椅位置(例如相对于车辆地板的座椅角度)可以指示操作者是否准备状态好取得对车辆101的控制,例如,接近垂直于车辆底板的座椅角度可以指示操作者准备状态好取得控制。座椅角度可以与预定座椅角度阈值进行比较,以指示操作者是否准备状态好取得对车辆101的控制。操作者准备状态因子可以被归一化为从零到一的数值范围。
概率因子(PR)
操作因子的另一示例是操作者动作概率因子。该操作因子指示例如从0到1的数值范围被归一化的以控制车辆101的意图执行驾驶员动作的概率。例如,如果车辆根据计算机105的控制沿着直道以直线行驶,并且人类操作者尝试转动车辆101方向盘,则操作者动作概率因子可以与确定操作者动作是否是有意的相关。因此,指示即将到来的道路特征(例如,曲线、障碍物、其他车辆等)的所收集的数据115可以用于确定操作者动作概率因子。此外,操作者的历史可以与操作者动作概率因子相关。例如,如果操作者具有碰到方向盘的历史,则当方向盘轻微移动时,可以减少操作者动作概率因子。在任何情况下,可以在隐马尔可夫(Markov)模型或诸如已知的其他概率建模的环境中进行历史数据的使用。所收集的数据115可以确定动作概率因子PR。计算机105可以评估关于车辆101操作的数据115,即内部数据,以及来自周围环境的数据115,即外部数据。
自主置信因子(AC)
操作因子的另一个示例是自主置信因子。例如,从0到1的数值范围归一化的该因子提供计算机105正确地评估车辆101周围的环境的置信度的指示。例如,计算机105可以接收包括图像、雷达、激光雷达、车辆到车辆通信等的数据115,用于指示行驶有车辆101的道路的特征、潜在障碍物等。计算机105可以评估数据的质量,例如如已知的图像质量、检测到的对象的清晰度、数据的精确度、数据的准确性、数据的完整性等,以确定自主置信因子。可以对所收集的数据115进行加权以确定自主置信因子。自主置信因子是特定系统在线并且向计算机105提供足够的数据以支持自主操作的置信度的度量。
危险因子(PE)
操作因子的另一个示例是危险因子。危险因子是对象将与车辆101碰撞的可能性和在对象将碰撞的情况下损害的严重性的组合。例如,与小对象(例如灌木)碰撞的高可能性可能具有比与大对象(例如另一车辆101)碰撞的小可能性更低的危险因子。危险因子通常是根据基于所收集的数据115检测到的场景的确定的风险而选择的预定值,例如,基于从0到1的归一化数值范围。与各种场景相关联的一个或多个危险因子可以被存储在例如计算机105的存储器106中的查找表等中。例如,所收集的数据115可以指示以超过每小时50公里的速度与另一车辆的即将到来的正面碰撞,因此可以指示高危险因子,例如,危险因子为1。在另一种场景下,当车辆101以相对低的速度(例如,每小时30公里)行驶时,可检测到车辆101前方的道路上的坑洼,因此可以指示相对低的危险因子,例如危险因子为0.25。以任何速度吹在车辆101前面的塑料袋或树叶可以指示低的危险因子,例如危险因子为0.10。
计算机105可以基于周围对象来确定危险因子。数据115可以包括来自数据收集器110的用于指示在车辆101周围的预定距离范围内的对象的数量的输入。对象可以包括车辆101具有与之碰撞的风险的对象,并且危险因子可以测量与对象碰撞的风险以及不同对象的碰撞之间的相对伤害。计算机105可以使用模糊逻辑等来确定危险因子,例如评估检测到的对象的类型、与对象相关联的伤害或损害的风险等。计算机105还可以确定动态因子,如已知的,动态因子是车辆101与检测到的对象碰撞的概率。动态因子可以使用数据115以已知的方式确定。
操作因子的评价
所收集的数据115可以在确定操作因子时以不同的方式进行加权,然后,如上所述,当与其他操作因子组合以做出车辆101控制确定时,操作因子本身可以被加权。一般来说,计算设备105和控制器108可以单独地使用操作因子中的任何一个或者可以组合两个或更多个因子,例如本文公开的五个因子,以确定车辆101的自主控制。例如,计算设备105可以仅使用自主置信因子AC来确定虚拟操作者是否能够自主地控制车辆101。自主置信因子AC的值可导致对自主选择性地控制某些车辆101子系统的车辆101的控制确定。
警觉性因子和准备状态因子
在下面的表2中示出了确定两个操作因子(警觉性因子(AL)和准备状态因子(RE))的示例。
Figure BDA0001228303840000151
Figure BDA0001228303840000161
表2
如表2所示,可以使用各种输入来确定n个不同的部件操作因子AL和RE。例如,表2示出了可用于确定部件操作因子AL1至AL7和RE1至RE7的七个输入,即,在本示例中,n=7。然后,可以使用部件操作因子来确定总体操作因子,如下面进一步解释的,计算机105可以使用总体操作因子来做出控制确定,例如是否允许用户控制车辆101和/或允许用户控制的级别。
因此,继续上述示例,可以通过评估输入数据以得出原始操作因子ALi或REi(例如,基于输入数据指示用户警觉性或准备状态的换算值)来确定每个ALi和REi。例如,可以分析图像数据——例如,用户的凝视方向、眼睛是否睁开或闭上、面部表情等——以确定用户操作车辆101的警觉性水平和/或准备状态。同样地,用户访问诸如气候控制娱乐系统、导航系统和/或其他输入之类的车辆控制的预定时间段内(例如5分钟、10分钟等)的次数可以用于确定用户的操作车辆101的警觉性水平和/或准备状态。一般来说,可以确定单个或部件原始操作因子ALi(raw)和REi(raw),并且将其归一化为从0到1的数值范围。原始因子ALi(raw)和REi(raw)可以被确定为二进制值,例如,指示用户未警觉或未准备好的零,以及指示用户警觉或准备好的一,然后乘以适当的权重以得到加权部件操作因子ALi和REi。应用这样的权重可以是模糊化步骤,即如下面进一步讨论的模糊逻辑分析中的第一步骤。
进一步继续本示例,操作因子AL1和RE1至ALn和REn可以被组合,例如求和或平均,以得到总体因子ALoverall和REoverall。然后可以将总体因子与预定阈值进行比较,以确定用户取得对车辆101的控制的警觉性和/或准备状态。例如,可以将ALoverall与第一预定警觉性阈值进行比较,并且如果ALoverall超过第一警觉性阈值,则计算机105可以确定用户具有足够的警觉性来取得对所有车辆101操作——例如制动、推进和转向——的控制。可以执行与第一预定准备状态阈值的类似比较。此外,计算机105可以被编程为在确定允许用户取得对车辆101的完全控制之前要求满足第一警觉性阈值和第一准备状态阈值。
此外,除了第一警觉性阈值和准备状态阈值之外,计算机105可以被编程为考虑第二、第三等警觉性阈值和/或准备状态阈值,并且允许基于与这些阈值的比较来改变车辆101的用户控制水平。例如,如果ALoverall和REoverall分别超过第二警觉性阈值和第二准备状态阈值,则即使不满足第一阈值,计算机105也可以允许用户取得对某些车辆101部件的控制,例如制动器和加速器,而不是转向装置。在第三警觉性阈值和准备状态阈值处,即使不满足第二阈值,计算机105也可以允许用户取得对较小的一组车辆101部件的控制,例如仅是制动器。如果不满足第三阈值,则可以允许用户不进行控制,或者可以允许用户例如向转向装置、制动器等提供输入以与计算机105作出的决策协作。这样的决策制定如下面进一步描述。
应当理解的是,虽然关于两个操作因子AL和RE提供的上述示例,但是上述示例可以扩展为包括其他操作因子,例如操作者动作概率因子、自主置信因子和危险因子,如上文所述。
图3示出了用于确定警觉性和准备状态因子的示例系统30。计算设备105从多个源(例如驾驶员眼睛和面部监测子系统、交互式显示器和控制台按钮、语音输入、方向盘传感器、加速踏板传感器、制动踏板传感器和座椅传感器)收集输入操作者数据。源可以包括例如诸如已知的多个子系统,例如,交互式显示器和控制台按钮可以提供来自气候控制子系统、音频控制子系统、导航子系统和远程信息处理子系统的数据。然后使用几个输入来确定部件操作因子ALi和REi,例如上面表2中所述的七个部件因子。
然后,可以将部件操作因子相加到警觉性因子AL和准备状态因子RE。然后,如上所述,计算设备105可以将因子AL、RE与预定阈值进行比较,并且基于因子AL、RE是否超过阈值来调整车辆子系统的操作。
子系统30包括通常来自人类操作者的多个输入31。输入31包括例如操作者眼睛和面部监控、交互式显示器、控制台按钮、语音输入、方向盘传感器、加速踏板传感器、制动踏板传感器和座椅传感器。输入31产生数据115。
然后可以将数据115提供给多个子系统,包括例如驾驶员面部监视器子系统32a、仪表板和组合仪表子系统32b、气候子系统32c、音频控制子系统32d、导航/全球定位子系统32e、远程信息处理子系统32f、语音子系统32g、电动助力转向系统(EPAS)子系统32h、动力传动系统控制子系统32k、制动器控制子系统321、车身控制子系统32m、乘员分类子系统32n和约束控制子系统32p。
子系统32a-32p使用数据115来产生单独的准备状态因子REi和警觉性因子ALi,如上所述。然后将个性化的因子乘以加权因子以产生因子33a-33g。例如,驾驶员面部监视器子系统32a使用数据115来确定警觉性和准备状态因子33a,子系统32b-32f使用数据115来确定警觉性因子和准备状态因子33b,子系统32g确定因子33c,EPAS子系统32h确定因子33d,动力传动系统控制子系统32k确定因子33e,制动器控制子系统321确定因子33f,以及子系统32m-32p确定因子33g。
然后,可以将因子33a-33g相加到全局警觉性和准备状态因子34中。然后将全局警觉性和准备状态因子34与相应的警觉性和准备状态阈值35进行比较。根据警觉性因子和准备状态因子中没有一个、一个或两者超过相应的阈值35,计算设备105然后指示控制器108使车辆101子系统以不同水平的自主控制或手动控制——即,利用由计算机105控制的推进、转向和制动中的每一个的完全自主控制,或者利用少于由计算机105控制的所有这些车辆系统的半自主控制,或全手动控制——进行操作。例如,如果警觉性因子AL超过阈值,则计算设备105可以允许全部操作者对车辆101子系统的控制。
动作概率因子
为了确定动作概率因子PR,计算机105可以基于内部和外部数据确定概率阵列,例如描述车辆101位置和速度的概率的概率阵列,以及描述在给定速度下位于某一位置的潜在危险的概率阵列。概率阵列是车辆101将基于当前车辆101状态(即当前速度、当前转向角度、当前加速度等)将其位置、方向、速度或加速度中的一个改变一定量(例如改变其方向一角度θ)的一组概率。然后将多个改变(例如,多个角度θ的改变)的概率收集到单个阵列中;该阵列是“概率阵列”。概率阵列可以表示为一组矢量,如图7-8所示,其中矢量的长度指示危险因子的大小,并且矢量的方向指示轨迹中的变化。
方向概率阵列表示车辆101在未来基于多个输入(例如,速度、加速度、道路状况、转向角度、稳定性界限、附近车辆和/或对象等)将改变其轨迹的方向分量的概率。在一个示例中,基于车辆轨迹的方向概率阵列可以绘制车辆101的未来轨迹相对于当前轨迹的概率分布。用于下标k(表示时间tk)的方向概率阵列Pd,k,θ的示例,其中轨迹相对于当前轨迹移动这里以度为单位测量的角度θ。当θ=0并且正θ相对于轨迹是逆时针时,当前轨迹如下表3所示进行定义:
θ P<sub>d,k,θ</sub> θ P<sub>d,k,θ</sub>
-60 0.000000 60 0.000000
-4 0.082165 4 0.082944
-3 0.102110 3 0.103680
-2 0.109380 2 0.109150
-1 0.115310 1 0.113060
0 0.118580
表3
例如,轨迹将改变-3度的概率为0.102110,或约10%。概率可以基于内部和外部数据而改变,例如,如果在相邻的左车道中检测到另一车辆101,则负角度轨迹的概率可以低于正角度轨迹的概率。在另一示例中,如果计算机105检测到车辆101正前方的对象,则轨迹中小角度变化的概率可能低于轨迹中大角度变化的概率。
图10示出了可以用于确定动作概率因子AF的多个示例性概率阵列。第一概率阵列60a是如上所述的方向概率阵列的示例,并且绘制车辆101将从其当前方向以角度θ来改变其方向的可能性。第二概率阵列60b是加速度概率阵列的示例。这里,该阵列绘制车辆101将从其当前加速度改变其加速度的可能性。在阵列中心的概率Pa,k,0表示加速度将不改变的概率,随着加速度的负变化被绘制在中心的左侧以及随着加速度的正变化被绘制在中心的右侧。
第三概率阵列60c是速度概率阵列的示例,绘制车辆101将增加或减小其速度的概率。这里,中心概率Pv,k,0表示车辆101将不改变其速度的概率,随着速度的负变化被绘制在中心的左侧以及随着速度的正变化被绘制在中心的右侧。
第四概率阵列60d是位置概率阵列的示例,绘制车辆101将改变其位置的概率。这里,车辆完全不改变其位置的概率Pp,k,0在最左边,随着位置变化的增加被绘制在右测。也就是说,在图上继续向右指示车辆101位置中更大变化的概率。
图11示出了用于各种车辆101状态的更多示例方向概率阵列。例如,概率阵列70a示出了车辆101向左移7度的概率阵列。在另一示例中,概率阵列70e示出了车辆101向右移15度。当车辆101沿远离直线的方向移动时,概率阵列通常移动以增加朝向该方向的方向改变的概率。也就是说,移向右的车辆101可能具有将其方向改变为右侧的较高概率。类似地,概率阵列70b(其是车辆101直行的示例)可具有围绕中心等间隔的概率。
示例性概率阵列70b、70c和70d示出了分别以增加的速度(这里分别是20英里每小时(mph)、50mph和80mph)直行的车辆的概率阵列。随着速度增加,概率阵列通常变窄,即,车辆101将保持笔直或少量改变的概率大于车辆101将大量改变其方向的概率。因为改变车辆101的方向需要车辆101前进动量的变化,具有较高前进动量的较高速度的车辆101可能不太可能对它们的方向进行大的改变。
概率阵列70f和70g是在对象可以改变车辆101将改变方向的概率的情况下生成的概率阵列的示例。示例性概率阵列70f示出了当对象(例如另一车辆101)在相邻的左车道中时车辆101将改变其方向的一组概率。这里,由于对象在车辆101的正左侧,因此车辆101将向左改变其方向(并且可能与对象碰撞)的概率可能小于车辆101将保持笔直或者改变其方向向右的概率。类似地,概率阵列70g是当在车辆101的正前方存在非移动对象时的概率阵列的示例。这里,如果车辆101不改变其方向,则车辆101将与对象碰撞,因此车辆101将不改变其方向的概率为0,如由缺少指向阵列中心的箭头所示。因为对象在车辆101正前方,所以车辆101将其方向改变为左侧或右侧的概率基本上相同,同时大的方向变化比小变化更可能,如图离中心较远的较长的箭头所示。
图12示出了用于确定从多个数据源计算的多个方向概率阵列的子系统80。除了上述基于车辆的方向概率阵列之外,计算机105可以基于某些数据115计算几个其他概率阵列。一个这样的概率阵列是基于对象的概率阵列84,其使用通过例如摄像机、激光雷达、雷达等收集的有关车辆101周围的对象的数据115,以基于周围对象确定车辆101方向的变化的概率阵列。数据115通过各种车辆101子系统——例如光学摄像机子系统42a、红外摄像机子系统42b、激光雷达子系统42c、雷达子系统42d、超声子系统42e、远程信息处理子系统32f、路线识别子系统82b、全球定位子系统32e和车辆101控制子系统42k——收集。来自子系统42a-42e、32f的数据115被发送到信号处理子系统23以处理数据115并且开发基于对象图的方向概率阵列计算84。例如,如果在相邻的左车道存在另一车辆101,则向左移动的概率远低于向右移动的概率。
另一方向概率阵列可以是基于路线的方向概率阵列85。基于路线的方向概率阵列使用来自例如远程信息处理子系统32f、导航系统、路线识别子系统82a、全球定位系统32e等,以基于预期车辆101路线确定改变车辆101方向的可能性。例如,如果路线包括左转弯或者在道路中存在即将到来的弯道,则基于路线的方向概率阵列可以示出在转弯或即将到来的弯道的方向上改变车辆101方向的增加的概率。
另一方向概率阵列可以是基于车辆的方向概率阵列86,其使用来自车辆控制子系统42k的数据来确定车辆101的方向概率阵列86。另一方向概率阵列可以是存储在例如数据存储器106和/或服务器125中的历史方向概率阵列87。历史方向概率阵列可以是由计算机105保存的先前计算的方向概率阵列。计算设备105可以将方向概率阵列84-87组合成组合方向概率阵列88。
图13示出了用于收集多个概率阵列以控制车辆101子系统的子系统90。可以用加速度概率阵列92、速度概率阵列93和位置概率阵列94收集方向概率阵列88,并将方向概率阵列88发送到控制器108。根据在控制器108中执行的程序编制,概率阵列88、92、93、94然后可以与预定的安全状态阵列95进行比较,即,与安全状态阵列95的偏差可以指示预期的操作可能是不安全的。预定安全状态阵列95包括用于由例如虚拟操作者确定的方向、加速度、速度和位置的概率阵列,以预测车辆101的安全操作。概率阵列88、92、93、94和预定的安全状态阵列95之间的差异可用于计算动作概率因子PR。控制器108可以包括与危险因子PE相关的数据115,以确定概率因子PR并确定车辆101子系统的自主控制水平,即车辆控制动作96。
自主置信因子
为了确定自主置信因子AC,可以为多个子系统——包括(1)光学摄像机、(2)红外摄像机、(3)激光雷达、(4)雷达、(5)超声波传感器、(6)高度计、(7)远程信息处理系统、(8)全球定位系统和(9)车辆101部件——中的每一个确定特定自主置信因子ACi。这里,下标i指的是对应于本示例中的9个子系统之一的参考数字,并且通常可以表示任何数量的子系统的列表中的条目。每个子系统的特定自主置信因子可以具有对应的预定加权因子Di,如上面对于警觉性和准备状态因子所描述的。对于不同的子系统,加权因子可以不同,例如,激光雷达可以具有比光学摄像机更高的加权因子,原因在于激光雷达可以更鲁棒和/或具有更高的精密度和准确度。子系统的自主置信因子可以与加权因子组合以确定全局自主置信因子:
Figure BDA0001228303840000231
然后可以将全局自主置信因子AC与预定阈值进行比较,以允许完全操作者控制、完全自主控制或部分自主控制中的一个。例如,当全局自主置信因子低于第一阈值时,计算机105可以允许某些子系统的自主控制,即,车辆101可以以部分自主控制操作。计算机105可以允许自主控制的子系统可以是具有最高置信因子的子系统。在另一个示例中,当全局自主置信因子低于第二阈值,第二阈值低于第一阈值时,计算机105可以允许完全操作者控制并停止车辆101的自主控制。计算机105可以被编程有指示自主操作每个特定系统所需的置信因子的多个阈值。
图4示出了用于确定自主置信因子AC的示例性子系统40。子系统包括多个部件子系统42a-42k,每个部件子系统收集来自多个源41——例如外部环境、外部数据存储器和来自车辆部件的信号——的数据。每个部件子系统42a-42k然后可以确定部件自主因子ACi,部件自主因子ACi被发送到控制器108,控制器108应用乘以部件自主因子ACi的特定部件加权因子Di。加权因子Di的具体值可以根据部件自主因子ACi的值而变化。例如,如下面的表4所示,计算机105可以包括用于加权因子Di的查找表。如已知的,根据数据的预期值和/或历史值对所收集的数据115进行归一化。然后,计算机105基于例如查找表来确定加权因子Di。然后将归一化的数据乘以加权因子Di以得到置信因子43a-43k。然后,部件因子43a-43k被计算设备105用作模糊逻辑处理器22中的脆性输入23。
Figure BDA0001228303840000232
Figure BDA0001228303840000241
表4
如已知的,计算机105可以被编程以利用模糊逻辑确定自主置信因子AC。具体地,如上所述,计算机105可以在模糊化器24中对数据115进行模糊化,例如,可以如上所述应用权重以将数据115转换为在零和一之间的各种实数,以确定子系统的置信因子,而不仅仅依赖于来自子系统的置信因子的和。基于模糊化数据,计算机105可以应用一组预定规则,例如推断引擎25可以使用规则库26来评估模糊化数据,如图4所示。当数据115在应用规则26之后在解模糊器27中被解模糊化时,计算机105可以使用脆性输出28来确定全局自主置信因子AC。至少部分地基于全局自主置信因子AC,计算设备105可以指示控制器108在自主模式或手动模式下致动多个车辆子系统中的至少一个。
图5A示出了检测对象(这里是行人)的示例车辆101。车辆101使用数据收集器110来确定车辆101前方的对象。这里,对象被清楚地识别为行人,如下所述,原因在于信号置信度高。图5B示出了来自数据收集器110——例如,光学摄像机系统42a、热传感器、激光雷达系统42c和超声系统42e——的原始传感器输入。纵轴是信号的置信度值,范围从0到100,并且横轴表示相对于车辆101的运动方向的角度,数据收集器110沿着该方向收集数据115。例如,超声系统42e的原始传感器输入值从-100到100的角度接近100,表示来自超声系统42e的信号的质量的高置信度。
图5C示出了处理并转换成置信区域、模糊复合值和脆性输出的图5B的信号。处理图5B的信号,如下面在图7A中解释的,并且置信度值被分配给处理的信号,以产生模糊复合值信号曲线,如图5C中的虚线所示。如图5C所示,当模糊复合值低于第一阈值时,脆性输出为0,限定了没有置信度的区域。当模糊复合值高于第一阈值并低于第二阈值时,在该示例中,脆性输出为50,并且限定了不确定区域。当模糊复合值高于第二阈值时,脆性输出为100,限定了高置信区。图5C示出了具有大的高置信区域的信号,因此计算机105可以依赖于由数据收集器110收集的数据115并识别接近的对象。结果是,图5A-5C的示例的自主置信因子AC可以是高的。
图6A示出了由于由数据收集器110收集的数据115的质量低而感测不太好定义的对象的另一示例车辆101。图6B示出了原始数据收集器110输入低于图5B中所示的输入,指示信号的置信度较低。图6C示出了较低置信度,因为信号的模糊复合值较低,脆性输出保持在50,因此图6C仅示出了不确定区域,并且没有高置信度区域。因此,计算机105可能不能确定地识别接近的对象,如图6A所示为非结晶形状。作为结果,图6A-6C的自主置信因子可以低于图5A-5C的自主置信度AC因子。
图7B和图7A示出了子系统40和将来自部件子系统42a-42k、32e-32f的数据115处理成自主置信因子AC。子系统40将所收集的数据115馈送到噪声降低处理,其中根据已知的噪声降低方法清洁数据115。减少噪声增加了数据115的质量和自主置信因子AC。
子系统40然后对数据115应用信号归一化处理。可以根据若干数值范围和单元收集数据115,这取决于特定的部件子系统42a-42k、32e-32f。例如,高度计系统42f收集关于在例如垂直地面上方的数米的数据115,并且超声系统42e可以将数据115收集为三维和/或极坐标中的长度。因为来自这些部件子系统42a-42k、32e-32f的原始数据115可能不能被组合,所以子系统40应用已知信号归一化处理以允许将数据115组合成自主置信因子AC。
然后,如上所述,子系统40应用权重43a-43k。权重43a-43k可以通过例如应用于条件加权查找表的操作条件来确定。每个部件子系统42a-42k、32e-32f具有由查找表确定的应用于子系统的个性化权重43a-43k。然后聚集数据115并将数据115发送到模糊过程22以确定由控制器108用来控制车辆101的自主置信因子AC。
图7C示出了从车辆101周围收集数据115的示例数据收集器110。数据11由例如自适应巡航控制(ACC)子系统使用以计划车辆101在例如接下来的200米上的移动。每个数据收集器110具有由收集器110可以检测的角度和沿着该角度的距离定义的特定收集区域。例如,在车辆101的前部和后部示出的激光雷达子系统42c扫过145度的视角和150米的距离。因此,两个激光雷达子系统42c不与它们的可检测视图重叠。类似地,光学摄像机42a从车辆101的前部延伸出,与前激光雷达42c重叠。位于车辆101的后部的侧面雷达42d扫过150度的视角和80米的距离。因为侧面雷达42d彼此相对地位于车辆的后方,所以侧面雷达42d的检测区域将不仅彼此重叠,而且与后部激光雷达42c重叠。
因此,各种数据收集器110将与其他数据收集器110重叠,并且车辆101周围的某些区域将具有比其他区域更多的覆盖。如图7B所示,车辆101前方的区域被激光雷达42c和光学照摄像机42a覆盖,而车辆101的侧面仅被侧面雷达42d覆盖。由数据收集器110收集的数据115的置信度和加权可以基于数据115被收集的位置以及其他数据收集器110是否覆盖相同区域来调整。
图8A示出了表示由数据收集器110中的一个收集并被转换为质量因子的数据的示例图表,如上面在表4中所述。数据115可以作为一系列离散信号d1...dn收集并且组合成原始复合值信号dk。然后将原始信号dk滤波为滤波信号,然后将其归一化。如上所述的质量因子(即加权因子)然后被应用于归一化信号以产生合格信号(即,部件因子)。
图8B示出了来自图8A的图表的原始信号和滤波信号的示例图表。纵轴表示信号的值,并且横轴表示信号值的时间。如实线所示的原始信号dk具有几个尖峰和较大的波动,这可能导致较不准确的置信因子。如虚线所示的滤波信号更平滑并且可以更容易地由子系统40处理以确定自主置信因子AC。滤波信号通常跟踪原始信号的形状。
图8C示出了来自图8A的图表的归一化输出和合格输出的示例图表。纵轴表示输出的值,横轴表示输出的时间。如实线所示的归一化输出是被归一化为信号的最小值和最大值的滤波信号,如上所述。合格输出是归一化输出乘以由例如查找表确定的质量因子。因为质量因子可能随时间而改变,所以合格输出可能与归一化输出相比在形状上不同。这里,归一化输出在经过的时间内保持大致相同,而合格输出开始下降,然后上升。合格输出在这里可以指示所收集的数据的置信度随时间上升,并且置信因子AC可以在车辆101的操作期间改变。
危险因子
确定危险因子PE的示例显示于下表5中:
Figure BDA0001228303840000271
表5
第一行(“动态”)指示动态因子,即,主车辆和对象(例如,另一车辆、树、骑自行车者、道路标志、坑洼或一片灌木)之间的碰撞的概率。每行指示特定对象和为每个碰撞概率确定的危险因子。随着碰撞变得更可能,危险因子增加。例如,与树碰撞的概率为0.6导致危险因子为0.5,而与道路标志碰撞的概率为0.1导致危险因子为0.2。该对象可以由数据收集器110(例如,雷达)确定,并且概率可以由计算机105以已知的方式确定。
基于危险因子,计算机105可以推荐在手动和自主操作状态之间切换,如表6所示:
Figure BDA0001228303840000281
表6
这里,基于概率和特定对象,计算机105可以确定是否允许操作者控制(D)或自主控制(AV)。表6中的确定至少部分地基于危险因子,但是当确定控制时可以考虑其他因子和对象。例如,与骑自行车者和道路标志的碰撞的概率为0.5都具有0.6的危险因子,但是表6产生了对于骑自行车者的AV和对于道路标志的D的确定。
如果存在具有不同危险因子和/或控制的多个对象,则可以在计算机105中仲裁该确定。为了继续上述示例,如果骑自行车者和道路标志的动态因子都是0.5,则计算机105可以确定允许基于道路标志的操作者控制、但是基于骑自行车者的自主控制。然后,计算机105可以在这两个确定之间进行仲裁,例如选择自主控制。
图9示出了用于确定危险因子的子系统50。对象检测子系统50a从数据收集器110和服务器125获取数据115以检测附近的对象,例如其他车辆101、骑自行车者、灌木等。在检测到对象时,对象识别子系统50b识别对象以确定用于对象的特定动态和危险因子。对象识别子系统50b将所识别的对象发送到模糊逻辑处理器50c和动态因子子系统50d。
模糊逻辑处理器50c从由对象识别子系统50b和动态因子子系统50d识别的对象确定危险因子PE,如上所述。模糊逻辑处理器50c可以使用多个数据115源和技术——包括例如历史数据115、已知的模糊逻辑方法、车载学习技术、来自服务器125的涉及交通的外部数据115等——来确定危险因子PE。模糊逻辑处理器50c可以向控制器108中的一个提供危险因子PE,以确定车辆101的自主控制。
图2示出了收集数据115并输出车辆101的控制决策输出的系统100。计算设备105从数据收集器110收集数据115并计算操作因子。计算设备105然后使用操作因子作为脆性输入23用到模糊处理器22中以实现模糊逻辑分析。计算设备105然后应用模糊器24,即将脆性输入23转换成可以具有应用于它们的模糊逻辑的输入的一组指令,以创建模糊输入。例如,模糊器24可以应用权重来将二进制操作因子转换为零和一之间的各种实数。计算设备105然后基于模糊化因子和存储在数据存储器106中的规则库26使用推断引擎25来推断控制决策输出。规则库26基于例如加权的操作因子确定控制决策输出。计算设备105然后应用解模糊器27,即将模糊控制决策输出转换成脆性输出决策28的一组指令。如上所述,脆性输出决策28可以是四个决策中的一个:完全人类操作员控制、完全虚拟操作员控制、共享人类和虚拟操作者控制、以及利用虚拟辅助的人类控制。计算设备105然后将脆性输出决策28作为历史数据保存在数据存储器106中,并且基于脆性输出决策28致动一个或多个车辆101部件。
示例性过程流程
图14是用于基于上述操作因子实现自主车辆101的控制的示例性过程200的示意图。
过程200在框205中开始,其中车辆101进行驾驶操作,并且计算机105从车辆101操作接收数据115和/或接收关于车辆101用户(例如坐在驾驶员座位上的人)的数据。车辆101可以部分地或完全自主地操作,即,部分或完全由计算机105控制的方式,计算机105可以配置为根据所收集的数据115操作车辆101。例如,所有车辆101操作(例如转向、制动、速度等)可以由计算机105控制。还有可能的是,在框205中,车辆101可以以部分或半自主(即部分手动)的方式操作,其中一些操作(例如制动)可以由驾驶员手动控制,而其他操作(例如包括转向)可以由计算机105控制。同样地,计算机105可以控制车辆101何时改变车道。此外,可能的是,可以在车辆101的驾驶操作开始之后的某一点开始过程200,例如当车辆乘员通过计算机105的用户界面手动启动时。
在任何情况下,数据收集器110向计算机105提供所收集的数据115。例如,摄像机数据收集器110可收集图像数据115,发动机控制单元可提供每分钟转速(RPM)数据115,速度传感器110可提供速度数据115、以及其他种类的数据,例如雷达、激光雷达、声学等数据115。此外,如上所述,关于车辆101用户的数据(例如对于因子AL和RE和/或其他操作因子)可以被获取并提供给计算机105。
接下来,在框210中,计算机105确定一个或多个操作因子,例如警觉性因子AL、准备状态因子RE、自主置信因子AC、动作概率因子PR和危险因子PE,如上所述。计算机105可以仅确定因子中的一个,例如,如图4所示的自主置信因子,或者如图3所示的因子的组合(例如警觉性因子AL和准备状态因子RE的组合)。
接下来,在框215中,计算机105基于在框210中确定的操作因子对车辆101进行控制决策。也就是说,计算机105确定允许的自主控制水平,通常范围从非自主控制(完全手动控制)到完全自主控制(根据来自计算机105的指令执行与制动、推进和转向有关的所有操作)。如上所述,在非自主控制水平和完全自主控制水平之间,其他水平是可能的,例如,第一水平的自主控制可以包括完全自主控制,第二水平的自主控制可以包括计算机105控制制动器和推进器但不控制转向装置,第三水平的自主控制可以包括计算机105控制制动器但不控制加速器或转向装置,以及非自主控制(第四级)可以包括计算机105不控制制动器、加速器或转向装置中的任一个。
可以根据实现模糊逻辑分析的程序设计来进行控制决策。例如,可以如上所述确定操作因子,然后将操作因子提供给计算机105用于向模糊逻辑分析的输入。也就是说,可以为一个或多个操作因子(例如自主置信因子、操作者警觉性因子、操作者准备状态因子、操作者动作概率因子和危险因子)提供零或一的脆性输入,以及然后可以对这些输入进行模糊化,例如,可以如上所述应用权重以将二进制操作因子转换为零和一之间的各种实数。
此外,可以向计算机105提供其他数据用于控制决策。例如,关于车辆101操作的数据,诸如车辆101速度、来自碰撞检测系统的风险分析(例如,碰撞可能在预计的时间段内(例如5秒、10秒等)即将来临的数据或无碰撞临近的数据)、车辆101方向盘角度、关于车辆101前方的道路的数据(例如,存在可能影响车辆101及其操作的坑洼、隆起或其它因素)等。
在任何情况下,推理引擎可以使用规则库来评估模糊化的操作因子和/或其他数据。例如,阈值可以应用于如上所述的操作因子。此外,推理引擎可以应用规则以根据各种车辆101的操作数据设置阈值,例如,阈值可以根据车辆101周围的环境条件(例如,存在白天或黑暗,存在降水,降水类型,正在行驶的道路类型等)、车辆101的速度、即将发生的碰撞的风险、道路障碍物(例如坑洼)的可能性等而变化。也可以考虑各种操作者状态,例如,操作员酒醉的确定可以超驰操作者准备状态的所有其他确定,例如,操作者准备状态因子可以被设置为零,和/或可以仅允许完全自主控制。
在任何情况下,框215的结果是控制决策,例如,由计算机105确定在车辆101中允许的自主控制水平,例如从完全自主控制到非自主控制。
接下来,在框220中,计算机105实施方框215中的控制决策输出。也就是说,计算机105被编程为如上所述致动一个或多个车辆101部件,并且在方框215的控制决策之后,根据指示的自主控制水平执行车辆101的操作。例如,在完全的自主控制水平下,计算机105通过控制车辆101的推进器、制动器和转向装置中的每一个来实施方框215的控制决策。如上所述,计算机105可以通过不控制这些部件或控制这些部件中的一些来实施控制决策。此外,如果作出部分或完全自主地操作车辆101的决策,但是自主置信因子低于预定阈值和/或由于某种其它原因确定不可能进行自主操作,则计算机105可以被编程为停止车辆101,例如,执行将车辆101行驶到路肩并停放、驶离公路等的操纵。
接下来,在框225中,计算机105确定过程200是否应当继续。例如,如果存在例如车辆101点火开关关断,变速器选择器被置于“驻车”等自主驾驶操作,则过程200可以结束。在任何情况下,如果过程200不应当继续,则过程200在框225之后结束。否则,过程200前进到框205。
图15示出了用于基于警觉性因子AL和准备状态因子RE来实施车辆101的控制的过程300。
过程300在框305中开始,其中车辆101进行驾驶操作,并且计算机105接收来自车辆101操作的数据115和/或接收关于车辆101用户(例如,坐在驾驶员座位的人)的数据115。可能的是,在车辆101的驾驶操作开始之后,例如当车辆乘员通过计算机105的用户界面手动启动时,过程300可以在某一点开始。
数据收集器110向计算机105提供所收集的数据115。例如,摄像机数据收集器110可以收集图像数据115,发动机控制单元可以提供RPM数据115,速度传感器110可以提供速度数据115,以及其他种类数据(例如雷达、激光雷达、声学等数据115)。此外,可以获取关于车辆101用户(例如,用于如上所述的因子AL和RE)的数据,并将数据提供给计算机105。
接下来,在框310中,计算设备105确定用于多个输入的部件警觉性因子ALi,如上所述并在表2中示出。
接下来,在框315中,计算设备105确定用于多个输入的部件准备状态事实REi,如上所述并在表2中示出。
接下来,在框320中,计算设备105将加权因子应用于部件警觉性和准备状态因子。加权因子可以通过例如如上所述对部件警觉性和准备状态因子进行加权的模糊逻辑处理器来确定。
接下来,在框325中,计算设备105将部件因子求和为相应的全局警觉性因子和准备状态因子AL、RE。全局警觉性因子和准备状态因子可以用于确定车辆101和乘员的总体警觉性和准备状态。
接下来,在框330中,计算设备105将警觉性和准备状态因子AL、RE与相应的警觉性和准备状态阈值进行比较。阈值可以是预定的并且存储在数据存储器106中。可以基于例如特定乘员操作车辆101的能力来确定阈值,如上所述。因子AL、RE可以与定义不同级别的自主操作的几个预定阈值进行比较。
接下来,在框335中,计算设备105基于因子和阈值实施控制决策。也就是说,计算机105被编程为如上所述致动一个或多个车辆101部件,并且在计算设备105的控制决策时,根据指示的自主控制水平执行车辆101的操作。例如,如果警觉性因子高于最高警觉性阈值,则计算设备可以实施允许车辆101的完全手动控制的控制决策。
接下来,在框340中,计算机105确定过程300是否应当继续。例如,如果存在例如车辆101点火开关关断,变速器选择器被置于“驻车”等的自主驾驶操作,则过程300可以结束。如果过程300不应当继续,则过程300在框340之后结束。否则,过程300前进到框305。
图16示出了用于基于动作概率因子PR实施车辆101的控制的过程400。
该过程在框405中开始,其中计算机105接收来自车辆101操作的数据115和/或接收关于车辆101用户和/或关于目标对象的数据115。数据115可以包括来自例如光学摄像机子系统、红外摄像机子系统、激光雷达、雷达、远程信息处理子系统、路线识别子系统等的源这样的数据115。
接下来,在框410中,计算机105基于数据115确定方向概率阵列。如上所述,方向概率阵列指示车辆101从其当前轨迹移动角度θ的可能性。方向概率阵列可以包括如图12所示的部件方向概率阵列,包括基于对象的方向概率阵列、基于路线的方向概率阵列、基于车辆的方向概率阵列和历史数据。如上所述,部件方向概率阵列可以组合成总方向概率阵列。
接下来,在框415中,如上所述,计算机105确定车辆101加速度、速度和位置的概率阵列。几个概率阵列预测车辆101的状态,并且可以组合以确定全局概率阵列。
接下来,在框420中,计算机105将概率阵列收集并确定动作概率因子PR。计算机105可以将概率阵列中的一个或多个与预定“安全”状态中的概率阵列和与危险因子相关的数据115中的至少一个进行比较,以确定动作概率因子。
接下来,在框425中,计算机105将概率因子PR与预定阈值进行比较。根据概率因子PR是否超过阈值,计算机105可以允许或强制车辆101子系统的自主控制。
接下来,在框430中,计算机105基于动作概率因子和阈值实施控制决策。也就是说,计算机105被编程为如上所述致动一个或多个车辆101部件,并且在计算设备105的控制决策时,根据指示的自主控制水平执行车辆101的操作。例如,如果动作概率因子低于概率因子阈值,则计算设备可以实施允许车辆101的完全手动控制的控制决策。
接下来,在框435中,计算机105确定过程400是否应该继续。例如,如果存在例如车辆101点火开关关断,变速器选择器被置于“驻车”等的自主驾驶操作,则过程400可以结束。如果过程400不应当继续,则过程400在框435之后结束。否则,过程400前进到框405。
图17示出了用于基于自主置信因子AC实施车辆101的控制的过程500。
过程500在框505开始,其中计算机105从多个源(例如,光学摄像机子系统、红外摄像机子系统等)收集数据115。
接下来,在框510中,计算机105基于数据115确定多个车辆101部件的部件置信因子。如上所述,计算机可以确定多个车辆101部件中的每一个的置信因子,指示该部件可以在自主模式下操作的置信度。
接下来,在框515中,计算机将加权应用于部件置信因子。如已知的,加权可以由模糊逻辑处理器确定。加权允许计算机105考虑具有比其他车辆101部件的置信因子更大的权重的某些车辆101部件的置信因子。例如,当计算机105确定激光雷达子系统中的置信度对于车辆101的自主操作比高度计子系统的置信度更重要时,激光雷达子系统可以具有比高度计子系统更高的权重。
接下来,在框520中,计算机105将部件自主置信因子求和为全局自主置信因子AC。
接下来,在框525中,计算机105将全局自主置信因子AC与预定阈值进行比较。预定阈值可以基于车辆101在自主模式下操作车辆101子系统中的至少一个的置信度来选择。计算机105可以将全局自主置信因子与若干预定阈值进行比较。
接下来,在框530中,计算机105基于与预定阈值的比较来实施控制决策。例如,如果全局自主置信因子高于第一阈值,则计算机105可以在自主模式下操作所有车辆101子系统。在另一示例中,如果全局自主置信因子低于第一阈值但高于第二阈值,则计算机105可以自主地选择性地操作某些车辆101子系统。
接下来,在框535中,计算机105确定过程500是否应当继续。例如,如果存在例如车辆101点火开关关断,变速器选择器被置于“驻车”等的自主驾驶操作,则过程500可结束。如果过程500不应继续,则过程500在框535之后结束。否则,过程500前进到框505。
图18示出了用于基于危险因子PE实施车辆101的控制的过程600。
过程600在框605中开始,其中计算机105从多个源(例如,车辆101子系统、周围对象等)收集数据115。
接下来,在框610中,计算机105识别具有与车辆101碰撞的可能性的对象。
接下来,在框615中,计算机105确定对象的动态因子。如上所述,动态因子是对象将与车辆101碰撞的可能性。
接下来,在框620中,计算机105基于动态因子和对象确定危险因子PE。例如,如上表5所示,多个对象中的每一个对于特定动态因子具有唯一的危险因子。计算机105可以使用如表5的查找表来确定危险因子PE。危险因子考虑了与对象碰撞的可能性和对象在碰撞时将导致的伤害;例如,即使在相同的动态因子下,用于灌木的危险因子可以低于护栏的危险因子。
接下来,在框625中,计算机105将危险因子PE与阈值进行比较。阈值可以基于与对象碰撞的风险和对象在碰撞时将造成的损坏来确定是否以自主模式操作车辆101和/或特定车辆101子系统。
接下来,在框630中,计算机105基于危险因子和阈值实施控制决策。计算机105可以使用诸如表6的查找表来确定是否自主地操作车辆101。例如,如果对象是骑自行车者,则危险因子0.5将指示车辆101的自主控制,而如果对象是另一车辆101,则指示车辆101的手动控制。
接下来,在框635中,计算机105确定过程600是否应当继续。例如,如果存在例如车辆101点火开关关断,变速器选择器被置于“驻车”等的自主驾驶操作,则过程600可以结束。如果过程600不应当继续,则过程600在框635之后结束。否则,过程600前进到框605。
结论
如本文所使用的,副词“基本上”是指形状、结构、测量、数量、时间等可以偏离精确描述的几何形状、距离、测量、数量、时间等,其原因在于材料、机械加工、制造等的缺陷。
诸如本文讨论的那些计算设备通常各自包括可由一个或多个计算设备(诸如上面所确定的那些计算设备)执行的,并且用于执行上述处理的框或步骤的指令。例如,上面讨论的过程框体现为计算机可执行指令。
计算机可执行指令可以从使用各种编程语言和/或技术——包括但不限于单独或组合的JavaTM、C、C++、程序设计基础(Visual Basic)、程序脚本(Java Script)、脚本语言(Perl)、超文本标记语言(HTML)等——创建的计算机程序编译或解释。一般来说,处理器(例如,微处理器)例如从存储器、计算机可读介质等接收指令,并执行这些指令,从而执行一个或多个过程,包括一个或多个本文所述的过程。这样的指令和其他数据可以使用各种计算机可读介质存储和传输。计算设备中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如,指令)的任何介质。这样的介质可以采取许多形式,包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、挠性盘、硬盘、磁带、任何其它磁介质、光盘只读存储器(CD ROM)、数字视盘(DVD)、任何其他光学介质、穿孔卡、纸带、任何具有孔图案的其他物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、闪速电可擦除可编程只读存储器(FLASH EEPROM)、任何其它存储器芯片或盒、或计算机可以从其读取的任何其它介质。
在附图中,相同的附图标记表示相同的元件。此外,这些元件中的一些或全部可以改变。关于本文所述的介质、过程、系统、方法等,应当理解的是,尽管这些过程等的步骤已经被描述为根据某个有序序列发生,但是这样的过程可以用所描述的步骤以不同于本文描述的顺序的顺序执行。还应当理解的是,某些步骤可以同时执行,可以添加其他步骤,或者可以省略本文描述的某些步骤。换句话说,本文中的过程的描述是为了说明某些实施例的目的而提供的,并且不应被解释为限制所要求保护的发明。
因此,应当理解的是,上述描述旨在是说明性的而不是限制性的。在阅读上述描述之后,除了所提供的示例之外的许多实施例和应用对于本领域技术人员将是显而易见的。本发明的范围应当不是参考上面的描述来确定,而是应当参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。预设和预期在本文中讨论的技术中将会出现未来的发展,并且所公开的系统和方法将并入在这些未来的实施例中。总之,应当理解的是,本发明能够进行修改和变化,并且仅由所附权利要求限制。
权利要求中使用的所有术语旨在赋予其本领域技术人员所理解的普通含义,除非在此作出相反的明确指示。特别地,使用诸如“一”、“该”、“所述”等单数冠词应被理解为列举一个或多个所指示的元件,除非权利要求陈述了相反的明确限制。

Claims (20)

1.一种用于控制车辆的方法,包含以下步骤:
从多个源接收表示所述车辆、车辆操作者和所述车辆周围的环境的方面的信号;
至少部分地基于所述信号来产生子警觉性因子和子准备状态因子,所述子警觉性因子是车辆操作者警觉性的量度而与车辆操作者准备状态无关,并且所述子准备状态因子是车辆操作者是否准备好取得对车辆的手动控制的量度而与车辆操作者警觉性无关;
至少部分地基于所述子警觉性因子产生警觉性因子,至少部分地基于所述子准备状态因子产生准备状态因子;和
至少部分地基于所述警觉性因子和所述准备状态因子来在自主控制水平之间转换所述车辆的控制。
2.根据权利要求1所述的方法,其中所述水平包括自主控制水平、半自主控制水平和手动控制水平。
3.根据权利要求2所述的方法,其中所述自主控制水平包含由所述车辆操作者对车辆转向装置、制动器和推进器中的每一个的少量控制或不进行控制,所述半自主控制水平包括由所述车辆操作者控制器对所述车辆转向装置、所述制动器和所述推进器中的至少一个的部分或全部控制,以及所述手动控制水平包括由所述车辆操作者对所述车辆转向装置、所述制动器和所述推进器中的每一个的部分或全部控制。
4.根据权利要求1所述的方法,其中所述子警觉性因子和所述子准备状态因子各自从一个或多个车辆子系统确定。
5.根据权利要求1所述的方法,进一步包含:当所述警觉性因子和所述准备状态因子中的一个超过第一阈值时,从所述自主控制水平中的第一水平变换到所述自主控制水平的第二水平。
6.根据权利要求5所述的方法,其中所述第一阈值是第一警觉性阈值,所述方法进一步包含当所述警觉性因子超过所述第一警觉性阈值并且所述准备状态因子超过第一准备状态阈值时,从所述自主控制水平中的第一水平变换到所述自主控制水平中的第二水平。
7.根据权利要求1所述的方法,进一步包含根据所述警觉性因子和所述准备状态因子致动车辆转向装置、制动器和推进器中的至少一个。
8.根据权利要求1所述的方法,进一步包含至少部分地基于关于所述车辆操作者的数据来产生所述子警觉性因子和所述子准备状态因子。
9.根据权利要求8所述的方法,其中关于所述车辆操作者的所述数据包括面部识别、眼睛运动、面部表情、言语、手位置、座椅位置、制动响应时间、加速器响应时间和转向响应时间中的至少一个。
10.根据权利要求1所述的方法,进一步包含基于所述警觉性因子和所述准备状态因子在多个车辆子系统中的每一个所述车辆子系统的所述自主控制水平之间转换。
11.一种自主车辆,包含:
多个车辆控制子系统;
多个传感器和接收器,所述传感器和所述接收器用于从多个源接收表示所述车辆、至少一个车辆操作者、所述控制子系统和所述车辆周围环境的方面的信号;和
至少一个控制器,所述控制器被编程为至少部分地基于所述信号来产生子警觉性因子和子准备状态因子,所述子警觉性因子是车辆操作者警觉性的量度而与车辆操作者准备状态无关,并且所述子准备状态因子是车辆操作者是否准备好取得对车辆的手动控制的量度而与车辆操作者警觉性无关;
其中所述至少一个控制器被编程为至少部分地基于所述子警觉性因子产生警觉性因子,至少部分地基于所述子准备状态因子产生准备状态因子,并且至少部分地基于所述警觉性因子和所述准备状态因子来在自主控制水平之间转换所述车辆的控制。
12.根据权利要求11所述的车辆,其中所述水平包括自主控制水平、半自主控制水平和手动控制水平。
13.根据权利要求12所述的车辆,其中所述自主控制水平包含由所述车辆操作者对车辆转向装置、制动器和推进器中的每一个的少量控制或不进行控制,所述半自主控制水平包括由所述车辆操作者控制器对所述车辆转向装置、所述制动器和所述推进器中的至少一个的部分或全部控制,以及所述手动控制水平包括由所述车辆操作者对所述车辆转向装置、所述制动器和所述推进器中的每一个的部分或全部控制。
14.根据权利要求11所述的车辆,其中所述控制器被编程为从一个或多个车辆子系统确定所述子警觉性因子和所述子准备状态因子中的每一个。
15.根据权利要求11所述的车辆,其中所述控制器被编程为当所述警觉性因子和所述准备状态因子中的一个超过第一阈值时,从所述自主控制水平中的第一水平变换到所述自主控制水平中的第二水平。
16.根据权利要求15所述的车辆,其中所述第一阈值是第一警觉性阈值,并且所述控制器被编程为当所述警觉性因子超过所述第一警觉性阈值和所述准备状态因子超过第一准备状态阈值时,从所述自主控制水平中的第一水平变换到所述自主控制水平中的第二水平。
17.根据权利要求11所述的车辆,其中所述控制器被编程为根据所述警觉性因子和所述准备状态因子致动车辆转向装置、制动器和推进器中的至少一个。
18.根据权利要求11所述的车辆,其中所述控制器被编程为至少部分地基于关于所述车辆操作者的数据来产生所述子警觉性因子和所述子准备状态因子。
19.根据权利要求18所述的车辆,其中关于所述车辆操作者的所述数据包括面部识别、眼睛运动、面部表情、言语、手位置、座椅位置、制动响应时间、加速器响应时间和转向响应时间中的至少一个。
20.根据权利要求11所述的车辆,其中所述控制器被编程为基于所述警觉性因子和所述准备状态因子在多个车辆子系统中的每一个车辆子系统的所述自主控制水平之间转换。
CN201710089042.0A 2016-02-25 2017-02-20 基于乘员注意的自主控制 Active CN107117179B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201615053040A 2016-02-25 2016-02-25
US15/053,040 2016-02-25
US15/073,123 US10289113B2 (en) 2016-02-25 2016-03-17 Autonomous occupant attention-based control
US15/073,123 2016-03-17

Publications (2)

Publication Number Publication Date
CN107117179A CN107117179A (zh) 2017-09-01
CN107117179B true CN107117179B (zh) 2021-12-07

Family

ID=58544154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710089042.0A Active CN107117179B (zh) 2016-02-25 2017-02-20 基于乘员注意的自主控制

Country Status (6)

Country Link
US (1) US10289113B2 (zh)
CN (1) CN107117179B (zh)
DE (1) DE102017103973A1 (zh)
GB (1) GB2549377A (zh)
MX (1) MX2017002492A (zh)
RU (1) RU2017105364A (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US20210133871A1 (en) 2014-05-20 2021-05-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature usage recommendations
DE102016208883A1 (de) * 2016-05-23 2017-11-23 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Fahrzeugtrajektorieninformation und Verfahren zum Orten eines Schlaglochs
US10059346B2 (en) 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US10029698B2 (en) * 2016-07-19 2018-07-24 Futurewei Technologies, Inc. Adaptive passenger comfort enhancement in autonomous vehicles
JP2019527832A (ja) 2016-08-09 2019-10-03 ナウト, インコーポレイテッドNauto, Inc. 正確な位置特定およびマッピングのためのシステムおよび方法
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
US9928432B1 (en) 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
WO2018087862A1 (ja) * 2016-11-10 2018-05-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6613223B2 (ja) * 2016-11-17 2019-11-27 株式会社デンソー 走行制御装置
US11187539B2 (en) * 2017-01-17 2021-11-30 Hitachi, Ltd. Travel control device for moving body
US10220857B2 (en) 2017-02-23 2019-03-05 Uber Technologies, Inc. Vehicle control system
DE102018105406B4 (de) * 2017-03-10 2022-11-03 Steering Solutions Ip Holding Corporation System und verfahren zur lenkungssteuerung für ein autonomes fahrzeug
US10732627B1 (en) * 2017-05-25 2020-08-04 State Farm Mutual Automobile Insurance Company Driver re-engagement system
JP6801593B2 (ja) * 2017-06-14 2020-12-16 株式会社デンソー 車両の操舵支援装置および操舵支援制御方法
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
US10829110B2 (en) 2017-10-26 2020-11-10 Robert Bosch Gmbh Method and device for adapting a driving behavior of a semi, highly or fully automated vehicle
JP7481082B2 (ja) * 2018-01-11 2024-05-10 トヨタ自動車株式会社 車両制御装置、車両制御方法、及び車両制御プログラム
JP6900915B2 (ja) * 2018-01-24 2021-07-07 トヨタ自動車株式会社 自動運転システム
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
US10935974B1 (en) * 2018-04-19 2021-03-02 State Farm Mutual Automobile Insurance Company Manual control re-engagement in an autonomous vehicle
JP7294775B2 (ja) * 2018-05-24 2023-06-20 トヨタ自動車株式会社 情報処理装置、プログラム、及び制御方法
JP7106998B2 (ja) * 2018-06-05 2022-07-27 トヨタ自動車株式会社 運転支援装置
US10614709B2 (en) * 2018-07-24 2020-04-07 May Mobility, Inc. Systems and methods for implementing multimodal safety operations with an autonomous agent
DE102018214204A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Fahrmodusempfehlung für ein Fahrzeug
WO2020082363A1 (zh) * 2018-10-26 2020-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
DE102018219103A1 (de) 2018-11-08 2020-05-14 Ford Global Technologies, Llc Vorrichtung und Verfahren zum Ermitteln eines Aufmerksamkeitserforderlichkeitsgrades eines Fahrers eines Fahrzeugs
DE102018222667A1 (de) * 2018-12-20 2020-06-25 Volkswagen Aktiengesellschaft Autonom fahrendes Kraftfahrzeug
DE102019105546A1 (de) * 2019-03-05 2020-09-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren, mobiles Anwendergerät, Computerprogramm zum Ansteuern einer Steuereinheit eines Fahrzeugs
DE102019211738B3 (de) * 2019-08-05 2020-11-12 Zf Friedrichshafen Ag Überprüfung einer Fahrerübernahme basierend auf Bilddaten
JP7147715B2 (ja) * 2019-08-07 2022-10-05 トヨタ自動車株式会社 運転支援装置および運転支援方法
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
CN118015737A (zh) * 2024-04-10 2024-05-10 山西丰鸿实业有限公司 基于物联网的智能门锁联合控制系统

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469356A (en) 1994-09-01 1995-11-21 Caterpillar Inc. System for controlling a vehicle to selectively allow operation in either an autonomous mode or a manual mode
EP0913751B1 (de) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
DE19750338A1 (de) 1997-11-13 1999-05-20 Siemens Ag Fahrtregelungssystem für Fahrzeuge, insbesondere für Kraftfahrzeuge
DE19836339B4 (de) 1998-08-11 2011-12-22 N.V. Nutricia Kohlenhydratmischung
JP4615139B2 (ja) 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
EP1273930B1 (en) 2001-07-05 2004-11-03 Ford Global Technologies, LLC A method for collision avoidance and collision mitigation
US6810309B2 (en) * 2002-04-25 2004-10-26 Visteon Global Technologies, Inc. Vehicle personalization via biometric identification
US20050152192A1 (en) 2003-12-22 2005-07-14 Manfred Boldy Reducing occupancy of digital storage devices
WO2006070865A1 (ja) 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
SI1788461T1 (sl) 2005-11-22 2009-12-31 Multitel Asbl Naprava in postopek za zasnovo sklopa senzorjev za varen avtomatiziran sistem, avtomatizirani sistem, programski element in računalniško berljiv medij
JP4297132B2 (ja) 2006-05-12 2009-07-15 トヨタ自動車株式会社 車両用警報装置
US8515659B2 (en) 2007-03-29 2013-08-20 Toyota Jidosha Kabushiki Kaisha Collision possibility acquiring device, and collision possibility acquiring method
DE102008043220A1 (de) * 2008-10-28 2010-04-29 Robert Bosch Gmbh Steuereinrichtung und Verfahren zur automatischen Führung eines Fahrzeugs
JP5083172B2 (ja) 2008-10-29 2012-11-28 トヨタ自動車株式会社 衝突予測装置
DE102009045286A1 (de) 2009-10-02 2011-04-21 Robert Bosch Gmbh Verfahren zur Abbildung des Umfelds eines Fahrzeugs
DE102009048954A1 (de) 2009-10-10 2011-04-14 Daimler Ag Verfahren und Vorrichtung zum automatischen Betreiben eines Fahrzeugs in einem keine Nutzeraktion erfordernden autonomen Fahrbetrieb
CN101973210A (zh) * 2010-06-12 2011-02-16 湘潭大学 多功能汽车智能启动及安全防护系统
JP2012051441A (ja) 2010-08-31 2012-03-15 Toyota Motor Corp 自動運転車両制御装置
JP5618767B2 (ja) 2010-10-29 2014-11-05 アイシン精機株式会社 車両の横方向運動制御装置
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
US8078349B1 (en) 2011-05-11 2011-12-13 Google Inc. Transitioning a mixed-mode vehicle to autonomous mode
US9014915B2 (en) 2011-07-25 2015-04-21 GM Global Technology Operations LLC Active safety control for vehicles
DE102011115223A1 (de) 2011-09-24 2013-03-28 Audi Ag Verfahren zum Betrieb eines Sicherheitssystems eines Kraftfahrzeugs und Kraftfahrzeug
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
KR102004682B1 (ko) 2012-08-10 2019-07-29 현대모비스 주식회사 2개의 페일-세이프 기능을 구비한 차량의 제동 장치 및 제동 방법
US8825258B2 (en) 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
DE102012112802B4 (de) 2012-12-20 2024-06-06 Continental Autonomous Mobility Germany GmbH Verfahren zur Steuerung eines Fahrzeugs mit einem ein automatisiertes, teilautomatisiertes und ein manuelles Fahren ermöglichenden Fahrerassistenzsystem
DE102013225932A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zum automatisierten Bremsen eines Fahrzeugs
KR101449210B1 (ko) 2012-12-27 2014-10-08 현대자동차주식회사 자율 주행 차량의 운전모드 전환 장치 및 그 방법
KR101736306B1 (ko) 2013-02-27 2017-05-29 한국전자통신연구원 차량과 운전자간 협력형 자율 주행 장치 및 방법
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP5878491B2 (ja) 2013-03-27 2016-03-08 株式会社日本自動車部品総合研究所 運転支援装置
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
DE102013206212A1 (de) 2013-04-09 2014-10-09 Ford Global Technologies, Llc Verfahren zur Steuerung eines Fahrzeugs mit temporär autonomer Fahrzeugführung sowie Steuerungseinrichtung
FR3005924B1 (fr) 2013-05-27 2016-10-21 Renault Sa Procede de fonctionnement d'un vehicule en mode manuel et en mode autonome
DE102013210682A1 (de) * 2013-06-07 2014-12-11 Continental Teves Ag & Co. Ohg Verfahren und Fahrerassistenzsystem zur Beurteilung und/oder Aufrechterhaltung der Aufmerksamkeit eines Fahrzeugführers
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
JP6464447B2 (ja) 2013-09-02 2019-02-06 本田技研工業株式会社 観測値の予測装置及び観測値の予測方法
US20150066284A1 (en) 2013-09-05 2015-03-05 Ford Global Technologies, Llc Autonomous vehicle control for impaired driver
EP2848488B2 (en) * 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
US9360865B2 (en) 2013-09-20 2016-06-07 Ford Global Technologies, Llc Transitioning from autonomous vehicle control to driver control
US9150224B2 (en) 2013-09-24 2015-10-06 Ford Global Technologies, Llc Transitioning from autonomous vehicle control to to driver control to responding to driver control
US20150100189A1 (en) 2013-10-07 2015-04-09 Ford Global Technologies, Llc Vehicle-to-infrastructure communication
US20150106010A1 (en) 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
TWI538831B (zh) 2013-10-24 2016-06-21 Vehicle autonomous assist driving system and method
US9852634B2 (en) * 2013-10-25 2017-12-26 Empire Technology Development Llc Operator alertness monitor
DE102013019141A1 (de) 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
US9720411B2 (en) 2014-02-25 2017-08-01 Ford Global Technologies, Llc Autonomous driving sensing system and method
EP2915718B1 (en) * 2014-03-04 2018-07-11 Volvo Car Corporation Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
EP3128498B1 (en) 2014-04-02 2018-10-31 Nissan Motor Co., Ltd Vehicular information presentation apparatus
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
JP2015230573A (ja) * 2014-06-05 2015-12-21 アルパイン株式会社 車両運転支援装置、方法およびプログラム
JP6247616B2 (ja) 2014-08-25 2017-12-13 日立建機株式会社 無線システム及び運行管理サーバ
CN105517666B (zh) 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
US10101742B2 (en) 2014-12-07 2018-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Mixed autonomous and manual control of autonomous vehicles
CN104477113A (zh) * 2014-12-22 2015-04-01 联想(北京)有限公司 控制方法、系统及汽车
US10705521B2 (en) 2014-12-30 2020-07-07 Visteon Global Technologies, Inc. Autonomous driving interface
US9727056B2 (en) * 2015-06-24 2017-08-08 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
US10055379B2 (en) * 2015-07-10 2018-08-21 SK Hynix Inc. Peripheral component interconnect express card
EP3133455B1 (en) 2015-08-17 2021-04-14 Honda Research Institute Europe GmbH System for autonomously or partially autonomously driving a vehicle with a communication module for obtaining additional information from a vehicle driver and corresponding method
US9786192B2 (en) * 2015-10-14 2017-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. Assessing driver readiness for transition between operational modes of an autonomous vehicle
US9834224B2 (en) 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle

Also Published As

Publication number Publication date
US20170248952A1 (en) 2017-08-31
MX2017002492A (es) 2018-08-15
DE102017103973A1 (de) 2017-08-31
RU2017105364A (ru) 2018-08-20
CN107117179A (zh) 2017-09-01
US10289113B2 (en) 2019-05-14
GB2549377A (en) 2017-10-18
GB201702958D0 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
CN107117179B (zh) 基于乘员注意的自主控制
CN107121979B (zh) 自主置信控制
US10026317B2 (en) Autonomous probability control
US20170248953A1 (en) Autonomous peril control
US20170247040A1 (en) Autonomous vehicle control transitioning
US11060874B2 (en) Map information update system and map information update server
US9454150B2 (en) Interactive automated driving system
CN110497908A (zh) 自动驾驶系统和使用传感器融合进行智能车辆控制的控制逻辑
JP6985203B2 (ja) 挙動予測装置
CN109421738A (zh) 用于监视自主车辆的方法和装置
CN108275149B (zh) 使用车辆通信进行合并辅助的系统和方法
CN112512887B (zh) 一种行驶决策选择方法以及装置
JP6558214B2 (ja) 自動運転装置
JP7156011B2 (ja) 情報提示装置
KR20170120027A (ko) 이동체의 자동 운전 제어 시스템
CN110001648B (zh) 车辆控制装置
JP2018106490A (ja) 自動運転装置
US11804128B2 (en) Target classification
CN113753072B (zh) 基于人体驾驶参考数据的自动舒适度评分系统
JP2018094294A (ja) 状態推定システム
CN116714591B (zh) 换道意图的生成方法、装置和存储介质及电子设备
CN116643565A (zh) 计算机执行的方法、电子设备和存储介质
JP2024047442A (ja) 自動運転装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant