CN114555443A - 使用驾驶员辅助来检测和解决异常驾驶员行为 - Google Patents

使用驾驶员辅助来检测和解决异常驾驶员行为 Download PDF

Info

Publication number
CN114555443A
CN114555443A CN202080072775.3A CN202080072775A CN114555443A CN 114555443 A CN114555443 A CN 114555443A CN 202080072775 A CN202080072775 A CN 202080072775A CN 114555443 A CN114555443 A CN 114555443A
Authority
CN
China
Prior art keywords
vehicle
driver
driving
actions
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080072775.3A
Other languages
English (en)
Inventor
D.H.西尔弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114555443A publication Critical patent/CN114555443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0071—Controller overrides driver automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/103—Speed profile
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本技术涉及识别和解决异常的驾驶员行为。可以在不同的时间范围和行驶距离内评估各种驾驶操作(902、906)。该系统可以检测驾驶误差和次优操纵，其由车载驾驶员辅助系统进行评估并与预期驾驶员行为的模型进行比较(908)。该比较的结果可以用于警示驾驶员或立即采取纠正驾驶动作(912、914)。它还可以用于实时或离线训练或传感器校准的目的(912、914)。行为模型可以是驾驶员特定的，或者可以是基于来自许多驾驶员的聚合的信息的标称驾驶员模型。乘用车辆、公共汽车、货运卡车和其他车辆的驾驶员可以采用这些方法。

Description

使用驾驶员辅助来检测和解决异常驾驶员行为
相关申请的交叉引用
本申请要求于2020年10月8日提交的美国专利申请第17/065,722号和于2019年10月15日提交的美国临时申请第62/915,134号的优先权和其申请日的权益，其全部公开内容通过引用并入本文。
背景技术
现有的车载高级驾驶员辅助系统(ADAS)可以将某些驾驶任务自动化。例如，ADAS可以经由前方碰撞警告提供关于靠得与前方车辆太近的警告和提供车道偏离警告。在其他示例中，ADAS还可以经由自动车道跟随、自动制动和高级定速巡航控制特征来调整驾驶。其他系统还可以追踪驾驶员的眼运动以及手是否在方向盘上，这可以用于评估注意力。这些方法可以根据短时间范围(例如，前几秒)内的瞬时车辆状态来操作。但是，这样的方法可能无法提供对某些重复行为的稳健性评估或将此评估用在路线规划或其他驾驶操作中。
发明内容
本技术涉及能够在部分自主驾驶模式下执行的识别和解决车辆中的异常驾驶员行为，或者以其他方式包括高级驾驶员辅助系统。这可以包括乘用车辆、公共汽车、货运车辆等。根据本技术的各方面，可以在有意义的时间范围(例如，几十秒、几分钟、几小时或更长)内评估驾驶员操作。评估中可以考虑不同的因素，包括可能不上升到“误差”的阈值级别的驾驶员误差和次优操纵。驾驶员误差可能包括一个或多个车道偏离、对即将到来的障碍物的延迟制动、未能遵守交通信号或标志等。次优操纵可能包括在不从车道偏离的情况下在车道内摆动或以其他方式漂移，这将不触发车道偏离警告。其他次优操纵可能包括突然的车道变换、未能发出信号、硬制动、抖动的/断断续续的制动等。这些次优操纵中的任何或所有可以通过车载驾驶员辅助系统进行评估，并与预期的驾驶员行为的模型进行比较。作为这种比较的结果而生成的信息可以以各种方式使用。例如，车载系统可以立即采取纠正驾驶动作和/或警示驾驶员。它也可以是用于离线训练或传感器校准的目的。本技术的这些和其他方面在下面进一步讨论。
根据一个方面，提供了一种方法。该方法包括由一个或多个处理器执行对由车辆驾驶员执行的驾驶动作的状态追踪，以及由一个或多个处理器从车辆的感知系统接收传感器信息。该方法还包括基于对在给定时间帧或行驶的距离中的一者或两者期间的驾驶动作的状态追踪来确定已经执行了一个或多个异常驾驶动作，并且将确定的异常驾驶动作与行为模型进行比较。该方法还包括基于比较创建变度(variance)信号。变度信号指示驾驶员表现相对于行为模型的偏差。该方法包括响应于变度信号从一类或多类动作当中选择动作，然后执行选择的动作。
在一个示例中，行为模型是基于来自除了该车辆的驾驶员之外的多个驾驶员的信息的聚合模型。在另一个示例中，行为模型基于车辆的驾驶员的过去驾驶历史而特定于他或她。
确定已经执行了一个或多个异常驾驶动作可以包括评估感知系统的若干传感器中的至少一个、感知系统的每个传感器的准确度、传感器视场或车辆周围的传感器的布置。确定已经执行了一个或多个异常驾驶动作可以附加或可替代地包括评估车道偏离、在车道内摆动、速度简档、制动简档或转弯简档中的至少一个。并且确定已经执行了一个或多个异常驾驶动作可以附加或可替代地包括将对驾驶员动作的状态追踪与地图信息和接收的传感器信息中的至少一个进行比较。
一类或多类动作可以包括警告驾驶员、车辆的自主操作或警示其他车辆中的至少一个。
该方法还可以包括基于状态追踪执行感知系统的一个或多个传感器的校准。并且执行选择的动作可以包括自主执行纠正驾驶动作或向驾驶员提供关于确定的异常驾驶动作的警示中的至少一个。
根据另一方面，提供了一种用于车辆的控制系统。控制系统包括被配置为存储行为模型的存储器，以及可操作地耦合到存储器的一个或多个处理器。一个或多个处理器被配置为执行对由车辆驾驶员执行的驾驶动作的状态追踪，从车辆的感知系统接收传感器信息，以及基于对在给定时间帧或行驶的距离中的一者或两者期间的驾驶动作的状态追踪来确定已经执行了一个或多个异常驾驶动作。处理器还被配置为将确定的异常驾驶动作与行为模型进行比较，以及基于比较创建变度信号。变度信号指示驾驶员表现相对于行为模型的偏差。处理器还被配置为响应于变度信号从一类或多类动作当中选择动作，并且执行选择的动作。执行所述选择的动作可以包括通过指示车辆的驾驶系统采取纠正动作来自主执行纠正驾驶动作或经由车辆的用户界面系统向驾驶员提供关于确定的异常驾驶动作的警示中的至少一个。
在一个示例中，行为模型是基于来自除了该车辆的驾驶员之外的多个驾驶员的信息的聚合模型。在另一个示例中，行为模型基于车辆的驾驶员的过去驾驶历史而特定于他或她。
确定已经执行了一个或多个异常驾驶动作可以包括评估感知系统的若干传感器中的至少一个、感知系统的每个传感器的准确度、传感器视场或车辆周围的传感器的布置。可替代或附加地，确定已经执行了一个或多个异常驾驶动作包括评估车道偏离、在车道内摆动、速度简档、制动简档或转弯简档中的至少一个。并且确定已经执行了一个或多个异常驾驶动作可以附加或可替代地包括将对驾驶员动作的状态追踪与地图信息和接收的传感器信息中的至少一个进行比较。
一类或多类动作可以包括警告驾驶员、车辆的自主操作或警示其他车辆中的至少一个。
该控制系统还可以被配置为基于状态追踪执行感知系统的一个或多个传感器的校准。
该控制系统还可以包括感知系统。
并且根据另一方面，一种被配置为当在部分自主驾驶模式下操作时评估驾驶员的异常驾驶动作的车辆。该车辆包括在以上描述的且在以下进一步详细描述的控制系统、感知系统和驾驶系统。
附图说明
图1A-图1B示出了被配置为用于与本技术的各方面一起使用的示例乘用型车辆。
图1C-图1D示出了被配置为用于与本技术的各方面一起使用的示例货运型车辆。
图2是根据本技术的各方面的示例乘用型车辆的系统的框图。
图3A-图3B是根据本技术的各方面的示例货运型车辆的系统的框图。
图4示出了根据本技术的各方面的示例漂移场景。
图5示出了根据本技术的各方面的示例制动场景。
图6示出了根据本技术的各方面的示例速度简档场景。
图7A-图7B示出了根据本公开的各方面的警示附近车辆的示例。
图8A-图8B示出了根据本技术的各方面的示例系统。
图9示出了根据本技术的各方面的示例方法。
具体实施方式
车载驾驶员辅助系统随着时间评估关于驾驶员对车辆的操作的信息。评估可以包括将特定动作(或不动作)与存储的驾驶员行为模型进行比较。行为模型可以基于驾驶员的过去的动作和驾驶习惯、基于通用驾驶预期的标称(nominal)模型或其他因素。在评估中可以包括驾驶误差和次优驾驶中的一者或两者。作为结果，系统可以确定车辆的操作是异常的，在这种情况下，可以执行纠正动作或警示驾驶员或其他人。
示例车辆系统
图1A示出了示例乘用车辆100(诸如轿车、小型货车(minivan)、运动型多用途汽车(SUV)或其他车辆)的透视图。图1B示出了乘用车辆100的俯视图。乘用车辆100可以包括用于获得关于车辆外部环境的信息的各种传感器，该信息可以由车载ADAS系统或能够在半自主驾驶模式下操作车辆的其他系统使用。例如，车顶(roof-top)单元102可以包括Lidar(激光雷达)传感器以及各种相机、雷达单元、红外和/或声学传感器。位于车辆100前端的传感器单元104和位于车辆的驾驶员侧和乘客侧的单元106a、单元106b，可以各自结合激光雷达、雷达、相机和/或其他传感器。例如，单元106a可以沿着车辆的侧围板(quarter panel)位于驾驶员侧车门的前方。如图1B所示，传感器单元108也可以沿车辆100的后部放置，诸如在保险杠上或与保险杠相邻。在一些示例中，乘用车辆100还包括用于获得关于车辆的内部空间的信息的各种传感器(未示出)。
图1C-图1D示出了示例货运车辆150，诸如牵引车-拖车式(tractor-trailer)卡车。卡车可以包括例如单个拖车、双拖车或三拖车，或者可以是另一种中型或重型卡车(诸如4至8的商业重量等级)。如图所示，卡车包括牵引车单元152和单个货运单元或拖车154。取决于被运输的货物的类型，拖车154可以是完全封闭的、敞开的(诸如平板式(flat bed))或部分敞开的。在该示例中，牵引车单元152包括引擎和转向系统(未示出)以及用于驾驶员和任何乘客的驾驶室156。
拖车154包括称为中枢栓(kingpin)的栓接点(hitching point)158。中枢栓158典型地形成为实心钢轴，其被配置为枢转地附接到牵引车单元152。具体地，中枢栓158附接到称为第五轮(fifth-wheel)的安装在驾驶室的后部的拖车联轴器(trailer coupling)160。对于双牵引车-拖车或三牵引车-拖车，第二拖车和/或第三拖车可以与前导拖车具有简单的栓接连接。或者，可替代地，每个拖车可以有自己的中枢栓。在这种情况下，至少第一拖车和第二拖车可以包括被布置为耦合下一个拖车的第五轮类型的结构。
如图所示，牵引车可以具有沿其安置的一个或多个传感器单元162、164。例如，一个或多个传感器单元162可以被安置在驾驶室156的车顶部分或顶部分，并且一个或多个侧部传感器单元164可以被安置在驾驶室156的左侧和/或右侧。传感器单元的位置还可以沿着驾驶室156的其他区域，诸如沿着前保险杠或引擎盖区域、在驾驶室的后部、与第五轮相邻、在底盘下方等。拖车154还可以具有一个或多个传感器单元166，其被安置于沿着拖车154，例如，沿着拖车154的侧板、前部、后部、车顶和/或底架(undercarriage)。
与图1A-图1B的乘用车辆的传感器单元一样，货运车辆的每个传感器单元可以包括一个或多个传感器，诸如激光雷达、雷达、相机(例如，光学或红外)、声学(例如，麦克风或声纳型传感器)、惯性(例如，加速度计、陀螺仪等)或其他传感器(例如，诸如GPS传感器的定位传感器)。尽管本公开的某些方面结合特定类型的车辆可能特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、休闲车等。
如上所述，本技术适用于高级驾驶员辅助系统(ADAS)和能够在自主驾驶模式下提供至少部分自主性的其他系统。对于在部分自主驾驶模式下操作的车辆，可以存在不同程度的自主性。美国国家公路交通安全管理局和汽车工程师协会已经识别了不同的级别以指示车辆能够控制驾驶的程度。例如，级别0没有自动化，并且驾驶员做出所有与驾驶相关的决策。最低的半自主模式(级别1)包括一些驾驶辅助，诸如定速巡航(cruise control)。级别2具有某些驾驶操作的部分自动化，而级别3涉及到可以使处于驾驶员座椅中的人能够在有必要时进行控制的有条件的自动化。相比之下，级别4是高度自动化级别，其中车辆能够在选择的状况下无需辅助进行驾驶。本文描述的架构、组件、系统和方法可以在任何这些模式下起作用。本文一般将这些系统称为驾驶员辅助系统。
图2示出了具有示例性车辆(诸如乘用车辆100)的各种组件和系统以启用驾驶员辅助的框图200。如图所示，框图200包括具有一个或多个计算设备202的控制系统，诸如包含一个或多个处理器204、存储器206和典型地存在于通用计算设备中的其他组件的计算设备。存储器206存储可由一个或多个处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。当在部分自主驾驶模式下提供驾驶员辅助或以其他方式操作时，计算系统可以控制车辆的一个或多个操作。
存储器206存储可由处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。作为示例，数据210可以包括与驾驶行为相关联的一个或多个行为模型。存储器206可以是能够存储可由处理器访问的信息的任何类型的存储器，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘驱动器、存储卡、光盘、固态等。系统可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令208可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集合。例如，指令可以作为计算设备代码被存储在计算设备可读介质上。在这方面，术语“指令”、“模块”和“程序”在本文中可以互换使用。指令可以以用于由处理器直接处理的目标代码格式存储，或者以包括按需解释或预先编译的独立源代码模块的集合或脚本的任何其他计算设备语言存储。一个或多个处理器204可以根据指令208检索、存储或修改数据210。在一个示例中，存储器206中的一些或者全部可以是被配置为存储车辆诊断和/或检测的传感器数据的事件数据记录器或其他安全数据存储系统，其可以是车载于车辆或远程的，这取决于实施方式。
处理器204可以是任何常规处理器，诸如商业可获得的CPU。可替代地，每个处理器可以是专用设备，诸如ASIC或其它基于硬件的处理器。尽管图2在功能上将处理器、存储器和计算设备202的其他元件示为在同一框内，但这样的设备实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以或可以不被存放在相同的物理外壳内。类似地，存储器206可以是位于与处理器204的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
在一个示例中，计算设备202可以形成结合到车辆100中的驾驶计算系统，使得车辆可以执行各种驾驶员辅助操作。驾驶计算系统能够与车辆的各种组件通信。例如，计算设备202可以与车辆的各种系统通信，包括驾驶系统，所述驾驶系统包括减速系统212(用于控制车辆的制动)、加速系统214(用于控制车辆的加速度)、转向系统216(用于控制车轮的朝向和车辆的方向)、信号系统218(用于控制转弯信号)、导航系统220(用于将车辆导航到位置或对象周围)和定位系统222(用于确定车辆的定位，例如，包括车辆的位姿)。
如在该示例中所示，计算设备202还可操作地耦合到感知系统224(用于检测车辆的环境中的对象)、动力系统226(例如，电池和/或汽油或柴油动力的引擎)和传动系统230，以便在部分自主驾驶模式下根据存储器206的指令208控制车辆的运动、速度等。一些或全部车轮/轮胎228被耦合到传动系统230，并且计算设备202能够接收关于轮胎压力、平衡和可以影响驾驶的其他因素的信息。
计算设备202可以通过控制各种组件来控制车辆的方向和速度。作为示例，计算设备202可以使用来自地图信息和导航系统220的数据将车辆导航到目的地位置。计算设备202可以使用定位系统222来确定车辆的位置，并且使用感知系统224来检测对象并且在需要时对对象作出响应，以安全到达该位置。为此，计算设备202可以使车辆加速(例如，通过增加由加速系统214提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、换档和/或通过减速系统212施加制动)、改变方向(例如，通过转向系统216转动车辆100的前轮或其他车轮)，并且用信号通知这样的改变(例如，通过点亮信号系统218的转弯灯)。因此，加速系统214和减速系统212可以是包括在车辆引擎和车辆车轮之间的各种组件的动力传动系统(drivetrain)或其他类型的传动系统230的一部分。同样，通过控制这些系统，计算设备202还可以控制车辆的传动系统230以便操纵车辆。
计算设备202可以使用导航系统220以便确定并遵循到位置的路线。在这方面，导航系统220和/或存储器206可以存储地图信息，例如，计算设备202可以用来导航或控制车辆的高度详细的地图。例如，这些地图可以识别道路的形状和高度、车道标记、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被或其他这样的对象和信息。车道标记可以包括诸如实线或虚线的双车道线或单车道线、实线或虚线的车道线、反射器等的特征。给定的车道可以与左车道线和/或右车道线或定义车道边界的其他车道标记相关联。因此，大多数车道可以由一个车道线的左边缘和另一个车道线的右边缘来界定。
可以是高级驾驶员辅助系统的部分或与高级驾驶员辅助系统结合工作的感知系统224包括一个或多个车载传感器232。传感器可以用于检测车辆外部的对象。检测的对象可以是其他车辆、道路中的障碍物、交通信号、标志、树木等。传感器232还可以检测天气状况的某些方面，诸如雪、雨或水雾、或者道路上的水坑、冰或其他材料。
仅作为示例，感知系统224可以包括一个或多个激光雷达传感器、雷达单元、相机(例如，具有或不具有中性密度(ND)滤光片的光学成像设备)、定位传感器(例如，陀螺仪、加速度计和/或其他惯性组件)、红外传感器、声学传感器(例如，麦克风或声呐换能器)、和/或记录可以由计算设备202处理的数据的任何其他检测设备。感知系统224的这样的传感器可以检测车辆外部的对象及其特性，诸如位置、朝向、大小、形状、类型(例如，车辆、行人、骑自行车者等)、走向、相对于车辆的运动速度等。感知系统224还可以包括车辆内(诸如乘客车厢内)的其他传感器以检测车辆内的对象和状况。例如，这样的传感器可以检测驾驶员的定位、他或她的手是否在方向盘上、眼睛注视方向等。感知系统224的传感器232可以更进一步地测量车轮228的转速、减速系统312的制动的量或制动类型、以及与车辆本身的装备相关联的其他因素。
来自传感器的原始数据和前述特性可以由感知系统224处理和/或随着感知系统224生成数据而定期地或持续地被发送到计算设备202以供进一步处理。计算设备202可以使用定位系统222来确定车辆的位置，并且使用感知系统224来检测对象，并且根据如以下进一步讨论的对驾驶员行为的评估来对对象作出响应。此外，计算设备202可以执行单独传感器、特定传感器总成中的全部传感器的校准，或者执行不同传感器总成或其他物理外壳中的传感器之间的校准。
如图1A-图1B所示，感知系统224的某些传感器可以结合到一个或多个传感器单元中。在一些示例中，这些传感器单元可以集成到车辆上的侧视镜中。在另一个示例中，其他传感器可以是车顶外壳102或其他传感器单元的部分。计算设备202可以与位于车辆上的或以其他方式沿车辆分布的传感器单元通信。每个单元可以具有一种或多种类型的传感器，诸如上述那些。
回到图2，计算设备202可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器以及用户界面子系统234。用户界面子系统234可以包括一个或多个用户输入236(例如，鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示设备238(例如，具有屏幕的监视器或可操作以显示信息的任何其他电子设备)。在这方面，内部电子显示器可以位于车辆的舱室内(未示出)，并且可以由计算设备202使用以向车辆内的乘客提供信息。其他输出设备(诸如扬声器240和/或向驾驶员提供触觉(tactile)反馈的触觉(haptic)致动器241)也可以位于乘用车辆内。
乘用车辆还包括通信系统242。例如，通信系统242还可以包括一个或多个无线配置以促进与其他计算设备通信，诸如车辆内的乘客计算设备、车辆外部的(诸如道路上另一个附近车辆内的)计算设备和/或远程服务器系统。网络连接可以包括短程通信协议(诸如蓝牙TM、蓝牙TM低功耗(LE)、蜂窝连接)以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合。
图3A示出了具有车辆(例如，图1C的车辆150)的各种组件和系统的框图300。作为示例，车辆可以是被配置为在一种或多种部分自主操作模式下(例如，结合ADAS)操作的卡车、农场设备或施工设备。如框图300所示，车辆包括一个或多个计算设备的控制系统，诸如包含一个或多个处理器304、存储器306和与以上参考图2所讨论的组件202、组件204和组件206类似或等同的其他组件的计算设备302。在该示例中，控制系统可以构成货运车辆的牵引车单元的电子控制单元(ECU)。与指令208一样，指令308可以是由处理器直接执行的任何指令集(诸如机器代码)或间接执行的任何指令集(诸如脚本)。类似地，一个或多个处理器304可以根据指令308检索、存储或修改数据310。
在一个示例中，计算设备302可以形成结合到车辆150中的驾驶计算系统。类似于以上参考图2所讨论的布置，框图300的驾驶计算系统能够与车辆的各种组件进行通信以便执行驾驶操作。例如，计算设备302可以与车辆的各种系统通信，诸如驾驶系统，其包括减速系统312、加速系统314、转向系统316、信号系统318、导航系统320和定位系统322，它们中的每个可以如同上文参考图2所讨论的那样地工作。
计算设备302还可操作地耦合到感知系统324、动力系统326和传动系统330。一些或全部车轮/轮胎328被耦合到传动系统330，并且计算设备302能够接收关于轮胎压力、平衡、转速和可能影响驾驶的其他因素的信息。与计算设备202一样，计算设备302可以通过控制各种组件来控制车辆的方向和速度。作为示例，计算设备302可以使用来自地图信息和导航系统320的数据来协助将车辆导航到目的地位置。
感知系统324可以是高级驾驶员辅助系统的部分，或与高级驾驶员辅助系统结合工作。类似于感知系统224，感知系统324也包括一个或多个传感器或其他组件，诸如上述用于检测车辆外部的对象、车辆内部的对象或状况和/或某些车辆装备(诸如车轮和减速系统312)的操作的那些组件。例如，如图3A所指示的，感知系统324包括一个或多个传感器总成332。每个传感器总成232包括一个或多个传感器。在一个示例中，传感器总成332可以被布置为集成到卡车、农场设备、施工设备等的侧视镜中的传感器塔。如上文参考图1C-图1D所述，传感器总成332还可以放置在牵引车单元152或拖车154上的不同位置处。计算设备302可以与位于牵引车单元152和拖车154二者上的传感器总成通信。每个总成可以具有一种或多种类型的传感器，诸如上述传感器。
图3A中还示出了用于牵引车单元和拖车之间的连接的联轴器系统334。联轴器系统334可以包括一个或多个动力和/或气动连接(未示出)，以及在牵引车单元处的、用于连接在拖车处的中枢栓的第五轮336。通信系统338(等同于通信系统242)也被示为车辆系统300的部分。类似地，还可以包括等同于用户界面234的用户界面339以用于与车辆的驾驶员或任何乘客的交互。
图3B示出了拖车(诸如图1C-图1D的拖车154)的系统的示例框图340。如图所示，该系统包括一个或多个计算设备的ECU 342，诸如包含一个或多个处理器344、存储器346和通常存在于通用计算设备中的其他组件的计算设备。存储器346存储可由一个或多个处理器344访问的信息，包括可以由处理器344执行或以其他方式使用的指令348和数据350。对来自图2和图3A的处理器、存储器、指令和数据的描述适用于图3B中的这些元素。
ECU 342被配置为从拖车单元接收信息和控制信号。ECU 342的车载处理器344可以与拖车的各种系统通信，包括减速系统352、信号系统254和定位系统356。ECU 342还可以可操作地耦合到具有用于检测拖车环境中的对象的一个或多个传感器的感知系统358和向本地组件提供动力的动力系统260(例如，电池电源)。拖车的一些或全部车轮/轮胎362可以耦合到减速系统352，并且处理器344能够接收关于轮胎压力、平衡、车轮速度和可能影响在自主模式下驾驶的其他因素的信息，并将该信息中继到牵引车单元的处理系统。减速系统352、信号系统354、定位系统356、感知系统358、动力系统360和车轮/轮胎362可以以诸如上述参考图2和图3A的方式操作。
拖车还包括撑地装置(landing gear)366的集合以及联轴器系统368。撑地装置在拖车与牵引车单元解耦时为拖车提供支撑结构。可以是联轴器系统334的部分的联轴器系统368提供拖车和牵引车单元之间的连接。因此，联轴器系统368可以包括连接部分370(例如，用于动力和/或气动连接)。联轴器系统还包括被配置用于与牵引车单元的第五轮的连接的中枢栓372。
示例实施方式
根据该技术的各个方面，例如通过车载驾驶员辅助系统或车辆的其他系统来随时间追踪关于驾驶员的驾驶误差和次优操纵的信息。该信息可以由车辆存储和/或共享给远程系统，例如以执行纠正驾驶动作、警示驾驶员、提供训练、校准车辆感知系统的传感器等。存储或传输信息可能包括匿名化关于获得的信息、车辆和行程的某些细节。作为存储或传输过程的部分的信息可能被加密。
在图4所示的一个示例400中，感知系统(单独或与诸如定位系统和/或导航系统的其他系统结合)可以追踪车辆在道路的车道中的相对位置。如图所示，车辆可能在车道内漂移而不越过车道标记，这将不触发车道偏离警告。瞬时或短期(例如，2-3秒)的评估可能无法识别任何问题。但是，诸如30秒或更多、在多个街区或至少1/4英里上的较长评估可以识别重复或定期漂移。这可能是由于驾驶员不专心、车轮对准(wheel alignment)不良或其他问题造成的。
在图5所示的另一个示例500中，车辆的前向碰撞警告系统不仅可以追踪驾驶员是否已经无法制动，而且还可以追踪驾驶员的制动反应时间是否明显高于正常(标称)驾驶员。该示例示出了三种制动模式：迟的硬制动；重复制动；以及理想(标称)制动。迟的硬制动可能是由于不专心、驾驶员视场中的障碍物、车辆非预期侧滑(swerving)到车道或闯过停止标志等造成的。这里，系统可以评估各种因素。例如，制动是否超过了用于开始制动的标称时间阈值？施加了多少制动力(减速)？制动是平滑(连续)还是急促(断断续续类型的制动)？来自感知系统的另外的细节可能提供关于是否有障碍物或另一个车辆的非预期动作的信息。与上述情形类似，瞬时或短期评估可以基于非常小的数据集做出驾驶员的行为是(或不是)异常的确定。在长期或更远距离上的评估可以识别驾驶员行为的模式。
在图6所示的又一个示例600中，车载系统追踪驾驶速度。可以相对于道路类型(例如，高速公路与地面街道)、交通量、可能导致太阳眩光或照明不良的一天中的时间、对交通信号和标志的检测以及其他因素来评估随着时间的对车辆的速度的追踪(速度简档)。
对于这些和其他驾驶情形，车载系统采用状态追踪和行为分析来确定驾驶员是否在可许可驾驶行为的某个范围(或其他度量)内操作。这可能指示驾驶员的动作由于短期状况(例如，醉酒、昏睡、不专心)或其他因素(例如，经验有限的新驾驶员、第一次使用特定车辆(诸如租借的小汽车)、天气等)而造成异常。
状态追踪和行为分析方法可以创建(或接收)预期行为模型。可以在给定时间帧或行驶的距离中的一者或两者上追踪异常行为的数量和/或类型。例如，在选择的距离(例如，4英里的一段道路)或时间(例如，在5分钟的时间跨度期间)内，驾驶员可能有2次车道偏离，以及在车道内摆动的3个实例。或者，可替代地，可以在整个行程上评估驾驶员。行程可以是日常开车上班，或者花费数小时或数天的更长的行程，诸如驾驶公共汽车路线或长途货物递送。此外，评估可以是定期的，诸如每周或每月。
确定这些事件发生是分析中的一个因素。可以对个体动作和总体驾驶操作进行排名和/或与标称驾驶员行为模型进行比较。该模型可以是基于许多驾驶员的聚合、匿名化驾驶信息的通用模型。或者，可替代地，模型可以特定于特定驾驶员，例如基于他们过去的驾驶历史。
在一个示例中，一天中的时间是模型的因素，例如，因为夜间既可能增加某些损害的可能性，还可能降低驾驶员的可见度。天气条件是影响可见度的另一个因素。驾驶员年龄或经验是另外的因素。此外，还可以评估一年中的时间(季节)、地理(例如，多山的与平坦的)、道路类型(例如，蜿蜒的与笔直的、窄车道与宽车道)和其他信息。这样的因素的任何组合可以被结合到标称行为模型或驾驶员特定的行为模型中。作为示例，可以为行车间距、制动反应时间、速度简档或车道内的漂移量分配硬限制、分数、概率分布等，这些可以用来评估驾驶员在一定时间或距离内的行为是否被认为是异常的。
行为分析还可以考虑另外的信息，诸如车辆使用的传感器和其他装备的类型。例如，一种类型的传感器(例如，雷达)可能具有大约几米的准确度，而另一种类型的传感器(例如，激光雷达或光学相机)可能具有大约几厘米或几毫米的准确度。给定传感器可能具有有限的视场(FOV)。这里，如果传感器具有米级的准确度，则车载感知系统可能无法在可接受的确定性程度内确定驾驶员在车道内摆动。可替代地，传感器可能有盲点，盲点阻止感知系统在可接受的确定性程度内确定为什么有多个车道偏离或硬制动。作为示例，驾驶员操作或反应越严重(异常)，系统可能越想确定行为的原因。因此，车辆上的传感器的数量、准确度、FOV和/或布置可能也被纳入评估的因素。诸如(例如，对于皮卡车与紧凑型小汽车的)车辆大小、制动距离和可见度的关于车辆本身的信息也可能适用。这样的信息可能对商用车辆(诸如卡车和公共汽车)特别有用。
评估上下文中的动作也可能是相关的，例如通过根据地图数据和感知信息评估驾驶活动。因此，系统可以确定车道内的一些摆动是由于导致车道变窄或相邻路肩的缺失的施工。这可能包括驾驶员辅助系统由于接收的地图或交通信息而意识到施工。它还可能包括驾驶员辅助系统从对感知系统获得的数据的分析获得关于驾驶环境的实时信息，例如从对一个或多个施工车辆、施工设备或标示、施工区的碎片或其他标记(indicia)、或车辆后面存在的尾随者的检测获得关于驾驶环境的实时信息。参见，例如，美国专利第9,937,924号中对施工区的讨论以及美国专利第10,168,706号中对尾随的讨论，其全部公开内容通过引用并入本文。在这些类型的情形下，系统可以不认为摆动是异常的。在车道偏离的情况下，驾驶员的动作可能是由于另一个车辆做出非预期的车道变换或在该驾驶员的车辆的横向或后面靠得太近。鉴于此，对驾驶员行为的评估应该对单个事件稳健。也就是说，存在摆动或硬(或软)制动的孤立情况的、在其他情况下正常的驾驶简档更可能是对道路状况的响应，而每隔几分钟发生一次这样的动作的另一个驾驶简档提示潜在损害。
尽管如此，对于车队驾驶(诸如对于公共汽车驾驶员、递送员或牵引车-拖车驾驶员)，可能期望更长的评估时段。在这些情形下，系统可能在数小时、数天、数周等内聚合对于个体驾驶员的驾驶数据。它还可以聚合(例如在给定的时间段期间(例如，早高峰时间或晚高峰时间)、沿着同一条路线等的)车队中的许多驾驶员的数据。在这样的情况下，可以相对于其他驾驶员的基线来评估新驾驶员，以确定他或她是否以超过阈值操作标准(例如，速度、重复制动、车道变换等)的方式来操作车辆。可以基于此信息提供训练和/或干预。
此外，ADAS或自主驾驶系统的复杂度可能在需要多少上下文来评估驾驶员的动作中起作用。作为示例，对于在有潜在的超车抢道(cut in)、从人行道进入道路的行人的情况下为什么人类驾驶员突然制动，仅依赖减速传感器的级别2类型的ADAS系统可能不具有足够的上下文。这里，ADAS系统将很可能需要在例如几分钟(或几英里)的更长的时间段内追踪偏差，以得到更好的信噪比来使得能够确定动作是否异常。时间范围越长，局部上下文影响越小。例如，时间上孤立(例如，相隔几分钟或几小时)的多个制动事件可以指示异常行为，而无需车载系统评估特定事件为什么发生。
相比之下，更稳健的部分或完全自主的级别3、级别4或级别5的系统可以更好地理解制动事件背后的原因。例如，除了检测快速减速，感知系统(例如，激光雷达、雷达和/或相机传感器)还可以检测相邻车道中的车辆已经开始操纵进入驾驶员的车道，或者行人准备步行离开路缘并进入人行横道。作为示例，做出重复的车道变换或以其他方式摆动进出车流(traffic)的另一个小汽车可能改变驾驶员如何反应。因此，如果驾驶员在处于交通灯处的另一个车辆的后面或附近，他或她可能在交通灯一旦改变后给另一个车辆更多的时间驶离。除非车载系统理解关于另一个车辆的某先验信息，否则这种延迟可能看起来像缓慢的反应。在这些情况下，车载行为预测模型可以提供其他车辆或行人将进入驾驶员的行驶车道或采取其他动作的概率。在这里，更复杂的车载系统可以区分制动或侧滑是与外部环境中的一些其他动因(agent)或事件有关的情况与那些似乎没有清晰原因的情况。在这样的情况下，系统能够确定驾驶员的响应是否落入针对单个事件的动作的预测范围或阈值范围内。
状态追踪和行为分析的一个结果可能是指示驾驶员有多好(或有多差)地执行各种动作或对某些状况做出响应的误差信号或其他类型的变度信号。系统使用传感器信息(例如，相机和/或激光雷达信息)来确定车道内的定位。车辆从车道中心的偏离分类为两种操纵：车道变换和摆动。在一个场景下，车道变换通过从一个车道中心完全转换到另一个车道中心而被分类，而摆动是返回运动起源的车道中心的运动。摆动可以根据运动的严重程度而被分类，例如，基于距车道的中心的横向距离量和/或关于摆动期间的“抖动”量的横向加速度信息而被分类。分类还可以考虑摆动是否超过阈值。可替代地或附加地，更严重的摆动可以比不那么严重的摆动被更重的加权。其他场景可以对其他驾驶动作分类，诸如快速速度改变(例如，多次速度增加至少5-10英里每小时)或硬制动(例如，速度降低10-15英里每小时)。还有，其他场景可以对不动作进行分类，诸如在变换车道时未能使用转弯信号，当传感器检测的道路情形指示应该发生这样的制动时未能启动制动等。
在这些场景中，系统能够维护可以根据行驶的时间和距离进行索引的驾驶日志，其中摆动和其他驾驶动作和/或不动作在驾驶日志中被打上事件(event)的标签。可以通过事件(incident)查询驾驶日志。例如，可以查询给定时间量或给定行驶距离内的摆动次数。该信息可以被存储在车载或远程数据库中。作为示例，可以结合驾驶员特定的行为模型来存储该信息。可以通过诸如驾驶规划器或行为预测模块的车载系统查询该信息。
对于驾驶员动作的长期分析(例如，在数周或数月内)，可以确定驾驶员的某些动作是否有退化，这可能指示要解决其他问题。例如，系统可以评估对于特定动作(例如，制动、车道变换、完全停止后继续行进等)的反应时间是否已经减慢。在长期内，系统还可以寻找周期模式。例如，在商业驾驶情形下，系统可以不仅测量随时间的表现，而且还可以测量在轮班或者白天与黑夜等内的驾驶员表现的简档。
一旦系统已经确定驾驶员的行为是异常的并且超出可许可的动作的阈值或其他范围，车辆就可能采取一个或多个不同的动作。一类动作包括警告驾驶员，例如引导驾驶员投入更多的注意力或靠边停车。这里，可以向驾驶员提供关于单独动作(例如，车道内摆动或硬制动)或关于重复动作(例如，多个车道偏离或在黄灯处未能减速)的可听、视觉和/或触觉的反馈。另一类动作涉及车辆的自主操作。这里，车辆的速度可能会受到限制，或者甚至会随着时间使车辆减速，使其完全停止。可替代地，取决于车辆的自主能力，它可能接管驾驶的部分或全部的自主控制。
再一类动作包括警示其他驾驶员。例如，如图7A-图7B的示例所示，这可以通过打开危险灯(图7A的700)或改变前灯朝向/模式(图7B的710)来进行。其他车辆可以经由V2V通信系统被警示。诸如下面讨论的图8A-图8B中示出的，远程系统和服务(例如，驾驶员辅助、车队管理、执法等)也可以被警示。行为相关信息的日志可以被存储在车辆上或在远程系统中，以用于未来分析、行为模型细化和其他目的。
除了以上几类动作外，状态追踪和行为分析可以用于实时或离线的驾驶员训练。例如，获取的信息可以用于训练新手驾驶员或其他可能需要再训练的驾驶员。这可能经由车内反馈(例如，可听、视觉和/或触觉的反馈)或离线提供给驾驶员的报告来进行。这样的训练可以采用诸如当地驾驶法规的信息。然而，车内训练可能取决于车载驾驶员辅助系统有多高级。例如，级别2类型的部分自主系统可能无法支持这样的训练，但级别3或级别4类型的系统可以在某些手动驾驶操作期间训练驾驶员。
最后，获取的驾驶信息可以用于帮助校准或以其他方式监视车辆系统本身。例如，如果系统检测在车道中重复的向左摆动而不向右摆动，则这可能指示定位传感器(例如，加速度计或陀螺仪)未正确校准，车轮未对准或相机外部参数不再是充分校准的。或者，如果一个制动传感器检测到硬制动但其他制动传感器和/或加速度计未检测到，则这可能指示需要更换制动传感器。在确定问题是由于驾驶动作、传感器故障还是其他问题造成时，驾驶员行为也可以用作另一个信号或决胜条件(tiebreaker)。例如，如果基于雷达的制动系统持续试图让车辆制动或以其他方式减速，但基于相机的系统没有这样做(反之亦然)，则驾驶员的动作可以用于确定哪个传感器可能出现故障。
如上所述，该技术适用于各种类型的车辆，包括乘用小汽车、公共汽车、RV和卡车或其他载货车辆。除了使用驾驶员操作信息来操作车辆之外，该信息还可以被共享给其他车辆，诸如作为车队的部分的车辆。
图8A和图8B中示出了其一个示例。具体地，图8A和图8B分别是示例系统800的示意图和功能图，示例系统800包括经由网络816连接的多个计算设备802、804、806、808和存储系统810。系统800还包括可以分别与图1A-图1B和图1C-图1D中的车辆100和车辆150相同或相似地配置的车辆812和车辆814。车辆812和/或车辆814可以是车队的部分。尽管为简单起见，仅描绘了少量车辆和计算设备，但典型系统可以包括显著更多的车辆和计算设备。
如图8B所示，计算设备802、计算设备804、计算设备806和计算设备808中的每个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以与上述参考图2描述的那些类似地配置。
各种计算设备和车辆可以经由一个或多个网络(诸如网络816)通信。网络816和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙TM、蓝牙LETM、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP、以及上述的各种组合。这样的通信可以由能够向其他计算设备传输数据和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
在一个示例中，计算设备802可以包括具有多个计算设备的一个或多个服务器计算设备(例如，负载平衡服务器群)，服务器计算设备与网络的不同节点交换信息，目的是从其他计算设备接收数据、处理数据和向其他计算设备发送数据并从其接收数据。例如，计算设备802可以包括能够经由网络816与车辆812和/或车辆814的计算设备以及计算设备804、计算设备806和计算设备808通信的一个或多个服务器计算设备。例如，车辆812和/或车辆814可以是可以由服务器计算设备向各种位置派遣的车队的部分。在这方面，计算设备802可以用作派遣服务器计算系统，其可以用于将车辆派遣到不同位置，以便接起和放下乘客或接载和递送货物。此外，服务器计算设备802可以使用网络816来向其他计算设备之一的用户或车辆乘客传输和呈现信息。在这方面，计算设备804、计算设备806和计算设备808可以被认为是客户端计算设备。
如图8A所示，每个客户端计算设备804、806和808可以是旨在供相应用户818使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的诸如智能手表显示器的其他设备)、以及用户输入设备(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
虽然每个客户端计算设备可以包括全尺寸的个人计算设备，但是它们可以可替代地包括能够在诸如互联网的网络上与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备806和客户端计算设备808可以是移动电话或设备，诸如支持无线的PDA、平板PC、可穿戴计算设备(例如，智能手表)或能够经由互联网或其他网络获得信息的上网本。
在一些示例中，客户端计算设备804可以是管理员或操作员用来与被派遣的车辆的驾驶员进行通信的远程辅助工作站。尽管在图8A-图8B中仅示出了单个远程辅助工作站804，但在给定系统中可以包括任何数量的这样的工作站。此外，虽然操作工作站被描述为台式计算机，但操作工作站可以包括各种类型的个人计算设备，诸如膝上型计算机、上网本、平板计算机等。
存储系统810可以是能够存储可由服务器计算设备802访问的信息的任何类型的计算机化存储装置，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、闪存驱动器和/或磁带驱动器。此外，存储系统810可以包括分布式存储系统，其中数据被存储在物理上可以位于相同或不同地理位置的多个不同的存储设备。存储系统810可以如图16A-图16B所示地经由网络816连接到计算设备，和/或可以直接连接到或结合到任何计算设备中。
存储系统810可以存储各种类型的信息。例如，存储系统810还可以存储自主车辆控制软件，该软件被诸如车辆812或车辆814的车辆用来在自主驾驶模式下操作这样的车辆。存储系统810还可以存储驾驶员特定的或标称驾驶模型。模型信息可被按需共享给特定车辆或车队。它可以在获得另外的驾驶信息时被实时更新、定期更新或离线更新。存储系统810还可以包括地图信息、路线信息、车辆812和车辆814的制动和/或加速简档、天气信息等。该信息可以被共享给车辆812和车辆814，例如以诸如在特定驾驶员的实时驾驶期间帮助通过车载计算机系统进行的行为分析。
远程辅助工作站804可以访问存储的信息并使用它来协助单个车辆或车辆的车队的操作。远程辅助可以用来经由车载用户界面直接与驾驶员通信，或经由驾驶员的客户端计算设备间接通信。这里，例如，可以向驾驶员提供关于当前驾驶操作、训练等的信息。
图9示出了根据上述讨论的示例操作方法900。如框902所示，该方法执行对由车辆的驾驶员执行的驾驶动作的状态追踪。在框904，从车辆的感知系统接收传感器信息。在框906，该方法基于对在给定时间帧或行驶的距离中的一者或两者期间的驾驶动作的状态追踪来确定一个或多个异常驾驶动作。在框908，将确定的异常驾驶动作与行为模型进行比较。在框910，基于比较创建变度信号。变度信号指示驾驶员表现相对于行为模型的偏差。在框912，响应于变度信号，从一类或多类动作当中选择动作。并且在框914，执行选择的动作。选择的动作可能包括自主采取纠正驾驶动作或向驾驶员提供关于异常驾驶动作的警示。
除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以对实施例的前述描述应该通过说明的方式理解，而不是通过限制由权利要求所限定的主题理解。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的分句不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例旨在仅说明多种可能实施例之一。此外，不同附图中的相同附图标记可以识别相同或相似的元素。除非本文另有明确指示，否则包括图9中示出的方法的上述过程或其他操作可以以不同的顺序或同时执行。

Claims (20)

1.一种方法，包括：
由一个或多个处理器执行对由车辆的驾驶员执行的驾驶动作的状态追踪；
由一个或多个处理器从车辆的感知系统接收传感器信息；
由一个或多个处理器基于对在给定时间帧或行驶的距离中的一者或两者期间的驾驶动作的状态追踪来确定已经执行了一个或多个异常驾驶动作；
由一个或多个处理器将确定的异常驾驶动作与行为模型进行比较；
由一个或多个处理器基于比较创建变度信号，所述变度信号指示驾驶员表现相对于行为模型的偏差；
由一个或多个处理器响应于变度信号从一类或多类动作当中选择动作；以及
执行选择的动作。
2.如权利要求1所述的方法，其中，所述行为模型是基于来自除了所述车辆的驾驶员之外的多个驾驶员的信息的聚合模型。
3.如权利要求1所述的方法，其中，所述行为模型基于所述车辆的驾驶员的过去驾驶历史而特定于他或她。
4.如权利要求1所述的方法，其中，确定已经执行了所述一个或多个异常驾驶动作包括评估感知系统的若干传感器中的至少一个、感知系统的每个传感器的准确度、传感器视场或车辆周围的传感器的布置。
5.如权利要求1所述的方法，其中，确定已经执行了所述一个或多个异常驾驶动作包括评估车道偏离、在车道内摆动、速度简档、制动简档或转弯简档中的至少一个。
6.如权利要求1所述的方法，其中，确定已经执行了所述一个或多个异常驾驶动作包括将对驾驶员动作的状态追踪与地图信息和接收的传感器信息中的至少一个进行比较。
7.如权利要求1所述的方法，其中，所述一类或多类动作包括警告驾驶员、车辆的自主操作或警示其他车辆中的至少一个。
8.如权利要求1所述的方法，还包括基于状态追踪执行感知系统的一个或多个传感器的校准。
9.如权利要求1所述的方法，其中，执行所述选择的动作包括自主执行纠正驾驶动作或向驾驶员提供关于确定的异常驾驶动作的警示中的至少一个。
10.一种用于车辆的控制系统，所述控制系统包括：
存储器，被配置为存储行为模型；以及
一个或多个处理器，可操作地耦合到存储器，所述一个或多个处理器被配置为：
执行对由车辆的驾驶员执行的驾驶动作的状态追踪；
从车辆的感知系统接收传感器信息；
基于对在给定时间帧或行驶的距离中的一者或两者期间的驾驶动作的状态追踪来确定已经执行了一个或多个异常驾驶动作；
将确定的异常驾驶动作与行为模型进行比较；
基于比较创建变度信号，所述变度信号指示驾驶员表现相对于行为模型的偏差；
响应于变度信号从一类或多类动作当中选择动作；以及
执行选择的动作。
11.如权利要求10所述的控制系统，其中，所述行为模型是基于来自除了所述车辆的驾驶员之外的多个驾驶员的信息的聚合模型。
12.如权利要求10所述的控制系统，其中，所述行为模型基于所述车辆的驾驶员的过去驾驶历史而特定于他或她。
13.如权利要求10所述的控制系统，其中，确定已经执行了所述一个或多个异常驾驶动作包括评估感知系统的若干传感器中的至少一个、感知系统的每个传感器的准确度、传感器视场或车辆周围的传感器的布置。
14.如权利要求10所述的控制系统，其中，确定已经执行了所述一个或多个异常驾驶动作包括评估车道偏离、在车道内摆动、速度简档、制动简档或转弯简档中的至少一个。
15.如权利要求10所述的控制系统，其中，确定已经执行了所述一个或多个异常驾驶动作包括将对驾驶员动作的状态追踪与地图信息和接收的传感器信息中的至少一个进行比较。
16.如权利要求10所述的控制系统，其中，所述一类或多类动作包括警告驾驶员、车辆的自主操作或警示其他车辆中的至少一个。
17.如权利要求10所述的控制系统，其中，所述系统还被配置为基于状态追踪执行感知系统的一个或多个传感器的校准。
18.如权利要求10所述的控制系统，其中，执行所述选择的动作包括自主执行纠正驾驶动作或向驾驶员提供关于确定的异常驾驶动作的警示中的至少一个。
19.如权利要求10所述的控制系统，还包括感知系统。
20.一种被配置为当在部分自主驾驶模式下操作的同时评估驾驶员的异常驾驶动作的车辆，所述车辆包括如权利要求10所述的控制系统、感知系统和可操作地耦合到所述控制系统的驾驶系统。
CN202080072775.3A 2019-10-15 2020-10-13 使用驾驶员辅助来检测和解决异常驾驶员行为 Pending CN114555443A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962915134P 2019-10-15 2019-10-15
US62/915,134 2019-10-15
US17/065,722 2020-10-08
US17/065,722 US12005906B2 (en) 2019-10-15 2020-10-08 Using driver assistance to detect and address aberrant driver behavior
PCT/US2020/055373 WO2021076492A1 (en) 2019-10-15 2020-10-13 Using driver assistance to detect and address aberrant driver behavior

Publications (1)

Publication Number Publication Date
CN114555443A true CN114555443A (zh) 2022-05-27

Family

ID=75382480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080072775.3A Pending CN114555443A (zh) 2019-10-15 2020-10-13 使用驾驶员辅助来检测和解决异常驾驶员行为

Country Status (6)

Country Link
US (1) US12005906B2 (zh)
EP (1) EP4021775A4 (zh)
JP (1) JP2022552609A (zh)
KR (1) KR20220054429A (zh)
CN (1) CN114555443A (zh)
WO (1) WO2021076492A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463720B1 (ko) * 2017-12-18 2022-11-07 현대자동차주식회사 차량의 경로 생성 시스템 및 방법
DE102020102304A1 (de) * 2020-01-30 2021-08-05 Webasto SE Dachmodul mit Dachhaut
US11613271B2 (en) * 2020-08-18 2023-03-28 Allstate Insurance Company Driver behavior tracking and prediction
US20220230482A1 (en) * 2021-01-19 2022-07-21 Anatera Inc Rating system for driver performance using passenger data
US11490234B2 (en) * 2021-02-17 2022-11-01 Autotalks Ltd. Cooperative ADAS and cooperative safety systems and methods using V2X communications
US20220379900A1 (en) * 2021-05-13 2022-12-01 Bendix Commercial Vehicle Systems Llc Online Driver Delay and Frequency Response Model
CN113821010B (zh) * 2021-08-11 2023-03-31 安途智行(北京)科技有限公司 自动驾驶车辆路测的监控方法
DE102021212049A1 (de) 2021-10-26 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Trainieren eines Fahrverhaltens eines Fahrers eines motorisierten Zweirades
US11654904B1 (en) * 2021-12-17 2023-05-23 International Business Machines Corporation Vehicular traffic adverse event monitoring mechanism
US20220111865A1 (en) * 2021-12-23 2022-04-14 Intel Corporation Driver scoring system and method using optimum path deviation
USD1014398S1 (en) 2021-12-23 2024-02-13 Waymo Llc Vehicle
USD1016636S1 (en) 2021-12-23 2024-03-05 Waymo Llc Sensor assembly
US20230339490A1 (en) * 2022-04-25 2023-10-26 Toyota Research Institute, Inc. Using feedback for mental modeling of vehicle surroundings
CN115107786B (zh) * 2022-07-04 2023-06-16 广州市恒众车联网科技股份有限公司 一种用于智能汽车的驾驶行为纠正系统及方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890062B2 (ja) * 2003-05-16 2007-03-07 富士通株式会社 警報システム，警報制御装置，及び警報制御プログラム
JP5158677B2 (ja) 2007-07-13 2013-03-06 公立大学法人大阪府立大学 ドライバ特性検出装置
WO2010099416A1 (en) 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
KR101405679B1 (ko) 2011-10-11 2014-06-13 현대자동차주식회사 차량 위치 정보 기반 비정상 운전 판정 및 경보 시스템
US8838321B1 (en) 2012-11-15 2014-09-16 Google Inc. Modifying a vehicle state based on the presence of a special-purpose vehicle
EP2778007B1 (en) 2013-03-12 2022-09-07 INRIA - Institut National de Recherche en Informatique et en Automatique Method and system to assess abnormal driving behaviour of vehicles travelling on road
US8876535B2 (en) 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
US8954340B2 (en) 2013-03-15 2015-02-10 State Farm Mutual Automobile Insurance Company Risk evaluation based on vehicle operator behavior
US8818681B1 (en) 2013-07-24 2014-08-26 Google Inc. Detecting and responding to tailgaters
US20150298654A1 (en) * 2013-08-19 2015-10-22 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
US9153116B2 (en) * 2013-09-09 2015-10-06 International Business Machines Corporation Real-time vehicle driver performance monitoring
WO2015081335A2 (en) 2013-11-29 2015-06-04 Ims Solutions Inc. Advanced context-based driver scoring
KR20150066308A (ko) 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
EP2922033B1 (en) * 2014-03-18 2018-11-21 Volvo Car Corporation A vehicle sensor diagnosis system and method and a vehicle comprising such a system
CN105313898B (zh) * 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
US10198772B2 (en) 2015-01-14 2019-02-05 Tata Consultancy Services Limited Driver assessment and recommendation system in a vehicle
US9993191B2 (en) 2015-12-29 2018-06-12 Thunder Power New Energy Vehicle Development Company Limited Onboard system for mitigating distraction risk
US10007854B2 (en) 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US10209708B2 (en) * 2016-07-28 2019-02-19 Lytx, Inc. Determining driver engagement with autonomous vehicle
US10249194B2 (en) * 2016-08-30 2019-04-02 International Business Machines Corporation Modifying behavior of autonomous vehicle based on advanced predicted behavior analysis of nearby drivers
US20180154903A1 (en) 2016-09-20 2018-06-07 Faraday&Future Inc. Attention monitoring method and system for autonomous vehicles
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10282998B2 (en) * 2017-03-17 2019-05-07 Denso International America, Inc. Vehicle system and vehicle controller for controlling vehicle
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
KR102400555B1 (ko) * 2017-09-04 2022-05-20 삼성전자주식회사 주행 차량을 제어하는 방법 및 장치
CN107826118B (zh) 2017-11-01 2019-08-30 南京阿尔特交通科技有限公司 一种判别异常驾驶行为的方法及装置
US11048832B2 (en) * 2018-01-12 2021-06-29 Intel Corporation Simulated vehicle operation modeling with real vehicle profiles
KR102088428B1 (ko) 2018-03-22 2020-04-24 슈어소프트테크주식회사 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템
KR102529392B1 (ko) * 2018-11-19 2023-05-08 현대자동차 주식회사 전방 충돌 방지 보조 성능 검사 시스템 및 그 방법
US20200207359A1 (en) * 2018-12-27 2020-07-02 Southern Taiwan University Of Science And Technology Smart driving management system and method
US20210006623A1 (en) * 2019-07-01 2021-01-07 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
US20210024058A1 (en) * 2019-07-25 2021-01-28 Cambridge Mobile Telematics Inc. Evaluating the safety performance of vehicles
US10913464B1 (en) * 2019-10-11 2021-02-09 GM Global Technology Operations LLC Intelligent escalation strategy for autonomous vehicle

Also Published As

Publication number Publication date
KR20220054429A (ko) 2022-05-02
US20210107494A1 (en) 2021-04-15
EP4021775A1 (en) 2022-07-06
US12005906B2 (en) 2024-06-11
WO2021076492A1 (en) 2021-04-22
EP4021775A4 (en) 2023-09-06
JP2022552609A (ja) 2022-12-19

Similar Documents

Publication Publication Date Title
US12005906B2 (en) Using driver assistance to detect and address aberrant driver behavior
US11878683B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
US11650603B2 (en) Detecting general road weather conditions
JP6580531B2 (ja) 自律走行の適用および解除
US11866001B1 (en) Safety considerations for self-driving vehicles
US20220155784A1 (en) Detection of Anomalous Trailer Behavior
US10940851B2 (en) Determining wheel slippage on self driving vehicle
EP3838702A1 (en) Prevention, detection and handling of tire blowouts on autonomous trucks
US20240085917A1 (en) Continuing Lane Driving Prediction
US20210390225A1 (en) Realism in log-based simulations
US11851092B1 (en) Positional gaps for driver controllability
US20230382380A1 (en) Systems and methods for vehicular control while following a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination