CN113449952A - 自动估计驾驶员的技能水平和可信度水平 - Google Patents
自动估计驾驶员的技能水平和可信度水平 Download PDFInfo
- Publication number
- CN113449952A CN113449952A CN202110308426.3A CN202110308426A CN113449952A CN 113449952 A CN113449952 A CN 113449952A CN 202110308426 A CN202110308426 A CN 202110308426A CN 113449952 A CN113449952 A CN 113449952A
- Authority
- CN
- China
- Prior art keywords
- driver
- confidence level
- vehicle
- skill
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012512 characterization method Methods 0.000 claims abstract description 29
- 230000001766 physiological effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 50
- 230000008451 emotion Effects 0.000 claims description 45
- 230000001149 cognitive effect Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000007177 brain activity Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 3
- 231100000430 skin reaction Toxicity 0.000 claims description 3
- 238000007796 conventional method Methods 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 8
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 8
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004043 responsiveness Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004883 computer application Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identical check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
- B60W2050/0029—Mathematical model of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
- B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/10—Buses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/17—Construction vehicles, e.g. graders, excavators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/36—Cycles; Motorcycles; Scooters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/06—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/15—Road slope
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/10—Road Vehicles
- B60Y2200/11—Passenger cars; Automobiles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/10—Road Vehicles
- B60Y2200/12—Motorcycles, Trikes; Quads; Scooters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/10—Road Vehicles
- B60Y2200/14—Trucks; Load vehicles, Busses
- B60Y2200/143—Busses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/40—Special vehicles
- B60Y2200/41—Construction vehicles, e.g. graders, excavators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/40—Special vehicles
- B60Y2200/46—Arctic-/Extraterrestric explorers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/50—Aeroplanes, Helicopters
- B60Y2200/51—Aeroplanes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/90—Vehicles comprising electric prime movers
- B60Y2200/91—Electric vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
Abstract
在各种实施方案中,一种驾驶员感测子系统基于在驾驶员操作交通工具时测量的所述驾驶员的生理属性来计算所述驾驶员的表征。随后,驾驶员评估应用使用可信度水平模型来基于所述驾驶员的所述表征估计与所述驾驶员相关联的可信度水平。然后,所述驾驶员评估应用使驾驶员辅助应用执行基于所述可信度水平并且修改所述交通工具的至少一个功能的操作。有利地,通过使所述驾驶员辅助应用能够考虑所述驾驶员的所述可信度水平,所述驾驶员评估应用可相对于用于实现不考虑所述驾驶员的所述可信度水平的驾驶员辅助应用的常规技术来提高驾驶安全性。
Description
技术领域
各种实施方案整体涉及计算机科学和汽车系统,并且更具体地涉及自动估计驾驶员的技能水平和可信度水平。
背景技术
高级驾驶员辅助系统(“ADAS”)旨在提高驾驶安全性并改善驾驶员的整体驾驶体验。典型的ADAS包括一个或多个面向外的传感器、一个或多个交通工具传感器、交通工具观察子系统、一个或多个驾驶员辅助应用以及用于交通工具的一个或多个控制机制。面向外的传感器、交通工具传感器和交通工具观察子系统通常监视交通工具周围的环境和交通工具本身,以生成交通工具状态数据。驾驶员辅助应用中的每一个通常实施不同的ADAS特征,诸如但不限于防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制或自主停泊。基于交通工具状态数据,给定的驾驶员辅助应用确定是否要更改交通工具的操作以提高驾驶安全性,以及如果是,应该进行什么调整。每个驾驶员辅助应用可经由控制机制中的一个或多个执行各种动作以更改交通工具的操作。例如,驾驶员辅助应用可将制动控制信号传输到致动器,以自动向交通工具应用一系列制动操作,从而降低交通工具的速度。
某些驾驶员辅助应用成功提高了相对于大多数(如果不是全部)驾驶员的驾驶安全性。例如,如果轮的旋转速度与交通工具的速度相差超过预定阈值,则防抱死制动应用可执行制动踏板脉动操作以避免轮抱死。由于防抱死制动应用可单独更改制动压力,并且速度比任何人类驾驶员都快得多,因此防抱死制动应用通常也提高了相对于大多数(如果不是全部)驾驶员的驾驶安全性。
另一方面,某些驾驶员辅助应用成功提高了仅相对于某些类型的驾驶员的驾驶安全性。一个值得注意的示例是驾驶员辅助应用,其设计成实现半自主驾驶操纵。这种类型的驾驶员辅助应用通常会帮助经验不足的驾驶员,因为该应用可导致经验不足的驾驶员要么自己不能执行,要么没有信心自己执行的驾驶操纵的执行。因此,当由经验不足的驾驶员实施时,这种类型的应用可能会提高驾驶安全性。然而,实施半自主驾驶操纵的驾驶员辅助应用可能使更有经验的驾驶员注意力分散和/或感到受挫,且因此当由更有经验的驾驶员实施时,可能会降低驾驶安全性。例如,当交通工具开始漂移出线道时,线道保持辅助应用会向驾驶员生成视觉、可听和/或振动警告。如果驾驶员没有对警告做出响应,则线道保持应用将导致执行确保交通工具停留在线道中的交通工具操作。对于在熟悉的交通工具中沿着众所周知的路线驾驶的熟练驾驶员而言,典型线道保持应用生成的警告可能会分散驾驶员的注意力,并且由该应用施加的相关自动驾驶辅助可能是不必要和不期望的。此外,驾驶员在操作交通工具时禁用线道保持应用的任何尝试都可能导致驾驶员无法专注于主要驾驶任务。
如前所述,本领域需要的是在交通工具中实施驾驶员辅助应用的更有效的技术。
发明内容
一个实施方案阐述了一种用于经由至少一个驾驶员辅助应用修改与交通工具相关联的功能的计算机实现的方法。该方法包括:在驾驶员操作交通工具时,基于已测量的驾驶员的至少一个生理属性来计算驾驶员的第一表征;使用可信度水平模型来基于第一表征估计与驾驶员相关联的第一可信度水平;以及致使执行基于第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
所公开的技术相对于现有技术的至少一个技术优势在于,所公开的技术使驾驶员辅助应用能够在确定需要采取哪些步骤(如果有的话)来提高驾驶安全性时考虑驾驶员的技能水平和可信度水平两者。具体地,实时或近乎实时地自动估计驾驶员的可信度水平允许给定的驾驶员辅助应用调整交通工具的操作以补充驾驶员在当前驾驶情况下的能力。因此,相对于不考虑驾驶员的技能水平和可信度水平的现有技术,对于所公开的技术,驾驶安全性可在更大范围的驾驶员中得到改进。这些技术优势提供相对于现有技术方法的一个或多个技术改进。
附图说明
为了能够详细理解各种实施方案的上述特征的方式,可通过参考各种实施方案来对以上简要概述的发明构思进行更具体的描述,其中一些实施方案在附图中示出。然而,应当注意,附图仅示出了本发明构思的典型实施方案,且因此不应被认为以任何方式限制范围,并且还存在其他等效的实施方案。
图1是配置为实现各种实施方案的一个或多个方面的系统的概念图;
图2是根据各种实施方案的图1的驾驶员评估应用的更详细的图示;
图3是根据各种实施方案的用于利用驾驶员技能水平和驾驶员可信度水平评估来增强一个或多个驾驶员辅助应用的方法步骤的流程图。
具体实施方式
在以下描述中,阐述了许多具体细节,以提供对各种实施方案的更全面的理解。然而,对于本领域的技术人员将明显的是,可在没有这些具体细节中的一个或多个的情况下实践本发明构思。
系统概述
图1是配置为实现各种实施方案的一个或多个方面的系统100的概念图。系统100包括但不限于计算实例110、交通工具102和驾驶员感测子系统140。在替代实施方案中并且如使用虚线框所描绘,系统100还包括但不限于交通工具观察子系统150。为了说明的目的,类似对象的多个实例以标识该对象的参考字母数字字符和需要时标识实例的括号中的字母数字字符来表示。
在替代实施方案中,系统100可以包括以任意组合的任意数量的计算实例110、任意数量的交通工具102以及任意数量的附加部件(例如,应用、子系统、模块等)。系统100的任意数量的部件可分布在多个地理位置上,或者在以任意组合的一个或多个云计算环境(即,封装的共享资源、软件、数据等)中实现。
如图所示,计算实例110中的每一个均包括但不限于处理器112和存储器116。处理器112可以是能够执行指令的任何指令执行系统、装置或设备。例如,处理器112可包括中央处理单元(“CPU”)、图形处理单元(“GPU”)、控制器、微控制器、状态机或它们的任意组合。存储器116存储供计算实例110的处理器112使用的内容,诸如软件应用和数据。在替代实施方案中,任意数量的计算实例110中的每一个均可包括以任意组合的任意数量的处理器112和任意数量的存储器116。具体地,任意数量的计算实例110(包括一个计算实例)可以任何技术上可行的方式提供多处理环境。
存储器116可以是易于获得的存储器中的一个或多个,诸如随机存取存储器(“RAM”)、只读存储器(“ROM”)、软盘、硬盘或任何其他形式的本地或远程数字存储装置。在一些实施方案中,存储装置(未示出)可补充或替换存储器116。该存储装置可包括处理器112可访问的任意数量和类型的外部存储器。例如但不限于,该存储装置可包括安全数字卡、外部闪存存储器、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述各项的任意合适组合。
计算实例110中的每一个均被配置为实现一个或多个软件应用或软件应用的子系统。仅出于说明目的,每个软件应用均被描绘为驻留在单个计算实例110的存储器116中并在单个计算实例110的处理器112上执行。然而,在替代实施方案中,每个软件应用的功能可分布在任意数量的其他软件应用上,以任意组合,所述其他软件应用驻留在任意数量的计算实例110的存储器116中并且在任意数量的计算实例110的处理器112上执行。此外,可将任意数量的软件应用或子系统的功能整合到单个软件应用或子系统中。
交通工具102可以是至少部分地由人类驾驶员104引导的任何类型的基于地面或基于非地面的机器。例如,交通工具102尤其可以是汽车、摩托车、运动型多用途交通工具、卡车、公共汽车、全地形交通工具、雪地摩托、商用建筑机器(例如,起重机、挖掘机等)、飞机、直升机或船。此外,交通工具102可以是出租车、共乘交通工具(诸如Uber交通工具、Lyft交通工具)、潜艇、电动垂直起降交通工具、宇宙飞船等。
如图所示,交通工具102包括但不限于仪表组122、头部单元124、任意数量的面向外的传感器126、任意数量的交通工具传感器128、驾驶员104以及任意数量的占有者传感器130。另外,交通工具102可包括使驾驶员104能够执行主要驾驶任务的任意数量和类型的交通工具部件,以及使驾驶员104和/或其他乘客能够执行次要任务的任意数量和类型的交通工具部件。实现主要驾驶任务的交通工具部件的示例包括但不限于制动器、动力传动系统、变速器和转向系统。使驾驶员104和乘客能够执行次要任务的交通工具部件的示例包括但不限于收音机、温度控制系统、导航系统、车载互联网系统等。
仪表组122和头部单元124使驾驶员104能够监视和/或修改交通工具102的一个或多个功能。如本文所提及的,交通工具102的功能包括但不限于与驾驶交通工具102相关联的交通工具102的操作以及与任意数量的次要任务相关联的任何类型的动作。交通工具102的功能的示例包括但不限于交通工具102的速度、交通工具102的方向、在交通工具102内的任意数量的视觉显示器、听觉显示器和/或触觉显示器上输出的信息等。交通工具102的功能在本文中也称为“交通工具功能”。在替代实施方案中,交通工具102可包括任意数量的附加部件,作为使驾驶员104能够监视和/或修改交通工具102的功能的仪表组122和头部单元124的替代或补充。例如,在一些实施方案中,交通工具102可包括后视相机。
仪表组122包括但不限于任意数量和类型的模拟部件以及任意数量和类型的数字部件,所述部件聚集并显示来自交通工具102的各种部件的数据。例如,在一些实施方案中,仪表组122包括但不限于模拟速度计、数字仪表板和执行行程计算机应用的计算实例110。数字仪表板可显示与交通工具102有关的任意数量和类型的数据,诸如燃料水平、内部温度、外部温度和行驶距离。行程计算机应用可记录并显示与交通工具102有关的任意数量的统计信息。例如,行程计算机应用可记录并显示平均速度、平均行驶距离、平均燃料消耗、估计范围等。
头部单元124使驾驶员104能够有效地执行主要驾驶任务和某些次要任务两者。例如,在一些实施方案中,头部单元124包括但不限于到信息娱乐系统和导航系统的硬件接口。在一些实施方案中,硬件接口包括但不限于触摸屏以及任意数量和组合的输入机制、输出机制和控制机制(例如,按钮、滑块等)。例如但不限于,硬件接口可包括用于免提呼叫和音频流传输的内置蓝牙、通用串行总线(“USB”)连接、语音识别、后视相机输入、用于任意数量和类型的显示器的视频输出以及任意数量的音频输出。一般来讲,任意数量的传感器、显示器、接收器、发射器等可集成到头部单元124中,或者可在头部单元124的外部实现。外部设备可以任何技术上可行的方式与头部单元124通信。
在驾驶员104操作交通工具102时,面向外的传感器126和交通工具传感器128分别监视交通工具102周围的区域和交通工具102本身。交通工具观察子系统150处理从面向外的传感器126和交通工具传感器128所接收的信号,以生成交通工具状态数据134。如图所示,交通工具观察子系统150包括但不限于外部场景模块152、交通工具记录模块154和驾驶员交通工具输入模块156。
外部场景模块152处理从任意数量的面向外的传感器126(例如,安装在交通工具102上的面向前方的相机、光探测和测距(“LIDAR”)传感器等)所接收的传感器信号,以生成包括在交通工具状态数据134中的环境数据(未示出)。外部场景模块152可以任何技术上可行的方式对传感器信号执行任意数量和类型的操作,以生成任意数量和类型的环境数据。例如,在一些实施方案中,外部场景模块152包括但不限于分割和分类机器学习模型。外部场景模块152将经由传感器信号所接收的外部场景图像输入到分割和分类模型中。作为响应,分割和分类模型对外部场景图像中的区域进行分割,将区域分类为各类型(例如,道路、交通工具、道路标志、行人等),跟踪分类区域随时间的移动,并输出跟踪数据(未示出)。当分割和分类模型生成跟踪数据时,外部场景模块152将跟踪数据添加到环境数据。
交通工具记录模块154生成包括在交通工具状态数据134中的交通工具遥测数据(未示出)。交通工具遥测数据指定交通工具102的特性,诸如速度、横向加速度、发动机每分钟转数(“RPM”)、电池充电状态等。驾驶员交通工具输入模块156生成包括在交通工具状态数据134中的驾驶员输入数据(未示出)。驾驶员输入数据指定由驾驶员104确定的输入,诸如当前方向盘角度、加速踏板位置、制动踏板位置等。
外部场景模块152、交通工具记录模块154和驾驶员交通工具输入模块156中的每一个连续且自动地操作。因此,交通工具观察子系统150实时更新交通工具状态数据134。在替代实施方案中,包括在交通工具观察子系统150中的任意数量的部件可基于任何类型的触发(例如,每十秒)生成交通工具状态数据134的对应部分,并且每个部件可与不同的触发相关联。
为了提高驾驶安全性并改善驾驶员104的整体驾驶体验,交通工具102经由在本文称为“驾驶员辅助应用”(未示出)的任意数量的软件应用来实现任意数量的ADAS特征。如本文所用,“提高驾驶安全性”对应于减少交通工具102直接或间接对人、动物和/或物体造成伤害的可能性和/或降低所造成的任何伤害的严重性。可被交通工具102伤害的某些类型的人可包括但不限于驾驶员104、交通工具102的乘客、其他交通工具的驾驶员和乘客、行人、骑自行车的人等。可被交通工具102伤害的某些类型的物体可包括但不限于交通工具102、其他交通工具、灯杆、房屋等。ADAS特征的一些示例包括但不限于防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制、自主停泊等。
在一些实施方案中,任意数量的驾驶员辅助应用可驻留并执行于包括在头部单元124、仪表组122和/或交通工具102的其他部件中的计算实例110上。在相同或其他实施方案中,任意数量的驾驶员辅助应用可驻留并执行于位于交通工具102外部的计算实例110上,并且可以任何技术上可行的方式与包括在交通工具102中的部件进行通信。每个驾驶员辅助应用可经由与交通工具102相关联的任意数量的控制机制执行任意数量的动作,以改变交通工具102的任意数量的功能。例如,驾驶员辅助应用可将制动控制信号传输到控制制动器的致动器。在另一示例中,驾驶员辅助应用可经由与头部单元124相关联的信息娱乐应用编程接口(“API”)来更改在触摸屏上显示的数据。
如本文先前所述,在一种提高驾驶安全性的常规方法中,常规驾驶员辅助应用接收交通工具状态数据134。基于交通工具状态数据134,每个常规驾驶员辅助应用确定是否要更改交通工具102的操作以提高驾驶安全性,以及如果是,应该进行什么调整。这种方法的一个缺点是,一些常规驾驶员辅助应用成功提高了仅相对于某些类型的驾驶员的驾驶安全性,并且当由其他类型的驾驶员实施时,实际上可能降低驾驶安全性。例如,实施半自主驾驶操纵的常规驾驶员辅助应用可导致经验不足的驾驶员要么自己不能执行,要么没有信心自己执行的驾驶操纵的执行。然而,实施半自主驾驶操纵的常规驾驶员辅助应用可能使更有经验的驾驶员注意力分散和/或感到受挫,且因此当由更有经验的驾驶员实施时,可能会降低驾驶安全性。
为各个驾驶员定制ADAS特征
为了使驾驶员辅助应用能够更有效和可靠地提高驾驶安全性,系统100包括但不限于占有者传感器130、驾驶员感测子系统140、驾驶员评估应用160和驾驶员监视系统(“DMS”)API 192。占有者传感器130可包括任意数量和类型的设备,所述设备实时检测并中继与驾驶员104以及任选地在交通工具102中的任意数量的其他乘客相关联的生理数据。例如,占有者传感器130可包括但不限于任意数量和组合的红外相机、可见光相机、深度传感器、射频(“RF”)雷达传感器、LIDAR传感器、脑电图传感器、心率传感器、呼吸率传感器、脉搏血氧仪、皮肤电反应传感器、传声器和传声器阵列。占有者传感器130可分布在各个位置。例如,在一些实施方案中,占有者传感器130中的每一个附接到交通工具102(例如,内置在方向盘、头枕等中)或由交通工具102的乘员佩戴。
当驾驶员104操作交通工具时,驾驶员感测子系统140从占有者传感器130获取传感器数据并处理该传感器数据以生成驾驶员状态数据132。如图所示,驾驶员感测子系统140包括但不限于驾驶员识别模块142、认知负荷模块144和视觉情绪分类器146。尽管未示出,但驾驶员状态数据132包括但不限于驾驶员104的身份分类、认知负荷分类和视觉情绪分类。
驾驶员识别模块142以任何技术上可行的方式基于从占有者传感器130所接收的任意数量和类型的传感器数据来生成身份分类。身份分类可以任何技术上可行的方式指定一个人、一群人或识别驾驶员104或驾驶员104所属的组(例如,Uber驾驶员)的任何特性。在一些实施方案中,驾驶员识别模块142包括但不限于经训练以估计身份分类的机器学习模型。在其他实施方案中,驾驶员识别模块142实施任意数量和类型的试探法以估计身份分类。
在替代实施方案中,驾驶员识别模块142基于从占有者传感器130所接收的传感器数据连同与驾驶员104和/或交通工具102相关联的附加信息来确定身份分类。例如,在一些替代实施方案中并且如经由虚线箭头所描绘的,驾驶员识别模块142接收由驾驶员交通工具输入模块156生成的驾驶员输入数据。驾驶员识别模块142分析驾驶员输入数据以生成针对驾驶员104的动作的一个或多个行为表征。然后,驾驶员识别模块142基于行为表征连同从占有者传感器130所接收的传感器数据来确定身份分类。
认知负荷模块144基于从占有者传感器130所接收的任意数量和类型的传感器数据来为驾驶员104生成认知负荷分类。如本文所提及的,驾驶员104在给定时间点的认知负荷与对驾驶员104施加的精神活动的总量相关,并且指示驾驶员104集中精力的程度。认知负荷分类可以任何技术上可行的方式并且以任何粒度级别来指定驾驶员104的认知负荷。例如,在一些实施方案中,在任何给定时间的认知负荷分类为低、中或高中的一种。认知负荷模块144可以任何技术上可行的方式生成认知负荷分类。
例如,在一些实施方案中,认知负荷模块144可基于传感器数据来确定认知负荷分类,该传感器数据指定但不限于任意数量的脑活动、心率、皮肤电导、方向盘握力、肌肉活动、皮肤温度/体温等。在相同或其他实施方案中,认知负荷模块144包括但不限于机器学习模型,该机器学习模型被训练以基于驾驶员104的瞳孔的大小和/或反应性水平来估计反映驾驶员104的认知负荷的基于瞳孔的度量。认知负荷模块144可以任何技术上可行的方式测量瞳孔的大小和/或反应性水平。例如,在一些实施方案中,认知负荷模块144可直接基于经由IR相机图像获得的瞳孔信息来测量瞳孔的大小和/或反应性水平。在相同或其他实施方案中,认知负荷模块144可基于可见光相机图像使用深度学习眼睛运动跟踪来间接地测量瞳孔的大小和/或反应性水平。在一些替代实施方案中,认知负荷模块144包括但不限于认知负荷分类器(未示出),该认知负荷分类器基于眼睛运动数据生成认知负荷度量的值和/或压力度量的值。眼睛运动数据可包括但不限于眼睛注视方向和/或眼睛注视数据模式在时间方向上的导数,诸如眼睛扫视和眼睛凝视,和/或眼睛运动数据的任意数量和/或类型的其他导数。
在一些实施方案中,认知负荷模块144可至少部分基于从包括在占有者传感器130中的任意数量的传声器所接收的音频数据来确定认知负荷分类。例如,认知负荷模块144可实现任意数量的算法,所述算法分析音频数据以检测对话情境、对话轮替、声音声调和影响、听觉注意分散等。例如但不限于,认知负荷模块144可检测到驾驶员104正在与乘客交谈、驾驶员104当前正在讲话、驾驶员104的声调指示驾驶员104困倦、另外两名乘客进行第二交谈等等。
视觉情绪分类器146基于从占有者传感器130所接收的任意数量和类型的视觉传感器数据来生成视觉情绪分类。视觉情绪分类指定沿任意数量的情绪维度的驾驶员104经由视觉提示表达的情绪。例如,在一些实施方案中,视觉情绪分类包括但不限于离散情绪分类,所述离散情绪分类指定诸如惊讶、快乐、恐惧、悲伤、愤怒、不信任等情绪。在相同或其他实施方案中,视觉情绪分类包括但不限于二维参数化情绪度量或三维参数化情绪度量的值。例如,视觉情绪分类可包括具有效价维度和唤醒维度的二维参数化情绪度量的值,或者具有效价维度、唤醒维度和主导维度的三维参数化情绪的值。视觉情绪分类器146可以任何技术上可行的方式生成视觉情绪分类。例如,在一些实施方案中,视觉情绪分类器146包括但不限于机器学习模型,该机器学习模型被训练为使用任意数量和/或组合的驾驶员104的面部的可见光相机图像、红外光相机图像和/或热图像来确定视觉情绪分类。
在替代实施方案中,驾驶员感测子系统140可包括但不限于任意数量和类型的软件应用,所述软件应用各自生成包括在驾驶员状态数据132中的驾驶员104的不同表征。例如,在一些替代实施方案中,驾驶员感测子系统140包括听觉情绪分类器148(用虚线框描绘)。听觉情绪分类器148生成包括在驾驶员状态数据132中的听觉情绪分类。听觉情绪分类反映了沿任意数量的情绪维度的由驾驶员104的声音所传达的驾驶员104表达的情绪。在一些实施方案中,听觉情绪分类器148包括但不限于机器学习模型,该机器学习模型被训练为使用驾驶员104的语音来确定听觉情绪分类。在任何给定时间,听觉情绪分类不一定与视觉情绪分类匹配。
驾驶员识别模块142、认知负荷模块144和视觉情绪分类器146中的每一个连续且自动地操作。因此,驾驶员感测子系统140实时更新驾驶员状态数据132。在替代实施方案中,包括在驾驶员感测子系统140中的任意数量的部件可基于任何类型的触发(例如,每十秒)生成驾驶员状态数据132的对应部分,并且每个部件可与不同的触发相关联。
如图所示,驾驶员评估应用160基于驾驶员状态数据132和任意数量(包括零)的附加信息来生成技能水平172和可信度水平182。例如,并且如经由虚线箭头所描绘,驾驶员评估应用160可基于驾驶员状态数据132和交通工具状态数据134两者来生成技能水平172和可信度水平182。在替代实施方案中,驾驶员评估应用160可基于作为驾驶员状态数据132的补充或替代的驾驶员104的任意数量和类型的生理数据来生成技能水平172和可信度水平182。例如,在替代实施方案中,驾驶员评估应用160可基于驾驶员状态数据132和从占有者传感器130中的一个或多个直接所接收的任意数量的传感器数据来生成技能水平172和可信度水平182。
技能水平172是驾驶员104的技能的估计,并且可信度水平182是驾驶员104的可信度的估计。技能水平172和可信度水平182中的每一个可与任何粒度级别上的任意数量的容许值相关联。例如,在一些实施方案中,技能水平172的容许值是低、中和高。在相同或其他实施方案中,可信度水平182的容许值是从1到10的整数,其中1指示不可信,而10指示完全可信。
一般来说,技能水平172估计驾驶员104的总体驾驶能力,并且通常随着时间的推移逐渐增加。例如,当驾驶员104开始学习驾驶时,驾驶员104将具有最低可能的技能水平172。随着驾驶员104获得驾驶经验,技能水平172将逐渐增加。相比之下,可信度水平182估计驾驶员104的信念,即驾驶员104能够在当前驾驶环境中安全地操纵交通工具102,并且因此能够实时更改。例如,如果驾驶员104具有相当的驾驶经验、熟悉交通工具102并且驾驶状况良好,则可信度水平182可能相对较高。在另一示例中,如果交通工具102是出租汽车,那么不管技能水平172如何,可信度水平182都可能相对较低。在又一示例中,如果驾驶员104在不利的驾驶状况(例如,结冰的道路、大雪、道路作业等)下驾驶,则在存在不利的驾驶状况时,可信度水平182可能相对较低。
如图所示,驾驶员评估应用160包括但不限于技能水平分类子系统170和可信度水平分类子系统180。仅出于说明目的,驾驶员评估应用160被描绘为驻留在存储器116(1)中并在计算机实例110(1)的处理器112(1)上执行。在替代实施方案中,本文所述的驾驶员评估应用160的功能可分布在驻留并执行于任意数量的物理位置处的任意数量的计算实例110上的任意数量和类型的软件应用以及任意数量的子系统上。例如,在一些实施方案中,技能水平分类子系统170可驻留并执行在云中。在相同或其他实施方案中,可信度水平分类子系统180可驻留并执行在包括在头部单元124中的计算实例110上。在替代实施方案中,驾驶员评估应用160生成可信度水平182,但不估计驾驶员104的任何技能水平,并且可从系统100中省略技能水平分类子系统170。
在每个驾驶会话开始时,驾驶员评估应用160将技能水平172和可信度水平182设置为默认值。如本文所用,“驾驶会话”是指交通工具102连续运行的时间段。驾驶员评估应用160可以任何技术上可行的方式确定默认值。例如,在一些实施方案中,默认值是最低容许值。随后,技能水平分类子系统170和可信度水平分类子系统180基于驾驶员状态数据132以及任意数量和类型的附加信息来分别生成技能水平172和可信度水平182。
在替代实施方案中,对技能水平分类子系统170和可信度水平分类子系统180的输入可以不同。例如,在一些替代实施方案中,技能水平分类子系统170具有单个输入(例如,身份分类),而可信度水平分类子系统180具有多个输入(例如,认知负荷分类、视觉情绪分类和听觉情绪分类)。在一些替代实施方案中并且如虚线箭头所描绘,对技能水平分类子系统170的输入中的一个是可信度水平182。在相同或其他替代实施方案中并且如另一虚线箭头所描绘,对可信度水平分类子系统180的输入中的一个是技能水平172。
技能水平分类子系统170可实现任意数量和类型的模型,每个模型都实现任意数量和类型的算法以估计技能水平172。例如,在一些实施方案中,技能水平分类子系统170包括但不限于基于云的机器学习模型,其被训练为计算任何驾驶员的技能水平172。在其他实施方案中,技能水平分类子系统170包括但不限于一个或多个机器学习模型,其中训练每个机器学习模型以计算不同驾驶员的技能水平172。结合图2更详细地描述了技能水平分类子系统170的示例,该技能水平分类子系统包括但不限于经训练的机器学习模型。
在其他实施方案中,技能水平分类子系统170可以是实施试探法和/或规则以基于驾驶员状态数据132和任选地交通工具状态数据134和/或可信度水平182来确定技能水平172的模型。例如,在一些实施方案中,技能水平分类子系统170可实现基于驾驶员输入数据来检测不稳定驾驶的试探法以及当试探法检测到不稳定驾驶时将技能水平172设置为低的规则。在相同或其他实施方案中,技能水平分类子系统170可实施在特定驾驶状况下调整技能水平172以与可信度水平182相关的试探法。例如,当可信度水平182为低并且环境数据指示交通量小时,技能水平分类子系统170可降低技能水平172。相比之下,当可信度水平182为高并且环境数据指示交通状况具有挑战性时,技能水平分类子系统170可提高技能水平172。
可信度水平分类子系统180可实施任意数量和类型的模型,每个模型都实施任意数量和类型的算法以估计可信度水平182。例如,在一些实施方案中,可信度水平分类子系统180包括但不限于基于云的机器学习模型,其被训练为计算任何驾驶员的可信度水平182。在其他实施方案中,可信度水平分类子系统180包括但不限于一个或多个机器学习模型,其中训练每个机器学习模型以计算不同驾驶员的可信度水平182。结合图2更详细地描述可信度水平分类子系统180的示例,其包括但不限于经训练的机器学习模型。
在其他实施方案中,可信度水平分类子系统180可以是实施试探法和/或规则以基于驾驶员状态数据132和任选地交通工具状态数据134和/或技能水平172来确定可信度水平182的模型。例如,在一些实施方案中,可信度水平分类子系统180可实施基于驾驶员输入数据来检测不稳定驾驶的试探法以及当该试探法检测到不稳定驾驶时将可信度水平182设置为低的规则。在相同或其他实施方案中,可信度水平分类子系统180可实施基于认知负荷分类和/或视觉情绪分类来检测驾驶员104何时感到不知所措的试探法。可信度水平分类子系统180还可实施在驾驶员104感到不知所措并且驾驶环境数据指示交通量小时降低可信度水平182的规则。
在一些实施方案中,驾驶员评估应用160、技能水平分类子系统170和可信度水平分类子系统180连续且自动地操作。更精确地,每当对技能水平分类子系统170的输入中的至少一个改变时,技能水平分类子系统170就生成新的技能水平172。类似地,每当对可信度水平分类子系统180的输入中的至少一个改变时,可信度水平分类子系统180就生成新的可信度水平182。
在替代实施方案中,任意数量的驾驶员评估应用160、技能水平分类子系统170和可信度水平分类子系统180可被配置为响应于任何类型的相关联的触发而执行而不是连续地执行。例如,在一些替代实施方案中,技能水平分类子系统170在每个驾驶会话开始时执行,以基于身份分类来生成技能水平172,但在驾驶会话的剩余期间不重新执行。在相同或其他替代实施方案中,可信度水平分类子系统180以规则间隔(例如,每十秒)生成新的可信度水平182。
如图所示,驾驶员评估应用160将技能水平172和可信度水平182传输到DMS API192,以使任意数量的驾驶员辅助应用能够访问技能水平172和可信度水平182。在替代实施方案中,驾驶员评估应用160可使任意数量的软件应用(包括任意数量的驾驶员辅助应用)能够以任何技术上可行的方式访问技能水平172和/或可信度水平182。
DMS API 192是到DMS的接口,该DMS包括但不限于占有者传感器130、驾驶员感测子系统140、驾驶员评估应用160和任意数量的驾驶员辅助应用。如图所示,DMS API 192驻留在存储器116(2)中,并在计算实例110(2)的处理器112(2)上执行。在替代实施方案中,DMS API 192可驻留并执行在任何计算实例110上,诸如计算实例110(1)或包括在头部单元124中的计算实例110。
DMS API 192可允许任意数量的驾驶员辅助应用以任何技术上可行的方式来获取技能水平172和可信度水平182。例如,在一些实施方案中,DMS API 192提供来自技能水平分类子系统170和可信度水平分类子系统180的回调,其可由任意数量的驾驶员辅助应用消耗。
在一些替代实施方案中,DMS API 192可使驾驶员104能够以任何技术上可行的方式(例如,经由头部单元124中的硬件接口)来超控技能水平172和/或可信度水平182。如果在任何时候,超控技能水平与由技能水平分类子系统170生成的技能水平172不匹配和/或超控可信度值与由可信度水平分类子系统180生成的可信度水平182不匹配,则DMS API192可发出警告。
有利地,当确定如何提高驾驶安全性时,DMS API 192和/或任意数量的驾驶员辅助应用可考虑驾驶员104的技能水平172和/或可信度水平182。具体地,每个驾驶员辅助应用可实时地修改交通工具102的任意数量的功能,以补充当前驾驶情况下实际驾驶员104的能力。例如,在一些实施方案中,DMS API 192基于技能水平172和/或可信度水平182来确定要启用哪些驾驶员辅助应用。例如,当技能水平172和可信度水平182两者都为高时,DMSAPI 192可禁用自主驾驶应用。
在相同或其他实施方案中,每个驾驶员辅助应用可基于技能水平172和/或可信度水平182单独地调整交通工具102的任意数量的功能。例如,线道保持应用可在技能水平172为高时同时禁用警告和纠正动作,在技能水平172为中时启用警告和禁用纠正动作,并且在技能水平172为低时同时启用警告和纠正动作。在另一示例中,数字仪表板应用可在可信度水平182为低时显示简化的仪表板,在可信度水平182为中时显示常规仪表板,以及在可信度水平为高时,显示包括高级功能的仪表板。在又一示例中,任意数量的驾驶员辅助应用可基于技能水平172和可信度水平182动态地调整自主水平。
在一些实施方案中,任意数量的驾驶员辅助应用可基于技能水平172和/或可信度水平182来实施任意数量的限制。例如,驾驶限制应用可在技能水平172相对较低时锁定驾驶员104和/或基于技能水平172调整发动机功率和操纵。在相同或其他实施方案中,任意数量的驾驶员辅助应用可基于技能水平172和/或可信度水平182来指导驾驶员104。例如,如果技能水平172为低,则教程应用可向驾驶员104传输(例如,显示、发声等)教程消息,直到驾驶员104已经学会如何操作交通工具102以安全地执行主要驾驶任务,以及任选的任意数量的次要任务(例如,操作信息娱乐系统)。在另一示例中,故障排除应用可检测可信度水平182相对较低的原因,并向驾驶员104建议解决方案。
在替代实施方案中,任意数量的软件应用可基于技能水平172和可信度水平182来评估驾驶员104的执行/进度。例如,如果驾驶员104是学生驾驶员,则评估应用可跟踪技能水平172和可信度水平182以帮助教练评估驾驶员104的进度。在另一示例中,如果驾驶员104是青少年,则监视应用可总结技能水平172和/或可信度水平182中的变化,并且在未达到预定阈值时向驾驶员104的父母发送警报。
应当理解的是,本文所示的系统是说明性的,并且变化和修改是可能的。连接拓扑(包括交通工具102、计算实例110、驾驶员感测子系统140、交通工具观察子系统150、驾驶员评估应用160、技能水平分类子系统170、可信度水平分类子系统180和DMS API 192的位置和布置)可根据需要进行修改。在某些实施方案中,可能不存在图1所示的一个或多个部件。例如,在一些替代实施方案中,驾驶员感测子系统140和/或交通工具观察子系统150的任意数量的功能可被包含在驾驶员评估应用160中。
需注意,本文描述的技术是说明性的而非限制性的,并且可在不脱离实施方案的更广泛的精神和范围的情况下进行更改。在不脱离所描述的实施方案和技术的范围和精神的情况下,许多修改和变化对于本领域普通技术人员将是明显的。此外,在各种实施方案中,可实施本文公开的任意数量的技术,同时可以任何技术上可行的方式省略其他技术。
用于估计驾驶员技能水平和可信度水平的机器学习技术
图2是根据各种实施方案的图1的驾驶员评估应用160的更详细的图示。如图所示,驾驶员评估应用160包括但不限于技能水平分类子系统170和可信度水平分类子系统180。驾驶员评估应用160可在任意数量的驾驶会话期间以任何技术上可行的方式执行技能水平分类子系统170和/或可信度水平分类子系统180。例如,在一些实施方案中,驾驶员评估应用160在每个驾驶会话开始时执行技能水平分类子系统170和可信度水平分类子系统180两者,除非驾驶员104发出禁用命令。
如图所示,驾驶员评估应用160将驾驶员状态数据132和交通工具状态数据134路由到技能水平分类子系统170和可信度水平分类子系统180中的每一个。仅出于说明目的,驾驶员状态数据132包括但不限于分别由驾驶员识别模块142、认知负荷模块144、视觉情绪分类器146和听觉情绪分类器148生成的身份分类、认知负荷分类、视觉情绪分类和听觉情绪分类。交通工具状态数据134包括但不限于分别由外部场景模块152、交通工具记录模块154和驾驶员交通工具输入模块156生成的环境数据、交通工具遥测数据和驾驶员输入数据。
在替代实施方案中,驾驶员评估应用160可以任何技术上可行的方式获取与驾驶员104相关联的任意数量和类型的数据(例如,驾驶员状态数据132)和/或与交通工具102相关联的任意数量和类型的数据(例如,交通工具状态数据134)。在相同或其他实施方案中,当驾驶员评估应用160接收与驾驶员104和/或交通工具102相关联的数据时,驾驶员评估应用160将数据的一个子集路由到技能水平分类子系统170并将数据的不同子集路由到可信度水平分类子系统180。
如图所示,技能水平分类子系统170包括但不限于技能特征引擎230和技能水平模型220。技能特征引擎230对身份分类、认知负荷分类、视觉情绪分类、听觉情绪分类、环境数据、交通工具遥测数据和驾驶员输入数据中的每一个执行移动平均操作,以分别生成技能特征240(1)-240(7)。技能特征引擎230在技能时间窗口232上执行移动平均操作,该时间窗口旨在去除噪声并更好地表示驾驶员104的基本技能。由于驾驶员104的基本技能通常在单个驾驶会话期间不改变,因此通常选择技能时间窗口232以跨越多个驾驶会话。例如,并且如斜体所描绘,技能时间窗口232可以是两天。在替代实施方案中,技能特征引擎230可对在任意数量的驾驶会话期间所接收的任意数量和类型的数据执行任意数量和类型的操作,以生成任意数量的技能特征240。
技能水平分类子系统170将技能特征240输入到技能水平模型220中。技能水平模型220是将技能特征240映射到技能水平172的经训练的机器学习模型。在技能水平模型220生成技能水平172之后,技能水平分类子系统170将技能水平172传输到DMS API 192(图2中未示出)。在替代实施方案中,技能水平分类子系统170和/或驾驶员评估应用160可以任何技术上可行的方式向任意数量和类型的软件应用提供技能水平172。
另外,在技能水平模型220生成技能水平172之后,技能水平分类子系统170将新的技能训练数据(未示出)传输到技能模型训练子系统210。技能训练数据可包括但不限于与确定技能水平172有关的任意数量和类型的数据。例如,在一些实施方案中,技能训练数据包括但不限于驾驶员状态数据132、交通工具状态数据134和技能特征240。在替代实施方案中,技能水平分类子系统170可基于任何类型的触发(例如,每小时)将新的技能训练数据传输到技能模型训练子系统210。
如图所示,技能模型训练子系统210包括但不限于技能模型训练数据库212、技能模型训练引擎214和技能水平模型220。技能模型训练数据库212包括但不限于任意数量的技能训练集(未示出)。每个技能训练集包括但不限于技能特征240和针对驾驶员和时间点的不同组合的地面实况技能水平。在驾驶员评估应用160最初执行技能水平分类子系统170之前,技能模型训练子系统210基于初始训练数据的L个桶(未示出)生成初始技能模型训练数据库212,其中L是可能的技能水平172的总数。每个初始训练数据桶包括但不限于在与具有相关联的地面实况技能水平的驾驶员104相关联的驾驶会话期间所收集的驾驶员状态数据132和交通工具状态数据134。技能模型训练子系统210使用技能特征引擎230来基于初始训练数据生成初始技能模型训练数据库212。
然后,技能模型训练子系统210执行技能模型训练引擎214。技能模型训练引擎214基于技能模型训练数据库212实施任意数量和类型的机器学习技术,以训练任意类型的机器学习模型。技能模型训练引擎214输出经训练的机器学习模型输出作为技能水平模型220。随后,技能模型训练子系统210将技能水平模型220传输到与任意数量的交通工具102相关联的任意数量的技能水平分类子系统170。在替代实施方案中,任意数量的技能水平分类子系统170可以任何技术上可行的方式获取技能水平模型220。
当技能模型训练子系统210从技能水平分类子系统170接收新技能训练数据时,技能模型训练子系统210生成新的技能训练集并将新的技能训练集添加到技能模型训练数据库212。技能模型训练子系统210可以任何技术上可行的方式生成新的技能训练集。例如,技能模型训练子系统210可基于在与驾驶员104相关联的多个驾驶会话中获取的驾驶员状态数据132和/或交通工具状态数据134来确定给定驾驶员104的地面实况技能水平。
基于任何类型的触发(例如,每天),技能模型训练子系统210重新执行技能模型训练引擎214。技能模型训练引擎214基于扩展的技能模型训练数据库212重新训练技能水平模型220,以生成新的技能水平模型220。然后,技能模型训练子系统210将新的技能水平模型220传输到任意数量的技能水平分类子系统170。在替代实施方案中,任意数量的技能水平分类子系统170可在任何时间点并且以任何技术上可行的方式获取最新的技能水平模型220。
在替代实施方案中,技能水平模型220可被训练为以任何技术上可行的方式将任意数量和类型的技能特征240映射到技能水平172。例如并且如虚线所描绘,在替代实施方案中,可信度水平182是对技能水平模型220的附加输入。相应地修改了本文描述的技能模型训练子系统210、技能特征引擎230和技能水平分类子系统170。
如图所示,可信度水平分类子系统180包括但不限于可信度特征引擎270和可信度水平模型260。可信度特征引擎270对身份分类、认知负荷分类、视觉情绪分类、听觉情绪分类、环境数据、交通工具遥测数据和驾驶员输入数据中的每一个执行移动平均操作,以分别生成可信度特征280(1)-280(7)。可信度特征引擎270在可信度时间窗口272上执行移动平均操作,该可信度时间窗口旨在去除噪声并更好地表示驾驶员104的基本可信度。由于驾驶员104的基本可信度在单个驾驶会话期间可能会变化很多次,因此选择可信度时间窗口272以便于对交通工具102的功能进行实时调整。例如,并且如斜体所描绘,可信度时间窗口272可以是十秒。在替代实施方案中,可信度特征引擎270可对在任意数量的驾驶会话期间所接收的任意数量和类型的数据执行任意数量和类型的操作,以生成任意数量的可信度特征280。
可信度水平分类子系统180将可信度特征280输入到可信度水平模型260中。可信度水平模型260是将可信度特征280映射到可信度水平182的经训练的机器学习模型。在可信度水平模型260生成可信度水平182之后,可信度水平分类子系统180将可信度水平182传输到DMS API 192(图2中未示出)。在替代实施方案中,可信度水平分类子系统180和/或驾驶员评估应用160可以任何技术上可行的方式向任意数量和类型的软件应用提供可信度水平182。
在可信度水平模型260生成可信度水平182之后,可信度水平分类子系统180还将新的可信度训练数据(未示出)传输到可信度模型训练子系统250。可信度训练数据可包括但不限于与确定可信度水平182有关的任意数量和类型的数据。例如,在一些实施方案中,可信度训练数据包括但不限于驾驶员状态数据132、交通工具状态数据134和可信度特征280。在替代实施方案中,可信度水平分类子系统180可基于任何类型的触发(例如,每小时)将新的可信度训练数据传输到可信度模型训练子系统250。
如图所示,可信度模型训练子系统250包括但不限于可信度模型训练数据库252、可信度模型训练引擎254和可信度水平模型260。可信度模型训练数据库252包括但不限于任意数量的可信度训练集。每个可信度训练集包括但不限于可信度特征280和针对驾驶会话和时间点的不同组合的自报告的可信度水平290。每个自报告的可信度水平290由相关联的驾驶员104分配,并且可以任何技术上可行的方式来收集。在替代实施方案中,可将自报告的可信度水平290替换为可以任何技术上可行的方式确定的地面实况可信度水平,并且相应地修改可信度模型训练子系统250。
在驾驶员评估应用160最初执行可信度水平分类子系统180之前,可信度模型训练子系统250基于初始训练数据(未示出)的C个桶(未示出)生成初始可信度模型训练数据库252,其中C是可能的可信度水平182的总数。每个初始训练数据桶包括但不限于当自报告的可信度水平290与和桶相关联的可信度水平182匹配时在驾驶会话中的各点处收集的驾驶员状态数据132和交通工具状态数据134。可信度模型训练子系统250使用可信度特征引擎270来基于初始训练数据生成可信度模型训练数据库252。
然后,可信度模型训练子系统250执行可信度模型训练引擎254。可信度模型训练引擎254实现任意数量和类型的机器学习技术,以基于可信度模型训练数据库252来训练任何类型的机器学习模型。可信度模型训练引擎254输出经训练的机器学习模型作为可信度水平模型260。然后,可信度模型训练子系统250将可信度水平模型260传输到与任意数量的交通工具102相关联的任意数量的可信度水平分类子系统180。在替代实施方案中,任意数量的可信度水平分类子系统180可以任何技术上可行的方式获取可信度水平模型260。可信度模型训练引擎254在本文中也称为“训练应用254”。
随后,可信度模型训练子系统250从任意数量的可信度水平分类子系统180接收新的可信度训练数据。由于地面实况可信度水平在单个驾驶会话期间可能会变化很多次,因此可信度模型训练子系统250还获取对应于新的可信度训练数据的至少一部分的新的自报告的可信度水平290。对于每个新的自报告的可信度水平290,可信度模型训练子系统250基于自报告的可信度水平290、对应的驾驶员状态数据132和对应的交通工具状态数据134生成新的可信度训练集。然后,可信度模型训练子系统250将新的可信度训练集添加到可信度模型训练数据库252中。
基于任何类型的触发(例如,每两周),可信度模型训练子系统250重新执行可信度模型训练引擎254。可信度模型训练引擎254基于扩展的可信度模型训练数据库252来重新训练可信度水平模型260,以生成更新的可信度水平模型260。然后,可信度模型训练子系统250将更新的可信度水平模型260传输到任意数量的可信度水平分类子系统180。在替代实施方案中,任意数量的可信度水平分类子系统180可在任何时间和以任何技术上可行的方式获取最新的可信度水平模型260。
在替代实施方案中,可训练可信度水平模型260以任何技术上可行的方式将任意数量和类型的可信度特征280映射到可信度水平182。例如,并且如虚线箭头所描绘,在一些替代实施方案中,技能水平172是对可信度水平模型260的附加输入。相应地修改本文描述的可信度模型训练子系统250、可信度特征引擎270和可信度水平分类子系统180。
在一些替代实施方案中,技能水平分类子系统170可对任意数量的驾驶员状态数据132和任选地任意数量的交通工具状态数据134和/或可信度水平182执行任意数量(包括零)的预处理操作以生成技能输入集。然后,技能水平分类子系统170可将任何类型的模型应用于技能输入集以生成技能水平172。在相同或其他替代实施方案中,可信度水平分类子系统180可对任意数量的驾驶员状态数据132和任选地任意数量的交通工具状态数据134和/或技能水平172执行任意数量(包括零)的预处理操作以生成可信度输入集。然后,可信度水平分类子系统180可将任何类型的模型应用于可信度输入集以生成可信度水平182。
图3是根据各种实施方案的用于利用驾驶员技能水平和驾驶员可信度水平评估来增强一个或多个驾驶员辅助应用的方法步骤的流程图。尽管参考图1-图2的系统描述了方法步骤,但本领域技术人员将理解,配置为以任何顺序实现方法步骤的任何系统都落在实施方案的范围内。
如图所示,方法300在步骤302开始,其中驾驶员评估应用160获取最新的可信度水平模型260和最新的技能水平模型220,然后初始化可信度水平182和技能水平172。在步骤304处,驾驶员感测子系统140生成驾驶员状态数据132,并且任选地,交通工具观察子系统150生成交通工具状态数据134。
在步骤306处,可信度特征引擎270基于驾驶员状态数据132和任选地交通工具状态数据134来生成可信度特征280。可信度特征引擎270可以任何技术上可行的方式生成可信度特征280。例如,在一些实施方案中,可信度特征引擎270可基于驾驶员状态数据132和任选地交通工具状态数据134在可信度时间窗口272上的任意数量的部分来执行任意数量和/或类型的时间平均操作,以确定可信度特征。例如,可信度特征引擎270可计算驾驶员状态数据132和任选地交通工具状态数据134的每个分量在可信度时间窗口272上的移动平均值,以确定可信度特征280。在步骤308处,可信度水平分类子系统180将可信度特征280和任选地技能水平172输入到可信度水平模型260中,以(重新)计算可信度水平182。
在步骤310处,技能特征引擎230基于驾驶员状态数据132和任选地交通工具状态数据134来生成技能特征240。技能特征引擎230可以任何技术上可行的方式生成技能特征240。例如,在一些实施方案中,技能特征引擎230可基于驾驶员状态数据132和任选地交通工具状态数据134在技能时间窗口232上的任意数量的部分来执行任意数量和/或类型的时间平均操作,以确定技能特征240。例如,技能特征引擎230可计算驾驶员状态数据132和任选地交通工具状态数据134的每个分量在技能时间窗口232上的移动平均值,以确定技能特征240。在步骤312处,技能水平分类子系统170将技能特征240和任选地可信度水平182输入到技能水平模型220中,以(重新)计算技能水平172。
在步骤314处,驾驶员评估应用160将可信度水平182和技能水平172传输到DMSAPI 192,以供一个或多个驾驶员辅助应用使用来针对驾驶员104定制交通工具102的ADAS特征。在替代实施方案中,驾驶员评估应用160可使任意数量的驾驶员辅助应用以任何技术上可行的方式基于可信度水平182和/或技能水平172来更改任意数量的交通工具功能。
在步骤316处,可信度水平分类子系统180将新的可信度训练数据传输到可信度模型训练子系统250,以供我们重新训练可信度水平模型260。在步骤318处,技能水平分类子系统170将新的技能训练数据传输到技能模型训练子系统210,以用于重新训练技能水平模型220。
在步骤320处,驾驶员评估应用160确定驾驶员评估应用160是否完成。驾驶员评估应用160可确定驾驶员评估应用160是否以任何技术上可行的方式完成。例如,在一些实施方案中,驾驶员评估应用160基于当驾驶员104已经完成交通工具102的操作时传输到驾驶员评估应用160的信号来确定驾驶员评估应用160已完成。如果在步骤320处,驾驶员评估应用160确定驾驶员评估应用160已完成,则方法300终止。
然而,如果在步骤320处,驾驶员评估应用160确定驾驶员评估应用160未完成,则方法300返回至步骤304,其中驾驶员感测子系统140生成新的驾驶员状态数据132,并且任选地,交通工具观察子系统150生成新的交通工具状态数据134。方法300继续循环通过步骤304-320,直到驾驶员评估应用160确定驾驶员评估应用160完成为止。
总之,所公开的技术可用于提高驾驶员辅助应用的有效性。在一个实施方案中,驾驶员评估应用包括但不限于可信度水平分类子系统和技能水平分类子系统。最初,驾驶员评估应用设置技能水平和可信度水平以指示相关联的交通工具的驾驶员未知。在每个驾驶会话期间,占有者传感器监视与交通工具驾驶员相关联的各种生理信号。基于生理信号,驾驶员识别模块、认知负荷模块和视觉情绪分类器分别生成驾驶员的身份分类、认知负荷分类和视觉情绪分类。
包括在可信度水平分类子系统中的可信度特征引擎在相对较短的可信度时间窗口(例如,十秒)上对身份分类、认知负荷分类和视觉情绪分类中的每一个进行连续时间平均,以生成对应的可信度特征。可信度水平分类子系统将可信度特征和技能水平输入到可信度水平模型中,作为响应,所述可信度水平模型重新计算可信度水平。同时,包括在技能水平分类子系统中的技能特征引擎在相对较长的技能时间窗口(例如,两天)上对身份分类、认知负荷分类和视觉情绪分类中的每一个进行连续时间平均,以生成对应的技能特征。技能水平分类子系统将技能特征和可信度水平输入到技能水平模型中,作为响应,所述技能水平模型重新计算技能水平。驾驶员评估应用将可信度水平和技能水平中继到DMS API。驾驶监视系统API使任意数量的驾驶员辅助应用都能够访问最新的可信度水平和最新的技能水平,从而使驾驶员辅助应用能够针对驾驶员实时地定制交通工具的ADAS特征。
所公开的技术相对于现有技术的至少一个技术优势在于,驾驶员评估应用使驾驶员辅助应用能够在确定需要采取哪些步骤(如果有的话)来提高驾驶安全性时考虑驾驶员的可信度水平和任选地技能水平。具体地,由于可信度水平分类子系统自动实时或近乎实时地估计驾驶员的可信度水平,因此给定的驾驶员辅助应用可调整交通工具的任意数量的功能,以补充驾驶员在当前驾驶情况下的能力。因此,相对于不考虑驾驶员的技能水平和可信度水平的现有技术,对于所公开的技术,驾驶安全性以及驾驶员成功执行次要任务的能力可在更广泛的驾驶员中得到改进。这些技术优势提供相对于现有技术方法的一个或多个技术改进。
1.在一些实施方案中,一种用于经由至少一个驾驶员辅助应用修改与交通工具相关联的功能的计算机实现的方法包括:在驾驶员操作所述交通工具时,基于已测量的所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征;使用可信度水平模型来基于所述第一表征来估计与所述驾驶员相关联的第一可信度水平;以及致使执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
2.根据条款1所述的计算机实现的方法,其中致使执行所述一个或多个操作包括:使用第一技能水平模型来基于所述第一表征估计与所述驾驶员相关联的第一技能水平;以及将所述第一可信度水平和所述第一技能水平传输到所述至少一个驾驶员辅助应用,其中所述至少一个驾驶员辅助应用执行所述一个或多个操作。
3.根据条款1或2所述的计算机实现的方法,其中使用所述可信度水平模型来估计所述第一可信度水平包括:基于所述驾驶员的所述第一表征、以及环境数据、交通工具遥测数据或驾驶员输入数据中的至少一个来计算多个特征;以及将所述多个特征输入到所述可信度水平模型中以生成所述第一可信度水平。
4.根据条款1-3中任一项所述的计算机实现的方法,其中执行的所述一个或多个操作自动更改以下至少一项:所述交通工具的速度、所述交通工具的方向或在所述交通工具内的视觉显示器、听觉显示器或触觉显示器中的至少一个上输出的信息。
5.根据条款1-4中任一项所述的计算机实现的方法,其中执行的所述一个或多个操作与防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制或自主停泊中的至少一个相关联。
6.根据条款1-5中任一项所述的计算机实现的方法,其中使用所述可信度水平模型来估计所述第一可信度水平包括:基于所述驾驶员的所述第一表征和与所述驾驶员相关联的技能水平来确定输入数据集;以及对所述输入数据集执行所述可信度水平模型以生成所述第一可信度水平。
7.根据条款1-6中任一项所述的计算机实现的方法,其中所述驾驶员的所述第一表征包括身份分类、认知负荷分类或情绪分类。
8.根据条款1-7中任一项所述的计算机实现的方法,其中所述可信度水平模型包括经训练的机器学习模型、多个试探法或多个规则中的至少一者。
9.根据条款1-8中任一项所述的计算机实现的方法,其中所述至少一个生理属性与经由脑电图传感器、心率传感器、呼吸率传感器、脉搏血氧仪、皮肤电反应传感器、相机或传声器所接收的数据相关联。
10.根据条款1-9中任一项所述的计算机实现的方法,其中所述交通工具包括汽车、摩托车、公共汽车、商用建筑机器、飞机、船、潜艇、电动垂直起降交通工具或宇宙飞船。
11.在一些实施方案中,一种或多种非暂时性计算机可读介质包括指令,所述指令在由一个或多个处理器执行时,使所述一个或多个处理器通过执行以下步骤来经由至少一个驾驶员辅助应用修改与交通工具相关联的功能:在驾驶员操作所述交通工具时,基于所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征;使用可信度水平模型来基于所述第一表征估计与所述驾驶员相关联的第一可信度水平;以及致使执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
12.根据条款11所述的一种或多种非暂时性计算机可读介质,其中使所述至少一个驾驶员辅助应用执行所述一个或多个操作包括:使用第一技能水平模型来基于所述第一表征估计与所述驾驶员相关联的第一技能水平;以及将所述第一可信度水平和所述第一技能水平传输到所述至少一个驾驶员辅助应用,其中所述至少一个驾驶员辅助应用执行所述一个或多个操作。
13.根据条款11或12所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:基于所述驾驶员的所述第一表征、以及环境数据、交通工具遥测数据或驾驶员输入数据中的至少一个来计算多个特征;以及将所述多个特征输入到所述可信度水平模型中以生成所述第一可信度水平。
14.根据条款11-13中任一项所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:对所述驾驶员的所述第一表征执行一个或多个时间平均操作以生成第一输入;以及对所述第一输入执行所述可信度水平模型以生成所述第一可信度水平。
15.根据条款11-14中任一项所述的一种或多种非暂时性计算机可读介质,其中执行的所述一个或多个操作自动更改以下至少一项:所述交通工具的速度、所述交通工具的方向或在所述交通工具内的视觉显示器、听觉显示器或触觉显示器中的至少一个上输出的信息。
16.根据条款11-15中任一项所述的一种或多种非暂时性计算机可读介质,其中执行的所述一个或多个操作与防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制或自主停泊中的至少一个相关联。
17.根据条款11-16中任一项所述的一种或多种非暂时性计算机可读介质,其中所述可信度水平模型包括经训练的机器学习模型,并且还包括使训练应用基于所述驾驶员的所述第一表征来重新训练所述可信度水平模型以生成更新的可信度水平模型。
18.根据条款11-17中任一项所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:基于所述驾驶员的所述第一表征和与所述驾驶员相关联的技能水平来确定输入数据集;以及对所述输入数据集执行所述可信度水平模型以生成所述第一可信度水平。
19.根据条款11-18中任一项所述的一种或多种非暂时性计算机可读介质,其中所述至少一个生理属性包括脑活动水平、心率、瞳孔大小或方向盘握力中的至少一个。
20.在一些实施方案中,一种系统包括:一个或多个存储器,所述一个或多个存储器存储指令;以及一个或多个处理器,所述一个或多个处理器耦接到所述一个或多个存储器,所述一个或多个处理器在执行所述指令时执行以下步骤:在驾驶员操作交通工具时,基于已测量的所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征;使用可信度水平模型来基于所述第一表征估计与所述驾驶员相关联的第一可信度水平;以及使一个或多个驾驶员辅助应用执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
权利要求中任一项所述的权利要求要素和/或本申请中描述的任何要素中的任何一个的呈任何形式的任何和所有组合均落入实施方案和保护的预期范围内。
各种实施方案的描述已经呈现以用于说明目的,而并非意在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下,许多修改和变化对于本领域普通技术人员来说是明显的。
本实施方案的各方面可体现为系统、方法或计算机程序产品。因此,本公开的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方案的形式,它们在本文中都可以统称为“模块”、“系统”或“计算机”。另外,本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统可被实现为一个电路或一组电路。此外,本公开的各方面可采用计算机程序产品的形式,所述计算机程序产品在其上体现有计算机可读程序代码的一种或多种计算机可读介质中体现。
可利用一种或多种计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可为例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下项:具有一根或多根导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述的任何合适的组合。在本文件的语境中,计算机可读存储介质可为能够含有或存储供指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。
以上参照根据本公开的实施方案的方法、装置(系统)和计算机程序产品的流程图图解和/或框图来描述本公开的各方面。应当理解,流程图图解和/或框图中的每个框以及流程图图解和/或框图的框组合能够通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器。当经由计算机或其他可编程数据处理装置的处理器执行时,指令使得能够实现在流程图和/或框图一个或多个框中指定的功能/动作。此类处理器可为但不限于通用处理器、专用处理器、应用特定处理器或现场可编程门阵列。
附图中的流程图和框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系结构、功能性和操作。在这个方面,流程图或框图中的每个框可表示代码的模块、区段或部分,所述代码包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意,在一些替代实现方式中,框中提到的功能可不按附图中提到的顺序出现。例如,实际上取决于所涉及的功能,可以基本上同时执行连续示出的两个框,或者有时可以以相反的顺序执行所述框。还应当注意,框图和/或流程图图解中的每个框以及框图和/或流程图图解中的框的组合能够由执行指定的功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
虽然前述内容针对本公开的实施方案,但是可在不脱离本公开的基本范围的情况下设计出本公开的其他和更多实施方案,且所述范围由所附权利要求确定。
Claims (20)
1.一种用于经由至少一个驾驶员辅助应用修改与交通工具相关联的功能的计算机实现的方法,所述方法包括:
在驾驶员操作所述交通工具时,基于已测量的所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征;
使用可信度水平模型来基于所述第一表征估计与所述驾驶员相关联的第一可信度水平;以及
致使执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
2.根据权利要求1所述的计算机实现的方法,其中致使执行所述一个或多个操作包括:
使用第一技能水平模型来基于所述第一表征估计与所述驾驶员相关联的第一技能水平;以及
将所述第一可信度水平和所述第一技能水平传输到所述至少一个驾驶员辅助应用,其中所述至少一个驾驶员辅助应用执行所述一个或多个操作。
3.根据权利要求1所述的计算机实现的方法,其中使用所述可信度水平模型来估计所述第一可信度水平包括:
基于所述驾驶员的所述第一表征、以及基于环境数据、交通工具遥测数据或驾驶员输入数据中的至少一个来计算多个特征;以及
将所述多个特征输入到所述可信度水平模型中以生成所述第一可信度水平。
4.根据权利要求1所述的计算机实现的方法,其中执行的所述一个或多个操作自动更改以下至少一项:所述交通工具的速度、所述交通工具的方向或在所述交通工具内的视觉显示器、听觉显示器或触觉显示器中的至少一个上输出的信息。
5.根据权利要求1所述的计算机实现的方法,其中执行的所述一个或多个操作与防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制或自主停泊中的至少一个相关联。
6.根据权利要求1所述的计算机实现的方法,其中使用所述可信度水平模型来估计所述第一可信度水平包括:
基于所述驾驶员的所述第一表征和与所述驾驶员相关联的技能水平来确定输入数据集;以及
对所述输入数据集执行所述可信度水平模型以生成所述第一可信度水平。
7.根据权利要求1所述的计算机实现的方法,其中所述驾驶员的所述第一表征包括身份分类、认知负荷分类或情绪分类。
8.根据权利要求1所述的计算机实现的方法,其中所述可信度水平模型包括经训练的机器学习模型、多个试探法或多个规则中的至少一者。
9.根据权利要求1所述的计算机实现的方法,其中所述至少一个生理属性与经由脑电图传感器、心率传感器、呼吸率传感器、脉搏血氧仪、皮肤电反应传感器、相机或传声器所接收的数据相关联。
10.根据权利要求1所述的计算机实现的方法,其中所述交通工具包括汽车、摩托车、公共汽车、商用建筑机器、飞机、船、潜艇、电动垂直起降交通工具或宇宙飞船。
11.一种或多种非暂时性计算机可读介质,其包括指令,所述指令在由一个或多个处理器执行时,使所述一个或多个处理器通过执行以下步骤来经由至少一个驾驶员辅助应用修改与交通工具相关联的功能:
在驾驶员操作所述交通工具时,基于所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征;
使用可信度水平模型来基于所述第一表征估计与所述驾驶员相关联的第一可信度水平;以及
致使执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
12.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中使所述至少一个驾驶员辅助应用执行所述一个或多个操作包括:
使用第一技能水平模型来基于所述第一表征估计与所述驾驶员相关联的第一技能水平;以及
将所述第一可信度水平和所述第一技能水平传输到所述至少一个驾驶员辅助应用,其中所述至少一个驾驶员辅助应用执行所述一个或多个操作。
13.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:
基于所述驾驶员的所述第一表征、以及基于环境数据、交通工具遥测数据或驾驶员输入数据中的至少一个来计算多个特征;以及
将所述多个特征输入到所述可信度水平模型中以生成所述第一可信度水平。
14.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:
对所述驾驶员的所述第一表征执行一个或多个时间平均操作以生成第一输入;以及
对所述第一输入执行所述可信度水平模型以生成所述第一可信度水平。
15.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中执行的所述一个或多个操作自动更改以下至少一项:所述交通工具的速度、所述交通工具的方向或在所述交通工具内的视觉显示器、听觉显示器或触觉显示器中的至少一个上输出的信息。
16.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中执行的所述一个或多个操作与防抱死制动、盲点检测、碰撞避免、线道保持辅助、陡坡缓降控制或自主停泊中的至少一个相关联。
17.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中所述可信度水平模型包括经训练的机器学习模型,并且还包括使训练应用基于所述驾驶员的所述第一表征来重新训练所述可信度水平模型以生成更新的可信度水平模型。
18.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中使用所述可信度水平模型来估计所述第一可信度水平包括:
基于所述驾驶员的所述第一表征和与所述驾驶员相关联的技能水平来确定输入数据集;以及
对所述输入数据集执行所述可信度水平模型以生成所述第一可信度水平。
19.根据权利要求11所述的一种或多种非暂时性计算机可读介质,其中所述至少一个生理属性包括脑活动水平、心率、瞳孔大小或方向盘握力中的至少一个。
20.一种系统,其包括:
一个或多个存储器,所述一个或多个存储器存储指令;以及
一个或多个处理器,所述一个或多个处理器耦接到所述一个或多个存储器,所述一个或多个处理器在执行所述指令时执行以下步骤:
在驾驶员操作交通工具时,基于已测量的所述驾驶员的至少一个生理属性来计算所述驾驶员的第一表征,
使用可信度水平模型来基于所述第一表征估计与所述驾驶员相关联的第一可信度水平,以及
使一个或多个驾驶员辅助应用执行基于所述第一可信度水平并且修改至少一个交通工具功能的一个或多个操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/833,193 | 2020-03-27 | ||
US16/833,193 US10967871B1 (en) | 2020-03-27 | 2020-03-27 | Automatically estimating skill levels and confidence levels of drivers |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113449952A true CN113449952A (zh) | 2021-09-28 |
Family
ID=74871163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110308426.3A Pending CN113449952A (zh) | 2020-03-27 | 2021-03-23 | 自动估计驾驶员的技能水平和可信度水平 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10967871B1 (zh) |
EP (1) | EP3885220B1 (zh) |
JP (1) | JP2021155032A (zh) |
KR (1) | KR20210120853A (zh) |
CN (1) | CN113449952A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11801848B2 (en) * | 2019-07-26 | 2023-10-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | Electronic skin for vehicle components |
US11539762B2 (en) | 2020-10-06 | 2022-12-27 | Harman International Industries, Incorporated | Conferencing based on driver state and context |
CN114348000A (zh) * | 2022-02-15 | 2022-04-15 | 安波福电子(苏州)有限公司 | 驾驶员注意力管理系统和方法 |
DE102022104208B3 (de) | 2022-02-23 | 2023-07-27 | Audi Aktiengesellschaft | Verfahren zur Routenführung eines Kraftfahrzeugs, Fahrtroutencharakterisierungseinrichtung, Servervorrichtung, und Kraftfahrzeug |
KR102572305B1 (ko) * | 2022-12-26 | 2023-08-29 | 한국자동차연구원 | 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170725B2 (en) * | 2009-02-18 | 2012-05-01 | GM Global Technology Operations LLC | Vehicle stability enhancement control adaptation to driving skill based on highway on/off ramp maneuver |
US10209708B2 (en) * | 2016-07-28 | 2019-02-19 | Lytx, Inc. | Determining driver engagement with autonomous vehicle |
JP6555647B2 (ja) | 2017-03-30 | 2019-08-07 | マツダ株式会社 | 車両運転支援システム及び車両運転支援方法 |
US20210153796A1 (en) | 2017-05-15 | 2021-05-27 | Toyota Motor Europe | Control device, system, and method for determining a comfort level of a driver |
US20180335776A1 (en) | 2017-05-16 | 2018-11-22 | GM Global Technology Operations LLC | Systems and methods for selecting driving modes in autonomous vehicles |
US11086317B2 (en) | 2018-03-30 | 2021-08-10 | Intel Corporation | Emotional adaptive driving policies for automated driving vehicles |
US11541895B2 (en) * | 2019-04-03 | 2023-01-03 | Industrial Technology Research Institute | Driving assistance system and driving assistance method |
JP7107329B2 (ja) * | 2020-02-12 | 2022-07-27 | トヨタ自動車株式会社 | 運転支援システム |
US20210300428A1 (en) * | 2020-03-30 | 2021-09-30 | Toyota Research Institute, Inc. | Driver dazzle mitigation systems and methods |
-
2020
- 2020-03-27 US US16/833,193 patent/US10967871B1/en active Active
-
2021
- 2021-03-08 US US17/195,493 patent/US11643084B2/en active Active
- 2021-03-10 EP EP21161699.0A patent/EP3885220B1/en active Active
- 2021-03-17 KR KR1020210034886A patent/KR20210120853A/ko unknown
- 2021-03-18 JP JP2021044382A patent/JP2021155032A/ja active Pending
- 2021-03-23 CN CN202110308426.3A patent/CN113449952A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11643084B2 (en) | 2023-05-09 |
KR20210120853A (ko) | 2021-10-07 |
US10967871B1 (en) | 2021-04-06 |
JP2021155032A (ja) | 2021-10-07 |
EP3885220A1 (en) | 2021-09-29 |
EP3885220B1 (en) | 2024-01-03 |
US20210300384A1 (en) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11643084B2 (en) | Automatically estimating skill levels and confidence levels of drivers | |
JP7290567B2 (ja) | 運転者の注意散漫決定のためのシステム及び方法 | |
EP3588372B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
JP7329755B2 (ja) | 支援方法およびそれを利用した支援システム、支援装置 | |
JP2018127112A (ja) | 覚醒度推定装置及び覚醒度推定方法 | |
KR102053794B1 (ko) | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 | |
US11235776B2 (en) | Systems and methods for controlling a vehicle based on driver engagement | |
KR20200083310A (ko) | 양방향 차내 가상 개인 비서 | |
JP6848912B2 (ja) | 状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体 | |
CN113491519A (zh) | 基于情感-认知负荷的数字助理 | |
US20180281809A1 (en) | Vehicle drive assistance system | |
CN114030475A (zh) | 一种车辆辅助驾驶方法、装置、车辆及存储介质 | |
US20220001894A1 (en) | System for controlling autonomous vehicle for reducing motion sickness | |
CN112455461B (zh) | 自动驾驶车辆的人车交互的方法、自动驾驶系统 | |
JP7226197B2 (ja) | 車両制御装置 | |
EP3892511A1 (en) | Method and system for modifying a self-driving model | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
US10745029B2 (en) | Providing relevant alerts to a driver of a vehicle | |
US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
WO2021262166A1 (en) | Operator evaluation and vehicle control based on eyewear data | |
US20200023863A1 (en) | Concentration degree determination device, concentration degree determination method, and program for determining concentration degree | |
JP7176582B2 (ja) | 状態判定装置 | |
KASHEVNIK et al. | PERSONALIZED DANGEROUS SITUATION DETECTION IN VEHICLE CABINS USING SMARTPHONE SENSORS | |
JP2022020742A (ja) | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |