CN113491519A - 基于情感-认知负荷的数字助理 - Google Patents

基于情感-认知负荷的数字助理 Download PDF

Info

Publication number
CN113491519A
CN113491519A CN202110356056.0A CN202110356056A CN113491519A CN 113491519 A CN113491519 A CN 113491519A CN 202110356056 A CN202110356056 A CN 202110356056A CN 113491519 A CN113491519 A CN 113491519A
Authority
CN
China
Prior art keywords
user
emotion
load
cognitive load
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110356056.0A
Other languages
English (en)
Inventor
A.鲍兰格
S.克拉茨
J.弗贝克
P.塞尚里
E.伯密斯特罗夫
N.曼索里安
S.马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN113491519A publication Critical patent/CN113491519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

本公开的实施方案阐述了一种计算机实施的方法，该方法包括：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据来计算与该环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；基于认知负荷和情感负荷两者，确定情感‑认知负荷；基于情感‑认知负荷来确定与用户相关联的用户准备状态；并且基于用户准备状态使一个或多个动作发生。

Description

基于情感-认知负荷的数字助理
技术领域
各种实施方案通常涉及数字助理，且更具体地，涉及基于情感-认知负荷的数字助理。
背景技术
各种数字系统包括辅助用户执行任务的数字助理。例如，各种车辆包括协助驾驶员操纵车辆的高级驾驶员辅助系统(ADAS)。这样的ADAS可包括驾驶员监视系统(DMS)，该驾驶员监视系统监视驾驶员以便评估驾驶员对车辆的操纵，并且使ADAS能够通过提供各种水平的辅助(诸如，通过生成通知、自动执行各种驾驶任务等)来对驾驶员的状态作出响应。
与给定环境进行交互时，用户通常将焦点分散在多个对象之间。例如，驾驶员可能将焦点分散在驾驶车辆和与另一人进行对话之间。在某些情况下，驾驶员可能无法适当地进行调整以足够聚焦于驾驶任务以便充分应对诸如交通变拥挤、天气状况糟糕、意外障碍物等偶发的复杂驾驶情况。
通常，ADAS可轻松地检测分散注意力的对象，并且可确定驾驶员是否聚焦在道路上。然而，驾驶员监视系统可能无法确定驾驶员在执行驾驶任务时的聚焦程度。例如，DMS可包括用于确定驾驶员的眼睛是否聚焦于道路的相机，但是DMS可能不考虑会原本减轻对成功执行驾驶任务的聚焦的其他对象和刺激。因此，ADAS可能无法有效地辅助驾驶员，并且驾驶员可能无法改变自己的行为以正确地处理必要的驾驶任务。
鉴于以上问题，用于监视用户在环境中交互的状态的更有效的技术将是有用的。
发明内容
一个实施方案提出了一种计算机实施的方法，该方法包括：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据来计算与该环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；基于认知负荷和情感负荷两者，确定情感-认知负荷；基于情感-认知负荷来确定与用户相关联的用户准备状态；并且基于用户准备状态导致发生一个或多个动作。
其他实施方案尤其提供了被配置成实施上述计算机可读存储介质的方法和系统。
相对于先前的数字助理系统，所公开技术的至少一个技术优势在于，基于估计用户的认知负荷以及用户的情绪状态的直接测量的组合来计算用户准备状态提供了对用户处理一个或多个任务的能力的更准确的指示。
附图说明
为了能够详细地理解上面阐述的各种实施方案的所述特征的方式，可通过参考各种实施方案来对上面简要概述的发明思想进行更具体的描述，附图中示出了各种实施方案中的一些。然而，注意的是，附图只示出本发明思想的典型实施方案，且因此不应被认为以任何方式限制范围，且存在其它等效的实施方案。
图1示出了被配置为实施本公开的一个或多个方面的用户准备系统的框图。
图2示出了根据各种实施方案的被配置为实施图1的用户准备系统的车辆的乘客舱。
图3示出了根据各种实施方案的图1的用户准备应用的框图。
图4A示出了根据各种实施方案的与图1的用户准备应用相关联的情感-认知负荷值的示例性查找表。
图4B示出了根据各种实施方案的与图1的用户准备应用相关联的情感-认知负荷值的另一示例性查找表。
图5示出了根据各种实施方案的从由图1的用户准备应用所得出的各个生物计量值计算出的情感-认知负荷。
图6示出了根据各种实施方案的包括图3的基于情感-认知负荷的数字助理的示例性车辆系统。
图7是根据各种实施方案的基于情感-认知负荷来生成输出信号的方法步骤的流程图。
具体实施方式
在下面的描述中，阐述了许多特定细节以提供对各种实施方案的更为透彻的理解。然而，对本领域的技术人员将是明显的是，可在没有这些特定细节中的一个或多个的情况下实行本发明的思想。
系统概述
图1示出了被配置为实施本公开的一个或多个方面的用户准备系统100的框图。如图所示，用户准备系统100包括但不限于计算设备110、传感器120、输入/输出(I/O)设备130和网络150。计算设备110包括处理单元112和存储器114，其中存储器114存储用户准备应用140和数据库142。网络150包括数据存储区152。
在操作中，处理单元112从传感器120接收传感器数据。处理单元112执行用户准备系统140以便处理传感器数据，并且确定与用户的心理生理状态相关联的各种生物计量值。这样的生物计量值包括估计用户正采用的大脑活动量的认知负荷，以及估计用户正经历的情绪(指定为预定义的情绪或与心理生理状态相关联的一组情绪参数化度量)的情感负荷。在各种实施方案中，情感负荷可包括一个或多个单独的情绪度量，诸如单独的唤醒和/或效价值。另外地或可选地，情感负荷可包括一个或多个离散的情绪状态和/或每个的相关联的值。一旦确定了用户的生物计量值，用户准备应用140就经由一个或多个估计算法来组合生物计量值，以确定情感-认知负荷(ACL)作为生物计量值的合成。在各种实施方案中，用户准备应用140将该ACL与数据库142和/或数据存储区152中包括的其他ACL数据进行比较，以便将ACL映射到估计用户处理一个或多个任务的能力的用户准备状态。然后，用户准备应用140和/或其他应用(未示出)可基于所确定的用户准备状态来生成输出信号。例如，用户准备应用140可以是高级驾驶员辅助系统(ADAS)的组件，一旦用户准备应用140确定用户准备处于目标值和/或目标范围之外，该ADAS将某些任务自动化和/或经由一个或多个输出信号提供通知。
如上所述，计算设备110可包括处理单元112和存储器114。计算设备110可以是包括一个或多个处理单元112的设备，诸如片上系统(SoC)。在各种实施方案中，计算设备110可以是诸如平板计算机、移动电话、媒体播放器等的移动计算设备。在一些实施方案中，计算设备110可以是被包括在车辆系统中的头部单元。通常，计算设备110可被配置为协调用户准备系统100的整体操作。本文公开的实施方案预期到被配置为经由计算设备110实施用户准备系统100的功能的任何技术上可行的系统。
计算设备110的各种示例包括：移动设备(例如，手机、平板电脑、笔记本电脑等)、可穿戴设备(例如，手表、戒指、手镯、耳机等)、消费产品(例如，游戏、博奕等)、智能家居设备(例如，智能照明系统、安全系统、数字助理等)、通信系统(例如，电话会议系统、视频会议系统等)等。计算设备110可以位于各种环境中，该环境包括但不限于：家庭环境(例如，办公室、厨房等)、道路车辆环境(例如，消费汽车、商用卡车等)、航天和/或航空环境(例如，飞机、直升机、宇宙飞船等)、航海和海底环境等。
处理单元112可包括：中央处理单元(CPU)、数字信号处理单元(DSP)、微处理器、专用集成电路(ASIC)、神经处理单元(NPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。处理单元112通常包括执行程序指令以操纵输入数据的可编程处理器。在一些实施方案中，处理单元112可包括任何数量的处理内核、存储器以及用于促进程序执行的其他模块。例如，处理器单元112可经由I/O设备130从用户接收输入，并且生成像素以供在I/O设备130(例如，显示设备)上显示。在一些实施方案中，处理单元112可被配置为执行用户准备应用140，以便分析所获取的传感器数据并通过确定用户准备状态来估计用户处理特定任务的能力。在这种情况下，用户准备应用140可将所估计的用户准备状态输出到一个或多个I/O模块130，以便I/O模块130对所确定的用户准备状态作出响应(例如，输出信号来提供辅助、输出信号以使用户能够执行手动任务等)。
存储器114可包括存储器模块或存储器模块的集合。存储器114通常包括诸如随机存取存储器(RAM)芯片的存储由处理单元112处理的应用程序和数据的存储芯片。在各种实施方案中，存储器114可包括非易失性存储器，诸如光学驱动器、磁性驱动器、闪存驱动器或其他存储设备。在一些实施方案中，诸如网络150中包括的数据存储区152(“云存储设备”)的单独的数据存储区可对存储器114进行补充。存储器114内的用户准备应用140可由处理单元112执行，以实施计算设备110的整体功能，并因此整体协调用户准备系统100的操作。
用户准备应用140处理所获取的与用户和/或环境相关联的传感器数据，以便确定与用户的大脑活动和/或情绪相关联的各种度量。在各种实施方案中，用户准备应用140可从一个或多个传感器120接收传感器数据，并且可分析该传感器数据以确定用户的认知负荷和/或情感负荷，用户的认知负荷和/或情感负荷可包括单独的情绪参数，该情绪参数指示用户正经历的情绪。用户准备应用140基于认知负荷和情感负荷两者来确定用户的情感-认知负荷(ACL)，该ACL指示用户的整体精神活动以及管理一组任务的能力。在各种实施方案中，用户准备应用140可将ACL与其他ACL值和/或阈值进行比较，以便将ACL映射到特定的用户准备状态。然后，用户准备应用140可将用户准备状态输出到响应所确定的用户准备状态的一个或多个I/O设备130。例如，用户准备应用140可确定当前用户准备状态低于成功应对当前交通状况所需的阈值水平。然后，用户准备应用140可向ADAS发送用户准备状态，该ADAS向I/O设备130(例如，显示设备)发送输出信号，以便播放通知声音以警告驾驶员。在一些情况下，ADAS还可通过执行一个或多个自动化任务(例如，辅助驾驶)来做出响应。
数据库142可存储由处理单元112检索的值和其他数据，以协调用户准备应用140的操作。在各种实施方案中，处理单元112可被配置为将值存储在数据库142中和/或检索数据库142中存储的值。例如，数据库142可存储历史ACL值、查找表、ACL算法、传感器值到情绪参数化度量的映射、ACL值到驾驶员准备水平的映射等。在一些实施方案中，数据库142可存储从数据存储区152中检索的值。在这样的情况下，数据库142可接收周期性更新并且在周期性更新之间向用户准备应用140提供值。
在各种实施方案中，数据库142可包括一个或多个查找表，其中该查找表存储包括值之间的映射的条目。例如，数据库142可包括一组ACL查找表，该组ACL查找表包括生物计量值(例如，认知负荷、情感负荷、唤醒、效价等)到ACL值的映射的条目。另外地或可选地，数据库142可包括将生物计量值映射到预定义ACL水平(例如，高ACL、中ACL、低ACL等)的一组ACL查找表，和/或将预定义生物计量值(例如，针对“愤怒”的心理生理特征的定义值)映射到特定ACL值和/或预定义ACL水平的一组ACL查找表。
传感器120可包括执行测量和/或获取与环境中的某些对象有关的数据的一个或多个设备。在各种实施方案中，传感器120可生成与用户的认知负荷和/或情感负荷有关的传感器数据。例如，传感器120可收集与用户有关的生物计量数据(例如，心率、大脑活动、皮肤电导、血氧、瞳孔大小、皮肤电反应、血压水平、平均血糖浓度等)。另外地或可选地，传感器120可生成与环境中不是用户的对象有关的传感器数据。例如，传感器120可生成关于车辆操作的传感器数据，包括车辆速度、踏板位置、方向盘位置、车辆中的环境温度、车辆中的光量等。在一些实施方案中，传感器120可被耦接到计算设备110和/或被包括在计算设备110内，并且将传感器数据发送到处理单元112。处理单元112执行用户准备应用140以便基于从所获取的传感器数据得出的所确定的认知-情感负荷来确定用户准备状态。
在各种实施方案中，传感器120可获取传感器数据，用户准备应用140处理该传感器数据以便对用户正经历的情绪进行分类。例如，传感器120可包括将用户的面部记录为图像数据的面向用户的相机。然后，用户准备应用140可分析该图像数据以确定用户的面部表情，然后将该面部表情映射到特定情绪。在另一示例中，传感器120可包括处于车辆的各个部分(例如，驾驶员座椅、乘客座椅、方向盘等)中的获取用户的生物和/或生理信号(例如，出汗、心率、心率变异性(HRV)、血流量、血氧水平、呼吸频率、皮肤电反应(GSR)、用户产生的声音、用户行为等)的传感器。在这种情况下，用户准备应用140可计算一个或多个定量的情绪参数化度量，诸如指示用户正经历的情绪的情绪唤醒(A)和/或情绪效价(V)。
在各种实施方案中，传感器120还可获取用户准备应用140处理以便计算用户正经历的认知负荷的数据。例如，传感器120可包括瞳孔传感器(例如，聚焦在用户眼睛上的相机)，该瞳孔传感器获取关于用户的至少一个瞳孔的图像数据。然后，用户准备应用140可执行各种瞳孔测量技术以检测眼睛参数(例如，用户的瞳孔直径的波动、瞳孔的注视方向、眼睑的位置等)，以便估计用户的认知负荷(CL)。在另一示例中，传感器120可包括心率传感器和/或获取用户的生物和/或生理信号(例如，心率、呼吸频率、眼睛运动、GSR、神经大脑活动等)的其他生物计量传感器。在这样的情况下，用户准备应用140可从所获取的生物和/或生理信号中的一个或多个来计算认知负荷。
在各种实施方案中，传感器120可包括光学传感器，诸如RGB相机、红外相机、深度相机和/或包括此类相机中的两个或更多个的相机阵列。其他光学传感器可包括成像器和激光传感器。在一些实施方案中，传感器120可包括记录用户的身体位置和/或运动的物理传感器，诸如触摸传感器、压力传感器、位置传感器(例如，加速度计和/或惯性测量单元(IMU))、运动传感器等。在这样的情况下，用户准备应用140可分析所获取的传感器数据以确定用户的运动，然后将这种运动与用户的特定情绪(例如，无聊、疲劳、唤醒等)和/或认知负荷相关。
在各种实施方案中，传感器120可包括生理传感器，诸如心率监测器、脑电图(EEG)系统、无线电传感器、热传感器、皮肤电反应传感器(例如，测量由情绪压力引起的皮肤的电阻变化的传感器)、非接触式传感器系统、脑磁图(MEG)系统等。在各种实施方案中，用户准备应用140可执行谱熵、加权平均频率、带宽和/或频谱边缘频率以从所获取的传感器数据确定认知负荷。
另外，在一些实施方案中，传感器120可包括声学传感器，诸如获取声音数据的传声器和/或传声器阵列。这样的声音数据可由用户准备应用140执行各种自然语言(NL)处理技术、情感分析和/或语音分析来处理，以便确定在环境中说出的短语的语义意义和/或从语义意义推断情绪参数化度量。在另一示例中，用户准备应用140可使用语音音调分析来分析所获取的声音数据，以便从声音数据中包括的语音信号中推断出情绪。在一些实施方案中，用户准备应用140可执行与声音信号的频谱形心频率和/或振幅有关的各种分析技术，以便将声音信号分类为用于认知负荷的特定值。
在一些实施方案中，传感器120可包括检测环境内用户的活动的行为传感器。这样的行为传感器可包括获取相关活动数据的设备，诸如获取应用使用数据和/或移动设备使用数据的设备。在这样的情况下，用户准备应用140可通过确定用户当前参与的活动来估计认知负荷和/或情绪参数化度量。例如，给定的应用可分类为有趣的、社交应用，其中用户在开心和活跃时会参与该应用，和/或该应用正在使用户开心和活跃。在这样的情况下，用户准备应用140可将给定应用的使用与预定义情绪(例如，激动)和/或预定义情绪参数化度量(高唤醒值和正效价值)相关。
I/O设备130可包括能够接收输入的设备，诸如键盘、鼠标、触敏屏、传声器和其他用于向计算设备110提供输入数据的输入设备。在各种实施方案中，I/O设备130可包括能够提供输出的设备，诸如显示屏、扬声器等。I/O设备130中的一个或多个可被并入到计算设备110中，或者可处于计算设备110的外部。在一些实施方案中，计算设备110和/或一个或多个I/O设备130可以是高级驾驶员辅助系统的组件。在各种实施方案中，用户准备应用140可基于由一个或多个I/O设备130接收的输入来确定认知负荷和/或情绪负荷。例如，车辆可包括具有用户接口的头部单元。在这样的情况下，用户准备应用140可基于经由头部单元接收的一个或多个输入来确定用户的认知负荷和/或情绪负荷。
网络150可经由有线和/或无线通信协议、卫星网络、V2X网络(包括蓝牙)、低功耗蓝牙(BLE)、无线局域网(WiFi)、蜂窝协议、和/或近场通信(NFC)来实现计算设备110和网络中的其它设备之间的通信。在各种实施方案中，网络150可包括一个或多个数据存储区152，其存储与传感器数据、生物计量值、情感-认知负荷和/或驾驶员准备水平相关联的数据。在各种实施方案中，用户准备应用140和/或其他设备中包括的其他数字助理可从数据存储区152中检索信息。在这样的情况下，用户准备应用140可分析所检索到的数据，作为确定用户的ACL、将ACL与涉及特定ACL值的情况进行比较等的一部分。
图2示出了根据各种实施方案的被配置为实施图1的用户准备系统100的车辆的乘客舱200。如图所示，乘客舱200包括但不限于仪表板210、挡风玻璃220和头部单元230。在各种实施方案中，乘客舱200可包括实施任何技术上可行的功能的任何数量的附加组件。例如，乘客舱200可包括后视相机(未示出)。
如图所示，头部单元230位于仪表板210的中心。在各种实施方案中，头部单元230可以以不会阻挡挡风玻璃220的任何技术上可行的方式安装在乘客舱200内的任何位置。头部单元230可包括任何数量和类型的仪器和应用，并且可提供任何数量的输入和输出机构。例如，头部单元230可使用户(例如，驾驶员和/或乘客)能够控制娱乐功能。在一些实施方案中，头部单元230可包括被设计为增加驾驶员安全性、使驾驶任务自动化等的导航功能和/或高级驾驶员辅助(ADA)功能。
如本领域中已知的，头部单元230支持任何数量的输入和输出数据类型和格式。例如，头部单元230可包括用于免提呼叫和/或音频流的内置蓝牙、通用串行总线(USB)连接、语音识别、后视相机输入、任何数量和类型的显示器的视频输出、以及任何数量的音频输出。通常，任何数量的传感器(例如，传感器120)、显示器、接收器、发送器等可集成到头部单元230中，或者可在头部单元230的外部实施。在各种实施方案中，外部设备可以以任何技术上可行的方式与头部单元230通信。
在驾驶时，车辆的驾驶员受到与主要任务(例如，驾驶车辆)和/或任何数量的次要任务有关的各种刺激。例如，驾驶员可经由挡风玻璃220看到车道标记240、骑自行车的人242、专用汽车244和/或行人246。作为响应，驾驶员可在避开骑自行车的人242和行人246的同时引导车辆跟踪车道标记240，然后运用制动踏板以允许警车244越过车辆前方的道路。此外，驾驶员可能同时或间歇地参与对话250、听音乐260和/或尝试抚慰哭泣的婴儿270。
如图所示，不同的驾驶环境和/或参与次要活动(例如，深度思考、情绪性对话等)通常会增加驾驶员的认知负荷，并且可能导致驾驶员及车辆附近区域的驾驶环境不安全。此外，驾驶员所经历的情绪也可能导致不安全的驾驶环境，因为用户所经历的情绪可能会提高或降低驾驶员处理驾驶任务的能力。
基于情感-认知负荷的数字助理
图3示出了根据各种实施方案的图1的用户准备系统100中包括的基于情感-认知负荷的助理300。如图所示，基于情感-认知负荷的助理300包括传感器120、用户准备应用140和输出设备340。用户准备应用140包括生物计量计算模块320(包括认知负荷计算模块314和情绪计算模块316)和用户准备计算模块330。
在操作中，生物计量计算模块320包括各种模块314、316，这些模块分析从传感器120接收的传感器数据322，以便确定一个或多个生物计量值，包括认知负荷324和/或情绪度量326。生物计量计算模块320将生物计量值324、326发送给用户准备计算模块330，该用户准备计算模块执行一个或多个算法技术以便确定用户的情感-认知负荷(ACL)。然后，用户准备计算模块330可将ACL映射到指示用户处理任务的能力的用户准备状态332上。用户准备计算模块330将用户准备状态332发送到一个或多个输出设备340，该一个或多个输出设备提供影响用户和/或修改车辆行为的输出信号342。例如，用户准备应用140可将用户准备状态332发送到单独的输出设备340，包括发送到ADAS和/或发送给与驾驶员相关联的设备上的单独的应用(例如，在可穿戴设备上运行的应用)。在这样的情况下，两种输出设备340都可通过提供使可穿戴设备提供触觉响应的诸如通知信号的输出信号342来做出响应。在一些情况下，诸如当输出信号342包括调整车辆的方向和/或速度的一个或多个驾驶调整信号时，输出设备可直接影响车辆。
在各种实施方案中，生物计量计算模块320从传感器120接收传感器数据322。生物计量计算模块可包括分析传感器数据322的部分以便提供认知负荷324和/或情绪度量326(例如，唤醒和效价)的单独模块。在一些实施方案中，模块314、316可分析传感器数据的相同部分。例如，认知负荷计算模块314和情绪计算模块316可分开地接收传感器数据322中包括的图像数据。在这种情况下，认知负荷计算模块314可使用各种瞳孔测量技术和/或眼睛运动数据来分析图像数据以确定认知负荷324，同时情绪计算模块316可分析图像数据以确定面部表情，对面部表情进行分类作为预定义的情绪，并且获取与该预定义的情绪相对应的情绪度量326。
用户准备计算模块330应用各种算法以根据认知负荷324(CL)以及形成情感负荷(AL)的情绪度量326来确定情感-认知负荷，其中ACL＝f(CL,AL)。在各种实施方案中，可将一组ACL存储在数据库142中。在一些实施方案中，用户准备计算模块330可参考一个或多个查找表以便找到与认知负荷324和情绪度量326的值相对应的条目，并且可确定该条目中包括的对应的ACL。另外地或可选地，在确定ACL之后，用户准备计算模块330可确定可适用于所确定的ACL的用户准备状态332。在一些实施方案中，该查找表还可包括将针对该对应的ACL采取的可适用动作。例如，与负效价值、高唤醒和高认知负荷相对应的查找表条目可指示高ACL，并且还可包括用于ADAS的命令以超弛用户执行的手动驾驶动作。
在各种实施方案中，用户准备计算模块330可使用各种算法技术来根据认知负荷324(CL)和/或情绪度量326(包括效价值(V)和唤醒值(A))中的一个或多个来计算ACL值。在这样的情况下，用户准备计算模块330可将ACL值与一个或多个阈值进行比较以确定用户准备状态332。在一些实施方案中，用户准备计算模块330可选择将采用的特定算法，以便相对于其他度量来强调一个度量。例如，用户准备计算模块330可通过应用等式1或等式2(其中偏移值相对于特定阈值修改ACL)来相对于情绪度量326强调认知负荷324。在这种情况下，CL的平方值导致认知负荷324是ACL的主要指示符。
Figure BDA0003003300070000131
Figure BDA0003003300070000132
在另一示例中，用户准备计算模块330可应用等式3，使得ACL基于认知负荷324和唤醒值的组合，其通过效价值是正还是负来修改。
ACL＝(CL + A)×V (3)
在一些实施方案中，用户准备计算模块330向某些值施加权重以便强调值的特定范围。例如，用户准备计算模块330可应用等式4或5，以便强调正效价值比负效价值更期望。
Figure BDA0003003300070000133
Figure BDA0003003300070000134
在一些实施方案中，可排除一个度量。例如，用户准备计算模块330可应用等式6，使得ACL基于认知负荷324和唤醒值，而忽略效价值。
Figure BDA0003003300070000135
在各种实施方案中，用户准备计算模块330可在计算ACL时调整所选择的算法和/或等式。在这样的情况下，用户准备计算模块330可周期性地选择不同的算法和/或不同的等式。例如，当交通通畅时，用户准备模块330可最初选择强调认知负荷324的算法。当基于情感-认知负荷的助理300随后确定交通繁忙时，用户准备计算模块330然后可选择不同的算法，该算法向效价值施加更重的权重和/或指示正效价值比负效价值更期望。
在一些实施方案中，用户准备计算模块330可并入有与用户相关联的其他测量。在一些实施方案中，用户准备计算模块330可通过同时分析认知和情绪信息的组合来得出测量聚焦和参与。例如，用户准备计算模块330可采用各种统计方法、机器学习(ML)方法、状态机和/或各种其他数据结构，以便确定如何从认知负荷324和/或情绪度量326得出聚焦和参与(和/或其他用户度量)的结果。
另外地或可选地，可从认知负荷324、情绪度量326和/或其他度量的任何组合来训练ML模型。可训练ML模型以预测诸如参加特定驾驶任务的驾驶员的用户的特定高阶状态。然后，ML模型能够生成诸如参与度量的值到输出模块340。例如，ADAS可接收根据情感和认知信号建模的指示驾驶员参与水平的参与度量。在这样的情况下，参与度量可被用户准备应用140和/或其他应用或设备用来影响车辆的控制，使得当驾驶员较少参与时，诸如(例 如，ADAS功能)的某些组件更加主动。
输出模块340接收用户准备状态332，该用户准备状态表示用户在执行任务时在正确的时间做出正确决定的能力。在诸如驾驶的某些情况下，用户准备状态332指示驾驶员在驾驶情况下以正确的方式驾驶或采取行动的准备程度。在各种实施方案中，输出设备340基于用户准备状态332来生成输出信号342。例如，当用户准备状态332指示用户能够处理环境中的任务时，输出信号342可使一个或多个设备执行任务或提供维持用户的当前状态的输出(例如，维持播放音轨)。相反，当用户准备状态332指示用户无法处理环境中的任务时，输出信号342可使一个或多个设备执行任务或提供辅助用户执行必要任务的输出。
在一些实施方案中，用户准备状态332可指示用户在未来点的预期状态。例如，在一些实施方案中，用户准备应用140可执行各种预测技术，以基于当前输入值确定预测的用户准备状态。在这样的情况下，用户准备应用140可确定用户在未来点是否需要辅助。在这样的情况下，用户准备应用140可生成一个或多个输出信号342，该一个或多个输出信号在预期未来点的用户状态时修改车辆的一个或多个组件，从而在预期用户的预期准备状态时辅助用户。
从情感-认知负荷来确定用户准备
图4A示出了根据各种实施方案的与图1的用户准备应用140相关联的情感-认知负荷值的示例性查找表。如图所示，表400包括用于正效价值的查找表410以及用于负效价值的查找表430。图4B示出了根据各种实施方案的与图1的用户准备应用相关联的情感-认知负荷值的另一示例性查找表。如图所示，表440包括用于正效价值的查找表450以及用于负效价值的查找表460。在每个查找表400、450中，给定条目被编码为准备状态(例如，浅灰色)、一些情绪和认知负荷(例如，中灰色)、显著的情绪和认知负荷(例如，深灰色)和/或高情绪和认知负荷(例如，黑色)。
查找表400表示ACL的目标范围低的状况。例如，查找表400可对应于随着ACL降低用户执行更加有效的状况。例如，当ACL主要源于次要任务(例如，发短信、唱歌等)时，查找表440表示ACL的目标范围为中等的状况。例如，查找表440对应于用户执行在一定范围内更有效的状况。例如，当用户参与的认知刺激太少并因此具有低的ACL(例如，无聊、疲倦等)时，ACL指示驾驶员准备332不仅针对高ACL降低，而且也针对低合成CL降低。在各种实施方案中，高ACL值的范围是最不期望的范围，并且需要情感-认知负荷助理300进行最多的干预。
在操作中，用户准备计算模块330可使用认知负荷324和情绪度量326(例如，特定效价值和特定唤醒值)以确定表410或430中的特定条目。在这样的情况下，每个度量被分为两个或更多个离散状态。查找表410、430反映了值、ACL和用户准备状态332的特定组合之间的某些启发法。例如，与高认知负荷324、负情绪(负效价)和大量情绪的组合相比，高认知负荷324、正情绪(正效价)和大量情绪(高唤醒)的组合对用户执行的损害较小。在这种情况下，第一组合的条目可指示较低的ACL，并且导致处于目标范围内的用户准备状态332(被示出为条目412)，然而第二组合可指示较高的ACL，并且导致超出目标范围的用户准备状态332(被示出为条目432)。
在一些实施方案中，可从与多个用户相关联的历史数据中生成查找表410、430。在这种情况下，数据库142最新的查找表410、430，并且可由用户准备计算模块330参考。在一些实施方案中，用户准备应用140可基于与用户相关联的一个或多个调整权重来调整查找表410、430中的一者或多者。例如，用户准备应用140可使用历史ACL值和执行度量作为训练数据来执行各种基线和/或ML技术，以便将权重应用于ACL确定算法。例如，用户准备应用140可分析个体化用户数据并且确定特定用户需要最小的ACL和/或负效价值，以便有效地执行某些驾驶任务。在这样的情况下，用户准备应用140可调整查找表410、430中包括的一个或多个阈值和/或一个或多个条目，并且将个体化调整存储在数据库142中。
图5示出了根据各种实施方案的从由图1的用户准备应用140所得出的各个生物计量值计算出的情感-认知负荷。如图所示，曲线图500示出了对于给定的唤醒值，ACL是认知负荷324水平的函数。
在各种实施方案中，用户准备计算模块330可应用等式7或8，以便计算ACL为沿威布尔分布的连续函数。
ACL＝A×CLA×e-CLA (7)
ACL＝CL×ACL×e-ACL (8)
线510示出了与一定范围的认知负荷和低唤醒值相对应的ACL的威布尔分布。对于低唤醒水平，对于一定范围的认知负荷324(非常低的认知负荷除外)，ACL保持近似恒定。在这种情况下，ACL永远不会超过某个上限，这表明低唤醒值的驾驶员准备状态永远不会达到最大值。例如，对于低唤醒值而言，用户的反应时间可能相对较慢。
线520示出了与一定范围的认知负荷和中等唤醒值相对应的ACL的威布尔分布。对于中等唤醒水平，对于一定范围的合成负荷324，ACL和关联的用户准备状态332可能更高。例如，在某个认知负荷324之上，中等唤醒值的ACL高于较低唤醒水平的ACL值，这表明用户的积极思想使该用户能够处理更苛刻的任务。一旦认知负荷324达到阈值上限，则认知ACL和用户准备状态332就开始降低(例如，次要任务分散了用户的注意力)。
线530示出了与一定范围的认知负荷和高唤醒值相对应的ACL的威布尔分布。当处于高情绪状态时，可能最佳执行的范围(例如，最高的ACL值)比如线510、520所示的较低的唤醒水平下更窄。此外，最大ACL和相关联的用户准备状态332明显低于与较低唤醒水平相关联的最大ACL。
图6示出了根据各种实施方案的包括图3的情感-认知负荷数字助理300的示例性车辆系统600。如图所示，车辆系统600包括感测模块620、头部单元230、网络150和输出模块340。感测模块620包括面向驾驶员的传感器622(例如，相机)、舱非面向驾驶员的传感器624(例如，方向盘传感器、踏板传感器等)和车辆传感器626(例如，速度计、加速计等)。头部单元230包括娱乐子系统612、导航子系统614、网络模块616和高级驾驶员辅助系统(ADAS)618。输出模块340包括ADAS通知642、ADAS参数644、人机接口(HMI)646、车辆行为648、应用参数652和应用事件654。
在各种实施方案中，用户准备应用140可被包括在ADAS 618中，并且可从感测模块620中包括的一个或多个传感器622、624、626接收传感器数据。在各种实施方案中，用户准备应用140还可从导航子系统614和/或网络模块616接收数据。用户准备应用140分析所接收的数据以计算ACL，并且确定与驾驶员的认知负荷和情绪状态相关联的用户准备状态332。
在各种实施方案中，ADAS 618可将用户准备状态332发送到生成一个或多个输出信号的输出模块340。在可选实施方案中，ADAS618可基于用户准备状态332来生成输出信号。在各种实施方案中，输出信号可包括ADAS通知642、ADAS参数644、车辆行为648、应用参数652和/或应用事件654中的一个或多个。
感测模块620包括多种类型的传感器，包括面向驾驶员的传感器622(例如，相机、运动传感器等)、舱非面向驾驶员的传感器624(例如，运动传感器、压力传感器、温度传感器等)和车辆传感器(例如，面向外部的相机、加速度计等)。在各种实施方案中，感测模块620提供传感器数据的组合，该组合描述了其中更详细地观察到组合的情感-认知负荷的背景。例如，感测模块620可提供与车辆的操作相关联的一组值(例如，后轮胎的角速度、踏板移动的速度、车辆的速度等)。在这样的情况下，用户准备应用140可基于所接收的值，诸如通过比较车辆测得速度与位置的速度极限和/或周围车辆的速度来确定认知负荷值和/或情绪负荷值。
在各种实施方案中，车辆传感器626还可包括其他外部传感器。这样的外部传感器可包括光学传感器、声学传感器、道路振动传感器、温度传感器等。在一些实施方案中，感测模块和/或网络模块616可获取其他外部数据，诸如，地理位置数据(例如，GNNS系统，包括全球定位系统(GPS)、格洛纳斯、伽利略等)。在一些实施方案中，导航数据和/或地理位置数据可被组合以基于预期的驾驶状况来预测对ACL的改变。例如，预期的交通堵塞可使用户准备应用140预测在车辆到达受影响区域时ACL的增加。
网络模块616转换传感器模块620的结果。在各种实施方案中，网络模块616可检索特定值，诸如，感测数据662、连接的车辆数据664和/或历史数据(例如，先前的ACL、由远程设备计算的计算结果等)。例如，用户准备计算模块330可在将ACL映射到驾驶员准备值之前将当前的ACL与先前的执行进行比较。在一些实施方案中，驾驶员准备332可包括通知，该通知指示驾驶员与过去的执行相比是否已经提高、保持更加聚焦、参与等。
在一些实施方案中，网络模块616可传送由头部单元获取的数据，诸如一个或多个ACL、用户准备状态332和/或由传感器模块620获取的感测数据662。在这样的情况下，连接到网络150的一个或多个设备可将从网络模块616接收的数据与来自其他车辆和/或基础设施的数据合并，然后再由计算模块处理。例如，一个或多个设备可累积并编译感测数据，以使驾驶状况与所需的驾驶员准备相关联。
例如，一个或多个设备可将多个ACL计算累加为一个组的聚焦或参与的合计度量。例如，包括基于情感-认知负荷的助理300的智能家居系统可针对房间中的每个成员计算ACL，并且可在确定给定房间的照明亮度之前生成与房间中的多个成员相对应的合计用户准备状态。在另一示例中，基于情感-认知负荷的助理300可以强调某些成员(例如，强调一组客人的ACL)。
输出模块340响应于由ADAS 618提供的用户准备状态332执行一个或多个动作。例如，输出模块340可响应于用户准备状态332而生成一个或多个输出信号341，其修改应用和/或接口。例如，输出模块340可生成一个或多个输出信号341以修改HMI 646以显示通知消息和/或警报。在另一示例中，输出模块340可生成一个或多个输出信号以修改应用。在这种情况下，输出信号341可包括应用参数652和/或应用事件654。
在各种实施方案中，ADAS通知642可包括光指示，诸如环境光和情境光、音频通知、语音通知(例如，语音助手)、视觉通知消息、车辆中的触觉通知(例如，方向盘、座椅、头枕等)或可穿戴设备或非接触式触觉通知等。
在各种实施方案中，ADAS参数644可包括各种操作参数、设置或动作。例如，ADAS参数644可包括车辆气候控制设置(例如，车窗控制、乘客舱温度、增加风扇速度等)和/或嗅觉参数，诸如散发出镇定或刺激的特定芳香。在各种实施方案中，ADAS参数644可包括紧急呼叫参数，诸如触发拨打一个或多个紧急电话号码或建议用户连接到可能需要立即辅助和/或响应的特定联系情况。
在各种实施方案中，ADAS参数644可动态地激活L2+/L3+功能，诸如车道辅助、碰撞避免和/或自主驾驶。在一些实施方案中，ADAS参数644可以是二进制激活信号(开/关)；可选地，ADAS参数644可以是提供更为渐进的激活的激活信号(例如，当驾驶员似乎偏离车道时具有不同程度的自动校正)。在一些实施方案中，ADAS参数644可动态地激活碰撞避免系统。例如，输出模块340可动态地生成ADAS参数644，该ADAS参数根据用户准备状态332来调适系统的参数(例如，警告时间、制动强度等)。
在一些实施方案中，其他系统可基于用户准备状态332来生成响应。例如，导航子系统614可基于用户准备状态来生成特定的路线建议，诸如避开需要大量聚焦或注意的路线。另外地或可选地，娱乐子系统612可播放与特定情绪相关联的特定音轨，以维持用户准备状态332或改变用户准备状态332。
图7是根据各种实施方案的基于情感-认知负荷来生成输出信号的方法步骤的流程图。尽管相对于图1-图6的系统描述了方法步骤，但是本领域技术人员将理解，被配置为以任何顺序执行方法步骤的任何系统均落在各种实施方案的范围内。
如图所示，方法700从步骤701开始，在此用户准备应用140获取传感器数据。在各种实施方案中，各种传感器120获取与用户的大脑活动和/或情绪状态有关的传感器数据。例如，传感器120可包括相机，该相机获取聚焦在用户面部上的传感器数据。
在步骤703，用户准备应用140从传感器数据计算认知负荷。在各种实施方案中，用户准备应用140可分析所获取的传感器数据的部分，以便估计用户当前正经历的认知负荷。例如，用户准备应用140可对所接收的图像数据执行各种瞳孔测量技术，以便确定用户的瞳孔中的波动。然后，用户准备应用140可从瞳孔数据计算认知负荷。另外地或可选地，用户准备应用140可对所接收的图像数据执行各种眼睛运动分析，以便从用户的眼睛确定眼睛扫视、眼睛注视等。然后，用户准备应用140可根据眼睛扫视、眼睛注视等来计算认知负荷。
在步骤705，用户准备应用140从传感器数据计算一个或多个情绪度量。在各种实施方案中，可分析所获取的传感器数据的部分，以便估计用户当前正在经历的情绪参数化度量。例如，用户准备应用140可对所接收的图像数据执行各种面部表情估计技术，以确定用户正在经历的情绪。在另一示例中，对于面部表情估计另外地或可选地，用户准备应用140可对所接收的音频数据执行各种语音音调分析，以确定用户正在经历的情绪。用户准备应用140可将所估计的情绪映射到特定的唤醒和效价值。
在步骤707，用户准备应用140将情感-认知负荷(ACL)确定为认知负荷和情绪度量的合成。在各种实施方案中，用户准备应用140可执行一个或多个算法技术以便计算用户的情感-认知负荷(ACL)。例如，用户准备应用140可根据认知负荷的倒数和唤醒的倒数乘以效价来计算ACL(例如，等式4)。对于给定的一组认知负荷和唤醒值，这种算法强调正的情绪效价值。在另一示例中，用户准备应用140可参考一个或多个查找表来找到条目，该条目指定针对认知负荷、唤醒和效价的特定组合的特定ACL。
在步骤709，用户准备应用140将ACL与一个或多个阈值ACL值进行比较以确定用户准备状态。在各种实施方案中，用户准备应用140可将ACL值与将用户准备状态分开的一个或多个阈值进行比较。例如，用户准备应用140可将ACL与最小阈值和最大阈值进行比较，以确定ACL处于与特定用户准备状态相关联的目标ACL阈值范围内。在这样的情况下，用户准备应用140可确定启发法指示目标ACL范围对应于用户准备的中等水平，指示用户足够参与来对刺激作出响应而不会不知所措。在其他实施方案中，最小阈值将中等ACL范围与对应于目标ACL范围的较低ACL范围分开。在这种情况下，中等ACL值可对应于目标范围之外的用户准备状态，指示可能需要对用户给予一些辅助才能执行所需的任务。
在步骤711，用户准备应用140可以任选地使输出设备340基于用户准备状态来生成输出信号。在各种实施方案中，用户准备应用140可将用户准备状态发送到输出模块340。在这样的情况下，接收用户准备状态导致输出模块340生成一个或多个输出信号。在各种实施方案中，输出信号可使一个或多个设备(诸如，辅助驾驶系统、显示设备和/或反馈系统)调整与处理任务相关联的一个或多个参数。例如，在接收指示需要干预的用户准备状态时，输出设备340可生成一个或多个输出信号以辅助用户处理任务和/或降低ACL，使得用户将很快能够成功处理任务。
总而言之，基于情感-认知的负荷数字助理接收传感器数据并确定用户处理环境中的任务的准备。各种传感器获取与用户或环境相关联的传感器数据，并且将传感器数据发送到基于情感-认知负荷的数字助理中包括的用户准备应用。用户准备应用从传感器数据计算与用户的心理生理状态相关联的各种生物计量值。这样的生物计量值包括估计用户正在采用的大脑活动量的认知负荷，以及估计用户正经历的情绪负荷的情感负荷。在各种实施方案中，情感负荷可包括一个或多个单独的情绪度量，诸如单独的唤醒和/或效价值。在确定用户的单独的生物计量值后，用户准备应用将使用一个或多个算法技术来分析认知负荷和情感负荷，以确定指示用户总体精神活动的情感-认知负荷(ACL)。然后，用户准备应用确定指示用户管理一组任务的能力的用户准备状态。由用户准备应用确定的用户准备状态使得输出设备和/或其他应用以与所确定的用户准备状态相对应的程度来辅助用户。
基于情感-认知负荷的数字助理的至少一个技术优势是，作为估计了用户的认知负荷和情绪状态的直接测量结果的合成来计算用户准备状态提供了对用户处理任务的能力的更准确指示。特别地，通过将情绪识别和认知负荷相组合，基于情感-认知负荷的数字助理可描述认知的质量(由思维完成的操作，被作为认知负荷测量)以及情绪两者。此外，由情感-认知负荷数字助理估计的精神状态与自主人体系统相关联，从而使估计不易出错。因此，基于所估计的用户的大脑活动以及情绪状态，辅助用户以执行某些任务的系统可更准确地辅助用户。
1.在各种实施方案中，一种计算机实施的方法包括：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据来计算与该环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；基于认知负荷和情感负荷两者，确定情感-认知负荷；基于情感-认知负荷来确定与用户相关联的用户准备状态；并且基于用户准备状态使一个或多个动作发生。
2.根据条款1的计算机实施的方法，其中情感负荷包括唤醒值和效价值，并且确定情感-认知负荷包括：基于认知负荷、唤醒值和效价值来搜索一个或多个查找表，该一个或多个查找表包括指定情感-认知负荷的条目；并且识别一个或多个查找表中包括的条目，其中该条目对应于一组认知负荷、唤醒值和效价值。
3.根据条款1或2的计算机实施的方法，其中传感器数据包括图像数据。
4.根据条款1-3中的任一项的计算机实施的方法，其中情感负荷包括唤醒值和效价值，并且确定情感-认知负荷包括：应用算法技术来根据认知负荷、以及唤醒值或效价值中的至少一个计算该情感-认知负荷。
5.根据条款1-4中的任一项的计算机实施的方法，其中该算法技术包括基于认知负荷和唤醒值来应用威布尔分布函数。
6.根据条款1-5中的任一项的计算机实施的方法，其中计算认知负荷包括：从传感器数据中包括的图像数据中确定一个或多个眼睛参数；并且从一个或多个眼睛参数中计算认知负荷；并且，计算情感负荷包括：从传感器数据确定预定义的情绪；并且识别与该预定义的情绪相对应的唤醒值；并且识别与该预定义的情绪相对应的效价值，其中该唤醒值和该效价值被包括在情感负荷中。
7.根据条款1-6中的任一项的计算机实施的方法，其中基于用户准备状态使一个或多个动作发生包括：使输出设备基于用户准备状态来生成输出信号。
8.根据条款1-7中的任一项的计算机实施的方法，其中输出信号使输出设备改变至少一个操作参数。
9.根据条款1-8中的任一项的计算机实施的方法，其中输出信号使从输出设备发出至少一个通知消息。
10.根据条款1-9中的任一项的计算机实施的方法，其中输出信号使一个或多个灯改变亮度。
11.在各种实施方案中，一种或多种非暂时性计算机可读介质存储指令，指令当由一个或多个处理器执行时，使该一个或多个处理器执行以下步骤：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据计算与环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；应用算法技术根据认知负荷和情感负荷来计算情感-认知负荷；基于情感-认知负荷来确定与用户相关联的用户准备状态；并且基于用户准备状态来使一个或多个动作发生。
12.根据条款11的一种或多种非暂时性计算机可读介质，其中传感器数据包括图像数据。
13.根据条款11或12的一种或多种非暂时性计算机可读介质，其中计算认知负荷包括：从传感器数据中包括的图像数据中确定一个或多个眼睛参数；并且从一个或多个眼睛参数中计算认知负荷；并且，计算情感负荷包括：从传感器数据确定预定义的情绪；并且识别与该预定义的情绪相对应的唤醒值；并且识别与该预定义的情绪相对应的效价值，其中该唤醒值和该效价值被包括在情感负荷中。
14.根据条款11-13中任一项的一种或多种非暂时性计算机可读介质，其中传感器数据包括生物计量数据，该生物计量数据包括瞳孔大小、心率、皮肤电反应或血氧水平中的至少一个。
15.根据条款11-14中任一项的一种或多种非暂时性计算机可读介质，其还包括指令，该指令当由一个或多个处理器执行时，使一个或多个处理器执行以下步骤：基于传感器数据来计算与环境内的第二用户相关联的第二认知负荷；基于传感器数据来计算与第二用户的第二情感状态相关联的第二情感负荷；基于第二认知负荷和第二情感负荷两者来确定第二情感-认知负荷；将情感-认知负荷和第二情感-认知负荷组合以生成合计情感-认知负荷；基于该合计情感-认知负荷确定与用户和第二用户两者相关联的合计用户准备状态；并且基于合计用户准备状态使一个或多个动作发生。
16.在各种实施方案中，一种基于情感-认知负荷的设备包括：至少一个传感器，其被配置为获取传感器数据；存储器，其存储用户准备应用；以及处理器，其至少耦接到存储器，并且在执行用户准备应用时，其被配置为：从至少一个传感器接收与环境相关联的传感器数据；基于该传感器数据计算与该环境内的用户相关联的认知负荷；基于该传感器数据计算与用户的情绪状态相关联的唤醒值或效价值中的至少一个；基于认知负荷、以及唤醒值或效价值中的至少一个来确定情感-认知负荷；基于该情感-认知负荷来确定与用户相关联的用户准备状态；并且基于该用户准备状态使一个或多个动作发生。
17.根据条款16的基于情感-认知负荷的设备，其中传感器数据包括图像数据。
18.根据条款16或17的基于情感-认知负荷的设备，其中确定情感-认知负荷包括：应用算法技术根据认知负荷、以及唤醒值或效价值中的至少一个来计算情感-认知负荷。
19.根据条款16-18中的任一项的基于情感-认知负荷的设备，其中基于情感-认知负荷的设备被包括在车辆的高级驾驶员辅助系统(ADAS)中。
20.根据条款16-19中的任一项的基于情感-认知负荷的设备，其中处理器被配置为使一个或多个动作发生包括生成使ADAS改变至少一个ADAS参数的输出信号。
权利要求中任一项所述的权利要求要素和/或本申请中描述的任何要素中的任何一个的呈任何形式的任何和所有组合均落入本发明和保护的预期范围内。
出于说明的目的已经呈现了对各种实施方案的描述，但这并非意在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是明显的。
本实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方案的形式，它们在本文中一般都可称为“模块”、“系统”或“计算机”。另外，本公开中描述的任何硬件和/或软件技术、过程、功能、组件、引擎、模块或系统可被实施为一个电路或一组电路。此外，本公开的各方面可采用计算机程序产品的形式，该计算机程序产品在其上实现有计算机可读程序代码的一个或多个计算机可读介质中体现。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述介质的任何合适组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下项：具有一根或多根导线的电连接装置、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或上述任何适当的组合。在本文件的上下文中，计算机可读存储介质可以是能够包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。
上面参考根据本公开的实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。将会理解，流程图图示和/或框图的每个框、以及在流程图图示和/或框图中的框的组合可以由计算机程序指令来实施。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器。指令当经由计算机或其他可编程数据处理装置的处理器执行时，使得能够实现在流程图和/或框图一个或多个框中指定的功能/动作。这样的处理器可为但不限于通用处理器、专用处理器、应用特定处理器或现场可编程门阵列。
附图中的流程图和框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能的实现方式的架构、功能性和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、段或一部分，其包括用于实施所指定的逻辑功能的一个或多个可执行指令。还应当注意的是，在一些可选的实现方式中，框中提到的功能可以不按附图中提到的顺序发生。例如，连续示出的两个框实际上可以大致上同时执行，或者所述框有时可以按相反的顺序执行，这取决于所涉及的功能性。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实施。
虽然前述内容涉及本公开的实施方案，但是可在不脱离本公开的基本范围的情况下设计出本公开的其他和更多实施方案，并且所述范围由所附权利要求确定。

Claims (20)

1.一种计算机实施的方法，其包括：
从至少一个传感器接收与环境相关联的传感器数据；
基于所述传感器数据，计算与所述环境内的用户相关联的认知负荷；
基于所述传感器数据，计算与所述用户的情绪状态相关联的情感负荷；
基于所述认知负荷和所述情感负荷两者，确定情感-认知负荷；
基于所述情感-认知负荷，确定与所述用户相关联的用户准备状态；并且
基于所述用户准备状态使一个或多个动作发生。
2.根据权利要求1所述的计算机实施的方法，其中：
所述情感负荷包括唤醒值和效价值；并且
确定所述情感-认知负荷包括：
基于所述认知负荷、所述唤醒值和所述效价值，搜索一个或多个查找表，所述一个或多个查找表包括指定情感-认知负荷的条目，并且
识别所述一个或多个查找表中包括的条目，其中所述条目对应于一组所述认知负荷、所述唤醒值和所述效价值。
3.根据权利要求1所述的计算机实施的方法，其中所述传感器数据包括图像数据。
4.根据权利要求1所述的计算机实施的方法，其中：
所述情感负荷包括唤醒值和效价值；并且
确定所述情感-认知负荷包括：应用算法技术应用算法技术根据所述认知负荷、以及所述唤醒值或所述效价值中的至少一个来计算所述情感-认知负荷。
5.根据权利要求4所述的计算机实施的方法，其中所述算法技术包括基于所述认知负荷和所述唤醒值来应用威布尔分布函数。
6.根据权利要求1所述的计算机实施的方法，其中：
计算所述认知负荷包括：
从所述传感器数据中包括的图像数据确定一个或多个眼睛参数，并且
从所述一个或多个眼睛参数计算所述认知负荷；并且计算所述情感负荷包括：
从所述传感器数据确定预定义的情绪，并且
识别与所述预定义的情绪相对应的唤醒值，并且
识别与所述预定义的情绪相对应的效价值，
其中所述唤醒值和所述效价值被包括在所述情感负荷中。
7.根据权利要求1所述的计算机实施的方法，其中基于所述用户准备状态使所述一个或多个动作发生包括：使输出设备基于所述用户准备状态来生成输出信号。
8.根据权利要求7所述的计算机实施的方法，其中所述输出信号使所述输出设备改变至少一个操作参数。
9.根据权利要求7所述的计算机实施的方法，其中所述输出信号使从所述输出设备发出至少一个通知消息。
10.根据权利要求7所述的计算机实施的方法，其中所述输出信号使一个或多个灯改变亮度。
11.一种或多种非暂时性计算机可读介质，其存储指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：
从至少一个传感器接收与环境相关联的传感器数据；
基于所述传感器数据，计算与所述环境内的用户相关联的认知负荷；
基于所述传感器数据，计算与所述用户的情绪状态相关联的情感负荷；
应用算法技术，根据所述认知负荷和所述情感负荷来计算情感-认知负荷；
基于所述情感-认知负荷，确定与所述用户相关联的用户准备状态；并且
基于所述用户准备状态使一个或多个动作发生。
12.根据权利要求11所述的一种或多种非暂时性计算机可读介质，其中所述传感器数据包括图像数据。
13.根据权利要求11所述的一种或多种非暂时性计算机可读介质，其中：
计算所述认知负荷包括：
从所述传感器数据中包括的图像数据确定一个或多个眼睛参数，并且
从所述一个或多个眼睛参数计算所述认知负荷；并且
计算所述情感负荷包括：
从所述传感器数据确定预定义的情绪，并且
识别与所述预定义的情绪相对应的唤醒值，并且
识别与所述预定义的情绪相对应的效价值，
其中所述唤醒值和所述效价值被包括在所述情感负荷中。
14.根据权利要求11所述的一种或多种非暂时性计算机可读介质，其中所述传感器数据包括生物计量数据，所述生物计量数据包括瞳孔大小、心率、皮肤电反应或血氧水平中的至少一个。
15.根据权利要求11所述的一种或多种非暂时性计算机可读介质，其还包括指令，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：
基于所述传感器数据，计算与所述环境内的第二用户相关联的第二认知负荷；
基于所述传感器数据，计算与所述第二用户的第二情绪状态相关联的第二情感负荷；
基于所述第二认知负荷和所述第二情感负荷两者，确定第二情感-认知负荷；
组合所述情感-认知负荷和所述第二情感-认知负荷，以产生合计的情感-认知负荷；
基于所述合计的情感-认知负荷，确定与所述用户和所述第二用户两者相关联的合计用户准备状态；并且
基于所述合计用户准备状态使一个或多个动作发生。
16.一种基于情感-认知负荷的设备，其包括：
至少一个传感器，其被配置为获取传感器数据；
存储器，其存储用户准备应用；以及
处理器，其至少耦接到所述存储器，并且在执行所述用户准备应用时，被配置为：
从所述至少一个传感器接收与环境相关联的传感器数据；
基于所述传感器数据，计算与所述环境内的用户相关联的认知负荷；
基于所述传感器数据，计算与所述用户的情绪状态相关联的唤醒值或效价值中的至少一个；
基于所述认知负荷、以及所述唤醒值或所述效价值中的至少一个，确定情感-认知负荷；
基于所述情感-认知负荷，确定与所述用户相关联的用户准备状态；并且
基于所述用户准备状态使一个或多个动作发生。
17.根据权利要求16所述的基于情感-认知负荷的设备，其中所述传感器数据包括图像数据。
18.根据权利要求16所述的基于情感-认知负荷的设备，其中确定所述情感-认知负荷包括：应用算法技术根据所述认知负荷、以及所述唤醒值或所述效价值中的至少一个来计算所述情感-认知负荷。
19.根据权利要求16所述的基于情感-认知负荷的设备，其中所述基于情感-认知负荷的设备被包括在车辆的高级驾驶员辅助系统(ADAS)中。
20.根据权利要求19所述的基于情感-认知负荷的设备，其中所述处理器被配置为使一个或多个动作发生包括生成使所述ADAS改变至少一个ADAS参数的输出信号。
CN202110356056.0A 2020-04-02 2021-04-01 基于情感-认知负荷的数字助理 Pending CN113491519A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/839,056 2020-04-02
US16/839,056 US11702103B2 (en) 2020-04-02 2020-04-02 Affective-cognitive load based digital assistant

Publications (1)

Publication Number Publication Date
CN113491519A true CN113491519A (zh) 2021-10-12

Family

ID=74873572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356056.0A Pending CN113491519A (zh) 2020-04-02 2021-04-01 基于情感-认知负荷的数字助理

Country Status (3)

Country Link
US (2) US11702103B2 (zh)
EP (1) EP3889740A1 (zh)
CN (1) CN113491519A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593670B2 (en) * 2020-01-14 2023-02-28 Dell Products L.P. System and method for managing a flow state of a user of an information handling system
US11808591B2 (en) 2020-06-04 2023-11-07 Harman International Industries, Incorporated Affective-cognitive load based navigation
US11539762B2 (en) 2020-10-06 2022-12-27 Harman International Industries, Incorporated Conferencing based on driver state and context
US11518305B2 (en) 2020-10-08 2022-12-06 Harman International Industries, Incorporated Techniques for generating vehicle-to-pedestrian (V2P) communications based on driver monitoring
KR20220060137A (ko) * 2020-11-04 2022-05-11 현대자동차주식회사 차량 및 그 제어방법
GB2607086A (en) * 2021-05-28 2022-11-30 Continental Automotive Gmbh In-car digital assistant system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922567B2 (en) * 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
WO2016115053A1 (en) * 2015-01-12 2016-07-21 Harman International Industries, Incorporated Cognitive load driving assistant
JP2018102617A (ja) * 2016-12-27 2018-07-05 オムロン株式会社 感情推定装置、方法およびプログラム
US10850746B2 (en) 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions

Also Published As

Publication number Publication date
US20230303118A1 (en) 2023-09-28
EP3889740A1 (en) 2021-10-06
US11702103B2 (en) 2023-07-18
US20210309252A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113491519A (zh) 基于情感-认知负荷的数字助理
US20210268902A1 (en) Driving assistance apparatus and driving assistance method
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20210154430A1 (en) Systems and methods for predicting and preventing motion sickness
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JPWO2018190152A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110843798A (zh) 协调通知到车辆驾驶员的递送以减少注意力分散
JP2018180983A (ja) 情報処理装置、情報処理方法、及び、プログラム
Melnicuk et al. Towards hybrid driver state monitoring: Review, future perspectives and the role of consumer electronics
US11937930B2 (en) Cognitive state-based seamless stimuli
EP3882097A1 (en) Techniques for separating driving emotion from media induced emotion in a driver monitoring system
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
CN113449952A (zh) 自动估计驾驶员的技能水平和可信度水平
JP2019068935A (ja) 眠気度予測装置及び眠気度予測方法
US20210323559A1 (en) Data processing device, human-machine interface system including the device, vehicle including the system, method for evaluating user discomfort, and computer-readable medium for carrying out the method
US11539762B2 (en) Conferencing based on driver state and context
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
US11912267B2 (en) Collision avoidance system for vehicle interactions
WO2020039995A1 (ja) 運転制御調整装置および運転制御調整方法
JP2019191859A (ja) 車両の情報提示装置及び車両の情報提示方法
Ujir et al. Real-Time Driver’s Monitoring Mobile Application through Head Pose, Drowsiness and Angry Detection
CN111783550B (zh) 驾驶人情绪的监控调节方法及系统
CN115517639A (zh) 自动驾驶系统的信任度的校准方法、装置、设备及车辆
JP2024026816A (ja) 情報処理システム、情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination