CN109890289A - 情绪估计设备、方法和程序 - Google Patents

情绪估计设备、方法和程序 Download PDF

Info

Publication number
CN109890289A
CN109890289A CN201780064807.3A CN201780064807A CN109890289A CN 109890289 A CN109890289 A CN 109890289A CN 201780064807 A CN201780064807 A CN 201780064807A CN 109890289 A CN109890289 A CN 109890289A
Authority
CN
China
Prior art keywords
mood
information
learning data
unit
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780064807.3A
Other languages
English (en)
Inventor
小竹康代
中岛宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109890289A publication Critical patent/CN109890289A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0095—Automatic control mode change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Abstract

用于辅助驾驶的设备和方法，其中，该方法包括以下步骤：存储(S1110)表示对象的情绪的信息以及表示对象的活动的信息；生成(S1113)表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系的学习数据，并且将学习数据存储到存储器中；在生成学习数据之后基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据来估计(S1123)对象的当前情绪；以及基于所估计的当前情绪来提供(S1190)车辆的驾驶辅助。同样，提供了生产线控制和保健支持设备，其中，该设备基于所估计的情绪来提供生产线控制和保健支持。而且，提供了简单的、可广泛应用的情绪估计设备，该情绪估计设备能在没有用于监测外部事件的任何组件的情况下估计对象的情绪。在学习模式下，该设备通过利用监督数据和变量进行多重回归分析来生成用于估计在激发和效价上的情绪变化的回归方程，监督数据是表示对象的通过情绪输入装置(2)输入的情绪的信息，变量是由测量装置(3)从对象的测量数据项或者心脏电活动H、皮肤电位活动(G)、眼运动(EM)、运动(BM)和活动量(Ex)同时获取的特征量。该设备通过使用回归方程和对象的由测量装置(3)测得的测量数据项或心脏电活动(H)、皮肤电位活动(G)、眼运动(EM)、运动(BM)以及活动量(Ex)的特征量的变化来估计对象的情绪变化。

Description

情绪估计设备、方法和程序
技术领域
本发明涉及对对象的情绪进行估计的情绪估计设备、方法和程序。
背景技术
已经开发了用于估计人类的精神状态的技术以促进安全驾驶。例如，专利文献1描述了一种技术，该技术用于测量对象的生命体征(诸如，心率和血压)，获取对象对可能影响对象的精神状态的外部事件的反应，基于认知反应来确定对对象的精神状态的变化的影响，并且基于该影响和生命体征来估计对象的精神状态。
引文列表
专利文献
专利文献1：日本申请第4748084号
发明内容
技术问题
为了利用在专利文献1中描述的技术来估计对象的精神状态，需要检测可能影响对象的精神状态的外部事件，并且需要同时检测对象的认知反应。例如，当该技术用于在驾驶期间的情绪估计时，估计设备需要利用车辆信息和通信系统VICS(注册商标)信息接收器、车速传感器、用于行车间距的雷达传感器、摄像头或者其它装置，来检测交通拥挤、切入车道的另一车辆以及其它交通状况。同时，该设备还需要利用传感器(诸如，生命体征传感器)来感测对象的认知反应。因此，使用上述技术的估计设备需要包括外部事件监测系统。这限制了该设备的应用，并且还不能避免该设备的较大并且复杂的设计。
本发明的一个或者多个方面涉及简单并且广泛适用的情绪估计设备以及方法和程序，该情绪估计设备估计对象的情绪，而不使用有关外部事件的信息。更具体地，一个或者多个方面涉及一种设备，该设备可以基于改进的对人的精神状态的估计来更好地辅助驾驶车辆，控制生产线或者支持人的保健，其中，可以通过估计人的情绪来容易地并且准确地获得后者。
问题的解决方案
根据本发明的某些一般方面，提供了一种设备，该设备用于基于存储的(例如，先前生成的)学习数据和对象(subject)的当前活动来估计对象的当前情绪；所估计的当前情绪然后可以用于改进对象与机器的交互。例如，在驾驶车辆的情况下，可以基于准确地估计的情绪来提供驾驶辅助，例如，当实际需要时，与特定所估计的情绪对应，可以提供驾驶辅助；因此，可以实现更安全的驾驶。在生产线的情况下，与准确地估计的情绪对应，可以更准确地提供生产线控制，从而可以实现生产率和/或操作安全性。例如，在保健支持设备的情况下，与更准确地估计的情绪对应，可以更准确地提供支持保健的反馈。
本发明的第一方面提供了一种设备，该设备获取表示对象的情绪的信息，获取表示对象的活动的信息，并且生成表示所获取的表示对象的情绪的信息与所获取的表示对象的活动的信息之间的关系的学习数据，并且将该学习数据存储到存储器中。在该状态下，该设备基于所获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪。
本发明的第二方面提供了一种设备，该设备在生成学习数据时生成回归方程并将生成的回归方程存储到存储器中作为学习数据，该回归方程代表表示对象的情绪的信息与表示活动的信息之间的关系，在回归方程中，正确值(correct value)是所获取的表示对象的情绪的信息，并且变量是同时获取的表示对象的活动的信息。
本发明的第三方面提供了一种设备，该设备获取有关情绪激发和情绪效价的信息作为表示对象的情绪的信息，并且生成回归方程并将各个生成的回归方程存储到存储器中作为学习数据，该回归方程针对情绪激发并针对情绪效价、代表表示对象的情绪的信息与表示活动的之间的关系。
本发明的第四方面提供了一种设备，该设备在生成学习数据时限定多个窗口，各个窗口具有预定单位持续时间并且布置在按时间顺序彼此偏移的时间点处；并且针对各个窗口生成表示各个窗口内的表示对象的情绪的信息的变化与表示对象的活动的信息的变化之间的关系的学习数据。
本发明的第五方面提供了一种设备，该设备针对窗口的单位持续时间和窗口的时间偏移中的至少一个中的预定值的每次改变，生成代表窗口内的表示对象的情绪的信息的变化与表示对象的活动的信息的变化之间的关系的学习数据。该设备进一步针对各个生成的学习数据集，计算有关基于学习数据获取的对情绪的估计的信息的变化与有关情绪的正确值的信息的变化之间的差异，并且选择使得差异最小的、窗口的单位持续时间和时间偏移中的至少一个。
本发明的第六方面提供了一种设备，该设备获取包括以下中的至少一个的测量结果的测量信息作为表示对象的活动的信息：心脏电活动、皮肤电位活动、眼运动、运动和活动量。
本发明的第七方面提供了一种设备，该设备包括：学习数据更新单元，该学习数据更新单元将由情绪估计单元估计的情绪值与情绪的正确值的范围进行比较，并且基于比较的结果来更新存储在存储器中的学习数据。
本文描述了进一步的方面，为了方便起见，编号为A1、A2等。
根据方面A1，提供了一种用于辅助驾驶车辆的设备，该设备包括：
存储单元，该存储单元被配置为存储表示对象的情绪的信息以及表示对象的活动的信息，其中，优选地，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器(例如，见稍后描述的根据(多种)情绪状态传感器配置设置的(多个)情绪状态传感器的示例)获取的生理参数有关的信息，并且其中，优选地，表示对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器(例如，见稍后描述的根据(多种)活动传感器配置设置的(多个)活动传感器的示例)获取的生理参数有关的信息，其中，优选地，第一传感器和第二传感器彼此不同，和/或优选地，第一配置和第二配置彼此不同；
学习数据生成单元，该学习数据生成单元被配置为生成学习数据并且将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系；
情绪估计单元，该情绪估计单元被配置为，在生成学习数据之后，基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
辅助单元，该辅助单元被配置为基于所估计的当前情绪来提供车辆的驾驶辅助，其中，驾驶辅助优选地包括：在驾驶期间辅助单元主动控制车辆。
优选地，存储单元被配置为存储表示多个对象的情绪的信息以及表示多个对象的活动的信息，这种信息中的每一个优选地由用于相应对象的相应传感器获得。进一步优选地，学习数据生成单元被配置为，基于多个对象的所存储的信息来生成代表表示情绪的信息与表示活动的信息之间的关系的学习数据，并且进一步优选地，情绪估计单元被配置为基于表示一个对象的当前活动的信息来估计所述一个对象的当前情绪。
A2.根据方面A1的设备，其包括：
认知状态估计单元，该认知状态估计单元被配置为基于表示对象的活动的进一步信息来确定对象的认知状态，其中
辅助单元进一步被配置为进一步基于认知状态来提供车辆的驾驶辅助。
A3.根据方面A1或A2的设备，其中，所述驾驶辅助包括以下中的任何一个或者任何组合：在驾驶期间辅助单元主动控制车辆和在驾驶期间向车辆的驾驶员提供至少一个反馈。
A4.根据方面A1至A3中任一项的设备，其中，
表示对象的情绪的信息被展示在二维坐标系中，该二维坐标系具有表示情绪激发(emotional arousal)的第一轴和表示情绪效价(emotional valence)的第二轴，并且所估计的当前情绪被输出为与情绪激发和情绪效价对应的值，以及
辅助单元被配置为提供与情绪激发的程度和情绪效价的程度中的至少一个反对应的驾驶辅助度。
A5.一种用于控制生产线的设备，该设备包括：
存储单元，该存储单元被配置为存储表示对象的情绪的信息以及表示对象的活动的信息，其中，优选地，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，优选地，表示对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，优选地，第一传感器和第二传感器彼此不同和/或优选地，第一配置和第二配置彼此不同；
学习数据生成单元，该学习数据生成单元被配置为生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系；
情绪估计单元，该情绪估计单元被配置为，在生成学习数据之后，基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
控制单元，该控制单元被配置为基于所估计的当前情绪来控制生产线。
优选地，控制单元被配置为基于所估计的当前情绪来控制生产线中的一个组件。
A6.根据方面A5的设备，其包括：
认知状态估计单元，该认知状态估计单元被配置为基于表示对象的活动的进一步信息来确定对象的认知状态，其中
控制单元进一步被配置为进一步基于认知状态来控制生产线。
A7.根据方面A5或A6的设备，其中，控制单元进一步被配置为执行以下中的任何组合：控制生产线组件的移动速度，和控制生产线组件的工作速度。
A8.根据方面A5至A7中任一项的设备，其中
表示对象的情绪的信息被展示在二维坐标系中，该二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与情绪激发和情绪效价对应的值，以及
控制单元被配置为提供与情绪激发的程度和情绪效价的程度中的至少一个反对应的生产线控制度。
A9.一种用于对象的保健支持的设备，该设备包括：
存储单元，该存储单元被配置为存储表示对象的情绪的信息以及表示对象的活动的信息，其中，优选地，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，优选地，表示对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，优选地，第一传感器和第二传感器彼此不同和/或优选地，第一配置和第二配置彼此不同；
学习数据生成单元，该学习数据生成单元被配置为生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系；
情绪估计单元，该情绪估计单元被配置为，在生成学习数据之后，基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
控制单元，该控制单元被配置为基于所估计的当前情绪来向对象提供保健支持反馈。
A10.根据方面A9的设备，其包括：
认知状态估计单元，该认知状态估计单元被配置为基于表示对象的活动的进一步信息来确定对象的认知状态，其中
控制单元进一步被配置为进一步基于认知状态来向对象提供保健支持反馈。
A11.根据方面A9或A10的设备，其中，保健支持反馈包括保健支持信息和保健支持刺激中的任何组合。
A12.根据方面A9至A11中任一项的设备，其中
表示对象的情绪的信息被展示在二维坐标系中，该二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与情绪激发和情绪效价对应的值，并且控制单元被配置为提供一定程度的保健支持反馈，该一定程度的保健支持反馈与情绪激发的程度和情绪效价的程度中的至少一个对应。
A13.一种情绪估计设备，其包括：
第一获取单元，该第一获取单元被配置为获取表示对象的情绪的信息；
第二获取单元，该第二获取单元被配置为获取表示对象的活动的信息，其中，优选地，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，优选地，表示对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，优选地，第一传感器和第二传感器彼此不同和/或优选地，第一配置和第二配置彼此不同；
学习数据生成单元，该学习数据生成单元被配置为生成关系的学习数据并将该学习数据存储到存储器中，该学习数据表示由第一获取单元获取的表示对象的情绪的信息与由第二获取单元获取的表示对象的活动的信息之间；以及
情绪估计单元，该情绪估计单元被配置为，在生成学习数据之后，基于由第二获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪，其中
表示对象的情绪的信息被展示在二维坐标系中，该二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与情绪激发和情绪效价对应的值。
A14.根据方面A1至A13中任一项的情绪估计设备，其中
学习数据生成单元生成回归方程并将生成的回归方程存储到存储器中作为学习数据，该回归方程代表表示对象的情绪的信息与表示活动的信息之间的关系，在回归方程中，正确值是由第一获取单元获取的表示对象的情绪的信息，并且变量是由第二获取单元同时获取的表示对象的活动的信息。
A15.根据方面A1或者A14中任一项的情绪估计设备，其中
学习数据生成单元生成回归方程并将各个生成的回归方程存储到存储器中作为学习数据代表，该回归方程针对情绪激发并针对情绪效价，表示对象的情绪的信息与表示活动的信息之间的关系。
A16.根据方面A1至A15中任一项的情绪估计设备，其中，
学习数据生成单元限定多个窗口，各个窗口具有预定单位持续时间并且布置在按时间顺序彼此偏移的时间点处；并且学习数据生成单元针对各个窗口，生成表示各个窗口内的表示对象的情绪的信息的变化与表示对象的活动的信息的变化之间的关系的学习数据。
A17.根据方面A16的情绪估计设备，其中
学习数据生成单元包括：
生成器，该生成器被配置为针对窗口的单位持续时间和窗口的时间偏移中的至少一个中的预定值的每次改变，生成代表窗口内的表示对象的情绪的信息的变化与表示对象的活动的信息的变化之间的关系的学习数据；以及
选择器，该选择器被配置为针对各个生成的学习数据集，计算有关基于学习数据获取的对情绪的估计的信息的变化与有关情绪的由第一获取单元获取的正确值的信息的变化之间的差异，并且选择使得差异最小的、窗口的单位持续时间或者时间偏移中的至少一个。
A18.根据方面A1至A17中任一项的情绪估计设备，其中
第二获取单元获取包括以下中的至少一个的测量结果的测量信息作为表示对象的活动的信息：心脏电活动、皮肤电位活动、眼运动、运动和活动量。
A19.根据方面A1至A18中任一项的情绪估计设备，其进一步包括：
学习数据更新单元，该学习数据更新单元被配置为，将由情绪估计单元估计的情绪值与情绪的正确值的范围相比较，并且基于比较的结果来更新存储在存储器中的学习数据。
A20.一种由包括处理器和存储器的情绪估计设备实施的情绪估计方法，该方法包括：
获取表示对象的情绪的信息；
获取表示对象的活动的信息，其中，优选地，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，优选地，表示对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，优选地，第一传感器和第二传感器彼此不同和/或优选地，第一配置和第二配置彼此不同；
生成学习数据并将该学习数据存储到存储器中，该学习数据表示所获取的表示对象的情绪的信息与所获取的表示对象的活动的信息之间的关系；以及
在生成学习数据之后，获取表示对象的当前活动的信息，并且基于所获取的表示当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪，其中
将表示对象的情绪的信息展示在二维坐标系中，该二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且将所估计的当前情绪输出为与情绪激发和情绪效价对应的值。
A21.一种情绪估计程序，其使处理器能够用作根据方面A1至A19中任一项的情绪估计设备中包括的各个组件。
A22.一种用于车辆辅助车辆驾驶的方法，该方法包括以下步骤：
存储表示对象的情绪的信息以及表示对象的活动的信息；
生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系；
在生成学习数据之后，基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
基于所估计的当前情绪来提供车辆的驾驶辅助。
A23.根据方面A22的方法，其包括：
基于表示对象的活动的进一步信息来确定对象的认知状态，其中
提供对车辆的驾驶辅助进一步基于认知状态。
A24.根据方面A22或者A23的方法，其中，所述驾驶辅助包括以下中的任何一个或者任何组合：在驾驶期间辅助单元主动控制车辆，和在驾驶期间向车辆的驾驶员提供至少一个反馈。
A25.根据方面A22至A24中任一项的方法，其中，提供驾驶辅助包括：提供与所估计的激发的程度和所估计的效价的的程度中至少一个反对应的驾驶辅助度，所估计的激发和所估计的效价包括在所估计的当前情绪中。
A26.用于控制生产线的方法，该方法包括以下步骤：
存储表示对象的情绪的信息以及表示对象的活动的信息；
生成学习数据并且将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与所存储的表示对象的活动的信息之间的关系；
在生成学习数据之后，基于由获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
根据所估计的当前情绪来控制生产线。
A27.根据方面A26的方法，其包括以下步骤：基于表示对象的活动的进一步信息来进一步确定对象的认知状态，其中，控制生产线进一步基于认知状态。
A28.根据方面A26或A27的方法，其中，控制的步骤包括：控制生产线组件的移动速度和控制生产线组件的工作速度中的任何组合。
A29.根据方面A26至A28中任一项的方法，其中，控制的步骤包括：提供与所估计的激发的程度和所估计的效价的程度中的至少一个反对应的生产线控制度，所估计的激发和所估计的效价包括在所估计的当前情绪中。
A30.一种用于对象的保健支持的方法，该方法包括以下步骤：
存储表示对象的情绪的信息以及表示对象的活动的信息；
生成学习数据并且将该学习数据存储到存储器中，该学习数据表示所存储的表示对象的情绪的信息与由获取单元获取的表示对象的活动的信息之间的关系；
在生成学习数据之后，基于所存储的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪；以及
基于所估计的当前情绪来向对象提供保健支持反馈。
A31.根据方面A30的方法，其包括：基于表示对象的活动的进一步信息来确定对象的认知状态，其中，向对象提供保健支持反馈进一步基于认知状态。
A32.根据方面A30或者A31的方法，其中，保健支持反馈包括保健支持信息和保健支持刺激中的任何组合。
A33.根据方面A30至A32中任一项的方法，其中，提供的步骤进一步提供一定程度的保健支持反馈，该一定程度的保健支持反馈与所估计的激发的程度和的所估计的效价的程度中的至少一个反对应，所估计的激发和所估计的效价包括在所估计的当前情绪中。
A34.一种计算机程序，该计算机程序包括指令，该指令在计算机上执行时使计算机执行方法A22至A33中的任何方法的步骤。
A35.根据方面A1至A20中任一项的设备，其中，表示对象的情绪的信息被展示在二维坐标系中，该二维坐标系具有表示激发状态的第一轴和表示效价状态的第二轴，并且所估计的当前情绪被输出为与激发状态和效价状态对应的值。
A36.根据方面A22至A33中任一项的方法，其中，在二维坐标系中表达表示对象的情绪的信息，该二维坐标系具有表示激发状态的第一轴和表示效价状态的第二轴，并且将所估计的当前情绪输出为与激发状态和效价状态对应的值。
A37.根据方面16的设备，其中，窗口的预定单位持续时间是基于以下中的至少一个确定的：
获取的表示对象的活动状态的活动信息，以及
表示联接至该设备的装置与对象之间的交互操作的时间长度的交互时间间隔。
A38.根据方面A37的设备，其中，联接至该设备的装置是车辆、生产线中的组件和保健反馈提供装置中的一个，并且其中，相应地，交互时间间隔是对象与车辆之间的交互操作的时间长度、对象与生产线中的组件之间的交互操作的时间长度、和对象与反馈提供装置之间的交互操作的时间长度。
有益效果
如上面预期的，根据本发明的某些一般方面，提供了一种设备，该设备用于基于存储的(例如，先前生成的)学习数据和对象的当前活动来估计对象的当前情绪；然后，所估计的当前情绪可以用于改进对象与机器的交互。因此，可以更有效并且更安全地与机器进行交互。
进一步地，根据本发明的第一方面的设备首先基于在相同的时间段内获取的表示对象的情绪的信息和表示对象的活动的信息来生成学习数据，并且将该学习数据存储到存储器中。当在该状态下获得表示对象的当前活动的信息时，该设备基于表示对象的当前活动的信息和学习数据来估计对象的当前情绪。更具体地，每当获得表示对象的活动的信息时，基于所获取的表示活动的信息和初步生成的学习数据来实时估计对象的当前情绪。因此，可以通过获取表示对象的活动的信息来简单地估计对象的情绪，而无需监测外部事件，诸如，在对象周围的环境条件。没有用于监测外部事件的任何组件的这种简单结构具有广泛的应用。
根据本发明的第二方面的设备生成回归方程并且存储回归方程作为学习数据，其中，正确值是所获取的表示对象的情绪的信息，并且变量是同时获取的表示对象的活动的信息。可以通过使用回归方程的计算来估计对象的情绪，而不存储大量学习数据。
根据本发明的第三方面的设备生成代表表示对象的情绪的信息与表示活动的信息之间的关系的回归方程，用于情绪激发并用于情绪效价。因此，可以估计对象的情绪以获得激发和效价。然后，将对对象的情绪的估计结果输出为用激发和效价表达的信息。
根据本发明的第四方面的设备限定多个窗口，各个窗口具有预定单位持续时间并且布置在按时间顺序彼此偏移的时间点处；并且针对各个窗口，生成表示各个窗口内的表示对象的情绪的信息的变化与表示活动的信息的变化之间的关系的学习数据。因此，可以在各个时间段内估计对象的情绪变化。
根据本发明的第五方面的设备针对窗口的单位持续时间或者时间偏移中的至少一个中的预定值的每次改变，生成对应的学习数据，并且针对各个生成的学习数据集，计算有关基于学习数据获取的对情绪的估计的信息的变化与有关情绪的正确值的信息之间的差异，并且选择使得差异最小的、窗口的单位持续时间或者时间偏移中的至少一个。这使情绪估计结果更接近正确值。因此，可以更准确地估计对象的情绪变化。
根据本发明的第六方面的设备测量与情绪相关的心脏电活动、皮肤电位活动、眼运动、运动或者活动量中的至少一个作为表示对象的活动的信息，并且在生成学习数据和估计情绪时使用测量数据。这允许按照非侵害方式来估计对象的情绪。在这种情况下，同时测量上述项中的两个或者更多个项提高了估计的准确度。
根据本发明的第七方面的设备在所估计的情绪值偏离对象的当前情绪的正确值的范围时更新学习数据。这允许根据学习数据的任何时间变化或者学习数据随时间的任何变化来更新学习数据，并且允许所获取的估计相应地不断接近正确值。
本发明的上述方面使得能够在不使用有关外部事件的信息的情况下，估计对象的情绪，并且提供了简单并且广泛适用的情绪估计设备以及方法和程序。进一步，如在其它方面和实施例中说明的，将所估计的情绪应用于与机器的交互允许实现与人的改进的和/或更安全的交互和/或人的改善的健康状况。
附图说明
图1是根据本发明的实施例的情绪估计系统的概况。
图2是示出了在图1中示出的系统中包括的情绪估计设备的结构的功能框图。
图3是示出了在图2中示出的情绪估计设备中的学习处理及其细节的流程图。
图4是示出了针对在图3中示出的学习模式下生成并且存储学习数据的处理的前半部分及其细节的流程图。
图5是示出了针对在图3中示出的学习模式下生成并且存储学习数据的处理的后半部分及其细节的流程图。
图6是示出了在图2中示出的情绪估计设备的情绪估计模式下的处理及其细节的流程图。
图7是描述了通过在图1中示出的系统中的情绪信息输入装置输入的情绪信息的定义的示意图。
图8是示出了通过在图1中示出的系统中的情绪信息输入装置获取的情绪信息的示例输入结果的示意图。
图9是示出了通过在图1中示出的系统中的情绪信息输入装置输入的情绪信息的分类的示意图。
图10是示出了通过在图1中示出的系统中的情绪信息输入装置输入的情绪信息的变化的示意图。
图11图示了非常适合于人与装置/机器进行交互的技术应用的精神状态模型的框图。
图12示出了可以通过客观的并且可重复的测量来测量认知状态和情绪状态的方式。
图13示出了客观的并且可重复的测量的示例。
图14A是根据实施例1的框图；
图14B是根据实施例1的变型的框图，具体示出了实施例1可以可选地与实施例2组合的方式；
图14C是图示了实施例1的操作的流程图；
图15A是根据实施例3的框图；
图15B是根据实施例3的变型的框图，具体示出了实施例1可以可选地与实施例2组合的方式；
图15C是图示了实施例3的操作的流程图；
图16A是根据实施例4的框图；
图16B是根据实施例4的变型的框图，具体示出了实施例1可以可选地与实施例2组合的方式；
图16C是图示了实施例4的操作的流程图。
具体实施方式
除此之外，本发明还基于以下认识：在工业应用(例如，类似促进车辆的安全驾驶，控制生产线或者通过保健装置支持对人的保健)中估计人的精神状态，使用考虑到人的不同类型的状态的适当模型是优选的，其中，该状态可由适当的传感器直接或者间接测量。因此，可以客观地并且系统地观察精神状态，以及可以考虑到预期的技术应用来估计精神状态。
更详细地，可以通过人的认知状态和情绪状态的组合，来对精神状态进行建模。例如，人的认知状态涉及表示人在执行特定活动时获取的能力水平的状态，例如，基于经验(例如，通过实践)和知识(例如，通过训练)。认知状态是可直接测量的，因为其与人执行任务直接有关。情绪状态在过往仅被视为主观心理状态，其不能例如，通过类似传感器等技术方法来客观地建立。然而，其它(较新的)研究引起对这种旧观点的修正，并且事实上，表明人的情绪状态被认为是硬连线的和在生理上(即，不是在文化上)是独特的；进一步地，还基于激发(即，对刺激的反应)，如同样稍后参照图12提到的，可以通过经由合适的传感器客观地获取的生理参数的测量来间接地获得情绪。
图11示出了根据本发明人可以用于类似促进安全驾驶等技术应用的精神状态模型(应该注意，相同的模型可以应用于包括控制生产线或者支持对人的保健的其它应用，并且更一般地，可以应用于存在人与装置/机器之间的交互的任何情况)。具体地，该模型包括彼此交互的认知部分510和情绪部分520。认知部分和情绪部分分别表示：人可以具有的和/或可以用该模型表示的认知状态集合和情绪状态集合。认知部分直接与模型表示为输入540和输出550的外界接口连接(虚线560表示与外界的分离)。输入540表示可以提供给人(根据该示意图，经由输入“联接端口540”)的任何刺激，并且输出550(用于测量生理参数的输出“联接端口”的示意图)表示由人产生的任何生理参数，并且本身可测量。可以间接地测量情绪部分，因为输出至少间接地经由认知状态依赖于特定的情绪状态：根据图11所示的模型，例如，示出出了情绪和认知之间的交互的线525(和515)和提供输出的536。换句话说，即使由于与认知部分的交互而不是直接可测量的，情绪状态也将可测量作为输出。在本文中，认知部分和情绪部分彼此交互的方式不相关，并且事实上，其涉及相应理论和研究。对于本讨论而言重要的是：存在针对人的输入(例如，一个或者多个刺激)和来自人的输出作为认知状态和情绪状态的组合的结果，而不管这些状态/部分彼此交互的方式。换句话说，该模型可以被看作具有客观化可测量输入和输出的黑盒子，其中，输入和输出与认知状态和情绪状态因果相关，但是在本文中，用于这种因果关系的内部机制不相关。
尽管不了解模型的内部机制，但是如在下面将同样变得显而易见的，本发明人已经注意到：这种模型在工业中的实际技术应用(例如，类似当想要提高在驾驶车辆时的安全性时)中会是有用的。
图12示出了可以通过客观的并且可重复的测量来测量认知状态和情绪状态的方式，其中，圆形、三角形和十字形表示所列出的测量方法分别非常适合、不太适合(例如，由于不准确)或者(在目前)被认为不适合。其它技术也是可用的，例如，类似用于识别面部表情的图像识别或者面部表情的与特定情绪状态相关联的模式。通常，可以通过适当的方法来测量认知状态和情绪状态，其中，确定被认为适合于测量给定状态的(多个)特定变量，并且然后，通过(多个)合适的传感器根据给定方法来测量认知状态和情绪状态。如通过图12同样明显的，可以通过根据情绪状态传感器配置的至少一个情绪状态传感器测量相应的生理参数(例如，见图12)来获得情绪状态，并且可以通过根据认知状态传感器配置的至少一个认知状态传感器来测量认知状态，其中，所述至少一个情绪状态传感器与所述至少一个认知状态传感器不同，和/或情绪状态传感器配置与认知状态传感器配置不同。例如，参照图12，可以执行LoS(视线：Line of Sight)测量以估计或者确定认知状态和/或情绪状态，然而，传感器的配置不同，因为所使用的(多个)参数/(多个)信号根据是否想要确定情绪或者认知而不同。用摄像头和图像处理单元(与摄像头集成或者分离)来表示用于获取LoS的传感器的示例，其中，不同地设置摄像头和/或处理单元以获取与认知状态有关的信号(例如，以下示例中的任何一个或者组合：LoS的位置、LoS的轨迹、LoS速度、(多只)眼睛跟随的物体的速度、拥挤角度和/或视场角度等)或者与情绪状态有关的信号(以下示例中的任何一个或者组合：瞳孔的大小、眨眼的数量等)。例如，如果想要检测眨眼的次数，则应该将摄像头设置为获取给定数量的图像(或者每秒具有给定(优选地，较高)帧数的视频)，并且图像处理单元用于识别一次眨眼；当想要检测LoS的位置时，可以将摄像头设置为获取仅一个图像，即使更多是优选的，并且图像处理单元用于通过(多个)给定图像检测LoS位置。相似的考虑应用于与LoS有关的其它信号，以获得认知状态或者情绪状态；而且，相似的考虑应用于其它类型的信号，如通过图12直接明显的，类似与自主神经系统或者肌肉骨骼系统有关的那些信号。对于这一点，还应该注意(至少根据现有知识)：血压测量适合于检测情绪状态，但是不适合于认知状态：因此，在这种情况下，任何血压传感器将适合于获取情绪状态，并且适合于获取血压的任何传感器将是情绪状态传感器的示例，而不管其配置。同样，适合于检测移动和运动(例如，以下中的任何一个或者组合：动作的轨迹、动作速度、动作模式等，见图12)的任何传感器是认知状态传感器的示例，而不管其配置。因此，如在图12中同样示出的，可以分别通过认知状态传感器和情绪状态传感器来检测认知状态和情绪状态，和/或当传感器本身可以相同或者相似时，通过传感器的不同配置来进行检测。在本文中，通过传感器是指用于检测物理信号的感测装置，可能与处理单元一起(必要时)用于基于物理信号来获取有关认知状态或者情绪状态的信息。参照情绪状态传感器，应该注意：例如，可以基于(i)(多个)大脑相关参数和/或(ii)(多个)外观相关参数和/或(多个)其它参数来获取情绪状态。
(i)通过合适的传感器和/或(多种)传感器配置获取的(多个)大脑相关参数(同样见图12)：
例如，可以用由EEG例如，通过检测事件相关电位ERP(被定义为对刺激的刻板电生理(stereotyped electrophysiological)响应)获取的脑电波来表示(多个)大脑相关参数。更具体地，通过使用所施加的刺激(示例：音乐、令人放松的图片、令人兴奋的事物等)和与由(对于各个用户，已经初步学习过/已知或者已经学习过)刺激引起的ERP对应的所测得的EEG模式之间的关系，可以确定EEG的特定特征是否与已知的情绪状态(例如，当放松时出现阿尔法波)相关联。换句话说，根据该示例，通过观察EEG模式，并且特别是ERP，可以获得对情绪状态的间接测量。有关ERP的更多信息，例如，见由Steven J.Luck发表的“AnIntroduction to the Event-Related Potential Technique”第二版，ISBN：9780262525855。
根据另一示例，通过fMRI(功能性磁共振成像)获取的脑血流可以用作大脑相关参数：事实上，大脑的活动区可以表明一些情绪状态；例如，可以按照这种方式来获得BOLD(血氧水平依赖，blood oxygen level dependent)信号与效价和激发的等级的相关性，从而实现对情绪状态的间接测量(例如，见由J.Posner等人于2009年3月在Hum Brain Mapp上发表的“The Neurophysiological Bases of Emotion:An fMRI Study of the AffectiveCircumplex Using Emotion-Denoting Words”，30(3)：883–895，doi：10.1002/hbm.20553)。
还可以将上述测量方法/装置组合在一起。基于(i)的技术是准确的，但是测量装置会较大并且用户的运动会在很大程度上受到限制。(ii)可以通过合适的传感器和/或传感器配置来获得(多个)外观相关参数(例如，同样见图12)，例如，基于：
-对(多个)面部表情(例如，由摄像头捕获到的)的面部图像分析：例如，通过使用诸如RGB值和强度等像素信息，计算出包括眉毛的角度、嘴巴的角度、嘴巴张开的程度和/或眼睛睁开的程度的一个或者多个参数；然后，可以通过使用定义这些参数与情绪之间的关系的可用模板集合，基于一个或者多个这种参数的组合，来确定(优选地，由硬件/软件单元自动地确定)情绪。
-对声音表达的声学分析：与面部表情相似，可以通过使用定义参数与情绪之间的关系的可用模板集合，来确定情绪。
还可以使用面部表情和声音表达的组合。当信息量增加时(例如，当所使用的参数量增加时或者(在数学上来说)当使用更高维度的信息时)，以更高/提高的准确度，来估计基于(多个)外观相关参数估计的情绪。更简单地来说，当执行声学分析和面部分析两者时和/或当基于对眉毛、嘴巴的角度等的多重分析来执行面部分析时，可以提高准确度。然而，在分析中使用的参数越多，处理所需的计算资源就越大；此外，为各个用户提供/布置摄像头或者请求声音话语会并非总是可能的，这取决于具体情况。因此，更高的准确度以在用于这种分析的计算资源和/或摄像头/机器的复杂度为代价。(iii)可能通过其它传感器和/或传感器的不同配置获取的其它参数(例如，见图12)可以用于估计情绪，例如，类似的：
-通过眼睛图像识别获取的瞳孔大小(即，对对象的(多只)眼睛拍摄的(多个)图像进行的分析)，其中，例如，时间分辨率TR优选地高于200Hz；
-通过ECG检测到的心脏电活动，例如，优选地，具有高于500Hz的TR。
基于(iii)的技术是准确的，但是在分析中会需要大量的计算资源。通过上述技术(包括(i)至(iii))中的任何一种或者任何组合，可以感测到情绪状态；然而，为了准确地感测情绪，状态的波动或者状态的连续变化是要考虑的重要信息，这需要相对较高的时间分辨率和高维信息(因此，导致高计算资源)。因此，活动传感器是比情绪传感器需要更少的信息量和/或更少的处理负荷(包括处理时间)和/或更少的时间分辨率和/或在结构上更简单和/或没那么复杂的一种传感器。如上所述，在一个示例中，活动是对象在与装置进行交互时执行的活动/任务。
如预期的，各种传感器适合于获取这种测量，并且在本文中，没有描述这些传感器，因为只要它们提供在图12中列出的参数中的任何参数或者适合于估计认知状态和/或情绪状态的任何其它参数,它们中的任何一个都是合适的。传感器可以是可穿戴物，例如，包括在手腕或者胸部可穿戴装置中或者包括在眼镜、头盔(类似用于通过头皮来测量大脑活动的装置(例如，EEG/NIRS))或者大型机器(类似PET/fMRI)中。
因此，可以通过使用如在图11中图示的模型来对人(例如，类似车辆的驾驶员(或者，在其它应用中，工厂生产线的操作员；机器的操作员；或者使用用于提供保健支持的装置的人))进行建模，并且采集人的如在图12和图13中示出的生理参数的测量。按照这种方式，如在下面同样示出的，例如，可以提高驾驶的安全性或者生产线的安全性/生产率/质量水平或者改善人的健康状态。
提供上述说明作为理解本发明和以下实施例/示例的说明性和基础级内容，对本发明和以下实施例/示例没有任何限制。
转到本发明，并且为了进行说明而提及促进安全驾驶的应用，生成代表表示对象(即，人)的情绪状态的信息与表示人的活动的信息之间的关系的学习数据。如在本文中说明的，同样见上面关于图12和图13的讨论，可以通过对对象进行的合适的测量，来间接地获得有关情绪状态的信息(用于生成学习数据)，特别是且优选地，通过适合于以高精度来确定这种状态的装置(不管所使用的传感器或者装置的大小和复杂度；优选地，这种传感器是比其它传感器(如包括在可穿戴物中的那些传感器)实现更高的准确度的大型并且复杂的装置)。虽然不是必要的，但是也可以获取这种情绪状态的直接表示(用于生成学习数据)，例如，通过由人直接输入人的情绪状态。而且，间接和直接确定情绪状态的组合是可能的。
如同样稍后更详细地说明的，可以基于表示至少一个对象的情绪的信息以及表示同一至少一个对象的活动的信息来获取学习数据，其中，已经通过用于至少一个对象的合适的传感器采集到这种信息，并且优选地，存储该学习数据。表示对象的情绪的信息包括：与(与对象的情绪状态有关并且)通过根据情绪状态传感器配置(对应的至少一个第一传感器的第一配置)设置的至少一个情绪状态传感器(至少一个第一传感器)获取的生理参数有关的信息。还参照关于给出了情绪状态传感器和情绪状态传感器配置的示例的图12的上述讨论。表示至少一个对象的活动的信息包括：与(与由至少一个对象执行的活动有关并且)通过根据活动传感器配置设置的至少一个活动传感器获取的生理参数有关的信息。情绪状态传感器和活动传感器彼此不同，和/或情绪状态传感器配置和活动传感器配置彼此不同。
例如，如同样稍后描述的，活动传感器可以是能够测量心脏电活动H、皮肤电位活动G、运动BM、活动量Ex等的传感器。参照心脏电活动H的示例，活动传感器(或者适合于测量心脏电活动的传感器的合适的配置)能够测量心跳间隔(R-R间隔或者RRI)和/或RRI的功率谱的高频分量(HF)和/或低频分量(LF)，所需时间分辨率(TR)优选地设置为100Hz至200Hz。例如，可以通过ECG装置和/或脉搏波装置来获取这种参数。如上面讨论的，例如，参见用于测量情绪的其它参数(iii)，心脏活动也可以用于估计情绪；然而，必须不同地设置用于测量与情绪有关的心脏活动的传感器，相同的传感器在使用时用于测量与由对象执行的活动有关的心脏活动；在本文所讨论的示例中，例如，100Hz至200Hz的TR足够用于测量活动，而对于测量情绪，500Hz或者更多的TR是优选的。这意味着：可以比情绪测量利用更少的计算资源来实现该活动测量。不管获取活动信息和情绪信息所需的复杂度，使用活动信息和情绪信息两者(一旦获得活动信息和情绪信息)以生成表示活动信息与情绪信息之间的关系的学习数据。可以存储由此获取的学习数据，并且该学习数据用于估计人的当前情绪状态。事实上，当获得有关对象的当前活动的信息时，可以与所获取的有关当前活动的信息一起，使用学习数据以估计对象的情绪状态。用于估计当前活动的传感器可以是上面参照图12和图13描述的那些传感器中的任何传感器(或者任何组合)。优选地，这些传感器不需要像用于间接地获取用于生成学习数据的情绪状态的那些传感器一样准确。因此，在一个示例中，可穿戴传感器可能就足够了。
通过参照心脏活动的示例，已经说过，当从心脏活动测量开始时，可以比情绪信息更容易地(根据更少的计算资源)获取活动信息；因此，由于所获取的学习数据，当系统工作时(即，当使用学习数据时)，可以基于测量的活动来获取对象的当前情绪。换句话说，当对象执行活动(例如，驾驶车辆，在工厂生产线上工作或者在携带保健装置时进行其它事情等)时，不必测量对象的当前情绪；由于学习数据，可以从更容易获取的活动信息推断情绪。
如同样稍后讨论的，可以通过其它测量来获取活动信息，例如，类似基于以下中的任何一个或者任何组合：
-皮肤电位活动G，例如，通过测量皮肤电反应(GSR)；当与用于测量情绪状态的参数相比较时，其是更容易获取的参数；
-眼运动EM，例如，通过测量眼运动速度和瞳孔大小(例如，基于捕获到的有关对象的(多个)图像或者(多个)视频)；在这种情况下，当注意到相同或者相似的参数还可以用于获取情绪(见上面的(iii))时，所需TR可以等于或者低于50Hz(在该范围的TR内，不能获得感测到的参数的波动或者连续变化)。与心脏活动的情况相似，与对象的活动有关的EM测量比与情绪有关的EM测量更容易获取。
-运动BM，例如，类似手移动速度。这也是比与情绪有关的参数更容易获取的参数。因此，通常，活动信息更容易获取，因为可以通过没有测量情绪所需的那些传感器那么复杂的传感器，或者(当使用相同类型的传感器时)传感器的用于获取活动信息的配置，来获取活动信息，传感器的用于获取活动信息的配置比用于获取情绪的配置引起更少的计算资源。因此，通过使用学习数据和(容易地)获取的活动信息，可以获取对象的情绪状态。作为获取情绪状态的结果，可以通过容易地考虑与装置进行交互的对象的精神状态来方便地实现更安全的驾驶、改进的制造和改善的健康状况。
此外，可以对从单个对象获取的活动和情绪数据执行学习处理。然而，优选的是，对从多个对象获取的活动和情绪信息执行学习，使得可以更准确地学习或者找到关系。然后，可以使用学习数据(作为这种学习处理的结果而获得)来估计对象的情绪；这种对象可以是在学习处理中使用的活动和情绪信息所提及的多个对象中的一个对象或者不属于这种多个对象的另一对象。
进一步地，对于多个对象中的所有对象，不需要按照相同的方式来测量该多个对象的活动和情绪信息。换句话说，对于第一对象组(包括至少一个对象的组)，可以根据以第一情绪状态传感器和第一活动传感器和/或相应的配置为特征的第一类型的测量来获取活动和情绪信息；同样，对于第二、第三等对象组，可以通过第二、第三等类型的测量来获得相应的活动和情绪信息。按照这种方式，可以获取能够在各种情况下使用的学习数据，从而引起总体更准确的结果。
另外，可以针对给定对象获取活动信息和情绪信息(然后对其执行学习处理)，优选地，当对象正在执行特定任务时。进一步优选地，特定任务属于包括以对象与装置之间的交互为特征的至少一个任务的一组任务。例如，如果装置是车辆，则可以用车辆的驾驶操作来表示任务(驾驶类型的任务)，并且例如，通过与驾驶兼容的传感器和/或传感器配置，在对象正在进行驾驶时获取活动和情绪信息。在另一示例中，任务涉及对生产线执行操作(制造类型的任务)，并且在(多个)对象在生产线中执行任务时获取情绪和活动信息。在另一示例中，任务涉及在对象联接至保健装置时执行的动作(保健相关类型的任务)，并且在用户执行这种动作时获取情绪和活动信息。可以对涉及执行相同或者不同类型的任务的一个或者多个对象的活动和情绪信息的数据执行学习处理。
通过基于学习数据和感测到的活动来估计情绪状态，因为不需要监测外部事件，所述可以使用总体较少的传感器，这与在引言中讨论的现有技术形成对比。另外，可以按照简单的方式来获取情绪，因为获取活动信息在技术上比测量情绪状态更容易。此外，由于获得了情绪状态这一事实，因此，可以按照高准确度来获取人的精神状态：事实上，对情绪状态的估计允许比在使用旨在仅估计认知状态(即，仅精神状态的可从外部直接但不能间接测量的那些部分，参见关于图11的讨论)的其它技术时实现对总体精神状态的更准确的估计。按照这种方式，类似提高驾驶安全性等应用可以获得极大的益处。事实上，基于情绪估计(更准确地表示当前精神状态)，例如，可以更准确地提供驾驶辅助，从而提高在进行驾驶时的安全性。例如，在类似促进驾驶安全性等应用中，当检测到潜在的危险情况时，自动系统可以自动地作出反应，其中，危险情况与检测到被认为是危险的精神状态有联系。因此，如果可以更准确地确定精神状态，则可以更准确地获得自动反应，并且实现提高的安全性。换句话说，如同样稍后进一步详细描述的，容易获取的情绪估计引起更准确的精神状态估计，基于此，可以提供改进的驾驶辅助。同样，在类似控制生产线等应用中，可以基于对同一生产线的操作员的情绪估计来更好地控制生产线，使得可以获得生产线的生产率、安全性和/或质量水平。同样，可以获得用于支持对人的保健的装置，其中，基于所估计的情绪来向人提供支持保健的反馈，使得可以改善或者更容易地维持人的健康状态。此外，对情绪状态的估计可以可选地与对认知状态的检测组合以在估计总体精神状态时进一步提高准确度。
已经参照了驾驶员与车辆进行交互的驾驶安全性或者操作员在生产线上工作或者人使用支持保健的装置的情况；然而，这仅作为人与机器或者装置进行交互的示例而提供，并且事实上，本文描述的内容适用于人与装置之间或者人与这种装置的操作之间的任何类型的交互。例如，装置可以是工业机器或者工业装置、家用电器、办公设备、任何类型的车辆等。
现在将参照附图描述本发明的实施例。
实施例1–用于辅助驾驶车辆的设备
图14A示出了用于辅助驾驶车辆的设备100，包括存储单元120、学习数据生成单元114和情绪估计单元115以及辅助单元190。存储单元120被配置为存储表示对象的情绪的信息以及表示对象的活动的信息。例如，并且如同样在上面说明的，如果使用PET/fMRI，则使用PET/fMRI的测量结果来确定有关对象的情绪的信息。然而，如上面说明的，还可以经由没那么复杂或者较小的传感器来获取情绪信息，但是这将需要大量的计算资源。同时，如同样在上面讨论的，可以测量其它参数(同样可由可穿戴物测量)，这些其它参数将是表示对象的活动的信息的一部分。学习数据生成单元114生成表示所存储的表示对象的情绪的信息(优选地，由例如，在实施例2中讨论的第一获取单元获得)与所存储的表示对象的活动的信息(优选地，由同样在实施例2中讨论的第二获取单元获得)之间的关系的学习数据，并且将该学习数据存储到存储器中。情绪估计单元115在生成学习数据之后基于由获取单元(例如，第二获取单元；与估计或者执行估计对应，可以获得或者获取当前活动，但不一定恰好在同一时间)获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪。当用于采集与情绪估计有关的生理参数的测量的传感器是无法穿戴或者四处移动的装置(例如，类似fMRI装置)并且需要针对使用这种传感器/装置并不容易的应用(类似驾驶或者在工厂中工作)采集数据时，可以在第一时间点采集情绪数据，并且在充分接近第一时间点的第二时间点采集活动信息。相反，当想要在相同的时间点或者充分接近的时间点进行情绪和活动相关测量时，可以基于可更容易地穿戴或者更容易在四处携带或者对象可以通过网络连接至其的传感器(例如，类似可以同样远程地将所测得的数据传输至EEG/NIRS装置的头皮安装装置；连接至远程处理单元的摄像头等)来估计情绪。按照这种方式，可以采集用于学习处理的数据，其中，情绪相关数据和活动相关数据在时间上接近彼此，理想地或者可选地，参考在特定容差或者阈值内的相同时间点。辅助单元190基于所估计的情绪来提供车辆的驾驶辅助。
优选地，驾驶辅助可以包括：在驾驶期间辅助单元主动控制车辆：例如，如果发现所估计的情绪与危险情况相关联，则控制单元(或者适合于自动或者半自动地驾驶车辆的任何其它单元)可以对车辆的类似用于使车辆慢下来的制动器等组件和/或用于接管控制(例如，自动驾驶仪)或者使车辆停止的方向盘起作用。优选地，驾驶辅助可以包括：在驾驶期间向车辆的驾驶员提供至少一个反馈。例如，当情绪估计与危险情况相关联时，辅助单元可以向驾驶员提供建议停车并且休息的消息(作为反馈的示例)作为驾驶辅助。反馈的另一示例通常由声音、旋律、音乐或者音频消息表示；按照这种方式，可以警告驾驶员以避免危险情况。因此，通常，例如，反馈可以由一个或者多个消息(以文本，音频和/或视频等形式)或者在对象上引起的一个或者多个刺激信号表示。其它类型的反馈当然是合适的。
优选地，设备100包括认知状态估计单元，其用于基于表示对象的活动的进一步信息来确定对象的认知状态，其中，辅助单元进一步被配置为进一步基于认知状态来提供车辆的驾驶辅助。按照这种方式，可以基于所估计的认知和所估计的情绪两者来更准确地评估总体精神状态；因此，由于更准确地估计精神状态，可以获得更安全的驾驶(因为在真正需要时，辅助车辆驾驶)。
优选地，辅助单元被配置为提供与所估计的激发的程度和所估计的效价(valence)的程度中的至少一个反对应(inversely corresponding)的驾驶辅助度，所估计的激发和所估计的效价包括在所估计的当前情绪中。按照驾驶辅助度(degree)是指，对驾驶员和/或车辆提供的干预的程度。例如，较高的驾驶辅助度包括：通过更频繁地进行主动干预(对车辆组件)和/或更频繁地提供反馈；和/或与反馈相比较，提供更主动的干预；以从确定了提供驾驶辅助的条件开始较短的延迟(例如，从发现所估计的情绪与危险情况相关联开始较短的延迟)来更频繁地(例如，以更高的频率或者以更短的间隔)提供驾驶辅助。估计的激发的程度表示包括在所估计的情绪中的所估计的激发的值有多大；相应地，估计的效价的程度表示包括在所估计的情绪中的所估计的效价的值有多大。在一个示例中，当所估计的激发的值和/或所估计的效价的值减小(即，其相应程度降低)时，干预的水平增加(即，干预的程度提高)，反之亦然。辅助程度与激发/效价程度之间的关系可以是成反比例的，或者如例如，通过实验发现的，是非线性的。
可选地，还可以像图14B中一样展现本实施例的设备：关于其说明，我们参照下面对图2的描述，注意：具有相同附图标记的示意性框或者单元在两个附图中具有相同的功能，并且图14B所示存储单元120、学习数据生成单元114和情绪估计单元115分别与单元20、14和15对应。而且，下面参照图2进行的其它考虑也适用于图14B。然而，我们注意：辅助单元190不包括在图2中，因为该实施例涉及获取情绪估计的方式，其适用于不同的应用，如同辅助驾驶、生产线控制、保健支持等。
现在参照图14C来描述根据本实施例的用于辅助驾驶的设备的操作。在步骤S1110中，存储表示对象的情绪的信息以及表示对象的活动的信息。在步骤S1113中，对表示由第一获取单元获取的表示对象的情绪的信息与由第二获取单元获取的表示对象的活动的信息之间的关系的数据执行学习，并且将该学习数据存储到存储器中。在步骤S1123中，在生成学习数据之后，基于由第二获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据，来估计对象的当前情绪。然后，在步骤S1190中，基于所估计的当前情绪来提供车辆的驾驶辅助。
应该注意，例如，通过下面说明的(图3所示)步骤S11和S12的组合来提供步骤S1110的示例。而且，通过下面图3所示步骤S13来提供步骤S1113的示例。进一步地，通过下面说明的图6所示步骤S23来提供步骤S1123的示例。其它操作或者方法步骤通过对根据本实施的设备的相应描述以及下面的实施例2而立即很明显。进一步地，在本文描述的这种以及其它方法中，步骤被定义为存储、生成、估计、控制等。然而，应该注意，这种步骤(或者它们的任何组合)也可以由远程装置(例如，如同由客户端计算机或者便携式终端)引起或者诱导，在相应地执行实际步骤的另一装置(例如，如同服务器，本地化的或者分布式的)上引起或者诱导。因此，所提到的步骤还应该被理解为引起进行存储、引起进行生成、引起进行估计、引起进行控制等，使得其任何组合可以由远离实际执行相应步骤的装置的装置引起或者诱导。
实施例2–情绪估计设备
结构
图1是根据本发明的一个实施例的包括情绪估计设备的系统的概况。根据该实施例的情绪估计系统包括情绪估计设备1、情绪输入装置2和测量装置3。情绪输入装置2和测量装置3可以通过通信网络4来与情绪估计设备1通信。
情绪输入装置2(例如，该情绪输入装置2是智能电话或者平板终端)在应用程序的控制下显示情绪输入屏幕。该情绪输入屏幕通过使用二维坐标系来显示情绪，该坐标系在纵轴上具有情绪激发，并且在横轴上具有情绪效价。当对象在情绪输入屏幕上绘制与他的或者她的当前情绪对应的位置时，情绪输入装置2将表示绘图位置的坐标识别为表示对象的情绪的信息。通过在二维坐标系上使用激发和效价来表达情绪的这种技术被称为罗素环形模型(Russell’s circumplex model.)。图7示意性地示出了该模型。
图8是示出了通过情绪输入装置2获取的、在特定时间的情绪的示例输入结果的示意图。激发表示情绪被激活或者被停用以及激活与停用的程度，而效价表示情绪是令人愉快的或者令人不愉快的以及令人愉快与令人不愉快的程度。
情绪输入装置2将被检测为情绪信息的位置坐标变换为：激发值和效价值以及有关二维激发-效价坐标系的对应象限的信息。使用无线接口通过通信网络4来将添加了表示输入日期和时间的时间戳数据的结果数据作为情绪输入数据(以下简称为标量数据)传输至情绪估计设备1。
例如，测量装置3并入可穿戴终端，并且如在图1中示出的那样安装在对象的手腕上。测量装置3测量表示与人类情绪相关的人类活动的信息。表示人类活动的信息包括生命体征(vital sign)和运动信息。为了测量生命体征和运动信息，测量装置3包括各种生命体征传感器和运动传感器。生命体征传感器和运动传感器的示例包括：用于测量心脏电活动H、皮肤电位活动G、运动BM和活动量Ex的传感器的任何组合(本文中的任何组合包括元件列表中的单个元件，或者该列表中的两个或者更多个元件)。而且，由已知传感器测量的血压、心率、脉搏、呼吸率、呼吸深度、体温和眨眼率的任何组合可以用作活动信息。当情绪估计应用于对象(诸如，车辆的驾驶员(例如，实施例1)、生产线中的工人(例如，见实施例3)或者保健管理系统的用户(例如，见实施例4))时，使用不能阻止对象的必要移动并且可以在操作或者平常的活动期间使用的适当传感器是优选的。使用待利用适当传感器获得或者测量的上述活动信息，使得可以估计实时情绪并且以最小的延迟利用估计结果，并且不损害对象的平常活动(例如，当对象正在与机器进行交互时)。
心脏电活动传感器按照预定周期或者在所选择的定时测量对象的心脏电活动H以获取波形数据，并且输出测量数据。皮肤电位活动传感器(例如，该皮肤电位活动传感器是测谎仪)按照预定周期或者在所选择的定时测量对象的皮肤电位活动G，并且输出测量数据。运动传感器(例如，该运动传感器是三轴加速度传感器)测量运动BM，并且输出三轴加速度测量数据。用于测量活动量Ex的传感器(该传感器是活动传感器)输出表示身体活动强度(代谢当量或者MET)和身体活动量(锻炼)的测量数据。还参照有关通过根据相应的(多种)活动传感器配置设置的(多个)活动传感器来获取活动信息的上述讨论。
用于测量与人类情绪相关的生命体征的另一传感器是眼运动(EM)传感器。该传感器是小型的图像传感器，并且例如，安装在眼镜或者护目镜的框架上。
上面参照情绪输入装置2的示例，其中，情绪由用户直接插入；然而，这不是必不可少的，并且事实上，可以省略这一点，在这种情况下，可以通过测量装置3来(可以说，间接地)获取情绪，事实上，该测量装置3可以包括如在上面或者参照图12和图13说明的合适传感器和/或测量装置。优选地，由能够以高准确度来确定这种情绪状态的装置测量情绪状态，不管这种装置有多大和/或多复杂，进一步优选地，在确定情绪状态时，与用于同一确定的可穿戴装置相比较，由装置以更高的准确度来确定。换句话说，当使用十分复杂的装置(例如，如同PET/fMRI装置)时，也可以在没有来自用户的输入的情况下以足够的准确度来确定情绪状态。在某些情况下，还使用安装在头皮上的EEG/NIRS装置，还可以在没有用户输入的情况下以足够的准确度来确定情绪状态。然而，如先前说明的，存在用于获取与对象的情绪状态有关的生理参数的测量的不同传感器和/或传感器配置。而且，可以通过上述内容的组合来获取情绪，例如，通过组合由人直接输入的信息和经由(多个)传感器获取的信息。
在该实施例以及其它实施例中，表示对象的情绪的信息被优选地表达在二维坐标系中，该二维坐标系具有表示激发状态的第一轴和表示效价状态的第二轴，并且所估计的当前情绪被输出为，与激发状态和效价状态对应的值。进一步地，如同样在本文中描述的，输出值可以是激发值和效价值(二维系统中的坐标)，或者激发值和效价值的变化。换句话说，所估计的情绪被估计为激发值和效价值的集合，并且因此，情绪状态可以由二维坐标系中的坐标表示。该配置使得可以按照客观的并且可重复的方式(在计算机系统中，在技术上可表示)来估计各种各样的情绪状态，包括无法在诸如“兴奋”、“沮丧”、“快乐”、“悲伤”等口头表达中定义的情绪状态(事实上，在计算机系统中，这种情绪状态将是不容易管理的)；以及追踪情绪状态的连续变化。因此，估计准确度提高，并且可以通过使用所估计的情绪，来在系统中执行更详细和更精细的控制，因为当将其应用于本文描述的实施例时，这变得很明显。
测量装置3将表示测量日期和时间的时间戳数据添加至：利用各个传感器获取的测量数据。测量装置3使用无线接口通过通信网络4将测量数据传输至情绪估计设备1。测量装置3可以不并入可穿戴终端，而是可以安装在衣服、皮带或者头盔上。
例如，由情绪输入装置2和测量装置3用于传输测量数据的无线接口符合低功率无线数据通信标准(诸如，无线局域网(WLAN)和蓝牙(注册商标))。情绪输入装置2与通信网络4之间的接口可以是公共移动通信网络或者信号电缆(诸如，通用串行总线(USB)电缆)。
例如，情绪估计设备1是具有下面描述的结构的个人计算机或者服务器计算机。图2是示出了该设备的功能组件的框图。情绪估计设备1包括控制单元10、存储单元20(也与图14B所示存储单元120对应)和接口单元30。
允许根据由通信网络4定义的通信协议的数据通信的接口单元30，通过通信网络4接收从情绪输入装置2和测量装置3传输的标量数据和测量数据。接口单元30还包括用于接收从输入装置(诸如，键盘或者鼠标)输入的数据并且将从控制单元10输入的显示数据输出至将出现数据的显示器(未示出)的输入-输出接口功能。
存储单元20是存储介质，并且是可读写的非易失性存储器，诸如，硬盘驱动器(HDD)或者固态驱动器(SSD)。存储单元20包括标量数据存储装置21、测量数据存储装置22和学习数据存储装置23作为在实施例中使用的存储区域。
标量数据(scale data)存储装置21存储表示对象的从情绪输入装置2传输的情绪的标量数据。测量数据存储装置22存储从测量装置3传输的测量数据。学习数据存储装置23存储由控制单元10生成的学习数据。
控制单元10包括中央处理单元(CPU)和工作存储器。控制单元10包括标量数据获取控制器11、测量数据获取控制器12、特征量提取单元13、学习数据生成单元14(也与图14B所示的单元114对应)、情绪估计单元15(也与图14B所示的单元115对应)和估计结果输出单元16作为在实施例中使用的控制功能。由CPU执行存储在程序存储器(未示出)中的应用程序来实施这些控制功能中的各个功能。
标量数据获取控制器11与接口单元30协作实施第一获取单元的功能。当利用情绪输入装置2来执行用于输入情绪的操作时，标量数据获取控制器11通过接口单元30获取从情绪输入装置2传输的标量数据，并且将获取的标量数据存储在标量数据存储装置21中。
测量数据获取控制器12与接口单元30协作实施第二获取单元的功能。测量数据获得控制器12通过接口单元30获得从测量装置3传输的测量数据，并且将获取的测量数据存储在测量数据存储装置22中。
在布置在按时间顺序彼此偏移的时间点处的窗口中的各个窗口内，特征量提取单元13从标量数据存储装置21和测量数据存储装置22中读取标量数据和测量数据。特征量提取单元13从所读取的标量数据和所读取的测量数据提取特征量，计算特征量之间的变化，并且将计算结果传输至学习数据生成单元14。
窗口分别具有预定单位持续时间。按照彼此偏移上述单位持续时间的方式来限定窗口，以避免按时间顺序连续的窗口之间发生重叠，或者按照偏移比上述单位持续时间更短的持续时间的方式来进行限定以允许按时间顺序连续的窗口之间发生重叠。可以按照在预定范围内的各个预定值来改变各个窗口的单位持续时间。
在学习模式下，学习数据生成单元14执行多重回归分析，其中，正确值(监督数据)是由特征量提取单元提取的、在各个窗口内的激发和效价的标量数据中的特征量之间的变化，并且变量是测量数据的特征量之间的变化。这生成表示对象的情绪与测量数据的特征量之间的关系的用于激发和效价的回归方程。学习数据生成单元14将所生成的回归方程与表示对应窗口的时间点的窗口标识符相关联，并且将方程存储到学习数据存储装置23中作为要用于情绪估计的学习数据。
学习数据生成单元14针对各个窗口在各个窗口的单位持续时间内针对预定值的每次改变，生成用于激发和效价的回归方程。学习数据生成单元14选择窗口单位持续时间和偏移，该窗口单位持续时间和偏移将通过使用生成的回归方程计算得出的时间序列情绪估计的总和与情绪信息的包括在标量数据中的正确值(监督数据)的总和之间的差异最小化；并且将所选择的窗口单位持续时间和所选择的偏移以及对应的回归方程传输至情绪估计单元15。
在存储了学习数据之后的情绪估计模式下，情绪估计单元15针对各个窗口，在各个窗口内从特征量提取单元13中读取从测量数据提取的特征量之间的变化，并且还从学习数据存储装置23中读取与窗口对应的用于激发和效价的回归方程。情绪估计单元15通过使用回归方程和测量数据中的特征量之间的变化来计算在激发和效价上的情绪变化的估计值，并且将计算结果输出至估计结果输出单元16。
基于从情绪估计单元15输出的在激发和效价上的情绪变化的估计值，估计结果输出单元16生成表示对象的当前情绪变化的信息，并且通过接口单元30将该信息传输至相关管理设备。
操作
现在将结合总体系统的操作描述具有上述结构的情绪估计设备1的操作。
(1)学习数据生成
在针对对于对象的情绪进行估计的处理之前，情绪估计设备1进入学习模式并且按照下面描述的方式来生成特定于对象的学习数据。图3是示出了该处理及其细节的流程图。
例如，制造设备的操作员(该操作员作为对象)在工作时按照预定时间间隔或者在所选择的定时利用情绪输入装置2输入他的或者她的当前情绪。
1-1：对象输入情绪信息，测量生命体征和有关对象活动的运动信息，并且采集输入数据和测量数据
如上所述，情绪输入装置2在用于情绪激发和情绪效价的二维坐标系中显示对象的情绪，并且检测对象在二维坐标系上绘制的位置的坐标。用于情绪输入装置2的二维坐标系如在图9中示出的那样，具有由1、2、3和4表示的四个象限，并且激发轴和价效轴如在图10中示出的那样，分别表示从-100到+100的值，交叉点为0。情绪输入装置2将检测到的坐标变换为，有关对应象限的信息以及在激发轴和价值轴上的对应值。情绪输入装置2将表示输入日期和时间的时间戳数据添加至结果信息，并且将数据传输至情绪估计设备1作为标量数据。
与此同时，测量装置3按照预定时间间隔来测量工作对象的心脏电活动H、皮肤电位活动G、运动BM和活动量Ex，并且将测量数据与表示测量时间的时间戳数据一起传输至情绪估计设备1。此外，图像传感器(未示出)测量对象的眼运动EM，并且也将测量数据与时间戳数据一起传输至情绪估计设备1。
在步骤S11中，情绪估计设备1在由标量数据获取控制器11控制时通过接口单元30来接收从情绪输入装置2传输的标量数据，并且将接收到的标量数据存储到标量数据存储装置21中。在步骤S12中，情绪估计设备1在由测量数据获取控制器12控制时通过接口单元30来接收从测量装置3和图像传感器传输的测量数据，并且将接收到的测量数据存储到测量数据存储装置22中。
1-2：学习数据生成
在步骤S13中，当标量数据和测量数据累积了预定时段(例如，一天或者一周)时，情绪估计设备1按照下面描述的方式生成如由特征量提取单元13和学习数据生成单元14控制的学习数据。图4和图5是示出了该处理及其细节的流程图。
在步骤S131中，将窗口Wi(i＝1、2、3、...)的单位持续时间设置为初始值。在步骤S132中，选择第一窗口(i＝1)。在步骤S133中，特征量提取单元13在第一窗口内从标量数据存储装置21中读取多个标量数据集合。在步骤S134中，特征量提取单元13计算激发和效价的特征量之间的变化。例如，当如在图10中示出的那样在一个窗口的单位持续时间内输入标量数据K1和标量数据K2时，将变化计算为从第三象限到第四象限的变化，并且计算为激发增加20(+20)和效价增加50(+50)。即使对于成对角线相对的象限的变化(例如，对于从第三象限到第二象限的变化)，也可以针对激发和效价计算结果特征量之间的变化。
在步骤S135中，特征量提取单元13从测量数据存储装置22中，读取在第一窗口的单位持续时间内获取的所有测量数据项，这些测量数据项是心脏电活动H、皮肤电位活动G、运动BM、活动量Ex和眼运动EM。在步骤S136中，特征量提取单元13从测量数据提取特征量。
例如，心脏电活动H具有以下特征量，这些特征量是心跳间隔(R-R间隔或者RRI)和RRI的功率谱的高频分量(HF)和低频分量(LF)。皮肤电位活动G具有以下特征量，该特征量是皮肤电反应(GSR)。眼运动EM具有以下特征量，这些特征量是眼运动速度和瞳孔大小。运动BM具有包括手移动速度的特征量。例如，基于由三轴加速度传感器测得的三轴加速度来计算手移动速度。活动量Ex具有以下特征量，这些特征量是身体活动强度(METs)和锻炼(EX)。通过将身体活动强度(MET)乘以活动持续时间来计算锻炼(EX)。
特征量提取单元13在窗口的单位持续时间内计算提取的特征量之间的变化，这些提取的特征量是心脏电活动H、皮肤电位活动G、生物运动BM、活动量Ex和眼运动EM。
在步骤S137中，学习数据生成单元14基于在步骤S134中计算得出的在标量数据特征量之间的变化和在步骤S136中计算得出的在测量数据特征量之间的变化，来生成用于激发的学习数据和用于效价的学习数据。例如，学习数据生成单元14通过使用激发和效价的标量数据特征量之间的变化作为监督数据，并且将测量数据特征量之间的变化作为是主要指标的独立变量，来执行多重回归分析。然后，学习数据生成单元14生成表示对象的情绪变化与生命体征和运动信息的变化之间的关系的用于激发和效价的回归方程。
与第i个窗口对应的回归方程如下：
以及
其中，是激发变化的估计值，是效价变化的估计值，α1、α2、α3、α4和α5是测量数据项的特征量Hi、Gi、Emi、BMi和Ex的加权系数，并且f是从测量数据的作为主要指标的特征量Hi、Gi、Emi、BMi和Ex获取的指标的总和。可以通过使用例如，基于在学习阶段获取的全体数据中的比例的加权平均值来确定加权系数。
在步骤S138中，学习数据生成单元14将所生成的与第i个窗口对应的用于激发和效价的回归方程，存储到学习数据存储装置23中。在步骤S139中，学习数据生成单元14确定是否已经选择了所有窗口Wi用于生成回归方程。当任何窗口都保持未被选择时，处理返回至步骤S132，在该步骤S132中，选择未被选择的窗口，并且对于下一选择的窗口，重复步骤S133至S139中的学习数据生成处理。
1-3：确定最佳窗口单位持续时间和偏移
通常，可以按照多种方式来确定或者改变窗口单位持续时间(关于这一点，应该注意，即使窗口被预定命名，也意味着可以方便地确定窗口；因此，表达预定窗口单位还可与确定的窗口单位互换)。
例如，可以基于以下中的至少一个来确定(或者计算)窗口的预定单位持续时间：
(i)获取的表示对象的活动状态的活动信息(由第二获取单元获得)，以及
(ii)表示联接至设备的装置与对象之间的交互操作的时间长度的交互时间间隔。
在情况(i)中，换句话说，根据所获取的有关对象的活动的信息(例如，活动的类型、强度等)，可以改变单位持续时间。作为进一步说明，可以基于要在情绪估计中使用的活动信息项来改变窗口的单位持续时间。例如，将限定适合于每种类型的活动信息项的单位持续时间(通过实验等确定)的表存储在存储器中，并且从表中读取与要在情绪估计中使用的活动信息对应的单位持续时间。在情绪估计中使用多个活动信息项的情况下，可以基于在用于估计情绪的回归方程中具有最高优先级或者权重的活动信息项，来确定单位持续时间。可以基于各个用户的特征(即，活动信息项的单独的基线水平)来调整单位持续时间。在这种情况下，可以通过将获取的活动信息项与(多个)阈值相比较来确定用户的基线水平，并且可以基于所确定的基线水平来确定单位持续时间，使得例如，针对较大的(较快的)心率基线设置较小的单位持续时间。可以考虑到用户的身体状况来确定基线水平。
例如，当对象与装置进行交互时，可以考虑上面的情况(ii)，例如，装置是车辆(参见例如实施例1)、生产线中的组件(例如，见实施例3)或者保健支持提供装置(例如，以反馈的形式向对象提供刺激的装置，同样见下面的实施例4)。在这些场景中，可以使用估计的情绪来通过该实施例以及其它实施例的设备控制对象与装置的交互。具体地，在这些场景中，可以将窗口单位持续时间确定为符合表示对象与装置之间的典型交互间隔的时间间隔。例如，在生产线的情景中，交互时间间隔可以是用于通过生产线来生产一种物品的周期时间或者用于生产线组件执行其预期的操作的周期时间(例如，用机器制造一件物品所需的时间等)。在车辆的情况下，交互间隔可以是预先设置的，或者可根据一天中的小时变化的，或者可根据车辆行驶的道路的类型变化的(例如，取决于农村道路或者高速公路、在笔直的道路或者具有许多转弯的道路上等的不同间隔)。在保健支持装置的情况下，可以使交互时间间隔与对象的生理参数(体温、活动的水平等)有联系。
特征量提取单元13和学习数据生成单元14按照各个预定值来改变窗口单位持续时间，并按照各个预定量来改变窗口的时间偏移，以确定最佳窗口单位持续时间和最佳偏移。在单位持续时间和偏移的所有组合中，学习数据生成单元14选择将通过使用回归方程获取的情绪估计值与通过情绪输入装置2输入的情绪信息正确值之间的差异最小化的组合。然后，数据生成单元14针对情绪估计模式，设置所选择的窗口单位持续时间和所选择的偏移以及针对该组合生成的回归方程。因此，在场景(ii)中，可以获得更准确的估计，这与人和机器之间的交互的类型直接相关。作为更准确的估计的结果，如已经说明的，还可以提供更好的驾驶辅助或者(如稍后描述的)在生产线上的提高的生产率(例如，见实施例3)或者改善的健康状况(例如，见实施例4)。
现在将描述上述处理。图5是示出了该处理及其细节的流程图。
在步骤S141中，学习数据生成单元14通过使用在各个窗口Wi内生成的回归方程来计算情绪估计值和并且将计算得出的估计值的总和计算为以及将计算得出的估计值的总和计算为在步骤S142中，学习数据生成单元14按照下面描述的方式来计算情绪估计值和的总和与通过情绪输入装置2输入的情绪信息的真值A和V的总和之间的差异。
和
将计算结果存储在学习数据存储装置23中。为了简化流程图，图5仅示出了
在步骤S143中，学习数据生成单元14确定是否已经完成改变窗口单位持续时间和偏移，或者换句话说，是否已经针对窗口单位持续时间和偏移的所有组合生成了回归方程。当该处理未完成时，处理前进至步骤S144，在该步骤S144中，将窗口Wi的单位持续时间和偏移改变预定量。然后，处理返回至在图4中示出的步骤S132，并且然后，执行步骤S132至S143中的处理。按照这种方式，重复步骤S132至S144中的处理，直到针对窗口单位持续时间和偏移的所有组合生成回归方程为止。
当已经针对窗口单位持续时间和偏移的所有组合生成了回归方程时，在步骤S145中，学习数据生成单元14比较情绪信息真值A和V的总和与情绪估计值和的总和之间的差异，针对窗口单位持续时间和偏移的所有组合计算该差异。在步骤S145中，情绪信息真值A和V，以及情绪估计值和的和，这些差异是和然后，学习数据生成单元14选择窗口单位持续时间和偏移的将值 和最小化的组合。
在步骤S146中，学习数据生成单元14用特征量提取单元13设置窗口单位持续时间和偏移的所选择的组合。在步骤S147中，学习数据生成单元14将与所选择的组合对应的回归方程存储到学习数据存储装置23中。学习数据生成处理结束。
(2)情绪估计
当学习数据生成完成时，情绪估计设备1使用学习数据来估计工作对象的情绪。图6是示出了该处理及其细节的流程图。
测量装置3按照预定时间间隔或者预定定时，测量工作对象的心脏电活动H、皮肤电位活动G、眼运动EM、运动BM和活动量Ex中的任何一个或者任何组合，并且将测量数据传输至情绪估计设备1。优选地，在情绪状态估计的情境中，用于这种测量的装置不需要像用于获取用于生成学习数据的测量数据的那些装置一样高度准确。进一步优选地，在情绪估计的情境中的测量装置3是可穿戴装置，如同可由人穿戴并且优选地，能够计算测量的结果并且将测量的结果传递至另一装置(如同智能电话)的任何传感器。
在步骤S21中，情绪估计设备1在由测量数据获取控制器12控制时通过接口单元30来接收从测量装置3和图像传感器传输的测量数据，并且将接收到的数据存储到测量数据存储装置22中。包括在情绪估计设备1中的特征量提取单元13按照在上面描述的学习数据生成处理中确定的窗口单位持续时间，从测量数据存储装置22中读取测量数据，并且从测量数据提取特征量。提取的特征量与在学习模式下提取的那些特征量相同，并且将不再详细描述。
在步骤S22中，情绪估计设备1从如由情绪估计单元15控制的学习数据存储装置23中读取与获得测量数据的时间段对应的用于激发和效价的回归方程。在步骤S23中，情绪估计设备1通过使用回归方程和测量数据的特征量，来在获得测量数据的时间段内计算对象的情绪估计值和在步骤S24中，估计结果输出单元16基于计算得出的针对激发和效价的情绪估计值和来生成表示对象的当前情绪的显示数据，并且将该显示数据传输至例如管理者的终端，在该终端上，数据将出现。
然后，管理者(或者设备，经由控制单元)基于与对象的情绪相关联的出现在终端上的估计结果来指导对象休息或者继续工作。
有益效果
如上面详细描述的，在一个实施例中，在学习模式下利用监督数据和变量通过多重回归分析来生成用于估计在激发和效价上的情绪变化的回归方程，该监督数据是通过情绪输入装置2输入的表示对象的情绪的信息，并且变量是测量装置3在同一时间段内从测量数据项获取的特征量，这些测量数据项是对象的心脏电活动H、皮肤电位活动G、眼运动EM、运动BM和活动量Ex。通过使用回归方程和测量数据项的特征量的变化来估计对象的情绪变化，这些测量数据项是：对象的由测量装置3测得的心脏电活动H、皮肤电位活动G、眼运动EM、运动BM和活动量Ex。
在估计模式下，从而可以基于测量数据和初步生成为学习数据的回归方程，来实时估计对象的当前情绪变化，该测量数据包括对象的生命体征和运动信息。可以在不监测外部事件(诸如，在对象周围的环境条件)的情况下估计对象的情绪变化。没有用于监测在对象周围的外部事件的任何组件的这种相对简单的结构具有广泛的应用。
此外，通过使用二维激发-效价坐标系的象限以及激发和效价的变化，来简单并且准确地表达情绪变化。
进一步地，通过使用在窗口中的各个窗口内生成的回归方程在各个时间段内精确地估计对象的情绪变化，这些窗口布置在按时间顺序彼此偏移的时间点处以基于时间序列测量数据估计情绪变化。另外，通过使用按照各个预定值发生改变的窗口单位持续时间和的偏移来限定窗口。针对单位持续时间和偏移的所有组合生成回归方程。选择并且设置窗口单位持续时间和偏移的组合，该组合将通过这些回归方程获取的情绪估计值与通过情绪输入装置2输入的情绪真值之间的差异最小化。从而可以准确地估计对象的情绪变化。
实施例3–用于控制生产线的设备
在实施例1中，已经提出了一种用于车辆辅助车辆驾驶的设备，该设备可以优选地包括实施例2的特征中的一些或者全部特征，该实施例2描述了用于估计用于确定驾驶辅助的情绪的情绪估计设备。实施例3涉及一种用于控制生产线的设备，其中，基于估计的情绪来控制生产线。因此，与实施例1相似，同样在实施例3中，可以通过实施例2的装置来获取估计的情绪，使得实施例2的特征(及其操作、方法等)中的一部分或者全部可以可选地包括到实施例3中。现在将参照图15A描述实施例3，图15A示出了用于控制生产线的设备200，其中，该设备包括存储单元220、学习数据生成单元214、情绪估计单元215和控制单元290。
存储单元220存储表示对象的情绪的信息以及表示对象的活动的信息。对象是例如，在生产线运行期间在生产线上工作或者与生产线进行交互的工人或者操作员。学习数据生成单元214生成表示所存储的表示对象的情绪的信息(优选地，由第一获取单元获得，见实施例2)与所存储的表示对象的活动的信息(优选地，由第二获取单元获得，见实施例2)之间的关系的学习数据，并且将该学习数据存储到存储器中。情绪估计单元215在生成学习数据之后基于由获取单元(第二获取单元；与估计对应，获取或者获得)获取的表示对象的当前活动的信息和存储在存储器中的学习数据来估计对象的当前情绪。控制单元290基于所估计的当前情绪来控制生产线。
该生产线可以包括一个或者多个组件，包括：例如，机器(包括工具机器、模塑工具、工业烤炉、用于制造半导体的设备等)、送料器、机器人、用于控制机器的控制器等。通常，组件可以是自动的(例如，一旦被编程，其就在没有工人的直接干预的情况下操作，但是可选地，可以仍然需要与作为监管员进行交互的工人的交互)、半自动的(即，部分地由工人操作)或者手动的；通常，组件在生产线运行时与工人/操作员进行交互。
进一步地，本实施例的控制单元可以执行控制生产线组件的移动速度和控制生产线组件的工作速度中的任何组合。例如，当确定估计的情绪具有低于第一阈值或者在第一预定范围内的预定值时，例如，控制单元可以确定对生产线或者组件的干预。例如，可以使一个或者多个组件停止(例如，暂时地)，或者可以降低它/它们的工作速度和/或移动速度。替代地或者另外，可以向工人提供反馈(与辅助驾驶设备的情况相似)。按照这种方式，可以避免表示不适合工作的精神状态的低情绪值会对生产线或者操作员他自己/她自己的生产率或者安全性产生负面影响。当估计的情绪提高到高于第二阈值(不一定与第一阈值相同)或者落在第二预定范围内(与第一范围不同或者部分重叠)时，可以控制一个或者多个组件重新开始操作或者提高工作速度和/或移动速度。
与其它实施例相似，同样，此处，设备可以可选地包括被配置为基于表示对象的活动的进一步信息，来确定对象的认知状态的认知状态估计单元，在这种情况下，控制单元进一步被配置为进一步基于认知状态来控制生产线。按照这种方式，可以在估计的认知状态和估计的情绪状态两者下更准确地估计精神状态，使得控制单元可以更有效并且更准确地控制生产线。
进一步可选地，根据本实施例的设备的控制单元被配置为提供与所估计的激发的程度和所估计的效价的程度中的至少一个反对应的生产线控制度，所估计的激发和所估计的效价被包括在所估计的当前情绪中。在本文中，按照程度是指生产线的生产水平或者生产率，例如，取决于其一个或者多个组件的工作速度/移动速度，其中，按照与情绪状态的程度和/或认知状态的程度相反的方式来改变生产/生产率的程度(在这点上，同样见实施例1)。
可选地，还可以像图15B中一样表示本实施例的设备，注意：相同的附图标记表示与图2中相同的组件。而且，图15B所示存储单元220、学习数据生成单元214和情绪估计单元215分别与单元20、14和15对应。因此，参照实施例2以获得同样适用于本实施例的进一步可选细节。
现在参照图15C描述根据本实施例的用于控制生产线的设备的操作(方法)。在步骤S2110中，存储表示对象的情绪的信息以及表示对象的活动的信息。在步骤S2113中，生成表示由第一获取单元获取的表示对象的情绪的信息与由第二获取单元获取的表示对象的活动的信息之间的关系的学习数据，并且将该学习数据存储到存储器中。在步骤S2123中，在生成学习数据之后基于由第二获取单元获取的表示对象的当前活动的信息和存储在存储器中的学习数据来估计对象的当前情绪。在步骤S2190中，基于所估计的当前情绪来控制生产线。
应该注意，例如，通过上面说明的(图3所示)步骤S11和S12的组合来提供步骤S2110的示例。而且，通过上面图3所示步骤S13来提供步骤S2113的示例。进一步地，通过上面说明的图6所示步骤S23来提供步骤S2123的示例。其它操作或者方法步骤通过对根据本实施例以及上述实施例1和/或2的设备的相应描述而立即很明显。
实施例4–用于对象的保健支持的设备
本实施例4涉及一种用于对象的保健支持的设备，其中，该设备基于所估计的当前情绪来向对象提供保健支持反馈。按照对象的保健支持在本文中是指装置支持维持特定健康状态/状况或者改善对象的健康状态/状况。对象可以是例如，任何年龄或者性别的任何人。与实施例1和3相似，同样在实施例4中，优选地，可以通过实施例2的装置来获取估计的情绪，使得实施例2的特征(及其操作、方法等)中的一部分或者全部可以可选地包括到实施例4中。现在将参照图16A描述实施例3，图16A涉及用于对象的保健支持的设备300，该设备包括存储单元320、学习数据生成单元314、情绪估计单元315和控制单元390。存储单元320存储表示对象的情绪的信息以及表示对象的活动的信息。学习数据生成单元314生成表示所存储的表示对象的情绪的信息(优选地，由第一获取单元获得，见实施例2)与所存储的表示对象的活动的信息(优选地，由第二获取单元获得，见实施例2)之间的关系的学习数据，并且将该学习数据存储到存储器中。情绪估计单元(315)在生成学习数据之后基于由获取单元(第二获取单元，见实施例2；与估计对应，获取或者获得)获取的表示对象的当前活动的信息和存储在存储器中的学习数据来估计对象的当前情绪。控制单元390基于所估计的当前情绪来向对象提供保健支持反馈。
例如，可以由建议要采取的某些活动或者要遵循的生活方式的一个或者多个消息(文本、音频和/或视频等形式)或者在对象上引起的一个或者多个刺激信号(例如，用于对对象引起刺激的音频/视频信号和/或对对象引起刺激的电信号等)来表示反馈。例如，当估计的激发值和/或估计的效价值满足预定条件时，可以提供反馈；而且，当估计的激发值和/或估计的效价值变得更大时，可以按照更高的频率(即，更频繁地)来提供反馈(例如，具有更高激发值和/或效价值的对象将更积极地遵循建议消息，使得通过相应地应用反馈，可以预期更高的效应)，或者可以根据估计的激发值和/或估计的效价值是正值还是负值来改变反馈的内容。按照这种方式，可以引导/指导或者在身体上刺激对象维持良好的健康状况或者改善他的/她的健康状况。其它类型的反馈当然是合适的。
进一步地，本实施例的设备可以可选地包括认知状态估计单元，其被配置为基于表示对象的活动的进一步信息来确定对象的认知状态，其中，控制单元进一步被配置为进一步基于认知状态来向对象提供保健支持反馈。按照这种方式，可以估计甚至更准确的精神状态，使得可以更准确地建立反馈(例如，在准确地估计精神状态时正确地生成反馈，即，在真正需要时生成反馈)。
进一步可选地，保健支持反馈包括保健支持信息(例如，文本、音频、图像和/或视频形式的消息，同样见上述示例)和保健支持刺激(例如，施加于对象的电刺激)中的任何组合。
进一步可选地，控制单元被配置为提供一定程度的保健支持反馈，该一定程度的保健支持反馈与估计的激发的程度和估计的效价的程度中的至少一个对应，估计的激发和估计的效价包括在所估计的当前情绪中(换句话说，如果激发/效价程度中的至少一个提高，则支持的程度也提高；类似地以及可选地，在降低的情况下)。按照保健支持的程度在本文中是指，提供给对象以维持和/或改善他的/她的健康状况的支持的水平。例如，高水平的支持意味着更频繁地提供反馈，具有更大的影响(例如，比简单的文本反馈具有更大影响的视听反馈)或者更强烈(例如，在刺激的情况下，更强的电刺激)。对于激发和情绪的程度，我们参考先前已经陈述了的内容。因此，例如，当激发和/或效价的程度降低时，保健支持的程度提高，反之亦然。关于其它实施例，支持程度和效价/激发程度之间的反比关系可以是任何类型的(线性的、非线性的等)。
可选地，还可以像图16B中一样表示本实施例的设备，注意：相同的附图标记表示与图2中相同的组件。而且，图16B所示存储单元320、学习数据生成单元314和情绪估计单元315分别与图2所示的单元20、14和15对应。因此，参照实施例2以获得同样适用于本实施例的进一步可选细节。
现在参照图16C来描述根据本实施例的用于对象的保健支持的设备的操作(方法)。在步骤S3110中，存储表示对象的情绪的信息以及表示对象的活动的信息。在步骤S3113中，生成表示所存储的表示对象的情绪的信息与由获取单元获取的表示对象的活动的信息之间的关系的学习数据，并且将该学习数据存储到存储器中。在步骤S3123中，在生成学习数据之后基于存储的表示对象的当前活动的信息和存储在存储器中的学习数据来估计对象的当前情绪。在步骤S3190中，基于所估计的当前情绪来向对象提供保健支持反馈。
通过对根据本实施例的设备的相应描述以及上述内容，其它操作或者方法步骤立即很明显。
其它实施例
本发明不限于上述实施例。例如，人类情绪与生命体征和运动信息之间的关系可能根据日期、星期几、季节、环境变化以及其它因素而改变。因此，可以定期或者根据情况更新学习数据。例如，当在情绪的正确值与情绪的由情绪估计单元15获取的估计值之间计算得出的差异超过预定范围的正确值时，更新存储在学习数据存储装置23中的学习数据。在这种情况下，可以基于情绪估计值的趋势来估计正确值。在另一实施例中，情绪的正确值可以由对象通过情绪输入装置2定期输入。
在上面描述的实施例中，通过情绪输入装置2来将表示对象的情绪的信息输入到情绪估计设备1中，该情绪输入装置2是智能电话或者平板终端。可以按照任何其它方式来输入信息。例如，对象可以将他的或者她的情绪信息写在诸如调查表等印刷媒介上，并且可以使用扫描仪来读取情绪信息并且将该信息输入到情绪估计设备1中。
进一步地，可以使用摄像头来检测对象的面部表情。然后，可以将与检测到的面部表情有关的信息输入到情绪估计设备1中作为情绪信息。可以使用麦克风来检测对象的声音。然后，可以将检测信息输入到情绪估计设备1中作为情绪信息。可以通过使用调查表来从大量非指定的个人采集情绪信息，并且可以将采集到的信息的平均值或者其它代表值用作用于校正来自个人的情绪信息的群体数据。可以使用任何其它技术来将表示人类情绪的信息输入到情绪估计设备1中。
上述实施例描述了用于表达有关对象的情绪的信息的二维激发-效价系统。可以使用另一种方法来表达对象的情绪信息。
在上面描述的实施例中，将测量数据项(即，心脏电活动H、皮肤电位活动G、眼运动EM、运动BM和活动量Ex)输入到情绪估计设备1中作为表示对象的活动的信息，并且所有这些项都用于估计情绪。然而，可以使用测量数据中的至少一个项来估计情绪。例如，可以使用心脏电活动H(该心脏电活动H在其它生命体征之间对情绪具有最大贡献)来估计仅使用心脏电活动H作为测量数据的情绪。还可以使用除了在实施例中使用的项之外的生命体征。
情绪估计设备可以是智能电话或者可穿戴终端，该智能电话或者可穿戴终端可以用作测量装置。情绪估计设备还可以用作情绪输入装置。
另外，在不脱离本发明的范围和精神的情况下，还可以不同地修改表示对象的活动的生命体征和运动信息的类型、表示情绪变化与生命体征和运动信息变化之间的关系的模型、学习数据生成处理及其细节、情绪估计处理及其细节以及情绪估计设备的类型和结构。
本发明不限于上面描述的实施例，而是在不脱离本发明的实施范围和精神的情况下，可以通过使用修改过的组件来体现本发明。在实施例中描述的组件的适当组合可以构成本发明的各个方面。例如，可以消除在实施例中描述的组件中的一些组件。进一步地，可以根据情况组合不同实施例中的组件。
可以按照以下形式来部分地或者完全地表达上述实施例，但不限于以下形式。
附录1：
一种情绪估计设备，该情绪估计设备允许情绪输入装置与测量装置之间的信息传输，该情绪输入装置用于接收对象的被表达为激发信息和效价信息的情绪，该测量装置用于测量对象的状况并且输出测量信息，该设备包括硬件处理器和存储器，
硬件处理器被配置为：
获取通过情绪输入装置输入的情绪信息；
从测量装置获取测量信息；
在学习模式下生成表示第一情绪信息与第一测量信息之间的关系的学习数据，并且将该学习数据存储到存储器中，第一情绪信息是所获取的情绪信息，第一测量信息是所获取的测量信息；以及
在生成学习数据之后在情绪估计模式下，基于是所获取的测量信息的第二测量信息和存储在存储器中的学习数据来估计与第二测量信息对应的第二情绪信息。
附录2：
一种由包括至少一个硬件处理器和存储器的设备实施的情绪估计方法，该方法包括：
利用至少一个硬件处理器和存储器来获取通过情绪输入装置输入的情绪信息以便接收对象的被表达为激发信息和效价信息的情绪；
利用至少一个硬件处理器和存储器来从用于测量对象的状况的测量装置获取测量信息作为测量信息，利用至少一个硬件处理器和存储器；
在学习模式下利用至少一个硬件处理器和存储器来生成表示第一情绪信息与第一测量信息之间的关系的学习数据，并且将该学习数据存储到存储器中，第一情绪信息是所获取的情绪信息，第一测量信息是所获取的测量信息；以及
在生成学习数据之后在情绪估计模式下，利用至少一个硬件处理器和存储器基于是所获取的测量信息的第二测量信息和存储在存储器中的学习数据，来估计与第二测量信息对应的第二情绪信息。
附图标记列表
1 情绪估计设备
2 情绪输入装置
3 测量装置
4 通信网络
10 控制单元
11 标量数据获取控制器
12 测量数据获取控制器
13 特征量提取单元
14 学习数据生成单元
15 情绪估计单元
16 情绪结果输出单元
20 存储单元
21 标量数据存储装置
22 测量数据存储装置
23 学习数据存储装置
30 接口单元

Claims (35)

1.一种用于辅助车辆驾驶的设备，所述设备(100)包括：
存储单元，所述存储单元被配置为存储表示对象的情绪的信息以及表示所述对象的活动的信息，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同；
学习数据生成单元，所述学习数据生成单元被配置为生成学习数据并且将该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与所存储的表示所述对象的活动的信息之间的关系；
情绪估计单元，所述情绪估计单元被配置为，在生成所述学习数据之后，基于由获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
辅助单元，所述辅助单元被配置为，基于所估计的当前情绪来提供所述车辆的驾驶辅助。
2.根据权利要求1所述的设备，所述设备包括：
认知状态估计单元，所述认知状态估计单元被配置为，基于表示所述对象的活动的进一步信息来确定所述对象的认知状态，其中，
所述辅助单元进一步被配置为，进一步基于所述认知状态来提供所述车辆的驾驶辅助。
3.根据权利要求1或2所述的设备，其中，所述驾驶辅助包括以下中的任何一个或者任何组合：在驾驶期间所述辅助单元主动控制所述车辆；以及在驾驶期间向所述车辆的驾驶员提供至少一个反馈。
4.根据权利要求1至3中任一项所述的设备，其中，
表示所述对象的情绪的信息被展示在二维坐标系中，所述二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与所述情绪激发和所述情绪效价对应的值，并且
所述辅助单元被配置为提供与所述情绪激发的程度和所述情绪效价的程度中的至少一个反对应的驾驶辅助度。
5.一种用于控制生产线的设备，所述设备包括：
存储单元，所述存储单元被配置为存储表示对象的情绪的信息以及表示所述对象的活动的信息；
学习数据生成单元，所述学习数据生成单元被配置为生成学习数据并该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与所存储的表示所述对象的活动的信息之间的关系；
情绪估计单元，所述情绪估计单元被配置为，在生成所述学习数据之后，基于由获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
控制单元，所述控制单元被配置为基于所估计的当前情绪来控制所述生产线。
6.根据权利要求5所述的设备，其中，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同。
7.根据权利要求5或6所述的设备，所述设备包括：
认知状态估计单元，所述认知状态估计单元被配置为，基于表示所述对象的活动的进一步信息来确定所述对象的认知状态，其中，
所述控制单元进一步被配置为，进一步基于所述认知状态来控制所述生产线。
8.根据权利要求5至7中任一项所述的设备，其中，所述控制单元进一步被配置为执行以下中的任何组合：控制生产线组件的移动速度；以及控制生产线组件的工作速度。
9.根据权利要求5至8中任一项所述的设备，其中，
表示所述对象的情绪的信息被展示在二维坐标系中，所述二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与所述情绪激发和所述情绪效价对应的值，并且
所述控制单元被配置为提供与所述情绪激发的程度和所述情绪效价的程度中的至少一个反对应的生产线控制度。
10.一种用于对象的保健支持的设备，所述设备包括：
存储单元，所述存储单元被配置为，存储表示对象的情绪的信息以及表示所述对象的活动的信息；
学习数据生成单元，所述学习数据生成单元被配置为生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与所存储的表示所述对象的活动的信息之间的关系；
情绪估计单元，所述情绪估计单元被配置为，在生成所述学习数据之后，基于由获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
控制单元，所述控制单元被配置为，基于所估计的当前情绪来向所述对象提供保健支持反馈。
11.根据权利要求10所述的设备，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，和/或所述第一配置和所述第二配置彼此不同。
12.根据权利要求10或11所述的设备，所述设备包括：
认知状态估计单元，所述认知状态估计单元被配置为，基于表示所述对象的活动的进一步信息来确定所述对象的认知状态，其中，
所述控制单元进一步被配置为，进一步基于所述认知状态来向所述对象提供保健支持反馈。
13.根据权利要求10至12中任一项所述的设备，其中，所述保健支持反馈包括以下中的任何组合：保健支持信息，和保健支持刺激。
14.根据权利要求10至13中任一项所述的设备，其中，
表示所述对象的情绪的信息优选地被展示在二维坐标系中，所述二维坐标系具有表示情绪激发的第一轴和表示情绪效价的第二轴，并且所估计的当前情绪被输出为与所述情绪激发和所述情绪效价对应的值，并且所述控制单元被配置为提供与所述情绪激发的程度和所述情绪效价的程度中的至少一个对应的保健支持反馈度。
15.一种情绪估计设备，所述情绪估计设备包括：
第一获取单元，所述第一获取单元被配置为获取表示对象的情绪的信息；
第二获取单元，所述第二获取单元被配置为获取表示所述对象的活动的信息；
学习数据生成单元，所述学习数据生成单元被配置为生成学习数据并将该学习数据存储到存储器中，该学习数据表示由所述第一获取单元获取的表示所述对象的情绪的信息与由所述第二获取单元获取的表示所述对象的活动的信息之间的关系；以及
情绪估计单元，所述情绪估计单元被配置为，在生成所述学习数据之后，基于由所述第二获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据来估计所述对象的当前情绪。
16.根据权利要求15所述的设备，其中，表示对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同。
17.根据权利要求15或16所述的情绪估计设备，其中，
所述学习数据生成单元生成回归方程并将所生成的回归方程存储到所述存储器中作为所述学习数据，该回归方程代表表示所述对象的情绪的信息与表示所述活动的信息之间的关系，在该回归方程中，正确值是由所述第一获取单元获取的表示所述对象的情绪的信息，并且变量是由所述第二获取单元同时获取的表示所述对象的活动的信息。
18.根据权利要求15至17中任一项所述的情绪估计设备，其中，
所述第一获取单元获取与情绪激发和情绪效价有关的信息作为表示所述对象的情绪的信息，
所述学习数据生成单元生成回归方程并将各个所生成的回归方程存储到所述存储器中作为所述学习数据，该回归方程表示针对所述情绪激发并针对所述情绪效价的、表示所述对象的情绪的信息与表示所述活动的信息之间的关系。
19.根据权利要求15至18中任一项所述的情绪估计设备，其中，
所述学习数据生成单元限定多个窗口，各个窗口具有预定单位持续时间，并且布置在按时间顺序彼此偏移的时间点处；并且所述学习数据生成单元针对各个窗口，生成表示各个窗口内的表示所述对象的情绪的信息的变化与表示所述对象的活动的信息的变化之间的关系的学习数据。
20.根据权利要求19所述的情绪估计设备，其中，
所述学习数据生成单元包括：
生成器，所述生成器被配置为，针对所述窗口的单位持续时间和所述窗口的时间偏移中的至少一个中的预定值的每次改变，生成代表所述窗口内的表示所述对象的情绪的信息的变化与表示所述对象的活动的信息的变化之间的关系的学习数据；以及
选择器，所述选择器被配置为，针对各个生成的学习数据集，计算和基于所述学习数据获取的情绪估计有关的信息的变化与和由所述第一获取单元获取的情绪的正确值有关的信息的变化之间的差异，并且选择使得所述差异最小的、所述窗口的单位持续时间和时间偏移中的至少一个。
21.根据权利要求15至20中任一项所述的情绪估计设备，其中，
所述第二获取单元获取包括以下中的至少一个的测量结果的测量信息，作为表示所述对象的活动的信息：心脏电活动、皮肤电位活动、眼运动、运动和活动量。
22.根据权利要求15至21中任一项所述的情绪估计设备，所述情绪估计设备进一步包括：
学习数据更新单元，所述学习数据更新单元被配置为，把由所述情绪估计单元估计的情绪值与所述情绪的正确值的范围进行比较，并且基于该比较的结果来更新存储在所述存储器中的学习数据。
23.一种由包括处理器和存储器的情绪估计设备实施的情绪估计方法，所述方法包括以下步骤：
获取表示对象的情绪的信息；
获取表示所述对象的活动的信息；
生成学习数据并将该学习数据存储到所述存储器中，该学习数据表示所获取的表示所述对象的情绪的信息与所获取的表示所述对象的活动的信息之间的关系；以及
在生成所述学习数据之后，获取表示所述对象的当前活动的信息，并且基于所获取的表示所述当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪。
24.根据权利要求23所述的方法，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同。
25.一种情绪估计程序，其使处理器能够用作根据权利要求1至22中任一项所述的情绪估计设备中包括的各个组件。
26.一种用于辅助车辆驾驶的方法，所述方法包括以下步骤：
存储表示对象的情绪的信息以及表示所述对象的活动的信息，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同；
生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与所存储的表示所述对象的活动的信息之间的关系；
在生成所述学习数据之后，基于由获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
基于所估计的当前情绪来提供所述车辆的驾驶辅助。
27.一种用于控制生产线的方法，所述方法包括以下步骤：
存储表示对象的情绪的信息以及表示所述对象的活动的信息；
生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与所存储的表示所述对象的活动的信息之间的关系；
在生成所述学习数据之后，基于由获取单元获取的表示所述对象的当前活动的信息和存储在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
根据所估计的当前情绪来控制所述生产线。
28.根据权利要求27所述的方法，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和第二配置彼此不同。
29.一种用于对象的保健支持的方法，所述方法包括以下步骤：
存储表示对象的情绪的信息以及表示所述对象的活动的信息；
生成学习数据并将该学习数据存储到存储器中，该学习数据表示所存储的表示所述对象的情绪的信息与由获取单元获取的表示所述对象的活动的信息之间的关系；
在生成所述学习数据之后，基于所存储的表示所述对象的当前活动的信息和存储在在所述存储器中的学习数据，来估计所述对象的当前情绪；以及
基于所估计的当前情绪来向所述对象提供保健支持反馈。
30.根据权利要求29所述的方法，其中，表示所述对象的情绪的信息包括与通过根据第一配置设置的至少一个第一传感器获取的生理参数有关的信息，并且其中，表示所述对象的活动的信息包括与通过根据第二配置设置的至少一个第二传感器获取的生理参数有关的信息，其中，所述第一传感器和所述第二传感器彼此不同，且/或所述第一配置和所述第二配置彼此不同。
31.一种计算机程序，所述计算机程序包括指令，所述指令在计算机上执行时使所述计算机执行方法26至30中的任何方法的步骤。
32.根据权利要求1至22中任一项所述的设备，其中，表示所述对象的情绪的信息被展示在二维坐标系中，所述二维坐标系具有表示激发状态的第一轴和表示效价状态的第二轴，并且所估计的当前情绪被输出为与所述激发状态和所述效价状态对应的值。
33.根据权利要求26至30中任一项所述的方法，其中，表示所述对象的情绪的信息被展示在二维坐标系，所述二维坐标系具有表示激发状态的第一轴和表示效价状态的第二轴，并且将所估计的当前情绪输出为与所述激发状态和所述效价状态对应的值。
34.根据权利要求19所述的设备，其中，窗口的所述预定单位持续时间是基于以下中的至少一个确定的：
所获取的表示所述对象的活动状态的活动信息，以及
表示联接至所述设备的装置与所述对象之间的交互操作的时间长度的交互时间间隔。
35.根据权利要求34所述的设备，其中，联接至所述设备的装置是车辆、生产线中的组件和保健反馈提供装置中的一个，并且其中，相应地，所述交互时间间隔是所述对象与所述车辆之间的交互操作的时间长度、所述对象与所述生产线中的组件之间的交互操作的时间长度、和所述对象与所述反馈提供装置之间的交互操作的时间长度。
CN201780064807.3A 2016-12-27 2017-12-27 情绪估计设备、方法和程序 Pending CN109890289A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-252368 2016-12-27
JP2016252368A JP2018102617A (ja) 2016-12-27 2016-12-27 感情推定装置、方法およびプログラム
IBPCT/IB2017/055272 2017-09-01
PCT/IB2017/055272 WO2018122633A1 (en) 2016-12-27 2017-09-01 Emotion estimation apparatus, method, and program
PCT/IB2017/058414 WO2018122729A2 (en) 2016-12-27 2017-12-27 Emotion estimation apparatus, method, and program

Publications (1)

Publication Number Publication Date
CN109890289A true CN109890289A (zh) 2019-06-14

Family

ID=60001951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064807.3A Pending CN109890289A (zh) 2016-12-27 2017-12-27 情绪估计设备、方法和程序

Country Status (5)

Country Link
US (1) US20190239795A1 (zh)
EP (1) EP3562398A2 (zh)
JP (1) JP2018102617A (zh)
CN (1) CN109890289A (zh)
WO (2) WO2018122633A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111214249A (zh) * 2020-01-14 2020-06-02 中山大学 基于便携式设备获取情绪信息的环境参数阈值探测方法及应用
CN113143274A (zh) * 2021-03-31 2021-07-23 北京晶栈信息技术有限公司 基于摄像头的情绪预警方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052252B1 (en) 2017-06-07 2021-07-06 Hrl Laboratories, Llc Transcranial intervention to weaken an undesirable memory
US10877444B1 (en) * 2017-06-07 2020-12-29 Hrl Laboratories, Llc System and method for biofeedback including relevance assessment
WO2019134091A1 (en) * 2018-01-04 2019-07-11 Microsoft Technology Licensing, Llc Providing emotional care in a session
WO2019220428A1 (en) * 2018-05-16 2019-11-21 Moodify Ltd. Emotional state monitoring and modification system
KR102588194B1 (ko) * 2018-07-19 2023-10-13 한국전자통신연구원 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
CN109646023B (zh) * 2019-01-29 2021-06-11 昆山宝创新能源科技有限公司 调节生产线工人身心的方法和系统
US20200275875A1 (en) * 2019-02-28 2020-09-03 Social Health Innovations, Inc. Method for deriving and storing emotional conditions of humans
US11385884B2 (en) * 2019-04-29 2022-07-12 Harman International Industries, Incorporated Assessing cognitive reaction to over-the-air updates
KR20210000876A (ko) * 2019-06-26 2021-01-06 현대자동차주식회사 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치
CN110327061B (zh) * 2019-08-12 2022-03-08 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的性格确定装置、方法及设备
FR3100972B1 (fr) * 2019-09-20 2021-09-10 Ovomind K K Système de détermination d’une émotion d’un utilisateur
KR20210047477A (ko) * 2019-10-22 2021-04-30 현대자동차주식회사 오류 모니터링을 이용한 운전자 숙련용 주행 모델 생성 장치 및 방법
WO2021181699A1 (ja) 2020-03-13 2021-09-16 ヤマハ発動機株式会社 位置評価装置及び位置評価システム
US11702103B2 (en) * 2020-04-02 2023-07-18 Harman International Industries, Incorporated Affective-cognitive load based digital assistant
FR3114232A1 (fr) 2020-09-23 2022-03-25 Ovomind K.K Equipement électrodermal
KR102513289B1 (ko) * 2021-02-26 2023-03-24 한국광기술원 스마트 미러
CN113081656B (zh) * 2021-03-31 2023-04-07 中国科学院心理研究所 智能按摩椅及其控制方法
CN113119860B (zh) * 2021-05-18 2022-08-19 刘宇晟 一种基于云计算的司机智能辅助驾驶系统
JP7160160B1 (ja) 2021-08-19 2022-10-25 凸版印刷株式会社 心理状態推定装置、心理状態推定システム、および、心理状態推定プログラム
US20240050003A1 (en) * 2021-09-09 2024-02-15 GenoEmote LLC Method and system for validating the response of a user using chatbot
JP2023106888A (ja) * 2022-01-21 2023-08-02 オムロン株式会社 情報処理装置および情報処理方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
JP2006201866A (ja) * 2005-01-18 2006-08-03 Ricoh Co Ltd 作業指示システム
US20090066521A1 (en) * 2007-09-12 2009-03-12 Dan Atlas Method and system for detecting the physiological onset of operator fatigue
WO2009052633A1 (en) * 2007-10-25 2009-04-30 Christopher Mott Systems and methods for individualized alertness predictions
US20100302254A1 (en) * 2009-05-28 2010-12-02 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
JP2011019921A (ja) * 2002-02-19 2011-02-03 Volvo Technology Corp 運転者注意負荷の監視と管理とを行なうシステムおよび方法
CN202619669U (zh) * 2012-04-27 2012-12-26 浙江吉利汽车研究院有限公司杭州分公司 驾驶员情绪监控装置
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
US20130018837A1 (en) * 2011-07-14 2013-01-17 Samsung Electronics Co., Ltd. Emotion recognition apparatus and method
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
US20140229175A1 (en) * 2013-02-13 2014-08-14 Bayerische Motoren Werke Aktiengesellschaft Voice-Interfaced In-Vehicle Assistance
US20140240132A1 (en) * 2013-02-28 2014-08-28 Exmovere Wireless LLC Method and apparatus for determining vehicle operator performance
US20140336473A1 (en) * 2013-01-24 2014-11-13 Devon Greco Method and Apparatus for Encouraging Physiological Change Through Physiological Control of Wearable Auditory and Visual Interruption Device
JP2015110417A (ja) * 2015-01-08 2015-06-18 マツダ株式会社 ドライバ感情に基づく運転支援装置
JP2016062084A (ja) * 2014-09-22 2016-04-25 株式会社日立システムズ 作業管理装置、感情解析端末、作業管理プログラムおよび作業管理方法
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748084B2 (ja) 2007-03-06 2011-08-17 トヨタ自動車株式会社 心理状態推定装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011019921A (ja) * 2002-02-19 2011-02-03 Volvo Technology Corp 運転者注意負荷の監視と管理とを行なうシステムおよび方法
WO2006000166A1 (en) * 2004-06-29 2006-01-05 Miloslav Pavelka Method and device for detecting operator fatigue or quality
JP2006201866A (ja) * 2005-01-18 2006-08-03 Ricoh Co Ltd 作業指示システム
US20090066521A1 (en) * 2007-09-12 2009-03-12 Dan Atlas Method and system for detecting the physiological onset of operator fatigue
WO2009052633A1 (en) * 2007-10-25 2009-04-30 Christopher Mott Systems and methods for individualized alertness predictions
US20100302254A1 (en) * 2009-05-28 2010-12-02 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US20130018837A1 (en) * 2011-07-14 2013-01-17 Samsung Electronics Co., Ltd. Emotion recognition apparatus and method
CN202619669U (zh) * 2012-04-27 2012-12-26 浙江吉利汽车研究院有限公司杭州分公司 驾驶员情绪监控装置
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
US20140336473A1 (en) * 2013-01-24 2014-11-13 Devon Greco Method and Apparatus for Encouraging Physiological Change Through Physiological Control of Wearable Auditory and Visual Interruption Device
US20140229175A1 (en) * 2013-02-13 2014-08-14 Bayerische Motoren Werke Aktiengesellschaft Voice-Interfaced In-Vehicle Assistance
US20140240132A1 (en) * 2013-02-28 2014-08-28 Exmovere Wireless LLC Method and apparatus for determining vehicle operator performance
JP2016062084A (ja) * 2014-09-22 2016-04-25 株式会社日立システムズ 作業管理装置、感情解析端末、作業管理プログラムおよび作業管理方法
JP2016106689A (ja) * 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
JP2015110417A (ja) * 2015-01-08 2015-06-18 マツダ株式会社 ドライバ感情に基づく運転支援装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHRISTINE L. LISETTI ET AL: "Affective Intelligent Car Interfaces with Emotion Recognition", 《IN PROCEEDINGS OF 11TH INTERNATIONAL CONFERENCE ON HUMAN COMPUTER INTERACTION》 *
CHRISTOS D. KATSIS ET AL: "Toward Emotion Recognition in Car-Racing Drivers: A Biosignal Processing Approach", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS - PART A: SYSTEMS AND HUMANS》 *
DANA KULI´C ET AL: "Pre-collision safety strategies for human-robot interaction", 《AUTONOMOUS ROBOTS》 *
HENRY CANDRA ET AL: "Investigation of Window Size in Classification of EEG-Emotion Signal", 《IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY CONFERENCE PROCEEDINGS》 *
HUA CAI ET AL: "Modeling of operators’ emotion and task performance in a virtual", 《INTERNATIONAL JOURNAL OF HUMAN-COMPUTER STUDIES》 *
JIANHAI ZHANG: "ReliefF-Based EEG Sensor Selection Methods for", 《SENSORS》 *
MANIDA SWANGNETR ET AL: "Emotional State Classification in Patient–Robot Interaction Using Wavelet Analysis and Statistics-Based Feature Selection", 《IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS》 *
ZIRUI LAN ET AL: "Using Support Vector Regression to Estimate", 《2016 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS • SMC》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111214249A (zh) * 2020-01-14 2020-06-02 中山大学 基于便携式设备获取情绪信息的环境参数阈值探测方法及应用
CN111214249B (zh) * 2020-01-14 2023-03-24 中山大学 基于便携式设备获取情绪信息的环境参数阈值探测方法及应用
CN113143274A (zh) * 2021-03-31 2021-07-23 北京晶栈信息技术有限公司 基于摄像头的情绪预警方法
CN113143274B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 基于摄像头的情绪预警方法

Also Published As

Publication number Publication date
WO2018122633A1 (en) 2018-07-05
WO2018122729A3 (en) 2018-08-23
JP2018102617A (ja) 2018-07-05
US20190239795A1 (en) 2019-08-08
EP3562398A2 (en) 2019-11-06
WO2018122729A2 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN109890289A (zh) 情绪估计设备、方法和程序
CN110072454B (zh) 生产管理设备、方法以及程序
US20220256255A1 (en) System and method communicating biofeedback to a user through a wearable device
EP3355761B1 (en) Emotional/behavioural/psychological state estimation system
JP6660300B2 (ja) 注意レベル及び作業負荷の検知を伴うスマートウェアラブル装置及び方法
EP2698112B1 (en) Real-time stress determination of an individual
WO2022111597A1 (zh) 认知功能的调控装置、系统和方法及其在认知功能缺陷的应用、存储介质和终端以及认知功能的训练系统和方法
WO2018158622A1 (en) Work management apparatus, method, and program
CN107085464B (zh) 基于p300字符拼写任务的情绪识别方法
KR102136621B1 (ko) 헬스케어 정보를 제공하는 방법 및 시스템
US20210125702A1 (en) Stress management in clinical settings
CN110673721B (zh) 基于视觉与意念信号协同控制的机器人看护系统
WO2018158704A1 (en) Work management apparatus, method, and program
JP2019072371A (ja) システム及び意思疎通を図るために行うアクションの評価方法
CN111052157A (zh) 用于确定干预有效性指数的装置、方法、程序、信号
WO2018158702A1 (en) Production management apparatus, method, and program
Reddy et al. Affective Gaming
Hossain et al. Classi fication of motor imagery tasks based on BCI paradigm
CA3157828A1 (en) Methods and systems for the acquisition of kinematic data for neuromotor assessment
KR20150028622A (ko) 뇌파와 피트니스정보를 이용한 학습가이드 시스템과 학습가이드정보 제공방법
SK288872B6 (sk) Spôsob získavania a/alebo spracovania neuromarketingových dát, systém na jeho uskutočnenie
WO2017009696A1 (en) Method of gathering and/or processing of neuromarketing data and system for realization thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614

RJ01 Rejection of invention patent application after publication