CN112120716A - 一种可穿戴式多模态情绪状态监测装置 - Google Patents
一种可穿戴式多模态情绪状态监测装置 Download PDFInfo
- Publication number
- CN112120716A CN112120716A CN202010911658.3A CN202010911658A CN112120716A CN 112120716 A CN112120716 A CN 112120716A CN 202010911658 A CN202010911658 A CN 202010911658A CN 112120716 A CN112120716 A CN 112120716A
- Authority
- CN
- China
- Prior art keywords
- signals
- mode
- modal
- emotion
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002996 emotional effect Effects 0.000 title claims description 24
- 238000012806 monitoring device Methods 0.000 title claims description 13
- 230000008451 emotion Effects 0.000 claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000005611 electricity Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 239000011521 glass Substances 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 210000000707 wrist Anatomy 0.000 claims abstract description 4
- 210000001508 eye Anatomy 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000003945 visual behavior Effects 0.000 claims description 7
- 230000008909 emotion recognition Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000007717 exclusion Effects 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 208000019901 Anxiety disease Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000036506 anxiety Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000001097 facial muscle Anatomy 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000007654 immersion Methods 0.000 claims description 3
- 238000010295 mobile communication Methods 0.000 claims description 3
- 238000005312 nonlinear dynamic Methods 0.000 claims description 3
- 230000035790 physiological processes and functions Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 230000000763 evoking effect Effects 0.000 claims 1
- 230000006698 induction Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008560 physiological behavior Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Dermatology (AREA)
- Developmental Disabilities (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Child & Adolescent Psychology (AREA)
- Fuzzy Systems (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
Abstract
本发明公开了一种基于可穿戴式多模态情绪监测的装置。包括：VR眼镜，穿戴式多模态信号采集模块，智能计算模块；VR眼镜用于建立智能化交互性的现实社会场景的情绪诱发场景；穿戴式多模态情绪采集模块从佩戴者的头部、脸部、胸部以及手腕采集脑电、肌电、心电、皮肤电、眼部图像和嘴部图像的多模态生理信息；智能计算模块用于对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。本发明解决了传统情绪评估无定量分析、无测试器材等问题，为评估、监测多维情绪提供了可靠的实验范式、机制理论以及设备环境。
Description
技术领域
本发明涉及人机交互的智能情绪监测技术领域，具体是涉及一种基于可穿戴式多模态智能情绪监测装置。
背景技术
情绪是一种常见的心理现象，在人们的生活中扮演着重要的角色。在现代社会，随着科技的不断进步，人们对于自己身心状态的实时监控的需求日益增加。一方面，人们希望通过对自己的身心状态进行实时的监控与了解，在身心出现问题前起到提前预警以及及时解决的作用；另一方面，在工作环境中，对自身情绪进行实时监测和准确评估可以避免在工作中出现人为失误，对提高工作绩效起着重要的作用。
情绪是神经和躯体共同作用的结果，构造情绪的感觉依赖于大脑系统对身体反应的映射与调节。关于情绪的经典和现代理论都认为，内感受(对来自于身体和内脏反馈的感觉)对情绪体验来说至关重要，二者之间的联系已被多个研究所证实。1977年，美国麻省理工大学MIT实验室的Picard教授通过实验证明了基于人体信息提取的情感识别是可行的。
目前关于情绪识别的研究多是从表情、姿态、语音语调等接触式方法入手，其监测指标较为单一，而以非接触式为主的人体信息采集的形式展开的情绪监测，对情绪的监测要求无感化，更能满足智能化可交互穿戴式的情绪监测的需求。
针对传统研究难以诱发准确、持久的目标情绪状态，本装置拟采用更具沉浸感、临场感、交互感的虚拟现实技术建立面向智能化现实社会场景的情绪诱发实验范式，可更真实、有效的诱发被试对象在实际生活状态下的目标情绪，在此基础上通过穿戴式交互的传感器信号复用，实现对情绪的良好诱发和准确评定，保证了神经信号采集的稳定性，实现了多种信息互补，保持了较高的信噪比，有效获取了面向人的情绪多模态生理与视觉行为数据集。
发明内容
针对为在多模态生理数据采集过程中存在的多模数据信息冗余、缺失、异质等问题，本发明目的是提供一种穿戴式多模态情绪监测装置，利用穿戴式采集脑电、心电、皮肤电、肌电、眼部图像和嘴部图像的多模态信息，实现对人情绪状态的准确实时的监测。
本发明的技术方案如下：
一种可穿戴式多模态情绪状态监测装置，包括：VR眼镜、穿戴式多模态信号采集模块、智能计算模块。
VR眼镜通过虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景。VR眼镜用于提供更具沉浸感、临场感、交互感的虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景，达到更真实有效地诱发在实际生活状态下的目标情绪。
穿戴式多模态信号采集模块分别从该模块佩戴者的头、眼、手腕以及胸采集脑电、肌电、皮电和心电信号，从佩戴者眼部、嘴部记录视觉行为表现。穿戴式多模态信号采集装置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。
所述的穿戴式多模态信号采集模块包括：脑电EEG采集单元、面部肌电EMG采集单元、皮电GSR采集单元、心电ECG采集单元、眼部图像采集单元和嘴部图像采集单元；
脑电EEG采集单元，用于采集脑电信号，并传输到智能计算模块；
面部肌电EMG采集单元，用于采集肌电信号，并传输到智能计算模块；
皮电GSR采集单元，用于采集皮电信号，并传输到智能计算模块；
心电ECG采集单元，用于采集心电信号，并传输到智能计算模块；
眼部图像采集单元，用于采集面部表情的眼部图像信号，并传输到智能计算模块；
嘴部图像采集单元，用于采集面部表情的嘴部图像信号，并传输到智能计算模块；
智能计算模块用以对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。
智能计算模块的处理过程包括：
首先，智能计算模块对各信号进行预处理，针对四种生理信号的频率分布以及不同干扰来源特性，分别采取相应的方法对信号进行预处理，去除各种伪迹，从而保留有效的生理信号数据段；
根据多模态生理信号和视频信号的特点分别提取其特征，使用深层架构通过数据中的非线性交互来有效地生成特征；针对不同信号的频域、时域以及非线性动力学特性提取与情绪有关的特征参数；针对视频图像数据，利用计算机视觉技术以及深度卷积神经网络、循环神经网络深度学习方法估计多种行为信号，包括根据眼部图像估计视线方向，根据眼部和嘴部图像估计相应区域的面部肌肉运动，基于维度观测量模型估计出面部局部区域反映的愉悦度、激活度及优势度，并以多种行为信号的编码和表征作为特征。
其次，从特征层面对多源特征进行融合，建立多模态深度信念网络框架作为特征融合模型。各生理信号特征和视觉行为特征均设置有独立的隐藏层，得到每一种模态的统一高层表示特征，去除单一模态中的中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征；在各模态特征的融合阶段，引入注意力机制，为每种模态自动学习注意力系数，注意力系数表示该模态对情绪识别的重要性，随后将各模态特征乘以注意力系数，对关键特征进行自适应选择。针对信号缺失的模态，利用图卷积网络建模各模态特征之间的互补和互斥关系，引入基于对抗生成网络的预测机制，对缺失信号的特征进行补全。采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征。
通过深度信念网络获得多模态特征。深度信念网络是由多个受限玻尔兹曼机堆叠而成，每个受限玻尔兹曼机又分为显层和隐层。对于一个典型的受限玻尔兹曼机，其能量函数定义如下：
其中，vi和hi分别表示第i个显层神经元和隐层神经元，I和J分别为显层神经元和隐层神经元的总数目，θ为{w,b,a}，是一种模型连接参数，其代表权重w和偏置量a、b的一种组合，σ为一种高斯噪声标准差。
通过采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征。
最后，面向社会生活的场景，本装置对其中常见的多维情绪焦虑、愤怒、恐惧、高兴进行多等级评估。基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分。对被试者情绪进行感知识别，并对其5级情绪强度进行计算分析。
本发明的有益效果在于：
(一)实现了对人多模态的情绪状态的的监测，通过穿戴式多模态采集设备，实现对人的情绪状态的多角度实时监测，及时反馈被试情绪状态的同时也可以使监测人员在发现情绪状态不佳情况下立刻实施相应措施，减少工作中的人因失误，保证生活生产的安全。
(二)本装置通过智能化可穿戴式情绪监测技术，融合中枢神经信号(脑电EEG)、外周神经信号(肌电EMG，皮电GSR，心电ECG)、视觉行为信号(眼部图像、嘴部图像)等多模态人体信号，基于神经通路的多维情绪生成机理与认知机制，对人的情绪进行动态识别与监测，解决了传统情绪评估无定量分析、无测试器材等问题，为评估、监测多维情绪提供了可靠的实验范式、机制理论以及设备环境，不仅对于监护个体的心理状态提供可靠依据，而且对在社会工作中更好发挥人机交互，减少人因失误提供有力保障，同时对未来进一步探索情绪识别研究具有十分重要的科学意义。
附图说明
图1为本发明装置的应用示意图；
图2为本发明装置的结构示意图；
图3为本发明中的双模深度信念网络模型图；
图4为本发明的多维情绪动态雷达图。
具体实施方式
实施例：一种可穿戴式多模态情绪状态监测装置
一种可穿戴式多模态情绪状态监测装置，包括：VR眼镜、穿戴式多模态信号采集模块、智能计算模块。图1为本发明装置的应用示意图，图2为本发明装置的结构示意图。
VR眼镜通过虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景。选取参与社会演讲的工作生活场景，场景包括演讲台、话筒、演讲稿及现场观众，让被试者从视觉通道、声觉通道以及本体感觉多方面进行感受，实现被试者与虚拟场景之间的动态、实时的交互。
穿戴式多模态信号采集模块分别从佩戴者头、眼、手腕以及胸采集脑电、肌电、皮电和心电信号；从佩戴者眼部、嘴部记录视觉行为表现。穿戴式多模态信号采集装置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。
穿戴式多模态信号采集模块包括：脑电EEG采集单元、面部肌电EMG采集单元、皮电GSR采集单元、心电ECG采集单元、眼部图像和嘴部图像采集单元。
脑电EEG采集单元，用于采集脑电信号，并传输到智能计算模块；
肌电EMG采集单元，用于采集肌电信号，并传输到智能计算模块；
皮电GSR采集单元，用于采集皮电信号，并传输到智能计算模块；
心电ECG采集单元，用于采集心电信号，并传输到智能计算模块；
眼部图像采集单元，用于采集面部表情的眼部图像信号，并传输到智能计算模块；
嘴部图像采集单元，用于采集面部表情的嘴部图像信号，并传输到智能计算模块；
所述的智能计算模块，将采集模块提供的多模态信号，进行相关处理，最终对多维情绪进行判别和输出。
智能计算模块的处理过程包括：
首先智能计算模块对各信号进行预处理，针对中枢神经和外周神经等生理信号，由于采集过程中不可避免的引入基线漂移、肌电、眼电、工频等干扰，本装置拟针对四种生理信号的频率分布以及不同干扰来源特性，分别采取相应的方法对信号进行预处理，去除各种伪迹，从而保留有效的生理信号数据段。
根据多模态生理信号和视频信号的特点分别提取特征，使用深层架构通过数据中复杂的非线性交互来有效地生成强健的特征。在此基础上针对不同信号的频域、时域以及非线性动力学特性提取与情绪有关的特征参数。针对视频图像数据，利用计算机视觉技术以及深度卷积神经网络、循环神经网络等深度学习方法估计多种行为信号，包括根据眼部图像估计视线方向，根据眼部和嘴部图像估计相应区域的面部肌肉运动，基于Mehrabian和Russell提出的维度观测量模型估计出面部局部区域反映的愉悦度、激活度及优势度，并以多种行为信号的编码和表征作为特征。
下一步考虑到多源数据特征之间存在信息冗余互补、某通道信号缺失等现象，本装置拟从特征层面对多源特征进行融合，提出一个多模态深度信念网络框架作为特征融合模型。该模型的优势在于能够利用异质数据之间的关系进行协同学习，在信号源较少的情况下，对多种模态特征进行融合，可获得稳定的识别性能。多模态的协同学习利用了不同模态之间的关系，充分互补每一种模态不同特征之间的信息，消除同一模态不同特征之间的干扰，去除冗余，同时在多模态融合时，减少不同模态之间无关特征所造成的相互干扰。通过这种方式，每种模态信号的特征将被更有效地组合起来，并且通过具有更少隐藏层的深度网络可获得较好的识别效果。
具体地，在该装置中，各生理信号特征和视觉行为特征均有独立的隐藏层，得到每一种模态的统一高层表示特征，去除单一模态中的中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征。在各模态特征的融合阶段，引入注意力机制，为每种模态自动学习注意力系数，表示该模态对情绪识别的重要性，随后将各模态特征乘以注意力系数，对关键特征进行自适应选择。针对信号缺失的模态，利用图卷积网络建模各模态特征之间的互补、互斥关系，引入基于对抗生成网络的预测机制，对缺失信号的特征进行补全。最后，采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征。具体处理过程如图3所示。
针对信号缺失的模态，利用图卷积网络建模各模态特征之间的互补、互斥关系，引入基于对抗生成网络的预测机制，对缺失信号的特征进行补全。通过深度信念网络(deepbelief network，DBN)获得多模态特征。DBN是由Hinton等人提出的，它是由多个受限玻尔兹曼机(restricted Boltzmann machine，RBM)堆叠而成，每个RBM又分为显层和隐层。对于一个典型的RBM，能量函数定义如下：
其中，vi和hi分别表示显层神经元和隐层神经元，θ定义为{w,b,a}是一种模型连接参数(可看作权重w和偏置量a、b的一种组合)，σ为一种高斯噪声标准差。
通过采用双模深度信念网络模型(DBN)，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征。
最后，面向社会生活的场景，本装置对其的常见多维情绪焦虑、愤怒、恐惧、高兴进行多等级评估。基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分。对被试进行情绪(高兴、愤怒、悲伤、恐惧)的感知识别和5级情绪强度的计算分析。并以动态雷达图的形式展现在大屏幕上。显示界面如图4所示。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (6)
1.一种可穿戴式多模态情绪状态监测装置，其特征在于，包括：VR眼镜、穿戴式多模态信号采集模块、智能计算模块。
2.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的VR眼镜通过虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景；VR眼镜用于提供更具沉浸感、临场感、交互感的虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景，达到更真实有效地诱发在实际生活状态下的目标情绪。
3.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的穿戴式多模态信号采集模块分别从该模块佩戴者的头、眼、手腕以及胸采集脑电、肌电、皮电和心电信号，从佩戴者眼部、嘴部记录视觉行为表现；穿戴式多模态信号采集装置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。
4.一种如权利要求1或3所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的穿戴式多模态信号采集模块包括：脑电EEG采集单元、面部肌电EMG采集单元、皮电GSR采集单元、心电ECG采集单元、眼部图像采集单元和嘴部图像采集单元；
脑电EEG采集单元，用于采集脑电信号，并传输到智能计算模块；
面部肌电EMG采集单元，用于采集肌电信号，并传输到智能计算模块；
皮电GSR采集单元，用于采集皮电信号，并传输到智能计算模块；
心电ECG采集单元，用于采集心电信号，并传输到智能计算模块；
眼部图像采集单元，用于采集面部表情的眼部图像信号，并传输到智能计算模块；
嘴部图像采集单元，用于采集面部表情的嘴部图像信号，并传输到智能计算模块。
5.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，智能计算模块用以对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。
6.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，智能计算模块的处理过程包括：
首先，智能计算模块对各信号进行预处理，针对四种生理信号的频率分布以及不同干扰来源特性，分别采取相应的方法对信号进行预处理，去除各种伪迹，从而保留有效的生理信号数据段；
根据多模态生理信号和视频信号的特点分别提取其特征，使用深层架构通过数据中的非线性交互来有效地生成特征；针对不同信号的频域、时域以及非线性动力学特性提取与情绪有关的特征参数；针对视频图像数据，利用计算机视觉技术以及深度卷积神经网络、循环神经网络深度学习方法估计多种行为信号，包括根据眼部图像估计视线方向，根据眼部和嘴部图像估计相应区域的面部肌肉运动，基于维度观测量模型估计出面部局部区域反映的愉悦度、激活度及优势度，并以多种行为信号的编码和表征作为特征；
其次，从特征层面对多源特征进行融合，建立多模态深度信念网络框架作为特征融合模型；各生理信号特征和视觉行为特征均设置有独立的隐藏层，得到每一种模态的统一高层表示特征，去除单一模态中的中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征；在各模态特征的融合阶段，引入注意力机制，为每种模态自动学习注意力系数，注意力系数表示该模态对情绪识别的重要性，随后将各模态特征乘以注意力系数，对关键特征进行自适应选择；针对信号缺失的模态，利用图卷积网络建模各模态特征之间的互补和互斥关系，引入基于对抗生成网络的预测机制，对缺失信号的特征进行补全；采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征；
通过深度信念网络获得多模态特征；深度信念网络是由多个受限玻尔兹曼机堆叠而成，每个受限玻尔兹曼机又分为显层和隐层；对于一个典型的受限玻尔兹曼机，其能量函数定义如下：
其中，vi和hi分别表示第i个显层神经元和隐层神经元，I和J分别为显层神经元和隐层神经元的总数目，θ为{w,b,a}，是一种模型连接参数，其代表权重w和偏置量a、b的一种组合，σ为一种高斯噪声标准差；
通过采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征；
最后，面向社会生活的场景，本装置对其中常见的多维情绪焦虑、愤怒、恐惧、高兴进行多等级评估；基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分；对被试者情绪进行感知识别，并对其5级情绪强度进行计算分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010911658.3A CN112120716A (zh) | 2020-09-02 | 2020-09-02 | 一种可穿戴式多模态情绪状态监测装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010911658.3A CN112120716A (zh) | 2020-09-02 | 2020-09-02 | 一种可穿戴式多模态情绪状态监测装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112120716A true CN112120716A (zh) | 2020-12-25 |
Family
ID=73847855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010911658.3A Pending CN112120716A (zh) | 2020-09-02 | 2020-09-02 | 一种可穿戴式多模态情绪状态监测装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112120716A (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111190484A (zh) * | 2019-12-25 | 2020-05-22 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多模态交互系统和方法 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
| CN112684890A (zh) * | 2020-12-29 | 2021-04-20 | 深圳酷派技术有限公司 | 一种体检引导的方法、装置、存储介质及电子设备 |
| CN112908066A (zh) * | 2021-03-04 | 2021-06-04 | 深圳技术大学 | 基于视线跟踪的线上教学实现方法、装置及存储介质 |
| CN113080968A (zh) * | 2021-03-29 | 2021-07-09 | 中国人民解放军联勤保障部队第九六〇医院 | 基于心率变异性的综合性心理状态测评系统 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113116350A (zh) * | 2021-04-19 | 2021-07-16 | 上海市精神卫生中心（上海市心理咨询培训中心） | 抑郁障碍认知重建训练方法、系统、设备和存储介质 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113197573A (zh) * | 2021-05-19 | 2021-08-03 | 哈尔滨工业大学 | 基于表情识别及脑电融合的观影印象检测方法 |
| CN113197579A (zh) * | 2021-06-07 | 2021-08-03 | 山东大学 | 一种基于多模态信息融合的智能心理评估方法及系统 |
| CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
| CN113729735A (zh) * | 2021-09-30 | 2021-12-03 | 上海交通大学 | 基于多域自适应图卷积神经网络的情感脑电特征表示方法 |
| CN113729710A (zh) * | 2021-09-26 | 2021-12-03 | 华南师范大学 | 一种融合多生理模态的实时注意力评估方法及系统 |
| CN113805339A (zh) * | 2021-08-30 | 2021-12-17 | 徐州医科大学 | 一种带有情绪分类及显示功能的vr眼镜 |
| CN113907756A (zh) * | 2021-09-18 | 2022-01-11 | 深圳大学 | 一种基于多种模态的生理数据的可穿戴系统 |
| CN113907769A (zh) * | 2021-11-17 | 2022-01-11 | 福州大学 | 一种测量隧道施工人员情境意识的系统和方法 |
| CN113995411A (zh) * | 2021-11-09 | 2022-02-01 | 天津大学 | 一种小型便携式多模态鉴赏评估系统及方法 |
| CN114327046A (zh) * | 2021-11-30 | 2022-04-12 | 北京津发科技股份有限公司 | 一种多模态人机交互与状态智能预警的方法、装置及系统 |
| CN114366102A (zh) * | 2022-01-05 | 2022-04-19 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN114424940A (zh) * | 2022-01-27 | 2022-05-03 | 山东师范大学 | 基于多模态时空特征融合的情绪识别方法及系统 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN115358777A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的广告投放处理方法及装置 |
| WO2023005353A1 (zh) * | 2021-07-30 | 2023-02-02 | 苏州景昱医疗器械有限公司 | 基于多模态数据的配置信息获取装置及相关设备 |
| CN116269437A (zh) * | 2023-03-23 | 2023-06-23 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007334801A (ja) * | 2006-06-19 | 2007-12-27 | Yokogawa Electric Corp | 患者情報統合描画システム |
| CN108334735A (zh) * | 2017-09-18 | 2018-07-27 | 华南理工大学 | 基于迷你独立空间的智能心理评估与辅导系统及方法 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN109753882A (zh) * | 2018-12-13 | 2019-05-14 | 金陵科技学院 | 基于深度置信网络和多模式特征的手语识别方法 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111128242A (zh) * | 2020-01-02 | 2020-05-08 | 渤海大学 | 一种基于双深度网络的多模式情感信息融合与识别方法 |
| CN111612029A (zh) * | 2020-03-30 | 2020-09-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 机载电子产品故障预测方法 |
-
2020
- 2020-09-02 CN CN202010911658.3A patent/CN112120716A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007334801A (ja) * | 2006-06-19 | 2007-12-27 | Yokogawa Electric Corp | 患者情報統合描画システム |
| CN108334735A (zh) * | 2017-09-18 | 2018-07-27 | 华南理工大学 | 基于迷你独立空间的智能心理评估与辅导系统及方法 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN109753882A (zh) * | 2018-12-13 | 2019-05-14 | 金陵科技学院 | 基于深度置信网络和多模式特征的手语识别方法 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断系统、设备及介质 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111128242A (zh) * | 2020-01-02 | 2020-05-08 | 渤海大学 | 一种基于双深度网络的多模式情感信息融合与识别方法 |
| CN111612029A (zh) * | 2020-03-30 | 2020-09-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 机载电子产品故障预测方法 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111190484A (zh) * | 2019-12-25 | 2020-05-22 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多模态交互系统和方法 |
| CN112684890A (zh) * | 2020-12-29 | 2021-04-20 | 深圳酷派技术有限公司 | 一种体检引导的方法、装置、存储介质及电子设备 |
| CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
| CN112618911B (zh) * | 2020-12-31 | 2023-02-03 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
| CN112597967A (zh) * | 2021-01-05 | 2021-04-02 | 沈阳工业大学 | 沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113128552B (zh) * | 2021-03-02 | 2024-02-02 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN112908066A (zh) * | 2021-03-04 | 2021-06-04 | 深圳技术大学 | 基于视线跟踪的线上教学实现方法、装置及存储介质 |
| CN113143273B (zh) * | 2021-03-23 | 2024-06-28 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113080968B (zh) * | 2021-03-29 | 2022-10-14 | 中国人民解放军联勤保障部队第九六〇医院 | 基于心率变异性的综合性心理状态测评系统 |
| CN113080968A (zh) * | 2021-03-29 | 2021-07-09 | 中国人民解放军联勤保障部队第九六〇医院 | 基于心率变异性的综合性心理状态测评系统 |
| CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
| CN113116350A (zh) * | 2021-04-19 | 2021-07-16 | 上海市精神卫生中心（上海市心理咨询培训中心） | 抑郁障碍认知重建训练方法、系统、设备和存储介质 |
| CN113197573A (zh) * | 2021-05-19 | 2021-08-03 | 哈尔滨工业大学 | 基于表情识别及脑电融合的观影印象检测方法 |
| CN113197579A (zh) * | 2021-06-07 | 2021-08-03 | 山东大学 | 一种基于多模态信息融合的智能心理评估方法及系统 |
| WO2023005353A1 (zh) * | 2021-07-30 | 2023-02-02 | 苏州景昱医疗器械有限公司 | 基于多模态数据的配置信息获取装置及相关设备 |
| CN113805339A (zh) * | 2021-08-30 | 2021-12-17 | 徐州医科大学 | 一种带有情绪分类及显示功能的vr眼镜 |
| CN113907756A (zh) * | 2021-09-18 | 2022-01-11 | 深圳大学 | 一种基于多种模态的生理数据的可穿戴系统 |
| CN113729710A (zh) * | 2021-09-26 | 2021-12-03 | 华南师范大学 | 一种融合多生理模态的实时注意力评估方法及系统 |
| CN113729735B (zh) * | 2021-09-30 | 2022-05-17 | 上海交通大学 | 基于多域自适应图卷积神经网络的情感脑电特征表示方法 |
| CN113729735A (zh) * | 2021-09-30 | 2021-12-03 | 上海交通大学 | 基于多域自适应图卷积神经网络的情感脑电特征表示方法 |
| CN113995411A (zh) * | 2021-11-09 | 2022-02-01 | 天津大学 | 一种小型便携式多模态鉴赏评估系统及方法 |
| CN113907769A (zh) * | 2021-11-17 | 2022-01-11 | 福州大学 | 一种测量隧道施工人员情境意识的系统和方法 |
| CN114327046A (zh) * | 2021-11-30 | 2022-04-12 | 北京津发科技股份有限公司 | 一种多模态人机交互与状态智能预警的方法、装置及系统 |
| CN114366102A (zh) * | 2022-01-05 | 2022-04-19 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN114366102B (zh) * | 2022-01-05 | 2024-03-01 | 广东电网有限责任公司 | 一种多模态紧张情绪识别方法、装置、设备及存储介质 |
| CN114424940A (zh) * | 2022-01-27 | 2022-05-03 | 山东师范大学 | 基于多模态时空特征融合的情绪识别方法及系统 |
| CN114640699A (zh) * | 2022-02-17 | 2022-06-17 | 华南理工大学 | 基于vr角色扮演游戏交互的情绪诱发监测系统 |
| CN115358777A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的广告投放处理方法及装置 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN116269437A (zh) * | 2023-03-23 | 2023-06-23 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
| CN116269437B (zh) * | 2023-03-23 | 2024-04-02 | 大庆龙南医院 | 一种神经内科用护理监控系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112120716A (zh) | 一种可穿戴式多模态情绪状态监测装置 | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Bota et al. | A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals | |
| CN109620185B (zh) | 基于多模态信息的自闭症辅助诊断系统、设备及介质 | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| CN110464314A (zh) | 利用深层生理情绪网络的人类感情推定方法及系统 | |
| Yang et al. | Physiological-based emotion detection and recognition in a video game context | |
| Nita et al. | A new data augmentation convolutional neural network for human emotion recognition based on ECG signals | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| Wang et al. | Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition | |
| Gu et al. | A domain generative graph network for EEG-based emotion recognition | |
| KR20220060976A (ko) | 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치 | |
| Li et al. | Multi-modal emotion recognition based on deep learning of EEG and audio signals | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| Hu et al. | Acrophobia quantified by EEG based on CNN incorporating Granger causality | |
| CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及系统 | |
| Dar et al. | YAAD: young adult’s affective data using wearable ECG and GSR sensors | |
| Tobón Vallejo et al. | Emotional states detection approaches based on physiological signals for healthcare applications: a review | |
| Li et al. | Automatic diagnosis of depression based on facial expression information and deep convolutional neural network | |
| Wang et al. | Mgeed: a multimodal genuine emotion and expression detection database | |
| CN114983434A (zh) | 一种基于多模态脑功能信号识别的系统及方法 | |
| CN113995411A (zh) | 一种小型便携式多模态鉴赏评估系统及方法 | |
| Hossain et al. | Emotion recognition using brian signals based on time-frequency analysis and supervised learning algorithm | |
| Li | An analysis of multimodal emotional braincomputer interface | |
| Hasan et al. | Emotion prediction through EEG recordings using computational intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |