CN110037693A - 一种基于面部表情和eeg的情绪分类方法 - Google Patents

一种基于面部表情和eeg的情绪分类方法 Download PDF

Info

Publication number
CN110037693A
CN110037693A CN201910333285.3A CN201910333285A CN110037693A CN 110037693 A CN110037693 A CN 110037693A CN 201910333285 A CN201910333285 A CN 201910333285A CN 110037693 A CN110037693 A CN 110037693A
Authority
CN
China
Prior art keywords
eeg
mood
data
facial expression
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910333285.3A
Other languages
English (en)
Inventor
蒋惠萍
路遥
张�廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minzu University of China
Original Assignee
Minzu University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minzu University of China filed Critical Minzu University of China
Priority to CN201910333285.3A priority Critical patent/CN110037693A/zh
Publication of CN110037693A publication Critical patent/CN110037693A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于面部表情和EEG的情绪分类方法，属于模式识别技术领域。本发明的情绪分类方法首先同步采集面部表情和脑电(EEG)数据，然后利用面部表情的变化信息截取隐含情绪信息的EEG数据，最后使用情绪分类算法对处理之后的EEG信息进行情绪分类。本发明提出的基于面部表情和脑电信息的情绪分类方法，与目前常用的情感计算方法相比，在情绪分类过程中加入面部表情识别来对EEG数据进行预处理，改善了EEG数据中的情绪成份，从而提高了情绪分类的准确率。

Description

一种基于面部表情和EEG的情绪分类方法
技术领域
本发明涉及一种多模态信息融合方法，特别涉及一种基于面部表情和脑电(EEG)的情绪分类方法，属于智能模式识别技术领域。
背景技术
随着信息技术和人工智能的发展，科学家提出了“情感计算”这个概念。信息学界针对情感获取、情感分析与识别、情感理解和表达(统称为情感计算或者情绪识别)展开了研究。情绪识别作为类脑智能的重要组成部分，在社会情感挖掘分析、可穿戴计算、计算机辅助学习等方面都具有重要的应用价值。
人们逐渐认识到在情感计算研究中使用人体生理指标(皮质醇水平，心率，血压，呼吸，皮肤电活动，掌汗，瞳孔直径，脑电EEG等)可以分析出被试的情感状态。由于伴随情感发生的电生理信息几乎不受人的主观意志控制，所以脑电(EEG)信息可以作为测量情感的一个相对客观的指标。
此外EEG信号可以直接反映大脑的电活动情况，包含着丰富的情感信息。随着先进的脑电采集设备的普及，信号处理、模式识别、机器学习的快速发展，越来越多的研究者开始借助于脑电信号来研究情感识别。尽管国内外研究者从情绪诱发、情绪特征提取、分类到多模态情绪识别进行了大量充分细致的工作，但情绪分类准确率还是难以达到实用性。其原因在于情绪计算涉及到多个学科领域的交叉，EEG信号的非平稳性对特征提取造成很大的难度，以及情绪产生的特异性对情绪分类方法带来了困难。因此，很多研究人员至今仍然均在探索较为稳定的大脑情绪运作模式，以便获得稳定的情绪分类效果。
发明内容
本发明的目的是为了改善现有EEG情绪分类方法的不足，提出基于面部表情和EEG的情绪分类方法。
本发明的思想是首先同步采集面部表情和脑电(EEG)数据，然后利用面部表情的变化信息截取隐含情绪信息的EEG数据，最后使用情绪分类算法对处理之后的EEG信息进行情绪分类。
本发明的目的是通过下述技术方案实现的。
一种基于面部表情和EEG的情绪分类方法，包括以下步骤：
一、同步采集面部表情和EEG数据；
二、对面部表情数据计算表情开始变化以及结束的首末关键帧，并根据首末关键帧的时间点截取对应的EEG数据得到预处理后的EEG数据；
三、对预处理后的EEG数据使用情绪分类模型进行情绪分类。
作为优选，为了获得干净的EEG数据，从而提高情绪分类的准确性，在执行步骤二之前，先通过以下过程对EEG数据进行伪迹去除，伪迹主要包括心电、眼电、肌电、工频干扰和电磁干扰：
步骤1：剔除坏区：通过观察脑电波形，将多个导联漂移的数据标记为“Badblock”，并直接删除；
步骤2：使用脑电采集系统的眼电干扰去除功能去除眼电伪迹；
步骤3：使用脑电采集系统的伪迹去除功能滤除肌电伪迹，设置阈值为±100μV；
步骤4：采用70Hz的低通滤波器对EEG数据滤波，将高频滤除，从而去除工频干扰和电磁干扰。
作为优选，所述步骤二通过以下过程实现：
步骤1：按帧读取面部表情数据，即录制的被试的表情视频；
步骤2：构建人脸提取器来获取每帧图像的人脸边界框关键点坐标；
步骤3：人脸对正归一化；
步骤4：使用人脸关键点检测模型，获取人脸关键点标记；保存这些关键点作为后续表情识别的输入特征数据；
步骤5：将每帧图像的特征数据送入已训练好的人脸表情识别模型进行表情分类；
步骤6：将检测到视频中被试第一次发生连续N帧以上表情变化的第一帧设为起始关键帧，被试最后一次发生连续N帧以上表情变化的最后一帧设为结束关键帧；
作为优选，所述N＝5。
步骤7：将起始、结束关键帧换算成以毫秒为单位的EEG数据的情绪起始、结束时间点；
步骤8：使用步骤7计算的表情变化时间点截取对应的EEG数据得到预处理后的EEG数据。
作为优选，步骤三所述情绪分类模型采用基于LSTM的情绪分类模型，所述对预处理后的EEG数据使用情绪分类模型进行情绪分类通过以下过程实现：
步骤1：将预处理后的EEG数据按照固定间隔进行切分，得到每条脑电数据维度为[电极数×固定间隔]的矩阵，即脑电矩阵；将得到的所有脑电矩阵依次排列构成EEG序列；
步骤2：选择以脑电矩阵的每列作为一步读取的数据，将矩阵的每行作为时间步数，送入LSTM情绪分类器中；
步骤3：LSTM情绪分类器的输入层将EEG序列作为输入；LSTM层读取输入的EEG序列，从中提取其时域信息；全连接层用来整合LSTM层提取的特征；输出层输出情绪识别的结果。
经过上述步骤的操作，可以计算EEG数据的情绪分类结果，实现了基于面部表情和EEG的情绪分类。
有益效果
本发明提出的基于面部表情和EEG的情绪分类方案与已有基于EEG的情绪分类方法相比较，本发明方法在情绪分类过程中加入面部表情识别来对EEG数据进行预处理，改善了EEG数据中的情绪成份，从而提高了情绪分类的准确率。
附图说明
图1为本发明具体实施例中基于面部表情和EEG的情绪分类方法的流程示意图。
图2为本发明具体实施例中去除EEG数据中的伪迹流程示意图。
图3为本发明具体实施例中对EEG数据进行预处理的示意图。
具体实施方式
为了更好的说明本发明的技术方案，下面结合附图，通过1个实施例，对本发明做进一步详细说明。
本实施例将对情绪进行二分类，即把EEG中隐含的诱发情绪分为正性情绪和负性情绪。使用本发明的一种基于面部表情和EEG的情绪分类方法对EEG信号的情绪进行分类，其流程如附图1所示。具体包括面部表情和EEG数据同步采集、基于面部表情关键帧的EEG数据预处理和EEG情绪识别三个步骤。详细步骤如下：
一、同步采集面部表情和EEG数据；
步骤1：从实验室现有的IAPS、CAPS和民族情绪图片库中根据情绪效价、情绪唤醒度、情绪优势度分别选择正性情绪图片40张，负性情绪图片40张，中性情绪图片40张，合计120张情绪图片，作为情绪刺激文件的基本素材，设计情绪刺激文件；本领域技术人员清楚，本步骤只为本实施例服务，并非必须，当应用本发明方法进行情绪分类时，可以直接同步采集被试的面部表情数据和EEG情绪数据并作后续处理；
步骤2：选择大三学生10名(身心健康，右利手)参与情绪诱发实验，以步骤一所设计的情绪刺激文件来同步采集面部表情数据和EEG情绪数据，其中EEG数据的采集本例中使用NeuroScan系统，其电极帽是64导联电极帽；面部表情数据的采集使用任何具有摄像功能的设备；
步骤3：为了获得干净的EEG数据，从而提高情绪分类的准确性，对采集的EEG数据进行伪迹去除，主要包括心电、眼电、以及工频干扰等，如附图2所示；具体过程如下：
步骤3.1：剔除坏区：通过观察脑电波形，将多个导联漂移的数据标记为“Badblock”，并直接删除。这种情况一般是由被试者头皮出汗或者导电膏粘连导致电极联通造成的；
步骤3.2：实验过程中眼电干扰难以避免。借助于NeuroScan采集系统中自带的EEG采集软件scan4.5中的“Ocular Artifact Reduce”功能，可以有效去除眼电伪迹；
步骤3.3：由于脑电极其微弱，被试说话、按键盘、身体晃动甚至心跳都会对其造成影响。脑电幅值一般在50μV左右，超过±100μV即可以看作是噪声。这一部分噪声可以通过NeuroScan采集系统中自带的EEG采集软件scan4.5中“Artifact reject”功能滤除，设置阈值为±100μV；
步骤3.4：考虑到工频干扰和电磁干扰通常发生在高频区域，所以采用70Hz的低通滤波器，将高频滤除；
二、对面部表情数据计算表情开始变化以及结束的首末关键帧，并根据首末关键帧的时间点截取对应的EEG数据得到预处理后的EEG数据；
步骤1：加载形状模型文件，对表情图片进行人脸检测；
步骤2：构建形状预测器，用来预测人脸表情图片中的人脸边界框，并标注人脸关键点；
步骤3：对面部表情图片进行归一化、人脸对齐后，调用Dlib库的人脸关键点检测模型，获得人脸68个关键点，保存这68个点的横坐标和纵坐标共136个数值写入文件作为提取的特征；
步骤4：使用线形核函数的SVM对提取的136个特征点进行分类，模型训练完毕后，模型按帧读取该被试录制的表情视频，对每一帧图像进行分类；
步骤5：将检测到视频中被试第一次发生连续五帧以上表情变化的第一帧设为起始关键帧，被试最后一次发生连续五帧或五帧以上表情变化的最后一帧设为结束关键帧；
步骤6：将起始、结束关键帧换算成以毫秒为单位的情绪起始、结束时间点作为面部表情变化关键时间点。本实施例中EEG采样频率为1000Hz，视频采集帧速率为13帧/秒。假定人脸表情的关键帧为第n帧，则对应时间点为1000n/13毫秒；
步骤7：EEG数据预处理的过程如附图3所示。本实施例中选取的每个EEG样本时间长度为3000ms(因为每张图片的播放时间是3s)，即3000个采样点。将每3000ms的EEG样本切分为三条脑电数据，因此每条脑电数据维度为64×1000。由于本实施例使用120张图片进行情绪刺激，因此对每位被试采集的EEG数据理论上可以切分为360条；由于EEG伪迹去除，使得数据量会略小于360，本实施例中是348，即每位被试的EEG数据切分后可以获得348段脑电数据，对于每段脑电数据，均使用各自同步面部表情变化关键时间点(起始和结束)来裁剪；本实验的10位同学的脑电数据经预处理后共有3480段，后续步骤用80％数据训练情绪分类模型，20％数据用于测试。
三、对预处理后的EEG数据使用情绪分类模型进行情绪分类。
作为优选，步骤三所述情绪分类模型采用基于LSTM的情绪分类模型，所述对预处理后的EEG数据使用情绪分类模型进行情绪分类通过以下过程实现：
步骤1：将被试的每段脑电数据(维度为64×1000)按照固定间隔进行切分，得到每个脑电数据维度为[64×10]的矩阵，因此一个EEG样本切分后得到3*1000/10＝300个矩阵；
步骤2：选择以矩阵的每列(每个电极上采集的电压值)作为一步读取的数据，将矩阵的每行(10ms的采样点)作为时间步数；
步骤3：本实施例所使用的LSTM分类器包含输入层、LSTM层、全连接层、输出层，其中每层由32个隐节点串联构成。Batch为64，Dropout为0.5，模型的学习率为0.005；
步骤4：输入层将300个矩阵序列作为输入；LSTM层读取输入的300个矩阵序列，从中提取其时域信息；全连接层用来整合LSTM层提取的特征；输出层输出情绪识别的结果。经过上述步骤的操作，可以完成对EEG情绪的两分类。
本领域技术人员清楚，LSTM分类器具有时序记录的特性，因此本实施例为了数据处理方便对预处理后的EEG数据进行了切分，将切分后的数据按时序顺序输入LSTM分类器进行情绪识别；当采用其它分类器时，可根据分类器的特性组织输入数据。
经过上述步骤的操作，即可实现对EEG情绪的二分类。本实施例中提出的一种基于面部表情和脑电信息的情绪分类方法，将剪裁后脑电数据输入基于LSTM的情绪分类模型中进行情绪识别二分类，与ALL-LSTM模型的情绪识别方法相比较，识别率提升3％，说明该方法中表情模态有助于删除包含较少甚至没有情绪特征的EEG信号，提高基于EEG的单模态情绪识别准确率。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于面部表情和EEG的情绪分类方法，其特征在于：
步骤一、同步采集面部表情和EEG数据；
步骤二、对面部表情数据计算表情开始变化以及结束的首末关键帧，并根据首末关键帧的时间点截取对应的EEG数据得到预处理后的EEG数据；
步骤三、对预处理后的EEG数据使用情绪分类模型进行情绪分类。
2.根据权利要求1所述的一种基于面部表情和EEG的情绪分类方法，其特征在于：为了获得干净的EEG数据，从而提高情绪分类的准确性，在执行步骤二之前，先通过以下过程对EEG数据进行伪迹去除，伪迹主要包括心电、眼电、肌电、工频干扰和电磁干扰：
步骤1：剔除坏区：通过观察脑电波形，将多个导联漂移的数据标记为“Bad block”，并直接删除；
步骤2：使用脑电采集系统的眼电干扰去除功能去除眼电伪迹；
步骤3：使用脑电采集系统的伪迹去除功能滤除肌电伪迹，设置阈值为±100μV；
步骤4：采用70Hz的低通滤波器对EEG数据滤波，将高频滤除，从而去除工频干扰和电磁干扰。
3.根据权利要求1所述的一种基于面部表情和EEG的情绪分类方法，其特征在于：所述步骤二通过以下过程实现：
步骤1：按帧读取面部表情数据，即录制的被试的表情视频；
步骤2：构建人脸提取器来获取每帧图像的人脸边界框关键点坐标；
步骤3：人脸对正归一化；
步骤4：使用人脸关键点检测模型，获取人脸关键点标记；保存这些关键点作为后续表情识别的输入特征数据；
步骤5：将每帧图像的特征数据送入已训练好的人脸表情识别模型进行表情分类；
步骤6：将检测到视频中被试第一次发生连续N帧以上表情变化的第一帧设为起始关键帧，被试最后一次发生连续N帧以上表情变化的最后一帧设为结束关键帧；
步骤7：将起始、结束关键帧换算成以毫秒为单位的EEG数据的情绪起始、结束时间点；
步骤8：使用步骤7计算的表情变化时间点截取对应的EEG数据得到预处理后的EEG数据。
4.根据权利要求3所述的一种基于面部表情和EEG的情绪分类方法，其特征在于：所述N＝5。
5.根据权利要求1-4任一所述的一种基于面部表情和EEG的情绪分类方法，其特征在于：步骤三所述情绪分类模型采用基于LSTM的情绪分类模型，所述对预处理后的EEG数据使用情绪分类模型进行情绪分类通过以下过程实现：
步骤1：将预处理后的EEG数据按照固定间隔进行切分，得到每条脑电数据维度为[电极数×固定间隔]的矩阵，即脑电矩阵；将得到的所有脑电矩阵依次排列构成EEG序列；
步骤2：选择以脑电矩阵的每列作为一步读取的数据，将矩阵的每行作为时间步数，送入LSTM情绪分类器中；
步骤3：LSTM情绪分类器的输入层将EEG序列作为输入；LSTM层读取输入的EEG序列，从中提取其时域信息；全连接层用来整合LSTM层提取的特征；输出层输出情绪识别的结果。
6.根据权利要求5所述的一种基于面部表情和EEG的情绪分类方法，其特征在于：所述LSTM情绪分类器包含输入层、LSTM层、全连接层、输出层，其中每层由32个隐节点串联构成，Batch为64，Dropout为0.5，模型的学习率为0.005。
CN201910333285.3A 2019-04-24 2019-04-24 一种基于面部表情和eeg的情绪分类方法 Pending CN110037693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910333285.3A CN110037693A (zh) 2019-04-24 2019-04-24 一种基于面部表情和eeg的情绪分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910333285.3A CN110037693A (zh) 2019-04-24 2019-04-24 一种基于面部表情和eeg的情绪分类方法

Publications (1)

Publication Number Publication Date
CN110037693A true CN110037693A (zh) 2019-07-23

Family

ID=67279060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910333285.3A Pending CN110037693A (zh) 2019-04-24 2019-04-24 一种基于面部表情和eeg的情绪分类方法

Country Status (1)

Country Link
CN (1) CN110037693A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705656A (zh) * 2019-11-11 2020-01-17 中国电子科技集团公司第十四研究所 一种基于eeg传感器的面部动作识别方法
CN111797747A (zh) * 2020-06-28 2020-10-20 道和安邦（天津）安防科技有限公司 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN112220455A (zh) * 2020-10-14 2021-01-15 深圳大学 基于视频脑电信号的情绪识别方法、装置及计算机设备
CN112401886A (zh) * 2020-10-22 2021-02-26 北京大学 情感识别的处理方法、装置、设备及存储介质
CN113076347A (zh) * 2021-03-31 2021-07-06 北京晶栈信息技术有限公司 移动终端上基于情绪的推送程序筛选系统及筛选方法
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN114098729A (zh) * 2020-08-27 2022-03-01 北京晶栈信息技术有限公司 基于心脏间期的情绪状态客观测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103690165A (zh) * 2013-12-12 2014-04-02 天津大学 一种跨诱发模式情绪脑电识别建模方法
CN104055529A (zh) * 2014-06-19 2014-09-24 西南大学 一种计算情感心电信号标度指数的方法
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
CN109730701A (zh) * 2019-01-03 2019-05-10 中国电子科技集团公司电子科学研究院 一种情绪数据的获取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103690165A (zh) * 2013-12-12 2014-04-02 天津大学 一种跨诱发模式情绪脑电识别建模方法
CN104055529A (zh) * 2014-06-19 2014-09-24 西南大学 一种计算情感心电信号标度指数的方法
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
CN109730701A (zh) * 2019-01-03 2019-05-10 中国电子科技集团公司电子科学研究院 一种情绪数据的获取方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705656A (zh) * 2019-11-11 2020-01-17 中国电子科技集团公司第十四研究所 一种基于eeg传感器的面部动作识别方法
CN111797747A (zh) * 2020-06-28 2020-10-20 道和安邦（天津）安防科技有限公司 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN111797747B (zh) * 2020-06-28 2023-08-18 道和安邦（天津）安防科技有限公司 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN114098729A (zh) * 2020-08-27 2022-03-01 北京晶栈信息技术有限公司 基于心脏间期的情绪状态客观测量方法
CN114098729B (zh) * 2020-08-27 2023-11-10 中国科学院心理研究所 基于心脏间期的情绪状态客观测量方法
CN112220455A (zh) * 2020-10-14 2021-01-15 深圳大学 基于视频脑电信号的情绪识别方法、装置及计算机设备
CN112401886A (zh) * 2020-10-22 2021-02-26 北京大学 情感识别的处理方法、装置、设备及存储介质
CN112401886B (zh) * 2020-10-22 2023-01-31 北京大学 情感识别的处理方法、装置、设备及存储介质
CN113076347A (zh) * 2021-03-31 2021-07-06 北京晶栈信息技术有限公司 移动终端上基于情绪的推送程序筛选系统及筛选方法
CN113076347B (zh) * 2021-03-31 2023-11-10 中国科学院心理研究所 移动终端上基于情绪的推送程序筛选系统及筛选方法
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN113855019B (zh) * 2021-08-25 2023-12-29 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置

Similar Documents

Publication Publication Date Title
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN109820525A (zh) 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
CN106108894A (zh) 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
CN109543526A (zh) 基于深度差异性特征的真假面瘫识别系统
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN111832416A (zh) 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN106725452A (zh) 基于情感诱发的脑电信号识别方法
CN108256579A (zh) 一种基于先验知识的多模态民族认同感量化测量方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN108420429A (zh) 一种基于多视角深度特征融合的脑电癫痫自动识别方法
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN112674782B (zh) 癫痫患者发作间期痫样电活动检测装置和方法
CN109375776A (zh) 基于多任务rnn模型的脑电信号动作意图识别方法
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN111616702A (zh) 一种基于认知负荷增强的测谎分析系统
CN113988135A (zh) 一种基于双分支多流网络的肌电信号手势识别方法
Chen et al. Recognition of american sign language gestures based on electromyogram (emg) signal with xgboost machine learning
CN114186591A (zh) 一种情绪识别系统泛化能力的提高方法
Bhatlawande et al. Multimodal emotion recognition based on the fusion of vision, EEG, ECG, and EMG signals
CN114504317B (zh) 一种基于脑电网络的情绪实时监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190723