CN113974628B - 一种基于脑机模态共空间的情绪识别方法 - Google Patents
一种基于脑机模态共空间的情绪识别方法 Download PDFInfo
- Publication number
- CN113974628B CN113974628B CN202111272389.1A CN202111272389A CN113974628B CN 113974628 B CN113974628 B CN 113974628B CN 202111272389 A CN202111272389 A CN 202111272389A CN 113974628 B CN113974628 B CN 113974628B
- Authority
- CN
- China
- Prior art keywords
- modality
- brain
- emotion
- modal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008451 emotion Effects 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000001568 sexual effect Effects 0.000 claims 1
- 210000004556 brain Anatomy 0.000 abstract description 27
- 230000001149 cognitive effect Effects 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 7
- 238000010801 machine learning Methods 0.000 abstract description 6
- 230000003930 cognitive ability Effects 0.000 abstract description 5
- 230000019771 cognition Effects 0.000 abstract description 3
- 238000013459 approach Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 13
- 238000012512 characterization method Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的共性关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态和脑电模态的共空间模型,从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机模态共空间的情绪识别方法”。
Description
技术领域
本发明属于脑机协同与情绪识别的交叉领域,具体涉及一种基于脑机模态共空间的技术用于情绪识别的方法。
背景技术
脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。多模态情感分析是一个活跃的研究领域,它利用多模态信号对用户生成的视频、音频以及文本等进行情感理解,解决这一任务的主要方法是开发多模态融合技术。基于机器学习的情绪识别技术。近年来,应用于计算机视觉领域的深度学习算法取得了突破,包括卷积神经网络(convolutional neural network,CNN)和递归神经网络(recursive neural network,RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中,CNN的主要优点是通过直接从输入图像进行“端到端”学习,完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是,在面部情绪训练数据较少的情况下,不足以深度神经网络学习形式表征;在面部情绪训练数据较多的情况下,基于深度学习的方法需要更高级别和更大规模的计算设备。
基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就,但其相比于人类来说,更容易出现误判,而且误判的成本和代价更大。例如,情绪图像中的某一些情绪类别之间存在模糊的界限,机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征,进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中,获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势,基于脑电图(electroencephalogram,EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是,基于脑电图信号的情绪识别任务需要人脑参与,每次进行识别任务需要重新采集脑电图信号,涉及多次复杂烦琐的数据预处理过程。
发明内容
本发明的一个目的是针对现有技术的不足,提出一种基于脑机模态共空间的情绪识别方法。采用脑机协同这一强大的智能形态,不仅可以保留人脑和机器的优点,还可以解决前者存在的数据采集不便和后者数据量要求较大的问题,实现脑机协同工作。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习得到的仅仅是图像的形式表征,如果能够建立两者之间的共性关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态和EEG模态之间的共空间模型,从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征。
本发明提供一种基于脑机模态共空间的情绪识别方法其具体步骤如下:
步骤1、获取数据,采集不同情绪类别的图像模态数据,并针对所有图像模态数据采集人观察图像后获得脑电模态数据。
步骤2、针对图像模态数据提取图像模态初级表征。针对脑电模态数据提取脑电模态初级表征。
步骤3、构建特征提取模型。
将图像视觉特征和脑电情感特征分别作为特征X和特征Y。构建私有信息编码函数Ep、公共信息编码函数Ec和预测函数r=G(h)。针对特征X和特征Y,使用私有信息编码函数Ep、公共信息编码函数Ec学习隐藏的模态公共信息模态私有信息模态公共信息模态私有信息公共信息编码函数Ec在两种模态中共享参数θc,私有信息编码函数Ep在两种模态中分配单独的参数调整公共信息编码函数Ec,使得特征X对应的模态公共信息和特征Y对应的模态公共信息的空间分布相互靠近,整体误差L最小化;L=Ltask+αLsim+βLdiff。其中,Ltask为任务误差;Lsim为相似性误差;Ldiff为差异性误差;α、β是决定每个正则化组件对整体误差L贡献的相互作用权值。
步骤4、情绪识别
利用私有信息编码函数Ep、公共信息编码函数Ec,分别对被识别图像中提取出的图像模态初级表征进行提取;所得的两个向量通过连接函数进行融合,得到融合向量。融合向量输入线性分类层,将线性分类层输出的信息与情绪类别标签进行对比,得到最终的被识别图像对应的情绪类别。
作为优选,步骤3中所述的相似性误差Lsim使用中心矩差度量来实现最小化。相似性误差Lsim的表达式为:
其中,CMDK为中心矩差正则化器。设X和Y是在区间[a,b]N上具有各自概率分布p和q的有界随机样本。中心矩差正则化器CMDK被定义为CMD度量的经验估计。
作为优选,步骤3中所述的差异性误差Ldiff计算为:
作为优选,步骤3中所述的任务误差Ltask通过交叉熵损失表达。
作为优选,所述的私有信息编码函数Ep、公共信息编码函数Ec和预测函数r=G(h)均使用全连接神经层实现。
作为优选,步骤2中通过图像模态初级表征提取器GX提取特征;图像模态初级表征提取器GX由三个卷积模块组成,每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
作为优选,步骤2中通过脑电模态初级表征提取器GY提取特征;脑电模态初级表征提取器GY由三个卷积模块构成,分别为普通卷积模块、深度卷积模块和可分离卷积模块。
本发明的有益效果如下:
1.本发明将图像模态和EEG模态投影到一个公共的子空间。这个公共的子空间不仅捕捉到了两个模态之间的公共信息,而且可以充当模态之间的桥梁,将所有的模态都投影到EEG模态这个确定的子空间,从而在EEG模态这个空间实现下游分类、回归等任务。
2.本发明结合光学图像数据采集方便的优势,不需要大量的面部情绪训练数据参与训练,避免基于深度学习的方法需要更高级别和更大规模的计算设备。
3.本发明针对面部情绪训练数据较少的情况下,基于小样本学习的脑机协同工作方法可以取得高准确率、高稳定性的情绪识别效果。
4.本发明摒弃脑电数据采集复杂的缺点,可在模型训练完成后避免多次脑电信号的采集,真正做到脑电图参与一次却全程有效,从而具有独特的优越性。
5.本发明充分利用人脑对情绪识别的优越性,将基于脑电信号的情绪识别技术运用于情绪识别工作中,获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势,可以取得高准确率、高稳定性的效果。
6.本发明在机器的识别系统中引入了人脑情感认知表征知识,采用模仿人脑学习方式来获得实时可靠的情绪识别结果,提高在情绪类别之间存在界限模糊的情绪识别任务中的识别效果。
7.本发明通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器,减少机器出现“误判”的概率与成本,并增强其情感学习的能力。
附图说明
图1为本发明的流程图;
图2为本发明的总体目标图;
图3为本发明的整体架构图;
图4为本发明步骤4的脑机协同智能方法示意图;
图5为本发明步骤4中提供的模态共空间模型示意图。
具体实施方式
如图1、2和3所示,一种基于脑机模态共空间的情绪识别方法,具体过程如下:
步骤1、获取数据
该实验涉及的所有面部情感图像来源于中国面孔表情图片系统(Chinese facialaffective picture system,CFAPS),系统中的情感图片主要包含7类基础表情,共收集了870张情感面孔图片。其中,74张表示愤怒、47张表示厌恶、64张表示恐惧、95张表示悲伤、120张表示惊奇、222张表示中立、248张表示快乐。
为了引入人的认知能力,在传统机器进行图像识别的基础上增加了图像诱发的脑电图特征,以此获得高级的情绪表示。由于获取脑电数据需要对受试者进行情绪图像的刺激实验,实验设计在E-pirme完成,图像按类别顺序显示,每个图像以类别为顺序显示0.5s,然后在不同的情绪之间显示10s的黑色图像。受试者需要头戴脑电图信号记录设备观看屏幕上依据实验设计展现的情感图像。实验中的脑电图信号记录设备使用的是由德国BrainProducts生产的68通道采集系统,具有62个EEG通道。通过设置参数,消除51Hz的外围干扰,采样率为1000Hz。
该实验记录了6个受试者通过观察情绪图像产生的EEG数据,他们具有相同的教育背景,年龄为23~25岁,男女比例为1:1。因为进行EEG数据采集实验需要受试者具有相关的知识背景,所以本发明选取的受试者均为脑机接口与情绪识别领域的研究和学习人员。为了避免实验引入负样本而影响实验结果,本发明尽可能选取对情绪图像肉眼分类准确的受试者参与实验。在实验之前,本发明进行离线调查,检验受试者对情绪图像肉眼分类的准确率,方法如下:受试者直接观看电脑显示出的情绪图像,根据他们的判断勾选情绪所属类别,将他们的答案与真实标签进行对比并计算准确率,根据结果选出情绪图像肉眼分类准确的6名受试者作为本次实验的受试对象。
最终得到870段62通道脑电图信号。在获得脑电图信号后,本实验对脑电图信号进行了预处理操作,以提高脑电图信号的信噪比并消除伪迹。预处理操作主要包括从原始数据中去除无效片段,去除由眼球运动、眨眼和肌肉抖动引起的一些伪像,并使用Butterworth滤波器对信号的频率进行1~75Hz滤波处理。
多模态数据表示多种类型模态数据,图像对应图像模态、EEG对应EEG模态。两种模态表示形式分别为:
X∈Rc×h×w,Y∈Rt×d(c=1,h=w=32,t=62,d=500)
其中,c是图像通道数量、h和w分别为图像的高和宽、t是EEG的通道数量、d是EEG的每个通道单位时间的记录数。
步骤2、获取图像模态初级表征
本发明采用一个改进的卷积神经网络CNNNet作为图像模态初级表征提取器GX。CNNNet,它由三个卷积模块组成,每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。本发明将第三个卷积模块的输出作为获取的图像模态初级表征。
步骤3、获取EEG模态初级表征
本发明采用卷积神经网络EEGNet作为EEG模态初级表征提取器GY。EEGNet,一个用于解决基于脑电图的BCI范式的紧凑的卷积神经网络。它由三个卷积模块构成,分别为普通卷积模块、深度卷积模块和可分离卷积模块。第一个模块使用普通的卷积层,第二个模块使用深度卷积层,第三个模块采用可分离卷积层。本发明将第三个模块的输出作为获取的EEG模态初级表征。
步骤4、脑机协同智能方法
如图4和5所示,脑机协同智能方法即寻找从机器学习到的形式表征和人脑得到的认知表征之间的公共信息。本发明构建了一个模态共空间模型。模型采用了MISA框架,它将每个模态投射到两个不同的子空间。第一个子空间是模态不变的,其中跨模态的表示学习它们的共性并减少模态间隙。第二个子空间是模态特异的,它是每个模态的私有的,并用于捕获它们的私有特性。这些表示提供了多模态数据的整体视图,该数据用于融合从而用于预测任务。图像模态经过训练好的模态共空间模型可以得到与EEG模态共有的信息。公共信息不需要采取新的脑电数据的支持,但是具备接近人脑认知能力的情绪识别效果,真正实现了脑机协同智能方法的目标,使得机器智能体具备人脑智能体的情绪识别能力。
我们将图像模态初级表征和EEG模态初级表征简化表示为X和Y。我们的目标是学习X和Y的关系。X和Y分别提供训练样本和其中,M和N为X训练样本的数量和Y训练样本的数量,在本方法中,M=N。私有信息编码函数Ep,公共信息编码函数Ec,预测函数r=G(h)。
模态共空间模型的功能可分为两个主要阶段:1)模态表示学习和2)模态融合。
模态公共和模态私有的表示。我们现在将X和Y投射到两种不同的表示中。首先是模态公共组件在具有分布相似性约束的公共子空间中学习模态公共表示。这种约束有助于最小化异质性差距,这是多模态融合的一个理想特性。第二是模态私有组件,它用于捕获模态的私有表示。模态公共和模态私有的表示的存在提供了有效融合所需的整体视图。
在将这些模态投影到它们各自的表示中后,我们将它们融合成一个联合向量,用于下游预测任务。我们设计了一个简单的融合机制,使用简单的连接函数实现,将模态各自的2个转换模态向量进行连接,得到图像模态联合向量hX、EEG模态联合向量hY。
将最终的hX、hY输入线性分类层,将输出信息与情绪类别标签进行对比,得到最终的分类结果,实现情绪识别任务。预测任务由函数r=G(h)完成,rX是对hX的预测结果。
rX=GX(hX)
学习这些表现形式是我们工作的主要目标。我们的学习目标包括三个方面:1)相似性误差;2)差异性误差;3)任务误差。我们将整个模型的学习表示为最小化:L=Ltask+αLsim+βLdiff。其中,Ltask为任务误差;Lsim为相似性误差;Ldiff为差异性误差;α、β是决定每个正则化组件对整体误差L贡献的相互作用权值。每一个组件的误差都是实现对应的子空间属性。
相似性误差Lsim:最小化相似性误差可以减少每个模态的公共信息表示之间的差异。这有助于在公共子空间中对齐跨模态特性。我们使用中心矩差(CMD)度量来实现这一目标。CMD是一种先进的距离度量,通过匹配它们的顺序时刻的差异来测量两个表示分布之间的差异。CMD距离随着两个分布变得更加相似而减小。
设X和Y是在区间[a,b]N上具有各自概率分布p和q的有界随机样本。中心矩差正则化器CMDK被定义为CMD度量的经验估计。
在我们的模型中,我们计算两个模态的公共表示之间的CMD损失:
差异性误差Ldiff:这个误差是为了确保模态公共和模态私有的表示捕获输入的不同方面。在两个表示之间加一个软正交约束来确保信息非冗余。在一批训练数据中,将和的形式设定为matrices2,其行表示每个向量和将和的形式设定为matrices2,其行表示每个向量和则该模态向量对的正交约束计算为:
为了减小脑电实验中的个体差异性的影响,对6名受试者得到的脑电数据的值取平均,得到平均脑电数据。在6名受试者中,第5名受试者的脑电数据用于情绪识别的效果最好,本发明单独将第5名受试者的脑电数据称为最佳脑电数据。在本发明的实验中,图像模态联合向量hX是图像模态分别与平均脑电数据和最佳脑电数据对应的EEG模态在共空间模型中产生的。
表1展示了实验结果的总体分析,即图像模态联合向量hX对7种情绪图像进行分类的准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1Score)。
表1
表2展示了CNNNet提取的图像视觉特征,与平均脑电数据和最佳脑电数据对应的图像模态联合向量hX以及EEGNet提取的脑电情感特征分类准确率对比。图像模态联合向量hX分类准确率明显比单纯图像视觉特征分类准确率提高约8%,而且非常接近单纯脑电情感特征的分类准确率。
表2
Claims (7)
1.一种基于脑机模态共空间的情绪识别方法,其特征在于:步骤1、获取数据,采集不同情绪类别的图像模态数据,并针对所有图像模态数据采集人观察图像后获得脑电模态数据;
步骤2、针对图像模态数据提取图像模态初级表征;针对脑电模态数据提取脑电模态初级表征;
步骤3、构建特征提取模型
将图像模态初级表征和脑电模态初级表征分别作为特征X和特征Y;构建私有信息编码函数Ep、公共信息编码函数Ec和预测函数r=G(h);针对特征X和特征Y,使用私有信息编码函数Ep、公共信息编码函数Ec学习隐藏的模态公共信息模态私有信息模态公共信息模态私有信息公共信息编码函数Ec在两种模态中共享参数θc,私有信息编码函数Ep在两种模态中分配单独的参数采用连接函数将形成图像模态联合向量hX,将、形成EEG模态联合向量hY, ;;
将最终的hX、hY输入线性分类层,将输出信息与情绪类别标签进行对比,得到最终的分类结果,实现情绪识别任务;预测任务由函数r=G(h)完成,rX=GX(hX),rX是对hX的预测结果;
调整公共信息编码函数Ec和私有信息编码函数Ep,使得特征X对应的模态公共信息和特征Y对应的模态公共信息的空间分布相互靠近,整体误差L最小化;L=Ltask+αLsim+βLdiff;其中,Ltask为任务误差;Lsim为相似性误差;Ldiff为差异性误差;α、β是决定每个正则化组件对整体误差L贡献的相互作用权值;
步骤4、情绪识别
利用私有信息编码函数Ep、公共信息编码函数Ec,分别对被识别图像中提取出的图像模态初级表征进行提取;所得的两个向量通过连接函数进行融合,得到融合向量;融合向量输入线性分类层,将线性分类层输出的信息与情绪类别标签进行对比,得到最终的被识别图像对应的情绪类别。
4.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法,其特征在于:步骤3中所述的任务误差Ltask通过交叉熵损失表达。
5.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法,其特征在于:所述的私有信息编码函数Ep、公共信息编码函数Ec和预测函数r=G(h)均使用全连接神经层实现。
6.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法,其特征在于:步骤2中通过图像模态初级表征提取器GX提取特征;图像模态初级表征提取器GX由三个卷积模块组成,每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
7.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法,其特征在于:步骤2中通过脑电模态初级表征提取器GY提取特征;脑电模态初级表征提取器GY由三个卷积模块构成,分别为普通卷积模块、深度卷积模块和可分离卷积模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111272389.1A CN113974628B (zh) | 2021-10-29 | 2021-10-29 | 一种基于脑机模态共空间的情绪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111272389.1A CN113974628B (zh) | 2021-10-29 | 2021-10-29 | 一种基于脑机模态共空间的情绪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113974628A CN113974628A (zh) | 2022-01-28 |
CN113974628B true CN113974628B (zh) | 2023-04-07 |
Family
ID=79744424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111272389.1A Active CN113974628B (zh) | 2021-10-29 | 2021-10-29 | 一种基于脑机模态共空间的情绪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113974628B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378650A (zh) * | 2021-05-19 | 2021-09-10 | 重庆邮电大学 | 一种基于脑电源成像和正则化共空间模式的情绪识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019216504A1 (ko) * | 2018-05-09 | 2019-11-14 | 한국과학기술원 | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 |
KR102081752B1 (ko) * | 2018-10-24 | 2020-02-26 | 서경대학교 산학협력단 | 영상평가시스템 및 영상평가방법 |
CN110781945A (zh) * | 2019-10-22 | 2020-02-11 | 太原理工大学 | 一种融合多种特征的脑电信号情感识别方法及系统 |
CN111616721B (zh) * | 2020-05-31 | 2022-05-27 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
-
2021
- 2021-10-29 CN CN202111272389.1A patent/CN113974628B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378650A (zh) * | 2021-05-19 | 2021-09-10 | 重庆邮电大学 | 一种基于脑电源成像和正则化共空间模式的情绪识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113974628A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111616721B (zh) | 基于深度学习和脑机接口的情绪识别系统及应用 | |
CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
Chen et al. | Smg: A micro-gesture dataset towards spontaneous body gestures for emotional stress state analysis | |
CN113180701B (zh) | 一种用于图像标签标注的脑电信号深度学习方法 | |
Wang et al. | Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition | |
CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
Li et al. | Research on leamer's emotion recognition for intelligent education system | |
CN113974625B (zh) | 一种基于脑机跨模态迁移的情绪识别方法 | |
Li et al. | Automatic classification of ASD children using appearance-based features from videos | |
Yar et al. | Real-time facial emotion recognition and gender classification for human robot interaction using CNN | |
CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
CN113974628B (zh) | 一种基于脑机模态共空间的情绪识别方法 | |
Chinta et al. | Soft voting strategy for multi-modal emotion recognition using deep-learning-facial images and EEG | |
Ahmed et al. | EEG-Based Human Emotion Recognition Using Deep Learning | |
Zhao et al. | GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction | |
Cowen et al. | Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods | |
Bhat et al. | A Comprehensive Study on Mental Illness Through Speech and EEG Using Artificial Intelligence | |
Huang et al. | Using Emotion Analysis, Eye tracking, and Head Movement to Monitor Student Engagement among ESL Students with Facial Recognition Algorithm (Mediapipe) | |
Devi et al. | Wearable Physiological IoT System with Neural Network to Detect an Individual IT Professional’s Stress/Emotion in Working Environments | |
He et al. | Global Scanpath Encoder: A Transformer-Based Learning Model to Identify Children with Autism Spectrum Disorder | |
Haoyu et al. | SMG: A Micro-gesture Dataset Towards Spontaneous Body Gestures for Emotional Stress State Analysis | |
Hu | Analyzing Virtual Reality Teaching Behaviors Based on Multimodal Data | |
Kulkarni et al. | Emotion detection using EEG: hybrid classification approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |