CN113974625B - 一种基于脑机跨模态迁移的情绪识别方法 - Google Patents
一种基于脑机跨模态迁移的情绪识别方法 Download PDFInfo
- Publication number
- CN113974625B CN113974625B CN202111210470.7A CN202111210470A CN113974625B CN 113974625 B CN113974625 B CN 113974625B CN 202111210470 A CN202111210470 A CN 202111210470A CN 113974625 B CN113974625 B CN 113974625B
- Authority
- CN
- China
- Prior art keywords
- brain
- modal
- image
- emotion
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 38
- 238000013508 migration Methods 0.000 title claims abstract description 30
- 230000005012 migration Effects 0.000 title claims abstract description 30
- 230000008451 emotion Effects 0.000 claims abstract description 50
- 210000004556 brain Anatomy 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 235000014653 Carica parviflora Nutrition 0.000 claims description 10
- 241000243321 Cnidaria Species 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 7
- 206010063659 Aversion Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 abstract description 29
- 230000001149 cognitive effect Effects 0.000 abstract description 13
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000013459 approach Methods 0.000 abstract description 4
- 230000003930 cognitive ability Effects 0.000 abstract description 4
- 230000019771 cognition Effects 0.000 abstract description 3
- 238000000537 electroencephalography Methods 0.000 description 26
- 238000002474 experimental method Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Psychology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
Abstract
本发明公开一种基于脑机跨模态迁移的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的迁移关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态与脑电模态的跨模态迁移模型，从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机跨模态迁移的情绪识别方法”。
Description
技术领域
本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于脑机跨模态迁移的技术用于情绪识别的方法。
背景技术
脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。迁移学习强调知识由一个领域迁移到另一个领域的过程。
基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutional neural network，CNN)和递归神经网络(recursive neural network，RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，CNN的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。
基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号做情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂烦琐的数据预处理过程。
发明内容
本发明的一个目的是针对现有技术的不足，提出一种基于脑机跨模态迁移的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习得到的仅仅是图像的形式表征，如果能够建立两者之间的迁移关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态与脑电模态的跨模态迁移模型，从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。
本发明提供一种基于脑机跨模态迁移的情绪识别方法，其具体步骤如下：
步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。
步骤2、针对图像模态数据提取图像视觉特征。
步骤3、针对脑电模态数据提取脑电情感特征。
步骤4、构建将图像模态向量投影至脑电模态向量空间的特征转换器F。
将图像视觉特征和脑电情感特征分别作为特征X和特征Y。针对特征X和特征Y，使用编码函数学习隐藏的图像模态向量hX、脑电模态向量hY。编码函数使用全连接神经层实现。
使用特征转换器F对图像模态向量hX进行空间转换，得到学习图像跨模态特征tX；通过调整特征转换器F，使得所得的图像跨模态特征tX与脑电模态向量hY的空间分布不断接近，直到满足相似要求。
步骤5、情绪识别
针对被识别图像，使用编码函数学习隐藏的图像模态向量，并利用步骤4所得的特征转换器F对所得的图像模态向量进行转化；将转化得到的学习图像跨模态特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到被识别图像对应的情绪类别。
作为优选，步骤4中，通过最小化tX与hY在空间分布上的总误差L来实现tX与hY的空间分布的不断接近；总误差L表现为L＝Ltask+αLsim；其中，α是决定正则化组件对整体误差L贡献的作用权值；Lsim为相似性误差；Ltask为任务误差。
相似性误差Lsim估计了两个模态的空间表示之间的差异；具体使用CORAL度量来实现这一目标；以tX与hY的公共表示之间的CORAL损失作为相似性误差Lsim。
任务误差Ltask估计了训练过程中的预测质量；具体使用标准的交叉熵损失来表达任务误差Ltask，如下式所示：
其中，Nb训练过程中使用的数据数量；rXi是第i个数据的预测结果，是第i个数据的真实结果。
作为优选，步骤4中，处理特征X和特征Y的编码函数共享参数θ。
作为优选，步骤2中通过图像视觉特征提取器GX提取特征；图像视觉特征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
作为优选，步骤3中通过脑电情感特征提取器GY提取特征；脑电情感特征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
作为优选，步骤1中所述图像模态数据的图像尺寸为32×32；脑电模态数据的通道数量为62，每个通道单位时间的记录数为500。
作为优选，被识别的情绪类别共有七类，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
本发明的有益效果如下：
1.本发明充分利用人脑对情绪识别的优越性，将图像模态的数据转化到脑电模态空间中，从而将基于脑电信号的情绪识别技术运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，可以取得高准确率、高稳定性的效果。
2.本发明结合光学图像数据采集方便的优势，不需要大量的面部情绪训练数据参与训练，避免基于深度学习的方法需要更高级别和更大规模的计算设备。
3.本发明针对面部情绪训练数据较少的情况下，基于小样本学习的脑机协同工作方法可以取得高准确率、高稳定性的情绪识别效果。
4.本发明摒弃脑电数据采集复杂的缺点，可在模型训练完成后避免多次脑电信号的采集，真正做到脑电图参与一次却全程有效，从而具有独特的优越性。
5.本发明在机器的识别系统中引入了人脑情感认知表征知识，采用模仿人脑学习方式来获得实时可靠的情绪识别结果，提高在情绪类别之间存在界限模糊的情绪识别任务中的识别效果。
6.本发明通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器，减少机器出现“误判”的概率与成本，并增强其情感学习能力。
7.本发明将图像模态迁移到EEG模态空间中。迁移模型充当两个模态之间的桥梁，实现EEG模态到图像模态的知识迁移，从而在EEG模态这个空间实现下游分类、回归等任务。
附图说明
图1为本发明的流程图；
图2为本发明的总体目标图；
图3为本发明的整体架构图；
图4为本发明步骤4中脑机协同智能方法的示意图；
图5为本发明步骤4中跨模态迁移模型的示意图。
具体实施方式
如图1、2和3所示，一种基于脑机跨模态迁移的情绪识别方法，具体过程如下：
步骤1、获取数据
该实验涉及的所有面部情感图像来源于中国面孔表情图片系统(Chinese facialaffective picture system，CFAPS)，系统中的情感图片主要包含7类基础表情，共收集了870张情感面孔图片。其中，74张表示愤怒、47张表示厌恶、64张表示恐惧、95张表示悲伤、120张表示惊奇、222张表示中立、248张表示快乐。
为了引入人的认知能力，在传统机器进行图像识别的基础上增加了图像诱发的脑电图特征，以此获得高级的情绪表示。由于获取脑电数据需要对受试者进行情绪图像的刺激实验，实验设计在E-pirme完成，图像按类别顺序显示，每个图像以类别为顺序显示0.5s，然后在不同的情绪之间显示10s的黑色图像。受试者需要头戴脑电图信号记录设备观看屏幕上依据实验设计展现的情感图像。实验中的脑电图信号记录设备使用的是由德国BrainProducts生产的68通道采集系统，具有62个EEG通道。通过设置参数，消除51Hz的外围干扰，采样率为1000Hz。
该实验记录了6个受试者通过观察情绪图像产生的EEG数据，他们具有相同的教育背景，年龄为23～25岁，男女比例为1:1。因为进行EEG数据采集实验需要受试者具有相关的知识背景，所以本发明选取的受试者均为脑机接口与情绪识别领域的研究和学习人员。为了避免实验引入负样本而影响实验结果，本发明尽可能选取对情绪图像肉眼分类准确的受试者参与实验。在实验之前，本发明进行离线调查，检验受试者对情绪图像肉眼分类的准确率，方法如下：受试者直接观看电脑显示出的情绪图像，根据他们的判断勾选情绪所属类别，将他们的答案与真实标签进行对比并计算准确率，根据结果选出情绪图像肉眼分类准确的6名受试者作为本次实验的受试对象。
最终得到870段62通道脑电图信号。在获得脑电图信号后，本实验对脑电图信号进行了预处理操作，以提高脑电图信号的信噪比并消除伪迹。预处理操作主要包括从原始数据中去除无效片段，去除由眼球运动、眨眼和肌肉抖动引起的一些伪像，并使用Butterworth滤波器对信号的频率进行1～75Hz滤波处理。
多模态数据表示多种类型模态数据，图像对应图像模态、EEG对应EEG模态。两种模态表示形式分别为：
X∈Rc×h×w,Y∈Rt×d(c＝1,h＝w＝32,t＝62,d＝500)
其中，c是图像通道数量、h和w分别为图像的高和宽、t是EEG的通道数量、d是EEG的每个通道单位时间的记录数。
步骤2、获取图像模态初级表征
获取图像模态初级表征即获取机器学习到的形式表征。本发明构建了一个图像模态初级表征提取器GX。图像模态X提供训练样本其中，M为图像训练样本的数量。/>被输入到GX，用以获得图像模态初级表征/>
本发明采用一个改进的卷积神经网络CNNNet作为图像模态初级表征提取器GX。CNNNet，它由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。本发明将第三个卷积模块的输出作为获取的图像模态初级表征。
步骤3、获取EEG模态初级表征
获取EEG模态初级表征即获取人脑得到的认知表征。本发明构建了一个EEG模态初级表征提取器GY。EEG模态Y提供训练样本其中，N为EEG训练样本的数量。被输入到GY，用以获得EEG模态初级表征/>
本发明采用卷积神经网络EEGNet作为EEG模态初级表征提取器GY。EEGNet，一个用于解决基于脑电图的BCI范式的紧凑的卷积神经网络。它由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。第一个模块使用普通的卷积层，第二个模块使用深度卷积层，第三个模块采用可分离卷积层。本发明将第三个模块的输出作为获取的EEG模态初级表征。
步骤4、脑机协同智能方法
如同4和5所示，脑机协同智能方法即寻找从机器学习到的形式表征和人脑得到的认知表征之间的迁移关系。本发明构建了一个跨模态迁移模型。模型通过映射将图像模态空间中的特征变换到EEG模态空间中，然后在该特征上使用机器学习的算法进行分类预测任务。图像模态经过训练好的跨模态迁移模型可以得到在EEG模态空间中的跨模态特征。跨模态特征不需要采取新的脑电数据的支持，但是具备接近人脑认知能力的情绪识别效果，真正实现了脑机协同智能方法的目标，使得机器智能体具备人脑智能体的情绪识别能力。
我们将图像模态初级表征和EEG模态初级表征/>简化表示为X和Y。我们的目标是学习X和Y的迁移关系。X和Y分别提供训练样本/>和/>其中，M和N为X训练样本的数量和Y训练样本的数量，在本方法中，M＝N。编码函数E，预测函数r＝G(h)。
我们现在将X投射到Y空间表示中。采用具有分布相似性约束的跨空间中学习模态的表示。这种约束有助于最小化异质性差距，这是迁移学习的一个理想特性和工具。
给定X，我们使用编码函数学习隐藏的图像模态向量(hX)表示：
hX＝E(X；θ)
给定Y，我们使用编码函数学习隐藏的EEG模态向量(hY)表示：
hY＝E(Y；θ)
编码函数使用简单的全连接神经层实现，其中E在训练过程中共享参数θ。
对于隐藏的图像模态向量，我们使用特征转换器F来学习图像跨模态特征tX:
tX＝F(hX)
特征转换器使用简单的全连接神经层实现；对于特征转换器F，它的目标是：hX→F(hX)≈hY，我们通过相似性误差实现这一任务。这个编码过程生成隐藏向量hX，通过特征转换器F，它与hY的空间分布不断相似。
将最终的tX输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务。预测任务由函数r＝G(t)完成，rX是对tX的预测结果。
rX＝GX(tX)
学习这些表现形式是我们工作的主要目标。我们的学习目标包括两个方面：1)相似性误差；2)任务误差。我们将整个模型的学习表示为最小化：L＝Ltask+αLsim。其中，α是决定正则化组件对整体误差L贡献的作用权值。正则化组件的误差是为了实现跨空间属性。
相似性误差Lsim。最小化相似性误差可以减少两个模态的空间表示之间的差异。这有助于在跨空间过程中对齐两个模态特性，从而获得EEG模态空间下的图像跨模态特征。我们使用CORAL度量来实现这一目标。CORAL是一种先进的距离度量，CORAL方法用线性变换方法将源域和目标域分布的二阶统计特征进行对齐。CORAL距离随着两个分布变得更加相似而减小。
设X和Y是目标域和源域的训练样本，则其CORAL距离是：
其中，弗罗贝尼乌斯范数(Frobenius norm)，CX是目标域特征协方差矩阵，CY是源域特征协方差矩阵，d是样本数量。
在我们的模型中，我们计算两个模态的公共表示之间的CORAL损失：
Lsim＝lCORAL(tX,hY)
任务误差Ltask。任务的误差估计了训练过程中的预测质量。对于分类任务，我们使用标准的交叉熵损失。对于一批Nb数量的数据，rXi是第i个数据的预测结果，是第i个数据的真实结果，任务误差表示为：
为了减小脑电实验中的个体差异性的影响，对6名受试者得到的脑电数据的值取平均，得到平均脑电数据。在6名受试者中，第5名受试者的脑电数据用于情绪识别的效果最好，本发明单独将第5名受试者的脑电数据称为最佳脑电数据。在本发明的实验中，图像跨模态特征hX是图像模态分别与平均脑电数据和最佳脑电数据对应的EEG模态在脑机跨模态迁移模型中产生的。
表1展示了实验结果的总体分析，即图像跨模态特征hX对7种情绪图像进行分类的准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1Score)。
表1
表2展示了CNNNet提取的图像视觉特征，与平均脑电数据和最佳脑电数据对应的图像跨模态特征hX以及EEGNet提取的脑电情感特征分类准确率对比。图像跨模态特征hX分类准确率明显比单纯图像视觉特征分类准确率提高约9％，而且非常接近单纯脑电情感特征的分类准确率。
表2
Claims (6)
1.一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；
步骤2、针对图像模态数据提取图像视觉特征；
步骤3、针对脑电模态数据提取脑电情感特征；
步骤4、构建将图像模态向量投影至脑电模态向量空间的特征转换器F；
将图像视觉特征和脑电情感特征分别作为特征X和特征Y；针对特征X和特征Y，使用编码函数学习隐藏的图像模态向量hX、脑电模态向量hY；编码函数使用全连接神经层实现；处理特征X和特征Y的编码函数共享参数θ；
使用特征转换器F对图像模态向量hX进行空间转换，得到学习图像跨模态特征tX；通过调整特征转换器F，使得所得的图像跨模态特征tX与脑电模态向量hY的空间分布不断接近，直到满足相似要求；特征转换器F使用全连接神经层实现；
步骤5、情绪识别
针对被识别图像，使用编码函数学习隐藏的图像模态向量，并利用步骤4所得的特征转换器F对所得的图像模态向量进行转化；将转化得到的学习图像跨模态特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到被识别图像对应的情绪类别。
2.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤4中，通过最小化tX与hY在空间分布上的总误差L来实现tX与hY的空间分布的不断接近；总误差L表现为L＝Ltask+αLsim；其中，α是决定正则化组件对整体误差L贡献的作用权值；Lsim为相似性误差；Ltask为任务误差；
相似性误差Lsim估计了两个模态的空间表示之间的差异；具体使用CORAL度量来实现这一目标；以tX与hY的公共表示之间的CORAL损失作为相似性误差Lsim；
任务误差Ltask估计了训练过程中的预测质量；具体使用标准的交叉熵损失来表达任务误差Ltask。
3.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤2中通过图像视觉特征提取器GX提取特征；图像视觉特征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
4.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤3中通过脑电情感特征提取器GY提取特征；脑电情感特征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
5.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：步骤1中所述图像模态数据的图像尺寸为32×32；脑电模态数据的通道数量为62，每个通道单位时间的记录数位500。
6.根据权利要求1所述的一种基于脑机跨模态迁移的情绪识别方法，其特征在于：被识别的情绪类别共有七类，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210470.7A CN113974625B (zh) | 2021-10-18 | 2021-10-18 | 一种基于脑机跨模态迁移的情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210470.7A CN113974625B (zh) | 2021-10-18 | 2021-10-18 | 一种基于脑机跨模态迁移的情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113974625A CN113974625A (zh) | 2022-01-28 |
| CN113974625B true CN113974625B (zh) | 2024-05-03 |
Family
ID=79739174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111210470.7A Active CN113974625B (zh) | 2021-10-18 | 2021-10-18 | 一种基于脑机跨模态迁移的情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113974625B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140814A (zh) * | 2022-02-07 | 2022-03-04 | 北京无疆脑智科技有限公司 | 情绪识别能力的训练方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110584A (zh) * | 2019-03-14 | 2019-08-09 | 杭州电子科技大学 | 一种基于cnn的情绪特征分类方法 |
| CN110781945A (zh) * | 2019-10-22 | 2020-02-11 | 太原理工大学 | 一种融合多种特征的脑电信号情感识别方法及系统 |
| WO2020085581A1 (ko) * | 2018-10-24 | 2020-04-30 | 서경대학교 산학협력단 | 영상평가시스템 및 영상평가방법 |
| CN111523601A (zh) * | 2020-04-26 | 2020-08-11 | 道和安邦（天津）安防科技有限公司 | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 |
| CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113378650A (zh) * | 2021-05-19 | 2021-09-10 | 重庆邮电大学 | 一种基于脑电源成像和正则化共空间模式的情绪识别方法 |
-
2021
- 2021-10-18 CN CN202111210470.7A patent/CN113974625B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020085581A1 (ko) * | 2018-10-24 | 2020-04-30 | 서경대학교 산학협력단 | 영상평가시스템 및 영상평가방법 |
| CN110110584A (zh) * | 2019-03-14 | 2019-08-09 | 杭州电子科技大学 | 一种基于cnn的情绪特征分类方法 |
| CN110781945A (zh) * | 2019-10-22 | 2020-02-11 | 太原理工大学 | 一种融合多种特征的脑电信号情感识别方法及系统 |
| CN111523601A (zh) * | 2020-04-26 | 2020-08-11 | 道和安邦（天津）安防科技有限公司 | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 |
| CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113378650A (zh) * | 2021-05-19 | 2021-09-10 | 重庆邮电大学 | 一种基于脑电源成像和正则化共空间模式的情绪识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Facial Emotion Recognition Based on Brain and Machine Collaborative Intelligence;Wenfen Ling 等;2019 IEEE International Conference on Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA);20200420;全文 * |
| 刘栋军 等.基于脑机协同智能的情绪识别.智能科学与技术学报.第3卷(第1期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113974625A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111616721B (zh) | 基于深度学习和脑机接口的情绪识别系统及应用 | |
| Li et al. | EEG-based mild depression recognition using convolutional neural network | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| Liu et al. | EEG emotion recognition based on the attention mechanism and pre-trained convolution capsule network | |
| CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
| CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN112800998B (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| CN111709267B (zh) | 深度卷积神经网络的脑电信号情感识别方法 | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| Wang et al. | Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition | |
| Chen et al. | Smg: A micro-gesture dataset towards spontaneous body gestures for emotional stress state analysis | |
| Akhundov et al. | Development of a deep neural network for automated electromyographic pattern classification | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN113974625B (zh) | 一种基于脑机跨模态迁移的情绪识别方法 | |
| Murugappan et al. | Facial expression classification using KNN and decision tree classifiers | |
| Huang | Recognition of psychological emotion by EEG features | |
| CN113974628B (zh) | 一种基于脑机模态共空间的情绪识别方法 | |
| Zhao et al. | GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction | |
| Cowen et al. | Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods | |
| Asif et al. | Deep fuzzy framework for emotion recognition using eeg signals and emotion representation in type-2 fuzzy vad space | |
| Opałka et al. | EEG-Based Emotion Recognition–Evaluation Methodology Revisited | |
| Chen et al. | Cross-Subject Domain Adaptation for Classifying Working Memory Load with Multi-Frame EEG Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Kong Wanzeng Inventor after: Cao Zeyang Inventor after: Jin Xuanyu Inventor after: Zhang Hangkui Inventor after: Cui Qiquan Inventor after: Liu Dongjun Inventor after: Bai Yun Inventor before: Kong Wanzeng Inventor before: Liu Dongjun Inventor before: Jin Xuanyu Inventor before: Zhang Hangkui Inventor before: Cui Qiquan Inventor before: Cao Zeyang Inventor before: Bai Yun |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |