CN113974628B - 一种基于脑机模态共空间的情绪识别方法 - Google Patents

一种基于脑机模态共空间的情绪识别方法 Download PDF

Info

Publication number
CN113974628B
CN113974628B CN202111272389.1A CN202111272389A CN113974628B CN 113974628 B CN113974628 B CN 113974628B CN 202111272389 A CN202111272389 A CN 202111272389A CN 113974628 B CN113974628 B CN 113974628B
Authority
CN
China
Prior art keywords
modality
brain
emotion
modal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111272389.1A
Other languages
English (en)
Other versions
CN113974628A (zh
Inventor
孔万增
刘栋军
唐佳佳
章杭奎
刘国文
郭继伟
刘可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111272389.1A priority Critical patent/CN113974628B/zh
Publication of CN113974628A publication Critical patent/CN113974628A/zh
Application granted granted Critical
Publication of CN113974628B publication Critical patent/CN113974628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和脑电模态的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机模态共空间的情绪识别方法”。

Description

一种基于脑机模态共空间的情绪识别方法
技术领域
本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于脑机模态共空间的技术用于情绪识别的方法。
背景技术
脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。多模态情感分析是一个活跃的研究领域，它利用多模态信号对用户生成的视频、音频以及文本等进行情感理解，解决这一任务的主要方法是开发多模态融合技术。基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutional neural network，CNN)和递归神经网络(recursive neural network，RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，CNN的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。
基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号的情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂烦琐的数据预处理过程。
发明内容
本发明的一个目的是针对现有技术的不足，提出一种基于脑机模态共空间的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习得到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和EEG模态之间的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。
本发明提供一种基于脑机模态共空间的情绪识别方法其具体步骤如下：
步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。
步骤2、针对图像模态数据提取图像模态初级表征。针对脑电模态数据提取脑电模态初级表征。
步骤3、构建特征提取模型。
将图像视觉特征和脑电情感特征分别作为特征X和特征Y。构建私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)。针对特征X和特征Y，使用私有信息编码函数Ep、公共信息编码函数Ec学习隐藏的模态公共信息
Figure BDA0003329248550000021
模态私有信息
Figure BDA0003329248550000022
模态公共信息
Figure BDA0003329248550000023
模态私有信息
Figure BDA0003329248550000024
公共信息编码函数Ec在两种模态中共享参数θc，私有信息编码函数Ep在两种模态中分配单独的参数
Figure BDA0003329248550000025
调整公共信息编码函数Ec，使得特征X对应的模态公共信息
Figure BDA0003329248550000026
和特征Y对应的模态公共信息
Figure BDA0003329248550000027
的空间分布相互靠近，整体误差L最小化；L＝Ltask+αLsim+βLdiff。其中，Ltask为任务误差；Lsim为相似性误差；Ldiff为差异性误差；α、β是决定每个正则化组件对整体误差L贡献的相互作用权值。
步骤4、情绪识别
利用私有信息编码函数Ep、公共信息编码函数Ec，分别对被识别图像中提取出的图像模态初级表征进行提取；所得的两个向量通过连接函数进行融合，得到融合向量。融合向量输入线性分类层，将线性分类层输出的信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。
作为优选，步骤3中所述的相似性误差Lsim使用中心矩差度量来实现最小化。相似性误差Lsim的表达式为：
Figure BDA0003329248550000031
其中，CMDK为中心矩差正则化器。设X和Y是在区间[a,b]N上具有各自概率分布p和q的有界随机样本。中心矩差正则化器CMDK被定义为CMD度量的经验估计。
Figure BDA0003329248550000032
其中，
Figure BDA0003329248550000033
是样本X的经验期望向量，Ck(X)＝E((x-E(X))k)是X坐标的所有k阶样本中心矩的向量，K是确定中心矩数目界限的参数。
作为优选，步骤3中所述的差异性误差Ldiff计算为：
Figure BDA0003329248550000034
其中，
Figure BDA0003329248550000035
是弗罗比尼乌斯范数。
Figure BDA0003329248550000036
的分别由每个向量
Figure BDA0003329248550000037
Figure BDA0003329248550000038
表示。
作为优选，步骤3中所述的任务误差Ltask通过交叉熵损失表达。
作为优选，所述的私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)均使用全连接神经层实现。
作为优选，步骤2中通过图像模态初级表征提取器GX提取特征；图像模态初级表征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
作为优选，步骤2中通过脑电模态初级表征提取器GY提取特征；脑电模态初级表征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
本发明的有益效果如下：
1.本发明将图像模态和EEG模态投影到一个公共的子空间。这个公共的子空间不仅捕捉到了两个模态之间的公共信息，而且可以充当模态之间的桥梁，将所有的模态都投影到EEG模态这个确定的子空间，从而在EEG模态这个空间实现下游分类、回归等任务。
2.本发明结合光学图像数据采集方便的优势，不需要大量的面部情绪训练数据参与训练，避免基于深度学习的方法需要更高级别和更大规模的计算设备。
3.本发明针对面部情绪训练数据较少的情况下，基于小样本学习的脑机协同工作方法可以取得高准确率、高稳定性的情绪识别效果。
4.本发明摒弃脑电数据采集复杂的缺点，可在模型训练完成后避免多次脑电信号的采集，真正做到脑电图参与一次却全程有效，从而具有独特的优越性。
5.本发明充分利用人脑对情绪识别的优越性，将基于脑电信号的情绪识别技术运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，可以取得高准确率、高稳定性的效果。
6.本发明在机器的识别系统中引入了人脑情感认知表征知识，采用模仿人脑学习方式来获得实时可靠的情绪识别结果，提高在情绪类别之间存在界限模糊的情绪识别任务中的识别效果。
7.本发明通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器，减少机器出现“误判”的概率与成本，并增强其情感学习的能力。
附图说明
图1为本发明的流程图；
图2为本发明的总体目标图；
图3为本发明的整体架构图；
图4为本发明步骤4的脑机协同智能方法示意图；
图5为本发明步骤4中提供的模态共空间模型示意图。
具体实施方式
如图1、2和3所示，一种基于脑机模态共空间的情绪识别方法，具体过程如下：
步骤1、获取数据
该实验涉及的所有面部情感图像来源于中国面孔表情图片系统(Chinese facialaffective picture system，CFAPS)，系统中的情感图片主要包含7类基础表情，共收集了870张情感面孔图片。其中，74张表示愤怒、47张表示厌恶、64张表示恐惧、95张表示悲伤、120张表示惊奇、222张表示中立、248张表示快乐。
为了引入人的认知能力，在传统机器进行图像识别的基础上增加了图像诱发的脑电图特征，以此获得高级的情绪表示。由于获取脑电数据需要对受试者进行情绪图像的刺激实验，实验设计在E-pirme完成，图像按类别顺序显示，每个图像以类别为顺序显示0.5s，然后在不同的情绪之间显示10s的黑色图像。受试者需要头戴脑电图信号记录设备观看屏幕上依据实验设计展现的情感图像。实验中的脑电图信号记录设备使用的是由德国BrainProducts生产的68通道采集系统，具有62个EEG通道。通过设置参数，消除51Hz的外围干扰，采样率为1000Hz。
该实验记录了6个受试者通过观察情绪图像产生的EEG数据，他们具有相同的教育背景，年龄为23～25岁，男女比例为1:1。因为进行EEG数据采集实验需要受试者具有相关的知识背景，所以本发明选取的受试者均为脑机接口与情绪识别领域的研究和学习人员。为了避免实验引入负样本而影响实验结果，本发明尽可能选取对情绪图像肉眼分类准确的受试者参与实验。在实验之前，本发明进行离线调查，检验受试者对情绪图像肉眼分类的准确率，方法如下：受试者直接观看电脑显示出的情绪图像，根据他们的判断勾选情绪所属类别，将他们的答案与真实标签进行对比并计算准确率，根据结果选出情绪图像肉眼分类准确的6名受试者作为本次实验的受试对象。
最终得到870段62通道脑电图信号。在获得脑电图信号后，本实验对脑电图信号进行了预处理操作，以提高脑电图信号的信噪比并消除伪迹。预处理操作主要包括从原始数据中去除无效片段，去除由眼球运动、眨眼和肌肉抖动引起的一些伪像，并使用Butterworth滤波器对信号的频率进行1～75Hz滤波处理。
多模态数据表示多种类型模态数据，图像对应图像模态、EEG对应EEG模态。两种模态表示形式分别为：
X∈Rc×h×w,Y∈Rt×d(c＝1,h＝w＝32,t＝62,d＝500)
其中，c是图像通道数量、h和w分别为图像的高和宽、t是EEG的通道数量、d是EEG的每个通道单位时间的记录数。
步骤2、获取图像模态初级表征
获取图像模态初级表征即获取机器学习到的形式表征。本发明构建了一个图像模态初级表征提取器GX。图像模态X提供训练样本
Figure BDA0003329248550000051
其中，M为图像训练样本的数量。
Figure BDA0003329248550000052
被输入到GX，用以获得图像模态初级表征
Figure BDA0003329248550000053
Figure BDA0003329248550000054
Figure BDA0003329248550000055
本发明采用一个改进的卷积神经网络CNNNet作为图像模态初级表征提取器GX。CNNNet，它由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。本发明将第三个卷积模块的输出作为获取的图像模态初级表征。
步骤3、获取EEG模态初级表征
获取EEG模态初级表征即获取人脑得到的认知表征。本发明构建了一个EEG模态初级表征提取器GY。EEG模态Y提供训练样本
Figure BDA0003329248550000061
其中，N为EEG训练样本的数量。
Figure BDA0003329248550000062
被输入到GY，用以获得EEG模态初级表征
Figure BDA0003329248550000063
Figure BDA0003329248550000064
Figure BDA0003329248550000065
本发明采用卷积神经网络EEGNet作为EEG模态初级表征提取器GY。EEGNet，一个用于解决基于脑电图的BCI范式的紧凑的卷积神经网络。它由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。第一个模块使用普通的卷积层，第二个模块使用深度卷积层，第三个模块采用可分离卷积层。本发明将第三个模块的输出作为获取的EEG模态初级表征。
步骤4、脑机协同智能方法
如图4和5所示，脑机协同智能方法即寻找从机器学习到的形式表征和人脑得到的认知表征之间的公共信息。本发明构建了一个模态共空间模型。模型采用了MISA框架，它将每个模态投射到两个不同的子空间。第一个子空间是模态不变的，其中跨模态的表示学习它们的共性并减少模态间隙。第二个子空间是模态特异的，它是每个模态的私有的，并用于捕获它们的私有特性。这些表示提供了多模态数据的整体视图，该数据用于融合从而用于预测任务。图像模态经过训练好的模态共空间模型可以得到与EEG模态共有的信息。公共信息不需要采取新的脑电数据的支持，但是具备接近人脑认知能力的情绪识别效果，真正实现了脑机协同智能方法的目标，使得机器智能体具备人脑智能体的情绪识别能力。
我们将图像模态初级表征
Figure BDA0003329248550000066
和EEG模态初级表征
Figure BDA0003329248550000067
简化表示为X和Y。我们的目标是学习X和Y的关系。X和Y分别提供训练样本
Figure BDA0003329248550000068
和
Figure BDA0003329248550000069
其中，M和N为X训练样本的数量和Y训练样本的数量，在本方法中，M＝N。私有信息编码函数Ep，公共信息编码函数Ec，预测函数r＝G(h)。
模态共空间模型的功能可分为两个主要阶段：1)模态表示学习和2)模态融合。
模态公共和模态私有的表示。我们现在将X和Y投射到两种不同的表示中。首先是模态公共组件在具有分布相似性约束的公共子空间中学习模态公共表示。这种约束有助于最小化异质性差距，这是多模态融合的一个理想特性。第二是模态私有组件，它用于捕获模态的私有表示。模态公共和模态私有的表示的存在提供了有效融合所需的整体视图。
给定X，我们使用编码函数学习隐藏的模态公共信息
Figure BDA0003329248550000071
和模态私有信息
Figure BDA0003329248550000072
表示：
Figure BDA0003329248550000073
Figure BDA0003329248550000074
给定Y，我们使用编码函数学习隐藏的模态公共信息
Figure BDA0003329248550000075
和模态私有信息
Figure BDA0003329248550000076
表示：
Figure BDA0003329248550000077
Figure BDA0003329248550000078
这些函数使用简单的全连接神经层实现，其中Ec在两种模态中共享参数θc；Ep在两种模态中分配单独的参数
Figure BDA0003329248550000079
这个编码过程生成4个隐藏向量
Figure BDA00033292485500000710
Figure BDA00033292485500000711
在将这些模态投影到它们各自的表示中后，我们将它们融合成一个联合向量，用于下游预测任务。我们设计了一个简单的融合机制，使用简单的连接函数实现，将模态各自的2个转换模态向量进行连接，得到图像模态联合向量hX、EEG模态联合向量hY。
Figure BDA00033292485500000712
Figure BDA00033292485500000713
将最终的hX、hY输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务。预测任务由函数r＝G(h)完成，rX是对hX的预测结果。
rX＝GX(hX)
学习这些表现形式是我们工作的主要目标。我们的学习目标包括三个方面：1)相似性误差；2)差异性误差；3)任务误差。我们将整个模型的学习表示为最小化：L＝Ltask+αLsim+βLdiff。其中，Ltask为任务误差；Lsim为相似性误差；Ldiff为差异性误差；α、β是决定每个正则化组件对整体误差L贡献的相互作用权值。每一个组件的误差都是实现对应的子空间属性。
相似性误差Lsim：最小化相似性误差可以减少每个模态的公共信息表示之间的差异。这有助于在公共子空间中对齐跨模态特性。我们使用中心矩差(CMD)度量来实现这一目标。CMD是一种先进的距离度量，通过匹配它们的顺序时刻的差异来测量两个表示分布之间的差异。CMD距离随着两个分布变得更加相似而减小。
设X和Y是在区间[a,b]N上具有各自概率分布p和q的有界随机样本。中心矩差正则化器CMDK被定义为CMD度量的经验估计。
Figure BDA0003329248550000081
其中，
Figure BDA0003329248550000082
是样本X的经验期望向量，Ck(X)＝E((x-E(X))k)是X坐标的所有k阶样本中心矩向量，K是确定中心矩数目界限的参数。
在我们的模型中，我们计算两个模态的公共表示之间的CMD损失：
Figure BDA0003329248550000083
差异性误差Ldiff：这个误差是为了确保模态公共和模态私有的表示捕获输入的不同方面。在两个表示之间加一个软正交约束来确保信息非冗余。在一批训练数据中，将
Figure BDA0003329248550000084
和
Figure BDA0003329248550000085
的形式设定为matrices2，其行表示每个向量
Figure BDA0003329248550000086
和
Figure BDA0003329248550000087
将
Figure BDA0003329248550000088
和
Figure BDA0003329248550000089
的形式设定为matrices2，其行表示每个向量
Figure BDA00033292485500000810
和
Figure BDA00033292485500000811
则该模态向量对的正交约束计算为:
Figure BDA00033292485500000812
Figure BDA00033292485500000813
其中，
Figure BDA00033292485500000814
是弗罗比尼乌斯范数(Frobenius norm)。除了公共向量和私有向量之间的约束外，我们还添加了模态私有向量之间的正交约束。整体差异性误差损失计算为：
Figure BDA00033292485500000815
任务误差Ltask：任务的误差估计了训练过程中的预测质量。对于分类任务，我们使用标准的交叉熵损失。对于训练中一批Nb数量的数据，ri是第i个数据的预测结果，
Figure BDA00033292485500000816
是第i个数据的真实结果，任务误差表示为：
Figure BDA00033292485500000817
为了减小脑电实验中的个体差异性的影响，对6名受试者得到的脑电数据的值取平均，得到平均脑电数据。在6名受试者中，第5名受试者的脑电数据用于情绪识别的效果最好，本发明单独将第5名受试者的脑电数据称为最佳脑电数据。在本发明的实验中，图像模态联合向量hX是图像模态分别与平均脑电数据和最佳脑电数据对应的EEG模态在共空间模型中产生的。
表1展示了实验结果的总体分析，即图像模态联合向量hX对7种情绪图像进行分类的准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1Score)。
表1
Figure BDA0003329248550000091
表2展示了CNNNet提取的图像视觉特征，与平均脑电数据和最佳脑电数据对应的图像模态联合向量hX以及EEGNet提取的脑电情感特征分类准确率对比。图像模态联合向量hX分类准确率明显比单纯图像视觉特征分类准确率提高约8％，而且非常接近单纯脑电情感特征的分类准确率。
表2
Figure BDA0003329248550000092

Claims (7)

1.一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；
步骤2、针对图像模态数据提取图像模态初级表征；针对脑电模态数据提取脑电模态初级表征；
步骤3、构建特征提取模型
将图像模态初级表征和脑电模态初级表征分别作为特征X和特征Y；构建私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)；针对特征X和特征Y，使用私有信息编码函数Ep、公共信息编码函数Ec学习隐藏的模态公共信息
Figure QLYQS_3
模态私有信息
Figure QLYQS_6
模态公共信息
Figure QLYQS_9
模态私有信息
Figure QLYQS_2
公共信息编码函数Ec在两种模态中共享参数θc，私有信息编码函数Ep在两种模态中分配单独的参数
Figure QLYQS_5
采用连接函数将
Figure QLYQS_8
形成图像模态联合向量hX,将
Figure QLYQS_10
、
Figure QLYQS_1
形成EEG模态联合向量hY,
Figure QLYQS_4
；
Figure QLYQS_7
；
将最终的hX、hY输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务；预测任务由函数r＝G(h)完成，rX＝GX(hX)，rX是对hX的预测结果；
调整公共信息编码函数Ec和私有信息编码函数Ep，使得特征X对应的模态公共信息
Figure QLYQS_11
和特征Y对应的模态公共信息
Figure QLYQS_12
的空间分布相互靠近，整体误差L最小化；L＝Ltask+αLsim+βLdiff；其中，Ltask为任务误差；Lsim为相似性误差；Ldiff为差异性误差；α、β是决定每个正则化组件对整体误差L贡献的相互作用权值；
步骤4、情绪识别
利用私有信息编码函数Ep、公共信息编码函数Ec，分别对被识别图像中提取出的图像模态初级表征进行提取；所得的两个向量通过连接函数进行融合，得到融合向量；融合向量输入线性分类层，将线性分类层输出的信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。
2.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的相似性误差Lsim使用中心矩差度量来实现最小化；相似性误差Lsim的表达式为：
Figure QLYQS_13
；
其中，CMDK为中心矩差正则化器；中心矩差正则化器CMDK被定义为CMD度量的经验估计；
Figure QLYQS_14
；
其中，
Figure QLYQS_15
是样本X的经验期望向量，Ck(X)＝E((x-E(X))k)是样本X的所有k阶样本中心矩向量；K是确定中心矩数目界限的参数。
3.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的差异性误差Ldiff计算为：
Figure QLYQS_16
；
其中，
Figure QLYQS_17
是弗罗比尼乌斯范数；
Figure QLYQS_18
分别由每个向量
Figure QLYQS_19
Figure QLYQS_20
表示。
4.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤3中所述的任务误差Ltask通过交叉熵损失表达。
5.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：所述的私有信息编码函数Ep、公共信息编码函数Ec和预测函数r＝G(h)均使用全连接神经层实现。
6.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤2中通过图像模态初级表征提取器GX提取特征；图像模态初级表征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
7.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法，其特征在于：步骤2中通过脑电模态初级表征提取器GY提取特征；脑电模态初级表征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
CN202111272389.1A 2021-10-29 2021-10-29 一种基于脑机模态共空间的情绪识别方法 Active CN113974628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111272389.1A CN113974628B (zh) 2021-10-29 2021-10-29 一种基于脑机模态共空间的情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111272389.1A CN113974628B (zh) 2021-10-29 2021-10-29 一种基于脑机模态共空间的情绪识别方法

Publications (2)

Publication Number Publication Date
CN113974628A CN113974628A (zh) 2022-01-28
CN113974628B true CN113974628B (zh) 2023-04-07

Family

ID=79744424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111272389.1A Active CN113974628B (zh) 2021-10-29 2021-10-29 一种基于脑机模态共空间的情绪识别方法

Country Status (1)

Country Link
CN (1) CN113974628B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378650A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 一种基于脑电源成像和正则化共空间模式的情绪识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216504A1 (ko) * 2018-05-09 2019-11-14 한국과학기술원 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
KR102081752B1 (ko) * 2018-10-24 2020-02-26 서경대학교 산학협력단 영상평가시스템 및 영상평가방법
CN110781945A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种融合多种特征的脑电信号情感识别方法及系统
CN111616721B (zh) * 2020-05-31 2022-05-27 天津大学 基于深度学习和脑机接口的情绪识别系统及应用

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378650A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 一种基于脑电源成像和正则化共空间模式的情绪识别方法

Also Published As

Publication number Publication date
CN113974628A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN111616721B (zh) 基于深度学习和脑机接口的情绪识别系统及应用
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
Chen et al. Smg: A micro-gesture dataset towards spontaneous body gestures for emotional stress state analysis
CN113180701B (zh) 一种用于图像标签标注的脑电信号深度学习方法
Wang et al. Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition
CN116230234A (zh) 多模态特征一致性心理健康异常识别方法及系统
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Li et al. Research on leamer's emotion recognition for intelligent education system
CN113974625B (zh) 一种基于脑机跨模态迁移的情绪识别方法
Li et al. Automatic classification of ASD children using appearance-based features from videos
Yar et al. Real-time facial emotion recognition and gender classification for human robot interaction using CNN
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
CN113974628B (zh) 一种基于脑机模态共空间的情绪识别方法
Chinta et al. Soft voting strategy for multi-modal emotion recognition using deep-learning-facial images and EEG
Ahmed et al. EEG-Based Human Emotion Recognition Using Deep Learning
Zhao et al. GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction
Cowen et al. Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods
Bhat et al. A Comprehensive Study on Mental Illness Through Speech and EEG Using Artificial Intelligence
Huang et al. Using Emotion Analysis, Eye tracking, and Head Movement to Monitor Student Engagement among ESL Students with Facial Recognition Algorithm (Mediapipe)
Devi et al. Wearable Physiological IoT System with Neural Network to Detect an Individual IT Professional’s Stress/Emotion in Working Environments
He et al. Global Scanpath Encoder: A Transformer-Based Learning Model to Identify Children with Autism Spectrum Disorder
Haoyu et al. SMG: A Micro-gesture Dataset Towards Spontaneous Body Gestures for Emotional Stress State Analysis
Hu Analyzing Virtual Reality Teaching Behaviors Based on Multimodal Data
Kulkarni et al. Emotion detection using EEG: hybrid classification approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant