CN113974627A - 一种基于脑机生成对抗的情绪识别方法 - Google Patents

一种基于脑机生成对抗的情绪识别方法 Download PDF

Info

Publication number
CN113974627A
CN113974627A CN202111248689.6A CN202111248689A CN113974627A CN 113974627 A CN113974627 A CN 113974627A CN 202111248689 A CN202111248689 A CN 202111248689A CN 113974627 A CN113974627 A CN 113974627A
Authority
CN
China
Prior art keywords
electroencephalogram
convolution
layer
brain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111248689.6A
Other languages
English (en)
Other versions
CN113974627B (zh
Inventor
孔万增
刘栋军
潘泽宇
金宣妤
郭继伟
刘可
白云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111248689.6A priority Critical patent/CN113974627B/zh
Publication of CN113974627A publication Critical patent/CN113974627A/zh
Application granted granted Critical
Publication of CN113974627B publication Critical patent/CN113974627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)

Abstract

本发明公开一种基于脑机生成对抗的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的生成关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像视觉特征到脑电情感特征的生成模型，从而实现形式表征到认知表征之间的生成。本发明将探索脑电情感特征与图像视觉特征之间的关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机生成对抗的情绪识别方法”。

Description

一种基于脑机生成对抗的情绪识别方法
技术领域
本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于生成式对抗网络的脑机协同智能技术用于情绪识别的方法。
背景技术
脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。生成式对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutionalneural network，CNN)和递归神经网络(recursive neural network，RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，CNN的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。
基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号做情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂繁琐的数据预处理过程。
发明内容
本发明的一个目的是针对现有技术的不足，提出一种基于脑机生成对抗的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的生成关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像视觉特征到脑电情感特征的生成模型，从而实现形式表征到认知表征的生成。本发明将探索图像视觉特征与脑电情感特征之间的关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。
本发明提供一种基于脑机生成对抗的情绪识别方法，其具体步骤如下：
步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。
步骤2、针对图像模态数据提取图像视觉特征
Figure BDA0003321983580000021
步骤3、针对脑电模态数据提取脑电情感特征
Figure BDA0003321983580000022
步骤4、利用脑机协同智能方法构建图像特征到脑电特征的映射函数。
将图像视觉特征
Figure BDA0003321983580000023
和脑电情感特征
Figure BDA0003321983580000024
表示为源域X和目标域Y。图像与脑电特征相互转化的生成器标记为G和F，映射函数标记为G:X→Y和F:Y→X，判别器标记为DX和DY；DX用来两个图像视觉特征是否一致，DY用来识别两个脑电情感特征是否一致。
利用映射函数G:X→Y和F:Y→X将图像视觉特征{x}和脑电情感特征{y}分别转化为虚拟脑电情感特征{G(x)}和虚拟图像视觉特征{F(y)}。利用判别器DX识别图像视觉特征{x}和虚拟图像视觉特征{F(y)}的一致性；利用判别器DY识别脑电情感特征{y}和虚拟脑电情感特征{G(x)}的一致性；调整生成器G和F，使得{x}与{F(y)}一致，使得{y}与{G(x)}一致；
利用映射函数G:X→Y和F:Y→X将虚拟图像视觉特征{F(y)}和虚拟脑电情感特征{G(x)}分别转化为重构脑电情感特征G(F(y))和重构图像视觉特征F(G(x))。利用判别器DX对{x}和F(G(x))进行一致性判别；利用判别器DY对{y}和G(F(y))进行一致性判别；调整生成器G和F，使得{x}与F(G(x))一致，使得{y}与G(F(y))一致。
步骤5、情绪识别
利用经过步骤4得到的调整生成器G，对被识别图像中提取出的图像视觉特征进行转化，并将转化所得的特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。
作为优选，所述图像模态数据的图像尺寸为32×32；脑电模态数据的通道数量为62，每个通道单位时间的记录数位500。
作为优选，步骤2中通过图像视觉特征提取器GX提取特征；图像视觉特征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
作为优选，步骤3中通过脑电情感特征提取器GY提取特征；脑电情感特征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
作为优选，步骤4中，根据{x}与{F(y)}、{y}与{G(x)}调整调整生成器G和F的任务通过对抗误差实现；
调整映射函数G:X→Y的过程具体为：
Figure BDA0003321983580000031
其中，LGAN(G,DY,X,Y)、为对抗误差任务，
Figure BDA0003321983580000032
分别表示在脑电情感特征分布、图像视觉特征分布上执行任务。G用于最小化目标任务，同时，DY用于最大化目标任务。
调整映射函数F:Y→X的过程与调整映射函数G:X→Y的过程一致。
作为优选，步骤4中，根据{x}与F(G(x))、{y}与G(F(y))调整调整生成器G和F的任务通过循环一致性误差实现，具体为：
Figure BDA0003321983580000033
其中，Lcyc(G,F)是循环一致性误差任务；
Figure BDA0003321983580000034
分别表示在脑电情感特征分布、图像视觉特征分布上执行任务；||·||是L1-Norm函数；该式用于最小化目标Lcyc(G,F)。
作为优选，生成器G和F采用改进的Unet网络架构，其包括下采样卷积模块、全连接层模块、上采样卷积模块、普通卷积层。下采样卷积模块对应编码过程，全连接层模块对于特征转换过程，上采样卷积模块对应解码过程。下采样卷积模块通过卷积和下采样降低图像尺寸，用于特征提取；全连接层模块线性连接特征层，用于特征转换。上采样卷积模块通过concat函数的方式将解码阶段获得的特征层同编码阶段获得到同尺寸大小的特征层结合进行卷积，用于特征重构。普通卷积层作为网络的最后一层，采用1×1卷积核大小，用于获得与网络输入同样尺寸大小的网络输出。
作为优选，判别器DY、DX均利用判别误差来构造。判别器DY的构造如下：
Figure BDA0003321983580000041
其中，LDis(DY,Y)为判别误差任务，log是对数函数，
Figure BDA0003321983580000042
表示在脑电情感特征分布上执行任务。DY的目标是最小化
Figure BDA0003321983580000043
即是min LDis(DY,Y)。
作为优选，所述的判别器DY、DX均由四个卷积模块和一个分类模块组成。四个卷积模块分别由卷积层、归一化层、非线性激活层组成，分类模块由卷积层、线性连接层组成。
作为优选，被识别的情绪类别共有七类，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
本发明的有益效果如下：
1.本发明结合光学图像数据采集方便的优势，不需要大量的面部情绪训练数据参与训练，避免使用基于深度学习的需要更高级别和更大规模的计算设备。
2.本发明针对面部情绪训练数据较少的情况下，基于小样本学习的脑机协同工作可以取得高准确率、高稳定性的情绪识别效果。
3.本发明摒弃脑电数据采集复杂的缺点，可在模型训练完成后避免多次脑电信号的采集，真正做到脑电图参与一次却全程有效，从而具有独特的优越性。
4.本发明充分利用人脑对情绪识别的优越性，将基于脑电信号的情绪识别技术运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，可以取得高准确率、高稳定性的效果。
5.本发明在机器的识别系统中引入了人脑情感认知表征知识，采用模仿人脑学习方式来获得实时可靠的情绪识别结果，提高在情绪类别之间存在界限模糊的情绪识别任务中的识别效果。
6.通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器，减少机器出现“误判”的概率与成本，并增强其情感学习的能力。
7.本发明构建EEG模态和图像模态之间的生成对抗模型。生成对抗模型充当两个模态之间的桥梁，实现图像模态到EEG模态的生成，从而在EEG模态这个空间实现下游分类、回归等任务。
附图说明
图1为本发明的流程图；
图2为本发明的总体目标图；
图3为本发明的整体架构图；
图4为本发明步骤4中脑机协同智能方法的示意图；
图5为本发明步骤4中脑机生成对抗模型的示意图。
具体实施方式
以下结合附图对本发明进行进一步说明。
如图1、2和3所示，一种基于脑机生成对抗的情绪识别方法，具体过程如下：
步骤1、获取数据
该实验涉及的所有面部情感图像来源于中国面孔表情图片系统(Chinese facialaffective picture system，CFAPS)，系统中的情感图片主要包含7类基础表情，共收集了870张情感面孔图片。其中，74张表示愤怒、47张表示厌恶、64张表示恐惧、95张表示悲伤、120张表示惊奇、222张表示中立、248张表示快乐。
为了引入人的认知能力，在传统机器进行图像识别的基础上增加了图像诱发的脑电图特征，以此获得高级的情绪表示。由于获取脑电情感特征需要对受试者进行情绪图像的刺激实验，实验设计在E-pirme完成，图像按类别顺序显示，每个图像以类别为顺序显示0.5s，然后在不同的情绪之间显示10s的黑色图像。受试者需要头戴脑电图信号记录设备观看屏幕上依据实验设计展现的情感图像。实验中的脑电图信号记录设备使用的是由德国Brain Products生产的68通道采集系统，具有62个EEG通道。通过设置参数，消除51Hz的外围干扰，采样率为1000Hz。
该实验记录了6个受试者通过观察情绪图像产生的EEG数据，他们具有相同的教育背景，年龄为23～25岁，男女比例为1:1。因为进行EEG数据采集实验需要受试者具有相关的知识背景，所以本发明选取的受试者均为脑机接口与情绪识别领域的研究和学习人员。为了避免实验引入负样本而影响实验结果，本发明尽可能选取对情绪图像肉眼分类准确的受试者参与实验。在实验之前，本发明进行离线调查，检验受试者对情绪图像肉眼分类的准确率，方法如下：受试者直接观看电脑显示出的情绪图像，根据他们的判断勾选情绪所属类别，将他们的答案与真实标签进行对比并计算准确率，根据结果选出情绪图像肉眼分类准确的6名受试者作为本次实验的受试对象。
最终得到870段62通道脑电图信号。在获得脑电图信号后，本实验对脑电图信号进行了预处理操作，以提高脑电图信号的信噪比并消除伪迹。预处理操作主要包括从原始数据中去除无效片段，去除由眼球运动、眨眼和肌肉抖动引起的一些伪像，并使用Butterworth滤波器对信号的频率进行1～75Hz滤波处理。
多模态数据表示多种类型模态数据，图像对应图像模态、EEG对应EEG模态。两种模态表示形式分别为：
X∈Rc×h×w,Y∈Rt×d(c＝1,h＝w＝32,t＝62,d＝500)
其中，c是图像通道数量，h和w分别为图像的高和宽，t是EEG的通道数量，d是EEG的每个通道单位时间的记录数。
步骤2、提取图像视觉特征
提取图像视觉特征即获取机器学习到的形式表征。本发明构建了一个图像视觉特征提取器GX。图像模态X提供训练样本
Figure BDA0003321983580000061
其中，M为图像训练样本的数量。
Figure BDA0003321983580000062
被输入到GX，用以获得图像视觉特征
Figure BDA0003321983580000063
Figure BDA0003321983580000064
Figure BDA0003321983580000065
本发明采用一个改进的卷积神经网络CNNNet作为图像视觉特征提取器GX。CNNNet，它由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。本发明将第三个卷积模块的输出作为提取的图像视觉特征。
步骤3、提取脑电情感特征
提取脑电情感特征即获取人脑得到的认知表征。本发明构建了一个脑电情感特征提取器GY。EEG模态Y提供训练样本
Figure BDA0003321983580000066
其中，N为EEG训练样本的数量。
Figure BDA0003321983580000067
被输入到GY，用以获得脑电情感特征
Figure BDA0003321983580000068
Figure BDA0003321983580000069
Figure BDA00033219835800000610
本发明采用卷积神经网络EEGNet作为脑电情感特征提取器GY。EEGNet，一个用于解决基于脑电图的BCI范式的紧凑的卷积神经网络。它由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。第一个模块使用普通的卷积层，第二个模块使用深度卷积层，第三个模块采用可分离卷积层。本发明将第三个模块的输出作为提取的脑电情感特征。
步骤4、脑机协同智能方法
如图4和5所示，脑机协同智能方法即寻找从机器学习到的形式表征到人脑得到的认知表征之间的生成关系。本发明构建了一个脑机生成对抗模型，它由生成器和判别器构成。图像视觉特征经过生成器得到虚拟脑电情感特征，判别器用于鉴别虚拟脑电情感特征与真实脑电情感特征。针对测试样本，机器学习得到的图像视觉特征经过此生成关系可以得到虚拟脑电情感特征，虚拟脑电情感特征不需要采取新的脑电数据的支持，但是具备接近人脑认知能力的情绪识别效果，真正实现了脑机协同智能方法的目标，使得机器智能体具备人脑智能体的情绪识别能力。
我们将图像视觉特征
Figure BDA0003321983580000071
和脑电情感特征
Figure BDA0003321983580000072
表示为源域X和目标域Y。我们的目标是学习源域X和目标域Y的映射关系。源域X和目标域Y分别提供训练样本
Figure BDA0003321983580000073
和
Figure BDA0003321983580000074
其中，M和N为源域训练样本的数量和目标域训练样本的数量，在本方法中，M＝N。我们将图像视觉特征分布标记为x～pdata(x)，脑电情感特征分布标记为y～pdata(y)。生成器标记为G和F，映射函数标记为G:X→Y和F:Y→X。判别器标记为DX和DY，DX用来识别图像视觉特征{x}和虚拟图像视觉特征{F(y)}是否一致，DY用来识别脑电情感特征{y}和虚拟脑电情感特征{G(x)}是否一致。
我们的任务包括三个方面：1)对抗误差；2)循环一致性误差；3)判别误差。
我们运用对抗误差来构造映射函数模型。映射函数G:X→Y、F:Y→X和判别器DY、DX。对于图像视觉特征{x}和脑电情感特征{y}，映射函数G:X→Y和F:Y→X应该能够将其分别转换为虚拟脑电情感特征{G(x)}和虚拟图像视觉特征{F(y)}，它的目标是：x→G(x)≈y、y→F(y)≈x。我们通过对抗误差实现这一任务：
Figure BDA0003321983580000075
其中，LGAN(G,DY,X,Y)为对抗误差任务，G用于生成虚拟脑电情感特征G(x)，DY用于鉴别虚拟脑电情感特征G(x)和真实脑电情感特征y，log是对数函数，
Figure BDA0003321983580000076
分别表示在脑电情感特征分布、图像视觉特征分布上执行任务。G用于最小化目标任务，同时，DY用于最大化目标任务，即是
Figure BDA0003321983580000077
另外，对于映射函数F:Y→X和判别器DX，我们使用相似的对抗误差任务LGAN(F,DX,Y,X)，它的目标是
Figure BDA0003321983580000078
仅靠对抗性损失不能保证所学习的映射函数能将单个输入xi映射到期望的输出yi。为了进一步缩小可能的映射函数的空间，所学的映射函数应该是循环一致的。
我们运用循环一致性误差来构造重构函数模型。对于虚拟图像视觉特征{F(y)}和虚拟脑电情感特征{G(x)}，转换循环应该能够将其分别转换为重构脑电情感特征G(F(y))和重构图像视觉特征F(G(x))，它的目标是：x→G(x)→F(G(x))≈x，y→F(y)→G(F(y))≈y。我们通过循环一致性误差实现这一任务：
Figure BDA0003321983580000081
其中，Lcyc(G,F)是循环一致性误差任务，
Figure BDA0003321983580000082
分别表示在脑电情感特征分布、图像视觉特征分布上执行任务，||·||1是L1-Norm函数，它用于最小化目标Lcyc(G,F)，即是min Lcyc(G,F)。
因此，我们的整体任务是：
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)
其中，λ用于控制对抗任务和循环一致性任务这两个任务的相对重要性比例。我们的目标是解决：
Figure BDA0003321983580000083
我们采用改进的Unet网络架构作为生成器。该网络包含下采样卷积模块、全连接层模块、上采样卷积模块、普通卷积层。下采样卷积模块对应编码过程，全连接层模块对于特征转换过程，上采样卷积模块对应解码过程。下采样卷积模块通过卷积和下采样降低图像尺寸，用于特征提取；全连接层模块线性连接特征层，用于特征转换。上采样卷积模块通过concat函数的方式将解码阶段获得的特征层同编码阶段获得到同尺寸大小的特征层结合进行卷积，用于特征重构。普通卷积层作为网络的最后一层，采用1×1卷积核大小，用于获得与网络输入同样尺寸大小的网络输出。
我们运用判别误差来构造判别函数模型。判别器DY、DX。对于DY，它应该能够准确判断虚拟脑电情感特征{G(x)}和真实脑电情感特征{y}；对于DX，它应该能够准确判断虚拟图像视觉特征{F(y)}和真实图像视觉特征{x}。对于DY，我们通过判别误差实现这一任务：
Figure BDA0003321983580000084
其中，LDis(DY,Y)为判别误差任务，log是对数函数，
Figure BDA0003321983580000085
表示在脑电情感特征分布上执行任务。DY的目标是最小化
Figure BDA0003321983580000086
即是min LDis(DY,Y)。另外，对于DX，我们通过相似的判断误差任务LDis(DX,X)，它的目标是min LDis(DX,X)。
对于判别器，我们使用四个卷积模块和一个分类模块组成。四个卷积模块分别由卷积层、归一化层、非线性激活层组成，分类模块由卷积层、线性连接层组成。
步骤5、情绪识别
将最终的虚拟脑电情感特征G(x)输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务。预测任务由函数rX＝PX(G(x))完成，rX是对G(x)的预测结果。
为了减小脑电实验中的个体差异性的影响，对6名受试者得到的脑电情感特征的值取平均，得到平均脑电情感特征。在6名受试者中，第5名受试者的脑电情感特征用于情绪识别的效果最好，本发明单独将第5名受试者的脑电情感特征称为最佳脑电情感特征。在本发明的实验中，平均脑电情感特征对应的虚拟脑电情感特征是由图像视觉特征以平均脑电情感特征为目标生成的；最佳脑电情感特征对应的虚拟脑电情感特征是由图像视觉特征以最佳脑电情感特征为目标生成的。
表1展示了实验结果的总体分析，即虚拟脑电情感特征对7种情绪图像进行分类的准确率(accuracy)、精确率(precision)、召回率(recall)和F1分数(F1Score)。
表1
Figure BDA0003321983580000091
表2展示了CNNNet提取的图像视觉特征，分别结合平均脑电情感特征和最佳脑电情感特征生成的虚拟脑电情感特征分类准确率。利用训练样本的图像视觉特征与脑电情感特征训练生成模型，测试图像视觉特征经过生成模型后得到的虚拟脑电情感特征分类准确率明显比单纯图像视觉特征分类准确率提高约8％。
表2
Figure BDA0003321983580000101

Claims (8)

1.一种基于脑机生成对抗的情绪识别方法，其特征在于：步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据；
步骤2、针对图像模态数据提取图像视觉特征
Figure FDA0003321983570000011
步骤3、针对脑电模态数据提取脑电情感特征
Figure FDA0003321983570000012
步骤4、利用脑机协同智能方法构建图像特征到脑电特征的映射函数；
将图像视觉特征
Figure FDA0003321983570000013
和脑电情感特征
Figure FDA0003321983570000014
表示为源域X和目标域Y；图像与脑电特征相互转化的生成器标记为G和F，映射函数标记为G:X→Y和F:Y→X，判别器标记为DX和DY；DX用来两个图像视觉特征是否一致，DY用来识别两个脑电情感特征是否一致；
利用映射函数G:X→Y和F:Y→X将图像视觉特征{x}和脑电情感特征{y}分别转化为虚拟脑电情感特征{G(x)}和虚拟图像视觉特征{F(y)}；利用判别器DX识别图像视觉特征{x}和虚拟图像视觉特征{F(y)}的一致性；利用判别器DY识别脑电情感特征{y}和虚拟脑电情感特征{G(x)}的一致性；调整生成器G和F，使得{x}与{F(y)}一致，使得{y}与{G(x)}一致；
利用映射函数G:X→Y和F:Y→X将虚拟图像视觉特征{F(y)}和虚拟脑电情感特征{G(x)}分别转化为重构脑电情感特征G(F(y))和重构图像视觉特征F(G(x))；利用判别器DX对{x}和F(G(x))进行一致性判别；利用判别器DY对{y}和G(F(y))进行一致性判别；调整生成器G和F，使得{x}与F(G(x))一致，使得{y}与G(F(y))一致；
步骤5、情绪识别
在利用经过步骤4得到的调整生成器G，对被识别图像中提取出的图像视觉特征进行转化，并将转化所得的特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的被识别图像对应的情绪类别。
2.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：步骤2中通过图像视觉特征提取器GX提取特征；图像视觉特征提取器GX由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
3.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：步骤3中通过脑电情感特征提取器GY提取特征；脑电情感特征提取器GY由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
4.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：步骤4中，根据{x}与{F(y)}、{y}与{G(x)}调整调整生成器G和F的任务通过对抗误差实现；
调整映射函数G:X→Y的过程具体为：
LGAN(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x))]
其中，LGAN(G,DY,X,Y)、为对抗误差任务；Ey～pdata(y)、Ex～pdata(x)分别表示在脑电情感特征分布、图像视觉特征分布上执行任务；G用于最小化目标任务，同时，DY用于最大化目标任务；
调整映射函数F:Y→X的过程与调整映射函数G:X→Y的过程一致。
5.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：步骤4中，根据{x}与F(G(x))、{y}与G(F(y))调整调整生成器G和F的任务通过循环一致性误差实现，具体为：
Lcyc(G,F)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，Lcyc(G,F)是循环一致性误差任务；Ey～pdata(y)、Ex～pdata(x)分别表示在脑电情感特征分布、图像视觉特征分布上执行任务；||·||是L1-Norm函数；该式用于最小化目标Lcyc(G,F)。
6.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：生成器G和F采用改进的Unet网络架构，其包括下采样卷积模块、全连接层模块、上采样卷积模块、普通卷积层；下采样卷积模块对应编码过程，全连接层模块对于特征转换过程，上采样卷积模块对应解码过程；下采样卷积模块通过卷积和下采样降低图像尺寸，用于特征提取；全连接层模块线性连接特征层，用于特征转换；上采样卷积模块通过concat函数的方式将解码阶段获得的特征层同编码阶段获得到同尺寸大小的特征层结合进行卷积，用于特征重构；普通卷积层作为网络的最后一层，采用1×1卷积核大小，用于获得与网络输入同样尺寸大小的网络输出。
7.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：判别器DY、DX均利用判别误差来构造；判别器DY的构造如下：
LDis(DY,Y)＝Ey～pdata(y)[log(1-DY(y))]
其中，LDis(DY,Y)为判别误差任务，log是对数函数，Ey～pdata(y)表示在脑电情感特征分布上执行任务；DY的目标是最小化Ey～pdata(y)[log(1-DY(y))]。
8.根据权利要求1所述的一种基于脑机生成对抗的情绪识别方法，其特征在于：所述的判别器DY、DX均由四个卷积模块和一个分类模块组成；四个卷积模块分别由卷积层、归一化层、非线性激活层组成，分类模块由卷积层、线性连接层组成。
CN202111248689.6A 2021-10-26 2021-10-26 一种基于脑机生成对抗的情绪识别方法 Active CN113974627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248689.6A CN113974627B (zh) 2021-10-26 2021-10-26 一种基于脑机生成对抗的情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248689.6A CN113974627B (zh) 2021-10-26 2021-10-26 一种基于脑机生成对抗的情绪识别方法

Publications (2)

Publication Number Publication Date
CN113974627A true CN113974627A (zh) 2022-01-28
CN113974627B CN113974627B (zh) 2023-04-07

Family

ID=79741676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248689.6A Active CN113974627B (zh) 2021-10-26 2021-10-26 一种基于脑机生成对抗的情绪识别方法

Country Status (1)

Country Link
CN (1) CN113974627B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578967A (zh) * 2022-03-08 2022-06-03 天津理工大学 一种基于脑电信号的情感识别方法及系统
CN116521872A (zh) * 2023-04-27 2023-08-01 华中师范大学 一种认知和情感的联合识别方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110584A (zh) * 2019-03-14 2019-08-09 杭州电子科技大学 一种基于cnn的情绪特征分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110781945A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种融合多种特征的脑电信号情感识别方法及系统
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110584A (zh) * 2019-03-14 2019-08-09 杭州电子科技大学 一种基于cnn的情绪特征分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110781945A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种融合多种特征的脑电信号情感识别方法及系统
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
WENFEN LING等: "《Facial Emotion Recognition Based on Brain and Machine Collaborative Intelligence》", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND VIRTUAL ENVIRONMENTS FOR MEASUREMENT SYSTEMS AND APPLICATIONS》 *
YAGUANG SONG等: "《EEG-Based Motor Imagery Classification with Deep Multi-Task Learning》", 《IEEE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
YANFANG LONG: "《Comparison of Facial Emotion Recognition Based on Image Visual Features and EEG Features》", 《COMMUNICATIONS IN COMPUTER AND INFORMATION SCIENCE》 *
付春萌: "《基于视觉信息与脑电信息融合的情感识别研究》", 《硕士论文》 *
刘栋军等: "《基于脑机协同智能的情绪识别》", 《智能科学与技术学报》 *
隆燕芳: "《基于神经网络的脑电情绪识别与重构方法研究》", 《医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578967A (zh) * 2022-03-08 2022-06-03 天津理工大学 一种基于脑电信号的情感识别方法及系统
CN114578967B (zh) * 2022-03-08 2023-04-25 天津理工大学 一种基于脑电信号的情感识别方法及系统
CN116521872A (zh) * 2023-04-27 2023-08-01 华中师范大学 一种认知和情感的联合识别方法、系统及电子设备
CN116521872B (zh) * 2023-04-27 2023-12-26 华中师范大学 一种认知和情感的联合识别方法、系统及电子设备

Also Published As

Publication number Publication date
CN113974627B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Palazzo et al. Decoding brain representations by multimodal learning of neural activity and visual features
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Pan et al. MAtt: A manifold attention network for EEG decoding
CN111709267A (zh) 深度卷积神经网络的脑电信号情感识别方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
Wang et al. Maximum weight multi-modal information fusion algorithm of electroencephalographs and face images for emotion recognition
An et al. Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder
Borra et al. A lightweight multi-scale convolutional neural network for P300 decoding: analysis of training strategies and uncovering of network decision
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN115349860A (zh) 一种多模态情绪识别方法、系统、设备及介质
CN111772629B (zh) 一种脑认知技能移植的方法
Zhao et al. Research and development of autism diagnosis information system based on deep convolution neural network and facial expression data
Wang et al. Hand gesture recognition using smooth wavelet packet transformation and hybrid CNN based on surface EMG and accelerometer signal
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN113974625B (zh) 一种基于脑机跨模态迁移的情绪识别方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Hernandez-Galvan et al. A prototypical network for few-shot recognition of speech imagery data
Aristimunha et al. Evaluating the structure of cognitive tasks with transfer learning
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Chinta et al. Soft voting strategy for multi-modal emotion recognition using deep-learning-facial images and EEG
Zhao et al. GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction
Al-Hamadani et al. Normalized deep learning algorithms based information aggregation functions to classify motor imagery EEG signal
CN113974628B (zh) 一种基于脑机模态共空间的情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant