CN111134666A - 一种多通道脑电数据的情绪识别方法及电子装置 - Google Patents

一种多通道脑电数据的情绪识别方法及电子装置 Download PDF

Info

Publication number
CN111134666A
CN111134666A CN202010020956.3A CN202010020956A CN111134666A CN 111134666 A CN111134666 A CN 111134666A CN 202010020956 A CN202010020956 A CN 202010020956A CN 111134666 A CN111134666 A CN 111134666A
Authority
CN
China
Prior art keywords
electroencephalogram
emotion
data
channel
electroencephalogram data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010020956.3A
Other languages
English (en)
Other versions
CN111134666B (zh
Inventor
马翠霞
杜肖兵
李锦瑶
王宏安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202010020956.3A priority Critical patent/CN111134666B/zh
Publication of CN111134666A publication Critical patent/CN111134666A/zh
Application granted granted Critical
Publication of CN111134666B publication Critical patent/CN111134666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明公开了一种多通道脑电数据的情绪识别方法及电子装置，其方法步骤包括：将提取的一脑电数据的各通道频域特征送入一序列特征提取器，获取脑电数据的各通道隐层特征向量；捕获各脑电通道与各情绪类别之间的关联，并将所述关联和隐层特征向量送入一自动编码器，得到所述脑电数据对应的各情感类别的概率值向量。本发明利用长短时记忆网络在脑电通道序列上学习脑电通道之间的非线性关系，并提取与情绪分类相关的高维脑电特征，自动选择多通道脑电信号中的关键信息，减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异。

Description

一种多通道脑电数据的情绪识别方法及电子装置
技术领域
本发明属于情感识别领域，具体涉及一种多通道脑电数据的情绪识别方法及电子装置。
背景技术
人类情感是复杂的心理和生理表达，通常与主观感受、气质、性格、动机倾向、行为反应和生理唤醒有关。在情感识别研究领域，人体行为和生理信号都被广泛用于人类情感识别。与语言、面部表情、手势和肢体动作等容易掩盖人的情感的行为信号相比，脑电图(EEG)、肌电图(EMG)和心电图(ECG)等生理信号对识别人类情绪更为可靠和真实。脑电信号是一种具有良好时间分辨率的物理信号，可以通过分析情绪刺激引起的即时脑部活动直接用于情绪识别。近年来，随着脑机接口(BCI)技术的发展，基于脑电的应用越来越广泛，现实生活中出现了大量的基于脑电数据的应用。
一般来说，有两种广泛使用的情感模型来描述情感空间，一种是离散模型，另一种是维度模型(请参考图1)。在离散模型中，情绪空间由几个基本的离散情绪来描述。尽管对基本情绪的类别还没有达成共识，但许多研究使用了至少六种基本情绪:喜悦、悲伤、惊讶、恐惧、愤怒和厌恶(参考文献：D.Keltner and P.Ekman,“The psychophysiology ofemotion,”in Handbook of Emotions,2000,pp.236–249.)。另一方面，维度模型描述了情绪空间在二维或三维空间中具有连续一致性的特征。其中效价(valence)维度范围从消极到积极，唤醒(arousal)维度范围从平静到活跃，最后到兴奋，支配(dominance)维度描述一个人的情绪状态从控制到被控制。离散的情感模型和连续的情感模型的关系如图1所示，纵轴为效价，横轴为唤醒度。
特征提取在基于脑电图的情绪识别中起着重要的作用。多种特征提取方法被应用在基于脑电的情绪识别领域，得到的脑电特征一般可分为三类:时域特征、频域特征和时频域特征。时域特征主要捕捉脑电信号的时间组织信息，具有代表性的时域脑电信号特征有Hjorth特征、分形维数特征和高阶交叉特征等。频域特征主要从频域的角度捕捉情感信息。EEG信号中提取频域的特征首先将频段分解成几个子频段(例如,δ(1-3Hz),θ(4-7Hz),α(8-13Hz),β(14-30Hz)和γ(31-50Hz))是最常用的方式,然后可以分别提取每个频带的脑电特征。当前常用的脑电频域特征提取方法有傅立叶变换(FT)、功率谱密度(PSD)、小波变换(WT)和微分熵(DE)(参考文献：Alarcao S M,Fonseca M J.Emotions recognition usingEEG signals:A survey[J].IEEE Transactions on Affective Computing,2017.)。时频域特征同时捕获时域信息和频域信息，从滑动窗口分割的单位时间信号中提取频域信息，由于滑动窗口在时间维度对脑电数据进行分割，所以也可以整体获得脑电数据的时域信息。基于时频域特征的脑电情绪识别研究取得了一定的成功。
目前，基于脑电的情绪识别算法被大量提出，这些算法多数是传统的机器学习算法。例如，支持向量机(SVM)、K近邻(K-nearest neighbor,KNN)和朴素贝叶斯(naiveBayes,NB)等监督学习算法。近年来，深度神经网络被成功地应用到基于脑电的情绪识别任务中，并且达到了目前较高的研究水平。这些深度模型以各种脑电特征为输入，例如功率谱密度(PSD)、微分熵(DE)、微分不对称特征(DASM)、有理不对称特征(RASM)、微分尾度特征(DCAU)等，输出脑电数据对应的情绪类别标签。常见的深度模型包括深度信念网络(DBN)、双模深度去噪自编码器(SDAE)、双向长短时记忆网络(Bi-LSTM)模型、卷积神经网络(CNN)等。
脑电信号在不同通道/电极间的关系(即，脑电数据的空间特征)在基于脑电数据的情绪识别任务中受到越来越大的重视。注意力机制在许多应用取得了成功，包括图像理解、图像识别、机器翻译和自然语言处理等。在这些研究中，使用注意力机制来定位图像理解中的关键图像部分或集中在给定句子描述的图像正确区域，但尚未应用在情感识别领域。
脑电数据具有不稳定的特性，例如不同被试之间或者同一被试不同环境下得到的脑电数据在分布上存在一定的差异。因此，使用训练数据训练的模型通常不能很好地推广到来自不同被试或不同环境下的测试数据。虽然域迁移现象在一般分类问题中已经得到了解决，但现有技术中仍未有效地运用到情感识别领域，即使用域判别模块来减少源数据特征分布和目标数据特征分布之间的差异。
CN109271964A公开了一种基于深度学习模型与长短记忆网络的情绪识别方法及系统，其由变分编码器构成图片重建模型和由长短记忆网络构成情绪识别模型组成网络模型，根据网络模型构建目标函数，采用Adam优化算子对目标函数进行优化，利用交叉训练集确定网络模型的超参数，得到最终网络模型。但该方法仍然无法自动选择多通道脑电信号中的关键信息，未解决源数据特征分布和目标数据特征分布之间的差异。
发明内容
为解决上述问题，本发明的目的在于提供一种多通道脑电数据的情绪识别方法及电子装置，将注意力机制模块(attention mechanism module)和域判别模块(domaindiscriminator module)引入到LSTM网络中，提出了一种高效处理多通道脑电信号，精确分类情绪状态的深度模型。该模型能够在注意力机制模块、域判别器模块和特征提取模块三部分的协同作用下高效完成基于多通道脑电数据的情绪识别任务。由于脑电数据是一种具有良好时间分辨率的物理信号，并且脑电信号具有客观、不易伪装等特点,在情绪识别领域的应用广受关注，可以通过分析情绪刺激引起的即时脑部活动直接用于情绪识别。从脑电信号中提取与情绪关联大、区分能力强的特征,有助于后续的分类器更有效地识别不同情绪状态。
一种多通道脑电数据的情绪识别方法，其步骤包括：
1)将提取的一脑电数据的各通道频域特征送入一序列特征提取器，获取脑电数据的各通道隐层特征向量；
2)捕获各脑电通道与各情绪类别之间的关联，并将所述关联和隐层特征向量送入一自动编码器，得到所述脑电数据对应的各情感类别的概率值向量。
进一步地，所述频域特征为功率特征、功率谱密度特征、事件相关同步化特征、事件相关去同步化特征、高阶谱特征或微分熵特征中的一个或多个。
进一步地，所述序列特征提取器的结构为一长短时记忆网络。
进一步地，使用注意力机制来捕获脑电通道与不同情感类别之间的关系。
进一步地，所述自动编码器包括一编码器与一解码器；所述自动编码器的编码与解码步骤包括：
1)根据所述关联和隐层特征向量进行编码，得到所述脑电数据被分类为各情绪类别的概率与所有通道隐层特征向量对各情绪类别的加权向量和；
2)将所述概率和所述加权向量进行解码，获取所述脑电数据对应的各情感类别的概率值向量。
进一步地，所述解码的次数与情绪类别的数量相同。
进一步地，将隐层特征向量不仅输入所述自动编码器，同时还通过一域判别器。
进一步地，采用迭代法将训练集脑电数据逐一进行情绪识别，通过计算最小自动编码器损失函数与最大化域判别器损失函数得到所述序列特征提取器的精确参数和所述自动编码器的精确参数，计算最小化域判别器损失函数得到所述域判别器的精确参数。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。
一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。
综上，和现有技术相比，本发明具有的优点和积极效果如下：
1、本发明使用时间长度的滑动窗口对脑电信号进行分割，并使用STFT提取单位窗口长度的脑电信号的DE特征作为深度模型的输入，精确地完成基于脑电的情绪识别任务。
2、本发明利用长短时记忆网络在脑电通道序列上学习脑电通道之间的非线性关系，并提取与情绪分类相关的高维脑电特征，该非线性关系对情绪识别至关重要。
3、本发明在基于多通道脑电数据的情感识别深度模型中引入注意力机制，自动选择多通道脑电信号中的关键信息，使得模型在学习与情绪相关的脑电特征时能够更集中在与特定情绪类别相关的脑电通道上，进一步提取与特定情绪相关的脑电特征，高效地对特定的情绪进行预测是基于脑电的情绪识别任务的关键突破。
4、本发明突破性将域判别器引入到基于脑电数据的情绪分类模型中，使用域判别器减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异，不仅能处理多通道的脑电信号，而且能够约束特征提取器高效提取领域不变的脑电特征，解决情感识别任务在实际环境应用中存在的数据偏移问题。
附图说明
图1情感表示模型图示。
图2基于脑电数据的情绪识别算法流程图示。
图3基于注意力机制和域判别器的长短时记忆网络框架说明图示。
图4脑电通道注意力权重分布图示。
图5特征分布可视化图示。
具体实施方式
为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于脑电的情绪识别算法，但不构成对本发明的限制。
请参考图2、图3，本发明所提出的方法主要包括对特定情绪的诱发、对脑电数据的采集、对脑电数据的预处理、脑电特征提取、构建深度模型对特定情绪状态进行分类等过程。本发明是通过对脑电数据的处理和分析，对人的基本情绪状态进行准确分类，在当今人机交互和人工智能大环境下尽可能构建一种健壮的深度模型，能够在实际应用中满足对人类情绪识别的需要。基于脑电的情绪识别算法的优势在于：利用基于注意力机制和域判别模型的长短时记忆网络学习不同脑电通道对于情绪分类的非线性关系，并且能够动态地选择有利于情绪分类的脑电特征；域判别器的使用能够减少由于脑电不稳定特性以及环境变化带来的脑电特征之间的差异性，使基于脑电的情绪模型能够更加适应实际的应用环境。
1、脑电数据特征提取
在基于多通道脑电数据的情绪识别领域，脑电数据的传统特征主要包括时域(time domain)特征、频域(frequency domain)特征和时频域(time-frequency domain)特征。另外，由于情绪信息还可以反映在脑区的不对称性上面，所以空间域(space domain)特征也被逐渐应用在基于脑电的情绪识别任务中。时域特征在基于脑电的情绪识别任务中是最直观的特征，因为目前来看大多数的脑电采集设备都是以时域形式对脑电数据进行采集的。常用的时域特征包括，信号统计量、事件相关电位、Hjorth相关参数、分形维数特征和高阶交叉特征等。频域特征能够较好的显示脑电数据的频率信息，所以频域分析被引入到基于脑电的情绪识别任务中。在对脑电数据进行频域分析时首先要将原始的时域信号转换至频域获得频谱信息(信号能量在各个频段上的分布)，然后将频段(频段中包含频谱信息)分解为与人的心理活动联系密切的5个子频段δ，θ，α，β，γ，最后再分别从5个不同的子频段中提取与情绪分类有关的特征。通常情况下使用傅里叶变换(Fourier transfer，FT)对脑电数据进行时-频域的变换，一般情况下使用离散傅里叶变换(discrete Fourier transfer，DFT)对脑电数据进行时-频域变换处理，因为采集到的脑电数据为离散的脑电信号序列。常用的频域特征包括：功率、功率谱密度(PSD)、事件相关同步化(event relatedsynchronization，ERS)、事件相关去同步化(event related desynchronization，ERD)、高阶谱(higher order spectrum，HOS)、微分熵(differential entropy，DE)等。在将脑电数据由时域转换为频域时使用FT算法作用的范围是整个脑电信号的时域，缺乏局部化信息，所以引入了将时域和频域结合在一起的时频域特征。时频域特征能够很好的克服脑电信号的不平稳性对算法带来的影响，因为时频域特征提取时需要将脑电信号划分为若干个等长的时间窗，因此各时间窗内的子信号近似平稳，然后使用FT算法将其转化为一组频域特征。滑动时间窗在时间维度上滑动对脑电数据进行分割，不仅能够获得每一个切分窗口中子信号的频域信息，而且同时能够获得整个信号的时域信息。通常情况下使用短时傅里叶变换(short-time Fourier transform，STFT)、小波变换(wavelettransform，WT)和小波包变换(wavelet packet transform，WPT)等方法对脑电信号进行时频域信号变化和特征提取。
本发明使用STFT算法对脑电数据提取时频域特征。STFT算法使用等长的窗函数w(Δt)计算滑动窗口中脑电信号的傅里叶变换：
Figure BDA0002360741250000051
常见的窗函数包括三角波、方波和高斯函数等，本文使用的窗函数为默认的高斯函数。原始信号傅里叶变换的平方是信号的能量谱密度，能量谱密度描述了信号和时间序列的能量如何随频谱分布。众所周知，微分熵是特定频段上的能量谱密度的对数。所以，本发明使用上述得到的STFT变换后的时频域特征进一步获得脑电信号的频域特征。
本发明可采用一种或多种频域特征，但基于前人的研究DE特征是最适合完成情绪识别任务的特征(参考文献：Song T,Zheng W,Song P,et al.EEG emotion recognitionusing dynamical graph convolutional neural networks[J].IEEE Transactions onAffective Computing,2018.)，所以，在本发明中考虑到特征维度过大会影响分类任务的效率，本实施例只使用了DE特征。DE特征计算如下：
Figure BDA0002360741250000061
其中，p(x)表示连续信息的频谱密度函数，[a,b]表示脑电取值的区间，DE特征表征特定频带中的能量谱的对数。对于特定频带中的特定EEG信号x近似服从高斯分布N(μ,σ2)，则DE的计算可表示为：
Figure BDA0002360741250000062
因此利用时频域提取得到DE特征对脑电数据进行情绪分类既能克服脑电信号不稳定带来的影响，又可以获得脑电信号频域信息的同时也获得脑电信号的总体时域信息，更有利于基于脑电数据的情绪识别任务。
2、基于长短时记忆网络(LSTM)的脑电信号序列特征提取器
脑电数据是由多个通道组成的序列数据。一般情况下采集脑电数据的脑电帽上面有30个以上的电极位置，例如，32导的ESI NeuroScan System，所以不同电极之间的位置关系(即，脑电的空间特征)对于基于脑电数据的情绪识别任务至关重要。通常情况下，LSTM被用于时间序列数据，本发明将LSTM应用于脑电通道序列，学习多通道脑电信号之间的非线性关系，提取与情绪相关的高维脑电特征。本发明中LSTM的输入数据格式为dx*n,其中，dx(DE特征维度)为LSTM输入层的变量数，n(脑电通道数)为LSTM在时间维度上的步长，因此LSTM可以捕获不同脑电通道之间的非线性关系。
(ck,t,hk,t)＝LSTM(ck,t-1,hk,t-1,sk,t)
其中，记忆单元ck,t和隐层单元hk,t是第K个样本的第t个脑电通道在t-1个脑电通道ck,t-1,hk,t-1和输入样本sk,t基础上的函数值；最后，得到LSTM的隐层特征输出Hk＝[hk,1,hk,2,…,hk,n]，其中Hk为隐层特征向量。
3、基于注意力机制的自动编码器
多通道的脑电数据中，特定的通道可能有助于识别特定的情绪类别，因此基于注意力机制的自动编码器能够捕捉不同脑电通道与不同情绪类别之间的关系。基于注意力机制的自动编码器包括两部分：编码器和解码器。
(a)编码器
请参考图4，基于注意力机制的编码器捕获脑电通道与不同情感类别之间的关系，并且将脑电数据编码为能够有效表示情绪类别的向量,并将新形成的特征向量映射到一个能够指示该样本落入特定情感类别的概率。自动编码器的公式表示如下：
Figure BDA0002360741250000071
Figure BDA0002360741250000072
Figure BDA0002360741250000073
Figure BDA0002360741250000074
其中，hk,i是第K个样本中第i个脑电通道的隐层特征，wa,c是注意力层的第c个情绪类别的参数；
Figure BDA0002360741250000075
是每一个脑电通道关于第c个情绪类别的注意力权重，
Figure BDA0002360741250000076
是第K个样本所有脑电通道特征的加权向量和，该加权和有效地为特定的情绪类别c选择与该情绪类别相关的脑电通道。得到特征
Figure BDA0002360741250000077
之后，样本K被分类为情绪状态c的概率为，
Figure BDA0002360741250000078
其中，权重参数
Figure BDA0002360741250000079
和偏置参数
Figure BDA00023607412500000710
是可以通过反向学习进行优化的参数。
(b)解码器
解码器根据编码器输出的概率和基于注意力权重的加权向量和对脑电隐层特征重构。在解码阶段，通过将概率
Figure BDA00023607412500000711
与加权向量和
Figure BDA00023607412500000712
相乘获得输入样本的重建表示，
Figure BDA00023607412500000713
通过将自动编解码器执行m次(m是情感类别的数目)，我们得到针对关于不同情感类别的概率值，进而组成一个概率值向量，
Figure BDA00023607412500000714
概率值向量作为情绪分类的重要标准至关重要，因此，注意力机制可以帮助深度学习网络学习有利于情绪分类的判别特征，从而更准确地预测情感分类。
4、域判别器
由于脑电数据的不稳定特性以及环境变化使来自于不同被试的脑电数据或在不同时间下采集的脑电数据的分布之间存在一定的差异，这种数据差异导致在训练集上训练的模型不能很好的在测试集上泛化，进而影响模型的情绪识别精度。域判别器的目标是判断样本来自于源数据域还是目标数据域，所以在该过程中主要通过降低域判别器对不同领域的数据的分类能力更新脑电序列特征提取器的参数，使其能够提取到领域不变性的特征，来解决脑电训练数据(源数据域)和测试数据(目标数据域)之间的特征差异，请参考图5。本发明中将LSTM的隐层向量Hk拼接成向量dk作为域判别器(两层全连接网络)的输入。由于对域判别器的训练是为了使其损失函数最大，而模型总体的目标是损失函数最小，因此在将dk进行线性变换层和ReLu层激活以提取与域相关的特征
Figure BDA0002360741250000081
之前,使用梯度反转层(GRL)对dk进行处理。GRL的功能是更改梯度符号和在反向传播(BP)期间将梯度向后传递。因此，在模型整体参数更新方向上实现了反转。
Figure BDA0002360741250000082
Figure BDA0002360741250000083
其中，Wl，bl，Ws，bs是权重矩阵和偏移向量，
Figure BDA0002360741250000084
为领域判别器中最后一层全联接网络的输出经过softMax函数之后得到的特征，通过训练过程进行不断学习和优化。
5、基于注意力机制和域判别器的长短时记忆网络的训练和验证
进一步的，对上述基于多通道脑电数据的深度学习模型进行训练和验证。该模型的总体训练目标如下：
L(XR；θf,θa,θd)＝La(XS；θf,θa)-Ld(XR；θf,θd)
其中，XR＝[XS,XT]代表整个数据集所有的数据，XS是带有标签YS的训练数据，XT是不带标签的测试数据；θf、θa和θd分别是脑电序列特征提取器、基于注意力的自动编码器和域判别器的参数，La和Ld分别是基于注意力的自动编码器和域判别器的损失函数。另外，为了训练域判别器模型，将训练数据集分为源域数据和目标域数据。Ds＝{(Xs,Ys)}是源域数据集，DT＝{XT}是目标域数据。为了训练域判别器，设计二分类标签
Figure BDA0002360741250000085
其中
Figure BDA0002360741250000086
分别是源域数据(训练数据)和目标域数据(测试数据)的标签。
进一步的，通过以下方式对模型的总体目标函数进行优化：
Figure BDA0002360741250000087
Figure BDA0002360741250000088
进一步的，基于注意力的自动编码器的损失函数La的目标是最小化脑电特征重建误差，最大化预测为正确情绪标签的概率。损失函数La由概率目标函数J(θf,θa)和脑电特征重建目标函数U(θf,θa)组成，如下：
Figure BDA0002360741250000091
Figure BDA0002360741250000092
其中，yk是样本sk的真实标签，i是情绪类别的索引，当且仅当i＝yk时
Figure BDA0002360741250000093
否则，
Figure BDA0002360741250000094
概率目标函数J(θf,θa)能够优化模型更准确的进行情绪类别分类，脑电特征重建目标函数U(θf,θa)能够确保重建的脑电特征向量
Figure BDA0002360741250000095
与实例特征向量更相似。
进一步的，域判别器的损失函数如下：
Figure BDA0002360741250000096
其中，qk是域标签的one-hot编码，通过最大化Ld，脑电信号序列特征提取器能够提取领域不变性特征，由此就可以减少源域数据集(训练数据)和目标域数据集(测试数据)的特征分布差异。
进一步的，对基于注意力的自动编码器和域判别器迭代式训练，更新参数θf,θa通过最小化La和最大化Ld,另外，通过最小化Ld对θd进行更新。通过使用GRL将最小最大问题转化为最小化损失函数L＝La+(-Ld)。
进一步的，通过最小化损失函数L，脑电序列特征提取器能够提取有利于脑电情绪分类的特征。
进一步通过迭代自动编码器m(m是情绪类别数目)次生成Pk对脑电数据样本进行情绪分类。
下面以一实施例说明本发明。
1、选择带有特定情感的视频材料，让被试观看该视频材料以达到特定情绪诱发的目的，视频材料时间长度建议选择0～4min，脑电帽建议选择32导的ESI NeuroScanSystem，获取特定情绪状态下的脑电数据；
2、采用前面步骤1得到的脑电数据，首先将脑电数据采样率下采样到200Hz,然后使用1～75Hz的带通滤波器对脑电数据进行噪声去除，再使用傅里叶变换将原始时域信号转换至频域并将得到的频段划分为5个子频段δ(1～4Hz)，θ(4～8Hz)，α(8～12Hz)，β(13～30Hz)，γ(31～45Hz)；
3、采用前面步骤2中得到的5个子频段，在每一个频段中使用STFT算法提取每一个滑动窗口中的脑电信号的能量谱密度，然后在提取的能量谱密度基础上计算微分熵(DE)特征；
4、采用前面步骤3中得到的DE特征作为长短时记忆网络的输入，学习脑电通道之间的非线性关系，输出长短时记忆网络的隐层特征向量Hk,如附图3所示；
5、采用前面步骤4得到的隐层特征向量Hk作为基于注意力机制的自动编码器的输入，通过编码器和解码器两部分输出样本落入某一情绪类别的概率和该样本特征向量的重构向量，如附图3所示；
6、采用前面步骤4得到的隐层特征向量Hk作为域判别器的输入，通过减弱域判别器的二分类能力，约束长短时记忆网络提取领域无关性特征；
7、通过迭代基于注意力机制的自动编码器m(m代表情绪类别个数)次得到类别概率向量Pk对脑电数据样本的情绪状态类别进行分类。
以上对本发明所述的基于脑电的情绪识别算法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (10)

1.一种多通道脑电数据的情绪识别方法，其步骤包括：
1)将提取的一脑电数据的各通道频域特征送入一序列特征提取器，获取脑电数据的各通道隐层特征向量；
2)捕获各脑电通道与各情绪类别之间的关联，并将所述关联和隐层特征向量送入一自动编码器，得到所述脑电数据对应的各情感类别的概率值向量。
2.如权利要求1所述的方法，其特征在于，所述频域特征为功率特征、功率谱密度特征、事件相关同步化特征、事件相关去同步化特征、高阶谱特征或微分熵特征中的一个或多个。
3.如权利要求1所述的方法，其特征在于，所述序列特征提取器的结构为一长短时记忆网络。
4.如权利要求1所述的方法，其特征在于，注意力机制来捕获脑电通道与不同情感类别之间的关系。
5.如权利要求1所述的方法，其特征在于，所述自动编码器包括一编码器与一解码器；所述自动编码器的编码与解码步骤包括：
1)根据所述关联和隐层特征向量通进行编码，得到所述脑电数据被分类为各情绪类别的概率与所有通道隐层特征向量对各情绪类别的加权向量和；
2)将所述概率和所述加权向量进行解码，获取所述脑电数据对应的各情感类别的概率值向量。
6.如权利要求5所述的方法，其特征在于，编码次数与情绪类别的数量相同。
7.如权利要求1所述的方法，其特征在于，将隐层特征向量不仅输入所述自动编码器，同时还通过一域判别器。
8.如权利要求7所述的方法，其特征在于，采用迭代法将训练集脑电数据逐一进行情绪识别，通过计算最小自动编码器损失函数与最大化域判别器损失函数得到所述序列特征提取器的精确参数和所述自动编码器的精确参数，计算最小化域判别器损失函数得到所述域判别器的精确参数。
9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。
10.一种电子装置，包括存储器和处理器，其中存储器存储执行权利要求1-8中任一所述方法的程序。
CN202010020956.3A 2020-01-09 2020-01-09 一种多通道脑电数据的情绪识别方法及电子装置 Active CN111134666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020956.3A CN111134666B (zh) 2020-01-09 2020-01-09 一种多通道脑电数据的情绪识别方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020956.3A CN111134666B (zh) 2020-01-09 2020-01-09 一种多通道脑电数据的情绪识别方法及电子装置

Publications (2)

Publication Number Publication Date
CN111134666A true CN111134666A (zh) 2020-05-12
CN111134666B CN111134666B (zh) 2021-05-11

Family

ID=70524302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020956.3A Active CN111134666B (zh) 2020-01-09 2020-01-09 一种多通道脑电数据的情绪识别方法及电子装置

Country Status (1)

Country Link
CN (1) CN111134666B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111543988A (zh) * 2020-05-25 2020-08-18 五邑大学 一种自适应认知活动识别方法、装置及存储介质
CN111671421A (zh) * 2020-06-24 2020-09-18 安徽智趣小天使信息科技有限公司 一种基于脑电图的儿童需求感知方法
CN112084935A (zh) * 2020-09-08 2020-12-15 南京邮电大学 一种基于扩充高质量脑电样本的情绪识别方法
CN112232161A (zh) * 2020-09-30 2021-01-15 华中科技大学 一种基于肌电映射模型切换的复杂运动连续估计方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN112426161A (zh) * 2020-11-17 2021-03-02 浙江大学 一种基于领域自适应的时变脑电特征提取方法
CN112674782A (zh) * 2020-12-22 2021-04-20 北京航空航天大学 癫痫患者发作间期痫样电活动检测装置和方法
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN113288146A (zh) * 2021-05-26 2021-08-24 杭州电子科技大学 基于时-空-频联合特征的脑电情感分类方法
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN113647962A (zh) * 2021-08-20 2021-11-16 天津大学 基于深度学习集成模型的癫痫定位与发作预测方法
CN114209323A (zh) * 2022-01-21 2022-03-22 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114431867A (zh) * 2020-11-02 2022-05-06 北京机械设备研究所 一种脑电采集装置、脑电目标识别方法和装置
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN115644870A (zh) * 2022-10-21 2023-01-31 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN113842152B (zh) * 2021-09-28 2023-05-30 西交利物浦大学 脑电信号分类网络训练方法、分类方法、设备及存储介质
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN114209323B (zh) * 2022-01-21 2024-05-10 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN107479702A (zh) * 2017-08-04 2017-12-15 西南大学 一种使用脑电信号的人类情感优势度分类识别方法
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN109793528A (zh) * 2019-01-28 2019-05-24 华南理工大学 一种基于动态脑功能网络的情绪分类方法
CN109833031A (zh) * 2019-03-12 2019-06-04 西安交通大学 一种基于lstm利用多生理信号的自动睡眠分期方法
CN109948427A (zh) * 2019-01-24 2019-06-28 齐鲁工业大学 一种基于长短时记忆模型的意念识别方法
CN110070105A (zh) * 2019-03-25 2019-07-30 中国科学院自动化研究所 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统
KR20190130808A (ko) * 2018-05-15 2019-11-25 연세대학교 산학협력단 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법
CN110515456A (zh) * 2019-08-14 2019-11-29 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN107479702A (zh) * 2017-08-04 2017-12-15 西南大学 一种使用脑电信号的人类情感优势度分类识别方法
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
KR20190130808A (ko) * 2018-05-15 2019-11-25 연세대학교 산학협력단 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN109948427A (zh) * 2019-01-24 2019-06-28 齐鲁工业大学 一种基于长短时记忆模型的意念识别方法
CN109793528A (zh) * 2019-01-28 2019-05-24 华南理工大学 一种基于动态脑功能网络的情绪分类方法
CN109833031A (zh) * 2019-03-12 2019-06-04 西安交通大学 一种基于lstm利用多生理信号的自动睡眠分期方法
CN110070105A (zh) * 2019-03-25 2019-07-30 中国科学院自动化研究所 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110515456A (zh) * 2019-08-14 2019-11-29 东南大学 基于注意力机制的脑电信号情感判别方法及装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹晓明等: "人工智能视域下的学习参与度识别方法研究 ——基于一项多模态数据融合的深度学习实验分析", 《远程教育杂志》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111543988A (zh) * 2020-05-25 2020-08-18 五邑大学 一种自适应认知活动识别方法、装置及存储介质
CN111671421A (zh) * 2020-06-24 2020-09-18 安徽智趣小天使信息科技有限公司 一种基于脑电图的儿童需求感知方法
CN111671421B (zh) * 2020-06-24 2023-06-27 安徽智趣小天使信息科技有限公司 一种基于脑电图的儿童需求感知方法
CN112084935A (zh) * 2020-09-08 2020-12-15 南京邮电大学 一种基于扩充高质量脑电样本的情绪识别方法
CN112084935B (zh) * 2020-09-08 2022-07-26 南京邮电大学 一种基于扩充高质量脑电样本的情绪识别方法
CN112232161A (zh) * 2020-09-30 2021-01-15 华中科技大学 一种基于肌电映射模型切换的复杂运动连续估计方法
CN112232161B (zh) * 2020-09-30 2023-04-07 华中科技大学 一种基于肌电映射模型切换的复杂运动连续估计方法
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN114431867B (zh) * 2020-11-02 2024-05-10 北京机械设备研究所 一种脑电采集装置、脑电目标识别方法和装置
CN114431867A (zh) * 2020-11-02 2022-05-06 北京机械设备研究所 一种脑电采集装置、脑电目标识别方法和装置
CN112426161A (zh) * 2020-11-17 2021-03-02 浙江大学 一种基于领域自适应的时变脑电特征提取方法
CN112426161B (zh) * 2020-11-17 2021-09-07 浙江大学 一种基于领域自适应的时变脑电特征提取方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统
CN112674782A (zh) * 2020-12-22 2021-04-20 北京航空航天大学 癫痫患者发作间期痫样电活动检测装置和方法
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN113288146A (zh) * 2021-05-26 2021-08-24 杭州电子科技大学 基于时-空-频联合特征的脑电情感分类方法
CN113598774B (zh) * 2021-07-16 2022-07-15 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN113647962A (zh) * 2021-08-20 2021-11-16 天津大学 基于深度学习集成模型的癫痫定位与发作预测方法
CN113647962B (zh) * 2021-08-20 2023-09-22 天津大学 基于深度学习集成模型的癫痫定位与发作预测方法
CN113842152B (zh) * 2021-09-28 2023-05-30 西交利物浦大学 脑电信号分类网络训练方法、分类方法、设备及存储介质
CN114209323A (zh) * 2022-01-21 2022-03-22 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114209323B (zh) * 2022-01-21 2024-05-10 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114818786B (zh) * 2022-04-06 2024-03-01 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN115644870A (zh) * 2022-10-21 2023-01-31 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN115644870B (zh) * 2022-10-21 2024-03-08 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Also Published As

Publication number Publication date
CN111134666B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Abdullah et al. Multimodal emotion recognition using deep learning
Salama et al. EEG-based emotion recognition using 3D convolutional neural networks
CN113598774B (zh) 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN111209885A (zh) 一种手势信息处理方法、装置、电子设备及存储介质
CN112800998B (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
Bethge et al. EEG2Vec: Learning affective EEG representations via variational autoencoders
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Boloukian et al. Recognition of words from brain-generated signals of speech-impaired people: Application of autoencoders as a neural Turing machine controller in deep neural networks
Wang et al. Self-supervised EEG emotion recognition models based on CNN
Xie et al. WT feature based emotion recognition from multi-channel physiological signals with decision fusion
Paul et al. Deep learning and its importance for early signature of neuronal disorders
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Lee et al. Inter-subject contrastive learning for subject adaptive eeg-based visual recognition
Asaad Review on Deep Learning and Neural Network Implementation for Emotions Recognition
Khan et al. AT2GRU: A human emotion recognition model with mitigated device heterogeneity
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
Top Classification of eeg signals using transfer learning on convolutional neural networks via spectrogram
Liu et al. Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals.
Xu et al. Eeg signal classification and feature extraction methods based on deep learning: A review
Pandian et al. Effect of data preprocessing in the detection of epilepsy using machine learning techniques
Ali et al. A Unified Transformer-based Network for Multimodal Emotion Recognition
Zaway et al. Classification of EEG Signals using Deep Learning
Sweeney-Fanelli et al. Automated Emotion Recognition Employing Wearable ECG Sensor and Deep-Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant