CN113598774A - 基于多通道脑电数据的积极情绪多标签分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置，包括：利用切分窗格的形式，使用大小为n秒的窗格得到脑电数据的时‑频域特征；获取脑电数据在时间序列上的隐层特征向量；捕获脑电数据在时序上与多标签情绪类别之间的关联；依据所述关联和隐层特征向量，得到脑电特征表示；利用图卷积神经网络学习各积极情绪词之间的关联关系；利用脑电特征表示与图卷积神经网络输出之间的点乘结果，得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征，可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。

Description

基于多通道脑电数据的积极情绪多标签分类方法及装置

技术领域

本发明属于情感识别领域，具体涉及一种基于多通道脑电数据的积极情绪多标签分类方法及装置。

背景技术

“只有在神秘的爱的方程式中，才能找到任何逻辑原因。”当约翰·纳什在诺贝尔颁奖典礼上对他的妻子吐露衷情时，我们都被电影《美丽心灵》中所讲述的故事中那种纯洁的爱、坚贞的陪伴以及对科学的尊重深深打动了。正如这个例子所示，电影创作的目的一部分是为了唤起观众的情感反应。电影中的情感表达，就像我们在现实生活中所做的一样，是通过语言和行动来传达的。正如谚语所说，“电影让我们眼花缭乱，娱乐我们，教育我们，让我们高兴”。

电影可以通过认知上的因果关系诱发情绪，例如，在认知上对不公正的欣赏往往会引起愤怒，而失去往往会导致悲伤。根据情绪管理的概念，几乎所有的电影选择都是为了愉悦或增加积极效果的结果。即使是恐怖电影也可以为了同样的目的而选择，比如享受从紧张中释放或解决的乐趣。电影可以给观众带来短期效应，并促进人们在行为和特征上的长期变化。根据弗雷德里克森的扩大和建立理论(参考文献：Barbara LFredrickson.2013.Positive emotions broaden and build.In Advances inExperimental Social Psychology.Vol.47.Elsevier,1–53.)，一个人的积极情绪可以成倍地上升，人类能够在困难时期将当前的积极情绪转化为未来需要的积极资源。所以积极情绪对人类生活有一定的积极作用。电影作为一种积极的媒体形式，不仅可以帮助确定我们的榜样和导师，还可以帮助提高性格的优势。电影所唤起的积极情绪可以激发人们对美好生活的追求，包括但不限于塑造自己的性格、强调自我接纳和提高当前的生活满意度。因此，探讨观众在观看电影时感受到的积极情绪和情感认知具有很大的现实意义。

在我们的研究中，由于积极情绪具有独特的认知功能，我们对其给予了关注。与消极情绪不同，积极情绪是高度相关的，很难将它们区分开来。电影，作为一种时间序列的多媒体内容，可以同时传达多种积极情绪。因此，传统的基于电影的多类单目标情绪分类模型过于简单，不适合我们的任务，因为一个电影片段通常会同时唤起一个以上的积极情绪，如图1所示。在本文中，我们通过将问题表述为多标签分类任务来分析电影诱发的积极情绪，即一个电影短片可以同时被划分为多个积极情绪类别，并提出一个新颖的算法来解决这个问题。

传统上，积极情绪与一种表情有关，即杜氏微笑，其特点是颧骨大肌和眼轮匝肌的活动增加(参考文献：Paul Ekman.1992.An argument for basic emotions.Cognition&Emotion 6,3-4(1992),169–200.)。然而，最近的研究表明，积极情绪不一定与微笑相关。Campos等人研究了八种积极情绪状态的表达模式，发现娱乐、快乐、满足、爱和自豪会导致不同强度的微笑，而敬畏和兴趣则不会导致微笑(参考文献：Belinda Campos,Michelle NShiota,Dacher Keltner,Gian C Gonzaga,and Jennifer L Goetz.2013.What isshared,what is different？Core relational themes and expressive displays ofeight positive emotions.Cognition&Emotion 27,1(2013),37–52)。因此，无论是通过观众的面部表情还是电影中人物的面部表情，都很难识别离散的积极情绪。近年来，一些研究试图解决离散的积极情绪反应是否可以通过相关的情绪反应进行区分的问题。一些研究表明，积极的情绪可以与生理活动的模式相关，而脑电图(EEG)信号已被证明可以有效识别离散的积极情绪。因此，我们从观看者的大脑活动中识别出电影所唤起的积极情绪。

目前，分析电影中的情感在情感计算中受到越来越多的关注，它在电影内容管理、教育、自动索引系统、电影在线评论和电影推荐系统中得到了广泛的应用。人们已经探索了各种方法来理解电影所唤起的情感。例如，为了分析一个视频片段对观众的情绪影响，使用全连接的神经网络来预测电影中每一秒钟的诱发价值和唤醒；另外，使用时间序列模型(LSTM)来预测情绪随电影情节推动的变化。多数关于电影情感分析的研究都只是基于多媒体内容特征(如图像和视频特征)，没有考虑观看者的生理信号。例如利用视听特征和电影语法描述符从电影的内涵属性来分析电影所引发的情感；基于视听特征的情感分析的方法来识别不同体裁的视频等。与基于多媒体内容特征的诱发情绪分析不同，通过记录观众的生理反应和其他生理活动信号来理解情绪反应与电影内容之间的关系同样得到越来越多的关注。研究人员已经探索了面部反应、面部肌电图(EMG)、EEG、瞳孔反应来评估观众对多媒体内容反应的参与程度。例如，结合生物识别传感和分析的方法，利用观众的皮肤电活动(EDA)数据来评估用户对视频的反应。目前的研究表明，分析观众对电影的情绪生理反应具有很大的实际意义。然而，到目前为止，在多媒体领域对电影的积极情绪分析的研究还很少。

通常使用的情绪模型存在两种：维度模型和离散模型。维度模型在一个二维或三维的连续空间中描述情绪状态，如经典的唤醒-价值模型或唤醒-价值-支配模型。离散模型使用有限数量的基本情绪来描述情绪状态。如果用维度模型来描述积极情绪，由于情绪高度相关，即在连续空间中的坐标非常接近并聚集在一个小区域内，所以很难将它们区分开来。因此，离散模型是描述积极情绪的首选。大多数经典的EEG情绪分类模型从一组标签中预测一个单一的情绪状态。在现实世界的场景中，很难诱发一个纯粹的情绪状态。此外，积极的情绪是相互的，通常在混合状态下被唤起。因此，需要多标签分类(即可以预测多种积极情绪同时发生)。

EEG信号通过连接在头皮上的电极直接捕捉大脑活动，可以真实地反映不同的情绪。此外，以高时间分辨率处理EEG信号是识别真实情绪的可靠方法。脑电特征提取在基于多通道脑电信哈的积极情绪识别中起着重要的作用。多种特征提取方法被应用在基于脑电信号的情绪识别领域，经常使用的脑电特征一般可分为三类:时域特征、频域特征和时频域特征。时域特征主要捕捉脑电信号的时间组织信息，具有代表性的时域脑电信号特征有Hjorth特征、分形维数特征和高阶交叉特征等。频域特征主要从频域的角度捕捉脑电信息。EEG信号中提取频域特征最常用的方式是首先将频段分解成几个子频段(例如,δ(1-3Hz),θ(4-7Hz),α(8-13Hz),β(14-30Hz)和γ(31-50Hz)),然后对子频段分别提取脑电特征。当前常用的脑电频域特征提取方法有傅立叶变换(FT)、功率谱密度(PSD)、小波变换(WT)和微分熵(DE)(参考文献：Alarcao S M,Fonseca M J.Emotions recognition using EEGsignals:A survey[J].IEEE Transactions on Affective Computing,2017.)。时频域特征同时捕获时域信息和频域信息，一般使用的方法是从滑动窗口分割的单位时间信号中提取频域信息，由于滑动窗口从时间维度上对脑电数据进行分割，所以也可以整体获得脑电数据的时域信息。基于时频域特征的脑电情绪识别研究取得了一定的成功。

目前，基于脑电的情绪识别算法被大量提出，其中深度学习模型取得了最先进的成果，例如，多模态残差LSTM(MM-ResLSTM)、基于空间-光谱-时间的注意力三维密集网络(spatial-spectral-temporal based attention 3D dense network)和深度置信网络(DBN)等。另一方面，积极情绪也通过分析包括EEG数据在内的生理信号得到了越来越多的关注。例如，考虑到使用EEG信号识别离散的积极情绪，Hu等人(参考文献：Xin Hu,JianwenYu,Mengdi Song,Chun Yu,Fei Wang,Pei Sun,Daifa Wang,and Dan Zhang.2017.EEGcorrelates of ten positive emotions.Frontiers in Human Neuroscience 11(2017),26.)使用EEG频谱功率来对离散的积极情绪进行分类，另外，他们进一步报告了使用功能性近红外光谱(fNIRS)信号可以识别离散的积极情绪。然而，没有研究使用深度学习模型来分析基于EEG信号的积极情绪。

电影所诱发的情绪一般情况在电影片段中会随着时间的推移而有所变化，加之脑电数据是时序信号在时间维度上存在一定的关系。所以本文采用双向长短时记忆网络(Bi-LSTM)学习脑电信号在时间维度上的时序关系提取情感特征。另外，多数情况下情绪爆发点往往会集中在一个时间区间中，所以我们使用注意力机制来学习时间维度上的显著性情感特征，注意力机制在许多应用取得了成功，包括图像理解、图像识别、机器翻译和自然语言处理等。在这些研究中，使用注意力机制来定位图像理解中的关键图像部分或集中在给定句子描述的图像正确区域，另外，在情感识别领域近几年注意力机制也得到了广泛的应用。

电影诱发的积极情绪类别之间存在一定的相关性。例如，情绪类别“敬畏(awe)”与“尊敬(respect)”经常会共同被诱发，“温柔(tenderness)”与“浪漫(romance)”经常被共同诱发。所以探讨积极情绪类别之间的相关性对于多标签情绪分类具有重要意义。按照经验，如果电影唤醒中的情绪类别“敬畏”程度较高，那么共现情绪类别“尊敬”的程度也应该较高。所以，我们选择使用图卷积神经网络(GCN)来学习积极情绪类别之间的相关性以用于指导多标签积极情绪分类任务。

发明内容

为解决上述问题，本发明的目的在于提供一种基于多通道脑电数据的积极情绪多标签分类方法及装置，将脑电特征学习模块(EEG Representation Learning Module)和基于图卷积神经网络的分类器学习模块(GCN-based Classifier Learning Module)引入到算法中，提出了一种高效提取脑电特征，完成多标签积极情绪分类的深度模型。该模型能够在脑电特征学习模块和图卷积神经网络分类器模块的协同工作下高效完成多标签积极情绪分类任务。由于脑电数据是一种具有良好时间分辨率的物理信号，并且脑电信号具有客观、不易伪装等特点,在情绪识别领域的应用广受关注，可以通过分析情绪刺激引起的即时脑部活动直接用于情绪识别。从脑电信号中提取与情绪关联大、区分能力强的特征,有助于后续的分类器更有效地识别不同情绪状态。

一种基于多通道脑电数据的积极情绪多标签分类方法，其步骤包括：

1)利用切分窗格的形式，使用大小为n秒的窗格得到脑电数据的时-频域特征，其中n≥1；

2)基于时-频域特征，计算隐层特征向量，并捕获脑电数据在时序维度上与不同情感类别之间的关联；

3)依据所述关联及隐层特征向量，得到脑电数据的脑电特征表示r；

4)对若干个代表情绪类别的积极情绪词进行编码，并将编码得到的情绪词特征作为图卷积神经网络的各顶点输入，获取图卷积神经网络的输出W,其中图卷积神经网络的边为数据集中各积极情绪词的共现率；

5)将脑电特征表示r与输出W进行点乘，并根据得到的点乘结果

获取脑电数据的积极情绪多标签分类结果。

进一步地，提取时-频域特征的方法包括：短时傅里叶变换、小波变换或小波包变换。

进一步地，所述频域特征包括功率特征、功率谱密度特征、事件相关同步化特征、事件相关去同步化特征、高阶谱特征或微分熵特征中的一种或多种。

进一步地，获取隐层特征向量的方法包括：使用双向长短时记忆网络。

进一步地，捕获所述关联的方法包括：使用注意力机制。

进一步地，对积极情绪词进行编码的方法包括：采用预训练好的GloVe词嵌入工具。

进一步地，通过以下步骤得到图卷积神经网络的邻接矩阵：

1)统计数据集中所有情绪类别出现的频率及各积极情绪词之间的共现频率，得到数据集情绪类别的共现矩阵；

2)对共现矩阵进行二值化处理，得到二值关联矩阵A；

3)通过设定阈值p，对二值关联矩阵A的元素值进行调整，得到邻接矩阵A′。

进一步地，通过以下步骤得到脑电数据的积极情绪多标签分类结果：

1)利用sigmoid函数处理点乘结果

得到多标签情绪类别的概率值向量

2)使用softmax函数处理概率值向量

得到每一情绪类别相应的概率；

3)根据所述概率，得到脑电数据的积极情绪多标签分类结果。

进一步地，利用一积极情绪多标签分类模型实现步骤2)-5)，其中积极情绪多标签分类模型采用端到端的训练，积极情绪多标签分类模型的损失函数

λ表示平衡参数，积极情绪多标签分类损失

多标签积极情绪分布损失

c表示情绪类别，σ(·)表示sigmoid函数，

表示第i个样本的标签预测，yⁱ 表示第i个样本的真实标签，

表示soft Max函数，d表示每一个积极情绪词嵌入向量的维度。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。

一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序。

综上，和现有技术相比，本发明具有的优点和积极效果如下：

1、本发明使用时间长度为20s的滑动窗口对脑电信号进行分割，并提取单位窗口长度的脑电信号的PSD特征作为深度模型的输入，精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。

2、本发明利用长短时记忆网络在脑电信号时间序列上学习脑电时序关联关系，并提取与情绪分类相关的高维脑电特征，该时序关联关系对电影诱发的情绪识别至关重要。

3、本发明在基于多通道脑电信号的多标签积极情绪分类深度模型中引用注意力机制，自动选择多通道脑电信号在时序上的关键信息，使得模型在学习与情绪相关的脑电特征时能够更集中在与情绪相关的时间区间，并进一步提取高维情感特征，高效地对电影诱发的多标签积极情绪进行多标签分类。

4、本发明突破性将图卷积网络引入到基于脑电的多标签情绪分类模型中，使用图卷积网络能够学习积极情绪之间的关联关系，并将情绪类别之间的关联关系直接映射到多标签情绪分类器中。通过图卷积网络从数据集中关于情绪类别的先验知识挖掘积极情绪类别之间的关系，能够有效提高基于脑电的电影诱发的多标签积极情绪的多分类任务结果。

附图说明

图1基于多通道脑电数据的电影诱发的多标签积极情绪识别算法流程图。

图2基于多通道脑电数据的电影诱发多标签积极情绪识别算法网络框架示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于脑电的情绪识别算法，但不构成对本发明的限制。

请参考图1、图2，本发明所提出的方法主要包括通过电影素材对特定情绪诱发、对多通道脑电数据的采集、对时序脑电数据的预处理、脑电特征提取、构建深度模型、利用图卷积神经网络学习情绪类别之间的关联关系、对多标签积极情绪分类等过程。本发明是通过对脑电数据的处理和分析，对电影诱发的观众的多种积极情绪进行多标签分类，在当今人机交互和人工智能大环境下尽可能构建一种健壮的深度模型，能够在实际应用中满足对观众多标签积极情绪识别的需要。基于脑电的电影诱发多标签积极情绪识别算法的优势在于：利用基于注意力的双向长短时记忆网络学习脑电数据在时间维度的关联关系，并且能够动态地选择有利于情绪分类的脑电特征；图卷积神经网络基于数据集中情绪类别之间的先验知识挖掘积极情绪之间的关联关系，并将情绪之间的关系直接映射到情绪分类器上。最终，采用端到端的训练方法训练模型，对多标签积极情绪进行预测的同时预测情绪的分布情况。

1、脑电数据特征提取

多通道脑电信号是时序信号，在情绪识别领域普遍使用的脑电特征为时域(timedomain)特征、频域(frequency domain)特征和时频域(time-frequency domain)特征。对脑电的收集一般采用电极位置大于30的脑电帽，并且不同电极对应大脑不同的分区分布在头皮上，所以空间域(space domain)特征也被逐渐应用在基于脑电的情绪识别任务中。在基于脑电的情绪识别领域时域特征是最直观的特征，因为目前来看大多数的脑电采集设备都是以时域形式对脑电数据进行采集的。常用的时域特征包括，信号统计量、事件相关电位、Hjorth相关参数、分形维数特征和高阶交叉特征等。频域特征能够较好的显示脑电数据的频率信息，并且相关研究表明脑电频域特征在情绪识别任务中发挥了重要的作用，所以频域分析被引入到基于脑电的情绪识别任务中。其中，对脑电进行频域特征提取首先需要将原始的时域信号转换至频域获得频谱信息(信号能量在各个频段上的分布)，然后将频段(频段中包含频谱信息)分解为与人的心理活动联系密切的5个子频段δ，θ，α，β，γ，最后再分别从5个不同的子频段中提取与情绪分类有关的特征。通常情况下使用傅里叶变换(Fourier transfer，FT)对脑电数据进行时-频域的变换，一般情况下使用离散傅里叶变换(discrete Fourier transfer，DFT)对脑电数据进行时-频域变换处理，因为采集到的脑电数据为离散的脑电信号序列。常用的频域特征包括：功率、功率谱密度(PSD)、事件相关同步化(event related synchronization，ERS)、事件相关去同步化(event relateddesynchronization，ERD)、高阶谱(higher order spectrum，HOS)、微分熵(differentialentropy，DE)等。在将脑电数据由时域转换为频域时使用FT算法作用的范围是整个脑电信号的时域，缺乏局部化信息，所以引入了将时域和频域结合在一起的时-频域特征。时-频域特征能够很好的克服脑电信号的不平稳性对算法带来的影响，因为时-频域特征提取时需要将脑电信号划分为若干个等长的时间窗，因此各时间窗内的子信号近似平稳，然后使用FT算法将其转化为一组频域特征。滑动时间窗在时间维度上滑动对脑电数据进行分割，不仅能够获得每一个切分窗口中子信号的频域信息，而且同时能够获得整个信号的时域信息。通常情况下使用短时傅里叶变换(short-time Fourier transform，STFT)、小波变换(wavelet transform，WT)和小波包变换(wavelet packet transform，WPT)等方法对脑电信号进行时频域信号变化和特征提取。

本发明使用STFT算法对脑电数据提取时-频域特征。STFT算法使用等长的窗函数w(Δt)计算滑动窗口中脑电信号的傅里叶变换：

常见的窗函数包括三角波、方波和高斯函数等，本文使用的窗函数为默认的高斯函数。原始信号傅里叶变换的平方是信号的能量谱密度，能量谱密度描述了信号和时间序列的能量如何随频谱分布。本发明使用上述得到的STFT变换后的时-频域特征进一步获得脑电信号的功率谱密度(PSD)。

功率谱密度是对随机变量均方值的量度，是单位频率的平均功率量纲。对功率谱在频域上积分就可以得到信号的平均功率。功率谱密度 S(f)是一个以频率f为自变量的映射，S(f)反映了在频率成分f上信号有多少功率。功率谱密度的估计方法有很多，总体来讲可以分为两大类：传统的非参数方法，和现代的参数方法。在本文中我们采用传统非参数方法对脑电信号进行PSD特征提取，我们借助MatLab中的pwelch函数，利用welch方法来求PSD，这也是最常用的方法。

因为脑电信号是一种非平稳的随机信号，一般而言随机信号的持续时间是无限长的，因此随机信号的总能量是无限的，尽管随机信号的总能量是无限的，但其平均功率却是有限的，因此使用PSD分析脑电信号的频域特性研究才有意义。所以利用时-频域提取得到PSD特征对脑电数据进行多标签积极情绪分类既能克服脑电信号不稳定带来的影响，又可以获得脑电信号频域信息的同时也获得脑电信号的总体时域信息，更有利于基于脑电数据的多标签积极情绪识别任务。

2、基于注意力机制的长短时记忆网络脑电时序特征提取模块

脑电数据是由多个通道组成的时序数据。一般情况下作为情绪诱发材料的电影片段时间在2分钟左右，所以针对一个电影片段的情绪诱发采集到的脑电数据的时间长度与电影时间长度保持一致。电影对观众情绪的诱发一般有两个特点，一是情绪会在时间维度上持续，并且不是单一情绪；二是情绪爆发往往集中在一个较小的时间片段内。所以学习脑电数据在时间维度上的关联关系对基于脑电数据的情绪识别任务至关重要。通常情况下，LSTM被用于时间序列数据，本发明将使用LSTM网络学习脑电数据时间维度上的关系，提取与情绪相关的高维脑电特征。本发明中LSTM的输入数据格式为d_x*T,其中，d_x(PSD特征维度)为LSTM输入层的变量数，T(时间序列长度)为LSTM在时间维度上的步长，因此LSTM可以捕获不同脑电通道之间的非线性关系。

(c_i,t,h_i,t)＝LSTM(c_i,t-1,h_i,t-1,s_i,t)

其中，记忆单元c_i,t和隐层单元h_i,t是第i个样本的第t时间在t-1时间c_i,t-1,h_i,t-1和输入样本s_i,t基础上的函数值；最后，得到LSTM的隐层特征输出H_i＝[h_i,1,h_i,2,…,h_i,T]，其中H_i为隐层特征向量。

在时序脑电信号中，电影诱发被试的情绪往往集中的某些较小的时间区间。因此注意力机制能够在时间维度上捕捉显著情感特征，因此上述隐藏层特征输出 H_i作为注意力层的输入。请参考图2，我们使用注意力机制在时间序列上学习重要的情感特征部分，注意力机制主要表示如下：

其中，h_i,t是第i个样本中第t时间的隐层特征，w_a ^c是注意力层的第c个情绪类别的参数；

是在每个时间关于第c个情绪类别的注意力权重，

是第i个样本所有脑电通道特征的加权向量和，该加权和有效地为特定的情绪类别c选择与该情绪类别相关的时间区间的情感特征。

3、基于图卷积神经网络的积极情绪关联关系学习

本发明中我们借助图卷积神经网络来学习一个相互依存的积极情绪分类器

其中c代表积极情绪类别数目。我们使用两层的图卷积模型搭建了一个情绪图

图的输入为E⁰∈ R^c×d，邻接矩阵为A＝R^c×c,c表示图的节点数目(积极情绪类别数目)，d表示每一个情绪词嵌入向量的维度。对于图卷积神经网络每一层输入为前一层的输出H^l，并且输出线的节点表示H^l+1。接下来我们借助图卷积网络的第一层为例，来讲解图卷积网络的训练过程。例如，图卷积网络中第一层表示为H¹＝R^c×d，通过卷积过程图中的每一个节点更新为H²＝R^c×d′。同样的道理，图中的第二层或者其他层都可以类似定义。

在一个图网络结构中，一般情况下每一层都被定义为一个非线性函数：

H^l+1＝f(H^l,A)

根据相关研究，卷积操作可以被表示为：

其中，W^l∈R^d×d′代表可以通过学习得到的传播矩阵，

是关联矩阵A的归一化形式。在本发明中φ(·)代表LeakyReLU非线性操作。

由于GCN的工作方式是在节点之间传播信息，因此建立关联矩阵A是一个关键问题。本发明中我们根据已有研究方法(参考文献：Zhao-Min Chen,Xiu-Shen Wei,PengWang,and Yanwen Guo.2019.Multi-label image recognition with graphconvolutional networks.In Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.5177–5186.)建立关联矩阵。其次，对于图网络的第一层输入矩阵为E⁰∈R^c×d,其中c＝9是积极情绪类别，d＝300是情绪词嵌入向量。两层卷积之后得到积极情绪相互依存的分类器W∈R^c×D，其中D＝2048是脑电特征维度。

具体来说，所述图卷积网络学习积极情绪的关联关系的步骤包括：

1)根据GloVe词嵌入工具将九种情绪词编码为长度为300的词向量，每一种情绪类别的词向量作为图卷积网络的一个节点输入；

2)统计数据集中所有的情绪类别出现的频率，并统计情绪词之间的共现频率。假设情绪类别“尊敬”记为e_i,情绪类别“敬畏”记为e_j，那么当情绪“敬畏”出现时，情绪“尊敬”的共现概率为P(e_i|e_j)。但是根据情绪共现的规律，P(e_i|e_j)≠P(e_j|e_i)，所以相关矩阵是非对称的。

3)将相关矩阵进行(0，1)二值化来解决情绪共现带来的噪声数据，设定阈值τ＝0.4，所以可以得到二值关联矩阵A，

4)对得到的二值相关矩阵A解决过平滑问题(over-smoothing problem)，设定阈值p＝0.2,对二值矩阵的元素值进行重新调整，得到重新调整后的关联矩阵A′,

5)将所述重新调整之后得到的关联矩阵作为图卷积神经网络的邻接矩阵

最后可以通过将脑电表示学习模块输出的脑电特征r和图卷积网络输出的积极情绪相互依存的分类器W点乘得到九种积极情绪的概率向量。

点乘运算之后得到一个长度为9的一维向量

将长度为9的一维向量通过sigmoid函数处理

并参与传统多标签分类损失函数计算，得到积极情绪多标签分类的损失。

其中，σ(·)表示sigmoid函数，

表示第i个样本的标签预测，yⁱ表示第i个样本的真实标签；同时经过softmax函数处理

得到9种积极情绪的概率，通过KL散度(theKullback-Leibler divergence loss)损失函数计算多标签积极情绪分布的损失。

其中，

表示soft Max函数；最后，对模型进行端到端训练，为了平衡两个损失函数设置平衡参数λ＝0.7，所以可以得到总的损失函数为：

4、基于多通道脑电数据的多标签积极情绪分类模型的训练和验证

进一步的，对上述基于多通道脑电数据的多标签积极情绪分类深度学习模型进行训练和验证。该模型的总体训练目标为：

其中，X_R代表整个数据集所有的样本数据，θ_f、θ_g分别是基于注意力机制的脑电表示学习模块、基于图卷积网络的分类器学习模块的参数。通过对脑电表示学习模块和基于图卷积神经网络的分类器学习模块的训练，更新参数θ_f、θ_g。

进一步地，通过最小化损失函数

更新参数θ_f，脑电表示学习模块能够提取有利于脑电情绪分类的特征。

进一步地，通过最小化损失函数

更新参数θ_g，基于图卷积神经网络的积极情绪分类器学习模块能够将情绪之间的关联关系直接映射到分类器上完成对多标签积极情绪的分类任务。

下面以一实施例说明本发明。

1、选择带有特定情感的电影片段，让被试观看该电影片段诱发被试的多种积极情绪，电影片段的时间长度在2min左右，脑电帽建议选择32导的ESI NeuroScan System，获取电影诱发情绪状态下的脑电数据；

2、采用前面步骤1得到的脑电数据，首先将脑电数据采样率下采样到200Hz，然后使用1～75Hz的带通滤波器对脑电数据进行噪声去除，再使用傅里叶变换将原始时域信号转换至频域并将得到的频段划分为5个子频段δ(1～4Hz)，θ(4～8Hz)，α(8～12Hz)，β(13～30Hz)，γ(31～45Hz)；

3、采用前面步骤2中得到的5个子频段，在每一个频段中使用STFT算法提取每一个滑动窗口中的脑电信号的能量谱密度，然后在提取的能量谱密度基础上采用传统非参数方法对脑电信号进行PSD特征提取，利用welch方法来求脑电的PSD特征。

4、采用前面步骤3中得到的PSD特征作为双向长短时记忆网络的输入，学习脑电时间维度上的非线性关系，输出长短时记忆网络的隐层特征向量H_i,如附图2所示；

5、采用前面步骤4得到的隐层特征向量H_i作为基于注意力层的输入，学习时间序列上显著的脑电特征，得到脑电特征表示r_i，如附图2所示；

6、采用预训练好的GloVe词嵌入工具对九种积极情绪词进行编码，得到长度为300的词向量，作为图网络的每一个节点输入，图网络结构的第一层输入可以表示为E⁰∈R^c×d；其中积极情绪词包括：Friendship(友谊),Romance(浪漫),Tenderness(温柔),Respect(尊敬),Pride(自豪),Awe(敬畏),Gratitude(感激),Amusement(愉悦)and Craving(渴望)。

7、统计数据集中所有的情绪类别出现的频率，并统计情绪词之间的共现频率，得到数据集情绪类别的共现矩阵。将共现矩阵进行(0，1)二值化处理来解决情绪共现带来的噪声数据，可以得到二值关联矩阵A；

8、采用前面步骤7得到地二值关联矩阵A，通过设定阈值p＝0.2,对二值矩阵的元素值进行重新调整来解决过平滑问题(over-smoothing problem)，得到重新调整后的关联矩阵A′。将所述重新调整之后得到的关联矩阵作为图卷积神经网络的邻接矩阵。

9、采用前面步骤8得到的邻接矩阵A和步骤6的到的图网络第一层的输入E⁰构建图网络模型；

10、通过两层图网络结构的构建，以及卷积过程得到九种积极情绪相互依存的情绪分类器W；通过将脑电特征表示r和W点乘可以得到9种情绪的概率向量

通过sigmoid函数对

的处理用于多标签积极情绪分类任务，同时通过softMax函数对

处理用于多标签情绪分布预测任务，两种任务联合训练。

实验数据

本发明所提出的方法与其他方法对比结果如下表所示。

表1.不同多标签分类算法结果对比

备注：“Average Rank”在每一栏的末尾计算，以显示整体表现，因为每个指标都是对某一方面的反映。“↓”表示越小越好，“↑”表示越大越好。

以上对本发明所述的基于多通道脑电的电影唤醒的多标签情绪分类算法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (10)

1.一种基于多通道脑电数据的积极情绪多标签分类方法，其步骤包括：

1)利用切分窗格的形式，使用大小为n秒的窗格得到脑电数据的时-频域特征，其中n≥1；

2)基于时-频域特征，计算隐层特征向量，并捕获脑电数据在时序维度上与不同情感类别之间的关联；

3)依据所述关联及隐层特征向量，得到脑电数据的脑电特征表示r；

4)对若干个代表情绪类别的积极情绪词进行编码，并将编码得到的情绪词特征作为图卷积神经网络的各顶点输入，获取图卷积神经网络的输出W,其中图卷积神经网络的边为数据集中各积极情绪词的共现率；

5)将脑电特征表示r与输出W进行点乘，并根据得到的点乘结果

获取脑电数据的积极情绪多标签分类结果。

2.如权利要求1所述的方法，其特征在于，提取时-频域特征的方法包括：短时傅里叶变换、小波变换或小波包变换。

3.如权利要求1所述的方法，其特征在于，所述频域特征包括功率特征、功率谱密度特征、事件相关同步化特征、事件相关去同步化特征、高阶谱特征或微分熵特征中的一种或多种。

4.如权利要求1所述的方法，其特征在于，获取隐层特征向量的方法包括：使用双向长短时记忆网络；捕获所述关联的方法包括：使用注意力机制。

5.如权利要求1所述的方法，其特征在于，对积极情绪词进行编码的方法包括：采用预训练好的GloVe词嵌入工具。

6.如权利要求1所述的方法，其特征在于，通过以下步骤得到图卷积神经网络的邻接矩阵：

1)统计数据集中所有情绪类别出现的频率及各积极情绪词之间的共现频率，得到数据集情绪类别的共现矩阵；

2)对共现矩阵进行二值化处理，得到二值关联矩阵A；

3)通过设定阈值p，对二值关联矩阵A的元素值进行调整，得到邻接矩阵A′。

7.如权利要求1所述的方法，其特征在于，通过以下步骤得到脑电数据的积极情绪多标签分类结果：

1)利用sigmoid函数处理点乘结果

得到多标签情绪类别的概率值向量

2)使用softmax函数处理概率值向量

得到每一情绪类别相应的概率；

3)根据所述概率，得到脑电数据的积极情绪多标签分类结果。

8.如权利要求1所述的方法，其特征在于，利用一积极情绪多标签分类模型实现步骤2)-5)，其中积极情绪多标签分类模型采用端到端的训练，积极情绪多标签分类模型的损失函数

λ表示平衡参数，积极情绪多标签分类损失

多标签积极情绪分布损失

c表示情绪类别，σ(·)表示sigmoid函数，

表示第i个样本的标签预测，yⁱ表示第i个样本的真实标签，

表示soft Max函数，d表示每一个积极情绪词嵌入向量的维度。

9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。

10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。

Images