CN117332317A - 一种注意力残差网络结合lstm的eeg情绪识别方法 - Google Patents
一种注意力残差网络结合lstm的eeg情绪识别方法 Download PDFInfo
- Publication number
- CN117332317A CN117332317A CN202311372795.4A CN202311372795A CN117332317A CN 117332317 A CN117332317 A CN 117332317A CN 202311372795 A CN202311372795 A CN 202311372795A CN 117332317 A CN117332317 A CN 117332317A
- Authority
- CN
- China
- Prior art keywords
- module
- lstm
- network
- eca
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013480 data collection Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 16
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000006735 deficit Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及情感识别技术领域，且公开了一种注意力残差网络结合LSTM的EEG情绪识别方法，包括数据收集读取模块、网络模型读取运算模块以及数据试验模块，网络模型包括有三个模块，分别为ECA模块、ECA‑ResNet模块和LSTM模块。该注意力残差网络结合LSTM的EEG情绪识别方法通过将残差网络与注意力机制结合起来，有效的提取出了脑电信号中频率、空间，维度中与脑电信号中情绪识别相关的深度信息，然后将所提取到的深度信息通过LSTM，网络提取其中的时间维度信息，并进行最终的分类，在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15％和96.13％，唤醒－效价维四分类准确率达到了95.96％，SEED数据集积极－中性－消极三分类准确率达到96.64％。
Description
技术领域
本发明涉及情感识别技术领域，具体为一种注意力残差网络结合LSTM的EEG情绪识别方法。
背景技术
近年来，由于情感识别在人机交互、疾病评估、驾驶疲劳检测和心理压力评估等方面的广泛应用得到了研究者们越来越多的关注，情感识别方法的研究可分为两大类，一类是基于非生理信号的研究，例如面部表情和言语语音，另一类是基于生理信号的研究。
现有技术在进行情绪识别时，是通过只考虑提取脑电信号中的时域、频域或者时频域等浅层特征，这些浅层特征并没有足够的判别信息去进行情感识别，目前该领域大多数的研究仅仅只局限于提取一个维度特征的深度信息，并没有考虑将多个维度的特征进行融合，且目前大多数的研究均忽略了注意力在人类感知能力中起着重要的作用，所以市面上的上效价维与唤醒维分类准确率存在较大误差。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种注意力残差网络结合LSTM的EEG情绪识别方法，具备识别率大大提升等优点，解决了上述技术问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种注意力残差网络结合LSTM的EEG情绪识别方法，包括数据收集读取模块、网络模型读取运算模块以及数据试验模块；
所述数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成N段，通过公式对特征值h(X)的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维矩阵进行堆叠，生成三维特征矩阵，之后根据N段原始脑电信号进行对应生成四维特征矩阵R，将每个输入的样本Sn存储到四维特征矩阵RN*d*h*w中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；
所述网络模型读取运算模块通过建立网络模型，网络模型包括有三个模块，分别为ECA模块、ECA-ResNet模块和LSTM模块，所述ECA模块通过使用一种不降维的局部跨信道交互策略，来计算局部跨信道交互的覆盖率k，根据公式计算出注意力权重P2，所述ECA-ResNet模块将残差网络结构通过输入的样本Sn得出输出样本Qn，所述LSTM模块结合数据收集读取模块中的四维特征矩阵RN*d*h*w以及ECA-ResNet模块中的输出样本Qn计算对应时间段脑电信号中的时空以及频率信息，并将数据发送到数据试验模块中；
所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析，并对分析结果附带上预测标签。
作为本发明的优选技术方案，所述数据收集读取模块提取DEA公共数据集中的原始脑电信号进行提取并将提取出来的DE特征分成N段。
作为本发明的优选技术方案，之后对每一个DE特征的微分熵计算公式如下：
公式中f(x)表示X的概率密度函数，所述f(x)在固定频段内其分布为高斯分布满足(μ，σ2)，计算公式如下：
公式中e表示的时间序列的欧拉常数，σi 2表示时间序列的标准差，μ表示期望值。
作为本发明的优选技术方案，所述数据收集读取模块将外部设备的电信号微分熵特征矢量转化为紧凑的2D图，之后将其一一映射二维空间中，并形成高为h，宽为w的二维特征图，并结合频带特征d构件三维特征矩阵，将每个频带的读取时间设置为T，结合RN*d*h*w，N＝1，2，3...2T，得出每个脑电段可表示为Sn∈R2T*d*h*w。
作为本发明的优选技术方案，所述网络模型读取运算模块进行读取运算的时候包括以下步骤：
步骤一、网络输入，输入提取每段脑电信号微分熵的四维特征图；
步骤二、频空信息提取，使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息；
步骤三、时间信息提取，使用LSTM网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息；
步骤四、使用全连接层进行最终情绪状态的分类。
作为本发明的优选技术方案，所述ECA模块中局部跨信道交互地覆盖率k的计算公式如下：
公式中|t|odd表示最接近t的奇数，C表示输入通道数，通道数C的值为4，γ表示的频段对应频率值，γ值设置有2，b的值设置为1。
作为本发明的优选技术方案，所述ECA模块的内部网络输入信号Pn∈RC*d*h*w，其中C、d、h、w分别代表四维特征图中的通道、频段、宽度、高度，通过去除时间和空间维度来对初始通道权值进行计算，计算公式如下：
其中，Fave，a表示初始通道权值第a个频率下的特征均值，Pa(C，w，h)表示输入信号在第a个频率的特征矩阵中第C个通道内高为h宽为w的值；
所述ECA模块计算注意力权重P2计算公式如下：
P2＝σ(f(Fave))
其中f表示的是一维卷积运算，σ为Sigmoid运算，Fave表示对初始通道中所有的频率进行卷积。
作为本发明的优选技术方案，所述ECA-ResNet模块在卷积层之后添加最大池化层包括有四个带有注意力机制的残差块，一个最大池化层以及一个全连接层，将输入的样本Sn转化最终输出Qn∈R512*2T，其中Qn＝(q1，q2，q3...q2T)，qt∈R512。
作为本发明的优选技术方案，所述LSTM模块的时间信息通过ECA-ResNet模块进行隐藏，LSTM模块层间的计算公式如下；
it＝σ(Wi*[ht-1，qt]+bi)
ft＝σ(Wf*[ht-1，qt]+bf)
gt＝tanh(Wc*[ht-1，qt]+bc)
Ct＝ftCt-1+itgt
ot＝σ(Wo*[ht-1，qt]+bo)
ht＝ottanh(Ct)
其中t为当前时间标号，σ为Sigmoid函数，i，f，g，c，o，h分别代表着输入门，遗忘门，单元状态，激活状态，输出层以及单元隐藏状态，W表示其对应的权重矩阵，b为偏执项，对于最后一层LSTM模块节点输出为yt∈R128。
作为本发明的优选技术方案，所述数据试验模块计算公式如下：
其中TP表示真实标签为正类，并且模型预测也为正类，TN表示真实标签为负类，并且模型预测标签也为负类，FN表示真实标签为正类，但模型预测标签为负类，FP表示真实标签为负类，但是模型预测标签为正类。
与现有技术相比，本发明提供了一种注意力残差网络结合LSTM的EEG情绪识别方法，具备以下有益效果：
1、本发明通过将残差网络与注意力机制结合起来，有效的提取出了脑电信号中频率、空间，维度中与脑电信号中情绪识别相关的深度信息，然后将所提取到的深度信息通过LSTM，网络提取其中的时间维度信息，并进行最终的分类，在DEAP数据集唤醒维和效价维二分类准确率分别达到了97.15％和96.13％，唤醒-效价维四分类准确率达到了95.96％，SEED数据集积极-中性-消极三分类准确率达到96.64％。
2、本发明通过增加注意力机制的ECA-ResNet以及增加长短时记忆网络的ECA-ResNet-LSTM模型在DEAP数据集唤醒维、效价维、唤醒-效价维以及SEED数据集积极-中性-消极识别准确率取得了一定的提升。
附图说明
图1为本发明ECA-ResNet-LSTM情绪识别流程图；
图2为本发明四维特征结构示意图；
图3为本发明导联电极节点映射二维图示意图；
图4为本发明ECA-ResNet-LSTM网络模型示意图；
图5为本发明ECA模块注意力机制示意图；
图6为本发明结构残差结构示意图；
图7为本发明ECA-ResNet模型示意图；
图8为本发明LSTM提取时间维度特征示意图；
图9为本发明脑电情感识别准确率示意图；
图10为本发明模型在唤醒－效价维混淆矩阵示意图；
图11为本发明模型在唤醒维混淆矩阵示意图；
图12为本发明模型在效价维混淆矩示意图；
图13为本发明模型积极－中性－消极维混淆矩阵示意图；
图14为本发明模型在唤醒－效价维实验结果示意图；
图15为本发明模型在唤醒维实验结果示意图；
图16本发明模型在效价维实验结果示意图；
图17为本发明模型在积极－中性－消极维实验结果示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种注意力残差网络结合LSTM的EEG情绪识别方法，包括数据收集读取模块、网络模型读取运算模块以及数据试验模块；
所述数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成N段，通过公式对特征值h(X)的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维矩阵进行堆叠，生成三维特征矩阵，之后根据N段原始脑电信号进行对应生成四维特征矩阵R，将每个输入的样本Sn存储到四维特征矩阵RN*d*h*w中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；
所述网络模型读取运算模块通过建立网络模型，网络模型包括有三个模块，分别为ECA模块、ECA-ResNet模块和LSTM(长短时记忆网络)模块，所述ECA模块通过使用一种不降维的局部跨信道交互策略，来计算局部跨信道交互的覆盖率k，根据公式计算出注意力权重P2，所述ECA-ResNet模块将残差网络结构通过输入的样本Sn得出输出样本Qn，所述LSTM模块结合数据收集读取模块中的四维特征矩阵RN*d*h*w以及ECA-ResNet模块中的输出样本Qn计算对应时间段脑电信号中的时空以及频率信息，并将数据发送到数据试验模块中；
所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析，并对分析结果附带上预测标签。
DEAP数据集是由SandersKoelstra等人利用情绪维度建立的多模态情感公共数据集，该数据集通过让32名被试者在观看40段音乐视频片段后记录其脑电信号以及其他外周生理信号，在记录被试者脑电信号时，被试者需佩戴符合10-20国际标准的32导联电极帽，以128Hz的频率对脑电信号进行降采样，当被试者观看完40段1分钟时长的音频后，还需要被试者以浮点数的形式(数值范围1-9)，在效价(Valence)、唤醒(Arousal)、优势(Dominance)以及喜欢(Liking)四个维度对其进行自我打分，本文采用的实验数据为将原始脑电信号降采样到128Hz后进行4-45Hz带通滤波且去除眼电及其他非脑电信号后的数据。
请参阅图1和图2，人类的脑电信号通常包含四个频带的信息，包括θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-45Hz)，其反应不同情绪特征，因此在数据预处理阶段首先将原始的脑电信号分为N段等长的信号，然后对每段信号使用带，通滤波的方式将其分解到对应的各个频段中。同时已有研究表明DE特征在情感识别领域具有较好的识别性能，因此，本文对每段信号在每个频段上分别计其0.5s时间窗DE特征h(X)，其微分熵表达式如下：其中f(x)在固定频段内其分布为高斯分布满足(μ，σ2)，可得出/>公式中e表示的时间序列的欧拉常数，σi 2表示时间序列的标准差，μ表示期望值，按照图3(a)中给出的脑电电极空间坐标将原始电极位置映射到二维空间中，并构造出一个9x9的二维矩阵，其中未放置电极的位置使用零补充，得到图3(b)，然后我们将不同频带的二维微分熵特征图堆叠到一起，得到4x9x9的三维特征矩阵，该矩阵包含了脑电信号的空间以及频率信息，以及不同频带之间的互补信息，由于原始的脑电信号被等分为N段，分别对已分好的脑电段进行上述处理，到一个大小为N×4×9×9的四维特征，至此每个脑电段都可表示为RN*d*h*w，其中h，w分别表示二维特征图的高和宽，在本文中其值分别为9，9；d表示频带的个数，在本文中其值为4；2T表示时间切片的2倍，因为本文中采用的时间窗大小，为0.5s，同时已有研究表明3s的时间切片可获得较好的分类准确率，因此本文中T＝3，2T＝6，即N＝6，从而得出每个脑电段可表示为Sn∈R2T*d*h*w。
请参阅图4，网络模型读取运算模块(ECA-ResNet-LSTM网络模型)分成三个部分ECA模块、ECA-ResNet模块和LSTM模块，进行读取运算的时候包括以下步骤：
步骤一、网络输入，输入提取每段脑电信号微分熵的四维特征图；
步骤二、频空信息提取，使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息；
步骤三、时间信息提取，使用LSTM网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息；
步骤四、使用全连接层进行最终情绪状态的分类。
进一步的，请参阅图5，ECA(Efficient Channel Attention)模型使用一种不降维的局部跨信道交互策略，该策略通过一维卷积有效地实现。同时提出一种自适应选择一维卷积核大小的方法，以确定局部跨信道交互地覆盖率，
公式中|t|odd表示最接近t的奇数，C表示输入通道数，通道数C的值为4，γ表示的频段对应频率值，γ值设置有2，b的值设置为1，显然通过非线性映射ψ，高纬度的通道有更长的交互作用，相应的，低维度通道再经过非线性映射后进行更短的交互作用，假设输入信号Pn∈RC*d*h*w，其中C、d、h、w分别代表四维特征图中的通道、频段、宽度、高度，先采用全局平均池化去除时间和空间维度，得到1×1×C初始通道权值；然后通过卷积计算部分通道权值，融合为全部通道关联信息的输出特征；最后再经过Sigmoid函数映射为注意力权重P2，具体过程如下：P2＝σ(f(Fave))，其中 Fave，a表示初始通道权值第a个频率下的特征均值，f表示的是一维卷积运算，σ为Sigmoid运算，Pa(C，w，h)表示输入信号在第a个频率的特征矩阵中第C个通道内高为h宽为w的值。
请参阅图6，ECA-ResNet模块即注意力残差网络，在最后一个卷积层后面添加了最大池化层。这部分网络结构包含四个带有注意力机制残差块，一个最大池化层以及一个全连接层。如图7(a)展示了ECA-ResNet模型，每个带有注意力机制残差块(ECA-ResidualBlock)的内部结构如图7(b)所示，当输入的样本Sn经过ECA-ResNet网络模型提取了其中频、空深度信息并通过全连接层得到最终输出Qn∈R512*2T。
请参阅图8，对于每段时间切片数据Sn∈R2T*d*h*w，N＝1，2，3...2T，其经过ECA-ResNet模型得到的输出为Qn∈R512*2T，对于ECA-ResNet模块输出序列Qn＝(q1，q2，q3...q2T)，qt∈R512，使用两层具有128个存储单元的LSTM网络提取其间隐藏的时间信息，LSTM模块层间的计算公式如下；
it＝σ(Wi*[ht-1，qt]+bi)
ft＝σ(Wf*[ht-1，qt]+bf)
gt＝tanh(Wc*[ht-1，qt]+bc)
Ct＝ftCt-1+itgt
ot＝σ(Wo*[ht-1，qt]+bo)
ht＝ottanh(Ct)
其中t为当前时间标号，σ为Sigmoid函数，i*，f*，g*，C*，o*，h*分别代表着输入门，遗忘门，单元状态，激活状态，输出层以及单元隐藏状态，例如，it表示的是输入门在t时间下的值，ft表示的是遗忘门在t时间下的值，Ct表示的是激活状态在t时间下的值，W*表示其对应i，f，g，c，o，h的权重矩阵，例如，Wi表示的是输入门的权重矩阵，表示的是对应单元隐藏状态在输出层上的权重矩阵，[ht-1，qt]表示的单元隐藏状态h在前置位的时间单位上的值和输出值构成的矩阵，b为偏执项，对于最后一层LSTM模块节点输出为yt∈R128，其中R128表示的是特征矩阵中对应yt的范围，tanh()表示双曲正切函数的缩写。
所有实验使用相同的软硬件环境、实验数据集划分、参数设置。该模型在硬件设备最低为戴尔笔记本电脑，处理器(CPU)为英特尔Corei5-13400@2.50GHz，显卡为NvidiaGeForceRTX3080软件环境为Windows10操作系统，Python3.9编程语言环境以及Pytorch1.10.1深度学习框架的条件下实现。对于提出的ECA-ResNet-LSTM网络，采用最小化交叉熵和L2正则项作为最终的损失函数，Adam作为优化器。在训练过程中，学习率和batchsize分别设置为0.0001和128。同时为了防止模型训练过程中的过拟合现象，设置Dropout值为0.3。此外，本文研究受试者内情绪识别分类任务，同时为了防止信息泄露等问题，对每位被试者使用分块化十折交叉验证，将每个被试划分为10个区块，取9个区块作为训练样本，1个区块作为测试样本，重复9次实验，选取样本平均准确率最高值。
本文在DEAP数据集与SEED数据集上分别进行消融试验，通过比较相继去除某个模块后的分类效果来验证模型中所使用相应模块的有效性。主要包括ResNet网络模型、添加注意力机制的ECAResNet网络模型以及结合长短时记忆网络的ECAResNet-LSTM网络模型三种情况。图9展示上述三种情况下的EEG情感识别性能，图14-17展示了三种模型在DEAP数据集唤醒-效价维、唤醒维、效价维以及SEED数据集积极、消极、中性分类实验中所得到的准确率、精确率、召回率以及F1 Score，
其中TP表示真实标签为正类，并且模型预测也为正类，TN表示真实标签为负类，并且模型预测标签也为负类，FN表示真实标签为正类，但模型预测标签为负类，FP表示真实标签为负类，但是模型预测标签为正类，F1 Score表示预测计算终值。
请参阅图9，增加注意力机制的ECA-ResNet以及增加长短时记忆网络的ECA-ResNet-LSTM模型在DEAP数据集唤醒维、效价维、唤醒-效价维以及SEED数据集积极-中性-消极识别准确率取得了一定(2.43％、2.31％、1.49％、2.23％)的提升，在唤醒维，ECA-ResNetLSTM、ECA-ResNet、ResNet识别准确率分别为：97.15％、96.36％、94.72％，ECA-ResNet-LSTM模型相较ResNet模型在唤醒维取得了2.43％的提升，在效价维，ECA-ResNet-LSTM、ECA-ResNet、ResNet识别准确率分别为：96.13％、94.34％、93.82％，ECA-ResNet-LSTM模型相较ResNet模型在效价维取得了2.31％的提升，在唤醒-效价维，ECA-ResNet-LSTM、ECA-ResNet、ResNet识别准确率分别为：95.96％、95.04％、94.47％，ECAResNet-LSTM模型相较ResNet模型在效价维取得了1.49％的提升，在SEED数据集积极一中性一消极三分类任务中，ECA-ResNet-LSTM、ECA-ResNet、ResNet识别准确率分别为：96.64％、96.32％、94.14％，ECA-ResNet-LSTM模型相较ResNet模型在效价维取得了2.23％的提升。
图14-17为模型在DEAP数据集唤醒－效价维、唤醒维、效价维以及SEED数据集积极－中性－消极进行实验后得到的准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及综合评价指标F1Score，表2表示模型在唤醒－效价维取得的实验结果，ECA-ResNet-LSTM模型所获得的上述四个指标值分别为95.96％，95.77％，95.96％，95.88％，表3表示模型在唤醒维取得的实验结果，ECA-ResNet-LSTM模型所获得的上述四个指标值分别为97.15％，97.02％，97.20％，97.09％，表4表示模型在效价维取得的实验结果，ECA-ResNet-LSTM模型所获得的上述四个指标值分别为96.13％，95.77％，95.98％，96.01％，表5表示模型在SEED数据集积极－中性－消极维取得的实验结果，ECA-ResNet-LSTM模型所获得的上述四个指标值分别为96.64％，96.52％，96.58％，96.62％。
图10－图13表示不同模型在DEAP数据集唤醒－效价维、唤醒维、效价维，SEED数据集积极－消极－中性维度进行实验后得到的混淆矩阵，(a)表示模型ECA-ResNet-LSTM在当前维度实验得到的混淆矩阵、(b)表示模型ECA-ResNet在当前维度实验得到的混淆矩阵、(c)表示模型ResNet在当前维度实验得到的混淆矩阵，根据实验结果表明，所提出的ECA-RseNet-LSTM网络模型在DEAP数据集唤醒－效价四分类，唤醒、效价二分类以及SEED数据集积极－消极－中性实验中都表现出不错的效果
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：包括数据收集读取模块、网络模型读取运算模块以及数据试验模块；
所述数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成N段，通过公式对特征值h(X)的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维特征图进行堆叠，生成三维特征矩阵，之后根据N段原始脑电信号进行对应生成四维特征矩阵R，将每个输入的样本Sn存储到四维特征矩阵RN*d*h*w中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；
所述网络模型读取运算模块通过建立网络模型，网络模型包括有三个模块，分别为ECA模块、ECA-ResNet模块和LSTM模块，所述ECA模块通过使用一种不降维的局部跨信道交互策略，来计算局部跨信道交互的覆盖率k，根据公式计算出注意力权重P2，所述ECA-ResNet模块将残差网络结构通过输入的样本Sn得出输出样本Qn，所述LSTM模块结合数据收集读取模块中的四维特征矩阵RN*d*h*w以及ECA-ResNet模块中的输出样本Qn计算对应时间段脑电信号中的时空以及频率信息，并将数据发送到数据试验模块中；
所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析，并对分析结果附带上预测标签。
2.根据权利要求1所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述数据收集读取模块提取DEAP公共数据集中的原始脑电信号进行提取并将提取出来的DE特征分成N段。
3.根据权利要求2所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述DE特征的微分熵计算公式如下：
公式中f(x)表示X的概率密度函数，所述f(x)在固定频段内其分布为高斯分布满足(μ，σ2)，计算公式如下：
公式中e表示的时间序列的欧拉常数，σi 2表示时间序列的标准差，μ表示期望值。
4.根据权利要求3所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述数据收集读取模块将外部设备的电信号微分熵特征矢量转化为紧凑的2D图，之后将其一一映射二维空间中，并形成高为h，宽为w的二维特征图，并结合频带特征d构件三维特征矩阵，将每个频带的读取时间设置为T，结合RN*d*h*w，N＝1,2,3…2T，得出每个脑电段可表示为Sn∈R2T*d*h*w。
5.根据权利要求1所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述网络模型读取运算模块进行读取运算的时候包括以下步骤：
步骤一、网络输入，输入提取每段脑电信号微分熵的四维特征图；
步骤二、频空信息提取，使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息；
步骤三、时间信息提取，使用LSTM网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息；
步骤四、使用全连接层进行最终情绪状态的分类。
6.根据权利要求5所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述ECA模块中局部跨信道交互地覆盖率k的计算公式如下：
公式中|t|odd表示最接近t的奇数，C表示输入通道数，通道数C的值为4，γ表示的频段对应频率值，γ值设置有2，b的值设置为1。
7.根据权利要求6所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述ECA模块的内部网络输入信号Pn∈RC*d*h*w，其中C、d、h、w分别代表四维特征图中的通道、频段、宽度、高度，通过去除时间和空间维度来对初始通道权值进行计算，计算公式如下：
其中，Fave,a表示初始通道权值第a个频率下的特征均值，Pa(C,w,h)表示输入信号在第a个频率的特征矩阵中第C个通道内高为h，宽为w对应的值；
所述ECA模块计算注意力权重P2计算公式如下：
P2＝σ(f(Fave))
其中f表示的是一维卷积运算，σ为Sigmoid运算，Fave表示对初始通道中所有的频率进行卷积。
8.根据权利要求7所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述ECA-ResNet模块在卷积层之后添加最大池化层包括有四个带有注意力机制的残差块，一个最大池化层以及一个全连接层，将输入的样本Sn转化最终输出Qn∈R512*2T，其中Qn＝(q1,q2,q3…q2T)，qt∈R512，t为当前时间标号。
9.根据权利要求8所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述LSTM模块的时间信息通过ECA-ResNet模块进行隐藏，LSTM模块层间的计算公式如下；
it＝σ(Wi*[ht-1,qt]+bi)
ft＝σ(Wf*[ht-1,qt]+bf)
gt＝tanh(Wc*[ht-1,qt]+bc)
Ct＝ftCt-1+itgt
ot＝σ(Wo*[ht-1,qt]+bo)
ht＝ottanh(Ct)
其中t为当前时间标号，σ为Sigmoid函数，i,f,g,C,o,h分别代表着输入门，遗忘门，单元状态，激活状态，输出层以及单元隐藏状态，W表示不同下标对应的权重矩阵，b为偏执项，对于最后一层LSTM模块节点输出为yt∈R128，tanh()表示双曲正切函数的缩写。
10.根据权利要求1所述的一种注意力残差网络结合LSTM的EEG情绪识别方法，其特征在于：所述数据试验模块计算公式如下：
其中TP表示真实标签为正类，并且模型预测也为正类，TN表示真实标签为负类，并且模型预测标签也为负类，FN表示真实标签为正类，但模型预测标签为负类，FP表示真实标签为负类，但是模型预测标签为正类，F1Score表示预测计算终值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311372795.4A CN117332317B (zh) | 2023-10-23 | 2023-10-23 | 一种注意力残差网络结合lstm的eeg情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311372795.4A CN117332317B (zh) | 2023-10-23 | 2023-10-23 | 一种注意力残差网络结合lstm的eeg情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117332317A true CN117332317A (zh) | 2024-01-02 |
| CN117332317B CN117332317B (zh) | 2024-04-19 |
Family
ID=89275412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311372795.4A Active CN117332317B (zh) | 2023-10-23 | 2023-10-23 | 一种注意力残差网络结合lstm的eeg情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117332317B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| KR102275436B1 (ko) * | 2020-01-20 | 2021-07-09 | 인하대학교 산학협력단 | 실시간 감정인식을 위한 영상 및 eeg 신호의 융합 기술 |
| KR20220050758A (ko) * | 2020-10-16 | 2022-04-25 | 현대자동차주식회사 | 다차원 어텐션 메커니즘에 기반한 다방향 장면 텍스트 인식 방법 및 시스템 |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
| CN115422973A (zh) * | 2022-09-02 | 2022-12-02 | 南通大学 | 一种基于注意力的时空网络的脑电情绪识别方法 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
-
2023
- 2023-10-23 CN CN202311372795.4A patent/CN117332317B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
| KR102275436B1 (ko) * | 2020-01-20 | 2021-07-09 | 인하대학교 산학협력단 | 실시간 감정인식을 위한 영상 및 eeg 신호의 융합 기술 |
| KR20220050758A (ko) * | 2020-10-16 | 2022-04-25 | 현대자동차주식회사 | 다차원 어텐션 메커니즘에 기반한 다방향 장면 텍스트 인식 방법 및 시스템 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
| CN115422973A (zh) * | 2022-09-02 | 2022-12-02 | 南通大学 | 一种基于注意力的时空网络的脑电情绪识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 尹旺;李惠媛;: "深度学习在脑电情感识别方面的应用研究进展", 计算机时代, no. 08, 15 August 2020 (2020-08-15) * |
| 张新生;高腾;: "多头注意力记忆网络的对象级情感分类", 模式识别与人工智能, no. 11, 15 November 2019 (2019-11-15) * |
| 李文强: "基于EEG的情感识别研究", 《万方数据库》, 20 January 2021 (2021-01-20) * |
| 杨豪;张俊然;蒋小梅;刘飞;: "基于深度信念网络脑电信号表征情绪状态的识别研究", 生物医学工程学杂志, no. 02, 25 April 2018 (2018-04-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117332317B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111134666A (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN111210846B (zh) | 基于集成流形降维的帕金森语音识别系统 | |
| CN111832416A (zh) | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 | |
| CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| CN115238835B (zh) | 基于双空间自适应融合的脑电情感识别方法、介质及设备 | |
| CN112990008B (zh) | 基于三维特征图和卷积神经网络的情绪识别方法及系统 | |
| Lee et al. | CTGAN VS TGAN? Which one is more suitable for generating synthetic EEG data | |
| CN116189681B (zh) | 一种智能语音交互系统及方法 | |
| CN114093501A (zh) | 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法 | |
| CN114366124A (zh) | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 | |
| CN114299082A (zh) | 一种新冠肺炎ct图像分割方法、装置及存储介质 | |
| CN114662547A (zh) | 基于脑电信号的mscrnn情绪识别方法及装置 | |
| Lu et al. | Speech depression recognition based on attentional residual network | |
| Cai et al. | TDCA-Net: Time-Domain Channel Attention Network for Depression Detection. | |
| CN111584069A (zh) | 基于语音深-浅特征堆栈稀疏自动编码的精神病识别系统 | |
| CN115659207A (zh) | 一种脑电情绪识别方法及系统 | |
| CN114169364A (zh) | 一种基于时空图模型的脑电情感识别方法 | |
| CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
| CN117332317B (zh) | 一种注意力残差网络结合lstm的eeg情绪识别方法 | |
| CN116049743B (zh) | 基于多模态数据的认知识别方法、计算机设备和存储介质 | |
| CN115170942B (zh) | 一种声音与视觉多级融合的鱼类行为识别方法 | |
| CN115444431A (zh) | 一种基于互信息驱动下的脑电情绪分类模型生成方法 | |
| Nakisa | Emotion classification using advanced machine learning techniques applied to wearable physiological signals data | |
| Rocchesso et al. | Organizing a sonic space through vocal imitations | |
| Vakkantula | Speech Mode Classification using the Fusion of CNNs and LSTM Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |