CN112381008B - 一种基于并行序列通道映射网络的脑电情感识别方法 - Google Patents
一种基于并行序列通道映射网络的脑电情感识别方法 Download PDFInfo
- Publication number
- CN112381008B CN112381008B CN202011286440.XA CN202011286440A CN112381008B CN 112381008 B CN112381008 B CN 112381008B CN 202011286440 A CN202011286440 A CN 202011286440A CN 112381008 B CN112381008 B CN 112381008B
- Authority
- CN
- China
- Prior art keywords
- network
- signal
- electroencephalogram
- emotion
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 108091006146 Channels Proteins 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 25
- 230000008451 emotion Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 abstract description 11
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000002996 emotional effect Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000037007 arousal Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000003925 brain function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于并行序列通道映射网络的脑电情感识别方法，包括如下步骤：对受试者的EEG数据进行降采样、去除EOG伪影和噪声，获取预处理后的基线信号和情感信号；构建一基线滤波器，用于从基线信号中筛选出平稳基线信号，并从情感信号中减去平稳基线信号得到差异信号，作为网络的输入样本；采用在线增强数据的方式，在每一个训练批次中随机选择同类情感的样本，随机交换不定数量的对应通道上的数据；构建由时间流子网络、空间流子网络、融合分类块构成的脑电情感识别网络；根据所述脑电情感识别网络提取人类脑电特征，所述脑电特征包括时间和空间特征。本发明有效地解决了特征提取过程中时空信息不足和效率低下的问题。
Description
技术领域
本发明涉及脑电情感识别领域，尤其涉及一种基于并行序列通道映射网络的脑电情感识别方法。
背景技术
随着计算机科学的深入发展，越来越多的学者投入到情感研究领域中，试图让计算机能够像人类一样识别感情。以往的情感分析主要集中在面部表情和语音对话上。然而，无论是面部表情还是对话交流都可以由人类主观控制，为了获取对象准确的实时情感，生理信号就扮演了重要的角色。脑电图(EEG)、眼电图(EOG)、心电图(ECG)等生理信号是人体自发产生的，具有较强的不可伪造性。因此，生理信号在捕捉人类真实的情感状态方面更加客观可靠。
在所有生理信号中，脑电图信号直接来自于人脑，这意味着脑电图信号的变化可以直接反映人体的情感变化。脑电是人体中枢神经系统中神经元细胞的自发性、节律性电生理活动，脑电信号是大量神经元细胞群的同步活动在大脑皮层和头皮表面的整体反应，可以通过植入或外置电极记录得到。任何神经系统生理或病理性的改变引起的脑功能变化，都会影响神经元的电活动特性，进而反映为脑电信号的变化。许多研究也证实了情感状态与脑电信号在不同脑区之间的相关性。因此，对脑电信号进行深入处理与分析，对人们了解大脑工作机制，研究大脑功能，具有十分重要的意义。
目前，脑电情感识别研究主要涉及两个方面：基于手工提取特征的算法和基于深度学习(Deep Learning,DL)的算法。手工提取特征的算法主要基于信号处理领域中的时频分析，例如：微分熵和功率谱密度。此外，也有研究表明非线性动态特征可以提高脑电情感识别精度。然而，手工制作的特征通常是基于某个数据库设计的，仅在该数据库中表现较好，不具备良好的迁移能力。而且，手工构造的特征提取方法往往无法捕捉到深层次的抽象的脑电特征。
近年来，DL在图像分类、视频编码和视觉显著性检测等许多领域中显示出优异的性能。在脑电情感分类任务中，一些基于DL的方法在特征提取方面表现出很大的优势。具有代表性的就是卷积神经网络(Convolutional Neural Network,CNN)和递归神经网络(Recurrent Neural Network,RNN)算法。CNN可以捕获空间特征，但很难提取时间信息。RNN采用随时间推移的顺序处理，长期信息需要在进入当前单元之前按顺序遍历所有单元。这种结构容易导致梯度消失问题。衍生的长短期记忆(Long Short-Term Memory,LSTM)单元克服了这个问题，但更复杂的线性层需要大量的内存带宽来计算权重。尽管DL方法在脑电情感识别方面取得了很大的进展，但仍有许多问题需要解决。例如，现有的基于特征的DL方法对时间的连续性和电极的相关性信息关注较少。而且CNN-RNN混合网络作为目前提取时空特征的主流网络，在实时性能方面还有待检验。
发明内容
本发明提供了一种基于并行序列通道映射网络(Parallel Sequence-ChannelProjection Convolutional Neural Network，PSCP-Net)的脑电情感识别方法，本发明有效地解决了特征提取过程中时空信息不足和效率低下的问题，详见下文描述：
一种基于并行序列通道映射网络的脑电情感识别方法，所述方法包括：
对受试者的EEG数据进行降采样、去除EOG伪影和噪声，获取预处理后的基线信号和情感信号；
构建一基线滤波器，用于从基线信号中筛选出平稳基线信号，并从情感信号中减去平稳基线信号得到差异信号，作为网络的输入样本；
采用在线增强数据的方式，在每一个训练批次中随机选择同类情感的样本，随机交换不定数量的对应通道上的数据；
构建由时间流子网络、空间流子网络、融合分类块构成的脑电情感识别网络；
根据所述脑电情感识别网络提取人类脑电特征，所述脑电特征包括时间和空间特征。
其中，所述从基线信号中筛选出平稳基线信号具体为：
从第1条EEG通道中取出3秒基线信号，并转换为键值对(Key,Value)，Key用于记录采样点的初始排列顺序，Value用于记录采样点的值；
根据Value的值进行升序排列，并截取出中间的2秒键值对；根据Key的值对截取的键值对进行升序排列，恢复到原先的排列顺序，取出Value的值作为第1条通道的基线滤波信号F1，重复以上步骤得到平稳基线信号。
进一步地，所述在每一个训练批次中随机选择同类情感的样本具体为：
在同种情感中随机抽取2个样本并随机选取T对通道进行交换，重复上述步骤H/4或L/4次，保证每个batch中都至少保留一半的原生样本。
其中，所述时间流子网络由序列映射层、时间特征融合映射层、时间特征降维映射层组成，每层都采用长度同步的一维卷积核，卷积核的尺寸与当前层传入的序列长度相等，获得完整的上下文连续信息。
进一步地，所述空间流子网络由通道映射层、空间特征整合映射层、空间特征降维映射层组成，卷积核的尺寸与当前层传入的通道数量相等；采用当前卷积核同时处理各通道的脑电信号，且电极分布不需要转换为二维网格矩阵。
其中，所述融合分类块由三层全连接层和一层Softmax层组成，将时间流子网络和空间流子网络提取的特征连接成一个联合时空特征向量并进行分类。
本发明提供的技术方案的有益效果是：
1、本发明充分利用了多通道脑电信号的时间连续性和空间相关性特征，通过在每个通道上映射整个时间序列来提取时间连续性，在同一时间点映射所有通道来获取空间相关性；
2、本发明可以对脑电情感进行准确地识别，这确保了其可以用于技术实践中，如在人机交互中；机器理解人类的情感可以更好地服务人类，情感识别算法对人机交互的发展和应用有重要的价值。
附图说明
图1为一种基于并行序列通道映射网络的脑电情感识别方法的流程图；
图2为随机交换通道数据增强流程图；
图3为并行序列通道映射卷积神经网络(PSCP-Net)的结构示意图；
表1为不同模型在valence和arousal上的性能比较。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于并行序列通道映射网络的脑电情感识别方法，如图1所示，该方法包括以下步骤：
101：预处理
采样频率由512Hz降到128Hz，用ICA(独立成分分析)去除EOG伪影。采用4.0-45.0Hz的带通滤波器滤除噪声。每个受试者预处理后的EEG数据由40个试次和相应的标签组成。每个试次包含60秒的情绪信号和3秒的试验前基线信号。
102：基线滤波
本发明实施例提供了一个基线滤波器，该滤波器可以滤除波动较为剧烈的基线信号，保留平稳的基线信号用于基线移除(使用情感信号减去基线信号得到差异信号，作为网络输入)。
103：随机交换通道
采用在线增强数据的方式，在每一个训练批次(batch)中随机选择同类情感的样本，随机交换不定数量的对应通道上的数据。
104：模型结构
本发明实施例提出的PSCP-Net模型包含时间流(Temporal Stream,TS)子网络、空间流(Spatial Stream,SS)子网络、融合分类块三部分。两个子网络都分为四层，第一层进行特征映射，中间两层的卷积核数量依次递增以确保提取深度特征，最后一层采取少量的卷积核进行降维处理，加速全连接层的训练速度。模型结构如图3所示。
1)TS子网络：由序列映射层、时间特征融合映射层、时间特征降维映射层组成，每层都采用长度同步的一维卷积核，该卷积核的尺寸与该层传入的序列的长度相等，可以获得完全的上下文连续信息。
2)SS子网络：由通道映射层、空间特征整合映射层、空间特征降维映射层组成，卷积核的尺寸与该层传入的通道的数量相等。采用此种卷积核可以同时处理各通道的脑电信号，且电极分布不需要转换为二维网格矩阵。
3)融合分类块：由三层全连接层和一层Softmax层组成，将TS和SS子网络提取的特征连接成一个联合时空特征向量并进行分类。
105：技术应用
本发明实施例提出的脑电情感识别方法能够有效地提取人类脑电特征，准确地识别大脑情感状态。发本方法具有时间复杂度低，识别准确的优点，可以在实际中得到应用。应用范围包括：人机交互、疲劳检测和医疗护理等。这些应用可以极大的促进脑电情感相关研究的发展，具有重要的社会价值。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：基线滤波
对数据进行基线移除可以帮助网络更好地拟合。DEAP数据库(本领域技术人员所公知，本发明实施例对此不做赘述)每一个试次都包含3秒基线信号和60秒情感信号，32条EEG通道。模型采用情感信号与基线信号之间的差异信号代替情感信号作为输入。为了放大这种差异，设计了一个基线噪声滤波器来去除波动剧烈的基线信号，具体工作原理如下：
首先从第1条EEG通道中取出3秒基线信号，并转换为键值对(Key,Value)，Key用于记录采样点的初始排列顺序，Value用于记录采样点的值；然后，根据Value的值进行升序排列，并截取出中间的2秒键值对；最后，根据Key的值对截取的键值对进行升序排列，恢复到原先的排列顺序，取出Value的值作为第1条通道的基线滤波信号F1。对于32条EEG通道，重复以上步骤可以得到一个滤波后的基线向量(Filtered Baseline Vector,FBV)：
FBV＝[F1,F2,...,F32]T∈R32×256 (1)
其中，R为实数域，F2为第2条通道的基线滤波信号，以此类推，不做赘述。
将情感信号切分为与FBV尺寸相同的多个片段，分别减去FBV，再将这些片段组合为原先的尺寸，得到基线滤波后的差异信号。将差异信号以秒为单位切片，并对每个切片样本使用如下的Z-Score方程进行标准化：
其中，x表示非零元素，μ表示非零元素的均值，σ代表标准差，Z表示经过标准化后的元素。
202：随机交换通道的数据增强策略
当受试者面对相似的情感刺激时，会产生相似的脑电图信号。因此，本发明实施例提出一种随机交换通道策略来扩充训练集。在不改变全脑通道上EEG数据的前提下，通过随机交换同类情感样本间相应的EEG通道，扩展训练集。
为了保证交换后的样本和原始样本之间有足够的差异，交换通道的数量应该有一个下限(Lower Limit,LL)和一个上限(Upper Limit,UL)。经过实验得到在DEAP数据库中的取值在[13,22]之内最佳(具体视使用的数据库为准)。
使用在线增强的数据扩充方式，如图2所示，在每一个输入到网络中的batch中都包含High和Low两种情感，对其进行分类并分别统计两类的样本个数为H和L。从[LL,UL]中生成一个随机种子T表示交换通道的数量。在同种情感中随机抽取2个样本并随机选取T对通道进行交换。重复上述步骤H/4或L/4次，选择除以4作为阈值是为了保证每个batch中都至少保留一半的原生样本。
值得注意的是，由于受试者自身因素，不同受试者产生的脑电图信号相差较大。因此，所提出的数据扩充策略只能在同一受试者内部使用。
203：PSCP-Net模型架构及实施细节
本发明实施例设计的PSCP-Net网络由TS子网络、SS子网络和融合分类块组成。具体来说，TS和SS子网络构成一个并行的时空网络，分别通过序列映射层和通道映射层从脑电信号中提取时间和空间表示。利用融合分类块将并行网络生成的特征图矢量化为时空向量，并将其送入全连接层进行分类。图3是所提出的模型结构。
1)TS子网络
预处理后的EEG样本Sj＝[C1,C2,...,C32]T∈R32×128(j∈[1,batchSize])被输送到序列映射层去学习每一条通道上的时间连续性特征。序列映射层采用长度同步卷积核，其核大小等于送入该层的EEG序列的长度。
通过长度同步卷积核可以获得完全的上下文连续信息。在第一层，采用256个1×128的时间卷积核对每个序列进行映射，并在空间维度上沿一个步长移动。输出映射的形状通过转换层从32×1×256转换到32×256。
然后，分别使用512个1×256大小的时间卷积核和1024个1×512大小的时间卷积核来学习更高层次的时间表示。
最后，使用64个形状为1×1024大小的时间卷积核来减少输出在时间维上的长度。经过四层序列映射层后，输入样本Sj被分解为一个时间特征向量(Temporal FeatureVector,TFVj)：
TFVj＝Conv1D(Sj),TFVj∈R2048 (3)
2)SS子网络
样本Sj被转置为S'j＝[D1,D2,...,D128]T∈R128×32，送入到空间流子网络提取空间相关性特征。该子网络由四层通道映射层组成。每一个通道映射层也采用长度同步卷积核，其核大小等于每层输送的EEG通道的数量。采用长度同步卷积核可以同时处理各通道的脑电信号，且电极分布不需要转换为二维网格矩阵。在第一层，利用64个1×32大小的空间卷积滤波器对同一时间点上的所有通道进行映射，并在时间维度上沿一个步长移动。然后，分别采用128个1×64大小的空间卷积滤波器和256个1×128大小的空间卷积滤波器对空间表示进行整合。在最后一层中，使用16个形为1×256的空间卷积滤波器来减少空间维数上的输出长度。经过四层通道映射层后，输入样本S'j被展开为一个空间特征向量(SpatialFeature Vector,SFVj)：
SFVj＝Conv1D(S'j),SFVj∈R2048 (4)
3)融合分类模块
融合分类模块通过交叉验证调整参数，实现最终的情感分类。将展开的时间和空间特征向量连接为一个联合时空特征向量(Spatial-Temporal Feature Vector,S-TFVj)：
S-TFVj＝concat[SFVj,TFVj]∈R4096 (5)
然后，将S-TFVj送入到全连接层分类：
yj＝Softmax[FC(S-TFVj)],yj∈R2 (6)
4)回归
该网络是通过反向传播算法迭代训练的，经过一些训练周期后，即可得到训练模型。一个周期指的是来自训练集的每个样本都被训练一遍。模型优化的损失函数采用交叉熵目标函数，其表达式为：
其中，
和θ表示训练好的模型参数和当前模型的参数，n表示包含K类标签的训练样本数，pk是模型输出的第k次预测概率，δ表示指标函数，yj和lk分别表示预测标签和真实标签，α是权衡正则化权重。
5)实施细节
BN(Batch Normalization)层被利用在每个卷积层的后面，将输入映射成正态分布，并调整网络的最佳参数。在每个卷积层和全连层后面，插入ReLU(Rectified LinearUnit)层作为激活函数。采用权重为10-4的L2正则化策略，以克服过度拟合问题。使用学习率为10-4的Adam优化器最小化交叉熵损失函数。采用指数衰减算法，衰减率为0.997，以加快收敛速度。batchSize始终保持在32。将受试者的混合数据按7:3的比例分为训练集和测试集。以1000个训练周期(epoch)后10倍交叉验证的平均精度作为最终的分类准确率。
204：技术应用
本发明实施例可以在人机交互过程中检测情感线索和人的综合情感反应。情感分析作为人工智能发展的一个方向，在越来越多的领域发挥着重要的作用。现实中也已经应用到诸多产品中，比如：
1)在交通安全领域，长途火车司机、大巴车司机、火车、高铁驾驶员等经常需要熬夜工作，并且需要一直保持高度集中的状态。如果可以实时地感知驾驶员的情感状态，那么一旦出现意外状况，就可以做到提前提防，避免危险事故的发生。
2)在教师授课中，通过捕捉学生的情感状态可以判断学生的注意力是否转移、是否理解课堂知识、以及他们的兴趣爱好，进而让老师可以更好地了解每一个学生的情感状态等，从而提高教学质量。
情感识别是人机交互应用的基本要求，其研究具有重要的社会价值。
实施例3
下面结合具体的实验对实施例1和2中的方案进行可行性验证，详见下文描述：
本实验采用DEAP数据集的EEG数据进行分析。DEAP数据集由32名健康参与者(50％为女性)的数据组成，他们的平均年龄为26.9岁。每位受试者观看40段60秒长的音乐录影带。在每段视频的最后，会在1到9之间的一个连续表上对valence、arousal、dominance和liking的程度进行自我评估。本实验仅使用了valence和arousal的数据。每个视频包含60秒的情感信号和3秒的试验前基线信号。设置5作为阈值，根据评分将视频分为2类。然后将任务转化为两个二元分类问题，即高/低valence和高/低arousal。
如表1所示，该方法在valence和arousal上的平均准确度分别为96.16％和95.89％。其它7种比较方法的性能在72.1％和93.72％之间。结果表明，该方法优于其它7种方法。与其它方法相比，PSCP-Net采用序列映射和通道映射联合解码脑电信号的时空信息。此外，输入数据经BNF模块放大后特征更加明显，RCE数据增强策略保证了模型的健壮性。因此，该方法取得了良好的性能。
表1.不同方法在valence和arousal上的性能比较
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于并行序列通道映射网络的脑电情感识别方法，其特征在于，所述方法包括：
对受试者的EEG数据进行降采样、去除EOG伪影和噪声，获取预处理后的基线信号和情感信号；
构建一基线滤波器，用于从基线信号中筛选出平稳基线信号，并从情感信号中减去平稳基线信号得到差异信号，作为并行序列通道映射网络的输入样本；
采用在线增强数据的方式，在每一个训练批次中随机选择同类情感的样本，随机交换不定数量的对应通道上的数据；
构建由时间流子网络、空间流子网络、融合分类块构成的脑电情感识别网络；
根据所述脑电情感识别网络提取人类脑电特征，所述脑电特征包括时间和空间特征；
其中，所述时间流子网络由序列映射层、时间特征融合映射层、时间特征降维映射层组成，每层都采用长度同步的一维卷积核，卷积核的尺寸与当前层传入的序列长度相等，获得完整的上下文连续信息；
所述空间流子网络由通道映射层、空间特征整合映射层、空间特征降维映射层组成，卷积核的尺寸与当前层传入的通道数量相等；采用当前卷积核同时处理各通道的脑电信号，且电极分布不需要转换为二维网格矩阵；
所述时间流子网络、空间流子网络构成一个并行的时空网络，分别通过序列映射层和通道映射层从脑电信号中提取时间和空间表示，所述融合分类块由三层全连接层和一层Softmax层组成，将时间流子网络和空间流子网络提取的特征连接成一个联合时空特征向量并进行分类。
2.根据权利要求1所述的一种基于并行序列通道映射网络的脑电情感识别方法，其特征在于，所述从基线信号中筛选出平稳基线信号具体为：
从第1条EEG通道中取出3秒基线信号，并转换为键值对(Key,Value)，Key用于记录采样点的初始排列顺序，Value用于记录采样点的值；
根据Value的值进行升序排列，并截取出中间的2秒键值对；根据Key的值对截取的键值对进行升序排列，恢复到原先的排列顺序，取出Value的值作为第1条通道的基线滤波信号F1，重复以上步骤得到平稳基线信号。
3.根据权利要求1所述的一种基于并行序列通道映射网络的脑电情感识别方法，其特征在于，所述在每一个训练批次中随机选择同类情感的样本具体为：
在同种情感中随机抽取2个样本并随机选取T对通道进行交换，重复上述步骤H/4或L/4次，保证每个batch中都至少保留一半的原生样本；H为情感样本的个数，L为Low情感样本的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011286440.XA CN112381008B (zh) | 2020-11-17 | 2020-11-17 | 一种基于并行序列通道映射网络的脑电情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011286440.XA CN112381008B (zh) | 2020-11-17 | 2020-11-17 | 一种基于并行序列通道映射网络的脑电情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381008A CN112381008A (zh) | 2021-02-19 |
| CN112381008B true CN112381008B (zh) | 2022-04-29 |
Family
ID=74585772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011286440.XA Active CN112381008B (zh) | 2020-11-17 | 2020-11-17 | 一种基于并行序列通道映射网络的脑电情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381008B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113057652A (zh) * | 2021-03-17 | 2021-07-02 | 西安电子科技大学 | 基于脑电和深度学习的脑负荷检测方法 |
| CN113111855B (zh) * | 2021-04-30 | 2023-08-29 | 北京邮电大学 | 一种多模态情感识别方法、装置、电子设备及存储介质 |
| CN113288146A (zh) * | 2021-05-26 | 2021-08-24 | 杭州电子科技大学 | 基于时-空-频联合特征的脑电情感分类方法 |
| CN113537132B (zh) * | 2021-07-30 | 2022-12-02 | 西安电子科技大学 | 基于双流卷积神经网络的视觉疲劳检测方法 |
| CN113598794A (zh) * | 2021-08-12 | 2021-11-05 | 中南民族大学 | 一种冰毒成瘾者检测模型的训练方法和系统 |
| CN114224342B (zh) * | 2021-12-06 | 2023-12-15 | 南京航空航天大学 | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 |
| CN114424940A (zh) * | 2022-01-27 | 2022-05-03 | 山东师范大学 | 基于多模态时空特征融合的情绪识别方法及系统 |
| CN115844425B (zh) * | 2022-12-12 | 2024-05-17 | 天津大学 | 一种基于Transformer脑区时序分析的DRDS脑电信号识别方法 |
| CN116701917B (zh) * | 2023-07-28 | 2023-10-20 | 电子科技大学 | 一种基于生理信号的开放集情感识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105395197A (zh) * | 2015-12-03 | 2016-03-16 | 天津大学 | 旋转偏差对立体观看舒适度影响的脑电分析方法 |
| CN106713787A (zh) * | 2016-11-02 | 2017-05-24 | 天津大学 | 基于eeg对不同速度滚动字幕引起观看舒适度的评价方法 |
| CN108520535A (zh) * | 2018-03-26 | 2018-09-11 | 天津大学 | 基于深度恢复信息的物体分类方法 |
| CN110059565A (zh) * | 2019-03-20 | 2019-07-26 | 杭州电子科技大学 | 一种基于改进卷积神经网络的p300脑电信号识别方法 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及系统 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110781751A (zh) * | 2019-09-27 | 2020-02-11 | 杭州电子科技大学 | 基于跨连型卷积神经网络的情感脑电信号分类方法 |
| CN111012336A (zh) * | 2019-12-06 | 2020-04-17 | 重庆邮电大学 | 时空特征融合的并行卷积网络运动想象脑电图分类方法 |
| CN111126263A (zh) * | 2019-12-24 | 2020-05-08 | 东南大学 | 一种基于双半球差异性模型的脑电情感识别方法及装置 |
| CN111461204A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 一种用于游戏评估的基于脑电信号的情感识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109924990A (zh) * | 2019-03-27 | 2019-06-25 | 兰州大学 | 一种基于emd算法的脑电信号抑郁症识别系统 |
| CN110353675B (zh) * | 2019-08-14 | 2022-06-28 | 东南大学 | 基于图片生成的脑电信号情感识别方法及装置 |
-
2020
- 2020-11-17 CN CN202011286440.XA patent/CN112381008B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105395197A (zh) * | 2015-12-03 | 2016-03-16 | 天津大学 | 旋转偏差对立体观看舒适度影响的脑电分析方法 |
| CN106713787A (zh) * | 2016-11-02 | 2017-05-24 | 天津大学 | 基于eeg对不同速度滚动字幕引起观看舒适度的评价方法 |
| CN108520535A (zh) * | 2018-03-26 | 2018-09-11 | 天津大学 | 基于深度恢复信息的物体分类方法 |
| CN110059565A (zh) * | 2019-03-20 | 2019-07-26 | 杭州电子科技大学 | 一种基于改进卷积神经网络的p300脑电信号识别方法 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及系统 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110781751A (zh) * | 2019-09-27 | 2020-02-11 | 杭州电子科技大学 | 基于跨连型卷积神经网络的情感脑电信号分类方法 |
| CN111012336A (zh) * | 2019-12-06 | 2020-04-17 | 重庆邮电大学 | 时空特征融合的并行卷积网络运动想象脑电图分类方法 |
| CN111126263A (zh) * | 2019-12-24 | 2020-05-08 | 东南大学 | 一种基于双半球差异性模型的脑电情感识别方法及装置 |
| CN111461204A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 一种用于游戏评估的基于脑电信号的情感识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Emotion recognition from multi-channel EEG through parallel convolutional recurrent neural network;Y.Yang,Q;《Proc. Int. Joint Conf. Neural Netw. (IJCNN)》;20180731;论文全文 * |
| GCRNN: Group-constrained convolutional recurrent neural network;S.Lin;《IEEE Trans. Neural Netw. Learn. Syst》;20181031;论文全文 * |
| 基于EEG的情绪信息特征及其分类方法研究;成敏敏;《中国优秀博硕士学位论文全文数据库(博士)哲学与人文科学辑》;20170915;论文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381008A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
| CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
| Esfahani et al. | Using brain–computer interfaces to detect human satisfaction in human–robot interaction | |
| CN111832416A (zh) | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 | |
| CN112450947B (zh) | 一种针对情绪唤醒度的动态脑网络分析方法 | |
| CN114947883B (zh) | 一种时频域信息融合的深度学习脑电降噪方法 | |
| CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
| CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
| CN116842361A (zh) | 基于时频注意力混合深度网络的癫痫脑电信号识别方法 | |
| CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
| CN115659207A (zh) | 一种脑电情绪识别方法及系统 | |
| Sartipi et al. | A hybrid end-to-end spatio-temporal attention neural network with graph-smooth signals for EEG emotion recognition | |
| CN117612710A (zh) | 一种基于脑电信号和人工智能分类的医疗诊断辅助系统 | |
| CN113974627A (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
| CN117150397A (zh) | 基于多分支样本选择的跨被试脑电情绪识别方法及系统 | |
| CN114469137B (zh) | 基于空时特征融合模型的跨领域脑电情感识别方法及系统 | |
| CN113974625B (zh) | 一种基于脑机跨模态迁移的情绪识别方法 | |
| CN116369945A (zh) | 基于4d脉冲神经网络的脑电认知识别方法 | |
| CN115844425A (zh) | 一种基于Transformer脑区时序分析的DRDS脑电信号识别方法 | |
| CN115444420A (zh) | 一种基于CCNN和stacked-BiLSTM的网络情绪识别方法 | |
| Wang et al. | Residual learning attention cnn for motion intention recognition based on eeg data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |