CN114732409A - 一种基于脑电信号的情绪识别方法 - Google Patents
一种基于脑电信号的情绪识别方法 Download PDFInfo
- Publication number
- CN114732409A CN114732409A CN202210173928.4A CN202210173928A CN114732409A CN 114732409 A CN114732409 A CN 114732409A CN 202210173928 A CN202210173928 A CN 202210173928A CN 114732409 A CN114732409 A CN 114732409A
- Authority
- CN
- China
- Prior art keywords
- signals
- electroencephalogram
- phase
- graph
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 17
- 230000002123 temporal effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000002996 emotional effect Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 108091006146 Channels Proteins 0.000 description 21
- 210000004556 brain Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000037007 arousal Effects 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 206010062519 Poor quality sleep Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003304 psychophysiological effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Evolutionary Biology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
Abstract
本发明公开了一种基于脑电信号的情绪识别方法，通过对脑电信号预处理后，将连通性指标作为邻接矩阵，利用图卷积神经网络提取图特征；同时利用时间卷积神经网络提取脑电信号中所蕴含时间特征；进而将两者有效结合进行情绪分类。本方法将图卷积神经网络和时间卷积神经网络相结合，一方面将脑电信号建立为图模型，利用功能连通性指标作为图模型的邻接矩阵进行图卷积特征提取；另一方面利用时间卷积网络提取时间特征。将两个并行的网络提取的空间特征和时间特征相结合，使得模型对不同情绪有更好的识别能力。
Description
技术领域
本发明属于脑电信号识别领域，具体涉及一种基于脑电信号的情绪识别方法。
背景技术
情感识别方法可分为基于非生理信号(面部表情、言语和肢体动作)的方法和基于生理信号(皮肤电反应(GSR)、呼吸频率(RR)、心电图(ECG)和脑电图(EEG))的方法。非生理信号容易受到人的主观意识的影响和控制。相反，生理信号可以更客观、更可靠地捕捉人的真实情绪状态。与其他生理信号不同的是，脑电图(EEG)是从大脑皮层捕捉到的，各种心理生理学研究已经证明它与人类的情绪有关。此外，脑电设备较其他脑生理信号采集设备具有时间分辨率高、成本低、设备便携等优点。所以，基于脑电的情绪识别在近年来越来越受关注。
深度学习方法越来越广泛地应用于脑电信号以识别人的情绪状态。大多数的研究都利用深度学习从原始脑电信号中提取适合的特征进行情绪分类。然而，脑电信号通常易受外界因素，采集设备和受试者生理活动的影响，由此脑电数据包含了很多的噪声。因此，首先从脑电信号中提取有意义的信息再通过深度学习模型来学习是有好处的。虽然幅值或潜伏期的瞬间变化和频谱功率的瞬间变化一直被用来表征脑电信号，但最近出现了一些大脑连通性相关的特征，因为它们可以考虑不同脑区之间的关系。大脑连通性一直活跃在神经科学的研究领域。此外，最近的研究证实了大脑连通性特征在识别情绪状态方面的有效性。
近年来，人们提出了图形信号处理方法来有效地处理不规则结构的信号。它是将传统的数字信号处理技术扩展到不是在规则域(如时间和网格空间)上采样的信号，而是位于由顶点和边组成的图上。此外，还研究了图信号的深度学习，提出了图卷积神经网络结构。大脑信号是图信号的很好例子，因为图形适合表示不同大脑区域的物理或功能连接。然而将图信号处理技术和基于图信号的深度学习方法应用于脑信号尤其是脑电图(EEG)的建模研究却很少。
基于脑电的特征提取方法多种多样，但是大多数方法都各有千秋，并且模型的数学理论解释不充分。尽管模型的识别精度高，但是可解释性差。
发明内容
为了解决现有技术的不足，本发明旨在提供一种基于脑电信号的情绪识别方法，本方法将图卷积神经网络和时间卷积神经网络相结合，一方面将脑电信号建立为图模型，利用功能连通性特征作为图模型的邻接矩阵进行图卷积特征提取；另一方面利用时间卷积网络提取时间特征，将两个并行的网络提取的特征合并起来进行情绪识别。
为了实现上述目的，本发明采用的技术方案为：
一种基于脑电信号的情绪识别方法，包括以下步骤：1)脑电信号预处理：
11)在DEAP数据集中，按照国际10-20系统在采集的40个生理信号通道中，选择前32个通道为脑电信号的通道；
12)对所述脑电信号进行数据处理；
2)将三个连通性指标作为图卷积的邻接矩阵，将经过预处理的数据样本作为输入的样本，并利用图卷积神经网络提取图特征；
3)将经过预处理的脑电数据作为样本输入，利用时间卷积神经网络提取脑电信号中所蕴含的时间特征；
4)将图特征和时间特征相结合进行情绪分类。
其中，步骤1-2)具体包括：将所述脑电信号分成1秒长的一段，获得2400个数据样本用于训练神经网络；并用前3s的静默数据表示基本的情绪状态；为了去除基本情绪状态的影响，计算每个试验样本减去前3个1s数据的平均值，最后通过Z-score标准化得到最终预处理样本X∈R32×128。
步骤1-2)中将DEAP数据集中包含的基线信号作为参考信号，这些信号是在受试者没有受到音乐视频刺激时记录的。
步骤2)具体包括：
假设图数据有N个节点，每个节点都有自己的特征，设这些节点的特征组成一个N×D维的矩阵X，各个节点之间的关系会形成一个N×N维的矩阵A，作为邻接矩阵；则X和A便为模型的输入；
图卷积神经网络是一个神经网络层，它的层与层之间的传播方式是：
其中
表示邻接矩阵,IN为单位矩阵，
是
的度矩阵,H(l)∈RN×D是第l层的特征,W(l)为图卷积神经网络第l层的参数；对于输入层，H(0)＝X，σ是非线性激活函数；
使用皮尔逊相关系数、锁相值和相位滞后指数三个连通性指标作为图卷积的邻接矩阵，并分别对三个连通性指标进行计算；
所述皮尔逊相关系数计算包括：
皮尔逊相关系数测量两个信号之间的线性关系作为一个从-1到1的连续数，皮尔逊相关系数的值为-1和1时分别表示负线性关系和正线性关系，皮尔逊相关系数为0表示两个信号不相关；
用
表示第i个电极脑电数据；其中i＝1,2,…,32，T是信号长度；将皮尔逊相关系数的绝对值作为邻接矩阵，第i个通道和第k个通道的脑电信号Xi和Xk之间的皮尔逊相关系数表示为：
其中，μ和σ分别为对应通道脑电信号的均值和标准差；t表示时刻；
所述锁相值计算包括：
锁相值描述了两个信号之间的相位同步，锁相值的取值范围为0到1，锁相值为0表示两个信号是完全独立的，锁相值为1表示两个信号是完全同步的；其计算方法是将绝对相位差平均，如下所示：
其中，
是信号在t时刻的相位,j是虚数单位；
所述相位延迟指数计算包括：
相位延迟指数用来测量两个通道信号的相位同步程度，相位延迟指数的取值范围为0到1，值越大表示两个信号之间的相位同步程度越强；相位延迟指数对体积传导效应不敏感，但是其对噪声似乎比较敏感，具体表示为：
其中，sign是符号函数；
上述三个连通性度量矩阵分别作为图卷积的邻接矩阵，将经过预处理的样本X∈R32×128作为输入的样本，经过图卷积提取特征；用公式表示即：
fG＝EG(X，A)
其中fG表示图特征，EG(·)表示图特征提取函数，A为邻接矩阵；
输入全连接层，进一步提取特征，表示为：
fG＝FC(fG)∈R256×1
步骤3)的具体包括：
将经过预处理的脑电数据X∈R32×128作为样本输入，经过包含三个残差块的时间卷积网络提取脑电数据的时间特征，进而从输入数据中得到时间特征，整个时间特征提取器的过程描述为:
fT＝ET(X)∈R64×32
其中fT表示时间特征，ET(·)表示时间特征提取函数；
输入全连接层，进一步提取时间特征，表示为：
fT＝FC(fT)∈R256×1。
步骤4)具体步骤如下：
将图特征和时间特征连接起来作为最终的特征向量，向最终的特征向量送入一个包含20个神经元的全连接层，该过程描述为:
o＝FC(fG||fT)∈R1×20
其中||是将fG和fT连接在一起的连接操作；
然后进行线性变换：
y＝WoT+b＝[y1，y2]T∈R2×1
其中W和b是权重矩阵和偏置，2表示情绪分类的类别数；
最后，将y的元素输入到softmax函数中进行情感识别，可以描述为：
其中，P(c|X)是X属于第c类的概率，
表示预测结果。
本发明具有的有益效果为：
本发明提出一种基于脑电信号的情绪识别方法，对脑电数据进行有效的特征提取，提高情绪分类性能，最后讨论仅利用图卷积神经网络分类或仅利用时间卷积神经网络分类的结果对比，衡量所提出模型的有效性。本发明将图卷积神经网络和时间卷积神经网络相结合，一方面将脑电信号建立为图模型，利用连通性指标作为图模型的邻接矩阵进行图卷积特征提取；另一方面利用时间卷积网络提取时间特征。将两个并行的网络提取的特征合并起来进行情绪分类。
附图说明
图1为本发明在效价上的用三种邻接矩阵进行实验的精度箱图；
图2为本发明在唤醒度上的用三种邻接矩阵进行实验的精度箱图；
图3为本发明不同邻接矩阵下的平均准确率对比柱状图；
图4为本发明在效价上的三个模型的平均精度对比图；
图5为本发明在唤醒度上的三个模型的平均精度对比图；
图6为本发明模型框架图；
图7为本发明两个残差块组成的时间卷积网络框架图；
图8为本发明残差块的具体结构图。
具体实施方式
本发明提出了一种基于脑电信号的情绪识别方法，包括以下步骤：
步骤1)脑电信号预处理。
本发明所用到的数据集为DEAP数据集，该数据库是由Koelstra等人通过实验采集到的，用来研究人类情感状态的多通道数据，公开免费获取。该数据库是基于音乐视频材料诱发刺激下产生的生理信号，记录了32名受试者，观看40个一分钟音乐视频的生理信号和受试者对视频的效价,唤醒度,支配度,喜爱度的心理量表。官方提供了经过预处理的128Hz复采样数据，每个被试者的生理信号矩阵为40*40*8064(40首实验音乐，40导生理信号通道，8064个采样点)在采集的40个生理信号通道中，前32个通道采集的为脑电信号，脑电通道按照国际10-20系统选择32个通道的位置。
对脑电信号进行数据处理：
DEAP数据集包含基线信号，这些信号是在受试者没有受到音乐视频刺激时记录的。将这些基线信号可以作为参考信号，在没有任何刺激的情况下去除基本的情绪状态，从而可以提高情绪识别的准确性。
将每个音乐片段对应的脑电信号分成1秒长的一段，最终获得2400个数据样本用于训练神经网络，用前3s的静默数据表示基本的情绪状态。为了去除基本情绪状态的影响，计算每个试验样本减去前3个1s数据的平均值。最后通过Z-score标准化得到最终预处理样本X∈R32×128。
步骤2)将三个连通性指标作为图卷积的邻接矩阵，将经过预处理的数据样本作为输入的样本，并利用图卷积神经网络提取特征。
图的结构一般来说是十分不规则的，可以认为是无限维的一种数据，所以它没有平移不变性。每一个节点的周围结构可能都是独一无二的，这种结构的数据就让传统CNN、RNN瞬间失效，所以就出现了图卷积神经网络(GCN)。图卷积神经网络(GCN)实际上跟CNN的作用一样，是一个特征提取器，只不过它的对象是图数据。GCN精妙地设计了一种从图数据中提取特征的方法，从而可以使用这些特征去对图数据进行节点分类、图分类、边预测，还可以得到图的嵌入表示。
假设图数据有N个节点，每个节点都有自己的特征，设这些节点的特征组成一个N×D维的矩阵X，各个节点之间的关系会形成一个N×N维的矩阵A，作为邻接矩阵；则X和A便为模型的输入；
GCN是一个神经网络层，它的层与层之间的传播方式是：
其中
表示邻接矩阵,IN为单位矩阵，
是
的度矩阵,H(l)∈RN×D是第l层的特征,W(l)为图卷积神经网络第l层的参数；对于输入层，H(0)＝X，σ是非线性激活函数。
图卷积的具体架构：
使用三个连通性指标作为图卷积的邻接矩阵，分别为皮尔逊相关系数(PCC)、锁相值(PLV)和相位滞后指数(PLI)。
皮尔逊相关系数(PCC)：
PCC测量两个信号之间的线性关系作为一个从-1到1的连续数。PCC值为-1和1分别表示完全的负线性关系和正线性关系，PCC值为0表示两个信号不相关。用
表示第i个电极脑电数据(i＝1,2,…,32)，其中T是信号长度；将PCC的绝对值作为GCN的邻接矩阵，第i个通道和第k个通道的脑电信号Xi和Xk之间的PCC值表示为：
其中，μ和σ分别为脑电信号对应通道的均值和标准差；t表示时刻。
锁相值(PLV)：
PLV描述了两个信号之间的相位同步，PLV的取值范围为0到1，PLV值为0表示两个信号是完全独立，PLV值为1表示两个信号是完全同步的。其计算方法是将绝对相位差平均，如下所示:
其中，
是信号在t时刻的相位，j是虚数单位；
相位滞后指数(PLI)：
相位延迟指数(PLI)用来测量两个通道信号的相位同步程度，PLI的取值范围为0到1，值越大表示两个信号之间的相位同步程度越强。PLI最主要的优点是对体积传导效应不敏感，但是其对噪声似乎比较敏感，具体表示为：
其中,sign是符号函数，
是信号在t时刻的相位；
将这三个连通性度量矩阵分别作为图卷积的邻接矩阵，将经过预处理的样本X∈R32×128作为输入的样本，经过图卷积提取特征。用公式表示即：
fG＝EG(X,A)
其中fG表示图特征，EG(·)表示图特征提取函数，A为邻接矩阵；
输入全连接层，进一步提取特征，表示为：
fG＝FC(fG)∈R256×1
步骤3)将经过预处理的脑电数据作为样本输入，利用时间卷积神经网络提取脑电信号中所蕴含的时间特征。
时间卷积神经(TCN),TCN＝1D FCN+因果卷积。TCN利用了1-D FCN的结构，每一个隐层的输入输出的时间长度都相同，维持相同的时间步,对于第一个时间步，没有任何历史的信息，TCN认为其历史数据全是0(其实就是卷积操作的padding)，同时，TCN保留长远历史信息的能力较LSTM更强。为了解决第二个问题，TCN利用因果卷积，也就是对于输出t时刻的数据,其输入只可能是t以及t以前的时刻。为了有效的应对长历史信息这一问题，利用膨胀因果卷积，它仍具有因果性，只不过引入了膨胀因子d。同时，就算使用了膨胀因果卷积，有时模型可能仍然很深，较深的网络结构可能会引起梯度消失等问题，为了应对这种情况，利用了一种类似于ResNet中的残差块的结构，这样设计的TCN结构更加的具有泛化能力。可以看出来，残差结构替代了TCN层与层之间的简单连接，由于x和F(x)之间的通道数可能不一样，所以设计了一个1×1Conv来对x做一个简单的变换，使得变换后的x与F(x)可以相加。
将经过预处理的脑电数据X∈R32×128作为样本输入，经过包含三个残差块的TCN提取脑电数据的时间特征。经过这个过程，可以从输入数据中得到时间特征。整个时间特征提取器的过程可以描述为:
fT＝ET(X)∈R64×32
其中fT表示时间特征，ET(·)表示时间特征提取函数；
输入全连接层，进一步提取时间特征，表示为：
fT＝FC(fT)∈R256×1
步骤4)将功能连通性特征和时间特征结合进行情绪分类。
将功能连通性特征和时间特征连接起来作为最终的特征向量，向最终的特征向量送入一个包含20个神经元的完全连接层，该过程描述为:
o＝FC(fG||fT)∈R1×20
其中||是将fG和fT连接在一起的连接操作；
然后进行线性变换:
y＝WoT+b＝[y1,y2]T∈R2×1
其中W和b是权重矩阵和偏置，2表示情绪分类的类别数。
最后，将y的元素输入到softmax函数中进行情感识别，可以描述为：
其中，P(c|X)是X属于第c类的概率，
表示预测结果。
仿真实验
如表1所示，将本发明所提出的方法与传统方法进行比较，实验结果也显示出本发明的优势.
表1:在DEAP数据集上本方法与其他已有方法的结果对比(平均精度/偏差)
表1给出了上述方法在DEAP数据集上的对比结果，可以看出，本发明可以达到较为先进的结果。深度正则相关分析(DCCA)将原始EEG信号从四个频段(theta、alpha、beta和gamma)提取DE特征，并且计算其时域统计特征:最大值、最小值、均值、标准差、方差、平方和，针对8个通道的外周生理信号，提取48个(6×8)维特征。然后，采用多层非线性变换将每个模态进行变换，并利用指定的正则相关分析约束将其协调到超空间中获取更高的互信息，然后采用加权和融合方法融合变换后的特征，融合后的特征用于训练SVM分类器。本发明比深度正则相关分析(DCCA)方法提高了约12％。多列卷积神经网络(MC-CNN)提出了一个基于CNN的多列脑电图信号情绪识别模型，与MC-CNN相比，它的准确率也提高了约7％。
多模态残差LSTM(MMResLSTM)分别为脑电信号和周边生理信号构建了4个LSTM层，通过在每个LSTM层上的各模态权重共享，学习不同模态之间的时间相关性，与MMResLSTM和空间对称特征提取网络(SFE-Net)相比，本发明提高了约5％。基于注意的卷积递归神经网络(ACRNN)首先采用通道注意机制自适应分配不同通道的权重，并利用卷积神经网络提取编码脑电信号的空间信息，然后将扩展自注意力集成到RNN中，基于脑电信号的内在相似性对重要性进行编码。与ACRNN相比，它的准确率也提高了约4％。
并行序列通道投影网络(PSCP-Net)该网络由时间流子网络(TS)、空间流子网络(SS)和融合分类块组成。其中，TS和SS子网络构成一个平行的时空网络，分别通过序列投影层和通道投影层对脑电信号进行时间和空间特征提取。融合分类块将提取的时空特征组合成一个联合的时空特征向量，然后将向量发送到全连接层进行情绪分类。本发明与PSCP-Net方法相比提高了约1％。局部非对称卷积神经网络(RACNN)既可以学习相邻通道之间的区域信息，也可以学习两个半球之间的不对称差异。RACNN与本发明都是端到端的，并且都是深度学习模型，但是本发明的模型获得了更好的识别结果，因为它可以获得更全面的代表性特征。
此外，与DCCA和MMResLSTM等多模态方法相比，本发明所提出的方法识别率提高了4％以上，这表明着本发明仅使用了单模态数据，便取得了更好的性能。与传统方法不同的是，本发明所提出的模型仅使用脑电图数据，可以提取包括功能连通性、时间特征，为情感识别提供关键性信息。当然，本发明忽略了其他模态提供的额外信息。
此外，本发明使用了三种邻接矩阵，分别为PCC,PLV,PLI,做了三次实验对比这三个邻接矩阵的差异。
在三种实验的精度箱型图如图1和2所示。由图1可以看出，在效价层面上，三种实验结果的精度分布差距不大，以PCC为邻接矩阵进行实验的实验结果比其他两个较好。由图2可以看出，在唤醒度层面上，三种实验结果的精度分布差距也不大，以PLV为邻接矩阵进行实验的实验结果相比于其他两个较好。
将所有受试者的实验结果求均值，得到了在DEAP数据集上的平均精度，图3中分别给出了在效价和唤醒度两种情绪状态下的实验结果对比柱状图。从图3中可看出，在效价这一方面看，以PCC作为邻接矩阵的方法效果较好，以PLV为邻接矩阵的方法效果较差，而在唤醒度看，结果恰恰相反，以PLV作为邻接矩阵的方法效果较好，以PCC为邻接矩阵的方法效果较差。
此外，为了更好地说明本方法的有效性，本发明还做了只利用图卷积或者只利用时间卷积的实验，并且对于只利用图卷积的实验仍采用了三种邻接矩阵。附图4和5展示了在效价和唤醒度下三个模型下的情绪分类平均精度对比柱状图。
由附图4可以很直观的看出只使用TCN进行情绪分类的效果较差，GCN的效果其次，将TCN与GCN结合起来的模型性能较好，说明了本发明提出方法的有效性。
由图5可以看出仅用TCN或仅利用GCN进行情绪分类的平均精度差不多，但是将二者结合起来的模型性能就有了提升，所以说明本发明模型有较好的分类效果。
图6展示了本发明提出了模型框架。图7给出了由两个残差块组成的时间卷积网络，其中两个残差块的卷积核k＝2，第一个残差块的膨胀率d＝1，第二个残差块的膨胀率d＝2。图8为残差块的具体结构。
可见，本发明将图卷积神经网络和时间卷积神经网络相结合，一方面将脑电信号建立为图模型，利用功能连通性指标作为图模型的邻接矩阵进行图卷积特征提取；另一方面利用时间卷积网络提取时间特征。将两个并行的网络提取的特征合并起来进行情绪分类，使得对情绪分类有更好的分类性能。
Claims (6)
1.一种基于脑电信号的情绪识别方法，其特征在于：包括以下步骤：1)脑电信号预处理：
11)在DEAP数据集中，按照国际10-20系统在采集的40个生理信号通道中，选择前32个通道为脑电信号的通道；
12)对所述脑电信号进行数据处理；
2)将三个连通性指标作为图卷积的邻接矩阵，将经过预处理的数据样本作为输入的样本，并利用图卷积神经网络提取图特征；
3)将经过预处理的脑电数据作为样本输入，利用时间卷积神经网络提取脑电信号中所蕴含的时间特征；
4)将图特征和时间特征相结合进行情绪分类。
2.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于：步骤1-2)具体包括：将所述脑电信号分成1秒长的一段，获得2400个数据样本用于训练神经网络；并用前3s的静默数据表示基本的情绪状态；为了去除基本情绪状态的影响，计算每个试验样本减去前3个1s数据的平均值，最后通过Z-score标准化得到最终预处理样本X∈R32×128。
3.根据权利要求2所述的基于脑电信号的情绪识别方法，其特征在于：步骤1-2)中将DEAP数据集中包含的基线信号作为参考信号，这些信号是在受试者没有受到音乐视频刺激时记录的。
4.根据权利要求1所述的基于脑电信号的情绪识别方法，其特征在于：步骤2)具体包括：
假设图数据有N个节点，每个节点都有自己的特征，设这些节点的特征组成一个N×D维的矩阵X，各个节点之间的关系会形成一个N×N维的矩阵A，作为邻接矩阵；则X和A便为模型的输入；
图卷积神经网络是一个神经网络层，它的层与层之间的传播方式是：
其中
表示邻接矩阵,IN为单位矩阵，
是
的度矩阵,H(l)∈RN×D是第l层的特征,W(l)为图卷积神经网络第l层的参数；对于输入层，H(0)＝X，σ是非线性激活函数；
使用皮尔逊相关系数、锁相值和相位滞后指数三个连通性指标作为图卷积的邻接矩阵，并分别对三个连通性指标进行计算；
所述皮尔逊相关系数计算包括：
皮尔逊相关系数测量两个信号之间的线性关系作为一个从-1到1的连续数，皮尔逊相关系数的值为-1和1时分别表示负线性关系和正线性关系，皮尔逊相关系数为0表示两个信号不相关；
用
表示第i个电极脑电数据；其中i＝1,2,…,32，T是信号长度；将皮尔逊相关系数的绝对值作为邻接矩阵，第i个通道和第k个通道的脑电信号Xi和Xk之间的皮尔逊相关系数表示为：
其中，μ和σ分别为对应通道脑电信号的均值和标准差；t表示时刻；
所述锁相值计算包括：
锁相值描述了两个信号之间的相位同步，锁相值的取值范围为0到1，锁相值为0表示两个信号是完全独立的，锁相值为1表示两个信号是完全同步的；其计算方法是将绝对相位差平均，如下所示：
其中，
是信号在t时刻的相位,j是虚数单位；
所述相位延迟指数计算包括：
相位延迟指数用来测量两个通道信号的相位同步程度，相位延迟指数的取值范围为0到1，值越大表示两个信号之间的相位同步程度越强；相位延迟指数对体积传导效应不敏感，但是其对噪声似乎比较敏感，具体表示为：
其中，sign是符号函数；
上述三个连通性度量矩阵分别作为图卷积的邻接矩阵，将经过预处理的样本X∈R32×128作为输入的样本，经过图卷积提取特征；用公式表示即：
fG＝EG(X,A)
其中fG表示图特征，EG(·)表示图特征提取函数，A为邻接矩阵；
输入全连接层，进一步提取特征，表示为：
fG＝FC(fG)∈R256×1。
5.根据权利要求4所述的基于脑电信号的情绪识别方法，其特征在于：步骤3)的具体包括：
将经过预处理的脑电数据X∈R32×128作为样本输入，经过包含三个残差块的时间卷积网络提取脑电数据的时间特征，进而从输入数据中得到时间特征，整个时间特征提取器的过程描述为:
fT＝ET(X)∈R64×32
其中fT表示时间特征，ET(·)表示时间特征提取函数；
输入全连接层，进一步提取时间特征，表示为：
fT＝FC(fT)∈R256×1。
6.根据权利要求5所述的基于脑电信号的情绪识别方法，其特征在于：步骤4)具体步骤如下：
将图特征和时间特征连接起来作为最终的特征向量，向最终的特征向量送入一个包含20个神经元的全连接层，该过程描述为:
o＝FC(fG||fT)∈R1×20
其中||是将fG和fT连接在一起的连接操作；
然后进行线性变换：
y＝WoT+b＝[y1,y2]T∈R2×1
其中W和b是权重矩阵和偏置，2表示情绪分类的类别数；
最后，将y的元素输入到softmax函数中进行情感识别，可以描述为：
其中，P(c|X)是X属于第c类的概率，
表示预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210173928.4A CN114732409A (zh) | 2022-02-24 | 2022-02-24 | 一种基于脑电信号的情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210173928.4A CN114732409A (zh) | 2022-02-24 | 2022-02-24 | 一种基于脑电信号的情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114732409A true CN114732409A (zh) | 2022-07-12 |
Family
ID=82276036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210173928.4A Pending CN114732409A (zh) | 2022-02-24 | 2022-02-24 | 一种基于脑电信号的情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114732409A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115444431A (zh) * | 2022-09-02 | 2022-12-09 | 厦门大学 | 一种基于互信息驱动下的脑电情绪分类模型生成方法 |
| CN115644870A (zh) * | 2022-10-21 | 2023-01-31 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN117708570A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-24 CN CN202210173928.4A patent/CN114732409A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115444431A (zh) * | 2022-09-02 | 2022-12-09 | 厦门大学 | 一种基于互信息驱动下的脑电情绪分类模型生成方法 |
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115644870A (zh) * | 2022-10-21 | 2023-01-31 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN115644870B (zh) * | 2022-10-21 | 2024-03-08 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN117708570A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
| CN117708570B (zh) * | 2024-02-05 | 2024-06-04 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114732409A (zh) | 一种基于脑电信号的情绪识别方法 | |
| Sun et al. | A hierarchical neural network for sleep stage classification based on comprehensive feature learning and multi-flow sequence learning | |
| CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| CN110781945A (zh) | 一种融合多种特征的脑电信号情感识别方法及系统 | |
| CN112587153B (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| CN111493822A (zh) | 一种基于睡眠脑电的快速眼动期睡眠行为障碍分类方法 | |
| Cheng et al. | The optimal wavelet basis function selection in feature extraction of motor imagery electroencephalogram based on wavelet packet transformation | |
| CN111407243A (zh) | 一种基于深度学习的脉搏信号压力识别方法 | |
| Karpinski et al. | Autoencoder neural networks for outlier correction in ECG-based biometric identification | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN114631831A (zh) | 基于半监督领域自适应的跨个体情绪脑电识别方法及系统 | |
| Wang et al. | Identification of Depression with a Semi-supervised GCN based on EEG Data | |
| Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
| CN116509392A (zh) | 一种基于脑电波和卷积神经网络的情绪检测及识别方法 | |
| Song et al. | Asynchronous video target detection based on single-trial EEG signals | |
| CN115659207A (zh) | 一种脑电情绪识别方法及系统 | |
| Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
| CN117612710A (zh) | 一种基于脑电信号和人工智能分类的医疗诊断辅助系统 | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| Havugimana et al. | Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings | |
| CN115270847A (zh) | 基于小波包分解和卷积神经网络的设计决策脑电识别方法 | |
| CN114504331A (zh) | 一种融合cnn和lstm的情绪识别分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |