CN111259761B - 基于可迁移注意力神经网络的脑电情感识别方法及装置 - Google Patents
基于可迁移注意力神经网络的脑电情感识别方法及装置 Download PDFInfo
- Publication number
- CN111259761B CN111259761B CN202010030240.1A CN202010030240A CN111259761B CN 111259761 B CN111259761 B CN 111259761B CN 202010030240 A CN202010030240 A CN 202010030240A CN 111259761 B CN111259761 B CN 111259761B
- Authority
- CN
- China
- Prior art keywords
- emotion
- attention
- electroencephalogram
- loss
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008451 emotion Effects 0.000 claims abstract description 136
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000012360 testing method Methods 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000011478 gradient descent method Methods 0.000 claims abstract description 4
- 210000004556 brain Anatomy 0.000 claims description 56
- 230000009466 transformation Effects 0.000 claims description 22
- 230000000306 recurrent effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 11
- 230000005012 migration Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005611 electricity Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 239000012633 leachable Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 241000282414 Homo sapiens Species 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010042458 Suicidal ideation Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于可迁移注意力神经网络的脑电情感识别方法及装置，其中，方法包括：(1)获取一个脑电情感数据库，分为训练集和测试集；(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网；(3)网络进行训练，总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数；(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。本发明识别准确率更高。
Description
技术领域
本发明涉及情感识别技术，尤其涉及一种基于可迁移注意力神经网络的脑电情感识别方法及装置。
背景技术
人类作为世界上情感最为丰富的动物，在进行各种活动的过程中，总是伴随着情感的发生。在人类的日常生活交流中，对于情感的互相感知，是人类流畅交流的重要部分。积极的情感使人身心愉悦，有助于健康且可以提高人的工作效率；消极的情感会引起很多健康问题，例如长时间累积的消极情绪更容易诱发抑郁症甚至是自杀倾向。所以，研究人类的情感就显得十分重要。
大脑是人类情感产生的根源，对于大脑的直接研究，就是从根源上来研究人类的情感。与大脑直接相关的脑电(EEG)信号，作为大脑神经元信息传递过程中发出的一种电信号，为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同，脑电数据不能被伪装，因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点，脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此，脑电情感识别受到了越来越多研究者的关注，并已经成为情感计算和模式识别领域的一个新的研究热点。然而，脑电情感识别存在准确率不高等问题。
近十年来，深度学习发展迅猛，在众多分类问题上取得巨大突破，这为提高脑电情感识别率提供了新思路，具有十分重要的价值。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于可迁移注意力神经网络的脑电情感识别方法及装置，识别准确率更高。
技术方案：本发明所述的基于可迁移注意力神经网络的脑电情感识别方法包括：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练；
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。
进一步的，所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据式中，形如x*表示X中第*个电极采集的脑电信号，d表示电极采集的数据的维度，n表示电极数目；
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示Hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；为可学习的参数矩阵；σ(.)表示非线性函数，N(xi)表示xi的前序节点集合；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示Hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，为可学习的参数矩阵；N(xi)表示xi的前序节点集合；
顺序调整单元，用于调整Hh和Hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据X的深度特征H：
H＝{hk}
k＝i＝1,...,n。
式中，P和Q为两个变换矩阵。
进一步的，所述局部注意力子网具体包括：
大脑区域分组单元，用于将大脑区域分为N个脑区，并按照脑区划分规则将脑电情感数据的深度特征H进行划分，得到每个脑区的深度特征H1,...,HN；
排序单元，用于将所有脑区的深度特征按序组成特征：
N个局部域判别器，输入为对应脑区的深度特征Hl，用于获取输入数据属于测试集的概率和属于训练集的概率/>输出/>l＝1,...,N；
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
式中，l表示第l个脑区，H(dl)表示Hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-H(dl)，l＝1,...,N
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，Ld()表示局部注意力子网损失，表示脑区l对应的局部域判别器损失,和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是局部注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数。
进一步的，所述全局注意力子网具体包括：
特征变换单元，用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征进行变换，得到变换后的局部特征/>
全局域判别器，输入为变换后的局部特征用于获取输入数据/>属于测试集的概率ds和属于训练集的概率dt，输出d＝{ds,dt}；
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即从训练集迁移到测试集的难易程度，量化公式为：
H(d)＝-ds·log(ds)-dt·log(dt)
式中，H(d)表示的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1+H(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，表示全局注意力子网损失，/>和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是全局注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数；
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，Le()表示注意力熵损失，Xt表示训练集XS和测试集XT的合集中第t个样本，θe是注意力熵参数；p(c|Xt)输入样本Xt属于第c类情感类别的概率，C表示情感类别总数。
进一步的，所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征变换为向量/>
全连接层，用于对向量进行线性变换：
式中，O是线性变换输出矢量，G和bc是可学习的线性变换矩阵，C是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，表示训练集中的第t个样本，/>表示预测的/>的情感类别标签，/>表示输入样本/>属于第c类情感类别的概率，oc表示O中第c个元素；
损失函数确认单元，用于确认情感分类器损失为：
式中，Lc()表示情感分类器损失，θc表示情感分类器参数。
进一步的，所述脑电情感识别网络的网络总损失为：
其中，XS表示训练集，XT表示测试集，Lc()表示情感分类器损失，θc表示情感分类器参数，Le()表示注意力熵损失，θe是注意力熵参数，Ld()表示局部注意力子网损失，是局部注意力子网参数，/>表示全局注意力子网损失，/>是全局注意力子网参数，α和β是超参数。
本发明所述的基于可迁移注意力神经网络的脑电情感识别方法装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明识别准确率更高。
附图说明
图1是本发明提供的基于可迁移注意力神经网络的脑电情感识别方法的流程示意图；
图2是本发明提供的的脑电情感识别网络结构图。
具体实施方式
本实施例提供了一种基于可迁移注意力神经网络的脑电情感识别方法，如图1和图2所示，包括以下步骤：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签。
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别。
其中，所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据式中，形如x*表示X中第*个电极采集的脑电信号，d表示电极采集的数据的维度，n表示电极数目；
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示Hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；为可学习的参数矩阵；σ(.)表示非线性函数，比如Sigmod函数，N(xi)表示xi的前序节点集合；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示Hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，为可学习的参数矩阵；N(xi)表示xi的前序节点集合；
顺序调整单元，用于调整Hh和Hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据X的深度特征H：
H＝{hk}
式中，P和Q为两个变换矩阵。
其中，所述局部注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的局部(脑区)信息，具体包括：
大脑区域分组单元，用于将大脑区域分为N个脑区，并按照脑区划分规则将脑电情感数据的深度特征H进行划分，得到每个脑区的深度特征H1,...,HN：
…
脑区N：
ni表示第i个脑区中的电极数量，满足式n1+...+nN＝n；
排序单元，用于将所有脑区的深度特征按序组成特征：
N个局部域判别器，输入为对应脑区的深度特征Hl，用于获取输入数据属于测试集的概率和属于训练集的概率/>输出/>l＝1,...,N；
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
l＝1,...,N
式中，l表示第l个脑区，H(dl)表示Hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-H(dl)，l＝1,...,N
使模型更加关注、并降低难以迁移的脑区数据的权重，以达到加强易于迁移的与情感相关的脑区数据的目的；
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，Ld()表示局部注意力子网损失，表示脑区l对应的局部域判别器损失,和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是局部注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数。
其中，所述全局注意力子网使获得的信息更加关注迁移过程(训练的模型用于测试)中与情感分类相关的训练集正样本，及其全局信息，具体包括：
特征变换单元，用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征进行变换，得到变换后的局部特征/>
全局域判别器，输入为变换后的局部特征用于获取输入数据/>属于测试集的概率ds和属于训练集的概率dt，输出d＝{ds,dt}；
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即从训练集迁移到测试集的难易程度，量化公式为：
H(d)＝-ds·log(ds)-dt·log(dt)
式中，H(d)表示的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1+H(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，表示全局注意力子网损失，/>和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是全局注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数；
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，Le()表示注意力熵损失，Xt表示训练集XS和测试集XT的合集中第t个样本，θe是注意力熵参数；p(c|Xt)输入样本Xt属于第c类情感类别的概率，C表示情感类别总数。
其中，所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征变换为向量/>
全连接层，用于对向量进行线性变换：
式中，O是线性变换输出矢量，G和bc是可学习的线性变换矩阵，C是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，表示训练集中的第t个样本，/>表示预测的/>的情感类别标签，/>表示输入样本/>属于第c类情感类别的概率，oc表示O中第c个元素；
损失函数确认单元，用于确认情感分类器损失为：
式中，Lc()表示情感分类器损失，θc表示情感分类器参数。
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练。
其中，脑电情感识别网络的网络总损失为：
其中，XS表示训练集，XT表示测试集，Lc()表示情感分类器损失，θc表示情感分类器参数，Le()表示注意力熵损失，θe是注意力熵参数，Ld()表示局部注意力子网损失，是局部注意力子网参数，/>表示全局注意力子网损失，/>是全局注意力子网参数，α和β是超参数。
训练时迭代地优化情感分类器、注意力标签熵、局部注意力子网和全局注意力子网。具体地，可以通过最小化和最大化下列公式来寻找模型的最优参数，如下式
上述最大化问题，通过在域判别器之前加入梯度反转层(GRL)，可以将转化为最小化问题。其在前向传播中充当恒等变换，但在执行反向传播操作时反转梯度符号。这样，可以使用随机梯度下降(SGD)算法轻松地解决上述参数优化过程。具体而言，可以按照以下规则更新参数
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。
本实施例还提供了一种基于可迁移注意力神经网络的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
为验证本发明的有效性，在SEED脑电情感数据库、SEED-IV脑电情感数据库脑电情感数据库、MPED脑电情感数据库上做了脑电情感识别，并与另外12种方法进行了相同的实验，进行对比。这些方法包括：支持向量机(SVM)、随机森林(RF)、典型相关分析(CCA)、组稀疏典型相关分析(GSCCA)、深度置信网络(DBN)、图正则稀疏线性回归(GRSLR)、图卷积神经网络(GCNN)、动态图卷积神经网络(DGCNN)、域对抗神经网络(DANN)、双半球域对抗神经网络(BiDANN)、EmotionMeter以及有注意力的长短时记忆网络(A-LSTM)。
验证结果如表1所示：
表1
注意，由于计算机存储器限制和计算问题，基于子空间的方法(例如TCA，SA和GFK)在处理大量EEG数据方面存在问题。因此，为了与它们进行比较，不得不从训练数据集中随机选择5000个EEG特征样本来训练这些方法。
实验结果表明，基于本发明提出的脑电情感识别方法TANN，识别率更高。
Claims (6)
1.一种基于可迁移注意力神经网络的脑电情感识别方法，其特征在于该方法包括：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练；
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别；
所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据式中，形如x*表示X中第*个电极采集的脑电信号，d表示电极采集的数据的维度，n表示电极数目；
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示Hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；为可学习的参数矩阵；σ(.)表示非线性函数，N(xi)表示xi的前序节点集合；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示Hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：
式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，为可学习的参数矩阵；N(xi)表示xi的前序节点集合；
顺序调整单元，用于调整Hh和Hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据X的深度特征H：
H＝{hk}
hk＝Phh,i+Qhv,i+b，
式中，P和Q为两个变换矩阵。
2.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述局部注意力子网具体包括：
大脑区域分组单元，用于将大脑区域分为N个脑区，并按照脑区划分规则将脑电情感数据的深度特征H进行划分，得到每个脑区的深度特征H1,...,HN；
排序单元，用于将所有脑区的深度特征按序组成特征：
N个局部域判别器，输入为对应脑区的深度特征Hl，用于获取输入数据属于测试集的概率和属于训练集的概率/>输出/>
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：
式中，l表示第l个脑区，H(dl)表示Hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：
wl＝1-H(dl)，l＝1,...,N
局部特征获取单元，用于将注意力值wl与对应的特征进行相乘，得到局部特征
损失函数确认单元，用于确认局部注意力子网的损失为：
其中，Ld()表示局部注意力子网损失，表示脑区l对应的局部域判别器损失,和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是局部注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数。
3.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述全局注意力子网具体包括：
特征变换单元，用于采用可学习的变换矩阵S将局部注意力子网获取的局部特征进行变换，得到变换后的局部特征/>
全局域判别器，输入为变换后的局部特征用于获取输入数据/>属于测试集的概率ds和属于训练集的概率dt，输出d＝{ds,dt}；
可迁移性量化单元，用于量化全局域判别器输入数据的可迁移性，即从训练集迁移到测试集的难易程度，量化公式为：
H(d)＝-ds·log(ds)-dt·log(dt)
式中，H(d)表示的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到全局注意力值w：
w＝1+H(d)
损失函数确认单元，用于确认全局注意力子网损失为：
其中，表示全局注意力子网损失，/>和/>分别是输入数据属于训练集XS和测试集XT的概率；/>是全局注意力子网参数；/>和/>分别代表训练集和测试集中的第t和第t'个样本；M1和M2是训练集和测试集样本的个数；
注意力熵损失确认单元，用于确认注意力熵损失为：
式中，Le()表示注意力熵损失，Xt表示训练集XS和测试集XT的合集中第t个样本，θe是注意力熵参数；p(c|Xt)输入样本Xt属于第c类情感类别的概率，C表示情感类别总数。
4.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述情感分类器具体包括：
特征变换单元，用于将特征提取器提取的全局特征变换为向量/>
全连接层，用于对向量进行线性变换：
式中，O是线性变换输出矢量，G和bc是可学习的线性变换矩阵，C是情感类别总数；
softmax层，用于根据线性变换输出矢量进行情感类别预测：
式中，表示训练集中的第t个样本，/>表示预测的/>的情感类别标签，/>表示输入样本/>属于第c类情感类别的概率，oc表示O中第c个元素；
损失函数确认单元，用于确认情感分类器损失为：
式中，Lc()表示情感分类器损失，θc表示情感分类器参数。
5.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述脑电情感识别网络的网络总损失为：
其中，XS表示训练集，XT表示测试集，Lc()表示情感分类器损失，θc表示情感分类器参数，Le()表示注意力熵损失，θe是注意力熵参数，Ld()表示局部注意力子网损失，是局部注意力子网参数，/>表示全局注意力子网损失，/>是全局注意力子网参数，α和β是超参数。
6.一种基于可迁移注意力神经网络的脑电情感识别方法装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010030240.1A CN111259761B (zh) | 2020-01-13 | 2020-01-13 | 基于可迁移注意力神经网络的脑电情感识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010030240.1A CN111259761B (zh) | 2020-01-13 | 2020-01-13 | 基于可迁移注意力神经网络的脑电情感识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259761A CN111259761A (zh) | 2020-06-09 |
| CN111259761B true CN111259761B (zh) | 2024-06-07 |
Family
ID=70946894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010030240.1A Active CN111259761B (zh) | 2020-01-13 | 2020-01-13 | 基于可迁移注意力神经网络的脑电情感识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259761B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111638803B (zh) * | 2020-06-19 | 2023-04-07 | 深圳前海微众银行股份有限公司 | 基于联邦迁移的脑电数据处理方法、装置、设备及介质 |
| CN112043260B (zh) * | 2020-09-16 | 2022-11-15 | 杭州师范大学 | 基于局部模式变换的心电图分类方法 |
| CN112690793B (zh) * | 2020-12-28 | 2023-05-16 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN112998652B (zh) * | 2021-02-23 | 2022-07-19 | 华南理工大学 | 一种光电容积脉搏波压力识别方法及系统 |
| CN113297981B (zh) * | 2021-05-27 | 2023-04-07 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
| CN114492513B (zh) * | 2021-07-15 | 2023-05-26 | 电子科技大学 | 跨用户场景下对抗域适应的脑电情绪识别方法 |
| CN114021608A (zh) * | 2021-11-17 | 2022-02-08 | 南京工业大学 | 一种融合大脑区域间结构信息的脑电识别方法 |
| CN114343676B (zh) * | 2021-12-28 | 2023-09-29 | 东南大学 | 基于自适应层次图神经网络的脑电情感识别方法及装置 |
| CN114343670B (zh) * | 2022-01-07 | 2023-07-14 | 北京师范大学 | 解释信息生成方法及电子设备 |
| CN116304585B (zh) * | 2023-05-18 | 2023-08-15 | 中国第一汽车股份有限公司 | 情感识别及模型训练方法、装置、电子设备及存储介质 |
| CN117493963B (zh) * | 2023-11-08 | 2024-05-24 | 山西大学 | 一种基于多尺度双曲对比学习的跨被试脑电情感识别方法及设备 |
| CN117708682B (zh) * | 2024-02-06 | 2024-04-19 | 吉林大学 | 脑电波智能采集分析系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
-
2020
- 2020-01-13 CN CN202010030240.1A patent/CN111259761B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
| CN110399857A (zh) * | 2019-08-01 | 2019-11-01 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 曲昭伟等.基于迁移学习的分层注意力网络情感分析算法.《计算机应用》.2018,(第11期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259761A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259761B (zh) | 基于可迁移注意力神经网络的脑电情感识别方法及装置 | |
| CN111126263B (zh) | 一种基于双半球差异性模型的脑电情感识别方法及装置 | |
| CN108776788B (zh) | 一种基于脑电波的识别方法 | |
| CN110610168B (zh) | 一种基于注意力机制的脑电情绪识别方法 | |
| CN110693493B (zh) | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法 | |
| Li et al. | Genetic algorithm for the optimization of features and neural networks in ECG signals classification | |
| US8593457B2 (en) | Method of three-dimensional image data processing | |
| CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
| CN112450947B (zh) | 一种针对情绪唤醒度的动态脑网络分析方法 | |
| CN113191225A (zh) | 一种基于图注意力网络的情绪脑电识别方法及系统 | |
| CN117122303B (zh) | 一种脑网络的预测方法、系统、设备和存储介质 | |
| CN113157096A (zh) | 基于深度子域关联适应网络的脑电情感迁移方法 | |
| CN114067915A (zh) | 一种基于深度对抗变分自编码器的scRNA-seq数据降维方法 | |
| CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
| CN112084935B (zh) | 一种基于扩充高质量脑电样本的情绪识别方法 | |
| Cowley et al. | Compact deep neural network models of visual cortex | |
| CN116712086A (zh) | 一种基于隐马尔可夫的大脑微状态辨析方法及装置 | |
| CN114638253B (zh) | 基于情感脑电特征融合优化机制的身份识别系统及方法 | |
| CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
| CN114398991B (zh) | 基于Transformer结构搜索的脑电信号情绪识别方法 | |
| Wang et al. | [Retracted] Evaluation Algorithm for the Effectiveness of Stroke Rehabilitation Treatment Using Cross‐Modal Deep Learning | |
| CN115223001A (zh) | 一种基于迁移学习的医学图像识别方法 | |
| CN114343676B (zh) | 基于自适应层次图神经网络的脑电情感识别方法及装置 | |
| Dentamaro et al. | A benchmarking study of deep learning techniques applied for breath analysis. | |
| CN118797410A (zh) | 一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |