CN112690793B - 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 - Google Patents

Abstract

本发明属于脑电识别技术领域，特别涉及一种情绪脑电迁移模型训练方法、系统及脑电情绪识别方法和设备，解决脑电情绪迁移问题，降低脑电情绪识别训练难度和成本，通过构建基于深度域对抗网络的情绪脑电识别迁移模型，将脑电特征映射为脑电特征拓扑图，使用深度卷积神经网络对特征图像提取深层的特征，将提取的深层特征输入域适应网络，利用两级的域适应网络，第一级采用最大均值差异来对源域和目标域进行初步的混淆，第二级域适应网络增大类间距离，提升迁移模型性能及情绪识别准确度。本发明能够有效地解决脑电情绪迁移问题，提升迁移模型在情绪识别中的应用效果。具有较好的应用前景。

Description

情绪脑电迁移模型训练方法、系统及情绪识别方法和设备

技术领域

本发明属于脑电识别技术领域，特别涉及一种基于两层域适应网络的情绪脑电迁移模型训练方法、系统及脑电情绪识别方法和设备。

背景技术

情绪识别在人机交互系统中起着重要的角色。此外，准确地识别患者的情绪有助于提高医疗质量。目前流行的情绪检测可分为两类。一类是基于非生理信号。如面部表情等。另一类是基于心理信号。如脑电信号等。面部表情容易出现虚假表情，而脑电信号直接从大脑皮层中无损提取，能直接反应人类大脑的生理状态。因此，基于脑电信号的情绪识别技术得到了广泛的研究兴趣。

目前，研究者采用了各种传统的机器学习方法来识别脑电情绪，其中包括支持向量机 (SVM)、线性判别分析(LDA)、K近邻判别等。尽管这些方法在脑电情绪分类上取得了较好的效果，但是还存在局限性。由于脑电信号的个体差异性和非平稳性，建立一个通用分类器是非常困难的，需要大量带标签的样本，然而，获取大量带标签的样本是非常耗费人工、时间，这在人机交互中是不允许的。因此，解决该问题对促进人机交互是至关重要的。当前已有研究者提出浅层的无监督域适应方法来解决脑电情绪迁移问题。其主要的思想是是通过最小化来自不同域的特征之间的分布差异的距离来学习共享特征。测量两个分布之间的距离的算法通常有KL散度、Wasserstein距离、香农熵距离和最大平均差异。其性能主要还是取决于特征的质量以及分类器分类性能。但通用的分类器是非常困难的。如果提取的特征不准确，所得到的模型可能会导致分类性能降低，即产生负迁移。有研究发现，深度神经网络可以学习到更多的可转移特征用于域适应。目前，大多数基于深度域适应方法都是通过将分布适应策略放在深度网络的特定任务层，能较好的减少领域差异。然而，这些深层域适应方法通常只使用简单的分布适应，无法让迁移学习过程中源域和目标域很好的混淆。

发明内容

为此，本发明提供一种基于两层域适应网络的情绪脑电迁移模型训练方法、系统及脑电情绪识别方法和设备，解决脑电情绪迁移问题，降低脑电情绪识别训练难度和成本，提高迁移模型性能和情绪识别准确性。

按照本发明所提供的设计方案，一种基于两层域适应网络的情绪脑电迁移模型训练方法，包含如下内容：

获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的域适应网络模块；

利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步的，训练样本预处理中，首先对脑电数据进行分段来提取情绪脑电信号，利用周围通道信号对数据差通道进行平均代替；然后再依次进行去除眼电伪迹、滤波、重参考和基线校正处理。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，利用插值法将各脑电信号频带下的微分熵特征映射到相应各通道中，生成情绪脑电拓扑图数据。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，时间迁移卷积神经网络单元包含两层卷积层、两层最大池化层及两层全连接层；跨被试迁移卷积神经网络单元包含六层卷积层、两层最大池化层和三层全连接层；其中，每个卷积层和全连接层均连接有用于数据分布标准化处理的自适应批归一化层。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，差异处理模块利用最大均值差异算法来度量源域和目标域特征分布的距离，对源域和目标域特征进行初步混淆。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，域适应网络模块通过对抗网络来进一步混淆源域和目标域特征。其中，对抗式网络包含域鉴别器和特征提取器，域鉴别器根据特征提取器的输出来判别数据来自源域或目标域。

作为本发明基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，域适应网络模块的特征混淆过程中，在源域和目标域上对抗式学习目标域特征提取器和域鉴别器。

进一步地，基于上述的方法，本发明还提供一种基于两层域适应网络的情绪脑电迁移模型训练系统，包含：样本收集模块、样本处理模块、模型构建模块和模型训练模块，其中，

样本收集模块，用于获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

样本处理模块，用于对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

模型构建模块，用于构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的的域适应网络模块；

模型训练模块，用于利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

进一步地，基于上述的方法，本发明还提供一种脑电情绪识别方法，包含：

获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用上述的方法进行模型训练。

进一步地，基于上述的方法，本发明还提供一种脑电情绪识别设备，包含：数据采集模块和情绪识别模块，其中，

数据采集模块，用于获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

情绪识别模块，用于利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用上述的方法进行模型训练。

本发明的有益效果：

本发明针对现实应用中由于脑电信号的个体差异性和非平稳性导致进行情绪识别时存在迁移问题，通过构建基于深度域对抗网络的情绪脑电识别迁移模型，将脑电特征映射为脑电特征拓扑图，使用深度卷积神经网络对特征图像提取深层的特征，将提取的深层特征输入域适应网络，利用两级的域适应网络，第一级采用最大均值差异来对源域和目标域进行初步的混淆，第二级域适应网络进一步混淆源域和目标域，使得两个域的分布更相似，提升迁移模型性能及情绪识别准确度。并进一步，利用该模型和其训练方案进行脑电情绪的时间迁移研究和跨被试迁移的实验，在时间迁移研究中，使用数据集进行验证，从悲伤、生气和害怕鉴别快乐的准确率可分别达到84.0％、87.04％和85.32％，鉴别这四类情绪的准确率为56.88％。在跨被试迁移研究中，使用公开数据集SEED进行验证，正性、中性和负性三分类的准确率达87.34％。实验结果表明本案中迁移模型能有效地解决脑电情绪迁移问题，具有较好的应用前景。

附图说明：

图1为实施例中迁移模型结构示意；

图2为实施例中迁移模型训练流程示意；

图3为实施例中不同域适应方法对时间迁移分类的结果；

图4为实施例中不同域适应方法对跨被试迁移分类的结果；

图5为实施例中经过神经网络学习的特征分布可视化图；

图6为实施例中经过神经网络学习的特征可视化图；

图7为实施例中实验流程示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

由于现有的传统机器学习在解决脑电情绪识别迁移问题上还存在提取特征不稳定、很难训练一个通用分类器等问题。针对现实应用中由于脑电信号的个体差异性和非平稳性导致进行情绪识别时存在迁移问题，本发明实施例，提供一种基于两层域适应网络的情绪脑电迁移模型训练方法，包含如下内容：

S101、获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

S102、对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

S103、构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的的域适应网络模块；

S104、利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

参见图1所示，基于深度域对抗网络的情绪脑电识别迁移模型，使用深度卷积神经网络对特征图像提取深层的特征。然后将提取的深层特征输入域适应网络，利用两级的域适应网络，第一级采用最大均值差异来对源域和目标域进行初步的混淆，单单采用该域适应方法对于多源域迁移是不够的，引入第二级域适应网络，进一步混淆源域和目标域，使得两个域的分布更相似。

作为本发明实施例中基于两层域适应网络的情绪脑电迁移模型训练方法，进一步的，训练样本预处理中，首先对脑电数据进行分段来提取情绪脑电信号，利用周围通道信号对数据差通道进行平均代替；然后再依次进行去除眼电伪迹、滤波、重参考和基线校正处理。进一步地，利用插值法将各脑电信号频带下的微分熵特征映射到相应各通道中，生成情绪脑电拓扑图数据。

情绪脑电数据预处理。首先对原始脑电信号进行分段即提取对应视频呈现的情绪脑电信号，对数据差的通道用周围的通道信号进行平均代替。之后使用Fastica算法去除眼电伪迹，然后使用带通滤波器进行0.1-64hz的带通滤波滤除脑电信号中的高频干扰，最后进行重参考和基线校正。基于微分熵的拓扑图特征提取，可先将脑电信号划分为5个频段即theta(1-3Hz)， theta(4-7Hz)，alpha(8-13Hz)，beta(14-30Hz)，gamma(31-50Hz)，然后提取5个频带范围内的微分熵特征。最后我们使用Clough-Tocher scheme插值方法，将5个频带的微分熵特征映射到各个通道中，生成32x32x5的情绪脑电拓扑图，其中拓扑图的长和宽为32，通道为5。

作为本发明实施例中基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，时间迁移卷积神经网络单元包含两层卷积层、两层最大池化层及两层全连接层；跨被试迁移卷积神经网络单元包含六层卷积层、两层最大池化层和三层全连接层；其中，每个卷积层和全连接层均连接有用于数据分布标准化处理的批归一化层。

参见图1所示，基于不同的数据集设计不同的卷积神经网络，对于时间迁移研究，可使用2层卷积层和2层最大池化层，后面接着2层全连接层，神经元的个数分别为512和256；对于跨被试迁移研究，可用6层卷积层和2层最大池化层，后面接着3层全连接层，神经元的个数分别为1024、512和256。为了能使来自不同域之间的样本更好的匹配，可在每层的卷积层和全连接层后面都加入AdaBN层，AdaBN层的作用是使得不同域之间的分布标准化。

作为本发明实施例中基于两层域适应网络的情绪脑电迁移模型训练方法，进一步地，差异处理模块利用最大均值差异算法来度量源域和目标域特征分布的距离，对源域和目标域特征进行初步混淆。通过学习映射函数，将源域和目标域的特征映射到公共特征空间上，使用最大均值差异算法计算源域和目标域在公共特征空间上的特征分布距离损失，使用Adam优化器对距离损失最小化。进一步地，域适应网络模块通过对抗网络生成器进一步学习映射函数，使用鉴别器鉴别源域和目标域的特征分布，使用Adam优化器最大化鉴别损失和最小化生成损失，拉大源域和目标域特征的类间距离来实现源域和目标域特征的进一步混淆。其中，对抗式网络可包含域鉴别器和特征提取器，域鉴别器根据特征提取器的输出来判别数据来自源域或目标域。进一步地，域适应网络模块的特征混淆过程中，在源域和目标域上对抗式学习目标域特征提取器和域鉴别器。

针对目前现有的域适应方法都是采用一级域适应，但是情绪脑电信号是非平稳的，一级的域适应方法的混淆性能不高，因此，本案实施例中提出两级域适应网络。第一级域适应网络可采用最大均值差异算法，在目前的域适应方法中，最大均值差异的性能比较好，结合深度卷积神经网络，可以使得源域和目标域的类分布对齐，在保证分类性能的前提下将两个域进行初步混淆。但是单单使用最大均值差异进行域适应对于多源域匹配是不够的。因此，本案实施例中引入第二级域适应算法。第二级域适应算法参考的是域对抗网络思想，可利用一个域鉴别器与特征提取器构成对抗网络，进一步混淆源域和目标域，使得它们特征能充分混淆。

进一步地，基于上述的方法，本发明实施例还提供一种基于两层域适应网络的情绪脑电迁移模型训练系统，包含：样本收集模块、样本处理模块、模型构建模块和模型训练模块，其中，

样本收集模块，用于获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

样本处理模块，用于对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

模型构建模块，用于构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的的域适应网络模块；

模型训练模块，用于利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

进一步地，基于上述的方法，本发明实施例还提供一种脑电情绪识别方法，包含：

获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用上述的方法进行模型训练。

进一步地，基于上述的方法，本发明实施例还提供一种脑电情绪识别设备，包含：数据采集模块和情绪识别模块，其中，

数据采集模块，用于获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

情绪识别模块，用于利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用上述的方法进行模型训练。

为验证本案方案的有效性，下面结合具体实验数据做进一步解释说明：

图3所示为时间迁移实验研究的结果，以传统的分类方法SVM作为基线，对比目前较好的传统迁移方法TCA和深度域适应网络DANN。本发明提出的模型在脑电情绪时间迁移分类准确率相比于DANN平均高5％。在二分类中，Joy-Sadness、Joy-Anger和Joy-Fear的准确率分别达到了84.0％、87.04％、85.32％。四分类准确率达到了56.88％。我们进一步对跨被试迁移实验进行验证。我们对比了目前在脑电情绪的跨被试迁移中性能最好的算法，如浅层的算法有TCA和TPT，深层的算法有DANN、DResNet和WGAN-DA。结果如图4所示，明显看出本发明提出的模型在SEED数据集进行三分类中得到了最高的准确率，准确率为 87.34％。为了更明显地观察本发明提出的模型的性能，我们对时间迁移中的特征的分布进行可视化，可视化图如图5所示，(a)显示的是源域和目标域特征的原始分布图；(b)显示的是经TCA算法映射后特征的分布图；(c)显示的是经DANN算法学习的特征分布图；(d)显示的是经MMD算法学习的特征分布图；(e)显示的是本发明提出的模型学习的特征分布图。从图中可以看出本案提出的模型及其训练对不同的域的分布能得到很好的混淆效果，而且还能保证分类性能。实验中还分析神经卷积网络学习拓扑图特征的情况，通过对卷积网络学习到的特征进行可视化，如图6所示，可以明显的看出，正性和负性情绪的特征有着明显的区别，神经网络能很好的学习脑电情绪特征。

图3中展示本案提出的算法对比其他算法在时间迁移研究上的结果。从图中可以看出，由于训练集和测试集数据分布的差异，导致了基线SVM分类性能较差，在二分类中，对于 Joy-Sadness、Joy-Anger和Joy-Fear的准确率分别为70.02％、71.16％、69.01％，在四分类中的准确率为40.29％。在传统的迁移方法TCA中，对比SVM方法，分类准确率有稍微的提高，但提高的不明显。使用深度域适应网络DANN，使得分类准确率显著提高，二分类的准确率分别为80.84％、81.27％、80.20％，四分类的准确率为49.67％，相比于基线SVM分类器，分别提高了10％、10％、11％、9％。说明深度神经网络能够有效地学习更多的可转移特征来进行域适应。本发明提出的方法在二分类的准确率分别达到了84.0％、87.04％、85.32％。四分类准确率达到了56.88％。相比DANN网络分别提高了4％、6％、5％和7％。

在跨被试迁移研究中，通过使用公开数据集SEED进行验证，对比当前最好的浅层和深层的迁移算法，浅层算法有TCA和TPT，深层算法有DANN、DAN、DResNet和WGAN-DA。结果如图4所示，以SVM算法为基线，可以从图中分析，在浅层迁移算法中，TPT的迁移效果好于TCA，在深层迁移算法中，目前在脑电情绪识别中的准确率最高的是WGAN-DA，准确率达87.07％。相比于浅层迁移算法，深层迁移算法大大提高了脑电情绪的迁移能力。因为深度神经网络能有效提取具有可迁移性的特征。本案提出的算法达到了目前最高水平，准确率达87.9％，相比WGAN-DA算法提高了1％，且稳定性高于WGAN-DA。

为了显示学习的特征的分布特性，分别在不同的域适应算法进行t-SN可视化。如图5所示，(a)显示的为某一名被试的源域和目标域的原始分布图，可以看出源域和目标域的脑电特征的分布不一样，很混乱，导致直接用SVM分类器进行分类的效果很差；(b)显示的为TCA 方法将特征映射后的特征分布图，从图中可以看出，将特征映射到特征子空间上能有效的区分源域和目标域，但对多源域的迁移还不够，源域的特征分布还很分散；(c)显示的是由DANN 网络学习的特征分布图，任然有部分源域和目标域的特征混淆一起，且源域和目标域的特征相对较分散，没有聚集在一起；(d)xx显示的是使用MMD算法学习的特征分布图，在类别边缘处出现混淆现象；(e)显示的是本案方法学习的特征分布图，很明显的看到通过本案方法学习的特征相比DANN和MMD算法更容易区分。而且类间距变大，类内距变小。

进一步研究CNN网络对脑电拓扑图进行学习的特征。提取脑电拓扑图通过最后一层卷积网络的输出，将源域和目标域的样本进行叠加平均后，选取9个特征明显的通道并画出Feature maps，如图6所示，图6中的前两行分别表示的是卷积网络学习的源域和目标域的正性特征，后两行表示的是卷积网络学习的源域和目标域的负性特征。从图中可以看出，正性和负性情绪在顶叶、额叶和颞叶有明显的差异。此外，源域和目标域的正性和负性情绪表现相似，证明本文提出的网络能有效解决脑电情绪时间迁移问题。

进一步，在进行时间迁移研究实验中，从中文情感视频系统和自建情感素材库中选取欢乐、悲伤、愤怒和恐惧的36个视频片段进行实验。自建情感素材库是基于心理学方法而建的标准化的多感官情感刺激素材库。为了准确的诱导单一类型的情绪，可将电影片段的长度设置为50-335s，每个视频诱导的情绪在最后达到最好的效果。参见图7所示，实验分为三个 sessions，分别为session A、session B和session C，表2列出了每个session部分中使用的情感视频的详细信息。

三个session的顺序是随机的，间隔时间为1周。在每一部分中，在12次试验中，随机向参与者展示4类电影片段(共12个电影片段)，每次试验的步骤如下：显示当前的试验编号，通知参与者他们的进展；基线信号采集5秒(固定交叉)；显示剪辑后的影片；10秒的唤醒和效价的自我评估；在不同情感类型的视频片段之间的休息时间为5分钟。

每名被试一共参与2次完整的实验，即共6个sessions的实验，每次间隔半年。因此，每名被试一共采集6个sessions的脑电信号。

采用贝克焦虑量表、汉密尔顿焦虑评分量表和汉密尔顿抑郁量表来排除焦虑、抑郁或身体异常的被试以及服用镇静剂和精神药物的被试。最后，共有16名大学生(8男，8女)参与了该实验，平均年龄23.13岁(范围＝19-27,SD＝r 2.37)。所有的参与者都是右撇子，视力和听力正常或矫正正常。使用gtec.HIamp系统采集脑电信号，采集的频率为512Hz，使用0.1-100Hz的带通滤波器和50Hz的陷波器。62个电极的布置采用国际10-20系统。以Fz电极作为参考计算。因此，有效电极数为61个。

首先，根据受试者自我评价的效价来选择受试者的脑电图数据。阈值设置为5。如果一个被试对快乐视频的效价超过5分，和悲伤、愤怒和恐惧的视频小于5，相信这个被试情绪准确诱发，该被试的信号将被保留，否则主体的信号将被删除。其次，剔除脑电信号质量较差的被试，如大的肌电伪影和脑电信号漂移。最终剔除4名被试，保留12名信号较好的被试。然后选择每个视频片段的最后50s的脑电信号进行分析。将脑电信号通过2s的时间窗，并重叠50％，分割后每段视频共有147个样本，每名被试共有588个样本。6天共有3528个样本

在提取特征前，对数据进行预处理，首先，数据差的通道平均被周围的通道重新压缩。其次，采用盲源分析算法FastICA去除眼电图(EOG)伪影。第三，利用0.1-64Hz的带通滤波器滤除脑电信号中的高频干扰。第四，利用参考电极标准化技术(REST)对数据进行再参考。最后，从脑电图信号中去除试验前基线的5s。

在跨被试迁移实验中，选择公开数据集SEED进行实验。SEED数据集使用分数(1-5)和关键词来评估自己在观看视频片段的情绪(正性、中性和负性)。每个电影片段持续约4分钟，共有15个电影片段(5个正性、5个中性、5个负性)。采集了15名健康被试(8名女性、 7名男性，MEAN:23.27,SD:2.37)，使用ESI NeuroScan System采集设备采集，62个电极分布符合国际10-20标准，采样率为1000Hz。脑电信号降采样到200Hz，然后将被EOG和EMG 污染严重的信号进行筛选，将筛选后的信号通过0.3-50Hz的带通滤波器。然后将脑电信号分割为1s长的数据段，不重叠。所以每名被试共有3394个样本，且3种情绪的样本量基本相同。进一步表明本案中迁移模型能有效地解决脑电情绪迁移问题。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/ 或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，包含如下内容：

获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的域适应网络模块；

利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

2.根据权利要求1所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，训练样本预处理中，首先对脑电数据进行分段来提取情绪脑电信号，利用周围通道信号对数据差通道进行平均代替；然后再依次进行去除眼电伪迹、滤波、重参考和基线校正处理。

3.根据权利要求1或2所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，利用插值法将各脑电信号频带下的微分熵特征映射到相应各通道中，生成情绪脑电拓扑图数据。

4.根据权利要求1所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，时间迁移卷积神经网络单元包含两层卷积层、两层最大池化层及两层全连接层；跨被试迁移卷积神经网络单元包含六层卷积层、两层最大池化层和三层全连接层；其中，每个卷积层和全连接层均连接有用于数据分布标准化处理的自适应批归一化层。

5.根据权利要求1所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，差异处理模块利用最大均值差异算法来度量源域和目标域特征分布的距离，对源域和目标域特征进行初步混淆。

6.根据权利要求1或5所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，域适应网络模块通过对抗网络来实现源域和目标域特征的进一步混淆，其中，对抗式网络包含域鉴别器和特征提取器，域鉴别器根据特征提取器的输出来判别数据来自源域或目标域。

7.根据权利要求6所述的基于两层域适应网络的情绪脑电迁移模型训练方法，其特征在于，域适应网络模块的特征混淆过程中，在源域和目标域上对抗式学习目标域特征提取器和域鉴别器。

8.一种基于两层域适应网络的情绪脑电迁移模型训练系统，其特征在于，包含：样本收集模块、样本处理模块、模型构建模块和模型训练模块，其中，

样本收集模块，用于获取来自源域的有标签情绪脑电数据及来自目标域的无标签情绪脑电数据，构成训练样本；

样本处理模块，用于对训练样本进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

模型构建模块，用于构建迁移模型，该迁移模型包含卷积神经网络和与卷积神经网络连接的两级域适应网络，通过两级域适应网络分别对情绪脑电迁移学习中源域和目标域数据进行数据对齐，其中，卷积神经网络包括时间迁移卷积神经网络单元和跨被试迁移卷积神经网络单元；两级域适应网络包含用于类分布对齐及源域和目标域特征进行初步混淆的差异处理模块和用于消除类别边缘混淆的域适应网络模块；

模型训练模块，用于利用情绪脑电拓扑图数据对迁移模型进行训练，获得训练收敛后的迁移模型。

9.一种脑电情绪识别方法，其特征在于，包含：

获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用权利要求1～7任一项所述的方法进行模型训练。

10.一种脑电情绪识别设备，其特征在于，包含：数据采集模块和情绪识别模块，其中，

数据采集模块，用于获取目标对象的原始脑电信号，并对原始脑电信号进行预处理，提取脑电信号频带范围内的微分熵特征，将微分熵特征映射至各通道，生成情绪脑电拓扑图数据；

情绪识别模块，用于利用已训练的情绪脑电迁移模型对目标对象的脑电信号进行情绪识别，其中，情绪脑电迁移模型采用权利要求1～7任一项所述的方法进行模型训练。

Images