CN113157096B - 基于深度子域关联适应网络的脑电情感迁移方法 - Google Patents

Abstract

本发明提出一种基于深度子域关联适应网络的脑电情感迁移方法。首先根据样本标签将源域和目标域划分为子领域，通过深度神经网络同时提取源域和目标域特征后，使用多核高斯函数将特征样本映射至再生核希尔伯特空间得到不同域样本之间的距离度量，之后根据标签和度量值计算源域和目标域中同类子域样本之间的关联循环损失，最后通过反向传播算法最小化源域分类损失与关联循环损失的和，达到域适应的效果。本发明为后续深度迁移学习算法的改进提供了新思路。

Description

基于深度子域关联适应网络的脑电情感迁移方法

技术领域

本发明提出一种深度子域关联网络(Deep Subdomain Associate AdaptationNetwork,DSAAN)用以完成脑电情感迁移任务。首先根据样本标签将源域和目标域划分为子领域，通过深度神经网络同时提取源域和目标域特征后，使用多核高斯函数将特征样本映射至再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)得到不同域样本之间的距离度量，之后根据标签和度量值计算源域和目标域中同类子域样本之间的关联循环损失，最后通过反向传播算法最小化源域分类损失与关联循环损失的和，达到域适应的效果。

背景技术

情感是一种综合了感觉、思想和行为的复杂状态，是人类对内部或外部刺激真实的心理和生理反应。随着人工智能技术的不断发展，情感识别已经成为了人机交互领域的研究热点，将情感自动识别技术引入到HMI应用，可显著提高用户的体验质量，并推动实现人工智能由感知智能到认知智能的飞跃。脑机接口可有效的作为人机交互的桥梁，BCI技术可通过非侵入的方式采集人体脑电信号，且大量的神经生理学和心理学研究发现，人类的情绪产生和情感活动与大脑皮层的电信号高度相关，因此EEG信号凭借其高时间分辨率，低成本，高便捷的优点被有效的运用在人类情感识别任务中。

然而由于脑电信号具有个体差异性，脑电情感分类模型难以在不同被试之间推广，且脑电信号的非平稳性导致了同一被试不同时间段的脑电信号有着显著的差异性，这对构建跨时段工作的情感分类模型也是一个挑战，因此越来越多的学者将迁移学习(Transfer Learning)的思想引入脑电情感分类任务中。迁移学习也称为域适应(DomainAdaptation)，在情感脑电分类任务中，各被试包含的脑电数据都可以称为一个域，希望通过某个域的样本分布训练一个模型，使其能很好地分类其他域的样本。如此，训练模型的域称为源域，待分类的域称为目标域。域适应的核心思想就是通过缩小源域和目标域之间的度量差异，使得各领域内包含样本的分布大致相同，因此经过域适应后，分类模型将具有跨被试，跨时段工作的能力。近年来随着深度学习技术的不断发展，深度神经网络被大量地应用在迁移学习领域，相比较基于浅层机器学习的域适应算法，深度迁移学习可自动化地提取更具表现力地特征，并满足了实际应用中端到端的迁移需求，常见的深度迁移网络和方法包括finetune，DDC，DAN，DANN等，然而上述方法在域迁移的过程中只从宏观角度上对全域样本进行了特征对齐，并没有考虑将相同类别不同域的样本分别进行域适应，因此Zhu等人提出了一种DSAN网络，通过标签将各域样本划分为子领域，其中源域使用真实标签，目标域使用神经网络预测的伪标签，并通过最小化LMMD对子领域进行域适应从而达到整体域适应。所得到的分类结果优于基于全域迁移模型，然而LMMD度量准则需要计算各域中不同标签所占的权重，计算代价较大。Philip等人提出了一种基于不同域样本之间点积值的关联循环度量准则，方法的核心思想是计算所有源域和目标域样本之间的往返点积距离，限制条件为往返过程中起点和终点所对应的源域样本必须为同一标签，通过最小化所有的往返点积距离，即关联循环来达到域适应的效果，然而该方法只限定了循环中起点和终点的源域样本标签必须一致，未考虑循环中目标域样本标签对域适应的影响。

发明内容

针对上述方法存在的问题，本发明提出一种深度子域关联适应网络(DSAAN)，通过经神经网络编码后的不同域特征样本计算其相互间基于多核高斯函数映射后的距离度量，再根据各域样本对应的标签和距离度量有选择地计算并优化关联循环损失，最后通过神经网络反向传播算法最小化源域分类损失与子域关联循环损失的和，来完成跨被试，跨时段的脑电情感迁移分类任务。

本发明基于深度子域关联适应网络的脑电情感迁移方法，包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理；

步骤(2)：DE特征矩阵的构建；

步骤(3)：9-Layer ResNet网络的构建；

构建9层ResNet作为深度迁移网络模型，提取源域和目标域特征，为目标域样本赋值伪标签；所述的9-Layer ResNet网络的结构如表1所示：

步骤(4)：计算特征样本之间的距离度量；

使用多核高斯函数对经过9-Layer ResNet网络学习后的特征样本进行高维映射，将映射值作为不同域特征样本之间的距离度量。

步骤(5)：子域关联循环的计算与域适应结果；

根据特征样本的标签和距离度量计算源域和目标域中同类子域样本之间的子域关联循环损失，最后通过9-Layer ResNet的反向传播过程最小化源域分类损失与子域关联循环损失的和，达到域适应的效果；

子域关联循环损失的计算：带标签的源域数据和无标签的目标域数据以相同数量分批次经过特征提取和神经网络编码，对于生成的目标域特征向量，带有softmax层的神经网络对其输出

是一个概率分布，表征了该样本属于每个类的可能性，因此可根据输出的概率大小，取出对应最大概率的第C类作为该目标域样本的伪标签。对目标域特征样本进行为伪标签处理后，使用基于子域关联循环的域适应方法完成源域到目标域的迁移：

定义A_i和B_j分别为源域

和目标域

样本未经过softmax层的特征向量，A_i和B_j之间的相似度量M_i,j定义为基于多核高斯函数映射的距离度量：

K表示高斯核矩阵，记矩阵M为S→T的关联矩阵，矩阵中的元素可形象地理解为模型从源域样本出发，到达目标域样本需要行走的距离，对矩阵中的每一行元素进行归一化：

其中( )′表示遍历，同理，取M的转置，得到模型从目标域样本返回到源域样本对应的距离，并得到B_j到A_i归一化后的值

模型从源域出发后，能达到与出发点样本相同标签的目标域样本，同时能再从该目标域样本返回到源域中同类标签的样本，记为一次好的联想循环；若所到达目标域样本的标签与出发点源域样本标签不同，记为一次失败的联想循环；结合源域的真实标签和目标域的伪标签定义子域关联循环：

遍历所有的关联循环后，计算其交叉熵损失:

L_SAL＝soft max_cols(P^aba)           (8)

域适应结果：通过9-Layer ResNet的反向传播算法最小化源域分类损失与子域关联循环损失的和，达到域适应的效果:

其中L_class(·)代表训练源域的分类损失，L_SAL(·)代表子域关联循环损失，λ＞0代表权衡子域关联循环损失程度的正则化参数。

作为优选，所述的多通道脑电信号采集与预处理，具体为：采集受试者的多通道脑电情感信号；接着利用带通滤波器针对每个通道的脑电信号分别进行8～13Hz、14～30Hz、31～50Hz的带通滤波，用于特征矩阵的构建。

作为优选，所述的DE特征矩阵的构建，具体为：分别计算各EEG样本α、β、γ三个频带中各通道对应的微分熵特征，并根据脑电帽电极空间排布将各频带DE特征转换为二维特征矩阵，其中α的频段为8～13Hz、β的频段为14～30Hz、γ的频段为31～50Hz。

本发明的有益效果：本发明通过DSAAN模型对情感脑电信号进行跨被试，跨时段的迁移分类任务，所达到的迁移效果优于其他主流迁移学习算法，一定程度上提高了情感BCI系统的泛化能力。另外，与其他深度迁移网络中的域适应指标相比，本发明提出的SAL损失指标考虑将相同类别不同域的样本分别进行域适应，最终达到整体域适应效果，且计算简单易实现，这也为后续迁移学习域损失指标的改进提供了思路。

附图说明

图1为本发明的流程图；

图2为实验范式流程图；

图3为各频带的DE特征矩阵；

图4为子域关联循环的计算方法；

图5为不同模式下特征样本域适应结果。

具体实施方式

下面结合附图详细描述本发明基于深度子域关联适应网络的脑电情感迁移模型。如图1，本发明的实施主要包括5个步骤：(1)多通道脑电信号采集与预处理；(2)DE特征矩阵的构建；(3)9-Layer ResNet网络的构建；(4)计算特征样本之间的距离度量准则；(5)子域关联循环的计算与域适应结果。

下面逐一对各步骤进行详细说明。

步骤(1)：多通道脑电信号采集与预处理。

1.SEED数据集：本发明采用SEED公共数据集进行说明。共15名被试(7名男性，8名女性，平均年龄23.27岁)参加实验，都具有正常的视觉，听觉与情感状态。在被试者观看电影片段的同时，通过脑电极帽记录下他们的脑电信号，脑电信号采样频率为1000Hz，脑电帽电极数为62。SEED数据集实验流程如图2所示。每名被试者参加3次实验，实验间隔为一周左右。将原EEG信号下采样至200Hz，而后经过0.5～70Hz的带通滤波，得到预处理后的数据集。本发明以互不重叠的1s时间窗截取各通道的脑电数据，每名被试者共有3394个EEG样本

2.频带处理：根据脑神经科学和心理学的研究，脑电信号的δ(1～3Hz)、θ(4～7Hz)，α(8～13Hz)、β(14～30Hz)、γ(31～50Hz)5个节律与人类的生理活动有着密切联系，其中高频信号与人类的情感活动有着较大关联，因此本发明使用8阶巴特沃斯滤波器提取EEG样本中α,β,γ三个较高频段的信号，并分别计算其对应的DE特征。

步骤(2)：DE特征矩阵的构建。微分熵(DE)是香农熵在连续随机变量上的一种表现形式，用于对连续性随机变量概率分布的不确定性总量进行具体量化，它作为一种特征最早由Duan等人引入到基于EEG的情感识别任务中，并取得了很好的分类效果，DE的表达式为：

h(X)＝-∫_Xf(x)log(f(x))dx          (1)

其中f(x)为随机变量的概率分布函数，对于固定时常的EEG样本x_i∈R^N×M(N代表通道数，M代表采样点个数)，近似地认为其各通道包含的采样值服从高斯分布N(μ,σ²)，其中μ代表采样均值，σ代表采样方差，因此微分熵特征可表示为：

对EEG样本指定频带提取DE特征后，还需要将其转换成一种特征图形式用于输入到后续的ResNet网络。本发明中各EEG样本包含62通道信息，通道电极空间排布符合国际标准的“10-20”脑电帽电极排布，“10”和“20”是指相邻电极之间的实际距离为颅骨前后或左右总距离的10％或20％，本发明根据脑电帽的电极分布，将各频段的DE特征转换为二维矩阵形式，这既保留了电极空间排布的拓扑特性，又可作为ResNet网络的输入，如图3所示；

步骤(3)：9-Layer ResNet网络的构建。ResNet是由何凯明提出的一种卷积神经网络，它不同于传统的CNN网络进行简单的卷积层堆叠，而是引入了残差块在不同卷积层之间进行跳跃连接采用交叉验证方法，通过引入残差，Identity恒等映射，相当于一个梯度高速通道，有效地避免了训练过程中梯度消失的问题，因此可以得到较深地网络，针对本实验中所对应的样本数量和样本维度，本发明设计了9层深度的ResNet网络，其结构如表1所示

表1 9-Layer ResNet结构图

步骤(4)：计算特征样本之间的距离度量准则。

度量是机器学习和统计学习领域使用的基础手段，是用来衡量特征样本之差异的标准，如样本之间的点积、欧氏距离、闵可夫斯基距离、马氏距离等，度量同样也是迁移学习域适应中的重要工具，域适应的本质就是寻找合适的算法最小化不同域样本之间的度量大小，因此选择合适的度量准则是完成域适应的关键。由于不同域的样本分布可能存在部分重叠，简单的计算其相互的点积或欧式距离并不能准确的衡量域差异的程度。因此这里采用一种核学习法，通过寻找合适的核矩阵K将不同域样本映射到再生希尔伯特空间并计算特征样本之间的距离，以此计算后文的关联循环值。

核函数的选择需要考虑模型所训练样本数量和特征向量维度的大小，本实验中的EEG样本数量和经过全连接层后的特征向量维度并不是很大，因此采用非线性的高斯核函数：

Long等人提出的DAN迁移算法中使用了基于多个核函数的MMD距离作为域差异的度量指标，且实验结果证明了基于MK-MMD达到的迁移效果优于MMD，因此本发明同样采用多个高斯核函数对源域和目标域特征样本进行映射：

κ_u表示单个高斯核矩阵，β_u代表不同高斯核矩阵的权重系数，m代表选用的高斯核个数。将各高斯核相加便得到最终的高斯核矩阵K。K中各元素代表了源域样本和目标域样本在核函数映射下抽象的域差异值。

步骤(5)：子域关联循环的计算与域适应结果。

1.子域关联循环的计算：带标签的源域数据和无标签的目标域数据以相同数量分批次经过特征提取和神经网络编码，对于生成的目标域特征向量，带有softmax层的神经网络对其输出

是一个概率分布，这一定程度的表征了该样本属于每个类的可能性，因此可根据输出的概率大小，取出对应最大概率的第C类作为该目标域样本的伪标签。对目标域特征样本进行为伪标签处理后，使用一种基于子域关联循环的域适应方法完成源域到目标域的迁移。

定义A_i和B_j分别为源域

和目标域

样本未经过softmax层的特征向量，A_i和B_j之间的相似度量可定义为上文基于多核高斯函数映射的距离：

记矩阵M为S→T的关联矩阵，矩阵中的元素可形象地理解为模型从源域样本出发，到达目标域样本需要行走的距离，对矩阵中的每一行元素进行归一化：

同理，可以取M的转置，得到模型从目标域样本返回到源域样本对应的距离，并得到B_j到A_i归一化后的值

希望模型从源域出发后，能达到与出发点样本相同标签的目标域样本，同时能再从该目标域样本返回到源域中同类标签的样本，如图4所示的得到笑脸循环，记为一次好的联想循环

若所到达目标域样本的标签与出发点源域样本标签不同，即如图3所示的非笑脸循环

记为一次失败的联想循环，目的是摒弃失败的关联循环，同时尽量缩小成功关联循环值，因此可结合源域的真实标签和目标域的伪标签定义子域关联循环(SAL)：

遍历所有的关联循环后，计算其交叉熵损失:

L_SAL＝soft max_cols(P^aba)             (8)

2.域适应结果：通过ResNet的反向传播算法最小化源域分类损失与子域关联循环损失的和，达到域适应的效果:

其中L_class(·)代表训练源域的分类损失，L_SAL(·)代表子域关联循环损失，λ＞0代表权衡子域关联循环损失程度的正则化参数。

本发明根据SEED数据集的实验范式，设计了两种迁移模式来验证本发明所提方法和模型的性能

1)Session-to-Session transfer:Seed数据集中每名被试进行了3组实验，每组实验之间间隔为一周左右，因此可针对被试3组实验进行互迁移，即Session-to-Sessiontransfer，以此来验证模型跨时段工作的能力。

2)One-to-One transfer:以一名被试的所有脑电数据作为源域，另一名任意被试作为目标域，进行跨被试的脑电迁移，本发明随机抽取了6每名被试的Session1脑电数据进行实验，以此验证模型跨被试的迁移能力。

针对上述迁移范式，使用本发明提出的DSAAN与背景技术中所述的不同迁移学习方法进行比较，迁移分类精度对比如表2所示：

表2 不同迁移学习模型得到的平均分类准确率对比

可以看到，DSAAN方法表现出了最佳的分类效果。为了验证本发明所提方法的效果并形象地展示样本域适应的过程，根据Session-to-Session transfer任务中被试1session1→session2的迁移过程，绘制了图5，其中红色的特征点为源域样本，蓝色的特征点为目标域样本。图5(a)为仅使用ResNet训练源域和目标域样本，不进行SAL损失计算，得到源域分类损失收敛后两域样本在特征空间的分布，可以看到尽管模型很好地将不同类别的源域样本分割开来，但是由于没有进行域适应，导致不同域样本的空间分布差异较大，若直接使用此时的模型训练目标域样本不会得到很好的预测结果，图5(b)为附加SAL损失计算后，源域样本分类损失和联想域损失均收敛时两域样本在特征空间的分布情况，可以看到模型不仅完成了对源域的分类训练，还通过最小化联想域损失达到了域适应效果，此时将模型直接作用于目标域便可得到好的分类效果。因此本发明所提出的基于深度联想学习的脑电情感模型可有效地完成跨时段，跨被试的脑电迁移学习需求。

从整体上看，本发明提出一种基于深度子域关联适应网络的脑电情感迁移模型来完成跨时段，跨被试的脑电情感分类任务。不同于最小化MMD距离的DDC和DAN模型与最小化域分类损失的对抗网络DANN模型，本发明通过神经网络为目标域特征样本赋以伪标签，根据源域真实标签与目标域伪标签将各域样本划分为子域。同时根据多核高斯函数映射后的距离度量计算往返于源域和目标域之间的关联循环，之后筛选所有循环结点均属于同类子域的关联循环，通过最小化SAL损失与源域分类损失的和达到域适应的效果。实验证明，所提方法在不同的迁移模式下对比其他域适应算法均取得了最好的分类结果，通过绘制并对比不计算SAL损失和计算SAL损失两种模式下特征样本的域适应过程，进一步佐证了最小化SAL损失可显著提高模型迁移效果。综上，DSAAN可作为一种有效的域适应算法用于情感脑电迁移任务中。

Claims (3)

1.基于深度子域关联适应网络的脑电情感迁移方法，其特征在于，该方法具体包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理；

步骤(2)：DE特征矩阵的构建；

步骤(3)：9-Layer ResNet网络的构建；

构建9层ResNet作为深度迁移网络模型，提取源域和目标域特征，为目标域样本赋值伪标签；所述的9-Layer ResNet网络的结构如表1所示：

步骤(4)：计算特征样本之间的距离度量；

使用多核高斯函数对经过9-Layer ResNet网络学习后的特征样本进行高维映射，将映射值作为不同域特征样本之间的距离度量；

步骤(5)：子域关联循环的计算与域适应结果；

根据特征样本的标签和距离度量计算源域和目标域中同类子域样本之间的子域关联循环损失，最后通过9-Layer ResNet的反向传播过程最小化源域分类损失与子域关联循环损失的和，达到域适应的效果；

子域关联循环损失的计算：带标签的源域数据和无标签的目标域数据以相同数量分批次经过特征提取和神经网络编码，对于生成的目标域特征向量，带有softmax层的神经网络对其输出

是一个概率分布，表征了该样本属于每个类的可能性，因此可根据输出的概率大小，取出对应最大概率的第C类作为该目标域样本的伪标签；对目标域特征样本进行为伪标签处理后，使用基于子域关联循环的域适应方法完成源域到目标域的迁移：

定义A_i和B_j分别为源域

和目标域

样本未经过softmax层的特征向量，A_i和B_j之间的相似度量M_i,j定义为基于多核高斯函数映射的距离度量：

K表示高斯核矩阵，记矩阵M为S→T的关联矩阵，矩阵中的元素可形象地理解为模型从源域样本出发，到达目标域样本需要行走的距离，对矩阵中的每一行元素进行归一化：

其中()'表示遍历，同理，取M的转置，得到模型从目标域样本返回到源域样本对应的距离，并得到B_j到A_i归一化后的值

模型从源域出发后，能达到与出发点样本相同标签的目标域样本，同时能再从该目标域样本返回到源域中同类标签的样本，记为一次好的联想循环；若所到达目标域样本的标签与出发点源域样本标签不同，记为一次失败的联想循环；结合源域的真实标签和目标域的伪标签定义子域关联循环：

遍历所有的关联循环后，计算其交叉熵损失:

L_SAL＝softmax_cols(P^aba) (4)

域适应结果：通过9-Layer ResNet的反向传播算法最小化源域分类损失与子域关联循环损失的和，达到域适应的效果:

其中L_class(·)代表训练源域的分类损失，L_SAL(·)代表子域关联循环损失，λ＞0代表权衡子域关联循环损失程度的正则化参数。

2.根据权利要求1所述的基于深度子域关联适应网络的脑电情感迁移方法，其特征在于：所述的多通道脑电信号采集与预处理，具体为：采集受试者的多通道脑电情感信号；接着利用带通滤波器针对每个通道的脑电信号分别进行8～13Hz、14～30Hz、31～50Hz的带通滤波，用于特征矩阵的构建。

3.根据权利要求1所述的基于深度子域关联适应网络的脑电情感迁移方法，其特征在于：所述的DE特征矩阵的构建，具体为：

分别计算各EEG样本αα、β、γ三个频带中各通道对应的微分熵特征，并根据脑电帽电极空间排布将各频带DE特征转换为二维特征矩阵，其中α的频段为8～13Hz、β的频段为14～30Hz、γ的频段为31～50Hz。

Images