CN114330422B - 一种实时估计脑电情感特征的跨被试迁移学习方法 - Google Patents

Abstract

本发明公开了一种实时估计脑电情感特征的跨被试迁移学习方法，包括如下步骤：步骤1脑电数据采集，步骤2脑电数据进行预处理，步骤3建立目标函数，步骤4迭代优化目标函数，步骤5将步骤2中完成预处理的脑电数据输入至迭代优化后的目标函数中，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态，另外，针对的是脑电研究领域较难的跨被试情景，通过半监督标签传播以及域适应联合迭代优化，半监督标签传播优化得到更好的目标标签，以得到更加优秀的映射矩阵提高迁移效果，使得源域数据和目标域数据更加接近，不断迭代、优化，从而得到更加优秀的情感状态识别结果，提高跨被试迁移进行情感识别的准确性。

Description

一种实时估计脑电情感特征的跨被试迁移学习方法

技术领域

本发明涉及脑电信号处理技术领域，具体指涉及半监督线性回归以及基于脑电特征的迁移学习方法。

背景技术

一般来说，情感识别有两种方式，一种是检测生理信号，一种是检测能体现情感的行为，比如表情，语音等等。人的情感会受到很多因素的影响，这无疑增加了情感识别的难度，另一方面，一些非生理信号是可以人为伪装的，所以，用非生理信号进行情感识别并不能保证情感的准确性，也就不能保证识别结果的可靠性。所以，脑电信号作为一种生理信号，不易伪装，不仅可以提高采集到的情感的准确性，也能使得识别结果更为可靠。

迁移学习,通俗的来说，就是通过找到已知的知识和新知识之间的相似性，从而能利用这个相似性来学习新的知识。我们将已知的知识叫做源域，而新的知识叫做目标域，虽然源域和目标域不同，但是一定会有某种关联，我们要做的就是减小源域和目标域之间的分布差异，进行迁移，从而能实现对目标域的数据标定。在常见的迁移学习方法中，基于特征的迁移学习是最为广泛使用的一种方法。通过学习一个源域和目标域共享的特征子空间，辅之以某种度量策略，来衡量这一特征子空间是否可以减小源域和目标域之间的分布差异。

然而，脑电信号非常灵敏，会因为被测者的生理上的差异，会带来有差异的分布，这无疑增加了迁移学习的难度，源域和目标域数据对齐效果很难取得理想的效果。另一方面，在半监督的迁移学习中，目标域的标签的是未知的，所以目标域的条件分布无法计算，传统的方法是通过源域训练出一个分类器，然后应用到目标域上，得到伪标签，这虽然解决了目标域标签未知的问题，但是一直用源域的分类器在每次迭代的过程中给目标域伪标签，效果也是不理想的，进而很难实现脑与设备之间进行精准的信息交互。

发明内容

本发明根据现有技术的不足，提出一种实时估计脑电情感特征的跨被试迁移学习方法，通过对源域和目标域数据在共享子空间的映射矩阵P,目标域情感标签Ft，最小二乘的偏置向量b以及权重矩阵W进行联合迭代优化，通过不断的迭代优化共享子空间，得到更好的迁移效果，提高识别的准确性。

为了解决上述技术问题，本发明的技术方案为：

一种实时估计脑电情感特征的跨被试迁移学习方法，包括如下步骤：

步骤1脑电数据采集

步骤2脑电数据进行预处理

对采集到的脑电数据进行预处理，每一个被试者的脑电数据对应一个样本矩阵，每一个样本矩阵都会有一个对应的标签向量，选取两个不同的样本矩阵，分别作为源域数据和目标域数据；

步骤3建立目标函数

分别建立特征迁移学习的域适应模型和基于最小二乘的半监督线性回归模型，并整合至一个统一的框架中，得到优化模型，并从优化模型中获取联合优化的目标函数；

步骤4迭代优化目标函数

根据步骤3得到的目标函数，依次对所述基于最小二乘的半监督线性回归模型中的权重矩阵W、偏置向量b以及所述特征迁移学习的域适应模型中的映射矩阵P、目标域数据标签Ft进行多次迭代优化；

步骤5将步骤2中完成预处理的脑电数据输入至迭代优化后的目标函数中。

作为优选，所述步骤1中，通过诱导被试者产生不同的情绪变化，并采集其脑电数据。

作为优选，所述预处理包括按固定频率对脑电数据进行采样，并将采样的脑电数据通过带通滤波器滤除噪声和伪影。

作为优选，所述步骤2还包括将滤除噪声和伪影后的脑电数据按n个频段进行分类，分别计算每个频段下的微分熵，所述微分熵作为样本矩阵中的脑电特征。

作为优选，所述带通滤波器为1hz-75hz带通滤波器。

作为优选，滤除噪声和伪影后的所述脑电数据按Delta(1-4Hz)，Theta(4-8 Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz)分为5个频段。

作为优选，所述特征迁移学习的域适应模型为：

其中，作为将源域数据和目标域数据映射到同一共享子空间的映射矩阵，p表示目标维度，d表示原始维度，/>为增广源域数据标签，Y_s为源域数据标签，并采用one-hot编码形式，c为样本矩阵中情感类别数，为增广目标域数据标签，n_s，n_t分别为源域数据和目标域数据的样本量，n＝n_s+n_t表示总的样本个数，

为对角矩阵，Ns，Nt均为对角矩阵，其中，第k个对角元素为第k类源域或者目标域数据样本数量的倒数，

为中心矩阵，I为单位阵，表示Frobenius范数的计算，上标T表示转置；

所述基于最小二乘的半监督线性回归模型为：

其中，其中X为样本矩阵；

将所述特征迁移学习的域适应模型和所述基于最小二乘的半监督线性回归模型进行联合优化后，进而得到优化模型为：

其中，d，β均为参数。

作为优选，所述步骤4中在迭代优化目标函数前，需对目标域标签、映射矩阵和权重矩阵进行初始化，其中目标域标签Ft初始化为1/k，映射矩阵P和权重矩阵W随机初始化。

作为优选，步骤4中联合迭代的具体方法为：

固定映射矩阵P，权重矩阵W，目标域标签Ft，更新偏置向量b，其目标函数为：

求解公式(4)即可得到更新后的偏置向量b；

固定映射矩阵P，偏置向量b，目标域标签Ft，更新权重矩阵W，其目标函数为：

求解公式(5)即可得到更新后的权重矩阵W。

固定映射矩阵P，偏置向量b，权重矩阵W，更新目标域标签Ft，其目标函数为：

求解公式(6)即可得到更新后的目标域标签Ft。

固定目标域标签Ft，偏置向量b，权重矩阵W，更新映射矩阵P，其目标函数为：

求解公式(7)即可得到更新之后的映射矩阵P。

多次重复完成目标域标签Ft，偏置向量b，权重矩阵W，映射矩阵P的联合迭代优化，进而完成目标函数的迭代优化。

本发明具有以下的特点和有益效果：

采用上述技术方案，本发明提出了实时估计目标被试者情感状态的脑电特征迁移学习方法模型为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态，从而根据识别结果对其进行精准的治疗。另外，针对的是脑电研究领域较难的跨被试情景，通过半监督标签传播以及域适应联合迭代优化，半监督标签传播优化得到更好的目标标签，以得到更加优秀的映射矩阵提高迁移效果，从而使得源域数据和目标域数据更加接近，不断迭代、优化，从而得到更加优秀的情感状态识别结果，提高跨被试迁移进行情感识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

本发明提供了一种实时估计脑电情感特征的跨被试迁移学习方法，如图1 所示，包括如下步骤：

步骤1脑电数据采集；

步骤2脑电数据进行预处理；

步骤3建立目标函数；

步骤4迭代优化目标函数；

步骤5将步骤2中完成预处理的脑电数据输入至迭代优化后的目标函数中。

上述技术方案中，为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态，从而根据识别结果对其进行精准的治疗。

具体的，步骤1中，被试者通过脑电脑电帽导联连接到对应的脑区，在不同的时间播放K种带有明显感情倾向的影片片段，从而诱导被试者产生情绪的变化，将采集到的脑电数据作为原始的情感数据集。

上述技术方案中，通过在不同时间播放K种带有明显感情倾向的影片片段，从而确保获取的脑电数据更加全面，避免出现不同的时间段，对于相同的情绪表达出不同脑电数据，进而影响了后期的识别，进而为后期根据脑电数据准确识别被试者的情感状态奠定基础。

本发明的进一步设置，步骤2中，对步骤1采集到的脑电数据进行预处理，每一个被试者的脑电数据对应一个样本矩阵X，每一个样本矩阵都会有一个对应的情感标签向量y，共有c类情感；选取两个不同的样本矩阵，分别作为源域数据Xs和目标域数据Xt；

具体的，本实施例中，采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz-75hz的带通滤波器滤除噪声和伪影，分别在5个频段(Delta(1-4 Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50 Hz))计算其微分熵(DE)作为样本矩阵X，计算公式如下：

其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。

通过上述技术方案，可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即因此，通过脑电信号的预处理可提高信噪比，进而提高数据的预处理效果，减少干扰，为后期识别准确奠定基础。

其中，标签向量y为样本矩阵X对应的情感标签。

本发明的进一步设置，步骤3中，分别建立特征迁移学习的域适应模型和基于最小二乘的半监督线性回归模型，并整合至一个统一的框架中，得到优化模型，并从优化模型中获取联合优化的目标函数。

具体的，所述特征迁移学习的域适应模型为：

其中，作为将源域数据和目标域数据映射到同一共享子空间的映射矩阵，p表示目标维度，d表示原始维度，/>为增广源域数据标签，Y_s为源域数据标签，并采用one-hot编码形式，c为样本矩阵中情感类别数，为增广目标域数据标签，n_s，n_t分别为源域数据和目标域数据的样本量，n＝n_s+nt表示总的样本个数，

为对角矩阵，Ns，Nt均为对角矩阵，其中，第k个对角元素为第k类源域或者目标域数据样本数量的倒数，

为中心矩阵，I为单位阵，表示Frobenius范数的计算，上标T表示转置；

所述基于最小二乘的半监督线性回归模型为：

其中，其中X为样本矩阵；

将所述特征迁移学习的域适应模型和所述基于最小二乘的半监督线性回归模型进行联合优化后，进而得到优化模型为：

其中，α，β均为参数。

本发明的进一步设置，步骤4迭代优化目标函数

根据步骤3得到的目标函数，依次对所述基于最小二乘的半监督线性回归模型中的权重矩阵W、偏置向量b以及所述特征迁移学习的域适应模型中的映射矩阵P、目标域数据标签Ft进行多次迭代优化；

其中，所述步骤4中在迭代优化目标函数前，需对目标域标签、映射矩阵和权重矩阵进行初始化，其中目标域标签Ft初始化为1/k，映射矩阵P和权重矩阵W随机初始化。

进一步的，步骤4中联合迭代的具体方法为：

一、固定映射矩阵P，权重矩阵W，目标域标签Ft，更新偏置向量b，其目标函数为：

可以理解的，求解这个目标函数计算得到偏置向量b的迭代表达式：

b＝1/n(Y^T1-W^TP^TX1)

通过上述偏置向量b的迭代表达式更新偏置向量b。

二、固定映射矩阵P，偏置向量b，目标域标签Ft，更新权重矩阵W，其目标函数为：

可以理解的，求解这个目标函数计算得到权重矩阵W的迭代表达式：

W＝(P^TXHX^TP+βI)^-1P^TXHY

通过上述权重矩阵W的迭代表达式更新权重矩阵W。

三、固定映射矩阵P，偏置向量b，权重矩阵W，更新目标域标签Ft，其目标函数为：

求解公式(6)即可得到更新后的目标域标签Ft。

可以理解的，求解公式(6)，采用按行求解的方式进行化简。

第一项化为迹矩阵形式：

其中，N＝N_tN_t，Z＝B^TB，Y_s为源域的onehot 情感标签。

第二项化为迹矩阵形式：

将以上两个结果整理成行求解的形式：

其中m_i是矩阵M的第i列，而

综上可以得出对单独一行求解的形式：

s.t.x≥0，1^Tx＝1

其中

求解上述单独一行求解公式即可得到更新后的目标域标签Ft。

四、固定目标域标签Ft，偏置向量b，权重矩阵W，更新映射矩阵P，其目标函数为：

求解公式(7)即可得到更新之后的映射矩阵P。

可以理解的，公式(7)的求解需求导后化简成sylvester方程形式，结果如下：

(XHX)^-1(T+αG)P+PWW^T＝(XHX)^-1XHYW^T

其中，矩阵G是一个对角矩阵，其对角线的值G_ii＝1/||p_si-p_ti||2，P_si和p_ti分别是映射矩阵Ps和Pt对应的行向量。

多次重复完成目标域标签Ft，偏置向量b，权重矩阵W，映射矩阵P的联合迭代优化，进而完成目标函数的迭代优化。

可以想到的，最后，将步骤5将步骤2中完成预处理的脑电数据输入至迭代优化后的目标函数中，获得预测情感标签，该预测标签即为样本对应的被试者在采集时刻的情感状态。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (8)

1.一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，包括如下步骤：

步骤1脑电数据采集

步骤2脑电数据进行预处理

对采集到的脑电数据进行预处理，每一个被试者的脑电数据对应一个样本矩阵，每一个样本矩阵都会有一个对应的标签向量，选取两个不同的样本矩阵，分别作为源域数据和目标域数据；

步骤3建立目标函数

分别建立特征迁移学习的域适应模型和基于最小二乘的半监督线性回归模型，并整合至一个统一的框架中，得到优化模型，并从优化模型中获取联合优化的目标函数；

所述特征迁移学习的域适应模型为：

其中，作为将源域数据和目标域数据映射到同一共享子空间的映射矩阵，p表示目标维度，d表示原始维度，/>为增广源域数据标签，Y_s为源域数据标签，并采用one-hot编码形式，c为样本矩阵中情感类别数，/>为增广目标域数据标签，n_s，n_t分别为源域数据和目标域数据的样本量，n＝n_s+n_t表示总的样本个数，

为对角矩阵，Ns，Nt均为对角矩阵，其中，第k个对角元素为第k类源域或者目标域数据样本数量的倒数，

为中心矩阵，I为单位阵，表示Frobenius范数的计算，上标T表示转置；

所述基于最小二乘的半监督线性回归模型为：

s.t.Ft≥0,F1＝1(2)

其中，其中X为样本矩阵；

将所述特征迁移学习的域适应模型和所述基于最小二乘的半监督线性回归模型进行联合优化后，进而得到优化模型为：

其中，α，β均为参数；

步骤4迭代优化目标函数

根据步骤3得到的目标函数，依次对所述基于最小二乘的半监督线性回归模型中的权重矩阵W、偏置向量b以及所述特征迁移学习的域适应模型中的映射矩阵P、目标域数据标签Ft进行多次迭代优化；

步骤5将步骤2中完成预处理的脑电数据输入至迭代优化后的目标函数中。

2.根据权利要求1所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，所述步骤1中，通过诱导被试者产生不同的情绪变化，并采集其脑电数据。

3.根据权利要求1所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，所述预处理包括按固定频率对脑电数据进行采样，并将采样的脑电数据通过带通滤波器滤除噪声和伪影。

4.根据权利要求3所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，所述步骤2还包括将滤除噪声和伪影后的脑电数据按n个频段进行分类，分别计算每个频段下的微分熵，所述微分熵作为样本矩阵中的脑电特征。

5.根据权利要求3所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，所述带通滤波器为1hz-75hz带通滤波器。

6.根据权利要求4所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，滤除噪声和伪影后的所述脑电数据按Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz)分为5个频段。

7.根据权利要求1所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，所述步骤4中在迭代优化目标函数前，需对目标域标签、映射矩阵和权重矩阵进行初始化，其中目标域标签Ft初始化为1/k,映射矩阵P和权重矩阵W随机初始化。

8.根据权利要求7所述的一种实时估计脑电情感特征的跨被试迁移学习方法，其特征在于，步骤4中联合迭代的具体方法为：

固定映射矩阵P，权重矩阵W，目标域标签Ft，更新偏置向量b，其目标函数为：

求解公式(4)即可得到更新后的偏置向量b；

固定映射矩阵P，偏置向量b，目标域标签Ft，更新权重矩阵W，其目标函数为：

求解公式(5)即可得到更新后的权重矩阵W，

固定映射矩阵P，偏置向量b，权重矩阵W，更新目标域标签Ft，其目标函数为：

求解公式(6)即可得到更新后的目标域标签Ft；

固定目标域标签Ft，偏置向量b，权重矩阵W，更新映射矩阵P，其目标函数为：

求解公式(7)即可得到更新之后的映射矩阵P，

多次重复完成目标域标签Ft，偏置向量b，权重矩阵W，映射矩阵P的联合迭代优化，进而完成目标函数的迭代优化。