CN114190944B - 基于脑电信号的鲁棒情绪识别方法 - Google Patents

Abstract

一种基于脑电信号的鲁棒情绪识别方法，通过湿电极或干电极脑电帽采集脑电信号并经预处理，通过微分熵特征提取得到训练集，训练用于情绪识别的神经过程模型，从而较好地应对脑电信号采集中的部分电极阻抗过大、导联脱落、噪音过大等问题。

Description

基于脑电信号的鲁棒情绪识别方法

技术领域

本发明涉及的是一种情感脑机接口技术，具体是一种基于脑电信号的鲁棒情绪识别方法。

背景技术

近年来，在情感脑机接口领域，脑电信号因其识别情绪状态的可重复性和客观性而变得越来越有吸引力。与非生理信号相比，生理信号不易隐瞒和受个人主观意志控制。目前，研究者已经提出了用于情绪识别的有效脑电信号特征提取方法，然而脑电信号收集和标记成本较高，且脑电采集设备通常昂贵且不方便佩戴。除此之外，无论是在实验室环境中还是在真实场景下，脑电采集过程中都难免遇到导联脱落的情况，比如被试在信号采集过程中存在出汗、导联电阻过高、电极接触不良等，而且真实场景中脑电信号不纯净的概率更大。因此，通常只有在实验室环境中才能获取高质量的脑电信号数据，采集到的脑电信号噪音过大或者部分导联数据不完整，是基于脑电信号的模式信号识别领域中需要面临的一大难题。

针对采集到的脑电信号质量较差的难题，目前的主要解决方法有两个方向：第一个是从数据处理出发，对收集到的脑电信号进行降噪处理，并去除眼动，肌电，心电等人体本身所带来的干扰，即去除伪迹；第二个是从采集过程出发，给被试者提供安静且温度适宜的环境，并尽量减少被试者的肢体动作，从而减少脑电信号的噪音干扰。但是这两种方法主要都是用来降噪，无法应对脑电信号采集过程中导联脱落的问题。而导联脱落会造成脑电信号数据不完整，对后续的数据分析和模型训练有较大影响。因此，一种即使脑电信号的部分导联脱落或噪声过大，依然有较好表现的鲁棒情绪识别方法变得必要。

发明内容

本发明针对现有脑电数据尤其是非实验室条件下采集到的脑电数据因其质量不确定性而无法被直接用于情绪识别的缺陷和不足，提出一种基于脑电信号的鲁棒情绪识别方法，能应对脑电信号采集中常见的导联脱落或部分导联噪声过大等问题。

本发明是通过以下技术方案实现的：

本发明涉及一种基于脑电信号的鲁棒情绪识别方法，通过电极脑电帽采集脑电信号并经预处理，通过提取微分熵特征生成训练集用于训练神经过程模型，采用训练后的神经过程模型进行情绪识别。

所述的预处理是指：对采集到的脑电信号降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。

所述的提取微分熵特征是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵(Differential Entropy，DE)特征，具体包括以下步骤：

1)对于脑电信号序列x[n]＝x₁,…,x_n，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其中是角频率，k＝0,1,…,N-1，w[n]是窗函数。

对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号。

所述的窗函数指汉宁窗(Hanningwindow)，即经过汉宁窗处理减少由于傅里叶变换导致的频谱损失。

2)根据特征频段计算出相应的能量谱E(ω_k)＝X(m,ω_k)X^*(m,ω_k)。

3)基于能量谱计算微分熵特征其中X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ,σ²)，则微分熵为/>

由于脑电信号的微分熵只和方差σ²有关，而脑电信号中的直流分量经带通滤波滤除，因此均值为0。因此有而脑电信号不同频段的方差σ²与该频段能量P_i成正比，即/>由此得到每个频段的微分熵/>

所述的特征频段包括：Delta波，其频率范围为：1-4Hz、Theta波，其频率范围为：4-8Hz、Alpha波，其频率范围为：8-14Hz、Beta波，其频率范围为：14-31Hz、Gamma波，其频率范围为：31-50Hz。

所述的神经过程模型(NP)基于神经网络概率模型，包括：基于注意力机制的池化单元、基于深度神经网络的两组编码器单元、解码器单元以及聚合器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征；第一编码器单元针对上下文集的每一组数据，通过神经网络映射，得到一组潜在数据表征向量；聚合器单元通过均值函数，将多个潜在数据表征向量聚合为同维度的单个向量；第二编码器单元根据聚合后的数据表征，并对其进行编码，得到输入向量的数据表达和分布表达；解码器单元根据上下文集得到的数据表达和分布表达以及目标集的源数据，对其进行解码重构，并得到预测结果。

所述的训练是指：通过神经过程模型中的编码器单元将上下文集和目标集的数据转换成数据表达r和分布表达z，根据一些观察值对潜在的真实函数进行推断，最终借助目标集X_t、分布表达z和数据表达r共同经过解码器得到预测值，具体包括：将输入数据划分为上下文集{X_1:m,Y_1:m}和目标集{X_1:n,Y_1:n}：首先经过一个selfattention层，给不同的数据赋予不同的权重，然后经过一个作为编码器的神经网络，将{X_1:m,Y_1:m}和{X_1:n,Y_1:n}转换为深度特征表示r_c和r_t，r_c和r_t紧接着被一个聚合器聚合(平均)得到r，r的作用是使全局隐变量的z的分布参数化，例如再次借助一个神经网络得到r近似的高斯分布，即把r转换成了表示分布的μ和θ。分别基于上下文集和目标集中的点，可得到两组后验分布q_c和q_t。计算这两组后验分布的KL散度(Kullback-LeiblerDivergence)得到损失函数。

所述的测试阶段，将上下文集中的点(x_c，y_c)，经过训练好的编码器单元和聚合器单元得到后验分布q，并进一步采样得到全局隐变量z，最终以目标集的数据X_t和z作为输入，通过训练好的解码器得到预测数据值y_p。

技术效果

与现有技术相比，本发明在基于脑电信号的情绪识别问题中，采用神经过程模型替代常见的神经网络模型，即使采集到的脑电数据存在噪音较大或者导联脱落等问题，依然得到较高的准确率，从而得到了一个鲁棒性更好的情绪识别方法。从结果来看，即使导联脱落到全部导联的一半以下，模型的准确率依然没有较大的下降，从而能应对现实脑电数据采集中常见的导联脱落或者部分电极阻抗过大等问题。

附图说明

图1为本发明神经过程模型示意图；

图2为本发明中情绪识别实验的实验流程图；

图3为本发明中情绪识别实验的导联脱落测试的结果。

具体实施方式

如图1所示，为本实施例涉及一种基于脑电信号的鲁棒情绪识别方法，具体包括：

步骤一：给定15名被试者分三次参与实验，观看高兴、悲伤及中性三种类型情绪刺激素材，以诱发被试相应的情绪，每种情绪共五个片段。通过62导脑电帽，根据10-20国际标准电位分布采集被试脑电数据。

步骤二：将数据降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。

步骤三：对脑电信号进行短时傅里叶变换，在Delta、Theta、Alpha、Beta、Gamma五个频段上以1秒的时间窗口提取微分熵特征。

步骤四：将其中14名被试者每名被试3394个样本点作为源域数据输入到神经过程模型中，训练神经过程。

1)定义一个随机过程，记作F。基于可交换性和一致性，定义为(F(x₁),F(x₂),…,F(x_n))的边际分布，则/>

2)给定随机过程f特定实例，联合分布随机过程由下式指定： 其中：部分观测噪音Y_i-N(F(x_i),σ²))，所有随机量的抽象概率分布/>

3)为了使用神经过程表示随机过程，需要用神经网络对其进行近似。假设F通过高维随机向量z进行参数化，则F(x)＝g(x,z)，其中z是足够表示F的随机向量，所以对函数的采样即看作是对z的采样。用g(x,z)代替原来的f(x)，得到：

4)考虑到解码器g是非线性的，把q(z|x_1:n,y_1:n)定为隐变量z的变分后验，利用变分推断优化似然，得到ELBO的下界为：

5)为了更好地反映测试时模型的表现，将数据集划分为上下文集(x_1:m,y_1:m)，和目标集(x_m+1:n,y_m+1:n)，则公式变为：

步骤五：测试时分别采用以下两种方式来测试模型在不同干扰下的表现。对比的神经网络为支持向量机svm、多层感知机mlp以及长短期记忆网络lstm，评价标准为准确率accuracy。

1)保持整体导联数量不变，部分导联加噪，模仿真实场景中可能出现的个别导联噪声较大/电极接触不好/局部运动造成影响等情况。对比神经过程和其他三种方法的表现，结果如表1所示。

表1

	无噪声	20导高斯噪声	30导高斯噪声	40导高斯噪声
					SVM	74.61	58.94	48.24	40.66
MLP	82.84	77.38	75.96	74.91
					LSTM	84.74	80.81	79.89	78.88
NP	75.11	73.04	72.02	70.26

2)模拟真实场景中出现的导联脱落情况，即随机选择一个导联，将该导联的数据替换成0，模拟该导联脱落的情况。湿电极脑电帽一共采集62导数据，脱落导联的数目分别为0、12、22、32、42、52、57，即保留导联数目分别是62，50，40，30，20，10，5。对比神经过程和其他三种方法的表现，结果如表2所示。

表2

神经过程在情绪识别实验中的整体测试结果如表1和表2所示，结合图3看出，无论是在导联总数不变的加噪声测试实验中，还是在随机导联脱落的实验中，神经过程的准确率下降均很慢，尤其是在随机导联脱落的实验中，即使已经脱落了57导，本发明的方法依然有69.35的准确率，可见神经过程在保证准确率较高水平的同时，还保持着很高的鲁棒性。

经过在基于脑电信号的情绪识别问题中的测试看出，本方法在保持较好表现的同时兼具很良好的鲁棒性，尤其是当出现导联脱落或损坏的情况时，表现随着脱落导联数目的增加下降很慢，而真实场景中采集脑电信号时经常遇到导联故障的情况，比如部分导联电阻过大造成噪音太大，或者被试由于汗水等造成部分导联数据无法使用等等，这说明本方法在一定程度上应对脑电信号采集过程中的导联脱落问题，具有一定的实际应用意义。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于脑电信号的鲁棒情绪识别方法，其特征在于，通过电极脑电帽采集脑电信号并经预处理，通过提取微分熵特征生成训练集用于训练神经过程模型，在测试阶段采用训练后的神经过程模型进行情绪识别；

所述的预处理是指：对采集到的脑电信号降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹；

所述的神经过程模型基于神经网络概率模型，包括：基于注意力机制的池化单元、基于深度神经网络的两组编码器单元、解码器单元以及聚合器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征；第一编码器单元针对上下文集的每一组数据，通过神经网络映射，得到一组潜在数据表征向量；聚合器单元通过均值函数，将多个潜在数据表征向量聚合为同维度的单个向量；第二编码器单元根据聚合后的数据表征，并对其进行编码，得到输入向量的数据表达和分布表达；解码器单元根据上下文集得到的数据表达和分布表达以及目标集的源数据，对其进行解码重构，并得到预测结果。

2.根据权利要求1所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的提取微分熵特征是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵特征。

3.根据权利要求1或2所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的提取微分熵特征，具体包括以下步骤：

1)对于脑电信号序列x[n]＝x₁,…,x_n，其中：n表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其中/>是角频率，k＝0,1,…,N-1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号；

2)根据特征频段计算出相应的能量谱E(ω_k)＝X(m,ω_k)X^*(m,ω_k)；

3)基于能量谱计算微分熵特征其中X为随机变量，f(x)是X概率密度函数，/>是f(x)的支持；当脑电信号服从X的高斯分布N(μ,σ²)，则微分熵为/> 由于脑电信号的微分熵只和方差σ²有关，而脑电信号中的直流分量经带通滤波滤除，因此均值为0，因此有/>而脑电信号不同频段的方差σ²与该频段能量P_i成正比，即/>由此得到每个频段的微分熵

4.根据权利要求3所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的特征频段包括：Delta波，其频率范围为：1-4Hz、Theta波，其频率范围为：4-8Hz、Alpha波，其频率范围为：8-14Hz、Beta波，其频率范围为：14-31Hz、Gamma波，其频率范围为：31-50Hz。

5.根据权利要求1所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的训练是指：通过神经过程模型中的编码器单元将上下文集和目标集的数据转换成数据表达r和分布表达z，根据一些观察值对潜在的真实函数进行推断，最终借助目标集X_t、分布表达z和数据表达r共同经过解码器得到预测值。

6.根据权利要求1或5所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的训练，具体为：将输入数据划分为上下文集{X_1:m,Y_1:m}和目标集{X_1:n,Y_1:n}：首先经过一个selfattention层，给不同的数据赋予不同的权重，然后经过一个作为编码器的神经网络，将{X_1:m,Y_1:m}和{X_1:n,Y_1:n}转换为深度特征表示r_c和r_t，r_c和r_t紧接着被一个聚合器聚合得到r，r的作用是使全局隐变量的z的分布参数化，再次借助一个神经网络得到r近似的高斯分布，即把r转换成了表示分布的μ和θ；分别基于上下文集和目标集中的点，可得到两组后验分布q_c和q_t；计算这两组后验分布的KL散度得到损失函数。

7.根据权利要求1所述的基于脑电信号的鲁棒情绪识别方法，其特征是，所述的测试阶段，将上下文集中的点(x_c，y_c)，经过训练好的编码器单元和聚合器单元得到后验分布q，并进一步采样得到全局隐变量z，最终以目标集的数据X_t和z作为输入，通过训练好的解码器得到预测数据值y_p。