CN115114953B - 一种基于循环神经网络的情绪脑信号识别方法 - Google Patents

Abstract

本发明公开了一种基于循环神经网络的情绪脑信号识别方法，包括：1)获取训练的情绪脑信号并预处理操作，得到重新分割后的信号片段；2)对重新分割后的每个信号片段，分别针对时域信息与空域信息进行微分熵特征与黎曼特征的计算，得到相应特征向量；3)将特征向量输入构建的循环神经网络进行训练，得到训练好的循环神经网络；4)调用训练好的循环神经网络，实现对情绪脑信号分类，得到最终的识别结果。本发明实现了从原始脑信号中提取更有效的特征，并对特征进行表示使其具有更明显的时空相关性和判别性。

Description

一种基于循环神经网络的情绪脑信号识别方法

技术领域

本发明涉及脑信号分类的技术领域，尤其是指一种基于循环神经网络的情绪脑信号识别方法。

背景技术

情绪与人类行为、家庭和社会密切相关，因而如何识别人们的情绪变化也就成为了一个重要的课题。脑信号能反应大脑神经的基本活动且不容易伪装，因而基于脑信号的情绪识别能更加真实可靠，随着脑机接口技术的发展，基于脑信号的情绪识别也受到了广大研究者的关注。尽管今年来情绪脑信号识别方法层出不穷，但想要进一步提升情绪识别效果，仍然有一些问题等待进一步研究：一是当前有的情绪特征提取方法大都只考虑了脑信号的时序特征，如何从原始脑信号中提取出更具判别性的情绪特征仍有待探索，二是传统基于脑信号的情绪分类方法通常使用主成分分析等方法进行，难以从机器学习的角度挖掘不同脑信号特征的重要性，如何建立更有效的情绪特征识别计算模型依然需要进一步研究。基于此，本发明提出了一种基于循环神经网络的情绪脑信号识别方法。

发明内容

本发明的目的在于针对基于传统情绪脑信号特征提取方法存在的忽略空域信息的问题，实现对积极、平静、消极三种不同情绪的有效区分，提出了一种基于循环神经网络的情绪脑信号识别方法，实现了从原始脑信号中提取更有效的特征，并对特征进行表示使其具有更明显的时空相关性和判别性。

为实现上述目的，本发明所提供的技术方案为：一种基于循环神经网络的情绪脑信号识别方法，包括以下步骤：

1)获取训练的情绪脑信号，依次进行滤波和片段分割的预处理操作，得到重新分割后的信号片段；

2)对重新分割后的每个信号片段，分别针对时域信息与空域信息进行微分熵特征与黎曼特征的计算，得到相应特征向量；

3)针对获取的特征向量，使用改进循环神经元构建循环神经网络，将特征向量输入构建的循环神经网络进行训练，寻找网络的最佳参数，得到训练好的循环神经网络；其中，所述改进循环神经元为带有记忆功能的循环神经元变体LSTM神经元；

4)调用训练好的循环神经网络，实现对情绪脑信号分类，得到最终的识别结果。

进一步，在步骤1)中，对于获取的情绪脑信号，称为训练数据，该训练数据经过五阶巴特沃斯带通滤波，滤波带宽为0.1-70HZ，以及频率为50HZ的陷波滤波；对于每一条训练数据，采用无重叠的切割方法将其分割为长度8秒的子片段，对每一个子片段进一步做子频带划分，得到62个通道在5个频率段内的数据，该5个频率段分别为：①Delta频段：1-3Hz，②Theta频段：4-7Hz，③Alpha频段：8-13Hz，④Beta频段：14-30Hz，⑤Gamma频段：31-50Hz。

进一步，在步骤2)中，分别针对数据的空域信息和时域信息提取微分熵特征和黎曼特征，其中，微分熵特征的具体计算方法如下：

对于每个片段的每个通道数据，使用滑动窗口的方式将其切割成窗口长度为8秒的小窗，滑动间隔4秒，接着使用傅里叶变换将窗口中信号由时域变换到频域，随后按照以下公式：

式中，m为对应时间段的序号，f_k为对应子频段的组合，函数x(m，f_k)表示在m时间段及f_k对应频率的组合下的频谱值，在频率域上分别计算每个频段的能量信号，并取对数就得到了相应的微分熵特征DE；

黎曼特征的具体计算方法如下：

对每个片段的数据计算协方差特征，每一个协方差特征P_j都能够看作是黎曼流形上的点，j＝1,2,…,m，定义黎曼流形上任意两点P₁、P₂间的测地距离δ_R(P₁,P₂)为：

式中，λ_i表示矩阵P₁ ^-1P₂的实特征值，i＝1,2,…,C，则有黎曼均值点求解方法如下：

式中，P_j表示第j个协方差特征，该式表示在黎曼流形上寻找一点P，使得流形上其它点P_j与P之间的测地距离δ_R(P,P_j)之和最小，该式无解析解，由梯度下降迭代求解；以黎曼均值点C_ref为切点做切平面，将P_j投影到切平面上得到对应切向量T_j，即有：

式中，P为通过梯度下降迭代求解而得的点，Logm(·)表示求矩阵对数运算，T_j即为求取的黎曼特征。

进一步，在步骤3)中，构建的循环神经网络包含特征处理模块、特征融合模块和分类部分；

所述特征处理模块分别针对微分熵特征与黎曼特征这两种特征输入，具体执行以下操作：

对于微分熵特征，先使用带有记忆功能的循环神经元变体LSTM神经元进行训练学习，再应用批标准化模块减少协方差偏移，加速网络的训练，共使用了三层结合批标准化的LSTM网络实现对微分熵特征的进一步提取，然后使用全连接层实现对特征的非线性变换，将输出作为下一级特征融合模块的输入；对于黎曼特征，直接使用两层全连接网络实现对冗余特征的过滤，借助Dropout策略防止过拟合的发生，同样将输出作为下一级特征融合模块的输入；

所述特征融合模块用于实现对黎曼特征与微分熵特征的有机融合，具体执行以下操作：

分别对特征处理模块的输出使用两个全连接层作为注意力机制输入的编码器，然后使用Soft Attention机制学习编码器输出，得到每个特征对应的权重α，将这个权重α与特征处理模块的输出向量做算数运算得到加权后的特征表达y如下：

y＝(1+α)*(feature(spatial)+feature(temporal))

式中，feature(temporal)表示对应的微分熵特征，feature(spatial)表示对应的黎曼特征；

所述分类部分由结合了softmax的全连接网络构成，实现了对特征的分类，得到情绪脑信号识别结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明将脑信号的时域信息与空域信息都考虑在内，弥补了传统情绪识别中存在的只考虑时域信息的缺点，实现了对脑信号信息的有效提取。

2、本发明利用循环神经网络，实现了对时、频、空域特征的有效结合，与其它基于传统方法的情绪脑信号识别方法相比，准确率有一定幅度提升。

3、本发明方法在情绪识别领域中具有广泛的使用空间，操作简单、适应性强，具有广阔的应用前景。

附图说明

图1为本发明方法的逻辑流程示意图。

图2为黎曼流形和切平面示意图。

图3是构建的循环神经网络结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供了一种基于循环神经网络的情绪脑信号识别方法，分为信号采集与处理、特征提取、网络训练和特征分类，具体包括以下步骤：

1)获取训练的情绪信号并进行基础的预处理。本发明对成年人的情绪数据进行分析，数据库来源为上海交通大小BCMI实验室，数据来源15名成年人，每人进行三次实验，每次实验包含十五次情绪数据，使用国产影片作为情绪诱发工具，记录了实验者在观看平静、积极和消极三种不同情绪时62个通道的脑信号数据。将训练数据降采样至200HZ经过五阶巴特沃斯带通滤波，滤波带宽为0.1-70HZ，然后进行频率为50HZ的陷波滤波；对于每一条训练数据，采用无重叠的切割方法将其分割为长度8秒的子片段，对于每一个子片段进一步划分，得到62个通道在Delta、Theta、Alpha、Beta、Gamma这5个频率段的数据。

2)针对脑信号的时序特征与空域特征，分别提取微分熵特征与黎曼特征。

对于黎曼特征，综合考虑62个通道的信息，对每个片段的离散数据计算协方差矩阵，公式如下：

式中，X_j∈R^C×N，R为实数集，表示第j次采集得到的脑信号数据，j＝1,2,…,m，C表示传感器通道数，N表示特定采样频率下的时间序列长度。如图2所示，其中1是投影切点，2是依投影切点1作的切空间，3是黎曼流形，每一个协方差特征P_i都可以看作是黎曼流形上的点，定义黎曼流形上任意两点P₁、P₂间的测地距离δ_R(P₁,P₂)为：

式中，λ_i表示矩阵P₁ ^-1P₂的实特征值，i＝1,2,...,C，则有黎曼均值求解方法如下：

式中，P_j表示第j个协方差特征，该式表示在黎曼流形上寻找一点P，使得流形上其他点P_j与P之间的测地距离δ_R(P,P_j)之和最小，该式无解析解，由梯度下降迭代求解，以求得的黎曼均值点C_ref为切点做切平面，将P_j投影到切平面上得到对应切向量T_j，即有：

式中，P为通过梯度下降迭代求解而得的点，Logm(·)表示求矩阵对数运算，T_j即为求取的黎曼特征。

对于微分熵特征，对于每个片段的每个通道数据，使用滑动窗口的方式将切割成窗口长度为8秒的小窗，滑动间隔4秒，接着使用傅里叶变换将信号由时域变换到频域，随后按照以下公式：

式中，m为对应时间段的序号，f_k为对应子频段的组合，函数x(m，f_k)表示在m时间段及f_k对应频率的组合下的频谱值，在频率域上分别计算每个频段的能量信号，并取对数就得到了相应的微分熵特征DE。

3)针对信号分类，使用改进循环神经元构建循环神经网络，将特征向量输入构建的循环神经网络进行训练，寻找网络的最佳参数，得到训练好的循环神经网络；如图3所示，构建的循环神经网络包含特征处理模块、特征融合模块和分类部分。

所述特征处理模块分别针对微分熵特征与黎曼特征这两种特征输入，具体执行以下操作：对于微分熵特征，先使用带有记忆功能的循环神经元变体LSTM神经元进行训练学习，再应用批标准化模块减少协方差偏移，加速网络的训练，共使用了三层结合批标准化的LSTM网络实现对微分熵特征的进一步提取，然后使用全连接层实现对特征的非线性变换，将输出作为下一级特征融合模块的输入；对于黎曼特征，直接使用两层全连接网络实现对冗余特征的过滤，借助Dropout策略防止过拟合的发生，同样将输出作为下一级特征融合模块的输入；

所述特征融合模块用于实现对黎曼特征与微分熵特征的有机融合，具体执行以下操作：

分别对特征处理模块的输出使用两个全连接层作为注意力机制输入的编码器，然后使用Soft Attention机制学习编码器输出，得到每个特征对应的权重α，将这个权重α与特征处理模块的输出向量做算数运算得到加权后的特征表达y如下：

y＝(1+α)*(feature(spatial)+feature(temporal))

式中，feature(temporal)表示对应的微分熵特征，feature(spatial)表示对应的黎曼特征；

所述分类部分由结合了softmax的全连接网络构成，实现了对特征的分类，得到情绪脑信号识别结果。

4)调用训练好的循环神经网络，实现对情绪脑信号分类，得到最终的识别结果。使用平均分类准确率来对网络学习结果进行评估，实验表明，本发明所提供方法能有效提升情绪数据集的识别准确率，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于循环神经网络的情绪脑信号识别方法，其特征在于，包括以下步骤：

1)获取训练的情绪脑信号，依次进行滤波和片段分割的预处理操作，得到重新分割后的信号片段；

2)对重新分割后的每个信号片段，分别针对时域信息与空域信息进行微分熵特征与黎曼特征的计算，得到相应特征向量；

分别针对数据的空域信息和时域信息提取微分熵特征和黎曼特征，其中，微分熵特征的具体计算方法如下：

对于每个片段的每个通道数据，使用滑动窗口的方式将其切割成窗口长度为8秒的小窗，滑动间隔4秒，接着使用傅里叶变换将窗口中信号由时域变换到频域，随后按照以下公式：

式中，m为对应时间段的序号，f_k为对应子频段的组合，函数x(m，f_k)表示在m时间段及f_k对应频率的组合下的频谱值，在频率域上分别计算每个频段的能量信号，并取对数就得到了相应的微分熵特征DE；

黎曼特征的具体计算方法如下：

对每个片段的数据计算协方差特征，每一个协方差特征P_j都能够看作是黎曼流形上的点，j＝1,2,…,m，定义黎曼流形上任意两点P₁、P₂间的测地距离δ_R(P₁,P₂)为：

式中，λ_i表示矩阵P₁ ^-1P₂的实特征值，i＝1,2,…,C，则有黎曼均值点求解方法如下：

式中，P_j表示第j个协方差特征，该式表示在黎曼流形上寻找一点P，使得流形上其它点P_j与P之间的测地距离δ_R(P,P_j)之和最小，该式无解析解，由梯度下降迭代求解；以黎曼均值点C_ref为切点做切平面，将P_j投影到切平面上得到对应切向量T_j，即有：

式中，P为通过梯度下降迭代求解而得的点，Logm(·)表示求矩阵对数运算，T_j即为求取的黎曼特征；

3)针对获取的特征向量，使用改进循环神经元构建循环神经网络，将特征向量输入构建的循环神经网络进行训练，寻找网络的最佳参数，得到训练好的循环神经网络；其中，所述改进循环神经元为带有记忆功能的循环神经元变体LSTM神经元；

4)调用训练好的循环神经网络，实现对情绪脑信号分类，得到最终的识别结果。

2.根据权利要求1所述的一种基于循环神经网络的情绪脑信号识别方法，其特征在于，在步骤1)中，对于获取的情绪脑信号，称为训练数据，该训练数据经过五阶巴特沃斯带通滤波，滤波带宽为0.1-70HZ，以及频率为50HZ的陷波滤波；对于每一条训练数据，采用无重叠的切割方法将其分割为长度8秒的子片段，对每一个子片段进一步做子频带划分，得到62个通道在5个频率段内的数据，该5个频率段分别为：①Delta频段：1-3Hz，②Theta频段：4-7Hz，③Alpha频段：8-13Hz，④Beta频段：14-30Hz，⑤Gamma频段：31-50Hz。

3.根据权利要求1所述的一种基于循环神经网络的情绪脑信号识别方法，其特征在于，在步骤3)中，构建的循环神经网络包含特征处理模块、特征融合模块和分类部分；

所述特征处理模块分别针对微分熵特征与黎曼特征这两种特征输入，具体执行以下操作：

对于微分熵特征，先使用带有记忆功能的循环神经元变体LSTM神经元进行训练学习，再应用批标准化模块减少协方差偏移，加速网络的训练，共使用了三层结合批标准化的LSTM网络实现对微分熵特征的进一步提取，然后使用全连接层实现对特征的非线性变换，将输出作为下一级特征融合模块的输入；对于黎曼特征，直接使用两层全连接网络实现对冗余特征的过滤，借助Dropout策略防止过拟合的发生，同样将输出作为下一级特征融合模块的输入；

所述特征融合模块用于实现对黎曼特征与微分熵特征的有机融合，具体执行以下操作：

分别对特征处理模块的输出使用两个全连接层作为注意力机制输入的编码器，然后使用Soft Attention机制学习编码器输出，得到每个特征对应的权重α，将这个权重α与特征处理模块的输出向量做算数运算得到加权后的特征表达y如下：

y＝(1+α)*(feature(spatial)+feature(temporal))

式中，feature(temporal)表示对应的微分熵特征，feature(spatial)表示对应的黎曼特征；

所述分类部分由结合了softmax的全连接网络构成，实现了对特征的分类，得到情绪脑信号识别结果。