CN114091529A - 一种基于生成对抗网络数据增强的脑电情感识别方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络数据增强的脑电情感识别方法，首先确定脑电样本长度、样本内切片长度和切片窗移，对脑电样本进行切片，并进行分解到四个不同频段；接下来计算各个通道频段上的脑电信号特征，将计算的所有特征进行拼接为一维特征向量输入到生成对抗网络中进行训练，训练完成后该网络生成大量高质量的脑电样本，再将生成的脑电特征向量和原始脑电特征向量按照脑电信号采集时电极放置的位置信息进行重新排列，并按照频带进行拼接，构建出一个三维脑电特征图，再送入连续卷积神经网络中进行训练，最终使用softmax分类器进行情感分类。本发明能够在脑电情感识别少样本的情景下，能够保持较好的高效性和鲁棒性。

Description

一种基于生成对抗网络数据增强的脑电情感识别方法

技术领域

本发明涉及脑电情感识别技术领域，具体地说，是一种基于生成对抗网络数据增强的脑电情感识别方法。

背景技术

情绪在人类的日常生活中是基本的，因为它们在人类认知中起着重要的作用，即感知、理性决策、人类互动和人类智力。随着人工智能技术和深度学习的发展，情绪识别在人机交互和临床治疗方面有着广阔的前景，这一直受到研究者的广泛关注。人类情绪可通过言语、眨眼、面部表情和生理信号来识别。但前三种方法都不稳定，容易受到主观性的影响。受试者可能会故意隐藏自己的情绪，并导致识别错误。眼电图(EOG)、脑电图(EEG)、血压(BVP)等生理信号都是由人体自发产生的。因此，生理信号可以更准确地反映人们的情绪状态。在这些生理信号中，脑电图(EEG)是脑皮层或头皮表面电生理活动的整体反映，说明脑电图信号的变化可以用来表征人类情绪变化。

将脑电信号应用于情感识别的过程包括情感诱发，脑电信号采集，脑电信号预处理，特征提取和选择，情感分类。在这些过程中，有效的特征提取和选择最终的情感分类器是最重要的两个步骤。研究者感兴趣的是四个频带的脑电信号，包括Theta(约4-7Hz)、Alpha(约8-12Hz)、Beta(约13-30Hz)和Gamma(约31-100Hz)。基本来说。每个频带上的脑电特征可以是时域特征，可以是频域特征，也可以是时频域特征。根据获得的脑电特征，构建大量的情感识别模型。

近年来，许多研究者建立了基于机器学习和深度学习模型的情绪识别模型。机器学习模型一般使用支持向量机、决策树、随机森林等；深度学习模型一般使用卷积神经网络、循环神经网络等。根据目前的研究结果证实，深度学习模型在情感识别任务中准确率更高。

基于深度学习在脑电图情感识别任务中的出色表现，需要使用更深层的深度学习模型来促进对情绪识别的探索。然而，深度学习模型依靠数据驱动，只有当数据较多时，它才能具有良好的性能，这使得深度学习模型的训练需要大量的标记训练样本。然而，由于成本高，对于大多数公共脑电图数据集，它们只有少量的样本，而且这些样本类别极其不平衡。样本量不足和类别不平衡会导致模型过拟合，严重影响识别准确率。因此，获取足够多的训练样本，改善样本的类间平衡非常重要。生成对抗网络能够利用现用少量的脑电样本生成概率分布和原始数据概率分布相近的大量高质量脑电样本，可以解决样本类间不平衡和样本量少的问题，将会极大的提升脑电情感识别率和鲁棒性。

发明内容

本发明的目的在于提供一种基于生成对抗网络数据增强的脑电情感识别办法，解决了脑电情感识别模型训练过程中样本不足、样本类间不平衡问题，提高了情感模型识别的准确率和召回率，该方法能够提升情感识别模型的不同类别的特征描述能力，使模型有更高的准确率和更好的鲁棒性。

本发明采用的具体技术方案如下：

一种基于生成对抗网络数据增强的脑电情感识别方法，包括以下步骤；

步骤1：原始脑电信号预处理；

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；

对脑电样本切片中的每个导联，分成四个不同波段计算功率谱密度特征，将每个导联计算的所有特征拼接成一维向量。

步骤2：对抗生成模型的搭建与训练；建立GAN生成对抗网络数据增强模型，将经过预处理的脑电信号输入模型进行训练。

步骤3：脑电特征向量处理；

对所有样本数据进行z-score标准化处理，避免由于原始数据中的单位与数值之间的差异带来的影响；

将归一化后的特征向量按照脑电信号采集时电极放置的位置信息进行重新排列，并按照频带进行拼接，构建出一个三维脑电特征图；

步骤4：情感分类；利用真实数据和生成的数据组成新的平衡和数据量更大的数据集，将连续卷积神经网络作为脑电情感分类器进行分类。

进一步的，对所述的步骤1进行的原始脑电信号预处理中设定脑电信号长度，具体实现方式为；

将原始脑电信号进行切除处理，去除脑电信号中基线信号部分，只保留有情感变化的实验信号部分。

进一步的，对所述步骤1进行的原始脑电信号预处理中的切片长度和窗移，生成对抗网络需要在一定数量的样本下才能被训练好，因此本发明中使用样本重叠的办法扩增数据，重叠率为50％。

进一步的，对所述步骤2中GAN生成对抗网络模型主要包括生成器G和判别器D；

生成器G输入一组一维的随机分布噪声，输出一组符合原始脑电样本概率分布的新样本；

判别器D为二分类器，判别器的输入包括原始数据和生成器G生成的数据。

输出是一个概率值；

GAN生成对抗网络数据增强算法的对抗原理如下：GAN正如它名字所描述的一般，由生成器和判别器所构成。生成器接收一个随机的噪声信号(可以是均匀分布的，也可以是高斯分布的)，然后生成器生成相应的样例。判别器会接收生成器生成的样例和来自真实样本的样例，判别器的作用主要就是判断样本的真实度，它会给真实样本尽可然大的概率，给生成样本尽可然小的值(概率越大表示越有可能是真实的样例)。而生成器则不断加强自己的能力，使生成的样本越来越接近真实的样本，即判别器越来越分辨不出来样本是不是真实的。通过不断迭代上述过程，直至判别器区分不清楚接收的样本到底是来自真实样本还是来自生成的样本。通过对抗式训练，使得生成器生成的样本更加逼近原始数据样本，有效提高数据增强的质量。

本发明的GAN数据增强模型结构主要分为生成器和判别器两个部分，全部由三层神经网络构成，其中神经网络输入层、隐藏层、输出层皆由线性层组成，通过线性层变换以及激活函数的非线性变换。实现满足所有情况的原始数据增强工作；

进一步的，所述的GAN生成对抗网络数据增强模型的生成原理为极大极小值博弈，其中目标函数为：

其中E表示表示分布函数期望值，x为原始样本数据，z为数据生成器G的噪声数据。

进一步的步骤2包括以下步骤：

步骤2.1：初始化生成器G和判别器D两个神经网络的参数；

步骤2.2：从原始数据中抽取n个样本，以及生成器利用定义的噪声分布生成n个样本，固定生成器G，训练判别器D，从而使判别器区分真假；

步骤2.3：循环迭代训练，判别器D和生成器G互相对抗，理想状态下，最终判别器D无法区分数据是来自于原始数据还是来自于生成器G生成的数据，此时的判别概率为0.5，完成训练。

向训练好的生成器模型中输入噪声数据，通过生成器G的三层神经网络的变换，使得模型生成逼近原始数据分布的生成样本数据，实现对原始数据的扩充。

进一步的，生成器G神经网络和判别器网络中每一个线性层之后都会加一个激活函数，若没有激活函数，最终会等效为一个线性函数，所有在此算法中引入了ReLU激活函数，其公式如下：

f(x)＝max(0,x)

进一步的，对于所述的GAN生成对抗网络数据增强算法，采用Adam优化器。Adam优化对一阶矩和二阶矩进行综合考虑有实现简单、计算高效，效果好的优点。

进一步的，对所述步骤3，将生成的数据和原始的数据进行标准化处理，其公式如下：

其中其中μ为所有样本数据的均值，σ为所有样本数据的标准差。转变之后的结果为数据标准化的结果，经过标椎化的数据增强效果更好。

进一步的，对所述步骤3，将标准化后的特征向量，根据不同频段上各个电极通道的脑电情感特征按照脑电信号采集得位置进行重排，然后按照频带拼接构成三维脑电特征图。在本发明中将同一波段上所有导联的特征值，按脑电采集设备上的分布方式，放入一个9*9的二维方阵中，将所有导联特征方阵按照四个波段堆叠，拼成三维的4*9*9矩阵作为情感模型的输入。

本发明的有益效果如下：

1、本发明通过对抗生成网络生成大量高质量的脑电样本，可以解决目前脑电情感识别领域里样本类间不平衡和训练样本不足的问题，从而提升基于脑电的情感分类的准确率。

2、相对于上采样，复制样本扩充数据来说，GAN生成对抗网络数据增强模型生成的数据更能反映其原始分布的特征，且生成数据更加便捷，简单，可以自由确定生成数据的规模。

3、使用生成对抗式训练方法，使得由噪声数据经过生成器G神经网络之后生成的数据更加逼近原始数据，有效提高增强的质量。

附图说明

图1为本发明的总流程图。

图2为本发明中GAN生成对抗网络数据增强算法原理图。

图3为本发明中脑电预处理和特征向量处理图。

图4为本发明中连续卷积神经网络图。

具体实施方式

为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

实施例：一种基于生成对抗网络数据增强的脑电情感识别方法，解决了脑电情感识别领域中样本不足、样本类间不平衡问题。

首先确定脑电样本长度、样本内切片长度和切片窗移，对脑电样本进行切片，并进行分解到四个不同频段；接下来计算各个通道频段上的脑电信号特征，将计算的所有特征进行拼接为一维特征向量输入到生成对抗网络中进行训练，训练完成后该网络生成大量高质量的脑电样本，再将生成的脑电特征向量和原始脑电特征向量按照脑电信号采集时电极放置的位置信息进行重新排列，并按照频带进行拼接，构建出一个三维脑电特征图，再送入连续卷积神经网络中进行训练，最终使用softmax分类器进行情感分类。

具体步骤如图一所示：

步骤1：原始脑电信号预处理：

将原始脑电信号进行切除处理，去除脑电信号中基线信号部分，只保留有情感变化的实验信号部分。

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；对脑电样本切片中的每个导联，分成四个不同波段计算功率谱密度特征，将每个导联计算的所有特征拼接成一维向量。

本实施例选定一种合适的脑电情感识别长度为2秒，以1秒为窗移进行划分；然后对样本中的每个导联，分别对4个不同波段计算功率谱特征；将计算的所有特征值按照频段顺序组成4*9*9个特征值的一维向量，作为对抗生成网络的输入。

步骤2：对抗生成模型的搭建与训练；建立GAN生成对抗网络数据增强算法，将原始脑电经过预处理后的一维向量输入模型进行训练。

本实施例从目标数据集中选取一组大小为[64,256]数据集，表示该组有64个样本，每个样本时长为2秒，一共256个采样点，经过步骤1处理，获得尺寸大小为[64,128]，将GAN生成对抗网络中生成器G所有噪声输入尺寸设置为16，判别器D的输入尺寸为128。将生成器输出尺寸设为128，判别器输出尺寸设置为1，即为生成数据符合真实数据的概率值。所述的GAN生成对抗网络增强模型的生成原理为极大极小值博弈，其中的目标函数为：

其中E表示表示分布函数期望值，x为原始样本数据，z为数据生成器G的噪声数据。

步骤2.1：初始化生成器G和判别器D两个神经网络参数；

初始化生成器G和判别器D神经网络中的权重和偏置的初值

步骤2.2：从原始数据中抽取n个样本，以及生成器利用定义的噪声分布成n个样本。固定生成器G，训练判别器D，从而使判别器区分真假。

从原始数据中抽取64个样本，设定判别器和生成器的隐藏层为64。

在每一次迭代过程中：

训练样本大小为[64,128]，64是每一次使用64个样本为一组进行训练。128表示所有导联不同频带所计算的功率谱特征组合结果。

从一个随机分布(高斯、正太等)中选出一组随机变量，维度设为16；

1、将该一维向量送入到生成器G神经网络中，最终获得一组生成数据，维度为128；

2、更新判别器D的参数，使判别器对原始样本判断为真，对生成的样本判断为假，而生成器。更新生成器参数使生成器生成的样本能被判别器判别为真。

步骤2.3：循环迭代训练，判别器和生成器互相对抗，理性状态下，最终判别器D无法区分数据是来自原始数据还是生成器G的数据，此时的判别概率为0.5，完成训练。

每一次迭代过程中：

1、固定生成器G，只更新判别器D的参数，将生成器生成样本的数据和原始数据中样本数据输入判别器D中，判别器中D的目标为如果输入来自于真实数据集，即输出的值越大，越代表真实，相反数值越小，输入越虚假。

2、固定判别器D的参数，更新生成器G的参数，将一组噪声向量输入生成器G当中，得到一组输出，将其输出输入到判别器D中，会得到一个数值，这个阶段判别器D的参数是固定的，生成器G需要更新自己参数使得这个数值越大越好。

步骤3：脑电特征向量处理；将生成的数据和原始的数据进行标准化处理，其公式如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。转变之后的结果为数据标准化的结果，经过标椎化的数据增强效果更好。

将标准化后的特征向量，根据不同频段上各个电极通道的脑电情感特征按照脑电信号采集得位置进行重排，放入一个9*9的二维方阵中，将所有导联特征方阵按照四个波段堆叠，拼成三维的4*9*9矩阵作为情感模型的输入。

步骤4：情感分类；使用连续卷积神经网络，该网络是其所有卷积层是连续堆叠在一起，中间没有连接池化层，仅连接激活函数和批归一化层。该网络没有池化层不会损失尺寸较小的三维输入矩阵中的信息。

本实施实例中，脑电信号数据增强后数据分布与目标原始数据分布几乎吻合，加入生成的样本到训练集比只使用原始数据做数据集效果平均提升百分之十左右，说明该算法是可以用于脑电情感识别中做数据增强，有效的解决了数据量少，类间不平衡问题。

本发明对脑电样本进行了预处理，预处理过程并不复杂，主要包括去除基线信号，选择窗移和样本长度进行切分，然后通过频带分离，将不同导联不同频带计算功率谱密度特征值，将所有特征值组成一个一维向量。然后将数据送入生成对抗网络进行数据生成。对抗生成网络数据增强算法主要分为生成器和判别器两个部分，网络结构简单，主要是三个线性层，每个线性层最后会有一个激活函数，极大减少网络的参数量，降低训练难度。使用对抗式训练，使得噪声数据通过生成器G重构之后更加接近原始目标数据，有效提高脑电情感识别率。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，包括以下步骤：

步骤1：原始脑电信号预处理：

设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；对脑电样本切片中的每个导联，分成四个不同波段计算功率谱密度特征，将每个导联计算的所有特征拼接成一维向量；

步骤2：对抗生成模型的搭建与训练：建立GAN生成对抗网络数据增强算法，将经过预处理的脑电信号输入模型进行训练；

步骤3：脑电特征向量处理：对所有样本数据进行z-score标准化处理，避免由于原始数据中的单位与数值之间的差异带来的影响；将归一化后的特征向量按照脑电信号采集时电极放置的位置信息进行重新排列，并按照频带进行拼接，构建出一个三维脑电特征图；

步骤4：情感分类：利用真实数据和生成的数据组成新的平衡和数据量更大的数据集，将连续卷积神经网络作为脑电情感分类器进行分类。

2.根据权利要求1所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，所述步骤1的具体实现过程如下：选定脑电情感识别长度L，以L/2为窗移进行划分；然后对样本中的每个导联，分别对4个不同波段计算功率谱特征；将计算的所有特征值按照频段顺序组成4*9*9个特征值的一维向量，作为对抗生成网络的输入。

3.根据权利要求1所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，所述步骤2中GAN生成对抗网络模型包括生成器模型G和判别器模型D两个部分；全部由三层神经网络构成，包括神经网络输入层、隐藏层和输出层，这三层神经网络皆由线性层组成，通过线性层变换以及激活函数的非线性变换。

4.根据权利要求3所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，所述的GAN生成对抗网络原理为生成器G和判别器D的极大极小值博弈，其目标函数为：

其中E表示表示分布函数期望值，x为原始样本数据，z为数据生成器G的噪声数据。

5.根据权利要求4所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，生成器G神经网络和判别器D神经网络中每一个线性层之后都会加一个激活函数，在此算法中引入ReLU激活函数，其公式如下：

f(x)＝max(0,x)。

6.根据权利要求1所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：初始化生成器G和判别器D两个神经网络的参数；

步骤2.2：从原始数据中抽取n个样本，以及生成器利用定义的噪声分布生成n个样本，固定生成器G，训练判别器D，从而使判别器区分真假；

步骤2.3：循环迭代训练，判别器D和生成器G互相对抗，理想状态下，最终判别器D无法区分数据是来自于原始数据还是来自于生成器G生成的数据，此时的判别概率为0.5，完成训练。

7.根据权利要求1所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，步骤3的具体实现过程如下：

步骤3.1：根据z-score对所有样本进行标准化处理，其公式如下：

其中其中μ为所有样本数据的均值，σ为所有样本数据的标准差；

步骤3.2：将标准化后的特征向量，根据不同频段上各个电极通道的脑电情感特征按照脑电信号采集的位置进行重排，然后按照频带拼接构成三维脑电特征图。

8.根据权利要求1所述的基于生成对抗网络数据增强的脑电情感识别方法，其特征在于，所述的步骤4连续卷积神经网络其所有卷积层是连续堆叠在一起，中间没有连接池化层，仅连接激活函数和批归一化层。

Images