CN113180663A - 一种基于卷积神经网络的情绪识别方法、系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的情绪识别方法及系统，该方法包括EEG信号采集设备采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；数据分析系统对EEG信号进行特征提取，传输至判断识别系统；判断识别系统通过卷积神经网络算法对用户情绪状态进行分类。该方法实现对脑波情绪状态检测的智能化，提高了检测准确率，降低检测时间，拓宽了检测的应用场景。

Description

一种基于卷积神经网络的情绪识别方法、系统

技术领域

本发明涉及EEG信号识别技术领域，特别是涉及一种基于卷积神经网络的情绪识别方法、系统。

背景技术

神经网络(neual networks)是人工智能研究领域的一部分，当前最流行的神经网络是深度卷积神经网络(deep convolutional neuralnetworks，CNNs)。CNNs目前在很多很多研究领域取得了巨大的成功，例如:语音识别，图像识别，图像分割，自然语言处理等。CNNs可以自动从大规模数据中学习特征，并把结果向同类型未知数据泛化。

目前市场上和临床上尚不存在智能化分析脑电信号以判断个体情绪状态的自动化设备和方法。常用的情绪检测方法除了传统的人工问卷调查形式以外，还有通过佩戴体积较大、操作繁琐的脑电采集设备来获取脑电生理信号，并辅以图像检测算法，进行情绪检测。这些方法操作繁琐，效率低下，且误差也较大，同时由于检测设备体积较大而使得应用场景受到限制。

因此如何提高识别准确率，降低识别时间是亟待解决的问题。

发明内容

本发明的目的是提供一种基于卷积神经网络的情绪识别方法、系统，以实现智能化分析脑电信号从而判断情绪状态，提高识别准确率，降低识别时间。

为解决上述技术问题，本发明提供一种基于卷积神经网络的情绪识别方法，包括：

EEG信号采集设备采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；

数据分析系统对EEG信号进行特征提取，传输至判断识别系统；

判断识别系统通过卷积神经网络算法对用户情绪状态进行分类。

优选的，所述预处理包括工频滤波和带通滤波。

优选的，，所述预处理步骤后，还包括对EEG信号进行数据归一化操作。

优选的，数据分析系统提取的EEG信号的特征为EEG信号的时域特征、频域特征、时频特征以及非线性特征。

优选的，所述时域特征包括均值、方差、标准差和一阶差分特征。

优选的，所述频域特征包括频带功率谱能量之和、频带功率谱能量最大值。

优选的，采用短时傅里叶变换STFT和小波变换得到所述时频特征的。

优选的，所述非线性特征为关联维数、近似熵、分形维数和李雅普诺夫指数特征。

优选的，EEG信号采集设备采用五通道采集EEG信号，对每个通道的EEG信号分别进行特征提取。

本发明还提供一种基于卷积神经网络的情绪识别系统，用于实现上述方法，包括：

EEG信号采集设备，用于采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；

数据分析系统，用于对EEG信号进行特征提取，传输至判断识别系统；

判断识别系统，用于通过卷积神经网络算法对用户情绪状态进行分类。

本发明所提供的一种基于卷积神经网络的情绪识别方法、系统，通过EEG信号采集设备采集用户脑电信号，提取出特征值，采用卷积神经网络机器学习模型对情绪进行分类，以自动检测情绪状态。本发明可以智能化判断用户的情绪状态，提升了分析的效率和准确性，且拓宽了检测的应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种基于卷积神经网络的情绪识别方法的流程图；

图2为本发明所提供的一种基于卷积神经网络的情绪识别系统的结构示意图。

具体实施方式

本发明的核心是提供一种基于卷积神经网络的情绪识别方法、系统，以实现智能化分析脑电信号从而判断情绪状态，提高识别准确率，降低识别时间。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种基于卷积神经网络的情绪识别方法的流程图。本实施例在该方法中所采用的设备优选为高精度EEG信号采集设备，其电极为干电极，主要对称分布于前额叶或者额叶，电极点位左右对称分布，单通道电极具有较高的采样率，能够满足对脑电信号的精确刻画。EEG信号采集设备具体为便携式BCI设备。EEG信号采集设备采集的是用户观看标准情绪库中视频下的脑电信号，采集时间优选为60分钟。

结合1所示，本实施例采用的基于卷积神经网络的情绪识别方法包括以下流程：

1.EEG信号采集设备采集用户的脑电信号，对信号进行预处理后传输到数据分析系统。

其中，预处理步骤中，包括了对原始信号进行工频滤波和带通滤波。由于原始EEG信号存在大量的工频干扰噪声，因此本实施例可设计50Hz陷波滤波器，去除工频干扰，并对信号进行0.5-40Hz的带通滤波，还可以使用独立成分分析去除眼电伪迹。通过上述预处理方法，去除了EEG信号中不相关的无用信息，留下与实验任务相关的干净信号。

由于EEG信号存在个体差异性，可选的，本实施例在预处理步骤后还可以增加采取数据归一化操作，来保证信号的一致性。

2.数据分析系统根据任务需要，提取EEG信号的特征，传输至判断识别系统。

其中，本实施例EEG特征提取包括：(1)时域特征、(2)频域特征、(3)时频特征及(4)非线性特征四类共11个特征。时域特征采用均值、方差、标准差、一阶差分四个特征；频域特征采用频带功率谱能量之和、频带功率谱能量最大值两个特征；时频特征为一个，采用短时傅里叶变换STFT算法和小波变换方法计算得出。非线性特征包括关联维数、近似熵、分形维数和李雅普诺夫指数四个特征。

本发明使用了五通道设备采集脑电信号，对每个通道分别进行特征提取，共计算得到55个特征。EEG信号采集设备采用五通道采集EEG信号，对每个通道的EEG信号分别进行特征提取。

3.判断识别系统通过卷积神经网络算法训练分类模型，以识别用户各类情绪状态。

其中，算法输出的分类结果包括正面，负面，中性三类。

卷积神经网络算法(convolutional neural networks,CNN)由卷积(convolution),激活(activation),and池化(pooling)三种结构组成。CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，把CNN输出的特征空间作为全连接层或全连接神经网络(fully connectedneural network,FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。

上述步骤最重要的是如何通过训练数据迭代调整网络权重，也就是后向传播算法。除了本实施例采用的CNN算法外，还可以适用目前主流的卷积神经网络CNNs，比如VGG,ResNet等，这些算法都是由简单的CNN调整，组合而来。

本方法通过EEG信号采集设备采集用户脑电信号，提取出特征值，采用卷积神经网络机器学习模型对情绪进行分类，以自动检测情绪状态。本方法可以智能化判断用户的情绪状态，提升了分析的效率和准确性，且拓宽了检测的应用场景。

本方法将原始EEG信号经过去伪迹预处理，对数据做归一化操作，提取频域特征，直接送入CNN网络进行分类。EEG信号具有非平稳特性，存在个体差异性。本方法采用卷积神经网络进行情绪识别，保证多类情绪数据分类准确性，提升分类效率，提高分类准确率。人处于不同情绪状态时，将时域EEG信号通过频域转换方法计算频域能量特征，可以准确区分负面情绪、正面情绪和中性情绪状态。分类算法基于传统机器学习方法，可以实现情绪状态的准确识别。

脑电信号是人大脑的特定放电活动，EEG脑电图是常用的分析方法。EEG具有获取方式的便捷性、信号的稳定性和较低的成本等优势。EEG信号具有非平稳特性，存在个体差异性。人的情绪变化呈现在EEG信号上，可以通过信号的频率分布分析得到。脑电信号的频率分布包括：delat波：0.-5-4hz；theta波：4-8hz；alpha波：8-13hz；beta波：13-35hz；gamma波：大于35hz。

人处于不同情绪状态时的脑电信号频率分布主要位于alpha和beta频带。可选的，使用EEG采集设备，可以实时获取人的脑电信号，计算脑电信号在不同频段内的功率值和不同频带能量的比值，以频谱能量作为特征，通过机器学习算法准确检测情绪状态。

本发明可以通过人工智能算法自动化实时准确检测用户的情绪状态。本发明可以基于便携式的EEG设备从额叶脑电活动提取特征值进行情绪识别，方便用户使用。本发明是基于用户静息态EEG信号进行的注意力检测，采用卷积神经网络对情绪进行分类，能够降低检测的时间成本和人力成本，提高分类的准确率。本发明基于便携式BCI设备，采用人工智能算法自动化识别分类用户的情绪状态，提升检测效率，拓宽应用场景。

请参考图2，图2为本发明所提供的一种基于卷积神经网络的情绪识别系统的结构示意图，该系统用于实现上述方法，包括：

EEG信号采集设备101，用于采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；

数据分析系统102，用于对EEG信号进行特征提取，传输至判断识别系统；

判断识别系统103，用于通过卷积神经网络算法对用户情绪状态进行分类。

可见，该系统通过EEG信号采集设备采集用户脑电信号，提取出特征值，采用卷积神经网络机器学习模型对情绪进行分类，以自动检测情绪状态。本发明可以智能化判断用户的情绪状态，提升了分析的效率和准确性，且拓宽了检测的应用场景。

对于本发明提供的基于卷积神经网络的情绪识别系统的介绍请参照前述的基于卷积神经网络的情绪识别方法的实施例，本发明实施例在此不再赘述。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种基于卷积神经网络的情绪识别方法、系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于卷积神经网络的情绪识别方法，其特征在于，包括：

EEG信号采集设备采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；

数据分析系统对EEG信号进行特征提取，传输至判断识别系统；

判断识别系统通过卷积神经网络算法对用户情绪状态进行分类。

2.如权利要求1所述的基于卷积神经网络算法的情绪识别方法，其特征在于，所述预处理包括工频滤波和带通滤波。

3.如权利要求1所述的基于卷积神经网络算法的情绪识别方法，其特征在于，所述预处理步骤后，还包括对EEG信号进行数据归一化操作。

4.如权利要求1所述的基于卷积神经网络算法的情绪识别方法，其特征在于，数据分析系统提取的EEG信号的特征为EEG信号的时域特征、频域特征、时频特征以及非线性特征。

5.如权利要求4所述的基于卷积神经网络算法的情绪识别方法，其特征在于，所述时域特征包括均值、方差、标准差和一阶差分特征。

6.如权利要求4所述的基于卷积神经网络算法的情绪识别方法，其特征在于，所述频域特征包括频带功率谱能量之和、频带功率谱能量最大值。

7.如权利要求4所述的基于卷积神经网络算法的情绪识别方法，其特征在于，采用短时傅里叶变换STFT和小波变换得到所述时频特征的。

8.如权利要求4所述的基于卷积神经网络算法的情绪识别方法，其特征在于，所述非线性特征为关联维数、近似熵、分形维数和李雅普诺夫指数特征。

9.如权利要求4至8所述的任一基于卷积神经网络算法的情绪识别方法，其特征在于，EEG信号采集设备采用五通道采集EEG信号，对每个通道的EEG信号分别进行特征提取。

10.一种基于卷积神经网络的情绪识别系统，其特征在于，用于实现如权利要求1至9中任意一项所述的方法，包括：

EEG信号采集设备，用于采集用户的EEG信号，对EEG信号进行预处理后传输到数据分析系统；

数据分析系统，用于对EEG信号进行特征提取，传输至判断识别系统；

判断识别系统，用于通过卷积神经网络算法对用户情绪状态进行分类。

Images