CN109871831A - 一种情感识别方法及系统 - Google Patents

Abstract

本发明公开了一种情感识别方法及系统，该方法包括：获取待识别的脑电信号；提取待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵；待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数；待识别脑网络属性特征反应待识别的脑电信号之间的相关性；对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。本发明提出的方法及系统，具有的能够提高情感识别准确率优点。

Description

一种情感识别方法及系统

技术领域

本发明涉及情感识别技术领域，特别是涉及一种情感识别方法及系统。

背景技术

情感是由外界刺激所诱发的一种心理和生理反应过程。正确有效的情感识别是人们日常生活和交流的重要保障，也是实现高级人工智能要解决的关键问题。传统的情感识别主要是基于人的面部表情、语音语调、姿势行为等外部行为表现，然而，这些外部表现所反映的情感特征主观性强，易于被掩饰或伪装。随着传感技术的发展，基于实时采集电生理信号，如脑电、心电、肌电的情感识别更为可靠有效，特别是脑电信号能够客观的反映不同情感的神经认知加工过程。

在基于脑电的情感识别中，目前常用的特征包括短时傅里叶变换、小波变换、经验模态分解等时频分析特征，近似熵、功率谱熵、最大李雅普诺夫指数(Lyapunov指数)、赫斯特指数(Hurst指数)等非线性属性特征和基于不同脑区间相互作用关系的脑网络属性特征等。然而，由于情感脑电信号的非线性、非平稳性以及情感认知过程中各脑区相互作用的复杂性，单一特征或几种特征的简单组合不能有效表征不同情感诱发脑电的差异，因此，情感识别的准确率不高。

发明内容

本发明的目的是提供一种能够提高情感识别准确率的情感识别方法及系统。

为实现上述目的，本发明提供了如下方案：

一种情感识别方法，包括：

随机向使用者播放多种情感类型的语音片段，采集所述使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号；

提取所述待训练的脑电信号特征；所述待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵；所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数；所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性；

对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征；

根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机；

获取待识别的脑电信号；

提取所述待识别的脑电信号特征；所述待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵；所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数；所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性；

对所述待识别的脑电信号特征采用所述训练好的支持向量分类机进行情感识别。

可选的，在所述提取所述待识别的脑电信号特征之前，还包括：对所述待识别的脑电信号进行预处理；

所述对所述待识别的脑电信号进行预处理，具体包括：

对所述待识别的脑电信号进行带通滤波处理；

对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹；

将去除眼电伪迹的待识别的脑电信号进行基线校正；所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。

可选的，所述提取所述待识别的脑电信号特征，具体包括：

根据公式提取待识别的时频域特征；

其中，表示所述小波熵，表示所述待识别的脑电信号的第i₁阶小波分解系数，i₁＝1,2,3，j₁表示的个数；

对所述待识别的脑电信号进行带通滤波，得到第一频段、第二频段和第三频段的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度，得到功率谱密度；所述第一频段为8-13Hz，所述第二频段为13-30Hz，所述第三频段为30-49Hz；

根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示所述语音片段播放后第n₁毫秒时所述待识别的脑电信号的平均误差，R(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，表示s(n₁)的平均值，n₁表示所述语音片段播放后持续的总时间长度，s(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号，S(n₁)为s(n₁)的标准差，s(t)表示第t毫秒时待识别的脑电信号，1≤m≤n₁。

可选的，所述对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征，具体包括：

获取待训练的脑电信号特征构造训练集；所述训练集为 表示播放第i₂个语音片段时所述待训练的脑电信号特征训练样本，表示播放第i₂个语音片段时与所述待训练的脑电信号特征训练样本对应的情感类型，N表示所述播放的多种情感类型的语音片段的总个数；所述情感类型包括悲伤、生气、高兴、惊奇；

根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解；所述第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时所述第一目标函数的最优解，和为播放第j₂个语音片段时所述第一目标函数的最优解，表示播放第j₂个语音片段时所述待训练的脑电信号特征训练样本，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子；

根据所述第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数，表示播放第j₂个语音片段时与所述待训练的脑电信号特征训练样本对应的情感类型。

可选的，所述根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机，具体包括：

根据所述融合后的脑电信号特征计算第二目标函数的最优解；

所述第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子；

根据所述第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，所述支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，为第i₃个融合后的脑电信号特征的第二目标函数最优解，表示第四核函数。

本发明还提供一种情感识别系统，包括：

待训练的脑电信号获取模块，用于随机向使用者播放多种情感类型的语音片段后，采集所述使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号；

待训练的脑电信号特征提取模块，用于提取所述待训练的脑电信号特征；所述待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵；所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数；所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性；

特征映射及融合模块，用于对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征；

训练模块，用于根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机；

待识别的脑电信号获取模块，用于获取待识别的脑电信号；

待识别的脑电信号特征提取模块，用于提取所述待识别的脑电信号特征；所述待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵；所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数；所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性；

情感识别模块，用于对所述待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。

可选的，在所述提取所述待识别的脑电信号特征之前，还包括：预处理模块，用于对所述待识别的脑电信号进行预处理；

所述预处理模块，具体包括：

滤波单元，用于对所述待识别的脑电信号进行带通滤波处理；

去除眼电伪迹单元，用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹；

基线校正单元，用于将去除眼电伪迹的待识别的脑电信号进行基线校正；所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。

可选的，所述待识别的脑电信号特征提取模块，具体包括：

待识别的时频域特征提取单元，用于根据公式提取待识别的时频域特征；

其中，表示所述小波熵，表示所述待识别的脑电信号的第i₁阶小波分解系数，i₁＝1,2,3，j₁表示的个数；

功率谱密度提取单元，用于对所述待识别的脑电信号进行带通滤波，得到第一频段、第二频段和第三频段的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度，得到功率谱密度；所述第一频段为8-13Hz，所述第二频段为13-30Hz，所述第三频段为30-49Hz；

Hurst指数提取单元，用于根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示所述语音片段播放后第n₁毫秒时所述待识别的脑电信号的平均误差，R(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，表示s(n₁)的平均值，n₁表示所述语音片段播放后持续的总时间长度，s(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号，S(n₁)为s(n₁)的标准差，s(t)表示第t毫秒时待识别的脑电信号，1≤m≤n₁。

可选的，特征映射及融合模块，具体包括：

待训练的脑电信号特征构造训练集获取单元，用于获取待训练的脑电信号特征构造训练集；所述训练集为 表示播放第i₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，N表示所述播放的多种情感类型的语音片段的总个数；所述情感类型包括悲伤、生气、高兴、惊奇；

第一目标函数的最优解计算单元，用于根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解；所述第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时所述第一目标函数的最优解，和为播放第j₂个语音片段时所述第一目标函数的最优解，表示播放第j₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子；

融合后的脑电信号特征生成单元，用于根据所述第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数。

可选的，所述训练模块，具体包括：

第二目标函数的最优解计算单元，用于根据所述融合后的脑电信号特征计算第二目标函数的最优解；

所述第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子；

支持向量分类机模型构造单元，用于根据所述第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，所述支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，为第j₃个融合后的脑电信号特征的第二目标函数最优解，表示第四核函数。

与现有技术相比，本发明的有益效果是：

本发明提出了一种情感识别方法及系统，通过提取脑电信号的时频域特征、非线性特征和脑网络属性特征三类脑电信号特征，采用支持向量回归方法对这3类情感脑电信号特征分别进行逐层特征映射及融合，对融合后的特征再采用支持向量分类机进行分类识别，能够有效提高情感识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中情感识别方法流程图；

图2为本发明实施例中脑电电极分布图；

图3为本发明实施例中情感识别系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种能够提高情感识别准确率的情感识别方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例：

图1为本发明实施例提供的一种情感识别方法流程图。如图1所示，一种情感识别方法，包括：

步骤101：随机向使用者播放多种情感类型的语音片段，采集使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号。情感类型包括悲伤、生气、高兴、惊奇。

步骤102：提取待训练的脑电信号特征。

在提取待训练的脑电信号特征之前对获取的待训练的脑电信号进行预处理，与处理方法与步骤106中预处理方法相同。

待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；待训练的时频域特征为根据待训练的脑电信号的小波分解系数计算得到的小波熵；待训练的非线性特征包括对待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待训练的脑电信号进行平均误差计算后得到的Hurst指数；待训练的脑网络属性特征反应待训练的脑电信号之间的相关性。其中，提取待训练的脑电信号特征的方法与步骤107中提取待识别的脑电信号特征的方法相同。

步骤103：对待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征。

根据待训练的脑电信号特征构造训练集。训练集为 表示播放第i₂个语音片段时待训练的脑电信号特征训练样本，表示与待训练的脑电信号特征训练样本对应的情感类型，N表示播放的多种情感类型的语音片段的总个数；情感类型包括悲伤、生气、高兴、惊奇。

根据待训练的脑电信号特征构造训练集计算第一目标函数的最优解；第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时第一目标函数的最优解，和为播放第j₂个语音片段时第一目标函数的最优解，表示播放第j₂个语音片段时待训练的脑电信号特征训练样本，表示与待训练的脑电信号特征训练样本对应的情感类型，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子。

本实施例选用高斯核函数K(x_i,x)＝exp(-γ||x_i-x||²)，核函数参数γ采用网格搜索法来进行优化选择。第一目标函数是由支持向量回归特征映射层的优化模型，引入Largrange函数后转化为对偶形式得到。由于支持向量回归特征映射层的目标函数有两个待求解，第一目标函数也有两个待求解，和分别为两个待求解的最优解。

根据第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数。

步骤104：根据融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机。

根据融合后的脑电信号特征计算第二目标函数的最优解。

第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子。第二目标函数是由支持向量分类机的优化模型，引入Largrange函数后转化为对偶形式得到。

根据第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，为第i₃个融合后的脑电信号特征的第二目标函数最优解，表示第四核函数。

步骤105：获取待识别的脑电信号。

图2为本发明实施例提供的脑电电极分布图，如图2所示，待识别的脑电信号包括前额叶脑电信号F7、F3、Fz、F4、F8，颞叶脑电信号T7、C3、Cz、C4、T8和顶叶脑电信号P7、P3、Pz、P4、P8。使用64导的Neuroscan设备采集脑电信号，其中，采样频率设定为1000Hz，且每个电极导联的阻抗都小于5KΩ。

步骤106：对获取的待识别的脑电信号进行预处理，具体包括：

对待识别的脑电信号进行0.5Hz～49Hz带通滤波处理。

对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹。

将去除眼电伪迹的待识别的脑电信号进行基线校正。

步骤107：提取待识别的脑电信号特征。

待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵；待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数；待识别脑网络属性特征反应待识别的脑电信号之间的相关性。

根据公式提取待识别的时频域特征。

其中，表示小波熵，表示待识别的脑电信号的第i₁阶小波分解系数，i₁表示小波分解系数的阶数，i₁＝1,2,3，j₁表示的个数。

对待识别的脑电信号进行带通滤波，得到第一频段8-13Hz、第二频段13-30Hz和第三频段30-49Hz的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以语音片段播放后持续的时间长度，得到功率谱密度；语音片段播放后持续的时间长度为播放完语音片段后监测脑电信号的总时间。

根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差，R(n₁)表示语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，表示s(n₁)的平均值，n₁表示语音片段播放后持续的总时间长度，s(n₁)表示语音片段播放后第n₁毫秒时待识别的脑电信号，S(n₁)为s(n₁)的标准差，s(t)表示第t毫秒时待识别的脑电信号，1≤m≤n₁。。

脑网络属性特征是将脑电信号作为功能脑网络的节点输入，首先计算任意2个脑电信号在α(8-13Hz)、β(13-30Hz)、γ(30-49Hz)频段的相干系数式中，P_ij(f)为2个脑电信号s_i(n)和s_j(n)的互谱密度函数，P_ii(f)和P_jj(f)分别是2个脑电信号s_i(n)和s_j(n)傅里叶变换后的自谱密度函数，从而得到3个频段下的相干矩阵。根据各脑电信号间的相干系数构造脑网络，然后计算脑网络中每个脑网络节点的度式中W为脑网络中所有节点的集合；特征路径长度式中s为脑网络节点总数，d_ij表示脑网络中脑网络节点i和脑网络节点j之间的距离，此处为连接这两个节点最短路径上的边数。平均聚类系数式中节点i的聚类系数e_i为节点i邻居间实际连接边的数目，p_i为节点i的邻居节点数目。

步骤108：对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。

图3为本发明实施例提供的一种情感识别系统结构图。如图3所示，一种情感识别系统，包括：

待训练的脑电信号获取模块201，用于随机向使用者播放多种情感类型的语音片段后，采集使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号。

待训练的脑电信号特征提取模块202，用于提取待训练的脑电信号特征；待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；待训练的时频域特征为根据待训练的脑电信号的小波分解系数计算得到的小波熵；待训练的非线性特征包括对待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待训练的脑电信号进行平均误差计算后得到的Hurst指数；待训练的脑网络属性特征反应待训练的脑电信号之间的相关性。

特征映射及融合模块203，用于对待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征。

特征映射及融合模块203，具体包括：

待训练的脑电信号特征构造训练集获取单元，用于获取待训练的脑电信号特征构造训练集；训练集为 表示播放第i₂个语音片段时待训练的脑电信号特征训练样本，表示与待训练的脑电信号特征训练样本对应的情感类型，N表示播放的多种情感类型的语音片段的总个数；情感类型包括悲伤、生气、高兴、惊奇。

第一目标函数的最优解计算单元，用于根据待训练的脑电信号特征构造训练集计算第一目标函数的最优解；第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时第一目标函数的最优解，和为播放第j₂个语音片段时第一目标函数的最优解，表示播放第j₂个语音片段时待训练的脑电信号特征训练样本，表示与待训练的脑电信号特征训练样本对应的情感类型，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子。

融合后的脑电信号特征生成单元，用于根据第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数。

训练模块204，用于根据融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机。

训练模块204，具体包括：

第二目标函数的最优解计算单元，用于根据融合后的脑电信号特征计算第二目标函数的最优解。

第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子。

支持向量分类机模型构造单元，用于根据第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，表示第四核函数。

待识别的脑电信号获取模块205，用于获取待识别的脑电信号。

图2为本发明实施例提供的脑电电极分布图，如图2所示，待识别的脑电信号包括前额叶脑电信号F7、F3、Fz、F4、F8，、颞叶脑电信号T7、C3、Cz、C4、T8和顶叶脑电信号P7、P3、Pz、P4、P8。使用64导的Neuroscan设备采集脑电信号，其中，采样频率设定为1000Hz，且每个电极导联的阻抗都小于5KΩ。

预处理模块206，用于对待识别的脑电信号进行预处理。

预处理模块206，具体包括：

滤波单元，用于对待识别的脑电信号进行0.5Hz～49Hz带通滤波处理。

去除眼电伪迹单元，用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹。

基线校正单元，用于将去除眼电伪迹的待识别的脑电信号进行基线校正。

待识别的脑电信号特征提取模块207，用于提取待识别的脑电信号特征；待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵；待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数；待识别脑网络属性特征反应待识别的脑电信号之间的相关性。

待识别的脑电信号特征提取模块207，具体包括：

待识别的时频域特征提取单元，用于根据公式提取待识别的时频域特征；

其中，表示小波熵，表示待识别的脑电信号的第i₁阶小波分解系数，i₁＝1,2,3，j₁表示cD_i的个数。

功率谱密度提取单元，用于对待识别的脑电信号进行带通滤波，得到第一频段、第二频段和第三频段的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以语音片段播放后持续的时间长度，得到功率谱密度；第一频段为8-13Hz，第二频段为13-30Hz，第三频段为30-49Hz。

Hurst指数提取单元，用于根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差，R(n₁)表示语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，s(n₁)表示语音片段播放后第n₁毫秒时待识别的脑电信号，表示s(n₁)的平均值，n₁表示语音片段播放后持续的时间长度，S(n₁)为s(n₁)的标准差。

脑网络属性特征是将脑电信号作为功能脑网络的节点输入，首先计算任意2个脑电信号在α(8-13Hz)、β(13-30Hz)、γ(30-49Hz)频段的相干系数式中，P_ij(f)为2个脑电信号的互谱密度函数，P_ii(f)和P_jj(f)分别是2个脑电信号傅里叶变换后的自谱密度函数，从而得到3个频段下的相干矩阵。根据各脑电信号间的相干系数构造脑网络，然后计算脑网络中每个脑网络节点的度式中W为脑网络中所有节点的集合；特征路径长度式中s为脑网络节点总数，d_ij表示脑网络中节点i、j之间的距离，此处为连接这两个节点最短路径上的边数；平均聚类系数式中节点i的聚类系数e_i为节点i邻居间实际连接边的数目，p_i为节点i的邻居节点数目。

情感识别模块208，用于对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种情感识别方法，其特征在于，包括：

随机向使用者播放多种情感类型的语音片段，采集所述使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号；

提取所述待训练的脑电信号特征；所述待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵；所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数；所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性；

对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征；

根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机；

获取待识别的脑电信号；

提取所述待识别的脑电信号特征；所述待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵；所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数；所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性；

对所述待识别的脑电信号特征采用所述训练好的支持向量分类机进行情感识别。

2.根据权利要求1所述的情感识别方法，其特征在于，在所述提取所述待识别的脑电信号特征之前，还包括：对所述待识别的脑电信号进行预处理；

所述对所述待识别的脑电信号进行预处理，具体包括：

对所述待识别的脑电信号进行带通滤波处理；

对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹；

将去除眼电伪迹的待识别的脑电信号进行基线校正；所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。

3.根据权利要求1所述的情感识别方法，其特征在于，所述提取所述待识别的脑电信号特征，具体包括：

根据公式提取待识别的时频域特征；

其中，表示所述小波熵，表示所述待识别的脑电信号的第i₁阶小波分解系数，i₁＝1,2,3，j₁表示的个数；

对所述待识别的脑电信号进行带通滤波，得到第一频段、第二频段和第三频段的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度，得到功率谱密度；所述第一频段为8-13Hz，所述第二频段为13-30Hz，所述第三频段为30-49Hz；

根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示所述语音片段播放后第n₁毫秒时所述待识别的脑电信号的平均误差，R(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，表示s(n₁)的平均值，n₁表示所述语音片段播放后持续的总时间长度，s(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号，S(n₁)为s(n₁)的标准差，s(t)表示第t毫秒时待识别的脑电信号，1≤m≤n₁。

4.根据权利要求1所述的情感识别方法，其特征在于，所述对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征，具体包括：

获取待训练的脑电信号特征构造训练集；所述训练集为 表示播放第i₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，N表示所述播放的多种情感类型的语音片段的总个数；所述情感类型包括悲伤、生气、高兴、惊奇；

根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解；所述第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时所述第一目标函数的最优解，和为播放第j₂个语音片段时所述第一目标函数的最优解，表示播放第j₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子；

根据所述第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数。

5.根据权利要求1所述的情感识别方法，其特征在于，所述根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机，具体包括：

根据所述融合后的脑电信号特征计算第二目标函数的最优解；

所述第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子；

根据所述第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，所述支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，为第i₃个融合后的脑电信号特征的第二目标函数最优解，表示第四核函数。

6.一种情感识别系统，其特征在于，包括：

待训练的脑电信号获取模块，用于随机向使用者播放多种情感类型的语音片段后，采集所述使用者在每一情感类型语音片段的脑电信号，得到待训练的脑电信号；

待训练的脑电信号特征提取模块，用于提取所述待训练的脑电信号特征；所述待训练的脑电信号特征包括：待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征；所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵；所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数；所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性；

特征映射及融合模块，用于对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合，得到融合后的脑电信号特征；

训练模块，用于根据所述融合后的脑电信号特征对支持向量分类机进行训练，得到训练好的支持向量分类机；

待识别的脑电信号获取模块，用于获取待识别的脑电信号；

待识别的脑电信号特征提取模块，用于提取所述待识别的脑电信号特征；所述待识别的脑电信号特征包括：待识别时频域特征、待识别非线性特征和待识别脑网络属性特征；所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵；所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数；所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性；

情感识别模块，用于对所述待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。

7.根据权利要求6所述的情感识别系统，其特征在于，在所述提取所述待识别的脑电信号特征之前，还包括：预处理模块，用于对所述待识别的脑电信号进行预处理；

所述预处理模块，具体包括：

滤波单元，用于对所述待识别的脑电信号进行带通滤波处理；

去除眼电伪迹单元，用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹；

基线校正单元，用于将去除眼电伪迹的待识别的脑电信号进行基线校正；所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。

8.根据权利要求6所述的情感识别系统，其特征在于，所述待识别的脑电信号特征提取模块，具体包括：

待识别的时频域特征提取单元，用于根据公式提取待识别的时频域特征；

其中，表示所述小波熵，表示所述待识别的脑电信号的第i₁阶小波分解系数，i₁＝1,2,3，j₁表示的个数；

功率谱密度提取单元，用于对所述待识别的脑电信号进行带通滤波，得到第一频段、第二频段和第三频段的待识别的脑电信号；对三个频段的待识别的脑电信号进行离散傅里叶变换，得到离散傅里叶变换后的待识别的脑电信号，将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度，得到功率谱密度；所述第一频段为8-13Hz，所述第二频段为13-30Hz，所述第三频段为30-49Hz；

Hurst指数提取单元，用于根据公式提取Hurst指数；

其中，

H(n₁)表示Hurst指数，表示所述语音片段播放后第n₁毫秒时所述待识别的脑电信号的平均误差，R(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号的平均误差的最大值与最小值之差，表示s(n₁)的平均值，n₁表示所述语音片段播放后持续的总时间长度，s(n₁)表示所述语音片段播放后第n₁毫秒时待识别的脑电信号，S(n₁)为s(n₁)的标准差，s(t)表示第t毫秒时待识别的脑电信号，1≤m≤n₁。

9.根据权利要求6所述的情感识别系统，其特征在于，特征映射及融合模块，具体包括：

待训练的脑电信号特征构造训练集获取单元，用于获取待训练的脑电信号特征构造训练集；所述训练集为 表示播放第i₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，N表示所述播放的多种情感类型的语音片段的总个数；所述情感类型包括悲伤、生气、高兴、惊奇；

第一目标函数的最优解计算单元，用于根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解；所述第一目标函数为：

第一约束条件为：

其中，和为播放第i₂个语音片段时所述第一目标函数的最优解，和为播放第j₂个语音片段时所述第一目标函数的最优解，表示播放第j₂个语音片段时所述待训练的脑电信号特征训练样本，表示与所述待训练的脑电信号特征训练样本对应的情感类型，表示第一核函数，ε表示支持向量回归的误差阈值，C表示第一惩罚因子；

融合后的脑电信号特征生成单元，用于根据所述第一目标函数的最优解进行特征映射与融合处理，得到融合后的脑电信号特征，计算公式如下：

x表示待训练的脑电信号特征测试样本，h表示融合后的脑电信号特征，表示第二核函数。

10.根据权利要求6所述的情感识别系统，其特征在于，所述训练模块，具体包括：

第二目标函数的最优解计算单元，用于根据所述融合后的脑电信号特征计算第二目标函数的最优解；

所述第二目标函数为：

第二约束条件为：

其中，为第i₃个融合后的脑电信号特征的第二目标函数最优解，为第j₃个融合后的脑电信号特征的第二目标函数最优解，L为融合后的脑电信号特征总个数，表示第i₃个训练样本的融合后的脑电信号特征，表示第j₃个训练样本的融合后的脑电信号特征，表示第三核函数；C^*表示第二惩罚因子；

支持向量分类机模型构造单元，用于根据所述第二目标函数的最优解构造支持向量分类机模型，得到训练好的支持向量分类机，所述支持向量分类机模型如下：

其中，表示与第i₃个融合后的脑电信号特征对应的情感类型，表示与第j₃个融合后的脑电信号特征对应的情感类型，h^*表示融合后的脑电信号特征测试样本，y^*表示输出的情感类型，表示第四核函数。