CN110472649A - 基于多尺度分析和集成树模型的脑电情感分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于多尺度分析和集成树模型的脑电情感分类方法及系统，该方法及系统，首先需对脑电信号进行预处理，并采用变分模态分解算法对预处理后的信号进行多尺度分解，得到若干个不同尺度的IMF分量；然后，针对所选择的的IMF分量构建情感特征集；最后，采用Xgboost算法将情感特征集中的特征进行筛选,得到性能较好的特征子集，并将所述特征子集输入到集成树Xgboost分类模型中，进行脑电情感分类；本发明的优势在于克服脑电信号的不稳定性和非线性对情感识别带来的影响，提取出脑电信号的局部特征，使得脑电信号的模式信息得到更加好的表征；克服不同人之间的差异性导致的分布复杂性带来的影响。

Description

基于多尺度分析和集成树模型的脑电情感分类方法及系统

技术领域

本发明涉及人机情感交互领域，更具体地说，涉及一种基于多尺度分析和集成树模型的脑电情感识别方法及系统。

背景技术

拥有情感是人类所特有的一种能力，包括识别情感、具有情感、表达情感等。赋予机器以情感智能是人工智能领域的研究热点。随着科学技术的快速发展，机器人已经进入到日常生活中的各个方面，人们对机器人提出了更高的要求，希望机器人具有感知人类情感，这类机器人称之为情感机器人，它的出现将改变传统的人机交互模式，实现人与机器人的情感交互。情感机器人是用人工的方法和技术赋予机器人以人类式的情感，使之具有识别、理解和表达喜乐哀怒的能力。日本工程学会首届院士、情感计算与智能机器人著名专家任福继教授指出，机器人革命已经进入“互联网+情感+智能”的时代，必须要让机器人具有情感。在此国际研究背景下，国家自然科学基金委员会于2004年将情感计算理论与方法研究列为重点项目，旨在通过计算机科学与心理学的结合，研究认知与情绪的交互作用，深入探讨情感计算理论、多模态情感识别以及它们在情感机器人中的应用等关键技术。

作为情感机器人的关键技术——情感计算技术也由此成为计算机技术研究领域的一大分支。情感计算是指通过传感检测系统采集到由人的情感所引起的表情、语气和生理变化等信号，利用情感识别模型进行识别与分析，从而理解人的情感并给出适当的响应。情感识别是情感计算的核心技术之一，是实现人机情感交互的前提和关键。

一直以来脸部表情和语言语气与情感的关系由于其直观的显现被广泛地加以研究和应用。但是它们反应的情感受主观的影响比较大。基于生理信号的情感识别可以不受主观因素的影响，反应的感更加客观、真实。目前基于生理信号的情感识别主要包括肌电信号、心电信号、皮肤电信号和脑电信号等，但是前三者相较于脑电信号而言在采集技术和采集设备上有较大的难度和较高的花费。因此，本课题将对脑电信号的情感识别方法进行研究，研究的目的是，通过探究有效脑电情感特征选择方法和识别方法来提高脑电情感识别的识别效果，使得机器人能够更好地为人类服务。

目前脑电信号情感识别在很多的领域都得到了相应的应用，例如教育、健康护理、辅助驾驶、娱乐游戏等等。脑电信号情感识别的步骤主要包括脑电信号的处理、脑电信号的特征提取、脑电信号的特征选择，脑电信号的情感识别。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于多尺度分析和集成树模型的脑电情感分类方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种基于多尺度分析和集成树模型的脑电情感分类方法，包括以下步骤：

S1、对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

S2、对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；

S3、采用Xgboost算法对步骤S2构建的情感特征集中的每个特征向量进行筛选，对从中筛选得到若干个特征向量进行组合，构建一个关于所述若干个特征向量的特征子集；

S4、将步骤S3所得的特征子集输入到集成树分类模型中，利用模型中的Xgboost分类器，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器，K为正整数且K≥1。

进一步的，步骤S1中采用变分模态分解-VMD对脑电信号进行多尺度分解即采用迭代的方式，来搜寻最优的变分模型，其优化目标为：

其中，K表示脑电信号分解后得到的IMF分量的个数，ω_k表示每个IMF分量对应的中心频率；δ(t)表示狄克拉函数；u_k表示第k个IMF分量；x是脑电信号；t是时间变量。

进一步的，步骤S3中从情感特征集中，筛选得到若干个特征向量的操作为：首先，通过计算情感特征集中的每一个特征向量在每一颗决策树中的分裂次数，从而得到每一个特征向量的重要程度；然后，将每一个特征向量按照重要程度进行排序后，选定重要程度阈值范围，将在阈值范围内的特征向量集合作为筛选后的特征向量集合。

进一步的，步骤S3中对已得到的特征子集进行降维处理；并将降维处理后的特征子集应用到后续步骤；其中，采用线性判别分析的方法，将特征子集中所有的高维特征向量映射到低维空间中，进行降维处理。

进一步的，步骤S4中，采用Xgboost分类器在构建分类模型时，采用梯度下降的方法进行迭代，其中，每一次迭代都朝着目标函数的梯度最小的方向进行迭代，目标函数定义为：

其中，l是一种可微分的凸函数，其作为模型的损失函数，用来计算真实值与预测值之间的偏差；n表示样本数，K表示采用的决策树的总数；y_i为第i个样本的实际标签值，为第i个样本的预测标签值；Ω(·)表示对“·”进行正则化处理；f_k表示第k个决策树。

进一步的，步骤S4中，首先为了使迭代过程中梯度下降地速度以及准确度，利用Xgboost算法，且在梯度上升决策树-GBDT的基础上，将目标函数L进行泰勒二阶展开，其中，引入泰勒二阶展开后目标函数表示为：

上述公式中，为损失函数l的一阶导数，为损失函数l的二阶倒数；

最后，根据每一个分类回归树的模型复杂度，将最终的目标函数定义为：

其中，γ和λ表示正则化系数，q表示分类回归树结构，T表示叶子结点的个数。

进一步的，步骤S4中，对所述分类器进行参数优化，具体为用贝叶斯参数优化方法优化分类器的超参数，获取最优的参数组合，得到最优的分类性能。

一种基于多尺度分析和集成树模型的脑电情感分类系统，包括以下模块：

脑电信号预处理模块，用于对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

特征提取模块，用于对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；

线性判别分析模块，用于采用Xgboost算法对特征提取模块构建的情感特征集中的每个特征向量进行筛选，将从中筛选得到若干个特征子向量进行组合，构建一个关于特征子向量的特征子集；

情感分类模块，用于将线性判别分析模块所得的特征子集输入到集成树分类模型中，利用模型中的Xgboost分类器，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器，K为正整数且K≥1。

进一步的，情感分类模块中，采用Xgboost分类器在构建分类模型时，采用梯度下降的方法进行迭代，其中，每一次迭代都朝着目标函数的梯度最小的方向进行迭代，目标函数定义为：

其中，l是一种可微分的凸函数，其作为模型的损失函数，用来计算真实值与预测值之间的偏差；n表示样本数，K表示采用的决策树的总数；y_i为第i个样本的实际标签值，为第i个样本的预测标签值；Ω(·)表示对“·”进行正则化处理；f_k表示第k个决策树。

进一步的，情感分类模块中，首先为了使迭代过程中梯度下降地速度以及准确度，利用Xgboost算法，且在梯度上升决策树-GBDT的基础上，将目标函数L进行泰勒二阶展开，其中，引入泰勒二阶展开后目标函数表示为：

上述公式中，为损失函数l的一阶导数，为损失函数l的二阶倒数；

最后，根据每一个分类回归树的模型复杂度，将最终的目标函数定义为：

其中，γ和λ表示正则化系数，q表示分类回归树结构，T表示叶子结点的个数。

在本发明所述的一种基于VMD多尺度分析的脑电信号特征提取方法中，克服脑电信号的不稳定性和非线性对情感识别带来的影响，提取出脑电信号的局部特征，使得脑电信号的模式信息得到更加好的表征。

实施本发明公开的一种基于多尺度分析和集成树模型的脑电情感分类方法及系统，具有以下有益效果：

1、在特征提取方面，考虑到脑电信号的复杂性、不稳定性和非线性，以及大脑情感左右不对称机制，提出一种基于变分模态分解的多尺度分析方法，能够更全面的提取出脑电信号的局部特征，使脑电的模式信息的到更全面的表征。

2、在脑电情感分类方面，考虑到采集过程中不同人之间的脑电信号存在差异性，导致脑电信号的特征集分布复杂的问题，提出一种集成树模型Xgboost的脑电信号分类方法。通过将多个决策树进行线性组合，使分布复杂的特征集得到更好的学习，减小训练过程中的偏差。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明公开的脑电情感分类方法流程图；

图2是本发明公开的脑电情感分类系统结构图；

图3是本发明公开的基于多尺度分析的脑电情感特征提取方法流程图；

图4是不同分量数目下的各分量瞬时频率曲线；

图5是“效价-唤醒”二维情感空间图；

图6是基于贝叶斯参数优化方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，其为本发明公开的脑电情感分类方法流程图，该方法具体包括以下几个步骤：

S1、对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

其中，针对脑电信号的预处理；首先，将采集到的脑电信号通过独立成分分析方法去掉信号中的人工伪迹(眼电信号、肌电信号等)，然后采用巴特沃斯滤波器进行滤波，分离出不同的脑电节律(θ、α、β、γ)；最后，将脑电信号进行分割，选取对情感刺激片段反应稳定的脑电信号片段；

采用变分模态分解算法得到若干个不同尺度的分量(IMF)，每一个分量都涵盖了原始脑电信号的一定信息，具体请参考图3，其为基于多尺度分析的脑电情感特征提取方法流程图，EEG(脑电信号)在经过多尺度分解后，进一步分解得到若干个IMF分量；当中：

脑电信号分解为若干个不同中心频率的有限带宽的分量，如下式所示：

式中，n表示的是分量总个数，；

对脑电信号的分割实质是采用迭代的方式来搜寻最优的变分模型，其优化目标为：

式中，K表示脑电信号分解后得到的IMF分量的个数，ω_k表示每个IMF分量对应的中心频率；δ(t)表示狄克拉函数；u_k表示第k个IMF分量；

而为了在求解上述的约束问题中，方便求取最优解，本实施例中，基于上述优化目标引入了拉格朗日算子，加入拉格朗日算子后，将所述优化目标转换为：

式中，α表示惩罚因子，用于确保在信号重构时的精度；λ表示拉格朗日因子；对上式求取最优解后，可得到每一个IMF分量及其中心频率的表达式分别为：

由于在使用变分模态分解算法分解脑电信号时，需要人为的设定所需要得到的IMF的数量，而IMF的数量对信号的分解效果有很大的影响。例如，当信号分解后所得到的分量较少时，信号的分解没有很大意义。当信号的分解得到的分量较多时，容易出现信号断裂，对分解的效果产生影响。为了获取合适数量的IMF，在本实施例中，通过绘制不同数量的IMF分量情况下的各分量的瞬时频率曲线，如图4所示。当曲线出现明显的拐点时，表明此时信号有断裂的迹象，以该情况下的分量个数为最优的分量个数。

S2、对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；其中，所述脑电信号的不对称特征为在已提取的短时能量特征和微分熵特征的基础上，根据大脑情感左右不对称的机制，求出每一对电极的脑电信号对应的能量和熵的差和比值，将所述能量和熵的差和比值作为脑电信号的不对称特征；

对于符合高斯分布的脑电信号，假设其方差为σ，数学期望为μ，则其微分熵的计算公式为：

脑电信号的短时能量的计算公式为：

式中，E_n表示短时能量特征，x(m)表示脑电信号，N为用来计算短时能量的采样点，w(n)表示加的时间窗。

S3、采用Xgboost算法对步骤S2构建的情感特征集中的每个特征向量进行筛选，将从中筛选得到若干个特征向量进行组合，构建一个关于所述若干个特征向量的特征子集；其中，从情感特征集中，筛选得到若干个特征向量的操作为：首先，通过计算情感特征集中的每一个特征向量在每一颗决策树中的分裂次数，从而得到每一个特征向量的重要程度；然后，将每一个特征向量按照重要程度进行排序后，选定重要程度阈值范围，将在阈值范围内的特征向量集合作为筛选后的特征子向量集合。

本实施例中，还需对此步骤中已得到的特征子集进行降维处理；并将降维处理后的特征子集应用到后续步骤；其中，采用线性判别分析的方法，将特征子集中所有的高维特征向量映射到低维空间中，进行降维处理；该操作使的得到特征子集具有最大的可分离性，同时也可以提升模型的分类效率，曾强在实际应用中的实时性。

S4、将步骤S3所得的特征子集输入到集成树分类模型中，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器；其中，假设决策树的个数为K，则集成后的模型可以表示为：

式中，Γ＝{f(X)＝ω_q(x)},(ω∈R^T,q:R^m→{1,2,…,T})表示分类回归树的函数；其中，ω表示分类回归树的叶子节点的权重，T表示叶子节点的个数，q表示叶子节点的索引；

本实施例中，在利用Xgboost算法构建分类模型时，采用梯度下降的方法进行迭代，且每一次迭代都朝着目标函数的梯度最小的方向进行迭代，因此Xgboost算法的核心是目标函数的优化过程，目标函数可以定义为：

式中，l是一种可微分的凸函数，其作为模型的损失函数，用来计算真实值与预测值之间的偏差；n表示样本数，K表示采用的决策树的总数；y_i为第i个样本的实际标签值，为第i个样本的预测标签值；Ω(·)表示对“·”进行正则化处理；f(k)表示第k个决策树。

为了使迭代过程中梯度下降地更加准确更加快速，Xgboost算法在GBDT的基础上在损失函数中采用的泰勒二阶展开形式，也使Xgboost算法仅仅依靠输入的数据可以自动地学习来进行叶子分裂优化计算。引入泰勒二阶展开后的目标函数转换为：

式中，为损失函数的一阶导数，为损失函数的二阶导数；其中，每一个分类回归树的模型复杂度为：

式中，参数λ和γ分别表示正则化系数；综合上述两项公式，Xgboost分类模型最终的目标函数为：

当前情感状态主要通过“效价-唤醒”二维情感空间来定义，如图5所示。该模型由唤醒维度和效价维度组成。唤醒维度表示情感的强烈程度，越靠近负半轴的方向表示情感越平缓，越靠近正半轴的方向表示情感越强烈。效价维度表示情感的积极和消极属性。越靠近效价维度负半轴的情感越消极，越靠近效价维度正半轴方向的情感属性越积极。本实施例中主要对消极情感和积极情感这两种情感属性进行分类，同时，也根据情感分类模型判断出情感的强烈程度。

作为一个优选的实施例，本步骤中，采用贝叶斯参数优化方法，来优化分类器的超参数，进而获取最优的参数组合，得到最好的分类性能。贝叶斯优化算法的思想是从一个参数候选集中(范围)中随机选择一个参数来获取最大的优化函数的最值。其主要面向的优化场景可以表示为：

式中，χ表示设定的参数范围，x表示搜索参数。贝叶斯优化的目标是从χ选择一个参数x，使得优化目标函数有最值，该算法的流程图如图6所示，从图6中可以总结出贝叶斯优化模型参数时的步骤如下：

Step1：对模型进行初始化，并设定优化满足的终止条件；

Step2：判断模型的先验分布，根据该模型分布选择一组参数加入模型，获取模型对应的输出结果；

Step3：判断模型是否满足优化的需要。如果满足条件，则终止优化过程，将此时的X作为模型最优的参数组合；

Step4：如果选取的参数不满足条件，则将该参数输返回到模型，对模型进行修正，并返回到Step2。

请参考图2，其为脑电情感分类系统的结构图，该系统主要包括脑电信号预处理模块L1、特征提取模块L2、线性判别分析模块L3、情感分类模块L4，其中：

脑电信号预处理模块L1用于对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

特征提取模块L2用于对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；

线性判别分析模块L3用于采用Xgboost算法对特征提取模块构建的情感特征集中的每个特征向量进行筛选，将从中筛选得到若干个特征子向量进行组合，构建一个关于特征子向量的特征子集；

情感分类模块L4用于将线性判别分析模块所得的特征子集输入到集成树分类模型中，利用模型中的Xgboost分类器，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器，K为正整数且K≥1。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于多尺度分析和集成树模型的脑电情感分类方法，其特征在于，包括以下步骤：

S1、对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

S2、对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；

S3、采用Xgboost算法对步骤S2构建的情感特征集中的每个特征向量进行筛选，对从中筛选得到若干个特征向量进行组合，构建一个关于所述若干个特征向量的特征子集；

S4、将步骤S3所得的特征子集输入到集成树分类模型中，利用模型中的Xgboost分类器，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器，K为正整数且K＞1。

2.根据权利要求1所述的脑电情感识别方法，其特征在于，步骤S1中采用变分模态分解-VMD对脑电信号进行多尺度分解即采用迭代的方式，来搜寻最优的变分模型，其优化目标为：

其中，K表示脑电信号分解后得到的IMF分量的个数，ω_k表示每个IMF分量对应的中心频率；δ(t)表示狄克拉函数；u_k表示第k个IMF分量；x是脑电信号；t是时间变量。

3.根据权利要求1所述的脑电情感识别方法，其特征在于，步骤S3中从情感特征集中，筛选得到若干个特征向量的操作为：首先，通过计算情感特征集中的每一个特征向量在每一颗决策树中的分裂次数，从而得到每一个特征向量的重要程度；然后，将每一个特征向量按照重要程度进行排序后，选定重要程度阈值范围，将在阈值范围内的特征向量集合作为筛选后的特征向量集合。

4.根据权利要求1或3所述的脑电情感识别方法，其特征在于，步骤S3中对已得到的特征子集进行降维处理；并将降维处理后的特征子集应用到后续步骤；其中，采用线性判别分析的方法，将特征子集中所有的高维特征向量映射到低维空间中，进行降维处理。

5.根据权利要求1所述的脑电情感识别方法，其特征在于，步骤S4中，采用Xgboost分类器在构建分类模型时，采用梯度下降的方法进行迭代，其中，每一次迭代都朝着目标函数的梯度最小的方向进行迭代，目标函数定义为：

其中，l是一种可微分的凸函数，其作为模型的损失函数，用来计算真实值与预测值之间的偏差；n表示样本数，K表示采用的决策树的总数；y_i为第i个样本的实际标签值，为第i个样本的预测标签值；Ω(·)表示对“·”进行正则化处理；f_k表示第k个决策树。

6.根据权利要求5所述的脑电情感识别方法，其特征在于，步骤S4中，首先为了使迭代过程中梯度下降地速度以及准确度，利用Xgboost算法，且在梯度上升决策树-GBDT的基础上，将目标函数L进行泰勒二阶展开，其中，引入泰勒二阶展开后目标函数表示为：

上述公式中，为损失函数l的一阶导数，为损失函数l的二阶倒数；

最后，根据每一个分类回归树的模型复杂度，将最终的目标函数定义为：

其中，γ和λ表示正则化系数，q表示分类回归树结构，T表示叶子结点的个数。

7.根据权利要求1、5或6所述的脑电情感识别方法，其特征在于，步骤S4中，对所述分类器进行参数优化，具体为用贝叶斯参数优化方法优化分类器的超参数，获取最优的参数组合，得到最优的分类性能。

8.一种基于多尺度分析和集成树模型的脑电情感分类系统，其特征在于，包括以下模块：

脑电信号预处理模块，用于对脑电信号进行预处理，得到对情感刺激片段反应稳定的脑电信号片段；其中，采用变分模态分解算法对所述脑电信号片段进行多尺度分解，得到若干个不同尺度的IMF分量；

特征提取模块，用于对每个IMF分量进行多尺度特征提取，得到若干个由多个特征组合而成的特征向量，针对提取出的特征向量构建情感特征集；所述多个特征包括短时能量特征、微分熵特征以及脑电信号的不对称特征；

线性判别分析模块，用于采用Xgboost算法对特征提取模块构建的情感特征集中的每个特征向量进行筛选，将从中筛选得到若干个特征子向量进行组合，构建一个关于特征子向量的特征子集；

情感分类模块，用于将线性判别分析模块所得的特征子集输入到集成树分类模型中，利用模型中的Xgboost分类器，进行脑电情感分类；其中，集成树分类模型包括由K个决策树线性组合的Xgboost分类器，K为正整数且K≥1。

9.根据权利要求8所述的脑电情感分类系统，其特征在于，情感分类模块中，采用Xgboost分类器在构建分类模型时，采用梯度下降的方法进行迭代，其中，每一次迭代都朝着目标函数的梯度最小的方向进行迭代，目标函数定义为：

其中，l是一种可微分的凸函数，其作为模型的损失函数，用来计算真实值与预测值之间的偏差；n表示样本数，K表示采用的决策树的总数；y_i为第i个样本的实际标签值，为第i个样本的预测标签值；Ω(·)表示对“·”进行正则化处理；f_k表示第k个决策树。

10.根据权利要求9所述的脑电情感识别系统，其特征在于，情感分类模块中，首先为了使迭代过程中梯度下降地速度以及准确度，利用Xgboost算法，且在梯度上升决策树-GBDT的基础上，将目标函数L进行泰勒二阶展开，其中，引入泰勒二阶展开后目标函数表示为：

上述公式中，为损失函数l的一阶导数，为损失函数l的二阶倒数；

最后，根据每一个分类回归树的模型复杂度，将最终的目标函数定义为：

其中，γ和λ表示正则化系数，q表示分类回归树结构，T表示叶子结点的个数。