CN110025322A - 基于滤波与集成分类器的多模态生理信号情感分类方法 - Google Patents

Abstract

本发明公开了一种基于滤波与集成分类器的多模态生理信号情感分类方法，首先从标准数据集DEAP中获取脑电信号、眼电信号、肌电信号作为初始数据集D，选取A‑V情感维度模型中的A维度和V维度情感标签作为标签集L1和L2；根据Butterworth滤波器阶数和过滤信号频率确定4个带通滤波器，将数据集中每一行进行四次滤波，分别得到Theta波段、Alpha波段、Beta波段和Gamma波段数据；然后，将滤波后数据以长度为10秒时间窗计算Hjorth的三个时域参数，并结合不同生理信号的三个参数形成新的特征数据集；最后，将中的每一行集成分类器中，判定其所属的情感类别。

Description

基于滤波与集成分类器的多模态生理信号情感分类方法

技术领域

本发明涉及生理信号的情感分类方法，特别涉及一种基于滤波与集成分类器的多模态生理信号情感分类方法。

背景技术

情感是构成我们自身人格特点的一个重要元素，它可以影响我们的工作效率、学习状态、社会交往情况等，越来越多研究人员关注情感识别领域。通过言语、面部表情进行情感识别，是情感分类相关研究中非常重要的部分，然而，由于言语和面部表情往往会受到个体的主观意识的控制，在某些情况下的识别结果并不完全可靠。而生理信号（心电、眼电、肌电、脑电及血压等）具有无意识控制的特性，并随着人机接口技术的不断发展，收集生理信号的方式对人体无任何伤害，因此，这类数据更适合用来进行科学研究。目前，基于生理信号的情感识别已经成为研究者们广泛关注的研究课题。

基于多模态的生理信号情感识别模型是将人体中搜集到的各种生理信号：脑电信号、眼电信号、肌电信号进行结合分析后，对其所代表的情感状态进行判定。这是人工智能发展领域一个重要的组成部分，通过对人体生理信号的分析得到人的情感状态，可以更好地分析人类情感模式，进而通过调节自身状态或更改周围环境来帮助人类进行调节。

现有生理信号情感分类方法可归纳为以下三类：基于熵的特征提取方法、基于傅里叶变换的时频域分析方法和基于深度学习模型的特征提取分析方法。其中，基于熵的特征提取方法包括样本熵、信息熵和排列熵等；基于傅里叶变换的时频域分析方法包括短时傅里叶变换、小波变换、小波包变换等；基于深度学习模型的方法包括卷积神经网络、深度信念网络等。这三类方法尚存在以下不足：第一，单一的使用一种生理信号进行情感识别的效果不是特别理想，结果不具有很强的说服力；第二，没有考虑到不同波段生理信号中包含不同类别情感特征的差异性；第三，大多数方法最终使用单一分类器进行情感判定，每次所得结果的准确率浮动较大，直接影响了算法的性能。

发明内容

本发明是为了解决现有基于生理信号的情感识别技术所存在的上述问题，提供一种基于滤波与集成分类器的多模态生理信号情感分类方法。

本发明的技术解决方案是：一种基于滤波与集成分类器的多模态生理信号情感分类方法，其特征在于按如下步骤进行：

约定：D指所采用的多模态生理信号情感数据集；L指情感标签；A指A-V情感维度模型中的Arousal维；V指A-V情感维度模型中的Valence维；LA指Arousal维度中评价值小于等于5的一类；HA指Arousal维度中评价值大于5的一类；LV指Valence维度中评价值小于等于5的一类；HV指Valence维度中评价值大于5的一类；

a. 初始设置

采用国际标准多模态生理信号数据集DEAP中的脑电信号、眼电信号、肌电信号作为初始数据集D，选取其中的A维度和V维度情感标签作为标签集L1，L2；

b. 生理信号滤波处理

b.1 设置Butterworth滤波器的阶数为8，设置过滤的信号波段分别为Theta波、Alpha波、Beta波、Gamma波，形成四个不同的带通滤波器；

b.2 对初始数据集D中脑电信号、眼电信号、肌电信号的每一行数据使用不同的带通滤波器进行四次滤波，分别得到Theta波段数据、Alpha波段数据、Beta波段数据、Gamma波段数据；

c. Hjorth参数计算

c.1 对每一行数据，给定时间窗长度为10秒，分别计算Hjorth的3个时域参数；

c.2 计算信号能量Activity参数，其中y(t)表示输入信号，var(X)表示向量X中元素的样本方差的无偏估计值：

c.3 计算功率谱标准差比例Mobility参数：

c.4 计算频率变化Complexity参数：

c.5 结合Hjorth的3个时域参数，形成新的参数特征集；

d. 分类器集成

d.1 将支持向量机、随机森林、决策树三个分类器采用装袋方法组成集成分类器；

d.2 将中的特征数据按条输入到组建的集成分类器中，通过三个不同分类器的共同作用，给出每条数据的所属情感类别LA/HA，LV/HV。

本发明首先从标准数据集DEAP中获取脑电信号（EEG）、眼电信号（EOG）、肌电信号（EMG）作为初始数据集D，选取A-V情感维度模型中的A维度和V维度情感标签作为标签集L1和L2；其次，将数据集中每一行作为一个样本，根据Butterworth滤波器阶数和过滤信号频率确定4个带通滤波器，将每个样本进行四次滤波，分别得到Theta波段、Alpha波段、Beta波段和Gamma波段数据；然后，将滤波后数据以长度为10秒时间窗计算Hjorth的三个时域参数，并以结合不同生理信号的三个时域参数形成新的特征数据集；最后，将中的每一行作为一个实例输入到由支持向量机（SVM）、随机森林（RF）和决策树（CART），通过装袋（Bagging）方法组成的集成分类器中，判定其所属的情感类别。实验结果显示，本发明在情感二分类中A维度的分类准确率为94.42%，V维度的分类准确率为94.20%，表明算法具有显著优势。

与现有技术相比，本发明具有以下有益效果：

第一，本发明结合了脑电信号、眼电信号、肌电信号对情感特征进行分析，包含的信息较为全面；

第二，本发明过滤出不同波段信号进行了分析，能够得到不同波段所包含的有针对性的情感特征；

第三，本发明采用了集成分类器，能够很好地融合支持向量机、随机森林和决策树的单一分类器优点，从而得到较好的分类效果，提高了模型的稳定性。

附图说明：

图1为本发明实施例在A维度上实验结果示意图。

图2为本发明实施例在V维度上实验结果示意图。

图3为本发明实施例的流程图。

具体实施方式

本发明的基于滤波与集成分类器的多模态生理信号情感分类方法如图3所示，按如下步骤进行：

约定：D指所采用的多模态生理信号情感数据集；L指情感标签；A指A-V情感维度模型中的Arousal维；V指A-V情感维度模型中的Valence维；LA指Arousal维度中评价值小于等于5的一类；HA指Arousal维度中评价值大于5的一类；LV指Valence维度中评价值小于等于5的一类；HV指Valence维度中评价值大于5的一类；

a. 初始设置

采用国际标准多模态生理信号数据集DEAP中的脑电信号（EEG）、眼电信号（EOG）、肌电信号（EMG）作为初始数据集D，选取其中的A维度和V维度情感标签作为标签集L1，L2；

b. 生理信号滤波处理

b.1 设置Butterworth滤波器的阶数为8，设置过滤的信号波段分别为Theta波、Alpha波、Beta波、Gamma波，形成四个不同的带通滤波器；

b.2 对初始数据集D中脑电信号、眼电信号、肌电信号的每一行数据使用不同的带通滤波器进行四次滤波，分别得到Theta(4-8Hz)波段数据、Alpha(8-13Hz)波段数据、Beta(13-30Hz)波段数据、Gamma(30-43Hz)波段数据；

c. Hjorth参数计算

c.1 对每一行数据，给定时间窗长度为10秒，分别计算Hjorth的3个时域参数；

c.2 计算信号能量Activity参数，其中y(t)表示输入信号，var(X)表示向量X中元素的样本方差的无偏估计值：

c.3 计算功率谱标准差比例Mobility参数：

c.4 计算频率变化Complexity参数：

c.5 结合Hjorth的3个时域参数，形成新的参数特征集；

d. 分类器集成

d.1 将支持向量机（SVM）、随机森林（RF）、决策树（CART）三个分类器采用装袋（Bagging）方法组成集成分类器；

d.2 将中的特征数据按条输入到组建的集成分类器中，通过三个不同分类器的共同作用，给出每条数据的所属情感类别LA/HA，LV/HV。

实验测试和参数设置：

实验是在MATLAB环境下执行的，实验所涉及到的标准数据库均已公开，可从http://www.eecs.qmul.ac.uk/mmv/datasets/deap/ 自行搜索下载。

图1为本发明实施例在A维度上实验结果示意图。

图2为本发明实施例在V维度上实验结果示意图。

实验结果显示，本发明在情感二分类中A维度的分类准确率为94.42%，V维度的分类准确率为94.20%，表明算法具有显著优势。

Claims (1)

1.一种基于滤波与集成分类器的多模态生理信号情感分类方法，其特征在于按如下步骤进行：

约定：D指所采用的多模态生理信号情感数据集；L指情感标签；A指A-V情感维度模型中的Arousal维；V指A-V情感维度模型中的Valence维；LA指Arousal维度中评价值小于等于5的一类；HA指Arousal维度中评价值大于5的一类；LV指Valence维度中评价值小于等于5的一类；HV指Valence维度中评价值大于5的一类；

初始设置

采用国际标准多模态生理信号数据集DEAP中的脑电信号、眼电信号、肌电信号作为初始数据集D，选取其中的A维度和V维度情感标签作为标签集L1，L2；

b. 生理信号滤波处理

b.1 设置Butterworth滤波器的阶数为8，设置过滤的信号波段分别为Theta波、Alpha波、Beta波、Gamma波，形成四个不同的带通滤波器；

b.2 对初始数据集D中脑电信号、眼电信号、肌电信号的每一行数据使用不同的带通滤波器进行四次滤波，分别得到Theta波段数据、Alpha波段数据、Beta波段数据、Gamma波段数据；

c. Hjorth参数计算

c.1 对每一行数据，给定时间窗长度为10秒，分别计算Hjorth的3个时域参数；

c.2 计算信号能量Activity参数，其中y(t)表示输入信号，var(X)表示向量X中元素的样本方差的无偏估计值：

c.3 计算功率谱标准差比例Mobility参数：

c.4 计算频率变化Complexity参数：

c.5 结合Hjorth的3个时域参数，形成新的参数特征集；

d. 分类器集成

d.1 将支持向量机、随机森林、决策树三个分类器采用装袋方法组成集成分类器；

d.2 将中的特征数据按条输入到组建的集成分类器中，通过三个不同分类器的共同作用，给出每条数据的所属情感类别LA/HA，LV/HV。