CN106803095A - 基于组合特征提取的脑电情感识别方法 - Google Patents

基于组合特征提取的脑电情感识别方法 Download PDF

Info

Publication number
CN106803095A
CN106803095A CN201611199739.5A CN201611199739A CN106803095A CN 106803095 A CN106803095 A CN 106803095A CN 201611199739 A CN201611199739 A CN 201611199739A CN 106803095 A CN106803095 A CN 106803095A
Authority
CN
China
Prior art keywords
eeg
data
eeg emotion
intrinsic mode
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611199739.5A
Other languages
English (en)
Inventor
张永
吉晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN201611199739.5A priority Critical patent/CN106803095A/zh
Publication of CN106803095A publication Critical patent/CN106803095A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于组合特征提取的脑电情感识别方法,根据各脑电情感数据通道的功率谱密度估计值,选择功率谱密度估计值较高的道为特征提取通道;基于经验模态分解进行脑电情感特征提取,经验模态分解后得到一系列固有模态函数,计算它们的方差贡献率,并选取累计方差贡献率到达预设阈值的前k个固有模态函数;计算这k个固有模态函数的样本熵;基于样本熵值构造特征向量,从而形成一个特征向量集;将脑电情感数据数据划分为多个类别,借助支持向量机进行脑电情感的识别。本发明实施考虑脑电情感数据集中数据的非线性和非平稳性特性,保证了该方法的分类精度、准确率和执行速度。

Description

基于组合特征提取的脑电情感识别方法
技术领域
本发明涉及数据挖掘领域,具体涉及一种可同时处理情感脑电信号的非线性和非平稳性、提高分类精度、准确率及执行速度的基于组合特征提取的脑电情感识别方法。
背景技术
情感是由外界的感知所引发的一种心理和生理过程,它在人与人的交流过程中扮演着很重要的角色。有效的情感识别可以帮助我们解决很多现实生活中的问题,也是实现人工智能必须要解决的问题。例如:司机驾驶过程中精神状态的检测、顾客对产品满意度的调查、士兵精神状态监测、远程教育和智能多媒体系统的应用等等。最初的情感识别是通过面部表情、语音语调、身体姿态等显著的外部特征来进行,但是这类信号很容易被人掩饰或者伪装,随着科技的发展,脑电、心电、肌电、血压等生理信号已被用于情感识别中。
在脑电情感识别的过程中,特征提取是非常重要的一个环节。目前用于脑电情感识别的特征分析方法主要有时域分析法、频域分析法、时频分析法和基于非线性与混沌理论的分析方法。频域分析法使用的是傅里叶变换,但傅立叶变换并不适用于脑电这种非线性非平稳的信号;在时频分析方法中,短时傅里叶变换很难找到一个合适的窗来同时得到很好的时间分辨率与频率分辨率。虽然小波包变换克服了小波变换视频分解的缺陷,可以用于得到信息更丰富的脑电特征,在情感脑电信号分析中应用较多。但是,小波包变换需要选定小波基,无法实现对不同信号的自适应性。综上所述,现有的特征提取方法并不能同时处理情感脑电信号的非线性和非平稳性问题,分类精度及准确率较低。
发明内容
发明是为了解决现有技术所存在的上述技术问题,提供一种可同时处理情感脑电信号的非线性和非平稳性、提高分类精度、准确率及执行速度的基于组合特征提取的脑电情感识别方法。
本发明的技术解决方案是:一种基于组合特征提取的脑电情感识别方法,其特征在于按照如下步骤进行:
a. 通道选择
计算脑电情感数据各通道的功率谱密度估计值,选择功率谱密度估计值较高的通道为特征提取通道;
b. 基于经验模态分解的脑电情感特征提取
b.1 针对特征提取通道的每个脑电情感数据,依据式进行经验模态分解,式中是残余分量,是第个固有模态模态函数:
b.1.1 找出脑电情感数据所有的极大值点,并用三次样条插值函数拟合形成原数据的上包络线
b.1.2 找出脑电情感数据对应的所有极小值点,并将所有的极小值点通过三次样条插值函数拟合形成原数据的下包络线
b.1.3 计算上包络线和下包络线的均值,
b.1.4 抽取新的数据,判断是否是一个固有模态函数;
如果是,将其标记为一个固有模态函数,并用代替原始的,否则用代替原始的;重复上述过程,直到找到所有的固有模态函数;
b.2 计算所得到固有模态函数的方差贡献率,取出累计方差贡献率到达预设阈值的前个固有模态函数;
c. 计算个固有模态函数的样本熵
将每个固有模态函数按照不同的时间窗划分成个段,假定每个段包含个数据
基于个数据,构造一组维空间的矢量,其中;
定义两个矢量之间的距离为,所述
然后,给定相似容限,对于每个,统计出的数目与矢量总数的比值,记作;并定义
此序列的样本熵值可表示为:
d. 基于样本熵值构造特征向量集
个样本熵值构成一个特征向量,形成一个特征向量集;
e. 对脑电情感进行识别
依据脑电情感数据在唤醒和效价维度上的值,将脑电情感数据划分为多个类别,借助支持向量机进行脑电情感的识别。
本发明根据各脑电情感数据通道的功率谱密度估计值,选择功率谱密度估计值较高的道为特征提取通道;基于经验模态分解进行脑电情感特征提取,经验模态分解后得到一系列固有模态函数,计算它们的方差贡献率,并选取累计方差贡献率到达预设阈值的前k个固有模态函数;计算这个固有模态函数的样本熵;基于样本熵值构造特征向量,从而形成一个特征向量集;将脑电情感数据数据划分为多个类别,借助支持向量机进行脑电情感的识别。本发明可同时处理情感脑电信号的非线性和非平稳性、提高了分类精度、准确率及执行速度。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例中,任务1在不同段长情况下的分类精度示意图。
图3是本发明实施例中,任务2在不同段长情况下的分类精度示意图。
图4是本发明实施例中,任务3在不同段长情况下的分类精度示意图。
图5是本发明实施例中,任务4在不同段长情况下的分类精度示意图。
图6是本发明实施例中,不同段长情况下的4类任务的平均分类精度。
具体实施方式:
本发明的基于组合特征提取的脑电情感识别方法,如图1所示,按照如下步骤进行:
a. 通道选择
计算各通道的功率谱密度估计值,选择功率谱密度估计值较高的通道为特征提取通道;
b. 基于经验模态分解的脑电情感特征提取
b.1 针对特征提取通道的每个脑电情感数据,依据式进行经验模态分解,式中是残余分量,是第个固有模态模态函数:
b.1.1 找出脑电情感数据所有的极大值点,并用三次样条插值函数拟合形成原数据的上包络线
b.1.2 找出脑电情感数据对应的所有极小值点,并将所有的极小值点通过三次样条插值函数拟合形成原数据的下包络线
b.1.3 计算上包络线和下包络线的均值,e avg(t) =
b.1.4 抽取新的数据,判断是否是一个固有模态函数;
如果是,将其标记为一个固有模态函数,并用z(t)−h(t)代替原始的,否则用代替原始的;重复上述过程,直到找到所有的固有模态函数;
判断是一个固有模态函数,必须满足以下两个条件:①信号极值点的数量与过零点的数量必须相等,或最多相差一个;②在任一时间点上,由信号极大值定义的上包络和极小值定义的下包络的局部均值为零;
b.2 计算所得到固有模态函数的方差贡献率,取出累计方差贡献率到达预设阈值的前个固有模态函数;
c. 计算个固有模态函数的样本熵
将每个固有模态函数按照不同的时间窗划分成个段,假定每个段包含个数据
基于个数据,构造一组维空间的矢量,其中;
定义两个矢量之间的距离为
所述
然后,给定相似容限,对于每个,统计出的数目与矢量总数的比值,记作;并定义
此序列的样本熵值可表示为:
d. 基于样本熵值构造特征向量集
个样本熵值构成一个特征向量,形成一个特征向量集;
e. 对脑电情感进行识别
依据脑电情感数据在唤醒和效价维度上的值,将脑电情感数据划分为多个类别,借助支持向量机进行脑电情感的识别。
本发明实施例的效果分析:
准确率、分类精度是重要的评估分类表现的标准,这两个标准同时涵盖了正类和负类的表现性能,因此被广泛用于研究中。分类精度的定义如下:
.
分别表示真正类,假负类,正元组数和负元组数。只被分类器正确分类的正元组,只被分类器正确分类的负元组。
本发明实施例进行情感识别的数据集是DEAP数据集。DEAP数据集是由Koelstra等人构建的一个多模态情感数据库,它包含了32个受试者观看40个时长为1分钟的音乐视频,记录了32个通道的脑电信号,以及8个通道的外围生理信号,采样频率为512Hz。每个受试者观看完一个视频后,都会对视频从唤醒度、效价、喜爱度、熟悉度等四个维度进行评分。
本发明实施例仅对DEAP数据集中的脑电信号进行处理,数据集中一共包含32×40=1280个数据样本。为提高识别效率,每个样本仅选择了每个视频中间的9秒数据,因此每个样本共512×9=4608个数据点。
本发明实施例对唤醒度和效价两个维度进行了情感识别。在DEAP数据集中,每个受试者对这两个维度的评分区间为1(低)--9(高)。本实验中,将评分为1-5的划分为低,而5-9的评分划分为高,因此,在该两维度下,样本被划分为4类:高唤醒度高效价(HAHV),高唤醒度低效价(HALV),低唤醒度高效价(LAHV),低唤醒度低效价(LALV)。在此基础上,本发明实施例构造了4个二分类问题,如表1所示。
表1 二分类任务描述
本发明实施例考虑了不同时间窗下所划分的不同段长情况下的情感分类精度。在每一个任务中,分别考虑了4个不同段长的情况:(a)每一段是1152个点;(b)每一段是384个点;(c)每一段是192个点;(d)每一段是128个点。分类器选择支持向量机,训练集与测试集比例是4:1,实验采用十折交叉验证求取平均值。具体结果如图2-图5所示。
从图2-图5可以清楚地看到,分类精度随着N的减小而逐渐增加。四种分类任务在的组合中均获得了良好的分类结果,表明样本熵的参数组合适合于DEAP数据库的情感识别。
图6还给出了不同段长情况下的4类任务的平均分类精度。本发明实施例只计算不同长度的平均精度,取值为0.16〜0.20。显然,本发明实施例所提出的方法的平均精度的性能随着段长N的减少而显着提高,特别是在LAHV / LALV,LALV / HALV和HAHV / HALV任务的情况下。当分段长度为128时,分类性能最好,8个平均分类精度均在90%以上。总的来说,在的情况下,4个二分类任务都取得了不错的分类效果。
本发明实施例与其他同样使用DEAP数据库的方法进行了比较。具体结果如表2所示。在这些比较方法中,Mohammadi等人采用DWT提取了相应的脑电信号特征进行情感识别,在其实验中使用五对通道(F3-F4,F7-F8,FC1-FC2,FC5-FC6,FP1-FP2),时间窗口分别设置为2秒和4秒,情感分类包含高/低效价和高/低唤醒度。Jie等人使用Kolmogorov-Smirnov(K-S)测试选取了几个通道,并计算了相应的样本熵值,并用支持向量机进行分类。在其实验过程中,对于HAHV/HALV分类任务,选择通道F3,CP5,FP2,FZ和FC2,对于LALV/HALV分类任务,则选择通道FP1,T7和AF4,该实验采用三折交叉验证。为了与Jie等人的方法进行比较,本发明列出了在, 的情况下的结果,这些参数与其对比论文中的参数相同。
表 2. 不同方法下的分类精度
从表2中可以发现,本发明实施例明显优于Mohammadi等人和Jie等人的分类精度,比其平均分类精度大约高7.5%和14%。此外,本发明实施例使用了2个通道的数据提取特征,而Mohammadi等人使用10个通道。Jie等人使用5(和3)通道获得了最佳的分类精度。
最后,本发明实施例对多类分类问题的性能进行了验证。实验中包含了4个类别的数据,即HAHV,LAHV,LALV和HALV。表3示出了在段长的情况下的分类结果。从表3中可以看出,在的情况下出现了最佳的分类精度。当值小于0.15时,性能非常差,与以前的研究结果相一致,而当从0.15到0.20变化时,本发明实施例获得了大约90%的分类精度。
表3. 多类分类问题的实验结果
综上,本发明能够有效的提高脑电情感数据的分类精度。

Claims (1)

1.一种基于组合特征提取的脑电情感识别方法,其特征在于按照如下步骤进行:
a. 通道选择
计算脑电情感数据各通道的功率谱密度估计值,选择功率谱密度估计值较高的通道为特征提取通道;
b. 基于经验模态分解的脑电情感特征提取
b.1 针对特征提取通道的每个脑电情感数据,依据式进行经验模态分解,式中是残余分量,是第个固有模态模态函数:
b.1.1 找出脑电情感数据所有的极大值点,并用三次样条插值函数拟合形成原数据的上包络线
b.1.2 找出脑电情感数据对应的所有极小值点,并将所有的极小值点通过三次样条插值函数拟合形成原数据的下包络线
b.1.3 计算上包络线和下包络线的均值,
b.1.4 抽取新的数据,判断是否是一个固有模态函数;
如果是,将其标记为一个固有模态函数,并用代替原始的,否则用代替原始的;重复上述过程,直到找到所有的固有模态函数;
b.2 计算所得到固有模态函数的方差贡献率,取出累计方差贡献率到达预设阈值的前个固有模态函数;
c. 计算个固有模态函数的样本熵
将每个固有模态函数按照不同的时间窗划分成个段,假定每个段包含个数据
基于个数据,构造一组维空间的矢量,其中;
定义两个矢量之间的距离为,所述
然后,给定相似容限,对于每个,统计出的数目与矢量总数的比值,记作;并定义
此序列的样本熵值可表示为:
d. 基于样本熵值构造特征向量集
个样本熵值构成一个特征向量,形成一个特征向量集;
e. 对脑电情感进行识别
依据脑电情感数据在唤醒和效价维度上的值,将脑电情感数据划分为多个类别,借助支持向量机进行脑电情感的识别。
CN201611199739.5A 2016-12-22 2016-12-22 基于组合特征提取的脑电情感识别方法 Pending CN106803095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611199739.5A CN106803095A (zh) 2016-12-22 2016-12-22 基于组合特征提取的脑电情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611199739.5A CN106803095A (zh) 2016-12-22 2016-12-22 基于组合特征提取的脑电情感识别方法

Publications (1)

Publication Number Publication Date
CN106803095A true CN106803095A (zh) 2017-06-06

Family

ID=58984928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611199739.5A Pending CN106803095A (zh) 2016-12-22 2016-12-22 基于组合特征提取的脑电情感识别方法

Country Status (1)

Country Link
CN (1) CN106803095A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832709A (zh) * 2017-11-10 2018-03-23 辽宁师范大学 基于经验小波变换进行特征提取的脑电情感识别方法
CN107894837A (zh) * 2017-11-28 2018-04-10 合肥工业大学 动态情感分析模型样本处理方法及装置
CN109330613A (zh) * 2018-10-26 2019-02-15 蓝色传感(北京)科技有限公司 基于实时脑电的人体情绪识别方法
CN109656366A (zh) * 2018-12-19 2019-04-19 电子科技大学中山学院 一种情感状态识别方法、装置、计算机设备及存储介质
CN110327042A (zh) * 2019-07-17 2019-10-15 唐延智 一种大脑状态监测装置及其控制方法
CN110367980A (zh) * 2019-07-10 2019-10-25 南京邮电大学 基于多元经验模态分解的脑电信号情绪识别方法
CN112036357A (zh) * 2020-09-09 2020-12-04 曲阜师范大学 一种基于表面肌电信号的上肢动作识别方法及系统
CN112508088A (zh) * 2020-12-03 2021-03-16 重庆邮智机器人研究院有限公司 一种基于dedbn-elm的脑电情感识别方法
CN112515686A (zh) * 2020-11-30 2021-03-19 中国科学院空天信息创新研究院 一种脑电数据处理方法、装置以及计算机可读存储介质
CN112528820A (zh) * 2020-12-03 2021-03-19 重庆邮智机器人研究院有限公司 一种基于emd和dcnn的运动想象脑电信号识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140330159A1 (en) * 2011-09-26 2014-11-06 Beth Israel Deaconess Medical Center, Inc. Quantitative methods and systems for neurological assessment
CN105147281A (zh) * 2015-08-25 2015-12-16 上海医疗器械高等专科学校 便携式意识障碍刺激促醒与评估系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140330159A1 (en) * 2011-09-26 2014-11-06 Beth Israel Deaconess Medical Center, Inc. Quantitative methods and systems for neurological assessment
CN105147281A (zh) * 2015-08-25 2015-12-16 上海医疗器械高等专科学校 便携式意识障碍刺激促醒与评估系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG ZHANG ET AL.: "An approach to EEG-based emotion recognition using combined feature extraction method", 《NEUROSCIENCE LETTERS》 *
周建中等: "《水轮发电机组动力学问题及故障诊断原理与方法》", 31 December 2013, 华中科技大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832709A (zh) * 2017-11-10 2018-03-23 辽宁师范大学 基于经验小波变换进行特征提取的脑电情感识别方法
CN107894837A (zh) * 2017-11-28 2018-04-10 合肥工业大学 动态情感分析模型样本处理方法及装置
CN109330613A (zh) * 2018-10-26 2019-02-15 蓝色传感(北京)科技有限公司 基于实时脑电的人体情绪识别方法
CN109656366A (zh) * 2018-12-19 2019-04-19 电子科技大学中山学院 一种情感状态识别方法、装置、计算机设备及存储介质
CN110367980A (zh) * 2019-07-10 2019-10-25 南京邮电大学 基于多元经验模态分解的脑电信号情绪识别方法
CN110327042A (zh) * 2019-07-17 2019-10-15 唐延智 一种大脑状态监测装置及其控制方法
CN112036357A (zh) * 2020-09-09 2020-12-04 曲阜师范大学 一种基于表面肌电信号的上肢动作识别方法及系统
CN112036357B (zh) * 2020-09-09 2023-05-12 曲阜师范大学 一种基于表面肌电信号的上肢动作识别方法及系统
CN112515686A (zh) * 2020-11-30 2021-03-19 中国科学院空天信息创新研究院 一种脑电数据处理方法、装置以及计算机可读存储介质
CN112515686B (zh) * 2020-11-30 2022-12-30 中国科学院空天信息创新研究院 一种脑电数据处理方法、装置以及计算机可读存储介质
CN112508088A (zh) * 2020-12-03 2021-03-16 重庆邮智机器人研究院有限公司 一种基于dedbn-elm的脑电情感识别方法
CN112528820A (zh) * 2020-12-03 2021-03-19 重庆邮智机器人研究院有限公司 一种基于emd和dcnn的运动想象脑电信号识别方法

Similar Documents

Publication Publication Date Title
CN106803095A (zh) 基于组合特征提取的脑电情感识别方法
CN107832709A (zh) 基于经验小波变换进行特征提取的脑电情感识别方法
Özdenizci et al. Adversarial deep learning in EEG biometrics
Candra et al. Investigation of window size in classification of EEG-emotion signal with wavelet entropy and support vector machine
Ackermann et al. EEG-based automatic emotion recognition: Feature extraction, selection and classification methods
Jenke et al. Feature extraction and selection for emotion recognition from EEG
Yohanes et al. Discrete wavelet transform coefficients for emotion recognition from EEG signals
Zhu et al. Cross-subject and cross-gender emotion classification from EEG
Wichakam et al. An evaluation of feature extraction in EEG-based emotion prediction with support vector machines
CN105512609B (zh) 一种基于核超限学习机的多模融合视频情感识别方法
Djamal et al. EEG-based recognition of attention state using wavelet and support vector machine
CN102855317B (zh) 一种基于演示视频的多模式索引方法及系统
Kaleem et al. EEG seizure detection and epilepsy diagnosis using a novel variation of empirical mode decomposition
CN105286890A (zh) 一种基于脑电信号的驾驶员瞌睡状态监测方法
Hussain et al. Categorical vs. dimensional representations in multimodal affect detection during learning
CN110059564A (zh) 基于功率谱密度和互相关熵谱密度融合的特征提取方法
CN110062378A (zh) 一种手势场景下基于信道状态信息的身份认证方法
Neammalai et al. Speech and music classification using hybrid form of spectrogram and fourier transformation
Zhang et al. Removal of EEG artifacts for BCI applications using fully Bayesian tensor completion
Kumar et al. Neuro-phone: An assistive framework to operate Smartphone using EEG signals
Putra et al. EEG-based emotion classification using wavelet decomposition and K-nearest neighbor
Feradov et al. Ranking of EEG time-domain features on the negative emotions recognition task
CN104899573B (zh) 基于小波变换与Fisher准则的P300特征提取方法
Sultana et al. A non-hierarchical approach of speech emotion recognition based on enhanced wavelet coefficients and K-means clustering
Looney et al. Subspace denoising of EEG artefacts via multivariate EMD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170606