CN109871831B - 一种情感识别方法及系统 - Google Patents
一种情感识别方法及系统 Download PDFInfo
- Publication number
- CN109871831B CN109871831B CN201910201740.4A CN201910201740A CN109871831B CN 109871831 B CN109871831 B CN 109871831B CN 201910201740 A CN201910201740 A CN 201910201740A CN 109871831 B CN109871831 B CN 109871831B
- Authority
- CN
- China
- Prior art keywords
- identified
- electroencephalogram
- trained
- electroencephalogram signal
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 44
- 210000004556 brain Anatomy 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 230000003595 spectral effect Effects 0.000 claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 72
- 230000008451 emotion Effects 0.000 claims description 51
- 238000013507 mapping Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000012880 independent component analysis Methods 0.000 claims description 6
- 230000002360 prefrontal effect Effects 0.000 claims description 6
- 210000003478 temporal lobe Anatomy 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种情感识别方法及系统,该方法包括:获取待识别的脑电信号;提取待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵;待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数;待识别脑网络属性特征反应待识别的脑电信号之间的相关性;对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。本发明提出的方法及系统,具有的能够提高情感识别准确率优点。
Description
技术领域
本发明涉及情感识别技术领域,特别是涉及一种情感识别方法及系统。
背景技术
情感是由外界刺激所诱发的一种心理和生理反应过程。正确有效的情感识别是人们日常生活和交流的重要保障,也是实现高级人工智能要解决的关键问题。传统的情感识别主要是基于人的面部表情、语音语调、姿势行为等外部行为表现,然而,这些外部表现所反映的情感特征主观性强,易于被掩饰或伪装。随着传感技术的发展,基于实时采集电生理信号,如脑电、心电、肌电的情感识别更为可靠有效,特别是脑电信号能够客观的反映不同情感的神经认知加工过程。
在基于脑电的情感识别中,目前常用的特征包括短时傅里叶变换、小波变换、经验模态分解等时频分析特征,近似熵、功率谱熵、最大李雅普诺夫指数(Lyapunov指数)、赫斯特指数(Hurst指数)等非线性属性特征和基于不同脑区间相互作用关系的脑网络属性特征等。然而,由于情感脑电信号的非线性、非平稳性以及情感认知过程中各脑区相互作用的复杂性,单一特征或几种特征的简单组合不能有效表征不同情感诱发脑电的差异,因此,情感识别的准确率不高。
发明内容
本发明的目的是提供一种能够提高情感识别准确率的情感识别方法及系统。
为实现上述目的,本发明提供了如下方案:
一种情感识别方法,包括:
随机向使用者播放多种情感类型的语音片段,采集所述使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号;
提取所述待训练的脑电信号特征;所述待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵;所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数;所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性;
对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征;
根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机;
获取待识别的脑电信号;
提取所述待识别的脑电信号特征;所述待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵;所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数;所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性;
对所述待识别的脑电信号特征采用所述训练好的支持向量分类机进行情感识别。
可选的,在所述提取所述待识别的脑电信号特征之前,还包括:对所述待识别的脑电信号进行预处理;
所述对所述待识别的脑电信号进行预处理,具体包括:
对所述待识别的脑电信号进行带通滤波处理;
对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹;
将去除眼电伪迹的待识别的脑电信号进行基线校正;所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。
可选的,所述提取所述待识别的脑电信号特征,具体包括:
对所述待识别的脑电信号进行带通滤波,得到第一频段、第二频段和第三频段的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度,得到功率谱密度;所述第一频段为8-13Hz,所述第二频段为13-30Hz,所述第三频段为30-49Hz;
H(n1)表示Hurst指数,表示所述语音片段播放后第n1毫秒时所述待识别的脑电信号的平均误差,R(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,表示s(n1)的平均值,n1表示所述语音片段播放后持续的总时间长度,s(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号,S(n1)为s(n1)的标准差,s(t)表示第t毫秒时待识别的脑电信号,1≤m≤n1。
可选的,所述对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征,具体包括:
获取待训练的脑电信号特征构造训练集;所述训练集为 表示播放第i2个语音片段时所述待训练的脑电信号特征训练样本,表示播放第i2个语音片段时与所述待训练的脑电信号特征训练样本对应的情感类型,N表示所述播放的多种情感类型的语音片段的总个数;所述情感类型包括悲伤、生气、高兴、惊奇;
根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解;所述第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时所述第一目标函数的最优解,和为播放第j2个语音片段时所述第一目标函数的最优解,表示播放第j2个语音片段时所述待训练的脑电信号特征训练样本,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子;
根据所述第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
可选的,所述根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机,具体包括:
根据所述融合后的脑电信号特征计算第二目标函数的最优解;
所述第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子;
根据所述第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,所述支持向量分类机模型如下:
其中,表示与第i3个融合后的脑电信号特征对应的情感类型,表示与第j3个融合后的脑电信号特征对应的情感类型,h*表示融合后的脑电信号特征测试样本,y*表示输出的情感类型,为第i3个融合后的脑电信号特征的第二目标函数最优解,表示第四核函数。
本发明还提供一种情感识别系统,包括:
待训练的脑电信号获取模块,用于随机向使用者播放多种情感类型的语音片段后,采集所述使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号;
待训练的脑电信号特征提取模块,用于提取所述待训练的脑电信号特征;所述待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵;所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数;所述待训练的脑网络属性特征反应所述待训练的脑电信号之间的相关性;
特征映射及融合模块,用于对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征;
训练模块,用于根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机;
待识别的脑电信号获取模块,用于获取待识别的脑电信号;
待识别的脑电信号特征提取模块,用于提取所述待识别的脑电信号特征;所述待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵;所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数;所述待识别脑网络属性特征反应所述待识别的脑电信号之间的相关性;
情感识别模块,用于对所述待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。
可选的,在所述提取所述待识别的脑电信号特征之前,还包括:预处理模块,用于对所述待识别的脑电信号进行预处理;
所述预处理模块,具体包括:
滤波单元,用于对所述待识别的脑电信号进行带通滤波处理;
去除眼电伪迹单元,用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹;
基线校正单元,用于将去除眼电伪迹的待识别的脑电信号进行基线校正;所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。
可选的,所述待识别的脑电信号特征提取模块,具体包括:
功率谱密度提取单元,用于对所述待识别的脑电信号进行带通滤波,得到第一频段、第二频段和第三频段的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度,得到功率谱密度;所述第一频段为8-13Hz,所述第二频段为13-30Hz,所述第三频段为30-49Hz;
H(n1)表示Hurst指数,表示所述语音片段播放后第n1毫秒时所述待识别的脑电信号的平均误差,R(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,表示s(n1)的平均值,n1表示所述语音片段播放后持续的总时间长度,s(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号,S(n1)为s(n1)的标准差,s(t)表示第t毫秒时待识别的脑电信号,1≤m≤n1。
可选的,特征映射及融合模块,具体包括:
待训练的脑电信号特征构造训练集获取单元,用于获取待训练的脑电信号特征构造训练集;所述训练集为 表示播放第i2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,N表示所述播放的多种情感类型的语音片段的总个数;所述情感类型包括悲伤、生气、高兴、惊奇;
第一目标函数的最优解计算单元,用于根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解;所述第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时所述第一目标函数的最优解,和为播放第j2个语音片段时所述第一目标函数的最优解,表示播放第j2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子;
融合后的脑电信号特征生成单元,用于根据所述第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
可选的,所述训练模块,具体包括:
第二目标函数的最优解计算单元,用于根据所述融合后的脑电信号特征计算第二目标函数的最优解;
所述第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子;
支持向量分类机模型构造单元,用于根据所述第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,所述支持向量分类机模型如下:
其中,表示与第i3个融合后的脑电信号特征对应的情感类型,表示与第j3个融合后的脑电信号特征对应的情感类型,h*表示融合后的脑电信号特征测试样本,y*表示输出的情感类型,为第j3个融合后的脑电信号特征的第二目标函数最优解,表示第四核函数。
与现有技术相比,本发明的有益效果是:
本发明提出了一种情感识别方法及系统,通过提取脑电信号的时频域特征、非线性特征和脑网络属性特征三类脑电信号特征,采用支持向量回归方法对这3类情感脑电信号特征分别进行逐层特征映射及融合,对融合后的特征再采用支持向量分类机进行分类识别,能够有效提高情感识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中情感识别方法流程图;
图2为本发明实施例中脑电电极分布图;
图3为本发明实施例中情感识别系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种能够提高情感识别准确率的情感识别方法及系统。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例:
图1为本发明实施例提供的一种情感识别方法流程图。如图1所示,一种情感识别方法,包括:
步骤101:随机向使用者播放多种情感类型的语音片段,采集使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号。情感类型包括悲伤、生气、高兴、惊奇。
步骤102:提取待训练的脑电信号特征。
在提取待训练的脑电信号特征之前对获取的待训练的脑电信号进行预处理,与处理方法与步骤106中预处理方法相同。
待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;待训练的时频域特征为根据待训练的脑电信号的小波分解系数计算得到的小波熵;待训练的非线性特征包括对待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待训练的脑电信号进行平均误差计算后得到的Hurst指数;待训练的脑网络属性特征反应待训练的脑电信号之间的相关性。其中,提取待训练的脑电信号特征的方法与步骤107中提取待识别的脑电信号特征的方法相同。
步骤103:对待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征。
根据待训练的脑电信号特征构造训练集。训练集为 表示播放第i2个语音片段时待训练的脑电信号特征训练样本,表示与待训练的脑电信号特征训练样本对应的情感类型,N表示播放的多种情感类型的语音片段的总个数;情感类型包括悲伤、生气、高兴、惊奇。
根据待训练的脑电信号特征构造训练集计算第一目标函数的最优解;第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时第一目标函数的最优解,和为播放第j2个语音片段时第一目标函数的最优解,表示播放第j2个语音片段时待训练的脑电信号特征训练样本,表示与待训练的脑电信号特征训练样本对应的情感类型,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子。
本实施例选用高斯核函数K(xi,x)=exp(-γ||xi-x||2),核函数参数γ采用网格搜索法来进行优化选择。第一目标函数是由支持向量回归特征映射层的优化模型,引入Largrange函数后转化为对偶形式得到。由于支持向量回归特征映射层的目标函数有两个待求解,第一目标函数也有两个待求解,和分别为两个待求解的最优解。
根据第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
步骤104:根据融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机。
根据融合后的脑电信号特征计算第二目标函数的最优解。
第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子。第二目标函数是由支持向量分类机的优化模型,引入Largrange函数后转化为对偶形式得到。
根据第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,支持向量分类机模型如下:
其中,表示与第i3个融合后的脑电信号特征对应的情感类型,表示与第j3个融合后的脑电信号特征对应的情感类型,h*表示融合后的脑电信号特征测试样本,y*表示输出的情感类型,为第i3个融合后的脑电信号特征的第二目标函数最优解,表示第四核函数。
步骤105:获取待识别的脑电信号。
图2为本发明实施例提供的脑电电极分布图,如图2所示,待识别的脑电信号包括前额叶脑电信号F7、F3、Fz、F4、F8,颞叶脑电信号T7、C3、Cz、C4、T8和顶叶脑电信号P7、P3、Pz、P4、P8。使用64导的Neuroscan设备采集脑电信号,其中,采样频率设定为1000Hz,且每个电极导联的阻抗都小于5KΩ。
步骤106:对获取的待识别的脑电信号进行预处理,具体包括:
对待识别的脑电信号进行0.5Hz~49Hz带通滤波处理。
对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹。
将去除眼电伪迹的待识别的脑电信号进行基线校正。
步骤107:提取待识别的脑电信号特征。
待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵;待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数;待识别脑网络属性特征反应待识别的脑电信号之间的相关性。
对待识别的脑电信号进行带通滤波,得到第一频段8-13Hz、第二频段13-30Hz和第三频段30-49Hz的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以语音片段播放后持续的时间长度,得到功率谱密度;语音片段播放后持续的时间长度为播放完语音片段后监测脑电信号的总时间。
H(n1)表示Hurst指数,表示语音片段播放后第n1毫秒时待识别的脑电信号的平均误差,R(n1)表示语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,表示s(n1)的平均值,n1表示语音片段播放后持续的总时间长度,s(n1)表示语音片段播放后第n1毫秒时待识别的脑电信号,S(n1)为s(n1)的标准差,s(t)表示第t毫秒时待识别的脑电信号,1≤m≤n1。。
脑网络属性特征是将脑电信号作为功能脑网络的节点输入,首先计算任意2个脑电信号在α(8-13Hz)、β(13-30Hz)、γ(30-49Hz)频段的相干系数式中,Pij(f)为2个脑电信号si(n)和sj(n)的互谱密度函数,Pii(f)和Pjj(f)分别是2个脑电信号si(n)和sj(n)傅里叶变换后的自谱密度函数,从而得到3个频段下的相干矩阵。根据各脑电信号间的相干系数构造脑网络,然后计算脑网络中每个脑网络节点的度式中W为脑网络中所有节点的集合;特征路径长度式中s为脑网络节点总数,dij表示脑网络中脑网络节点i和脑网络节点j之间的距离,此处为连接这两个节点最短路径上的边数。平均聚类系数式中节点i的聚类系数ei为节点i邻居间实际连接边的数目,pi为节点i的邻居节点数目。
步骤108:对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。
图3为本发明实施例提供的一种情感识别系统结构图。如图3所示,一种情感识别系统,包括:
待训练的脑电信号获取模块201,用于随机向使用者播放多种情感类型的语音片段后,采集使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号。
待训练的脑电信号特征提取模块202,用于提取待训练的脑电信号特征;待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;待训练的时频域特征为根据待训练的脑电信号的小波分解系数计算得到的小波熵;待训练的非线性特征包括对待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待训练的脑电信号进行平均误差计算后得到的Hurst指数;待训练的脑网络属性特征反应待训练的脑电信号之间的相关性。
特征映射及融合模块203,用于对待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征。
特征映射及融合模块203,具体包括:
待训练的脑电信号特征构造训练集获取单元,用于获取待训练的脑电信号特征构造训练集;训练集为 表示播放第i2个语音片段时待训练的脑电信号特征训练样本,表示与待训练的脑电信号特征训练样本对应的情感类型,N表示播放的多种情感类型的语音片段的总个数;情感类型包括悲伤、生气、高兴、惊奇。
第一目标函数的最优解计算单元,用于根据待训练的脑电信号特征构造训练集计算第一目标函数的最优解;第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时第一目标函数的最优解,和为播放第j2个语音片段时第一目标函数的最优解,表示播放第j2个语音片段时待训练的脑电信号特征训练样本,表示与待训练的脑电信号特征训练样本对应的情感类型,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子。
融合后的脑电信号特征生成单元,用于根据第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
训练模块204,用于根据融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机。
训练模块204,具体包括:
第二目标函数的最优解计算单元,用于根据融合后的脑电信号特征计算第二目标函数的最优解。
第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子。
支持向量分类机模型构造单元,用于根据第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,支持向量分类机模型如下:
待识别的脑电信号获取模块205,用于获取待识别的脑电信号。
图2为本发明实施例提供的脑电电极分布图,如图2所示,待识别的脑电信号包括前额叶脑电信号F7、F3、Fz、F4、F8,、颞叶脑电信号T7、C3、Cz、C4、T8和顶叶脑电信号P7、P3、Pz、P4、P8。使用64导的Neuroscan设备采集脑电信号,其中,采样频率设定为1000Hz,且每个电极导联的阻抗都小于5KΩ。
预处理模块206,用于对待识别的脑电信号进行预处理。
预处理模块206,具体包括:
滤波单元,用于对待识别的脑电信号进行0.5Hz~49Hz带通滤波处理。
去除眼电伪迹单元,用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹。
基线校正单元,用于将去除眼电伪迹的待识别的脑电信号进行基线校正。
待识别的脑电信号特征提取模块207,用于提取待识别的脑电信号特征;待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;待识别时频域特征为根据待识别的脑电信号的小波分解系数计算得到的小波熵;待识别非线性特征包括对待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对待识别的脑电信号进行平均误差计算后得到的Hurst指数;待识别脑网络属性特征反应待识别的脑电信号之间的相关性。
待识别的脑电信号特征提取模块207,具体包括:
功率谱密度提取单元,用于对待识别的脑电信号进行带通滤波,得到第一频段、第二频段和第三频段的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以语音片段播放后持续的时间长度,得到功率谱密度;第一频段为8-13Hz,第二频段为13-30Hz,第三频段为30-49Hz。
H(n1)表示Hurst指数,表示语音片段播放后第n1毫秒时待识别的脑电信号的平均误差,R(n1)表示语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,s(n1)表示语音片段播放后第n1毫秒时待识别的脑电信号,表示s(n1)的平均值,n1表示语音片段播放后持续的时间长度,S(n1)为s(n1)的标准差。
脑网络属性特征是将脑电信号作为功能脑网络的节点输入,首先计算任意2个脑电信号在α(8-13Hz)、β(13-30Hz)、γ(30-49Hz)频段的相干系数式中,Pij(f)为2个脑电信号的互谱密度函数,Pii(f)和Pjj(f)分别是2个脑电信号傅里叶变换后的自谱密度函数,从而得到3个频段下的相干矩阵。根据各脑电信号间的相干系数构造脑网络,然后计算脑网络中每个脑网络节点的度式中W为脑网络中所有节点的集合;特征路径长度式中s为脑网络节点总数,dij表示脑网络中节点i、j之间的距离,此处为连接这两个节点最短路径上的边数;平均聚类系数式中节点i的聚类系数ei为节点i邻居间实际连接边的数目,pi为节点i的邻居节点数目。
情感识别模块208,用于对待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种情感识别方法,其特征在于,包括:
随机向使用者播放多种情感类型的语音片段,采集所述使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号;
提取所述待训练的脑电信号特征;所述待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵;所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数;所述待训练的脑网络属性特征反映 所述待训练的脑电信号之间的相关性;
对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征;
根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机;
获取待识别的脑电信号;
提取所述待识别的脑电信号特征;所述待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵;所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数;所述待识别脑网络属性特征反映 所述待识别的脑电信号之间的相关性;
所述提取所述待识别的脑电信号特征,具体包括:
对所述待识别的脑电信号进行带通滤波,得到第一频段、第二频段和第三频段的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度,得到功率谱密度;所述第一频段为8-13Hz,所述第二频段为13-30Hz,所述第三频段为30-49Hz;
H(n1)表示Hurst指数,表示所述语音片段播放后第n1毫秒时所述待识别的脑电信号的平均误差,R(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,表示s(n1)的平均值,n1表示所述语音片段播放后持续的总时间长度,s(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号,S(n1)为s(n1)的标准差,s(t)表示第t毫秒时待识别的脑电信号,1≤m≤n1;
对所述待识别的脑电信号特征采用所述训练好的支持向量分类机进行情感识别。
2.根据权利要求1所述的情感识别方法,其特征在于,在所述提取所述待识别的脑电信号特征之前,还包括:对所述待识别的脑电信号进行预处理;
所述对所述待识别的脑电信号进行预处理,具体包括:
对所述待识别的脑电信号进行带通滤波处理;
对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹;
将去除眼电伪迹的待识别的脑电信号进行基线校正;所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。
3.根据权利要求1所述的情感识别方法,其特征在于,所述对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征,具体包括:
获取待训练的脑电信号特征构造训练集;所述训练集为 表示播放第i2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,N表示所述播放的多种情感类型的语音片段的总个数;所述情感类型包括悲伤、生气、高兴、惊奇;
根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解;所述第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时所述第一目标函数的最优解,和为播放第j2个语音片段时所述第一目标函数的最优解,表示播放第j2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子;
根据所述第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
4.根据权利要求1所述的情感识别方法,其特征在于,所述根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机,具体包括:
根据所述融合后的脑电信号特征计算第二目标函数的最优解;
所述第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子;
根据所述第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,所述支持向量分类机模型如下:
5.一种情感识别系统,其特征在于,包括:
待训练的脑电信号获取模块,用于随机向使用者播放多种情感类型的语音片段后,采集所述使用者在每一情感类型语音片段的脑电信号,得到待训练的脑电信号;
待训练的脑电信号特征提取模块,用于提取所述待训练的脑电信号特征;所述待训练的脑电信号特征包括:待训练的时频域特征、待训练的非线性特征和待训练的脑网络属性特征;所述待训练的时频域特征为根据所述待训练的脑电信号的小波分解系数计算得到的小波熵;所述待训练的非线性特征包括对所述待训练的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待训练的脑电信号进行平均误差计算后得到的Hurst指数;所述待训练的脑网络属性特征反映 所述待训练的脑电信号之间的相关性;
特征映射及融合模块,用于对所述待训练的脑电信号特征采用支持向量回归法进行特征映射及融合,得到融合后的脑电信号特征;
训练模块,用于根据所述融合后的脑电信号特征对支持向量分类机进行训练,得到训练好的支持向量分类机;
待识别的脑电信号获取模块,用于获取待识别的脑电信号;
待识别的脑电信号特征提取模块,用于提取所述待识别的脑电信号特征;所述待识别的脑电信号特征包括:待识别时频域特征、待识别非线性特征和待识别脑网络属性特征;所述待识别时频域特征为根据所述待识别的脑电信号的小波分解系数计算得到的小波熵;所述待识别非线性特征包括对所述待识别的脑电信号进行离散傅里叶变换后得到的功率谱密度和对所述待识别的脑电信号进行平均误差计算后得到的Hurst指数;所述待识别脑网络属性特征反映 所述待识别的脑电信号之间的相关性;
所述待识别的脑电信号特征提取模块,具体包括:
功率谱密度提取单元,用于对所述待识别的脑电信号进行带通滤波,得到第一频段、第二频段和第三频段的待识别的脑电信号;对三个频段的待识别的脑电信号进行离散傅里叶变换,得到离散傅里叶变换后的待识别的脑电信号,将离散傅里叶变换后的待识别的脑电信号幅值的平方和除以所述语音片段播放后持续的时间长度,得到功率谱密度;所述第一频段为8-13Hz,所述第二频段为13-30Hz,所述第三频段为30-49Hz;
H(n1)表示Hurst指数,表示所述语音片段播放后第n1毫秒时所述待识别的脑电信号的平均误差,R(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号的平均误差的最大值与最小值之差,表示s(n1)的平均值,n1表示所述语音片段播放后持续的总时间长度,s(n1)表示所述语音片段播放后第n1毫秒时待识别的脑电信号,S(n1)为s(n1)的标准差,s(t)表示第t毫秒时待识别的脑电信号,1≤m≤n1;
情感识别模块,用于对所述待识别的脑电信号特征采用训练好的支持向量分类机进行情感识别。
6.根据权利要求5所述的情感识别系统,其特征在于,在所述提取所述待识别的脑电信号特征之前,还包括:预处理模块,用于对所述待识别的脑电信号进行预处理;
所述预处理模块,具体包括:
滤波单元,用于对所述待识别的脑电信号进行带通滤波处理;
去除眼电伪迹单元,用于对滤波处理后的待识别的脑电信号采用独立成分分析法去除眼电伪迹;
基线校正单元,用于将去除眼电伪迹的待识别的脑电信号进行基线校正;所述待识别的脑电信号包括前额叶脑电信号、颞叶脑电信号和顶叶脑电信号。
7.根据权利要求5所述的情感识别系统,其特征在于,特征映射及融合模块,具体包括:
待训练的脑电信号特征构造训练集获取单元,用于获取待训练的脑电信号特征构造训练集;所述训练集为 表示播放第i2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,N表示所述播放的多种情感类型的语音片段的总个数;所述情感类型包括悲伤、生气、高兴、惊奇;
第一目标函数的最优解计算单元,用于根据所述待训练的脑电信号特征构造训练集计算第一目标函数的最优解;所述第一目标函数为:
第一约束条件为:
其中,和为播放第i2个语音片段时所述第一目标函数的最优解,和为播放第j2个语音片段时所述第一目标函数的最优解,表示播放第j2个语音片段时所述待训练的脑电信号特征训练样本,表示与所述待训练的脑电信号特征训练样本对应的情感类型,表示第一核函数,ε表示支持向量回归的误差阈值,C表示第一惩罚因子;
融合后的脑电信号特征生成单元,用于根据所述第一目标函数的最优解进行特征映射与融合处理,得到融合后的脑电信号特征,计算公式如下:
8.根据权利要求5所述的情感识别系统,其特征在于,所述训练模块,具体包括:
第二目标函数的最优解计算单元,用于根据所述融合后的脑电信号特征计算第二目标函数的最优解;
所述第二目标函数为:
第二约束条件为:
其中,为第i3个融合后的脑电信号特征的第二目标函数最优解,为第j3个融合后的脑电信号特征的第二目标函数最优解,L为融合后的脑电信号特征总个数,表示第i3个训练样本的融合后的脑电信号特征,表示第j3个训练样本的融合后的脑电信号特征,表示第三核函数;C*表示第二惩罚因子;
支持向量分类机模型构造单元,用于根据所述第二目标函数的最优解构造支持向量分类机模型,得到训练好的支持向量分类机,所述支持向量分类机模型如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201740.4A CN109871831B (zh) | 2019-03-18 | 2019-03-18 | 一种情感识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201740.4A CN109871831B (zh) | 2019-03-18 | 2019-03-18 | 一种情感识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109871831A CN109871831A (zh) | 2019-06-11 |
CN109871831B true CN109871831B (zh) | 2021-01-05 |
Family
ID=66920741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910201740.4A Expired - Fee Related CN109871831B (zh) | 2019-03-18 | 2019-03-18 | 一种情感识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109871831B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110946576A (zh) * | 2019-12-31 | 2020-04-03 | 西安科技大学 | 一种基于宽度学习的视觉诱发电位识别情绪方法 |
CN111521259B (zh) * | 2020-04-30 | 2022-02-18 | 中国恩菲工程技术有限公司 | 磨机检测方法、装置与设备 |
CN112754502A (zh) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | 一种基于脑电信号的音乐自动切换方法 |
CN113261980B (zh) * | 2021-05-14 | 2022-10-21 | 清华大学 | 一种基于脑电联合特征学习的大规模视觉分类方法及装置 |
CN114403877A (zh) * | 2022-01-21 | 2022-04-29 | 中山大学 | 基于二维连续模型的多生理信号情绪定量评估方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8024032B1 (en) * | 2005-11-28 | 2011-09-20 | Flint Hills Scientific Llc | Method and system for the prediction, rapid detection, warning, prevention, or control of changes in the brain states of a subject using hurst parameter estimation |
KR101709609B1 (ko) * | 2015-06-11 | 2017-02-23 | 경북대학교 산학협력단 | 정신 상태를 추정하기 위한 전자 장치 및 방법, 이를 수행하기 위한 기록 매체 |
CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324040B (zh) * | 2011-09-09 | 2013-06-05 | 太原科技大学 | 桥式起重机当量载荷谱获取及疲劳剩余寿命估算方法 |
CN104319762A (zh) * | 2014-09-30 | 2015-01-28 | 华北电力大学(保定) | 一种在线识别电力系统同调机群的新方法 |
CN107714038A (zh) * | 2017-10-12 | 2018-02-23 | 北京翼石科技有限公司 | 一种脑电信号的特征提取方法及装置 |
-
2019
- 2019-03-18 CN CN201910201740.4A patent/CN109871831B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8024032B1 (en) * | 2005-11-28 | 2011-09-20 | Flint Hills Scientific Llc | Method and system for the prediction, rapid detection, warning, prevention, or control of changes in the brain states of a subject using hurst parameter estimation |
KR101709609B1 (ko) * | 2015-06-11 | 2017-02-23 | 경북대학교 산학협력단 | 정신 상태를 추정하기 위한 전자 장치 및 방법, 이를 수행하기 위한 기록 매체 |
CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109871831A (zh) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871831B (zh) | 一种情感识别方法及系统 | |
CN112656427B (zh) | 一种基于维度模型的脑电信号情绪识别方法 | |
CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
CN103412646A (zh) | 基于脑机交互的音乐情绪化推荐方法 | |
CN115153563B (zh) | 基于eeg的普通话听觉注意解码方法及装置 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
CN110946576A (zh) | 一种基于宽度学习的视觉诱发电位识别情绪方法 | |
CN110251124B (zh) | 一种有效性脑网络的确定方法及系统 | |
CN112488002B (zh) | 基于n170的情绪识别方法及识别系统 | |
CN111407243A (zh) | 一种基于深度学习的脉搏信号压力识别方法 | |
CN113180659B (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别方法 | |
CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
CN109222966A (zh) | 一种基于变分自编码器的脑电信号情感分类方法 | |
CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
CN115227243A (zh) | 判别脑疲劳及情绪的自动检索背景音乐bci系统 | |
CN114129163B (zh) | 基于脑电信号的多视图深度学习的情绪分析方法和系统 | |
CN115659207A (zh) | 一种脑电情绪识别方法及系统 | |
CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
CN111736690A (zh) | 基于贝叶斯网络结构辨识的运动想象脑机接口 | |
CN116196015A (zh) | 一种基于节律特征融合卷积神经网络的脑电分类模型 | |
Paithane et al. | Electroencephalogram signal analysis using wavelet transform and support vector machine for human stress recognition | |
Falcon-Caro et al. | A diffusion adaptation approach to model brain responses in an EEG-based hyperscanning study | |
Raj et al. | Analysis of brain wave due to stimulus using EEG |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210105 |