CN103412646A

CN103412646A - 基于脑机交互的音乐情绪化推荐方法

Info

Publication number: CN103412646A
Application number: CN2013103428172A
Authority: CN
Inventors: 王蔚; 袁海云; 夏棋; 高佳
Original assignee: Nanjing Normal University
Current assignee: Nanjing Normal University
Priority date: 2013-08-07
Filing date: 2013-08-07
Publication date: 2013-11-27
Anticipated expiration: 2033-08-07
Also published as: CN103412646B

Abstract

本发明公开了一种基于脑机交互的音乐情绪化推荐方法，通过采集用户的脑电信号自动搜索对应情绪的音乐推荐给用户。其过程为：首先由脑电采集仪提取用户的脑电EEG信号，对EEG信号进行小波分解为α，β，γ，δ四种波段，将这四个频段能量作为特征，用训练好的脑电情绪识别模型EMSVM进行识别，判断此EEG对应的情绪类别；对外界音乐信号在20Hz-20kHz范围内平均分解成8个频段，利用8个频段的能量值作为特征值，通过训练好的音乐情绪识别模型MMSVM对音乐进行情绪识别，建立音乐情绪数据库MMD；根据上述脑电信号的情绪类别，将对应索引号的音乐推荐给用户，实现基于情绪的音乐推荐系统。本发明可为婴幼儿音乐培养、睡眠治疗和音乐搜索带来新的途径。

Description

基于脑机交互的音乐情绪化推荐方法

技术领域

本发明涉及一种基于脑电信号的音乐情绪化推荐方法，通过对用户当前脑电信号的分析判断用户当前的情绪，可以自动的根据情绪推荐音乐。适应于婴幼儿音乐培养、睡眠音乐治疗和普通音乐搜索等领域。

背景技术

音乐存在于世界各个角落，已成为人们生活、学习、精神治疗中必不可少的元素之一。音乐的数字化传播正成为流行的趋势。人们也已经开始习惯于从网络中得到丰富多彩的各种的音乐内容。大脑皮层的神经元具有自发生物电活动，这种活动在头皮被记录下来称为脑电信号。脑电信号随着人的情绪变化有着对应的关系。通过脑电信号可以判定人的情绪状态。同时音乐和情绪密切相关，音乐对表达、调整情绪有着重要的作用。如何从大量的音乐资源中找到适合当前情绪的音乐成为社会的迫切需求。

在目前的音乐推荐系统中多是基于关键字的推荐，没有考虑用户本身的情绪，也就是说，目前无法实现按照用户的情绪需要推荐音乐。如何诊断用户情绪并自动按照情绪需求推荐给用户更符合他（她）心情的音乐则是音乐推荐研究的新课题，将为婴幼儿、睡眠疗法和普通用户的音乐推荐提供新的途径。

现有技术中有一些基于情感的音乐推荐系统或方法(参考文献:[1]一种基于音乐片断信息查询的音乐搜索方法CN101226526A(张闻麒程伟民范迪)23July2008.[2]Changsheng Xu.Automatic music classification and summarization.[J]Speech and Audio Processing,2005,V13(3):441-450.[3]Mu Li&Bao-Liang Lu.Emotion Classification Based on Gamma-band EEG[J],31^stAnnual International Conference of the IEEE EMBS,Minineapolis,Minnesota,UDA September206,2009,p132301326.)，这些方法大多是对音乐的声学特征进行研究，试图找出情感的种类。而利用用户的生理信号如脑电图（EEG）去自动发现用户的情感进而进行推荐的方法还没有。根据脑电生理学研究显示：听积极情绪的乐曲时左前脑会产生较强的脑电活动，而当听消极情绪的乐曲时右前脑则会产生较强的脑电活动。这些研究说明，根据脑电是可以提取到不同情绪状态的特征值。并且随着脑机交互技术的发展，从脑电数据获取用户当前情绪状态成为可能。

发明内容

针对现有技术中的不足，本发明依据不同的情绪状态在大脑的反映应不同，从脑电信号进行情绪识别并实现对应情绪的音乐自动推荐，比利用人为的给音乐加上关键字的推荐方法具有更客观、准确的特性。

本发明采用的技术方案如下：

基于脑机交互的音乐情绪化推荐方法，包括如下步骤：

（1）使用19导联脑电信号采集仪器，采集输入用户脑电信号，利用脑电情绪识别模型EMSVM识别当前脑电信号的情绪类别是6种基本情绪中的哪一种，即当前用户的情绪类别，这6种基本情绪分别为：高兴、痛苦、悲伤、愤怒、舒缓和抑郁；

（2）利用音乐情绪识别模型MMSVM对外界音乐进行所述6种基本情绪的识别，标注情绪索引号，建立音乐情绪数据库MMD；

（3）根据当前用户的情绪类别，将音乐情绪数据库MMD中的对应情绪类别索引号的音乐推荐给用户。

所述步骤（1）中脑电情绪识别模型EMSVM的建立过程为：利用19导联脑电信号采集仪器，采集实验用户在所述6种基本情绪下的脑电信号样本，每种情绪下采集100个脑电信号样本，每个样本采集时间为60秒，共600个脑电信号样本数据；将采集好的数据用小波变换进行频率分解，得到δ波：0.5-3.5Hz，θ波：4-7Hz，α波：8-13Hz，β波：14-30Hz四个波段；将这四种波的频段能量作为特征，利用这600个6种情绪类别的19导联四波段能量特征矢量作为样本训练一个SVM分类器，训练好的SVM参数模型即可以对输入的任何脑电信号进行识别，判断其对应的6种基本情绪之一；此SVM参数模型即是脑电情绪识别模型EMSVM。

所述步骤（2）中音乐情绪识别模型MMSVM的建立过程为：从外界音乐选取600个音乐样本，其中包括高兴、痛苦、悲伤、愤怒、舒缓和抑郁情绪的音乐各100个，利用小波变换对每个音乐样本的前60秒进行小波变换，在20Hz-20kHz范围内分解为8个波段，这8个波段的频段分别为：0.02～2.5kHz、2.5～5kHz、5～7.5kHz、7.5～10kHz、10～12.5kHz、12.5～15kHz、15～17.5kHz、17.5～20kHz，利用这8个波段的能量特征作为音乐特征矢量，用这600个音乐样本特征矢量训练SVM分类器，最终形成一个可以自动识别音乐属于6种基本情绪中的哪一种的音乐情绪识别模型MMSVM。

本发明将人的客观生理信号与互联网的音乐的推荐结合起来，使得音乐的推荐不在拘泥于刻板的关键字推荐，可以适应于婴幼儿音乐教育、睡眠音乐治疗和普通用户的音乐推荐，创建出了一个灵活、人性的推荐方式，改善了人机交互的灵活性，使得音乐推荐贴合用户的心情，更加人性和有针对性。

附图说明

图1是本发明基于脑机的情绪音乐推荐系统框架图。

图2是本发明采集脑电所用的电极分布图。

图3是音乐情绪识别MMSVM模型的建立流程。

图4是脑电情绪识别EMSVM模型的建立流程。

具体实施方式

本发明包括两个主要内容：一是采集用户当前的脑电信号判断用户当前的情绪状态，此方法的核心是脑电情绪识别模型EMSVM。二是对音乐进行情绪识别，此方法核心为音乐情绪识别模型MMSVM。

（1）脑电情绪识别模型EMSVM的建立，见附图3：利用19导联脑电信号采集仪器，采集实验用户在6种基本情绪（高兴、痛苦、悲伤、愤怒、舒缓、抑郁）下的脑电信号样本，每种情绪100个，共600个脑电信号样本数据。将采集好的数据用小波变换进行频率分解，得到δ波：0.5-3.5Hz，θ波：4-7Hz，α波：8-13Hz，β波：14-30Hz四个波段，如表1所示。将这四种波的频段能量作为特征，利用这600个6个情绪的19导联4波段能量特征矢量作为样本训练一个SVM分类器，训练好的SVM参数模型即可以对输入的任何脑电信号进行识别，判断其对应的6种情绪之一。此特征提取和SVM分类模型即是脑电情绪识别模型EMSVM。

表1 脑电信号4个波段表

波	节律
		δ波	0.5-3.5Hz
θ波	4-7Hz
		α波	8-13Hz
β波	14-30Hz

（2）音乐情绪识别模型MMSVM，见附图4。此发明是对600个6种情绪类型（高兴、痛苦、悲伤、愤怒、舒缓、抑郁）的音乐进行特征提取，即利用小波变换对每个音乐前60秒样本进行小波变换，在0.02-20kHz范围内分解为8个波段，如表2所示。利用这8个波段的能量特征作为音乐特征矢量，用这600个样本特征矢量训练一个SVM分类器，最终形成一个可以自动识别音乐属于6种情绪中的一种的音乐情绪识别模型MMSVM。

表2音乐能量特征对应频段表

音乐能量特征	频段（kHz）
		F1	0.02-2.5
F2	2.5-5
		F3	5-7.5
F4	7.5-10
		F5	10-12.5
F6	12.5-15
		F7	15-17.5
F8	17.5-20

参照图1，本发明的基于脑电的音乐推荐方法由脑电信号预处理、四波段脑电信号特征提取、脑电信号情绪识别分类器EMSVM、八波段音乐特征提取、音乐情绪自动识别分类器MMSVM和推荐模块组成。

利用本发明进行基于脑电的推荐过程如下：

步骤1，将脑电采集电极按照图2所示的国际标准导联体系位置放置在受试者的头皮上，提取原始脑电信号，该脑电采集仪器是市场上的19导脑电采集仪器。放置位置包括Fp1、Fp2为前额，F3、F4为额，C3、C4为中央，P3、P4为顶，O1、O2为枕，F7、F8为前颞，T3、T4为中颞，T5、T6为后颞，Fz为额中线，Cz为中央头顶，Pz为顶中线，A1、A2为耳或乳突。

步骤2，将原始脑电数据进行去噪的预处理，将输入的脑电信号经过预处理去除噪声和0.5-30HZ带通滤波器滤波，形成30Hz以下的脑电信号数据。将处理后的数据输入特征提取程序中。

步骤3，将于处理后的数据读入特征提取程序中。利用小波分解根据先验知识提取四个波段的频率，选择Daubechies小波基中的db4作为小波母函数进行7层分解，得到对应的小波分解系数；然后对分解得到的小波系数进行软阈值量化处理；最后通过一维离散小波逆变换进行信号重构。本发明选取频段能量作为特征，即对不同频段上的EEG信号离散点的幅度值进行平方和累加得到每一频段上的能量。系统采样频率为512Hz。利用小波提取特征，得到δ波：0.5-3.5Hz，θ波：4-7Hz，α波：8-13Hz，β波：14-30Hz四种波段，将这四种波的频段能量作为特征。

步骤4，将上述19导联的4个波段能量特征参数矢量输入脑电情绪识别模型EMSVM，将19导联的4个波段的频谱特征参数输入到脑电信号情绪识别模型EMSVM，该模型是利用600个6种用户基本情绪下脑电信号样本训练形成的自动识别高兴、痛苦、悲伤、愤怒、舒缓、抑郁6种基本情绪的分类器程序，判断当前的用户脑电信号的情绪类别。

步骤5，对外界输入的音乐进行八波段音乐频谱特征提取，即对音乐信号经过小波包分解后分解成8个波段，将这8个波段的频段能量作为特征值。

步骤6，将外界音乐的8个频谱特征参数输入情绪自动识别模型MMSVM对音乐进行情绪识别，建立情绪类别索引号，形成音乐-情绪数据库MMD；

步骤7，从音乐情绪数据库MMD中，根据用户当前脑电信号的情绪索引号将MMD中对应情绪类别索引号的音乐推荐给用户。

系统参数：

1）音乐情绪识别模型MMSVM的在600个6种音乐的识别准确率如表3所示。尚无自动识别案例做比较。

表3 音乐情绪分类模型的准确率表

情感类别	情绪索引号	准确率
			类别1（高兴）	1	39%
类别2（痛苦）	2	65%
			类别3（悲伤）	3	42%
类别4（愤怒）	4	46%
			类别5（舒缓）	5	41%
类别6（忧郁）	6	40%

2）脑电情绪识别模型EMSVM的600个6种情绪脑电样本的识别准确率如表4所示。尚无类似技术做比较。

表4 音乐情绪分类模型的准确率表

情感类别	情绪索引号	准确率
			类别1（高兴）	1	28%
类别2（痛苦）	2	40%
			类别3（悲伤）	3	20%
类别4（愤怒）	4	46%
			类别5（舒缓）	5	42%
类别6（忧郁）	6	37%

Claims

1.基于脑机交互的音乐情绪化推荐方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于脑机交互的音乐情绪化推荐方法，其特征在于，所述步骤（1）中脑电情绪识别模型EMSVM的建立过程为：利用19导联脑电信号采集仪器，采集实验用户在所述6种基本情绪下的脑电信号样本，每种情绪下采集100个脑电信号样本，每个样本采集时间为60秒，共600个脑电信号样本数据；将采集好的数据用小波变换进行频率分解，得到δ波：0.5-3.5Hz，θ波：4-7Hz，α波：8-13Hz，β波：14-30Hz四个波段；将这四种波的频段能量作为特征，利用这600个6种情绪类别的19导联四波段能量特征矢量作为样本训练一个SVM分类器，训练好的SVM参数模型即可以对输入的任何脑电信号进行识别，判断其对应的6种基本情绪之一；此SVM参数模型即是脑电情绪识别模型EMSVM。

3.根据权利要求2所述的基于脑机交互的音乐情绪化推荐方法，其特征在于，所述步骤（2）中音乐情绪识别模型MMSVM的建立过程为：从外界音乐选取600个音乐样本，其中包括高兴、痛苦、悲伤、愤怒、舒缓和抑郁情绪的音乐各100个，利用小波变换对每个音乐样本的前60秒进行小波变换，在20Hz-20kHz范围内分解为8个波段，这8个波段的频段分别为：0.02～2.5kHz、2.5～5kHz、5～7.5kHz、7.5～10kHz、10～12.5kHz、12.5～15kHz、15～17.5kHz、17.5～20kHz，利用这8个波段的能量特征作为音乐特征矢量，用这600个音乐样本特征矢量训练SVM分类器，最终形成一个可以自动识别音乐属于6种基本情绪中的哪一种的音乐情绪识别模型MMSVM。