CN106529576A - 基于测度学习改进支持向量机的钢琴乐谱难度识别算法 - Google Patents

Abstract

本发明一种基于测度学习改进支持向量机的钢琴乐谱难度识别算法，包括：建立分类数字钢琴乐谱代表集；提取难度相关特征，构建特征向量空间，并对提取到的特征进行归一化预处理；利用测度学习从训练样本中有监督的得到新的距离测度，并用新的距离测度改进高斯径向基核函数；用one‑versus‑all方法将SVM扩展到多分类；5)基于网格搜索算法选择最优的高斯径向基核函数参数，建立多分类支持向量机模型；6)对于待识别数字乐谱，重复第2)步，依据训练好的多分类支持向量机模型得到的决策函数，计算各子分类器的决策值，将待识别数字乐谱归为所有决策值中最大值所对应的类别。本发明具有较高识别稳定性和识别准确率。

Description

基于测度学习改进支持向量机的钢琴乐谱难度识别算法

技术领域

本发明属于机器学习领域，尤其涉及一种钢琴乐谱难度识别方法。

背景技术

钢琴乐谱难度自动识别即用一种方法自动识别出特定钢琴乐谱的难度等级。随着互联网的飞速发展，现如今大量的钢琴乐谱可以从网络中购买甚至很多网站提供免费下载服务。但对于业余爱好者，由于缺少专业知识和指导，不知如何从网络中海量的钢琴乐谱中选择适合自己难度等级的乐谱而止步不前。对于专业音乐学习者，学习过程中有一套固定的进阶教材，但长时间练习同样的乐曲，过程过于单调和枯燥，也不利于针对个人制定个性化的学习方案以增加学习者的学习热情，提高学习效率。现在绝大部分的钢琴乐谱难度等级仍然需要专业人士去主观判断，然而对于现今网络中海量的数字乐谱，人为一个个去判断其难度等级将会是一个耗时耗力的巨大工程，是不现实的。所以，如果设计一种方法能够自动识别出待定乐谱难度等级标签，不仅对于音乐学习与教学有很大的实际意义，并且能够提高音乐网站的用户体验，也有助于音乐的传播与发展。

钢琴难度等级自动识别技术是一个较新但很有发展潜力的技术领域。Shih-ChuanChiu等人最早提出自动识别钢琴难度等级的方法。他们将此问题看作分类问题，定义一些和钢琴难度相关的特征，用线性回归方法去实现钢琴难度的自动识别。此方法最终效果不令人满意，原因在于：没有考虑特征数据本身的特点，而直接简化模型——假设特征和难度等级是线性关系，用线性回归方法去拟合，此模型过于简化特征和难度等级之间的实际关系。

Véronique Sébastien等人根据音乐教学的过程，提出一种基于乐谱分析的方法实现钢琴乐谱难度识别。首先也定义一些难度相关特征，然后利用主成分分析(PrincipalComponentAnalysis,PCA)降维，将特征投影到二维空间，经过分层聚类(hierarchicalclustering)和k均值聚类(k-means clustering)得到难度类别标签。此方法不足在于：无论PCA还是聚类方法都是非监督方法，虽然能充分利用特征和难度等级之间的分布关系，但无法利用已有的难度等级标签作为先验知识帮助分类。

发明内容

本发明提供一种具有较高识别稳定性和识别准确率的钢琴乐谱难度识别算法。技术方案如下：

一种基于测度学习改进支持向量机的钢琴乐谱难度识别算法，包括以下步骤：

1)建立分类数字钢琴乐谱代表集；

2)提取难度相关特征，构建特征向量空间，并对提取到的特征进行归一化预处理；

3)利用测度学习从训练样本中有监督的得到新的距离测度，并用新的距离测度改进高斯径向基核函数，方法如下：

a).利用测度学习知识，基于相同难度标签的乐谱拉近距离，而不同类别标签乐谱之间的间隔尽可能大思想，建立优化目标，通过求解大间隔优化问题，得到投影矩阵M，基于投影矩阵M得到新的距离测度D_M：

D_M(x_i,x_j)＝(x_i-x_j)^TM(x_i-x_j)

其中x_i,x_j{i,j∈1,...,n}，n表示训练样本的数目，表示序号分别为i和j的特征向量。

b).利用新的距离测度D_M改进高斯径向基核函数中的欧氏距离测度，得到新的高斯径向基核函数形式为：

其中，σ是高斯径向基核函数参数，exp表示以自然常数e为底的指数函数。

c).建立基于上述新的高斯径向基核函数的支持向量机分类模型。

4)用one-versus-all方法将SVM扩展到多分类；

5)基于网格搜索算法选择最优的高斯径向基核函数参数，建立多分类支持向量机模型；

6)对于待识别数字乐谱，重复第2)步，依据训练好的多分类支持向量机模型得到的决策函数，计算各子分类器的决策值，将待识别数字乐谱归为所有决策值中最大值所对应的类别。

本发明基于测度学习，从数据本身有监督的学习到一个新的距离测度，进而改进基于高斯径向基核函数的SVM，并用one-versus-all方法扩展SVM到多分类，基于网格搜索算法选择最优的模型参数组合，建立分类模型，最终实现特定钢琴乐谱难度等级识别。在仿真实验中，用测试集对建立的模型进行准确率检测，结果表明本发明有最好的识别准确率，且有效提高了基于高斯径向基核函数多分类SVM的分类性能。

附图说明

图1.本发明基于测度学习改进多分类SVM的钢琴乐谱难度识别算法总体流程图

图2.(a)和(b)分别是逻辑回归LR，基于线性核函数(LM-SVM)，多项式核函数(PM-SVM)，原始高斯径向基核函数(OM-SVM)以及本发明提出的基于测度学习改进高斯径向基核函数(MM-SVM)的多分类SVM算法在九类数据集(NineS Set)和四类数据集(FourS Set)下各自的识别准确率及结果的90％置信空间。

具体实施方式

1.建立分类数字钢琴乐谱代表集

针对应用问题有目的的采集不同难度标签的钢琴乐谱数据，难度等级编号为1～K，K为自然数。从每个类别中随机选取80％作为训练样本，其余作为测试样本。

2.特征提取和预处理

根据人为判断乐谱难度等级的准则，并结合数字乐谱中节拍，音高，时间，音符变化(note alter)和手的移动(handdisplacement)等信息，提取难度相关特征，构成特征空间集合。

特征提取后，由于不同特征值范围差别较大，为防止数值较大的特征对整体分类影响，对特征空间进行归一化处理，用Min-Max归一化方法，公式如下：

将特征向量的值归一化到[0,1]区间。其中min和max分别表示特征x_i的最小和最大值，表示特征x_i经过归一化处理后的特征。

3.测度学习得到新的距离测度，并改进高斯径向基核函数

测度学习(metric learning)，即从问题本身的先验知识中有监督的学习到一个距离(distance)或者相似(similarity)测度。首先利用问题和数据本身的先验知识有监督的得到一个映射关系，然后在投影(映射)后的样本空间，用原始距离测度(比如最常用的Euclidean distance)计算样本距离。

为得到新的距离测度，关键在于找到最佳的特征投影。考虑用线性变换矩阵L实现特征空间投影，则距离测度为：

其中x_i,x_j{i,j∈1,...,n}(n表示训练样本的数目)表示特征向量。为避免求均方且保证距离为正值，取距离的平方并用矩阵形式表示，得到距离测度D_M为：

D_M＝d_L ²＝[L(x_i-x_j)]^T[L(x_i-x_j)]

＝(x_i-x_j)^TL^TL(x_i-x_j)

＝(x_i-x_j)^TM(x_i-x_j)

其中矩阵M＝L^TL，并且M是半正定矩阵。T表示矩阵转置。通过矩阵M实现特征空间投影，期望在投影后的特征空间中类别区分度更高，即希望投影后，相同难度标签的乐谱被拉近，而不同类别标签乐谱之间的间隔尽可能大。基于以上思想，将求解投影矩阵M的过程归为求解如下目标函数：

取得最小值时的M。其中S表示由相同难度等级的两首乐谱组成的数据对集，R表示在S的基础上，每个对集加入一个不同难度等级的乐谱组成三集合；[z]₊＝max(0,z)，λ是一个常数，用交叉验证得到；∑表示求和运算。

然后，利用新的距离测度D_M代替原始高斯径向基核函数中的欧式距离测度，改进后的核函数k_M为：

其中σ是高斯径向基核函数参数，可用网格搜索算法得到，exp表示以自然常数e为底的指数函数。

在进一步特定的但非限制性的形式中，求解投影矩阵M，改进高斯径向基核函数的具体过程如下：

1).分别从数据代表集中随机取一部分数据构成训练集(80％作为训练集)，其余为验证集；

2).给M赋初值，如单位矩阵I；

3).采用由粗到细的策略，给λ(从0～1选取，跨度为0.1)赋若干不同的值，对每个λ值用训练集求解f(M)取得最小值时M的最优值M^*；

4).对步骤3)中的每一个M^*，用验证集根据交叉验证法，验证距离测度函数识别出乐谱难度等级的误差，找到误差最小的M^*，记为表示本轮训练结果；

5).和上一轮训练结果比，若小于设定的收敛误差ε，即则训练结束，否则回到步骤3)，开始下一轮训练，训练次数t>2。

6).求解得到投影矩阵M后，用新的距离测度D_M代替原始高斯径向基核函数：

中的欧式距离测度方程，得到改进后的核函数：

4.one-versus-all扩展SVM到多分类

支持向量机的出现主要是为了解决二分类问题，而本发明的实际应用是多分类问题，故本发明采用经典的one-versus-all方法扩展SVM到多分类情形。主要思想是：对于K类分类问题，通过建立K个支持向量机子分类器，在构造第j个子分类器时，将属于第j类别的样本标记为正样本，将所有不属于第j类别的其他类别的样本标记为负样本。对于待识别的样本，依次调用训练好的K个SVM模型，计算它在各个SVM中决策函数的值，选择决策函数值最大的SVM给出的类别，作为待识别样本类别。

5.基于网格搜索算法选择最优的核函数参数组合，建立分类模型。

网格搜索算法是一种比较直观的参数优化方法，利用网格搜索算法优化基于高斯径向基核函数SVM中的参数C和g(C是一个可调节的参数称为惩罚因子，用来权衡最大化分类间隔和最小化训练误差，高斯径向基核函数参数g，g＝1/σ²,则优化σ，就是优化g)，建立分类模型。

在进一步特定的但非限制性的形式中，用网格搜索算法求最优参数组合并建立分类模型的具体过程如下：

1).设定参数C、g的范围在2^-10到2¹⁰范围内，搜索步长0.5，在C、g坐标系上构建二维网格，网格节点就是C、g组成的参数对；

2).对每一组C、g的值，从数据集中随机取80％作为训练样本，训练支持向量机分类器，方法如下：

对于给定训练数据样本x_i∈R^p(i＝1,2,…,n)是样本的特征向量(维度为p)，y_i∈{-1,+1}为对应样本的标签，表示两个不同的类别；n为样本数目。则基于测度学习得到新的距离测度D_M，改进高斯径向基核函数后的支持向量机求解最优超平面的问题即为求解下列优化问题：

0≤α_i≤C，i＝1,...n

其中

得到最优解α^*是训练得到的SVM分类模型的系数。选择α^*的一个小于参数C的正分量并据此计算：

超平面的偏移量b：

最终决策函数为：

sgn(number)函数，当number>0则返回1，小于0，则返回-1。

利用数据集中另外的20％作为验证集，用上述训练得到的决策函数判断难度等级，并计算分类准确率R。

3).将各组C、g值对应的分类准确率R用等高线画出，得到等高线图，由此确定最优C、g值。

4).如果求得的分类准确率R不能达到目标要求，可以在现有等高线图基础上选定一个更小的搜索区域，减小搜索步长进行细搜索，直到确定最优C、g值。

5).最优的C，g值组合得到的决策函数作为最终的分类模型。

6).根据实际数据集中的难度等级数目K，重复步骤1)～5)过程K次，每次需要训练所有的训练样本，但训练样本中只将某一个类别记为正，其余所有类别记为负。最终建立K个分类模型。

6.利用测试样本对建立的模型进行准确率检测。

利用测试集对建立的分类模型性能进行测试。对于待识别难度等级的数字钢琴乐谱，首先经过特征提取和预处理，然后依据训练好K个SVM模型，计算它在各个SVM模型中决策函数的值，选择决策函数值最大的SVM给出的类别，作为待识别样本类别，并计算识别准确率。

为更好的验证本发明的泛化性能，贴合实际应用，仿真实验在两个有不同特性的数据集中进行：一个是从大型音乐网站http://www.pianostreet.com收集到，包含九个难度等级，每个难度等级有50首midi乐谱的数据，命名为NineS数据集，和从另一个提供免费下载和音乐服务的大型音乐网站http://www.8notes.com收集到400首MIDI钢琴乐谱文件组成有四个难度等级的数据集，每一个难度等级有100首MIDI乐谱文件，命名为FourS数据集。

仿真实验在两个有不同特性的NineS和FourS数据集中，将本发明所述方法(Metric learning improvedMulticlass SVM,记为MM-SVM)与逻辑回归(LogisticRegression，记为LR)，基于原始高斯径向基核函数的支持向量机(OriginalGaussianradialbasis kernel Multiclass SVM,记为OM-SVM)，基于线性核函数的SVM(Linearkernel Multiclass SVM,记为LM-SVM)和基于多项式核函数的SVM(Polynomialkernel Multiclass SVM,记为PM-SVM)分类算法做对比试验。每个实验独立重复5次，每次用5折交叉验证，取平均准确率作为分类性能指标，同时也给出各个算法实验结果的90％置信空间，实验结果如图2中(a)和(b)所示。

图2.(a)和(b)分别是逻辑回归LR，基于线性核函数(LM-SVM)，多项式核函数(PM-SVM)，原始高斯径向基核函数(OM-SVM)以及本发明提出的基于测度学习改进高斯径向基核函数(MM-SVM)的多分类SVM算法在九类数据集(NineS Set)和四类数据集(FourS Set)下各自的识别准确率及结果的90％置信空间。

从图2柱状图中可以看出，在两个不同特性的数据集中，本发明基于测度学习改进高斯径向基核函数的多分类SVM(MM-SVM)相对逻辑回归和基于别的核函数的多分类SVM，均表现出最好的识别准确率。两个数据集合中，本发明最终识别准确率均高于基于原始高斯径向基核函数的多分类SVM(OM-SVM)，尤其在FourS数据集中，本发明得到83.67％的识别准确率，相对原始高斯径向基核函数的多分类SVM(OM-SVM)，识别准确率有较大提高且结果更稳定(有更窄的置信空间)，这说明本发明能够有效提高基于高斯径向基核函数多分类SVM的分类性能。

Claims (1)

1.一种基于测度学习改进支持向量机的钢琴乐谱难度识别算法，包括以下步骤：

1)建立分类数字钢琴乐谱代表集；

2)提取难度相关特征，构建特征向量空间，并对提取到的特征进行归一化预处理；

3)利用测度学习从训练样本中有监督的得到新的距离测度，并用新的距离测度改进高斯径向基核函数，方法如下：

a).利用测度学习知识，基于相同难度标签的乐谱拉近距离，而不同类别标签乐谱之间的间隔尽可能大思想，建立优化目标，通过求解大间隔优化问题，得到投影矩阵M，基于投影矩阵M得到新的距离测度D_M：

D_M(x_i,x_j)＝(x_i-x_j)^TM(x_i-x_j)

其中x_i,x_j{i,j∈1,...,n}，n表示训练样本的数目，表示序号分别为i和j的特征向量。

b).利用新的距离测度D_M改进高斯径向基核函数中的欧氏距离测度，得到新的高斯径向基核函数形式为：

$k_M(x_i,x_j)=\exp (-\frac{1}{2{\mathrm{\σ}}^2}{D}_M(x_i,x_j\left)\right)$

其中，σ是高斯径向基核函数参数，exp表示以自然常数e为底的指数函数。

c).建立基于上述新的高斯径向基核函数的支持向量机分类模型。

4)用one-versus-all方法将SVM扩展到多分类；

5)基于网格搜索算法选择最优的高斯径向基核函数参数，建立多分类支持向量机模型；

6)对于待识别数字乐谱，重复第2)步，依据训练好的多分类支持向量机模型得到的决策函数，计算各子分类器的决策值，将待识别数字乐谱归为所有决策值中最大值所对应的类别。