CN102262659B - 一种基于内容计算的音频标签传播方法 - Google Patents

Abstract

一种基于内容计算的音频标签传播方法，基于内容分析计算音频数据间相似距离；根据相似距离，利用pn率为每一个已标注音乐的最近邻为标注音乐计算其与该标注音乐具备相同曲风标签τ的概率。另外，如果有一为标注音乐α满足：距离L内，最多n个最近邻居中已标注音乐出现率高于P₂，且某标签出现率高于P₃，则将该标签传播给α。对于同一个P₂值，进行多次迭代直到收敛。求出上述两种中被传播标签的交集，并以此交集补充进原始数据中重新进行上述过程，收敛后获得最终标签传播结果。本发明合并不同标签传播模型，在没有引入其他信息的情况下准确率比单个模型更高。

Description

一种基于内容计算的音频标签传播方法

技术领域

本发明为利用分析音频内容得到的音频相似性来自动为音乐数据集中未标注音乐标签进行标注。

背景技术

随着互联网上数字音乐的爆炸式增长，音乐标签的重要性越来越突出。音乐标签一般是对音乐语义进行描述的短文本，其在音乐的检索、管理与推荐中非常有用。

然而，当前面临的问题是如何高效地获取准确的音乐标注。现阶段能获取音乐标注的方法可以归纳为：1、专家标注；2、分类模型训练；3、社会化标注。但是这些方法都有其优劣：专家标注能获得准确的标签，但其标注成本巨大且所获得的语义信息不够丰富；分类模型的训练虽然是自动化方法，但现阶段其标注准确率使其还不能进行推广；而社会化标注能够获得较为准确且丰富的标注，并且成本低廉，但其存在大量噪音和长尾效应。

如何能在标注成本、效率、准确性与丰富程度，减少长尾效应上寻求平衡，帮助用户自动获取到音乐的标注具有重要意义。

发明内容

本发明要解决的问题：通过对音乐内容分析相似计算，进行现有标签的传播，在较好的标注准确性基础上自动获取未标注音乐的标签，减轻了人工标注的工作。

本发明采用的技术方案：一种基于内容计算的音频标签传播方法描述如下：

(1)基于密度的标签传播：基于内容相似计算出音频的相似矩阵，构建音乐网络，扫描所有未标注音乐，当距离某个未标注音乐α的相似距离不超过L，且最多m个最邻近音乐上标注率达到P₁时，如果某个标签τ的出现率达到P₃，则将标签τ传播给α。该独立过程被称作基于密度的标签传播模型。

(2)基于概率的标签传播：对于全体音乐集中的已标注音乐部分集，计算出n*pn率，其中pn即percision at n，为某已标注音乐的n个最近邻居音乐与其具备相同标签的平均准确率，n∈N，N为自然数，n*pn表示某音乐的邻近音乐中与其具有相同标签的音乐个数期望，并将其近似为全体集的n*pn，根据所述期望，计算出某个已标注音乐周围的相似音乐与其具有相同标签概率，据此传播标签；此独立的过程被称作基于概率的标签传播模型；

(3)基于上述步骤(1)和(2)分别进行标签传播后，求出传播结果的交集，并将其作为已标注音乐，利用上述步骤(1)或(2)重新进行一次传播。

所述的步骤(3)进一步包括：

(3a)参数L的取值为，在所有音乐中最近的第m个邻居距离与最远的第m个邻居距离之间min{d_im|i∈任意未标注音乐}＜L＜max{d_im|i∈任意未标注音乐}，其中，d_im代表某未标注音乐i与第m个邻居的距离。

经过实验，利用两种模型的混合的传播方式，在对未标注音乐有相同召回率情况下，比使用任何一种单独的模型有更高的准确率，基于概率的传播准确率比基于密度的传播准确率略差。

附图说明

图1为基于标签密度的传播模型示意图；

图2为密度传播模型中距离阈值N取值对准确率影响曲线；

图3为基于标签密度与标签概率模型传播空间对比；

图4为本发明的总体流程图；

图5为基于标签概率传播模型流程图；

图6为基于标签密度传播模型流程图；

具体实施方式：

本发明的具体实施方式如下：

(1)输入数据为一个音频数据集，其中某些音乐带有外部标签，称其为“已标注音乐”，余下的为“未标注音乐”。提取出所有音频的20个MFCC特征，并利用单高斯方法对每个音频进行建模。再利用(Kullback-Leibler Divergence)即KL距离计算出两两音频之间的相似程度。所有音频的相似程度形成了一个相似矩阵，单元格[i，j]表示音乐i与音乐j之间的相似性。

(2)基于密度的传播模型：根据相似矩阵，所有音乐形成了一个关联的网络，越相似越接近，如附图1。接着，扫描所有的未标注音乐，当距离某个未标注音乐α相似距离不超过L，且最多m个最邻近音乐上标注率达到P₁时，如果某个标签τ的出现率达到P₃，则将标签τ传播给α。也就是α被标注上了标签τ，该次传播的标签称为“被传播标签”。在该过程中，被传播标签不能参与再次传播。

根据相似矩阵，其中标签出现率P₃阈值固定为40％，参数m的取值根据不同的音频内容分析方法会有所区别。参数L的取值为在所有音乐中最近的第m个邻居距离与最远的第m个邻居距离之间，取合适的值比无此阈值有一定准确率提升，如附图2。

(3)，在步骤(2)的过程中，当无法再找到一个满足要求的未标注音乐时，称为一次迭代收敛。此时，可以调整标注率P₂阈值，进行再次迭代。再次迭代时，以往迭代产生的“被传播标签”被视作已标注标签，产于本次迭代。经过测试，较为有效的方法是7次迭代，每次迭代的阈值如下：

当所有迭代均收敛后，基于密度的传播过程结束。

(4)基于概率的传播模型：pn为某已标注音乐的n个最近邻居音乐与其具备相同标签的平均准确率。

从另一个角度看，对于所有已标注音乐构成的部分集的n*pn反映了根据某相似矩阵，一已标注音乐的n个最邻近中与其标签相同的音乐个数期望。由于数据集中已标注音乐的随机性与基于内容分析的无偏向性，该概率可以近似看作全体音乐集上的期望。另外，如果某音乐已标注标签τ，则将其的概率看作1。根据期望不变，可以依次推出每个已标注音乐的邻近音乐与其具有相同标签的概率。步骤如下：

(4.1)如果A有标签τ，B、C、D为其邻居，并且C与A有相同标注。p1、p2、p3分别为0.8、0.75、0.7。

(4.2)根据p1，B具备标签τ的概率为0.8。

(4.3)由于C为已标注音乐，所以其概率为1。

(4.4)根据p3，B、C、D中有标签τ的音乐数期望为2.1，而B、C的概率分别为0.8与1，所以D具备标签τ的概率为0.3。以此类推。

对于每个已标注音乐，可以预测与其最近的m个音乐的概率，当邻近音乐预测的概率高于P₁时，将其标注上标签τ。

当所有已标注音乐均被扫描后，基于概率的传播过程结束。

(5)由图3可以看到，两个模型传播的方式截然不同。实心点代表已标注音乐，空心点代表未标注音乐。实线圈代表基于概率传播所影响的空间，虚线圈代表基于密度传播所影响的空间，两个空间具有交集。交集处得音乐标签被两个模型验证，具备很高的准确率。

由于在标签传播方法中，已标注数据比例越大，准确率与召回率就会越高。所以，我们可以将交集内的标签视作已标注标签，再次参与传播。这里选择了再次参与基于密度的传播。

本方法基于内容的音频分析技术，将其作为黑盒，利用其相似计算的结果进行音乐标签的传播。可以利用不同的基于内容分析，对于最终传播的效果也会有很大区别。但可以根据要进行传播的标签的类型来选择不同的基于内容分析技术。例如，如果要传播音乐的风格标签，则选用能反映曲风相似的计算方法，并只对属于音乐风格的标签进行传播，过滤其他不相关标签。

经过试验，由于两种模型的混合对于单个模型来说，在相同的召回率上准确率有明显的提升。

对于本领域的普通技术人员来说可显而易见的得出其他优点和修改。因此，具有更广方面的本发明并不局限于这里所示出的并且所描述的具体说明及示例性实施例。因此，在不脱离由随后权利要求及其等价体所定义的一般发明构思的精神和范围的情况下，可对其作出各种修改。

Claims (1)

1.一种基于内容计算的音频标签传播方法，其特征在于步骤如下：

（1）基于密度的标签传播：基于内容相似计算出音频的相似矩阵，构建音乐网络，扫描所有未标注音乐，当距离某个未标注音乐α的相似距离不超过L，且最多m个最邻近音乐的标注率达到Ρ₁时，如果某个标签τ的出现率达到Ρ₃，则将标签τ传播给α；所述P₃为40%；

（2）基于概率的标签传播：对于全体音乐集中的已标注音乐部分集，计算出n*pn率，其中pn即percisionatn，为某已标注音乐的n个最近邻居音乐与其具备相同标签的平均准确率，n∈N，N为自然数，n*pn表示某音乐的邻近音乐中与其具有相同标签的音乐个数期望，并将其作为全体集的n*pn，根据所述期望，对于每个已标注标签τ的音乐，预测与其最近的m个邻近音乐的概率，当某邻近音乐预测的概率高于Ρ₁时,将该邻近音乐标注上标签τ，当所有已标注音乐均被扫描后，基于概率的标签传播过程结束;

（3）基于上述步骤（1）和（2）分别进行标签传播后，求出传播结果的交集，并将其作为已标注音乐，利用上述步骤（1）或（2）重新进行一次传播;

所述的步骤（1）进一步包括：

（3a）参数L的取值为,在所有音乐中最近的第m个邻居距离与最远的第m个邻居距离之间，即min{d_im|i∈任意未标注音乐}<L<max{d_im|i∈任意未标注音乐},其中，d_im代表某未标注音乐i与第m个邻居的距离。

Images