CN103324691A

CN103324691A - 一种基于M-tree的音频检索方法

Info

Publication number: CN103324691A
Application number: CN2013102194295A
Authority: CN
Inventors: 严勤; 徐淮杰; 陶秋雨; 印晶晶; 胡棚
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2013-06-03
Filing date: 2013-06-03
Publication date: 2013-09-25

Abstract

本发明公开了一种基于M-tree的音频检索方法，属于音频检索技术领域。该方法包括：步骤A、提取音频数据集中各音频数据的高层语义特征，并利用主成分分析法对所提取的高层语义特征进行降维，得到表征音频数据集中各音频数据的语义特征向量；步骤B、以步骤A中得到的音频数据集中所有音频数据的语义特征向量的集合作为数据集，构建M-tree数据索引结构；步骤C、按照步骤A中的方法获取查询对象的语义特征向量，利用最近邻检索算法从步骤B所构建的M-tree数据索引结构中找出与查询对象的语义特征向量最相近的前k个语义特征向量。相比现有技术，本发明能够大幅提高音频检索的准确率和效率。

Description

一种基于M-tree的音频检索方法

技术领域

本发明涉及一种音频检索方法，尤其涉及一种基于M-tree的音频检索方法，属于音频检索技术领域。

背景技术

面向音频的相似度检索方法，是基于内容的音乐检索以及音乐推荐领域的一个重要分支，具体是指通过使用音频的特征找出与其相似音频的方法。常见的音乐检索系统中，常用基于语义词汇的特征向量来表征音乐，进而使用相关算法计算两首歌曲的距离(相似度)。因此，找出音乐关联度很强的语义词汇以及合适的相似度算法成为研究的重点。

在音乐检索系统中，系统的响应速度与检索效率有非常密切地关系。目前的研究很多是基于降维的技术。如有的研究使用奇异值分解技术将特征矩阵映射到低维空间再进行推荐。该方法有效减少了在线计算所需要的时间，但是需要离线计算量非常大。也有的研究使用音乐指纹来表征音乐，存储在数据库中，方便音乐检索时进行比对。这两类方法都建立在压缩音乐信息的基础之上，因而会直接影响到音乐相似度检索的效果。多媒体系统中常使用高维数据索引解决检索效率问题。但是常见的高维索引结构如R-Tree等在维度高于20时性能会急剧下降。另外由于这些索引结构都将高维向量作为高维空间中的一个点，无法根据需要使用合适的距离度量函数，会对检索的效果构成影响。因此，寻找一款合适的索引结构也是音乐检索技术实现应用的关键。

发明内容

本发明所要解决的技术问题在于克服现有音频检索方法的不足，提供一种基于M-tree的音频检索方法，利用主成分分析方法对音频语义特征进行降维，并构建M-tree高维索引结构，能有效提高音频检索的效率和准确率。

本发明具体采用以下技术方案：

一种基于M-tree的音频检索方法，包括以下步骤：

步骤A、提取音频数据集中各音频数据的高层语义特征，并利用主成分分析法对所提取的高层语义特征进行降维，得到表征音频数据集中各音频数据的语义特征向量；

步骤B、以步骤A中得到的音频数据集中所有音频数据的语义特征向量的集合作为数据集，并根据语义特征向量之间的相似度构建M-tree数据索引结构，其中任意两个语义特征向量d₁、d₂之间的相似度sim(d₁,d₂)按照以下公式计算：

sim (d_{1}, d_{2}) = \arccos (\frac{d_{1} \cdot d_{2}}{| d_{1} | \cdot | d_{2} |}),

式中，d₁·d₂表示两个向量d₁、d₂的内积，|d₁|、|d₂|分别表示向量d₁、d₂的长度；

步骤C、按照步骤A中的方法获取查询对象的语义特征向量，利用最近邻检索算法从步骤B所构建的M-tree数据索引结构中找出与查询对象的语义特征向量最相近的前k个语义特征向量，k为自然数，这k个语义特征向量所对应的音频数据即为最终的音频检索结果。

相比现有技术，本发明具有以下有益效果：

（1）本发明将M-tree数据索引结构引入音频检索中，并采用余弦角度作为数据之间的距离（相似度）度量函数，大幅提高了音频检索的准确率和效率；

（2）本发明采用主成分分析方法对音频语义特征进行降维，进一步提高了音频检索的检索效率。

附图说明

图1为M-tree数据索引结构的构建流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的基于M-tree的音频检索方法，包括以下步骤：

步骤A、提取音频数据集中各音频数据的高层语义特征，并利用主成分分析法对所提取的高层语义特征进行降维，得到表征音频数据集中各音频数据的语义特征向量。

本具体实施方式进行高层语义特征提取所使用的语义关键词来自Computer AudioLab500数据库，这个音乐数据库集中的500首流行音乐，出自最近50年的500个不同国家的艺术家。这些音乐在全球不同的国家都相互流行，不同的国家的人都熟悉这些歌曲，这样CAL500就具有了全球代表性，解决了音乐的地域性带来的差异。CAL500对音乐的语义特征进行的描述包含多方面，例如包括音频理解、表现情感、表现形式等。这个数据库已经得到了广泛的应用，对于将来的特征研究包括音乐的语义标注以及检索工作，都可以作为一个常用的试验集。

采用CAL500的方法进行高层语义信息描述时，库里的每一首歌至少被3名听众试听并进行关键词标签的打分。最终数据库中与音乐相关的174个特定词组成了语义标签（semantic lables），即库里的每一首歌都有这174个标签，且每一个标签都有打分值，分值分布在0到1之间。这174各标签的分值即可构造出音频的174维高层语义特征向量，可以直接采用174维高层语义特征向量进行后续的索引构建及检索。

然而，正如背景技术中所描述的：通常的高维索引结构在维数较高时其性能会急剧下降，因此有必要对高层语义特征进行降维，即通过分析音频数据集，从语义词汇中找出最能够表征音乐的较少的关键语义词汇，并用这些关键语义词汇来描述音频，从而降低语义特征向量的维数，提高索引结构的性能。本发明采用主成分分析方法（PrincipalComponent Analysis，简称PCA）来进行高层语义特征的降维。主成分分析主要是将分散在一组变量上的信息集中到某几个主要变量上去，并尽可能多地反映原信息量的多元统计方法。实际问题中，经常需要研究拥有多个变量的问题。多数情况下，不同变量相互间会有一定的相关性。通过使用主成分分析，可以在这些变量中构造中几个综合变量，同时又能反映原数据集中大部分信息。通过分析各个变量在综合变量中的权重，可以找到原始数据集中重要的维以及这些维所包含的信息量。主成分分析方法的主要步骤如下：

设原始数据集的矩阵为：

X = (\begin{matrix} x_{11} & \cdot \cdot \cdot & x_{1 p} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ x_{nl} & \cdot \cdot \cdot & x_{np} \end{matrix})

其中，x_ij表示矩阵的第i行第j列的值。在CAL500数据集中，p值为174，n值为502。

（1）对原始数据进行标准化

为了避免由于不同变量拥有不同量纲，而可能带来的不合理影响，需要在主成分分析前将数据标准化。达到的效果是：每个变量的平均数为0，方差为1。数据标准化公式如下所示：

x_{ij}^{*} = \frac{x_{ij} - {\overset{&OverBar;}{x}}_{j}}{\sqrt{var (x_{j})}} (i = 1,2, . . ., n; j = 1,2, . . ., p)

{\overset{&OverBar;}{x}}_{j} = \frac{1}{n} Σ_{i = 1}^{n} x_{ij}, var (x_{j}) = \frac{1}{n - 1} Σ_{i = 1}^{n} {(x_{ij} - {\overset{&OverBar;}{x}}_{j})}^{2} (j = 1,2, . . ., . p);

（2）求出数据集的协方差矩阵；

（3）计算协方差矩阵的特征值及相应的标准特征向量；

（4）计算主成分贡献率，并计算不同k值下的累积贡献率；

（5）根据累积贡献率确定主成分个数。

主成分的k值选择标准一般有两种：

前k个主成分累积贡献率达到85%以上，或者取特征根值大于均值的特征向量作为主成分。

本实施例中，通过计算CAL500数据集及其权重，比对不同k值下的检索效果，选择了k=100情况下的主成分作为关键语义词汇，此时关键语义词汇的累计贡献率为90%。

利用关键语义词汇即可得到音频数据集中各音频的降维后的语义特征向量。

步骤B、以步骤A中得到的音频数据集中所有音频数据的语义特征向量的集合作为数据集，构建M-tree数据索引结构。

M-tree是一种高维索引结构，可以用来组织及检索大型数据集。它利用对象间的相对距离划分检索空间，使用“三角不等式”减少距离计算的次数，进而提高检索效率。M-tree和任何一个基于树的数据结构一样，由中间节点和叶子节点构成。任意一个节点都由一个称为路径对象的数据对象唯一标识它，路径对象是根据一定的路径规则以及一定算法从属于节点的对象集中挑选出来的，作为整个节点的标志。每个节点均有一定的覆盖半径。中间节点与叶子节点的结构对于M-tree最近邻查询模块的效率有很大的影响，而节点的结构是由构建流程动态决定的。图1中显示了M-tree构建的流程，其重点在于插入过程中节点溢出的管理，更详细的关于M-tree索引结构的内容可参见文献"M-tree An Efficient Access Method for Similarity Search in Metric Spaces"。

在M-tree索引结构中，需要确定满足自反性、非负性、对称性以及三角不等式的数据间距离的度量函数，在本发明中，使用余弦角度作为数据间距离的度量函数，余弦角度计算公式如下：

sim (d_{1}, d_{2}) = \arccos (\frac{d_{1} \cdot d_{2}}{| d_{1} | | d_{2} |})

式中，d₁·d₂表示两个向量d₁、d₂的内积，|d₁|、|d₂|分别表示向量d₁、d₂的长度。

该距离函数满足自反性、非负性、对称性以及三角不等式，能够满足M-tree高维索引结构对于度量函数的要求。

由图1可以看出，分割函数（Split Function）主要功能是当节点溢出的情况下，使用某种策略将属于该节点的对象集分割为两份，并分别分配到两个新节点中。为了改善M-tree在构建及查询时的效率，本发明进一步对分割函数进行了改进，即在当前节点溢出的情况下，使用K-medoids聚类算法将属于该节点的对象集中的数据分为两类，并将这两类数据分别放入两个新节点中。具体步骤如下：

1)计算当前节点中对象集的距离矩阵D，距离矩阵D中位置为（i，j）的元素d_ij表示第i个数据对象与第j个数据对象的距离。

2)遍历矩阵D中的元素，在m≠n的条件下找到值最大的元素d_mn，将对应的数据对象O_m,O_n作为K-medoids聚类算法的种子点。

d (O_{m}, O_{n}) = \max_{ij} (d (O_{i}, O_{j}))

称m中心点所在的类为第一类，n中心点所在的类为第二类。

3）在距离矩阵D中，遍历每一列。设当前遍历至第i列，比较d_mi与d_ni的大小。如果d_mi<d_ni，则表明第i个对象与第m个对象距离较近，因此第i个对象归入第一类，否则归入第二类。

4）重新计算第一类与第二类的中心点，取与类中其他对象平均距离最小的对象为新的中心点。

5）计算分别计算每一类中所有对象相互距离之和，累加后作为准则函数值。

6）使用当前准则函数值减去上一轮的准则函数值，如果差值小于规定的阀值，则停止迭代。否则重复步骤3到6。

由于节点下的对象数目有限，因此使用K-medoids能够保证在数次迭代之后就找出合适的路径对象。步骤1）中通过一次性计算所有子节点之间两两距离，避免在K-medoids迭代过程中重复计算。步骤2）中使用距离最远的两个子节点作为初始节点，避免了随机初始中心点方式下，出现聚类结果异常的问题。

对于用户给定的查询对象Q，M-tree中使用非常类似于R-tree的分支界限法来实现查询。分支界限法使用了两个全局结构，一个是优先队列（priority queue,PR），指向子树的指针队列，其指向的子树中可以找到与查询对象Q相似的对象。另外一个是长度为k的数组（NN），存储程序执行的当前步骤中，与查询对象Q最相似的前k个对象。在检索算法中，循环使用两个因素确定下一棵被访问的子树：

1.NN中存储的即是目前最相近的k个对象，可以同时将NN数组中第k个对象与查询对象Q的距离作为新的搜索半径，筛选PR中的子树。

2.指向子树根结点的指针为T(O_r)，子树覆盖半径为r(O_r)。查询对象Q与T(O_r)中所有对象的最小距离都不小于d(O_r,Q)+r(O_r)。如果最小距离大于查询对象Q的半径，将被舍弃。

随着对PR当前子树检索完成，新的对象将被插入到NN数组中，搜索半径再次被更新。而检索过程将不断重复1、2两个筛选步骤，直到PR数组为空。

在查询结束后，NN中包含的就是最终的结果。