CN104199826B - 一种基于关联分析的异构媒体相似性计算方法和检索方法 - Google Patents

Abstract

本发明提供了一种基于关联分析的异构媒体相似性计算方法和异构媒体检索方法，包括以下步骤：建立包含不同媒体类型的异构媒体数据库，提取每种媒体类型数据的特征向量；基于媒体内部关联关系，通过k近邻分析来计算异构媒体相似性；基于媒体之间关联关系，通过异构媒体约束传递来计算异构媒体相似性；通过自适应排序结果融合算法融合媒体内部和媒体之间的内容相似性获得最终结果，自适应设置融合权重，获得最终的异构媒体相似性用于异构媒体检索。本发明充分考虑了媒体内部的类别信息和媒体之间的约束信息，通过自适应融合不同的相似性计算方法，使得不同媒体能够互相促进，提高相似性计算的准确性，从而能取得更高的异构媒体检索准确率。

Description

一种基于关联分析的异构媒体相似性计算方法和检索方法

技术领域

本发明涉及多媒体检索技术领域，具体涉及一种基于关联分析的异构媒体相似性计算方法，以及异构媒体检索方法。

背景技术

近年来，随着互联网技术与数码设备的迅速发展，网络上出现了海量的文本、图像等多媒体内容，如何利用计算机来进行有效的管理，使用户能够迅速准确地检索到想要的内容，成为了一个急待解决的关键问题。现有的检索方式一般局限于单媒体检索，如基于内容的图像检索。然而，这种检索方式只能检索出与用户查询相同媒体的结果，而用户一般需要能够一次检索出所有相关的媒体数据，包括不同媒体类型的数据。因此，基于内容的异构媒体检索获得了研究者的广泛关注，这种检索方式不仅能够检索出用户关心的所有媒体数据，而且不限制用户的查询媒体类型，因此相比较传统的单媒体检索更加方便有效。

现有的异质媒体相似性计算方法主要有两类：第一类是基于图模型的相似性计算方法，第二类是基于学习的相似性计算方法。基于图模型的相似性计算方法大多基于共生性假设：如果两个多媒体文档包含同一个媒体对象，那么这两个多媒体文档就具有相同的语义信息。Zhuang等人在文献“Mining Semantic Correlation of HeterogeneousMultimedia Data for Cross-Media Retrieval”中提出了“统一跨媒体关联图”模型(Uniform Cross-Media Relationship Graph，简称UCCG)，每个媒体对象对应于UCCG的一个结点，有多少个媒体对象，UCCG中就有多少个结点，结点之间连线的权值表示两个媒体对象之间的相似度。对于用户查询，可以根据图的传递算法计算用户查询与所有结点的相似度。由于基于图的方法存在大量参数，参数的设置也是一个难题。因此第二类基于学习的相似性计算方法被提出，Rasiwasia等人在其文献“A New Approach to Cross-ModalMultimedia Retrieval”中提出了基于子空间映射的异构媒体相似性计算方法，可以将异构媒体映射到统一空间中计算其夹角余弦值作为相似性，Yang等人在文献“Ranking withlocal regression and global alignment for cross media retrieval”中提出了一种对参数不敏感的基于局部回归和全局校正(Local Regression and Global Alignment，简称LGRA)的学习算法，可以学习出拉普拉斯矩阵用于排序。然而，这类方法均依赖于共生性假设，当查询媒体对象位于待检索数据库以外时，也就是说，数据库中没有一个多媒体文档包含这个查询媒体对象时，那么就无法直接通过共存性质找到与之具有相同语义的跨媒体文档。一种直接的做法是根据媒体对象的底层特征计算距离最近的媒体对象，然而，底层特征并不一定能够体现出媒体的语义信息。因此，这种相似度的计算方法能够达到的效果有限。为了弥补这种不足，使相似度的计算更加符合媒体的语义特征，这类方法都使用了相关反馈，引入了人工参与，但是这降低了算法的自动化程度。

发明内容

针对现有技术的不足，本发明提出了一种基于关联分析的异构媒体相似性计算方法和异构媒体检索方法，能够充分挖掘媒体内部和媒体之间的关联关系，通过分析媒体内部的数据分布信息和媒体之间的语义关联信息来计算异构媒体数据的内容相似性，从而能够充分挖掘蕴含于异构媒体数据中的有效信息，提高异构媒体检索的准确率。

为达到以上目的，本发明采用的技术方案如下：

一种基于关联分析的异构媒体相似性计算方法，用于计算不同媒体类型之间的异构媒体相似性，实现异构媒体检索，包括以下步骤：

(1)建立包含不同媒体类型的异构媒体数据库，并将所述数据库分为训练集和测试集，提取每种媒体类型数据的特征向量；

(2)基于媒体内部关联关系，通过近邻分析计算不同媒体的内容相似性；

(3)基于媒体之间关联关系，通过异构媒体约束传递计算不同媒体的内容相似性；

(4)通过自适应排序结果融合算法融合媒体内部和媒体之间的内容相似性获得最终的相似性计算结果。

进一步，上述一种基于关联分析的异构媒体相似性计算方法，所述步骤(1)不同媒体类型为文本和图像，对于文本数据，提取其隐狄雷克雷分布特征向量；对于图像数据，提取其词袋特征向量。

进一步，上述一种基于关联分析的异构媒体相似性计算方法，所述步骤(2)中基于媒体内部关联关系的相似性计算方法，通过分析两个媒体数据的k近邻，以两个媒体数据属于同一类别的概率作为其相似性。

进一步，上述一种基于关联分析的异构媒体相似性计算方法，所述步骤(3)中基于媒体之间关联关系的相似性计算方法，通过建立不同媒体之间的语义关联关系，基于媒体数据的分布信息进行异构媒体约束传递，从而获得测试集上不同媒体类型之间的关联关系，作为其相似性。

进一步，上述一种基于关联分析的异构媒体检索方法，所述步骤(4)中自适应排序结果融合算法通过分析不同相似性计算方法的有效性，自适应设置融合权重，获得最终的异构媒体相似性用于异构媒体检索。

一种采用上述相似性计算方法的基于关联分析的异构媒体检索方法，用于实现异构媒体检索，包括以下步骤：

(1)采用上述相似性计算方法，通过融合媒体内部和媒体之间的内容相似性获得最终的相似性计算结果；

(2)基于相似性的大小对查询结果进行排序，得到异构媒体检索结果。

本发明的效果在于：与现有方法相比，本发明能够同时考虑媒体内部的关联关系和媒体之间的关联关系，使得不同媒体能够互相促进提高相似性计算的准确性，从而能取得更高的异构媒体检索准确率。

本发明之所以具有上述发明效果，其原因在于：能够充分挖掘媒体内部和媒体之间的关联关系。一方面，媒体内部的关联关系以媒体类别信息作为中间桥梁，将两个媒体对象属于同一个类别的概率作为其相似性；另一方面，媒体之间的关联关系以媒体数据分布信息作为约束传递的依据，通过异构媒体约束传递算法获得不同媒体之间的关联关系，最后通过自适应融合不同的相似性计算方法获得更加准确的异构媒体相似性。

附图说明

图1是本发明的基于关联分析的异构媒体相似性计算方法的流程示意图。

图2是一个异构媒体数据的Must-link约束和Cannot-link约束示意图。

图3是一个异构媒体约束传递示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

本发明的一种基于关联分析的异构媒体相似性计算方法，其流程如图1所示，具体包含以下步骤：

(1)建立包含文本和图像的异构媒体数据库，并将所述数据库分为训练集和测试集，提取每种媒体类型数据的特征向量。

本实施例中，对于文本数据，提取其隐狄雷克雷分布特征向量；对于图像数据，提取其词袋特征向量。本实施例的方法同样支持其他特征种类，例如文本词袋特征，图像纹理特征、颜色特征等。

(2)基于媒体内部关联关系的相似性计算方法，通过分析两个媒体数据的k近邻，以两个媒体数据属于同一类别的概率作为其相似性，任意两个媒体数据之间相似性计算方法为：

这里x_i,y_j表示文本和图像对应的特征向量，l_i,l_j分别表示x_i,y_j的类别标签，l表示类别集合中的任一种类别，N_k(o)表示媒体数据o的k近邻，x表示k近邻集合中的一个媒体数据，可以看出，相似性计算公式的目标是计算两个媒体数据属于同一类别l的概率值，σ(z)＝(1+exp(-z))^-1为sigmoid函数。

(3)基于媒体之间关联关系的相似性计算方法，通过建立不同媒体之间的语义关联关系，基于媒体数据的数据分布进行异构媒体约束传递，从而获得测试集上不同媒体类型之间的关联关系，作为其相似性。

我们首先根据不同媒体的类别关系构造语义相关性矩阵Y＝{Y_ij}_{(m+n+k)*(m+n+k)}，这里m,n,k分别为数据集中训练集大小、测试集大小、用户查询例子数量。Y_ij反映了第i个媒体对象和第j个媒体对象之间的语义相关性，初始值为+1、-1或0，分别表示正相关(Must-link约束)，负相关(Cannot-link约束)或未知关系。图2是异构媒体数据的Must-link约束和Cannot-link约束示意图。为了方便描述，以图像和文本为例，在这个例子中，图像和文本分别来自“音乐”类别和“运动”类别。一段关于“运动”的文本描述和“操场运动员”的图像有着很强的正相关信息，同样的，也可以发现这段文本描述和“两人坐在钢琴前”的图像有着很强的负相关信息

图3是异构媒体约束传递示意图，黑色实心圆点表示已知语义相关性区域，空心圆点表示未知语义相关性区域。算法的核心任务是将训练集上的语义相关性信息传递至未知区域。这样，我们便将异构媒体相似性计算问题建模为约束传递问题。

为了有效求解约束传递问题，我们将传统的约束传递问题分解为一系列两类半监督学习问题。我们发现，矩阵Y的第j列其实就是第j个媒体对象和其他所有媒体对象之间的语义相关性序列，可以看作是一个两类的半监督学习问题，我们定义这一类传递问题为垂直传递。然而，语义相关性矩阵中有部分列没有任何正标签或负标签，也就是说我们并不知道任何初始信息，因此对于这些列我们无法直接传递语义关系。因此，我们进一步进行水平传递，类似于垂直传递，水平传递同样可以逐行进行传递。通过结合垂直传递和水平传递可以将有标注的语义相关性成功地传递到未标注区域。

具体算法描述如下：首先初始化媒体对象之间的相似度矩阵W_ij；然后根据媒体对象之间的近邻关系构造k-NN图W并计算矩阵D是对角矩阵，它的第(i,i)个元素是W的第i行所有元素的和；最终进行垂直传递，迭代直至收敛，其中α为取值范围(0,1)的参数，t表示迭代的序号，垂直传递收敛于：

将垂直传递的收敛结果作为初始值再次进行水平传递：迭代直到收敛，其中为序列{F_V(t)}的极限。类似的，我们可以得到：

基于以上传递结果，我们即可得到任意两个媒体对象i，j的内容相似度，即为

(4)通过自适应排序结果融合算法融合媒体内部和媒体之间的内容相似性获得最终结果，进而基于相似性的大小对查询结果进行排序，得到异构媒体检索结果。

由于基于媒体内部关联分析的相似性计算和基于媒体之间关联分析的相似性计算对检索的重要程度不同，自适应排序融合算法的核心是基于少量已知的训练数据，来支持多样化的用户查询。因此我们选择异构媒体检索准确性较好的相似性计算方法进行融合，使其能够有效地处理异构媒体检索任务。我们将每种相似性计算方法都看作弱排序器，采用AdaRank融合多个弱排序器以得到最终的排序模型。

算法具体描述如下：在学习阶段，给定一系列的异构媒体检索查询以及检索结果标注作为训练集。训练集表示为L＝{(q_i，o_i，y_i)}，在这里q_i表示查询，是待检索数据库，查询和待检索数据库具有不同的媒体形式，是相应的标签，n(q_i)表示待检索数据库的大小。

学习目标是构造一个最终的排序模型能够在跨类别检索任务上取得最好的检索效果。本发明采用了AdaRank算法进行学习，AdaRank算法执行T轮选择，每一轮中选择一个跨类别检索加权误差最小的弱排序器，并计算相应的权重。最终，AdaRank算法可以通过线性加权融合T个选择出来的弱排序器得到一个最终的排序模型。针对检索问题，AdaRank算法在选择排序器的过程中以检索性能指标为标准，能够根据弱排序器的有效性进行加权融合以获得最终的排序模型。

下面的实验结果表明，与现有方法相比，本发明基于关联分析进行异构媒体相似性计算方法，可以取得更高的检索准确率。

本实施例中采用了Wikipedia异构媒体数据集进行实验，该数据集由文献“A NewApproach to Cross-Modal Multimedia Retrieval”(作者N.Rasiwasia,J.Pereira,E.Coviello,G.Doyle,G.Lanckriet,R.Levy和N.Vasconcelos，发表在2010年的ACMinternational conference on Multimedia)提出，其中包括2866段文本和2866张图像，这些文本和图像是一一对应的，数据集共分为10个类别，其中2173段文本和2173张图像作为训练集，673段文本和673张图像作为测试集。我们测试了以下3种方法作为实验对比：

现有方法一：文献“Multimedia content processing through cross-modalassociation”(作者D.Li,N.Dimitrova,M.Li和I.Sethi，发表在2003年的ACMinternational conference on Multimedia)中的方法，该方法通过跨模态因子分析将原始特征映射到第三个空间中，然后计算异构相似性；

现有方法二：典型相关分析(CCA)方法，可以同时分析两组变量之间的相关性，学习出映射子空间使得在子空间中两组变量的相关性最大，这是异构媒体检索领域的典型方法，被文献“A New Approach to Cross-Modal Multimedia Retrieval”(作者N.Rasiwasia,J.Pereira,E.Coviello,G.Doyle,G.Lanckriet,R.Levy和N.Vasconcelos，发表在2010年的ACM international conference on Multimedia)采用；

现有方法三：文献“A New Approach to Cross-Modal Multimedia Retrieval”(作者N.Rasiwasia,J.Pereira,E.Coviello,G.Doyle,G.Lanckriet,R.Levy和N.Vasconcelos，发表在2010年的ACM international conference on Multimedia)中的方法，该方法将异构媒体映射到统一空间中计算其夹角余弦值作为相似性；

本发明：本实施例的方法。

实验采用信息检索领域最常用的MAP(mean average precision)指标来评测异构媒体检索的准确性，MAP是指每个查询样例检索准确性的平均值，MAP值越大，说明异构媒体检索的结果就越好。

表1.与现有方法的对比实验结果

	图像查询文本	文本查询图像	平均
				现有方法一	0.246	0.195	0.221
现有方法二	0.249	0.196	0.223
				现有方法三	0.277	0.226	0.252
本发明	0.347	0.269	0.308

从表1中可以看出，本发明取得了最好的异构媒体检索结果，对比现有方法一和方法二，这两种方法均是直接采用传统的统计分析方法将原始不同媒体的特征映射到第三个统一空间中，并不能充分挖掘更加丰富的异构媒体数据语义类别信息，本发明能够充分考虑这种语义类别信息，因此取得更好的效果。对比方法三，该方法仅考虑了媒体内部的关联信息，没有考虑不同媒体之间的正相关和负相关信息，负相关信息对于异构媒体相似性计算是非常重要的，因为负相关信息提供了异构媒体相似性计算的互斥信息，根据负相关信息能够很容易地过滤大量噪声，提高异构媒体相似性计算的准确性。本发明通过约束传递中的Must-link约束和Cannot-link约束对不同媒体内容之间的正相关信息和负相关信息进行统一建模，并且能够将传统的约束传递问题分解为一系列两类半监督学习问题进行求解，这样可以有效度量不同媒体的内容相似度，因此能够极大提高异构媒体检索的MAP值。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于关联分析的异构媒体相似性计算方法，包括以下步骤：

(1)建立包含不同媒体类型的异构媒体数据库，并将所述数据库分为训练集和测试集，提取每种媒体类型数据的特征向量；

(2)基于媒体内部关联关系，通过近邻分析计算不同媒体的内容相似性；

(3)基于媒体之间关联关系，通过异构媒体约束传递计算不同媒体的内容相似性；该步骤通过建立不同媒体之间的语义关联关系，基于媒体数据的数据分布进行异构媒体约束传递，从而获得测试集上不同媒体类型数据之间的关联关系，作为其相似性；

(4)通过自适应排序结果融合算法融合媒体内部和媒体之间的内容相似性获得最终的相似性计算结果。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)不同媒体类型为文本和图像，对于文本数据，提取其隐狄雷克雷分布特征向量；对于图像数据，提取其词袋特征向量。

3.如权利要求2所述的方法，其特征在于，所述步骤(2)中基于媒体内部关联关系的相似性计算方法，通过分析两个媒体数据的k近邻，以两个媒体数据属于同一类别的概率作为其相似性。

4.如权利要求3所述的方法，其特征在于，所述步骤(2)中任意两个媒体数据之间相似性计算方法为：

$Sim(x_i,y_j)=\underset{p}{\Σ}p(l_i=p|x_i)p(l_j=p|y_j),$

其中，x_i,y_j表示文本和图像对应的特征向量，l_i,l_j分别表示x_i,y_j的类别标签，l表示类别集合中的任一种类别，N_k(o)表示媒体数据o的k近邻，x表示k近邻集合中的一个媒体数据，σ(z)＝(1+exp(-z))^-1为sigmoid函数。

5.如权利要求1所述的方法，其特征在于，所述异构媒体约束传递包括垂直传递和水平传递，媒体之间关联关系的相似性计算方法具体包括：

首先初始化媒体对象之间的相似度矩阵W_ij；然后根据媒体对象之间的近邻关系构造k-NN图W并计算矩阵D是对角矩阵，它的第(i,i)个元素是W的第i行所有元素的和；最终进行垂直传递，迭代直至收敛，其中α为取值范围(0,1)的参数，垂直传递收敛于：

$F_V^{*}=(1-\mathrm{\α}){(I-\mathrm{\α}\stackrel{\‾}{S})}^{-1}Y;$

将垂直传递的收敛结果作为初始值再次进行水平传递：迭代直到收敛，其中为序列{F_V(t)}的极限；类似的，可以得到：

$F_H^{*T}=(1-\mathrm{\α}){(1-\mathrm{\α}\stackrel{\‾}{S})}^{-1}{F}_V^{*T};$

基于以上传递结果，即可得到任意两个媒体对象i，j的内容相似度，即为

6.如权利要求1所述的方法，其特征在于，所述步骤(4)中自适应排序结果融合算法通过分析不同相似性计算方法的有效性，自适应设置融合权重，获得最终的异构媒体相似性。

7.如权利要求6所述的方法，其特征在于，所述步骤(4)将每种相似性计算方法都看作弱排序器，采用AdaRank算法融合多个弱排序器以得到最终的排序模型；AdaRank算法执行T轮选择，每一轮中选择一个跨类别检索加权误差最小的弱排序器，并计算相应的权重；最终，AdaRank算法通过线性加权融合T个选择出来的弱排序器得到一个最终的排序模型。

8.一种基于关联分析的异构媒体检索方法，包括以下步骤：

(1)采用权利要求1至7中任一项所述的相似性计算方法，通过融合媒体内部和媒体之间的内容相似性获得最终的相似性计算结果；

(2)基于相似性的大小对查询结果进行排序，得到异构媒体检索结果。