CN108595546B - 基于半监督的跨媒体特征学习检索方法 - Google Patents

Abstract

本发明提供一种基于半监督的跨媒体特征学习检索方法，包括如下步骤：步骤一：建立多媒体数据库，步骤二：求取不同媒体类型的投影矩阵；(2.1)定义目标函数：(2.2)目标函数的优化：(2.3)将多媒体数据的原始特征投影到公共空间，步骤三：进行跨媒体检索；(3.1)提取用户提交的媒体数据的特征：根据用户提交的数据的媒体类型使用提前训练的模型来提取出该数据的特征，(3.2)将该媒体数据的特征向量，投影到共同空间中(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度，(3.4)返回相似度最大的前k个媒体数据。本发明的方法降低计算复杂度，实现对噪声的鲁棒性，提高检索的准确性。

Description

基于半监督的跨媒体特征学习检索方法

技术领域

本发明涉及一种基于半监督的跨媒体特征学习检索方法，属于检索领域。

背景技术

随着现代计算机科学技术的发展，互联网上的图像，文本，视频等多媒体数据迅速增长。基于内容的多媒体检索已经变得越来越重要，对此已经做了大量的研究。传统的基于内容的检索方法通常集中在单一模式检索，如图像检索，文本检索。在这种情况下，查询和检索结果是相同的媒体类型。但是，单一模式检索不能充分利用不同的媒体数据。为了解决这个问题，跨媒体检索已经被提出并且变得越来越重要。它旨在将一种类型的数据作为查询来检索另一种类型的相关数据对象。例如，用户可以使用老虎的图片来检索各种相关的文本描述，或者提交老虎的关键字来检索相关的图像。

在跨媒体检索研究中，针对不同媒体类型的特征学习是一个关键的挑战，其中关联分析是一个关键问题。相关性分析是跨媒体特征学习的一个关键问题。成对关联可以在不同媒体类型的对象之间提供准确的关系。在基于图的策略中，图正则化项保护了多媒体数据之间的关联关系，其中边权重起着关键的作用，它表现了数据间的密切关系。然而，大多数现有的工作考虑边权重通常设置其为常量，或者是由原始数据间的相似性导出的。实际上，根据原始数据或投影数据之间的距离来计算边权重可以更准确地表示多媒体数据的相关性。但是，原始特征的维度通常很大，这会影响算法的计算复杂度。

发明内容

本发明的目的在于提供一种基于半监督的跨媒体特征学习检索方法，以解决上述问题。

本发明采用了如下技术方案：

一种基于半监督的跨媒体特征学习检索方法，包括如下步骤：

步骤一：建立多媒体数据库，

步骤二：求取不同媒体类型的投影矩阵；

(2.1)定义目标函数：

投影矩阵

X_ap和X_aq表示来自第p个媒体和第q个媒体的具有相同标签的两组媒体对象，

X_p表示来自第p个媒体的媒体对象，

H_p和H_q表示X_p和X_q的投影矩阵，

Y_p表示X_p对应的标签信息，

F表示Frobenius范数，

(2.2)目标函数的优化：

让

表示式(5)中的目标函数，对

进行微分，并设置其值为零，可以得到如下的等式：

其中，R_p＝Diag(r_p)中的r_p表示l_2,1范数的一个辅助向量，它的第i个成员定义为

式(6)可以重写为:

通过求解上述线性系统问题，得到一种最小化目标函数(5)的优化方法，这个方法的过程是先初始化H_p为单位矩阵，然后在每一次迭代中，在

已给定的条件下计算

在优化的过程中，迭代一直持续直到收敛，

(2.3)将多媒体数据的原始特征投影到公共空间。

步骤三：进行跨媒体检索；

(3.1)提取用户提交的媒体数据的特征：根据用户提交的数据的媒体类型使用提前训练的模型来提取出该数据的特征，

(3.2)将该媒体数据的特征向量

投影到共同空间中，且投影后的特征向量为

(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度：跨媒体相似度被定义为边际概率，定义如下：

其中，y_i(y_j)代表

的标签，p(y_i＝l|f_i ^p)代表f_i ^p属于类别l的概率，p(y_i＝l|f_i ^p)定义如下：

其中，N_k(f_i ^p)代表在训练集中f_i ^p的K近邻，y代表f的标签，σ(z)＝(1+exp(-z))^-1是Sigmoid函数，

投影后的特征向量与共同空间中的其他向量之间的相似度计算完成后，用排序函数按相似度值降序排序，并对该结果进行保存，

(3.4)返回相似度最大的前k个媒体数据。

进一步，本发明的基于半监督的跨媒体特征学习检索方法，还具有这样的特征：

步骤一中包括：

步骤1.1收集多媒体原始数据，

步骤1.2提取多媒体数据的特征。

进一步，本发明的基于半监督的跨媒体特征学习检索方法，还具有这样的特征：

得到目标函数的过程如下：

定义图的权重矩阵：

其中，f_i ^p,p＝1,2,...,S表示在公共空间内

的投影对象，

是f_i ^p和

的欧几里德距离，

N_k(f_i ^p)表示f_i ^p的k个最近邻的集合，

为了表示投影特征向量f的平滑度，使用平滑函数Ω(H₁,...,H_S)，平滑函数惩罚两个对象间的投影函数的大的变化，基于多模态图，定义平滑函数为：

其中，

是所有模态的总样本的数目，

代表公共空间中所有模态的投影数据，L＝D-W是拉普拉斯矩阵，基于上述定义，方程(3)可以转化为：

综上，得到目标函数如下:

进一步，本发明的基于半监督的跨媒体特征学习检索方法，还具有这样的特征：

步骤(2.2)中,优化方法的步骤如下:

输入:

含有标签和无标签数据的矩阵

含有标签数据的矩阵

标签矩阵Y∈R^N×c

输出:

投影矩阵

过程:

初始化

为单位矩阵，并设置t＝0；

重复:

1.根据

计算图拉普拉斯矩阵L^t；

2.计算与

相一致的对角矩阵

3.通过解决式(7)中的线性系统问题，根据下面的等式更新

进一步，本发明的基于半监督的跨媒体特征学习检索方法，还具有这样的特征：

步骤3.4中：根据已求得的按降序排序的相似度结果，通过原始数据和投影数据的关系，返回前k个原始数据的值给用户。

发明的有益效果

(1)本发明与现有技术相比，提出一种新的联合学习方法，该框架根据投影数据之间的距离计算边权重。一方面，根据数据之间的距离计算边权重，可以准确地保护多媒体数据的相关性；另一方面，边权重是从投影数据之间的相似性导出的，这减少了原始特征的维数，因此可以有效地降低计算复杂度。

(2)本发明与现有技术相比，探讨了不同媒体类型的稀疏和半监督正则化，并将其集成到一个统一的优化问题中。一方面，它同时学习了不同媒体的稀疏投影矩阵，不同的媒体可以相互联合，从而实现对噪声的鲁棒性；另一方面，它探索了不同媒体类型的有标签数据和无标签数据，不同媒体类型的无标签样例增加了训练数据的多样性，并且提高了联合表示学习的性能。

(3)本发明与现有技术相比，探究了以原始数据的高层次抽象为重点的语义信息，联合多媒体数据的相关性和语义信息可以进一步提高检索的准确性。

附图说明

图1是基于半监督的跨媒体特征学习方法流程图,

图2是用图像检索文本在维基百科数据集上跨媒体检索的PR曲线，

图3是用文本检索图像在维基百科数据集上跨媒体检索的PR曲线。

具体实施方式

以下结合附图来说明本发明的具体实施方式。

如图1所示为本发明一种基于半监督的跨媒体特征学习方法流程图，下面结合图1对本发明做进一步说明，本发明方法具体实现步骤如下：

(1)建立多媒体数据库；

所述步骤(1)包括如下步骤：

(1.1)收集多媒体原始数据：可以自己收集，也可以使用公开的数据集，在这里，为了数据的准确性，使用了公开的数据集，维基百科数据集；

(1.2)提取多媒体数据的特征：采用适当的方法分别提取每种媒体类型数据的特征；

(2)求取不同媒体类型的投影矩阵；

所述步骤(2)包括如下步骤：

(2.1)定义目标函数：

在现有的跨媒体检索方法中，不同类型的媒体之间的相关关系被广泛使用，即如果不同的媒体对象存在于同一个文档中或者被共同用来表示一个给定的主题，那么它们应该有相同的语义；并且注重原始数据高层次抽象的语义信息符合人类的认知，因此，定义跨媒体正则化的损失函数如下：

其中，||A||_F表示矩阵A的Frobenius范数，X_ap和X_aq表示来自第p个媒体和第q个媒体的具有相同标签的两组媒体对象，X_p表示来自第p个媒体的媒体对象，H_p和H_q表示X_p和X_q的投影矩阵，Y_p表示X_p对应的标签信息。

接下来，根据多模态数据之间的关联关系，利用有标签数据和无标签数据构建多模态图。如果不同模态的数据与相同的内容或主题相关，那么它们应该共享相同的语义，这可以被定义为模态间相似性关系。而在每种单一模态下，具有邻域关系的数据对象在公共空间中应该彼此靠近，这可以被定义为模态内相似性关系。希望在探究公共空间时保护模态间和模态内的相似性关系。

图正则化被广泛用于保护多媒体数据之间的相似性，图中的边权重表示多媒体数据间的密切关系。定义图的权重矩阵如下：

其中，f_i ^p,p＝1,2,...,S表示在公共空间内

的投影对象，

是f_i ^p和

的欧几里德距离，

N_k(f_i ^p)表示f_i ^p的k个最近邻的集合。

为了表示投影特征向量f的平滑度，使用平滑函数Ω(H₁,...,H_S)。平滑函数惩罚两个对象间的投影函数的大的变化。基于多模态图，定义平滑函数为：

其中，

是所有模态的总样本的数目，

代表公共空间中所有模态的投影数据，L＝D-W是拉普拉斯矩阵，基于上述定义，方程(3)可以转化为:

综上，得到目标函数如下:

(2.2)目标函数的优化：让

表示式(5)中的目标函数，对

进行微分，并设置其值为零，可以得到如下的等式：

其中，R_p＝Diag(r_p)中的r_p表示l_2,1范数的一个辅助向量，它的第i个成员定义为

式(6)可以重写为：

通过求解上述线性系统问题，提出了一种最小化目标函数(5)的优化方法。这个方法的一般过程是先初始化H_p为单位矩阵，然后在每一次迭代中，在

已给定的条件下计算

在优化的过程中，迭代一直持续直到收敛。接下来将详细的说明该优化算法的步骤。

输入：

含有标签和无标签数据的矩阵

含有标签数据的矩阵

标签矩阵Y∈R^N×c

输出：

投影矩阵

过程:

初始化

为单位矩阵，并设置t＝0；

重复:

4.根据

计算图拉普拉斯矩阵L^t；

5.计算与

相一致的对角矩阵

6.通过解决式(7)中的线性系统问题，根据下面的等式更新

(2.3)将多媒体数据的原始特征投影到公共空间：已经学习了多媒体类型的原始数据特征的投影矩阵H_p，使用它可以将所有的数据点

投影到公共空间中，且投影后的特征向量为

(3)进行跨媒体检索

所述步骤(3)包括如下步骤：

(3.1)提取用户提交的媒体数据的特征：用户提交了某种媒体的数据后，根据该数据的媒体类型使用提前训练的模型来提取出该数据的特征。

(3.2)将提取出的数据特征投影到共同空间中：将该媒体数据的特征向量

投影到共同空间中，且投影后的特征向量为

(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度：跨媒体相似度被定义为边际概率。这个概率显示了两个媒体对象的语义相似度，而不管它们是什么媒体类型。边际概率定义如下：

其中，y_i(y_j)代表

的标签，p(y_i＝l|f_i ^p)代表f_i ^p属于类别l的概率。p(y_i＝l|f_i ^p)定义如下：

其中，N_k(f_i ^p)代表在训练集中f_i ^p的K近邻，y代表f的标签，σ(z)＝(1+exp(-z))^-1是Sigmoid函数。

投影后的特征向量与共同空间中的其他向量之间的相似度计算完成后，用排序函数按相似度值降序排序，并对该结果进行保存。

(3.4)返回相似度最大的前k个媒体数据：根据已求得的按降序排序的相似度结果，通过原始数据和投影数据的关系，返回前k个原始数据的值给用户。

下面通过具体实例来进一步说明。

(1)建立多媒体数据库；

使用公开的维基百科数据集，它包含文本和图像数据，该数据集是从2700篇专题文章中选出的，并是自2009年以来由维基百科的编辑选择和审阅。每篇文章都附有维基共享资源的一个或多个图像。文字和图像都被维基百科分配了一个类别标签，共有29个类别，由于某些类别非常稀缺，因此在该数据集中保留了十个最常见的类别。每篇文章根据章节标题分成几个部分，根据图像在文章中的位置，将伴随的图像分别分配给各部分。最终的数据集共包含2866个文档，这些文档是文本图像对，用10个语义类别的词汇标注。数据集被随机分成2173个文档的训练集和693个文档的测试集。

在这里，对于维基百科数据集，提取的每个图像特征是一个4096维CNN(卷积神经网络)特征向量，每个文本特征是一个3000维的Bag of Words(词袋)特征向量。

(2)求取不同媒体类型的投影矩阵；

将多媒体数据库中有标签数据和无标签数据的特征向量进行归一化，初始化

为单位矩阵，并设置t＝0。然后根据公式(8)来进行迭代，每次迭代后t自增1。当两次迭代的改变率低于0.001时迭代终止，此时的H_p(i＝1,2,...,S)则是目标函数的最优解，即为最优的投影矩阵。

利用已经求得的投影矩阵H_p，将所有的训练集中的数据点

投影到公共空间中

(3)进行跨媒体检索

当用户提交一个类别的文本，如“音乐”进行跨媒体检索时，首先提取该文本的特征，然后将该文本的特征向量投影到共同空间中，进而根据公式(9)计算投影后的特征向量与共同空间中的其他向量之间的相似度，返回与其相似度最大的前k个特征向量所对应媒体数据给用户。

在实验中，采用平均精度(MAP)和精度-召回(PR)曲线来评估算法的性能。一组查询的MAP是每个查询的平均精度(AP)的平均值。MAP越大，表示算法的性能越好。AP的计算公式如下

其中L是检索集合中相关项的数量；N是查询返回的结果总数；P(r)表示前r个检索文档的准确度；如果返回的结果是相关的，则δ(r)＝1，否则δ(r)＝0。

将提出的算法命名为SSFL，并与现有的四种方法进行比较：

1)JGRHML：它探索了不同媒体类型之间内容相似度的异构度量。

2)CMCP：它能够传播不同模态之间的相关性，并且在不同模态的媒体对象之间同时处理正相关和负相关。

3)HSNN：它可以计算不同媒体类型的媒体对象之间的相似度。

4)JFSSL：它可以共同处理联合学习方法中的相关性度量和耦合特征选择。

表1.在维基百科数据集上不同方法的MAP比较

表1显示了基于维基百科数据集的跨媒体检索任务的MAP分数的不同方法的性能。与其他四种方法相比，提出的SSFL方法将平均MAP从0.461提高到0.497。

图2和图3分别是使用文字检索图片和使用图片检索文字的维基百科数据，集中绘制了各种方法相应的精度-召回(PR)曲线。可以看到，本发明的SSFL方法在大多数召回水平上具有更高的精度，优于比较方法。

随着多媒体数据的快速增长，跨媒体检索变得越来越重要，因为用户可以通过提交任何媒体类型的查询来检索各种类型媒体的结果。本发明提供的方法能够解决传统的基于图的跨媒体特征学习方法中边权重的设置忽略了相关性保护及忽视了算法计算复杂度的问题，一方面，本方法根据数据之间的距离计算边权重，可以准确保护多媒体数据的相关性；另一方面，本方法的边权重是根据投影数据之间的相似性导出的，降低了原始特征的维数，从而能有效地降低计算复杂度。

Claims (5)

1.一种基于半监督的跨媒体特征学习检索方法，包括如下步骤：

步骤一：建立多媒体数据库，

步骤二：求取不同媒体类型的投影矩阵；

(2.1)定义目标函数：

投影矩阵

X_ap和X_aq表示来自第p个媒体和第q个媒体的具有相同标签的两组媒体对象，

X_p表示来自第p个媒体的媒体对象，

H_p和H_q表示X_p和X_q的投影矩阵，

Y_p表示X_p对应的标签信息，

F表示Frobenius范数，

(2.2)目标函数的优化：

让

表示式(5)中的目标函数，对

进行微分，并设置其值为零，可以得到如下的等式：

其中，R_p＝Diag(r_p)中的r_p表示l_2,1范数的一个辅助向量，它的第i个成员定义为

式(6)可以重写为:

通过求解上述线性系统问题，得到一种最小化目标函数(5)的优化方法，这个方法的过程是先初始化H_p为单位矩阵，然后在每一次迭代中，在

已给定的条件下计算

在优化的过程中，迭代一直持续直到收敛，

(2.3)将多媒体数据的原始特征投影到公共空间，

步骤三：进行跨媒体检索；

(3.1)提取用户提交的媒体数据的特征：根据用户提交的数据的媒体类型使用提前训练的模型来提取出该数据的特征，

(3.2)将该媒体数据的特征向量

投影到共同空间中，且投影后的特征向量为

(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度：跨媒体相似度被定义为边际概率，定义如下：

其中，y_i(y_j)代表

的标签，p(y_i＝l|f_i ^p)代表f_i ^p属于类别l的概率，p(y_i＝l|f_i ^p)定义如下：

其中，N_k(f_i ^p)代表在训练集中f_i ^p的K近邻，y代表f的标签，σ(z)＝(1+exp(-z))^-1是Sigmoid函数，

投影后的特征向量与共同空间中的其他向量之间的相似度计算完成后，用排序函数按相似度值降序排序，并对该结果进行保存，

(3.4)返回相似度最大的前k个媒体数据。

2.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

步骤一中包括：

步骤1.1收集多媒体原始数据，

步骤1.2提取多媒体数据的特征。

3.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

得到目标函数的过程如下：

定义图的权重矩阵：

其中，f_i ^p,p＝1,2,...,S表示在公共空间内

的投影对象，

是f_i ^p和

的欧几里德距离，

N_k(f_i ^p)表示f_i ^p的k个最近邻的集合，

为了表示投影特征向量f的平滑度，使用平滑函数Ω(H₁,...,H_S)，平滑函数惩罚两个对象间的投影函数的大的变化，基于多模态图，定义平滑函数为：

其中，

是所有模态的总样本的数目，

代表公共空间中所有模态的投影数据，L＝D-W是拉普拉斯矩阵，基于上述定义，方程(3)可以转化为：

综上，得到目标函数(5)如下:

4.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

步骤(2.2)中,优化方法的步骤如下:

输入:

含有标签和无标签数据的矩阵

含有标签数据的矩阵

标签矩阵Y∈R^N×c

输出:

投影矩阵

过程:

初始化

为单位矩阵，并设置t＝0；

重复:

1.根据

计算图拉普拉斯矩阵L^t；

2.计算与

相一致的对角矩阵

3.通过解决式(7)中的线性系统问题，我们根据下面的等式更新

5.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

步骤3.4中：根据已求得的按降序排序的相似度结果，通过原始数据和投影数据的关系，返回前k个原始数据的值给用户。

Images