CN104317834A - 一种基于深度神经网络的跨媒体排序方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的跨媒体排序方法。包括如下步骤：1)将文本检索图像的排序样本或图像检索文本的排序样本构建为训练样本；2)对构建得到的训练样本进行基于深度神经网络的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；3)使用学习得到的跨媒体排序模型进行跨媒体检索。本发明由于使用了跨媒体排序数据驱动的深度神经网络，因此得到的检索模型的语义理解能力更强，在图像检索文本或文本检索图像中所取得性能较传统的浅层模型方法更好。

Description

一种基于深度神经网络的跨媒体排序方法

技术领域

本发明涉及跨媒体检索，尤其涉及一种基于深度神经网络的跨媒体排序方法。

背景技术

图像具有丰富语义。一般来说，图像由一个个的像素点组成，计算机并不能直接理解图像所蕴含的语义信息。随着多媒体技术和网络技术的发展，越来越多的图像涌现出来。检索技术可以帮助用户从海量数据中快速查找到自己感兴趣的内容，成为计算机应用技术中越来越重要的领域。传统的检索技术，无论是基于关键词的检索还是基于内容的检索，都不能很好地满足用户希望用文本检索图像或者图像检索文本的需求。在基于关键词的检索系统中，需要事先对图像进行标注。但是目前存在的图像数量巨大，使得标注过程工程量浩繁。并且，由于标注内容不可避免地会受到标注者主观因素的影响，针对同一个图像，不同的标注者可能会标注不同的关键词，因此关键词往往不能客观反映图像所蕴含的全部语义。基于内容的图像检索技术则不需要对图像进行标注，基于比较用户提交的检索样例与被检索图像之间的相似度来实现图像检索，但是传统基于内容的图像检索技术存在两个弱点：一是用户只能检索与查询例子属于同一类型的媒体对象，如只能通过图像检索图像；二是图像的底层特征和高层语义存在语义鸿沟，即底层特征无法直接反映高层语义，因此检索性能受到限制。为了跨越不同模态数据间的语义鸿沟，更好地理解多媒体语义，同时为了满足用户跨媒体查询的需求，寻求一种基于语义的跨媒体排序方法颇有意义。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于深度神经网络的跨媒体排序方法。

基于深度神经网络的跨媒体排序方法包括如下步骤：

1)将文本检索图像的排序样本或者图像检索文本的排序样本构建为训练样本；

2)对构建得到的训练样本进行基于深度神经网络的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；

3)使用学习得到的跨媒体排序模型进行跨媒体检索：用户提交查询文档后，将查询文档和候选文档同时输入到所提出的深度神经网络中，根据深度神经网络输出的排序分数从大到小对所有跨媒体对象进行排序，得到跨媒体检索结果。所述的步骤1)包括：

1)对训练样本里的所有文本文档利用词袋模型进行特征表达，文本最终被表示为t∈R^m，其中m为文本空间的维数；

2)将训练样本里的所有图像文档缩放，使具有相同的宽度w和高度h，使用每个像素点的RGB通道值来表示每个像素，将所有像素拉成一个向量，则图像最终被表示为p∈R^3×w×h；

3)对文本检索图像方向而言，对每一个查询文本文档，构建一个候选图像文档的排序列表，其中列表中的图像被标记为查询语义相关或者语义不相关，因此每个文本检索图像的训练样本被表示为三元组其中N为训练样本个数，t_i为检索文本，p_i为图像集合，是图像集合上的排序，y表示整个排序空间；

4)对图像检索文本方向而言，对每一个查询文档(图像)，构建一个候选文本文档的排序列表，其中列表中的文本文档被标记为查询语义相关或者语义不相关，每个图像检索文本的训练样本被表示为三元组M为训练样本个数，p_j为检索图像，t_j是文本文档集合，是文本文档集合上的排序。

所述的步骤2)包括：

1)使用深度结构语义网络对文本进行建模，对每个文本，深度结构语义网络顶层输出一个k维的向量；

2)使用深度卷积网络对图像进行建模，对每个图像，深度卷积网络顶层输出一个k维的向量；

3)对候选文档所对应的深度神经网络，在原顶层之后添加仅有一个节点的排序分数层作为新的顶层，其中连接排序分数层和原顶层的权重参数被设置为查询文档对应深度神经网络所输出的k维向量；

4)构建一个目标函数,使得神经网络输出的候选文档集合的排序和训练集合中的排序一致，对第i个训练样本定义的损失函数为：

$L(Y^{\left(i\right)},Z^{\left(i\right)})=-\underset{j=1}{\overset{n^{\left(i\right)}}{\mathrm{\Σ}}}{P}_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)\log P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)---\left(4\right)$

其中，n⁽ⁱ⁾是第i个训练样本中候选文档的个数， 分别是训练集中的排序分数列表、深度神经网络输出的排序分数列表，以及

$P_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(y_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(y_l^{\left(i\right)}\right)}---\left(5\right)$

$P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(z_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(z_l^{\left(i\right)}\right)}---\left(6\right)$

5)输入排序样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数，根据学习得到的深度神经网络的参数，提取图像文档和文本文档在语义空间中的k维表达。

本发明与背景技术相比，具有的有益的效果是：

本发明针对跨媒体排序训练样本提出了一种新的基于语义内容的检索方法。由于该方法融合了深度学习和排序学习两种机制，不仅充分利用了跨媒体排序训练样本，而且深度神经网络的训练针对排序性能进行直接优化，因此能学习得到更好的特征表达，具有更好的排序性能。

附图说明

图1是基于深度神经网络的跨媒体排序方法示意图。

具体实施方式

基于深度神经网络的跨媒体排序方法包括如下步骤：

1)将文本检索图像的排序样本或者图像检索文本的排序样本构建为训练样本；

2)对构建得到的训练样本进行基于深度神经网络的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；

3)使用学习得到的跨媒体排序模型进行跨媒体检索：用户提交查询文档后，将查询文档和候选文档同时输入到所提出的深度神经网络中，根据深度神经网络输出的排序分数从大到小对所有跨媒体对象进行排序，得到跨媒体检索结果。所述的步骤1)包括：

1)对训练样本里的所有文本文档利用词袋模型进行特征表达，文本最终被示为t∈R^m，其中m为文本空间的维数；

2)将训练样本里的所有图像文档缩放，使具有相同的宽度w和高度h，使用每个像素点的RGB通道值来表示每个像素，将所有像素拉成一个向量，则图像最终被表示为pR^3×w×h；

3)对文本检索图像方向而言，对每一个查询文本文档，构建一个候选图像文

档的排序列表，其中列表中的图像被标记为查询语义相关或者语义不相关，因此每个文本检索图像的训练样本被表示为三元组其中N为训练样本个数，t_i为检索文本，p_i为图像集合，是图像集合上的排序，y表示整个排序空间；

4)对图像检索文本方向而言，对每一个查询文档(图像)，构建一个候选文本文档的排序列表，其中列表中的文本文档被标记为查询语义相关或者语义不相关，每个图像检索文本的训练样本被表示为三元组M为训练样本个数，p_j为检索图像，t_j是文本文档集合，是文本文档集合上的排序。

所述的步骤2)包括：

1)使用深度结构语义网络对文本进行建模，对每个文本，深度结构语义网络顶层输出一个k维的向量；

2)使用深度卷积网络对图像进行建模，对每个图像，深度卷积网络顶层输出一个k维的向量；

3)对候选文档所对应的深度神经网络，在原顶层之后添加仅有一个节点的排序分数层作为新的顶层，其中连接排序分数层和原顶层的权重参数被设置为查询文档对应深度神经网络所输出的k维向量；

4)构建一个目标函数,使得神经网络输出的候选文档集合的排序和训练集合中的排序一致，对第i个训练样本定义的损失函数为：

$L(Y^{\left(i\right)},Z^{\left(i\right)})=-\underset{j=1}{\overset{n^{\left(i\right)}}{\mathrm{\Σ}}}{P}_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)\log P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)---\left(7\right)$

其中，n⁽ⁱ⁾是第i个训练样本中候选文档的个数，和分别是训练集中的排序分数列表、深度神经网络输出的排序分数列表，以及

$P_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(y_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(y_l^{\left(i\right)}\right)}---\left(8\right)$

$P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(z_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(z_l^{\left(i\right)}\right)}---\left(9\right)$

5)输入排序样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数，根据学习得到的深度神经网络的参数，提取图像文档和文本文档在语义空间中的维表达。求解深度神经网络参数的具体算法如下：

实施例

为了验证本发明的效果，从“维基百科-每日一图”的网页上抓取约2900个网页，分为10个大类，每个网页包含了一张图像以及几段相关的描述文本，以此作为数据集进行实验。如果图像和文本都归属于10大类中的一类，则认为图像和文本相关，否则不相关。将数据集划分为训练集和测试集，本发明在训练集上进行训练，然后在测试集上进行独立评价。对于特征提取按照本发明所说步骤进行，其中去除常见词和生僻词后文本空间设定为5000维。为了客观地评价本发明的算法的性能，使用平均准确率(Mean Average Precision，MAP)对本发明进行评价。MAP的结果如表1所示：

	MAP50	MAPall
			文本查询图像	0.2712	0.1649
图像查询文本	0.2563	0.2216

表1

其中MAP50是前50个返回结果计算得到的MAP值，MAPall是所有返回结果计算得到的MAP值。

Claims (3)

1.一种基于深度神经网络的跨媒体排序方法，其特征在于包括如下步骤：

1)将文本检索图像的排序样本或者图像检索文本的排序样本构建为训练样本；

2)对构建得到的训练样本进行基于深度神经网络的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；

3)使用学习得到的跨媒体排序模型进行跨媒体检索：用户提交查询文档后，将查询文档和候选文档同时输入到所提出的深度神经网络中，根据深度神经网络输出的排序分数从大到小对所有跨媒体对象进行排序，得到跨媒体检索结果。

2.根据权利要求1所述的一种基于深度神经网络的跨媒体排序方法，其特征在于，所述的步骤1)包括：

1)对训练样本里的所有文本文档利用词袋模型进行特征表达，文本最终被表示为t∈R^m，其中m为文本空间的维数；

2)将训练样本里的所有图像文档缩放，使具有相同的宽度ω和高度h，使用每个像素点的RGB通道值来表示每个像素，将所有像素拉成一个向量，则图像最终被表示为p∈R^3×ω×h；

3)对文本检索图像方向而言，对每一个查询文本文档，构建一个候选图像文档的排序列表，其中列表中的图像被标记为查询语义相关或者语义不相关，因此每个文本检索图像的训练样本被表示为三元组其中N为训练样本个数，t_i为检索文本，p_i为图像集合，是图像集合上的排序，y表示整个排序空间；

4)对图像检索文本方向而言，对每一个查询文档(图像)，构建一个候选文本文档的排序列表，其中列表中的文本文档被标记为查询语义相关或者语义不相关，每个图像检索文本的训练样本被表示为三元组M为训练样本个数，p_j为检索图像，t_j是文本文档集合，是文本文档集合上的排序。

3.根据权利要求1所述的一种基于深度神经网络的跨媒体排序方法，其特征在于，所述的步骤2)包括：

1)使用深度结构语义网络对文本进行建模，对每个文本，深度结构语义网络顶层输出一个k维的向量；

2)使用深度卷积网络对图像进行建模，对每个图像，深度卷积网络顶层输出一个k维的向量；

3)对候选文档所对应的深度神经网络，在原顶层之后添加仅有一个节点的排序分数层作为新的顶层，其中连接排序分数层和原顶层的权重参数被设置为查询文档对应深度神经网络所输出的k维向量；

4)构建一个目标函数,使得神经网络输出的候选文档集合的排序和训练集合中的排序一致，对第i个训练样本定义的损失函数为：

$L(Y^{\left(i\right)},Z^{\left(i\right)})=-\underset{j=1}{\overset{n^{\left(i\right)}}{\mathrm{\Σ}}}{P}_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)\log P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)---\left(1\right)$

其中，n⁽ⁱ⁾是第i个训练样本中候选文档的个数，和分别是训练集中的排序分数列表、深度神经网络输出的排序分数列表，以及

$P_{y^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(y_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(y_l^{\left(i\right)}\right)}---\left(2\right)$

$P_{z^{\left(i\right)}}\left(d_j^{\left(i\right)}\right)=\frac{\exp \left(z_j^{\left(i\right)}\right)}{{\mathrm{\Σ}}_{l=1}^{n^{\left(i\right)}}\exp \left(z_l^{\left(i\right)}\right)}---\left(3\right)$

5)输入排序样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数，根据学习得到的深度神经网络的参数，提取图像文档和文本文档在语义空间中的k维表达。