CN103593474A - 基于深度学习的图像检索排序方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像检索排序方法。该方法包括以下步骤：提取查询对象和训练数据库中图像的底层特征；通过深度网络进行高层语义学习和特征融合，得到多个查询对象-图像对的高层特征以及深度网络的初定参数；对查询对象-图像对的高层特征分别进行线性回归，得到查询对象-图像对的排序分数；得到与查询对象相关的训练数据集中的图像的排序列表，将该排序列表与训练数据集中各图像的真实的排序列表进行比较，得到与查询对象相关的图像对的成对损失值；对深度网络的初定参数进行调整，得到深度网络的最终参数；计算新的查询对象的底部特征，并得到其对应的深度网络；在测试数据集中进行搜索，得到与其相关的图像列表。

Description

基于深度学习的图像检索排序方法

技术领域

本发明涉及图像检索技术领域，尤其涉及一种基于深度学习的图像检索排序方法。

背景技术

近年来，随着数字影像设备的广泛普及，互联网上的图像数量呈爆炸式的增长，如何从海量的互联网图像中准确地检索用户想要的图像信息具有广泛的应用前景，并成为网络多媒体领域重要的研究内容。

目前大型的搜索引擎针对互联网图像检索的方法主要集中在基于关键字的搜索方法上。用户给出与所需的图片相关的文字，系统根据之前建立的文字到图片的匹配来查找包含有查询词的文本对应的图片。基于关键字检索方式由于利用技术较成熟的文本检索技术，在真实的图像搜索中取得一定的效果，但是它们仍然存在着诸多问题。一方面，文本与图像的匹配由于数据量大，往往依靠自动提取的方式进行。而自动提取的方法由于信息组织的多样化以及难于判定具体的组织方式，很难确定哪些信息是与图片相关的，从而很难为图片提取准确的文字信息。

图像检索的核心在于对返回的图像序列进行排序，同时图像底层视觉的内容信息也是影响图像检索排序的重要因素。因此，对查询-图像对的内容进行高层特征融合和学习，并结合经典的基于序列的排序学习技术将对图像的检索有着重要的促进作用。可见，基于深度学习进行图像检索排序具有广泛的应用前景。

发明内容

为解决现有技术中存在的上述问题，本发明提出了一种基于深度学习的图像检索排序方法。

本发明提出的一种基于深度学习的图像检索排序方法包括以下步骤：

步骤1，提取查询对象和训练数据库中所有图像的底层特征；

步骤2，对于所述步骤1提取得到的查询对象和训练数据库中所有图像的底层特征，通过深度网络进行高层语义学习和特征融合，得到查询对象与训练数据库中的所有图像形成的多个查询对象-图像对的高层特征，以及所述深度网络的初定参数；

步骤3，对于所述查询对象-图像对的高层特征分别进行线性回归，得到所述查询对象-图像对的排序分数S(X,Q)；

步骤4，根据所述查询对象-图像对的排序分数得到与所述查询对象相关的所述训练数据集中的图像的排序列表，将该排序列表与所述训练数据集中各图像的真实的排序列表进行比较，得到与所述查询对象相关的图像对X_i，X_j的成对损失值；

步骤5，基于所述成对损失值，对所述深度网络的初定参数进行调整，得到所述深度网络的最终参数；

步骤6，对于新的查询对象，按照所述步骤1计算得到新的查询对象的底部特征Q′；

步骤7，基于所述新的查询对象的底部特征Q′，利用所述步骤5得到的所述深度网络，在测试数据集

中进行搜索，得到与所述新的查询对象相关的图像列表。

附图说明

图1是本发明基于深度学习的图像检索排序方法的流程图；

图2是本发明中用于查询-图像对的特征融合与学习的深度网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

考虑到图像和查询文本等查询对象的特征融合与学习对于图像检索有着重要的影响，因此本发明提出了一种基于深度学习的图像检索排序方法。该方法的核心思想是通过深度学习在提取查询对象-图像对的高层语义特征的同时对它们进行特征融合，在高层语义特征的基础上得到查询对象-图像对的排序分数。

图1是本发明基于深度学习的图像检索排序方法的流程图，如图1所示，本发明提出的基于深度学习的图像检索排序方法包括以下步骤：

步骤1，提取查询对象和训练数据库中所有图像的底层特征；

提取查询对象的底层特征是为了得到查询对象的初始表示，所述查询对象包括文本或图像，文本和图像通常采用不同的底层特征来表示，在本发明一实施例中，对于文本采用词频-逆向文件频率（TF-IDF）作为其底层特征；对于查询图像和训练数据库中的图像，采用方向梯度直方图（HOG）（比如32×32维的方向梯度直方图）作为其底层特征。

步骤2，对于所述步骤1提取得到的查询对象和训练数据库中所有图像的底层特征，通过深度网络进行高层语义学习和特征融合，得到查询对象与训练数据库中的所有图像形成的多个查询对象-图像对的高层特征，以及所述深度网络的初定参数；

所述步骤2具体为：对于训练数据库中图像的底层特征X，以及查询对象的底层特征Q，采用深度网络进行逐层地特征提取和融合，同时对于所述深度网络进行逐层地贪心学习。

图2示出了本发明中用于对查询对象-图像对的底层特征进行融合与学习的深度网络的结构示意图，如图2所示，所述图像的底层特征以及查询对象的底层特征

为所述深度网络的最底层（可见层

和

）的输入数据，其中，D₁为底层特征的维数，所述输入数据先经过分开的隐藏层

和

然后经过融合后的隐藏层h⁰-h^L，一直到达最高层h^L，其中，各层的节点状态值为0或者1。在所述深度网络中，相邻的两层分别构成一个受限波尔兹曼机（RBM），进一步地，对于进行融合的相邻两层，则构成一个多模态的受限波尔兹曼机。

所述深度网络的训练过程分为两个阶段：逐层的贪心学习过程和全局的调节过程，在逐层的贪心学习过程中，当下层的受限波尔兹曼机训练完成之后，把下层受限波尔兹曼机的隐藏层的状态作为上层受限波尔兹曼机的输入，这样逐层地向上学习，直到达到最高层h^L，多模态的受限波尔兹曼机与受限波尔兹曼机类似，只不过，

和

层共同构成可见层，以对第一个多模态受限波尔兹曼机进行训练。逐层的贪心学习过程完成之后，就可以得到所述深度网络最高层h^L的状态值

其中Num表示该层的节点数目，该状态值作为所述查询对象-图像对的新的特征表示。在上述逐层的贪心学习过程中，同时也初步得到所述深度网络的参数，该参数会在后面的步骤5中进行进一步的全局调整。

在受限波尔兹曼机的训练过程中，受限波尔兹曼机由下层的可见层v和上层的隐藏层h构成，同一层的节点之间没有连接，那么给定v层节点的状态，则h层的第i个节点的条件状态分布可表示为：

$p(h_i=1|v)=\mathrm{\σ}({b^{\left(h\right)}}_i+\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{v}_j),$

其中，h_i表示h层的节点i，v_j表示v层的节点j，b_i表示h_i的偏置，w_ij表示v_j和h_i之间的权重，σ表示logistic函数（即

）。

同样，给定h层节点的状态，v层的第j个节点的条件状态分布可表示为：

$p(v_j=1|h)=\mathrm{\σ}({b^{\left(v\right)}}_j+\underset{i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{h}_i),$

其中，b^(v) _j表示节点j的偏置（bias）。

在本发明一实施例中，采用对比散度（contrastive divergence）算法来训练受限波尔兹曼机的权重参数，对比散度算法为现有技术中的常用算法，在此不作赘述。

步骤3，对于所述查询对象-图像对的高层特征分别进行线性回归，得到所述查询对象-图像对的排序分数S(X,Q)；

该步骤中，把所述步骤2得到的查询对象-图像对的高层特征，即所述深度网络最高层h^L的状态值

根据下式进行线性回归，即可得到所述查询对象-图像对的排序分数S(X,Q)：

$S(X,Q)=\underset{i}{\mathrm{\Σ}}{w}_i{h}_i^L+b,$

其中，w_i表示权重，b表示偏置。

步骤4，根据所述查询对象-图像对的排序分数得到与所述查询对象相关的所述训练数据集中的图像的排序列表，将该排序列表与所述训练数据集中各图像的真实的排序列表进行比较，得到与所述查询对象相关的图像对X_i，X_j的成对损失值；

所述步骤4进一步包括以下步骤：

步骤4.1：根据所述步骤3中得到的所述查询对象-图像对的排序分数S(X,Q)的大小，对所述训练数据集中的图像{X₁,X₂,...,X_N}进行排序，其中，N表示与所述查询对象相关的图像的数目，得到与所述查询对象相关的图像的排序序列L1={S(X_rank1,Q),...,S(X_rankN,Q)}；

步骤4.2：根据图像与所述查询对象的相关性等级，对于图像{X₁,X₂,...,X_N}进行排序，得到图像相关性等级序列L2，所述图像相关性等级序列L2中的元素为相应图像与所述查询对象的相关性等级值；

步骤4.3：计算任意两个与所述查询对象相关的图像对X_i，X_j的成对损失值，所述图像对X_i，X_j的排序分数分别为S(X_i,Q)和S(X_j,Q)，在所述步骤4.1计算得到的排序序列中对应的排序位置分别为r(X_i,Q)，r(X_j,Q)，在所述步骤4.2计算得到的与所述查询对象的相关性等级值分别为l(X_i,Q)和l(X_j,Q)，则该图像对的成对损失（pair-wise loss）值为：

$\mathrm{Loss}(X_i,X_j)=Z\·\frac{2^{l(X_i,Q)}-2^{l(X_j,Q)}}{1+\exp \{S(X_i,Q)-S(X_j,Q)\}}\·(\log \left(\frac{1}{1+r(X_i,Q)}\right)-\log \left(\frac{1}{1+r(X_j,Q)}\right));$

其中，Z表示归一化项。

步骤5，基于所述成对损失值，对所述深度网络的初定参数进行调整，得到所述深度网络的最终参数；

该步骤中基于所述成对损失值对所述深度网络的参数进行全局调整，在本发明一实施例中，采用著名的后向传播算法进行全局参数调整，最终得到所述深度网络的参数。

步骤6，对于新的查询对象，按照所述步骤1计算得到新的查询对象的底部特征Q′；

步骤7，基于所述新的查询对象的底部特征Q′，利用所述步骤5得到新的查询对象对应的所述深度网络，在测试数据集

中进行搜索，得到与所述新的查询对象相关的图像列表。

该步骤中，首先分别计算新的查询对象-图像对的排序分数

然后根据所述排序分数的大小对于所述测试数据集中的图像进行排序，即可得到与所述新的查询对象相关的图像的排序序列。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的图像检索排序方法，其特征在于，该方法包括以下步骤：

步骤1，提取查询对象和训练数据库中所有图像的底层特征；

步骤2，对于所述步骤1提取得到的查询对象和训练数据库中所有图像的底层特征，通过深度网络进行高层语义学习和特征融合，得到查询对象与训练数据库中的所有图像形成的多个查询对象-图像对的高层特征，以及所述深度网络的初定参数；

步骤3，对于所述查询对象-图像对的高层特征分别进行线性回归，得到所述查询对象-图像对的排序分数S(X,Q)；

步骤4，根据所述查询对象-图像对的排序分数得到与所述查询对象相关的所述训练数据集中的图像的排序列表，将该排序列表与所述训练数据集中各图像的真实的排序列表进行比较，得到与所述查询对象相关的图像对X_i，X_j的成对损失值；

步骤5，基于所述成对损失值，对所述深度网络的初定参数进行调整，得到所述深度网络的最终参数；

步骤6，对于新的查询对象，按照所述步骤1计算得到新的查询对象的底部特征Q′；

步骤7，基于所述新的查询对象的底部特征Q′，利用所述步骤5得到新的查询对象对应的所述深度网络，在测试数据集

中进行搜索，得到与所述新的查询对象相关的图像列表。

2.根据权利要求1所述的方法，其特征在于，所述查询对象包括文本或图像，文本和图像采用不同的底层特征来表示。

3.根据权利要求2所述的方法，其特征在于，对于文本采用词频-逆向文件频率作为其底层特征；对于查询图像和训练数据库中的图像，采用方向梯度直方图作为其底层特征。

4.根据权利要求1所述的方法，其特征在于，所述步骤2具体为：对于训练数据库中图像的底层特征X，以及查询对象的底层特征Q，采用深度网络进行逐层地特征提取和融合，同时对于所述深度网络进行逐层地贪心学习。

5.根据权利要求4所述的方法，其特征在于，采用深度网络进行逐层地特征提取和融合时，所述图像的底层特征

以及查询对象的底层特征

为所述深度网络的最底层，即可见层

和

的输入数据，所述输入数据先经过分开的隐藏层和然后经过融合后的隐藏层h⁰-h^L，一直到达最高层h^L。

6.根据权利要求5所述的方法，其特征在于，在所述深度网络中，相邻的两层分别构成一个受限波尔兹曼机，进行融合的相邻两层构成一个多模态的受限波尔兹曼机。

7.根据权利要求6所述的方法，其特征在于，在逐层的贪心学习过程中，当下层的受限波尔兹曼机训练完成之后，把下层受限波尔兹曼机的隐藏层的状态作为上层受限波尔兹曼机的输入，这样逐层地向上学习，直到达到最高层h^L，多模态的受限波尔兹曼机与受限波尔兹曼机类似，只不过，

和

层共同构成可见层，以对第一个多模态受限波尔兹曼机进行训练；逐层的贪心学习过程完成之后，就可以得到所述深度网络最高层h^L的状态值

其中Num表示该层的节点数目，该状态值作为所述查询对象-图像对的新的特征表示，同时也初步得到所述深度网络的参数。

8.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤4.1：根据所述步骤3中得到的所述查询对象-图像对的排序分数S(X,Q)的大小，对所述训练数据集中的图像{X₁,X₂,...,X_N}进行排序，其中，N表示与所述查询对象相关的图像的数目，得到与所述查询对象相关的图像的排序序列L1={S(X_rank1,Q),...,S(X_rankN,Q)}；

步骤4.2：根据图像与所述查询对象的相关性等级，对于图像{X₁,X₂,...,X_N}进行排序，得到图像相关性等级序列L2，所述图像相关性等级序列L2中的元素为相应图像与所述查询对象的相关性等级值；

步骤4.3：计算任意两个与所述查询对象相关的图像对X_i，X_j的成对损失值，所述图像对X_i，X_j的排序分数分别为S(X_i,Q)和S(X_j,Q)，在所述步骤4.1计算得到的排序序列中对应的排序位置分别为r(X_i,Q)，r(X_j,Q)，在所述步骤4.2计算得到的与所述查询对象的相关性等级值分别为l(X_i,Q)和l(X_j,Q)，则该图像对的成对损失（pair-wise loss）值为：

$\mathrm{Loss}(X_i,X_j)=Z\·\frac{2^{l(X_i,Q)}-2^{l(X_j,Q)}}{1+\exp \{S(X_i,Q)-S(X_j,Q)\}}\·(\log \left(\frac{1}{1+r(X_i,Q)}\right)-\log \left(\frac{1}{1+r(X_j,Q)}\right));$

其中，Z表示归一化项。

9.根据权利要求1所述的方法，其特征在于，所述步骤5中，基于所述成对损失值，采用后向传播算法对所述深度网络的参数进行全局调整。

10.根据权利要求1所述的方法，其特征在于，所述步骤7中，首先分别计算新的查询对象-图像对的排序分数

然后根据所述排序分数的大小对于所述测试数据集中的图像进行排序，即可得到与所述新的查询对象相关的图像的排序序列。

Images