CN104834748B - 一种利用基于深度语义排序哈希编码的图像检索方法 - Google Patents

Abstract

本发明公开了一种利用基于深度语义排序哈希编码的图像检索方法，该方法包括以下步骤：将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测试集；使用深度卷积神经网络来构建深度哈希函数；根据图像的多标签信息，构建出图像间的语义相似度排序；以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随机梯度下降法来优化深度哈希函数；用学习到的深度哈希函数计算图像的哈希码，通过计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离来检索图像。本发明方法能够保留多标签图像在语义空间中的多级相似度，并且联合学习图像的深度特征表达和哈希编码，从而避免了语义信息的损失。

Description

一种利用基于深度语义排序哈希编码的图像检索方法

技术领域

本发明涉及模式识别与机器学习领域，特别涉及图像哈希编码与检索。

背景技术

网络图片的爆炸性增长使得基于内容的图像检索显得日趋重要。哈希编码由于其效率高、易存储等特性，已经被广泛的用于大规模图像检索当中。尽管如此，大部分的基于语义标签的哈希编码方法只解决了二元的相似度量(即相似或者不相似)问题，但是对于多标签图像中的多级语义相似度量去不能够很好的处理。此外，大部分的哈希编码方法的流程一般是首先提取手工设计的特征表达，然后在此基础上学习深度哈希函数。这些手工设计的特征更倾向于描述表观而非语义信息，并不适合用来处理涉及复杂语义结构的任务。

发明内容

(一)本发明要解决的技术问题

本发明的目的是提出一种利用基于深度语义排序哈希编码的图像检索的方法。基于深度语义排序的深度哈希函数学习方法来保留多标签图像中的复杂的多级语义结构。其利用深度卷积神经网络构建多层的深度哈希函数，并根据图像间共同标签的数目推导出语义排序列表用于监督深度哈希函数学习。同时，使用一种基于代理排序损失函数的算法来解决学习过程中的多变量非光滑排序度量优化问题。

(二)本发明的技术方案

本发明所提出的一种利用基于深度语义排序哈希编码的图像检索方法包括以下步骤：

步骤S0：将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测试集；

步骤S1：使用深度卷积神经网络(CNN)构建深度哈希函数；

步骤S2：根据图像的多标签信息，构建出图像间的语义相似度排序；

步骤S3，以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随机梯度下降法和反向传播算法来优化深度哈希函数；

步骤S4：用步骤S3学习到的深度哈希函数计算图像的哈希码；

步骤S5，通过计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离，并根据汉明距离来检索图像。

(三)本发明的有益效果：

本发明方法利用语义排序损失学习深度哈希函数，能够保留多标签图像中的多级语义结构，能够保留图像在语义空间中的多级相似度；并且这种使用排序监督的深度学习模型可以联合学习图像的深度特征表达和哈希编码，具有更强的语义学习能力从而避免了语义信息的损失。

附图说明

图1是本发明利用基于深度语义排序哈希编码的图像检索方法流程图。

图2是深度哈希函数的结构示意图。

图3是一些检索示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种基于深度语义排序的哈希编码，并将其应用于图像检索。该方法利用深度卷积神经网络来构建一种多层的深度哈希函数，并且根据图像的多标签信息推导出图像间的语义相似度排序，用于深度哈希函数的监督学习。在此基础上，使用一种基于代理排序损失函数的策略来解决模型学习过程中非光滑的多变量排序度量优化问题。以下详细说明本发明方法涉及的关键步骤。

请参阅图1示出的本发明利用基于深度语义排序哈希编码的图像检索的方法，所述方法包括以下步骤：

步骤S0，将多标签图像数据集中的部分图像作为图像训练集剩下的图像作为图像测试集；

步骤S1，利用深度卷积神经网络(CNN)构建一种多层的深度哈希函数；

请参阅图2所示深度哈希函数的结构，所述深度哈希函数包含了一个七层深度卷积神经网络，以及一个哈希编码层。在第一个全连接层(FCa)和哈希编码层之间增加一个额外的跨层连接来减少可能的信息损失。由于第二个全连接层(FCb)过于依赖于高层的类标签，其激活响应对于图像细节特征有着很强的不变性，并不太适合于捕获精细化的语义差异。因此，把哈希编码层同时与两个全连接层进行连接，使得第一个全连接层FCa中偏向于视觉表观的多样化特征信息能够得到更多的利用。相应的，提出的一个深度哈希函数h(x；w)定义如下：

h(x；w)＝sign(w^T[f_a(x)；f_b(x)]) (1)

其中，sign(.)为符号函数，x为数据库样本，w表示哈希编码层的权值，T表示转置，f_a(x)和f_b(x)分别表示来自于第一个全连接层FCa和第二个全连接层FCb的特征向量。这里为了表述的简洁性，我们略去了偏置项以及f_a(x)和f_b(x)的参数，并通过计算如下一组深度哈希函数h(x；W)能够得到K比特的哈希码：

h(x；W)＝[h₁(x；w₁)，h₂(x；w₂)，...，h_K(x；w_K)]， (2)

h_K(x；w_K)为第K个深度哈希函数；w_K为第K个深度哈希函数的哈希编码层的权值，W＝[w₁，w₂，...，w_K]是一组深度哈希函数的权值，为了保证检索速度，哈希码的比特数K的取值为1≤K≤256；

步骤S2，根据图像的多标签信息，构建出图像间的语义相似度排序；

给定训练集中的一个样本做为查询样本q，数据库样本x与查询样本q的语义相似度等级r可以根据二者的相同标签个数计算得到。

如果数据库样本x的标签与查询样本q完全相同，那么数据库样本x与查询样本q的语义相似度等级数据库样本x与查询样本q的语义相似程度最高，表示查询样本q的标签集合，表示集合中标签的个数。

相应的，如果数据库样本x有任意个标签与查询样本q相同，则数据库样本x与查询样本q语义相似度等级数据库样本x与查询样本q的语义相似程度次之。

以此类推，最后如果数据库样本x没有与查询样本q相同的标签，数据库样本x与查询样本q语义相似度等级r＝0，数据库样本x与查询样本q的语义视为不相似。

于是，按照这种语义相似度等级对数据库样本x进行排序，我们就能够得到一个关于查询样本q的语义排序列表。

步骤S3，以一种基于三元组的代理排序损失函数作为实际的模型目标函数，并使用随机梯度下降法和反向传播算法来优化深度哈希函数；

为了避免对排序评价标准的直接优化，使用更容易优化的代理排序损失函数作为学习过程中实际要最小化的模型目标函数。给定查询样本q、相应的排序列表和语义相似度等级r，我们可以在一组三元哈希码组上定义一种代理排序损失函数表示如下：

其中，h(q)为查询样本q的哈希码，h(x_i)和h(x_j)为数据库样本x_i和x_j的哈希码，r_i和r_j表示数据库样本x_i和x_j分别与的查询样本q的相似度等级，M是排序列表的长度；[.]₊＝max(0，.)表示取该值与0相比较大的那个值；δd_H(·)表示两个样本对的汉明距离之差，即表示为δd_H(h(q)，h(x_i)，h(x_j))＝d_H(h(q)，h(x_i))-d_H(h(q)，h(x_j))；d_H(.，.)表示样本对的汉明距离，即为查询样本q和数据库样本x的汉明距离；ρ是间隔参数，用于控制两个查询样本对(q，x_i)和(q，x_j)的汉明距离间应该满足的最小间隔；ω是自适应权重，可由下式给出：

其中，Z是定义归一化常量。

给定训练集并令训练集中的所有样本分别做为查询样本q，我们希望学习深度哈希函数来优化关于查询样本q的排序。基于代理排序损失公式2和深度哈希函数公式1，模型目标函数可以由带正则项约束的经验损失给出：

其中W＝[w₁，w₂，...，w_K]是一组深度哈希函数的权值，是公式3中的排序代理损失，h(.；W)是公式2中的深度哈希函数，α和β是正则项系数，表示在数据集中的查询样本的每一个比特上求均值，是平衡性惩罚项，用于使哈希码的每一比特在整个训练集上的均值保持在0左右，使得学习过程的收敛更加稳定。是权值衰减项，用于惩罚过大的权值。由于公式1中非光滑的符号函数，不能直接对模型目标函数公式4进行优化。为了处理这个问题，我们将深度哈希函数h(x；w)近似为：

h(x；w)＝2σ(w^T[f_a(x)；f_b(x)])-1 (6)

其中，σ(.)＝1/(1+exp(-.))是逻辑斯谛函数。为了方便模型目标函数梯度的计算，我们把汉明距离重写为内积的形式：

其中，K是哈希码的比特数。

最后，我们使用随机梯度下降法来最小化模型目标函数公式5。可以看到，代理排序损失函数公式3实际上是一系列加权的三元函数之和。对于任意一个三元函数(q，x_i，x_j)，如果

则目标函数对于哈希码的导数分别为：

其中，h(.；W)是深度哈希函数，“mean”表示在小批量样本(mini-batch)上的均值，N_q表示一个小批量样本的样本量。这些导数可以通过反向传播算法传递到下层的CNN模型来更新其每一层的参数。

步骤S4，用步骤S3学习到的深度哈希函数计算图像的哈希码；

如图2所示，输入图像首先被去中心化并缩放至固定的224*224像素，然后经过5层卷积层和2层全连接层得到一个深度特征表达向量，最后输入至哈希编码层，根据公式1和公式2得到哈希码。

步骤S5，计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离，并根据汉明距离进行图像检索，得到与测试图像相似的图像；其中，汉明距离越小表明两个图像之间的相似度就越大。

为了详细说明本发明的具体实施方式，接下来以某多标签图像数据集为例对于本发明方法进行进一步的说明。所述图像数据集包含269,648张图片，总共有81个语义概念用于标注图片，包括不同的场景和目标，如天空、夜幕、食物以及树木等。在使用本发明方法进行图像检索时，按照以下步骤进行：

步骤S0，将所述多标签图像数据集中的随机5000张图像做为测试用的查询样本，剩下的图像作为测试集，用于训练和检索；

步骤S1，按照图2所示构建深度哈希函数。

步骤S2，根据图像间共有的标签个数计算语义相似度等级r，从而得到关于查询样本的语义相似度排序；

步骤S3，以一种基于三元组的代理排序损失做为实际的模型目标函数，使用随机梯度下降法和反向传播算法，根据目标函数对于哈希码的导数公式8最小化模型目标函数公式5来学习深度哈希函数公式1，得到深度哈希函数；

步骤S4，用步骤S3得到的深度哈希函数分别计算训练和测试图像的64比特哈希码；

步骤S5，计算测试图像的64比特哈希码与训练集中每一个图像的64比特哈希码之间的汉明距离，并根据汉明距离进行图像检索，得到与测试图像相似的图像列表。

本发明在检索结果的排序质量上要优于目前最好的哈希方法。图3给出了一些检索示例，其中第1列是查询图像，其它列是其相应的检索结果。可以看到，检索结果中排序靠前的图像与查询图像有着更多相同的标签。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种利用基于深度语义排序哈希编码的图像检索方法，其特征在于，该方法包括以下步骤：

步骤S0：将多标签图像数据集中的部分图像作为训练集，剩下的图像作为图像测试集；

步骤S1：使用深度卷积神经网络构建深度哈希函数；

步骤S2：根据图像的多标签信息，构建出图像间的语义相似度排序；

步骤S3：以基于三元组的代理排序损失函数做为实际的模型目标函数，并使用随机梯度下降法和反向传播算法来优化深度哈希函数；

步骤S4：用步骤S3学习到的深度哈希函数计算图像的哈希码；

步骤S5：计算测试图像的哈希码与训练集中每一个图像的哈希码之间的汉明距离，并根据汉明距离来检索图像。

2.根据权利要求1所述的方法，其特征在于，所述深度哈希函数为多层的深度哈希函数，多层的深度哈希函数包含一个七层深度卷积神经网络，以及一个哈希编码层。

3.根据权利要求1所述的方法，其特征在于，所述深度哈希函数为一个深度哈希函数时h(x；w)的定义如下：

h(x；w)＝sign(w^T[f_a(x)；f_b(x)]) (1)

其中，sign(.)为符号函数，x为数据库样本，w表示哈希编码层的权值，T表示转置，f_a(x)和f_b(x)分别表示来自于第一个全连接层和第二个全连接层的特征向量。

4.根据权利要求1所述的方法，其特征在于，利用一组所述深度哈希函数h(x；W)，获得K比特的哈希码，所述一组深度哈希函数h(x；W)表示如下：

h(x；W)＝[h₁(x；w₁)，h₂(x；w₂)，..，h_K(x；W_K)]， (2)

其中，h_K(x；w_K)为第K个深度哈希函数；w_K为第K个深度哈希函数的哈希编码层的权值，W＝[w₁，w₂，...，w_K]是一组深度哈希函数的权值，为了保证检索速度，哈希码的比特数K的取值为1≤K≤256。

5.根据权利要求1所述的方法，其特征在于，按照所述语义相似度的等级对数据库样本x进行排序，获得一个关于查询样本q的语义排序列表。

6.根据权利要求1所述的方法，其特征在于，使用三元组的代理排序损失函数作为学习过程中实际要最小化的图像目标函数，用于避免对排序评价标准的直接优化；在一组三元哈希码组上定义所述代理排序损失函数表示如下：

其中h(q)为查询样本q的哈希码，h(x_i)和h(x_j)为数据库样本x_i和x_j的哈希码，r_i和r_j表示数据库样本x_i和x_j分别与的查询样本q的相似度等级，M是排序列表的长度，[.]₊＝max(0，.)表示取该值与0相比较大的那个值；δd_H(·)表示两个样本对的汉明距离之差，即表示为δd_H(h(q)，h(x_i)，h(x_i))＝d_H(h(q)，h(x_i))-d_H(h(q)，h(x_i))；d_H(.，.)表示样本对的汉明距离，即为查询样本q和数据库样本x的汉明距离；ρ是间隔参数，用于控制两个查询样本对(q，x_i)和(q，x_j)的汉明距离间应该满足的最小间隔；ω是自适应权重由下式给出：

其中，Z是定义归一化常量。

7.根据权利要求6所述的方法，其特征在于，给定训练集并令训练集中的所有样本分别做为查询样本q，学习深度哈希函数来优化关于查询样本q的排序；基于代理排序损失函数和深度哈希函数，模型目标函数由带正则项约束的经验损失给出：

其中，W＝[w₁，w₂，..，w_K]是一组深度哈希函数的权值，是排序代理损失，h(.；W)是公式(2)中的深度哈希函数，α和β是正则项系数，表示在数据集中的查询样本的每一个比特上求均值，是平衡性惩罚项，用于使哈希码的每一比特在整个训练集上的均值保持在0左右，使得学习过程的收敛更加稳定；是权值衰减项，用于惩罚过大的权值。