CN110309333B - 一种基于余弦度量的深度哈希图像检索方法 - Google Patents

Abstract

本发明提出了一种基于余弦度量的深度哈希图像检索方法。面对互联网上庞大的图片数据，为了满足用户的需求，找到一种快速且准确的图像检索方法成为了一个亟待解决的问题。基于余弦度量可以有效减少矢量长度的多样性进而提升检索性能，同时在损失函数中引入类别信息，它与余弦度量约束相结合，有助于共同学习同一网络中的相似性保持，也能充分利用分类信息。采用该方案可以有效的实现大规模图像检索，并且经过实验证明，本方案的性能优于目前现有的图像检索方法，具有很重要的应用价值。

Description

一种基于余弦度量的深度哈希图像检索方法

技术领域

本发明涉及图像检索领域，具体涉及于一种基于余弦度量的深度哈希图像检索方法。

背景技术

近年来，随着网络多媒体数据爆发式增长，每天都有数十万张图像上传到互联网，面对如此大规模的多媒体数据，想要根据不同的用户需求去在海量图片中检索相关图像变得极为困难。因此，基于内容的图像检索在商业应用和学术领域越来越受到人们的关注。假设数据库中的图像和查询图像都是由实值特征表示，那么最简单的检索相关图像的方法是根据特征空间中数据库图像与查询图像的逐一距离度量来对数据库中的图像进行排序，然后返回距离最小的图像结果。然而，对于如今很常见的具有数百万图像的数据库，采用此种方法会花费大量的时间和内存，并不能满足用户的实时要求。

为了保证检索质量和计算效率的平衡，近似最近邻搜索(ANN：approximatednearest neighbor search)受到了越来越多的学者关注，其被证明足以用于许多实际问题，因此吸引了大量的研究工作。而哈希技术作为ANN的分支，其目标是把高维数据编码成紧凑的二进制数据的同时保持高维数据和二进制数据度量结构的相似性。由于其计算效率高和存储空间小的优点而被广大ANN研究者所关注。目前哈希算法主要分为：无监督哈希方法和有监督哈希方法。

无监督哈希方法是不需要任何训练数据来学习哈希函数或哈希编码。其中代表性的有：局部敏感性哈希(LSH)、谱哈希(SH)、迭代量化哈希(ITQ)等，这些方法由于没有利用任何训练数据样本，因此没有利用任何语义信息，所以很难达到令人满意的检索性能。而有监督哈希方法在训练过程中利用监督信息来直接引导哈希函数学习，因为利用了语义信息，所以在实际应用过程中，有监督哈希方法表现出更加优异的性能，传统有监督哈希比较有代表性的方法有：基于核函数的监督哈希(KSH)、最小损失哈希(MLH)、潜在因子哈希(LFH)等。

虽然很多传统有监督哈希方法已经在检索性能上取得了不错的进展，但是随着近年来深度学习的迅速发展，深度哈希方法在很多基准测试中表现出更优异的性能，这是由于相比于传统哈希方法使用手工制作特征，深度哈希通过卷积神经网络(CNN)提取出了更加准确的特征。同时深度哈希能够端对端的同时进行特征学习和哈希码学习，而传统哈希方法分离了这两个过程，导致两者并不能达到最优兼容。因此深度哈希方法在许多基准测试上取得了很出色的表现，这得益于其良好的学习非线性哈希函数的能力。目前比较具有代表性的深度哈希方法有:深度监督哈希(DSH)、深度量化网络哈希(DQN)、深度监督离散哈希(DSDH)和深度离散监督哈希(DDSH)等。然而这些方法在将高维数据映射到二进制数据时，扭曲了原始的特征分布并且损失了两者之间的相似性，同时目前大多数的深度哈希方法都采用汉明距离和内积的方式提升性能，其在联合学习保持相似性上还是有很大损失。

发明内容

为了有效的解决现有深度哈希方法存在的问题，本发明提供了一种基于余弦度量的深度哈希图像检索方法，该方法提出了一种余弦度量约束下的深度哈希框架来实现图像检索，本发明可以在同一个网络下保持联合学习的相似性并充分利用分类信息使得具有良好的检索性能。

本发明的具体步骤如下：

步骤一：对于数据集中的图像，随机选取一部分作为训练集，再从剩余数据中选出一部分作为测试集，最后剩余的部分作为数据库集。

步骤二：构建一个用于学习哈希函数的深度学习网络，对所构建的网络进行参数初始化，同时使模型在训练集上训练得到训练后的深度哈希网络模型，本发明的哈希函数学习的损失函数为：

其中，ν是惩罚参数(即超参数)，λ是权衡参数，假设

为训练数据集中有n图像样本点，C是二值码长度(C-bit)。哈希的目的就是通过学习哈希函数h(x_i)∈{-1，1}^C把图像样本映射到一组二进制码

并保持语义相似性，其中b_i表示为x_i的第i个图像样本点的二进制码，且b_i＝h(x_i)。

对于训练集给出的语义标签信息，则可以得到成对标签信息矩阵S＝{s_ij}，s_ij∈{0,1}，其中s_ij＝0，意味着两张图像样本x_i和x_j在语义上不同，而s_ij＝1则意味着x_i和x_j在语义上相同。

对于单标签训练集给出的标签信息

其中y_i∈{0，1}^k是对应于样本x_i的真实标签向量。当y_ki＝1时，x_i属于第k类否则不属于。若是多标签训练集，一个样本可能会有属于多个类别属性。

针对最后的u_i(i＝1，2，…，n)是CNN网络最后一层的输出，它可以表示为：

其中，

表示为权重矩阵，l表示网络最后一个全连接层之前一层的输出维度，

表示CNN-F网络最后一个全连接层之前的前一层参数，

表示与x_i有关的最后一个全连接层的输出，

是一个偏置向量。损失函数中最后一项的目的是通过惩罚参数ν使得u_i接近b_i，用b_i直接进行分类，完成语义特征度量和线性分类在同一个流框架下。理论上，ν足够大的情况下，u_i可以无限的接近b_i。

步骤三：在本模型中，需要反向传播学习的参数有损失函数中的u_i，W和b_i，而u_i中又有P，Φ和ξ。采用交替最小化方法对损失函数进行迭代求解，即通过优化一个参数的同时固定其他参数，进而得到所需要的哈希函数。

步骤四：按照交叉验证的原则调整学习率，阈值m和超参数λ的数值，按照调整后的参数值重复步骤三训练网络进而得到最终的哈希函数。网络训练完成后，将最后一层具有C个神经元的全连接层实数值量化成离散的哈希码。

步骤五：通过之前迭代训练得到的哈希函数来计算整个数据库集的哈希码。对于测试集，计算测试集中的图像的哈希码与数据库集中图像哈希码的汉明距离，通过距离度量来判断测试集与数据库集中图片的相似性，返回相似度高的图像。

1.一种基于余弦度量的深度哈希图像检索方法，其特征在于包括以下步骤：

(1)对数据集中的图片进行处理，得到训练集、测试集和数据库集；

(2)构建用于学习哈希函数的深度学习网络并进行参数初始化；

(3)利用训练集训练网络，并采用交替最小化的方法学习损失函数中的学习参数，

(4)采用交叉验证的方法确定损失函数中超参数的数值进而得到最终的哈希函数；

(5)计算测试集中与数据库集中图像哈希码的汉明距离，通过距离度量来判断测试集与数据库集中图片的相似性，返回相似度高的图像，实现大规模的图像检索。

步骤(1)中，数据集处理的具体方法为：选择图像数据集，对于其中的图像，随机选取一部分作为训练集，再从剩余数据中选出一部分作为测试集，最后剩余的部分作为数据库集。

步骤(2)中，所述深度哈希网络的结构为：

卷积层1：卷积核64*11*11，卷积步长4*4

卷积层2：卷积核256*5*5，卷积步长1*1

卷积层3：卷积核256*3*3，卷积步长1*1

卷积层4：卷积核256*3*3，卷积步长1*1

卷积层5：卷积核256*3*3，卷积步长1*1

全连接层1：输出4096

全连接层2：输出4096

全连接层3：输出C

其中C为二值码的长度，常将其设置为12,24,32,48比特；

所述参数初始化具体为：采用ImageNet数据库上预训练的VGG-16模型中的参数对本深度哈希网络的前7层进行参数初始化，深度哈希网络中的全连接层8的参数按照均值为0方差为0.01的高斯分布进行随机初始化。

步骤(3)中，所述损失函数具体为：

假设

为训练数据集中有n图像样本点，C是二值码长度(C-bit)；哈希的目的就是通过学习哈希函数h(x_i)∈{-1，1}^C把图像样本映射到一组二进制代码

并保持语义相似性，其中b_i表示为x_i的第i个图像样本点的二进制代码，且b_i＝h(x_i)；同理b_j表示为x_j的第j个图像样本点的二进制代码，且b_j＝h(x_j)；

对于训练集给出的语义标签信息，则得到成对标签信息矩阵S＝{s_ij}，s_ij∈{0,1}，其中s_ij＝0，意味着两张图像样本x_i和x_j在语义上不同，而s_ij＝1则意味着x_i和x_j在语义上相同，而

m∈[-1,1]是边际阈值参数；从损失函数的前两项可知：当s_ij＝1，损失函数的第二项为0，第一项发挥作用，即惩罚那些语义相似样本图像映射到不同二值码，使得它们距离拉近；而当s_ij＝0时，损失函数的第一项为0，第二项发挥作用，即在两张图像样本的二进制码b_i和b_j的余弦距离cos(b_i，b_j)加上边界阈值参数m的值大于0时，惩罚b_i和b_j映射到相近二值码的语义不相似样本图像；

针对损失函数中的第三项和第四项，其目的是采用线性分类的方法来学习二值码和标签信息；其中y_i∈{0,1}是对应于样本x_i的真实标签向量；W为分类权重矩阵，W^T为其转置矩阵，||·||₂为/₂向量范数；||·||_F为矩阵的Frobenius范数，λ和μ均为超参数；

针对损失函数中的最后一项，其目的是实现语义特征度量和所述损失函数中的三四项的线性分类方法在同一个框架下；其中ν是惩罚参数，u_i(i＝1，2，…，n)是CNN网络最后一层的输出，它表示为：

其中，P表示为权重矩阵，

表示CNN-F网络最后一个全连接层之前的前一层参数，

表示与x_i有关的最后一个全连接层的输出，ξ是一个偏置向量；

所述交替最小化具体方法为：通过优化一个参数的同时固定其他参数，进而得到所需要的哈希函数；

所述需要学习的参数有u_i，W和b_i，而u_i中又有P，Φ和ξ，具体固定方法为采用交替最小化的方法，使网络在设定的最大周期范围内训练，选出训练结束后检索平均精度均值最高的参数固定，最大周期的设置范围为50—100。

步骤(4)中，所述交叉验证的具体方法为：对于训练集再次进行切分，得到训练集以及验证集；通过训练集训练得到的模型，在验证集验证，从而确定超参数；

所述需要调整的超参数有学习率，边界阈值m，超参数λ，μ和ν；其中学习率的设置范围为10^-1到10^-3,阈值m的调整范围为[-0.1,-0.2,0,0.1,0.2,0.3,0.4,0.5]，超参数λ，μ和ν的调整范围为[10,1,0.1,0.01,0.001]，确定这三个超参数的原则是：采用交叉验证的原则，在设定的范围内选出检索平均精度均值最高的参数为最终参数。

步骤(5)中，所述哈希码采用如下方法得到：网络训练完成后，将最后一层具有C个神经元的全连接层经过sgn()函数，目的是将实数值量化成离散的哈希码，sgn()函数如下所示：

与现有技术相比，本发明具有如下优点：

通过本发明提出的方案，提出了一种具有余弦度量约束的深度哈希算法，有效减少了矢量长度的多样性，同时本发明在损失函数中引入类别信息，它与余弦度量约束相结合。有助于共同学习同一网络中的相似性保持，同时也能充分利用分类信息，进一步提升了图像检索性能。

附图说明

图1为损失函数设计流程图；

图2为图像检索流程示意图。

具体实施方式

本发明提出了一种基于余弦度量的深度哈希图像检索方法。该发明的具体实现步骤如下：

步骤一：选择图像数据集，对于其中的图像，随机选取一部分作为测试集，再从剩余数据中选出一部分作为测试集，最后剩余的部分作为数据库集。

步骤二：构建一个用于学习哈希函数的深度学习网络，本发明采用CNN-F网络结构作为图像特征学习的基本部分，其中把CNN-F最后一层替换为具有C个神经元的全连接层，以便倒数第二层的输出映射到汉明空间。同时本发明采用孪生网络来学习哈希函数，即用两个CNN-F学习哈希函数，它们具有共享权重和同样的网络结构。而成对样本图像作为这两个网络的输入。具体的模型参数配置见表1：

表1：深度哈希网络的配置与参数

其中“filter”指定卷积滤波器的数量及其感知字段大小，表示为“num x size xsize”；“stride”表示卷积步长，即将滤波器应用于输入的间隔；“pad”表示要添加到输入的每一维的像素数；“LRN”表示是否应用了局部响应归一化；“pool”表示下采样因子。“4096”和“C”表示全连接层的节点数目。

本发明采用ImageNet数据库上预训练的VGG-16模型中的参数对本深度哈希网络的前7层进行参数初始化，深度哈希网络中的全连接层8的参数按照均值为0方差为0.01的高斯分布进行随机初始化。然后使模型在训练集上训练得到训练后的深度哈希网络模型。

本发明的损失函数设计过程如下：

对于训练集给出的语义标签信息，则可以得到成对标签信息矩阵S＝{s_ij}，s_ij∈{0，1}，其中s_ij＝0，意味着两张图像样本x_i和x_j在语义上不同，而s_ij＝1则意味着x_i和x_j在语义上相同。

对于单标签训练集给出的标签信息

其中y_i∈{0,1}^k是对应于样本x_i的真实标签向量。当y_ki＝1时，x_i属于第k类否则不属于。若是多标签训练集，一个样本可能会有属于多个类别属性。

为了有效地减轻矢量长度的多样性，即在把高维数据编码成二进制数据的同时继续保持度量结构相似性，我们采用余弦距离来度量。度量的目的是相似图像样本所得的二值码距离应尽可能的接近，而不同图像样本的二值码距离较远。基于该目的，余弦度量应该将语义相似的图像样本编码到一起，并将不同语义图像样本编码成较远距离。公式如(1-1)所示：

其中，

m∈[-1,1]是边际阈值参数。从公式(1)可知：当s_ij＝1，惩罚那些语义相似样本图像映射到不同二值码，使得它们距离拉近。而当s_ij＝0时，惩罚当它们余弦距离低于边界阈值m时，映射到相近二值码的语义不相似样本图像。

对于二值码b_i和b_j，汉明距离和它们内积的关系如公式所示：

其中dist_H为汉明距离。因为||b_i||||b_j||＝C，所以

汉明距离和余弦距离的关系可近似如公式(1-2)所示：

为了充分的利用标签信息，本文采用线性分类方法来学习二值码和标签信息。公式如(1-3)所示。

其中，

是分类权重矩阵，

是真实标签矩阵，F(·)是loss函数，α是正则化参数。结合公式(1-1)和公式(1-3)并对线性分类采用L2loss，则可以得到如下公式：

其中，λ是权衡参数，μ＝αλ。由于公式(1-4)的最小化是一个离散优化问题，该问题很难解决。所以把公式(1-4)等效为如下所示：

为了优化公式(1-5)中的问题，采用正则化方法来解决：

其中，ν是惩罚参数(即超参数)，u_i(i＝1,2,…,n)是CNN网络最后一层的输出，它可以表示为：

其中，

表示为权重矩阵，l表示网络最后一个全连接层之前一层的输出维度，

表示CNN-F网络最后一个全连接层之前的前一层参数，

表示与x_i有关的最后一个全连接层的输出，

是一个偏置向量。损失函数中最后一项的目的是通过惩罚参数ν使得u_i接近b_i，用b_i直接进行分类，完成语义特征度量和线性分类在同一个流框架下。理论上，ν足够大的情况下，u_i可以无限的接近b_i。

综上所述，本发明的损失函数即为公式(1-6)，整体的设计流程如图1所示。

步骤三：将训练用的图片做归一化处理，将归一化后的图片以图片对的形式输入到网络，在本模型中，需要反向传播优化的参数有损失函数中的u_i，W和b_i，而u_i中又有P，Φ和ξ。采用交替最小化方法对损失函数进行迭代求解，即通过优化一个参数的同时固定其他参数，进而得到所需要的哈希函数。

第一步对u_i进行优化并固定W和b_i，对公式(1-6)第一项求导可得：

(1-8)第二项求导可得：

(1-9)其中，

t＝cos(u_i，u_j)>mor cos(u_j，u_i)>m

剩余项求导可得：

这时，利用反向传播更新P，Φ和ξ等参数，可得

步骤四：按照交叉验证的原则调整学习率，阈值m和超参数λ的数值进而得到最终的哈希函数，建议将学习率范围设置为-1到-2，阈值m为0，超参数λ为0.1。对于交叉验证，其方法为对于训练集再次进行切分，得到训练集以及验证集。通过训练集训练得到的模型，在验证集验证，从而确定超参数。网络训练完成后，将最后一层具有C个神经元的全连接层经过sgn()函数，目的是将实数值量化成离散的哈希码，sgn()函数如公式1-12所示。

步骤五：通过之前迭代训练得到的哈希函数来计算整个数据库集的哈希码。对于测试集，计算测试集中的图像的哈希码与数据库集中图像哈希码的汉明距离，通过距离度量来判断测试集与数据库集中图片的相似性，返回相似度高的图像。完整的图像检索流程如图2所示。

为了验证本发明的有效性，将本发明的算法在单标签数据集CIFAR-10和多标签数据集NUS-WIDE进行了实验。

针对CIFAR-10数据库，首先对整个数据集随机选取1000张(每类100张图像)作为查询集，其次把剩余59000张图像作为图像检索数据库，最后对数据库随机选取5000张(每类500张图像)作为训练集。针对NUS-WIDE数据集，首先对整个数据集随机选取2100张(每类100张图像)作为查询集，然后把剩余数据作为图像检索数据库，最后对数据库随机选取10500张(每类500张图像)作为训练集。表2和表3展示了本发明的算法与现有的图像检索算法精度的对比，可以看到本算法优于目前现有的图像检索算法。

表2：CIFAR-10数据集上的性能对比

表3：NUS-WIDE数据集上的性能对比

Claims (5)

1.一种基于余弦度量的深度哈希图像检索方法，其特征在于包括以下步骤：

(1)对数据集中的图片进行处理，得到训练集、测试集和数据库集；

(2)构建用于学习哈希函数的深度学习网络并进行参数初始化；

(3)利用训练集训练网络，并采用交替最小化的方法，学习损失函数中的学习参数；

(4)采用交叉验证的方法确定损失函数中超参数的数值进而得到最终的哈希函数；

(5)计算测试集中与数据库集中图像哈希码的汉明距离，通过距离度量来判断测试集与数据库集中图片的相似性，返回相似度高的图像，实现大规模的图像检索；

步骤(3)中，所述损失函数具体为：

假设

为训练数据集中有n图像样本点，C是二值码长度(C-bit)；哈希的目的就是通过学习哈希函数h(x_i)∈{-1，1}^C把图像样本映射到一组二进制代码

并保持语义相似性，其中b_i表示为x_i的第i个图像样本点的二进制代码，且b_i＝h(x_i)；同理b_j表示为x_j的第j个图像样本点的二进制代码，且b_j＝h(x_j)；

对于训练集给出的语义标签信息，则得到成对标签信息矩阵S＝{s_ij}，s_ij∈{0，1}，其中s_ij＝0，意味着两张图像样本x_i和x_j在语义上不同，而s_ij＝1则意味着x_i和x_j在语义上相同，而

m∈[-1，1]是边际阈值参数；从损失函数的前两项可知：当s_ij＝1，损失函数的第二项为0，第一项发挥作用，即惩罚那些语义相似样本图像映射到不同二值码，使得它们距离拉近；而当s_ij＝0时，损失函数的第一项为0，第二项发挥作用，即在两张图像样本的二进制码b_i和b_j的余弦距离cos(b_i，b_j)加上边界阈值参数m的值大于0时，惩罚b_i和b_j映射到相近二值码的语义不相似样本图像；

针对损失函数中的第三项和第四项，其目的是采用线性分类的方法来学习二值码和标签信息；其中y_i∈{0，1}是对应于样本x_i的真实标签向量；W为分类权重矩阵，W^T为其转置矩阵，‖·‖₂为l₂向量范数；‖·‖_F为矩阵的Frobenius范数，λ和μ均为超参数；

针对损失函数中的最后一项，其目的是实现语义特征度量和所述损失函数中的三四项的线性分类方法在同一个框架下；其中ν是惩罚参数，u_i(i＝1,2,…,n)是CNN网络最后一层的输出，它表示为：

其中，P表示为权重矩阵，

表示CNN-F网络最后一个全连接层之前的前一层参数，

表示与x_i有关的最后一个全连接层的输出，ξ是一个偏置向量；

所述交替最小化具体方法为：通过优化一个参数的同时固定其他参数，进而得到所需要的哈希函数；

需要学习的参数有u_i，W和b_i，而u_i中又有P，Φ和ξ，具体固定方法为采用交替最小化的方法，使网络在设定的最大周期范围内训练，选出训练结束后检索平均精度均值最高的参数固定，最大周期的设置范围为50—100。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，数据集处理的具体方法为：选择图像数据集，对于其中的图像，随机选取一部分作为训练集，再从剩余数据中选出一部分作为测试集，最后剩余的部分作为数据库集。

3.根据权利要求1所述的方法，其特征在于步骤(2)中，所述深度哈希网络的结构为：

卷积层1：卷积核64*11*11，卷积步长4*4

卷积层2：卷积核256*5*5，卷积步长1*1

卷积层3：卷积核256*3*3，卷积步长1*1

卷积层4：卷积核256*3*3，卷积步长1*1

卷积层5：卷积核256*3*3，卷积步长1*1

全连接层1：输出4096

全连接层2：输出4096

全连接层3：输出C

其中C为二值码的长度，常将其设置为12,24,32,48比特；

所述参数初始化具体为：采用ImageNet数据库上预训练的VGG-16模型中的参数对本深度哈希网络的前7层进行参数初始化，深度哈希网络中的全连接层8的参数按照均值为0方差为0.01的高斯分布进行随机初始化。

4.根据权利要求1所述的方法，其特征在于步骤(4)中，所述交叉验证的具体方法为：对于训练集再次进行切分，得到训练集以及验证集；通过训练集训练得到的模型，在验证集验证，从而确定超参数；

需要调整的超参数有学习率，边界阈值m，超参数λ，μ和ν；其中学习率的设置范围为10^-1到10^-3,阈值m的调整范围为[-0.1，-0.2，0，0.1，0.2，0.3，0.4，0.5]，超参数λ，μ和ν的调整范围为[10，1，0.1，0.01，0.001]，确定这三个超参数的原则是：采用交叉验证的原则，在设定的范围内选出检索平均精度均值最高的参数为最终参数。

5.根据权利要求1所述的方法，其特征在于步骤(5)中，所述哈希码采用如下方法得到：网络训练完成后，将最后一层具有C个神经元的全连接层经过sgn()函数，目的是将实数值量化成离散的哈希码，sgn()函数如下所示：

Images