CN111611413B - 基于度量学习的深度哈希方法 - Google Patents

Abstract

基于度量学习的深度哈希方法，涉及计算机视觉和图像处理领域，解决现有深度哈希方法的对比损失函数只能使得相同类别的图像在量化前的特征向量尽可能接近，但并不能鼓励其符号相同；使不同类别图像的量化前的值尽可能远离，但并不能鼓励其符号相反；最终导致量化后的哈希码鉴别力差，造成误判等问题，本发明构建哈希对比损失函数，对于量化前的实数值特征向量进行符号位的约束，使得量化前的实数值特征向量在经过符号函数量化后，得到的代表图像的哈希编码更加的准确，通过f_sim(f_i·f_j)和f_diff(f_i·f_j)两个控制函数，对符号进行约束；表达式中其他部分用于使相同类别图像的特征值接近，不同类别图像特征值远离。本发明方法有效的提高分类的精度，减少了误判率。

Description

基于度量学习的深度哈希方法

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及一种基于度量学习的深度哈希方法。

背景技术

随着信息时代的到来，信息技术和存储技术得到高速发展，每天都有海量的数据生成，其中图像数据的规模更是爆发性增长，大规模数据如果是用直接的相似性检索势必会导致极大的时间和空间的开销。同时，由于图像的结构比较复杂，特征的维度也较高，在大规模数据集中保证图像检索的检索精度和检索效率是急需攻克的难题。

深度哈希方法的主要流程：首先是基于卷积层、池化层等构建一个卷积神经网络用于对图像的特征提取，常用的特征提取网络(由浅至深)有Alexnet、VGG、ResNet等等。网络的输入是一张图像，经过特征提取网络后获得一组特征图，特征图经过一系列全连接层后训练成代表该图像的特征向量。最后，使用符号函数(sgn(·))将特征向量映射成为±1的哈希值。网络输入中，有的采取单图像的输入，但更多的是采用图像对(image pairwise)的方式输入到网络中。深度哈希方法一部分受限于特征提取网络的深度，这个决定了提取特征的好坏；更重要的是，深度哈希方法的准确度受量化过程(使用符号函数将特征向量映射成为哈希码)的影响较大，很多文章都是在这个地方做优化做改进，目的就是1、让量化前的特征向量和量化后的哈希值尽可能接近，即特征向量尽可能的接近于±1，能避免太多的特征丢失；2、让相同类别的特征向量，能在每一位都能都特别接近；3、让不同类别的特征向量，能在尽可能多的位上的值，都相差很远。

现有用于快速图像检索的深度监督哈希法(Deep supervised hashing for fastimage retrieval，以下简称DSH)：DSH发表在CVPR2016上，是深度哈希方法发展过程中极为重要的一个进步。DSH提出了有监督的哈希方法，在输入时利用成对的图像输入网络进行训练，与此同时输入二者的标签关系，同类的两张图像：S＝1，不同类别的两张图像：S＝0。DSH还设计了一个对比损失函数，使用欧氏距离来计算两张图像的特征向量的距离，对比损失函数的目的是使同类图像特征之间的距离更小，不同类别图像特征之间的距离更大。DSH还设计了一个量化损失函数，使得图像的特征向量更接近于±1(二值化)，从而减少图像语义信息的丢失。最后通过符号函数对特征向量进行量化操作，得到哈希码，在之后的图像检索中，均使用哈希码去计算汉明距离来进行最近邻检索。总的来说，DSH的目的就是基于深度卷积神经网络学习到能表达图像特征的、且表达近似离散的特征向量，这样能在量化时保留更多的语义信息，且将同类和不同类别的图像更好的区分开。

现有的对比损失函数只能使得相同类别的图像在量化前的特征向量尽可能接近，但并不能鼓励其符号相同；只能使不同类别图像的量化前的值尽可能远离，但并不能鼓励其符号相反。由于最终进行图像检索时是根据量化后的哈希编码来判别的，对比损失极有可能让同类图像的部分比特位出现在0附近接近的情况，尤其是两个的特征值还是一正一负，分别位于0的两侧，经过符号函数量化后的值一个为+1，一个为-1，最终会造成量化后得到的哈希码的鉴别力下降，造成误判。

本发明基于度量学习的深度哈希方法能够有效地满足相同类别图像的值接近，不同类别图像的值远离这一基本需求的同时鼓励相同类别图像在量化后的符号相同，不同类别图像的符号相反，降低由于量化操作导致的哈希码鉴别力下降的影响，有效的提高分类的精度。

发明内容

本发明为解决现有深度哈希方法的对比损失函数只能使得相同类别的图像在量化前的特征向量尽可能接近，但并不能鼓励其符号相同；使不同类别图像的量化前的值尽可能远离，但并不能鼓励其符号相反；最终导致量化后的哈希码鉴别力差，造成误判等问题，提供一种基于度量学习的深度哈希方法。

基于度量学习的深度哈希方法，该方法由以下步骤实现：

步骤一、构建三元组形式的训练样本；

具体为：每次训练时，所述训练样本均由两张图像和所述两张图像之间的标签关系的三元组形式{X_i，X_j，S_ij}；其中，X_i和X_j表示两张图像，S_ij为两张图像X_i，X_j之间的标签关系，对所述三元组中的两张图像X_i，X_j进行缩放和裁剪操作，保证X_i，X_j有相同的图像尺寸；

步骤二、构建用于特征提取的深度卷积神经网络H；

去掉已有的深度卷积神经网络模型AlexNet末尾的损失层和分类层，构建一个由5层卷积层和3层全连接层的用于特征提取的深度卷积神经网络H；所述深度卷积神经网络H输出多维的实数类型的特征向量值；

对于最后一层全连接层，构建一个低维度的输出作为哈希全连接层，用于匹配需要进行的量化编码操作，即最终的输出神经元个数与哈希编码的位数相同；

步骤三、利用哈希对比损失函数和量化损失函数对深度卷积神经网络H进行训练和优化，获得训练好的深度卷积神经网络H；

将步骤一进行缩放和裁剪操作图像和标签关系一起输入到步骤二构建的深度卷积神经网络H中进行训练；采用哈希对比损失函数和量化损失函数对所述深度卷积神经网络H进行约束，优化两种损失函数时采用梯度回传的方式对卷积神经网络的参数进行更新；具体过程为：

三元组训练样本中的图像X_i，X_j经过深度卷积神经网络H后得到对应的实数值特征向量f_i，f_j，计算哈希对比损失函数和量化损失函数；向深度卷积神经网络H反向传播梯度来更新网络的参数，哈希对比损失函数的计算公式如下：

式中，f_sim(f_i·f_j)和f_diff(f_i·f_j)均为哈希对比损失中对符号进行控制的函数，f_i，f_j为X_i，X_j经过卷积神经网络后的实数值特征向量，m和m_diff均为阈值超参数；

步骤四、将测试图像和图库中图像输入训练好的深度卷积神经网络H网络，获得对应测试图像和图库中图像的哈希码；

步骤五、计算步骤四获得的测试图像的哈希码和图库中图像的哈希码之间的汉明距离，将汉明距离最小的图像作为最相似的图像。

本发有的有益效果：本发明所述的基于度量学习的深度哈希方法，通过增大类间距离并减小类内距离，使得相同类别图像之间的相似度尽可能大，而不同类别图像之间的相似度尽可能小，从而能够快速准确的进行图像检索。同时，基于度量学习的深度哈希方法能使量化前后的特征向量的每一位更加的接近，并且保证相同的符号，准确率得到进一步提升。

本发明提出的基于度量学习的方法，构建了哈希对比损失函数，对于量化前的实数值特征向量进行了符号位的约束，使得量化前的实数值特征向量在经过符号函数量化后，得到的代表图像的哈希编码更加的准确，更具有判别力。哈希对比损失函数设计中，分别对同类别的图像和不同类别的图像设计了不同的损失函数，通过f_sim(f_i·f_j)和f_diff(f_i·f_j)两个控制函数，对符号进行约束；表达式中其他部分用于使相同类别图像的特征值接近，不同类别图像特征值远离。

本发明主要基于度量学习的深度哈希方法，在设计损失函数方面，考虑了量化前实数值特征向量的符号约束问题，保障同类别图像之间生成哈希码的汉明距离尽可能的小，不同类别图像之间生成哈希码的汉明距离尽可能大于阈值；并且提出了哈希对比损失函数，通过设计不同的损失函数鼓励相同类别图形在经过量化以后符号相同，不同类别图像的符号相反，降低由于量化操作导致的哈希码鉴别力下降的影响，经过大量的实验证明，本发明方法有效的提高分类的精度，减少了误判率。

附图说明

图1为本发明所述的基于度量学习的深度哈希方法的原理框图；

图2为本发明所述的基于度量学习的深度哈希方法的流程图。

具体实施方式

结合图1和图2说明本实施方式，基于度量学习的深度哈希方法，该方法由以下步骤实现：

一、构建三元组形式的训练样本；

输入数据：每次训练的输入是两张图像和他们之间的标签关系的三元组形式：

{X_i，X_j，S_ij}

其中，X代表图像，S_ij代表图像X_i，X_j之间的标签关系，同类别为1，不同类别为0，即：

在输入进行特征提取的神经网络之前，需要对输入的三元组对中的X_i，X_j进行缩放(resize)和裁剪(crop)操作，保证X_i，X_j有相同的图像尺寸；将图像缩放到256像素×256像素然后随机裁剪227像素×227像素的内容区域。

二、构建深度神经网络；

参考已有的深度卷积网络AlexNet，去掉最末尾的损失层和分类层，构建一个用于特征提取的卷积神经网络结构H，H由5层卷积层和3层全连接层构成，最后能输出多维的实数类型的特征向量值。对于最后一层的全连接层，需要构建一个低维度的输出作为哈希全连接层(Hash Full Connection layer，HFC)，匹配后面需要进行的量化编码操作，即最终的输出神经元个数与哈希编码的位数相同。

三、将图像对进行缩放(resize)和裁剪(crop)操作后和标签关系一起输入到深度卷积神经网络H中进行训练。训练过程中使用哈希对比损失函数和量化损失函数对模型进行约束，优化两种损失函数时采用梯度回传的方式对深度卷积神经网络H的参数进行更新。具体为：

三元组训练样本的图像X_i，X_j经过深度卷积神经网络H后得到对应的实数值特征向量f_i，f_j，计算哈希对比损失和量化损失，向深度卷积神经网络H反向传播梯度来更新网络的参数，哈希对比损失函数的计算公式如下：

其中，f_i，f_j是X_i，X_j经过卷积神经网络后的实数值特征向量，可以表示为：

f_i＝(z_i1，z_i2，…，z_in)

其中，z为实数值特征向量每一个维度的实数值，实数值特征向量的维度为n。

对于相同类别的图像哈希对比损失是上面一行的结果，他由两部分组成。

的目的是约束同类别的两张图像的n维实数值特征向量的值尽可能接近，即实数值特征向量每一个维度的实数值z特别接近。f_sim(f_i·f_j)是哈希对比损失中对符号进行控制的函数，输入是实数值特征向量f_i，f_j对应位的乘积，即：

f_i·f_j＝(z_i1·z_j1，z_i2·z_j2，…，z_in·z_jn)＝(c₁，c₂，…c_n)

f_sim(f_i·f_j)主要解决的问题是：哈希方法最后使用sgn(·)函数对z进行量化操作最终得到哈希码，z的符号直接决定了最终生成的哈希码。但是，目前已有的深度哈希方法中都没有专门的损失函数对z的符号进行限定，这样会导致一些问题的出现：相同类别的两张图像X_i，X_j，我们希望他们量化后的汉明距离足够的小(汉明距离的为0是最好的情况)，但是

只是对量化前的实数值特征向量进行了约束，这样约束会出现一个极端情况：对于实数值特征向量中的任意一位(假如说是第k位，k∈{1，2，…，n})，

尽可能小且接近0了，但是z_ik和z_jk却分别位于原点的两侧，符号不同；最终实际上会使得两张图像的哈希码在更多的位上不一致，汉明距离变大，导致误判的概率增大。因此，f_sim(f_i·f_j)的主要目的是解决上述问题，f_sim(f_i·f_j)可以表示为：

设计的原因有以下几点：在c_i＜0时，z_ik和z_jk具有不同的符号，会导致最终的哈希码映射成为不同的值，不符合预期的要求，需要对这种情况增加惩罚；在c_i＝0时，z_ik和z_jk中必有一个为0，而z_ik和z_jk在接近零时量化操作有局限且函数非常不鲁棒，也需要添加惩罚；在0＜c_i＜1时，z_ik和z_jk具有相同的符号，最终会量化成为相同的哈希码，但是z_ik和z_jk两个的值仍至少有一个是接近于0的，在继续训练中仍然很容易改变他的符号，所以在0＜c_i＜1范围内也需要添加惩罚，使得哈希函数更加鲁棒；最后在c_i≥1时，满足需要不再添加损失，因此将损失设置为0。

对于不同类别图像的哈希对比损失是L_hash(X_i，X_j，S_ij)的下面一行的结果，也是由两部分组成：

和max(0，m_diff-f_diff(f_i·f_j))。前者主要是约束不同类别的两张图像的n维实数值特征向量的值差距尽可能大，这样量化后的哈希码的汉明距离也更大。f_diff(f_i·f_j)也是哈希对比损失中对符号进行控制的函数，主要解决的问题是出现z_ik和z_jk距离较远但是符号相同的情况，在

的约束下，只要

值大于了阈值m，就不再具有约束作用，但实际上z_ik和z_jk可能仍然处于相同的符号位置，最终量化得到的哈希码仍然会相同，导致不同类别的两张图像的汉明距离很接近。max(0，m_diff-f_diff(f_i·f_j))的主要目的是解决上述问题。其中f_diff(f_i·f_j)可以表示为：

设计的原因有以下几点：在c_i＞0时，z_ik和z_jk具有相同的符号，会导致最终的哈希码映射成为相同的值，不符合预期的要求，需要对这种情况增加惩罚；在c_i＝0时，z_ik和z_jk中必有一个为0，而z_ik和z_jk在接近零时量化操作有局限且函数非常不鲁棒，也需要添加惩罚；在-1＜c_i＜0时，z_ik和z_jk具有不同的符号，最终会量化成为不同的哈希码，但是z_ik和z_jk两个的值仍至少有一个是接近于0的，在继续训练中仍然很容易改变他的符号，所以在-1＜c_i＜0范围内也需要添加惩罚，使得哈希函数更加鲁棒；最后在c_i≤-1时，满足需要不再添加损失，因此将损失设置为0。

一般来说，不同的图像的哈希码不会要求所有位都全部不同，会设定一个阈值，在汉明距离大于这个阈值的时候会认为这两张图像的是不同类别的，反之是属于同一个类别的。因此，在对于不同类别的图像进行约束时，需要设定阈值，在达到阈值要求后不再进行惩罚，这里的m和m_diff就是在这种情况下设置的阈值。

除了哈希对比损失，还有就是量化损失，表达式如下：

其中，|·|为绝对值运算，1是一个向量，‖·‖₁是l1范数。由于实数值特征向量在经过符号函数量化后会直接编码为{+1,-1}，当实数值特征向量偏离±1较大的时候，经过量化后势必会造成较大的语义信息丢失，因此量化损失的目的就是让量化前的实数值特征向量尽可能的接近于±1，在量化后不会造成太大的语义信息损失。

三元组训练样本经过深度卷积神经网络H后得到图像X_i，X_j所对应的实数值特征向量f_i，f_j，对实数值特征向量进行量化编码任务时使用符号函数：

最后，将图库中的所有图像经过深度卷积神经网络H后对每一张图像的哈希码进行存储，查询的图像的哈希码与图库中图像的哈希码进行汉明距离计算，排序后查找到最相似的图像。

Claims (5)

1.基于度量学习的深度哈希方法，其特征是：该方法由以下步骤实现：

步骤一、构建三元组形式的训练样本；

具体为：每次训练时，所述训练样本均由两张图像和所述两张图像之间的标签关系的三元组形式{X_i，X_j，S_ij}；其中，X_i和X_j表示两张图像，S_ij为两张图像X_i，X_j之间的标签关系，对所述三元组中的两张图像X_i，X_j进行缩放和裁剪操作，保证X_i，X_j有相同的图像尺寸；

步骤二、构建用于特征提取的深度卷积神经网络H；

去掉已有的深度卷积神经网络模型AlexNet末尾的损失层和分类层，构建一个由5层卷积层和3层全连接层的用于特征提取的深度卷积神经网络H；所述深度卷积神经网络H输出多维的实数类型的特征向量值；

对于最后一层全连接层，构建一个低维度的输出作为哈希全连接层，用于匹配需要进行的量化编码操作，即最终的输出神经元个数与哈希编码的位数相同；

步骤三、利用哈希对比损失函数和量化损失函数对深度卷积神经网络H进行训练和优化，获得训练好的深度卷积神经网络H；

将步骤一进行缩放和裁剪操作图像和标签关系一起输入到步骤二构建的深度卷积神经网络H中进行训练；采用哈希对比损失函数和量化损失函数对所述深度卷积神经网络H进行约束，优化两种损失函数时采用梯度回传的方式对卷积神经网络的参数进行更新；具体过程为：

三元组训练样本中的图像X_i，X_j经过深度卷积神经网络H后得到对应的实数值特征向量f_i，f_j，计算哈希对比损失函数和量化损失函数；向深度卷积神经网络H反向传播梯度来更新网络的参数，哈希对比损失函数的计算公式如下：

式中，f_sim(f_i·f_j)和f_diff(f_i·f_j)均为哈希对比损失中对符号进行控制的函数，f_i，f_j为X_i，X_j经过卷积神经网络后的实数值特征向量，m和m_diff均为阈值超参数；

步骤四、将测试图像和图库中图像输入训练好的深度卷积神经网络H网络，获得对应测试图像和图库中图像的哈希码；

步骤五、计算步骤四获得的测试图像的哈希码和图库中图像的哈希码之间的汉明距离，将汉明距离最小的图像作为最相似的图像。

2.根据权利要求1所述的基于度量学习的深度哈希方法，其特征在于：步骤一中，当两张图像同类别时为1，不同类别时为0，即：

对每张图像均缩放到256×256像素，然后随机裁剪227×227像素的内容区域。

3.根据权利要求1所述的基于度量学习的深度哈希方法，其特征在于：步骤三中，所述f_i用下式表示为：

f_i＝(z_i1，z_i2，…，z_in)

式中，z为实数值特征向量每一个维度的实数值，实数值特征向量的维度为n；

哈希对比损失中对符号进行控制的函数f_sim(f_i·f_j)，输入的是实数值特征向量f_i，f_j对应位的乘积，即：

f_i·f_j＝(z_i1·z_j1，z_i2·z_j2，…，z_in·z_jn)＝(c₁，c₂，…c_n)

f_sim(f_i·f_j)用公式表示为：

所述f_diff(f_i·f_j)用公式表示为：

4.根据权利要求1所述的基于度量学习的深度哈希方法，其特征在于：步骤三中，所述量化损失函数的表达式如下：

式中，|·|为绝对值运算，1是一个向量，‖·‖₁是l1范数。

5.根据权利要求1所述的基于度量学习的深度哈希方法，其特征在于：所述三元组训练样本经过深度卷积神经网络H后，获得图像X_i，X_j所对应的实数值特征向量为f_i，f_j，对实数值特征向量进行量化编码时使用符号函数：

Images