CN111177432A - 一种基于分层深度哈希的大规模图像检索方法 - Google Patents

Abstract

本发明公开的一种基于分层深度哈希的大规模图像检索方法，包括：构建分层哈希网络模型，利用高级语义信息标注的标签，逐级优化生成的分层哈希层输出值，利用反向传播算法训练分层哈希网络模型，得到训练好的分层哈希网络模型；将图像输入至训练好的分层哈希网络模型，将各个哈希层输出的数值二值化得到分层哈希值；对提取的分层哈希值建立树状索引；对待检索的图像使用神经网络提取查询图像的哈希值，利用距离度量法在树状索引中逐级搜索在给定阈值距离范围内的索引分枝和相关图像，按照给定比例过滤超出给定阈值距离范围的哈希值。本发明可以快速地在图像库中搜索出相似图像，提高了图像检索系统的响应速度。

Description

一种基于分层深度哈希的大规模图像检索方法

技术领域

本发明属于数字图像检索技术领域，涉及一种基于分层深度哈希的大规模图像检索方法。

背景技术

视频图像是人们获取客观世界信息的重要途径，基于内容的图像检索，可以通过图像的内容来检索与之相似的图像。然而大型图像视频库中，由于图像规模的巨大，导致获取到相似内容的图像视频的速度缓慢，给图像检索技术的应用带来了极大困难。

基于内容的图像检索是信息检索和计算机视觉领域的重要课题之一，基于内容的图像检索技术可以从图像视频库中检索出内容相似的图像和视频。图像可以用特征向量来衡量相似度，利用特征提取器，将图像转换为特征向量。对于特征提取器，需要满足，对于相似内容图像的特征，拥有距离较近的特征向量，距离度量方法可以用欧式距离、汉明距离、余弦距离等。

相似向量的搜索，对图像提取的特征通常是维度很高的信息，由于采用距离度量的方法，对其直接度量相似度会导致速度较慢，因此大多采用启发式搜索算法，或称近似最近邻(Approximate Nearest Neighbor)搜索算法寻找相似向量，具体类别有哈希、量化、图搜索等方法。

特征向量的提取方法主要有以下三种:1.基于局部描述子的方法,例如SIFT描述子由于对单张图像生成的SIFT描述子数量不定，较少用于做检索；2.基于全局描述子的方法，通过局部描述子的融合或者直接提取的全局描述子，比如有Fisher、Gist等方法在基于神经网络算法在今年取得突破之前是常用的方法；3.基于卷积神经网络的方法。

基于卷积神经网络可以提取高级的描述子，与较低级特征相比含有更多语义信息，而且具有对尺度、光照、旋转等不变性，拥有更强的鲁棒性。在实际使用中效果更好。

由于特征向量具有高维度、稀疏的特点，直接搜索其最近邻的向量效率不高。所以通常是通过近似最近邻搜索的方法得到其较为相似的特征向量，近似最近邻的方法主要可以分为三种：1.以局部敏感哈希(Locality Sensitive Hashing)为代表的与数据无关算法。2.以乘积量化算法(ProductiveQuantization)为代表的无监督的与数据相关的算法3.以卷积神经网络深度哈希(Deep Hashing)为代表的与数据相关的有监督算法。

对于目前检索准确度效果出众的深度哈希算法，使用卷积神经网络，从图像提取特征向量的同时生成了图像的索引。

卷积神经网络提取的特征向量比其他低级描述子提供了更富含高级语义的信息，利用卷积神经网络可以较其他方法更多的在语义层次上做相似索引。

通过在CNN网络中添加隐含层，通过Fine-tune网络训练，对图像提取特征向量并直接生成二值化哈希码，用于图像检索。将向量提取和检索两个子问题合二为一。为了有效利用众多人工提取的标注信息，深度哈希算法可以利用监督学习，通过图像标签信息，对输入网络的相似图像和不相似图像分别计算哈希并分别哈希值距离，并加入到损失函数中，通过反向传播网络权重。从而通过监督，学习到对图像相似或不相似的信息。

但是目前深度哈希的结构采用单层结构，采用线性的索引与搜索方法，对于大规模图像数据集的检索效率不够高。深度哈希算法使用了深度卷积神经网络提取图像特征，然后对提取的特征向量做压缩、降维和二值化生成一个二值向量。对这个二值向量比较相似度可以衡量图像之间的相似度。而每次查询相似图像的时候，需要对每个特征向量做比对，如果图像数据库的规模为N，则查询一张图像的算法复杂度为O(N)，因此其性能随着数据集的扩大不断变差。对于规模较大的数据库，例如100万量级的图像数据库，目前对图像检索的时间比对图像处理生成哈希值的时间相比慢上千倍。因此，现有深度哈希的检索算法在搜索速度上难以取得令人满意的效果。

因此，提供一种有效提高图像搜索准确性和效率的基于分层深度哈希的大规模图像检索方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明针对现有去哈希算法中速度慢、准确度低的问题，本发明提出一种基于深度哈希的分层检索算法。提出了分层哈希网络，通过对特征向量分段，将检索过程分为几个依次进行的子过程，逐级查询缩小检索范围。通过对标签的监督信息，学习相似哈希，同时通过多级损失函数的设计，拟合多级索引。从而减少运算量，加快检索速度。

为实现上述目的其具体方案如下：

一种基于分层深度哈希的大规模图像检索方法，包括如下步骤：

S1、构建分层哈希网络模型，利用高级语义信息标注的标签，逐级优化生成的分层哈希层输出值，利用反向传播算法训练分层哈希网络模型并不断优化，得到训练好的分层哈希网络模型；

S2、将图像库的图像输入至训练好的分层哈希网络模型，将各个哈希层输出的数值二值化得到分层哈希值；

S3、对提取的分层哈希值建立树状索引；

S4、对待检索的图像输入至训练好的分层哈希网络模型提取查询图像的哈希值，利用距离度量法在所述树状索引中逐级搜索在给定阈值距离范围内的索引分枝和相关图像，在搜索过程中，按照给定比例过滤超出给定阈值距离范围的哈希值。

优选的，所述S1中构建的分层哈希网络模型包括两部分，第一部分是使用预训练的深度卷积神经网络对输入的图像提取图像特征，其中，预训练的深度卷积神经网络作为预图像分类网络，拆除预图像分类网络最后的分类全连接层，剩下的前段网络用作特征提取器进行图像特征提取；第二部分是在特征提取器后添加的分层训练的哈希层。

优选的，所述训练好的分层哈希网络模型中不同哈希层具有不同长度的分层哈希值。分层哈希网络由不同长度的哈希值组合对于同一组图像数据，可以用不同网络生成多个不同长度的哈希值，也可以由同一网络同时训练生成不同长度的哈希值。

对于以上方法生成的哈希值，由于多个不同哈希值之间相互独立，较长长度的哈希里已经包含了较短长度的哈希信息，所以通过去除冗余信息可以减少哈希向量的长度，可以通过设计损失函数实现这一功能。

具体流程如下：

1)在图像、标签数据库随机选取相似样本对和不相似样本对。

2)输入预训练的CNN模型中，前向传播，得到原始的特征向量

3)对特征向量后，经过全连接层计算各级哈希值，并通过是否相似的标签信息得到损失函数。

4)对损失函数前向传播，更新网络权重。

优选的，所述S3中，

按照层次化的分层哈希值建立树状索引，包括高级索引和低级索引，先按照高级索引对哈希值进行分类，高级哈希值下还具有若干低级索引，若干低级索引中重复按照高级索引对哈希值分类，直到最后只剩下一级索引，最后存储为一个列表，列表中的每一项是一个同时记录了图像文件路径或ID与低级索引的二元组。

树状索引的高度为分层哈希层的数量，每层下的分叉数量取决于哈希值长度，对于每层的节点，若其哈希值长度为N，那么其树节点的分叉数量最大2^N。

优选的，所述S4中对树状索引的分层过滤搜索过程，通过对高级索引的比对，过滤掉超出给定阈值距离范围的分支结果，从而减少搜索需遍历的索引结构数量，从而加快搜索过程。

本发明相较现有技术具有以下有益效果：

本发明考虑到深度哈希算法搜索需要对整个索引结构遍历导致速度偏慢，设计出基于深度卷积神经网络的分层哈希学习网络，使用分层哈希网络对训练的图片库拟合，提取出分层训练的哈希值。通过对分层哈希值建立树状索引，在搜索过程可以利用高级哈希值的比对，剪去部分无需继续搜索的分支，从而极大的加速了搜索过程，保证了基于内容的图像搜索问题的准确性和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明提供的基于分层深度哈希的大规模图像检索方法总体流程图；

图2是本发明实施例的卷积神经网络模型分层哈希部分；

图3是本发明实施例的索引结构示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对深度哈希图像检索方法速度慢的问题，提出一种基于深度哈希的分层检索方法，使用分层哈希网络对训练的图片库拟合，提取出分层训练的哈希值。通过对分层哈希值建立树状索引，在搜索过程可以利用高级哈希值的比对，剪去部分无需继续搜索的分支，从而极大的加速了搜索过程，保证了基于内容的图像搜索问题的准确性和效率。

本发明实施例的整体流程如图1，分层哈希神经网络的训练、图像库哈希提取、树状哈希索引的建立、查询图像的检索4个步骤。

本发明提供一种基于分层深度哈希的大规模图像检索方法，具体步骤包括：

S1：使用需要检索的带标签的图像库训练分层哈希网络；

具体地，分层哈希网络由两部分构成，第一部分是使用预训练的深度卷积神经网络提取图像特征，即使用已经训练的图像分类网络，拆除最后的分类全连接层剩下的前段网络用作特征提取器。第二部分是在特征提取器后添加的分层训练的哈希层，分层训练的哈希层层数和长度由用户指定，这两个参数需要由预期的图像检索质量和速度决定。规模越大的图像库可以使用更深的层数，精度要求越高的应用可以使用更长的哈希层。这两部分组成分别起了图像特征提取和哈希训练的功能。

我们的分层哈希网络使用图像的标签信息监督哈希层的训练，主要是对分层训练哈希层的学习，对特征提取器只做微调。我们设计损失函数，对相似标签的图像，度量哈希层数值的距离，距离越远则损失函数越大，而对标签不相似的图像，度量哈希层数值的距离，距离越近则损失函数数值越大。得到损失函数值之后，对神经网络计算梯度并做反向传播，不断从而优化神经网络的效果。对于不同级别的神经网络，先训练高级的哈希层，然后训练较低级的哈希层，在训练高级哈希层之后冻结此层和之前的网络结构。

分层哈希的具体网络连接方式如图2所示，是一个示例的三级分层哈希网络，其中feature层表示从预训练的深度卷积神经网络提取的图像特征向量，HashLayer1，2，3分别表示由高到低的三级哈希层，分别有8、16、48比特的长度，层之间的连接方式由箭头所示，训练时，先对HashLayer1做训练，其输入为feature层提取的特征，在这一层达到最优效果后，固定HashLayer1层与之前的网络结构，不再进行优化。然后训练HashLayer2，其输入为feature层和HashLayer1层的拼接。HashLayer3层的训练同理。计算损失函数的时候，使用pairwise loss来对距离做优化。

S2：对待搜索的图像库提取哈希值；

具体地，对所有需要入库的图像，输入到训练好的分层哈希网络，输出是各个哈希层的数值。对这些哈希层的数值做二值化为01向量。

S3：对提取出的哈希值建立树状哈希索引；

对于有多层次的分层哈希算法，可以先按照最高级的哈希值分类，不同哈希值的向量放在不同的存储位置，相同的哈希值放在相近的位置，

如果只有两级索引，经过高级索引后，剩下的索引就只有一级，可以存储为一个列表，列表中的每一项是一个同时记录了图像文件路径或ID与低级索引的二元组。如果索引有三级或更多，那么在上面的步骤后，每个高级哈希值下还有两级或更多级索引，需要继续按照较高级哈希值分类，直到最后只剩下一级索引，最后存储为一个列表列表中的每一项是个同时记录了图像文件路径或ID与低级索引的二元组。

按照这种方法生成的索引，应为树状结构，其树的高度为分层哈希的分段数量，分叉数量取决于哈希长度，对于每层的节点，若其哈希值长度为N，那么其树节点的分叉数量最大2^N。

如图3，是一个示例的三级分层哈希建立的树状索引，数据库为一颗树状结构，分别由H-1、H-2……等第一级哈希，与H-2-1、H-2-2……等第二级哈希，以及H-2-1-1、H2-2-1等哈希-图片路径对。

S4:通过分层检索，搜索出相关图像。

如图3，是一个示例的三级分层哈希建立的树状索引，对图像库和查询图像生成了三段的分层哈希索引，在查询时，先度量查询索引和数据库中所有高级索引的汉明距离，然后排序并过滤出相关的条目，具体过滤比例可以由用户指定，其大小会影响检索过程的速度和精度。然后只对第一级索引距离相近的的向量做进一步查询，如图中和查询向量一级索引Level1相似的索引是H-2、H-4，而且他索引被忽略。然后进一步只对第一级索引为H-2、H-4的二级索引H-2-1、H-2-2……H-2-N和H-4-1、H-4-2……H-4-3等索引计算汉明距离，计算的距离需要对将上层的高级索引的哈希值拼接起来，并重新排序与选择。此时度量距离应该是计算[level1,level]和[H-2,H2-1]，[H-2,H2-2]……[H-2,H-2-N]等的汉明距离。筛选出H-2-1、H-2-2、H-4-1、H-4-3四个相似向量。最后对他们的第三级索引比对相似度，这个过程也需要拼接高级索引计算汉明距离。筛选出最相似的三级索引H-2-1-3、H-4-1-1、H-4-1-2、H-4-3-1并得到它们的对应的图片1、图片2、图片3、图片4。如果每一级索引只选取前10％的相似向量做比对，则一共比对向量的次数只有之前的约(10％)³。大大减少了计算量，可以显著提升速度。

对于分段检索算法可以选择调整分段数量(N)、分段长度(K)两个参数来调节算法。N越大，对检索的加速越明显，但是可能会精度下降。在实际应用时需要选取合适的参数。

通过控制不同层数的分层过滤比例，可以取舍搜索的速度和准确度这两个参数。

以上对本发明所提供的一种基于分层深度哈希的大规模图像检索方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (5)

1.一种基于分层深度哈希的大规模图像检索方法，其特征在于，包括如下步骤：

S1、构建分层哈希网络模型，利用高级语义信息标注的标签，逐级优化生成的分层哈希层输出值，利用反向传播算法训练分层哈希网络模型并不断优化，得到训练好的分层哈希网络模型；

S2、将图像库的图像输入至训练好的分层哈希网络模型，将各个哈希层输出的数值二值化得到分层哈希值；

S3、对提取的分层哈希值建立树状索引；

S4、对待检索的图像输入至训练好的分层哈希网络模型提取查询图像的哈希值，利用距离度量法在所述树状索引中逐级搜索在给定阈值距离范围内的索引分枝和相关图像，在搜索过程中，按照给定比例过滤超出给定阈值距离范围的哈希值。

2.根据权利要求1所述的一种基于分层深度哈希的大规模图像检索方法，其特征在于，所述S1中构建的分层哈希网络模型包括两部分，第一部分是使用预训练的深度卷积神经网络对输入的图像提取图像特征，其中，预训练的深度卷积神经网络作为预图像分类网络，拆除预图像分类网络最后的分类全连接层，剩下的前段网络用作特征提取器进行图像特征提取；第二部分是在特征提取器后添加的分层训练的哈希层。

3.根据权利要求1所述的一种基于分层深度哈希的大规模图像检索方法，其特征在于，所述训练好的分层哈希网络模型中不同哈希层具有不同长度的分层哈希值。

4.根据权利要求1所述的一种基于分层深度哈希的大规模图像检索方法，其特征在于，所述S3中，按照分层哈希值建立树状索引，包括高级索引和低级索引，先按照高级哈希值对哈希值进行分类，高级哈希值下还具有若干低级索引，若干低级索引中重复按照高级索引对哈希值分类，直到最后只剩下一级索引，最后存储为一个列表，列表中的每一项是一个同时记录了图像文件路径或ID与低级索引的二元组。

树状索引的高度为分层哈希层的数量，每层下的分叉数量取决于哈希值长度，对于每层的节点，若其哈希值长度为N，那么其树节点的分叉数量最大2^N。

5.根据权利要求4所述的一种基于分层深度哈希的大规模图像检索方法，其特征在于，所述S4中对树状索引的分层过滤搜索过程，通过对高级索引的比对，过滤掉超出给定阈值距离范围的分支结果。

Images