CN104035949B - 一种基于局部敏感哈希改进算法的相似性数据检索方法 - Google Patents

Abstract

本发明提供一种基于局部敏感哈希改进算法的相似性数据检索方法，首先对数据对象进行特征提取，将每一个数据对象使用其特征集合表示，基于向量空间模型把每一个数据对象转换为特征空间的向量；然后使用一组哈希函数，建立多个哈希表，将所有的数据对象映射到相应的哈希桶中；接着对于查询对象，随机选择一个哈希表进行映射，对于与查询对象在同一哈希桶的数据对象，以同样方式利用剩余的哈希表进行映射，并将所有与这些对象在同一哈希桶中的对象合并成为查询候选集；最后将查询对象与查询候选集中的数据对象进行真实距离的计算，从而得到最邻近对象。本发明在保持准确率和召回率的前提下减少了传统局部敏感哈希的内存需求，适合于处理大量的高维数据的相似性检索。

Description

一种基于局部敏感哈希改进算法的相似性数据检索方法

技术领域

本发明涉及相似性搜索技术领域，设计一种基于局部敏感哈希改进算法的相似性数据检索方法。

背景技术

数据的相似性研究是计算机科学中一个重要的基础性课题，在很多情况下，我们需要从海量数据对象集合中快速而准确地找出与给定数据相似的那些数据对象，这一过程称之为相似性搜索。相似性搜索被广泛应用于信息检索、数据挖掘、机器学习、信号处理等领域。目前广泛采用的检索算法主要是基于空间划分的算法，多表现为树形结构，例如R-tree，Kd-tree和SR-tree等。这种树形索引算法在处理低维数据空间上的相似性查询表现优异，但是当维数升高时，这些方法的性能会退化到线性查找的程度，也就是常说的“维度灾害”。LSH(Locality Sensitive Hashing)算法为解决这种“维度灾难”问题提供了一条有效途径，可用来解决主存储器中高维特征的相似性搜索问题。

LSH作为一种有效的近似最近邻查询技术，它把高维向量的相似性计算问题转换到低维的海明空间，并且在低维空间保证数据之间的相似性，其实质是一种数据降维操作。其过程主要分为两个过程：过滤和查询。过滤即选用一组特定的哈希函数，把具有相同特性的数据以特定的概率投影到同一个集合中，即保证数据的相似度越高，投影到相同集合中的概率就越大，从而实现了过滤掉非相似数据集，得到了近乎全部候选数据集合的目的。查询即将待查询的对象通过相同的哈希函数将其投影到对应的集合中，然后在所投影的集合中计算待查询对象与改集合中数据对象之间距离或者是相似程度，从而返回查询的结果。

根据LSH函数族的种类可以将LSH分为：基于比特取样的LSH、基于最小独立置换的LSH、基于随机投影的LSH、基于Lattice的LSH以及基于P稳定分布的LSH，其中基于P稳定分布的LSH被广泛应用。由于LSH在高维数据空间的优异性能，其被广泛应用于数据库、信息检索等领域。王洪峰提出了基于局部敏感哈希的网络视频重复检测方法，成功检索出与查询镜头想匹配的所有镜头，得到查询视频的重复或者近似重复的视频集。赵永威利用LSH构建了视觉词典，提取了查询目标与图像数据库的SIFT特征，利用LSH进行映射，实现特征点与视觉单词的匹配，生成视觉词典组。

LSH被提出之后得到了广泛的关注，并被成功用于许多应用中。但是LSH本身依然存在不少问题，比如为了获得较好的查询效果，需要大量的哈希表，进而消耗大量的内存空间。

发明内容

本发明所要解决的技术问题是针对传统的局部敏感哈希算法为了要得到更加准确的查询 结果，需要大量哈希表的问题，提出一种基于随机策略的基于局部敏感哈希改进算法的相似性数据检索方法，利用由待查询对象随机选择哈希表的方法，减少需要存储的哈希表的个数，不仅可以较为精确地查找与待查询对象的最近邻对象，而且扩展了局部敏感哈希可以处理的数据集的大小。

本发明为解决上述技术问题采用以下技术方案：

一种基于局部敏感哈希改进算法的相似性数据检索方法，包含以下步骤：

步骤1)，对需要处理的数据集合进行特征提取，得到预处理之后的数据集；

步骤2)，将得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合；

步骤3)，根据数据集特征以及所需的准确率和召回率来确定哈希表个数并根据局部敏感哈希函数族构建个哈希表；

步骤4)，将数据向量集合中的每一个对象分别通过个哈希表进行映射，映射到相应的哈希桶中；

步骤5)，将待查询对象以向量形式表示，从个哈希表中任意选取一个哈希表进行映射，得到与待查询对象处于同一哈希桶的其他对象的集合；

步骤6)，对于步骤5)中得到的对象的集合的每一个对象，在其余的哈希表分别进行查找，得到与这些对象处于同一哈希桶的其他对象的集合；

步骤7)，将步骤5)和步骤6)得到的对象的集合融合形成最终的候选对象集合；

步骤8)，计算候选对象集合中每一个对象与待查询对象之间的真实距离，并根据真实距离进行升序排序，得到最相似的对象。

作为本发明一种基于局部敏感哈希改进算法的相似性数据检索方法进一步的优化方案，步骤3)中所述构建个哈希表的步骤如下：

步骤301)，根据实际采用的距离函数，选取局部敏感哈希函数族n≥1，其中为局部敏感哈希族，h_i表示该哈希函数族所包含的哈希函数，i＝1，2，...，n；

步骤302)，根据所需的准确率和召回率来选取参数k，在哈希函数族的基础上，对数据集中的点进行哈希，构造新的函数族使得距离近的点冲突的概率远大于距离远的点冲突的概率，m≥1，其中每一个函数h′_i由k个中的函数h₁，h₂，…，h_k构成，即h′_i＝{h_i1，h_i2，...，h_ik}，i＝1，2，...，m；

步骤303)，从函数族中，根据数据集特征以及所需的准确率和召回率选取个函数组成函数族G，其中每个哈希函数对应一个哈希表，形成个哈希表。

作为本发明一种基于局部敏感哈希改进算法的相似性数据检索方法进一步的优化方案， 步骤5)采用随机数方法来实现所述从个哈希表中任意选取一个哈希表进行映射。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明针对局部敏感哈希算法进行改进，基于随机策略的局部敏感哈希方法，能够较快、较准的查询到与待查询对象最近邻的对象。该方法首先根据不同的数据类型对数据对象进行特征提取，其次在减少了哈希表个数的同时保证了查询对象的多样性，最大化涵盖了与待查询对象相似的所有对象，从而提升了相似性检索的查询效益。相对于传统的局部敏感哈希算法，能够处理维度更大，个数更多的数据集合，特别适合高维度稀疏数据的相似性检索。

附图说明

图1是本发明的流程图；

图2是本发明构建哈希表的流程图；

图3是本发明哈希表的构建过程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明公开了一种基于局部敏感哈希改进算法的相似性数据检索方法，包含以下步骤：

步骤10，将需要处理的数据集合按照不同的数据类型提取出数据的属性特征；

步骤20，根据向量空间模型将数据均表示为向量形式，得到数据对象向量集合S＝{s₁，s₂，...，s_n}，每一个s_i均是d维向量s_i＝(s_i1，s_i2，...，s_id)；

步骤30，根据数据集特征以及所需的准确率和召回率来选取适当的参数其中是哈希表的个数，根据局部敏感哈希函数族构建个哈希表在这里分别取值

步骤40，将数据向量集合S中的每一个对象分别通过个哈希表进行映射，映射到相应的哈希桶中，记录下每个数据对象在每一个哈希表中对应的哈希桶索引编号，以这种形式表示(ID，，BucketID)，ID表示数据对象序号，表示哈希表编号，BucketID表示数据对象ID在哈希表编号为的情况下对应的哈希桶编号BucketID；

步骤50，将待查询对象q，同样以向量形式表示，从个哈希表中利用随机函数任意选取一个哈希表进行映射，得到与待查询对象处于同一哈希桶的其他对象X_i＝(x_i1，x_i2，...，x_im)，i代表随机选择的哈希表编号；

步骤60，对与待查询对象冲突的其他数据对象集合X_i＝(x_i1，x_i2，...，x_im)的每一个对象x_ir通过其他个哈希表(哈希表编号不等于i)进行查找，得到与这些对象处于同一哈希桶的对象集合其中X_j≠X_i

步骤70，将步骤50和步骤60得到的对象集合X和X_i融合形成最终的候选对象集合CandidateSet。

步骤80，计算待查询对象与候选对象CandidateSet的真实距离，升序排序得到最邻近对象或前K个邻近对象，这里K的值根据用户需要指定。

如图2所示，构建哈希表的流程如下：

步骤301，根据实际采用的距离函数，选取合适的局部敏感哈希函数族(n≥1)，其中为局部敏感哈希族，h_i(i＝1，2，...，n)表示该哈希函数族所包含的哈希函数。

步骤302，根据所需的准确率和召回率来选取参数k，这里取值k＝10，在哈希函数族的基础上，构造新的函数族 (m≥1)，其中每一个函数h′_i(i＝1，2，...，m)由k个中的函数h₁，h₂，…，h_k构成，即h′_i＝{h_i1，h_i2，...，h_ik}。任意两个数据对象x和y经过h′映射后，h′_i(x)＝h′_i(y)当且仅当至少有一个h_ij(x)＝h_ij(y)，i＝1，2，...，m，j＝1，2，...，k。这里能够选择的局部敏感哈希族是有限制的，它们均是在下面的原则上构建的：对数据集中的点进行哈希，使得距离近的点冲突的概率远大于距离远的点冲突的概率。常用的四种典型的局部敏感哈希函数族分别是：基于海明距离的局部敏感哈希函数族、基于Jaccard参数的局部敏感哈希函数族、Arccos局部敏感哈希函数族和基于稳态分布的局部敏感哈希函数族。例如对于稳态分布的局部敏感哈希函数族中的每个哈希函数定义为：

其中a是一个满足p稳态分布的随机向量，b是一个实数，满足b∈[0，W]。每一个哈希函数h_a，b：R^d→Z将一个d维向量映射成一个整数。

步骤303，根据数据集特征以及所需的准确率和召回率，从函数族中选取个函数组成函数族其中每个哈希函数g_i 对应一个哈希表，形成个哈希表，如图3所示。对于S中的向量v和任一个函数g_i∈Gg_i(v)＝<h_i1(v)，h_i2(v)，...，h_ik(v)>，其中h_ij∈H(1≤j≤k)。这里通过对k个哈希函数 值的连接构成哈希的键，即key＝h_i1(v)Λh_i2(v)Λ...Λh_ik(v)，这里用符号Λ表示哈希关键字的连接操作。连接即是对k个哈希函数值通过某种运算操作，构造一个整数值，使得不同的哈希函数值连接之后的值不同，例如MD5算法。

以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并非用以限定本发明的范围，任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (3)

1.一种基于局部敏感哈希改进算法的相似性数据检索方法，其特征在于包含以下步骤：

步骤1)，对需要处理的数据集合进行特征提取，得到预处理之后的数据集；

步骤2)，将得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合；

步骤3)，根据数据集特征以及所需的准确率和召回率来确定哈希表个数并根据局部敏感哈希函数族构建个哈希表；

步骤4)，将数据向量集合中的每一个对象分别通过个哈希表进行映射，映射到相应的哈希桶中；

步骤5)，将待查询对象以向量形式表示，从个哈希表中任意选取一个哈希表进行映射，得到与待查询对象处于同一哈希桶的其他对象的集合；

步骤6)，对于步骤5)中得到的对象的集合的每一个对象，在其余的哈希表分别进行查找，得到与这些对象处于同一哈希桶的其他对象的集合；

步骤7)，将步骤5)和步骤6)得到的对象的集合融合形成最终的候选对象集合；

步骤8)，计算候选对象集合中每一个对象与待查询对象之间的真实距离，并根据真实距离进行升序排序，得到最相似的对象。

2.根据权利要求1所述的基于局部敏感哈希改进算法的相似性数据检索方法，其特征在于，步骤3)中所述构建个哈希表的步骤如下：

步骤301)，根据实际采用的距离函数，选取局部敏感哈希函数族n≥1，其中为局部敏感哈希族，h_i表示该哈希函数族所包含的哈希函数，i＝1，2，...，n；

步骤302)，根据所需的准确率和召回率来选取参数k，在哈希函数族的基础上，对数据集中的点进行哈希，构造新的函数族使得距离近的点冲突的概率远大于距离远的点冲突的概率，m≥1，其中每一个函数h′_i由k个中的函数h₁，h₂，…，h_k构成，即h′_i＝{h_i1，h_i2，...，h_ik}，i＝1，2，...，m；

步骤303)，从函数族中，根据数据集特征以及所需的准确率和召回率选取个函数组成函数族G，其中每个哈希函数对应一个哈希表，形成个哈希表。

3.根据权利要求1所述的基于局部敏感哈希改进算法的相似性数据检索方法，其特征在于，步骤5)中采用随机数方法来实现所述从个哈希表中任意选取一个哈希表进行映射。