CN105550368A - 一种高维数据的近似最近邻检索方法及检索系统 - Google Patents

Abstract

本发明公开一种高维数据的近似最近邻检索方法及检索系统，其中，方法包括：步骤1，建立初始化索引，以及高维数据库点集的最近邻表；步骤2，根据初始化索引，获得待检索数据点若干个最邻近点构成的初始候选点集；步骤3，构造临时点集，在最近邻表中查询初始候选点集中各数据点的若干个近邻点，并添加至临时点集中；步骤4，将临时点集中距离待检索数据点距离最小的若干个数据点作为新的候选点集；步骤5，将新的候选点集作为初始候选点集；重复步骤3～步骤5，直至候选点集中的数据点不再更新或者迭代次数达到预定值。利用本发明可以大大提高精度，候选最邻近点集具有指数级收敛速度，大大加快了检索速度，提高了高维数据最近邻点的检索效率。

Description

一种高维数据的近似最近邻检索方法及检索系统

技术领域

本发明涉及数据检索技术领域，具体涉及一种高维数据的近似最近邻检索方法及检索系统。

背景技术

近年来，最近邻检索技术在计算机视觉、文本和图像检索、数据聚类等需要处理大规模高维数据的领域中扮演着十分重要的角色。最近邻检索讨论的对象是大规模高维数据点，要求能快速地在这些数据点中找到距离某个检索点最近的若干数据点。

最近邻检索的最基本方法是线性扫描所有数据点与检索点的距离，并最终返回其中距离检索点最近的若干数据点。面对大规模高维数据，每一次计算两个数据点之间的原始度量都是非常耗费计算能力的过程，因而线性扫描的方法是十分低效、不切实际的。为了提高最近邻检索的效率，学者们提出了一些近似最近邻检索方法，这些检索方法的基本思路是通过牺牲一定精度，来提高检索效率。

常见的近似最近邻检索方法主要包括如下两类：

1)基于树结构的方法。首先对所有数据点进行分层次的划分，然后在检索时，从最高层的划分节点开始到最底层的划分节点进行比较和剪枝。经典的树结构有：KD树、R树和层次化Kmeans树等。

2)基于哈希的方法。首先用数据点来学习哈希函数，然后应用这些哈希函数将所有数据点编码成哈希编码来替代表示原来的高维数据内容，最后在最近邻检索时比较检索点和数据点在编码后的哈希编码之间的海明距离，选择其中海明距离最近的若干个点作为最终的最近邻点。为了进一步加速检索，可以使用哈希表来存储所有数据点；另一方面，为了提高检索精度，使用海明距离来选择最近邻点的候选点，然后再比较候选点和检索点之间的实际距离，并返回实际距离最近的若干候选点作为最近邻结果。

由于实际应用中数据的复杂性，在处理许多高维数据时，现有方法难以获得良好的效果。基于树结构的方法对高维数据进行最近邻检索时，面临着维度灾难带来的一些问题。而基于哈希的方法，若哈希编码较短，存在着精度低的问题；若哈希编码较长，则无法使用哈希表来剪枝检索。

发明内容

本发明提供了一种高维数据的近似最近邻检索方法，能够提高对高维数据进行最近邻检索时的效率。

一种高维数据的近似最近邻检索方法，包括：

步骤1，采用初始化检索方法对高维数据库点集，建立初始化索引，并建立所述高维数据库点集的最近邻表；

步骤2，根据初始化索引，获得待检索数据点在所述高维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

步骤3，构造临时点集，针对初始候选点集中的每个数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻点以及初始候选点添加至临时点集中；

步骤4，计算临时点集中所有数据点与待检索数据点的距离，将距离最小的若干个数据点作为新的候选点集；

步骤5，将新的候选点集作为初始候选点集；

步骤6，重复步骤3～步骤5，直至候选点集中的数据点不再更新或者迭代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点作为近似最近邻数据点进行。

步骤1中的初始化检索方法可以采用现有技术中的任意一种，作为优选，所述初始化检索方法为层次化Kmeans树算法、随机化KD树算法、局部敏感哈希算法、哈希算法中的一种。

本发明中输入为待检索点和高维数据库点集，输出为待检索数据点在高维数据库点集中最邻近点。

本发明还提供了一种高维数据的近似最近邻检索系统，包括：

初始化模块，用于采用初始化检索方法对高维数据库点集，建立初始化索引，并建立所述高维数据库点集的最近邻表；

初始化检索模块，用于根据初始化索引，获得待检索数据点在所述高维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

临时点集更新模块，用于构造临时点集，针对初始候选点集中的每个数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻点添加至临时点集中；

候选点集更新模块，用于计算临时点集中所有数据点与待检索数据点的距离，将距离最小的若干个数据点作为新的候选点集；

检索结果输出模块，用于将新的候选点集作为初始候选点集，依次调用临时点集更新模块和候选点集更新模块，直至候选点集中的数据点不再更新或者迭代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点作为近似最近邻数据点进行。

作为优选，所述初始化检索方法为层次化Kmeans树算法、随机化KD树算法、局部敏感哈希算法、其它各种增强版本哈希算法中的一种。

本发明提供的高维数据的近似最近邻检索方法通过初始化检索算法得到初始化候选点集，通过最近邻表扩展该初始化候选点集(将初始化候选点集中点的若干近邻点加入到候选点集中)；计算候选点集中各候选点与所述检索点的实际距离，根据与待检索点的距离从所述候选近邻点中得出更好的近邻候选点集，反复迭代得到所述检索点的最近邻点集。

利用本发明可以大大提高精度，候选最邻近点集具有指数级收敛速度，大大加快了检索速度，提高高维数据最近邻点的检索效率。

附图说明

图1为本发明高维数据的近似最近邻检索方法的流程示意图；

图2为k取值1时，通过本发明与其他传统方式得到的recall值和检索时间比较图；

图3为k取值50时，通过本发明与其他传统方式得到的与通过其他传统方式得到的recall值和检索时间比较图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，高维数据的近似最近邻检索方法包括离线阶段和在线检索阶段，在离线阶段，对高维数据库点集建立最邻近表，同时采用初始化检索方法对高维数据库点集建立初始化索引。在线检索阶段包括步骤S101至步骤S104如下：

S101，对待检索数据点调用初始化检索方法，利用已经建立好的高维数据库点集初始化索引，在高维数据库内查找待检索数据点对应的p个最近邻点，p个最近邻点构成初始候选点集，在后续步骤中对于初始候选点集进行进一步优化，p为预先设定值。

初始化检索方法可以采用现有技术中的各种检索方法，例如，层次化Kmeans树算法(hierarchicalKmeanstree)、随机化KD树算法(randomisedKD-tree)、局部敏感哈希算法(LocalitySensitiveHashing，LSH)以及各种增强版本哈希算法。

初始化检索的目的在于给出一个初步的检索结果，即使初始化检索的结果与最终所需要的检索结果相去甚远，也不影响本发明后续步骤的进行，以及最终输出理想的结果。

S102，对初始候选点集中的每个数据点，用建立好的最近邻表查找到每个数据点对应的m个最邻近点，将找到的m个最邻近点以及初始候选点全部添加到临时点集内，m为设定值。临时点集为后续步骤找到更优的最邻近点提供参考。

S103，计算临时点集内的每个数据点与待检索数据点的距离，并按照距离大小进行升序排序，得到的排序结果中，选取前p个点进行候选点集的更新。

得到的新的候选点集内的p个点将比原来的p个点从直观上离待检索数据点更接近，迭代进行S102到S103步骤，候选点集内的数据点会渐渐稳定，当候选点集内的数据点不再更新或达到迭代次数上限则停止迭代，迭代次数上限为预先设定值。

S104，选取候选点集内部的，到待检索点距离最小的前k个点作为输出结果，也就是检索得到的最邻近点集，k为预先设定值。

为了更直观的描述得到的待检索点的最近邻点的精确度，对所述精确度进行量化，具体地，采用平均召回率量描述所述最近邻点的准确度，平均召回率的计算公式如下：

$recall=\underset{i=1}{\overset{q}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}\frac{p_{i,j}}{kq}\×100\%$

其中，q为待检索点的数量，k为每个检索点的最近邻点的数量，recall为所述最近邻点的平均精度，p_i,j表示第i个待检索点的第j个最近邻点是否是准确的最近邻点，若是，p_i,j为1，若否，p_i,j为0。

由上述高维数据的近似最近邻检索方法可知，利用初始化索引得到初始化候选点集，通过最近邻表扩展该候选点集(将初始化候选点集中数据点的若干近邻点加入到候选点集中)，计算候选点集中各候选点与检索点的实际距离，根据与待检索点的距离从候选近邻点中得出更好的近邻候选点集，反复迭代得到检索点的最近邻点集。

本发明充分利用了最近邻表法的快速收敛特性，并利用初始候选点集提供了很好的初始参数，大大提高了高维数据最近邻点的检索效率。

以下为本发明高维数据的近似最近邻检索方法的一个较佳的实现方式，具体过程如下：

以GIST图像特征数据为例对本实现方式作进一步的详细说明，如表1的GIST数据集信息表。

表1

数据集	基础集数据点数目	测试集数据点数目	维度
				GIST	1000000	10000	960

离线阶段，使用GIST数据集中的测试集(不同于基础集的数据点)的10000个数据点作为检索点，基础集的1000000个数据点为数据库点集。

步骤a、在GIST数据库集中建立随机KD树作为初始化索引，假设使用的随机KD树的个数为4，最大检查叶子节点的个数为128；

步骤b、计算出GIST数据基础集中每个数据点在基础集中的e个最近邻点，假设e的取值为10，以基础集中各个数据点的ID及其10个最近邻点ID建立最近邻表T。

检索阶段，使用以下步骤获得与待检索点距离最近的若干候选近邻点：

步骤1、设输入为待检索点，输出为该检索点在数据库中的k个最邻近点组成的集合R，k为预先设定值；构建待检索点的候选近邻点集合C，设定候选近邻点集合C的初始状态为空集，最大集合大小为p；

步骤2、使用随机KD树算法，根据建立好的数据库点集的KD树索引，对待检索点进行一次检索，获得待检索数据点的p个最邻近点，放入候选近邻点集合C中，作为初始候选近邻点集；

步骤3、构建临时点集M，初始化临时点集M为空集合，用作容纳初始候选点集C中的数据点对应的所有候选近邻点；

步骤4、根据最近邻表T获得候选邻近点集C中每个数据点的m个近邻点，以及候选近邻点集合C中的所有数据点，共得到(m+1)＊p个点放入临时点集M中，m为设定值；

步骤5、计算临时点集M中每个数据点与对应的待检索点的距离，按照距离大小进行升序排序，得到距离最小的前p个点放入候选邻近点集C中替换之前的数据点，作为下一次迭代的新的候选邻近点集C；

步骤6、循环迭代执行步骤4至步骤5，直至达到设定的迭代次数，或者候选邻近点集C中的元素不再更新；

步骤7、将候选邻近点集C中与待检索点的距离最近的前k个点添加到集合R，得到待检索点的最近邻点集合。

采用平均召回率量计算k个最近邻点的准确度为：

$recall=\underset{i=1}{\overset{q}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}\frac{p_{i,j}}{kq}\×100\%$

其中，q为检索点的数量，取值为10000，k为每个检索点的最近邻点的数量，recall为最近邻点的平均精度，p_i,j表示第i个检索点的第j个最近邻点是否是准确的最近邻点，若是，p_i,j为1，若否，p_i,j为0。

根据上述公式，计算得到最近邻点检索结果的recall值和消耗时间。在同样的数据集下测试局部敏感哈希算法、随机KD树算法的检索结果的recall值和检索时间。统计在最近邻点的数量k＝1和k＝50的情况下，通过本实施例得到的检索结果的recall值和消耗时间、以及局部敏感哈希算法、随机KD树算法得到的检索结果的recall值和检索时间。

图2是k取值1时，本实施例与其他传统算法检索时的recall值和检索时间的比较，图3为k取值50时，本实施例与其他传统算法检索时的recall值和检索时间比较。由图2和图3可知，检索时间相同的情况下，本实施例得到的检索结果的recall值明显高于局部敏感哈希算法和随机KD树算法的检索结果的recall值，因此，本发明提供的高维数据的近似最近邻检索方法的检索效率较高。

如图4所示，一种高维数据的近似最近邻检索系统，包括：

初始化模块，用于采用初始化检索方法对高维数据库点集，建立初始化索引，并建立所述高维数据库点集的最近邻表；

初始化检索模块，用于根据初始化索引，获得待检索数据点在所述高维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

临时点集更新模块，用于构造临时点集，针对初始候选点集中的每个数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻点添加至临时点集中；

候选点集更新模块，用于计算临时点集中所有数据点与待检索数据点的距离，将距离最小的若干个数据点作为新的候选点集；

检索结果输出模块，用于将新的候选点集作为初始候选点集，依次调用临时点集更新模块和候选点集更新模块，直至候选点集中的数据点不再更新或者迭代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点作为近似最近邻数据点进行。

以上实施例的初始化检索算法可以任意替换，各种技术特征可以任意组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，例如除了实施例中提到的KD树算法以外，用任何其他近似最邻近检索算法作为初始化检索算法，都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种高维数据的近似最近邻检索方法，其特征在于，包括：

步骤1，采用初始化检索方法对高维数据库点集，建立初始化索引，并建立所述高维数据库点集的最近邻表；

步骤2，根据初始化索引，获得待检索数据点在所述高维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

步骤3，构造临时点集，针对初始候选点集中的每个数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻点以及初始候选点添加至临时点集中；

步骤4，计算临时点集中所有数据点与待检索数据点的距离，将距离最小的若干个数据点作为新的候选点集；

步骤5，将新的候选点集作为初始候选点集；

步骤6，重复步骤3～步骤5，直至候选点集中的数据点不再更新或者迭代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点作为近似最近邻数据点进行。

2.如权利要求1所述的高维数据的近似最近邻检索方法，其特征在于，所述初始化检索方法为层次化Kmeans树算法、随机化KD树算法、局部敏感哈希算法、其它各种增强版本哈希算法中的一种。

3.一种高维数据的近似最近邻检索系统，其特征在于，包括：

初始化模块，用于采用初始化检索方法对高维数据库点集，建立初始化索引，并建立所述高维数据库点集的最近邻表；

初始化检索模块，用于根据初始化索引，获得待检索数据点在所述高维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

临时点集更新模块，用于构造临时点集，针对初始候选点集中的每个数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻点以及初始候选点添加至临时点集中；

候选点集更新模块，用于计算临时点集中所有数据点与待检索数据点的距离，将距离最小的若干个数据点作为新的候选点集；

检索结果输出模块，用于将新的候选点集作为初始候选点集，依次调用临时点集更新模块和候选点集更新模块，直至候选点集中的数据点不再更新或者迭代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点作为近似最近邻数据点进行。

4.如权利要求3所述的高维数据的近似最近邻检索系统，其特征在于，所述初始化检索方法为层次化Kmeans树算法、随机化KD树算法、局部敏感哈希算法、其它各种增强版本哈希算法中的一种。