CN103279551B - 一种基于欧氏距离的高维数据准确近邻快速检索方法 - Google Patents

Abstract

一种基于欧氏距离的高维数据准确近邻快速检索方法，将高维数据表述成向量形式，然后嵌入到均值和方差构成的二维空间中，同时建立原高维数据的采样索引；进行近邻查询时，在输入查询点后，首先通过采样索引获得过滤阈值，然后利用过滤阈值在二维空间中对非近邻数据进行过滤，得到候选数据集；最后线性遍历计算所有候选数据点到查询点的距离，并计算出查询点的最近邻点；本方法的优点在于能够快速处理高维数据，并且能够查询准确的近邻点。

Description

一种基于欧氏距离的高维数据准确近邻快速检索方法

技术领域

本发明涉及信息检索、数据挖掘以及聚类分析等数据处理领域，具体涉及到利用欧氏距离的上下界以及一定的数据结构对高维数据进行索引并进行准确的近邻查询。

背景技术

随着信息技术和互联网的蓬勃发展，多媒体数码设备的广泛使用，我们拥有了超越以往任何时代的海量网络信息，而其中包含了大量的高维数据，如图片，音频，视频等，如何对这种海量的高维数据进行快速准确的索引与检索是一个亟待解决的难题。

索引与检索的一个重要作用就是近邻查询，即查询出数据库中与输入数据最相似的数据，这是一种十分基础但是重要的操作，除了信息检索以外，还广泛应用于计算机视觉、机器学习等领域，高效与准确的近邻查询对这些前沿学科有着重要的应用价值。

传统的近邻查询算法有着诸多不足，如采取空间划分策略的k维树，球树等树形结构，它们对低维数据的效果较好，但当数据维度较高时性能会急剧下滑；还有的处理高维数据的算法如局部敏感散列等，采取的是查询近似近邻的策略，效率较高但无法查询准确的近邻。本发明的主要贡献在于提出了一种能够快速的对高维数据查询准确近邻的方法。

发明内容

为了能够针对高维数据进行快速准确的近邻查询，本发明提出了一种基于欧氏距离上下界和数据过滤策略的高维近邻查询方法，该方法包括以下步骤：

1、将数据表示成向量后，进行如下处理：

1)将高维数据嵌入到以均值和方差构成的二维空间S中，并采用制高点树对嵌入后的二维数据建立索引，记为index1；

2)为高维数据本身建立采样近邻索引，记为index2，该索引的建立可以采用任意近似近邻索引结构，如R树，KD树，局部敏感散列；

3)对于查询数据q，首先通过索引index2进行采样，获得阈值T，然后通过索引index1查询出二维空间S上到的欧氏距离小于T的数据点的集合，最后遍历该集合并求出距离q最近的数据点。

2、步骤1)中所述的索引index1的建立方法如下：

1)将数据点嵌入到以均值和方差构成的二维空间S中，具体方法为：若数据点则嵌入后的点为(μ_x，σ_x)，其中μ_x和σ_x计算方法为d为向量的维度；

2)采用制高点树对嵌入二维空间S后的数据集建立索引index1，其中制高点树是一种适合范围搜索的二叉树结构，在每个非叶子节点对数据进行划分，作为划分依据的是数据点到某一被选择的制高点的距离，用制高点树建立的索引能够查询到查询点的欧氏距离小于某个阈值的所有数据点；

3、步骤3)中所述的近邻查询方法如下：

1)首先进行采样以获得阈值T，我们对T的定义如下：若查询点为q，则通过索引index2查询q的近似近邻，并计算出近似近邻到q的欧氏距离记为D，则T＝D/d，其中T为我们定义的阈值，D为近似近邻到查询点q的欧氏距离，d为数据维度；

2)将查询点q嵌入到二维空间S中，对应的点记为然后通过索引index1查询所有到的距离小于T的数据点的集合

3)对于其对应的原数据的集合为Q，遍历Q中的每个数据点，计算其与查询点q的欧氏距离，从而求得查询点q的准确最近邻。

本发明提出了针对高维数据的准确的近邻查询的方法，其优点在于：对数据进行预处理降低维度到2维，结合制高点树的结构以及采样阈值，能够快速过滤非近邻点，从而缩小了候选数据集的范围，提高近邻查询的速度；在这个过滤过程中严格遵守了上下界，并在最后加入了验证环节，因此结果是准确的。

附图说明

图1是本发明的方法流程图。

具体实施方式

参照附图，进一步说明本发明：

一种基于欧氏距离上下界和数据过滤策略的高维数据近邻查询方法，该方法包括以下步骤：

1、将数据表示成向量后，进行如下处理：

1)将高维数据嵌入到以均值和方差构成的二维空间S中，并采用制高点树对嵌入后的二维数据建立索引，记为index1；

2)为高维数据本身建立采样近邻索引，记为index2，该索引的建立可以采用任意近似近邻索引结构，如R树，KD树，局部敏感散列；

3)对于查询数据q，首先通过索引index2进行采样，获得阈值T，然后通过索引index1查询出二维空间S上到的欧氏距离小于T的数据点的集合，最后遍历该集合并求出距离q最近的数据点。

2、步骤1)中所述的索引index1的建立方法如下：

1)将数据点嵌入到以均值和方差构成的二维空间S中，具体方法为：若数据点则嵌入后的点为(μ_x，σ_x)，其中μ_x和σ_x计算方法为d为向量的维度；

2)采用制高点树对嵌入二维空间S后的数据集建立索引index1，其中制高点树是一种适合范围搜索的二叉树结构，在每个非叶子节点对数据进行划分，作为划分依据的是数据点到某一被选择的制高点的距离，用制高点树建立的索引能够查询到查询点的欧氏距离小于某个阈值的所有数据点；

3、步骤3)中所述的近邻查询方法如下：

1)首先进行采样以获得阈值T，我们对T的定义如下：若查询点为q，则通过索引index2查询q的近似近邻，并计算出近似近邻到q的欧氏距离记为D，则T＝D/d,其中T为我们定义的阈值，D为近似近邻到查询点q的欧氏距离，d为数据维度；

2)将查询点q嵌入到二维空间S中，对应的点记为然后通过索引index1查询所有到的距离小于T的数据点的集合

3)对于其对应的原数据的集合为Q，遍历Q中的每个数据点，计算其与查询点q的欧氏距离，从而求得查询点q的准确最近邻。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于欧氏距离的高维数据准确近邻快速检索方法，该方法的特征在于基本步骤如下：

1)将数据表示成向量形式，且采用欧式距离表示向量间的相似程度，即其中向量 d为向量的维度，表示两向量的相似程度；

2)将高维数据嵌入到以均值和方差构成的二维空间S中，并采用制高点树对嵌入后的二维数据建立索引，记为index1；

3)为高维数据本身建立采样近邻索引，记为index2，该索引采用R树，KD树，局部敏感散列的近似近邻索引结构建立；

4)对于查询数据q，首先通过索引index2进行采样，获得阈值T，将查询点q嵌入到二维空间S中，对应的点记为然后通过索引index1查询出二维空间S上到的欧氏距离小于T的数据点的集合，最后进行验证，即遍历该候选数据集合并求出距离q最近的数据点。

2.如权利要求1所述的检索方法，其特征在于：所述的步骤2)中所述的索引index1的建立方法如下：

1)将数据点嵌入到以均值和方差构成的二维空间S中，具体方法为：若数据点为则嵌入后的点为其中μ_x和σ_x计算方法为 d为向量的维度；

2)采用制高点树对嵌入二维空间S后的数据集建立索引index1，其中制高点树是一种适合范围搜索的二叉树结构，在每个非叶子节点对数据进行划分，作为划分依据的是数据点到某一被选择的制高点的距离，用制高点树建立的索引能够查询到查询点的欧氏距离小于某个阈值的所有数据点。

3.如权利要求1所述的检索方法，其特征在于：所述的步骤4)中所述的近邻查询方法如下：

1)首先进行采样以获得阈值T，我们对T的定义如下：若查询点为q，则通过索引index2查询q的近似近邻，并计算出近似近邻到q的欧氏距离记为D，则T＝D/d，其中T为我们定义的阈值，D为近似近邻到查询点q的欧氏距离，d为数据维度；

2)然后通过索引index1查询所有到的距离小于阈值T的数据点的集合

3)对于其对应的原数据的集合为Q，遍历Q中的每个数据点，计算其与查询点q的欧氏距离，从而求得查询点q的准确最近邻。