CN109190052B - 一种分布式环境下基于社会感知的空间索引方法 - Google Patents

Abstract

本发明公开了一种分布式环境下基于社会感知的空间索引方法，涉及索引领域，通过对空间数据进行有效的划分，构建了局部索引以及全局索引，利用构建有效的索引结构，该索引结构是基于HDFS的分布式的索引结构并且融合了空间中的社交数据，能够很有效地支持分布式环境下的查询，使得查询结果更加满足用户的要求。在现有的基于R树的并行空间索引基础上融入LBSN中的社交数据，构成了全新的带有社交数据的空间索引，便于提高查询速度，提高搜索效率。

Description

一种分布式环境下基于社会感知的空间索引方法

技术领域

本发明涉及索引方法技术领域，尤其涉及一种分布式环境下基于社会感知的空间索引方法。

背景技术

随着互联网的发展，各种社交网络服务产品应运而生，这些社交网络服务被普遍使用，已然成为最受用户欢迎的应用，基于位置的社交网络也因此包含着大量有价值有意义带有地理位置数据，空间数据逐渐成为学术研究重要的研究对象，所谓的空间数据就是包含地理位置和文本信息的数据，在空间中查询包含地理信息和文本信息成为频繁的操作，空间关键字查询就是在大量的空间目标中查询到符合地理相关，文本相关的数据。

近几年来，通信技术的发展和移动终端的广泛使用，基于位置的社会服务也层出不穷，空间关键字查询是以用户的地理位置信息和多个查询关键字作为参数，返回的是和这些参数有着空间和文本相关度的空间对象。在一个查询中，构建有效的索引结构，可以极大地提高查询效率。对于一个空间中的索引，是指将对象的位置信息，大小形状等按照一定结构排列的一种数据结构。

常见的基于二叉树的索引技术，这是较早版本的索引技术，适用于空间中点状常见的有KD树，LSD树，K-D-B树等相关索引结构，然而对于拓展对象却不适用。由于空间的对象形态各异(如点，线，面，体等)，组织方式不同，也导致了处理空间中拓展对象的方式也不相同，主要分为对空间中对象映射，分割和界定三类，将空间中的对象分割，分别存储在不重叠相交的子空间中，这种类型的空间索引技术有R+树，四叉树，Cell树等。对象的界定又被叫做区域重叠，也就是说它允许其子空间重叠，常见的有R树，R*树。

随着用户量越来越多，产生了大量的社交数据，空间数据还有社交数据呈指数增长，导致搜索空间越来越大，传统的数据处理技术在面对如此庞大的数据量时存在很多问题，处理数据成本很高，存在效率很低问题，空间数据的并行化处理难度较高，并行程序编写比较难。集中式环境下的查询处理效率面临着极大的挑战，传统的空间关键字查询已经不能解决现状。

发明内容

针对上述缺陷或不足，本发明的目的在于提供一种分布式环境下基于社会感知的空间索引方法，建立高效的索引结构。

为达到以上目的，本发明的技术方案为：

一种分布式环境下基于社会感知的空间索引方法，其特征在于，包括：

1)、获取空间数据,所述空间数据包括若干空间对象,每个空间对象包括对应的空间对象标示、空间对象的地理位置信息、空间中描述对象的关键字、以及空间对象的粉丝群体；

2)、利用空间层次分解的Hilbert编码方式对空间数据进行数据划分，将空间的数据划分到数据分区；

3)、根据批量加载算法TGS，对数据分区后的每个区域的数据构建局部的R 树索引，并对R树索引进行存储，R树索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体、空间对象数据以及空间中描述对象的关键字；

4)、利用STR算法构建全局索引，并对全局索引进行存储，全局索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体；其中节点信息存放的是文件路径。

所述步骤2)具体包括：

2.1、通过Hilbert对空间数据进行排序，并对排序后的数据进行编码；

2.2、根据编码将空间数据放入到存储节点中，如果空间数据超过节点所限定大小则停止，然后从上次的断点处用相同的方法将对象放入存储节点中。

所述步骤2.1具体为：根据MBR进行排序，然后构造Hilbert空间曲线，并且分配对象的排序值，获取V_ii和V_avg并初始化B_j＝0；所述V_i表示第i个空间数据的大小，V_avg表示每个节点平均存储容量，B_j表示第j个节点中数据大小。

所述步骤2.2具体为：比较B_j与平均的容量，如果小则i和k均自增，否则j自增；若k＝i，则重复该操作，直到i和k都为n-1并且j＝N-1为止；最后算出B_j，在将每个节点机的B_j划分到各个磁盘中；所述k表示空间数据个数，n 表示待划分的空间对象总数量，N表示各个节点机的数量。

所述根据批量加载算法TGS，对数据分区后的每个区域的数据构建局部的R 树索引就具体为：通过坐标轴方向分割数据，给定代价函数cost(r1,r2)：

cost(r1,r2)＝S_r1+S_r2

每个被子集中含有多个矩形，所述矩形由每个子树的最大矩形个数和小于该节点的个数乘积来获得，该构造过程在两个子集上递归地生成整个R树；其中，所述r1和r2分别是两个被分割的数据的MBR，S为选取的扫描线。

所述索引树的结构信息包括该索引树的大小，即整个树节点区域的大小、索引树的高度、容量、以及空间对象的个数信息。

所述空间中描述对象的关键字为倒排文件方式存储。

与现有技术比较，本发明的有益效果为：

本发明提供了一种分布式环境下基于社会感知的空间索引方法，通过对空间数据进行有效的划分，构建了局部索引以及全局索引，利用构建有效的索引结构，该索引结构是基于HDFS的分布式的索引结构并且融合了空间中的社交数据，能够很有效地支持分布式环境下的查询，使得查询结果更加满足用户的要求。在现有的基于R树的并行空间索引基础上融入LBSN中的社交数据，构成了全新的带有社交数据的空间索引，便于提高查询速度，提高搜索效率。

附图说明

图1是本发明的流程框图；

图2是本发明的社交网络关系图；

图3是本发明的局部索引存储图；

图4是本发明的局部索引结构图；

图5是本发明的倒排索引图；

图6是本发明的全局索引存储图。

具体实施方式

下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

LBSN在以往的社交网络之上添加了空间位置属性，而且地理信息既包括用户在指定时间的位置又包含用户在特定时间内签到或者访问记录，社交网络服务提供了评论，粉丝数量，点赞记录，和访问记录等功能。在现实社会中，具有相似爱好的人往往会相互分享或是点赞，根据用户的签到地点，LBSN在传统的社交网络上加入位置属性，这样用户就可以签到时分享自己的位置信息。从用户的签到信息，按照时间构成了用户的移动轨迹。

如图1所示，本发明提供了一种分布式环境下基于社会感知的空间索引方法，包括：

1)、获取空间数据,所述空间数据包括若干空间对象,每个空间对象包括对应的空间对象标示、空间对象的地理位置信息、空间中描述对象的关键字、以及空间对象的粉丝群体；

空间查询中，空间对象是一个四元组o＝＜id,l,w,F＞，其中o.id代表了空间对象的独一无二的标识，l表示空间中的对象的地理信息，包括经度、纬度等信息， w表示空间中的对象的文本描述，F代表空间中的对象的粉丝群体，这些粉丝对此空间对象持有积极的态度，有经常签到行为或者与其他粉丝有很高的相似度，其中

用户集合。

如图2所示，在LBSN中，用户社交关系是一个二维无向图，可以被表示为 G＝{U,W}。

其中对于图G中的各个属性定义如下所示：

(1)U是一组顶点的集合，其中一个顶点对应一个用户。

(2)W是两个用户之间的好友关系。

社交网络数据是比较复杂的，因为它不仅包含了用户个人的数据信息，也包含了与其他用户相关联的数据信息。在上述的数据定义中，将社交关系数据抽象成由顶点和顶点之间二维无向图，并且顶点是空间中的用户的集合，图中的边集表示社交网络中的好友关系，将社交网络关系抽象成简单的二维无向图的方式，可以有效地通过分析用户间的相似度来计算，用户和对象之间的社交相关度。

空间数据集合D＝{p₁,…,p_i,…,p_n}，公式中pi表示空间中的一个对象，且pi 是由四元组构成＜id,s,w,F＞p.id表示空间对象，pi.l表示空间中对象的地理位置信息，pi.w表示空间中描述对象的关键字，F是一个集合，表示空间中对象的粉丝群体，粉丝群体内的用户对于空间对象持有好感，曾经将此空间对象推荐给其他人或者分享给其他人。要分析查询用户和空间对象之间的社交关系必须计算粉丝群体和查询用户之间的社交相似度。带有权值的社交相关度公式：

其中α是系数，且α∈[0,1)由以上公式可以看出社交相关度的取值不会等于0，并且关于指数衰减的应用也适用于其他方面。

2)、利用空间层次分解的Hilbert编码方式对空间数据进行数据划分，将空间的数据划分到数据分区；

所谓的空间数据的划分是指将空间的数据划分到数据分区，这是空间数据在分布式环境下存储管理的首要步骤。空间数据的分割应该能够让这一个节点的数据具有空间相邻的特点。如果不同的分区之间，应该尽量保证数据平衡，存储容量尽量均衡，负载尽量均衡。

本发明采用的空间层次分解的Hilbert编码方式，通过Hilbert对空间中数据进行排序，然后依次从开始编码起，根据编码将空间数据放入到存储节点中，如果空间数据超过节点所限定大小则停止，然后从上次的断点处用相同的方法将对象放入存储节点中。

具体步骤包括：

第一步：根据MBR进行排序，然后构造Hilbert空间曲线，并且分配对象的排序值，获取V_ii和V_avg并初始化B_j＝0；

第二步：根据编码值排序。

第三步：将对象放入节点机中。

第四步：比较Bj与平均的容量，如果小则i和k都要自增，否则j自增，若k＝i重复该操作。直到i和k都为n-1并且j＝N-1为止。

第五步：如果最后一个节点机添加数据，其存储量大于V_avg，如果还有数据没有分配那么剩余的对象采用轮询法，按照节点机从后往前分配。

第六步：算出Bj，在将每个节点机的Bj按照以上方式划分到各个磁盘中。

其中，N为各个节点机的数量，n为待划分的空间对象总数量，V_i为第i个空间数据的大小，V_avg为每个节点平均存储容量，B_j为第j个节点中数据大小。

3)、根据批量加载算法TGS，对数据分区后的每个区域的数据构建局部的R 树索引，并对R树索引进行存储，R树索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体、空间对象数据以及空间中描述对象的关键字；

批量加载是批量加载算法TGS又叫做自上而下的贪婪分裂算法，一个分裂的过程可以通过递归来实现。

对于空间中对象的矩形数据，该算法首先会通过一个坐标轴方向分割数据，给定代价函数，是的该函数的取值最小，即cost(r1,r2)最小。所述r1和r2分别是两个被分割的数据的MBR，除此之外，每个被子集中含有有多个矩形，可以由每个子树的最大矩形个数N和小于该节点的个数k乘积来获得，这个构造过程在两个子集上递归地生成整个R树。本文代价函数是根据选择扫描线来给出的公式，S为选取的扫描线：

cost(r1,r2)＝S_r1+S_r2

其中，S_r1表示被分割的第i部分的面积。

TSG局部R树索引构建代码：

该算法首先对S中的每个分割线，获取分割线的最小边界矩形，并得到对应的面积，然后将面积加入到集合中，然后获取第一级分割线，获取分割的两个分区，对每一个分区循环递归调用代价函数，直到R树构造完成。

完成了R树构造需要介绍索引的相关的存储信息。因为将社交数据加入到索引结构中，因此需要考虑社交数据的存储问题。局部索引的存储结构如图3 所示，主要几个部分构成，包括索引树的结构信息，节点的信息，社交粉丝数据，空间对象数据。索引树的结构信息包括该索引树的大小，就是整个树节点区域的大小，索引树的高度，容量，以及空间对象的个数等信息。

树节点数据包括该节点的子节点信息，是子节点的位置所在，还有子节点的MBR，社交粉丝数据里面存放的是该节点内所有空间对象的粉丝集合，最后存放的是空间中的对象的矢量数据。

如图4所示，示例性的：局部的R树构每个节点都会和该区域的倒排文件 相关联，一棵局部的索引树，为了简便描述，该索引树省略了其它数据，并且 在局部空间索引的节点中，倒排文件信息存放了倒排文件的存储路径，等到需 要用到才会去加载实际的数据。该图中非叶子结点中的粉丝，是全部子结点的 粉丝的并集，并且在倒排文件中，所有的关键字是子节点的并集。

如图5所示，图5为对于SDPR树局部索引中节点倒排文件图。图中节点R5 的倒排索引文件，如图中可以看到，在结点R1中关键字有四个，在R2中的关键字个数是三个，两个并集的关键字个数是五个。每个关键字和空间中的对象都是有关联的，这个关联的文本就是在进行文本查询时关联的上界。为了能够在查询时同时进行空间文本和社交相关的剪枝操作，需要对文本的单调性进行定义。并且给出了社交相似度的单调性定理。

SDPR文本相关度的单调性：在一个查询中q中，给定一个非叶子结点e，其最小的边界矩形是e.Λ。用tr_q(p)表示空间对象p的关键字信息，和查询用户给定的关键字相关度。则有

下面给出社交相似度的单调性定义：

对于查询q，给定非叶子结点e，并且该节点有子节点，假设子节点中包含了空间n个对象，有E＝{e_i,1≤i≤n}，则有

这可以根据公式 3.2轻易地推得。

4)、利用STR算法构建全局索引，并对全局索引进行存储，全局索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体；其中节点信息存放的是文件路径；

如图6所示，对于全局存储结构和局部存储结构相似，具有树的信息，节点信息，和社交粉丝信息，不同的是在全局索引中，叶子结点存放的是文件路径，这样才能找到对应的局部索引，还有根节点的MBR相关的信息，能够实现两个索引之间的联系，从而可以保证数据之间的关联关系。

在一个查询中，构建有效的索引结构，可以极大地提高查询效率。对于一个空间中的索引，是指将对象的位置信息，大小形状等按照一定结构排列的一种数据结构。本发明分析社交网络数据之后将社交数据加入到空间关键字索引中，提出了自己的索引结构，社会感知的分布式并行R树，给出了索引的设计，还有空间数据的具体划分，给出了在HDFS中的索引的具体存储结构，为数据查询奠定基础。

对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (4)

1.一种分布式环境下基于社会感知的空间索引方法，其特征在于，包括：

1)、获取空间数据,所述空间数据包括若干空间对象,每个空间对象包括对应的空间对象标示、空间对象的地理位置信息、空间中描述对象的关键字、以及空间对象的粉丝群体；

2)、利用空间层次分解的Hilbert编码方式对空间数据进行数据划分，将空间的数据划分到数据分区；

3)、根据批量加载算法TGS，对数据分区后的每个区域的数据构建局部的R树索引，并对R树索引进行存储，R树索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体、空间对象数据以及空间中描述对象的关键字；

4)、利用STR算法构建全局索引，并对全局索引进行存储，全局索引的存储结构包括索引树的结构信息、节点信息、空间对象的粉丝群体；其中节点信息存放的是文件路径；

所述步骤2)具体包括：

2.1、通过Hilbert对空间数据进行排序，并对排序后的数据进行编码；

2.2、根据编码将空间数据放入到存储节点中，如果空间数据超过节点所限定大小则停止，然后从上次的断点处用相同的方法将对象放入存储节点中；

所述步骤2.1具体为：根据MBR进行排序，然后构造Hilbert空间曲线，并且分配对象的排序值，获取V_ii和V_avg并初始化B_j＝0；所述V_i表示第i个空间数据的大小，V_avg表示每个节点平均存储容量，B_j表示第j个节点中数据大小；

所述步骤2.2具体为：比较B_j与平均的容量，如果小则i和k均自增，否则j自增；若k＝i，则重复该操作，直到i和k都为n-1并且j＝N-1为止；最后算出B_j，在将每个节点机的B_j划分到各个磁盘中；所述k表示空间数据个数，n表示待划分的空间对象总数量，N表示各个节点机的数量。

2.根据权利要求1所述的分布式环境下基于社会感知的空间索引方法，其特征在于，所述根据批量加载算法TGS，对数据分区后的每个区域的数据构建局部的R树索引就具体为：通过坐标轴方向分割数据，给定代价函数cost(r1,r2)：

cost(r1,r2)＝S_r1+S_r2

每个子集中含有多个矩形，所述矩形个数由每个子树的最大矩形个数和小于该节点的个数乘积来获得，该构造过程在两个子集上递归地生成整个R树；其中，所述r1和r2分别是两个被分割的数据的MBR，S为选取的扫描线。

3.根据权利要求1所述的分布式环境下基于社会感知的空间索引方法，其特征在于，所述索引树的结构信息包括该索引树的大小，即整个树节点区域的大小、索引树的高度、容量、以及空间对象的个数信息。

4.根据权利要求1所述的分布式环境下基于社会感知的空间索引方法，其特征在于，所述空间中描述对象的关键字为倒排文件方式存储。

Images