CN107862048A - 基于四叉树分层网格的地图缓存切片分布式集群管理方法 - Google Patents

Abstract

本发明公开了一种基于四叉树分层网格的地图缓存切片分布式集群管理方法，采用四叉树分层网格算法实现地图缓存切片分布式集群，基于空间地理区域对地图缓存分布式集群进行管理，保证用户真正关心的空间地理区域得到较高的性能，提高了集群资源利用的合理性。某一集群分组节点的宕机，只会影响该集群分组对应的空间地理区域，不影响其他空间地理区域，从而提高了集群的健壮性。

Description

基于四叉树分层网格的地图缓存切片分布式集群管理方法

技术领域

本发明属于地图分级缓存切片技术领域，具体涉及一种基于四叉树分层网格的地图缓存切片分布式集群管理方法的设计。

背景技术

地图浏览是所有GIS系统的基础功能，根据实现原理可以分为实时渲染地图与分级缓存地图，分级缓存地图与实时渲染地图相比，支持地图浏览的快速响应与高并发，是渲染展示具有大数据量的GIS地图时的首选方式。

地图分级缓存切片是一种将GIS地图根据预先设定的不同比例尺级别渲染为大小规格相同的小图片，存储于服务器中，客户端浏览地图时直接查询服务器端对应的小图片实现地图浏览的功能。因为服务器只是将小图片简单的返回给客户端，避免了实时的空间数据查询与渲染过程，实现了分级缓存地图的高并发与快速响应。

分级缓存地图会生成大量的小图片，而且随着缓存级数的增加，小图片的数量呈指数级增长。为了高效的管理大量的小图片，目前存在以下三种方式：

(1)服务器本地文件的方式，其缺点为：小图片访问速度较慢；产生大量磁盘碎片，浪费磁盘空间；小图片文件太多备份与管理麻烦；存在单节点故障的风险。

(2)数据库存储的方式，其缺点为：存在单节点故障；未实现分布式集群化管理，效率也较低。

(3)传统数据库集群存储的方式，通过哈希函数或数据表水平切分的方式组建集群，未考虑小图片的空间位置分布，导致同一个空间地理区域的小图片随机分布在集群节点上，进而导致小图片碎片化问题，最终带来如下两个缺点：首先将重点空间地理区域的小图片与非重点关注的空间地理区域同等对待，浪费服务器资源；其次集群中某个节点的宕机或不稳定，会带来整个集群的不可用或不稳定，集群健壮性太差。

发明内容

本发明的目的是提出一种基于四叉树分层网格的地图缓存切片分布式集群管理方法，将同一空间地理区域的小图片映射到集群中的同一组数据库节点，从而避免传统哈希函数或数据表水平切分组建集群方式带来的小图片碎片化问题。

本发明的技术方案为：基于四叉树分层网格的地图缓存切片分布式集群管理方法，包括以下步骤：

S1、构建四叉树分层网格T，T满足以下条件：

T由多层网格组合而成，每层网格表示的空间地理范围一致，包含地图的最大范围。

T中每层网格及其单元格均为正方形。

T的层数为地图缓存级数，每层对应一固定比例尺。

T中每层网格中的一个单元格对应一张地图缓存小图片。

T中每层网格的行数与列数相同，均等于2的z次方，z为层数。

S2、对四叉树分层网格T进行划分，构建分布式集群。

步骤S2包括以下分步骤：

S21、设置单元格所在层数为z，单元格所在列号为x，行号为y。

S22、创建函数createKey，输入z,y,x返回用字符“/”连接成的全局唯一字符串key作为每个单元格的唯一编号。

S23、将集群中的数据库节点按照业务需求划分为不同性能配置的组，每组中数据库节点的数量大于等于1个，构建数据库分组集合M；同一组数据库节点之间存储的数据内容相同。

S24、从四叉树分层网格T中选择一层r作为空间地理区域划分层，构建空间地理区域集合A；设a为集合A中的一个元素，表示用户划分出的一块空间地理区域，由r层网格中的相关单元格构成。

S25、将r层以上的所有单元格组合成一块top空间地理区域，添加到集合A中，构建空间地理区域划分配置哈希表hase_area；哈希表hase_area的键值为单元格的唯一编号key，存储数据为对应的空间地理区域。

S26、根据集合A中元素a的重要性，将a划分到数据库分组集合M中，A中元素与M中元素为多对一关系，构建哈希配置表hase_group；hase_group的键值为A中所有元素，值为对应的数据库集群分组。

S3、对分布式集群的访问策略进行管理。

步骤S3包括以下分步骤：

S31、获取用户请求的单元格所在层数z、所在行号y、所在列号x以及用户请求类型type。

S32、判断z是否小于r，若是则进入步骤S33，否则进入步骤S34；r为空间地理区域划分层所在层数。

S33、将top空间地理区域作为用户请求的单元格对应的空间地理区域，进入步骤S37。

S34、分别对y与x进行z-r次向左移位，将用户请求的单元格沿着四叉树向上移动到第r层。

S35、调用函数createKey，输入r,y,x得到第r层的请求网格唯一编号reqKey。

S36、通过输入reqKey调用哈希表hase_area，得到用户请求的单元格对应的空间地理区域，进入步骤S37。

S37、查找哈希配置表hase_group，得到空间地理区域对应的数据库集群分组。

S38、根据用户请求类型type对数据库集群分组中的数据库节点采取不同的操作：

若type为查询操作，则随机调用数据库集群分组中一台可用的数据库节点，返回最终结果。

若type为删除操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行删除。

若type为添加操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行添加。

本发明的有益效果是：本发明采用四叉树分层网格算法实现地图缓存切片分布式集群，基于空间地理区域对地图缓存分布式集群进行管理，保证用户真正关心的空间地理区域得到较高的性能，提高了集群资源利用的合理性。某一集群分组节点的宕机，只会影响该集群分组对应的空间地理区域，不影响其他空间地理区域，从而提高了集群的健壮性。

附图说明

图1所示为本发明实施例提供的基于四叉树分层网格的地图缓存切片分布式集群管理方法流程图。

图2所示为本发明实施例提供的四叉树分层网格示意图。

图3所示为本发明实施例提供的步骤S2的分步骤流程图。

图4所示为本发明实施例提供的划分四叉树分层网格构建分布式集群示意图。

图5所示为本发明实施例提供的步骤S3的分步骤流程图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于四叉树分层网格的地图缓存切片分布式集群管理方法，如图1所示，包括以下步骤S1-S3：

S1、构建四叉树分层网格T，T需要满足以下条件：

T由多层网格组合而成，每层网格表示的空间地理范围一致，包含地图的最大范围。

T中每层网格及其单元格均为正方形。

T的层数为地图缓存级数，每层对应一固定比例尺。

T中每层网格中的一个单元格对应一张地图缓存小图片。

T中每层网格的行数与列数相同，均等于2的z次方，z为层数。

本发明实施例中，构建的四叉树分层网格T如图2所示，当层数z＝r时，该层网格的行数与列数均为2^r。

S2、对四叉树分层网格T进行划分，构建分布式集群。

如图3所示，步骤S2包括以下分步骤S21-S26：

S21、设置单元格所在层数为z，单元格所在列号为x，行号为y。

S22、创建函数createKey，输入z,y,x返回用字符“/”连接成的全局唯一字符串key作为每个单元格的唯一编号。

S23、将集群中的数据库节点按照业务需求划分为不同性能配置的组，每组中数据库节点的数量大于等于1个，构建数据库分组集合M＝{m1,m2,m3,....,mn}，如图4所示，同一组数据库节点之间存储的数据内容相同。

本发明实施例中，每个组的服务器资源配置可以设置一定的差异，资源配置高的分组用于存储用户最关注的空间地理区域的数据，从而实现集群资源的优化配置。

S24、从四叉树分层网格T中选择一层r作为空间地理区域划分层，构建空间地理区域集合A；设a为集合A中的一个元素，表示用户划分出的一块空间地理区域，由r层网格中的相关单元格构成。

S25、将r层以上的所有单元格组合成一块top空间地理区域，添加到集合A中，构建空间地理区域划分配置哈希表hase_area；哈希表hase_area的键值为单元格的唯一编号key，存储数据为对应的空间地理区域。

S26、根据集合A中元素a的重要性，将a划分到数据库分组集合M中，A中元素与M中元素为多对一关系，构建哈希配置表hase_group；hase_group的键值为A中所有元素(所有的空间地理区域)，值为对应的数据库集群分组。

S3、对分布式集群的访问策略进行管理。

如图5所示，步骤S3包括以下分步骤S31-S38：

S31、获取用户请求的单元格所在层数z、所在行号y、所在列号x(z,y,x都为整数型数据)以及用户请求类型type。

S32、判断z是否小于r，若是则进入步骤S33，否则进入步骤S34；r为空间地理区域划分层所在层数。

S33、将top空间地理区域作为用户请求的单元格对应的空间地理区域，进入步骤S37。

S34、分别对y与x进行z-r次向左移位，将用户请求的单元格沿着四叉树向上移动到第r层。

S35、调用函数createKey，输入r,y,x得到第r层的请求网格唯一编号reqKey。

S36、通过输入reqKey调用哈希表hase_area，得到用户请求的单元格对应的空间地理区域，进入步骤S37。

S37、查找哈希配置表hase_group，得到空间地理区域对应的数据库集群分组。

S38、根据用户请求类型type对数据库集群分组中的数据库节点采取不同的操作：

若type为查询操作，则随机调用数据库集群分组中一台可用的数据库节点，返回最终结果。

若type为删除操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行删除。

若type为添加操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行添加。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.基于四叉树分层网格的地图缓存切片分布式集群管理方法，其特征在于，包括以下步骤：

S1、构建四叉树分层网格T；

S2、对四叉树分层网格T进行划分，构建分布式集群；

S3、对分布式集群的访问策略进行管理。

2.根据权利要求1所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S1中构建的四叉树分层网格T满足以下条件：

T由多层网格组合而成，每层网格表示的空间地理范围一致，包含地图的最大范围；

T中每层网格及其单元格均为正方形；

T的层数为地图缓存级数，每层对应一固定比例尺；

T中每层网格中的一个单元格对应一张地图缓存小图片；

T中每层网格的行数与列数相同，均等于2的z次方，z为层数。

3.根据权利要求1所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S2包括以下分步骤：

S21、设置单元格所在层数为z，单元格所在列号为x，行号为y；

S22、创建函数createKey，输入z,y,x返回用字符“/”连接成的全局唯一字符串key作为每个单元格的唯一编号；

S23、将集群中的数据库节点按照业务需求划分为不同性能配置的组，每组中数据库节点的数量大于等于1个，构建数据库分组集合M；

S24、从四叉树分层网格T中选择一层r作为空间地理区域划分层，构建空间地理区域集合A；设a为集合A中的一个元素，表示用户划分出的一块空间地理区域，由r层网格中的相关单元格构成；

S25、将r层以上的所有单元格组合成一块top空间地理区域，添加到集合A中，构建空间地理区域划分配置哈希表hase_area；

S26、根据集合A中元素a的重要性，将a划分到数据库分组集合M中，A中元素与M中元素为多对一关系，构建哈希配置表hase_group。

4.根据权利要求3所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S23中同一组数据库节点之间存储的数据内容相同。

5.根据权利要求3所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S25中哈希表hase_area的键值为单元格的唯一编号key，存储数据为对应的空间地理区域。

6.根据权利要求3所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S26中hase_group的键值为A中所有元素，值为对应的数据库集群分组。

7.根据权利要求3所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S3包括以下分步骤：

S31、获取用户请求的单元格所在层数z、所在行号y、所在列号x以及用户请求类型type；

S32、判断z是否小于r，若是则进入步骤S33，否则进入步骤S34；r为空间地理区域划分层所在层数；

S33、将top空间地理区域作为用户请求的单元格对应的空间地理区域，进入步骤S37；

S34、分别对y与x进行z-r次向左移位，将用户请求的单元格沿着四叉树向上移动到第r层；

S35、调用函数createKey，输入r,y,x得到第r层的请求网格唯一编号reqKey；

S36、通过输入reqKey调用哈希表hase_area，得到用户请求的单元格对应的空间地理区域，进入步骤S37；

S37、查找哈希配置表hase_group，得到空间地理区域对应的数据库集群分组；

S38、根据用户请求类型type对数据库集群分组中的数据库节点采取不同的操作。

8.根据权利要求7所述的地图缓存切片分布式集群管理方法，其特征在于，所述步骤S38具体为：

若type为查询操作，则随机调用数据库集群分组中一台可用的数据库节点，返回最终结果；

若type为删除操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行删除；

若type为添加操作，则同时调用数据库集群分组中的所有数据库节点，对相关的数据进行添加。