CN105302830B - 一种地图瓦片缓存方法及装置 - Google Patents

Abstract

本发明公开了一种地图瓦片缓存方法及装置，该方法为：接收客户端发送的地图请求指令，并根据所述地图请求指令确定对应的地图瓦片；根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点；判断所述地图瓦片的级别是否小于设定的阈值，若是，则将所述地图瓦片存入所述存储节点的第一区域；否则，将所述地图瓦片存入所述存储节点的第二区域，并在后续过程中按照设定周期进行数据管理。本方法通过分区域实施不同的内存管理策略，对频繁访问区域的地图瓦片始终缓存，避免了地图瓦片的频繁交换出入，提高了系统的处理性能。

Description

一种地图瓦片缓存方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种地图瓦片缓存方法及装置。

背景技术

所谓的地图缓存技术，就是按照一定的数学规则，把预生成的地图切成一定规格的地图瓦片(地图切片)，并保存到地图服务器端，当用户通过客户端访问地图服务时，服务器直接返回对应的地图瓦片缓存数据，无需再进行实时渲染。因此，地图缓存技术是一种实现快速访问和并发访问地图服务的有效方式，通过地图缓存技术，服务器可以根据用户请求返回预先生成的地图瓦片，从而达到降低服务器负担、加速显示地图及提升地图浏览速度的目的。

目前地图缓存技术主要基于服务器的本机内存进行地图缓存，并在内存中采用先进先出(First Input FirstOutput，FIFO)策略对地图瓦片进行管理，这种方式在实现上非常简单。

然而，由于现有技术采用FIFO策略对地图瓦片进行管理，当内存占用过高时，会使得瓦片缓存频繁交换出入，增加了内存的负担，甚至有可能淘汰掉常用缓存，导致服务器需要重新生成地图瓦片，降低了整体的服务性能。

发明内容

本发明实施例提供一种地图瓦片缓存方法及装置，用以解决现有技术中采用FIFO策略对内存中的地图瓦片进行管理时，瓦片缓存频繁交换出入，导致了内存负担的增加、服务性能整体下降的问题。

本发明实施例提供的具体技术方案如下：

一种地图瓦片缓存方法，包括：

接收客户端发送的地图请求指令，并根据所述地图请求指令确定对应的地图瓦片；

根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点；

判断所述地图瓦片的级别是否小于设定的阈值，若是，则将所述地图瓦片存入所述存储节点的第一区域；否则，将所述地图瓦片存入所述存储节点的第二区域，并在后续过程中按照设定周期进行数据管理。

这样，通过分区域实施不同的内存管理策略，对频繁访问区域的地图瓦片始终缓存，避免了地图瓦片的频繁交换出入，提高了系统的处理性能。

较佳的，进一步包括：

在初始配置阶段，将部署有Memcache服务的至少两个节点连接成Memcache集群；

根据预设的内存分配参数，将所述至少两个节点的存储空间划分为第一区域和第二区域。

这样，通过使用Memcache作为缓存支持，对地图瓦片进行集中式的管理。

较佳的，将所述至少两个节点的存储空间划分为第一区域和第二区域，包括：

将所述至少两个节点的内存空间或硬盘空间划分为第一区域和第二区域。

这样，利用内存空间作为存储空间时，能够更加快速地存储和读取缓存数据，利用硬盘空间作为存储空间时，能够存储更多的缓存数据。

较佳的，进一步包括：

接收到内存扩展指令时，在所述内存扩展指令指示增加的新节点上部署Memcache服务，并将部署Memcache服务后的新节点加入所述Memcache集群，形成新的Memcache集群。

这样，可以根据缓存数据的数量级，简便地对缓存节点进行横向扩展，极大地扩大了系统的总内存，有利于存储更多的缓存数据。

较佳的，根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点，包括：

根据所述地图瓦片的级别和行列号信息计算哈希Hash值；

根据所述Hash值从所述Memcache集群内选择所述地图瓦片的存储节点。

这样，根据计算的Hash值将地图瓦片存储到对应的节点，能够保证在增加或者删除节点时，尽可能小的改变已存在的地图瓦片缓存与节点的映射关系。

较佳的，将所述地图瓦片存入所述存储节点的第二区域，并在后续过程中按照设定周期进行数据管理，包括：

将所述地图瓦片存入所述存储节点的第二区域；

按照设定周期统计所述地图瓦片及存储在所述第二区域内的其他地图瓦片的被访问次数，并基于所述被访问次数从高到低的顺序对所有地图瓦片进行排列；

判断所述地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留所述地图瓦片的相关数据；否则，将所述地图瓦片的相关数据进行清除。

这样，为了不过多地占用内存容量，对大比例尺缓存实行缓存淘汰策略。

一种地图瓦片缓存装置，包括：

通信单元，用于接收客户端发送的地图请求指令，并根据所述地图请求指令确定对应的地图瓦片；

确定单元，用于根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点；

处理单元，用于判断所述地图瓦片的级别是否小于设定的阈值，若是，则将所述地图瓦片存入所述存储节点的第一区域；否则，将所述地图瓦片存入所述存储节点的第二区域，并在后续过程中按照设定周期进行数据管理。

这样，通过分区域实施不同的内存管理策略，对频繁访问区域的地图瓦片始终缓存，避免了地图瓦片的频繁交换出入，提高了系统的处理性能。

较佳的，进一步包括：

配置单元，用于在初始配置阶段，将部署有Memcache服务的至少两个节点连接成Memcache集群，以及根据预设的内存分配参数，将所述至少两个节点的存储空间划分为第一区域和第二区域。

这样，通过使用Memcache作为缓存支持，对地图瓦片进行集中式的管理。

较佳的，所述配置单元具体用于：

将所述至少两个节点的内存空间或硬盘空间划分为第一区域和第二区域。

这样，利用内存空间作为存储空间时，能够更加快速地存储和读取缓存数据，利用硬盘空间作为存储空间时，能够存储更多的缓存数据。

较佳的，所述配置单元进一步用于：

在接收到内存扩展指令时，在所述内存扩展指令指示增加的新节点上部署Memcache服务，并将部署Memcache服务后的新节点加入所述Memcache集群，形成新的Memcache集群。

这样，可以根据缓存数据的数量级，简便地对缓存节点进行横向扩展，极大地扩大了系统的总内存，有利于存储更多的缓存数据。

较佳的，所述确定单元具体用于：

根据所述地图瓦片的级别和行列号信息计算哈希Hash值；

根据所述Hash值从所述Memcache集群内选择所述地图瓦片的存储节点。

这样，根据计算的Hash值将地图瓦片存储到对应的节点，能够保证在增加或者删除节点时，尽可能小的改变已存在的地图瓦片缓存与节点的映射关系。

较佳的，所述处理单元具体用于：

将所述地图瓦片存入所述存储节点的第二区域；

按照设定周期统计所述地图瓦片及存储在所述第二区域内的其他地图瓦片的被访问次数，并基于所述被访问次数从高到低的顺序对所有地图瓦片进行排列；

判断所述地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留所述地图瓦片的相关数据；否则，将所述地图瓦片的相关数据进行清除。

这样，为了不过多地占用内存容量，对大比例尺缓存实行缓存淘汰策略。

附图说明

图1为本发明实施例中实现地图瓦片缓存的流程图；

图2为本发明实施例中Memcache分布式地图瓦片缓存管理系统；

图3为本发明实施例中地图瓦片缓存装置。

具体实施方式

为了解决现有技术中采用FIFO策略对内存中的地图瓦片进行管理时，瓦片缓存频繁交换出入的问题，进而减轻服务器内存的负担并提高系统整体的服务性能，本发明实施例中，提供了一种地图瓦片缓存方法及装置。

下面结合附图对本发明优选的实施方式进行详细说明。

参阅图1所示，本发明实施例中，实现地图瓦片缓存的具体流程如下：

步骤100：接收客户端发送的地图请求指令，并根据该地图请求指令确定对应的地图瓦片。

考虑到现有技术中采用服务器的本机内存进行瓦片缓存，其内存的大小直接限制了缓存数据的大小，无法根据缓存数据的大小进行横向扩展，因此，本发明实施例中提供了一种管理系统，参阅图2所示，该管理系统凌驾于所有服务器之上，在多台服务器上部署分布式内存对象缓存系统(Memcache)服务，通过Memcache集群代理服务(magent)技术实现分布式管理，搭建了一套Memcache集群服务，并与瓦片地图服务进行对接。

管理系统在初始配置阶段的配置过程如下，将部署有Memcache服务的至少两个节点连接成Memcache集群，然后根据预设的内存分配参数，将Memcache集群内的每个节点的存储空间均划分为第一区域和第二区域，其中，第一区域用于缓存常用并且数据较小的小比例尺地图瓦片，第二区域用于缓存数据较大的大比例尺地图瓦片。这里所谓的节点可以理解为服务器。每个节点的存储空间可以是内存空间，也可以是硬盘空间，当将内存空间作为存储空间时，能够更加快速地存储和读取缓存数据，当将硬盘空间作为存储空间时，则能够存储更多的缓存数据。

当需要对上述Memcache集群的总内存进行扩展时，管理系统只需根据接收到的内存扩展指令，在该内存扩展指令指示增加的新节点上部署Memcache服务，然后将部署Memcache服务后的新节点加入原Memcache集群，形成新的Memcache集群。如此，即可根据缓存数据的数量级，方便地对Memcache集群的总内存进行扩展，并且不会影响到瓦片地图服务。

步骤110：根据地图瓦片的级别和行列号信息，确定地图瓦片的存储节点。

具体的，步骤110中确定地图瓦片具体的存储节点的过程如下：首先根据该地图瓦片的级别和行列号信息计算哈希(Hash)值，然后根据该Hash值从Memcache集群内选择该地图瓦片的存储节点。

例如，某地图瓦片的级别为2，行号为20，列号为30时，其内部Hash值的计算结果为562950456737812，根据该Hash值，可以通过“一致性哈希算法”计算节点位置。

由于Memcache集群是一个高性能的分布式的内存对象缓存系统，其内存内维护了一个统一的巨大的Hash表，每一个Hash值都对应着一个唯一的节点，每一个节点都对应着唯一的一段范围内的Hash值，根据计算出的Hash值，通过一致性哈希算法将地图瓦片存储到对应的节点，能够保证在增加或者删除节点时，尽可能小的改变已存在的地图瓦片缓存与节点的映射关系。

在实际应用中，地图瓦片的比例尺可直接由该地图瓦片的级别所确定，例如，某地图瓦片的级别为10时，根据设定规则可确定其比例尺为1:768000。

步骤120：判断地图瓦片的级别是否小于设定的阈值，若是，则执行步骤130，否则，执行步骤140。

例如，某地图等级分为0至20级，并且预设的阈值为10级，则地图瓦片的级别低于10级时该地图瓦片为小比例尺，级别高于10级时则为大比例尺。

步骤130：将地图瓦片存入存储节点的第一区域。

步骤140：将地图瓦片存入存储节点的第二区域，并在后续过程中按照设定周期进行数据管理。

本发明实施例中，根据比例尺的大小对地图瓦片实行分区域存储，并基于不同的区域实行不同的缓存策略。考虑到小比例尺的地图瓦片访问频率较高并且数据量不太大，因此对小比例尺的地图瓦片始终进行缓存，不做清理，从而保证了系统的访问性能，而大比例尺的地图瓦片数据量比较大，为了不过多地占用内存容量，对大比例尺的地图瓦片实行缓存淘汰策略，具体过程如下：

将地图瓦片存入存储节点的第二区域后，按照设定周期统计该地图瓦片及存储在第二区域内的其他地图瓦片的被访问次数，并基于被访问次数从高到低的顺序对所有地图瓦片行排列，然后判断该地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留该地图瓦片的相关数据，否则，将该地图瓦片的相关数据进行进行清除。

在实际应用中，还可以采用以下方法对第二区域内的地图瓦片进行管理：将第二区域内所有的地图瓦片按照任意顺序进行排列，然后创建一时间窗口，在该时间窗口所维护的时间内，当任一地图瓦片被访问时，就将该地图瓦片移动到队列的前端，当到达该时间窗口预设的时间时，将该队列的后M个地图瓦片做淘汰处理。

上述N和M的取值可以根据具体的应用环境而定，但较佳的，N和M的取值以能够保证每个节点的整个缓存空间有1/3的空闲空间为佳。

进一步地，对地图瓦片进行缓存后，当下一次接收到客户端对该地图瓦片的地图请求指令时，便可直接从缓存中读取，管理系统从该地图请求指令中获取所请求的地图瓦片的级别和行列号信息，然后根据所请求的地图瓦片的级别和行列号信息计算Hash值，再根据该Hash值从Memcache集群内定位所请求的地图瓦片所在的存储节点，最后从该存储节点获取请求的地图瓦片，并返回给客户端。这种通过Hash值寻找对应的缓存地图瓦片的方式，寻址快速，提高了缓存的存取性能更高。

基于上述实施例，参阅图3所示，本发明实施例中，地图瓦片缓存装置包括：

通信单元301，用于接收客户端发送的地图请求指令，并根据该地图请求指令确定对应的地图瓦片。

确定单元302，用于根据地图瓦片的级别和行列号信息，确定地图瓦片的存储节点。

处理单元303，用于判断地图瓦片的级别是否低于设定的阈值，若是，则将地图瓦片存入存储节点的第一区域；否则，将地图瓦片存入存储节点的第二区域，并在后续过程中按照设定周期进行数据管理。

进一步的，地图瓦片缓存装置还包括：

配置单元304，用于在初始配置阶段，将部署有Memcache服务的至少两个节点连接成Memcache集群，以及根据预设的内存分配参数，将上述至少两个节点的存储空间划分为第一区域和第二区域。

在进行存储空间划分时，配置单元304可以将每个节点的内存空间划分为第一区域和第二区域，也可以将每个节点的硬盘空间划分为第一区域和第二区域。

配置单元304还用于：

在接收到内存扩展指令时，在该内存扩展指令指示增加的新节点上部署Memcache服务，并将部署Memcache服务后的新节点加入原Memcache集群，形成新的Memcache集群。

确定单元302具体用于：根据地图瓦片的级别和行列号信息计算哈希Hash值，然后根据该Hash值从Memcache集群内选择地图瓦片的存储节点。

处理单元303具体用于：将地图瓦片存入存储节点的第二区域，其次按照设定周期统计该地图瓦片及存储在第二区域内的其他地图瓦片的被访问次数，并基于被访问次数从高到低的顺序对所有地图瓦片进行排列，然后判断该地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留该地图瓦片的相关数据，否则，将该地图瓦片的相关数据进行清除。

综上所述，本发明实施例中所记载的技术方案，通过使用Memcache作为缓存支持，对地图瓦片进行集中式的管理，能够简便地对缓存节点进行横向扩展，极大地扩大了系统的总内存，有利于存储更多的缓存数据，并且提高了高并发下的读取效率和负载均衡能力。而分区域实施不同的内存管理策略，对频繁访问区域的地图瓦片始终缓存，避免了地图瓦片的频繁交换出入，提高了系统的处理性能。此外，本发明实施例在获取缓存地图瓦片时完全通过Hash值进行查找，寻址快速，提高了缓存的存取性能更高。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种地图瓦片缓存方法，其特征在于，包括：

接收客户端发送的地图请求指令，并根据所述地图请求指令确定对应的地图瓦片；

根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点；

判断所述地图瓦片的级别是否小于设定的阈值，若是，则将所述地图瓦片存入所述存储节点的第一区域；否则，将所述地图瓦片存入所述存储节点的第二区域；按照设定周期统计所述地图瓦片及存储在所述第二区域内的其他地图瓦片的被访问次数，并基于所述被访问次数从高到低的顺序对所有地图瓦片进行排列；判断所述地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留所述地图瓦片的相关数据；否则，将所述地图瓦片的相关数据进行清除。

2.如权利要求1所述的方法，其特征在于，进一步包括：

在初始配置阶段，将部署有分布式内存对象缓存系统Memcache服务的至少两个节点连接成Memcache集群；

根据预设的内存分配参数，将所述至少两个节点的存储空间划分为第一区域和第二区域。

3.如权利要求2所述的方法，其特征在于，将所述至少两个节点的存储空间划分为第一区域和第二区域，包括：

将所述至少两个节点的内存空间或硬盘空间划分为第一区域和第二区域。

4.如权利要求1、2或3所述的方法，其特征在于，进一步包括：

接收到内存扩展指令时，在所述内存扩展指令指示增加的新节点上部署Memcache服务，并将部署Memcache服务后的新节点加入所述Memcache集群，形成新的Memcache集群。

5.如权利要求1、2或3所述的方法，其特征在于，根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点，包括：

根据所述地图瓦片的级别和行列号信息计算哈希Hash值；

根据所述Hash值从Memcache集群内选择所述地图瓦片的存储节点。

6.一种地图瓦片缓存装置，其特征在于，包括：

通信单元，用于接收客户端发送的地图请求指令，并根据所述地图请求指令确定对应的地图瓦片；

确定单元，用于根据所述地图瓦片的级别和行列号信息，确定所述地图瓦片的存储节点；

处理单元，用于判断所述地图瓦片的级别是否小于设定的阈值，若是，则将所述地图瓦片存入所述存储节点的第一区域；否则，将所述地图瓦片存入所述存储节点的第二区域；按照设定周期统计所述地图瓦片及存储在所述第二区域内的其他地图瓦片的被访问次数，并基于所述被访问次数从高到低的顺序对所有地图瓦片进行排列；判断所述地图瓦片是否位于排序队列的前N％，其中，0≤N≤100，若是，则保留所述地图瓦片的相关数据；否则，将所述地图瓦片的相关数据进行清除。

7.如权利要求6所述的装置，其特征在于，进一步包括：

配置单元，用于在初始配置阶段，将部署有分布式内存对象缓存系统Memcache服务的至少两个节点连接成Memcache集群，以及根据预设的内存分配参数，将所述至少两个节点的存储空间划分为第一区域和第二区域。

8.如权利要求7所述的装置，其特征在于，所述配置单元具体用于：

将所述至少两个节点的内存空间或硬盘空间划分为第一区域和第二区域。

9.如权利要求7或8所述的装置，其特征在于，所述配置单元进一步用于：

在接收到内存扩展指令时，在所述内存扩展指令指示增加的新节点上部署Memcache服务，并将部署Memcache服务后的新节点加入所述Memcache集群，形成新的Memcache集群。

10.如权利要求6、7或8所述的装置，其特征在于，所述确定单元具体用于：

根据所述地图瓦片的级别和行列号信息计算哈希Hash值；

根据所述Hash值从Memcache集群内选择所述地图瓦片的存储节点。

Images