CN111930767A - 一种基于多层缓存的矢量瓦片实时切片和更新方法 - Google Patents

Abstract

本发明公开了一种基于多层缓存的矢量瓦片实时切片和更新方法，包括步骤：根据输入的地图范围在空间数据库中进行检索，判断其中是否涉及数据更新，并将更新数据的完整几何形状返回最小外包矩形，生成相应矢量瓦片；根据生成矢量瓦片的请求范围建立检索标识，并通过检索标识检索内存数据库，若存在则返回检索结果，若不存在则检索非关系数据库；若在非关系数据库中存在则将其载入缓存并返回检索结果；当皆不存在时，调用矢量瓦片切片工具实时生成矢量瓦片，将生成的矢量瓦片存入内存数据库或非关系数据库中，并建立文件索引，同时返回矢量瓦片。有效提高了矢量瓦片数据的发布效率，满足了使用者关于海量数据即时生成与更新的需求。

Description

一种基于多层缓存的矢量瓦片实时切片和更新方法

技术领域

本发明涉及到数字地图技术领域，具体涉及一种基于多层缓存的矢量瓦片实时切片和更新方法。

背景技术

随着空间实测数据的几何级数增长，在网络带宽受限的情况下，采用瓦片化技术实现空间数据在线发布是目前主流WebGIS平台的普遍做法。这种方式是通过预先将影像切片和矢量切片方式，将遥感影像和地图矢量数据预先切成固定大小的瓦片，当数据加载的时候，通过计算当前浏览器可视域范围，只显示可视域范围内的瓦片，从而极大地减少数据加载量，提高空间数据的显示效率。然而，在现有技术中，空间数据瓦片化效率受到数据量的影响极大，当数据量达到TB级之后，处理时间可以长达几天甚至几个月，使得大数据量空间信息发布成为了地理信息服务平台应用的瓶颈，难以满足应急响应、军事侦查、地图快速成图等具有强时效性要求的工作需求。如何提高矢量数据的发布效率，是现有高性能地理信息系统领域研究的一个热点和难点。

提高大数据量矢量发布效率关键在于提高切片以及切片后检索的效率。对于PB级矢量大数据，通常地图瓦片解决方案采用以下步骤和方式：首先，对地图数据依照发布的比例尺、分辨率、范围、瓦片大小等进行切片方案的配置；其次，依照切片配置在服务端内存中对地图数据按照切片方案进行渲染，然后对瓦片进行切割，并将瓦片保存到本地；最后，通过Web服务的配置将本地的瓦片通过服务发布出去给客户端访问。可以看出，按照常规方案地图瓦片发布的周期长，服务器请求时对瓦片文件数据库访问频繁，既无法满足地图数据的实时性，又无法满足其高效、多并发的响应需求。深入分析可以发现影响效率的因素，主要在于瓦片切片时长和瓦片的存取效率。

现阶段应用最广的瓦片切片工具，包括ArcGIS Server软件、Mapnik工具包以及GeoServer提供的切片工具等。ArcGIS Server支持在单机上多线程并行切片，但是对于分布式切分支持较差，难以跨节点有效利用集群资源。Mapnik支持在多线程环境下运行，支持多种操作系统，通过一定的调度算法，可以实现其在多个节点上并行切片，但是这种方法配置复杂，对专业背景要求很高，一般技术人员很难上手。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于多层缓存的矢量瓦片实时切片和更新方法，在矢量瓦片的存储与提取上，采用基于内存数据和非关系型数据的多层缓存机制，以解决大数据量的矢量瓦片更新效率低，操作复杂，无法即时发布的问题。

为达到上述目的，本发明采用的技术方案如下：

一种基于多层缓存的矢量瓦片实时切片和更新方法，其关键在于包括以下步骤：

S1、根据输入的地图范围在空间数据库中进行检索，判断其中是否涉及数据更新，并将更新数据的完整几何形状返回最小外包矩形，生成相应矢量瓦片；

S2、根据生成矢量瓦片的请求范围建立检索标识，并通过检索标识检索内存数据库，若存在该检索标识对应的矢量瓦片数据则返回检索结果，若不存在则检索非关系数据库；若在非关系数据库中存在则将其载入缓存并返回检索结果，否则进入步骤S3；

S3、当内存数据库与非关系数据库皆不存在检索标识对应的矢量瓦片数据时，调用矢量瓦片切片工具实时生成矢量瓦片，将生成的矢量瓦片存入内存数据库或非关系数据库中，并建立文件索引，同时返回矢量瓦片。

进一步的，步骤S1中所述生成矢量瓦片的具体步骤如下：

S11、输入地图范围；

S12、利用输入的地图范围在空间数据库中进行检索；

S13、判断空间数据库中是否存在数据更新的区域，若有更新则进入S14，否则进入S15；

S14、生成更新数据完整几何形状的最小外包矩形；

S15、利用各次循环后得到的坐标范围，计算对应的矢量瓦片编码集合，生成相应的矢量瓦片。

进一步的，步骤S15中矢量瓦片编号与经纬度的对应转换公式如下：

其中，tileX、tileY分别为矢量瓦片的行数和列数，Level为层数，lng为经度，lat为维度。

进一步的，步骤S15中所述矢量瓦片采用四叉树编码，每个矢量瓦片均带有行、列与层数三个参数，以便于坐标查询。

进一步的，步骤S2中通过检索标识检索矢量瓦片数据的具体步骤如下：

S21、根据生成矢量瓦片的请求范围解析请求的参数，并根据参数构建矢量瓦片的唯一检索标识；

S22、通过检索标识查询内存数据库中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，否则访问非关系数据库；

S23、通过检索标识查询非关系数据库中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，并将其载入内存数据库缓存。

进一步的，所述内存数据库以key-value数据结构组织数据，key为图层名，包含了对应的图层名称、投影系统、层、行列号信息。

进一步的，所述非关系型数据库中以objectID-filename数据结构组织数据，filename对应所述内存数据库中的图层名，并以文件名作为矢量瓦片的唯一检索标识，同时作为内存数据库与非关系型数据库的连接。

进一步的，步骤S3中，当内存数据库的数据量未超过阈值时，择将生成的适量瓦片存储于内存数据库中，否则存储于非关系数据库中。

进一步的，步骤S3中当调用矢量瓦片切片工具生成矢量瓦片失败时，则返回异常。

进一步的，所述空间数据库中存储的数据下载自OpenStreetMap，包括整个中国的shp文件数据集，目录下有建筑、土地利用、自然、兴趣点、铁路、公路、运输、水域、水道以及交通数据。

本发明在矢量瓦片的存储与提取上，采用了基于内存数据和非关系型数据的多层缓存机制，主要分为两个步骤：数据的局部更新步骤是通过输入地图范围，利用输入范围在数据库中进行检索，返回生成最小外包矩形，自动生成相应矢量瓦片；地图瓦片切片与提取的步骤为构建矢量瓦片多层缓存与交互，根据生成矢量瓦片的请求范围，建立检索标识，通过标识检索内存数据库，存在则直接返回矢量瓦片，并将其载入缓存，否则调用矢量瓦片切片工具，实时生成瓦片；将生成成功的矢量瓦片存入内存数据库和非关系数据库中，建立文件索引，进一步提高瓦片查询效率，同时返回矢量瓦片。

本发明的显著效果是：

1、本发明设计了矢量数据的局部更新方案，针对搜索区域的数据按需局部更新矢量瓦片，并采用最小外包矩形最大限度的减小更新代价，避免了全范围内矢量地图的重新切片，减少了工作量。考虑数据中断问题的矢量瓦片局部更新方法，实现了对局部区域矢量数据的快速生成；

2、基于内存数据库和非关系型数据库设计多层缓存机制存储矢量瓦片，极大地提高了瓦片的发布效率，进而提高系统的性能与地图的发布速率，实现瓦片数据的实时切片和更新；

3、本发明能提高矢量瓦片的存取效率。利用内存数据库取代传统的关系数据库，内存数据库相比传统的关系数据库的优点在于它的高并发以及高效率。矢量瓦片直接存在内存数据库之中，降低了瓦片数据的读写和存储时间，提高了系统的效率；

4、本发明利用二级非关系型数据库进行瓦片数据的缓存，既保留了内存数据库读写性能优良的特点，又避免了由于内存的有限性而导致的容量限制问题。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

本发明的一个具体实施例，以GeoServer作为矢量瓦片服务发布平台，基于内存数据库Redis和非关系型数据库MongoDB，建立了多层缓存机制，用以存储和更新矢量瓦片，研制了矢量瓦片局部更新的前后端原型系统，采用基于OpenLayers框架方法开发了Web客户端，并验证了本发明提出方法和技术流程的可行性。

如图1所示，一种基于多层缓存的矢量瓦片实时切片和更新方法，具体步骤如下：

S1、根据输入的地图范围在空间数据库中进行检索，判断其中是否涉及数据更新，并将更新数据的完整几何形状返回最小外包矩形，生成相应矢量瓦片；

所述空间数据库中存储的空间数据下载自OpenStreetMap，包括整个中国的shp文件数据集，目录下有建筑、土地利用、自然、兴趣点、铁路、公路、运输、水域、水道以及交通数据。

本实例基于OpenLayers框架方法开发了Web客户端界面用于数据局部更新检验，可以设置地图更新的层级以及地图更新的范围，其中wmts地址对应的是本研究订制的矢量瓦片生成服务地址，图层名称为不同的地图数据层，更新级别为设置服务器更新对应级别的矢量瓦片而其他级别不发生变化，更新范围主要通过在地图上拖动的方式设置预设矢量瓦片四个脚点坐标。

所述生成矢量瓦片的具体步骤如下：

S11、输入地图范围；

S12、利用输入的地图范围在空间数据库中进行检索；

S13、判断空间数据库中是否存在数据更新的区域，若有更新则进入S14，否则进入S15；

S14、生成更新数据完整几何形状的最小外包矩形；

S15、利用各次循环后得到的坐标范围，计算对应的矢量瓦片编码集合，生成相应的矢量瓦片。

其中，利用上述方法得到的矢量瓦片坐标，可使用以下公式获得经纬度与矢量瓦片编号的对应转换：

其中，tileX、tileY分别为矢量瓦片的行数和列数，Level为层数，lng为经度，lat为维度。

进一步的，步骤S15中所述矢量瓦片采用四叉树编码，每个矢量瓦片均带有行、列与层数三个参数，以便于坐标查询。

根据矢量瓦片坐标，采用谷歌编码规则对每块瓦片对应的矢量数据进行编码，并将其保存为二进制的矢量切片数据。

本实例将该瓦片生成方法以插件形式扩展到Geoserver的矢量瓦片服务中，通过发送的地图范围，即可自动生成矢量瓦片。

S2、构建矢量瓦片多级缓存与交互机制。该过程如图1所示，当客户端向服务器端发送请求时，根据生成矢量瓦片的请求范围，建立检索标识，并通过检索标识检索第一层内存数据库，若存在该检索标识对应的矢量瓦片数据则返回检索结果，若不存在则检索第二层非关系数据库；若在非关系数据库中存在则将其载入缓存并返回检索结果，否则进入步骤S3；

目前主要的内存数据库包括Memcached以及Redis数据库两种，相较于Memcached数据库，Redis数据库增加了持久性的功能：尽管Redis系统是在内存之中，可是Redis会通过操作定期刷新数据，当把切片数据保存到硬盘之后，即使服务器发生断电，当服务器重启之后数据依然完好。在本发明的实例中，利用Redis主要把数据切片缓存到内存中，并从内存中读取，提高文件I/O效率和矢量瓦片的发布性能。

具体地，该过程的具体步骤如下：

S21、当前地图浏览器端根据服务信息生成矢量瓦片的请求范围后，向服务器发送请求。服务端接收到请求，解析请求的参数(如：图层名称，投影系统，层行列号)，通过这些参数构建矢量瓦片的唯一检索标识；

S22、通过检索标识查询内存数据库Redis中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，否则访问非关系数据库；

矢量瓦片数据通常有三个“坐标”，X,Y,Z.矢量瓦片地图同样也通过金字塔技术来存储和组织瓦片。矢量瓦片是一个三维的结构：Z表示地图的缩放率亦即瓦片的层级水平，而X、Y则分别表示矢量瓦片的横坐标和纵坐标。因为矢量瓦片是一种描述性的文件，本身只有横纵坐标也就是屏幕坐标而缺少地理坐标。因此，使用Z值作为Redis数据库的数据结构Key-Value，来设计Redis数据库的结构。

S23、通过检索标识查询非关系数据库中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，并将其载入内存数据库Redis的缓存。

本例中，所述非关系数据库MongoDB以objectID-filename数据结构组织数据，filename对应所述内存数据库中的图层名，并以文件名作为矢量瓦片的唯一检索标识，同时作为内存数据库与非关系型数据库的连接。

每一块矢量瓦片以他们的ID作为健值，Z值一致的矢量瓦片都在一个表中。对Z值相同的数量瓦片进行编码处理，通过编码处理，可以轻松的得知瓦片的X和Y坐标的值，进而节省存储空间。

Redis内存数据库按照简单的key-value类型来存储矢量瓦片数据。key为图层名，包含了对应的图层名称、投影系统、层、行、列号等，用下划线分割生成指定瓦片的唯一标识，Value存储的是指定瓦片的二进制字节数据。

受制于内存的物理容量，如果单纯地利用Redis内存数据库进行数据缓存，积累到一定数据量后会导致内存溢出的问题，本发明实例结合了内存数据库Redis与非关系数据库MongoDB两种数据库形式，建立以基于数据多层缓存的矢量发布模式。通过调用MongoDB文件存储对象，创建文件名称字段，保存瓦片唯一标识，上传矢量瓦片文件，实现瓦片的持久化存储。

MongoDB数据库将矢量瓦片按对象进行存储，数据库中的矢量瓦片数据表结构由objectID和filename组成，MongoDB数据库的filename的各部分组成与Redis数据库的key相一致。

S3、当内存数据库与非关系数据库皆不存在检索标识对应的矢量瓦片数据时，调用矢量瓦片切片工具，并采用谷歌编码规则实时生成矢量瓦片，将生成的矢量瓦片存入内存数据库或非关系数据库中，同时利用GeoServer服务向浏览器端返回矢量瓦片并建立文件索引，如果生成失败则返回异常。

具体的，生成矢量瓦片后，判断Redis数据库的数据量是否超过阈值，如果超过阈值就存储于MongoDB数据库中，如果没有超过阈值则存储于Redis内存数据库中。

由此可见，为了提高访问效率，本发明采用的基于内存数据库多层缓存与即时发布方法，利用内存数据库相较于传统的关系数据库数据处理速度快的优点，降低了瓦片数据的读写和存储时间，提高了系统的效率。同时，利用二级非关系型数据库进行瓦片数据的缓存，既保留了内存数据库读写性能优良的特点，又避免了由于内存的有限性而导致的容量限制问题。

通过本实施例所述方案，在局部数矢量数据更改或者请求显示范围内的矢量数据有更改时，无需重新生成矢量瓦片，而是可以通过本发明提出的局部更新的方法，基于最小外包矩形的思想，后台扩展矢量切片工具，达到快速局部更新的目的；矢量地图数据的即时发布采用基于内存数据库的多级缓存机制，利用内存数据库的高效的查询性能、快速的数据处理能力、实时更新等优势，提高矢量数据的访问效率，并出于数据的安全性和完整性考虑，利用非关系型数据库作为二级缓存数据库，保证了内存数据库最大限度的发挥优势。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于包括以下步骤：

S1、根据输入的地图范围在空间数据库中进行检索，判断其中是否涉及数据更新，并将更新数据的完整几何形状返回最小外包矩形，生成相应矢量瓦片；

S2、根据生成矢量瓦片的请求范围建立检索标识，并通过检索标识检索内存数据库，若存在该检索标识对应的矢量瓦片数据则返回检索结果，若不存在则检索非关系数据库；若在非关系数据库中存在则将其载入缓存并返回检索结果，否则进入步骤S3；

S3、当内存数据库与非关系数据库皆不存在检索标识对应的矢量瓦片数据时，调用矢量瓦片切片工具实时生成矢量瓦片，将生成的矢量瓦片存入内存数据库或非关系数据库中，并建立文件索引，同时返回矢量瓦片。

2.根据权利要求1所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S1中所述生成矢量瓦片的具体步骤如下：

S11、输入地图范围；

S12、利用输入的地图范围在空间数据库中进行检索；

S13、判断空间数据库中是否存在数据更新的区域，若有更新则进入S14，否则进入S15；

S14、生成更新数据完整几何形状的最小外包矩形；

S15、利用各次循环后得到的坐标范围，计算对应的矢量瓦片编码集合，生成相应的矢量瓦片。

3.根据权利要求2所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S15中矢量瓦片编号与经纬度的对应转换公式如下：

其中，tileX、tileY分别为矢量瓦片的行数和列数，Level为层数，lng为经度，lat为维度。

4.根据权利要求2或3所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S15中所述矢量瓦片采用四叉树编码，每个矢量瓦片均带有行、列与层数三个参数，以便于坐标查询。

5.根据权利要求1所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S2中通过检索标识检索矢量瓦片数据的具体步骤如下：

S21、根据生成矢量瓦片的请求范围解析请求的参数，并根据参数构建矢量瓦片的唯一检索标识；

S22、通过检索标识查询内存数据库中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，否则访问非关系数据库；

S23、通过检索标识查询非关系数据库中是否具有与其对应的矢量瓦片数据，若存在则直接返回矢量瓦片数据，并将其载入内存数据库缓存。

6.根据权利要求1或5所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：所述内存数据库以key-value数据结构组织数据，key为图层名，包含了对应的图层名称、投影系统、层、行列号信息。

7.根据权利要求1或5所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：所述非关系型数据库中以objectID-filename数据结构组织数据，filename对应所述内存数据库中的图层名，并以文件名作为矢量瓦片的唯一检索标识，同时作为内存数据库与非关系型数据库的连接。

8.根据权利要求1所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S3中，当内存数据库的数据量未超过阈值时，择将生成的适量瓦片存储于内存数据库中，否则存储于非关系数据库中。

9.根据权利要求1或8所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：步骤S3中当调用矢量瓦片切片工具生成矢量瓦片失败时，则返回异常。

10.根据权利要求1所述的基于多层缓存的矢量瓦片实时切片和更新方法，其特征在于：所述空间数据库中存储的数据下载自OpenStreetMap，包括整个中国的shp文件数据集，目录下有建筑、土地利用、自然、兴趣点、铁路、公路、运输、水域、水道以及交通数据。

Images