CN111061806A - 面向分布式的海量地理瓦片的存储方法与网络化访问方法 - Google Patents

Abstract

本发明公开了一种面向分布式的海量地理瓦片的存储方法，包含以下步骤：步骤一、将瓦片文件集合按照四叉树进行四分，采用Hilbert空间填充曲线对每个格子进行编号和排序，获取每个瓦片文件的瓦片索引编号；步骤二、采用RowKey编码技术按照时间、空间分辨率、瓦片索引编号组合的方式对每一个瓦片文件进行唯一编码；步骤三、根据Hbase开发接口，连接Hbase；读取瓦片文件并转化为字节数组，将RowKey和字节数组一起写入到指定行。本发明可满足海量地理瓦片数据的无限存储和大量用户并发访问，为网络化GIS开发提供了关键的基础技术。

Description

面向分布式的海量地理瓦片的存储方法与网络化访问方法

技术领域

本发明涉及基于网络化的地理瓦片高效组织技术，特别涉及一种分布式云平台下，海量地理瓦片的存储与远程网络化访问技术。

背景技术

随着计算机技术的发展，云计算技术、网络技术应用越来越广。在分布式云平台环境下，地理信息软件通过云端存储和网络化访问地理瓦片，可以快速实现地理位置感知、地理信息获取，可以实现地理数据服务端集中部署、实时更新。

当前地理信息技术、测绘技术不断发展，地理信息数据的获取能力得到了飞速提高，地理瓦片数据体量急剧膨胀，例如全球5米栅格瓦片数量达到上亿个，数据量超过1TB。传统的地理瓦片数据存储算法和调度算法使用典型的文件方式或者空间数据库管理地理瓦片数据，会导致单个目录小文件超过操作系统数量极限，数据库单表记录数量超过上限，进一步导致检索效率下降，瓦片数据调度变慢，最终客户端可视化数据刷新较慢，用户体验较差。特别是面对全球海量数据，传统方式读取效率越来越低，可视化也难以满足最低秒级响应需求，极大地影响GIS软件的使用效果。

发明内容

为了解决文件管理、空间数据库等方式存在瓶颈，本发明提供了一种面向分布式的海量地理瓦片的存储方法，该存储方法提出并实现了一种基于空间填充曲线的空间相邻瓦片的聚合方法，设计了分布式云平台下的RowKey编码模块，设计了基于Hbase的瓦片二进制存储模块，实现了分布式云平台下海量地理瓦片的编码、存储。本发明还提供了一种面向分布式的海量地理瓦片的网络化访问方法，实现了分布式云平台下海量地理瓦片的编码、存储、服务、调用验证。

本发明的发明目的通过以下技术方案实现：

一种面向分布式的海量地理瓦片的存储方法，包含以下步骤：

步骤一、将某层次的所有瓦片文件集合按照四叉树进行四分，采用Hilbert空间填充曲线对每个格子进行编号和排序；然后再对每个格子再按照四叉树进行四分，并同样采用Hilbert空间填充曲线对每个格子进行编号和排序；再对每个小格子细分，直到对应每个瓦片文件为止，完成了每个瓦片文件的排序，并获得了每个瓦片文件的瓦片索引编号；

步骤二、采用RowKey编码技术按照时间、空间分辨率、瓦片索引编号组合的方式对每一个瓦片文件进行唯一编码；

步骤三、根据Hbase开发接口，连接Hbase；读取瓦片文件并转化为字节数组，将RowKey和字节数组一起写入到指定行；以此类推，循环将所有瓦片文件进行写入瓦片服务器。

一种面向分布式的海量地理瓦片的网络化访问方法，用于对上述一种面向分布式的海量地理瓦片的存储方法存储的瓦片文件进行访问，包含以下步骤：

瓦片服务器接收到客户端发送过来的瓦片获取请求后，根据URL解析层行列号，再根据层行列号反算RowKey，连接Hbase，根据RowKey遍历字节数组，找到对应的字节数组后反序列化为瓦片文件，最后响应数据流到客户端。

本发明实现了分布式云平台下，对海量地理瓦片数据的存储和服务，极大提高了地理瓦片的获取和可视化速度，可满足海量地理瓦片数据的无限存储和大量用户并发访问，为网络化GIS开发提供了关键的基础技术。

附图说明

图1地理瓦片数据空间填充曲线图；

图2RowKey编码规则图；

图3瓦片网络服务界面。

具体实施方式

为了更好地理解本发明，下面通过附图和实施例对本发明作进一步详细说明。

本实施例所示的一种面向分布式的海量地理瓦片的存储方法，运行在瓦片服务器上，如图2所示，包含基于空间填充曲线的空间相邻瓦片的聚合方法、分布式云平台下的RowKey编码技术和基于Hbase的瓦片二进制存储技术。

参见图1所示，基于空间填充曲线的空间相邻瓦片的聚合方法：为了实现空间相邻瓦片文件的有序存储，采用Hilbert空间填充曲线，按照地理特点将索引空间划分为多个网格，并给每一个网格分配一个唯一编号，使空间目标(瓦片)相邻。具体过程为：

某层次的所有瓦片文件集合是一张正方形的二维地图，按照四叉树进行四分，采用Hilbert空间填充曲线对每个格子进行编号和排序，排序时保证编号小的格子里的图片始终在编号大的格子里的图片前面；然后再对每个格子再按照四叉树进行四分，并同样采用Hilbert空间填充曲线对每个格子进行编号和排序。再对每个小格子细分，直到对应每个瓦片文件为止。这样就完成了每个瓦片文件的排序，并获得了每个瓦片文件的瓦片索引编号。递归四分排序算法基于空间填充曲线，递归四分排序方法可以保证地理上相邻的图片，存储时也大致相邻。

分布式云平台下的RowKey编码技术：RowKey是按照字典顺序排序存储的，为充分利用这个排序特点，需要将经常读取的数据存储到一块，所以最终瓦片数据是否相邻取决于RowKey。按照时间、空间分辨率、瓦片索引编号组合的方式，对每一个瓦片文件的RowKey进行唯一编码。

举例：影像成像时间2015年5月13日，分辨率为5米，瓦片索引编号为111561467，RowKey则为20150513005111561467。

基于Hbase的瓦片二进制存储技术：Hbase针对海量数据具有很高的实时性，但Hbase不支持栅格数据的存储，只支持互联网文本数据的存储。瓦片数据大小约几十到几百KB，适合Hbase存储模型，为了利用Hbase分布式存储可扩展、高效读取等特性，将地理瓦片数据序列化为二进制，具体实施过程是：根据Hbase开发接口，连接Hbase。读取地理瓦片，转化为字节数组，将RowKey和字节数组一起写入到指定行。以此类推，循环将所有瓦片进行写入操作。

本实施例还提供了的一种面向分布式的海量地理瓦片的网络化访问方法，对通过上述一种面向分布式的海量地理瓦片的存储方法存储的地理瓦片进行访问，主要采用基于Rest API的瓦片网络化服务技术。

基于Rest API的瓦片网络化服务技术：瓦片服务调用需要考虑编程语言、操作系统无关；考虑采用SOA架构，将前后端分离，更便于调试、复用，最终采用Rest API轻量级架构。具体实施过程是：瓦片服务器接收到客户端发送过来的瓦片获取请求后，服务器端根据URL解析层行列号，再根据层行列号反算RowKey，连接Hbase，根据RowKey遍历瓦片，找到对应的瓦片后取出字节数组并反序列化为PNG或JPG图片，最后响应数据流到客户端，由用户进行可视化。

举例：用户请求URL为http://192.168.1.1:8080/imageRS/12/3431/1677.png，即第12层第3431行第1677列瓦片，服务器端获取层行列参数，根据参数计算RowKey为201505130051234311677，从Hbase中查询并获取瓦片，经栅格序列化后，返回该数据流，如图3所示。

Claims (2)

1.一种面向分布式的海量地理瓦片的存储方法，包含以下步骤：

步骤一、将某层次的所有瓦片文件集合按照四叉树进行四分，采用Hilbert空间填充曲线对每个格子进行编号和排序；然后再对每个格子再按照四叉树进行四分，并同样采用Hilbert空间填充曲线对每个格子进行编号和排序；再对每个小格子细分，直到对应每个瓦片文件为止，完成了每个瓦片文件的排序，并获得了每个瓦片文件的瓦片索引编号；

步骤二、采用RowKey编码技术按照时间、空间分辨率、瓦片索引编号组合的方式对每一个瓦片文件进行唯一编码；

步骤三、根据Hbase开发接口，连接Hbase；读取瓦片文件并转化为字节数组，将RowKey和字节数组一起写入到指定行；以此类推，循环将所有瓦片文件进行写入瓦片服务器。

2.一种面向分布式的海量地理瓦片的网络化访问方法，用于对权利要求1所述一种面向分布式的海量地理瓦片的存储方法存储的瓦片文件进行访问，包含以下步骤：

瓦片服务器接收到客户端发送过来的瓦片获取请求后，根据URL解析层行列号，再根据层行列号反算RowKey，连接Hbase，根据RowKey遍历字节数组，找到对应的字节数组后反序列化为瓦片文件，最后响应数据流到客户端。

Images