CN108255864A

CN108255864A - 基于分布式存储和分布式计算的影像地图服务发布方法

Info

Publication number: CN108255864A
Application number: CN201611248310.0A
Authority: CN
Inventors: 王晋年; 肖少林; 龚正坤; 黄井优; 徐智勇
Original assignee: China Academy Of Remote Sensing (shenzhen) Satellite Application Innovation Research Institute Ltd; Zhongke Remote Sensing Science And Technology Group Co Ltd; GUANGDONG CHINARSGEOINORMATICS TECHNOLOGY Co Ltd
Current assignee: China Academy Of Remote Sensing (shenzhen) Satellite Application Innovation Research Institute Ltd; Zhongke Remote Sensing Science And Technology Group Co Ltd; GUANGDONG CHINARSGEOINORMATICS TECHNOLOGY Co Ltd
Priority date: 2016-12-29
Filing date: 2016-12-29
Publication date: 2018-07-06

Abstract

本发明公开了基于分布式存储和分布式计算的影像地图服务发布方法。该方法包括如下步骤：输出影像金字塔层级范围并进行分层，再对每个层级进行逻辑分块，每个分块对应一个地图处理任务；mapper函数根据分块的范围读取影像的数据，然后输出每个瓦片的内容到数据库中进行存储，并将瓦片的文件信息输出到reduce函数；reduce函数汇总所有瓦片的文件信息并入库到数据库中；生成影像的地图服务配置文件conf.xml与conf.cdi；修改的配置文件，添加新增加的图层信息；重载配置文件，发布入库的影像地图服务。该方法可直接更新或增加新的瓦片内容；提高影像切片的速度，节省存储瓦片的存储空间；可直接为每张瓦片添加水印信息。

Description

基于分布式存储和分布式计算的影像地图服务发布方法

技术领域

本发明涉及地图服务技术领域，具体涉及基于分布式存储和分布式计算的影像地图服务发布方法。

背景技术

瓦片地图金字塔模型是一种多分辨率层次模型，从瓦片金字塔的底层到顶层，分辨率越来越低，但表示的地理范围不变。现在越来越多的地图服务用到瓦片技术，例如现在我国实行发布的天地图服务就运用了地图瓦片技术。其实切片之后的地图瓦片是栅格图像，并不具备定位信息，不过切片运用了相关切片算法之后，可以计算出具体定位的位置。例如采用WGS84大地坐标系为空间参考，对地图进行切片，采用一定的切片算法，例如用经纬度步长等比例分割形成地图瓦片，当需要对一个具体地方进行定位时，可以根据经纬度步长来计算具体位置，以此来达到定位的功能。

目前的影像地图发布软件，一般采用单机单线程或单机多线程进行影像金字塔切片，而且一般只做单景影像的切片发布，瓦片直接存储在磁盘上。这种发布方式存在以下缺陷：1、因单机的系统资源有限，即使使用多线程技术，瓦片切割的速度依然比较慢；且瓦片直接存储在磁盘上，容易造成磁盘存储利用率低下，一般文件系统都有一个最小文件大小的规定，即使文件的实际大小小于该阈值时，仍然要占用该阈值的存储空间；2、无法更新或增加已发布的地图服务的瓦片内容。3、如果要发布带水印信息的地图服务，需要事先为影像添加水印信息，程序非常繁琐。

发明内容

基于此，本发明提供一种基于分布式存储和分布式计算的影像地图服务发布方法，其可直接更新或增加新的瓦片内容；提高影像切片的速度，节省存储瓦片的存储空间；可直接为每张瓦片添加水印信息，节省了地图服务发布的程序。

为了实现本发明的目的，本发明采用以下技术方案：

一种基于分布式存储和分布式计算的影像地图服务发布方法，包括如下步骤：

输出影像金字塔层级范围并进行分层，再对每个层级进行逻辑分块，其中每个分块切割输出的瓦片各不相同，且每个分块对应一个地图处理任务；

mapper函数根据分块的范围读取影像的数据，然后对自己分配到的影像块进行切片、加水印并输出每个瓦片的内容到数据库中进行存储，并将瓦片的文件信息输出到reduce函数；若输出的瓦片已经存在，做覆盖或合并；

reduce函数汇总将收到的所有瓦片的文件信息并入库到数据库中；

生成影像的地图服务配置文件conf.xml与conf.cdi，配置文件conf.xml记录影像地图服务的层级范围、瓦片格式信息，配置文件conf.cdi记录影像范围；

修改geowebcache的配置文件geowebcache.xml，添加新增加的图层信息；

重载geowebcache的配置文件geowebcache.xml，发布入库的影像地图服务。

在其中一些实施例中，所述瓦片在数据库中的存储规则采用geowebcache的行列号命名规则：层级的命名规则为字母L加上两位数的十六进制整数，不足两位数的，前面补0；行列号的命名规则为字母R或C后面加上十六进制的整数，整数不足8位的前面补0；行列号的计算规则如下：列号：col＝floor((x0+x)/(width*resolution))；行号：row＝floor((y0-y)/(height*resolution))；其中width表示瓦片的宽度，height表示瓦片的高度，resolution表示当前层级的分辨率，x0和y0为切片原点坐标，为常量值。

在其中一些实施例中，所述瓦片在数据库中的存储规则采用geowebcache的行列号命名规则具体为：

/XXX/XXX/Layers/_alllayers/L01/R00000001/C00000001.png，其中L01表示第1层；R00000001表示行号的第一行；C00000001表示列号的第一列。

在其中一些实施例中，若影像为墨卡托坐标系，则x0＝y0＝20037508.342787；若影像为WGS84坐标系，则x0＝180，y0＝90。

在其中一些实施例中，并行计算框架采用Hadoop的mapreduce并行框架或spark并行框架。

本发明所述基于分布式存储和分布式计算的影像地图服务发布方法，通过修改gdal原生代码，可以支持在hdfs文件系统上进行读写，可直接更新或增加新的瓦片内容；将影像分块、分层级并行切片，相同的瓦片进行合并，在切片过程中进行影像拼接，无需镶嵌后再切片，提高了影像切片的速度，节省存储瓦片的存储空间；在增加或更新瓦片时可以直接为每张瓦片添加水印信息，无需事先添加，节省了地图服务发布的程序。

附图说明

图1是本发明一较佳实施例所述的基于分布式存储和分布式计算的影像地图服务发布方法生成的地图服务配置文件效果图。

具体实施方式

为了便于理解本发明，下面将参照附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例

瓦片金字塔是将数据进行分层，相邻层的分辨率有2倍的关系；每个层进行瓦片分隔，两个相邻层中，其中较小分辨率的层中任意相邻4个瓦片组成2×2的瓦片矩阵，刚好对应在较大分辨率的层中相同地理范围的位置为这一层的一个瓦片。

本发明所述的基于分布式存储和分布式计算的多功能影像地图服务发布方法，是通过修改gdal原生代码，在hdfs文件系统上进行读写，进行影像分块、分层级并行切片以及相同瓦片的合并来实现的。并行计算框架采用Hadoop的mapreduce并行框架或spark并行框架。本实施例采用Hadoop的mapreduce并行框架。

本发明所述的基于分布式存储和分布式计算的多功能影像地图服务发布方法，包括如下步骤：

输出影像金字塔层级范围并进行分层，再对每个层级进行逻辑分块，其中每个分块切割输出的瓦片各不相同，且每个分块对应一个地图处理任务。

mapper函数根据分块的范围读取影像的数据，然后对自己分配到的影像块进行切片、加水印并输出每个瓦片的内容到数据库中进行存储，并将瓦片的文件信息输出到reduce函数；若输出的瓦片已经存在，做覆盖或合并。

reduce函数汇总将收到的所有瓦片的文件信息并入库到数据库中。

生成影像的地图服务配置文件conf.xml与conf.cdi，配置文件conf.xml记录影像地图服务的层级范围、瓦片格式信息，配置文件conf.cdi记录影像范围。

修改geowebcache的配置文件geowebcache.xml，添加新增加的图层信息。比如假设广东省地图服务包含深圳，但没有东莞市的影像，在已经发布广东省的地图服务上更新深圳市范围的影像或是增加原来没有的东莞市范围的影像；

重载geowebcache的配置文件geowebcache.xml，发布入库的影像地图服务。由此，结束影像地图服务的发布。

其中，瓦片在数据库中的存储规则采用geowebcache的行列号命名规则：层级的命名规则为字母L加上两位数的十六进制整数，不足两位数的，前面补0；行列号的命名规则为字母R或C后面加上十六进制的整数，整数不足8位的前面补0；行列号的计算规则如下：列号：col＝floor((x0+x)/(width*resolution))；行号：row＝floor((y0-y)/(height*resolution))；其中width表示瓦片的宽度，height表示瓦片的高度，resolution表示当前层级的分辨率，x0和y0为切片原点坐标，为常量值。如：/XXX/XXX/Layers/_alllayers/L01/R00000001/C00000001.png，其中L01表示第1层；R00000001表示行号的第一行；C00000001表示列号的第一列。若影像为墨卡托坐标系，则x0＝y0＝20037508.342787；若影像为WGS84坐标系，则x0＝180，y0＝90。

以下举例说明本发明所述的方案：

例如发布一个全国的4m镶嵌一张图，我们会按照每一个省份的行政区域制作镶嵌影像(如果按照全国范围制作，效率和存储是个大问题)。然后依次对每个省份进行切片并发布更新到同一个地图服务上。每个省份的切片具体流程如下：

1、将影像按照0～15进行分层(因为我们的切片层级范围是0～15层)，并对每个层级按照自己对应的行列号范围进行分块。

2、map函数对自己分配到的影像块进行切片、加水印并将瓦片内容入库到数据库中，然后将瓦片文件信息(包括文件路径、文件大小、文件MD5值等)汇总到reduce函数。在将瓦片入库到数据库前会先判断数据库中是否已存在该瓦片(判读瓦片路径是否存在)，如果存在，则将这两个瓦片进行合并，然后再输出。

3、reduce函数将自己收到的瓦片文件信息输出到数据库对应的表中。

4、所有影像切片完成后，生成影像的地图服务配置文件conf.xml与conf.cdi，配置文件conf.xml记录影像地图服务的层级范围、瓦片格式信息，配置文件conf.cdi记录影像范围；修改geowebcache的配置文件geowebcache.xml，添加新增加的图层信息；重载geowebcache的配置文件geowebcache.xml，发布入库的影像地图服务，即生成全国的4m镶嵌一张图服务配置文件并发布服务。效果如图1。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于分布式存储和分布式计算的影像地图服务发布方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于分布式存储和分布式计算的影像地图服务发布方法，其特征在于：所述瓦片在数据库中的存储规则采用geowebcache的行列号命名规则：层级的命名规则为字母L加上两位数的十六进制整数，不足两位数的，前面补0；行列号的命名规则为字母R或C后面加上十六进制的整数，整数不足8位的前面补0；行列号的计算规则如下：列号：col＝floor((x0+x)/(width*resolution))；行号：row＝floor((y0-y)/(height*resolution))；其中width表示瓦片的宽度，height表示瓦片的高度，resolution表示当前层级的分辨率，x0和y0为切片原点坐标，为常量值。

3.根据权利要求2所述的基于分布式存储和分布式计算的影像地图服务发布方法，其特征在于：所述瓦片在数据库中的存储规则采用geowebcache的行列号命名规则具体为：

4.根据权利要求2所述的基于分布式存储和分布式计算的影像地图服务发布方法，其特征在于：若影像为墨卡托坐标系，则x0＝y0＝20037508.342787；若影像为WGS84坐标系，则x0＝180，y0＝90。

5.根据权利要求1所述的基于分布式存储和分布式计算的影像地图服务发布方法，其特征在于：并行计算框架采用Hadoop的mapreduce并行框架或spark并行框架。