CN106991135A - 面向遥感影像数据的快速瓦片生成方法 - Google Patents

Abstract

本发明涉及一种面向遥感影像数据的快速瓦片生成方法，其特征是，包括以下步骤：（1）影像金字塔构建；（2）基于影像金字塔进行瓦片网格化分割，生成瓦片数据；所述瓦片数据生成的过程为：瓦片生成控制器负责监听瓦片生成请求，解析瓦片生成请求，向yarn提交处理作业；瓦片生成启动器由提交的作业负责启动，主要包括启动瓦片生成工具程序；瓦片生成工具程序由瓦片生成启动器启动，负责根据处理请求向Spark提交瓦片生成作业；所述瓦片处理工具包括并行化瓦片生成模块，该并行化瓦片生成模块通过预分区的模式将瓦片生成任务划分成多个并行处理的小任务。本发明能够实现大规模栅格数据集瓦片金字塔的快速生成，有效提高瓦片生成效率。

Description

面向遥感影像数据的快速瓦片生成方法

技术领域

本发明涉及一种面向遥感影像数据的快速瓦片生成方法，属于地图生成技术领域。

背景技术

随着地理空间数据获取技术的发展，国内外许多职能机构、研究团体已经可以比较便利地获得较高分辨率的影像地图。尤其是无人机航拍技术的突飞猛进，使得获取县域、地区域范围的高分辨率影像数据集成为可能。高分辨率影像数据一般以地理分布上连续、文件存储上分立的大量相同格式的栅格数据存储在磁盘文件系统中，而数据的大规模特性限制了其在传统关系数据库中的高效组织与索引访问，成为其快速可视化的效率瓶颈。

现阶段大规模栅格数据集的可视化通常需要大量的数据预处理时间，主要消耗在影像拼接、构建影像金字塔和瓦片金字塔等数据可视化准备工作，这段漫长的等待时间往往是高端用户尤其是应急决策部门所不能容忍的。为克服这种准备工作的低效性，瓦片切分技术应运而生，但是，业界现有的针对大规模栅格数据集的瓦片生成方法效率较低，较少采用并行化的思路，不能有效利用硬件计算资源，已经远不能适应当前地理数据集规模日益增大的趋势。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种面向遥感影像数据的快速瓦片生成方法，能够实现大规模栅格数据集瓦片金字塔的快速生成，以支持在地理信息系统中提供大规模栅格数据集的快速瓦片服务，有效提高瓦片生成效率。

按照本发明提供的技术方案，所述面向遥感影像数据的快速瓦片生成方法，其特征是，包括以下步骤：

(1)影像金字塔构建；

(2)基于影像金字塔进行瓦片网格化分割，生成瓦片数据；

所述瓦片数据的生成服务由瓦片生成服务模块完成，瓦片生成服务模块主要包括瓦片生成控制器、瓦片生成启动器和瓦片生成工具；

所述瓦片数据生成的过程为：瓦片生成控制器主要负责监听kafka(分布式消息队列)上发来的瓦片生成请求，解析瓦片生成请求，根据瓦片生成请求向yarn(分布式资源调度系统)提交处理作业；瓦片生成启动器由提交的yarn作业负责启动，主要包括启动瓦片生成工具程序、向yarn注册并汇报心跳以及向kafka发送瓦片生成结果；瓦片生成工具程序由瓦片生成启动器启动，负责根据相应的处理请求向Spark(大规模数据分布式计算系统)提交瓦片生成作业；

所述瓦片处理工具包括并行化瓦片生成模块，该并行化瓦片生成模块通过预分区的模式将瓦片生成任务划分成多个并行处理的小任务，每个小任务处理影像的一部分。

进一步的，所述瓦片生成控制器包含、任务提交模块、任务监控模块以及结果发送模块；

所述请求接收模块从kafka接收瓦片生成请求，并解析成瓦片生成任务；

所述任务提交模块根据瓦片生成任务提交相应的yarn作业，包括使用控制参数设定yarn作业的资源描述，传递运行参数给瓦片生成启动器；

所述任务监控模块负责周期性向yarn查询处理任务的执行状态，当执行失败时调用处理结果发送模块向kafka发送任务执行失败的消息；

所述处理结果发送模块负责向kafka发送瓦片生成的执行结果。

进一步的，所述瓦片生成启动器包括启动模块、心跳模块以及报告模块；

所述启动模块负责启动瓦片生成任务、启动心跳模块以及使用报告模块向kafka发送瓦片生成结果；

所述心跳模块负责向yarn注册容器以及周期性的汇报容器的状态；

所述报告模块负责根据工具程序的运行状态向kafka发送最终的执行结果。

进一步的，所述瓦片生成工具还包括Spark任务提交模块，该Spark任务提交模块接收瓦片生成启动器传递的运行参数，使用并行化瓦片生成模块提交瓦片生成的Spark作业。

进一步的，所述并行化瓦片生成模块并行处理的每个小任务包括生成金字塔、将影像数据生成为瓦片以及将瓦片存储。

进一步的，所述影像金字塔的构建参数为分辨率倍率、影像层级数量和影像区块粒度。

进一步的，所述步骤(1)影像金字塔构建流程为：原始遥感影像作为第0层，计算该层影像分块方法，并记录元数据；计算下一层的影像分辨率倍率，并计算该层影像的像素大小和影像分块方法，并记录元数据；判断该层影像的数据量是否小于影像区块粒度，若小于则结束，否则继续计算下一层的数据。

进一步的，所述kafka上发来的瓦片生成请求为json格式的瓦片生成请求。

进一步的，所述瓦片生成请求为一个单层非嵌套的json字符串，瓦片生成请求主要包含必填参数、结果队列名、控制参数以及运行参数。

进一步的，所述瓦片生成结果为一个非嵌套的单层json字符串，包括如下字段：瓦片生成请求的id、返回码和附带数据。

本发明具有以下有益效果：

(1)本发明比业界现有的针对大规模栅格数据集的瓦片生成方法效率提升了数倍；

(2)本发明采用并行化的思路，有效利用硬件计算资源，能够适应当前地理数据集规模日益增大的趋势；

(3)本发明在实际工程项目中得到了应用，完成了ArcGIS传统方案不能胜任的任务，极大程度上地接近了大规模数据集“获取即可视”的最高技术指标，为相关部门基于数据集可视化的高效应用打好了基础。

附图说明

图1为本发明所述瓦片生成方法的整体流程图。

图2为影像金字塔的结构示意图。

图3为影像金字塔的构建流程图。

图4为瓦片生成服务模块的示意图。

图5为瓦片生成服务的过程图。

图6为瓦片生成控制器的示意图。

图7为瓦片生成服务交互方式示意图。

具体实施方式

下面结合具体附图对本发明作进一步说明。

本发明所述面向遥感影像数据的快速瓦片生成方法包括2部分：第一步是影像金字塔构建；第二步是基于影像金字塔的瓦片网格化分割。

本发明的设计思路为：影像金字塔建立之后要分别对各层数据进行网格化分割，分割时要根据瓦片所处的层级以及所在的行列的不同对瓦片进行唯一编号，这就是瓦片数据的生成。基于金字塔的瓦片切分通常采用四叉树形式，即以金字塔最顶层数据为基准，依次向下做(2*2)^n瓦片数量等大小分割，n为金字塔的层级，每个瓦片使用其所拥有的层、行、列号生成一个唯一的编号。最终完成整个金字塔瓦片化。

本发明所述面向遥感影像数据的快速瓦片生成方法的整体流程如图1所示，包括：

(1)影像金字塔构建：

影像金字塔模型是由原始图像按一定重采样规则生成的一个多分辨率的层次数据模型，按照一定的倍率，形成多个分辨率层次并将每层数据再分割为多个数据分块，以实现遥感数据的多层剖分。这样在显示低分辨率尺度的影像时可以操作相对少量的数据，减少系统的吞吐量提高效率。影像金字塔结构如图2所示。

影像金字塔的构建流程如图3所示。影像金字塔的构建参数为分辨率倍率、影像层级数量和影像区块粒度。原始遥感影像作为第0层，计算该层影像分块方法，并记录元数据。计算下一层的影像分辨率倍率，并计算该层影像的像素大小和影像分块方法，并记录元数据。判断该层影像的数据量是否小于影像区块粒度，若小于则结束，否则继续计算下一层的数据。

(2)基于影像金字塔的瓦片网格化分割：

瓦片数据简介：瓦片数据是应用地图瓦片技术对地图数据进行切片所得到的，其对数据的切分规则是按照固定的若干个比例尺(瓦片层级)和指定图片尺寸，切成若干行、列的正方形图片，并以指定的格式保存为图片文件，再按一定的命名规则与组织形式存储到数据库里。瓦片数据是改进系统性能的最佳选择，它通过对地图数据预先渲染、切片，有效减轻服务器处理压力，减少网络负载和响应延迟。

瓦片数据的分割方式：是以固定大小(如512*512)的网格分割。分割方法是按照一定的规则将大的数据分割为规则(正方形区域)并且彼此之间没有重叠的图像块，并且给每个块一个唯一的编号(层、行、列号)，从而通过对网格编号索引实现数据的检索。

瓦片生成服务模块主要由瓦片生成控制器(controller)、瓦片生成启动器(launcher)和瓦片生成工具(tool)三部分组成，如图4所示。

瓦片生成服务的详细过程如图5所示，瓦片生成控制器主要负责监听kafka(分布式消息队列)上发来的json格式的瓦片生成请求，解析瓦片生成请求，根据瓦片生成请求向yarn(分布式资源调度系统)提交处理作业；瓦片生成启动器由提交的yarn作业负责启动，主要职责包括启动瓦片生成工具程序、向yarn注册并汇报心跳以及向kafka发送瓦片生成结果；瓦片生成工具程序由瓦片生成启动器启动，负责根据相应的处理请求向Spark(大规模数据分布式计算系统)提交瓦片生成作业。其核心包含Spark版的瓦片生成程序，负责瓦片的并行化生成，同时向kafka发送瓦片的处理进度。

(a)瓦片生成控制器(controller)：

瓦片生成控制器(controller)包含、任务提交模块、任务监控模块以及结果发送模块，如图6所示。

所述请求接收模块从kafka接收json格式的瓦片生成请求，并解析成瓦片生成任务。

所述任务提交模块根据瓦片生成任务提交相应的yarn作业，包括使用控制参数设定yarn作业的资源描述，传递运行参数给瓦片生成启动器。

所述任务监控模块负责周期性向yarn查询处理任务的执行状态，当执行失败时调用处理结果发送模块向kafka发送任务执行失败的消息。

所述处理结果发送模块负责向kafka发送瓦片生成的执行结果。

(b)瓦片生成启动器(launcher)：

瓦片生成启动器(launcher)负责执行瓦片生成工具对影像进行处理、周期性的向yarn的resourcemanager(资源管理器)发送心跳报告运行状态以及向瓦片生成请求方发送最终的瓦片生成结果。瓦片生成启动器(launcher)包含三个模块：启动模块、心跳模块以及报告模块。

所述启动模块负责启动瓦片生成任务、启动心跳模块以及使用报告模块向kafka发送瓦片生成结果。

所述心跳模块负责向yarn注册容器以及周期性的汇报容器的状态。

所述报告模块负责根据工具程序的运行状态向kafka发送最终的执行结果。

(c)瓦片生成工具(tool)：

瓦片处理工具(tool)主要包含两个模块，并行化瓦片生成模块和Spark任务提交模块。

其中并行化瓦片生成模块是瓦片生成工具的核心，通过预分区的模式将瓦片生成任务划分成多个可以并行处理的小任务。每个小任务处理影像的一部分，包括生成金字塔、将影像数据生成为png、jpeg等格式的瓦片以及将瓦片存储到HBase对应的表中。

所述Spark任务提交模块接收瓦片生成启动器传递的运行参数，使用并行化瓦片生成模块提交瓦片生成的Spark作业。

(d)瓦片生成服务的交互方式：

瓦片生成服务接收用户通过kafka发来的json格式的瓦片生成请求(request)，返回json格式执行结果(result)，如图7所示。

瓦片生成请求的格式：瓦片生成请求为一个单层非嵌套的json字符串。瓦片生成请求主要包含四种类型的字段，必填参数、结果队列名、控制参数以及运行参数。其中必填参数定义了瓦片生成请求的基本内容，包括处理请求id以及使用的工具程序名op；结果队列名为处理请求发送方希望从哪个消息队列上接受瓦片生成的结果；控制参数为提交yarn作业时需要设定的参数；运行参数为瓦片生成过程中需要使用的参数，包括输入、输出等类型的参数。瓦片生成请求的具体设定如下表1所示。

表1瓦片生成请求格式

瓦片生成结果的格式：瓦片生成结果同样为一个非嵌套的单层json字符串。具体包括如下字段：

id：瓦片生成请求的id；

返回码code：处理任务执行的返回码，0表示处理成功，其他表示处理失败；

附带数据：工具程序执行的结果，可为空。

瓦片生成结果具体格式和字段如下表2所示。

表2瓦片生成执行结果格式

本发明所述快速瓦片生成方法，设计了一种自动处理架构来完成瓦片生成服务，且在数据处理流程中贯彻了并行化思路，实现了大规模栅格数据集瓦片金字塔的快速生成，以支持在地理信息系统中提供大规模栅格数据集的快速瓦片服务，有效提高瓦片生成效率。

Claims (10)

1.一种面向遥感影像数据的快速瓦片生成方法，其特征是，包括以下步骤：

（1）影像金字塔构建；

（2）基于影像金字塔进行瓦片网格化分割，生成瓦片数据；

所述瓦片数据的生成服务由瓦片生成服务模块完成，瓦片生成服务模块主要包括瓦片生成控制器、瓦片生成启动器和瓦片生成工具；

所述瓦片数据生成的过程为：瓦片生成控制器主要负责监听kafka（分布式消息队列）上发来的瓦片生成请求，解析瓦片生成请求，根据瓦片生成请求向yarn（分布式资源调度系统）提交处理作业；瓦片生成启动器由提交的yarn作业负责启动，主要包括启动瓦片生成工具程序、向yarn注册并汇报心跳以及向kafka发送瓦片生成结果；瓦片生成工具程序由瓦片生成启动器启动，负责根据相应的处理请求向Spark（大规模数据分布式计算系统）提交瓦片生成作业；

所述瓦片处理工具包括并行化瓦片生成模块，该并行化瓦片生成模块通过预分区的模式将瓦片生成任务划分成多个并行处理的小任务，每个小任务处理影像的一部分。

2.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述瓦片生成控制器包含、任务提交模块、任务监控模块以及结果发送模块；

所述请求接收模块从kafka接收瓦片生成请求，并解析成瓦片生成任务；

所述任务提交模块根据瓦片生成任务提交相应的yarn作业，包括使用控制参数设定yarn作业的资源描述，传递运行参数给瓦片生成启动器；

所述任务监控模块负责周期性向yarn查询处理任务的执行状态，当执行失败时调用处理结果发送模块向kafka发送任务执行失败的消息；

所述处理结果发送模块负责向kafka发送瓦片生成的执行结果。

3.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述瓦片生成启动器包括启动模块、心跳模块以及报告模块；

所述启动模块负责启动瓦片生成任务、启动心跳模块以及使用报告模块向kafka发送瓦片生成结果；

所述心跳模块负责向yarn注册容器以及周期性的汇报容器的状态；

所述报告模块负责根据工具程序的运行状态向kafka发送最终的执行结果。

4.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述瓦片生成工具还包括Spark任务提交模块，该Spark任务提交模块接收瓦片生成启动器传递的运行参数，使用并行化瓦片生成模块提交瓦片生成的Spark作业。

5.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述并行化瓦片生成模块并行处理的每个小任务包括生成金字塔、将影像数据生成为瓦片以及将瓦片存储。

6.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述影像金字塔的构建参数为分辨率倍率、影像层级数量和影像区块粒度。

7.如权利要求6所述的面向遥感影像数据的快速瓦片生成方法，其特征是： 所述步骤（1）影像金字塔构建流程为：原始遥感影像作为第0层，计算该层影像分块方法，并记录元数据；计算下一层的影像分辨率倍率，并计算该层影像的像素大小和影像分块方法，并记录元数据；判断该层影像的数据量是否小于影像区块粒度，若小于则结束，否则继续计算下一层的数据。

8.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述kafka上发来的瓦片生成请求为json格式的瓦片生成请求。

9.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述瓦片生成请求为一个单层非嵌套的json字符串，瓦片生成请求主要包含必填参数、结果队列名、控制参数以及运行参数。

10.如权利要求1所述的面向遥感影像数据的快速瓦片生成方法，其特征是：所述瓦片生成结果为一个非嵌套的单层json字符串，包括如下字段：瓦片生成请求的id、返回码和附带数据。