CN105786942A - 一种基于云平台的地理信息存储系统 - Google Patents

Abstract

本发明涉及一种可显著提高遥感图像处理效率的、基于Hadoop的基于云平台的地理信息存储系统，采用Hadoop作为基本平台，采用MapReduce和Hadoop分布式文件系统（HDFS）构建地理信息系统。使用MapReduce编程模型并行化解决图像处理问题，同时采用HDFS对图像进行跨多台计算机的数据存储的地理信息存储平台。其中，本发明使用GDAL库对图像进行操作，实现了两种基于HDFS的分布式分块方式：固定分块数分割和固定块大小分割。本发明采用重采样处理方法，即将高分辨率遥感影像中处理得到低分辨率影像。实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图。

Description

一种基于云平台的地理信息存储系统

技术领域

本发明涉及遥感地理信息系统领域，具体涉及一种基于Hadoop的GIS云存储系统的可行性分析及实现。

背景技术

在过去的十几年中，伴随着信息时代来临的是整个社会的信息量呈爆炸式增长，面对这种境况，传统的信息存储管理模式已经难以适应。然而机遇总是在挑战中孕育产生，具有强大存储、计算能力和可满足用户需求特性的云计算作为一种新兴的互联网服务模式为解决大数据管理问题开辟了一条道路。同时，该种新的服务模式可运用于许多领域，比如说对国家和社会都有着重要意义的遥感科学。现如今，遥感数字图像技术的改变促进了地理信息数据的获取方法的增多，在进一步更深入发展下，呈现出海量、多时相多分辨率等特点的发展趋势。面对大规模的地理信息数据，如何对其进行高效的存储、分析处理成为一个核心问题，此时将云计算技术应用适当结合于地理信息存储和分析处理当中显得十分必要。

分析现有的遥感资料的存储和应用技术，主要有两类：一是基于关系数据库和文件系统进行遥感影像存储管理的传统型；二是基于分布式系统、大规模网络存储技术的新兴型系统。

传统的遥感资料管理技术仍在现实应用中扮演着重要的角色，然而这类技术虽然足够成熟，但是却有着对海量数据的访问速度不够快、访问方式不灵活，缺乏对非结构数据处理的种种缺陷。且其存储能力完全受制于数据库管理系统。

但是到了现在，伴随着分布式存储技术、虚拟存储系统的成熟，这种新兴的技术可以很好的适应各种复杂的影像数据结构，高效地支持数据的操作与维护，终使得整个系统拥有良好的适用性与扩展性。

因为遥感数据影像具有数据量大、计算强度高的特点，在进行处理时会对内存和硬盘有较高的要求，在过去研究人员只能使用独立的高性能计算机来解决这种问题，然而现在云计算技术的逐渐成熟让我们可以设想将遥感研究移植到云平台上，以解决独立计算机的大数据影像储存和处理的瓶颈问题。

发明内容

针对现有技术存在的不足，本发明提出了一种可显著提高遥感图像处理效率的、基于Hadoop的GIS云存储系统。

本发明采用如下的技术方案:

一种基于云平台的地理信息存储系统，其特征在于，基于openstack云平台，并使用Hadoop架构，包括三层结构：用于数据处理的编程模型MapReduce、分布式文件系统HDFS和面向列的分布式数据库HBase；该地理信息存储系统包括：

一存储系统：接受原始图像数据后针对原始数据随机进行以下两种存储方式存储于HDFS中：

选择方式一：固定分块数分割存储方式，该方式的具体方法是将当前图像根据用户所设定的宽的分割数目M和高的分割数目N，将原始图像分割成大小相等的M*N块，其中，宽和高为M*N的固定块为标准快。剩余的边界块为不足以一个或大于一个且小于两个的固定块；

选择方式二：固定块大小分割存储方式：该方式的具体方法是将当前图像根据用户所设定每个分割块的高和宽，将图像就分割成等大小的块；

一调用系统：首先基于HDFS的图像重采样后建立一个影像金字塔，然后进行调取；所述影像金字塔的建立方法如下：定义原始图像位于金字塔顶层，且金字塔为n层，通过相邻像素重采样，实现中将其每四个相邻像素融合为一个像素，然后获得具有原分辨率四分之一的下层图像文件，但是图像的可视范围不变，与上层图像文件相同。由此可知，最顶层的金字塔影像分辨率达到当前显示设备的最高分辨率；最顶层的分辨率为1:M，能快速调用的最小分辨率满足2^n-1:M。所以在用户观看者屏幕分辨率一定时，可以根据要求的可视范围选择对应图层。图像金字塔将在用户第一次请求调用图像时建立，并适用于其后用户的相关调用。

在上述的一种基于云平台的地理信息存储系统，所述存储系统中，选择方式一和选择方式二均基于相同的切割方法：采用GDAL库对图像进行操作，这个库是一个在X/MIT许可协议下的开源栅格空间数据转换库。两种方式所分割的块都会按行和列进行由0开始的标号，当分割好的图被传输至HDFS后，按照图像名称+横轴标号+纵轴编号的方法被命名。所有分块将被存放在同名的文件夹中，遥感信息图像的元数据也将被传送至此。在分块方式上，由于块大小始终大于分块数，固定分块数方法最后一列和最后一行与其他块大小的差距远小于固定块大小的分割方法。所以，在除对分块大小有特殊规定的情况下，使用固定分块数大小切割的块更为均匀。

在上述的一种基于云平台的地理信息存储系统，所述调用系统中，图像重采样是即将高分辨率遥感影像中处理得到低分辨率影像。实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图。重采样之后的图像可以看做一个大稀疏矩阵。然而在矩阵运算时，稀疏阵所有0的位置都占用了内存空间，但计算时却不会被使用到。所以，要对稀疏矩阵进行加工，使其成为密集矩阵。最后将转化好的密集阵与给出的矩阵进行运算得到最终结果或者图像；具体是使用两次MapReduce对运算进行优化，分别位于重采样和矩阵乘法。遥感影像被3*3分割存储于HDFS中。在Hadoop集群上，不再使用传统方式进行拼图处理，而是9个图像块分为9片同时进入MapReduce的map方法进行并行重采样。当9个reduce方法都运行完毕，矩阵转为密集阵，再将矩阵使用第二次map转化为<坐标，值>的键值对，最后发送给reduce方法进行矩阵乘法。

在上述的一种基于云平台的地理信息存储系统，重采样基于双线性内插法或最邻近法或三次卷积法。

在上述的一种基于云平台的地理信息存储系统，所述调用系统中，已形成由底至上分层式，数据量由大之小，视野由小至大的金字塔结构。每一层金字塔都有其对应的分辨率，当用户对图像进行放大、缩小等操作时，若当前的可视范围不与此图层的分辨率相匹配，则会调整为金字塔分辨率与此最相近的一张进行显示。金字塔是逐级递减存储栅格文件的有效方法。可以通过简单的查询图像坐标和分辨率计算就可以显示对应区域契合分辨率的图像。因为一般计算机的分辨率远小于卫星图像的分辨率，所以使用金子塔文件可以防止打开图像时就加载原图，而是在对一部分进行放大时，才逐渐更换小区域分辨率大的图像，节省的加载预览的时间。

本发明具有以下优点和有益效果：1、摒弃了传统单一节点储存和单机集中式处理的方法，创新的使用Hadoop作为基本平台，并使用地理信息图像的储存和处理模拟检验了其效率和可行性；2、使用MapReduce框架进行了任务优化，诸多算法采用并行化的思想在MapReduce编程模型下得到实现，相较于传统串行方法速度有所提升。

附图说明

图1是本发明系统功能整体设计图。

图2是图像分块存储所需要进行的图像切割流程图。

图3.1是具体实施方式中图像切割方式图（方式一）。

图3.2是具体实施方式中图像切割方式图（方式二）。

图4是建立影像金字塔时所实现的2*2模式金字塔。

具体实施方式

以下结合附图说明本发明系统的运作方式。

一、首先介绍一下本发明的具体技术方案。

本发明采用Hadoop作为基本平台，采用MapReduce和Hadoop分布式文件系统（HDFS）构建地理信息系统。使用MapReduce编程模型并行化解决图像处理问题，同时采用HDFS对图像进行跨多台计算机的数据存储的地理信息存储平台。

方案以简矩阵乘法和图像重采样为例：

1.基于HDFS的图像存储，包括：

地理信息系统的图像数据量通常比较大，一般情况我们仅仅会处理图像的一部分而不是几GB甚至几十GB的整体遥感图片。倘若每次处理都将整张图像读入，不但要在I/O上话费大量时间，内存的限制也不允许一次性将几十GB的超大图像直接读入。所以考虑的硬件的瓶颈和对处理效率最高效的追求应当优先对超大图像进行分块处理。

Hadoop拥有自己的文件系统HDFS，其同样有块的概念。HDFS以64MB每块分割文件作为独立的存储单元将集中在一台机器上的存储分配到整个集群中。本发明使用GDAL库对图像进行操作，实现了两种基于HDFS的分布式分块方式：固定分块数分割和固定块大小分割。

2.基于HDFS的图像重采样，包括：

传统版本大型的遥感影像数据被3*3切为9块按文件系统进行存储，在图像处理之前首先要根据地址检索到各图像所在位置，将其拼接为完整数据图。随后将图像进行简化处理，本发明采用重采样处理方法，即将高分辨率遥感影像中处理得到低分辨率影像。实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图。重采样之后的图像可以看做一个大稀疏矩阵。然而在矩阵运算时，稀疏阵所有0的位置都占用了内存空间，但计算时却不会被使用到。所以，要对稀疏矩阵进行加工，使其成为密集矩阵。最后将转化好的密集阵与给出的矩阵进行运算得到最终结果或者图像。（通常给出的矩阵包含一定图像处理意义，此处给定的矩阵不含业务含义，运算方法选择的是复杂度最高的矩阵乘法）

Hadoop版本使用两次MapReduce对运算进行优化，分别位于重采样和矩阵乘法。遥感影像被3*3分割存储于HDFS中。在Hadoop集群上，我不再使用传统方式进行拼图处理，而是9个图像块分为9片同时进入MapReduce的map方法进行并行重采样。当9个reduce方法都运行完毕，矩阵转为密集阵，再将矩阵使用第二次map转化为<坐标，值>的键值对，最后发送给reduce方法进行矩阵乘法。

图像重采样是在采样后将图像按像元间距按一定算法重新进行采样工作，从而得到几何变换后的新图像。此处并没有深度研究重采样算法，放弃了主流的三次卷积法内插和双线性内插法，直接采用按缩放倍率获取线性拉伸后的像素点的方法。

使用GDAL读取栅格图像的方法ReadRaster(intxoff,intyoff,intxsize,intysize,intbuf_xsize,intbuf_ysize,intbuf_type,short[]array,int[]band_list,intnPixelSpace)将原始图像的单行读入。其中xoff、yoff表示x,y轴偏移量；xsize，ysize表示在x,y轴读取的图像大小；buf_xsize、buf_ysize是两轴上缓冲器的大小；buf_type定义了缓冲器数组的数据类型，array作为数组存储读取的信息。maxV和minV是运行中使用遍历查找到的最大像素值和最小像素值，在进行完重采样点选取后，将得到的重采样后的点进行线性拉伸，不论16位图、24位图，一律按比例缩放到8位存储块中。

Hadoop版本的重采样中我们依然使用了上述方法，将并行化用在同时处理9个图像重采样上。Map方法读入9个图像HDFS地址随后将其按照<序号，地址>的key-value键值对输出给reduce方法，reduce并行处理从而得到9个密集矩阵数据集。

二、下面结合附图给出具体的实施例。

图1是本发明系统功能整体设计图，本发明系统由分布式图像存储和影像操作两部分组成，其中，图像的存储是基于两种不同图像切割方式，影像操作具体实现为建立影像金字塔。

图2是图像分块存储所需要进行的图像切割流程图；

在切割图像时我们采用GDAL（GeospatialDataAbstractionLibrary）库对图像进行操作，这个库是一个在X/MIT许可协议下的开源栅格空间数据转换库。抽象数据模型使得它支持的各种图片文件格式，如TIFF、BMP、HFA。此模型解析上述文件格式获得数据集、元数据、波段、仿射地理坐标转换和子数据域等众多参数对象。许多著名的GIS产品如GoogleEarth、ARCGIS等都是使用了此栅格空间转换库。

选择GDAL进行Hadoop上的地理信息处理与存储是因为其包含全面透彻的API，提供了处理所需的方法和图像格式转化的媒介，且能嵌套在MapReduce的算法之中。另外GDAL提供了全套遥感数据影像存储格式的读取方法，不同波段数，不同位图乃至不同模式的复杂图像都可以使用GDAL一并处理。

由于GDAL由C++编写，若在Hadoop系统中使用GDAL库，就需要使用VisualStudio将其编译为动态链接库和Java归档文件从而使其转化为对应的Java库。

图3是具体实施方式中图像切割方式示意图，该实例仅用于解释此发明，而不限制本发明。该中我们实现了两种分块方式：固定分块数分割和固定块大小分割。

当采用固定分块数分割时，用户需要输入宽的分割数目M和高的分割数目N，然后图像就会被分割成大小相等的M*N块（边界块可能大于或小于其他块）。

例如一张若将52000*20000的三波段卫星图像以6*2的块进行切割（如图3.1），则得到8666*10000的块。其中最后两个块因为无法整除而大于其他块，为8670*10000。

当我们采用固定块大小分割，用户需要输入每个块的高和宽，然后图像就会被分割成等大小的块。

例如，将一张20000*20000的单波段卫星图像以5500*7500固定块进行分割(如图3.2)，则最后一行的高位5000，宽为3500。

两种方式所分割的块都会按行和列进行由0开始的标号，当分割好的图被传输至HDFS后，它会按照“图像名称+横轴标号+纵轴编号”的方法被命名。如图image.GIFf的左上角1号分块就会被命名为image.0.0.GIFf，同理2号分块命名为image.0.1.GIFf,3号分块命名为image.0.2.GIFf。所有分块将被存放在同名的文件夹中，遥感信息图像的元数据也将被传送至此。在分块方式上，由于块大小始终大于分块数，固定分块数方法最后一列和最后一行与其他块大小的差距远小于固定块大小的分割方法。所以，在除对分块大小有特殊规定的情况下，使用固定分块数大小切割的块更为均匀。

图4是建立影像金字塔时所实现的2*2模式金字塔；

Hadoop的核心是一次写入多次读取，但实践证明，一张超大的地理信息图像的可视化读取需要耗费很久的时间，所以，构建一个根据用户需求来产生不同分辨率的影像金字塔是十分必要的。原始图像位于金字塔底层，通过相邻像素重采样，将其每四个相邻像素融合为一个像素，然后我们就可以获得具有原分辨率四分之一的上层图像文件。以此类推，最上层的金字塔影像分辨率达到接近计算机显示器分辨率就可以了。最终，形成了由底至上分层式，数据量由大之小，视野由小至大的金字塔结构。每一层金字塔都有其对应的分辨率，当用户对图像进行放大、缩小等操作时，若当前的可视范围不与此图层的分辨率相匹配，则会调整为金字塔分辨率与此最相近的一张进行显示。金字塔是逐级递减存储栅格文件的有效方法。最终可以实现通过简单的图像坐标查询和分辨率计算就可显示对应区域内满足所需分辨率的图像。在实际情况中，计算机分辨率是远小于卫星图像的分辨率的，所以金字塔文件的使用可以避免在打开图像时就加载原图，耗费过长的加载预览时间，而是在对一部分进行放大时，才逐渐更换小区域分辨率大的图像，提高效率。

本发明实现了2*2模式金字塔的建立。2*2模式即为下面一层像素的高两个像素和宽两个像素通过重采样生成上一层的一个像素。图中最上面的64块为金字塔最底层图像，也是分辨率最高的图像。中间层的16块图像分辨率为原图的四分之一，但其可视范围扩大到了原图的四倍，也就是说，一个方格相当于上层的四个。最下层以此类推，由此可知，每个小方格的分辨率相同，所以在用户屏幕分辨率不变的情况下，可以根据所需的可视范围选择对应图层。

重采样有双线性内插法、最邻近法、三次卷积法等，其中三次卷积法精度最高。本研究使用GDAL内的三次卷积法对图像进行金字塔构建。GDAL中BuildOverviews方法可用于此处。它会按照用户规定参数对图像进行重采样。确定最低限像素值，对像素值进行叠加计算则可以的得到对应的采样比例集，最终为了判断形成内金字塔文件还是外金字塔文件，需要生成金字塔时获取原图像的Driver对象由此得出文件格式。

本发明实现了基于云平台的地理信息存储系统的设计与实现，证明在Hadoop集群上采用HDFS和MapReduce构建地理信息系统的可行性和优越性，最终可达到HDFS上的高效图像切割和存储。分布式文件系统将集群间硬件结合，利用了Hadoop高性能及大吞吐量的优势。而大型图像添加了金子塔文件的存储，很大程度上减少了可视化读取的所耗费时间。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于云平台的地理信息存储系统，其特征在于，基于openstack云平台，并使用Hadoop架构，包括三层结构：用于数据处理的编程模型MapReduce、分布式文件系统HDFS和面向列的分布式数据库HBase；该地理信息存储系统包括：

一存储系统：接受原始图像数据后针对原始数据随机进行以下两种存储方式存储于HDFS中：

选择方式一：固定分块数分割存储方式，该方式的具体方法是将当前图像根据用户所设定的宽的分割数目M和高的分割数目N，将原始图像分割成大小相等的M*N块，其中，宽和高为M*N的固定块为标准快；剩余的边界块为不足以一个或大于一个且小于两个的固定块；

选择方式二：固定块大小分割存储方式：该方式的具体方法是将当前图像根据用户所设定每个分割块的高和宽，将图像就分割成等大小的块；

一调用系统：首先基于HDFS的图像重采样后建立一个影像金字塔，然后进行调取；所述影像金字塔的建立方法如下：定义原始图像位于金字塔顶层，且金字塔为n层，通过相邻像素重采样，实现中将其每四个相邻像素融合为一个像素，然后获得具有原分辨率四分之一的下层图像文件，但是图像的可视范围不变，与上层图像文件相同；由此可知，最顶层的金字塔影像分辨率达到当前显示设备的最高分辨率；最顶层的分辨率为1:M，能快速调用的最小分辨率满足2^n-1:M；所以在用户观看者屏幕分辨率一定时，可以根据要求的可视范围选择对应图层；图像金字塔将在用户第一次请求调用图像时建立，并适用于其后用户的相关调用。

2.根据权利要求1所述的一种基于云平台的地理信息存储系统，其特征在于，所述存储系统中，选择方式一和选择方式二均基于相同的切割方法：采用GDAL库对图像进行操作，这个库是一个在X/MIT许可协议下的开源栅格空间数据转换库；两种方式所分割的块都会按行和列进行由0开始的标号，当分割好的图被传输至HDFS后，按照图像名称+横轴标号+纵轴编号的方法被命名；所有分块将被存放在同名的文件夹中，遥感信息图像的元数据也将被传送至此；在分块方式上，由于块大小始终大于分块数，固定分块数方法最后一列和最后一行与其他块大小的差距远小于固定块大小的分割方法；所以，在除对分块大小有特殊规定的情况下，使用固定分块数大小切割的块更为均匀。

3.根据权利要求1所述的一种基于云平台的地理信息存储系统，其特征在于，所述调用系统中，图像重采样是即将高分辨率遥感影像中处理得到低分辨率影像；实验将对图像进行不同比例的重采样缩放，且线性拉伸为8位图；重采样之后的图像可以看做一个大稀疏矩阵；然而在矩阵运算时，稀疏阵所有0的位置都占用了内存空间，但计算时却不会被使用到；所以，要对稀疏矩阵进行加工，使其成为密集矩阵；最后将转化好的密集阵与给出的矩阵进行运算得到最终结果或者图像；具体是使用两次MapReduce对运算进行优化，分别位于重采样和矩阵乘法；遥感影像被3*3分割存储于HDFS中；在Hadoop集群上，不再使用传统方式进行拼图处理，而是9个图像块分为9片同时进入MapReduce的map方法进行并行重采样；当9个reduce方法都运行完毕，矩阵转为密集阵，再将矩阵使用第二次map转化为<坐标，值>的键值对，最后发送给reduce方法进行矩阵乘法。

4.根据权利要求1所述的一种基于云平台的地理信息存储系统，其特征在于，重采样基于双线性内插法或最邻近法或三次卷积法。

5.根据权利要求1所述的一种基于云平台的地理信息存储系统，其特征在于，所述调用系统中，已形成由底至上分层式，数据量由大之小，视野由小至大的金字塔结构；每一层金字塔都有其对应的分辨率，当用户对图像进行放大、缩小等操作时，若当前的可视范围不与此图层的分辨率相匹配，则会调整为金字塔分辨率与此最相近的一张进行显示；金字塔是逐级递减存储栅格文件的有效方法；可以通过简单的查询图像坐标和分辨率计算就可以显示对应区域契合分辨率的图像；因为一般计算机的分辨率远小于卫星图像的分辨率，所以使用金子塔文件可以防止打开图像时就加载原图，而是在对一部分进行放大时，才逐渐更换小区域分辨率大的图像，节省的加载预览的时间。