CN111291016B - 一种海量遥感影像数据分层混合存储与索引方法 - Google Patents

Abstract

一种海量遥感影像数据分层混合存储与索引方法。涉及地理信息技术应用领域，具体涉及一种对海量遥感影像数据进行分层混合存储与索引的方法。提供了一种数据结构紧凑、节省存储空间且能高效索引数据的海量遥感影像数据分层混合存储与索引方法。本发明建立了一种海量遥感影像数据分层混合存储与索引的方法，在满足海量遥感影像数据存储空间需求的同时，使数据的结构更加紧凑，节省存储空间。为提高数据的存储效率，本发明结合数据存储模型，设计结合存储数据特点的索引方法，为数据的高效索引与服务提供支撑。

Description

一种海量遥感影像数据分层混合存储与索引方法

技术领域

本发明涉及地理信息技术应用领域，具体涉及一种对海量遥感影像数据进行分层混合存储与索引的方法。

背景技术

随着航天与对地观测技术的不断发展，遥感技术已经成为人们对空间探测及地表信息获取的重要手段，在资源调查、环境评估、灾害预测、国土管理、城市规划、交通运输等领域发挥着越来越重要的作用。当前多元、多尺度、多时相的遥感影像不断富集，遥感影像数据的规格较早先有了很大的提高，影像数据体量飞速增长，具有更新速度快、数据量大、数据结构复杂等特点。由于传统遥感影像存储与管理方式能力的不足，海量的遥感影像不断产生堆积，其潜在的应用价值难以被发掘。

为解决影像数据的存储问题，许多学者都在影像数据存储方面进行过相关研究，并取得了一定的研究成果。李爽等人基于多级信息网格对遥感影像数据的存储进行了研究，结合GeoSOT提出了设计的遥感数据组织方案，并首次在关系型数据库中增加数组数据类型的剖分网格编码列，来存储遥感影像元数据中空间信息，对数据进行逻辑剖分索引，从而实现影像数据的统一存储与空间区域检索（李爽等，2016）。由于影像数据量的增长，采用关系型数据库存储遥感影像数据的存储方式逐渐被淘汰。目前，海量遥感影像数据一般采用分布式存储的方式进行组织，将遥感影像数据存储与计算分发到多个节点上，充分扩展管理系统的存储和计算能力。池子文等提出了一种基于影像块组织的遥感数据分布式存储方法，该方法以HDFS MapFile为基础，按影像的格网切分模型进行数据存储，达到了较高的的检索效率（池子文，2014）。陈时远、林峰等研究了基于HDFS的分布式海量遥感影像数据存储技术，提出了结合MapReduce模型构建四叉树索引的存储方法（陈时远，2013；林峰，2016）。基于分布式存储和计算的解决方案为海量遥感数据的管理与应用带来了新的解决思路。

现有的遥感影像存储和索引方法，在存储容量、可扩展性和数据的耦合性方面都存在不同程度的缺陷。传统关系型数据库或者关系数据库加中间件的方式都存在对非结构化数据支持较差的问题，高光谱、高分辨率遥感数据的规格远超过其存储能力范围。网络存储虽然具有很大的存储容量，但是面对海量的遥感影像数据时，也很容易触及性能瓶颈，而且由于没有体系的数据组织和访问手段，其数据传输和访问速度均无法很好地适应海量遥感数据访问的情况。现有的基于分布式存储技术的存储方案，其数据耦合性较低、数据结构不紧凑，造成很多不必要的存储资源消耗，在解决存储容量不够问题的同时，带来了存储成本增加的问题。在影像索引方面，由于数据存储的松耦合，索引的效率较低，还有进一步提升的空间与必要性。

发明内容

本发明针对以上问题，提供了一种数据结构紧凑、节省存储空间且能高效索引数据的海量遥感影像数据分层混合存储与索引方法。

本发明的技术方案是：包括影像数据存储方法与影像数据索引方法，所述影像数据存储方法包括以下步骤：

1）对待处理遥感影像进行信息处理，获得遥感影像的元数据；

2）构建分布式存储环境，以分布式文件系统为存储基础，构建Hadoop分布式文件系统；

3）构建分布式计算环境，以分布式内存计算框架为基础，构建Spark分布式计算系统；

4）读取遥感影像分辨率、坐标系统和数据格式信息，利用分布式计算对影像数据进行全局切分，切分时自定义默认数据切分大小；

5）获取遥感影像图层的元信息；

6）构建遥感影像数据切片的图层布局模型，将获取的分布式切分格网按照预定浮动布局模式进行空间划分；

7）定义图层缩放布局缩放布局模式；

8）对读取的影像分块进行坐标转换；

9）遥感影像金字塔建模，对经过坐标转换后的影像数据进行金字塔模型切分；采用倍率为4的上采样方法逐层得到影像瓦片数据，当最后一层瓦片数据的大小满足自定义的影像分块大小后，停止影像的切分；在金字塔影像切分的过程中，各层级的坐标范围、空间分辨率和影像瓦片数据数量作为元数据信息定义为V_Metadata，记元数据实际长度为S_Metadata，将数据长度信息存储在64位长整形对象中；

所述影像数据索引方法包括以下步骤：

a）从构建的金字塔模型最顶层图层开始，自顶向下准备将金字塔模型中各图层的瓦片数据写入HDFS的MapFile中；

b）构建数据索引队列，分别对元数据和瓦片的数据寻址位置进行标识，索引队列中定义P_M指向数据队列中元数据存储的位置，K_M为P_M所对应的键值，序列{K₀，K₁，…，K_n}分别为各遥感影像瓦片的空间填充索引码；分别通过指针P_k指向数据队列中相应下标的影像瓦片的存储位置，序列{ P₀，P₁，…，P_n }即为对应的位置指针；

c）在整个金字塔模型影像各图层元数据信息存储完成后，形成的分布式文件数据块按照Hash（哈希）算法均衡分布到HDFS中的各个节点；

d）数据服务发布后，按照数据键值、填充索引码和瓦片位置指针对遥感影像瓦片进行高速索引。

所述影像数据索引方法步骤a）具体如下：即对影像瓦片数据添加空间索引，首先采用空间填充曲线进行构建，然后选用RowMajor、Z-Order或Hilbert之一的曲线构建图层瓦片索引，将添加索引后的瓦片二进制数据序列{tile₀, tile₁,…, tile_n}和对应的长度序列{L₀，L₁，…，L_n}按数据加长度间隔的形式进行数据组织，其中长度都采用64位长整型进行保存。

本发明建立了一种海量遥感影像数据分层混合存储与索引的方法，在满足海量遥感影像数据存储空间需求的同时，使数据的结构更加紧凑，节省存储空间。为提高数据的存储效率，本发明结合数据存储模型，设计结合存储数据特点的索引方法，为数据的高效索引与服务提供支撑。

附图说明

图1是本发明遥感影像分布式切分方法流程图；

图2是本发明遥感影像瓦片存储与索引方法的结构图。

具体实施方式

下面结合图1-2详细表述本发明，包括影像数据存储方法与影像数据索引方法；

如图1所示，影像数据存储方法包括以下步骤：

1）对待处理遥感影像进行信息提取，获得遥感影像的元数据，包括影像ID、影像名称、影像文件存储路径、获取时间、文件大小、波段或缩略图；在关系型数据库中创建对应的iDataName（数据名）、iEdition（版本）、iFormatName（格式）、iAbstract（摘要）、iProject（工程）、iOwnEntity（所属实体）、iGroudResolution（分辨率）、iCoordUnit（坐标系统）、rVertDatum（高程系统）、rGeoDatum（地理参考）、cTeTime（创建时间）、cImageCoverage（影像覆盖范围）等字段；影像数据按拍摄时间、地理位置和数据原始结构等信息的查询都是基于关系型数据实现的，由于关系型数据库具备较高的响应能力，对数据规则且占用空间较小的元数据具有很好的适应性，因此通过将影像的全局元信息记录存储在关系型数据库中，以实现快速影像查询。

2）构建分布式存储环境，以DFS（分布式文件系统）为存储基础，在实例中应用Hadoop分布式文件系统HDFS，本发明所持支持的影像存储系统还可以是除HDFS以外的分布式文件系统；

3）构建分布式计算环境，以分布式内存计算框架为基础，在实例中采用Spark分布式计算系统，本发明所支持的影像计算系统还可以是Spark以外的分布式内存计算系统；

4）利用Spark读取遥感影像分辨率、坐标系统和数据格式信息，利用分布式计算对影像数据进行全局切分，构建有向无环图处理流程，切分时可设定默认的数据切分大小，例如，设置切分大小为256或512的正方形格网。在处理过程中，遥感影像的存储为服务发布而优化设计，在影像的处理过程中，需要获取影像必要的属性信息，包括影像范围大小、像素类型大小、影像地理边界等信息，由于影像服务实际运行与网络环境中，对影像大小按照适当比例进行切分是必须的；

5）获取读入遥感影像的基础元信息，包括图层范围、像素值类型、像素大小、图层边界和图层投影；

6）构建遥感影像数据图层切分布局模型，将获取的分布式切分格网按照预定FloatingLayoutScheme（浮动布局模式）进行空间划分；FloatingLayoutScheme中定义影像瓦片切分的大小，对影像进行初步切分，但不具备缩放功能。

7）定义图层缩放布局ZoomedLayoutScheme（缩放布局模式）；ZoomedLayoutScheme中定义了向上和向下zoom缩放功能；

为方便后续影像金字塔模型的构建，需要对遥感影像进行适当的预划分处理，FloatingLayoutScheme按照指定划分大小对应性进行粗粒度划分，ZoomedLayoutScheme在前面的基础上进一步为影像提高zoom缩放方法，为影像的浏览提供支撑。

8）对读取的影像分块进行坐标转换；影像瓦片服务需要基于WEB墨卡托球面坐标投影进行发布，故需对原始影像进行坐标转换，使得转换后的数据坐标系属性变为WEB墨卡托球面投影，具体的转换操作借助现有成熟的开源转换工具实现。

9）对经过坐标转换后的影像数据进行金字塔模型切分；采用倍率为4的上采样方法逐层得到影像瓦片数据，当最后一层瓦片数据的大小等于自定义的影像分块大小后，停止影像的切分即重采样的停止标志是最上层的影像瓦片只包含一个本发明中定义的金字塔分层瓦片。

在金字塔影像切分的过程中，各层级的坐标范围、空间分辨率和影像瓦片数据数量作为元数据信息定义为V_Metadata，记元数据实际长度为S_Metadata，将数据长度信息存储在64位长整形对象中；

在实施过程中，分布式遥感影像的金字塔切分是数据服务构建的关键，该影像数据处理方法采用标准的影像瓦片切分服务接口，对遥感影像进行分层建模，包含递归的重采样过程，至最后一层影像不能继续切分时（大小等于定义的切片大小），则停止影像瓦片的切分。

如图2，影像数据索引方法包括以下步骤：

a）从构建的金字塔模型最顶层图层开始，自顶向下准备将金字塔模型中各图层的瓦片数据写入HDFS的MapFile中；在获得完成遥感影像金字塔切分的影像瓦片后，抽取金字塔模型中各图层的坐标范围、空间分辨率和瓦片数量作为图层元信息，将该元信息定义为V_Metadata，其长度定义为S_Metadata。

本步骤中将遥感影像金字塔模型中各图层的元数据信息存储在MapFile中，是为后续服务数据的读取提供支持，因此分别记录了元数据和元数据的长度，实际存储时将图层的元数据长度信息存储在固定的64位长整型数据对象中。

b）构建数据索引队列，将图层元数据信息和瓦片数据信息进行融合，分别对元数据和瓦片的数据寻址位置进行标识，索引队列中定义P_M指向数据队列中元数据存储的位置，K_M为P_M所对应的键值，序列{K₀，K₁，…，K_n}分别为各遥感影像瓦片的空间填充索引码；分别通过指针P_k指向数据队列中相应下标的影像瓦片的存储位置，序列{ P₀，P₁，…，P_n }即为对应的指针；

在处理过程中，数据的存储和数据的存储和索引彼此分离，包括元数据和瓦片数据在内的所有数据，按照定义的格式进行组织，索引与之对应，在访问时结合空间填充曲线构建的索引能快速定位到所查询数据的具体位置，结合位置指针可以定位到元数据或瓦片的长度信息，按照给定的长度进行数据读取，即可获得需要访问的影像瓦片数据；

c）在整个金字塔模型各图层的数据信息存储完成后，形成的文件数据块按照Hash算法均衡分布到HDFS中的各个节点；结合步骤2）将遥感影像金字塔瓦片图层数据按照自定向下的顺序进行拼接形成数据块，结合Hash算法将数据块均衡地存储在分布式文件系统地各节点中。

数据拼接后将被存储在HDFSMapFile中，并按照默认的数据块大小进行数据分块存储，为避免数据倾斜，结合Hash或其他经典优化分区分配算法对数据块进行分发。

d）数据服务发布后，按照数据键值、填充索引码和瓦片位置指针对遥感影像瓦片进行高速索引。数据存储完成后基于分布式存储环境进行影像的读取，首先通过K_M获取元数据的存储位置P_M的值，结合元数据信息计算瓦片的真实坐标跨度（BS_x, BS_y），根据访问时的请求边界计算影像块的范围，获取瓦片块的索引码范围，以Png或Jpg的形式返回请求结果。

在本发明中，分布式环境中真正的文件I/O操作是直接和数据节点进行交互的，因此，可以实现良好的负载均衡能力，大大提高多用户并发请求时系统的吞吐率，结合Png、Jpg等返回数据可以快速实现服务的共享。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

影像数据索引方法步骤具体如下：即对影像瓦片数据添加空间索引，采用空间填充曲线进行构建，可选用RowMajor、Z-Order或Hilbert曲线任意一种构建图层瓦片索引，将添加索引后的瓦片二进制数据序列{tile₀, tile₁,…, tile_n}和对应的长度序列{L₀，L₁，…，L_n}按数据加长度间隔的形式进行数据组织，其中长度都采用64位长整型保存。如图2所示，具体步骤如下：

1）对获得的影像瓦片数据从金字塔模型最上层图层开始，循环递归地对各图层进行空间索引地构建，在分布式计算框架下对图层影像瓦片数据添加索引，实施中采用空间填充曲线对瓦片进行索引；

为保证影像瓦片的索引效率，而又不使计算复杂度的显著增长，引入空间填充曲线来构建空间索引。空间填充曲线为空间数据提供了一种一维排序地方法，实施时可选用RowMajor、Z-Order或Hilbert填充曲线中任意一种构建图层瓦片索引。

2）在各图层中，将添加索引后的瓦片二进制数据序列{tile₀, tile₁,…, tile_n}和对应的瓦片数据大小序列{L₀，L₁，…，L_n}按数据-长度交替间隔的形式进行数据拼接组织，其中瓦片长度的存储都采用64位长整型；

影像处理产生的所有数据都将存储在分布式文件系统中，由于分布式文件系统中数据的存储是按照数据块进行组织的，故需将影像处理产生的瓦片数据按照紧凑的存储格式进行拼接，便于数据的按块存储压缩。

本发明针对海量遥感影像数据的特点，对遥感影像进行分布式切分构建金字塔模型，通过将元数据和影像数据的分离，对影像数据的存储模型进行优化设计，实现遥感影像的混合存储，结合分布式文件系统的特点，设计实现的影像瓦片分布式存储模型，将遥感影像金字塔分层瓦片数据紧凑地存储在文件系统中，避免了影像数据存储对硬件需求的爆发式增长，同时通过结合分布式数据存储模型的特点，构建了空间影像索引，加速了遥感影像服务数据的检索速率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种海量遥感影像数据分层混合存储与索引方法，包括影像数据存储方法与影像数据索引方法，其特征在于，

所述影像数据存储方法包括以下步骤：

1）对待处理遥感影像进行信息处理，获得遥感影像的元数据；所述待处理遥感影像信息包括影像ID、影像名称、影像文件存储路径、获取时间、文件大小、波段或缩略图，所述遥感影像的元数据为：在关系型数据库中创建对应数据名、版本、格式、摘要、工程、所属实体、分辨率、坐标系统、高程系统、地理参考、创建时间和影像覆盖范围字段；

2）构建分布式存储环境，以分布式文件系统为存储基础，构建Hadoop分布式文件系统；

3）构建分布式计算环境，以分布式内存计算框架为基础，构建Spark分布式计算系统；

4）读取遥感影像分辨率、坐标系统和数据格式信息，利用分布式计算对影像数据进行全局切分，切分时自定义默认数据切分大小；

5）获取遥感影像图层的元信息；包括图层范围、像素值类型、像素大小、图层边界和图层投影；

6）构建遥感影像数据切片的图层布局模型，将步骤4）进行全局切分获取的分布式切分格网按照预定浮动布局模式进行空间划分；

7）定义图层缩放布局缩放布局模式；具体为：利用ZoomedLayoutScheme缩放布局模式，并在ZoomedLayoutScheme缩放布局模式中，向上和向下zoom缩放功能；

8）对读取的影像分块进行坐标转换；

9）遥感影像金字塔建模，对经过坐标转换后的影像数据进行金字塔模型切分；采用倍率为4的上采样方法逐层得到影像瓦片数据，当最后一层瓦片数据的大小满足自定义的影像分块大小后，停止影像的切分；在金字塔影像切分的过程中，各层级的坐标范围、空间分辨率和影像瓦片数据数量作为元数据信息定义为V_Metadata，记元数据实际长度为S_Metadata，将数据长度信息存储在64位长整形对象中；

所述影像数据索引方法包括以下步骤：

a）从构建的金字塔模型最顶层图层开始，自顶向下准备将金字塔模型中各图层的瓦片数据写入HDFS的MapFile中；

b）构建数据索引队列，分别对元数据和瓦片的数据寻址位置进行标识，索引队列中定义P_M指向数据队列中元数据存储的位置，K_M为P_M所对应的键值，序列{K₀，K₁，…，K_n}分别为各遥感影像瓦片的空间填充索引码；分别通过指针P_k指向数据队列中相应下标的影像瓦片的存储位置，序列{ P₀，P₁，…，P_n }即为对应的位置指针；

c）在整个金字塔模型影像各图层元数据信息存储完成后，形成的分布式文件数据块按照Hash（哈希）算法均衡分布到HDFS中的各个节点；

d）数据服务发布后，按照数据键值、填充索引码和瓦片位置指针对遥感影像瓦片进行高速索引。

2.根据权利要求1所述的一种海量遥感影像数据分层混合存储与索引方法，其特征在于，所述影像数据索引方法步骤a）具体如下：即对影像瓦片数据添加空间索引，首先采用空间填充曲线进行构建，然后选用RowMajor、Z-Order或Hilbert之一的曲线构建图层瓦片索引，将添加索引后的瓦片二进制数据序列{tile₀, tile₁,…, tile_n}和对应的长度序列{L₀，L₁，…，L_n}按数据加长度间隔的形式进行数据组织，其中长度都采用64位长整型进行保存。

Images