CN111125392B - 一种基于矩阵对象存储机制的遥感影像存储、查询方法 - Google Patents

Abstract

本发明公开了一种基于矩阵对象存储机制的遥感影像存储、读取方法，属于存储检索领域，存储方法包括：将遥感影像元数据、投影带号和访问热度以键值对形式存储；其中，投影带号为遥感影像波段数据在高斯‑克吕格投影坐标系下的投影带号；提取遥感影像的云覆盖信息，并将遥感影像波段数据和提取到的云覆盖信息转换为密集型矩阵数据；以分布式对象存储容器存储属于同一传感器平台对应的密集型矩阵数据。本发明支持对任意小的感兴趣区域的影像块进行获取，能够有效减小多余影像块的冗余存储，在最小化存储代价的情况下，提升用户对遥感影像感兴趣区域影像块的查询效率。

Description

一种基于矩阵对象存储机制的遥感影像存储、查询方法

技术领域

本发明属于存储检索领域，更具体地，涉及一种基于矩阵对象存储机制的遥感影像存储、查询方法。

背景技术

随着陆地卫星遥感技术的高速发展，遥感影像在对地观测各个领域得到普遍应用，并取得良好效果。对地观测是指以地球为观测对象，依托卫星、航天航空飞机、无人机等空间平台，利用可见光、红外、高光谱以及微波等技术手段，获取信息并进行处理和生成产品的过程。上述空间平台获得的遥感影像数据来源广泛、种类繁多且结构复杂，如何存储和管理好这些遥感影像是为对地观测应用提供在线服务和释放其数据价值的关键。

现有三种常见的遥感影像存储管理系统，第一种是基于分布式存储系统对遥感影像分块进行组织，具体方法是：首先，对影像进行分层分块组织，以便用户根据需要对特定分辨率层级、特定空间区域范围的影像块进行快速访问；然后，对各分辨率影像块进行统一编码，将多维影像块空间映射到一维空间中，并采用二级索引结构对得到的一维编码进行快速检索；第二种是综合使用分布式文件系统、在线磁盘整列以及离线磁盘等存储环境，基于大数据架构对遥感数据资源进行存储管理。第三种是采用传统关系型数据库存储大的二进制数据或者直接以文件形式存储在磁盘的方式，其主要问题是读取和写入遥感数据缓慢。

在线用户对影像块的请求多数情况下集中于影像覆盖空间范围的一个“小”局部区域，这种局部区域请求表现为通过遥感存储系统获取的像素可能小到单个像素，但现有的影像存储系统强迫访问影像的分块，导致冗余存储很多无必要的影像块，造成存储空间的巨大浪费，不仅带来额外的处理负担，还使得网络传输的代价巨大。

发明内容

针对现有技术的以上不足的改进需求，本发明提供了一种基于矩阵对象存储机制的遥感影像存储方法，其目的在于在最小化存储代价的情况下，提升用户对遥感影像感兴趣区域影像块的查询效率。

为实现上述目的，按照本发明的一个方面，提供了一种基于矩阵对象存储机制的遥感影像存储方法，包括：

S1.将遥感影像元数据、投影带号和访问热度以键值对形式存储；其中，所述投影带号为遥感影像波段数据在高斯-克吕格投影坐标系下的投影带号；

S2.提取遥感影像的云覆盖信息，并将遥感影像波段数据和提取到的云覆盖信息转换为密集型矩阵数据；

S3.以分布式对象存储容器存储属于同一传感器平台对应的密集型矩阵数据。

进一步地，上述遥感影像元数据包括：传感器平台、经纬度坐标、波段名称、分辨率、成像日期、仿射变换参数、投影信息、栅格数据类型、行数、列数以及空间范围。

优选地，键值对的类型为字符串。

优选地，分布式对象存储容器为桶。

进一步地，步骤S2具体包括：

S2.1.根据遥感影像波段数据的行数、列数、波段名称、数据类型创建矩阵对象；

S2.2.采用Peano空间填充曲线索引方法对所述波段数据进行遍历提取，按顺序存储到一维数组中，并创建索引。

优选地，Peano索引的移动窗格为16*16。

本发明另一方面提供了一种基于矩阵对象存储机制的遥感影像查询方法，包括：

S01：解析用户提供的空间矢量查询请求，得到空间矢量对应的经纬度坐标；

S02：将上述经纬度坐标映射为高斯-克吕格投影坐标系下的坐标所属的投影带号；

S03：获取投影带号对应的影像元数据；

S04：根据空间矢量、投影带号和对应的影像元数据，构建密集型矩阵查询请求；

S05.根据上述查询请求，从分布式对象存储容器中查询得到影像数据。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明支持对任意小的感兴趣区域的影像块进行获取，只要最小的一个像素大于影像空间分辨率最小尺度，相比以景为单位以及以面积为单位的影像数据交易模式，本发明方法能降低用户对遥感数据的获取成本和使用门槛；同时相比现有强制访问影像分块的影像存储方法，本发明能够有效减小多余影像块的冗余存储，在最小化存储代价的情况下，提升用户对遥感影像感兴趣区域影像块的查询效率。

(2)本发明将用户最经常查询的热点区域遥感影像数据块，存放在多个节点中，在大量用户并发访问时，多个节点同时为多个用户服务，从而提升了大量用户并发访问相同感兴趣区域的速度。

(3)在云数据中心，磁盘失效导致数据不可访问的现象十分常见，因此本发明利用分布式对象存储系统的纠删编码技术将原始数据进行编码得到冗余，并将数据和冗余一并存储；假设n块原始数据通过计算得到m块冗余元素(校验块)(n＞＞m)，对于这n+m块的元素，当其中任意的m块元素出错时，均可以通过对应的重构算法恢复出原来n块数据。相比传统通过复制影像块将相同影像块存放在3n个以上不同的存储节点中的方法，本发明方法在同样大小的存储空间中，能够存储的遥感影像数量更大，单位存储密度的影像价值也更高。

(4)现有的遥感影像存储系统对影像块的更新是重新记录新的影像的所有信息到数据库中，并没有考虑到排除云覆盖信息时，相邻两到三天时间拍摄同一位置的影像所具有的像素有很多都是重复的，本发明通过提取云覆盖信息，避免对短时间内同一位置的影像重复存储，节约存储空间。

附图说明

图1是一种基于矩阵对象存储机制的遥感影像存储方法流程图；

图2(a)是以4*2大小的移动窗口，按照瓦片行优先、单元格行优的方式遍历4*4大小的矩阵示意图；

图2(b)是以2*2大小的移动窗口，按照瓦片行优先、单元格行优的方式遍历4*4大小的矩阵示意图；

图2(c)是以2*2大小的移动窗口，按照瓦片列优先、单元格行优先的方式遍历4*4大小的矩阵示意图；

图3是本发明提出的分布式对象存储架构；

图4是一种基于矩阵对象存储机制的遥感影像查询方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于矩阵对象存储机制的遥感影像存储方法，包括：

S1.将遥感影像元数据、投影带号和访问热度以键值对形式存储；

具体地，本发明实施例采用的键值对类型为字符串，以便于系统交互。“键”使用字符串存储影像波段在高斯-克吕格投影坐标系下100平方公里空间范围内的投影带号、成像日期、波段名以及分辨率。“值”用来存储单个影像波段的信息，包括仿射变换、投影信息、栅格类型、空间范围、行数和列数；

传统遥感影像管理方法将每一时刻获得的影像单独存放，忽视了可以存储某个“局部”的需求，“局部”是指那些发生变化的影像块可能在特定的地理空间范围。此外，热点地区影像块的查询和分发功能也是对地观测应用的重要需求，例如水利、地质灾害等部门需要访问热点区域的影像块。本发明在影像元数据中增加一个访问热度与范围属性。这样，当访问某一影像的次数增加时，访问热度属性会增加，矩阵数据库会根据该热度描述的空间范围属性合理的安排缓存，以及组织数据在物理介质上更好地进行存储。

实际应用中遥感影像元数据呈爆炸式增长，而分布式键值对存储具有高度的可扩展性、高可用性：可扩展表现为对任意键的访问不会因为数据量的增大而增大访问延时；高可用表现在任意键在任意时刻都是可访问到的。因此，本发明采用分布式键值对存储遥感影像元数据。

S2.提取遥感影像的云覆盖信息，并将遥感影像波段数据和提取到的云覆盖信息转换为密集型矩阵数据；

步骤S2包括：

S2.1.根据遥感影像波段数据的行数、列数、波段名称、数据类型创建矩阵对象；

矩阵对象是一种用于描述矩阵的数据结构，它描述了一个矩阵的维数、每一维度的名称和类型；其中矩阵名称由投影带号、波段名称、分辨率和影像获取时间构成；矩阵分为两种类型，一种是密集型矩阵，一种是稀疏型矩阵，区分方法是看矩阵的单元格中是否有空值，本发明将卫星影像的原始数据和云覆盖信息都存储于矩阵的单元格中，由于卫星遥感影像的每一个像素取值非空，因此得到的是密集型矩阵。

S2.2.采用Peano空间填充曲线索引方法对波段数据进行遍历提取，按顺序存储到一维数组中，并创建索引；

具体地，Peano空间填充曲线索引的移动窗格为16*16，一方面减少矩阵对象所占用的存储，另一方面增加网络传输效率。下面对具体的索引过程进行详细介绍：为了有效地存储和检索矩阵中的单元格数据，Peano空间填充曲线将矩阵分解为单元格数量相等的四边形(也叫瓦片)。举例说明，假设有一个4*4大小的矩阵，Peano空间填充曲线以4*2大小的移动窗口遍历该矩阵，如图2(a)所示，该矩阵被分为两个单元格数量都为8的相同大小瓦片，图中箭头表示将二维数组映射到一维数组时，如果瓦片遍历顺序和瓦片内部单元格遍历顺序都为行优先，从0到3行的前两列单元格将优先遍历，按照上述方式图中加粗和未加粗的两个瓦片将矩阵数据映射到一维数组上。同样地，假设用2*2大小的移动窗口遍历该矩阵，就会产生大小相等的4个瓦片，假设瓦片顺序和单元格顺序都是行优先，则Peano空间填充曲线的遍历如图2(b)所示，从左上到右上，从左下到右下。如果以同样2*2大小的移动窗口，按照瓦片列优先遍历的方式，以及单元格行优先遍历方式，如图2(c)所示，先左上再左下，接着右上和右下遍历完该矩阵。

以这种方式将矩阵数据映射到一维数组有以下两个优点：一是经过Peano空间曲线索引的单元格能更快速的定位数据：给定行列号，按照移动窗格的大小，能够计算出指定单元格在物理存储设备文件中的偏移。在物理存储设备中，对于含有多个属性的矩阵，会在相同的目录中为每个属性对应地按照Peano曲线顺序创建一个二进制文件，使得相邻矩阵单元的数据在文件中是连续的。本发明将对应的二进制文件称为属性数据文件，由于这些属性公用同一矩阵对象，在查询对应区域的多属性数据和查询单一属性数据的时间开销相同；二是支持压缩存储的同时，支持并行访问矩阵单元格，针对不同的属性文件可采用不同的压缩算法，因此，进一步节约了存储空间。

S3.以分布式对象存储容器存储属于同一传感器平台的矩阵数据；

采用分布式对象存储步骤S2得到的矩阵数据，主要基于以下两点考虑：传统文件系统强调对文件读写的一致性约束，但对于卫星遥感应用程序来说，这种一致性约束不是必须的。多用户访问相同文件，可能因为访问的先后顺序不同，读写的结果会不同，传统文件系统的底层通常包括复杂网络传输模块以及为保证这种一致性读写而广泛使用分布式锁机制造成的读写延迟。分布式对象存储的典型特征包括：所有对象共用一个扁平的名称空间，每一个对象都有一个全局唯一的对象编号；对象的元数据只是该对象的一个伴随描述，可以在任何时候被修改和删除；访问对象是原子的无状态操作。原子的无状态操作是指在对象的整个生命周期，该对象是不可改变的，要么存在要么不存在。容器中的对象可以是任意的文件、目录、图片甚至是数据库。本发明结合分布式对象存储容器的上述特征，将属于同一传感器平台的矩阵数据存放在相同的容器中。以哨兵影像为例，矩阵数据存放在哨兵对象容器中，用影像在高斯-克吕格投影坐标系的投影带号，影像获取时间、波段编号以及分辨率存储。对应地，在哨兵影像对象容器中的目录下，存放该矩阵数据的描述对象，以及一个带有时间戳的目录，并在该时间戳目录中存储按照Peano曲线顺序创建的二进制文件，其中时间戳支持便捷更新矩阵数据内容。

如图3所示，本发明实施例还提供了一种基于矩阵对象存储机制的遥感影像查询方法，解决如何在确定的时间范围内返回覆盖任意指定空间矢量区域影像块的技术问题，包括以下步骤：

S01：解析空间矢量查询请求；

空间矢量是表示地理实体间空间关系的数据结构。空间查询矢量是由用户定义的地理实体的一种抽象表示，通常会以KML、GeoJSON等格式进行存储。本发明接受传感器平台、开始时间以及结束时间、空间查询矢量的http请求，并解析出经纬度坐标。除http协议外，本发明方法也可采用其他网络传输协议。

S02.将上述经纬度坐标映射为高斯-克吕格投影坐标系下的坐标所属的投影带号；

将S01得到的经纬度坐标作为输入，通过高效的多维空间点索引算法将其映射成高斯-克吕格投影坐标系下的投影带号对应的坐标。由于直接数学转换投影带号的处理过程的算法时间复杂度为o(1)，在实际环境中，经常在几十微秒返回，因此该处理过程的时间消耗可以近似等于一个很小的常数，提高检索效率。

S03.获取投影带号对应的影像元数据；

考虑到针对元数据更新的频率较小，本发明使用二层LSM-tree模型管理元数据查询。在LSM-tree模型的第一层是内存组件，负责针对元数据的更新、插入和删除请求，如果第一层内存组件的空间满，则将元数据中最近最少访问的元数据置换到第二层；第二层是磁盘存储层，负责将置换过来的元数据按照是否重叠，进行元数据归并操作。在第一层中存放的多数都是新插入以及最近最经常使用到的元数据。因此，这一层的查询操作的时间复杂度是O(logn)。

S04.根据查询矢量、投影带号和影像元数据，构建密集型矩阵查询请求；

依据步骤S01-S03获取到的查询矢量、投影带号、影像元数据，将对影像块的查询请求转换对矩阵数据的查询请求。具体过程如下，根据投影带号，依次遍历影像元数据对应的矩阵数据，由于矩阵的名称由投影带号、日期、波段分辨率组合而成，在遍历影像元数据的同时发出矩阵数据查询请求。

S05.根据上述查询请求，从分布式对象存储容器中查询得到影像数据；

上述存储方法中分布式对象存储使用一致性哈希(Hash)算法定位矩阵对象，一致性Hash算法不依赖于中心节点管理元数据，因此，本发明采用的分布式对象存储具有高度的可扩展性，矩阵和其元数据都存在相同的存储节点上。如图4所示：节点先进行Hash运算，每次将矩阵存储在哈希环中离该节点Hash值最近的节点上。当查询服务请求到来时，中间服务模块会决定由哪个矩阵存储节点响应该服务请求，由该节点返回给查询服务请求结果。因为对节点对象的请求使用的都是http协议，因此，很容易扩展在多个节点上运行相同的中间服务模块，这样就不会存在单点失败导致查询不可用的问题。另一方面，在分布式节点中，由桶存储节点，这些桶存储节点作为矩阵分组管理的容器单元，对这些矩阵分组的访问也用同样的Hash运算进行定位，能够有效提高矩阵定位速度。

为了验证本发明的存储方法对遥感影像的查询是否满足对地观测应用的实时响应需求，本发明实施例在CPU为Intel(R)Core(TM)i7 950@3.07GHz的机器上实施该方法。遥感影像文件的存储方式以局域网中的共享文件系统作为物理存储设施以模拟网络环境。采用一个吞吐率为1000MB/s的华为交换机组网，以湖北恩施自治州咸丰县为空间查询矢量，查询2018年到2019年Sentinel2卫星影像，分别观察在多个客户请求并发下的读延迟，以及吞吐率。读延迟是指从客户发出请求到收到响应的平均时间，吞吐率是指多线程并发访问，系统为所有用户返回的影像数据总大小。如下表1所示，在线程数增加的情况下，读延时是缓慢增加的，而吞吐率则相反，逐渐加大。在遥感数据存储管理系统的底层，使用了Inte1线程构建影像块，每个并发的查询请求都会由该线程构建影像块进行处理，处理的逻辑如步骤S01-S05，在首次读影像块的数据时，延迟3s左右返回结果，后续的读请求返回存储于内存中的影像块，因此读延迟并没有上升的趋势；在吞吐率方面，由于缓存影像块从内存直接返回，吞吐率也相应的增加。另外，为了跟踪Peano空间填充曲线的移动窗口大小对影像读延迟的影响，本发明使用2*2、4*4、8*8、16*16、32*32的移动窗口大小在矩阵数据管理方法的底层，将遥感影像块进行矩阵化存储。结果显示，采用2*2大小的窗口索引影像块数据，读延迟为3876ms；采用4*4大小的窗口读取同样矢量块的影像时，读延时为2217ms；移动窗口的大小增加到16*16时，读延迟为1561ms。到32*32时，读影像块的延时增加到2017ms。一方面，增加移动窗口大小，索引同样大小的遥感影像，其矩阵对象中对应的索引数据量更小；另一方面，当窗口较大时，一次读取的影像块多，但与此同时也会增加网络的传输开销。由于本发明采用TCP方式返回结果，大小适中的窗口(本发明实施例为16*16)有利于在维持矩阵对象大小的情况下，使得网络传输效率不会因为网络负载增加而降低。

线程数	读延迟(ms)	吞吐率(MB/s)
			10	3111	1540
20	3217	2114
			30	3223	2456
40	3268	2890
			50	3210	3420

表1

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于矩阵对象存储机制的遥感影像存储方法，其特征在于，包括：

S1.将遥感影像元数据和投影带号以键值对形式存储；其中，所述投影带号为遥感影像波段数据在高斯-克吕格投影坐标系下的投影带号，并以键的形式存储；

所述遥感影像元数据包括：传感器平台、经纬度坐标、波段名称、分辨率、成像日期、仿射变换参数、投影信息、栅格数据类型、行数、列数以及空间范围；

所述波段名称、所述分辨率和所述成像日期以键的形式存储，所述仿射变换参数、所述投影信息、所述栅格数据类型、所述行数、所述列数和所述空间范围以值的形式存储；

所述遥感影像元数据中增加有访问热度属性，当访问某一影像的次数增加时，访问热度属性增加；将用户最经常查询的热点区域遥感影像数据块存放在多个节点中；

S2.提取遥感影像的云覆盖信息，并将遥感影像波段数据和提取到的云覆盖信息转换为密集型矩阵数据，矩阵名称由所述投影带号、所述波段名称、所述分辨率和所述成像日期构成；

S3.以分布式对象存储容器存储属于同一传感器平台对应的密集型矩阵数据。

2.根据权利要求1所述的一种基于矩阵对象存储机制的遥感影像存储方法，其特征在于，键值对的类型为字符串。

3.根据权利要求1所述的一种基于矩阵对象存储机制的遥感影像存储方法，其特征在于，所述分布式对象存储容器为桶。

4.根据权利要求1所述的一种基于矩阵对象存储机制的遥感影像存储方法，其特征在于，步骤S2具体包括：

S2.1.根据遥感影像波段数据的行数、列数、波段名称、数据类型创建矩阵对象；

S2.2.采用Peano空间填充曲线索引方法对所述波段数据进行遍历提取，按顺序存储到一维数组中，并创建索引。

5.根据权利要求4所述的一种基于矩阵对象存储机制的遥感影像存储方法，其特征在于，Peano索引的移动窗格为16*16。

6.一种基于矩阵对象存储机制的遥感影像查询方法，其特征在于，包括：

S01：解析用户提供的空间矢量查询请求，得到空间矢量对应的经纬度坐标；

S02：将上述经纬度坐标映射为高斯-克吕格投影坐标系下的坐标所属的投影带号；

S03：获取投影带号对应的遥感影像元数据；其中，所述遥感影像元数据中增加有访问热度属性，当访问某一影像的次数增加时，访问热度属性增加；用户最经常查询的热点区域遥感影像数据块被存放在多个节点中；

其中，所述投影带号为遥感影像波段数据在高斯-克吕格投影坐标系下的投影带号，并以键的形式存储；

所述遥感影像元数据包括：传感器平台、经纬度坐标、波段名称、分辨率、成像日期、仿射变换参数、投影信息、栅格数据类型、行数、列数以及空间范围；

所述波段名称、所述分辨率和所述成像日期以键的形式存储，所述仿射变换参数、所述投影信息、所述栅格数据类型、所述行数、所述列数和所述空间范围以值的形式存储；

S04：根据空间矢量、投影带号和对应的遥感影像元数据，构建密集型矩阵查询请求；其中，密集型矩阵数据由遥感影像的云覆盖信息和遥感影像波段数据转换得到，矩阵名称由所述投影带号、所述波段名称、所述分辨率和所述成像日期构成；

S05.根据上述查询请求，从分布式对象存储容器中查询得到影像数据。

Images