CN110599490A - 一种遥感影像数据存储方法和系统 - Google Patents
一种遥感影像数据存储方法和系统 Download PDFInfo
- Publication number
- CN110599490A CN110599490A CN201910823700.3A CN201910823700A CN110599490A CN 110599490 A CN110599490 A CN 110599490A CN 201910823700 A CN201910823700 A CN 201910823700A CN 110599490 A CN110599490 A CN 110599490A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- image data
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种遥感影像数据存储方法,包括:获取遥感影像数据,并利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引值;利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;以Key‑Value键值对的形式将降维处理后的所述栅格进行分布式存储。本发明还公开一种遥感影像数据存储系统。采用本发明实施例,能有效将海量的遥感影像数据存储到分布式数据存储数据库中,提高入库效率,且能够根据不同分辨率的请求调取不同层级的瓦片数据,提供高效的索引来读取、查询这些瓦片数据。
Description
技术领域
本发明涉及遥感技术领域,尤其涉及一种遥感影像数据存储方法和系统。
背景技术
随着遥感技术的快速发展,多传感器、多时相、高空间分辨率、高光谱分辨率的遥感数据量也越来越多、数据类型也越来越复杂,包含非成像高光谱反射率数据、卫星遥感影像数据、研究区属性数据等。由于遥感数据周期性全方位积累,每天都有大量的遥感影像被获取,遥感数据体量十分庞大,若对某一地区多个时期不同类型遥感数据综合分析、融合处理,其数据量将成几何倍数增长。现有的遥感数据存储与管理方式主要可以分为两类:集中式的文件系统存储管理、基于传统关系数据库的分布式存储管理。
(1)基于卫星条带的集中式文件存储管理,把海量遥感数据存储到中央服务器上,通过操作系统的文件对遥感数据进行组织和管理比较典型的有Windows的NTFS文件系统、Linux的Ext文件系统等。但是,遥感数据冗余度高、造成存储占用空间极大;跨网传输时,受限于网络宽带的影响,共享效率低;当存放影像过多时,存放混乱,检索难度大,对海量数据的快速访问和查找能力存在明显不足。
(2)依托传统关系型数据库构建的海量遥感影像数据存储管理系统,这种方式有两种实现途径:第一种对关系型数据库管理系统进行空间扩展使其具备管理栅格类型数据的能力,但这些软件对于RSID(Romote Sensing Image Data,遥感影像数据)的管理能力相对较弱;第二种在关系型数据库管理系统基础上添加空间数据引擎中间件,实现对RSID的管理,这条路线主要由各大GIS厂商推动实现。但是,随着海量数据的要求及其相关应用的发展,在应对大量写入、表结构不固定、字段不固定的非结构化数据时,传统关系型数据库难以满足所有影像的存储要求,造成信息一定程度的丢失。
发明内容
本发明实施例的目的是提供一种遥感影像数据存储方法和系统,能有效将海量的遥感影像数据存储到分布式数据存储数据库中,提高入库效率,且能够根据不同分辨率的请求调取不同层级的瓦片数据,提供高效的索引来读取、查询这些瓦片数据。
为实现上述目的,本发明实施例提供了一种遥感影像数据存储方法,包括:
获取遥感影像数据,并利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引值;
利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
作为上述方案的改进,所述利用MapReduce并行模型构建遥感影像金字塔,具体包括:
利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
作为上述方案的改进,所述对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,具体包括:
获取所述遥感影像数据的空间范围以及分辨率;
建立与所述遥感影像金字塔的层级结构对应长度的字符串;
利用Geohash编码将所述空间范围以及分辨率转换为用所述字符串表示;
根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格。
作为上述方案的改进,所述利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理,具体包括:
利用Z阶曲线原理把所有所述栅格以弓字形连接;
提取所有栅格像元所在的行列号,降为一维字符串;
把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
作为上述方案的改进,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
为实现上述目的,本发明实施例还提供了一种遥感影像数据存储系统,包括:
遥感影像数据获取模块,用于获取遥感影像数据;
遥感影像金字塔构建模块,用于利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
索引计算模块,用于对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引值;
降维模块,用于利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
分布式存储模块,用于以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
作为上述方案的改进,所述遥感影像金字塔构建模块,具体用于:
利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
作为上述方案的改进,所述索引计算模块,具体用于:
获取所述遥感影像数据的空间范围与分辨率;
建立与所述遥感影像金字塔的层级结构对应长度的字符串;
利用Geohash编码将所述空间范围与分辨率转换为用所述字符串表示;
根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格。
作为上述方案的改进,所述降维处理模块,具体用于:
利用Z阶曲线原理把所有所述栅格以弓字形连接;
提取所有栅格像元所在的行列号,降为一维字符串,生成Key;
把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
作为上述方案的改进,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
与现有技术相比,本发明公开的遥感影像数据存储方法和系统,首先,利用MapReduce并行模型构建遥感影像金字塔,重采样为多层级多分辨率的栅格;然后,根据Geohash地理编码可控的精度级别逼近的每一层级栅格,用空间填充曲线依次串联起来,对其进行索引降维处理,将二维遥感影像降为一维;最后,以Key-Value键值对的形式存储到分布式HBase等非关系型数据库中。
能有效将海量的遥感影像数据存储到分布式数据存储数据库中,提高入库效率,且能够根据不同分辨率的请求调取不同层级的瓦片数据,提供高效的索引来读取、查询这些瓦片数据。这样,只需保留一份原始遥感影像数据,其余栅格数据均以一维数据形式存储到数据库中,并根据客户端的请求生成缓存瓦片。可以大幅度降低存储空间的占用,提升海量数据中的检索速度,在遥感影像的存储、组织、管理、调度方面表现优秀。
附图说明
图1是本发明实施例提供的一种遥感影像数据存储方法的流程图;
图2是本发明实施例提供的一种遥感影像数据存储方法中遥感影像金字塔的结构示意图;
图3是本发明实施例提供的一种遥感影像数据存储方法中步骤S2的流程图;
图4是本发明实施例提供的一种遥感影像数据存储方法中遥感数据影像分割示意图;
图5是本发明实施例提供的一种遥感影像数据存储方法中步骤S3的流程图;
图6是本发明实施例提供的一种遥感影像数据存储方法中Z阶曲线示意图;
图7是本发明实施例提供的一种遥感影像数据存储方法中空间填充曲线算法流程图;
图8是本发明实施例提供的一种遥感影像数据存储方法中索引分类流程图;
图9是本发明实施例提供的一种遥感影像数据存储方法中二维索引结构示意图;
图10是本发明实施例提供的一种遥感影像数据存储方法中二维多层索引结构示意图;
图11是本发明实施例提供的一种遥感影像数据存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种遥感影像数据存储方法的流程图;包括:
S1、获取遥感影像数据,并利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
S2、对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算key(索引)值;
S3、利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
S4、以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
具体的,在步骤S1中,参见图2,图2是本发明实施例提供的一种遥感影像数据存储方法中遥感影像金字塔的结构示意图;影像金字塔是指在相同的空间参考下,按照用户需求采用不同分辨率、不同维数进行存储和显示,按照一定规则采用重采样的方法构建成数据量从小到大、分辨率从粗到细的多层金字塔结构。遥感影像金字塔结构主要用于渐进式图像传输和图像编码,是一种常见的分层数据结构,很适合用于遥感数据或栅格数据的多层分辨率组织,同时也是一种遥感数据或栅格数据的有损压缩方式。
优选的,所述利用MapReduce并行模型构建遥感影像金字塔,具体包括:
利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
具体的,所述MapReduce并行模型构运用MapReduce分布式并行运算框架技术,利用Map函数将将大规模集群上的复杂的数据自动分解为数百上千个小数据集,每个(或几个)数据集分别由均衡分配到集群节点进行处理,生成中间结果,再通过Reduce函数合并节点,形成最终结果。
优选的,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
在栅格空间数据转换库(也就是将传统遥感影像与降维索引的数据之间的一个转换器)分布式非关系型数据库中读取降维索引后的遥感数据,以对所述遥感影像数据进行并行计算。将读取的数据转为Spark的RDD(弹性数据集)类型,从而进行并行计算。其得到的仍是降维索引的遥感影像数据,并利用栅格空间数据转换库将其再次写入分布式数据库中。
具体的,步骤S12中可以利用DataReader类读取所述遥感影像数据,使用RowMerging、DataAdapter类合并底层瓦片数据进行重采样以生成新的遥感影像数据;步骤S13中可以使用DataWriter类实现切割瓦片并把瓦片存入resource资源类。
具体的,在步骤S2中,参加图3,图3是本发明实施例提供的一种遥感影像数据存储方法中步骤S2的流程图;所述对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,具体包括:
S21、获取所述遥感影像数据的空间范围以及分辨率;
S22、建立与所述遥感影像金字塔的层级结构对应长度的字符串;
S23、利用Geohash编码将所述空间范围以及分辨率转换为用所述字符串表示;
S24、根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格。
具体的,对同一分辨率的遥感影像进行切割,切割所得的影像块称为原图像的一块“瓦片”。遥感影像数据分块实质上就是将一幅大的遥感影像分割成许多小块来存放,在影像显示时根据显示的范围和分辨率等信息计算加载相应的影像块。影像分块的目的在于把信息量庞大的一幅完整遥感影像划分为若干块较小的物理数据块,便于存储管理和减少数据IO时间。图4是本发明实施例提供的一种遥感影像数据存储方法中遥感数据影像分割示意图;图中所示将遥感影像数据分别分成A、B、C、D等四个栅格。
Geohash编码依据字符串值和字符串长度控制表达的空间格网范围和格网分辨率。利用Geohash编码将坐标位置转换为字符串表达,将一幅大的遥感影像分割为格网小块。并利用字符串长度控制划分精度,Geohash能够提供任意精度的分段级别,字符串长度越长,精度越高。把分形技术与影像金字塔的分块技术结合,根据遥感影像的坐标位置,建立与遥感影像金字塔对应长度的字符串,表达多分辨率的遥感影像。与传统影像物理分块的方法不同,Geohash编码可以从算法上实现影像分层分块,从底层技术实现存储和检索效率的提高。将一定范围内的地图按照一定的尺寸和格式,按缩放级别或者比例尺,切成若干行和列的栅格,栅格是多分辨率多层次的栅格影像。
具体的,在步骤S3中,参见图5,图5是本发明实施例提供的一种遥感影像数据存储方法中步骤S3的流程图;所述利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理,具体包括:
S31、利用Z阶曲线原理把所有所述栅格以弓字形连接(如图6);
S32、提取所有栅格像元所在的行列号,降为一维字符串;
S33、把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
索引降维,是将二维、三维等多维空间数据索引降为一维,并使用空间填充曲线进行金字塔构建,在索引信息中追加切片信息。索引信息存储在通用密钥结构中,该架构允许查询,处理和渲染时间减少多个数量级。空间填充曲线是实现索引降维的关键技术,运用Z阶曲线原理(空间填充曲线中的一种,分级的数据结构,把空间划分为网格),采用Geohash编码对二维空间进行分形和降维。Geohash编码是Z阶曲线的一种实际应用,根据坐标位置转换为一个字符串,表示一个区域,根据字符串长度与前缀即可判断出区域的位置和范围大小。
Geohash具备一个与Z阶曲线相关的性质,一个像元于其邻近的像元(但不绝对)的Geohash字符串总是有公共前缀,并且公共前缀的长度越长,这两个像元距离越近。由于这个特性,Geohash可用来作为唯一标识符。在数据库中可用Geohash来表示一个像元的位置。Geohash这个公共前缀的特性就可以用来快速的进行邻近像元的搜索。越接近的像元通常和目标像元的Geohash字符串公共前缀越长(特殊情况除外)。
空间填充曲线可以理解为d维的数据空间Rd与一维数据空间I的映射函数,且为一一映射,在本发明实施例中将k阶曲线映射函数记为HK(p),其中p为d维空间数据,即p∈Rd,由空间填充曲线函数定义可得,HK(p)∈I。
由空间填充曲线性质得知,第k阶曲线pm+1网格必然是由第k阶曲线pm网格经旋转平移得到的,在本发明实施例中,主要应用于二维遥感影像数据,所以对于二维数据空间R2有:
其中,式中为旋转矩阵,a、b、c、∈{0,1},为平移矩阵,对于Hiblert曲线有e=f=1,通过此公式,将每一栅格计算得到其ID,作为步骤S32中的key。
通常,默认空间填充曲线的第k阶第一个网格值为0,按照式(1)以及Hiblert生成规律依次递归计算,即可生成第k阶填充曲线。
对于第k+1阶空间填充曲线,在本发明实施例中不加证明给出其与第k阶曲线的变换关系,首先定义一种新的矩阵运算符号:
设2n阶填充曲线的生成矩阵为对于Hilbret曲线,当n=1时,有则下一阶填充曲线的生成矩阵为:
其算法流程参见图7,对分块后的栅格数据的每一块进行编码,作为key,编码过程包括:
S321、根据公式(2)构造初始k0阶Z阶曲线;
S322、根据公式(1)对栅格进行Z阶编码;
S323、对Z阶编码重排序;
S324、判断当前阶数是否小于k;若是,则跳入步骤S321;若否,则结束编码。
在步骤S323后,还包括步骤:
S325、存储数据至当前网络;
S326、判断当前网络是否最后一个网络;
S327、当当前网络是否最后一个网络时,切换至下一个存储网络。
具体的,在步骤S4中,基于Hadoop分布式存储,采用分布式数据存储(Hbase、accumulo)作为空间数据库,建立空间索引,实现海量遥感数据的并行计算,解决传统遥感数据存储和调度的性能瓶颈问题。
由于分布式存储包括索引结构表(Key-Value)和元数据表(Metadata),在本发明实施例中针对栅格数据,设计了不同的索引结构,将栅格数据行列号根据相应的算法计算出编号,作为Key存储。同时针对每种几何类型数据,又根据其维度(二维行列号、分金字塔层级)对其结构进行了详细设计,其分类和作用如图8所示。
以栅格数据为例,将其行列号作为一串特定位数的数字,如图9所示,首先将区域分为块,对每一块区域内使用空间填充曲线把所有像元串联起来并编号,在分布式存储中,同一区域相近像元的Key在数值上会比较接近,由于分布式存储是按照Key的数值排序存储,这样首先满足了分布式存储的要求,同时,对于Geo索引来说,给出行列号,就可以很快反算出其编号,通过二分查询法,可以很快定位到该栅格,也能很快查询到该栅格附近的指定范围。
同理,对于二维多层度的Geo索引,我们在栅格行列号基础上加上分辨率维度,对每一层栅格的像元进行编码,然后串联起所有瓦片,如图10所示。这样,通过层级和范围,Geo索引可以很快反算出其编码,根据编码,分布式存储可以很快定位到该范围,并调取相应的栅格。
根据分布式存储的特点,根据不同的存储类型,在导入数据的时候,会根据用户指定的索引结构选用指定的Geo索引来存储数据。在网络上,地图通常是静态的,客户端每次需要重绘地图时都要向WMS(Web Map Service)服务器发送请求,WMS服务器响应该请求,并重新渲染地图,将生成的结果图片返回给客户端。如果有成千上万的用户同时向服务器发送请求,服务器将负载过重。GeoWebCache是一个采用Java实现用于缓存WMS Tile的开源项目。它充当地图访问代理,工作于客户端与服务端之间,GeoWebCache用自带的存储器,缓存客户端请求过程中产生的地图瓦片,并按照一定的策略对瓦片缓存进行高效管理。当客户端请求一张新地图和Tile时,GeoWebCache将拦截这些调用然后返回缓存过的Tiles。若缓存中不存在,再调用服务器上的Tiles,从而提高地图展示的速度。
与现有技术相比,本发明公开的遥感影像数据存储方法,首先,利用MapReduce并行模型构建遥感影像金字塔,重采样为多层级多分辨率的栅格;然后,根据Geohash地理编码可控的精度级别逼近的每一层级栅格,用空间填充曲线依次串联起来,对其进行索引降维处理,将二维遥感影像降为一维;最后,以Key-Value键值对的形式存储到分布式HBase等非关系型数据库中。
本发明公开的遥感影像数据存储方法能有效将海量的遥感影像数据存储到分布式数据存储数据库中,提高入库效率,且能够根据不同分辨率的请求调取不同层级的瓦片数据,提供高效的索引来读取、查询这些瓦片数据。这样,只需保留一份原始遥感影像数据,其余栅格数据均以一维数据形式存储到数据库中,并根据客户端的请求生成缓存瓦片。可以大幅度降低存储空间的占用,提升海量数据中的检索速度,在遥感影像的存储、组织、管理、调度方面表现优秀。
参见图11,图11是本发明实施例提供的一种遥感影像数据存储系统的结构示意图。包括:
遥感影像数据获取模块11,用于获取遥感影像数据;
遥感影像金字塔构建模块12,用于利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
索引计算模块13,用于对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引(key)值;
降维模块14,用于利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
分布式存储模块15,用于以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
优选的,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
优选的,所述遥感影像金字塔构建模块12,具体用于:利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
优选的,所述索引计算模块13,具体用于:获取所述遥感影像数据的空间范围与分辨率;建立与所述遥感影像金字塔的层级结构对应长度的字符串;利用Geohash编码将所述空间范围与分辨率转换为用所述字符串表示;根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格。
优选的,所述降维处理模块14,具体用于:利用Z阶曲线原理把所有所述栅格以弓字形连接;提取所有栅格像元所在的行列号,降为一维字符串;把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
具体的所述遥感影像数据存储系统的工作过程请参考上述实施例所述的遥感影像数据存储方法的工作过程,在此不再赘述。
与现有技术相比,本发明公开的遥感影像数据存储系统,首先,利用MapReduce并行模型构建遥感影像金字塔,重采样为多层级多分辨率的栅格;然后,根据Geohash地理编码可控的精度级别逼近的每一层级栅格,用空间填充曲线依次串联起来,对其进行索引降维处理,将二维遥感影像降为一维;最后,以Key-Value键值对的形式存储到分布式HBase等非关系型数据库中。
本发明公开的遥感影像数据存储系统能有效将海量的遥感影像数据存储到分布式数据存储数据库中,提高入库效率,且能够根据不同分辨率的请求调取不同层级的瓦片数据,提供高效的索引来读取、查询这些瓦片数据。这样,只需保留一份原始遥感影像数据,其余栅格数据均以一维数据形式存储到数据库中,并根据客户端的请求生成缓存瓦片。可以大幅度降低存储空间的占用,提升海量数据中的检索速度,在遥感影像的存储、组织、管理、调度方面表现优秀。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种遥感影像数据存储方法,其特征在于,包括:
获取遥感影像数据,并利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引值;
利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
2.如权利要求1所述的遥感影像数据存储方法,其特征在于,所述利用MapReduce并行模型构建遥感影像金字塔,具体包括:
利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
3.如权利要求1所述的遥感影像数据存储方法,其特征在于,所述对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,具体包括:
获取所述遥感影像数据的空间范围以及分辨率;
建立与所述遥感影像金字塔的层级结构对应长度的字符串;
利用Geohash编码将所述空间范围以及分辨率为用所述字符串表示;
根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格。
4.如权利要求1所述的遥感影像数据存储方法,其特征在于,所述利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理,具体包括:
利用Z阶曲线原理把所有所述栅格以弓字形连接;
提取所有栅格像元所在的行列号,降为一维字符串;
把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
5.如权利要求1所述的遥感影像数据存储方法,其特征在于,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
6.一种遥感影像数据存储系统,其特征在于,包括:
遥感影像数据获取模块,用于获取遥感影像数据;
遥感影像金字塔构建模块,用于利用MapReduce并行模型构建遥感影像金字塔;其中,所述遥感影像金字塔包括若干个不同分辨率的层级结构;
索引计算模块,用于对每一层级结构中的所述遥感影像数据根据Geohash编码进行分块,以计算索引值;
降维模块,用于利用空间填充曲线对每一所述遥感影像数据的栅格进行降维处理;
分布式存储模块,用于以Key-Value键值对的形式将降维处理后的所述栅格进行分布式存储。
7.如权利要求6所述的遥感影像数据存储系统,其特征在于,所述遥感影像金字塔构建模块,具体用于:
利用重采样技术根据所述MapReduce并行模型构建遥感影像金字塔;其中,所述重采样技术包括双线性插值法、最临近像元法和三次卷积法中的至少一种。
8.如权利要求6所述的遥感影像数据存储系统,其特征在于,所述索引计算模块,具体用于:
获取所述遥感影像数据的空间范围与分辨率;
建立与所述遥感影像金字塔的层级结构对应长度的字符串;
利用Geohash编码将所述空间范围与分辨率转换为用所述字符串表示;
根据所述字符串的长度对所述遥感影像数据进行分层,并根据所述字符串的值对所述遥感影像数据进行分形,以将所述遥感影像数据切割为若干个不同层级结构的栅格瓦片。
9.如权利要求6所述的遥感影像数据存储系统,其特征在于,所述降维处理模块,具体用于:
利用Z阶曲线原理把所有所述栅格以弓字形连接;
提取所有栅格像元所在的行列号,降为一维字符串;
把每个所述栅格对应的像元值作为Value属性,形成Key-Value键值对。
10.如权利要求6所述的遥感影像数据存储系统,其特征在于,所述遥感影像的降维索引用于进行并行计算,所述并行计算的过程包括:
在栅格空间数据转换库的分布式非关系型数据库中读取降维索引后的遥感数据;
将读取的数据转为Spark的RDD类型,以进行并行计算;
利用栅格空间数据转换库将并行计算后的数据再次写入分布式非关系型数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910823700.3A CN110599490B (zh) | 2019-09-02 | 2019-09-02 | 一种遥感影像数据存储方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910823700.3A CN110599490B (zh) | 2019-09-02 | 2019-09-02 | 一种遥感影像数据存储方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110599490A true CN110599490A (zh) | 2019-12-20 |
CN110599490B CN110599490B (zh) | 2021-04-20 |
Family
ID=68856998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910823700.3A Active CN110599490B (zh) | 2019-09-02 | 2019-09-02 | 一种遥感影像数据存储方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110599490B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125392A (zh) * | 2019-12-25 | 2020-05-08 | 华中科技大学 | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 |
CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
CN111666363A (zh) * | 2020-04-22 | 2020-09-15 | 国家信息中心 | 一种海量高分辨率影像数据切片及质量控制的方法及装置 |
CN111680033A (zh) * | 2020-04-30 | 2020-09-18 | 广州市城市规划勘测设计研究院 | 一种高性能gis平台 |
CN111782742A (zh) * | 2020-06-06 | 2020-10-16 | 中国科学院电子学研究所苏州研究院 | 一种面向大规模地理空间数据的存储和检索方法及其系统 |
CN112364188A (zh) * | 2020-11-12 | 2021-02-12 | 中国地质大学(武汉) | 一种遥感影像的索引建立方法、遥感影像检索方法及装置 |
CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
CN113032405A (zh) * | 2021-05-25 | 2021-06-25 | 湖南省第二测绘院 | 时空数据管理方法、系统、主机及计算机可读存储介质 |
CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113254568A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
CN113342917A (zh) * | 2021-06-29 | 2021-09-03 | 维沃移动通信有限公司 | 空间位置查找方法、装置、电子设备及存储介质 |
CN113641883A (zh) * | 2021-05-26 | 2021-11-12 | 中国再保险(集团)股份有限公司 | 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 |
CN117931810A (zh) * | 2024-03-21 | 2024-04-26 | 成都歧明通信息科技有限公司 | 一种空间影像数据的结构化管理方法及系统 |
CN118132778A (zh) * | 2024-05-08 | 2024-06-04 | 成都歧明通信息科技有限公司 | 一种顾及空间特性的空间影像文件分布式存储方法及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765570B1 (en) * | 1998-07-21 | 2004-07-20 | Magic Earth, Inc. | System and method for analyzing and imaging three-dimensional volume data sets using a three-dimensional sampling probe |
US20150347479A1 (en) * | 2014-05-28 | 2015-12-03 | International Business Machines Corporation | Storing and querying multidimensional data using first and second indicies |
CN105786942A (zh) * | 2015-11-27 | 2016-07-20 | 武汉大学 | 一种基于云平台的地理信息存储系统 |
CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院) | 一种多尺度海量遥感影像的快速切片方法及系统 |
-
2019
- 2019-09-02 CN CN201910823700.3A patent/CN110599490B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765570B1 (en) * | 1998-07-21 | 2004-07-20 | Magic Earth, Inc. | System and method for analyzing and imaging three-dimensional volume data sets using a three-dimensional sampling probe |
US20150347479A1 (en) * | 2014-05-28 | 2015-12-03 | International Business Machines Corporation | Storing and querying multidimensional data using first and second indicies |
CN105786942A (zh) * | 2015-11-27 | 2016-07-20 | 武汉大学 | 一种基于云平台的地理信息存储系统 |
CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
CN109933565A (zh) * | 2019-01-31 | 2019-06-25 | 湖北省基础地理信息中心(湖北省北斗卫星导航应用技术研究院) | 一种多尺度海量遥感影像的快速切片方法及系统 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125392A (zh) * | 2019-12-25 | 2020-05-08 | 华中科技大学 | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 |
CN111125392B (zh) * | 2019-12-25 | 2023-06-16 | 华中科技大学 | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 |
CN111291016B (zh) * | 2020-02-19 | 2023-05-26 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
CN111291016A (zh) * | 2020-02-19 | 2020-06-16 | 江苏易图地理信息科技股份有限公司 | 一种海量遥感影像数据分层混合存储与索引方法 |
CN111666363A (zh) * | 2020-04-22 | 2020-09-15 | 国家信息中心 | 一种海量高分辨率影像数据切片及质量控制的方法及装置 |
CN111666363B (zh) * | 2020-04-22 | 2023-10-24 | 国家信息中心 | 一种海量高分辨率影像数据切片及质量控制的方法及装置 |
CN111680033A (zh) * | 2020-04-30 | 2020-09-18 | 广州市城市规划勘测设计研究院 | 一种高性能gis平台 |
CN111782742B (zh) * | 2020-06-06 | 2021-01-26 | 中国科学院电子学研究所苏州研究院 | 一种面向大规模地理空间数据的存储和检索方法及其系统 |
CN111782742A (zh) * | 2020-06-06 | 2020-10-16 | 中国科学院电子学研究所苏州研究院 | 一种面向大规模地理空间数据的存储和检索方法及其系统 |
CN112364188A (zh) * | 2020-11-12 | 2021-02-12 | 中国地质大学(武汉) | 一种遥感影像的索引建立方法、遥感影像检索方法及装置 |
CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
CN113157214B (zh) * | 2021-05-11 | 2024-01-26 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113032405A (zh) * | 2021-05-25 | 2021-06-25 | 湖南省第二测绘院 | 时空数据管理方法、系统、主机及计算机可读存储介质 |
CN113641883A (zh) * | 2021-05-26 | 2021-11-12 | 中国再保险(集团)股份有限公司 | 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 |
CN113641883B (zh) * | 2021-05-26 | 2024-05-24 | 中国再保险(集团)股份有限公司 | 一种针对大量多元异构的复杂下垫面空间数据的快速读取方法及接口 |
CN113254568B (zh) * | 2021-06-29 | 2021-10-08 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
CN113342917A (zh) * | 2021-06-29 | 2021-09-03 | 维沃移动通信有限公司 | 空间位置查找方法、装置、电子设备及存储介质 |
CN113254568A (zh) * | 2021-06-29 | 2021-08-13 | 浙江大学 | 一种与地图服务结合的实时分析处理方法、装置及介质 |
CN117931810A (zh) * | 2024-03-21 | 2024-04-26 | 成都歧明通信息科技有限公司 | 一种空间影像数据的结构化管理方法及系统 |
CN117931810B (zh) * | 2024-03-21 | 2024-05-31 | 成都歧明通信息科技有限公司 | 一种空间影像数据的结构化管理方法及系统 |
CN118132778A (zh) * | 2024-05-08 | 2024-06-04 | 成都歧明通信息科技有限公司 | 一种顾及空间特性的空间影像文件分布式存储方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110599490B (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599490B (zh) | 一种遥感影像数据存储方法和系统 | |
CN111291016B (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
CN111723221B (zh) | 基于分布式架构的海量遥感数据处理方法及系统 | |
CN105786942B (zh) | 一种基于云平台的地理信息存储系统 | |
CN104820714B (zh) | 基于hadoop的海量瓦片小文件存储管理方法 | |
Nishimura et al. | MD-HBase: A scalable multi-dimensional data infrastructure for location aware services | |
CN104657436B (zh) | 基于MapReduce的静态瓦片金字塔并行构建方法 | |
CN111367913A (zh) | 一种面向全空间的数据模型的建模方法 | |
CN111125392B (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
CN113626550B (zh) | 基于三元组双向索引与优化缓存的影像瓦片地图服务方法 | |
CN108628951A (zh) | 基于文档模型的空间数据块状组织存储与化简压缩方法 | |
CN103714145A (zh) | 关系型和Key-Value型数据库空间数据索引方法 | |
CN108009265B (zh) | 一种云计算环境下的空间数据索引方法 | |
CN106991149B (zh) | 一种融合编码和多版本数据的海量空间对象存储方法 | |
Jing et al. | An improved distributed storage and query for remote sensing data | |
CN114328779A (zh) | 基于云计算高效检索浏览的地理信息云盘 | |
Hu et al. | A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data | |
CN114372034A (zh) | 一种基于遥感影像地图服务的存取方法 | |
CN116860905A (zh) | 一种城市信息模型的空间单元编码生成方法 | |
Pajarola et al. | An image compression method for spatial search | |
CN117851695A (zh) | 一种基于地理格网和图数据库的时空索引方法 | |
Pinto et al. | Improved queryable representations of rasters | |
CN113076334A (zh) | 数据查询方法、索引生成方法、装置及电子设备 | |
CN114116925A (zh) | 一种时空数据的查询方法及相关装置 | |
CN113032405A (zh) | 时空数据管理方法、系统、主机及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |