CN109635068A - 云计算环境下的海量遥感数据高效组织及快速检索方法 - Google Patents

云计算环境下的海量遥感数据高效组织及快速检索方法 Download PDF

Info

Publication number
CN109635068A
CN109635068A CN201811564182.XA CN201811564182A CN109635068A CN 109635068 A CN109635068 A CN 109635068A CN 201811564182 A CN201811564182 A CN 201811564182A CN 109635068 A CN109635068 A CN 109635068A
Authority
CN
China
Prior art keywords
remote sensing
data
tile
source
computing environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811564182.XA
Other languages
English (en)
Inventor
阎继宁
王力哲
黄晓辉
成路肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811564182.XA priority Critical patent/CN109635068A/zh
Publication of CN109635068A publication Critical patent/CN109635068A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种云计算环境下的海量遥感数据高效组织及快速检索方法,包括以下步骤:S1对多源异构遥感数据元数据按照ISO 19115‑2地理信息元数据标准统一格式得到标准多源异构遥感数据;S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据,且所述遥感瓦片数据具有统一基准的空间标识;S3基于空间标识对所述多源遥感瓦片数据构建时空索引;S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引,构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略,将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。本发明的有益效果:提高海量数据的检索效率和分布式访问效率。

Description

云计算环境下的海量遥感数据高效组织及快速检索方法
技术领域
本发明涉及遥感数据检索及访问技术领域,尤其涉及一种云计算环境下的海量遥感数据高效组织及快速检索方法。
背景技术
对地观测技术的发展,造成了遥感数据体量的持续增长,数据获取和更新周期缩短,时效性越来越强。世界各国卫星数据中心存储的数据总量已超过数PB,卫星遥感已进入大数据时代。遥感大数据一方面为国土资源普查、环境污染防治、防灾减灾等提供了充足的数据源,另一方面遥感大数据海量、多源、异构的特征也为数据的组织、管理、检索等带来了巨大挑战,使得潜藏在海量遥感数据中的有价值对地观测信息无法被快速访问,数据利用率极低。
针对上述问题,国际上有学者提出对于大规模多源遥感数据进行几何与辐射归一化处理,然后将归一化后的遥感数据进行物理切分,并将切分后的瓦片数据按照时间序列组织成为一个数据立方体模型DataCube,最后基于该立方体模型进行时间维、空间维及波谱维数据检索及访问。然而,遥感大数据的这种时空序列组织模式仍存在如下问题:(1)遥感瓦片数据没有建立时空索引,瓦片之间缺少逻辑关联性,遥感瓦片数据检索效率不高。(2)基于Dask并行计算库进行多进程并行数据检索及访问,不利于大数据量、多任务、多节点并行计算,无法满足海量遥感瓦片数据的快速检索及访问需求。以上所述遥感数据立方体模型对于海量瓦片数据组织、管理方面的不足,在一定程度上限制了其在信息提取及挖掘等方面的应用。因此,如何对于大规模多源遥感数据进行有效地组织、索引以实现高效检索及访问,是当前对地观测领域亟需解决的重要问题之一。
发明内容
有鉴于此,本发明的实施例提供了一种云计算环境下的海量遥感数据高效组织及快速检索方法。
本发明的实施例提供一种云计算环境下的海量遥感数据高效组织及快速检索方法,包括以下步骤:
S1对多源异构遥感数据元数据按照ISO 19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据;
S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据,且所述遥感瓦片数据具有统一基准的空间标识;
S3基于空间标识对所述多源遥感瓦片数据构建时空索引;
S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引,构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略,将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。
进一步地,所述多源异构遥感数据元数据包括HDF-EOS格式数据和XML格式数据。
进一步地,所述步骤S2具体位置为:使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系,并采用64位编码对每个剖分面网格编码,所述遥感瓦片数据的每一切分瓦片对应的网格编码为该切分瓦片的空间标识。
进一步地,每一所述剖分面网格编码为该剖分面中心点经纬度对应的GeoSOT网格编码。
进一步地,相同或者相邻地理位置的遥感瓦片数据的切分瓦片的网格编码的前缀相同。
进一步地,所述遥感瓦片数据切分为四瓦片,四所述瓦片的网格编码组合为所述遥感瓦片数据的时空索引。
进一步地,所述时空索引包括时间、空间、卫星和传感器信息。
进一步地,所述步骤S4中所述多源遥感瓦片数据HDFS云存储时,所述多源遥感瓦片数据的每一切分瓦片数据均小于128MB,且存储为NetCDF压缩格式,存储于一个Block存储空间。
本发明的实施例提供的技术方案带来的有益效果是:本发明的云计算环境下的海量遥感数据高效组织及快速检索方法,通过构建统一的遥感元数据格式及空间参考,可以屏蔽海量多源遥感数据的异构性,建立时空索引可以有效提高海量遥感数据瓦片的时空逻辑关联性,继而提高海量数据的检索效率,将时空逻辑关联的遥感瓦片数据聚集存储在同一个HDFS数据节点,可以提高海量瓦片数据的分布式访问效率。
附图说明
图1是本发明云计算环境下的海量遥感数据高效组织及快速检索方法的流程图;
图2是基于GeoSOT空间剖分网格构建遥感瓦片数据的示意图;
图3是遥感瓦片数据的时空索引示意图;
图4根据时空索引的遥感瓦片数据分布式存储优化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1,本发明的实施例提供了一种云计算环境下的海量遥感数据高效组织及快速检索方法,包括以下步骤:
S1对多源异构遥感数据元数据按照ISO 19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据;
ISO 19115-2地理信息元数据标准主要定义了用于描述地理信息和服务的元数据模式,提供关于地理信息和服务的标识、质量、空间、时间、内容、空间参考系、分布等其他属性信息。如表1所示,本实施例中基于ISO 19115-2:2009地理信息元数据标准,建立一个统一的遥感数据元数据标准格式,各种多源异构遥感数据元数据在数据集成及切分时转换为该标准格式,获得标准多源异构遥感数据,这里的多源异构遥感数据元数据包括国内外常用的HDF-EOS格式数据和XML格式数据。
表1基于ISO 19115-2:2009标准的遥感数据元数据格式
S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据,且所述遥感瓦片数据具有统一基准的空间标识;
具体方法如下:请参考图2,使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系,由此将整个地球分割为大到全球、小到厘米级的整度、整分和整秒层次网格体系,并采用64位编码对网格体系中的每个剖分面网格编码,标准多源异构遥感数据(遥感影像)经过数据切分,每个剖分面片幅宽已经较小,在进行数据存储和检索时即可以当做一个点数据来处理。每一所述剖分面网格编码为该剖分面中心点经纬度对应的GeoSOT网格编码,所述遥感瓦片数据的每一切分瓦片对应的网格编码为该切分瓦片的空间标识,相同或者相邻地理位置的遥感瓦片数据的切分瓦片的网格编码的前缀相同,这样即建立了海量遥感瓦片数据之间的空间关联性,有利于提高数据检索效率。
S3基于空间标识对所述多源遥感瓦片数据构建时空索引;
具体方法如下:本实施例中所述遥感瓦片数据切分为四瓦片,四所述瓦片的网格编码可以转换为一个简单可排序的二进制字符串,即组合为所述遥感瓦片数据的时空索引,这样形成单值索引,有效地提高了海量瓦片数据的检索效率。请参考图3,同时,考虑到HBase数据库的主键索引特性,本实施例中将遥感瓦片数据的时间属性、卫星、传感器类型进行统一编码,连同空间标识一起建立时空索引模型,并将联合编码结果作为HBase的主键,基于HBase主键RowKey实现海量遥感瓦片数据的快速检索。
S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引,构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略,将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。
现有检索技术中所述多源遥感瓦片数据HDFS云存储时,文件被切分成默认64MB或128MB大小的数据块Block进行存储,每一个Block存储到一个数据节点DataNode上,而且Block会以多副本的形式存放以保证高可用性。对于遥感影像而言,单幅影像体量往往较大(如单幅Landsat_8OLI_TIRS数据约900MB),在利用HDFS进行存储时则会自动切分,并将切分后的Block采用机架感知策略分布式存储在各个数据节点DataNode,数据块的元数据则存储在主节点NameNode。然而,该方式没有考虑到遥感瓦片数据的空间区域特性及时间序列特性,源自相同或相近区域的影像瓦片可能被分配到不同的数据节点DataNode,不利于高效数据访问。
请参考图4,而本实施例中根据所述多源遥感瓦片数据中每一切分瓦片的时空索引,构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略,使所述多源遥感瓦片数据的每一切分瓦片数据均小于128MB,且存储为NetCDF压缩格式,存储于一个Block存储空间。将属于同一哈希分区的瓦片以及来源于不同影像但具有相同哈希分区序号的瓦片能够集中存放在同一个HDFS数据节点上,缩短访问路径以提高数据访问效率。
在本文中,所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的,只是为了表达技术方案的清楚及方便。应当理解,所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下,本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于,包括以下步骤:
S1对多源异构遥感数据元数据按照ISO 19115-2地理信息元数据标准统一格式得到标准多源异构遥感数据;
S2为所述标准多源异构遥感数据构建基于GeoSOT空间剖分网格得到遥感瓦片数据,且所述遥感瓦片数据具有统一基准的空间标识;
S3基于空间标识对所述多源遥感瓦片数据构建时空索引;
S4根据所述多源遥感瓦片数据中每一切分瓦片的时空索引,构建基于哈希算法的多源遥感瓦片数据分布式存储优化策略,将哈希值逻辑关联的多源遥感瓦片数据聚集存储在同一个数据节点。
2.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:所述多源异构遥感数据元数据包括HDF-EOS格式数据和XML格式数据。
3.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:所述步骤S2具体位置为:使用GeoSOT网格在地球表面经纬度空间进行递归四叉剖分形成网格体系,并采用64位编码对每个剖分面网格编码,所述遥感瓦片数据的每一切分瓦片对应的网格编码为该切分瓦片的空间标识。
4.如权利要求3所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:每一所述剖分面网格编码为该剖分面中心点经纬度对应的GeoSOT网格编码。
5.如权利要求3所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:相同或者相邻地理位置的遥感瓦片数据的切分瓦片的网格编码的前缀相同。
6.如权利要求3所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:所述遥感瓦片数据切分为四瓦片,四所述瓦片的网格编码组合为所述遥感瓦片数据的时空索引。
7.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:所述时空索引包括时间、空间、卫星和传感器信息。
8.如权利要求1所述的云计算环境下的海量遥感数据高效组织及快速检索方法,其特征在于:所述步骤S4中所述多源遥感瓦片数据HDFS云存储时,所述多源遥感瓦片数据的每一切分瓦片数据均小于128MB,且存储为NetCDF压缩格式,存储于一个Block存储空间。
CN201811564182.XA 2018-12-20 2018-12-20 云计算环境下的海量遥感数据高效组织及快速检索方法 Pending CN109635068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811564182.XA CN109635068A (zh) 2018-12-20 2018-12-20 云计算环境下的海量遥感数据高效组织及快速检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811564182.XA CN109635068A (zh) 2018-12-20 2018-12-20 云计算环境下的海量遥感数据高效组织及快速检索方法

Publications (1)

Publication Number Publication Date
CN109635068A true CN109635068A (zh) 2019-04-16

Family

ID=66075900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811564182.XA Pending CN109635068A (zh) 2018-12-20 2018-12-20 云计算环境下的海量遥感数据高效组织及快速检索方法

Country Status (1)

Country Link
CN (1) CN109635068A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162530A (zh) * 2019-05-30 2019-08-23 湖南城市学院 一种基于云计算的海量物流运输数据的处理方法
CN110349044A (zh) * 2019-07-15 2019-10-18 深圳先进技术研究院 一种农情监测方法、系统以及电子设备
WO2020250706A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 画像処理方法、および、メタデータのデータ構造
CN112364188A (zh) * 2020-11-12 2021-02-12 中国地质大学(武汉) 一种遥感影像的索引建立方法、遥感影像检索方法及装置
CN112835997A (zh) * 2020-10-22 2021-05-25 北京旋极伏羲科技有限公司 一种基于GeoSOT网格的电网巡检空间网格编码方法
CN112966134A (zh) * 2021-03-26 2021-06-15 北京亿耘科技有限公司 一种遥感影像数据处理方法、系统和存储介质
CN113094527A (zh) * 2021-04-25 2021-07-09 华中师范大学 广义云控制时空谱大数据库及遥感影像处理方法
CN113434736A (zh) * 2021-06-10 2021-09-24 中国科学院电子学研究所苏州研究院 一种面向遥感大数据的多维混合索引方法及系统
CN113590894A (zh) * 2021-07-12 2021-11-02 浙江大学 一种动态高效的遥感影像元数据入库检索方法
CN113760917A (zh) * 2021-09-09 2021-12-07 武汉大学 一种矢量瓦片存储构建方法及系统
CN113806298A (zh) * 2021-08-09 2021-12-17 中国地质大学(武汉) 分布式文件系统存储优化方法、计算机设备及存储介质
CN114338718A (zh) * 2021-12-21 2022-04-12 浙江大学 面向巨量遥感数据的分布式存储方法、装置及介质
CN114461826A (zh) * 2021-12-30 2022-05-10 中科星通(廊坊)信息技术有限公司 一种基于改进的z曲线编码的切片检索方法及系统
CN115827907A (zh) * 2023-02-22 2023-03-21 中国科学院空天信息创新研究院 基于分布式内存的跨云多源数据立方体发现与集成方法
CN116860907A (zh) * 2023-09-05 2023-10-10 中国科学院空天信息创新研究院 跨云的多维遥感数据立方体在线时空轴显示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060122776A1 (en) * 2004-12-03 2006-06-08 Knowles Kenneth W Backtrack orbit search algorithm
CN102609525A (zh) * 2012-02-10 2012-07-25 北京大学 一种统一现有经纬度剖分网格的方法
CN103136371A (zh) * 2013-03-21 2013-06-05 北京大学 多源空间数据的剖分标识生成方法以及数据检索方法
CN103455624A (zh) * 2013-09-16 2013-12-18 湖北文理学院 一种轻量级全球多维遥感影像网络地图服务实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060122776A1 (en) * 2004-12-03 2006-06-08 Knowles Kenneth W Backtrack orbit search algorithm
CN102609525A (zh) * 2012-02-10 2012-07-25 北京大学 一种统一现有经纬度剖分网格的方法
CN103136371A (zh) * 2013-03-21 2013-06-05 北京大学 多源空间数据的剖分标识生成方法以及数据检索方法
CN103455624A (zh) * 2013-09-16 2013-12-18 湖北文理学院 一种轻量级全球多维遥感影像网络地图服务实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阎继宁: "多数据中心架构下遥感云数据管理及产品生产关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162530A (zh) * 2019-05-30 2019-08-23 湖南城市学院 一种基于云计算的海量物流运输数据的处理方法
WO2020250706A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 画像処理方法、および、メタデータのデータ構造
CN110349044A (zh) * 2019-07-15 2019-10-18 深圳先进技术研究院 一种农情监测方法、系统以及电子设备
CN112835997A (zh) * 2020-10-22 2021-05-25 北京旋极伏羲科技有限公司 一种基于GeoSOT网格的电网巡检空间网格编码方法
CN112835997B (zh) * 2020-10-22 2024-02-20 北京旋极伏羲科技有限公司 一种基于GeoSOT网格的电网巡检空间网格编码方法
CN112364188A (zh) * 2020-11-12 2021-02-12 中国地质大学(武汉) 一种遥感影像的索引建立方法、遥感影像检索方法及装置
CN112966134B (zh) * 2021-03-26 2022-06-28 北京亿耘科技有限公司 一种遥感影像数据处理方法、系统和存储介质
CN112966134A (zh) * 2021-03-26 2021-06-15 北京亿耘科技有限公司 一种遥感影像数据处理方法、系统和存储介质
CN113094527B (zh) * 2021-04-25 2022-09-27 华中师范大学 广义云控制时空谱大数据库及遥感影像处理方法
CN113094527A (zh) * 2021-04-25 2021-07-09 华中师范大学 广义云控制时空谱大数据库及遥感影像处理方法
CN113434736A (zh) * 2021-06-10 2021-09-24 中国科学院电子学研究所苏州研究院 一种面向遥感大数据的多维混合索引方法及系统
CN113590894A (zh) * 2021-07-12 2021-11-02 浙江大学 一种动态高效的遥感影像元数据入库检索方法
CN113806298A (zh) * 2021-08-09 2021-12-17 中国地质大学(武汉) 分布式文件系统存储优化方法、计算机设备及存储介质
CN113760917B (zh) * 2021-09-09 2023-09-19 武汉大学 一种矢量瓦片存储构建方法及系统
CN113760917A (zh) * 2021-09-09 2021-12-07 武汉大学 一种矢量瓦片存储构建方法及系统
CN114338718B (zh) * 2021-12-21 2022-09-20 浙江大学 面向巨量遥感数据的分布式存储方法、装置及介质
CN114338718A (zh) * 2021-12-21 2022-04-12 浙江大学 面向巨量遥感数据的分布式存储方法、装置及介质
CN114461826A (zh) * 2021-12-30 2022-05-10 中科星通(廊坊)信息技术有限公司 一种基于改进的z曲线编码的切片检索方法及系统
CN114461826B (zh) * 2021-12-30 2023-07-04 中科星通(廊坊)信息技术有限公司 一种基于改进的z曲线编码的切片检索方法及系统
CN115827907A (zh) * 2023-02-22 2023-03-21 中国科学院空天信息创新研究院 基于分布式内存的跨云多源数据立方体发现与集成方法
CN116860907A (zh) * 2023-09-05 2023-10-10 中国科学院空天信息创新研究院 跨云的多维遥感数据立方体在线时空轴显示方法及装置
CN116860907B (zh) * 2023-09-05 2024-01-19 中国科学院空天信息创新研究院 跨云的多维遥感数据立方体在线时空轴显示方法及装置

Similar Documents

Publication Publication Date Title
CN109635068A (zh) 云计算环境下的海量遥感数据高效组织及快速检索方法
CN109992636B (zh) 时空编码方法、时空索引及查询方法及装置
CN104765876B (zh) 海量gnss小文件云存储方法
CN109284338B (zh) 一种基于混合索引的卫星遥感大数据优化查询方法
CN103049549B (zh) 一种海岛数据管理方法和系统
CN104820714B (zh) 基于hadoop的海量瓦片小文件存储管理方法
Woodruff et al. GIPSY: Automated geographic indexing of text documents
CN108446293A (zh) 一种基于城市多源异构数据构建城市画像的方法
CN106909644A (zh) 一种面向海量遥感影像的多级组织和索引方法
US7533112B2 (en) Context hierarchies for address searching
CN108804602A (zh) 一种基于spark的分布式空间数据存储计算方法
CN109492060A (zh) 一种基于MBTiles的地图瓦片存储方法
CN104346438A (zh) 基于大数据数据管理服务系统
CN113946700A (zh) 一种时空索引构建方法、装置、计算机设备及存储介质
CN109783484A (zh) 基于知识图谱的数据服务平台的构建方法及系统
CN116860905B (zh) 一种城市信息模型的空间单元编码生成方法
CN116775661A (zh) 基于北斗网格技术的空间大数据存储与管理方法
CN113626437B (zh) 一种海量矢量数据快速查询方法及系统
CN114201480A (zh) 一种基于nlp技术的多源poi融合方法、装置及可读存储介质
CN115129795A (zh) 一种基于地球空间网格的数据空时存储方法
CN104156475B (zh) 地理信息读取方法及装置
Gao et al. Association and Recomendation for Geosciences Data Attributes Based on Semantic Similarity Measurement
CN113032504A (zh) 村镇社区公共服务时空数据汇聚方法及装置
Feng et al. Index and query methods in road networks
Luaces et al. An ontology-based index to retrieve documents with geographic information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416