CN111552753A - 一种全球海量遥感数据组织管理方法及系统 - Google Patents

Abstract

本发明公开了一种全球海量遥感数据组织管理方法，包括：将获取的遥感影像数据切分为预先设定大小的瓦片，并计算所述瓦片的信息；基于所述瓦片的信息计算hbase中的rowkey，确定所述瓦片在hbase中的存储位置，并将所述瓦片及瓦片信息存储到hbase中；通过调用接口，基于调用请求从所述hbase中查询对应的瓦片；其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。本发明利用hbase数据库分布式和可扩展性的优点，以及hbase索引rowkey生成方法，对海量的瓦片数据，实现快速的检索查询。

Description

一种全球海量遥感数据组织管理方法及系统

技术领域

本发明涉及数据管理领域，具体讲涉及一种全球海量遥感数据组织管理方法及系统。

背景技术

随着航空航天遥感技术的快速发展，以及获取影像数据设备的多样化，对获取遥感影像数据的方式产生了深刻变革，由此使得遥感影像数据的数量成爆炸式增长。在此情况下，如何有效的生成和查询遥感影像，对遥感影像在军事、勘探、对地观测等领域的应用有着重要作用。

在现有的技术中，遥感影像的存储和管理主要使用基于文件系统和基于传统关系型数据库的存储方式。基于文件的存储方式需要手动组织安排存储文件，不仅不易于管理，无法良好的组织不同的遥感时相数据，而且在多用户并发访问的情况下容易造成效率低下的问题。而基于传统的关系型数据库的存储方式，在面对海量的遥感数据的情况下，易受到单节点故障、扩展性不足和查询效率低等问题。

发明内容

基于上述问题，本发明提供了一种全球海量遥感数据组织管理方法，包括：

将遥感影像数据进行瓦片处理，得到各瓦片的信息；

基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

优选的，所述将遥感影像数据进行瓦片处理，得到各瓦片的信息，包括：

获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；

基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；

所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号。

优选的，所述遥感影像包含瓦片所在层级按下式计算：

2^level＝180.0/256/length

式中，level：瓦片所在层级；length：分辨率长像素。

优选的，所述瓦片的最小列号按下式计算：

minCol＝(2^level*(minLon+180))/180

式中，minLon：遥感影像的最小经度；minCol：遥感影像所包含瓦片的最小列号；

所述瓦片的最大列号按下式计算：

maxCol＝((2^level*(maxLon+180))/180))-1

式中，maxCol：瓦片的最大列号；maxLon：遥感影像的最大经度；

所述瓦片的最小行号按下式计算：

minRow＝(2^level*(90-maxLat))/180

式中，minRow：瓦片的最小行号；maxLat：遥感影像的最大纬度；

所述瓦片的最大行号按下式计算：

maxRow＝((2^level*(90-minLat))/180))-1

式中，maxRow：瓦片的最大行号；minLat：遥感影像的最小纬度。

优选的，所述基于各瓦片的信息，利用hbase的rowkey技术进行存储，包括：

基于各瓦片所在层、行、列信息生成hbase的rowkey索引，并根据rowkey索引将所述瓦片的信息存入hbase数据库中。

优选的，所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引，包括：

基于所述瓦片所在的层级计算当前层级的瓦片总数；

基于所述当前层级的瓦片总数、所述瓦片所在行和列，以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区；

基于所述瓦片在hbase中的分区确定所述分区所在的服务器，并将所述瓦片信息存储在所述服务器的内存中；

基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和，以及列数和；

基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和，以及列数和计算hbase中的rowkey；

基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯，将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。

优选的，所述瓦片总数按下式计算：

Total＝2^(2*Level+1)

式中，Level：瓦片所在层级；Total：瓦片所在层级中瓦片的总数；

优选的，hbase中的分区按下式计算：

Region＝Y*C/2^K+X/2^(K+1)

式中，Region为，Y为瓦片所在行数；X为瓦片所在列数；K＝Level-N，C＝2^N；

优选的，所述hbase中的rowkey按下式计算：

Rowkey＝10¹⁵*region+10¹⁴*layerType+(TotalRowLevel+Y)*10⁷+(TotalColLevel+X)

式中，layerType为瓦片类型对应的值；TotalRowLevel为瓦片所在层前的所有层的行数和；TotalColLevel为瓦片所在层级前的所有层的列数和；

优选的，所述瓦片所在层前的所有层的行数和TotalRowLevel，按下式计算：

瓦片所在层级前的所有层的列数和TotalColLevel，按下式计算：

式中，i为瓦片所在层级。

优选的，还包括：

当所述memorystore达到一定大小时，会将所述memorystore中的数据持久化在storeFile文件中；

优选的，还包括：对于层级信息相同的瓦片，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息。

优选的，所述当需要查询时，利用rowkey从所述hbase中查询对应的瓦片，包括：

当需要查询时，根据rowkey定位需要查询的数据所在的区块，并基于所在区块查找所述区块所在的服务器；

从所述服务器中查询对应的瓦片。

一种全球海量遥感数据组织管理系统，包括：

数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；

存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

与现有技术相比，本发明的有益效果为：

一种全球海量遥感数据组织管理方法，包括：将获取的遥感影像数据切分为预先设定大小的瓦片，并计算所述瓦片的信息；基于所述瓦片的信息计算hbase中的rowkey，确定所述瓦片在hbase中的存储位置，并将所述瓦片及瓦片信息存储到hbase中；通过调用接口，基于调用请求从所述hbase中查询对应的瓦片；其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。本发明利用hbase数据库分布式和可扩展性的优点，以及hbase索引rowkey生成方法，对海量的瓦片数据，实现快速的检索查询。

附图说明

图1为本发明的全球海量遥感数据组织管理方法流程图。

具体实施方式

本发明公开了一种全球海量遥感数据组织管理方法，该方法能够将原始影像数据进行切片，根据影像和切片的信息，生成hbase数据库对应的存储信息，保存到hbase数据库中，并提供相应的接口以便外部调用已经存储的数据。利用hbase数据库分布式和可扩展性的优点，结合本发明中提出的hbase索引rowkey生成方法，即使面对海量的瓦片数据，也能快速的进行检索查询。

实施例1：

一种全球海量遥感数据组织管理方法，如图1所示：

步骤1：将遥感影像数据进行瓦片处理，得到各瓦片的信息；

步骤2：基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

步骤3：当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

步骤1：将遥感影像数据进行瓦片处理，得到各瓦片的信息：

本发明提供的技术方案是：首先，指定格式为tif、tiff的原始影像数据路经，读取影像数据，并将原始影像切分为指定大小的瓦片，根据原始影像的信息，计算出其所生成的瓦片的信息，其次，利用瓦片的时相，层级和行列等信息，生成用于供hbase索引的rowkey信息，并将瓦片和影像的相关信息存入hbase数据库中，最后，通过提供相关的查询接口，供数据使用方进行数据的调用。

本发明的具体实现步骤如下：

一种基于分布式hbase存储的全球海量遥感数据组织管理技术，该方法包括以下步骤：

步骤一、指定原始遥感影像的数据路径、数据类型、数据时相信息和生成瓦片的大小信息；

步骤二、读取遥感影像，根据影像的分辨率，经纬度信息，计算影像所在层级和生成的瓦片的范围。

步骤2：基于所述各瓦片的信息，利用hbase的rowkey技术进行存储：

步骤三、根据步骤二中计算出来的影像瓦片范围，从原始影像中切出对应的瓦片，默认瓦片大小为256像素，如需512像素大小的瓦片，则进行瓦片的拼接。

步骤四、利用瓦片的层级信息，计算出hbase的rowkey，确定该瓦片在hbase中的存储位置。将瓦片数据及其信息存储到hbase中。

步骤3：当需要查询时，利用rowkey从所述hbase中查询对应的瓦片：

步骤五、对外提供瓦片的调用接口，前端通过调用http请求，将想要获取的瓦片的层级信息和时相信息作为参数，调用后端的接口，后台服务从hbase中查询对应的瓦片，并将数据返回给前端。

所述遥感影像数据类型分为4类：卫星影像、高程影像、测绘地图、海图。

所述瓦片大小分为256和512。

hbase数据库存储瓦片的字段有卫星、传感器、波段、透明度、瓦片数据、拍摄时间。

计算瓦片存入hbase数据库时使用的rowkey，从而定位瓦片在hbase中的存储位置的过程如下：

1、对于一个新的瓦片，假设它的所在层级为数Level，所在行数为Y，所在列数为X。

2、设当前的Region(区块)数为Rn,根据公式：

Total＝2^(2*Level+1)

计算出在层级为Level的瓦片总数。

3、将Total除以2后，选择跟Rn数目最相近的层，层数为N,列数为C。

此Region的计算公式为：

Region＝Y*C/2^K+X/2^(K+1)

其中K＝Level-N，C＝2^N

根据计算出来的region数重新调中hbase的region。

4、最后利用下面的公式，计算出最终rowkey的值：

Rowkey＝10¹⁵*region+10¹⁴*layerType+(TotalRowLevel+Y)*10⁷+(TotalColLevel+X)

其中layerType为瓦片类型对应的值，卫星影像为0，测绘地图为1，高程为2，海图为3；TotalRowLevel为瓦片所在层前的所有层的行数和，计算公式为：

同理，TotalColLevel为瓦片所在层级前的所有层的列数和，计算公式为

hbase根据计算的rowkey值，决定将该rowkey的瓦片数据信息保存在哪一个region中并和该region所在的regionserver进行通讯，把瓦片数据及其属性信息存储在该regionserver内存的memorystore中，当memorystore达到一定大小时，会将其中的数据持久化在storeFile文件中。对于层级信息相同的瓦片，rowkey的计算值是相同的，此时，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息，即相同时间戳，相同层级的瓦片数据会被覆盖，时间戳不同的瓦片数据则会直接保存，不影响已经存在的瓦片数据，从而支持了遥感影像的多时相存储。

实施例2

基于同一发明构思的本发明还提供了一种全球海量遥感数据组织管理系统，包括：

数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；

存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

所述数据处理模块包括：

计算子模块，用于获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；

切片处理子模块，基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种全球海量遥感数据组织管理方法，其特征在于，包括：

将遥感影像数据进行瓦片处理，得到各瓦片的信息；

基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

2.如权利要求1所述的组织管理方法，其特征在于，所述将遥感影像数据进行瓦片处理，得到各瓦片的信息，包括：

获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；

基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；

所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号。

3.如权利要求2所述的组织管理方法，其特征在于，所述遥感影像包含瓦片所在层级按下式计算：

2^level＝180.0/256/length

式中，level：瓦片所在层级；length：分辨率长像素。

4.如权利要求3所述的组织管理方法，其特征在于，所述瓦片的最小列号按下式计算：

minCol＝(2^level*(minLon+180))/180

式中，minLon：遥感影像的最小经度；minCol：遥感影像所包含瓦片的最小列号；

所述瓦片的最大列号按下式计算：

maxCol＝((2^level*(maxLon+180))/180))-1

式中，maxCol：瓦片的最大列号；maxLon：遥感影像的最大经度；

所述瓦片的最小行号按下式计算：

minRow＝(2^level*(90-maxLat))/180

式中，minRow：瓦片的最小行号；maxLat：遥感影像的最大纬度；

所述瓦片的最大行号按下式计算：

maxRow＝((2^level*(90-minLat))/180))-1

式中，maxRow：瓦片的最大行号；minLat：遥感影像的最小纬度。

5.如权利要求2所述的组织管理方法，其特征在于，所述基于各瓦片的信息，利用hbase的rowkey技术进行存储，包括：

基于各瓦片所在层、行、列信息生成hbase的rowkey索引，并根据rowkey索引将所述瓦片的信息存入hbase数据库中。

6.如权利要求5所述的组织管理方法，其特征在于，所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引，包括：

基于所述瓦片所在的层级计算当前层级的瓦片总数；

基于所述当前层级的瓦片总数、所述瓦片所在行和列，以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区；

基于所述瓦片在hbase中的分区确定所述分区所在的服务器，并将所述瓦片信息存储在所述服务器的内存中；

基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和，以及列数和；

基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和，以及列数和计算hbase中的rowkey；

基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯，将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。

7.如权利要求6所述的组织管理方法，其特征在于，所述瓦片总数按下式计算：

Total＝2^(2*Level+1)

式中，Level：瓦片所在层级；Total：瓦片所在层级中瓦片的总数；

优选的，hbase中的分区按下式计算：

Region＝Y*C/2^K+X/2^(K+1)

式中，Region为，Y为瓦片所在行数；X为瓦片所在列数；K＝Level-N，C＝2^N；

优选的，所述hbase中的rowkey按下式计算：

Rowkey＝10¹⁵*region+10¹⁴*layerType+(TotalRowLevel+Y)*10⁷+(TotalColLevel+X)

式中，layerType为瓦片类型对应的值；TotalRowLevel为瓦片所在层前的所有层的行数和；TotalColLevel为瓦片所在层级前的所有层的列数和；

优选的，所述瓦片所在层前的所有层的行数和TotalRowLevel，按下式计算：

瓦片所在层级前的所有层的列数和TotalColLevel，按下式计算：

式中，i为瓦片所在层级。

8.如权利要求6所述的组织管理方法，其特征在于，还包括：

当所述memorystore达到一定大小时，会将所述memorystore中的数据持久化在storeFile文件中；

优选的，还包括：对于层级信息相同的瓦片，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息。

9.如权利要求1所述的组织管理方法，其特征在于，所述当需要查询时，利用rowkey从所述hbase中查询对应的瓦片，包括：

当需要查询时，根据rowkey定位需要查询的数据所在的区块，并基于所在区块查找所述区块所在的服务器；

从所述服务器中查询对应的瓦片。

10.一种全球海量遥感数据组织管理系统，其特征在于，包括：

数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；

存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；

查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；

其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。

Images