CN111552753B - 基于分布式hbase存储的海量遥感数据组织管理方法及系统 - Google Patents
基于分布式hbase存储的海量遥感数据组织管理方法及系统 Download PDFInfo
- Publication number
- CN111552753B CN111552753B CN202010330184.3A CN202010330184A CN111552753B CN 111552753 B CN111552753 B CN 111552753B CN 202010330184 A CN202010330184 A CN 202010330184A CN 111552753 B CN111552753 B CN 111552753B
- Authority
- CN
- China
- Prior art keywords
- tile
- hbase
- tiles
- information
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 238000007726 management method Methods 0.000 title claims abstract description 24
- 230000008520 organization Effects 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 22
- 238000005192 partition Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 10
- 229920006068 Minlon® Polymers 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- IGXGTNBLVPCUNT-UHFFFAOYSA-N 5-[2-(2-butoxyethoxy)ethoxymethyl]-6-propyl-1,3-benzodioxole;[cyano-(3-phenoxyphenyl)methyl] 3-(2,2-dichloroethenyl)-2,2-dimethylcyclopropane-1-carboxylate;diethoxy-sulfanylidene-(3,5,6-trichloropyridin-2-yl)oxy-$l^{5}-phosphane Chemical compound CCOP(=S)(OCC)OC1=NC(Cl)=C(Cl)C=C1Cl.C1=C(CCC)C(COCCOCCOCCCC)=CC2=C1OCO2.CC1(C)C(C=C(Cl)Cl)C1C(=O)OC(C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 IGXGTNBLVPCUNT-UHFFFAOYSA-N 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于分布式hbase存储的海量遥感数据组织管理方法及系统，包括：将获取的遥感影像数据切分为预先设定大小的瓦片，并计算所述瓦片的信息；基于所述瓦片的信息计算hbase中的rowkey，确定所述瓦片在hbase中的存储位置，并将所述瓦片及瓦片信息存储到hbase中；通过调用接口，基于调用请求从所述hbase中查询对应的瓦片；其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。本发明利用hbase数据库分布式和可扩展性的优点，以及hbase索引rowkey生成方法，对海量的瓦片数据，实现快速的检索查询。
Description
技术领域
本发明涉及数据管理领域，具体讲涉及基于分布式hbase存储的海量遥感数据组织管理方法及系统。
背景技术
随着航空航天遥感技术的快速发展，以及获取影像数据设备的多样化，对获取遥感影像数据的方式产生了深刻变革，由此使得遥感影像数据的数量成爆炸式增长。在此情况下，如何有效的生成和查询遥感影像，对遥感影像在军事、勘探、对地观测等领域的应用有着重要作用。
在现有的技术中，遥感影像的存储和管理主要使用基于文件系统和基于传统关系型数据库的存储方式。基于文件的存储方式需要手动组织安排存储文件，不仅不易于管理，无法良好的组织不同的遥感时相数据，而且在多用户并发访问的情况下容易造成效率低下的问题。而基于传统的关系型数据库的存储方式，在面对海量的遥感数据的情况下，易受到单节点故障、扩展性不足和查询效率低等问题。
发明内容
基于上述问题，本发明提供了基于分布式hbase存储的海量遥感数据组织管理方法，包括：
将遥感影像数据进行瓦片处理，得到各瓦片的信息；
基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。
优选的，所述将遥感影像数据进行瓦片处理，得到各瓦片的信息，包括：
获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；
基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；
所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号。
优选的，所述遥感影像包含瓦片所在层级按下式计算：
2level＝180.0/256/length
式中，level：瓦片所在层级；length：分辨率长像素。
优选的，所述瓦片的最小列号按下式计算：
minCol＝(2level*(minLon+180))/180
式中，minLon：遥感影像的最小经度；minCol：遥感影像所包含瓦片的最小列号；
所述瓦片的最大列号按下式计算：
maxCol＝((2level*(maxLon+180))/180))-1
式中，maxCol：瓦片的最大列号；maxLon：遥感影像的最大经度；
所述瓦片的最小行号按下式计算：
minRow＝(2level*(90-maxLat))/180
式中，minRow：瓦片的最小行号；maxLat：遥感影像的最大纬度；
所述瓦片的最大行号按下式计算：
maxRow＝((2level*(90-minLat))/180))-1
式中，maxRow：瓦片的最大行号；minLat：遥感影像的最小纬度。
优选的，所述基于各瓦片的信息，利用hbase的rowkey技术进行存储，包括：
基于各瓦片所在层、行、列信息生成hbase的rowkey索引，并根据rowkey索引将所述瓦片的信息存入hbase数据库中。
优选的，所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引，包括：
基于所述瓦片所在的层级计算当前层级的瓦片总数；
基于所述当前层级的瓦片总数、所述瓦片所在行和列，以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区；
基于所述瓦片在hbase中的分区确定所述分区所在的服务器，并将所述瓦片信息存储在所述服务器的内存中；
基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和，以及列数和；
基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和，以及列数和计算hbase中的rowkey；
基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯，将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。
优选的，所述瓦片总数按下式计算：
Total＝2(2*Level+1)
式中，Level：瓦片所在层级；Total：瓦片所在层级中瓦片的总数；
优选的，hbase中的分区按下式计算：
Region＝Y*C/2K+X/2(K+1)
式中，Region为，Y为瓦片所在行数；X为瓦片所在列数；K＝Level-N，C＝2N；
优选的，所述hbase中的rowkey按下式计算：
Rowkey＝1015*region+1014*layerType+(TotalRowLevel+Y)*107+(TotalColLevel+X)
式中，layerType为瓦片类型对应的值；TotalRowLevel为瓦片所在层前的所有层的行数和；TotalColLevel为瓦片所在层级前的所有层的列数和；
优选的，所述瓦片所在层前的所有层的行数和TotalRowLevel，按下式计算：
瓦片所在层级前的所有层的列数和TotalColLevel，按下式计算：
式中，i为瓦片所在层级。
优选的，还包括：
当所述memorystore达到一定大小时，会将所述memorystore中的数据持久化在storeFile文件中；
优选的，还包括：对于层级信息相同的瓦片，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息。
优选的，所述当需要查询时，利用rowkey从所述hbase中查询对应的瓦片，包括：
当需要查询时，根据rowkey定位需要查询的数据所在的区块，并基于所在区块查找所述区块所在的服务器；
从所述服务器中查询对应的瓦片。
基于分布式hbase存储的海量遥感数据组织管理系统，包括：
数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；
存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。
与现有技术相比，本发明的有益效果为：
基于分布式hbase存储的海量遥感数据组织管理方法，包括：将获取的遥感影像数据切分为预先设定大小的瓦片，并计算所述瓦片的信息；基于所述瓦片的信息计算hbase中的rowkey，确定所述瓦片在hbase中的存储位置，并将所述瓦片及瓦片信息存储到hbase中；通过调用接口，基于调用请求从所述hbase中查询对应的瓦片；其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。本发明利用hbase数据库分布式和可扩展性的优点，以及hbase索引rowkey生成方法，对海量的瓦片数据，实现快速的检索查询。
附图说明
图1为本发明的基于分布式hbase存储的海量遥感数据组织管理方法流程图。
具体实施方式
本发明公开了基于分布式hbase存储的海量遥感数据组织管理方法，该方法能够将原始影像数据进行切片，根据影像和切片的信息，生成hbase数据库对应的存储信息，保存到hbase数据库中，并提供相应的接口以便外部调用已经存储的数据。利用hbase数据库分布式和可扩展性的优点，结合本发明中提出的hbase索引rowkey生成方法，即使面对海量的瓦片数据，也能快速的进行检索查询。
实施例1：
基于分布式hbase存储的海量遥感数据组织管理方法，如图1所示：
步骤1：将遥感影像数据进行瓦片处理，得到各瓦片的信息；
步骤2：基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
步骤3：当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。
步骤1：将遥感影像数据进行瓦片处理，得到各瓦片的信息：
本发明提供的技术方案是：首先，指定格式为tif、tiff的原始影像数据路经，读取影像数据，并将原始影像切分为指定大小的瓦片，根据原始影像的信息，计算出其所生成的瓦片的信息，其次，利用瓦片的时相，层级和行列等信息，生成用于供hbase索引的rowkey信息，并将瓦片和影像的相关信息存入hbase数据库中，最后，通过提供相关的查询接口，供数据使用方进行数据的调用。
本发明的具体实现步骤如下：
一种基于分布式hbase存储的海量遥感数据组织管理方法，该方法包括以下步骤：
步骤一、指定原始遥感影像的数据路径、数据类型、数据时相信息和生成瓦片的大小信息；
步骤二、读取遥感影像，根据影像的分辨率，经纬度信息，计算影像所在层级和生成的瓦片的范围。
步骤2：基于所述各瓦片的信息，利用hbase的rowkey技术进行存储：
步骤三、根据步骤二中计算出来的影像瓦片范围，从原始影像中切出对应的瓦片，默认瓦片大小为256像素，如需512像素大小的瓦片，则进行瓦片的拼接。
步骤四、利用瓦片的层级信息，计算出hbase的rowkey，确定该瓦片在hbase中的存储位置。将瓦片数据及其信息存储到hbase中。
步骤3：当需要查询时，利用rowkey从所述hbase中查询对应的瓦片：
步骤五、对外提供瓦片的调用接口，前端通过调用http请求，将想要获取的瓦片的层级信息和时相信息作为参数，调用后端的接口，后台服务从hbase中查询对应的瓦片，并将数据返回给前端。
所述遥感影像数据类型分为4类：卫星影像、高程影像、测绘地图、海图。
所述瓦片大小分为256和512。
hbase数据库存储瓦片的字段有卫星、传感器、波段、透明度、瓦片数据、拍摄时间。
计算瓦片存入hbase数据库时使用的rowkey，从而定位瓦片在hbase中的存储位置的过程如下：
1、对于一个新的瓦片，假设它的所在层级为数Level，所在行数为Y，所在列数为X。
2、设当前的Region(区块)数为Rn,根据公式：
Total＝2(2*Level+1)
计算出在层级为Level的瓦片总数。
3、将Total除以2后，选择跟Rn数目最相近的层，层数为N,列数为C。
此Region的计算公式为：
Region＝Y*C/2K+X/2(K+1)
其中K＝Level-N，C＝2N
根据计算出来的region数重新调中hbase的region。
4、最后利用下面的公式，计算出最终rowkey的值：
Rowkey＝1015*region+1014*layerType+(TotalRowLevel+Y)*107+(TotalColLevel+X)
其中layerType为瓦片类型对应的值，卫星影像为0，测绘地图为1，高程为2，海图为3；TotalRowLevel为瓦片所在层前的所有层的行数和，计算公式为：
同理，TotalColLevel为瓦片所在层级前的所有层的列数和，计算公式为
hbase根据计算的rowkey值，决定将该rowkey的瓦片数据信息保存在哪一个region中并和该region所在的regionserver进行通讯，把瓦片数据及其属性信息存储在该regionserver内存的memorystore中，当memorystore达到一定大小时，会将其中的数据持久化在storeFile文件中。对于层级信息相同的瓦片，rowkey的计算值是相同的，此时，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息，即相同时间戳，相同层级的瓦片数据会被覆盖，时间戳不同的瓦片数据则会直接保存，不影响已经存在的瓦片数据，从而支持了遥感影像的多时相存储。
实施例2
基于同一发明构思的本发明还提供了基于分布式hbase存储的海量遥感数据组织管理系统，包括：
数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；
存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围。
所述数据处理模块包括：
计算子模块，用于获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；
切片处理子模块，基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (11)
1.基于分布式hbase存储的海量遥感数据组织管理方法，其特征在于，包括：
将遥感影像数据进行瓦片处理，得到各瓦片的信息；
基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围；
所述将遥感影像数据进行瓦片处理，得到各瓦片的信息，包括：
获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；
基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；
所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号；
所述基于各瓦片的信息，利用hbase的rowkey技术进行存储，包括：
基于各瓦片所在层、行、列信息生成hbase的rowkey索引，并根据rowkey索引将所述瓦片的信息存入hbase数据库中；
所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引，包括：
基于所述瓦片所在的层级计算当前层级的瓦片总数；
基于所述当前层级的瓦片总数、所述瓦片所在行和列，以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区；
基于所述瓦片在hbase中的分区确定所述分区所在的服务器，并将所述瓦片信息存储在所述服务器的内存中；
基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和，以及列数和；
基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和，以及列数和计算hbase中的rowkey；
基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯，将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。
2.如权利要求1所述的组织管理方法，其特征在于，所述遥感影像包含瓦片所在层级按下式计算：
2level＝180.0/256/length
式中，level：瓦片所在层级；length：分辨率长像素。
3.如权利要求2所述的组织管理方法，其特征在于，所述瓦片的最小列号按下式计算：
minCol＝(2level*(minLon+180))/180
式中，minLon：遥感影像的最小经度；minCol：遥感影像所包含瓦片的最小列号；
所述瓦片的最大列号按下式计算：
maxCol＝((2level*(maxLon+180))/180))-1
式中，maxCol：瓦片的最大列号；maxLon：遥感影像的最大经度；
所述瓦片的最小行号按下式计算：
minRow＝(2level*(90-maxLat))/180
式中，minRow：瓦片的最小行号；maxLat：遥感影像的最大纬度；
所述瓦片的最大行号按下式计算：
maxRow＝((2level*(90-minLat))/180))-1
式中，maxRow：瓦片的最大行号；minLat：遥感影像的最小纬度。
4.如权利要求1所述的组织管理方法，其特征在于，所述瓦片总数按下式计算：
Total＝2(2*Level+1)
式中，Level：瓦片所在层级；Total：瓦片所在层级中瓦片的总数。
5.如权利要求4所述的组织管理方法，其特征在于，所述hbase中的分区按下式计算：
Region＝Y*C/2K+X/2(K+1)
式中，Region为，Y为瓦片所在行数；X为瓦片所在列数；K＝Level-N，C＝2N。
6.如权利要求5所述的组织管理方法，其特征在于，所述hbase中的rowkey按下式计算：
Rowkey＝1015*region+1014*layerType+(TotalRowLevel+Y)*107+(TotalColLevel+X)
式中，layerType为瓦片类型对应的值；TotalRowLevel为瓦片所在层前的所有层的行数和；TotalColLevel为瓦片所在层级前的所有层的列数和。
7.如权利要求6所述的组织管理方法，其特征在于，所述瓦片所在层前的所有层的行数和TotalRowLevel，按下式计算：
瓦片所在层级前的所有层的列数和TotalColLevel，按下式计算：
式中，i为瓦片所在层级。
8.如权利要求1所述的组织管理方法，其特征在于，还包括：
当所述regionserver内存中的memorystore达到一定大小时，会将所述memorystore中的数据持久化在storeFile文件中。
9.如权利要求1所述的组织管理方法，其特征在于，还包括：对于层级信息相同的瓦片，hbase会根据瓦片的Timestamp时间戳信息，来判断是否覆盖已有的瓦片信息。
10.如权利要求1所述的组织管理方法，其特征在于，所述当需要查询时，利用rowkey从所述hbase中查询对应的瓦片，包括：
当需要查询时，根据rowkey定位需要查询的数据所在的区块，并基于所在区块查找所述区块所在的服务器；
从所述服务器中查询对应的瓦片。
11.基于分布式hbase存储的海量遥感数据组织管理系统，其特征在于，包括：
数据处理模块：用于将遥感影像数据进行瓦片处理，得到各瓦片的信息；
存储模块，用于基于所述各瓦片的信息，利用hbase的rowkey技术进行存储；
查询模块，用于当需要查询时，利用rowkey从所述hbase中查询对应的瓦片；
其中，瓦片的信息包括：所属的层级信息，时相信息，瓦片数据类型和经纬度范围；
所述数据处理模块，用于获取遥感影像数据的分辨率、经纬度信息，计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围；基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片；所述瓦片的范围包括：瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号；
所述存储模块，用于各瓦片所在层、行、列信息生成hbase的rowkey索引，并根据rowkey索引将所述瓦片的信息存入hbase数据库中；还基于所述瓦片所在的层级计算当前层级的瓦片总数；基于所述当前层级的瓦片总数、所述瓦片所在行和列，以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区；基于所述瓦片在hbase中的分区确定所述分区所在的服务器，并将所述瓦片信息存储在所述服务器的内存中；基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和，以及列数和；基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和，以及列数和计算hbase中的rowkey；基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯，将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010330184.3A CN111552753B (zh) | 2020-04-24 | 2020-04-24 | 基于分布式hbase存储的海量遥感数据组织管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010330184.3A CN111552753B (zh) | 2020-04-24 | 2020-04-24 | 基于分布式hbase存储的海量遥感数据组织管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111552753A CN111552753A (zh) | 2020-08-18 |
| CN111552753B true CN111552753B (zh) | 2020-12-29 |
Family
ID=72002489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010330184.3A Active CN111552753B (zh) | 2020-04-24 | 2020-04-24 | 基于分布式hbase存储的海量遥感数据组织管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111552753B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112417199B (zh) * | 2020-12-03 | 2024-07-26 | 深圳前海微众银行股份有限公司 | 遥感影像的检索方法、装置、系统及存储介质 |
| CN113486005B (zh) * | 2021-06-09 | 2024-04-19 | 中国科学院空天信息创新研究院 | 异构结构下的空间科学卫星大数据组织及查询方法 |
| CN113297273B (zh) * | 2021-06-09 | 2024-03-01 | 北京百度网讯科技有限公司 | 查询元数据的方法、装置和电子设备 |
| CN114048338A (zh) * | 2021-11-11 | 2022-02-15 | 中科星图股份有限公司 | 一种海量离散区域栅格影像数据处理和发布方法 |
| CN116881308A (zh) * | 2023-07-31 | 2023-10-13 | 北京和德宇航技术有限公司 | 一种卫星遥测数据的显示方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347499A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种遥感影像瓦片生成及实时部署的方法 |
| CN110928877A (zh) * | 2019-11-19 | 2020-03-27 | 武汉光谷信息技术股份有限公司 | 基于Hbase的影像瓦片存储方法、装置、设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091301B (zh) * | 2014-06-30 | 2017-08-25 | 华北电力大学 | 一种基于MapReduce的瓦片金字塔并行构建方法 |
| CN104820714B (zh) * | 2015-05-20 | 2018-02-09 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
| CN104899282B (zh) * | 2015-06-02 | 2018-11-27 | 北京博阳世通信息技术有限公司 | 一种多源多时相卫星影像瓦片数据的处理方法及检索方法 |
-
2020
- 2020-04-24 CN CN202010330184.3A patent/CN111552753B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347499A (zh) * | 2019-06-13 | 2019-10-18 | 武汉大学 | 一种遥感影像瓦片生成及实时部署的方法 |
| CN110928877A (zh) * | 2019-11-19 | 2020-03-27 | 武汉光谷信息技术股份有限公司 | 基于Hbase的影像瓦片存储方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111552753A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111552753B (zh) | 基于分布式hbase存储的海量遥感数据组织管理方法及系统 | |
| US9471598B2 (en) | Method and system for caching real-time data | |
| EP2565583B1 (en) | Navigation device, method of outputting a map, and method of generating a database | |
| CN111125080B (zh) | 基于图斑模型的多源遥感影像一体化管理系统及方法 | |
| US20190228024A1 (en) | Efficient spatial queries in large data tables | |
| CN109635068A (zh) | 云计算环境下的海量遥感数据高效组织及快速检索方法 | |
| CN113946575B (zh) | 时空轨迹数据处理方法、装置、电子设备及存储介质 | |
| KR20040095751A (ko) | 위치 및 정밀도 인코딩을 위해 그리드 인덱스를 사용하는시스템 및 방법 | |
| US20190228572A1 (en) | Portable Globe Creation for a Geographical Information System | |
| WO2008027154A1 (en) | Panoramic ring user interface | |
| KR20090065130A (ko) | 시그니처 파일을 이용한 고차원 데이터 색인 및 검색방법과 그 시스템 | |
| CN102012932B (zh) | 可量测街景影像存储与检索的方法及装置 | |
| CN112417199A (zh) | 遥感影像的检索方法、装置、系统及存储介质 | |
| CN114116721A (zh) | 一种海量点云数据管理方法 | |
| CN104063421A (zh) | 海量交通遥感数据检索方法和装置 | |
| US7200489B2 (en) | Efficient geographic name searching system and method | |
| CN112632058A (zh) | 轨迹确定方法、装置及设备、存储介质 | |
| CN111190893A (zh) | 建立特征索引的方法和装置 | |
| CN114048338A (zh) | 一种海量离散区域栅格影像数据处理和发布方法 | |
| KR20110038246A (ko) | 데이터 저장 장치 및 방법 | |
| CN116149561B (zh) | 一种瓦片数据传输方法、装置、电子设备和存储介质 | |
| CN116860907B (zh) | 跨云的多维遥感数据立方体在线时空轴显示方法及装置 | |
| WO2012007070A2 (en) | Generation and maintenance of digital terrain models | |
| KR101102083B1 (ko) | 위치정보 데이터의 다이어그램 시스템 및 방법 | |
| CN117874301B (zh) | 基于网格数据金字塔切片的处理、存储、调用的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |