CN104820714B - 基于hadoop的海量瓦片小文件存储管理方法 - Google Patents
基于hadoop的海量瓦片小文件存储管理方法 Download PDFInfo
- Publication number
- CN104820714B CN104820714B CN201510257123.8A CN201510257123A CN104820714B CN 104820714 B CN104820714 B CN 104820714B CN 201510257123 A CN201510257123 A CN 201510257123A CN 104820714 B CN104820714 B CN 104820714B
- Authority
- CN
- China
- Prior art keywords
- tile
- data
- file
- service
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 claims abstract description 30
- 238000000534 ion trap mass spectrometry Methods 0.000 claims abstract description 18
- 230000004069 differentiation Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000006835 compression Effects 0.000 abstract description 8
- 238000007906 compression Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004064 recycling Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于hadoop的海量瓦片小文件存储管理方法，通过希尔伯特曲线排序再利用Hadoop本身自带的Sequence File技术对栅格瓦片数据进行序列化压缩存储；在生成瓦片压缩块的时候实现多台服务器多线程并行压缩及生成瓦片索引信息，提高海量文件入库存储速度；对块文件名的规则命名管理，能对海量、多源、多版本栅格小瓦片提供高效存储、快速读取及高性能栅格数据服务；设计了ITMS（Improved Tile Map Service），解决传输原始数据和应对实时数据处理请求造成的延迟与带宽占用，以满足项目数据检索与传输要求。
Description
技术领域
本发明涉及hadoop分布式平台上进行栅格数据存储管理方法，特别是海量、多源、多版本栅格小文件的存储管理方法。
背景技术
随着GIS技术的快速发展，地图数据急剧增长，相应的瓦片数据量大、数据源多、版本多，如何高效存储管理海量地图瓦片数据成为难题。
云计算的出现提供了一个新的思路。近几年来，为了解决大规模数据的存储和管理的问题，许多公司和机构提出了一系列基于“云计算”技术的可扩展的大规模数据管理方案。目前主流的开源项目Hadoop是一个包含了海量数据存储和计算的分布式系统架构，可以在廉价PC Server上部署大规模结构化存储的集群。
目前已有较多针对小文件数据存储和管理的研究，并已提出了一系列解决方法，这些方法中普遍采用的是对小文件进行合并成大文件，再使用分层索引的方法来管理这些合并后的大文件。
专利号为CN201310398165.4 公开了一种海量瓦片数据的存储方法及读取方法，该方法根据获取的瓦片数据的分层信息生成一级索引文件的数据块；将一级索引文件的数据块进一步划分为数据网格，得到每个单元格在数据块中的位置坐标；根据位置坐标和分块信息生成对应瓦片数据的二级索引文件；按照先到先存的方式将瓦片数据存储；在每次进行目标瓦片数据存储写入时，将对应生成的一级索引文件和二级索引文件存储。
这种技术方案存在以下缺点：
（1）现有的小文件存储和管理方法多基于分层索引来管理数据，分层索引带来的问题是要额外耗费精力来开发一种Hadoop集群小文件存储机制来保证小文件合并后的块文件索引与对应的这个块一起传输到同一个DataNode的同一位置，实现小文件合并后的块文件索引的分布式存储，Hadoop集群中的NameNode也需要额外消耗资源来管理索引文件，增加内存开销；
（2）在项目应用中可能存在数据源多样，多版本的瓦片文件，分层索引的方法并不适用于多数据源和多版本的小文件的快速和高效读取；
（3）项目存在大量原始数据和频繁的实时数据请求，现有方案没有专门针对数据传输和数据处理进行优化，将影响项目运行时的数据传输和数据响应性能表现。
发明内容
有鉴于此，本发明提出了一种基于hadoop的海量瓦片小文件存储管理方法，不用额外开发Hadoop集群存储机制，利用Hadoop本身自带的功能来存储和管理小文件。该方法针对海量、多源、多版本栅格小瓦片提供高效存储、快速读取及高性能栅格数据服务。本发明还对标准TMS（Tile Map Service）进行改进，解决传输原始数据和应对实时数据处理请求造成的延迟与带宽占用，以满足项目数据检索与传输要求。
本发明采用以下技术方案实现：一种基于hadoop的海量瓦片小文件存储管理方法，其特征在于：包括以下步骤：步骤S1:对欲存储的文件的大小进行判断，如果单个文件小于20M的将其进行序列化压缩再入库存储，如果单个文件大于等于20M就直接入库存储；步骤S2：引入了希尔伯特曲线对存储的文件进行排序；步骤S3：对存储的文件进行压缩及生成瓦片索引信息；步骤S4：对瓦片文件进行分类、命名；步骤S5：建立瓦片信息索引表；步骤S6：提供一改进型地理数据块服务ITMS，通过所述ITMS提供的对多类型预生成地理数据单元块进行异步访问；步骤S7：将Memcached作为一个缓存区域，若请求的瓦片数据在缓存列表中，则直接返回该瓦片数据，否则去HBase中查询；将缓存查询结果字符串索引保存到缓存列表中，并将被请求过的数据瓦片保存在内存中。
在本发明以一实施例中，步骤S4中的命名规则为：数据来源+投影方式+文件格式+Id+版本；其中数据来源为元数据XML中记录了不同地图数据来源的编号，投影方式为元数据XML中记录不同投影方式的对应编号，文件格式为元数据XML中记录了不同文件格式对应的编号，Id为区分同层同类型同格式的序列化块ID而采用与系统时间有关的随机数，版本为由客户端和服务端约定好的并写在配置文件中版本编号。
在本发明一实施例中，步骤S5所述索引表通过行关键字rowkey的字典顺序来组织数据；其中RowKey为SRS+Lod+X+Y+Dataset+FileType，共18字符，其中SRS字段是投影方式对应的编码，Lod、X、Y分别代表层、经度和纬度，支持24层分层，DataSet是外层和内层数据集的说明，FileType是文件类型对应编码。
在本发明一实施例中，通过ITMS接口接收客户端请求使其接收服务元数据资源及地理数据块资源，其中服务元数据资源为服务端实现的能力和包含的信息，地理数据块资源表示一层地理数据中的一个瓦片；利用键值对列表形式表示参数和值，通过HTTP GET或POST方式向系统发送服务请求。
与现有技术相比，本发明具有以下优点：
（1）无需对现有Hadoop集群存储机制进行修改，通过希尔伯特曲线排序再利用Hadoop本身自带的Sequence File技术对栅格瓦片数据进行序列化压缩存储；利用Hadoop的MapReduce分布式计算的功能，在生成瓦片压缩块的时候实现多台服务器多线程并行压缩及生成瓦片索引信息，提高海量文件入库存储速度；对块文件名的规则命名管理，能对海量、多源、多版本栅格小瓦片提供高效存储、快速读取及高性能栅格数据服务；
（2）对标准TMS（Tile Map Service）服务规范进行改进，设计了ITMS（ImprovedTile Map Service），解决传输原始数据和应对实时数据处理请求造成的延迟与带宽占用，以满足项目数据检索与传输要求；
（3）本通过在分布式数据库HBase上搭建瓦片数据索引数据库，充分利用了HBase对大数据索引的支持，为海量的地图瓦片数据量提供很好的支持。
附图说明
图1为本发明一实施例瓦片获取的流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
本发明提供一种基于hadoop的海量瓦片小文件存储管理方法，其特征在于：包括以下步骤：步骤S1:对欲存储的文件的大小进行判断，如果单个文件小于20M的将其进行序列化压缩再入库存储，如果单个文件大于等于20M就直接入库存储；步骤S2：引入了希尔伯特曲线对存储的文件进行排序；步骤S3：对存储的文件进行压缩及生成瓦片索引信息；步骤S4：对瓦片文件进行分类、命名；步骤S5：建立瓦片信息索引表；步骤S6：提供一改进型地理数据块服务ITMS，通过所述ITMS提供的对多类型预生成地理数据单元块进行异步访问；步骤S7：将Memcached作为一个缓存区域，若请求的瓦片数据在缓存列表中，则直接返回该瓦片数据，否则去HBase中查询；将缓存查询结果字符串索引保存到缓存列表中，并将被请求过的数据瓦片保存在内存中。本发明一实施例的瓦片数据获取流程参见图1。
步骤S2中希尔伯特曲线可以看作一种从N维空间到1维空间的映射，保留了原空间中相邻点的相关性。由于地图数据按层切割成无数瓦片后，同一文件夹里的瓦片在经纬度上面都是相邻的，对同一层的瓦片文件按照希尔伯特曲线进行排序，对排序后的瓦片进行序列化压缩存储为HDFS文件系统中的块，使地理上相近的瓦片在物理存储上也相近，极大地提升文件系统读取性能。
步骤S7中将缓存查询结果字符串索引保存到缓存列表中，并把被请求过的瓦片保存在内存中。当其他客户端请求同样数据时，服务端能够快速响应处理，使得客户端能够快速获取到瓦片数据。Memcached是一套独立的分布式的高速缓存系统。Memcached是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。即将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。
HBase的数据模型可以定义为一种稀疏的、长期存储的、分布式的、多维排序的映射表。表中的行关键字rowkey可以是任意的字符串,对同一个行关键字的读或者写操作都是原子的，表通过rowkey的字典顺序来组织数据。具有相同rowkey前缀的数据的存放位置接近，在读取的时候，可以把这些数据一次读取出来。而数据的索引也是基于rowkey的，可以以前缀匹配的方式快速查找到rowkey索引的数据。
在本发明一实施例中，步骤S4中的命名规则为：数据来源+投影方式+文件格式+Id+版本；其中数据来源为元数据XML中记录了不同地图数据来源的编号，投影方式为元数据XML中记录不同投影方式的对应编号，文件格式为元数据XML中记录了不同文件格式对应的编号，Id为区分同层同类型同格式的序列化块ID而采用与系统时间有关的随机数，版本为由客户端和服务端约定好的并写在配置文件中版本编号。
本发明影像、高程及矢量瓦片信息索引表如表1所述，
表1 瓦片信息索引表
RowKey字段说明：SRS字段是投影方式对应的编码；Lod、X、Y代表层、经度和纬度，支持24层分层；DataSet是外层和内层数据集的说明；FileType是文件类型对应编码。需要在xml里配置三个要素的有：SRS、Dataset、FileType。瓦片信息索引表通过对RowKey的编码设计，即可实现瓦片文件被压缩后在块中对于的索引信息有效映射。
本发明对标准TMS（Tile Map Service）进行修改与拓展，提出了一种改进型地理数据块服务ITMS（Improved Tile Map Service）。在这种基于单元块的地理数据服务中，系统通过ITMS提供对多类型预生成地理数据单元块的异步访问，而不用传输原始数据或应对实时数据处理请求，有效减少了延迟与带宽占用。
ITMS实现的实现包括以下步骤：通过ITMS接口接收客户端请求使其接收服务元数据资源及地理数据块资源，其中服务元数据资源为服务端实现的能力和包含的信息，地理数据块资源表示一层地理数据中的一个瓦片；利用键值对列表形式表示参数和值，通过HTTP GET或POST方式向系统发送服务请求。其中地理数据块可以是图片、矢量、数据块元数据或其他服务元数据中定义的文件格式，但服务端同时只返回某数据块的单一完整格式文件。
ITMS服务端支持键值对列表形式的参数和值并通过HTTP GET或POST方式发送的服务请求。参数列表以“？”开始，参数键值对定义为：参数名加“=”再加上参数值，如“service=ITMS”。不同参数使用“&”分隔，列表型参数中的多个值使用“，”分隔，命名空间与标示符以“：”分隔。参数名一律小写，参数值区分大小写。
服务端在接收到有效请求时，必须按相应规范中的详细规定作出准确应答。在接到无效请求时，服务端必须发送规定的服务异常。
客户端向服务端请求某个经纬度的地图瓦片时，参数会以键值对形式出现，服务端可使用Http Get传输方式实现键值对编码的GetTile操作请求。对请求参数的详细描述参见表2。
表2 请求参数表
Request请求格式如下：
http://ITMSDemoServer/ITMS?&r=GetTile&d=newmap:world&f=jpg&c=EPSG:4326&z=1&x=1&y=1&v=1
服务端解析请求的参数，将参数进行编码转换并重组成一条字符串，然后对在缓存的列表中查询这个字符串，如果存在就直接返回字符串对应的瓦片，如果没有就去HBase中查询。HBase按照rowkey字典序来存放数据，它的索引是建立在rowkey的基础上的。在HBase中查询的时候，程序根据字符串转换成瓦片对应rowkey，如果HBase中有这个rowkey，则通过Index列族中的字段记录的信息从HDFS中读取到瓦片。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (3)
1.一种基于hadoop的海量瓦片小文件存储管理方法，其特征在于：包括以下步骤：
步骤S1:对欲存储的文件的大小进行判断，如果单个文件小于20M的将其进行序列化压缩再入库存储，如果单个文件大于等于20M就直接入库存储；
步骤S2：引入了希尔伯特曲线对存储的文件进行排序；
步骤S3：对存储的文件进行压缩及生成瓦片索引信息；
步骤S4：对瓦片文件进行分类、命名；
步骤S5：建立瓦片信息索引表；
步骤S6：提供一改进型地理数据块服务ITMS，通过所述ITMS提供的对多类型预生成地理数据块进行异步访问；
ITMS的实现包括以下步骤：通过ITMS接口接收客户端请求使其接收服务元数据资源及地理数据块资源，其中服务元数据资源为服务端实现的能力和包含的信息，地理数据块资源表示一层地理数据中的一个瓦片；利用键值对列表形式表示参数和值，通过HTTP GET或POST方式向系统发送服务请求；其中地理数据块为图片、矢量、数据块元数据或其他服务元数据中定义的文件格式，服务端同时只返回某数据块的单一完整格式文件；
步骤S7：将Memcached作为一个缓存区域，若请求的瓦片数据在缓存列表中，则直接返回该瓦片数据，否则去HBase中查询；将缓存查询结果字符串索引保存到缓存列表中，并将被请求过的数据瓦片保存在内存中。
2.根据权利要求1所述的基于hadoop的海量瓦片小文件存储管理方法，其特征在于：步骤S4中的命名规则为：数据来源+投影方式+文件格式+Id+版本；其中数据来源为元数据XML中记录了不同地图数据来源的编号，投影方式为元数据XML中记录不同投影方式的对应编号，文件格式为元数据XML中记录了不同文件格式对应的编号，Id为区分同层同类型同格式的序列化块ID而采用与系统时间有关的随机数，版本为由客户端和服务端约定好的并写在配置文件中版本编号。
3.根据权利要求1所述的基于hadoop的海量瓦片小文件存储管理方法，其特征在于：步骤S5所述索引表通过行关键字rowkey的字典顺序来组织数据；其中RowKey为SRS+Lod+X+Y+Dataset+FileType，共18字符，其中SRS字段是投影方式对应的编码，Lod、X、Y分别代表层、经度和纬度，支持24层分层，DataSet是外层和内层数据集的说明，FileType是文件类型对应编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510257123.8A CN104820714B (zh) | 2015-05-20 | 2015-05-20 | 基于hadoop的海量瓦片小文件存储管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510257123.8A CN104820714B (zh) | 2015-05-20 | 2015-05-20 | 基于hadoop的海量瓦片小文件存储管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104820714A CN104820714A (zh) | 2015-08-05 |
| CN104820714B true CN104820714B (zh) | 2018-02-09 |
Family
ID=53731009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510257123.8A Active CN104820714B (zh) | 2015-05-20 | 2015-05-20 | 基于hadoop的海量瓦片小文件存储管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104820714B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121705B (zh) * | 2016-11-28 | 2021-10-08 | 星际空间（天津）科技发展有限公司 | 一种开放的多源二、三维地理信息数据聚合和发布系统 |
| CN106844537B (zh) * | 2016-12-30 | 2020-11-17 | 重庆大学 | 一种时空地图瓦片数据的组织管理方法 |
| CN106897391A (zh) * | 2017-01-24 | 2017-06-27 | 北京百悟科技有限公司 | 文件存储方法及装置 |
| CN106909641B (zh) * | 2017-02-16 | 2020-09-29 | 青岛高校信息产业股份有限公司 | 一种实时数据存储器 |
| CN107463606B (zh) * | 2017-06-22 | 2020-11-13 | 浙江力石科技股份有限公司 | 一种用于大数据存储系统的数据压缩引擎及方法 |
| CN107423431A (zh) * | 2017-08-03 | 2017-12-01 | 东北林业大学 | 一种基于分布式文件系统的遥感数据存储方法及系统 |
| CN107590260B (zh) * | 2017-09-21 | 2020-02-18 | 北京星闪世图科技有限公司 | 点云数据实时检索方法及其系统 |
| CN108536829B (zh) * | 2018-04-11 | 2019-04-26 | 中国中医科学院中药研究所 | 一种提高无人机航测数据生成瓦片地图效率的方法 |
| CN109600413B (zh) * | 2018-04-23 | 2021-04-06 | 中国科学院高能物理研究所 | 一种基于高能物理事例的数据管理与传输方法 |
| CN108804566B (zh) * | 2018-05-22 | 2019-11-29 | 广东技术师范大学 | 一种基于Hadoop的海量小文件读取方法 |
| CN109147547A (zh) * | 2018-07-26 | 2019-01-04 | 浙江省测绘科学技术研究院 | 一种基于矢量瓦片的注记选位与动态避让方法 |
| CN109445755B (zh) * | 2018-09-14 | 2021-02-26 | 武汉达梦数据库股份有限公司 | 一种基于OSGI的多版本hadoop集成方法和装置 |
| CN109582643A (zh) * | 2018-11-20 | 2019-04-05 | 中国石油大学(华东) | 一种基于HBase的实时动态数据管理系统 |
| CN111339221B (zh) * | 2018-12-18 | 2024-04-26 | 中兴通讯股份有限公司 | 数据处理方法、系统及存储介质 |
| CN114254058A (zh) * | 2019-06-17 | 2022-03-29 | 百度在线网络技术（北京）有限公司 | 基于分布式表格存储高精度地图数据的方法及其相关设备 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
| CN111061806B (zh) * | 2019-11-21 | 2023-04-07 | 中国航空无线电电子研究所 | 面向分布式的海量地理瓦片的存储方法与网络化访问方法 |
| CN111143363A (zh) * | 2019-12-23 | 2020-05-12 | 武汉光谷信息技术股份有限公司 | 一种基于HBase的3D Tiles数据的存取方法及装置 |
| CN111552753B (zh) * | 2020-04-24 | 2020-12-29 | 中国科学院空天信息创新研究院 | 基于分布式hbase存储的海量遥感数据组织管理方法及系统 |
| CN113542308B (zh) * | 2021-09-15 | 2022-01-07 | 广州锦行网络科技有限公司 | 信息处理的方法、系统和存储介质、电子设备 |
| CN114494082B (zh) * | 2022-04-02 | 2022-07-08 | 成都理工大学工程技术学院 | 一种基于图像识别的影像地图瓦片图处理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662992B (zh) * | 2012-03-14 | 2014-10-08 | 北京搜狐新媒体信息技术有限公司 | 一种海量小文件的存储、访问方法及装置 |
| US20130325813A1 (en) * | 2012-05-30 | 2013-12-05 | Spectra Logic Corporation | System and method for archive in a distributed file system |
| CN103412962B (zh) * | 2013-09-04 | 2016-09-07 | 国家测绘地理信息局卫星测绘应用中心 | 一种海量瓦片数据的存储方法及读取方法 |
| US10216758B2 (en) * | 2013-10-24 | 2019-02-26 | Vmware, Inc. | Multi-tenant production and test deployments of Hadoop |
| CN104217023B (zh) * | 2014-09-25 | 2017-11-17 | 山东康威通信技术股份有限公司 | 一种利用打包技术解决地图瓦片存储的方法 |
-
2015
- 2015-05-20 CN CN201510257123.8A patent/CN104820714B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104820714A (zh) | 2015-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104820714B (zh) | 基于hadoop的海量瓦片小文件存储管理方法 | |
| Li et al. | A spatiotemporal indexing approach for efficient processing of big array-based climate data with MapReduce | |
| Padhy et al. | RDBMS to NoSQL: reviewing some next-generation non-relational database’s | |
| CN107423422B (zh) | 基于网格的空间数据分布式存储及检索方法和系统 | |
| Nishimura et al. | -HBase: design and implementation of an elastic data infrastructure for cloud-scale location services | |
| Wang et al. | Indexing multi-dimensional data in a cloud system | |
| CN103812939B (zh) | 一种大数据存储系统 | |
| CN103020078B (zh) | 分布式实时数据库数据层次索引方法 | |
| CN106909644A (zh) | 一种面向海量遥感影像的多级组织和索引方法 | |
| CN111291016A (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
| CN109635068A (zh) | 云计算环境下的海量遥感数据高效组织及快速检索方法 | |
| CN111125392B (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
| Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
| CN103577123A (zh) | 一种基于hdfs的小文件优化存储方法 | |
| CN105160039A (zh) | 一种基于大数据的查询方法 | |
| CN106372136A (zh) | 分布式缓存系统、方法及存储介质 | |
| CN106775446A (zh) | 基于固态硬盘加速的分布式文件系统小文件访问方法 | |
| CN103399945A (zh) | 一种基于云计算数据库系统的数据结构 | |
| CN108205562B (zh) | 地理信息系统的定位数据存储、检索方法及其装置 | |
| Van et al. | An efficient distributed index for geospatial databases | |
| Hu et al. | A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data | |
| CN108647266A (zh) | 一种异构数据快速分布存储、交互方法 | |
| CN103218433A (zh) | 一种应用于随机存取的元数据管理方法及模块 | |
| Fu et al. | Optimized data replication for small files in cloud storage systems | |
| Zheng et al. | Data storage optimization strategy in distributed column-oriented database by considering spatial adjacency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |