CN113626448A - 基于HBase分布式存储的空间矢量数据索引与查询方法 - Google Patents

基于HBase分布式存储的空间矢量数据索引与查询方法 Download PDF

Info

Publication number
CN113626448A
CN113626448A CN202111184720.4A CN202111184720A CN113626448A CN 113626448 A CN113626448 A CN 113626448A CN 202111184720 A CN202111184720 A CN 202111184720A CN 113626448 A CN113626448 A CN 113626448A
Authority
CN
China
Prior art keywords
query
spatial
data
vector data
service end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111184720.4A
Other languages
English (en)
Other versions
CN113626448B (zh
Inventor
吴杰
尹心亮
陈奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geospace Information Technology Co Ltd
Original Assignee
Wuda Geoinformatics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuda Geoinformatics Co ltd filed Critical Wuda Geoinformatics Co ltd
Priority to CN202111184720.4A priority Critical patent/CN113626448B/zh
Publication of CN113626448A publication Critical patent/CN113626448A/zh
Application granted granted Critical
Publication of CN113626448B publication Critical patent/CN113626448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于地理信息技术领域，提供一种基于HBase分布式存储的空间矢量数据索引与查询方法，所述方法包括：建立空间数据库元表，空间数据库元表中每条记录对应一张空间矢量数据集表；每个服务端节点根据查询条件进行查询空间矢量数据集表，并将查询结果返回至客户端。本发明以分区、空间、属性、对象ID等组成的RowKey索引，可以有效改善矢量空间数据的组织方式，从而避免数据冗余存储；同时还自定义了分区策略，可以使数据自动均匀分布到各个服务端节点上，让集群各节点的资源利用率相对均衡；此外本发明还采用了基于XZ‑Ordering思想的空间编码方法，可以有效解决线、面要素跨地理格网的问题。

Description

基于HBase分布式存储的空间矢量数据索引与查询方法
技术领域
本发明属于地理信息技术领域，尤其涉及一种基于HBase分布式存储的空间矢量数据索引与查询方法。
背景技术
时空大数据是大数据的重要组成部分，也是基础性信息资源。随着国家大数据战略逐步落地，政府部门的数据资产日益完善，使得时空大数据的数据总量在不断提高。
传统的关系型数据库已经难以满足海量时空大数据的存储、管理及查询应用等需求。因此，亟需突破关系型数据库在海量数据存储管理与检索方面的性能瓶颈问题。近些年在大数据存储领域涌现出了一批优秀的NoSQL（Not Only SQL,不仅仅是SQL）分布式数据库，其中最具代表性的就是HBase数据库。
HBase数据库原生并不支持空间数据索引及检索。它是一个Key/Value（键/值）数据库，众所周知，基于Key/Value的数据组织中Key即是数据索引，其核心在于如何将空间数据中的空间、时间、属性、ID等多维信息映射成一维Key。所以，基于HBase数据库的RowKey（行键）设计，成为了空间数据组织与索引的关键问题。
尽管近些年在国内外有一些优秀项目在这方面取得了一定进展，但在实际应用中仍然存在着一些问题：（1）数据查询仅支持空间索引，不支持属性索引，导致在复杂场景下的多条件查询性能低下，无法满足实际应用场景的性能需求；（2）为满足复杂场景下的多种条件查询需求，简单的通过数据冗余存储方式组织数据，虽然在功能上可以满足应用需求，但这种组织方式会大量浪费存储空间，也不便于数据管理与应用；（3）简单地使用HBase表存储数据，无法充分利用HBase分布式特性，导致在实际应用中数据读/写的效率较低。
发明内容
鉴于上述问题，本发明的目的在于提供一种基于HBase分布式存储的空间矢量数据组织与索引方法，旨在解决现有HBase数据库的查询索引方法性能低、浪费空间、资源利用率不高的技术问题。
所述基于HBase分布式存储的空间矢量数据索引与查询方法包括下述步骤：
步骤S1、建立空间数据库元表，空间数据库元表中每条记录对应一张空间矢量数据集表，其中空间矢量数据集表中每行数据头部为RowKey索引，剩余部分为Value值，所述RowKey索引包括分区编码、空间编码、属性编码和ID编码，所述Value值包括空间信息Geometry和属性信息Attribute；
步骤S2、接收输入的查询条件并推送至HBase集群各服务端节点，每个服务端节点根据查询条件进行查询空间矢量数据集表，并将查询结果返回至客户端。
进一步的，所述分区编码用于定义数据的分区策略，不同的分区对应不同的HBase集群服务端节点，分区编码方式如下：
Partition(x)=∣Hash(x)∣% RegionSize,x=FeatureID
其中RegionSize为分区个数，FeatureID为数据的唯一ID，∣Hash(x)∣表示取x的哈希值然后取绝对值，∣Hash(x)∣% RegionSize表示∣Hash(x)∣对RegionSize取余。
进一步的，所述空间编码用于索引数据在地理空间上的分布情况,如果数据的几何类型为点，则采用Z-Ordering编码，如果数据的几何类型为线或面，则采用XZ-Ordering编码。
进一步的，所述属性编码均使用8个字节描述，数值或日期类型均转换成Long或Double类型对应的字节编码；如果是变长类型则取其Hash值。
进一步的，所述步骤S2具体包括：
接收输入的查询条件，所述查询条件包括空间条件、属性条件、对象ID条件和对象池大小，将查询条件推送至HBase集群各服务端节点；
每个服务端节点根据查询条件进行内部查询；
将空间矢量数据集表中Value中的Geometry对象与输入的空间条件进行精确比较过滤，得到准确结果；
最后输出小于或等于对象池大小的查询结果，如果已到对象池尾部，则标识已到尾部；如果未到对象池尾部，则标识此次查询结果最后一行的RowKey值；
向客户端返回查询结果并汇总保存至结果集中。
进一步的，每个服务端节点的内部查询方式如下：
根据空间条件、属性条件和对象ID条件生成查询策略；
获取当前服务端节点的RegionKey信息，将空间条件转换为GeoCode编码，生成包含RegionKey和GeoCode的字节序列，并根据所述字节序列扫描服务端节点上的RowKey索引，得到查询结果；
通过比较属性条件以及对象ID条件过滤查询结果。
本发明的有益效果是：本发明中以分区、空间、属性和对象ID等组成的RowKey索引，可以有效改善矢量空间数据的组织方式，从而避免数据冗余存储，大幅降低存储资源的投入和数据维护的难度；同时本发明还自定义了分区策略，可以使数据自动均匀分布到各个服务端节点上，让集群各节点的资源利用率相对均衡，大幅提升数据读/写的效率；此外本发明还采用了基于XZ-Ordering思想的空间编码方法，可以有效解决线、面要素跨地理格网的问题。
附图说明
图1是本发明实施例提供的基于HBase分布式存储的空间矢量数据索引与查询方法的流程图；
图2是本发明实施例提供的空间矢量数据集表的示意图；
图3是本发明实施例提供的分区示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的基于HBase分布式存储的空间矢量数据索引与查询方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。
如图1所示，本发明实施例提供的基于HBase分布式存储的空间矢量数据索引与查询方法包括下述步骤：
步骤S1、建立空间数据库元表，空间数据库元表中每条记录对应一张空间矢量数据集表，其中空间矢量数据集表中每行数据头部为RowKey索引，剩余部分为Value值，所述RowKey索引包括分区编码、空间编码、属性编码和ID编码，所述Value值包括空间信息Geometry和属性信息Attribute；
本发明方法主要有两个步骤。一是建立矢量空间数据索引结构，二是根据查询条件，HBase集群各服务端节点进行空间矢量数据查询。
在步骤S1中，本发明设计空间数据库元表，用于记录空间数据库的基本信息，以及空间数据库中各类空间数据集的基本信息，包括但不限于：数据集名称、数据集类型、数据集字段定义、数据集空间参考、数据集空间范围、数据集分区信息等。其中，数据集类型在本发明中是固定值，即是空间矢量数据集。
空间数据库元表的每条记录对应一张HBase表作为空间矢量数据集表。空间矢量数据集表的基本信息用一个Key/Value结构定义，其Key值为数据集名称，Value值为数据集的基本信息，采用JSON结构。如图2所示，空间矢量数据集表的结构中每行数据表头为RowKey索引，剩余部分为Value值。所述RowKey索引包括分区编码、空间编码、属性编码和ID编码。所述Value值包括空间信息Geometry和属性信息Attribute。其中，Geometry仅包含一个存储几何信息，而Attribute包含1个或多个属性，其个数由数据本身的属性列决定。
下面对RowKey索引的四个组成部分具体描述。
（1）分区编码
分区编码用于定义数据的分区策略，不同的分区对应不同的HBase集群服务端节点。如图3所示，根据分区编码Partition值，数据自动分配至HBase集群的四个服务端节点中。分区编码占用1个字节，取值范围为0-127。基于分区编码实现数据的负载均衡，因此，分区编码需要具有离散特性，分区编码方式如下：
Partition(x)=∣Hash(x)∣% RegionSize,x=FeatureID
其中RegionSize为分区个数，FeatureID为数据的唯一ID，即ID编码，∣Hash(x)∣表示取x的哈希值然后取绝对值，∣Hash(x)∣% RegionSize表示∣Hash(x)∣对RegionSize取余。
（2）空间编码
空间编码用于索引数据在地理空间上的分布情况，空间编码占用8个字节，即是一个长整型。本发明根据不同几何类型的数据集，选择不同的索引方式。
如果数据的几何类型为点，则用Z-Ordering编码。其原理是基于地理格网思想，用一个数字标识某个地理格网，即代表了一个地理范围。当数字标识与要素关联，即标识这个要素属于某个地理格网。地理格网越密，索引越精确。
如果数据的几何类型为线或面，则采用XZ-Ordering编码。其原理是多分辨率格网组成的编码体系，并且每个格网编码表示的地理范围是由基础格网向X轴和Y轴方向各延伸一个格网。同时，让几何对象的最小外接矩形MBR（Minimum Bounding Rectangle）唯一落入到某个级别的某个格网中。
（3）属性编码
属性编码均使用8个字节描述，数值或日期类型均转换成Long或Double类型对应的字节编码；如果是变长类型则取其Hash值。
（4）ID编码
ID编码占用8个字节，即是1个长整型。
步骤S2、接收输入的查询条件并推送至HBase集群各服务端节点，每个服务端节点根据查询条件进行查询空间矢量数据集表，并将查询结果返回至客户端。
本发明采用的是自定义数据分区策略，打乱了HBase原有策略。因此，查询空间矢量数据也需要遵循自定义分区规则，本发明提供了一种联合HBase集群服务端节点与客户端的查询逻辑。具体过程如下：
S21、接收输入的查询条件，所述查询条件包括空间条件、属性条件、对象ID条件和对象池大小，将查询条件推送至HBase集群各服务端节点。
S22、每个服务端节点根据查询条件进行内部查询。
每个服务端节点的内部查询过程是一致的。具体过程如下：
a、根据空间条件、属性条件和对象ID条件生成查询策略；查询策略的优先顺序从高到低为对象ID条件、空间条件、属性条件。
b、获取当前服务端节点的RegionKey信息，将空间条件转换为GeoCode编码，生成包含RegionKey和GeoCode的字节序列，并根据所述字节序列扫描服务端节点上的RowKey索引，得到查询结果。
在RowKey索引结构中，RowKey的第一个字节是分区编码，与服务端节点的RegionKey一一对应。将空间条件转换为GeoCode编码，即可生成RowKey的查询条件，即是RegionKey+GeoCode的字节序列。最后扫描HBase集群服务端节点上的RowKey，即可得到查询结果。
c、通过比较属性条件以及对象ID条件过滤查询结果。
本步骤通过属性条件和对象ID条件进行过滤。
对于比较属性条件，将属性条件转换为字节比较器，通过简单的偏移计算得到偏移量Offset=9+AttributeIndex*8，可快速获取数据的值进行值域比较，这里AttributeIndex为属性编号。
对于比较对象ID条件，将对象ID条件转换为字节比较器，通过简单的偏移计算得到偏移量Offset=Length(RowKey)-8，可快速获取数据的值进行值域比较，这里Length(RowKey)-8的含义是取RowKey的后8字节得到8字节FeatureID。
本步骤S22将属性条件、对象ID条件等条件转换为HBase的过滤器，用于过滤RowKey的属性部分。由于RegionKey和GeoCode可能会存在多个值，所以，将各条件组合即形成一个查询集合，并进行迭代扫描。
S23、将空间矢量数据集表中Value中的Geometry对象与输入的空间条件进行精确比较过滤，得到准确结果。
在步骤S22中的查询结果是一个粗略结果，并不能准确判断空间关系。因此，需要获取Value中的Geometry对象与输入的空间条件进行精确判断，并得到准确结果。因此本步骤通过Geometry再次过滤。
S24、最后输出小于或等于对象池大小的查询结果，如果已到对象池尾部，则标识已到尾部；如果未到对象池尾部，则标识此次查询结果最后一行的RowKey值。
最后经过多次过滤后的查询结果保存在本地对象池中，如果已到对象池尾部，直接标识已到尾部，否则标识查询结果最后一行的RowKey值。
S25、向客户端返回查询结果并汇总保存至结果集中。
所有的查询结构最终汇总保存在结果集中。判断是否已经到达结果集尾部，如果否，则可继续查询；如果是，则退出查询逻辑。
综上，本发明在RowKey中加入分区编码，实现数据均衡策略，可有效利用各集群节点的资源，大大提升数据读/写的IO性能，将属性编码和ID编码集成到RowKey中，用于提升复杂场景中多条件联合查询的效率低下问题；同时采用了基于XZ-Ordering思想的空间编码，可有效解决线、面要素跨地理格网问题；最后本发明引入对象池和尾部标记实现分批次数据获取策略，用于解决单次查询返回数据过大的问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，所述方法包括下述步骤：
步骤S1、建立空间数据库元表，空间数据库元表中每条记录对应一张空间矢量数据集表，其中空间矢量数据集表中每行数据头部为RowKey索引，剩余部分为Value值，所述RowKey索引包括分区编码、空间编码、属性编码和ID编码，所述Value值包括空间信息Geometry和属性信息Attribute；
步骤S2、接收输入的查询条件并推送至HBase集群各服务端节点，每个服务端节点根据查询条件进行查询空间矢量数据集表，并将查询结果返回至客户端。
2.如权利要求1所述基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，所述分区编码用于定义数据的分区策略，不同的分区对应不同的HBase集群服务端节点，分区编码方式如下：
Partition(x)=∣Hash(x)∣% RegionSize,x=FeatureID
其中RegionSize为分区个数，FeatureID为数据的唯一ID，∣Hash(x)∣表示取x的哈希值然后取绝对值，∣Hash(x)∣% RegionSize表示∣Hash(x)∣对RegionSize取余。
3.如权利要求1所述基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，所述空间编码用于索引数据在地理空间上的分布情况,如果数据的几何类型为点，则采用Z-Ordering编码，如果数据的几何类型为线或面，则采用XZ-Ordering编码。
4.如权利要求1所述基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，所述属性编码均使用8个字节描述，数值或日期类型均转换成Long或Double类型对应的字节编码；如果是变长类型则取其Hash值。
5.如权利要求1所述基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，所述步骤S2具体包括：
接收输入的查询条件，所述查询条件包括空间条件、属性条件、对象ID条件和对象池大小，将查询条件推送至HBase集群各服务端节点；
每个服务端节点根据查询条件进行内部查询；
将空间矢量数据集表中Value中的Geometry对象与输入的空间条件进行精确比较过滤，得到准确结果；
最后输出小于或等于对象池大小的查询结果，如果已到对象池尾部，则标识已到尾部；如果未到对象池尾部，则标识此次查询结果最后一行的RowKey值；
向客户端返回查询结果并汇总保存至结果集中。
6.如权利要求5所述基于HBase分布式存储的空间矢量数据索引与查询方法，其特征在于，每个服务端节点的内部查询方式如下：
根据空间条件、属性条件和对象ID条件生成查询策略；
获取当前服务端节点的RegionKey信息，将空间条件转换为GeoCode编码，生成包含RegionKey和GeoCode的字节序列，并根据所述字节序列扫描服务端节点上的RowKey索引，得到查询结果；
通过比较属性条件以及对象ID条件过滤查询结果。
CN202111184720.4A 2021-10-12 2021-10-12 基于HBase分布式存储的空间矢量数据索引与查询方法 Active CN113626448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111184720.4A CN113626448B (zh) 2021-10-12 2021-10-12 基于HBase分布式存储的空间矢量数据索引与查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111184720.4A CN113626448B (zh) 2021-10-12 2021-10-12 基于HBase分布式存储的空间矢量数据索引与查询方法

Publications (2)

Publication Number Publication Date
CN113626448A true CN113626448A (zh) 2021-11-09
CN113626448B CN113626448B (zh) 2021-12-24

Family

ID=78391014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111184720.4A Active CN113626448B (zh) 2021-10-12 2021-10-12 基于HBase分布式存储的空间矢量数据索引与查询方法

Country Status (1)

Country Link
CN (1) CN113626448B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238445A (zh) * 2021-12-21 2022-03-25 上海融和智电新能源有限公司 一种批量车辆的增量抓取数据的方法及系统
CN114461830A (zh) * 2022-02-17 2022-05-10 广东南方数码科技股份有限公司 矢量数据的存储方法、高效检索方法、设备及存储介质
CN116049197A (zh) * 2023-03-07 2023-05-02 中船重工奥蓝托无锡软件技术有限公司 一种基于HBase的数据均衡存储方法
CN116991820A (zh) * 2023-09-27 2023-11-03 深圳市易图资讯股份有限公司 一种基于HBase列数据库切片的调用和优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199986A (zh) * 2014-09-29 2014-12-10 国家电网公司 基于hbase和geohash的矢量数据空间索引方法
CN106528674A (zh) * 2016-10-31 2017-03-22 厦门服云信息科技有限公司 基于Hbase行健的高性能查询方法和装置
US20180302368A1 (en) * 2017-04-13 2018-10-18 Microsoft Technology Licensing, Llc Telephone number provisioning using location-based partition keys
CN111125119A (zh) * 2019-12-30 2020-05-08 中科星图股份有限公司 一种基于HBase的时空数据存储与索引方法
CN113434499A (zh) * 2021-05-28 2021-09-24 西安电子科技大学 一种时空数据索引构建和查询方法、系统、数据库系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199986A (zh) * 2014-09-29 2014-12-10 国家电网公司 基于hbase和geohash的矢量数据空间索引方法
CN106528674A (zh) * 2016-10-31 2017-03-22 厦门服云信息科技有限公司 基于Hbase行健的高性能查询方法和装置
US20180302368A1 (en) * 2017-04-13 2018-10-18 Microsoft Technology Licensing, Llc Telephone number provisioning using location-based partition keys
CN111125119A (zh) * 2019-12-30 2020-05-08 中科星图股份有限公司 一种基于HBase的时空数据存储与索引方法
CN113434499A (zh) * 2021-05-28 2021-09-24 西安电子科技大学 一种时空数据索引构建和查询方法、系统、数据库系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张嘉等: "大规模空间矢量数据分布式存储与计算优化", 《计算机系统应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238445A (zh) * 2021-12-21 2022-03-25 上海融和智电新能源有限公司 一种批量车辆的增量抓取数据的方法及系统
CN114461830A (zh) * 2022-02-17 2022-05-10 广东南方数码科技股份有限公司 矢量数据的存储方法、高效检索方法、设备及存储介质
CN116049197A (zh) * 2023-03-07 2023-05-02 中船重工奥蓝托无锡软件技术有限公司 一种基于HBase的数据均衡存储方法
CN116991820A (zh) * 2023-09-27 2023-11-03 深圳市易图资讯股份有限公司 一种基于HBase列数据库切片的调用和优化方法

Also Published As

Publication number Publication date
CN113626448B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113626448B (zh) 基于HBase分布式存储的空间矢量数据索引与查询方法
CN110347680B (zh) 一种面向云际环境的时空数据索引方法
Guan et al. ST-hash: An efficient spatiotemporal index for massive trajectory data in a NoSQL database
CN104317966A (zh) 一种用于电力大数据快速组合查询的动态索引方法
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
WO2022105372A1 (zh) 时空关联数据的查询方法、装置、电子设备和存储介质
CN101324896A (zh) 一种矢量数据的存储方法、查询方法和管理系统
US20230281182A1 (en) R-tree index merging and updating method and apparatus based on hilbert curve, and medium
CN106991149B (zh) 一种融合编码和多版本数据的海量空间对象存储方法
CN114048204A (zh) 基于数据库倒排索引的北斗网格空间索引方法和装置
CN111639075A (zh) 一种基于扁平化r树的非关系数据库矢量数据管理方法
Zhang et al. Improving NoSQL storage schema based on Z-curve for spatial vector data
US20130262400A1 (en) Data index query method, apparatus and system
CN103425694A (zh) 关系型数据的搜索方法和装置
Li et al. MGeohash: Trajectory data index method based on historical data pre-partitioning
CN113076334B (zh) 数据查询方法、索引生成方法、装置及电子设备
CN115982177B (zh) 一种基于树形维度的数据归集的方法、装置、设备及介质
CN116881243A (zh) 基于时间序列数据特征的学习型索引方法及系统
CN113434511B (zh) 一种基于希尔伯特曲线的聚类索引方法
Li et al. Optimizational method of HBase multi-dimensional data query based on Hilbert space-filling curve
CN109800233A (zh) 一种大数据融合搜索方法
CN114791935A (zh) 一种基于云对象存储的高性能多维数据仓库的实现方法
Wang et al. Efficient spatial big data storage and query in HBase
Li et al. SP-phoenix: a massive spatial point data management system based on phoenix
CN105975585A (zh) 一种用于电力大数据快速查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 430223 Wuda science and Technology Park, Jiangxia Avenue, Miaoshan community, Donghu Development Zone, Wuhan City, Hubei Province

Patentee after: Geospace Information Technology Co., Ltd.

Address before: 430223 Wuda science and Technology Park, Jiangxia Avenue, Miaoshan community, Donghu Development Zone, Wuhan City, Hubei Province

Patentee before: WUDA GEOINFORMATICS Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Indexing and Querying Spatial Vector Data Based on HBase Distributed Storage

Effective date of registration: 20230406

Granted publication date: 20211224

Pledgee: Bank of Hankou Limited by Share Ltd. Financial Services Center

Pledgor: Geospace Information Technology Co.,Ltd.

Registration number: Y2023420000149