CN113032405A - 时空数据管理方法、系统、主机及计算机可读存储介质 - Google Patents

时空数据管理方法、系统、主机及计算机可读存储介质 Download PDF

Info

Publication number
CN113032405A
CN113032405A CN202110568526.XA CN202110568526A CN113032405A CN 113032405 A CN113032405 A CN 113032405A CN 202110568526 A CN202110568526 A CN 202110568526A CN 113032405 A CN113032405 A CN 113032405A
Authority
CN
China
Prior art keywords
space
data
spatio
time data
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110568526.XA
Other languages
English (en)
Inventor
郭双仁
唐芝青
唐先龙
胡恬
全思湘
张泰�
伏镭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Second Surveying And Mapping Institute
Original Assignee
Hunan Second Surveying And Mapping Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Second Surveying And Mapping Institute filed Critical Hunan Second Surveying And Mapping Institute
Priority to CN202110568526.XA priority Critical patent/CN113032405A/zh
Publication of CN113032405A publication Critical patent/CN113032405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种时空数据管理方法、系统、主机及计算机可读存储介质，其方法包括：获取时空数据；对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键；根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，所述列式数据库具有多台服务器。本申请有助于提高时空数据的存储能力及检索效率。

Description

时空数据管理方法、系统、主机及计算机可读存储介质
技术领域
本申请涉及数据处理领域，尤其是涉及一种时空数据管理方法、系统、主机及计算机可读存储介质。
背景技术
随着地理信息矢量和影像数据的不断积累，数据量不断增加，相关技术一般是将地理信息数据入库至Oracle、SQLServer、PostgreSQL等关系型数据库。
但是，在读取地理信息数据时，利用关系型数据库自有的索引规则进行检索，已经不能满足海量时空数据管理需求，主要表现为：一是横向扩展能力不足，一台服务器的存储容量和磁盘输入输出（IO）存在上限，无法满足海量时空数据高效存储的需求，需联合多台服务器进行同时处理，由于关系型数据库设计特点，没有考虑分片存储，不具备很好的原生横向扩展能力，无法较好地利用多台服务器性能；二是索引性能的局限性，当数据量增加以后，检索耗时也随之增加，无法简单地通过增加服务器而提升检索性能。
因此，以上相关技术将时空数据存入关系型数据库，无法满足海量时空数据的存储需求，且在数据库中检索时空数据的效率低下。
发明内容
为了有助于提高时空数据的存储能力及检索效率，本申请提供了一种时空数据管理方法、系统、主机及计算机可读存储介质。
第一方面，本申请提供一种时空数据管理方法，采用如下的技术方案：
一种时空数据管理方法，包括：
获取时空数据；
对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键；
根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，所述列式数据库具有多台服务器。
通过采用上述技术方案，获取时空数据，通过时空数据展示的精度和用途等对时空数据进行分层，再根据空间编码规则对分层后的时空数据进行编码之后，得到主键，列式数据库基于分片存储的原理，具有多个服务器，在存储时空数据之时，根据分片存储规则，按照主键对时空数据进行划分后存储至列式数据库中的服务器，使得在读取时空数据时，能够通过主键定位到服务器存储的时空数据。与相关技术相比，由于时空数据存储到列式数据库采用的是分片存储规则，海量时空数据的存储需求增加时，通过增加服务器即可实现存储容量的扩展；空间编码规则将复杂的时空数据进行编码得到主键后，根据主键就可以检索得到对应的时空数据，避免了检索时数据库的全表扫描，降低了输入输出负载；列式数据库使得时空数据是列式存储，读取数据时，不需要随机读取，减少了寻址定位时间。因此，满足了海量时空数据的存储需求，并且提高了时空数据的检索效率。
可选的，所述对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键，包括：
根据预设数据分层制度对所述时空数据进行层级划分，确定所述时空数据的层级数；
根据空间编码规则对每一个层级数对应的所述时空数据进行编码得到主键。
通过采用上述技术方案，预设数据分层制度可以按照时空数据的精度和用途，例如，层级数越高表明数据精度越高，根据预设数据分层制度对时空数据进行层级划分，就能确定时空数据的层级数，空间编码规则是将时空数据的空间坐标转换为一维字符串，因此，根据空间编码规则对每一个层级数对应的时空数据进行编码得到主键，从而实现对不同层级的时空数据分别进行空间编码。
可选的，所述根据空间编码规则对每一个层级数对应的所述时空数据进行编码得到主键，包括：
对每一个层级数对应的所述时空数据进行平面投影，得到平面空间；
将所述平面空间依次划分为多个网格；
根据空间编码规则对每个网格进行编码，得到一维字符信息；
根据所述一维字符信息生成每个网格对应的时空数据的主键。
通过采用上述技术方案，将每一个层级数对应的时空数据进行平面投影，得到平面空间，平面空间中每一个平面坐标都与时空数据的空间范围存在一个对应关系，将平面空间依次划分为多个网格，根据空间编码规则对每一个网格进行编码，编码时可以按照希尔伯特（Hilbert）空间填充曲线依次对网格编码，也可以按照连续空间特定规则对网格编码，最后得到的所有网格的编码值为一维字符信息，将一维字符信息中每个网格对应的编码值作为主键。将复杂的时空数据投影后的平面二维坐标信息转换为一维的主键，便于索引排序和检索，提升了通过索引进行检索的效率。
可选的，所述根据空间编码规则对每个网格进行编码，得到一维字符信息，包括：
根据希尔伯特空间填充曲线对所有网格进行依次编码，得到所有网格对应的一维数值；
根据所有网格的一维数值得到所述时空数据的一维字符信息。
通过采用上述技术方案，平面空间中每个网格都对应到特定的时空数据，根据Hilbert空间填充曲线编码，例如，从左下角的网格开始标记为0，按照Hilbert空间填充曲线依次完成其他网格的编码，最后一个右下角编码值为2N-1，用[0,2N-1]表示平面空间，时空数据的坐标点x、y落在特定的网格中，编码值为[0,2N-1]任意数值。再根据所有网格的一维数值得到一维字符信息。通过Hilbert空间填充曲线将时空数据的二维坐标编码为一维数值，并且是按照顺序依次编码，方便了后续生成的主键的排序及建立索引，保证了局部空间聚类，以及时空数据中相邻数据存储时能够在相近的存储单元中。
可选的，所述根据空间编码规则对每个网格进行编码，得到一维字符信息，包括：
根据连续空间特定规则对所有网格进行编码，得到所有网格对应的一维数值；
根据所有网格的一维数值得到所述时空数据的一维字符信息。
通过采用上述技术方案，连续空间特定规则是指将连续的网格按照特定规则进行编码，对于编码值的设置不做限定，那么通过连续空间特定规则的编码，得到所有网格对应的一维数值，由于是将连续的网格按照特定规则进行编码，方便了后续生成的主键的排序及建立索引，以及时空数据中相邻数据存储时能够在相近的存储单元中。
可选的，所述根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，包括：
根据所述主键的数量确定索引区间；
根据分片存储规则及所述索引区间将所述时空数据分片存储至对应的服务器。
通过采用上述技术方案，根据主键的数量就能确定划分了多少网格，每个网格对应的是时空数据中的一条数据，那么一条数据对应一个索引，按照主键的数量就能确定索引区间，按照分片存储规则，每个服务器都配置了不同存储区间，将索引区间与存储区间进行比对，确定每个主键及对应的时空数据存储到的服务器，从而完成时空数据的分片存储。
可选的，方法还包括：
当需要读取目标时空数据时，确定所述目标时空数据的目标层级数及对应的目标网格；
根据所述空间编码规则、所述目标层级数及所述目标网格，得到目标主键；
根据所述目标主键确定目标服务器；
从所述目标服务器中读取与所述目标主键对应的目标时空数据。
通过采用上述技术方案，当需要从列式数据库中读取目标时空数据时，先确定目标时空数据的目标层级数及目标网格，目标层级数和目标网络的确定方式都是依据按照时空数据存储时的方式，再通过空间编码规得到目标网格的目标主键，由于是分片存储规则，那么通过目标主键就能确定目标时空数据存储的目标服务器，按照目标主键与目标时空数据的关联关系，从目标服务器中读取出目标时空数据。
第二方面，本申请提供一种时空数据管理系统，采用如下的技术方案：
一种时空数据管理系统，包括：
系统接口模块，用于获取时空数据；
层级编码模块，用于对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键；
存储模块，用于根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，所述列式数据库具有多台服务器。
通过采用上述技术方案，时空数据管理系统的系统接口模块获取时空数据，层级编码模块通过时空数据展示的精度和用途等对时空数据进行分层，再根据空间编码规则对分层后的时空数据进行编码之后，得到主键，列式数据库基于分片存储的原理，具有多个服务器，在存储模块存储时空数据之时，根据分片存储规则，按照主键对时空数据进行划分后存储至列式数据库中的服务器，使得在读取时空数据时，能够通过主键定位到服务器存储的时空数据。与相关技术相比，由于时空数据存储到列式数据库采用的是分片存储规则，海量时空数据的存储需求增加时，通过增加服务器即可实现存储容量的扩展；空间编码规则将复杂的时空数据进行编码得到主键后，根据主键就可以检索得到对应的时空数据，避免了检索时数据库的全表扫描，降低了输入输出负载；列式数据库使得时空数据是列式存储，读取数据时，不需要随机读取，减少了寻址定位时间。因此，满足了海量时空数据的存储需求，并且提高了时空数据的检索效率。
第三方面，本申请提供一种主机，包括：
存储器及处理器；
所述存储器上存储有能够被所述处理器加载并执行以上第一方面所述时空数据管理方法的计算机程序。
第四方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行以上第一方面所述时空数据管理方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：
1.由于时空数据存储到列式数据库采用的是分片存储规则，海量时空数据的存储需求增加时，通过增加服务器即可实现存储容量的扩展；空间编码规则将复杂的时空数据进行编码得到主键后，根据主键就可以检索得到对应的时空数据，避免了检索时数据库的全表扫描，降低了输入输出负载；列式数据库使得时空数据是列式存储，读取数据时，不需要随机读取，减少了寻址定位时间，因此，满足了海量时空数据的存储需求，并且提高了时空数据的检索效率；
2.将复杂的时空数据投影后的平面空间，进行网格划分，通过Hilbert空间填充曲线或连续空间特定规则将二维坐标信息转换为一维数值字符串的主键，便于时空数据的索引排序和检索，提升了检索效率。
附图说明
图1是本申请其中一实施例的时空数据管理方法的第一流程示意图。
图2是本申请其中一实施例的时空数据管理方法的第二流程示意图。
图3是本申请其中一实施例的读取时空数据的流程示意图。
图4是本申请其中一实施例的时空数据管理系统的结构示意图。
附图标记说明：401、系统接口模块；402、层级编码模块；403、存储模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-4及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开一种时空数据管理方法。
实施例1
参照图1，该方法的执行步骤包括：
101，获取时空数据。
其中，在地理信息领域，时空数据主要包括了矢量数据和影像数据。
102，对时空数据进行分层，根据空间编码规则对分层后的时空数据进行编码得到主键。
其中，时空数据分为不同的精度和用途，因此需要对时空数据先进行分层，不同的层级的时空数据分别利用空间编码规则进行编码，得到主键。每个主键都对应到特定的时空数据。
103，根据分片存储规则，按照主键对时空数据进行划分后存储至列式数据库中的服务器。
其中，列式数据库可以是分布式列式数据库，具有多个服务器，列式服务器还可以是Redis、Cassandra、Hbase及Accumulo等具有列式数据库分片存储、按列集中存储的特性的数据库，Redis是一个分布式非关系型数据库；Cassandra是一个混合型的非关系的数据库，采用分布式的设计；HBase是一个分布式的、面向列的开源数据库；accumulo是一个分布式数据存储和检索系统。在存储时空数据之时，根据分片存储规则，按照主键对时空数据进行划分，即将时空数据划分为多个区间，每个区间存储至列式数据库中的一个服务器，并且存储时空数据时，关联的主键也需要存储到同一个服务器中。
实施例1的实施原理为：通过时空数据展示的精度和用途等对时空数据进行分层，再根据空间编码规则对分层后的时空数据进行编码得到主键，在存储时空数据之时，根据分片存储规则，按照主键将时空数据划分为多个区间，每个区间存储至列式数据库中的一个服务器，并且存储时空数据时，关联的主键也需要存储到同一个服务器中，使得在读取时空数据时，能够通过主键定位到服务器存储的时空数据。与相关技术相比，由于时空数据存储到列式数据库采用的是分片存储规则，海量时空数据的存储需求增加时，通过增加服务器即可实现存储容量的扩展；空间编码规则将复杂的时空数据进行编码得到主键后，根据主键就可以检索得到对应的时空数据，避免了检索时数据库的全表扫描，降低了输入输出负载；列式数据库使得时空数据是列式存储，读取数据时，不需要随机读取，减少了寻址定位时间。因此，满足了海量时空数据的存储需求，并且提高了时空数据的检索效率。
实施例2
参照图2，本实施例与以上实施例1的不同之处在于，对实施例1中的步骤102进行详细的说明，具体的执行步骤包括：
201，获取时空数据。
202，根据预设数据分层制度对时空数据进行层级划分，确定时空数据的层级数。
其中，预设数据分层制度是针对时空数据的精度和用途，预设的层级判定原则，例如数据精度越高，则层级数越大。按照预设数据分层制度对时空数据进行层级划分就能确定时空数据的层级数L。
203，对每一个层级数对应的时空数据进行平面投影，得到平面空间。
其中，在将时空数据进行分层之后，对于每一个层级数的时空数据，分别进行处理，以一个层级数的时空数据为例进行说明。平面投影在实际应用时经常采用的是WEB墨卡托投影，墨卡托投影又名等角正轴圆柱投影，由荷兰地图学家墨卡托在1569年拟定，假设地球被围在一个中空的圆柱里，其赤道与圆柱相接触，然后再假想地球中心有一盏灯，把球面上的图形投影到圆柱体上，再把圆柱体展开，这就是一幅标准纬线为零度（即赤道）的“墨卡托投影”绘制出的世界地图。从球到平面，有个固定的转换公式。因此，使用WEB墨卡托或者其他投影可以将时空数据投影为一个平面空间。
204，将平面空间依次划分为多个网格。
其中，平面空间是二维平面，将平面空间依次划分为多个网格，网格的划分可以参考层级数，例如，层级数越高，说明数据精度越高，那么就需要划分的网格越多。
205，根据空间编码规则对每一个网格进行编码，得到一维字符信息。
其中，空间编码规则可以是Hilbert空间填充曲线，也可以是连续空间特定规则，其中，Hilbert空间填充曲线是一种能填充满一个平面正方形的分形曲线；连续空间特定规则是指将连续的网格按照特定规则进行编码，对于编码值的设置不做限定；
以Hilbert空间填充曲线为例：
从左下角的网格开始标记为0，按照Hilbert空间填充曲线依次完成其他网格的编码，最后一个右下角编码值为2N-1，用[0,2N-1]表示WEB墨卡托投影的平面空间，时空数据对应到平面空间的坐标点x、y落在特定的网格中，编码值为[0,2N-1]任意数值，即将时空数据对应到平面空间的二维坐标信息转换为了一维数值，再根据所有网格的一维数值得到一维字符信息。
206，根据一维字符信息生成每个网格的主键。
其中，一维字符信息是对多个网格编码后得到的一维数值组成的，将一维字符信息中每个一维数值作为对应网格的主键，主键即该网格对应的时空数据。
207，根据分片存储规则，按照主键对时空数据进行划分后存储至列式数据库中的服务器。
其中，分片存储时空数据的实施步骤，具体包括：
（1），根据主键的数量确定索引区间。
其中，假设主键的数量具有M个，即表明时空数据共有M条数据，每条数据对应到平面空间上的一个特定网格，索引区间就是[1，M]。
（2），根据分片存储规则及索引区间将时空数据分片存储至对应的服务器。
其中，假设列式数据库中共有P个服务器，并且M＞P，根据分片存储规则，按照分片存储规则，每个服务器都配置了不同存储区间，例如，[1，Z]的存储到第1台服务器，（Z，2Z]的存储到第2台服务器，依次类推直到第P台服务器，如果M=Z-1，那么全部的主键和主键对应的时空数据都存储到第1台服务器中；如果M=Z+1，那么[1，Z]的主键和主键对应的时空数据存储到第1台服务器中，Z+1的主键和主键对应的时空数据存储到第2台服务器中；如果M=2Z+2，那么[1，Z]的主键和主键对应的时空数据存储到第1台服务器中，（Z，2Z]的主键和主键对应的时空数据存储到第2台服务器中，2Z+1和2Z+2的主键和主键对应的时空数据存储到第3台服务器中。
时空数据中矢量数据包括元数据信息和实体数据两类，元数据信息包括生产年份、数学参考及生产标准等，时空数据存储到服务器时，矢量数据的主键与实体数据结构表如下表1所示：
表1 矢量数据的主键与实体数据结构表
Figure DEST_PATH_IMAGE002
主键和矢量数据实际存入列式数据库的结构为：
KEY1|KEY2|……GEOMETRY1|GEOMETRY2|……ATTRIBUTE1|ATTRIBUTE2|……ATTRIBUTE1N|ATTRIBUTE2N|……；
时空数据中影像数据包括元数据信息和实体数据，元数据信息包括生产年份、数学参考、分辨率及波段信息等，影像数据的主键与实体数据结构表如下表2所示：
表2 影像数据的主键与实体数据结构表
主键 影像字节
KEY1 IMG_BYTE_DATA1
KEY2 IMG_BYTE_DATA2
……
主键和影像数据实际存入列式数据库的结构为：
KEY1|KEY2|……IMG_BYTE_DATA1|IMG_BYTE_DATA2|……。
实施例2的实施原理为：获取到时空数据后，按照预设数据分层制度对时空数据进行层级划分，确定时空数据的层级数，对于每一个层级数的时空数据采用WEB墨卡托投影技术进行平面投影为一个平面空间，将平面空间依次划分为多个网格，根据空间编码规则对每一个网格进行编码得到一维字符信息，空间编码规则可以是Hilbert空间填充曲线，也可以是连续空间特定规则，一维字符信息是对多个网格编码后得到的一维数值组成的，将一维字符信息中每个一维数值作为对应网格的主键，主键即该网格对应的时空数据，根据分片存储规则将主键及主键对应的时空数据进行划分后，分片存储至列式数据库中的服务器。将复杂的时空数据投影后的平面二维坐标信息转换为一维的主键，便于索引排序和检索，提升了通过索引进行检索的效率。通过Hilbert空间填充曲线将时空数据的二维坐标编码为一维数值，并且是按照顺序依次编码，方便了后续生成的主键的排序及建立索引，保证了局部空间聚类，以及时空数据中相邻数据存储时能够在相近的存储单元中。
实施例3
参照图3，本实施例与以上实施例1和实施例2的不同之处在于，在以上实施例中完成了时空数据存储过程后，需要从列式数据库读取时空数据的时候，具体的步骤包括：
301，当需要读取目标时空数据时，确定目标时空数据的目标层级数及对应的目标网格。
其中，如果用户需要从列式数据库中读取目标时空数据时，通过以上实施例2中存储时空数据时候的记录的层级数和网格等信息，确定目标时空数据的目标层级数，以及目标时空数据对应的目标网格。
302，根据空间编码规则、目标层级数及目标网格，得到目标主键。
其中，结合实施例2中主键的生成过程，结合空间编码规则、目标层级数及目标网格，得到目标时空数据对应的目标主键。
303，根据目标主键确定目标服务器。
其中，在已知了分片存储规则的情况，通过判断目标主键所处的索引区间落入哪个服务器的存储区间，从而确定目标服务器。
304，从目标服务器中读取与目标主键对应的目标时空数据。
其中，由于在存储时，主键和主键对应的时空数据是关联存储到同一个服务器中的，那么确定了目标服务器之后，只需要检索目标服务器中与目标主键关联的目标时空数据，就能读取出目标主键对应的目标时空数据。
实施例3的实施原理为：通过获取目标时空数据对应的层级数和主键，确定存储的服务器，使用主键检索定位到服务器中的目标时空数据，分布式列式数据库的特性，可以使得一次性全部取出时空数据。通过读取时空数据，可以证明读取过程减少了磁盘IO读取次数，提高了检索速度。
本申请实施例还公开一种空间数据管理系统。
实施例4
参照图4，该系统包括：
系统接口模块401，用于获取时空数据；
层级编码模块402，用于对时空数据进行分层，根据空间编码规则对分层后的时空数据进行编码得到主键；
存储模块403，用于根据分片存储规则，按照主键对时空数据进行划分后存储至列式数据库中的服务器，列式数据库具有多台服务器。
实施例4的实施原理为：系统接口模块获取时空数据，层级编码模块402通过时空数据展示的精度和用途等对时空数据进行分层，再根据空间编码规则对分层后的时空数据进行编码得到主键，存储模块403在存储时空数据之时，根据分片存储规则，按照主键将时空数据划分为多个区间，每个区间存储至列式数据库中的一个服务器，并且存储时空数据时，关联的主键也需要存储到同一个服务器中，使得在读取时空数据时，能够通过主键定位到服务器存储的时空数据。与相关技术相比，由于时空数据存储到列式数据库采用的是分片存储规则，海量时空数据的存储需求增加时，通过增加服务器即可实现存储容量的扩展；空间编码规则将复杂的时空数据进行编码得到主键后，根据主键就可以检索得到对应的时空数据，避免了检索时数据库的全表扫描，降低了输入输出负载；列式数据库使得时空数据是列式存储，读取数据时，不需要随机读取，减少了寻址定位时间。因此，满足了海量时空数据的存储需求，并且提高了时空数据的检索效率。
需要说明的是，实施例4中的层级编码模块402及存储模块403还用于执行以上时空数据管理方法的实施例中的步骤。
本申请还提供一种主机，包括：
存储器及处理器；
存储器上存储有能够被处理器加载并执行以上实施例1-3中时空数据管理方法的计算机程序。
本申请还提供一种计算机可读存储介质，存储有能够被处理器加载并执行以上实施例1-3中时空数据管理方法的计算机程序。
计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (8)

1.一种时空数据管理方法，其特征在于，所述方法包括：
获取时空数据；
对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键；
根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，所述列式数据库具有多台服务器；
所述对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键，包括：
根据预设数据分层制度对所述时空数据进行层级划分，确定所述时空数据的层级数；
根据空间编码规则对每一个层级数对应的所述时空数据进行编码得到主键；
所述根据空间编码规则对每一个层级数对应的所述时空数据进行编码得到主键，包括：
对每一个层级数对应的所述时空数据进行平面投影，得到平面空间；
将所述平面空间依次划分为多个网格；
根据空间编码规则对每个网格进行编码，得到一维字符信息；
根据所述一维字符信息生成每个网格对应的时空数据的主键。
2.根据权利要求1所述的时空数据管理方法，其特征在于，所述根据空间编码规则对每个网格进行编码，得到一维字符信息，包括：
根据希尔伯特空间填充曲线对所有网格进行依次编码，得到所有网格对应的一维数值；
根据所有网格的一维数值得到所述时空数据的一维字符信息。
3.根据权利要求1所述的时空数据管理方法，其特征在于，所述根据空间编码规则对每个网格进行编码，得到一维字符信息，包括：
根据连续空间特定规则对所有网格进行编码，得到所有网格对应的一维数值；
根据所有网格的一维数值得到所述时空数据的一维字符信息。
4.根据权利要求1所述的时空数据管理方法，其特征在于，所述根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，包括：
根据所述主键的数量确定索引区间；
根据分片存储规则及所述索引区间将所述时空数据分片存储至对应的服务器。
5.根据权利要求4所述的时空数据管理方法，其特征在于，所述方法还包括：
当需要读取目标时空数据时，确定所述目标时空数据的目标层级数及对应的目标网格；
根据所述空间编码规则、所述目标层级数及所述目标网格，得到目标主键；
根据所述目标主键确定目标服务器；
从所述目标服务器中读取与所述目标主键对应的目标时空数据。
6.一种时空数据管理系统，其特征在于，所述系统包括：
系统接口模块，用于获取时空数据；
层级编码模块，用于对所述时空数据进行分层，根据空间编码规则对分层后的所述时空数据进行编码得到主键；
存储模块，用于根据分片存储规则，按照所述主键对所述时空数据进行划分后存储至列式数据库中的服务器，所述列式数据库具有多台服务器；
所述层级编码模块，具体用于根据预设数据分层制度对所述时空数据进行层级划分，确定所述时空数据的层级数；对每一个层级数对应的所述时空数据进行平面投影，得到平面空间；将所述平面空间依次划分为多个网格；根据空间编码规则对每个网格进行编码，得到一维字符信息；根据所述一维字符信息生成每个网格对应的时空数据的主键。
7.一种主机，其特征在于，包括：
存储器及处理器；
所述存储器上存储有能够被所述处理器加载并执行如权利要求1至5中任一项所述时空数据管理方法的计算机程序。
8.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至5中任一项所述时空数据管理方法的计算机程序。
CN202110568526.XA 2021-05-25 2021-05-25 时空数据管理方法、系统、主机及计算机可读存储介质 Pending CN113032405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568526.XA CN113032405A (zh) 2021-05-25 2021-05-25 时空数据管理方法、系统、主机及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568526.XA CN113032405A (zh) 2021-05-25 2021-05-25 时空数据管理方法、系统、主机及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113032405A true CN113032405A (zh) 2021-06-25

Family

ID=76455659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568526.XA Pending CN113032405A (zh) 2021-05-25 2021-05-25 时空数据管理方法、系统、主机及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113032405A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114544874A (zh) * 2022-02-21 2022-05-27 北京京东尚科信息技术有限公司 一种农作物水份检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529906B1 (en) * 2000-01-28 2003-03-04 Oracle Corporation Techniques for DLM optimization with re-mastering events
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统
CN107423368A (zh) * 2017-06-29 2017-12-01 中国测绘科学研究院 一种非关系数据库中的时空数据索引方法
CN109992636A (zh) * 2019-03-22 2019-07-09 中国人民解放军战略支援部队信息工程大学 时空编码方法、时空索引及查询方法及装置
CN110599490A (zh) * 2019-09-02 2019-12-20 广州市城市规划勘测设计研究院 一种遥感影像数据存储方法和系统
CN111198847A (zh) * 2019-12-30 2020-05-26 广东奡风科技股份有限公司 一种适用于大数据集的数据并行处理方法、装置及系统
CN111399991A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 虚拟资源加锁方法和装置、存储介质及电子装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529906B1 (en) * 2000-01-28 2003-03-04 Oracle Corporation Techniques for DLM optimization with re-mastering events
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统
CN107423368A (zh) * 2017-06-29 2017-12-01 中国测绘科学研究院 一种非关系数据库中的时空数据索引方法
CN109992636A (zh) * 2019-03-22 2019-07-09 中国人民解放军战略支援部队信息工程大学 时空编码方法、时空索引及查询方法及装置
CN110599490A (zh) * 2019-09-02 2019-12-20 广州市城市规划勘测设计研究院 一种遥感影像数据存储方法和系统
CN111198847A (zh) * 2019-12-30 2020-05-26 广东奡风科技股份有限公司 一种适用于大数据集的数据并行处理方法、装置及系统
CN111399991A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 虚拟资源加锁方法和装置、存储介质及电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
施志林: "时空数据分布式存储研究", 《万方数据》 *
郭双仁等: "自然资源大数据快速服务平台关键技术的研究与实现", 《测绘通报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114544874A (zh) * 2022-02-21 2022-05-27 北京京东尚科信息技术有限公司 一种农作物水份检测方法和装置
CN114544874B (zh) * 2022-02-21 2024-04-05 北京京东尚科信息技术有限公司 一种农作物水份检测方法和装置

Similar Documents

Publication Publication Date Title
CN110599490B (zh) 一种遥感影像数据存储方法和系统
CN111782742B (zh) 一种面向大规模地理空间数据的存储和检索方法及其系统
CN111291016B (zh) 一种海量遥感影像数据分层混合存储与索引方法
CN104199986B (zh) 基于hbase和geohash的矢量数据空间索引方法
CN103336772B (zh) 一种单景影像瓦片数据组织方法
US9877031B2 (en) System and method for multi-resolution raster data processing
CN111367913A (zh) 一种面向全空间的数据模型的建模方法
CN107153711A (zh) 地理信息数据处理方法及装置
CN113946700A (zh) 一种时空索引构建方法、装置、计算机设备及存储介质
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
CN111125392A (zh) 一种基于矩阵对象存储机制的遥感影像存储、查询方法
CN103714145A (zh) 关系型和Key-Value型数据库空间数据索引方法
CN111104457A (zh) 基于分布式数据库的海量时空数据管理方法
CN106991149B (zh) 一种融合编码和多版本数据的海量空间对象存储方法
CN111414445B (zh) 一种应用地理信息的地址反解析方法
CN110825830B (zh) 一种网格空间的数据检索方法
CN109885638B (zh) 一种三维立体空间索引方法及系统
CN105740428A (zh) 一种基于b+树的高维磁盘索引结构和图像检索方法
CN116775661A (zh) 基于北斗网格技术的空间大数据存储与管理方法
CN113722415B (zh) 点云数据的处理方法、装置、电子设备及存储介质
CN113032405A (zh) 时空数据管理方法、系统、主机及计算机可读存储介质
Wang et al. Space filling curve based point clouds index
CN116467540B (zh) 一种基于HBase的海量空间数据快速可视化方法
CN117608476A (zh) 矢量数据分块存储方法、装置、电子设备及介质
CN110297952B (zh) 一种基于网格索引的并行化高速铁路勘测数据检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination