CN112328583A - 一种时空数据管理方法 - Google Patents
一种时空数据管理方法 Download PDFInfo
- Publication number
- CN112328583A CN112328583A CN202011184732.2A CN202011184732A CN112328583A CN 112328583 A CN112328583 A CN 112328583A CN 202011184732 A CN202011184732 A CN 202011184732A CN 112328583 A CN112328583 A CN 112328583A
- Authority
- CN
- China
- Prior art keywords
- data
- spatio
- temporal
- time
- temporal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 14
- 238000005192 partition Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 9
- 239000012634 fragment Substances 0.000 description 6
- 238000012163 sequencing technique Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明属于以时间和空间为条件的数据管理以及检索处理领域，具体公开了一种时空数据管理方法，包括步骤：上传数据，并通过服务器中心对数据进行数据提取以及处理；将上传并处理后的数据存储至数据库中，该数据库用于进行上传数据的统一检索、过滤；在数据库中对时空数据的区域进行分片；搭建数据管理平台并构建时空数据的分布式存储策略，对时空数据进行分布式索引；根据分布式存储策略将索引后的时空数据存储至数据管理平台，并由数据管理平台对其进行管理。本发明能有效地将数据分解、将资源聚合，实现了对于巨量、异构、递增的空间大数据的高效率存储管理，而且本发明还通过分布式存储策略，使得系统负载更低,系统资源能得到更充分利用。
Description
技术领域
本发明涉及以时间和空间为条件的数据管理以及检索处理领域，具体为一种时空数据管理方法。
背景技术
随着科学技术的快速发展,人类对自身生活环境的探索已经不仅仅局限于周围的世界，探索空间的外沿急剧扩展，已经遍及地球各个角落、各个圈层,并延伸到外太空。因此，如何表述人类活动的客观世界和活动特征，已经成为了科研机构和人员研究的热点和重点。时空数据是同时具有时间和空间维度的数据，现实世界中的数据超过80％与地理位置有关。时空大数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点。
大数据时代的来临推动了数据存储、处理等多领域理论与工程实践的高速发展。随着时空数据全面迈向“大数据”时代，数据的存储模式也进入了“集群管理”时代。特别是移动互联网、卫星导航、LBS(Location Based Service)移动位置服务技术的普及产生了海量的时空数据，为城市交通态势感知、车辆进行路线规划、居民出行特征分析等提供了足够的数据支持。与此同时，其多源异构、巨量增长的特征对数据存储及索引方法也提出了更高的要求。传统的集中式的数据管理及存储方法(如公开号为CN106095862A、CN110019089A的发明专利)，容易造成应用性能的急剧下降，力度较弱，存储应用、扩展能力较弱，无法承载高并发访问的压力，而且容易造成应用性能的急剧下降。
发明内容
本发明的目的在于提供一种时空数据管理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种时空数据管理方法，包括如下步骤：
S1：上传数据，并通过服务器中心对数据进行数据提取以及处理；
S2：将上传并处理后的数据存储至数据库中，该数据库用于进行上传数据的统一检索、过滤；
S3：在数据库中对时空数据的区域进行分片；
S4：搭建数据管理平台并构建时空数据的分布式存储策略，对时空数据进行分布式索引；
S5：根据分布式存储策略将索引后的时空数据存储至数据管理平台，并由数据管理平台对其进行管理。
优选的，S1中具体包括：
S11：数据中心通过统一的数据导入接口对数据进行上传，数据上传过程中通过对比计算数据的哈希值，以判断上传的数据中是否存在真实数据；
S12：服务器中心获取导入的数据并对数据进行提取，提取数据中的元数据，并在提取对元数据中时空数据进行深化处理，提取时空数据信息。
优选的，S3中具体包括：根据精度需求，并基于地理格网的划分规则将时空数据进行离散切分。
优选的，S4中分布式索引策略过程包括：
步骤a：根据业务需求为时空数据设计分布式索引结构，且分布式索引结构包括分区编码、时间编码、地理编码、倒排时间和唯一编码；
步骤b：基于分区编码、时间编码、地理编码、倒排时间和唯一编码进行分布式索引。
上述分区编码用于确定数据所存储的数据节点；
上述倒排时间用于将同一空间位置下数据的按时间排序；
上述时间编码用于控制数据的组织和排序方式；
上述地理编码用于将空间相关性高的时空数据组织到相近的位置；
上述唯一编码用于确定数据的唯一性。
优选的，S5的数据管理平台内预存有时空数据的存储表，其通过时空数据的存储表将时空数据对应导入发布至分布式数据库中。
优选的，分布式数据库中具有时空数据库检索策略，且该检索策略包括：通过建立时空数据地理、时间实体编码策略，并使得每一地理、时间实体都具有唯一编码，且该编码内容需涵盖地理、时间实体的所需表达的信息；通过在数据库中的存储表中添加地理、时间实体编码字段并对地理、时间实体编码字段建立索引；根据地理、时间实体编码方案对时空数据进行赋值，并将时空数据与其属性进行入库操作。地理实体编码包含定位码、分类码、层次码和顺序码。
优选的，分布式数据库还采用MongoDB非关系数据库存储海量数据，当用户在MongoDB中导入相关数据时，MongoDB集群对单个分片上的数据是否超过预设值进行判断，若是超出存储限值，便会自行启动分片机制，对集合进行分块，然后分别派送至不同的分片上。
优选的，上述管理方法具体包括：获取上传数据—数据处理—时空存储数据库—对存储的时空数据的区域进行分片—搭建数据管理平台并构建时空数据的分布式存储策略---对时空数据进行分布式索引—根据分布式存储策略将索引后的时空数据进长分布式存储至数据管理平台--数据管理平台进行管理。
与现有技术相比，本发明的有益效果是：
本发明对针对外部数据采用数据处理、分片、分布式管理等步骤，能提高分布式环境下空间数据的分发、访问及操作性能，通过服务器中心获取导入的数据并对数据进行提取，提取数据中的元数据，并在提取对元数据中时空数据进行深化处理以及提取，有效地将数据分解、将资源聚合，实现了对于巨量、异构、递增的空间大数据的高效率存储管理，而且本发明还通过分布式存储策略，使得系统负载更低,系统资源能得到更充分利用。
附图说明
图1为本发明实施例中的具体的流程示意图；
图2为本发明实施例中流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种时空数据管理方法，包括如下步骤：
S1：上传数据，并通过服务器中心对数据进行数据提取以及处理；
S2：将上传并处理后的数据存储至数据库中，该数据库用于进行上传数据的统一检索、过滤；
S3：在数据库中对时空数据的区域进行分片；
S4：搭建数据管理平台并构建时空数据的分布式存储策略，对时空数据进行分布式索引；
S5：根据分布式存储策略将索引后的时空数据存储至数据管理平台，并由数据管理平台对其进行管理。
在本实施例中，S1中具体包括：
S11：数据中心通过统一的数据导入接口对数据进行上传，数据上传过程中通过对比计算数据的哈希值，以判断上传的数据中是否存在真实数据；
S12：服务器中心获取导入的数据并对数据进行提取，提取数据中的元数据，并在提取对元数据中时空数据进行深化处理，提取时空数据信息。
在本实施例中，上述元数据包括如数据的名称、大小、创建时间、修改时间、格式等。
在本实施例中，服务器中心在针对多源异构时空信息数据的多而杂的特性，采用服务器中心处理的方式对数据进行存储管理，数据中心通过统一的数据导入接口对数据进行上传，并在上传计算数据的哈希值，由于哈希值是通过哈希算法将任意长度的二进制值映射为固定长度的较小二进制值，因此可通过哈希函数来进行数据完整性的确定。
在本实施例中，S3中具体包括：根据精度需求，并基于地理格网的划分规则将时空数据进行离散切分。
在本实施例中，S4中分布式索引策略过程包括：
步骤a：根据业务需求为时空数据设计分布式索引结构，且分布式索引结构包括分区编码、时间编码、地理编码、倒排时间和唯一编码；
步骤b：基于分区编码、时间编码、地理编码、倒排时间和唯一编码进行分布式索引。
在本实施例中，上述分区编码用于确定数据所存储的数据节点；上述倒排时间用于将同一空间位置下数据的按时间排序；上述时间编码用于控制数据的组织和排序方式；上述地理编码用于将空间相关性高的时空数据组织到相近的位置；上述唯一编码用于确定数据的唯一性。
在本实施例中，S5的数据管理平台内预存有时空数据的存储表，其通过时空数据的存储表将时空数据对应导入发布至分布式数据库中。
在本实施例中，分布式数据库中具有时空数据库检索策略，且该检索策略包括：通过建立时空数据地理、时间实体编码策略，并使得每一地理、时间实体都具有唯一编码，且该编码内容需涵盖地理、时间实体的所需表达的信息；通过在数据库中的存储表中添加地理、时间实体编码字段并对地理、时间实体编码字段建立索引；根据地理、时间实体编码方案对时空数据进行赋值，并将时空数据与其属性进行入库操作。地理实体编码包含定位码、分类码、层次码和顺序码。
在本实施例中，分布式数据库还采用MongoDB非关系数据库存储海量数据，当用户在MongoDB中导入相关数据时，MongoDB集群对单个分片上的数据是否超过预设值进行判断，若是超出存储限值，便会自行启动分片机制，对集合进行分块，然后分别派送至不同的分片上。
在本实施例中，上述管理方法具体包括：获取上传数据—数据处理—时空存储数据库—对存储的时空数据的区域进行分片—搭建数据管理平台并构建时空数据的分布式存储策略---对时空数据进行分布式索引—根据分布式存储策略将索引后的时空数据进长分布式存储至数据管理平台--数据管理平台进行管理。
在本实施例中，本发明对针对外部数据采用数据处理、分片、分布式管理等步骤，能提高分布式环境下空间数据的分发、访问及操作性能，通过服务器中心获取导入的数据并对数据进行提取，提取数据中的元数据，并在提取对元数据中时空数据进行深化处理以及提取，有效地将数据分解、将资源聚合，实现了对于巨量、异构、递增的空间大数据的高效率存储管理。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种时空数据管理方法，其特征在于，包括如下步骤：
S1：上传数据，并通过服务器中心对数据进行数据提取以及处理；
S2：将上传并处理后的数据存储至数据库中，该数据库用于进行上传数据的统一检索、过滤；
S3：在数据库中对时空数据的区域进行分片；
S4：搭建数据管理平台并构建时空数据的分布式存储策略，对时空数据进行分布式索引；
S5：根据分布式存储策略将索引后的时空数据存储至数据管理平台，并由数据管理平台对其进行管理。
2.根据权利要求1所述的一种时空数据管理方法，其特征在于：所述S1中具体包括：
S11：数据中心通过统一的数据导入接口对数据进行上传，数据上传过程中通过对比计算数据的哈希值，以判断上传的数据中是否存在真实数据；
S12：服务器中心获取导入的数据并对数据进行提取，提取数据中的元数据，并在提取对元数据中时空数据进行深化处理，提取时空数据信息。
3.根据权利要求1所述的一种时空数据管理方法，其特征在于：所述S3中具体包括：根据精度需求，并基于地理格网的划分规则将时空数据进行离散切分。
4.根据权利要求1所述的一种时空数据管理方法，其特征在于：所述S4中分布式索引策略过程包括：步骤a：根据业务需求为时空数据设计分布式索引结构，且分布式索引结构包括分区编码、时间编码、地理编码、倒排时间和唯一编码；步骤b：基于分区编码、时间编码、地理编码、倒排时间和唯一编码进行分布式索引。
5.根据权利要求1所述的一种时空数据管理方法，其特征在于：所述S5的数据管理平台内预存有时空数据的存储表，其通过时空数据的存储表将时空数据对应导入发布至分布式数据库中。
6.根据权利要求5所述的一种时空数据管理方法，其特征在于：所述分布式数据库中具有时空数据库检索策略，且该检索策略包括：通过建立时空数据地理、时间实体编码策略，并使得每一地理、时间实体都具有唯一编码，且该编码内容需涵盖地理、时间实体的所需表达的信息；通过在数据库中的存储表中添加地理、时间实体编码字段并对地理、时间实体编码字段建立索引；根据地理、时间实体编码方案对时空数据进行赋值，并将时空数据与其属性进行入库操作。
7.根据权利要求6所述的一种时空数据管理方法，其特征在于：所述地理实体编码包含定位码、分类码、层次码和顺序码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184732.2A CN112328583A (zh) | 2020-10-29 | 2020-10-29 | 一种时空数据管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011184732.2A CN112328583A (zh) | 2020-10-29 | 2020-10-29 | 一种时空数据管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112328583A true CN112328583A (zh) | 2021-02-05 |
Family
ID=74296673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011184732.2A Pending CN112328583A (zh) | 2020-10-29 | 2020-10-29 | 一种时空数据管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112328583A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117112492A (zh) * | 2023-08-25 | 2023-11-24 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010118638A1 (zh) * | 2009-04-17 | 2010-10-21 | 中国科学院声学研究所 | 一种基于地理位置信息编码的cdn网络系统及数据分发方法 |
| CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技（北京）有限公司 | 一种海量时空数据的高效组织与管理方法 |
| CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
| US20190324691A1 (en) * | 2016-06-22 | 2019-10-24 | Hangzhou Hikvision Digital Technology Co., Ltd. | Data Recovery Method and Device, and Cloud Storage System |
| CN111008665A (zh) * | 2019-12-05 | 2020-04-14 | 成都思晗科技股份有限公司 | 一种用于时空数据的特征提取方法 |
| CN111104457A (zh) * | 2019-10-30 | 2020-05-05 | 武汉大学 | 基于分布式数据库的海量时空数据管理方法 |
-
2020
- 2020-10-29 CN CN202011184732.2A patent/CN112328583A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010118638A1 (zh) * | 2009-04-17 | 2010-10-21 | 中国科学院声学研究所 | 一种基于地理位置信息编码的cdn网络系统及数据分发方法 |
| US20190324691A1 (en) * | 2016-06-22 | 2019-10-24 | Hangzhou Hikvision Digital Technology Co., Ltd. | Data Recovery Method and Device, and Cloud Storage System |
| CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技（北京）有限公司 | 一种海量时空数据的高效组织与管理方法 |
| CN109871418A (zh) * | 2019-01-04 | 2019-06-11 | 广州市城市规划勘测设计研究院 | 一种时空数据的空间索引方法和系统 |
| CN111104457A (zh) * | 2019-10-30 | 2020-05-05 | 武汉大学 | 基于分布式数据库的海量时空数据管理方法 |
| CN111008665A (zh) * | 2019-12-05 | 2020-04-14 | 成都思晗科技股份有限公司 | 一种用于时空数据的特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 隋亚刚等: "《城市道路系统编码方法及其应用》", 中国铁道出版社, pages: 30 - 38 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117112492A (zh) * | 2023-08-25 | 2023-11-24 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
| CN117112492B (zh) * | 2023-08-25 | 2024-03-12 | 中南林业科技大学 | 一种自适应的时空大数据分布式存储方法及智能文件系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pahins et al. | Hashedcubes: Simple, low memory, real-time visual exploration of big data | |
| CN105701104B (zh) | 一种基于地理信息的三维数据引擎系统 | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN107145526B (zh) | 一种路网下地理社交关键字反最近邻查询处理方法 | |
| CN108205562B (zh) | 地理信息系统的定位数据存储、检索方法及其装置 | |
| CN106649656A (zh) | 一种面向数据库的时空轨迹大数据存储方法 | |
| CN112214485B (zh) | 基于全球剖分网格的电网资源数据组织规划方法 | |
| CN111125294B (zh) | 一种空间关系的知识图谱数据模型表示方法及系统 | |
| CN109145225B (zh) | 一种数据处理方法及装置 | |
| CN111708752A (zh) | 一种输电设备三维标准模型库管理系统 | |
| Du et al. | Spatio-temporal data index model of moving objects on fixed networks using hbase | |
| CN116860905B (zh) | 一种城市信息模型的空间单元编码生成方法 | |
| CN108280162A (zh) | 一种基于缓存的位置隐私保护方法 | |
| Sinaeepourfard et al. | Fog-to-Cloud (F2C) data management for smart cities | |
| CN110928878A (zh) | 基于hdfs的点云数据处理方法及装置 | |
| CN117520470A (zh) | 基于GeoSOT网格编码的气象数据管理方法、装置及电子设备 | |
| CN109325089A (zh) | 一种非定点对象查询方法、装置、终端设备及存储介质 | |
| CN112328583A (zh) | 一种时空数据管理方法 | |
| CN112800083B (zh) | 一种面向政府决策的政务大数据分析方法及设备 | |
| CN117851695A (zh) | 一种基于地理格网和图数据库的时空索引方法 | |
| CN116796083B (zh) | 一种空间数据划分方法及系统 | |
| CN117479136A (zh) | 基于手机信令的应急救援方案获取方法、装置及设备 | |
| CN107729494A (zh) | 一种基于z型空间曲线映射的poi检索方法 | |
| CN115809360B (zh) | 一种大规模时空流数据实时空间连接查询方法及相关设备 | |
| CN110297952B (zh) | 一种基于网格索引的并行化高速铁路勘测数据检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |