CN114398459A - 一种面向船舶定位数据的时空网格与树融合的存储方法 - Google Patents
一种面向船舶定位数据的时空网格与树融合的存储方法 Download PDFInfo
- Publication number
- CN114398459A CN114398459A CN202210048823.6A CN202210048823A CN114398459A CN 114398459 A CN114398459 A CN 114398459A CN 202210048823 A CN202210048823 A CN 202210048823A CN 114398459 A CN114398459 A CN 114398459A
- Authority
- CN
- China
- Prior art keywords
- metadata
- time
- space
- positioning data
- time grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24558—Binary matching operations
- G06F16/2456—Join operations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向船舶定位数据的时空网格与树融合的存储方法。本发明采用时间、经度和纬度三个维度构建时空网格，对时空网格内单个船舶定位数据的元数据建模；并将元数据按照时间范围分片形成元数据块，采用B+树对元数据块进行管理；在元数据块内，构建时空网格编码，并按照时空网格编码升序将元数据依次存入元数据数组中；在数据存储过程中，随着时间推移，自动按照时间范围分片建立元数据块及其元数据，同时将船舶定位数据存储至存储节点。本发明以时空网格编码作为元数据索引，实现按时空条件快速查找元数据；将元数据按照时间范围分片形成元数据块，采用B+树对元数据块进行管理，实现快速缩小目标数据的查找范围。
Description
技术领域
本发明涉及海洋船舶定位数据存储领域，尤其涉及一种面向船舶定位数据的时空网格与树融合的存储方法。
背景技术
随着定位终端在海洋船舶中普及，海量的船舶定位数据被持续记录下来。面对船舶碰撞事件、沉船事件、事故救援的实际场景，LBS(围绕地理位置数据展开的服务)需要对任意时间和空间范围内船舶历史轨迹查询。合理的存储模型与索引能够从根本上提高船舶点位数据的查询性能，然而，传统的关系型数据库难以支撑海量船舶定位数据的存储。同时，NoSQL数据库虽然能够满足海量通用数据的存储，但没有针对时空序列数据的存储和查询做特定的优化。因此，面向船舶定位数据高效查询的存储方案已经成为亟需改进的关键问题。
传统数据库主要依赖于以树形结构为索引结构建立索引。PostGIS为PostgreSQL提供了存储空间地理数据的支持，利用R树与GiST实现了空间索引，加快了正交查询的速度。Oracle spatial提供基于线性四叉树和参照树的两种空间索引方案。上述这些树形结构是基于数据的数据组织和编码方式，整个树形结构的构造过程都受其所收到的数据输入驱动。随着后续数据的插入，整个树的结构也会需要进行相应的动态调整。频繁的更改整个树的结构会降低数据写入的性能。
基于网格结构的索引具备简单的构造特点和高效的构建性能，因此常被用来索引空间数据。GeoMesa是建立在Bigtable等数据库之上的地理空间索引，使用Geohash算法实现。MongoDB的空间索引类型为2dsphere，其首先以多个不同层级的网格划分地球表面，然后用B+树对生成的网格进行索引。Google开发的S2程序库通过将空间数据表示在三维球体上，使得能够建立一个没有奇异点的全球地理数据库，然后构造空间网格索引。然而，在时序序列场景下，上述的索引均并未考虑定位数据的时间序列特点。
发明内容
本发明根据现有技术的不足，针对海量船舶定位数据的时序性特征，提出一种面向船舶定位数据的时空网格与B+树融合的分布式存储方法，为海量船舶定位数据提供高效的存储与查询方案。
本发明通过对船舶定位数据采用时空网格的方式对元数据建模，以时空网格编码作为索引，从而实现按时空范围查找的目的；通过将元数据按照时间区域分片形成元数据块，以B+树管理元数据块的方式，实现快速缩小目标数据的查找范围，同时，解决了在现有空间数据库中，空间索引随着数据量增长而不断膨胀的问题。
为了实现上述目标，本发明采用如下的技术方案：
步骤(1)：船舶定位数据的属性包括经度、纬度、时间、设备编号、速度、方向、温度等。针对船舶定位数据的多键值特征，采用时间、经度和纬度三个维度构建时空网格，实现对时空网格内单个船舶定位数据的元数据建模，其中，元数据属性包括：该船舶定位数据的经纬度、时间和磁盘地址等。
上述的时空网格是按照固定间隔的时间、经度和纬度划分而成。
步骤(2)：针对海量船舶定位数据的时序性特征，将元数据按照时间区域分片，形成元数据块，采用B+树对元数据块进行管理，其中一个元数据块为一个B+树节点。
元数据块的划分过程为：取出元数据的时间属性T，以间隔固定时长切分T的方式聚合元数据为元数据块。
步骤(3)：在元数据块内，针对元数据建模的时空特征，构建基于希尔伯特填充曲线的时空网格编码，按照时空网格编码升序将元数据依次存入元数据数组中。
上述的时空网格编码生成过程如下：在元数据块内，依据局部性原理，对全部时空网格采用单条希尔伯特曲线连接，按照曲线所经过的时空网格顺序从0开始依次递增编码。
当同一个时空网格中有多个船舶定位数据时，此时多个元数据的时空网格编码相同，在元数据数组存储过程中，将第一个元数据存入数组，后续的元数据按照链表的方式分别由前一个元数据通过磁盘地址属性引用。
步骤(4)：根据元数据信息和元数据块信息，随着时间推移,自动按照时间分片建立元数据块及其元数据，同时将船舶定位数据存储至存储节点。
步骤(5)：当用户查询数据时，根据用户查询的时间区域通过B+树定位到元数据块；在该元数据块内，根据查询条件中的时间和经纬度范围计算得出时空网格编码，以时空网格编码为索引，在元数据数组中定位到元数据的位置，并获取元数据信息；在元数据中，依次读取船舶定位数据磁盘地址；根据查询到的磁盘地址，从存储节点中获取数据并响应查询。
与现有技术相比，本发明的有益效果：
1.在元数据数组中，以时空网格编码作为索引，实现快速查找元数据的目的。
2.通过将元数据按照时间区域分片形成元数据块，以B+树管理元数据块的方式，实现快速缩小目标数据的查找范围。
3.以按照时间分片划分存储的方式，解决了在现有空间数据库中随时间推移，空间索引不断膨胀的问题。
附图说明
图1：时空网格索引与B+树融合示意图。
图2：三维时空网格的希尔伯特填充曲线示意图。
具体实施方式
下面将结合附图1和具体实施步骤对本发明做出进一步说明：
步骤(1)：船舶定位数据的属性包括经度、纬度、时间、设备编号、速度、方向、温度等。针对船舶定位数据的多键值特征，采用时间、经度和纬度三个维度构建时空网格，实现对时空网格内单个船舶定位数据的元数据建模，其中，元数据属性包括：该船舶定位数据的经纬度、时间和磁盘地址等。
上述时空网格是按照固定间隔的时间、经度和纬度划分而成。本实施例以时间间隔为10分钟、经纬度间隔均为0.5度为例进行网格划分。
步骤(2)：针对海量船舶定位数据的时序性特征，将元数据按照时间区域分片，形成元数据块，采用B+树对元数据块进行管理，其中一个元数据块为一个B+树节点。
元数据块的划分过程为：根据元数据的时间属性T，以间隔固定时长切分T的方式聚合元数据为元数据块。
步骤(3)：在元数据块内，针对元数据建模的时空特征，构建基于希尔伯特填充曲线的时空网格编码，按照时空网格编码升序将元数据依次存入元数据数组中。
上述的时空网格编码生成过程如下：在元数据块内，依据局部性原理，对全部时空网格采用单条希尔伯特曲线连接，按照曲线所经过的时空网格顺序从0开始依次递增编码。三维时空网格的希尔伯特填充曲线如图2所示。
其中，根据经纬度和时间计算时空网格编码的具体方法如算法1所示：
当同一个时空网格中有多个船舶定位数据时，此时多个元数据的时空网格编码相同，在元数据数组存储过程中，应将第一个元数据存入数组，后续的元数据按照链表的方式分别由前一个元数据通过磁盘地址属性引用。
步骤(4)：根据元数据信息和元数据块信息，随着时间推移，自动按照时间分片建立元数据块及其元数据，同时将船舶定位数据存储至存储节点。
步骤(5)：当用户查询数据时，根据用户查询的时间区域通过B+树定位到元数据块；在该元数据块内，根据查询条件中的时间和经纬度范围计算得出时空网格编码，以时空网格编码为索引，在元数据数组中定位到元数据的位置，并获取元数据信息；在元数据中，依次读取船舶定位数据磁盘地址；根据查询到的磁盘地址，从存储节点中获取数据并响应查询。
以上显示和描述了本发明的基本原理、主要特征和优点。上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (5)
1.一种面向船舶定位数据的时空网格与树融合的存储方法，其特征，所述方法包括以下步骤：
步骤（1）：针对船舶定位数据的多键值特征，采用时间、经度和纬度三个维度构建时空网格，实现对时空网格内单个船舶定位数据的元数据建模，其中，元数据属性包括：该船舶定位数据的经纬度、时间和磁盘地址；
步骤（2）：针对海量船舶定位数据的时序性特征，将元数据按照时间区域分片，形成元数据块，采用B+树对元数据块进行管理，其中一个元数据块为一个B+树节点；
步骤（3）：在元数据块内，针对元数据建模的时空特征，构建基于希尔伯特填充曲线的时空网格编码，时空网格编码从0开始递增，按照时空网格编码升序将元数据依次存入元数据数组中；
步骤（4）：根据元数据信息和元数据块信息，随着时间推移，自动按照时间分片建立元数据块及其元数据，同时将船舶定位数据存储至存储节点；
步骤（5）：当用户查询数据时，根据用户查询的时间区域通过B+树定位到元数据块；在该元数据块内，根据查询条件中的时间和经纬度范围计算得出时空网格编码；以时空网格编码为索引，在元数据数组中定位到元数据的位置，并获取元数据信息；在元数据中，依次读取船舶定位数据磁盘地址；根据查询到的磁盘地址，从存储节点中获取数据并响应查询。
2.根据权利要求1所述的一种面向船舶定位数据的时空网格与树融合的存储方法，其特征在于：步骤（1）中所述船舶定位数据的属性包括经度、纬度、时间、设备编号、速度、方向和温度；时空网格是按照固定间隔的时间、经度和纬度划分而成；元数据是按照时间、经度和纬度建模。
3.根据权利要求1所述的一种面向船舶定位数据的时空网格与树融合的存储方法，其特征在于：步骤（2）中所述元数据块的划分过程为：根据元数据的时间属性
，以固定间隔时长切分
的方式聚合元数据为元数据块；最后，根据时间的递增性和无限性，对元数据块的起始时间属性建立索引，并采用B+树结构。
4.根据权利要求1所述的一种面向船舶定位数据的时空网格与树融合的存储方法，其特征在于：步骤（3）中所述的时空网格编码生成过程如下：在元数据块内，依据局部性原理，对全部时空网格采用单条希尔伯特曲线连接，按照曲线所经过的时空网格顺序从0开始依次递增编码；根据定位数据的时间、经度、纬度，采用基于希尔伯特曲线计算时空网格编码的方法，确定时空网格编码。
5.根据权利要求4所述的一种面向船舶定位数据的时空网格与树融合的存储方法，其特征在于：当同一个时空网格中有多个船舶定位数据时，此时多个元数据的时空网格编码相同，在元数据数组存储过程中，将第一个元数据存入数组，后续的元数据按照链表的方式分别由前一个元数据通过磁盘地址属性引用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048823.6A CN114398459A (zh) | 2022-01-17 | 2022-01-17 | 一种面向船舶定位数据的时空网格与树融合的存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210048823.6A CN114398459A (zh) | 2022-01-17 | 2022-01-17 | 一种面向船舶定位数据的时空网格与树融合的存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114398459A true CN114398459A (zh) | 2022-04-26 |
Family
ID=81230777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210048823.6A Pending CN114398459A (zh) | 2022-01-17 | 2022-01-17 | 一种面向船舶定位数据的时空网格与树融合的存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114398459A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116796083A (zh) * | 2023-06-29 | 2023-09-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
| CN117407478A (zh) * | 2023-12-12 | 2024-01-16 | 山东理工大学 | 一种以高维数组存储的时空数据的时间框架转化方法 |
-
2022
- 2022-01-17 CN CN202210048823.6A patent/CN114398459A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116796083A (zh) * | 2023-06-29 | 2023-09-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
| CN116796083B (zh) * | 2023-06-29 | 2023-12-22 | 山东省国土测绘院 | 一种空间数据划分方法及系统 |
| CN117407478A (zh) * | 2023-12-12 | 2024-01-16 | 山东理工大学 | 一种以高维数组存储的时空数据的时间框架转化方法 |
| CN117407478B (zh) * | 2023-12-12 | 2024-03-22 | 山东理工大学 | 一种以高维数组存储的时空数据的时间框架转化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992636B (zh) | 时空编码方法、时空索引及查询方法及装置 | |
| CN109165215B (zh) | 一种云环境下时空索引的构建方法、装置及电子设备 | |
| CN114398459A (zh) | 一种面向船舶定位数据的时空网格与树融合的存储方法 | |
| CN111930767B (zh) | 一种基于多层缓存的矢量瓦片实时切片和更新方法 | |
| CN107766433B (zh) | 一种基于Geo-BTree的范围查询方法及装置 | |
| CN112685407A (zh) | 一种基于GeoSOT全球剖分网格编码的空间数据索引方法 | |
| CN105426491A (zh) | 一种时空地理大数据的检索方法及系统 | |
| CN104167021B (zh) | 一种基于地球空间立体剖分的空间目标索引方法 | |
| CN103488736A (zh) | 一种多源地理空间信息关联模型的构建方法及系统 | |
| CN110765331A (zh) | 一种时空数据的检索方法及系统 | |
| CN111324683B (zh) | 一种时空与要素统一编码的数据管理方法 | |
| CN113946700A (zh) | 一种时空索引构建方法、装置、计算机设备及存储介质 | |
| CN106991149B (zh) | 一种融合编码和多版本数据的海量空间对象存储方法 | |
| CN111125392A (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
| CN108205562B (zh) | 地理信息系统的定位数据存储、检索方法及其装置 | |
| CN116860905B (zh) | 一种城市信息模型的空间单元编码生成方法 | |
| CN111125119A (zh) | 一种基于HBase的时空数据存储与索引方法 | |
| CN112465949A (zh) | 基于嵌套八叉树的大规模点云数据组织方法 | |
| CN115329220A (zh) | 低空空域地球剖分网格数据组织、查询方法及装置 | |
| CN113326343B (zh) | 基于多级网格和文件索引的路网数据存储方法及系统 | |
| CN114372058A (zh) | 一种空间数据管理方法、装置、存储介质及区块链系统 | |
| CN113076334B (zh) | 数据查询方法、索引生成方法、装置及电子设备 | |
| US10095724B1 (en) | Progressive continuous range query for moving objects with a tree-like index | |
| CN111414445B (zh) | 一种应用地理信息的地址反解析方法 | |
| CN116775971A (zh) | 基于退化四叉树的时空网格索引查询方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |