CN103870542A - 一种基于地理分片和动态建表的海洋环境数据存储方法 - Google Patents

一种基于地理分片和动态建表的海洋环境数据存储方法 Download PDF

Info

Publication number
CN103870542A
CN103870542A CN201410062980.8A CN201410062980A CN103870542A CN 103870542 A CN103870542 A CN 103870542A CN 201410062980 A CN201410062980 A CN 201410062980A CN 103870542 A CN103870542 A CN 103870542A
Authority
CN
China
Prior art keywords
data
data set
burst
vacuate
geographical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410062980.8A
Other languages
English (en)
Inventor
徐广袖
吴太旗
任来平
陆秀平
欧阳永忠
李凯锋
王耿峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
92859 FORCES PLA
Original Assignee
92859 FORCES PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 92859 FORCES PLA filed Critical 92859 FORCES PLA
Priority to CN201410062980.8A priority Critical patent/CN103870542A/zh
Publication of CN103870542A publication Critical patent/CN103870542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于地理分片和动态建表的海洋环境数据存储方法，其主要技术特点是：计算原始数据集的记录数，如果超过预先设定的单个数据库表存储阀值，则进行抽稀处理并生成测量航迹线，构建Delauney三角网；提取数据集的精确数据范围和外包矩形；进行地理分片与编辑合并处理；提取各分片数据集的数据范围；动态创建数据库表和结构；将各分片数据集批量录入对应的数据库表中；建立各个数据表之间的关联关系。本发明设计合理，其通过对海量离散采样点数据进行分级、分类组织和分表存储，有效降低了单数据库表的数据量，同时，数据库系统可根据用户的数据请求范围，实现基于多张分片数据表的并行查询，解决了大型空间数据库的检索速度问题。

Description

一种基于地理分片和动态建表的海洋环境数据存储方法
技术领域
本发明属于海洋测量技术领域，尤其是一种基于地理分片和动态建表的海洋环境数据存储方法。
背景技术
数据的存储管理方式是影响数据检索速度的主要因素之一。随着现代海洋探测技术和传感器技术的发展，以及研究区域和尺度的不断拓展，海洋地理和地球物理等环境信息普遍具有大区域、海量性特征，例如：1:50000测量比例尺的海洋重力测量，10000km2海域约产生400万个有效采样点数据；10000km2海域的多波束全覆盖测量约产生10亿个有效采样点数据。因此，即使把研究范围限制在中国管辖海域，也将产生海量的测量数据。
目前，海洋环境数据的存储、管理、分发一般是在陆地上地理空间数据的存储管理技术的基础上拓展与优化，但是，海洋环境数据和陆上的地理空间数据有较大差异：首先，海洋环境数据多为采样点数据，陆上地理数据多为线、面状数据；其次，海洋环境信息种类繁多、数据量巨大；再次，海洋研究的尺度和区域宽广；最后，海洋环境信息的时空变化更加显著。因此，如何基于通用数据库管理平台（Oracle、SQL Server）对这些海洋环境数据进行高效存储与管理、提高数据的检索速度是目前迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种设计合理、效率高、速度快的基于地理分片和动态建表的海洋环境数据存储方法。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种基于地理分片和动态建表的海洋环境数据存储方法，包括以下步骤：
步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4；
步骤2、对原始数据集进行抽稀处理，生成抽稀数据集；
步骤3、根据抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线图层表中；
步骤4、根据抽稀数据集快速构建Delauney三角网；
步骤5、根据Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果保存在数据集范围图层表中；
步骤6、根据数据集的外包矩形和原始数据集的记录数，对原始数据集进行地理上均匀分片处理，对包含数据点较少的边缘分片进行合并处理，计算分片数量；
步骤7、根据地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的精确数据范围，提取结果保存在分片数据范围图层表中；
步骤8、根据计算的分片数量，动态创建数据库表和结构；
步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中；
步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系。
而且，所述步骤10后还包括删除抽稀数据集、Delauney三角网、分片数据集的步骤。
而且，所述步骤2的实现方法为：根据测量比例尺或制图比例尺，以地图上一定间距对原始数据集进行抽稀处理，将抽稀结果形成抽稀集并保存。
而且，所述Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍。
本发明的优点和积极效果是：
1、本发明通过对海量离散采样点数据进行分级、分类组织和分表存储，有效降低了单数据库表的数据量，同时，数据库系统可根据用户的数据请求范围，实现基于多张分片数据表的并行查询，从数据存储技术方面解决了大型空间数据库的检索速度问题。
2、本发明可适用于Oracle、SQL Server等主流数据库系统以及ESRIGeodatabase、Oracle Spatial等空间数据库架构，实现海量、大区域海洋测量数据的数据库存储功能，大大提高了数据检索速度，解决了海洋环境信息的海量性和检索速度之间的矛盾。
附图说明
图1为本发明的处理流程示意图；
图2为原始数据集地理分片编辑合并及精确数据范围提取示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于地理分片和动态建表的海洋环境数据存储方法，如图1所示，包括以下步骤：
步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4。
步骤2、对原始数据集进行抽稀处理，生成抽稀数据集。
其具体方法为：根据测量比例尺或制图比例尺，以地图上1cm间距对原始数据集进行抽稀处理，例如，测量比例尺为1:10000时，则抽稀数据的实地间距为0.01×10000=100m，抽稀结果形成抽稀数据集并保存在过程文件中，抽稀数据集的数据量约降为原始数据集的1/1000。
步骤3、根据步骤2生成的抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线（线要素数据）图层表中。
步骤4、根据抽稀数据集快速构建Delauney三角网。
本步骤在构建Delauney三角网时，数据集可能是原始数据集（当原始数据集的记录数不超过预先设定的单个数据库表存储阀值时），也可能是是抽稀数据集（当原始数据集的记录数超过预先设定的单个数据库表存储阀值时并经抽稀处理的抽稀数据集）。即：根据原始数据集或抽稀数据集构建Delauney三角网，该Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍，测量比例尺为1:10000时，则三角网最大边长为0.01×10000×2.5=250m。
步骤5、根据步骤4构建的Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果（面要素数据）保存在数据集范围图层表中。
步骤6、根据步骤5提取的数据集的外包矩形，对原始数据集进行地理上均匀切分，确保各分片包含的最大数据量小于单个数据库表存储阀值，对包含采样点较少的边缘分片进行合并处理，计算分片数量。如图2所示，图中浅灰色为地理分片范围，深灰色为各分片精确数据范围，数字为分片数据量。
步骤7、根据步骤6的地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的数据范围，提取结果保存在分片数据范围（面要素数据）图层表中。
步骤8、根据计算的分片数量，动态创建数据库表和结构。
在本步骤中，数据库表命名规则为：数据集代码_分片编号。
步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中。
步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系，并删除抽稀数据集、Delauney三角网、分片数据集等中间结果，从而实现基于地理分片和动态建表的海洋环境数据存储功能。
在通用数据库系统（Oracle、SQL Server等）和主流空间数据库架构（ESRIGeodatabase、Oracle Spatial）的基础上，对海洋测量数据按照数据类型、地理范围进行垂直分片和水平分片，将一张大数据表切分成多张记录数小于指定阀值的数据表，数据分片后将各分片数据表按照一定的分布规则存储到多个并行数据库中，结合分片元数据管理系统，实现在数据检索功能中将动态提取的分片元数据信息作为检索参数传递给SQL语句，各个数据库服务器能够并行读写对应分片数据，增加了数据I/O带宽，能够在现有软硬件环境基础上最大限度消除影响海量海洋环境数据库检索性能瓶颈问题。可广泛用于海量、大区域海洋测量数据的数据库存储，有效解决了海量、大区域海洋环境数据的存储效率和检索速度问题。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于包括以下步骤：
步骤1、计算原始数据集的记录数，如果不超过预先设定的单个数据库表存储阀值，则转到步骤4；
步骤2、对原始数据集进行抽稀处理，生成抽稀数据集；
步骤3、基于抽稀数据集生成测量航迹线，对航迹线作矢量压缩处理，处理结果保存在航迹线图层表中；
步骤4、基于抽稀数据集构建Delauney三角网；
步骤5、基于Delauney三角网，提取数据集的精确数据范围和外包矩形，对精确数据范围作矢量压缩处理，并将处理结果保存在数据集范围图层表中；
步骤6、根据数据集的外包矩形，对原始数据集进行均匀地理分片处理，对包含数据点较少的边缘分片进行合并处理，计算分片数量；
步骤7、根据地理分片及合并处理结果，利用数据集范围和各矩形分片范围进行多边形求交处理，提取各分片数据集的数据范围，提取结果保存在分片数据范围图层表中；
步骤8、根据计算的分片数量，动态创建数据库表和结构；
步骤9、调用数据采集接口将各分片数据集批量录入对应的数据库表中；
步骤10、建立数据集范围、航迹线、分片范围和分片数据表之间的关联关系。
2.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于：所述步骤10后还包括删除抽稀数据集、Delauney三角网、分片数据集的步骤。
3.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于：所述步骤2的实现方法为：根据测量比例尺或制图比例尺，以地图上一定间距对原始数据集进行抽稀处理，将抽稀结果形成抽稀数据集并保存。
4.根据权利要求1所述的一种基于地理分片和动态建表的海洋环境数据存储方法，其特征在于：所述Delauney三角网的最大边长设置为抽稀离散点间距的2.5倍。
CN201410062980.8A 2014-02-25 2014-02-25 一种基于地理分片和动态建表的海洋环境数据存储方法 Pending CN103870542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410062980.8A CN103870542A (zh) 2014-02-25 2014-02-25 一种基于地理分片和动态建表的海洋环境数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410062980.8A CN103870542A (zh) 2014-02-25 2014-02-25 一种基于地理分片和动态建表的海洋环境数据存储方法

Publications (1)

Publication Number Publication Date
CN103870542A true CN103870542A (zh) 2014-06-18

Family

ID=50909072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410062980.8A Pending CN103870542A (zh) 2014-02-25 2014-02-25 一种基于地理分片和动态建表的海洋环境数据存储方法

Country Status (1)

Country Link
CN (1) CN103870542A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611064A (zh) * 2017-01-03 2017-05-03 北京华胜信泰数据技术有限公司 分布式关系数据库的数据处理方法和装置
CN106802961A (zh) * 2017-02-15 2017-06-06 北京佳格天地科技有限公司 基于地块的气象管理装置、方法及计算机系统
CN108427747A (zh) * 2018-03-09 2018-08-21 广西师范大学 一种基于范围查询边界集的动态规划数据分片优化方法
CN110516129A (zh) * 2019-08-30 2019-11-29 吉林大学 一种数据处理方法及装置
CN110826183A (zh) * 2019-10-08 2020-02-21 广州博进信息技术有限公司 一种多维动态海洋环境标量场的构建交互方法
CN110941688A (zh) * 2019-10-29 2020-03-31 国家海洋信息中心 一种基于多波束离散数据的航迹处理及空间化管理方法
CN111831189A (zh) * 2020-07-01 2020-10-27 南京南瑞继保电气有限公司 一种利用波形分析工具软件进行矢量图拷贝的方法
CN112612777A (zh) * 2020-12-24 2021-04-06 浙江大学 一种基于MySQL数据库的海洋数据管理与可视化系统和方法
CN114116846A (zh) * 2021-11-29 2022-03-01 南京恩瑞特实业有限公司 一种多维大数据分布式存储查询方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1435790A (zh) * 2002-01-30 2003-08-13 上海众恒信息产业有限公司 地理信息系统联机分析数据模型与属性数据关联方法
US20050086238A1 (en) * 1999-05-25 2005-04-21 Nevin Rocky Harry W.Iii Method and apparatus for displaying data stored in linked nodes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086238A1 (en) * 1999-05-25 2005-04-21 Nevin Rocky Harry W.Iii Method and apparatus for displaying data stored in linked nodes
CN1435790A (zh) * 2002-01-30 2003-08-13 上海众恒信息产业有限公司 地理信息系统联机分析数据模型与属性数据关联方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐广袖等: "海道测量数据库建设的关键技术研究", 《海洋测绘》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611064A (zh) * 2017-01-03 2017-05-03 北京华胜信泰数据技术有限公司 分布式关系数据库的数据处理方法和装置
CN106611064B (zh) * 2017-01-03 2020-03-06 北京华胜信泰数据技术有限公司 分布式关系数据库的数据处理方法和装置
CN106802961A (zh) * 2017-02-15 2017-06-06 北京佳格天地科技有限公司 基于地块的气象管理装置、方法及计算机系统
CN106802961B (zh) * 2017-02-15 2020-06-02 北京佳格天地科技有限公司 基于地块的气象管理装置、方法及计算机系统
CN108427747B (zh) * 2018-03-09 2021-10-15 广西师范大学 一种基于范围查询边界集的动态规划数据分片优化方法
CN108427747A (zh) * 2018-03-09 2018-08-21 广西师范大学 一种基于范围查询边界集的动态规划数据分片优化方法
CN110516129A (zh) * 2019-08-30 2019-11-29 吉林大学 一种数据处理方法及装置
CN110516129B (zh) * 2019-08-30 2022-07-01 吉林大学 一种数据处理方法及装置
CN110826183A (zh) * 2019-10-08 2020-02-21 广州博进信息技术有限公司 一种多维动态海洋环境标量场的构建交互方法
CN110826183B (zh) * 2019-10-08 2023-08-15 广州博进信息技术有限公司 一种多维动态海洋环境标量场的构建交互方法
CN110941688A (zh) * 2019-10-29 2020-03-31 国家海洋信息中心 一种基于多波束离散数据的航迹处理及空间化管理方法
CN110941688B (zh) * 2019-10-29 2023-05-12 国家海洋信息中心 一种基于多波束离散数据的航迹处理及空间化管理方法
CN111831189A (zh) * 2020-07-01 2020-10-27 南京南瑞继保电气有限公司 一种利用波形分析工具软件进行矢量图拷贝的方法
CN112612777A (zh) * 2020-12-24 2021-04-06 浙江大学 一种基于MySQL数据库的海洋数据管理与可视化系统和方法
CN112612777B (zh) * 2020-12-24 2023-12-12 浙江大学 一种基于MySQL数据库的海洋数据管理与可视化系统和方法
CN114116846A (zh) * 2021-11-29 2022-03-01 南京恩瑞特实业有限公司 一种多维大数据分布式存储查询方法和系统

Similar Documents

Publication Publication Date Title
CN103870542A (zh) 一种基于地理分片和动态建表的海洋环境数据存储方法
CN104376053B (zh) 一种基于海量气象数据的存储与检索方法
CN103020342B (zh) 一种从地面LiDAR数据中提取建筑物轮廓和角点的方法
CN106779417A (zh) 工程勘察信息数字化采集、管理及综合应用方法
CN103701466A (zh) 基于特征保留的散乱点云压缩算法
CN105956165B (zh) 一种三维模型数据的瓦片式大文件存储组织方法
CN102708587A (zh) 一种快速获取三维建筑信息的方法及系统
CN103729478A (zh) 基于MapReduce的LBS兴趣点发现方法
CN103678657B (zh) 一种地形高程数据存储和读取的方法
CN108765568A (zh) 一种基于激光雷达点云的多层次建筑物快速三维重建方法
CN104166163A (zh) 基于三维大数据量地震数据体的断层曲面自动提取方法
CN105160707A (zh) 基于视点索引的三维模型快速可视化方法
CN103617254A (zh) 一种建立地理位置坐标信息库的方法、系统和设备
CN107741982A (zh) 一种坐标与行政区域匹配系统及方法
CN103559209A (zh) 一种Voronoi Diagram与虚拟网格结合的高效空间最近邻查询方法
CN103870636A (zh) 一种基于地理分片的海量离散数据网格化处理方法
CN107463559A (zh) 一种企业位置信息获取分析及存储系统
He et al. Assistant design system of urban underground pipeline based on 3D virtual city
CN111369604A (zh) 一种基于网格的地形特征点提取方法及处理终端
CN110675501A (zh) DEM架构下的TIN向Grid模型的高效转换方法
CN110083669B (zh) 一种OpenStreetMap城市建筑数据的完整区域提取方法及系统
CN103458032A (zh) 一种空间数据访问规律动态统计及信息压缩的方法及系统
CN114168697A (zh) 一种瓦片数据发布方法及装置
Zhao et al. 3D laser scanning technology in the application of modeling in mining subsidence area
Meek et al. The Influence of Digital Surface Model Choice on Visibility‐based Mobile Geospatial Applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618

WD01 Invention patent application deemed withdrawn after publication