CN117874301A - 基于网格数据金字塔切片的处理、存储、调用的实现方法 - Google Patents
基于网格数据金字塔切片的处理、存储、调用的实现方法 Download PDFInfo
- Publication number
- CN117874301A CN117874301A CN202410271513.XA CN202410271513A CN117874301A CN 117874301 A CN117874301 A CN 117874301A CN 202410271513 A CN202410271513 A CN 202410271513A CN 117874301 A CN117874301 A CN 117874301A
- Authority
- CN
- China
- Prior art keywords
- data
- grid
- partition
- preset
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005192 partition Methods 0.000 claims abstract description 107
- 238000013500 data storage Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 description 15
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供基于网格数据金字塔切片的处理、存储、调用的实现方法，属于软件技术领域；将原始网格数据按照全球最大范围进行分区处理及分区索引入库；按照预设级数的分区配置文件对分区数据进行分级切片；按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中；请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围；根据确定的数据分区及切片范围在分区索引入库所对应的网格地图上进行数据定位，获取定位具体位置对应的切片网格数据，并将获取到的切片网格数据合并成总网格数据并在显示窗口显示。保证了系统的可用性和稳定性。
Description
技术领域
本发明涉及软件技术领域，尤其涉及基于网格数据金字塔切片的处理、存储、调用的实现方法。
背景技术
随着计算机技术的不断发展，网格预报模型和算法也在不断改进，使得预报结果更准确可靠、分辨率更高，同时也对网格预报的处理、存储及调用展示带来了问题，分辨率及范围的提高导致了文件大小的提升，文件大小的增加在数据传输、解析、渲染上的效率问题带来较大的挑战，在实际应用中如何提高数据处理性能、渲染性能、传输效率，是研究的热点问题。
因此，本发明提出了基于网格数据金字塔切片的处理、存储、调用的实现方法。
发明内容
本发明提供基于网格数据金字塔切片的处理、存储、调用的实现方法，通过对原始网格数据进行分区处理、分级切片、格式压缩，有效降低文件大小，且通过起始经纬度进行分区与切片的定位方便直接获取有效数据，降低处理量，进一步通过数据合并及渲染，便于有效数据的展示，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
一方面，本发明提供一种基于网格数据金字塔切片的处理、存储、调用的实现方法，包括：
步骤1：将原始网格数据按照全球最大范围进行分区处理及分区索引入库；
步骤2：按照预设级数的分区配置文件对分区数据进行分级切片；
步骤3：按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中；
步骤4：请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围；
步骤5：根据确定的数据分区及切片范围在分区索引入库所对应的网格地图上进行数据定位，获取定位具体位置对应的切片网格数据，并将获取到的切片网格数据合并成总网格数据；
选择预设图层对所述总网格数据进行渲染并在显示窗口显示。
另一方面，步骤1中，将原始网格数据按照全球最大范围进行分区处理及分区索引入库的过程中，包括：
根据物理意义上标准拟定的经纬度，且利用仿射变换将现实经纬度对应的向量空间进行线性变换并转化为所述原始网格数据对应的向量空间，确定全球的地理坐标范围；
对全球的地理坐标范围进行数据整型计算转换，得到整型坐标值；
根据预设的网格单元向量长度，对整型坐标值的纵轴和横轴进行双重遍历且均匀划分，得到网格划分元数据。
另一方面，得到网格划分元数据之后，包括：
根据分区-经纬度映射表，利用经纬度算法对网格划分元数据进行分区划分，并对相应分区配置唯一标识符，其中，所述唯一标识符与起始索引、结束索引以及分区元数据相关；
按照分区划分结果实现对原始网格数据的分区处理，并将相应分区数据以逻辑顺序对应的数据结构索引的方式存储到预设数据结构库中。
另一方面，步骤2中，按照预设级数的分区配置文件对分区数据进行分级切片，包括：
提取每个预设级数的分区配置文件所对应的并行运行数量区间，并得到最大并行数；
根据预设级数的分区配置文件建立对应级数的网格坐标系，其中，所述网格坐标系包含四个象限，同时，基于所述最大并行数将相应分区数据划分成若干个可并行计算的元数据队列，其中，所述元数据队列中包含数据索引符号；
根据所述数据索引符号，向所述元数据队列中的相应元数据的分配坐标，并判断所述分配坐标/>是否可以插入到与预设级数匹配的最低层级坐标系中；
若可以，将对应元数据划分到对应最低层级坐标系中；
反之，对所述元数据进行切割得到若干元数据块，并根据块属性-占据位置映射表将相应元数据块分配到相应的网格坐标系中；
根据每个元数据块在所述网格坐标系中的当下坐标，且结合综合象限坐标，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束，实现对分区数据的分级切片；
其中，综合象限坐标为：
；
其中，c表示对应的预设级数，表示第j象限中第j1个元数据块对应的分配横坐标，/>表示第j象限中第j1个元数据块对应的分配纵坐标，/>表示第j象限对应的权重系数,/>表示第j象限中存在的元数据块总个数，j的取值为1,2,3,4。
另一方面，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束的过程中，包括：
根据所述当下坐标与综合象限坐标计算坐标距离值；
根据所述坐标距离值与每两个相邻层级坐标系下的预设值的比值，锁定对应元数据块所属的层级坐标系，其中，预设值是基于按照层级对层级坐标系进行排序之后的相邻层级坐标系的距离值与距离-预设值映射表匹配得到的。
另一方面，步骤3中，按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中，包括：
根据存储目录规则确定数据存储结构和数据存储规则，确定预设标准数据空间格式；
依据所述预设标准数据空间格式对分级切片后的数据进行压缩处理得到压缩分级数据；
将所述压缩分级数据按照数据索引存储到数据存储介质中。
另一方面，步骤4中，请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围，包括：
当捕捉到网格数据的请求时，对所述请求进行解析获取所需索引；
根据不同所需索引确定数据分级层级，并将不同分级层级的不同数据簇均匀分配到第一曲线中，并按照预设移动量控制第一曲线进行移动，获取得到第二曲线；
若所述第一曲线和第二曲线的移动偏移量大于等于预设阈值，则拟定第一曲线和第二曲线相交面积内的所有数据为有效数据；
锁定所述有效数据的索引在数据存储介质中的位置且结合起止经纬度确定所述有效数据的分区信息以及切片信息，其中，所述分区信息与数据分区相关，所述切片信息与切片范围相关。
另一方面，步骤3中，将获取到的切片网格数据合并成总网格数据，包括：
获取分区索引入库中每个分区索引的分区数据坐标，并最大范围生成网格地图；
将确定的数据分区及切片范围在网格地图上呈现，得到定位具体位置，并锁定对应的网格单元；
获取不同网格单元的切片网格数据合并成总网格数据。
本发明提供基于网格数据金字塔切片的处理、存储、调用的实现方法，通过对原始网格数据进行分区处理、分级切片、格式压缩，有效降低文件大小，且通过起始经纬度进行分区与切片的定位方便直接获取有效数据，降低处理量，进一步通过数据合并及渲染，便于有效数据的展示，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于网格数据金字塔切片的处理、存储、调用的实现方法的流程示意图；
图2是基于网格数据金字塔切片的处理、存储、调用的实现方法总体框图；
图3是金字塔概率图；
图4是分级切片对应说明图；
图5是紧凑型数据压缩设计说明图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本发明实施例提供的基于网格数据金字塔切片的处理、存储、调用的实现方法，包括：
步骤1：将原始网格数据按照全球最大范围进行分区处理及分区索引入库；
步骤2：按照预设级数的分区配置文件对分区数据进行分级切片；
步骤3：按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中；
步骤4：请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围；
步骤5：根据确定的数据分区及切片范围在分区索引入库所对应的网格地图上进行数据定位，获取定位具体位置对应的切片网格数据，并将获取到的切片网格数据合并成总网格数据；
选择预设图层对所述总网格数据进行渲染并在显示窗口显示。
针对步骤1到步骤5，可以具体参见图2，是基于网格数据金字塔切片的处理、存储、调用的实现方法总体框图，且如图3所示，为金字塔概率图。
该实施例中，原始网格数据是指一种用于存储和表示空间信息的数据结构，包括：栅格数据（如遥感影像、数字地形模型等）或矢量数据（如地图数据、边界数据等）。
该实施例中，全球最大范围包含地球上所有可能涉及到的地理位置信息的区域范围。
该实施例中，分区处理是指将原始数据按照一定的规则和逻辑进行划分成不同的区域或片段，便于管理、存储、查询和使用。
该实施例中，索引入库是指将数据的索引信息存储到数据库中，以便于快速检索和定位数据。
该实施例中，预设级数是在空间数据处理中，对数据进行分级处理时所采用的预设级别。
该实施例中，分区配置文件是一种包含了对数据进行分级切片所需的配置信息和规则的文件。包括：分级切片的级别和规格、数据存储格式和规范、存储目录规则、数据查询和定位规则。
该实施例中，分区数据是将原始网格数据按照一定范围或规则进行划分和处理后得到的各个分区的数据集合。
该实施例中，分级切片是将原始网格数据按照一定的规则和级别进行切分，得到多个不同精度和细节程度的数据片段，如图4所示。
该实施例中，存储目录规则是指对分级切片后的数据按照一定的规则进行组织和存储。包括：目录结构、层级划分、命名规范、元数据管理。
该实施例中，预设标准数据空间格式是对数据在存储介质中的组织和格式进行规范化的约定。
该实施例中，压缩是指通过某种算法对数据进行处理，以减少数据占用的存储空间，尽可能保留恢复原始数据的内容和质量，如图5所示。
该实施例中，数据存储介质是用于存储数据的物理设备或介质，包括：硬盘、固态硬盘、光盘、磁带、云存储等。
该实施例中，起止经纬度是指某一区域的地理位置的开始结束对应的经度和纬度范围。
该实施例中，切片范围是根据预设级数的分区配置文件将数据进行分级切片后，每个切片所对应的地理范围。
该实施例中，网格地图是一种以网格状的方式划分地图区域，并在每个网格单元内存储特定的地理信息的地图形式。
该实施例中，切片网格数据是指在对原始网格数据按照预设级数的分区配置文件进行分级切片后，得到的每个切片所包含的地理信息数据。
该实施例中，总网格数据是指在获取并合并各个切片网格数据之后形成的完整的地理信息数据集合。
该实施例中，预设图层是事先定义好的用于展示地理信息数据的图层设置。
该实施例中，渲染是将地理信息数据转化为可视化的图形表示的过程。
该实施例中，显示窗口是一个用于展示地图图形数据的用户界面组件。
上述技术方案的工作原理及有益效果是：通过分区处理、切片、存储压缩、动态获取及数据合并，实现高效地图数据管理和呈现。提高地图应用性能，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例2：
在上述实施例1的基础上，步骤1中，将原始网格数据按照全球最大范围进行分区处理及分区索引入库的过程中，包括：
根据物理意义上标准拟定的经纬度，且利用仿射变换将现实经纬度对应的向量空间进行线性变换并转化为所述原始网格数据对应的向量空间，确定全球的地理坐标范围；
对全球的地理坐标范围进行数据整型计算转换，得到整型坐标值；
根据预设的网格单元向量长度，对整型坐标值的纵轴和横轴进行双重遍历且均匀划分，得到网格划分元数据。
该实施例中，标准拟定指根据物理意义上的规范和约定，确定的经纬度范围。
该实施例中，仿射变换换是指在几何变换中保持原有图形的平行线仍然平行的变化方式。
该实施例中，向量空间包含了地理数据，是向量空间中的向量，用于描述地理位置和属性信息。
该实施例中，线性变换是指将一个向量空间中的向量通过线性映射映射到另一个向量空间中的操作。
该实施例中，整型计算是将浮点型的经纬度坐标转换为整型坐标值的过程。
该实施例中，整型坐标值是指由整形数据构成的坐标数据。
该实施例中，网格单元向量长度是在地理信息系统中，用于划分地理坐标范围的网格时所设定的每个网格单元的边长。
该实施例中，双重遍历是指一种循环结构，通过嵌套两个来对数据进行遍历和处理。
该实施例中，网格划分元数据是根据预设的网格单元向量长度，对整型坐标值的纵轴和横轴进行双重遍历并均匀划分后得到的用于描述网格结构的数据。
上述技术方案的工作原理及有益效果是：通过仿射变换将经纬度转换为整型坐标值，再进行双重遍历和均匀划分，生成网格划分元数据，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例3：
在上述实施例2的基础上，得到网格划分元数据之后，包括：
根据分区-经纬度映射表，利用经纬度算法对网格划分元数据进行分区划分，并对相应分区配置唯一标识符，其中，所述唯一标识符与起始索引、结束索引以及分区元数据相关；
按照分区划分结果实现对原始网格数据的分区处理，并将相应分区数据以逻辑顺序对应的数据结构索引的方式存储到预设数据结构库中。
该实施例中，分区-经纬度映射表是表示地理坐标的经纬度信息和对应的分区映射关系的表。
该实施例中，经纬度算法是一种用于将地理坐标转换为相应分区的算法。当前分区=（当前经纬度-开始位置的经纬度）/分区经纬间隔；
该实施例中，唯一标识符是唯一标识每个分区，并与起始索引、结束索引以及分区元数据相关联。
该实施例中，起始索引用于标记数据结构中的起始位置。
该实施例中，结束索引用于标记数据结构中的结束位置。
该实施例中，分区元数据是与分区相关的最低单位数据。
该实施例中，逻辑顺序是按照一定的规则或逻辑关系排列数据的顺序。
该实施例中，数据结构索引是指在数据结构中由索引指针建立的索引结构。
该实施例中，预设数据结构库中预先设定的用于存储和管理数据的数据库。
上述技术方案的工作原理及有益效果是：利用经纬度算法对网格数据进行分区，并配置唯一标识符，提高数据处理效率，确保数据准确定位，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例4：
在上述实施例1的基础上，步骤2中，按照预设级数的分区配置文件对分区数据进行分级切片，包括：
提取每个预设级数的分区配置文件所对应的并行运行数量区间，并得到最大并行数；
根据预设级数的分区配置文件建立对应级数的网格坐标系，其中，所述网格坐标系包含四个象限，同时，基于所述最大并行数将相应分区数据划分成若干个可并行计算的元数据队列，其中，所述元数据队列中包含数据索引符号；
根据所述数据索引符号，向所述元数据队列中的相应元数据的分配坐标，并判断所述分配坐标/>是否可以插入到与预设级数匹配的最低层级坐标系中；
若可以，将对应元数据划分到对应最低层级坐标系中；
反之，对所述元数据进行切割得到若干元数据块，并根据块属性-占据位置映射表将相应元数据块分配到相应的网格坐标系中；
根据每个元数据块在所述网格坐标系中的当下坐标，且结合综合象限坐标，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束，实现对分区数据的分级切片；
其中，综合象限坐标为：
；
其中，c表示对应的预设级数，表示第j象限中第j1个元数据块对应的分配横坐标，/>表示第j象限中第j1个元数据块对应的分配纵坐标，/>表示第j象限对应的权重系数,/>表示第j象限中存在的元数据块总个数，j的取值为1,2,3,4。
该实施例中，并行运行数量区间是在并行计算环境中，可以同时运行或处理的任务量的范围。
该实施例中，最大并行数是指在并行计算环境中，能够同时执行的最大任务数。
该实施例中，网格坐标系是一种将二维空间划分为规则的网格单元的坐标系，每个网格单元都有一个唯一的坐标。
该实施例中，元数据队列是一个数据结构，用于存储和管理与网格数据相关的元数据信息。
该实施例中，元数据块是一个表示元数据分配后到不同象限后对应的数据块。
该实施例中，块属性-占据位置映射表是用于表示每个元数据块的属性和他们在网格坐标系中占据的位置关系的映射表。
该实施例中，综合象限坐标是一个用于指导分区数据在网格坐标系中分配后的综合象限映射坐标系结果。
该实施例中，权重系数每个象限在数据分配过程中的相对重要性。
上述技术方案的工作原理及有益效果是：利用网格坐标系和权重系数，优化分区数据的分配与并行处理，提升数据处理效率，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例5：
在上述实施例4的基础上，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束的过程中，包括：
根据所述当下坐标与综合象限坐标计算坐标距离值；
根据所述坐标距离值与每两个相邻层级坐标系下的预设值的比值，锁定对应元数据块所属的层级坐标系，其中，预设值是基于按照层级对层级坐标系进行排序之后的相邻层级坐标系的距离值与距离-预设值映射表匹配得到的。
该实施例中，当下坐标是在网格坐标系中，某个具体元数据当前的位置坐标。
该实施例中，坐标距离值是指当下坐标和综合象限坐标两个坐标之间的距离。
该实施例中，预设值是在按照层级对层级坐标系进行排序之前，每两个相邻层级坐标系之间的预定距离值。
该实施例中，距离-预设值映射表是一个表示坐标距离和预设值映射关系的表。
上述技术方案的工作原理及有益效果是：利用坐标距离与预设值比较，智能分配元数据块至最佳层级坐标系，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例6：
在上述实施例1的基础上，步骤3中，按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中，包括：
根据存储目录规则确定数据存储结构和数据存储规则，确定预设标准数据空间格式；
依据所述预设标准数据空间格式对分级切片后的数据进行压缩处理得到压缩分级数据；
将所述压缩分级数据按照数据索引存储到数据存储介质中。
该实施例中，存储目录规则是指在数据仓库中，制定的一套规则。包括：数据的存储结构、命名规范、访问权限、数据备份和恢复等方面的内容。
该实施例中，数据存储结构是一种存储的物理结构，可以有多种，常见的是顺序存储结构和链式存储结构。
该实施例中，数据存储规则是指在数据存储过程中遵循的一系列规定，包括：数据的存储结构、命名规范、数据分类、数据备份与恢复、数据安全性等方面的内容
该实施例中，标准数据空间格式是指在数据存储和交换过程中，定义的一种统一的数据结构和格式。规定了数据的组织方式、数据类型、数据长度、编码方式、元数据描述等方面的内容。
该实施例中，压缩分级数据是指经过压缩处理后的、具有层次结构的数据。
该实施例中，数据索引是一种特殊的数据库结构，允许数据库系统快速查找和访问存储在数据库表中的数据。
上述技术方案的工作原理及有益效果是：通过标准化数据格式、压缩处理与索引机制，优化数据存储与检索，提高效率和兼容性，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例7：
在上述实施例1的基础上，步骤4中，请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围，包括：
当捕捉到网格数据的请求时，对所述请求进行解析获取所需索引；
根据不同所需索引确定数据分级层级，并将不同分级层级的不同数据簇均匀分配到第一曲线中，并按照预设移动量控制第一曲线进行移动，获取得到第二曲线；
若所述第一曲线和第二曲线的移动偏移量大于等于预设阈值，则拟定第一曲线和第二曲线相交面积内的所有数据为有效数据；
锁定所述有效数据的索引在数据存储介质中的位置且结合起止经纬度确定所述有效数据的分区信息以及切片信息，其中，所述分区信息与数据分区相关，所述切片信息与切片范围相关。
该实施例中，请求是指对方需要获取数据时主动发出的一种网络信号。
该实施例中，数据簇是指根据不同的分级层级和索引，将相似或相关的数据组织成的集群。例如，用聚类算法将具有相似特征的数据点分成不同的簇，每个数据簇代表一个相对独立的数据集合。
该实施例中，第一曲线是根据对网格数据请求的解析和索引确定数据分级层级后，将分级层级的不同数据簇均匀排布生成的曲线。
该实施例中，预设移动量是根据特定规则事先设定的控制第一曲线移动的量，且设移动量的大小和方向会影响第一曲线的移动方式和速度，比如，在生成第一曲线之后对位置1处的曲线进行向右以及向上两个单位量的移动，就类似于在软件平台对绘制曲线时，首位点不点，来对曲线上的某个位置点进行移动，此时，移动后的曲线为第二曲线。
该实施例中，第二曲线是通过控制第一曲线的移动并按照预设的移动量进行操作后所获取的另一个曲线。
该实施例中，移动偏移量是指第一曲线和第二曲线之间的位移量。
该实施例中，预设阈值是一个事先设定判断第一曲线和第二曲线的移动偏移量是否达到预期的范围。
该实施例中，有效数据是指在第一曲线和第二曲线相交面积内的数据。
上述技术方案的工作原理及有益效果是：通过曲线移动和偏移量判断，高效识别有效数据，结合经纬度精确定位，优化数据管理，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
实施例8：
在上述实施例1的基础上，步骤3中，将获取到的切片网格数据合并成总网格数据，包括：
获取分区索引入库中每个分区索引的分区数据坐标，并最大范围生成网格地图；
将确定的数据分区及切片范围在网格地图上呈现，得到定位具体位置，并锁定对应的网格单元；
获取不同网格单元的切片网格数据合并成总网格数据。
该实施例中，分区数据坐标是根据分区索引获取到的分区数据对应的坐标信息。
该实施例中，定位具体位置是指根据分区数据坐标再网格地图上对应的具体位置信息。
上述技术方案的工作原理及有益效果是：通过网格地图可视化数据分布，精确定位网格单元，高效整合切片数据，优化存储与检索，有效提高系统加载、渲染的性能，保证了系统的可用性和稳定性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.基于网格数据金字塔切片的处理、存储、调用的实现方法，
其特征在于，包括：
步骤1：将原始网格数据按照全球最大范围进行分区处理及分区索引入库；
步骤2：按照预设级数的分区配置文件对分区数据进行分级切片；
步骤3：按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中；
步骤4：请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围；
步骤5：根据确定的数据分区及切片范围在分区索引入库所对应的网格地图上进行数据定位，获取定位具体位置对应的切片网格数据，并将获取到的切片网格数据合并成总网格数据；
选择预设图层对所述总网格数据进行渲染并在显示窗口显示。
2.根据权利要求1所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，步骤1中，将原始网格数据按照全球最大范围进行分区处理及分区索引入库的过程中，包括：
根据物理意义上标准拟定的经纬度，且利用仿射变换将现实经纬度对应的向量空间进行线性变换并转化为所述原始网格数据对应的向量空间，确定全球的地理坐标范围；
对全球的地理坐标范围进行数据整型计算转换，得到整型坐标值；
根据预设的网格单元向量长度，对整型坐标值的纵轴和横轴进行双重遍历且均匀划分，得到网格划分元数据。
3.根据权利要求2所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，得到网格划分元数据之后，包括：
根据分区-经纬度映射表，利用经纬度算法对网格划分元数据进行分区划分，并对相应分区配置唯一标识符，其中，所述唯一标识符与起始索引、结束索引以及分区元数据相关；
按照分区划分结果实现对原始网格数据的分区处理，并将相应分区数据以逻辑顺序对应的数据结构索引的方式存储到预设数据结构库中。
4.根据权利要求1所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，步骤2中，按照预设级数的分区配置文件对分区数据进行分级切片，包括：
提取每个预设级数的分区配置文件所对应的并行运行数量区间，并得到最大并行数；
根据预设级数的分区配置文件建立对应级数的网格坐标系，其中，所述网格坐标系包含四个象限，同时，基于所述最大并行数将相应分区数据划分成若干个可并行计算的元数据队列，其中，所述元数据队列中包含数据索引符号；
根据所述数据索引符号，向所述元数据队列中的相应元数据的分配坐标，并判断所述分配坐标/>是否可以插入到与预设级数匹配的最低层级坐标系中；
若可以，将对应元数据划分到对应最低层级坐标系中；
反之，对所述元数据进行切割得到若干元数据块，并根据块属性-占据位置映射表将相应元数据块分配到相应的网格坐标系中；
根据每个元数据块在所述网格坐标系中的当下坐标，且结合综合象限坐标，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束，实现对分区数据的分级切片；
其中，综合象限坐标为：
；
其中，c表示对应的预设级数，表示第j象限中第j1个元数据块对应的分配横坐标，表示第j象限中第j1个元数据块对应的分配纵坐标，/>表示第j象限对应的权重系数,表示第j象限中存在的元数据块总个数，j的取值为1,2,3,4。
5.根据权利要求4所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，依次判断相应元数据块能分配的与预设级数匹配的其余层级坐标系中，直到分配结束的过程中，包括：
根据所述当下坐标与综合象限坐标计算坐标距离值；
根据所述坐标距离值与每两个相邻层级坐标系下的预设值的比值，锁定对应元数据块所属的层级坐标系，其中，预设值是基于按照层级对层级坐标系进行排序之后的相邻层级坐标系的距离值与距离-预设值映射表匹配得到的。
6.根据权利要求1所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，步骤3中，按照存储目录规则，将分级切片后的数据依据预设标准数据空间格式压缩保存在数据存储介质中，包括：
根据存储目录规则确定数据存储结构和数据存储规则，确定预设标准数据空间格式；
依据所述预设标准数据空间格式对分级切片后的数据进行压缩处理得到压缩分级数据；
将所述压缩分级数据按照数据索引存储到数据存储介质中。
7.根据权利要求1所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，步骤4中，请求获取网格数据时，通过起止经纬度确定数据存储介质中请求所需获取的网格数据所在数据分区及切片范围，包括：
当捕捉到网格数据的请求时，对所述请求进行解析获取所需索引；
根据不同所需索引确定数据分级层级，并将不同分级层级的不同数据簇均匀分配到第一曲线中，并按照预设移动量控制第一曲线进行移动，获取得到第二曲线；
若所述第一曲线和第二曲线的移动偏移量大于等于预设阈值，则拟定第一曲线和第二曲线相交面积内的所有数据为有效数据；
锁定所述有效数据的索引在数据存储介质中的位置且结合起止经纬度确定所述有效数据的分区信息以及切片信息，其中，所述分区信息与数据分区相关，所述切片信息与切片范围相关。
8.根据权利要求1所述的基于网格数据金字塔切片的处理、存储、调用的实现方法，其特征在于，步骤3中，将获取到的切片网格数据合并成总网格数据，包括：
获取分区索引入库中每个分区索引的分区数据坐标，并最大范围生成网格地图；
将确定的数据分区及切片范围在网格地图上呈现，得到定位具体位置，并锁定对应的网格单元；
获取不同网格单元的切片网格数据合并成总网格数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271513.XA CN117874301B (zh) | 2024-03-11 | 基于网格数据金字塔切片的处理、存储、调用的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271513.XA CN117874301B (zh) | 2024-03-11 | 基于网格数据金字塔切片的处理、存储、调用的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117874301A true CN117874301A (zh) | 2024-04-12 |
| CN117874301B CN117874301B (zh) | 2024-05-31 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455624A (zh) * | 2013-09-16 | 2013-12-18 | 湖北文理学院 | 一种轻量级全球多维遥感影像网络地图服务实现方法 |
| CN108038249A (zh) * | 2017-12-28 | 2018-05-15 | 北京星球时空科技有限公司 | 一种全球一张图数据存储组织方法及调用方法 |
| CN109977179A (zh) * | 2019-02-19 | 2019-07-05 | 中电海康集团有限公司 | 一种分层的网格划分实现海量地物标记点聚散可视化方法 |
| CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
| WO2021204026A1 (zh) * | 2020-04-09 | 2021-10-14 | 速度时空信息科技股份有限公司 | 基于分布式系统的海量dem金字塔切片并行构建方法 |
| CN113946700A (zh) * | 2021-09-07 | 2022-01-18 | 中国地质大学（武汉） | 一种时空索引构建方法、装置、计算机设备及存储介质 |
| CN114461826A (zh) * | 2021-12-30 | 2022-05-10 | 中科星通(廊坊)信息技术有限公司 | 一种基于改进的z曲线编码的切片检索方法及系统 |
| CN114625992A (zh) * | 2022-03-14 | 2022-06-14 | 国家气象信息中心(中国气象局气象数据中心) | 一种百兆级气象网络数据的可视化方法及系统 |
| CA3143171A1 (en) * | 2020-12-25 | 2022-06-25 | Mapsted Corp. | Localization using grid-based representation of map contraints |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455624A (zh) * | 2013-09-16 | 2013-12-18 | 湖北文理学院 | 一种轻量级全球多维遥感影像网络地图服务实现方法 |
| CN108038249A (zh) * | 2017-12-28 | 2018-05-15 | 北京星球时空科技有限公司 | 一种全球一张图数据存储组织方法及调用方法 |
| CN109977179A (zh) * | 2019-02-19 | 2019-07-05 | 中电海康集团有限公司 | 一种分层的网格划分实现海量地物标记点聚散可视化方法 |
| WO2021204026A1 (zh) * | 2020-04-09 | 2021-10-14 | 速度时空信息科技股份有限公司 | 基于分布式系统的海量dem金字塔切片并行构建方法 |
| CA3143171A1 (en) * | 2020-12-25 | 2022-06-25 | Mapsted Corp. | Localization using grid-based representation of map contraints |
| CN112966134A (zh) * | 2021-03-26 | 2021-06-15 | 北京亿耘科技有限公司 | 一种遥感影像数据处理方法、系统和存储介质 |
| CN113946700A (zh) * | 2021-09-07 | 2022-01-18 | 中国地质大学（武汉） | 一种时空索引构建方法、装置、计算机设备及存储介质 |
| CN114461826A (zh) * | 2021-12-30 | 2022-05-10 | 中科星通(廊坊)信息技术有限公司 | 一种基于改进的z曲线编码的切片检索方法及系统 |
| CN114625992A (zh) * | 2022-03-14 | 2022-06-14 | 国家气象信息中心(中国气象局气象数据中心) | 一种百兆级气象网络数据的可视化方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| NING GUO 等: "An Efficient Tile-Pyramids Building Method for Fast Visualization of Massive Geospatial Raster Datasets", ADVANCES IN ELECTRICAL AND COMPUTER ENGINEERING, 31 January 2016 (2016-01-31) * |
| 史玉龙;侯传燕;: "Hilbert索引的栅格瓦片金字塔数据存储方案", 新疆师范大学学报(自然科学版), no. 02, 10 October 2020 (2020-10-10) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442444B (zh) | 一种面向海量遥感影像的并行数据访问方法与系统 | |
| US11132388B2 (en) | Efficient spatial queries in large data tables | |
| CN103995861B (zh) | 一种基于空间关联的分布式数据装置、方法及系统 | |
| CN111291016B (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
| CN111930767B (zh) | 一种基于多层缓存的矢量瓦片实时切片和更新方法 | |
| CN102521386B (zh) | 基于集群存储的空间元数据分组方法 | |
| CN103412962A (zh) | 一种海量瓦片数据的存储方法及读取方法 | |
| CN110781325A (zh) | 一种高分辨率遥感数据格网精细化管理模型及其构建方法 | |
| CN111125392B (zh) | 一种基于矩阵对象存储机制的遥感影像存储、查询方法 | |
| CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
| CN109492060A (zh) | 一种基于MBTiles的地图瓦片存储方法 | |
| CN116860905B (zh) | 一种城市信息模型的空间单元编码生成方法 | |
| CN114328779A (zh) | 基于云计算高效检索浏览的地理信息云盘 | |
| CN115391699B (zh) | 一种云优化的静态地理信息矢量数据在线服务方法 | |
| CN112035586A (zh) | 基于可扩展学习索引的空间范围查询方法 | |
| CN111914041A (zh) | 一种电网地图矢量数据提供方法 | |
| CN113742505A (zh) | 一种海量合成孔径雷达干涉测量（InSAR）数据在线可视化方法 | |
| Azri et al. | Review of spatial indexing techniques for large urban data management | |
| CN117608476A (zh) | 矢量数据分块存储方法、装置、电子设备及介质 | |
| CN117874301B (zh) | 基于网格数据金字塔切片的处理、存储、调用的实现方法 | |
| CN117056626A (zh) | 一种地图预览的方法及装置 | |
| CN115408382B (zh) | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 | |
| CN117009411A (zh) | 一种基于点云数据网格化空间存储与索引方法、装置及计算机可读存储介质 | |
| CN117874301A (zh) | 基于网格数据金字塔切片的处理、存储、调用的实现方法 | |
| Bormann et al. | Real-time indexing of point cloud data during LiDAR capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |