CN117671392B - 国土空间数据的网格划分方法、装置、设备及介质 - Google Patents
国土空间数据的网格划分方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117671392B CN117671392B CN202410130358.XA CN202410130358A CN117671392B CN 117671392 B CN117671392 B CN 117671392B CN 202410130358 A CN202410130358 A CN 202410130358A CN 117671392 B CN117671392 B CN 117671392B
- Authority
- CN
- China
- Prior art keywords
- data
- coordinates
- homeland space
- space data
- homeland
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005192 partition Methods 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了一种国土空间数据的网格划分方法、装置、设备及介质，涉及数据处理技术领域，其中，该方法包括：获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；基于坐标在地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；利用空间聚类方法将每个类型的国土空间数据对应的所有分区图像内的数据值划分为多个簇；将每个簇区域图像中的数据值映射到对应的网格单元上。该方案提高了国土空间数据网格划分的精度。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种国土空间数据的网格划分方法、装置、设备及介质。
背景技术
三线一单即以生态保护红线、环境质量底线、资源利用上线为基础，编制生态环境准入清单。为保护生态安全和生态系统的完整性，合理规划城市和城镇的发展。在生态空间范围内，具有特殊重要生态功能、必须强制性保护的区域，结合环境质量底线，包括相关环境质量现状和相关规划、功能区划分，确定分区域分阶段环境质量目标。对于生态环境准入清单，指的是基于环境管控单元，考虑前面三线要求基础上，提出的空间布局、污染物排放、环境风险、资源开发等方面禁止和限制的环境准入要求。在其基础上将其与计算机领域的分布式索引技术相关联，体现在对生态环境管控的水平拓展性，高效率的数据查询等。
在三线一单背景下，国土空间为地区的地理空间，可能包括以下几种类型数据，资源分布数据，如矿产资源，水资源，土地资源分布情况；土地利用和土地覆盖数据，如关于土地不同用途信息，耕地、林地、水域、城市建设用地等；城乡结构数据，如城市、乡村空间结构和组织情况建筑物、道路、交通信息；环境保护数据，关于环境状况、生态系统、气候等数据，及环境保护相关政策和监测信息；地理信息系统（GIS）数据，包括各种地理信息系统生成的数据，用于空间分析和决策支持
对于不同的国土空间模块在与分布式空间索引的网格进行匹配的时候，在面对数据量较大的数据单元处理时，如国土空间模块划分如何将其划分到对应的网格之上，算法存在较大的性能消耗、比较大的精度误差。
发明内容
有鉴于此，本发明实施例提供了一种国土空间数据的网格划分方法，以解决现有技术中三维国土空间的网格划分存在性能消耗大，精度误差大的技术问题。该方法包括：
获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
将每个所述簇区域图像中的数据值映射到对应的网格单元上。
本发明实施例还提供了一种国土空间数据的网格划分装置，以解决现有技术中三维国土空间的网格划分存在性能消耗大，精度误差大的技术问题。该装置包括：
数据获取模块，用于获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
分区模块，用于基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
聚类模块，用于利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
网格确定模块，用于根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
网格划分模块，用于将每个所述簇区域图像中的数据值映射到对应的网格单元上。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的国土空间数据的网格划分方法，以解决现有技术中三维国土空间的网格划分存在性能消耗大，精度误差大的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的国土空间数据的网格划分方法的计算机程序，以解决现有技术中三维国土空间的网格划分存在性能消耗大，精度误差大的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：提出了确定每个类型的国土空间数据中每个数据值的坐标，进而基于每个类型的国土空间数据中每个数据值的坐标，在地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像，利用空间聚类方法可以将每个类型的国土空间数据对应的所有分区图像内的数据值划分为多个簇，得到地图上分布着的多个簇区域图像；最后，将每个簇区域图像中的数据值映射到对应的网格单元上即可实现国土空间数据的网格划分。上述国土空间数据的网格划分方法基于坐标实现各个簇区域图像中的数据值到网格单元的映射，通过聚类将有相似特征的区域归为同一簇中，从而减少了空间上的数据点数量，可以将相似的地理特征聚集在一起，有利于更清晰地看到各个区域之间的共性和差异，有利于更容易识别出空间中的热点区域、趋势或异常值。通过聚类和网格划分，可以将大范围的国土空间数据划分为更小、更局部性的单元，这种操作提高了空间分辨率，有助于针对不同区域实现更精细化的分析和处理，提高了数据的精度和详细程度。网格的划分常以规则形式进行的，使得网格划分具有固定的边界和大小，能快速覆盖整个区域，这种结构化的网格使得对数据的处理更为高效。国土空间数据规范化的网格划分可以有效减少地理空间上的复杂性，有利于使数据的处理更为简单高效，有利于降低性能消耗同时并提高国土空间数据的网格划分的精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种国土空间数据的网格划分方法的流程图；
图2是本发明实施例提供的一种计算机设备的结构框图；
图3是本发明实施例提供的一种国土空间数据的网格划分装置的结构框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中，提供了一种三维国土空间的网格划分方法，如图1所示，该方法包括：
步骤S101：获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
步骤S102：基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
步骤S103：利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
步骤S104：根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
步骤S105：将每个所述簇区域图像中的数据值映射到对应的网格单元上。
由图1所示的流程可知，在本发明实施例中，上述国土空间数据的网格划分方法基于坐标实现各个簇区域图像中的数据值到网格单元的映射，实现了国土空间数据规范化的网格划分，可以有效减少地理空间上的复杂性，有利于使数据的处理更为简单高效有利于降低性能消耗，有利于提高国土空间数据的网格划分的精度。
具体实施时，可以利用专业的数据采集方案，获取“三线一单”数据包括生态安全红线、环境质量底线、资源利用上线及生态环境准入清单等重要信息，以获得目标三维国土空间中的国土空间数据（如GIS数据、bootstrap数据、空间数据等类型的数据）。这采集过程涵盖大量土地利用、规划建设、资源分布和国土空间划分等关键领域。可以利用遥感技术、GIS、数据挖掘和人工智能等方式来采集数据，以确保数据的准确性和完整性，以此来为国土资源管理和空间国画提供精准和可信的数据支持，支持可持续发展目标的实现。
具体实施时，为了实现准确地对不同类型的国土空间数据进行网格划分，提出了确定每个类型的国土空间数据中每个数据值的坐标，例如，
针对不具备坐标的每个类型的国土空间数据，根据每个类型的国土空间数据的历史坐标数据为每个类型的国土空间数据中的每个数据值设置多个候选坐标；
通过Haversine公式计算每两个候选坐标之间的球面距离，得到多个所述球面距离；
根据多个所述球面距离，确定以每个所述候选坐标为中心的预设范围区域内包括的所述候选坐标的数量，将所述数量作为每个所述候选坐标的密度；
将密度最大的候选坐标确定为每个数据值的坐标。
具体实施时，将国土空间数据进行坐标化的过程中，针对不具备坐标的每个类型的国土空间数据（例如，bootstrap数据，如图像数据或地图数据）中的每个数据值，根据每个类型的国土空间数据的历史坐标数据对每个数据值给定多个坐标作为候选坐标，通过Haversine公式计算每两个候选坐标之间的球面距离，得到多个所述球面距离，计算以每个候选坐标为中心的一定范围内（即上述预设范围区域）的其他候选坐标的数量，将该数量作为每个候选坐标的密度，该密度用来衡量候选坐标的分布密度，并选择密度最高（或最大）的候选坐标作为最优选项，视为每个数据值的坐标；如果遇到相同密度的候选坐标，尝试扩大计算候选坐标密度的半径范围或者进行随机抽取。而对于GIS数据，其本身就可确定中心点。
Haversine公式如下：
其中，为球面距离，/>，/>为球面三角形的面积；/>为地球半径；/>为两个候选坐标的纬度之差的弧度，/>为两个候选坐标的经度之差的弧度，和/>是两个候选坐标的纬度。
具体实施时，为了提高每个类型的国土空间数据的精度，提出了在地图上按照地理区域将每个类型的国土空间数据划分为多个所述分区图像之前，剔除数据中的异常数值，例如，针对每个类型的国土空间数据，通过密度聚类方法确定每个类型的国土空间数据中的离群点，并剔除每个类型的国土空间数据中的离群点。
具体实施时，通过DBSCAN（密度聚类）来剔除离群点，对于每个点（即数据值），如果其eps（邻域半径）半径内至少包含min_sample（最小样本数），这个点被标记为核心点。如果一个点在另一个点的eps邻域内，且这个点为核心点，则这个点被认为直接密度可达。如果存在一个核心点序列，从一个核心点经过若干个直接密度可达的点，最终到达该点，则该点被标记为密度可达。如果一个点不是任何核心点的直接密度可达或密度可达，那么它被标记为离群点。
具体实施时，对不同类型的国土空间数据进行地理区域划分时，可以根据各个省份、市、县等地理区域进行区域划分，得到多个分区图像，例如，每个省份划为一个分区图像。
具体实施时，针对每个类型的国土空间数据对应的每个所述分区图像，通过以下公式根据每个所述分区图像中每个类型的国土空间数据的所有数据值的坐标，计算每个所述分区图像的中心点坐标，例如，第j个分区图像的中心点坐标表示如下：
其中，n为每个所述分区图像包括的数据值的总数；、/>为每个所述分区图像包括的第i个数据值的坐标。
具体实施时，将每个类型的国土空间数据对应的所有所述分区图像的数据值划分为多个簇的过程如下：
根据每个所述分区图像中每个类型的国土空间数据的所有数据值的坐标，计算每个所述分区图像的中心点坐标；
随机选择预设数量个所述分区图像的中心点坐标分别作为簇的质心，得到预设数量个簇的初始质心；
对于除了质心之外的其他所述分区图像的中心点坐标，计算每个所述分区图像的中心点坐标与每个所述质心的距离；
确定每个所述分区图像的中心点坐标对应的距离最小的质心，将每个所述分区图像的中心点坐标和数据值划分到确定出的质心对应的簇中；
根据每个簇包括的所有所述分区图像的中心点坐标计算新的质心，基于新的质心继续聚类过程，直至每个簇的质心不再变化，得到多个簇。
具体实施时，可以利用k-means聚类方法将每个类型的国土空间数据对应的所有所述分区图像的数据值划分为多个簇。例如，随机选择K（即上述预设数量）个分区图像的中心点坐标作为簇的初始质心，令表示初始簇，将K个分区图像内的n个国土空间数据值/>分别分配到对应的初始簇/>中，计算除了质心之外的其他所述分区图像的中心点坐标与每个质心的距离，每个分区图像中的国土空间数据值和中心点坐标分配到离其中心点坐标最近的质心对应的簇中，这里/>为初始簇中的一个簇，/>表示第k个簇的质心的三维坐标，可以使用以下欧几里得距离计算公式计算中心点坐标与第k个质心之间的距离/>：
通过以下公式计算每个簇的新质心：
其中，表示第k个簇中的中心点坐标的数量，/>表示第k个簇的新质心，/>表示第k个簇中第j个中心点坐标/>的三维坐标。重新分配国土空间数据值到每个簇，重新计算每个簇的新质心，直到每个簇的质心不再明显变化。
具体实施时，为了提高国土空间数据网格划分的精度，提出了根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元进行数据映射，例如，针对每个所述簇区域图像，确定每个所述簇区域图像分别与各个网格单元的交集面积，得到多个所述交集面积；
将多个所述交集面积中最大值对应的网格单元确定为每个所述簇区域图像对应的网格单元。
具体的，例如，在地图上划分1km或3km等尺寸大小的网格单元，将每个簇区域图像近似为边长为100或300的多边形，通过空间连接算法计算每个多边形与有交集的网格单元的最大交集面积，并选取最大交集面积的网格单元作为该簇区域图像对应的映射数据的网格单元，这里将第k个簇对应的网格单元记为第k个网格单元，网格单元/>的中心点坐标表示为（/>）。
具体实施时，通过以下公式将每个所述簇区域图像中的数据值映射到对应的网格单元上：
；
其中，表示第k个簇区域图像中第p个数据值映射到网格单元内的位置，为第k个簇区域图像中第p个数据值的坐标，/>为距离权重，/>为对应的网格单元的中心点的坐标，ε为噪声权重，用来引入一些随机性、避免所有簇映射到相同位置。
具体实施时，不同类型的国土空间数据具有多样性，其涵盖了地球表面多个方面，包括地形、地貌、土地利用等；还具有多尺度性，涵盖从微观到宏观的多个尺度，包括小到街道、时空、建筑物、气候等尺度；还具有时空特性，国土空间不仅描述了地球表面的空间特征，还会随着时间推移展现出时间序列上的特征；以及其他的种种特性。并且根据一些查询需求（如属性信息查询），对某一个地区的人口数量、土地所有权信息、自然资源分布进行检索，或者对特定应用进行查询，如城市规划中需要查询道路网络、用地规划等数据。
本申请发明人发现，国土空间数据针对其主要含括的数据类型有：GIS数据，如Point、LineString、MultiLineString、Polygon、MultiPolygon；bootstrap数据，如影像、图像等；空间数据如地图；以及其他基础类型数据如Varchar、Double、Integer等。现有技术中对这些数据进行区域归属的划分主要是采用传统的索引搭建方案，比较适用于单机环境，数据量较小的数据集合，在性能上表现较好，因为数据通常存储于本地磁盘中，查询成本较低。当数据量逐渐增大时候，对于其可扩展性有限，传统的索引搭建可能无法满足对于性能的需求。并且当硬件设备或者存储介质出现故障或宏机的时候，可能会导致数据丢失情况。且对于这种多维度的数据的查询，如对地理坐标、土地利用类型、海拔高度或者空间关联的查询（如分析地理空间数据的关联性），R树会有可观的查询效率。因此，提出了基于R树的索引结构将国土空间数据存储在分布式计算框架的不同计算节点上，例如，
对每个网格单元上映射后的国土空间数据使用R树构建分布式索引结构；
将分布式计算框架的不同计算节点映射到哈希环上，上述计算节点在所述哈希环上的位置称为第一位置；
将每个网格单元上映射后的国土空间数据的每个数据值通过哈希函数转换为哈希值，将哈希值映射在所述哈希环上，哈希值在所述哈希环上的位置称为第二位置；
针对每个数据值，确定距离每个数据值对应的第二位置最近的第一位置，将每个数据值和对应的索引结构存储在确定出的第一位置对应的计算节点上。
具体的，每个网格单元对应一个分布式索引结构，其中这些索引结构使用R树进行搭建，用来管理和组织单个网格单元内的国土空间数据，在分布式系统中，通过计算框架将这些索引分布到多个计算节点上进行集中管理，并支持跨计算节点查询（数据分布在不同的计算节点索引结构也允许对整个数据集发出查询操作，系统跨越不同计算节点执行这些查询返回用户，使用异步通信，确认通信协议和机制如TCP/IP或UDP，选择消息传递方案如消息队列、WebSocket等，传输效率优化，使用压缩文件进行数据传输，负载均衡和路由控制，避免单一计算节点负载过重，通信数据安全问题，通过不同加密方式对数据进行加密），容错性（在某些计算节点发生故障或失效的情况下，系统仍然可以运转），扩展性（分布式索引对不断增长的国土空间数据通过增加计算节点或引入资源来实现）。
具体的，使用R树作为索引结构进行数据存储，构建R树的过程包括：数据分割：从数据对象中贪心选择一个数据点作为根节点，使得根节点尽可能包含整个数据集合，将剩余的数据分为多个组（通常为一个节点可以容纳的最大数据量），构建一级子节点，为每个组创建一个子节点，并将这些子节点与根节点相连接；节点分裂：根据一定的策略选择一个维度，在此基础上，使用（贪心、最小面积、周长等）将数据分为两组，为这两组数据创建新的节点，并与父节点连接，如果分裂导致父节点超过最大容量，需要递归对父节点分裂或重新组织；索引构建：递归执行节点分裂过程，直到所有数据都被分割到叶子节点，而父节点保留对子节点的引用或是指针指向对应的叶子节点的引用，分裂过程实际就是对数据的引用进行重组和重定向过程。每个叶子节点包含若干个数据对象，对应一个最小外包矩形（边界框，包围叶子节点存储的所有数据对象的范围），而父节点起存储索引信息和指向叶子节点引用。
对于每个要插入的对象，从根节点开始，沿着树的分支向下逐级遍历，直到找到叶子节点，根据最小外包矩形，选择合适的叶子节点插入数据。
具体的，利用一致性哈希模型分布式处理，通过哈希函数（常见的有MD5,SHA-1,SHA-256）计算时空数据的哈希值，并将其映射到环上面的一个位置，根据这个位置来确定时空数据应该存储在那个最近的节点上，这个节点一般为存储系统中服务器或其他实体（可以理解为分布式系统服务器节点一部分，他们之间存在一个包含的关系），即将数据和节点都映射到一个相同的哈希环上，至此成功将时空数据分布式存储到节点上。
具体实施时，在进行数据查询时，为了考虑均匀分布和负载均衡，提出了基于分布式计算框架来实现分布式查询，例如，
接收查询请求，获取所述查询请求中待查询数据的相关信息；
通过哈希函数将所述待查询数据的相关信息映射到所述哈希环上，根据所述待查询数据的相关信息在所述哈希环上的第三位置确定出距离所述第三位置最近的第一位置；
将所述查询请求路由到确定出的第一位置对应的计算节点上进行数据查询。
具体实施时，查询可以由Hadoop生态组件中的Spark设计并执行，利用查询分发模型，通过哈希计算确定查询的数据在哈希环上的位置，即在负载均衡的情况下将查询请求路由到离这个位置最近的计算节点上，再进一步根据R树的父节点指针引用向下遍历，根据查询条件和当前节点范围或区域信息，进一步确认需要遍历的父节点或子节点，从对应的叶子节点上进一步筛选数据完成数据查询操作。
在本实施例中，提供了一种计算机设备，如图2所示，包括存储器201、处理器202及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的国土空间数据的网格划分方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的国土空间数据的网格划分方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种国土空间数据的网格划分装置，如下面的实施例所述。由于国土空间数据的网格划分装置解决问题的原理与国土空间数据的网格划分方法相似，因此国土空间数据的网格划分装置的实施可以参见国土空间数据的网格划分方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明实施例的国土空间数据的网格划分装置的一种结构框图，如图3所示，包括：
数据获取模块301，用于获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
分区模块302，用于基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
聚类模块303，用于利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
网格确定模块304，用于根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
网格划分模块305，用于将每个所述簇区域图像中的数据值映射到对应的网格单元上。
在一个实施例中，数据获取模块，用于针对不具备坐标的每个类型的国土空间数据，根据每个类型的国土空间数据的历史坐标数据为每个类型的国土空间数据中的每个数据值设置多个候选坐标；通过Haversine公式计算每两个所述候选坐标之间的球面距离，得到多个所述球面距离；根据多个所述球面距离，确定以每个所述候选坐标为中心的预设范围区域内包括的所述候选坐标的数量，将所述数量作为每个所述候选坐标的密度；将密度最大的候选坐标确定为每个数据值的坐标。
在一个实施例中，聚类模块，用于根据每个所述分区图像中每个类型的国土空间数据的所有数据值的坐标，计算每个所述分区图像的中心点坐标；随机选择预设数量个所述分区图像的中心点坐标分别作为簇的质心；对于除了质心之外的其他所述分区图像的中心点坐标，计算每个所述分区图像的中心点坐标与每个所述质心的距离；确定每个所述分区图像的中心点坐标对应的距离最小的质心，将每个所述分区图像的中心点坐标和数据值划分到确定出的质心对应的簇中；根据每个簇包括的所有所述分区图像的中心点坐标计算新的质心，基于新的质心继续聚类过程，直至每个簇的质心不再变化，得到多个簇。
在一个实施例中，网格确定模块，用于针对每个所述簇区域图像，确定每个所述簇区域图像分别与各个网格单元的交集面积，得到多个所述交集面积；将多个所述交集面积中最大值对应的网格单元确定为每个所述簇区域图像对应的网格单元。
在一个实施例中，网格划分模块，用于通过以下公式将每个所述簇区域图像中的数据值映射到对应的网格单元上：
；
其中，表示第k个簇区域图像中第p个数据值映射到网格单元内的位置，为第k个簇区域图像中第p个数据值的坐标，/>为距离权重，/>为对应的网格单元的中心点的坐标，ε为噪声权重。
在一个实施例中，上述装置还包括：
数据分布存储模块，用于对每个网格单元上映射后的国土空间数据使用R树构建分布式索引结构；将分布式计算框架的不同计算节点映射到哈希环上，上述计算节点在所述哈希环上的位置称为第一位置；将每个网格单元上映射后的国土空间数据的每个数据值通过哈希函数转换为哈希值，将哈希值映射在所述哈希环上，哈希值在所述哈希环上的位置称为第二位置；针对每个数据值，确定距离每个数据值对应的第二位置最近的第一位置，将每个数据值和对应的索引结构存储在确定出的第一位置对应的计算节点上。
在一个实施例中，上述装置还包括：
查询均衡模块，用于接收查询请求，获取所述查询请求中待查询数据的相关信息；通过哈希函数将所述待查询数据的相关信息映射到所述哈希环上，根据所述待查询数据的相关信息在所述哈希环上的第三位置确定出距离所述第三位置最近的第一位置；将所述查询请求路由到确定出的第一位置对应的计算节点上进行数据查询。
本发明实施例实现了如下技术效果：提出了确定每个类型的国土空间数据中每个数据值的坐标，进而基于每个类型的国土空间数据中每个数据值的坐标，在地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；利用空间聚类方法可以将每个类型的国土空间数据对应的所有分区图像内的数据值划分为多个簇，得到地图上分布着的多个簇区域图像；最后，将每个簇区域图像中的数据值映射到对应的网格单元上即可实现国土空间数据的网格划分。上述国土空间数据的网格划分方法基于坐标实现各个簇区域图像中的数据值到网格单元的映射，有利于降低性能消耗，有利于提高国土空间数据的网格划分的精度。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种国土空间数据的网格划分方法，其特征在于，包括：
获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
将每个所述簇区域图像中的数据值映射到对应的网格单元上；
确定每个类型的国土空间数据中每个数据值的坐标，包括：
针对不具备坐标的每个类型的国土空间数据，根据每个类型的国土空间数据的历史坐标数据为每个类型的国土空间数据中的每个数据值设置多个候选坐标；
通过Haversine公式计算每两个所述候选坐标之间的球面距离，得到多个所述球面距离；
根据多个所述球面距离，确定以每个所述候选坐标为中心的预设范围区域内包括的所述候选坐标的数量，将所述数量作为每个所述候选坐标的密度；
将密度最大的候选坐标确定为每个数据值的坐标；
利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，包括：
根据每个所述分区图像中每个类型的国土空间数据的所有数据值的坐标，计算每个所述分区图像的中心点坐标；
随机选择预设数量个所述分区图像的中心点坐标分别作为簇的质心；
对于除了质心之外的其他所述分区图像的中心点坐标，计算每个所述分区图像的中心点坐标与每个所述质心的距离；
确定每个所述分区图像的中心点坐标对应的距离最小的质心，将每个所述分区图像的中心点坐标和数据值划分到确定出的质心对应的簇中；
根据每个簇包括的所有所述分区图像的中心点坐标计算新的质心，基于新的质心继续聚类过程，直至每个簇的质心不再变化，得到多个簇。
2.如权利要求1所述的国土空间数据的网格划分方法，其特征在于，根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元，包括：
针对每个所述簇区域图像，确定每个所述簇区域图像分别与各个网格单元的交集面积，得到多个所述交集面积；
将多个所述交集面积中最大值对应的网格单元确定为每个所述簇区域图像对应的网格单元。
3.如权利要求1所述的国土空间数据的网格划分方法，其特征在于，将每个所述簇区域图像中的数据值映射到对应的网格单元上，包括：
通过以下公式将每个所述簇区域图像中的数据值映射到对应的网格单元上：
；
其中，表示第k个簇区域图像中第p个数据值映射到网格单元内的位置，为第k个簇区域图像中第p个数据值的坐标，/>为距离权重，/>为对应的网格单元的中心点的坐标，ε为噪声权重。
4.如权利要求1至3中任一项所述的国土空间数据的网格划分方法，其特征在于，所述方法还包括：
对每个网格单元上映射后的国土空间数据使用R树构建分布式索引结构；
将分布式计算框架的不同计算节点映射到哈希环上，上述计算节点在所述哈希环上的位置称为第一位置；
将每个网格单元上映射后的国土空间数据的每个数据值通过哈希函数转换为哈希值，将哈希值映射在所述哈希环上，哈希值在所述哈希环上的位置称为第二位置；
针对每个数据值，确定距离每个数据值对应的第二位置最近的第一位置，将每个数据值和对应的索引结构存储在确定出的第一位置对应的计算节点上。
5.如权利要求4所述的国土空间数据的网格划分方法，其特征在于，所述方法还包括：
接收查询请求，获取所述查询请求中待查询数据的相关信息；
通过哈希函数将所述待查询数据的相关信息映射到所述哈希环上，根据所述待查询数据的相关信息在所述哈希环上的第三位置确定出距离所述第三位置最近的第一位置；
将所述查询请求路由到确定出的第一位置对应的计算节点上进行数据查询。
6.一种国土空间数据的网格划分装置，其特征在于，包括：
数据获取模块，用于获取目标三维国土空间中不同类型的国土空间数据，确定每个类型的国土空间数据中每个数据值的坐标；
分区模块，用于基于每个类型的国土空间数据中每个数据值的坐标，在所述目标三维国土空间的地图上按照地理区域将每个类型的国土空间数据划分为多个分区图像；
聚类模块，用于利用空间聚类方法将每个类型的国土空间数据对应的所有所述分区图像内的数据值划分为多个簇，每个簇包括的国土空间数据分布在同一个簇区域图像中，所述地图上分布着多个簇区域图像；
网格确定模块，用于根据每个所述簇区域图像与所述地图上的网格单元的交集面积，为每个所述簇区域图像确定一个对应的网格单元；
网格划分模块，用于将每个所述簇区域图像中的数据值映射到对应的网格单元上；
所述数据获取模块，用于针对不具备坐标的每个类型的国土空间数据，根据每个类型的国土空间数据的历史坐标数据为每个类型的国土空间数据中的每个数据值设置多个候选坐标；通过Haversine公式计算每两个所述候选坐标之间的球面距离，得到多个所述球面距离；根据多个所述球面距离，确定以每个所述候选坐标为中心的预设范围区域内包括的所述候选坐标的数量，将所述数量作为每个所述候选坐标的密度；将密度最大的候选坐标确定为每个数据值的坐标；
所述聚类模块，用于根据每个所述分区图像中每个类型的国土空间数据的所有数据值的坐标，计算每个所述分区图像的中心点坐标；随机选择预设数量个所述分区图像的中心点坐标分别作为簇的质心；对于除了质心之外的其他所述分区图像的中心点坐标，计算每个所述分区图像的中心点坐标与每个所述质心的距离；确定每个所述分区图像的中心点坐标对应的距离最小的质心，将每个所述分区图像的中心点坐标和数据值划分到确定出的质心对应的簇中；根据每个簇包括的所有所述分区图像的中心点坐标计算新的质心，基于新的质心继续聚类过程，直至每个簇的质心不再变化，得到多个簇。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的国土空间数据的网格划分方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5中任一项所述的国土空间数据的网格划分方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410130358.XA CN117671392B (zh) | 2024-01-31 | 2024-01-31 | 国土空间数据的网格划分方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410130358.XA CN117671392B (zh) | 2024-01-31 | 2024-01-31 | 国土空间数据的网格划分方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117671392A CN117671392A (zh) | 2024-03-08 |
| CN117671392B true CN117671392B (zh) | 2024-05-03 |
Family
ID=90064483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410130358.XA Active CN117671392B (zh) | 2024-01-31 | 2024-01-31 | 国土空间数据的网格划分方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117671392B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019574A (zh) * | 2017-07-30 | 2019-07-16 | 周明儒 | 一种用超大规模gps数据生产全国道路数字图像的方法 |
| CN113449594A (zh) * | 2021-05-25 | 2021-09-28 | 湖南省国土资源规划院 | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 |
| KR20220158466A (ko) * | 2021-05-24 | 2022-12-01 | 이상길 | 1m격자단위의 사물주소체계 시스템 장치 및 사물주소체계 구현 방법 |
| CN116467540A (zh) * | 2023-06-20 | 2023-07-21 | 江苏省基础地理信息中心 | 一种基于HBase的海量空间数据快速可视化方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7925982B2 (en) * | 2006-09-01 | 2011-04-12 | Cheryl Parker | System and method of overlaying and integrating data with geographic mapping applications |
-
2024
- 2024-01-31 CN CN202410130358.XA patent/CN117671392B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019574A (zh) * | 2017-07-30 | 2019-07-16 | 周明儒 | 一种用超大规模gps数据生产全国道路数字图像的方法 |
| KR20220158466A (ko) * | 2021-05-24 | 2022-12-01 | 이상길 | 1m격자단위의 사물주소체계 시스템 장치 및 사물주소체계 구현 방법 |
| CN113449594A (zh) * | 2021-05-25 | 2021-09-28 | 湖南省国土资源规划院 | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 |
| CN116467540A (zh) * | 2023-06-20 | 2023-07-21 | 江苏省基础地理信息中心 | 一种基于HBase的海量空间数据快速可视化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117671392A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106528773B (zh) | 一种基于Spark平台支持空间数据管理的图计算系统及方法 | |
| US10034141B2 (en) | Systems and methods to identify home addresses of mobile devices | |
| US9996552B2 (en) | Method for generating a dataset structure for location-based services and method and system for providing location-based services to a mobile device | |
| CN103116610A (zh) | 基于HBase的矢量空间大数据存储方法 | |
| CN105138560A (zh) | 基于多级空间索引技术的分布式空间矢量数据管理方法 | |
| CN103927933A (zh) | 一种海量移动目标渲染的方法及装置 | |
| Malensek et al. | Expressive query support for multidimensional data in distributed hash tables | |
| CN111859187B (zh) | 基于分布式图数据库的poi查询方法、装置、设备及介质 | |
| CN113626437B (zh) | 一种海量矢量数据快速查询方法及系统 | |
| KR101654314B1 (ko) | 공간 데이터 분산 처리 시스템 및 그 동작 방법 | |
| CN115129795A (zh) | 一种基于地球空间网格的数据空时存储方法 | |
| CN116796083B (zh) | 一种空间数据划分方法及系统 | |
| CN117671392B (zh) | 国土空间数据的网格划分方法、装置、设备及介质 | |
| Akulakrishna et al. | Efficient storage of big-data for real-time gps applications | |
| Huang et al. | A spatial indexing approach for high performance location based services | |
| CN115408382A (zh) | 面向大规模卫星数据的矢量空间信息网格化存储管理方法 | |
| Park | An Efficient Scalable Spatial Data Search for Location-Aware Mobile Services. | |
| CN117435823B (zh) | 基于网格编码的时空数据服务方法及工业互联网平台 | |
| CN116010677B (zh) | 空间索引方法、装置及其电子设备 | |
| CN110928968B (zh) | 一种二维地理空间大数据的存储与查询计算机介质 | |
| Lübbe | Issues on distributed caching of spatial data | |
| Azzaoui | Georacle: Enabling Geospatially Aware Smart Contracts | |
| Zhao et al. | A road-aware spatial mapping for moving objects | |
| CN114064995B (zh) | 一种路网环境下基于位置的静态skyline查询方法 | |
| CN109325086B (zh) | 一种离散地理数据归档管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |