CN118035324A - 数据处理查询方法、装置、服务器及介质 - Google Patents

Abstract

本发明提供了一种数据处理查询方法、装置、服务器及介质，包括：接收图斑数据查询请求；将待查询图斑所在的国土矢量数据按空间范围进行分割，形成多个国土瓦片数据缓存至分布式存储节点上，并构建瓦片空间索引和瓦片内数据属性索引、空间索引；基于多级索引，检索满足查询条件的所有目标要素数据；部分图斑被分割成多个要素数据分布在不同的瓦片中，基于空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照目标合并逻辑对目标要素数据进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求得到查询结果。本发明针对已建成的关系型数据库，对大规模矢量数据进行分块处理和分布式缓存，解决分布式计算问题，极大的提升了查询速度。

Description

数据处理查询方法、装置、服务器及介质

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据处理查询方法、装置、服务器及介质。

背景技术

目前，自然资源领域内，开展业务主要以国土调查数据、林草湿调查数据、国土空间规划数据等行业基础数据作为统一基底，通常存储在传统关系型数据库，包括Oracle、PostgreSQL等，数据查询主要采用SQL语句。

按照国土空间用途管制要求，在进行用地选址时，要执行查询来筛选满足管控要求和业务需求的用地图斑，以“三区三线”、国土空间用途管制要求、业务其他相关需求等为约束条件，对基底数据进行逐条满足要求查询。即采用SQL语句将基底数据中所有要素跟每一个约束表中的所有要素进行空间计算与分析，并涉及坐标转换、面积计算、距离条件、缓冲区条件、POI条件查询等，计算量超大，耗时长。例如，基于全国三调数据，查询湘潭市行政区划范围内，满足在城镇开发边界内，不压盖生态保护红线，不压盖永久基本农田，面积大于 1000 km²，小于 30000 km²的图斑，使用SQL传统查询方法，耗时约为5h。另外，当个别图层中包括超大要素时，如长江、鄱阳湖等要素，所有要素与之进行计算相交时，将带来超大的计算量，出现时间过长甚至出错崩溃的情况。并且，在进行选址方案比对或业务需求变动时，需要反复改动查询条件，每查询一次将耗时数小时，效率极低。

当前的另外一种数据库存储方式是分布式数据库，可以进行分布式并行查询与计算，提供快速检索能力。但分布式数据库通常为了提供容错性和高可靠性，采取冗余存储，可能造成同一图斑分布在不同的存储节点时重复存储产生冗余数据，增加计算量。且此存储方式的前提是在建库之初选择分布式数据库进行数据存储，而目前已建成的大多数据库均为传统关系型数据库，无法适用，仍然无法解决查询性能低下的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理查询方法、装置、服务器及介质，针对已建成的关系型数据库，对大规模矢量数据进行分块处理和分布式缓存，解决分布式计算问题，极大的提升了查询速度。

第一方面，本发明实施例提供了一种数据处理查询方法，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：

接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

在一种实施方式中，在接收图斑数据查询请求的步骤之前，所述方法还包括：

读取关系型数据库存储的国土矢量数据；

按照空间范围对所述国土矢量数据进行分块处理得到国土瓦片数据，并构建所述国土瓦片数据对应的多级索引；其中，所述多级索引包括所述国土瓦片数据之间的空间索引，还包括所述国土瓦片数据内包含的要素数据之间的空间索引和属性索引；

将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点。

在一种实施方式中，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：

对所述分布式缓存节点存储的所述国土瓦片数据进行定期更新；

和/或，当监听到所述关系型数据库内存储的所述国土矢量数据发生变化时，对所述分布式缓存节点存储的所述国土瓦片数据进行联动更新。

在一种实施方式中，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；

所述包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的一个图斑数据上；

所述合并包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的多个图斑数据上；

所述外部关系为：所述待查询图斑数据位于所述管控区约束数据之外；

所述相交关系为：所述待查询图斑数据部分位于所述管控区约束数据之内。

在一种实施方式中，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据的步骤，包括：

生成每个所述分布式计算节点对应的查询任务；

当所述分布式计算节点接收到所述查询任务时，则基于所述国土瓦片数据之间的多级索引，从所述分布式计算节点对应的所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的目标要素数据。

在一种实施方式中，所述查询条件还包括业务约束条件；基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，还包括：

利用所述国土瓦片数据的空间索引，定位至目标国土瓦片数据和所述目标国土瓦片数据所在的目标分布式缓存节点；

利用所述国土瓦片数据内包含的要素数据的空间索引和属性索引，从所述目标分布式缓存节点存储的所述国土瓦片数据中，检索满足所述空间关系和所述业务约束条件的所有目标要素数据；其中，所述业务约束条件包括面积条件、距离条件、缓冲区条件、POI条件中的一种或多种。

在一种实施方式中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果的步骤，包括：

如果所述空间关系为所述包含关系、合并包含关系或所述外部关系，则对所述目标要素数据进行“与”合并，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果；

或者，如果所述空间关系为所述相交关系，则对所述目标要素数据进行“或”合并，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果。

第二方面，本发明实施例还提供一种数据处理查询装置，所述装置应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述装置包括：

请求接收模块，用于接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

数据检索模块，用于基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

数据合并模块，用于部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

第三方面，本发明实施例还提供一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

本发明实施例提供的一种数据处理查询方法、装置、服务器及介质，应用于查询引擎，查询引擎配置有分布式缓存节点，分布式缓存节点用于存储国土瓦片数据，国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，国土瓦片数据包括多个要素数据，首先接收图斑数据查询请求，图斑数据查询请求携带有查询条件，查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，管控区约束数据用于描述国土空间用途管制；然后基于国土瓦片数据之间的多级索引，从分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的所有目标要素数据；部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照目标合并逻辑对目标要素数据进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果。上述方法对国土矢量数据进行数据分块，对分块产生的国土瓦片数据缓存至不同分布式缓存节点，并构建国土瓦片数据对应的多级索引，可快速定位至包含查询范围的国土瓦片数据及其所在的分布式缓存节点，并在各个分布式缓存节点进行分布式计算，快速读取所需的目标要素数据；另外，由于分块导致所需的目标要素数据可能分布在不同的国土瓦片数据和分布式缓存节点上，本发明实施例还设计了空间关系与合并逻辑的映射关系，通过目标合并逻辑对目标要素数据进行逻辑合并，确定要素所在的原始图斑是否符合要求，输出最终的查询结果，相比于传统查询方法，耗时从小时级缩短到秒级，极大的缩短了计算时间，提升查询效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理查询方法的流程示意图；

图2为本发明实施例提供的一种分布式缓存节点的结构示意图；

图3为本发明实施例提供的一种数据处理查询方法的总体架构图；

图4为本发明实施例提供的一种数据处理查询装置的结构示意图；

图5为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，相关技术存在查询性能低下的问题，基于此，本发明实施提供了一种数据处理查询方法、装置、服务器及介质，针对已建成的关系型数据库，对大规模矢量数据进行分块处理和分布式缓存，解决分布式计算问题，极大的提升了查询速度。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据处理查询方法进行详细介绍，该方法应用于查询引擎，查询引擎配置有分布式计算节点和分布式缓存节点，分布式缓存节点用于存储国土瓦片数据，国土瓦片数据是对关系型数据库内存储的国土矢量数据进行分块处理得到的，国土瓦片数据包括多个要素数据，参见图1所示的一种数据处理查询方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：

步骤S102，接收图斑数据查询请求。

图斑数据查询请求携带有查询条件，查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，还可以包括面积条件、距离条件、缓冲区条件、POI条件等业务约束条件，管控区约束数据用于描述国土空间用途管制，管控区约束数据可以为“三区三线”规划管控要求，空间关系可以包括包含关系、合并包含关系、外部关系、相交关系中的一种或多种。

在一例中，用户可以通过客户端配置所需的查询条件，客户端将基于该查询条件生成数据查询请求，并将数据查询请求发送至查询引擎。

进一步的，将待查询图斑所在的国土矢量数据按空间范围进行分割，形成多个国土瓦片数据缓存至分布式存储节点上，并构建瓦片空间索引和瓦片内数据属性索引、空间索引。

步骤S104，基于国土瓦片数据之间的多级索引，从分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的所有目标要素数据。

其中，多级索引包括国土瓦片数据的空间索引，还包括国土瓦片数据内包含的要素数据的空间索引和属性索引。

在一例中，查询引擎可以基于接收到的数据查询请求为每个分布式计算节点分配查询任务，分布式计算节点在接收到查询任务之后，即可利用多级索引从其对应的分布式缓存节点中检索出满足查询条件的目标要素数据，并将目标要素数据从目标分布式缓存节点返回至分布式计算节点。

在一例中，检索过程如下所示：首先根据国土瓦片数据的空间索引快速定位至相关的目标国土瓦片数据及其所在的目标分布式缓存节点；然后利用国土瓦片数据内包含的要素数据的空间索引和属性索引，基于空间关系和业务约束条件，在涉及到的目标分布式缓存节点上查询并读取所有满足要求的目标要素数据。

步骤S106，部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照目标合并逻辑对目标要素数据进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果。

其中，合并逻辑可以包括“与”、“或”，在此基础上，合并操作包括与合并操作、或合并操作。在一例中，可以基于空间关系与合并逻辑之间的映射关系，确定出查询条件中的空间关系对应的目标合并逻辑，并按照该目标合并逻辑合并所有目标要素数据，确定目标要素数据所在的原始图斑是否满足查询要求，以得到满足查询要求的图斑数据查询结果。

本发明实施例提供的数据处理查询方法，对国土矢量数据进行数据分块，对分块产生的国土瓦片数据缓存至不同分布式缓存节点，并构建国土瓦片数据对应的多级索引，可快速定位至包含查询范围的国土瓦片数据及其所在的分布式缓存节点，并在各个分布式缓存节点进行分布式计算，快速读取所需的目标要素数据；另外，由于分块导致所需的目标要素数据可能分布在不同的国土瓦片数据和分布式缓存节点上，本发明实施例还设计了空间关系与合并逻辑的映射关系，通过目标合并逻辑对目标要素数据进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求，输出最终的图斑数据查询结果，相比于传统查询方法，耗时从小时级缩短到秒级，极大的缩短了计算时间，提升查询效率。

为便于理解，本发明实施例提供了一种数据处理查询方法的具体实施方式，主要包括以下步骤1至步骤3：

步骤1：对传统数据库中的大规模国土矢量数据进行处理，按空间分块后进行分布式缓存，传统数据库也即前述关系型数据库；步骤2：根据“三区三线”规划管控要求，确定空间关系和查询条件，进行分布式查询，其中，“三区三线”规划管控要求也即前述管控区约束数据；步骤3：设计瓦片间合并逻辑，对分布式查询结果进行逻辑合并，输出满足要求的查询结果。

本发明实施例提供了一种上述步骤1的一种具体实施方式，包括如下步骤1A至步骤1D：

步骤1A，读取关系型数据库存储的国土矢量数据；其中，国土矢量数据涉及国土调查数据、国土空间规划数据、自然资源调查监测数据等自然资源领域的行业基础数据。

步骤1B，按照空间范围对国土矢量数据进行分块处理得到国土瓦片数据，并构建国土瓦片数据对应的多级索引。其中，多级索引包括国土瓦片数据的空间索引，还包括国土瓦片数据内包含的要素数据的空间索引和属性索引。

在一例中，对存储在传统数据库中的国土调查数据、国土空间规划、自然资源调查监测数据等数据，按一定的空间范围分块方法进行分块处理，将大规模的国土矢量数据分割成大量的国土瓦片数据。具体的，可根据国土矢量数据的规模大小和业务需求的数据精度来确定分割的层级和大小。

分块处理建议采用S2编码规则，方便构建空间索引，同时，S2编码规则可以根据数据规模自适应计算瓦片层级和大小，也可以根据计算需要自行确定。由于它的层级和大小是可变的，在一些数据分布比较集中的情况下，可以通过选择分块瓦片的层级和大小，均衡每个瓦片内的数据量。

在一例中，构建多级索引，对分割后的国土瓦片数据构建空间索引（也可称之为一级索引），并构建国土瓦片数据内包含的要素数据的空间索引、属性索引（也可称之为二级索引）。其中，一级索引是指按S2编码构建瓦片的空间索引。S2编码是一种空间位置的索引方法，数据分块后每个瓦片数据都有一个唯一的KEY（S2码），根据S2码的索引可快速定位到要素数据所在的相关瓦片（可能涉及多个瓦片）；二级索引是指在瓦片内部根据数据结构构建空间索引和属性索引，根据索引在瓦片内快速查询读取要素数据。

步骤1C，将国土瓦片数据及其对应的多级索引，缓存至分布式缓存节点。

在一例中，将国土瓦片数据缓存至多个非关系型数据库（也即分布式缓存节点）上，诸如图2所示的一种分布式缓存节点的结构示意图，实现分布式查询与计算。在实际应用中，进行一次缓存之后的所有查询均基于缓存的国土瓦片数据进行计算，无需在每次查询前都进行分块和缓存。

步骤1D，对分布式缓存节点存储的国土瓦片数据进行定期更新；和/或，当监听到关系型数据库内存储的国土矢量数据发生变化时，对分布式缓存节点存储的国土瓦片数据进行联动更新。

在一例中，数据的分块和缓存可根据需要选择定期更新和联动更新的方式。定期更新是指根据查询业务的需求定期进行数据的重新分块和分布式缓存，其优点是每次更新可以重新选择分块瓦片的层级和大小，缺点是需要手动更新。联动更新是指当存储在数据库中的数据发生变化，缓存至各个节点的瓦片数据随之进行自动更新，优点是无需手动，可及时自动更新，缺点是不能重新选择分块瓦片的层级和大小。可选的，也可二者结合使用。

本发明实施例提供了一种上述步骤2的一种具体实施方式：根据“三区三线”规划管控要求和待查询图斑的业务需求，确定待查图斑数据与管控区约束数据间的空间关系，制定相应查询条件，根据多级索引在多个分布式缓存节点上进行并行查询。具体可参见如下步骤2A至步骤2E：

步骤2A，需要根据具体业务场景，在每次查询前明确查询的基底数据和管控区约束数据。通常情况下，以国土调查数据、自然资源调查数据等行业基础数据为基底数据，以“三区三线”等国土空间规划数据为管控区约束数据。某些场景下，部分国土空间规划数据也可作为基底数据。示例性的，某项目需要在城镇开发建设边界以外单独选址时，要求不得占用永久基本农田，不得占压生态保护红线，在进行满足条件的图斑查询时，基底数据为国土调查基础数据，约束数据为三区三线划定数据，包括城镇开发边界数据、永久基本农田数据、生态保护红线数据。

步骤2B，当参与计算的所有数据中出现坐标不一致的情况，则需要进行坐标换算，以统一坐标和投影。

步骤2C，本发明实施例还按照“三区三线”规划管控要求，概括并定义基底数据与约束数据间的空间关系。满足管控要求的图斑条件可以概括为四种：①位于管控区内的某个图斑上；②位于管控区内的多个图斑上；③位于管控区之外；④部分位于管控区内。据此定义基底数据与约束数据间的四种空间关系： inside（包含关系）、unionInside（合并包含关系）、outside（外部关系）、intersect（相交关系），具体的：包含关系为：待查询图斑数据位于管控区约束数据之内的一个图斑数据上；合并包含关系为：待查询图斑数据位于管控区约束数据之内的多个图斑数据上；外部关系为：待查询图斑数据位于管控区约束数据之外；相交关系为：待查询图斑数据部分位于管控区约束数据之内。详细说明如下表1所示：

表1

空间关系	描述
		inside（包含）	A表中要素被B表中某个要素包含
unionInside（合并包含）	A表中要素被B表中所有要素合并后包含
		outside（外部）	A表中要素在B表中的要素外部
intersect（相交）	A表中要素与B表中要素相交

其中，A表也即前述基底数据，B表也即前述管控区约束数据。

步骤2D，还可以根据其他业务需求，设置相应约束条件，如面积条件、缓冲区条件、POI条件。其中，当进行POI缓冲条件查询时，需要按照缓冲条件设置一定范围的冗余查询。例如，待查询图斑数据要求在生态保护红线5km之内，那么查询时除了要查生态保护红线外部的图斑，还要在外围创建5km的缓冲区，并在缓冲区内进行查询。

步骤2E，采取存算分离的方式，由查询引擎生成查询任务，并将查询任务发送至分布式计算节点，由各个计算节点向缓存节点发送查询请求并接收读取目标要素数据。

在一例中，查询引擎还配置有分布式计算节点，每个分布式计算节点均与一个或多个分布式缓存节点对应。在此基础上，参见如下（1）至（2）：

（1）生成每个分布式计算节点对应的查询任务（也可称之为查询计划）；

（2）当分布式计算节点接收到查询任务时，则基于国土瓦片数据之间的多级索引，从分布式计算节点对应的分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的目标要素数据。

参见图3所示的一种数据处理查询方法的总体架构图，查询引擎配置有计算节点1、计算节点2、计算节点3等，每个计算节点均用于接收发送请求、接收数据、查询数据合并，还配置有缓存节点1、缓存节点2、缓存节点3等，每个缓存节点均用于接收请求和读取数据。在此基础上，查询过程如下所示：客户端向查询引擎发送查询请求，查询引擎将生成查询计划，并将查询计划发送至多个计算节点；计算节点向缓存节点发送查询请求，以基于国土瓦片数据之间的多级索引，从对应的式缓存节点存储的国土瓦片数据中检索满足查询条件的目标要素数据；计算节点接收缓存节点返回查询数据（也即目标要素数据）；计算节点执行查询数据逻辑合并得到最终查询结果（也即图斑数据查询结果），并将最终查询结果返回至客户端。

在实际应用中，每个计算节点均可参照如下（a）至（b）所示的步骤，从分布式缓存节点中检索满足查询条件的所有目标要素数据：

（a）利用国土瓦片数据的空间索引，定位至目标国土瓦片数据和目标国土瓦片数据所在的目标分布式缓存节点；

（b）利用国土瓦片数据内包含的要素数据的空间索引和属性索引，从目标分布式缓存节点存储的国土瓦片数据中，检索满足空间关系和业务约束条件的所有目标要素数据。其中，业务约束条件包括面积条件、距离条件、缓冲区条件、POI条件中的一种或多种。

具体的，根据查询条件按照多级索引进行数据查询。首先根据分块瓦片的空间索引，快速定位至相关的瓦片和所在的缓存节点；然后，在涉及到的缓存节点上进行并行查询，具体的：利用瓦片内的空间索引和属性索引，基于上述定义的空间关系和其他业务约束条件，查询并读取相关瓦片中所有满足要求的数据，将读取结果从缓存节点返回至计算节点。

本发明实施例提供了一种上述步骤3的一种具体实施方式：由于数据分块，使基底数据中的同一图斑要素可能被分割成多个要素块存至多个瓦片并分布在不同的缓存节点中。基于上一步骤检索到所有满足查询要求的要素块，无法直接确定要素块所在的原始图斑是否满足查询要求，需要结合空间关系来进一步判断。因此，本发明实施例对规划管控条件涉及到的四种空间关系，设计了对应的瓦片间要素块合并逻辑，对符合该逻辑的要素块进行逻辑合并，确定符合要求的图斑，输出最终查询结果。具体可参见如下步骤3A至步骤3B：

步骤3A，设计空间关系所对应的瓦片间合并逻辑。

在一例中，如果空间关系为包含关系、合并包含关系或外部关系，则对目标要素数据进行“与”合并操作，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果；在另一例中，如果空间关系为相交关系，则对目标要素数据进行“或”合并操作，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果。具体的，参见如下表2所示的要素空间关系与瓦片间合并逻辑对应表：

表2

其中，瓦片间合并逻辑说明为：

与：所有瓦片中的要素块都满足要求，才能认定原始图斑满足查询要求。示例性的，空间关系为包含，合并逻辑为“与”的场景：根据规划管控要求，要查一个区内所有位于城镇开发边界内的图斑，假如基底数据中有一个待查图斑A在分块的时候被分割到两个瓦片上，形成A1和A2两个要素块，其中一个瓦片上的要素块A1是位于城镇开发边界内的，满足包含关系，但是在另一个瓦片上的要素块A2只有部分是位于边界内或不在边界内，意味着A2不满足包含关系，那这个图斑A就是不满足要求的，如果A1和A2都位于城镇开发边界内，都满足空间包含关系，那么该图斑A才算是满足规划管控要求的图斑。

或：任意一个瓦片中的要素块满足要求，就认定原始图斑满足查询要求。示例性的，空间关系为相交，合并逻辑为“或”的场景：根据规划管控要求，要查一个区域内所有占压生态保护红线的图斑，假如有一个图斑B在数据分块的时候被分到n个瓦片上，形成B1、B2……Bn个要素块，其中，B1与生态保护红线相交，不管其他要素块是否与生态保护红线相交，都认为图斑B是满足规划管控要求的。

步骤3B，根据设计的瓦片间合并逻辑，对各个分块瓦片中读取的要素块进行逻辑合并，确定目标要素数据所在的原始图斑是否满足查询要求，输出最终满足要求的所有图斑，也即图斑数据查询结果。

综上所述，本发明实施例至少具有以下特点：

（一）进行大规模矢量数据分块缓存，实现分布式计算。针对传统数据库中大规模矢量数据，对数据进行分块并缓存至不同的节点，查询时在缓存节点进行计算，实现分布式查询，极大的缩短查询时间，提升查询性能。

（二）构建多级数据索引，有效避免传统SQL查询时所有要素相交计算的过程。分块时采用空间范围分块的方法，便于构建数据块的空间索引。块内数据同时构建属性索引和空间索引，能有快速查询读取相关瓦片数据。

（三）定义查询逻辑，一方面，根据“三区三线”管控要求，概括基底数据与约束数据要素间的四种空间关系，利用空间索引有针对性的查询满足条件的数据，逻辑清晰，极大的缩减了空间查询计算量；另一方面，定义空间关系对应的“与”“或”瓦片合并逻辑，保证输出结果的准确性。

在前述实施例的基础上，本发明实施例提供了一种数据处理查询装置，该装置应用于查询引擎，查询引擎配置有分布式缓存节点，分布式缓存节点用于存储国土瓦片数据，国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，国土瓦片数据包括多个要素数据，参见图4所示的一种数据处理查询装置的结构示意图，该装置主要包括以下部分：

请求接收模块402，用于接收图斑数据查询请求，图斑数据查询请求携带有查询条件，查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，管控区约束数据用于描述国土空间用途管制；

数据检索模块404，用于基于国土瓦片数据之间的多级索引，从分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的所有目标要素数据；

数据合并模块406，用于部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照目标合并逻辑对目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到图斑数据查询请求对应的图斑数据查询结果。

本发明实施例提供的数据处理查询装置，对国土矢量数据进行数据分块，对分块产生的国土瓦片数据缓存至不同分布式缓存节点，并构建国土瓦片数据对应的多级索引，可快速定位至包含查询范围的国土瓦片数据及其所在的分布式缓存节点，并在各个分布式缓存节点进行分布式计算，快速读取所需的目标要素数据；另外，由于分块导致所需的目标要素数据可能分布在不同的国土瓦片数据和分布式缓存节点上，本发明实施例还设计了空间关系与合并逻辑的映射关系，通过目标合并逻辑对目标要素数据进行逻辑合并，确定符合查询要求的图斑，输出最终的图斑数据查询结果，相比于传统查询方法，耗时从小时级缩短到秒级，极大的缩短了计算时间，提升查询效率。

在一种实施方式中，还包括缓存模块，用于：

读取关系型数据库存储的国土矢量数据；

按照空间范围对国土矢量数据进行分块处理得到国土瓦片数据，并构建国土瓦片数据对应的多级索引；其中，多级索引包括国土瓦片数据的空间索引，还包括国土瓦片数据内包含的要素数据的空间索引和属性索引；

将国土瓦片数据及其对应的多级索引缓存至分布式缓存节点。

在一种实施方式中，缓存模块，还用于：

对分布式缓存节点存储的国土瓦片数据进行定期更新；

和/或，当监听到关系型数据库内存储的国土矢量数据发生变化时，对分布式缓存节点存储的国土瓦片数据进行联动更新。

在一种实施方式中，空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；

包含关系为：待查询图斑数据位于管控区约束数据之内的一个图斑数据上；

合并包含关系为：待查询图斑数据位于管控区约束数据之内的多个图斑数据上；

外部关系为：待查询图斑数据位于管控区约束数据之外；

相交关系为：待查询图斑数据部分位于管控区约束数据之内。

在一种实施方式中，查询引擎还配置有分布式计算节点，每个分布式计算节点均与一个或多个分布式缓存节点对应；数据检索模块404还用于：

生成每个分布式计算节点对应的查询任务；

当分布式计算节点接收到查询任务时，则基于国土瓦片数据之间的多级索引，从分布式计算节点对应的分布式缓存节点存储的国土瓦片数据中，检索满足查询条件的所有目标要素数据。

在一种实施方式中，查询条件还包括业务约束条件；数据检索模块404还用于：

利用国土瓦片数据的空间索引，定位至目标国土瓦片数据和目标国土瓦片数据所在的目标分布式缓存节点；

利用国土瓦片数据内包含的要素数据的空间索引和属性索引，从目标分布式缓存节点存储的国土瓦片数据中，检索满足空间关系和业务约束条件的所有目标要素数据；其中，业务约束条件包括面积条件、距离条件、缓冲区条件、POI条件中的一种或多种。

在一种实施方式中，数据合并模块406还用于：

如果所述空间关系为所述包含关系、合并包含关系或所述外部关系，则对所述目标要素数据进行“与”合并，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果；

或者，如果所述空间关系为所述相交关系，则对所述目标要素数据进行“或”合并，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种服务器，具体的，该服务器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。

图5为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。

其中，存储器51可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。

处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据处理查询方法，其特征在于，所述方法应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述方法包括：

接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

2.根据权利要求1所述的数据处理查询方法，其特征在于，在接收图斑数据查询请求的步骤之前，所述方法还包括：

读取关系型数据库存储的国土矢量数据；

按照空间范围对所述国土矢量数据进行分块处理得到国土瓦片数据，并构建所述国土瓦片数据对应的多级索引；其中，所述多级索引包括所述国土瓦片数据之间的空间索引，还包括所述国土瓦片数据内包含的要素数据之间的空间索引和属性索引；

将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点。

3.根据权利要求2所述的数据处理查询方法，其特征在于，在将所述国土瓦片数据及其对应的所述多级索引，缓存至所述分布式缓存节点的步骤之后，所述方法还包括：

对所述分布式缓存节点存储的所述国土瓦片数据进行定期更新；

和/或，当监听到所述关系型数据库内存储的所述国土矢量数据发生变化时，对所述分布式缓存节点存储的所述国土瓦片数据进行联动更新。

4.根据权利要求1所述的数据处理查询方法，其特征在于，所述空间关系包括：包含关系、合并包含关系、外部关系、相交关系中的一种或多种；

所述包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的一个图斑数据上；

所述合并包含关系为：所述待查询图斑数据位于所述管控区约束数据之内的多个图斑数据上；

所述外部关系为：所述待查询图斑数据位于所述管控区约束数据之外；

所述相交关系为：所述待查询图斑数据部分位于所述管控区约束数据之内。

5.根据权利要求1所述的数据处理查询方法，其特征在于，所述查询引擎还配置有分布式计算节点，每个所述分布式计算节点均与一个或多个所述分布式缓存节点对应；基于所述国土瓦片数据之间的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，包括：

生成每个所述分布式计算节点对应的查询任务；

当所述分布式计算节点接收到所述查询任务时，则基于所述国土瓦片数据的多级索引，从所述分布式计算节点对应的所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据。

6.根据权利要求1所述的数据处理查询方法，其特征在于，所述查询条件还包括业务约束条件；基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据的步骤，还包括：

利用所述国土瓦片数据的空间索引，定位至目标国土瓦片数据和所述目标国土瓦片数据所在的目标分布式缓存节点；

利用所述国土瓦片数据内包含的要素数据的空间索引和属性索引，从所述目标分布式缓存节点存储的所述国土瓦片数据中，检索满足所述空间关系和所述业务约束条件的所有目标要素数据；其中，所述业务约束条件包括面积条件、距离条件、缓冲区条件、POI条件中的一种或多种。

7.根据权利要求4所述的数据处理查询方法，其特征在于，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果的步骤，包括：

如果所述空间关系为所述包含关系、合并包含关系或所述外部关系，则对所述目标要素数据进行“与”合并，即，一个图斑被分割后的所有要素数据都是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果；

或者，如果所述空间关系为所述相交关系，则对所述目标要素数据进行“或”合并，即，一个图斑被分割后的任意一个要素数据是目标要素数据，该图斑满足查询要求，得到所述查询请求对应的图斑数据查询结果。

8.一种数据处理查询装置，其特征在于，所述装置应用于查询引擎，所述查询引擎配置有分布式缓存节点，所述分布式缓存节点用于存储国土瓦片数据，所述国土瓦片数据是对关系型数据库内存储的大规模国土矢量数据进行分块处理得到的，所述国土瓦片数据包括多个要素数据，所述装置包括：

请求接收模块，用于接收图斑数据查询请求，所述图斑数据查询请求携带有查询条件，所述查询条件至少包括待查询图斑数据与管控区约束数据之间的空间关系，所述管控区约束数据用于描述国土空间用途管制；

数据检索模块，用于基于所述国土瓦片数据的多级索引，从所述分布式缓存节点存储的所述国土瓦片数据中，检索满足所述查询条件的所有目标要素数据；

数据合并模块，用于部分图斑被分割成多个要素数据分布在不同的瓦片中，基于预先配置的空间关系与合并逻辑之间的映射关系确定目标合并逻辑，以按照所述目标合并逻辑对所述目标要素数据进行逻辑合并，确定所述目标要素数据所在的原始图斑是否满足查询要求，得到所述图斑数据查询请求对应的图斑数据查询结果。

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。