CN109062679B - 一种面向并行处理的矢量数据通用划分方法 - Google Patents

Abstract

本发明公开了一种面向并行处理的矢量数据通用划分方法，具体包括以下步骤：S1：矢量数据划分建模：按照特定的划分策略进行几何对象子集划分、几何对象子集空间范围重算、重构几何对象子集拓扑关系及几何对象对应的属性数据重建这四个步骤；S2：将矢量数据划分过程提炼抽象为接口父类、运算子类、及基础辅助类，并在抽象类中规定运算逻辑；S3：根据几何对象的计算粒度和空间相邻关系，在特定的应用场景下选择特定的划分策略，根据选用的划分策略，在执行程序中实现算法，完成划分功能。本发明的有益效果：用户在不改变矢量空间分析算法并行设计的情况下，只需指定划分策略，就可以实现高效率的数据划分，在数据划分层次提高了并行效率。

Description

一种面向并行处理的矢量数据通用划分方法

技术领域

本发明涉及高性能地理信息处理技术领域，具体来说涉及一种面向并行处理的矢量数据通用划分方法。

背景技术

并行算法中影响算法效率的重要方面是并行计算过程中的任务均衡，而影响任务均衡最重要的因素是数据集划分。数据划分的目的是将一块完整的数据分割为相对小的、独立的多块数据，为数据的分布式或并行操作提供基础。空间数据划分策略在空间数据管理中发挥着重要作用，尤其是对矢量并行算法整体性能的提高至关重要。

栅格数据和矢量数据是传统GIS中常用的两种内部空间数据结构。地理空间的矢量表达方式是用离散的点、线、面来表示和描述连续地理空间中的实体，即地理空间实体的形状和位置由一组坐标对确定，并与一定的属性相连接。矢量表达法集中了地理实体的形状特征以及不同实体之间的空间关系分布。

与栅格数据相比，矢量数据的优点是：数据结构紧密，存储空间较小；定位明显，属性隐含，容易定义和操作单个空间实体；能够进行有效的拓扑编码，便于空间拓扑分析；可直接利用计算机图形学的许多算法等。

而矢量数据的缺点则是：数据结构复杂，算法难以实现；不能有效地支持代数运算，复合操作很难实现；表示具有高度变化的地物困难，定位存取性能较差；处理位置关系(如相交、包含、邻接等)相当困难，连续变化的空间数据不能表示成矢量结构；与栅格数据结合处理时，需要将矢量结构先转换成网格结构，而不能直接加以利用。

鉴于矢量数据，尤其是具有拓扑关系的矢量数据的特点，目前尚未有一种公认的有效的矢量数据划分策略，能解决矢量数据结构复杂，处理空间位置和代数关系困难的问题。

发明内容

针对相关技术中的问题，本发明提出一种面向并行处理的矢量数据通用划分方法，解决矢量空间分析并行算法中因负载不均衡而导致效率不高的问题。

为了实现上述技术目的，本发明的技术方案是这样的：

一种面向并行处理的矢量数据通用划分方法，具体包括以下步骤：

S1：矢量数据划分建模：按照特定的划分策略进行数据划分，得到几何对象子集；依据几何对象子集计算子数据集的空间范围；重构几何对象子集拓扑关系；计算几何对象对应的属性数据；对几何对象子集进行运算，形成结果数据子集；

S2：在步骤S1的建模过程中，将矢量数据划分过程提炼抽象为接口父类、运算子类、及基础辅助类，并在抽象类中规定运算逻辑；

S3：根据几何对象的计算粒度和空间相邻关系，在特定的应用场景下选择特定的划分策略，划分策略具体包括：基于几何对象的简单划分策略、基于弧段的计算均衡性划分策略、基于规则条带的空间均衡性划分策略、基于加权不规则条带的双重均衡性划分策略；根据选用的划分策略，在执行程序中实现算法，完成划分功能。

进一步的，步骤S3中在选择所述划分策略前，根据应用场景，将划分策略名称以及划分块数作为输入参数。

进一步的，步骤S3中所述基于几何对象的简单划分策略是以几何对象为划分单位，对数据集内的几何对象按照划分块数进行平均分配，划分后各子数据集的几何对象个数近似相等。

进一步的，步骤S3中所述基于弧段的计算均衡性划分策略是以几何对象的基本计算单元-弧段为划分单位，对数据集内的几何对象在不破坏几何对象完整性的前提下按照弧段数进行平均分配，划分后各子数据集的弧段个数近似相等。

进一步的，步骤S3中所述基于规则条带的空间均衡性划分策略是以空间范围为划分单位，对数据集内的几何对象按照其最小外接矩形范围分配到等长或等宽的矩形框中，划分后各子数据集的空间形状呈条带状，空间范围近似相等。

进一步的，步骤S3中所述基于加权不规则条带的双重均衡性划分策略是综合弧段划分和规则条带划分方法，将弧段数作为权值对数据集按照空间范围沿X或者Y轴方向进行划分，划分后的子数据集呈条带状，覆盖的空间区域不一致，但总弧段数近似一致。

本发明的有益效果：针对矢量空间分析并行算法中因负载不均衡而导致效率不高的问题，综合矢量空间算法的计算粒度和空间相邻关系，提出矢量数据通用划分策略以及多种不同应用场景下的划分方法，使得用户在不改变矢量空间分析算法并行设计的情况下，只需指定划分策略，就可以实现高效率的数据划分，在数据划分层次提高了并行效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明矢量数据通用划分流程图；

图2为本发明通用划分模型实现示意图；

图3为本发明基于几何对象的简单划分空间示意图；

图4为本发明基于弧段的计算均衡性划分空间示意图；

图5为本发明基于规则条带的空间均衡性划分空间示意图；

图6为本发明基于加权不规则条带的双重均衡性划分空间示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

一种面向并行处理的矢量数据通用划分方法，具体包括以下步骤：

矢量数据划分建模：如图1所示，按照特定的划分策略进行数据划分，得到几何对象子集；依据几何对象子集计算子数据集的空间范围；重构几何对象子集拓扑关系；计算几何对象对应的属性数据；对几何对象子集进行运算，形成结果数据子集；并行处理中涉及数据块的传递，如果是整个子数据集传输，则需传递几何对象集，属性集，拓扑集等内容，网络负载较大，考虑实际情况，本发明在实现过程中，只传递划分结果子集的描述信息，由各节点根据描述信息自行从源数据集中读取各自分配的结果子集。

如图2所示，将矢量数据划分过程提炼，形成矢量数据划分抽象类，在抽象类中规定以上步骤的运算逻辑。将划分实现过程抽象为接口父类、运算子类、及基础辅助类，并在抽象类中规定运算逻辑；通用划分模型的构建采用模板方法实现。其中接口父类定义了通用划分模型的接口与实现步骤，在父类的接口函数中定义了实现步骤的处理逻辑，即规定划分过程有子集划分、空间范围重算、重构拓扑关系、属性重建等四个功能函数顺序组成。

运算子类从接口父类中集成，根据不同的划分策略实现功能函数。在接口类中四个功能函数中，子集划分为关键步骤，需要在运算子类中实现。其它三个功能函数，可以根据划分策略的特定进行复用或者重构。

基础辅助类采取工厂的方式进行实现，与用户进行接口。用将划分策略标识和划分块数作为输入参数，基础辅助类则根据输入参数实例化不同的运算子类，在程序执行过程中自动实现相应的划分策略，完成相应的划分功能。

不同于栅格数据的划分，并行处理中的矢量数据划分应综合考虑几何对象规模，划分粒度，几何对象的空间位置等因素。因此，矢量划分的基本原则是如何通过划分几何对象来达到空间运算在并行环境下各个节点上的最大并行化。本发明主要根据矢量空间算法的计算粒度和空间相邻关系，从计算均衡和空间均衡的角度来进行划分策略的实现。

I.基于几何对象的简单划分策略

基于几何对象的简单划分过程如下：

1)获取数据集π(A)中几何对象总数L，根据用户输入的分块数目N计算子数据集对象个数Li＝L/N；

2)几何对象按照顺序索引进行切割，得到几何对象子集{G₁，G₂…G_N},其中G_i的索引集为[L/N*(i-1),L/N*i]；

3)依据G_i计算子数据集的空间范围B_i；

4)根据G_i和B_i重构子数据集的拓扑关系T_i；

5)根据G_i的索引，计算其对应的属性数据P_i；

6)各部分组合，形成结果数据子集A_i，即:π(A)＝{A₁，A₂…A_n}。

由上述划分过程和图3空间示意图可以看出，基于几何对象的简单划分策略简单易懂，适合点数据类型。

II.基于弧段的计算均衡性划分策略

基于弧段的计算均衡性划分过程如下所示：

1)获取数据集中几何对象总数L，以及用户输入的分块数目N；

2)从拓扑信息中循环每个几何对象，获取其弧段数M_k，得到弧段总数

3)计算子数据集分配的弧段个数Q＝M/N；

4)几何对象按照顺序索引进行弧段累加，得到几何对象子集{G₁，G₂…G_n},其中G_i的几何对象弧段总数近似等于Q；

5)依据G_i计算子数据集的空间范围B_i；

6)根据G_i和B_i重构子数据集的拓扑关系T_i；

7)根据G_i的索引，计算其对应的属性数据P_i；

8)各部分组合，形成结果数据子集A_i，即:π(A)＝{A₁，A₂…A_n}。

由上述划分过程和图4空间示意图可以看出，基于弧段的计算均衡性划分策略能保障计算均衡性，提高运算效率，适合几何对象计算时相对独立的并行处理，能适应各种几何类型。

III.基于规则条带的空间均衡性划分策略

基于规则条带的空间均衡性划分过程如下所示：

1)获取数据集的空间范围B以及用户输入的分块数目N；

计算子数据集空间范围宽带W＝B/N；

1)几何对象按照所属空间条带进行切割，得到几何对象子集{G₁，G₂…G_n},其中G_i的空间范围为[B/N*(i-1),B/N*i]；

2)重构拓扑关系T_i；

3)根据G_i的ID，计算其对应的属性数据P_i；

4)各部分组合，形成结果数据子集Ai，即：π(A)＝{A₁，A₂…A_n}。

由上述划分过程和图5空间示意图可以看出，基于规则条带的空间均衡性划分策略能保障空间均衡性，有效的减少重叠区域的合并操作，适合空间数据密度分配较为均匀的并行处理，适合全部几何类型。

IV.基于加权不规则条带的双重均衡性划分策略

基于加权不规则条带的双重均衡性划分过程如下所示：

1)获取数据集的空间范围B以及用户输入的分块数目N；

2)计算子数据集空间范围以及所分配弧段数，使得B_i*M_i＝B_i+1*M_i+1，以水平划分为例，具体过程为：

a)获取该子数据块的X初始范围X_s，X_e，以及中点坐标X_m＝(X_e-X_s/2；

b)若X_s，X_m之间的弧段总数等于Q，则停止查找，确定该子数据集范围；

c)若X_s，X_m之间的弧段总数<Q，则以(X_e-X_m)/2作为X_e，重新计算弧段数；

d)若Xs，Xm之间的弧段总数>Q，则以(X_m-X_s)/2作为X_s，重新计算弧段数；

e)循环c和d，直至确定子数据集；

3)几何对象按照所属空间条带进行切割，得到几何对象子集{G₁，G₂…G_n}重构拓扑关系T_i；

4)根据G_i的ID，计算其对应的属性数据P_i；

5)各部分组合，形成结果数据子集Ai，即：π(A)＝{A₁，A₂…A_n}。

由上述划分过程和图6空间示意图可以看出基于不规则条带划分的双重均衡性划分策略，有效的减少了重叠区域的合并操作，又能保障计算均衡性，减少了计算节点因计算不均导致的互相等待过程，在很大程度上提高了并行处理效率。该方法因涉及二分法，划分时间较以上方法较长，但在大规模计算中，划分时间所占比例较小，总计算时间会降低。基于不规则条带划分的双重均衡性划分策略，适合大规模计算，适合所有几何类型。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向并行处理的矢量数据通用划分方法，其特征在于，具体包括以下步骤：

S1：矢量数据划分建模：按照特定的划分策略进行数据划分，得到几何对象子集；依据几何对象子集计算子数据集的空间范围；重构几何对象子集拓扑关系；计算几何对象对应的属性数据；对几何对象子集进行运算，形成结果数据子集；

S2：在步骤S1的建模过程中，将矢量数据划分过程提炼抽象为接口父类、运算子类、及基础辅助类，并在抽象类中规定运算逻辑；

S3：根据几何对象的计算粒度和空间相邻关系，在特定的应用场景下选择特定的划分策略，划分策略具体包括：基于几何对象的简单划分策略、基于弧段的计算均衡性划分策略、基于规则条带的空间均衡性划分策略、基于加权不规则条带的双重均衡性划分策略；根据选用的划分策略，在执行程序中实现算法，完成划分功能；所述基于几何对象的简单划分策略是以几何对象为划分单位，对数据集内的几何对象按照划分块数进行平均分配，划分后各子数据集的几何对象个数近似相等；所述基于弧段的计算均衡性划分策略是以几何对象的基本计算单元-弧段为划分单位，对数据集内的几何对象在不破坏几何对象完整性的前提下按照弧段数进行平均分配，划分后各子数据集的弧段个数近似相等；所述基于规则条带的空间均衡性划分策略是以空间范围为划分单位，对数据集内的几何对象按照其最小外接矩形范围分配到等长或等宽的矩形框中，划分后各子数据集的空间形状呈条带状，空间范围近似相等；所述基于加权不规则条带的双重均衡性划分策略是综合弧段划分和规则条带划分方法，将弧段数作为权值对数据集按照空间范围沿X或者Y轴方向进行划分，划分后的子数据集呈条带状，覆盖的空间区域不一致，但总弧段数近似一致。

2.根据权利要求1所述的一种面向并行处理的矢量数据通用划分方法，其特征在于，步骤S3中在选择所述划分策略前，根据应用场景，将划分策略名称以及划分块数作为输入参数。

Images