CN103150214A

CN103150214A - 一种针对空间度量及方向关系并行计算的矢量目标集均衡划分方法

Info

Publication number: CN103150214A
Application number: CN2012105863747A
Authority: CN
Inventors: 吴立新; 杨宜舟; 郭甲腾
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-12-31
Filing date: 2012-12-31
Publication date: 2013-06-12

Abstract

本发明公开了一种针对空间度量及方向关系并行计算的矢量目标集均衡划分方法。矢量目标度量(矢量目标长度、面积计算)及方向关系(矢量目标之间的方向关系)并行计算属于计算密集型算法，即目标度量和方向关系计算过程中矢量目标集中几何对象所有的点都参与计算。因此，各进程任务负载均衡需顾及矢量目标集的顶点数。所以针对矢量目标度量及方向关系采用顾及矢量目标集顶点总数的均衡划分方法将矢量目标集均衡地划分至各进程，使各进程矢量目标集的任务负载均衡。利用本发明可实现进程间计算负载高度均衡，进而提高算法效率，为单机多核、众核和高性能集群环境的海量数据的空间度量及方向关系软件的开发与服务提供一种高效的数据划分方法。

Description

一种针对空间度量及方向关系并行计算的矢量目标集均衡划分方法

技术领域

本发明属于并行计算领域，特别是涉及到一种针对矢量目标空间度量及方向关系并行计算的矢量目标集均衡划分方法。

背景技术

空间度量关系和空间方向关系都属于空间关系。度量关系包括空间目标的面积、周长及相互间的距离，用以描述空间目标本身的特点；方向关系表达了两个空间目标间所处的方位，通常用于描述相离目标间的空间方位。空间度量关系和方向关系在空间推理和空间查询上扮演着非常重要的角色，也是地理信息系统的重要内容。随着空间数据量的爆炸式增长，传统的空间度量及方向关系串行算法已不能满足大规模空间数据分析与需求，亟待利用计算机并行体系架构发展一种并行算法，才能满足大规模矢量目标空间度量与方向关系快速计算的应用需求。矢量目标空间关系并行算法由2部分组成：1)矢量目标集的预处理及划分；2)多边形目标空间关系计算与判断。

矢量目标集预处理及划分：并行算法的预处理是指对矢量目标集进行并行排序，排序的原则是根据矢量目标的顶点数为参数进行排序。矢量目标集划分：多边形目标集的划分是度量、方向关系并行算法的重点和难点问题。影响并行算法的效率的一个重要方面是并行计算过程中的负载均衡。

空间关系并行算法设计需考虑两方面问题：一是矢量目标的空间特性，二是矢量目标集的划分。目前并行算法的矢量目标集划分方法主要有轮转划分法^[1]、范围划分法^[1-3]、散列划分法^[1，4]、混合划分法^[1，5]、空间曲线划分法^[6，7]等，但这些已有划分方法都不能针对度量、方向关系算法的特点来保障并行计算的各进程中任务的负载均衡，影响了计算效率。因此，本发明针对度量、方向关系算法的特点，设计了新的划分方法，实现了对大规模矢量目标集的度量、方向关系计算负载均衡，提高了矢量目标度量、方向关系并行计算的效率。

参考文献

[1]赵春宇.高性能并行GIS中矢量空间数据存取与处理关键技术研究[D].武汉：武汉大学，2006.

[2]Ann Chervenak，Ian Foster，Carl Kesselman，Charles Salisbury，Steven Tueck.The data grid：Towards an architecture for the distributed management andanalysis of large scientific datasets[J].Journal of Network and ComputerApplication.2000，23：187～200.

[3]http://docs.oracle.com/cd/B28359_01/server.111/b32024/partition.htm

[4]Chengwen Liu，Hao Chen，A Hash Partition Strategy for Distributed QueryProcessing[C]，the 5th International Conference on Extending DatabaseTechnology(EDBT)，Avignon，France，1996，1057：371-387.

[5]Shahram Ghandeharizadeh，David J.DeWitt，Hybrid-range partitioning strategy：a new declustering strategy for multiprocessor databases machines[C]，Proceedings of the sixteenth international conference on Very large databases，Brisbane，Australia，1990，481-492.

[6]王永杰孟令奎赵春宇.基于Hilbert空间排列码的海量空间数据划分算法研究[J].武汉大学学报：信息科学版，2007，32(7)：650～653.

[7]田光.并行计算环境中矢量空间数据的划分策略研究与实现[D].中国地质大学，2011.

三、发明内容

(一)算法步骤

本发明提供了一种针对空间度量及方向关系并行计算的矢量目标集均衡划分方法。根据空间度量及方向关系并行计算特点，采用了顾及矢量目标顶点数的均衡划分方法，将矢量目标集均衡地划分至不同进程，使并行计算各进程的任务均衡(如图1所示)。

1.顾及矢量目标集顶点总数的均衡划分方法(简称顶点总数均衡划分法)

矢量目标度量(矢量目标长度、面积计算)及方向关系(矢量目标之间的方向关系)并行计算属于计算密集型算法，即目标度量和方向关系计算过程中矢量目标集中几何对象的所有点都参与计算。因此需要根据矢量目标集的点总数，均衡划分矢量目标集至各进程。由于矢量目标集中各目标的顶点数量不同，所以各进程任务负载均衡需顾及矢量目标的顶点数。针对矢量目标度量及方向关系采用顶点总数均衡划分法将矢量目标集均衡地划分至各进程，解决各进程矢量目标集任务的负载均衡。

本发明以矢量目标顶点数为参数定义优先权值对矢量目标进行划分。按照优先权(顶点数)的高低(多少)对矢量目标集进行排序，即在优先队列中每次取出优先权最高(或最低)的矢量目标并将其分配给优先权和值最小(或最大)的进程。顶点总数均衡划分法将矢量目标集按照信息量均衡进行划分，使得各进程的计算任务均衡，其划分过程如图2所示：

1)各进程读取矢量目标的信息，并将矢量目标集(n个)放入到存储队列中；

2)利用排序算法对矢量目标排序后存入到优先队列中，以目标的顶点数(v_i，0＜i≤m，m为矢量目标集数量)为参数量(如图2A)，按照(式1)计算各矢量目标的权值w_i，为便于矢量目标的划分，设定其排序规则为优先级高(或低)的矢量目标先存入队列；

w_i＝f(v_i)(1≤i≤n) 式1

3)各进程初始化一个存储向量，用于存储所分配的矢量目标，同时定义一个记录优先权和值的变量s_j，用式2(式中m为矢量目标数)累加计算新增矢量目标的权值，其初始值设为0；

s_{j} = Σ_{1}^{m} w_{1}

式2

4)对所有进程(p个)中的s_j进行比较，用式3获取w最小的进程p_j；

w＝min_0＜j≤p(s_j) 式3

5)从优先队列中取出优先级最高(或最低)的矢量目标，并分配给s_j最小(或最大)的进程，如果有s_j相等的两个以上进程，则将矢量目标分配给进程ID号最小(或最大)的进程(如图3B)；

6)划分矢量目标到进程p_j，将所获矢量目标的优先权值累加到s_j中；

7)如果优先队列已经为空，则结束分配过程，否则继续执行第4)步。

(二)有益效果

1、利用本发明，针对空间度量及方向关系算法特点采用顶点总数均衡划分法，将矢量目标均衡地划分至不同的进程，使进程间的任务实现负载均衡，提高了并行计算效率，且并行效率大于80％；

2、利用本发明，采用单机多核、众核级高性能集群硬件环境，可开发高性能并行计算软件，实现对海量空间数据进行高效空间关系分析。

四、附图说明

图1空间度量及方向关系并行算法特点及其对应矢量目标集的划分方法

图2顾及目标复杂度的矢量目标集顶点总数均衡划分方法

图3应用顶点总数均衡划分法案例的矢量目标集

五、具体实施方式

针对度量、方向关系并行计算的矢量目标集划分方法，以下提供案例对本发明进行说明。

(一)矢量目标集顶点总数均衡划分案例

本案例为计算某地区宗地面积(宗地复杂度如图3B所示)，测试矢量目标集DataSet包含691,442块宗地(有4,417,571个点)，如图3A所示。本发明采用顶点总数均衡划分法对矢量目标进行划分并分配至不同进程，各进程计算矢量目标子集的面积。

1)计算空间面积的矢量目标集为DataSet，矢量目标集包含对象的数为691,442个；

2)设各矢量目标的权值w_i＝f(v_i)(其中权值函数f(v_i)＝v_i)，即以矢量目标的顶点数为权值；

3)各进程对DataSet中矢量目标按照其权值从大到小采用正则排序法进行序列化；

4)初始化所有进程的权值为0；

5)每分配一个矢量目标都要对所有进程的权值进行判断，优先分配矢量目标到权值最小的进程。以进程数p＝4为例，分配至各个进程的权值的大小为Weight1＝1,104,395、Weighta＝1,104,393、Weight3＝1,104,391、Weight4＝1,104,393，因为权值就是所包含顶点的数目，且矢量目标面积计算需所有点参与计算，所以各个进程计算任务的负载基本均衡。表1结果就是基于顶点总数均衡划分法的面积并行计算实例(实例目标集为DataSet)，其并行加速比明显，极大提高了空间面积计算的效率，在8个进程时的加速比能达到6.67。

表1基于顶点总数均衡划分法的面积并行计算结果

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种针对空间度量及方向关系并行计算的矢量目标集均衡划分方法，其特征主要在于：针对度量与方向关系并行计算并顾及目矢量目标集顶点总数的均衡划分方法。

2.根据权利要求1所述对于针对度量与方向关系并行计算并顾及目矢量目标集顶点总数的均衡划分方法，其特征在于，包含以下3个特征：

1)对各进程中的矢量目标进行排序，其排序规则为以矢量目标的顶点数为参数的权值排序。

2)各进程包含一个用来记录进程动态优先权的参量s_i(0≤i＜p，p为进程数量)，其值的为分配到该进程的所有矢量目标的权值累加值，且随着分配目标的增加而动态更新。

3)据优先权值序列化的顺序依次取出矢量目标，划分给所有进程中s_i最小的进程，使进程间的矢量目标集的几何复杂度均衡(即任务负载均衡)。