CN102495888A - 一种面向并行数字地形分析的数据拆分与分发方法 - Google Patents

Abstract

本发明公开了一种面向并行数字地形分析的数据拆分与分发方法，属于数字地形分析和并行计算的交叉技术领域。该方法包括以下步骤：（1）读入DEM数据，建立数据粒度模型；（2）基于内存页调度策略，计算最小数据粒度大小；（3）基于四叉树存储策略，计算复合数据粒度大小；（4）计算节点数据粒度的冗余行、列数的计算方法以及切割方式；（5）基于复合数据粒度，计算节点数据的分发数；（6）根据节点的分发数，主节点进行节点数据的分发。本发明提出的方法，独立于空闲节点的个数，使用复合数据粒度作为节点数据分发的基本单位，减少了数据的通信量；在性能相同的计算节点间，保证了负载均衡。

Description

一种面向并行数字地形分析的数据拆分与分发方法

技术领域

本发明属于数字地形分析和并行计算的交叉技术领域，涉及利用数据并行的方法实现数字地形分析的并行化，特别是涉及一种基于量化的数据拆分方法。 

背景技术

数字地形分析(Digital Terrain Analysis，简称DTA)是在数字高程模型(Digital Elevation Model，简称DEM)的基础上进行地形属性计算和特征提取的数字信息处理技术。数字高程模型DEM是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型(Digital Terrain Model，简称DTM)的一个分支，其它各种地形特征值均可由此派生。并行数字地形分析是使用并行计算的技术来解决数字地形分析中的海量数据量的高效处理问题。随着各种新型传感器以及测量技术的出现，DEM数据呈级数增长，从而导致单机环境下对大规模的数据进行处理是一件十分困难的事情。因此使用并行计算技术可以有效地解决单处理器的计算瓶颈问题以及提高数据处理的效率。DEM的数字表示方法有格网、三角网、等高线三种，其中格网方式因其简单直观、存储方便的优点而被广泛使用。目前并行数字地形分析的研究热点主要集中在DEM数据构建的并行化以及数字地形分析算法并行化，其中对于数据并行策略的研究还处在定性分析阶段，而对于数据并行策略的建模分析以及量化研究尚未有所涉及。 

目前，数据并行策略主要是指对大规模数据进行拆分，拆分方法可以分为两类：规则拆分和不规则拆分。拆分方式的选择由地形因子的算法特性决定。 

(1)规则拆分：将DEM数据块按规则图形进行划分，如正方形或长方形等还有其它的方式，例如可视域分析可以按照角度进行拆分。其中，四叉树算法在管理和存储DEM数据方面性能优越，因此被广泛使用。格网DEM由于使用矩阵进行存储，因此采用按行和按列方式对数据块进行拆分的方法也较多。规则拆分的优点在于数据的管理和存储方便，可以使用顺序存储或链表的方式，数据处理后的融合也易操作。缺点在于需要对DEM数据进行规则化处理。对于坡度、坡向等局部地形因子，通常选择规则拆分方式。 

(2)不规则拆分：计算单元依赖的数字地形分析如果以规则格网进行DEM 数据分析，分析单元的相关半径具有不定长性，具体大小与周边分析单元地形特征强相关。对于这类分析模型，课题拟以区域相关性较小的独立不规则地理单元为数据分析单元，通过任务约束图和动态调度机制解决如何准确高效确定并行单元边界、消除分析单元边界效应、计算结果的拼接与融合。对于流域网络、山脊线、山谷线等地形结构因子，通常选择不规则拆分方式。 

数据拆分是实现并行数字地形分析的重要步骤之一，目前关于数据拆分的研究主要集中在采用何种数据管理策略来提高并行计算的效率以及相关的存储策略来降低DEM数据的存储空间，缺少对拆分数据的大小以及拆分数据之间的依赖关系等量化问题的研究，而这些问题对于数据并行的效率以及数据的调度策略都是关键。 

发明内容

本发明针对上述技术问题，针对点集均匀分布的规则格网DEM，提出了一种基于数据粒度模型与量化的数据拆分方法，不仅能保证并行数字地形分析的精确度，同时能提高并行数字地形分析的效率。 

为实现上述发明目的，本发明方法采用的技术方案如下， 

一种面向并行数字地形分析的数据拆分与分发方法，包括以下过程： 

a)读入DEM数据，建立面向并行数字地形分析的数据粒度模型： 

数据粒度模型是对并行数字地形分析中数据的抽象，具体的数学表示为： 

G＝(E，A，R)    (a.1) 

其中，G代表数据粒度，由三元组E、R、A组成，E表示粒度实体，A代表粒度实体所具有的属性，R代表粒度实体之间的关系； 

对于属性A包括的维度为：数据粒度的分辨率(Resolution)，数据粒度的行数(Col)和列数(Row)，数据粒度的大小(Size)，冗余的行数(RCol)、列数(RRow)，和数据块的起始坐标(x，y)； 

对于粒度实体之间的关系R包括三种：邻接关系(AdjR)、派生关系(DerR)和包含关系(InR)； 

b)计算基于计算机内存页调度策略的最小数据粒度： 

最小数据粒度是不可再分的数据粒度实体，是进行数据分发时的最小数据单位，最小数据粒度的计算方法为： 

MinSize＝f×4KB    (b.1) 

1≤f≤fmax且f为正整数(b.2) 

$f=\frac{f\max }{2}---(b.4)$

其中，以内存调度的页的大小4KB作为基数，MinSize是最小数据粒度的大小，δ是在不影响计算机正常工作性能的情况下DEM最小数据粒度所能占空闲存储空间的比例，0＜δ≤0.1，L是集群计算节点的可用内存大小，fmax为最小数据粒度可包含内存页数的上限值，MinSize和L均以千字节(KB)为计算单位； 

c)计算基于四叉树的复合数据粒度： 

复合数据粒度，又称为节点数据粒度，是可以再进行一次或多次拆分的数据单元，在最小数据粒度的基础上，复合数据粒度减少频繁的I/O，从而提高了计算机的处理效率，其具体的计算方法为： 

MultiSize＝4^λ×MinSize，1≤λ≤N，且λ为正整数(c.1) 

$\mathrm{\λ}=\frac{N}{2}---(c.2)$

$T=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\×o{p}_i\×t---(c.4)$

公式(c.1)中，MinSize是最小数据粒度的大小，单位为千字节(KB)，λ代表四叉树的深度； 

公式(c.3)中，N是四叉树的最大深度，α是集群节点上地形因子的计算效率，也即用于数据处理的时间与总耗时之比；V_I/O是计算节点的内存读取硬盘的速度，单位记作千字节/秒(KB/s)；T是串行地形因子的执行时间，单位 记作秒(s)； 

公式(c.4)中，DEM地形因子中个操作符的个数记作OpNum＝{op₁，op₂，...op_m}，这些操作符与加法操作符的计算时间的一一对应关系记作W＝{ω₁，ω₂，...ω_m}；t是集群计算节点执行加法操作的单位时间，单位记作秒(s)； 

d)计算冗余数据的行、列数以及划分边界冗余数据： 

根据DEM格网数据的分辨率Resolution以及最大冗余面积m×n： 

其中，RedundantRow是冗余数据的行数，RedundantCol是冗余数据的列数； 

划分边界冗余数据的方法： 

(i)对于非最后一行和非最后一列的数据粒度的冗余行列，使用与此数据粒度右相邻和下相邻的数据块的行列作为冗余数据； 

(ii)对于最后一行和非最后一列的数据粒度的冗余只需进行列切割，使用与所述列右相邻的数据块的行列作为冗余数据； 

(iii)对于最后一列和非最后一行的数据粒度的冗余只需进行行切割，使用与所述行下相邻的数据块的行列作为冗余数据； 

(iv)对于最后一行和最后一列的数据粒度的冗余不需要进行切割行列冗余； 

e)计算基于复合数据粒度的节点数据分发数： 

全幅DEM数据的大小GSize，划分为复合数据粒度的个数p的计算方法为： 

扫描集群系统中的空闲节点数c，空闲节点计算机按从小到大编号PC＝{pc₁，pc₂，...pc_c}，计算每个节点的最大数据粒度分发数SP： 

公式(e.2)中，r为 的余数，0＜r＜c，则前r个节点分发 

个复合数据粒度，后c-r个节点分发 

个复合数据粒度； 

f)节点数据的静态分发： 

(1)复合数据粒度的编号ID＝{id₁，id₂，...id_p}，空闲节点计算机编号PC＝{pc₁，pc₂，...pc_c}，主节点根据静态分发策略为各节点分发复合数据粒度编号的计算方法为： 

(2)根据公式(d.1)和(d.2)计算出的所需的冗余行、列数以及过程d)中划分边界冗余数据的方法，给从节点发送冗余行、列。 

本发明的技术特点及有益效果： 

1、本发明提出的最小数据粒度的计算方法，结合内存大小以及硬盘的数据读取速度特点，以内存调度的页的大小4KB作为基数，这样使得数据在读入内存的过程中减少内存碎片，从而提高内存的使用效率。 

2、本发明提出的复合数据粒度的计算方法，使用四叉树的数据存储管理概念，通过最小数据粒度来计算复合数据粒度，如此复合数据粒度的大小不至于过小而导致频繁的数据通信；同时此计算方法兼顾数据的处理效率，控制数据的读取时间，为数据粒度的拆分提供了量化依据。 

3、本发明提出的冗余数据的计算方法，针对网格DEM数据的特点，对数据粒度的边界点有针对性地进行冗余处理，不仅保证了并行数字地形分析的精确度，同时减少了冗余数据量，减少了数据通信，提高了并行数字地形分析的效 率。 

本发明提出的面向并行数字地形分析的数据拆分与分发方法，独立于空闲节点的个数，使用复合数据粒度作为节点数据分发的基本单位，减少了数据的通信量；在性能相同的计算节点间，保证了负载均衡。 

附图说明

图1是本发明面向数字地形分析的数据拆分与分发方法的流程图； 

图2是本发明的最小数据粒度的计算方法流程图； 

图3是本发明的复合数据粒度大小的计算方法的流程图； 

图4为本发明的数据拆分以及冗余行、列切割方法的示意图； 

图5为本发明的数据的分发数计算流程图。 

图6为本发明的数据分发的流程图。 

具体实施方式

以下结合附图对本发明具体说明。需要指出，所描述的实施例仅仅视为说明的目的，而不是对发明的限制。 

本发明的实施例提供了一种面向数字地形分析的数据拆分与分发方法，如图1所示，包括以下步骤： 

步骤101：读入DEM数据，建立数据粒度模型(DG)； 

步骤102：基于内存页调度策略，计算最小数据粒度大小(CS)； 

步骤103：基于四叉树存储策略，计算复合数据粒度大小(MS)； 

步骤104：计算节点数据粒度的冗余行、列数的计算方法以及切割方式； 

步骤105：基于复合数据粒度，计算节点数据的分发数； 

步骤106：根据节点的分发数，主节点进行节点数据的分发。 

以下进一步详细地说明本发明实施例中的各个细节问题。 

本实施例以坡度算法为例；以点集均匀的1000千米*1000千米的格网DEM数据为输入，格网分辨率为5米，格网中高程值使用双精度型(double型)， 

集群系统由8台配置相同的个人计算机组成， 

计算机硬件配置如表1所示。 

表1 

CPU	双路8核Intel x86工作站
		GPU	NVidia Quadro系列显卡，显存1.5GB以上
内存	4GB

1.计算最小数据粒度的大小CS，如图2所示； 

步骤201：根据数据粒度可占内存L的比例δ＝0.05，计算最小数据粒度可包含内存页数的上限值fmax； 

步骤202：根据全幅DEM数据的大小GSize和fmax，确定f的取值为： 

$f=\frac{f\max }{2}=2.5\×{10}^4$

步骤203：计算CS的大小： 

CS＝f×4KB＝100MB 

2.计算复合数据粒度的MS的大小，如图3所示： 

步骤301：根据坡度算法，统计其中各种操作符的个数OpNum＝{op₁，op₂，...，op_m}，利用各操作符与加法操作符执行时间t的转化关系W＝{ω₁，ω₂，...ω_m}，计算串行地形因子的总执行时间T： 

$T=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\×o{p}_i\×t=1200s$

步骤302：利用集群节点上地形因子的计算效率α＝0.9以及集群节点I/O速度V_I/O＝100MB/s： 

步骤303：根据全幅DEM数据的大小GSize以及N，确定λ的取值为 

步骤304：计算复合数据粒度MultiSize： 

MS＝4^λ×CS＝6400MB 

3.根据图4所示将全幅数据进行划分，并根据公式(d.1)和(d.2)数据计算复合数据粒度边界点所需的冗余行Rrow、列数Rcol，并按照数据粒度所在的位置切割相应的冗余行、列，如图2中的编号所示； 

4.计算给每个空闲节点分发的复合数据粒度的分发数： 

步骤501：全局数据的大小为GSize，则划分为复合数据粒度的个数p的计算方法为： 

步骤502：扫描集群系统中的空闲节点数c＝8，空闲节点计算机按从小到大编号PC＝{pc₁，pc₂，...pc_c}，计算每个节点的数据粒度分发数SP均为4个： 

5.复合数据粒度的分发： 

步骤601：主节点根据复合数据粒度的编号ID＝{id₁，id₂，...id_p}，使用静态分发策略给各空闲计算节点发送复合数据粒度； 

步骤602：根据公式(d.1)和(d.2)计算出的所需冗余行、列数以及粒度在全幅数据中所处的位置，主节点给从节点发送冗余行、列。 

Claims (1)

1.一种面向并行数字地形分析的数据拆分与分发方法，其特征在于，所述方法包括以下过程：

(1)读入DEM数据，建立面向并行数字地形分析的数据粒度模型：

G＝(E，A，R)

其中，G代表数据粒度，由三元组E、R、A组成；E表示粒度实体；A代表粒度实体所具有的属性；R代表粒度实体之间的关系；属性A包括的维度为：数据粒度的分辨率、数据粒度的行数和列数、数据粒度的大小、冗余的行数和列数、数据块的起始坐标；粒度实体之间的关系R包括：邻接关系、派生关系包含关系；

(2)计算基于计算机内存页调度策略的最小数据粒度：

步骤201：以内存调度的页的大小4KB作为基数，根据数据粒度所占可用内存L的比例δ以及全幅DEM数据的大小GSize，计算最小数据粒度可包含内存页数的上限值fmax：

步骤202：根据得到的fmax值，计算f的取值：

$f=\frac{f\max }{2}$

步骤203：根据得到的f值，以内存调度的页的大小4KB为基数，计算最小数据粒度的大小MinSize：

MinSize＝f×4KB

其中，1≤f≤fmax，且f为正整数；

(3)计算基于四叉树的复合数据粒度：

步骤301：根据给定的地形因子，统计其中各种操作符的个数OpNum＝{op₁，op₂，...，op_m}，利用各操作符与加法操作符执行时间t的转化关系W＝{ω₁，ω₂，...ω_m}，计算串行地形因子的总执行时间T：

$T=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\×o{p}_i\×t$

步骤302：利用集群节点上地形因子的计算效率α以及集群节点I/O速度V_I/O，计算四叉树的最大深度N：

步骤303：根据全幅DEM数据的大小GSize以及N，确定四叉树的深度λ的取值，其中，1≤λ≤N，且λ为正整数：

$\mathrm{\λ}=\frac{N}{2}$

步骤304：计算复合数据粒度MultiSzie，

MultiSize＝4^λ×MinSize

(4)计算冗余数据的行、列数以及划分边界冗余数据：

a)根据DEM数据的分辨率Resolution以及最大冗余面积m×n：

其中，RedundantRow是冗余数据的行数，RedundantCol是冗余数据的列数；

b)划分边界冗余数据的方法：

(i)对于非最后一行和非最后一列的数据粒度的冗余行列，使用与此数据粒度右相邻和下相邻的数据粒度的行列作为冗余数据；

(ii)对于最后一行和非最后一列的数据粒度的冗余只需进行列切割，使用与所述列右相邻的数据粒度的行列作为冗余数据；

(iii)对于最后一列和非最后一行的数据粒度的冗余只需进行行切割，使用与所述行下相邻的数据粒度的行列作为冗余数据；

(iv)对于最后一行和最后一列的数据粒度的冗余不需要进行切割；

(5)计算基于复合数据粒度的节点数据分发数：

步骤501：全幅DEM数据的大小GSize，则划分为复合数据粒度的个数p的计算方法为：

$p=\frac{\mathrm{GSize}}{\mathrm{MultiSize}}$

步骤502：扫描集群系统中的空闲节点数c，空闲节点计算机按从小到大编号PC＝{pc₁，pc₂，...pc_c}，计算每个节点的最大数据粒度分发数SP：

其中，r为

的余数，0＜r＜c；

(6)节点数据的静态分发：

步骤601：复合数据粒度的编号ID＝{id₁，id₂，...id_p}，空闲节点计算机编号PC＝{pc₁，pc₂，...pc_c}，根据静态分发策略，主节点为各节点分发复合数据粒度：

步骤602：根据上述过程(4)中计算出的所需冗余数据的行、列数以及划分边界冗余数据的方法，给从节点发送冗余行、列。

Images