CN104484404A - 一种改善分布式文件系统中地理栅格数据文件处理方法 - Google Patents

Abstract

一种改善分布式文件系统中地理栅格数据文件处理方法，本发明涉及地理栅格数据文件存储技术领域。本发明是解决现有技术对地理文件进行单纯的分割会使得各个文件部分之间的联系被切断，需要在不同计算机节点间大量通讯的问题，本发明是通过1根据缓冲距离确定最小窗口值window；2划分为行数为rows，列数为cols的最小窗口的小块；3利用核心块的计算方式计算存储节点最大存储的核心块数CoreNum；4根据核心块数CoreNum将栅格数据文件raster的最小窗口的小块分成n组核心块组；5读取n组核心块组对应在栅格数据raster文件上的位置数据等步骤实现的。本发明应用于地理栅格数据文件存储技术领域。

Description

一种改善分布式文件系统中地理栅格数据文件处理方法

技术领域

本发明涉及地理栅格数据文件存储技术领域，特别涉及一种改善分布式文件系统中地理栅格数据文件处理方法。

背景技术

地理栅格数据文件是地理信息系统中存储遥感影像、空间插值数据、空间属性数据的关键文件，其中每一个栅格可以记录地球上一定大小区域的一系列属性。随着高分辨率遥感卫星技术的出现，栅格数据的分辨率越来越高，也使得地理栅格数据文件也越来越大，所以有效的处理庞大的栅格数据文件十分重要。

在应对大型文件方面，当前主要以Google的GFS分布式文件系统和Hadoop的HDFS分布式文件系统为主，这两种文件系统在应对大文件时均将大型文件分割，并有重复将分割下来的部分文件分配到集群的存储节点上，该类文件划分方法在处理普通文件上十分有效。

但是地理文件不仅仅需要读取和写入，还需要执行相关的地理算法。由于地理算法通常要考虑“邻域”、空间相对位置和坐标，所以单纯的分割会使得各个文件部分之间的联系被切断，执行的算法无法连续处理数据，或者需要在不同计算机节点间大量通讯，引起多机处理的效率下降；所以直接将文件分割对于处理大型栅格数据文件不可行。

发明内容

本发明的目的是为了解决现有技术对地理文件进行单纯的分割会使得各个文件部分之间的联系被切断，需要在不同计算机节点间大量通讯的问题而提出的一种改善分布式文件系统中地理栅格数据文件处理方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、确定地理计算使用的缓冲距离，根据缓冲距离确定最小窗口值window；其中，window为一个整数；

步骤二、根据window将栅格数据文件raster，划分为行数为rows，列数为cols的最小窗口的小块；其中，最小窗口的小块为核心块，核心块为对应地理位置上的数据；栅格数据文件raster中的核心块周边的核心块为邻域块；输入栅格数据文件raster包括每一个栅格文件或者raster文件所占的字节数raster.itemsize、栅格文件的高度raster.height以及栅格文件的宽度raster.width；栅格数据文件raster是代表栅格数据文件或者raster文件；

步骤三、运用地理算法计算和处理最小窗口的小块在分布式文件系统中分割栅格数据文件raster中的核心块，利用核心块的计算方式计算存储节点最大存储的核心块数CoreNum；其中，分割到存储节点文件最大的核心块为MaxSize；

步骤四、根据核心块数CoreNum将栅格数据文件raster的最小窗口的小块分成n组核心块组；其中，n组核心块组由核心块与邻域块组成；

步骤五、将n组核心块组存储在分布式文件系统中存储节点上，并读取n组核心块组对应在栅格数据raster文件上的位置数据；即完成了一种改善分布式文件系统中地理栅格数据文件处理方法。

发明效果

针对现有技术存在的缺陷，本发明提供一种分布式文件系统中地理栅格数据文件处理方法，通过基于“最小窗口”块划分和冗余边界存储的方式，每一个存储节点以一组小块为单位分割存储文件，保证了在分布式存储之后某栅格数据和其邻域数据都在同一台计算机上，保证了地理算法可以快速的在该分布式存储上运行。利用本方法实现了按核心块将栅格文件划分成多个部分，每个部分除了核心块之外还包含边界块，既保证了数据的分割又保证了地理算法在计算的时候可以在本节点获得到必要的邻域。

附图说明

图1为具体实施方式一提出的一种改善分布式文件系统中地理栅格数据文件处理方法流程图；

图2为具体实施方式一提出的最小窗口分块的处理方式示意图；

图3为具体实施方式一提出的核心块与邻域块示意图；

图4为具体实施方式一提出的为每个存储节点分配CoreNum个核心块示意图；

图5为具体实施方式一提出的分块读取之后存储示意图；

图6为具体实施方式一提出的分块读取之后存储过程示意图。

具体实施方式

具体实施方式一：本实施方式的一种改善分布式文件系统中地理栅格数据文件处理方法，具体是按照以下步骤制备的：

步骤一、根据栅格数据文件raster的分辨率和处理地理数据的应用需要，确定地理计算需要的使用的缓冲距离，根据缓冲距离确定最小窗口值window；其中，window为一个整数；

步骤二、根据window将输入的整个栅格数据文件raster，划分为行数为rows，列数为cols的最小窗口的小块如图2；其中，最小窗口的小块为核心块，核心块为对应地理位置上的数据；栅格数据文件raster中的核心块周边的核心块为邻域块，邻域块用于为需要进行距离缓冲计算的地理算法提供数据；在一个存储节点上的数据，由核心块与邻域块构成，一组核心块的周围应当被邻域块包围，如图3所示；而邻域块组共同占用了栅格数据文件或者raster文件的一段连续数据空间，是为了应对需要考虑邻域缓冲计算的算法计算栅格数据文件raster位置上的周边相关栅格数据的过程中必须用到的邻域信息，邻域信息为栅格数据文件raster位置上的周边相关栅格数据，最小窗口的rows和cols的值一定比邻域的宽度要大，输入栅格数据文件raster包括每一个栅格文件或者raster文件所占的字节数raster.itemsize、栅格文件的高度raster.height以及栅格文件的宽度raster.width；栅格数据文件raster是代表栅格数据文件或者raster文件；

步骤三、运用地理算法计算和处理最小窗口的小块在分布式文件系统中分割栅格数据文件raster中的核心块，利用能够存储的核心块的计算方式计算存储节点最大存储的核心块数CoreNum如图4；其中，分割到存储节点文件最大的核心块为MaxSize；

步骤四、根据核心块数CoreNum将栅格数据文件raster的最小窗口的小块分成n组核心块组；其中，n组核心块组由核心块与邻域块组成；每组核心块组有可能是CoreNum个，但是如果到了文件最末尾，可能不足CoreNum个；

步骤五、将n组核心块组存储在分布式文件系统中存储节点上如图4；并读取n组核心块组对应在栅格数据raster文件上的位置数据如图5和图6所示。即完成了一种改善分布式文件系统中地理栅格数据文件处理方法如图1。

本实施方式效果：

针对现有技术存在的缺陷，本实施方式提供一种分布式文件系统中地理栅格数据文件处理方法，通过基于“最小窗口”块划分和冗余边界存储的方式，每一个存储节点以一组小块为单位分割存储文件，保证了在分布式存储之后某栅格数据和其邻域数据都在同一台计算机上，保证了地理算法可以快速的在该分布式存储上运行。利用本方法实现了按核心块将栅格文件划分成多个部分，每个部分除了核心块之外还包含边界块，既保证了数据的分割又保证了地理算法在计算的时候可以在本节点获得到必要的邻域。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中根据window输入整个栅格数据文件raster，划分为行数为rows列数为cols的最小窗口的小块处理方式如下：

(1)读取待处理的栅格数据文件raster，获得raster.itemsize,raster.height,raster.width的值；其中，raster.heigh为栅格raster中元素的高度；raster.width为栅格raster中元素的宽度；

(2)按照window将数据栅格文件进行分块，划分个数为：

行数rows为：rows＝Round(raster.heigh/window+0.5)    (1)

列数cols为：cols＝Round(raster.width/window+0.5)    (2)

其中，Round为进行四舍五入。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤二中根据window输入整个栅格数据文件raster，划分为行数为rows列数为cols的最小窗口的小块的行列位置确定过程为：

(1)按照行列将raster进行分块编号，编号之后对应一个数组blocks[rows*cols]；其中，数组blocks[rows*cols]的第i个元素对应的分块行列值为：

行位置HangPos为：HangPos＝i/cols；    (3)

列位置LiePos为：LiePos＝i％cols；    (4)

(2)对于一个处于HangPos和LiePos的分块，其在一个栅格文件中的位置如下：

栅格行起始位置RasterHangStart为：RasterHangStart＝LiePos*window    (5)

栅格列起始位置RasterLeiStart为：RasterLieStart＝HangPos*window    (6)。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤三中运用地理算法计算和处理最小窗口的小块在分布式文件系统中分割栅格数据文件raster中的核心块，利用能够存储的核心块的计算方式计算存储节点最大存储的核心块数CoreNum的计算方式如下：

(1)、计算存储节点最大存储的块数num＝MaxSize/(window*window*raster.itemsize)；

(2)、以存储节点最大存储的块数为正方形方式，计算正方形的边长num＝(int)sqrt(num)；(int)为取整操作，如(int)2.66取整之后结果为2；

(3)、最大能够存储的块数num减去1个块的领域边界得到最大核心块数CoreNum，即：CoreNum＝(num-1)*(num-1)。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤五中将n组核心块组存储在分布式文件系统中存储节点上如图4；并读取n组核心块组对应在栅格数据raster文件上的位置数据具体操作过程为：

(1)、栅格数据文件raster计数器设为0；

(2)、如果栅格数据文件raster计数器的值小于步骤二中的列数为行数rows×列数cols，那么循环步骤(3)～(8)；

(3)、指定一个空的块列表blocklist记录待存储数据；其中，待存储数据为核心块在块列表blocklist中的所有块对应位置上的数据；

(4)、将块数计数器设置为0；其中，块数计数器计算每组核心块组所含的核心块数；

(5)、如果块数计数器小于CoreNum那么循环做如下工作循环步骤(6)～(9)；

(6)、块数计数器自增1；

(7)、将待存储数据加入到blocklist列表中；

(8)、栅格数据文件raster计数器自增1；

(9)、如果栅格数据文件raster计数器大于等于行数×列数，那么退出本层循环；

(10)、找到blocklist中核心块的邻域块组加入blocklist中；

(11)、通过公式(3)和(4)计算blocklist中所有块的HangPos和LiePos；

(12)、根据公式(5)和(6)计算所有核心块(从核心块的编号转变为块在栅格raster数据上的绝对位置)的位置，合并核心块与邻域块读取合并后核心块与邻域块对应在栅格数据raster文件上的位置数据；

其程序如下：

Begin

1.int counter＝0；指定计数器

2.while(counter<rows*cols){

3.blocklist＝null；当前分块对应块数

4.blocknum＝0；

5.while(blocknum<CoreNum){

6.blocknum++；

7.blocklist.Add(counter)；将对应块加入到列表中

8.counter++；

9.if(counter>＝rows*cols)break；

10.}

11.找到blocklist中所有块的8方向邻域块加入blocklist中

12.通过公式(3)和(4)计算blocklist中所有块的HangPos和LiePos；

13.根据公式(5)和(6)计算所有所有块的位置，合并读取数据

14.分配集群中的一个存储节点将读取到的数据存储到对应节点之中

End。其它步骤及参数与具体实施方式一至四之一相同。

Claims (5)

1.一种改善分布式文件系统中地理栅格数据文件处理方法，其特征在于：一种改善分布式文件系统中地理栅格数据文件处理方法具体是按照以下步骤进行的：

步骤一、确定地理计算使用的缓冲距离，根据缓冲距离确定最小窗口值window；其中，window为一个整数，

步骤二、根据window将栅格数据文件raster，划分为行数为rows，列数为cols的最小窗口的小块；其中，最小窗口的小块为核心块，核心块为对应地理位置上的数据；栅格数据文件raster中的核心块周边的核心块为邻域块；输入栅格数据文件raster包括每一个栅格文件或者raster文件所占的字节数raster.itemsize、栅格文件的高度raster.height以及栅格文件的宽度raster.width；栅格数据文件raster是代表栅格数据文件或者raster文件；

步骤三、运用地理算法计算和处理最小窗口的小块在分布式文件系统中分割栅格数据文件raster中的核心块，利用核心块的计算方式计算存储节点最大存储的核心块数CoreNum；其中，分割到存储节点文件最大的核心块为MaxSize；

步骤四、根据核心块数CoreNum将栅格数据文件raster的最小窗口的小块分成n组核心块组；其中，n组核心块组由核心块与邻域块组成；

步骤五、将n组核心块组存储在分布式文件系统中存储节点上，并读取n组核心块组对应在栅格数据raster文件上的位置数据；即完成了一种改善分布式文件系统中地理栅格数据文件处理方法。

2.根据权利要求1所述一种改善分布式文件系统中地理栅格数据文件处理方法，其特征在于：步骤二中根据window输入整个栅格数据文件raster，划分为行数为rows列数为cols的最小窗口的小块处理方式如下：

(1)读取待处理的栅格数据文件raster，获得raster.itemsize,raster.height,raster.width的值；其中，raster.heigh为栅格raster中元素的高度；raster.width为栅格raster中元素的宽度；

(2)按照window将数据栅格文件进行分块，划分个数为：

行数rows为：rows＝Round(raster.heigh/window+0.5)           (1)

列数cols为：cols＝Round(raster.width/window+0.5)            (2)

其中，Round为进行四舍五入。

3.根据权利要求2所述一种改善分布式文件系统中地理栅格数据文件处理方法，其特征在于：步骤二中根据window输入整个栅格数据文件raster，划分为行数为rows列数为cols的最小窗口的小块的行列位置确定过程为：

(1)按照行列将raster进行分块编号，编号之后对应一个数组；其中，数组的第i个元素对应的分块行列值为：

行位置HangPos为：HangPos＝i/cols；                            (3)

列位置LiePos为：LiePos＝i％cols；                            (4)

(2)对于一个处于HangPos和LiePos的分块，其在一个栅格文件中的位置如下：

栅格行起始位置RasterHangStart为：RasterHangStart＝LiePos*window      (5)

栅格列起始位置RasterLeiStart为：RasterLieStart＝HangPos*window      (6)。

4.根据权利要求1所述一种改善分布式文件系统中地理栅格数据文件处理方法，其特征在于：步骤三中运用地理算法计算和处理最小窗口的小块在分布式文件系统中分割栅格数据文件raster中的核心块，利用核心块的计算方式计算存储节点最大存储的核心块数CoreNum的计算方式如下：

(1)、计算存储节点最大存储的块数num＝MaxSize/(window*window*raster.itemsize)；

(2)、以存储节点最大存储的块数为正方形方式，计算正方形的边长num＝(int)sqrt(num)；

(3)、最大能够存储的块数num减去1个块的领域边界得到最大核心块数CoreNum，即：CoreNum＝(num-1)*(num-1)。

5.根据权利要求1所述一种改善分布式文件系统中地理栅格数据文件处理方法，其特征在于：步骤五中将n组核心块组存储在分布式文件系统中存储节点上；并读取n组核心块组对应在栅格数据raster文件上的位置数据具体操作过程为：

(1)、栅格数据文件raster计数器设为0；

(2)、如果栅格数据文件raster计数器的值小于步骤二中的列数为行数rows×列数cols，那么循环步骤(3)～(8)；

(3)、指定一个空的块列表blocklist记录待存储数据；其中，待存储数据为核心块在块列表blocklist中的所有块对应位置上的数据；

(4)、将块数计数器设置为0；其中，块数计数器计算每组核心块组所含的核心块数；

(5)、如果块数计数器小于CoreNum那么循环做如下工作循环步骤(6)～(9)；

(6)、块数计数器自增1；

(7)、将待存储数据加入到blocklist列表中；

(8)、栅格数据文件raster计数器自增1；

(9)、如果栅格数据文件raster计数器大于等于行数×列数，那么退出本层循环；

(10)、找到blocklist中核心块的邻域块组加入blocklist中；

(11)、通过公式(3)和(4)计算blocklist中所有块的HangPos和LiePos；

(12)、根据公式(5)和(6)计算所有核心块的位置，合并核心块与邻域块读取合并后核心块与邻域块对应在栅格数据raster文件上的位置数据。