CN104407840B

CN104407840B - 网格分解方法及系统

Info

Publication number: CN104407840B
Application number: CN201410658572.9A
Authority: CN
Inventors: 李桦; 刘枫; 田正雨; 潘沙
Original assignee: Individual
Current assignee: National University of Defense Technology
Priority date: 2014-11-18
Filing date: 2014-11-18
Publication date: 2017-09-01
Anticipated expiration: 2034-11-18
Also published as: CN104407840A

Abstract

本发明公开了一种网格分解方法及系统。其中，网格分解方法包括如下步骤：将网格读入内存，获取所述网格在内存中的初始映射；获取所述初始映射中各个计算节点的计算能力；根据所述各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；基于各个节点的最优匹配计算量，提取网格特征；基于所述网格特征，确定各个所述计算节点的分区映射子图，完成网格自动分解。本发明提高了网格分解的自动化程度，实现负载平衡，提高并行计算效率。

Description

网格分解方法及系统

技术领域

本发明涉及计算机并行技术，尤其涉及一种大规模数据的网格分解方法及系统。

背景技术

网格计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给网格的计算节点进行处理，最后把这些计算结果综合起来得到最终结果。

在网格计算中，网格分解是关键技术。目前的网格分解主要依靠人工分割。显然，这种方式的自动化较弱；并且，负载平衡较差且耗时较长。这些缺陷，严重影响计算机并行计算的效率。

发明内容

有鉴于此，本发明提出一种网格分解方法及系统，旨在提高网格分解的自动化程度，实现负载平衡，提高并行计算效率。

第一方面，本发明公开了一种网格分解方法，包括如下步骤：初始映射获取步骤、节点计算能力获取步骤、最优匹配计算量确定步骤、网格特征提取步骤和分区映射子图确定步骤。其中，初始映射获取步骤为，将网格读入内存，获取所述网格在内存中的初始映射；节点计算能力获取步骤为，获取所述初始映射中各个计算节点的计算能力；最优匹配计算量确定步骤为，根据所述各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取步骤为，基于各个节点的最优匹配计算量，提取网格特征；分区映射子图确定步骤为，基于所述网格特征，确定各个所述计算节点的分区映射子图，完成网格自动分解。

进一步地，上述的网格分解方法中，所述最优匹配计算量确定步骤进一步为，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

进一步地，上述的网格分解方法中，所述分区映射子图确定步骤进一步包括：粗化步骤和分区步骤。其中，粗化步骤为，采用粗化模型，对所述网格特征进行粗化，直至所述网格特征的最底层，获取粗化图；分区步骤为，对所述粗化图加以分区，获取各个所述计算节点的所述分区映射子图。

进一步地，上述的网格分解方法中，所述分区步骤后还设置有细化步骤，采用精化算法，对所述分区映射子图进行细化，直至所述分区映射子图的最顶层，使各个所述计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

进一步地，上述的网格分解方法中，所述分区步骤中，采用并行飘带算法对所述粗化图加以分区；和/或，所述细化步骤中，采用局部优化算法，对所述分区映射子图进行细化。

与现有技术相比，本发明提供的网格分解方法将网格映射到内存中，确定计算节点的计算能力，并站在系统的角度使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图，即，将网格分裂为小规模映射子图，以实现结合节点计算能力提高并行计算效率。与现有技术相比，本发明具有任意类型网格的自动分解能力，且能够实现负载平衡，大大提高并行计算效率，耗时较短。

第二方面，本发明还提供了一种网格分解系统，包括：初始映射获取模块、节点计算能力获取模块、最优匹配计算量确定模块、网格特征提取模块和分区映射子图确定模块。其中，初始映射获取模块用于将网格读入内存，获取所述网格在内存中的初始映射；节点计算能力获取模块用于获取所述初始映射中各个计算节点的计算能力；最优匹配计算量确定模块用于根据所述各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取模块用于基于各个节点的最优匹配计算量，提取网格特征；分区映射子图确定模块用于基于所述网格特征，确定各个所述计算节点的分区映射子图，完成网格自动分解。

进一步地，上述网格分解系统中，所述最优匹配计算量确定模块进一步用于，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

进一步地，上述网格分解系统中，所述分区映射子图确定模块进一步包括：粗化单元和分区单元。其中，粗化单元用于采用粗化模型，对所述网格特征进行粗化，直至所述网格特征的最底层，获取粗化图；分区单元用于对所述粗化图加以分区，获取各个所述计算节点的所述分区映射子图。

进一步地，上述网格分解系统中，所述分区单元后还设置有：细化单元，用于采用精化算法，对所述分区映射子图进行细化，直至所述分区映射子图的最顶层，使各个所述计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

进一步地，上述网格分解系统中，所述分区单元中，采用并行飘带算法对所述粗化图加以分区；和/或，所述细化单元中，采用局部优化算法，对所述分区映射子图进行细化。

与现有技术相比，本发明提供的网格分解系统将网格映射到内存中，确定计算节点的计算能力，并站在系统的角度使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图，即，将网格分裂为小规模映射子图，以实现结合节点计算能力提高并行计算效率。与现有技术相比，本发明具有任意类型网格的自动分解能力，且能够实现负载平衡，大大提高并行计算效率，耗时较短。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明网格分解方法第一实施例的步骤流程图；

图2为本发明网格分解方法第二实施例的步骤流程图；

图3为本发明网格分解方法第三实施例中，分区映射子图确定步骤的另一种实现方案；

图4为本发明网格分解方法的优选实施例的步骤流程图；

图5为本发明网格分解方法的优选实施例中，并行飘带算法所涉及的最远节点示意图；

图6为本发明网格分解方法的优选实施例中，并行飘带算法所涉及的切割面运动示意图；

图7为本发明网格分解系统第一实施例的结构框图；

图8为本发明网格分解系统第二实施例的结构框图；

图9为本发明网格分解系统第三实施例中，分区映射子图确定模块的另一种实现方案；

图10为本发明网格分解方法的优选实施例的结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

参照图1，图1为本发明网格分解方法第一实施例的步骤流程图。该实施例包括如下步骤：

初始映射获取步骤S110，将网格读入内存，获取网格在内存中的初始映射；节点计算能力获取步骤S120，获取初始映射中各个计算节点的计算能力；最优匹配计算量确定步骤S130，根据各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取步骤S140，基于各个节点的最优匹配计算量，提取网格特征，例如，六面体、四面体、三棱柱和金字塔特征等等；分区映射子图确定步骤S150，基于网格特征，确定各个计算节点的分区映射子图，完成网格自动分解。

其中，每一个节点都由1个或者数个CPU(中央处理器)和1个或者数个GPU(图形处理器)组成。节点间的联系是由CPU互联，这是目前世界上主流巨型计算机的基本体系结构的，如，天河一号，天河二号等。

优选地，所述最优匹配计算量确定步骤S130进一步为，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

在网格中，不同计算节点的计算能力有可能是不同的，为了提高网格分解通用性和可靠性，保证不同计算能力的节点都能够充分发挥计算能力，“因材”使用，可以构造优化分布函数实现合理分配。

在具体实施时，可选用的优化分布函数有很多，例如，李朴雅诺夫势能函数等。同时，确定优化分布函数选取的依据是最优化理论中的相关理论。由于最优分布函数的种类和选取依据对于本领域技术人员而言是习知的，因此，本发明对此不做更多说明。

参照图2，图2为本发明网格分解方法第二实施例的步骤流程图。该方法包括如下步骤：

初始映射获取步骤S210，将网格读入内存，获取网格在内存中的初始映射；节点计算能力获取步骤S220，获取初始映射中各个计算节点的计算能力；最优匹配计算量确定步骤S230，根据各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取步骤S240，基于各个节点的最优匹配计算量，提取网格特征，例如，六面体、四面体、三棱柱和金字塔特征等等；分区映射子图确定步骤S250，基于网格特征，确定各个计算节点的分区映射子图，完成网格自动分解。

其中，分区映射子图确定步骤S250进一步通过如下两个步骤实现，即粗化步骤S2501和分区步骤S2502。其中，粗化步骤S2501为，采用粗化模型，对网格特征进行粗化，直至网格特征的最底层，获取粗化图；分区步骤S2502为，对粗化图加以分区，获取各个计算节点的分区映射子图。其中，粗化模型为现有技术中通常采用的模型。在具体实施时，可以根据经验选取。

参照图3。进一步优选地，分区映射子图确定步骤进一步通过如下三个步骤实现，包括：粗化步骤S3501、分区步骤S3502和细化步骤S3503。

粗化步骤S3501，采用粗化模型，对网格特征进行粗化，直至网格特征的最底层，获取粗化图；分区步骤S3502，对粗化图加以分区，获取各个计算节点的分区映射子图；细化步骤S3503，采用精化算法，对分区映射子图进行细化，直至分区映射子图的最顶层，使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

增加细化步骤S3503好处是，可以更加细致准确的实现对网格的分解。其中，精化算法可以选用对于本领域技术人员而言习知的局部优化算法。

与现有技术相比，上述各个实施例提供的网格分解方法将网格映射到内存中，确定计算节点的计算能力，并站在系统的角度使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图，即，将网格分裂为小规模映射子图，以实现结合节点计算能力提高并行计算效率。与现有技术相比，本发明具有任意类型网格的自动分解能力，且能够实现负载平衡，大大提高并行计算效率，耗时较短。

下面结合图4，对本发明网格分解方法的优选实施例作进一步地说明。

首先将网格读入内存中，以获得内存中的初始映射。在大规模并行计算机上，特别是巨型机上，一般计算节点的设计和分布是差别化的。根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。然后，提取网格特征，主要是六面体、四面体、三棱柱和金字塔特征。通过粗化模型，对网格特征进行粗化，直至最底层以得到粗化图。进而，对粗化图施加多层次并行飘带算法，加以分区得到各个节点上的分区映射子图。之后，将分区映射子图进行细化，期间运用精化算法，直至最顶层，从而获得各个计算节点上的细化分区映射子图，每一细化分区映射子图与对应的计算节点的最优匹配计算量相匹配。

其中，如上所述，粗化模型为现有技术中通常采用的模型。在具体实施时，可以根据经验选取。优化分布函数有很多，例如，李朴雅诺夫势能函数等。同时，确定优化分布函数选取的依据是最优化理论中的相关理论。由于最优分布函数的种类和选取依据对于本领域技术人员而言是习知的，因此，本发明对此不做更多说明。

下面，对粗化图施加多层次并行飘带算法，加以分区得到各个节点上的分区映射子图这一步骤进行详细的说明。

第一、对本实施例采用的并行飘带算法进行说明。

并行计算中的网格分区问题是一个最优化问题，其目标是在负载平衡的基础上通信量尽可能的小。该最优化问题是一个NP完全问题。不妨设C_i为i区与

其他区的边切度，N_a,N_b分别为a区和b区的网格数，m为分区数，有

St.

在约束条件下，全局最优解不一定存在，比如将偶数网格总数分解为奇数分区数目将不存在最优解。

根据动态编程理论，如果可以把求解全局最优解的过程分解为多个步骤，在每个步骤中寻找该步的局部最优解，那么最终所获得的最优解不一定是全局最优解，但该解是全局最优解的一个良好逼近。

本实施例从寻找局部最优解出发，将全局最优解分解为各个局部最优解，逐步搜索最优状态，建立了飘带分区算法。其基本思路为：

1、搜索所有网格节点中距离最远的一对节点，将两个节点的连线定为分区基准线。可以证明，距离最远的一对节点必然由边界点构成。

证明：不失一般性，如图5所示，假设距离最远的一对节点AB中,B点不是边界点，则与该点连接的所有面均不是边界面，在网格体系中必能找到一个闭环将B点包围，因此也就必能在闭环中找到一个节点C,使得且那么|AC|>|AB|,与假设矛盾，证毕。

2、沿基准线的法线方向将网格区域二分，得到一个粗略的二分区网格。假设总网格数为E，预定分区个数为N，则平均分区网格数为int(E/N)，因此以分区基准线的1/N作为切割面的控制点，沿基准线的法线方向作切割面F二分网格区域。

3、考虑切割面F可沿基准线平动，也可绕控制点转动，如图6所示。当切割面沿基准线平动时，可以修正初始分割可能引起的负载不平衡的问题；当切割面沿控制点转动时，可以改善分区之间的面切度较大的问题。

4、在原网格区域中移除已划分好的网格分区，得到新的网格区域。

5、重复上述1至4，直到所有网格划分完毕。

第二、对划分后获取的网格加以分区，即可得到各个节点上的分区映射子图。

如上所述，在本实施例中，采用了KL精化算法，也就是说，精化模型为KL精化算法，直至最顶层，从而获得各个计算节点上的细化分区映射子图，每一细化分区映射子图与对应的计算节点的最优匹配计算量相匹配。当然，也可以采用其他精化算法，本发明对此不做限定。

另一方面，本发明还提供了一种网格分解系统的实施例。

参照图7，图7为本发明网格分解系统第一实施例的结构框图。该实施例包括：初始映射获取模块70、节点计算能力获取模块72、最优匹配计算量确定模块74、网格特征提取模块76和分区映射子图确定模块78。

初始映射获取模块70，用于将网格读入内存，获取网格在内存中的初始映射；节点计算能力获取模块72，用于获取初始映射中各个计算节点的计算能力；最优匹配计算量确定模块74，用于根据各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取模块76，用于基于各个节点的最优匹配计算量，提取网格特征，例如，六面体、四面体、三棱柱和金字塔特征等等；分区映射子图确定模块78，用于基于网格特征，确定各个计算节点的分区映射子图，完成网格自动分解。

其中，网格由多个节点组成。每一个节点都由1个或者数个CPU(中央处理器)和1个或者数个GPU(图形处理器)组成。节点间的联系是由CPU互联，这是目前世界上主流巨型计算机的基本体系结构的，如，天河一号，天河二号等。

优选地，所述最优匹配计算量确定模块74进一步用于，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

参照图8，图8为本发明网格分解系统第二实施例的结构框图。该网格分解系统包括：初始映射获取模块80、节点计算能力获取模块82、最优匹配计算量确定模块84、网格特征提取模块86和分区映射子图确定模块88。

其中，初始映射获取模块80用于将网格读入内存，获取网格在内存中的初始映射；节点计算能力获取模块82用于获取初始映射中各个计算节点的计算能力；最优匹配计算量确定模块84用于根据各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；网格特征提取模块86用于基于各个节点的最优匹配计算量，提取网格特征，例如，六面体、四面体、三棱柱和金字塔特征等等；分区映射子图确定模块88用于基于网格特征，确定各个计算节点的分区映射子图，完成网格自动分解。

其中，分区映射子图确定模块88进一步通过如下两个单元联合实现，即粗化单元881和分区单元882。其中，粗化单元881用于采用粗化模型，对网格特征进行粗化，直至网格特征的最底层，获取粗化图；分区单元882用于对粗化图加以分区，获取各个计算节点的分区映射子图。其中，粗化模型为现有技术中通常采用的模型。在具体实施时，可以根据经验选取。

参照图9。进一步优选地，分区映射子图确定模块进一步通过如下三个单元联合实现，包括：粗化单元991、分区单元992和细化单元993。

粗化单元991用于采用粗化模型，对网格特征进行粗化，直至网格特征的最底层，获取粗化图；分区单元992用于对粗化图加以分区，获取各个计算节点的分区映射子图；细化单元993用于采用精化算法，对分区映射子图进行细化，直至分区映射子图的最顶层，使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

增加细化单元993好处是，可以更加细致准确的实现对网格的分解。其中，精化算法可以选用对于本领域技术人员而言习知的局部优化算法。

与现有技术相比，上述各个实施例提供的网格分解系统将网格映射到内存中，确定计算节点的计算能力，并站在系统的角度使各个计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图，即，将网格分裂为小规模映射子图，以实现结合节点计算能力提高并行计算效率。与现有技术相比，本发明具有任意类型网格的自动分解能力，且能够实现负载平衡，大大提高并行计算效率，耗时较短。

下面结合图10，对本发明网格分解系统的优选实施例作进一步地说明。

该网格分解系统优选实施例包括：初始映射获取模块、节点计算能力获取及最优匹配计算量确定模块、网络特征提取模块、分区映射子图确定模块。其中，分区映射子图确定模块包括基于粗化模型的粗化单元、基于并行飘带迭代算法的分区单元，以及，基于精化模型的细化单元。

上述网格分解系统的工作原理是：

首先，由初始映射获取模块将网格读入内存中，以获得内存中的初始映射。在大规模并行计算机上，特别是巨型机上，一般计算节点的设计和分布是差别化的。

然后，节点计算能力获取及最优匹配计算量确定模块确定计算节点计算能力，并根据计算能力构造优化分布函数，获得每个节点的最优匹配计算量。

接着，由网络特征提取模块提取网格特征，主要是六面体、四面体、三棱柱和金字塔特征。

接着，由基于粗化模型的粗化单元通过粗化模型，对网格特征进行粗化，直至最底层以得到粗化图。

进而，由基于并行飘带迭代算法的分区单元对粗化图施加多层次并行飘带算法，加以分区得到各个节点上的分区映射子图。

最后，由基于精化模型的细化单元将分区映射子图进行细化，期间运用精化算法，直至最顶层，从而获得各个计算节点上的细化分区映射子图，每一细化分区映射子图与对应的计算节点的最优匹配计算量相匹配。

其中，并行飘带算法在上述网格分解方法优选实施例中已经坐了详细的说明。本实施例再次不再赘述。

需要说明的是，网格分类系统与网格分解方法原理相似，相关内容参照网格分解方法的说明即可。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种网格分解方法，其特征在于，包括如下步骤：

初始映射获取步骤，将网格读入内存，获取所述网格在内存中的初始映射；

节点计算能力获取步骤，获取所述初始映射中各个计算节点的计算能力；

最优匹配计算量确定步骤，根据所述各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；

网格特征提取步骤，基于各个节点的最优匹配计算量，提取网格特征；

分区映射子图确定步骤，基于所述网格特征，确定各个所述计算节点的分区映射子图，完成网格自动分解。

2.根据权利要求1所述的网格分解方法，其特征在于，

所述最优匹配计算量确定步骤进一步为，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

3.根据权利要求2所述的网格分解方法，其特征在于，所述分区映射子图确定步骤进一步包括：

粗化步骤，采用粗化模型，对所述网格特征进行粗化，直至所述网格特征的最底层，获取粗化图；

分区步骤，对所述粗化图加以分区，获取各个所述计算节点的所述分区映射子图。

4.根据权利要求1至3中任一项所述的网格分解方法，其特征在于，所述分区步骤后还设置有：

细化步骤，采用精化算法，对所述分区映射子图进行细化，直至所述分区映射子图的最顶层，使各个所述计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

5.根据权利要求4所述的网格分解方法，其特征在于，

所述分区步骤中，采用并行飘带算法对所述粗化图加以分区；和/或

所述细化步骤中，采用局部优化算法，对所述分区映射子图进行细化。

6.一种网格分解系统，其特征在于，包括：

初始映射获取模块，用于将网格读入内存，获取所述网格在内存中的初始映射；

节点计算能力获取模块，用于获取所述初始映射中各个计算节点的计算能力；

最优匹配计算量确定模块，用于根据所述各个计算节点的计算能力，确定每个计算节点的最优匹配计算量；

网格特征提取模块，用于基于各个节点的最优匹配计算量，提取网格特征；

分区映射子图确定模块，用于基于所述网格特征，确定各个所述计算节点的分区映射子图，完成网格自动分解。

7.根据权利要求6所述的网格分解系统，其特征在于，

所述最优匹配计算量确定模块进一步用于，根据计算节点计算能力的不同，构造优化分布函数，获得每个节点的最优匹配计算量。

8.根据权利要求7所述的网格分解系统，其特征在于，所述分区映射子图确定模块进一步包括：

粗化单元，用于采用粗化模型，对所述网格特征进行粗化，直至所述网格特征的最底层，获取粗化图；

分区单元，用于对所述粗化图加以分区，获取各个所述计算节点的所述分区映射子图。

9.根据权利要求6至8中任一项所述的网格分解系统，其特征在于，所述分区单元后还设置有：

细化单元，用于采用精化算法，对所述分区映射子图进行细化，直至所述分区映射子图的最顶层，使各个所述计算节点获得满足该计算节点最优匹配计算量的细化分区映射子图。

10.根据权利要求9所述的网格分解系统，其特征在于，

所述分区单元中，采用并行飘带算法对所述粗化图加以分区；和/或

所述细化单元中，采用局部优化算法，对所述分区映射子图进行细化。