CN105955710B - 基于树形通讯结构的并行仿真数据处理方法 - Google Patents

Abstract

本发明公开了一种基于树形通讯结构的并行仿真数据处理方法，包括：对选定的仿真模型设定并行算法；读取仿真模型预存在数据库中的数据参数；根据数据参数，确定耦合仿真系统中的子系统及系统个数N；根据各计算节点的负载均衡，将N个子系统分配给各计算节点；确定各计算节点之间的树形通讯链路连接结构；确定树形通讯链路连接结构中各计算节点之间的信息流通方式和信息交换结构；各计算节点执行计算并输出最终计算结果。采用本发明实施例能提高在高性能计算机中进行高耦合计算对象的并行仿真计算速度，减少通讯开销，实现对复杂的大数据仿真系统进行并行仿真计算的任务。

Description

基于树形通讯结构的并行仿真数据处理方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于树形通讯结构的并行仿真数据处理方法。

背景技术

在现代超级计算机的计算过程中，当计算对象是一个高耦合的复杂系统时，常需要多计算节点进行并行计算来获得最终计算结果。但是，超级计算机的并行计算在计算效率上达到了瓶颈，导致超级计算机的实用性较低。这个瓶颈是在每一个执行计算任务的计算节点的计算量负载均衡情况下，增加计算节点可以缩短计算时间，但是随着计算节点的增加也会导致不同计算节点之间的通讯时间延长。一般情况下，随着计算节点的增加而耗费的计算时间是线性减少，而随着计算节点的增加而导致计算节点之间的通讯时间则是指数级增长。因此，在计算节点的数量增加到一定量之后，必然会出现整个计算机并行计算的时间降低的情况。这不仅是计算机并行化计算过程中遇到的影响计算效率提高的关键问题之一，也是现代计算机并行化计算领域难以编写适用于高耦合计算系统的通用商业软件的难点之一。

发明内容

本发明实施例提出一种基于树形通讯结构的并行仿真数据处理方法，提高在高性能计算机中进行高耦合计算对象的并行仿真计算速度，减少通讯开销，实现对复杂的大数据仿真系统进行并行仿真计算的任务。

本发明实施例提供一种基于树形通讯结构的并行仿真数据处理方法，包括：

对选定的仿真模型设定并行算法；

读取所述仿真模型预存在数据库中的数据参数；

根据所述数据参数，确定耦合仿真系统中的子系统及子系统的个数N，具体为：

根据分析对象的基本信息、拓扑连接关系及运行过程的控制参数，确定耦合仿真系统中的子系统及子系统的个数N；

根据各计算节点的负载均衡，将N个子系统分配给各所述计算节点；

确定各计算节点之间的树形通讯链路连接结构；其中，所述树形通讯链路连接结构由M个所述计算节点之间的通讯链路网络组成树形连接结构；所述通讯链路网络中各层的计算节点的数量依次递减，且第i层中的任一计算节点只与第i+1层中的一个计算节点发生通讯，处于同一层的各计算节点之间不发生通讯；i≥2，M≥3；

确定所述树形通讯链路连接结构中各计算节点之间的信息流通方式和信息交换结构；其中，所述信息交换结构为各层级的计算节点仅交换经过信息种类过滤后的计算结果；

各计算节点执行计算并输出最终计算结果。

进一步的，所述通讯链路网络是设置满足以下条件：

(1)设k_ij是所述通讯链路网络中第i层第j个计算节点，i＝1,2,…,r，j＝1,2,…,s；

(2)设K_iα＝{x︱x代表以第i层的若干个k_ij为元素构成的第α个集合中的一个元素}；

(3)设K_i是第i层全部的计算节点k_ij构成的非空集；

若K_i的一些非空子集为K_iα，则满足以下条件：

①K_iα，α两两互不相交，即当α≠β时，总有

②K_iα，α的并为K_i，即∪_αK_iα＝K_i；

其中，K_iα表示以第i层的若干个计算节点k_ij为元素构成的第α个集合；K_i表示由子集合K_iα构成的无交并子集族，α＝1,2,…,n_i，n_i表示第i层的子集合K_iα的个数。

进一步的，所述根据各计算节点的负载均衡，将N个子系统分配给各所述计算节点，具体为：

根据计算节点的个数、每个计算节点的CPU核的个数、每个计算节点的内存容量以及仿真任务个数，以负载均衡为前提，将N个子系统分配给各所述计算节点。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的基于树形通讯结构的并行仿真数据处理方法，对选定的仿真模型设定并行算法，读取相应的数据参数并确定耦合仿真心恬中的子系统及系统个数。然后根据各计算节点的负载均衡，将子系统分配给各计算节点，再确定各计算节点之间的树形通讯链路连接结构。本发明利用树形拓扑结构中每一层中的不同计算节点之间的通讯连接点不断减少，以及相应的通讯链路在由下而上递进时必然大幅度减少的特征，确定各计算节点之间的通讯链路，确保每层中任一计算节点只与上一层的一个计算节点发生通信，而处于同一层的各个计算节点之间不发生通信。再者，确定各计算节点的信息流通方式和信息交换结构，这里的信息交换结构为各层级的计算节点发送通讯时，仅交换经过信息种类过滤后的计算结果。最后各计算节点执行计算并输出最终计算结果。相比于现有技术会遇到并行计算效率的瓶颈，本发明构造了一个全局性的树形通讯链路连接结构，保证各层级上传的计算结果唯一性，避免由于计算节点的增加而造成过多的通讯开销，提高并行计算的计算效率。另外，在每个计算节点进行信息交换时，各计算节点仅交换独立计算的结果，通过构造分层分组过滤交换信息的程序，减少全局的并行计算过程中需要通讯的信息种类。最后，对每一个不同层的计算节点之间通讯的信息逐层规定传递方式，限制通讯信息不同层上的某些传递方式，减少通讯过程中每一种通讯信息的信号量。

附图说明

图1是本发明提供的基于树形通讯结构的并行仿真数据处理方法的一种实施例的流程示意图；

图2是本发明提供的树形通讯结构的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的基于树形通讯结构的并行仿真数据处理方法的一种实施例的流程示意图，该方法包括步骤101至107，该步骤具体如下：

步骤101：对选定的仿真模型设定并行算法。

步骤102：读取仿真模型预存在数据库中的数据参数。

步骤103：根据数据参数，确定耦合仿真系统中的子系统及子系统的个数N。

在本实施例中，步骤103具体为：根据分析对象的基本信息、拓扑连接关系及运行过程的控制参数，确定耦合仿真系统中的子系统及子系统的个数N。

步骤104：根据各计算节点的负载均衡，将N个子系统分配给各计算节点。

在本实施例中，步骤104具体为：根据计算节点的个数、每个计算节点的CPU核的个数、每个计算节点的内存容量以及仿真任务个数，以负载均衡为前提，将N个子系统分配给各所述计算节点。

步骤105：确定各计算节点之间的树形通讯链路连接结构；其中，树形通讯链路连接结构由M个计算节点之间的通讯链路网络组成树形连接结构；通讯链路网络中各层的计算节点的数量依次递减，且第i层中的任一计算节点只与第i+1层中的一个计算节点发生通讯，处于同一层的各计算节点之间不发生通讯；i≥2，M≥3。

步骤106：确定树形通讯链路连接结构中各计算节点之间的信息流通方式和信息交换结构；其中，信息交换结构为各层级的计算节点仅交换经过信息种类过滤后的计算结果。

步骤107：各计算节点执行计算并输出最终计算结果。

在本实施例中，通讯链路网络是设置满足以下条件：

(1)设k_ij是所述通讯链路网络中第i层第j个计算节点，i＝1,2,…,r，j＝1,2,…,s；

(2)设K_iα＝{x︱x代表以第i层的若干个k_ij为元素构成的第α个集合中的一个元素}；

(3)设K_i是第i层全部的计算节点k_ij构成的非空集；

若K_i的一些非空子集K_iα，则满足以下条件：

①K_iα，α两两互不相交，即当α≠β时，总有

②K_iα，α的并为K_i，即∪_αK_iα＝K_i；

其中，K_iα表示以第i层的若干个计算节点k_ij为元素构成的第α个集合；K_i表示由子集合K_iα构成的无交并子集族，α＝1,2,…,n_i，n_i表示第i层的子集合K_iα的个数。

在本实施例中，当我们将树形结构的叶层称为最底的第一层的时候，第一层的全部计算节点可划分为若干子集合K_ij，第一层的任意一个子集合均只的与上一层的一个计算节点k_i+1j发生通讯关系，同一层级的子集不发生通讯关系，由此构成一个以唯一计算节点k_i+1j为顶点的单一交换机的局域通讯网。进而，第一层其他子集合也按照相同的方式构成不同的单一交换机的局域通讯网。同时，全部的单一交换机的局域通讯网构成第一层的基于单一交换机的局域通讯网的一层树形通讯网络组合。最后，我们可以构造上一层的树形通讯网络组合。如此类推，我们可以最终构成只有唯一的一个顶层交换机的局域通讯网。如图2所示，图2是本发明提供的树形通讯结构的一种实施例的结构示意图。

在本实施例中，第i层中的任一计算节点只与第i+1层中的一个计算节点发生通讯，具体为：第i层中的任一计算节点k_i只与第i+1层中的计算节点k_i+1j发生通讯。

在本实施例中，本发明除了构造树形结构通讯链路网络外，还对全局计算过程中的不同计算节点之间的信息种类进行过滤缩减，使得不同计算节点的差异可以通过一个标量、一组标量或其他较少的计量单位来表示。这样使得计算节点表示的标准化过程，可以实现计算过程中不同计算节点的信息传输量变少。具体来说就是可以通过传输较少的信号，达到传输大量信息的效果。

在本实施例中，本发明除了构造树形结构通讯链路、进行信息种类的过滤外，还构造全局性的通信信号传输结构。这种构造可以减少通讯过程的传输信号量，提高并行计算的效率。

本发明的技术方案能实现以下三个效果：1、减少通讯链路；2、减少通讯信息的种类；3减少通讯的信号。为了更好的说明本发明技术方案能实现的效果，分别针对上述技术效果作详细说明。

一、减少通讯链路

在一般情况下，对全局耦合的仿真对象可以规定单层结构通讯链路网络结构中的全体计算节点之间的通讯链路为只有一层的全体计算节点两两之间的相互通讯链路网络，由此，本发明可以建立一个相应的全局性的通讯链路网络，称为单层结构的通讯链路网络。

在以上这种类型通讯结构定义的全局性的通讯网络中，假定每一对计算节点之间的一个单向通讯链路为1，每一对计算节点之间的一个往返双向通讯链路为2，则在单层结构通讯链路网络结构中全部计算节点之间全部的计算过程所需要全部通讯链路的总量p₁等于：

p₁＝n_i(n_i–1)＝n_i ²-n_i

而本发明构建的树形结构通讯网络组合的最底的第一层有n_i个子集，因此，每一个子集中的全部计算节点可以生成至少1个，最多个与上层计算节点之间存在相互通讯关系的单一交换机的局域通讯网构成的通讯网络组合。显然，第一层的每一个子集的全部计算节点与上层计算节点的通讯链路的总量为2n_i。如此类推，在树形结构通讯网络组合中进行一次与每一个计算节点都相关的全局性的计算过程所需要的全部通讯链路p₂等于：

由于以上规定的第二种通讯结构必定有的关系，因此获得结论：

(1)当第i层的计算节点的个数n_i大于5时，任意第i+1层的单交换机的局域通讯网之间的通讯链路的总量必然是以每一个确定的倍数的速度减少的，这个倍数等于第i层的计算节点的个数除以第i+1层的计算节点的个数的商，同时，这个商必定是大于或等于2的一个实数；

(2)当第i层的计算节点的个数n_i大于5时，树形结构通讯网络组合进行一次与每一个计算节点都相关的全局性的计算过程所需要的全部通讯链路必定少于第一种类型的通讯链路。

(3)当第i层的计算节点的个数n_i大于5，且第i层的计算节点的个数n_i的数值越大的时候，树形结构通讯网络组合进行一次与每一个计算节点都相关的全局性的计算过程所需要的全部通讯链路必定少于第一种类型的通讯链路的差值越大。

二、减少了通讯信息的种类

通讯信息种类的减少可以大大减少全局耦合并行计算过程中，不同的计算节点之间传输的信息种类，从而达到改善树形通讯结构根部信息通讯拥堵的状况。具体的说，在树形结构通讯网络组合的第一层有n₁个子集，因此可以生成至少1个，最多个与上层集合存在相互通讯关系的单一交换机的局域通讯网构成的通讯网络组合，则第一层子集与上层集合的通讯种类为2n₁u。如此类推，在树形结构通讯网络组合中进行一次与每一个计算节点都相关的全局性的计算过程所需要实现的全部通讯种类U₂等于：

由于以上规定的第二种通讯结构必定有的关系，因此获得结论：

(1)当第i层的计算节点的个数n_i大于5时，任意第i+1层的单交换机的局域通讯网的通讯信息的种类的和必然是以每一个确定的倍数的速度减少的，这个倍数等于第i层的计算节点的个数除以第i+1层的计算节点的个数的商，同时，这个商必定是大于或等于2的一个实数；

(2)当第i层的计算节点的个数n_i大于5时，树形结构通讯网络组合进行一次与每一个计算节点都相关的全局性的计算过程所需要实现的全部通讯信息的种类必定少于第一种类型的通讯信息的种类。

三、减少了通讯的信号

已知在树形结构通讯网络组合的第一层有n₁个子集，因此可以生成至少1个，最多个与上层集合存在相互通讯关系的单一交换机的局域通讯网构成的通讯网络组合，则第一层子集与上层集合的通讯种类为2n₁u。假定已知在全局树进行一次信息发布和收集的操作需要与每一个计算节点联系，此时每一层上的每一个计算节点之间进行通讯的种类进行一次通讯所需要的通讯的信号量是已知的常量m，那么，在树形结构通讯网络组合中进行一次与每一个计算节点都相关的全局性的计算过程所需要实现的全部通讯信号量S等于：

可见，在全局并行计算过程中通过过滤的信息种类进行传输，在这种通讯传输方式下，进行一次全局性的计算过程所需要实现的全部通讯信号量将可以大幅度减少。

综上所述，本发明实施例提供的基于树形通讯结构的并行仿真数据处理方法，对选定的仿真模型设定并行算法，读取相应的数据参数并确定耦合仿真心恬中的子系统及系统个数。然后根据各计算节点的负载均衡，将子系统分配给各计算节点，再确定各计算节点之间的树形通讯链路连接结构。本发明利用树形拓扑结构中每一层中的不同计算节点之间的通讯连接点不断减少，以及相应的通讯链路在由下而上递进时必然大幅度减少的特征，确定各计算节点之间的通讯链路，确保每层中任一计算节点只与上一层的一个计算节点发生通信，而处于同一层的各个计算节点之间不发生通信。再者，确定各计算节点的信息流通方式和信息交换结构，这里的信息交换结构为各层级的计算节点发送通讯时，仅交换经过信息种类过滤后的计算结果。最后各计算节点执行计算并输出最终计算结果。相比于现有技术会遇到并行计算效率的瓶颈，本发明构造了一个全局性的树形通讯链路连接结构，保证各层级上传的计算结果唯一性，避免由于计算节点的增加而造成过多的通讯开销，提高并行计算的计算效率。另外，在每个计算节点进行信息交换时，各计算节点仅交换独立计算的结果，通过构造分层分组过滤交换信息的程序，减少全局的并行计算过程中需要通讯的信息种类。最后，对每一个不同层的计算节点之间通讯的信息逐层规定传递方式，限制通讯信息不同层上的某些传递方式，减少通讯过程中每一种通讯信息的信号量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (3)

1.一种基于树形通讯结构的并行仿真数据处理方法，其特征在于，包括：

对选定的仿真模型设定并行算法；

读取所述仿真模型预存在数据库中的数据参数；

根据所述数据参数，确定耦合仿真系统中的子系统及子系统的个数N，具体为：根据分析对象的基本信息、拓扑连接关系及运行过程的控制参数，确定耦合仿真系统中的子系统及子系统的个数N；

根据各计算节点的负载均衡，将N个子系统分配给各所述计算节点；

确定各计算节点之间的树形通讯链路连接结构；其中，所述树形通讯链路连接结构由M个所述计算节点之间的通讯链路网络组成树形连接结构；所述通讯链路网络中各层的计算节点的数量依次递减，且第i层中的任一计算节点只与第i+1层中的一个计算节点发生通讯，处于同一层的各计算节点之间不发生通讯；i≥2，M≥3；

确定所述树形通讯链路连接结构中各计算节点之间的信息流通方式和信息交换结构；其中，所述信息交换结构为各层级的计算节点仅交换经过信息种类过滤后的计算结果；

各计算节点执行计算并输出最终计算结果。

2.根据权利要求1所述的基于树形通讯结构的并行仿真数据处理方法，其特征在于，所述通讯链路网络是设置满足以下条件：

(1)设k_ij是所述通讯链路网络中第i层第j个计算节点，i＝1,2,…,r，j＝1,2,…,s；

(2)设K_iα＝{x︱x代表以第i层的若干个k_ij为元素构成的第α个集合中的一个元素}；

(3)设K_i是第i层全部的计算节点k_ij构成的非空集；

若K_i的一些非空子集为K_iα，则满足以下条件：

①K_iα，α两两互不相交，即当α≠β时，总有

②K_iα，α的并为K_i，即∪_αK_iα＝K_i；

其中，K_iα表示以第i层的若干个计算节点k_ij为元素构成的第α个集合；K_i表示由子集合K_iα构成的无交并子集族，α＝1,2,…,n_i，n_i表示第i层的子集合K_iα的个数。

3.根据权利要求1所述的基于树形通讯结构的并行仿真数据处理方法，其特征在于，所述根据各计算节点的负载均衡，将N个子系统分配给各所述计算节点，具体为：

根据计算节点的个数、每个计算节点的CPU核的个数、每个计算节点的内存容量以及仿真任务个数，以负载均衡为前提，将N个子系统分配给各所述计算节点。