CN103428217B - 分布式并行计算的作业分配方法及分配系统 - Google Patents

Abstract

本发明公开了一种分布式并行计算的作业分配方法及分配系统，该分配方法包括：客户端与多个服务器建立网络联接，将复杂计算任务划分为一系列独立计算任务；客户端创建多个线程并由这些线程将独立计算任务分别分配至多个服务器及客户端自身；多个服务器及客户端采用共享内存式并行方法对分配到的计算任务进行运算；计算完毕后，客户端接收各服务器返回的运算结果。本发明分布式并行分配方法，通过将总的计算任务集划分为一系列独立计算任务，同时在多个服务器及客户端上采用共享内存式的方法进行并行计算，简化了服务器端的安装程序，并节省了大量数据网络传输的耗时，提高了并行计算的效率。

Description

分布式并行计算的作业分配方法及分配系统

技术领域

本发明涉及数据处理领域，特别地，涉及一种分布式并行计算的作业分配方法及分配系统。

背景技术

分布式并行计算是利用互相联网的多台计算机同时进行计算，实现分布式并行计算的关键是利用网络在计算机之间进行数据的发送和接收。现有商用优化软件或CAE软件一般在MPI(MessagePassingInterface，消息传递接口)软件包的基础上开发分布并行功能。每个参与并行计算的计算机均需安装该软件包。MPI软件包有许多函数，通过调用这些函数可方便地建立计算机之间的网络联结，并进行各种数据的发送和接收。

但现有的并行计算系统存在如下缺点：

1)每个参与并行计算的计算机除了要安装并行应用(如灵敏度分析等)软件外，还需安装并行MPI软件包；

2)并行计算时设置的参数较多，互相联网的各计算机之间网络传输的数据量亦大，耗费大量时间，使并行效率降低；

3)软件开发复杂，且客户端及各服务器加载的程序代码多。

涉及到航空发动机的设计开发时，往往需要对航空发动机零部件的应力及灵敏度等进行仿真分析，该类计算作业任务包括参数化建模、网格生成计算、用于固体力学分析的有限元计算、用于流体力学的有限体积法或者差分法计算及结果处理计算等，该类作业任务的计算数据大，往往需要耗费较长的时间。

发明内容

本发明目的在于提供一种分布式并行计算的作业分配方法及分配系统，以解决现有的计算作业任务处理效率低的技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种分布式并行计算的作业分配方法，包括以下步骤：

客户端与多个服务器建立网络联接；

客户端将复杂计算任务划分为一系列独立计算任务；

客户端将创建多个线程并由线程将独立计算任务分别分配至多个服务器及客户端自身；

多个服务器及客户端采用分布式并行计算方法对分配到的独立计算任务进行运算；

客户端接收多个服务中的各服务器返回的运算结果。

进一步地，在客户端接收到多个服务中的各服务器返回的运算结果之后，该方法还包括：对接收到的运算结果进行处理并删除已建立的线程。

进一步地，多个服务器和客户端各自均采用共享内存式并行计算方法进行并行运算。

进一步地，服务器及客户端为多核处理器。

进一步地，客户端创建的线程数与服务器及客户端数之和相等。

进一步地，在复杂计算任务为涡轮盘的灵敏度分析的情况下：

客户端将涡轮盘的灵敏度分析任务划分为一系列独立计算任务的步骤包括：客户端与多个服务器建立网络联接，并将涡轮盘的灵敏度分析任务划分为多个独立的涡轮盘应力分析任务；

客户端将创建多个线程并由线程将独立计算任务分别分配至多个服务器及客户端自身的步骤包括：客户端创建多个线程，并通过线程将所需设计参数发送给多个服务器，独立计算任务数为服务器数与客户端数之和，客户端数为一；

多个服务器及客户端采用分布式并行计算方法对分配到的独立计算任务进行运算的步骤包括：客户端通过多线程向多个服务器发送运算指令，服务器接收到指令后开始进行运算，客户端发送完指令后，自身也对被分配到的涡轮盘应力分析任务进行运算，涡轮盘应力分析任务包括根据设计参数进行的实体建模、网格生成、有限元分析、结果处理的运算，以得到与各组参数变量对应的最大应力；

客户端接收多个服务中的各服务器返回的运算结果的步骤包括：客户端接收各服务器发送的与各组参数变量对应的最大应力，根据最大应力进行灵敏度分析，灵敏度分析的公式为：λ_i＝△σ_iMAX/ΔX_i，其中，λ_i为灵敏度，σ_iMAX为参数变量对应的最大应力，X_i为参数变量，△表示变化范围。

根据本发明的另一方面，还提供一种分布式并行计算的作业分配系统，包括客户端及与客户端联网的多个服务器。其中，客户端包括：

任务划分单元，用于将复杂的计算任务划分为多个独立计算任务；

任务分配单元，用于创建多线程，并通过多线程将独立计算任务所需的计算参数和运算指令发送给服务器，由此将独立计算任务分配给服务器；同时分配一个独立计算任务给客户端自身；

服务器及客户端均设有运算单元，用于对分配的计算任务采用共享内存式并行计算方法实施运算；

客户端设有结果处理单元，服务器完成计算任务后，自动向客户端发送运算结果；客户端向服务器发送运算指令后一直处于等待接收服务器返回运算结果的状态，直到接收完所有服务器的运算结果后，再获取自身的运算结果，并进行结果处理。

进一步地，客户端还包括：复位单元，用于在完成一轮分布式并行计算后删除已建立的多线程，以便为下一次的作业任务分配作准备。

进一步地，服务器及客户端为多核处理器。

进一步地，独立计算任务数与服务器及客户端数之和相等，参与计算的处理器核数为服务器及客户端处理器核数之和。

本发明具有以下有益效果：

本发明分布式并行计算的作业分配方法及分配系统，通过将复杂计算任务划分为一系列独立计算任务，创建多个线程将设计参数及运行指令发送多个服务器，实现在多个服务器及客户端上的分布式并行计算，且多个服务器和客户端均采用共享内存式并行计算方法对独立计算任务进行计算，较于传统的计算机独立执行作业任务，提高了作业执行效率；较于MPI分布式并行计算，简化了服务器端的安装程序，并节省了大量数据网络传输的耗时，提高了并行计算的效率。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明分布式并行计算的作业分配方法优选实施例的步骤流程示意图；

图2是本发明分布式并行计算的作业分配方法进行涡轮盘的灵敏度分析的步骤流程示意图；

图3是本发明优选实施例中涡轮盘的结构示意图；以及

图4是本发明优选实施例分布式并行计算的作业分配系统的原理方框图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

参照图1，本发明的优选实施例提供了一种分布式并行计算的作业分配方法，用于客户端及与客户端联网的多个服务器，本发明将复杂计算任务划分为多个独立的计算任务并分配至与客户端联网的多个服务器上并行运算，参照图1，该方法包括以下步骤：

步骤S100、客户端与多个服务器建立网络联接；

步骤S110、客户端将复杂计算任务划分为一系列独立计算任务；

步骤S120、客户端创建多个线程并由这些线程将独立计算任务分别分配至多个服务器及客户端自身；

步骤S130、多个服务器及客户端采用分布式并行计算方法对分配到的独立计算任务进行运算；

步骤S140、客户端接收各服务器返回的运算结果。

本发明实施例通过将复杂计算任务划分为一系列独立计算任务并分配至多个服务器及客户端并行运算，从而提高了数据的处理效率。优选地，多个服务器和客户端均采用共享内存式并行计算的方法对所分配的计算任务进行计算，较于传统的计算机独立执行作业任务，提高了作业执行效率；较于MPI分布式并行计算，简化了服务器端的安装程序，并节省了大量数据网络传输的耗时，提高了并行计算的效率。

本发明实施例中，客户端与服务器之间利用WINDOWSSoketes的系列函数实现联网计算机之间的网络联接、数据发送和接收。WINDOWSSoketes的系列函数包括：connect(网络联接)、send(发送数据)，recv(接收数据)。这样，并行计算时，各服务器上不需额外安装MPI软件包，使得服务器上的软件变得简单。

优选地，在步骤S140还后包括步骤S150：客户端删除上一轮并行计算所创建的多个线程，为下一轮的作业任务的分配做准备。这样，客户端循环反复地并行处理大量的作业任务。

优选地，服务器及客户端为多核处理器。优选地的控制策略，客户端将作业任务划分的独立计算任务数与服务器及客户端数之和相等，参与计算的处理器核数为服务器及客户端处理器核数之和，这样，将客户端及服务器的所有处理器核全部参与作业任务的计算，提高作业任务的并行处理效率。

参照图2，下面以涡轮盘的灵敏度分析(轮盘应力对设计参数的灵敏度)为作业任务来进行并行计算，具体步骤如下：

步骤S200、客户端与多个服务器建立网络联接，每个服务器有各自的IP地址，客户端根据IP地址与服务器建立网络联接；

步骤S210、客户端涡轮盘的灵敏度计算任务划分为多个独立的涡轮盘应力计算任务；

步骤S220、客户端创建多个线程，各线程根据IP地址向服务器发送相应的轮盘应力计算所需的设计参数和运算指令；

步骤S230、各服务器接收到设计参数和运算指令，进行计算；客户端发送完设计参数和运行指令后也对分配给自身的计算任务进行计算，轮盘应力计算包括根据不同设计参数而进行的实体建模、网格生成、有限元分析、结果处理等运算，以得到与各设计参数对应的最大应力σ_iMAX；

步骤S240、客户端接收各服务器运算所得的轮盘最大应力σ_iMAX；

步骤S250、客户端根据获得的与不同设计参数对应的轮盘最大应力进行灵敏度计算，灵敏度分析的公式为：λ_i＝△σ_iMAX/ΔX_i，其中，λ_i为灵敏度，σ_iMAX为参数变量对应的最大应力，X_i为参数变量，△表示变化范围。

参照图3，本实施例中，涡轮盘的设计参数包括涡轮盘的长度变量X1、X2、X3，当涡轮盘的长度变量X1、X2、X3变化时将引起轮盘的最大应力变化，但对应这些变量的变化引起的应力变化的敏感程度，需要进行灵敏度分析。涡轮盘最大应力σ_iMAX相对于Xi(i＝1，2，3)的灵敏度λ_i的计算公式为：其中△_i表示微小的变化。

假设有6台计算机参与计算，其中1台为客户端，其他5台为服务器端，大致步骤如下：

1)灵敏度计算(客户端)程序，计算X_i1＝X_i-0.5△_i、X_i2＝X_i+0.5△_i(X_i2-X_i1＝△_i,i＝1,2,3)，得到6组设计变量值：

[X₁₁,X₂,X₃]^T＝[X₁-0.5△₁,X₂,X₃]^T

[X₁₂,X₂,X₃]^T＝[X₁+0.5△₁,X₂,X₃]^T

[X₁,X₂₁,X₃]^T＝[X₁,X₂-0.5△₂,X₃]^T

[X₁,X₂₂,X₃]^T＝[X₁,X₂+0.5△₂,X₃]^T

[X₁,X₂,X₃₁]^T＝[X₁,X₂,X₃-0.5△₃]^T

[X₁,X₂,X₃₂]^T＝[X₁,X₂,X₃+0.5△₃]^T

分别发送给6台计算机(其中一个留给客户端自身)；

2)各计算机接收到变量参数后，运行参数化造型软件(每个计算机上安装有参数化造型软件、网格生成软件、有限元分析软件、结果处理软件)根据新的参数生成结构实体模型，网格生成程序生成有限元网格，有限元程序计算应力，结果处理软件选出最大应力；以上计算在6台计算机上是同时进行的；各计算机上有限元分析等采用了共享内存式并行计算方法进行并行计算；

3)各服务器将计算的最大应力返回客户端程序；

4)客户端程序接收到各服务器返回的最大应力后，采用灵敏度分析的公式( ${\mathrm{\λ}}_i={\∂\mathrm{\σ}}_{\mathrm{iMAX}}/{\∂X}_i\≈\mathrm{\Δ}{\mathrm{\σ}}_{\mathrm{iMAX}}/{\mathrm{\Δ}}_i$ )计算灵敏度λ₁、λ₂、λ₃。

根据本发明的另一方面，还提供了一种分布式并行计算的作业分配系统，参照图4，包括客户端100及与客户端100联网的多个服务器200，

客户端100包括：

任务划分单元110，用于将复杂计算任务划分为一系列独立计算任务；

任务分配单元120，创建多个线程并由这些线程将独立计算任务分别分配至多个服务器200及客户端100自身；

服务器200及客户端100的处理器内均设有运算单元，客户端100的处理器内设有运算单元150，服务器200的处理器内设有运算单元210，运算单元150及运算单元210均用于对接收到的独立的计算任务采用共享内存式并行计算方法实施运算，并将运算后的结果返回至客户端100的处理器。

进一步地，客户端100还包括：复位单元140，用于删除上一轮并行计算创建的多个线程，为下一轮的作业任务分配做准备。

进一步地，服务器200及客户端100为多核处理器。

进一步地，多个独立计算任务的线程数与服务器200及客户端100数之和相等，参与计算的处理器核数为服务器200及客户端100处理器核数之和。

进一步地，作业任务为涡轮盘的灵敏度计算，具体步骤如下：

任务划分单元110将涡轮盘的灵敏度计算任务划分多个独立的涡轮盘应力计算任务；

任务分配单元120创建多个线程，各线程根据IP地址向服务器发送相应的轮盘应力计算所需的设计参数和运算指令，即将具有不同设计参数的轮盘应力计算任务分配给各服务器，同时留一个轮盘应力计算任务给自身。

各服务器200及客户端100自身接收到计算轮盘应力计算任务后，各运算单元采用共享内存式并行计算方法，对具有不同设计参数的轮盘的应力进行计算，计算流程包括实体建模、网格生成、有限元分析、结果处理等运算，以得到与不同设计参数对应的轮盘最大应力；

客户端100接收各服务器200发送计算所得的轮盘最大应力，进行灵敏度分析，灵敏度分析的公式为：λ_i＝△σ_iMAX/ΔX_i，其中，λ_i为灵敏度，σ_iMAX为参数变量对应的最大应力，X_i为参数变量，△表示变化范围。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种分布式并行计算的作业分配方法，其特征在于，包括以下步骤：

客户端(100)与多个服务器(200)建立网络联接；

所述客户端(100)将复杂计算任务划分为一系列独立计算任务；

所述客户端(100)将创建多个线程并由所述线程将所述独立计算任务分别分配至多个服务器(200)及所述客户端(100)自身；

所述多个服务器(200)及客户端(100)采用分布式并行计算方法对分配到的所述独立计算任务进行运算；

所述客户端接收多个服务器中的各服务器(200)返回的运算结果；

所述复杂计算任务为涡轮盘的灵敏度分析，所述客户端(100)将涡轮盘的灵敏度分析任务划分为一系列独立计算任务的步骤包括：所述客户端(100)与所述多个服务器(200)建立网络联接，并将涡轮盘的灵敏度分析任务划分为多个独立的涡轮盘应力分析任务；

所述客户端(100)将创建多个线程并由所述线程将所述独立计算任务分别分配至多个服务器(200)及客户端(100)自身的步骤包括：所述客户端(100)创建多个线程，并通过所述线程将所需设计参数发送给所述多个服务器(200)，所述独立计算任务数为所述服务器(200)数与所述客户端(100)数之和，所述客户端(100)数为一；

所述多个服务器(200)及客户端(100)采用分布式并行计算方法对分配到的所述独立计算任务进行运算的步骤包括：所述客户端(100)通过所述多个线程向所述多个服务器(200)发送运算指令，所述服务器(200)接收到指令后开始进行运算，所述客户端(100)发送完所述指令后，自身也对被分配到的涡轮盘应力分析任务进行运算，涡轮盘应力分析任务包括根据所述设计参数进行的实体建模、网格生成、有限元分析、结果处理的运算，以得到与各组参数变量对应的最大应力；

所述客户端(100)接收多个服务器中的各服务器(200)返回的运算结果的步骤包括：客户端(100)接收各服务器(200)发送的与各组参数变量对应的最大应力，根据所述最大应力进行灵敏度分析，所述灵敏度分析的公式为：λ_i＝Δσ_iMAX/ΔX_i，其中，λ_i为灵敏度，σ_iMAX为参数变量对应的最大应力，X_i为参数变量，Δ表示变化范围。

2.根据权利要求1所述的分布式并行计算的作业分配方法，其特征在于，

在所述客户端(100)接收到多个服务器中的各服务器(200)返回的运算结果之后，所述方法还包括：对接收到的运算结果进行处理并删除已建立的线程。

3.根据权利要求1所述的分布式并行计算的作业分配方法，其特征在于，

所述多个服务器(200)和所述客户端(100)各自均采用共享内存式并行计算方法进行并行运算。

4.根据权利要求3所述的分布式并行计算的作业分配方法，其特征在于，所述服务器(200)及所述客户端(100)为多核处理器。

5.根据权利要求4所述的分布式并行计算的作业分配方法，其特征在于，所述客户端(100)创建的线程数与所述服务器(200)及所述客户端(100)数之和相等。