CN109828841A

CN109828841A - 一种cfd并行计算方法

Info

Publication number: CN109828841A
Application number: CN201910054745.9A
Authority: CN
Inventors: 胡志远; 史勇杰; 徐国华; 杨玉成; 路思佳
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2019-05-31
Anticipated expiration: 2039-01-21
Also published as: ZA201902170B; CN109828841B

Abstract

本发明公开一种CFD并行计算方法，通过创建计算节点和管理节点，各计算节点打开接收端口、发送数据信息以及接收其他计算节点发送的数据信息，直至所有计算节点接收完数据信息；管理节点打开接收端口并接收计算节点发送的数据信息，对数据信息进行统计，得到统计信息；根据统计信息判断管理节点是否接收所有计算节点发送的信息，能够并行进行任务的自动分配，提高求解速度，一个求解步骤仅打包通信一次，降低了通信频率；使用了先开启接收，再处理，最后发送的流程，逻辑上避免死锁的出现；加权剖分方法仅需少量改动就将原串行求解改为新的并行求解，且计算节点间的通信为去中心化的点对点通信，能够降低通信量并缩短了通信时间。

Description

一种CFD并行计算方法

技术领域

本发明涉及CFD计算领域，特别是涉及一种CFD并行计算方法。

背景技术

使用CFD计算可以从离散化角度，更精确的模拟物理现象发生时的诸多细节特征。但是CFD计算是一种CPU密集型任务，同时也是内存密集型任务；且面对日趋增长的精度要求所带来的网管量的增加，CFD求解计算所耗费的时间可达数周甚至数月。关于CFD并行计算，现有方法通常依赖如下两类技术：1)OpenMP：由编译器支持，仅需少量代码改动，即可实现并行，适于单机多核并行；2)MPI：一个通信协议，需要求解器代码编写时显式调用，可用于多机多核并行。

但是，这两种主流方案都存在一定的问题。对OpenMP而言，由于CFD程序的高度耦合性，并不太适于如图像处理这样简单的并行化；且对于大型计算案例，其内存占用将超过单机内存极限，因此无法处理大型计算案例。而对于MPI，其作为通用的并行通信库，确实能够解决CFD的并行，但其开发调试都颇具难度不宜实现，且有时可因为数据处理关系不合理而导致死锁，这对专注于求解代码开发而编程能力欠佳的CFD从业人员而言是很严重的问题。

总之，现有CFD并行，依赖特定技术如OpenMP或MPI，或不适于CFD并行使用，或通讯不方便实现，容易出现死锁，且针对CFD程序的并行化，计算任务的分配，计算节点的组织与管理，节点间的通讯等问题并未有简单易用方案，导致CFD并行求解效率低下。

发明内容

本发明的目的是提供一种CFD并行计算方法，能够提高CFD并行求解的效率。

为实现上述目的，本发明提供了如下方案：

一种CFD并行计算方法，包括：

任意选择一个流场为研究对象；

对所述研究对象进行建模，得到网格模型，所述网格模型包括一个或多个网格块文件；

运行CFD并行程序，并在所述CFD并行程序中创建管理节点；

根据所述管理节点和所述网格块文件，构建网格拓扑结构；

获取计算任务；

根据所述计算任务对所述网格拓扑结构进行加权剖分，得到局部网格及数据交换通讯索引；

根据所述局部网格及数据交换通讯索引，创建计算节点；

所述计算节点接收所述管理节点发送的初始化数据，并对所述初始化数据进行预处理；

各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息；

所述管理节点打开接收端口并接收所述计算节点发送的数据信息，对所述数据信息进行统计，得到统计信息；

根据所述统计信息判断所述管理节点是否接收所有所述计算节点发送的信息；

若是，则各所述计算节点将自身的计算信息发送至所述管理节点；

所述管理节点对所述计算节点发送的计算信息进行合并处理，得到合并信息；

根据所述合并信息，确定所述流场的参数；

若否，则返回各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息。

可选的，所述对所述研究对象进行建模，得到网格模型，所述网格模型包括一个或多个网格块文件，具体包括：

对所述研究对象进行建模，得到网格模型，所述所述网格模型包含一个或多个网格块文件，各所述网格块文件中的信息记为一个网格块，所述网格块中包含若干个网格单元。

可选的，所述根据所述管理节点和所述网格块文件，构建网格拓扑结构，具体包括：

所述管理节点从所述网格块文件中读取网格信息；

根据所述网格信息，构建网格拓扑结构。

可选的，所述根据所述计算任务对所述网格拓扑结构进行加权剖分，得到局部网格及数据交换通讯索引，具体包括：

根据所述计算任务对所述网格拓扑结构通过METIS算法进行加权剖分，得到局部网格及数据交换通讯索引。

可选的，所述根据所述合并信息，确定所述流场的参数，具体包括：

根据所述合并信息，确定所述流场的参数，所述参数为压强、压力、温度或速度。

可选的，所述各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息，具体包括：

各所述计算节点打开接收端口，接收来自其他所述计算节点提供的发送单元数据信息；

各所述计算节点将通信实体单元信息发送至对应的计算节点，并将所述计算节点的统计信息发送至管理节点；

各所述计算节点接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息。

可选的，在所述管理节点打开接收端口并接收所述计算节点发送的数据信息，对所述数据信息进行统计，得到统计信息之前，还包括：

所述管理节点发送控制指令。

可选的，在所述管理节点对所述计算节点发送的计算信息进行合并处理，得到合并信息之后，还包括：

所述管理节点关闭所述计算节点接收端口。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种CFD并行计算方法，通过创建计算节点和管理节点，各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息；所述管理节点打开接收端口并接收所述计算节点发送的数据信息，对所述数据信息进行统计，得到统计信息；根据所述统计信息判断所述管理节点是否接收所有所述计算节点发送的信息，能够并行对任务进行自动分配，无需人工干预，提高求解速度，并且一个求解步骤仅打包通信一次，降低了通信频率；且使用了先开启接收，再处理，最后发送的流程，逻辑上避免了死锁的出现；本发明中的加权剖分方法仅需少量改动就将原串行求解改为新的并行求解，且计算节点间的通信为去中心化的点对点通信，能够降低通信量并缩短通信时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例CFD并行计算方法流程图；

图2为本发明实施例并行分块对比图；

图3为本发明实施例通信网络示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例CFD并行计算方法流程图。如图1所示，一种CFD并行计算方法，包括：

步骤101：任意选择一个流场为研究对象；

步骤102：对所述研究对象进行建模，得到网格模型，所述网格模型包括一个或多个网格块文件；

步骤103：运行CFD并行程序，并在所述CFD并行程序中创建管理节点；

步骤104：根据所述管理节点和所述网格块文件，构建网格拓扑结构；

步骤105：获取计算任务；

步骤106：根据所述计算任务对所述网格拓扑结构进行加权剖分，得到局部网格及数据交换通讯索引；

步骤107：根据所述局部网格及数据交换通讯索引，创建计算节点；

步骤108：所述计算节点接收所述管理节点发送的初始化数据，并对所述初始化数据进行预处理；

步骤109：各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息；

步骤110：所述管理节点打开接收端口并接收所述计算节点发送的数据信息，对所述数据信息进行统计，得到统计信息；

步骤111：根据所述统计信息判断所述管理节点是否接收所有所述计算节点发送的信息；

步骤112：若是，则各所述计算节点将自身的计算信息发送至所述管理节点；

步骤113：所述管理节点对所述计算节点发送的计算信息进行合并处理，得到合并信息；

步骤114：根据所述合并信息，确定所述流场的参数；

步骤102，具体包括：

对所述研究对象进行建模，得到网格模型，所述网格模型含一个或多个网格块文件，各所述网格块文件中的信息记为一个网格块，所述网格块中包含若干个网格单元。

步骤104，具体包括：

所述管理节点从所述网格块文件中读取网格信息；

根据所述网格信息，构建网格拓扑结构。

步骤106，具体包括：

剖分方式为加权平均而不是均分，这样在多机并行时，能考虑到不同计算机的性能差异，使得总运行时间一致；局部网格为原始网格的部分网格块的部分网格单元集合，具体可分为实体单元、计算单元、虚体单元三类：

1)实体单元：可映射至原始网格的网格单元，且作为原始网格单元的唯一决定单元，各计算节点实体单元集合可拼接为完整且不重复的原始网格；

2)计算单元：位于实体单元相邻位置，为各计算节点重复计算部分，由求解器根据网格单元是否受相邻单元影响及影响权重决定是否存在及存在时的重复量；

3)虚体单元：位于实体单元/计算单元相邻位置，不参与计算，仅并行通信；

另外由数据交换通讯索引可知，部分网格中实体单元为通信发送单元，将发送信息给其他计算节点，而计算单元及虚体单元不起决定作用，两者存储的信息都来自于其他计算节点实体单元中的通信发送单元，并通过通信被更新。

步骤114，具体包括：

步骤109，具体包括：

各所述计算节点打开接收端口，接收来自其他所述计算节点提供的发送单元数据信息，实现虚拟单元更新；

步骤110之前，还包括：

所述管理节点发送控制指令。

步骤113之后，还包括：

所述管理节点关闭所述计算节点接收端口。

上述步骤中计算节点和管理节点收发通信的实现，通过多个底层部分实现，底层部分包括：

1)数据打包/解包组件：实现将数据编码/解码为数据流；

2)线程通信管理组件：实现单个计算机内部的计算节点间的通信；

3)进程通信管理组件：实现多个计算机间的计算节点间的通信；

4)通信管理组件：协调上述打包/解包、线程/进程的通信组件，具有通信数据缓冲，用以防止长时间死锁的通信链接超时功能等。

本发明由对整个网格块中的网格单元进行计算及更新，转换为仅对实体单元和虚体单元计算及更新。

打包/解包采用注册/调用方式，由通信框架根据数据类型自动决定；线程间通信依靠内存指针的直接传递；进程间通信由MPI库支持。

本发明具有下列优势：

1、实现了并行计算，可并行进行任务的自动分配，无需人工干预，并提高了求解速度。图2为本发明实施例并行分块对比图。

2、使用本发明方法，可仅需少量改动就将原串行求解改为新的并行求解，且计算节点间的通信为去中心化的点对点通信，降低了通信量，并缩短了通信时间。图3为本发明实施例通信网络示意图。图3为12节点的通信网络。

3、一个求解步骤仅打包通信一次，降低了通信频率；且使用了先开启接收，再处理，最后发送的流程，逻辑上避免了死锁的出现。

4、充分考虑了线程与进程的差别，构建了统一的通信库，实现了跨线程与跨进程的统一，弥补了线程并行无法在大规模集群中使用及MPI进程通信在单机中效率低下的缺点。

5、本发明所述方法中单机并行的线程通信与MPI通信的比较如表1所示，可见线程通信速度大于MPI通信，且在小数据包情况下尤为明显。表1为线程通信与MPI通信速度对比表。

表1线程通信与MPI通信速度对比表

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种CFD并行计算方法，其特征在于，包括：

任意选择一个流场为研究对象；

运行CFD并行程序，并在所述CFD并行程序中创建管理节点；

根据所述管理节点和所述网格块文件，构建网格拓扑结构；

获取计算任务；

根据所述局部网格及数据交换通讯索引，创建计算节点；

根据所述合并信息，确定所述流场的参数；

2.根据权利要求1所述的CFD并行计算方法，其特征在于，所述对所述研究对象进行建模，得到网格模型，所述网格模型包括一个或多个网格块文件，具体包括：

对所述研究对象进行建模，得到网格模型，所述网格模型包含一个或多个网格块文件，各所述网格块文件中的信息记为一个网格块，所述网格块中包含若干个网格单元。

3.根据权利要求1所述的CFD并行计算方法，其特征在于，所述根据所述管理节点和所述网格块文件，构建网格拓扑结构，具体包括：

所述管理节点从所述网格块文件中读取网格信息；

根据所述网格信息，构建网格拓扑结构。

4.根据权利要求1所述的CFD并行计算方法，其特征在于，所述根据所述计算任务对所述网格拓扑结构进行加权剖分，得到局部网格及数据交换通讯索引，具体包括：

5.根据权利要求1所述的CFD并行计算方法，其特征在于，所述根据所述合并信息，确定所述流场的参数，具体包括：

6.根据权利要求1所述的CFD并行计算方法，其特征在于，所述各所述计算节点打开接收端口、发送数据信息以及接收其他所述计算节点发送的数据信息，直至所有所述计算节点接收完数据信息，具体包括：

7.根据权利要求1所述的CFD并行计算方法，其特征在于，在所述管理节点打开接收端口并接收所述计算节点发送的数据信息，对所述数据信息进行统计，得到统计信息之前，还包括：

所述管理节点发送控制指令。

8.根据权利要求1所述的CFD并行计算方法，其特征在于，在所述管理节点对所述计算节点发送的计算信息进行合并处理，得到合并信息之后，还包括：

所述管理节点关闭所述计算节点接收端口。