CN104573151A - 一种壁面网格点数据获取的循环通信方法 - Google Patents

Abstract

本发明属于计算机壁面网格点数据处理技术领域，具体涉及一种提高CFD湍流模拟壁面距离并行计算中壁面网格点数据获取通信效率的循环通信方法。包括以下步骤：（1）确定壁面距离计算直接法的原理。（2）确定基于直接法的壁面距离计算流程具体步骤：外循环遍历流场网格点，内循环遍历所有壁面网格点。（3）具体实施：设定流场的分区数、流场网格点集合、壁面网格点集合、待求解流场网格点壁面距离集合；各进程载入流场网格点信息，并构建各分区流场网格点集合；各进程载入壁面网格点信息，并构建各分区壁面网格点集合；各进程构建各分区流场网格点壁面距离集合；各进程并行计算其处理分区流场网格与所有分区壁面网格点集合中网格点的壁面距离。

Description

一种壁面网格点数据获取的循环通信方法

技术领域

本发明属于计算机壁面网格点数据处理技术领域，具体涉及一种提高CFD湍流模拟壁面距离并行计算中壁面网格点数据获取通信效率的循环通信方法。

背景技术

CFD（计算流体力学）是通过在计算机上数值求解流体与气体动力学基本方程，获取各种条件下流动的数据和作用在绕流物体上的力、力矩、流动图像和热量的学科。CFD中壁面距离反映着湍流的近壁特性，一直都在Reynolds平均、大涡模拟的湍流模化中起着非常重要的作用。

流场网格点的壁面距离指流场网格点到壁面所有网格点的距离的最小值，如图1所示。典型的网格包含壁面边界和外边界，壁面边界和外边界之间包含的区域为流场。壁面边界被离散成壁面网格点，流场被离散成流场网格点。壁面距离计算时需要用到网格文件和边界文件中的数据。流场网格点信息由网格文件确定，壁面网格点信息和外边界由边界文件确定。

网格分区如图2所示，即通过分区边界把整个网格划分成若干个分区。壁面距离并行计算基于网格分区并行，指把整个网格区域划分成若干个独立的网格分区，各网格分区内流场网格点的壁面距离计算同时进行。

分区并行一般基于消息传递并行编程模型，即一个MPI进程对应一个分区，假定共有M个分区，其对应关系如图3所示，分区内的壁面网格点数据用Wall_i(1≤i≤M)表示。由于壁面网格点被划分到不同的分区中，所以在进行壁面距离并行计算时，负责本分区的MPI进程需要获取其它分区所包含的壁面网格点数据。壁面距离并行计算采用循环进行的方式，即所有进程依次对第i(1≤i≤M)个分区中的壁面网格点，计算/更新其分区内流场网格点的壁面距离。

壁面距离并行计算能够显著缩短壁面距离的计算时间，步骤6中壁面网格点数据获取时通信量与通信次数、每次通信的壁面网格数据量直接相关,可能会产生通信冲突。因为在同一时刻，当所有进程都访问第i个分区时，第i个进程必须向非本进程号的其它所有进程发送壁面网格点数据，其它进程接收网格点数据。此时，通信集中在第i个进程处，从而影响通信效率。获取wall1、wall2中网格点信息的通信如图2所示。当分区数目多（大于103量级）且各分区壁面网格点数据量大（大于104量级）时，通信冲突会非常严重。

因此，亟需研制一种壁面网格点数据循环获取方法，通过循环通信方式减少壁面距离并行计算壁面网格点获取时产生的通信冲突。

发明内容

本发明要解决的技术问题是为提高CFD壁面距离并行计算获取壁面网格点数据的通信效率，发明一种壁面网格点数据循环获取方法。

为了实现这一目的，本发明采取的技术方案是：

一种壁面网格点数据获取的循环通信方法，包括以下步骤：

（1）确定壁面距离计算直接法的原理：

构建流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；

其中N、M分别为流场网格点和壁面网格点的个数；Ｕ、Ｗ为含Ｎ元素的三维实型数组，Ｄ为含Ｎ元素的一维实型数组；

任意两点p₁(x₁,y₁,z₁)，p₂(x₂,y₂,z₂)间的距离计算公式如下所示：

$\left|\right|p_1-p_2\left|\right|=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}---\left(1\right)$

当流场为二维平面时，取z₁＝z₂＝0，公式（1）仍然成立。

（2）确定基于直接法的壁面距离计算流程具体步骤：

基于直接法的壁面距离计算流程包括两层循环，外循环遍历流场网格点，内循环遍历所有壁面网格点，描述如下：

步骤1：用i表示流场网格点u_i(i＝1,2,...,N)的遍历变量，i=0；

步骤2：i=i+1；

步骤3：用j表示壁面网格点w_j(j＝1,2,...,M)遍历变量,j=0；

步骤4：j=j+1；

步骤5：判断j是否为1，是则转步骤6，否则转步骤7；

步骤6：根据公式1计算u_i和w₁之间的距离，并置入d_i；d_i表示第i个流场网格点到壁面之间的距离

步骤7：根据公式1计算u_i和w_j之间的距离s；

步骤8：判断d_i是否大于s，是则转入步骤9；否则转步骤10

步骤9：置d_i为s；

步骤10：判断j是否≥M，是则转步骤11，否则转步骤4；

步骤11：判断i是否≥N，是则转步骤12，否则转步骤2；

步骤12：结束。

（3）具体实施壁面网格点数据获取的循环通信方法：

（3.1）假设流场的分区数为Ｆ，流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；进程与分区呈一一对应关系，一个进程处理一个分区；

（3.2）各进程载入流场网格点信息，并构建各分区流场网格点集合U₁,U₂,...,U_F；由于每个进程负责计算一个网格分区内流场网格点的壁面距离，则分别构建各分区的流场网格点集合U₁,U₂,...,U_F；U₁,U₂,...,U_F满足：

U_i∩U_j＝空集   （2）

U₁∪U₂∪...∪U_F＝U   （3）

其中，1≤i,j≤F且i≠j；任意两个分区流场网格点集合没有相同的网格点，各分区流场网格点集合的并集为流场网格点集合；

（3.3）各进程载入壁面网格点信息，并构建各分区壁面网格点集合W₁,W₂,...,W_F；分别构建各分区的壁面网格点集合W₁,W₂,...,W_F；W₁,W₂,...,W_F满足：

W_i∩W_j＝空集   （4）

W₁∪W₂∪...∪W_F＝W   （5）

其中，1≤i,j≤F且i≠j；

（3.4）各进程构建各分区流场网格点壁面距离集合D₁,D₂,...,D_F；

（3.5）各进程并行计算其处理分区流场网格与所有分区壁面网格点集合中网格点的壁面距离；第p个进程的计算步骤如下所示：

步骤1：设置a=0，a表示F个分区中递增的一个变量；

步骤2：a=a+1；

步骤3：用k表示（p+a-1）对F整除后的余数；

步骤4：获取第k个分区的壁面网格点数据；

步骤5：根据（2）确定基于直接法的壁面距离计算流程具体步骤来计算第p个分区中流场网格点和步骤4中获取的第k个分区中壁面网格点之间的距离；

步骤6：判断a是否大于等于F，成立转步骤7，不成立转步骤2；

步骤7：结束。

本发明与原有的串行方法相比，提高了CFD壁面距离并行计算中壁面网格点数据通信的通信效率，并且减少了壁面距离并行计算壁面网格点获取时产生的通信冲突。

附图说明

图1是壁面距离并行计算流程图；

图2是获取壁面网格点信息时通信示意图；

图3是进程与分区对应关系示意图。

具体实施方式

下面结合附图对本发明技术方案进行详细说明如下。

本发明一种壁面网格点数据获取的循环通信方法，包括以下步骤：

（1）确定壁面距离计算直接法的原理：

构建流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；

其中N、M分别为流场网格点和壁面网格点的个数；Ｕ、Ｗ为含Ｎ元素的三维实型数组，Ｄ为含Ｎ元素的一维实型数组；

任意两点p₁(x₁,y₁,z₁)，p₂(x₂,y₂,z₂)间的距离计算公式如下所示：

$\left|\right|p_1-p_2\left|\right|=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}---\left(1\right)$

当流场为二维平面时，取z₁＝z₂＝0，公式（1）仍然成立。

（2）确定基于直接法的壁面距离计算流程具体步骤：

基于直接法的壁面距离计算流程包括两层循环，外循环遍历流场网格点，内循环遍历所有壁面网格点，描述如下：

步骤1：用i表示流场网格点u_i(i＝1,2,...,N)的遍历变量，i=0；

步骤2：i=i+1；

步骤3：用j表示壁面网格点w_j(j＝1,2,...,M)遍历变量,j=0；

步骤4：j=j+1；

步骤5：判断j是否为1，是则转步骤6，否则转步骤7；

步骤6：根据公式1计算u_i和w₁之间的距离，并置入d_i；d_i表示第i个流场网格点到壁面之间的距离

步骤7：根据公式1计算u_i和w_j之间的距离s；

步骤8：判断d_i是否大于s，是则转入步骤9；否则转步骤10

步骤9：置d_i为s；

步骤10：判断j是否≥M，是则转步骤11，否则转步骤4；

步骤11：判断i是否≥N，是则转步骤12，否则转步骤2；

步骤12：结束。

（3）具体实施壁面网格点数据获取的循环通信方法：

（3.1）假设流场的分区数为Ｆ，流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；如图3所示，进程与分区呈一一对应关系，一个进程处理一个分区；

（3.2）各进程载入流场网格点信息，并构建各分区流场网格点集合U₁,U₂,...,U_F；由于每个进程负责计算一个网格分区内流场网格点的壁面距离，则分别构建各分区的流场网格点集合U₁,U₂,...,U_F；U₁,U₂,...,U_F满足：

U_i∩U_j＝空集   （2）

U₁∪U₂∪...∪U_F＝U   （3）

其中，1≤i,j≤F且i≠j；任意两个分区流场网格点集合没有相同的网格点，各分区流场网格点集合的并集为流场网格点集合；

（3.3）各进程载入壁面网格点信息，并构建各分区壁面网格点集合W₁,W₂,...,W_F；分别构建各分区的壁面网格点集合W₁,W₂,...,W_F；W₁,W₂,...,W_F满足：

W_i∩W_j＝空集   （4）

W₁∪W₂∪...∪W_F＝W   （5）

其中，1≤i,j≤F且i≠j；

（3.4）各进程构建各分区流场网格点壁面距离集合D₁,D₂,...,D_F；

（3.5）各进程并行计算其处理分区流场网格与所有分区壁面网格点集合中网格点的壁面距离；第p个进程的计算步骤如下所示：

步骤1：设置a=0，a表示F个分区中递增的一个变量；

步骤2：a=a+1；

步骤3：用k表示（p+a-1）对F整除后的余数；

步骤4：获取第k个分区的壁面网格点数据；

步骤5：根据（2）确定基于直接法的壁面距离计算流程具体步骤来计算第p个分区中流场网格点和步骤4中获取的第k个分区中壁面网格点之间的距离；

步骤6：判断a是否大于等于F，成立转步骤7，不成立转步骤2；

步骤7：结束。

在具体实施方式中，采用该基于直接法的壁面距离并行计算方法的CFD计算软件的测试平台为某银河集群平台，操作系统为Kylin Server3.1，处理器为Intel Xeon E5540，编程器为Intel Fortran11.1（-O3优化），并行通信环境为MPICH21.32rc。测试用例分别为计算网格规模为800万的44分区对接网格A，和计算网格规模为367万的21分区嵌套网格B。网格A、B的壁面分别为68万和15.8万。进行壁面距离并行计算时，每个分区对应一个MPI进程。并行加速效果如表1所示。从表1可见，采用本方法的并行化加速效果较为明显。

表1串并行壁面计算效果对比

Claims (1)

1.一种壁面网格点数据获取的循环通信方法，其特征在于，包括以下步骤：

（1）确定壁面距离计算直接法的原理：

构建流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；

其中N、M分别为流场网格点和壁面网格点的个数；Ｕ、Ｗ为含Ｎ元素的三维实型数组，Ｄ为含Ｎ元素的一维实型数组；

任意两点p₁(x₁,y₁,z₁)，p₂(x₂,y₂,z₂)间的距离计算公式如下所示：

$\left|\right|p_1-p_2\left|\right|=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2}---\left(1\right)$

当流场为二维平面时，取z₁＝z₂＝0，公式（1）仍然成立；

（2）确定基于直接法的壁面距离计算流程具体步骤：

基于直接法的壁面距离计算流程包括两层循环，外循环遍历流场网格点，内循环遍历所有壁面网格点，描述如下：

步骤1：用i表示流场网格点u_i(i＝1,2,...,N)的遍历变量，i=0；

步骤2：i=i+1；

步骤3：用j表示壁面网格点w_j(j＝1,2,...,M)遍历变量,j=0；

步骤4：j=j+1；

步骤5：判断j是否为1，是则转步骤6，否则转步骤7；

步骤6：根据公式1计算u_i和w₁之间的距离，并置入d_i；d_i表示第i个流场网格点到壁面之间的距离

步骤7：根据公式1计算u_i和w_j之间的距离s；

步骤8：判断d_i是否大于s，是则转入步骤9；否则转步骤10

步骤9：置d_i为s；

步骤10：判断j是否≥M，是则转步骤11，否则转步骤4；

步骤11：判断i是否≥N，是则转步骤12，否则转步骤2；

步骤12：结束；

（3）具体实施壁面网格点数据获取的循环通信方法：

（3.1）假设流场的分区数为Ｆ，流场网格点集合U＝{u₁,u₂,...,u_N}，壁面网格点集合W＝{w₁,w₂,...,w_M}，待求解流场网格点壁面距离集合D＝{d₁,d₂,...,d_N}；进程与分区呈一一对应关系，一个进程处理一个分区；

（3.2）各进程载入流场网格点信息，并构建各分区流场网格点集合U₁,U₂,...,U_F；由于每个进程负责计算一个网格分区内流场网格点的壁面距离，则分别构建各分区的流场网格点集合U₁,U₂,...,U_F；U₁,U₂,...,U_F满足：

U_i∩U_j＝空集   （2）

U₁∪U₂∪...∪U_F＝U   （3）

其中，1≤i,j≤F且i≠j；任意两个分区流场网格点集合没有相同的网格点，各分区流场网格点集合的并集为流场网格点集合；

（3.3）各进程载入壁面网格点信息，并构建各分区壁面网格点集合W₁,W₂,...,W_F；分别构建各分区的壁面网格点集合W₁,W₂,...,W_F；W₁,W₂,...,W_F满足：

W_i∩W_j＝空集   （4）

W₁∪W₂∪...∪W_F＝W   （5）

其中，1≤i,j≤F且i≠j；

（3.4）各进程构建各分区流场网格点壁面距离集合D₁,D₂,...,D_F；

（3.5）各进程并行计算其处理分区流场网格与所有分区壁面网格点集合中网格点的壁面距离；第p个进程的计算步骤如下所示：

步骤1：设置a=0，a表示F个分区中递增的一个变量；

步骤2：a=a+1；

步骤3：用k表示（p+a-1）对F整除后的余数；

步骤4：获取第k个分区的壁面网格点数据；

步骤5：根据（2）确定基于直接法的壁面距离计算流程具体步骤来计算第p个分区中流场网格点和步骤4中获取的第k个分区中壁面网格点之间的距离；

步骤6：判断a是否大于等于F，成立转步骤7，不成立转步骤2；

步骤7：结束。