CN111538487B - 分布式并行网格生成软件框架 - Google Patents

Abstract

本发明公开了一种分布式并行网格生成软件框架，包括具有可视化数据管理功能、且具有图形人机交互界面的客户端模块，用于执行异步消息收发操作、和可视化数据序列化操作的消息中间模块，以并行方式运行在计算集群上，支持分布式网格数据管理，执行网格并行生成功能的服务端模块。本发明满足大规模CFD应用对网格的巨大需求，用户能随时随地访问网格生成服务。它具有友好的图形用户界面(GUI)，用户可以与之交互并驱动所提供的功能。

Description

分布式并行网格生成软件框架

技术领域

本发明属于计算流体力学(简称CFD)的网格生成领域，具体涉及一种基于C/S架构的分布式并行网格生成软件框架。

背景技术

网格生成是CFD分析的前处理步骤，生成网格的大小和质量会对CFD模拟结果产生重大影响。随着高保真度CFD仿真的不断发展，相应的网格尺寸有了很大的增长。在工业CFD应用中，针对雷诺平均NS方程的仿真应用其网格规模已经达到10亿，而在全分辨率大涡模拟中网格规模甚至达到了100亿；此外，具有上千亿网格点的计算网格已被用于基础研究。由此可以看出，大规模CFD应用所需要的计算网格规模越来越大，这对交互式网格生成软件的开发提出了巨大的挑战，但目前尚未有一种有效的软件框架能解决交互式并行网格生成问题。

发明内容

本发明的目的是提供一种分布式并行网格生成软件框架，用于克服现有技术的短板，解决大规模CFD应用所需要的计算网格规模越来越大的难题、实现交互式网格生成的并行化。

本发明解决其技术问题所采用的技术方案是：

一种分布式并行网格生成软件框架，包括网格软件客户端模块、网格软件专用消息中间件模块和网格软件服务端模块；

在上述技术方案中，网格软件客户端模块拥有友好的图形化人机交互界面，具备海量可视化数据管理功能；

在上述技术方案中，网格软件专用消息中间件模块用于执行异步消息的收发操作、可视化数据的序列化操作；

在上述技术方案中，网格软件服务端模块能够以并行方式运行在高性能计算集群上，支持分布式网格数据管理，执行网格并行生成功能；

在上述技术方案中，网格软件客户端中海量可视化数据管理的实现步骤为：

软件界面主窗口的矩形区域记为Δ，可视化数据内存占用量阈值记为τ_h；

步骤一：获取落部分或者全部位于区域Δ内的可视化数据对象集合Σ；

步骤二：评估得到Σ所有可视化数据对象的内存量占用量之和τ；

步骤三：如果τ大于τ_h，那么根据一种五级可视化对象删除方法EraseVisualObjs重复从Σ中删除可视化数据对象，直到Σ内所有可视化数据对象的内存量占用量之和小于τ_h。

在上述技术方案中，所述五级可视化对象删除方法EraseVisualObjs(i)的计算步骤为：

步骤一：如果参数i等于1，那么从可视化数据对象集合Σ中删除内部网格面的视数据对象；

步骤二：如果参数i等于2，那么从可视化数据对象集合Σ中删除内部网格线的视数据对象；

步骤三：如果参数i等于3，那么从可视化数据对象集合Σ中删除外部网格线的视数据对象；

步骤四：如果参数i等于4，那么将集合Σ中网格线对象使用一半的点来渲染显示，即利用21个点显示；

步骤五：如果参数i等于5，那么将集合Σ中网格线对象使用3个点来渲染显示；

步骤六：如果参数i等于其它值，对可视化数据对象集合Σ不作任何处理；

在上述技术方案中，所述网格软件服务端模块的分布式网格数据管理通过一种批量轮询网格对象分配方法和一种分布式网格数据同步策略来实现；

在上述技术方案中，所述批量轮询网格对象分配方法的计算步骤为：

新生成的网格对象记为θ，网格块、网格面、网格线每个轮询批次的大小分别记为ε_b、ε_d、ε_c；

步骤一：计算新生成网格对象θ的对象类型tp；

步骤二：根据对象类型tp得到对应的批次大小值ε；

步骤三：统计每个消息传递接口(简称：MPI)进程内存中类型为tp的网格对象个数，其集合记为V＝[m₀,…,m_i,…m_n-1](0≤i≤n-1)，n为并行运行的服务端实例个数；

步骤四：计算批次数num_bt＝m₀/ε，网格对象最终被分配到的进程号记为dp并赋初值为0；

步骤五：从1到n开始循环(序号为i)，如果m_i/ε小于num_bt，那么对象θ会被分配到进程i，计算过程结束。

在上述技术方案中，所述分布式网格数据同步策略的主要步骤为：

对网格对象θ的网格操作记为λ；存储网格全局信息的数据结构记为G；网格对象θ可能存在多个副本分散存储在不同进程的内存中，其中主副本仅有一个且所在的进程记为θ_master，其它从副本所在的进程集合记为θ_{slave}；

步骤一：根据网格全局信息，获取网格对象θ所对应的θ_master以及θ_{slave}；

步骤二：在进程θ_master内执行操作λ；

步骤三：由进程θ_master驱动集合θ_{slave}内的所有进程，执行λ操作；

步骤四：根据进程θ_master和θ_{slave}的操作情况，更新全局信息G。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明满足大规模CFD应用对网格的巨大需求，用户能随时随地访问网格生成服务。它具有友好的图形用户界面(GUI)，用户可以与之交互并驱动所提供的功能。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为DapMesh的体系结构示意图；

图2为客户端模块与消息中间件交互过程示意图；

图3为服务端模块与消息中间件交互过程示意图；

图4a为一个进程中的两个相邻网格块；

图4b为跨越两个进程的两个相邻网格块。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，是本实施例的体系结构示意图，包含有客户端模块、消息中间件模块、服务端模块和MPI并行环境四个模块。

客户端模块为用户提供了一个友好的操作界面。其中，图形界面组件给用户提供了友好的图形化界面，交互操作组件响应用户键盘或鼠标设备触发的事件，消息处理组件负责与消息中间件进行命令和数据通信，而视数据管理组件负责各种网格数据的图形化显示。

消息中间件模块位于客户端应用程序和服务器应用程序之间，主要负责在分布式系统之间发送和接收消息。

服务端模块由多个并行实例组成。每个服务端实例包括四个模块组件。功能控制器组件实现多种网格生成操作功能的业务逻辑，网格数据组件是存储和维护整个网格数据结构的数据池，分布式数据管理组件管理分布于多个MPI进程内存空间的网格数据，而消息处理组件主要从消息中间件接收交互命令，并将新生成的可视化数据发送给消息中间件。

MPI并行环境模块为并行编程提供辅助功能，封装了各种标准MPI功能，提供了多种定制化接口供调用，目的是辅助管理分布式网格数据以及并行网格生成功能。

本实施例的整个软件框架的运行机制由图2和图3结合说明，其中图2主要展示客户端程序与消息中间件的交互过程，而图3主要说明服务程序与消息中间件的交互情况。

如图2所示，客户端模块与消息中间件的交互过程包含三个步骤：

步骤一：当用户通过图形界面触发网格生成操作(如交互操作1，简称IntOp1)后，相应的消息就会生成并交给消息处理组件；消息处理组件对消息进行序列化，并将其发送到消息中间件上。每个交互操作都对应两个队列，其中一个用于客户端上传(服务端下载)各种操作命令，另一个用于客户端下载(服务端上传)更新后的网格视数据。例如，队列1和队列3是交互操作IntOp1对应的两个队列。

步骤二：消息被发布到目的地(队列1)后，服务端程序会执行具体的业务逻辑逻辑并将新网格的视数据发布到消息中间件(队列3)中。

步骤三：数据发布完毕后，消息中间件会立即将消息推送到客户端的消息处理组件；经过消息处理组件的发序列化等操作后，视数据继而被传输给视数据管理组件，最终在图形界面主窗口中进行渲染。

如图3所示，对图2中所涉及到的第二个步骤进行说明。服务器端是一个没有任何图形元素的应用程序。通过MPI并行环境模块启动了三个服务器端程序并行实例，其中队列1和队列2分别对应图2中的交互操作1和交互操作2。以队列1为例详细说明服务器端应用程序的工作流程。队列1当前包含三个具有相同内容的消息(M_1i，i∈{1,2,3})，其中M_1i将被推送给第i个服务端程序实例(SA_i)。例如，当SA₂接收到消息M₁₂之后，就会执行如下操作步骤：

步骤一：消息处理组件对M₁₂进行反序列化，从中提取与交互操作1相关的必要信息；

步骤二：功能控制器1被激活，执行交互操作1所需要的具体业务逻辑；

步骤三：分布式数据管理组件维护整个网格数据，并更新功能控制器1所导致的网格状态变化；

步骤是：服务端根据变化后的网格数据生成视数据1，并经消息处理组件发布到队列3；

步骤五：当队列3中的消息准备就绪时，消息中间件将该消息推送到客户端，客户端将向用户展示最新的网格信息。

如图2中的视数据管理组件负责存储网格对象的可视化数据，例如结构网格的网格点、网格线和网格面数据。在不考虑客户端程序其它内存需求的情况下，万亿规模结构化网格将需要占用100GB的内存空间，这种巨大的内存需求已经超过了一台高端计算机的内存容量。因此，需要一种有效的可视化数据管理策略，以解决日益增长的网格规模所带来的内存压力。

实现网格软件客户端中海量可视化数据管理的算法的输入条件有两个，即主视图窗口所界定的矩形区域Δ以及内存容量阈值τ_h，输出为需要显示的视数据对象集合∑。

首先，计算得到处于Δ范围内的可视化对象集合∑；评估∑内所有视数据对象所占用的内存容量τ。

如果τ超过预先指定的阈值τ_h,那么就利用定义的函数EraseVisualObjs，从∑中消除某些确定的视数据对象。这里将其分为五个级别，级别越大，表示过滤掉的可视数据对象越多。最后,算法返回视数据对象∑时，主机便能够显示相应的网格数据。

具体的五级可视化对象删除方法EraseVisualObjs(i)的计算步骤为：

A31：如果参数i等于1，那么从可视化数据对象集合Σ中删除内部网格面的视数据对象；

A32：如果参数i等于2，那么从可视化数据对象集合Σ中删除内部网格线的视数据对象；

A33：如果参数i等于3，那么从可视化数据对象集合Σ中删除外部网格线的视数据对象；

A34：如果参数i等于4，那么将集合Σ中网格线对象使用一半的点来渲染显示，即利用21个点显示；

A35：如果参数i等于5，那么将集合Σ中网格线对象使用3个点来渲染显示；

A36：如果参数i等于其它值，对可视化数据对象集合Σ不作任何处理；

在本实施例中，在研制分布式并行结构网格生成软件时，为满足大规模网格的巨大内存需求，将网格数据分布存储在多个并行进程中。为实现负载均衡，提出了一种块轮询网格对象分配方法。负载均衡是分布式网格对象管理的一个重要性能因素；负载均衡性能不佳时将导致不能有效利用并行计算机的资源，最终限制软件的扩展性。

在生成结构网格时，有时会由一次操作生成大量的网格对象。例如，在附面层推进时，能够一次性产生数百个网格块。这就需要高效的负载均衡方法，以高效实现新生成网格对象的存储。

本实施例中的块轮询网格对象分配方法，具体演示了以块轮询方式将类型为tp的网格对象集合Θ分配到N_p个MPI进程的步骤。

B1:计算生成网格对象θ的对象类型tp；

B2:根据对象类型tp得到对应的批次大小值ε；

B3:统计每个MPI进程内存中类型为tp的网格对象个数,其集合记为V＝[m₀,…,m_i,…m_n-1](0≤i≤n-1)，n为并行运行的服务端实例个数；

上述三步的网格对象度量值可以指数量、所占内存量等，其中先计算现有网格对象的度量值，再计算新增网格对象的度量值；

B4:计算批次数num_bt＝m₀/ε，网格对象被分配到的进程号记为dp并赋初值为0；

B5:从1到n开始循环,i为序号，如果m_i/ε小于num_bt，网格对象θ被分配到进程i，计算过程结束。

这两步即以块轮询方式，将网格对象分配到N_p个进程，同时确保每个进程的度量值基本均衡。

对于分布式并行结构网格生成软件的服务端程序来说，整个网格数据分布在多个进程中，网格对象可能有多个副本存储在不同的进程中。因此，需要一种有效的机制来确保网格对象副本之间的同步。当任意网格对象状态发生变化(如删除、连接、分割、合并等)时，应该触发网格同步操作。

在本实施例中，如图4a和4b所示，网格面ABCD由两个相邻网格块共享，并对该网格面进行分割操作。图4a表示将两个网格块分配到一个进程中的情况。网格面ABCD在该进程中只有一个副本，它直接分为两个网格面ABEF和ECDF。图4b表示两个网格块位于两个进程中的情况。请注意，网格面A^*B^*C^*D^*是ABCD的从属副本。当划分ABCD时，还需要对A^*B^*C^*D^*执行分割操作，生成两个网格面并标记为从属副本。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种分布式并行网格生成软件框架的生成方法，软件框架包括：具有可视化数据管理功能、且具有图形人机交互界面的客户端模块，用于执行异步消息收发操作、和可视化数据序列化操作的消息中间模块，以并行方式运行在计算集群上，支持分布式网格数据管理，执行网格并行生成功能的服务端模块；

其特征在于：在所述客户 端模块中，可视化数据管理功能包括以下步骤：

A1:获取位于界面窗口的矩形区域内的可视化数据对象集合Σ，

A2:评估得到集合Σ所有可视化数据对象的内存量占用量之和τ，

A3：循环判断可视化数据内存占用量阀值τ_h和占用量之和τ的大小，直到Σ内所有可视化数据对象的内存量占用量之和小于τ_h，

当τ大于τ_h，根据五级可视化对象删除方法重复从Σ中删除可视化数据对象，所述五级可视化对象删除方法包括以下步骤：

A31:如果可视化参数等于1，从可视化数据对象集合Σ中删除内部网格面的视数据对象；

A32:如果可视化参数等于2，从可视化数据对象集合Σ中删除内部网格线的视数据对象；

A33:如果可视化参数等于3，从可视化数据对象集合Σ中删除外部网格线的视数据对象；

A34:如果可视化参数等于4，将集合Σ中网格线对象使用一半的点来渲染显示；

A35:如果可视化参数等于5，将集合Σ中网格线对象使用3个点来渲染显示；

A36:如果可视化参数等于其他值，对可视化数据对象集合Σ不作任何处理。

2.根据权利要求1所述的一种分布式并行网格生成软件框架的生成方法，其特征在于：所述服务模块的分布式网格数据管理通过批量轮询网格对象分配方法和分布式网格数据同步策略来实现。

3.根据权利要求2所述的一种分布式并行网格生成软件框架的生成方法，其特征在于所述批量轮询网格对象分配方法包括以下过程：

B1:计算生成网格对象θ的对象类型tp；

B2:根据对象类型tp得到对应的批次大小值ε；

B3:统计每个消息传递接口进程内存中类型为tp的网格对象个数,其集合记为V＝[m₀,…,m_i,…m_n-1](0≤i≤n-1)，n为并行运行的服务端实例个数；

B4:计算批次数num_bt＝m₀/ε，网格对象被分配到的进程号记为dp并赋初值为0；

B5:从1到n开始循环,i为序号，如果m_i/ε小于num_bt，网格对象θ被分配到进程i，计算过程结束。

4.根据权利要求3所述的一种分布式并行网格生成软件框架的生成方法，其特征在于所述分布式网格数据同步策略的主要步骤为：

C1：根据网格全局信息，获取网格对象θ所对应的θ_master以及θ_{slave}；

C2：在进程θ_master内执行操作λ；

C3：由进程θ_master驱动集合θ_{slave}内的所有进程，执行λ操作；

C4：根据进程θ_master和θ_{slave}的操作情况，更新全局信息G；

其中：对网格对象θ的网格操作记为λ；存储网格全局信息的数据结构记为G；网格对象θ存在多个副本分散存储在不同进程的内存中，其中主副本仅有一个且所在的进程记为θ_master，其它从副本所在的进程集合记为θ_{slave}。

Images