CN104573152A - 一种基于预运行的缩短cfd数值模拟计算时间的方法 - Google Patents

Abstract

本发明属于针对高性能计算机系统的CFD计算技术领域，具体涉及一种基于预运行的CFD数值模拟计算时间的方法。包括以下步骤：（1）构建预运行试验集合；（2）定义计算结点集合；（3）具体实施步骤，在预运行试验集合已经构建的基础上，基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法主要包括三个部分：（3.1）选择符合CFD计算要求的试验用例；（3.2）预运行之后统计各个计算结点集合的总体性能，选择总体性能最高即对试验用例而言运行速度最快的计算结点集合；（3.3）根据步骤（3.2）中选择的总体性能最高计算结点集合提交具体的CFD计算任务。本方法可以有效缩短CFD程序的运行时间，提高程序在高性能计算机上的执行效率。

Description

一种基于预运行的缩短CFD数值模拟计算时间的方法

技术领域

本发明属于针对高性能计算机系统的CFD计算技术领域，具体涉及一种基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法。

背景技术

CFD（计算流体力学）是通过在计算机上数值求解流体与气体动力学基本方程，获取各种条件下流动的数据和作用在绕流物体上的力、力矩、流动图像和热量的学科。CFD数值模拟计算具有使用计算结点多，运行时间长的特点。例如在航空航天领域，CFD计算时经常需要对多个气动外形中的多个状态进行数值模拟，每个状态常需要使用数十个、上百个计算核心，相应运行时间常长达数天到数月。这样一个计算结点的性能低下则可能导致该计算任务延长，从而可能进一步影响整个飞行器设计流程的完成。

高性能计算机系统指数以万计的计算结点通过高性能的互连网络连接起来，协同计算，共同解决科学和工程问题的大规模计算机系统。高性能计算机系统中计算结点总体性能主要受三个方面因素的影响：计算性能、存储性能和互连性能。计算性能指其处理器的计算能力，包括浮点操作性能和定点操作性能；存储性能指其存储系统的性能，包括存储容量、存储器的带宽和存储延时；互连性能指其互连网络系统的性能，包括互连网络的带宽和延时等。针对具体CFD计算，计算结点总体性能的高低可以由同一模拟状态（或者问题）的运行时间来确定，即运行时间短的结点比运行时间长的结点的总体性能高。CFD数值模拟计算时间即为其运行时间。

高性能计算机系统中集群(Cluster)体系结构的并行计算机占据了大部分份额，且其中大多数Cluster的结点均是多核SMP(对称多处理机)，如图1所示，假定系统中包含的计算结点数目为N个。多核SMP集群系统的每个结点都是一个SMP结点，而每个结点又是由拥有多核心的多个处理器组成，通过某种互连网络(如千兆以太网，Myrinet，Infiniband等)连接各个结点。这种新型的多核SMP集群系统通过提高结点内的性能，从而提高整个系统性能，具有良好的灵活性和扩展性，使得人们能够以相对更高的性价比拥有更多的计算核心。

随着高性能计算系统结构及其应用规模的不断扩大，系统在计算过程中发生性能降低的几率呈指数增长，同时由于高性能计算系统通常为多用户使用，其负载、资源等具有较大的变化特性。另外，大规模科学与工程应用程序运行时间都较长，使用的计算结点多，一旦某个计算结点的性能比较低，则会导致整个并行计算时间的延长，从而造成大量的计算资源和时间的浪费。

缩短CFD数值模拟计算时间的方法通常有三种：

（1）对计算机系统进行更新换代。

采用新型的CPU、存储和网络通信模块的计算机系统可以显著提高CFD数值模拟计算速度，从而缩短相应的运行时间。但是，这样的方法对于大规模CFD计算所需要的高性能计算机系统而言，并不现实，因为高性能计算机系统造价高昂、动辄上千万至数十亿，同时论证、设计、开发、安装和调试的时间周期长，动辄数月至数年。

（2）通过系统级检查方法来剔除故障结点。

在当前的高性能计算系统中，系统结构及应用的规模日趋大型化，各种软硬件故障种类繁多，且表现出的症状具有一定的相似性及交叉性。因而高性能计算系统中的系统级故障检测成为一项比较困难的技术，但是仍然取得了一定的研究成果。当前应用比较广泛的高性能计算资源管理系统，如PBS，LSF，SLURM等，都提供了一定的故障检测功能。常用的故障检测技术主要基于心跳信息检测和系统定时巡检两种方式。

（2.1）心跳信息检测

心跳信息基于监听机制，节点通过互联通道周期性地对外广播本节点的健康状态，并接受其他节点的健康状态。心跳信息检测指的是各个节点周期性地发送和接收本节点和其它节点的心跳信息，根据心跳信息的情况判断当前系统的工作状态。当发现心跳信息异常或心跳信息超时，则采取相应措施，保证系统能够正常地连续工作。

（2.2）系统定时巡检

系统在正常运行过程中执行故障检测程序，周期性地对系统软硬件工作状态进行巡检，得到整个系统的健康报告。巡检的结果可以作为心跳信息的主要内容传递给其它节点，也可以作为本机工作状态转换的判定条件报告给系统管理员。

但是系统级心跳信息检测和系统定时巡检都存在一定自相矛盾的问题。心跳信息检测技术中一个关键问题即检测周期的设置。设置的周期时间过短，检测过于频繁，将占用较多的系统资源，影响系统的运行性能；设置的周期时间过长，则检测会比较迟钝，或者错过一些瞬时故障，影响故障检测的时效性，最终影响到整个系统运行的正确性。

系统巡检技术的关键问题有两个：一是故障检测覆盖率，二是故障检测判定阈值的设定。故障检测覆盖率是影响计算机系统可靠性的重要因素。检测系统中尽可能多的潜在故障点，对于提高系统可用性具有直接的意义。但是随着故障检测覆盖率的提高，检测的难度和开销也相应增大。故障检测的判定阈值的设定为判定检测出的异常情况是否属于系统故障提供了标准。阈值过宽，会造成故障的漏判，从而影响系统的可用性；阈值过于严格，又可能造成故障的虚判，从而增加系统的故障处理开销，甚至会因为对一些正常过程的误判导致系统无法正常运行。

大部分故障结点可以用前面系统级故障检测方法检测出来，通过作业管理系统剔除相应结点。但是对于性能较低结点，系统级检测方法则无能为力，因为系统的工作状态和故障检测判定阈值难以明确量化，且性能高低是一个动态的过程，直接剔除当时性能较低的结点会使高性能计算机系统可用计算结点数目减少，对整个系统。由于应用程序的多样性，某些低性能指标并不影响应用程序的运行速度。结点实际性能高低的衡量与具体应用直接相关。性能低的结点对整个并行应用程序影响较大，CFD程序的运行时间由性能最差的那个结点决定。

因此，亟需研制一种基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法，通过构建适合预运行的测试用例和预运行来挑选对CFD计算而言性能较高的结点，从而加快科学和工程计算中CFD数值模拟的速度、提高高性能计算机系统软硬件资源的使用效率和提高作业提交的成功率。

发明内容

本发明要解决的技术问题是提供一种基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法，通过CFD程序在实际进行数值模拟计算之前的预运行以获取总体性能较高的结点，使用总体性能较高的结点以提高模拟计算速度的方法，从而缩短高性能计算机系统中CFD数值模拟计算时间、提高高性能计算机系统软硬件资源的使用效率和降低对高性能计算机系统可用资源的影响，

为了实现这一目的，本发明采取的技术方案是：

一种基于预运行的缩短CFD数值模拟计算时间的方法，包括以下步骤：

（1）构建预运行试验集合

设定高性能计算机系统中一个计算结点的核心数为M，预运行试验集合中包含的试验网格用例的能够覆盖1*M，2*M，……，Max*M个处理器核，Max为相应CFD计算可能使用的最多的处理器核数目，即1至Max个计算结点；

网格统一命名为1.grd，2.grd，……，Max.grd；用例是1.grd，2.grd，……，Max.grd中的一个网格，用例的运行时间为2～10分钟；预运行试验集合中的用例能够对需要少于Max*M个处理器核的CFD计算所需要的计算结点的总体性能进行测试；

（2）定义计算结点集合

计算结点集合定义为某次CFD计算所需要的计算结点的集合，在高性能计算机系统的作业调度管理系统里面，表现为对应实际物理计算结点的唯一名称；

（3）具体实施步骤

在预运行试验集合已经构建的基础上，基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法主要包括三个部分：

（3.1）选择符合CFD计算要求的试验用例；

（3.2）预运行之后统计各个计算结点集合的总体性能，选择总体性能最高即对试验用例而言运行速度最快的计算结点集合；

（3.3）根据步骤（3.2）中选择的总体性能最高计算结点集合提交具体的CFD计算任务；用K表示预运行的次数，K为大于2的正整数，然后进行如下步骤：

步骤1：从网格文件中获取分区数目F；

步骤2：用m表示网格用例的标号，m=0；

步骤3：m=m+1；

步骤4：如果F<=m*M，且F>(m-1)*M，则转步骤5，否则转步骤3；

步骤5：从预运行试验集合选取覆盖m个计算结点的试验网格用例m.grd；

步骤6：从作业调度管理系统提取K*m个空闲计算结点；

步骤7：生成作业提交脚本；

步骤8：通过作业调度管理系统提交K个预运行作业；

步骤9：等待预运行作业完成，从作业日志中提取各个作业的运行时间，T1，T2，……，TK；

步骤10：Tmin＝min{T1，T2，……，TK}；

步骤11：选择与Tmin对应的作业提交脚本，提取相应的计算结点集合{Node1,Node2,......,Nodem}；

步骤12：生成包含计算结点集合{Node1,Node2,......,Nodem}的作业提交脚本；

步骤13：通过作业调度管理系统提交CFD数值模拟计算作业；

步骤14：根据作业日志判断作业是否开始进行CFD计算，如果是转15，如果否，则转步骤5；

步骤15：基于预运行的过程结束，等待CFD计算完成进行其它操作。

本发明与传统技术方案中缩短CFD数值模拟计算时间的方法相比最直接的有益效果为：本方法有效缩短CFD程序的运行时间，提高了CFD程序在高性能计算机上的执行效率，而且对高性能计算机系统影响小。同时，本方法推广性较好，可以推广至其它高性能并行计算程序。

附图说明

图1是服务器/客户端交互模式示意图；

图2是作业提交脚本示意图。

具体实施方式

下面结合附图对本发明技术方案进行详细说明。

一种基于预运行的缩短CFD数值模拟计算时间的方法，包括以下步骤：

（1）构建预运行试验集合

设定高性能计算机系统中一个计算结点的核心数为M，预运行试验集合中包含的试验网格用例的能够覆盖1*M，2*M，……，Max*M个处理器核，Max为相应CFD计算可能使用的最多的处理器核数目，即1至Max个计算结点；网格统一命名为1.grd，2.grd，……，Max.grd；用例是1.grd，2.grd，……，Max.grd中的一个网格，用例的运行时间为2～10分钟；预运行试验集合中的用例能够对需要少于Max*M个处理器核的CFD计算所需要的计算结点的总体性能进行测试；

（2）定义计算结点集合

计算结点集合定义为某次CFD计算所需要的计算结点的集合，在高性能计算机系统的作业调度管理系统里面，表现为对应实际物理计算结点的唯一名称；

（3）具体实施步骤

在预运行试验集合已经构建的基础上，基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法主要包括三个部分：（3.1）选择符合CFD计算要求的试验用例；（3.2）预运行之后统计各个计算结点集合的总体性能，选择总体性能最高即对试验用例而言运行速度最快的计算结点集合；（3.3）根据步骤（3.2）中选择的总体性能最高计算结点集合提交具体的CFD计算任务；用K表示预运行的次数，K为大于2的正整数；然后进行如下步骤：

步骤1：从网格文件中获取分区数目F；

步骤2：用m表示网格用例的标号，m=0；

步骤3：m=m+1；

步骤4：如果F<=m*M，且F>(m-1)*M，则转步骤5，否则转步骤3；

步骤5：从预运行试验集合选取覆盖m个计算结点的试验网格用例m.grd；

步骤6：从作业调度管理系统提取K*m个空闲计算结点；

步骤7：生成作业提交脚本；

步骤8：通过作业调度管理系统提交K个预运行作业；

步骤9：等待预运行作业完成，从作业日志中提取各个作业的运行时间，T1，T2，……，TK；

步骤10：Tmin＝min{T1，T2，……，TK}；

步骤11：选择与Tmin对应的作业提交脚本，提取相应的计算结点集合{Node1,Node2,......,Nodem}；

步骤12：生成包含计算结点集合{Node1,Node2,......,Nodem}的作业提交脚本；

步骤13：通过作业调度管理系统提交CFD数值模拟计算作业；

步骤14：根据作业日志判断作业是否开始进行CFD计算，如果是转15，如果否，则转步骤5；

步骤15：基于预运行的过程结束，等待CFD计算完成进行其它操作。

本发明的具体实施例中，采用Python脚本语言实现。LSF作业提交时需要可以事先生成特定的目录，把需要的网格文件、提交脚本等输入文件拷贝到相应的目录下。从网格文件中获取分区数目F采用Python语言读取网格文件并把累计分区数得到F。从作业调度管理系统提取K*m个空闲计算结点采用LSF命令bhost和Python脚本命令进行分析并提取空闲计算结点的名字。从预运行试验集合选取覆盖m个计算结点的试验网格用例m.grd即把m.grd拷贝到相应的运行目录。

提交脚本如图2所示。“#BSUB–m”后面跟的即是计算结点集合。CFD软件为空间物理重点实验室开发高超声速结构化网格数值模拟计算软件HyperCFD2.0。测试平台为某银河高性能计算机系统（Star-Cluster），操作系统为Kylin Server3.1，处理器为4核Intel Xeon E5540，编程器为Intel Fortran11.1（-O3优化），并行通信环境为MPICH21.32rc，作业调度管理系统为LSF。Star-Cluster的计算机结点为两路8核，即每个SMP结点包含2个E5540CPU，合计8个计算核心。测试用例为网格规模为950万的80分区对接网格。按照对等规则，每个处理器核负责计算一个分区，即一个测试用例的运行需要80个处理器核，计10个计算结点。CFD计算推进的时间步为40000步，测试用例运行次数为20次。是否采用预运行的效果比较如表1所示，从平均运行时间、最长运行时间和合计提交次数三个方面来看，采用本发明提出的方法缩短CFD数值模拟计算时间的效果较为明显，运行时间缩短比率达到23.40%。本发明提出的方法的平均预运行时间约为5.85分钟，与实际运行时间相比几乎可以忽略不计。

表1效果比较

	未预运行	预运行
			平均运行时间（小时）	72.32	55.40
最长运行时间（小时）	185.29	80.64
			合计提交次数	41	27
平均系统影响时间（分钟）	0	5.85

Claims (1)

1.一种基于预运行的缩短CFD数值模拟计算时间的方法，其特征在于，包括以下步骤：

（1）构建预运行试验集合

设定高性能计算机系统中一个计算结点的核心数为M，预运行试验集合中包含的试验网格用例的能够覆盖1*M，2*M，……，Max*M个处理器核，Max为相应CFD计算可能使用的最多的处理器核数目，即1至Max个计算结点；

网格统一命名为1.grd，2.grd，……，Max.grd；用例是1.grd，2.grd，……，Max.grd中的一个网格，用例的运行时间为2～10分钟；预运行试验集合中的用例能够对需要少于Max*M个处理器核的CFD计算所需要的计算结点的总体性能进行测试；

（2）定义计算结点集合

计算结点集合定义为某次CFD计算所需要的计算结点的集合，在高性能计算机系统的作业调度管理系统里面，表现为对应实际物理计算结点的唯一名称；

（3）具体实施步骤

在预运行试验集合已经构建的基础上，基于预运行的缩短高性能计算机系统中CFD数值模拟计算时间的方法主要包括三个部分：

（3.1）选择符合CFD计算要求的试验用例；

（3.2）预运行之后统计各个计算结点集合的总体性能，选择总体性能最高即对试验用例而言运行速度最快的计算结点集合；

（3.3）根据步骤（3.2）中选择的总体性能最高计算结点集合提交具体的CFD计算任务；用K表示预运行的次数，K为大于2的正整数；然后进入如下步骤：

步骤1：从网格文件中获取分区数目F；

步骤2：用m表示网格用例的标号，m=0；

步骤3：m=m+1；

步骤4：如果F<=m*M，且F>(m-1)*M，则转步骤5，否则转步骤3；

步骤5：从预运行试验集合选取覆盖m个计算结点的试验网格用例m.grd；

步骤6：从作业调度管理系统提取K*m个空闲计算结点；

步骤7：生成作业提交脚本；

步骤8：通过作业调度管理系统提交K个预运行作业；

步骤9：等待预运行作业完成，从作业日志中提取各个作业的运行时间，T1，T2，……，TK；

步骤10：Tmin＝min{T1，T2，……，TK}；

步骤11：选择与Tmin对应的作业提交脚本，提取相应的计算结点集合{Node1,Node2,......,Nodem}；

步骤12：生成包含计算结点集合{Node1,Node2,......,Nodem}的作业提交脚本；

步骤13：通过作业调度管理系统提交CFD数值模拟计算作业；

步骤14：根据作业日志判断作业是否开始进行CFD计算，如果是转15，如果否，则转步骤5；

步骤15：基于预运行的过程结束，等待CFD计算完成进行其它操作。