CN110928705B - 面向高性能计算应用的通信特征分析方法及系统 - Google Patents

Abstract

本发明公开了一种面向高性能计算应用的通信特征模型方法，包括以下步骤：步骤一、提取应用通信特征；步骤二、分析通信特征；步骤三、建立通信特征模型；步骤四、扩展分析。本发明还提供了一种面向高性能计算应用的通信特征模型系统。本发明的有益效果如下：基于HPC综合应用环境的多层次、多手段数据采集方法对应用通信特征提取，利用多元线性回归模型，建立应用通信特征模型，精确预测典型高性能应用在E级计算下的通信行为特征；对高性能计算的应用做通信特征模型的建立，能够更快的找出程序的性能瓶颈，高效优化程序，提升了计算效率，更能合理的使用资源。

Description

面向高性能计算应用的通信特征分析方法及系统

技术领域

本发明涉及计算机通信技术领域，尤其涉及一种面向高性能计算应用的通信特征分析方法及系统。

背景技术

高性能计算系统利用大量处理单元的聚合计算能力来满足应用巨大的计算需求，其关键问题是实现众多计算节点的大规模集成和高效协同计算，核心技术涉及高性能计算机和大规模并行应用程序。 随着高性能计算的广泛应用，越来越多的用户使用并行方式执行程序用以提高大规模程序的执行速度、提升整体执行性能；这也伴随着具有良好移植性的消息传递接口(Message Passing Interface, MPI)的广泛使用，性能分析工具mpiP基于MPI对程序进行性能分析，通过mpiP报告让用户能够更轻易的对程序进行全局性能分析，这样不仅提升了整体性能分析效率，也能更为便捷的获取整个程序执行过程中每个进程的执行状态。

mpiP是一个基于mpi并行程序的轻量级性能分析库，其通过mpi的分析机制来收集mpi信息，因为只通过对目标代码进行捕获当前状态来进行信息统计，所以产生的开销很小。同时其独特的捕获状态的方式不受编程语言的束缚，但对目标代码的语法要求很高，不然易造成捕获错误的现象。

在相关技术中，以基于MPI和OpenMP两大主流编程模型来实现的并行程序来说，其性能分析能够更快的找出程序的性能瓶颈，高效优化程序，以至于在接下来即将到来的E级计算时代，性能分析能较为轻易地收集并行信息，数据分配信息，通信信息，让我们据此更为合理地分配负载给处理器，以达到大规模计算下的负载平衡，不仅提升了计算效率，更能合理的使用资源。而这也对生成大规模处理器下的性能分析报告提出了新的挑战。如何整合报告里已有的数据信息，如何更直观的体现程序运行状态下的通信占比，如何对各个进程执行时间以及执行状态做可视化。因此，如何将并行程序执行状态下的数据快速生成可视化状态图已然成为研究重点。

现阶段有针对MPI开发的性能分析工具mpiP，调用运行后会产生一个分析报告，报告包括进程基本信息、时间信息以及内存信息等模块。mpiP的性能分析报告包括以下部分：

（1）标题信息提供有关您的性能实验的基本信息。

（2）MPI Time，这是在当前进程下计算的进程时间和所有mpi的调用时间，同时，该也包括mpi调用百分比。

（3）Callsites，该部分标识了mpi的所有调用站点。

（4）Aggregate Time，这部分为聚合时间部分，该部分用以标识程序运行中时间消耗最多的前20个mpi调用站点。

（5）Aggregate Sent Message Size,这部分为聚合数据部分，该部分用以标识程序运行中数据传输最多的前20个mpi调用站点。

（6）Callsite Time statistics，该模块对每个调用站点的时间进行相关统计并显示其大小。

（7）Callsite Messsage Sent statistics，该模块对每个调用站点传输的数据进行相关统计及并显示其大小。

所有由mpiP捕获的信息都是任务本地的，它仅在报告生成期间使用通信，通常在实验结束时将所有任务的结果合并到一个输出文件中。而这只是一个全局的总览，对较大开销和影响性能的部分数据不能更为直观的体现，同时，对复杂的含多模块函数的程序进行分析难度更大。

随着并行计算会产生大量的跟踪数据和进程数据，而调用mpiP库所生成的报告会整合这些大量的数据便于用户进行后续的性能分析，但是大量的数据不便于用户进行单独分析，这就对程序的性能分析造成了一些不必要的困难，mpiP仅可生成数据报告， mpiP是一个用于MPI应用程序的轻量级分析库。

发明内容

本发明的目的是为了公开一种面向高性能计算应用的通信特征分析方法，其能够更快的找出程序的性能瓶颈，高效优化程序，以至于在接下来的E级计算时代，通信特征分析基于并行信息，数据分配信息，通信信息，实现据此更为合理地分配负载给处理器，以达到大规模计算下的负载平衡，不仅提升了计算效率，更能合理的使用资源。

为实现上述目的，本发明的技术方案为：

一种面向高性能计算应用的通信特征分析方法，包括以下步骤：

步骤一、提取应用通信特征，请参阅图1和2所示，具体包括如下步骤：

将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上；

从系统trace数据中提取通信特征；

步骤二、分析通信特征，根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；

步骤三、建立通信特征模型，从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

步骤四、扩展分析，根据步骤三得到的函数为基础，采用T = ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。

作为本发明的一种改进，在步骤一中，将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上具体包括：

通过编译器扫描和插桩，将数据采集摸的接口注入到源代码中，实现应用级的通信数据采集；将数据采集模块的接口嵌入到MPI 库或相关网络驱动中，实现网络通信各级数据的采集。

作为本发明的一种改进，在步骤二中，通过可视化工具对通信特征进行分析具体的包括：

通过可视化工具对静态的数据分布及动态的通信和计算进行分析。

作为本发明的一种改进，可视化工具对通信特征进行的可视化包括：程序结构可视化、数据分布可视化、通信可视化以及计算可视化。

本发明还提供了一种面向高性能计算应用的通信特征分析系统，包括：

应用通信特征提取模块，用于将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上，并从系统trace数据中提取通信特征；

通信特征分析模块，用于根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；

通信特征模型建立模块，用于从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

扩展分析模块，用于根据步骤三得到的函数为基础，采用T = ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。

本发明的有益效果如下：

1、基于HPC综合应用环境的多层次、多手段数据采集方法对应用通信特征提取，利用多元线性回归模型，建立应用通信特征模型，精确预测典型高性能应用在E 级计算下的通信行为特征；

2、对高性能计算的应用做通信特征模型的建立，能够更快的找出程序的性能瓶颈，高效优化程序，以至于在接下来的E级计算时代，通信特征分析基于并行信息，数据分配信息，通信信息，据此更为合理地分配负载给处理器，以达到大规模计算下的负载平衡，不仅提升了计算效率，更能合理的使用资源。

【附图说明】

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明基于时序的程序运行轨迹图；

图2为本发明特征提取结果图；

图3为本发明代码插桩图；

图4为本发明数据收集图；

图5为本发明数据排序图；

图6为本发明数据可视化图；

图7为本发明通信特征分析图；

图8为本发明提供的一种面向高性能计算应用的通信特征模型系统结构框架图。

【具体实施方式】

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种面向高性能计算应用的通信特征分析方法，包括以下步骤：

步骤一、提取应用通信特征，具体包括如下步骤：

将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上；

从系统trace数据中提取通信特征；

需要进一步说明的是，采取如下方式实现提取通信特征，具体包括自主设计处理器模拟器、在超算中心作业管理系统中部署统计模块、在应用程序中嵌入通信Trace 记录模块、在编译器中嵌入通信识别和提取功能、在MPI通信库中增加统计功能、在网络接口卡驱动程序中嵌入统计模块、实时监测接口芯片内部统计寄存器等。同时使用硬件计数器直接获取程序运行时的重要参数如Cache失效率、访存延迟、PC值等信息用于计算程序属性，如分支失效率、Flop/S等，并以此为基础进行程序性能建模，使用硬件计数器可以访问编译相关的信息。

根据不同网络层次和应用确定需要采集的通信数据类型（如网络迟延，计算节点规模等）以及采集的手段。在此基础上，设计提取应用通信特征的方法，以期在不影响超算系统性能前提下自动有效地收集正确的典型应用性能参数和通信行为特征数据。图1和2研究数据采集基本手段的实现，从而得到应用特征提取方法。

另外，从系统trace数据中提取通信特征，可以确保数据采集模块能完成相应数据采集的基本功能和所采集数据的准确性和完整性，同时也能够从网络通信的各个层级收集通信特征数据。

将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上，主要从以下几个方面来实现：

通过编译器扫描和插桩，将数据采集模块的接口注入到源代码中实现应用级的通信数据采集；还可将采集模块接口嵌入到MPI 库或相关网络驱动中，实现网络通信各级数据的采集。

请参阅图3所示，展示了代码插桩的整个过程。在代码插桩过程中，可以注意到，插桩的程序以及事件在一定程度上对源程序产生了干扰,其主要来源是插桩程序运行本身的时间消耗。由于调试事件和包装程序需要对节点的硬件时钟访问多次，同时一些信息需要存入缓冲区中，也会对程序产生干扰。这些干扰带来的直接结果使得程序的执行时间延长，同时可能造成不同节点上事件执行的顺序发生改变。在插桩程序中嵌入性能补偿模块，在补偿调试和性能事件带来的延迟的同时，保持了事件的相对顺序。保证了程序运行中节点间的发送、接收和阻塞等关系的一致性，从而最终防止程序运行中死锁的发生，从而最大化减小插桩语句对程序本身造成的影响。

步骤二、分析通信特征，根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；需要进一步说明的是，分析通信特征主要包括：

以模型驱动的多维数据收集、归并和整理，具体参照图4所示；

按时序的多维数据重排，具体参照图5所示；

多维数据的多姿态可视化呈现，具体参照图6所示；

其中，多维信息包括结点间通讯信息，函数执行信息，计算时长信息，I/O信息，负载平衡信息等。

其中，通过可视化工具对通信特征进行分析具体的包括：

通过可视化工具对静态的数据分布及动态的通信和计算进行分析，具体的，可视化工具对通信特征进行的可视化分析包括：

程序结构可视化，展示源程序中任何语句的中间表示结构，如数据分配语句的结构等；

数据分布可视化，对每一分布式数组，将它在不同处理器上的分布情况展示出来，了解各处理器的负载情况，将它和计算结合起来便更能清楚地认识到数据分布的正确性与合理性；

通信可视化，主要是展示哪两个处理器之间有通信联系，通信量如何通过减少通信或改进通信可以提高效率，这部分的可视化数据是在程序运行后得到的是程序的动态数据；

计算可视化，主要是指各处理器的负载情况，比如将各处理器的负载展示出来，有了这些信息，就可以优化计算，提高并行性。

步骤三、建立通信特征模型，从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

再结合图7所示，步骤四、扩展分析，根据步骤三得到的函数为基础，针对现有胖树结构采用T = ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。该实际通信行为特征包括通信对应用整体性能影响、聚合通信等，这样，对E 级规模HPC 的应用通信特征进行推导和预测，以指导下一代高性能互连网络系统设计。请参阅图8所示，本发明还提供了一种面向高性能计算应用的通信特征模型系统100，包括应用通信特征提取模块1、通信特征模型2、通信特征模型建立模块3以及扩展分析模块4。

所述应用通信特征提取模块1用于将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上，并从系统trace数据中提取通信特征；

所述通信特征分析模块2用于根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；

通信特征模型建立模块3用于从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

扩展分析模块4用于根据步骤三得到的函数为基础，针对现有胖树结构采用T =ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。

本发明的有益效果如下：

1、基于HPC综合应用环境的多层次、多手段数据采集方法对应用通信特征提取，利用多元线性回归模型，建立应用通信特征模型，精确预测典型高性能应用在E 级计算下的通信行为特征；

2、对高性能计算的应用做通信特征模型的建立，能够更快的找出程序的性能瓶颈，高效优化程序，以至于在接下来的E级计算时代，通信特征分析基于并行信息，数据分配信息，通信信息，据此更为合理地分配负载给处理器，以达到大规模计算下的负载平衡，不仅提升了计算效率，更能合理的使用资源。

尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里所示出与描述的图例。

Claims (5)

1.一种面向高性能计算应用的通信特征分析方法，其特征在于，包括以下步骤：

步骤一、提取应用通信特征，具体包括如下步骤：

将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上；

从系统trace数据中提取通信特征；

步骤二、分析通信特征，根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；

步骤三、建立通信特征模型，从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

步骤四、扩展分析，根据步骤三得到的函数为基础，采用T = ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。

2.根据权利要求1所述的一种面向高性能计算应用的通信特征分析方法，其特征在于，在步骤一中，将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上具体包括：

通过编译器扫描和插桩，将数据采集摸的接口注入到源代码中，实现应用级的通信数据采集；将数据采集模块的接口嵌入到MPI 库或相关网络驱动中，实现网络通信各级数据的采集。

3.根据权利要求1所述的一种面向高性能计算应用的通信特征分析方法，其特征在于，在步骤二中，通过可视化工具对通信特征进行分析具体的包括：

通过可视化工具对静态的数据分布及动态的通信和计算进行分析。

4.根据权利要求3所述的一种面向高性能计算应用的通信特征分析方法，其特征在于，可视化工具对通信特征进行的可视化包括：程序结构可视化、数据分布可视化、通信可视化以及计算可视化。

5.一种面向高性能计算应用的通信特征分析系统，其特征在于，包括：

应用通信特征提取模块，用于将数据采集模块的接口嵌入到应用软件或网络通信的多个层级上，并从系统trace数据中提取通信特征；

通信特征分析模块，用于根据提取的通信特征，构造映射函数集，通过验证测试进行修正，并通过可视化工具对通信特征进行分析，得出应用通信特征；

通信特征模型建立模块，用于从采集数据中抽取提炼各类典型程序的通信特征，提取应用通信特征的关键参数，建立某种类型的带参数的数学表达式，通过设置不同的参数组合运行程序，记录应用的通信数据，将运行过程中获得的通信数据代入所述数学表达式中，求解参数，则得到应用通信性能随关键参数变化的函数；

扩展分析模块，用于根据步骤三得到的函数为基础，采用T = ps(α+hγ)+kβ所示的α-β-γ模型提取局部点对点通信量，对全局归约通信采用二叉树模型T =log2p(α+kβ)计算其通信量，采用渐近迭代法实现模块通信与计算比获取，利用联想记忆和优化计算反馈式神经网络模型建立实际通信行为特征，利用非线性回归线性拟合加权最小二乘估计方法，建立通信行为与应用规模的非线性关系，建立应用通信特征模型，并对所述应用通信特征模型进行扩展性分析。