CN103116526A - 高性能异构并行计算机的最大功耗控制方法 - Google Patents

Abstract

一种高性能异构并行计算机的最大功耗控制方法，首先系统级功耗控制器在给定系统功耗约束的条件下，根据不同应用程序对系统整体效能的贡献和各并发作业的执行效能将功耗总额分配给并发执行的多个异构处理引擎HPE；然后，异构处理引擎功耗控制器采用应用感知的功耗控制策略，通过协调并行任务划分和处理器频率调节方法，将功耗pHPE分配给异构处理引擎HPE内的异构处理器。本发明具有原理简单、操作简便、能够优化并行系统执行性能、缩短任务执行时间、提高系统运行能效等优点。

Description

高性能异构并行计算机的最大功耗控制方法

技术领域

本发明主要涉及到高性能计算机的设计领域，特指一种适用于高性能异构并行计算机的功耗控制方法。

背景技术

异构并行系统通过集成通用处理器和高效能(单位功耗的计算性能)专用处理器，在具备高峰值性能的同时，有效提高了系统整体效能，已成为高性能计算机发展的重要趋势之一。虽然异构并行系统具有更高的峰值效能，但是系统绝对功耗依然很高。过高的功耗给系统封装、供电和散热带来极大的挑战，因此功耗不仅是系统优化的重要目标，而逐渐成为决定系统设计的重要约束条件之一。在2012年6月发布的TOP500排名中，前五台高性能计算机的系统平均功耗达到6.39MW。因此，近年来大量研究关注如何在满足系统最大功耗约束的条件下优化系统执行性能，称为最大功耗管理方法(peak power management)；然而，已有的功耗管理方法大都面向同构并行系统，未考虑不同计算单元间的速度或功耗差异，使之难以高效应用于基于加速部件的异构并行系统。

如图1所示，为典型异构并行系统的原理示意图，系统由四个计算模块组成，每个计算模块中均包含有数个主处理器和多种类型的加速部件。未来异构并行系统可能包含更多种类的计算资源，例如包括通用CPU、GPU、MIC或FPGA(Field Programmable Gate-Array)等等。通常，加速部件只负责执行特定计算任务，而不具备完整的任务管理和调度机制，因此加速部件大都需要在通用微处理器(即主处理器)的控制下执行。在当前主流异构并行编程模型中，多线程并行程序的每个线程应映射在主处理器上，而主处理器负责将线程内的特定计算过程加载到加速部件上执行。

在当前主流异构并行编程模型中，多线程并行程序的每个线程应映射在主处理器上，而主处理器负责将线程内的特定计算过程加载到加速部件上执行。将执行同一应用程序的主处理器和加速部件构成的处理器集合称为异构处理引擎(Heterogeneous Processing Engine，简称HPE)。以图1为例，系统中有两个并行作业并发执行，作业0占用一个计算模块，而作业1占用两个计算模块，系统中其他计算单元处于空闲状态。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简便、能够优化并行系统执行性能、缩短任务执行时间、提高系统运行能效的高性能异构并行计算机的最大功耗控制方法。

为解决上述技术问题，本发明采用以下技术方案：

一种高性能异构并行计算机的最大功耗控制方法，首先系统级功耗控制器在给定系统功耗约束的条件下，根据不同应用程序对系统整体效能的贡献和各并发作业的执行效能将功耗总额分配给并发执行的多个异构处理引擎HPE；然后，异构处理引擎功耗控制器采用应用感知的功耗控制策略，通过协调并行任务划分和处理器频率调节方法，将功耗pHPE分配给异构处理引擎HPE内的异构处理器。

作为本发明的进一步改进：

所述系统级功耗控制器采集固定周期监测系统中各类处理器的运行状态，以每秒完成的指令数BIPS作为衡量处理器执行速度的指标，利用计数器以固定周期采样应用程序在特定处理器上每秒完成的指令数BIPS，再通过功耗采样传感器监测处理器动态运行功耗。

所述系统级功耗控制器采用效能优先的系统级功耗分配策略，具体流程如下：

2.1、将异构处理引擎HPE中加速部件的运行速度归一化为主处理器的速度，在同一基准下衡量异构处理引擎HPE的执行性能；记异构处理引擎HPE中主处理器每秒完成的指令数为BIP₀，将主处理器和任意加速部件在当前运行频率下的执行速度分别记为V₀和V_k，其中1≤k≤nPRO-1，那么得到加速部件等效每秒完成的指令数BIP_k＝BIP₀×V_k/V₀，因此单个异构处理引擎HPE的速度为：

$\mathrm{bHPE}={\mathrm{BIP}}_0\×{\mathrm{\Σ}}_{k=0}^{\mathrm{nPRO}-1}{v}_k/v_0$

其中nPRO表示异构处理引擎HPE中包含的处理器数量；

2.2、以相对执行速度描述应用程序执行特征，相对执行速度定义为当前频率下BIPS与处理器最高频率下BIPS的比值，即：

rbHPE＝bHPE/bHPE^*

其中，bHPE^*表示所有处理器均运行在最高频率下HPE的BIPS值；

2.3、记该频率下异构处理引擎HPE的当前功耗配额为pHPE，则效能定义为相对执行速度与功耗开销的比值，即：

eHPE＝rbHPE/pHPE；

2.4、在获得各异构处理引擎HPE的效能值的基础上，将总功耗P_sys按照各程序的效能比分配给多个异构处理引擎HPE，即第i个HPE分配的总功耗为

$\mathrm{pHP}{E}_i=\frac{\mathrm{eHP}{E}_i}{{\mathrm{\Σ}}_{k=0}^{\mathrm{nHPE}-1}\mathrm{eHP}{E}_k}{P}_{\mathrm{sys}}$

其中nHPE为系统中并发执行的应用程序数量。

所述系统级功耗控制器采用应用感知的功耗控制策略，具体流程如下：

3.1计算异构处理引擎HPE中各处理器的最优运行频率

3.1.1如果当前功耗配额pHPE不小于ρψ^-α/(α-1)，则集合R中处理器的运行频率应小于其最大频率，此时可以通过公式

计算最优功耗值；

3.1.2如果当前功耗配额pHPE小于ρψ^-α/(α-1)，则将当前处理器集合R中效能(V/P)最高的处理器置于最高运行频率，同时将从集合R中排除该处理器，并从总功耗中减去该处理器的功耗，并继续执行上述判断过程，其中

ψ＝max{V_i/P_i|0≤i≤m-1}；

3.2由于实际处理器只支持离散频率值，因此选择不超过的最大物理频率f_i；如果此时各处理器的功耗总和小于功耗约束，则在满足功耗约束的条件下提升部分处理器的运行频率；

3.3重新调整异构多处理器负载；

3.4根据确定的处理器运行频率值，调用频率调节模块执行调频操作。

与现有技术相比，本发明的优点在于：

1、本发明的高性能异构并行计算机的最大功耗控制方法，其系统级功耗控制器以相对执行效能划分系统功耗，可以在兼顾并发作业间公平性的同时，优化系统整体效能；

2、本发明的高性能异构并行计算机的最大功耗控制方法，在应用时通过理论分析，HPE级功耗控制器可以近似最优的功耗划分策略，高效利用异构并行处理的效能优势。

附图说明

图1是典型异构并行系统示意图。

图2是本发明的整体逻辑示意图。

图3是异构处理引擎功耗控制器调用点示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

本发明将执行同一应用程序的主处理器和加速部件构成的处理器集合称为“异构处理引擎”(Heterogeneous Processing Engine，简称HPE)。设HPE由m类处理器组成，记为R＝{r₀，...，r_m-1}，其中第i类处理器r_i的数量记为N_i，其在最高频率下的动态功耗和速度分别记为P_i和V_i，速度是指处理器单位时间内完成的任务量。根据CMOS电路功耗公式，处理器的动态功耗与运行频率的关系可近似表示为p＝Cf^α，其中C是与体系结构相关的常数，系数α在2到3之间，由此可知，处理器的动态功耗与运行频率的α次方成正比关系。

如图2所示，为本发明进行功耗控制的逻辑示意图，本发明提出了融合两级功耗管理技术的系统功耗管理逻辑。首先，系统级功耗控制器在给定系统功耗约束的条件下，将功耗总额分配给并发执行的多个异构处理引擎(HPE)，其分配策略既应考虑不同应用程序对系统整体效能的贡献，还应考察各并发作业的执行效能，在兼顾并发作业公平性的同时优化系统整体效能，以避免部分应用程序由于得不到足够的功耗而被饿死。其次，异构处理引擎功耗控制器(HPE级功耗控制器)采用应用感知的功耗控制策略，通过协调并行任务划分和处理器频率调节技术在满足功耗约束的条件下优化异构并行处理性能。异构处理引擎功耗控制器负责将功耗分配给引擎内的异构处理器。由于HPE中各个异构处理器具有不同的执行速度和功耗开销，因此如何在满足功耗约束的条件下，优化HPE的整体性能是问题的关键。

如图3所示，为采用应用感知的功耗控制策略时HPE级功耗控制调用点的示意图。以类OpenMP程序为例，主要由串行段和以编译指导语句标识的并行段组成。因此，本发明以串行段和并行段的入口点作为应用感知的功耗控制器的调用点。而传统的应用透明的功耗控制方法是以固定的时间间隔监测系统功耗情况，采用对应用透明的控制策略。虽然该方法具有较好的移植性，但是忽略了应用程序在异构处理器上的执行特性。

考虑异构处理器间的功耗和速度差异，如何协调不同处理器的负载和运行频率以在满足功耗约束的条件下最大化并行执行速度是异构处理引擎功耗控制器进行控制的核心，其具体实施步骤如下：

第一步，采集固定周期监测系统中各类处理器的运行状态，主要包括忙闲状态、指令吞吐率、运行功耗和运行温度。

以每秒完成的指令数BIPS(Billion Instructions Per Second)作为衡量处理器执行速度的指标，当前主流高性能处理器大都集成有统计该信息的计数器，并可以通过Intel公司提供的性能计数器PCM(Performance Counter Monitor)以固定周期采样程序在特定处理器上每秒完成的指令数BIPS；再通过功耗采样传感器监测处理器动态运行功耗，即基于当前高性能微处理器内集成的功耗传感器和温度传感器，以固定周期监控处理器的执行状态；然后，将上述监控信息实时传递给系统级功耗控制器。

第二步，执行系统级功耗控制器的算法，根据给定的系统功耗约束，将功耗总额分配给并发执行的多个异构处理引擎(HPE)。系统级功耗控制器不关心应用程序的具体执行过程，因此采用应用透明的控制方式，即以固定周期执行功耗控制过程。系统级功耗控制器的目的是在满足系统功耗约束的条件下尽可能提高系统整体的执行效率，同时应尽可能保证并发应用间的公平性，因此采用效能优先的系统级功耗分配策略，具体如下：

2.1、由于不同类型的处理器具有不同的指令集体系结构(Instruction Set Architecture)，因此直接比较不同类型处理器的BIPS绝对值有失公平。因此，本发明首先应将加速部件(GPU等)的运行速度归一化为主处理器(CPU)的速度，在同一基准下衡量异构处理引擎HPE的执行性能。记HPE中主处理器每秒完成的指令数为BIP₀，将主处理器和任意加速部件在当前运行频率下的执行速度分别记为V₀和V_k，其中1≤k≤nPRO-1，那么可得加速部件等效每秒完成的指令数BIP_k＝BIP₀×V_k/V₀，进而可知，单个异构处理引擎HPE的速度为：

$\mathrm{bHPE}={\mathrm{BIP}}_0\×{\mathrm{\Σ}}_{k=0}^{\mathrm{nPRO}-1}{v}_k/v_0$

其中nPRO表示异构处理引擎中包含的处理器数量。

2.2、由于应用程序本身的特征，不同的应用程序具有各不相同的BIPS，因此直接根据绝对BIPS值划分系统功耗可能会恶性地延长部分本身具有较小BIPS的应用程序的执行时间，难以保证并发任务间的公平性。因此，本发明以相对执行速度描述程序执行特征，相对执行速度定义为当前频率下BIPS与处理器最高频率下BIPS的比值，即：

rbHPE＝bHPE/bHPE^*

其中，bHPE^*表示所有处理器均运行在最高频率下HPE的BIPS值。

2.3、记该频率下异构处理引擎HPE的功耗为pHPE，则效能定义为相对执行速度与功耗开销的比值，即：

eHPE＝rbHPE/pHPE

2.4、在获得各HPE的效能值的基础上，将总功耗P_sys按照各程序的效能比分配给多个异构处理引擎HPE，即第i个HPE分配的总功耗为

$\mathrm{pHP}{E}_i=\frac{\mathrm{eHP}{E}_i}{{\mathrm{\Σ}}_{k=0}^{\mathrm{nHPE}-1}\mathrm{eHP}{E}_k}{P}_{\mathrm{sys}}$

其中nHPE为系统中并发执行的程序数量。

根据上述步骤二中所执行的功耗分配算法，系统级功耗控制器以固定的周期执行功耗控制过程，即根据各应用程序在前一个控制周期的运行效能eHPE_i，结合当前系统功耗约束，计算各应用程序在下一个控制周期的功耗约束，并传递给下一级功耗控制器。

第三步，执行异构处理引擎功耗控制器算法，将功耗分配给引擎内的异构处理器，并调用频率调节模块执行功耗控制操作，方法是：

3.1计算各处理器的最优运行频率

3.1.1如果当前功耗配额pHPE不小于ρψ^-α/(α-1)，则集合R中处理器的运行频率应小于其最大频率，此时可以通过公式

计算最优功耗值；

3.1.2如果当前功耗配额pHPE小于ρψ^-α/(α-1)，则将当前处理器集合R中效能(V/P)最高的处理器置于最高运行频率，同时将从集合R中排除该处理器，并从总功耗中减去该处理器的功耗，并继续执行上述判断过程，其中

ψ＝max{V_i/P_i|0≤i≤m-1}。

3.2由于实际处理器只支持离散频率值，因此选择不超过的最大物理频率f_i。如果此时各处理器的功耗总和小于功耗约束，则在满足功耗约束的条件下提升部分处理器的运行频率。

3.3重新调整异构多处理器负载。为了最大化并行执行性能，算法根据不同类型处理器的实际运行速度按比例分配并行任务，即令n_i∝N_iV_if_i。

3.4根据确定的处理器运行频率值，调用频率调节模块执行调频操作。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种高性能异构并行计算机的最大功耗控制方法，其特征在于：首先系统级功耗控制器在给定系统功耗约束的条件下，根据不同应用程序对系统整体效能的贡献和各并发作业的执行效能将功耗总额分配给并发执行的多个异构处理引擎HPE；然后，异构处理引擎功耗控制器采用应用感知的功耗控制策略，通过协调并行任务划分和处理器频率调节方法，将功耗pHPE分配给异构处理引擎HPE内的异构处理器。

2.根据权利要求1所述的高性能异构并行计算机的最大功耗控制方法，其特征在于，所述系统级功耗控制器采集固定周期监测系统中各类处理器的运行状态，以每秒完成的指令数BIPS作为衡量处理器执行速度的指标，利用计数器以固定周期采样应用程序在特定处理器上每秒完成的指令数BIPS，再通过功耗采样传感器监测处理器动态运行功耗。

3.根据权利要求2所述的高性能异构并行计算机的最大功耗控制方法，其特征在于，所述系统级功耗控制器采用效能优先的系统级功耗分配策略，具体流程如下：

2.1、将异构处理引擎HPE中加速部件的运行速度归一化为主处理器的速度，在同一基准下衡量异构处理引擎HPE的执行性能；记异构处理引擎HPE中主处理器每秒完成的指令数为BIP₀，将主处理器和任意加速部件在当前运行频率下的执行速度分别记为V₀和V_k，其中1≤k≤nPRO-1，那么得到加速部件等效每秒完成的指令数BIP_k＝BIP₀×V_k/V₀，因此单个异构处理引擎HPE的速度为：

$\mathrm{bHPE}={\mathrm{BIP}}_0\×{\mathrm{\Σ}}_{k=0}^{\mathrm{nPRO}-1}{v}_k/v_0$

其中nPRO表示异构处理引擎HPE中包含的处理器数量；

2.2、以相对执行速度描述应用程序执行特征，相对执行速度定义为当前频率下BIPS与处理器最高频率下BIPS的比值，即：

rbHPE＝bHPE/bHPE^*

其中，bHPE^*表示所有处理器均运行在最高频率下HPE的BIPS值；

2.3、记该频率下异构处理引擎HPE的当前功耗配额为pHPE，则效能定义为相对执行速度与功耗开销的比值，即：

eHPE＝rbHPE/pHPE；

2.4、在获得各异构处理引擎HPE的效能值的基础上，将总功耗P_sys按照各程序的效能比分配给多个异构处理引擎HPE，即第i个HPE分配的总功耗为

$\mathrm{pHP}{E}_i=\frac{\mathrm{eHP}{E}_i}{{\mathrm{\Σ}}_{k=0}^{\mathrm{nHPE}-1}\mathrm{eHP}{E}_k}{P}_{\mathrm{sys}}$

其中nHPE为系统中并发执行的应用程序数量。

4.根据权利要求3所述的高性能异构并行计算机的最大功耗控制方法，其特征在于，所述系统级功耗控制器采用应用感知的功耗控制策略，具体流程如下：

3.1计算异构处理引擎HPE中各处理器的最优运行频率

3.1.1如果当前功耗配额pHPE不小于

则集合R中处理器的运行频率应小于其最大频率，此时可以通过公式

pHPE计算最优功耗值；

3.1.2如果当前功耗配额pHPE小于

则将当前处理器集合R中效能(V/P)最高的处理器置于最高运行频率，同时将从集合R中排除该处理器，并从总功耗中减去该处理器的功耗，并继续执行上述判断过程，其中

ψ＝max{V_i/P_i|0≤i≤m-1}；

3.2由于实际处理器只支持离散频率值，因此选择不超过

的最大物理频率f_i；如果此时各处理器的功耗总和小于功耗约束，则在满足功耗约束的条件下提升部分处理器的运行频率；

3.3重新调整异构多处理器负载；

3.4根据确定的处理器运行频率值，调用频率调节模块执行调频操作。

Images