CN101943944B

CN101943944B - 一种基于空闲历史信息的计算阵列节能方法

Info

Publication number: CN101943944B
Application number: CN2010102820774A
Authority: CN
Inventors: 陈海涛; 卢宇彤; 周恩强; 谢旻; 曹宏嘉; 董勇; 蒋艳凰; 所光
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2010-09-15
Filing date: 2010-09-15
Publication date: 2012-07-04
Anticipated expiration: 2030-09-15
Also published as: CN101943944A

Abstract

本发明公开了一种基于空闲历史信息的计算阵列节能方法，目的是实现好的节能效果。技术方案是构造由能耗状态调节模块和能耗状态控制模块组成计算阵列节能系统，能耗状态调节模块构造计算结点的空闲历史信息队列，根据空闲历史信息设定计算结点进入S3休眠状态的时间点，将计算结点休眠的时间点传递给能耗控制模块。能耗状态控制模块根据能耗状态调节模块指定的时间点将空闲计算结点置于S3休眠状态，在已休眠计算结点被分配作业后唤醒计算结点。采用本发明能够有效控制计算结点的能耗状态切换次数，避免由于结点能耗状态频繁切换导致的系统不稳定，有效地实现计算阵列节能。

Description

一种基于空闲历史信息的计算阵列节能方法

技术领域

本发明涉及高性能计算系统计算阵列的节能方法。

背景技术

随着高性能计算系统技术的不断发展，新一代大规模并行计算系统的研制面临许多新的挑战。特别是随着系统性能的不断提升，规模越来越庞大，系统的能耗飞速增长，造成了大规模计算系统的能耗危机。系统能耗和系统性能的比值正成为高性能计算的主要评价指标之一。

高性能计算系统通常包括前端服务阵列、计算阵列、后端存储阵列三个组成部分。计算阵列由大量的计算结点组成，对外提供作业的执行服务。计算阵列作为高性能计算阵列的主要能耗部件，是能耗优化研究和工程设计的重点。目前常见的计算阵列节能方法包括：

1)限制可用结点数量的节能方法。根据计算系统的历史平均利用率P，关闭计算阵列中百分比为(1-P)的计算结点，达到节能的目的。该方法会增加作业的平均等待时间，降低用户满意度。此外该方法不能适应系统利用率频繁变化的用户环境。

2)定时休眠空闲结点的节能方法。管理员手工设定一个时间参数T。当计算结点空闲时间达到T后，将空闲结点置于S3休眠状态。S3休眠状态是ACPI(AdvancedConfiguration and Power Interface Specification)标准定义的计算系统的一种低功耗状态，相比开机状态能够节省90％-95％的能耗。广泛应用的slurm高性能资源管理系统即采用该手工设定时间参数T的节能方法。如果T参数的设定时间过短，则计算结点可能刚进入休眠状态，很快又被分配作业然后被唤醒，导致计算结点状态切换频繁，影响系统稳定性。如果T参数的设定时间过长，则计算结点空闲很长时间后才进入休眠状态，影响节能效果。

当前绝大多数计算结点生产厂商和通用操作系统均支持ACPI标准规定的S3休眠状态，为基于S3休眠状态的节能方法提供了支持。由于用户作业提交的不均衡特性和作业调度策略的部分保序特性，计算阵列运行过程中存在大量的空闲计算结点。如何对这些空闲的计算结点进行节能设计，是本领域技术人员极为关注的技术问题。

发明内容

本发明要解决的技术问题在于：针对高性能计算系统计算阵列的节能问题，提出一种基于空闲历史信息的计算结点节能方法，利用结点空闲时间的历史记录动态自适应地控制计算结点进入S3休眠状态，达到较好的节能效果，同时维持结点的能耗状态切换次数在一个可控的低水平。

为了解决上述技术问题，本发明的技术方案为：为每个计算结点建立一个独立的空闲历史信息队列，根据空闲历史信息队列对每个计算结点的能耗状态进行独立控制。每当计算结点上作业被释放时，结合管理员配置的结点能耗状态切换次数限制和空闲历史信息队列设定空闲结点进入S3休眠状态的时间点。结点从空闲状态切换到S3休眠状态、S3休眠状态切换到开机状态均算一次能耗状态切换。每当该计算结点从空闲状态加载作业或者S3休眠状态被重新唤醒然后加载作业时，将该次空闲的开始时间和空闲时间长度加入空闲历史信息队列。根据大量高性能计算系统的运行数据统计，结点的空闲时间长度具有相似性，根据结点的空闲历史规律预测结点未来的空闲时间长度具有较高的准确度，这奠定了本发明的理论基础。

具体技术方案为：

第一步，构造计算阵列节能系统。计算阵列节能系统是部署在高性能计算系统前端服务阵列中的服务器上的软件包，由能耗状态调节模块和能耗状态控制模块组成。能耗状态调节模块是节能优化决策模块，构造计算结点的空闲历史信息队列，根据空闲历史信息设定计算结点进入S3休眠状态的时间点，将计算结点休眠的时间点传递给能耗状态控制模块。能耗状态控制模块是节能优化实施模块，负责根据能耗状态调节模块指定的时间点将空闲计算结点置于S3休眠状态，在已休眠计算结点被分配作业后唤醒计算结点。

第二步，设定节能参数：历史信息队列的时间窗口HISTORY_WINDOW(单位为秒)，其取值范围为7天到1个月，其取值决定了历史信息队列中保存的记录的时间约束；计算结点一天中允许能耗状态切换的次数SWITCHS_LIMIT，其取值范围为2到10次；结点从空闲状态进入S3休眠状态的最短时间限制MINI_SUSPEND_TIME，其取值范围为1到5分钟，避免过于频繁的结点能耗状态切换。

第三步，能耗状态调节模块构造空闲历史信息队列，根据空闲历史信息设定计算结点进入S3休眠状态的时间点。方法是：

3.1构造空闲历史信息队列hqueue。空闲历史信息队列的每条记录包括结点空闲开始时间戳S、结点本次空闲时间长度J。每当计算节点进入空闲状态时，记录当前时间为计算结点的空闲开始时间m。此后当计算结点被分配作业时，当前时间为n，则在空闲历史信息队列中增加一条记录，该记录的值S＝m，J＝n-m。空闲历史信息队列按照J的值从大到小排序，J值大的记录放在队列前面。

3.2定期检查hqueue队列中的记录项，删除S值小于T1(T1＝当前时间-HISTORY_WINDOW)的过期历史记录。

3.3当计算结点上的作业全部结束时，能耗状态调节模块按以下方法动态设定允许该计算结点进入S3休眠状态的时间点SleepTime，达到节能目标。方法是：

3.3.1在该计算结点的hqueue队列中检索S值最小的记录，将该记录的S值记为earlist。当前系统时钟为now，则hqueue队列的时间跨度timewidth＝now-earlist。

3.3.2在timewidth时间区间内，计算允许的能耗状态切换次数switchlimits，

其中DAY为一天中的秒数，即24*3600。其中为下取整操作。

3.3.3从hqueue队列头开始检索前switchlimits条记录。如果hqueue队列中记录的总条数小于等于switchlimits，说明该计算结点历史空闲的次数低于允许的能耗状态切换限制，设定该计算结点进入休眠状态前的空闲时间长度为T2(T2＝MINI_SUSPEND_TIME)，则SleepTime＝now+MINI_SUSPEND_TIME，转第四步。如果hqueue队列中记录的总条数大于switchlimits，转3.3.4。

3.3.4设定该计算结点进入休眠状态前的空闲时间长度为T3(T3＝(hqueue[switchlimits].J+hqueue[switchlimits-1].J)/2，其中hqueue[x].J表示hqueue队列从队列头开始的第x条记录的结点空闲时间长度J值)，则根据空闲历史信息队列可预测该结点的能耗状态切换次数不会超过switchlimits限制。据此可计算允许该结点进入S3休眠状态的时间点

其中

为下取整操作。

第四步，能耗状态控制模块定期检测计算结点的状态，每当计算结点处于空闲状态而且当前时间超过计算结点能耗状态调节模块设定的休眠时间点SleepTime，则将该计算结点置于S3休眠状态。

第五步，高性能计算系统的资源分配软件负责分配用户作业所占用的计算结点，计算结点能耗状态控制模块检测到S3休眠状态的计算结点被分配作业后，调用操作系统提供的ACPI控制接口唤醒该结点。

与现有技术相比，采用本发明可达到以下技术效果：

1.本发明的第一步支持本发明具有较好的通用性，当前主流的计算结点厂商和操作系统厂商均支持S3休眠状态；

2.本发明的第二步和第三步支持本发明能够有效控制计算结点的能耗状态切换次数，避免由于结点能耗状态频繁切换导致的系统不稳定，甚至降低硬件的寿命；

3.本发明的第三步支持本发明能够根据系统历史运行状态自适应的调整结点的能耗状态，避免了人工干预，有效的实现计算阵列节能；

4.本方面的第四步支持本发明对应用透明，无需修改并行应用软件。

附图说明

图1为本发明的节能方法流程图。

具体实施方式

图1为本发明的节能方法流程图。第一步，构造计算阵列节能系统。计算阵列节能系统是部署在高性能计算系统前端服务阵列中的服务器上的软件包，由能耗状态调节模块和能耗状态控制模块组成。

其中DAY为一天中的秒数，即24*3600。其中

为下取整操作。

3.3.3从hqueue队列头开始检索前switchlimits条记录。如果hqueue队列中记录的总条数小于等于switchlimits，设定该计算结点进入休眠状态前的空闲时间长度为T2(T2＝MINI_SUSPEND_TIME)，则SleepTime＝now+MINI_SUSPEND_TIME，转第四步。如果hqueue队列中记录的总条数大于switchlimits，转3.3.4。

3.3.4设定该计算结点进入休眠状态前的空闲时间长度为T3(T3＝(hqueue[switchlimits].J+hqueue[switchlimits-1].J)/2，其中hqueue[x].J表示hqueue队列从队列头开始的第x条记录的结点空闲时间长度J值)，则根据空闲历史信息队列可预测该结点的能耗状态切换次数不会超过switchlimits限制。据此可计算允许该结点进入S3休眠状态的时间点其中

为下取整操作。

Claims

1.一种基于空闲历史信息的计算阵列节能方法，其特征在于包括以下步骤：

第一步，构造计算阵列节能系统，计算阵列节能系统是部署在高性能计算系统前端服务阵列中的服务器上的软件包，由能耗状态调节模块和能耗状态控制模块组成；能耗状态调节模块是节能优化决策模块，构造计算结点的空闲历史信息队列，根据空闲历史信息设定计算结点进入S3休眠状态的时间点，将计算结点休眠的时间点传递给能耗状态控制模块；能耗状态控制模块是节能优化实施模块，负责根据能耗状态调节模块指定的时间点将空闲计算结点置于S3休眠状态，在已休眠计算结点被分配作业后唤醒计算结点；

第二步，设定节能参数：历史信息队列的时间窗口HISTORY_WINDOW，其取值决定了历史信息队列中保存的记录的时间约束；计算结点一天中允许能耗状态切换的次数SWITCHS_LIMIT；结点从空闲状态进入S3休眠状态的最短时间限制MINI_SUSPEND_TIME；

第三步，能耗状态调节模块构造空闲历史信息队列，根据空闲历史信息设定计算结点进入S3休眠状态的时间点，方法是：

3.1构造空闲历史信息队列hqueue，空闲历史信息队列的每条记录包括结点空闲开始时间戳S、结点本次空闲时间长度J；每当计算节点进入空闲状态时，记录当前时间为计算结点的空闲开始时间m；每当计算结点被分配作业时，当前时间为n，则在空闲历史信息队列中增加一条记录，该记录的值S＝m，J＝n-m；空闲历史信息队列按照J的值从大到小排序，J值大的记录放在队列前面；

3.2定期检查hqueue队列中的记录项，删除S值小于T1的过期历史记录，T1＝当前时间-HISTORY_WINDOW；

3.3当计算结点上的作业全部结束时，能耗状态调节模块按以下方法动态设定允许该计算结点进入S3休眠状态的时间点SleepTime，达到节能目标，方法是：

3.3.1在该计算结点的hqueue队列中检索S值最小的记录，将该记录的S值记为earlist，当前系统时钟为now，则hqueue队列的时间跨度timewidth＝now-earlist；

3.3.2在timewidth时间区间内，计算允许的能耗状态切换次数switchlimits，其中DAY为一天中的秒数，即24*3600，

为下取整操作；

3.3.3从hqueue队列头开始检索前switchlimits条记录，如果hqueue队列中记录的总条数小于等于switchlimits，说明该计算结点历史空闲的次数低于允许的能耗状态切换限制，设定该计算结点进入休眠状态前的空闲时间长度为T2，T2＝MINI_SUSPEND_TIME，则SleepTime＝now+MINI_SUSPEND_TIME，转第四步，如果hqueue队列中记录的总条数大于switchlimits，转3.3.4；

3.3.4设定该计算结点进入休眠状态前的空闲时间长度为T3，T3＝(hqueue[switchlimits].J+hqueue[switchlimits-1].J)/2，其中hqueue[x].J表示hqueue队列从队列头开始的第x条记录的结点空闲时间长度J值，则根据空闲历史信息队列可预测该结点的能耗状态切换次数不会超过switchlimits限制，据此计算允许该结点进入S3休眠状态的时间点

第四步，能耗状态控制模块定期检测计算结点的状态，每当计算结点处于空闲状态而且当前时间超过计算结点能耗状态调节模块设定的休眠时间点SleepTime，则将该计算结点置于S3休眠状态；

2.如权利要求1所述的基于空闲历史信息的计算阵列节能方法，其特征在于所述HISTORY_WINDOW取值范围为7天到1个月；SWITCHS_LIMIT取值范围为2到10次；MINI_SUSPEND_TIME其取值范围为1到5分钟。