CN106502358A - 一种新能源服务器系统的多模式电源管理策略及装置 - Google Patents

Abstract

本发明公开了一种新能源系统的多目标电源管理技术，旨在提供一种新能源驱动的服务器的控制系统及方法。该系统中,计算机服务器由主电源和备用电源两组电源驱动,主电源为输出功率不恒定的新能源系统,备用电源为可充电储能系统；本发明为计算机服务器定义了多个不同的电源管理模式，每个模式能够借助特定的电源管理固件完成一种电源控制操作；在计算机服务器运行过程中，中央电源管理控制器通过监控装置获得服务器的负载功耗数据，同时记录不同电源管理模式下的功耗和性能优化评估结果。本发明借助增强学习算法，动态选择适合的电源管理模式，从而实现对服务器负载性能、新能源系统能效、储能设备寿命等实现多目标优化，具有控制灵活，稳定性好，可拓展性强等特点。

Description

一种新能源服务器系统的多模式电源管理策略及装置

技术领域

本发明属于计算机服务器供电管理与计算机机器学习应用的交叉领域，尤其涉及一种针对新能源发电驱动的计算机服务器的多模式智能电源管理策略和装置。

背景技术

如今大规模计算机系统面临着两个难题：高能耗开支和高间接污染。随着“云计算”和“大数据”的兴起，服务器市场呈现持续扩张的态势。不断攀升的计算机功耗不但加重运营商的运营成本，还同时会对生态环境造成难以逆转的影响。传统数据中心服务器主要靠基于化石能源(如煤)发电的公用电网供电，因而不可避免地造成间接性碳排放。据权威咨询公司麦肯锡2008年的季度报告显示，全球IT公司所拥有的服务器系统在2020年前将可能成为最大的温室气体排放者之一，年温室气体排放量达十五亿吨。可见，在能源供求和气候变化日趋紧张的形势下，对传统服务器系统的依赖将无疑制约信息社会的进步。

伴随着全球对发展节能环保型产业的迫切需求，绿色计算作为一种新型信息技术发展模式逐渐受到人们的关注。一方面，绿色计算强调对计算机系统的功耗进行动态限制，以降低能耗；另一方面，绿色计算还注重借助新能源来驱动服务器系统，以降低碳排放。通过设计智能的新能源服务器电源管理系统，我们能够在环保节能的基础上实现计算机性能的可持续进步。近些年来，许多知名公司如微软，IBM，eBay，Facebook，Google，和Apple等都开始把探索绿色计算作为企业的一项长期能源和环保战略，并积极尝试把相关技术用于实践。

本申请所涉及的电源管理策略及装置主要针对新能源驱动的绿色服务器系统。当可再生能源(如风能和太阳能)作为主要发电设备集成到服务器的本地供电系统中时，其输出功率的波动性会严重妨碍计算机设备的正常运行。对于绿色服务器系统而言，确保其稳定高效运行的关键在于维持功耗供需间的平衡。下面介绍本领域常用的和比较前沿的解决方法。

方法一是以能效为核心的电源管理方式。这种方法强调通过控制计算机服务器自身的功耗需求来应对新能源功率供给的波动性。目前主要有两种调整服务期功耗需求的手段，其一是借助处理器的动态时钟频率调节等硬件手段来操纵服务器的平均功耗水平，其二是通过延迟负载任务的执行等软件调度手段来调整服务器的峰值功耗发生时间。这种以能源为核心的电源管理虽然能够最大化的实现对新能源供给的匹配，但却牺牲了服务器负载的性能。此外，频繁的服务器功率调节和开关机导致硬件温度的频繁变化，这会加速电路板的老化。

方法二是以性能为核心的电源管理方式。这种方法强调通过借助备用的储能设备或者市电系统来解决新能源输出波动环境下的供电不足问题。由于该方法不需要对服务器的软硬件系统施加任何用电限制，因此能够最大化的满足负载对运行性能和服务可用性的需要。但可这种方法的主要缺点是需要为备用供电设备承担额外的成本，供电系统切换造成的能效损失，以及频繁高强度使用下造成的储能设备损坏。

本申请主要提出的基于机器学习的新能源服务器多模式电源管理策略及装置的主要 创新点有两个方面。首先，本发明致力于融合以上两种互斥方式的优点，有机地集成多种以能效为核心的电源管理方式和以性能为核心的电源管理方式。其次，本发明着眼于设计一种能够自主优化的新能源绿色计算机系统，以应对复杂的新能源供电环境和计算机负载波动环境。本发明主要基于以下三点技术背景：

处理器核动态功率调节。目前面向服务器的先进多核处理器一般支持多种功率调节模式，这包括对每个核的供电电压调节(Dynamic Voltage Scaling)，对每个核的时钟频率调节(Dynamic Frequency Scaling)，对核的功率钳制(Per-Core Power Gating)等。

分布式储能。近年来以Google,Facebook,微软等公司为首的数据中心已经开始部署面向服务器的分布式储能系统(Distributed Energy Storage)。这种储能设备区别于传统的中央式非间断电源(UPS)，特点是以小容量大规模近距离的方式直接安装在服务器机柜旁边。分布式储能的优点是避免了传统中央式UPS的双变换(Double-Conversion)造成的电能损失，同时还能在服务器层面提供灵活细粒度的供电优化，此外它还具有更好的扩展性。

增强学习技术。增强学习技术(reinforcement learning)是机器学习中的一个领域，强调如何基于环境和系统自身状况而行动，以期获得最大的长期利益。近年来随着人工智能技术的不断发展，智能系统越来越受到人们重视。基于增强学习技术的系统控制器一般具有两个优点。首先它不需要对自身和环境的精确建模，但却能自适应的改变控制策略以实现长期运行过程中的目标优化。其次它具有很好的在线运行效率和扩展性，因此可以很方便的以硬件控制器的方式集成到实际系统中来。

发明内容

本发明的目的在于，针对目前新能源计算机系统无法兼顾性能和能效的问题，提出一种基于增强学习技术的多模式电源管理方法和装置，该方法集成了多类基本的电源控制模式并能够对各个电源控制模式的效能进行评估，从而实现在复杂多变的电力供需环境下选择有效的电源控制模式，实现绿色计算机系统的性能和能效的长远均衡。

为达到上述目的，本发明一方面提供了一种新能源服务器系统的多模式电源管理策略，具体技术方案包括如下步骤：

(a)根据新能源绿色服务器的具体运行环境,依据某一和系统运行直接相关的指标(如服务器功耗范围,实时的储能容量,平均负载率等)将系统所有运行状态划分为q个不同区间{S₁,S₂,…S_i…S_q}，其中S_i表示第i种运行状态；

(b)定义电源管理模式状态寄存器(以下简称状态寄存器)；所属寄存器内存储代表p种不同电源控制模式的代码集合{M₁,M₂,…M_j…M_p},任何一个给定代码M_j都对应一个唯一的特定电源管理固件(firmware)，所有的代码同时能够共享一个通用的电源管理固件；

(c)定义电源管理缓存，用以存储负载的历史功耗数据，服务器的各个计算单元(如处理器核)的实时性能数据，以及用于智能电源调度的状态学习表；所述历史功耗数据的记录可以是粗粒度的记录(如每隔1分钟记录一次)，也可以是细粒度的记录(如每隔1秒记录一次)；所述实时性能数据的选择可以是衡量当前周期负载平均性能的平均任务吞吐量，也可以是衡量当前周期总体性能的累计任务吞吐量；所述状态学习表是一个二维数组,能够为每一对 [状态S，模式M]的组合单元存放一个收益值Q，该收益值的计算模型可以根据需要而定,但不论取什么计算模型,其都能反映在任意一种运行状态S_i下将功耗控制模式M_i应用于绿色计算机系统后系统对自身综合利益的度量；

(d)在系统初始化状态下，状态寄存器和电源管理缓存的数据设置为0；

(e)在初始化后，系统动态监控服务器的负载性能指标和功耗指标，并在每个控制周期开始时通过一个中央控制器管理负载的功耗；所述中央控制器能够根据电源管理缓存的内容更新状态寄存器，并能根据状态寄存器的值使能不同的电源管理固件；

(f)系统触发新的控制周期的条件是：服务器的运行状态S发生改变，或者距离上次控制周期触发的时间间隔大于等于某一预先设定的时间间隔T秒；

(g)一旦系统触发新的控制周期，系统首先生成随机数；

(h)系统进一步判断生成的随机数是否大于系统预先设定的切换概率ε，如果是,则选择一个随机电源管理状态，这允许系统在小概率情况下探索可能存在的更优电源管理模式，有助于避免系统徘徊在一个局部最优点，如果否，则读取状态学习表中的内容，选择最优的电源管理模式并在控制周期结束时对状态学习表进行更新。

在上述技术步骤(b)中，所述的电源控制模式既包含对计算机负载进行操作的模式(如处理器运行频率增加或减少一级,处理器运行电压增加或减少一级,服务器任务储存并临时待机,等等),也包括对与计算机负载相连的储能设备进行操作的模式(如调整储能设备最高放电量,调整储能设备累计放电量,储能设备单位时间内放电量)。

在上述技术步骤(b)中，所定义的不同电源控制模式的集合中，既包括以能效为核心的针对计算机负载的控制代码，也包括以性能为核心的针对备用能源系统的控制代码。

在上述技术步骤(h)中，通过状态学习表来选择最优电源管理模式并对状态学习标进行更新的具体步骤如下：

(h1)判断当前系统的运行状态,读取电源管理缓存中的状态学习表,查询对应于当前系统运行状态S₀的具有最大收益值Q₀的电源管理模式M₀,设置模式寄存器的值为该管理模式M₀，并保存当前系统的运行状态组合[S₀，M₀]和对应的收益值Q₀；

(h2)根据模式寄存器的值来选择对应的电源管理操作固件；

(h3)读取服务器各个计算单元在目前电源管理操作情况下的性能指标和功耗指标；

(h4)判断系统状态改变和当前控制周期结束这两个判断中是否至少有一条成立，如果否，则继续监控系统指标；如果是，则计算当前结束控制周期的奖励系数R，其值为平均负载性能除以负载功耗波动率，读取上一控制周期的预期收益Q_last，计算新的学习值Q_temp＝(1-α)×Q₀+α×(R+γ×Q_last)，将新的学习值Q_temp存到[S₀，M₀]组合对应的状态学习表格单元，然后把Q_last的值更新为Q₀

另外，本发明还提供了一种新能源服务器多目标电源管理装置，包括：

(1)系统初始化模块，在系统启动时定义电源管理参数的初始值；

(2)缓存维护模块，用以维护和配置多目标电源管理所必须的所有数据存储器；

(3)智能学习模块，用以寻找当前负载和供电状态下的最优电源管理模式；

(4)调度实施模块，根据状态寄存器指定的值来控制负载功耗需求和储能设备充放电；

本发明的一种新能源服务器多目标电源管理装置，所含的智能学习模块，具体包括：

(3.1)负载分析模块，用以储存和分析各个计算单元的实时数据吞吐量；

(3.2)功率分析模块，用以计算计算单元的功耗需求的波动值；

(3.3)收益分析模块，用以计算预期的收益值Q；

(3.4)数据输出模块，用以更新机器学习列表。

本发明的一种新能源服务器多目标电源管理装置，所述的调度实施模块，具体包括：

(4.1)负载管理模块，用以利用处理器电压频率调节来改变计算机单元的性能；

(4.2)储能调控模块，用以控制储能元件的充放电使能。

附图说明

图1为本发明一个实施例的总体概念图；

图2为本发明一个实施例的基于机器学习的多目标电源管理方法的控制流程图；

图3为本发明一个实施例的基于机器学习的多目标电源管理装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合附图对本发明的具体实施方式进行详细描述：

参考附图1所示，本实施例的基于机器学习的新能源服务器多目标电源管理策略中，要求具备多种电源管理控制固件(firmware)，每种功耗调控操作都有与之对应的特定电源管理固件，所有功耗调控操作同时具有共享的电源管理固件；这里每种特定电源管理固件和共享电源管理固件结合起来可以完成一种电源管理操作(比如升高负载运行频率)；电源管理操作的数目决定了本实施例中电源管理的目标数目；

预先定义电源管理缓存，用以存储历史功耗数据，实时性能数据，以及机器学习状态表；历史功耗数据可以是粗粒度的数据记录(如每隔1分钟)，也可以是细粒度的数据记录(如每隔1秒)，但不论记录间隔如何，它都能够反映负载在这期间的平均功耗；实时性能数据可以是每个计算单元如多和处理器核的累积吞吐量(处理的指令数目)，也可以是平均吞吐量，或者是瞬时最高吞吐量，但不论性能定义如何，它都应是一个值越大越好的状态量；

定义电源管理模式状态寄存器(简称状态寄存器)；所属寄存器内存储的任何一种代码都代表一个唯一的电源管理固件，状态转换控制器将根据状态寄存器的值来使能改固件，初始化状态下电源管理缓存和电源管理模式状态寄存器的数据皆为0。

在系统初始化后，参考图2所示，系统对服务器系统的电源管理模式控制流程如下：

步骤S1，生成随机数；

步骤S2，判断步骤S1中生成的随机数是否大于系统预先设定的切换概率ε，如果是，则执行步骤S201，如果否则执行步骤S3；

步骤501，选择一个随机电源管理状态，这允许系统在小概率情况下探索一个随机的电源管理模式，有助于避免系统徘徊在局部最优点；

步骤S3，判断当前系统的运行状态,读取电源管理模式寄存器中的机器学习状态表,查询 对应于当前系统运行状态的具有最大Q值的电源管理模式,设置模式寄存器的值为该管理模式，并记录当前系统的运行状态和新选择的Q值；

步骤S4，根据模式寄存器的值来选择对应的电源管理操作固件；

步骤S5，读取服务器各个计算单元在目前电源管理操作情况下的性能指标和功耗指标。

步骤S6，判断系统状态改变和当前周期结束两个判断中是否至少有一条成立，如果是，则执行步骤S7，如果否，则执行步骤S5；

步骤S7，计算奖励系数R，其值为平均负载性能除以负载功耗波动率，由于系统倾向于选择能够最大化累积R值的电源管理方式，因此能够优化平均负载性能和降低负载功耗波动。

步骤S8，读取上一控制周期的学习值Q_last和当前的学习值Q₀，计算新的学习值Q_temp＝(1-α)×Q₀+α×(R+γ×Q_last)，将新的学习值Q_temp存到上一控制周期的系统状态和电源管理模式对应的表格单元，把把Q_last的值更新为Q₀

参考图-3所示，本实施例的基于机器学习的新能源服务器多目标电源管理装置包括：系统初始化模块31，用以在系统启动时定义电源管理参数的初始值；缓存维护模块32，用以维护和配置多目标电源管理所必须的所有数据存储器，包括历史功耗数据缓存，实时性能数据缓存，电源管理模式状态寄存器，以及状态学习表；智能学习模块33，该模块和缓存维护模块32保持通信，用以借助机器学习模型来寻找当前负载和供电状态下的最优电源管理模式；负载调度实施模块34，用以根据电源管理模式状态寄存器指定的模式来控制服务器功耗需求和储能设备的充放电。

本实施例中的智能学习模块33又包括:负载分析模块331，用以储存和分析各个计算单元的实时数据吞吐量；功率分析模块332，用以计算计算单元的功耗需求的波动值；收益分析模块333，用以计算预期的收益值Q；数据输出模块，用以更新机器学习列表。

本实施中的负载调度实施模块34又包括：负载管理模块341，用以利用处理器电压频率调节来改变计算机单元的性能；储能调控模块342，用以控制储能元件的充放电使能，从而在负载供电不足或者波动性剧烈时提供备用电能。

本实施例的基于机器学习的新能源服务器多目标电源管理装置可以是任何一台可编程的控制器，嵌入式系统，微型计算机，或者专用服务器。该可编程的控制器/嵌入式系统/计算机/服务器内执行上述建立的功能模块，并且，该控制器/嵌入式系统/计算机/服务器具有与服务器机组和储能设备进行网络通信的功能，以达到动态管控负载和能源的目的。当然，本领域技术人员应注意的是，实施例中的装置中的模块可以按照实施例的描述分布于实施例的装置中，也可以进行相应变化而安置于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。具体可根据需要而定。

以上的实施例只是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (8)

1.一种基于机器智能的新能源服务器多模式电源管理策略，其特征在于，包括以下步骤：

步骤1：预先根据绿色计算机系统的运行环境将其所有运行状态分割为任何q个不同类型{S₁,S₂,…S_i…S_q}，其中S_i表示第i种运行状态；

步骤2：预先根据绿色计算机系统的配置情况定义其所有支持的p种电源管理模式集合{M₁,M₂,…M_j…M_p}，其中M_j表示第j种电源管理模式的代码；

步骤3：预先建立用于优化系统运行状态的状态学习表，所述状态学习表内为每一对[S，M]组合存放一个收益值Q，该收益值表明在任意一种运行状态S_i下当把功耗控制模式M_i应用于绿色计算机系统后一段时间后的预期收益为Q_i，状态学习表内所有单元的初始值为0；

步骤4：预先建立用于设定电源管理模式的模式寄存器，所述模式寄存器内存放当前选定的电源管理模式，其初始值为0；

步骤5：在每个控制周期开始时,读取状态学习表,评估当前负载运行状态,并查找对应于当前运行状态的具有最大收益值的电源管理模式代码，将该代码存入模式寄存器。

步骤6：根据模式寄存器的值设定绿色计算机系统的电源管理模式,记录当前系统的运行状态S₀和控制模式M₀，以及他们在优化寄存器表中对应的收益值Q₀。

步骤6：在系统运行时，查询系统的运行状态，判断当前控制周期是否结束，若是，读取计算机运行状况并评估当前的整体系统效能，根据系统效能的反馈结果计算当前的功耗控制模式下的奖励系数R并更新状态学习表,返回步骤5；若否，则继续监控系统的运行状态。

2.根据权利要求1所述的基于可再生能源的绿色数据中心的负载调度策略，其特征在于，步骤6所述的奖励系数计算步骤如下：

步骤6.1：计算负载性能参数L，其值反映计算机负载整体的运行性能；

步骤6.2：计算功率波动参数V，其值为负载功率波峰高度和波动频率的乘积，给定一段时间的负载功率x，其波动频率计算为：

步骤6.3：计算R＝L/V。

3.根据权利要求1所述的基于可再生能源的绿色数据中心的负载调度策略，其特征在于，步骤7所述的状态学习表更新方法，具体包括：

步骤7.1：查询当前刚结束的控制周期对应的运行状态S₀和控制模式M₀，以及对应的收益值Q₀；查询上一控制周期的收益值Q_last

步骤7.2：根据系统预先定义的学习率α和折扣系数γ，运行过程中当前的收益值Q₀和上一周期的收益值Q_last，以及当前控制周期的实际奖励系数R，计算一个新的收益值：

Q_temp＝(1-α)×Q+α×(R+γ×Q_last)，；

步骤7.3：把Q_temp存入状态学习表内对应于[S₀，M₀]的单元内，把Q_last的值更新为Q₀。

4.根据权利要求1所述的基于机器智能的新能源服务器多模式电源管理策略，其特征在于，步骤1所述的运行状态分割指得是根据某一指标对系统的运行状态进行分区，这可以是对计算机负载功耗的变化范围进行分区，也可以是对计算机负载和储能元件的使用率进行分 区，在运行过程中通过对系统指标进行实时测量就可以判断系统当前所运行的状态。

5.根据权利要求1所述的基于机器智能的新能源服务器多模式电源管理策略，其特征在于，步骤2所述的电源管理模式集合中，既包括针对计算机负载的操作，也包括针对外部储能设备的操作，而且针对计算机负载的操作可以是面向硬件器件的控制如处理器电压电流调解，也可以是面向软件负载的控制如暂停新任务的调度。

6.一种基于机器智能的新能源服务器多模式电源管理装置，其特征在于，包括：

系统初始化模块，在运行初期对系统进行特征分析，定义运行状态和功耗模式；

缓存配置模块，管理和维护状态学习表和模式寄存器；

智能学习模块，对不同运行状态下所做功耗管理决策的收益进行学习；

调度实施模块，和服务器以及储能设备交互完成电源管理。

7.根据权利要求6所述的基于可再生能源的绿色数据中心的负载调度装置，其特征在于，所述的智能学习模块，具体包括：

负载分析模块，根据计算机负载的近期性能数据计算得出负载平均性能

功率分析模块，对统计得到的服务器功率波动进行分析计算；

收益计算模块，根据负载和功率特性计算上一控制环节的收益；

数据输出模块，与缓存配置模块交互完成收益值的更新。

8.根据权利要求6所述的基于可再生能源的绿色数据中心的负载调度装置，其特征在于，所述的负载调度实施模块，具体包括：

负载管理模块，完成处理器功率的调节；

储能调控模块，控制蓄电池参与充放电。