CN113131584A - 一种数据中心电池充放电优化控制方法及装置 - Google Patents

Abstract

本申请公开了一种数据中心电池充放电优化控制方法及装置，方法包括：获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。上述方案利用深度学习神经网络和强化学习机制的优势，根据实时电价、电池的状态和寿命周期，选择合适的时间对电池进行充电和放电，实现数据中心电源的削峰填谷，以最大程度地使储能电池的蓄电收益最大化，从而降低数据中心的电费和总拥有成本。

Description

一种数据中心电池充放电优化控制方法及装置

技术领域

本发明涉及自动控制技术，更具体的说，是涉及一种数据中心电池充放电优化控制方法及装置。

背景技术

随着信息技术的不断普及和深入应用，需要收集、传输、处理和存储的数据越来越多，数据中心作为支持经济和社会活动的关键基础设施，其规模和功耗也将越来越大。数据中心运营商和管理人员正在尝试优化数据中心的能耗，并使用更多的清洁能源，以减轻高能耗带来的经济和环保压力。数据中心的能耗优化主要集中在升级高能效制冷、供电和IT设备进行升级换代、以及动态调整数据中心设备的运行状态以节省电能成本。

储能系统在数据中心可靠供电、降低峰值功率负载、新能源接入、节能等方面发挥着重要作用。目前，主流模式是数据中心使用UPS(Uninterruptible Power System，不间断电源)以提供短期的备用电源。在外部电网停电的情况下，以便于电源恢复和柴油机启动。当前UPS设备越来越多的采用锂离子电池进行储能。当前，领域内缺少一种对数据中心电池充放电进行合理控制的方法。

发明内容

有鉴于此，本发明提供如下技术方案：

一种数据中心电池充放电优化控制方法，应用于数据中心能源管理系统，包括：

获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；

获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；

基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

可选的，所述深度强化学习算法为基于深度Q网络算法DQN或所述深度Q网络算法DQN的改进算法。

可选的，所述深度Q网络算法DQN的改进算法为DDQN算法、基于DDQN的优先级经验重放算法或决斗网络架构。

可选的，所述深度Q网络算法DQN采用经验回放机制和目标网络来实现神经网络接近动作值时的稳定性和持续收敛。

可选的，所述深度Q网络算法DQN和所述目标网络均为多层全连接神经网络。

可选的，还包括：

采用储能充放电优化算法对所述数据中心电池充放电过程进行优化。

可选的，所述储能充放电优化算法的确定包括：

确定数据中心储能系统的动作空间和状态空间，所述数据中心储能系统包括数据中心电池；

确定数据中心储能系统对应的多层全连接神经网络的最佳神经元数目和最佳层数；

基于所述动作空间、所述状态空间、所述最佳神经元数目和所述最佳层数确定所述储能系统的储能充放电优化算法。

可选的，所述储能充放电优化算法采用线性整流函数作为激活函数。

可选的，将数据中心所有的电池划分为储能组和UPS组，其中，所述春储能组的电池用户储能，所述UPS组的电池用于提供不间断电源，所述储能组的电池充放电次数高于所述UPS组的充放电次数；

按照设定策略控制所述储能组和所述UPS组中的电池所属组别互换。

一种数据中心电池充放电优化控制装置，应用于数据中心能源管理系统，包括：

第一信息获取模块，用于获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；

第二信息获取模块，用于获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；

充放电控制模块，用于基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种数据中心电池充放电优化控制方法及装置，方法包括：获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。上述方案利用深度学习神经网络和强化学习机制的优势，根据实时电价、电池的状态和寿命周期，选择合适的时间对电池进行充电和放电，实现数据中心电源的削峰填谷，以最大程度地使储能电池的蓄电收益最大化，从而降低数据中心的电费和总拥有成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种数据中心电池充放电优化控制方法的流程图；

图2为本申请实施例公开的数据中心供电系统的结构连接关系示意图；

图3为本申请实施例公开的DQN的训练过程示意图；

图4为本申请实施例公开的另一种数据中心电池充放电优化控制方法的流程图；

图5为本申请实施例公开的基于DQN的电池充放电管理算法的伪代码；

图6为本申请实施公开的一种数据中心电池充放电优化控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请实施例公开的一种数据中心电池充放电优化控制方法的流程图，图1所示方法应用于数据中心能源管理系统。参见图1所示，方法可以包括：

步骤101：获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流。

数据中心电池，也即数据中心的储能电池，其最重要的两个参数是电压和容量，储能电池容量是指储能电池中能够储存的最大电量。理想情况下，电池在整个放电过程中保持恒定的电压。事实上，电池的电压和容量在放电过程中是不断变化的。对于传统的铅酸蓄电池，电池的容量随放电电流的变化而变化，其关系可以用下面的公式表示：

Iⁿt＝K

其中，I是放电电流；n是Peukert常数，其值在1.15～1.42之间；K是常数，与电池中的活性物质含量有关，表示电池的理论容量。

而对于锂离子电池，由于锂离子电池的化学特性与铅酸电池不同，因此需要对上述公式参数进行修正。锂离子电池的剩余能量是管理充放电的重要依据，在本申请中，数据中心能源管理系统可以使用库仑计数法估算电池中的剩余能量。第t个时隙的剩余能量可通过以下方式估算：

上式中，Est(0)是一天开始时存储在电池中的初始能量，Pst(t’)是在时隙t’的充电或放电功率，D是时隙的长度。

而对于电池容量和充放电电流，其可以是储能电池的固有参数，可直接获取。

步骤101后，进入步骤102。

步骤102：获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量。

其中的实时电价为公共电网的实时电价，数据中心IT设备工作量为数据中心IT设备的实时工作量。

为了更好的理解本申请方案，图2示出了数据中心供电系统的结构连接关系示意图，其中，Diesel generator为柴油发电机；Battery为电池；Public Grid为公共电网；Datacenter energymanagement system为数据中心能源管理系统；PDU即Power DistributionUnit，为电源分配单元；IT equipment是IT设备；AC bus为交流母线；AC/DC指交流/直流；Information and control为信息与控制；Current为当前输入。

结合图2，数据中心能源管理系统负责协调数据中心内储能电池(即数据中心电池)的充放电和IT设备的电源管理。储能电池与传统UPS(Uninterruptible Power System，不间断电源)集成，起到储能和电源备份的双重作用，即在数据中心用电高峰时段进行负载调峰填谷，在公共电网断电时提供临时不间断电源。柴油发电机为公共电网长期停电提供备用电源。

数据中心能源管理系统可以根据电网电价、储能电池电量、IT设备工作量等信息，控制储能电池的充放电动作和IT设备的功率，对柴油发电机的启停进行管理，实现能源管理功能的优化，降低数据中心的能耗和用电成本。

电池容量、充放电电流和电价会影响充放电行为的最佳选择。在本申请中，储能电池具有两种功能，因此将其容量分为两部分。电池容量的一部分用于在用电高峰时放电，在价格较低时充电，另一部分电池容量用于提供备用电源。电池的放电功率受放电速率的影响。放电速率越小，电池的放电功率就越大，可以放电的电量越多。

步骤103：基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

本实施例所述数据中心电池充放电优化控制方法，利用深度学习神经网络和强化学习机制的优势，根据实时电价、电池的状态和寿命周期，选择合适的时间对电池进行充电和放电，实现数据中心电源的削峰填谷，以最大程度地使储能电池的蓄电收益最大化，从而降低数据中心的电费和总拥有成本。

上述实施例中，所述深度强化学习算法可以为基于深度Q网络算法DQN(Deep QNetwork，深度Q网络)或所述深度Q网络算法DQN的改进算法。所述深度Q网络算法DQN的改进算法为DDQN算法、基于DDQN的优先级经验重放算法或决斗网络架构。本申请实施例中，所述深度Q网络算法DQN可以但不限制为采用经验回放机制和目标网络来实现神经网络接近动作值时的稳定性和持续收敛。其中，所述深度Q网络算法DQN和所述目标网络均为多层全连接神经网络。

具体的，强化学习是认知科学与计算智能相结合的产物。强化学习的核心思想是智能体从与环境的交互中学习，从而使agent具有优化决策的能力。由于强化学习在环境之间的转换过程非常复杂，为了简化强化学习建模问题，假设状态转换满足马尔可夫假设，即状态转换到下一状态的概率只与前一个状态有关，因此可以使用马尔可夫决策过程来描述和建模强化学习过程。关于其中的状态转换，智能体感知到的环境被称作状态，智能体不断地基于策略选择行动，相应的其状态就会发生变化，这个过程就是状态转换。

深度强化学习是将深层神经网络的感知能力与强化学习的自适应机制相结合，实现端到端的感知与控制。深度强化学习主要有两种方法，一种是基于价值函数的方法，另一种是基于策略梯度的方法。

本申请实施例中，基于价值函数的深度学习算法采用深度Q网络DQN，该模型利用卷积神经网络估计动作值(Q)函数。为了解决神经网络逼近动作值函数不稳定甚至不收敛的问题，DQN可以采用经验回放机制和目标网络来解决，DQN训练过程可以参见图3。

基于策略梯度的深度学习算法通过计算期望报酬的梯度噪声估计，并在梯度方向上更新策略，以逐步优化策略来获得最优策略。一些学者在确定性策略梯度和参与者关键算法的基础上，提出了一种无模型的深度确定性策略梯度算法。为了改善DQN算法在Q值估计过高、学习针对性弱、稳定性不足等方面的不足，行业内提出了双DQN(DDQN)、优先级经验重放算法和决斗网络架构。基于DQN和双Q学习算法的DDQN算法，解决了Q学习中动作函数Q值估计过高的问题；该算法根据在线Q值选择动作来估计策略，并使用目标Q来估计Q值。基于DDQN的优先级经验重放算法，其思想是考虑传输数据的重要性差异，频繁重放重要传输数据，从而实现更有效的在线强化学习。斗网络结构使用两个独立的估计器分别表示状态值函数和状态相关的动作优势函数，从而提高了优化过程的稳定性。

本申请实施例中，采用基于DQN的方法对数据中心储能电池的充放电进行控制。

图4为本申请实施例公开的另一种数据中心电池充放电优化控制方法的流程图，参见图4所示，方法可以包括：

步骤401：获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流。

步骤402：获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量。

步骤403：基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

步骤404：采用储能充放电优化算法对所述数据中心电池充放电过程进行优化。

其中，所述储能充放电优化算法的确定可以包括：确定数据中心储能系统的动作空间和状态空间，所述数据中心储能系统包括数据中心电池；确定数据中心储能系统对应的多层全连接神经网络的最佳神经元数目和最佳层数；基于所述动作空间、所述状态空间、所述最佳神经元数目和所述最佳层数确定所述储能系统的储能充放电优化算法。

具体实现中，可以先对储能充放电的系统建模。DQN及其改进方法适用于低维离散动作空间的强化学习。本申请中，数据中心每15分钟决定一次电池的充放电动作，采用DQN和其改进的方法对电池充放电进行管理，以降低数据中心的运行成本。

数据中心储能系统在电网断电时为数据中心提供备用电源，在高峰负载时段向数据中心供电，以最大限度地降低数据中心的成本、节约用电。根据电网停电时数据中心负载、电池容量和备用电源支持时间，共同确定用于提供备用电源的电池容量和用于削峰填谷的电池容量。数学关系如下：

E_st＝E_total-P_IT×T

其中，E_st是可用于调峰和填谷的电池容量，E_total是储能电池的现有充电容量，P_IT是IT设备的功率，T是电网断电时备用电源的支持时间。T的大小是根据数据中心运营的实际需要确定的，一般取值为10-30分钟。

智能体根据可用容量、充放电电流和电价等因素制定最佳的充放电决策。

接下来，定义了电能存储系统的充放电优化问题。

动作空间A＝{a＝P_st|P_st_∈P_st}，其中Pst为蓄电池在限定状态下不同充放电电流下充放电的动力装置，P_st的值是

范围内的限值，P_st＝0表示储能系统不充放电，P_st>0表示储能系统已放电，P_st<0表示储能系统已充电。

奖励函数是指系统在状态S下选择动作a时获得的奖励。在本发明中，我们将第t个时间片中的理想收益定义为奖励函数，放电奖励函数：Reward＝(Price(t)-Min_Price)×P_st×T；充电奖励函数Reward＝(Max_Price-Price(t))×P_st×T；其中T是时间片的长度，Price(t)是时间t的电价，P_st是储能系统的充电和放电功率，Max_Price是最高价格，而Min_Price是最低价格。

上述实现中，所述储能充放电优化算法采用线性整流函数作为激活函数。

关于储能充放电的优化算法，数据中心储能系统优化的状态空间为一维向量，且维数较小。本发明中Q网络和目标网络均采用多层全连接神经网络。输入层神经元的数量是状态空间数据向量的维数，输出层神经元的数量是动作空间中动作数，隐藏层的神经元数量大于输入层和输出层的神经元数量。通过参数调整实验，确定最佳的神经元数目和层数。ReLU(Rectified Linear Unit，线性整流函数，是一种人工神经网络中常用的激活函数)函数用作激活函数。

一个实现中，将数据中心所有的电池划分为储能组和UPS组，其中，所述春储能组的电池用户储能，所述UPS组的电池用于提供不间断电源，所述储能组的电池充放电次数高于所述UPS组的充放电次数；按照设定策略控制所述储能组和所述UPS组中的电池所属组别互换。

数据中心电池分别用于储能和UPS。UPS电池长时间处于充满电状态，充放电次数少。然而，储能电池需要频繁充放电。为了充分利用数据中心的电池寿命，我们将电池分为两组。这两组电池依次用于充放电以及UPS。这样，可以平衡电池的使用寿命，延长使用时间。

为了实现对储能电池的最佳充放电控制，采用DQN及其改进的算法对其充放电行为进行控制，使该算法能够快速收敛，并在复杂的工作环境中获得良好的性能，并最大限度地降低数据中心的能源成本。基于DQN的电池充放电管理算法的伪代码如图5所示。

参见图5，在算法1(Algorthm 1)中，伪代码的第2-4行用于随机动作选择，第9-17行用于深度强化学习，第17-20行用于电池组切换，这对于平衡数据中心电池的生命周期是必需的。随机动作选择采用ε-贪婪算法，同时考虑了最优动作的探索和利用。在探索阶段，算法选择概率为1-ε的Q值最高的动作，并选择概率为ε的其他任意动作之一。在训练开始时，将ε值设置得较大，以便算法可以尝试尽可能多地探索更多动作。在训练过程中，随着迭代次数的增加，探索率ε逐渐减小，使算法能更好地收敛。在DQN学习阶段之后，该算法直接选择具有最高Q值的动作。

该算法是基于DQN的电池充放电管理算法框架，改进的DQN方法将改变Q网络结构，训练方法或内存重放机制，但该框架和电池切换机制是稳定的。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

图6为本申请实施公开的一种数据中心电池充放电优化控制装置的结构示意图，参见图6所示，数据中心电池充放电优化控制装置60可以包括：

第一信息获取模块601，用于获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流。

第二信息获取模块602，用于获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量。

充放电控制模块603，用于基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

本实施例所述数据中心电池充放电优化控制装置，利用深度学习神经网络和强化学习机制的优势，根据实时电价、电池的状态和寿命周期，选择合适的时间对电池进行充电和放电，实现数据中心电源的削峰填谷，以最大程度地使储能电池的蓄电收益最大化，从而降低数据中心的电费和总拥有成本。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据中心电池充放电优化控制方法，应用于数据中心能源管理系统，其特征在于，包括：

获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；

获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；

基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

2.根据权利要求1所述的数据中心电池充放电优化控制方法，其特征在于，所述深度强化学习算法为基于深度Q网络算法DQN或所述深度Q网络算法DQN的改进算法。

3.根据权利要求2所述的数据中心电池充放电优化控制方法，其特征在于，所述深度Q网络算法DQN的改进算法为DDQN算法、基于DDQN的优先级经验重放算法或决斗网络架构。

4.根据权利要求2所述的数据中心电池充放电优化控制方法，其特征在于，所述深度Q网络算法DQN采用经验回放机制和目标网络来实现神经网络接近动作值时的稳定性和持续收敛。

5.根据权利要求4所述的数据中心电池充放电优化控制方法，其特征在于，所述深度Q网络算法DQN和所述目标网络均为多层全连接神经网络。

6.根据权利要求1所述的数据中心电池充放电优化控制方法，其特征在于，还包括：

采用储能充放电优化算法对所述数据中心电池充放电过程进行优化。

7.根据权利要求6所述的数据中心电池充放电优化控制方法，其特征在于，所述储能充放电优化算法的确定包括：

确定数据中心储能系统的动作空间和状态空间，所述数据中心储能系统包括数据中心电池；

确定数据中心储能系统对应的多层全连接神经网络的最佳神经元数目和最佳层数；

基于所述动作空间、所述状态空间、所述最佳神经元数目和所述最佳层数确定所述储能系统的储能充放电优化算法。

8.根据权利要求7所述的数据中心电池充放电优化控制方法，其特征在于，所述储能充放电优化算法采用线性整流函数作为激活函数。

9.根据权利要求1-8任一项所述的数据中心电池充放电优化控制方法，其特征在于，将数据中心所有的电池划分为储能组和UPS组，其中，所述春储能组的电池用户储能，所述UPS组的电池用于提供不间断电源，所述储能组的电池充放电次数高于所述UPS组的充放电次数；

按照设定策略控制所述储能组和所述UPS组中的电池所属组别互换。

10.一种数据中心电池充放电优化控制装置，应用于数据中心能源管理系统，其特征在于，包括：

第一信息获取模块，用于获取数据中心电池的参数信息，所述参数信息至少包括以下任意一项或多项：剩余电量、电池容量和充放电电流；

第二信息获取模块，用于获取环境信息，所述环境信息包括实时电价、数据中心IT设备工作量；

充放电控制模块，用于基于所述参数信息和所述环境信息，采用深度强化学习算法进行数据中心电池充放电的控制。

Images