CN102326134B - 能量感知服务器管理 - Google Patents

能量感知服务器管理 Download PDF

Info

Publication number
CN102326134B
CN102326134B CN201080009556.7A CN201080009556A CN102326134B CN 102326134 B CN102326134 B CN 102326134B CN 201080009556 A CN201080009556 A CN 201080009556A CN 102326134 B CN102326134 B CN 102326134B
Authority
CN
China
Prior art keywords
server
energy
state
aware
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080009556.7A
Other languages
English (en)
Other versions
CN102326134A (zh
Inventor
N·贾殷
C·J·威廉姆斯
J·劳瑞斯
D·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102326134A publication Critical patent/CN102326134A/zh
Application granted granted Critical
Publication of CN102326134B publication Critical patent/CN102326134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5019—Workload prediction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

所描述的实现涉及能量感知服务器管理。一个实现包括自适应控制单元，该自适应控制单元被配置为通过在活动和不活动状态之间转变各个服务器并且以预定义级别维持服务器场的响应时间来在服务器场中管理能量使用。

Description

能量感知服务器管理
背景技术
数据中心通常包含大量的计算机(即，服务器)。这些服务器中的很多个暂时未被充分利用或甚至未被使用，但被维护以处理达到数据中心的请求的激增。例如，考虑在线购物站点的圣诞节高峰，或者通勤者交通信息站点下午晚些时候的拥塞。数据中心中当前使用的服务器即使在其空闲时也消耗大量的能量(对于某些服务器，空闲占用全部能量使用的70％)。关闭这些服务器可节省能量，但如果用户的激增到来且没有足够的开着机的服务器，则它可不利地影响web服务的响应时间。本发明概念可以以一种满足请求服务响应时间且考虑数据中心的能量使用的方式来管理数据中心。
发明内容
所描述的实现涉及能量感知服务器管理。更具体地，本专利申请涉及用于请求/响应服务的能量感知供应和负载分派的工具。
一个实现涉及自适应控制单元，它被配置为通过在活动和不活动状态之间转变服务器并且以预定义级别维持服务器场的响应时间来在服务器场中管理能量使用。例如，可在服务级协定(SLA)中定义预定义级别。
在另一个实现中，工具预测一组计算机的未来工作负载。各个计算机具有诸如开机/活动、睡眠和关机的至少两种能量状态。该工具制定用于所预测的未来工作负载的能量感知服务器管理策略，并且基于该能量感知服务器管理策略来调整各个计算机的能量状态。
例如术语“工具”可以指以上上下文和通篇文档中所准许的设备、系统、计算机可读指令(例如，一个或多个具有可执行指令的计算机可读存储介质)、组件、模块和/或方法。在各种实例中，可用硬件、软件、固件或其组合来实现工具。以上列出的示例旨在提供快速参考以帮助读者，并且不旨在限定此处所描述的概念的范围。
附图说明
附图示出了本申请中传达的概念的实现。所示实现的特征可通过参考以下结合附图的描述来更容易地理解。只要可行，各附图中相同的附图标记用来指代相同的元素。此外，每一个如图标记的最左边的数字传达其中首次引入该附图标记的附图及相关联的讨论。
图1示出用于根据本发明概念的某些实现来实施能量感知服务器管理概念的方法的示例。
图2示出用于根据本发明概念的某些实现来获得能量感知服务器管理的系统的示例。
图3示出用于根据本发明概念的某些实现来获得能量感知服务器管理的组件的示例。
图4-5示出与根据本发明概念的某些实现的能量感知服务器管理方法相关联的流程图。
具体实施方式
概览
本发明申请涉及能量感知服务器管理。简言之，本发明描述用于以预期的性能级别操作诸如服务器场的一组计算机并且降低能耗的概念。
本发明概念可采用响应于用户请求或“请求”的服务器场中的多状态服务器。当被共同地浏览时，请求可被认为是服务器场的“工作负载”。多状态服务器可具有处理请求的活动状态和不处理请求的不活动状态。某些多状态计算机可具有多种不活动状态。例如，睡眠、休眠、和/或关机可以是不活动状态的示例。处于不活动状态的服务器可使用比活动状态的服务器少得多的能量。但是，可能存在将不活动状态的服务器转变到活动状态中涉及的例如几秒钟到几分钟的等待时间段。此等待时间段可在附加的服务器可用于(即活动的)处理请求之前产生不想要的处理延迟。
因此，能量感知服务器管理可考虑或平衡若干参数，诸如降低能量使用且仍以及时的方式响应请求的等待时间和性能标准。图1以方法100的形式提供本发明概念中的某些的介绍性示例。在此情形中，在102预测或估计诸如服务器计算机的一组计算机的未来工作负载。该预测可涉及诸如几秒钟到几分钟的相对短的时间段。在此特定的情形中，各个计算机可具有两种或多种能量状态。例如，计算机可具有活动状态(即开机)和一种或多种不活动状态(即，关机、睡眠和休眠等)。
下面在题为“工作负载预测示例”下描述工作负载预测方法的详细示例。简言之，在某些实例中，工作负载预测可利用相对长期建模、相对短期历史、当前趋势、和/或外部知识(例如，商业项目、已调度的事件)等作为工作负载预测过程中考虑的参数。
长期建模可观察相对于一天中的时间、几周中的天数、一年中的时间、多年循环的诸如选择等的工作负载趋势。例如，每个工作日上午8点到9点之间可存在一致的工作负载需求，因为员工上班并在开始其一天时作出各种个人和/或工作相关的请求。
短期历史可涉及过去几秒钟或几分钟的用户请求级别。例如，受欢迎的电视节目上对网站的提及可能驱动接下来几分钟的对该网站的点击。过去几秒钟或几分钟内的向上趋势的指示可用于预测接下来几秒钟或几分钟的未来的请求。
当前趋势可涉及在工作负载预测过程期间接收到的用户请求。例如，当前趋势可随最近可用的时刻从请求的图形的形状中导出。该图形可以是不变的，或者可按时间序列分布(例如，线性、指数)变化。
外部信息可被认为是，不是从当前或过去的请求中获取的信息。相反，外部信息可以例如涉及过去数据中未表示的即将到来的事件。例如，外部信息可传达奥运会即将到来，并且在奥运会持续期间可能经历异常高的请求数量，因为用户会尝试下载来自事件的视频。
作为对请求数量的替换或补充，外部信息可涉及请求大小。例如，继续上面的示例，外部信息可指示在奥运会期间请求的数量可上升，并且每个请求的大小可能大于正常请求，因为请求往往涉及下载数据密集的视频。
以上描述提供非限制性的工作负载预测示例。其他示例可预测请求大小。所预测的请求大小可随后被用于工作负载预测中。总之，可能存在预测未来工作负载的很多方式。所预测的未来工作负载可随后用于以下描述的系统/方法等。
在104可确定用于所预测的工作负载的能量感知服务器管理策略。简言之，能量感知服务器管理策略可包括容量供应。在某些实现中，容量供应可被认为是抢先的(即，抢先的容量供应)，因为它可随着工作负载变化以在线、实时的方式进行。抢先的容量供应也可被认为是抢先的，因为它可被抢先地执行以屏蔽服务器在不同的电量状态之间转变所用的时间。这可与在事件已经发生“之后”执行决策和任何响应性动作的反应性决策制定形成对比。
换言之，处于其当前状态的一组计算机具有处理给定工作负载的容量。如果处于其当前状态的计算机的容量不同于用于处理所预测的工作负载的容量，则可采用容量供应以调整计算机中的某些的状态，以将未来容量与所预测的工作负载相对齐。
能量感知服务器管理策略可包括改变计算机中的一种或多种的状态(即，从活动状态转移到不活动状态，反之亦然)。能量感知服务器管理策略可平衡多个因素，包括但不限于该组计算机的能量使用、用于响应用户请求的及时性预期、预测/估计的置信度、和/或对与状态转变相关联的各个计算机的预期服务生命的影响。下面在题为“容量供应示例”下更详细地描述这些因素。
在106可基于能量感知服务器管理策略调整各个计算机的能量状态。例如，可将某些计算机从活动转移到不活动状态以节省能量。能量感知服务器管理策略还可指定如何在活动状态计算机之间分配请求。
能量感知服务器管理策略的另一方面可指定特定的计算机应当处于何种状态。可执行此项以改善计算机的可靠性。例如，如果将某些类型的计算机在活动和不活动状态之间转变过多次，则它们可能经历负面的长期结果。因此，能量感知服务器管理策略可指示一个服务器在诸如一天的给定时间段内不应被转变超过给定数量的次数。系统可跟踪“机器A”已被循环了多少次，并且如果机器A已被过于频繁地循环，则选择转变不同的机器。将在关于图2及在题为“状态转变示例”下详细描述能量感知服务器管理策略的各种方面。
系统配置的示例
图2示出可实现上述能量感知服务器管理的仅一个示例的系统200。在此情形中，系统200包括负载分派器202、自适应控制单元204以及一组四个服务器206(1)、206(2)、206(3)和206(n)。负载分派器202、自适应控制单元204和服务器206(1)、206(2)、206(3)和206(n)在各种实现中可以彼此搭配和/或分散。通常在210指示的用户可作出由负载分派器202接收的请求212(1)-212(n)。负载分派器根据能量感知服务器管理策略216和活动机器列表218将各个请求212(1)-212(n)发送到如214(1)-214(n)所示的各个服务器206(1)-206(n)。能量感知服务器管理策略216和活动机器列表218由自适应控制单元204生成并且发送到负载分派器202。
活动机器列表218反映能量管理控制决策220，由自适应控制单元204传达给服务器206(1)-206(n)。能量管理控制决策可被认为是通过控制各个服务器206(1)-206(n)的状态实现服务器级的能量感知服务器管理策略的控件。自适应控制单元204基于各种输入参数生成能量感知服务器管理策略126和活动机器列表218。在此实例中，输入参数包括但不限于性能计数器222、请求信息224、能量使用226、和/或输入请求工作负载(未具体示出)。
可将性能计数器222从服务器206(1)-206(n)发送到自适应控制单元204。性能计数器可指示各个服务器和/或服务器的集体集合操作的容量。
可从负载分派器202获取诸如响应时间的请求信息224。可以若干方式表现请求信息，诸如请求速率(即每单位时间的请求)、请求大小、和/或请求响应时间等。
可从各种源获取能量使用226，一个简单的源是服务器206(1)-206(n)的电源(未示出)上的能耗计量。尽管未具体示出，但其他实现可单独或结合整体能量使用来为各个服务器提供能量使用。自适应控制单元还可接收用于未具体示出的源的信息。例如，自适应控制单元可获取在服务级协定(SLA)中定义的性能信息。该性能信息可用于对能量感知服务器管理策略216的制定。此外，自适应控制单元可仅将能量感知服务器管理策略216的特定部分发送到负载分派器202。例如，能量感知服务器管理策略可包括被发送到负载分派器以定义如何将请求分派到服务器的分派逻辑。
在某些实例中，负载分派器202可用作负载平衡器，并将请求212(1)-212(n)均匀地分发给活动服务器206(1)-206(n)。在其他实例中，相对于活动服务器，负载分派器可以以相对高的频率将请求策略地分发给活动服务器的子集，从而将那些服务器保持在特定的容量，例如全部容量的70％。将会导致服务器的该子集超出特定容量的任何请求可被发送到活动服务器的第二子集。这样的配置可保持大多数活动服务器操作于特定的或期望的容量，且在保留角色中操作第二子集，从而改善能量效率。从一个角度来看，活动服务器的该第二子集可被认为是针对意外的工作负载尖峰的预防。
此外，基于从自适应控制单元204获取的信息(即，能量感知服务器管理策略216和/或活动机器列表218)，负载分派器202可对负载进行重新分发以远离正转变为不活动状态的任何服务器。
总而言之，在某些实现中，负载分派器202可将请求仅在活动服务器之间进行分发并对负载进行重新分发以远离正转变为不活动状态的服务器。
在系统200的所示配置中，自适应控制单元204可预测未来的工作流(即未来的请求)。自适应控制单元可制定以能量高效的方式处理未来工作负载的能量感知服务器管理策略。自适应控制单元在制定能量感知服务器管理策略中可考虑多个参数。这些参数可包括但不限于请求信息224、能量使用226、和/或性能计数器222。
总而言之，自适应控制单元204可经由能量管理控制决策220根据能量感知服务器管理策略来控制服务器206(1)-206(n)的状态。在所示配置中，自适应控制单元可运行于相对简单的闭环控制场景中，因为它可经由基于所接收的输入生成的输出来控制系统功能。
自适应控制单元通过接收与系统性能相关的输入数据来工作，诸如仅举数例，服务器中央处理单元(CPU)利用率、请求响应时间和能耗。可鉴于所预测的未来工作负载考虑输入数据，以确定如何处理所预测的未来工作负载。例如，调整处于每种能量状态的服务器的数量以平衡容量与所预测的工作负载，并因此节省能量。换言之，自适应控制单元可规定服务器206(1)-206(n)之间的能量状态从而以能量高效的方式处理所预测的工作负载。
在某些情形中，服务器206(1)-206(n)可采用被设计用于非服务器相关用途的处理器。例如，本发明概念可允许将设计用于上网本和其他移动应用程序的处理器有利地应用于服务器场景中。例如，可在当前配置的某些中利用Intel品牌的Atom处理器。Atom处理器在活动状态中是相对能量高效的，并且具有相比活动状态带来约90％能量节省的不活动睡眠状态。
不活动状态通常提供用于转变到活动状态的不同的等待时间。例如，真正的“关机”状态相比活动状态可带来高达99％的能量节省。但是，大量的能量节省是以相对长的转变等待时间为代价的。例如，从关机不活动状态到活动状态的转移等待时间可能是几分钟。作为对比，“睡眠”不活动状态可能带来例如90％的能量节省，但转变等待时间例如是10-20秒钟。这样长的转变的潜在的不利方面是如果工作负载预测实际上低估了未来工作负载，则关机的服务器将相对长时间地无法提供帮助。
“休眠”不活动状态可带来介于睡眠与关机不活动状态之间的能量节省和转变等待时间。例如，与活动状态相比，休眠可带来95％的能量节省和30秒钟的等待时间转变。注意在某些表征中，休眠被表征为深度睡眠。关于上述Intel的Atom处理器，活动状态能耗是28-34瓦特，但在睡眠状态中其消耗3-4瓦特，且休眠消耗1-2瓦特，在空闲处理器的能耗中二者至少降低了十倍。出于讨论目的提供上述不活动状态示例。应当理解，本发明概念不绑定于可由特定的服务器计算机提供的不活动状态的特定集合。换言之，可将节能功能应用于可被降低功率和/或断电的任何系统、设备、和/或组件。
往往在某些产品线中获得具有多种不活动状态的计算机，诸如笔记本计算机。提供多种不活动状态的产品线往往被设计用于独立的应用程序，诸如个人使用，而不是诸如服务器场的协调式应用程序。协调式应用程序中缺少这些特征的一个原因在于以高效和节能的方式控制各种计算机的复杂度/难度。
在单个使用场景中平衡性能和能效的复杂度甚至是无法忍受的。例如，如果笔记本计算机超时(即，如果未接收用户输入达到预定义时间段)则简单地被降低功率至不活动状态。超时方案不以任何方式试图预测未来的使用并且不以一种以能量意识方式满足未来的使用或对用户高效的方式来操作计算机。这样，当用户返回到已转变到不活动状态的这样的计算机时，用户必须提供某些输入并在计算机转变回到活动状态时进行等待。
能量感知服务器管理策略216可允许在诸如服务器场的集体设置中实现多状态计算机的潜在能效。简言之，能量感知服务器管理可确定何时在不活动状态和活动状态之间转变各个服务器206(1)-206(n)以服务当前和所预测的未来工作负载。
图3示出用于实现能量感知服务器管理的自适应控制单元204的逻辑模块的示例。在此情形中，逻辑模块被表现为工作负载预测模块304、策略或策略模块306，和状态调整模块308。
工作负载预测模块304可确定当前的工作负载并预测未来的工作负载。从一个角度，工作负载可被认为是将每单位时间的请求数量和请求的大小相乘。在涉及相对大量的请求的操作场景中，可以以相当高度准确度地计算平均请求大小。在那些情形中，工作负载可被简单地计算为将每单位时间的请求数量与平均请求大小相乘。工作负载预测模块可利用各种技术来预测未来的工作负载，上面介绍了各种技术中的一些，下面将更详细讨论其中的一些。简言之，在图2的系统中，工作负载预测模块304可利用请求信息224作为用于预测未来工作负载的输入数据。在其他实例中，工作负载预测模块可接收并利用外部信息。在某些实现中，工作负载预测模块可收集、建模并存储用于估计或预测未来工作负载的长期历史趋势。
策略模块306可制定用于满足由工作负载预测模块304提供的工作负载预测的能量感知服务器管理策略。例如，策略模块可将当前容量计算为活动服务器的数量和在单位时间内可由活动服务器处理的请求的数量。策略模块可计算用于所预测的工作负载的合适的容量。总而言之，能量感知服务器管理策略可包括处理所预测的工作负载的容量供应。
策略模块306可制定用于将服务器从当前配置重新配置为用于所预测的工作负载的合适的容量的能量感知服务器管理策略。例如，考虑涉及具有10个服务器的服务器场的假设场景，每个活动服务器每秒钟可处理10个请求。当前的工作负载是正由7个活动服务器处理的每秒钟67个请求。工作负载预测指示在未来的时间t+Δt时工作负载将是每秒钟38个请求。在那种情形中，策略模块可制定减少活动服务器数量的能量感知服务器管理策略。
在制定能量感知服务器管理策略时，策略模块306可在成本效益分析中包括多个因素。例如，策略模块可考虑使各个服务器活动和不活动多少次从而优化服务器寿命。服务器的寿命往往与在活动和不活动能量状态之间转变的次数成反比。另一个因素可以是定义系统200的性能级别的SLA。可被考虑的另一个因素是工作负载预测中的置信度级别。例如，在置信度级别为高的实例中，那么策略模块可推断四个活动服务器将足以用于所预测的工作负载，并且包括使另外三个服务器不活动已达到总共六个不活动服务器。如果置信度级别为低，则策略模块可制定维护五个活动服务器的能量感知服务器管理策略。
在某些实现中，策略模块306可在制定能量感知服务器管理策略中采用可包括诸如CPU、存储器、磁盘、网络等的不同参数或度量的性能学习模型。此外，为便于解释，以上讨论已对全部服务器进行相同的处理。但是，策略模块可制定识别和/或指出服务器之间的区别或非均匀性的能量感知服务器管理策略216。区别可以是服务器内部和/或外部的。例如，能量感知服务器管理策略可反映出各个服务器具有不同的容量、不同的电量占用量(footprint)和在能量状态之间不同的转变时间。类似的，服务器可受诸如温度热点、修复和维护任务的外部因素的影响。能量感知服务器管理策略还可指定将各个服务器转变到哪些不活动状态。例如，由于睡眠不活动状态提供回到活动状态的更快的转变，能量感知服务器管理策略可指定应将某些服务器保持在睡眠状态而将其他服务器转变到带来更多能量节省的不活动状态。
能量感知服务器管理策略可使用附加的因素来决定服务器转移。例如，对于诸如软件升级的修复/维护任务，将活动服务器转变到关机而将处于不活动状态的另一个服务器转变到活动从而不影响系统容量。
状态供应模块308可使对各个服务器的状态改变与由策略模块306提供的能量感知服务器管理策略保持一致。此外，状态调整模块可传达哪些服务器对负载分派器202(图2)是活动的，以避免负载分派器向不活动服务器发送请求。
工作负载预测示例
在一个实现中，可利用加权线性回归来实现工作负载预测。在此情形中，加权线性回归可被认为是一种形式的回归分析，其中使用一个或多个独立变量的数学函数来表示观察。例如，观察可以是诸如每秒钟的请求的从属变量。独立变量的示例可以是诸如时间的输入。对于加权线性回归，函数可被表达为回归系数的线性组合。加权线性回归的目标可以是降低(并且可能地最小化)观察和由函数所预测的值之间的平方的加权和。权重用于向不同的观察分配不同的重要性值。总之，此特定的工作负载预测方法将回归分析与历史趋势、长期模型、外部知识等相结合来预测未来工作负载。
容量供应示例
在某些特定的示例中，可利用性能学习模型中的机器学习来实现容量供应。在一个这样的情形中，容量供应采用分位数回归的机器学习方法，在分位数回归中，响应时间的条件分布的分位数被表达为输入工作负载(每秒钟的请求)和活动服务器的数量的函数。
此分位数回归方法考虑了如下事实，当服务器利用率较低并且随着输入工作负载接近服务器的处理能力而快速增长(例如，可能指数地)时，响应时间几乎线性地增长。换言之，容量供应方法可通过改变输入工作负载参数和活动服务器的数量以离线的方式获知系统的响应时间。随后，对于给定的SLA要求和对所预测的工作负载的估计，它计算满足所指定的SLA中的工作负载所需的服务器的数量。
状态转变示例
图4提供用于根据能量感知服务器管理策略实现状态转变的方法400的流程图。方法400始于框402。在框404，方法对服务器进行排序(即，服务器场的服务器或者另一组服务器)。框404可根据一个或多个参数对服务器进行排序。例如，可根据能量状态(即，活动或不活动)对服务器进行排序。此外，可在反映其相对能量节省的已排列组中对不活动服务器进行排序。例如，可列出活动服务器，随后跟着处于睡眠状态的不活动服务器，随后是处于休眠状态的不活动服务器，并且最后是关机状态。
框406对能量状态进行排序。在一个情形中，可基于在不活动和活动状态之间的转变等待时间对能量状态进行排序。另选地或另外地，可基于其能量使用或占用量对能量状态进行排序或排列。因此例如，可从耗能最多(即活动)到耗能最少(即关机)列出能量状态。
框408计算在未来时间(tf)的所预测的服务器需求(即工作负载)与在时间tf的可用容量之间的差值或Δ。以上描述了用于预测工作负载的技术。总而言之，框408用于识别在某些未来时间可用的服务器容量是否正好、过高或过低。
如果在框408，差值等于零(即所预测的工作负载等于未来的容量)，则方法继续至框410。框410此时停止控制服务器的过程，因为不需要容量调整。在诸如30秒钟的某些增量时间之后，方法随后返回至开始402并且重复该方法。
如果在框408，存在差值(即差值不为零)，则方法继续至框412。
框412(从框404引入的全部服务器中)识别在当前时间t和未来时间tf之间的过渡期间转移状态的一组服务器。换言之，框412标识正在状态之间进行转变和/或已被调度如此进行的服务器。在框408的差值是正数(即Δ＞0)的示例中，那么方法继续至框414，否则，如果差值为负(即Δ＜0)，则方法继续至框416。
在框414，方法通过标识转变到活动状态的不活动服务器来增加用于时间tf的服务器容量。以上在框404列出各个服务器的状态。考虑用于标识的不活动服务器不属于在412识别的集合。换言之，所标识的服务器是未在过渡期间进行转变或被调度转变的不活动服务器。
可利用各种其他参数来选择所标识的服务器。例如，可以考虑转变等待时间。例如，如果未来时间tf是30秒钟之后，则方法可考虑转变等待时间作为转变服务器的考虑。例如，如果从睡眠到活动的转变等待时间是20秒钟并且从关机到活动的转变等待时间是1分钟，则方法可从睡眠状态中选择服务器从而在未来时间tf(即30秒钟)完成转变。
方法还可考虑各个服务器在给定时间段内被转变的次数的数量。例如，如果睡眠状态的服务器之一已经转变了阈值数量的次数，则方法可选择转变低于阈值的另一个睡眠状态的服务器。在成本效益分析中，可在标识过程中利用其他参数。例如，成本可包括由频繁的状态转变等导致的增加的响应时间和降低的服务器寿命的风险。效益可以是降低的能量使用等。
框416解决在未来时间tf服务器容量大于所预测的工作负载的情形。框416通过对转变到不活动状态的活动服务器进行排列来降低用于时间tf的服务器容量。被考虑的活动服务器不包括可能已经正在转变的在框412集合{ts}中所标识的那些。可基于利用成本效益分析考虑的一个或多个参数来选择活动服务器。以上关于框414描述了参数的示例。简言之，如果给定服务器已经转变了阈值数量的次数，则可对成本收益分析进行加权以防止再次转变那个服务器。作为替代，选择转变另一个服务器。
可被考虑的另一个参数涉及预防不足的容量。例如，假设每次转变服务器花费20秒钟并且一旦启动过程就不能将其停止。这样，一旦转变开始使活动服务器(称为服务器1)重新被激活要花费40秒钟(即，从活动到不活动要20秒钟并且从不活动到活动还要20秒钟)。出于讨论目的假设tf等于未来30秒钟。现在如果另一个不活动服务器(称为服务器2)可用于被转变到活动状态，则对于前10秒钟与转移服务器1相关联的风险是相当低的，因为只要时间tf是未来至少20秒钟，那么就可以及时地激活服务器2。因此例如，如果作出使服务器1不活动的决策并且8秒钟后检测到涉及时间tf的低估，则可及时地激活服务器2以覆盖附加的容量要求(即，8秒钟加上20秒钟转移在28秒钟或者容量可能不足前2秒钟时将服务器2置于活动状态)。这样，服务器2的可用性可使对于使服务器1不活动的成本效益分析发生倾斜。
另一个类似的参数涉及服务器1本身覆盖任何低估的能力。例如，继续以上示例，假设对于40秒钟的活动到活动的转变，服务器1每次花费20秒钟来转变。考虑未来时间tf是30秒钟之后的第一情形。在这样的情形中，如果检测到低估，则服务器1无法在未来时间tf覆盖附加的要求。在那种情形中，此参数可对不转变服务器1进行加权。考虑未来时间tf是60秒钟以后的另一情形。在这样的情形中，可使服务器1不活动并且一旦检测到低估就在时间tf之前(即在40秒钟以内)使之重新活动。在此情形中，此参数可对使服务器1不活动进行加权。技术人员应该认识到此成本效益分析可考虑提供预期的服务级别且节省能量的很多参数。
对于框410，在诸如30秒钟的某些增量时间之后，方法随后返回至开始402并且重复该方法。
算法1示出采用成本效益分析来生成能量感知服务器管理策略的部分的特定的状态转变方法。
算法1
步骤0.根据处于活动状态的服务器被排序在处于不活动状态的服务器之前的序列对服务器进行排序—称为S序列。
按照从该能量状态到活动状态的转移等待时间递增的顺序对能量状态进行排序—称为E序列。
按照能量占用量递增的顺序对能量状态进行排序—称为P序列。
步骤1.计算在所预测的服务器需求(称为P服务器)和在预先确定的未来时间步的可用的服务器数量(称为F服务器)之间的差值。
(在预先确定的未来时间步可用的服务器的数量依赖于当前活动的服务器的数量、当前处于转变的服务器的数量以及在预先确定的时间步之前将处于转变的服务器的数量。)
步骤2.如果差值为零，停止(称差值为D＝P-F)。
步骤3.从S序列中取出前T个服务器并将其转变到T＝MINIMUM(P，F)的活动状态(如果不是已经活动或正转变到活动)。对于T个服务器中的每一个i，设置NoChangeUntilTime[i]为预先确定的未来时间步。
步骤4.IfD是正的(即，添加更多容量)
从S序列中取出接下来(相对于步骤3)的处于活动状态的D个服务器并且对于每个这样的服务器(如j)，NoTransitionUntilTime[j]＜＝当前时间
步骤4.A.For P序列中的每个能量状态
总而言之，容量供应方法采取抢先的方法将服务器转变到不同的能量状态从而屏蔽这些转变和延迟转变的等待时间，以便降低能量使用且仍然满足负载需求。
第二，实现应用转变且考虑了诸如每个服务器的转变数量的历史、热点、修复/维护动作、失效等的附加因素。例如，为了平衡跨节点的转移的数量，它可将某些活动服务器置于低能量状态，反之亦然。
方法示例
图5示出了与本发明概念的至少某些实现一致的方法或技术500的流程图。描述方法500的次序并不旨在解释为限制，并且任何数量的所述框都可以按任何次序组合以实现本方法或实现替换方法。此外，该方法还可以用任何合适的硬件、软件、固件或其组合来实现，以使得计算设备可实现该方法。在一种情况下，该方法作为指令集被存储在计算机可读存储介质上，以使得计算设备的执行使得该计算设备执行该方法。
在框502，方法预测对服务器池的多个未来请求，该服务器池包括被配置具有活动状态和至少两个不同的不活动状态的各个服务器。
在框504，方法将未来请求的响应时间建模为未来请求的数量和活动服务器的数量的函数。
在框506，方法计算满足响应时间的运行于活动状态和不活动状态中的每一个的服务器的数量。
在框508，方法使得各个服务器在状态之间进行转变以满足所计算的数量。
以上所述方法可满足用户的期望(即，诸如通过满足SLA的条款)且降低服务器的能量使用。
结论
尽管已用对结构特征和/或方法动作专用的语言描述了涉及能量感知服务器管理策略的技术、方法、设备、系统等，但可以理解，所附权利要求书中定义的主题不必限于所述具体特征或动作。相反，上述具体特征和动作是作为实现所要求保护的方法、设备、系统等的示例性形式而公开的。

Claims (14)

1.一种用于能量感知服务器管理的方法(100)，包括：
预测一组计算机的未来工作负载，其中各个计算机具有至少两个能量状态(102)，所预测的未来工作负载利用涉及过去数据中未表示的即将到来的事件的外部信息；
将对所述未来工作负载的响应时间建模为所述未来工作负载的量和活动服务器的数量的函数；
制定用于所预测的未来工作负载的能量感知服务器管理策略(104)；以及
基于所述能量感知服务器管理策略调整各个计算机的能量状态(106)。
2.如权利要求1所述的方法，其特征在于，所述预测包括将所述未来工作负载估计为，用于给定未来时间段的请求的预测数量与过去时间段内每个请求的平均数据量的乘积。
3.如权利要求1所述的方法，其特征在于，所述制定包含对包括所述未来工作负载和服务级协定的函数求解。
4.如权利要求1所述的方法，其特征在于，所述制定考虑用于与状态转变相关联的各个计算机的可能负面的期望寿命结果。
5.如权利要求1所述的方法，其特征在于，在所预测的未来工作负载小于实际的未来工作负载的场景中，所述制定考虑将不活动状态计算机转变到活动状态的转变时间。
6.如权利要求1所述的方法，其特征在于，所述调整还包括发送标识各个计算机调整后的状态的信号。
7.如权利要求1所述的方法，其特征在于，所述调整考虑在各个能量状态之间的转变时间。
8.如权利要求1所述的方法，其特征在于，所述调整考虑与所预测的未来工作负载相关联的不确定性。
9.如权利要求1所述的方法，其特征在于，所述调整留下未利用的计算机的缓冲区作为保障以维持未来请求的响应时间。
10.一种用于能量感知服务器管理的系统(200)，包括：
自适应控制单元(204)，被配置为：
预测对服务器池的多个未来请求，所述服务器池包括被配置具有活动状态和至少两个不同的不活动状态的各个服务器，所述预测利用涉及过去数据中未表示的即将到来的事件的外部信息；
将未来请求的响应时间建模为未来请求的数量和活动服务器的数量的函数；
计算满足响应时间的运行于活动状态和不活动状态中的每一个的服务器的数量；以及
使得各个服务器在状态之间进行转变以满足所计算的数量。
11.如权利要求10所述的系统，其特征在于，所述自适应控制单元包括被配置为预测所述服务器池的未来工作负载的工作负载预测模块。
12.如权利要求11所述的系统，其特征在于，所述自适应控制单元包括策略模块，所述策略模块被配置为通过在活动和不活动状态之间转变各个服务器且满足与所预测的工作负载相关联的性能标准来解决能量使用的方式处理所预测的工作负载。
13.如权利要求10所述的系统，其特征在于，所述自适应控制单元包括被配置为根据能量感知服务器管理策略来调整各个服务器的状态的状态调整模块。
14.如权利要求10所述的系统，其特征在于，还包括基于来自所述自适应控制单元的指令为各个活动状态服务器分配工作负载的负载分派器。
CN201080009556.7A 2009-02-23 2010-02-04 能量感知服务器管理 Active CN102326134B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/391,188 US8225119B2 (en) 2009-02-23 2009-02-23 Energy-aware server management
US12/391,188 2009-02-23
PCT/US2010/023253 WO2010096283A2 (en) 2009-02-23 2010-02-04 Energy-aware server management

Publications (2)

Publication Number Publication Date
CN102326134A CN102326134A (zh) 2012-01-18
CN102326134B true CN102326134B (zh) 2015-07-29

Family

ID=42631937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080009556.7A Active CN102326134B (zh) 2009-02-23 2010-02-04 能量感知服务器管理

Country Status (7)

Country Link
US (1) US8225119B2 (zh)
EP (1) EP2399183B1 (zh)
JP (1) JP5666482B2 (zh)
KR (1) KR101624765B1 (zh)
CN (1) CN102326134B (zh)
ES (1) ES2612951T3 (zh)
WO (1) WO2010096283A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651558B (zh) * 2008-08-15 2012-06-06 中兴通讯股份有限公司 节电管理方法和系统
US8190939B2 (en) * 2009-06-26 2012-05-29 Microsoft Corporation Reducing power consumption of computing devices by forecasting computing performance needs
US8839254B2 (en) * 2009-06-26 2014-09-16 Microsoft Corporation Precomputation for data center load balancing
US8230249B2 (en) * 2009-07-15 2012-07-24 International Business Machines Corporation Dynamic selection of server states for servers in a cluster of servers
US8219833B2 (en) * 2009-08-12 2012-07-10 International Business Machines Corporation Two-level guarded predictive power gating
US8219834B2 (en) * 2009-08-12 2012-07-10 International Business Machines Corporation Predictive power gating with optional guard mechanism
US20110087522A1 (en) * 2009-10-08 2011-04-14 International Business Machines Corporation Method for deploying a probing environment for provisioned services to recommend optimal balance in service level agreement user experience and environmental metrics
KR101620103B1 (ko) * 2009-10-21 2016-05-13 삼성전자주식회사 멀티 코어 시스템에서 중앙 처리 장치의 전력 제어 장치 및 방법
JP5645647B2 (ja) * 2010-03-01 2014-12-24 キヤノン株式会社 電力制御システムおよびその制御方法
US9207993B2 (en) 2010-05-13 2015-12-08 Microsoft Technology Licensing, Llc Dynamic application placement based on cost and availability of energy in datacenters
US8438410B2 (en) * 2010-06-23 2013-05-07 Intel Corporation Memory power management via dynamic memory operation states
EP2625615A2 (en) * 2010-07-09 2013-08-14 Stratergia Ltd. Systems and methods for power consumption profiling and auditing
US20120053925A1 (en) * 2010-08-31 2012-03-01 Steven Geffin Method and System for Computer Power and Resource Consumption Modeling
US8849469B2 (en) 2010-10-28 2014-09-30 Microsoft Corporation Data center system that accommodates episodic computation
US8516284B2 (en) * 2010-11-04 2013-08-20 International Business Machines Corporation Saving power by placing inactive computing devices in optimized configuration corresponding to a specific constraint
US8626902B2 (en) * 2010-12-03 2014-01-07 International Business Machines Corporation Modeling and reducing power consumption in large IT systems
CN102043676B (zh) * 2010-12-08 2012-09-05 北京航空航天大学 虚拟化数据中心调度方法及系统
US8527994B2 (en) 2011-02-10 2013-09-03 International Business Machines Corporation Guarded, multi-metric resource control for safe and efficient microprocessor management
US20120221373A1 (en) * 2011-02-28 2012-08-30 Manish Marwah Estimating Business Service Responsiveness
US20120265881A1 (en) * 2011-04-14 2012-10-18 Yuan Chen Provisioning data center resources
US10122653B2 (en) * 2011-04-28 2018-11-06 International Business Machines Corporation Energy management system for a data center network
AU2012260091B2 (en) * 2011-05-23 2016-12-22 Nec Corporation System and system control method
US9450838B2 (en) 2011-06-27 2016-09-20 Microsoft Technology Licensing, Llc Resource management for cloud computing platforms
US9595054B2 (en) 2011-06-27 2017-03-14 Microsoft Technology Licensing, Llc Resource management for cloud computing platforms
US8595525B2 (en) * 2011-09-22 2013-11-26 Qualcomm Incorporated On-chip thermal management techniques using inter-processor time dependent power density data for indentification of thermal aggressors
US8904209B2 (en) * 2011-11-14 2014-12-02 Microsoft Corporation Estimating and managing power consumption of computing devices using power models
US9648138B1 (en) 2012-03-27 2017-05-09 Open Text Corporation Method and system for virtual server dormancy
US9319274B1 (en) * 2012-03-29 2016-04-19 Emc Corporation Method and system for dynamic provisioning using server dormant mode for virtual server dormancy
US10067547B2 (en) * 2012-06-28 2018-09-04 Intel Corporation Power management control of remote servers
US10652318B2 (en) * 2012-08-13 2020-05-12 Verisign, Inc. Systems and methods for load balancing using predictive routing
US9568966B2 (en) * 2012-08-31 2017-02-14 Dell Products L.P. Dynamic power budget allocation
US20140067453A1 (en) * 2012-09-05 2014-03-06 International Business Machines Corporation Shared asset management
US8972491B2 (en) * 2012-10-05 2015-03-03 Microsoft Technology Licensing, Llc Consistency-based service-level agreements in cloud storage environments
CN103778474A (zh) * 2012-10-18 2014-05-07 华为技术有限公司 资源负载量预测方法、分析预测系统及业务运营监控系统
US9182807B2 (en) * 2012-12-31 2015-11-10 Hewlett-Packard Development Company, L.P. Systems and methods for predictive power management in a computing center
CN103490956A (zh) * 2013-09-22 2014-01-01 杭州华为数字技术有限公司 基于业务量预测的自适应节能控制方法及设备、系统
US9753782B2 (en) 2014-04-24 2017-09-05 Empire Technology Development Llc Resource consumption optimization
US9933804B2 (en) 2014-07-11 2018-04-03 Microsoft Technology Licensing, Llc Server installation as a grid condition sensor
US10234835B2 (en) 2014-07-11 2019-03-19 Microsoft Technology Licensing, Llc Management of computing devices using modulated electricity
EP3089034B1 (en) * 2015-04-29 2019-06-12 Tata Consultancy Services Limited System and method for optimizing energy consumption by processors
US10379560B2 (en) * 2015-10-05 2019-08-13 Savant Systems, Llc Home automation system device power optimization
US9766693B2 (en) * 2016-01-07 2017-09-19 International Business Machines Corporation Scheduling framework for virtual machine power modes
US10133610B2 (en) 2016-08-16 2018-11-20 International Business Machines Corporation System, method and recording medium for temperature-aware task scheduling
US10545567B2 (en) * 2017-01-06 2020-01-28 International Business Machines Corporation Method and apparatus for power savings in communications equipment
EP3610354A4 (en) * 2017-07-12 2021-01-13 Wiliot, Ltd. ENERGY CONSCIOUS COMPUTING SYSTEM
US11347295B2 (en) * 2017-07-19 2022-05-31 Citrix Systems, Inc. Virtual machine power management
US10896070B2 (en) 2017-09-22 2021-01-19 Open Text Corporation Stateless content management system
WO2019186243A1 (en) * 2018-03-29 2019-10-03 Telefonaktiebolaget Lm Ericsson (Publ) Global data center cost/performance validation based on machine intelligence
US11226667B2 (en) 2018-07-12 2022-01-18 Wiliot Ltd. Microcontroller operable in a battery-less wireless device
US11023287B2 (en) * 2019-03-27 2021-06-01 International Business Machines Corporation Cloud data center with reduced energy consumption
RU2751441C1 (ru) * 2020-09-11 2021-07-13 Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В.Ломоносова» (МГУ) Способ формирования вычислительного комплекса
US11711282B2 (en) * 2020-12-16 2023-07-25 Capital One Services, Llc TCP/IP socket resiliency and health management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1510570A (zh) * 2002-12-20 2004-07-07 国际商业机器公司 管理自主计算机系统中的工作负荷的方法和系统
US7134011B2 (en) * 1990-06-01 2006-11-07 Huron Ip Llc Apparatus, architecture, and method for integrated modular server system providing dynamically power-managed and work-load managed network devices
CN101088072A (zh) * 2004-12-24 2007-12-12 国际商业机器公司 用于监视基于交易的系统的方法和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018A (en) * 1849-01-09 Improvement in bog-cutters
US7032119B2 (en) * 2000-09-27 2006-04-18 Amphus, Inc. Dynamic power and workload management for multi-server system
US20030196126A1 (en) * 2002-04-11 2003-10-16 Fung Henry T. System, method, and architecture for dynamic server power management and dynamic workload management for multi-server environment
US7337333B2 (en) * 2001-09-19 2008-02-26 Dell Products L.P. System and method for strategic power supply sequencing in a computer system with multiple processing resources and multiple power supplies
US7318164B2 (en) * 2001-12-13 2008-01-08 International Business Machines Corporation Conserving energy in a data processing system by selectively powering down processors
US6795928B2 (en) * 2002-03-18 2004-09-21 International Business Machines Corporation Method for managing power consumption of multiple computer servers
JP2003324956A (ja) * 2002-05-09 2003-11-14 Origin Electric Co Ltd 直列共振型ブリッジインバータ回路の制御方法及び直列共振型ブリッジインバータ回路
US7870241B2 (en) * 2002-11-27 2011-01-11 International Business Machines Corporation Automated power control policies based on application-specific redundancy characteristics
WO2004092971A1 (ja) * 2003-04-14 2004-10-28 Fujitsu Limited サーバ割当制御方法
US7392314B2 (en) * 2003-08-15 2008-06-24 International Business Machines Corporation System and method for load—balancing in a resource infrastructure running application programs
US7379884B2 (en) * 2003-09-11 2008-05-27 International Business Machines Corporation Power on demand tiered response time pricing
US8015289B2 (en) * 2003-12-11 2011-09-06 Ziti Technologies Limited Liability Company System and method predicting and managing network capacity requirements
US8041967B2 (en) * 2005-02-15 2011-10-18 Hewlett-Packard Development Company, L.P. System and method for controlling power to resources based on historical utilization data
US7562234B2 (en) * 2005-08-25 2009-07-14 Apple Inc. Methods and apparatuses for dynamic power control
US7756972B2 (en) * 2005-12-06 2010-07-13 Cisco Technology, Inc. System for power savings in server farms
JP2007324956A (ja) * 2006-06-01 2007-12-13 Canon Inc 画像処理装置及び画像処理方法
US7797563B1 (en) * 2006-06-09 2010-09-14 Oracle America System and method for conserving power
US7844839B2 (en) * 2006-12-07 2010-11-30 Juniper Networks, Inc. Distribution of network communications based on server power consumption
US20090106571A1 (en) * 2007-10-21 2009-04-23 Anthony Low Systems and Methods to Adaptively Load Balance User Sessions to Reduce Energy Consumption
US7756652B2 (en) * 2008-04-24 2010-07-13 Oracle America, Inc. Estimating a power utilization of a computer system
US8892916B2 (en) * 2008-08-06 2014-11-18 International Business Machines Corporation Dynamic core pool management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7134011B2 (en) * 1990-06-01 2006-11-07 Huron Ip Llc Apparatus, architecture, and method for integrated modular server system providing dynamically power-managed and work-load managed network devices
CN1510570A (zh) * 2002-12-20 2004-07-07 国际商业机器公司 管理自主计算机系统中的工作负荷的方法和系统
CN101088072A (zh) * 2004-12-24 2007-12-12 国际商业机器公司 用于监视基于交易的系统的方法和系统

Also Published As

Publication number Publication date
US20100218005A1 (en) 2010-08-26
WO2010096283A3 (en) 2010-11-25
EP2399183A2 (en) 2011-12-28
WO2010096283A2 (en) 2010-08-26
US8225119B2 (en) 2012-07-17
JP2012518842A (ja) 2012-08-16
ES2612951T3 (es) 2017-05-19
CN102326134A (zh) 2012-01-18
EP2399183B1 (en) 2016-11-09
JP5666482B2 (ja) 2015-02-12
EP2399183A4 (en) 2012-12-12
KR101624765B1 (ko) 2016-05-26
KR20110128825A (ko) 2011-11-30

Similar Documents

Publication Publication Date Title
CN102326134B (zh) 能量感知服务器管理
Bui et al. Energy efficiency for cloud computing system based on predictive optimization
Zhu et al. A three-dimensional virtual resource scheduling method for energy saving in cloud computing
US10128684B2 (en) Energy control via power requirement analysis and power source enablement
US8402140B2 (en) Methods and apparatus for coordinated energy management in virtualized data centers
Mazzucco et al. Maximizing cloud providers' revenues via energy aware allocation policies
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
Zhou et al. Reducing energy costs for IBM Blue Gene/P via power-aware job scheduling
Bates et al. Electrical grid and supercomputing centers: An investigative analysis of emerging opportunities and challenges
Duggan et al. A multitime‐steps‐ahead prediction approach for scheduling live migration in cloud data centers
CN101211215A (zh) 管理数据处理设备中的处理器的性能
Moreno et al. Customer-aware resource overallocation to improve energy efficiency in realtime cloud computing data centers
Paul Real-time power management for embedded M2M using intelligent learning methods
Bartolini et al. Paving the way toward energy-aware and automated datacentre
Mazzucco et al. Balancing electricity bill and performance in server farms with setup costs
Suresh et al. A novel performance constrained power management framework for cloud computing using an adaptive node scaling approach
Li et al. CSL-driven and energy-efficient resource scheduling in cloud data center
US10054997B2 (en) Multivariable control for power-latency management to support optimization of data centers or other systems
Wang et al. Cloud workload analytics for real-time prediction of user request patterns
WO2008014562A1 (en) Distributed energy management
CN110609747A (zh) 信息处理方法及电子设备
Kumar et al. A Hybrid Eagle’s Web Swarm Optimization (EWSO) technique for effective cloud resource management
Cui et al. Shadows on the Cloud: An Energy-aware, Profit Maximizing Resilience Framework for Cloud Computing.
Adnan et al. Workload shaping to mitigate variability in renewable power use by data centers
Zhang et al. Dynamic energy storage control for reducing electricity cost in data centers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.