CN118642829B - 一种数据中心任务调度方法、装置、电子设备及存储介质 - Google Patents
一种数据中心任务调度方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118642829B CN118642829B CN202411066903.XA CN202411066903A CN118642829B CN 118642829 B CN118642829 B CN 118642829B CN 202411066903 A CN202411066903 A CN 202411066903A CN 118642829 B CN118642829 B CN 118642829B
- Authority
- CN
- China
- Prior art keywords
- data center
- task
- task scheduling
- auxiliary service
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明实施例公开了一种数据中心任务调度方法、装置、电子设备及存储介质,涉及能源管理和智能电网技术领域,其中,所述方法包括:获取辅助服务信息;所述辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价;获取数据中心的状态信息;所述状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息;根据所述辅助服务信息和数据中心的状态信息挂起非实时任务;通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移。本发明解决了现有技术中安全性低、能源效率低、不是全局最优、时间复杂度高的问题。
Description
技术领域
本发明涉及能源管理和智能电网技术领域,尤其涉及一种数据中心任务调度方法、装置、电子设备及存储介质。
背景技术
随着互联网的迅速发展,对数据中心的需求也随之增加,而数据中心高能耗的特性所造成的高电力成本也已成为社会的负担,如何在保证数据中心的服务的同时降低数据中心电力成本已成为一个关键挑战。
现有技术中,通常通过物理方式来降低数据中心的电力成本,例如将数据中心建设在温度较低的地区或海底。然而这种方式可降低的电力成本有限,并且可能会造成较高的传输时延,并且随着对数据中心的需求越来越高,如何更有效地提高数据中心的能源效率,降低数据中心电力成本已经成为了一个关键的挑战。
为了解决这一问题,现有技术通过将不必要的IT设备切换到睡眠模式减低静态功率、通过任务调度或者功率感知地HVAC系统控制策略来提高HVAC系统的能源效率、通过任务调度的方法来联合优化IT设备和HVAC系统的能耗。
然而,现有的相关技术仍存在以下问题:
1)安全性低:基于机器学习的节能技术在学习策略的过程中可能会在试错时导致服务器温度过高而造成损坏。
2)能源效率低:没有考虑数据中心的热循环以及服务器过冷却问题,同时也没有考虑数据中心中非实时任务运行时间弹性的特性。
3)不是全局最优:启发式的联合优化算法仅单独考虑了每个等待调度任务的功耗,而没有从整个数据中心的角度考虑全局功耗。
4)高时间复杂度:对于启发式的联合优化任务调度算法,并不适用于有大量服务器和任务的大型数据中心,大量的服务器和任务会导致不能快速得到任务调度的决策。
因此,亟需一种能够联合优化IT设备和HVAC系统功耗,合理降低功耗,考虑数据中心的热循环和服务器过冷却问题的数据中心任务调度方法。
发明内容
本发明各实施例提供一种数据中心任务调度方法,以解决现有技术安全性低、能源效率低、不是全局最优、时间复杂度高的问题。所述技术方案如下:
根据本发明的一个方面,一种数据中心任务调度方法,所述方法包括:获取辅助服务信息;所述辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价;获取数据中心的状态信息;所述状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息;根据所述辅助服务信息和数据中心的状态信息挂起非实时任务;通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移。
在其中一个实施例中,通过粒子群优化算法根据待执行任务的执行信息和数据中心的状态信息得到任务调度方案通过以下步骤实现:将待执行任务的执行信息和数据中心的状态信息抽象为数学模型,将数据中心的电力成本最低作为目标设置目标函数;随机生成一组粒子,初始化所述粒子的位置和速度;所述粒子用于指示一种任务调度方案;对所述粒子的速度和位置进行迭代更新直至达到设定条件,得到全局最优位置代表的任务调度方案。
在其中一个实施例中,对所述粒子的速度和位置进行迭代更新直至达到设定条件通过以下步骤实现:根据所述目标函数评估各所述粒子的适应度;所述适应度用于指示其代表的任务调度方案的优劣程度;更新所述粒子的最优位置和全局最优位置,根据所述粒子的最优位置和全局最优位置更新所述粒子的速度和位置;通过多次迭代对所述粒子的速度、位置进行更新得到适应度和全局最优位置,直至达到设定条件。
在其中一个实施例中,目标函数的具体公式如下:
其中,表示t时刻IT设备的功率,表示t时刻HVAC系统的功率,c(t)表示t时刻数据中心的能耗成本,d(t)和v(t)分别为t时刻降低功率需要的持续时间和单位功率的奖励,表示服务器利用率。
在其中一个实施例中,IT设备的功率的具体计算公式如下:
其中,为0或1,=1表示第个服务器处于运行状态,=0表示第个服务器处于睡眠模式,表示第个服务器的功率,n表示数据中心服务器总数。
在其中一个实施例中,HVAC系统的功率的具体计算公式如下:
其中,表示HVAC系统的供气温度,表示HVAC系统供气温度为时的性能系数。
在其中一个实施例中,的具体计算公式如下:
其中,表示HVAC系统的供气温度,由数据中心服务器的利用率决定。
根据本发明的一个方面,一种数据中心任务调度装置,所述装置包括:辅助信息获取模块,用于获取辅助服务信息;状态信息获取模块,用于获取数据中心的状态信息;任务挂起模块,用于根据所述辅助服务信息和数据中心的状态信息挂起非实时任务;任务调度模块,用于通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移。
根据本发明的一个方面,一种电子设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机可读指令;所述计算机可读指令被一个或多个所述处理器执行,使得电子设备实现如上所述的数据中心任务调度方法。
根据本发明的一个方面,一种存储介质,其上存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行,以实现如上所述的数据中心任务调度方法。
本发明提供的技术方案带来的有益效果是:
在上述技术方案,本发明通过首先获取辅助服务信息和数据中心的状态信息,辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价,状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息,然后根据辅助服务信息和数据中心的状态信息挂起非实时任务,最后通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据任务调度方案对各任务进行整合迁移,根据数据中心的动态负荷来决定任务调度方案,有效降低数据中心IT设备和HVAC系统能耗,在响应VPP辅助服务期间将部分非实时任务挂起并输出节能的调度方案,以此来增加从VPP市场获得的收益,从而能够有效地解决相关技术中安全性低、能源效率低、不是全局最优、时间复杂度高的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种数据中心任务调度方法的流程图;
图2是图1对应实施例中步骤170的流程图;
图3是图2对应实施例中步骤250的流程图;
图4是一应用场景中一种数据中心任务调度方法的示意图;
图5是根据一示例性实施例示出的一种数据中心任务调度装置的框图;
图6是根据一示例性实施例示出的一种电子设备的硬件结构图;
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
VPP(Virtual Power Plant,虚拟电厂):是一种利用分布式能源资源、储能系统和先进的通信技术,将多个分散的能源设备(如太阳能电池、风力发电机、储能系统等)以及灵活负荷(如电动汽车、空调等)整合成一个虚拟的、集中管理的电力发电系统的概念,VPP通过智能控制系统实时监测和调度各种分散的能源设备和负荷,根据电网需求灵活调整其发电、消耗和储能行为,以提供调频、削峰填谷等辅助服务,同时实现电力市场的参与。VPP的出现可以增加能源利用效率、提高电网灵活性和稳定性,促进可再生能源的大规模应用。
IT设备:是指信息技术(IT)设备,包括计算机、服务器、网络设备、存储设备等。在数据中心环境中,IT设备通常指的是服务器、网络设备等硬件设备,用于存储、处理和传输大量数据。这些设备通常需要大量的电力支持其运行和维护。
HVAC系统:是暖通空调系统(Heating, Ventilation, and Air ConditioningSystem)的简称,是一种用于调节室内环境舒适度的设施,主要包括供暖系统、通风系统和空调系统。HVAC系统在建筑物中起着至关重要的作用,不仅可以提供舒适的室内环境,还可以提高建筑物的能源利用效率,减少能源消耗和碳排放。在数据中心环境中,HVAC系统尤为重要,因为IT设备的高密度部署和运行会产生大量热量,需要通过HVAC系统进行有效的散热和温度控制,以确保设备的正常运行和数据中心的稳定性。
粒子群优化算法(Particle Swarm Optimization,PSO):是一种基于群体智能的优化算法,灵感来源于鸟群或鱼群等自然界中生物群体的行为,通过模拟个体在搜索空间中的移动和合作来寻找最优解,PSO算法的基本思想是将待优化问题转化为在多维空间中搜索最优解的问题,通过一群称为“粒子”的个体在解空间中的迭代搜索来寻找最优解。每个粒子代表了潜在的解,其位置和速度会不断更新以尝试找到最优解。在搜索过程中,粒子通过个体最优和全局最优来引导搜索方向,不断调整自身的位置和速度。粒子之间通过共享信息来进行交流和合作,以加速搜索过程。
针对联合优化IT设备和HVAC系统功耗的问题,已有许多解决方案。如利用深度强化学习联合优化作业调度和冷却控制,然而深度Q学习网络中的最大化操作,一般不适用于许多服务器中的大型离散动作空间问题。
为此,本发明提供一种数据中心任务调度方法,通过响应VPP的辅助服务降低数据中心电力成本,根据数据中心的动态负荷来决定任务调度方案,有效降低数据中心IT设备和HVAC系统能耗,在响应VPP辅助服务期间将部分非实时任务挂起并输出节能的调度方案,增加从VPP市场获得的收益,解决了现有技术安全性低、能源效率低、不是全局最优、时间复杂度高的问题,该数据中心任务调度方法适用于数据中心任务调度装置中,该数据中心任务调度装置可以是电子设备。本发明实施例中的数据中心任务调度方法可以应用于多种场景中,例如数据中心任务调度等。
请参阅图1,本发明实施例提供了一种数据中心任务调度方法,该方法适用于电子设备。
在下述方法实施例中,为了便于描述,以该方法各步骤的执行主体为电子设备为例进行说明,但是并非对此构成具体限定。
如图1所示,该方法可以包括以下步骤:
步骤110,获取辅助服务信息。
在一个可能的实现方式,辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价。
其中,在电力市场供不应求时,VPP会发出降低功耗的辅助服务项目,参与该项目并把功耗降下来的用电单位会获得VPP的一笔奖励,即参与VPP的辅助服务从而获得收益可以间接降低数据中心运营成本,因此需要获取辅助服务信息。
具体地,在能源市场中,辅助服务是指对电力系统的运行和稳定性提供支持的服务,其中包括降低功率的持续时间,通常,辅助服务的奖励单价是根据提供服务的类型、市场需求以及能源市场的规定而定的。降低功率的持续时间是一种辅助服务,其目的是在电力系统需要时减少负荷,以应对系统过载或其他紧急情况,持续时间是指负荷降低的时间长度,可以是几分钟到几小时不等,具体取决于电力系统的需要和市场规定;奖励单价则是指提供辅助服务时可以获得的报酬单价。
奖励单价通常由能源市场的运营商或监管机构根据市场需求和供需情况来制定,也可能根据服务的紧急程度和重要性而有所不同。通常情况下,随着市场需求的增加或提供服务的紧急程度增加,奖励单价也会相应提高,以鼓励参与者提供更多的辅助服务。
在一个可能的实现方式,获取辅助服务信息通常需要与供电公司或虚拟电力厂(VPP)进行联系,供电公司或VPP会向参与者提供有关辅助服务项目的信息,包括降低功耗的持续时间、奖励单价等,可以通过与供电公司或VPP的沟通渠道获取这些信息,并据此制定相应的能源管理策略。
步骤130,获取数据中心的状态信息。
在一个可能的实现方式,状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息。
其中,本发明需要根据实时的数据中心负荷、数据中心的热循环状态以及服务器的状态信息获得使数据中心IT设备和HVAC系统能耗全局最低的任务调度方案,以此在响应VPP辅助服务期间尽可能地降低功耗,获得更多的收益,因此需要获取数据中心的状态信息。
具体地,服务器的CPU负荷指的是服务器处理器(CPU)正在执行的工作量。CPU负荷通常以百分比来表示,表示当前正在执行任务的CPU使用率。在数据中心环境中,监控和管理服务器的CPU负荷对于优化性能和资源利用至关重要。高CPU负荷可能意味着服务器正在执行大量计算任务或处理大量请求,而低CPU负荷则表示服务器相对空闲。
HVAC系统是暖通空调系统,在数据中心中起着关键作用,用于维持适宜的温度和湿度。空气流速是指HVAC系统中空气的流动速度,通常以立方米每小时(m³/h)或立方英尺每分钟(CFM)来衡量。在数据中心中,保持适当的空气流速对于有效散热和确保设备正常运行至关重要。过高或过低的空气流速都可能导致温度不均匀或能效下降。
各任务的执行信息指的是数据中心中运行的各种任务(例如,应用程序、作业、服务等)的执行信息,包括开始时间、结束时间、执行时间、资源需求等。这些信息对于数据中心的资源管理和调度至关重要,通过监视和分析任务的执行信息,可以更好地分配资源、优化性能,并满足用户需求。
在一个可能的实现方式,获取服务器的CPU负荷、HVAC系统的空气流速以及各任务的执行信息通常需要使用监控系统和传感器来收集数据,也可以通过软件接口或专门的管理界面来获取数据、查询实时的服务器负载、环境参数以及任务执行情况。
具体地,数据中心通常会使用监控软件来实时监视服务器的性能指标,如CPU利用率、内存使用率、网络流量等,可以提供实时的服务器负载信息。
HVAC系统通常会安装传感器来监测温度、湿度、空气流速等环境参数,传感器可以提供数据中心内部环境的实时信息,帮助调节空调系统以维持适当的温度和湿度水平。
数据中心通常会使用任务管理系统来跟踪各项任务的执行情况,包括任务的启动时间、完成时间、资源消耗情况等,通过任务管理系统可以了解各项任务的执行状态,从而评估数据中心的负载情况。
步骤150,根据辅助服务信息和数据中心的状态信息挂起非实时任务。
其中,为了有效降低数据中心的电力成本,通过响应VPP的辅助服务降低数据中心电力成本,在响应VPP辅助服务期间,将部分非实时任务挂起并输出节能的调度方案,以此来增加从VPP市场获得的收益。
在一个可能的实现方式,当辅助服务需求出现并且数据中心负载较高时,挂起一些非实时任务以释放资源用于提供辅助服务,暂停任务的执行、保存任务的状态和数据,以便稍后恢复执行,在挂起任务期间,释放的资源可以用于支持辅助服务的提供,一旦辅助服务需求减少或数据中心负载降低,可以考虑恢复挂起的非实时任务的执行,恢复任务执行时,需要重新加载任务的状态和数据,并确保任务能够顺利完成。
具体地,在挂起任务之前,需要将任务的当前状态保存下来,包括任务的执行位置、执行进度、以及相关的数据;在保存任务状态后,需要停止任务的执行,向任务发送信号或调用任务的停止函数,使其在暂停执行前完成当前的工作并暂停在合适的检查点;暂停执行的任务会释放所占用的资源,这些资源可以重新分配给提供辅助服务所需的任务,包括 CPU、内存、存储等;一旦资源被释放,将这些资源用于执行辅助服务任务,包括调整数据中心设备的设置,控制能源流向,或执行其他必要的操作以满足辅助服务需求;当辅助服务需求减少或数据中心负载降低时,可以考虑恢复挂起的非实时任务的执行,重新加载任务的状态和数据,并确保任务能够顺利地从中断的地方继续执行;一旦任务状态和数据被加载,可以重新启动任务的执行,调用任务的启动函数,并确保任务能够在恢复执行后继续从先前的检查点处执行;在任务恢复执行后,需要监控系统的运行状况,并根据需要调整资源分配,重新平衡服务器负载,调整辅助服务任务的优先级,或者进行其他操作以确保系统的稳定性和性能。
步骤170,通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据任务调度方案对各任务进行整合迁移。
在一个可能的实现方式,如图2所示,步骤170可以包括以下步骤:
步骤210,将待执行任务的执行信息和数据中心的状态信息抽象为数学模型,将数据中心的电力成本最低作为目标设置目标函数。
在一个可能的实现方式,目标函数的具体计算公式如下:
其中,表示t时刻IT设备的功率,表示t时刻HVAC系统的功率,c(t)表示t时刻数据中心的能耗成本,d(t)和v(t)分别为t时刻降低功率需要的持续时间和单位功率的奖励,表示服务器利用率。
具体地,IT设备的功率的具体计算公式如下:
其中,为0或1,=1表示第个服务器处于运行状态,=0表示第个服务器处于睡眠模式,表示第个服务器的功率,n表示数据中心服务器总数。
HVAC系统的功率的具体计算公式如下:
其中,表示HVAC系统的供气温度,表示HVAC系统供气温度为时的性能系数。
的具体计算公式如下:
其中,表示HVAC系统的供气温度,由数据中心服务器的利用率决定。
在一个可能的实现方式,数据中心的IT设备能耗主要由服务器构成,令服务器的功率=+u,其中,c1为静态功率,c2为动态功率系数,u为服务器利用率(0≤u≤1)。
步骤230,随机生成一组粒子,初始化粒子的位置和速度。
其中,粒子用于指示一种任务调度方案。
在一个可能的实现方式,首先初始化若干个粒子的位置,其中每个粒子的位置都包含n个元素,每个元素表示一个服务器的正在运行CPU数量,为了保证每个粒子满足服务器CPU数量和数据中心任务状态的约束条件,在每次迭代中都对粒子群进行了缩放和截断的操作,得到一个可行解。
具体地,以粒子d=(0.4,3,1.6),=1,=2为例,首先对该粒子执行一个缩放操作,使得该粒子元素的和为2,从而得到新的粒子为d=(0.16,1.2,0.64);然后,截断大于或小于0的元素,并将被截断的部分按比例分配到其他元素中,值较小的元素得到的比例会越大。
在上述例子中,将第二个元素截断得到的0.2个CPU按照(1-0.16):(1-0.64)的比例分给第一个和第三个元素,最后得到的粒子为d=(0.3,1,0.7),通过粒子群优化进行迭代最后输出任务调度方案d=(,,...,)。
步骤250,对粒子的速度和位置进行迭代更新直至达到设定条件,得到全局最优位置代表的任务调度方案。
在一个可能的实现方式,如图3所示,步骤250可以包括以下步骤:
步骤310,根据目标函数评估各粒子的适应度。
其中,适应度用于指示其代表的任务调度方案的优劣程度,评估粒子的适应度是为了确定每个粒子在搜索空间中的位置是否是一个好的解。
步骤330,更新粒子的最优位置和全局最优位置,根据粒子的最优位置和全局最优位置更新粒子的速度和位置。
步骤350,通过多次迭代对粒子的速度、位置进行更新得到适应度和全局最优位置,直至达到设定条件。
在一个可能的实现方式,具体可以包括以下步骤:
第一步,计算粒子位置的目标函数值:对于每个粒子,将其当前位置作为输入,通过目标函数计算其对应的适应度值,可以通过将粒子的位置向量传递给目标函数,并计算得到一个标量值来实现。
第二步,更新粒子的适应度值:将计算得到的适应度值与粒子的当前适应度值进行比较,如果新的适应度值更好(更小或更大,根据优化问题而定),则将其更新为粒子的新适应度值。
第三步,重复直到收敛:重复以上步骤,直到满足终止条件(如达到最大迭代次数或目标函数值收敛到某个阈值),在每次迭代中,粒子的位置和速度都会更新,并且适应度值也会随之改变。
在上述过程中,适应度值用于指导粒子的移动,即更好的适应度值会使得粒子更有可能朝着更优的方向移动,通过评估粒子的适应度,并根据其适应度值来更新粒子的位置和速度,可以逐步优化粒子群中的解,从而找到问题的最优解或接近最优解的解。
通过上述过程,本发明实施例通过首先获取辅助服务信息和数据中心的状态信息,辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价,状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息,然后根据辅助服务信息和数据中心的状态信息挂起非实时任务,最后通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据任务调度方案对各任务进行整合迁移,根据数据中心的动态负荷来决定任务调度方案,有效降低数据中心IT设备和HVAC系统能耗,在响应VPP辅助服务期间将部分非实时任务挂起并输出节能的调度方案,以此来增加从VPP市场获得的收益,从而能够有效地解决相关技术中安全性低、能源效率低、不是全局最优、时间复杂度高的问题。
如图4所示,在一应用场景中,数据中心由IT设备和HVAC系统组成,数据中心的IT设备和HVAC系统的构成和所实现的功能如下:
IT设备是数据中心的核心设备,为数据中心提供多种服务,也是产生数据中心能耗最多的设备。如图4左下侧,IT设备被放置在封闭的机柜中,每个机架都有与HVAC系统连接的管道,负责为机柜输送HVAC制造的冷水并把机柜的热量排出。
HVAC系统由冷却塔和冷水机两个部分组成,冷水机处于数据中心的室内,为制造冷水的核心部件,冷却塔部署在室外,将数据中心产生的热量排出数据中心,在HVAC系统的水循环中,冷却塔将冷却水传输到冷水机与数据中心回流的高温水结合,结合水在冷水机的作用下降温成冷冻水传输到各个机架对IT设备进行冷却,同时冷水机进行热交换产生的高温水会回流到冷却塔进行处理。
HVAC系统的主要作用是降低IT设备的温度,从而避免IT设备因高温造成损坏,因此HVAC系统的能耗与IT设备相关,同时也是数据中心除IT设备之外能耗最多的部分。
VPP的功能是对电力资源的调度,保证电力资源供需之间的稳定。如图4右下侧所示,VPP掌握了每一个时刻的电力市场用电侧的电力需求和供电侧的供电能力情况。当在用电高峰期时,电力资源供不应求,为了维护电力供应的稳定性,VPP会鼓励用电侧的用电单位在一定的时间段内降低功率,减少用电从而降低电力市场的供电压力,改善电力市场供不应求的现象从而维护电力供应的稳定性,如果用电单位能够按照VPP的要求降低功耗,则VPP会根据用电单位所降低功率的大小来给予奖励。
如图4上侧所示,控制系统PSO-IM由状态收集器、控制中心、PSO和调度器组成。状态收集器负责收集数据中心的任务、服务器和热循环的状态,控制中心根据VPP的辅助服务信息和任务信息在满足任务完成时间限制的前提下挂起非实时任务响应VPP的辅助服务,PSO算法根据响应VPP后的数据中心负荷获取使IT设备和HVAC系统能耗联合最优的调度方案,调度器则根据调度方案进行任务调度。
控制系统用于响应辅助服务需求和新任务,当VPP有新的辅助服务需求时,控制系统会执行以下操作:
步骤510,控制中心获取VPP的辅助服务信息,包括辅助服务要求降低功率的持续时间和奖励单价。
步骤520,状态收集器收集数据中心的状态信息并发送到控制中心,包括服务器的CPU负荷、HVAC系统的空气流速和任务的执行等状态信息。
步骤530,控制中心根据VPP的辅助服务和数据中心的任务状态信息,在满足任务完成时间限制的前提下将部分非实时任务挂起降低功耗。
步骤540,控制中心将非实时任务挂起后将需要执行的任务状态信息输入到PSO算法,同时,状态收集器也会将HVAC系统的状态信息(空气流速、热循环等)输入到PSO算法。
步骤550,PSO算法根据任务和HVAC系统的状态信息输出联合IT设备和HVAC系统节能优化的任务调度方案。
步骤560,调度器根据PSO任务调度算法输出的任务调度方案来对任务进行整合迁移。
其中,当有一个新的任务到达数据中心时,调度器会根据PSO得到的调度方案进行任务调度。数据中心中存在大量的监测器可以收集数据中心不同位置的温度以及空气流速,控制系统用于维护所有服务器中任务的执行状态,包括任务使用的CPU数量和已运行时间、接受VPP辅助服务的请求。
进一步地,数据中心所有任务的状态信息、数据中心各个位置的温度和空气流速。然后算法会输出任务调度方案d=(,,...,),其中表示第i个服务器中正在运行的CPU数量,并且该输出会满足所有服务器的运行CPU个数和等于当前数据中心的负荷,即输出能满足所有任务都能分配到足够的CPU。
通过上述过程,本发明实施例中的基于粒子群的任务调度框架PSO-IM通过在满足任务完成时间限制的前提下,合理挂起非实时任务,并协同优化数据中心IT设备和HVAC系统的能耗,在参与VPP辅助服务期间实现功耗的降低,与目前数据中心任务调度方法相比,PSO-IM从全局角度出发,更有效地提升数据中心的能源效率,并且考虑了数据中心的热循环和避免服务器过冷却。
下述为本发明装置实施例,可以用于执行本发明所涉及的数据中心任务调度方法。对于本发明装置实施例中未披露的细节,请参照本发明所涉及的数据中心任务调度方法的方法实施例。
请参阅图5,本发明实施例中提供了一种数据中心任务调度装置800。
所述装置800包括但不限于:辅助信息获取模块810、状态信息获取模块830及任务挂起模块850及任务调度模块870。
其中,辅助信息获取模块810,用于获取辅助服务信息。
状态信息获取模块830,用于获取数据中心的状态信息。
任务挂起模块850,用于根据所述辅助服务信息和数据中心的状态信息挂起非实时任务。
任务调度模块870,用于通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移。
需要说明的是,上述实施例所提供的数据中心任务调度时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即数据中心任务调度装置的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。
另外,上述实施例所提供的数据中心任务调度装置与数据中心任务调度方法的实施例属于同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
图6根据一示例性实施例示出的一种电子设备的结构示意。
需要说明的是,该电子设备只是一个适配于本发明的示例,不能认为是提供了对本发明的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图6示出的示例性的电子设备2000中的一个或者多个组件。
电子设备2000的硬件结构可因配置或者性能的不同而产生较大的差异,如图6所示,电子设备2000包括:电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。
具体地,电源210用于为电子设备2000上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口231,用于与外部设备交互。当然,在其余本发明适配的示例中,接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等,如图6所示,在此并非对此构成具体限定。
存储器250作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统251、应用程序253及数据255等,存储方式可以是短暂存储或者永久存储。
其中,操作系统251用于管理与控制电子设备2000上的各硬件设备以及应用程序253,以实现中央处理器270对存储器250中海量数据255的运算与处理,其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机可读指令,其可以包括至少一模块(图6未示出),每个模块都可以分别包含有对电子设备2000的计算机可读指令。例如,数据中心任务调度装置可视为部署于电子设备2000的应用程序253。
数据255可以是信号信息等,存储于存储器250中。
中央处理器270可以包括一个或多个以上的处理器,并设置为通过至少一通信总线与存储器250通信,以读取存储器250中存储的计算机可读指令,进而实现对存储器250中海量数据255的运算与处理。例如,通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成数据中心任务调度方法。
此外,通过硬件电路或者硬件电路结合软件也能同样实现本发明,因此,实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图7,本发明实施例中提供了一种电子设备4000,该电子设备400可以包括:具有传感器识别能力的台式电脑、笔记本电脑、服务器等。
在图7中,该电子设备4000包括至少一个处理器4001以及至少一个存储器4003。
其中,处理器4001和存储器4003之间的数据交互,可以通过至少一个通信总线4002实现。该通信总线4002可包括一通路,用于在处理器4001和存储器4003之间传输数据。通信总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序指令或代码并能够由电子设备400存取的任何其他介质,但不限于此。
存储器4003上存储有计算机可读指令,处理器4001可以通过通信总线4002读取存储器4003中存储的计算机可读指令。
该计算机可读指令被一个或多个处理器4001执行以实现上述各实施例中的数据中心任务调度方法。
此外,本发明实施例中提供了一种存储介质,该存储介质上存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行,以实现如上所述的数据中心任务调度方法。
本发明实施例中提供了一种计算机程序产品,计算机程序产品包括计算机可读指令,计算机可读指令存储在存储介质中,电子设备的一个或多个处理器从存储介质读取计算机可读指令,加载并执行该计算机可读指令,使得电子设备实现如上所述的数据中心任务调度方法。
与相关技术相比,本发明的有益效果是:
1.本发明通过首先获取辅助服务信息和数据中心的状态信息,辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价,状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息,然后根据辅助服务信息和数据中心的状态信息挂起非实时任务,最后通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据任务调度方案对各任务进行整合迁移,根据数据中心的动态负荷来决定任务调度方案,有效降低数据中心IT设备和HVAC系统能耗,在响应VPP辅助服务期间将部分非实时任务挂起并输出节能的调度方案,以此来增加从VPP市场获得的收益,从而能够有效地解决相关技术中安全性低、能源效率低、不是全局最优、时间复杂度高的问题。
2.本发明提出了一种基于粒子群优化算法的任务调度策略PSO-IM,该策略根据数据中心的动态负荷来决定任务调度方案,有效降低数据中心IT设备和HVAC系统能耗,在响应VPP辅助服务期间,PSO-IM将部分非实时任务挂起并输出节能的调度方案,以此来增加从VPP市场获得的收益。
3.本发明在联合优化IT设备和HVAC系统功耗的同时考虑了任务执行时间弹性的特点,允许在响应VPP辅助服务期间将部分非实时任务挂起降低功耗,然后根据实时的数据中心负荷对任务进行整合迁移降低功耗,也考虑了数据中心的热循环和服务器过冷却问题。
4.本发明利用数据中心中非实时任务运行时间弹性的特点,在参与VPP辅助服务期间将部分非实时任务挂起减低功耗,并且在VPP辅助服务结束后对这些任务进行重新调度。同时根据实时的数据中心负荷、数据中心的热循环状态以及服务器的状态信息来使用基于粒子群优化算法来获得使数据中心IT设备和HVAC系统能耗全局最低的任务调度方案,并根据该方案对任务进行整合迁移。以此来在响应VPP辅助服务期间尽可能地降低功耗,以从VPP获得更多的收益。
5.本发明通过在满足任务完成时间限制的前提下,合理挂起非实时任务,并协同优化数据中心IT设备和HVAC系统的能耗。这一框架的目的是在参与VPP辅助服务期间实现功耗的降低。与目前数据中心任务调度方法相比,PSO-IM从全局角度出发,更有效地提升数据中心的能源效率,并且考虑了数据中心的热循环和避免服务器过冷却。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种数据中心任务调度方法,其特征在于,所述方法包括:
获取辅助服务信息;所述辅助服务信息包括辅助服务要求降低功率的持续时间和奖励单价;获取数据中心的状态信息;所述状态信息包括服务器的CPU负荷、HVAC系统的空气流速和各任务的执行信息;根据所述辅助服务信息和数据中心的状态信息挂起非实时任务;
将待执行任务的执行信息和数据中心的状态信息抽象为数学模型,将数据中心的电力成本最低作为目标设置目标函数;随机生成一组粒子,初始化所述粒子的位置和速度;所述粒子用于指示一种任务调度方案;
根据所述目标函数评估各所述粒子的适应度;所述适应度用于指示其代表的任务调度方案的优劣程度;更新所述粒子的最优位置和全局最优位置,根据所述粒子的最优位置和全局最优位置更新所述粒子的速度和位置;
通过多次迭代对所述粒子的速度、位置进行更新得到适应度和全局最优位置,直至达到设定条件,得到全局最优位置代表的任务调度方案;通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移;
所述目标函数的具体计算公式如下:
其中,表示t时刻IT设备的功率,表示t时刻HVAC系统的功率,c(t)表示t时刻数据中心的能耗成本,d(t)和v(t)分别为t时刻降低功率需要的持续时间和单位功率的奖励,表示服务器利用率;
所述IT设备的功率的具体计算公式如下:
其中,为0或1,=1表示第个服务器处于运行状态,=0表示第个服务器处于睡眠模式,表示第个服务器的功率,n表示数据中心服务器总数;
所述HVAC系统的功率的具体计算公式如下:
其中,表示HVAC系统的供气温度,表示HVAC系统供气温度为时的性能系数;
所述的具体计算公式如下:
其中,表示HVAC系统的供气温度,由数据中心服务器的利用率决定。
2.一种数据中心任务调度装置,其特征在于,所述装置应用于权利要求1所述的数据中心任务调度方法,所述装置包括:
辅助信息获取模块,用于获取辅助服务信息;
状态信息获取模块,用于获取数据中心的状态信息;
任务挂起模块,用于根据所述辅助服务信息和数据中心的状态信息挂起非实时任务;
任务调度模块,用于通过粒子群优化算法根据辅助服务信息和数据中心的状态信息得到任务调度方案,根据所述任务调度方案对各任务进行整合迁移。
3.一种电子设备,其特征在于,包括:至少一个处理器以及至少一个存储器,其中,
所述存储器上存储有计算机可读指令;
所述计算机可读指令被一个或多个所述处理器执行,使得电子设备实现如权利要求1所述的数据中心任务调度方法。
4.一种存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被一个或多个处理器执行,以实现如权利要求1所述的数据中心任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411066903.XA CN118642829B (zh) | 2024-08-06 | 2024-08-06 | 一种数据中心任务调度方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411066903.XA CN118642829B (zh) | 2024-08-06 | 2024-08-06 | 一种数据中心任务调度方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118642829A CN118642829A (zh) | 2024-09-13 |
| CN118642829B true CN118642829B (zh) | 2025-01-03 |
Family
ID=92667455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411066903.XA Active CN118642829B (zh) | 2024-08-06 | 2024-08-06 | 一种数据中心任务调度方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118642829B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119620842A (zh) * | 2025-02-12 | 2025-03-14 | 贵州大学 | 基于联合多目标优化模型的数据中心能耗优化方法 |
| CN120103958B (zh) * | 2025-02-27 | 2026-05-08 | 广州宽恒信息科技有限公司 | 一种数据中心管理方法、系统及存储介质 |
| CN120386611B (zh) * | 2025-06-30 | 2025-12-26 | 中国铁塔股份有限公司 | 任务调度方法、装置及存储介质 |
| CN121433851B (zh) * | 2025-12-31 | 2026-03-20 | 科大讯飞股份有限公司 | 资源调度方法、系统、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407160A (zh) * | 2023-10-11 | 2024-01-16 | 东南大学 | 一种边缘计算场景下在线任务和离线任务的混合部署方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10871993B2 (en) * | 2017-05-10 | 2020-12-22 | King Abdulaziz University | Time-aware method of scheduling application tasks in a green data center |
| CN114519457A (zh) * | 2022-01-27 | 2022-05-20 | 南京南瑞信息通信科技有限公司 | 基于粒子群的省级智慧能源服务平台任务调度方法及系统 |
| CN114840324B (zh) * | 2022-05-23 | 2025-10-10 | 百果园技术(新加坡)有限公司 | 一种转码任务调度方法、系统、电子设备及存储介质 |
| CN116050749A (zh) * | 2022-12-26 | 2023-05-02 | 阿里巴巴(中国)有限公司 | 基于深度强化学习的任务调度网络训练方法 |
-
2024
- 2024-08-06 CN CN202411066903.XA patent/CN118642829B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117407160A (zh) * | 2023-10-11 | 2024-01-16 | 东南大学 | 一种边缘计算场景下在线任务和离线任务的混合部署方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118642829A (zh) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN118642829A (zh) | 一种数据中心任务调度方法、装置、电子设备及存储介质 | |
| Cheng et al. | An energy-saving task scheduling strategy based on vacation queuing theory in cloud computing | |
| Pakbaznia et al. | Temperature-aware dynamic resource provisioning in a power-optimized datacenter | |
| WO2024113906A1 (zh) | 一种服务器集群温度调节方法和装置 | |
| CN109871268A (zh) | 一种面向数据中心的基于气流组织的节能调度方法 | |
| CN106951059A (zh) | 基于dvs与改进蚁群算法的云数据中心节能方法 | |
| US20160283844A1 (en) | Load predictor for a cooling system | |
| CN114511208A (zh) | 基于深度强化学习的数据中心能耗优化控制方法 | |
| CN119621345A (zh) | 基于碳排需求分析的绿色智算中心算力动态调控方法 | |
| CN116028193B (zh) | 一种混部集群的大数据任务动态高能效调度方法和系统 | |
| CN120264673A (zh) | 一种液冷资源智能分配调控方法及系统 | |
| CN119721608B (zh) | 数据中心能源系统调度方法、装置、设备、介质及产品 | |
| CN117891578A (zh) | 一种数据中心任务调度和冷却控制联合运行优化的方法 | |
| CN114442768A (zh) | 基于信息流特征的数据中心冷负荷分布确定方法及系统 | |
| CN118689646A (zh) | 考虑时空调节的互联数据中心负荷建模、调度方法及系统 | |
| Liu et al. | Thermal-aware virtual machine placement based on multi-objective optimization: B. Liu et al. | |
| CN113094149B (zh) | 一种数据中心虚拟机放置方法、系统、介质及设备 | |
| CN119022450B (zh) | 基于暖通空调负荷集群灵活性的负荷调控方法及系统 | |
| CN119761716A (zh) | 一种结合建筑虚拟储能的数据中心电力-热力调度方法及系统 | |
| CN118537050A (zh) | 数据中心全局资源调度方法、装置、设备及介质 | |
| Zhong et al. | A heat-recirculation-aware data placement strategy towards data centers | |
| CN118709877A (zh) | 基于深度强化学习的无人机铁塔巡检和充电调度方法 | |
| CN114565160B (zh) | 基于pue值控制数据中心能耗的方法及装置 | |
| CN111124605A (zh) | 利用气流组织分布方式进行数据中心虚拟机放置与调度的方法 | |
| CN118915889A (zh) | 一种适用于智算中心服务器与冷板式液冷系统的协同控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |