CN117880292A - 基于电力-算力-通信协同调度的数据中心用能优化方法 - Google Patents
基于电力-算力-通信协同调度的数据中心用能优化方法 Download PDFInfo
- Publication number
- CN117880292A CN117880292A CN202410277372.2A CN202410277372A CN117880292A CN 117880292 A CN117880292 A CN 117880292A CN 202410277372 A CN202410277372 A CN 202410277372A CN 117880292 A CN117880292 A CN 117880292A
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- task
- power
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004891 communication Methods 0.000 title claims abstract description 34
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 230000005611 electricity Effects 0.000 claims abstract description 26
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 33
- 238000012546 transfer Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/504—Resource capping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及基于电力‑算力‑通信协同调度的数据中心用能优化方法,属于电力系统技术领域,该方法包括:构建最小化数据中心的用电成本模型;在多地理位置数据中心间任务调度时考虑数据传输和任务计算的时序先后逻辑关系,并更新相应状态下的各数据中心内的最新数据状态;基于各数据中心内的最新数据状态和调度决策间的交互影响关系,对最小化数据中心的用电成本模型进行求解,得到以数据中心用能成本最小为目标的最优调度方案。本发明具有优化网络通信设备用能成本、考虑数据中心处理任务时的数据可用性以及保证各数据中心间数据不重复传输等优点。
Description
技术领域
本发明涉及电力系统技术领域,尤其涉及基于电力-算力-通信协同调度的数据中心用能优化方法。
背景技术
能源转型背景下风光等新能源发电装机容量快速增长,火电等可控电源占比不断下降,电源侧灵活调节能力不断减弱,电力系统在供给保障、系统平衡、经济运行等领域均面临问题和挑战。为了应对这些挑战,需要更充分地挖掘电力负荷侧灵活调节潜力,通过源荷友好互动,支撑电力系统安全经济运行。
数据中心作为数字经济时代的新型基础设施,能耗体量巨大,且呈现持续增长态势,具有成为负荷侧重要灵活调节资源的潜力。预计到2035年,中国数据中心用能将达到全社会用电量的7.5%。相较于传统负荷,数据中心可以不依赖输电设施实现电力负荷时间和空间维度转移。
计算负载的处理是数据中心的核心业务,也是数据中心能耗的主要来源。根据任务的优先级和响应时间的快慢,可以将数据中心的计算负载分为在线负载和离线负载两类。在线负载又称“延迟敏感负载”或“不可时移负载”,具有明显实时特性,一般不允许重试或出错,并且要求服务器对其响应的时间限制在几微秒至几秒内,但是可在异地数据中心执行,具备空间灵活性。离线负载指计算密集型或数据密集型的计算负载,通常需要较长的执行时间和较多的计算资源。与在线负载相比,离线负载除了可以在异地数据中心执行以外,还可以在一定的时间范围内延迟执行,具备时间灵活性和空间灵活性。数据中心的时空灵活特性,使得数据中心可以通过改变工作负载的处理时间和位置,在不依赖输电设施的情况下实现电力负荷在时间和空间维度的转移,响应实时电价信号,进而实现数据中心用能成本的优化,并在电力系统中起到削峰填谷的作用。
针对基于任务调度的数据中心能耗优化,例如:申请号为CN202311306674.X的中国专利,公开了一种基于计算负载时空转移的数据中心需求响应优化调度方法,该方法包括:建立数据中心内单个服务器用能模型;基于所述数据中心内单个服务器用能模型,建立以最小化多地数据中心总电力成本为目标的计算负载调度模型;导入网侧参数、数据中心侧参数和计算工作负载侧参数,求解所述计算负载调度模型,得到计算负载优化时空转移调度方案,以降低其电力消耗和电费,具有较好的实用性。
但是上述公开的数据中心需求响应优化调度方法存在以下两方面的问题:
(1)针对多地理位置数据中心间任务调度时,应用时认为数据是瞬时传输到数据中心的,未能考虑数据传输在时间维度和能耗维度对任务调度的影响,导致该优化调度结果可能是错误的,即调度任务到某个数据中心计算,而该数据中心却没有该任务所需数据导致其无法计算和执行,进而使得理论任务调度策略与实际运行情况间存在较大误差,这是因为在实际应用过程中,数据传输速度与分配带宽资源成正比,单个数据中心内带宽资源充足,数据传输时间为ms级,而各数据中心间带宽资源稀少,数据传输时间可长达几小时,因此针对数据中心间任务调度时需考虑数据的可用性,即需要考虑数据传输的时间。
(2)现有研究在针对数据中心用能成本优化时未考虑对网络通信设备用能成本优化;然而在实际应用过程中,数据中心网络通信设备能耗占数据中心总能耗的11.7%,具备巨大的用能灵活调节潜力,对网络通信设备能耗进行优化可进一步降低数据中心能耗,支撑数据中心经济低碳运行。
为此,本发明提供了基于电力-算力-通信协同调度的数据中心用能优化方法。
发明内容
本发明提供了提供基于电力-算力-通信协同调度的数据中心用能优化方法,以解决现有技术中应用时认为数据是瞬时传输到数据中心的,未能考虑数据传输在时间维度和能耗维度对任务调度的影响,导致该优化调度结果可能是错误的,现有调度模型在时间和能耗视角上都不准确,以及针对数据中心用能成本优化时未考虑对网络通信设备用能成本优化的技术问题。
基于电力-算力-通信协同调度的数据中心用能优化方法,用于多地理位置数据中心间的任务调度决策,该方法包括:
基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,并基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型;
基于数据传输速度与带宽资源的关系,构建数据传输过程模型;根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,并基于数据传输过程和数据中心内数据状态发生变化之间的逻辑关系,构建数据状态更新过程模型,根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态;
基于各数据中心内的最新数据状态和调度决策间的交互影响关系,以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,对最小化数据中心的用电成本模型进行求解,得到以数据中心用能成本最小为目标的最优调度方案,并以此方案进行调度运行。
在一些实施例的一些可选的实现方式中,所述基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,具体包括:
在数据中心内服务器和交换机的功率均预设为变量,剩余设备的功率预设为定量,构建服务器能耗模型为:
式中:为连续变量,表示数据中心j中服务器在时间步t的功率;表示数据中心j中服务器的峰值功率;表示数据中心j中服务器的空闲功率;为连续变量,表示数据中心j在时间步t的CPU资源占用量;为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源块数量;表示数据中心j的CPU资源容量;
构建交换机能耗模型为:
式中:为连续变量,表示交换机j在时间步t的功率;表示交换机j的峰值功率;表示交换机j的空闲功率;为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示t时间步分配给数据k用于由数据中心j传向数据中心v的带宽,表示t时间步分配给数据k用于由数据中心v传向数据中心j的带宽。
在一些实施例的一些可选的实现方式中,所述基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型,具体包括:
基于构建的服务器能耗模型和交换机能耗模型,并最小化服务器和交换机的用电成本,构建最小化数据中心的用电成本模型为:
式中:表示每个时间步的时长跨度;表示数据中心j在时间步t的电价。
在一些实施例的一些可选的实现方式中,所述基于数据传输速度与带宽资源的关系,构建的数据传输过程模型为:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;表示数据k的数据量;表示时间步分配给数据k用于由数据中心传向数据中心v的带宽,表示数据k所在初始数据中心。
在一些实施例的一些可选的实现方式中,所述根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,具体包括:
为表征数据传输过程是否结束的判断逻辑,引入01变量来表征整型变量是否为0,若,则;若,则;将该逻辑采用大M法线性化进行数学表达:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;为引入的01变量,当时为0,时为1;M表示常量,取10000。
在一些实施例的一些可选的实现方式中,所述基于数据传输过程和数据中心内数据状态发生变化之间的逻辑关系,构建数据状态更新过程模型,具体包括:
在数据传输过程中,各数据中心内的数据状态会根据数据的传输而发生变化,则数据中心数据状态更新的逻辑为:
式中:为引入的01变量,表示数据状态,在时间步t数据中心j有数据k为1,否则为0;
为表征在t时刻数据中心j中是否有数据k取决于该数据是否会从其它数据中心传输过来的过程,引入01变量 ,存在以下逻辑:若,则;否则,;将该逻辑用数学公式表达,即t从2开始, ,将该数学公式用线性化表示:
式中:为引入的01变量,表示在时间步t数据k传输至数据中心j过程是否完成;为引入的01变量,表示数据k是否传至数据中心j;为引入的01变量,当时为0,时为1,其中,为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;
在数据中心数据状态更新的逻辑中引入01变量的逻辑,得到数据状态更新过程的定义式为:
其中,数据中心的数据初始状态取决于各数据的初始位置,得到数据的初始状态公式为:
式中:为引入的01变量,表示数据k的初始位置;
将数据的初始状态公式线性化,并引入01变量,其中,t从2开始,则线性化表示:
式中:为引入的01变量,表示和的乘积;
在数据中心数据状态更新的逻辑中引入经线性化的数据的初始状态公式,得到数据状态更新过程模型为:
式中:为引入的01变量,表示和的乘积。
在一些实施例的一些可选的实现方式中,所述根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态,具体包括:
将目标数据输入至数据传输过程是否结束的判断逻辑中,得到目标数据传输过程是否结束的判断结果,若判断结果为目标数据传输过程结束,则基于构建的数据状态更新过程模型,更新对应数据中心内的数据状态,得到各数据中心内的最新数据状态。
在一些实施例的一些可选的实现方式中,所述以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,具体包括:
为表征每个任务均有一个对应的数据中心执行任务计算的约束,则该约束表征为:
式中:为引入的01变量,表示任务i放在数据中心j内执行任务计算;
为表征进行任务计算的数据中心内存储对应任务所需的数据的约束,则该约束表征为:
式中:为引入的01变量,表示数据状态,若在时间步t数据中心j有数据为1,否则为0;为数据索引,表示任务i所需的数据型号;
同时计算任务执行的剩余待计算量,所述任务执行的剩余待计算量的计算公式为:
式中:为连续变量,表示在时间步分配给任务i用于在数据中心j中进行任务计算的CPU资源数;为连续变量,表示在时间步t中任务i在数据中心j里执行的剩余待计算量;表示任务i的计算量;
其中,为表征任务计算时有任务所需要的数据以及任务在调度决策的数据中心计算的约束,则该约束表征为:
式中:为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源数量;为引入的01变量,表示若时间步任务i放置在数据中心j计算为1,否则为0;
为表征任务必须在最晚完成时间前处理完的约束,引入变量,并对任意的i、j和t取,将该约束用线性化进行数学表达:
式中:为连续变量,表示和的乘积;为连续变量,表示在时间步中任务i在数据中心j里执行的剩余待计算量;表示任务i的任务截止时间;
为表征任务计算所用CPU资源不超过数据中心的CPU资源上限的约束,引入CPU资源约束,则该约束表征为:
式中:表示数据中心j的CPU资源容量;为连续变量,表示数据中心j在时间步t的CPU资源占用量;
为表征数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限的约束,引入交换机带宽资源约束和通信链路宽容量约束,则该约束表征为:
式中:为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示通信链路uv的带宽容量上限;为连续变量,表示在时间步t分配给数据k用于由数据中心u向数据中心v传输数据的带宽;为连续变量,表示在时间步t分配给数据k用于由数据中心v向数据中心u传输数据的带宽。
本发明的优点及有益效果在于:
(1)本发明通过将数据中心任务处理过程分为数据传输过程、任务计算过程及数据状态更新过程,并基于电力-算力-通信耦合调控技术进行数学建模,同时考虑数据传输和任务计算能耗,实现数据中心基于外部价格信号调节任务负载空间分布以及每个时间步对任务的CPU资源和带宽资源的分配数量,从而优化数据中心用能成本,体现了数据传输过程复杂约束;
(2)本发明提出了需要考虑数据中心处理任务时的数据可用性,即在任务开始计算前,需要确保当地数据中心有该任务所需要的数据,才能开始任务计算过程,在此过程中,不仅考虑数据中心间任务迁移时数据传输和任务计算的时序先后逻辑关系,还能够保证任务调度策略与实际运行情况进行紧密贴合;
(3)本发明提出了需要考虑数据状态和调度决策间的交互影响关系,即当一个数据中心存储有某个数据时,如若算法决策需要该数据的任务负载在该数据中心执行,则无需传输数据,可直接开始执行任务计算,以保证各数据中心间数据不重复传输;
(4)本发明通过在数据传输过程中对交换机的用能特性进行能耗建模,将带宽资源离散成资源块,根据电价高低决策在每个时间步分配给该任务的带宽资源数量,进而优化网络通信设备用能成本。
附图说明
图1为本发明实施例中基于电力-算力-通信协同调度的数据中心用能优化方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制;相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中应用时认为数据是瞬时传输到数据中心的,未能考虑数据传输在时间维度和能耗维度对任务调度的影响,导致该优化调度结果可能是错误的,以及针对数据中心用能成本优化时未考虑对网络通信设备用能成本优化的技术问题,本发明提出了一种基于电力-算力-通信协同调度的数据中心用能优化方法,该方法基于电力-算力-通信耦合调控机理,考虑数据传输和任务计算能耗,实现数据中心基于外部价格信号调节任务负载空间分布以及每个时间步对任务的CPU资源和带宽资源的分配数量,从而优化数据中心用能成本,如图1所示,包括以下步骤:
S1、基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,并基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型。
在本实施例中,基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,具体包括:
在数据中心内服务器和交换机的功率均预设为变量,剩余设备的功率预设为定量,构建服务器能耗模型为:
式中:为连续变量,表示数据中心j中服务器在时间步t的功率;表示数据中心j中服务器的峰值功率;表示数据中心j中服务器的空闲功率;为连续变量,表示数据中心j在时间步t的CPU资源占用量;为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源块数量;表示数据中心j的CPU资源容量;
构建交换机能耗模型为:
式中:为连续变量,表示交换机j在时间步t的功率;表示交换机j的峰值功率;表示交换机j的空闲功率;为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示t时间步分配给数据k用于由数据中心j传向数据中心v的带宽,表示t时间步分配给数据k用于由数据中心v传向数据中心j的带宽。
进一步的,本发明涉及的t表示时间,i表示任务,j表示数据中心j,n表示交换机n,k表示数据。
在本实施例中,基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型,具体包括:
基于构建的服务器能耗模型和交换机能耗模型,并最小化服务器和交换机的用电成本,构建最小化数据中心的用电成本模型为:
式中:表示每个时间步的时长跨度;表示数据中心j在时间步t的电价。
应当理解的是,本发明旨在让数据中心的用能特性最小化,因此,预设数据中心中,服务器和交换机均具有灵活调节潜力,即可将数据中心内服务器和交换机的功率均预设为变量,其他部分的功率为定值,即其他设备的功率预设为定量,最小化服务器和交换机的用电成本,即可得最小化数据中心的用电成本,为此,本发明对于服务器和交换机的用能特性,分别构建了对应的服务器能耗模型和交换机能耗模型,其中,服务器能耗和CPU占用率呈正相关,交换机能耗和带宽占用率呈正相关,另外,对于交换机而言,发出数据和接收数据都会占用带宽资源;基于构建的服务器能耗模型和交换机能耗模型,再将二者最小化,即可得到最小化数据中心的用电成本模型,从而能够在基于数据传输过程中通过对交换机进行能耗建模,将带宽资源离散成资源块,根据电价高低决策在每个时间步分配给该任务的带宽资源数量(即基于基于外部价格信号调节任务负载空间分布),进而优化网络通信设备用能成本。
S2、基于数据传输速度与带宽资源的关系,构建数据传输过程模型;根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,并基于数据传输过程和数据中心内数据状态发生变化之间的逻辑关系,构建数据状态更新过程模型,根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态。
在本实施例中,基于数据传输速度与带宽资源的关系,构建的数据传输过程模型为:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;表示数据k的数据量;表示时间步分配给数据k用于由数据中心传向数据中心v的带宽,表示数据k所在初始数据中心。
在本实施例中,根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,具体包括:
为了表示数据传输过程是否结束,引入01变量来表征整型变量是否为0,若,则;若,则;将该逻辑采用大M法线性化进行数学表达:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;为引入的01变量,当时为0,时为1;M表示常量,取10000。
在本实施例中,在数据传输过程中,各数据中心的数据状态也会随之发生变化。例如:当数据3由数据中心2传输至数据中心1后,数据中心1也拥有数据3,对应数据状态发生了变化,因此,本发明提出了数据中心数据状态更新的逻辑,则数据中心数据状态更新的逻辑为:
式中:为引入的01变量,表示数据状态,在时间步t数据中心j有数据k为1,否则为0。
进一步对上述逻辑进行解释,即如果在t-1时刻数据中心j中有数据k,则在t时刻数据中心j中仍然有数据k,数据不会丢失;如果t-1时刻数据中心j中没有数据k,则在t时刻数据中心j中是否有数据k取决于该数据是否会从其它数据中心传输过来。
为了表征该过程,引入01变量,存在以下逻辑:若 ,则;否则,;将该逻辑用数学公式表达,即t从2开始,,将该数学公式用线性化表示:
式中:为引入的01变量,表示在时间步t数据k传输至数据中心j过程是否完成;为引入的01变量,表示数据k是否传至数据中心j;为引入的01变量,当时为0,时为1,其中,为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;
在数据中心数据状态更新的逻辑中引入01变量的逻辑,得到数据状态更新过程的定义式为:
其中,数据中心的数据初始状态取决于各数据的初始位置,得到数据的初始状态公式为:
式中:为引入的01变量,表示数据k的初始位置;
将数据的初始状态公式线性化,并引入01变量,其中,t从2开始,则线性化表示:
式中:为引入的01变量,表示和的乘积;
在数据中心数据状态更新的逻辑中引入经线性化的数据的初始状态公式,得到数据状态更新过程模型为:
式中:为引入的01变量,表示和的乘积。
在本实施例中,根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态,具体包括:
将目标数据输入至数据传输过程是否结束的判断逻辑中,得到目标数据传输过程是否结束的判断结果,若判断结果为目标数据传输过程结束,则基于构建的数据状态更新过程模型,更新对应数据中心内的数据状态,得到各数据中心内的最新数据状态。
进一步的,本发明涉及的目标数据为需要传输的数据。
应当理解的是,本发明提出了需要考虑数据中心处理任务时的数据可用性,即在任务开始计算前,当地数据中心需要具有该任务所需数据,才能够开始执行任务计算,此过程中,不仅考虑数据中心间任务迁移时数据传输和任务计算的时序先后逻辑关系,还能够保证任务调度策略与实际运行情况进行紧密贴合,即考虑了数据传输不是瞬时的过程,实际上,对于数据密集型任务,其数据传输时间可高达数小时,此外,数据传输具有能耗成本,即任务在异地数据中心执行的条件是本地数据中心的计算能耗成本要高于任务在异地的计算能耗成本与数据传输能耗成本之和。
S3、基于各数据中心内的最新数据状态和调度决策间的交互影响关系,以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,对最小化数据中心的用电成本模型进行求解,得到以数据中心用能成本最小为目标的最优调度方案,并以此方案进行调度运行。
在本实施例中,以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,具体包括:
为确保每个任务都有一个数据中心来处理它,本发明引入01变量来表示任务i放在数据中心j内执行任务计算,因此引入下面约束来表征该意思,则该约束表征为:
式中:为引入的01变量,表示任务i放在数据中心j内执行任务计算;
为确保任务计算的数据中心都存在任务需要的数据,即任务只能在有所需数据的数据中心里计算,因此引入下面约束来表征该意思,则该约束表征为:
式中:为引入的01变量,表示数据状态,若在时间步t数据中心j有数据为1,否则为0;为数据索引,表示任务i所需的数据型号;
同时计算任务执行的剩余待计算量,任务执行的剩余待计算量的计算公式为:
式中:为连续变量,表示在时间步分配给任务i用于在数据中心j中进行任务计算的CPU资源数;为连续变量,表示在时间步t中任务i在数据中心j里执行的剩余待计算量;表示任务i的计算量;
其中,为确保任务计算时有任务所需要的数据以及任务在决策的数据中心计算,采用下式来约束,则该约束表征为:
式中:为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源数量;为引入的01变量,表示若时间步任务i放置在数据中心j计算为1,否则为0;
为体现任务必须在最晚完成时间前处理完的约束,即在任务调度过程中考虑了任务负载的服务质量,以使任务的完成时间不得超出任务的最后期限,引入变量,并对任意的i、j和t取,将该约束用线性化进行数学表达:
式中:为连续变量,表示和的乘积;为连续变量,表示在时间步中任务i在数据中心j里执行的剩余待计算量;表示任务i的任务截止时间;
为确保任务计算所用CPU资源不超过数据中心的CPU资源上限,引入CPU资源约束,则该约束表征为:
式中:表示数据中心j的CPU资源容量;为连续变量,表示数据中心j在时间步t的CPU资源占用量;
为确保数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限,引入交换机带宽资源约束和通信链路宽容量约束,则该约束表征为:
式中:为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示通信链路uv的带宽容量上限;为连续变量,表示在时间步t分配给数据k用于由数据中心u向数据中心v传输数据的带宽;为连续变量,表示在时间步t分配给数据k用于由数据中心v向数据中心u传输数据的带宽。
应当理解的是,本发明提出了需要考虑数据状态和调度决策间的交互影响关系,即当一个数据中心存储有某个数据时,如若算法决策需要该数据的任务负载在该数据中心执行,则无需传输数据,可直接开始执行任务计算,以保证各数据中心间数据不重复传输。
综上所述,本发明提出了一种基于电力-算力-通信协同调度的数据中心用能优化方法,在进行多地理位置数据中心间任务调度时,以数据中心用能成本最小为目标,分别对数据中心内的服务器和交换机分别构建能耗模型,并基于二者构建的能耗模型,构建最小化数据中心的用电成本模型;通过将数据中心任务处理过程分为数据传输过程、任务计算过程及数据状态更新过程,并基于电力-算力-通信耦合调控技术进行数学建模,在根据多地理位置数据中心间任务调度时考虑数据传输和任务计算的时序先后逻辑关系、数据状态与调度决策间的交互影响关系来确保任务开始计算时当地数据中心拥有该任务所需数据,并更新相应状态下的各数据中心内的最新数据状态;以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,对最小化数据中心的用电成本模型进行求解,得到以数据中心用能成本最小为目标的最优调度方案,能够实现数据中心基于外部价格信号调节任务负载空间分布以及每个时间步对任务的CPU资源和带宽资源的分配数量,从而优化数据中心用能成本。该方法具体而言,在进行多地理位置数据中心间任务调度时,以数据中心用能成本最小为目标,决策从哪个数据中心调取任务所需数据、任务放置在哪个数据中心计算以及每个时间步对任务的CPU资源和带宽资源的分配数量,用于数据传输和任务计算;另外,在,本发明中,一个任务只能从一个数据中心调取数据且只能在一个数据中心内执行,一个数据中心在资源上限的约束下,可存储多个数据和处理多个计算任务,一个任务的计算需要当地存储有该任务所需数据,一个任务的执行只需要读取一种数据。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
显然,本领域的技术人员应该明白,上述本发明的各步骤实施方式可以以不同于本发明的方式执行,模拟方法及实验设备包括但不限于上述说明。上述本发明的各步骤在某些情况下可以以不同于此处的顺序执行,上述所示或描述的步骤,可将它们分开执行。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,用于多地理位置数据中心间的任务调度决策,该方法包括:
基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,并基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型;
基于数据传输速度与带宽资源的关系,构建数据传输过程模型;根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,并基于数据传输过程和数据中心内数据状态发生变化之间的逻辑关系,构建数据状态更新过程模型,根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态;
基于各数据中心内的最新数据状态和调度决策间的交互影响关系,以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,对最小化数据中心的用电成本模型进行求解,得到以数据中心用能成本最小为目标的最优调度方案,并以此方案进行调度运行。
2.根据权利要求1所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述基于数据中心内服务器的用能特性和交换机的用能特性,分别构建服务器能耗模型和交换机能耗模型,具体包括:
在数据中心内服务器和交换机的功率均预设为变量,剩余设备的功率预设为定量,构建服务器能耗模型为:
式中:为连续变量,表示数据中心j中服务器在时间步t的功率;表示数据中心j中服务器的峰值功率;表示数据中心j中服务器的空闲功率;为连续变量,表示数据中心j在时间步t的CPU资源占用量;为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源块数量;表示数据中心j的CPU资源容量;
构建交换机能耗模型为:
式中:为连续变量,表示交换机j在时间步t的功率;表示交换机j的峰值功率;表示交换机j的空闲功率;为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示t时间步分配给数据k用于由数据中心j传向数据中心v的带宽,表示t时间步分配给数据k用于由数据中心v传向数据中心j的带宽。
3.根据权利要求2所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述基于构建的服务器能耗模型和交换机能耗模型,构建最小化数据中心的用电成本模型,具体包括:
基于构建的服务器能耗模型和交换机能耗模型,并最小化服务器和交换机的用电成本,构建最小化数据中心的用电成本模型为:
式中:表示每个时间步的时长跨度;表示数据中心j在时间步t的电价。
4.根据权利要求1所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述基于数据传输速度与带宽资源的关系,构建的数据传输过程模型为:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;表示数据k的数据量;表示时间步分配给数据k用于由数据中心传向数据中心v的带宽,表示数据k所在初始数据中心。
5.根据权利要求4所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述根据剩余待传输数据量是否为0,判断数据传输过程是否结束,得到判断结果,具体包括:
为表征数据传输过程是否结束的判断逻辑,引入01变量来表征整型变量是否为0,若,则;若,则;将该逻辑采用大M法线性化进行数学表达:
式中:为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;为引入的01变量,当时为0,时为1;M表示常量,取10000。
6.根据权利要求5所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述基于数据传输过程和数据中心内数据状态发生变化之间的逻辑关系,构建数据状态更新过程模型,具体包括:
在数据传输过程中,各数据中心内的数据状态会根据数据的传输而发生变化,则数据中心数据状态更新的逻辑为:
式中:为引入的01变量,表示数据状态,在时间步t数据中心j有数据k为1,否则为0;
为表征在t时刻数据中心j中是否有数据k取决于该数据是否会从其它数据中心传输过来的过程,引入01变量 ,存在以下逻辑:若 ,则 ;否则, ;将该逻辑用数学公式表达, 即t从2开始, ,将该数学公式用线性化表示:
式中:为引入的01变量,表示在时间步t数据k传输至数据中心j过程是否完成;为引入的01变量,表示数据k是否传至数据中心j;为引入的01变量,当时为0,时为1,其中,为连续变量,表示数据k在时间步t传向数据中心j的待传输数据量;
在数据中心数据状态更新的逻辑中引入01变量的逻辑,得到数据状态更新过程的定义式为:
其中,数据中心的数据初始状态取决于各数据的初始位置,得到数据的初始状态公式为:
式中:为引入的01变量,表示数据k的初始位置;
将数据的初始状态公式线性化,并引入01变量,其中,t从2开始,则线性化表示:
式中:为引入的01变量,表示和的乘积;
在数据中心数据状态更新的逻辑中引入经线性化的数据的初始状态公式,得到数据状态更新过程模型为:
式中:为引入的01变量,表示和的乘积。
7.根据权利要求6所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述根据判断结果,基于数据传输过程模型更新相应状态下的各数据中心内的最新数据状态,具体包括:
将目标数据输入至数据传输过程是否结束的判断逻辑中,得到目标数据传输过程是否结束的判断结果,若判断结果为目标数据传输过程结束,则基于构建的数据状态更新过程模型,更新对应数据中心内的数据状态,得到各数据中心内的最新数据状态。
8.根据权利要求1所述的基于电力-算力-通信协同调度的数据中心用能优化方法,其特征在于,所述以每个任务均有一个对应的数据中心执行任务计算、任务计算时当地数据中心有任务所需要的数据、任务必须在最晚完成时间前处理完、任务计算所用CPU资源不超过数据中心的CPU资源上限以及数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限作为约束,具体包括:
为表征每个任务均有一个对应的数据中心执行任务计算的约束,则该约束表征为:
式中:为引入的01变量,表示任务i放在数据中心j内执行任务计算;
为表征进行任务计算的数据中心内存储对应任务所需的数据的约束,则该约束表征为:
式中:为引入的01变量,表示数据状态,若在时间步t数据中心j有数据为1,否则为0;为数据索引,表示任务i所需的数据型号;
同时计算任务执行的剩余待计算量,所述任务执行的剩余待计算量的计算公式为:
式中:为连续变量,表示在时间步分配给任务i用于在数据中心j中进行任务计算的CPU资源数;为连续变量,表示在时间步t中任务i在数据中心j里执行的剩余待计算量;表示任务i的计算量;
其中,为表征任务计算时有任务所需要的数据以及任务在调度决策的数据中心计算的约束,则该约束表征为:
式中:为连续变量,表示在时间步t分配给任务i用于任务计算的CPU资源数量;为引入的01变量,表示若时间步任务i放置在数据中心j计算为1,否则为0;
为表征任务必须在最晚完成时间前处理完的约束,引入变量,并对任意的i、j和t取,将该约束用线性化进行数学表达:
式中:为连续变量,表示和的乘积;为连续变量,表示在时间步中任务i在数据中心j里执行的剩余待计算量;表示任务i的任务截止时间;
为表征任务计算所用CPU资源不超过数据中心的CPU资源上限的约束,引入CPU资源约束,则该约束表征为:
式中:表示数据中心j的CPU资源容量;为连续变量,表示数据中心j在时间步t的CPU资源占用量;
为表征数据传输所用带宽资源不超过交换机和传输链路的带宽容量上限的约束,引入交换机带宽资源约束和通信链路宽容量约束,则该约束表征为:
式中:为连续变量,表示交换机j在时间步t的带宽资源占用数;表示交换机j的带宽容量上限;表示通信链路uv的带宽容量上限;为连续变量,表示在时间步t分配给数据k用于由数据中心u向数据中心v传输数据的带宽;为连续变量,表示在时间步t分配给数据k用于由数据中心v向数据中心u传输数据的带宽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410277372.2A CN117880292B (zh) | 2024-03-12 | 2024-03-12 | 基于电力-算力-通信协同调度的数据中心用能优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410277372.2A CN117880292B (zh) | 2024-03-12 | 2024-03-12 | 基于电力-算力-通信协同调度的数据中心用能优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117880292A true CN117880292A (zh) | 2024-04-12 |
CN117880292B CN117880292B (zh) | 2024-05-07 |
Family
ID=90581578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410277372.2A Active CN117880292B (zh) | 2024-03-12 | 2024-03-12 | 基于电力-算力-通信协同调度的数据中心用能优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117880292B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070011071A1 (en) * | 2005-06-23 | 2007-01-11 | Cuscovitch Samuel T | Systems and methods for strategic financial independence planning |
CN115022322A (zh) * | 2022-06-02 | 2022-09-06 | 湖南商务职业技术学院 | 一种车联网中基于群智进化的边云协作任务卸载方法 |
CN115718644A (zh) * | 2022-11-25 | 2023-02-28 | 国网江苏省电力有限公司南京供电分公司 | 一种面向云数据中心的计算任务跨区迁移方法及系统 |
CN117170839A (zh) * | 2023-08-10 | 2023-12-05 | 国网甘肃省电力公司信息通信公司 | 基于云资源算力分配减少数据中心用能成本方法 |
-
2024
- 2024-03-12 CN CN202410277372.2A patent/CN117880292B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070011071A1 (en) * | 2005-06-23 | 2007-01-11 | Cuscovitch Samuel T | Systems and methods for strategic financial independence planning |
CN115022322A (zh) * | 2022-06-02 | 2022-09-06 | 湖南商务职业技术学院 | 一种车联网中基于群智进化的边云协作任务卸载方法 |
CN115718644A (zh) * | 2022-11-25 | 2023-02-28 | 国网江苏省电力有限公司南京供电分公司 | 一种面向云数据中心的计算任务跨区迁移方法及系统 |
CN117170839A (zh) * | 2023-08-10 | 2023-12-05 | 国网甘肃省电力公司信息通信公司 | 基于云资源算力分配减少数据中心用能成本方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117880292B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111507601B (zh) | 基于深度强化学习与区块链共识的资源优化分配决策方法 | |
CN113326002A (zh) | 基于计算迁移的云边协同控制系统及迁移决策生成方法 | |
CN112118312B (zh) | 一种面向边缘服务器的网络突发负载疏散方法 | |
CN113452956B (zh) | 一种输电线路巡检任务智能分配方法及系统 | |
CN114340016B (zh) | 一种电网边缘计算卸载分配方法及系统 | |
CN115395647A (zh) | 基于一致性算法的配电台区群云边协同调控方法和系统 | |
CN116489708B (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
Dai et al. | A learning algorithm for real-time service in vehicular networks with mobile-edge computing | |
CN114615744A (zh) | 一种知识迁移强化学习网络切片通感算资源协同优化方法 | |
US11870262B2 (en) | Control architectures for power distribution networks with distributed energy resources | |
CN117895513B (zh) | 基于电力交易分析的电网调控方法、系统、设备及介质 | |
CN113573363A (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
CN115693742A (zh) | 一种分布式储能参与电力系统调频的控制系统及方法 | |
CN116209084A (zh) | 一种能量收集mec系统中任务卸载和资源分配方法 | |
CN113064480B (zh) | 一种基于多智能体强化学习的多数据中心协同节能方法 | |
CN117880292B (zh) | 基于电力-算力-通信协同调度的数据中心用能优化方法 | |
CN118210609A (zh) | 一种基于dqn模型的云计算调度方法及系统 | |
CN111736465B (zh) | 一种无线云控制系统调度方法及系统 | |
CN114217944A (zh) | 一种神经网络的针对模型并行的动态负载均衡方法 | |
CN116934050A (zh) | 一种基于强化学习的电力智能调度系统 | |
Li et al. | Deep reinforcement learning-based power and caching joint optimal allocation over mobile edge computing | |
CN116488344A (zh) | 一种用于多类型电网设备量测数据的动态资源调度方法 | |
CN116170881A (zh) | 一种基于边缘计算的跨域资源分配与卸载方法及系统 | |
CN115129447A (zh) | 一种工业互联网中计及条件风险价值的边缘计算任务卸载方法及计算机设备 | |
CN113448707A (zh) | 在边缘计算中在线批并行任务调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |