CN116360921A - 一种面向电力物联网的云平台资源优化调度方法及系统 - Google Patents
一种面向电力物联网的云平台资源优化调度方法及系统 Download PDFInfo
- Publication number
- CN116360921A CN116360921A CN202310250210.5A CN202310250210A CN116360921A CN 116360921 A CN116360921 A CN 116360921A CN 202310250210 A CN202310250210 A CN 202310250210A CN 116360921 A CN116360921 A CN 116360921A
- Authority
- CN
- China
- Prior art keywords
- tasks
- task
- resource
- average
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 66
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000005611 electricity Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 230000000903 blocking effect Effects 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000008901 benefit Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013468 resource allocation Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向电力物联网的云平台资源优化调度方法及系统,该方法包括:确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率;根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
Description
技术领域
本发明涉及电力信息处理技术领域,并且更具体地,涉及一种面向电力物联网的云平台资源优化调度方法及系统。
背景技术
云计算技术可有效整合云平台的计算资源,通过在云中部署应用程序或执行作业,使得任务的处理效率更加高效。随着云计算领域的发展,电力物联网云平台也随之应用的更加广泛。电力物联网将互联网资源和电力系统基础设施信息相连,提高了电力系统信息化水平,改善了现有的基础设施利用效率,为各个用电等环节提供重要的技术支撑,推动了国家能源低碳转型和服务产业链现代化升级。尤其近年来,电力物联网云平台已经发展形成“云(云平台)-管(有线/无线物联)-边(边缘计算)-端(终端设备)”的生态系统,同时对资源需求的随机性、变动性和多元性不断增强,而传统的云资源分配机制缺乏灵活性、资源浪费严重,尤其面向不同场景下的批量任务时,导致电力物联网云平台存在的能耗高、资源利用率低等问题。
针对上述问题,需要设计了一种面向电力物联网的云平台资源优化调度方法,通过制定合理资源配置以及调度策略,提高任务的执行效率和资源利用率,进而满足用户高质量的服务需求。
发明内容
根据本发明,提供了一种面向电力物联网的云平台资源优化调度方法及系统,以解决传统的云资源分配机制缺乏灵活性、资源浪费严重,尤其面向不同场景下的批量任务时,导致电力物联网云平台存在的能耗高、资源利用率低等问题。
根据本发明的第一个方面,提供了一种面向电力物联网的云平台资源优化调度方法,包括:
确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率,包括:
通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>个虚拟机,超过/>则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
根据本发明,还提供了一种面向电力物联网的云平台资源优化调度系统,包括:
获取样本集数据模块,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>个虚拟机,超过/>则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为本实施方式所述的一种面向电力物联网的云平台资源优化调度方法的流程示意图;
图2为本实施方式所述的物联网云平台任务处理和资源调度的示意图;
图3为本实施方式所述的基于排队系统的资源调度示意图;
图4为本实施方式所述的云平台服务器和任务状态转换示意图;
图5为本实施方式所述的优化方法在多个评价指标上的性能比较图;
图6为本实施方式所述的一种面向电力物联网的云平台资源优化调度系统的示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
根据本发明的第一个方面,提供了一种面向电力物联网的云平台资源优化调度方法100,参考图1所示,该方法100包括:
S101:确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
S102:通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
S103:根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
S104:基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
具体地,参考图2和图3所示,设定云服务器中虚拟机的数量数据,记录和整理后对上述收集到的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
参考图4所示,假设现有的云服务器中虚拟机数量为c,任务缓存队列的容量无穷大。对任务特征建模,假设任务以λ的速率到达,则平均任务到达间隔时间为1/λ,任务服务时间遵循指数分布,则平均任务服务时间为1/μ。如果到达的任务遵循建模特征,服务时间呈指数分布,则分析模型可以为其他到达的任务分布(如正态分布或随机分布)提供完成时间的近似悲观预测。结合上文应用配置,将批量任务建模为一个齐次马尔科夫链排队模型。设定1个Virtual Machine(VM)容纳m个任务,其中m为阈值,设置m为3。当t≥k×m时,需新启动一个虚拟机来满足服务需求。假设云平台中现有c个可用VM,那么云平台最多可容纳3c个任务同时执行,我们用N表示云平台中最多可容纳的任务数量,因此N=3c。
基于CloudSim4.0构建了一个云平台服务模拟器,其中可以配置服务器数量、任务数量以及任务处理策略。基于真实云平台任务处理过程生成了仿真数据,在模拟器上进行了大量的实验。为了研究最优的参数组合对云平台总的收益的影响,分别进行了不同参数配置下性能指标分析的实验,并与其他现有模型进行了比较。
在所有实验中,考虑到真实的电力物联网云平台服务场景,设置云平台为100台云服务器集群,包含300个VM。每次实验的任务数可以自主配置。对于实验的其他参数,均与真实云平台参数一致。在每一次模拟运行中,生成一个输入作业集合、一组服务器集群和一组调度约束,然后调用本实施方式所提算法来在给定的服务器上调度作业。
输入任务数据,使用齐次马尔科夫链计算排队系统的稳态概率;
在新任务到达之前,将系统中的任务(包括正在服务的任务和正在排队但尚未服务的任务)的数量建模为马尔科夫点,然后将这些实例枚举为{0,1,2,…,n-1,n},得到齐次马尔科夫链。图5A和图5B给出了云平台上的稳态转移概率图,图中根据系统当前的任务数量对每个状态进行编号。接下来利用稳态概率图计算排队系统中任务数量的稳态概率,从而得到该云平台的性能指标。
当稳态系统处于状态n时,Pn代表在一个新任务到达之前,稳态系统中有n个任务的概率,其中,n=0即Pn=P0表示稳态系统中所有服务器处于空闲状态的概率。
如图5A和图5B所示,稳态系统中任务数从1转移至0,代表有一个任务将以μP1的概率完成其服务并离开系统。因此,可以把平衡等式建立为:
μP1=λP
稳态系统中的任务数从2转移至1,代表系统中现有的2个任务中有一个将完成其服务并离开系统。2个任务中的任意一个任务离开系统没有限制,因此状态转移概率可以计算为2μP2。此时,平衡等式可以建立为:
2μP2+λP0=(λ+μ)P1
当稳态系统中任务数从n转移至n-1,且n<N时,系统的转移概率为nμPn。因此,可以建立平衡等式为:
(n+1)μPn+1+λPn-1=(λ+nμ)Pn(1<n<N)
当N<n且稳态系统的任务数从n转移至n-1时,代表有N个任务正在接收服务,且有n-N个任务在等待空闲的服务器。由于云平台的任务中哪一个任务离开系统没有限制,状态转移概率可以计算为NμPn。此时的平衡等式为:
NμPn+λPn-2=(λ+Nμ)Pn-1(N<n)
根据概率的特征,概率总和为1,所以转移概率矩阵P的归一化方程为:
如上所述,云平台的服务强度为:
ρ=λ/(Nμ)(ρ<1)
接下来,用递推关系法求解上述平衡等式,并将服务强度和归一化方程带入,其中Pn由已知的Pn-1求出,可得排队系统中任务数量的稳态概率:
基于计算得到的稳态排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的重要性能指标;
定义系统性能的性能衡量指标:如等待任务的平均数量、系统中任务平均数量、平均完成时间、平均等待时间和立即服务率。系统中平均任务数量可以衡量系统服务任务的能力;任务的平均完成时间和平均等待时间,代表系统执行任务的效率。
缓存中排队的平均任务数:Lq代表在缓存中排队的平均任务数的期望,也就是等待队列的长度。Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
系统中平均任务数量:Ls代表当前系统中所有任务(包括正在服务的任务和等待的任务)的平均数量的期望,那么:
系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,它是任务在服务器中的服务时间和在缓存中的等待时间的总和。我们已经讨论过系统中平均任务数量是Ls,因此根据Little定理,可以求出系统中任务的平均完成时间:
平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理。因此根据Little定理,平均等待时间为:
立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务。因此,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到其平均完成时间和等待时间等性能指标。
通过模拟实验,分析任务数量的变化和性能参数的关系。在模拟实验中,研究了性能参数如何随着任务T中的任务数量从200增加到800的表现。此外,还考虑平均等待时间(Average waiting time,AWT)进行性能评估。在多个任务数量级上,可以实现最少的任务平均完成时间。并且,随着任务数量的增加,各方法的任务平均完成时间也随着增加。同样的,在基于AS-VM和AWT评价指标上,依然表现出了一致的性能差异。这说明了本专利所提方法在多个关键评价指标上均具有优越的性能。
基于性能指标,采用资源开销和性能的多目标优化算法来建模平台的总资源开销,得到参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,比如任务数量增加/减少、排队任务增多/减少等;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点。当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗。形式化表述如下:
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量。由图5A和图5B可知,在本实施方式中设定1个VM只能容纳m个任务,其中m为阈值设为3。当t≥k×m时,需要一个新启动的虚拟机来满足服务需求。故对于任务缓存中排队任务的数量超出τ+时,需要启动个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>个虚拟机,超过/>则关闭相应的虚拟机,解决资源消耗过多的问题。
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制(Exception monitoring and handling mechanism,EMHM)进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平(VM level)的资源利用数据;
Virtual Machine(VM)的状态可以分为启用状态(即VM正在运行)和关闭状态(即VM已关闭)。此外,启用状态还分为繁忙状态(高资源消耗)和空闲状态(低资源消耗)。当空闲VM较少,繁忙VM较多时,云计算平台的资源利用率越高。
根据虚拟机的状态,首先定义以下四个参数:1)启用状态的虚拟机的期望;2)繁忙状态下的启用虚拟机的期望;3)空闲状态下的启用虚拟机的期望;4)关闭虚拟机的期望。
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
由于任务执行优先级基于先到先服务策略,所以定义只要有任务执行即为虚拟机处于繁忙状态。因此,依据任务和虚拟机的数量比较,来测量繁忙服务器的期望。当一个状态下的任务数量小于VM的数量时,需计算出执行任务的VM的数量;当一个状态下的任务数量大于VM的数量时,则繁忙虚拟机即为c。
根据获取的异常状态stateab和获取的虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
为平衡任务处理效率和资源利用率,对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗。同样的,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗。θoff表示服务器关闭时的单位时间的资源开销。当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗。以上各参数均可以通过均值求解得出。
对目标函数进行优化,找到各配置参数的最优值,从而利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益。
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
为了进一步评价本实施方式提出的方法在异常情况下的性能表现,使用任务数量的突增和突减来模拟异常情况的发生。设置以下任务执行序列,不同时刻表示任务执行过程中的时间点,均为相同时间间隔。并且设置在时刻3-4时,有明显任务增多现象;时刻5-6时,有明显任务减少现象。
表1任务执行顺序
时刻 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
任务数量 | 100 | 150 | 200 | 600 | 650 | 300 | 250 | 300 |
同样的,使用上述平均等待时间(Average waiting time,AWT)进行性能评估,具体实验结果如表2所示。由实验结果可知,由于设置在时刻3-4时有明显任务增多的现象,表明各个模型在此时刻均出现平均等待时间的迅速增加的现象,不同的是,本实施方式提出的方法平均等待时间相对于其他方法较短,能够很好的适应任务数据异常变化的场景。在时刻5-6时有明显任务减少现象,表明各个模型在此时刻均出现平均等待时间的缓慢降低的现象,不同的是,本实施方式提出的方法则能够迅速调整调度策略,使得平均等待时间进一步的降低。
表2各类方法的平均等待时间对比(ms)
Timeline | Number of task | Min-Min | MM-GA | TS-DT | OURS |
1 | 100 | 88 | 75 | 70 | 54 |
2 | 150 | 101 | 98 | 102 | 67 |
3 | 200 | 126 | 122 | 154 | 108 |
4 | 600 | 860 | 788 | 760 | 344 |
5 | 650 | 980 | 866 | 814 | 246 |
6 | 300 | 876 | 826 | 786 | 202 |
7 | 250 | 650 | 611 | 736 | 146 |
8 | 300 | 366 | 324 | 402 | 122 |
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>个虚拟机,超过/>则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
根据本发明的另一个方面,还提供了一种面向电力物联网的云平台资源优化调度系统600,参考图6所示,该系统600包括:
获取样本集数据模块610,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块620,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块630,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块640,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>个虚拟机,超过/>则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
本发明的实施例的一种面向电力物联网的云平台资源优化调度系统600与本发明的另一个实施例的一种面向电力物联网的云平台资源优化调度方法100相对应,在此不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种面向电力物联网的云平台资源优化调度方法,其特征在于,包括:
确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率;
根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
3.根据权利要求1所述的方法,其特征在于,根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
4.根据权利要求1所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
5.根据权利要求4所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
6.根据权利要求5所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimizeS=Ptask+Cresource
subjectto0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
7.一种面向电力物联网的云平台资源优化调度系统,其特征在于,包括:
获取样本集数据模块,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
9.根据权利要求6所述的系统,其特征在于,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
10.根据权利要求7所述的系统,其特征在于,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
11.根据权利要求10所述的方法,其特征在于,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
12.根据权利要求11所述的方法,奇特在于,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLq+θon-busyEon-busy+θon-idleEon-idle+θoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
min imize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250210.5A CN116360921A (zh) | 2023-03-14 | 2023-03-14 | 一种面向电力物联网的云平台资源优化调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310250210.5A CN116360921A (zh) | 2023-03-14 | 2023-03-14 | 一种面向电力物联网的云平台资源优化调度方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116360921A true CN116360921A (zh) | 2023-06-30 |
Family
ID=86918317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310250210.5A Pending CN116360921A (zh) | 2023-03-14 | 2023-03-14 | 一种面向电力物联网的云平台资源优化调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116360921A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117492934A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
-
2023
- 2023-03-14 CN CN202310250210.5A patent/CN116360921A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117492934A (zh) * | 2024-01-02 | 2024-02-02 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
CN117492934B (zh) * | 2024-01-02 | 2024-04-16 | 深圳市伊登软件有限公司 | 一种基于云服务智能部署的数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Slaq: quality-driven scheduling for distributed machine learning | |
CN110399222B (zh) | Gpu集群深度学习任务并行化方法、装置及电子设备 | |
Yeung et al. | Horus: Interference-aware and prediction-based scheduling in deep learning systems | |
CN107515663B (zh) | 调整中央处理器内核运行频率的方法和装置 | |
CN112685170B (zh) | 备份策略的动态优化 | |
CN105487930A (zh) | 一种基于Hadoop的任务优化调度方法 | |
Yang et al. | Design adaptive task allocation scheduler to improve MapReduce performance in heterogeneous clouds | |
CN110389820B (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
CN105607952B (zh) | 一种虚拟化资源的调度方法及装置 | |
Zhang et al. | Virtual machine placement strategy using cluster-based genetic algorithm | |
CN107357652A (zh) | 一种基于分段排序及标准差调整因子的云计算任务调度方法 | |
CN112052081B (zh) | 一种任务调度方法、装置及电子设备 | |
CN104182278A (zh) | 一种判定计算机硬件资源繁忙程度的方法和装置 | |
CN116360921A (zh) | 一种面向电力物联网的云平台资源优化调度方法及系统 | |
CN114895773A (zh) | 异构多核处理器的能耗优化方法、系统、装置及存储介质 | |
CN109117269A (zh) | 一种分布式系统虚拟机调度方法、装置和可读存储介质 | |
CN117573373B (zh) | 一种基于云计算的cpu虚拟化调度方法及系统 | |
CN113158435B (zh) | 基于集成学习的复杂系统仿真运行时间预测方法与设备 | |
Ohmura et al. | Toward building a digital twin of job scheduling and power management on an hpc system | |
CN104346220A (zh) | 一种任务调度方法与系统 | |
CN116841753A (zh) | 一种流处理和批处理的切换方法及切换装置 | |
CN116501468A (zh) | 批量作业处理方法、装置及电子设备 | |
Tang et al. | A network load perception based task scheduler for parallel distributed data processing systems | |
Liu et al. | An optimized speculative execution strategy based on local data prediction in a heterogeneous hadoop environment | |
CN111625352A (zh) | 调度方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |