CN116360921A - 一种面向电力物联网的云平台资源优化调度方法及系统 - Google Patents

一种面向电力物联网的云平台资源优化调度方法及系统 Download PDF

Info

Publication number
CN116360921A
CN116360921A CN202310250210.5A CN202310250210A CN116360921A CN 116360921 A CN116360921 A CN 116360921A CN 202310250210 A CN202310250210 A CN 202310250210A CN 116360921 A CN116360921 A CN 116360921A
Authority
CN
China
Prior art keywords
tasks
task
resource
average
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310250210.5A
Other languages
English (en)
Inventor
祝恩国
张海龙
李然
任毅
赵兵
林繁涛
陈昊
刘岩
郑国权
卢继哲
侯帅
阿辽沙·叶
成倩
王爽
翟梦迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Chongqing Electric Power Co Marketing Service Center
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
State Grid Chongqing Electric Power Co Marketing Service Center
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Chongqing Electric Power Co Marketing Service Center, State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI filed Critical State Grid Chongqing Electric Power Co Marketing Service Center
Priority to CN202310250210.5A priority Critical patent/CN116360921A/zh
Publication of CN116360921A publication Critical patent/CN116360921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种面向电力物联网的云平台资源优化调度方法及系统,该方法包括:确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率;根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。

Description

一种面向电力物联网的云平台资源优化调度方法及系统
技术领域
本发明涉及电力信息处理技术领域,并且更具体地,涉及一种面向电力物联网的云平台资源优化调度方法及系统。
背景技术
云计算技术可有效整合云平台的计算资源,通过在云中部署应用程序或执行作业,使得任务的处理效率更加高效。随着云计算领域的发展,电力物联网云平台也随之应用的更加广泛。电力物联网将互联网资源和电力系统基础设施信息相连,提高了电力系统信息化水平,改善了现有的基础设施利用效率,为各个用电等环节提供重要的技术支撑,推动了国家能源低碳转型和服务产业链现代化升级。尤其近年来,电力物联网云平台已经发展形成“云(云平台)-管(有线/无线物联)-边(边缘计算)-端(终端设备)”的生态系统,同时对资源需求的随机性、变动性和多元性不断增强,而传统的云资源分配机制缺乏灵活性、资源浪费严重,尤其面向不同场景下的批量任务时,导致电力物联网云平台存在的能耗高、资源利用率低等问题。
针对上述问题,需要设计了一种面向电力物联网的云平台资源优化调度方法,通过制定合理资源配置以及调度策略,提高任务的执行效率和资源利用率,进而满足用户高质量的服务需求。
发明内容
根据本发明,提供了一种面向电力物联网的云平台资源优化调度方法及系统,以解决传统的云资源分配机制缺乏灵活性、资源浪费严重,尤其面向不同场景下的批量任务时,导致电力物联网云平台存在的能耗高、资源利用率低等问题。
根据本发明的第一个方面,提供了一种面向电力物联网的云平台资源优化调度方法,包括:
确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率,包括:
通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure BDA0004127622590000021
Figure BDA0004127622590000022
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure BDA0004127622590000031
计算系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure BDA0004127622590000032
计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure BDA0004127622590000033
计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure BDA0004127622590000034
计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure BDA0004127622590000041
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure BDA0004127622590000042
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure BDA0004127622590000043
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure BDA0004127622590000051
个虚拟机,超过/>
Figure BDA0004127622590000052
则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure BDA0004127622590000053
Figure BDA0004127622590000054
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
根据本发明,还提供了一种面向电力物联网的云平台资源优化调度系统,包括:
获取样本集数据模块,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure BDA0004127622590000071
Figure BDA0004127622590000072
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure BDA0004127622590000081
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure BDA0004127622590000082
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure BDA0004127622590000083
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure BDA0004127622590000084
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure BDA0004127622590000085
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure BDA0004127622590000091
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure BDA0004127622590000092
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure BDA0004127622590000093
个虚拟机,超过/>
Figure BDA0004127622590000094
则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure BDA0004127622590000101
Figure BDA0004127622590000102
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为本实施方式所述的一种面向电力物联网的云平台资源优化调度方法的流程示意图;
图2为本实施方式所述的物联网云平台任务处理和资源调度的示意图;
图3为本实施方式所述的基于排队系统的资源调度示意图;
图4为本实施方式所述的云平台服务器和任务状态转换示意图;
图5为本实施方式所述的优化方法在多个评价指标上的性能比较图;
图6为本实施方式所述的一种面向电力物联网的云平台资源优化调度系统的示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
根据本发明的第一个方面,提供了一种面向电力物联网的云平台资源优化调度方法100,参考图1所示,该方法100包括:
S101:确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
S102:通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
S103:根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
S104:基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
具体地,参考图2和图3所示,设定云服务器中虚拟机的数量数据,记录和整理后对上述收集到的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
参考图4所示,假设现有的云服务器中虚拟机数量为c,任务缓存队列的容量无穷大。对任务特征建模,假设任务以λ的速率到达,则平均任务到达间隔时间为1/λ,任务服务时间遵循指数分布,则平均任务服务时间为1/μ。如果到达的任务遵循建模特征,服务时间呈指数分布,则分析模型可以为其他到达的任务分布(如正态分布或随机分布)提供完成时间的近似悲观预测。结合上文应用配置,将批量任务建模为一个齐次马尔科夫链排队模型。设定1个Virtual Machine(VM)容纳m个任务,其中m为阈值,设置m为3。当t≥k×m时,需新启动一个虚拟机来满足服务需求。假设云平台中现有c个可用VM,那么云平台最多可容纳3c个任务同时执行,我们用N表示云平台中最多可容纳的任务数量,因此N=3c。
基于CloudSim4.0构建了一个云平台服务模拟器,其中可以配置服务器数量、任务数量以及任务处理策略。基于真实云平台任务处理过程生成了仿真数据,在模拟器上进行了大量的实验。为了研究最优的参数组合对云平台总的收益的影响,分别进行了不同参数配置下性能指标分析的实验,并与其他现有模型进行了比较。
在所有实验中,考虑到真实的电力物联网云平台服务场景,设置云平台为100台云服务器集群,包含300个VM。每次实验的任务数可以自主配置。对于实验的其他参数,均与真实云平台参数一致。在每一次模拟运行中,生成一个输入作业集合、一组服务器集群和一组调度约束,然后调用本实施方式所提算法来在给定的服务器上调度作业。
输入任务数据,使用齐次马尔科夫链计算排队系统的稳态概率;
在新任务到达之前,将系统中的任务(包括正在服务的任务和正在排队但尚未服务的任务)的数量建模为马尔科夫点,然后将这些实例枚举为{0,1,2,…,n-1,n},得到齐次马尔科夫链。图5A和图5B给出了云平台上的稳态转移概率图,图中根据系统当前的任务数量对每个状态进行编号。接下来利用稳态概率图计算排队系统中任务数量的稳态概率,从而得到该云平台的性能指标。
当稳态系统处于状态n时,Pn代表在一个新任务到达之前,稳态系统中有n个任务的概率,其中,n=0即Pn=P0表示稳态系统中所有服务器处于空闲状态的概率。
如图5A和图5B所示,稳态系统中任务数从1转移至0,代表有一个任务将以μP1的概率完成其服务并离开系统。因此,可以把平衡等式建立为:
μP1=λP
稳态系统中的任务数从2转移至1,代表系统中现有的2个任务中有一个将完成其服务并离开系统。2个任务中的任意一个任务离开系统没有限制,因此状态转移概率可以计算为2μP2。此时,平衡等式可以建立为:
2μP2+λP0=(λ+μ)P1
当稳态系统中任务数从n转移至n-1,且n<N时,系统的转移概率为nμPn。因此,可以建立平衡等式为:
(n+1)μPn+1+λPn-1=(λ+nμ)Pn(1<n<N)
当N<n且稳态系统的任务数从n转移至n-1时,代表有N个任务正在接收服务,且有n-N个任务在等待空闲的服务器。由于云平台的任务中哪一个任务离开系统没有限制,状态转移概率可以计算为NμPn。此时的平衡等式为:
NμPn+λPn-2=(λ+Nμ)Pn-1(N<n)
根据概率的特征,概率总和为1,所以转移概率矩阵P的归一化方程为:
Figure BDA0004127622590000151
如上所述,云平台的服务强度为:
ρ=λ/(Nμ)(ρ<1)
接下来,用递推关系法求解上述平衡等式,并将服务强度和归一化方程带入,其中Pn由已知的Pn-1求出,可得排队系统中任务数量的稳态概率:
Figure BDA0004127622590000152
Figure BDA0004127622590000153
基于计算得到的稳态排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的重要性能指标;
定义系统性能的性能衡量指标:如等待任务的平均数量、系统中任务平均数量、平均完成时间、平均等待时间和立即服务率。系统中平均任务数量可以衡量系统服务任务的能力;任务的平均完成时间和平均等待时间,代表系统执行任务的效率。
缓存中排队的平均任务数:Lq代表在缓存中排队的平均任务数的期望,也就是等待队列的长度。Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure BDA0004127622590000161
系统中平均任务数量:Ls代表当前系统中所有任务(包括正在服务的任务和等待的任务)的平均数量的期望,那么:
Figure BDA0004127622590000162
系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,它是任务在服务器中的服务时间和在缓存中的等待时间的总和。我们已经讨论过系统中平均任务数量是Ls,因此根据Little定理,可以求出系统中任务的平均完成时间:
Figure BDA0004127622590000163
平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理。因此根据Little定理,平均等待时间为:
Figure BDA0004127622590000164
立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务。因此,任务被立即服务概率可以计算为:
Figure BDA0004127622590000171
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到其平均完成时间和等待时间等性能指标。
通过模拟实验,分析任务数量的变化和性能参数的关系。在模拟实验中,研究了性能参数如何随着任务T中的任务数量从200增加到800的表现。此外,还考虑平均等待时间(Average waiting time,AWT)进行性能评估。在多个任务数量级上,可以实现最少的任务平均完成时间。并且,随着任务数量的增加,各方法的任务平均完成时间也随着增加。同样的,在基于AS-VM和AWT评价指标上,依然表现出了一致的性能差异。这说明了本专利所提方法在多个关键评价指标上均具有优越的性能。
基于性能指标,采用资源开销和性能的多目标优化算法来建模平台的总资源开销,得到参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,比如任务数量增加/减少、排队任务增多/减少等;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点。当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗。形式化表述如下:
Figure BDA0004127622590000181
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量。由图5A和图5B可知,在本实施方式中设定1个VM只能容纳m个任务,其中m为阈值设为3。当t≥k×m时,需要一个新启动的虚拟机来满足服务需求。故对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure BDA0004127622590000182
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure BDA0004127622590000183
个虚拟机,超过/>
Figure BDA0004127622590000184
则关闭相应的虚拟机,解决资源消耗过多的问题。
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制(Exception monitoring and handling mechanism,EMHM)进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平(VM level)的资源利用数据;
Virtual Machine(VM)的状态可以分为启用状态(即VM正在运行)和关闭状态(即VM已关闭)。此外,启用状态还分为繁忙状态(高资源消耗)和空闲状态(低资源消耗)。当空闲VM较少,繁忙VM较多时,云计算平台的资源利用率越高。
根据虚拟机的状态,首先定义以下四个参数:1)启用状态的虚拟机的期望;2)繁忙状态下的启用虚拟机的期望;3)空闲状态下的启用虚拟机的期望;4)关闭虚拟机的期望。
Figure BDA0004127622590000185
Figure BDA0004127622590000191
/>
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
由于任务执行优先级基于先到先服务策略,所以定义只要有任务执行即为虚拟机处于繁忙状态。因此,依据任务和虚拟机的数量比较,来测量繁忙服务器的期望。当一个状态下的任务数量小于VM的数量时,需计算出执行任务的VM的数量;当一个状态下的任务数量大于VM的数量时,则繁忙虚拟机即为c。
根据获取的异常状态stateab和获取的虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
为平衡任务处理效率和资源利用率,对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗。同样的,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗。θoff表示服务器关闭时的单位时间的资源开销。当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗。以上各参数均可以通过均值求解得出。
对目标函数进行优化,找到各配置参数的最优值,从而利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益。
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
为了进一步评价本实施方式提出的方法在异常情况下的性能表现,使用任务数量的突增和突减来模拟异常情况的发生。设置以下任务执行序列,不同时刻表示任务执行过程中的时间点,均为相同时间间隔。并且设置在时刻3-4时,有明显任务增多现象;时刻5-6时,有明显任务减少现象。
表1任务执行顺序
时刻 1 2 3 4 5 6 7 8
任务数量 100 150 200 600 650 300 250 300
同样的,使用上述平均等待时间(Average waiting time,AWT)进行性能评估,具体实验结果如表2所示。由实验结果可知,由于设置在时刻3-4时有明显任务增多的现象,表明各个模型在此时刻均出现平均等待时间的迅速增加的现象,不同的是,本实施方式提出的方法平均等待时间相对于其他方法较短,能够很好的适应任务数据异常变化的场景。在时刻5-6时有明显任务减少现象,表明各个模型在此时刻均出现平均等待时间的缓慢降低的现象,不同的是,本实施方式提出的方法则能够迅速调整调度策略,使得平均等待时间进一步的降低。
表2各类方法的平均等待时间对比(ms)
Timeline Number of task Min-Min MM-GA TS-DT OURS
1 100 88 75 70 54
2 150 101 98 102 67
3 200 126 122 154 108
4 600 860 788 760 344
5 650 980 866 814 246
6 300 876 826 786 202
7 250 650 611 736 146
8 300 366 324 402 122
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure BDA0004127622590000211
Figure BDA0004127622590000221
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure BDA0004127622590000222
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure BDA0004127622590000223
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure BDA0004127622590000224
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure BDA0004127622590000231
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure BDA0004127622590000232
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure BDA0004127622590000233
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure BDA0004127622590000241
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure BDA0004127622590000242
个虚拟机,超过/>
Figure BDA0004127622590000243
则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure BDA0004127622590000244
Figure BDA0004127622590000245
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
从而,为提高任务的执行效率和资源利用率,云平台需要制定合理资源配置以及调度策略,在批量任务到达时,依据任务特性分配合理范围的云资源,使得云平台取得最大系统收益。为达到上述目的,一方面是为云平台构建稳态情况下的性能分析模型,确定稳态情况下的最优资源配置;另一方面是多场景下的云资源调度研究,针对异常用电情况进行合理的资源调整。
为在不增加服务器数量的前提下提高批量任务的执行性能,考虑到利用上述分析模型求解获得的完成时间、平均等待时间、排队长度等重要性能指标,构建基于齐次马尔科夫链排队系统的分析模型,通过求解得到给定云平台资源配置下的任务平均完成时间和等待时间等性能指标,并基于性能指标优化多场景下的云资源调度,结合用电过程中多场景的异常用电情况,构建多目标优化模型,最大化云平台的收益。
根据本发明的另一个方面,还提供了一种面向电力物联网的云平台资源优化调度系统600,参考图6所示,该系统600包括:
获取样本集数据模块610,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块620,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块630,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块640,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
可选地,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure BDA0004127622590000271
Figure BDA0004127622590000272
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
可选地,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure BDA0004127622590000273
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure BDA0004127622590000274
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure BDA0004127622590000281
/>
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure BDA0004127622590000282
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure BDA0004127622590000283
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
可选地,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure BDA0004127622590000291
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure BDA0004127622590000292
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure BDA0004127622590000293
个虚拟机,超过/>
Figure BDA0004127622590000294
则关闭相应的虚拟机,解决资源消耗过多的问题。
可选地,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure BDA0004127622590000295
Figure BDA0004127622590000296
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
可选地,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
本发明的实施例的一种面向电力物联网的云平台资源优化调度系统600与本发明的另一个实施例的一种面向电力物联网的云平台资源优化调度方法100相对应,在此不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种面向电力物联网的云平台资源优化调度方法,其特征在于,包括:
确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率;
根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
2.根据权利要求1所述的方法,其特征在于,通过所述样本集数据,输入任务数据,通过齐次马尔科夫链计算排队服务系统的稳态概率,包括:
通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure FDA0004127622570000011
Figure FDA0004127622570000012
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
3.根据权利要求1所述的方法,其特征在于,根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure FDA0004127622570000021
计算系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure FDA0004127622570000022
计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure FDA0004127622570000023
计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure FDA0004127622570000031
计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure FDA0004127622570000032
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
4.根据权利要求1所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure FDA0004127622570000033
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure FDA0004127622570000041
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure FDA0004127622570000042
个虚拟机,超过/>
Figure FDA0004127622570000043
则关闭相应的虚拟机,解决资源消耗过多的问题。
5.根据权利要求4所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure FDA0004127622570000044
Figure FDA0004127622570000045
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
6.根据权利要求5所述的方法,其特征在于,基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略,还包括:
根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
minimizeS=Ptask+Cresource
subjectto0<N
0<μ<1
0<λ<1
通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
7.一种面向电力物联网的云平台资源优化调度系统,其特征在于,包括:
获取样本集数据模块,用于确定云服务器中虚拟机的数量数据,记录和整理后对云服务器中虚拟机的数量数据的原始数据进行数据预处理,获取样本集数据,并按比例分为训练样本集和测试样本集;
计算稳态概率模块,用于通过所述样本集数据,输入任务数据,使用齐次马尔科夫链计算排队服务系统的稳态概率;
计算性能衡量指标模块,用于根据所述排队服务系统的稳态概率,构造解析函数并计算关于云环境下任务执行的性能衡量指标;
生成多目标优化策略模块,用于基于所述性能衡量指标,采用资源开销和性能的多目标优化算法来建模系统的总资源开销,得到基本系统参数的最优值,并以最优参数生成云平台的多场景下的多目标优化策略。
8.根据权利要求7所述的系统,其特征在于,计算稳态概率模块,包括:
计算稳态概率子模块,用于通过齐次马尔科夫链,得到排队服务系统中任务数量的稳态概率:
Figure FDA0004127622570000061
Figure FDA0004127622570000071
其中,N为云平台中最多可容纳的任务数量,λ为任务到达的速率,平均任务服务时间为1/μ,n为第n个任务,Pn代表在一个新任务到达之前,系统中有n个任务的概率。
9.根据权利要求6所述的系统,其特征在于,计算性能衡量指标模块,包括:
所述性能衡量指标包括但不仅限于:缓存中排队的平均任务数量、系统中平均任务数量、系统中任务的平均完成时间、平均等待时间以及立即服务概率,系统中平均任务数量用于衡量系统服务任务的能力,任务的平均完成时间和平均等待时间,代表系统执行任务的效率;
计算缓存平均任务数量子模块,用于计算缓存中排队的平均任务数量:Lq代表在缓存中排队的平均任务数的期望,即等待队列的长度,Pn代表在一个新任务到达之前,系统中有n个任务的概率,因此等待队列长度为:
Figure FDA0004127622570000072
计算系统平均任务数量子模块,用于系统中平均任务数量:Ls代表当前系统中所有任务,包括正在服务的任务和等待的任务的平均数量的期望:
Figure FDA0004127622570000073
计算平均完成时间子模块,用于计算系统中任务的平均完成时间:Ws代表系统中任务的平均完成时间,是任务在服务器中的服务时间和在缓存中的等待时间的总和,求出系统中任务的平均完成时间:
Figure FDA0004127622570000081
计算平均等待时间子模块,用于计算平均等待时间:当任务到达时,如果排队系统中所有服务器都被占用,并且缓存没有满,任务请求就会在缓存中等待,直到有空闲的服务器来处理,平均等待时间为:
Figure FDA0004127622570000082
计算立即服务概率子模块,用于计算立即服务概率:在新任务到达时,如果缓存中没有等待的任务并且有服务器空闲,即系统中的任务数量小于N,则新任务可以立即得到服务,任务被立即服务概率可以计算为:
Figure FDA0004127622570000083
对于一个给定的云平台,基于齐次马尔科夫链排队的分析模型,通过求解可得到性能衡量指标。
10.根据权利要求7所述的系统,其特征在于,生成多目标优化策略模块,包括:
在电力物联网中出现异常用电情况时,云平台中的任务数量也会随之发生异常变化,包括任务数量增加/减少、排队任务增多/减少;
确定异常状态子模块,用于定义异常状态stateab,设置τ+为排队任务数量为异常状态的上临界点,τ-为任务总数量为异常状态的下临界点,当任务缓存中排队任务的数量超出τ+时,说明任务增长过快且超出一定范围,需要调整现有资源调度策略,增加服务器资源来解决排队阻塞;当任务总数量低于τ-时,说明任务持续减少且低于正常范围,需要调整现有资源调度策略,减少服务器资源来避免资源消耗,形式化表述如下:
Figure FDA0004127622570000091
其中,Twait表示缓存中排队的任务数量,Tall表示云平台中所有任务数量,设定1个虚拟机只能容纳m个任务,当t≥k×m时,需要一个新启动的虚拟机来满足服务需求,对于任务缓存中排队任务的数量超出τ+时,需要启动
Figure FDA0004127622570000092
个虚拟机,解决任务排队阻塞的问题;对于任务总数量低于τ-时,只需开启/>
Figure FDA0004127622570000093
个虚拟机,超过/>
Figure FDA0004127622570000094
则关闭相应的虚拟机,解决资源消耗过多的问题。
11.根据权利要求10所述的方法,其特征在于,生成多目标优化策略模块,还包括:
获取资源利用数据子模块,用于根据虚拟机的状态进行参数定义,以虚拟机层次构建异常监听和处理机制进行资源的弹性伸缩管理,对于云平台的资源开销度量,获取服务器集群中的虚拟机水平的资源利用数据;
虚拟机的状态可以分为启用状态和关闭状态,此外,启用状态还分为繁忙状态,即高资源消耗和空闲状态即低资源消耗,根据虚拟机的状态,定义以下参数:启用状态的虚拟机的期望;繁忙状态下的启用虚拟机的期望;空闲状态下的启用虚拟机的期望;关闭虚拟机的期望
Figure FDA0004127622570000095
Figure FDA0004127622570000096
Eon-idle=Eon-Eon-busy
Eoff=N-Eon
其中,Eon为启用状态的虚拟机的期望;Eon-busy为繁忙状态下的启用虚拟机的期望;Eon-idle空闲状态下的启用虚拟机的期望;Eoff为关闭虚拟机的期望,1个虚拟机中只能容纳m个任务,当一个状态下的任务数量大于虚拟机的数量时,则繁忙虚拟机为c。
12.根据权利要求11所述的方法,奇特在于,生成多目标优化策略模块,还包括:
构建目标函数子模块,用于根据异常状态stateab和虚拟机资源利用数据,构建目标函数S=Ptask+Cresource,对目标函数优化处理,从而平衡任务处理效率和资源利用率;
优化目标函数子模块,用于对目标函数S=Ptask+Cresource进行优化,Cresource可以进一步的分解为:
Cresource=θwaitLqon-busyEon-busyon-idleEon-idleoffEoff
式中,Ptask为任务平均完成时间Ws,θwait表示任务在缓存中的平均消耗,θon-busy表示服务器繁忙工作的单位时间的资源开销,包括功耗、计算资源、存储资源等的消耗,θon-idle表示服务器空闲时单位时间的资源开销,包括功耗、计算资源、存储资源的消耗,θoff表示服务器关闭时的单位时间的资源开销,当虚拟机处于关闭状态时,其资源开销消耗只存在于主机的备用功耗中,不存在资源消耗;
获得更好的收益子模块,用于对目标函数进行优化,找到各配置参数的最优值,利用得到的最优参数来配置管理系统,降低系统的资源开销并提高性能,获得更好的收益:
min imize S=Ptask+Cresource
subject to 0<N
0<μ<1
0<λ<1
评估资源调度策略子模块,用于通过仿真实验平台评估云平台中的资源调度策略,即虚拟机调度策略。
CN202310250210.5A 2023-03-14 2023-03-14 一种面向电力物联网的云平台资源优化调度方法及系统 Pending CN116360921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310250210.5A CN116360921A (zh) 2023-03-14 2023-03-14 一种面向电力物联网的云平台资源优化调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310250210.5A CN116360921A (zh) 2023-03-14 2023-03-14 一种面向电力物联网的云平台资源优化调度方法及系统

Publications (1)

Publication Number Publication Date
CN116360921A true CN116360921A (zh) 2023-06-30

Family

ID=86918317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310250210.5A Pending CN116360921A (zh) 2023-03-14 2023-03-14 一种面向电力物联网的云平台资源优化调度方法及系统

Country Status (1)

Country Link
CN (1) CN116360921A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492934A (zh) * 2024-01-02 2024-02-02 深圳市伊登软件有限公司 一种基于云服务智能部署的数据处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492934A (zh) * 2024-01-02 2024-02-02 深圳市伊登软件有限公司 一种基于云服务智能部署的数据处理方法及系统
CN117492934B (zh) * 2024-01-02 2024-04-16 深圳市伊登软件有限公司 一种基于云服务智能部署的数据处理方法及系统

Similar Documents

Publication Publication Date Title
Zhang et al. Slaq: quality-driven scheduling for distributed machine learning
CN110399222B (zh) Gpu集群深度学习任务并行化方法、装置及电子设备
Yeung et al. Horus: Interference-aware and prediction-based scheduling in deep learning systems
CN107515663B (zh) 调整中央处理器内核运行频率的方法和装置
CN112685170B (zh) 备份策略的动态优化
CN105487930A (zh) 一种基于Hadoop的任务优化调度方法
Yang et al. Design adaptive task allocation scheduler to improve MapReduce performance in heterogeneous clouds
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
Zhang et al. Virtual machine placement strategy using cluster-based genetic algorithm
CN107357652A (zh) 一种基于分段排序及标准差调整因子的云计算任务调度方法
CN112052081B (zh) 一种任务调度方法、装置及电子设备
CN104182278A (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN116360921A (zh) 一种面向电力物联网的云平台资源优化调度方法及系统
CN114895773A (zh) 异构多核处理器的能耗优化方法、系统、装置及存储介质
CN109117269A (zh) 一种分布式系统虚拟机调度方法、装置和可读存储介质
CN117573373B (zh) 一种基于云计算的cpu虚拟化调度方法及系统
CN113158435B (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
Ohmura et al. Toward building a digital twin of job scheduling and power management on an hpc system
CN104346220A (zh) 一种任务调度方法与系统
CN116841753A (zh) 一种流处理和批处理的切换方法及切换装置
CN116501468A (zh) 批量作业处理方法、装置及电子设备
Tang et al. A network load perception based task scheduler for parallel distributed data processing systems
Liu et al. An optimized speculative execution strategy based on local data prediction in a heterogeneous hadoop environment
CN111625352A (zh) 调度方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication