CN117221328A - 一种基于态势感知的服务调度方法及系统 - Google Patents
一种基于态势感知的服务调度方法及系统 Download PDFInfo
- Publication number
- CN117221328A CN117221328A CN202311380488.0A CN202311380488A CN117221328A CN 117221328 A CN117221328 A CN 117221328A CN 202311380488 A CN202311380488 A CN 202311380488A CN 117221328 A CN117221328 A CN 117221328A
- Authority
- CN
- China
- Prior art keywords
- job
- processing node
- task
- service
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 194
- 230000001419 dependent effect Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000010977 unit operation Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于态势感知的服务调度方法,获取服务节点中除任务下发指令之外的其他指令每一周期消耗的计算机资源信息;根据计算机资源信息建立基于时间序列的服务计算资源预测模型并进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源;建立作业调度模型,使用调度算法基于各处理节点的计算资源信息对本轮指令进行分配下发。本发明还公开了一种基于态势感知的服务调度系统。本发明中的电力物联网中基于态势感知的服务调度机制,能够在最大化利用计算资源的情况下,有效地提升下行指令的执行效率和成功率。
Description
技术领域
本发明属于物联网管理技术领域,尤其是涉及一种基于态势感知的服务调度方法及系统。
背景技术
智慧物联体系主要包括物联管理平台、边缘物联代理和各类型终端标准化接入,形成“云管边端”架构。物联管理平台在智慧物联体系中处于承上启下的核心位置,满足多样化设备接入,提供设备端到企业中台及上层应用的信息交互通道,实现数据共用,构建开放共享的应用生态。物联管理平台基于微服务架构进行设计,各微服务独立进行开发部署,相互隔离,有利于系统的开发和维护。微服务之间根据业务需求相互调用,命令的下发是物联管理平台与用户交互的一项重要流程,下行命令主要包括任务下发、控制命令下发、日志召回、设备状态查询等。在命令下发的过程中,命令通过不同的微服务进行数据处理,并最终到达设备端。随着业务系统及接入设备的不断增加,整个系统的资源不可预测,大量的计算资源被严重浪费,得不到充分利用,指令下发效率缓慢。
发明内容
发明目的:本发明的目的旨在提供一种指令发下成功高、执行效率高的基于态势感知的服务调度方法;本发明另一目的旨在提供一种基于态势感知的服务调度系统,本发明另一目的旨在提供一种基于态势感知的服务调度计算机设备。
技术方案:本发明所述的一种基于态势感知的服务调度方法,包括以下步骤:
步骤1、获取服务节点中除任务下发指令之外的其他指令每一周期消耗的计算机资源信息;
步骤2、根据计算机资源信息建立基于时间序列的服务计算资源预测模型并进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源;
步骤3、建立作业调度模型,使用调度算法基于各处理节点的计算资源信息对本轮指令进行分配下发。
其中,所述步骤1中服务中节点的计算资源至少包括各节点的适用场景condition、运算速度v和存储容量storage。
其中,所述步骤2中建立服务计算资源预测模型包括通过合适的函数变换,可以认为时间序列由趋势项部分、周期项部分和随机噪声项部分叠加而成,则服务计算资源计算模型可表示为:
St=μxt+(1-μ)yt;
其中,St为预测的计算资源,xt为趋势项部分,yt为周期项部分。
其中,所述xt为趋势项部分,yt为周期项部分的求解过程包括移动平均能够去除时间序列的短期波动,使得数据变得平滑,从而可以方便看出序列的趋势特征;加权移动平均在计算平均数时并不是等量齐观,而是给最近的观测值相对历史观测值更大的权重;因此对于任意时间序列x1,x2,…,xt,根据加权移动平均法有:
其中,p为移动平均的周期数,t≥p,xt为第t个周期的预测值;对于计算资源的预测模型中的趋势项部分和周期项部分,分别可得到预测模型:
其中,所述趋势项部分需要进行修正,其修正过程包括针对电力物联网中的计算资源进行分析,得出其在资源增加和减少趋势时呈线性变化,可将此变化表示为:
xt=a+bt;
当t增加到t+p时,其表示为:
xt+p=a+b(t+p)=a+bt+bp;
根据加权移动平均法进行计算,序列值表示为:
因此,基于加权移动平均法预测的序列值滞后了,为消除该滞后,需要在加权移动平均预测模型上进行修正,修正值为b(p+2)/3。经过修正后的趋势项部分的加权移动平均预测模型为:
其中b通过线性回归公式进行计算:
综上所述,服务中计算资源的预测模型表示为:
当服务中的计算资源处于增加或减少趋势时,b的取值根据线性回归公式计算进行取值,为不失一般性,当计算资源处于平稳阶段时,b的取值为0。
其中,所述步骤3中作业调度模型包括作业接收队列、负载均衡控制和处理节点任务队列三部分;其中,作业接收队列接收输入的任务集,将作业包转发至负载均衡控制模块;负载均衡控制负责对作业包进行调度,按照负载均衡策略,将作业包转发至相应的处理节点任务队列中;处理节点队列按照先来先服务的策略对处理节点任务队列中的作业包进行处理。
其中,所述计算资源通过处理节点集合NODE={node1,node2,···,noden}表示,每个处理节点的计算资源由运算速度v和存储容量storage衡量;运算速度由处理节点本身的设计决定,以任务下发为例,包括安装、升级、卸载、停止等任务的下发以及实现的算法工作频率;存储容量由任务队列的大小决定,其大小需保证为单元作业包的整数倍,从而保证数据不会丢失,可表示为:
nodei={v,storage}。
其中,所述作业调度模型采用的作业调度策略包括以下步骤:
步骤31、建立处理节点状态表,在节点状态表中,t表示处理节点处理单元作业包所需的时间,storage表示通过本文提出的基于服务计算资源预测的作业调度算法预测出的处理节点任务队列的剩余容量,num表示当前处理节点任务队列中作业包的数量,当任务队列中接收一个作业包时,则num+1,当一个作业包处理完成,则num-1;
因此,具有n个处理节点的处理节点状态矩阵可表示为:
步骤32、计算处理节点的权重占比,包括以下步骤:
步骤321、对于处理速度的归一化:
其中,ti表示处理节点处理单位作业包所消耗的时间,tmin表示所有处理节点中处理单位作业包所消耗的最短的时间,tmax表示所有处理节点中处理单位作业包所消耗的最短长的时间;
步骤322、将处理节点任务队列的剩余容量进行归一化处理:
其中,storageres表示处理节点任务队列的剩余容量,storage表示处理节点任务队列的总容量,num表示处理节点任务队列中的单元作业包数量,其取值可根据任务队列计数器获取,unit表示单元作业包的大小;
步骤323、处理节点的权重计算可表示为:
Wi=-αWv+βWs,α+β=1;
其中,α表示处理节点处理速度的权重系数,β表示处理节点任务队列剩余容量的权重系数;根据权重计算公式,可将处理节点状态矩阵表示为:
其中,所述作业调度策略所采用的具体调度算法包括以下步骤:
步骤331、根据作业包的模式,判断该作业包是否为依赖作业包;若为依赖作业包,则查询关联关系表,若表中存在所依赖作业的记录,则将该作业分配至依赖作业所在的任务队列中,进入步骤339,若该任务队列已满,则将该作业放至等待任务队列中,并记录其前序作业包所在的处理节点preNode、是否为当前依赖任务的最后一个作业包信息;若表中没有所依赖作业的记录,进入步骤333;若该作业包为非依赖作业包,进入步骤333;
步骤332、计算各处理节点当前任务队列的剩余容量,若任务队列存在剩余容量,则查找关联关系表中是否存在未处理完的依赖任务,若依赖任务未处理完成,则拉取等待任务队列中的剩余依赖任务,进入步骤339;否则,进入步骤333;
步骤333、根据本文所研究的基于服务计算资源预测的作业调度算法,获取预测出的结果作为当前周期的本处理节点任务队列的剩余容量;
步骤334、根据处理节点状态矩阵和处理节点任务队列的剩余容量,计算剩余容量充足的处理节点的速度权重;
步骤335、根据处理节点的权重计算公式计算剩余容量充足的处理节点的权重,选取权重最大的处理节点;
步骤336、若该作业包为依赖作业包,则将该作业被分配的任务队列记录至关联关系表中,否则,进入步骤337;
步骤337、将当前作业包放入步骤335计算出的权重最大的处理节点的任务队列中;
步骤338、计算当前处理节点的任务队列剩余容量,用于进行下一周期的处理节点任务队列剩余容量的预测;
步骤339、若该作业包为依赖作业包,该作业包处理完成之后,对其作业包状态进行判断,若其为该任务的最后一个作业包,则将处理结果返回至业务请求端,并更新关联关系表中对应依赖任务的状态,否则将处理结果保存至中间状态存储模块中;若该作业包为非依赖作业包,则处理节点将处理结果返回至业务请求端。
一种基于态势感知的服务调度系统,包括计算机资源监控及信息收集单元,用于收集服务中节点的计算资源,服务计算资源预测模块,根据计算机资源信息基于时间序列的服务计算资源预测模型进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源;负载均衡作业调度单元,包括作业接收队列、负载均衡控制和处理节点任务队列三部分;其中,作业接收队列接收输入的任务集,将作业包转发至负载均衡控制模块;负载均衡控制单元负责对作业包进行调度,按照负载均衡策略,将作业包转发至相应的处理节点任务队列中;处理节点按照先来先服务的策略对处理节点任务队列中的作业包进行处理。
有益效果:与现有技术相比,本发明具有以下显著的进步:本发明在基于时间序列的基础上对负载监控及信息进行收集,再次基础上对下一周期剩余服务计算资源进行预测,得到下一周期任务下发指令各处理节点的计算资源,实现了计算资源的最大程度的利用;进一步的为免除数据迁移导致的数据传输时延而考虑依赖任务的相关特殊处理,以及通过对各处理节点的计算能力和预测得到的计算资源的权重配置,遵循优先选择为权重大的处理节点的思想,选取合适的处理节点进行本轮指令的下发处理,保障指令的快速下发,通过对计算资源的预测和对作业的调度,本发明在最大化利用计算资源的情况下,有效地提升下行指令的执行效率和成功率。
附图说明
图1是本发明指令下发流程图;
图2是本发明任务下发指令过程优化模型结构图;
图3是本发明作业调度模型结构图;
图4是本发明作业调度算法模型结构图;
图5是本发明真实结果与预测结果对比图;
图6是本发明负载均衡作业调度算法对负载均衡指数的影响折线图。
具体实施方式
本发明中的基于态势感知的服务调度方法,包括以下步骤:
步骤1、获取服务节点中除任务下发指令之外的其他指令每一周期消耗的计算机资源信息;
步骤2、根据计算机资源信息建立基于时间序列的服务计算资源预测模型并进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源;
步骤3、建立作业调度模型,使用调度算法基于各处理节点的计算资源信息对本轮指令进行分配下发。
在本实施例中,智慧物联体系中的物联管理平台的下行命令主要通过各种微服务进行处理并下发,不同微服务具备不同的处理功能,如图1所示。以任务下发命令为例,用户或业务系统发起任务下发命令之后,任务管理微服务将命令下发至设备管理微服务,设备管理微服务将任务命令进行拆分,发送至各个设备管理微服务的处理节点处进行命令的处理,最终下发至设备端,设备端进行相应任务的执行操作。
本发明针对指令下发过程进行优化,提出了一种基于态势感知的服务调度机制,能够基于预测计算资源进行指令下发的均衡处理,实现指令下发效率的优化,如图2所示。
电力物联网中基于态势感知的服务调度机制过程优化主要分为基于时间序列的服务计算资源预测和负载均衡作业调度算法两部分。本文设计的优化模型分轮次进行指令的下发,以任务指令下发为例,下发的过程主要分为两个阶段:
(1)基于时间序列的服务计算资源预测
感知微服务中的除任务下发指令之外的其他指令每一周期消耗的服务计算资源消耗情况,通过该信息利用基于时间序列的服务计算资源预测模型进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源。
(2)基于服务计算资源预测的负载均衡作业调度算法
为免除数据迁移导致的数据传输时延而考虑依赖任务的相关特殊处理,以及通过对各处理节点的计算能力和预测得到的计算资源的权重配置,遵循优先选择为权重大的处理节点的思想,选取合适的处理节点进行本轮指令的下发处理,保障指令的快速下发。基于时间序列的服务计算资源预测包括以下步骤:
服务中节点的计算资源主要体现在各节点的适用场景condition、运算速度v和存储容量storage。
在电力物联网系统中,服务的内存占用周期性变化,与时间呈现强相关性,因此基于该相关性,构建基于时间序列的内存资源预测模型,对服务的内存资源进行预测。
通过合适的函数变换,可以认为时间序列由趋势项部分、周期项部分和随机噪声项部分叠加而成,本发明在资源预测模型中不考虑噪声部分,则服务计算资源计算模型可表示为:
St=μxt+(1-μ)yt (1)
其中,St为预测的计算资源,xt为趋势项部分,yt为周期项部分。
针对趋势项部分和周期项部分的预测,分别取横向时间序列和纵向时间序列为(x1,x2,…,xt,…)和(y1,y2,…,yt,…),其中横向时间为相同周期下的按照先后顺序排列的不同时间段,纵向时间为不同周期下按照顺序排列的相同时间段。
移动平均能够去除时间序列的短期波动,使得数据变得平滑,从而可以方便看出序列的趋势特征。加权移动平均在计算平均数时并不是等量齐观,而是给最近的观测值相对历史观测值更大的权重。因此对于任意时间序列x1,x2,…,xt,根据加权移动平均法有:
其中,p为移动平均的周期数,t≥p,xt为第t个周期的预测值。
因此,对于计算资源的预测模型中的趋势项部分和周期项部分,分别可得到预测模型:
在电力物联网场景中,计算资源的变化趋势主要有三种:资源增加、资源平稳和资源减少。当计算资源的变化趋势为增加或减少时,计算资源变化时间序列会随时间增加或降低,通过加权移动平均模型进行预测时则会产生滞后现象,因此需要针对趋势项部分进行修正。
针对电力物联网中的计算资源进行分析,得出其在资源增加和减少趋势时呈线性变化,可将此变化表示为:
xt=a+bt (5)
当t增加到t+p时,其表示为:
xt+p=a+b(t+p)=a+bt+bp (6)
根据加权移动平均法进行计算,序列值表示为:
因此,基于加权移动平均法预测的序列值滞后了b(p+2)/3,为消除该滞后,需要在加权移动平均预测模型上进行修正,修正值为b(p+2)/3。经过修正后的趋势项部分的加权移动平均预测模型为:
其中b通过线性回归公式进行计算:
综上所述,服务中计算资源的预测模型表示为:
当服务中的计算资源处于增加或减少趋势时,b的取值根据线性回归公式(9)计算进行取值,为不失一般性,当计算资源处于平稳阶段时,b的取值为0。
基于服务计算资源预测的负载均衡作业调度算法,包括以下步骤:
作业调度模型:作业调度模型如图3所示,主要包括作业接收队列、负载均衡控制和处理节点任务队列三部分。其中,作业接收队列接收输入的任务集,将作业包转发至负载均衡控制模块;负载均衡控制模块负责对作业包进行调度,按照负载均衡策略,将作业包转发至相应的处理节点任务队列中;处理节点按照先来先服务的策略对处理节点任务队列中的作业包进行处理。
计算资源:
处理节点集合NODE={node1,node2,···,noden}表示处理任务时所能感知到的计算资源,每个处理节点的计算资源由运算速度v和存储容量storage衡量。运算速度由处理节点本身的设计决定,以任务下发为例,包括安装、升级、卸载、停止等任务的下发以及实现的算法工作频率;存储容量由任务队列的大小决定,其大小需保证为单元作业包的整数倍,从而保证数据不会丢失,可表示为:
nodei={v,storage} (11)
作业调度策略:
处理节点状态表;负载均衡模块负责根据各处理节点的计算资源情况进行动态调度,因此需要维护处理节点的状态表state={t,storage,num},用以进行各处理节点的权重计算,从而进行作业包的分配。在节点状态表中,t表示处理节点处理单元作业包所需的时间,storage表示通过本文提出的基于服务计算资源预测的作业调度算法预测出的处理节点任务队列的剩余容量,num表示当前处理节点任务队列中作业包的数量,当任务队列中接收一个作业包时,则num+1,当一个作业包处理完成,则num-1。
因此,具有n个处理节点的处理节点状态矩阵可表示为:
处理节点权重;负载均衡模块根据各处理节点的处理速度和通过本文所研究的基于服务计算资源预测的作业调度算法预测出的处理节点任务队列的剩余容量来动态计算处理节点的权重。但由于处理速度和剩余容量的数量级和衡量度量不同,因此需要分别对这两个指标进行归一化处理。对于处理速度的归一化:
其中,ti表示处理节点处理单位作业包所消耗的时间,tmin表示所有处理节点中处理单位作业包所消耗的最短的时间,tmax表示所有处理节点中处理单位作业包所消耗的最短长的时间。
将处理节点任务队列的剩余容量进行归一化处理:
其中,storageres表示处理节点任务队列的剩余容量,storage表示处理节点任务队列的总容量,num表示处理节点任务队列中的单元作业包数量,其取值可根据任务队列计数器获取,unit表示单元作业包的大小。
综上,处理节点的权重计算可表示为:
Wi=-αWv+βWs,α+β=1 (15)
其中,α表示处理节点处理速度的权重系数,β表示处理节点任务队列剩余容量的权重系数。根据权重计算公式,可将处理节点状态矩阵表示为:
关联关系表;关联关系表主要用于记录当任务属于依赖任务时,各依赖任务与处理节点之间的关系。该关系可描述为:relation_list={node,task,status},其中node表示处理节点,task表示任务,status表示当前任务的状态(1表示未处理完成,0表示已处理完成)。关联关系表的长度由处理节点的个数决定,当处理节点的个数为n时,则关联关系表的长度relation_list.length=n。
调度算法;在处理节点处理作业包时,为保证作业包的快速处理,优先考虑处理节点任务队列的剩余容量,当剩余容量不足时,将不考虑为该处理节点分配作业包,否则,优先选择为权重大的处理节点分配作业包。当处理任务为依赖任务时,为免除数据迁移导致的数据传输时延,依赖任务的作业包应当在同一个处理节点上进行处理,因此,引入等待任务队列来保证依赖任务能够被分配在同一个处理节点上进行处理。具体调度算法如下:
Step1根据作业包的模式,判断该作业包是否为依赖作业包。
若为依赖作业包,则查询关联关系表,若表中存在所依赖作业的记录,则将该作业分配至依赖作业所在的任务队列中,进入Step9,若该任务队列已满,则将该作业放至等待任务队列中,并记录其前序作业包所在的处理节点preNode、是否为当前依赖任务的最后一个作业包信息;若表中没有所依赖作业的记录,进入Step 3。
若该作业包为非依赖作业包,进入Step 3。
Step2计算各处理节点当前任务队列的剩余容量,若任务队列存在剩余容量,则查找关联关系表中是否存在未处理完的依赖任务,若依赖任务未处理完成,则拉取等待任务队列中的剩余依赖任务,进入Step9;否则,进入Step3。
Step3根据本文所研究的基于服务计算资源预测的作业调度算法,获取预测出的结果作为当前周期的本处理节点任务队列的剩余容量。
Step4根据处理节点状态矩阵和处理节点任务队列的剩余容量,计算剩余容量充足的处理节点的速度权重。
Step5根据处理节点的权重计算公式计算剩余容量充足的处理节点的权重,选取权重最大的处理节点。
Step6若该作业包为依赖作业包,则将该作业被分配的任务队列记录至关联关系表中,否则,进入Step7。
Step7将当前作业包放入Step5计算出的权重最大的处理节点的任务队列中。
Step8计算当前处理节点的任务队列剩余容量storage-num×unit,用于进行下一周期的处理节点任务队列剩余容量的预测。
Step9若该作业包为依赖作业包,该作业包处理完成之后,对其作业包状态进行判断,若其为该任务的最后一个作业包,则将处理结果返回至业务请求端,并更新关联关系表中对应依赖任务的状态,否则将处理结果保存至中间状态存储模块中;若该作业包为非依赖作业包,则处理节点将处理结果返回至业务请求端。
如图4所示为作业调度算法模型,其中处理节点p的任务队列未满,处理节点q的任务队列已满。
计算资源的预测模型预测结果的准确性进行评估。以一天为一个周期,30分钟为一个时间段,共划分为48个时间段,针对服务中节点的计算资源连续进行48个时间段的计算资源进行预测,并对实际计算资源进行监控。基于时间序列的服务计算资源预测的移动平均的周期数p取值为12。预测结果与实际计算资源的对比如图5所示,本发明提出的计算资源的预测模型能够准确地预测出计算资源的变化趋势,并且预测结果与实际计算资源十分接近,准确度较高,基本能够代表真实的计算资源情况。测试负载均衡作业调度算法对负载均衡指数影响。系统运行过程中,负载均衡作业调度算法每隔一个时间周期(30min),便对服务中的负载信息进行一次采集。测试时采用48个连续时间周期内的负载均衡指数进行对比。本发明提出的电力物联网中基于态势感知的服务调度机制,能够在最大化利用计算资源的情况下,有效地提升下行指令的执行效率和成功率。
Claims (10)
1.一种基于态势感知的服务调度方法,其特征在于,包括以下步骤:
步骤1、获取服务节点中除任务下发指令之外的其他指令每一周期消耗的计算机资源信息;
步骤2、根据计算机资源信息建立基于时间序列的服务计算资源预测模型并进行下一周期剩余服务计算资源的预测,得到任务下发指令下一周期的各处理节点的计算资源;
步骤3、建立作业调度模型,使用调度算法基于各处理节点的计算资源信息对本轮指令进行分配下发。
2.根据权利要求1所述的基于态势感知的服务调度方法,其特征在于,所述步骤1中服务中节点的计算资源至少包括各节点的适用场景condition、运算速度v和存储容量storage。
3.根据权利要求1所述的基于态势感知的服务调度方法,其特征在于,所述步骤2中建立服务计算资源预测模型,通过合适的函数变换,时间序列由趋势项部分、周期项部分和随机噪声项部分叠加而成,则服务计算资源计算模型表示为:
St=μxt+(1-μ)yt;
其中,St为预测的计算资源,xt为趋势项部分,yt为周期项部分。
4.根据权利要求3所述的基于态势感知的服务调度方法,其特征在于,所述xt为趋势项部分,yt为周期项部分,移动平均能够去除时间序列的短期波动,使得数据变得平滑;,对于任意时间序列x1,x2,…,xt,根据加权移动平均法有:
其中,p为移动平均的周期数,t≥p,xt为第t个周期的预测值;对于计算资源的预测模型中的趋势项部分和周期项部分,分别得到预测模型的两个部分:
5.根据权利要求4所述的基于态势感知的服务调度方法,其特征在于,所述趋势项部分进行修正,针对电力物联网中的计算资源进行分析,得出其在资源增加和减少趋势时呈线性变化,将此变化表示为:
xt=a+bt;
其中,a、b为修整参数,当t增加到t+p时,其表示为:
xt+p=a+b(t+p)=a+bt+bp;
根据加权移动平均法进行计算,序列值表示为:
因此,基于加权移动平均法预测的序列值滞后了,为消除该滞后,需要在加权移动平均预测模型上进行修正,修正值为b(p+2)/3;经过修正后的趋势项部分的加权移动平均预测模型为:
其中b通过线性回归公式进行计算:
综上所述,服务中计算资源的预测模型表示为:
当服务中的计算资源处于增加或减少趋势时,b的取值根据线性回归公式计算进行取值,为不失一般性,当计算资源处于平稳阶段时,b的取值为0。
6.根据权利要求1所述的基于态势感知的服务调度方法,其特征在于,所述步骤3中作业调度模型包括作业接收队列、负载均衡控制和处理节点任务队列三部分;其中,作业接收队列接收输入的任务集,将作业包转发至负载均衡控制模块;负载均衡控制负责对作业包进行调度,按照负载均衡策略,将作业包转发至相应的处理节点任务队列中;处理节点队列按照先来先服务的策略对处理节点任务队列中的作业包进行处理。
7.根据权利要求2所述的基于态势感知的服务调度方法,其特征在于,所述计算资源通过处理节点集合NODE={node1,node2,···,noden}表示,每个处理节点的计算资源由运算速度v和存储容量storage衡量;运算速度由处理节点本身的设计决定,任务下发包括安装、升级、卸载、停止任务的下发以及实现的算法工作频率;存储容量由任务队列的大小决定,其大小需保证为单元作业包的整数倍,从而保证数据不会丢失,表示为:
nodei={v,storage}。
8.根据权利要求6所述的基于态势感知的服务调度方法,其特征在于,所述作业调度模型采用的作业调度策略包括以下步骤:
步骤31、建立处理节点状态表,在节点状态表中,t表示处理节点处理单元作业包所需的时间,storage表示通过本文提出的基于服务计算资源预测的作业调度算法预测出的处理节点任务队列的剩余容量,num表示当前处理节点任务队列中作业包的数量,当任务队列中接收一个作业包时,则num+1,当一个作业包处理完成,则num-1;
因此,具有n个处理节点的处理节点状态矩阵表示为:
步骤32、计算处理节点的权重占比,包括以下步骤:
步骤321、对于处理速度的归一化:
其中,ti表示处理节点处理单位作业包所消耗的时间,tmin表示所有处理节点中处理单位作业包所消耗的最短的时间,tmax表示所有处理节点中处理单位作业包所消耗的最短长的时间;
步骤322、将处理节点任务队列的剩余容量进行归一化处理:
其中,storageres表示处理节点任务队列的剩余容量,storage表示处理节点任务队列的总容量,num表示处理节点任务队列中的单元作业包数量,其取值根据任务队列计数器获取,unit表示单元作业包的大小;
步骤323、处理节点的权重计算表示为:
Wi=-αWv+βWs,α+β=1;
其中,α表示处理节点处理速度的权重系数,β表示处理节点任务队列剩余容量的权重系数;根据权重计算公式,将处理节点状态矩阵表示为:
9.根据权利要求8所述的基于态势感知的服务调度方法,其特征在于,所述作业调度策略所采用的具体调度算法包括以下步骤:
步骤331、根据作业包的模式,判断该作业包是否为依赖作业包;若为依赖作业包,则查询关联关系表,若表中存在所依赖作业的记录,则将该作业分配至依赖作业所在的任务队列中,进入步骤339,若该任务队列已满,则将该作业放至等待任务队列中,并记录其前序作业包所在的处理节点preNode、是否为当前依赖任务的最后一个作业包信息;若表中没有所依赖作业的记录,进入步骤333;若该作业包为非依赖作业包,进入步骤333;
步骤332、计算各处理节点当前任务队列的剩余容量,若任务队列存在剩余容量,则查找关联关系表中是否存在未处理完的依赖任务,若依赖任务未处理完成,则拉取等待任务队列中的剩余依赖任务,进入步骤339;否则,进入步骤333;
步骤333、根据本文所研究的基于服务计算资源预测的作业调度算法,获取预测出的结果作为当前周期的本处理节点任务队列的剩余容量;
步骤334、根据处理节点状态矩阵和处理节点任务队列的剩余容量,计算剩余容量充足的处理节点的速度权重;
步骤335、根据处理节点的权重计算公式计算剩余容量充足的处理节点的权重,选取权重最大的处理节点;
步骤336、若该作业包为依赖作业包,则将该作业被分配的任务队列记录至关联关系表中,否则,进入步骤337;
步骤337、将当前作业包放入步骤335计算出的权重最大的处理节点的任务队列中;
步骤338、计算当前处理节点的任务队列剩余容量,用于进行下一周期的处理节点任务队列剩余容量的预测;
步骤339、若该作业包为依赖作业包,该作业包处理完成之后,对其作业包状态进行判断,若其为该任务的最后一个作业包,则将处理结果返回至业务请求端,并更新关联关系表中对应依赖任务的状态,否则将处理结果保存至中间状态存储模块中;若该作业包为非依赖作业包,则处理节点将处理结果返回至业务请求端。
10.一种应用于权利要求1所述基于态势感知的服务调度系统,其特征在于,包括计算机资源监控及信息收集单元,用于收集服务中节点的计算资源,服务计算资源预测模块,根据计算机资源信息基于时间序列的服务计算资源预测模型进行下一周期剩余服务计算资源的预测,得到下一周期任务下发指令各处理节点的计算资源;负载均衡作业调度单元,包括作业接收队列、负载均衡控制和处理节点任务队列三部分;其中,作业接收队列接收输入的任务集,将作业包转发至负载均衡控制模块;负载均衡控制单元负责对作业包进行调度,按照负载均衡策略,将作业包转发至相应的处理节点任务队列中;处理节点按照先来先服务的策略对处理节点任务队列中的作业包进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311380488.0A CN117221328B (zh) | 2023-10-24 | 2023-10-24 | 一种基于态势感知的服务调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311380488.0A CN117221328B (zh) | 2023-10-24 | 2023-10-24 | 一种基于态势感知的服务调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117221328A true CN117221328A (zh) | 2023-12-12 |
CN117221328B CN117221328B (zh) | 2024-07-19 |
Family
ID=89040910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311380488.0A Active CN117221328B (zh) | 2023-10-24 | 2023-10-24 | 一种基于态势感知的服务调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117221328B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117453424A (zh) * | 2023-12-26 | 2024-01-26 | 北京航空航天大学杭州创新研究院 | 可动态扩展计算资源的加速算法运行效率的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543890A (zh) * | 2018-11-09 | 2019-03-29 | 山大地纬软件股份有限公司 | 基于负载预测均衡的电网费控优化调度方法、装置及系统 |
WO2020206705A1 (zh) * | 2019-04-10 | 2020-10-15 | 山东科技大学 | 一种基于集群节点负载状态预测的作业调度方法 |
CN114553959A (zh) * | 2022-02-21 | 2022-05-27 | 南京航空航天大学 | 基于态势感知的云原生服务网格配置按需下发方法及应用 |
CN114780247A (zh) * | 2022-05-17 | 2022-07-22 | 中国地质大学(北京) | 一种流速和资源感知的流应用调度方法及系统 |
-
2023
- 2023-10-24 CN CN202311380488.0A patent/CN117221328B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543890A (zh) * | 2018-11-09 | 2019-03-29 | 山大地纬软件股份有限公司 | 基于负载预测均衡的电网费控优化调度方法、装置及系统 |
WO2020206705A1 (zh) * | 2019-04-10 | 2020-10-15 | 山东科技大学 | 一种基于集群节点负载状态预测的作业调度方法 |
CN114553959A (zh) * | 2022-02-21 | 2022-05-27 | 南京航空航天大学 | 基于态势感知的云原生服务网格配置按需下发方法及应用 |
CN114780247A (zh) * | 2022-05-17 | 2022-07-22 | 中国地质大学(北京) | 一种流速和资源感知的流应用调度方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117453424A (zh) * | 2023-12-26 | 2024-01-26 | 北京航空航天大学杭州创新研究院 | 可动态扩展计算资源的加速算法运行效率的方法及装置 |
CN117453424B (zh) * | 2023-12-26 | 2024-04-19 | 北京航空航天大学杭州创新研究院 | 可动态扩展计算资源的加速算法运行效率的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117221328B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117221328B (zh) | 一种基于态势感知的服务调度方法及系统 | |
US8695009B2 (en) | Allocating tasks to machines in computing clusters | |
Rjoub et al. | Deep smart scheduling: A deep learning approach for automated big data scheduling over the cloud | |
CN107193652B (zh) | 容器云环境中流数据处理系统的弹性资源调度方法及系统 | |
CN107370799B (zh) | 一种混合移动云环境中高能效的多用户在线计算迁移方法 | |
US20070300239A1 (en) | Dynamic application instance placement in data center environments | |
CN111722910B (zh) | 一种云作业调度及资源配置的方法 | |
CN105302632A (zh) | 一种云计算工作负载动态整合方法 | |
CN111338807B (zh) | 一种面向边缘人工智能应用的QoE感知的服务增强方法 | |
CN112231085A (zh) | 一种协同环境下基于时间感知的移动终端任务迁移方法 | |
CN108737268B (zh) | 软件定义工业物联网资源调度方法 | |
CN115878260A (zh) | 一种低碳自适应云主机任务调度系统 | |
CN108241526B (zh) | 基于模式预测的自适应控制策略 | |
CN115150893A (zh) | 基于任务划分与d2d的mec任务卸载策略方法 | |
Zikos et al. | Communication cost effective scheduling policies of nonclairvoyant jobs with load balancing in a grid | |
CN117608806A (zh) | 智能电网云边协同机制下计算任务雾-雾-云优化方法 | |
Du et al. | An Improved Ant Colony Algorithm for New energy Industry Resource Allocation in Cloud Environment | |
Narayana et al. | A research on various scheduling strategies in fog computing environment | |
Milocco et al. | Evaluating the upper bound of energy cost saving by proactive data center management | |
Milocco et al. | Proactive data center management using predictive approaches | |
CN110955527B (zh) | 一种基于cpu核数预测实现并行任务调度的方法和系统 | |
Lili et al. | A Markov chain based resource prediction in computational grid | |
Khojasteh et al. | Characterizing energy consumption of IaaS clouds in non-saturated operation | |
CN113391928B (zh) | 硬件的资源分配方法、装置、电子设备及存储介质 | |
CN116048820B (zh) | 面向边缘云的dnn推断模型部署能耗优化方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |