CN117170875A - 资源调度方法、装置和存储介质 - Google Patents
资源调度方法、装置和存储介质 Download PDFInfo
- Publication number
- CN117170875A CN117170875A CN202311196073.8A CN202311196073A CN117170875A CN 117170875 A CN117170875 A CN 117170875A CN 202311196073 A CN202311196073 A CN 202311196073A CN 117170875 A CN117170875 A CN 117170875A
- Authority
- CN
- China
- Prior art keywords
- load
- preset
- capacity
- determining
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 50
- 230000008602 contraction Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 27
- 230000007474 system interaction Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提出一种资源调度方法、装置和存储介质,涉及云计算技术领域。本公开的一种资源调度方法包括:根据历史数据确定目标网络的负载预测值;该方法还包括以下至少一项:在负载预测值大于扩容阈值的情况下,确定对目标网络进行资源扩容;或在负载预测值小于缩容阈值的情况下,确定对目标网络进行资源缩容。
Description
技术领域
本公开涉及云计算技术领域,特别是一种资源调度方法、装置和存储介质。
背景技术
云原生作为5G网络实现智能化的关键技术抓手,通过统一资源池管理,可有效降低5G泛在业务对核心网负担。由于5G场景应用较多,网络上云过程涉及微服务也相对比较多。
相关技术中针对5GC云原生资源分配方式,大部分是在规定的时间间隔定期读取5G核心网资源占用的统计信息,完成核心网的弹性伸缩。
发明内容
本公开的一个目的在于提高网络资源调度的及时性。
根据本公开的一些实施例的一个方面,提出一种资源调度方法,包括:根据历史数据确定目标网络的负载预测值;该方法还包括以下至少一项:在负载预测值大于扩容阈值的情况下,确定对目标网络进行资源扩容;或在负载预测值小于缩容阈值的情况下,确定对目标网络进行资源缩容。
在一些实施例中,该方法还包括:根据网络实时负载确定资源利用率;该方法还包括以下至少一项:在负载预测值小于等于扩容阈值的情况下,若资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,则确定对目标网络进行资源扩容;或在负载预测值大于等于缩容阈值的情况下,若资源利用率在预定第二时间长度内的减小速度大于等于预定第二负载阈值,则确定对目标网络进行资源缩容。
在一些实施例中,该方法还包括重复执行以下操作:在负载预测值小于等于扩容阈值的情况下,若资源利用率在预定第三时间长度内的增长速度大于等于预定第一负载阈值,则将计数器加1,否则将计数器清零,其中,若计数器等于预定第一计数阈值,则确定资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,预定第一时间长度大于等于预定第三时间长度与预定第一计数阈值的乘积。
在一些实施例中,该方法还包括重复执行以下操作:在负载预测值大于等于缩容阈值的情况下,若资源利用率在预定第四时间长度内的增长速度小于等于预定第二负载阈值,则将计数器加1,否则将计数器清零,其中,若计数器等于预定第二计数阈值,则确定资源利用率在预定第二时间长度内的增长速度小于等于预定第二负载阈值,预定第二时间长度大于等于预定第四时间长度与预定第二计数阈值的乘积。
在一些实施例中,根据历史数据确定目标网络的负载预测值包括:根据预训练的负载预测算法,基于最新的预定时间长度内的历史数据,确定负载预测值,其中,历史数据包括历史中央处理器使用率、历史内存负载、历史系统交互使用率和历史带宽负载。
在一些实施例中,基于最新的预定时间长度内的历史数据,确定负载预测值包括:将历史中央处理器使用率、历史内存负载、历史系统交互使用率和历史带宽负载进行归一化处理,获取对应的归一化历史数据;根据归一化历史数据和对应的权重,确定历史负载数据;将历史负载数据输入预训练的负载预测算法,确定负载预测值。
在一些实施例中,该方法还包括:根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值。
在一些实施例中,根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值包括:将预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载进行归一化处理,获取对应的归一化预定数据;根据归一化预定数据和对应的权重,确定扩容阈值和缩容阈值。
在一些实施例中,根据网络实时负载确定资源利用率包括:获取实时中央处理器使用率、实时内存负载、实时系统交互使用率和实时带宽负载数据并进行归一化处理,获取对应的归一化实时数据;根据归一化实时数据和对应的权重,确定实时负载数据。
在一些实施例中,该方法还包括:通过建立的K8s核心监控数据的聚合器获取负载预测值、扩容阈值和缩容阈值,并上传给K8s的应用接口服务器,以便确定是否进行扩容或缩容;和;基于K8s集群的自动水平收缩,对目标网络的pod资源进行扩容或缩容。
根据本公开的一些实施例的一个方面,提出一种资源调度装置,包括:负载预测单元,被配置为根据历史数据确定目标网络的负载预测值;扩容缩容单元,被配置为执行以下至少一项:在负载预测值大于扩容阈值的情况下,确定对目标网络进行资源扩容;或在负载预测值小于缩容阈值的情况下,确定对目标网络进行资源缩容。
在一些实施例中,该装置还包括:利用率确定单元,被配置为根据网络实时负载确定资源利用率;扩容缩容单元还被配置为执行以下至少一项:在负载预测值小于等于扩容阈值的情况下,若资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,则确定对目标网络进行资源扩容;或在负载预测值大于等于缩容阈值的情况下,若资源利用率在预定第二时间长度内的降低速度大于等于预定第二负载阈值,则确定对目标网络进行资源缩容。
在一些实施例中,该装置还包括:扩容缩容阈值确定单元,被配置为根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值。
在一些实施例中,扩容缩容单元被配置为通过建立的K8s核心监控数据的聚合器获取负载预测值、扩容阈值和缩容阈值,并上传给K8s的应用接口服务器;和;扩容缩容单元还被配置为基于K8s集群的自动水平收缩,对目标网络的pod资源进行扩容或缩容。
根据本公开的一些实施例的一个方面,提出一种资源调度装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行上文中任意一种资源调度方法。
根据本公开的一些实施例的一个方面,提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上文中任意一种资源调度方法的步骤。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1为本公开的资源调度方法的一些实施例的流程图。
图2为本公开的资源调度方法的一些实施例的另一些实施例的流程图。
图3为本公开的资源调度方法的又一些实施例的流程图。
图4为本公开的资源调度方法的一些实施例的示意图。
图5为本公开的资源调度方法的另一些实施例的示意图。
图6为本公开的资源调度方法的又一些实施例的示意图。
图7为本公开的资源调度装置的一些实施例的示意图。
图8为本公开的资源调度装置的另一些实施例的示意图。
图9为本公开的资源调度装置的又一些实施例的示意图。
具体实施方式
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
针对相关技术中受到系统资源饱和程度、数据读取速度的影响,无法有效保证时延敏感业务的需求的问题,提出一种资源调度方法、装置和存储介质,已提高网络资源调度的及时性。
本公开的资源调度方法的一些实施例的流程图如图1所示。
在步骤S12中,根据历史数据确定目标网络的负载预测值。
在一些实施例中,可以根据预训练的负载预测算法,基于最新的预定时间长度内(以当前时刻为截止时间点的预定时间长度内,如最近5分钟、最近半小时、或最近一小时)的历史数据,确定负载预测值。
在一些实施例中,负载预测算法可以为一种或多种机器学习算法,例如神经网络模型算法。在一些实施例中,历史数据包括历史CPU使用率、历史内存负载、历史系统交互使用率和历史带宽负载。通过这样的方法,能够考虑多个维度的信息,提高负载确定的可靠度和全面性。
在一些实施例中,可以先将历史CPU使用率、历史内存负载、历史系统交互使用率和历史带宽负载进行归一化处理,获取对应的归一化历史数据,进而根据归一化历史数据和对应的权重,确定历史负载数据。在得到历史负载数据后,将历史负载数据输入预训练的负载预测算法,确定负载预测值。通过这样的方法,能够将不同维度的数据进行归一化和统一处理,降低后续处理的数据难度。
在一些实施例中,可以先对历史数据进行清洗或填补中的至少一种处理,从而降低不完整的数据影响后续处理的准确度和稳定性,提高历史数据的利用率。
在一些实施例中,可以在外部设备中生成负载预测值,进而通过K8s接口直接获取负载预测值,其中,利用K8s集群的自动水平收缩,实现目标网络的pod资源扩容或缩容。通过这样的方法,能够提高数据获取效率,降低扩容、缩容的时延。
本公开的资源调度方法还包括步骤S14与S16中的至少一项。
在步骤S14中,将负载预测值与扩容阈值进行比较。在负载预测值大于扩容阈值的情况下,确定对目标网络进行资源扩容。
在步骤S16中,将负载预测值与缩容阈值进行比较。在负载预测值小于缩容阈值的情况下,确定对目标网络进行资源缩容。
在一些实施例中,扩容阈值、缩容阈值可以为预先配置,在一些实施例中,可以基于经验进行配置和调整。在一些实施例中,可以先确定扩容、缩容的临界负载参数,包括预定CPU使用率、预定内存负载、预定系统交互使用率和预定带宽负载的临界值,对临界负载参数进行归一化处理后获取对应的归一化预定数据,根据归一化预定数据和对应的权重,确定扩容阈值和缩容阈值。在一些实施例中,归一化预定数据对应的权重与在确定历史负载数据时,相同类别的归一化历史数据所对应的权重相同,从而保证前后权重的一致性,提高扩容、缩容判断的可靠度。
在一些实施例中,可以在外部设备中生成扩容阈值和缩容阈值,进而通过K8s接口直接获取扩容阈值和缩容阈值,其中,利用K8s集群的自动水平收缩,实现目标网络的pod资源扩容或缩容。通过这样的方法,能够提高数据获取效率,降低扩容、缩容的时延。
在一些实施例中,可以及时更新扩容阈值和缩容阈值,从而提高阈值的时效性和对网络状态变化的反应效率。
基于上文所示实施例中的方法,能够先对网络的负载状态进行预估,进而进行资源的扩容或缩容调节,从而实现了预先为可能出现的负载状况采取应对措施,提高了资源调节的及时性。
在一些实施例中,以资源扩容为例,本公开的资源调度方法的一些实施例的另一些实施例的流程图如图2所示。
在步骤251中,确定目标网络的负载预测值。
在步骤252中,根据网络实时负载确定资源利用率。
在一些实施例中,可以获取实时CPU使用率、实时内存负载、实时系统交互使用率和实时带宽负载数据,并进行归一化处理,获取对应的归一化实时数据,进而根据归一化实时数据和对应的权重,确定实时负载数据。在一些实施例中,归一化实时数据所对应的权重,与同种类型的预定数据、历史数据对应的权重相同,从而保证前后权重的一致性,提高扩容判断的可靠度。
在一些实施例中,在负载预测值小于等于扩容阈值的情况下,若资源利用率在预定第一时间长度内(例如5~10秒内)的增长速度持续大于等于预定第一负载阈值(如10%),则确定对目标网络进行资源扩容。在一些实施例中,在预定第一时间长度内资源利用率的增长速度持续大于等于预定第一负载阈值的情况下,才确定进行资源扩容。在一些实施例中,可以将预定第一时间长度分成多个时间片,在属于同一个预定第一时间长度的每个时间片内的资源利用率的增长速度均大于等于预定第一负载阈值的情况下,确定满足扩容要求,从而提高触发扩容操作的条件,避免不必要的扩容操作,降低调节压力。在一些实施例中,可以通过步骤253~258实现扩容判断操作。
在步骤253中,判断负载预测值是否大于扩容阈值。若负载预测值大于扩容阈值,则执行步骤254;若负载预测值小于等于扩容阈值,则执行步骤255。
在步骤254中,确定对目标网络进行资源扩容。在一些实施例中,利用K8s集群的自动水平收缩,实现目标网络的pod资源扩容。
在步骤255中,判断资源利用率在预定第三时间长度内的增长速度是否大于等于预定第一负载阈值。在一些实施例中,预定第三时间长度可以为1~2秒。在一些实施例中,可以通过多次采样实时数据的方式,确定资源利用率的变化情况。在一些实施例中,预定第一负载阈值可以为10%~20%。
若资源利用率在预定第三时间长度内的增长速度大于等于预定第一负载阈值,则执行步骤257;若资源利用率在预定第三时间长度内的增长速度小于预定第一负载阈值,则执行步骤256。
在步骤256中,计数器清0,并返回步骤251。
在步骤257中,将计数器加1,其中,计数器的初始值为0,进一步的执行步骤258。
在步骤258中,判断计数器是否等于预定第一计数阈值(例如3~10,例如取值5)。若计数器等于预定第一计数阈值,则执行步骤254;否则,返回步骤251。在一些实施例中,预定第一时间长度大于等于预定第三时间长度与预定第一计数阈值的乘积。
通过上文所示实施例中的方法,除了根据预测值判断是否扩容外,还利用实际的资源利用率的变化情况进行扩容调节,从而提前对资源利用率的变化做出反应,降低拥塞概率,提高扩容的及时性。
在一些实施例中,以资源缩容为例,本公开的资源调度方法的又一些实施例的流程图如图3所示。
在步骤371中,确定目标网络的负载预测值。
在步骤372中,根据网络实时负载确定资源利用率。
在一些实施例中,可以获取实时CPU使用率、实时内存负载、实时系统交互使用率和实时带宽负载数据,并进行归一化处理,获取对应的归一化实时数据,进而根据归一化实时数据和对应的权重,确定实时负载数据。在一些实施例中,归一化实时数据所对应的权重,与同种类型的预定数据、历史数据对应的权重相同,从而保证前后权重的一致性,提高扩容判断的可靠度。
在一些实施例中,在负载预测值大于等于缩容阈值的情况下,若资源利用率在预定第二时间长度内(例如5~10秒内)的减小速度持续大于等于预定第二负载阈值(如10%,即降低为原资源利用率的90%以下),则确定对目标网络进行资源缩容。在一些实施例中,在预定第二时间长度内资源利用率的减小速度持续大于等于预定第二负载阈值的情况下,才确定进行资源缩容。在一些实施例中,可以将预定第二时间长度分成多个时间片,在属于同一个预定第二时间长度的每个时间片内的资源利用率的减小速度均大于等于预定第二负载阈值的情况下,确定满足缩容要求,从而提高触发缩容操作的条件,避免不必要的缩容操作,降低调节压力。在一些实施例中,可以通过步骤373~378实现缩容判断操作。
在步骤373中,判断负载预测值是否小于缩容阈值。若负载预测值小于扩容阈值,则执行步骤374;若负载预测值大于等于扩容阈值,则执行步骤375。
在步骤374中,确定对目标网络进行资源缩容。在一些实施例中,利用K8s集群的自动水平收缩,实现目标网络的pod资源缩容。
在步骤375中,判断资源利用率在预定第四时间长度内的增长速度是否小于等于预定第二负载阈值。在一些实施例中,预定第四时间长度可以为1~2秒。在一些实施例中,可以通过多次采样实时数据的方式,确定资源利用率的变化情况。在一些实施例中,预定第二负载阈值可以为-20%~-10%。
若资源利用率在预定第四时间长度内的增长速度大于等于预定第二负载阈值,则执行步骤377;若资源利用率在预定第四时间长度内的增长速度小于预定第一负载阈值,则执行步376。
在步骤376中,计数器清0,并返回步骤371。
在步骤377中,将计数器加1,其中,计数器的初始值为0,进一步的执行步骤378。
在步骤378中,判断计数器是否等于预定第二计数阈值(例如3~10,例如取值5)。若计数器等于预定第二计数阈值,则执行步骤374;否则,返回步骤371。在一些实施例中,预定第二时间长度大于等于预定第四时间长度与预定第二计数阈值的乘积。
通过上文所示实施例中的方法,除了根据预测值判断是否缩容外,还利用实际的资源利用率的变化情况进行缩容调节,从而提前对资源利用率的变化做出反应,降低资源浪费,提高缩容的及时性。
本公开的资源调度方法的一些实施例的示意图如图4所示。在一些实施例中,可以构建如图4中所示的功能单元。图4中具体的网络结构仅为示例,不构成对本申请的不当限制。
右上角的功能单元能够实现5GC网络负载预测。基于5GC网络历史数据通过神经网络完成未来较短时间范围内5GC网络资源使用状态的预测。
左上角的部分为5GC网络资源编排阈值评估模型。在一些实施例中,基于不同5G业务场景,分析对应业务对安全、可靠性、时延、带宽等指标参数的影响,确定CPU、内存、系统交易和带宽等各类负载进行归一化处理,并确定不同指标的权重,并基于现有网络负载占用情况,确定5GC云资源调度阈值。
中间的部分能够用于进行网络资源状态动态扩缩的决策。在一些实施例中,基于K8s平台,通过S(Service,服务)-HPA(Horizontal Pod Autoscaler,pod水平自动伸缩器)模块实现5GC网络资源动态扩缩。S-HPA模块实时感知目前网络资源配置情况,基于上文中提到的任意一种方法决定是否进行缩容或扩容,对pod节点资源进行调度。
下方的部分为pod节点动态资源编排,调整各pod节点的资源占用情况,实现网络状态的动态扩缩容。
在上文所示实施例中,S-HPA模块能够通过接口直接获取所需的数据,如阈值数据、预测值数据,以及实时资源利用率数据,提高了数据获取的及时性,从而提高了pod节点资源调度的效率。
在一些实施例中,如图5所示,基于不同场景业务,可以构建不同的5GC网络资源编排阈值评估模型。面向高可靠、低时延、大带宽等5G关键业务场景指标需求差异,对当前资源池中CPU使用率、存储、带宽、系统交互等资源设置不同的权重因子,并完成不同资源占用情况的求解。可以根据权重因子的不同调整历史数据处理、阈值计算、资源利用率计算过程中使用的权重,从而提高对于场景业务的适配性。
在一些实施例中,面向5GC的S-HPA资源编排模块可以如图6所示。面向5GC的HPA资源编排模块自定义metrics server(K8s集群的核心监控数据的聚合器)与5G核心网元资源同步运行并采集当前网元资源状态,将该信息直接上传给K8s API服务器,基于上文中提到的任意一种方法生成是否进行缩容或扩容的建议,并将建议传递给对应服务器更新程序模块,控制pod节点的资源调整。
相关技术中,针对5G云原生核心网资源动态扩缩方法,主要依赖于K8s集群自动水平收缩,在规定的时间间隔内对pod节点资源占用情况进行感知,并完成调整,但是当用网高峰期网络数据流量处于饱和状态时,进行pod资源的扩容,会导致系统响应和扩容时间持续加大,出现网络拥堵,严重情况下甚至影响上下游业务的正常运行。
通过本公开所示实施例中的方法,通过历史数据进行未来网络资源负载预测,根据不同5G应用场景构建5GC网络资源编排阈值评估模型,基于负载预测和阈值评估模型,建立面向5GC云原生的S-HPA指标服务模块,通过S-HPA与API直接互联,在保证零停机时间和高可用性的同时实现网络资源动态添加和删除,解决了5GC云原生核心网资源分发问题。
本公开的资源调度装置700的一些实施例的示意图如图7所示。
负载预测单元702能够根据历史数据确定目标网络的负载预测值。在一些实施例中,负载预测单元702可以根据预训练的负载预测算法,基于最新的预定时间长度内(以当前时刻为截止时间点的预定时间长度内,如最近5分钟、最近半小时、或最近一小时)的历史数据,确定负载预测值。
在一些实施例中,负载预测算法可以为一种或多种机器学习算法,例如神经网络模型算法。在一些实施例中,历史数据包括历史CPU使用率、历史内存负载、历史系统交互使用率和历史带宽负载。通过这样的方法,能够考虑多个维度的信息,提高负载确定的可靠度和全面性。
在一些实施例中,可以先将历史CPU使用率、历史内存负载、历史系统交互使用率和历史带宽负载进行归一化处理,获取对应的归一化历史数据,进而根据归一化历史数据和对应的权重,确定历史负载数据。在得到历史负载数据后,将历史负载数据输入预训练的负载预测算法,确定负载预测值。通过这样的方法,能够将不同维度的数据进行归一化和统一处理,降低后续处理的数据难度。
在一些实施例中,可以先对历史数据进行清洗或填补中的至少一种处理,从而降低不完整的数据影响后续处理的准确度和稳定性,提高历史数据的利用率。
扩容缩容单元703能够执行以下至少一项:将负载预测值与扩容阈值进行比较。在负载预测值大于扩容阈值的情况下,确定对目标网络进行资源扩容;或,将负载预测值与缩容阈值进行比较。在负载预测值小于缩容阈值的情况下,确定对目标网络进行资源缩容。
这样的装置能够先对网络的负载状态进行预估,进而进行资源的扩容或缩容调节,从而实现了预先为可能出现的负载状况采取应对措施,提高了资源调节的及时性。
在一些实施例中,该装置还包括利用率确定单元704,能够根据网络实时负载确定资源利用率。在一些实施例中,扩容缩容单元703还能够执行以下至少一项:在负载预测值小于等于扩容阈值的情况下,若资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,则确定对目标网络进行资源扩容;或在负载预测值大于等于缩容阈值的情况下,若资源利用率在预定第二时间长度内的降低速度大于等于预定第二负载阈值,则确定对目标网络进行资源缩容。在一些实施例中,扩容缩容单元703能够执行上文中任意一种决策进行缩容、扩容的方法步骤。
这样的装置除了根据预测值判断是否扩、缩容外,还利用实际的资源利用率的变化情况进行扩、缩容调节,从而提前对资源利用率的变化做出反应,降低出现拥塞的概率和资源浪费,提高扩、缩容的及时性。
在一些实施例中,该装置还包括扩容缩容阈值确定单元701,能够根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值。在一些实施例中,扩容阈值、缩容阈值可以为预先配置,在一些实施例中,可以基于经验进行配置和调整。在一些实施例中,可以先确定扩容、缩容的临界负载参数,包括预定CPU使用率、预定内存负载、预定系统交互使用率和预定带宽负载的临界值,对临界负载参数进行归一化处理后获取对应的归一化预定数据,根据归一化预定数据和对应的权重,确定扩容阈值和缩容阈值。在一些实施例中,归一化预定数据对应的权重与在确定历史负载数据时,相同类别的归一化历史数据所对应的权重相同,从而保证前后权重的一致性,提高扩容、缩容判断的可靠度。
在一些实施例中,扩容缩容单元能够通过建立的K8s核心监控数据的聚合器获取负载预测值、扩容阈值和缩容阈值,并上传给K8s的应用接口服务器。在一些实施例中,扩容缩容单元能够基于K8s集群的自动水平收缩,对目标网络的pod资源进行扩容或缩容。
这样的装置通过S-HPA与API直接互联,在保证零停机时间和高可用性的同时实现网络资源动态添加和删除,解决了5GC云原生核心网资源分发问题。
本公开资源调度装置的一个实施例的结构示意图如图8所示。资源调度装置包括存储器801和处理器802。其中:存储器801可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中资源调度方法的对应实施例中的指令。处理器802耦接至存储器801,可以作为一个或多个集成电路来实施,例如微处理器或微控制器。该处理器802用于执行存储器中存储的指令,能够提高网络资源调度的及时性。
在一个实施例中,还可以如图9所示,资源调度装置900包括存储器901和处理器902。处理器902通过BUS总线903耦合至存储器901。该资源调度装置900还可以通过存储接口904连接至外部存储装置905以便调用外部数据,还可以通过网络接口906连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上述指令,能够提高网络资源调度的及时性。
在另一个实施例中,一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现资源调度方法对应实施例中的方法的步骤。本领域内的技术人员应明白,本公开的实施例可提供为方法、装置、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此,已经详细描述了本公开。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
需要说明的是,本公开的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
最后应当说明的是:以上实施例仅用以说明本公开的技术方案而非对其限制;尽管参照较佳实施例对本公开进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本公开技术方案的精神,其均应涵盖在本公开请求保护的技术方案范围当中。
Claims (16)
1.一种资源调度方法,包括:
根据历史数据确定目标网络的负载预测值;
所述方法还包括以下至少一项:
在所述负载预测值大于扩容阈值的情况下,确定对所述目标网络进行资源扩容;或
在所述负载预测值小于缩容阈值的情况下,确定对所述目标网络进行资源缩容。
2.根据权利要求1所述的方法,还包括:
根据网络实时负载确定资源利用率;
所述方法还包括以下至少一项:
在所述负载预测值小于等于扩容阈值的情况下,若所述资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,则确定对所述目标网络进行资源扩容;或
在所述负载预测值大于等于缩容阈值的情况下,若所述资源利用率在预定第二时间长度内的减小速度大于等于预定第二负载阈值,则确定对所述目标网络进行资源缩容。
3.根据权利要求2所述的方法,还包括:重复执行以下操作:
在所述负载预测值小于等于扩容阈值的情况下,若所述资源利用率在预定第三时间长度内的增长速度大于等于预定第一负载阈值,则将计数器加1,否则将计数器清零,其中,
若所述计数器等于预定第一计数阈值,则确定所述资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,所述预定第一时间长度大于等于所述预定第三时间长度与所述预定第一计数阈值的乘积。
4.根据权利要求2所述的方法,还包括:重复执行以下操作:
在所述负载预测值大于等于缩容阈值的情况下,若所述资源利用率在预定第四时间长度内的增长速度小于等于预定第二负载阈值,则将计数器加1,否则将计数器清零,其中,
若所述计数器等于预定第二计数阈值,则确定所述资源利用率在预定第二时间长度内的增长速度小于等于预定第二负载阈值,所述预定第二时间长度大于等于所述预定第四时间长度与所述预定第二计数阈值的乘积。
5.根据权利要求1所述的方法,其中,所述根据历史数据确定目标网络的负载预测值包括:
根据预训练的负载预测算法,基于最新的预定时间长度内的历史数据,确定所述负载预测值,其中,所述历史数据包括历史中央处理器使用率、历史内存负载、历史系统交互使用率和历史带宽负载。
6.根据权利要求5所述的方法,其中,所述基于最新的预定时间长度内的历史数据,确定所述负载预测值包括:
将所述历史中央处理器使用率、所述历史内存负载、所述历史系统交互使用率和所述历史带宽负载进行归一化处理,获取对应的归一化历史数据;
根据所述归一化历史数据和对应的权重,确定历史负载数据;
将所述历史负载数据输入所述预训练的负载预测算法,确定所述负载预测值。
7.根据权利要求1所述的方法,还包括:
根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值。
8.根据权利要求7所述的方法,其中,所述根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值包括:
将所述预定中央处理器使用率、所述预定内存负载、所述预定系统交互使用率和所述预定带宽负载进行归一化处理,获取对应的归一化预定数据;
根据所述归一化预定数据和对应的权重,确定扩容阈值和缩容阈值。
9.根据权利要求2所述的方法,其中,所述根据网络实时负载确定资源利用率包括:
获取实时中央处理器使用率、实时内存负载、实时系统交互使用率和实时带宽负载数据并进行归一化处理,获取对应的归一化实时数据;
根据所述归一化实时数据和对应的权重,确定实时负载数据。
10.根据权利要求1所述的方法,还包括:
通过建立的K8s核心监控数据的聚合器获取所述负载预测值、所述扩容阈值和所述缩容阈值,并上传给K8s的应用接口服务器,以便确定是否进行扩容或缩容;和
基于K8s集群的自动水平收缩,对所述目标网络的pod资源进行扩容或缩容。
11.一种资源调度装置,包括:
负载预测单元,被配置为根据历史数据确定目标网络的负载预测值;
扩容缩容单元,被配置为执行以下至少一项:
在所述负载预测值大于扩容阈值的情况下,确定对所述目标网络进行资源扩容;或
在所述负载预测值小于缩容阈值的情况下,确定对所述目标网络进行资源缩容。
12.根据权利要求11所述的装置,还包括:
利用率确定单元,被配置为根据网络实时负载确定资源利用率;
所述扩容缩容单元还被配置为执行以下至少一项:
在所述负载预测值小于等于扩容阈值的情况下,若所述资源利用率在预定第一时间长度内的增长速度大于等于预定第一负载阈值,则确定对所述目标网络进行资源扩容;或
在所述负载预测值大于等于缩容阈值的情况下,若所述资源利用率在预定第二时间长度内的降低速度大于等于预定第二负载阈值,则确定对所述目标网络进行资源缩容。
13.根据权利要求11所述的装置,还包括:
扩容缩容阈值确定单元,被配置为根据预定中央处理器使用率、预定内存负载、预定系统交互使用率和预定带宽负载,确定扩容阈值和缩容阈值。
14.根据权利要求11所述的装置,其中,所述扩容缩容单元被配置为建立的K8s核心监控数据的聚合器获取所述负载预测值、所述扩容阈值和所述缩容阈值,并上传给K8s的应用接口服务器;
所述扩容缩容单元还被配置为基于K8s集群的自动水平收缩,对所述目标网络的pod资源进行扩容或缩容。
15.一种资源调度装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至10任一项所述的方法。
16.一种非瞬时性计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至10任意一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311196073.8A CN117170875A (zh) | 2023-09-15 | 2023-09-15 | 资源调度方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311196073.8A CN117170875A (zh) | 2023-09-15 | 2023-09-15 | 资源调度方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117170875A true CN117170875A (zh) | 2023-12-05 |
Family
ID=88939295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311196073.8A Pending CN117170875A (zh) | 2023-09-15 | 2023-09-15 | 资源调度方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117170875A (zh) |
-
2023
- 2023-09-15 CN CN202311196073.8A patent/CN117170875A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709533B (zh) | 机器学习模型的分布式训练方法、装置以及计算机设备 | |
EP3129880B1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
CN108632365B (zh) | 服务资源调整方法、相关装置和设备 | |
CN107247651B (zh) | 云计算平台监测预警方法和系统 | |
EP4068090A1 (en) | Container scheduling method and apparatus, and non-volatile computer-readable storage medium | |
US20210105228A1 (en) | Intelligent cloud platform to host resource efficient edge network function | |
CN113010260A (zh) | 容器数量弹性伸缩方法以及容器数量弹性伸缩方法系统 | |
CN111324533B (zh) | A/b测试方法、装置及电子设备 | |
CN108574645B (zh) | 一种队列调度方法及装置 | |
CN112689007B (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
CN111277640B (zh) | 用户请求处理方法、装置、系统、计算机设备和存储介质 | |
CN105022668B (zh) | 一种作业调度方法及系统 | |
CN108664321B (zh) | 系统资源分配调整方法及装置 | |
CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
CN106464733A (zh) | 一种调整云计算中虚拟资源的方法及装置 | |
CN110896357A (zh) | 流量预测方法、装置和计算机可读存储介质 | |
CN115269108A (zh) | 一种数据处理方法、装置及设备 | |
KR101630125B1 (ko) | 클라우드 컴퓨팅 자원관리 시스템에서의 자원 요구량 예측 방법 | |
CN110851333A (zh) | 根分区的监控方法、装置和监控服务器 | |
CN110221917B (zh) | 用于分配流式数据的方法及装置 | |
CN115080248A (zh) | 调度装置的调度优化方法、调度装置和存储介质 | |
CN106797399A (zh) | 确定计算资源的新配置的配置方法、设备、系统和计算机可读介质 | |
CN116841753A (zh) | 一种流处理和批处理的切换方法及切换装置 | |
CN112416568A (zh) | 音视频转码任务的时长预估方法和时长预估装置 | |
CN117170875A (zh) | 资源调度方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |