CN118349346A - 系统资源的调整方法、装置、存储介质以及电子设备 - Google Patents
系统资源的调整方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN118349346A CN118349346A CN202410450772.9A CN202410450772A CN118349346A CN 118349346 A CN118349346 A CN 118349346A CN 202410450772 A CN202410450772 A CN 202410450772A CN 118349346 A CN118349346 A CN 118349346A
- Authority
- CN
- China
- Prior art keywords
- resource
- target system
- target
- state parameter
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 90
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 59
- 238000012423 maintenance Methods 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
本申请公开了一种系统资源的调整方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括:监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源;在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源;根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。通过本申请,解决了相关技术中无法及时跟随业务情况对资源进行调整的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种系统资源的调整方法、装置、存储介质以及电子设备。
背景技术
随着大数据系统的不断拓展以及业务需求的持续增长,对大数据服务平台的资源需求也不断提高,虽然目前逐渐接入云上集群或进行容器化部署,但传统调度的需求体量仍然居高不下,大数据服务平台资源的有效利用显得举足轻重。
然而,在非容器或云环境下,资源调整的技术通常依赖于传统的资源管理工具和手动配置方式,在大数据服务平台中的业务量较少的情况下,使用传统调整方式还可以及时进行资源调整,但是,随着大数据业务需求不断增多,传统资源调整方法难以应对动态和复杂的工作负载,进而导致大数据服务平台中的资源无法跟随业务情况及时调整,导致资源浪费或无法及时处理业务。
针对相关技术中无法及时跟随业务情况对资源进行调整的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种系统资源的调整方法、装置、存储介质以及电子设备,以解决相关技术中无法及时跟随业务情况对资源进行调整的问题。
根据本申请的一个方面,提供了一种系统资源的调整方法。该方法包括:监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源;根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。
可选地,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:获取每个状态参数对应的指标参数,得到M个指标参数;依次判断每个状态参数是否大于等于对应的指标参数;在目标状态参数大于等于对应的目标指标参数的情况下,确定目标状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;在每个状态参数均小于对应的指标参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:在数据库中获取目标时刻下的第一状态参数集合,并获取目标时刻的上一获取时刻下的第二状态参数集合,其中,数据库中包括多个历史时刻下的状态参数集合;根据第一状态参数集合和第二状态参数集合计算每个状态参数的变化值,得到M个变化值,并获取每个变化值对应的阈值,得到M个第一阈值;依次确定每个变化值是否大于等于对应的第一阈值;在目标变化值大于等于对应的第一阈值的情况下,确定目标变化值所属的状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;在每个变化值均小于对应的第一阈值的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:将M个状态参数输入预测模型中,得到预测结果,其中,预测模型通过多个样本数据训练得到,每个样本数据中包括目标系统的一组历史状态参数以及每个历史状态参数的异常情况;在预测结果中存在异常参数的情况下,确定需要调整目标系统中的系统资源的资源量;在预测结果中不存在异常参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,根据异常参数生成目标系统资源的资源量的调整方法包括:获取异常参数的异常原因,并根据异常原因确定目标系统资源的资源变更方向;在目标系统的预设数据表中获取目标系统资源的变更幅度值,并根据资源变更方向和变更幅度值生成调整方法,其中,预设数据表中包括多个预设资源以及每个预设资源的变更幅度值。
可选地,在通过调整方法对目标系统的目标系统资源的资源量进行调整之前,该方法还包括:计算对目标系统资源进行调整之后,目标系统资源的资源量,得到更新后资源量;获取目标系统资源的预设阈值,并判断更新后资源量是否大于预设阈值;在更新后资源量大于预设阈值的情况下,向运维端发送提示信息;在接收到运维端反馈的指示信息后,对目标系统执行资源释放操作,其中,提示信息用于表征更新后资源量超过预设阈值,指示信息用于指示释放目标系统中目标系统资源中未被使用的资源量;在更新后资源量小于等于预设阈值的情况下,执行通过调整方法对目标系统的目标系统资源的资源量进行调整的步骤。
可选地,该方法还包括:按照预设时间间隔获取运行数据中的状态参数,得到状态参数集合,并将状态参数集合中的状态参数进行标准化,得到更新后的状态参数集合,将更新后的状态参数集合存储至数据库中;向数据库中发送运行数据获取指令,并接收数据库根据运行数据获取指令中的时刻信息反馈的状态参数集合。
根据本申请的另一方面,提供了一种系统资源的调整装置。该装置包括:第一判断单元,用于监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;确定单元,用于在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源;调整单元,用于根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。
根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种系统资源的调整方法。
根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种系统资源的调整方法。
通过本申请,采用以下步骤:监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源;根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。解决了相关技术中无法及时跟随业务情况对资源进行调整的问题。通过监控平台中的目标系统的运行数据,从而根据运行数据确定是否需要对目标系统中的系统资源的资源量进行调整,并在需要进行调整的时候,根据运行数据中的异常数据确定需要进行调整的目标系统资源,并根据异常数据的数据量对目标系统资源的资源量进行调整,进而达到了根据目标系统的运行情况及时准确的调整资源量的效果,保证了目标系统中的业务的正常运行。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的系统资源的调整方法的流程图;
图2是根据本申请实施例提供的可选的系统资源的调整方法的流程图;
图3是根据本申请实施例提供的系统资源的调整装置的示意图;
图4是根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所确定的应用资源的调整方法、装置、存储介质以及电子设备可用于大数据领域,也可用于除大数据领域之外的任意领域,本公开所确定的应用资源的调整方法、装置、存储介质以及电子设备的应用领域不做限定。
需要说明的是,本申请中所使用到的采集的信息、用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理,均遵守相关地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权使用或者拒绝使用。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
根据本申请的实施例,提供了一种系统资源的调整方法。
图1是根据本申请实施例提供的系统资源的调整方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数。
具体的,目标系统可以为执行某个业务的业务系统,该业务系统可以部署在云服务平台中,在目标系统运行的时候,可以实时监控目标系统的运行数据,例如用户容量、用户并发数、CPU(Central Processing Unit,中央处理器)占用率等运行数据,并根据运行数据判断是否需要对某个系统资源的资源量进行调整,例如,当用户容量使用率超过某一阈值时,考虑用户的调整上限,对其进行适当扩容,从而保证用户可以使用目标系统正常办理业务。
需要说明的是,在对目标系统的运行数据进行监控的时候,可以选择合适的数据采集工具,并将其部署在生产环境集群和调度服务器上,以便获取需要进行监控的目标系统的运行数据。
在进行监控的时候,可以从三部分对目标系统的运行数据进行监控:监测资源消耗:通过采集器实时记录目标系统的CPU和内存使用情况;监测网络流量,采集网络设备的数据流量、连接数等指标,追踪网络状况;采集目标系统的程序性能指标数据和作业执行情况:例如,获取请求响应时间、处理延迟等性能指标,以及采集作业执行状态、成功/失败次数等状态数据,从而得到多个运行数据。
进一步的,在获取到运行数据后,需要对运行数据进行分析和处理:对运行数据进行预处理和格式化,并将其存储在数据库内,保证数据的持久性和可访问性,并建立数据处理工具,对其进行处理和分析,进行关键指标提取与计算,如根据集群和调度节点资源数据计算CPU利用率、内存利用率、网络带宽利用率、系统吞吐量、响应时间、作业执行时间等性能指标,同时可分析历史数据,识别负载趋势、周期性变化、峰值和谷值等,从而建立预测模型,预测未来资源需求和系统负载,进而确定是否需要对目标系统的系统资源进行调整。
步骤S102,在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源。
具体的,在需要对目标系统中的系统资源的资源量进行调整的情况下,需要确定运行数据中的异常参数,其中,异常参数为需要进行调整的资源的参数,例如,当在预设时间段内用户线程使用率低于阈值的情况下,需要降低线程数量,此时,用户线程使用率即为异常参数对应的目标系统资源,线程使用率的值,例如10%,也即异常参数的参数值。
在确定异常参数后,即可根据异常参数值对目标系统资源的资源量进行调整,从而使得异常参数的参数值回归正常水平。
步骤S103,根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。
具体的,在确定了目标系统资源的情况下,可以根据异常参数确定对目标系统资源的资源量的调整方式,例如,当在预设时间段内用户线程使用率低于阈值的情况下,调整方式为降低线程数量,从而根据该调整方法对资源量进行调整,从而达到合理调整目标系统中的各个系统资源的资源量的效果。
需要说明的是,在对目标系统资源的资源量进行调整之前,由于检测到目标系统资源的资源量为异常,则可以在目标系统中将该资源的标志变更为1,并在根据调整方法对目标系统资源的资源量进行调整后,在目标系统中将该资源的标志变更为0,进而可以使运维人员能够实时确定目标系统中的系统资源的状态,在某个系统资源的标志一致为1的情况下,运维人员可以及时的进行处理,保证目标系统的正常运行。
需要说明的是,在对目标系统资源的资源量进行调整之后,需要实时监控进行调整的目标系统中的目标系统资源的资源量,并验证调整是否达到预期效果,同时检查目标系统服务的稳定性,确保调整不会影响目标系统中关键服务的可用性和性能,持续监测目标系统是否出现异常,及时排查问题原因并采取对应的应急措施。之后,可以根据调整后的系统表现和效果,将信息进行反馈,基于不断的反馈和实践经验,不断优化对资源的调整方法策略,提高资源配置的智能性和适应性。
本申请实施例提供的系统资源的调整方法,通过监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源;根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。解决了相关技术中无法及时跟随业务情况对资源进行调整的问题。通过监控平台中的目标系统的运行数据,从而根据运行数据确定是否需要对目标系统中的系统资源的资源量进行调整,并在需要进行调整的时候,根据运行数据中的异常数据确定需要进行调整的目标系统资源,并根据异常数据的数据量对目标系统资源的资源量进行调整,进而达到了根据目标系统的运行情况及时准确的调整资源量的效果,保证了目标系统中的业务的正常运行。
为了准确确定是否需要对系统资源进行调整,可选地,在本申请实施例提供的系统资源的调整方法中,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:获取每个状态参数对应的指标参数,得到M个指标参数;依次判断每个状态参数是否大于等于对应的指标参数;在目标状态参数大于等于对应的目标指标参数的情况下,确定目标状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;在每个状态参数均小于对应的指标参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
具体的,在确定是否需要对系统资源的资源量进行调整的时候,可以先获取每个状态参数的指标参数,其中,状态参数也即每个系统资源的当前资源量。在获取到指标参数后,可以将状态参数和指标参数进行对比,在状态参数大于等于指标参数的情况下,确定该状态参数所属的系统资源为异常,在状态参数均小于指标参数的情况下,表征目标系统中的系统资源的资源量均无异常,也即,超阈值触发资源调整,设置系统资源的阈值和触发条件,从而确定何时需要触发资源量调整。
需要说明的是,状态参数大于等于指标参数的情况下,表征该状态参数所属的系统资源需要进行分配,例如,当用户容量使用率超过某一阈值时,确定目标系统的用户容量使用率需要进行调整。
为了准确确定是否需要对系统资源进行调整,可选地,在本申请实施例提供的系统资源的调整方法中,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:在数据库中获取目标时刻下的第一状态参数集合,并获取目标时刻的上一获取时刻下的第二状态参数集合,其中,数据库中包括多个历史时刻下的状态参数集合;根据第一状态参数集合和第二状态参数集合计算每个状态参数的变化值,得到M个变化值,并获取每个变化值对应的阈值,得到M个第一阈值;依次确定每个变化值是否大于等于对应的第一阈值;在目标变化值大于等于对应的第一阈值的情况下,确定目标变化值所属的状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;在每个变化值均小于对应的第一阈值的情况下,确定不需要调整目标系统中的系统资源的资源量。
具体的,在确定是否需要对系统资源的资源量进行调整的时候,还可以根据资源量的变化量对需要调整的系统资源进行识别。首先,先在数据库中获取目标时刻下的第一状态参数集合,其中,第一状态参数集合可以为当前时刻下目标系统中各个系统资源的资源量,并获取目标时刻的上一获取时刻下的第二状态参数集合,其中,第二状态参数集合可以为当前时刻的上一数据采集时刻下目标系统中各个系统资源的资源量,从而可以根据第一状态参数集合和第二状态参数集合计算得到各个系统资源的资源量的变化情况,也即变化值,并根据变化值和对应的变化阈值,也即第一阈值确定异常参数,也即,在变化值大于变化阈值的情况下,确定在一个采集周期内,变化量过大,表征需要对该变化量对应的系统资源进行调整,从而确定需要调整目标系统中的系统资源的资源量。
例如,当目标时间间隔内用户作业负载增加量大于第一阈值的情况下,对用户作业负载进行扩容,当目标时间间隔内用户作业负载增加量小于第二阈值的情况下,对用户作业负载进行缩容,回收资源以避免浪费,从而根据负载变化动态调整资源,以适应不同的工作负载需求。
为了准确确定是否需要对系统资源进行调整,可选地,在本申请实施例提供的系统资源的调整方法中,根据运行数据判断是否需要调整目标系统中的系统资源的资源量包括:将M个状态参数输入预测模型中,得到预测结果,其中,预测模型通过多个样本数据训练得到,每个样本数据中包括目标系统的一组历史状态参数以及每个历史状态参数的异常情况;在预测结果中存在异常参数的情况下,确定需要调整目标系统中的系统资源的资源量;在预测结果中不存在异常参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
具体的,在确定是否需要对系统资源的资源量进行调整的时候,还可以根据预测模型的预测结果确定是否需要调整资源量。在获取到运行数据之后,可以将运行数据输入预测模型中,预测模型根据运行数据确定需要对哪个运行数据所属的系统资源进行调整,从而确定需要调整目标系统中的系统资源的资源量。
也即,基于历史数据和预测模型,预测未来负载趋势,提前调整资源配置,提前应对可能出现的负载变化,避免系统性能下降。
为了准确合理的对系统资源的资源量进行调整,可选地,在本申请实施例提供的系统资源的调整方法中,根据异常参数生成目标系统资源的资源量的调整方法包括:获取异常参数的异常原因,并根据异常原因确定目标系统资源的资源变更方向;在目标系统的预设数据表中获取目标系统资源的变更幅度值,并根据资源变更方向和变更幅度值生成调整方法,其中,预设数据表中包括多个预设资源以及每个预设资源的变更幅度值。
具体的,在确定需要对目标系统资源的资源量进行调整后,需要确定调整方法,从而通过调整方法对目标系统资源的资源量进行调整。在确定调整方法的时候,首先需要获取异常参数的异常原因,例如,异常原因可以为目标时间间隔内用户作业负载增加量大于第一阈值,此时,可以确定变更方向为对负载进行扩容,但是,还需要确定扩容幅度,此时,可以在目标系统的预设数据表中获取目标系统资源的变更幅度值,也即,获取用户作业负载这个系统资源对应的幅度值,并根据该幅度值生成调整方法,例如,在幅度值为10%的情况下,得到的调整方法为:对负载进行扩容10%,从而确定对目标系统资源的资源量的调整方法。
为了保证目标应用的正常运行,可选地,在本申请实施例提供的系统资源的调整方法中,在通过调整方法对目标系统的目标系统资源的资源量进行调整之前,该方法还包括:计算对目标系统资源进行调整之后,目标系统资源的资源量,得到更新后资源量;获取目标系统资源的预设阈值,并判断更新后资源量是否大于预设阈值;在更新后资源量大于预设阈值的情况下,向运维端发送提示信息;在接收到运维端反馈的指示信息后,对目标系统执行资源释放操作,其中,提示信息用于表征更新后资源量超过预设阈值,指示信息用于指示释放目标系统中目标系统资源中未被使用的资源量;在更新后资源量小于等于预设阈值的情况下,执行通过调整方法对目标系统的目标系统资源的资源量进行调整的步骤。
具体的,在确定了调整方法后,可以先模拟计算通过调整方法对目标系统资源的资源量进行调整后的调整结果,也即更新后资源量,并确定更新后资源量是否大于预设阈值,并在大于预设阈值的情况下,表征更新后资源量大于目标系统在创建的时候设置的最大资源量,此时,不能通过调整方法对目标系统资源的资源量进行调整,则需要向运维端发送提示信息,并接收运维端根据提示信息反馈的指示信息,并根据指示信息对指示信息指示的资源进行释放,从而将某个已经完成执行的业务所占用的资源进行释放,在释放后,即可降低整目标系统资源的资源占用量,使得可以通过调整方法对目标系统资源的资源量进行调整,不会超过目标系统的阈值,导致目标系统出现异常运行的现象。
需要说明的是,在对目标系统进行配置的时候,需要根据目标系统的业务需求对其进行初始资源评估和配置,包括用户存储容量、资源池并发数、作业线程数、存储容量、内存容量、资源池并发数等,并对其可分配容量进行阈值限制,从而完成对目标系统的配置操作。
可选地,在本申请实施例提供的系统资源的调整方法中,该方法还包括:按照预设时间间隔获取运行数据中的状态参数,得到状态参数集合,并将状态参数集合中的状态参数进行标准化,得到更新后的状态参数集合,将更新后的状态参数集合存储至数据库中;向数据库中发送运行数据获取指令,并接收数据库根据运行数据获取指令中的时刻信息反馈的状态参数集合。
具体的,获取状态参数的时候,可以按照预设时间间隔进行获取,从而按照周期对系统状态数据进行获取和监控,在获取到状态参数后,还需要对状态参数进行标准化处理后,再存储在数据库中,并在向数据库中发送运行数据获取指令之后,可以直接获取到标准化处理后的数据,从而保证在后续操作中能够正常使用状态参数。
图2是根据本申请实施例提供的可选的系统资源的调整方法的流程图,如图2所示,可以通过如下步骤对系统资源进行调整:
步骤S201,资源初始化配置:根据系统的业务需求申请,确定系统启动时的初始资源配置,并分析评估对系统可分配的最大资源情况,以便后续进行资源再分配和优化处理。
步骤S202,制定资源调整策略:考虑系统负载、资源利用率等因素,配置不同的调整策略,如触发资源使用阈值后调整、根据负载动态调整、根据模型预测结果提前调整,多种调整策略按照优先级搭配使用进行资源分配和释放。
步骤S203,生产数据监控采集和分析:在生产环境集群、调度节点部署监控服务实时收集各类资源数据,如服务器负载、网络流量、业务作业的吞吐量和响应时间数据并对其进行预处理,分析提取关键数据形成指标和特征,包括CPU利用率、内存使用、存储容量等关键指标的波动情况,识别出负载的趋势,例如是否存在明显的周期性波动、特定时间段的高峰等。
步骤S204,资源调整策略确定:借助步骤S203数据分析的结果,再根据优先级关联匹配对应的资源调整策略,确定资源调整信息。
步骤S205,资源调整实施:接收资源调整信息,自动化调度器根据预设策略执行资源调整,例如增加用户容量、调大用户并发、调整CPU内存信息等,根据实际需求调整资源分配,或释放不再需要的资源,确保资源的合理利用。
步骤S206,实时反馈和优化:在资源调整后,实时监控系统性能和资源利用率的变化,确认资源调整后的业务效率有所提升或系统资源有所释放。同时调整后的性能数据反馈给资源调整策略模块,用于优化决策制定,形成闭环优化系统。
通过上述步骤,解决了相关技术中无法及时跟随业务情况对资源进行调整的问题。通过监控平台中的目标系统的运行数据,从而根据运行数据确定是否需要对目标系统中的系统资源的资源量进行调整,并在需要进行调整的时候,根据运行数据中的异常数据确定需要进行调整的目标系统资源,并根据异常数据的数据量对目标系统资源的资源量进行调整,进而达到了根据目标系统的运行情况及时准确的调整资源量的效果,保证了目标系统中的业务的正常运行。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以按照不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种系统资源的调整装置,需要说明的是,本申请实施例的系统资源的调整装置可以用于执行本申请实施例所提供的用于系统资源的调整方法。以下对本申请实施例提供的系统资源的调整装置进行介绍。
图3是根据本申请实施例提供的系统资源的调整装置的示意图。如图3所示,该装置包括:第一判断单元31,确定单元32,调整单元33。
第一判断单元31,用于监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数。
确定单元32,用于在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源。
调整单元33,用于根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。
本申请实施例提供的系统资源的调整装置,通过第一判断单元31监控目标系统的运行数据,并根据运行数据判断是否需要调整目标系统中的系统资源的资源量,其中,运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;确定单元32在需要调整目标系统中的系统资源的资源量的情况下,确定运行数据中的异常参数,并获取异常参数所属的目标系统资源,其中,目标系统资源为需要进行资源量调整的系统资源;调整单元33根据异常参数生成目标系统资源的资源量的调整方法,并通过调整方法对目标系统的目标系统资源的资源量进行调整。解决了相关技术中无法及时跟随业务情况对资源进行调整的问题,通过监控平台中的目标系统的运行数据,从而根据运行数据确定是否需要对目标系统中的系统资源的资源量进行调整,并在需要进行调整的时候,根据运行数据中的异常数据确定需要进行调整的目标系统资源,并根据异常数据的数据量对目标系统资源的资源量进行调整,进而达到了根据目标系统的运行情况及时准确的调整资源量的效果,保证了目标系统中的业务的正常运行。
可选地,在本申请实施例提供的系统资源的调整装置中,第一判断单元31包括:第一获取模块,用于获取每个状态参数对应的指标参数,得到M个指标参数;判断模块,用于依次判断每个状态参数是否大于等于对应的指标参数;第一确定模块,用于在目标状态参数大于等于对应的目标指标参数的情况下,确定目标状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;第二确定模块,用于在每个状态参数均小于对应的指标参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,在本申请实施例提供的系统资源的调整装置中,第一判断单元31包括:第二获取模块,用于在数据库中获取目标时刻下的第一状态参数集合,并获取目标时刻的上一获取时刻下的第二状态参数集合,其中,数据库中包括多个历史时刻下的状态参数集合;计算模块,用于根据第一状态参数集合和第二状态参数集合计算每个状态参数的变化值,得到M个变化值,并获取每个变化值对应的阈值,得到M个第一阈值;第三确定模块,用于依次确定每个变化值是否大于等于对应的第一阈值;第四确定模块,用于在目标变化值大于等于对应的第一阈值的情况下,确定目标变化值所属的状态参数为异常参数,并确定需要调整目标系统中的系统资源的资源量;第五确定模块,用于在每个变化值均小于对应的第一阈值的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,在本申请实施例提供的系统资源的调整装置中,第一判断单元31包括:输入模块,用于将M个状态参数输入预测模型中,得到预测结果,其中,预测模型通过多个样本数据训练得到,每个样本数据中包括目标系统的一组历史状态参数以及每个历史状态参数的异常情况;第六确定模块,用于在预测结果中存在异常参数的情况下,确定需要调整目标系统中的系统资源的资源量;第七确定模块,用于在预测结果中不存在异常参数的情况下,确定不需要调整目标系统中的系统资源的资源量。
可选地,在本申请实施例提供的系统资源的调整装置中,调整单元33包括:第三获取模块,用于获取异常参数的异常原因,并根据异常原因确定目标系统资源的资源变更方向;生成模块,用于在目标系统的预设数据表中获取目标系统资源的变更幅度值,并根据资源变更方向和变更幅度值生成调整方法,其中,预设数据表中包括多个预设资源以及每个预设资源的变更幅度值。
可选地,在本申请实施例提供的系统资源的调整装置中,在通过调整方法对目标系统的目标系统资源的资源量进行调整之前,该装置还包括:计算单元,用于计算对目标系统资源进行调整之后,目标系统资源的资源量,得到更新后资源量;第二判断单元,用于获取目标系统资源的预设阈值,并判断更新后资源量是否大于预设阈值;发送单元,用于在更新后资源量大于预设阈值的情况下,向运维端发送提示信息;释放单元,用于在接收到运维端反馈的指示信息后,对目标系统执行资源释放操作,其中,提示信息用于表征更新后资源量超过预设阈值,指示信息用于指示释放目标系统中目标系统资源中未被使用的资源量;执行单元,用于在更新后资源量小于等于预设阈值的情况下,执行通过调整方法对目标系统的目标系统资源的资源量进行调整的步骤。
可选地,在本申请实施例提供的系统资源的调整装置中,该装置还包括:标准化单元,用于按照预设时间间隔获取运行数据中的状态参数,得到状态参数集合,并将状态参数集合中的状态参数进行标准化,得到更新后的状态参数集合,将更新后的状态参数集合存储至数据库中;反馈单元,用于向数据库中发送运行数据获取指令,并接收数据库根据运行数据获取指令中的时刻信息反馈的状态参数集合。
上述系统资源的调整装置包括处理器和存储器,上述第一判断单元31,确定单元32,调整单元33等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中无法及时跟随业务情况对资源进行调整的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述系统资源的调整方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述系统资源的调整方法。
图4是根据本申请实施例提供的一种电子设备的示意图,如图4所示,本发明实施例提供了一种电子设备,电子设备40包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述系统资源的调整方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有上述系统资源的调整方法的步骤的程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种系统资源的调整方法,其特征在于,包括:
监控目标系统的运行数据,并根据所述运行数据判断是否需要调整所述目标系统中的系统资源的资源量,其中,所述运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;
在需要调整所述目标系统中的系统资源的资源量的情况下,确定所述运行数据中的异常参数,并获取所述异常参数所属的目标系统资源,其中,所述目标系统资源为需要进行资源量调整的系统资源;
根据所述异常参数生成所述目标系统资源的资源量的调整方法,并通过所述调整方法对所述目标系统的目标系统资源的资源量进行调整。
2.根据权利要求1所述的方法,其特征在于,根据所述运行数据判断是否需要调整所述目标系统中的系统资源的资源量包括:
获取每个状态参数对应的指标参数,得到M个指标参数;
依次判断每个状态参数是否大于等于对应的指标参数;
在目标状态参数大于等于对应的目标指标参数的情况下,确定所述目标状态参数为所述异常参数,并确定需要调整所述目标系统中的系统资源的资源量;
在每个状态参数均小于对应的指标参数的情况下,确定不需要调整所述目标系统中的系统资源的资源量。
3.根据权利要求1所述的方法,其特征在于,根据所述运行数据判断是否需要调整所述目标系统中的系统资源的资源量包括:
在数据库中获取目标时刻下的第一状态参数集合,并获取所述目标时刻的上一获取时刻下的第二状态参数集合,其中,所述数据库中包括多个历史时刻下的状态参数集合;
根据所述第一状态参数集合和所述第二状态参数集合计算每个状态参数的变化值,得到M个变化值,并获取每个变化值对应的阈值,得到M个第一阈值;
依次确定每个变化值是否大于等于对应的第一阈值;
在目标变化值大于等于对应的第一阈值的情况下,确定所述目标变化值所属的状态参数为所述异常参数,并确定需要调整所述目标系统中的系统资源的资源量;
在每个变化值均小于对应的第一阈值的情况下,确定不需要调整所述目标系统中的系统资源的资源量。
4.根据权利要求1所述的方法,其特征在于,根据所述运行数据判断是否需要调整所述目标系统中的系统资源的资源量包括:
将所述M个状态参数输入预测模型中,得到预测结果,其中,所述预测模型通过多个样本数据训练得到,每个样本数据中包括所述目标系统的一组历史状态参数以及每个历史状态参数的异常情况;
在所述预测结果中存在所述异常参数的情况下,确定需要调整所述目标系统中的系统资源的资源量;
在所述预测结果中不存在所述异常参数的情况下,确定不需要调整所述目标系统中的系统资源的资源量。
5.根据权利要求1所述的方法,其特征在于,根据所述异常参数生成所述目标系统资源的资源量的调整方法包括:
获取所述异常参数的异常原因,并根据所述异常原因确定所述目标系统资源的资源变更方向;
在所述目标系统的预设数据表中获取所述目标系统资源的变更幅度值,并根据所述资源变更方向和所述变更幅度值生成所述调整方法,其中,所述预设数据表中包括多个预设资源以及每个预设资源的变更幅度值。
6.根据权利要求1所述的方法,其特征在于,在通过所述调整方法对所述目标系统的目标系统资源的资源量进行调整之前,所述方法还包括:
计算对所述目标系统资源进行调整之后,所述目标系统资源的资源量,得到更新后资源量;
获取所述目标系统资源的预设阈值,并判断所述更新后资源量是否大于所述预设阈值;
在所述更新后资源量大于所述预设阈值的情况下,向运维端发送提示信息;
在接收到所述运维端反馈的指示信息后,对所述目标系统执行资源释放操作,其中,所述提示信息用于表征所述更新后资源量超过所述预设阈值,所述指示信息用于指示释放所述目标系统中所述目标系统资源中未被使用的资源量;
在所述更新后资源量小于等于所述预设阈值的情况下,执行所述通过所述调整方法对所述目标系统的目标系统资源的资源量进行调整的步骤。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
按照预设时间间隔获取所述运行数据中的状态参数,得到状态参数集合,并将所述状态参数集合中的状态参数进行标准化,得到更新后的状态参数集合,将所述更新后的状态参数集合存储至数据库中;
向所述数据库中发送运行数据获取指令,并接收所述数据库根据所述运行数据获取指令中的时刻信息反馈的状态参数集合。
8.一种系统资源的调整装置,其特征在于,包括:
第一判断单元,用于监控目标系统的运行数据,并根据所述运行数据判断是否需要调整所述目标系统中的系统资源的资源量,其中,所述运行数据中包括M个状态参数,每个状态参数对应一种系统资源,其中,M为正整数;
确定单元,用于在需要调整所述目标系统中的系统资源的资源量的情况下,确定所述运行数据中的异常参数,并获取所述异常参数所属的目标系统资源,其中,所述目标系统资源为需要进行资源量调整的系统资源;
调整单元,用于根据所述异常参数生成所述目标系统资源的资源量的调整方法,并通过所述调整方法对所述目标系统的目标系统资源的资源量进行调整。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的系统资源的调整方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的系统资源的调整方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118349346A true CN118349346A (zh) | 2024-07-16 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108632365B (zh) | 服务资源调整方法、相关装置和设备 | |
CN108768877B (zh) | 一种突发流量的分配方法、装置及代理服务器 | |
CN113010260B (zh) | 容器数量弹性伸缩方法以及容器数量弹性伸缩方法系统 | |
CN111026553B (zh) | 离线混部作业的资源调度方法及服务器系统 | |
CN105320559A (zh) | 一种云计算系统的调度方法和装置 | |
CN111431748A (zh) | 一种对集群进行自动运维的方法、系统及装置 | |
CN103442087B (zh) | 一种基于响应时间趋势分析的Web服务系统访问量控制装置和方法 | |
CN111382031A (zh) | 测试方法及装置 | |
CN117667305A (zh) | 基于业务场景的安全策略的部署方法、装置及电子设备 | |
CN117395251A (zh) | 资源调度方法、装置和计算机可读存储介质 | |
CN115994029A (zh) | 容器资源调度方法及装置 | |
CN117234733A (zh) | 一种分布式系统任务分配方法、系统、存储介质及设备 | |
CN110932935A (zh) | 资源控制方法、装置、设备及计算机存储介质 | |
CN118349346A (zh) | 系统资源的调整方法、装置、存储介质以及电子设备 | |
CN116896591A (zh) | 网络数据分析模型调度方法、装置和计算机设备 | |
CN115827232A (zh) | 一种为业务模型确定配置的方法、装置、系统及设备 | |
Ray et al. | Is high performance computing (HPC) ready to handle big data? | |
CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 | |
CN102904952A (zh) | 一种自适应性的高效处理海量数据入库的系统及方法 | |
CN113419863A (zh) | 一种基于节点能力的数据分配处理方法及装置 | |
CN112783637A (zh) | 一种资源调控方法和装置 | |
CN116962186A (zh) | 集群资源调度方法、装置、存储介质及电子设备 | |
CN117808602B (zh) | 基于子账户扩展的热点账户记账方法及相关装置 | |
CN117579626B (zh) | 基于分布式实现边缘计算下的优化方法及系统 | |
CN116755837A (zh) | 容器集合的调整方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |