CN115437793A - 系统资源配置预测方法、装置、设备及存储介质 - Google Patents
系统资源配置预测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115437793A CN115437793A CN202211129858.9A CN202211129858A CN115437793A CN 115437793 A CN115437793 A CN 115437793A CN 202211129858 A CN202211129858 A CN 202211129858A CN 115437793 A CN115437793 A CN 115437793A
- Authority
- CN
- China
- Prior art keywords
- resource
- utilization rate
- target system
- processor
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5019—Workload prediction
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种系统资源配置预测方法、装置、设备及存储介质。涉及资源配置技术领域。方法包括:获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;在确定资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以资源基础数据及资源占用预测数据为输入,经资源扩容量预测模型预测目标系统的资源扩容量;以及在确定资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以资源基础数据及资源占用预测数据为输入,经资源简配量预测模型预测目标系统的资源简配量。本申请能够有效提高配置预测的准确性。
Description
技术领域
本申请涉及资源配置技术领域,尤其涉及一种系统资源配置预测方法、一种系统资源配置预测装置、一种电子设备及一种计算机可读存储介质。
背景技术
目前对应用系统资源是否需要扩容减配的处理往往是根据各资源当前使用情况是否超过阈值且按照一定的模型做即时性的评估。现有方式往往存在以下问题:资源评估阈值分类单一,无法根据资源特性进行精细分类处理;以资源当前的使用情况作为评估模型增减配置数量的参数,即现有的预测模型通常是根据现有的资源配置、指标使用情况等按照一定的计算规则纵向评估扩容或者减配的数量,没有考虑资源未来使用趋势,评估准确性低。
发明内容
本申请提供一种系统资源配置预测方法、装置、设备及存储介质,用以解决现有技术没有考虑资源未来使用趋势,评估准确性低的问题。
本申请的第一方面,提供一种系统资源配置预测方法,包括:
获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
在确定所述资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量;以及
在确定所述资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量。
可选地,所述目标系统包括至少一台服务器,所述资源占用实际数据包括所述目标系统的处理器使用率及内存使用率;
所述目标系统的资源基础数据包括所述目标系统的服务器数量、处理器利用率上限值、处理器利用率下限值、内存容量、内存利用率上限值、内存利用率下限值、处理器核心数量及处理器核心数量阈值;
所述目标系统的资源占用预测数据包括所述目标系统的处理器预测使用率及所述目标系统的内存预测使用率。
可选地,所述第一资源配置规则包括:
所述目标系统的处理器使用率和/或所述目标系统的内存使用率属于第一使用率区间;
所述第二资源配置规则包括:
所述目标系统的处理器使用率和/或所述目标系统的内存使用率属于第二使用率区间;
所述第一使用率区间的下限值大于所述第二使用率区间的上限值。
可选地,所述资源扩容量预测模型包括:
第一资源扩容量预测子模型及第二资源扩容量预测子模型,所述第一资源扩容量预测子模型用于表征所述目标系统的处理器预测使用率、服务器数量及处理器利用率上限值与所述目标系统的第一服务器扩容数量之间的映射关系;
所述第二资源扩容量预测子模型用于表征所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值与所述目标系统的第二服务器扩容数量之间的映射关系。
可选地,所述资源简配量预测模型包括:
第一资源简配量预测子模型及第二资源简配量预测子模型,所述第一资源简配量预测子模型用于表征所述目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值与所述目标系统的第一服务器简配数量之间的映射关系;
所述第二资源简配量预测子模型用于表征所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值与所述目标系统的第二服务器简配数量之间的映射关系。
可选地,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量据,包括:
以所述目标系统的处理器预测使用率、服务器数量及处理器利用率上限值为输入,经所述第一资源扩容量预测子模型预测所述目标系统的第一服务器扩容数量;
以所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值为输入,经所述第二资源扩容量预测子模型预测所述目标系统的第二服务器扩容数量;
确定所述第一服务器扩容数量与所述第二服务器扩容数量中的较大值为所述目标系统的资源扩容量。
可选地,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量据,包括:
以所述目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值为输入,经所述第一资源简配量预测子模型预测所述目标系统的第一服务器简配数量;
以所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值为输入,经所述第二资源简配量预测子模型预测所述目标系统的第二服务器简配数量;
确定所述第一服务器简配数量与所述第二服务器简配数量中的较大值为所述目标系统的资源简配量。
可选地,所述方法还包括:
获取所述目标系统在预设时间段内的业务量数据、文件系统空间使用率及数据库空间使用率;
以所述业务量数据、文件系统空间使用率及数据库空间使用率为输入,经预设的资源占用预测模型预测所述目标系统的处理器预测使用率或所述目标系统的内存预测使用率。
可选地,获取所述目标系统的资源占用实际数据,包括:
以预设频率获取预设时间段内,所述目标系统中每台服务器的处理器使用率及内存使用率;
以获取到的所有处理器使用率中的最大值作为所述目标系统的处理器使用率,以获取到的所有内存使用率的最大值作为所述目标系统的内存使用率。
可选地,获取所述目标系统的资源占用实际数据,还包括:
判断获取到的处理器使用率及内存使用率的采集时间是否属于非正常工况时间,所述非正常工况时间区间至少包括系统维护时间及系统自检时间;
若存在采集时间属于系统维护时间的处理器使用率或内存使用率,删除对应的处理器使用率或内存使用率;
若存在采集时间属于系统自检时间的处理器使用率,将获取到的所有处理器使用率由大到小进行排序,若所有处理器使用率中的前N个处理器使用率的采集时间均属于系统自检时间,以前N个处理器使用率中的最小值作为所述目标系统的处理器使用率;
若所有处理器使用率中的前N个处理器使用率的采集时间不都属于系统自检时间,以前N个处理器使用率中采集时间不属于系统自检时间的处理器使用率中的最大值作为所述目标系统的处理器使用率。
可选地,获取所述目标系统的资源占用实际数据,还包括:
若存在采集时间属于系统自检时间的内存使用率,将获取到的所有内存使用率由大到小进行排序,若所有内存使用率中的前N个内存使用率的采集时间均属于系统自检时间,以前N个内存使用率中的最小值作为所述目标系统的内存使用率;
若所有内存使用率中的前N个内存使用率的采集时间不都属于系统自检时间,以前N个内存使用率中采集时间不属于系统自检时间的内存使用率中的最大值作为所述目标系统的内存使用率。
本申请的第二方面,提供一种系统资源配置预测装置,包括:
数据获取模块,被配置为获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
配置预测模块,被配置为在确定所述资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量;以及
在确定所述资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量。
本申请的第三方面,提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现上述的方法。
本申请的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现上述的方法。
本申请的第五方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法。
本申请基于对系统资源占用的预测数据构建系统的扩容、简配预测模型,依据对系统的资源占用实际数据的分析结果确定目标系统需要扩容或简配,从而调用对应的预测模型预测目标系统的扩容量或简配量,预测结果基于对目标系统未来资源占用的预测得到,从而有效提高了配置预测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的系统资源配置预测方法的方法流程图;
图2为本申请实施例提供的应用系统架构示意图;
图3为本申请实施例提供的应用系统功能示意图;
图4为本申请实施例提供的系统资源配置预测装置示意图;
图5为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施例,并不用于限制本申请实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明,若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,若本申请实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
如图1所示,在实施例的第一方面,提供一种系统资源配置预测方法,包括:
S100、获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
S200、在确定资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以资源基础数据及资源占用预测数据为输入,经资源扩容量预测模型预测目标系统的资源扩容量;以及在确定资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以资源基础数据及资源占用预测数据为输入,经资源简配量预测模型预测目标系统的资源简配量。
如此,本实施例基于对系统资源占用的预测数据构建系统的扩容、简配预测模型,依据对系统的资源占用实际数据的分析结果确定目标系统需要扩容或简配,从而调用对应的预测模型预测目标系统的扩容量或简配量,预测结果基于对目标系统未来资源占用的预测得到,从而有效提高了配置预测的准确性。
本实施例中,目标系统可以是一个完整系统中的任一部署单元,目标系统中通常由多台计算设备如服务器构成,用于运行对应的业务流程,产生并存储对应的业务数据,随着业务量的变化,目标系统中服务器的负荷也会随之变换,若业务量过大,目标系统中的服务器均运行在较高的负荷水平上,则表示目标系统的系统容量不能满足目前业务量的变化,因此,需要对系统进行扩容;反之,若目标系统中各服务器长期运行在较低的负荷水平上,则表示目标系统的系统容量过大,因此需要对系统进行简配,以避免资源的浪费。可以理解的,服务器配置可以包括处理器数量、处理器核心数量、内存大小等。
在对目标系统配置进行评估之前,需要判断各服务器的状态,例如,对于处于“待投产、待上线、待下线”等特殊场景的设备、备用资源等,由于其产生的数据不能反应设备的真实运行情况,因此,对于该类设备不纳入评估范围,需将其剔除。可以理解的,对于该类设备的状态,可以根据各设备预置的状态标识进行确定,对于上述设备,在生成的报表中标记特殊场景标识即可,以告知用户。在进行设备状态的初步筛查后,进一步根据预设的最小配置表筛查目标系统的服务器的当前配置是否为最小配置,若为最小配置,则将对应服务器剔除,不对其进行数据采集。本实施例中,最小配置支持通用配置和个性化配置,新增资源能灵活添加配置信息且能即时生效。
本实施例中,资源占用实际数据包括目标系统的处理器使用率及内存使用率,其中,处理器即CPU;目标系统的资源基础数据包括目标系统的服务器数量、处理器利用率上限值、处理器利用率下限值、内存容量、内存利用率上限值、内存利用率下限值、处理器核心数量及处理器核心数量阈值;目标系统的资源占用预测数据包括目标系统的处理器预测使用率及目标系统的内存预测使用率。其中,资源基础数据还可以包括服务器所属的系统标识、设备状态、设备类型等资源配置指标,以便于在生成的报表中进行展示。
为了提高对目标系统配置预测的精确性,本实施例基于对目标系统未来的负荷预测来预测目标系统的扩容量或简配量,则方法还包括:获取目标系统在预设时间段内的业务量数据、文件系统空间使用率及数据库空间使用率;以业务量数据、文件系统空间使用率及数据库空间使用率为输入,经预设的资源占用预测模型预测目标系统的处理器预测使用率或目标系统的内存预测使用率。
其中,业务量数据TPM、文件系统空间使用率及数据库空间使用率等数据可以是预设时间段内的历史数据,例如,前1个月的历史数据。由于业务量数据TPM、文件系统空间使用率及数据库空间使用率等数据能够影响服务器的处理器使用率及内存使用率,因此,本申请通过构建业务量数据TPM、文件系统空间使用率及数据库空间使用率与服务器的处理器使用率或内存使用率的映射关系的表示,从而能够根据获取到的历史数据对服务器未来的负荷进行预测。其中,预测模型可以基于对现有的机器学习算法训练后得到,其训练过程为现有技术,此处不再赘述。同时,在本申请中,目标系统的处理器预测使用率及目标系统的内存预测使用率也可以直接获取得到。
目标系统中各服务器的资源占用数据通常存在一定的差异,本实施例中,获取目标系统的资源占用实际数据,包括:以预设频率获取预设时间段内,目标系统中每台服务器的处理器使用率及内存使用率;以获取到的所有处理器使用率中的最大值作为目标系统的处理器使用率,以获取到的所有内存使用率的最大值作为目标系统的内存使用率。对于目标系统中的多台服务器,本实施例以采集到的所有使用率数据的最大值即使用率峰值作为目标系统的资源占用实际数据。例如,在预设时间段如1小时内,按设定频率,如每分钟采集一次各服务器的处理器使用率及内存使用率,若采集到的处理器使用率的峰值为98%,采集到的内存使用率峰值为95%,则确定目标系统的处理器使用率为98%,目标系统的内存使用率为95%。
本实施例中,可以设置数据采集任务在每日凌晨自动执行,并根据资源类型和指标设置不同类型、不同周期的采集任务。对于CPU、内存利用率、业务量指标TPM、文件系统空间使用率及数据库表空间等按照分钟级频率采集数据到本地;对于物理子系统、部署单元、文件系统等按照每日采集一次频率更新本地已采集的数据;对于可研工单数据按照每月采集一次频率更新本地数据。其中,分钟级数据采集到本地后,可设置每日凌晨自动处理上一日的数据,并按照规则剔除维护时间和健康检查时间的数据后汇总成每日数据后,自动删除采集到的源数据。同时,为了便于用户和开发人员获取更准确的月度数据,本实施例采用每日计算当月最新月表数据的方式,以月表作为容量估算输出和流转的主要方式,即根据每日采集的日表数据,经数据预处理、最小配置筛查及扩容简配量预测后生成最新的月表数据。本实施例还可设置每个月生成当年最新的年度数据,其中,年度数据是对当年月度数据的汇总,同时,还可以按照不同的维度获取资源的年度峰值,通过近两年的年度峰值预测下一年度的增长率。数日度数据、月度数据及年度数据的汇总可根据实际需要设置,此处对此不作限定。
现有技术在获取资源使用率时,通常仅获取某一个时间段的资源使用率峰值,而未结合实际业务量情况进行取值,因此对预测结果的准确性造成了较大影响。为了解决上述问题,本实施例中,获取目标系统的资源占用实际数据,还包括:
判断获取到的处理器使用率及内存使用率的采集时间是否属于非正常工况时间,若存在采集时间属于系统维护时间的处理器使用率或内存使用率,删除对应的处理器使用率或内存使用率,非正常工况时间区间至少包括系统维护时间及系统自检时间。其中,为了保证数据的准确性,对于联机设备,应该取业务量峰值时间点的资源使用率,而对于非联机设备,应剔除报警压制、维护、健康检查等时间段的数据,其中,维护时间指系统的维护时间,系统自检时间,指系统进行自我健康检查的时间,报警压制时间指系统存在故障报警时限制系统负荷的运行时间。
若存在采集时间属于系统自检时间的处理器使用率,将获取到的所有处理器使用率由大到小进行排序,若所有处理器使用率中的前N个处理器使用率的采集时间均属于系统自检时间,以前N个处理器使用率中的最小值作为目标系统的处理器使用率。例如,对采集到的所有处理器使用率取使用率最高的前5个数据,若该5个数据均处于系统进行监控检查的时段内,则取5个值中的最小值作为处理器使用率的峰值。
若所有处理器使用率中的前N个处理器使用率的采集时间不都属于系统自检时间,以前N个处理器使用率中采集时间不属于系统自检时间的处理器使用率中的最大值作为目标系统的处理器使用率。例如,对采集到的所有处理器使用率取使用率最高的前5个数据,若该5个数据并不全部处于系统进行监控检查的时段内,则取5个值中的不在系统健康检查时段内的值中的最大值作为处理器使用率的峰值。
同理,对于采集到的内存使用率数据,若存在采集时间属于系统自检时间的内存使用率,将获取到的所有内存使用率由大到小进行排序,若所有内存使用率中的前N个内存使用率的采集时间均属于系统自检时间,以前N个内存使用率中的最小值作为目标系统的内存使用率。例如,对采集到的所有内存使用率取使用率最高的前5个数据,若该5个数据均处于系统进行监控检查的时段内,则取5个值中的最小值作为内存使用率的峰值。
若所有内存使用率中的前N个内存使用率的采集时间不都属于系统自检时间,以前N个内存使用率中采集时间不属于系统自检时间的内存使用率中的最大值作为目标系统的内存使用率。例如,若采集到的5个数据并不全部处于系统进行监控检查的时段内,则取5个值中的不在系统健康检查时段内的值中的最大值作为内存使用率的峰值。
步骤S200中,第一资源配置规则包括:目标系统的处理器使用率和/或目标系统的内存使用率属于第一使用率区间;第二资源配置规则包括:目标系统的处理器使用率和/或目标系统的内存使用率属于第二使用率区间;第一使用率区间的下限值大于第二使用率区间的上限值。
在对采集到的数据进行预处理后,还需要判断目标系统是需要扩容还是需要简配,以确定要调用的预测模型。若获取到的目标系统的处理器使用率或内存使用率属于第一使用率区间如处于95%~100%之间,则确定系统容量无法满足业务的需求,确定系统需要进行扩容;若获取到的目标系统的处理器使用率或内存使用率属于第二使用率区间如处于0~50%之间,则确定系统容量远高于业务的需求,确定系统需要进行简配。可以理解的,确定采集到的数据是否满足第一资源配置规则或者第二资源配置规则,可以基于处理器使用率或内存使用率是否满足第一资源配置规则或者第二资源配置规则确定,也可以基于处理器使用率及内存使用率是否均满足第一资源配置规则或者第二资源配置规则确定。本实施例中,若处理器使用率或内存使用率中的一者满足第一资源配置规则或者第二资源配置规则即确定资源占用实际数据满足对应规则。
本实施例中,资源扩容量预测模型包括:第一资源扩容量预测子模型及第二资源扩容量预测子模型,第一资源扩容量预测子模型用于表征目标系统的处理器预测使用率、服务器数量及处理器利用率上限值与目标系统的第一服务器扩容数量之间的映射关系;第二资源扩容量预测子模型用于表征目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值与目标系统的第二服务器扩容数量之间的映射关系,其中,服务器数量指目标系统的当前服务器数量。
其中,第一资源扩容量预测子模型为:
基于CPU扩容服务器数量=向上取整((预测CPU使用率*服务器数量)/(CPU利用率上限*步长))*步长-服务器数量;
第二资源扩容量预测子模型为:
基于内存扩容服务器数量=向上取整((预测内存使用率*服务器数量*内存大小)/(内存利用率上限*步长*内存大小))*步长-服务器数量。
本实施例中,资源简配量预测模型包括:第一资源简配量预测子模型及第二资源简配量预测子模型,第一资源简配量预测子模型用于表征目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值与目标系统的第一服务器简配数量之间的映射关系;第二资源简配量预测子模型用于表征目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值与目标系统的第二服务器简配数量之间的映射关系。
其中,第一资源简配量预测子模型为:
基于CPU简配服务器数量=max(向下取整((预测CPU使用率*服务器数量*CPU大小)/(CPU利用率下限*步长*max(CPU大小,最大配置))),1)*步长-服务器数量;
第二资源简配量预测子模型为:
基于内存简配服务器数量=max(向下取整((预测内存使用率*服务器数量*内存大小)/(内存利用率下限*步长*内存大小)),1)*步长-服务器数量。
其中,CPU即处理器,CPU大小指CPU的核心数量,例如CPU大小可以为4C、6C等,最大配置即处理器核心数量阈值,例如,以CPU大小为4C作为最大配置,步长为预设常数,简配量预测子模型中,1表示若向下取整为0,则取1。
对目标系统的资源扩容量的预测步骤,包括:以目标系统的处理器预测使用率、服务器数量及处理器利用率上限值为输入,经第一资源扩容量预测子模型预测目标系统的第一服务器扩容数量;以目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值为输入,经第二资源扩容量预测子模型预测目标系统的第二服务器扩容数量;确定第一服务器扩容数量与第二服务器扩容数量中的较大值为目标系统的资源扩容量。
将获取到的目标系统的处理器预测使用率、服务器数量及处理器利用率上限值为输入,代入第一资源扩容量预测子模型,计算得到的需要扩容的第一服务器扩容数量;将获取到的目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值为输入,代入第二资源扩容量预测子模型,计算得到的需要扩容的第二服务器扩容数量,比较第一服务器扩容数量及第二服务器扩容数量的大小,取较大值为预测结果。本实施例中,还可以将得到的第一服务器扩容数量及第二服务器扩容数量代入公式max(基于CPU扩容服务器数量,基于内存扩容服务器数量,步长),取第一服务器扩容数量、第二服务器扩容数量及步长中的最大值作为预测结果。
对目标系统的资源简配量的预测步骤,包括:以目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值为输入,经第一资源简配量预测子模型预测目标系统的第一服务器简配数量;以目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值为输入,经第二资源简配量预测子模型预测目标系统的第二服务器简配数量;确定第一服务器简配数量与第二服务器简配数量中的较大值为目标系统的资源简配量。
将获取到的目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值为输入,代入第一资源简配量预测子模型,计算得到的需要简配的第一服务器简配数量;将获取到的目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值为输入,代入第二资源简配量预测子模型,计算得到的需要简配的第二服务器简配数量,将得到的第一服务器简配数量及第二服务器简配数量代入公式max(基于CPU简配服务器数量,基于内存简配服务器数量),取第一服务器简配数量及第二服务器简配数量中的最大值作为预测结果。
如图2所示,本实施例的方法可以以应用系统的形式部署在本地端服务器上,本实施例的应用系统架构主要包括:数据采集,用于采集相关数据如目标系统的资源基础数据、资源占用实际数据等;数据处理,用于对采集到的数据进行预处理;自动化数据库,用于存储预处理后的数据;容量自动化计算,用于通过数据库获取采集到的数据,并根据采集到的数据调用对应的预测模型执行目标系统的扩容量或减配量的预测,以及根据采集到的数据生成目标系统的容量分析报告;可研后评估,用于工作人员根据系统预测结果启动可研后评估申请,由于对资源的自动化评估都是在系统或设备投入生产后的使用情况的评估,而往往还存在很多资源在申请后长时间没有投产或者上线的情况,对于这部分资源而言,可人工采用可研后评估进行设备评估;WEB发布平台,用于展示目标系统的容量分析报告以及实现容量分析结果的流转,用户通过客户端浏览器可实现对目标系统的相关监测参数阈值的配置,以及查阅目标系统的容量分析报告。本实施例中,自动预测的结果需要通过流程的方式流转到人工确认,通过对比分析自动预测结果和人工确认结果的差异,提出优化措施进一步提高自动计算结果的准确率;对于需要扩容或者减配的资源,人工确认后可自动发起可研流程,自动分析的结果可作为发起可研的基础数据,可研结束后可研涉及的资源自动进入自动化估算的范围,从而形成闭环。这样,本实施例还可以通过从可研后评估、资源申请完毕就展开对资源交付、使用情况等场景的监测,从而扩大评估的时间周期;通过自动预测得到的容量分析报告经过人工确认补充、完善预测结果,能够有效提高预测的准确率。
如图3所示,本实施例的系统功能模块包括:采集层,用于采集上述的部署单元TPM、部署单元日交易量、物理子系统信息、可研信息、部署单元CPU、内存使用率、共享文件系统空间使用率、数据库总空间使用率、资源交付信息、部署单元服务器配置和数量、共享系统空间大小及数据库总空间大小等数据;计算层,用于判断容量运行状态、是否为备用、是否最小配置,计算月度预测业务增长率,年度预测业务增长率及计算容量调整预测值,给出调整建议,以及在生成月表之前自动识别待上线、已下线、备用场景的资源,容量建议默认为“保持现状”,根据资源业务指标匹配通用配置和个性化配置,满足最小配置的容量建议默认为“保持现状”,默认原因为“最小配置”;流程层,用于应用处室反馈容量调整意见,包括人工反馈“保持现状”,反馈结果反作用于自动计算结果,以及以容量分析结果为基础启动可研申请,具体的,在计算层生成的月度和年度数据流转到应用处室后,对于容量调整建议为扩容或者减配的资源,人工检查认为暂时不需要处理的可以反馈“保持现状”,下一个计算周期自动带入人工反馈结果直到人工再次反馈为止,对于需要处理的直接发起可研流程;展示层,用于向用户展示目标系统的容量分析报告如阅读报告、年度报告等,以及展示目标系统的容量调整计划、对接可研等;参数层,用于设置和调整容量分析参数、指标、包括容量模型参数、业务指标、资源指标等,以及通用、个性化阈值设置。其中,各功能模块的设置可以根据具体需要进行调整、设置,其为现有技术,此处对此不作限定。
如图4所示,本申请的第二方面,提供一种系统资源配置预测装置,包括:
数据获取模块,被配置为获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
配置预测模块,被配置为在确定资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以资源基础数据及资源占用预测数据为输入,经资源扩容量预测模型预测目标系统的资源扩容量;以及
在确定资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以资源基础数据及资源占用预测数据为输入,经资源简配量预测模型预测目标系统的资源简配量。
本申请实施例提供的系统资源配置预测装置,可用于执行上述实施例中系统资源配置预测方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,数据获取模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上数据获取模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
本申请的第三方面,提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,以实现上述的方法。
图5为本申请实施例提供的电子设备的结构示意图。如图5所示,该电子设备可以包括:收发器121、处理器122、存储器123。
处理器122执行存储器存储的计算机执行指令,使得处理器122执行上述实施例中的方案。处理器122可以是通用处理器,包括中央处理器CPU、网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器123通过系统总线与处理器122连接并完成相互间的通信,存储器123用于存储计算机程序指令。
收发器121可以用于获取待运行任务和待运行任务的配置信息。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的电子设备,可以是上述实施例的终端设备。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中任务调度方法的技术方案。
本申请的第四方面,提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现上述的方法。
本申请的第五方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (15)
1.一种系统资源配置预测方法,其特征在于,包括:
获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
在确定所述资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量;以及
在确定所述资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量。
2.根据权利要求1所述的系统资源配置预测方法,其特征在于,所述目标系统包括至少一台服务器,所述资源占用实际数据包括所述目标系统的处理器使用率及内存使用率;
所述目标系统的资源基础数据包括所述目标系统的服务器数量、处理器利用率上限值、处理器利用率下限值、内存容量、内存利用率上限值、内存利用率下限值、处理器核心数量及处理器核心数量阈值;
所述目标系统的资源占用预测数据包括所述目标系统的处理器预测使用率及所述目标系统的内存预测使用率。
3.根据权利要求2所述的系统资源配置预测方法,其特征在于,所述第一资源配置规则包括:
所述目标系统的处理器使用率和/或所述目标系统的内存使用率属于第一使用率区间;
所述第二资源配置规则包括:
所述目标系统的处理器使用率和/或所述目标系统的内存使用率属于第二使用率区间;
所述第一使用率区间的下限值大于所述第二使用率区间的上限值。
4.根据权利要求2所述的系统资源配置预测方法,其特征在于,所述资源扩容量预测模型包括:
第一资源扩容量预测子模型及第二资源扩容量预测子模型,所述第一资源扩容量预测子模型用于表征所述目标系统的处理器预测使用率、服务器数量及处理器利用率上限值与所述目标系统的第一服务器扩容数量之间的映射关系;
所述第二资源扩容量预测子模型用于表征所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值与所述目标系统的第二服务器扩容数量之间的映射关系。
5.根据权利要求2所述的系统资源配置预测方法,其特征在于,所述资源简配量预测模型包括:
第一资源简配量预测子模型及第二资源简配量预测子模型,所述第一资源简配量预测子模型用于表征所述目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值与所述目标系统的第一服务器简配数量之间的映射关系;
所述第二资源简配量预测子模型用于表征所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值与所述目标系统的第二服务器简配数量之间的映射关系。
6.根据权利要求4所述的系统资源配置预测方法,其特征在于,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量据,包括:
以所述目标系统的处理器预测使用率、服务器数量及处理器利用率上限值为输入,经所述第一资源扩容量预测子模型预测所述目标系统的第一服务器扩容数量;
以所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率上限值为输入,经所述第二资源扩容量预测子模型预测所述目标系统的第二服务器扩容数量;
确定所述第一服务器扩容数量与所述第二服务器扩容数量中的较大值为所述目标系统的资源扩容量。
7.根据权利要求5所述的系统资源配置预测方法,其特征在于,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量据,包括:
以所述目标系统的处理器预测使用率、服务器数量、处理器核心数量、处理器核心数量阈值、处理器利用率下限值为输入,经所述第一资源简配量预测子模型预测所述目标系统的第一服务器简配数量;
以所述目标系统的内存预测使用率、服务器数量、内存容量及内存利用率下限值为输入,经所述第二资源简配量预测子模型预测所述目标系统的第二服务器简配数量;
确定所述第一服务器简配数量与所述第二服务器简配数量中的较大值为所述目标系统的资源简配量。
8.根据权利要求2所述的系统资源配置预测方法,其特征在于,所述方法还包括:
获取所述目标系统在预设时间段内的业务量数据、文件系统空间使用率及数据库空间使用率;
以所述业务量数据、文件系统空间使用率及数据库空间使用率为输入,经预设的资源占用预测模型预测所述目标系统的处理器预测使用率或所述目标系统的内存预测使用率。
9.根据权利要求2所述的系统资源配置预测方法,其特征在于,获取所述目标系统的资源占用实际数据,包括:
以预设频率获取预设时间段内,所述目标系统中每台服务器的处理器使用率及内存使用率;
以获取到的所有处理器使用率中的最大值作为所述目标系统的处理器使用率,以获取到的所有内存使用率的最大值作为所述目标系统的内存使用率。
10.根据权利要求9所述的系统资源配置预测方法,其特征在于,获取所述目标系统的资源占用实际数据,还包括:
判断获取到的处理器使用率及内存使用率的采集时间是否属于非正常工况时间,所述非正常工况时间区间至少包括系统维护时间及系统自检时间;
若存在采集时间属于系统维护时间的处理器使用率或内存使用率,删除对应的处理器使用率或内存使用率;
若存在采集时间属于系统自检时间的处理器使用率,将获取到的所有处理器使用率由大到小进行排序,若所有处理器使用率中的前N个处理器使用率的采集时间均属于系统自检时间,以前N个处理器使用率中的最小值作为所述目标系统的处理器使用率;
若所有处理器使用率中的前N个处理器使用率的采集时间不都属于系统自检时间,以前N个处理器使用率中采集时间不属于系统自检时间的处理器使用率中的最大值作为所述目标系统的处理器使用率。
11.根据权利要求10所述的系统资源配置预测方法,其特征在于,获取所述目标系统的资源占用实际数据,还包括:
若存在采集时间属于系统自检时间的内存使用率,将获取到的所有内存使用率由大到小进行排序,若所有内存使用率中的前N个内存使用率的采集时间均属于系统自检时间,以前N个内存使用率中的最小值作为所述目标系统的内存使用率;
若所有内存使用率中的前N个内存使用率的采集时间不都属于系统自检时间,以前N个内存使用率中采集时间不属于系统自检时间的内存使用率中的最大值作为所述目标系统的内存使用率。
12.一种系统资源配置预测装置,其特征在于,包括:
数据获取模块,被配置为获取目标系统的资源基础数据、资源占用预测数据及资源占用实际数据;
配置预测模块,被配置为在确定所述资源占用实际数据满足第一资源配置规则的情况下,调用资源扩容量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源扩容量预测模型预测所述目标系统的资源扩容量;以及
在确定所述资源占用实际数据满足第二资源配置规则的情况下,调用资源简配量预测模型,以所述资源基础数据及所述资源占用预测数据为输入,经所述资源简配量预测模型预测所述目标系统的资源简配量。
13.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-11中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-11中任一项所述的方法。
15.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211129858.9A CN115437793A (zh) | 2022-09-16 | 2022-09-16 | 系统资源配置预测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211129858.9A CN115437793A (zh) | 2022-09-16 | 2022-09-16 | 系统资源配置预测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115437793A true CN115437793A (zh) | 2022-12-06 |
Family
ID=84250015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211129858.9A Pending CN115437793A (zh) | 2022-09-16 | 2022-09-16 | 系统资源配置预测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115437793A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116382924A (zh) * | 2023-06-02 | 2023-07-04 | 建信金融科技有限责任公司 | 资源配置的推荐方法、装置、电子设备及存储介质 |
CN116610270A (zh) * | 2023-07-21 | 2023-08-18 | 湖南马栏山视频先进技术研究院有限公司 | 一种视频处理的存算分离方法及视频存算分离系统 |
-
2022
- 2022-09-16 CN CN202211129858.9A patent/CN115437793A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116382924A (zh) * | 2023-06-02 | 2023-07-04 | 建信金融科技有限责任公司 | 资源配置的推荐方法、装置、电子设备及存储介质 |
CN116382924B (zh) * | 2023-06-02 | 2023-08-15 | 建信金融科技有限责任公司 | 资源配置的推荐方法、装置、电子设备及存储介质 |
CN116610270A (zh) * | 2023-07-21 | 2023-08-18 | 湖南马栏山视频先进技术研究院有限公司 | 一种视频处理的存算分离方法及视频存算分离系统 |
CN116610270B (zh) * | 2023-07-21 | 2023-10-03 | 湖南马栏山视频先进技术研究院有限公司 | 一种视频处理的存算分离方法及视频存算分离系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115437793A (zh) | 系统资源配置预测方法、装置、设备及存储介质 | |
CN110086666B (zh) | 一种告警方法、装置及系统 | |
CN110262939A (zh) | 算法模型运行监控方法、装置、计算机设备和存储介质 | |
CN112365070B (zh) | 一种电力负荷预测方法、装置、设备及可读存储介质 | |
CN109992408B (zh) | 一种资源分配方法、装置、电子设备和存储介质 | |
CN114328078A (zh) | 一种阈值动态计算方法、装置及计算机可读存储介质 | |
CN107844496B (zh) | 统计信息输出方法及装置 | |
CN109298989A (zh) | 业务指标阈值获取方法及装置 | |
CN113159463A (zh) | 业务量监控方法和装置 | |
CN113553036A (zh) | 一种基于业务分层的软件设计建模方法及系统 | |
CN117331668A (zh) | 一种作业调度方法、装置、设备及存储介质 | |
CN111738538A (zh) | 一种工程项目管理系统、管理方法、app及存储介质 | |
CN111401023A (zh) | 一种报表生成方法、装置、服务器及存储介质 | |
CN114817209A (zh) | 监控规则的处理方法和装置、处理器及电子设备 | |
CN112966971B (zh) | 一种项目工作量评估方法和装置 | |
US11762562B2 (en) | Performance analysis apparatus and performance analysis method | |
CN114721945A (zh) | 基于图数据库的分配方法及其装置、电子设备及存储介质 | |
CN113467867A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN112817713A (zh) | 作业调度方法、装置和电子设备 | |
CN115081943B (zh) | 基于产品难度的员工劳动强度计算方法及相关装置 | |
CN114820193A (zh) | 一种筹码变更曲线生成方法、装置、设备及存储介质 | |
CN114518847A (zh) | 存储空间使用率预测方法及装置 | |
CN114116213A (zh) | 分布式系统中超额负载估计方法、装置、设备及存储介质 | |
CN117541286A (zh) | 医疗服务项目成本多方法核算的方法、装置、设备和介质 | |
CN117575654A (zh) | 数据加工作业的调度方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |