CN109543891B - 容量预测模型的建立方法、设备及计算机可读存储介质 - Google Patents

容量预测模型的建立方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109543891B
CN109543891B CN201811338513.8A CN201811338513A CN109543891B CN 109543891 B CN109543891 B CN 109543891B CN 201811338513 A CN201811338513 A CN 201811338513A CN 109543891 B CN109543891 B CN 109543891B
Authority
CN
China
Prior art keywords
capacity
index data
behavior
prediction model
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811338513.8A
Other languages
English (en)
Other versions
CN109543891A (zh
Inventor
叶金瓒
朱楚廷
覃文丰
尤嘉
张娟
王雅琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201811338513.8A priority Critical patent/CN109543891B/zh
Publication of CN109543891A publication Critical patent/CN109543891A/zh
Application granted granted Critical
Publication of CN109543891B publication Critical patent/CN109543891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Abstract

本发明公开了一种容量预测模型的建立方法、设备及计算机可读存储介质,该方法包括步骤:当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标;确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标;获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系;根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型。本发明使所建立的容量预测模型与业务行为联系起来,以使容量预测模型适用于互联网产品或者是推广期的产品,提高了容量预测模型预测效果的准确率。

Description

容量预测模型的建立方法、设备及计算机可读存储介质
技术领域
本发明涉及测试技术领域,尤其涉及一种容量预测模型的建立方法、设备及计算机可读存储介质。
背景技术
传统资源容量预测的方法是采集应用系统相关组件的关键容量指标,根据该指标的历史数据进行线性或非线性回归,建立容量预测模型。这种模型是基于时间序列的预测,得到的是未来一段时间容量指标的走势。
基于时间序列的容量预测模型与业务行为是割裂的,如果业务发展是有规律且稳健的,那么容量预测模型可能会有比较高的准确率,但是这种模型不适用于互联网产品或是推广期的产品。因为,互联网产品和推广期产品更多依赖于推广活动或是某个特殊业务时期的特殊业务行为,容量是在不断变化的,几乎没有任何时间规律可寻。这种容量预测模型对业务推广前的容量评估没有太大指导意义,从业务运维角度看不到容量短板在哪里,无法对应用系统的容量风险进行评估。
发明内容
本发明的主要目的在于提供一种容量预测模型的建立方法、设备及计算机可读存储介质,旨在解决现有的容量预测模型与业务行为割裂,使容量预测模型不适用于互联网产品或者是推广期的产品的技术问题。
为实现上述目的,本发明提供一种容量预测模型的建立方法,所述容量预测模型的建立方法包括步骤:
当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标;
确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标;
获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系;
根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型。
优选地,所述确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标的步骤包括:
确定所述待预测资源组件中部署的业务场景,检测所述业务场景是否为预设场景;
若所述业务场景是预设场景,则删除是预设场景的所述业务场景,得到剩余的目标业务场景,并确定所述目标业务场景的业务行为指标。
优选地,所述获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系的步骤包括:
获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,计算所述容量指标数据对应的容量指标个数和所述行为指标数据对应的行为指标个数;
判断所述容量指标个数与所述行为指标个数是否一致;
若所述容量指标个数与所述行为指标个数一致,则将同一时间点对应的所述容量指标数据与所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
优选地,所述判断所述容量指标个数与所述行为指标个数是否一致的步骤之后,还包括:
若所述容量指标个数与所述行为指标个数不一致,则删除同一时间点内不对应的所述容量指标数据或所述行为指标数据,将同一时间点内对应的所述容量指标数据和所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
优选地,所述获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据的步骤之后,还包括:
判断所述容量指标数据和所述行为指标数据中是否携带异常标识;
若所述容量指标数据携带异常标识,则删除携带所述异常标识的容量指标数据,并删除与携带所述异常标识的容量指标数据对应的行为指标数据;
若所述行为指标数据携带异常标识,则删除携带所述异常标识的行为指标数据,并删除与携带所述异常标识的行为指标数据对应的容量指标数据。
优选地,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤包括:
根据所述关联关系,采用树模型回归算法为所述待预测资源组件建立容量预测模型。
优选地,所述当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标的步骤包括:
当获取到待预测资源组件,且确定所述待预测资源组件为主机后,将所述主机中的中央处理器CPU使用率、存储空间利用率和/或输入/输出IO使用率确定为资源容量指标;
所述以及确定所述业务场景的业务行为指标的步骤包括:
将所述业务场景对应的每秒事务处理量TPS最大值和/或交易量确定为业务行为指标。
优选地,所述将所述业务场景对应的TPS最大值确定为业务行为指标的步骤包括:
将所述业务场景对应的TPS最大值和交易量确定为业务行为指标。
优选地,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤之后,还包括:
当获取到所述待预测资源组件当前业务行为指标对应的目标行为指标数据时,将所述目标行为指标数据输入与所述容量预测模型中,得到与所述目标行为指标数据对应的容量指标数据。
此外,为实现上述目的,本发明还提供一种容量预测模型的建立设备,所述容量预测模型的建立设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的容量预测模型的建立程序,所述容量预测模型的建立程序被所述处理器执行时实现如上所述的容量预测模型的建立方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有容量预测模型的建立程序,所述容量预测模型的建立程序被处理器执行时实现如上所述的容量预测模型的建立方法的步骤。
本发明通过确定待预测资源组件中的资源容量指标,以及确定待预测资源组件中部署的目标业务场景对应的业务行为指标,建立资源容量指标对应容量指标数据和业务行为指标对应行为指标数据之间的关联关系,根据该关联关系为待预测资源组件建立容量预测模型,使所建立的容量预测模型与业务行为联系起来,以使容量预测模型适用于互联网产品或者是推广期的产品,且提高了容量预测模型预测效果的准确率,从而提高了后续资源组件中容量预测的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2是本发明容量预测模型的建立方法第一实施例的流程示意图;
图3是本发明实施例中确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标的一种细化流程示意图;
图4是本发明容量预测模型的建立方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为容量预测模型的建立设备的硬件运行环境的结构示意图。本发明实施例容量预测模型的建立设备可以是PC,便携计算机等终端设备。
如图1所示,该容量预测模型的建立设备可以包括:处理器1001,例如CPU,网络接口1004,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的容量预测模型的建立设备结构并不构成对容量预测模型的建立设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及容量预测模型的建立程序。其中,操作系统是管理和控制容量预测模型的建立设备硬件和软件资源的程序,支持容量预测模型的建立程序以及其它软件或程序的运行。
在图1所示的容量预测模型的建立设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的容量预测模型的建立程序,并执行以下操作:
当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标;
确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标;
获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系;
根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型。
进一步地,所述确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标的步骤包括:
确定所述待预测资源组件中部署的业务场景,检测所述业务场景是否为预设场景;
若所述业务场景是预设场景,则删除是预设场景的所述业务场景,得到剩余的目标业务场景,并确定所述目标业务场景的业务行为指标。
进一步地,所述获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系的步骤包括:
获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,计算所述容量指标数据对应的容量指标个数和所述行为指标数据对应的行为指标个数;
判断所述容量指标个数与所述行为指标个数是否一致;
若所述容量指标个数与所述行为指标个数一致,则将同一时间点对应的所述容量指标数据与所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
进一步地,所述判断所述容量指标个数与所述行为指标个数是否一致的步骤之后,处理器1001还可以用于调用存储器1005中存储的基于区块链的容量预测模型的建立程序,并执行以下步骤:
若所述容量指标个数与所述行为指标个数不一致,则删除同一时间点内不对应的所述容量指标数据或所述行为指标数据,将同一时间点内对应的所述容量指标数据和所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
进一步地,所述获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据的步骤之后,处理器1001还可以用于调用存储器1005中存储的基于区块链的容量预测模型的建立程序,并执行以下步骤:
判断所述容量指标数据和所述行为指标数据中是否携带异常标识;
若所述容量指标数据携带异常标识,则删除携带所述异常标识的容量指标数据,并删除与携带所述异常标识的容量指标数据对应的行为指标数据;
若所述行为指标数据携带异常标识,则删除携带所述异常标识的行为指标数据,并删除与携带所述异常标识的行为指标数据对应的容量指标数据。
进一步地,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤包括:
根据所述关联关系,采用树模型回归算法为所述待预测资源组件建立容量预测模型。
进一步地,所述当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标的步骤包括:
当获取到待预测资源组件,且确定所述待预测资源组件为主机后,将所述主机中的中央处理器CPU使用率、存储空间利用率和/或输入/输出IO使用率确定为资源容量指标;
所述以及确定所述业务场景的业务行为指标的步骤包括:
将所述业务场景对应的每秒事务处理量TPS最大值和/或交易量确定为业务行为指标。
进一步地,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤之后,处理器1001还可以用于调用存储器1005中存储的基于区块链的容量预测模型的建立程序,并执行以下步骤:
当获取到所述待预测资源组件当前业务行为指标对应的目标行为指标数据时,将所述目标行为指标数据输入与所述容量预测模型中,得到与所述目标行为指标数据对应的容量指标数据。
基于上述的结构,提出容量预测模型的建立方法的各个实施例。
参照图2,图2为本发明容量预测模型的建立方法第一实施例的流程示意图。
本发明实施例提供了容量预测模型的建立方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
容量预测模型的建立方法应用于服务器或者终端中,终端可以包括诸如手机、穿戴设备、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)等移动终端,以及诸如数字TV、台式计算机等固定终端。容量预测模型的建立方法的各个实施例中,为了便于描述,省略执行主体进行阐述各个实施例。容量预测模型的建立方法包括:
步骤S10,当连接待预测资源组件后,确定所述待预测资源组件中的资源容量指标。
当连接到待预测资源组件后,确定待预测资源组件中的资源容量指标。其中,不同待预测资源组件对应的资源容量指标可能相同,也可能不同。待预测资源组件,以及待预测资源组件对应的资源容量指标是由用户根据需要预先设置好的。待预测资源组件可包括主机、网络、业务服务器、数据库和公共平台等。主机的资源容量指标包括但不限于CPU(Central Processing Unit,中央处理器)使用率、MEM(Memory,存储器)利用率和IO(Input/Output,输入/输出)使用率,网络的资源容量指标包括但不限于带宽速率和带宽的信号强度,数据库的资源容量指标包括但不限于查询速度和数据写入速度,公共平台的资源容量指标可为某个时间段内的消息总量。需要说明的是,影响待预测资源组件的指标很多,本实施例中所描述的资源容量指标为各个待预测资源组件中的关键资源容量指标。
步骤S20,确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标。
获取待预测资源组件中部署的业务场景,并确定该业务场景的业务行为指标。其中,预测资源组件中所部署的业务场景是需要在待预测资源组件中运行的业务场景,当需要获取待预测资源组件中部署的业务场景时,可通过配置管理系统获取待预测资源组件中部署的业务场景。需要说明的是,当某个业务场景部署在待预测资源组件中时,该业务场景对应的业务标识与待预设资源组件的组件标识是存在映射关系的,因此,通过与组件标识存在映射关系的业务标识即可确定待预测资源组件中部署的业务场景。不同业务场景对应的业务行为指标可以相同也可以不同。在待预测资源组件中,部署至少一个业务场景,如某个贷款产品,业务场景为开户场景、查询场景和借贷场景;如某个具备充值和提现功能的产品,对应的业务场景为充值场景和提现场景。本实施例中的业务场景为对应产品经常推广的场景。业务行为指标是对目标交易场景中交易情况进行评估的指标,如某个时间段内的TPS(Transaction Per Second,每秒事务处理量)最大值,某个时间段内的总交易量和平均交易量,每笔交易的交易平均耗时等。
步骤S30,获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系。
当获取到资源容量指标和业务行为指标后,获取预设时长内资源容量指标对应的容量指标数据,以及获取预设时长内业务行为指标对应的行为指标数据。其中,预设时长可根据具体需要而设置,在本实施例中对预设时长对应的数值不做具体限制。容量指标数据为资源容量指标对应的具体数值,如当资源容量指标为CPU使用率时,对应的容量指标数据为所获取的各个具体的CPU使用率,如CPU使用率70%,CPU使用率54%等。行为指标数据业务对应业务行为指标的具体数值。需要说明的是,为了能成功建立资源容量指标和业务行为指标之间的关联关系,容量指标数据和行为指标数据对应的时间单位相同,如在主机中,每隔5分钟记录一次CPU使用率,该CPU使用率为这5分钟的CPU平均使用率,则对应的每隔5分钟记录一次这5分钟内的交易量,或者这5分钟的TPS最大值。
当获取到容量指标数据和业务指标数据后,将同一时间点对应的容量指标数据和行为指标数据关联起来,以建立容量指标数据和行为指标数据之间的关联关系。需要说明的是,一个容量指标数据可对应一个或者多个行为指标数据,即一个资源容量指标对应一个或者多个业务行为指标。如在获取到容量指标数据和行为指标数据后,将主机中A时间点生成的容量指标数据和行为指标数据关联起来,将主机中B时间点生成的容量指标数据和行为指标数据关联起来。
步骤S40,根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型。
当建立容量指标数据和行为指标数据之间的关联关系后,根据容量指标数据和行为指标数据之间的关联关系,采用预设算法为待预测资源组件建立容量预测模型。具体地,将容量指标数据和行为指标数据输入预设算法中,得到对应的容量预测模型。需要说明的是,在建立容量预测模型过程中,行为指标数据为预设算法的输入,与该行为指标数据存在关联关系的容量指标数据为预设算法对应的输出,通过该输入和输出得到容量预测模型。当待预测资源组件存在多个资源容量指标时,所生成的容量预测模型为多维容量预测模型,如一台主机中部署了多个产品对应的业务场景,此时待预测资源组件可对这多个业务场景提供资源支持。预设算法可为线性回归算法。
进一步地,由于输入预设算法中的变量很多,各个变量之间存在相关性,但是不能保证所有变量都是线性变化的,为了提高所建立的容量预测模型的准确度,步骤S40包括:
步骤a,根据所述关联关系,采用树模型回归算法为所述待预测资源组件建立容量预测模型。
具体地,将容量指标数据和行为指标数据之间的关联关系输入树模型回归算法中,以生成待预测资源组件的容量预测模型。在本发明实施例中,树模型回归算法组合了树结构和线性回归模型,在叶结点储存了能预测达到叶节点的实例类值的一个线性回归模型,这种树称为模型树。
本实施例通过确定待预测资源组件中的资源容量指标,以及确定待预测资源组件中部署的目标业务场景对应的业务行为指标,建立资源容量指标对应容量指标数据和业务行为指标对应行为指标数据之间的关联关系,根据该关联关系为待预测资源组件建立容量预测模型,使所建立的容量预测模型与业务行为联系起来,以使容量预测模型适用于互联网产品或者是推广期的产品,提高了容量预测模型预测效果的准确率。
进一步地,提出本发明容量预测模型的建立方法第二实施例。
所述容量预测模型的建立方法第二实施例与所述容量预测模型的建立方法第一实施例的区别在于,参照图3,步骤S20包括:
步骤S21,确定所述待预测资源组件中部署的业务场景,检测所述业务场景是否为预设场景。
步骤S22,若所述业务场景是预设场景,则删除是预设场景的所述业务场景,得到剩余的目标业务场景,并确定所述目标业务场景的业务行为指标。
当确定待预测资源组件中部署的业务场景后,检测业务场景是否为预设场景。其中,预设场景为预先设置好的,预设场景的运行对资源容量指标的影响不大。在本发明实施例中,预设场景可为监控场景和安全场景占用资源较少的场景等。当业务场景的场景标识与预设场景的场景标识一致时,可确定业务场景为预设场景;当业务场景的场景标识与预设场景的场景标识不一致时,可确定业务场景不是预设场景。不同业务场景对应的场景标识不一样,本实施例中对场景标识的表现形式不做具体限制。
当确定业务场景是预设场景时,删除待预测资源组件中所部署的,是预设场景的业务场景,得到剩余的目标业务场景,并确定目标业务场景的业务行为指标。可以理解的是,当所有的业务场景都不是预设场景时,确定待预测资源组件中部署的所有业务场景的业务行为指标。
本实施例通过删除待预测资源组件中部署的,对资源容量指标的影响不大的业务场景,提高所建立的容量预测模型的预测资源容量的准确性。
进一步地,提出本发明容量预测模型的建立方法第三实施例。
所述容量预测模型的建立方法第三实施例与所述容量预测模型的建立方法第一或第二实施例的区别在于,步骤S30包括:
步骤b,获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,计算所述容量指标数据对应的容量指标个数和所述行为指标数据对应的行为指标个数。
步骤c,判断所述容量指标个数与所述行为指标个数是否一致。
步骤d,若所述容量指标个数与所述行为指标个数一致,则将同一时间点对应的所述容量指标数据与所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
当获取到预设时长内资源容量指标对应的容量指标数据和业务行为指标对应的行为指标数据后,计算所获取的容量指标数据的数量,记为容量指标个数,以及计算所获取的行为指标数据的数量,记为行为指标个数,并判断容量指标个数与行为指标个数是否一致。若容量指标个数与行为指标个数一致,则表明各个容量指标数据都存在对应的行为指标数据,将同一时间点对应的容量指标数据与行为指标数据关联起来,以建立容量指标数据与行为指标数据之间的关联关系。需要说明的是,当资源容量指标对应着多个业务行为指标时,需要判断容量指标个数与各个业务行为指标对应的行为指标数据是否都一致。
进一步地,容量预测模型的建立方法还包括:
步骤e,若所述容量指标个数与所述行为指标个数不一致,则删除同一时间点内不对应的所述容量指标数据或所述行为指标数据,将同一时间点内对应的所述容量指标数据和所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系
若容量指标个数与行为指标个数不一致,则删除同一时间点内不对应的容量指标数据和行为指标数据,并将同一时间内对应的容量指标数据和行为指标数据关联起来,以建立容量指标数据与行为指标数据之间的关联关系。需要说明的是,在获取容量指标数据时,若某个或者多个容量指标数据获取失败,或者待预测资源组件由于故障并未记录到对应的容量指标数据,则会导致容量指标个数小于行为指标个数。在获取行为指标数据时,若某个或者多个行为指标数据获取失败,或者待预测资源组件由于故障并未记录到对应的行为指标数据,则会导致容量指标个数大于行为指标个数。
当容量指标个数与行为指标个数不一致时,可确定某些容量指标数据不存在对应的行为指标数据,和/或某些行为指标数据不存在对应的容量指标数据,此时需要将不存在对应行为指标数据的容量指标数据删除,和/或将不存在对应容量指标数据的行为指标数据删除。
本实施例通过将不对应的容量指标数据和行为指标数据删除,使建立容量预测模型的数据都是存在完整关联关系的数据,提高了所建立的容量预测模型的准确率。
进一步地,容量预测模型的建立方法还包括:
步骤f,判断所述容量指标数据和所述行为指标数据中是否携带异常标识。
步骤h,若所述容量指标数据携带异常标识,则删除携带所述异常标识的容量指标数据,并删除与携带所述异常标识的容量指标数据对应的行为指标数据。
步骤i,若所述行为指标数据携带异常标识,则删除携带所述异常标识的行为指标数据,并删除与携带所述异常标识的行为指标数据对应的容量指标数据。
在获取到容量指标数据和行为指标数据后,可判断容量指标数据和行为指标数据中是否携带异常标识。需要说明的是,在待预测资源组件运行过程中,若待预测资源组件运行异常,待预测资源组件会在对应的容量指标数据和行为指标数据中添加异常标识。在本发明实施例中不限制异常标识的表现形式。当容量指标数据携带异常标识时,删除携带异常标识的容量指标数据,以及删除与携带异常标识的容量指标数据对应的行为指标数据。当行为指标数据携带异常标识时,删除携带异常标识的行为指标数据,以及删除与携带异常标识的行为指标数据对应的容量指标数据,以提高所建立的容量预测模型对资源容量预测的准确率。进一步地,若容量指标数据和行为指标数据中没有携带异常标识,则计算容量指标数据对应的容量指标个数和行为指标数据对应的行为指标个数。
进一步地,提出本发明容量预测模型的建立方法第四实施例。
所述容量预测模型的建立方法第四实施例与所述容量预测模型的建立方法第一、第二或第三实施例的区别在于,步骤S10包括:
步骤j,当获取到待预测资源组件,且确定所述待预测资源组件为主机后,将所述主机中的中央处理器CPU使用率、存储空间利用率和/或输入/输出IO使用率确定为资源容量指标。
所述确定所述业务场景的业务行为指标的步骤包括:
步骤k,将所述业务场景对应的每秒事务处理量TPS最大值和/或交易量确定为业务行为指标。
当获取到待预测资源组件,且确定待预测资源组件为主机后,将主机中CPU使用率、存储空间利用率(MEM利用率)和/或IO使用率确定为资源容量指标。需要说明的是,计算型的业务系统依赖的CPU使用率,存储型的业务系统依赖MEM利用率,传输类的业务系统依赖IO使用率,因此,将CPU使用率、MEM利用率和IO使用率确定为主机的资源容量指标即可。当确定待预测资源组件中部署的业务场景后,将该业务场景对应的TPS最大值和/或交易量确定为业务行为指标。
本实施例通过将CPU使用率、MEM利用率和IO使用率确定为主机的资源容量指标,可选将TPS最大值或交易量确定为业务场景的业务行为指标,以通过CPU使用率、MEM利用率、IO使用率和TPS最大值建立主机的容量预测模型。
进一步地,为了提高所建立的主机容量预测模型的预测主机资源容量的准确性,
将业务场景对应的TPS最大值和交易量确定为业务行为指标。其中,TPS最大值与交易量对应的时间单位与主机记录CPU使用率、MEM利用率和IO使用率的时间单位是相同的,即主机是同步记录CPU使用率、MEM利用率、IO使用率、TPS最大值和交易量。如每隔5分钟记录一次CPU使用率、MEM利用率、IO使用率、TPS最大值和交易量,此时CPU使用率可为这5分钟内CPU的平均使用率,MEM利用率可为这5分钟内的平均利用率,IO使用率可为这5分钟内的平均使用率,TPS最大值可为这5分钟内的最大值,交易量可为这5分钟内的总交易量。
进一步地,提出本发明容量预测模型的建立方法第五实施例。
所述容量预测模型的建立方法第五实施例与所述容量预测模型的建立方法第一、第二、第三或第四实施例的区别在于,参照图4,容量预测模型的建立方法还包括:
步骤S50,当获取到所述待预测资源组件当前业务行为指标对应的目标行为指标数据时,将所述目标行为指标数据输入与所述容量预测模型中,得到与所述目标行为指标数据对应的容量指标数据。
在建立得到容量预测模型后,检测是否获取到待预测资源组件当前业务行为指标对应的目标行为指标数据。当获取到待预测资源组件当前业务行为指标对应的目标行为指标数据时,将该目标行为指标数据输入与待预测资源组件对应的容量预测模型中,得到容量预测模型的输出。可以理解的是,容量预测模型的输出即为与目标行为指标数据对应的容量指标数据。当未获取到待预测资源组件当前业务行为指标对应的目标行为指标数据时,继续检测是否获取到待预测资源组件当前特务行为指标对应的目标行为指标数据。需要说明的是,若目标行为指标数据是以5分钟为时间单位,则容量预测模型输出的是未来5分钟内的容量指标数据;若目标行为指标数据是以10分钟为时间单位,则容量预测模型输出的是未来10分钟内的容量指标数据。
本实施例通过将所获取的目标行为指标数据输入容量预测模型中,以使容量预测模型输出对应的容量指标数据,以供对应运维人员根据该容量指标数据调整待预测资源组件的资源容量。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有容量预测模型的建立程序,所述容量预测模型的建立程序被处理器执行时实现如上所述的容量预测模型的建立方法的步骤。
本发明计算机可读存储介质具体实施方式与上述容量预测模型的建立方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种容量预测模型的建立方法,其特征在于,所述容量预测模型的建立方法包括以下步骤:
当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标;
确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标;
获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系;
根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型;
所述确定所述待预测资源组件中部署的业务场景,以及确定所述业务场景的业务行为指标的步骤包括:
确定所述待预测资源组件中部署的业务场景,检测所述业务场景是否为预设场景;
若所述业务场景是预设场景,则删除是预设场景的所述业务场景,得到剩余的目标业务场景,并确定所述目标业务场景的业务行为指标;所述预设场景的运行对所述资源容量指标的影响小于所述目标业务场景的运行对所述资源容量指标的影响,所述预设场景包括监控场景和安全场景。
2.如权利要求1所述的容量预测模型的建立方法,其特征在于,所述获取所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,建立所述容量指标数据与所述行为指标数据之间的关联关系的步骤包括:
获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据,计算所述容量指标数据对应的容量指标个数和所述行为指标数据对应的行为指标个数;
判断所述容量指标个数与所述行为指标个数是否一致;
若所述容量指标个数与所述行为指标个数一致,则将同一时间点对应的所述容量指标数据与所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
3.如权利要求2所述的容量预测模型的建立方法,其特征在于,所述判断所述容量指标个数与所述行为指标个数是否一致的步骤之后,还包括:
若所述容量指标个数与所述行为指标个数不一致,则删除同一时间点内不对应的所述容量指标数据或所述行为指标数据,将同一时间点内对应的所述容量指标数据和所述行为指标数据关联起来,以建立所述容量指标数据与所述行为指标数据之间的关联关系。
4.如权利要求2所述的容量预测模型的建立方法,其特征在于,所述获取预设时长内所述资源容量指标对应的容量指标数据和所述业务行为指标对应的行为指标数据的步骤之后,还包括:
判断所述容量指标数据和所述行为指标数据中是否携带异常标识;
若所述容量指标数据携带异常标识,则删除携带所述异常标识的容量指标数据,并删除与携带所述异常标识的容量指标数据对应的行为指标数据;
若所述行为指标数据携带异常标识,则删除携带所述异常标识的行为指标数据,并删除与携带所述异常标识的行为指标数据对应的容量指标数据。
5.如权利要求1所述的容量预测模型的建立方法,其特征在于,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤包括:
根据所述关联关系,采用树模型回归算法为所述待预测资源组件建立容量预测模型。
6.如权利要求1所述的容量预测模型的建立方法,其特征在于,所述当连接到待预测资源组件后,确定所述待预测资源组件中的资源容量指标的步骤包括:
当获取到待预测资源组件,且确定所述待预测资源组件为主机后,将所述主机中的中央处理器CPU使用率、存储空间利用率和/或输入/输出IO使用率确定为资源容量指标;
所述以及确定所述业务场景的业务行为指标的步骤包括:
将所述业务场景对应的每秒事务处理量TPS最大值和/或交易量确定为业务行为指标。
7.如权利要求1至6任一项所述的容量预测模型的建立方法,其特征在于,所述根据所述关联关系,采用预设算法为所述待预测资源组件建立容量预测模型的步骤之后,还包括:
当获取到所述待预测资源组件当前业务行为指标对应的目标行为指标数据时,将所述目标行为指标数据输入与所述容量预测模型中,得到与所述目标行为指标数据对应的容量指标数据。
8.一种容量预测模型的建立设备,其特征在于,所述容量预测模型的建立设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的容量预测模型的建立程序,所述容量预测模型的建立程序被所述处理器执行时实现如权利要求1至7中任一项所述的容量预测模型的建立方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有容量预测模型的建立程序,所述容量预测模型的建立程序被处理器执行时实现如权利要求1至7中任一项所述的容量预测模型的建立方法的步骤。
CN201811338513.8A 2018-11-09 2018-11-09 容量预测模型的建立方法、设备及计算机可读存储介质 Active CN109543891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811338513.8A CN109543891B (zh) 2018-11-09 2018-11-09 容量预测模型的建立方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811338513.8A CN109543891B (zh) 2018-11-09 2018-11-09 容量预测模型的建立方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109543891A CN109543891A (zh) 2019-03-29
CN109543891B true CN109543891B (zh) 2022-02-01

Family

ID=65846906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811338513.8A Active CN109543891B (zh) 2018-11-09 2018-11-09 容量预测模型的建立方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109543891B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084486A (zh) * 2019-04-02 2019-08-02 深圳前海微众银行股份有限公司 一种资源管理方法及装置
CN110532156B (zh) * 2019-08-22 2023-12-19 北京宝兰德软件股份有限公司 一种容量预测方法及装置
CN111581070B (zh) * 2020-05-07 2023-08-18 拉扎斯网络科技(上海)有限公司 容量确定方法、装置、电子设备及计算机可读存储介质
CN112631882B (zh) * 2020-12-03 2023-06-06 四川新网银行股份有限公司 一种结合线上业务指标特征的容量预估方法
CN112685173A (zh) * 2020-12-22 2021-04-20 中通天鸿(北京)通信科技股份有限公司 一种基于富媒体的智能路由分配系统
CN113742187A (zh) * 2021-08-05 2021-12-03 中移(杭州)信息技术有限公司 应用系统的容量预测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411757A (zh) * 2011-08-05 2012-04-11 中国工商银行股份有限公司 一种大型主机cpu容量预测方法及系统
CN103778474A (zh) * 2012-10-18 2014-05-07 华为技术有限公司 资源负载量预测方法、分析预测系统及业务运营监控系统
CN105979532A (zh) * 2016-04-15 2016-09-28 北京思特奇信息技术股份有限公司 一种业务处理系统的性能容量分析预警方法及装置
CN106549772A (zh) * 2015-09-16 2017-03-29 华为技术有限公司 资源预测方法、系统和容量管理装置
CN106886485A (zh) * 2017-02-28 2017-06-23 深圳市华傲数据技术有限公司 系统容量分析预测方法及装置
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、系统及可读存储介质
CN108471353A (zh) * 2018-01-22 2018-08-31 浙江鹏信信息科技股份有限公司 一种基于深度神经网络算法的网元容量分析与预测的方法
CN108632365A (zh) * 2018-04-13 2018-10-09 腾讯科技(深圳)有限公司 服务资源调整方法、相关装置和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866408B (zh) * 2014-02-20 2017-12-22 阿里巴巴集团控股有限公司 一种应用系统的容量预测方法和装置
CN105636071A (zh) * 2014-11-04 2016-06-01 中兴通讯股份有限公司 系统容量的预测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411757A (zh) * 2011-08-05 2012-04-11 中国工商银行股份有限公司 一种大型主机cpu容量预测方法及系统
CN103778474A (zh) * 2012-10-18 2014-05-07 华为技术有限公司 资源负载量预测方法、分析预测系统及业务运营监控系统
CN106549772A (zh) * 2015-09-16 2017-03-29 华为技术有限公司 资源预测方法、系统和容量管理装置
CN105979532A (zh) * 2016-04-15 2016-09-28 北京思特奇信息技术股份有限公司 一种业务处理系统的性能容量分析预警方法及装置
CN106886485A (zh) * 2017-02-28 2017-06-23 深圳市华傲数据技术有限公司 系统容量分析预测方法及装置
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、系统及可读存储介质
CN108471353A (zh) * 2018-01-22 2018-08-31 浙江鹏信信息科技股份有限公司 一种基于深度神经网络算法的网元容量分析与预测的方法
CN108632365A (zh) * 2018-04-13 2018-10-09 腾讯科技(深圳)有限公司 服务资源调整方法、相关装置和设备

Also Published As

Publication number Publication date
CN109543891A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543891B (zh) 容量预测模型的建立方法、设备及计算机可读存储介质
US10560465B2 (en) Real time anomaly detection for data streams
CN108667855B (zh) 网络流量异常监测方法、装置、电子设备及存储介质
CN110826071B (zh) 软件漏洞风险预测方法、装置、设备及存储介质
US10346249B2 (en) Resolving and preventing computer system failures caused by changes to the installed software
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN113489713B (zh) 网络攻击的检测方法、装置、设备及存储介质
CN109960635B (zh) 实时计算平台的监控和报警方法、系统、设备及存储介质
CN113836237A (zh) 对数据库的数据操作进行审计的方法及装置
CN115374088A (zh) 数据库健康度分析方法、装置、设备及可读存储介质
CN111784174B (zh) 一种基于用户画像管理风险策略的方法、装置和电子设备
CN113901153A (zh) 数据处理方法及相关设备
CN114282940A (zh) 用于意图识别的方法及装置、存储介质及电子设备
CN113656391A (zh) 数据检测方法及装置、存储介质及电子设备
CN113656378A (zh) 一种服务器管理方法、装置、介质
CN112882948A (zh) 一种应用的稳定性测试方法、装置、系统及存储介质
CN113778780A (zh) 应用稳定性的确定方法、装置、电子设备和存储介质
KR102464688B1 (ko) 모니터링 결과의 이벤트 등급 결정 방법 및 장치
CN111158654A (zh) 算法调用方法、装置、服务器及存储介质
US20120233224A1 (en) Data processing
CN115314404B (zh) 服务优化方法、装置、计算机设备及存储介质
CN113568773B (zh) 一种异常服务分类方法、装置、设备及存储介质
KR101553923B1 (ko) 시스템 사용량 분석 장치 및 방법
CN115952208A (zh) 一种计算特征与标签关联度的方法、装置及电子设备
CN117785625A (zh) 服务器性能预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant