CN114116417A - 容量预测模型的训练方法、容量预测方法、装置及设备 - Google Patents
容量预测模型的训练方法、容量预测方法、装置及设备 Download PDFInfo
- Publication number
- CN114116417A CN114116417A CN202010870600.9A CN202010870600A CN114116417A CN 114116417 A CN114116417 A CN 114116417A CN 202010870600 A CN202010870600 A CN 202010870600A CN 114116417 A CN114116417 A CN 114116417A
- Authority
- CN
- China
- Prior art keywords
- capacity
- data
- prediction model
- capacity prediction
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种容量预测模型的训练方法、容量预测方法、装置及设备。具体包括:获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;将文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。根据本申请实施例,能够提升了容量预测模型的识别准确性和效率。
Description
技术领域
本申请属于计算机技术领域,尤其涉及一种容量预测模型的训练方法、容量预测方法、装置、设备及计算机存储介质。
背景技术
在日常运营工作中,容量管理是一种通过跟踪、控制应用系统的容量来确保业务负载能满足客户需求和服务级别的管理方法。在容量管理中,如何有效地预测业务应用系统等的容量状态,是业界研究的重点。
现有的相关技术包括通过告警信息被动感知容量状态的管理方式,还有使用性能测试的结果进行容量预测等等。但是,这些相关技术仍存在一些缺陷,如依赖人的经验、考虑因素不全面等,由此,导致预测结果不够准确。
发明内容
本申请实施例提供一种容量预测模型的训练方法、容量预测方法、装置、设备及计算机存储介质,能够利用结合了业务、容量的自身数据和对应的业务容量计划等文本信息的训练样本,对容量预测模型进行训练,丰富了模型训练的数据样本和权重,提升了容量预测模型的准确性。
第一方面,本申请实施例提供一种容量预测模型的训练方法,该方法包括:
获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;
将所述文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;
根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
可选地,所述将文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重,包括:
将所述文本信息样本输入预设扩缩容分类模型,得到扩缩容分类结果;
根据所述扩缩容分类结果和预设条件,计算得到预设时间段对应的第一注意力权重。
可选地,根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型,包括:
根据预设的组网架构,聚合所述业务数据样本、容量数据样本和文本信息样本,得到第一数据样本;
提取所述第一数据样本中满足预设容量条件的容量特征信息;
利用所述第一数据样本、容量特征信息和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
可选地,所述根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型,包括:
利用预设的逆向算法,将输入的所述第一注意力权重添加至待训练的容量预测模型的第二注意力权重中,以形成第三注意力权重;
基于所述业务数据样本、容量数据样本和第三注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
可选地,在所述根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型之前,还包括:
对所述业务数据样本、容量数据样本进行数据关联、数据去重、数据补齐、数据归一化中的至少一种预处理操作。
可选地,所述第一数据样本包括多个业务时间序列、第一容量时间序列、和第二容量时间序列。
可选地,所述文本信息样本包括业务计划的文本信息和业务扩缩容的时间信息。
第二方面,本申请实施例提供了一种容量预测的方法,所述方法包括:
获取待预测的业务数据和容量数据;
将所述业务数据和容量数据输入利用根据如第一方面以及第一方面可选的所述的方法训练得到的所述目标容量预测模型中,得到对应的容量预测结果。
第三方面,本申请实施例提供了一种容量预测模型的训练装置,装置包括:
获取模块,用于获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;
确定模块,用于将所述文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;
训练模块,用于根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
第四方面,本申请实施例提供了一种预测模型的装置,装置包括:
获取模块,用于获取待预测的业务数据和容量数据;
预测模块,用于将所述业务数据和容量数据输入利用如第一方面以及第一方面可选的所述的方法训练得到的所述目标容量预测模型中,得到对应的容量预测结果。
第五方面,本申请实施例提供了一种容量预测模型的训练设备,设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如第一方面以及第一方面可选的所述的容量预测模型的训练方法。
第六方面,本申请实施例提供了一种容量预测的设备,设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如第二方面所述的容量预测的方法。
第七方面,本申请实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面以及第一方面可选的所述的容量预测模型的训练方法,和/或,如第二方面所述的容量预测的方法。
本申请实施例的容量预测模型的训练方法、容量预测方法、装置、设备及计算机存储介质,能够将业务数据样本、容量数据样本和对应的业务及容量描述的文本信息样本相结合,训练确定目标容量预测模型。在训练模型时,训练样本兼顾了业务、容量的自身数据和对应的业务容量计划等文本信息,并且利用预设扩缩容分类模型分析文本信息样本,将分析结果作为注意力权重融入训练的容量预测模型中,丰富模型训练的数据样本和权重。由此,可以提升容量预测模型的准确性,进而优化容量管理。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的容量预测模型的训练方法的流程示意图;
图2是本申请另一个实施例提供的容量预测模型的训练方法的流程示意图;
图3是本申请一个实施例提供的多个时间段对应的第一注意力权重的示意图;
图4是本申请一个实施例提供的容量预测的方法的流程示意图;
图5是本申请一个实施例提供的容量预测模型的训练装置的结构示意图;
图6是本申请一个实施例提供的容量预测的装置的结构示意图;
图7是本申请一个实施例提供的容量预测模型的训练设备硬件结构示意图;
图8是本申请一个实施例提供的预测模型设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本申请,并不被配置为限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前,容量管理的方式包括被动感知和主动管理。被动感知的容量管理方式主要是对于还未建立起容量管理体系的新上线系统,通过给应用服务器硬件资源和存储等设计指定阈值、达到阈值后告警提醒运营人员清理或扩容等处理操作的方式保证系统健康。但是,完全通过告警的被动方式进行容量管理。如果达到了告警阈值,运营人员对数据按需进行清理或者扩容操作,但阈值的设定就完全依赖运营人员经验。若阈值设定小了,则增加系统频繁变更的风险、人力成本,还会在资源扩充后,长时间难以得到充分利用,造成资源大量浪费;若阈值设定高了,就很可能造成扩容不及时,严重时导致业务处理失败。
主动管理主要包括两种方式:一是,根据业务模型对应用进行性能测试,通过测试工具和方法,仿真生产系统得到系统容量。并根据多次仿真结果根据一定的比例和线性模型对未来容量进行估算。二是,针对存储密集型设备,可通过监控历史数据和日志的增长比率,大概估算出系统容量趋势。
但是,主动管理中使用性能测试结果进行容量预测的方法,需要构造同真实生产环境一比一的镜像环境,投入巨大的人力,硬件资源,时间等成本较高。而且,仍然依赖业务人员或运营人员的经验,对于实际生产情况拟合度不足,预测结果不够准确。
主动管理中使用存储密集型设备的存储日志和数据的增长比率进行估测的方法,也存在一定局限性:一是,预测范围较小。仅包含数据库、共享存储等存储情况,但实际生产中,容量管理的范畴也包括中央处理器CPU密集型设备容量预测等,具体地包括主机的中央处理器,输入/输出I/O,内存等使用情况;二是,与业务关联性不足。数据库的存储不仅与自身的增长率有关,也和实际生产业务情况有关,仅分析日志和历史数据增长比率无法捕捉业务和容量间的变化关系;三是,仅是基于业务数据和容量数据等内部因素,进行容量预测忽略了与容量管理有强相关的一些外部市场和业务政策因素。上述局限性问题都可能导致容量预测结果不够准确。
为了解决现有技术问题,本申请实施例中提供的容量预测模型的训练方法、容量预测方法、装置、设备及计算机存储介质,能够将业务数据样本、容量数据样本和对应的业务及容量描述的文本信息样本相结合,训练确定目标容量预测模型。在训练模型时,训练样本兼顾了业务、容量的自身数据和对应的业务容量计划等文本信息,并且利用预设扩缩容分类模型分析文本信息样本,将分析结果作为注意力权重融入训练的容量预测模型中,丰富模型训练的数据样本和权重。由此,可以提升容量预测模型的准确性,进而优化容量管理。
下面结合附图,描述根据本申请实施例提供的容量预测模型的训练方法、容量预测的方法、装置、设备及计算机存储介质。应注意,这些实施例并不是用来限制本申请公开的范围。
下面首先对本申请实施例所提供的容量预测模型的训练方法进行介绍。
在本申请实施例中,如图1所示,图1是本申请一个实施例提供的容量预测模型的训练方法的流程示意图。该容量预测模型的训练方法,具体实施为如下步骤:
S101:获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本。
该业务数据样本可以包括多种业务指标。业务指标是对目标场景中的业务开展情况评估的指标。示例性的,业务指标可以包括预设采集周期内的每秒事务处理量(Transaction Per Second,TPS)峰值,预设采集周期内总订单量和话单量等。
该容量数据样本可以包括多种硬件资源指标。硬件资源指标可以包括主机资源指标容量指标,网络资源容量指标以及数据库资源容量指标中的至少一项。
文本信息样本包括业务计划的文本信息和业务扩缩容的时间信息。示例性的,文本信息样本可以包括办公自动化(Office Automation,OA)系统的公文,邮件和会议纪要等文本信息、业务部门或市场部门在业务发展方面的发展目标或者计划类文本信息。
S102:将文本信息样本输入预设扩缩容分类模型,确定文本信息样本对应的第一注意力权重。
在一些实施例中,预设扩缩容分类模型可以包括自然语言处理(NaturalLanguage Processing,NLP)模型等。
S103:根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
在一些实施例中,容量预测模型可以包括长短期记忆网络(Long Short-TermMemory,LSTM)模型等循环神经网络模型。
在一些实施例中,首先,可以利用预设的逆向算法,将输入的第一注意力权重添加至待训练的容量预测模型的第二注意力权重中,以形成第三注意力权重;。然后,基于业务数据样本、容量数据样本和第三注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
综上,本申请实施例中,该容量预测模型的训练的方法,能够将业务数据样本、容量数据样本和对应的业务及容量描述的文本信息样本相结合,训练确定目标容量预测模型。在训练模型时,训练样本兼顾了业务、容量的自身数据和对应的业务容量计划等文本信息,并且利用预设扩缩容分类模型分析文本信息样本,将分析结果作为注意力权重融入训练的容量预测模型中,丰富模型训练的数据样本和权重。由此,可以提升容量预测模型的准确性,进而优化容量管理。
为了可以更好的理解本申请的方法,下面对本申请实施例所提供的容量预测模型的训练方法进行详细介绍。
在本申请实施例中,如图2所示,图2是本申请另一个实施例提供的容量预测模型的训练方法的流程示意图。该容量预测模型的训练方法,具体实施为如下步骤:
S201:获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本。
业务数据样本和容量数据样本可以是从相关业务系统中获取的,具体地,可以按照预设时间段获取相应地业务数据样本和容量数据样本。业务数据样本和容量数据样本可以看作是业务容量管理系统中的内部数据。该业务数据样本可以包括多种业务指标。该容量数据样本可以包括多种硬件资源指标。
在一些实施例中,在业务容量管理系统各主机和应用节点中可以部署采集任务,按照一定的周期采集内部数据。示例性的,采集的内部数据相关信息可以如下表1所示:
表1
其中,在硬件资源指标中,主机资源指标容量指标包括但不限于CPU使用率,内存利用率,I/O使用率;网络资源容量指标包括但不限于网卡带宽占用率,主机端口占用数等;数据库资源容量指标包括但不限于表空间使用量和使用率等。
组网架构规则可以确定集群部署规则和应用数据流向,以便单机与集群、网元与网元间能够建立起关联关系。
对于业务及容量描述的文本信息样本,该文本信息样本可以包括OA系统的公文,邮件和会议纪要等文本信息、业务部门或市场部门在业务发展方面的发展目标或者计划类文本信息。
可选地,预先标注这些文本信息样本,示例性的,标注后的文本信息样本如下表2所示:
表2
S202:将文本信息样本输入预设扩缩容分类模型,得到扩缩容分类结果。
在一些实施例中,预设扩缩容分类模型可以包括NLP模型。示例性的,该NLP模型可以是BERT模型。
在一些实施例中,对于文本信息样本处理,可以将相关OA文件、邮件和会议纪要和省业务目标信息等,进行适当的摘要处理,保证每一条长度不要超过512个字节,并根据历史记录,将真实明确的扩容或者缩容时间点也记录下来,并进行分类标签。
在一些实施例中,首先,可以预先训练确定该NLP模型。根据OA文件、邮件和会议纪要、省业务目标等文本信息样本,文本信息的一个语句大小不超过512字节,按照语句1+语句2的形式作为输入,训练微调好该NLP模型。
然后,利用训练好的NLP模型,进行预测识别。将要预测的OA文件或邮件或会议纪要等文本信息,输入训练好的NLP模型,可以预测分类结果。预测结果可以包括扩容、不变和缩容。
S203:根据扩缩容分类结果和预设条件,计算得到预设时间段对应的第一注意力权重。
在一些实施例中,根据扩缩容分类结果和预设条件,计算未来的时间步骤的第一注意力权重。示例性的,对于NLP模型的扩缩容分类结果,按照历史准确的扩容时间,逆向对应到多层LSTM模型的各个时间时刻中。如,在3月27号实施扩容,NLP扩缩容分类预测的结果是扩容。该预设时间段可以为从计划时间到真正实施扩容的时间间隔t=7,那么在此时间段内第一注意力权重按照线性增长到一定程度后线性递减,其中,可以先将文本信息样本的特征值初始化为0.00001。多个时间段对应的第一注意力权重如下表3所示:
表3
这里,如图3所示,图3是本申请一个实施例提供的多个时间段对应的第一注意力权重的示意图。利用第一注意力权重,能有效的排除一些周期性或人为错误的数据。例如,因为人为调整或上线升级导致了扩缩容、定时任务或人为删除数据库表导致的内部数据变化等干扰性因素。
可以理解的是,也可以使用其他现有技术手段,确定预设时间段对应的第一注意力权重,例如,可以直接筛选文本信息中关键时间点,确实权重。在此可以不做具体限定。
S204:对业务数据样本、容量数据样本进行预处理操作。
对业务数据样本、容量数据样本进行数据关联、数据去重、数据补齐、数据归一化中的至少一种预处理操作。
在一些实施例中,通过数据关联处理,可以使业务数据样本、容量数据样本的时间周期保持一致。可以理解的是,在实际生产中,各业务、硬件资源指标等采集周期不尽相同。所以,业务数据样本、容量数据样本需要按照统一的时间周期汇总。如业务数据样本,即业务指标的采集周期为1小时内的最大TPS,对应的该CPU使用率也需要汇总为这1小时内的CPU最大使用率。
在一些实施例中,在对业务数据样本、容量数据样本执行数据去重时,可以使用线性插值法进行缺失值补齐。线性插值法通过建立连接未知量前后的两个已知量的线性函数,来对未知量填充。相比于其他插值方式更简单直观。
在一些实施例中,在对业务数据样本、容量数据样本执行噪声数据处理时,可以使用箱型图描绘数据的离散情况,快速识别上下四分位数之外的数据。由此,分析相关的数据是否为异常,决定是否要修复、保留或者丢弃。根据分析结果可以去除非法字符,重复,无意义字符等。
在一些实施例中,在对业务数据样本、容量数据样本执行数据归一化时,可以将数据映射在[0,1]范围内,将有量纲的数据转换成无量纲数据,以用于提升容量预测模型收敛速度和精度。
S205:根据预设的组网架构,聚合业务数据样本、容量数据样本和文本信息样本,得到第一数据样本。
在一些实施例中,获取的内部数据中还包括预设的组网架构,该预设的组网架构可以确定集群部署规则和应用数据流向,以便单机与集群、网元与网元间能够建立起关联关系。业务数据样本包括业务指标,容量数据样本包括硬件资源指标。
示例性的,业务指标和硬件资源指标往往是按照集群中的主机节点采集,但不同网元间的数据流动,不是单机对单机的连接方式,而是集群对集群的连接方式。所以硬件资源指标和业务指标需要根据组网架构进行聚合计算,从单机容量业务指标转变成集群容量业务指标。组合方式根据集群负载方式的不同而有所不同,这里,可以使用均衡负载方式。
针对比率性指标,例如,CPU利用率、I/O利用率等,可通过如下公式(1)计算:
集群性能指标=∑单机性能指标÷机器数 (1)
针对订单类业务指标,可通过如下公式(2)计算:
集群订单指标=(批量业务量×用户量+实时业务量)÷时间周期 (2)
针对话单类业务指标,可通过如下公式(3)计算:
集群话单指标=∑单机话单指标 (3)
针对数据库资源容量指标,即存储密集型指标,可通过如下公式(4)计算:
集群容量指标=单机容量×机器数 (4)
对于文本信息样本处理,可以将相关OA文件、邮件和会议纪要和省业务目标信息等,进行适当的摘要处理,保证每一条长度不要超过512个字节,并根据历史记录,将真实明确的扩容或者缩容时间点也记录下来,并进行分类标签。
通过上述处理,可以将业务数据样本、容量数据样本和文本信息样本聚合,得到第一数据样本。
S206:提取第一数据样本中满足预设容量条件的容量特征信息。
这里,由于不同的集群在容量使用的时候瓶颈是不同的,需要根据集群特点提取对应得容量特征信息。示例性的,对于CPU密集型的集群,容量数据中会更倾向于关注CPU的使用率是否率先成为瓶颈,可以提取涉及CPU使用率的容量特征信息;对于存储型的集群,容量中最先成为瓶颈的是表空间使用量或者I/O使用率,相应地提取表空间使用量或者I/O使用率的容量特征信息。
S207:利用第一数据样本、容量特征信息和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
在一些实施例中,第一数据样本可以包括多个业务时间序列、第一容量时间序列、和第二容量时间序列。
在一些实施例中,业务时间序列、第一容量时间序列、和第二容量时间序列可以构建三种容量预测场景的数据样本。三种场景可以包括网元容量预测场景,业务容量强相关预测场景以及业务多网元强相关预测场景。
示例性的,网元容量预测场景中,基于历史N个时间周期,预测未来M个周期的数据。N,M均为正整数。第一容量时间序列CT=[c1,c2,c3,c4,c5,c6,c7],N=3,M=1,如下表4所示:
表4
业务容量强相关预测场景中,基于历史N个时间周期,预测未来M个周期的数据。N,M均为正整数。业务时间序列BT=[b1,b2,b3,b4,b5,b6,b7],第一容量时间序列CT=[c1,c2,c3,c4,c5,c6,c7],N=3,M=1,如下表5所示:
表5
业务多网元强相关预测预测场景中,基于历史N个时间周期,预测未来M个周期的数据。N,M均为正整数。
业务时间序列BT=[b1,b2,b3,b4,b5,b6,b7],第一容量时间序列CT=[c1,c2,c3,c4,c5,c6,c7],第二容量时间序列DT=[d1,d2,d3,d4,d5,d6,d7],N=3,M=1,如下表6所示:
表6
这里,第一容量时间序列可以为前序应用容量时间序列,第二容量时间序列可以为应用容量时间序列。
在一些实施例中,容量预测模型可以为多层LSTM模型。
示例性的,多层LSTM模型的网络设置具体包括:
LSTM层:主训练层,每一层中有多个LSTM单元。不同场景下,已构造好的输入数据样本需要通过reshape函数,按照如下格式重塑,输入数据格式为[batchs,time_steps,input_dim],其中batchs表示样本数目;time_steps表示有多少个时刻的输入;input_dim表示每个时刻的输入向量的维度。示例性的,网元容量预测场景,输入为[batchs,3,1]。
随机失活DropOut层:将DropOut应用于多层隐藏层中间,使用不同长度的掩码对训练的模型神经元随机丢弃,可使LSTM在保持记忆能力的前提下从正则化中收益。它通过假设其它隐藏单元不可靠,组织了为达到全局最优而错误更新参数的“共适应”性。一般参数选择0.2或0.5的丢弃率。
全连接Dense层:Dense层可视作模型表示能力的“防火墙”,特别是源域与目标域差异较大的情况下,可以保持较大的模型的容量,从而保证能力的迁移。
损失函数可以选择均方误差(Mean Squared Error,MSE),通过如下公式(5)计算得到:
优化函数可以选择Adam,可以计算得到每个参数的自适应学习率,不仅保持了过去损失函数梯度的指数衰减均值,也通过动量的方式对梯度进行了偏差校验。可选地,不同的神经元层可根据需要组合叠加使用。
可选地,模型训练时,epochs为全训练集迭代次数,训练次数达到5千-1万,生成容量预测模型,得到该模型在验证集上的MSE为35.849656。相较于其他网络模型,多层LSTM模型可以取得较好的效果。
可以理解的是,在实际使用中,使用上述步骤训练确定的容量预测模型,即目标容量预测模型,进行实际预测,历史数据会随着时间变化而增多,可以将这些新增的历史数据投入模型,更新训练该模型,以降低预测的误差。具体实现方式,同上述步骤,在此不再赘述。
在一些实施例中,首先,可以利用预设的逆向算法,将输入的第一注意力权重添加至待训练的容量预测模型的第二注意力权重中,得到第三注意力权重。
示例性的,可以将第一注意力权重作为多层LSTM模型的输入数据,输入到LSTM模型的第二注意力权重的特征一列中,形成第三注意力权重。
然后,基于第一数据样本、容量特征信息和第三注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
综上,本申请实施例的容量预测模型的训练方法,能够将业务数据样本、容量数据样本和对应的业务及容量描述的文本信息样本相结合,训练确定目标容量预测模型。在训练模型时,训练样本兼顾了业务、容量的自身数据和对应的业务容量计划等文本信息,并且利用预设扩缩容分类模型分析文本信息样本,将分析结果作为注意力权重融入训练的容量预测模型中,丰富模型训练的数据样本和权重。由此,可以提升容量预测模型的准确性,进而优化容量管理。
下面对本申请实施例所提供的容量预测的方法进行详细的介绍。
图4是本申请一个实施例提供的容量预测的方法的流程示意图。如图4所示,在本申请实施例中,该容量预测的方法可以包括以下步骤:
S401:获取待预测的业务数据和容量数据。
在一些实施例中,该业务数据和容量数据可以包括自身网元容量数据、业务容量强相关数据,和业务多网元强相关数据中的至少一种。
S402:将业务数据和容量数据输入容量预测模型,得到对应的容量预测结果。
这里,该容量预测模型可以是利用上述实施例中,容量预测模型的训练方法训练得到的目标容量预测模型。基于目标容量预测模型来预测业务容量是否需要扩缩容。
在一些实施例中,该目标容量预测模型可以支持包括自身网元容量预测场景,业务容量强相关预测场景以及业务多网元强相关预测场景的容量预测。即,可以将自身网元容量数据、业务容量强相关数据,和/或,业务多网元强相关数据输入该目标容量预测模型,分别输出对应的业务容量是否需要扩缩容预测识别结果。
综上,本申请实施例的容量预测方法,能够利用目标容量预测模型来预测业务容量是否需要扩缩容,可以提升容量预测识别的准确性,进而优化容量管理,减少时间、人力、资源成本,降本增效。
基于上述实施例提供的容量预测模型的训练方法,相应地,本申请还提供了容量预测模型的训练装置的具体实现方式。请参见以下实施例。
在本申请一实施例中,如图5所示,图5是本申请另一个实施例提供的容量预测模型的训练装置的结构示意图,该容量预测模型的训练装置,具体包括:
获取模块501,用于获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;
确定模块502,用于将所述文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;
训练模块503,用于根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
综上,本申请实施例中,该容量预测模型的训练装置,可以执行上述实施例中的容量预测模型的训练的方法,能够将业务数据样本、容量数据样本和对应的业务及容量描述的文本信息样本相结合,训练确定目标容量预测模型。在训练模型时,训练样本兼顾了业务、容量的自身数据和对应的业务容量计划等文本信息,并且利用预设扩缩容分类模型分析文本信息样本,将分析结果作为注意力权重融入训练的容量预测模型中,丰富模型训练的数据样本和权重。由此,可以提升容量预测模型的准确性,进而优化容量管理。
可以理解的是,图5所示宠物健康模型的训练装置中的各个模块/单元具有实现图1、图2中各个步骤的功能,并能达到其相应的技术效果,为简洁描述,在此不再赘述。
基于上述实施例提供的容量预测的方法,相应地,本申请还提供了容量预测的装置的具体实现方式。请参见以下实施例。
在本申请一实施例中,如图6所示,图6是本申请另一个实施例提供的容量预测的装置的结构示意图,该容量预测的装置,具体包括:
获取模块601,用于获取待预测的业务数据和容量数据;
预测模块602,用于将所述业务数据和容量数据输入利用如上述实施例中所述的方法训练得到的所述目标容量预测模型中,得到对应的容量预测结果。
综上,本申请实施例的容量预测的装置,可以执行上述实施例中的容量预测方法,能够利用目标容量预测模型来预测业务容量是否需要扩缩容,可以提升容量预测识别的准确性,进而优化容量管理,减少时间、人力、资源成本,降本增效。
基于上述实施例提供的容量预测模型的训练方法和容量预测方法,相应地,本申请还提供了容量预测模型的训练设备和容量预测设备的具体硬件结构说明。请参见以下实施例。
图7是本申请实施例提供的容量预测模型的训练设备硬件结构示意图。
容量预测模型的训练设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关容灾设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现上述实施例中的任意一种容量预测模型的训练方法。
在一个示例中,容量预测模型的训练设备还可包括通信接口703和总线710。其中,如图7所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将容量预测模型的训练设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该容量预测模型的训练设备可以执行本申请实施例中的容量预测模型的训练方法,从而实现结合图1和图2描述的容量预测模型的训练方法。
图8是本申请实施例提供的预测模型设备的硬件结构示意图。
容量预测的设备可以包括处理器801以及存储有计算机程序指令的存储器802。
具体地,上述处理器801可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器802可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器802可在综合网关容灾设备的内部或外部。在特定实施例中,存储器802是非易失性固态存储器。在特定实施例中,存储器802包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器801通过读取并执行存储器802中存储的计算机程序指令,以实现上述实施例中的任意一种容量预测的方法。
在一个示例中,容量预测的设备还可包括通信接口803和总线810。其中,如图8所示,处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。
通信接口803,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线810包括硬件、软件或两者,将容量预测的设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线810可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该容量预测的设备可以执行本申请实施例中的容量预测的方法,从而实现结合图4描述的容量预测的方法。
另外,结合上述实施例中的容量预测的训练方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种容量预测模型的训练方法。
另外,结合上述实施例中的容量预测的方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种容量预测的方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (13)
1.一种容量预测模型的训练方法,其特征在于,包括:
获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;
将所述文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;
根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
2.根据权利要求1所述的方法,其特征在于,所述将文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重,包括:
将所述文本信息样本输入预设扩缩容分类模型,得到扩缩容分类结果;
根据所述扩缩容分类结果和预设条件,计算得到预设时间段对应的第一注意力权重。
3.根据权利要求1所述的方法,其特征在于,根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型,包括:
根据预设的组网架构,聚合所述业务数据样本、容量数据样本和文本信息样本,得到第一数据样本;
提取所述第一数据样本中满足预设容量条件的容量特征信息;
利用所述第一数据样本、容量特征信息和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
4.根据权利要求1所述的方法,其特征在于,所述根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型,包括:
利用预设的逆向算法,将输入的所述第一注意力权重添加至待训练的容量预测模型的第二注意力权重中,以形成第三注意力权重;
基于所述业务数据样本、容量数据样本和第三注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
5.根据权利要求1任意一项所述的方法,其特征在于,在所述根据业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型之前,还包括:
对所述业务数据样本、容量数据样本进行数据关联、数据去重、数据补齐、数据归一化中的至少一种预处理操作。
6.根据权利要求3所述的方法,其特征在于,所述第一数据样本包括多个业务时间序列、第一容量时间序列、和第二容量时间序列。
7.根据权利要求1所述的方法,其特征在于,所述文本信息样本包括业务计划的文本信息和业务扩缩容的时间信息。
8.一种容量预测的方法,其特征在于,所述方法包括:
获取待预测的业务数据和容量数据;
将所述业务数据和容量数据输入利用根据权利要求1至7任意一项所述的方法训练得到的所述目标容量预测模型中,得到对应的容量预测结果。
9.一种容量预测模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取业务数据样本、容量数据样本、业务及容量描述的文本信息样本;
确定模块,用于将所述文本信息样本输入预设扩缩容分类模型,确定所述文本信息样本对应的第一注意力权重;
训练模块,用于根据所述业务数据样本、容量数据样本和第一注意力权重,对待训练的容量预测模型进行迭代训练,得到目标容量预测模型。
10.一种容量预测的装置,其特征在于,所述装置包括:
获取模块,用于获取待预测的业务数据和容量数据;
预测模块,用于将所述业务数据和容量数据输入利用根据权利要求1至7任意一项所述的方法训练得到的所述目标容量预测模型中,得到对应的容量预测结果。
11.一种容量预测模型的训练设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1至7任意一项所述的容量预测模型的训练方法。
12.一种容量预测的设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求8所述的容量预测的方法。
13.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至7任意一项所述的容量预测模型的训练方法,和/或,如权利要求8所述的容量预测的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870600.9A CN114116417A (zh) | 2020-08-26 | 2020-08-26 | 容量预测模型的训练方法、容量预测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010870600.9A CN114116417A (zh) | 2020-08-26 | 2020-08-26 | 容量预测模型的训练方法、容量预测方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114116417A true CN114116417A (zh) | 2022-03-01 |
Family
ID=80373935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010870600.9A Pending CN114116417A (zh) | 2020-08-26 | 2020-08-26 | 容量预测模型的训练方法、容量预测方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114116417A (zh) |
-
2020
- 2020-08-26 CN CN202010870600.9A patent/CN114116417A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178456B (zh) | 异常指标检测方法、装置、计算机设备和存储介质 | |
US20200302540A1 (en) | Applying a trained model to predict a future value using contextualized sentiment data | |
CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
CN112560829B (zh) | 人群数量确定方法、装置、设备及存储介质 | |
Stamatescu et al. | Data‐Driven Modelling of Smart Building Ventilation Subsystem | |
CN111368980A (zh) | 状态检测方法、装置、设备及存储介质 | |
WO2019172848A1 (en) | Method and apparatus for predicting occurrence of an event to facilitate asset maintenance | |
CN112118551A (zh) | 设备风险识别方法及相关设备 | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
CN109902859B (zh) | 基于大数据和机器学习算法的排队高峰时段预估方法 | |
CN115941322A (zh) | 基于人工智能的攻击检测方法、装置、设备及存储介质 | |
CN114819289A (zh) | 预测方法、训练方法、装置、电子设备及存储介质 | |
CN115565038A (zh) | 内容审核、内容审核模型的训练方法及相关装置 | |
CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
CN106897743B (zh) | 基于贝叶斯模型的移动考勤防作弊大数据检测方法 | |
CN117113159A (zh) | 基于深度学习的电力用户侧负荷分类方法及系统 | |
CN111210332A (zh) | 贷后管理策略生成方法、装置及电子设备 | |
CN117234844A (zh) | 云服务器异常管理方法、装置、计算机设备及存储介质 | |
CN110770753B (zh) | 高维数据实时分析的装置和方法 | |
CN116843395A (zh) | 一种业务系统的告警分级方法、装置、设备及存储介质 | |
CN116432524A (zh) | 一种变压器油温预测方法、装置、设备及存储介质 | |
CN114116417A (zh) | 容量预测模型的训练方法、容量预测方法、装置及设备 | |
JP2022037107A (ja) | 障害分析装置、障害分析方法および障害分析プログラム | |
CN114915563A (zh) | 一种网络流量预测方法和系统 | |
CN111475319A (zh) | 一种基于机器学习的硬盘筛选方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |