CN117573361A - 工作负载生成的方法及装置、电子设备和存储介质 - Google Patents
工作负载生成的方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117573361A CN117573361A CN202311605831.7A CN202311605831A CN117573361A CN 117573361 A CN117573361 A CN 117573361A CN 202311605831 A CN202311605831 A CN 202311605831A CN 117573361 A CN117573361 A CN 117573361A
- Authority
- CN
- China
- Prior art keywords
- load
- vector
- training
- preset
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 260
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000007781 pre-processing Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 204
- 230000004083 survival effect Effects 0.000 claims description 28
- 238000012795 verification Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供的工作负载生成的方法及装置、电子设备和存储介质,将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量;将第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将输入向量输入至预设批次模型,得到时间段信息对应的负载数量;将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据;基于负载数量,将负载输入数据输入至预设预测模型,生成数量与负载数量一致的工作负载。与相关技术相比,本公开实施例通过预设批次模型以及预设预测模型生成和预测的批次大小(负载数量)较符合真实的场景,且对长时间工作负载序列的预测与生成效果较好,精度较高。
Description
技术领域
本公开涉及云计算数据技术领域,尤其涉及一种工作负载生成的方法及装置、电子设备和存储介质。
背景技术
工作负载可以认为是云计算环境下的虚拟机或是容器,每个工作负载有以下三个基本属性:工作负载请求到达时间,指的是用户发起工作负载创建的时间;工作负载的规格,用于描述工作负载的资源属性,如虚拟中央处理器(virtual Central ProcessingUnit,VCPU)数量、内存大小;工作负载存活时间,指的工作负载从创建到消亡的时间。
现有技术中的工作负载生成方法,通常使用回归模型对工作负载请求到达时间内的到达批次大小进行建模,并基于循环神经网络(Recurrent Neural Networks,RNN)模型预测工作负载的规格和存活时间,导致生成和预测的批次大小与真实的场景存在误差,且对长时间工作负载序列的预测与生成效果较差,精度较低。
发明内容
本公开提供了一种工作负载生成的方法及装置、电子设备和存储介质。其主要目的在于解决现有技术中的工作负载生成方法,通常使用回归模型对工作负载请求到达时间内的到达批次大小进行建模,并基于循环神经网络(Recurrent Neural Networks,RNN)模型预测工作负载的规格和存活时间,导致生成和预测的批次大小与真实的场景存在误差,且对长时间工作负载序列的预测与生成效果较差,精度较低的问题。
根据本公开的第一方面,提供了一种工作负载生成的方法,其中,包括:
将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;
将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;
将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;
基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
可选的,所述将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量包括:
对所述时间信息按照预设时间段进行归一化处理,得到对应的时间编码;
根据所述第一向量维度对所述时间编码进行转化,得到所述第一向量维度的所述第一时间向量。
可选的,所述基于所述负载数量,将预设数量的历史负载数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载包括:
将所述负载输入数据输入至所述预设预测模型,生成对应的第一工作负载;
将所述负载输入数据中,生成时间最早的一个历史负载数据对应的负载输入数据进行删除,得到删除后的负载输入数据;
将所述删除后的负载输入数据与所述第一工作负载进行合并处理,得到更新负载数据;
将所述更新负载数据输入至所述预设预测模型,生成对应的第二工作负载,直至生成数量与所述负载数量一致的工作负载。
可选的,所述将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据包括:
获取所述时间段信息之前的连续相邻时间段内,生成的连续工作负载,得到所述历史负载数据,所述历史负载数据至少包含负载规格以及负载存活时间;
将所述负载规格通过预设编码方式进行编码,以及将所述负载存活时间进行去均值与方差归一化处理,得到所述负载输入数据。
可选的,所述预设批次模型的训练方法包括:
获取第二预设数量的训练用负载数据,所述训练用负载数据至少包含负载创建时间段以及对应的训练用负载数量,所述负载创建时间段的时长与所述时间段信息内的时间段时长相同;
将所述负载创建时间段通过线性层进行嵌入处理,得到对应的第三向量维度的第二时间向量,并将所述第二时间向量与第四向量维度的训练用随机向量进行合并处理,得到第一训练用输入向量,所述训练用随机向量为随机生成的任一向量;
将所述第一训练用输入向量输入至预设生成器模型中,得到所述负载创建时间段对应的新生成负载数量,并将所述第二时间向量与所述新生成负载数量进行向量化处理,得到第二训练用输入向量;
将所述第二时间向量与所述训练用负载数量进行向量化处理,得到对比用输入向量,并将所述对比用输入向量以及所述第二训练用输入向量输入至预设判别器模型中,得到所述新生成负载数量与所述训练用负载数量之间的差异值;
直至所述差异值小于等于预设差异阈值,得到训练好的生成器模型以及训练好的判别器模型,并将所述训练好的生成器模型作为训练好的预设批次模型。
可选的,所述预设预测模型的训练方法包括:
获取第三预设数量的连续相邻时间段内生成的连续工作负载,得到历史负载数据集;
将所述历史负载数据集通过预设切分方法进行切分,得到对应的训练用历史负载数据以及验证用历史负载数据,所述训练用历史负载数据至少包含训练用负载规格以及训练用负载存活时间;
将所述训练用负载规格通过预设编码方式进行编码,以及将所述训练用负载存活时间进行去均值与方差归一化处理,得到训练用负载输入数据;
将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载;
将所述训练用工作负载与所述验证用历史负载数据进行对比,得到负载重复率,直至所述负载重复率大于等于预设概率阈值,得到训练好的预设预测模型。
可选的,所述将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载包括:
将所述训练用负载输入数据输入至所述预设预测模型,生成对应的训练用第一工作负载;
将所述训练用负载输入数据中,生成时间最早的一个训练用历史负载数据对应的训练用负载输入数据进行删除,得到删除后的训练用负载输入数据;
将所述删除后的训练用负载输入数据与所述训练用第一工作负载进行合并处理,得到训练用更新负载数据;
将所述训练用更新负载数据输入至所述预设预测模型,生成对应的训练用第二工作负载,直至生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
根据本公开的第二方面,提供了一种工作负载生成的装置,包括:
第一处理单元,用于将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;
合并单元,用于将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量;
第一输入单元,用于将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;
第二处理单元,用于将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;
第二输入单元,用于基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
可选的,所述第一处理单元包括:
处理模块,用于对所述时间信息按照预设时间段进行归一化处理,得到对应的时间编码;
转化模块,用于根据所述第一向量维度对所述时间编码进行转化,得到所述第一向量维度的所述第一时间向量。
可选的,所述第二输入单元包括:
输入模块,用于将所述负载输入数据输入至所述预设预测模型,生成对应的第一工作负载;
删除模块,用于将所述负载输入数据中,生成时间最早的一个历史负载数据对应的负载输入数据进行删除,得到删除后的负载输入数据;
合并模块,用于将所述删除后的负载输入数据与所述第一工作负载进行合并处理,得到更新负载数据;
生成模块,用于将所述更新负载数据输入至所述预设预测模型,生成对应的第二工作负载,直至生成数量与所述负载数量一致的工作负载。
可选的,所述第二处理单元包括:
获取模块,用于获取所述时间段信息之前的连续相邻时间段内,生成的连续工作负载,得到所述历史负载数据,所述历史负载数据至少包含负载规格以及负载存活时间;
处理模块,用于将所述负载规格通过预设编码方式进行编码,以及将所述负载存活时间进行去均值与方差归一化处理,得到所述负载输入数据。
可选的,所述装置还包括:
第一获取单元,用于获取第二预设数量的训练用负载数据,所述训练用负载数据至少包含负载创建时间段以及对应的训练用负载数量,所述负载创建时间段的时长与所述时间段信息内的时间段时长相同;
第三处理单元,用于将所述负载创建时间段通过线性层进行嵌入处理,得到对应的第三向量维度的第二时间向量,并将所述第二时间向量与第四向量维度的训练用随机向量进行合并处理,得到第一训练用输入向量,所述训练用随机向量为随机生成的任一向量;
第三输入单元,用于将所述第一训练用输入向量输入至预设生成器模型中,得到所述负载创建时间段对应的新生成负载数量;
所述第三处理单元还用于,将所述第二时间向量与所述新生成负载数量进行向量化处理,得到第二训练用输入向量;
所述第三处理单元还用于,将所述第二时间向量与所述训练用负载数量进行向量化处理,得到对比用输入向量;
所述第三输入单元还用于,将所述对比用输入向量以及所述第二训练用输入向量输入至预设判别器模型中,得到所述新生成负载数量与所述训练用负载数量之间的差异值;
训练单元,用于直至所述差异值小于等于预设差异阈值,得到训练好的生成器模型以及训练好的判别器模型,并将所述训练好的生成器模型作为训练好的预设批次模型。
可选的,所述装置还包括:
第二获取单元,用于获取第三预设数量的连续相邻时间段内生成的连续工作负载,得到历史负载数据集;
切分单元,用于将所述历史负载数据集通过预设切分方法进行切分,得到对应的训练用历史负载数据以及验证用历史负载数据,所述训练用历史负载数据至少包含训练用负载规格以及训练用负载存活时间;
第四输入单元,用于将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载;
对比单元,用于将所述训练用工作负载与所述验证用历史负载数据进行对比,得到负载重复率,直至所述负载重复率大于等于预设概率阈值,得到训练好的预设预测模型。
可选的,所述第四输入单元包括:
输入模块,用于将所述训练用负载输入数据输入至所述预设预测模型,生成对应的训练用第一工作负载;
删除模块,用于将所述训练用负载输入数据中,生成时间最早的一个训练用历史负载数据对应的训练用负载输入数据进行删除,得到删除后的训练用负载输入数据;
合并模块,用于将所述删除后的训练用负载输入数据与所述训练用第一工作负载进行合并处理,得到训练用更新负载数据;
生成模块,用于将所述训练用更新负载数据输入至所述预设预测模型,生成对应的训练用第二工作负载,直至生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。
本公开提供的工作负载生成的方法及装置、电子设备和存储介质,将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。与相关技术相比,本公开实施例中的预设批次模型可以拟合任意的真实分布,预设预测模型能够较好的学习工作负载序列的时序属性,通过预设批次模型以及预设预测模型生成和预测的批次大小(负载数量)较符合真实的场景,且对长时间工作负载序列的预测与生成效果较好,精度较高。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例所提供的一种工作负载生成的方法的流程示意图;
图2为本公开实施例所提供的另一种工作负载生成的方法的流程示意图;
图3为本公开实施例所提供的一种预设批次模型的训练方法的流程示意图;
图4为本公开实施例所提供的一种预设预测模型的训练方法的流程示意图;
图5为本公开实施例所提供的一种工作负载生成的装置的结构示意图;
图6为本公开实施例所提供的另一种工作负载生成的装置的结构示意图;
图7为本公开实施例所提供的一种电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的工作负载生成的方法、装置、电子设备和存储介质。
图1为本公开实施例所提供的一种工作负载生成的方法的流程示意图。
如图1所示,该方法包含以下步骤:
步骤101,将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定。
在本公开实施例中,所述第一预设处理规则为自定义设置的一种处理规则,例如:对所述时间信息进行编码、对所述时间信息进行向量化处理等,具体的,关于所述第一预设处理规则的设置,本公开实施例不进行限制。
其中,所述第一向量维度表示第一时间向量为几维向量,一般用数字表示,例如:所述第一向量维度为4,则所述第一时间向量便是一个4维的向量。所述时间信息为生成工作负载的时间,例如:2022年10月18日9时6分、2022年10月18日9时11分等,所述第一时间向量通过对所述时间信息的预处理得到,所述第一时间向量的维度可以根据实际情况确定,例如:当所述第一时间向量为4维向量时,可以记作[10,18,9,1]、[10,18,9,2]等。
步骤102,将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量。
在本公开实施例中,所述第二向量维度表示随机向量为几维向量,一般用数字表示,例如:所述第二向量维度为20,则所述随机向量便是一个20维的向量。所述第一时间向量与所述随机向量的合并方式是自定义选择的,例如:按行合并等,由于所述输入向量由所述第一时间向量与所述随机向量合并得到,因此所述输入向量的维度由所述第一时间向量与所述随机向量确定,例如:所述第一时间向量为4维向量,所述随机向量为20维向量,则所述输入向量便为24维向量。
其中,所述负载数量代表在一定时间段内工作负载的生成数量,例如:所述时间段信息为5分钟,所述负载数量为10,则表示在5分钟内,需要生成10个工作负载。所述预设批次模型需通过训练得到,关于所述预设批次模型的类型,包含但不限于:以时间为条件的一个生成对抗网络(Generative Adversarial Nets,GAN)模型等。
步骤103,将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载。
在本公开实施例中,所述第一预设数量为自定义设置的数量,例如:64、128、256等,所述第二预设处理规则为自定义设置的一种处理规则,例如:对所述历史负载数据进行编码、对所述历史负载数据进行计算处理等,具体的,关于所述第一预设数量的大小,以及所述第二预设处理规则的内容,本公开实施例不进行限制。
在本公开实施例中,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载,例如:所述时间段信息为10月18日9时6分开始5分钟内的工作负载,则所述历史负载数据为10月18日9时6分之前的时间里,连续相邻时间段内生成的连续工作负载,其中,所述连续相邻时间段的大小没有限制,可以是5分钟,也可以是10分钟。
步骤104,基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
在本公开实施例中,所述预设预测模型需通过训练得到,关于所述预设预测模型的类型,包括但不限于:Transformer模型。具体的,关于所述预设预测模型的类型,本公开实施例不进行限制。
此处需要说明的是,若是使用标准的Transformer模型,则需要结合场景对所述Transformer模型做一些网络架构调整,例如:在位置编码处,除了相对位置的编码,同时增加时间的位置编码,以增强Transformer模型的时空特性;Transformer模型里面的Encoder(编码器)和Decoder(解码器)均只有叠加了一层,均是由一个8头注意力机制所组成。具体的,本公开实施例不进行限制。
本公开提供的工作负载生成的方法,将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。与相关技术相比,本公开实施例中的预设批次模型可以拟合任意的真实分布,预设预测模型能够较好的学习工作负载序列的时序属性,通过预设批次模型以及预设预测模型生成和预测的批次大小(负载数量)较符合真实的场景,且对长时间工作负载序列的预测与生成效果较好,精度较高。
在本公开实施例的一种可实现方式中,作为上述步骤101的细化,将获取的时间信息通过第一预设预处理规则进行预处理时,可以采用但不局限于以下方式实现:对所述时间信息按照预设时间段进行归一化处理,得到对应的时间编码;根据所述第一向量维度对所述时间编码进行转化,得到所述第一向量维度的所述第一时间向量。
在本公开实施例中,所述预设时间段为自定义选择的一个时间段,例如:5分钟、10分钟等,所述时间编码为根据所述预设时间段对所述时间信息进行编码,例如:所述预设时间段为5分钟,则将一个小时按5分钟一段进行划分,并对划分后的时间段进行编码。
为了理解本公开实施例的实现过程,提供里一种示例进行说明:若所述时间信息为10月18日9时6分,所述预设时间段为5分钟,而将10月18日9时0分到10月18日9时5分时间段编码为0……将10月18日9时55分到10月18日10时0分时间段编码为11,此时对应的第一时间向量为[10,18,9,0]……[10,18,9,11],则所述时间信息对应的第一时间向量为[10,18,9,1]。
在本公开实施例的一种可实现方式中,作为上述步骤104的细化,本公开实施例提供了另一种工作负载生成的方法的流程示意图,如图2所示,包括:
步骤201,将所述负载输入数据输入至所述预设预测模型,生成对应的第一工作负载。
在本公开实施例中,所述第一工作负载为根据所述负载输入数据预测的一个工作负载,所述第一工作负载与所述负载输入数据对应的历史负载数据是连续的,即所述第一工作负载为所述历史负载数据的下一个工作负载。
步骤202,将所述负载输入数据中,生成时间最早的一个历史负载数据对应的负载输入数据进行删除,得到删除后的负载输入数据。
在本公开实施例中,删除的是离所述时间信息最远的时间对应的历史负载数据,例如:所述时间信息为10月18日9时6分,所述历史负载数据为10月18日1时6分到10月18日9时6分内的连续工作负载,则此时需要删除10月18日1时6分时的历史负载数据。
步骤203,将所述删除后的负载输入数据与所述第一工作负载进行合并处理,得到更新负载数据。
在本公开实施例中,所述删除后的负载输入数据与所述第一工作负载在合并处理时,需将所述第一工作负载通过第二预设处理规则进行预处理之后,再与所述删除后的负载输入数据进行合并,可以理解为:将所述负载输入数据中最早一个删除,再将所述第一工作负转换的数据放置在最后一个,保持所述负载输入数据的数量不变。
步骤204,将所述更新负载数据输入至所述预设预测模型,生成对应的第二工作负载,直至生成数量与所述负载数量一致的工作负载。
在本公开实施例中,所述预设预测模型以历史的负载输入数据序列作为输入,预设预测模型将输出下一个工作负载的规格和存活时间,接着新生成的负载输入数据用于更新输入,输入预设预测模型,预设预测模型继续输出下下个工作负载,依次输出,生成整个批次的工作负载。
在本公开实施例的一种可实现方式中,作为上述步骤103的细化,在进行历史负载数据的预处理时,可以采用但不局限于以下方式实现:获取所述时间段信息之前的连续相邻时间段内,生成的连续工作负载,得到所述历史负载数据,所述历史负载数据至少包含负载规格以及负载存活时间;将所述负载规格通过预设编码方式进行编码,以及将所述负载存活时间进行去均值与方差归一化处理,得到所述负载输入数据。
在本公开实施例中,所述预设编码方式为自定义选择的一种编码方式,例如:正弦曲线函数的位置编码、独热编码等,对所述预设预测模型输入的负载输入数据为[规格,存活时间],输出的也是[规格,存活时间],得到对应的工作负载,在进行历史负载数据的预处理时,一般将规格做独热编码(one-hot编码),一般的云计算系统的工作负载规格种类是有限数量的,代表不同的资源组合,同时对于存活时间做去均值与方差归一化(StandardScaler)处理,其中,关于去均值与方差归一化(StandardScaler)处理,可以通过公式(1)实现:
z=(x-u)/s 公式(1)
其中,x为样本值,u是样本均值,s是样本方差。
在本公开实施例的一种可实现方式中,所述预设批次模型需通过训练得到,因此,为了得到训练好的预设批次模型,本公开实施例提供了一种预设批次模型的训练方法的流程示意图,如图3所示,包括:
步骤301,获取第二预设数量的训练用负载数据,所述训练用负载数据至少包含负载创建时间段以及对应的训练用负载数量,所述负载创建时间段的时长与所述时间段信息内的时间段时长相同。
在本公开实施例中,所述第二预设数量为自定义设置的数量,所述第二预设数量越大,对所述预设批次模型的训练效果越好,其中,所述训练用负载数据即为历史的工作负载数据,每条训练用负载数据包含但不限于以下信息:创建时间段、负载规格、存活时间,训练用负载数据的创建时间段一般与所述时间段信息相同,在实际应用中也可以不同。
步骤302,将所述负载创建时间段通过线性层进行嵌入处理,得到对应的第三向量维度的第二时间向量,并将所述第二时间向量与第四向量维度的训练用随机向量进行合并处理,得到第一训练用输入向量,所述训练用随机向量为随机生成的任一向量。
在本公开实施例中,所述第三向量维度表示第二时间向量为几维向量,一般用数字表示,例如:所述第三向量维度为24,则所述第二时间向量便是一个24维的向量,同理,所述第四向量维度表示训练用随机向量为几维向量,一般用数字表示,例如:所述第四向量维度为20,则所述训练用随机向量便是一个20维的向量.
所述第二时间向量与所述训练用随机向量的合并方式是自定义选择的,例如:按行合并等,由于所述训练用输入向量由所述第二时间向量与所述训练用随机向量合并得到,因此所述训练用输入向量的维度由所述第二时间向量与所述训练用随机向量确定,例如:所述第二时间向量为24维向量,所述训练用随机向量为20维向量,则所述输入向量便为44维向量。
步骤303,将所述第一训练用输入向量输入至预设生成器模型中,得到所述负载创建时间段对应的新生成负载数量,并将所述第二时间向量与所述新生成负载数量进行向量化处理,得到第二训练用输入向量。
在本公开实施例中,所述训练用负载数据作为真样本,生成器模型生成的新生成负载数量作为假样本,假样本的生成使用真样本的时间作为条件输入,其中,新生成负载数量为一个数字,因此,第二时间向量与新生成负载数量的向量化处理,便是在第二时间向量的基础上加上数字向量,第二训练用输入向量的维度是在所述第二时间向量的维度基础上加1,例如:所述第二时间向量的维度为24维向量,则第二训练用输入向量为25维向量。所述第二训练用输入向量便为一个假样本。
步骤304,将所述第二时间向量与所述训练用负载数量进行向量化处理,得到对比用输入向量,并将所述对比用输入向量以及所述第二训练用输入向量输入至预设判别器模型中,得到所述新生成负载数量与所述训练用负载数量之间的差异值。
在本公开实施例中,所述训练用负载数量为所述训练用负载数据中包含的实际负载数量,其中,对比用输入向量为真样本组成的用于比对的数据,所述判别器模型就是一个二分类的模型,用于判别和区分真样本和假样本。
所述差异值为真样本和假样本之间的差别概率值,例如:0.001,0.0001等。
步骤305,直至所述差异值小于等于预设差异阈值,得到训练好的生成器模型以及训练好的判别器模型,并将所述训练好的生成器模型作为训练好的预设批次模型。
在本公开实施例中,所述预设差异阈值为自定义设置的一个阈值,例如:0.00001等,当所述差异值小于等于预设差异阈值时,便可确定模型收敛,得到训练好的预设批次模型,即循环步骤302-步骤304,直到模型训练收敛,训练完成后只需要保留生成器模型,作为训练好的预设批次模型。
在本公开实施例的一种可实现方式中,所述预设预测模型需通过训练得到,因此,为了得到训练好的预设预测模型,本公开实施例提供了一种预设预测模型的训练方法的流程示意图,如图4所示,包括:
步骤401,获取第三预设数量的连续相邻时间段内生成的连续工作负载,得到历史负载数据集。
在本公开实施例中,所述第三预设数量为自定义设置的数量,所述第二预设数量越大,对所述预设预测模型的训练效果越好,所述历史负载数据集为连续相邻时间段内生成的连续工作负载构成的集合。
步骤402,将所述历史负载数据集通过预设切分方法进行切分,得到对应的训练用历史负载数据以及验证用历史负载数据,所述训练用历史负载数据至少包含训练用负载规格以及训练用负载存活时间;
在本公开实施例中,所述预设切分方法为自定义设置的一种切分方法,例如:通过选定一个标记时间进行切分,即确定一个工作负载对应的创建时间作为标记时间,通过该创建时间进行切分,该创建时间之前的连续相邻时间段内生成的连续工作负载,作为训练用历史负载数据,该创建时间包括创建时间之后的连续相邻时间段内生成的连续工作负载,作为验证用历史负载数据。
此处需要说明的是,在确定了所述标记时间之后,训练用历史负载数据必须为所述标记时间之前的连续相邻时间段内生成的连续工作负载,验证用历史负载数据必须为所述标记时间包括所述标记时间之后的连续相邻时间段内生成的连续工作负载,不可更换顺序。
步骤403,将所述训练用负载规格通过预设编码方式进行编码,以及将所述训练用负载存活时间进行去均值与方差归一化处理,得到训练用负载输入数据。
在本公开实施例中,所述预设编码方式为自定义选择的一种编码方式,例如:正弦曲线函数的位置编码、独热编码等,一般将规格做独热编码(one-hot编码),同时对于存活时间做去均值与方差归一化(StandardScaler)处理,其中,关于去均值与方差归一化(StandardScaler)处理,可以通过公式(2)实现:
z=(x-u)/s 公式(2)
其中,x为样本值,u是样本均值,s是样本方差。
步骤404,将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
在本公开实施例中,由于需要通过所述验证用历史负载数据对所述预设预测模型输出的数据进行验证,因此需要生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
步骤405,将所述训练用工作负载与所述验证用历史负载数据进行对比,得到负载重复率,直至所述负载重复率大于等于预设概率阈值,得到训练好的预设预测模型。
在本公开实施例中,所述重复率为所述训练用工作负载与所述验证用历史负载数据中,每个工作负载的重复概率,例如:95%、97%等,所述预设概率阈值为自定义设置的一个概率值,例如:99.9%等,具体的,关于所述预设概率阈值,本公开实施例不进行限制。
在本公开实施例的一种可实现方式中,所述将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载包括:
将所述训练用负载输入数据输入至所述预设预测模型,生成对应的训练用第一工作负载;
将所述训练用负载输入数据中,生成时间最早的一个训练用历史负载数据对应的训练用负载输入数据进行删除,得到删除后的训练用负载输入数据;
将所述删除后的训练用负载输入数据与所述训练用第一工作负载进行合并处理,得到训练用更新负载数据;
将所述训练用更新负载数据输入至所述预设预测模型,生成对应的训练用第二工作负载,直至生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
具体的,关于本实施例的实现过程,可以参阅上述步骤201-204的说明,故在此不再一一赘述。
综上所述,本公开实施例能实现以下效果:
1.本公开实施例中的预设批次模型可以拟合任意的真实分布,预设预测模型能够较好的学习工作负载序列的时序属性,通过预设批次模型以及预设预测模型生成和预测的批次大小(负载数量)较符合真实的场景,且对长时间工作负载序列的预测与生成效果较好,精度较高。
2.本公开实施例通过提出使用基于GAN模型技术的预设批次模型,来预测和生成工作负载的负载数量,可以拟合任意的真实分布,更能生成符合真实场景的工作负载数据。
3.本公开实施例通过对于资源和存活时间预测与生成,基于Tansformer模型的架构的预设预测模型,能够更好的学习工作负载序列的时序属性,提升工作负载序列的预测和生成精度。
与上述的工作负载生成的方法相对应,本发明还提出一种工作负载生成的装置。由于本发明的装置实施例与上述的方法实施例相对应,对于装置实施例中未披露的细节可参照上述的方法实施例,本发明中不再进行赘述。
图5为本公开实施例提供的一种工作负载生成的装置的结构示意图,如图5所示,包括:
第一处理单元501,用于将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;
合并单元502,用于将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量;
第一输入单元503,用于将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;
第二处理单元504,用于将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;
第二输入单元505,用于基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
本公开提供的工作负载生成的装置,将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。与相关技术相比,本公开实施例中的预设批次模型可以拟合任意的真实分布,预设预测模型能够较好的学习工作负载序列的时序属性,通过预设批次模型以及预设预测模型生成和预测的批次大小(负载数量)较符合真实的场景,且对长时间工作负载序列的预测与生成效果较好,精度较高。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述第一处理单元501包括:
处理模块5011,用于对所述时间信息按照预设时间段进行归一化处理,得到对应的时间编码;
转化模块5012,用于根据所述第一向量维度对所述时间编码进行转化,得到所述第一向量维度的所述第一时间向量。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述第二输入单元505包括:
输入模块5051,用于将所述负载输入数据输入至所述预设预测模型,生成对应的第一工作负载;
删除模块5052,用于将所述负载输入数据中,生成时间最早的一个历史负载数据对应的负载输入数据进行删除,得到删除后的负载输入数据;
合并模块5053,用于将所述删除后的负载输入数据与所述第一工作负载进行合并处理,得到更新负载数据;
生成模块5054,用于将所述更新负载数据输入至所述预设预测模型,生成对应的第二工作负载,直至生成数量与所述负载数量一致的工作负载。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述第二处理单元504包括:
获取模块5041,用于获取所述时间段信息之前的连续相邻时间段内,生成的连续工作负载,得到所述历史负载数据,所述历史负载数据至少包含负载规格以及负载存活时间;
处理模块5042,用于将所述负载规格通过预设编码方式进行编码,以及将所述负载存活时间进行去均值与方差归一化处理,得到所述负载输入数据。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述装置还包括:
第一获取单元506,用于获取第二预设数量的训练用负载数据,所述训练用负载数据至少包含负载创建时间段以及对应的训练用负载数量,所述负载创建时间段的时长与所述时间段信息内的时间段时长相同;
第三处理单元507,用于将所述负载创建时间段通过线性层进行嵌入处理,得到对应的第三向量维度的第二时间向量,并将所述第二时间向量与第四向量维度的训练用随机向量进行合并处理,得到第一训练用输入向量,所述训练用随机向量为随机生成的任一向量;
第三输入单元508,用于将所述第一训练用输入向量输入至预设生成器模型中,得到所述负载创建时间段对应的新生成负载数量;
所述第三处理单元507还用于,将所述第二时间向量与所述新生成负载数量进行向量化处理,得到第二训练用输入向量;
所述第三处理单元507还用于,将所述第二时间向量与所述训练用负载数量进行向量化处理,得到对比用输入向量;
所述第三输入单元508还用于,将所述对比用输入向量以及所述第二训练用输入向量输入至预设判别器模型中,得到所述新生成负载数量与所述训练用负载数量之间的差异值;
训练单元509,用于直至所述差异值小于等于预设差异阈值,得到训练好的生成器模型以及训练好的判别器模型,并将所述训练好的生成器模型作为训练好的预设批次模型。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述装置还包括:
第二获取单元510,用于获取第三预设数量的连续相邻时间段内生成的连续工作负载,得到历史负载数据集;
切分单元511,用于将所述历史负载数据集通过预设切分方法进行切分,得到对应的训练用历史负载数据以及验证用历史负载数据,所述训练用历史负载数据至少包含训练用负载规格以及训练用负载存活时间;
第四输入单元512,用于将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载;
对比单元513,用于将所述训练用工作负载与所述验证用历史负载数据进行对比,得到负载重复率,直至所述负载重复率大于等于预设概率阈值,得到训练好的预设预测模型。
进一步地,在本公开实施例一种可能的实现方式中,如图6所示,所述第四输入单元512包括:
输入模块5121,用于将所述训练用负载输入数据输入至所述预设预测模型,生成对应的训练用第一工作负载;
删除模块5122,用于将所述训练用负载输入数据中,生成时间最早的一个训练用历史负载数据对应的训练用负载输入数据进行删除,得到删除后的训练用负载输入数据;
合并模块5123,用于将所述删除后的训练用负载输入数据与所述训练用第一工作负载进行合并处理,得到训练用更新负载数据;
生成模块5124,用于将所述训练用更新负载数据输入至所述预设预测模型,生成对应的训练用第二工作负载,直至生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
需要说明的是,前述对方法实施例的解释说明,也适用于本公开实施例的装置,原理相同,本公开实施例中不再限定。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)702中的计算机程序或者从存储单元708加载到RAM(Random AccessMemory,随机访问/存取存储器)703中的计算机程序,来执行各种适当的动作和处理。在RAM703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。I/O(Input/Output,输入/输出)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(DigitalSignal Processor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如工作负载生成的方法。例如,在一些实施例中,工作负载生成的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行前述工作负载生成的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Appl ication SpecificStandard Product,专用标准产品)、SOC(System On Chip,芯片上系统的系统)、CPLD(Complex Programmable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Di sc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种工作负载生成的方法,其特征在于,包括:
将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;
将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量,并将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;
将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;
基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
2.根据权利要求1所述的方法,其特征在于,所述将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量包括:
对所述时间信息按照预设时间段进行归一化处理,得到对应的时间编码;
根据所述第一向量维度对所述时间编码进行转化,得到所述第一向量维度的所述第一时间向量。
3.根据权利要求1所述的方法,其特征在于,所述基于所述负载数量,将预设数量的历史负载数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载包括:
将所述负载输入数据输入至所述预设预测模型,生成对应的第一工作负载;
将所述负载输入数据中,生成时间最早的一个历史负载数据对应的负载输入数据进行删除,得到删除后的负载输入数据;
将所述删除后的负载输入数据与所述第一工作负载进行合并处理,得到更新负载数据;
将所述更新负载数据输入至所述预设预测模型,生成对应的第二工作负载,直至生成数量与所述负载数量一致的工作负载。
4.根据权利要求1所述的方法,其特征在于,所述将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据包括:
获取所述时间段信息之前的连续相邻时间段内,生成的连续工作负载,得到所述历史负载数据,所述历史负载数据至少包含负载规格以及负载存活时间;
将所述负载规格通过预设编码方式进行编码,以及将所述负载存活时间进行去均值与方差归一化处理,得到所述负载输入数据。
5.根据权利要求1所述的方法,其特征在于,所述预设批次模型的训练方法包括:
获取第二预设数量的训练用负载数据,所述训练用负载数据至少包含负载创建时间段以及对应的训练用负载数量,所述负载创建时间段的时长与所述时间段信息内的时间段时长相同;
将所述负载创建时间段通过线性层进行嵌入处理,得到对应的第三向量维度的第二时间向量,并将所述第二时间向量与第四向量维度的训练用随机向量进行合并处理,得到第一训练用输入向量,所述训练用随机向量为随机生成的任一向量;
将所述第一训练用输入向量输入至预设生成器模型中,得到所述负载创建时间段对应的新生成负载数量,并将所述第二时间向量与所述新生成负载数量进行向量化处理,得到第二训练用输入向量;
将所述第二时间向量与所述训练用负载数量进行向量化处理,得到对比用输入向量,并将所述对比用输入向量以及所述第二训练用输入向量输入至预设判别器模型中,得到所述新生成负载数量与所述训练用负载数量之间的差异值;
直至所述差异值小于等于预设差异阈值,得到训练好的生成器模型以及训练好的判别器模型,并将所述训练好的生成器模型作为训练好的预设批次模型。
6.根据权利要求1所述的方法,其特征在于,所述预设预测模型的训练方法包括:
获取第三预设数量的连续相邻时间段内生成的连续工作负载,得到历史负载数据集;
将所述历史负载数据集通过预设切分方法进行切分,得到对应的训练用历史负载数据以及验证用历史负载数据,所述训练用历史负载数据至少包含训练用负载规格以及训练用负载存活时间;
将所述训练用负载规格通过预设编码方式进行编码,以及将所述训练用负载存活时间进行去均值与方差归一化处理,得到训练用负载输入数据;
将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载;
将所述训练用工作负载与所述验证用历史负载数据进行对比,得到负载重复率,直至所述负载重复率大于等于预设概率阈值,得到训练好的预设预测模型。
7.根据权利要求6所述的方法,其特征在于,所述将所述训练用负载输入数据输入至所述预设预测模型,生成数量与所述验证用历史负载数据的数量一致的训练用工作负载包括:
将所述训练用负载输入数据输入至所述预设预测模型,生成对应的训练用第一工作负载;
将所述训练用负载输入数据中,生成时间最早的一个训练用历史负载数据对应的训练用负载输入数据进行删除,得到删除后的训练用负载输入数据;
将所述删除后的训练用负载输入数据与所述训练用第一工作负载进行合并处理,得到训练用更新负载数据;
将所述训练用更新负载数据输入至所述预设预测模型,生成对应的训练用第二工作负载,直至生成数量与所述验证用历史负载数据的数量一致的训练用工作负载。
8.一种工作负载生成的装置,其特征在于,包括:
第一处理单元,用于将获取的时间信息通过第一预设预处理规则进行预处理,得到第一向量维度的第一时间向量,所述时间信息为生成工作负载的时间,所述第一时间向量通过对生成所述工作负载的时间段信息进行编码得到,所述工作负载的时间段信息根据所述时间信息确定;
合并单元,用于将所述第一时间向量与第二向量维度的随机向量进行合并处理,得到输入向量;
第一输入单元,用于将所述输入向量输入至预设批次模型,得到所述时间段信息对应的负载数量,所述随机向量为随机生成的任一向量;
第二处理单元,用于将获取的第一预设数量的历史负载数据通过第二预设处理规则进行预处理,得到负载输入数据,所述历史负载数据为在所述时间段信息之前的连续相邻时间段内生成的连续工作负载;
第二输入单元,用于基于所述负载数量,将所述负载输入数据输入至预设预测模型,生成数量与所述负载数量一致的工作负载。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311605831.7A CN117573361A (zh) | 2023-11-28 | 2023-11-28 | 工作负载生成的方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311605831.7A CN117573361A (zh) | 2023-11-28 | 2023-11-28 | 工作负载生成的方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117573361A true CN117573361A (zh) | 2024-02-20 |
Family
ID=89860585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311605831.7A Pending CN117573361A (zh) | 2023-11-28 | 2023-11-28 | 工作负载生成的方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117573361A (zh) |
-
2023
- 2023-11-28 CN CN202311605831.7A patent/CN117573361A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114140603B (zh) | 虚拟形象生成模型的训练方法和虚拟形象生成方法 | |
JP7331975B2 (ja) | クロスモーダル検索モデルのトレーニング方法、装置、機器、および記憶媒体 | |
CN113129870B (zh) | 语音识别模型的训练方法、装置、设备和存储介质 | |
CN113963110B (zh) | 纹理图生成方法、装置、电子设备及存储介质 | |
US20230011678A1 (en) | Method for predicting protein-protein interaction | |
US20230306081A1 (en) | Method for training a point cloud processing model, method for performing instance segmentation on point cloud, and electronic device | |
CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
CN113705628B (zh) | 预训练模型的确定方法、装置、电子设备以及存储介质 | |
CN114282670A (zh) | 神经网络模型的压缩方法、设备和存储介质 | |
CN115454706A (zh) | 一种系统异常确定方法、装置、电子设备及存储介质 | |
CN112949433B (zh) | 视频分类模型的生成方法、装置、设备和存储介质 | |
CN114817612A (zh) | 多模态数据匹配度计算和计算模型训练的方法、相关装置 | |
CN114360027A (zh) | 一种特征提取网络的训练方法、装置及电子设备 | |
CN113378921A (zh) | 数据筛选方法、装置及电子设备 | |
CN113408304B (zh) | 文本翻译方法、装置、电子设备及存储介质 | |
CN115116080A (zh) | 表格解析方法、装置、电子设备和存储介质 | |
CN117573361A (zh) | 工作负载生成的方法及装置、电子设备和存储介质 | |
CN114067805A (zh) | 声纹识别模型的训练与声纹识别方法及装置 | |
CN113204616A (zh) | 文本抽取模型的训练与文本抽取的方法、装置 | |
CN113989899A (zh) | 人脸识别模型中特征提取层的确定方法、设备和存储介质 | |
CN113408632A (zh) | 提高图像分类准确性的方法、装置、电子设备及存储介质 | |
CN112784967A (zh) | 信息处理方法、装置以及电子设备 | |
CN114973279B (zh) | 手写文本图像生成模型的训练方法、装置和存储介质 | |
CN116611477B (zh) | 数据剪枝方法和序列模型的训练方法、装置、设备和介质 | |
CN115936090A (zh) | 模型训练方法、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |