CN117687868A - 一种云平台任务cpu平均使用率预测方法 - Google Patents
一种云平台任务cpu平均使用率预测方法 Download PDFInfo
- Publication number
- CN117687868A CN117687868A CN202311655536.2A CN202311655536A CN117687868A CN 117687868 A CN117687868 A CN 117687868A CN 202311655536 A CN202311655536 A CN 202311655536A CN 117687868 A CN117687868 A CN 117687868A
- Authority
- CN
- China
- Prior art keywords
- cloud platform
- average
- cpu
- prediction model
- informier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000010187 selection method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001300571 Alaba Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种云平台任务CPU平均使用率预测方法，包括：统计云平台在连续时间间隔内的资源使用情况；采用基于相关性的特征选择方法提取特征，经处理后得到新的数据集；采用变分模态分解方法将CPU平均使用率序列分解为若干个子序列；将数据集分成训练集、验证集和预测集；对训练集数据，使用g‑Informer预测模型训练；将验证集数据输入g‑Informer预测模型中，不断调整超参数，得到最终的g‑Informer预测模型后对预测集数据预测，得到若干个CPU平均使用率子序列的预测值并相加，得到最终云平台任务CPU平均使用率的预测值。本发明可准确地预测出较长一段时间内的云平台任务CPU平均使用率。
Description
技术领域
本发明涉及云计算技术领域，具体涉及一种云平台任务CPU平均使用率预测方法。
背景技术
云计算以一种经济便利的方式提供计算资源，越来越多的企业将其应用部署在云端。多租户多类型应用的特性给云平台的资源管理带来了诸多挑战，比如，云数据中心的功耗波动更剧烈、资源利用率不平衡问题等。谷歌于2011年公开的云平台资源使用trace数据集表明，CPU、内存等计算资源的使用受到多种因素的影响，难以捕捉其变化规律。
现有的研究工作很少关注资源负载的长期预测，一方面，云资源负载预测本身涉及多种因素的影响，另一方面，现有长期预测方法大多是基于多个单步预测模型的叠加，难以达到较好的可接受的长期预测性能。R-Transformer集成预测方法(Zhou S,Li J,ZhangK,et al.An accurate ensemble forecasting approach for highly dynamic cloudworkload with VMD and R-transformer[J].IEEE Access,2020,8:115992-116003.)，可以有效应对云平台负载序列的非平稳性和高随机性，在谷歌和阿里巴巴集群跟踪数据集上提高了预测精度，但是该方法没有考虑预测较远未来的工作负载，对云平台资源管理的帮助有限。
发明内容
本发明为了克服以上技术的不足，提供了一种云平台任务CPU平均使用率预测方法。
发明概述：
本发明的云平台任务CPU平均使用率预测方法，首先对云平台任务的历史资源使用数据进行预处理，基于K-最近邻(K Nearest Neighbors，KNN)算法填充历史资源使用数据集中缺失的数据特征信息；然后采用基于相关性的特征选择方法来提取特征；接着采用变分模态分解方法将CPU平均使用率序列进行分解得到若干个子序列；之后用g-Informer预测模型经过训练集进行训练、经过验证集进行验证；最后把所有子序列输入到g-Informer预测模型中进行预测，再将所有子序列的预测结果相加，就可以得到云平台任务在未来一段时间内的CPU平均使用率的预测值。
本发明克服其技术问题所采用的技术方案是：
一种云平台任务CPU平均使用率预测方法，包括如下步骤：
S1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并对预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据进行填充，然后统计云平台任务在连续时间间隔T内的资源使用情况，其中，T≥7天；
S2、基于步骤S1统计的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法提取特征，得到新的特征集X2，然后对新的特征集X2进行归一化处理，再将归一化处理后的特征集作为新的数据集；
S3、采用变分模态分解方法对步骤S2得到的新的数据集中的云平台任务CPU平均使用率序列进行分解，得到若干个子序列，然后将每个子序列与新的数据集中除CPU平均使用率之外的其他特征组合，得到处理后的数据集；
S4、按照预设的比例将步骤S3中处理后的数据集分成训练集、验证集和预测集三部分，训练集、验证集和预测集预设的比例为b1:b2:b3，其中，b1、b2、b3均为正实数，且b1>b2，b1>b3，b1+b2+b3＝10；
S5、对于训练集数据，使用g-Informer预测模型进行训练，采用均方根误差作为评价标准，得到训练好的g-Informer预测模型；
S6、将验证集数据输入到步骤S5得到的训练好的g-Informer预测模型中，不断调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型；
S7、对预测集数据使用步骤S6得到的最终的g-Informer预测模型进行预测，得到若干个CPU平均使用率子序列的预测值；
S8、将步骤S7得到的所有CPU平均使用率子序列的预测值相加，得到最终的云平台任务CPU平均使用率的预测值。
进一步地，步骤S1具体包括：
S1.1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并统计该预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据，然后以欧式距离为标准找到距离每个缺失数据最近的k个邻居，其中，k≥1；
S1.2、计算每个缺失数据最近的k个邻居的特征信息的算术平均值，并填充到缺失的数据特征信息中；
S1.3、找到云平台任务在连续时间间隔T内所有子作业在相同时间戳下的资源使用量并全部相加，得到云平台任务在连续时间间隔T内的资源使用情况。
进一步地，步骤S2具体包括：
S2.1、基于步骤S1得到的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法，从原始特征集X1得到新的特征集X2＝{x1，x2，...，xz}，其中，1≤z≤原始数据集的特征个数；具体过程如下：
(1)设未选特征集的初始值为原始特征集X1，新的特征集X2的初始值为空集；
(2)从未选特征集中选择一个特征f加入新的特征集，使得加入后新的特征集的Merit值最大；将特征f从未选特征集中移除；Merit值的计算公式如下：
上式中，X是特征集，x是X中的特征个数，是CPU平均利用率与X中的特征之间相互关系的平均值，/>是特征集X中特征之间相互关系的平均值；特征之间相互关系由对称不确定性给出，对称不确定性计算公式如下所示：
上式中，p和q为特征向量，H(p)是p的熵，H(p，q)是p、q的联合熵；
(3)当新的特征集中所含特征数量超过5个且最后加入的4个特征所对应的Merit值依次减少或相等时，或者，当未选特征集为空时，特征选择结束，此时的新的特征集即为所求；否则，转至(2)；
S2.2、找出步骤S2.1得到的新的特征集X2中每个特征的最大值和最小值，分别赋值为1和0，其余的值按照0-1标准化进行归一化处理，再将归一化处理后的特征集作为新的数据集。
进一步地，步骤S3中，对云平台任务CPU平均使用率序列分解具体包括：
S3.1、确定子序列分解个数m的初始值，其中，m＞1；
S3.2、使用变分模态分解方法将云平台任务CPU平均使用率序列分解为m个子序列：
(1)l＝0，表示迭代次数，初始化和λl，其中，j＝1，...，m，/>和/>分别表示第l代第j个子序列和第l代第j个子序列的中心频率，λl是第l代拉格朗日乘子；
(2)和λl进行迭代，寻优更新得到/>和λl+1，其中，j＝1，...，m；
(3)判断条件是否成立，其中ε＞0：若否，则令l＝l+1，转至步骤(2)；若是，则分解结束，/>即为分解得到的m个子序列，其中，j＝1，...，m；
S3.3、将与预设阈值作比较：若小于预设阈值，则确定最终分解的子序列个数为m；否则，令m＝m+1，跳转到步骤S3.2。
进一步地，步骤S5中，g-Informer预测模型是对Informer预测模型改进后的预测模型，通过改良Informer预测模型中Adam优化器的收敛规则以缩短预测模型训练时间；改良的Adam优化器收敛规则公式如下：
上式中，是权值矩阵W的第p列向量Wp对应的梯度，/> 是权值矩阵W列向量的平均值，M是权值矩阵W列向量的个数，o是权值矩阵W列向量的长度。
进一步地，步骤S5具体包括：
S5.1、采用均方根误差作为g-Informer预测模型的损失函数，均方根误差定义如下：
上式中，N表示参与g-Informer预测模型训练的样本数，表示CPU平均使用率的预测值，yi表示CPU平均使用率的真实值；
S5.2、基于步骤S4得到的训练集，使用g-Informer预测模型进行训练，得到训练好的g-Informer模型。
进一步地，步骤S6具体包括：
S6.1、把验证集输入到步骤S5得到的训练好的g-Informer预测模型中；
S6.2、根据损失函数MSE值的大小，采用网格搜索调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型。
进一步地，一种云平台任务CPU平均使用率预测方法还包括步骤S9，步骤S9具体为：
对步骤S8得到的最终的云平台任务CPU平均使用率的预测值，通过平均绝对误差和均方根误差进行验证。
本发明的有益效果是：
本发明可以较为准确地预测出云平台任务的CPU平均使用率，该预测方法具有较低的平均绝对误差和较低的均方根误差，并可以预测较长一段时间内的云平台任务CPU平均使用率，为资源的有效管理和调度提供了重要信息。本发明中，用到了基于相关性的特征选择方法和变分模态分解方法，其中，基于相关性的特征选择方法可以快速筛选出与预测目标相关的特征集，提高模型的预测精度和速度；变分模态分解方法是一种自适应、非递归的信号处理方法，可以降低时间序列的复杂度和非平稳性，获得包含多个不同频率尺度且相对平稳的子序列。
附图说明
图1为本发明实施例所述的一种云平台任务CPU平均使用率预测方法的流程图。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
如图1所示，本发明公开了一种云平台任务CPU平均使用率预测方法，包括如下步骤：
S1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并对预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据进行填充，然后统计云平台任务在连续时间间隔T内的资源使用情况，其中，T≥7天；
S2、基于步骤S1统计的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法提取特征，得到新的特征集X2，然后对新的特征集X2进行归一化处理，再将归一化处理后的特征集作为新的数据集；
S3、采用变分模态分解方法对步骤S2得到的新的数据集中的云平台任务CPU平均使用率序列进行分解，得到若干个子序列，然后将每个子序列与新的数据集中除CPU平均使用率之外的其他特征组合，得到处理后的数据集；
S4、按照预设的比例将步骤S3中处理后的数据集分成训练集、验证集和预测集三部分，训练集、验证集和预测集预设的比例为b1:b2:b3，其中，b1、b2、b3均为正实数，且b1>b2，b1>b3，b1+b2+b3＝10；
S5、对于训练集数据，使用g-Informer预测模型进行训练，采用均方根误差作为评价标准，得到训练好的g-Informer预测模型；
S6、将验证集数据输入到步骤S5得到的训练好的g-Informer预测模型中，不断调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型；
S7、对预测集数据使用步骤S6得到的最终的g-Informer预测模型进行预测，得到若干个CPU平均使用率子序列的预测值；
S8、将步骤S7得到的所有CPU平均使用率子序列的预测值相加，得到最终的云平台任务CPU平均使用率的预测值。
为了更好地理解上述的技术方案，下面将结合附图详细地描述本发明的示例性实施例，只是本发明的示例性实施例，然而应当理解，还可以以各种形式实现本发明而并不局限于这里所述的实施例。这些实施例是为了使本领域技术人员更清楚和更透彻地理解本发明。
具体地，本实施例所述的一种云平台任务CPU平均使用率预测方法，包括如下步骤：
步骤S1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并对预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据进行填充，然后统计云平台任务在连续时间间隔T内的资源使用情况，其中，T≥7天。
具体地，步骤S1包括如下：
步骤S1.1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并统计该预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据，假设缺失的数据特征信息为CPU最大利用率，缺失位置为第9天12时55分，计算其他时间的记录值与该缺失值的欧氏距离，找到距离该缺失的数据最近的10个记录。
步骤S1.2、基于K-最近邻算法填充历史资源使用数据集中缺失的数据特征信息，具体是：计算这10个记录的CPU最大利用率的算术平均值，然后将该CPU最大利用率的算术平均值填充为第9天12时55分的CPU最大利用率。
步骤S1.3、找到云平台任务在连续时间间隔T内所有子作业在相同时间戳下的资源使用量并全部相加，得到云平台任务在连续时间间隔T内的资源使用情况。
步骤S2、基于步骤S1统计的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法提取特征，得到新的特征集X2，然后对新的特征集X2进行归一化处理，再将归一化处理后的特征集作为新的数据集。
具体地，步骤S2包括如下：
步骤S2.1、基于步骤S1得到的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法，从原始特征集X1得到新的特征集X2＝{x1，x2，...，xz}，其中，1≤z≤原始数据集的特征个数；具体过程如下：
(1)设未选特征集的初始值为原始特征集X1，新的特征集X2的初始值为空集；
(2)从未选特征集中选择一个特征f加入新的特征集，使得加入后新的特征集的Merit值最大；将特征f从未选特征集中移除；Merit值的计算公式如下：
上式中，X是特征集，x是X中的特征个数，是CPU平均利用率与X中的特征之间相互关系的平均值，/>是特征集X中特征之间相互关系的平均值；特征之间相互关系由对称不确定性给出，对称不确定性计算公式如下所示：
上式中，p和q为特征向量，H(p)是p的熵，H(p，q)是p、q的联合熵；
(3)当新的特征集中所含特征数量超过5个且最后加入的4个特征所对应的Merit值依次减少或相等时，或者，当未选特征集为空时，特征选择结束，此时的新的特征集即为所求；否则，转至(2)；
步骤S2.2、找出步骤S2.1得到的新的特征集X2中每个特征的最大值和最小值，分别赋值为1和0，其余的值按照0-1标准化进行归一化处理，再将归一化处理后的特征集作为新的数据集。
步骤S3、采用变分模态分解方法对步骤S2得到的新的数据集中的云平台任务CPU平均使用率序列进行分解，得到若干个子序列，然后将每个子序列与新的数据集中除CPU平均使用率之外的其他特征组合，得到处理后的数据集。
具体地，步骤S3中，对云平台任务CPU平均使用率序列分解具体包括：
S3.1、确定子序列分解个数m的初始值，其中，m＞1；
S3.2、使用变分模态分解方法将云平台任务CPU平均使用率序列分解为m个子序列：
(1)l＝0，表示迭代次数，初始化和λl，其中，j＝1，...，m，/>和/>分别表示第l代第j个子序列和第l代第j个子序列的中心频率，λl是第l代拉格朗日乘子；
(2)和λl进行迭代，寻优更新得到/>和λl+1，其中，j＝1，...，m；和/>分别表示第l+1代第j个子序列和第l+1代第j个子序列的中心频率，λl+1是第l+1代拉格朗日乘子；
(3)判断条件是否成立，其中ε＞0：若否，则令l＝l+1，转至步骤(2)；若是，则分解结束，/>即为分解得到的m个子序列，其中，j＝1，...，m；；
S3.3、将与预设阈值作比较：若小于预设阈值，则确定最终分解的子序列个数为m；否则，令m＝m+1，跳转到步骤S3.2。
步骤S3包括如下：
使用变分模态分解方法对步骤S2得到的新的数据集中云平台任务CPU平均使用率进行分解，假设得到3个子序列。
分别计算第3个子序列和第2个子序列的中心频率，假设得到第3个子序列的中心频率为4.1hz，第2个子序列的中心频率为4.3hz，第3个子序列与第2个子序列的中心频率的差的绝对值为0.2hz。将第3个子序列与第2个子序列的中心频率的差的绝对值与预设阈值做比较：两者差异0.2hz小于预设阈值0.3hz，则确定分解的子序列个数为3。
步骤S4、按照预设的比例将步骤S3中处理后的数据集分成训练集、验证集和预测集三部分，本实施例中，训练集、验证集和预测集预设的比例为6:2:2。
步骤S5、对于训练集数据，使用g-Informer预测模型进行训练，采用均方根误差作为评价标准，得到训练好的g-Informer预测模型。
具体地，所述g-Informer预测模型是对Informer预测模型改进后的预测模型，通过改良Informer预测模型中Adam优化器的收敛规则以缩短预测模型训练时间；改良的Adam优化器收敛规则公式如下：
上式中，是权值矩阵W的第p列向量Wp对应的梯度，/> 是权值矩阵W列向量的平均值，M是权值矩阵W列向量的个数，o是权值矩阵W列向量的长度。
本实施例中，步骤S5具体包括如下：
步骤S5.1、采用均方根误差作为g-Informer预测模型的损失函数，均方根误差定义如下：
上式中，N表示参与g-Informer预测模型训练的样本数，表示CPU平均使用率的预测值，yi表示CPU平均使用率的真实值；
步骤S5.2、基于步骤S4得到的训练集，使用g-Informer预测模型进行训练，得到训练好的g-Informer模型。
步骤S6、将验证集数据输入到步骤S5得到的训练好的g-Informer预测模型中，不断调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型。
具体地，步骤S6包括如下：
步骤S6.1、把验证集输入到步骤S5得到的训练好的g-Informer预测模型中；
步骤S6.2、根据损失函数MSE的大小，采用网格搜索调整g-Informer预测模型的超参数，本实施例中，对参数e_layers：(1,2,3)，droupout：(0.01,0.02,…,0.09,0.1)，learning_rate：(0.001,0.002,…,0.009,0.01)在预设范围内进行网格搜索，根据损失函数MSE的最小值确定最优参数e_layers：2，droupout：0.05，learning_rate：0.001；从而得到最终的g-Informer预测模型。
步骤S7、对预测集数据使用步骤S6得到的最终的g-Informer预测模型进行预测，得到若干个CPU平均使用率子序列的预测值。
步骤S8、将步骤S7得到的所有CPU平均使用率子序列的预测值相加，得到最终的云平台任务CPU平均使用率的预测值。
步骤S9、对步骤S8得到的最终的云平台任务CPU平均使用率的预测值进行验证，本实施例通过平均绝对误差和均方根误差进行验证，本发明的方法与现有的几种其他方法的平均绝对误差(MAE)和均方根误差(MSE)的对比数据如表1所示。
表1
从表1中可以看出，本发明的g-Informer预测方法与现有的n-LSTM、Transformer和TCN这几种方法相比，在给出的步长10、20、30、50、70的情况下，通过本发明的g-Informer预测方法得到的最终的云平台CPU平均使用率的预测值的平均绝对误差(MAE)和均方根误差(MSE)均比现有的n-LSTM、Transformer和TCN这几种方法要低，说明本发明的方法的预测精度更高。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。
Claims (8)
1.一种云平台任务CPU平均使用率预测方法，其特征在于，包括如下步骤：
S1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并对预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据进行填充，然后统计云平台任务在连续时间间隔T内的资源使用情况，其中，T≥7天；
S2、基于步骤S1统计的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法提取特征，得到新的特征集X2，然后对新的特征集X2进行归一化处理，再将归一化处理后的特征集作为新的数据集；
S3、采用变分模态分解方法对步骤S2得到的新的数据集中的云平台任务CPU平均使用率序列进行分解，得到若干个子序列，然后将每个子序列与新的数据集中除CPU平均使用率之外的其他特征组合，得到处理后的数据集；
S4、按照预设的比例将步骤S3中处理后的数据集分成训练集、验证集和预测集三部分，训练集、验证集和预测集预设的比例为b1:b2:b3，其中，b1、b2、b3均为正实数，且b1>b2，b1>b3，b1+b2+b3＝10；
S5、对于训练集数据，使用g-Informer预测模型进行训练，采用均方根误差作为评价标准，得到训练好的g-Informer预测模型；
S6、将验证集数据输入到步骤S5得到的训练好的g-Informer预测模型中，不断调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型；
S7、对预测集数据使用步骤S6得到的最终的g-Informer预测模型进行预测，得到若干个CPU平均使用率子序列的预测值；
S8、将步骤S7得到的所有CPU平均使用率子序列的预测值相加，得到最终的云平台任务CPU平均使用率的预测值。
2.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S1具体包括：
S1.1、收集云平台在预设的连续时间间隔T内任务的历史资源使用监控数据，并统计该预设的连续时间间隔T内任务的历史资源使用监控数据集中缺失的数据，然后以欧式距离为标准找到距离每个缺失数据最近的k个邻居，其中，k≥1；
S1.2、计算每个缺失数据最近的k个邻居的特征信息的算术平均值，并填充到缺失的数据特征信息中；
S1.3、找到云平台任务在连续时间间隔T内所有子作业在相同时间戳下的资源使用量并全部相加，得到云平台任务在连续时间间隔T内的资源使用情况。
3.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S2具体包括：
S2.1、基于步骤S1得到的云平台任务在连续时间间隔T内的资源使用情况，得到最初的原始特征集X1，采用基于相关性的特征选择方法，从原始特征集X1得到新的特征集X2＝{x1,x2,…,xz}，其中，1≤z≤原始数据集的特征个数；具体过程如下：
(1)设未选特征集的初始值为原始特征集X1，新的特征集X2的初始值为空集；
(2)从未选特征集中选择一个特征f加入新的特征集，使得加入后新的特征集的Merit值最大；将特征f从未选特征集中移除；Merit值的计算公式如下：
上式中，X是特征集，x是X中的特征个数，是CPU平均利用率与X中的特征之间相互关系的平均值，/>是特征集X中特征之间相互关系的平均值；特征之间相互关系由对称不确定性给出，对称不确定性计算公式如下所示：
上式中，p和q为特征向量，H(p)是p的熵，H(p,q)是p、q的联合熵；
(3)当新的特征集中所含特征数量超过5个且最后加入的4个特征所对应的Merit值依次减少或相等时，或者，当未选特征集为空时，特征选择结束，此时的新的特征集即为所求；否则，转至(2)；
S2.2、找出步骤S2.1得到的新的特征集X2中每个特征的最大值和最小值，分别赋值为1和0，其余的值按照0-1标准化进行归一化处理，再将归一化处理后的特征集作为新的数据集。
4.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S3中，对云平台任务CPU平均使用率序列分解具体包括：
S3.1、确定子序列分解个数m的初始值，其中，m＞1；
S3.2、使用变分模态分解方法将云平台任务CPU平均使用率序列分解为m个子序列：
(1)l＝0，表示迭代次数，初始化和λl，其中，j＝1,...,m，/>和/>分别表示第l代第j个子序列和第l代第j个子序列的中心频率，λl是第l代拉格朗日乘子；
(2)和λl进行迭代，寻优更新得到/>和λl+1，其中，j＝1,...,m；
(3)判断条件是否成立，其中ε>0：若否，则令l＝l+1，转至步骤(2)；若是，则分解结束，/>即为分解得到的m个子序列，其中，j＝1,...,m；
S3.3、将与预设阈值作比较：若小于预设阈值，则确定最终分解的子序列个数为m；否则，令m＝m+1，跳转到步骤S3.2。
5.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S5中，g-Informer预测模型是对Informer预测模型改进后的预测模型，通过改良Informer预测模型中Adam优化器的收敛规则以缩短预测模型训练时间；改良的Adam优化器收敛规则公式如下：
上式中，是权值矩阵W的第p列向量Wp对应的梯度，/> 是权值矩阵W列向量的平均值，M是权值矩阵W列向量的个数，o是权值矩阵W列向量的长度。
6.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S5具体包括：
S5.1、采用均方根误差作为g-Informer预测模型的损失函数，均方根误差定义如下：
上式中，N表示参与g-Informer预测模型训练的样本数，表示CPU平均使用率的预测值，yi表示CPU平均使用率的真实值；
S5.2、基于步骤S4得到的训练集，使用g-Informer预测模型进行训练，得到训练好的g-Informer模型。
7.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，步骤S6具体包括：
S6.1、把验证集输入到步骤S5得到的训练好的g-Informer预测模型中；
S6.2、根据损失函数MSE值的大小，采用网格搜索调整g-Informer预测模型的超参数，得到最终的g-Informer预测模型。
8.根据权利要求1所述的云平台任务CPU平均使用率预测方法，其特征在于，还包括步骤S9，步骤S9具体为：
对步骤S8得到的最终的云平台任务CPU平均使用率的预测值，通过平均绝对误差和均方根误差进行验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311655536.2A CN117687868A (zh) | 2023-12-05 | 2023-12-05 | 一种云平台任务cpu平均使用率预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311655536.2A CN117687868A (zh) | 2023-12-05 | 2023-12-05 | 一种云平台任务cpu平均使用率预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117687868A true CN117687868A (zh) | 2024-03-12 |
Family
ID=90132970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311655536.2A Pending CN117687868A (zh) | 2023-12-05 | 2023-12-05 | 一种云平台任务cpu平均使用率预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117687868A (zh) |
-
2023
- 2023-12-05 CN CN202311655536.2A patent/CN117687868A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11334813B2 (en) | Method and apparatus for managing machine learning process | |
| CN110413227B (zh) | 一种硬盘设备的剩余使用寿命在线预测方法和系统 | |
| JP6109037B2 (ja) | 時系列データ予測装置、時系列データ予測方法、及びプログラム | |
| JP2020500420A (ja) | マシンラーニング基盤の半導体製造の収率予測システム及び方法 | |
| CN112052081B (zh) | 一种任务调度方法、装置及电子设备 | |
| CN109981749A (zh) | 一种基于极限梯度提升的云工作流任务执行时间预测方法 | |
| CN111967183A (zh) | 一种配电网台区线损的计算方法和系统 | |
| CN109636212B (zh) | 作业实际运行时间的预测方法 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| Bağbaba | Improving collective i/o performance with machine learning supported auto-tuning | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN117455208B (zh) | 基于人工智能的注塑品生产调度优化方法及系统 | |
| CN114881343A (zh) | 基于特征选择的电力系统短期负荷预测方法及装置 | |
| CN113435101A (zh) | 一种基于粒子群优化的支持向量机停电预测方法 | |
| CN117155806A (zh) | 一种通信基站流量预测方法与装置 | |
| CN116859255A (zh) | 一种储能电池健康状态的预测方法、装置、设备及介质 | |
| CN117687868A (zh) | 一种云平台任务cpu平均使用率预测方法 | |
| CN111310121A (zh) | 一种新能源出力概率预测方法和系统 | |
| Jiang et al. | SRGM decision model considering cost-reliability | |
| Syaputra | The Implementation of Support Vector Machine Method with Genetic Algorithm in Predicting Energy Consumption for Reinforced Concrete Buildings | |
| CN111160715A (zh) | 基于bp神经网络新旧动能转换绩效评价方法和装置 | |
| CN117608809B (zh) | 基于梯度提升决策树的多任务计划进度预测系统 | |
| CN118069380B (zh) | 一种算力资源处理方法 | |
| CN117829822B (zh) | 一种电力变压器故障预警方法及系统 | |
| Guo et al. | A learning-based method for efficient large-scale sensitivity analysis and tuning of single column atmosphere model (SCAM) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |