CN109743200B - 基于资源特征的云计算平台计算任务成本预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于资源特征的云计算平台计算任务成本预测方法及系统，本发明实施步骤包括：解析被预测计算任务的命令得到命令参数；从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。本发明通过分析并采集用户输入的命令参数，使用机器学习的算法来对算法任务进行成本方面的预测，能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测、降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

Description

基于资源特征的云计算平台计算任务成本预测方法及系统

技术领域

本发明涉及云计算平台的任务调度技术，具体涉及一种基于资源特征的云计算平台计算任务成本预测方法及系统，可为云计算平台的任务调度提供依据。

背景技术

现有部分云计算平台中，运行的算法任务是以类似黑箱系统的形式存在，云平台系统对算法任务的内部架构和相互关系处于不可视状态。因此，云平台系统对算法任务存在的主要问题是无法确定用户输入的运行命令的具体含义及作用，也无法明确运行命令中所包含的参数的作用和对任务运行所造成的影响，因此不能提供给用户运行任务所需要的时间及成本方面的参考，影响用户体验以及系统分析。

现今机器学习已经可以影响云计算的多方面并创造巨大的价值，广泛的应用于系统的可扩展性、成本资源计算以及大数据的处理。通过存储在系统中的大量数据为机器学习提供信息来源，并根据百万级指标的用户使用来为机器学习提供训练的数据来源。因此，如何利用机器学习来实现云计算平台计算任务成本预测，已经成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于资源特征的云计算平台计算任务成本预测方法及系统，本发明通过分析并采集用户输入的命令参数，使用机器学习的算法来对算法任务进行成本方面的预测，能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测、降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于资源特征的云计算平台计算任务成本预测方法，实施步骤包括：

1）解析被预测计算任务的命令得到命令参数；

2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了包含主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。

可选地，步骤1）的详细步骤包括：

1.1）解析被预测计算任务的命令，获取其中包含的命令参数；

1.2）对命令参数进行分类，分类为变量参数，文件参数以及常量参数。

可选地，步骤3）中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。

可选地，步骤3）中机器学习模型的训练步骤包括：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。

本发明还提供一种基于资源特征的云计算平台计算任务成本预测系统，包括计算机设备，所述计算机设备被编程以执行本发明前述基于资源特征的云计算平台计算任务成本预测方法的步骤；或者所述计算机设备的存储介质中存储有被编程以执行本发明前述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程以执行本发明前述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。

本发明还提供一种基于资源特征的云计算平台计算任务成本预测系统，包括：

数据采集程序单元，用于解析被预测计算任务的命令得到命令参数；

主成分分析程序单元，用于从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

数据预测程序单元，用于将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。

可选地，所述数据采集程序单元包括：

命令参数提取程序模块，用于解析被预测计算任务的命令，获取其中包含的命令参数；

命令参数分类程序模块，用于对命令参数进行分类，分类为变量参数，文件参数以及常量参数。

可选地，所述数据预测程序单元中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。

可选地，所述数据预测程序单元包括用于执行下述步骤的机器学习模型的数据训练程序单元：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。

和现有技术相比，本发明具有下述优点：本发明通过解析被预测计算任务的命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量，将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本，能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测，够降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例系统的基本结构示意图。

具体实施方式

如图1所示，本实施例基于资源特征的云计算平台计算任务成本预测方法的实施步骤包括：

1）解析被预测计算任务的命令得到命令参数；

2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。

本实施例中，步骤1）的详细步骤包括：

1.1）解析被预测计算任务的命令，获取其中包含的命令参数；解析被预测计算任务的命令时，以空格、数字或“-”符号作为判定标准；

1.2）对命令参数进行分类，分类为变量参数，文件参数以及常量参数。

例如计算任务TestAlgorithm的命令为：

/testAlgotirhm -c 100 -m 256 -p 35889 -f1 test1.file -f2 test2.file –test

则可以得到下述结果：

变量参数：resource-number-c = 100，resource-number-m = 256 resource-number-p 35889

文件参数：resource-file-f1 = test1.file , resource-file-f2 =test2.file

常量参数：resource-test

本实施例中，步骤3）中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。毫无疑问，除了任务运行时间、生成文件大小、消耗网络流量以外，也可以根据需要采用其他可以表征运行时间和各资源消耗的成本。

本实施例中，步骤3）中的机器学习模型具体采用线性回归模型，其训练步骤包括：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；生成训练集以及测试集时，可以自定义变量参数的数据，例如resource-number-c=200，rsource-number-m=512，resource-number-p35899等。文件参数需要获取文件大小，根据文件大小对任务计算结果进行训练。但文件类型以及数据正确性无法把控，因此文件参数需要根据用户输入或指定来进行训练。常量参数不需要自定义数值，但需要判定在任务中是否必须以及影响范围。在常量参数的训练中，首先判断是否必须传入，若必须传入则说明是非重要特征参数，若不必须传入，则根据变量参数的测试，判断传入与非传入常量参数的情况下，对变量参数的训练的结果有何影响。本实施例中，在多次设定不同参数进行测试后以70%的数据作为训练集，30%的数据作为测试集。

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析（PCA分析）提取出主要特征参数自变量及其对应的权重；主成分分析（PCA分析）为现有的数据降维方法，故在此不再赘述。每次数据训练将使用PCA分析的降维法对资源特征的自变量进行主成分分析，排除非重要特征参数自变量，若resource-number-p参数为非重要特征参数，则之后数据预测中不计入此参数。

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。训练完毕后，得到的时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线即为最优的时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，即训练好的机器学习模型，包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系。

本实施例中针对机器学习模型的选择线性回归模型通过最小二乘法进行线性回归的数据训练，并使用PCA分析的降维法对资源特征参数的自变量进行主成分分析，分析资源特征参数权重，够降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

综上所述，本实施例基于资源特征的云计算平台计算任务成本预测方法用于对指定算法任务所采集的资源特征参数与成本相关影响因素进行线性回归的数据训练，通过多次训练来预测待处理任务的运行时间和成本。其中，对成本的预测包含运行时间、生成文件大小、网络流量消耗。资源特征参数包括已知的输入文件大小以及用户的算法任务中指定的命令参数。因此本实施例基于资源特征的云计算平台计算任务成本预测方法需要对运行命令进行解析，获取更多的资源特征自变量，并在数据训练中通过PCA（主成分）分析算法判断相关资源特征自变量对拟合曲线的权重，并根据训练后的曲线来对任务的下一次运行进行成本的预测。本发明能够获取更全面的资源特征参数作为机器学习算法的自变量用以满足数据训练及预测、降低无效资源特征参数对成本预测的干扰，具有预测准确的优点。

本实施例还提供一种基于资源特征的云计算平台计算任务成本预测系统，包括计算机设备，该计算机设备被编程以执行本实施例前述基于资源特征的云计算平台计算任务成本预测方法的步骤。

此外，本实施例还提供一种基于资源特征的云计算平台计算任务成本预测系统，包括带有存储介质的计算机设备，该存储介质中存储有被编程以执行本实施例前述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程以执行本发明前述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。

如图2所示，本实施例还提供一种基于资源特征的云计算平台计算任务成本预测系统，包括：

数据采集程序单元（简称为数据采集），用于解析被预测计算任务的命令得到命令参数；

主成分分析程序单元（简称为PCA分析，且位于数据训练程序单元中），用于从解析得到命令参数中通过主成分分析（PCA分析）提取出主要特征参数自变量；

数据预测程序单元（简称为数据预测），用于将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。

参见图2，本实施例中还包括成本计算程序单元（简称为成本计算），用于对数据预测程序单元输出的当前命令的任务运行时间、生成文件大小、消耗网络流量量化得到一个统一的指标值。但是，也可以根据需要选择直接输出当前命令的任务运行时间、生成文件大小、消耗网络流量。

本实施例中，数据采集程序单元包括：

命令参数提取程序模块，用于解析被预测计算任务的命令，获取其中包含的命令参数；

命令参数分类程序模块，用于对命令参数进行分类，分类为变量参数，文件参数以及常量参数。

本实施例中，数据预测程序单元中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。

本实施例中，数据预测程序单元包括用于执行下述步骤的机器学习模型的数据训练程序单元（图2简称为数据训练）：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于资源特征的云计算平台计算任务成本预测方法，其特征在于实施步骤包括：

1）解析被预测计算任务的命令得到命令参数；

2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系；

步骤1）的详细步骤包括：

1.1）解析被预测计算任务的命令，获取其中包含的命令参数；

1.2）对命令参数进行分类，分类为变量参数，文件参数以及常量参数；

步骤3）中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量；步骤3）中机器学习模型的训练步骤包括：

S1）通过自定义改变变量参数、文件参数以及常量参数中的至少一项来生成不同的计算任务的命令并构建训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。

2.一种基于资源特征的云计算平台计算任务成本预测系统，包括计算机设备，其特征在于，所述计算机设备被编程以执行权利要求1所述基于资源特征的云计算平台计算任务成本预测方法的步骤；或者所述计算机设备的存储介质中存储有被编程以执行权利要求1所述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有被编程以执行权利要求1所述基于资源特征的云计算平台计算任务成本预测方法的计算机程序。

4.一种基于资源特征的云计算平台计算任务成本预测系统，其特征在于包括：

数据采集程序单元，用于解析被预测计算任务的命令得到命令参数；

主成分分析程序单元，用于从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；

数据预测程序单元，用于将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了包含主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系；

所述数据采集程序单元包括：

命令参数提取程序模块，用于解析被预测计算任务的命令，获取其中包含的命令参数；

命令参数分类程序模块，用于对命令参数进行分类，分类为变量参数，文件参数以及常量参数；

所述数据预测程序单元中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量；

所述数据预测程序单元包括用于执行下述步骤的机器学习模型的数据训练程序单元：

S1）生成变量参数、文件参数以及常量参数至少一种不同的计算任务的命令得到训练集以及测试集，初始化主要特征参数自变量为空；

S2）从训练集中遍历选择一条命令作为当前命令；

S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；

S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；

S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；

S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；

S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。

Images