CN103713935A - 一种在线管理Hadoop集群资源的方法和装置 - Google Patents

Abstract

本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括：对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量k_new；若k_new和k不等，则将生产环境集群中运行代价最小的虚拟机调整至k_new台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。

Description

一种在线管理Hadoop集群资源的方法和装置

技术领域

本发明涉及云计算领域，具体涉及一种在线管理Hadoop集群资源的方法和装置。

背景技术

Hadoop是Apache开源组织的一个分布式计算开源框架，被设计用来在由通用计算设备组成的大型集群上执行分布式应用。基于Java语言构建的Hadoop框架实际上是一种分布式处理大数据的平台，在近十年中，Hadoop已成为大数据革命的中心。MapReduce作为Hadoop的核心，是一种处理大型及超大型数据集（TB级别的数据，包括网络点击产生的流数据、日志文件和社交网络等所带来的数据）并生成相关的执行的编程模型，其主要思想是从函数式编程语言借鉴而来的，同时也包含了从矢量编程语言借鉴的特性。由于Hadoop具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台，在很多大型网站上都已经得到了应用，例如，亚马逊、Facebook和Yahoo等等。

然而,美中不足的是：运行Hadoop或其它基于MapReduce的集群需要用户手工进行长时间的配置、管理和集群节点数量的调整。在部署Hadoop云计算框架时，若用户自行搭建大规模数据处理环境，则需要用户根据处理的作业和数据量大小综合考虑集群中各个节点的计算能力、带宽和存储等问题。

为解决上述问题，可以将Apache的Hadoop构建在虚拟机上，实现资源的按需分配，并且自动化集群的配置和管理。现有的一种管理Hadoop集群资源的方法是Amazon EC2提出的所谓弹性Apache Hadoop，弹性ApacheHadoop构建在EC2和S3上，并且利用预先配置的Hadoop工作环境提供EMR（Elastic MapReduce）服务，以按用量付费的方式按需使用由Hadoop集群组成的计算处理环境和大规模数据存储环境。利用这样的弹性计算环境，即使是资金不太充裕的创业型公司，也可以进行按需便捷地进行大数据的分析。

在实施上述现有技术提供的管理Hadoop集群资源的方法中，需要用户在提交作业时确定所需要的虚拟资源。由于用户提交的作业一般都有时间的限制，用户只能凭直觉或者经验申请比较多的虚拟资源以按时完成任务，而申请过多的虚拟资源以运行作业需要较大的成本。在成本和时间的权衡中，用户很难确定合适的虚拟资源运行自己的作业，如此，就很难实现在按时完成作业的前提下尽可能地降低成本。而且，作业在运行过程中处理的数据一般是不同的，处理不同的数据会使得MapReduce程序性能地变化，如此，也有可能会造成最终完成时间的变化。

发明内容

本发明实施例提供一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。

本发明实施例提供一种在线管理Hadoop集群资源的方法，所述方法包括：

作业管理器对生产环境集群中用户所提交作业运行情况进行监控；

日志分析器获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；

代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；

虚拟资源管理器比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机调整至k_new台。

本发明另一实施例提供一种在线管理Hadoop集群资源的装置，所述包括：

作业管理器，用于对生产环境集群中用户所提交作业运行情况进行监控；

日志分析器，用于获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；

代价预测器，用于根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；

虚拟资源管理器，用于比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。

从上述本发明实施例可知，一方面，由于作业管理器是在对生产环境集群中用户所提交作业运行情况进行监、在监控到作业完成m个map任务和r个reduce任务时才触发在线调整虚拟资源，而确定k台运行代价TotalCost最小的虚拟机作为虚拟资源的计算节点不属于生产环境集群，其确定虚拟机的类型和数量的过程是离线过程，因此在线调整虚拟资源的过程不会影响实际系统的正常运行；另一方面，代价预测器能够根据虚拟机信息数据库保存的运行代价TotalCost最小的虚拟机的性能特征、用户对所提交作业的期望完成时间ExpectTime、离线计算所得MapSlotSpeed和ReduceSlotSpeed，重新确定在生产环境集群中运行用户所提交作业需要运行代价TotalCost最小的虚拟机的数量，因此，本发明实施例提供的方法和装置能够在作业的在线状态下为用户自动调整运行代价最小的数量，不仅避免了由于用户模糊经验设置集群或者在线运行时由于数据计算分布不均匀而导致的作业不能按时完成或者浪费资源，使得用户所提交作业能够按时按需完成，而且降低了用户使用虚拟机的成本，提高了用户使用虚拟机的性价比。

附图说明

图1是本发明实施例提供的在线管理Hadoop集群资源的方法的基本流程示意图；

图2-a是本发明实施例提供的在线管理Hadoop集群资源的装置逻辑结构示意图；

图2-b是本发明实施例提供的在线管理Hadoop集群资源的装置中各器件与虚拟机信息数据库等的连接关系示意图；

图3是本发明另一实施例提供的在线管理Hadoop集群资源的装置逻辑结构示意图；

图4是本发明另一实施例提供的在线管理Hadoop集群资源的装置逻辑结构示意图。

具体实施方式

本发明实施例提供一种在线管理Hadoop集群资源的方法，包括：作业管理器对生产环境集群中用户所提交作业运行情况进行监控；日志分析器获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；虚拟资源管理器比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。本发明实施例还提供相应的在线管理Hadoop集群资源的装置。以下分别进行详细说明。

本发明实施例的一种在线管理Hadoop集群资源的方法的基本流程可参考图1，该方法可用于部署在虚拟机之上的Hadoop集群，主要包括如下步骤S101至步骤S104：

S101，作业管理器对生产环境集群中用户所提交作业运行情况进行监控。

在本发明实施例中，生产环境集群例如可以是MapReduce生产环境集群，测试环境集群例如可以是MapReduce测试环境集群。作业管理器可以对生产环境集群或测试环境集群中用户所提交作业运行情况进行监控。例如，一般情况下，作业管理器可以以一分钟为周期，对生产环境集群中用户所提交作业运行情况进行监控，监控设定数量的任务是否完成，这些信息可以通过Hadoop自身的日志系统得到，不需要额外的负载计算得到。

S102，日志分析器获取在生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed。

在本发明实施例中，生产环境集群中所使用的k台运行代价TotalCost最小的虚拟机是通过对测试环境集群中t台虚拟机作为虚拟资源运行训练作业的分析获得，即，在作业管理器对生产环境集群中用户所提交作业运行情况的监控之前，还包括通过日志分析器和代价预测器的分析，确定生产环境集群中使用的k台运行代价TotalCost最小的虚拟机，具体地，可以包括如下步骤S1021至步骤S1023：

S1021，日志分析器通过对t种类型的虚拟机中每种类型的虚拟机作为虚拟资源在测试环境集群中运行训练作业的分析，按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\Σ}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到在所述测试环境集群中使用t种类型的虚拟机中任意第i种类型的虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed_i和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed_i，其中，dataPerMapTask_j为第j个map任务处理的数据量大小，dataPerReduceTask_j为第j个reduce任务处理的数据量大小，reduceTaskTime_j为第j个reduce任务的执行时间，outputDataMapTask_j为第j个map任务的输入数据大小，inputDataMapTask_j为第j个reduce任务输出数据大小，RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

具体地，用户将要运行的作业和期望完成的时间ExpectTime提交到作业提交终端，作业管理器会调用数据抽样器对放置在Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）集群上该用户所提交作业的数据进行随机抽样。假设用户所提交作业的数据的总大小为TotalSize，作业管理器设置抽样的数据量大小为TestSize，一般默认TestSize为TotalSize的10%，作业管理器对用户所提交作业抽样产生的数据集作为训练数据集，其对应于训练作业，即该训练作业为对用户对所提交作业进行抽样得到。进一步地，假设使用本发明实施例提供的在线管理Hadoop集群资源的方法的数据中心能够提供t种类型的虚拟机供用户选用，每一种虚拟机代表不同的硬件配置，例如VCPU核数、内存大小和硬盘大小等等，设测试集群的大小为n个节点（默认设置为3）。作业管理器从t种类型的虚拟机中选择一种还没有训练的虚拟机配置n个虚拟机构成测试集群；作业管理器将训练作业提交给测试集群运行。训练作业运行完后，作业管理器会将训练作业的日志提交给日志分析器进行分析。日志分析器统计训练作业所包含的map任务的槽平均处理速度MapSlotSpeed、reduce任务的槽平均处理速度ReduceSlotSpeed和每个map任务输入非压缩数据和输出的非压缩数据比RatioMapOutAve，具体地，日志分析器按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\Σ}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到在测试环境集群中使用t种类型的虚拟机中任意第i种类型的虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed_i和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed_i。

对t种类型的虚拟机中每一个虚拟机，以与上述对第i种类型的虚拟机类似的方法，计算每一种虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed，直至t种类型的虚拟机都已经训练完成，得到一个作业经过t次训练得到虚拟机性能特征属性集合MapSlotSpeed、集合ReduceSlotSpeed和集合RatioMapOutAve，这三个集合的元素个数都为t。日志分析器得到集合MapSlotSpeed、集合ReduceSlotSpeed和集合RatioMapOutAve后，将集合MapSlotSpeed、集合ReduceSlotSpeed集合RatioMapOutAve提交给代价预测器。

S1022，从虚拟机信息数据库中读取第i种类型的虚拟机的map任务的槽数MapSlotNum_i、reduce任务的槽数ReduceSlotNum_i和第i种类型的虚拟机的价格C_i。

在本发明实施例中，虚拟机信息数据库中保存有t种虚拟机的价格和任务槽数，其中，t种虚拟机中第i种类型的虚拟机的价格以C_i表示，量纲为元每台每分钟，t种虚拟机中第i种类型的虚拟机的map任务的槽数为MapSlotNumi，t种虚拟机中第i种类型的虚拟机的reduce任务的槽数为ReduceSlotNum_i。

S1023，在约束条件TotalTime_i<ExpectTime下，根据公式 ${\mathrm{TotalTime}}_i=\frac{\mathrm{TotalSize}}{k\&times;{\mathrm{MapSlotNum}}_i\&times;{\mathrm{MapSlotSpeed}}_i}+\frac{{\mathrm{ShuffleDataSize}}_i}{k\&times;{\mathrm{ReduceSlotNum}}_i\&times;{\mathrm{ReduceSlotSpeed}}_i}$ 和公式TotalCost=TotalTime_i×C_i×k确定在测试环境集群中运行训练作业时运行代价TotalCost最小的虚拟机以及所述运行代价TotalCost最小的虚拟机的数量k。

即，按照如下公式（1）至公式（4）：

${\mathrm{TotalTime}}_i=\frac{\mathrm{TotalSize}}{k\&times;{\mathrm{MapSlotNum}}_i\&times;{\mathrm{MapSlotSpeed}}_i}+\frac{{\mathrm{ShuffleDataSize}}_i}{k\&times;{\mathrm{ReduceSlotNum}}_i\&times;{\mathrm{ReduceSlotSpeed}}_i}---\left(1\right)$

ShuffleDataSize_i=TotalSize×RatioMapOutAve_i      （2）

TotalTime_i<ExpectTime     （3）

TotalCost_i=TotalTime_i×C_i×k     （4）

即可确定在测试环境集群中运行训练作业时运行代价TotalCost最小的虚拟机MinCostType以及所述运行代价TotalCost最小的虚拟机的数量k，其中，ExpectTime为用户对所提交作业期望完成的时间，ShuffleDataSize等于TotalSize×RatioMapOutAve_i，TotalSize为运行所述训练作业的总数据大小，RatioMapOutAve_i为每个map任务输入非压缩数据和输出的非压缩数据比，TotalTime_i为代价预测器估计k台第t种类型的虚拟机在数据总大小TotalSize下运行训练作业的完成时间。

虚拟资源管理器将代价预测器确定的上述k台运行代价TotalCost最小的MinCostType提交至生产环境集群正式运行用户所提交作业。

日志分析器获取在生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed，包括如下步骤S’1021和步骤S’1022：

S’1021，在作业管理器监控到用户所提交作业中m个map任务和r个reduce任务在k台运行代价TotalCost最小的虚拟机作为虚拟资源的生产环境集群中完成时，接收所述作业管理器提交的所述用户所提交作业的日志。

如前所述，代价预测器确定k台运行代价TotalCost最小的MinCostType后，虚拟资源管理器将代价预测器确定的上述k台运行代价TotalCost最小的MinCostType提交至生产环境集群正式运行用户所提交作业，而作业管理器可以对生产环境集群或测试环境集群中用户所提交作业运行情况进行监控。因此，在作业管理器监控到用户所提交作业中m个map任务和r个reduce任务在k台运行代价TotalCost最小的虚拟机作为虚拟资源的生产环境集群中完成时，日志分析器接收作业管理器提交的用户所提交作业的日志。

S’1022，按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到所述MapSlotSpeed、ReduceSlotSpeed和RatioMapOutAve。

其中，dataPerMapTask_j为第j个map任务处理的数据量大小，mapTaskTime_j为第j个map任务的执行时间，dataPerReduceTask_j为第j个reduce任务处理的数据量大小，reduceTaskTime_j为第j个reduce任务的执行时间，outputDataMapTask_j为第j个map任务的输入数据大小，inputDataMapTask_j为第j个reduce任务输出数据大小，RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

S103，代价预测器根据虚拟机信息数据库保存的运行代价TotalCost最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在生产环境集群中运行所述用户所提交作业需要运行代价TotalCost最小的虚拟机的数量k_new。

重新确定在生产环境集群中运行用户所提交作业需要运行代价TotalCost最小的虚拟机的数量k_new与前述在测试环境集群中确定运行代价TotalCost最小的虚拟机的数量k类似，所不同的是，在测试环境集群中确定运行代价TotalCost最小的虚拟机的数量k时，运行代价TotalCost最小的虚拟机一开始是未知的，而确定在生产环境集群中运行用户所提交作业需要运行代价TotalCost最小的虚拟机的数量k_new时，运行代价TotalCost最小的虚拟机是已知的，即通过在测试环境集群中的训练已经确定了虚拟机的类型。具体地，代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new包括如下步骤S1031和步骤S1032：

S1031，从虚拟机信息数据库中读取运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum。

如前所述，在本发明实施例中，虚拟机信息数据库中保存有t种虚拟机的价格和任务槽数即包括map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum，其中当然包括运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum。因此，代价预测器可以从虚拟机信息数据库中读取运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum。

S1032，在约束条件TotalTime<ExpectTime下，计算在所述生产环境集群中运行所述用户所提交作业所需所述运行代价TotalCost最小的虚拟机的数量k_new。

如前所述，日志分析器能够通过对t种类型的虚拟机中每种类型的虚拟机作为虚拟资源在测试环境集群中运行训练作业的分析，获得每一种虚拟机作为虚拟资源运行训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed，其中也必然包括所述运行代价TotalCost最小的虚拟机作为虚拟资源运行训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed。在获得这些参数以及从虚拟机信息数据库中读取的运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum后，可以根据类似于前述公式（1）至公式（3）的方法即根据如下公式（1’）至公式（3’）

$\mathrm{TotalTime}=\frac{\mathrm{TotalSize}}{k_{\mathrm{new}}\&times;\mathrm{MapSlotNum}\&times;\mathrm{MapSlotSpeed}}+\frac{\mathrm{ShuffleDataSize}}{k_{\mathrm{new}}\&times;\mathrm{ReduceSlotNum}\&times;\mathrm{ReduceSlotSpeed}}---\left(1^{,}\right)$

ShuffleDataSize=TotalSize×RatioMapOutAve    （2’）

TotalTime<ExpectTime     （3’）计算在生产环境集群中运行用户所提交作业所需所述运行代价TotalCost最小的虚拟机的数量k_new。上述公式（3’）中，ExpectTime是用户对所提交作业的期望完成时间。

S104，虚拟资源管理器比较k_new和k，若k_new和k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。

从上述本发明实施例提供的在线管理Hadoop集群资源的方法可知，一方面，由于作业管理器是在对生产环境集群中用户所提交作业运行情况进行监、在监控到作业完成m个map任务和r个reduce任务时才触发在线调整虚拟资源，而确定k台运行代价TotalCost最小的虚拟机作为虚拟资源的计算节点不属于生产环境集群，其确定虚拟机的类型和数量的过程是离线过程，因此在线调整虚拟资源的过程不会影响实际系统的正常运行；另一方面，代价预测器能够根据虚拟机信息数据库保存的运行代价TotalCost最小的虚拟机的性能特征、用户对所提交作业的期望完成时间ExpectTime、离线计算所得MapSlotSpeed和ReduceSlotSpeed，重新确定在生产环境集群中运行用户所提交作业需要运行代价TotalCost最小的虚拟机的数量，因此，本发明实施例提供的方法和装置能够在作业的在线状态下为用户自动调整运行代价最小的数量，不仅避免了由于用户模糊经验设置集群或者在线运行时由于数据计算分布不均匀而导致的作业不能按时完成或者浪费资源，使得用户所提交作业能够按时按需完成，而且降低了用户使用虚拟机的成本，提高了用户使用虚拟机的性价比。

下面对用于执行上述在线管理Hadoop集群资源的方法的本发明实施例的在线管理Hadoop集群资源的装置进行说明，其基本逻辑结构参考附图2-a。为了便于说明，附图2-a示例的在线管理Hadoop集群资源的装置仅仅示出了与本发明实施例相关的部分，主要作业管理器201、日志分析器202、代价预测器203和虚拟资源管理器204，各器件详细说明如下：

作业管理器201，用于对生产环境集群中用户所提交作业运行情况进行监控；

日志分析器202，用于获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；

代价预测器203，用于根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；

虚拟资源管理器204，用于比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。

需要说明的是，以上附图2-a示例的在线管理Hadoop集群资源的装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将所述在线管理Hadoop集群资源的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成，例如，前述的日志分析器，可以是具有执行前述获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed的软件，例如日志分析模块，也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备；再如前述的虚拟资源管理器，可以是具有执行前述比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台功能的软件，例如虚拟资源管理模块，也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备（本说明书提供的各个实施例都可应用上述描述原则）。

本发明另一实施例提供的在线管理Hadoop集群资源的装置中各器件与虚拟机信息数据库等的连接关系如附图2-b所示。

附图2-a示例的日志分析器202可以包括接收模块301和第一计算模块302，如附图3所示本发明另一实施例提供的在线管理Hadoop集群资源的装置，其中：

接收模块301，用于在作业管理器201监控到所述用户所提交作业中m个map任务和r个reduce任务在k台运行代价TotalCost最小的虚拟机作为虚拟资源的生产环境集群中完成时，接收所述作业管理器提交的所述用户所提交作业的日志；

第一计算模块302，用于按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到所述MapSlotSpeed、ReduceSlotSpeed和RatioMapOutAve，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPerReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

附图2-a示例的代价预测器203可以包括读取模块401和第二计算模块402，如附图4所示本发明另一实施例提供的在线管理Hadoop集群资源的装置，其中：

读取模块401，用于从所述虚拟机信息数据库中读取所述运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum；

第二计算模块402，用于在约束条件TotalTime<ExpectTime下，计算在所述生产环境集群中运行所述用户所提交作业所需所述运行代价TotalCost最小的虚拟机的数量k_new，所述TotalTime为所述代价预测器估计的完成所述用户所提交作业的时间，所述TotalTime等于 $\frac{\mathrm{TotalSize}}{k_{\mathrm{new}}\&times;\mathrm{MapSlotNum}\&times;\mathrm{MapSlotSpeed}}+\frac{\mathrm{ShuffleDataSize}}{k_{\mathrm{new}}\&times;\mathrm{ReduceSlotNum}\&times;\mathrm{ReduceSlotSpeed}}$ ，所述ShuffleDataSize等于TotalSize×RatioMapOutAve，所述TotalSize为运行所述用户所提交作业的总数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

附图2-a至附图4任一示例的日志分析器202和代价预测器203的分析还用于通过分析，确定生产环境集群中使用的k台运行代价TotalCost最小的虚拟机。

具体地，日志分析器202用于通过对t种类型的虚拟机中每种类型的虚拟机作为虚拟资源在测试环境集群中运行训练作业的分析，按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到在所述测试环境集群中使用t种类型的虚拟机中任意第i种类型的虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed_i和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed_i，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPerReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比，所述训练作业为对所述用户对所提交作业进行抽样得到；

代价预测器203用于从虚拟机信息数据库中读取所述第i种类型的虚拟机的map任务的槽数MapSlotNum_i、reduce任务的槽数ReduceSlotNum_i和所述第i种类型的虚拟机的价格C_i；

代价预测器203，用于在约束条件TotalTime_i<ExpectTime下，根据公式 ${\mathrm{TotalTime}}_i=\frac{\mathrm{TotalSize}}{k\&times;{\mathrm{MapSlotNum}}_i\&times;{\mathrm{MapSlotSpeed}}_i}+\frac{{\mathrm{ShuffleDataSize}}_i}{k\&times;{\mathrm{ReduceSlotNum}}_i\&times;{\mathrm{ReduceSlotSpeed}}_i}$ 和公式TotalCost=TotalTime_i×C_i×k确定在所述测试环境集群中运行所述训练作业时运行代价TotalCost最小的虚拟机以及所述运行代价TotalCost最小的虚拟机的数量k，所述ShuffleDataSize等于TotalSize×RatioMapOutAve_i，所述TotalSize为运行所述训练作业的总数据大小，所述RatioMapOutAve_i为每个map任务输入非压缩数据和输出的非压缩数据比。

需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

以上对本发明实施例所提供的在线管理Hadoop集群资源的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种在线管理Hadoop集群资源的方法，其特征在于，所述方法包括：

作业管理器对生产环境集群中用户所提交作业运行情况进行监控；

日志分析器获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；

代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；

虚拟资源管理器比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。

2.根据权利要求1所述的方法，其特征在于，所述日志分析器获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed，包括：

在所述作业管理器监控到所述用户所提交作业中m个map任务和r个reduce任务在k台运行代价TotalCost最小的虚拟机作为虚拟资源的生产环境集群中完成时，接收所述作业管理器提交的所述用户所提交作业的日志；

按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到所述MapSlotSpeed、ReduceSlotSpeed和RatioMapOutAve，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPerReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

3.根据权利要求1所述的方法，其特征在于，所述代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new，包括：

从所述虚拟机信息数据库中读取所述运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum；

在约束条件TotalTime<ExpectTime下，计算在所述生产环境集群中运行所述用户所提交作业所需所述运行代价TotalCost最小的虚拟机的数量k_new，所述TotalTime为所述代价预测器估计的完成所述用户所提交作业的时间，所述TotalTime等于 $\frac{\mathrm{TotalSize}}{k_{\mathrm{new}}\&times;\mathrm{MapSlotNum}\&times;\mathrm{MapSlotSpeed}}+\frac{\mathrm{ShuffleDataSize}}{k_{\mathrm{new}}\&times;\mathrm{ReduceSlotNum}\&times;\mathrm{ReduceSlotSpeed}},$ 所述ShuffleDataSize等于TotalSize×RatioMapOutAve，所述TotalSize为运行所述用户所提交作业的总数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述作业管理器对生产环境集群中用户所提交作业运行情况的监控之前，还包括：

通过日志分析器和代价预测器的分析，确定所述生产环境集群中使用的k台运行代价TotalCost最小的虚拟机。

5.根据权利要求4所述的方法，其特征在于，所述通过日志分析器和代价预测器的分析，确定所述生产环境集群中使用的k台运行代价TotalCost最小的虚拟机，包括：

所述日志分析器通过对t种类型的虚拟机中每种类型的虚拟机作为虚拟资源在测试环境集群中运行训练作业的分析，按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到在所述测试环境集群中使用t种类型的虚拟机中任意第i种类型的虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed_i和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed_i，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPerReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比，所述训练作业为对所述用户对所提交作业进行抽样得到；

所述代价预测器从所述虚拟机信息数据库中读取所述第i种类型的虚拟机的map任务的槽数MapSlotNum_i、reduce任务的槽数ReduceSlotNum_i和所述第i种类型的虚拟机的价格C_i；

在约束条件TotalTime_i<ExpectTime下，所述代价预测器根据公式 ${\mathrm{TotalTime}}_i=\frac{\mathrm{TotalSize}}{k\&times;{\mathrm{MapSlotNum}}_i\&times;{\mathrm{MapSlotSpeed}}_i}+\frac{{\mathrm{ShuffleDataSize}}_i}{k\&times;{\mathrm{ReduceSlotNum}}_i\&times;{\mathrm{ReduceSlotSpeed}}_i}$ 和公式TotalCost=TotalTime_i×C_i×k确定在所述测试环境集群中运行所述训练作业时运行代价TotalCost最小的虚拟机以及所述运行代价TotalCost最小的虚拟机的数量k，所述ShuffleDataSize等于TotalSize×RatioMapOutAve_i，所述TotalSize为运行所述训练作业的总数据大小，所述RatioMapOutAve_i为每个map任务输入非压缩数据和输出的非压缩数据比。

6.一种在线管理Hadoop集群资源的装置，其特征在于，所述装置包括：

作业管理器，用于对生产环境集群中用户所提交作业运行情况进行监控；

日志分析器，用于获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；

代价预测器，用于根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量k_new；

虚拟资源管理器，用于比较所述k_new和所述k，若所述k_new和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至k_new台。

7.根据权利要求6所述的装置，其特征在于，所述日志分析器包括：

接收模块，用于在所述作业管理器监控到所述用户所提交作业中m个map任务和r个reduce任务在k台运行代价TotalCost最小的虚拟机作为虚拟资源的生产环境集群中完成时，接收所述作业管理器提交的所述用户所提交作业的日志；

第一计算模块，用于按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到所述MapSlotSpeed、ReduceSlotSpeed和RatioMapOutAve，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPer ReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

8.根据权利要求6所述的装置，其特征在于，所述代价预测器包括：

读取模块，用于从所述虚拟机信息数据库中读取所述运行代价TotalCost最小的虚拟机的map任务的槽数MapSlotNum和reduce任务的槽数ReduceSlotNum；

第二计算模块，用于在约束条件TotalTime<ExpectTime下，计算在所述生产环境集群中运行所述用户所提交作业所需所述运行代价TotalCost最小的虚拟机的数量k_new，所述TotalTime为所述代价预测器估计的完成所述用户所提交作业的时间，所述TotalTime等于 $\frac{\mathrm{TotalSize}}{k_{\mathrm{new}}\&times;\mathrm{MapSlotNum}\&times;\mathrm{MapSlotSpeed}}+\frac{\mathrm{ShuffleDataSize}}{k_{\mathrm{new}}\&times;\mathrm{ReduceSlotNum}\&times;\mathrm{ReduceSlotSpeed}}$ ，所述ShuffleDataSize等于TotalSize×RatioMapOutAve，所述TotalSize为运行所述用户所提交作业的总数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比。

9.根据权利要求6至8任意一项所述的装置，其特征在于，所述日志分析器和代价预测器还用于通过分析，确定所述生产环境集群中使用的k台运行代价TotalCost最小的虚拟机。

10.根据权利要求9所述的装置，其特征在于，所述日志分析器和代价预测器还用于通过分析，确定所述生产环境集群中使用的k台运行代价TotalCost最小的虚拟机包括：

所述日志分析器，用于通过对t种类型的虚拟机中每种类型的虚拟机作为虚拟资源在测试环境集群中运行训练作业的分析，按照公式 $\mathrm{MapSlotSpeed}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{dataPerMapTask}}_j/{\mathrm{mapTaskTine}}_j)\right)/m$ 、公式 $\mathrm{ReducSlotSpeed}=\left(\underset{j=1}{\overset{r}{\mathrm{\&Sigma;}}}({\mathrm{dataPerReduceTask}}_j/{\mathrm{reduceTaskTime}}_j)\right)/r$ 和公式 $\mathrm{RatioMapOutAve}=\left(\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{outputDataMapTask}}_j/{\mathrm{inputDataMapTask}}_j)\right)/m$ 计算，得到在所述测试环境集群中使用t种类型的虚拟机中任意第i种类型的虚拟机作为虚拟资源运行所述训练作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed_i和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed_i，所述dataPerMapTask_j为第j个map任务处理的数据量大小，所述mapTaskTime_j为第j个map任务的执行时间，所述dataPerReduceTask_j为第j个reduce任务处理的数据量大小，所述reduceTaskTime_j为第j个reduce任务的执行时间，所述outputDataMapTask_j为第j个map任务的输入数据大小，所述inputDataMapTask_j为第j个reduce任务输出数据大小，所述RatioMapOutAve为每个map任务输入非压缩数据和输出的非压缩数据比，所述训练作业为对所述用户对所提交作业进行抽样得到；

所述代价预测器，用于从所述虚拟机信息数据库中读取所述第i种类型的虚拟机的map任务的槽数MapSlotNum_i、reduce任务的槽数ReduceSlotNum_i和所述第i种类型的虚拟机的价格C_i，在约束条件TotalTime_i<ExpectTime下，根据公式 ${\mathrm{TotalTime}}_i=\frac{\mathrm{TotalSize}}{k\&times;{\mathrm{MapSlotNum}}_i\&times;{\mathrm{MapSlotSpeed}}_i}+\frac{{\mathrm{ShuffleDataSize}}_i}{k\&times;{\mathrm{ReduceSlotNum}}_i\&times;{\mathrm{ReduceSlotSpeed}}_i}$ 和公式TotalCost=TotalTime_i×C_i×k确定在所述测试环境集群中运行所述训练作业时运行代价TotalCost最小的虚拟机以及所述运行代价TotalCost最小的虚拟机的数量k，所述ShuffleDataSize等于TotalSize×RatioMapOutAve_i，所述TotalSize为运行所述训练作业的总数据大小，所述RatioMapOutAve_i为每个map任务输入非压缩数据和输出的非压缩数据比。

Images