CN110888732B - 一种资源配置方法、设备、装置和计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种资源配置方法、设备、装置和计算机可读存储介质，该方法包括：获取YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。这里，在YARN多种配置参数下的历史执行结果和评价指标表示对已实施的多种资源配置方式的评价结果，如此，可以根据YARN多种配置参数下的历史执行结果和评价指标，动态调整YARN当前任务集的资源配置参数，使YARN当前任务集的资源配置参数更加合理，可以避免出资源浪费多的问题。

Description

一种资源配置方法、设备、装置和计算机可读存储介质

技术领域

本发明涉及大数据系统的资源配置技术，涉及一种资源配置方法、设备、装置和计算机可读存储介质。

背景技术

目前，在现有的大数据IT(Information Technology)运维方案中，进行大数据资源时存在以下缺点：

1)在大数据资源配置领域，通常有多个Hadoop集群承载不同业务的数据处理任务，每一个集群都是独立占用预分配的计算、存储和网络资源，为保证应用能够提供稳定的服务，一般要以超配置方式为应用层提供计算、存储、网络资源；采用超配置方式会出现资源占用多的问题。

2)各Hadoop集群存在大量依赖大数据计算的需求，但需求周期、强度、频次各不相同，为保障生产资源，各集群即使有空闲资源，也无法充分利用；也就是说，各集群的波谷资源(即空闲资源)浪费多。

3)各大数据集群使用大量公共数据，由于不同任务性质、不同分析目的而搭建的系统，无法在数据上实现融合与隔离，只能通过系统上进行分割与系统间数据共享。这样就造成了系统数据的冗余，同时也形成了系统资源的浪费。

4)在采用另一种资源协调者(Yet Another Resource Negotiator，YARN)调度配置资源时，不能根据实际情况的改变而进行动态调整。

发明内容

为解决上述技术问题，本发明实施例期望提供一种资源配置方法、设备、装置和计算机可读存储介质，旨在解决现有技术存在的出现资源浪费多、YARN不能动态调整配置资源的问题。

本发明的技术方案是这样实现的：

本发明实施例提供了一种资源配置方法，所述方法包括：

获取YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

本发明实施例中，所述根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数，包括：

获取YARN当前任务集的初始资源配置参数；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，采用主导资源公平(Dominant Resource Fairness，DRF)策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数。

本发明实施例中，所述对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数，包括：

对所述YARN当前任务集的初始资源配置参数进行递归调整，在递归调整后的资源配置参数达到收敛条件时，将递归调整后的资源配置参数确定为YARN当前任务集的资源配置参数。

本发明实施例中，所述方法还包括：

在对所述YARN当前任务集的初始资源配置参数进行递归调整时，确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，采用蚁群算法对所述需要优化的资源配置参数进行优化。

本发明实施例中，所述YARN当前任务集包括多个任务队列；

所述确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，包括：

确定采用蚁群算法对YARN的当前任务集的资源配置参数进行调整，或者，上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源未发生变化，则采用蚁群算法对YARN的当前任务集的任务队列的权重进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且未更改YARN的当前任务集的任务队列的权重，则采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且更改YARN的当前任务集的任务队列的权重，且为各个任务队列分配的资源均未超过允许分配的资源的上限，则采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

本发明实施例中，所述采用蚁群算法对所述需要优化的资源配置参数进行优化，包括：

按照以下方式得出下一时刻YARN对应的集群负载：确定所述YARN对应的集群负载的变化趋势；所述变化趋势为上升趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的增加值，根据调整后的增加值，得出下一时刻YARN对应的集群负载；所述变化趋势为下降趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的减小值，根据调整后的减小值，得出下一时刻YARN对应的集群负载；

在得出的下一时刻YARN对应的集群负载不满足收敛条件时，重新得出下一时刻YARN对应的集群负载，直至得出的下一时刻YARN对应的集群负载满足收敛条件；在得出的下一时刻YARN对应的集群负载满足收敛条件时，完成对YARN当前任务集的资源配置参数的配置。

本发明实施例还提供了一种资源配置设备，所述设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

所述处理器用于运行所述计算机程序时，执行以下步骤：

获取另一种YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

本发明实施例中，所述处理器具体用于运行所述计算机程序时，执行以下步骤：

获取YARN当前任务集的初始资源配置参数；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，采用DRF策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数。

本发明实施例还提供了一种资源配置装置，所述装置包括：处理模块和确定模块，其中，

处理模块，用于获取YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

确定模块，用于根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种资源配置方法的步骤。

本发明实施例中，首先，获取YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；然后，根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

可以看出，采用上述记载的技术方案时，在YARN多种配置参数下的历史执行结果表示已经实施的多种资源配置方式，而在YARN多种配置参数下的历史执行结果和评价指标表示对已实施的多种资源配置方式的评价结果，如此，可以根据YARN多种配置参数下的历史执行结果和评价指标，动态调整YARN当前任务集的资源配置参数，使YARN当前任务集的资源配置参数更加合理，可以避免出资源浪费多的问题。

附图说明

图1为本发明实施例的的资源配置方法的流程的示意图一；

图2为发明实施例的资源配置方法的流程的示意图二；

图3为本发明实施例的大数据集群系统的一个架构示意图；

图4为本发明实施例的对YARN的资源配置参数的递归调整的流程示意图；

图5为本发明实施例的利用蚁群算法对YARN当前任务集的资源配置参数进行调整的流程示意图；

图6为本发明实施例的资源配置设备的结构示意图；

图7为本发明实施例的资源配置装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

第一实施例

本发明第一实施例提出了一种资源配置方法，图1为本发明实施例的资源配置方法的流程的示意图一，如图1所示，该流程可以包括：

步骤101：获取YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

图2为本发明实施例的资源配置方法的流程的示意图二，结合图2，YARN的任务执行历史数据为在利用YARN进行资源配置前的基础数据，实际实施时，可以通过YARN应用程序编程接口(Application Programming Interface，API)采集各队列(YARN的任务队列)执行日志，进而得出YARN的任务执行历史数据；然后，可以根据YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标。

步骤102：根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

这里，YARN当前任务集可以包括多个任务队列，YARN当前任务集的资源配置参数包括为各个任务队列设置的资源配置参数。

具体实现时，在YARN多种配置参数下的历史执行结果表示已经实施的多种资源配置方式，而在YARN多种配置参数下的历史执行结果和评价指标表示对已实施的多种资源配置方式的评价结果，如此，可以根据YARN多种配置参数下的历史执行结果和评价指标，动态调整YARN当前任务集的资源配置参数，使YARN当前任务集的资源配置参数更加合理，可以避免出资源浪费多的问题。

对于步骤102的实施方式，在一个示例中，可以获取YARN当前任务集的初始资源配置参数；根据在YARN多种配置参数下的历史执行结果和评价指标，采用DRF策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数；可选的，YARN当前任务集的初始资源配置参数和YARN当前任务集的资源配置参数均可以是针对多租户的资源配置参数。

参照图2，可以在YARN执行资源配置时，配置多租户，并为多租户分配初始资源，在YARN集每次执行(包括首次执行和非首次执行)时，读取YARN任务执行情况，得到YARN当前任务集的初始资源配置参数；这里，读取YARN任务执行情况是YARN参数(资源配置参数)优化的基础。

图3为本发明实施例的大数据集群系统的一个架构示意图，如图3所示，该架构涉及监控类系统、数据仓库类系统、分析挖掘类系统和查询类系统，其中，分析挖掘类系统涉及的资源至少包括：联机分析处理(Online Analytical Processing，OLAP)场景、海量数据写入场景、海量数据批量处理进程、流式处理进程和数据挖掘进程，海量数据写入场景包括利用以下至少一项实现：Hadoop分布式文件系统(HDFS)、HBase数据库、Solr服务器；

参照图3，该架构还可以涉及以下至少一项：YARN、数据仓库工具HIVE、查询系统Impala、数据库DB、分布式实时大数据处理系统Storm、文件系统(File System，FS)、Hadoop开源组件Sentry、Kerberos协议；在图3中，海量数据批量处理、流式处理、海量数据写入属于基础计算消耗，而OLAP与数据挖掘往往是对系统资源的消耗有随机性特点。但不同处理类型进程都通过YARN进行资源调度与分配，具体地说，YARN可以利用调度器自学习配置模块实施本发明实施例的资源配置方案。

参照图2和图3，YARN中，调度器自学习配置模块可以配置数据采集接口，用于采集YARN多种配置参数下的历史执行结果和评价指标、以及YARN当前任务集的初始资源配置参数；具体地说，数据采集接口通过获取的监控信息，对进程，进程组、父进程、队列等信息进行资源监控日志整合，形成支撑YARN配置优化算法的信息参照，并进行数据采集。

数据采集接口在具体采集数据时，可以通过https://集群IP：端口/jmx即可获得YARN的各任务执行情况，通常可以采用如下四种方式获取Java管理扩展(Java ManagementExtensions，JMX)信息：

默认方式：https://集群IP:端口/jmx

Callback方式：https://集群IP:端口/jmx？callback＝iteblog

Dry方式：https://集群IP:端口/jmx？dry＝hadoop:*

Get方式：https://集群IP:端口/jmx？dry＝hadoop:service＝ResourceManager

通过数据采集接口采集的信息，可以根据队列信息、任务信息、时间、集群配置、与抓取的日志，形成执行任务的性能信息库，为接下来的蚁群算法提供数据支撑。

这里，表1示例性地说明数据采集接口抓取的任务执行日志的内容。

表1

对于对YARN当前任务集的初始资源配置参数进行调整的实现方式，可以对YARN当前任务集的初始资源配置参数进行递归调整，在递归调整后的资源配置参数达到收敛条件时，将递归调整后的资源配置参数确定为YARN当前任务集的资源配置参数。

进一步地，在对所述YARN当前任务集的初始资源配置参数进行递归调整时，确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，采用蚁群算法对所述需要优化的资源配置参数进行优化。

本发明实施例中，递归配置YARN参数采用了一种通用的多资源的最大-最小公平(max-min fairness)分配策略-DRF策略实现，即在多环境下一个用户的资源分配应该由用户的dominant share(主导份额的资源)决定。简而言之，DRF试图最大化所有用户中最小的主导份额。YARN各参数分配算法实现逻辑如下：

一、创建或启动作业初始化器EagerTaskInitializationListener。

二、将作业初始化器和作业接收器(JobListener)注册到作业跟踪器(JobTracker)。

三、创建作业池管理器(PoolManager)。

四、创建/启动负载均衡器(LoadManager)和任务选择器(TaskSelector)。

五、创建权重调整器(WeightAdjuster)。

六、根据配置来初始化参数assignMultiple和参数sizeBasedWeight的值。

七、调整YARN的资源配置参数。

图4为本发明实施例的对YARN的资源配置参数的递归调整的流程示意图，如图4所示，该流程可以包括：

步骤401：每日判断YARN对应的可分配资源是否发生变化，如果是，则执行步骤402，如果否，可以结束流程。

步骤402：启动调整YARN的资源配置参数的流程。

步骤403：分析出最慢队列或最慢保障用时队列。

这里，YARN当前任务集包括多个任务队列，最慢队列为根据YARN配置的资源执行时间最长的任务队列，最慢保障用时队列为YARN的资源配置参数规定的最长执行时间的任务队列；可以看出，最慢队列不一定与最慢保障用时队列相同。

步骤404：判断是否采用蚁群算法对YARN的当前任务集的各任务队列的权重进行调整，如果是，则执行步骤405，如果否，则执行步骤406。

这里，可以根据最慢队列或最慢保障用时队列、以及YARN的任务执行日志，判断是否采用蚁群算法对YARN的当前任务集的各任务队列的权重进行调整；示例性地，根据最慢队列或最慢保障用时队列、以及YARN的任务执行日志，判断当前的YARN的当前任务集的资源配置参数满足预设的使用需求时，确定需要采用蚁群算法对YARN的当前任务集的各任务队列的权重进行调整，否则，确定不需要采用蚁群算法对YARN的当前任务集的各任务队列的权重进行调整。

步骤405：对YARN的当前任务集的各任务队列的权重进行调整，然后，执行步骤411。

这里，可以采用蚁群算法对YARN的当前任务集的各任务队列的权重进行调整。

步骤406：判断上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源是否发生变化，如果是，则执行步骤407，如果否，则执行步骤405。

可以理解的是，对YARN的资源配置参数的递归调整过程是一个多次调整过程。

步骤407：判断上次调整YARN的当前任务集的资源配置参数时，是否更改YARN的当前任务集的任务队列的权重，如果是，则执行步骤408，如果否，则执行步骤409。

步骤408：判断上次调整YARN的当前任务集的资源配置参数时，是否更改最大资源，如果是，则恢复上次调整前的YARN的当前任务集的资源配置参数，并结束流程；如果否，则执行步骤410。

这里，最大资源指允许分配的资源的上限，允许分配的资源的上限是固定的；如果上次调整YARN的当前任务集的资源配置参数时，为任意一个任务队列分配的资源超过允许分配的资源的上限，则说明上次调整YARN的当前任务集的资源配置参数时，更改了最大资源；反之，如果上次调整YARN的当前任务集的资源配置参数时，为各个任务队列分配的资源均未超过允许分配的资源的上限，则说明上次调整YARN的当前任务集的资源配置参数时，未更改最大资源。

步骤409：对YARN的当前任务集的最快队列的资源配置参数进行调整，然后，执行步骤411。

这里，可以采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整，最慢队列为根据YARN配置的资源执行时间最短的任务队列。

步骤410：对YARN的当前任务集的最慢队列的资源配置参数进行调整，然后，执行步骤411。

这里，可以采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

步骤411：改写调度器配置。

在采用蚁群算法得出调整后的YARN的当前任务集的资源配置参数后，可以将调整后的资源配置参数写入调度器中，在利用调度器分配调整后的资源配置参数时，返回至步骤403。

八、进行单参数调整逻辑，根据蚁群算法，对YARN的当前任务集的资源配置参数进行调整，依次计算YARN资源各任务、资源权重、最大值和最小值。

九、创建或启动作业调度更新线程(UpdateThread)。

十、启动基于Web的可视化管理器。

可以看出，通过YARN当前任务集各任务队列中的参数配置，解决超配置方式为应用层提供弹性计算、存储、网络资源，同时削减了波谷资源浪费情况；通过动态权重调整器(WeightAdjuster)与作业调度更新线程(UpdateThread)，动态处理不同参数权重，使得资源参数配置变得更灵活与自动化。

本发明实施例的递归配置YARN参数与以往Hadoop集群所使用的YARN公平调度器有本质上的不同，以往的YARN公平调度器，在使用中需预设队列权重，队列间资源弹性相对固定；如果按照该YARN调度器原始方式配置集群，将会导致系统计算负荷预期值发生变化，如多租户下，某租户业务处理任务量发生变化，YARN资源调度无法自适应这些变化，导致集群运行效率降低，影响后续的集群任务资源调度的平稳运营与最大效益发挥。

本发明实施例中，递归配置YARN参数的自我学习方法，是在传统YARN公平调度器基础上，从参数调整、算法调优、权重分配、策略实施等多维度入手进一步优化配置，使得配置参数快速收敛逼近最优配置，从而大幅度提升参数优化配置的效率，降低人工优化的误判，进一步提升大数据集群的运行效率。

在通常的参数优化过程中，单参数的递归逼近速度，影响整体的优化参数收敛速度，特别是某些参数还依赖运维人员的从业经验。而本发明，通过蚁群算法设计，摆脱对经验分析的依赖，通过单参数对执行情况的自学习，能够快速优化单参数，并配合整体优化方法，提升算法收敛速度。

图5为本发明实施例的利用蚁群算法对YARN当前任务集的资源配置参数进行调整的流程示意图，如图5所示，该流程可以包括：

步骤501：确定集群负载的变化趋势。

这里，可以采用基于动态趋势预测策略，其工作思路是通过当前时刻的集群负载趋势来预测出下一时刻集群负载，从而预测出下一时刻相对于当前时刻的集群负载的变化趋势，这里，集群负载为YARN对应的集群负载，集群负载可以包括：CPU负载与内存负载。

步骤502：判断集群负载的变化趋势是否为上升，如果是，则执行步骤503，如果否，则执行步骤504。

步骤503：调整增加值，执行步骤505。

也就是说，调整集群负载的增加值后，执行步骤505。

具体地说，得出多个历史时刻集群负载的平均值、以及下一时刻相对于当前时刻的集群负载的实际增加值，在当前时刻的集群负载小于多个历史时刻集群负载的平均值时，对预测出的下一时刻相对于当前时刻的集群负载的增加值进行调整，示例性地，可以根据以下公式调整预测出的下一时刻相对于当前时刻的集群负载的增加值：

IncVal′＝IncVal+(ReallncVal-IncVal)×AdaptDgr

IncVal″＝Min(IncVal′,IncVal×PastGreater)

其中，IncVal为预测出的下一时刻相对于当前时刻的集群负载的增加值，ReallncVal为下一时刻相对于当前时刻的集群负载的实际增加值，AdaptDgr为适配调整参数，取值范围为0.1至2，默认值为0.5；PastGreater为IncVal占集群负载的可增加的最大值的比例大小，IncVal″为调整后的下一时刻相对于当前时刻的集群负载的增加值。

步骤504：调整减小值，执行步骤505。

也就是说，调整集群负载的减小值，执行步骤505。

具体地说，得出多个历史时刻集群负载的平均值、以及下一时刻相对于当前时刻的集群负载的实际减小值，在当前时刻的集群负载大于多个历史时刻集群负载的平均值时，可以根据以下公式对下一时刻相对于当前时刻的集群负载的增加值进行调整：

DecVal′＝VT+DecFct′＝DecFct+(RealDecVal-DecVal)×AdaptDgr

其中，VT表示初始时刻的减小值(初始时刻预测出的下一时刻相对于初始时刻的集群负载的减小值)，DecFct′表示当前时刻相对于上一时刻的集群负载的减小值，DecFct表示上一时刻相对上一时刻的上一时刻的群负载的减小值，DecVal为预测出的下一时刻相对于当前时刻的集群负载的减小值，RealDecVal为下一时刻相对于当前时刻的集群负载的实际减小值，AdaptDgr为适配调整参数，取值范围为0.1至2，默认值为0.5；

在当前时刻的集群负载不大于多个历史时刻集群负载的平均值时，可以根据以下公式对下一时刻相对于当前时刻的集群负载的增加值进行调整：

DecVal′＝VT+Min(DecFct′,DecVal×PastLess)

其中，PastLess为多个历史时刻的集群负载中小于当前时刻的集群负载的比例。

步骤505：预测出下一时刻集群负载。

具体地说，在集群负载的变化趋势为上升时，将当前时刻集群负载加上调整后的集群负载的增加值，得到下一时刻集群负载；在集群负载的变化趋势为下降时，将当前时刻集群负载减去调整后的集群负载的减小值，得到下一时刻集群负载；这里，下一时刻的集群负载可以是下一时刻YARN资源消耗数(例如，可以是内存、CPU、虚拟内存的使用率)。

步骤506：判断是否达到收敛条件，如果是，则完成配置，即完成YARN的资源配置参数的调整，如果否，则返回至步骤501。

这里的收敛条件可以根据预设的性能指标进行设置，例如，可以在预设的性能指标的变化量小于变化量阈值时，确定满足收敛条件，在在预设的性能指标的变化量不小于变化量阈值时，确定不满足收敛条件。

预设的性能指标可以是YARN配置的资源的单一参数，也可以根据YARN配置的资源的多个参数进行综合设置。

在满足收敛条件时，说明完成了采用蚁群算法对YARN公平调度器参数进行调整的过程，这里，YARN公平调度器参数可以是以下至少一项：最小资源(MinResources)、最大资源(MaxResources)、最大可运行应用的数量(MaxRunningApps)、资源池权重(weight)。

本发明实施例的蚁群算法优化YARN参数方法，能够快速定位参数优化的最优态，并通过数据采集，实现公共参数的递归调整、及公共功能与数据的共享。

实际应用中，步骤101至步骤102均可以由处理器等实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、DSP、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。

现有的针对大数据资源的调度方案主要包括如下几种：

1)确定作业，并将所述作业切分成各个子作业，确定外设的当前节点和所述当前节点的资源信息；根据所述外设的当前节点的资源信息，判断所述各个子作业中是否包含至少一个能在所述外设的当前节点中运行的目标子作业，如果是，将所述至少一个目标子作业分配给所述外设的当前节点。这种方案的缺点是：根据当前节点资源预设判定外设目标子作业，其收敛速度慢，且逼近最优配置参数准确性不高，同时，未考虑多场景下实现模式。

2)步骤一，在作业对象初始化时创建一个配置服务线程，该线程会每隔预定时间检查是否有新的p组配置；步骤二，如果有则优先为其分配资源；步骤三，每个任务通过自身ID检索到自己配置后，在任务初始化时完成第二次参数的配置。这种方案的缺点是：以时间维度判定服务线程资源分配情况，不能解决资源优化配置的时效性，同时，在超配置场景下，没有考虑为应用层提供弹性计算、存储、网络资源。

3)统计已提交任务未运行的映射归约的总数目；从历史记录中读取待处理任务集中任务的映射归约数目；按照预设周期从待处理任务集中筛选出待启动任务，所述待启动任务的映射归约数目与所述总数目的和小于等于预设数目；所述预设数目为Hadoop系统在预设周期内可运行的映射归约数目；提交所述待启动任务。这种方案的缺点是：自学习方法采用历史记录做趋势预测，晚于当前时刻负载均衡趋势，判断准确性和预测收敛速度较低。

4)一种云计算中面向资源成本优化的多资源调度方法，很好地解决了云计算中多资源配置的最优化问题，即在保证用户设定的性能约束下，通过分配合理的云计算资源，使得用户的任务资源花费最少。本发明适用于拥有大数据量、运行时间较长、并且希望减少资源花费的批处理任务。这种方案的缺点是：最优资源配置方案检索周期较长，多资源最优配置方法采用既定的性能约束，不能实现自学习的动态权重调整与作业线程调度，使得资源参数配置不灵活。

相对地，本发明实施例主要是结合Hadoop技术、多租户技术、针对电信运营商的大数据平台运维工作，提出了一种具有普遍适用性与弹性资源运维方法，并基于蚁群算法通过学习集群历史数据经验，修正YARN在运行态的参数，从而不断优化多任务、多用户下的集群资源分配，最终实现更好的使用集群资源，具有很好的应用前景和保护价值；这里，基于Hadoop多租户技术及YARN资源调度控制架构，在集群中实现多应用计算资源隔离的方法，达到资源共享、错峰使用，从而达到削峰填谷的效果，并通过蚁群算法自学习修正YARN在运行态的参数，不断优化多任务和多用户下的大数据集群资源分配，实现对YARN资源池的容器配置管理，形成多用户运行资源的动态分配方案。

本发明实施例提出了以动态自学习算法调整YARN资源池中任务队列的配置关系，这种动态的配置不再是人为的干预，而是通过蚁群算法，实现逐日的资源配置优化，该方法既保障了生产任务，又释放出更多的资源，也使得多业务处理程序与资源实现了联动。

在一个具体的应用场景中，采用本发明实施例的技术方案可以带来以下有益效果：

采用本发明实施例的技术方案后，平均节省了20％的硬件资源，提升计算资源利用率，真正意义上实现了计算资源按业务需求的自动分配、应用系统的在线快速扩容，提升了业务系统扩容部署速度，提升了业务系统高可用性，提升了客户感知。具体来说，采用本发明实施例的技术方案后，在大数据平台内部，可以控制租户的使用目录权限、使用内存大小、使用线程数量、使用CPU情况，来提高资源的利用率。在大数据项目中通过共享计算单元，相对于单独投资大数据计算设备，集中式计算设备投资可节约15％以上投资(以估算计算提升效率为参考)。例如，黑龙江公司将原有分布到不同的机房和不同的位置的三个集群，进行合理的资源划分和归并，更方便的管理和支持上层应用。经过评估，3个集群业务开通时，预占资源分别为80％左右、70％左右、90％左右，完成所有业务弹性伸缩，几乎可以去除多出的20％预留资源，即回收20％资源，3个集群共107台物理机，预计资源融合后物理机台数缩减至87台，平均1台物理机采购价格10万，共计节省200万元。

第二实施例

基于前述实施例提出的一种资源配置方法，本发明第二实施例提出了一种资源配置设备，图6为本发明实施例的资源配置设备的结构示意图，如图6所示，该设备包括处理器601和用于存储能够在处理器上运行的计算机程序的存储器602，

处理器601用于运行所述计算机程序时，执行上述任意一种资源配置方法的步骤。

第三实施例

基于前述实施例提出的一种资源配置方法，本发明第二实施例提出了一种资源配置装置。

图7为本发明实施例的资源配置装置的结构示意图，如图7所示，该装置包括：处理模块701和确定模块702，其中，

处理模块701，用于获取另一种资源协调者YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

确定模块702，用于根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数。

示例性地，所述确定模块702，具体用于获取YARN当前任务集的初始资源配置参数；根据所述在YARN多种配置参数下的历史执行结果和评价指标，采用DRF策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数。

示例性地，所述确定模块702，具体用于对所述YARN当前任务集的初始资源配置参数进行递归调整，在递归调整后的资源配置参数达到收敛条件时，将递归调整后的资源配置参数确定为YARN当前任务集的资源配置参数。

示例性地，所述确定模块702，具体用于在对所述YARN当前任务集的初始资源配置参数进行递归调整时，确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，采用蚁群算法对所述需要优化的资源配置参数进行优化。

示例性地，所述YARN当前任务集包括多个任务队列；

所述确定模块702，具体用于确定采用蚁群算法对YARN的当前任务集的资源配置参数进行调整，或者，上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源未发生变化，则采用蚁群算法对YARN的当前任务集的任务队列的权重进行调整；上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且未更改YARN的当前任务集的任务队列的权重，则采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整；上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且更改YARN的当前任务集的任务队列的权重，且为各个任务队列分配的资源均未超过允许分配的资源的上限，则采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

示例性地，所述确定模块702，具体用于按照以下方式得出下一时刻YARN对应的集群负载：确定所述YARN对应的集群负载的变化趋势；所述变化趋势为上升趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的增加值，根据调整后的增加值，得出下一时刻YARN对应的集群负载；所述变化趋势为下降趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的减小值，根据调整后的减小值，得出下一时刻YARN对应的集群负载；

在得出的下一时刻YARN对应的集群负载不满足收敛条件时，重新得出下一时刻YARN对应的集群负载，直至得出的下一时刻YARN对应的集群负载满足收敛条件；在得出的下一时刻YARN对应的集群负载满足收敛条件时，完成对YARN当前任务集的资源配置参数的配置。

在实际应用中，所述处理模块701和确定模块702均可由位于服务器中的处理器实现；上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

第四实施例

本发明第五实施例提出了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本发明前述实施例中任意一种资源配置方法的步骤。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种资源配置方法，其特征在于，所述方法包括：

获取另一种资源协调者YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数，其中，所述YARN当前任务集包括多个任务队列；

确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，包括：

确定采用蚁群算法对YARN的当前任务集的资源配置参数进行调整，或者，上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源未发生变化，则采用蚁群算法对YARN的当前任务集的任务队列的权重进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且未更改YARN的当前任务集的任务队列的权重，则采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且更改YARN的当前任务集的任务队列的权重，且为各个任务队列分配的资源均未超过允许分配的资源的上限，则采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

2.根据权利要求1所述的方法，其特征在于，所述根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数，包括：

获取YARN当前任务集的初始资源配置参数；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，采用主导资源公平DRF策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数。

3.根据权利要求2所述的方法，其特征在于，所述对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数，包括：

对所述YARN当前任务集的初始资源配置参数进行递归调整，在递归调整后的资源配置参数达到收敛条件时，将递归调整后的资源配置参数确定为YARN当前任务集的资源配置参数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在对所述YARN当前任务集的初始资源配置参数进行递归调整时，确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，采用蚁群算法对所述需要优化的资源配置参数进行优化。

5.根据权利要求4所述的方法，其特征在于，所述采用蚁群算法对所述需要优化的资源配置参数进行优化，包括：

按照以下方式得出下一时刻YARN对应的集群负载：确定所述YARN对应的集群负载的变化趋势；所述变化趋势为上升趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的增加值，根据调整后的增加值，得出下一时刻YARN对应的集群负载；所述变化趋势为下降趋势时，调整预测出下一时刻相对于当前时刻YARN对应的集群负载的减小值，根据调整后的减小值，得出下一时刻YARN对应的集群负载；

在得出的下一时刻YARN对应的集群负载不满足收敛条件时，重新得出下一时刻YARN对应的集群负载，直至得出的下一时刻YARN对应的集群负载满足收敛条件；在得出的下一时刻YARN对应的集群负载满足收敛条件时，完成对YARN当前任务集的资源配置参数的配置。

6.一种资源配置设备，其特征在于，所述设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

所述处理器用于运行所述计算机程序时，执行以下步骤：

获取另一种资源协调者YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数，其中，所述YARN当前任务集包括多个任务队列；

确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，包括：

确定采用蚁群算法对YARN的当前任务集的资源配置参数进行调整，或者，上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源未发生变化，则采用蚁群算法对YARN的当前任务集的任务队列的权重进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且未更改YARN的当前任务集的任务队列的权重，则采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且更改YARN的当前任务集的任务队列的权重，且为各个任务队列分配的资源均未超过允许分配的资源的上限，则采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

7.根据权利要求6所述的设备，其特征在于，所述处理器具体用于运行所述计算机程序时，执行以下步骤：

获取YARN当前任务集的初始资源配置参数；

根据所述在YARN多种配置参数下的历史执行结果和评价指标，采用主导资源公平DRF策略，对所述YARN当前任务集的初始资源配置参数进行调整，得到所述YARN当前任务集的资源配置参数。

8.一种资源配置装置，其特征在于，所述装置包括：处理模块和确定模块，其中，

处理模块，用于获取另一种资源协调者YARN的任务执行历史数据，根据所述YARN的任务执行历史数据，得出在YARN多种配置参数下的历史执行结果和评价指标；

确定模块，用于根据所述在YARN多种配置参数下的历史执行结果和评价指标，确定YARN当前任务集的资源配置参数，其中，所述YARN当前任务集包括多个任务队列；

确定模块，用于确定所述YARN当前任务集的资源配置参数中需要优化的资源配置参数，包括：

确定采用蚁群算法对YARN的当前任务集的资源配置参数进行调整，或者，上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源未发生变化，则采用蚁群算法对YARN的当前任务集的任务队列的权重进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且未更改YARN的当前任务集的任务队列的权重，则采用蚁群算法对YARN的当前任务集的最快队列的资源配置参数进行调整；

上次调整YARN的当前任务集的资源配置参数时，为YARN的当前任务集分配的资源发生变化，且更改YARN的当前任务集的任务队列的权重，且为各个任务队列分配的资源均未超过允许分配的资源的上限，则采用蚁群算法对YARN的当前任务集的最慢队列的资源配置参数进行调整。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。

Images