CN109992403B - 多租户资源调度的优化方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种多租户资源调度的优化方法、装置、终端设备及存储介质。该多租户资源调度的优化方法包括：接收各个租户的待执行任务所需的资源的调度请求；根据所需的资源的调度请求对该各个租户的待执行任务进行评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置。本发明的多租户资源调度的优化方法，提高了系统资源利用率。

Description

多租户资源调度的优化方法、装置、终端设备及存储介质

技术领域

本发明涉及一种资源管理技术，尤其涉及一种多租户资源调度的优化方法、装置、终端设备和计算机可读存储介质。

背景技术

随着互联网大数据时代的到来，分布式系统Hadoop在许多行业建设数据中心、大数据平台等信息工程中扮演着重要角色。随着数据中心、大数据平台的数据积累和能力开放工作的推进，会面临多个组织或机构同时在平台上进行应用生产的情况。为解决管理者对各用户在平台上资源(中央处理器(central processing unit,CPU)、内存等)的使用管理，业界提出了多租户概念，即管理者可将分布式系统中的资源根据各用户的实际使用情况进行分配和调整，且平台技术上需提供隔离各用户之间资源，使用户间所属应用在运行状态不会相互影响。

近年来，Hadoop生态也升级了系统资源控制相关内容，推出了另一种资源协调者(Yet Another Resource Negotiator,YARN)，满足多租户的基础需求，它实现了内存与CPU两种资源的隔离，且Mapreduce、Spark这样的计算框架可以基于YARN之上进行任务运行，从而达到多租户资源控制的目的。

YARN提供了任务的控制手段，如对Mapreduce的作业配置参数mapreduce.job.priority做设置，参数mapreduce.job.priority提供了高(HIGH),标准(NORMAL)等多个优先级级别让租户可以根据自身应用的情况调整优先级。然而，在实际运行过程中如果租户中某个任务已占租户总资源的大部分，且运行时长很长，则对于其他任务来说，即使调整优先级到高,实际上也无法进行优先处理，也就是说无法完成关键任务的“插队运行”的行为。

从技术运行机制角度来看，Mapreduce、Spark上的任务(job),都是拆解成许多小数据块运行在Hadoop分布式系统的各数据节点上并行工作。对于分解出的小数据块运行比较多的情况,因各小数据块运行的开始时间不同或者映射(map)与归约(reduce)过程中消耗的资源相差较大,如果单纯按任务使用的资源量进行任务调度的话,那么在任务运行的后期通常会出现部分资源空闲,导致系统资源利用率下降。

发明内容

本发明实施例提供了多租户资源调度的优化方法、装置、设备及介质，能够提高资源利用率。

本发明实施例提供的一种多租户资源调度的优化方法包括：接收各个租户的待执行任务所需的资源的调度请求；

虚拟资源管理器根据所需的资源的调度请求对该各个租户的待执行任务进行评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；

该虚拟资源管理器根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置。

另一方面，本发明还提供了一种多租户资源调度的优化装置，包括：

接收模块，用于接收各个租户的待执行任务所需的资源的调度请求；

任务划分模块，用于根据所需的资源的调度请求对该各个租户的待执行任务进行智能评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；

资源配置模块，用于根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置。

另一方面，本发明还提供一种终端设备，其包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述的多租户资源调度的优化方法。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述的多租户资源调度的优化方法。

本发明实施例提供的多租户资源调度的优化方法、多租户资源调度的优化装置、终端设备及计算机可读存储介质，通过对排队任务进行智能评估，拆分成大任务和小任务，通过虚拟资源管理，在任务运行过程中，可对优先级配置为高的关键任务的运行顺序做出调整，提高资源利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的虚拟资源管理的概念模型的示例图。

图2是本发明一较佳实施例的系统结构示意图。

图3是图2所示的虚拟资源管理器的结构示意图。

图4是本发明一个实施例中的大任务运行后期的说明示意图。

图5是本发明另一实施例提供的多租户资源调度的优化方法的流程图。

图6是本发明一个实施例提供的多租户资源调度的优化装置的模块图。

图7是用于执行多租户资源调度的优化方法的终端设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的发明构思通过大小任务评估方法(BS evaluate，BS为BigSmall)和虚拟资源功能，并对接YARN的任务队列，形成一套更能满足实际生产过程中“任务插队”、优化资源利用率的一套方法，具体概念模型如图1所示。

数据中心、大数据平台进入成熟运行期后，各租户会持续产出数据处理、分析、挖掘的任务在分布式系统上运行，概念模型中通过任务评估方法对任务进行智能评估，拆分成大小任务(BigT/SmallT),并通过虚拟资源功能对大小任务根据权重进行虚拟资源配置，并完成跟YARN中租户对应任务队列的对接。日常根据运行情况，管理人员可以调整B-S任务的配比情况，并在有需要的时候通过“关键进入时机管理”对关键任务进行插队处理。

接下来对概念模型的各块内容进行分别阐述。YARN(分布式系统资源调度器)负责分布式系统中具体资源调度的行为，本发明实施例中涉及的相关算法和虚拟资源功能最终对接到YARN中的任务队列中进行实际运行。租户资源映射部分对租户的任务所使用的资源对接到实际物理资源，完成任务运行工作。关键任务进入时机管理部分在关键任务进入实际管理并运行过程中，因业务需要，临时对关键任务的运行顺序做出调整。B-S任务配比部分负责调整租户队列中大小任务同时占用资源也就是说运行的占比，即是说，可通过B-S任务配比部分对租户队列中的配比情况进行调整。大小任务评估(BS evaluate)部分根据任务所处理的文件大小、内存占用量进行评估，区分出数据处理任务属于大任务还是小任务。

请参阅图2，本发明另一实施例提供了一种YARN的系统架构包括资源调度器10，节点管理器30，应用程序管理器50和租户70。该租户70向该应用程序管理器50提交任务。该应用程序管理器50向该资源调度器10请求执行任务所需的资源，包括CPU资源，内存资源等等。该应用程序管理器50接收到该资源调度器10分配的容器(container)之后，该应用程序管理器50通知该节点管理器30执行任务。该资源调度器10包括虚拟资源管理器101，该资源调度器10将物理资源的实际情况实时反馈到该虚拟资源管理器101。

请参阅图3，该虚拟资源管理器101包括大小任务配比单元103、关键任务管理单元105和租户资源映射单元107。该大小任务配比单元103根据任务所处理的文件大小、内存占用量等进行评估，将任务分为大任务和小任务，并根据租户分配到的资源总量调整租户的任务队列中大任务和小任务同时运行的占比情况。该大小任务配比单元103根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置。该关键任务管理单元105可根据需要，对优先级配置为高的关键任务的运行顺序做出调整。该租户资源映射单元107将该租户70的任务所使用的资源与实际物理资源对接，从而完成任务运行工作。该虚拟资源管理器101设置为同一时刻有且只能有一个大任务运行，因此与排队大任务优先级相同的小任务可以优先运行。该虚拟资源管理器101预设一大任务等待时间阈值，如果大任务的等待时间超过该时间阈值后，优先级相同的大任务和小任务中，大任务可以优先运行。

大任务是指任务本身需要的资源大于该租户70的分配到的资源总量一半以上的任务。假如该租户70被分配到的内存资源为200G，假设任务A需要360G的内存才能完成，那么该租户70拥有的资源无法一次完成任务A的运算。由于任务A所耗资源较大，故分两轮完成，且第二轮还空闲40G资源可提供其它任务运行。

小任务是指任务本身需要的资源小于该租户70的分配到的资源总量一半的任务。假如该租户70被分配到的内存资源为200G，假设任务B需要40G的内存才能完成，则还空闲160G资源可提供其它任务运行。

大任务和小任务的评估依据主要通过分析任务的输入文件，根据任务所需要的资源大小去预估判断该任务为大任务还是小任务。具体做法如下：

1.任务需要的container数

container.num＝Math.ceil(file.size×1024÷task.file.size)

2.mapper消耗的总内存大小

task.mapper.mem.total＝container.num×mapreduce.map.memory.mb

3.任务消耗的总内存大小

task.mem.total＝task.mapper.mem.total×mr.weight

4.判断task.mem.total大小

4.1如果task.mem.total大于租户的资源总量,则任务的虚拟资源量取租户的资源总量的权重(默认值35％)

task.resource＝tenant.resource×bigtask.resource.weight

4.2如果task.mem.total小于租户的资源总量

task.resource＝task.mem.total

例如，该租户70被分配到的内存资源为200G，目前租户资源队列queue1有三个任务需要运行，任务A和任务C是大任务，其中，完成任务A需要的内存资源为320G，完成任务C需要的内存资源为280G。任务B为小任务，完成任务B需要的内存资源为40G。由于完成任务A需要的内存资源已经超过租户被分配到的内存资源，故需运行两轮才能完成任务A。在任务运行到第二轮资源分配时，排队的任务中任务B和任务C同为关键任务，即YARN对任务B和任务C的优先级配置都为高：mapreduce.job.priority＝HIGH。

在这种情况下，任务B、C哪个先抢到可用资源进行任务运行是不确定的，但由于任务B使用资源较小，往往用户希望先完成任务B，也就是期望任务B先抢到资源。本发明的实施例结合大小任务和虚拟资源功能把任务在进入queues前根据队列实际情况和关键任务的资源需求进行控制，首先对三个任务在虚拟资源上进行设置，并把物理资源的实际情况实时反馈到虚拟资源池中。例如，虚拟资源池的一个示例可以是：任务A已经运行，不同大小的任务B、C……N均在等待中且同为高优先级。

此时，还可以对虚拟资源池的控制策略做出以下设置，即设置大/小任务(BigT/SmallT)在虚拟资源池的比例。例如，可以设置资源池里面同一时刻有且只能有1个大任务运行，目的就是为与排队大任务优先级相同的小任务可以优先运行。再例如，可以设置大任务等待时间阀值，避免出现挤压小任务的情况，大任务一直无法运行。又如，任务配比可以灵活根据用户的实际需求设置大小。

如图4所示，当上述任务A运行到后期，从运行机制角度来看，Mapreduce,Spark上的任务(job),都是拆解成许多小数据块运行在hadoop分布式系统的各数据节点上并行工作。对于分解出数据块运行比较多的情况,因各运行块的开始时间不同或者map与reduce过程消耗资源相差较大,如果单纯按任务使用的资源量进行任务调度的话,那么在任务运行的后期通常会出现部分资源空闲,但没反馈到队列控制器中，导致资源利用率下降。本发明实施例通过YARN的ResourceManagerRest接口获悉实际资源的释放动态，在大任务运行后期多插入小任务进行运行。

由于该虚拟资源管理器101设置为当多个任务同时运行时，有且只能有一个大任务运行，即同一时刻有且只能有一个大任务运行。因此在任务B和任务C中，该关键任务管理单元105优先选择小任务B运行。

该虚拟资源管理器101与物理资源的交互通过任务运行时设置的参数实现。表1是一个参数设置的例子。

表1

注：mr.weight和file.size是自定义的参数，其它为Hadoop本身的参数。

基于上述YARN的系统架构，本发明提供了一种多租户资源调度的优化方法。请结合参阅图5，本发明的多租户资源调度的优化方法包括以下步骤：

步骤300，各租户持续产出数据处理、分析、挖掘的任务，该虚拟资源管理器101接收执行各个租户的任务所需的资源的调度请求。

步骤302，该大小任务配比单元103对该各个租户的待执行任务进行评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据租户分配到的的资源总量调整租户的任务队列中大任务和小任务同时运行的占比情况。

步骤304，该虚拟资源管理器101根据大任务和小任务同时运行的占比情况对大任务和小任务进行虚拟资源配置，并按照各个任务预先设置的优先级别依次运行任务。该虚拟资源管理器101设置为当多个任务同时运行时，有且只能有一个大任务运行，即同一时刻有且只能有一个大任务运行。

步骤306，该虚拟资源管理器101判断优先级配置为高的关键任务中的大任务的等待时间是否超过预设的时间阈值，如果等待时间超过了预设的时间阈值，则执行步骤308，否则，执行步骤310。

步骤308，该关键任务管理单元105优先选择运行该等待时间超过预设的时间阈值的大任务。

步骤310，该关键任务管理单元105优先选择运行与排队大任务优先级相同的小任务。

本发明的多租户资源调度的优化方法通过对排队任务进行智能评估，拆分成大任务和小任务，通过虚拟资源管理，在任务运行过程中，可对关键任务的运行顺序做出调整，提高了系统资源利用率。

在一个示例实施例中，本发明提供了一种多租户资源调度的优化装置，如图6所示。该装置包括接收模块1031、任务划分模块1032和资源配置模块1033。其中，接收模块1031用于接收各个租户的待执行任务所需的资源的调度请求；任务划分模块1032，用于根据所需的资源的调度请求对该各个租户的待执行任务进行智能评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；资源配置模块1033，用于根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置。

另外，结合图5描述的本发明实施例的多租户资源调度的优化方法可以由终端设备400来实现。图7示出了本发明实施例提供的终端设备400的硬件结构示意图。

终端设备400可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的多租户资源调度的优化方法。

在一个示例中，终端设备400还可包括通信接口403和总线410。其中，如图7所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将终端设备400的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的多租户资源调度的优化方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的多租户资源调度的优化方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种多租户资源调度的优化方法，其特征在于，所述方法包括：

接收各个租户的待执行任务所需的资源的调度请求；

根据所需的资源的调度请求对该各个租户的待执行任务进行评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；

根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置；

并且，按照各个任务预先设置的优先级依次运行任务；

当多个任务同时运行时，将所述多个任务调整为有且只能有一个大任务运行；

判断优先级配置为高的关键任务中的大任务的等待时间是否超过预设的时间阈值，

如果等待时间超过了该预设的时间阈值，优先选择运行该等待时间超过该预设的时间阈值的大任务；

如果等待时间没有超过该预设的时间阈值，优先选择运行与排队大任务优先级相同的小任务。

2.根据权利要求1所述的多租户资源调度的优化方法，其特征在于，该方法包括：通过分析待执行任务的输入文件，根据待执行任务所需要的资源大小预估判断该任务为大任务还是小任务。

3.根据权利要求2所述的多租户资源调度的优化方法，其特征在于，该方法包括：将大任务设置为执行任务需要的资源大于租户分配到的资源总量一半以上的任务。

4.根据权利要求3所述的多租户资源调度的优化方法，其特征在于，该方法包括：将小任务设置为执行任务需要的资源小于租户分配到的资源总量一半的任务。

5.一种多租户资源调度的优化装置，其特征在于，包括：

接收模块，用于接收各个租户的待执行任务所需的资源的调度请求；

任务划分模块，用于根据所需的资源的调度请求对该各个租户的待执行任务进行智能评估，将待执行任务按照其所需资源的大小分成大任务和小任务，并根据每个租户分配到的资源总量调整该租户的待执行任务中同时运行的大任务和小任务的占比情况；

资源配置模块，用于根据调整后的同时运行的大任务和小任务的占比情况对各个租户的大任务和小任务进行虚拟资源配置；并且，按照各个任务预先设置的优先级依次运行任务；

当多个任务同时运行时，将所述多个任务调整为有且只能有一个大任务运行；

判断优先级配置为高的关键任务中的大任务的等待时间是否超过预设的时间阈值，

如果等待时间超过了该预设的时间阈值，优先选择运行该等待时间超过该预设的时间阈值的大任务；

如果等待时间没有超过该预设的时间阈值，优先选择运行与排队大任务优先级相同的小任务。

6.一种终端设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-4任一项所述的多租户资源调度的优化方法。

7.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-4中任一项所述的多租户资源调度的优化方法。

Images