CN114296934A - 调配Yarn计算资源的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了调配Yarn计算资源的方法、装置、计算机设备及存储介质。该方法包括定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；根据数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；根据当前负载因子和当前优先级因子，更新数据汇聚列队和数据调度列队的当前Yarn计算资源配比。本发明提出了负载因子和优先级因子的概念，在满足调度器原则的前提下，按本方法可以计算出不同队列的自适应分配的最大占比，具有更合理的分配资源的优点。

Description

调配Yarn计算资源的方法、装置、计算机设备及存储介质

技术领域

本发明涉及新兴信息技术领域，尤其涉及一种调配Yarn计算资源的方法、装置、计算机设备及存储介质。

背景技术

传统Capacity调度器是按照事先经验给数据汇聚队列(data_merge)和数据调度队列(data_dev)分配一个固定的Yarn计算资源配比值(Configured Capacity)，基于这个固定值无法充分把数据汇聚和数据调度具备的业务串行特点和若干数据汇聚具有的孤立定时的特性考虑到，无法达到在合适的时间点让2个队列具有最大的资源使用占比。

发明内容

本发明的目的是提供一种调配Yarn计算资源的方法、装置、计算机设备及存储介质，旨在解决现有调度器无法实现在合适的时间点让各个队列具有最大的资源使用占比的问题。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种调配Yarn计算资源的方法，包括：

定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

根据所述数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

根据所述当前负载因子和当前优先级因子，更新所述数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

另外，本发明要解决的技术问题是还在于提供一种调配Yarn计算资源的装置，包括：

负载因子计算单元，用于定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

优先级因子设置单元，用于根据所述数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

资源配比更新单元，用于根据所述当前负载因子和当前优先级因子，更新所述数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的调配Yarn计算资源的方法。

另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的调配Yarn计算资源的方法。

本发明实施例公开了一种调配Yarn计算资源的方法、装置、计算机设备及存储介质。该方法包括定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；根据数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；根据当前负载因子和当前优先级因子，更新数据汇聚列队和数据调度列队的当前Yarn计算资源配比。本发明实施例提出了负载因子和优先级因子的概念，在满足调度器原则的前提下，按本方法可以计算出不同队列的自适应分配的最大占比，具有更合理的分配资源的优点。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的调配Yarn计算资源的方法的流程示意图；

图2为本发明实施例提供的步骤S101的子流程示意图；

图3为本发明实施例提供的步骤S202的子流程示意图；

图4为本发明实施例提供的Yarn计算资源的装置的示意性框图；

图5为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的调配Yarn计算资源的方法的流程示意图；

如图1所示，该方法包括步骤S101～S103。

S101、定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

S102、根据数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

S103、根据当前负载因子和当前优先级因子，更新数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

为方便理解发明，首先介绍数据汇聚列队和数据调度列队，数据汇聚列队和数据调度列队是ETL流程中的两个大环节，属于两个不同的租户队列，并且任务满足先数据汇聚再数据调度的串行顺序，也就是说每天的调度任务只有在数据汇聚队列的任务执行完成后，才会自动触发对应的数据调度列队的任务；这两个队列在执行对应的任务时，由Capacity调度器来分配Yarn资源，Yarn资源的分配占比是队列执行任务效率高低的关键，理想情况下，应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源；基于此本发明提出了动态调配Yarn资源的方法。

具体的，本发明提出了负载因子和优先级因子的概念，满足Capacity调度器原则的前提下，按本方法可以计算出数据汇聚列队和数据调度列队的自适应分配的最大占比，并利用Yarn接口定时刷新Yarn计算资源，不会对业务造成故障，适用于数据汇聚列队和数据调度列队的资源占比动态调配，是串行化场景下的Yarn资源自适应分配的优化策略，实现了按照实际业务需要，分配合理的资源，具有缩短调度时间，提高生产效率的效果。

具体的，按如下公式计算数据汇聚列队和数据调度列队的当前Yarn计算资源配比:

x+y＝A(x∈[1％,A％)，y∈[1％,A％))；

x/y＝α*β(α＝3.0)；

其中，x表示数据汇聚列队的当前Yarn计算资源配比，y表示数据调度列队的当前Yarn计算资源配比，A表示当前除去别的队列预占的Yarn计算资源后，整个集群环境可以配置给x，y的总资源配比，A的取值范围不大于100％，β表示当前负载因子，α表示当前优先级因子，β_x表示数据汇聚列队的当前任务个数，β_y表示数据调度列队的当前任务个数。

本实施例中，整个Yarn计算资源总和是100％，除去别的队列预占资源后，可设定90％用于数据汇聚列队和数据调度列队，即A优选为90％，具体可根据实际情况进行选用；当前优先级因子α是按照业务重要性设置的预设值，可以按预设的业务等级标准进行设置或者人工进行设置，当前优先级因子α代表了数据调度使用Yarn计算资源的优先级，可以按照实际情况进行测试并设置，因数据汇聚队列在业务上优先级高于数据调度队列，这里初始的优选值为3，该值越大，计算出的Yarn计算资源的分配占比约偏向于数据汇聚列队，基于此，当数据汇聚列队提交的当前任务个数越大时，可以增大当前优先级因子α。

具体的，将A、β、α、β_x和β_y的值代入上述公式，即可计算出数据汇聚列队的当前Yarn计算资源配比x，以及数据调度列队当前Yarn计算资源配比y。特别的，若获取数据汇聚列队的当前任务个数和数据调度列队的当前任务个数时，当数据汇聚列队的当前任务个数为0时，将数据汇聚列队的当前Yarn计算资源配比设置为预设配比，以及当数据调度列队的当前任务个数为0时，将数据调度列队的当前Yarn计算资源配比设置为预设配比，这里的预设配比优选为1％，用于维持最低计算待机需求即可。

在一实施例中，如图2所示，步骤S101包括：

S201、根据不同任务的启动时间，由定时脚本根据启动时间启动对应的任务，并将该任务移至数据汇聚列队中；

该步骤用于定时统计数据汇聚列队提交到Yarn的当前任务个数，每个任务都是有定时的启动时间的，每到对应任务的启动时间后，由定时脚本启动该任务，再将该任务移至数据汇聚列队中，比如当天的数据汇聚列队按照时间串行有2个任务(a、b)，任务a每天定时启动的时间配置为0:30，任务b每天定时启动的时间配置为1:30，则在0:30-1:30时利用Yarn接口命令获取到数据汇聚列队提交到Yarn的当前仍在运行的任务个数为1，在1:30之后获取提交到Yarn的当前仍在运行的任务个数则为2，基于此，根据不同任务的启动时间配置来启动对应的任务后，可在不同的时刻获取到数据汇聚列队中串行提交到Yarn的当前任务个数。

S202、判定各个任务的归并结束时间，由定时脚本根据归并结束时间调度对应的任务，并将该任务移至数据调度列队中；

该步骤用于定时统计数据调度列队提交到Yarn的当前任务个数，每个任务在数据汇聚列队的执行时间是不定的，只有在数据汇聚列队中执行结束后，执行结束的时间也就是归并结束时间，然后由定时脚本根据归并结束时间启动对应的任务；然后再自动触发数据调度程序，并将该任务移至数据调度列队下，此时数据调度列队将该任务提交到Yarn，并更新数据调度列队提交到Yarn的当前任务个数，比如上述例举的任务a和任务b，假设判定任务a的归并结束时间为1:00，任务b归并结束时间为2:00，则在1:00-2:00时利用Yarn接口命令获取到数据调度列队提交到Yarn的当前仍在运行的任务个数为1，在2:00之后获取提交到Yarn的当前仍在运行的任务个数则为2，具体判定各个任务的归并结束时间的过程在下述步骤S301-S303中进行阐述。

S203、按预设时间间隔，统计数据汇聚列队的当前任务个数和数据调度列队的当前任务个数，根据数据汇聚列队的当前任务个数和数据调度列队的当前任务个数的比值更新当前负载因子。

该步骤中，按预设时间间隔执行一次统计，具体按步骤S201-202的统计方式即可分别统计出数据汇聚列队的当前任务个数和数据调度列队的当前任务个数，然后将当前统计的数据汇聚列队的当前任务个数除以数据调度列队的当前任务个数，即β_x/β_y的比值作为当前负载因子。

在一实施例中，如图3所示，具体介绍了判定各个任务的归并结束时间的过程，步骤S202包括：

S301、在数据汇聚列队中，定时扫描每一任务在mysql表中是否有对应的入库标记的记录，若有则进入步骤S202，若没有则跳转至步骤S203；

S302、判定对应的任务结束时间，由定时脚本调度对应的任务，并触发数据调度程序将该任务移至数据调度列队中；

S303、等待下一次扫描。

本实施例中，在数据汇聚列队中，每一任务在执行过程中会生成新的hive分区表，通过定时扫描每一任务生成的hive分区表的记录数，或者扫描接入hive分区表的对应分区hdfs目录是否生成，若记录数达到预先设定的记录值或分区hdfs目录已生成，则在mysql表中插入对应任务入库标记的记录，也就是说定时扫描的过程中，判断每一任务在mysql表中是否有对应的入库标记的记录即可判断出该任务是否结束，若有对应的入库标记判定该任务结束。

当判定对应的任务结束后，即可触发数据调度程序，将该任务移至数据调度列队下。

本发明实施例还提供一种调配Yarn计算资源的装置，该调配Yarn计算资源的装置用于执行前述调配Yarn计算资源的方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的调配Yarn计算资源的装置的示意性框图。

如图4所示，调配Yarn计算资源的装置400，包括：负载因子计算单元401、优先级因子设置单元402、以及资源配比更新单元403。

负载因子计算单元401，用于定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

优先级因子设置单元402，用于根据数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

资源配比更新单元403，用于根据当前负载因子和当前优先级因子，更新数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

该装置充分考虑到队列之间的业务串行特征和队列任务中具有孤立的特性，通过动态刷新数据汇聚列队和数据调度列队的YRAN计算资源，从而保证在数据汇聚列队和数据调度列队的YRAN计算资源之和一定的情况下，动态调配各自的当前Yarn计算资源配比，实现整体调度资源利用最大化的目的。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述调配Yarn计算资源的装置可以实现为计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行调配Yarn计算资源的方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行调配Yarn计算资源的方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域技术人员可以理解，图5中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图5所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的调配Yarn计算资源的方法。

存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种调配Yarn计算资源的方法，其特征在于，包括：

定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

根据所述数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

根据所述当前负载因子和当前优先级因子，更新所述数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

2.根据权利要求1所述的调配Yarn计算资源的方法，其特征在于，按如下公式计算数据汇聚列队和数据调度列队的当前Yarn计算资源配比:

x+y＝A(x∈[1％,A％)，y∈[1％,A％))；

x/y＝α*β(α＝3.0)；

其中，x表示数据汇聚列队的当前Yarn计算资源配比，y表示数据调度列队的当前Yarn计算资源配比，A表示当前除去别的队列预占的Yarn计算资源后，整个集群环境可以配置给x，y的总资源配比，A的取值范围不大于100％，β表示当前负载因子，α表示当前优先级因子，β_x表示数据汇聚列队的当前任务个数，β_y表示数据调度列队的当前任务个数。

3.根据权利要求1所述的调配Yarn计算资源的方法，其特征在于，所述定时获取数据汇聚列队的当前任务个数和数据调度列队的当前任务个数，并计算出当前负载因子，包括：

根据不同任务的启动时间，由定时脚本根据启动时间启动对应的任务，并将该任务移至数据汇聚列队中；

判定各个任务的归并结束时间，由定时脚本根据归并结束时间调度对应的任务，并将该任务移至所述数据调度列队中；

按预设时间间隔，统计所述数据汇聚列队的当前任务个数和数据调度列队的当前任务个数，根据所述数据汇聚列队的当前任务个数和数据调度列队的当前任务个数的比值更新所述当前负载因子。

4.根据权利要求3所述的调配Yarn计算资源的方法，其特征在于，所述判定各个任务的归并结束时间，由定时脚本根据归并结束时间调度对应的任务，并将该任务移至所述数据调度列队中，包括：

在所述数据汇聚列队中，定时扫描每一任务在mysql表中是否有对应的入库标记的记录，若有则判定对应的任务结束；

当判定对应的任务结束后，由定时脚本调度对应的任务，并触发数据调度程序将该任务移至所述数据调度列队中。

5.根据权利要求4所述的调配Yarn计算资源的方法，其特征在于，所述在所述数据汇聚列队中，定时扫描每一任务在mysql表中是否有对应的入库标记的记录，若有则判定对应的任务结束，包括：

在所述数据汇聚列队中，定时扫描每一任务在运行过程中生成的hive分区表的记录数，或者扫描接入hive分区表的对应分区hdfs目录是否生成，若所述记录数达到预先设定的记录值或分区hdfs目录已生成，则在mysql表中插入对应任务入库标记的记录，并判定对应的任务结束。

6.根据权利要求1所述的调配Yarn计算资源的方法，其特征在于，所述定时获取数据汇聚列队的当前任务个数和数据调度列队的当前任务个数之后，包括：

当所述数据汇聚列队的当前任务个数为0时，将所述数据汇聚列队的当前Yarn计算资源配比设置为预设配比。

7.根据权利要求1所述的调配Yarn计算资源的方法，其特征在于，所述定时获取数据汇聚列队的当前任务个数和数据调度列队的当前任务个数之后，还包括：

当所述数据调度列队的当前任务个数为0时，将所述数据调度列队的当前Yarn计算资源配比设置为预设配比。

8.一种调配Yarn计算资源的装置，其特征在于，包括：

负载因子计算单元，用于定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交的当前任务个数，计算出当前负载因子；

优先级因子设置单元，用于根据所述数据汇聚列队和数据调度列队中的任务优先级，设定对应的当前优先级因子；

资源配比更新单元，用于根据所述当前负载因子和当前优先级因子，更新所述数据汇聚列队和数据调度列队的当前Yarn计算资源配比。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的调配Yarn计算资源的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的调配Yarn计算资源的方法。

Images