CN110209494B - 一种面向大数据的分布式任务调度方法及Hadoop集群 - Google Patents

Abstract

本发明公开了一种面向大数据的分布式任务调度方法及Hadoop集群，本发明的方法包括根据集群中每个节点的实时性能，并考虑到每个节点和不同任务的匹配程度，来对任务队列中的任务进行调度；本发明的Hadoop集群是包括可实现本发明方法模块的集群。本发明具有提高了资源利用率，加快作业完成时间的效果。

Description

一种面向大数据的分布式任务调度方法及Hadoop集群

技术领域

本发明属于大数据相关领域，涉及一种面向大数据中心异构集群的调度方法。

背景技术

近年来，随着互联网产业的飞速发展，从电子商务领域到电子科学研究领域，都有许多应用基于高性能计算或实验设备并且正在生成大量的数据，例如：在物联网方面，传感器、人们穿戴的便携式设备与移动设备无时无刻的在产生数据，在网上购物时的浏览记录与消费习惯也会被网站后台程序所分析产生大量的用户特征信息，通讯过程中产生的大量缓存文件，这些音频、视频与文本文件也会产生大量的数据，以及社交网络中记录用户信息的日志文件，也都是以GB或TB的大小来计量数据规模的，这些各个领域所产生的大量的可用数据，就是常说的“大数据”。

为了处理和分析这些数据，常见的方法就是，分布式计算框架与弹性计算资源的分配，框架本身允许处理各种数据与可执行程序，通常称之为应用程序或者作业，在过去的一段时间里，有很多类似的大数据处理框架被研发与应用到工程技术领域，其中应用最为广泛的是Apache的开源旗舰项目Hadoop，通常在大数据中应用类似于Hadoop等生态系统处理类似规模的数据。该生态系统所应用的计算框架叫做Mapreduce，它是一个开源的分布式存储与计算模型，编程人员通过系统提供的各种接口结合自己要实现的业务逻辑关系，便可以使用该生态系统做并行的数据处理。

在当前的Hadoop生态系统中，有两个关键的组成部分：计算框架，包括mapreduce和spark；资源管理器，如yarn。

MapReduce是一个传统的大数据处理框架，由一个映射阶段和一个reduce阶段组成，两个阶段都是并行执行的，并且在这两个阶段之间有一个混乱阶段，平均占整个运行时的33％，详细的mapreduce执行过程可见图2。spark为并行计算提供了一个类似有向无环图(DAG)的处理框架。

yarn由一个全局资源管理器(RM)和一个应用程序管理器(Applicationmanager)以及一个每个应用程序的Applicationmaster(AM)组成。调度程序负责将资源分配给各种正在运行的应用程序，而ApplicationsManager负责接受提交的作业，并向可运行的作业提供执行器，或者在失败时为重新启动执行器提供服务。整个生态系统的性能在很大程度上取决于资源管理层。

在整个Hadoop集群系统中，管理节点作为yarn全局资源管理的一部分，工作节点作为作业执行器的载体，即管理节点行使yarn在资源管理中的作用，工作节点来提供作业的执行器。

对于大数据处理的系统性能问题，各个领域的专家都从多个方面对调度性能进行了优化。例如，在日程安排中考虑了数据位置，而其他工作则侧重于建模和抽象并行应用程序。近年来，随着SDN(软件定义网络)技术的发展，协同调度网络和计算资源的网络感知任务调度引起了广泛的关注。随着集群不断扩展新的组件，许多研究人员开始考虑使用混合资源的异构系统。这些方法在其目标框架中取得了不同程度的成功。尽管如此，设计一个通用的可插拔调度程序，在不同的计算框架中运行良好，并且考虑在异构环境中的节点与任务的匹配程度，提高系统的稳定性，可伸缩性，并进一步提高系统效率与负载平衡，仍然亟待解决。

发明内容

针对现有技术的缺陷和不足，本发明提供了一种面向大数据的分布式任务调度方法。

本发明提供的方法包括：

步骤一，收集历史数据，该历史数据中包含至少一个作业和每个作业完成周期内各工作节点的实时节点属性，所述节点属性包括CPU可用资源、内存可用资源、硬盘的可用资源、节点的可用带宽资源；

步骤二，针对每个作业构建资源可用矩阵和任务资源需求矩阵，并针对每个作业的资源可用矩阵和任务资源需求矩阵构建任务分配方案：

对于任一作业A，执行Step1-4：

Step1，针对作业A构建资源可用矩阵和任务资源需求矩阵，所述资源可用矩阵由作业A完成周期内各工作节点的最初节点属性构成，所述任务资源需求矩阵由作业A中各任务的任务信息构成，所述任务信息包括完成任务需要的CPU资源、内存资源、硬盘资源以及数据传输的带宽资源；

Step2，对资源可用矩阵进行聚类，得到k个节点虚拟集群；对任务资源需求矩阵进行聚类，得到k个任务虚拟集群，k为大于等于1的自然数；

Step3，建立k个节点虚拟集群与k个任务虚拟集群之间的映射关系形成映射方案，计算该映射方案下的任务完成时间；

Step4，k＝k+1，重复执行步骤Step2和3，当k＝K+1时执行Step5，K为大于1的自然数；

Step5，选取作业A任务完成时间最短的k值k_A′，k_A′对应的映射方案为任务分配方案。

优选的，所述资源可用矩阵中同一工作节点的节点属性位于同一行，并且资源可用矩阵中同一列的节点属性类别唯一，或者，所述资源可用矩阵中同一工作节点的节点属性位于同一列，并且资源可用矩阵中同一行的节点属性类别唯一；所述任务资源需求矩阵的列向量或行向量中的节点属性类别与资源可用矩阵中的列向量或行向量中的节点属性类别相同。

进一步，本发明的方法还包括：

Step5，收集新作业，获取该新作业输入时的各工作节点的节点属性，构建该新作业的任务资源需求矩阵和资源可用矩阵；

Step6，从历史数据中选取与新作业欧式距离和最小的历史作业B，所述欧式距离和为新作业与某一历史作业的任务资源需求矩阵的欧式距离与资源可用矩阵的欧式距离之和；

Step7，对新作业的资源可用矩阵进行聚类，得到k_B′个节点虚拟集群，对新任务资源需求矩阵进行聚类，得到k_B′个任务虚拟集群，k_B′为作业B任务完成时间最短的k值；

Step8，建立k_B′个节点虚拟集群与k_B′个任务虚拟集群之间的映射关系形成新作业的任务分配方案。

4、如权利要求1或3所述的面向大数据的分布式任务调度方法，其特征在于，所述聚类采用K-means聚类方法。

可选的，所述任务分配方案的建立采用选取欧式距离最短的节点虚拟集群与任务虚拟集群建立一对一映射关系。

可选的，所述任务分配方案的建立采用穷举的方法构建多套一对一的映射方案，并从多套映射方案中选取任务完成时间最短的映射方案作为任务分配方案。

优选的，本发明方法中K＝min{作业A完成周期内所使用过的工作节点数，作业A包含的任务数}。

本发明的方法可在Hadoop集群中执行。

进一步，本发明还提供了一种Hadoop集群，包括管理节点和工作节点，所述工作节点包括信息发送模块；所述管理节点包括任务调度模块；所述信息发送模块用于实时向管理节点输送节点属性和作业任务信息；所述任务调度模块用于执行本发明的方法。

本发明根据集群中每个节点的实时性能，并考虑到每个节点和不同任务的匹配程度，来对任务队列中的任务进行调度，提高集群的资源利用率，加快作业完成时间。

本发明的方法中每个控制节点通过程序收集其管理的工作节点的工作信息(CPU利用率，内存利用率等)给管理程序。基于收集到的资源信息构建资源可用矩阵，提交作业之后根据作业构建任务需求矩阵。根据K-means的方法动态的规划两个矩阵形成虚拟的节点集群与任务集群并依据历史信息计算出完成时间最少的映射方案，按照空间距离最短的原则分配任务到指定的工作节点中去。

附图说明

图1为设计的KMTS算法的思想架构图；

图2为数据大小不同时本发明方法与默认调度算法的作业平均完成时间比较；

图3为任务数量不同时本发明方法与默认调度算法的作业平均完成时间比较。

具体实施方式

本发明方案中涉及的术语、算法、数据名称等如无特殊解释均按照本领域的常规理解。

以下是关于本发明的优选实施例，以对本发明的方案做进一步解释说明。

实施例1：

步骤1，收集历史数据，包括一个或多个作业数据及每个作业任务完成周期内的实时节点的CPU利用率、内存利用率、CPU核数和CPU主频等信息。

步骤2，构建每个作业的资源可用矩阵与任务资源需求矩阵；资源可用矩阵中同一工作节点的节点属性位于同一行或同一列，并且资源可用矩阵中同一列或同一行的节点属性类别唯一；任务资源需求矩阵的列向量或行向量中的节点属性类别与资源可用矩阵中的列向量或行向量中的节点属性类别相同；对于任一作业A，进行一下处理：

结合图1所示，利用K-means方法分别对资源可用矩阵与任务资源需求矩阵进行聚类：

(1)设置K值

确定一个K的值；K值大小为大于1的自然数，该实施例为历史数据中每次执行作业所用工作节点的数量与每次执行的作业所包含的任务的数量二者较小的值，即K＝min{作业A完成周期内所使用过的工作节点数，作业A包含的任务个数}；

(2)对资源可用矩阵与任务资源需求矩阵进行聚类：

采用K-means方法进行聚类，具体方式包括：随机选择一个向量组作为虚拟集群的成员，按照求平均值的方法，计算出该虚拟集群中与计算出的平均向量最接近的向量作为该虚拟集群的中心点，其中虚拟可用资源矩阵所聚类出的集群叫做节点虚拟集群，其中心定义为MC，虚拟任务需求矩阵向量聚类出的集群叫做任务虚拟集群，其中心定义为TC，分别求得资源需求向量与资源可用向量与虚拟中心的距离，将与其距离更近的中心作为其新的虚拟节点/任务集群中心，该向量加入到该虚拟节点/任务集群中，待所有向量都根据欧拉距离加入新的集群后，按照求平均值的方式更新中心点的位置，并重复以上步骤，按照K-means的方法理论，最终整个矩阵的向量将会收敛为k个虚拟集群；k＝1,2,3,…,K；

(3)遍历所有的2k个任务虚拟集群与节点虚拟集群，按照对应的欧式距离最小的原则做映射分配，即将任务虚拟集群分配给距离其中心TC最短的MC所处的节点虚拟集群做计算，此时会得到一系列两两集群的映射组合，基于这一映射组合，按照资源需求总和的从大到小的顺序对集群中的任务进行排序，然后计算任务虚拟集群与节点虚拟集群中所有向量的距离，优先分配资源需求小的任务向量给可用资源多的节点资源向量，待所有任务向量都分配给指定的节点资源向量之后，计算出此时计算每个任务所需要的时间TPT，并求出整个作业的完成时间JPT；

(4)k＝k+1，重复上述重复步骤(2)和(3)，当k＝K+1时执行步骤(5)；

(5)上述步骤执行后不同的k值可以得到不同的作业完成时间JPT，选择其中任务完成时间JPT最少的一个作为最优k_A，并且，记录此时的资源需求矩阵、资源可用矩阵与K值的组合以便后续有新的作业提交时，用以调度任务。

实施例2：

该实施例是在实施例1方案的基础上，按照所选的K值与最适合的聚类模型进行最后的任务调度。

当用户提交一个作业到计算集群后；对于新提交的作业，构建出一个该作业所含任务的资源需求矩阵建出一个资源可用矩阵；所述资源可用矩阵由新作业输入时各工作节点的节点属性构成，任务资源需求矩阵由新作业中各任务的任务信息构成，所述任务信息包括完成任务需要的CPU资源、内存资源、硬盘资源以及数据传输的带宽资源；

对于新构建的资源需求矩阵与新构建的资源可用矩阵，从实施例1的历史数据中寻找出与新作业的资源需求矩阵的资源可用矩阵相似度最大的对应矩阵。具体的计算方法为，新作业与某一历史作业的任务资源需求矩阵的欧式距离与资源可用矩阵的欧式距离之和，欧式距离之和最小相似度最大；

选取的矩阵对对应的作业为作业B、对应的最优k值为k_B，采用K-means方法对新作业的资源需求矩阵与资源可用矩阵进行聚类聚类，得到此时新提交的作业和此时集群中节点的k_B个任务虚拟集群与k_B个节点虚拟集群；

然后采用穷举的方法构建k_B个任务虚拟集群与k_B个节点虚拟集群的多套一对一的映射方案，并从多套映射方案中选取任务完成时间最短的映射方案作为任务分配方案，得到新的映射关系后，完成最后的任务调度工作。

实施例3：

该实施例提供的是一种可实现实施例1或/和2方案的Hadoop集群。

该Hadoop集群根据不同的操作系统，实现不同的监视程序，然后在管理节点都部署一个监视程序，监视程序可以实时读取到节点的CPU利用率、内存利用率、CPU核数和CPU主频等信息。

例如在linux系统中，根据linux中/proc/stat和/proc/meminfo文件中的信息，可以计算出当前节点的CPU使用率、内存使用率等信息。

针对实施例1、2提到的方法，在每个工作节点部署一个监视程序，用于把节点的实时信息写到文件里，每当工作节点通过Heartbeat与管理节点通讯的时候，从该文件读取出节点的实时信息，然后把读取到的信息一起发给管理节点。

实验验证

申请人通过以下实验验证本发明方法的可行性和有效性。

实验环境：在实验中，利用服务器配置不同的虚拟机作为实际工程应用中的计算节点，考虑到节点的异构性能，所以不同的服务器所配置的虚拟机也分配不同的CPU、内存和硬盘容量等参数。发明人把设计的任务调度算法应用在Hadoop生态系统之中，设置一个Hadoop计算集群，该集群由6个虚拟机节点组成，这6个虚拟机分布在不同类型的服务器上。

在本发明的Hadoop集群中，由于集群规模比较小，所以把HDFS中数据3备份设置成2备份。HDFS数据块的大小设置为64MB。虚拟机使用VMware workstation12.0，操作系统安装的Ubunt14.04版本。集群安装的是Hadoop2.4.1版本。集群的具体配置如表1所示。

表1 Hadoop集群配置

采用作业完成时间作为评估参数进行了对比实验。作业的完成时间是指从提交作业到返回处理结果的时间。这个参数指标反映了系统提供的服务和交互的能力。作业完成时间越短，说明系统性能越好。实验中选取的作业类型是处理大数据任务中最为常见的WordCount。因为WordCount涉及到大量数据的传输与计算，有利于比较算法之间的差异。

为了验证本文发明方法的有效性，把本发明的调度算法和默认调度算法进行了对比。选择运行不同规模的作业做5次并取其平均结果以确保结果的准确性。

本发明的调度算法和默认调度算法运行在在同一个集群，并且它们运行相同的作业。实验结果如图2、3所示。图2为输入数据量大小不同的情况下的性能比较，图3为输入相同规模的大数据，同时提交多个作业情况下的性能比较。可以清楚地看到本发明的调度算法比默认调度算法的平均完成时间少。

Claims (7)

1.一种面向大数据的分布式任务调度方法，其特征在于，方法包括：

步骤一，收集历史数据，该历史数据中包含至少一个作业和每个作业完成周期内各工作节点的实时节点属性，所述节点属性包括CPU可用资源、内存可用资源、硬盘的可用资源、节点的可用带宽资源；

步骤二，针对每个作业构建资源可用矩阵和任务资源需求矩阵，并针对每个作业的资源可用矩阵和任务资源需求矩阵构建任务分配方案：

对于任一作业A，执行Step1-5：

Step1，针对作业A构建资源可用矩阵和任务资源需求矩阵，所述资源可用矩阵由作业A完成周期内各工作节点的最初节点属性构成，所述任务资源需求矩阵由作业A中各任务的任务信息构成，所述任务信息包括完成任务需要的CPU资源、内存资源、硬盘资源以及数据传输的带宽资源；

Step2，对资源可用矩阵进行聚类，得到k个节点虚拟集群；对任务资源需求矩阵进行聚类，得到k个任务虚拟集群，k为大于等于1的自然数；

Step3，建立k个节点虚拟集群与k个任务虚拟集群之间的映射关系形成映射方案，计算该映射方案下的任务完成时间；

Step4，k＝k+1，重复执行步骤Step2和3，当k＝K+1时执行Step5，K为大于1的自然数；K＝min{作业A完成周期内所使用过的工作节点数，作业A包含的任务数}；所述聚类采用K-means聚类方法；

Step5，选取作业A任务完成时间最短的k值k_A′，k_A′对应的映射方案为任务分配方案。

2.如权利要求1所述的面向大数据的分布式任务调度方法，其特征在于，所述资源可用矩阵中同一工作节点的节点属性位于同一行，并且资源可用矩阵中同一列的节点属性类别唯一，或者，所述资源可用矩阵中同一工作节点的节点属性位于同一列，并且资源可用矩阵中同一行的节点属性类别唯一；所述任务资源需求矩阵的列向量或行向量中的节点属性类别与资源可用矩阵中的列向量或行向量中的节点属性类别相同。

3.如权利要求1所述的面向大数据的分布式任务调度方法，其特征在于，方法还包括：

Step6，收集新作业，获取该新作业输入时的各工作节点的节点属性，构建该新作业的任务资源需求矩阵和资源可用矩阵，所述资源可用矩阵由新作业输入时各工作节点的节点属性构成，所述任务资源需求矩阵由新作业中各任务的任务信息构成，所述任务信息包括完成任务需要的CPU资源、内存资源、硬盘资源以及数据传输的带宽资源；

Step7，从历史数据中选取与新作业欧式距离和最小的历史作业B，所述欧式距离和为新作业与某一历史作业的任务资源需求矩阵的欧式距离与资源可用矩阵的欧式距离之和；

Step8，对新作业的资源可用矩阵进行聚类，得到k_B′个节点虚拟集群，对新任务资源需求矩阵进行聚类，得到k_B′个任务虚拟集群，k_B′为作业B任务完成时间最短的k值；

Step9，建立k_B′个节点虚拟集群与k_B′个任务虚拟集群之间的映射关系形成新作业的任务分配方案。

4.如权利要求1或3所述的面向大数据的分布式任务调度方法，其特征在于，所述任务分配方案的建立采用选取欧式距离最短的节点虚拟集群与任务虚拟集群建立一对一映射关系。

5.如权利要求3所述的面向大数据的分布式任务调度方法，其特征在于，所述任务分配方案的建立采用穷举的方法构建多套一对一的映射方案，并从多套映射方案中选取任务完成时间最短的映射方案作为任务分配方案。

6.如权利要求1或3所述的面向大数据的分布式任务调度方法，其特征在于，方法在Hadoop集群中执行。

7.一种Hadoop集群，包括管理节点和工作节点，其特征在于，所述工作节点包括信息发送模块；所述管理节点包括任务调度模块；所述信息发送模块用于实时向管理节点输送节点属性和作业任务信息；所述任务调度模块用于执行权利要求1或3所述方法。

Images