CN104077398A - 基于Hadoop多丛集环境的工作分派系统及方法 - Google Patents

Abstract

一种基于Hadoop多丛集环境的工作分派的系统及方法，应用在多个大量数据处理的分布式计算机丛集，能够根据执行程序特征，待处理数据特性，与计算机丛集的动态行为，选择最佳的执行环境；可以降低不同运算特性的工作的排程等待时间，有效的加快运算分析的速度，并提升整体资源使用效率。该系统包括丛集监控模块、丛集特征模块、工作数据分析模块、工作程序分析模块以及执行环境选择模块。该方法通过掌握丛集特征、监控丛集运作情形、分析运算数据特性与程序运算特性等影响参数，进而运算比对找出最合适的丛集，再通过执行环境选择模块找到对应的丛集，并将用户工作，包含用户程序与输入数据派送到对应的丛集中执行。

Description

基于Hadoop多丛集环境的工作分派系统及方法

技术领域

本发明涉及计算机丛集技术领域，特别涉及一种基于Hadoop多丛集环境的工作分派系统及方法。

背景技术

近年来因为大量的信息化，使得一般企业与政府机构面对的是爆炸性成长的数据量，无论是在数据储存、数据库或数据检索与数据探勘的领域中，都遭遇相同的问题，数据过滤与整理的庞大且耗时的工作，已无法由一台超级计算机负荷，转而导向通过大量的群组计算机同时进行运算，进而获得最大的效益。现今的信息领域采用云端服务的技术提供分布式计算来解决上述的问题，其中又以Apache Hadoop为主要的开放原始码解决方案之一。

Hadoop实做出一个分布式计算的处理框架概念称为MapReduce，通过将对数据进行的运算工作分发给网络上的每个节点处理，每个节点会周期性的把完成的工作和状态的更新报告回来，进而达成大规模的数据运算分析。在此处理框架之下，工作的排程与分派预设为FIFO(First In First Out)算法，虽然架构上简单，却因此忽略运算工作本质上需求的差异，可能造成某项工作长期占用资源的情况。此外，系统参数的调校是否能与运算工作本质上的需求相符合，也是另一项在Hadoop系统当中相当重要的因素，但是若需要满足此项条件，使用者往往需要针对不同的运算工作重新设定整体系统环境参数，以便让整体系统的效能与运作可以配合运算工作的需求。由此可见，上述传统的方法仍有诸多缺失。

发明内容

本发明的目的即在于提供一种装置与系统，特别是应用在多个大量数据处理的分布式计算机丛集，能够根据执行程序特征，待处理数据特性，与计算机丛集的动态行为，选择最佳的执行环境。可以降低不同运算特性的工作的排程等待时间，有效的加快运算分析的速度，并提升整体资源使用效率。

可达成上述发明目的的基于Hadoop多丛集环境的工作分派系统及方法，利用一组丛集特征与监控模块、工作数据与程序分析模块以及执行环境选择模块的结合，提供优化的Hadoop多丛集环境工作分派系统给用户执行大数据运算服务。其方法通过掌握丛集特征、监控丛集运作情形、分析运算数据特性与程序运算特性等影响参数，进而运算比对找出最合适的丛集，再通过执行环境选择模块找到对应的丛集，并将用户工作，包含用户程序与输入数据派送到对应的丛集中执行。

附图说明

图1为本发明的基于Hadoop多丛集环境的工作分派系统架构图；

图2为本发明基于Hadoop多丛集环境的工作分派系统的运作流程图；

图3为本发明基于Hadoop多丛集环境的工作分派系统的执行环境选择流程图。

附图标记说明：

1工作分派系统

11特征数据库模块

12丛集特征模块

13丛集监控模块

14工作数据分析模块

15工作程序分析模块

16执行环境选择模块

2用户操作接口

3客户程序

4输入数据

5迷你丛集

6主机丛集

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明：

如图1所示，为本发明基于Hadoop多丛集环境的工作分派系统的一种实施范例的架构示意图，包括:

特征数据库模块11，用以储存丛集特征模块12、丛集监控模块13、工作数据分析模块14、工作程序分析模块15的矩阵方程式；

丛集特征模块12，用以收集丛集中不会随着时间改变的静态特征，并以丛集静态特征矩阵方程式来描述其收集到的静态特征；

丛集监控模块13，用以定期收集每个丛集的动态特征，并分析动态特征曲线，以建立丛集动态特征矩阵方程式来描述丛集特征分析结果；

工作数据分析模块14，用以收集工作执行中不会随着时间改变的静态特征，并以工作静态特征矩阵方程式来描述其收集到的静态特征；

工作程序分析模块15，用以分析用户程序在执行时使用资源的情形，主要用以建立工作动态特征矩阵方程式来描述用户程序行为特征；

执行环境选择模块16，用以由工作程序分析模块15与丛集特征模块12建立的矩阵方程式中选出最适合用户工作的丛集，并将其送往对应的丛集。

本发明基于Hadoop多丛集环境的工作分派系统运作流程如图2所示，客户将其工作(包含客户程序3与输入数据4)通过用户操作接口2送至Hadoop多丛集环境的工作分派系统1，工作分派系统1由客户工作特性与各主机丛集6特性找出最适合的丛集在将其送往此丛集执行，工作分派系统1中各个模块的说明如下。

首先，丛集监控模块13定期收集每个丛集的动态特征(例如CPU频率(GHz)、Disk空间、Memory的使用量)，并针对动态特征曲线进行分析，将分析结果转换成丛集动态特征矩阵方程式，再储存在特征数据库模块11。举例来说，定期收集N个丛集(C₁…C_N)的n个动态特征，如每秒CPU频率(GHz)的使用量(％)、Disk空间的使用量(％)等，并以矩阵表示:

Cⁱ＝[CPU使用量(％)Disk空间使用量(％)…]_n×k,1≤i≤N  (1)

每个丛集各取时间间隔(t₁～t_k)，其中k为间隔总数，计算出每个时间间隔的平均使用量，并以n×k矩阵表示:

${\mathrm{Cd}}_a^i=\frac{{\mathrm{\Σ}}_{j=t_1}^{t_k}\left({\mathrm{Cd}}_{a,j}^i\right)}{k},1\≤a\≤n---\left(3\right)$

再将每个丛集在各时间间隔的1×n矩阵储存到特征数据库模块11。

而丛集特征模块12主要负责收集丛集中不会随着时间改变的静态特征，例如CPU核心数、CPU频率(GHz)、Disk空间大小、Memory大小等规格，并将收集到的数据转换成丛集静态特征矩阵方程式储存在特征数据库模块11中，第i个丛集的矩阵方程式以1xn矩阵表示：

$[{\mathrm{Cs}}_1^i{\mathrm{Cs}}_2^i{\mathrm{Cs}}_3^i\·\·\·{\mathrm{Cs}}_n^i]---\left(4\right)$

例如

当有新丛集加入系统时，丛集特征模块12会收集其静态特征，并同样储存在特征数据库模块11。

工作数据分析模块14收集工作执行中不会随着时间改变的静态特征，例如总数据量大小、总数据笔数、数据格式型态、是否压缩等，描述工作的静态特征。当有新工作进入工作分派系统时，工作数据分析模块14会收集其静态特征，并将收集到的数据转换成工作静态特征矩阵方程式储存在特征数据库模块11中，工作静态特征矩阵方程式以1xn矩阵表示：

[Js₁ Js₂ Js₃ … Js_n]                (6)

例如

[总数据笔数]_1×n              (7)

工作程序分析模块15，用以分析客户程序3在执行时使用资源的情形，是工作特征分析模块中的一子模块，主要用以建立矩阵方程式来描述客户程序3行为特征；用户于用户操作接口2提交客户程序3与输入数据4的存放路径后，工作程序分析模块15从输入数据4撷取固定笔数的数据当作样本，将客户程序3与输入数据样本上载至迷你丛集5，要求迷你丛集5启动程序开始处理输入数据样本，纪录客户程序3在处理固定笔数数据样本时使用迷你丛集5资源的情形(例如中央处理器、内存、档案读取与写入要求、网络封包读取与写入要求)与花费时间，并将收集到的数据转换成工作动态特征矩阵方程式储存在特征数据库模块11中，工作动态特征矩阵方程式以1xn矩阵表示，其中Jd_n为第n个工作动态特征参数：

[Jd₁ Jd₂ Jd₃ … Jd_n]           (8)

例如

[单笔数据CPU使用量_(GHz*Second)单笔数据Disk空间使用量_(KB)]_1×n (9)

执行环境选择模块16的运作流程如图3所示，首先从特征储存库模块11取得丛集监控模块13、丛集特征模块12、工作数据分析模块14与工作程序分析模块15分析的丛集静态特征矩阵方程式丛集动态特征矩阵方程式工作静态特征矩阵方程式[Js₁ Js₂ Js₃ … Js_n]与工作动态特征矩阵方程式[Jd₁ Jd₂ Jd₃ … Jd_n]并计算出用户程序特征矩阵方程式与对应各丛集的丛集特征矩阵方程式如第(10)与(11)式所示：

$[F_1^{\mathrm{job}}{F}_2^{\mathrm{job}}{F}_3^{\mathrm{job}}\·\·\·F_n^{\mathrm{job}}]=[{\mathrm{Jd}}_1\×{\mathrm{Js}}_1{\mathrm{Jd}}_2\×{\mathrm{Js}}_2{\mathrm{Jd}}_3\×{\mathrm{Js}}_3\·\·\·{\mathrm{Jd}}_n\×{\mathrm{Js}}_n]---\left(10\right)$

$\begin{array}{c}[F_1^{{\mathrm{cp}}_i}{F}_2^{{\mathrm{cp}}_i}{F}_3^{{\mathrm{cp}}_i}\·\·\·F_n^{{\mathrm{cp}}_i}]=\\ [(1-{\mathrm{Cd}}_1^i)\×{\mathrm{Cs}}_1^i(1-{\mathrm{Cd}}_2^i)\×{\mathrm{Cs}}_2^i(1-{\mathrm{Cd}}_3^i)\×{\mathrm{Cs}}_3^i\·\·\·(1-{\mathrm{Cd}}_n^i)\×\\ {\mathrm{Cs}}_n^i]\end{array}---\left(12\right)$

其中F1job代表用户程序特征矩阵方程式中的第一个特征，其值为工作静态特征矩阵方程式第一项Js₁与工作动态特征矩阵方程式第一项Jd₁相乘的结果，后面依此类推，共有n个特征值，而则是代表第i个丛集的丛集特征矩阵方程式的第一个特征，同样也有n个特征值，由于丛集动态特征矩阵方程式的值为当时丛集的平均使用率，而我们分析需要的为丛集的剩余使用率，所以以计算出丛集剩余使用率，其值是由丛集静态特征矩阵方程式第一项与第一项丛集动态特征矩阵剩余使用率相乘而来，这里以丛集1为例，其丛集特征矩阵方程式即为为了避免混淆之后我们以J表示用户程序特征矩阵方程式而Ci表示第i个丛集的丛集特征矩阵方程式，如图3说明第二步是针对Ci做分群的动作，首先将不适合的丛集过滤掉，由于部分用户程序特征有下限值，若丛集对应的特征值低于下限值这些用户程序就无法在丛集上执行，举例来说用户程序特征中有disk使用量，若丛集特征中的disk剩余量低于用户程序所需disk使用量时，此丛集就不适合执行此用户程序。在判别不适合的丛集可通过比较用户程序特征矩阵方程式与各丛集特征矩阵方程式，若其中的元素属于有下限值的特征，且丛集特征矩阵方程式元素小于用户程序特征矩阵方程式，表示此丛集特征矩阵方程式对应的丛集不适合执行目前的用户程序，于是不适合的丛集集合Clusterunsuitable的表示如第(12)式所示：

${\mathrm{Cluster}}_{\mathrm{unsuitable}}=\{{\&ForAll;C}^i\&Element;{\mathrm{Cluster}}_{\mathrm{all}}|{\&Exists;F}_j^{{\mathrm{cp}}_i}\&Element;L\&F_j^{{\mathrm{cp}}_i}<F_j^{\mathrm{job}}\}---\left(12\right)$

其中Clusterall代表所有丛集特征矩阵方程式集合，L代表有下限值的特征集合，表示Ci丛集的丛集特征矩阵方程式的第j个元素，而Fjjob为用户程序特征矩阵方程式的第j个元素，过滤掉不适合的丛集后针对剩余的丛集特征方程式再将其分为最优先丛集特征矩阵方程式集合与次优先丛集特征矩阵方程式集合，首先最优先丛集特征矩阵方程式集合在这里定义为丛集特征矩阵方程式的各特征元素皆满足用户程序特征方程式的所有元素，剩余丛集特征矩阵方程式则是次优先丛集特征矩阵方程式集合，这两个集合定义如下：

$\begin{array}{c}{\mathrm{Cluster}}_{\mathrm{first\; priorty}}=\{{\&ForAll;C}^i\&Element;{\mathrm{Cluster}}_{\mathrm{all}}-{\mathrm{Cluster}}_{\mathrm{unsuitable}}|{\&ForAll;F}_j^{{\mathrm{cp}}_i}\&Element;L\&F_j^{{\mathrm{cp}}_i}>\\ F_j^{\mathrm{job}}\}\end{array}---\left(13\right)$

Cluster_{second priorty}＝Cluster_all-(Cluster_{first priorty}∪Cluster_unsuitable)      (14)

其中Cluster_{first priorty}为最优先丛集特征矩阵方程式集合而Cluster_{second priorty}为次优先丛集特征矩阵方程式集合，将丛集特征矩阵方程式分群后，下一步开始从中选择目标丛集，选择目标丛集可分为以下步骤：

A.检查最优先丛集特征矩阵方程式集合，若非空集合，则从集合中选择最适合的丛集特征矩阵方程式，在这里用户程序特征矩阵方程式可视为一存在于n维空间的向量，同时最优先丛集特征矩阵方程式集合也可视为多组存在于n维空间的向量集合，于是利用向量的距离做为选择的依据；一般而言距离越大代表丛集会有更充裕的资源供用户程序执行，但本发明的目的在于降低工作等待(wait to run)时间，为了避免大量的用户程序都配置到某个特定的丛集上降低了执行效率，于是在此选择了向量距离最近，也就是最符合当时用户程序执行的丛集，选择如(15)所示：

Cluster_{most sutiable}＝[min{dist(Cⁱ,J)}:Cⁱ∈Cluster_{first priorty}](15)

其中dist(Cⁱ,J)为丛集特征矩阵方程式与用户程序特征矩阵方程式的向量距离，算法如下式所示：

$\mathrm{dist}(C^i,J)=\sqrt{(F_1^{{\mathrm{cp}}_i}-F_1^{\mathrm{job}})+(F_2^{{\mathrm{cp}}_i}-F_2^{\mathrm{job}})+\&CenterDot;\&CenterDot;\&CenterDot;+(F_n^{{\mathrm{cp}}_i}-F_n^{\mathrm{job}})}---\left(16\right)$

B.如最优先丛集特征矩阵方程式集合不存在任何的丛集特征方程式，则从次优先丛集特征矩阵方程式集合中做选择，在这集合中皆是无法完全满足用户程序的丛集集合但还是可以顺利完成用户工作的需求，这里的选择方法同第一步相同，将各矩阵方程式视为存在于n维空间的向量，为了避免因丛集特征与用户程序特征差别过大导致用户程序运行时间过长，这边一样是以选择两向量空间距离最少做为选择的依据，选择如(17)式所示

Cluster_{most sutiable}＝[min{dist(Cⁱ,J)}:Cⁱ∈Cluster_{second priorty}]   (17)

C.如最优先与次优先丛集特征矩阵方程式集合皆不存在任何的丛集特征方程式，则表示目前所有存在的丛集皆不适合执行用户工作，此时执行环境选择模块退回用户工作要求，并通知使用者。

如有找出最适合的丛集特征矩阵方程式，执行环境选择模块16由选出的丛集特征矩阵方程式找到对应的丛集，并将客户工作，包含客户程序3与输入数据4派送到对应的丛集中执行。

本发明所提供的基于Hadoop多丛集环境的工作分派的系统及方法，与其他现有技术相互比较时，更具有下列优点：

1.本发明可根据待处理数据特性、运算程序的特征与计算机丛集的动态行为，提供优化的执行环境给使用者，有效降低工作等待时间，提供可行、可靠、高效率的运算服务。

2.本发明的工作分派的系统及方法可根据待处理数据特性进而充分使用运算设备硬件资源，降低运算服务建置成本，确保服务的稳定性与可靠性，解决运算工作本质上需求的差异的问题，进而提升整体服务速度与效率，其经济效益非常明显。

上列详细说明是针对本发明的一可行实施例的具体说明，惟该实施例并非用以限制本发明的专利范围，凡未脱离本发明技艺精神所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (7)

1.一种基于Hadoop多丛集环境的工作分派的系统，其特征在于，包括：

特征数据库模块，用以储存丛集的静态、动态特征矩阵方程式和工作的静态、动态特征矩阵方程式；

丛集特征模块，主要负责分析各丛集的静态特征；

丛集监控模块，主要负责分析各丛集的动态特征；

工作数据分析模块，主要负责分析计算工作的静态特征；

工作程序分析模块，用以分析用户程序在执行时使用资源的情形；以及

执行环境选择模块，用以选出最适合用户工作的丛集，并将其送往对应的丛集执行。

2.根据权利要求1所述的基于Hadoop多丛集环境的工作分派的系统，其特征在于，丛集监控模块会定期收集每个丛集的动态特征，并针对动态特征曲线进行分析，将分析结果转换成丛集动态特征矩阵方程式，再储存在特征数据库模块。

3.根据权利要求1所述的基于Hadoop多丛集环境的工作分派的系统，其特征在于，该丛集特征模块主要负责分析丛集中不会随着时间改变的静态特征，并建立矩阵方程式来描述丛集的静态特征；当有新丛集加入系统时，丛集特征模块会分析其静态特征，并将数据转换成矩阵方程式储存在特征数据库模块中。

4.根据权利要求1所述的基于Hadoop多丛集环境的工作分派的系统，其特征在于，该工作数据分析模块主要负责分析计算工作执行中的数据特性与静态特征，并建立矩阵方程式来描述工作的静态特征；当有新工作进入工作分派系统时，数据分析模块会分析其静态特征，并将数据转换成矩阵方程式储存在特征数据库模块中。

5.根据权利要求1所述的基于Hadoop多丛集环境的工作分派的系统，其特征在于，该工作程序分析模块用于分析客户程序在处理数据时使用资源的情形与花费时间，并将收集到的数据转换成工作动态特征矩阵方程式储存在特征数据库模块。

6.根据权利要求1所述的基于Hadoop多丛集环境的工作分派的系统，其特征在于，该执行环境选择模块从特征数据库模块取得丛集监控模块、丛集特征模块、工作数据分析模块与工作程序分析模块分析的结果，并通过用户程序特征矩阵方程式将用户工作，包含用户程序与输入数据派送到对应的丛集中执行。

7.一种基于Hadoop多丛集环境的工作分派方法，其特征在于，包括以下步骤：

从特征数据库模块取得丛集监控模块、丛集特征模块、数据分析模块与工作程序分析模块的结果；

计算用户程序特征矩阵方程式与对应各丛集的丛集特征矩阵方程式；

通过用户程序特征矩阵方程式将对应各丛集的丛集特征矩阵方程式分类为最优先丛集特征矩阵方程式集合、次优先丛集特征矩阵方程式集合与不适合的丛集特征矩阵方程式集合；

若最优先丛集特征矩阵方程式集合并非空集合，则依据用户程序特征矩阵方程式从最优先丛集特征矩阵方程式集合选出最适合的丛集特征矩阵方程式；

若最优先丛集特征矩阵方程式集合为空集合，则检查次优先丛集特征矩阵方程式集合是否为空集合，若非空集合，则从中选出一个适合的丛集特征矩阵方程式；

通过选出的丛集特征矩阵方程式计算找到对应的丛集，并将用户工作，包含用户程序与输入数据派送到对应的丛集中执行；

若最优先与次优先丛集特征矩阵方程式集合皆为空集合，则表示目前所有存在的丛集皆不适合执行用户工作，此时退回用户工作要求，并通知使用者。