CN114844781B - Rack架构下面向编码MapReduce的Shuffle性能优化方法及系统 - Google Patents

Abstract

本发明公开了一种Rack架构下编码MapReduce的Shuffle性能优化方法及系统。所述方法基于数据中心服务器部署时典型的Rack架构场景，将Shuffle阶段的通信优化问题规约为跨机架的通信量问题，并进一步规约为每个机架内每台服务器放置的Reduce函数的个数问题，最终通过对输入文件进行合理的冗余计算以及Reduce函数进行合理的放置，结合编码计算以及组播传输技术将数据进行压缩的方式，降低了Shuffle阶段的时间开销，并且缩短了MapReduce任务总的执行时间。

Description

Rack架构下面向编码MapReduce的Shuffle性能优化方法及系统

技术领域

本发明涉及分布式计算领域，具体涉及到在Rack架构下通过合理的放置Reduce函数从而提高MapReduce任务Shuffle性能的优化方法及系统。

背景技术

MapReduce是支持大数据处理的分布式计算关键支撑技术，MapReduce计算处理框架通常包括Map计算、Shuffle通信、Reduce计算等三个阶段。其中Map计算结束后，会在每个节点产生大量的中间值；而在Shuffle通信阶段，节点间则需要互相传输中间值，从而完成Reduce计算。然而，受限于集群内的网络资源能力，Shuffle阶段通常效率低下、且对任务整体性能产生重要影响。相关研究者对谷歌18万份任务的执行时间进行了分析，发现在26％和16％的任务中Shuffle的运行时间分别占据了总任务执行时间的50％和70％。在AmazonEC2集群中完成self-join自连接任务时发现Shuffle占据总任务执行时间的70％，在TeraSorting任务中Shuffle时间甚至占据总执行时间的98.4％。

为了克服MapReduce的通信瓶颈问题，近年来相关研究者提出了编码MapReduce这样一种新的计算模型。其核心思想是通过利用冗余计算和编码技术增大计算开销来降低通信开销的方式从而实现任务总体性能上的提升。具体实现则是在冗余计算的基础上对数据进行编码，再通过组播形式传输编码数据，最后利用节点上冗余的中间值解码恢复所需要的中间值。尽管冗余计算以及编、解码计算带来额外计算开销，但通过编码计算对数据进行压缩，使得通信过程传输的编码数据量减少，最终降低通信开销。

为便于研究，现阶段针对编码MapReduce框架下Shuffle的通信优化问题通常假设数据中心是基于总线型拓扑的服务器集群，并且这种基于总线型拓扑结构假设服务器的物理距离是相近的。显然这种假设过于简单并且难以适用于实际场景。因为对于数据中心而言，服务器集群规模庞大，物理空间部署往往是分离的，如常用的Rack、Fat-tree、Bcube、Dcell等分布式计算架构。因此，需要一种贴近实际的具有更强适用性的性能优化策略。

发明内容

发明目的：针对现有技术的不足，本发明提出一种针对分布式计算中典型的Rack架构的MapReduce任务Shuffle性能优化方法及系统，通过策略性地放置Reduce函数，并结合编码计算实现了Shuffle阶段通信开销的优化，从而降低MapReduce任务的总的执行时间。

技术方案：为了实现以上发明目的，本发明的技术方案如下：

第一方面，一种Rack架构下面向编码的MapReduce的Shuffle性能优化方法，包括以下步骤：

(1)根据输入文件数量和文件的计算负载，将文件放置到Rack机架内的相应服务器节点上，所述计算负载指示文件在多个不同服务器节点进行计算的节点数量；

(2)根据文件的计算负载和每个机架内的服务器节点数目，确定每个服务器节点上放置Reduce函数的个数；

(3)服务器节点利用本地冗余中间值进行异或编码计算，并通过组播的方式将数据传输至组播组内其他服务器节点；

(4)服务器节点将接收到的编码数据结合本地中间值进行反异或解码计算，恢复所需要的中间值，并执行Reduce计算。

第二方面，一种Rack架构下面向编码MapReduce的Shuffle性能优化系统，包括若干服务器节点，所述若干服务器节点按Rack架构分布，每个Rack中的服务器节点经由TOR交换机连接至汇聚交换机与网络相连，针对MapReduce任务，每个服务器节点上放置的文件是根据输入文件数量和文件的计算负载来冗余放置的，其中所述计算负载指示文件在多个不同服务器节点进行计算的节点数量；每个服务器节点上放置Reduce函数的个数是根据文件的计算负载和每个机架内的服务器节点数目而确定的；在执行任务时，每个服务器节点利用本地冗余中间值进行异或编码计算，并通过组播的方式将数据传输至组播组内其他服务器节点；并且每个服务器节点将接收到的编码数据结合本地中间值进行反异或解码计算，恢复所需要的中间值，并执行Reduce计算。

有益效果：本发明从实际数据中心服务器部署的拓扑结构出发，针对典型的Rack架构，对基于编码MapReduce的通信性能优化技术开展研究，在Rack架构下，Shuffle阶段的通信瓶颈在于跨机架的通信量，而在使用编码计算的情况下每个节点上Reduce函数的个数决定了跨机架的通信量。本发明通过对输入文件的放置采用冗余放置的方法，使得任意r个节点都共有相同的文件集，从而为Shuffle阶段每个组播组内的节点创造了编码机会，实现了数据的压缩，并且每个节点拥有更多的中间值，从而使得Shuffle阶段需要从其他节点传输来的中间值减少，减少了通信开销。本发明通过对机架的物理特性以及编码计算的特点进行综合考虑，得到Reduce函数的放置策略，并结合编码实现了Shuffle阶段通信开销的优化，从而降低MapReduce任务的总的执行时间。

附图说明

图1是输入文件的放置策略示意图；

图2单个组播组内数据的传输方式示意图；

图3是编码计算的示意图；

图4是解码计算示示意图；

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

在MapReduce中考虑编码计算的情况下，输入文件进行冗余计算，也就同一个文件会被分配到不同的节点。在文件分配结束之后，每个节点调度Mapper任务执行Map计算从而使得每个节点拥有大量的中间值。而由于文件进行了冗余计算使得拥有相同文件的不同节点上拥有冗余的中间值，使得每个节点利用自身冗余的中间值进行编码计算压缩数据以及解码计算恢复所需要的中间值。在Rack架构下，服务器按Rack(机架)放置，Shuffle阶段的通信开销取决于跨机架的通信量，而跨机架的通信量又取决于机架内每个节点分配的Reduce函数的个数。并且在Shuffle过程是基数为r+1的所有组播组中进行的，每个组播组内的节点会将编码数据传输给该组播组内其余的r个节点。当单个组播组内服务器的数目大于单个机架内服务器的数目时，此时所有的组播组内的节点传输数据时都需要跨机架传输。当单个组播组内服务器的数目不大于单个机架内服务器的数目时，此时部分组播组内节点在进行数据传输时不需要跨机架传输。因此需要对单个组播组内服务器的数目与单个机架内服务器的数目进行讨论。此外，除了编码策略外，我们还需要考虑文件的输入，单个机架内服务器的数目与单个组播组内服务器的数目之间的量化关系以及Reduce函数的放置问题。

1)输入文件的放置采用冗余放置的方法。也即每个文件都分布在多个节点上执行Map计算。这样的放置方法使得任意r个节点都共有相同的文件集。从而为Shuffle阶段每个组播组内的节点创造了编码机会，实现了数据的压缩。此外，在解码阶段由于任意r节共有的文件集，也使得每个节点可以利用自身的冗余中间值进行数据的解码恢复。从而降低了通信开销。此外，相较于文件不进行冗余放置的传统的MapReduce的文件放置方法，该冗余放置策略使得每个节点拥有更多的中间值，从而使得Shuffle阶段需要从其他节点传输来的中间值减少，减少了通信开销。

所述步骤1)包括：

a)文件的计算负载为一个整数，其含义是单个文件平均执行Map计算的次数。从输入文件中获取基数为计算负载的所有文件集集合。在集群中所有服务器获取基数为计算负载的所有的节点集集合。

b)将文件集集合上的每个文件集依次放置到每个节点集集合上的节点集中。

2)单个组播组内服务器的数目与单个机架内服务器数目的量化关系讨论以及不同量化关系Reduce函数的放置策略。分析不难得知，Shuffle阶段的通信量由输入文件的位置以及Reduce函数的位置共同决定，而由1)已经确定输入文件的分配策略，此时Shuffle阶段的通信量仅由Reduce函数的位置决定。但是在Rack机架内MapReduce结合编码计算时，Reduce函数的放置策略对跨机架的通信量的影响(也即对Shuffle性能的影响)还不得而知。本发明针对该问题，对机架的物理特性以及编码计算的特点进行讨论分析。当单个组播组内服务器数目大于单个机架内服务器数目时，此时使得跨机架通信量达到最小的Reduce函数的放置策略是每个节点放置数目相等的Reduce函数个数。当单个组播组内服务器数目不大于单个机架内服务器数目时，此时根据前面的最优的放置提出启发式的放置策略，也即每个节点放置的Reduce函数也应该相等。通过对前面两种情况的分类讨论，可以得到在Rack架构下MapReduce使用编码时Shuffle阶段性能优化的Reduce函数的放置策略。

所述步骤2)包括：

a)首先明确使用编码计算时，单个组播组内服务器的数目是计算负载+1。而所有的组播组则是节点集中基数为r+1的节点的所有组合。分析跨机架通信量时需要对单个机架内服务器的数目与单个组播组内服务器的数目进行讨论。

b)当单个组播组内服务器数目大于单个机架内服务器的数目时，此时所有的组播组内的服务器都需要跨机架传输。Reduce函数的最优放置算法为Reduce函数均匀的分配在每个节点，才可以使得跨机架的通信量最小，也即此时Shuffle的通信时间最小。

c)当单个组播组内服务器数目不大于单个机架内服务器的数目时，此时存在部分组播组的服务器在进行数据传输时不需要跨机架传输。此时Reduce函数的放置只能根据启发式算法将Reduce函数均匀的分配在每个服务器上。

3)在使用了1)的文件放置策略以及2)的Reduce函数的放置策略后。根据编码计算，可以将每个组播组内节点上分割的数据以异或编码的方式进行编码压缩，然后以组播的形式将数据传输给该组播组内其余的节点。每个节点在接收到传输来的编码数据结合本地的中间值进行反异或解码就可以得到所需要的中间值，此时每个节点拥有该节点上每个Reduce函数执行时所需要的所有中间值，通过调度Reducer任务执行Reduce计算输入结果即可。

其中，对于节点的编码传输，包括：

a)设输入文件的计算负载为r，则在所有的节点中列出所有基数为(r+1)的节点集。

b)对于任意基数为r+1的节点集，将该节点集中任意一个节点本地没有但是其余

r个节点拥有的中间值进行r等份分割。

c)将b)中所有节点上分割得到的中间值进行异或编码得到编码后的数据然后将编码后的数据以组播的形式传输给每个节点集中其余的r个节点。

d)重复执行b)、c)，直到遍历完所有基数为(r+1)的节点集。

对于节点的接收解码，包括：

a)设输入文件的计算负载为r，在所有的节点中列出所有基数为(r+1)的节点集。

b)对于任意一个节点集，节点集中的任意一个节点接收到其余r个节点组播传输来的编码数据，根据本地所拥有的中间值进行反异或编码计算得到该节点所需要的中间值。

c)重复执行b)，直到遍历完所有基数为(r+1)的节点集。

图1是示例性的输入文件的放置策略示意图。如图1所示，工作节点为4，文件的计算负载r为2，也即每个文件在两个节点上执行Map计算，共有12个输入文件。将每个文件记为

其中i代表的是文件的编号，M是该文件放置的节点的集合。在文件分配时，可以首先从4个节点中抽取2个节点，则总共有

种节点集，接着将12份文件也平均分割成

份文件集，最后将

份文件集分配到

份节点集上。根据这样的文件放置策略，任意r个节点共有的文件数目是2。

图2是Rack架构下单个组播组内数据的传输分析。

情形一、组播组节点位于不同机架内。如图2所示，当节点1、节点4、节点5在一个组播组时，节点1将编码数据data1以组播的形式传输给节点4和节点5，data1必然需要跨机架进行传输。类似地，该组播组中的节点4、节点5将编码后的数据以组播的形式发送给组播组内其他两个服务器时，也必然是需要跨机架传输。类似地，对节点3、节点5、节点9构成的组播组进行分析，图中所示编码数据data3，此时若该组播组中任意节点在将数据以组播的形式传输给该组播组的其他节点，依然需要跨机架传输。

情形二、组播组节点位于同一机架内。如图2所示，当节点1、节点2、节点3这三个节点构成的组播组在同一机架内时，节点1需要将编码后的数据data2以组播的形式传送给组播组的其他服务器时，节点1发送的数据data2只需要通过机架内的TOR(Top of Rack)交换机就可以进行快速传输，而不需要跨机架传输。同样的，其他两个节点传输数据时也不需要跨机架传输。

分析可知，当所有的组播组都需要跨机架传输时，此时Reduce函数的均等放置策略是实现Shuffle性能最优的放置策略。当存在组播组不需要跨机架传输时，此时的Reduce函数的均等放置策略是一种启发式放置策略。

如图3所示编码计算的演示过程。输入文件数为6，文件的计算负载r＝2，则每个组播组里的节点是3。每个节点按照文件的冗余策略进行文件放置，其中1号节点放置的是1、2、3、4号文件，并且执行1号key对应的Reduce函数。在Map计算后每个文件生成3个中间值键值对I(file,key)，其中file代表文件的序号，而key代表Reduce函数的序号。按照编码策略，节点1和节点2共有的文件是3、4号文件，而节点3是对3号key进行规约即Reduce计算。因此节点1和节点2会对I(3,3)、I(4,3)进行随机均分，假设节点1分的中间值是I(3,3)，则节点2分得的中间值是I(4,3)。同理分析节点1和节点3，共有的文件是1、2号文件，且节点2是对2号key进行规约。按照上述编码策略，需要对I(1,2)和I(2,2)进行均匀分配。假设节点1分得的中间值是I(1,2)，则节点3分得的中间值是I(2,2)。最后分析2、3号节点共有的文件是5、6号文件，以及1号节点是对1号key进行规约，所以2号节点分配的中间值是I(5,1)，3号节点分得的中间值是I(6,1)。

以节点1为例，此时节点1均分后的所有中间值为I(3,3)和I(1,2)，对所有的中间值进行异或编码可得到

类似地，对2、3号节点上的中间值进行编码分别得到

和

接着1号节点将编码后的数据

以组播的形式传输给2、3号节点。2号节点将

以组播的形式传输给1、3号节点。3号节点将

以组播的形式传输给1、2号节点。

图4是解码过程示意图。节点1上在Shuffle阶段由其他节点经过组播传输得到的编码值有

和

由于节点1本身拥有2、4号文件对应的所有中间值，所以分别利用本地中间值进行解码。即

其他两个节点的解码过程相同。

以上所述是本发明的示例性实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种Rack架构下面向编码MapReduce的Shuffle性能优化方法，其特征在于，包括以下步骤：

(1)根据输入文件数量和文件的计算负载，将文件放置到Rack机架内的相应服务器节点上，所述计算负载指示文件在多个不同服务器节点进行计算的节点数量；

(2)根据文件的计算负载和每个机架内的服务器节点数目，确定每个服务器节点上放置Reduce函数的个数；

(3)服务器节点利用本地冗余中间值进行异或编码计算，并通过组播的方式将数据传输至组播组内其他服务器节点；

(4)服务器节点将接收到的编码数据结合本地冗余中间值进行反异或解码计算，恢复所需要的中间值，并执行Reduce计算。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：

从输入文件中获取基数为计算负载的所有文件集集合，从所有服务器节点获取基数为计算负载的所有节点集集合，将文件集集合上的每个文件集依次放置到每个服务器节点集集合上的节点集中。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：

确定单个组播组内服务器节点的数目是文件的计算负载+1；

当单个组播组内服务器节点数目大于单个机架内服务器节点的数目时，将Reduce函数均匀地分配在每个服务器节点；

当单个组播组内服务器节点数目不大于单个机架内服务器的数目时，此时存在部分组播组的服务器节点在进行数据传输时不需要跨机架传输，根据启发式算法将Reduce函数均匀地分配在每个服务器节点上。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)包括：

(a)根据输入文件的计算负载r，在所有的服务器节点中列出所有基数为r+1的节点集；

(b)对于任意基数为r+1的节点集，将该节点集中任意一个节点本地没有但是其余r个节点拥有的中间值进行r等份分割；

(c)将(b)中所有节点上分割得到的中间值进行异或编码得到编码后的数据，将编码后的数据以组播的形式传输给每个节点集中其余的r个节点；

(d)重复执行步骤(b)和(c)，直到遍历完所有基数为r+1的节点集。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)包括：

(a)根据输入文件的计算负载r，在所有的服务器节点中列出所有基数为r+1的节点集；

(b)对于任意一个节点集，节点集中的任意一个节点接收到其余r个节点组播传输来的编码数据，根据本地所拥有的中间值进行反异或编码计算得到该节点所需要的中间值，并执行Reduce计算；

(c)重复执行步骤(b)，直到遍历完所有基数为r+1的节点集。

6.一种Rack架构下面向编码MapReduce的Shuffle性能优化系统，包括若干服务器节点，所述若干服务器节点按Rack架构分布，每个Rack中的服务器节点经由TOR交换机连接至汇聚交换机与网络相连，其特征在于，针对MapReduce任务，每个服务器节点上放置的文件是根据输入文件数量和文件的计算负载来冗余放置的，其中所述计算负载指示文件在多个不同服务器节点进行计算的节点数量；每个服务器节点上放置Reduce函数的个数是根据文件的计算负载和每个机架内的服务器节点数目而确定的；在执行任务时，每个服务器节点利用本地冗余中间值进行异或编码计算，并通过组播的方式将数据传输至组播组内其他服务器节点；并且每个服务器节点将接收到的编码数据结合本地冗余中间值进行反异或解码计算，恢复所需要的中间值，并执行Reduce计算。

7.根据权利要求6所述的系统，其特征在于，每个节点的文件放置策略为：

从输入文件中获取基数为计算负载的所有文件集集合，从所有服务器节点获取基数为计算负载的所有节点集集合，将文件集集合上的每个文件集依次放置到每个服务器节点集集合上的节点集中。

8.根据权利要求6所述的系统，其特征在于，每个服务器节点上放置Reduce函数的个数根据以下方法确定：

确定单个组播组内服务器节点的数目是文件的计算负载+1；

当单个组播组内服务器节点数目大于单个机架内服务器节点的数目时，将Reduce函数均匀地分配在每个服务器节点；

当单个组播组内服务器节点数目不大于单个机架内服务器的数目时，此时存在部分组播组的服务器节点在进行数据传输时不需要跨机架传输，根据启发式算法将Reduce函数均匀地分配在每个服务器节点上。

9.根据权利要求6所述的系统，其特征在于，服务器节点的编码过程包括：

(a)根据输入文件的计算负载r，在所有的服务器节点中列出所有基数为r+1的节点集；

(b)对于任意基数为r+1的节点集，将该节点集中任意一个节点本地没有但是其余r个节点拥有的中间值进行r等份分割；

(c)将(b)中所有节点上分割得到的中间值进行异或编码得到编码后的数据，将编码后的数据以组播的形式传输给每个节点集中其余的r个节点；

(d)重复执行步骤(b)和(c)，直到遍历完所有基数为r+1的节点集。

10.根据权利要求6所述的系统，其特征在于，服务器节点的解码过程包括：

(a)根据输入文件的计算负载r，在所有的服务器节点中列出所有基数为r+1的节点集；

(b)对于任意一个节点集，节点集中的任意一个节点接收到其余r个节点组播传输来的编码数据，根据本地所拥有的中间值进行反异或编码计算得到该节点所需要的中间值，并执行Reduce计算；

(c)重复执行步骤(b)，直到遍历完所有基数为r+1的节点集。

Images