CN116155906B - 算力网络中面向低时延任务的MapReduce混合编码方法 - Google Patents

Abstract

本发明公开了一种算力网络中面向低时延任务的MapReduce混合编码方法，包括以下步骤：对于算力网络中的计算任务，获取基于MapReduce框架的服务器的数量、输出任务结果的数量、服务器的计算能力、完成Map阶段计算的服务器数量、传输速率和Map阶段计算时延分布的范围参数，为了获得极大距离可分编码参数和重复冗余度，对时延最小化优化问题进行近似，并迭代运用拉格朗日乘子法和梯度法求解近似问题得到近似值，来更新迭代值，直到满足终止条件结束迭代。用低复杂度方法得到的极大距离可分编码参数和重复冗余度可以使算力网络中低时延的MapReduce任务的总时延近似最小。本发明可以用于对算力网络中的有低时延需求的MapReduce任务进行混合编码，以获得低时延。

Description

算力网络中面向低时延任务的MapReduce混合编码方法

技术领域

本发明涉及无线通信领域，具体涉及一种算力网络中面向低时延任务的MapReduce混合编码方法。

背景技术

算力网络作为一个新兴概念，将网络资源和计算资源统一整合为一体，统一管理与调度，并且对外提供服务。算力网络意在实现对于异构资源以及分布式算力的统一编排调度，其中，使用分布式算力的计算是指一个通过将分解的计算任务分发给不同服务器节点来共同解决一个共同的计算任务的计算服务器集群。分布式计算与集中计算相比，具有一些优点来适合于大规模计算任务的完成。首先，分布式计算对于计算任务具有高可靠性和较高的容错能力。其次，分布式计算的规模是可扩展的，因为可以将数量少的计算节点集群直接拓展至数量多的算力网络中的计算节点集群。第三，分布式计算具有较高的计算速度，因为计算负荷由一定数量的算力网络计算节点共享从而共同承担了计算任务。

MapReduce是一种流行的分布式计算框架，通过服务器集群处理大规模计算任务。整个MapReduce计算任务过程是通过输入多个输入文件来输出多个任务结果，可以分解为Map阶段、Shuffle阶段和Reduce阶段。在Map阶段，多个服务器通过计算Map函数，输入各自被分配的输入文件产生对应的中间值。在Shuffle阶段，多个服务器中的每个服务器通过多播本地计算的中间值给其他的服务器来进行数据交换，使得每个服务器都能获得在Reduce阶段所需要的中间值。在Reduce阶段，多个服务器通过计算Reduce函数，输入对应中间值产生被要求输出的结果。

MapReduce类型的分布式计算有两个主要挑战。MapReduce类型的分布式计算的第一个挑战是在数据交换的Shuffle阶段中不断增加的通信负载，因为Shuffle阶段的执行时间占据了整个MapReduce计算服务执行时间的相当一部分。MapReduce类型的分布式计算的第二个挑战是存在未能完成Map阶段计算的服务器，即由于服务器计算的随机性，个别服务器在Map阶段完成计算的速度比其他服务器要慢很多，因此很大程度地增加了计算延迟。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种算力网络中面向低时延任务的MapReduce混合编码方法，对于低时延的MapReduce任务，采取重复编码计算和极大距离可分(MDS)编码的混合编码方法，使用迭代算法得到使得算力网络中低时延的MapReduce任务的总时延最小的近似极大距离可分编码参数和重复冗余度。

一种算力网络中面向低时延任务的MapReduce混合编码方法，步骤如下：

1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μ_c、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μ_d；

2)对计算的数据先进行极大距离可分编码，再进行重复编码，其中按照以下步骤在中选择合适的极大距离可分编码参数r₁，在/>中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；

a)设置迭代算法的参数初始值：迭代步长初始值θ⁰，迭代精确度∈₀，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值重复冗余度迭代值的初始值/>近似值与迭代值差值的权重τ，迭代次数z＝0。

b)在第z次迭代对应的极大距离可分编码参数和重复冗余度的基础上，把完成计算任务总时延/>近似为/> 把约束条件r₁r₂≤μ_cK近似为/> 因此，在第z+1次迭代中要解决的近似优化问题为：

以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值求解的具体过程如下：

设置拉格朗日乘子第z次迭代的更新初始值梯度法更新精确度∈₁、∈₂，梯度法更新步长σ₁、σ₂，更新次数m＝0、n＝0。

迭代进行和/>的更新：

其中，

直到满足终止条件结束更新，输出为最终的更新值/>

在获得和/>后，对拉格朗日乘子进行更新：

其中，

直到满足终止条件结束更新，输出/>为拉格朗日乘子第z+1次迭代的更新初始值/>

c)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：

z←z+1

θ^z＝θ^z-1(1θ^z-1)

d)直到满足终止条件结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>作为最终选择的极大距离可分编码参数和重复冗余度。

3)在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。

本发明的有益效果：

本发明通过对于算力网络中的低时延的MapReduce任务，采取重复编码计算和极大距离可分编码的混合编码方法，使用迭代算法得到使得总时延最小化的近似极大距离可分编码参数和重复冗余度，同时考虑了通信时延以及计算时延，并且能够以较短的执行时间获取近似最优性能。

附图说明

图1是分别固定R＝0.5，R＝0.1，不同完成Map阶段计算的服务器数量的情况下，本发明的混合编码方法与两种对比方法在总时延方面的性能比较图。

图2是分别固定μ_c＝0.5，μ_c＝0.1，不同范围参数的情况下，本发明的混合编码方法与两种对比方法在总时延方面的性能比较图。

图3是分别固定K＝1000，K＝500，随着迭代次数的变化，本发明方法的算法解与穷举算法解在总时延方面的性能比较图。

具体实施方式

以下结合附图和实施例进一步说明本发明，值得指出的是，以下的实施例仅用于说明本发明而不用于限制本发明。

一种算力网络中面向低时延任务的MapReduce混合编码方法，包括以下步骤：

步骤1：对于算力网络中的计算任务，获取基于MapReduce框架的服务器的数量、输出任务结果的数量、服务器的计算能力、完成Map阶段计算的服务器数量、传输速率和Map阶段计算时延分布的范围参数等信息；

步骤2：对计算的数据先进行极大距离可分编码，再进行重复编码，其中在中选择合适的极大距离可分编码参数r₁，在/>中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；

步骤3：在Map阶段，对于输入文件以最终选择的极大距离可分编码参数进行极大距离可分编码，获得编码输入文件。将编码输入文件以最终选择的重复冗余度在多个服务器上进行重复计算，即每个编码输入文件都被分配给数量等于最终选择的重复冗余度的服务器进行计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。

作为一个较好的实施例子，对于算力网络中的计算任务，首先获取计算任务输入文件的数量N、基于MapReduce框架的服务器的数量K、输出任务结果的数量Q。

在Map阶段，对于N个输入文件以极大距离可分编码参数r₁进行极大距离可分编码，获得r₁N个编码输入文件。将编码输入文件以重复冗余度r₂在多个服务器上进行重复计算，即每个编码输入文件都被分配给r₂个服务器进行计算。

服务器的计算能力用μ_c表示，即每个服务器最多可以获得N个输入文件的1/μ_c。不考虑来自未能完成Map阶段计算的服务器，也就是个别计算过慢的服务器的Map阶段计算所获得的中间值，并且定义完成Map阶段计算的服务器数量为s。

每个服务器在Map阶段完成计算的延迟服从位置参数为d_m、范围参数为μ_d的移位指数分布。我们定义计算延迟D_m(r_1,r₂)为完成Map阶段计算的服务器在Map阶段完成计算的延迟。D_m(r₁,r₂)是K个服务器计算延迟值的s阶统计量，表达为：

将Shuffle阶段的通信分为多轮，每轮都对应于具有相同重复冗余度的中间值的通信。定义V_l为在重复冗余度为l的轮次中用NQ归一化后的交换的中间值的数量，描述为：

p_max和p_min是获得所需中间值的轮次对应的最大和最小重复冗余度，表达为：

p_max＝min{s-1,r₂}

定义通信负载L(r₁,r₂)为s个完成Map阶段计算的服务器之间用N归一化后的在Shuffle阶段交换的中间值的数量，表达为：

定义通信延迟D_s(r₁,r₂)＝L(r₁,r₂)/为在Shuffle阶段交换中间值的延迟，其中R表示传输速率。

建立以最小化算力网络中低时延的MapReduce任务的总时延D_t(r₁,r₂)＝D_m(r₁,r₂)+D_s(r₁,r₂)为目标的优化问题如下：

其中，第一条、第二条和第三条约束是极大距离可分编码参数r₁和重复冗余度r₂使编码成立的条件，第四条约束是编码使计算任务完成的条件。

将前两条约束松弛至连续，并将所有中间值都近似成具有相同的重复冗余度r₂s/K，去除此时恒成立的第四条约束，用以下通信负载近似值代替原通信负载：

对计算的数据先进行极大距离可分编码，再进行重复编码，其中按照以下步骤在中选择合适的极大距离可分编码参数r₁，在/>中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；

a)设置迭代算法的参数初始值：迭代步长初始值θ⁰，迭代精确度∈₀，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值重复冗余度迭代值的初始值/>近似值与迭代值差值的权重τ，迭代次数z＝0。

b)在第z次迭代对应的极大距离可分编码参数和重复冗余度的基础上，把完成计算任务总时延/>近似为/> 把约束条件r₁r₂≤μ_cK近似为/> 因此，在第z+1次迭代中要解决的近似优化问题为：

以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值求解的具体过程如下：

设置拉格朗日乘子第z次迭代的更新初始值梯度法更新精确度∈₁、∈₂，梯度法更新步长σ₁、σ₂，更新次数m＝0、n＝0。

迭代进行和/>的更新：

其中，

直到满足终止条件结束更新，输出为最终的更新值/>

在获得和/>后，对拉格朗日乘子进行更新：

其中，

直到满足终止条件结束更新，输出/>为拉格朗日乘子第z+1次迭代的更新初始值

c)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：

z←z+1

θ^z＝θ^z-1(1θ^z-1)

d)直到满足终止条件结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>作为最终选择的极大距离可分编码参数和重复冗余度。

在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。

作为一个较好的实施例子，假设各参数不作为调整变量时，具有N＝1000个输入文件的计算任务基于MapReduce框架的K＝1000个服务器来输出Q＝1000个任务结果，其中完成Map阶段计算的服务器数量s＝950。假设不作为调整变量时，服务器的计算能力μ_c设置为0.1，传输速率R设置为0.5，Map阶段计算时延分布的范围参数μ_d设置为1。设置迭代算法所需的迭代步长初始值θ⁰＝0.95，梯度法更新精确度∈₁＝∈₂＝0.001，迭代精确度∈₀＝0.001，梯度法更新步长σ₁＝σ₂＝0.5，迭代步长更新参数δ＝0.05，随机选择极大距离可分编码参数迭代值的初始值重复冗余度迭代值的初始值/>拉格朗日乘子更新初始值 近似值与迭代值差值的权重τ，通过计算机仿真运行500次取平均值来作为最终结果。引入两个对比方法，一个是重复编码方法，输入文件采用重复编码，不进行极大距离可分编码；另一个是极大距离可分编码倾向方法，输入文件倾向于使用极大距离可分编码，而不是重复编码。另外，引入穷举算法作为对比算法。

对于不同的传输速率，如图1所示，本发明的混合编码方法与两种对比方法相比，随着完成Map阶段计算的服务器数量的变化，在总时延方面有明显的降低。在完成Map阶段计算的服务器数量相对少的情况下，本发明方法的性能优势更加显著。

对于不同的计算能力，如图2所示，本发明的混合编码方法与两种对比方法相比，随着范围参数的变化，在总时延方面有明显的降低。在范围参数相对大的情况下，本发明方法的性能优势更加显著。

对于不同的服务器数量，如图3所示，本发明方法的算法解与穷举算法解对比，在迭代收敛后，在总时延方面有近似最优性能。

表1是分别令服务器数量K＝250、500、750、1000，本发明方法的算法与穷举算法在执行时间方面的比较。对于不同的服务器数量，如表1所示，本发明方法的算法与穷举算法对比，在执行时间方面有明显的降低。

表1

综合以上性能比较，本发明通过对于算力网络中的低时延的MapReduce任务采取混合编码方法，使用迭代算法得到使得总时延最小化的近似极大距离可分编码参数和重复冗余度，在时延性能上优于其他对比方法，并且能够以较短的执行时间获取近似最优性能。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (1)

1.一种算力网络中面向低时延任务的MapReduce混合编码方法，其特征在于，包括如下步骤：

1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μ_c、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μ_d；

2)对计算的数据先进行极大距离可分(MDS)编码，再进行重复编码，其中在中选择合适的极大距离可分编码参数r₁，在[[μ_cs」，μ_cK」]中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；

3)在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算；在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值；在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果；

步骤2)所述的在中选择合适的极大距离可分编码参数r₁，在/>中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小，步骤如下：

2.1)设置迭代算法的参数初始值：迭代步长初始值θ⁰，迭代精确度∈₀，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值重复冗余度迭代值的初始值/>近似值与迭代值差值的权重τ，迭代次数z＝0；

2.2)在第z次迭代对应的极大距离可分编码参数和重复冗余度的基础上，把完成计算任务总时延/>近似为/> 把约束条件r₁r₂≤μ_cK近似为/> 因此，在第z+1次迭代中要解决的近似优化问题为：

以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值求解的过程如下：

设置拉格朗日乘子第z次迭代的更新初始值梯度法更新精确度∈₁、∈₂，梯度法更新步长σ₁、σ₂，更新次数m＝0、n＝0；

迭代进行和/>的更新：

其中，

直到满足终止条件结束更新，输出/>为最终的更新值/>

在获得和/>后，对拉格朗日乘子进行更新：

其中，

直到满足终止条件结束更新，输出/>为拉格朗日乘子第z+1次迭代的更新初始值

2.3)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：

z←z+1

θ^z＝θ^z-1(1-εθ^z-1)；

2.4)直到满足终止条件结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>作为最终选择的极大距离可分编码参数和重复冗余度。