CN116155906A - 算力网络中面向低时延任务的MapReduce混合编码方法 - Google Patents

算力网络中面向低时延任务的MapReduce混合编码方法 Download PDF

Info

Publication number
CN116155906A
CN116155906A CN202211671947.6A CN202211671947A CN116155906A CN 116155906 A CN116155906 A CN 116155906A CN 202211671947 A CN202211671947 A CN 202211671947A CN 116155906 A CN116155906 A CN 116155906A
Authority
CN
China
Prior art keywords
iteration
calculation
redundancy
value
mapreduce
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211671947.6A
Other languages
English (en)
Other versions
CN116155906B (zh
Inventor
王玮
梅茹雪
叶朝阳
张士聪
顾晨辉
张朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang New Internet Switching Center Co ltd
Zhejiang University ZJU
Original Assignee
Zhejiang New Internet Switching Center Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang New Internet Switching Center Co ltd, Zhejiang University ZJU filed Critical Zhejiang New Internet Switching Center Co ltd
Priority to CN202211671947.6A priority Critical patent/CN116155906B/zh
Publication of CN116155906A publication Critical patent/CN116155906A/zh
Application granted granted Critical
Publication of CN116155906B publication Critical patent/CN116155906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种算力网络中面向低时延任务的MapReduce混合编码方法，包括以下步骤：对于算力网络中的计算任务，获取基于MapReduce框架的服务器的数量、输出任务结果的数量、服务器的计算能力、完成Map阶段计算的服务器数量、传输速率和Map阶段计算时延分布的范围参数，为了获得极大距离可分编码参数和重复冗余度，对时延最小化优化问题进行近似，并迭代运用拉格朗日乘子法和梯度法求解近似问题得到近似值，来更新迭代值，直到满足终止条件结束迭代。用低复杂度方法得到的极大距离可分编码参数和重复冗余度可以使算力网络中低时延的MapReduce任务的总时延近似最小。本发明可以用于对算力网络中的有低时延需求的MapReduce任务进行混合编码，以获得低时延。

Description

算力网络中面向低时延任务的MapReduce混合编码方法
技术领域
本发明涉及无线通信领域，具体涉及一种算力网络中面向低时延任务的MapReduce混合编码方法。
背景技术
算力网络作为一个新兴概念，将网络资源和计算资源统一整合为一体，统一管理与调度，并且对外提供服务。算力网络意在实现对于异构资源以及分布式算力的统一编排调度，其中，使用分布式算力的计算是指一个通过将分解的计算任务分发给不同服务器节点来共同解决一个共同的计算任务的计算服务器集群。分布式计算与集中计算相比，具有一些优点来适合于大规模计算任务的完成。首先，分布式计算对于计算任务具有高可靠性和较高的容错能力。其次，分布式计算的规模是可扩展的，因为可以将数量少的计算节点集群直接拓展至数量多的算力网络中的计算节点集群。第三，分布式计算具有较高的计算速度，因为计算负荷由一定数量的算力网络计算节点共享从而共同承担了计算任务。
MapReduce是一种流行的分布式计算框架，通过服务器集群处理大规模计算任务。整个MapReduce计算任务过程是通过输入多个输入文件来输出多个任务结果，可以分解为Map阶段、Shuffle阶段和Reduce阶段。在Map阶段，多个服务器通过计算Map函数，输入各自被分配的输入文件产生对应的中间值。在Shuffle阶段，多个服务器中的每个服务器通过多播本地计算的中间值给其他的服务器来进行数据交换，使得每个服务器都能获得在Reduce阶段所需要的中间值。在Reduce阶段，多个服务器通过计算Reduce函数，输入对应中间值产生被要求输出的结果。
MapReduce类型的分布式计算有两个主要挑战。MapReduce类型的分布式计算的第一个挑战是在数据交换的Shuffle阶段中不断增加的通信负载，因为Shuffle阶段的执行时间占据了整个MapReduce计算服务执行时间的相当一部分。MapReduce类型的分布式计算的第二个挑战是存在未能完成Map阶段计算的服务器，即由于服务器计算的随机性，个别服务器在Map阶段完成计算的速度比其他服务器要慢很多，因此很大程度地增加了计算延迟。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种算力网络中面向低时延任务的MapReduce混合编码方法，对于低时延的MapReduce任务，采取重复编码计算和极大距离可分(MDS)编码的混合编码方法，使用迭代算法得到使得算力网络中低时延的MapReduce任务的总时延最小的近似极大距离可分编码参数和重复冗余度。
一种算力网络中面向低时延任务的MapReduce混合编码方法，步骤如下：
1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μc、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μd；
2)对计算的数据先进行极大距离可分编码，再进行重复编码，其中按照以下步骤在
Figure BDA0004015871550000021
中选择合适的极大距离可分编码参数r1，在/>
Figure BDA00040158715500000217
中选择合适的重复冗余度r2，使编码后完成计算任务的总时延最小；
a)设置迭代算法的参数初始值：迭代步长初始值θ0，迭代精确度∈0，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值
Figure BDA0004015871550000022
重复冗余度迭代值的初始值/>
Figure BDA0004015871550000023
近似值与迭代值差值的权重τ，迭代次数z＝0。
b)在第z次迭代对应的极大距离可分编码参数和重复冗余度
Figure BDA0004015871550000024
的基础上，把完成计算任务总时延/>
Figure BDA0004015871550000025
近似为
Figure BDA0004015871550000026
Figure BDA0004015871550000027
把约束条件r1r2≤μcK近似为/>
Figure BDA0004015871550000028
Figure BDA0004015871550000029
因此，在第z+1次迭代中要解决的近似优化问题为：
Figure BDA00040158715500000210
Figure BDA00040158715500000211
以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值
Figure BDA00040158715500000212
求解的具体过程如下：
设置拉格朗日乘子第z次迭代的更新初始值
Figure BDA00040158715500000213
梯度法更新精确度∈1、∈2，梯度法更新步长σ1、σ2，更新次数m＝0、n＝0。
迭代进行
Figure BDA00040158715500000214
和/>
Figure BDA00040158715500000215
的更新：
Figure BDA00040158715500000216
Figure BDA0004015871550000031
其中，
Figure BDA0004015871550000032
Figure BDA0004015871550000033
直到满足终止条件
Figure BDA0004015871550000034
结束更新，输出
Figure BDA0004015871550000035
为最终的更新值/>
Figure BDA0004015871550000036
在获得
Figure BDA0004015871550000037
和/>
Figure BDA0004015871550000038
后，对拉格朗日乘子进行更新：/>
Figure BDA0004015871550000039
Figure BDA00040158715500000310
Figure BDA00040158715500000311
Figure BDA00040158715500000312
Figure BDA00040158715500000313
其中，
Figure BDA00040158715500000314
Figure BDA00040158715500000315
Figure BDA00040158715500000316
Figure BDA00040158715500000317
Figure BDA00040158715500000318
直到满足终止条件
Figure BDA00040158715500000319
结束更新，输出
Figure BDA00040158715500000320
为拉格朗日乘子第z+1次迭代的更新初始值
Figure BDA00040158715500000321
c)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：
Figure BDA00040158715500000322
Figure BDA00040158715500000323
z←z+1
θz＝θz-1(1θz-1)
d)直到满足终止条件
Figure BDA0004015871550000041
结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>
Figure BDA0004015871550000042
作为最终选择的极大距离可分编码参数和重复冗余度。
3)在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。
本发明的有益效果：
本发明通过对于算力网络中的低时延的MapReduce任务，采取重复编码计算和极大距离可分编码的混合编码方法，使用迭代算法得到使得总时延最小化的近似极大距离可分编码参数和重复冗余度，同时考虑了通信时延以及计算时延，并且能够以较短的执行时间获取近似最优性能。
附图说明
图1是分别固定R＝0.5，R＝0.1，不同完成Map阶段计算的服务器数量的情况下，本发明的混合编码方法与两种对比方法在总时延方面的性能比较图。
图2是分别固定μc＝0.5，μc＝0.1，不同范围参数的情况下，本发明的混合编码方法与两种对比方法在总时延方面的性能比较图。
图3是分别固定K＝1000，K＝500，随着迭代次数的变化，本发明方法的算法解与穷举算法解在总时延方面的性能比较图。
具体实施方式
以下结合附图和实施例进一步说明本发明，值得指出的是，以下的实施例仅用于说明本发明而不用于限制本发明。
一种算力网络中面向低时延任务的MapReduce混合编码方法，包括以下步骤：
步骤1：对于算力网络中的计算任务，获取基于MapReduce框架的服务器的数量、输出任务结果的数量、服务器的计算能力、完成Map阶段计算的服务器数量、传输速率和Map阶段计算时延分布的范围参数等信息；
步骤2：对计算的数据先进行极大距离可分编码，再进行重复编码，其中在
Figure BDA0004015871550000051
中选择合适的极大距离可分编码参数r1，在/>
Figure BDA0004015871550000055
中选择合适的重复冗余度r2，使编码后完成计算任务的总时延最小；
步骤3：在Map阶段，对于输入文件以最终选择的极大距离可分编码参数进行极大距离可分编码，获得编码输入文件。将编码输入文件以最终选择的重复冗余度在多个服务器上进行重复计算，即每个编码输入文件都被分配给数量等于最终选择的重复冗余度的服务器进行计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。
作为一个较好的实施例子，对于算力网络中的计算任务，首先获取计算任务输入文件的数量N、基于MapReduce框架的服务器的数量K、输出任务结果的数量Q。
在Map阶段，对于N个输入文件以极大距离可分编码参数r1进行极大距离可分编码，获得r1N个编码输入文件。将编码输入文件以重复冗余度r2在多个服务器上进行重复计算，即每个编码输入文件都被分配给r2个服务器进行计算。
服务器的计算能力用μc表示，即每个服务器最多可以获得N个输入文件的1/μc。不考虑来自未能完成Map阶段计算的服务器，也就是个别计算过慢的服务器的Map阶段计算所获得的中间值，并且定义完成Map阶段计算的服务器数量为s。
每个服务器在Map阶段完成计算的延迟服从位置参数为dm、范围参数为μd的移位指数分布。我们定义计算延迟Dm(r1,r2)为完成Map阶段计算的服务器在Map阶段完成计算的延迟。Dm(r1,r2)是K个服务器计算延迟值的s阶统计量，表达为：
Figure BDA0004015871550000052
将Shuffle阶段的通信分为多轮，每轮都对应于具有相同重复冗余度的中间值的通信。定义Vl为在重复冗余度为l的轮次中用NQ归一化后的交换的中间值的数量，描述为：
Figure BDA0004015871550000053
pmax和pmin是获得所需中间值的轮次对应的最大和最小重复冗余度，表达为：
pmax＝min{s-1,r2}
Figure BDA0004015871550000054
定义通信负载L(r1,r2)为s个完成Map阶段计算的服务器之间用N归一化后的在Shuffle阶段交换的中间值的数量，表达为：
Figure BDA0004015871550000061
定义通信延迟Ds(r1,r2)＝L(r1,r2)/为在Shuffle阶段交换中间值的延迟，其中R表示传输速率。
建立以最小化算力网络中低时延的MapReduce任务的总时延Dt(r1,r2)＝Dm(r1,r2)+Ds(r1,r2)为目标的优化问题如下：
Figure BDA0004015871550000062
Figure BDA0004015871550000063
其中，第一条、第二条和第三条约束是极大距离可分编码参数r1和重复冗余度r2使编码成立的条件，第四条约束是编码使计算任务完成的条件。
将前两条约束松弛至连续，并将所有中间值都近似成具有相同的重复冗余度r2s/K，去除此时恒成立的第四条约束，用以下通信负载近似值代替原通信负载：
Figure BDA0004015871550000064
对计算的数据先进行极大距离可分编码，再进行重复编码，其中按照以下步骤在
Figure BDA0004015871550000065
中选择合适的极大距离可分编码参数r1，在/>
Figure BDA00040158715500000611
中选择合适的重复冗余度r2，使编码后完成计算任务的总时延最小；
a)设置迭代算法的参数初始值：迭代步长初始值θ0，迭代精确度∈0，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值
Figure BDA0004015871550000066
重复冗余度迭代值的初始值/>
Figure BDA0004015871550000067
近似值与迭代值差值的权重τ，迭代次数z＝0。
b)在第z次迭代对应的极大距离可分编码参数和重复冗余度
Figure BDA0004015871550000068
的基础上，把完成计算任务总时延/>
Figure BDA0004015871550000069
近似为
Figure BDA00040158715500000610
Figure BDA0004015871550000071
把约束条件r1r2≤μcK近似为/>
Figure BDA0004015871550000072
Figure BDA0004015871550000073
因此，在第z+1次迭代中要解决的近似优化问题为：
Figure BDA0004015871550000074
Figure BDA0004015871550000075
以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值
Figure BDA0004015871550000076
求解的具体过程如下：
设置拉格朗日乘子第z次迭代的更新初始值
Figure BDA0004015871550000077
梯度法更新精确度∈1、∈2，梯度法更新步长σ1、σ2，更新次数m＝0、n＝0。
迭代进行
Figure BDA0004015871550000078
和/>
Figure BDA0004015871550000079
的更新：
Figure BDA00040158715500000710
Figure BDA00040158715500000711
其中，
Figure BDA00040158715500000712
Figure BDA00040158715500000713
直到满足终止条件
Figure BDA00040158715500000714
结束更新，输出
Figure BDA00040158715500000715
为最终的更新值/>
Figure BDA00040158715500000716
在获得
Figure BDA00040158715500000717
和/>
Figure BDA00040158715500000718
后，对拉格朗日乘子进行更新：
Figure BDA00040158715500000719
Figure BDA00040158715500000720
Figure BDA00040158715500000721
Figure BDA00040158715500000722
/>
Figure BDA00040158715500000723
其中，
Figure BDA0004015871550000081
Figure BDA0004015871550000082
Figure BDA0004015871550000083
Figure BDA0004015871550000084
Figure BDA0004015871550000085
直到满足终止条件
Figure BDA0004015871550000086
结束更新，输出
Figure BDA0004015871550000087
为拉格朗日乘子第z+1次迭代的更新初始值
Figure BDA0004015871550000088
c)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：
Figure BDA0004015871550000089
Figure BDA00040158715500000810
z←z+1
θz＝θz-1(1θz-1)
d)直到满足终止条件
Figure BDA00040158715500000811
结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>
Figure BDA00040158715500000812
作为最终选择的极大距离可分编码参数和重复冗余度。
在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算。在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值。在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。
作为一个较好的实施例子，假设各参数不作为调整变量时，具有N＝1000个输入文件的计算任务基于MapReduce框架的K＝1000个服务器来输出Q＝1000个任务结果，其中完成Map阶段计算的服务器数量s＝950。假设不作为调整变量时，服务器的计算能力μc设置为0.1，传输速率R设置为0.5，Map阶段计算时延分布的范围参数μd设置为1。设置迭代算法所需的迭代步长初始值θ0＝0.95，梯度法更新精确度∈1＝∈2＝0.001，迭代精确度∈0＝0.001，梯度法更新步长σ1＝σ2＝0.5，迭代步长更新参数δ＝0.05，随机选择极大距离可分编码参数迭代值的初始值
Figure BDA0004015871550000091
重复冗余度迭代值的初始值/>
Figure BDA0004015871550000092
拉格朗日乘子更新初始值
Figure BDA0004015871550000093
Figure BDA0004015871550000094
近似值与迭代值差值的权重τ，通过计算机仿真运行500次取平均值来作为最终结果。引入两个对比方法，一个是重复编码方法，输入文件采用重复编码，不进行极大距离可分编码；另一个是极大距离可分编码倾向方法，输入文件倾向于使用极大距离可分编码，而不是重复编码。另外，引入穷举算法作为对比算法。
对于不同的传输速率，如图1所示，本发明的混合编码方法与两种对比方法相比，随着完成Map阶段计算的服务器数量的变化，在总时延方面有明显的降低。在完成Map阶段计算的服务器数量相对少的情况下，本发明方法的性能优势更加显著。
对于不同的计算能力，如图2所示，本发明的混合编码方法与两种对比方法相比，随着范围参数的变化，在总时延方面有明显的降低。在范围参数相对大的情况下，本发明方法的性能优势更加显著。
对于不同的服务器数量，如图3所示，本发明方法的算法解与穷举算法解对比，在迭代收敛后，在总时延方面有近似最优性能。
表1是分别令服务器数量K＝250、500、750、1000，本发明方法的算法与穷举算法在执行时间方面的比较。对于不同的服务器数量，如表1所示，本发明方法的算法与穷举算法对比，在执行时间方面有明显的降低。
表1
Figure BDA0004015871550000095
综合以上性能比较，本发明通过对于算力网络中的低时延的MapReduce任务采取混合编码方法，使用迭代算法得到使得总时延最小化的近似极大距离可分编码参数和重复冗余度，在时延性能上优于其他对比方法，并且能够以较短的执行时间获取近似最优性能。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (2)

1.一种算力网络中面向低时延任务的MapReduce混合编码方法，其特征在于，包括如下步骤：
1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μc、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μd；
2)对计算的数据先进行极大距离可分(MDS)编码，再进行重复编码，其中在
Figure FDA0004015871540000011
中选择合适的极大距离可分编码参数r1，在/>
Figure FDA0004015871540000012
中选择合适的重复冗余度r2，使编码后完成计算任务的总时延最小；
3)在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算；在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值；在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。
2.根据权利要求1所述的方法，其特征在于，步骤2)所述的在
Figure FDA0004015871540000013
中选择合适的极大距离可分编码参数r1，在/>
Figure FDA0004015871540000014
中选择合适的重复冗余度r2，使编码后完成计算任务的总时延最小，步骤如下：
2.1)设置迭代算法的参数初始值：迭代步长初始值θ0，迭代精确度∈0，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值
Figure FDA0004015871540000015
重复冗余度迭代值的初始值/>
Figure FDA0004015871540000016
近似值与迭代值差值的权重τ，迭代次数z＝0；
2.2)在第z次迭代对应的极大距离可分编码参数和重复冗余度
Figure FDA0004015871540000017
的基础上，把完成计算任务总时延/>
Figure FDA0004015871540000018
近似为
Figure FDA0004015871540000019
Figure FDA00040158715400000110
把约束条件r1r2≤μcK近似为/>
Figure FDA00040158715400000111
Figure FDA00040158715400000112
因此，在第z+1次迭代中要解决的近似优化问题为：
Figure FDA00040158715400000113
Figure FDA0004015871540000021
以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值
Figure FDA0004015871540000022
求解的过程如下：
设置拉格朗日乘子第z次迭代的更新初始值
Figure FDA0004015871540000023
梯度法更新精确度∈1、∈2，梯度法更新步长σ1、σ2，更新次数m＝0、n＝0；
迭代进行
Figure FDA0004015871540000024
和/>
Figure FDA0004015871540000025
的更新：/>
Figure FDA0004015871540000026
Figure FDA0004015871540000027
其中，
Figure FDA0004015871540000028
Figure FDA0004015871540000029
直到满足终止条件
Figure FDA00040158715400000210
结束更新，输出/>
Figure FDA00040158715400000211
为最终的更新值/>
Figure FDA00040158715400000212
在获得
Figure FDA00040158715400000213
和/>
Figure FDA00040158715400000214
后，对拉格朗日乘子进行更新：
Figure FDA00040158715400000215
Figure FDA00040158715400000216
Figure FDA00040158715400000217
Figure FDA00040158715400000218
Figure FDA00040158715400000219
其中，
Figure FDA00040158715400000220
Figure FDA00040158715400000221
Figure FDA00040158715400000222
Figure FDA0004015871540000031
Figure FDA0004015871540000032
直到满足终止条件
Figure FDA0004015871540000033
结束更新，输出
Figure FDA0004015871540000034
为拉格朗日乘子第z+1次迭代的更新初始值
Figure FDA0004015871540000035
2.3)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：
Figure FDA0004015871540000036
Figure FDA0004015871540000037
z←z+1
θz＝θz-1(1-εθz-1)；
2.4)直到满足终止条件
Figure FDA0004015871540000038
结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度/>
Figure FDA0004015871540000039
作为最终选择的极大距离可分编码参数和重复冗余度。/>
CN202211671947.6A 2022-12-25 2022-12-25 算力网络中面向低时延任务的MapReduce混合编码方法 Active CN116155906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211671947.6A CN116155906B (zh) 2022-12-25 2022-12-25 算力网络中面向低时延任务的MapReduce混合编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211671947.6A CN116155906B (zh) 2022-12-25 2022-12-25 算力网络中面向低时延任务的MapReduce混合编码方法

Publications (2)

Publication Number Publication Date
CN116155906A true CN116155906A (zh) 2023-05-23
CN116155906B CN116155906B (zh) 2024-03-12

Family

ID=86349996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211671947.6A Active CN116155906B (zh) 2022-12-25 2022-12-25 算力网络中面向低时延任务的MapReduce混合编码方法

Country Status (1)

Country Link
CN (1) CN116155906B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330008A (zh) * 2017-06-13 2017-11-07 广东电网有限责任公司佛山供电局 一种基于Hadoop平台的电力系统谐波监测方法
WO2020181612A1 (zh) * 2019-03-12 2020-09-17 电子科技大学 最优拉格朗日乘子基准定点标定方法
CN114416855A (zh) * 2021-12-14 2022-04-29 国网河北省电力有限公司经济技术研究院 一种基于电力大数据的可视化平台及方法
CN114417947A (zh) * 2020-10-28 2022-04-29 江苏斯诺物联科技有限公司 一种基于元启发式算法的并行工业物联网大数据聚类方法
CN114528100A (zh) * 2022-02-11 2022-05-24 浙江工业大学 基于双目标优化的服务器负载均衡方法
CN114844781A (zh) * 2022-05-20 2022-08-02 南京大学 Rack架构下面向编码MapReduce的Shuffle性能优化方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330008A (zh) * 2017-06-13 2017-11-07 广东电网有限责任公司佛山供电局 一种基于Hadoop平台的电力系统谐波监测方法
WO2020181612A1 (zh) * 2019-03-12 2020-09-17 电子科技大学 最优拉格朗日乘子基准定点标定方法
CN114417947A (zh) * 2020-10-28 2022-04-29 江苏斯诺物联科技有限公司 一种基于元启发式算法的并行工业物联网大数据聚类方法
CN114416855A (zh) * 2021-12-14 2022-04-29 国网河北省电力有限公司经济技术研究院 一种基于电力大数据的可视化平台及方法
CN114528100A (zh) * 2022-02-11 2022-05-24 浙江工业大学 基于双目标优化的服务器负载均衡方法
CN114844781A (zh) * 2022-05-20 2022-08-02 南京大学 Rack架构下面向编码MapReduce的Shuffle性能优化方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王艳等: "编码技术改进大规模分布式机器学习性能综述", 《计算机研究与发展》, vol. 03, pages 542 - 561 *

Also Published As

Publication number Publication date
CN116155906B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN111382844B (zh) 一种深度学习模型的训练方法及装置
CN111628855B (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
Han et al. Accelerating federated learning with split learning on locally generated losses
CN113504999B (zh) 一种面向高性能分层联邦边缘学习的调度与资源分配方法
CN111030861A (zh) 一种边缘计算分布式模型训练方法、终端和网络侧设备
CN113222179A (zh) 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法
CN113098714B (zh) 基于强化学习的低时延网络切片方法
CN112364913A (zh) 一种基于核心数据集的联邦学习通信量优化方法及系统
CN111711962A (zh) 一种移动边缘计算系统子任务协同调度方法
CN113886460A (zh) 低带宽分布式深度学习方法
CN116155906B (zh) 算力网络中面向低时延任务的MapReduce混合编码方法
CN110830294B (zh) 一种基于分支定界法的边缘计算任务分配方法
Dai et al. Efficient all-reduce for distributed dnn training in optical interconnect systems
CN111488981A (zh) 基于高斯分布估计选取深度网络参数稀疏阈值的方法
Chen et al. A channel aggregation based dynamic pruning method in federated learning
CN115633377A (zh) 基于车辆边缘计算的任务卸载方法
CN116112488A (zh) 一种面向mec网络的细粒度任务卸载及资源分配方法
CN115617510A (zh) 一种基于信息素遗传蚁群算法的服务器动态均衡方法及系统
CN114465900A (zh) 基于联邦边缘学习的数据共享时延优化方法及装置
Zhang et al. Building large machine learning models from small distributed models: A layer matching approach
CN116824281B (zh) 一种隐私保护的图像分类方法及装置
CN114520772B (zh) 一种5g切片资源调度方法
CN115119266A (zh) 异构多跳网络拓扑下的编码计算负载均衡分配方法及系统
Zhang et al. A Distributed Algorithm with a Modified Quantization Radius Under Limited Communication
CN113132482B (zh) 一种基于强化学习的分布式消息系统参数自适应优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant