CN115190050B - 基于异构多址接入网络慢节点检测的编码计算优化方法 - Google Patents

Abstract

本发明公开了一种基于异构多址接入网络慢节点检测的编码计算优化方法，在信道传输速率未知情况下，在检测时间点对所有工作节点进行慢节点检测，当检测工作节点为慢节点时，在检测时间点将所有慢节点停止计算，慢节点通过多址接入信道依次回传计算结果，当检测工作节点为非慢节点时，非慢节点继续计算任务，直到计算任务数量满足任务，然后非慢节点等到信道空闲后依次回传计算结果。本发明方法不仅考虑到工作节点自身引起的计算异构，同时也考虑工作节点由于链路差异而引起的传输异构，在无速率编码原理的基础上，根据工作节点计算参数的异构性和传输参数的异构性，实现计算任务的最优分配。

Description

基于异构多址接入网络慢节点检测的编码计算优化方法

技术领域

本发明涉及通信技术领域，特别涉及一种基于异构多址接入网络慢节点检测的编码计算优化方法。

背景技术

近年来，分布式计算被广泛应用于在不同的计算系统中执行各种计算任务。大规模计算任务通常可以用矩阵向量乘法计算情况来衡量计算任务的完成程度，并且矩阵向量乘法是许多分布式机器学习算法中的关键计算，如逻辑回归、强化学习和基于梯度下降的算法。所以分布式计算任务大多为矩阵向量乘法计算。大规模分布式计算系统面临一个限制其可扩展性的主要瓶颈：由不同工作节点上计算时间的可变性导致的慢节点延迟，即分布式计算的性能取决于节点中的计算慢节点。缓解慢节点效应的传统方法是以复制的形式引入计算冗余。例如，在另一个可用节点上复制慢节点的任务是减轻慢节点影响的常用方法。然而，最近的研究结果提出使用“编码方案”引入巧妙的计算冗余来处理慢节点效应。

编码分布式计算的关键思想是使用编码来注入冗余，以便通过权衡算法在计算中的冗余因子对慢节点数量的鲁棒性来实现最小延迟。目前编码分布式计算常用的编码方案主要分为两种：一种是最大距离可分(Maximum Distance Separable，MDS)编码，想使用一个主节点和n个工作节点实现矩阵A与向量x相乘的计算任务。通过一个(n，k)MDS码将A沿行分成k个子矩阵预先分配给k个工作节点。主节点使用n个工作节点中最快的k个的结果来解码出计算结果，从而减小慢节点带来的时延影响。另一种是无速率编码(Rateless Code)策略。主节点生成矩阵A的冗余编码线性组合，并将它们平均分布在每个工作节点上。在每个工作节点完成其当前任务后立即动态地将一个计算任务分配给该节点。因此，速度较快的工作节点比速度较慢的工作节点完成更多的任务。无速率编码策略既能实现几乎相同的负载平衡，又能充分利用所有工作节点的计算结果，节省动态分配计算任务的通信开销。

为了描述分布式计算任务的总运行时间，考虑两个变量，一个是每个工作节点的计算时间，另一个是从工作节点到主节点的每个本地计算结果的传输时间。任务的总运行时间由计算时间和传输时间组合得到。传统的编码计算的工作主要集中在有线网络中减轻计算时间。因为有线网络中的工作节点的计算结果可以被主节点同时接收，传输时间相对于计算时间来说可以忽略不计。而对于异构多址接入网络中的无线分布式计算，传输时间对性能也有着不可忽视的重要影响，因为在多址接入信道中，每个工作节点仅在信道空闲时传输其数据，并且优先级由工作节点的计算时间顺序决定。在这种情况下，传输时间相对计算时间的比重不可忽略。

但是，在传统模型中考虑同构网络是不切实际的。因为在同构网络中，每个工作节点的传输时间被简化为相同或独立的随机变量，尽管它应该与传输的数据量和相应的传输速率相关。与传统模型相比，考虑一种更普遍的情况，其中工作节点拥有各种传输速率和计算能力。在这样的异构多址接入网络中，通过向异构的工作节点分配其最佳计算负载可以处理工作节点中的计算慢节点和传输慢节点，从而优化分布式计算任务的总运行时间。

通过对网络中计算慢节点和传输慢节点的检测并且控制它们的计算负载来控制它们的计算时间。尽量保证更多的计算负载分配到计算速率和传输速率快的工作节点上，同时尽量保证工作节点无需多余的等待信道空闲的冗余时间，使得完成分布式计算任务的总运行时间最小化。通过对无速率编码方式和原理的研究发现，由于其编码方式能使得每个工作节点计算尽可能多的负载，以及充分利用了所有工作节点的计算结果，这为计算负载的最佳分配策略提供了可能。

发明内容

本发明针对上述问题，提供了一种基于异构多址接入网络慢节点检测的编码计算优化方法，针对在信道传输速率未知和已知两种情况下，实现计算任务的最优分配。

本发明的技术方案是：针对矩阵向量乘法任务y＝Ax，其中A表示数据矩阵，x表示输入向量，主节点将A编码成多个编码行向量，将每个编码行向量和x的乘积称为内积，基于每个工作节点计算尽量多的内积数量前提下得到工作节点的计算时间T_i与T_i期间的内积个数期望均与工作节点的计算能力相关，并可以根据每个工作节点的信道传输速率得到每个工作节点的传输时间；

在信道传输速率未知情况下，在检测时间点对所有工作节点进行慢节点检测，当检测工作节点为慢节点时，在检测时间点将所有慢节点停止计算，慢节点通过多址接入信道依次回传计算结果，当检测工作节点为非慢节点时，非慢节点继续计算任务，直到计算任务数量满足任务，然后非慢节点等到信道空闲后依次回传计算结果。

本发明的进一步技术方案是：在信道传输速率已知情况下，在任务开始前对所有工作节点按处理速率从慢到快进行排序，记为W1、W2，...,Wn；W1率先停止计算，将计算结果回传到主节点，W2在W1传输结束后停止计算，将计算结果回传到主节点；前n-1个工作节点都在上一个工作节点传输结束后停止计算，将加速那结果回传到主节点；最后一个工作节点Wn完成剩余所有计算任务，等待信道空余将计算结果回传到主节点。

本发明的进一步技术方案是：慢节点检测中，将的工作节点为计算慢节点，其中/>表示t时刻工作节点计算内积的期望，L(t)在时间点t检测到已计算内积总数；

慢节点表征ζ_i≤0的工作节点为传输慢节点，其中

其中R_i表示在时间点t的信道传输速率，n表示工作节点个数，λ_j表示与t无关的常数，μ_j表示与工作节点计算能力相关的离散参数，a_j表示工作节点的移位参数。

本发明的进一步技术方案是：所述方法还包括建立和解决优化问题寻找最佳的检测时间点t^*用于最小化在信道传输速率未知情况下的任务总运行时间T_tot，优化问题P1为：

P₁:

其中T_tot＝t^*+T_{str_trn}+T_{nonstr_trn}，T_{str_trn}表示慢节点的总传输时间，T_{nonstr_trn}表示非慢节点的总传输时间，是时间段t^*内所有工作节点计算内积的总数，解得最佳检测时间t^*为

其中r′表示需要计算的内积总数，n表示工作节点个数，n′表示慢节点个数，μ_i、μ_p、μ_q均表示与工作节点计算能力相关的离散参数，λ_i、λ_p、λ_q均表示与时间点t无关的常数，R_p表示慢节点的信道传输速率，b表示每个内积的比特数。

本发明的进一步技术方案是：所述方法还包括建立和解决优化问题寻找W₁最佳的计算时间T₁ ^*用于最小化在信道传输速率已知情况下的任务总运行时间T_tot，优化问题P2为：

P₂:

其中b表示每个内积的比特数，n表示工作节点个数，μ_i、μ_j均表示与工作节点计算能力相关的离散参数，λ_i表示与时间点t无关的常数，T_i ^*表示工作节点的最佳计算时间，/>表示工作节点i计算内积的期望，T_i表示工作节点i的计算时间，r′表示需要计算的内积总数，T_j+1表示工作节点j+1的计算时间，R_j表示工作节点j的信道传输速率，解得W₁最佳的计算时间T₁ ^*为：

其中

本发明提供的一种基于异构多址接入网络慢节点检测的编码计算优化方法，其有益效果是：针对异构多址接入网络中的慢节点检测与编码计算结果回传方法，不仅考虑到工作节点自身计算力引起的计算异构，同时也考虑工作节点由于链路差异而引起的传输异构，在无速率编码原理的基础上，根据工作节点计算参数的异构性和传输参数的异构性，实现计算任务的最优分配。

附图说明

图1为本发明实施例中异构无线多址网络中的分布式计算框架结构示意图；

图2为本发明实施例中单次慢节点检测与传输方法的流程示意图；

图3为本发明实施例中单次慢节点检测与传输方法的计算和传输过程示意图；

图4为本发明实施例中排序慢节点与有序传输方法的流程示意图；

图5为本发明实施例中排序慢节点与有序传输方法的计算和传输过程示意图；

图6为本发明实施例中四种计算任务分配方法在不同异构场景下的性能对比图；

图7为本发明实施例中四种计算任务分配方法在不同异构场景下的性能对比图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

基于本发明的实施例1

本实施例用于说明本发明解决技术问题的原理，异构无线多址网络中的分布式计算框架如图1所示，由一个主节点和n个工作节点W_i组成，i∈[n]。网络计算目标是完成矩阵向量乘法任务y＝Ax，其中是数据矩阵，/>是输入向量。主节点使用原始矩阵A的r行数据编码生成r′＝r(1+ε)个编码行向量(ε是一个很小的编码开销)，这r′个编码行向量构成编码矩阵A′。A′被划分为n个局部矩阵块A′_i(即工作节点的计算负载)，预先分配到工作节点W_i上。在计算任务开始时，主节点通过广播将任务向量x发送给n个工作节点。收到x后，每个工作节点负责完成本地的计算任务A′_ix。在所有节点计算阶段结束后，每个工作节点通过无线多址信道将结果单播回传给主节点，由主节点汇总得到计算结果，计算任务完成。

将工作节点W_i的计算时间表示为随机变量T_i，其中T₁,T₂,...,T_n是相互独立的，i∈[n]。由于指数模型非常适合云计算环境中的计算时间分布，此外，移位指数分布的移位参数和平均参数都与负载大小成线性比例。所以，使用双参数移位指数模型来描述计算时间，即计算负载为l_i的T_i的累积分布函数给出为

其中Pr[]表示概率累积分布函数，a_i＞0表示与工作节点由于占用或者宕机引起的移位参数，μ_i＞0是与工作节点计算能力相关的离散参数，每个工作节点的信道传输速率为R_i。由于网络的异构性，{a_i}、{μ_i}和{R_i}是不同的。

基于以上参数提出相应的慢节点检测与编码计算结果回传方法，通过控制慢节点的计算时间将更多的计算负载分配给计算能力强且传输速率快的工作节点，同时尽量减少工作节点等待使用传输信道的冗余时间，从而优化计算任务的总运行时间。

基于本发明的实施例2

本实施例基于实施例1用于说明本发明解决技术问题的方法，一种基于异构多址接入网络慢节点检测的编码计算优化方法，针对矩阵向量乘法任务y＝Ax，其中A表示数据矩阵，x表示输入向量，主节点将A编码成多个编码行向量，将每个编码行向量和x的乘积称为内积，基于每个工作节点计算尽量多的内积数量前提下得到工作节点的计算时间T_i与T_i期间的内积个数期望均与工作节点的计算能力相关，并可以根据每个工作节点的信道传输速率得到每个工作节点的传输时间；

具体实施过程中，将每个编码行向量和x的乘积称为内积。假设主节点能在t时刻检测到网络中已计算的内积总数为L(t)。令表示t时刻工作节点计算内积总数的期望，希望每个工作节点计算尽量多的内积数量，即得到以下关于计算负载的方程：

上式的解满足以下最优性条件：

解得

其中λ_i是一个与t无关的常数，是公式的正数解。可以得到

因此，工作节点得计算时间T_i与T_i期间的内积个数期望和计算参数有关，即

设每个内积为b比特，则每个工作节点的传输时间t_i为

基于本发明的实施例3

本实施例基于实施例1和实施例2用于说明本发明在信道传输速率未知情况下解决技术问题的一种单次慢节点检测与传输的方法，如图2所示，在信道传输速率未知情况下，在检测时间点对所有工作节点进行慢节点检测，当检测工作节点为慢节点时，在检测时间点将所有慢节点停止计算，慢节点通过多址接入信道依次回传计算结果，当检测工作节点为非慢节点时，非慢节点继续计算任务，直到计算任务数量满足任务，然后非慢节点等到信道空闲后依次回传计算结果。

具体实施过程包括：

步骤一：慢节点检测中，将的工作节点为计算慢节点，其中表示t时刻工作节点计算内积的期望，L(t)在时间点t检测到已计算内积总数；

慢节点表征ζ_i≤0的工作节点为传输慢节点，其中

其中R_i表示在时间点t工作节点i的信道传输速率，n表示工作节点个数，λ_j表示与t无关的常数，μ_j表示与工作节点计算能力相关的离散参数，a_j表示工作节点的移位参数。

具体地，工作节点计算全部开始后，在某个时间点t检测网络内已计算内积个数L(t)以及信道传输速率{R_i}来进行慢节点的检测。将的工作节点定义为计算慢节点。还可以得到一个传输慢因子用来表征传输慢节点：

将ζ_i≤0的工作节点定义为传输慢节点。

步骤二：如图3所示，假设工作节点W₁,W₂,...,W_n′(1≤n′＜n)在t时刻被检测为慢节点。所有慢节点在t时刻停止计算阶段，并通过多址接入信道将计算结果一个接着一个回传主节点。而剩余的非慢节点W_n′+1,W_n′+2,...,W_n则继续计算未完成的内积，直到主节点检测到满足要求的r′个内积时全部停止计算，然后等待信道空闲时将其计算结果一个接着一个回传主节点。

步骤三：所述方法还包括建立和解决优化问题寻找最佳的检测时间点t^*用于最小化在信道传输速率未知情况下的任务总运行时间T_tot，优化问题P1为：

P₁:

其中T_tot＝t^*+T_{str_trn}+T_{nonstr_trn}，T_{str_trn}表示慢节点的总传输时间，T_{nonstr_trn}表示非慢节点的总传输时间，是时间段t^*内所有工作节点计算内积的总数，解得最佳检测时间t^*为

其中r′表示需要计算的内积总数，n表示工作节点个数，n′表示慢节点个数，μ_i、μ_p、μ_q均表示与工作节点计算能力相关的离散参数，λ_i、λ_p、λ_q均表示与时间点t无关的常数，R_p表示慢节点的信道传输速率，b表示每个内积的比特数。

具体地，通过建立和解决优化问题寻找最佳的检测时间t^*来最小化该方法下的任务总运行时间。设p∈[1,n′]、q∈[n′+1,n]，如图2所示，慢节点的总传输时间为

对于非慢节点，假设到t′时间点主节点检测内积总数的期望为有

其中

非慢节点的计算时间为t+t′。显然则非慢节点的总传输时间为

根据贪心算法的思想，当所有慢节点的传输结束时，与此同时非慢节点的计算阶段也正好完成，即计算的内积总数达到r′。在这种情况下非慢节点没有额外等待信道空闲的时间，同时也将更多的计算负载分配给了效率更高的工作节点。提出了以下优化问题：

P₁:

在优化问题P₁中，是时间段t^*内所有工作节点计算内积的总数。解得最佳检测时间为

所以，提出的单次慢节点检测与传输方法下的任务总运行时间公式为

基于本发明的实施例4

本实施例基于实施例1和实施例2用于说明本发明在信道传输速率已知情况下解决技术问题的一种排序慢节点与有序传输的方法，如图4所示，在信道传输速率已知情况下，在任务开始前对所有工作节点按处理速率从慢到快进行排序，记为W1、W2，...,Wn；W1率先停止计算，将计算结果回传到主节点，W2在W1传输结束后停止计算，将计算结果回传到主节点；前n-1个工作节点都在上一个工作节点传输结束后停止计算，将加速那结果回传到主节点；最后一个工作节点Wn完成剩余所有计算任务，等待信道空余将计算结果回传到主节点。

具体实施过程包括：

步骤1：由已知的参数可以求出每个工作节点处理一个内积的总时间(包括计算时间和传输时间)。定义处理时间T_pro,i为工作节点W_i处理一个内积的总时间(包括计算时间和传输时间)。因此：

将{T_pro,i}按降序排序并重新标记为T_pro,1＞T_pro,2＞...＞T_pro,n。也就是说，n个工作节点按照处理内积速度从慢到快排序，记为W₁，W₂，...，W_n。

步骤2：如图5所示，令处理内积速率最慢的工作节点W₁在T₁时刻停止计算，并且通过多址接入信道回传计算结果(W₁的传输时间为t₁)。一旦W₁的传输结束，工作节点W₂立即停止计算，即W₂的计算时间为T₂＝T₁+t₁。同理，一旦W₂的传输结束，工作节点W₃立即停止计算。以此类推，n个工作节点的计算和传输过程如图5所示，工作节点之间的计算时间关系为：

T_j+1＝T_j+t_j,j∈[1,n-1]

步骤3：所述方法还包括建立和解决优化问题寻找W₁最佳的计算时间T₁ ^*用于最小化在信道传输速率已知情况下的任务总运行时间T_tot，优化问题P2为：

P₂:

其中b表示每个内积的比特数，n表示工作节点个数，μ_i、μ_j均表示与工作节点计算能力相关的离散参数，λ_i表示与时间点t无关的常数，T_i ^*表示工作节点的最佳计算时间，/>表示工作节点i计算内积的期望，T_i表示工作节点i的计算时间，r′表示需要计算的内积总数，T_j+1表示工作节点j+1的计算时间，R_j表示工作节点j的信道传输速率，解得W₁最佳的计算时间T₁ ^*为：

其中

具体地，通过建立和解决优化问题寻找W₁最佳的计算时间T₁ ^*来最小化该方法下的任务总运行时间。根据贪心算法的思想，当最后一个工作节点W_n的计算结束时，正好应该是工作节点W_n-1计算结束，同时工作节点完成的内积总数也达到r′个。在这种情况下所有工作节点都无需额外等待信道空闲的时间，同时也将更多的计算负载分配给了效率更高的工作节点。提出了以下优化问题：

P₂:

令和/>有

所以，提出的排序慢节点与有序传输方法下的任务总运行时间公式为

本发明实施例的一种基于异构多址接入网络慢节点检测的编码计算优化方法，对以上4个实施例进行仿真实验。传统的两种计算任务分配方法：

(1)WCC：这种方案基于最大距离可分(Maximum Distance Separable，MDS)编码，主要思想是舍弃网络中的传输慢节点，随后对剩余的非传输慢节点执行负载分配。

(2)RCDC：基于无速率编码，主要思想是允许所有工作节点参与计算，只要计算内积总数达到所需的r′个即停止计算，然后所有工作节点将内积结果一一回传。

提出的两种计算任务分配方法：

(1)SSDT：本发明的单次慢节点检测与传输方法

(2)SSOT：本发明的排序慢节点与有序传输方法

通过仿真分析，设置了不同异构网络场景下的相关参数，以及在这些异构网络场景下，传统的计算任务分配方法和提出的计算任务分配方法在系统完成计算任务总运行时间的性能对比。系统参数如表1所示：

表1工作节点参数表

如图6，表示在不同异构参数下，n＝10个工作节点计算r′＝11300个内积数量时的两种计算任务分配方法与传统分配方法的性能对比。

如图7，表示在不同异构参数下，n＝10个工作节点计算r′＝33900个内积数量时的两种计算任务分配方法与传统分配方法的性能对比。

综合上述各实施例提供的一种基于异构多址接入网络慢节点检测的编码计算优化方法，针对异构多址接入网络中的慢节点检测与编码计算结果回传方法，不仅考虑到工作节点自身计算力引起的计算异构，同时也考虑工作节点由于链路差异而引起的传输异构，在无速率编码原理的基础上，根据工作节点计算参数的异构性和传输参数的异构性，实现计算任务的最优分配。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于异构多址接入网络慢节点检测的编码计算优化方法，其特征在于，所述方法包括以下步骤：

针对矩阵向量乘法任务y＝Ax，其中A表示数据矩阵，x表示输入向量，主节点将A编码成多个编码行向量，将每个编码行向量和x的乘积称为内积，基于每个工作节点计算尽量多的内积数量前提下得到工作节点的计算时间T_i与T_i期间的内积个数期望均与工作节点的计算能力相关；

在信道传输速率未知情况下，在检测时间点对所有工作节点进行慢节点检测，当检测工作节点为慢节点时，在检测时间点将所有慢节点停止计算，慢节点通过多址接入信道依次回传计算结果，当检测工作节点为非慢节点时，非慢节点继续计算任务，直到计算任务数量满足任务，然后非慢节点等到信道空闲后依次回传计算结果。

2.根据权利要求1所述的基于异构多址接入网络慢节点检测的编码计算优化方法，其特征在于，在信道传输速率已知情况下，在任务开始前对所有工作节点按处理速率从慢到快进行排序，记为W1、W2，...,Wn；W1率先停止计算，将计算结果回传到主节点，W2在W1传输结束后停止计算，将计算结果回传到主节点；前n-1个工作节点都在上一个工作节点传输结束后停止计算，将加速那结果回传到主节点；最后一个工作节点Wn完成剩余所有计算任务，等待信道空余将计算结果回传到主节点。

3.根据权利要求1所述的基于异构多址接入网络慢节点检测的编码计算优化方法，其特征在于，慢节点检测中，将的工作节点为计算慢节点，其中/>表示t时刻工作节点计算内积的期望，L(t)表示在时间点t检测到已计算内积总数；

设定慢节点表征ζ_i≤0的工作节点为传输慢节点，其中

其中R_i表示在时间点t工作节点i的信道传输速率，R_j表示工作节点j的信道传输速率，n表示工作节点个数，λ_j表示与t无关的常数，μ_j表示与工作节点j计算能力相关的离散参数，a_j表示工作节点j的移位参数。

4.根据权利要求1所述的基于异构多址接入网络慢节点检测的编码计算优化方法，其特征在于，所述方法还包括建立和解决优化问题寻找最佳的检测时间点t^*用于最小化在信道传输速率未知情况下的任务总运行时间T_tot，优化问题P1为：

P₁:

其中T_tot＝t^*+T_{str_trn}+T_{nonstr_trn}，T_{str_trn}表示慢节点的总传输时间，T_{nonstr_trn}表示非慢节点的总传输时间，是时间段t^*内所有工作节点计算内积的总数，解得最佳检测时间t^*为

其中r′表示需要计算的内积总数，n表示工作节点个数，n′表示慢节点个数，μ_i、μ_p、μ_q均表示与工作节点计算能力相关的离散参数，λ_i、λ_p、λ_q均表示与时间点t无关的常数，R_p表示慢节点的信道传输速率，b表示每个内积的比特数。

5.根据权利要求2所述的基于异构多址接入网络慢节点检测的编码计算优化方法，其特征在于，所述方法还包括建立和解决优化问题寻找W₁最佳的计算时间T₁ ^*用于最小化在信道传输速率已知情况下的任务总运行时间T_tot，优化问题P2为：

P₂:

其中b表示每个内积的比特数，n表示工作节点个数，μ_i、μ_j均表示与工作节点计算能力相关的离散参数，λ_i表示与时间点t无关的常数，T_i ^*表示工作节点的最佳计算时间，/>表示工作节点i计算内积的期望，T_i表示工作节点i的计算时间，r′表示需要计算的内积总数，T_j+1表示工作节点j+1的计算时间，R_j表示工作节点j的信道传输速率，解得W₁最佳的计算时间T₁ ^*为：

其中