CN109756578A - 一种面向动态雾计算网络的低时延任务调度方法 - Google Patents

Abstract

本发明提供了一种面向动态雾计算网络的低时延任务调度方法，网络中的帮助节点不会实时广播自己的节点状态信息，如任务队列信息与可共享计算资源信息，或者说帮助节点并不会实时响应对这些信息的请求。在每次有任务卸载需求时，任务节点需要实时做出卸载决策，从当前的候选帮助帮助节点中选择一个卸载任务。由于任务节点对帮助节点状态未知，任务自身也有时延需求，任务节点则需要良好地从自己过往的任务卸载经验进行学习，为当前决策提供判断。本发明为非动态与动态变化的雾计算或者边缘计算网络提出了一种基于在线学习方法的单对多任务卸载算法，该方法可以大大减少网络中由于信息传播带来的能量开销，延长任务节点和帮助节点的使用时长。

Description

一种面向动态雾计算网络的低时延任务调度方法

技术领域

本发明属于计算通信网络领域，具体涉及一类以降低任务平均卸载时延为目标的任务卸载算法。

背景技术

随着智能物联网、5G与人工智能等技术的兴起与发展，处理海量且多样性的数据、满足超低的服务时延需求，成为了越来越亟待解决的问题。传统的基于集中式的云计算架构由于终端设备与云服务器的遥远距离而产生较大时延，已难以独立满足时延敏感性服务的需求；同时，基于集中式的管理也难以支撑海量设备的接入。在这种背景下，雾计算应运而生。雾计算以其分布式的框架、低延迟的服务，十分有望成为支撑未来智能物联网、5G和人工智能应用的关键技术，近年来受到广泛的关注与研究。雾计算技术将通信、计算、控制和存储等能力从云端推向网络边缘(例如，(小)基站、无线接入点以及其它潜在雾节点)，通过资源共享机制和协同服务架构来帮助资源有限的移动设备执行具有超低延迟限制的计算密集型应用程序，从而有效提升用户体验或者生产效率。

任务卸载是雾计算的主要特征之一，计算资源有限的节点在难以独立支持应用服务时，可将计算任务卸载到网络中资源充足的节点帮助计算。本发明书将需要进行任务卸载的节点叫做任务节点，将提供计算帮助的节点叫做帮助节点。时延和能耗是任务卸载过程中两个重要的指标，有大量学者对其进行了研究，本发明主要考虑的指标为任务卸载时延。现有的研究工作主要有以下不足：

一方面，目前大多数学者研究的都是准静态的网络中的任务卸载，即在任务卸载的过程中，网络中的任务节点以及帮助节点均处于静止状态，且帮助节点所提供的计算资源保持不变。然而，在实际情况中，任务节点和帮助节点往往都不是静止的，而是处在移动状态，经历着多变的无线信道；同时，由于帮助节点自身应用服务可能发生变化，导致自身任务占用计算资源会发生变化，因此可提供的计算资源也可能发生变化。

另一方面，现有的研究大都假设系统中任务节点信息已知，或者这些信息可以实时广播到网络中。由于任务的卸载决策通常需要帮助节点状态相关信息，比如任务队列长度，可共享资源大小等，因此任务卸载过程本身便可看作典型的随机决策过程。对此，许多的研究工作利用现有的李亚普诺夫(Lyapunov)优化等方法来实现任务或计算资源的最优分配，但是这些方法都需要帮助节点的准确的节点状态信息，例如任务队列长度以及节点可共享计算资源。实时地不停广播及监听节点的状态信息会产生大量的能量开销，影响设备使用时长，在未来超大规模体系下，这个问题显得更加突出。

在实际情况中，节点会动态出入网络，可共享的计算资源也会随情况发生变化，同时希望尽量减少网络中的能量消耗，延长设备使用时长，这样一个最贴近实际需求又待以解决的问题，却鲜有学者研究。

发明内容

本发明要解决的技术问题是提供一种单对多(单个任务节点，多个帮助节点)的基于学习方法的任务卸载算法，实现最小化任务的长期平均卸载时延。

为了解决上述技术问题，本发明的技术方案是提供一种面向动态雾计算网络的低时延任务调度方法，其特征在于，包括如下步骤：

步骤1：初始化：搜索当前时刻在任务节点通信范围内的候选帮助节点，向所述候选帮助节点请求当前节点状态信息，为算法初始化当前各帮助节点；

步骤2：任务节点估计自己和当前候选帮助节点的各个信道的最大传输速率；

步骤3：任务节点根据对当前候选节点掌握到的节点状态信息以及任务的时延需求为所有帮助节点分别计算并分配一个索引，然后根据索引做出卸载决策；

步骤4：卸载决策确定的帮助节点收到卸载任务后，即时返回自己当前的节点状态信息：任务队列长度及共享计算资源信息给任务节点；待任务处理完成后，返回任务计算结果给任务节点；

步骤5：若无新的任务卸载请求，且在设定的等待时间里仍无卸载请求，则退出算法，释放资源；若在等待时间里有新的任务卸载请求，则立即查询是否收到有新的帮助节点加入网络的消息，若有，则向新的帮助节点请求当其前节点状态信息，并为算法初始化新的帮助节点；

步骤6：任务节点更新自己对所有当前候选帮助节点的状态信息的学习；

步骤7：重复步骤2-步骤5。

优选地，所述步骤1中，当前节点状态信息包括：任务队列长度以及可共享的计算资源。

优选地，所述步骤3中，在学习节点状态信息并为当前任务做出卸载决策的过程中，越近时间的历史卸载数据信息的影响作用越大，越远时间的历史卸载数据信息的影响作用越小；通过引入参数因子来为不同时间的历史数据分配不同的权重。

优选地，假设系统的优化目标为任务节点的长期平均任务卸载时延，卸载时延总共包含三个部分：1)传输时延：将任务从任务节点发送到帮助节点以及将计算结果从帮助节点返回到任务节点的时间和；2)等待时延：任务到达帮助节点后到任务开始被处理之前的等待时间；3)计算时延：帮助节点处理该任务消耗的时间；

在时隙t，若任务节点TN有任务卸载请求，则先查询候选帮助节点中是否有新加入的帮助节点，若有，则先初始化该节点，否则先为所有帮助节点均估计一个任务卸载时延，然后分配一个决策索引做出决策；用一个三元组来表示t时刻需要卸载的任务R_t：R_t＝(x_t,w_t,Δ_t)，其中x_t,w_t与Δ_t分别表示任务R_t的大小、计算密度以及最大容忍时延，若将任务卸载到帮助节点k，任务的传输时延表示为：x_t/r_k(t)，r_k(t)为时间t时TN与帮助节点k之间的最大传输速率；

任务R_t到达节点k便进入排队等待，由于节点k的队列长度与共享计算资源均未知，TN需要自己根据历史经验为节点k估计其当前队列长度与共享计算资源，通过引入参数γ来实现对不同历史时间的队列长度与共享计算资源数据实现不同权重，0＜γ≤1，当前节点k的队列长度与共享计算资源的估计值表示如下：

其中，N_k(t,γ)为直到时隙t为止，节点k被选择过的次数，可表示为：N_k(t,γ)＝γN_k(t-1,γ)+γI^π{π(t-1)＝k}；Q_k(t-1)与f_k(t-1)分别表示节点k在t-1时刻的队列长度与共享CPU频率，π(.)为卸载策略，π(t)＝k表示TN选择节点k来卸载任务R_t；I^π{.}为指示函数，若{.}为真，则I^π{.}＝1，否则I^π{.}＝0；任务R_t的等待时延为：计算时延为

则有，R_t卸载到节点k的时延为三部分时延之和：

在为R_t做出决策前，TN为所有帮助节点计算一个索引值 并且选择节点来卸载任务R_t，其中c_k(t,γ)为TN对节点k的探索项，与时延需求和节点被选择过的次数有关，使得任务节点有机会去探索目前表现不是最优秀的次优节点，这在计算资源等变化的网络中是比较重要的；c_k(t,γ)被定义为：其中Γ(t,γ)为点k在网络中的存活时间，Δ_max可定义为所有任务的最大容忍时延 Δ⁺与ζ均为调节参数。

本发明为非动态与动态变化的雾计算或者边缘计算网络提出了一种基于在线学习方法的单对多任务卸载算法。任务节点无需实时请求网络中帮助节点的状态信息(如队列信息以及计算资源信息等)或者帮助节点无需实时广播自己的节点状态信息，而是任务节点自己以非常小的计算代价不断从网络中学习得来。该发明可以大大减少网络中由于信息传播带来的能量开销，延长任务节点和帮助节点的使用时长。

附图说明

图1为本实施例提供的面向动态雾计算网络的低时延任务调度方法流程图；

图2为面向动态雾计算网络的低时延任务调度系统框图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。

图1为本实施例提供的面向动态雾计算网络的低时延任务调度方法流程图，所述的面向动态雾计算网络的“动态”包含如下三个含义：(1)网络中的节点运动状态可变；(2)网络大小可变：节点可自由出入网络；(3)帮助节点可提供的计算资源可变化。

作为举例说明，本实施例给出系统框图如图2所示。假设在时间t，在任务节点的通信范围内，有N(N为正整数)个候选的帮助节点。由于节点可移动，因此在任务节点的通信范围内的节点会发生变化，如图2，左上角节点可能在不久的时间里进入任务节点的通信范围，成为其卸载任务的候选帮助节点。

具体来说，假设在一个雾计算网络中，任务节点与帮助节点均具有不同优劣的通信能力以及计算能力；为了减少网络资源开销以及网络中节点的能量消耗，网络中的帮助节点并不会实时广播自己的节点状态信息，或者说帮助节点并不会实时响应对这些信息的请求。在每次有任务卸载需求时，任务节点需要实时做出卸载决策，从当前的候选帮助节点中选择一个卸载任务。由于任务节点对帮助节点状态未知，任务自身也有时延需求，任务节点则需要良好地从自己过往的任务卸载经验进行学习，为当前决策提供判断。

具体而言：

假设系统的优化目标为任务节点的长期平均任务卸载时延，卸载时延总共包含三个部分：(1)传输时延：将任务从任务节点发送到帮助节点以及将计算结果从帮助节点返回到任务节点的时间和；(2)等待时延：任务到达帮助节点后到任务开始被处理之前的等待时间。(3)计算时延：帮助节点处理该任务消耗的时间。

在时隙t，若任务节点有任务卸载请求，则先查询候选节点中是否有新加入的帮助节点，若有，则先初始化该节点，否则先为所有帮助节点均估计一个任务卸载时延，然后分配一个决策索引做出决策。用一个三元组来表示t时刻需要卸载的任务R_t：R_t＝(x_t,w_t,Δ_t)，其中x_t为任务的大小，w_t为任务的计算密度，Δ_t为该任务的最大容忍时延，若将任务卸载到节点k，任务的传输时延可表示为：x_t/r_k(t)，r_k(t)为TN与节点k的最大传输速率。

任务R_t到达节点k便进入排队等待，由于节点k的队列长度与共享计算资源均未知，TN需要自己根据历史经验为节点k估计其当前队列长度与共享计算资源，我们通过引入参数γ(0<γ≤1)来实现对不同历史时间的队列长度与共享计算资源数据实现不同权重，则当前节点k的队列长度与共享计算资源的估计值与可以被如下表示：

其中，N_k(t,γ)为直到时隙t为止，节点k被选择过的次数，Q_k(t-1)与f_k(t-1)分别表示节点k在t-1时刻的队列长度与共享CPU频率，I^π{π(t-1)＝k}＝1表示为选择了节点k来卸载任务R_t-1，否则I^π{π(t-1)＝k}＝0。则任务R_t的等待时延为：计算时延为

到此，根据以上讨论，R_t卸载到节点k的时延可估计为三部分时延之和：

在为R_t做出决策前，TN为所有帮助节点计算一个索引值并且选择节点来卸载任务R_t。其中c_k(t,γ)为对节点k的探索项，与时延需求和节点被选择过的次数有关，使得任务节点可以有机会去探索目前表现不是最优秀的次优节点，这在计算资源等变化的网络中是比较重要的；c_k(t,γ)可以被定义为：其中Γ(t,γ)为点k在网络中的存活时间，Δ_max为所有任务的最大容忍时延 Δ⁺与ζ均为调节参数。

在本案例实施中，假设每个时隙的开始产生一个任务卸载请求，时隙长度为100ms，总共产生了12个任务卸载请求。在这整个过程中，总共出现过5个帮助节点，假设帮助节点在网络中的存在情况如表1，节点的共享计算资源情况如表2，节点的任务队列情况如表3，任务节点和各通信节点的最大通信速率情况如表4。注意这些数据对算法来说是未知的。此外，任务计算密度w_t为：cycles/bit，任务大小x_t为：最大容忍时延Δ_t为：Δ^-＝0，Δ⁺＝1/8×10^-6。参数γ取值：γ＝0.9995，Δ_max＝0.5。

表1帮助节点在网络中的存在情况

表2各节点在各个时隙的共享计算资源(GHz/s)

表3各节点在各个时隙的队列长度(单位：Mbit)

表4各节点在各个时隙的最大通信速率(单位：Mbit/s)

按照上述方案描述的步骤，下面给出具体的举例实施步骤。

1.有任务R₁需要卸载，搜索当到前时刻在任务节点通信范围内的候选帮助节点为节点1H₁、节点2H₂、节点3H₃。向候选节点请求任务队列长度信息为：Q₁(0)＝0.7Mbits，Q₂(0)＝0.68Mbits，Q₃(0)＝0.6Mbits，共享CPU计算资源为f₁(0)＝0.8GHz/s，f₁(0)＝0.7GHz/s，f₁(0)＝0.6GHz/s。

2.t＝t+1，初始化这些帮助节点的状态信息： N_k(1,γ)＝γ，Γ_k(1,γ)＝3；通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s。

3.任务节点为各候选节点计算出决策索引值以及过程中可能产生的数据如下表：

H₁具有最小的决策索引值因此选择H₁卸载任务R₁；节点H₁返回即时状态信息：队列长度Q₁(1)＝0.7Mbits，共享CPU计算频率f₁(1)＝0.8GHz/s。

4.有任务R₂需要卸载；为R₂进行任务卸载决策：首先检测到无新帮助节点加入，再更新对当前候选节点队列长度及共享资源的学习情况，并计算出决策索引通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s。各数据均如下表所示：

H₁具有最小的决策索引值因此选择H₁卸载任务R₂；节点H₁返回即时状态信息：队列长度Q₁(2)＝0.7Mibts，共享CPU计算频率f₁(2)＝0.8GHz/s。

5.有任务R₃需要卸载；为R₃进行任务卸载决策：首先检测到无新帮助节点加入，再更新对各当前候选帮助节点的队列长度及共享资源的学习情况，并计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s。各数据如下表所示：

H₁具有最小的决策索引值因此选择节点H₁卸载R₃，并收到H₁返回的即时信息：Q₁(3)＝0.7Mbits,共享CPU计算频率f₁(3)＝0.9GHz/s。

6.有任务R₄需要卸载；为R₄进行任务卸载决策：首先监测到无新的帮助节点加入，再更新对各候选帮助节点的队列长度以及共享资源的学习情况，并计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s。各数据如下表所示：

由于H₁具有最小的决策索引值因此选择H₁卸载任务R₄，并收到返回的即时信息：队列长度Q₁(4)＝0.7Mbits，共享CPU计算频率f₁(4)＝0.9GHz/s。

7.有任务R₅需要卸载；为R₅进行任务卸载决策：首先检测到有新的帮助节点5H₅加入，向H₅请求到信息Q₅(5)＝0.7Mbits，f₅(5)＝1.5GHz/s，再更新对其它当前候选节点的队列长度及计算频率的学习情况，并计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s，r₅＝36Mbit/s。如下表所示：

由于H₅的决策索引值最小，因此选择H₅卸载当前任务，此时默认收到的节点消息与初始化时相同，即收到队列长度Q₅(5)＝0.7Mbits，共享CPU计算频率f₅(5)＝1.5GHz/s。

8.有任务R₆需要卸载；为R₆进行任务卸载决策：首先检查到没有新的帮助节点加入，因此更新对当前候选节点的队列长度以及计算资源学习情况，分别为再计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₃＝72Mbit/s，r₅＝36Mbit/s；各数据如下表所示：

由于H₅的决策索引值最小，因此选择H₅卸载当前任务，并收到H返回的即时信息：队列长度Q₅(6)＝0.7Mbits，共享CPU计算频率f₅(6)＝1.5GHz/s。

9.有任务R₇需要卸载；为R₇进行任务卸载决策；首先检查到帮助节点H₃已经不在网络中了，且没有新加入的节点；更新对当前可选的帮助节点的队列长度以及共享计算资源的学习情况，分别为再计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝12Mbit/s，r₅＝36Mbit/s；各数据如下表所示：

由于节点H₂具有最小的决策索引值因此当前选择H₂进行任务卸载，并收到H₂返回的即时信息：队列长度Q₂(7)＝0.65Mbits，共享CPU计算频率f₂(7)＝1.2GHz/s。

10.有任务R₈需要卸载；为R₈进行任务卸载决策；首先检查到无新帮助节点加入，也无帮助节点离开；更新对当前可选的帮助节点的队列长度以及可共享计算资源的学习情况，分别为：并计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝12Mbit/s，r₅＝36Mbit/s；

各数据如下表所示：

由于H₂具有最小的决策索引值因此选择H₂进行任务卸载，并收到H₂返回消息：队列长度Q₂(8)＝0.68Mbits，共享CPU计算频率f₂(8)＝1.2GHz/s。

11.有任务R₉需要卸载；为R₉进行任务卸载；首先检查到节点H₅已不在网络中，同时节点4H₄新加进来；向H₄请求到节点状态信息Q₄(9)＝0.6Mbits，f₄(9)＝1.3GHz/s；更新对候选节点的队列长度以及可共享资源的学习信息，分别为：并计算出决策索引通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝12Mbit/s，r₄＝48Mbit/s；各数据如下表：

由于H₄具有最小的决策索引值因此选择H₄卸载当前任务，由于H₄为当前新节点，因此此时默认收到的节点消息与初始化时相同，即收到队列长度Q₄(9)＝0.6Mbits，共享CPU计算频率f₄(9)＝1.3GHz/s。

12.有任务R₁₀需要卸载；为R₁₀进行任务卸载决策，首先检查到无新的帮助节点。更新对候选节点的队列长度以及计算资源的学习信息，分别为： 并且计算出决策索引通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝12Mbit/s，r₄＝48Mbit/s各数据如下表所示：

由于H₄具有最小的决策索引值因此选择H₄卸载当前任务；收到H₄返回的节点状态信息：队列长度Q₄(10)＝0.7Mbits，共享CPU计算频率f₄(10)＝1.6GHz/s。

13.有任务R₁₁需要卸载；为R₁₁进行任务卸载决策：首先检查到网络中无新的帮助节点。更新对当前候选节点的队列长度以及可共享资源的学习信息，分别为并且计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbits/s，r₂＝48Mbit/s，r₄＝48Mbit/s；各数据如下表所示：

由于H₄的决策索引值最小，因此选择H₄卸载当前任务；收到H₄节点返回的节点状态信息：队列长度Q₄(11)＝0.8Mbits，共享CPU计算频率f₄(11)＝1.8GHz/s。

14.有任务R₁₂需要卸载；为R₁₂进行任务卸载决策，检查到无新帮助节点加入，更新对当前候选节点的队列长度以及可共享资源的学习信息，分别为；并计算出决策索引值通过信道估计得最大传输速率分别为r₁＝48Mbit/s，r₂＝48Mbit/s，r₄＝48Mbit/s；各数据如下表所示：

由于H₄具有最小的决策索引值因此选择H₄卸载当前任务，收到H₄返回的节点状态信息：队列长度Q₄(12)＝0.8Mbits，共享CPU计算频率f₄(12)＝2.0GHz/s。

15.无任务卸载请求

无任务卸载请求达到5s，退出算法，释放占用资源。

以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (4)

1.一种面向动态雾计算网络的低时延任务调度方法，其特征在于：包括如下步骤：

步骤1：初始化：搜索当前时刻在任务节点通信范围内的候选帮助节点，向所述候选帮助节点请求当前节点状态信息，为算法初始化当前各帮助节点；

步骤2：任务节点估计自己和候选帮助节点的信道的最大传输速率；

步骤3：任务节点根据对当前候选节点掌握到的状态信息以及任务的时延需求为所有帮助节点分别计算并分配一个索引，然后根据索引做出卸载决策；

步骤4：卸载决策确定的帮助节点收到卸载任务后，即时返回自己当前的节点状态信息：任务队列长度及共享计算资源信息给任务节点；待任务处理完成后，返回任务计算结果给任务节点；

步骤5：若无新的任务卸载请求，且在设定的等待时间里仍无卸载请求，则退出算法，释放资源；若在等待时间里有新的任务卸载请求，则立即查询是否收到有新的帮助节点加入网络的消息，若有，则向新的帮助节点请求当其前节点状态信息，并为算法初始化新的帮助节点；

步骤6：任务节点更新自己对所有当前候选帮助节点的状态信息的学习；

步骤7：重复步骤2-步骤5。

2.如权利要求1所述的一种面向动态雾计算网络的低时延任务调度方法，其特征在于：所述步骤1中，当前节点状态信息包括：任务队列长度以及可共享的计算资源。

3.如权利要求1所述的一种面向动态雾计算网络的低时延任务调度方法，其特征在于：所述步骤3中，在学习节点状态信息并为当前任务做出卸载决策的过程中，越近时间的历史卸载数据信息的影响作用越大，越远时间的历史卸载数据信息的影响作用越小；通过引入参数因子来为不同时间的历史数据分配不同的权重。

4.如权利要求1所述的一种面向动态雾计算网络的低时延任务调度方法，其特征在于：假设系统的优化目标为任务节点的长期平均任务卸载时延，卸载时延总共包含三个部分：1)传输时延：将任务从任务节点发送到帮助节点以及将计算结果从帮助节点返回到任务节点的时间和；2)等待时延：任务到达帮助节点后到任务开始被处理之前的等待时间；3)计算时延：帮助节点处理该任务消耗的时间；

在时隙t，若任务节点有任务卸载请求，则先查询候选节点中是否有新加入的帮助节点，若有，则先初始化该节点，否则先为所有帮助节点均估计一个任务卸载时延，然后分配一个决策索引做出决策；用一个三元组来表示t时刻需要卸载的任务R_t：R_t＝(x_t,w_t,Δ_t)，其中x_t为任务的大小，w_t为任务的计算密度，Δ_t为该任务的最大容忍时延，若将任务卸载到节点k，任务的传输时延可表示为：x_t/r_k(t)，r_k(t)为任务节点TN与帮助节点k的最大传输速率；

任务R_t到达节点k便进入排队等待，由于节点k的队列长度与共享计算资源均未知，TN需要自己根据历史经验为节点k估计其当前队列长度与共享计算资源，通过引入参数γ来实现对不同历史时间的队列长度与共享计算资源数据实现不同权重0＜γ≤1，当前节点k的队列长度与共享计算资源的估计值与表示如下：

其中，N_k(t,γ)为直到时隙t为止，节点k被选择过的次数，Q_k(t-1)与f_k(t-1)分别表示节点k在t-1时刻的队列长度与共享CPU频率，I^π{π(t-1)＝k}＝1表示为选择了节点k来卸载任务R_t-1，否则I^π{π(t-1)＝k}＝0；则任务R_t的等待时延为：计算时延为

则有，R_t卸载到节点k的时延为三部分时延之和：

在为R_t做出决策前，TN为所有帮助节点计算一个索引值并且选择节点来卸载任务R_t；其中c_k(t,γ)为对节点k的探索项，与时延需求和节点被选择过的次数有关，使得任务节点有机会去探索目前表现不是最优秀的次优节点，这在计算资源等变化的网络中是比较重要的；c_k(t,γ)被定义为：其中Γ(t,γ)为点k在网络中的存活时间，Δ_max为所有任务的最大容忍时延 Δ⁺与ζ均为调节参数。