CN111858009A - 基于迁移和强化学习的移动边缘计算系统任务调度方法 - Google Patents

Abstract

本发明针对边缘计算服务器的任务调度问题，提出一种基于迁移和强化学习的移动边缘计算系统任务调度方法，首先为每个服务器构建一个Actor‑Critic网络来训练它的调度策略；其中，Actor网络通过自身状态来决定动作，而Critic网络则根据所有服务器的动作和状态来评价该动作的好坏。所有服务器共享一个Critic网络。在使用多智能体强化学习训练多个边缘服务器调度策略的时候，为每个服务器的调度策略构建相同结构的策略网络。这些策略网络不仅拥有相同的网络层，并且每层的节点数目也相同。使用集中训练分散执行的机制来训练这些策略，以此来避免因为服务器数目过多而引起的维数灾难问题。

Description

基于迁移和强化学习的移动边缘计算系统任务调度方法

技术领域

本发明用于实现移动边缘计算的任务分配调度，属于机器学习与边缘计算领域，具体涉及一种基于迁移和强化学习的移动边缘计算系统任务调度方法。

背景技术

以智能手机和平板电脑为主的移动设备已经成了人们的必需品。随着移动设备的不断升级，5G和AI技术的不断成熟，人们对移动设备的要求越来越高，用移动设备来进行网络游戏，图像处理和虚拟现实等应用的呼声也日益增多。由于移动设备自身大小的限制，难以依靠独立的处理器实现复杂计算，更何况对于计算密集和资源密集的计算。为了着手解决这一问题，研究人员提出了移动云计算和移动边缘计算(Mobile Edge Computing,MEC)。

云计算与边缘计算为独立用户处理复杂计算任务提供了可能。用户通过基站将计算任务传输给相应的边缘服务器，并接受服务器计算得到的结果，这个过程让只拥有移动设备的用户能够实现更多的应用。相比起云计算，边缘计算减少了经过骨干网络的多跳传输。移动边缘计算的理念是在移动云计算的基础上，通过把计算数据中心中的一部分计算任务和资源存储需求下放到边缘网络。离用户近的边缘服务器在与用户进行通信时更高效且开销更低。数据处理需求的返回结果通过用户边缘的服务器返回，无需经历核心网络去处理。

在移动边缘计算中，一个用户周围往往有多个边缘服务器，同样地一个边缘网络服务器常常需要处理不止一个用户的任务。因此移动边缘计算上的资源分配成了一个全新的挑战。尽管已有研究通过多智能体强化学习来处理任务调度，并且产生了不错的结果。但在移动边缘计算中，随着用户数量的提高、用户需求越来越大，多个边缘计算服务器往往存在于一个时常变化的环境中。这些变化包含但不限于用户数目的增加、用户需求的扩大、服务器个数的变动、服务器位置的变化。为每次移动边缘计算网络变化而从头使用多智能体强化学习训练是不现实的，因此需要在已有的基础上充分利用先前策略，减少强化学习的时间花费和资源消耗。

迁移学习旨在用已有的知识来学习新的知识，通过寻找源任务和目标任务的相似性，来加速目标任务的训练并减少训练花费。作为深度学习中的热点技术，迁移学习已经被成功地应用到自然语言处理以及计算机视觉等领域，并且强化学习中的迁移学习也逐渐被研究者们重视。与监督学习和非监督学习不同，用于强化学习的迁移学习主要从经验、策略、特征以及奖励函数上进行知识重用。

尽管有很多通用的迁移学习方法可以在强化学习问题上取得不错的成果，但在将多智能体强化学习技术应用到边缘计算的任务调度问题上，存在很多新的问题。例如，源任务中多个策略如何分配，如何协调新策略与原策略的关系。因此，目前需要一种适用于边缘计算的多智能体强化学习迁移技术。

发明内容

针对边缘计算服务器的任务调度问题，本发明提出一种基于迁移和强化学习的移动边缘计算系统任务调度方法，其具体技术内容如下：

一种基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于，包括如下步骤：

步骤1，为移动边缘计算服务器组构建多智能体强化学习优化目标；

设定环境中有N个用户，第n个用户的计算任务为R_n；

在同一个基站中，有M个服务器被同时部署在不同位置为用户服务，用第m个基站处理R_n的综合延迟和能耗的加权总开销可以表示为：c_m,n＝λ₁T_m.n+λ₂E_m,n，其中λ₁和λ₂是权重因子，T_m.n和E_m.n分别是第m个服务器处理第n个任务的延迟和能耗；

在以服务器为学习智能体的该多智能体强化学习模型中，智能体的目的是最小化总消耗：C＝∑_mE_n～π(m)(c_m,n)+∑_n∈N′l_n，其中π(m)是第m个服务器的部署策略，N′是未获得服务器的用户集合，l_n是该用户在本地执行的消耗；

步骤2，建立完整的多智能体强化学习模型；

其中，智能体的状态s为服务器到基站的相对位置，用户的相对位置和任务量；策略π是状态到动作的映射函数；动作a＝π(s)是根据策略π在当前状态s下所执行的任务调度方案；回报函数r与总消耗C负相关；γ为折扣因子，用来平衡当前奖励和延时奖励的关系；α是学习效率，即一个单步更新时的更新程度；

步骤3，构建每个服务器的策略；

用集中的critic网络来估计值函数，分散的actor网络来进行决策；所有服务器共享一个critic网络，在这个网络中，输入是状态s以及所有服务器在当前状态下的动作(a₁,a₂,...,a_M)，输出的是联合动作值Q(s,a₁,a₂,...,a_M)，每个服务器的actor网络则根据状态s输出一个确定性的动作a；

步骤4，建立横向链接；

每个服务器被随机分配一个预训练的策略π′，在actor网络的每个网络层，都与策略π′的actor网络在该层输出的隐藏状态用线性层整合；

在第i层，上一层传递下来的隐藏值为h_i-1，而π′的第i-1层输出为h′_i-1，线性层处理得到u_i-1＝Linear(h_i-1,h′_i-1)，则actor网络第i层的输出为h_i＝f(u_i-1；θ_i)，其中θ_i是第i层的参数；

步骤5，根据步骤2、3和4构造的训练模型开始训练；

每个时隙，先从环境中得到状态s，然后每个智能体都根据自己的策略网络选择动作，其探索和利用的平衡用ε-greedy算法来实现；

在获得联合动作(a₁,a₂,...,a_M)后执行，并返回一个r，并获得下一个状态s′；最后，将经验元组<s,s′,(a₁,a₂,...,a_M),r>存入经验回放池中；

步骤6，策略网络通过采样经验进行更新；

在更新时，预训练的策略π′被冻结，其参数不会改变；

集中的Critic网络计算出状态值函数v(s′)，每个Actor网络计算对应的梯度，网络参数和横向链接的线性层通过反向传播更新，Critic网络则根据环境真实反馈的奖励r，用均方误差计算损失函数；

步骤7，通过观察平均回报是否增加来判断训练是否结束，如果没有结束则重复步骤5和6；如果结束则训练完成。

于本发明的一个或多个实施例当中，在步骤1和2当中，建立多智能体模拟训练环境，构建环境的回报函数r，其跟总消耗负相关：

r＝K·e^-C；

其中K是可调节系数，将回报函数的值域约束在(0,K)之间；

训练环境时间步设置为T；

在连续的T时间内，服务器组要学习合适的任务调度策略来使得

最大。

于本发明的一个或多个实施例当中，在步骤2当中，服务器的任务调度策略为确定性策略a＝π(s)，因此每个策略π的状态值函数

v(s)＝E_a～π(s)[π(a|s)Q(s,a)]需要改写成

v(s)＝Q(s,a)|_a＝π(s)；强化学习中的折扣因子γ和学习效率α取值在(0,1)范围内；在确定性策略的设置下，每个智能体的优化函数为累计期望奖励

于本发明的一个或多个实施例当中，在步骤3当中，为每个服务器构建一个Actor网络，网络结构为多层全连接层，输入的维度与状态s一致，输出为一个确定性策略；

为所有服务器构建一个Critic网络，第一个输入为状态s，经过一个全连接层处理；第二个输入为所有服务器的联合动作(a₁,a₂,...,a_M)，同样被一个全连接层提取特征；将两个输入处理后的特征合并，之后是多层全连接层，输出一个一维的标量，即为Q(s,a₁,a₂,...,a_M)；

在这种集中训练分散执行的机制下，每个Actor网络用于独立的选择动作，而Critic网络集中来判断联合动作的好坏。

于本发明的一个或多个实施例当中，在步骤4当中，为目标任务选取合适的源任务，即为每个目标任务中的服务器从源任务中随机分配一个策略(π′₁,π′₂,...,π′_M)，π′_k为第k个服务器被分配的策略；

在一个服务器的策略π中，一共有L层网络，第i层的输出为

h_i＝f(u_i-1；θ_i)；其中θ_i为第i层的参数；

u_i-1＝Linear(h_i-1,h′_i-1)；

因此策略网络π的输出a＝π(s)＝f(u_L-1；θ_L)；

对于被分配的策略π′来说，在每个时间步，它都需要对当前状态做出响应，将自己每层网络计算得到的特征传递到目标策略中去。

于本发明的一个或多个实施例当中，在步骤5当中，首先得到环境状态s，然后在[0,1]中取一个随机数η，如果η≤ε，则每个服务器根据自己的策略网络生成联合动作(a₁,a₂,...,a_M)；反之，每个服务器随机选择一个任务调度方案执行；

在执行结束后，状态转移到s′，返回一个回报reward,将<s,s′,(a₁,a₂,...,a_M),r>存储到经验回放池中，所述经验回放池用于消除样本间的序列相关性，避免在一个回合中的过拟合，以及用于在神经网络更新时批处理更新。

于本发明的一个或多个实施例当中，在训练初期，服务器们在环境中探索，随着策略的慢慢收敛，ε逐渐变大，服务器们不断地优化自身策略，直到学习结束为止。

于本发明的一个或多个实施例当中，在步骤6当中，随机从经验回放池中采样经验；

先计算Critic网络的误差，使用均方误差函数计算：

L(θ)＝E_s,a,r,s′[(Q(s,a₁,a₂,...,a_M)-y)²]，其中Q(s,a₁,a₂,...,a_M)通过Critic网络输出得到，且

Actor网络的梯度计算如下：

critic网络借用了全局信息学习，actor网络用了局部观测信息；

在更新时，预训练的策略π′被冻结，横向链接中的线性层需要反向传播更新。

于本发明的一个或多个实施例当中，在步骤7当中，记录一个回合内的平均回报mr＝∑_tr_t/T，在多个回合内如果mr不再增加，且损失函数L(θ)不再减小，则服务器组的策略训练结束。

本发明的有益效果包括：

(1)通过集中训练分散执行机制来训练移动边缘计算服务器组的调度策略。在这种机制的多智能体强化学习中，每个智能体分散训练自己的Actor，不会因为智能体数目增多而导致维数灾难的问题。而多个智能体又通过一个集中的Critic网络来指导Actor网络，因此随着训练的进行能够适应彼此的动作。

(2)在训练时，用经验回放算法打破连续样本间的序列相关性，提高样本使用率。强化学习中探索与执行的平衡用来完成，避免收敛到局部最优解的情况。

(3)将横向链接引入到多智能体强化学习中。与策略重用，经验重用等传统的应用于强化学习的迁移学习方法不同，横向链接是对特征的迁移。在Actor网络的每一层都重用预训练网络的特征，并于自身的特征通过线性层整合。在源任务与目标任务相似的情况下，即源任务中各个服务器的部署方案和配置与目标任务相似，重用已有特征能够大大加快训练效率。当源任务与目标任务差别较大，这种特征在目标任务中并不重要时，智能体又能训练新的特征，因此几乎不会造成负迁移。

附图说明

图1为本发明的执行流程图。

具体实施方式

如下结合附图1，对本申请方案作进一步描述：

针对边缘计算服务器的任务调度问题，本发明提出一种基于迁移和强化学习的移动边缘计算系统任务调度方法，其包括如下步骤：

步骤1，建立多智能体模拟训练环境，构建环境的回报函数r，其跟总消耗负相关：r＝K·e^-C，其中K是可调节系数，将回报函数的值域约束在(0,K)之间,而C则根据综合延迟和能耗计算:

C＝∑_mE_n～π(m)(c_m,n)+∑_n∈N′l_n (1)

其中π(m)是第m个服务器的部署策略，N′是未获得服务器的用户集合，l_n是该用户在本地执行的消耗。c_m,n＝λ₁T_m.n+λ₂E_m,n，T_m.n和E_m,n分别是第m个服务器处理第n个任务的延迟和能耗。λ₁和λ₂为权重因子。训练环境时间步设置为T，在连续的T时间内，服务器组要学习合适的任务调度策略来使得

最大。由于所有服务器的目标一致，都是为了让整个服务器组的资源消耗最少，总回报最大，因此集中的回报可以用于所有服务器的策略训练。在每个时间步，所有服务器获得的回报是一致的。

步骤2，服务器的任务调度策略为确定性策略a＝π(s)，因此每个策略π的状态值函数

v(s)＝E_a～π(s)[π(a|s)Q(s,a)] (2)

需要改写成

v(s)＝Q(s,a)|_a＝π(s) (3)

强化学习中的折扣因子γ和学习效率α取值在(0,1)范围内。在确定性策略的设置下，每个智能体的优化函数为累计期望奖励

步骤3，为每个服务器构建一个Actor网络，网络结构为多层全连接层，输入的维度与状态s一致，输出为一个确定性策略。为所有服务器构建一个Critic网络，第一个输入为状态s，经过一个全连接层处理；第二个输入为所有服务器的联合动作(a₁,a₂,...,a_M)，同样被一个全连接层提取特征。将两个输入处理后的特征合并，之后是多层全连接层，输出一个一维的标量，即为Q(s,a₁,a₂,...,a_M)。在这种集中训练分散执行的机制下，每个Actor独立的选择动作，而Critic网络集中来判断联合动作的好坏。多智能体系统的不稳定性可以通过这种方式来解决。

步骤4，为目标任务选取合适的源任务，为每个目标任务中的服务器从源任务中随机分配一个策略(π′₁,π′₂,...,π′_M)，π′_k为第k个服务器被分配的策略。在一个服务器的策略π中，一共有L层网络，第i层的输出为

h_i＝f(u_i-1；θ_i) (5)

其中θ_i为第i层的参数。

u_i-1＝Linear(h_i-1,h′_i-1) (6)

因此策略网络π的输出

a＝π(s)＝f(u_L-1；θ_L) (7)

对于被分配的策略π′来说，在每个时间步，它都需要对当前状态做出响应，将自己每层网络计算得到的特征传递到目标策略中去。但它的输出则不需要做出任何处理。

步骤5，根据步骤2，3和4构造的训练模型开始训练。首先得到环境状态s，然后在[0,1]中取一个随机数η，如果η≤ε，则每个服务器根据自己的策略网络生成联合动作(a₁,a₂,...,a_M)。反之，每个服务器随机选择一个任务调度方案执行。在训练初期，ε可以很小，服务器们尽可能多的在环境中探索；而随着策略的慢慢收敛，ε逐渐变大，服务器们不断地优化自身策略，直到学习结束为止。

在执行结束后，状态转移到s′，并返回一个回报r,将<s,s′,(a₁,a₂,...,a_M),r>存储到经验回放池中。经验回放池的建立一是为了消除样本间的序列相关性，避免在一个回合中的过拟合，另外是为了在神经网络更新时批处理更新。

步骤6，在经验回放池中的经验足够之后，随机从经验回放池中采样经验。先计算Critic网络的误差，使用均方误差函数计算：

L(θ)＝E_s,a,r,s′[(Q(s,a₁,a₂,...,a_M)-y)²] (8)

其中Q(s,a₁,a₂,...,a_M)通过Critic网络输出得到，且

Actor网络的梯度计算如下：

如上可以看出critic借用了全局信息学习，actor只是用了局部观测信息。在更新时，预训练的策略π′被冻结。但横向链接中的线性层需要反向传播更新。

步骤7，记录一个回合内的平均回报mr＝∑_tr_t/T，在多个回合内如果mr不再增加，且损失函数L(θ)不再减小，则服务器组的策略训练结束。

由于边缘计算服务器的任务调度问题已经被研究者通过多智能体强化学习技术解决，但是多智能体强化学习的训练花费通常巨大，并且要耗费很长时间。当多智能体环境发生变化时，重新训练调度策略不是必需的。

为了使用已有策略来加速调度策略的训练，本发明针对边缘计算服务器的任务调度问题，在使用多智能体强化学习训练多个边缘服务器调度策略的时候，为每个服务器的调度策略构建相同结构的策略网络。

这些策略网络不仅拥有相同的网络层，并且每层的节点数目也相同。使用集中训练分散执行的机制来训练这些策略，以此来避免因为服务器数目过多而引起的维数灾难问题。

首先，为每个服务器构建一个Actor-Critic网络来训练它的调度策略。其中，Actor网络通过自身状态来决定动作，而Critic网络则根据所有服务器的动作和状态来评价该动作的好坏。在本发明中，所有服务器共享一个Critic网络，因为它们的目标是一致的：用尽可能少的资源完成所有用户的任务。每个服务器拥有自己独立的Actor网络，因此各个服务器被允许存在差异。在训练新的边缘计算服务器组调度任务时，将源任务中的策略重用，通过横向链接来迁移策略网络中的特征。

训练时，每个目标任务中的策略被随机分配一个源任务中已训练的策略。在横向链接中，源任务中的策略将自己每个隐含层的输出链接到目标任务策略的相应层中。因此，在目标任务训练时，每个智能体的状态不仅被自身的策略网络处理，也被所分配给它的源任务中的策略网络进行处理。

在横向链接末端，用一个线性层来将被迁移的特征和训练的特征整合起来，并处理成与下一层维度相同的数据。在目标任务训练时，源任务中的策略是被冻结的，并不会随着梯度的反向传播更新。同时新策略不仅接受被迁移的特征，也学习新的特征，因此不仅能够加速训练，而且几乎不会造成较差的局部最优解和负迁移。

当源任务和目标任务中服务器数目发生改变，或者用户数目增多或者减少，又或者服务器部署发生变动，本发明提出的多智能体迁移学习能够充分利用训练好的调度策略，在短时间完成新的调度策略训练。

上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

Claims (9)

1.一种基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于，包括如下步骤：

步骤1，为移动边缘计算服务器组构建多智能体强化学习优化目标；

设定环境中有N个用户，第n个用户的计算任务为R_n；

在同一个基站中，有M个服务器被同时部署在不同位置为用户服务，用第m个基站处理R_n的综合延迟和能耗的加权总开销可以表示为：c_m,n＝λ₁T_m.n+λ₂E_m,n，其中λ₁和λ₂是权重因子，T_m.n和E_m.n分别是第m个服务器处理第n个任务的延迟和能耗；

在以服务器为学习智能体的该多智能体强化学习模型中，智能体的目的是最小化总消耗：C＝∑_mE_n～π(m)(c_m,n)+∑_n∈N′l_n，其中π(m)是第m个服务器的部署策略，N′是未获得服务器的用户集合，l_n是该用户在本地执行的消耗；

步骤2，建立完整的多智能体强化学习模型；

其中，智能体的状态s为服务器到基站的相对位置，用户的相对位置和任务量；策略π是状态到动作的映射函数；动作a＝π(s)是根据策略π在当前状态s下所执行的任务调度方案；回报函数r与总消耗C负相关；γ为折扣因子，用来平衡当前奖励和延时奖励的关系；α是学习效率，即一个单步更新时的更新程度；

步骤3，构建每个服务器的策略；

用集中的critic网络来估计值函数，分散的actor网络来进行决策；所有服务器共享一个critic网络，在这个网络中，输入是状态s以及所有服务器在当前状态下的动作(a₁,a₂,...,a_M)，输出的是联合动作值Q(s,a₁,a₂,...,a_M)，每个服务器的actor网络则根据状态s输出一个确定性的动作a；

步骤4，建立横向链接；

每个服务器被随机分配一个预训练的策略π′，在actor网络的每个网络层，都与策略π′的actor网络在该层输出的隐藏状态用线性层整合；

在第i层，上一层传递下来的隐藏值为h_i-1，而π′的第i-1层输出为h′_i-1，线性层处理得到u_i-1＝Linear(h_i-1,h′_i-1)，则actor网络第i层的输出为h_i＝f(u_i-1；θ_i)，其中θ_i是第i层的参数；

步骤5，根据步骤2、3和4构造的训练模型开始训练；

每个时隙，先从环境中得到状态s，然后每个智能体都根据自己的策略网络选择动作，其探索和利用的平衡用ε-greedy算法来实现；

在获得联合动作(a₁,a₂,...,a_M)后执行，环境返回一个reward，并获得下一个状态s′；最后，将经验元组<s,s′,(a₁,a₂,...,a_M),r>存入经验回放池中；

步骤6，策略网络通过采样经验进行更新；

在更新时，预训练的策略π′被冻结，其参数不会改变；集中的Critic网络计算出状态值函数v(s′)，每个Actor网络计算对应的梯度，网络参数和横向链接的线性层通过反向传播更新，Critic网络则根据环境真实反馈的奖励r，用均方误差计算损失函数；

步骤7，通过观察平均回报是否增加来判断训练是否结束，如果没有结束则重复步骤5和6；如果结束则训练完成。

2.根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤1和2当中，建立多智能体模拟训练环境，构建环境的回报函数r，其跟总消耗负相关：r＝K·e^-C，其中K是可调节系数，将回报函数的值域约束在(0,K)之间；

训练环境时间步设置为T，在连续的T时间内，服务器组要学习合适的任务调度策略来使得

最大。

3.根据权利要求2所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤2当中，服务器的任务调度策略为确定性策略a＝π(s)，因此每个策略π的状态值函数

v(s)＝E_a～π(s)[π(a|s)Q(s,a)]需要改写成

v(s)＝Q(s,a)|_a＝π(s)；强化学习中的折扣因子γ和学习效率α取值在(0,1)范围内；在确定性策略的设置下，每个智能体的优化函数为累计期望奖励

4.根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤3当中，为每个服务器构建一个Actor网络，网络结构为多层全连接层，输入的维度与状态s一致，输出为一个确定性策略；为所有服务器构建一个Critic网络，第一个输入为状态s，经过一个全连接层处理；第二个输入为所有服务器的联合动作(a₁,a₂,...,a_M)，同样被一个全连接层提取特征；将两个输入处理后的特征合并，之后是多层全连接层，输出一个一维的标量，即为Q(s,a₁,a₂,...,a_M)；在这种集中训练分散执行的机制下，每个Actor网络用于独立的选择动作，而Critic网络集中来判断联合动作的好坏。

5.根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤4当中，为目标任务选取合适的源任务，即为每个目标任务中的服务器从源任务中随机分配一个策略(π′₁,π′₂,...,π′_M)，π′_k为第k个服务器被分配的策略；

在一个服务器的策略π中，一共有L层网络，第i层的输出为

h_i＝f(u_i-1；θ_i)；其中θ_i为第i层的参数；

u_i-1＝Linear(h_i-1,h′_i-1)；

因此策略网络π的输出a＝π(s)＝f(u_L-1；θ_L)；

对于被分配的策略π′来说，在每个时间步，它都需要对当前状态做出响应，将自己每层网络计算得到的特征传递到目标策略中去。

6.根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤5当中，首先得到环境状态s，然后在[0,1]中取一个随机数η，如果η≤ε，则每个服务器根据自己的策略网络生成联合动作(a₁,a₂,...,a_M)；反之，每个服务器随机选择一个任务调度方案执行；

在执行结束后，状态转移到s′，并返回一个回报r,将<s,s′,(a₁,a₂,...,a_M),r>存储到经验回放池中，所述经验回放池用于消除样本间的序列相关性，避免在一个回合中的过拟合，以及用于在神经网络更新时批处理更新。

7.根据权利要求6所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在训练初期，服务器们在环境中探索，随着策略的慢慢收敛，ε逐渐变大，服务器们不断地优化自身策略，直到学习结束为止。

8.根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤6当中，随机从经验回放池中采样经验；

先计算Critic网络的误差，使用均方误差函数计算：

L(θ)＝E_s,a,r,s′[(Q(s,a₁,a₂,...,a_M)-y)²]，其中Q(s,a₁,a₂,...,a_M)通过Critic网络输出得到，且

Actor网络的梯度计算如下：

critic网络借用了全局信息学习，actor网络用了局部观测信息；

在更新时，预训练的策略π′被冻结，横向链接中的线性层需要反向传播更新。

9.根根据权利要求1所述的基于迁移和强化学习的移动边缘计算系统任务调度方法，其特征在于：在步骤7当中，记录一个回合内的平均回报mr＝∑_tr_t/T，在多个回合内如果mr不再增加，且损失函数L(θ)不再减小，则服务器组的策略训练结束。

Images