CN115858048B - 一种面向混合关键级任务动态到达边缘卸载方法 - Google Patents

Abstract

本发明公开了一种面向混合关键级任务动态到达边缘卸载方法，涉及移动边缘计算领域，包括以下步骤：获取系统产生的任务，并对任务进行关键级别分类；分别计算任务在本地完成和在服务器完成所需的系统资源；根据任务在本地完成和在服务器完成所需的系统资源和任务的关键级别建立资源调度模型，获取最佳调配机制；根据最佳调配机制得到卸载和任务卸载方案。本发明为了增加系统运行的安全性，降低系统执行风险，有效避免损害性事故发生，综合考虑任务的时延和系统能耗、任务的关键度，对不同关键度的任务进行有效的管理；能够优先选择关键级别高的任务执行和避免用户的移动性导致任务卸载服务的中断，提升了移动系统的服务质量。

Description

一种面向混合关键级任务动态到达边缘卸载方法

技术领域

本发明涉及移动边缘计算领域；具体涉及一种面向混合关键级任务动态到达边缘卸载方法。

背景技术

移动边缘计算的近距离、超低延时、高带宽等特性，移动边缘计算的研究近年来受到高度关注，特别是在在任务卸载方面，根据不同的需求和应用场景，提出了不同的解决方案。目前常见的卸载策略按计算卸载的性能需求划分为最小化时延、最小化能耗、最大化收益3种主要类型。

最小时延的方案针对不同服务具有不同的时延，通过最小化端到端服务时延、任务完成时间，提出时延显著的分布式任务调度策略估计延迟时间，提高服务质量。现有技术以实现优先降低实时性要求高的计算任务的执行时间为目的，设置任务实时性优先级。依据优先级别确定任务在边缘端或云端执行。同时，为了保证所有的任务都能在要求的时间内完成，队列的长度也会根据任务的到来情况相应改变，确保不会出现队列过长，任务陷入长时间等待的情况。设计一个激励函数，并基于深度强化学习机制，提出一种在线学习方法。该方法有效降低任务队列中的平均延迟时间。考虑平均时延和随机时延抖动，提出一种改进的异构最早完成时间策略，该策略利用核密度估计解决最大化容忍时延最小化问题。提出一种使用混合整数线性规划（Mixed-Integer LinearProgramming，MILP）技术的边缘服务器部署方案，该方案可以同时优化边缘服务器的工作负载和用户的响应延迟。最小时延的方案能够减小任务的执行时间，降低时延，但是，移动终端的能量消耗过快可能导致相应的卸载策略无法正常使用。

适用于对多移动设备进行全部计算卸载的高效节能计算卸载算法。考虑能耗和时延的加权和最小,假设服务器的计算能力为固定常数，以节能为目的，兼顾无线资源的分配，根据任务的延时和无线资源需求以及能耗的加权，对任务进行分类，并赋予其优先级完成卸载。最小化能耗的计算卸载策略都是在满足移动终端的时延限制下寻求最小化能量消耗的算法。但是在实际卸载过程中可能不一定需要最小化时延或最小化能耗。

最大收益化提出了适用于计算全部卸载的多移动终端计算卸载的博弈策略。该策略设置称量参数作为计算卸载的指标,设计了能够实现Nash均衡的分布式计算卸载算法以便在设备能量消耗和计算时延之间进行权衡,以实现用户收益的最大化。最大收益化考虑移动终端能耗以及计算任务的死限，在死限敏感的MEC系统，针对单用户和多用户，分别提出两种近似算法以最小化能耗和时延。文献提出了一种新的基于能量高效深度学习的卸载方案来训练一种基于深度学习的智能决策算法。该算法根据用户的剩余能量、应用组件的能耗、网络条件、计算负载、数据传输量和通信延迟选择一组最优的应用组件。现有技术包括利用深度强化学习，提出一种解决细粒度的任务卸载决策，从而降低MEC平台的延迟、成本、能耗和网络利用率；和根据移动用户计算任务的数据量和边缘计算节点的性能特点，结合人工智能技术，提出了一种基于任务预测的计算卸载和任务迁移算法，以获得最大收益。最大化收益的计算卸载策略本质上通过分析时延和能耗这两个指标对计算卸载总消耗的影响，以寻找一个平衡点使得时延或能耗的限制设定更适合实际场景，从而达到总花费最小的目的，即最大化收益。但是，现有技术虽然考虑所执行的任务的优先级，但是均是将执行的任务看成是具有相同关键度的任务，并没有考虑不同关键度的任务的执行对系统的影响，从而导致关键度高的任务不能在系统安全级别切换中不能及时执行而错过任务执行死限。另一方面，用户的移动性使上述算法忽视了任务在卸载过程中导致任务卸载服务的中断，从而导致任务卸载的失败而降低移动系统的服务质量。

发明内容

针对现有技术中的上述不足，本发明提供的一种面向混合关键级任务动态到达边缘卸载方法解决了现有技术没有考虑不同关键度的任务的执行对系统的影响和用户的移动性导致任务卸载服务中断的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种面向混合关键级任务动态到达边缘卸载方法，包括以下步骤：

S1、获取系统产生的任务，并对任务进行关键级别分类；

S2、分别计算任务在本地完成和在服务器完成所需的系统资源；

S3、根据任务在本地完成和在服务器完成所需的系统资源和任务的关键级别建立资源调度模型，获取最佳调配机制；

S4、根据最佳调配机制得到混合关键级任务动态到达边缘卸载方法。

进一步地，步骤S1的具体实现方式如下：

S1-1、系统在当前时隙 t以概率产生一个任务：

其中，表示计算任务的数据量，表示该计算任务进行计算时每比特数据所需的CPU周期数；表示任务的最大容忍时延；表示任务的关键级别；表示定义；

S1-2、根据任务的重要性对任务进行关键级别划分，用表示。

进一步地，步骤S2的具体实现方式如下：

S2-1、根据公式：

得到任务传输到服务器上链路通信速率；其中，是信道的带宽，是终端设备和基站之间的信道增益，是高斯白噪声的功率，是本地设备分配的发射功率；

S2-2、根据公式：

得到任务在本地设备上执行过程中所产生的能耗和任务在本地计算产生的时延；其中，表示本地设备提供给任务的计算能力；是CPU架构所决定的能耗系数；为任务执行成功的条件；为任务在本地排队的等待时长；

S2-3、根据公式：

得到任务卸载到MEC上完成计算所需要的时延和时刻到达MEC服务器卸载任务所产生的能耗为；其中，为任务从本地设备卸载到MEC服务器所产生的传输时延；为任务上传到MEC服务器上计算过程中所产生的能耗；为任务卸载到MEC过程中通信传输所产生的能耗；为上传MEC服务器的排队等待时长；为在MEC服务器上执行的排队等待时长；为任务执行成功的条件；是计算资源所对应的能耗系数；表示任务在本地计算；表示任务在MEC服务器上计算。

进一步地，步骤S3的具体实现方式如下：

S3-1、根据公式：

得到资源调度模型；其中，表示最大时隙数；是布尔函数，当为真时，反之；表示任务在本地完成并执行成功；表示任务在MEC服务器卸载执行成功；表示任务完成过程中产生的能耗；是能耗系数，是完成任务所产生的能耗；为关键级别所决定的系数； C1表示整个模型是由时隙组成的离散时间模型； C2和 C3表示决策通过0和1表示是否选择该决策类型； C4是任务执行成功的条件，即任务完成执行的时长要小于最大容忍时延； C5表示MEC服务器分配给任务的计算能力需要小于； C6表示分配给任务的发射功率要小于最大发射功率； F表示频率；表示MEC服务器的等待时间；表示MEC服务器的执行时间；表示本地等待时间； l、 o、 d分别表示任务在本地执行、任务在服务器执行和丢弃任务；

S3-2、根据公式：

得到资源调度模型的状态；其中，表示任务在本地排队等待的时长；表示上传MEC服务器的排队等待时长；表示在MEC服务器上执行的排队等待时长；

S3-3、根据公式：

得到资源调度模型的动作；其中，表示任务的执行策略；虚拟截止时限因子，的取值为；是任务上传到MEC服务器上所分配的计算资源；是发射功率；

S3-4、根据公式：

得到资源调度模型的奖励函数；其中，是对不同关键级别的任务施加不同级别的奖励系数，根据中的关键级别来决定奖励值； success表示任务执行成功； failure表示任务执行失败；

S3-5、根据得到的资源调度模型的奖励函数、资源调度模型的动作和资源调度模型的状态，通过随机生成任务对资源调度模型进行训练，得到训练好的资源调度模型；

S3-6、根据训练好的资源调度模型得到最佳调配机制。

进一步地，步骤S3-5的具体实现方式如下：

S3-5-1、初始化深度Q网络DQN中的回放记忆单元D、值神经网络Q和目标神经网络；随机选择值网络的网络权重和目标网络，网络权重为；其中，；

S3-5-2、获取环境初始状态，在时隙间隔期间，产生一个0~1的随机数，并判断随机数是否小于预定的阈值；如果是，随机生成任务，以概率选择随机动作；否则，令；

S3-5-3、计算奖励函数，资源调度模型的状态转换为s( t+1)，并存储状态转移过程到回放记忆单元D；

S3-5-4、根据公式：

得到对从回放记忆单元D中的原始数据随机采样一批样本进行训练的结果；其中，为新的动作； k表示样本编号； K表示训练次数；第 k个样本下的资源调度模型的状态；第 k个样本下资源调度模型的动作；第 k个样本下资源调度模型的奖励函数；第 k+1个样本下的资源调度模型的状态；为折扣因子；

S3-5-5、根据公式：

得到损失函数 L；其中，值神经网络的权重为；目标神经网络的权重为；

S3-5-6、使用学习率和损失函数 L梯度下降更新值神经网络的权重；

S3-5-7、设置步长 C，并间隔步长 C时将值神经网络的参数赋值给目标神经网络，完成当前时隙状态更新；

S3-5-8、重复步骤S3-5-1至步骤S3-5-7直到达到给定的训练次数和时间间隙。

本发明的有益效果为：本发明以任务成功率和总能耗建立了系统模型，同时为确保任务的成功率和保障高关键级任务的执行，对卸载后的资源调度问题提出了系统资源动态调整机制和虚拟截止时限调度机制；能够优先选择关键级别高的任务执行和避免用户的移动性导致任务卸载服务的中断，提升了移动系统的服务质量；增加系统运行的安全性，降低系统执行风险，有效避免损害性事故发生。

附图说明

图1为本发明流程图；

图2为本发明结构示意图；

图3为不同任务执行成功率对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种面向混合关键级任务动态到达边缘卸载方法，包括以下步骤：

S1、获取系统产生的任务，并对任务进行关键级别分类；

S2、分别计算任务在本地完成和在服务器完成所需的系统资源；

S3、根据任务在本地完成和在服务器完成所需的系统资源和任务的关键级别建立资源调度模型，获取最佳调配机制；

S4、根据最佳调配机制得到混合关键级任务动态到达边缘卸载方法。

步骤S1的具体实现方式如下：

S1-1、系统在当前时隙 t以概率产生一个任务：

其中，表示计算任务的数据量，表示该计算任务进行计算时每比特数据所需的CPU周期数；表示任务的最大容忍时延；表示任务的关键级别；表示定义；

S1-2、根据任务的重要性对任务进行关键级别划分，用表示。

步骤S2的具体实现方式如下：

S2-1、根据公式：

得到任务传输到服务器上链路通信速率；其中，是信道的带宽，是终端设备和基站之间的信道增益，是高斯白噪声的功率，是本地设备分配的发射功率；

S2-2、根据公式：

得到任务在本地设备上执行过程中所产生的能耗和任务在本地计算产生的时延；其中，表示本地设备提供给任务的计算能力；是CPU架构所决定的能耗系数；为任务执行成功的条件；为任务在本地排队的等待时长；

S2-3、根据公式：

得到任务卸载到MEC上完成计算所需要的时延和时刻到达MEC服务器卸载任务所产生的能耗为；其中，为任务从本地设备卸载到MEC服务器所产生的传输时延；为任务上传到MEC服务器上计算过程中所产生的能耗；为任务卸载到MEC过程中通信传输所产生的能耗；为上传MEC服务器的排队等待时长；为在MEC服务器上执行的排队等待时长；为任务执行成功的条件；是计算资源所对应的能耗系数；表示任务在本地计算；表示任务在MEC服务器上计算。

步骤S3的具体实现方式如下：

S3-1、根据公式：

得到资源调度模型；其中，表示最大时隙数；是布尔函数，当为真时，反之；表示任务在本地完成并执行成功；表示任务在MEC服务器卸载执行成功；表示任务完成过程中产生的能耗；是能耗系数，是完成任务所产生的能耗；为关键级别所决定的系数； C1表示整个模型是由时隙组成的离散时间模型； C2和 C3表示决策通过0和1表示是否选择该决策类型； C4是任务执行成功的条件，即任务完成执行的时长要小于最大容忍时延； C5表示MEC服务器分配给任务的计算能力需要小于； C6表示分配给任务的发射功率要小于最大发射功率； F表示频率；表示MEC服务器的等待时间；表示MEC服务器的执行时间；表示本地等待时间； l、 o、 d分别表示任务在本地执行、任务在服务器执行和丢弃任务；

S3-2、根据公式：

得到资源调度模型的状态；其中，表示任务在本地排队等待的时长；表示上传MEC服务器的排队等待时长；表示在MEC服务器上执行的排队等待时长；

S3-3、根据公式：

得到资源调度模型的动作；其中，表示任务的执行策略；虚拟截止时限因子，的取值为；是任务上传到MEC服务器上所分配的计算资源；是发射功率；

S3-4、根据公式：

得到资源调度模型的奖励函数；其中，是对不同关键级别的任务施加不同级别的奖励系数，根据中的关键级别来决定奖励值； success表示任务执行成功； failure表示任务执行失败；

S3-5、根据得到的资源调度模型的奖励函数、资源调度模型的动作和资源调度模型的状态，通过随机生成任务对资源调度模型进行训练，得到训练好的资源调度模型；

S3-6、根据训练好的资源调度模型得到最佳调配机制。

步骤S3-5的具体实现方式如下：

S3-5-1、初始化深度Q网络DQN中的回放记忆单元D、值神经网络Q和目标神经网络；随机选择值网络的网络权重和目标网络，网络权重为；其中，；

S3-5-2、获取环境初始状态，在时隙间隔期间，产生一个0~1的随机数，并判断随机数是否小于预定的阈值；如果是，随机生成任务，以概率选择随机动作；否则，令；

S3-5-3、计算奖励函数，资源调度模型的状态转换为s( t+1)，并存储状态转移过程到回放记忆单元D；

S3-5-4、根据公式：

得到对从回放记忆单元D中的原始数据随机采样一批样本进行训练的结果；其中，为新的动作； k表示样本编号； K表示训练次数；第 k个样本下的资源调度模型的状态；第 k个样本下资源调度模型的动作；第 k个样本下资源调度模型的奖励函数；第 k+1个样本下的资源调度模型的状态；为折扣因子；

S3-5-5、根据公式：

得到损失函数 L；其中，值神经网络的权重为；目标神经网络的权重为；

S3-5-6、使用学习率和损失函数 L梯度下降更新值神经网络的权重；

S3-5-7、设置步长 C，并间隔步长 C时将值神经网络的参数赋值给目标神经网络，完成当前时隙状态更新；

S3-5-8、重复步骤S3-5-1至步骤S3-5-7直到达到给定的训练次数和时间间隙。

如图2所示，系统中存在单个用户设备和单个MEC，系统采用离散时间模型，时隙的长度为，当前时隙为。每个时隙开始会以概率产生一个计算任务，这些任务可以在本地设备执行，也可以通过无线信道卸载到MEC服务器上执行。任务到达系统后系统需对其做出卸载决策和为其分配系统资源。系统提供的资源在同一时刻只能执行单个任务，如果新释放的任务所分配的系统资源正被占用，此任务要等待系统资源释放完成后才能完成执行。

如图3所示，对不同的算法进行对比实验，在每个时隙开始任务到达概率较小的情况下，任务的成功率可以达到100%。随着的增加，所有任务成功率呈下降趋势，这是因为任务的密集程度增加导致系统资源不足，部分任务会在队列中浪费大量的时长。由于本发明中结合了资源动态提升和虚拟截止时限调度，能够有效的保障任务执行的成功率，使其始终比其它方法更高，即使是在提升到1时，其成功率也较DQN-FCFS高33%。DQN-FCFS表示基于DQN的先来先服务卸载策略；All-Local表示全部本地策略；Random表示随即卸载策略；Greedy表示贪心算法；All-Edge表示全部卸载策略；Edge-First表示卸载优先策略；Local-First表示本地优先策略。

在本发明的一个实施例中，系统采用先来先服务的方式进行调度时，排队时长如下：

任务在本地设备上等待时长：

其中，是时刻到达任务在本地计算的时长；

任务在信道上传的等待时长：

其中，是时刻到达任务在MEC服务器上计算的时长；

MEC服务器上任务的计算等待时长：

其中，是时刻到达任务在MEC服务器上计算的时长。

发射功率调整机制：用户设备的发射功率可以进行动态调整，当任务的关键级别低、数据量小的时候，对任务分配较小的发射功率，来达到降低系统的能耗；当任务的重要程度较高、数据量大的时候，就会分配更大的发射功率，以提升通信速率，确保任务能够及时完成；

MEC服务器分配的计算资源机制：对于关键级别高或数据量大的任务，MEC系统会为其分配更多的MEC计算能力来减少计算时间的，避免高关键级任务执行超时或数据量大的任务占用计算资源过久影响后续任务。

虚拟截止时限机制：虚拟截止时限根据当前系统资源利用率计算得出，混合关键级越高的任务其虚拟截止时限越近，也就保障了关键级别高的任务优先执行；为虚拟截止时限因子，低关键级任务的虚拟截止时限因子始终为1，系统根据当前系统资源利用率计算得出高关键级任务的。

为验证所提算法不同关键任务成功率的影响，设置了以下对比试验，所提算法将与以下几种启发式策略对比：

1）全部本地（AllL）：任务全部在本地进行计算。任务能够满足截止时间的情况下，将任务以FCFS模式加入本地计算队列。如果无法满足任务的截止时间，任务到达时将会被直接丢弃。

2）全部卸载（AllO）：任务全部卸载边缘服务器计算。任务能够满足截止时间的情况下，将任务以FCFS模式加入本地计算队列。如果无法满足任务的截止时间，任务到达时将会被直接丢弃。

3）随机卸载（Random）：当任务到达系统，如果能够在本地和MEC端执行，随机选择是在本地计算还是在MEC计算卸载。如果任务是低关键级任务，还可以被丢弃。

4）贪心算法（Greedy）：通过贪心的方式选择本地计算和卸载计算中任务完成代价最小的方案。

5）本地优先（FirstL）：优先选择本地计算，如果本地计算无法满足任务的时延需求，再进行将任务卸载到MEC进行计算。

6）卸载优先（FirstO）：任务优先选择将任务卸载到MEC计算，如果计算卸载无法满足任务要求，再尝试将任务在本地计算。

7）基于DQN的先来先服务卸载策略（DQN-FCFS）: 该算法基于DQN进行卸载决策和资源分配，但是队列排队方式采用先来先服务的调度算法。

对策略1) - 6)进行1000次实验后取任务成功率的平均值，对策略7)和本发明经过一段时间训练后得到模型，本发明的学习率设置为0.001，高关键级任务的奖励系数设置为4，能耗系数设置为0.001，再进行1000次数据测试取成功率的平均值，得到的所有任务的成功率，低关键级任务成功率如表1所示，高关键任务的成功率表2所示。

表1

表2

本发明为了增加系统运行的安全性，降低系统执行风险，有效避免损害性事故发生，在MEC的任务卸载研究中，综合考虑任务的时延和系统能耗、任务的关键度，对不同关键度的任务进行有效的管理，使各项任务都能够按照自己的关键度合理有效地得到卸载和执行，提高系统运行的安全性；能够优先选择关键级别高的任务执行和避免用户的移动性导致任务卸载服务的中断，提升了移动系统的服务质量。

Claims (1)

1.一种面向混合关键级任务动态到达边缘卸载方法，其特征在于，包括以下步骤：

S1、获取系统产生的任务，并对任务进行关键级别分类；

S2、分别计算任务在本地完成和在服务器完成所需的系统资源；

S3、根据任务在本地完成和在服务器完成所需的系统资源和任务的关键级别建立资源调度模型，获取最佳调配机制；

S4、根据最佳调配机制得到混合关键级任务动态到达边缘卸载方法；

步骤S1的具体实现方式如下：

S1-1、系统在当前时隙t以概率产生一个任务：

其中，表示计算任务的数据量，表示该计算任务进行计算时每比特数据所需的CPU周期数；表示任务的最大容忍时延；表示任务的关键级别；表示定义；

S1-2、根据任务的重要性对任务进行关键级别划分，用表示；

步骤S2的具体实现方式如下：

S2-1、根据公式：

得到任务传输到服务器上链路通信速率；其中，是信道的带宽，是终端设备和基站之间的信道增益，是高斯白噪声的功率，是本地设备分配的发射功率；

S2-2、根据公式：

得到任务在本地设备上执行过程中所产生的能耗和任务在本地计算产生的时延；其中，表示本地设备提供给任务的计算能力；是CPU架构所决定的能耗系数；为任务执行成功的条件；为任务在本地排队的等待时长；

S2-3、根据公式：

得到任务卸载到MEC上完成计算所需要的时延和时刻到达MEC服务器卸载任务所产生的能耗为；其中，为任务从本地设备卸载到MEC服务器所产生的传输时延；为任务上传到MEC服务器上计算过程中所产生的能耗；为任务卸载到MEC过程中通信传输所产生的能耗；为上传MEC服务器的排队等待时长；为在MEC服务器上执行的排队等待时长；为任务执行成功的条件；是计算资源所对应的能耗系数；表示任务在本地计算；表示任务在MEC服务器上计算；

步骤S3的具体实现方式如下：

S3-1、根据公式：

得到资源调度模型；其中，表示最大时隙数；是布尔函数，当为真时，反之；表示任务在本地完成并执行成功；表示任务在MEC服务器卸载执行成功；表示任务完成过程中产生的能耗；是能耗系数，是完成任务所产生的能耗；为关键级别所决定的系数；C1表示整个模型是由时隙组成的离散时间模型；C2和C3表示决策通过0和1表示是否选择该决策；C4是任务执行成功的条件，即任务完成执行的时长要小于最大容忍时延；C5表示MEC服务器分配给任务的计算能力需要小于；C6表示分配给任务的发射功率要小于最大发射功率；F表示频率；表示MEC服务器的等待时间；表示MEC服务器的执行时间；表示本地等待时间；l、o、d分别表示任务在本地执行、任务在服务器执行和丢弃任务；

S3-2、根据公式：

得到资源调度模型的状态；其中，表示任务在本地排队等待的时长；表示上传MEC服务器的排队等待时长；表示在MEC服务器上执行的排队等待时长；

S3-3、根据公式：

得到资源调度模型的动作；其中，表示任务的执行策略；虚拟截止时限因子，的取值为；是任务上传到MEC服务器上所分配的计算资源；是发射功率；

S3-4、根据公式：

得到资源调度模型的奖励函数；其中，是对不同关键级别的任务施加不同级别的奖励系数，根据中的关键级别来决定奖励值；success表示任务执行成功；failure表示任务执行失败；

S3-5、根据得到的资源调度模型的奖励函数、资源调度模型的动作和资源调度模型的状态，通过随机生成任务对资源调度模型进行训练，得到训练好的资源调度模型；

S3-6、根据训练好的资源调度模型得到最佳调配机制；

步骤S3-5的具体实现方式如下：

S3-5-1、初始化深度Q网络DQN中的回放记忆单元D、值神经网络Q和目标神经网络；随机选择值网络的网络权重和目标网络，网络权重为；其中，；

S3-5-2、获取环境初始状态，在时隙间隔期间，产生一个0~1的随机数，并判断随机数是否小于预定的阈值；如果是，随机生成任务，以概率选择随机动作；否则，令；

S3-5-3、计算奖励函数，资源调度模型的状态转换为s(t+1)，并存储状态转移过程到回放记忆单元D；

S3-5-4、根据公式：

得到对从回放记忆单元D中的原始数据随机采样一批样本进行训练的结果；其中，为新的动作；k表示样本编号；K表示训练次数；第k个样本下的资源调度模型的状态；第k个样本下资源调度模型的动作；第k个样本下资源调度模型的奖励函数；第k+1个样本下的资源调度模型的状态；为折扣因子；

S3-5-5、根据公式：

得到损失函数L；其中，值神经网络的权重为；目标神经网络的权重为；

S3-5-6、使用学习率和损失函数L梯度下降更新值神经网络的权重；

S3-5-7、设置步长C，并间隔步长C时将值神经网络的参数赋值给目标神经网络，完成当前时隙状态更新；

S3-5-8、重复步骤S3-5-1至步骤S3-5-7直到达到给定的训练次数和时间间隙。

Images