CN113573324B - 工业物联网中协作式任务卸载和资源分配的联合优化方法 - Google Patents

Abstract

本发明公开了工业物联网中协作式任务卸载和资源分配的联合优化方法，具体步骤如下：步骤1：设置系统模型的各参数；步骤2：采用CTORA算法来为每个IIoT设备做出最优决策，目标是最小化长期系统总成本，包括延迟成本和能耗成本。该算法结合了SAC算法、分布式RL和优先级经验重放技术，有效解决了传统SAC算法对Q值的过估计或低估计问题，提高了学习效率。本发明可有效减少工业物联网中所有设备的任务执行延迟和能耗，平衡边缘服务器的工作负载，提高计算和通信资源利用率。

Description

工业物联网中协作式任务卸载和资源分配的联合优化方法

技术领域

本发明涉及工业物联网中协作式任务卸载和资源分配的联合优化方法，属于工业物联网的边缘计算领域。

背景技术

作为物联网(Internet of Things，IoT)的重要组成部分，工业物联网(Industrial IoT，IIoT)将具有感知、通信和处理能力的大量异构IIoT设备(例如，智能传感器、机器、仪器仪表、机器人和车辆)、以及人工智能和大数据技术等融入到工业生产过程中，以提高制造效率和降低生产成本。因此，IIoT已经成为一种支持工业4.0的有前景范式。然而，由于IIoT设备的计算能力和电池容量有限，难以执行计算密集型和延迟敏感型IIoT应用。在传统的云计算的方案中，IIoT设备需要将其任务卸载到远程云计算服务器(CloudComputing Servers，CCS)，因此，随着IIoT设备和任务的数量的增加，数据流量急剧增加，这给回程链路和核心网造成了巨大负担，导致了更高的任务执行延迟和更低的服务质量(Quality of Service，QoS)。

针对以上问题，边缘计算技术已经成为一种有效的解决方案，该技术将边缘计算服务器(Edge Computing Servers，ECS)部署到IIoT设备附近，使得用户可以直接将任务卸载到ECSs上，而无需通过回程链路和核心网将任务卸载到远程CCSs上，从而缓解了网络拥塞，降低任务执行延迟，提升QoS。然而，单个ECS的计算能力通常有限，并且由于IIoT网络的异构特性，ECSs的工作负载各不相同。因此，可以利用多个ECSs之间的协作来平衡ECS的工作负载，避免计算资源的浪费。此外，考虑到CCSs的丰富计算资源，ECSs和CCSs之间的协作可以进一步提高资源利用率，降低任务执行延迟，特别是当所有ECSs的计算资源均不足时。

真实的IIoT环境通常是动态和不可预测的(如时变的任务参数、IIoT设备状态和信道增益)，针对这一特性，强化学习(Reinforcement Learning，RL)已经成为一种有前景的解决方案。RL通过与动态环境进行交互来学习最佳策略，而无需关于环境动态的先验知识。然而，传统的RL算法仅适用于具有完全可观察、低维状态空间的环境，而真实的IIoT环境通常具有高维、连续状态空间，并且难以从IIoT环境中提取所有的有用特征。幸运的是，深度强化学习(Deep Reinforcement Learning，DRL)集成了深度神经网络(Deep NeuralNetwork，DNN)强大的特征提取能力以及RL强大的决策能力，具体来说，DRL利用DNN模型来逼近RL中的策略函数和值函数，能够从大型高维、连续状态空间中学习到最佳策略，因此，DRL适用于真实的IIoT环境。

现有的研究大多集中在优化任务卸载决策上，而未考虑计算和通信资源的分配。事实上，任务卸载和资源分配是相辅相成、相互影响的，一方面，任务卸载决策会影响资源分配的优化结果，另一方面，多个IIoT设备对资源的竞争会影响任务卸载决策。因此，需要对任务卸载和资源分配进行联合优化。

发明内容

针对现有技术的不足，本发明提供了IIoT中协作式任务卸载和资源分配的联合优化方法(Cooperative Task Offloading and Resource Allocation，CTORA)，是一种集中式方法。该方法将分布式RL的思想引入到软演员-评论家(soft actor-critic，SAC)算法中，通过学习状态动作回报的分布函数来提高Q值的估计精度，改进了传统SAC算法对Q值的过估计或低估计问题。此外，该方法采用了一种优先级经验重放技术，该技术通过更频繁地采样重要的经验样本来提高学习效率。

为达到上述目的，本发明的技术方案是这样实现的：

一种工业物联网中协作式任务卸载和资源分配的联合优化方法，其步骤如下：

步骤1：设置系统模型的各参数；

步骤2：采用CTORA算法来为每个IIoT设备做出最优决策，目标是最小化长期系统总成本，包括延迟成本和能耗成本。该算法结合了SAC算法、分布式RL和优先级经验重放技术，有效解决了传统SAC算法对Q值的过估计或低估计问题，提高了学习效率；

优选地，所述步骤1的具体步骤如下：

1.1设置网络模型：网络分为三层，从下到上分别为IIoT设备层、边缘层和云层，其中，IIoT设备层包含多种类型的IIoT设备(如仪器仪表、智能机器、机器人、传感器、智能汽车等)，每个IIoT设备用符号u表示，IIoT设备周期性地采集环境数据，并生成计算密集和延迟敏感型任务；每个IIoT设备通过无线网络接入到本地BS；每个IIoT设备配有一个电池，采用有线或无线充电的方式为设备提供电能；边缘层包含M个BS(即M个小区)和一个SDN控制器，每个BS用符号m表示，每个BS m上配备了一个ECS，每个ECS也用符号m表示，计算能力为f_m，负责为IIoT设备提供边缘计算资源；每个BS通过光纤链路连接到SDN控制器，用符号s表示，SDN控制器通过核心骨干网连接到云层；SDN控制器负责收集环境状态信息，并为每个IIoT设备做出任务卸载和资源分配决策；云层包含多个计算能力充足的CCSs，用符号c表示，计算能力为f_c；

1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有环境状态参数(如任务参数、IIoT设备参数、信道增益)保持不变，而不同时隙参数不同；

1.3设置任务卸载模型：在每个时隙t，每个BS m中的每个IIoT设备u会随机产生一个计算任务

其中

表示任务输入数据大小，

表示任务计算量(即计算该任务所需要的CPU周期数)，

表示任务的最大容许延迟；定义在时隙t在BS m内产生计算任务的所有IIoT设备的集合为

对应数量为

采用协作式部分卸载方案，即假设每个任务被分成多个子任务；首先，需要确定IIoT设备本地是否有足够的计算资源，若有，IIoT设备将本地处理整个任务；否则，IIoT设备将根据自身的计算能力处理部分任务，同时将剩余任务卸载到本地ECS；本地ECS在收到卸载任务后，也将根据自身的计算能力处理部分任务，然后，将剩余任务卸载到某个非本地ECS或者CCSs上；定义在时隙t在BS m内的IIoT设备

的卸载决策为

其中

表示将任务从IIoT设备u卸载到本地ECS m的任务卸载比例，

∈[0,1]表示将任务从本地ECS m卸载到某个非本地ECS n∈{M\{m}}的任务卸载比例，且每个本地ECS一次只能选择一个非本地ECS来执行协作式边缘计算，

表示将任务从本地ECS m卸载到CCSs c的任务卸载比例；

1.4设置通信模型：假设每个BS工作在相同的频带上，且频带宽度为B_w；采用正交频分复用技术将频带宽度B_w划分成多个正交子信道；从而避免了同一BS内的多设备干扰。此外，由于每个BS的覆盖半径相同，且BS之间的覆盖范围不相互重叠，因此避免了不同BS之间的干扰。定义在时隙t在BS m内的IIoT设备u的带宽资源分配决策为

当设备u本地执行整个任务时，则无需为其分配带宽资源，即

定义在时隙t内IIoT设备u与本地BS m之间的上行SNR值为

且

其中，

表示IIoT设备u的发射功率，

表示BS m与IIoT设备u之间的信道增益，σ²表示加性高斯白噪声的方差；定义在时隙t内IIoT设备u与本地BS m之间的上行数据传输速率为

且

定义每个BS m和SDN控制器s之间的数据传输速率均为常数θ_m,s，SDN控制器s和CCSs c之间的数据传输速率为常数θ_s,c，且θ_m,s>θ_s,c；

1.5设置计算模型：采用四种计算模型，即本地计算模型、本地边缘计算模型、协作式边缘计算模型和云计算模型，其中

1.5.1本地计算模型：定义在BS m内的IIoT设备u的计算能力为

当任务

在IIoT设备u上本地执行时，任务的执行延迟为

1.5.2本地边缘计算模型：当IIoT设备u的计算资源不足时，设备u将部分任务卸载到本地ECS m上，所需要的上行传输延迟为

然后，定义在时隙t本地ECS m为部分任务所分配的计算资源为

因此，在本地ECS m上的任务计算延迟为

1.5.3协作式边缘计算模型：当本地ECS m的计算资源不足时，将部分任务卸载到某个非本地ECS n上，以平衡ECS的工作负载；定义在时隙t本地ECS m将部分任务卸载到某个非本地ECS n的传输延迟为

定义在时隙t某个非本地ECS n为部分任务所分配的计算资源为

因此，在非本地ECS n上的任务计算延迟为

1.5.4云计算模型：当所有ECS上的计算资源均不足时，本地ECS m需要将部分任务进一步卸载到CCSs c上执行，以充分利用CCSs的丰富计算资源；定义在时隙t本地ECS m将部分任务卸载到CCSs c的传输延迟为

因此，在CCSs c上的任务计算延迟为

由于任务计算结果的数据大小通常较小，因此忽略了任务计算结果的下载延迟。定义在时隙t任务

的总执行延迟为

1.6设置能量模型：当任务

在IIoT设备u上本地执行时，设备u的计算能耗为

其中，

表示IIoT设备u每执行一个CPU周期所消耗的能量；然后，当IIoT设备u将部分任务卸载到本地ECS上时，设备u的通信能耗为

因此，在时隙t内IIoT设备u的总能耗为

然后，将充电过程建模为连续到达的能量包，定义在时隙t设备u所获得的能量为

设备u的最大电池容量为

因此在下一个时隙t+1设备u的剩余电池电量为

优选地，所述步骤2中CTORA算法的具体步骤如下：

2.1将协作式任务卸载和资源分配问题描述为一个带约束的马尔可夫决策过程(Constrained Markov Decision Process，CMDP)，优化目标是最大化系统的长期累积折扣奖励(也称为回报)；CMDP可以用一个五元组<S,A,R,Pr,C>来表示，其中

S表示状态空间：在时隙t，SDN控制器负责收集系统的状态s^t∈S，包括每个IIoT设备u的任务参数

每个设备u的计算能力

每个设备u的发射功率

每个设备u的上行SNR值

每个设备u每执行一个CPU周期所消耗的能量

每个设备u的剩余电池电量

每个设备u所获得的能量

每个设备u的最大电池容量为

每个BS的总带宽B_w、每个ECS m的计算能力f_w、CCSs c的计算能力f_c、每个BS m和SDN控制器s之间的数据传输速率θ_m,s、SDN控制器s和CCSs c之间的数据传输速率θ_s,c；

A表示动作空间：在接收到系统状态s^t之后，智能体将选择一个动作a^t∈A来做出任务卸载和资源分配决策，包括每个设备u的卸载决策

每个设备u的带宽资源分配决策

每个设备u的本地计算资源分配决策

每个设备u的非本地计算资源分配决策

R表示奖励：在当前状态s^t下执行动作a^t之后，智能体会收到一个即时奖励R^t(s^t,a^t)，且

即系统总成本越大，奖励值越小；

Pr表示状态转移概率：智能体从当前状态s^t下执行动作a^t之后，系统转移到下一状态s^t+1的概率，且

C表示约束条件：智能体在每个时隙t所选择的动作a^t需要满足如下约束(17)—(27)，

2.2由于上述的CMDP具有高维连续状态空间和动作空间以及多模态奖励，因此采用SAC算法来为每个IIoT设备做出任务卸载和资源分配决策。然而，传统的SAC算法存在严重的Q值过估计或低估计问题，从而导致次优的策略，因此采用CTORA算法来为每个IIoT设备做出任务卸载和资源分配决策；CTORA算法框架包括三个模块：评估网络、目标网络和经验重放池；评估网络包括一个评估actor网络π_μ(参数为μ)和一个评估critic网络D_ψ(参数为ψ)，目标网络包括一个目标actor网络

(参数为

)和一个目标critic网络

(参数为

)；π_μ表示所估计的策略函数，用于选择动作；D_ψ表示所估计的软状态动作回报的分布函数，用于指导π_μ的参数更新；

表示目标策略函数，

表示软状态动作回报的目标分布函数；通过最小化损失函数来训练D_ψ的参数ψ，使得所估计的分布函数接近目标分布函数；通过最大化策略π_μ的软Q值来更新π_μ的参数μ；经验重放池负责存储每个时间步的经验样本，并通过在每个重放周期内随机抽取一定数量的样本来训练参数ψ和μ；

CTORA算法包括两个阶段，即训练阶段和执行阶段，其中训练阶段如下：

2.2.1在算法的初始化阶段：初始化评估actor网络π_μ的参数μ、评估critic网络D_ψ的参数ψ、目标actor网络

的参数

目标critic网络

的参数

episode的总数NE、每个episode所包含的时间步数量NS、经验重放池的存储容量RS、经验重放周期RP、抽样批量大小Z、折扣因子γ、熵权重α、预设最小熵阈值

目标网络的平滑系数θ、(μ、α、

和

)更新周期UP、学习率λ_ψ、λ_μ以及λ_α；定义episode和时间步的索引分别为ne和t，初始化ne＝1，t＝1；

2.2.2当ne∈{1,2,…,NE}时，执行2.2.3；

2.2.3当t∈{1,2,…,NS}时，执行2.2.4；

2.2.4收集当前的系统状态s^t并输入到评估actor网络π_μ中，从而输出满足约束的所有可能连续动作的概率分布π_μ(·|s^t)；然后，基于π_μ(·|s^t)来随机选择一个动作a^t并执行；

2.2.5在执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并转移到下一个状态s^t+1，然后将经验样本e^t＝(s^t,a^t,R^t(s^t,a^t),s^t+1)存储到经验重放池中；

2.2.6如果

则令t←t+1，并返回2.2.3；否则，执行2.2.7；

2.2.7如果t％RP＝＝0，则执行2.2.8；

2.2.8采用优先级经验重放技术来从经验重放池中抽取Z个样本，具体步骤为：

2.2.8.1假设经验重放池中某个经验样本为eⁱ＝(sⁱ,aⁱ,Rⁱ(sⁱ,aⁱ),sⁱ⁺¹)，定义该经验样本eⁱ的优先级为

Pⁱ＝|δⁱ|+∈， (28)

其中，∈>0用于确保每个样本的优先级不为0，δⁱ表示该样本的时间差分(Temporal Difference，TD)误差，即该样本的目标软Q值与估计软Q值之差，根据软贝尔曼方程，样本eⁱ的目标软Q值写成

其中，根据目标actor网络

来选择动作aⁱ⁺¹，并根据

来计算

因此，样本eⁱ的TD误差δⁱ为

其中，根据评估actor网络π_μ(·|sⁱ)来选择动作aⁱ，并根据E[D_ψ(sⁱ,aⁱ)]来计算样本eⁱ的估计软Q值Q_ψ(sⁱ,aⁱ)；通过公式(28)-(30)来计算出经验重放池中所有样本的优先级；

2.8.2.2采用Sum Tree数据结构来从经验重放池中抽取Z个经验样本，其中最底层的每个叶节点表示每个经验样本的优先级，每个父节点的值等于两个子节点的值之和，最顶层的根节点表示所有样本的优先级之和，每个叶节点下方的括号内容表示该叶节点对应的查询区间，优先级越大的叶节点，包含的区间越宽，被抽取到的可能性更大；具体采样过程为：首先，将根节点的值除以Z，得到Z个优先级区间，然后在每个区间内随机选择一个值，通过自上而下的搜索来判断该值对应于最底层的哪一个叶节点，并选择该叶节点所对应的样本，从而获得Z个经验样本；

2.2.9在软策略评估阶段，定义损失函数Loss(ψ)来训练参数ψ，且

其中，KL[A||B]表示Kullback-Leibler散度，用来衡量两个概率分布之间的差异，根据分布式贝尔曼方程，

写成

然后，采用小批量梯度下降法来最小化Loss(ψ)；为了解决梯度爆炸问题，将

的软状态动作回报的取值范围限制在

的期望值Q_ψ(s^t,a^t)附近；参数ψ的更新公式为

2.2.10如果t％UP＝＝0，则执行2.2.11；

2.2.11在软策略提升阶段，定义目标函数J(μ)来训练参数μ，且

J(μ)＝E[Q_ψ(s^t,a^t)-αlogπ_μ(a^t|s^t)]， (34)

其中，根据E[D_ψ(s^t,a^t)]来计算Q_ψ(s^t,a^t)；然后，通过最大化J(μ)来训练参数μ；为了减少梯度估计方差，采用重参数化技巧来计算梯度值

首先从一个已知分布中随机取样一个样本ξ^t；然后，使用ξ^t和参数μ来计算a^t(即对策略π_μ进行重参数化)，且

a^t＝f_μ(ξ^t；s^t)； (35)

目标函数J(μ)写成

J(μ)＝E[Q_ψ(s^t,f_μ(ξ^t；s^t))-αlogπ_μ(f_μ(ξ^t；s^t)|s^t)]； (36)参数μ的更新公式为

2.2.12采用自适应梯度方法来调整熵权重α；当最佳动作未确定时，α必须足够大以鼓励探索，随着探索的深入，α应该逐渐减小；通过最小化目标函数J(α)来更新权重α，且

其中，

表示预设的最小熵阈值。因此，权重α的更新公式为

2.2.13为了提高学习稳定性，通过缓慢跟踪评估网络的参数来更新目标网络的参数

和

即

其中，θ表示目标网络的平滑系数，满足θ∈(0,1)且θ＜＜1；

在完成CTORA算法的训练过程之后，获得了评估actor网络的最优权重μ^*，然后将训练好的评估actor网络

部署到SDN控制器上，执行过程如下：

2.2.14当t∈{1,2,…,T}时，执行2.2.15；

2.2.15SDN控制器收集当前的系统状态s^t，然后将s^t输入到训练好的评估actor网络中，输出所有可能连续动作的概率分布

然后，基于

来随机选择一个动作a^t并执行；

2.2.16执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并且转移到下一个状态s^t+1。

有益效果：本发明提供了工业物联网中协作式任务卸载和资源分配的联合优化方法，可以有效减少工业物联网中所有设备的任务执行延迟和能耗，平衡边缘服务器的工作负载，提高计算和通信资源利用率。

附图说明

图1为步骤1.1中IIoT中协作式任务卸载和资源分配框架的网络模型；

图2为步骤2.2中CTORA算法的框架；

图3为步骤2.8.2.2中使用数据结构Sum Tree来抽取Z个样本的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

一种工业物联网中协作式任务卸载和资源分配的联合优化方法，具体步骤如下：

步骤1：设置系统模型的各参数；

步骤2：采用CTORA算法来为每个IIoT设备做出最优决策，目标是最小化长期系统总成本，包括延迟成本和能耗成本。该算法结合了SAC算法、分布式RL和优先级经验重放技术，有效解决了传统SAC算法对Q值的过估计或低估计问题，提高了学习效率；

优选地，所述步骤1中具体步骤如下：

1.1设置网络模型：如图1所示，网络分为三层，从下到上分别为IIoT设备层、边缘层和云层，其中，IIoT设备层包含多种类型的IIoT设备，每个IIoT设备用符号u表示，IIoT设备周期性地采集环境数据，并生成计算密集和延迟敏感型任务；每个IIoT设备通过无线网络接入到本地BS；每个IIoT设备配有一个电池，采用有线或无线充电的方式为设备提供电能；边缘层包含M个BS和一个SDN控制器，每个BS用符号m表示，每个BS m上配备了一个ECS，每个ECS也用符号m表示，计算能力为f_m，负责为IIoT设备提供边缘计算资源；每个BS通过光纤链路连接到SDN控制器，用符号s表示，SDN控制器通过核心骨干网连接到云层；SDN控制器负责收集环境状态信息，并为每个IIoT设备做出任务卸载和资源分配决策；云层包含多个计算能力充足的CCSs，用符号c表示，计算能力为f_c；

1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有环境状态参数保持不变，而不同时隙参数不同；

1.3设置任务卸载模型：在每个时隙t，每个BS m中的每个IIoT设备u会随机产生一个计算任务

其中

表示任务输入数据大小，

表示任务计算量，

表示任务的最大容许延迟；定义在时隙t在BS m内产生计算任务的所有IIoT设备的集合为

对应数量为

采用协作式部分卸载方案，即假设每个任务被分成多个子任务；首先，需要确定IIoT设备本地是否有足够的计算资源，若有，IIoT设备将本地处理整个任务；否则，IIoT设备将根据自身的计算能力处理部分任务，同时将剩余任务卸载到本地ECS；本地ECS在收到卸载任务后，也将根据自身的计算能力处理部分任务，然后，将剩余任务卸载到某个非本地ECS或者CCSs上；定义在时隙t在BS m内的IIoT设备

的卸载决策为

其中

表示将任务从IIoT设备u卸载到本地ECS m的任务卸载比例，

表示将任务从本地ECS m卸载到某个非本地ECS n∈{M\{m}}的任务卸载比例，且每个本地ECS一次只能选择一个非本地ECS来执行协作式边缘计算，

表示将任务从本地ECS m卸载到CCSs c的任务卸载比例；

1.4设置通信模型：假设每个BS工作在相同的频带上，且频带宽度为B_w；采用正交频分复用技术将频带宽度B_w划分成多个正交子信道；定义在时隙t在BS m内的IIoT设备u的带宽资源分配决策为

当设备u本地执行整个任务时，则无需为其分配带宽资源，即

定义在时隙t内IIoT设备u与本地BS m之间的上行SNR值为

且

其中，

表示IIoT设备u的发射功率，

表示BS m与IIoT设备u之间的信道增益，σ²表示加性高斯白噪声的方差；定义在时隙t内IIoT设备u与本地BS m之间的上行数据传输速率为

且

定义每个BS m和SDN控制器s之间的数据传输速率均为常数θ_m,s，SDN控制器s和CCSs c之间的数据传输速率为常数θ_s,c，且θ_m,s>θ_s,c；

1.5设置计算模型：采用四种计算模型，即本地计算模型、本地边缘计算模型、协作式边缘计算模型和云计算模型，其中

1.5.1本地计算模型：定义在BS m内的IIoT设备u的计算能力为

当任务

在IIoT设备u上本地执行时，任务的执行延迟为

1.5.2本地边缘计算模型：当IIoT设备u的计算资源不足时，设备u将部分任务卸载到本地ECS m上，所需要的上行传输延迟为

然后，定义在时隙t本地ECS m为部分任务所分配的计算资源为

因此，在本地ECS m上的任务计算延迟为

1.5.3协作式边缘计算模型：当本地ECS m的计算资源不足时，将部分任务卸载到某个非本地ECS n上，以平衡ECS的工作负载；定义在时隙t本地ECS m将部分任务卸载到某个非本地ECS n的传输延迟为

定义在时隙t某个非本地ECS n为部分任务所分配的计算资源为

因此，在非本地ECS n上的任务计算延迟为

1.5.4云计算模型：当所有ECS上的计算资源均不足时，本地ECSm需要将部分任务进一步卸载到CCSs c上执行，以充分利用CCSs的 丰富计算资源；定义在时隙t本地ECS m将部分任务卸载到CCSs c的传输延迟为

因此，在CCSs c上的任务计算延迟为

由于任务计算结果的数据大小通常较小，因此忽略了任务计算结果的下载延迟。定义在时隙t任务

的总执行延迟为

1.6设置能量模型：当任务

在IIoT设备u上本地执行时，设备u的计算能耗为

其中，

表示IIoT设备u每执行一个CPU周期所消耗的能量；然后，当IIoT设备u将部分任务卸载到本地ECS上时，设备u的通信能耗为

因此，在时隙t内IIoT设备u的总能耗为

然后，将充电过程建模为连续到达的能量包，定义在时隙t设备u所获得的能量为

设备u的最大电池容量为

因此在下一个时隙t+1设备u的剩余电池电量为

优选地，所述步骤2中CTORA算法的具体步骤如下：

2.1将协作式任务卸载和资源分配问题描述为一个带约束的马尔可夫决策过程，优化目标是最大化系统的长期累积折扣奖励；该过程用一个五元组<S,A,R,Pr,C>来表示，其中

S表示状态空间：在时隙t，SDN控制器负责收集系统的状态s^t∈S，包括每个IIoT设备u的任务参数

每个设备u的计算能力

每个设备u的发射功率

每个设备u的上行SNR值

每个设备u每执行一个CPU周期所消耗的能量

每个设备u的剩余电池电量

每个设备u所获得的能量

每个设备u的最大电池容量为

每个BS的总带宽B_w、每个ECS m的计算能力f_m、CCSs c的计算能力f_c、每个BS m和SDN控制器s之间的数据传输速率θ_m,s、SDN控制器s和CCSs c之间的数据传输速率θ_s,c；

A表示动作空间：在接收到系统状态s^t之后，智能体将选择一个动作a^t∈A来做出任务卸载和资源分配决策，包括每个设备u的卸载决策

每个设备u的带宽资源分配决策

每个设备u的本地计算资源分配决策

每个设备u的非本地计算资源分配决策

R表示奖励：在当前状态s^t下执行动作a^t之后，智能体会收到一个即时奖励R^t(s^t,a^t)，且

即系统总成本越大，奖励值越小；

Pr表示状态转移概率：智能体从当前状态s^t下执行动作a^t之后，系统转移到下一状态s^t+1的概率，且

C表示约束条件：智能体在每个时隙t所选择的动作a^t需要满足如下约束(17)—(27)，

2.2采用CTORA算法来为每个IIoT设备做出任务卸载和资源分配决策；如图2所示，CTORA算法框架包括三个模块：评估网络、目标网络和经验重放池；评估网络包括一个评估actor网络π_μ和一个评估critic网络D_ψ，目标网络包括一个目标actor网络

和一个目标critic网络

π_μ表示所估计的策略函数，用于选择动作；D_ψ表示所估计的软状态动作回报的分布函数，用于指导π_μ的参数更新；

表示目标策略函数，

表示软状态动作回报的目标分布函数；通过最小化损失函数来训练D_ψ的参数ψ，使得所估计的分布函数接近目标分布函数；通过最大化策略π_μ的软Q值来更新π_μ的参数μ；经验重放池负责存储每个时间步的经验样本，并通过在每个重放周期内随机抽取一定数量的样本来训练参数ψ和μ；

CTORA算法包括两个阶段，即训练阶段和执行阶段，其中训练阶段如下：

2.2.1在算法的初始化阶段：初始化评估actor网络π_μ的参数μ、评估critic网络D_ψ的参数ψ、目标actor网络

的参数

目标critic网络

的参数

episode的总数NE、每个episode所包含的时间步数量NS、经验重放池的存储容量RS、经验重放周期RP、抽样批量大小Z、折扣因子γ、熵权重α、预设最小熵阈值

目标网络的平滑系数θ、(μ、α、

和

)更新周期UP、学习率λ_ψ、λ_μ以及λ_α；定义episode和时间步的索引分别为ne和t，初始化ne＝1，t＝1；

2.2.2当ne∈{1,2,…,NE}时，执行2.2.3；

2.2.3当t∈{1,2,…,NS}时，执行2.2.4；

2.2.4收集当前的系统状态s^t并输入到评估actor网络π_μ中，从而输出满足约束的所有可能连续动作的概率分布π_μ(·|s^t)；然后，基于π_μ(·|s^t)来随机选择一个动作a^t并执行；

2.2.5在执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并转移到下一个状态s^t+1，然后将经验样本e^t＝(s^t,a^t,R^t(s^t,a^t),s^t+1)存储到经验重放池中；

2.2.6如果

则令t←t+1，并返回2.2.3；否则，执行2.2.7；

2.2.7如果t％RP＝＝0，则执行2.2.8；

2.2.8采用优先级经验重放技术来从经验重放池中抽取Z个样本，具体步骤为：

2.2.8.1假设经验重放池中某个经验样本为eⁱ＝(sⁱ,aⁱ,Rⁱ(sⁱ,aⁱ),sⁱ⁺¹)，定义该经验样本eⁱ的优先级为

Pⁱ＝|δⁱ|+∈， (28)

其中，∈>0用于确保每个样本的优先级不为0，δⁱ表示该样本的时间差分(Temporal Difference，TD)误差，即该样本的目标软Q值与估计软Q值之差，根据软贝尔曼方程，样本eⁱ的目标软Q值写成

其中，根据目标actor网络

来选择动作aⁱ⁺¹，并根据

来计算

因此，样本eⁱ的TD误差δⁱ为

其中，根据评估actor网络π_μ(·|sⁱ)来选择动作aⁱ，并根据E[D_ψ(sⁱ,aⁱ)]来计算样本eⁱ的估计软Q值Q_ψ(sⁱ,aⁱ)；通过公式(28)-(30)来计算出经验重放池中所有样本的优先级；

2.8.2.2如图3所示，采用Sum Tree数据结构来从经验重放池中抽取Z个经验样本，其中最底层的每个叶节点表示每个经验样本的优先级，每个父节点的值等于两个子节点的值之和，最顶层的根节点表示所有样本的优先级之和，每个叶节点下方的括号内容表示该叶节点对应的查询区间，优先级越大的叶节点，包含的区间越宽，被抽取到的可能性更大；具体采样过程为：首先，将根节点的值除以Z，得到Z个优先级区间，然后在每个区间内随机选择一个值，通过自上而下的搜索来判断该值对应于最底层的哪一个叶节点，并选择该叶节点所对应的样本，从而获得Z个经验样本；

2.2.9在软策略评估阶段，定义损失函数Loss(ψ)来训练参数ψ，且

其中，KL[A||B]表示Kullback-Leibler散度，用来衡量两个概率分布之间的差异，根据分布式贝尔曼方程，

写成

然后，采用小批量梯度下降法来最小化Loss(ψ)；为了解决梯度爆炸问题，将

的软状态动作回报的取值范围限制在

的期望值Q_ψ(s^t,a^t)附近；参数ψ的更新公式为

2.2.10如果t％UP＝＝0，则执行2.2.11；

2.2.11在软策略提升阶段，定义目标函数J(μ)来训练参数μ，且

J(μ)＝E[Q_ψ(s^t,a^t)-α log π_μ(a^t|s^t)]， (34)

其中，根据E[D_ψ(s^t,a^t)]来计算Q_ψ(s^t,a^t)；然后，通过最大化J(μ)来训练参数μ；为了减少梯度估计方差，采用重参数化技巧来计算梯度值

首先从一个已知分布中随机取样一个样本ξ^t；然后，使用ξ^t和参数μ来计算a^t(即对策略π_μ进行重参数化)，且

a^t＝f_μ(ξ^t；s^t)； (35)

目标函数J(μ)写成

J(μ)＝E[Q_ψ(s^t,f_μ(ξ^t；s^t))-αlogπ_μ(f_μ(ξ^t；s^t)|s^t)]； (36)参数μ的更新公式为

2.2.12采用自适应梯度方法来调整熵权重α；当最佳动作未确定时，α必须足够大以鼓励探索，随着探索的深入，α应该逐渐减小；通过最小化目标函数J(α)来更新权重α，且

其中，

表示预设的最小熵阈值。因此，权重α的更新公式为

2.2.13为了提高学习稳定性，通过缓慢跟踪评估网络的参数来更新目标网络的参数

和

即

其中，θ表示目标网络的平滑系数，满足θ∈(0,1)且θ＜＜1；

在完成CTORA算法的训练过程之后，获得了评估actor网络的最优权重μ^*，然后将训练好的评估actor网络

部署到SDN控制器上，执行过程如下：

2.2.14当t∈{1,2,…,T}时，执行2.2.15；

2.2.15SDN控制器收集当前的系统状态s^t，然后将s^t输入到训练好的评估actor网络中，输出所有可能连续动作的概率分布

然后，基于

来随机选择一个动作a^t并执行；

2.2.16执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并且转移到下一个状态s^t+1。

本发明中提及的方法均属于本领域技术人员掌握的常规技术手段，故而未加详述。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.一种工业物联网中协作式任务卸载和资源分配的联合优化方法，其特征在于，具体步骤如下：

步骤1：设置系统模型的各参数；

1.1设置网络模型：网络分为三层，从下到上分别为IIoT设备层、边缘层和云层，其中，IIoT设备层包含多种类型的IIoT设备，每个IIoT设备用符号u表示，IIoT设备周期性地采集环境数据，并生成计算密集和延迟敏感型任务；每个IIoT设备通过无线网络接入到本地BS；每个IIoT设备配有一个电池，采用有线或无线充电的方式为设备提供电能；边缘层包含M个BS和一个SDN控制器，每个BS用符号m表示，每个BSm上配备了一个ECS，每个ECS也用符号m表示，计算能力为f_m，负责为IIoT设备提供边缘计算资源；每个BS通过光纤链路连接到SDN控制器，用符号s表示，SDN控制器通过核心骨干网连接到云层；SDN控制器负责收集环境状态信息，并为每个IIoT设备做出任务卸载和资源分配决策；云层包含多个计算能力充足的CCSs，用符号c表示，计算能力为f_c；

1.2将整个时间轴划分为T个长度相同的时隙，t∈T表示时隙索引，且采用准静态模型，即在一个时隙内，所有环境状态参数保持不变，而不同时隙参数不同；

1.3设置任务卸载模型：在每个时隙t，每个BSm中的每个IIoT设备u会随机产生一个计算任务

其中

表示任务输入数据大小，

表示任务计算量，

表示任务的最大容许延迟；定义在时隙t在BSm内产生计算任务的所有IIoT设备的集合为

对应数量为

采用协作式部分卸载方案，即假设每个任务被分成多个子任务；首先，需要确定IIoT设备本地是否有足够的计算资源，若有，IIoT设备将本地处理整个任务；否则，IIoT设备将根据自身的计算能力处理部分任务，同时将剩余任务卸载到本地ECS；本地ECS在收到卸载任务后，也将根据自身的计算能力处理部分任务，然后，将剩余任务卸载到某个非本地ECS或者CCSs上；定义在时隙t在BSm内的IIoT设备

的卸载决策为

其中

表示将任务从IIoT设备u卸载到本地ECSm的任务卸载比例，

表示将任务从本地ECSm卸载到某个非本地ECSn∈{M\{m}}的任务卸载比例，且每个本地ECS一次只能选择一个非本地ECS来执行协作式边缘计算，

表示将任务从本地ECSm卸载到CCSs c的任务卸载比例；

1.4设置通信模型：假设每个BS工作在相同的频带上，且频带宽度为B_w；采用正交频分复用技术将频带宽度B_w划分成多个正交子信道；定义在时隙t在BSm内的IIoT设备u的带宽资源分配决策为

当设备u本地执行整个任务时，则无需为其分配带宽资源，即

定义在时隙t内IIoT设备u与本地BSm之间的上行SNR值为

且

其中，

表示IIoT设备u的发射功率，

表示BSm与IIoT设备u之间的信道增益，σ²表示加性高斯白噪声的方差；定义在时隙t内IIoT设备u与本地BSm之间的上行数据传输速率为

且

定义每个BSm和SDN控制器s之间的数据传输速率均为常数

SDN控制器s和CCSs c之间的数据传输速率为常数

且

1.5设置计算模型：采用四种计算模型，即本地计算模型、本地边缘计算模型、协作式边缘计算模型和云计算模型，其中

1.5.1本地计算模型：定义在BSm内的IIoT设备u的计算能力为

当任务

在IIoT设备u上本地执行时，任务的执行延迟为

1.5.2本地边缘计算模型：当IIoT设备u的计算资源不足时，设备u将部分任务卸载到本地ECSm上，所需要的上行传输延迟为

然后，定义在时隙t本地ECSm为部分任务所分配的计算资源为

因此，在本地ECSm上的任务计算延迟为

1.5.3协作式边缘计算模型：当本地ECSm的计算资源不足时，将部分任务卸载到某个非本地ECSn上，以平衡ECS的工作负载；定义在时隙t本地ECSm将部分任务卸载到某个非本地ECSn的传输延迟为

定义在时隙t某个非本地ECSn为部分任务所分配的计算资源为

因此，在非本地ECSn上的任务计算延迟为

1.5.4云计算模型：当所有ECS上的计算资源均不足时，本地ECSm需要将部分任务进一步卸载到CCSs c上执行，以充分利用CCSs的丰富计算资源；定义在时隙t本地ECSm将部分任务卸载到CCSs c的传输延迟为

因此，在CCSs c上的任务计算延迟为

由于任务计算结果的数据大小通常较小，因此忽略了任务计算结果的下载延迟；定义在时隙t任务

的总执行延迟为

1.6设置能量模型：当任务

在IIoT设备u上本地执行时，设备u的计算能耗为

其中，

表示IIoT设备u每执行一个CPU周期所消耗的能量；然后，当IIoT设备u将部分任务卸载到本地ECS上时，设备u的通信能耗为

因此，在时隙t内IIoT设备u的总能耗为

然后，将充电过程建模为连续到达的能量包，定义在时隙t设备u所获得的能量为

设备u的最大电池容量为

因此在下一个时隙t+1设备u的剩余电池电量为

步骤2：采用CTORA算法来为每个IIoT设备做出最优决策，目标是最小化长期系统总成本，包括延迟成本和能耗成本；

所述步骤2中算法的具体步骤如下：

2.1将协作式任务卸载和资源分配问题描述为一个带约束的马尔可夫决策过程，优化目标是最大化系统的长期累积折扣奖励；该过程用一个五元组<S,A,R,Pr,C>来表示，其中

S表示状态空间：在时隙t，SDN控制器负责收集系统的状态s^t∈S，包括每个IIoT设备u的任务参数

每个设备u的计算能力

每个设备u的发射功率

每个设备u的上行SNR值

每个设备u每执行一个CPU周期所消耗的能量

每个设备u的剩余电池电量

每个设备u所获得的能量

每个设备u的最大电池容量为

每个BS的总带宽B_w、每个ECSm的计算能力f_m、CCSs c的计算能力f_c、每个BSm和SDN控制器s之间的数据传输速率

SDN控制器s和CCSs c之间的数据传输速率

A表示动作空间：在接收到系统状态s^t之后，智能体将选择一个动作a^t∈A来做出任务卸载和资源分配决策，包括每个设备u的卸载决策

每个设备u的带宽资源分配决策

每个设备u的本地计算资源分配决策

每个设备u的非本地计算资源分配决策

R表示奖励：在当前状态s^t下执行动作a^t之后，智能体会收到一个即时奖励R^t(s^t,a^t)，且

即系统总成本越大，奖励值越小；

Pr表示状态转移概率：智能体从当前状态s^t下执行动作a^t之后，系统转移到下一状态s^{t +1}的概率，且

C表示约束条件：智能体在每个时隙t所选择的动作a^t需要满足如下约束(17)—(27)，

2.2采用CTORA算法来为每个IIoT设备做出任务卸载和资源分配决策；CTORA算法框架包括三个模块：评估网络、目标网络和经验重放池；评估网络包括一个评估actor网络π_μ和一个评估critic网络D_ψ，目标网络包括一个目标actor网络

和一个目标critic网络

π_μ表示所估计的策略函数，用于选择动作；D_ψ表示所估计的软状态动作回报的分布函数，用于指导π_μ的参数更新；

表示目标策略函数，

表示软状态动作回报的目标分布函数；通过最小化损失函数来训练D_ψ的参数ψ，使得所估计的分布函数接近目标分布函数；通过最大化策略π_μ的软Q值来更新π_μ的参数μ；经验重放池负责存储每个时间步的经验样本，并通过在每个重放周期内随机抽取一定数量的样本来训练参数ψ和μ；

CTORA算法包括两个阶段，即训练阶段和执行阶段，其中训练阶段如下：

2.2.1在算法的初始化阶段：初始化评估actor网络π_μ的参数μ、评估critic网络D_ψ的参数ψ、目标actor网络

的参数

目标critic网络

的参数

episode的总数NE、每个episode所包含的时间步数量NS、经验重放池的存储容量RS、经验重放周期RP、抽样批量大小Z、折扣因子γ、熵权重α、预设最小熵阈值

目标网络的平滑系数θ、μ、α、

和

更新周期UP、学习率λ_ψ、λ_μ以及λ_α；定义episode和时间步的索引分别为ne和t，初始化ne＝1，t＝1；

2.2.2当ne∈{1,2,…,NE}时，执行2.2.3；

2.2.3当t∈{1,2,…,NS}时，执行2.2.4；

2.2.4收集当前的系统状态s^t并输入到评估actor网络π_μ中，从而输出满足约束的所有可能连续动作的概率分布π_μ(·|s^t)；然后，基于π_μ(·|s^t)来随机选择一个动作a^t并执行；

2.2.5在执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并转移到下一个状态s^t+1，然后将经验样本e^t＝(s^t,a^t,R^t(s^t,a^t),s^t+1)存储到经验重放池中；

2.2.6如果

则令t←t+1，并返回2.2.3；否则，执行2.2.7；

2.2.7如果t％RP＝＝0，则执行2.2.8；

2.2.8采用优先级经验重放技术来从经验重放池中抽取Z个样本，具体步骤为：

2.2.8.1假设经验重放池中某个经验样本为eⁱ＝(sⁱ,aⁱ,Rⁱ(sⁱ,aⁱ),sⁱ⁺¹)，定义该经验样本eⁱ的优先级为

Pⁱ＝|δⁱ|+∈， (28)

其中，∈>0用于确保每个样本的优先级不为0，δⁱ表示该样本的时间差分(TemporalDifference，TD)误差，即该样本的目标软Q值与估计软Q值之差，根据软贝尔曼方程，样本eⁱ的目标软Q值写成

其中，根据目标actor网络

来选择动作aⁱ⁺¹，并根据

来计算

因此，样本eⁱ的TD误差δⁱ为

其中，根据评估actor网络π_μ(·|sⁱ)来选择动作aⁱ，并根据E[D_ψ(sⁱ,aⁱ)]来计算样本eⁱ的估计软Q值Q_ψ(sⁱ,aⁱ)；通过公式(28)-(30)来计算出经验重放池中所有样本的优先级；

2.8.2.2采用Sum Tree数据结构来从经验重放池中抽取Z个经验样本，其中最底层的每个叶节点表示每个经验样本的优先级，每个父节点的值等于两个子节点的值之和，最顶层的根节点表示所有样本的优先级之和，每个叶节点下方的括号内容表示该叶节点对应的查询区间，优先级越大的叶节点，包含的区间越宽，被抽取到的可能性更大；具体采样过程为：首先，将根节点的值除以Z，得到Z个优先级区间，然后在每个区间内随机选择一个值，通过自上而下的搜索来判断该值对应于最底层的哪一个叶节点，并选择该叶节点所对应的样本，从而获得Z个经验样本；

2.2.9在软策略评估阶段，定义损失函数Loss(ψ)来训练参数ψ，且

其中，KL[A||B]表示Kullback-Leibler散度，用来衡量两个概率分布之间的差异，根据分布式贝尔曼方程，

写成

然后，采用小批量梯度下降法来最小化Loss(ψ)；为了解决梯度爆炸问题，将

的软状态动作回报的取值范围限制在

的期望值Q_ψ(s^t,a^t)附近；参数ψ的更新公式为

2.2.10如果t％UP＝＝0，则执行2.2.11；

2.2.11在软策略提升阶段，定义目标函数J(μ)来训练参数μ，且

J(μ)＝E[Q_ψ(s^t，a^t)-α logπ_μ(a^t|s^t)]， (34)

其中，根据E[D_ψ(s^t，a^t)]来计算Q_ψ(s^t，a^t)；然后，通过最大化J(μ)来训练参数μ；为了减少梯度估计方差，采用重参数化技巧来计算梯度值

首先从一个已知分布中随机取样一个样本ξ^t；然后，使用ξ^t和参数μ来计算a^t，即对策略π_μ进行重参数化，且

a^t＝f_μ(ξ^t；s^t)； (35)

目标函数J(μ)写成

J(μ)＝E[Q_ψ(s^t，f_μ(ξ^t；s^t))-α logπ_μ(f_μ(ξ^t；s^t)|s^t)]； (36)

参数μ的更新公式为

2.2.12采用自适应梯度方法来调整熵权重α；当最佳动作未确定时，α必须足够大以鼓励探索，随着探索的深入，α应该逐渐减小；通过最小化目标函数J(α)来更新权重α，且

其中，

表示预设的最小熵阈值；因此，权重α的更新公式为

2.2.13为了提高学习稳定性，通过缓慢跟踪评估网络的参数来更新目标网络的参数

和

即

其中，θ表示目标网络的平滑系数，满足θ∈(0,1)且θ＜＜1；

在完成CTORA算法的训练过程之后，获得了评估actor网络的最优权重μ^*，然后将训练好的评估actor网络

部署到SDN控制器上，执行过程如下：

2.2.14当t∈{1,2,…,T}时，执行2.2.15；

2.2.15 SDN控制器收集当前的系统状态s^t，然后将s^t输入到训练好的评估actor网络中，输出所有可能连续动作的概率分布

然后，基于

来随机选择一个动作a^t并执行；

2.2.16执行动作a^t之后，SDN控制器获得了一个即时奖励R^t(s^t,a^t)，并且转移到下一个状态s^t+1。

Images