CN114866133B - 一种卫星云边协同计算的计算卸载方法 - Google Patents

Abstract

本发明属于无线通信技术领域，具体涉及一种卫星云边协同计算的计算卸载方法，构建一个具有云‑边‑端三层网络架构的卫星云边协同系统，以当前信道状态为输入，输出最小化计算成本对应的卸载决策，采用保序量化保证卸载决策变量量化前后的顺序一致平和算法性能与复杂度，通过自适应调整量化值K_t，衰减消除掉不必要的卸载决策，保证该算法的性能，本发明的技术方案在保证系统产生接近最小计算成本的前提下，大幅降低算法复杂度，降低了算法的执行时间。

Description

一种卫星云边协同计算的计算卸载方法

技术领域

本发明属于无线通信技术领域，具体涉及一种卫星云边协同计算的计算卸载方法。

背景技术

6G通信的一大愿景是实现全球范围的无缝覆盖，非地面网络(Non-TerristrialNetworks，NTN)技术正是实现这一愿景的重要支撑，而卫星通信网络是NTN研究的重点之一。面对边缘设备数量及其生产数据的急速增长，传统的中心云卫星模式已经无法进行高效处理，也难以满足低时延、低能耗、安全性等方面的需求。为此提出了卫星通信网络与边缘计算技术相结合的卫星边缘计算(SMEC)，任务直接进行星上处理，数据边缘侧卫星节点实时处理，避免了卫星与地面用户和地面云中心之间繁琐的数据传输过程，节省了带宽资源，实现了任务的快速响应。

专利文献“一种基于深度强化学习的协作边缘计算任务卸载方法”(申请公布号：CN 114189936A)提出了协作边缘下的计算卸载方法，通过数学建模表达为一个基于深度强化学习的双层优化问题，通过该方法，有效求得在时延约束下能源消耗的最优值，从而提高用户体验和设备能量节省，但是没有考虑卫星边缘场景下信道快速衰落等特性。而专利文献“一种混合云和边缘计算的LEO卫星网络计算卸载方法”(申请公布号：CN 112910964A)中基于混合云和边缘计算的LEO卫星网络提出基于交替方向乘子法的有效计算卸载算法，考虑了协作系统中单一的能耗开销，但是没有考虑时延问题，且将卫星星座中每个卫星作为单独卸载节点，忽略了星间链路，将整体卫星星座视为计算卸载层的可能。

目前对于卫星边缘计算(SMEC)的研究较少，更多的是将卫星节点视作用户与地面云中心的中继节点，不具备星载计算能力。而在少数针对具有星载计算能力的SMEC场景下的多用户计算卸载研究中，其优化目标单一，未考虑到卫星通信中高动态的信道特性，且部分研究针对的是卫星地面融合的异构网络结构，忽略了卫星云节点部署的可能，以及卫星云节点与卫星边缘节点双层网络下的计算卸载可行性。

发明内容

本发明的目的在于提供一种卫星云边协同计算的计算卸载方法，解决实际卫星云边协同场景下的用户计算卸载和资源分配问题，通过将任务合理的卸载到卫星边缘节点或者卫星云节点，分配最优的计算资源，联合优化系统的时延与能耗。

一种卫星云边协同计算的计算卸载方法，构建一个具有云-边-端三层网络架构的卫星云边协同系统，该系统包括一个用于部署云服务器的GEO卫星，记作卫星云节点，M个为地面用户提供边缘计算服务的LEO卫星，记作卫星边缘节点，和N个地面用户；

所述卫星云边协同计算的计算卸载方法，包括以下步骤：

S1.初始化卫星云边协同系统的参数，设置迭代阈值T；

S2.输入当前的信道状态，通过DNN网络获取宽松卸载决策 表示用户i的宽松卸载决策；

S3.将DNN网络获取的宽松卸载决策量化，得到K_t个二进制卸载变量x_k＝[x_k,1,x_k,2,...,x_k,i,...,x_k,N]，k∈1,2,...K_t；x_k,i表示用户i在第k个二进制卸载变量中的二元卸载变量；

S4.选择动作空间中的一个动作策略，计算每个二进制卸载变量的带宽分配及相应的卸载成本；

S5.从所有卸载成本中选取最小的卸载成本，将其对应的二进制卸载变量与最新的信道状态组成二元组存储到经验回放池；

S6.从经验回放池中随机抽取一批样本训练更新DNN网络，动态调整量化值K_t；

S7.判断迭代次数是否大于迭代阈值T，若是，则输出最佳卸载决策与其对应的带宽分配，否则迭代次数加一并返回步骤S2。

进一步的，卫星协同系统中设置通信模型和计算模型，其中：

通信模型中传输到卫星边缘节点的传输速度为：

用户传输到卫星云节点的传输速度为：

其中，B表示用户i接入卫星边缘节点总带宽，α_i表示卫星边缘节点分配给用户i的带宽占比，P_i表示用户i的发射功率，h_i表示卫星边缘节点与用户i的信道增益，N₀为加性高斯白噪声功率，B_c表示用户i接入卫星云节点总带宽，h_c表示用户与卫星云节点的信道增益；

在计算模型中卫星边缘节点计算开销为：

卫星云节点计算开销为：

其中，β为平衡时延与能耗的权重参数，D_i表示任务输入数据的大小，X_i表示完成任务计算所需的CPU周期数，s表示地面用户与卫星云节点的几何距离，c表示光速，f_c表示卫星云节点的CPU频率，P_c表示卫星云节点的计算功率，P_e表示卫星边缘节点的计算功率，f_e表示卫星边缘节点的CPU频率。

进一步的，DNN网络包括输入层、两个隐藏层和输出层，采用平均交叉损失熵函数计算DNN网络的损失，平均交叉损失熵表示为：

其中，表示网络参数为θ_t的DNN网络，/>表示时间帧t下的经验池，/>表示经验池大小，h表示信道矩阵，包含卫星边缘节点与用户i的信道增益h_i和用户i与卫星云节点的信道增益h_c，x^*表示最佳卸载决策。

采用经验池中的数据样本，计算真实值x^*与预测值的正确预测概率，训练更新DNN网络结构θ_t到θ_t+1。进一步的，对宽松卸载决策进行保序量化，若在宽松卸载决策/>中，用户i的宽松卸载决策/>位于用户j的宽松卸载决策/>之前，则在量化后的第k∈1,2,...K_t个二进制卸载变量中，用户i的二元卸载变量x_k,i位于用户j的二元卸载变量x_k,j之前。

进一步的，每个二进制卸载变量中的第一个二元卸载变量x_1,i表示为：

设置界限值为0.5，计算N个用户的宽松卸载决策与界限值相减后的绝对值，将N个用户的宽松卸载决策按照对应的绝对值大小升序排列，生成列表，每个二进制卸载变量中剩下的K_t-1个二元卸载变量x_k,i表示为：

其中，表示列表中的第k-1个宽松卸载决策。

进一步的，量化值K_t随时间t变化动态调整，调整公式为：

其中，表示前面时刻中最大的K_t值，Δ为量化调整间隔，tmodΔ＝0表示每个Δ调整一次。

本发明的有益效果：

本发明针对于当前SMEC下高动态信道的场景，提出了基于深度强化学习的计算卸载算法，与现有算法相比，在接近最优算法性能的同时，降低了算法的计算复杂度，且经过训练后能较好适应信道快速衰落的高动态卫星场景

现有技术忽略了卫星云节点部署的可行性，本发明采用GEO卫星部署云服务器，将其作为卫星云节点，充分利用卫星云节点的计算资源，通过云边提供异构多层的计算服务，以满足用户现代计算密集型任务的需求。

本发明针对于卫星边缘计算场景下计算卸载算法中算法度高的特性，为降低算法的复杂度与性能，提出了保顺量化和动态量化值调整方案，有效平衡算法复杂度与性能。

附图说明

图1为本发明的卫星云边协同计算的计算卸载方法流程图；

图2为本发明的云-边-端三层网络架构的卫星云边协同系统框架图；

图3为本发明的卫星云边协同计算的计算卸载方法网络结构图；

图4为本发明的卫星云边协同计算的计算卸载算法；

图5为本发明实施例的最优的卸载位置变化图；

图6为本发明实施例的KNN量化与保序量化对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了最小化卸载成本，本发明设计了一种卫星云边协作下基于深度强化学习的计算卸载算法，通过将当前信道状态h作为输入，获取最佳卸载决策x^*∈{0,1}x^*＝0表示卸载到卫星边缘节点，x^*＝1表示卸载到卫星云节点，该策略可以表示为π:h→x^*，其中h＝[h₁,h₂,...h_N,h_c]，得到最佳卸载决策的同时输出相应的资源分配，尽可能地优化系统的平均计算开销。

在一实施例中，如图2所示，构建一个具有云-边-端三层网络架构的卫星云边协同系统，该系统包括卫星云计算层、卫星边缘计算层和地面用户层，其中，卫星云计算层设置一个GEO卫星，GEO卫星用于部署云服务器，记作卫星云节点，同时GEO卫星部署太阳能能源收集装置，使得卫星云节点能量充足，相对于卫星边缘节点计算能力也更加充足，能满足各类任务计算需求，且同步轨道卫星面对地面全天候无缝连接；卫星边缘计算层为M个LEO卫星组成的低轨卫星星座，卫星星座中的各个LEO卫星通过星间链路进行任务传输，将LEO卫星记作卫星边缘节点，每个LEO卫星都部署一个MEC服务器，为地面用户提供边缘计算服务，地面用户层包括N个地面用户；每个地面用户的任务进行完全卸载，且卸载节点选择唯一，即地面用户的计算任务只能选择本地计算、卸载到卫星边缘节点和卸载到卫星云节点三种方式中的一种。

具体地，云-边-端三层网络架构的卫星云边协同系统中，地面用户层相对于卫星边缘节点保持静止，且任何时刻保持至少一颗LEO卫星处于可接入状态。

考虑到卫星边缘节点与卫星云节点的下行传输速率远大于地面用户的上行传输速率，且计算任务的结果远小于卸载的任务本身，所以忽略计算结果返回时带来的下行开销。

在一实施例中，基于云-边-端三层网络架构的卫星云边协同系统，一种卫星云边协同计算的计算卸载方法，如图1、3、4所示，具体包括：

S1.初始化卫星云边协同系统的参数，需要初始化的参数包括宽松卸载决策、带宽分配、DNN网络参数θ、经验回放池、DNN网络更新间隔δ和量化调整间隔Δ，总用户数量，设备的传输功率/保持功率，边缘卫星时钟频率，边缘节点时钟频率，云节点时钟频率，设置迭代阈值T；

S2.输入当前的信道状态，通过DNN网络生成卸载位置，获取宽松卸载决策其中，/>表示用户i的宽松卸载决策；

S3.将DNN网络获取的宽松卸载决策量化，得到K_t个二进制卸载变量x_k＝[x_k,1,x_k,2,...,x_k,i,...,x_k,N]，k∈1,2,...K_t；

S4.选择动作空间中的一个动作策略，计算每个二进制卸载变量的带宽分配及相应的卸载成本；

S5.从所有卸载成本中选取最小的卸载成本，将其对应的二进制卸载变量与最新的信道状态组成二元组存储到经验回放池；

每一轮迭代中，所有卸载成本中选取最小的卸载成本就是最优卸载成本，其对应的二进制卸载变量就是最佳卸载决策。

S6.每隔δ时间进行DNN的训练与调整，从经验回放池中随机抽取一批样本训练更新DNN网络，调整DNN的网络参数θ，每隔Δ时间动态调整量化值K_t；

S7.判断迭代次数是否大于迭代阈值T，若是，则输出最佳卸载决策与其对应的带宽分配，否则迭代次数加一并返回步骤S2。

具体地，卫星协同系统中设置了通信模型和计算模型，其中：

通信模型中用户传输到卫星边缘节点的传输速度为：

用户传输到卫星云节点的传输速度为：

其中，B表示用户i接入卫星边缘节点总带宽，α_i表示卫星边缘节点分配给用户i的带宽占比，P_i表示用户i的发射功率，h_i表示卫星边缘节点与用户i的信道增益，N₀为加性高斯白噪声功率，B_c表示用户i接入卫星云节点总带宽，h_c表示用户i与卫星云节点的信道增益；相较于同步轨道卫星，地面用户处于一个静止不动的较小区域，该区域的所有用户与卫星云节点的信道状态保持一致。

在计算模型中，每个用户的计算任务表示为W_i＝(D_i,C_i,Ω_i)，D_i表示任务输入数据的大小，X_i表示完成任务计算所需的CPU周期数，Ω_i表示任务的最大容忍时延，同时考虑卸载模式为整体卸载。

考虑到时延与能耗的联合优化，卫星边缘节点计算开销为：

卫星云节点计算开销为：

其中，β为平衡时延与能耗的权重参数，s表示地面用户与卫星云节点的几何距离，c表示光速，f_c表示卫星云节点的CPU频率，P_c表示卫星云节点的计算功率，P_e表示卫星边缘节点的计算功率，f_e表示卫星边缘节点的CPU频率。

具体地，为最小化系统平均计算开销，将卫星云边协作计算卸载问题表示为一个非线性规划问题P1：

其中，Q(x,α)表示系统平均计算开销，x为卸载决策，α为该卸载决策对应的带宽分配，即用户任务卸载后所分配到的带宽比例策略，约束C1表示用户i的任务卸载节点选项为卫星边缘节点和卫星云节点两种可能，C2与C3表示上行带宽分配中分配给每一用户的带宽至少不为0，且应当不超过卫星边缘节点总的上行带宽和。

具体地，本实施例中采用全连接的四层DNN网络逼近信道状态与卸载位置之间的复杂映射，四层DNN网络包括输入层、输出层和两个隐藏层，为了DNN网络输出的所有用户的宽松卸载决策范围在(0,1)内，即在隐藏层和输出层分别使用ReLU和Sigmoid激活函数，采用交叉损失熵函数改进DNN网络的收敛速度，交叉损失熵函数表示为：

在一实施例中，对宽松卸载决策进行量化，得到K_t个二进制卸载变量，其中K_t∈[1,2^N]，较大的K_t值意味着卸载决策的多样性更高，更有机会找到全局最佳卸载决策，但也会带来更高的计算复杂度。因此采用保序量化方法来权衡性能和复杂度。保序量化是为了在量化时保证顺序的一致性，若在宽松卸载决策中，用户i的宽松缷载决策/>位于用户j的宽松卸载决策/>之前，将其表示为x_k＝[x_k,1,x_k,2,...,x_k,i,x_k,j...,x_k,N]，则在量化后的第k∈1,2,...K_t个二进制卸载变量中，用户i的二元卸载变量x_k,i同样位于用户j的二元卸载变量x_k,j之前，表示为x_k＝[x_k,1,x_k,2,...,x_k,i,x_k,j...,x_k,N]。

具体地，每个二进制卸载变量x_k＝[x_k,1,x_k,2,...,x_k,i,...,x_k,N]，k∈1,2,...K_t中的第一个二元卸载变量x_1,i表示为：

设置界限值为0.5，计算用户i，i＝1,2,…,N的宽松卸载决策与界限值相减后的绝对值，将N个宽松卸载决策按照对应的绝对值大小升序排列，生成列表，绝对值升序排列表示为/> 表示排序生成的列表中的第i个宽松卸载决策，每个二进制卸载变量中剩下的K_t-1个二元卸载变量x_k,i，k∈2,3，...K_t表示为：

其中，表示列表中的第k-1个宽松卸载决策。

具体的，通过图6，不难发现所提出的保序量化策略相比传统量化方式，收敛速度更快，且收敛后的曲线波动性更小。这是因为保序量化方法比KNN方法在候选动作中提供了更大的多样性。因此，DNN的训练探索更少的卸载选择。验证了所提保序量化策略的有效性。

在一实施例中，计算出二进制卸载变量后，将最小化系统平均计算开销问题P1转化为α上的凸问题P2，即既定卸载下的最优资源分配问题：

其中，约束C1与C2表示上行带宽分配中分配给每一用户的带宽至少不为0，且应当不超过卫星边缘节点总的上行带宽和。

通过CVXPY工具求解凸问题P2，在给定的二进制卸载变量x_k下计算其对应的带宽分配和卸载成本，得到最小卸载成本和其对应的带宽分配，即最佳带宽分配。

具体地，由于当前时间t的二进制卸载变量是根据上一时间t-1的最佳卸载决策生成，因此相邻时间帧中的训练样本具有很强的相关性，采用最新样本训练可能导致收敛慢，网络更新低效的问题。这里采用经验回放机制将新获得的信道状态与最佳卸载决策的二元组(h,x^*)添加到经验回放池中，如果经验回放池已满则替换最旧的数据样本。随后，从内存中随机抽取一批样本数据以改进DNN网络。同时通过使用Adam优化器来减少交叉熵的损失。同时由于随机抽取，训练样本之间的相关性降低，收敛速度加快。由于内存空间有限，DNN只根据最近的经验更新，并且卸载策略π总是适应最近的信道变化。

具体地，量化值K_t随时间t变化动态调整，调整公式为：

其中，Δ为量化调整间隔，tmodΔ＝0表示每个Δ调整一次，表示从当前t时刻前的Δ个时刻对应的量化值中选取最大值，而增加1的原因是允许量化值在运行期间增加，保证充分的量化选择。若Δ＝1，则表示每个时间帧内更新量化值，而当Δ＝∞，则表示将量化值设置为常数，不进行更新。

具体的，在固定K＝N的情况下，绘制每个时间范围内的最佳卸载位置的索引，如图5所示，当K＝N＝10时，在DRTO训练最开始的时候，最优卸载决策位置的可选值较多，随着卸载策略的改进，可以发现大多数选择的索引不大于4，这表明那些生成K＞5的卸载动作是多余且低效的，因此可以逐渐减小K以加速算法速度，且不会影响性能，也证明了动态调整K值的必要性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种卫星云边协同计算的计算卸载方法，其特征在于，构建一个具有云-边-端三层网络架构的卫星云边协同系统，该系统包括一个用于部署云服务器的GEO卫星，记作卫星云节点，M个为地面用户提供边缘计算服务的LEO卫星，记作卫星边缘节点，和N个地面用户；

所述卫星云边协同计算的计算卸载方法，包括以下步骤：

S1.初始化卫星云边协同系统的参数，设置迭代阈值T；

S2.输入当前的信道状态，通过DNN网络获取宽松卸载决策 表示用户i的宽松卸载决策；

S3.将DNN网络获取的宽松卸载决策量化，得到K_t个二进制卸载变量x_k＝[x_k,1,x_k,2,...,x_k,i,...,x_k,N]，k∈1,2,...K_t；x_k,i表示用户i在第k个二进制卸载变量中的二元卸载变量；

S4.选择动作空间中的一个动作策略，计算每个二进制卸载变量的带宽分配及相应的卸载成本；

S5.从所有卸载成本中选取最小的卸载成本，将其对应的二进制卸载变量与最新的信道状态组成二元组存储到经验回放池；

S6.从经验回放池中随机抽取一批样本训练更新DNN网络，动态调整量化值K_t；

量化值K_t随时间t变化动态调整，调整公式为：

其中，表示从当前t时刻前的Δ个时刻对应的量化值中选取最大值，Δ为量化调整间隔，tmodΔ＝0表示每个Δ调整一次；

S7.判断迭代次数是否大于迭代阈值T，若是，则输出最佳卸载决策与其对应的带宽分配，否则迭代次数加一并返回步骤S2。

2.根据权利要求1所述的一种卫星云边协同计算的计算卸载方法，其特征在于，卫星协同系统中设置通信模型和计算模型，其中：

通信模型中用户传输到卫星边缘节点的传输速度为：

用户传输到卫星云节点的传输速度为：

其中，B表示用户i接入卫星边缘节点总带宽，α_i表示卫星边缘节点分配给用户i的带宽占比，P_i表示用户i的发射功率，h_i表示卫星边缘节点与用户i的信道增益，N₀为加性高斯白噪声功率，B_c表示用户i接入卫星云节点总带宽，h_c表示用户i与卫星云节点的信道增益；

在计算模型中卫星边缘节点计算开销为：

卫星云节点计算开销为：

其中，β为平衡时延与能耗的权重参数，D_i表示任务输入数据的大小，X_i表示完成任务计算所需的CPU周期数，s表示地面用户与卫星云节点的几何距离，c表示光速，f_c表示卫星云节点的CPU频率，P_c表示卫星云节点的计算功率，P_e表示卫星边缘节点的计算功率，f_e表示卫星边缘节点的CPU频率。

3.根据权利要求1所述的一种卫星云边协同计算的计算卸载方法，其特征在于，DNN网络包括输入层、两个隐藏层和输出层，采用平均交叉损失熵函数求解DNN网络的损失，平均交叉损失熵函数表示为：

其中，表示网络参数为θ_t的DNN网络，/>表示时间帧t下的经验池，/>表示经验池大小，h表示信道矩阵，包括卫星边缘节点与用户i的信道增益h_i和用户i与卫星云节点的信道增益h_c，x^*表示最佳卸载决策。

4.根据权利要求1所述的一种卫星云边协同计算的计算卸载方法，其特征在于，对宽松卸载决策进行保序量化，若在宽松卸载决策中，用户i的宽松卸载决策/>位于用户j的宽松卸载决策/>之前，则在量化后的第k∈1,2,...K_t个二进制卸载变量中，用户i的二元卸载变量x_k,i位于用户j的二元卸载变量x_k,j之前。

5.根据权利要求4所述的一种卫星云边协同计算的计算卸载方法，其特征在于，每个二进制卸载变量中的第一个二元卸载变量x_1,i表示为：

设置界限值为0.5，计算N个用户的宽松卸载决策与界限值相减后的绝对值，将N个用户的宽松卸载决策按照对应的绝对值大小升序排列，生成列表，每个二进制卸载变量中剩下的K_t-1个二元卸载变量x_k,i表示为：

其中，表示列表中的第k-1个宽松卸载决策。