CN117714446B - 一种卫星云边协同计算的卸载方法及装置 - Google Patents
一种卫星云边协同计算的卸载方法及装置 Download PDFInfo
- Publication number
- CN117714446B CN117714446B CN202410148907.6A CN202410148907A CN117714446B CN 117714446 B CN117714446 B CN 117714446B CN 202410148907 A CN202410148907 A CN 202410148907A CN 117714446 B CN117714446 B CN 117714446B
- Authority
- CN
- China
- Prior art keywords
- model
- task
- satellite
- optimization
- unloading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 199
- 230000005540 biological transmission Effects 0.000 claims abstract description 78
- 238000005457 optimization Methods 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 39
- 238000005265 energy consumption Methods 0.000 claims description 33
- 238000010276 construction Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种卫星云边协同计算的卸载方法及装置，其方法包括：基于终端‑卫星‑云的三层云边协同计算框架，构建任务在各层计算下的开销模型；基于各开销模型，以总开销最小为优化目标，以卸载决策、CPU工作频率和传输功率为优化变量，构建优化问题模型；采用模型辅助法和内点法对CPU工作频率和传输功率进行优化求解，采用Q‑learning算法对卸载决策进行优化求解；根据CPU工作频率、传输功率以及卸载决策的最优求解结果，进行卸载计算；本发明通过模型辅助法和内点法优化CPU工作频率和传输功率，使用Q‑learning算法确定并发多任务的卸载决策，根据最优解实现协同计算和计算中的资源分配。
Description
技术领域
本发明涉及物联网技术领域，尤其涉及一种卫星云边协同计算的卸载方法及装置。
背景技术
物联网(Internet of Things, IoT)在交通运输、环境监测、远程医疗、智能家居等诸多领域发挥着重要作用。然而物联网设备通常功率有限，可用于通信、计算和缓存的可用资源很少。因此，物联网设备产生的传感数据通常会转发到云或边缘计算节点进行进一步处理。目前，在服务物联网的星地融合网络(Integratedsatellite terrestrialnetworks, ISTN)中，物联网终端通过卫星将数据转发到地面云数据中心进行处理。与卫星节点相比，地面云具有更高的计算能力和充足的能量供应，云计算中心使用并行计算，可以显著提高运算速度，从而满足各种高性能计算的需求。然而，云平台通常距离用户终端较远，导致通信时延较高。边缘计算节点部署在网络边缘，通过内容缓存和在物联网用户附近部署边缘计算服务器，可以有效降低时延，随着星载处理技术的发展，带有星载处理单元的卫星也可以看作是一个边缘计算节点，为地面用户提供计算服务。目前，如何平衡各方计算服务，从而为用户提供最佳的使用体验成为一个重要的研究目标。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种卫星云边协同计算的卸载方法及装置，解决各边缘计算节点之间如何合理分配资源、协同计算的技术问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种卫星云边协同计算的卸载方法，包括：
基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型；
基于各所述开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型；
基于所述优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算。
可选的，所述终端-卫星-云的三层云边协同计算框架包括IoT终端、低地球轨道卫星、地球同步轨道卫星以及云计算中心； 所述IoT终端接收到的任务选择本地计算、卸载到低地球轨道卫星计算以及通过地球同步轨道卫星卸载到云计算中心计算中任一种计算方式进行计算。
可选的，所述构建任务在各层计算下的开销模型包括：
设第个IoT终端接收到的任务为/>，/>分别为第/>个IoT终端接收到的任务的大小、执行所需CPU周期数、时延需求；
构建第个IoT终端的任务/>在本地计算的开销模型/>：
；
式中，为本地计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在本地计算的处理时延和处理能耗：
；
；
式中，为第/>个IoT终端的CPU 工作频率，/>为电气系数；
构建第个IoT终端的任务/>在低地球轨道卫星计算的开销模型/>：
；
式中，为低地球轨道卫星计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理总时延和处理总能耗：
；
；
式中，为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理时延、传播时延；/>为第/>个IoT终端到低地球轨道卫星的传输时延、传输速率和传输距离；/>，/>为第/>个IoT终端到低地球轨道卫星的信道带宽和信道增益，/>为第/>个IoT终端的传输功率；/>为低地球轨道卫星的CPU工作频率；/>为光速；
；
；
式中，为第/>个IoT终端到低地球轨道卫星的传输能耗，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理能耗；
构建第个IoT终端的任务/>在云计算中心计算的开销模型/>：
；
式中，为云计算中心计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在云计算中心计算的处理总时延和处理总能耗：
；
；
式中，为第/>个IoT终端到地球同步轨道卫星的传输时延、传输距离和传输速率；/>，/>为第/>个IoT终端到地球同步轨道卫星的信道带宽和信道增益；/>为地球同步轨道卫星到云计算中心的传输时延、传输距离和传输速率；，/>为地球同步轨道卫星到云计算中心的信道带宽和信道增益，/>为地球同步轨道卫星的传输功率；/>为第/>个IoT终端的任务在云计算中心的处理时延和传播时延，/>为云计算中心的单核CPU工作频率，/>为参与计算的核心数量；
；
；
式中，为第/>个IoT终端到地球同步轨道卫星的传输能耗，/>为地球同步轨道卫星到云计算中心的传输能耗，/>为第/>个IoT终端的任务/>在云计算中心的处理能耗。
可选的，所述优化问题模型为：
；
式中，为卸载决策，/>，/>为第/>个IoT终端选择的卸载决策，/>为IoT终端的总数，/>为第/>个IoT终端选择本地计算、卸载到低地球轨道卫星计算、通过地球同步轨道卫星卸载到云计算中心计算；/>为IoT终端的传输功率，，/>为IoT终端的CPU 工作频率，/>；为第/>个IoT终端选择卸载决策/>对应的时延敏感系数、处理时延和处理能耗；
；
所述优化问题模型的约束条件为：
；
；
；
；
；
；
；
；
；
；
式中，为第/>个IoT终端的任务/>在本地计算、在低地球轨道卫星计算的处理能耗最大值；/>为第/>个IoT终端到低地球轨道卫星、第/>个IoT终端到地球同步轨道卫星、地球同步轨道卫星到云计算中心的传输能耗；/>为第/>个IoT终端的CPU 工作频率最大值和传输功率最大值，为低地球轨道卫星的CPU 工作频率最大值和地球同步轨道卫星的传输功率最大值。
可选的，所述采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解包括：
以CPU 工作频率为优化变量，采用模型辅助法对开销模型进行最小化求解：
确定开销模型：
；
通过导数等于零求解开销模型的极值点/>：
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
根据下界、上界/>以及极值点/>确定开销模型/>的最小化求解结果：
；
以CPU 工作频率和传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型：
；
式中，为惩罚强度；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>，/>学习率，/>为修正因子，/>；/>为模型/>在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量；
以传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型：
；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>；/>为模型/>在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量。
可选的，所述采用Q-learning算法对卸载决策进行优化求解包括：
初始化学习率、折扣因子/>、探索因子/>、迭代次数；
设置状态总数和动作总数/>：
；
；
式中，为任务数量；
初始化为零矩阵：
；
式中，为/>函数，/>为创建一个大小为的零矩阵；
令，重复以下步骤，直至/>：
随机选择状态：
；
式中，为/>函数，/>为生成一个/>中的随机整数；
采用策略选择动作/>：
若，则/>；
若，则；
式中，为状态/>下的最大Q值估计对应的动作；
计算奖励：
；
式中，为根据CPU 工作频率和传输功率的最优求解结果构建的开销模型；
更新状态和动作/>的Q值：
；
式中，为状态/>下的最大Q值估计；
将更新后的状态和动作/>的Q值存入矩阵/>；
令。
第二方面，本发明提供了一种卫星云边协同计算的卸载装置，所述装置包括：
开销模型构建模块，用于基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型；
优化模型构建模块，用于基于各所述开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型；
模型求解模块，用于基于所述优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
卸载计算模块，用于根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算。
第三方面，本发明提供了一种电子设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
第五方面，本发明提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供的一种卫星云边协同计算的卸载方法及装置，通过构建优化问题模型，以模型辅助法和内点法优化 CPU 工作频率和传输功率，计算出每种任务情况在每种处理方式下的开销，使用 Q-learning 算法确定并发多用户任务的卸载决策，根据最优解实现物联网设备联合卫星边缘计算和云计算中的资源分配。
附图说明
图1是本发明实施例提供的卫星云边协同计算的卸载方法的流程示意图；
图2是本发明实施例提供的终端-卫星-云的三层云边协同计算框架的结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种卫星云边协同计算的卸载方法，包括以下步骤：
步骤S1、基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型。
如图2所示，终端-卫星-云的三层云边协同计算框架包括IoT终端、低地球轨道卫星、地球同步轨道卫星以及云计算中心； IoT终端接收到的任务可以选择本地计算、卸载到低地球轨道卫星计算或通过地球同步轨道卫星卸载到云计算中心计算。
构建任务在各层计算下的开销模型包括：
设第个IoT终端接收到的任务为/>，/>分别为第/>个IoT终端接收到的任务的大小、执行所需CPU周期数、时延需求；
（1）构建第个IoT终端的任务/>在本地计算的开销模型/>：
；
式中，为本地计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在本地计算的处理时延和处理能耗：
；
；
式中，为第/>个IoT终端的CPU 工作频率，/>为电气系数。
（2）构建第个IoT终端的任务/>在低地球轨道卫星计算的开销模型/>：
；
式中，为低地球轨道卫星计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理总时延和处理总能耗：/>
；
；
式中，为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理时延、传播时延；/>为第/>个IoT终端到低地球轨道卫星的传输时延、传输速率和传输距离；/>，/>为第/>个IoT终端到低地球轨道卫星的信道带宽和信道增益，/>为第/>个IoT终端的传输功率；/>为低地球轨道卫星的CPU工作频率；/>为光速；
；
；
式中，为第/>个IoT终端到低地球轨道卫星的传输能耗，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理能耗。
（3）构建第个IoT终端的任务/>在云计算中心计算的开销模型/>：
；
式中，为云计算中心计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在云计算中心计算的处理总时延和处理总能耗：
；
；
式中，为第/>个IoT终端到地球同步轨道卫星的传输时延、传输距离和传输速率；/>，/>为第/>个IoT终端到地球同步轨道卫星的信道带宽和信道增益；/>为地球同步轨道卫星到云计算中心的传输时延、传输距离和传输速率；，/>为地球同步轨道卫星到云计算中心的信道带宽和信道增益，/>为地球同步轨道卫星的传输功率；/>为第/>个IoT终端的任务在云计算中心的处理时延和传播时延，/>为云计算中心的单核CPU工作频率，/>为参与计算的核心数量；
；
；/>
式中，为第/>个IoT终端到地球同步轨道卫星的传输能耗，/>为地球同步轨道卫星到云计算中心的传输能耗，/>为第/>个IoT终端的任务/>在云计算中心的处理能耗。
步骤S2、基于各开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型。
优化问题模型为：
；
式中，为卸载决策，/>，/>为第/>个IoT终端选择的卸载决策，/>为IoT终端的总数，/>为第/>个IoT终端选择本地计算、卸载到低地球轨道卫星计算、通过地球同步轨道卫星卸载到云计算中心计算；/>为IoT终端的传输功率，，/>为IoT终端的CPU 工作频率，/>；为第/>个IoT终端选择卸载决策/>对应的时延敏感系数、处理时延和处理能耗；
；
优化问题模型的约束条件为：
；
；
；
；
；
；
；
；
；
；
式中，为第/>个IoT终端的任务/>在本地计算、在低地球轨道卫星计算的处理能耗最大值；/>为第/>个IoT终端到低地球轨道卫星、第/>个IoT终端到地球同步轨道卫星、地球同步轨道卫星到云计算中心的传输能耗；/>为第/>个IoT终端的CPU 工作频率最大值和传输功率最大值，为低地球轨道卫星的CPU 工作频率最大值和地球同步轨道卫星的传输功率最大值。
步骤S3、基于优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
步骤3.1、以CPU 工作频率为优化变量，采用模型辅助法对开销模型进行最小化求解：
确定开销模型：
；
通过导数等于零求解开销模型的极值点/>：
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
根据下界、上界/>以及极值点/>确定开销模型/>的最小化求解结果：
；
步骤3.2、以CPU 工作频率和传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；/>
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型：
；
式中，为惩罚强度；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>，/>学习率，/>为修正因子，/>；/>为模型/>在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量。
步骤3.3、以传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：/>
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型：
；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>；/>为模型/>在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量。
步骤3.4、采用Q-learning算法对卸载决策进行优化求解包括：
初始化学习率、折扣因子/>、探索因子/>、迭代次数；
设置状态总数和动作总数/>：
；
；
式中，为任务数量；
初始化为零矩阵：
；
式中，为/>函数，/>为创建一个大小为的零矩阵；
令，重复以下步骤，直至/>：
随机选择状态：
；
式中，为/>函数，/>为生成一个/>中的随机整数；
采用策略选择动作/>：
若，则/>；
若，则；
式中，为状态/>下的最大Q值估计对应的动作；
计算奖励：
；
式中，为根据CPU 工作频率和传输功率的最优求解结果构建的开销模型；
更新状态和动作/>的Q值：/>
；
式中，为状态/>下的最大Q值估计；
将更新后的状态和动作/>的Q值存入矩阵/>；
令。
步骤S4、根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算。
IoT 终端根据矩阵选择Q值最大的动作进行任务卸载。
实施例二：
本发明实施例提供了一种卫星云边协同计算的卸载装置，装置包括：
开销模型构建模块，用于基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型；
优化模型构建模块，用于基于各开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型；
模型求解模块，用于基于优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
卸载计算模块，用于根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算。
实施例三：
基于实施例一，本发明实施例提供了一种电子设备，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行上述方法的步骤。
实施例四：
基于实施例一，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
实施例五：
基于实施例一，本发明实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种卫星云边协同计算的卸载方法，其特征在于，包括：
基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型；
基于各所述开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型；
基于所述优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算；
其中，所述终端-卫星-云的三层云边协同计算框架包括IoT终端、低地球轨道卫星、地球同步轨道卫星以及云计算中心； 所述IoT终端接收到的任务选择本地计算、卸载到低地球轨道卫星计算以及通过地球同步轨道卫星卸载到云计算中心计算中任一种计算方式进行计算；
所述构建任务在各层计算下的开销模型包括：
设第个IoT终端接收到的任务为/>，/>分别为第/>个IoT终端接收到的任务的大小、执行所需CPU周期数、时延需求；
构建第个IoT终端的任务/>在本地计算的开销模型/>：
；
式中，为本地计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在本地计算的处理时延和处理能耗：
；
；
式中，为第/>个IoT终端的CPU 工作频率，/>为电气系数；
构建第个IoT终端的任务/>在低地球轨道卫星计算的开销模型/>：
；
式中，为低地球轨道卫星计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理总时延和处理总能耗：
；
；
式中，为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理时延、传播时延；/>为第/>个IoT终端到低地球轨道卫星的传输时延、传输速率和传输距离；/>，/>为第/>个IoT终端到低地球轨道卫星的信道带宽和信道增益，/>为第/>个IoT终端的传输功率；/>为低地球轨道卫星的CPU工作频率；/>为光速；
；
；
式中，为第/>个IoT终端到低地球轨道卫星的传输能耗，/>为第/>个IoT终端的任务/>在低地球轨道卫星计算的处理能耗；
构建第个IoT终端的任务/>在云计算中心计算的开销模型/>：
；
式中，为云计算中心计算下的时延敏感系数，/>为第/>个IoT终端的任务/>在云计算中心计算的处理总时延和处理总能耗：
；
；
式中，为第/>个IoT终端到地球同步轨道卫星的传输时延、传输距离和传输速率；/>，/>为第/>个IoT终端到地球同步轨道卫星的信道带宽和信道增益；/>为地球同步轨道卫星到云计算中心的传输时延、传输距离和传输速率；/>，为地球同步轨道卫星到云计算中心的信道带宽和信道增益，/>为地球同步轨道卫星的传输功率；/>为第/>个IoT终端的任务/>在云计算中心的处理时延和传播时延，/>为云计算中心的单核CPU工作频率，/>为参与计算的核心数量；
；
；
式中，为第/>个IoT终端到地球同步轨道卫星的传输能耗，/>为地球同步轨道卫星到云计算中心的传输能耗，/>为第/>个IoT终端的任务/>在云计算中心的处理能耗；
所述优化问题模型为：
；
式中，为卸载决策，/>，/>为第/>个IoT终端选择的卸载决策，/>为IoT终端的总数，/>为第/>个IoT终端选择本地计算、卸载到低地球轨道卫星计算、通过地球同步轨道卫星卸载到云计算中心计算；/>为IoT终端的传输功率，，/>为IoT终端的CPU 工作频率，/>；为第/>个IoT终端选择卸载决策/>对应的时延敏感系数、处理时延和处理能耗；
；
所述优化问题模型的约束条件为：
；
；
；
；
；
；
；
；
；
；
式中，为第/>个IoT终端的任务/>在本地计算、在低地球轨道卫星计算的处理能耗最大值；/>为第/>个IoT终端到低地球轨道卫星、第/>个IoT终端到地球同步轨道卫星、地球同步轨道卫星到云计算中心的传输能耗；/>为第/>个IoT终端的CPU 工作频率最大值和传输功率最大值，为低地球轨道卫星的CPU 工作频率最大值和地球同步轨道卫星的传输功率最大值；
所述采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解包括：
以CPU 工作频率为优化变量，采用模型辅助法对开销模型进行最小化求解：
确定开销模型：
；
通过导数等于零求解开销模型的极值点/>：
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
根据下界、上界/>以及极值点/>确定开销模型/>的最小化求解结果：
；
以CPU 工作频率和传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型/>：
；
式中，为惩罚强度；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>，/>学习率，/>为修正因子，/>；/>为模型/>在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量；
以传输功率为优化变量，采用模型辅助法和内点法对开销模型进行最小化求解：
通过约束条件变换可得：
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
通过约束条件变换可得：
；
；
根据约束条件的变换结果确定/>；
根据约束条件的变换结果确定可行解范围的下界/>和上界/>：
；
；
引入松弛变量，将约束条件/>由不等式约束变换为等式约束：
；
；
；
；
构建对数障碍函数，/>，并代入开销模型/>得到模型/>：
；
基于下界、上界/>、下界/>、上界/>以及模型/>进行迭代，直至达到最大的迭代次数：
；
；
式中，，/>；/>为模型在当前解/>处的梯度：
；
式中，为模型/>与x轴、y轴方向相同的单位向量；
所述采用Q-learning算法对卸载决策进行优化求解包括：
初始化学习率、折扣因子/>、探索因子/>、迭代次数/>；
设置状态总数和动作总数/>：
；
；
式中，为任务数量；
初始化为零矩阵：
；
式中，为/>函数，/>为创建一个大小为的零矩阵；
令，重复以下步骤，直至/>：
随机选择状态：
；
式中，为/>函数，/>为生成一个/>中的随机整数；
采用策略选择动作/>：
若，则/>；
若，则/>；
式中，为状态/>下的最大Q值估计对应的动作；
计算奖励：
；
式中，为根据CPU 工作频率和传输功率的最优求解结果构建的开销模型；
更新状态和动作/>的Q值：
；
式中，为状态/>下的最大Q值估计；
将更新后的状态和动作/>的Q值存入矩阵/>；
令。
2.一种卫星云边协同计算的卸载装置，其特征在于，采用如权利要求1所述卸载方法，所述装置包括：
开销模型构建模块，用于基于终端-卫星-云的三层云边协同计算框架，构建任务在各层计算下的开销模型；
优化模型构建模块，用于基于各所述开销模型，以总开销最小为优化目标，以卸载决策、CPU 工作频率和传输功率为优化变量，构建优化问题模型；
模型求解模块，用于基于所述优化问题模型，采用模型辅助法和内点法对CPU 工作频率和传输功率进行优化求解，采用Q-learning算法对卸载决策进行优化求解；
卸载计算模块，用于根据CPU 工作频率、传输功率以及卸载决策的最优求解结果，对所述任务进行卸载和计算。
3.一种电子设备，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1所述方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述方法的步骤。
5.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410148907.6A CN117714446B (zh) | 2024-02-02 | 2024-02-02 | 一种卫星云边协同计算的卸载方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410148907.6A CN117714446B (zh) | 2024-02-02 | 2024-02-02 | 一种卫星云边协同计算的卸载方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117714446A CN117714446A (zh) | 2024-03-15 |
| CN117714446B true CN117714446B (zh) | 2024-04-16 |
Family
ID=90153787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410148907.6A Active CN117714446B (zh) | 2024-02-02 | 2024-02-02 | 一种卫星云边协同计算的卸载方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117714446B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111556143A (zh) * | 2020-04-27 | 2020-08-18 | 中南林业科技大学 | 移动边缘计算中协作卸载机制下的最小化时延方法 |
| WO2022027776A1 (zh) * | 2020-08-03 | 2022-02-10 | 威胜信息技术股份有限公司 | 边缘计算网络任务调度与资源分配方法和边缘计算系统 |
| CN114153572A (zh) * | 2021-10-27 | 2022-03-08 | 中国电子科技集团公司第五十四研究所 | 一种星地协作网络中分布式深度学习的计算卸载方法 |
| CN114942799A (zh) * | 2022-06-21 | 2022-08-26 | 福州大学 | 云边环境下基于强化学习的工作流调度方法 |
| CN115835294A (zh) * | 2022-11-22 | 2023-03-21 | 南京工业大学 | 车联网中深度强化学习辅助的ran切片和任务卸载联合优化方法 |
| WO2023044982A1 (zh) * | 2021-09-22 | 2023-03-30 | 东南大学 | 一种卫星大规模mimo通信感知一体化的发送方法 |
| CN116390125A (zh) * | 2023-04-03 | 2023-07-04 | 南京邮电大学 | 一种基于ddpg-d3qn的工业物联网云边协同卸载及资源分配方法 |
| CN116600344A (zh) * | 2023-04-20 | 2023-08-15 | 桂林电子科技大学 | 一种具有电力成本差异的多层mec资源卸载方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012047880A2 (en) * | 2010-10-04 | 2012-04-12 | Telcordia Technologies, Inc. | A method and system for determination of routes in leo satellite networks with bandwidth and priority awareness and adaptive rerouting |
| US20210165730A1 (en) * | 2021-02-12 | 2021-06-03 | Intel Corporation | Hardware reliability diagnostics and failure detection via parallel software computation and compare |
-
2024
- 2024-02-02 CN CN202410148907.6A patent/CN117714446B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111556143A (zh) * | 2020-04-27 | 2020-08-18 | 中南林业科技大学 | 移动边缘计算中协作卸载机制下的最小化时延方法 |
| WO2022027776A1 (zh) * | 2020-08-03 | 2022-02-10 | 威胜信息技术股份有限公司 | 边缘计算网络任务调度与资源分配方法和边缘计算系统 |
| WO2023044982A1 (zh) * | 2021-09-22 | 2023-03-30 | 东南大学 | 一种卫星大规模mimo通信感知一体化的发送方法 |
| CN114153572A (zh) * | 2021-10-27 | 2022-03-08 | 中国电子科技集团公司第五十四研究所 | 一种星地协作网络中分布式深度学习的计算卸载方法 |
| CN114942799A (zh) * | 2022-06-21 | 2022-08-26 | 福州大学 | 云边环境下基于强化学习的工作流调度方法 |
| CN115835294A (zh) * | 2022-11-22 | 2023-03-21 | 南京工业大学 | 车联网中深度强化学习辅助的ran切片和任务卸载联合优化方法 |
| CN116390125A (zh) * | 2023-04-03 | 2023-07-04 | 南京邮电大学 | 一种基于ddpg-d3qn的工业物联网云边协同卸载及资源分配方法 |
| CN116600344A (zh) * | 2023-04-20 | 2023-08-15 | 桂林电子科技大学 | 一种具有电力成本差异的多层mec资源卸载方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Hybrid Centralized and Distributed Learning for MEC-Equipped Satellite 6G Networks";Tiago Koketsu Rodrigues;《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》;20230430;第41卷(第4期);全文 * |
| "移动边缘计算中基于DDPG的任务卸载算法研究";农望;《中国优秀硕士学位论文全文数据库》;20230215;全文 * |
| 面向车联网应用的智能边缘计算技术概述;刘江挺;何强;;现代信息科技;20200625(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117714446A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113346944B (zh) | 空天地一体化网络中时延最小化计算任务卸载方法及系统 | |
| CN110928654B (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
| CN110557769A (zh) | 基于深度强化学习的c-ran计算卸载和资源分配方法 | |
| CN111401744B (zh) | 一种移动边缘计算中不确定性环境下的动态任务卸载方法 | |
| CN113543176A (zh) | 基于智能反射面辅助的移动边缘计算系统的卸载决策方法 | |
| CN113220356B (zh) | 一种移动边缘计算中的用户计算任务卸载方法 | |
| CN112689303A (zh) | 一种边云协同资源联合分配方法、系统及应用 | |
| CN113346938A (zh) | 一种面向空天地一体化网络的边缘计算资源融合管理方法 | |
| CN113867843B (zh) | 一种基于深度强化学习的移动边缘计算任务卸载方法 | |
| CN112272381A (zh) | 一种卫星网络任务部署方法和系统 | |
| CN113573363A (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
| Lakew et al. | Intelligent offloading and resource allocation in hap-assisted mec networks | |
| CN115473896A (zh) | 基于dqn算法的电力物联网卸载策略和资源配置优化方法 | |
| CN113365290B (zh) | 天地融合网络中基于贪心策略的博弈论计算卸载方法 | |
| CN117714446B (zh) | 一种卫星云边协同计算的卸载方法及装置 | |
| CN114217881B (zh) | 任务卸载方法及相关装置 | |
| CN116489708B (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
| CN114880046B (zh) | 联合卸载决策和带宽分配的低轨卫星边缘计算卸载方法 | |
| CN116663644A (zh) | 一种多压缩版本的云边端dnn协同推理加速方法 | |
| CN114025359B (zh) | 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质 | |
| CN116318371A (zh) | 卫星互联网的通信资源分配方法、设备及可读存储介质 | |
| Yang et al. | Peer to peer offloading with delayed feedback: An adversary bandit approach | |
| Wang et al. | PSOGT: PSO and game theoretic based task allocation in mobile edge computing | |
| CN113553188A (zh) | 一种基于改进天牛须算法的移动边缘计算卸载方法 | |
| Wang et al. | Adaptive Compute Offloading Algorithm for Metasystem Based on Deep Reinforcement Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |