CN116709428A - 一种基于移动边缘计算的计算卸载方法及系统 - Google Patents
一种基于移动边缘计算的计算卸载方法及系统 Download PDFInfo
- Publication number
- CN116709428A CN116709428A CN202310973145.9A CN202310973145A CN116709428A CN 116709428 A CN116709428 A CN 116709428A CN 202310973145 A CN202310973145 A CN 202310973145A CN 116709428 A CN116709428 A CN 116709428A
- Authority
- CN
- China
- Prior art keywords
- representing
- calculation
- energy
- model
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005265 energy consumption Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 45
- 239000003990 capacitor Substances 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 8
- 238000004146 energy storage Methods 0.000 claims description 7
- 229910052799 carbon Inorganic materials 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000003792 electrolyte Substances 0.000 claims description 4
- 230000006854 communication Effects 0.000 abstract description 6
- 238000004134 energy conservation Methods 0.000 abstract description 5
- 238000010521 absorption reaction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 4
- WEVYAHXRMPXWCK-UHFFFAOYSA-N Acetonitrile Chemical compound CC#N WEVYAHXRMPXWCK-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种基于移动边缘计算的计算卸载方法及系统，该方法包括以下步骤：首先，建立系统的能量收集模型，得到吸能装置获取的总能量；其次，建立计算卸载模型，得到本地计算和边缘服务器计算的总时延以及总能耗，并以时延和能耗为约束条件获得任务成功率；接着，根据时延、剩余能量和任务成功率建立体验质量模型；最后，采用双延迟深度确定性策略梯度算法解决模型中的优化问题，以提高卸载决策的准确性。该方法通过建立射频能量收集模型及计算卸载模型，并联合时延、剩余能量和任务成功率建立体验质量模型，并基于双延迟深度确定性策略梯度算法来获得次优解，确保了车联网通信过程中的服务质量，达到了绿色节能的目的。
Description
技术领域
本发明涉及车联网通信技术领域，特别涉及一种基于移动边缘计算的计算卸载方法及系统。
背景技术
随着联网车辆和新兴车辆应用（如自动驾驶、基于位置的道路服务和车载信息娱乐）的激增，道路无线交通需求正在迅速增长。为了适应新出现的需求，除了现有的蜂窝网络覆盖范围外，还需要部署大量的RSU（Road Side Unit 路侧单元）来提高网络容量。
然而，传统的RSU部署需要电力线和有线回程，这增加了电力设备的部署成本，同时也给电力系统或基础设施（如高速公路和乡村公路）开发不足的地区带来了挑战。此外，车辆产生的工作负载数据通常会存储在远程服务器上，无法满足一些车辆应用对时延的要求，同时，能量的吸收量和任务成功率还严重影响了车联网系统的服务质量。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于移动边缘计算的计算卸载方法及系统，旨在解决现有技术中，车联网系统的服务质量不佳的技术问题。
为了实现所述目的，本发明是通过如下技术方案来实现的：一种基于移动边缘计算的计算卸载方法，包括以下步骤：
步骤S1，构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量；
步骤S2，构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率；
其中，所述任务成功率的计算公式为：
；
式中，表示对计算任务时延的约束值，/>表示指示函数，当/>为真时，所述指示函数的值为1，否则值为0，T表示时隙数，/>表示用电设备在时隙t处的剩余能量，/>表示第i个路侧单元在时隙t时的总能耗，/>表示第i个路侧单元在时隙t时的总时延；
步骤S3，基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策；
步骤S4，采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
根据所述技术方案的一方面，所述射频能量收集模型为：
；
其中，N表示环境中的射频数量，t表示时隙，和/>分别表示第n个环境射频发射源在时隙t时的发射功率和发射天线增益，/>表示第i个路侧单元的接收天线增益，C表示电磁波在自由空间中的传播速率，/>表示第n个环境射频发射源和第i个路侧单元之间的距离，/>表示路侧单元的接收效率，/>表示从射频发射源获取能量的持续时间，/>表示第n个环境射频发射源在时隙t时的发射频率。
根据所述技术方案的一方面，所述计算卸载模型为：
；
；
其中，表示本地计算时延，/>表示任务卸载到第i个路侧单元在时隙t时的边缘服务器传输时延，/>表示第i个路侧单元在时隙t时的边缘服务器计算时延，/>表示本地计算能耗，/>表示数据传输能耗。
根据所述技术方案的一方面，所述本地计算时延的计算公式为：
；
；
其中，表示第i个路侧单元的CPU周期频率，/>表示时隙t处计算任务的大小，/>表示CPU的计算周期；/>表示卸载决策，当/>=0时，任务被卸载到本地执行，当/>=1时，任务被卸载到边缘服务器执行；
任务卸载到边缘服务器时，所述边缘服务器传输时延的计算公式为：
；
其中，表示从第i个车辆到路侧单元的上行链路数据传输速率，所述上行链路数据传输速率的计算公式为：
；
其中，B表示所有路侧单元的共享带宽，表示分配给第i个路侧单元在时隙t时的带宽百分比，/>表示第i个路侧单元的信噪比，表示为/>，/>和/>分别表示第i个路侧单元在时隙t时的信道增益和传输功率，σ表示高斯白噪声的平均功率；
所述边缘服务器计算时延的计算公式为：
；
其中，表示边缘服务器为卸载任务分配的CPU周期频率。
根据所述技术方案的一方面，
所述本地计算能耗的计算公式为：
；
其中，是一个与设备芯片体系结构相关的常数，/>=10-26，/>表示数据传输能耗，所述数据传输能耗的计算公式为：
。
根据所述技术方案的一方面，所述剩余能量的计算公式为：
。
根据所述技术方案的一方面，所述体验质量模型为：
；
s.t.；
；
；
；
；
；
其中，为路侧单元的数量，b1和b2为均衡系数，b1+b2＝1，约束C1表示第i个车辆设备执行本地计算任务时的CPU周期频率/>不能超过本地最大CPU周期频率/>；约束C2表示分配给/>个路侧单元的CPU周期频率/>之和不能超过边缘服务器的总计算资源频率/>；约束C3表示传输功率/>不能高于最大值/>；约束C4和约束C5分别表示所述总时延不能高于最大值s及所述剩余能量不能高于最大值E；约束C6表示卸载决策，/>=0表示任务被卸载到本地执行，/>=1，表示任务被卸载到边缘服务器执行。
根据所述技术方案的一方面，所述步骤S4具体包括：
基于双延迟深度确定性策略梯度算法，使演员网络根据当前状态来执行动作，以获得更新状态和更新奖励；
演员目标网络基于所述更新状态作出动作，并选取两个评论家目标网络中的最小值作为目标值；
通过最小化估计值和所述目标值之间的误差来更新评论家网络，并在所述评论家网络更新若干次后，更新所述演员网络。
另一方面，本发明还提供了一种基于移动边缘计算的计算卸载系统，包括：
计算模块，用于构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量；
卸载评估模块，用于构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率；
其中，所述任务成功率的计算公式为：
；
式中，表示对计算任务时延的约束值，/>表示指示函数，当/>为真时，所述指示函数的值为1，否则值为0，T表示时隙数，/>表示用电设备在时隙t处的剩余能量，/>表示第i个路侧单元在时隙t时的总能耗，/>表示第i个路侧单元在时隙t时的总时延；
卸载决策模块，用于基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策；
卸载优化模块，用于采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
根据所述技术方案的一方面，所述吸能装置包括：
天线，所述天线包括三角贴片天线主体、分别设于所述三角贴片天线主体的三个边角处的一阶三角贴片，及分别设于各所述一阶三角贴片的三个边角处的二阶三角贴片；
能量转换装置，所述能量转换装置包括与所述天线连接的桥式整流器，所述桥式整流器用于将所述天线接收到的射频信号转化为直流信号；
能量存储装置，所述能量存储装置包括与所述桥式整流器连接的电化学双层电容器，所述电化学双层电容器包括与用电设备连接的两个集电极、设于两个所述集电极之间的隔膜层，分别设于两个集电极一侧的活性炭颗粒层，及设于所述活性炭颗粒层与所述隔膜层之间的电解液。
根据所述技术方案的一方面，所述卸载优化模块具体用于：
基于双延迟深度确定性策略梯度算法，使演员网络根据当前状态来执行动作，以获得更新状态和更新奖励；
演员目标网络基于所述更新状态作出动作，并选取两个评论家目标网络中的最小值作为目标值；
通过最小化估计值和所述目标值之间的误差来更新评论家网络，并在所述评论家网络更新若干次后，更新所述演员网络。
与现有技术相比，本发明的有益效果在于：通过建立射频能量收集模型及计算卸载模型，并联合时延、剩余能量和任务成功率建立体验质量模型，并基于双延迟深度确定性策略梯度算法来获得次优解，确保了车联网通信过程中的服务质量，达到了绿色节能的目的，三角贴片天线的设计有效降低了天线的尺寸和成本，提高了其频率工作范围，可以更高效的收集RF射频能量，桥式整流器的使用，可以有效的将天线接收到的RF信号转换为DC信号，使用的电化学双层电容器，具有储存能量多，使用寿命长等特点，降低了电池更换的成本。
附图说明
本发明的所述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：
图1为本发明第一实施例中基于移动边缘计算的计算卸载方法的流程图；
图2为本发明第一实施例中车联网系统结构图；
图3为本发明第一实施例中双延迟深度确定性策略梯度算法的流程示意图；
图4为本发明第三实施例中吸能装置的结构示意图；
图5为本发明第三实施例中天线的结构示意图；
图6为本发明第三实施例中电化学双层电容器的结构示意图；
如下具体实施方式将结合所述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的多个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的基于移动边缘计算的计算卸载方法的流程图，如图所示，该方法包括以下步骤：
步骤S1，构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量；
步骤S2，构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率；
步骤S3，基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策；
步骤S4，采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
便于理解的，当使用算法求解模型函数问题时，我们通常是在一个复杂的搜索空间中寻找最优解。由于搜索空间的维度和复杂性，找到全局最优解是非常困难的，甚至可能是不可行的，尤其是对于高维、非凸或多模态的问题。
因此，在实际应用中，我们通常会寻找次优解（suboptimal solution）而不是全局最优解。次优解是指在搜索空间中找到的相对较好的解决方案，尽管不一定是全局最优的，但仍具有一定的优越性能。
寻找次优解的原因有几个：
计算复杂性：寻找全局最优解可能需要高度复杂的计算和搜索过程，需要耗费大量的时间和资源。而次优解往往可以通过更简单的算法或启发式搜索方法来找到，从而降低了计算成本。
实用性：在实际应用中，我们通常更关注解决问题的效果，并不要求达到绝对最优。次优解可以在合理的时间范围内得到，并且可能已经能够满足问题的要求，无需进一步的优化。
不确定性和噪声：在现实问题中，存在各种不确定性和噪声因素，例如测量误差、环境扰动等。这些因素会导致模型函数的不确定性，使得准确找到全局最优解变得困难。而次优解在一定程度上对这些因素更加鲁棒，可以在噪声或不确定性的情况下仍然表现良好。
因此，当使用算法来求解模型函数问题时，我们更多关注次优解，即相对较好的解决方案，而不要求找到全局最优解。通过寻找次优解，我们可以在合理的时间和资源范围内得到令人满意的解决方案，并且在实际应用中具有实用性和鲁棒性。
请参阅图2，为基于移动边缘计算的车联网系统结构图，在步骤S1中，考虑了一个基于移动边缘计算的车联网系统，该系统中的RSU部署了边缘服务器和吸能装置。车辆可以将计算任务 卸载到本地或MEC（边缘）服务器，其中/>表示时隙t的计算任务大小，/>表示CPU的计算周期。/>∈{0,1}表示卸载决策。如果/>=0，则任务在本地执行，若/>=1，则任务被卸载到边缘服务器。
在其中一些实施例中，所述射频能量收集模型为：
；
其中，N表示环境中的射频数量，t表示时隙，和/>分别表示第n个环境射频发射源在时隙t时的发射功率和发射天线增益，/>表示第i个路侧单元的接收天线增益，C表示电磁波在自由空间中的传播速率，/>表示第n个环境射频发射源和第i个路侧单元之间的距离，/>表示路侧单元的接收效率，/>表示从射频发射源获取能量的持续时间，/>表示第n个环境射频发射源在时隙t时的发射频率。
在其中一些实施例中，所述计算卸载模型为：
；
；
其中，表示本地计算时延，/>表示任务卸载到第i个路侧单元在时隙t时的边缘服务器传输时延，/>表示第i个路侧单元在时隙t时的边缘服务器计算时延，/>表示本地计算能耗，/>表示数据传输能耗。
进一步地，所述本地计算时延的计算公式为：
；
；
其中，表示第i个路侧单元的CPU周期频率，/>表示时隙t处计算任务的大小，/>表示CPU的计算周期；/>表示卸载决策，当/>=0时，任务被卸载到本地执行，当/>=1时，任务被卸载到边缘服务器执行；
任务卸载到边缘服务器时，所述边缘服务器传输时延的计算公式为：
；
其中，表示从第i个车辆到路侧单元的上行链路数据传输速率，所述上行链路数据传输速率的计算公式为：
；
其中，B表示所有路侧单元的共享带宽，表示分配给第i个路侧单元在时隙t时的带宽百分比，/>表示第i个路侧单元的信噪比，表示为/>，/>和/>分别表示第i个路侧单元在时隙t时的信道增益和传输功率，σ表示高斯白噪声的平均功率；
所述边缘服务器计算时延的计算公式为：
；
其中，表示边缘服务器为卸载任务分配的CPU周期频率。
因此，步骤S2中的时延模型最终可表示为：
。
在其中一些实施例中，所述步骤S2中，本地计算能耗的计算公式为：
；
其中，是一个与设备芯片体系结构相关的常数，/>=10-26，/>表示数据传输能耗，所述数据传输能耗的计算公式为：
。
因此，步骤S2中的能耗模型最终可表示为：
。
在其中一些实施例中，所述剩余能量的计算公式为：
。
便于理解地，假设一共仿真T=50个时隙，而现在已经仿真到t=20个时隙了，则从开始到现在的任务成功率为i=1,2……20时隙成功的任务数除以t=20。
在其中一些实施例中，所述体验质量模型为：
；
s.t.；
；
；
；
；
；
其中，为路侧单元的数量，b1和b2为均衡系数，b1+b2＝1，约束C1表示第i个车辆设备执行本地计算任务时的CPU周期频率/>不能超过本地最大CPU周期频率/>；约束C2表示分配给/>个路侧单元的CPU周期频率/>之和不能超过边缘服务器的总计算资源频率/>；约束C3表示传输功率/>不能高于最大值/>；约束C4和约束C5分别表示所述总时延不能高于最大值s及所述剩余能量不能高于最大值E；约束C6表示卸载决策，/>=0表示任务被卸载到本地执行，/>=1，表示任务被卸载到边缘服务器执行。
其中，卸载决策中的本地执行是指将计算任务在本地设备上执行，而不将其卸载到边缘服务器或云服务器上。本地执行可以指在车辆或其他终端设备上进行计算任务的处理和执行。通过本地执行，计算任务可以在终端设备上快速执行，减少传输延迟，并在不依赖外部网络连接的情况下完成。这对于一些要求实时性、对网络连通性要求较低的任务非常重要。本地执行可以利用车辆自身的计算资源，如嵌入式处理器、GPU等，对数据进行实时处理和分析。
在其中一些实施例中，所述步骤S4具体包括：
基于双延迟深度确定性策略梯度算法，使演员网络根据当前状态来执行动作，以获得更新状态和更新奖励；
演员目标网络基于所述更新状态作出动作，并选取两个评论家目标网络中的最小值作为目标值；
通过最小化估计值和所述目标值之间的误差来更新评论家网络，并在所述评论家网络更新若干次后，更新所述演员网络。
进一步地，采用双延迟深度确定性策略梯度算法解决模型中的优化问题，详细过程如图3所示，具体为：
(1)演员网络根据状态执行动作/>，将获得新的状态/>和奖励/>，然后将它们放入体验回放池。
(2) 演员目标网络基于新状态作出动作/>。
(3)取评论家目标网络1和评论家目标网络2的最小值作为目标值。
(4)通过最小化估计值、/>和目标值/>之间的误差来更新评论家网络1和评论家网络2，以抑制网络对状态动作价值的高估。此外，最新的网络参数将定期复制到目标网络。
便于理解地，如图3所示，算法的状态，动作/>和奖励/>如下所示。
（a）：路侧单元（RSU）可以在时隙t获得该服务的i个任务，任务的数据大小为，i={1，2，…，I}，信道增益为/>，i={1，2，…，I}，边缘服务器剩余的计算资源的百分比是，i={1，2，…，I}。矢量/>表示当前状态，可以定义为。
（b）：动作/>表示卸载过程，可以用/>表示，包括本地计算（/>=0）和边缘计算（/>=1）。因此，动作可以定义为/>。
（c）代理完成一步后将获得奖励，一般来说，奖励与目标函数有关。在本发明中，将延迟、剩余能量和任务成功率相结合，以保证车联网系统的服务质量，因此，奖励可以定义为：
＝/>；
算法详细过程如下：
（1）初始化带有随机参数，/>，/>的评论家网络/>，/>和演员网络/>。
（2）初始评论家网络参数，/>，演员网络参数/>，即
，/>，/>。
（3）初始化经验池。
（4）重置环境状态，令奖励/>=0。
（5）根据演员目标网络的策略函数选择一个动作/>。
（6）执行动作并观察奖励/>和下一个状态/>。
（7）将存储在经验池B中。
（8）从经验池B中的里面采样出N个数据。
（9）将下一个时隙状态，输入到演员目标网络的策略函数/>中，得到演员目标网络的下一时隙状态动作/>，即/>。
（10）将下一时隙状态动作输入两个评论家目标网络，取两个评论家目标网络的较小值/> 来计算评论家目标网络值y，公式为/>，其中，/>为衰减因子。
（11）使用均方差损失函数更新评论家网络参数/>。可表示为：/>。
（12）通过确定的策略梯度函数，更新演员网络的所有参数/>。其中，/>表示对/>中的A求导，/>表示对当前网络策略函数/>中的随机参数/>进行求导。
（13）最后采用软更新的方式，对评论家目标网络参数和演员目标网络参数进行更新，表示为:，/>，其中/>表示软更新系数。
综上，本发明所述实施例当中的基于移动边缘计算的计算卸载方法，通过建立射频能量收集模型及计算卸载模型，并联合时延、剩余能量和任务成功率建立体验质量（NQoE，New Quality of Experience）模型，并基于双延迟深度确定性策略梯度算法来获得次优解，确保了车联网通信过程中的服务质量，达到了绿色节能的目的。
实施例二
本发明第二实施例提供了一种基于移动边缘计算的计算卸载系统，包括计算模块、卸载评估模块、卸载决策模块及卸载优化模块。
所述计算模块用于构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量。
优选地，所述射频能量收集模型为：
；
其中，N表示环境中的射频数量，t表示时隙，和/>分别表示第n个环境射频发射源在时隙t时的发射功率和发射天线增益，/>表示第i个路侧单元的接收天线增益，C表示电磁波在自由空间中的传播速率，/>表示第n个环境射频发射源和第i个路侧单元之间的距离，/>表示所述路侧单元的接收效率，/>表示从所述射频发射源获取能量的持续时间，表示第n个环境射频发射源在时隙t时的发射频率。
所述卸载评估模块用于构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率。
优选地，所述计算卸载模型为：
；
；
其中，表示本地计算时延，/>表示任务卸载到第i个路侧单元在时隙t时的边缘服务器传输时延，/>表示第i个路侧单元在时隙t时的边缘服务器计算时延，/>表示本地计算能耗，/>表示数据传输能耗。/>
所述本地计算时延的计算公式为：
；
；
其中，表示第i个路侧单元的CPU周期频率，/>表示时隙t处计算任务的大小，/>表示CPU的计算周期；/>表示卸载决策，当/>=0时，任务被卸载到本地执行，当/>=1时，任务被卸载到边缘服务器执行；
任务卸载到边缘服务器时，任务数据的传输时延的计算公式为：
；
其中，表示从第i个车辆到路侧单元的上行链路数据传输速率，所述上行链路数据传输速率的计算公式为：
；
其中，B表示所有路侧单元的共享带宽，表示分配给第i个路侧单元在时隙t时的带宽百分比，/>表示第i个路侧单元的信噪比，表示为/>，/>和/>分别表示第i个路侧单元在时隙t时的信道增益和传输功率，σ表示高斯白噪声的平均功率；
所述边缘服务器计算时延的计算公式为：
；
其中，表示边缘服务器为卸载任务分配的CPU周期频率。
进一步地，所述本地计算能耗的计算公式为：
；
其中，是一个与设备芯片体系结构相关的常数，/>=10-26，/>表示数据传输能耗，所述数据传输能耗的计算公式为：
。
优选地，所述剩余能量的计算公式为：
。
所述卸载决策模块用于基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策。
优选地，所述体验质量模型为：
；
s.t.；/>
；
；
；
；
；
其中，为路侧单元的数量，b1和b2为均衡系数，b1+b2＝1，约束C1表示第i个车辆设备执行本地计算任务时的CPU周期频率/>不能超过本地最大CPU周期频率/>；约束C2表示分配给/>个路侧单元的CPU周期频率/>之和不能超过边缘服务器的总计算资源频率/>；约束C3表示传输功率/>不能高于最大值/>；约束C4和约束C5分别表示所述总时延不能高于最大值s及所述剩余能量不能高于最大值E；约束C6表示卸载决策，/>=0表示任务被卸载到本地执行，/>=1，表示任务被卸载到边缘服务器执行。
所述卸载优化模块用于采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
优选地，所述卸载优化模块具体用于：
基于双延迟深度确定性策略梯度算法，并使用两组评论家网络来表示不同的Q值，并选择最小的一个作为更新的目标Q值，以抑制网络状态动作价值的高估；
在计算目标值时，对下一个状态的作用添加扰动，使所述目标值的评估更准确；
在所述评论家网络更新几次后，更新演员网络，以提高演员网络的稳定性，从而提高所述卸载决策的准确性。
综上，本实施例中的基于移动边缘计算的计算卸载系统，通过建立射频能量收集模型及计算卸载模型，并联合时延、剩余能量和任务成功率建立体验质量模型，并基于双延迟深度确定性策略梯度算法来获得次优解，确保了车联网通信过程中的服务质量，达到了绿色节能的目的。
实施例三
本发明第三实施例提供了一种基于移动边缘计算的计算卸载系统，本实施例中的基于移动边缘计算的计算卸载系统与第二实施例中的基于移动边缘计算的计算卸载系统的区别在于：
在本实施例中，所述吸能装置包括天线、能量转换装置，及能量存储装置：
所述天线包括三角贴片天线主体、分别设于所述三角贴片天线主体的三个边角处的一阶三角贴片，及分别设于各所述一阶三角贴片的三个边角处的二阶三角贴片。所述天线的结构如图5所示。在图5中的（a）中，以三角形三个顶点为中心，以d为比例系数，迭代三个边长为b•d的三角贴片，得到一阶三角贴片，如图5中的（b）所示。对三角形的顶点再次进行贴片设计，迭代出边长为b•d•d的三角贴片，即二阶三角贴片，如图5中的（c）。图5中所述天线具体尺寸可根据RSU进行调节，其中主体部分为天线的结构体，三角贴片天线主体的中部为镂空部分，长度为c。
如上所设计的天线不仅可以降低谐振频率，增加工作频带，而且还可以缩小天线尺寸，简化电路设计，降低制造成本。
所述能量转换装置包括与所述天线连接的桥式整流器，所述桥式整流器用于将所述天线接收到的射频信号转化为直流信号。所述桥式整流器由四个整流二极管进行桥式连接，中间包裹绝缘塑料，最外面覆盖金属，以增强其散热性。所选择的桥式整流器，整流效率高，性能稳定优良，能与所设计的天线进行较佳的配合。
所述能量存储装置包括与所述桥式整流器连接的电化学双层电容器，所述电化学双层电容器包括与用电设备连接的两个集电极、设于两个所述集电极之间的隔膜层，分别设于两个集电极一侧的活性炭颗粒层，及设于所述活性炭颗粒层与所述隔膜层之间的电解液。
所述能量存储装置为电化学双层电容器，由内而外分别为乙腈电解液、纸隔膜、活性炭电极和铝电极，结构如图6所示。所述所涉及的电化学双层电容器具有高电流脉冲和低电流特性，并且使用寿命长，无需更换，非常适合车联网环境中的能量存储。
所述吸能装置的结构示意图如图4所示，首先，三角贴片天线大量收集外界中的RF信号，将其传递到桥式整流器，随后桥式整流器将RF信号转换为DC信号，最后，将收集的能量存储到电化学双层电容器中，供用电设备使用。
综上，本实施例中的基于移动边缘计算的计算卸载系统，通过建立射频能量收集模型及计算卸载模型，并联合时延、剩余能量和任务成功率建立体验质量模型，并基于双延迟深度确定性策略梯度算法来获得次优解，确保了车联网通信过程中的服务质量，达到了绿色节能的目的；
同时，三角贴片天线的设计有效降低了天线的尺寸和成本，提高了其频率工作范围，可以更高效的收集RF射频能量，桥式整流器的使用，可以有效的将天线接收到的RF信号转换为DC信号，使用的电化学双层电容器，具有储存能量多，使用寿命长等特点，降低了电池更换的成本。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多种变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于移动边缘计算的计算卸载方法，其特征在于，包括以下步骤：
步骤S1，构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量；
步骤S2，构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率；
其中，所述任务成功率的计算公式为：
；
式中，表示对计算任务时延的约束值，/>表示指示函数，当/>为真时，所述指示函数的值为1，否则值为0，T表示时隙数，/>表示用电设备在时隙t处的剩余能量，/>表示第i个路侧单元在时隙t时的总能耗，/>表示第i个路侧单元在时隙t时的总时延；
步骤S3，基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策；
步骤S4，采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
2.根据权利要求1所述的基于移动边缘计算的计算卸载方法，其特征在于，所述射频能量收集模型为：
；
其中，N表示环境中的射频数量，t表示时隙，和/>分别表示第n个环境射频发射源在时隙t时的发射功率和发射天线增益，/>表示第i个路侧单元的接收天线增益，C表示电磁波在自由空间中的传播速率，/>表示第n个环境射频发射源和第i个路侧单元之间的距离，表示路侧单元的接收效率，/>表示从射频发射源获取能量的持续时间，/>表示第n个环境射频发射源在时隙t时的发射频率。
3.根据权利要求2所述的基于移动边缘计算的计算卸载方法，其特征在于，所述计算卸载模型为：
；
；
其中，表示本地计算时延，/>表示任务卸载到第i个路侧单元在时隙t时的边缘服务器传输时延，/>表示第i个路侧单元在时隙t时的边缘服务器计算时延，/>表示本地计算能耗，/>表示数据传输能耗。
4.根据权利要求3所述的基于移动边缘计算的计算卸载方法，其特征在于，
所述本地计算时延的计算公式为：
；
；
其中，表示第i个路侧单元的CPU周期频率，/>表示时隙t处计算任务的大小，/>表示CPU的计算周期；/>表示卸载决策，当/>=0时，任务被卸载到本地执行，当/>=1时，任务被卸载到边缘服务器执行；
任务卸载到边缘服务器时，所述边缘服务器传输时延的计算公式为：
；
其中，表示从第i个车辆到路侧单元的上行链路数据传输速率，所述上行链路数据传输速率的计算公式为：
；
其中，B表示所有路侧单元的共享带宽，表示分配给第i个路侧单元在时隙t时的带宽百分比，/>表示第i个路侧单元的信噪比，表示为/>，/>和/>分别表示第i个路侧单元在时隙t时的信道增益和传输功率，σ表示高斯白噪声的平均功率；
所述边缘服务器计算时延的计算公式为：
；
其中，表示边缘服务器为卸载任务分配的CPU周期频率。
5.根据权利要求4所述的基于移动边缘计算的计算卸载方法，其特征在于，
所述本地计算能耗的计算公式为：
；
其中，是一个与设备芯片体系结构相关的常数，/>=10-26，/>表示数据传输能耗，所述数据传输能耗的计算公式为：
。
6.根据权利要求5所述的基于移动边缘计算的计算卸载方法，其特征在于，
所述剩余能量的计算公式为：
。
7.根据权利要求6所述的基于移动边缘计算的计算卸载方法，其特征在于，在所述步骤S3中，所述体验质量模型为：
；
s.t.；
；
；
；
；
；
其中，为路侧单元的数量，b1和b2为均衡系数，b1+b2＝1，约束C1表示第i个车辆设备执行本地计算任务时的CPU周期频率/>不能超过本地最大CPU周期频率/>；约束C2表示分配给/>个路侧单元的CPU周期频率/>之和不能超过边缘服务器的总计算资源频率/>；约束C3表示传输功率/>不能高于最大值/>；约束C4和约束C5分别表示所述总时延不能高于最大值s及所述剩余能量不能高于最大值E；约束C6表示卸载决策，/>=0表示任务被卸载到本地执行，/>=1，表示任务被卸载到边缘服务器执行。
8.根据权利要求1所述的基于移动边缘计算的计算卸载方法，其特征在于，所述步骤S4具体包括：
基于双延迟深度确定性策略梯度算法，使演员网络根据当前状态来执行动作，以获得更新状态和更新奖励；
演员目标网络基于所述更新状态作出动作，并选取两个评论家目标网络中的最小值作为目标值；
通过最小化估计值和所述目标值之间的误差来更新评论家网络，并在所述评论家网络更新若干次后，更新所述演员网络。
9.一种基于移动边缘计算的计算卸载系统，其特征在于，包括：
计算模块，用于构建射频能量收集模型，并基于所述射频能量收集模型计算得到吸能装置获取的射频能量；
卸载评估模块，用于构建计算卸载模型，基于所述计算卸载模型得到本地计算和边缘服务器计算的总时延以及总能耗，并以所述总时延和所述总能耗为约束条件获得任务成功率；
其中，所述任务成功率的计算公式为：
；
式中，表示对计算任务时延的约束值，/>表示指示函数，当/>为真时，所述指示函数的值为1，否则值为0，T表示时隙数，/>表示用电设备在时隙t处的剩余能量，/>表示第i个路侧单元在时隙t时的总能耗，/>表示第i个路侧单元在时隙t时的总时延；
卸载决策模块，用于基于所述射频能量、综合考虑所述总时延、所述剩余能量及所述任务成功率建立体验质量模型，以基于所述体验质量模型提出卸载决策；
卸载优化模块，用于采用双延迟深度确定性策略梯度算法求解所述体验质量模型，以获得所述卸载决策的次优解。
10.根据权利要求9所述的基于移动边缘计算的计算卸载系统，其特征在于，所述吸能装置包括：
天线，所述天线包括三角贴片天线主体、分别设于所述三角贴片天线主体的三个边角处的一阶三角贴片，及分别设于各所述一阶三角贴片的三个边角处的二阶三角贴片；
能量转换装置，所述能量转换装置包括与所述天线连接的桥式整流器，所述桥式整流器用于将所述天线接收到的射频信号转化为直流信号；
能量存储装置，所述能量存储装置包括与所述桥式整流器连接的电化学双层电容器，所述电化学双层电容器包括与用电设备连接的两个集电极、设于两个所述集电极之间的隔膜层，分别设于两个集电极一侧的活性炭颗粒层，及设于所述活性炭颗粒层与所述隔膜层之间的电解液。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973145.9A CN116709428B (zh) | 2023-08-04 | 2023-08-04 | 一种基于移动边缘计算的计算卸载方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973145.9A CN116709428B (zh) | 2023-08-04 | 2023-08-04 | 一种基于移动边缘计算的计算卸载方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116709428A true CN116709428A (zh) | 2023-09-05 |
| CN116709428B CN116709428B (zh) | 2023-11-24 |
Family
ID=87843647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310973145.9A Active CN116709428B (zh) | 2023-08-04 | 2023-08-04 | 一种基于移动边缘计算的计算卸载方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116709428B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112512063A (zh) * | 2020-11-25 | 2021-03-16 | 福州大学 | 基于射频能量收集的无人机协助边缘计算的资源分配方法 |
| US20210136142A1 (en) * | 2018-07-27 | 2021-05-06 | Huawei Technologies Co., Ltd. | Task offloading and routing in mobile edge cloud networks |
| CN113207136A (zh) * | 2021-04-02 | 2021-08-03 | 北京科技大学 | 一种联合优化计算卸载和资源分配的方法及装置 |
| US20210266834A1 (en) * | 2020-02-25 | 2021-08-26 | South China University Of Technology | METHOD OF MULTI-ACCESS EDGE COMPUTING TASK OFFLOADING BASED ON D2D IN INTERNET OF VEHICLES (IoV) ENVIRONMENT |
| CN113950066A (zh) * | 2021-09-10 | 2022-01-18 | 西安电子科技大学 | 移动边缘环境下单服务器部分计算卸载方法、系统、设备 |
| CN114564248A (zh) * | 2022-02-23 | 2022-05-31 | 重庆邮电大学 | 移动边缘计算中一种根据用户移动模式计算卸载的方法 |
| US20220210686A1 (en) * | 2020-07-15 | 2022-06-30 | Nantong University | Energy-efficient optimized computing offloading method for vehicular edge computing network and system thereof |
| CN114828018A (zh) * | 2022-03-30 | 2022-07-29 | 同济大学 | 一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法 |
| US20230239903A1 (en) * | 2022-01-27 | 2023-07-27 | Nanjing University Of Posts And Telecommunications | Multi-task joint computing unloading and resource allocation method based on d2d communication |
-
2023
- 2023-08-04 CN CN202310973145.9A patent/CN116709428B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210136142A1 (en) * | 2018-07-27 | 2021-05-06 | Huawei Technologies Co., Ltd. | Task offloading and routing in mobile edge cloud networks |
| US20210266834A1 (en) * | 2020-02-25 | 2021-08-26 | South China University Of Technology | METHOD OF MULTI-ACCESS EDGE COMPUTING TASK OFFLOADING BASED ON D2D IN INTERNET OF VEHICLES (IoV) ENVIRONMENT |
| US20220210686A1 (en) * | 2020-07-15 | 2022-06-30 | Nantong University | Energy-efficient optimized computing offloading method for vehicular edge computing network and system thereof |
| CN112512063A (zh) * | 2020-11-25 | 2021-03-16 | 福州大学 | 基于射频能量收集的无人机协助边缘计算的资源分配方法 |
| CN113207136A (zh) * | 2021-04-02 | 2021-08-03 | 北京科技大学 | 一种联合优化计算卸载和资源分配的方法及装置 |
| CN113950066A (zh) * | 2021-09-10 | 2022-01-18 | 西安电子科技大学 | 移动边缘环境下单服务器部分计算卸载方法、系统、设备 |
| US20230239903A1 (en) * | 2022-01-27 | 2023-07-27 | Nanjing University Of Posts And Telecommunications | Multi-task joint computing unloading and resource allocation method based on d2d communication |
| CN114564248A (zh) * | 2022-02-23 | 2022-05-31 | 重庆邮电大学 | 移动边缘计算中一种根据用户移动模式计算卸载的方法 |
| CN114828018A (zh) * | 2022-03-30 | 2022-07-29 | 同济大学 | 一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法 |
Non-Patent Citations (7)
| Title |
|---|
| HAN HU: "Energy Efficiency and Delay Tradeoff in an MEC-Enabled Mobile IoT Network", 《IEEE》 * |
| JUNHUI ZHAO: "A TP-DDPG Algorithm Based on Cache Assistance for Task Offloading in Urban Rail Transit", 《IEEE》 * |
| 单运: "面向输电线路巡检的多无人机任务卸载策略研究", 《中国硕士学位论文全文数据库》 * |
| 卢海峰;顾春华;罗飞;丁炜超;杨婷;郑帅;: "基于深度强化学习的移动边缘计算任务卸载研究", 计算机研究与发展, no. 07 * |
| 张文献;杜永文;张希权;: "面向多用户移动边缘计算轻量任务卸载优化", 小型微型计算机系统, no. 10 * |
| 李霆;: "移动边缘计算系统中的卸载和计算联合优化", 电脑知识与技术, no. 25 * |
| 赵军辉: "面向IoT的两级多接入边缘计算节能卸载策略", 《计算机工程与应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116709428B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111586696B (zh) | 一种基于多智能体架构强化学习的资源分配及卸载决策方法 | |
| CN110928654B (zh) | 一种边缘计算系统中分布式的在线任务卸载调度方法 | |
| CN109743741B (zh) | 无线路由器部署方法、装置、存储介质及电子设备 | |
| US8855011B2 (en) | Distributed transforms for efficient data gathering in sensor networks | |
| CN109151864B (zh) | 一种面向移动边缘计算超密集网络的迁移决策与资源优化分配方法 | |
| CN101790251A (zh) | 基于改进粒子群优化算法的无线传感器节点联盟生成方法 | |
| CN113590232A (zh) | 一种基于数字孪生的中继边缘网络任务卸载方法 | |
| Zheng et al. | Age-based utility maximization for wireless powered networks: A stackelberg game approach | |
| Kaur et al. | Adaptive MAC protocol for solar energy harvesting based wireless sensor networks in agriculture | |
| CN113821346B (zh) | 基于深度强化学习的边缘计算中计算卸载与资源管理方法 | |
| CN116709428B (zh) | 一种基于移动边缘计算的计算卸载方法及系统 | |
| CN106921985A (zh) | 一种超密集网络的自组织优化方法及装置 | |
| Xiong et al. | An Energy Aware Algorithm for Edge Task Offloading. | |
| CN117528649A (zh) | 建立端边云系统架构的方法、任务卸载和资源分配优化方法及端边云系统架构 | |
| CN116828534A (zh) | 基于强化学习的密集网络大规模终端接入与资源分配方法 | |
| CN114615705B (zh) | 一种基于5g网络下单用户资源分配策略方法 | |
| Liu et al. | Learning-based multi-UAV assisted data acquisition and computation for information freshness in WPT enabled space-air-ground PIoT | |
| CN112449016B (zh) | 一种任务卸载方法、装置、存储介质及电子设备 | |
| CN114698125A (zh) | 移动边缘计算网络的计算卸载优化方法、装置及系统 | |
| CN113553188A (zh) | 一种基于改进天牛须算法的移动边缘计算卸载方法 | |
| Xiao et al. | Adaptive freeshape clustering for balanced energy saving in the WirelessHART networks | |
| Redhu et al. | Energy-efficient wake-up radio protocol using optimal sensor-selection for iot | |
| CN113157344A (zh) | 移动边缘计算环境下基于drl的能耗感知任务卸载方法 | |
| CN115226130B (zh) | 基于公平性感知的多无人机数据卸载方法及相关设备 | |
| CN115515144B (zh) | 一种异构AIoT自组网信号全覆盖方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |