CN115052262A - 一种基于势博弈的车联网计算卸载与功率优化方法 - Google Patents

一种基于势博弈的车联网计算卸载与功率优化方法 Download PDF

Info

Publication number
CN115052262A
CN115052262A CN202210710038.2A CN202210710038A CN115052262A CN 115052262 A CN115052262 A CN 115052262A CN 202210710038 A CN202210710038 A CN 202210710038A CN 115052262 A CN115052262 A CN 115052262A
Authority
CN
China
Prior art keywords
task
vehicle
unloading
requesting
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210710038.2A
Other languages
English (en)
Inventor
王书墨
宋晓勤
宋铁成
彭昱捷
杨雨露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute Of Southeast University
Original Assignee
Shenzhen Institute Of Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute Of Southeast University filed Critical Shenzhen Institute Of Southeast University
Priority to CN202210710038.2A priority Critical patent/CN115052262A/zh
Publication of CN115052262A publication Critical patent/CN115052262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02Resource partitioning among network components, e.g. reuse partitioning
    • H04W16/10Dynamic resource partitioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/06Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/04Wireless resource allocation
    • H04W72/044Wireless resource allocation based on the type of the allocated resource
    • H04W72/0473Wireless resource allocation based on the type of the allocated resource the resource being transmission power
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,有剩余计算资源的车辆可以作为车载云服务器为其他车辆提供计算资源,V2I链路和V2V链路通过5G切片技术接入不同切片互不干扰。首先通过势博弈得到任务请求车辆的卸载决策,即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器。对决定任务卸载的任务请求车辆,基于深度强化学习,采用分布式的资源分配方法,不需要基站集中调度信道状态信息,将每辆决定任务卸载的任务请求车辆视为智能体,基于本地观察状态信息来选择发射功率。该算法能够在最大发射功率的限制下,最小化系统时延。本发明使用势博弈和DDPG算法相结合可以有效解决移动边缘服务器和车载云服务器协同计算卸载场景下的卸载决策和功率优化的联合问题,可以在一系列连续状态空间的优化中表现稳定。

Description

一种基于势博弈的车联网计算卸载与功率优化方法
技术领域
本发明涉及一种车联网技术,尤其涉及一种车联网的计算卸载与功率优化方法,更具体地说,涉及一一种基于势博弈的车联网计算卸载与功率优化方法。
背景技术
车载网络是近几年新兴的一种网络模式,旨在实现车辆之间的数据传输,进而实现对城市交通的控制和管理。在这种新的模式下,信息传输和网络访问可以通过车辆到万物(vehicle-to-everything,V2X)实现,包括车辆到车辆(vehicle-to-vehicle,V2V)和车辆到基础设施(vehicle-to-infrastructure,V2I)通信。车载网络的发展推动了车联网的发展,兴起了各种车辆应用,如路线规划、自动驾驶和信息娱乐应用。这些应用既可以保证出行安全,也可以提供旅途中的娱乐互联。然而这些应用大多是延迟敏感的、资源密集型的,具有计算复杂、能量需求高的特点。目前许多车辆的存储能力仍然有限,计算资源不足,无法满足这些应用严格的延迟约束。移动边缘计算(mobile edge computation,MEC)通过在网络边缘部署计算和存储资源,可以为车辆提供低延迟计算服务,且随着车辆在增强边缘智能方面的发展,车辆配备了越来越多的计算和存储资源,人们提出了车载云的概念,即车辆可以通过共享其剩余的计算资源作为车载云服务器,其他车辆和行人等用户可以将计算任务卸载给其计算。
高度动态的车辆环境给计算卸载决策和资源分配带来了更多的不确定性。首先,由于车辆的移动性,车载网络的拓扑结构和无线信道状态随着时间的推移而快速变化。其次,车载云服务器的计算资源是异构性的,并且随着时间的推移而波动。这些因素通常很难预测,但会显著影响计算任务的延迟。
因此,本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,该方法针对移动边缘服务器和车载云服务器协同计算卸载的场景,并以系统时延最小化作为计算迁移和资源分配的优化目标,在复杂度和性能之间取得了很好的平衡。
发明内容
发明目的:针对现有技术存在的上述问题,提出一种基于势博弈的车联网计算卸载与功率优化方法,有剩余计算资源的车辆可以作为车载云服务器为其他车辆提供计算资源。该方法拟采用混合频谱接入技术进行传输,实现系统时延最小化。
技术方案:针对移动边缘服务器和车载云服务器协同计算卸载的场景,以合理高效的计算卸载决策和功率分配达到系统时延最小化的目的。为降低系统时延同时提升频谱利用率,采用混合频谱接入技术进行传输,V2I链路和V2V链路通过5G切片技术接入不同切片互不干扰。首先通过势博弈得到任务请求车辆的卸载决策,即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器。对决定任务卸载的任务请求车辆,采用分布式的资源分配方法,不需要基站集中调度信道状态信息,将每辆决定任务卸载的任务请求车辆视为智能体,基于本地观察状态信息来选择发射功率。通过建立深度强化学习模型,利用深度确定性策略梯度算法(Deep Deterministic PolicyGradient,DDPG)优化深度强化学习模型。根据优化后的DDPG模型,得到每辆决定任务卸载的任务请求车辆的发射功率。完成上述发明通过以下技术方案实现:一种基于势博弈的车联网计算卸载与功率优化方法,包括步骤如下:
(1),在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器和MEC服务器;
(2),建立包括N个任务请求车辆,Nsev个车载云服务器和一个配备MEC服务器的路侧单元的通信模型和计算模型,进而建立计算卸载和功率优化模型;
(3),每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
(4),基于势博弈得到每辆车的卸载决策即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型;
(5),基于DDPG训练深度强化学习模型;
(6),在执行阶段,任务请求车辆通过势博弈得到任务卸载决策,决定卸载的任务请求车辆n0根据本地观察获得当前状态
Figure BSA0000275897290000021
对所有卸载决策不为本地计算的任务请求车辆利用训练好的深度强化学习模型获取发射功率;
进一步的,所述步骤(2)包括如下具体步骤:
(2a),建立车联网计算卸载的通信模型,系统包括N个任务请求车辆,Nsev个车载云服务器和一个部署MEC服务器的路侧单元,任务请求车辆用集合
Figure BSA0000275897290000022
表示,集合
Figure BSA0000275897290000023
表示车载云服务器,任务请求车辆n的任务可以表示为
Figure BSA0000275897290000024
cn表示用户n完成任务所需的CPU周期数,sn表示用户n卸载的任务数据量大小,
Figure BSA0000275897290000025
表示用户n对任务执行的最大可容忍时延。视为每一个时隙,任务请求车辆产生一个任务,任务请求车辆n任务的卸载决策用
Figure BSA0000275897290000026
表示,an=0表示任务请求车辆n本地执行计算任务,an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,an=2表示任务请求车辆n通过V2V链路将任务卸载到距离任务请求车辆最近的车载云服务器计算。V2V通信与V2I通信采用5G切片技术互不干扰;
(2b),任务请求车辆n将任务卸载到车载云服务器nsev的信干噪比(SINR)表示为:
Figure BSA0000275897290000027
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
Figure BSA0000275897290000031
其中,
Figure BSA0000275897290000032
表示分配给任务请求车辆n将任务卸载到车载云服务器nsev的传输带宽,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,
Figure BSA0000275897290000033
表示任务请求车辆n到车载云服务器nsev的信道增益,
Figure BSA0000275897290000034
表示除任务请求车辆n以外的任务请求车辆将任务卸载到车载云服务器n′sev对任务请求车辆n的干扰
Figure BSA0000275897290000035
其中
Figure BSA0000275897290000036
an′=2时,J(an′=2)=1,否则J(an′=2)=0,
Figure BSA0000275897290000037
表示任务请求车辆n′是否将任务卸载到车载云服务器n′sev
Figure BSA0000275897290000038
表示任务请求车辆n′将任务卸载到车载云服务器n′sev
Figure BSA0000275897290000039
表示任务请求车辆n′没有将任务卸载到车载云服务器n′sev,Pn′表示任务请求车辆n′的发射功率,
Figure BSA00002758972900000310
表示任务请求车辆n′到车载云服务器n′sev的信道增益;
(2c),同样地,任务请求车辆n将任务卸载到MEC服务器的信干噪比(SINR)表示为:
Figure BSA00002758972900000311
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
Figure BSA00002758972900000312
其中,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,hn,mec表示任务请求车辆n到MEC服务器的信道增益,
Figure BSA00002758972900000313
表示除任务请求车辆n以外的任务请求车辆将任务卸载到MEC服务器对任务请求车辆n的干扰
Figure BSA00002758972900000314
其中
Figure BSA00002758972900000315
an′=1时,J(an′=1)=1,否则J(an′=1)=0,
Figure BSA00002758972900000316
表示任务请求车辆n′将任务卸载到MEC服务器,
Figure BSA00002758972900000317
表示任务请求车辆n′没有将任务卸载到MEC服务器,Pn′表示任务请求车辆n′的发射功率,hn′,mec表示任务请求车辆n′到MEC服务器的信道增益;
(2d),建立计算模型,an=0表示任务请求车辆n本地执行计算任务,
Figure BSA00002758972900000318
表示任务请求车辆n的本地计算能力,则本地计算时延为:
Figure BSA0000275897290000041
an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,任务请求车辆n将任务上传到MEC服务器的上传时延为:
Figure BSA0000275897290000042
任务请求车辆n将任务上传到MEC服务器的计算时延为:
Figure BSA0000275897290000043
Figure BSA0000275897290000044
为MEC服务器分配给任务请求车辆n的任务的计算能力。
an=2表示任务请求车辆n通过V2R链路的将任务卸载车载云服务器计算,任务请求车辆n将任务上传到车载云服务器nsev的上传时延为
Figure BSA0000275897290000045
任务请求车辆n将任务上传到车载云服务器nsev的计算时延为
Figure BSA0000275897290000046
Figure BSA0000275897290000047
为车载云服务器nsev分配给任务请求车辆n的任务的计算能力.很多研究表明,下传最终的计算结果的数据量与上传的数据量相比是很小的,所以可以忽略下发时延,故任务请求车辆n将任务卸载到MEC服务器的产生的时延为
Figure BSA0000275897290000048
任务请求车辆n将任务卸载到车载云服务器nsev产生的的时延为:
Figure BSA0000275897290000049
(2e),综上,可以建立如下的目标函数和约束条件:
Figure BSA0000275897290000051
其中,约束条件C1表明任务请求车辆n本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算,每个计算任务只能选择一种计算方式,约束条件C2表明了任务请求车辆n的本地计算能力范围,
Figure BSA0000275897290000052
是任务请求车辆n本地最大计算能力,约束条件C3和C4意味MEC服务器和车载云服务器分配给任务请求车辆n的计算能力非负,约束条件C5和C6表明MEC服务器和车载云服务器分配给任务请求车辆的计算能力不能超过其最大计算能力,Fmec是MEC服务器的最大计算能力,Fmec是车载云服务器的最大计算能力;约束条件C7和C8表明任务请求车辆n执行任务满足其最大时延约束;约束条件表明任务请求车辆n发射功率非负且满足其最大发射功率约束;
进一步,所述步骤(4)包括如下具体步骤:
(4a),基于势博弈得到每辆车是否卸载的决策,将任务车的卸载决策建模为势博弈,表示为
Figure BSA0000275897290000053
其中
Figure BSA0000275897290000054
为任务请求车辆的集合,an为任务请求车辆n的卸载决策,un为任务请求车辆n的代价函数。
在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,
Figure BSA0000275897290000055
表示所有任务请求车辆的卸载决策集合,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=0表示任务请求车辆n在本地执行计算任务。an=2表示任务请求车辆n将任务卸载到距离任务请求最近的车载云服务器进行计算。当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合。每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
Figure BSA0000275897290000061
势博弈收敛于纳什均衡,即通过最优响应迭代找到卸载决策
Figure BSA0000275897290000062
所有任务请求车辆不存在改变当前卸载决策可以最小化自身代价。
(4b),根据卸载决策
Figure BSA0000275897290000063
用集合
Figure BSA0000275897290000064
将任务请求车辆中卸载决策
Figure BSA0000275897290000065
任务请求车辆,N0表示
Figure BSA0000275897290000066
任务请求车辆的数目,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器
Figure BSA0000275897290000067
的信道状态信息
Figure BSA0000275897290000068
任务请求车辆n0到MEC的信道状态信息
Figure BSA0000275897290000069
任务请求车辆n0到车载云服务器
Figure BSA00002758972900000610
的接收到的
Figure BSA00002758972900000611
任务请求车辆n0到MEC的接收到的干扰
Figure BSA00002758972900000612
任务请求车辆n0的任务信息
Figure BSA00002758972900000613
训练回合数e和ε-贪心算法中的随机探索变量ε,即
Figure BSA00002758972900000614
Figure BSA00002758972900000615
任务请求车辆任务请求车辆视为智能体,每次车基于当前状态
Figure BSA00002758972900000616
选择发射功率;
(4c),定义动作A:每辆决定卸载的任务请求车辆n0的动作为选择的发射功率
Figure BSA00002758972900000617
为连续变量介于0到
Figure BSA00002758972900000618
任务请求车辆n0最大的发射功率;
(4d),定义奖励函数r,卸载的目标是卸载决策
Figure BSA00002758972900000619
任务请求车辆的选择发射功率,在最大发射功率的限制下,最小化卸载决策
Figure BSA00002758972900000620
任务请求车辆的任务处理时延,因此奖励函数可以表示为:
Figure BSA00002758972900000621
其中b是固定的值用来调整奖励函数的值;
(4e),依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体训练相应的动作网络和评价网络;
进一步,所述步骤(5)包括如下具体步骤:
(5a),初始化训练回合数P;
(5b),初始化P回合中的时间步t;
(5c),每个智能体即决定卸载的任务请求车辆的在线Actor策略网络根据输入状态
Figure BSA00002758972900000622
输出动作
Figure BSA00002758972900000623
在所有智能体执行相应的的动作后获取奖励rt,每个智能体转到下一状态
Figure BSA00002758972900000624
从而获得每个智能体的训练数据
Figure BSA00002758972900000625
(5d),将每个智能体的训练数据
Figure BSA0000275897290000071
存入相应的经验回放池中;
(5e),对每个智能体从经验回放池中随机采样m个训练数据
Figure BSA0000275897290000072
构成数据集,发送给在线Actor策略网络、在线Critic评价网络、目标Actor策略网络和目标Critic评价网络;
(5f),定义在线Critic评价网络的损失函数
Figure BSA0000275897290000073
通过神经网络的梯度反向传播来更新Critic当前网络的所有参数θ;
(5g),定义在线Actor策略网络的给抽样策略梯度
Figure BSA0000275897290000074
通过神经网络的梯度反向传播来更新Actor当前网络的所有参数δ;
(5h),在线训练次数达到目标网络更新频率,根据在线网络参数δ和θ分别更新目标网络参数δ′和θ′;
(5i),判断是否满足t<K,K为p回合中的总时间步,若是,t=t+1,进入步骤5c,否则,进入步骤5j;
(5j),判断是否满足p<I,I为训练回合数设定阈值,若是,p=p+1,进入步骤5b,否则,优化结束,得到优化后的深度强化学习模型。
进一步的,所述步骤(6)包括如下具体步骤:
(6a),根据每辆车迁移任务时获取周边车载云服务器和MEC计算资源占用情况以及任务信息通过势博弈得到车辆的卸载决策,对所有卸载决策不为本地计算的任务请求车辆获取该时刻的状态信息
Figure BSA0000275897290000075
(6b),每辆决定任务卸载的任务请求车辆n0,利用训练好的深度强化学习模型,输入状态信息
Figure BSA0000275897290000076
(6c),决定卸载的任务请求车辆n0输出最优动作策略
Figure BSA0000275897290000077
即得到最优的任务请求车辆发射功率
Figure BSA0000275897290000078
有益效果:本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,该方法针对移动边缘服务器和车载云服务器协同计算卸载的场景,采用混合频谱接入技术进行传输,V2V链路与V2I基于5G切片技术接入不同切片,互不干扰,通过势博弈获得任务请求车辆的卸载决策,采用深度双Q学习优化卸载的任务请求车辆的发射功率,最小化系统时延实现任务计算,本发明使用的势博弈和深度双Q学习结合的算法可以有效的解决任务请求车辆的卸载决策和发射功率的联合优化问题,在复杂度和性能之间取得了很好的平衡。。
综上所述,在移动边缘服务器和车载云服务器协同计算卸载的场景下,本发明提出的一种基于势博弈的车联网计算卸载与功率优化方法在最小化系统时延方面是优越的。
附图说明
图1为本发明实施例提供的基于势博弈的车联网计算卸载与功率优化方法的流程图;
图2为本发明实施例提供的移动边缘服务器和车载云服务器协同计算卸载的模型示意图;
图3为本发明实施例提供的深度确定性策略梯度算法框架示意图;
具体实施方式
本发明的核心思想在于:针对移动边缘服务器和车载云服务器协同计算卸载的场景,采用混合频谱接入技术进行传输,V2V链路与V2I基于5G切片技术接入不同切片,互不干扰,通过势博弈获得任务请求车辆的卸载决策,将决策为卸载的任务请求车辆视为智能体,通过建立深度强化学习模型,采用深度确定性策略梯度算法优化深度强化学习模型。根据优化后的深度强化学习模型,得到最优的卸载的任务请求车辆的发射功率,达到最小化系统时延的目的。
下面对本发明做进一步详细描述。
步骤(1),在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器或MEC服务器;
步骤(2),建立包括N个任务请求车辆,Nsev个车载云服务器和一个路侧单元的通信模型和计算模型,进而建立联合计算迁移和资源分配模型,包括如下步骤:
(2a),建立车联网计算卸载的通信模型,系统包括N个任务请求车辆,Nsev个车载云服务器和一个部署MEC服务器的路侧单元,任务请求车辆用集合
Figure BSA0000275897290000081
表示,集合
Figure BSA0000275897290000082
表示车载云服务器,任务请求车辆n的任务可以表示为
Figure BSA0000275897290000083
cn表示用户n完成任务所需的CPU周期数,sn表示用户n卸载的任务数据量大小,
Figure BSA0000275897290000084
表示用户n对任务执行的最大可容忍时延。视为每一个时隙,任务请求车辆产生一个任务,任务请求车辆n任务的卸载决策用
Figure BSA0000275897290000085
表示,an=0表示任务请求车辆n本地执行计算任务,an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,an=2表示任务请求车辆n通过V2V链路将任务卸载到距离任务请求车辆最近的车载云服务器计算。V2V通信与V2I通信采用5G切片技术互不干扰;
(2b),任务请求车辆n将任务卸载到车载云服务器nsev的信干噪比(SINR)表示为:
Figure BSA0000275897290000086
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
Figure BSA0000275897290000087
其中,
Figure BSA0000275897290000088
表示分配给任务请求车辆n将任务卸载到车载云服务器nsev的传输带宽,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,
Figure BSA0000275897290000089
表示任务请求车辆n到车载云服务器nsev的信道增益,
Figure BSA00002758972900000810
表示除任务请求车辆n以外的任务请求车辆将任务卸载到车载云服务器n′sev对任务请求车辆n的干扰
Figure BSA0000275897290000091
其中
Figure BSA0000275897290000092
an′=2时,J(an′=2)=1,否则J(an′=2)=0,
Figure BSA0000275897290000093
表示任务请求车辆n′是否将任务卸载到车载云服务器n′sev
Figure BSA0000275897290000094
表示任务请求车辆n′将任务卸载到车载云服务器n′sev
Figure BSA0000275897290000095
表示任务请求车辆n′没有将任务卸载到车载云服务器n′sev,Pn′表示任务请求车辆n′的发射功率,
Figure BSA0000275897290000096
表示任务请求车辆n′到车载云服务器n′sev的信道增益;
(2c),同样地,任务请求车辆n将任务卸载到MEC服务器的信干噪比(SINR)表示为:
Figure BSA0000275897290000097
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
Figure BSA0000275897290000098
其中,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,hn,mec表示任务请求车辆n到MEC服务器的信道增益,
Figure BSA0000275897290000099
表示除任务请求车辆n以外的任务请求车辆将任务卸载到MEC服务器对任务请求车辆n的干扰
Figure BSA00002758972900000910
其中
Figure BSA00002758972900000911
an′=1时,J(an′=1)=1,否则J(an′=1)=0,
Figure BSA00002758972900000912
表示任务请求车辆n′将任务卸载到MEC服务器,
Figure BSA00002758972900000913
表示任务请求车辆n′没有将任务卸载到MEC服务器,Pn′表示任务请求车辆n′的发射功率,hn′,mec表示任务请求车辆n′到MEC服务器的信道增益;
(2d),建立计算模型,an=0表示任务请求车辆n本地执行计算任务,
Figure BSA00002758972900000914
表示任务请求车辆n的本地计算能力,则本地计算时延为:
Figure BSA00002758972900000915
an=1表示任务请求车辆n通过V2R链路的将任务卸载到MEC服务器计算,任务请求车辆n将任务上传到MEC服务器的上传时延为:
Figure BSA00002758972900000916
任务请求车辆n将任务上传到MEC服务器的计算时延为:
Figure BSA0000275897290000101
Figure BSA0000275897290000102
为MEC服务器分配给任务请求车辆n的任务的计算能力。
an=2表示任务请求车辆n通过V2R链路的将任务卸载车载云服务器计算,任务请求车辆n将任务上传到车载云服务器nsev的上传时延为
Figure BSA0000275897290000103
任务请求车辆n将任务上传到车载云服务器nsev的计算时延为
Figure BSA0000275897290000104
Figure BSA0000275897290000105
为车载云服务器nsev分配给任务请求车辆n的任务的计算能力.很多研究表明,下传最终的计算结果的数据量与上传的数据量相比是很小的,所以可以忽略下发时延,故任务请求车辆n将任务卸载到MEC服务器的产生的时延为
Figure BSA0000275897290000106
任务请求车辆n将任务卸载到车载云服务器nsev产生的的时延为:
Figure BSA0000275897290000107
(2e),综上,可以建立如下的目标函数和约束条件:
Figure BSA0000275897290000108
其中,约束条件C1表明任务请求车辆n本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算,每个计算任务只能选择一种计算方式,约束条件C2表明了任务请求车辆n的本地计算能力范围,
Figure BSA0000275897290000111
是任务请求车辆n本地最大计算能力,约束条件C3和C4意味MEC服务器和车载云服务器分配给任务请求车辆n的计算能力非负,约束条件C5和C6表明MEC服务器和车载云服务器分配给任务请求车辆的计算能力不能超过其最大计算能力,Fmec是MEC服务器的最大计算能力,Fmec是车载云服务器的最大计算能力;约束条件C7和C8表明任务请求车辆n执行任务满足其最大时延约束;约束条件表明任务请求车辆n发射功率非负且满足其最大发射功率约束;
步骤(3),每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
步骤(4),基于势博弈得到每辆车的卸载决策,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型,包括如下具体步骤:
(4a),基于势博弈得到每辆车是否卸载的决策,将任务车的卸载决策建模为势博弈,表示为
Figure BSA0000275897290000112
其中
Figure BSA0000275897290000113
为任务请求车辆的集合,an为任务请求车辆n的卸载决策,un为任务请求车辆n的代价函数。
在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,
Figure BSA0000275897290000114
表示所有任务请求车辆的卸载决策集合,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=0表示任务请求车辆n在本地执行计算任务。an=2表示任务请求车辆n将任务卸载到距离任务请求最近的车载云服务器进行计算。当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合。每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
Figure BSA0000275897290000115
势博弈收敛于纳什均衡,即通过最优响应迭代找到卸载决策
Figure BSA0000275897290000116
所有任务请求车辆不存在改变当前卸载决策可以最小化自身代价。
(4b),根据卸载决策
Figure BSA0000275897290000117
用集合
Figure BSA0000275897290000118
将任务请求车辆中卸载决策
Figure BSA0000275897290000119
任务请求车辆,N0表示
Figure BSA00002758972900001110
任务请求车辆的数目,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器
Figure BSA00002758972900001111
的信道状态信息
Figure BSA00002758972900001112
任务请求车辆n0到MEC的信道状态信息
Figure BSA00002758972900001113
任务请求车辆n0到车载云服务器
Figure BSA0000275897290000121
的接收到的
Figure BSA0000275897290000122
任务请求车辆n0到MEC的接收到的干扰
Figure BSA0000275897290000123
任务请求车辆n0的任务信息
Figure BSA0000275897290000124
训练回合数e和ε-贪心算法中的随机探索变量ε,即
Figure BSA0000275897290000125
Figure BSA0000275897290000126
任务请求车辆任务请求车辆视为智能体,每次车基于当前状态
Figure BSA0000275897290000127
选择卸载节点和发射功率;
(4c),定义动作A:每辆决定卸载的任务请求车辆n0的动作为选择的发射功率
Figure BSA0000275897290000128
为连续变量介于0到
Figure BSA0000275897290000129
任务请求车辆n0最大的发射功率;
(4d),定义奖励函数r,卸载的目标是卸载决策
Figure BSA00002758972900001210
任务请求车辆的选择发射功率,在最大的发射功率限制下,最小化卸载决策
Figure BSA00002758972900001211
任务请求车辆的任务处理时延,因此奖励函数可以表示为:
Figure BSA00002758972900001212
其中b是固定的值用来调整奖励函数的值,
(4e),依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体训练相应的动作网络和评价网络;
步骤(5),考虑连续动作空间中的联合优化问题,利用包含深度学习拟合,软更新,回放机制三个方面的DDPG算法优化深度强化学习模型;
深度学习拟合指DDPG算法基于Actor-Critic框架,分别使用参数为θ和δ的深度神经网络来拟合确定性策略a=μ(s|θ)和动作值函数Q(s,a|δ)。
软更新指动作值网络的参数在频繁梯度更新的同时,又用于计算策略网络的梯度,使得动作值网络的学习过程很可能出现不稳定的情况,所以提出采用软更新方式来更新网络。
分别为策略网络和动作值网络创建在线网络和目标网络两个神经网络:
Figure BSA00002758972900001213
训练过程中利用梯度下降不断更新网络,目标网络的更新方式如下
θ′=τθ+(1-τ)θ 表达式18
δ′=τδ+(1-τ)δ 表达式19
经验回放机制是指与环境交互时产生的状态转换样本数据具有时序关联性,易造成动作值函数拟合的偏差。因此,借鉴深度Q学习算法的经验回放机制,将采集到的样本先放入样本池,然后从样本池中随机选出一些小批量样本用于对网络的训练。这种处理去除了样本间的相关性和依赖性,解决了数据间相关性及其非静态分布的问题,使得算法更容易收敛。
利用包含深度学习拟合,软更新,回放机制三个方面的DDPG算法优化深度强化学习模型,包括如下步骤:
(5a),初始化训练回合数P;
(5b),初始化P回合中的时间步t;
(5c),每个智能体即决定卸载的任务请求车辆的在线Actor策略网络根据输入状态
Figure BSA0000275897290000131
输出动作
Figure BSA0000275897290000132
在所有智能体执行相应的的动作后获取奖励rt,每个智能体转到下一状态
Figure BSA0000275897290000133
从而获得每个智能体的训练数据
Figure BSA0000275897290000134
(5d),将每个智能体的训练数据
Figure BSA0000275897290000135
存入相应的经验回放池中;
(5e),对每个智能体从经验回放池中随机采样m个训练数据
Figure BSA0000275897290000136
构成数据集,发送给在线Actor策略网络、在线Critic评价网络、目标Actor策略网络和目标Critic评价网络;
(5f),设置Q估计为
yi=ri+γQ′(si+1,μ′(si+1|θ′)|δ′) 表达式20
定义在线Critic评价网络的损失函数为
Figure BSA0000275897290000137
通过神经网络的梯度反向传播来更新Critic当前网络的所有参数θ;
(5g),定义在线Actor策略网络的给抽样策略梯度为
Figure BSA0000275897290000138
通过神经网络的梯度反向传播来更新Actor当前网络的所有参数δ;
(5h),在线训练次数达到目标网络更新频率,根据在线网络参数δ和θ分别更新目标网络参数δ′和θ′;
(5i),判断是否满足t<K,K为p回合中的总时间步,若是,t=t+1,进入步骤5c,否则,进入步骤5j;
(5j),判断是否满足p<I,I为训练回合数设定阈值,若是,p=p+1,进入步骤5b,否则,优化结束,得到优化后的深度强化学习模型。
步骤(6),在执行阶段,任务请求车辆通过势博弈得到任务卸载决策,决定卸载的任务请求车辆n0根据本地观察获得当前状态
Figure BSA0000275897290000141
对所有卸载决策不为本地计算的任务请求车辆利用训练好的深度强化学习模型获取发射功率,具体为:
(6a),根据每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息,通过势博弈得到车辆的卸载决策,对所有卸载决策不为本地计算的任务请求车辆获取该时刻的状态信息
Figure BSA0000275897290000142
(6b),每辆决定任务卸载的任务请求车辆n0,利用训练好的深度强化学习模型,输入状态信息
Figure BSA0000275897290000143
(6c),任务请求车辆n0输出最优动作策略
Figure BSA0000275897290000144
即得到最优的任务请求车辆发射功率
Figure BSA0000275897290000145
在图1中,描述了基于势博弈的车联网计算卸载与功率优化方法的流程图,对每辆任务请求车辆根据基于势博弈得到其卸载决策,对决定卸载的任务请求车辆基于深度强化学习模型得到其发射功率。
在图2中,描述了移动边缘服务器和车载云服务器协同计算卸载的模型示意图,即任务请求车辆可以本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算。
在图3中,描述了深度确定性策略梯度算法的算法框架包含了线Actor策略网络、在线Critic评价网络、目标Actor策略网络和目标Critic评价网络四个网络。
根据对本发明的说明,本领域的技术人员应该不难看出,本发明的基于势博弈的车联网计算卸载与功率优化方法可以有效降低系统时延。
本发明申请书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1.一种基于势博弈的车联网计算卸载与功率优化方法,其特征在于,包括步骤如下:
(1)在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器或MEC服务器;
(2)建立包括N个任务请求车辆,Nsev个车载云服务器和一个配备MEC服务器的路侧单元的通信模型和计算模型,进而建立计算卸载和功率优化模型;
(3)每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
(4)基于势博弈得到每辆车的卸载决策即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型;
(5)基于DDPG训练深度强化学习模型;
(6)在执行阶段,任务请求车辆通过势博弈得到任务卸载决策,决定卸载的任务请求车辆n0根据本地观察获得当前状态
Figure FSA0000275897280000011
对所有卸载决策不为本地计算的任务请求车辆利用训练好的深度强化学习模型获取发射功率;
进一步,所述步骤(4)包括如下具体步骤:
(4a)基于势博弈得到每辆车是否卸载的决策,将任务车的卸载决策建模为势博弈,表示为
Figure FSA0000275897280000012
其中
Figure FSA0000275897280000013
为任务请求车辆的集合,an为任务请求车辆n的卸载决策,un为任务请求车辆n的代价函数,在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,
Figure FSA0000275897280000014
表示所有任务请求车辆的卸载决策集合,an=0表示任务请求车辆n在本地执行计算任务,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=2表示任务请求车辆n将任务卸载到距离任务请求车辆n最近的车载云服务器进行计算,当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合,每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
Figure FSA0000275897280000015
其中
Figure FSA0000275897280000016
为任务请求车辆n本地计算任务的时延,
Figure FSA0000275897280000017
为任务请求车辆n将任务卸载到MEC服务器的时延,
Figure FSA0000275897280000018
为任务请求车辆n将任务卸载到距离其最近的车载云服务器nsev的时延,势博弈收敛于纳什均衡,即通过最优响应迭代找到卸载决策
Figure FSA0000275897280000019
所有任务请求车辆不存在改变当前卸载决策可以最小化自身代价;
(4b)根据卸载决策
Figure FSA0000275897280000021
用集合
Figure FSA0000275897280000022
将任务请求车辆中卸载决策
Figure FSA0000275897280000023
任务请求车辆,N0表示
Figure FSA0000275897280000024
任务请求车辆的数目,将每个决定卸载的任务请求车辆n0视为智能体,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器
Figure FSA0000275897280000025
的信道状态信息
Figure FSA0000275897280000026
任务请求车辆n0到MEC的信道状态信息
Figure FSA0000275897280000027
任务请求车辆n0到车载云服务器
Figure FSA0000275897280000028
的接收到的
Figure FSA0000275897280000029
任务请求车辆n0到MEC的接收到的干扰
Figure FSA00002758972800000210
任务请求车辆n0的任务信息
Figure FSA00002758972800000211
训练回合数e和ε-贪心算法中的随机探索变量ε,即
Figure FSA00002758972800000212
Figure FSA00002758972800000213
任务请求车辆任务请求车辆视为智能体,每次车n0基于当前状态
Figure FSA00002758972800000214
选择发射功率;
(4c)定义动作p:每辆决定卸载的任务请求车辆n0的动作为选择的发射功率
Figure FSA00002758972800000215
为连续变量介于0到
Figure FSA00002758972800000216
任务请求车辆n0最大的发射功率;
(4d)定义奖励函数r,卸载的目标是卸载决策
Figure FSA00002758972800000217
任务请求车辆的选择发射功率,在最大发射功率的限制下,最小化卸载决策
Figure FSA00002758972800000218
任务请求车辆的任务处理时延,因此奖励函数可以表示为:
Figure FSA00002758972800000219
其中b是固定的值用来调整奖励函数的值,
Figure FSA00002758972800000220
时,
Figure FSA00002758972800000221
否则
Figure FSA00002758972800000222
Figure FSA00002758972800000223
时,
Figure FSA00002758972800000224
否则
Figure FSA00002758972800000225
为决定卸载的任务请求车辆n0将任务卸载到MEC服务器的时延,
Figure FSA00002758972800000226
为决定卸载的任务请求车辆n0将任务卸载到距离其最近的车载云服务器nsev的时延;
(4e)依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体即决定卸载的任务请求车辆训练相应的动作网络和评价网络。
CN202210710038.2A 2022-06-22 2022-06-22 一种基于势博弈的车联网计算卸载与功率优化方法 Pending CN115052262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210710038.2A CN115052262A (zh) 2022-06-22 2022-06-22 一种基于势博弈的车联网计算卸载与功率优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210710038.2A CN115052262A (zh) 2022-06-22 2022-06-22 一种基于势博弈的车联网计算卸载与功率优化方法

Publications (1)

Publication Number Publication Date
CN115052262A true CN115052262A (zh) 2022-09-13

Family

ID=83162637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210710038.2A Pending CN115052262A (zh) 2022-06-22 2022-06-22 一种基于势博弈的车联网计算卸载与功率优化方法

Country Status (1)

Country Link
CN (1) CN115052262A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658251A (zh) * 2022-09-19 2023-01-31 重庆大学 联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质
CN117768923A (zh) * 2024-02-22 2024-03-26 武汉电动汽车技术开发有限公司 基于5g短切片专网的新能源汽车数据传输优化方法及系统
CN118474681A (zh) * 2024-05-24 2024-08-09 苏州市职业大学 基于边缘计算的任务卸载方法、装置、设备及存储介质
CN118509823A (zh) * 2024-07-19 2024-08-16 山东科技大学 基于策略梯度算法和博弈的分布式多维网络资源切片方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017070545A1 (en) * 2015-10-23 2017-04-27 Interdigital Technology Corporation Software-defined network enhancements enabling programmable information centric networking in edge networks
CN111182495A (zh) * 2019-12-25 2020-05-19 大连理工大学 一种5g车联网部分计算卸载方法
CN111565380A (zh) * 2020-04-21 2020-08-21 重庆邮电大学 车联网中基于noma-mec混合卸载方法
CN113543074A (zh) * 2021-06-15 2021-10-22 南京航空航天大学 一种基于车路云协同的联合计算迁移和资源分配方法
CN114116047A (zh) * 2021-11-09 2022-03-01 吉林大学 一种基于强化学习的车载计算密集型应用的v2i卸载方法
CN114528042A (zh) * 2022-01-30 2022-05-24 南京信息工程大学 基于深度强化学习的节能型自动互联车辆服务卸载方法
CN114626298A (zh) * 2022-03-14 2022-06-14 北京邮电大学 无人机辅助车联网中高效缓存和任务卸载的状态更新方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017070545A1 (en) * 2015-10-23 2017-04-27 Interdigital Technology Corporation Software-defined network enhancements enabling programmable information centric networking in edge networks
CN111182495A (zh) * 2019-12-25 2020-05-19 大连理工大学 一种5g车联网部分计算卸载方法
CN111565380A (zh) * 2020-04-21 2020-08-21 重庆邮电大学 车联网中基于noma-mec混合卸载方法
CN113543074A (zh) * 2021-06-15 2021-10-22 南京航空航天大学 一种基于车路云协同的联合计算迁移和资源分配方法
CN114116047A (zh) * 2021-11-09 2022-03-01 吉林大学 一种基于强化学习的车载计算密集型应用的v2i卸载方法
CN114528042A (zh) * 2022-01-30 2022-05-24 南京信息工程大学 基于深度强化学习的节能型自动互联车辆服务卸载方法
CN114626298A (zh) * 2022-03-14 2022-06-14 北京邮电大学 无人机辅助车联网中高效缓存和任务卸载的状态更新方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DGS/MEC-IEG004: "GROUP SPECIFICATION Mobile-Edge Computing (MEC); Service Scenarios Disclaimer This document has been produced and approved by the Mobile-Edge Computing (MEC) ", ETSI GS MEC-IEG 004, no. 1, 30 November 2015 (2015-11-30) *
张文献;杜永文;张希权;: "面向多用户移动边缘计算轻量任务卸载优化", 小型微型计算机系统, no. 10, 15 October 2020 (2020-10-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658251A (zh) * 2022-09-19 2023-01-31 重庆大学 联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质
CN117768923A (zh) * 2024-02-22 2024-03-26 武汉电动汽车技术开发有限公司 基于5g短切片专网的新能源汽车数据传输优化方法及系统
CN117768923B (zh) * 2024-02-22 2024-05-28 武汉电动汽车技术开发有限公司 基于5g短切片专网的新能源汽车数据传输优化方法及系统
CN118474681A (zh) * 2024-05-24 2024-08-09 苏州市职业大学 基于边缘计算的任务卸载方法、装置、设备及存储介质
CN118509823A (zh) * 2024-07-19 2024-08-16 山东科技大学 基于策略梯度算法和博弈的分布式多维网络资源切片方法

Similar Documents

Publication Publication Date Title
CN111414252B (zh) 一种基于深度强化学习的任务卸载方法
CN113543074B (zh) 一种基于车路云协同的联合计算迁移和资源分配方法
CN111132077B (zh) 车联网环境下基于d2d的多接入边缘计算任务卸载方法
CN109756378B (zh) 一种车载网络下的智能计算卸载方法
CN112995951B (zh) 一种采用深度确定性策略梯度算法的5g车联网v2v资源分配方法
CN115052262A (zh) 一种基于势博弈的车联网计算卸载与功率优化方法
CN115037751B (zh) 一种无人机辅助的异构车联网任务迁移与资源分配方法
CN111711666B (zh) 一种基于强化学习的车联网云计算资源优化方法
CN115277845B (zh) 基于多智能体近端策略的车联网分布式边缘缓存决策方法
Callegaro et al. Optimal edge computing for infrastructure-assisted UAV systems
CN114143346B (zh) 一种车联网任务卸载和服务缓存的联合优化方法及系统
CN111132074B (zh) 车联网环境下多接入边缘计算卸载和帧时隙资源分配方法
CN115134242B (zh) 一种基于深度强化学习策略的车载计算任务卸载方法
CN114979145B (zh) 一种车联网中集成感知、通信与缓存的内容分发方法
CN113687875A (zh) 一种车联网中车辆任务卸载方法及装置
CN116030623A (zh) 认知车联网场景下基于区块链的协作路径规划和调度方法
CN114281718A (zh) 一种工业互联网边缘服务缓存决策方法及系统
CN116916386A (zh) 一种考虑用户竞争和负载的大模型辅助边缘任务卸载方法
CN117221951A (zh) 车载边缘环境下基于深度强化学习的任务卸载方法
CN116261119A (zh) 一种车载环境下智能协同任务计算和按需资源分配方法
CN116634396A (zh) 基于图注意力的车联网多智能体边缘计算内容缓存决策方法
CN116743584B (zh) 一种基于信息感知及联合计算缓存的动态ran切片方法
CN116744367A (zh) 车联网下基于双层卸载机制和多智能体算法的卸载方法
CN115734195A (zh) 数字孪生赋能的空天地一体化网络中动态数据同步方法
CN115118783A (zh) 基于异构通信技术超可靠低时延强化学习的任务卸载方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination