CN115052262A - 一种基于势博弈的车联网计算卸载与功率优化方法 - Google Patents
一种基于势博弈的车联网计算卸载与功率优化方法 Download PDFInfo
- Publication number
- CN115052262A CN115052262A CN202210710038.2A CN202210710038A CN115052262A CN 115052262 A CN115052262 A CN 115052262A CN 202210710038 A CN202210710038 A CN 202210710038A CN 115052262 A CN115052262 A CN 115052262A
- Authority
- CN
- China
- Prior art keywords
- task
- vehicle
- unloading
- requesting
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 230000006855 networking Effects 0.000 title abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000002787 reinforcement Effects 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 claims 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000013468 resource allocation Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
- H04W16/10—Dynamic resource partitioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
- H04W72/044—Wireless resource allocation based on the type of the allocated resource
- H04W72/0473—Wireless resource allocation based on the type of the allocated resource the resource being transmission power
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,有剩余计算资源的车辆可以作为车载云服务器为其他车辆提供计算资源,V2I链路和V2V链路通过5G切片技术接入不同切片互不干扰。首先通过势博弈得到任务请求车辆的卸载决策,即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器。对决定任务卸载的任务请求车辆,基于深度强化学习,采用分布式的资源分配方法,不需要基站集中调度信道状态信息,将每辆决定任务卸载的任务请求车辆视为智能体,基于本地观察状态信息来选择发射功率。该算法能够在最大发射功率的限制下,最小化系统时延。本发明使用势博弈和DDPG算法相结合可以有效解决移动边缘服务器和车载云服务器协同计算卸载场景下的卸载决策和功率优化的联合问题,可以在一系列连续状态空间的优化中表现稳定。
Description
技术领域
本发明涉及一种车联网技术,尤其涉及一种车联网的计算卸载与功率优化方法,更具体地说,涉及一一种基于势博弈的车联网计算卸载与功率优化方法。
背景技术
车载网络是近几年新兴的一种网络模式,旨在实现车辆之间的数据传输,进而实现对城市交通的控制和管理。在这种新的模式下,信息传输和网络访问可以通过车辆到万物(vehicle-to-everything,V2X)实现,包括车辆到车辆(vehicle-to-vehicle,V2V)和车辆到基础设施(vehicle-to-infrastructure,V2I)通信。车载网络的发展推动了车联网的发展,兴起了各种车辆应用,如路线规划、自动驾驶和信息娱乐应用。这些应用既可以保证出行安全,也可以提供旅途中的娱乐互联。然而这些应用大多是延迟敏感的、资源密集型的,具有计算复杂、能量需求高的特点。目前许多车辆的存储能力仍然有限,计算资源不足,无法满足这些应用严格的延迟约束。移动边缘计算(mobile edge computation,MEC)通过在网络边缘部署计算和存储资源,可以为车辆提供低延迟计算服务,且随着车辆在增强边缘智能方面的发展,车辆配备了越来越多的计算和存储资源,人们提出了车载云的概念,即车辆可以通过共享其剩余的计算资源作为车载云服务器,其他车辆和行人等用户可以将计算任务卸载给其计算。
高度动态的车辆环境给计算卸载决策和资源分配带来了更多的不确定性。首先,由于车辆的移动性,车载网络的拓扑结构和无线信道状态随着时间的推移而快速变化。其次,车载云服务器的计算资源是异构性的,并且随着时间的推移而波动。这些因素通常很难预测,但会显著影响计算任务的延迟。
因此,本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,该方法针对移动边缘服务器和车载云服务器协同计算卸载的场景,并以系统时延最小化作为计算迁移和资源分配的优化目标,在复杂度和性能之间取得了很好的平衡。
发明内容
发明目的:针对现有技术存在的上述问题,提出一种基于势博弈的车联网计算卸载与功率优化方法,有剩余计算资源的车辆可以作为车载云服务器为其他车辆提供计算资源。该方法拟采用混合频谱接入技术进行传输,实现系统时延最小化。
技术方案:针对移动边缘服务器和车载云服务器协同计算卸载的场景,以合理高效的计算卸载决策和功率分配达到系统时延最小化的目的。为降低系统时延同时提升频谱利用率,采用混合频谱接入技术进行传输,V2I链路和V2V链路通过5G切片技术接入不同切片互不干扰。首先通过势博弈得到任务请求车辆的卸载决策,即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器。对决定任务卸载的任务请求车辆,采用分布式的资源分配方法,不需要基站集中调度信道状态信息,将每辆决定任务卸载的任务请求车辆视为智能体,基于本地观察状态信息来选择发射功率。通过建立深度强化学习模型,利用深度确定性策略梯度算法(Deep Deterministic PolicyGradient,DDPG)优化深度强化学习模型。根据优化后的DDPG模型,得到每辆决定任务卸载的任务请求车辆的发射功率。完成上述发明通过以下技术方案实现:一种基于势博弈的车联网计算卸载与功率优化方法,包括步骤如下:
(1),在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器和MEC服务器;
(2),建立包括N个任务请求车辆,Nsev个车载云服务器和一个配备MEC服务器的路侧单元的通信模型和计算模型,进而建立计算卸载和功率优化模型;
(3),每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
(4),基于势博弈得到每辆车的卸载决策即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型;
(5),基于DDPG训练深度强化学习模型;
进一步的,所述步骤(2)包括如下具体步骤:
(2a),建立车联网计算卸载的通信模型,系统包括N个任务请求车辆,Nsev个车载云服务器和一个部署MEC服务器的路侧单元,任务请求车辆用集合表示,集合表示车载云服务器,任务请求车辆n的任务可以表示为cn表示用户n完成任务所需的CPU周期数,sn表示用户n卸载的任务数据量大小,表示用户n对任务执行的最大可容忍时延。视为每一个时隙,任务请求车辆产生一个任务,任务请求车辆n任务的卸载决策用表示,an=0表示任务请求车辆n本地执行计算任务,an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,an=2表示任务请求车辆n通过V2V链路将任务卸载到距离任务请求车辆最近的车载云服务器计算。V2V通信与V2I通信采用5G切片技术互不干扰;
(2b),任务请求车辆n将任务卸载到车载云服务器nsev的信干噪比(SINR)表示为:
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
其中,表示分配给任务请求车辆n将任务卸载到车载云服务器nsev的传输带宽,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,表示任务请求车辆n到车载云服务器nsev的信道增益,表示除任务请求车辆n以外的任务请求车辆将任务卸载到车载云服务器n′sev对任务请求车辆n的干扰
其中an′=2时,J(an′=2)=1,否则J(an′=2)=0,表示任务请求车辆n′是否将任务卸载到车载云服务器n′sev,表示任务请求车辆n′将任务卸载到车载云服务器n′sev,表示任务请求车辆n′没有将任务卸载到车载云服务器n′sev,Pn′表示任务请求车辆n′的发射功率,表示任务请求车辆n′到车载云服务器n′sev的信道增益;
(2c),同样地,任务请求车辆n将任务卸载到MEC服务器的信干噪比(SINR)表示为:
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
其中an′=1时,J(an′=1)=1,否则J(an′=1)=0,表示任务请求车辆n′将任务卸载到MEC服务器,表示任务请求车辆n′没有将任务卸载到MEC服务器,Pn′表示任务请求车辆n′的发射功率,hn′,mec表示任务请求车辆n′到MEC服务器的信道增益;
an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,任务请求车辆n将任务上传到MEC服务器的上传时延为:
任务请求车辆n将任务上传到MEC服务器的计算时延为:
an=2表示任务请求车辆n通过V2R链路的将任务卸载车载云服务器计算,任务请求车辆n将任务上传到车载云服务器nsev的上传时延为
任务请求车辆n将任务上传到车载云服务器nsev的计算时延为
为车载云服务器nsev分配给任务请求车辆n的任务的计算能力.很多研究表明,下传最终的计算结果的数据量与上传的数据量相比是很小的,所以可以忽略下发时延,故任务请求车辆n将任务卸载到MEC服务器的产生的时延为
任务请求车辆n将任务卸载到车载云服务器nsev产生的的时延为:
(2e),综上,可以建立如下的目标函数和约束条件:
其中,约束条件C1表明任务请求车辆n本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算,每个计算任务只能选择一种计算方式,约束条件C2表明了任务请求车辆n的本地计算能力范围,是任务请求车辆n本地最大计算能力,约束条件C3和C4意味MEC服务器和车载云服务器分配给任务请求车辆n的计算能力非负,约束条件C5和C6表明MEC服务器和车载云服务器分配给任务请求车辆的计算能力不能超过其最大计算能力,Fmec是MEC服务器的最大计算能力,Fmec是车载云服务器的最大计算能力;约束条件C7和C8表明任务请求车辆n执行任务满足其最大时延约束;约束条件表明任务请求车辆n发射功率非负且满足其最大发射功率约束;
进一步,所述步骤(4)包括如下具体步骤:
在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,表示所有任务请求车辆的卸载决策集合,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=0表示任务请求车辆n在本地执行计算任务。an=2表示任务请求车辆n将任务卸载到距离任务请求最近的车载云服务器进行计算。当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合。每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
(4b),根据卸载决策用集合将任务请求车辆中卸载决策任务请求车辆,N0表示任务请求车辆的数目,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器的信道状态信息任务请求车辆n0到MEC的信道状态信息任务请求车辆n0到车载云服务器的接收到的任务请求车辆n0到MEC的接收到的干扰任务请求车辆n0的任务信息训练回合数e和ε-贪心算法中的随机探索变量ε,即
其中b是固定的值用来调整奖励函数的值;
(4e),依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体训练相应的动作网络和评价网络;
进一步,所述步骤(5)包括如下具体步骤:
(5a),初始化训练回合数P;
(5b),初始化P回合中的时间步t;
(5h),在线训练次数达到目标网络更新频率,根据在线网络参数δ和θ分别更新目标网络参数δ′和θ′;
(5i),判断是否满足t<K,K为p回合中的总时间步,若是,t=t+1,进入步骤5c,否则,进入步骤5j;
(5j),判断是否满足p<I,I为训练回合数设定阈值,若是,p=p+1,进入步骤5b,否则,优化结束,得到优化后的深度强化学习模型。
进一步的,所述步骤(6)包括如下具体步骤:
(6c),决定卸载的任务请求车辆n0输出最优动作策略即得到最优的任务请求车辆发射功率有益效果:本发明提出一种基于势博弈的车联网计算卸载与功率优化方法,该方法针对移动边缘服务器和车载云服务器协同计算卸载的场景,采用混合频谱接入技术进行传输,V2V链路与V2I基于5G切片技术接入不同切片,互不干扰,通过势博弈获得任务请求车辆的卸载决策,采用深度双Q学习优化卸载的任务请求车辆的发射功率,最小化系统时延实现任务计算,本发明使用的势博弈和深度双Q学习结合的算法可以有效的解决任务请求车辆的卸载决策和发射功率的联合优化问题,在复杂度和性能之间取得了很好的平衡。。
综上所述,在移动边缘服务器和车载云服务器协同计算卸载的场景下,本发明提出的一种基于势博弈的车联网计算卸载与功率优化方法在最小化系统时延方面是优越的。
附图说明
图1为本发明实施例提供的基于势博弈的车联网计算卸载与功率优化方法的流程图;
图2为本发明实施例提供的移动边缘服务器和车载云服务器协同计算卸载的模型示意图;
图3为本发明实施例提供的深度确定性策略梯度算法框架示意图;
具体实施方式
本发明的核心思想在于:针对移动边缘服务器和车载云服务器协同计算卸载的场景,采用混合频谱接入技术进行传输,V2V链路与V2I基于5G切片技术接入不同切片,互不干扰,通过势博弈获得任务请求车辆的卸载决策,将决策为卸载的任务请求车辆视为智能体,通过建立深度强化学习模型,采用深度确定性策略梯度算法优化深度强化学习模型。根据优化后的深度强化学习模型,得到最优的卸载的任务请求车辆的发射功率,达到最小化系统时延的目的。
下面对本发明做进一步详细描述。
步骤(1),在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器或MEC服务器;
步骤(2),建立包括N个任务请求车辆,Nsev个车载云服务器和一个路侧单元的通信模型和计算模型,进而建立联合计算迁移和资源分配模型,包括如下步骤:
(2a),建立车联网计算卸载的通信模型,系统包括N个任务请求车辆,Nsev个车载云服务器和一个部署MEC服务器的路侧单元,任务请求车辆用集合表示,集合表示车载云服务器,任务请求车辆n的任务可以表示为cn表示用户n完成任务所需的CPU周期数,sn表示用户n卸载的任务数据量大小,表示用户n对任务执行的最大可容忍时延。视为每一个时隙,任务请求车辆产生一个任务,任务请求车辆n任务的卸载决策用表示,an=0表示任务请求车辆n本地执行计算任务,an=1表示任务请求车辆n通过V2I链路的将任务卸载到MEC服务器计算,an=2表示任务请求车辆n通过V2V链路将任务卸载到距离任务请求车辆最近的车载云服务器计算。V2V通信与V2I通信采用5G切片技术互不干扰;
(2b),任务请求车辆n将任务卸载到车载云服务器nsev的信干噪比(SINR)表示为:
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
其中,表示分配给任务请求车辆n将任务卸载到车载云服务器nsev的传输带宽,Pn表示任务请求车辆n的发射功率,σ2表示噪声功率,表示任务请求车辆n到车载云服务器nsev的信道增益,表示除任务请求车辆n以外的任务请求车辆将任务卸载到车载云服务器n′sev对任务请求车辆n的干扰
其中an′=2时,J(an′=2)=1,否则J(an′=2)=0,表示任务请求车辆n′是否将任务卸载到车载云服务器n′sev,表示任务请求车辆n′将任务卸载到车载云服务器n′sev,表示任务请求车辆n′没有将任务卸载到车载云服务器n′sev,Pn′表示任务请求车辆n′的发射功率,表示任务请求车辆n′到车载云服务器n′sev的信道增益;
(2c),同样地,任务请求车辆n将任务卸载到MEC服务器的信干噪比(SINR)表示为:
任务请求车辆n将任务卸载到车载云服务器nsev的传输速率表示为:
其中an′=1时,J(an′=1)=1,否则J(an′=1)=0,表示任务请求车辆n′将任务卸载到MEC服务器,表示任务请求车辆n′没有将任务卸载到MEC服务器,Pn′表示任务请求车辆n′的发射功率,hn′,mec表示任务请求车辆n′到MEC服务器的信道增益;
an=1表示任务请求车辆n通过V2R链路的将任务卸载到MEC服务器计算,任务请求车辆n将任务上传到MEC服务器的上传时延为:
任务请求车辆n将任务上传到MEC服务器的计算时延为:
an=2表示任务请求车辆n通过V2R链路的将任务卸载车载云服务器计算,任务请求车辆n将任务上传到车载云服务器nsev的上传时延为
任务请求车辆n将任务上传到车载云服务器nsev的计算时延为
为车载云服务器nsev分配给任务请求车辆n的任务的计算能力.很多研究表明,下传最终的计算结果的数据量与上传的数据量相比是很小的,所以可以忽略下发时延,故任务请求车辆n将任务卸载到MEC服务器的产生的时延为
任务请求车辆n将任务卸载到车载云服务器nsev产生的的时延为:
(2e),综上,可以建立如下的目标函数和约束条件:
其中,约束条件C1表明任务请求车辆n本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算,每个计算任务只能选择一种计算方式,约束条件C2表明了任务请求车辆n的本地计算能力范围,是任务请求车辆n本地最大计算能力,约束条件C3和C4意味MEC服务器和车载云服务器分配给任务请求车辆n的计算能力非负,约束条件C5和C6表明MEC服务器和车载云服务器分配给任务请求车辆的计算能力不能超过其最大计算能力,Fmec是MEC服务器的最大计算能力,Fmec是车载云服务器的最大计算能力;约束条件C7和C8表明任务请求车辆n执行任务满足其最大时延约束;约束条件表明任务请求车辆n发射功率非负且满足其最大发射功率约束;
步骤(3),每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
步骤(4),基于势博弈得到每辆车的卸载决策,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型,包括如下具体步骤:
在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,表示所有任务请求车辆的卸载决策集合,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=0表示任务请求车辆n在本地执行计算任务。an=2表示任务请求车辆n将任务卸载到距离任务请求最近的车载云服务器进行计算。当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合。每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
(4b),根据卸载决策用集合将任务请求车辆中卸载决策任务请求车辆,N0表示任务请求车辆的数目,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器的信道状态信息任务请求车辆n0到MEC的信道状态信息任务请求车辆n0到车载云服务器的接收到的任务请求车辆n0到MEC的接收到的干扰任务请求车辆n0的任务信息训练回合数e和ε-贪心算法中的随机探索变量ε,即
其中b是固定的值用来调整奖励函数的值,
(4e),依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体训练相应的动作网络和评价网络;
步骤(5),考虑连续动作空间中的联合优化问题,利用包含深度学习拟合,软更新,回放机制三个方面的DDPG算法优化深度强化学习模型;
深度学习拟合指DDPG算法基于Actor-Critic框架,分别使用参数为θ和δ的深度神经网络来拟合确定性策略a=μ(s|θ)和动作值函数Q(s,a|δ)。
软更新指动作值网络的参数在频繁梯度更新的同时,又用于计算策略网络的梯度,使得动作值网络的学习过程很可能出现不稳定的情况,所以提出采用软更新方式来更新网络。
分别为策略网络和动作值网络创建在线网络和目标网络两个神经网络:
训练过程中利用梯度下降不断更新网络,目标网络的更新方式如下
θ′=τθ+(1-τ)θ 表达式18
δ′=τδ+(1-τ)δ 表达式19
经验回放机制是指与环境交互时产生的状态转换样本数据具有时序关联性,易造成动作值函数拟合的偏差。因此,借鉴深度Q学习算法的经验回放机制,将采集到的样本先放入样本池,然后从样本池中随机选出一些小批量样本用于对网络的训练。这种处理去除了样本间的相关性和依赖性,解决了数据间相关性及其非静态分布的问题,使得算法更容易收敛。
利用包含深度学习拟合,软更新,回放机制三个方面的DDPG算法优化深度强化学习模型,包括如下步骤:
(5a),初始化训练回合数P;
(5b),初始化P回合中的时间步t;
(5f),设置Q估计为
yi=ri+γQ′(si+1,μ′(si+1|θ′)|δ′) 表达式20
定义在线Critic评价网络的损失函数为
通过神经网络的梯度反向传播来更新Critic当前网络的所有参数θ;
(5g),定义在线Actor策略网络的给抽样策略梯度为
通过神经网络的梯度反向传播来更新Actor当前网络的所有参数δ;
(5h),在线训练次数达到目标网络更新频率,根据在线网络参数δ和θ分别更新目标网络参数δ′和θ′;
(5i),判断是否满足t<K,K为p回合中的总时间步,若是,t=t+1,进入步骤5c,否则,进入步骤5j;
(5j),判断是否满足p<I,I为训练回合数设定阈值,若是,p=p+1,进入步骤5b,否则,优化结束,得到优化后的深度强化学习模型。
步骤(6),在执行阶段,任务请求车辆通过势博弈得到任务卸载决策,决定卸载的任务请求车辆n0根据本地观察获得当前状态对所有卸载决策不为本地计算的任务请求车辆利用训练好的深度强化学习模型获取发射功率,具体为:
在图1中,描述了基于势博弈的车联网计算卸载与功率优化方法的流程图,对每辆任务请求车辆根据基于势博弈得到其卸载决策,对决定卸载的任务请求车辆基于深度强化学习模型得到其发射功率。
在图2中,描述了移动边缘服务器和车载云服务器协同计算卸载的模型示意图,即任务请求车辆可以本地执行计算任务,或将任务卸载到MEC服务器计算,或将任务卸载到距离任务请求车辆最近的车载云服务器计算。
在图3中,描述了深度确定性策略梯度算法的算法框架包含了线Actor策略网络、在线Critic评价网络、目标Actor策略网络和目标Critic评价网络四个网络。
根据对本发明的说明,本领域的技术人员应该不难看出,本发明的基于势博弈的车联网计算卸载与功率优化方法可以有效降低系统时延。
本发明申请书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (1)
1.一种基于势博弈的车联网计算卸载与功率优化方法,其特征在于,包括步骤如下:
(1)在路侧单元即RSU部署移动边缘计算即MEC服务器,将可以通过共享其剩余计算资源的车辆作为车载云服务器,任务请求车辆的计算任务可以本地处理,卸载到车载云服务器或MEC服务器;
(2)建立包括N个任务请求车辆,Nsev个车载云服务器和一个配备MEC服务器的路侧单元的通信模型和计算模型,进而建立计算卸载和功率优化模型;
(3)每辆任务请求车辆获取周边车载云服务器和MEC计算资源占用情况以及任务信息;
(4)基于势博弈得到每辆车的卸载决策即任务请求车辆决定本地计算,卸载到MEC服务器,卸载到距离任务请求车辆最近的车载云服务器,根据卸载决策,对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型;
(5)基于DDPG训练深度强化学习模型;
进一步,所述步骤(4)包括如下具体步骤:
(4a)基于势博弈得到每辆车是否卸载的决策,将任务车的卸载决策建模为势博弈,表示为其中为任务请求车辆的集合,an为任务请求车辆n的卸载决策,un为任务请求车辆n的代价函数,在博弈模型中,每个任务请求车辆均为一个资源竞争者,因此存在N辆车竞争网络内的有限资源,每辆车都可以选择卸载计算或者本地执行任务计算,其中an∈{0,1,2}为任务请求车辆n的卸载决策,表示所有任务请求车辆的卸载决策集合,an=0表示任务请求车辆n在本地执行计算任务,an=1表示任务请求车辆n将任务卸载到MEC服务器进行计算,an=2表示任务请求车辆n将任务卸载到距离任务请求车辆n最近的车载云服务器进行计算,当任务请求车辆n的卸载决策为an时,其代价函数表示为un(an,a-n),其中a-n表示除任务请求车辆n以外的所有任务请求车辆的卸载决策集合,每辆任务请求车辆都可以希望通过找到最优的卸载决策来最小化自身代价,即
其中为任务请求车辆n本地计算任务的时延,为任务请求车辆n将任务卸载到MEC服务器的时延,为任务请求车辆n将任务卸载到距离其最近的车载云服务器nsev的时延,势博弈收敛于纳什均衡,即通过最优响应迭代找到卸载决策所有任务请求车辆不存在改变当前卸载决策可以最小化自身代价;
(4b)根据卸载决策用集合将任务请求车辆中卸载决策任务请求车辆,N0表示任务请求车辆的数目,将每个决定卸载的任务请求车辆n0视为智能体,定义状态空间S为与发射功率有关的观测信息和低维度指纹信息,包括任务请求车辆n0到车载云服务器的信道状态信息任务请求车辆n0到MEC的信道状态信息任务请求车辆n0到车载云服务器的接收到的任务请求车辆n0到MEC的接收到的干扰任务请求车辆n0的任务信息训练回合数e和ε-贪心算法中的随机探索变量ε,即
(4e)依据建立好的状态,动作和奖励函数,建立深度强化学习模型,每个智能体即决定卸载的任务请求车辆训练相应的动作网络和评价网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210710038.2A CN115052262A (zh) | 2022-06-22 | 2022-06-22 | 一种基于势博弈的车联网计算卸载与功率优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210710038.2A CN115052262A (zh) | 2022-06-22 | 2022-06-22 | 一种基于势博弈的车联网计算卸载与功率优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115052262A true CN115052262A (zh) | 2022-09-13 |
Family
ID=83162637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210710038.2A Pending CN115052262A (zh) | 2022-06-22 | 2022-06-22 | 一种基于势博弈的车联网计算卸载与功率优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115052262A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115658251A (zh) * | 2022-09-19 | 2023-01-31 | 重庆大学 | 联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质 |
CN117768923A (zh) * | 2024-02-22 | 2024-03-26 | 武汉电动汽车技术开发有限公司 | 基于5g短切片专网的新能源汽车数据传输优化方法及系统 |
CN118474681A (zh) * | 2024-05-24 | 2024-08-09 | 苏州市职业大学 | 基于边缘计算的任务卸载方法、装置、设备及存储介质 |
CN118509823A (zh) * | 2024-07-19 | 2024-08-16 | 山东科技大学 | 基于策略梯度算法和博弈的分布式多维网络资源切片方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017070545A1 (en) * | 2015-10-23 | 2017-04-27 | Interdigital Technology Corporation | Software-defined network enhancements enabling programmable information centric networking in edge networks |
CN111182495A (zh) * | 2019-12-25 | 2020-05-19 | 大连理工大学 | 一种5g车联网部分计算卸载方法 |
CN111565380A (zh) * | 2020-04-21 | 2020-08-21 | 重庆邮电大学 | 车联网中基于noma-mec混合卸载方法 |
CN113543074A (zh) * | 2021-06-15 | 2021-10-22 | 南京航空航天大学 | 一种基于车路云协同的联合计算迁移和资源分配方法 |
CN114116047A (zh) * | 2021-11-09 | 2022-03-01 | 吉林大学 | 一种基于强化学习的车载计算密集型应用的v2i卸载方法 |
CN114528042A (zh) * | 2022-01-30 | 2022-05-24 | 南京信息工程大学 | 基于深度强化学习的节能型自动互联车辆服务卸载方法 |
CN114626298A (zh) * | 2022-03-14 | 2022-06-14 | 北京邮电大学 | 无人机辅助车联网中高效缓存和任务卸载的状态更新方法 |
-
2022
- 2022-06-22 CN CN202210710038.2A patent/CN115052262A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017070545A1 (en) * | 2015-10-23 | 2017-04-27 | Interdigital Technology Corporation | Software-defined network enhancements enabling programmable information centric networking in edge networks |
CN111182495A (zh) * | 2019-12-25 | 2020-05-19 | 大连理工大学 | 一种5g车联网部分计算卸载方法 |
CN111565380A (zh) * | 2020-04-21 | 2020-08-21 | 重庆邮电大学 | 车联网中基于noma-mec混合卸载方法 |
CN113543074A (zh) * | 2021-06-15 | 2021-10-22 | 南京航空航天大学 | 一种基于车路云协同的联合计算迁移和资源分配方法 |
CN114116047A (zh) * | 2021-11-09 | 2022-03-01 | 吉林大学 | 一种基于强化学习的车载计算密集型应用的v2i卸载方法 |
CN114528042A (zh) * | 2022-01-30 | 2022-05-24 | 南京信息工程大学 | 基于深度强化学习的节能型自动互联车辆服务卸载方法 |
CN114626298A (zh) * | 2022-03-14 | 2022-06-14 | 北京邮电大学 | 无人机辅助车联网中高效缓存和任务卸载的状态更新方法 |
Non-Patent Citations (2)
Title |
---|
DGS/MEC-IEG004: "GROUP SPECIFICATION Mobile-Edge Computing (MEC); Service Scenarios Disclaimer This document has been produced and approved by the Mobile-Edge Computing (MEC) ", ETSI GS MEC-IEG 004, no. 1, 30 November 2015 (2015-11-30) * |
张文献;杜永文;张希权;: "面向多用户移动边缘计算轻量任务卸载优化", 小型微型计算机系统, no. 10, 15 October 2020 (2020-10-15) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115658251A (zh) * | 2022-09-19 | 2023-01-31 | 重庆大学 | 联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质 |
CN117768923A (zh) * | 2024-02-22 | 2024-03-26 | 武汉电动汽车技术开发有限公司 | 基于5g短切片专网的新能源汽车数据传输优化方法及系统 |
CN117768923B (zh) * | 2024-02-22 | 2024-05-28 | 武汉电动汽车技术开发有限公司 | 基于5g短切片专网的新能源汽车数据传输优化方法及系统 |
CN118474681A (zh) * | 2024-05-24 | 2024-08-09 | 苏州市职业大学 | 基于边缘计算的任务卸载方法、装置、设备及存储介质 |
CN118509823A (zh) * | 2024-07-19 | 2024-08-16 | 山东科技大学 | 基于策略梯度算法和博弈的分布式多维网络资源切片方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414252B (zh) | 一种基于深度强化学习的任务卸载方法 | |
CN113543074B (zh) | 一种基于车路云协同的联合计算迁移和资源分配方法 | |
CN111132077B (zh) | 车联网环境下基于d2d的多接入边缘计算任务卸载方法 | |
CN109756378B (zh) | 一种车载网络下的智能计算卸载方法 | |
CN112995951B (zh) | 一种采用深度确定性策略梯度算法的5g车联网v2v资源分配方法 | |
CN115052262A (zh) | 一种基于势博弈的车联网计算卸载与功率优化方法 | |
CN115037751B (zh) | 一种无人机辅助的异构车联网任务迁移与资源分配方法 | |
CN111711666B (zh) | 一种基于强化学习的车联网云计算资源优化方法 | |
CN115277845B (zh) | 基于多智能体近端策略的车联网分布式边缘缓存决策方法 | |
Callegaro et al. | Optimal edge computing for infrastructure-assisted UAV systems | |
CN114143346B (zh) | 一种车联网任务卸载和服务缓存的联合优化方法及系统 | |
CN111132074B (zh) | 车联网环境下多接入边缘计算卸载和帧时隙资源分配方法 | |
CN115134242B (zh) | 一种基于深度强化学习策略的车载计算任务卸载方法 | |
CN114979145B (zh) | 一种车联网中集成感知、通信与缓存的内容分发方法 | |
CN113687875A (zh) | 一种车联网中车辆任务卸载方法及装置 | |
CN116030623A (zh) | 认知车联网场景下基于区块链的协作路径规划和调度方法 | |
CN114281718A (zh) | 一种工业互联网边缘服务缓存决策方法及系统 | |
CN116916386A (zh) | 一种考虑用户竞争和负载的大模型辅助边缘任务卸载方法 | |
CN117221951A (zh) | 车载边缘环境下基于深度强化学习的任务卸载方法 | |
CN116261119A (zh) | 一种车载环境下智能协同任务计算和按需资源分配方法 | |
CN116634396A (zh) | 基于图注意力的车联网多智能体边缘计算内容缓存决策方法 | |
CN116743584B (zh) | 一种基于信息感知及联合计算缓存的动态ran切片方法 | |
CN116744367A (zh) | 车联网下基于双层卸载机制和多智能体算法的卸载方法 | |
CN115734195A (zh) | 数字孪生赋能的空天地一体化网络中动态数据同步方法 | |
CN115118783A (zh) | 基于异构通信技术超可靠低时延强化学习的任务卸载方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |