CN116744367A - 车联网下基于双层卸载机制和多智能体算法的卸载方法 - Google Patents
车联网下基于双层卸载机制和多智能体算法的卸载方法 Download PDFInfo
- Publication number
- CN116744367A CN116744367A CN202310708437.XA CN202310708437A CN116744367A CN 116744367 A CN116744367 A CN 116744367A CN 202310708437 A CN202310708437 A CN 202310708437A CN 116744367 A CN116744367 A CN 116744367A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- task
- idle
- unloading
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000007246 mechanism Effects 0.000 title claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000013468 resource allocation Methods 0.000 claims abstract description 5
- 239000010410 layer Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 24
- 238000005265 energy consumption Methods 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 11
- 230000009916 joint effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000002355 dual-layer Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 2
- 230000006855 networking Effects 0.000 claims 2
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 claims 1
- 238000012913 prioritisation Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0925—Management thereof using policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种车联网下基于双层卸载机制和多智能体算法的卸载方法，包括步骤一，建立空闲车辆云与MEC服务器以及车辆互联的MEC‑V‑NTVC三层网络模型，主要包含系统模型、任务模型、判断模型和计算模型；步骤二，将任务车辆的计算卸载以及资源分配抽象成POMDP过程，配合能充分利用空闲车辆云的计算能力的双层卸载机制以及多智能体算法QMIX利用MEC服务器以及空闲车辆的计算能力解决任务卸载问题，以降低系统总成本。本发明通过双层卸载机制，可以有效避免车辆任务超时和MEC服务器切换导致高成本的卸载策略，在MEC服务器，空闲车辆以及任务车辆之间寻求最优的卸载策略。
Description
技术领域
本发明涉及智能汽车领域，特别是涉及一种用于车联网的基于双层卸载机制和多智能体算法的卸载方法。
背景技术
目前，随着增强现实、虚拟现实、超高清流媒体等大量新兴应用的出现，智能汽车有限的计算能力已无法满足这些计算密集、时延敏感的应用的计算需求。为应对这一挑战，许多研究人员致力于通过利用云计算强大的计算能力将计算任务卸载到云上执行来解决这个问题。然而，在延迟敏感型应用程序中，有时在计算延迟、能耗、可靠性和其他服务能力方面存在限制。因此，研究人员将移动边缘计算(MobileEdge Computing,MEC)引入到车联网(Internet ofVehicle,IoV)中，以摆脱这一限制。移动边缘计算环境中的IoV技术是为路边单元(Rode SideUnit,RSU)配备MEC服务器。根据实际网络条件和环境约束，车辆可以在本地执行任务，也可以将其卸载到最近的MEC服务器。这种范式可以有效分担云计算中心的任务处理压力，提高服务质量。
由于车联网环境下的车辆的高机动性和网络拓扑的多变性，任务的请求卸载和资源分配是亟须解决的热点问题。基于此，本发明公开了一种将边缘计算和车辆到车辆(Vehicle to Vehicle,V2V)以及车辆到路边单元(Vehicle toRoadside,V2R)技术结合起来的技术，并配合本发明提出的双层卸载机制，充分利用任务车辆周围的空闲车辆，以达到最小化系统总成本的目的。
发明内容
本发明要解决的技术问题是提供一种能达到最小化系统总成本的目的车联网下基于双层卸载机制和多智能体算法的卸载方法。即提供一个卸载和分配方案，使得系统的总成本最小化。
为了解决上述技术问题，本发明的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，首先使用空闲车辆云与MEC服务器以及车辆互联的MEC-V-NTVC三层网络模型，建立了任务模型、判断模型和计算模型；将任务车辆的计算卸载以及资源分配抽象成POMDP过程(部分可观测马尔可夫决策过程)，配合双层卸载机制以及多智能体算法QMIX，充分利用MEC服务器以及空闲车辆的计算能力，以达到最小化系统总成本的目的。经实验验证，本发明能够有效求解任务卸载问题，有效降低系统总成本。
本申请提供了如下技术方案：一种基于双层卸载机制和多智能体的卸载方案包括：步骤一，建立空闲车辆云与MEC服务器以及车辆互联的MEC-V-NTVC三层网络模型，主要包含系统模型、任务模型、判断模型和计算模型；步骤二，将任务车辆的计算卸载以及资源分配抽象成POMDP过程，配合能充分利用空闲车辆云计算能力的双层卸载机制以及多智能体算法QMIX利用MEC服务器以及空闲车辆的计算能力解决任务卸载问题，以降低系统总成本。
其中，所述最小化系统总成本为：
设车辆产生的任务总量为N，在任务车辆本地计算的任务个数为b，卸载到MEC服务器的任务个数为c，卸载到空闲车辆的任务个数为k，则：
b+c+k＝N
其中，an表示为二进制指示符：如果任务被卸载到边缘服务器或者空闲车辆，则为an＝1，否则为an＝0，为卸载执行的总时间，时间约束代表任务的最大可容忍延迟，即每个车辆的任务延迟不应超过各自的时间约束；
为确保不超出边缘服务器容量的计算资源需满足：
0≤Hn≤F
为确保边缘服务器分配给所有用户的计算资源的总和不超过边缘服务器的总资源，需满足：
较佳的是，所述三层网络模型包括边缘服务器(MEC服务器)、空闲车辆云以及任务车辆。
本发明还提供了一种基于双层卸载机制，第一层卸载过程为0-1卸载。1为卸载至MEC服务器进行计算，0为本地车辆或者空闲车辆进行计算。第二层卸载中，通过全局变量，计算每个车辆任务的时延，若时间约束内不可被空闲车辆以及本地车辆计算完毕，将其优先级设为最高，选择在MEC服务器计算。对于时间约束内不可被本地车辆计算的任务，给予其二等优先级。然后对于进入到第二层卸载机制的任务车辆，用任务数据量与时间约束的比值表示每个任务的普遍优先级，即Ran＝Dn/Γn，将其加入到原有的优先级别中，并将其降序排列，将空闲车辆的计算能力同样进行优先级排序。计算任务成本时，具有更高任务优先级的任务会优先卸载到优先级排序更高的空闲车辆，此操作倾向于将本地执行无法满足时间约束以及任务数据量大且最大容忍时间较小的任务优先执行，保证其时延。但是上述卸载只有满足第一层卸载决策为0，空闲车辆有余量，且空闲车辆的计算能力超过任务车辆本地的计算能力时，才选择将任务卸载到空闲车辆。否则在任务车辆本地计算执行。需要注意的是，空闲车辆与任务车辆计算能力的比较并不仅仅是处理数据的速率比较，而是两种方法所致成本的比较，这里用计算能力来代指。
与现有技术相比，本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法至少具有以下有益效果：
本发明的MEC-V-NTVC的云－边－端三层架构模型是考虑了云边端三者之间的协同工作。云端的中心控制策略会对边缘端的计算与存储进行有效的管理，使得边缘端的分布式计算处理模式发挥最好的作用，提升计算处理的效率，满足用户的需求。设备终端的计算任务可以在本地、边缘端、云端三种模式下完成。为解决计算任务的异构性以及边缘端设备的异构性给三层架构下的任务协调问题，本发明目的是提供一种对于周围环境的变换具有更好的适应性获得更小的系统开销的车联网背景下的一种卸载策略，可以在考虑车辆时延的情况下获得最小化系统总成本。
此外，本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法提出了基于多智能体算法QMIX以及双层卸载机制的分配策略，以优化系统性能。本发明所提出的卸载策略在考虑了整体卸载，车辆产生的任务只能整体地卸载和执行情况下，可以有效地降低系统总成本。
下面结合附图对本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法做进一步说明。
附图说明
图1为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的系统模型；
图2为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的判断模型；
图3为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的QMIX算法结构图；
图4为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的算法流程图；
图5为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的空闲车辆的数量与系统总成本的关系图；
图6为空闲车辆数量与系统时延以及卸载比率(卸载至边缘服务器的任务数量与卸载至空闲车辆云的任务数量)的关系；
图7为任务车辆的速度与系统开销与卸载比率的关系。
具体实施方式
如图1所示，为本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的系统模型，是由空闲车辆云与MEC服务器以及车辆互联构成的MEC-V-NTVC三层网络模型。云端的中心控制策略会对边缘端的计算与存储进行有效的管理，使得边缘端的分布式计算处理模式发挥最好的作用，提升计算处理的效率，满足用户的需求。
所述三层网络模型主要包含系统模型、任务模型、判断模型和计算模型；
1、系统模型
如图1所示，本发明一种车联网下基于双层卸载机制和多智能体算法的卸载方法的系统模型主要是由车辆、RSU、MEC服务器组成。其中，每个RSU都配备一个MEC服务器；路边单元均匀分布在道路上，每个路边单元覆盖距离为d的区域；在道路上，每辆车以各自的速度匀速行驶。本发明车辆类型包含两种，产生任务的车辆集合N＝{1,2,...N}，以及空闲车辆集合M＝{1,2,...M}。
2、任务模型
假设每个任务车辆都会产生一个任务，将每个任务车辆产生的任务用Tn＝表示，其中Dn表示任务数据量，Qn为任务需要的CPU周期数，Γn为任务的时间约束，/>表示任务车辆的计算能力，dn为车辆距离边缘服务器的距离。
每个任务均可卸载到边缘服务器计算或者车辆计算。
3、判断模型
判断模型如图2所示。对于卸载到服务器计算的任务，若数据量较大或者距离基站较远，经MEC服务器计算之后将计算结果返回的这个过程中，车辆可能会驶出基站的覆盖范围，这就会导致数据需要在基站之间进行迁移，会产生更大的延迟以及能耗。
因此，车辆产生任务时距离MEC服务器左侧边界的距离为xn，若此时车辆选择将计算任务发送给MEC，则需要确保在MEC处理完任务之后，车辆仍在服务器的覆盖范围内。即满足：
其中Dd为MEC服务器覆盖区域直径，vn为车辆行驶速度，UPn为任务车辆数据上传速率，Hn为MEC服务器分配给任务车辆n的计算资源。
4、计算模型
计算模型分为本地车辆计算、MEC服务器计算以及空闲车辆云计算。
(1)本地车辆计算
任务本地车辆执行的成本包括本地车辆CPU处理时延和执行能耗。本地处理延迟表示为：
其中，Qn表示完成任务需要的CPU周期数，表示用户的计算能力，即任务车辆每秒可以处理的CPU周期数。
执行能耗表示为：
其中，Zn表示车辆的设备功率。
因此本地执行总成本为：
其中，Ie和It表示任务Rn的时延和能耗的权重因子，表示车辆任务对时延和能耗的重视程度，并满足0≤Ie≤1、0≤It≤1以及It+Ie＝1。为满足不同用户的要求，允许选择不同的权重因子进行决策。比如，具有时延敏感型任务(目标检测或碰撞检测)的车辆选择更大的It以最小化时延。
(2)MEC服务器计算
任务若被卸载到边缘服务器，则系统成本由上传任务成本和执行任务成本两部分组成。上传成本包括上传时延以及能耗。执行成本包含执行时延和执行能耗。需要注意的是，由于结果数据的大小远远小于输入数据的数据大小，且因为下载数据速率通常很高，因此本发明忽略了回传结果的延迟和能耗。
上传任务传输时延定义为：
其中，Dn为任务数据量，rn1为任务车辆与MEC服务器的上传链路速率，B1为任务车辆与MEC服务器之间的信道宽带，hn1为任务车辆与MEC服务器的信道增益，Pn是任务车辆上传数据的传输功率，a2为噪声功率。
因此，传输能耗：
其中，Pn为车辆的上传功率。
边缘服务器接收到任务车辆卸载的任务后会对任务进行计算。将边缘服务器分配给任务的计算资源定义为Hn，计算时延可表示为：
因此，计算能耗为：
其中，为MEC服务器的设备功率。
因此上传执行的总成本为：
(3)空闲车辆云计算
卸载到空闲车辆与卸载到MEC服务器的情况大致相同。
上传任务传输时延可定义为：
传输能耗可表示为：
其中，rn2为任务车辆与空闲车辆的上传链路速率，B2为任务车辆与空闲车辆之间的信道宽带，hn2为任务车辆与MEC服务器的信道增益。
将对空闲车辆进行优先级排序的操作产生的时延定义为：
Tpr＝TSt-Tend
在实验中求得其数量过小，大约在(1-2)*10-4，因此本发明对此操作产生的时延忽略不计。
空闲车辆接收到任务后的计算时延定义为：
其中，Kn为空闲车辆的计算能力。
因此，计算能耗为：
其中，为空闲车辆的设备功率。
因此上传执行的总成本为：
(4)优化问题的表述
研究的主要问题为找到一个卸载和分配方案，使得系统的总成本最小化。即：
规划出如下优化问题：
设车辆产生的任务总量为N，在任务车辆本地计算的任务个数为b，卸载到MEC服务器的任务个数为c，卸载到空闲车辆的任务个数为k。因此满足：
b+c+k＝N
无论车辆选择卸载任务还是在本地执行任务，时延都不能超过任务的最大允许时间，这需要
其中，an表示为二进制指示符：如果任务被卸载到边缘服务器或者空闲车辆，则为an＝1，否则为an＝0，为卸载执行的总时间。时间约束代表任务的最大可容忍延迟，即每个车辆的任务延迟不应超过各自的时间约束。时间约束与任务特性有关，可以通过任务配置文件及逆行估计，根据不同的任务(如目标检测，碰撞检测)具有不同的时间约束。
边缘服务器无法提供超出其容量的计算资源。因此
0≤Hn≤F
边缘服务器分配给所有用户的计算资源的总和不能超过边缘服务器的总资源。因此
本发明的QMIX算法包含：
1.全局状态
在多智能体强化学习中，认为环境是部分可观测环境。即环境中的智能体只能观测到一定范围内的信息，对于范围外的信息、智能体信息是无法获取的。在部分可观测环境下，将MDP进一步扩展为部分可观测马尔可夫决策过程。本发明使用元组<N,S,A,T,R,O>来描述POMDP模型。N＝{1,…,n}为系统中n个智能体的集合。在时隙t中，有St∈S表示全局的环境信息。对于每个智能体n∈N都需要选择一个动作un∈A来组成一个联合动作μ。通过将这个联合动作μ作用于环境，根据状态转移概率T进入下一个状态。此时，所有的智能体都会收到奖励r。在观测过程中，智能体只能获取自身的状态信息，不同的智能体具有不同的观测信息O。
环境的全局状态St可以表示为如下形式：
Dn表示任务车辆n的任务量，dn表示车辆距离MEC服务器覆盖区域左边界的距离，Γn l表示任务n的容忍时间，为空闲车辆m的计算能力。Pd表示任务完成情况。对于当前时隙的任务请求，需要获取的部分观测信息On有：/>
Dn表示任务车辆n的任务量，Qn为任务需要的CPU周期数，Γn表示任务的紧急度，即任务的容忍时间，表示任务车辆本身的运算能力，dn为任务车辆距离MEC服务器覆盖区域最左端的距离。
2.QMIX算法
QMIX在设计时借鉴了AC的中心式网络和分布式执行器的想法，整个网络包含了MixingNetwork和Agent DRQNNetwork。即采用一个混合网络对单智能体局部值函数进行合并，并在训练学习过程中加入全局状态信息辅助。
如图3所示，为本发明的QMIX算法结构图QMIX算法结构分为两部分。算法的第一部分是智能体的决策部分，即agent network，由DRQN网络实现，DRQN是将DQN中的全连接层替换为GRU网络，其循环层由一个具有64维隐藏状态的GRU组成，循环网络在观测质量变化的情况下，具有更强的适应性。
由于将问题抽象成一个POMDP问题，因此在算法中每一个智能体均使用DQRN网络来处理部分可观测马尔科夫决策过程来拟合Q值。在DRQN网络中输入t时刻每个智能体的部分观测值O和t-1时刻智能体的动作，输出为t时刻每个智能体的值函数Q。需要指出的是，在网络训练中，智能体并不会直接选择最优动作，而是以一个自适应的ε概率选择随机动作，目的是增强训练过程中策略的探索能力。
算法第二部分网络是一个前馈神经网络，将联合动作值估计为每个智能体值的复杂非线性组合。在混合网络中，网络权重由单独的超网络生成，超网络将环境状态S作为输入并将混合网络权重作为输出。每个超网络均由一个线性层与一个绝对值激活函数构成，以确保混合网络中每层网络的权重非负。然后网络会接收所有智能体的值函数Q值，并将上述生成的权重赋值到网络自身，从而推理出全局效用Qtot
QMIX算法中联合动作价值函数Qtot与每个智能体的动作价值函数之间的关系如下：算法使联合动作值函数与每个局部值函数的单调性相同，因此对局部值函数取最大动作也就是使联合动作值函数最大。仅需满足Qtot取最大值就是Q取最大值即可，即对Qtot执行全局argmax与每个Q执行单个argmax产生相同的结果，公式如下：
为了保证Qtot的单调性与每个智能体的单调性保持一致，需满足：
最终QMIX算法的损失函数是一个标准的DQN算法损失函数，只是将Q换成了Qtot。公式为：
本发明的双层卸载机制如下：
任务卸载动作分为任务车辆本地计算和卸载至边缘服务器以及空闲车辆计算，且为整体卸载。对于满足判断模型的任务车辆(即计算结果返回时车辆仍在RSU的覆盖范围内)，其任务的总时延若不能满足最大延迟时间，任务车辆的任务将会被卸载到边缘服务器运行，保证其时延。在后续的卸载分配中，由于空闲车辆云中的空闲车辆的数量并非无限制的大，空闲车辆的计算能力也并不完全相同。本发明采用双层的分配机制，第一层卸载过程为0-1卸载。1为卸载至MEC服务器进行计算，0为本地车辆或者空闲车辆进行计算。第二层卸载中，通过全局变量st，计算每个车辆任务的时延，若时间约束内不可被空闲车辆以及本地车辆计算完毕，将其优先级设为最高，选择在MEC服务器计算。对于时间约束内不可被本地车辆计算的任务，给予其二等优先级。然后对于进入到第二层卸载机制的任务车辆，用任务数据量与时间约束的比值表示每个任务的普遍优先级，即Ran＝Dn/Γn，将其加入到原有的优先级别中，并将其降序排列，将空闲车辆的计算能力同样进行优先级排序。计算任务成本时，具有更高任务优先级的任务会优先卸载到优先级排序更高的空闲车辆，此操作倾向于将本地执行无法满足时间约束以及任务数据量大且最大容忍时间较小的任务优先执行，保证其时延。但是上述卸载只有满足第一层卸载决策为0，空闲车辆有余量，且空闲车辆的计算能力超过任务车辆本地的计算能力时，才选择将任务卸载到空闲车辆。否则在任务车辆本地计算执行。需要注意的是，空闲车辆与任务车辆计算能力的比较并不仅仅是处理数据的速率比较，而是两种方法所致成本的比较，这里用计算能力来代指。
对于不满足判断模型条件的车辆，卸载算法将忽视MEC服务器的存在，同样采用双层卸载机制，首先对空闲车辆的计算能力以及任务进行优先级的排序，满足时延限制的情况下在空闲车辆以及任务车辆之间寻求系统成本最小化的卸载策略。需要注意的是，本发明考虑在本MEC覆盖范围内的空闲车辆。但并不需要考虑若卸载到空闲车辆，计算完成后传输给任务车辆时，两个车辆可能会离开本MEC范围的情况，这是因为两辆车同向且匀速行驶，相对速度并不大，满足计算完成后传输结果的条件。本发明通过双层卸载机制，可以有效避免车辆任务超时和MEC服务器切换导致高成本的卸载策略，在MEC服务器，空闲车辆以及任务车辆之间寻求最优的卸载策略。
如图4所示，为本发明的基于双层卸载机制和多智能体算法QMIX的算法流程示意图，其具体实现流程如下：
在本发明的实验验证具体实施例中，将以下几种算法作为基准进行对照：
a)Local-all：所有任务全部任务车辆本地运行；
b)Offload-all：所有任务全部卸载至边缘服务器运行；
c)Random：对于每个任务的卸载采用随机选择方式，由于Random方法具有随机性，因此进行100次实验取平均值；
d)PSO：使用PSO粒子群算法进行任务卸载；
e)GA：使用GA遗传算法进行任务卸载；
f)QMIX：使用QMIX算法进行任务卸载(并不引入空闲车辆云)。
请参见图5，为空闲车辆的数量与系统总成本的关系图。对于空闲车辆的增加，Offload-all、Local-all和QMIX算法得到的系统总开销不受影响。随着空闲车辆数量的增加，PSO与本发明算法在空闲车辆的数量等于8时，得到各自的最优卸载策略，系统开销不再发生变化。而GA算法在空闲车辆数量在[2,6]区间内时与PSO算法得到的系统开销差距很小，在之后的取值上与两种算法有较大差距。而QMIX算法的系统成本和对于MEC服务器的卸载策略并不随着空闲车辆数量的增加而变化。其系统成本超过其余三种算法，充分证明空闲车辆云可以提供额外的计算能力，提高用户体验。
图6为空闲车辆数量与系统时延以及卸载比率(卸载至边缘服务器的任务数量与卸载至空闲车辆云的任务数量)的关系。从图中可以看出，随着空闲车辆数量的增长，在区间[2,5]系统的总时延和卸载比率均呈下降趋势。这是因为随着空闲车辆的增加，在空闲车辆有余量时，未选择卸载至边缘服务器的车辆选择卸载至空闲车辆云中。由于空闲车辆云提供的额外计算能力，时延呈现减小趋势。而卸载比率在空闲车辆数量等于6时达到最小且不再变化，这是因为随着空闲车辆数量增多，卸载至边缘服务器的任务数量与卸载至空闲车辆云的任务数量达到最优状态。而时延略有增长是因为，算法的优化目标为系统总成本，任务从卸载至MEC服务器转变为卸载至空闲车辆云，会造成系统开销的降低，时延得略微增长。
图7为任务车辆的速度与系统开销与卸载比率的关系。该实施例中，任务车辆的数量为6，空闲车辆的数量设置为4。从图中可以得到，在车辆速度较小时，任务若是卸载至边缘服务器，具有足够的时间返回任务车辆而不会造成服务器之间的切换。因此任务倾向于将任务卸载至边缘服务器。而随着车辆速度的增加，根据本发明算法，会有一些车辆，其任务若卸载至MEC服务器，在得到返回结果时已经驶出RSU覆盖区域。因此，上述车辆将会忽略边缘服务器的存在，直接进入第二层卸载机制，在空闲车辆有余量时，优先卸载至空闲车辆云中。这也是为何系统开销增长以及空闲车辆云负载增长的原因。而在车辆速度等于120与130时，曲线不再变化。此时，空闲车辆云的负载达到最大。
综上所述，本发明提供了车联网背景下的一种卸载策略，考虑了整体卸载，车辆产生的任务只能整体的卸载和执行，在考虑车辆时延的情况下提供最小化系统总成本。对于周围环境的变换具有更好的适应性，与其余算法相比可以达到更好的效果，获得更小的系统开销。
上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，包括
步骤一，建立空闲车辆云与MEC服务器以及车辆互联的MEC-V-NTVC三层网络模型，主要包含系统模型、任务模型、判断模型和计算模型；
步骤二，将任务车辆的计算卸载以及资源分配抽象成POMDP过程，配合能充分利用空闲车辆云的计算能力的双层卸载机制以及多智能体算法QMIX利用MEC服务器以及空闲车辆的计算能力解决任务卸载问题，以降低系统总成本。
2.根据权利要求1所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，所述最小化系统总成本为：
设车辆产生的任务总量为N，在任务车辆本地计算的任务个数为b，卸载到MEC服务器的任务个数为c，卸载到空闲车辆的任务个数为k，则：
b+c+k＝N
其中，an表示为二进制指示符：如果任务被卸载到边缘服务器或者空闲车辆，则为an＝1，否则为an＝0，为卸载执行的总时间，时间约束代表任务的最大可容忍延迟，即每个车辆的任务延迟不应超过各自的时间约束；
Hn为边缘服务器分配给任务的计算资源，为确保不超出边缘服务器容量的计算资源需满足：
0≤Hn≤F
为确保边缘服务器分配给所有用户的计算资源的总和不超过边缘服务器的总资源，需满足：
3.根据权利要求1或2所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，
所述系统模型主要由车辆、RSU、MEC服务器组成；其中，每个RSU都配备一个MEC服务器；路边单元均匀分布在道路上，每个路边单元覆盖距离为d的区域，在道路上，每辆车以各自的速度匀速行驶，车辆类型分为产生任务的车辆集合以及空闲车辆集合；
所述的任务模型为：
假设每个任务车辆都会产生一个任务，将每个任务车辆产生的任务用 表示，其中Dn表示任务数据量，Qn为任务需要的CPU周期数，Γn为任务的时间约束，/>表示任务车辆的计算能力，dn为车辆距离边缘服务器的距离，且每个任务均可卸载到边缘服务器计算或者车辆计算；
所述的判断模型为：
车辆产生任务时距离MEC服务器左侧边界的距离为xn，若此时车辆选择将计算任务发送给MEC，则需要确保在MEC处理完任务之后，车辆仍在服务器的覆盖范围内，即满足：
其中Dd为MEC服务器覆盖区域直径，vn为车辆行驶速度，UPn为任务车辆数据上传速率，Hn为MEC服务器分配给任务车辆n的计算资源；
所述的计算模型：
计算模型分为本地车辆计算、MEC服务器计算以及空闲车辆云计算；
(1)本地车辆计算
任务本地车辆执行的成本包括本地车辆CPU处理时延和执行能耗，本地处理延迟表示为：
其中，Qn表示完成任务需要的CPU周期数，表示用户的计算能力，即任务车辆每秒可以处理的CPU周期数；
执行能耗表示为：
其中，Zn表示车辆的设备功率；
因此本地执行总成本为：
其中，Ie和It表示任务Rn的时延和能耗的权重因子，表示车辆任务对时延和能耗的重视程度，并满足0≤Ie≤1、0≤It≤1以及It+Ie＝1；
(2)MEC服务器计算
任务若被卸载到边缘服务器，则系统成本由上传任务成本和执行任务成本两部分组成，上传成本包括上传时延以及能耗、执行成本包含执行时延和执行能耗；
上传任务传输时延定义为：
其中，Dn为任务数据量，rn1为任务车辆与MEC服务器的上传链路速率，B1为任务车辆与MEC服务器之间的信道宽带，hn1为任务车辆与MEC服务器的信道增益，Pn是任务车辆上传数据的传输功率，a2为噪声功率；
因此，传输能耗：
其中，Pn为车辆的上传功率；
边缘服务器接收到任务车辆卸载的任务后会对任务进行计算，将边缘服务器分配给任务的计算资源定义为Hn，计算时延表示为：
因此，计算能耗为：
其中，为MEC服务器的设备功率；
上传执行的总成本为：
(3)空闲车辆云计算
上传任务传输时延定义为：
传输能耗表示为：
其中，rn2为任务车辆与空闲车辆的上传链路速率，B2为任务车辆与空闲车辆之间的信道宽带，hn2为任务车辆与MEC服务器的信道增益；
将对空闲车辆进行优先级排序的操作产生的时延定义为：
Tpr＝TSt-Tend
空闲车辆接收到任务后的计算时延定义为：
其中，Kn为空闲车辆的计算能力，
因此，计算能耗为：
其中，为空闲车辆的设备功率；
上传执行的总成本为：
优先级排序产生的时延量级远远低于卸载及处理的量级，因此在总成本中忽略不计。
4.根据权利要求3所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，所述双层卸载机制为：
将任务卸载动作分为任务车辆本地计算和卸载至边缘服务器以及空闲车辆计算，且为整体卸载，其中：
1)对于满足判断模型的任务车辆，即计算结果返回时车辆仍在RSU的覆盖范围内，且其任务的总时延若不能满足最大延迟时间，任务车辆的任务将会被卸载到边缘服务器运行，保证其时延，在后续的卸载分配中，采用双层的分配机制，第一层卸载过程为0-1卸载。1为卸载至MEC服务器进行计算，0为本地车辆或者空闲车辆进行计算；第二层卸载中，通过全局变量st，计算每个车辆任务的时延，若时间约束内不可被空闲车辆以及本地车辆计算完毕，将其优先级设为最高，选择在MEC服务器计算；对于时间约束内不可被本地车辆计算的任务，给予其二等优先级，然后对于进入到第二层卸载机制的任务车辆，用任务数据量与时间约束的比值表示每个任务的普遍优先级，即Ran＝Dn/Γn，将其加入到原有的优先级别中，并将其降序排列，将空闲车辆的计算能力同样进行优先级排序；
计算任务成本时，具有更高任务优先级的任务会优先卸载到优先级排序更高的空闲车辆，上述卸载只有满足第一层卸载决策为0，空闲车辆有余量，且空闲车辆的计算能力超过任务车辆本地的计算能力时，才选择将任务卸载到空闲车辆，否则在任务车辆本地计算执行；
2)对于不满足判断模型条件的车辆，卸载算法将忽视MEC服务器的存在，同样采用双层卸载机制，首先对空闲车辆的计算能力以及任务进行优先级的排序，满足时延限制的情况下在空闲车辆以及任务车辆之间寻求系统成本最小化的卸载策略。
5.根据权利要求4所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，空闲车辆与任务车辆计算能力的比较是两种方法所致成本的比较。
6.根据权利要求4所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，该方法考虑在本MEC覆盖范围内的空闲车辆，不需要考虑若卸载到空闲车辆，计算完成后传输给任务车辆时，两个车辆可能会离开本MEC范围的情况，所述双层卸载机制能有效避免车辆任务超时和MEC服务器切换导致高成本的卸载策略而在MEC服务器，空闲车辆以及任务车辆之间寻求最优的卸载策略。
7.根据权利要求4所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，进行决策的权重因子是根据用户的要求选择不同的权重因子。
8.根据权利要求4所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，优化问题求解采用的所述多智能体算法是在部分可观测环境下，将MDP进一步扩展为部分可观测马尔可夫决策过程，使用元组<N,S,A,T,R,O>来描述POMDP模型。N＝{1,…,n}为系统中n个智能体的集合；在时隙t中，有St∈S表示全局的环境信息；对于每个智能体n∈N都需要选择一个动作un∈A来组成一个联合动作μ；通过将这个联合动作μ作用于环境，根据状态转移概率T进入下一个状态；此时，所有的智能体都会收到奖励r；在观测过程中，智能体只能获取自身的状态信息，不同的智能体具有不同的观测信息O；
环境的全局状态St；表示为如下形式：
Dn表示任务车辆n的任务量，dn表示车辆距离MEC服务器覆盖区域左边界的距离，Γn l表示任务n的容忍时间，为空闲车辆m的计算能力。Pd表示任务完成情况。对于当前时隙的任务请求，需要获取的部分观测信息On有：/>
Dn表示任务车辆n的任务量，Qn为任务需要的CPU周期数，Γn表示任务的紧急度，即任务的容忍时间，表示任务车辆本身的运算能力，dn为任务车辆距离MEC服务器覆盖区域最左端的距离。
9.根据权利要求8所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，所述2.2.2 QMIX算法的整个网络包含了Mixing Network和Agent DRQNNetwork，即采用一个混合网络对单智能体局部值函数进行合并，并在训练学习过程中加入全局状态信息辅助。
10.根据权利要求9所述的一种车联网下基于双层卸载机制和多智能体算法的卸载方法，其特征在于，所述QMIX算法结构分为两部分：
1)算法的第一部分是智能体的决策部分，即agentnetwork，由DRQN网络实现，DRQN是将DQN中的全连接层替换为GRU网络，其循环层由一个具有64维隐藏状态的GRU组成，循环网络在观测质量变化的情况下，具有更强的适应性；在将问题抽象成一个POMDP问题后，在算法中每一个智能体均使用DQRN网络来处理部分可观测马尔科夫决策过程来拟合Q值，在DRQN网络中输入t时刻每个智能体的部分观测值O和t-1时刻智能体的动作，输出为t时刻每个智能体的值函数Q；
2)算法第二部分网络是一个前馈神经网络，将联合动作值估计为每个智能体值的复杂非线性组合；在混合网络中，网络权重由单独的超网络生成，超网络将环境状态S作为输入并将混合网络权重作为输出；每个超网络均由一个线性层与一个绝对值激活函数构成，以确保混合网络中每层网络的权重非负；然后网络会接收所有智能体的值函数Q值，并将上述生成的权重赋值到网络自身，从而推理出全局效用Qtot；
其中，QMIX算法中联合动作价值函数Qtot与每个智能体的动作价值函数之间的关系如下：算法使联合动作值函数与每个局部值函数的单调性相同，因此对局部值函数取最大动作也就是使联合动作值函数最大；仅需满足Qtot取最大值就是Q取最大值即可，即对Qtot执行全局argmax与每个Q执行单个argmax产生相同的结果，公式如下：
为了保证Qtot的单调性与每个智能体的单调性保持一致，需满足：
最终QMIX算法的损失函数是一个标准的将Q换成了Qtot的DQN算法损失函数，公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310708437.XA CN116744367A (zh) | 2023-06-15 | 2023-06-15 | 车联网下基于双层卸载机制和多智能体算法的卸载方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310708437.XA CN116744367A (zh) | 2023-06-15 | 2023-06-15 | 车联网下基于双层卸载机制和多智能体算法的卸载方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116744367A true CN116744367A (zh) | 2023-09-12 |
Family
ID=87912978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310708437.XA Pending CN116744367A (zh) | 2023-06-15 | 2023-06-15 | 车联网下基于双层卸载机制和多智能体算法的卸载方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116744367A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117956523A (zh) * | 2024-03-22 | 2024-04-30 | 北京新源恒远科技发展有限公司 | 一种面向车联网边缘计算的任务处理方法 |
-
2023
- 2023-06-15 CN CN202310708437.XA patent/CN116744367A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117956523A (zh) * | 2024-03-22 | 2024-04-30 | 北京新源恒远科技发展有限公司 | 一种面向车联网边缘计算的任务处理方法 |
| CN117956523B (zh) * | 2024-03-22 | 2024-06-14 | 北京新源恒远科技发展有限公司 | 一种面向车联网边缘计算的任务处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111586696B (zh) | 一种基于多智能体架构强化学习的资源分配及卸载决策方法 | |
| CN111278132B (zh) | 移动边缘计算中面向低时延高可靠业务的资源分配方法 | |
| CN108777852B (zh) | 一种车联网内容边缘卸载方法、移动资源分配系统 | |
| Chen et al. | Efficiency and fairness oriented dynamic task offloading in internet of vehicles | |
| Yang et al. | A parallel intelligence-driven resource scheduling scheme for digital twins-based intelligent vehicular systems | |
| CN111124647B (zh) | 一种车联网中的智能边缘计算方法 | |
| CN114143346B (zh) | 一种车联网任务卸载和服务缓存的联合优化方法及系统 | |
| CN111711666B (zh) | 一种基于强化学习的车联网云计算资源优化方法 | |
| CN110928691A (zh) | 一种面向交通数据的端边协同计算卸载方法 | |
| CN110012039A (zh) | 一种车联网中基于admm的任务分配与功率控制方案 | |
| CN113645273B (zh) | 基于业务优先级的车联网任务卸载方法 | |
| CN112929849B (zh) | 一种基于强化学习的可靠车载边缘计算卸载方法 | |
| CN115134242B (zh) | 一种基于深度强化学习策略的车载计算任务卸载方法 | |
| CN115065683B (zh) | 基于车辆聚类的车辆边缘网络任务分配卸载方法 | |
| CN114662661A (zh) | 边缘计算下异构处理器加速多出口dnn推理的方法 | |
| CN116744367A (zh) | 车联网下基于双层卸载机制和多智能体算法的卸载方法 | |
| CN115052262A (zh) | 一种基于势博弈的车联网计算卸载与功率优化方法 | |
| CN113783959B (zh) | 一种车联网联合优化计算任务卸载比率和资源分配方法 | |
| CN115413044A (zh) | 一种工业无线网络的计算和通信资源联合分配方法 | |
| CN114928611A (zh) | 一种基于IEEE802.11p协议的车联网节能计算卸载优化方法 | |
| CN113573280B (zh) | 一种车辆边缘计算成本效益优化方法、系统、设备、终端 | |
| CN116996511A (zh) | 端边云动态卸载框架中智能车辆的卸载任务分配方法 | |
| CN116916272A (zh) | 基于自动驾驶汽车网络的资源分配和任务卸载方法及系统 | |
| Zhao et al. | A research of task-offloading algorithm for distributed vehicles | |
| CN115118783A (zh) | 基于异构通信技术超可靠低时延强化学习的任务卸载方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |