CN111885155B - 一种车联网资源融合的车载任务协作迁移方法 - Google Patents
一种车联网资源融合的车载任务协作迁移方法 Download PDFInfo
- Publication number
- CN111885155B CN111885155B CN202010711281.7A CN202010711281A CN111885155B CN 111885155 B CN111885155 B CN 111885155B CN 202010711281 A CN202010711281 A CN 202010711281A CN 111885155 B CN111885155 B CN 111885155B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- task
- vehicles
- communication
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013508 migration Methods 0.000 title claims abstract description 47
- 230000005012 migration Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006855 networking Effects 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 title claims abstract description 6
- 230000006870 function Effects 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000009471 action Effects 0.000 claims description 25
- 230000008901 benefit Effects 0.000 claims description 21
- 238000005265 energy consumption Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000002035 prolonged effect Effects 0.000 abstract description 3
- 230000004083 survival effect Effects 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- BSYNRYMUTXBXSQ-UHFFFAOYSA-N Aspirin Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O BSYNRYMUTXBXSQ-UHFFFAOYSA-N 0.000 description 1
- 208000012503 Bathing suit ichthyosis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 229940057344 bufferin Drugs 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229920003087 methylethyl cellulose Polymers 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5683—Storage of data provided by user terminals, i.e. reverse caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/24—Accounting or billing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种车联网资源融合的车载任务协作迁移方法,首先构建结合软件定义网络技术的两层网络框架,并通过软件定义网络技术实时获得全局信息并计算各设备的计算资源租赁价格和集体通信矩阵。将最大化单位租金所能获得的服务质量作为优化目标确定优化问题构建函数;而后通过深度强化学习中算法求解最优调度方案,将计算得的任务迁移决策和所需数据获取决策由软件定义网络控制器向各设备传递,进行相应的任务迁移和数据传输操作,从而延长整体集群的生存周期。本发明在边缘设备资源有限的情况下,为能源将耗尽的电动车的待执行任务提供了协作迁移方案,从而延长电动车的生存时间至到达下一个充电桩充电,为车联网中的任务调度问题提供新思路。
Description
技术领域
本发明涉及车辆交通领域中的资源管理问题,通过管理异构资源进行车载任务设备间进 行协作计算,尤其涉及到网络资源虚拟化技术进行资源管理和深度强化学习方法相结合进行 任务调度和资源分配。
背景技术
为了响应绿色可再生能源的号召,电动汽车逐渐成为了如今汽车市场的主流。然而,由 于电池储能容量有限,电池耗尽而引起的汽车故障仍然是电动汽车所面临的最棘手的问题之 一。当电动车的状态不足以执行当前计算任务时,需要研究如何以低能耗的方式行驶到下一 个充电桩,在这个过程中需要保证计算任务的顺利执行。移动边缘计算(MobileEdgeComputing, 下文简称MEC)技术的出现解决了这一问题,通过充分利用网络边缘设备上的空闲资源,能 够大大降低移动设备的计算负载。在车联网环境中,如何分配整个网络的资源调度任务进行 计算成为了核心问题。随着物联网和通信技术的革命,软件定义网络(SoftwareDefinedNetwork, 下文简称SDN)技术得到了前所未有的发展,SDN将数据平面与控制平面分离,并将异构的 物理资源虚拟化,用来解决网络资源分配是个很有前途的方案。现有的MEC的研究常把基 础设施(如:路侧单元或基站)作为边缘设备并认为边缘设备上的资源总是充足的。但当网 络边缘设备上的资源不充足时,或者配置MEC服务器的设备数量较少时,如何处理无法在 本地及时计算的任务就成了主要的问题。对于这种情景,需要研究人员提出一种能够充分利 用网络中的有限资源来保证车辆上无法在本地执行的任务顺利完成的计算任务调度方案,从 而保证网络中的电动车计算任务能够顺利执行,并尽可能延长低电量车辆的生存周期。
发明内容
本发明的目的主要是针对现有研究的不足之处,在边缘计算网络资源有限的情况下,结 合SDN技术和人工智能算法,提出一种融合车联网3C(即Communication,Computation和 Caching资源,简称3C资源)资源的车载任务协作迁移策略,SDN控制器基于获取的用于实 时全局信息,对无法在本地执行的车载任务,通过向其他车辆付费迁移到其他车辆执行。该 策略通过资源租赁的方式促进车辆之间相互协作,电动车在资源充足时出租自身资源向其他 车辆提供计算服务以获取收益,在资源匮乏时租赁其他设备的资源执行自身的计算任务。
本发明的技术方案:
1.一种车联网资源融合的车载任务协作迁移方法,其步骤如下:
1)构建结合SDN技术的两层网络框架,明确SDN控制器的部署位置获得设备信息,计 算各设备的计算资源租赁单价;计算集体通信矩阵;明确待迁移任务列表;
2)基于1)中的模型,确定目标优化函数;
3)基于1)和2)中的信息确定深度强化学习的状态空间、动作空间和奖励函数;
4)基于3)中的状态、动作和奖励,获得当前状态使用DDQN得到任务迁移位置决策和 所需数据决策;
5)SDN控制器向各设备传递决策,进行相应的任务迁移和数据传输操作,从而延长整体 集群的生存周期。
步骤1):明确场景中的主要元素,构建基于SDN技术的网络架构。在架构中,基础网络元素基于OpenFlow协议进行连接,部署在基站(Base station,下文简称BS)上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源,应用平面通过北向接口连接 到控制平面;SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配 物理基础结构的资源;在本方法,场景中的主要元素为NV辆电动汽车和NS个计算任务,电 动汽车的集合表示为V={1,2,...,NV},且|V|=NV,文中用下标i、j和h用来表示负责不同任 务的车辆,电动车vi上待执行的计算任务表示为si,每一个任务si都对应着不同的服务类型, 服务类型的集合(包括不同的计算任务)表示为K={1,2,...,NK},下标k用来区分不同的服务 类型。
1.1)在本发明中,主要涉及电动车和计算任务两种模型。电动车和基站可以用来执行计 算任务。当电动车的情况不足以执行当前任务在任务时,该任务将被迁移到其他设备上执行。
1.2)车载任务迁移过程中主要存在两种通信方式:V2V(Vehicle-to-Vehicle,即车对车, 简称V2V)通信和V2B(Vehicle-to-Base Station,即车对基站,简称V2B)。在进行迁移决策 前,首先基于数据平面的数据计算集群的通信矩阵M,其元素mp,q为设备vp与设备vq之间的 通信速率通信速率由香农公式进行计算:车辆vi与车辆vj之间的通信速率为 其中Bi,j是车辆vi与车辆vj之间的带宽,Γi,j为车辆vi与车辆vj之间 的信号噪声比(SignalNoiseRatio,简称SNR)反映了车辆vi与车辆vj之间的信道质量。而车 辆vi和BS之间的传输速率为其中ω为BS的子信道带宽,Γi,b表示车 辆vi与BS的信号干扰噪声比(SignaltoInterferenceplusNoiseRatio,简称SINR),不同于V2V, 其子信道之间存在干扰。
1.3)任务输入分为任务数据和所需数据库两部分数据获取,其中,任务数据的传输基于1.2)步骤中的V2V或V2B通信,而所需数据库的获取方式如下:设定集群中首次处理ki服 务类型任务的车辆会从互联网下载所需数据库,若资源充足则将数据库缓存在车辆上;该缓 存数据可传输给同一集群中其他需要该类型任务的车辆,传输速率由1.2)中的公式计算。
1.4)基于步骤1.2)和1.3)执行车辆vj获取了两部分输入数据后,进行任务计算,任务 si的计算延迟为:其中fcpu代表设备的可用计算能力,包括车辆或基站两种设备,fi comp为执行任务si所需计算资源大小。将车辆的计算资源建模为有限状态的 马尔可夫链。
步骤2):
优化目标为最大化全局总效益。本方法综合考虑延迟、存储容量、支付、功耗和速度的 约束。由部署在BS中的SDN控制器安排调度任务,以确保任务的成功执行并延长低电量电 动汽车的生命周期。车辆vi迁移任务si能够获得的速率和被定义为:
其中为任务数据传输速率;从车辆vh到车辆vj,所需数据的传输速率;为 车辆vj的数据下载速率;为车辆vj的计算能力;若任务迁移到BS上执行,为车辆 vi到BS的传输速率,为BS的数据下载速率;为BS的数据计算能力;和是 二进制变量,分别是任务迁移决策和所需数据获取决策。SDN控制器必须在支付费用和获得 的服务质量之间进行权衡。需要支付的总费用Pi total可通过下式计算:
其中,和分别为车辆vj和BS计算资源的租金单价,通过1.3)中的公式可计 算,和分别为车辆vj和BS下载资源的租金单价,综合二者,定义用户vi获得的效益为单位支付费用所获得的服务速率,从车辆服务状态和单位支付费用联合考虑该问题,则 优化问题可以表述为:
C1~C6为优化函数P的限制条件。其中,C1是对车辆的移动性进行限制,L两辆车之间 的距离,分母的|μi-μj|为两车的相对速度,该约束限制了两辆车进行通信的时间要确保两 辆车在可通信范围之内;C2和C3是对任务迁移车辆和任务执行车辆的能耗限制,C2中的和分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待 的时间;而C3中的和分别为执行车辆执行通信、计算和获取所需数据任务 的能耗。为了确保车辆不会因电池耗尽而抛锚。能耗计算公式为εcost=e×tcost,其中e是每单 位时间的功耗,包括EV的四个状态:行驶并执行通信任务(即ecomm,ecomm具有V2V和V2B 两种状态,即ev2v和ev2i),行驶并执行计算任务(即ecomp),行驶并执行下载任务(即edown)和仅行驶状态(即ewait),而tcost为车辆某状态的维持时间;C4是对集群中V2B的通信能力 的约束,Zb为BS通信容量;C5限制了任务迁移执行时间必须满足任务本身的延迟限制,为任务si的执行延迟限制;C6是对卸载决策的限制。
步骤3):
使用深度强化学习算法之前,需要对深度强化学习中的几个重要要素进行详细说明,即 状态,动作和奖励函数。
3.1)系统状态。在时隙t,集群中的状态空间为:
其中,Φi(t)为车辆设备的通信状态集合,为车辆用户的计算能力集合,Pi(t)为每辆 车的计算资源租赁费用,Ii(t)为车辆的其他状态集合,包括车辆的速度、行驶方向、位置、 缓存数据所属服务类型、剩余电量。
3.2)系统动作。动作可以表示为其中xi,j(t)是任务迁移决策,yj,h(t) 是所需数据获取决策。xi,j(t)定义为向量xi,j(t)=[xi,1(t),xi,2(t),...,xi,V(t)]其中xi,j(t)表示是否要 将车辆vi上的任务si迁移到车辆vj。如果任务si迁移到EVvj,则xi,j(t)=1,否则在时隙t迁 移xi,j(t)=0。注意表示任务si迁移到车辆执行,表示 任务si迁移到BS执行。相同地,yj,h(t)定义为向量yj,h(t)=[yj,1(t),yj,2(t),...,yj,V(t)],其中yj,h(t) 表示数据获取决策,即车辆vj是否从车辆vh上获取所需要的缓存数据。
3.3)奖励函数。本方案的目标在于最大程度地提高集群范围内迁移用户的总效用,即最 大化单位租金可获得的总服务速率。根据当前状态和动作决策,执行并计算奖励作为动作的 评估值。奖励的价值直接反映了行动的价值,基于对当前状态的观察来确定下一动作的方法 产生状态与动作之间的映射。奖励函数定义如下:
步骤4)
基于步骤3)中得到的系统状态、系统动作和奖励函数,基于深度强化学习中的DoubleDeepQ-Network(后文简称DDQN)算法进行任务的智能迁移。DDQN包含两个Q网 络即主Q网络Qmain和目标Q网络Qtarget,除此之外还有一个经验回放缓冲区用以存放样 本以供后期训练使用。
Step2:开始迭代,得到初始化状态,将该状态作为Q网络的输入,通过∈-greedy算法得 到该状态对应的动作,即:
其中和分别为状态和动作,为第一次获取的第一部分的状态,θ为当前Q网络的 参数。而后通过得到的xi,j(t)从通信矩阵中获取车辆vj相应的通信状态,包括车辆vj的其他 状态作为第二部分决策的输入状态,即得到数据获取决策为:
Step5:计算损失函数:
θ′=σθ+(1-σ)θ′
其中,σ为更新系数。
Step6:累积奖励值收敛到一个值即得到目标函数的最优解。
步骤5):
经过步骤4)求解得最优值后,SDN控制器将决策回传给集群中的车辆。集群中的车辆 根据得到的决策进行数据传输、任务计算或数据下载操作。
附图说明
图1为基于SDN技术,融合计算、通信和缓存资源的两层网络框架。
图2为计算任务的执行流程说明。
图3、图4为通信范围不同的条件下不同策略的性能对比情况,其中,图3是总效益和 平均延迟性能对比,a)是总效益,b)是平均延迟;图4是平均能耗和平均生存时间增益性能对比,a)是平均能耗,b)是平均生存时间增益。
图5、图6为计算负载不同的条件下不同策略的性能对比情况,其中,图5是总效益和 平均延迟性能对比,a)是平均能耗,b)是平均生存时间增益;图6是平均能耗和平均生存时间增益性能对比,a)是总效益,b)是平均延迟。
图7、图8为单位缓存数据不同的条件下(设置服务类别k∈K,缓存数据大小为k×单 位数据量大小)不同策略的性能对比情况,其中,图7是总效益和平均延迟性能对比,a)是 平均能耗,b)是平均生存时间增益;图8是平均能耗和平均生存时间增益性能对比,a)是总效益,b)是平均延迟。
具体实施方式
为了更加清楚详实地展现本发明的优点,下面将结合图片进一步描述本发明的实施方式。
本发明提供了一种车联网资源融合的车载任务协作迁移策略,旨在边缘计算资源有限的 情况下,促进电动车以协作的方式执行集群内无法本地执行的任务,来尽可能延长资源即将 耗尽的车辆的生存时间。
图1为支持SDN的两层网络体系结构。SDN的核心是将数据平面与控制平面分离。基础网 络元素基于OpenFlow协议连接。图2解释了整个任务的执行过程。基于图1和图2,本发明提 出了一种能够基于SDN技术管理3C资源从而进行任务迁移、协作执行的方案,具体步骤如下:
步骤1):明确场景中的主要元素,构建基于SDN技术的网络架构。在架构中,基础网络元素基于OpenFlow协议进行连接,部署在基站上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源,应用平面通过北向接口连接到控制平面;SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配物理基础结构的资源;在本方 法,场景中的主要元素为NV辆电动汽车和NS个计算任务,电动汽车的集合表示为 V={1,2,...,NV},且|V|=NV,文中用下标i、j和h用来表示负责不同任务的车辆,电动车vi上待执行的计算任务表示为si,每一个任务si都对应着不同的服务类型,服务类型的集合(包 括不同的计算任务)表示为K={1,2,...,NK},下标k用来区分不同的服务类型。基于SDN技 术,构建了图1中的两层网络架构。
1.1)电动车和计算任务模型
为车辆上所缓存的数据库所属的数据类型,当时,代表该车 上无缓存数据库;μi是车辆vi的速度,当车辆正向行驶时,μi>0时,当车辆逆向行驶时μi<0; 为电动车vi的可用计算资源,随电动车的计算负载的变化而变化;εi为电动车vi剩余 电量占总电量的百分比,且εi∈[0,1]。当车辆vi的剩余电量或可用计算资源不足以执行任务si时,它将通过资源租赁的方式将任务迁移到其他设备执行。该类车辆通过SDN控制器构成集 合V'={1,2,...,NV'},
b.计算任务模型:电动车vi上待执行的计算任务si表示为:其中各项元素定义如下:为任务si的任务数据大小;fi comp为执行任务si所需计算资源大 小;ki为任务si的服务类型ki∈K;为服务ki所需计算资源的大小;为任务si的执行 延迟限制。在本发明中,任务的计算输入部分分成两部分:任务数据和计算所需的数据库, 对于具有相同服务类型的任务,执行时所需要的数据库是相同的,该数据库可从互联网下载 获取。在获取数据库的过程中,重复下载同样服务类型的数据库产生冗余的网络开销,为了 充分利用网络资源,减少冗余开销,利用车辆上的空闲存储资源缓存数据库,可以大幅度减 少全局网络的延迟和能耗开销。
1.2)在任务迁移的过程中主要存在两种通信方式:车对车(vehicle-to-vehicle,V2V)通 信和车对基站(vehicle-to-base station,V2B)通信。SDN首先基于设备数据信息计算集群 (NV+1)×(NV+1)的通信矩阵M,NV为集群中的车辆总数,其元素mp,q为设备vp与设备vq之 间的通信速率具体计算方法如下:
a.V2V通信:V2V通信使用正交频分多址技术来确保通信的质量和稳定性。车辆vi与车 辆vj之间的通信速率通过香农公式计算,其中Bi,j是车辆vi与车辆vj之间的通信带宽;信号噪声比反映了车辆vi与车辆vj之间的信道质量;其中 pi,j和gi,j分别表示车辆vi与车辆vj之间的传输功率和信道增益,σ2为高斯噪声。
b.V2B通信:若当前场景无法通过V2V为任务待迁移车辆提供可靠通信,则可建立V2B 通信。基站总带宽Bb被平均分为N个子信道,每个子信道的信道带宽ω=Bb/N;因此,传输速率其中Γi,b表示车辆vi与BS的信号干扰噪声比,SINR由公式进行计算,其中pi,b和gi,b分别是车辆vi和BS之间的传输功率和信道增益,Ii,b表示来自其他子信道的干扰,σ2为高斯噪声。
1.3)任务数据的传输基于1.2)步骤中提到的V2V或V2B通信。而获取所需数据库的方 式如下:设定集群中首次处理k服务类型任务的车辆从互联网下载所需数据库,若资源充足 则将数据库缓存在车辆上,该缓存数据可传输给同一集群中其他需要该类型任务的车辆,传 输速率由1.2)中的公式计算。当电动车vj执行迁移任务si,该部分数据获取延迟可由 计算,其中ι是执行任务si的车辆vj是否已经缓存了 任务si所需数据库的标志,如果车辆vj已缓存需求数据库,则ι=0,即无需从其他设备传输 或从网络下载该数据库;否则,ι=1。当ι=1且集群中存在缓存服务类型时,和分别 为数据库传输延迟和传输请求等待延迟;yj,h为车辆vj执行任务所需数据库是否从车辆vh传 输的决策变量;而当ι=1且该数据必须从互联网下载时,是下载所需数据库的时长,即 为车辆vj从互联网下载数据的速度,为服务ki所需计算资源的大小;
1.4)基于步骤1.2)和1.3)执行车辆vj获取了两部分输入数据后,进行任务计算,任务si的 计算延迟为:其中fcpu代表设备的可用计算能力,包括车辆或基站两 种设备,为执行任务si所需计算资源大小;将车辆的计算资源建模为有限状态的马 尔可夫链。fcpu可被分为Lcomp个等级。如果则为级别如果 则为级别以此类推。对于这些级别其状态空间为状态s1转移到s2的一个时隙的状态转换概率可以表示为 和Lcomp×Lcomp矩阵可以定义为:其中且s1,s2∈Scomp。在本发明中,我们假设如果其中的下限是防止电动车计算资源过低而出现故障的阈 值。在BS中执行的任务i的计算延迟可以通过1.2)中的公式计算,且BS的计算能力对于执行所有类型的任务是足够且稳定的。
1.5)对电动车计算资源,其单位租金会随着可用计算能力fcpu和剩余电量ε的状态而变 化;其租金由函数计算,其定义为:其中α和β是价格 因子,e为欧拉数,ε为设备剩余电量。车辆vj的租金由租金函数计算,得 到车辆vj上可用的计算资源和剩余电量越多,车辆倾向于协助其他车辆执行任务来赚取收益 的倾向就越强烈;在上述公式中,将租金函数分为两部分,和指数函数和反函数分 别表示对剩余电量和计算资源的敏感性;但是,单价对剩余电量和可用计算资源的敏感性不 同;如果电量εj极低,则无论剩余资源如何车辆vj都倾向于不参与任务的协作执行;租金流 促进了全局车辆之间的合作;在这里,BS的电量始终是足够的,即ε=1,而BS的租金由即其中,表示可用计算资源;
步骤2):优化目标为最大化全局总效益;本方法综合考虑延迟、存储容量、支付、功耗 和速度的约束;由部署在BS中的SDN控制器安排调度任务,以确保任务的成功执行并延长 低电量电动汽车的生命周期;车辆vi迁移任务si能够获得的速率和被定义为:
其中为任务数据传输速率;从车辆vh到车辆vj,所需数据的传输速率;为 车辆vj的数据下载速率;为车辆vj的计算能力;若任务迁移到BS上执行,为车辆vi到BS的传输速率,为BS的数据下载速率;为BS的数据计算能力;和是 二进制变量,分别是任务迁移决策和所需数据获取决策,涉及到车辆vi的两跳通信;决策和相互影响;SDN控制器必须在支付费用和获得的服务质量之间进行权衡需要支付的总 费用可通过下式计算:
其中,和分别为车辆vj和BS计算资源的租金单价,通过1.3)中的公式可计 算,和分别为车辆vj和BS下载资源的租金单价,综合二者,定义用户vi获得的效 益为单位支付费用所获得的服务速率,从车辆服务状态和单位支付费用联合考虑该问题,则 优化问题可以表述为:
C1~C6为优化函数P的限制条件;其中,C1是对车辆的移动性进行限制,L两辆车之间 的距离,分母的|μi-μj|为两车的相对速度,该约束限制了两辆车进行通信的时间要确保两 辆车在可通信范围之内;C2和C3是对任务迁移车辆和任务执行车辆的能耗限制,C2中的和分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待 的时间;而C3中的和分别为执行车辆执行通信、计算和获取所需数据任务 的能耗;为了确保车辆不会因电池耗尽而抛锚;能耗计算公式为εcost=e×tcost,其中e是每单 位时间的功耗,包括EV的四个状态:行驶并执行通信任务即ecomm,ecomm具有V2V和V2B两种状态,即ev2v和ev2i,行驶并执行计算任务即ecomp,行驶并执行下载任务即edown和仅行驶状态即ewait,而tcost为车辆某状态的维持时间;C4是对集群中V2B的通信能力的约束,Zb为BS通信容量;C5限制了任务迁移执行时间必须满足任务本身的延迟限制,为任务si的执行延迟限制;C6是对卸载决策的限制;
步骤3):使用深度强化学习算法之前,需要对深度强化学习中的几个重要要素进行详细 说明,即状态,动作和奖励函数;
3.1)系统状态;在时隙t,集群中的状态空间为:
其中,Φi(t)为车辆设备的通信状态集合,为车辆用户的计算能力集合,Pi(t)为每辆 车的计算资源租赁费用,Ii(t)为车辆的其他状态集合,包括车辆的速度、行驶方向、位置、 缓存数据所属服务类型、剩余电量;
3.2)系统动作;动作可以表示为其中xi,j(t)是任务迁移决策,yj,h(t) 是所需数据获取决策;xi,j(t)定义为向量xi,j(t)=[xi,1(t),xi,2(t),...,xi,V(t)]其中xi,j(t)表示是否要 将车辆vi上的任务si迁移到车辆vj;如果任务si迁移到EVvj,则xi,j(t)=1,否则在时隙t迁 移xi,j(t)=0;注意表示任务si迁移到车辆执行,表示 任务si迁移到BS执行;相同地,yj,h(t)定义为向量yj,h(t)=[yj,1(t),yj,2(t),...,yj,V(t)],其中yj,h(t) 表示数据获取决策,即车辆vj是否从车辆vh上获取所需要的缓存数据;
步骤4):基于步骤3)中得到的系统状态、系统动作和奖励函数,基于深度强化学习中 的DoubleDeepQ-Network算法进行任务的智能迁移;DDQN包含两个Q网络即主Q网络Qmain和目标Q网络Qtarget,除此之外还有一个经验回放缓冲区用以存放样本以供后期训练使用;
Step2:开始迭代,得到初始化状态,将该状态作为Q网络的输入,通过∈-greedy算法得 到该状态对应的动作,即:
其中和分别为状态和动作,为第一次获取的第一部分的状态,θ为当前Q网络的 参数;而后通过得到的xi,j(t)从通信矩阵中获取车辆vj相应的通信状态,包括车辆vj的其他 状态作为第二部分决策的输入状态,即得到数据获取决策为:
Step5:计算损失函数:
Step6:累积奖励值收敛到一个值即得到目标函数的最优解;
步骤5):经过步骤4)求解得最优值后,SDN控制器将决策回传给集群中的车辆;集群 中的车辆根据得到的决策进行数据传输、任务计算或数据下载操作。
图3、4为不同通信范围的条件下,不同决策的性能对比,图3为不同策略的集群总效益 和平均延迟性能对比,图4为不同策略的平均能耗和平均生存时间增益性能对比。通过图3、 4可以得到,随通信距离的增加,各策略性能相对稳定,且本发明所提出的方法能够在不同 通信范围条件下均得到较好的性能效果。
图5、6为不同计算负载条件下,不同决策的性能对比,图5为不同策略的集群总效益和 平均延迟性能对比,图6为不同策略的平均能耗和平均生存时间增益性能对比。通过图5、6 可以得到,随计算负载的增加,各策略总效益逐渐增加,在不同的情况下本发明所提出的方 法仍能取得最优的性能。
图7、8为不同服务类型所需单位数据大小(即:单位缓存数据大小),不同决策的性能 对比,图7为不同策略的集群总效益和平均延迟性能对比,图8为不同策略的平均能耗和平 均生存时间增益性能对比。随着缓存数据量的增加,各策略的性能逐渐降低,且随着计算负 载的增加,本发明提出的方案的性能优势逐渐明显。
综上所述,本发明提出了融合3C资源的任务调度方案,使用深度强化学习算法解决边缘 计算中当边缘资源有限的情况下,为了保证集群设备的正常运行增加设备的生存时间而提出 的任务迁移协作执行方案,通过评估用户单位支出所能获得的服务速率来评估用户获得的效 益,从而最大化集群用户总效益。
以上方案内容仅表述本发明的技术方案,并非最完美精确的解决方案。随着技术的革新 与时代的变迁,方案可能产生更合理更高效的变化。选择示例性实施方式并进行描述是为了 解释本发明的原理和应用,为了便于研究人员与技术人员的参考、理解与实践本发明的具体 细节。若在本发明构想的基础上所作的改变,其所产生的功能作用仍未超出说明书及附图所 涵盖的内容时,仍应属本发明的保护范围。
Claims (1)
1.一种车联网资源融合的车载任务协作迁移方法,其步骤如下:
步骤1):明确场景中的主要元素,构建基于SDN技术的网络架构;在架构中,基础网络元素基于OpenFlow协议进行连接,部署在基站上的SDN控制器作为集群的中心控制器根据应用平面的要求分配底层资源,应用平面通过北向接口连接到控制平面;SDN控制器根据应用程序的需求以及通过南向接口从数据平面获得的信息分配物理基础结构的资源;在本方法,场景中的主要元素为NV辆电动汽车和NS个计算任务,电动汽车的集合表示为且|V|=NV,文中用下标i、j和h用来表示负责不同任务的车辆,电动车vi上待执行的计算任务表示为si,每一个任务si都对应着不同的服务类型,服务类型的集合(包括不同的计算任务)表示为K={1,2,...,NK},下标k用来区分不同的服务类型;
1.1)电动车和计算任务模型
为车辆上所缓存的数据库所属的数据类型,当时,代表该车上无缓存数据库;μi是车辆vi的速度,当车辆正向行驶时,μi>0时,当车辆逆向行驶时μi<0;fi cpu为电动车vi的可用计算资源,fi cpu随电动车的计算负载的变化而变化;εi为电动车vi剩余电量占总电量的百分比,且εi∈[0,1];当车辆vi的剩余电量或可用计算资源不足以执行任务si时,它将通过资源租赁的方式将任务迁移到其他设备执行;该类车辆通过SDN控制器构成集合
b.计算任务模型:电动车vi上待执行的计算任务si表示为:其中各项元素定义如下:为任务si的任务数据大小;fi comp为执行任务si所需计算资源大小;ki为任务si的服务类型ki∈K;为服务ki所需计算资源的大小;为任务si的执行延迟限制;在本发明中,任务的计算输入部分分成两部分:任务数据和计算所需的数据库,对于具有相同服务类型的任务,执行时所需要的数据库是相同的,该数据库可从互联网下载获取;在获取数据库的过程中,重复下载同样服务类型的数据库产生冗余的网络开销,为了充分利用网络资源,减少冗余开销,利用车辆上的空闲存储资源缓存数据库,可以大幅度减少全局网络的延迟和能耗开销;
1.2)在任务迁移的过程中主要存在两种通信方式:车对车V2V通信和车对基站V2B通信;SDN首先基于设备数据信息计算集群(NV+1)×(NV+1)的通信矩阵M,NV为集群中的车辆总数,其元素mp,q为设备vp与设备vq之间的通信速率具体计算方法如下:
a.V2V通信:V2V通信使用正交频分多址技术来确保通信的质量和稳定性;车辆vi与车辆vj之间的通信速率通过香农公式计算,其中Bi,j是车辆vi与车辆vj之间的通信带宽;信号噪声比反映了车辆vi与车辆vj之间的信道质量;其中pi,j和gi,j分别表示车辆vi与车辆vj之间的传输功率和信道增益,σ2为高斯噪声;
b.V2B通信:若当前场景无法通过V2V为任务待迁移车辆提供可靠通信,则可建立V2B通信;基站总带宽Bb被平均分为N个子信道,每个子信道的信道带宽ω=Bb/N;因此,传输速率其中Γi,b表示车辆vi与BS的信号干扰噪声比,SINR由公式进行计算,其中pi,b和gi,b分别是车辆vi和BS之间的传输功率和信道增益,Ii,b表示来自其他子信道的干扰,σ2为高斯噪声;
1.3)任务数据的传输基于1.2)步骤中提到的V2V或V2B通信;而获取所需数据库的方式如下:设定集群中首次处理k服务类型任务的车辆从互联网下载所需数据库,若资源充足则将数据库缓存在车辆上,该缓存数据可传输给同一集群中其他需要该类型任务的车辆,传输速率由1.2)中的公式计算;当电动车vj执行迁移任务si,该部分数据获取延迟可由计算,其中ι是执行任务si的车辆vj是否已经缓存了任务si所需数据库的标志,如果车辆vj已缓存需求数据库,则ι=0,即无需从其他设备传输或从网络下载该数据库;否则,ι=1;当ι=1且集群中存在缓存服务类型时,和分别为数据库传输延迟和传输请求等待延迟;yj,h为车辆vj执行任务所需数据库是否从车辆vh传输的决策变量;而当ι=1且该数据必须从互联网下载时,是下载所需数据库的时长,即 为车辆vj从互联网下载数据的速度,为服务ki所需计算资源的大小;
1.4)基于步骤1.2)和1.3)执行车辆vj获取了两部分输入数据后,进行任务计算,任务si的计算延迟为:其中fcpu代表设备的可用计算能力,包括车辆或基站两种设备,fi comp为执行任务si所需计算资源大小;将车辆的计算资源建模为有限状态的马尔可夫链;
1.5)对电动车计算资源,其单位租金会随着可用计算能力fcpu和剩余电量ε的状态而变化;其租金由函数计算,其定义为:其中α和β是价格因子,e为欧拉数,ε为设备剩余电量;车辆vj的租金由租金函数计算,得到车辆vj上可用的计算资源和剩余电量越多,车辆倾向于协助其他车辆执行任务来赚取收益的倾向就越强烈;在上述公式中,将租金函数分为两部分,和指数函数和反函数分别表示对剩余电量和计算资源的敏感性;但是,单价对剩余电量和可用计算资源的敏感性不同;如果电量εj极低,则无论剩余资源如何,车辆vj都倾向于不参与任务的协作执行;租金流促进了全局车辆之间的合作;在这里,BS的电量始终是足够的,即ε=1,而BS的租金由即其中,表示可用计算资源;
步骤2):优化目标为最大化全局总效益;本方法综合考虑延迟、存储容量、支付、功耗和速度的约束;由部署在BS中的SDN控制器安排调度任务,以确保任务的成功执行并延长低电量电动汽车的生命周期;车辆vi迁移任务si能够获得的速率和被定义为:
其中为任务数据传输速率;从车辆vh到车辆vj,所需数据的传输速率;为车辆vj的数据下载速率;为车辆vj的计算能力;若任务迁移到BS上执行,为车辆vi到BS的传输速率,为BS的数据下载速率;为BS的数据计算能力;和是二进制变量,分别是任务迁移决策和所需数据获取决策,涉及到车辆vi的两跳通信;决策和相互影响;SDN控制器必须在支付费用和获得的服务质量之间进行权衡需要支付的总费用Pi total可通过下式计算:
其中,和分别为车辆vj和BS计算资源的租金单价,通过1.3)中的公式可计算,和分别为车辆vj和BS下载资源的租金单价,综合二者,定义用户vi获得的效益为单位支付费用所获得的服务速率,从车辆服务状态和单位支付费用联合考虑该问题,则优化问题可以表述为:
C1~C6为优化函数P的限制条件;其中,C1是对车辆的移动性进行限制,L两辆车之间的距离,分母的|μi-μj|为两车的相对速度,该约束限制了两辆车进行通信的时间要确保两辆车在可通信范围之内;C2和C3是对任务迁移车辆和任务执行车辆的能耗限制,C2中的和分别为迁移车辆i与其他设备进行通信的时间和任务迁移执行等待传回需要等待的时间;而C3中的和分别为执行车辆执行通信、计算和获取所需数据任务的能耗;为了确保车辆不会因电池耗尽而抛锚;能耗计算公式为εcost=e×tcost,其中e是每单位时间的功耗,包括EV的四个状态:行驶并执行通信任务即ecomm,ecomm具有V2V和V2B两种状态,即ev2v和ev2i,行驶并执行计算任务即ecomp,行驶并执行下载任务即edown和仅行驶状态即ewait,而tcost为车辆某状态的维持时间;C4是对集群中V2B的通信能力的约束,Zb为BS通信容量;C5限制了任务迁移执行时间必须满足任务本身的延迟限制,为任务si的执行延迟限制;C6是对卸载决策的限制;
步骤3):使用深度强化学习算法之前,需要对深度强化学习中的几个重要要素进行详细说明,即状态,动作和奖励函数;
3.1)系统状态;在时隙t,集群中的状态空间为:
其中,Φi(t)为车辆设备的通信状态集合,为车辆用户的计算能力集合,Pi(t)为每辆车的计算资源租赁费用,Ii(t)为车辆的其他状态集合,包括车辆的速度、行驶方向、位置、缓存数据所属服务类型、剩余电量;
3.2)系统动作;动作可以表示为其中xi,j(t)是任务迁移决策,yj,h(t)是所需数据获取决策;xi,j(t)定义为向量xi,j(t)=[xi,1(t),xi,2(t),...,xi,V(t)]其中xi,j(t)表示是否要将车辆vi上的任务si迁移到车辆vj;如果任务si迁移到EVvj,则xi,j(t)=1,否则在时隙t迁移xi,j(t)=0;注意 表示任务si迁移到车辆执行,表示任务si迁移到BS执行;相同地,yj,h(t)定义为向量yj,h(t)=[yj,1(t),yj,2(t),...,yj,V(t)],其中yj,h(t)表示数据获取决策,即车辆vj是否从车辆vh上获取所需要的缓存数据;
步骤4):基于步骤3)中得到的系统状态、系统动作和奖励函数,基于深度强化学习中的DoubleDeepQ-Network算法进行任务的智能迁移;DDQN包含两个Q网络即主Q网络Qmain和目标Q网络Qtarget,除此之外还有一个经验回放缓冲区用以存放样本以供后期训练使用;
Step2:开始迭代,得到初始化状态,将该状态作为Q网络的输入,通过∈-greedy算法得到该状态对应的动作,即:
其中和分别为状态和动作,为第一次获取的第一部分的状态,θ为当前Q网络的参数;而后通过得到的xi,j(t)从通信矩阵中获取车辆vj相应的通信状态,包括车辆vj的其他状态作为第二部分决策的输入状态,即得到数据获取决策为:
Step5:计算损失函数:
Step6:累积奖励值收敛到一个值即得到目标函数的最优解;
步骤5):经过步骤4)求解得最优值后,SDN控制器将决策回传给集群中的车辆;集群中的车辆根据得到的决策进行数据传输、任务计算或数据下载操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010711281.7A CN111885155B (zh) | 2020-07-22 | 2020-07-22 | 一种车联网资源融合的车载任务协作迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010711281.7A CN111885155B (zh) | 2020-07-22 | 2020-07-22 | 一种车联网资源融合的车载任务协作迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111885155A CN111885155A (zh) | 2020-11-03 |
CN111885155B true CN111885155B (zh) | 2021-06-18 |
Family
ID=73155329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010711281.7A Expired - Fee Related CN111885155B (zh) | 2020-07-22 | 2020-07-22 | 一种车联网资源融合的车载任务协作迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111885155B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862282B (zh) * | 2021-01-27 | 2022-12-06 | 合肥工业大学 | 一种基于ddqn算法的综合能源系统源-荷协同调度优化方法 |
CN113114721B (zh) * | 2021-03-15 | 2022-05-03 | 重庆邮电大学 | 一种基于mec的软件定义车联网服务迁移方法 |
CN113254219B (zh) * | 2021-06-28 | 2021-10-15 | 国汽智控(北京)科技有限公司 | 协同处理方法、协同处理装置、电子设备及存储介质 |
CN113542376A (zh) * | 2021-07-01 | 2021-10-22 | 广东工业大学 | 一种基于能耗与时延加权的任务卸载方法 |
CN114172558B (zh) * | 2021-11-24 | 2024-01-19 | 上海大学 | 一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法 |
CN114884998B (zh) * | 2022-07-11 | 2022-09-06 | 北京理工大学 | 一种协作式软件定义车载网络系统、调度方法及cacc |
CN115484304B (zh) * | 2022-08-02 | 2024-03-19 | 重庆邮电大学 | 一种基于轻量级学习的实时服务迁移方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
CN110213796A (zh) * | 2019-05-28 | 2019-09-06 | 大连理工大学 | 一种车联网中的智能资源分配方法 |
CN110445855A (zh) * | 2019-07-30 | 2019-11-12 | 大连理工大学 | 一种基于sdn的车联网分布式雾计算体系结构设计方法 |
WO2020018679A1 (en) * | 2018-07-17 | 2020-01-23 | Nvidia Corporation | Regression-based line detection for autonomous driving machines |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109361755A (zh) * | 2018-11-07 | 2019-02-19 | 重庆光电信息研究院有限公司 | 基于基站的城市物联网边缘计算网点的设置与管理方法 |
CN111414252B (zh) * | 2020-03-18 | 2022-10-18 | 重庆邮电大学 | 一种基于深度强化学习的任务卸载方法 |
-
2020
- 2020-07-22 CN CN202010711281.7A patent/CN111885155B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020018679A1 (en) * | 2018-07-17 | 2020-01-23 | Nvidia Corporation | Regression-based line detection for autonomous driving machines |
CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
CN110213796A (zh) * | 2019-05-28 | 2019-09-06 | 大连理工大学 | 一种车联网中的智能资源分配方法 |
CN110445855A (zh) * | 2019-07-30 | 2019-11-12 | 大连理工大学 | 一种基于sdn的车联网分布式雾计算体系结构设计方法 |
Non-Patent Citations (3)
Title |
---|
"Intelligent Edge Computing in Internet of Vehicles:";Zhaolong Ning;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20200605;第1-14页 * |
"一种基于软件定义的弹性网络资源分配方案";王威华;《重庆理工大学学报(自然科学)》;20170731;第31卷(第7期);第1-7页 * |
"车联网中基于MEC的任务卸载优化研究";栾秋季;《中国优秀硕士论文全文数据库》;20200215;第1-66页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111885155A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111885155B (zh) | 一种车联网资源融合的车载任务协作迁移方法 | |
CN110213796B (zh) | 一种车联网中的智能资源分配方法 | |
CN109379727B (zh) | 车联网中基于mec的任务分布式卸载与协作执行方案 | |
Zhao et al. | Contract-based computing resource management via deep reinforcement learning in vehicular fog computing | |
CN113543074B (zh) | 一种基于车路云协同的联合计算迁移和资源分配方法 | |
CN109167671A (zh) | 一种面向量子密钥分发业务的配用通信系统均衡负载调度算法 | |
Wang et al. | Dynamic offloading scheduling scheme for MEC-enabled vehicular networks | |
Ibn-Khedher et al. | Edge computing assisted autonomous driving using artificial intelligence | |
Chawra et al. | Hybrid meta-heuristic techniques based efficient charging scheduling scheme for multiple mobile wireless chargers based wireless rechargeable sensor networks | |
Lin et al. | Deep reinforcement learning-based task scheduling and resource allocation for NOMA-MEC in Industrial Internet of Things | |
Li et al. | DQN-enabled content caching and quantum ant colony-based computation offloading in MEC | |
Shen et al. | Slicing-based task offloading in space-air-ground integrated vehicular networks | |
Ge et al. | Interference aware service migration in vehicular fog computing | |
Zhou et al. | Hierarchical multi-agent deep reinforcement learning for energy-efficient hybrid computation offloading | |
Moghaddasi et al. | An enhanced asynchronous advantage actor-critic-based algorithm for performance optimization in mobile edge computing-enabled internet of vehicles networks | |
CN113747450B (zh) | 一种移动网络中业务部署方法、装置及电子设备 | |
CN117221951A (zh) | 车载边缘环境下基于深度强化学习的任务卸载方法 | |
CN113423091B (zh) | 一种车载算力网络的多维资源智能联合优化方法、系统 | |
Lu et al. | Enhancing vehicular edge computing system through cooperative computation offloading | |
CN113448707A (zh) | 在边缘计算中在线批并行任务调度方法 | |
Zhang et al. | Novel resource allocation algorithm of edge computing based on deep reinforcement learning mechanism | |
Agbaje et al. | Deep Reinforcement Learning for Energy-Efficient Task Offloading in Cooperative Vehicular Edge Networks | |
Gao et al. | Meta Reinforcement Learning Based Computation Offloading Strategy for Vehicular Networks | |
CN117544680B (zh) | 一种基于电力物联网缓存放置方法、系统、设备及介质 | |
Alahmadi et al. | Fogbanks: Future Dynamic Vehicular Fog Banks for Processing, Sensing and Storage in 6G |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210618 |
|
CF01 | Termination of patent right due to non-payment of annual fee |