CN117062025A - 一种车联网节能联合计算卸载与资源分配方法 - Google Patents

一种车联网节能联合计算卸载与资源分配方法 Download PDF

Info

Publication number
CN117062025A
CN117062025A CN202311210900.4A CN202311210900A CN117062025A CN 117062025 A CN117062025 A CN 117062025A CN 202311210900 A CN202311210900 A CN 202311210900A CN 117062025 A CN117062025 A CN 117062025A
Authority
CN
China
Prior art keywords
task
vehicle
calculation
unloading
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311210900.4A
Other languages
English (en)
Inventor
刘倩
祁智
刘期烈
王四洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202311210900.4A priority Critical patent/CN117062025A/zh
Publication of CN117062025A publication Critical patent/CN117062025A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于车联网领域，具体涉及一种车联网节能联合计算卸载与资源分配方法，所述包括提出了一种协同感知的数据融合体系结构，将来自RSU和车辆的感知数据进行数据融合处理。面向数据融合计算任务，提出了一种改进的K均值任务分类算法对任务进行预分类。然后针对需要将任务卸载到卸载节点的车辆，提出了一个具有长期时延约束和长期能耗约束的排队时延最小化问题，并利用李雅普诺夫优化方法将长期时延约束和长期能耗约束转化为队列稳定性问题。最后将其卸载过程建模为马尔可夫决策过程模型，利用DDQN算法找到最优的计算卸载与计算资源分配决策。

Description

一种车联网节能联合计算卸载与资源分配方法
技术领域
本发明属于车联网领域，具体涉及一种车联网节能联合计算卸载与资源分配方法。
背景技术
车联网是新一代网络通信技术与汽车、电子、道路交通运输等领域深度融合的新兴产业形态，呈现蓬勃发展的良好态势。随着车联网的智能化、信息化、多元化发展，车辆的计算任务已不仅仅局限于安全预警与道路信息收集，而是向多媒体娱乐化方向扩展。通信感知一体化系统(Integrated sensing and communication,ISAC)被认为是6G的一个极具潜力的新兴技术，并且在许多环境感知场景中具有广泛的用途。ISAC辅助的V2X网络是6G时代最具潜力的ISAC应用场景之一。一方面，自动驾驶车辆配备有通信收发器以及各种传感器，另一方面，当前密集部署的RSU仅需对硬件、信令策略和通信标准进行微小修改就可以重新用于感测。ISAC辅助的6G V2X网络可以利用ISAC的融合增益和协调增益来获得更准确的感知信息和更好的无线通信质量，这将有力地支持各种车联网智能服务。环境感知数据主要来自部署在车辆上的各类传感器以及无线基础设施，融合多源感知数据可以获得可靠的交通环境信息。然而，在计算资源有限的条件下，随着处理数据量的增加，任务延迟与节能之间的矛盾越来越突出。移动边缘计算是一种全新的网络体系结构概念，在移动网络边缘即近用户端，部署具有丰富计算、存储能力的服务器，将计算任务卸载至MEC或者其他邻近车辆进行计算，可以有效扩展车联网的计算容量。
移动边缘计算技术提供了物理距离上接近用户的计算和存储资源。与传统云计算相比，MEC显著缩短了服务器与用户之间的传输距离。将MEC技术引入V2X网络可以帮助车辆实现更短的延迟、更低的能耗和更高的服务质量。ISAC需要在网络环境中进行实时感知和信息交互，但当网络拥塞或带宽有限时，其能力可能受到限制，而且MEC的计算资源是有限的，如果卸载计算任务需求过多时，可能会导致MEC服务器过载。从目前国内外研究现状来看，国内外专家和学者在联合计算卸载和资源分配策略上进行了一些研究。然而，这些工作既没有考虑能量消耗要求，也没有针对性地为ISAC辅助的V2X网络设计策略。因此需要一种联合计算卸载和资源分配方法，改善V2X网络中任务处理延迟和资源利用率。
发明内容
为解决上述问题，本发明提供一种车联网节能联合计算卸载与资源分配方法，包括以下步骤：
对路边单元的感知数据与任务车辆的感知数据进行融合处理，生成计算任务；
利用K均值任务分类方法对计算任务分类，分为在本地执行的计算任务、以及在可卸载车辆或边缘服务器执行的计算任务；
根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的长期时延约束和长期能耗约束，构建出计算任务的最小化排队时延模型；
利用李雅普诺夫优化算法将最小化排队时延模型的长期时延约束和长期能耗约束转化为队列稳定性约束，构建出优化后的最小化排队时延模型；
根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的过程，将优化后的最小化排队时延模型建模为马尔科夫决策过程；
利用深度强化学习模型对马尔科夫决策过程进行求解，计算出最优的卸载决策和资源分配决策。
本发明的有益效果：
本发明提出了一种车联网节能联合计算卸载与资源分配方法，本发明在保证任务延迟性能的同时，提高了融合计算任务的能量效率。由于每个短期决策对整个系统的长期延迟和能量消耗具有很大影响，同时短期决策必须在没有未来信息的情况下做出。因此，本发明采用李雅普诺夫优化将长期延迟约束和长期能耗约束转化为队列稳定性问题。同时，本发明还设计了一种改进的K-means任务分类算法来判断计算任务是应该在本地处理还是应该卸载到MEC服务器或其他可卸载车辆。如果某个计算任务需要卸载，则可以使用MDP模型对其卸载过程进行建模，并通过基于DDQN的计算卸载和资源分配算法来寻找最优的卸载和计算资源分配决策，能够降低计算复杂度，提高卸载和资源分配策略的效率。
附图说明
图1为本发明实施例的一种通信场景示意图；
图2为本发明实施例的一种车联网节能联合计算卸载与资源分配方法流程图；
图3为本发明实施例的RSU与车辆协同感知的分布式数据融合体系结构；
图4为本发明与不同算法下，平均排队时延随卸载车辆数量变化趋势图；
图5为本发明与不同算法下，系统总任务时延随系统车辆数量变化趋势图；
图6为本发明与不同算法下，系统总能量消耗随系统车辆数量变化趋势图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，如图1所示，考虑一个由M个ISAC辅助的RSU和I辆车组成的城市交叉路口场景。ISAC辅助的RSU能够将通信和传感功能集成到交通基础设施中，这种新型RSU除具备传统的通信传输功能外，还有望具备视频监控、雷达探测、气象监测等环境感知功能。因此，ISAC辅助的RSU可获得周围交通环境的实时感测数据，以扩展车辆感测视野范围。同时，ISAC辅助的RSU也部署有MEC服务器，具备计算能力，可以处理卸载任务。将场景中所有车辆划分为任务车辆和可卸载车辆，车辆集合为任务车辆集由表示，vi表示第i辆任务车辆，/>可卸载车辆集由/>表示，/>表示第j辆可卸载车辆，/>表示RSU集合，Rm表示第m个RSU，并且部署在该RSU上的MEC服务器的最大计算能力可定义为/>RSU与车辆之间的协同感知可以有效消除车辆传感器的盲区，降低交通风险。
对于上述通信场景，本实施例将采用时隙计算模型，将整个周期划分为T个给定时长的时隙，时隙的集合用表示，t表示第t个时隙。本实施例引入任务模型来描述计算任务，其中di(t)表示计算任务的输入数据大小，ci(t)表示完成计算任务ψi(t)所需的计算资源，/>表示计算任务ψi(t)的最大可容忍时延。计算卸载决策表示为/>其中/> 并且/>
在本发明实施例中，计算任务有三种处理方式，即在本地计算，在异地卸载，而异地卸载又分为在MEC服务器上卸载，在可卸载车辆上卸载，针对上述处理方式，本实施例提供了三种计算模型，依次如下：
1、本地计算模型
在车辆本地执行计算任务模式下，计算任务执行总时延定义为计算任务执行总能耗定义为/>分别表示为：
式中，fi loc(t)表示车辆vi在时隙t的计算能力，κ是取决于芯片架构的能耗参数。表示从第m个RSU到车辆vi的下行链路传输速率，可以表示为：
式中，W是RSU和车辆之间V2I通信的带宽，Pm是第m个RSU的传输功率，hm,i是第m个RSU和车辆vi之间的信道增益，σ2是高斯白色噪声。在时隙t的持续时间内，视Pm和hm,i是为常数。
2、MEC服务器计算模型
在MEC服务器执行计算任务模式下，被定义为从车辆vi卸载任务到MEC服务器并完成计算任务的总延迟，包括执行时间和传输时间。/>表示MEC服务器计算模式的能量消耗。
式中表示由第m个RSU上的MEC服务器分配给任务ψi(t)的计算资源。设wi,m(t)为任务ψi(t)在MEC服务器节点m处的排队延迟。
根据利特尔定律，排队延迟可以由计算获得，其中Li,m(t)为MEC服务器节点m上车辆vi的任务队列积压，λi,m(t)为平均任务到达率。
表示从车辆vi到第m个RSU的卸载速率，可表示为：
式中Pi是车辆vi的发射功率，hi,m是第m个RSU和车辆vi之间的信道增益，σ2是高斯白色噪声。
3、可卸载车辆计算模型
在可卸载车辆执行计算任务模式下，定义为车辆vi向可卸载车辆卸载任务的总时延，包括执行时间和传输时间，/>表示可卸载车辆处理模式的能耗。
式中表示可卸载车辆/>分配给计算任务Ψi(t)的可用计算资源。设wi,j(t)为任务Ψi(t)在可卸载车辆节点j处的排队延迟。
根据利特尔定律，排队延迟可以由计算获得，其中Li,j(t)是车辆vi在可卸载车辆/>上的任务队列积压，λi,j(t)是平均任务到达率。
表示从车辆vi到可卸载车辆/>的卸载速率，可表示为：
式中hi,j为车辆vi与可卸载车辆之间的信道增益，则任务ψi(t)的总执行时间ti和总能耗ei可分别表示为：
式中所有车辆都必须选择一个计算模型来完成计算任务，因此/>
图2为本发明实施例的一种车联网节能联合计算卸载与资源分配方法流程图，如图2所示，本发明提供一种车联网节能联合计算卸载与资源分配方法，其可以基于通信感知一体化系统，通过联合计算卸载与资源分配决策，改善V2X网络中任务处理延迟和资源利用率，从而获得更高的系统效用，包括以下步骤：
101、对路边单元的感知数据与任务车辆的感知数据进行融合处理，生成计算任务；
在本发明实施例中，将来自于RSU和任务车辆上的车载传感器的多源感知数据经过数据融合处理成为有用的信息。基于上述通信场景，ISAC辅助的RSU端和车辆端同时采集多源感知数据。
具体而言，这些感知数据是在RSU或车辆上配备的不同传感器模块上生成的，图3为本发明实施例的RSU与车辆协同感知的分布式数据融合体系结构，如图3所示，融合计算任务ψi(t)在时隙t在第i辆任务车辆vi上生成，其输入数据由dRP和dVL两部分组成。例如：视频监控、摄像机和各种类型的雷达。视频监控和视觉传感器可以提供丰富的环境语义信息，不同的雷达可以可靠地检测远距离目标、目标运动速度或气象条件。RSU与车辆的协同感知可以扩展车辆有限的感知范围。然而，来自RSU和车辆的海量、多源、异构的感知数据不能直接叠加使用，必须经过数据融合处理。因此，车辆侧的融合过程将生成计算任务ψi(t)。
可以理解的是，融合计算任务ψi(t)的实际输入数据量远小于RSU和车辆采集的初始数据量(dRO和dVL)，这将显著提高感知数据融合的效率。
基于以上分析，RSU的感知数据需要通过V2X通信链路传输到车辆，然后与车辆感知的数据融合。但是，由于RUS侧的传感器模块感知范围更广，因此RSU侧的感知数据量大于车辆侧产生的感知数据量。一方面，将大量的原始数据从RSU直接传输到车辆以执行融合任务将极大地挑战通信带宽和计算资源。另一方面，RSU上的MEC服务器可以为其传感器设备提供计算资源。因此，这些传感器设备可以首先估计原始数据的局部参数，然后将参数估计值传送到车辆进行统一的融合处理。该设计可以减少融合计算任务的输入数据量，提高数据融合处理能力。
102、利用K均值任务分类方法对计算任务分类，分为在本地执行的计算任务、以及在可卸载车辆或边缘服务器执行的计算任务；
在本发明实施例中，为了降低计算复杂度，提高卸载和资源分配策略的效率，本实施例提出了一种改进的K均值任务分类(Advanced K-Means Task Classification，AKTC)算法对计算任务进行预分类，这种预分类方式能够将任务划分到任务车辆本地进行计算，或者将任务划分到可卸载车辆或边缘服务器进行卸载，也即是用于确定计算任务是保留在采集设备即任务车辆中处理还是卸载到其他设备(MEC服务器或可卸载车辆)，这种方式能够有效提高计算卸载与资源分配效率。
该任务分类算法首先根据任务的时延约束和计算量为每个任务做出合适的计算卸载决策。然后，重复比较样本数据，直到标准函数收敛并完成聚类操作，本发明的AKTC算法选择了更合适的初始质心，解决了传统算法收敛于局部最优值的问题。
在本发明实施例中，所述利用K均值任务分类方法对计算任务分类，分为在本地执行的计算任务、以及在可卸载车辆或边缘服务器执行的计算任务包括根据当前计算任务的最大可容忍时延与所有计算任务的最大可容忍时延之和的比值，得到当前计算任务的时延因子；根据当前任务所需的计算资源与所有计算任务所需的计算资源之和的比值，得到当前计算任务的计算因子；将当前计算任务的时延因子和计算因子依次作为当前计算任务的横纵位置坐标；利用欧式距离公式计算得到当前计算任务与两个质心计算任务的距离；若当前计算任务与某一质心计算任务的欧式距离最小，则将当前计算任务聚类到对应的质心计算任务中；计算出每个聚类中除质心计算任务以外的所有计算任务的横纵位置坐标的平均值，将该横纵位置坐标的平均值作为更新后的质心计算任务的横纵位置坐标，直至确定出在本地执行的计算任务聚类、以及在可卸载车辆或边缘服务器执行的计算任务聚类。
具体的，在时隙t中，表示任务车辆vi的当前计算任务Ψi(t)的时延因子，用于描述计算任务的时延敏感度，/>表示任务车辆vi的当前计算任务Ψi(t)的计算因子，用于描述计算任务的计算复杂度，因此，对于当前计算任务的位置坐标，就可以表示为具体的：
其中，表示当前计算任务的最大可容忍时延，ci(t)表示完成计算任务ψi(t)所需的计算资源，/>表示任务车辆集合，通过整合任务车辆集合上的所有最大可容忍时延和所有计算任务所需的计算资源，能够准确刻画出任务车辆的当前计算任务的位置坐标，便于任务分类。
对于初始过程的质心计算任务的位置坐标，本发明实施例的确定方式包括：
根据所有计算任务的最大可容忍时延的均值，与所有计算任务的最大可容忍时延之和的比值，得到本地执行的计算任务聚类所代表的初始质心计算任务的时延因子；
根据所有计算任务所需的计算资源的均值与车辆计算能力的乘积，将该乘积与所有计算任务所需的计算资源之和的比值，得到本地执行的计算任务聚类所代表的初始质心计算任务的计算因子；
根据所有计算任务的最大可容忍时延的均值，与所有计算任务的最大可容忍时延之和的比值，得到在可卸载车辆或边缘服务器执行的初始质心计算任务的时延因子；
根据所有计算任务的最大可容忍时延的最大值与车辆计算能力的乘积，将该乘积与所有计算任务所需的计算资源之和的比值，得到在可卸载车辆或边缘服务器执行的初始质心计算任务的计算因子。
由于本发明实施例中，只需要将计算任务分为两类，也即是在本地执行的计算任务分类F1、以及在可卸载车辆或边缘服务器执行的计算任务分类F2，因此，本发明需要将这些计算任务划分到F1和F2中，本实施例假设分类F1和分类F2存在相应的初始质心C1和C2，通过调整更新质心位置，从而更好地将计算任务进行分类；不同于传统的K-means算法采用随机的方式选择初始质心，本发明这种方式能够避免随机初始质心可能会带来的局部最优问题，初始质心的坐标公式如下：
其中，表示当前计算任务的最大可容忍时延的均值，fi loc表示任务车辆vi的计算能力。C1和C2的横坐标都选取均值可以确保质心大致位于数据点的中心，有助于算法更快地收敛；C2的纵坐标选择所有任务中最大的可容忍时延可以使两个初始质心尽量远离。
通过上述迭代过程，直至确定出两个新的质心，这两个新的质心分别代表在本地执行的计算任务的聚类中心点、以及在可卸载车辆或边缘服务器执行的计算任务的聚类中心点，通过这两个聚类中心点就可以划分出相应的计算任务。
通过上述分析，那么就可以通过欧氏距离公式得出质心与当前计算任务之间的距离，从而用来衡量是否进行聚类，距离公式可表示为：
其中，质心表示为C＝(cx,cy)，即可以对应上述实施例的C1和C2。
103、根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的长期时延约束和长期能耗约束，构建出计算任务的最小化排队时延模型；
在本发明实施例中，在时隙t，将所有的车辆划分为两个集合，所有在本地执行计算任务的车辆划分为集合所有将计算任务卸载到卸载节点(包括MEC服务器和可卸载车辆)的车辆划分为集合/>同时，在车辆端和卸载节点端构建队列模型来表示计算任务的排队时延。
为了方便描述，本实施例将MEC服务器和可卸载车辆统称为卸载节点，卸载节点集合用表示，其中K＝M+J。在时隙t的持续时间段τ内，假设车辆vi决定将计算任务卸载到卸载节点的所有计算任务输入数据量为Ai(t)。则任务车辆vi的排队模型可以表示为：
Qi(t+1)＝max[Qi(t)-bi(t),0]+Ai(t)
式中，bi(t)表示在时间段τ内，由车辆vi卸载到卸载节点的所有计算任务的总输入数据量。用xi,k(t)表示车辆vi对于卸载节点的选择， 在时间段τ内，bi(t)可以表示为：
式中对于车辆vi选择的卸载节点k，计算任务的队列模型可以表示为：
式中，表示卸载节点k分配给车辆i的计算资源，/>是描述计算任务的输入数据和完成该计算任务所需计算资源之间关系的关系系数。卸载节点k基于当前队列积压情况进行计算资源分配，分配给不同车辆的计算资源表示为：
基于利特尔定律，在时隙t，车辆vi的排队时延可以表示为：
针对最小化系统排队时延，在长期系统能耗及有限的计算资源限制等约束条件下，可以将优化问题建模为：
其中，I表示任务车辆数量；K表示卸载节点数量，包括可卸载车辆和边缘服务器；T表示时隙数量；wi,k(t)表示任务ψi(t)在卸载节点k处的排队延迟，xi,k(t)表示任务车辆vi对于卸载节点的选择函数，xi,k(t)＝1表示任务车辆vi选择卸载节点k，xi,k(t)＝0表示任务车辆vi不选择卸载节点k；表示t时隙时在可卸载车辆或边缘服务器执行的计算任务集合；C1表示每辆车在一个时隙内只能选择一个卸载节点，/>表示时隙集合；C2和C3表示卸载节点分配给任务卸载请求车辆的计算资源之和不能超过该卸载节点最大计算能力，表示任务ψi(t)卸载到RSU上的MEC服务器中，/>表示由第m个RSU上的MEC服务器分配给任务ψi(t)的计算资源，/>表示到第m个RSU上的MEC服务器的最大计算能力，/>表示RSU集合；/>表示任务ψi(t)卸载到可卸载车辆，/>表示由第j个可卸载车辆分配给任务ψi(t)的计算资源，/>表示第j个可卸载车辆的计算能力；/>表示可卸载车辆集合；C4是长期排队延迟约束，tQ是计算任务的排队时延上限，Li,k(t)表示在卸载节点k上任务车辆vi的任务队列积压，/>是基于时间平均的任务到达率，E[]表示求期望；Ei,k(t)表示在时隙t时在卸载节点k上任务车辆vi的能耗，Ei,k(t)由计算公式/>可得；Et表示在时间段T内系统的平均能耗，且Et在每一个时隙均满足独立同分布。
104、利用李雅普诺夫优化算法将最小化排队时延模型的长期时延约束和长期能耗约束转化为队列稳定性约束，构建出优化后的最小化排队时延模型；
为了得到最优的计算卸载和资源分配决策，引入李雅普诺夫优化方法对长时延约束C4和能耗约束C5进行变换。与凸优化、贪婪算法等传统方法相比，李雅普诺夫优化具有较低的计算复杂度，并能根据当前时隙的状态自适应地处理输入数据。基于李雅普诺夫优化方法，引入两个虚拟队列对长时间能耗和长时间时延约束进行重构，将原问题转化为队列稳定性控制问题。
通过对上述两式进行累加变换，可以得到：
当对等式两边同时求期望可得：
为了确保长期排队时延以及长期能耗能够分别低于上限值tQ和Et，虚拟队列需要满足：
因此，当虚拟队列和/>满足平均速率稳定时，约束条件C4和C5能够自动满足，即长期排队时延和长期能耗不超过设定上限。此外，定义一个李雅普诺夫函数为：
引入李雅普诺夫漂移函数：
对于李雅普诺夫函数当/>存在常数B>0,ε>0满足李雅普诺夫漂移定理:
对虚拟队列进行同样的转换。因此，长期排队延迟约束和长期能耗约束均可转换为队列的稳定性的问题。引入李雅普诺夫漂移惩罚因子理论对变换后的问题进行求解。推导由李雅普诺夫漂移和目标函数组成的李雅普诺夫漂移惩罚函数，然后求解李雅普诺夫漂移惩罚函数的最小值，该函数表示为：
其中，是控制李雅普诺夫漂移函数/>和目标函数Ti(t)重要性的权重因子。将/>的表达式代入该式可得：
因此，初始优化问题可以被重新构建为：
/>
通过求解优化问题就可以得到相应的卸载决策和资源分配决策。
105、根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的过程，将优化后的最小化排队时延模型建模为马尔科夫决策过程；
针对需要将任务卸载到卸载节点的车辆，本实施例提出了一种基于深度强化学习的最优计算资源分配算法，将任务车辆将计算任务卸载到可卸载车辆或边缘服务器的过程映射为马尔科夫决策过程，利用马尔科夫决策过程的五元组信息来刻画上述卸载过程。
首先，将MDP过程定义为5元组，表示为包括状态、动作、转移概率、奖励和折扣因子。
状态：在每个时隙开始时，当前队列信息会确定系统网络状态。将状态向量定义为：
行动：在车辆网络环境中，每台任务车辆会选择一个卸载节点进行计算卸载。车辆的动作向量可表示为：
奖励：将该MDP模型的奖励函数定义为基于李雅普诺夫优化的变换目标即优化问题P2的负值。
转移概率：车辆vi从状态Si(t)开始，选择动作然后进入状态Si(t+1)的转移概率由下式可得。
考虑到排队积压是由所有车辆的卸载决策和资源分配策略共同决定的，因此转移概率是未知的。
106、利用深度强化学习模型对马尔科夫决策过程进行求解，计算出最优的卸载决策和资源分配决策。
在MDP模型中，状态空间随着卸载数据量的增加而呈指数增长，这将会导致“维数灾难”问题。适合使用深度强化方法来解决这种联合计算卸载和资源分配问题。本实施例提出了一种基于DDQN的计算卸载和资源分配(DDQN-based Computation Offloading andResource Allocation，DCORA)算法。
在DCORA算法中，设定有G个由T个时隙组成的回合episodes。首先，车辆利用ε-greedy算法选择卸载节点，依据所选节点计算奖励，并转移到下一个状态Si(t+1)。由于状态空间大且连续，所以不能通过查询Q表来求解每个状态的值。因此，本算法采用神经网络来逼近行为-值函数，其中θ是神经网络参数的集合。将转换序列存储在经验池中，随机抽样l作为小批量执行，根据公式J(θ)计算损失，并根据公式θ(t+1)更新网络参数集θ。该算法采用两个神经网络分别逼近两个动作-值函数，当前行为-值函数/>的参数集θ每次迭代都需要更新以减少和目标值的均方误差。θ-是目标行为-值函数/>的参数集，θ-的值来自于之前迭代的θ值，不同于θ每一步都需要更新，θ-每隔指定的步数更新一次。
与DQN算法不同，DDQN算法使用主网络来选择动作，并使用目标网络来评估所选动作的价值。
基于目标网络，求解Q值作为目标动作值.
在目标网络中，动作a*的Q值可能不是最大的。但是，选择该动作可以避免选到被高估的次优动作。通过该算法可以得到最优的网络参数θ，使得在输入数据量变化的情况下可以得到最优的卸载资源分配。
下面结合仿真结果对本发明的应用效果作详细的描述。
根据实际的环境需求，在Python中对其进行建模仿真，通过对不同方案进行模拟对比以评估所提的策略的有效性。考虑系统建立一个城市交叉路口由2个ISAC辅助的RSU和60辆车组成，每个RSU均配备MEC服务器，且每个MEC的初始总计算资源为30GHz。为了评估所提方法性能，将本发明方法与其他几种方法进行比较，对比的方法包括：
CORAO：计算卸载和资源分配优化(The Computation Offloading and ResourceAllocation optimization，CORAO)方案。该方案采用博弈论的方法进行卸载决策，利用拉格朗日模型实现资源分配，但忽略了排队时延的影响。
QTCO：基于队列理论的计算卸载(The Queue Theory-based ComputationOffloading，QTCO)方案。该算法采用M/M/C模型，选择计算资源空闲的节点来卸载计算任务。当所有卸载节点都繁忙时，该方案随机选择卸载节点。
PQBRA：基于邻近优先和队列积压的资源分配(the Proximity-first and QueueBacklog-based Resource Allocation，PQBRA)方案。它选择离用户最近的节点来卸载计算任务，并根据队列积压情况做出资源分配决策。
JCORA-KTC：采用K-means任务分类算法的联合计算卸载和资源分配(JCORA)方案。它与本发明提出的一种车联网节能联合计算卸载与资源分配方法以下简称JCORA方案的唯一区别是使用了原有的K-means算法进行任务分类。
LNC：本地节点计算(Local Node Computing，LNC)方案。它在车辆的本地节点中处理完整的计算任务。
表1仿真参数
提出基于改进K-Means的计算任务分类算法对数据融合计算任务分类，在极端情况下，计算任务处理决策主要由计算因子决定。对所有计算任务而言，具有大量数据的计算任务总是倾向于被卸载到MEC服务器或可卸载车辆，以保证计算任务能够获取充足的计算资源。另一方面，计算量少的计算任务更倾向于在车辆在本地处理，以避免额外的传输时延。
当车辆任务的计算量相对适中时，卸载或本地执行的决策将更多地受到延迟敏感度因子的影响。随着/>增加，两种决策(卸载或本地)的分界点处/>取值随之逐渐变小，变化趋势反映了计算延迟与传输延迟之间的平衡。当延迟约束更宽松时(/>更小)，车辆在本地可以支持更多的数据计算。
所提出的算法综合考虑延迟和资源的影响，合理选择计算任务的处理决策，避免了资源分配不合理造成的资源浪费和延迟代价。
图4显示了三个方案(QTCO、PQBRA和JCORA)的平均排队时延。可以看到，所有方案的平均排队时延都随着车辆数量的增加而增加。对于资源有限的系统，用户激增带来大量计算任务，无论是车辆端还是目标卸载节点，都会给队列带来巨大负担，从而增加时延。
在三种算法中，JOCRA算法的平均队列延迟最小。受益于DDQN算法，通过智能体与环境的多次交互，可以有效地学习最优的联合计算卸载和资源分配决策。值得注意的是，JCORA的平均排队延迟在初期缓慢增加，但一旦车辆数量超过30辆，平均排队时延就迅速增加。这是因为在系统任务处理接近最大负载后，如果用户不断增加，系统将无法及时为新用户提供服务，队列时延将迅速增加。
QTCO算法与JCORA算法具有相似的趋势，但在不同的卸载车辆数下，QTCO算法的排队延迟均高于JCORA算法。这是因为QTCO方案将卸载节点的总计算资源划分为大小相同的资源块，因此不能根据计算任务的大小动态调整资源。计算任务需求和资源分配之间的这种不匹配将导致资源浪费，进而造成延迟增加。
对于PQBRA方案，当卸载车辆数小于10辆时，PQBRA和JCORA的平均排队时延基本相同。但从10辆车开始，排队延误迅速增加，并在15辆车左右超过QTCO，直到车辆数即将达到30辆时才被QTCO超越，这是因为PQBRA可以根据队列积压情况做出资源分配决策。因此，当系统业务负载较轻时，可以获得近似最优的延迟性能。然而，当系统负载继续增加时，邻近优先连接的限制将导致系统无法根据具体的排队条件和资源分布为用户选择最优的卸载节点。因此，当车辆数超过10辆时，PQBRA的后续排队时延迅速增加。
图5表示了系统总任务延迟随车辆数量变化的趋势，随着车辆数量的增长，四个方案(CORAO、JCORA-KTC、LNC和JCORA)的增长趋势相似。
与JCORA相比，JCORA-KTC和LNC都具有更高的总系统任务处理延迟。
由于LNC方案只能使用车辆有限的计算资源，并且没有机会获得额外的计算资源，因此LNC方案的总系统任务处理延迟总是最高的。
JCORA-KTC算法中初始质心的不确定性会导致算法陷入局部最优解，从而导致系统总时延高于JCORA算法。
可以观察到JCORA的性能接近但略差于CORAO，但这是因为CORAO方案不考虑车辆能量消耗，并且仅追求最小化任务处理延迟。虽然JCORA在处理延迟上付出了一定的代价，但是在满足任务延迟要求的同时，可以有效地降低能耗。
图6根据车辆数量分析了不同方案的能耗性能，可以观察到在所有方案中，能量消耗均随着车辆数量的增加而不断增加。
与LNC方案相比，JCORA-KTC、CORAO和JCORA方案的能耗分别降低了42.86％、51.43％和57.14％。实现这些可观的能量节省的原因是MEC技术被集成到ISAC辅助的V2X网络中，以辅助车辆处理数据融合任务。
在JCORA-KTC、CORAO和JCORA方案中，本发明所提出的JCORA方案性能最好。与JCORA-KTC算法相比，JCORA算法基于延迟敏感度因子和计算量因子设置固定的初始质心，克服了K-means任务分类算法的局部最优问题。与CORAO方案相比，JCORA方案综合考虑了任务处理时延和能耗的要求。因此，JCORA方案有效地降低了任务处理的能耗。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种车联网节能联合计算卸载与资源分配方法，其特征在于，包括以下步骤：
对路边单元的感知数据与任务车辆的感知数据进行融合处理，生成计算任务；
利用K均值任务分类方法对计算任务分类，分为在本地执行的计算任务、以及在可卸载车辆或边缘服务器执行的计算任务；
根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的长期时延约束和长期能耗约束，构建出计算任务的最小化排队时延模型；
利用李雅普诺夫优化算法将最小化排队时延模型的长期时延约束和长期能耗约束转化为队列稳定性约束，构建出优化后的最小化排队时延模型；
根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的过程，将优化后的最小化排队时延模型建模为马尔科夫决策过程；
利用深度强化学习模型对马尔科夫决策过程进行求解，计算出最优的卸载决策和资源分配决策。
2.根据权利要求1所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，所述对路边单元的感知数据与任务车辆的感知数据进行融合处理包括路边单元和车辆各自获取感知数据；路边单元对获取的感知数据进行估计，得到感知数据的局部参数；路边单元向车辆上传所述局部参数；车辆对获取的感知数据以及路边单元上传的所述局部参数进行数据融合处理，生成融合计算任务。
3.根据权利要求1所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，所述利用K均值任务分类方法对计算任务分类，分为在本地执行的计算任务、以及在可卸载车辆或边缘服务器执行的计算任务包括根据当前计算任务的最大可容忍时延与所有计算任务的最大可容忍时延之和的比值，得到当前计算任务的时延因子；根据当前任务所需的计算资源与所有计算任务所需的计算资源之和的比值，得到当前计算任务的计算因子；将当前计算任务的时延因子和计算因子依次作为当前计算任务的横纵位置坐标；利用欧式距离公式计算得到当前计算任务与两个质心计算任务的距离；若当前计算任务与某一质心计算任务的欧式距离最小，则将当前计算任务聚类到对应的质心计算任务中；计算出每个聚类中除质心计算任务以外的所有计算任务的横纵位置坐标的平均值，将该横纵位置坐标的平均值作为更新后的质心计算任务的横纵位置坐标，直至确定出在本地执行的计算任务聚类、以及在可卸载车辆或边缘服务器执行的计算任务聚类。
4.根据权利要求3所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，初始的质心计算任务的横纵位置坐标的确定方式包括：
根据所有计算任务的最大可容忍时延的均值，与所有计算任务的最大可容忍时延之和的比值，得到本地执行的计算任务聚类所代表的初始质心计算任务的时延因子；
根据所有计算任务所需的计算资源的均值与车辆计算能力的乘积，将该乘积与所有计算任务所需的计算资源之和的比值，得到本地执行的计算任务聚类所代表的初始质心计算任务的计算因子；
根据所有计算任务的最大可容忍时延的均值，与所有计算任务的最大可容忍时延之和的比值，得到在可卸载车辆或边缘服务器执行的初始质心计算任务的时延因子；
根据所有计算任务的最大可容忍时延的最大值与车辆计算能力的乘积，将该乘积与所有计算任务所需的计算资源之和的比值，得到在可卸载车辆或边缘服务器执行的初始质心计算任务的计算因子。
5.根据权利要求1所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，所述根据任务车辆将计算任务卸载到可卸载车辆或边缘服务器的长期时延约束和长期能耗约束，构建出计算任务的最小化排队时延模型表示为：
其中，I表示任务车辆数量；K表示卸载节点数量，包括可卸载车辆和边缘服务器；T表示时隙数量；wi,k(t)表示任务ψi(t)在卸载节点k处的排队延迟，xi,k(t)表示任务车辆vi对于卸载节点的选择函数，xi,k(t)＝1表示任务车辆vi选择卸载节点k，xi,k(t)＝0表示任务车辆vi不选择卸载节点k；表示t时隙时在可卸载车辆或边缘服务器执行的计算任务集合；C1表示每辆车在一个时隙内只能选择一个卸载节点，/>表示时隙集合；C2和C3表示卸载节点分配给任务卸载请求车辆的计算资源之和不能超过该卸载节点最大计算能力，/>表示任务ψi(t)卸载到RSU上的MEC服务器中，/>表示由第m个RSU上的MEC服务器分配给任务ψi(t)的计算资源，/>表示到第m个RSU上的MEC服务器的最大计算能力，/>表示RSU集合；表示任务ψi(t)卸载到可卸载车辆，/>表示由第j个可卸载车辆分配给任务ψi(t)的计算资源，/>表示第j个可卸载车辆的计算能力；/>表示可卸载车辆集合；C4是长期排队延迟约束，tQ是计算任务的排队时延上限，Li,k(t)表示在卸载节点k上任务车辆vi的任务队列积压，/>是基于时间平均的任务到达率，E[]表示求期望；Ei,k(t)表示在时隙t时在卸载节点k上任务车辆vi的能耗；Et表示在时间段T内系统的平均能耗。
6.根据权利要求5所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，所述利用李雅普诺夫优化算法将最小化排队时延模型的长期时延约束和长期能耗约束转化为队列稳定性约束，构建出优化后的最小化排队时延模型包括采用李雅普诺夫优化方法对长时延约束C4和能耗约束C5进行变换，采用两个虚拟队列对长时间能耗和长时间时延约束进行重构，表示为：
其中，表示任务ψi(t)在卸载节点k处在时隙t的一个虚拟队列，/>表示任务ψi(t)在卸载节点k处在时隙t的另一虚拟队列，/>是控制李雅普诺夫漂移函数和目标函数Ti(t)重要性的权重因子。
7.根据权利要求1所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，所述利用本地车辆将计算任务卸载到可卸载车辆或边缘服务器的过程，将队列稳定性约束建模为马尔科夫决策过程包括根据当前队列信息，确定出车辆的状态向量；根据车辆选择可卸载车辆或边缘服务器进行计算卸载，确定出车辆的动作向量；根据车辆的队列稳定性约束，确定出车辆在折扣因子下所获得的奖励；根据车辆从当前状态开始，选择动作后，确定出进入下一个状态的转移概率。
8.根据权利要求1所述的一种车联网节能联合计算卸载与资源分配方法，其特征在于，利用深度强化学习模型对马尔科夫决策过程进行求解，计算出最优的卸载决策和资源分配决策包括车辆利用ε-greedy算法选择卸载节点，依据所选节点计算奖励，并转移到下一个状态Si(t+1)；采用神经网络来逼近行为-值函数，其中θ是神经网络参数的集合；将转换序列存储在经验池中，随机抽样l作为小批量执行，计算损失，并更新网络参数集θ；该算法采用两个神经网络分别逼近两个动作-值函数，当前行为-值函数/>的参数集θ每次迭代都需要更新以减少和目标值的均方误差；θ-是目标行为-值函数/>的参数集，θ-的值来自于之前迭代的θ值，不同于θ每一步都需要更新，θ-每隔指定的步数更新一次。
CN202311210900.4A 2023-09-19 2023-09-19 一种车联网节能联合计算卸载与资源分配方法 Pending CN117062025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311210900.4A CN117062025A (zh) 2023-09-19 2023-09-19 一种车联网节能联合计算卸载与资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311210900.4A CN117062025A (zh) 2023-09-19 2023-09-19 一种车联网节能联合计算卸载与资源分配方法

Publications (1)

Publication Number Publication Date
CN117062025A true CN117062025A (zh) 2023-11-14

Family

ID=88657387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311210900.4A Pending CN117062025A (zh) 2023-09-19 2023-09-19 一种车联网节能联合计算卸载与资源分配方法

Country Status (1)

Country Link
CN (1) CN117062025A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117545017A (zh) * 2024-01-09 2024-02-09 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117545017A (zh) * 2024-01-09 2024-02-09 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法
CN117545017B (zh) * 2024-01-09 2024-03-19 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法

Similar Documents

Publication Publication Date Title
CN107862864B (zh) 基于驾驶习惯和交通路况的行驶工况智能预测估计方法
CN113778648B (zh) 分层边缘计算环境中基于深度强化学习的任务调度方法
Callegaro et al. Optimal edge computing for infrastructure-assisted UAV systems
CN117062025A (zh) 一种车联网节能联合计算卸载与资源分配方法
CN114422349B (zh) 基于云边端协同的深度学习模型训练和推理架构部署方法
Liu et al. Energy-efficient joint computation offloading and resource allocation strategy for isac-aided 6g v2x networks
CN114885388B (zh) 联合rss预测的多业务类型自适应切换判决方法
Qi et al. Deep reinforcement learning based task scheduling in edge computing networks
CN112188627A (zh) 一种基于状态预测的动态资源分配策略
Zheng et al. Learning based task offloading in digital twin empowered internet of vehicles
Rahbari et al. Fast and fair computation offloading management in a swarm of drones using a rating-based federated learning approach
CN112929849A (zh) 一种基于强化学习的可靠车载边缘计算卸载方法
CN116782296A (zh) 一种基于数字孪生的车联网边缘计算卸载多目标决策方法
Lv et al. Edge computing task offloading for environmental perception of autonomous vehicles in 6G networks
Du et al. Digital twin based trajectory prediction for platoons of connected intelligent vehicles
Cui et al. Multi-Agent Reinforcement Learning Based Cooperative Multitype Task Offloading Strategy for Internet of Vehicles in B5G/6G Network
CN115103313A (zh) 基于位置预测的智慧公路任务协同处理方法、系统
CN114374949A (zh) 一种车联网中基于信息新鲜度优化的功率控制机制
Lu et al. Predictive contention window-based broadcast collision mitigation strategy for vanet
CN111930435B (zh) 一种基于pd-bpso技术的任务卸载决策方法
Shinkuma et al. Data assessment and prioritization in mobile networks for real-time prediction of spatial information using machine learning
CN117580063A (zh) 一种车联网络中多维资源协同管理方法
CN114928611B (zh) 一种基于IEEE802.11p协议的车联网节能计算卸载优化方法
CN114077482B (zh) 一种工业智能制造边缘智能计算优化方法
Oka et al. Spatial feature-based prioritization for transmission of point cloud data in 3D-image sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination