CN113423091B - 一种车载算力网络的多维资源智能联合优化方法、系统 - Google Patents

一种车载算力网络的多维资源智能联合优化方法、系统 Download PDF

Info

Publication number
CN113423091B
CN113423091B CN202110563049.8A CN202110563049A CN113423091B CN 113423091 B CN113423091 B CN 113423091B CN 202110563049 A CN202110563049 A CN 202110563049A CN 113423091 B CN113423091 B CN 113423091B
Authority
CN
China
Prior art keywords
vehicle
time delay
task
unloading
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110563049.8A
Other languages
English (en)
Other versions
CN113423091A (zh
Inventor
刘雷
王逸飞
裴庆祺
冯杰
陈晨
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110563049.8A priority Critical patent/CN113423091B/zh
Publication of CN113423091A publication Critical patent/CN113423091A/zh
Application granted granted Critical
Publication of CN113423091B publication Critical patent/CN113423091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0226—Traffic management, e.g. flow control or congestion control based on location or mobility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于车联网技术领域，公开了一种车载算力网络的多维资源智能联合优化方法、系统，所述车载算力网络的多维资源智能联合优化方法包括：定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；基于异步优势的演员‑评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。本发明利用分布式强化学习实现了网络资源统一协同管理和高效按需分配，优化了整体和个体双边的性能。

Description

一种车载算力网络的多维资源智能联合优化方法、系统
技术领域
本发明属于车联网技术领域，尤其涉及一种车载算力网络的多维资源智能联合优化方法、系统。
背景技术
目前，作为数字化应用场景的重要组成部分，车联网势必迎来快速的发展期，而由此造成的几何级数据增长，无疑将对信息处理的能力提出极大的挑战。以计算密集型的自动驾驶场景为例，单台汽车每秒将会产生1G左右的数据。车辆由于自身资源的限制，显然难以有效处理；云虽然拥有丰富资源，却因为远距离部署，会带来较大的时延。相比而言，边缘计算可以使应用、服务和内容实现本地化、近距离、分布式部署，视为解决以上问题的有效手段。
作为改变通信信息服务模式的关键创新技术，边缘计算无论在学术研究抑或是落地实践方面均取得了长足的突破，但是依然存在一些难点需要解决。邬贺铨院士提出的“十问”边缘计算中尤为追问了边缘计算部署过程当中的算力配置和调度问题。作为应对的重要举措，我国率先提出了“算力网络”的概念。算力网络基于实时的网络状况和计算资源等因素，可根据业务需求灵活地调度计算任务，实现连接和算力在网络的全局优化，从而提供极致的用户体验。
迄今为止，算力网络的远景已在业界得到了广泛的认可，在标准制定、生态建设和试验验证等领域均取得了一定的进展。在计算和网络服务面向泛在化发展的当下，探索云-边-端多级计算资源和服务能力的智能管控和高效分配以满足用户多样化的服务需求是算力网络亟待攻克的技术难题。当聚焦于复杂、动态、随机的车载网络中，则更需要着重解决以下关键挑战：
(1)在车载网络当中，车辆的高速移动会造成间歇性的连通度，引起任务上传速率的时变性，带来业务的时空迁移，改变不同地段、不同服务节点的资源需求。所以，车载算力网络中资源管理需要和车辆的移动分析有效结合起来。
(2)车载环境下多样化的用户有着差异化的服务需求。这些需求在时间和空间尺度上往往随时间变化。另外一方面，网络的计算资源往往是泛在化、异构化的，特性各异且分散在不同的位置。所以，车载算力网络中资源管理需要利用网络汇聚不同层次的计算资源通过协同管理和高效匹配满足用户个性化的需求。
(3)车联网的发展使得有限的网络资源和激增的服务需求之间的矛盾日益凸显。任务计算过分侧重于系统整体性能的效率，则会忽视个体性能的公平性，如何在有限资源下兼顾两者的性能尤为关键。此外，动态、随机和时变的环境使得传统资源管控的手段难以凑效。所以，车载算力网络中资源管理需要随网络、环境和业务的变化智能适变以实现系统和个体性能的双边优化。
通过上述分析，现有技术存在的问题及缺陷为：
(1)车辆由于自身资源的限制，显然难以有效处理；云虽然拥有丰富资源，却因为远距离部署，会带来较大的时延。
(2)在车载网络当中，车辆的高速移动会造成间歇性的连通度，引起任务上传速率的时变性，带来业务的时空迁移，改变不同地段、不同服务节点的资源需求。
(3)车载环境下多样化的用户有着差异化的服务需求。这些需求在时间和空间尺度上往往随时间变化；同时网络的计算资源往往是泛在化、异构化的，特性各异且分散在不同的位置。
(4)车联网的发展使得有限的网络资源和激增的服务需求之间的矛盾日益凸显。任务计算过分侧重于系统整体性能的效率，则会忽视个体性能的公平性，如何在有限资源下兼顾两者的性能尤为关键。此外，动态、随机和时变的环境使得传统资源管控的手段难以凑效。
解决以上问题及缺陷的难度为：在实际的二维路网环境下，车辆的移动受到车流和路况等复杂因素的影响，往往呈现随机和时变的特性，这对于车间连通时间的评估和车辆轨迹的预测带来了极大的挑战。此外，在高度动态的车载环境下，面对大量用户多样化的服务需求，需要设计有效算法随环境的变化实现资源的灵活调度和任务的有效卸载。传统的数学方法难以有效随环境的变化智能适变，亟需利用分布式强化学习算法实现资源的按需高效匹配以保障用户的服务质量。
解决以上问题及缺陷的意义为：在不确定的车载移动环境下，基于对车辆微观移动的刻画设计车-车卸载机制实现对车辆资源的发掘，通过对车辆宏观移动轨迹的预测设计车-设施卸载机制支持路边设施资源的管理。针对异构算力泛在化的空间分布以及大量用户多样化的服务需求，利用分布式强化学习算法可以在多层次算力网络架构下实现资源的统一灵活调度和按需智能分配以保障系统和用户个体双边的性能。
发明内容
针对现有技术存在的问题，本发明提供了一种车载算力网络的多维资源智能联合优化方法、系统。
本发明是这样实现的，一种车载算力网络的多维资源智能联合优化方法，所述车载算力网络的多维资源智能联合优化方法包括：
定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。
进一步，所述车载算力网络的多维资源智能联合优化方法包括以下步骤：
步骤一，基于车间连通性的分析设计了车-车卸载策略，以此可以为任务车辆发掘邻居可用车辆资源进行计算卸载提供依据；
步骤二，基于车辆轨迹的预测设计了车-设施卸载策略，以此可以为任务车辆利用边缘服务器进行计算卸载提供依据；
步骤三，建立横、纵向全域协同的网络模型，以此可以提供多层网络资源协同的网络架构；
步骤四，设计面向双边性能保障的评估指标，以此可以指导兼顾系统整体性能和个体用户公平目标函数的设计；
步骤五，提出了分布式智能算法实现资源优化算法，以此可以实现多维网络资源的智能管理和任务的灵活调度，从而可以在保障系统整体性能的基础上，提升个体用户的公平性。
步骤在本方案中起到的积极作用：
步骤一：它是基于车辆移动行为的计算卸载机制的第一种策略。
利用马尔科夫过程，时间离散化的思想建立车间连通性模型，基于对每个时隙车距的状态转移分析，得到链路的平均连通时间，同时定义通信范围内的车辆集合，进而利用强化学习算法获取最优车-车的卸载策略。
步骤二：它是基于车辆移动行为的计算卸载机制的第二种策略。
根据香农定理，卸载任务上传到服务器所需时间可由任务大小、传输速率均值求得。利用变分高斯混合模型，构建高效的车辆轨迹预测模型，进而加入与车辆轨迹相关的时间开销(取决于边缘服务器分配的算力的任务计算时延，取决于当前边缘服务器是否将任务迁移至临近服务器的任务迁移时延，取决于车辆是否在起初关联服务器覆盖范围内的任务反馈时延)。
步骤一、二共同构成了基于车辆移动行为的计算卸载机制。
步骤三：它是多维资源智能联合优化机制的模型基础。
通过资源的纵向协作和横向协作以优化资源的管控，在纵向方面，实现端边云的协同；在横向方面，加强车辆之间协同以及路边单元之间的协同。
步骤四：它是多维资源智能联合优化机制的评估方法。
指标一反映系统的整体性能，指标二刻画个体性能的公平度。
步骤五：它是多维资源智能联合优化机制的求解方法。
利用异步优势的演员-评论家算法分布式学习策略求解该动态优化问题，保障算法执行的效率和性能。
进一步，步骤一中，所述基于连通性的车-车卸载，包括：
(1)车辆移动行为建模：利用时间离散化的思想定义车间连通性，初始化车距状态矢量；
(2)连通性分析：基于车间连通时间的概率分布，计算得到链路的平均连通时间；
(3)端侧卸载过程：强化学习获取最优卸载策略：在链路连通的条件下，通过比较计算任务卸载到其他车辆的时延和本地处理的时延，利用强化学习Multi-armedBandits算法获取最优卸载策略。
其中，所述利用强化学习Multi-armedBandits算法获取最优卸载策略，包括：
每t时刻，Agent完成以下过程：执行ActionAt，影响环境，得到观测量ObservationOt，并收到环境反馈的RewardRt；Environment完成以下工作：接收ActionAt；更新ObservationOt+1；产生RewardRt；执行强化学习过程一段时间并将信息进行存储，构成历史数据History，所述历史数据由一系列的Observation、Reward、Action组成；将State看做是History的函数，表示为历史的任意函数St＝f(Ht)；State分为Environment state和Agent state，所述Environmentstate为Environment的内部状态，所述Agentstate为Agent内部状态，是强化学习算法直接采用的信息，表示为历史数据的任意函数St a＝f(Ht)。
进一步，步骤一中，所述基于连通性的车-车卸载，还包括：
考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间：
lab＝sup{m·σ:ρi≤R,1≤i≤m}；
其中，σ表示时隙的间隔，ρi表示第i个时隙时车距，R表示车辆的通信范围；把R划分为n个等间隔，Si表示第i个状态；Sn+1表示车距大于R的吸收状态。车距从(m-1)时刻Si转到m时刻Sj的概率为：
pij＝prob{ρm∈Sj|ρm-1∈Si}；
用
Figure GDA0003688823430000061
作为起初车距位于状态Si的概率，则所有状态形成矢量
Figure GDA0003688823430000062
m个时隙后车距所在状态的概率形成矢量π0Pm，其中，P＝(pij)，则车间连通时间为m的概率为：
prob(lab＝mσ)＝(π0Pm)n+1-(π0Pm-1)n+1；
相应地，链路的平均连通时间计算为：
Figure GDA0003688823430000063
定义
Figure GDA0003688823430000064
为车辆i通信范围内的车辆集合。任务车辆利用其邻居车辆
Figure GDA0003688823430000065
计算任务的时延包括任务在车间的传输时延tik和在邻居车辆的计算时延
Figure GDA0003688823430000066
故完成任务车辆任务计算所需要的最优时延为：
Figure GDA0003688823430000067
Figure GDA0003688823430000068
其中，
Figure GDA0003688823430000069
表示本地处理任务的时间。鉴于在对周边信息获知的有限性，利用强化学习Multi-armed Bandits算法获取最优卸载策略。
进一步，步骤二中，所述基于轨迹预测的车-设施卸载，包括：
(1)车辆轨迹预测：通过对历史轨迹数据预先处理，利用变分高斯混合模型分析，构建高效车辆轨迹预测模型；
(2)边缘卸载过程：基于香农定理，在已知任务大小、传输速率均值条件下，计算得到任务卸载至边缘服务器的时间；
(3)时延计算：考虑其他时间开销，进行时延统计。
进一步，步骤二中，所述基于轨迹预测的车-设施卸载，还包括：
对历史轨迹数据过滤简化、聚类和轨迹分段操作预先处理，去除噪声轨迹和提取局部轨迹数据特征；以变分高斯混合模型为基础，对时空轨迹数据进行降维操作、抽取运动模式，构建高效预测模型。根据香农定理可知，车辆和服务器之间的传输速率与两者之间距离以及小规模衰落参数有关，前者通过轨迹预测算法得到，而后者是一个随机变量，从而推出传输速率同样是随机变量，故任务大小di和其上传到服务器e所需时间
Figure GDA0003688823430000071
之间的关系为：
Figure GDA0003688823430000072
其中，
Figure GDA0003688823430000073
表示传输速率ri(t)的均值，通过公式求解出
Figure GDA0003688823430000074
进一步，步骤三中，所述建立横纵向网络模型，包括：
xie＝1表示任务卸载给路边单元e处理，反之亦然；xi0＝1表示用户选择端侧处理，反之亦然；
Figure GDA0003688823430000075
表示任务端侧处理时间，tie表示任务卸载处理时间；服务器处理任务的前提在于缓存需要的服务应用，否则需考虑从云端下载该应用的时延
Figure GDA0003688823430000076
故服务器完成任务处理所需的时延为：
Figure GDA0003688823430000077
其中，sie＝1表示缓存相应的应用，反之亦然。
进一步，步骤四中，所述设计面向双边性能的评估指标，包括：
综合不同任务计算策略，系统完成任务处理所需要的时延为：
Figure GDA0003688823430000078
其中，M表示路边单元的数目。
用系统处理完所有用户任务的平均时延表示其效用性，衡量系统性能，即：
Figure GDA0003688823430000079
其中，N表示用户的数目。
指标dave虽可反映系统的整体性能，但未能充分考虑到个体公平度，故利用个体时延和系统平均时延之间平均偏差刻画个体性能的公平度，即：
Figure GDA00036888234300000710
其中，
Figure GDA00036888234300000711
进一步，步骤五中，所述分布式智能算法实现资源优化，包括：
通过网络通信、计算和缓存资源相互作用的分析，提出如优化问题以实现资源的智能管控和按需分配：
Figure GDA0003688823430000081
Figure GDA0003688823430000082
Figure GDA0003688823430000083
Figure GDA0003688823430000084
其中，α，β和γ表示权值；x，f和s分别表示卸载决策，算力分配决策fie和缓存决策θie集合；stotal表示整体的存储开销；fe和θe表示算力和缓存资源的阈值。
本发明的另一目的在于提供一种应用所述的车载算力网络的多维资源智能联合优化方法的车载算力网络的多维资源智能联合优化系统，所述车载算力网络的多维资源智能联合优化系统包括：
车-车卸载模块，用于通过基于连通性实现车-车卸载；
车-设施卸载模块，用于通过基于轨迹预测实现车-设施卸载；
时延计算模块，用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；
系统处理模块，用于利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；
优化问题求解模块，用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题；
联合优化模块，用于通过建立横纵向网络模型，设计面向双边性能的评估指标，分布式智能算法实现资源优化。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的车载算力网络的多维资源智能联合优化方法，在端-边-云的车载多层次算力网络架构下，确定车辆的移动行为和多样需求对于任务处理和服务部署的影响，通过对网络资源内在关系和作用机理的分析，利用智能算法实现全网资源的统一协同管理和按需灵活调度，保障不同用户个性化的服务需求。通过本发明，可以有效补充现有国内外工作在车载算力网络研究方面存在的不足，为保障各种新型车载应用的成功实施，提供必要的理论支撑。本发明提供的基于用户多样化服务需求的多维资源智能联合优化方法，鉴于网络资源的泛在化分布，通过资源的纵向协作和横向协作以优化资源的管控；在纵向方面，实现端边云的协同；在横向方面，加强车辆之间协同以及路边单元之间的协同。
本发明有机结合随机过程、神经网络、联邦学习和分布式强化学习等知识，针对车载网络日益增强的信息处理能力的需求，开展了云-边-端多层次车载算力网络架构下计算资源和服务能力如何通过网络实现智能调度和高效分配这一前沿方向的研究。针对城市路网下车辆移动行为与计算卸载之间的关系，本发明利用马尔科夫过程和变分高斯混合模型分别从不同层面刻画了车辆移动的特性，以此分析了车-车卸载策略和车-设施卸载策略，可以为最优卸载决策的制定提供相应的理论支撑。针对算力资源的泛在化分布和用户服务需求的多样化，本发明提出了多层次资源全面协同的网络模型，基于设计的面向整体效能和个体公平的评估指标，利用分布式强化学习实现了网络资源统一协同管理和高效按需分配，优化了整体和个体双边的性能。
本发明车辆移动分析由以下几个方面展开：首先，利用马尔科夫过程刻画车间连通性，以此作为依据设计车-车卸载机制支持任务车辆周边可用资源的发掘；然后，利用变分高斯混合模型对车辆未来时刻的轨迹进行准确预测，以此作为依据设计车-路边设施卸载机制指导路边设施资源的管理。基于车辆移动行为分析，本发明的多维资源智能联合优化方法由以下几个方面展开：首先，根据路网资源的分布、特征和动态性建立多层次车载算力网络模型，以实现资源纵向和横向的全面协同；然后，设计均衡系统性能和个体公平的性能评估指标，以指导任务的调度和资源的管理；最后，基于分布式深度强化学习算法在端-边-云之间灵活调度和按需分配网络资源，以保障系统和个体的双边性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车载算力网络的多维资源智能联合优化方法流程图。
图2是本发明实施例提供的车载算力网络的多维资源智能联合优化方法原理图。
图3是本发明实施例提供的车载算力网络的多维资源智能联合优化系统结构框图；
图中：1、车-车卸载模块；2、车-设施卸载模块；3、时延计算模块；4、系统处理模块；5、优化问题求解模块；6、联合优化模块。
图4是本发明实施例提供的强化学习结构示意图，即一般强化学习原理图。
图5是本发明实施例提供的基于用户移动行为的车载算力网络计算卸载方法流程。
图6(a)-图6(b)是本发明实施例提供的基于移动行为的任务卸载机制示意图。
图7是本发明实施例提供的本发明提出方法与对比方案的性能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种车载算力网络的多维资源智能联合优化方法、系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的车载算力网络的多维资源智能联合优化方法包括以下步骤：
S101，基于连通性的车-车卸载；
S102，基于轨迹预测的车-设施卸载；
S103，建立横纵向网络模型；
S104，设计面向双边性能的评估指标；
S105，分布式智能算法实现资源优化。
本发明实施例提供的车载算力网络的多维资源智能联合优化方法原理图如图2所示。
如图3所示，本发明实施例提供的车载算力网络的多维资源智能联合优化系统包括：
车-车卸载模块1，用于通过基于连通性实现车-车卸载；
车-设施卸载模块2，用于通过基于轨迹预测实现车-设施卸载；
时延计算模块3，用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；
系统处理模块4，用于利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；
优化问题求解模块5，用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题；
联合优化模块6，用于通过建立横纵向网络模型，设计面向双边性能的评估指标，分布式智能算法实现资源优化。
下面结合实施例对本发明的技术方案作进一步描述。
算力网络基于实时的网络状况和计算资源等因素，可根据业务需求灵活地调度计算任务，实现连接和算力在网络的全局优化，从而提供极致的用户体验。探索云-边-端多级计算资源和服务能力的智能管控和高效分配以满足用户多样化的服务需求是算力网络亟待攻克的技术难题。
如图4所示，本发明实施例提供的基于用户移动行为的车载算力网络计算卸载方法包括以下两个方面：
1、基于连通性的车-车卸载
车辆移动行为建模：利用时间离散化的思想定义车间连通性，初始化车距状态矢量；连通性分析：基于车间连通时间的概率分布，计算得到链路的平均连通时间；端侧卸载过程：强化学习获取最优卸载策略：在链路连通的条件下，通过比较计算任务卸载到其他车辆的时延和本地处理的时延，利用强化学习Multi-armedBandits算法获取最优卸载策略。
本发明实施例提供的基于连通性的车-车卸载方法，考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间：
lab＝sup{m·σ:ρi≤R,1≤i≤m}
其中，σ表示时隙的间隔，ρi表示第i个时隙时车距，R表示车辆的通信范围。把R划分为n个等间隔,Si表示第i个状态。特别地，Sn+1表示车距大于R的吸收状态。车距从(m-1)时刻Si转到m时刻Sj的概率为：
pij＝prob{ρm∈Sj|ρm-1∈Si}
用
Figure GDA0003688823430000121
作为起初车距位于状态Si的概率，则所有状态形成矢量
Figure GDA0003688823430000122
m个时隙后车距所在状态的概率形成矢量π0Pm，其中，P＝(pij)。那么，车间连通时间为m的概率为：
prob(lab＝mσ)＝(π0Pm)n+1-(π0Pm-1)n+1
相应地，链路的平均连通时间计算为：
Figure GDA0003688823430000124
定义
Figure GDA0003688823430000125
为车辆i通信范围内的车辆集合。任务车辆利用其邻居车辆
Figure GDA0003688823430000126
计算任务的时延主要包括任务在车间的传输时延tik和在邻居车辆的计算时延
Figure GDA0003688823430000127
所以，完成任务车辆任务计算所需要的最优时延为：
Figure GDA0003688823430000128
Figure GDA0003688823430000129
其中，
Figure GDA0003688823430000131
表示本地处理任务的时间。鉴于在对周边信息获知的有限性，可利用强化学习Multi-armedBandits算法获取最优卸载策略。
如图5所示，本发明实施例提供的强化学习Multi-armedBandits算法结构，它与环境进行实时交互并且会通过动作影响环境。
每t时刻，Agent完成以下过程：执行ActionAt，影响环境；得到观测量ObservationOt；收到环境反馈的RewardRt；Environment完成以下工作：接收ActionAt；更新ObservationOt+1；产生RewardRt。本发明执行强化学习过程一段时间并将其信息存储下来，就构成了历史数据(History)，它由一系列的Observation、Reward、Action组成。将State看做是History的函数，可以表示为历史的任意函数St＝f(Ht)。State可以分为Environmentstate和Agentstate，Environmentstate为Environment的内部状态，Agentstate为Agent内部状态，这是强化学习算法直接采用的信息，可以表示为历史数据的任意函数St a＝f(Ht)。
2、基于轨迹预测的车-设施卸载
车辆轨迹预测：通过对历史轨迹数据预先处理，利用变分高斯混合模型分析，构建高效车辆轨迹预测模型；边缘卸载过程：基于香农定理，在已知任务大小、传输速率均值条件下，计算得到任务卸载至边缘服务器的时间；时延计算：考虑其他时间开销，进行时延统计。
本发明实施例提供的基于轨迹预测的车-设施卸载方法，对历史轨迹数据过滤简化、聚类和轨迹分段操作预先处理，去除噪声轨迹和提取局部轨迹数据特征；以变分高斯混合模型为基础，对时空轨迹数据进行降维操作、抽取运动模式，构建高效预测模型。根据香农定理可知，车辆和服务器之间的传输速率与两者之间距离以及小规模衰落参数有关，前者通过轨迹预测算法得到。
而后者是一个随机变量，从而推出传输速率同样是随机变量。由此，任务大小di和其上传到服务器e所需时间
Figure GDA0003688823430000132
之间的关系为：
Figure GDA0003688823430000133
其中，
Figure GDA0003688823430000141
表示传输速率ri(t)的均值。通过上式可求解出
Figure GDA0003688823430000142
任务计算的时延取决于边缘服务器分配的算力。如果当前边缘服务器将任务迁移至临近服务器时，还要考虑期间的迁移时间。任务反馈的时延需要考虑车辆是否在起初关联服务器覆盖范围内，如果依然在则将计算结果直接反馈给车辆，时延可以忽略；否则需要根据车辆实时定位以将结果迁移至当前所在服务器并由其反馈，从而带来额外的时间开销。
本发明实施例提供的基于用户多样化服务需求的多维资源智能联合优化方法，定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。
本发明实施例提供的基于移动行为的任务卸载机制示意图如图6所示。
如图2所示，本发明实施例提供的基于用户多样化服务需求的多维资源智能联合优化方法包括以下三个步骤：
1、建立横纵向网络模型：
鉴于网络资源的泛在化分布，可通过资源的纵向协作和横向协作以优化资源的管控。在纵向方面，实现端边云的协同；在横向方面，加强车辆之间协同以及路边单元之间的协同。
xie＝1表示任务卸载给路边单元e处理，反之亦然；xi0＝1表示用户选择端侧处理，反之亦然；
Figure GDA0003688823430000143
表示任务端侧处理时间，tie表示任务卸载处理时间。此外，服务器处理任务的前提在于缓存了需要的服务应用，否则需要考虑从云端下载该应用的时延
Figure GDA0003688823430000144
所以，服务器完成任务处理所需要的时延为：
Figure GDA0003688823430000145
其中，sie＝1表示缓存了相应的应用，反之亦然。
2、设计面向双边性能的评估指标：
综合不同任务计算策略，系统完成任务处理所需要的时延为：
Figure GDA0003688823430000151
其中，M表示路边单元的数目。
为了衡量系统的性能，用系统处理完所有用户任务的平均时延表示其效用性，即：
Figure GDA0003688823430000152
其中，N表示用户的数目。
指标dave虽可反映系统的整体性能，但未能充分考虑到个体公平度。为此，利用个体时延和系统平均时延之间平均偏差刻画个体性能的公平度，即：
Figure GDA0003688823430000153
其中，
Figure GDA0003688823430000154
3、分布式智能算法实现资源优化：
通过网络通信、计算和缓存资源相互作用的分析，提出如优化问题以实现资源的智能管控和按需分配：
Figure GDA0003688823430000155
Figure GDA0003688823430000156
Figure GDA0003688823430000157
Figure GDA0003688823430000158
其中，α，β和γ表示权值；x，f和s分别表示卸载决策，算力分配决策fie和缓存决策θie集合；stotal表示整体的存储开销；fe和θe表示算力和缓存资源的阈值。
鉴于网络资源和用户需求的动态性，拟利用异步优势的演员-评论家算法分布式学习策略的优势求解上述优化问题，保障算法执行的效率和性能。
本发明在端-边-云的车载多层次算力网络架构下，探究车辆的移动行为和多样需求对于任务处理和服务部署的影响，通过对网络资源内在关系和作用机理的分析，利用智能算法实现全网资源的统一协同管理和按需灵活调度，保障不同用户个性化的服务需求。
本发明提出方法与对比方案的性能，如图7所示。从图7中可以发现，随着路边单元缓存能力的增加，所有方案的时延性能均有减少。相比而言，本发明提出的方法完成任务处理所需要的时延最小。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种车载算力网络的多维资源智能联合优化方法，其特征在于，所述车载算力网络的多维资源智能联合优化方法包括：定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载应用，计算得到服务器完成任务处理所需要的时延；利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题；
所述车载算力网络的多维资源智能联合优化方法包括以下步骤：
步骤一，基于连通性的车-车卸载；
步骤二，基于轨迹预测的车-设施卸载；
步骤三，建立横纵向网络模型；
步骤四，设计面向双边性能的评估指标；
步骤五，分布式智能算法实现资源优化；
步骤一中，所述基于连通性的车-车卸载，包括：
(1)车辆移动行为建模：利用时间离散化的思想定义车间连通性，初始化车距状态矢量；
(2)连通性分析：基于车间连通时间的概率分布，计算得到链路的平均连通时间；
(3)端侧卸载过程：强化学习获取最优卸载策略：在链路连通的条件下，通过比较计算任务卸载到其他车辆的时延和本地处理的时延，利用强化学习Multi-armed Bandits算法获取最优卸载策略；
其中，所述利用强化学习Multi-armed Bandits算法获取最优卸载策略，包括：
每t时刻，Agent完成以下过程：执行Action At，影响环境，得到观测量Observation Ot，并收到环境反馈的Reward Rt；Environment完成以下工作：接收Action At；更新Observation Ot+1；产生Reward Rt；执行强化学习过程一段时间并将信息进行存储，构成历史数据History，所述历史数据由一系列的Observation、Reward、Action组成；将State看做是History的函数，表示为历史的任意函数St＝f(Ht)；所述State分为Environment state和Agent state，所述Environment state为Environment的内部状态，所述Agent state为Agent内部状态，是强化学习算法直接采用的信息，表示为历史数据的任意函数St a＝f(Ht)；
步骤一中，所述基于连通性的车-车卸载，还包括：
考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间：
lab＝sup{m·σ:ρi≤R,1≤i≤m}；
其中，σ表示时隙的间隔，ρi表示第i个时隙时车距，R表示车辆的通信范围；把R划分为n个等间隔，Si表示第i个状态；Sn+1表示车距大于R的吸收状态；车距从(m-1)时刻Si转到m时刻Sj的概率为：
pij＝prob{ρm∈Sj|ρm-1∈Si}；
用
Figure FDA0003688823420000021
作为起初车距位于状态Si的概率，则所有状态形成矢量
Figure FDA0003688823420000022
m个时隙后车距所在状态的概率形成矢量π0Pm；其中，P＝(pij)，则车间连通时间为m的概率为：
prob(lab＝mσ)＝(π0Pm)n+1-(π0Pm-1)n+1；
相应地，链路的平均连通时间计算为：
Figure FDA0003688823420000023
定义
Figure FDA0003688823420000024
为车辆i通信范围内的车辆集合；任务车辆利用其邻居车辆
Figure FDA0003688823420000025
计算任务的时延包括任务在车间的传输时延tik和在邻居车辆的计算时延
Figure FDA0003688823420000026
故完成任务车辆任务计算所需要的最优时延为：
Figure FDA0003688823420000027
Figure FDA0003688823420000031
其中，
Figure FDA0003688823420000032
表示本地处理任务的时间；鉴于在对周边信息获知的有限性，利用强化学习Multi-armed Bandits算法获取最优卸载策略；
步骤二中，所述基于轨迹预测的车-设施卸载，包括：
(1)车辆轨迹预测：通过对历史轨迹数据预先处理，利用变分高斯混合模型分析，构建高效车辆轨迹预测模型；
(2)边缘卸载过程：基于香农定理，在已知任务大小、传输速率均值条件下，计算得到任务卸载至边缘服务器的时间；
(3)时延计算：考虑其他时间开销，进行时延统计；
步骤二中，所述基于轨迹预测的车-设施卸载，还包括：
对历史轨迹数据过滤简化、聚类和轨迹分段操作预先处理，去除噪声轨迹和提取局部轨迹数据特征；以变分高斯混合模型为基础，对时空轨迹数据进行降维操作、抽取运动模式，构建高效预测模型；根据香农定理可知，车辆和服务器之间的传输速率与两者之间距离以及小规模衰落参数有关，前者通过轨迹预测算法得到，而后者是一个随机变量，从而推出传输速率同样是随机变量，故任务大小di和其上传到服务器e所需时间
Figure FDA0003688823420000033
之间的关系为：
Figure FDA0003688823420000034
其中，
Figure FDA0003688823420000035
表示传输速率ri(t)的均值，通过公式求解出
Figure FDA0003688823420000036
步骤三中，所述建立横纵向网络模型，包括：
xie＝1表示任务卸载给路边单元e处理，反之亦然；xi0＝1表示用户选择端侧处理，反之亦然；
Figure FDA0003688823420000037
表示任务端侧处理时间，tie表示任务卸载处理时间；服务器处理任务的前提在于缓存需要的服务应用，否则需考虑从云端下载该应用的时延
Figure FDA0003688823420000038
故服务器完成任务处理所需的时延为：
Figure FDA0003688823420000039
其中，sie＝1表示缓存相应的应用，反之亦然；
步骤四中，所述设计面向双边性能的评估指标，包括：
综合不同任务计算策略，系统完成任务处理所需要的时延为：
Figure FDA0003688823420000041
其中，M表示路边单元的数目；
用系统处理完所有用户任务的平均时延表示其效用性，衡量系统性能，即：
Figure FDA0003688823420000042
其中，N表示用户的数目；
指标dave虽可反映系统的整体性能，但未能充分考虑到个体公平度，故利用个体时延和系统平均时延之间平均偏差刻画个体性能的公平度，即：
Figure FDA0003688823420000043
其中，
Figure FDA0003688823420000044
步骤五中，所述分布式智能算法实现资源优化，包括：
通过网络通信、计算和缓存资源相互作用的分析，提出如优化问题以实现资源的智能管控和按需分配：
Figure FDA0003688823420000045
Figure FDA0003688823420000046
Figure FDA0003688823420000047
Figure FDA0003688823420000048
其中，α，β和γ表示权值；x，f和s分别表示卸载决策，算力分配决策fie和缓存决策θie集合；stotal表示整体的存储开销；fe和θe表示算力和缓存资源的阈值。
2.一种执行权利要求1所述的车载算力网络的多维资源智能联合优化方法的车载算力网络的多维资源智能联合优化系统，其特征在于，所述车载算力网络的多维资源智能联合优化系统包括：
车-车卸载模块，用于通过基于连通性实现车-车卸载；
车-设施卸载模块，用于通过基于轨迹预测实现车-设施卸载；
时延计算模块，用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用，计算得到服务器完成任务处理所需要的时延；
系统处理模块，用于利用系统处理完所有用户任务的平均时延表示其效用性，反映系统的整体性能，利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度；
优化问题求解模块，用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题；
联合优化模块，用于通过建立横纵向网络模型，设计面向双边性能的评估指标，分布式智能算法实现资源优化。
CN202110563049.8A 2021-05-24 2021-05-24 一种车载算力网络的多维资源智能联合优化方法、系统 Active CN113423091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563049.8A CN113423091B (zh) 2021-05-24 2021-05-24 一种车载算力网络的多维资源智能联合优化方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563049.8A CN113423091B (zh) 2021-05-24 2021-05-24 一种车载算力网络的多维资源智能联合优化方法、系统

Publications (2)

Publication Number Publication Date
CN113423091A CN113423091A (zh) 2021-09-21
CN113423091B true CN113423091B (zh) 2022-07-29

Family

ID=77712777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563049.8A Active CN113423091B (zh) 2021-05-24 2021-05-24 一种车载算力网络的多维资源智能联合优化方法、系统

Country Status (1)

Country Link
CN (1) CN113423091B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217881B (zh) * 2022-02-23 2022-06-21 北京航空航天大学杭州创新研究院 任务卸载方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124647A (zh) * 2019-12-25 2020-05-08 大连理工大学 一种车联网中的智能边缘计算方法
CN111314889A (zh) * 2020-02-26 2020-06-19 华南理工大学 车联网中基于移动边缘计算的任务卸载与资源分配方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111953526A (zh) * 2020-07-24 2020-11-17 新华三大数据技术有限公司 一种分层算力网络编排方法、装置及存储介质
CN112714178A (zh) * 2020-12-25 2021-04-27 北京信息科技大学 一种基于车载边缘计算的任务卸载方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010434B (zh) * 2019-12-11 2022-05-27 重庆工程职业技术学院 一种基于网络时延和资源管理的优化任务卸载方法
CN112512018B (zh) * 2020-07-24 2022-03-04 北京航空航天大学 一种基于移动边缘计算的协作车辆间任务动态卸载方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124647A (zh) * 2019-12-25 2020-05-08 大连理工大学 一种车联网中的智能边缘计算方法
CN111314889A (zh) * 2020-02-26 2020-06-19 华南理工大学 车联网中基于移动边缘计算的任务卸载与资源分配方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111953526A (zh) * 2020-07-24 2020-11-17 新华三大数据技术有限公司 一种分层算力网络编排方法、装置及存储介质
CN112714178A (zh) * 2020-12-25 2021-04-27 北京信息科技大学 一种基于车载边缘计算的任务卸载方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Service Characteristics-Oriented Joint Optimization of Radio and Computing Resource Allocation in Mobile-Edge Computing;Jie Feng et;《 IEEE Internet of Things Journal》;20210210;全文 *
从边缘计算到算力网络;于清林;《产业科技创新》;20200125(第03期);全文 *
以万物互联为核心的边缘计算时代正在开启;裴庆祺;《人民论坛学术前沿》;20200531(第09期);全文 *

Also Published As

Publication number Publication date
CN113423091A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
Dai et al. Artificial intelligence empowered edge computing and caching for internet of vehicles
CN111031102B (zh) 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法
Hu et al. Blockchain and artificial intelligence for dynamic resource sharing in 6G and beyond
Zhang et al. Task offloading method of edge computing in internet of vehicles based on deep reinforcement learning
CN111124647B (zh) 一种车联网中的智能边缘计算方法
CN113282368B (zh) 一种用于变电站巡视的边缘计算资源调度方法
CN113435472A (zh) 车载算力网络用户需求预测方法、系统、设备、介质
CN109271015B (zh) 一种降低大规模分布式机器学习系统能耗的方法
CN111885155B (zh) 一种车联网资源融合的车载任务协作迁移方法
CN114973673B (zh) 车路协同系统中结合noma和内容缓存的任务卸载方法
CN115209426B (zh) 一种边缘车联网内数字孪生服务器动态部署方法
CN114641041B (zh) 一种面向边缘智能的车联网切片方法及装置
CN113423091B (zh) 一种车载算力网络的多维资源智能联合优化方法、系统
CN113763713B (zh) 一种路网瓶颈路段发掘与管理方法及装置
CN116782296A (zh) 一种基于数字孪生的车联网边缘计算卸载多目标决策方法
CN115686846A (zh) 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法
Moghaddasi et al. An enhanced asynchronous advantage actor-critic-based algorithm for performance optimization in mobile edge computing-enabled internet of vehicles networks
Xiao et al. Mobile-edge-platooning cloud: a lightweight cloud in vehicular networks
CN114916013B (zh) 基于车辆轨迹预测的边缘任务卸载时延优化方法、系统及介质
Wu et al. Collaborative caching relay algorithm based on recursive deep reinforcement learning in mobile vehicle edge network
Cui et al. Resource-Efficient DNN Training and Inference for Heterogeneous Edge Intelligence in 6G
CN116339748A (zh) 基于移动性预测的边缘计算网络中的自适应应用程序部署方法
CN116795535A (zh) 基于车边云协同架构的任务卸载方法、系统以及介质
Lu et al. Enhancing vehicular edge computing system through cooperative computation offloading
Liu et al. Joint Optimization of Multiuser Computation Offloading and Wireless-Caching Resource Allocation With Linearly Related Requests in Vehicular Edge Computing System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant