CN113423091A - 一种车载算力网络的多维资源智能联合优化方法、系统 - Google Patents
一种车载算力网络的多维资源智能联合优化方法、系统 Download PDFInfo
- Publication number
- CN113423091A CN113423091A CN202110563049.8A CN202110563049A CN113423091A CN 113423091 A CN113423091 A CN 113423091A CN 202110563049 A CN202110563049 A CN 202110563049A CN 113423091 A CN113423091 A CN 113423091A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- time delay
- task
- unloading
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 230000002787 reinforcement Effects 0.000 claims abstract description 23
- 230000008901 benefit Effects 0.000 claims abstract description 17
- 230000002146 bilateral effect Effects 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 20
- 238000007726 management method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 14
- 239000003795 chemical substances by application Substances 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 238000010521 absorption reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000006855 networking Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/0226—Traffic management, e.g. flow control or congestion control based on location or mobility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0925—Management thereof using policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0958—Management thereof based on metrics or performance parameters
- H04W28/0967—Quality of Service [QoS] parameters
- H04W28/0975—Quality of Service [QoS] parameters for reducing delays
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于车联网技术领域,公开了一种车载算力网络的多维资源智能联合优化方法、系统,所述车载算力网络的多维资源智能联合优化方法包括:定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;基于异步优势的演员‑评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。本发明利用分布式强化学习实现了网络资源统一协同管理和高效按需分配,优化了整体和个体双边的性能。
Description
技术领域
本发明属于车联网技术领域,尤其涉及一种车载算力网络的多维资源智能联合优化方法、系统。
背景技术
目前,作为数字化应用场景的重要组成部分,车联网势必迎来快速的发展期,而由此造成的几何级数据增长,无疑将对信息处理的能力提出极大的挑战。以计算密集型的自动驾驶场景为例,单台汽车每秒将会产生1G左右的数据。车辆由于自身资源的限制,显然难以有效处理;云虽然拥有丰富资源,却因为远距离部署,会带来较大的时延。相比而言,边缘计算可以使应用、服务和内容实现本地化、近距离、分布式部署,视为解决以上问题的有效手段。
作为改变通信信息服务模式的关键创新技术,边缘计算无论在学术研究抑或是落地实践方面均取得了长足的突破,但是依然存在一些难点需要解决。邬贺铨院士提出的“十问”边缘计算中尤为追问了边缘计算部署过程当中的算力配置和调度问题。作为应对的重要举措,我国率先提出了“算力网络”的概念。算力网络基于实时的网络状况和计算资源等因素,可根据业务需求灵活地调度计算任务,实现连接和算力在网络的全局优化,从而提供极致的用户体验。
迄今为止,算力网络的远景已在业界得到了广泛的认可,在标准制定、生态建设和试验验证等领域均取得了一定的进展。在计算和网络服务面向泛在化发展的当下,探索云-边-端多级计算资源和服务能力的智能管控和高效分配以满足用户多样化的服务需求是算力网络亟待攻克的技术难题。当聚焦于复杂、动态、随机的车载网络中,则更需要着重解决以下关键挑战:
(1)在车载网络当中,车辆的高速移动会造成间歇性的连通度,引起任务上传速率的时变性,带来业务的时空迁移,改变不同地段、不同服务节点的资源需求。所以,车载算力网络中资源管理需要和车辆的移动分析有效结合起来。
(2)车载环境下多样化的用户有着差异化的服务需求。这些需求在时间和空间尺度上往往随时间变化。另外一方面,网络的计算资源往往是泛在化、异构化的,特性各异且分散在不同的位置。所以,车载算力网络中资源管理需要利用网络汇聚不同层次的计算资源通过协同管理和高效匹配满足用户个性化的需求。
(3)车联网的发展使得有限的网络资源和激增的服务需求之间的矛盾日益凸显。任务计算过分侧重于系统整体性能的效率,则会忽视个体性能的公平性,如何在有限资源下兼顾两者的性能尤为关键。此外,动态、随机和时变的环境使得传统资源管控的手段难以凑效。所以,车载算力网络中资源管理需要随网络、环境和业务的变化智能适变以实现系统和个体性能的双边优化。
通过上述分析,现有技术存在的问题及缺陷为:
(1)车辆由于自身资源的限制,显然难以有效处理;云虽然拥有丰富资源,却因为远距离部署,会带来较大的时延。
(2)在车载网络当中,车辆的高速移动会造成间歇性的连通度,引起任务上传速率的时变性,带来业务的时空迁移,改变不同地段、不同服务节点的资源需求。
(3)车载环境下多样化的用户有着差异化的服务需求。这些需求在时间和空间尺度上往往随时间变化;同时网络的计算资源往往是泛在化、异构化的,特性各异且分散在不同的位置。
(4)车联网的发展使得有限的网络资源和激增的服务需求之间的矛盾日益凸显。任务计算过分侧重于系统整体性能的效率,则会忽视个体性能的公平性,如何在有限资源下兼顾两者的性能尤为关键。此外,动态、随机和时变的环境使得传统资源管控的手段难以凑效。
解决以上问题及缺陷的难度为:在实际的二维路网环境下,车辆的移动受到车流和路况等复杂因素的影响,往往呈现随机和时变的特性,这对于车间连通时间的评估和车辆轨迹的预测带来了极大的挑战。此外,在高度动态的车载环境下,面对大量用户多样化的服务需求,需要设计有效算法随环境的变化实现资源的灵活调度和任务的有效卸载。传统的数学方法难以有效随环境的变化智能适变,亟需利用分布式强化学习算法实现资源的按需高效匹配以保障用户的服务质量。
解决以上问题及缺陷的意义为:在不确定的车载移动环境下,基于对车辆微观移动的刻画设计车-车卸载机制实现对车辆资源的发掘,通过对车辆宏观移动轨迹的预测设计车-设施卸载机制支持路边设施资源的管理。针对异构算力泛在化的空间分布以及大量用户多样化的服务需求,利用分布式强化学习算法可以在多层次算力网络架构下实现资源的统一灵活调度和按需智能分配以保障系统和用户个体双边的性能。
发明内容
针对现有技术存在的问题,本发明提供了一种车载算力网络的多维资源智能联合优化方法、系统。
本发明是这样实现的,一种车载算力网络的多维资源智能联合优化方法,所述车载算力网络的多维资源智能联合优化方法包括:
定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。
进一步,所述车载算力网络的多维资源智能联合优化方法包括以下步骤:
步骤一,基于车间连通性的分析设计了车-车卸载策略,以此可以为任务车辆发掘邻居可用车辆资源进行计算卸载提供依据;
步骤二,基于车辆轨迹的预测设计了车-设施卸载策略,以此可以为任务车辆利用边缘服务器进行计算卸载提供依据
步骤三,建立横、纵向全域协同的网络模型,以此可以提供多层网络资源协同的网络架构;
步骤四,设计面向双边性能保障的评估指标,以此可以指导兼顾系统整体性能和个体用户公平目标函数的设计;
步骤五,提出了分布式智能算法实现资源优化算法,以此可以实现多维网络资源的智能管理和任务的灵活调度,从而可以在保障系统整体性能的基础上,提升个体用户的公平性。
步骤在本方案中起到的积极作用:
步骤一:它是基于车辆移动行为的计算卸载机制的第一种策略。
利用马尔科夫过程,时间离散化的思想建立车间连通性模型,基于对每个时隙车距的状态转移分析,得到链路的平均连通时间,同时定义通信范围内的车辆集合,进而利用强化学习算法获取最优车-车的卸载策略。
步骤二:它是基于车辆移动行为的计算卸载机制的第二种策略。
根据香农定理,卸载任务上传到服务器所需时间可由任务大小、传输速率均值求得。利用变分高斯混合模型,构建高效的车辆轨迹预测模型,进而加入与车辆轨迹相关的时间开销(取决于边缘服务器分配的算力的任务计算时延,取决于当前边缘服务器是否将任务迁移至临近服务器的任务迁移时延,取决于车辆是否在起初关联服务器覆盖范围内的任务反馈时延)。
步骤一、二共同构成了基于车辆移动行为的计算卸载机制。
步骤三:它是多维资源智能联合优化机制的模型基础。
通过资源的纵向协作和横向协作以优化资源的管控,在纵向方面,实现端边云的协同;在横向方面,加强车辆之间协同以及路边单元之间的协同。
步骤四:它是多维资源智能联合优化机制的评估方法。
指标一反映系统的整体性能,指标二刻画个体性能的公平度。
步骤五:它是多维资源智能联合优化机制的求解方法。
利用异步优势的演员-评论家算法分布式学习策略求解该动态优化问题,保障算法执行的效率和性能。
进一步,步骤一中,所述基于连通性的车-车卸载,包括:
(1)车辆移动行为建模:利用时间离散化的思想定义车间连通性,初始化车距状态矢量;
(2)连通性分析:基于车间连通时间的概率分布,计算得到链路的平均连通时间;
(3)端侧卸载过程:强化学习获取最优卸载策略:在链路连通的条件下,通过比较计算任务卸载到其他车辆的时延和本地处理的时延,利用强化学习Multi-armedBandits算法获取最优卸载策略。
其中,所述利用强化学习Multi-armedBandits算法获取最优卸载策略,包括:
每t时刻,Agent完成以下过程:执行ActionAt,影响环境,得到观测量ObservationOt,并收到环境反馈的RewardRt;Environment完成以下工作:接收ActionAt;更新ObservationOt+1;产生RewardRt;执行强化学习过程一段时间并将信息进行存储,构成历史数据History,所述历史数据由一系列的Observation、Reward、Action组成;将State看做是History的函数,表示为历史的任意函数St=f(Ht);State分为Environment state和Agent state,所述Environmentstate为Environment的内部状态,所述Agentstate为Agent内部状态,是强化学习算法直接采用的信息,表示为历史数据的任意函数St a=f(Ht)。
进一步,步骤一中,所述基于连通性的车-车卸载,还包括:
考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间:
lab=sup{m·σ:ρi≤R,1≤i≤m};
其中,δ表示时隙的间隔,ρi表示第i个时隙时车距,R表示车辆的通信范围;把R划分为n个等间隔,Si表示第i个状态;Sn+1表示车距大于R的吸收状态。车距从(m-1)时刻Si转到m时刻Sj的概率为:
pij=prob{ρm∈Sj|ρm-1∈Si};
prob(lab=mσ)=(π0Pm)n+1-(π0Pm-1)n+1;
相应地,链路的平均连通时间计算为:
进一步,步骤二中,所述基于轨迹预测的车-设施卸载,包括:
(1)车辆轨迹预测:通过对历史轨迹数据预先处理,利用变分高斯混合模型分析,构建高效车辆轨迹预测模型;
(2)边缘卸载过程:基于香农定理,在已知任务大小、传输速率均值条件下,计算得到任务卸载至边缘服务器的时间;
(3)时延计算:考虑其他时间开销,进行时延统计。
进一步,步骤二中,所述基于轨迹预测的车-设施卸载,还包括:
对历史轨迹数据过滤简化、聚类和轨迹分段操作预先处理,去除噪声轨迹和提取局部轨迹数据特征;以变分高斯混合模型为基础,对时空轨迹数据进行降维操作、抽取运动模式,构建高效预测模型。根据香农定理可知,车辆和服务器之间的传输速率与两者之间距离以及小规模衰落参数有关,前者通过轨迹预测算法得到,而后者是一个随机变量,从而推出传输速率同样是随机变量,故任务大小di和其上传到服务器e所需时间之间的关系为:
进一步,步骤三中,所述建立横纵向网络模型,包括:
xie=1表示任务卸载给路边单元e处理,反之亦然;xi0=1表示用户选择端侧处理,反之亦然;表示任务端侧处理时间,tie表示任务卸载处理时间;服务器处理任务的前提在于缓存需要的服务应用,否则需考虑从云端下载该应用的时延故服务器完成任务处理所需的时延为:
其中,sie=1表示缓存相应的应用,反之亦然。
进一步,步骤四中,所述设计面向双边性能的评估指标,包括:
综合不同任务计算策略,系统完成任务处理所需要的时延为:
其中,M表示路边单元的数目。
用系统处理完所有用户任务的平均时延表示其效用性,衡量系统性能,即:
其中,N表示用户的数目。
指标dave虽可反映系统的整体性能,但未能充分考虑到个体公平度,故利用个体时延和系统平均时延之间平均偏差刻画个体性能的公平度,即:
进一步,步骤五中,所述分布式智能算法实现资源优化,包括:
通过网络通信、计算和缓存资源相互作用的分析,提出如优化问题以实现资源的智能管控和按需分配:
其中,α,β和γ表示权值;x,f和s分别表示卸载决策,算力分配决策fie和缓存决策θie集合;stotal表示整体的存储开销;fe和θe表示算力和缓存资源的阈值。
本发明的另一目的在于提供一种应用所述的车载算力网络的多维资源智能联合优化方法的车载算力网络的多维资源智能联合优化系统,所述车载算力网络的多维资源智能联合优化系统包括:
车-车卸载模块,用于通过基于连通性实现车-车卸载;
车-设施卸载模块,用于通过基于轨迹预测实现车-设施卸载;
时延计算模块,用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;
系统处理模块,用于利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;
优化问题求解模块,用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题;
联合优化模块,用于通过建立横纵向网络模型,设计面向双边性能的评估指标,分布式智能算法实现资源优化。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的车载算力网络的多维资源智能联合优化方法,在端-边-云的车载多层次算力网络架构下,确定车辆的移动行为和多样需求对于任务处理和服务部署的影响,通过对网络资源内在关系和作用机理的分析,利用智能算法实现全网资源的统一协同管理和按需灵活调度,保障不同用户个性化的服务需求。通过本发明,可以有效补充现有国内外工作在车载算力网络研究方面存在的不足,为保障各种新型车载应用的成功实施,提供必要的理论支撑。本发明提供的基于用户多样化服务需求的多维资源智能联合优化方法,鉴于网络资源的泛在化分布,通过资源的纵向协作和横向协作以优化资源的管控;在纵向方面,实现端边云的协同;在横向方面,加强车辆之间协同以及路边单元之间的协同。
本发明有机结合随机过程、神经网络、联邦学习和分布式强化学习等知识,针对车载网络日益增强的信息处理能力的需求,开展了云-边-端多层次车载算力网络架构下计算资源和服务能力如何通过网络实现智能调度和高效分配这一前沿方向的研究。针对城市路网下车辆移动行为与计算卸载之间的关系,本发明利用马尔科夫过程和变分高斯混合模型分别从不同层面刻画了车辆移动的特性,以此分析了车-车卸载策略和车-设施卸载策略,可以为最优卸载决策的制定提供相应的理论支撑。针对算力资源的泛在化分布和用户服务需求的多样化,本发明提出了多层次资源全面协同的网络模型,基于设计的面向整体效能和个体公平的评估指标,利用分布式强化学习实现了网络资源统一协同管理和高效按需分配,优化了整体和个体双边的性能。
本发明车辆移动分析由以下几个方面展开:首先,利用马尔科夫过程刻画车间连通性,以此作为依据设计车-车卸载机制支持任务车辆周边可用资源的发掘;然后,利用变分高斯混合模型对车辆未来时刻的轨迹进行准确预测,以此作为依据设计车-路边设施卸载机制指导路边设施资源的管理。基于车辆移动行为分析,本发明的多维资源智能联合优化方法由以下几个方面展开:首先,根据路网资源的分布、特征和动态性建立多层次车载算力网络模型,以实现资源纵向和横向的全面协同;然后,设计均衡系统性能和个体公平的性能评估指标,以指导任务的调度和资源的管理;最后,基于分布式深度强化学习算法在端-边-云之间灵活调度和按需分配网络资源,以保障系统和个体的双边性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车载算力网络的多维资源智能联合优化方法流程图。
图2是本发明实施例提供的车载算力网络的多维资源智能联合优化方法原理图。
图3是本发明实施例提供的车载算力网络的多维资源智能联合优化系统结构框图;
图中:1、车-车卸载模块;2、车-设施卸载模块;3、时延计算模块;4、系统处理模块;5、优化问题求解模块;6、联合优化模块。
图4是本发明实施例提供的强化学习结构示意图,即一般强化学习原理图。
图5是本发明实施例提供的基于用户移动行为的车载算力网络计算卸载方法流程。
图6(a)-图6(b)是本发明实施例提供的基于移动行为的任务卸载机制示意图。
图7是本发明实施例提供的本发明提出方法与对比方案的性能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种车载算力网络的多维资源智能联合优化方法、系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的车载算力网络的多维资源智能联合优化方法包括以下步骤:
S101,基于连通性的车-车卸载;
S102,基于轨迹预测的车-设施卸载;
S103,建立横纵向网络模型;
S104,设计面向双边性能的评估指标;
S105,分布式智能算法实现资源优化。
本发明实施例提供的车载算力网络的多维资源智能联合优化方法原理图如图2所示。
如图3所示,本发明实施例提供的车载算力网络的多维资源智能联合优化系统包括:
车-车卸载模块1,用于通过基于连通性实现车-车卸载;
车-设施卸载模块2,用于通过基于轨迹预测实现车-设施卸载;
时延计算模块3,用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;
系统处理模块4,用于利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;
优化问题求解模块5,用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题;
联合优化模块6,用于通过建立横纵向网络模型,设计面向双边性能的评估指标,分布式智能算法实现资源优化。
下面结合实施例对本发明的技术方案作进一步描述。
算力网络基于实时的网络状况和计算资源等因素,可根据业务需求灵活地调度计算任务,实现连接和算力在网络的全局优化,从而提供极致的用户体验。探索云-边-端多级计算资源和服务能力的智能管控和高效分配以满足用户多样化的服务需求是算力网络亟待攻克的技术难题。
如图4所示,本发明实施例提供的基于用户移动行为的车载算力网络计算卸载方法包括以下两个方面:
1、基于连通性的车-车卸载
车辆移动行为建模:利用时间离散化的思想定义车间连通性,初始化车距状态矢量;连通性分析:基于车间连通时间的概率分布,计算得到链路的平均连通时间;端侧卸载过程:强化学习获取最优卸载策略:在链路连通的条件下,通过比较计算任务卸载到其他车辆的时延和本地处理的时延,利用强化学习Multi-armedBandits算法获取最优卸载策略。
本发明实施例提供的基于连通性的车-车卸载方法,考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间:
lab=sup{m·σ:ρi≤R,1≤i≤m}
其中,δ表示时隙的间隔,ρi表示第i个时隙时车距,R表示车辆的通信范围。把R划分为n个等间隔,Si表示第i个状态。特别地,Sn+1表示车距大于R的吸收状态。车距从(m-1)时刻Si转到m时刻Sj的概率为:
pij=prob{ρm∈Sj|ρm-1∈Si}
prob(lab=mσ)=(π0Pm)n+1-(π0Pm-1)n+1
相应地,链路的平均连通时间计算为:
如图5所示,本发明实施例提供的强化学习Multi-armedBandits算法结构,它与环境进行实时交互并且会通过动作影响环境。
每t时刻,Agent完成以下过程:执行ActionAt,影响环境;得到观测量ObservationOt;收到环境反馈的RewardRt;Environment完成以下工作:接收ActionAt;更新ObservationOt+1;产生RewardRt。本发明执行强化学习过程一段时间并将其信息存储下来,就构成了历史数据(History),它由一系列的Observation、Reward、Action组成。将State看做是History的函数,可以表示为历史的任意函数St=f(Ht)。State可以分为Environmentstate和Agentstate,Environmentstate为Environment的内部状态,Agentstate为Agent内部状态,这是强化学习算法直接采用的信息,可以表示为历史数据的任意函数St a=f(Ht)。
2、基于轨迹预测的车-设施卸载
车辆轨迹预测:通过对历史轨迹数据预先处理,利用变分高斯混合模型分析,构建高效车辆轨迹预测模型;边缘卸载过程:基于香农定理,在已知任务大小、传输速率均值条件下,计算得到任务卸载至边缘服务器的时间;时延计算:考虑其他时间开销,进行时延统计。
本发明实施例提供的基于轨迹预测的车-设施卸载方法,对历史轨迹数据过滤简化、聚类和轨迹分段操作预先处理,去除噪声轨迹和提取局部轨迹数据特征;以变分高斯混合模型为基础,对时空轨迹数据进行降维操作、抽取运动模式,构建高效预测模型。根据香农定理可知,车辆和服务器之间的传输速率与两者之间距离以及小规模衰落参数有关,前者通过轨迹预测算法得到,
任务计算的时延取决于边缘服务器分配的算力。如果当前边缘服务器将任务迁移至临近服务器时,还要考虑期间的迁移时间。任务反馈的时延需要考虑车辆是否在起初关联服务器覆盖范围内,如果依然在则将计算结果直接反馈给车辆,时延可以忽略;否则需要根据车辆实时定位以将结果迁移至当前所在服务器并由其反馈,从而带来额外的时间开销。
本发明实施例提供的基于用户多样化服务需求的多维资源智能联合优化方法,定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。
本发明实施例提供的基于移动行为的任务卸载机制示意图如图6所示。
如图2所示,本发明实施例提供的基于用户多样化服务需求的多维资源智能联合优化方法包括以下三个步骤:
1、建立横纵向网络模型:
鉴于网络资源的泛在化分布,可通过资源的纵向协作和横向协作以优化资源的管控。在纵向方面,实现端边云的协同;在横向方面,加强车辆之间协同以及路边单元之间的协同。
xie=1表示任务卸载给路边单元e处理,反之亦然;xi0=1表示用户选择端侧处理,反之亦然;表示任务端侧处理时间,tie表示任务卸载处理时间。此外,服务器处理任务的前提在于缓存了需要的服务应用,否则需要考虑从云端下载该应用的时延所以,服务器完成任务处理所需要的时延为:
其中,sie=1表示缓存了相应的应用,反之亦然。
2、设计面向双边性能的评估指标:
综合不同任务计算策略,系统完成任务处理所需要的时延为:
其中,M表示路边单元的数目。
为了衡量系统的性能,用系统处理完所有用户任务的平均时延表示其效用性,即:
其中,N表示用户的数目。
指标dave虽可反映系统的整体性能,但未能充分考虑到个体公平度。为此,利用个体时延和系统平均时延之间平均偏差刻画个体性能的公平度,即:
3、分布式智能算法实现资源优化:
通过网络通信、计算和缓存资源相互作用的分析,提出如优化问题以实现资源的智能管控和按需分配:
其中,α,β和γ表示权值;x,f和s分别表示卸载决策,算力分配决策fie和缓存决策θie集合;stotal表示整体的存储开销;fe和θe表示算力和缓存资源的阈值。
鉴于网络资源和用户需求的动态性,拟利用异步优势的演员-评论家算法分布式学习策略的优势求解上述优化问题,保障算法执行的效率和性能。
本发明在端-边-云的车载多层次算力网络架构下,探究车辆的移动行为和多样需求对于任务处理和服务部署的影响,通过对网络资源内在关系和作用机理的分析,利用智能算法实现全网资源的统一协同管理和按需灵活调度,保障不同用户个性化的服务需求。
本发明提出方法与对比方案的性能,如图7所示。从图7中可以发现,随着路边单元缓存能力的增加,所有方案的时延性能均有减少。相比而言,本发明提出的方法完成任务处理所需要的时延最小。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种车载算力网络的多维资源智能联合优化方法,其特征在于,所述车载算力网络的多维资源智能联合优化方法包括:定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题。
2.如权利要求1所述的车载算力网络的多维资源智能联合优化方法,其特征在于,所述车载算力网络的多维资源智能联合优化方法包括以下步骤:
步骤一,基于连通性的车-车卸载;
步骤二,基于轨迹预测的车-设施卸载;
步骤三,建立横纵向网络模型;
步骤四,设计面向双边性能的评估指标;
步骤五,分布式智能算法实现资源优化。
3.如权利要求2所述的车载算力网络的多维资源智能联合优化方法,其特征在于,步骤一中,所述基于连通性的车-车卸载,包括:
(1)车辆移动行为建模:利用时间离散化的思想定义车间连通性,初始化车距状态矢量;
(2)连通性分析:基于车间连通时间的概率分布,计算得到链路的平均连通时间;
(3)端侧卸载过程:强化学习获取最优卸载策略:在链路连通的条件下,通过比较计算任务卸载到其他车辆的时延和本地处理的时延,利用强化学习Multi-armed Bandits算法获取最优卸载策略;
其中,所述利用强化学习Multi-armed Bandits算法获取最优卸载策略,包括:
每t时刻,Agent完成以下过程:执行Action At,影响环境,得到观测量Observation Ot,并收到环境反馈的Reward Rt;Environment完成以下工作:接收Action At;更新Observation Ot+1;产生Reward Rt;执行强化学习过程一段时间并将信息进行存储,构成历史数据History,所述历史数据由一系列的Observation、Reward、Action组成;将State看做是History的函数,表示为历史的任意函数St=f(Ht);所述State分为Environment state和Agent state,所述Environment state为Environment的内部状态,所述Agent state为Agent内部状态,是强化学习算法直接采用的信息,表示为历史数据的任意函数St a=f(Ht)。
4.如权利要求2所述的车载算力网络的多维资源智能联合优化方法,其特征在于,步骤一中,所述基于连通性的车-车卸载,还包括:
考虑一对相邻节点A和B并把时间离散化并定义连通性为车间的连通时间:
lab=sup{m·σ:ρi≤R,1≤i≤m};
其中,δ表示时隙的间隔,ρi表示第i个时隙时车距,R表示车辆的通信范围;把R划分为n个等间隔,Si表示第i个状态;Sn+1表示车距大于R的吸收状态;车距从(m-1)时刻Si转到m时刻Sj的概率为:
pij=prob{ρm∈Sj|ρm-1∈Si};
prob(lab=mσ)=(π0Pm)n+1-(π0Pm-1)n+1;
相应地,链路的平均连通时间计算为:
5.如权利要求2所述的车载算力网络的多维资源智能联合优化方法,其特征在于,步骤二中,所述基于轨迹预测的车-设施卸载,包括:
(1)车辆轨迹预测:通过对历史轨迹数据预先处理,利用变分高斯混合模型分析,构建高效车辆轨迹预测模型;
(2)边缘卸载过程:基于香农定理,在已知任务大小、传输速率均值条件下,计算得到任务卸载至边缘服务器的时间;
(3)时延计算:考虑其他时间开销,进行时延统计。
10.一种执行权利要求1~9任意一项所述的车载算力网络的多维资源智能联合优化方法的车载算力网络的多维资源智能联合优化系统,其特征在于,所述车载算力网络的多维资源智能联合优化系统包括:
车-车卸载模块,用于通过基于连通性实现车-车卸载;
车-设施卸载模块,用于通过基于轨迹预测实现车-设施卸载;
时延计算模块,用于定义两个变量分别表示任务是否卸载给路边单元处理和是否需要从云端下载该应用,计算得到服务器完成任务处理所需要的时延;
系统处理模块,用于利用系统处理完所有用户任务的平均时延表示其效用性,反映系统的整体性能,利用个体时延和系统平均时延之间平均偏差充分考虑个体性能的公平度;
优化问题求解模块,用于基于异步优势的演员-评论家算法分布式学习策略的优势求解整体性能、个体性能的公平度和整体的存储开销三者的优化问题;
联合优化模块,用于通过建立横纵向网络模型,设计面向双边性能的评估指标,分布式智能算法实现资源优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110563049.8A CN113423091B (zh) | 2021-05-24 | 2021-05-24 | 一种车载算力网络的多维资源智能联合优化方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110563049.8A CN113423091B (zh) | 2021-05-24 | 2021-05-24 | 一种车载算力网络的多维资源智能联合优化方法、系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113423091A true CN113423091A (zh) | 2021-09-21 |
CN113423091B CN113423091B (zh) | 2022-07-29 |
Family
ID=77712777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110563049.8A Active CN113423091B (zh) | 2021-05-24 | 2021-05-24 | 一种车载算力网络的多维资源智能联合优化方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113423091B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114217881A (zh) * | 2022-02-23 | 2022-03-22 | 北京航空航天大学杭州创新研究院 | 任务卸载方法及相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010434A (zh) * | 2019-12-11 | 2020-04-14 | 重庆工程职业技术学院 | 一种基于网络时延和资源管理的优化任务卸载方法 |
CN111124647A (zh) * | 2019-12-25 | 2020-05-08 | 大连理工大学 | 一种车联网中的智能边缘计算方法 |
CN111314889A (zh) * | 2020-02-26 | 2020-06-19 | 华南理工大学 | 车联网中基于移动边缘计算的任务卸载与资源分配方法 |
CN111507601A (zh) * | 2020-04-12 | 2020-08-07 | 北京工业大学 | 基于深度强化学习与区块链共识的资源优化分配决策方法 |
CN111953526A (zh) * | 2020-07-24 | 2020-11-17 | 新华三大数据技术有限公司 | 一种分层算力网络编排方法、装置及存储介质 |
CN112512018A (zh) * | 2020-07-24 | 2021-03-16 | 北京航空航天大学 | 一种基于移动边缘计算的协作车辆间任务动态卸载方法 |
CN112714178A (zh) * | 2020-12-25 | 2021-04-27 | 北京信息科技大学 | 一种基于车载边缘计算的任务卸载方法及装置 |
-
2021
- 2021-05-24 CN CN202110563049.8A patent/CN113423091B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010434A (zh) * | 2019-12-11 | 2020-04-14 | 重庆工程职业技术学院 | 一种基于网络时延和资源管理的优化任务卸载方法 |
CN111124647A (zh) * | 2019-12-25 | 2020-05-08 | 大连理工大学 | 一种车联网中的智能边缘计算方法 |
CN111314889A (zh) * | 2020-02-26 | 2020-06-19 | 华南理工大学 | 车联网中基于移动边缘计算的任务卸载与资源分配方法 |
CN111507601A (zh) * | 2020-04-12 | 2020-08-07 | 北京工业大学 | 基于深度强化学习与区块链共识的资源优化分配决策方法 |
CN111953526A (zh) * | 2020-07-24 | 2020-11-17 | 新华三大数据技术有限公司 | 一种分层算力网络编排方法、装置及存储介质 |
CN112512018A (zh) * | 2020-07-24 | 2021-03-16 | 北京航空航天大学 | 一种基于移动边缘计算的协作车辆间任务动态卸载方法 |
CN112714178A (zh) * | 2020-12-25 | 2021-04-27 | 北京信息科技大学 | 一种基于车载边缘计算的任务卸载方法及装置 |
Non-Patent Citations (3)
Title |
---|
JIE FENG ET: "Service Characteristics-Oriented Joint Optimization of Radio and Computing Resource Allocation in Mobile-Edge Computing", 《 IEEE INTERNET OF THINGS JOURNAL》 * |
于清林: "从边缘计算到算力网络", 《产业科技创新》 * |
裴庆祺: "以万物互联为核心的边缘计算时代正在开启", 《人民论坛学术前沿》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114217881A (zh) * | 2022-02-23 | 2022-03-22 | 北京航空航天大学杭州创新研究院 | 任务卸载方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113423091B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dai et al. | Artificial intelligence empowered edge computing and caching for internet of vehicles | |
Hu et al. | Blockchain and artificial intelligence for dynamic resource sharing in 6G and beyond | |
CN111031102B (zh) | 一种多用户、多任务的移动边缘计算系统中可缓存的任务迁移方法 | |
Zhang et al. | Task offloading method of edge computing in internet of vehicles based on deep reinforcement learning | |
CN113282368B (zh) | 一种用于变电站巡视的边缘计算资源调度方法 | |
CN111124647B (zh) | 一种车联网中的智能边缘计算方法 | |
CN113435472A (zh) | 车载算力网络用户需求预测方法、系统、设备、介质 | |
Tian et al. | CoPace: Edge computation offloading and caching for self-driving with deep reinforcement learning | |
CN111885155B (zh) | 一种车联网资源融合的车载任务协作迁移方法 | |
CN114973673B (zh) | 车路协同系统中结合noma和内容缓存的任务卸载方法 | |
CN115209426B (zh) | 一种边缘车联网内数字孪生服务器动态部署方法 | |
CN116782296A (zh) | 一种基于数字孪生的车联网边缘计算卸载多目标决策方法 | |
CN113423091B (zh) | 一种车载算力网络的多维资源智能联合优化方法、系统 | |
Lv et al. | Edge computing task offloading for environmental perception of autonomous vehicles in 6G networks | |
Moghaddasi et al. | An enhanced asynchronous advantage actor-critic-based algorithm for performance optimization in mobile edge computing-enabled internet of vehicles networks | |
Ge et al. | Interference aware service migration in vehicular fog computing | |
CN113763713B (zh) | 一种路网瓶颈路段发掘与管理方法及装置 | |
CN113014649B (zh) | 一种基于深度学习的云物联负载均衡方法、装置及设备 | |
Liu et al. | Joint Optimization of Multiuser Computation Offloading and Wireless-Caching Resource Allocation With Linearly Related Requests in Vehicular Edge Computing System | |
Hou et al. | Joint computation offloading and resource allocation based on deep reinforcement learning in C-V2X edge computing | |
CN114916013B (zh) | 基于车辆轨迹预测的边缘任务卸载时延优化方法、系统及介质 | |
Wu et al. | Collaborative caching relay algorithm based on recursive deep reinforcement learning in mobile vehicle edge network | |
Xiao et al. | Mobile-edge-platooning cloud: a lightweight cloud in vehicular networks | |
CN116339748A (zh) | 基于移动性预测的边缘计算网络中的自适应应用程序部署方法 | |
Xu et al. | Cooperative sensing and heterogeneous information fusion in vcps: A multi-agent deep reinforcement learning approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |