CN117857559A - 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 - Google Patents
基于平均场博弈的城域光网络任务卸载方法及边缘服务器 Download PDFInfo
- Publication number
- CN117857559A CN117857559A CN202410261624.2A CN202410261624A CN117857559A CN 117857559 A CN117857559 A CN 117857559A CN 202410261624 A CN202410261624 A CN 202410261624A CN 117857559 A CN117857559 A CN 117857559A
- Authority
- CN
- China
- Prior art keywords
- average field
- equation
- optical network
- task
- offloading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 230000003287 optical effect Effects 0.000 title claims abstract description 102
- 238000004891 communication Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 98
- 230000008569 process Effects 0.000 claims description 36
- 230000008901 benefit Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000002787 reinforcement Effects 0.000 description 13
- 239000003795 chemical substances by application Substances 0.000 description 11
- 230000003993 interaction Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000010845 search algorithm Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 208000001613 Gambling Diseases 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011438 discrete method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 229920003087 methylethyl cellulose Polymers 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/042—Backward inferencing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2852—Metropolitan area networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0925—Management thereof using policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0958—Management thereof based on metrics or performance parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
- H04Q2011/0086—Network resource allocation, dimensioning or optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供基于平均场博弈的城域光网络任务卸载方法及边缘服务器,涉及光通信技术领域,方法包括:针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,用控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式并基于有限差分法求解,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;根据该策略自所述目标业务资源数据中分配得到对应的子业务资源数据。本申请能够有效缩短获取最优任务卸载策略的时间,能够满足现代网络通信低延迟的需求;能够有效降低边缘计算赋能的城域光网络的任务卸载的计算复杂度;并能够保证城域光网络任务卸载的有效性及可靠性。
Description
技术领域
本申请涉及光通信技术领域,尤其涉及基于平均场博弈的城域光网络任务卸载方法及边缘服务器。
背景技术
计算和通信资源是现代信息社会的重要基础设施,直接影响着信息传递和发展的速度与质量。在边缘计算赋能光网络中,任务卸载策略起着重要作用,决定了时延、能耗、用户体验等重要性能指标。相较于传统云计算方案,多址接入边缘计算(MEC)使得算力能够距离用户更近且部署更加灵活,可有效减少信息传输时延,避免网络拥塞,减轻骨干网压力。因此,如何在融合光通信和边缘计算技术的城域光网络中寻求合适的优化任务卸载策略,并在保证用户服务要求的基础上,降低系统能耗与时延,是目前的研究重点。
目前,有许多研究小组引入强化学习和启发式搜索算法来解决光网络中边缘卸载的问题。在解决任务卸载问题提出的启发式搜索算法通常有:遗传算法、改进的遗传算法以及进化算法等等;使用深度强化学习算法解决任务卸载策略有DQN、A3C、DDPG等。然而,虽然强化学习方法或启发式搜索算法在任务卸载上有非常多的应用,但是其依然存在计算复杂度高、耗时长且无法保证光网络任务卸载的有效性等问题。
发明内容
鉴于此,本申请实施例提供了基于平均场博弈的城域光网络任务卸载方法及边缘服务器,以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的一个方面提供了一种基于平均场博弈的城域光网络任务卸载方法,包括:
针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策;
基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;
根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
在本申请的一些实施例中,在所述采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式之前,还包括:
基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程,以将该HJB方程作为控制方程。
在本申请的一些实施例中,在所述采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式之前,还包括:
根据随机选取的测试函数构建用于表示因在自身所在通信范围内的其他边缘服务器的任务卸载策略变化而导致的平均场变化的FPK方程,以将该FPK方程作为平均场演化方程。
在本申请的一些实施例中,在所述基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程之前,还包括:
基于边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数,以及用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数,构建边缘服务器收益函数。
在本申请的一些实施例中,在所述构建边缘服务器收益函数之前,还包括:
根据自身对应的预设的任务收益因子、平均场影响因子、传输成本因子、计算成本因子、调制格式、单个频隙的带宽、使用的频隙数量以及计算资源,构建边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数;其中,所述状态用于表示边缘服务器当前占用的业务数,所述动作用于表示边缘服务器选择占用的业务数。
在本申请的一些实施例中,在所述构建边缘服务器收益函数之前,还包括:
根据预设的终端惩罚因子、所述目标业务资源数据对应的任务总量、所述通信范围内的各个边缘服务器各自的当前所述状态以及所述通信范围内的边缘服务器的总数,构建用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数。
在本申请的一些实施例中,所述基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程,包括:
基于贝尔曼最优准则,将所述边缘服务器收益函数转换为边缘服务器的价值函数;
应用随机最优控制的动态规划原理,基于一个预设的极小时间对所述价值函数进行转化;
对经转化后的所述价值函数进行泰勒展开以得到对应的目标函数;
令所述极小时间趋近于0,以根据所述目标函数生成用于表示边缘服务器采取的任务卸载策略与状态的HJB方程。
本申请的另一个方面提供了一种基于平均场博弈的城域光网络任务卸载装置,包括:
卸载方式确定模块,用于针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策;
卸载策略计算模块,用于基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;
任务卸载模块,用于根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
本申请的第三个方面提供了一种边缘服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的基于平均场博弈的城域光网络任务卸载方法。
本申请的第四个方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的基于平均场博弈的城域光网络任务卸载方法。
本申请的第五个方面提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现所述的基于平均场博弈的城域光网络任务卸载方法。
本申请提供的基于平均场博弈的城域光网络任务卸载方法,针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策;基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理,能够用极短的时间去逼近任务卸载问题的最优解,进而提高任务卸载效率,满足现代网络通信低延迟的需求;能够有效降低边缘计算赋能的城域光网络的任务卸载的计算复杂度,可以有效防止出现过拟合;并能够保证城域光网络任务卸载的有效性及可靠性。
本申请的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本申请实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,并不构成对本申请的限定。附图中的部件不是成比例绘制的,而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分,附图中对应部分可能被放大,即,相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中:
图1为本申请一实施例中的基于平均场博弈的城域光网络任务卸载方法的第一种流程示意图。
图2为本申请一实施例中的基于平均场博弈的城域光网络任务卸载方法的第二种流程示意图。
图3为本申请一实施例中的基于平均场博弈的城域光网络任务卸载方法的第三种流程示意图。
图4为本申请一应用实例中的基于平均场博弈的城域光网络任务卸载方法的执行逻辑示意图。
图5为本申请一实施例中的基于平均场博弈的城域光网络任务卸载装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本申请做进一步详细说明。在此,本申请的示意性实施方式及其说明用于解释本申请,但并不作为对本申请的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本申请,在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤,而省略了与本申请关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本申请的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
随着信息技术的不断发展,一些新兴应用场景和业务的出现,导致对通信网络计算资源的需求大规模增加,出现了大量的计算密集型任务,这就要求网络不仅需要能够具有高速的无线通信能力,还需要具有强大的计算能力,以缓解终端日益增大的计算压力。而移动设备终端的计算资源、存储能力有限,无法满足执行复杂计算任务的要求。云计算的出现为网络提供了一个大的计算平台,让用户把任务卸载到云端计算,但是由于云计算在用户、云端之间长传输距离和集中式的任务汇聚,导致了长时延、网络拥塞等问题,而移动智能终端的数量是指数级增加的,所以云计算不是满足密集网络需求的好方法。
多址接入边缘计算(MEC),在网络中被认为是提高计算性能的最有前途的技术之一。在支持边缘计算的城域光网络中,它将具有更大带宽的移动光网络MONs(MobileOptical Networks)和灵活的边缘节点结合起来,业务请求通过综合接入点汇聚到城域光网络中,再分发到具有计算能力的边缘服务器中进行计算。在这样的场景中,合理的资源分配可以实现边缘节点之间的负载均衡,加上任务卸载可以实现更灵活的工作负载和资源共享。
需要说明的是,移动边缘计算(Mobile Edge Computing, MEC)是一种分布式计算模型,它将计算和存储资源从中心化的云端向网络边缘推移,以更好地满足移动终端设备的需求。在MEC中,计算任务可以在靠近用户的边缘设备上执行,而不是在远离用户的云服务器上执行。
虽然强化学习方法或启发式搜索算法在任务卸载上有非常多的应用,但是其依然存在很多问题:
(1)时间复杂度过高:利用强化学习或者是启发式搜索算法都需要消费大量时间成本进行维度空间的搜索,当服务器维度与任务数量较大时,强化学习和启发式算法的时间复杂度将呈现爆炸形式增长。
(2)业务之间的复杂关系:很多种类型的业务存在先后顺序亦或者是协同合作的关系,而强化学习和启发式算法对这类业务进行显式表达并求解,因此很难达到最优解。
(3)陷入局部最优解:强化学习常常因为参数设置或者奖励设置不合理导致模型不收敛,或者陷入到局部最优解,而遗传算法会因为空间维度过高以及进化轮次不足导致陷入局部最优解。
(4)超参数过多:无论是强化学习还是启发式搜索算法都有非常多的超参数可以进行调整,而且这些超参数会直接影响最终的结果,但是如何选取合适的超参数并没有很好的方法进行解决。
(5)容易过拟合:有时深度强化学习训练出来的模型可能只是过度适应该环境的怪异模型并不具备普适性。
为了解决上述技术问题,本申请实施例分别提供一种基于平均场博弈的城域光网络任务卸载方法、用于执行该基于平均场博弈的城域光网络任务卸载方法的基于平均场博弈的城域光网络任务卸载装置、边缘服务器、计算机可读存储介质以及计算机程序产品,引入平均场博弈论(MFG)来解决MONs中任务卸载的问题。
具体通过下述实施例进行详细说明。
基于此,本申请实施例提供一种可由基于平均场博弈的城域光网络任务卸载装置实现的基于平均场博弈的城域光网络任务卸载方法,参见图1,所述基于平均场博弈的城域光网络任务卸载方法具体包含有如下内容:
步骤100:针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策。
可以理解的是,平均场博弈(Mean Field Games, MFG)是一种博弈论和动力系统理论相结合的数学框架,用于描述大规模智能体(玩家)之间的相互作用和决策过程。在平均场博弈中,大量的智能体通过概率分布来表达他们的策略,而不是直接指定确定性策略。每个智能体的行为受到整体系统中其他智能体的平均效应的影响,这个平均效应通过整个智能体群体的平均行为来体现。因此,每个智能体的决策过程不仅取决于其自身的目标函数,还取决于整个系统中其他智能体的行为。而传统的博弈论是在模拟每个智能体与系统中所有其他智能体的交互作用,而平均场博弈则是模拟每个智能体的交互与系统的其他智能体的集体作用的影响。
博弈论作为一种数学优化工具,在边缘计算任务卸载策略设计等问题中被广泛应用。然而传统的博弈论在参与者之间需要大量的交互信息,给网络带来额外的信息传输压力,在密集网络场景下这一问题更为严重。相比于传统博弈论,平均场博弈论采用平均场作用来表示其他参与者的行为信息。在决策时,不再需要庞大的参与者交互信息,从而避免了大量的信息交互开销。因此被认为是更适用于现代无线网络研究的方向。
也就是说,平均场博弈论(MFG)能够研究大量不可区分的参与者的纳什均衡状态,允许参与者根据所有其他参与者的状态分布来做出决策。博弈论在无线领域中有着广泛的应用,例如在超密集网络中,与无线领域不同的是,光网络中任务的所占用的带宽是离散的,并且同时考虑了频谱资源和计算资源,这也增加了计算的复杂性。
针对目前还未有研究在光网络场景下应用平均场博弈论的情形,本申请实施例首次提出了一种在城域光网络中基于平均场博弈论的任务卸载策略。针对所构造的MFG问题,可以选取如HJB (Hamilton-Jacobi-Bellman)方程等作为控制方程,并选取如FPK(Fokker-Planck-Kolmogorov )等方程作为平均场演化方程来实现平均场均衡,揭示了任务请求的最优卸载决策,同时通过下述步骤200设计有限差分法来求解这两个耦合偏微分方程(PDEs),可以得出基于平均场博弈论的卸载算法比传统策略具有更低的代价。
步骤200:基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略。
在步骤200中,纳什均衡点是博弈论中一种解的概念,它是指满足下面性质的策略组合:任何一位玩家在此策略组合下单方面改变自己的策略(其他玩家策略不变)都不会提高自身的收益。通常情况下,当许多博弈的玩家处于纳什均衡点的情况下,都不会愿意在改变自己的策略,因为并不会提高自己的收益,这种情况下,则是达成了纳什均衡点。一个策略组合被称为纳什均衡,当每个博弈者的均衡策略都是为了达到自己期望收益的最大值,与此同时,其他所有博弈者也遵循这样的策略。
步骤300:根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
从上述描述可知,本申请实施例提供的基于平均场博弈的城域光网络任务卸载方法,能够用极短的时间去逼近任务卸载问题的最优解,进而提高任务卸载效率,满足现代网络通信低延迟的需求;能够有效降低边缘计算赋能的城域光网络的任务卸载的计算复杂度,可以有效防止出现过拟合;并能够保证城域光网络任务卸载的有效性及可靠性。
为了进一步提高基于平均场博弈的城域光网络任务卸载过程中控制方程的应用有效性及适用广泛性,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图2,所述基于平均场博弈的城域光网络任务卸载方法中的步骤100之前还具体包含有如下内容:
步骤010:基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程,以将该HJB方程作为控制方程。
具体来说,可以将边缘服务器收益函数(也可以写为边缘服务器的收益函数或者效用函数)用贝尔曼最优准则进行推导以得到控制方程。
博弈过程中的每个参与者的行为动作都依赖于其他参与者所采取的决策,因此每个边缘服务器推导得到的HJB方程中有其他参与者采取决策而构成的向量。这些决策则会相互耦合相互影响。这些HJB方程也会相互耦合。而求解耦合的偏微分方程会有非常多的困难,例如:复杂性过高、相互影响、数值不稳定、高维度问题等等。为了能够将这些耦合的方程解耦合,利用平均场替代其他参与者构成的决策向量,即引入能够表征其他参与者策略向量的新参数,即平均场。
基于此,为了进一步提高基于平均场博弈的城域光网络任务卸载过程中平均场演化方程的应用有效性及适用广泛性,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图2,所述基于平均场博弈的城域光网络任务卸载方法中的步骤100之前还具体包含有如下内容:
步骤020:根据随机选取的测试函数构建用于表示因在自身所在通信范围内的其他边缘服务器的任务卸载策略变化而导致的平均场变化的FPK方程,以将该FPK方程作为平均场演化方程。
也就是说,通信范围内的所有边缘服务器均可以根据控制方程得到应当采取的最佳策略,同时所有边缘服务器策略的改变,会引起平均场的变化,演进过程由FPK方程给出,在进行多次迭代之后,所有边缘服务器的策略以及平均场都不会再发生改变,此时则达到了纳什均衡点,同时可以证明纳什均衡点的决策向量为最优决策向量。
为了进一步提高基于平均场博弈的城域光网络任务卸载过程中边缘服务器收益函数的应用有效性及适用广泛性,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图2,所述基于平均场博弈的城域光网络任务卸载方法中的步骤010之前还具体包含有如下内容:
步骤030:基于边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数,以及用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数,构建边缘服务器收益函数。
也就是说,先将为业务分配资源的问题转换为边缘服务器竞选业务的问题,而后对每个服务器的收益函数进行建模,每个服务器在接收一条业务后,都将会获得该业务对应的利润收益,但是同时该服务器需要承担本条业务从起始结点传输到目标服务器的传输时延以及目标服务器处理该条业务的计算时延。
由于每个服务器所处的位置不同,对于不同的业务,他们传输到不同服务器产生的过程成本与利润收益都将是不同的。为了保证所有的业务分配给服务器,在服务器的收益函数中添加终端惩罚,即如果在整个博弈过程结束后,依然存在业务未分配,则给所有服务器一个极大值的终端惩罚。
为了进一步提高基于平均场博弈的城域光网络任务卸载过程中过程成本收益函数的应用有效性及适用广泛性,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图2,所述基于平均场博弈的城域光网络任务卸载方法中的步骤030之前还具体包含有如下内容:
步骤040:根据自身对应的预设的任务收益因子、平均场影响因子、传输成本因子、计算成本因子、调制格式、单个频隙的带宽、使用的频隙数量以及计算资源,构建边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数;其中,所述状态用于表示边缘服务器当前占用的业务数,所述动作用于表示边缘服务器选择占用的业务数。
为了进一步提高基于平均场博弈的城域光网络任务卸载过程中过程成本收益函数的应用有效性及适用广泛性,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图2,所述基于平均场博弈的城域光网络任务卸载方法中的步骤030之前还具体包含有如下内容:
步骤050:根据预设的终端惩罚因子、所述目标业务资源数据对应的任务总量、所述通信范围内的各个边缘服务器各自的当前所述状态以及所述通信范围内的边缘服务器的总数,构建用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数。
相对应的,在本申请实施例提供的一种基于平均场博弈的城域光网络任务卸载方法中,参见图3,所述基于平均场博弈的城域光网络任务卸载方法中的步骤010具体包含有如下内容:
步骤011:基于贝尔曼最优准则,将所述边缘服务器收益函数转换为边缘服务器的价值函数。
步骤012:应用随机最优控制的动态规划原理,基于一个预设的极小时间对所述价值函数进行转化。
步骤013:对经转化后的所述价值函数进行泰勒展开以得到对应的目标函数。
步骤014:令所述极小时间趋近于0,以根据所述目标函数生成用于表示边缘服务器采取的任务卸载策略与状态的HJB方程。
为了进一步说明上述方案,本申请还提供一种基于平均场博弈的城域光网络任务卸载方法,参见图4,其中x1(t)表示1号边缘服务器的状态,x2(t)表示2号边缘服务器的状态(状态指的是现在这个边缘服务器占据了多少任务),以此类推;m代表平均场;u代表性能指标函数;L是过程成本函数;t是时间;x代表边缘服务器的状态;alpha代表边缘服务器此时采取的动作,即准备占用多少任务。
基于平均场博弈的城域光网络任务卸载方法具体包含有如下内容:
(一)基于博弈论的资源分配
步骤1:构建边缘服务器收益函数
博弈论主要研究公式化了的激励结构间的相互作用,是研究具有斗争或竞争性质现象的数学理论和方法。博弈论考虑游戏中的个体的预测行为和实际行为,并研究它们的优化策略。生物学家使用博弈理论来理解和预测进化论的某些结果。而在任务卸载中,使用强化学习或启发式搜索算法进行动作选取,这不仅会耗费大量的时间成本与计算成本,而且可能面临无法搜索到最优解的情况,而博弈论则可以用极短的时间去逼近任务卸载问题的最优解。
首先,将为业务分配资源的问题转换为边缘服务器竞选业务的问题,而后对每个服务器的收益函数进行建模,每个服务器在接收一条业务后,都将会获得该业务对应的利润收益,但是同时该服务器需要承担本条业务从起始结点传输到目标服务器的传输时延以及目标服务器处理该条业务的计算时延。
由于每个服务器所处的位置不同,对于不同的业务,他们传输到不同服务器产生的过程成本与利润收益都将是不同的。为了保证所有的业务分配给服务器,在服务器的收益函数中添加终端惩罚,即如果在整个博弈过程结束后,依然存在业务未分配,则给所有服务器一个极大值的终端惩罚,边缘服务器收益函数如下:
其中,J表示性能指标函数,表征在整个控制过程的收益;表示边缘服务器的动作,即选择占用多少业务;T表示终端时刻;L表示过程成本收益函数(也可以称为过程成本函数),表征在整个过程中产生的成本收益;x表示边缘服务器此时的状态,即目前占用了多少业务;m表示平均场;G表示终端惩罚函数;X是一个向量,由x1(T)、x2(T)一直到最终一个边缘服务器Xn(T)构成的向量。其形式为X=(x1(T),x2(T),…)。
过程成本收益函数根据自身对应的预设的任务收益因子、平均场影响因子、传输成本因子、计算成本因子、调制格式、单个频隙的带宽、使用的频隙数量以及计算资源构建而成,过程成本收益函数L的表达式如下:
其中,表示任务收益因子;表示平均场影响因子;表示传输成本因子;表示调制格式;B表示单个频隙的带宽;e表示使用的频隙数量;表示计算成本因子;A表示边缘服务器分配的计算资源。
终端惩罚函数根据预设的终端惩罚因子、所述目标业务资源数据对应的任务总量、所述通信范围内的各个边缘服务器各自的当前所述状态以及所述通信范围内的边缘服务器的总数构建而成,终端惩罚函数G的表达式如下:
其中,表示终端惩罚因子,C表示任务总量;表示第k个边缘服务器的状态;N表示通信范围内的边缘服务器的总数。
步骤2:引入贝尔曼最优准则,生成边缘服务器的价值函数
基于贝尔曼最优准则,将所述边缘服务器收益函数转换为边缘服务器的价值函数;
边缘服务器的价值函数也可以写为贝尔曼价值函数,表达式如下:
其中,表示边缘服务器的贝尔曼价值函数,需要说明的是,u本质上与J是同样的函数,但是在贝尔曼价值函数中常用u代表价值函数。
步骤3:价值函数转化
应用随机最优控制的动态规划原理,基于一个预设的极小时间对所述价值函数进行转化;
具体来说,取一个极小时间,将价值函数转化为下式:
其中的s仅用于代替t以避免和积分上的t出现冲突,并没有实际含义。
步骤4:转化为目标函数
对经步骤3转化后的所述价值函数进行泰勒展开以得到对应的目标函数:
其中,表示dt的高阶无穷小。
步骤5:构建HJB方程
令所述极小时间趋近于0,以根据所述目标函数生成用于表示边缘服务器采取的任务卸载策略与状态的HJB方程。
也就是说,令趋向于0,可以将目标函数进行推导从而获得表征服务器采取的策略与状态的偏微分方程,即HJB方程,公式如下:
此时问题由一个多目标最优化问题转换变为随机微分博弈过程,同时该问题存在唯一的纳什均衡解。
(二)基于平均场博弈论的任务卸载策略
步骤6:构建FPK方程
博弈过程中的每个参与者的行为动作都依赖于其他参与者所采取的决策,因此每个边缘服务器推导得到的HJB方程中有其他参与者采取决策而构成的向量。这些决策则会相互耦合相互影响。这些HJB方程也会相互耦合。而求解耦合的偏微分方程会有非常多的困难,例如:复杂性过高、相互影响、数值不稳定、高维度问题等等。为了能够将这些耦合的方程解耦合,利用平均场替代其他参与者构成的决策向量,即引入能够表征其他参与者策略向量的新参数:平均场。
引入平均场后,每个边缘服务器的卸载策略可以只分析一个代表性的边缘服务器与博弈中其他边缘服务器集体行为进行交互,这个问题从随机微分博弈问题转变为平均场博弈问题,通过证明和迭代可以收敛到纳什均衡点。
由于平均场是由所有边缘服务器策略影响的,因此要给出其他参与者策略变化的情况下,平均场的演进情况。通过引入任意测试函数(一个连续可导的函数),则积分可看作的极限,即公式:
是一个任意的测试函数,只是为了推导所用方程左右两侧对t求偏导,即公式:
利用分部积分法,其中有:
则得到FPK方程:
直到平均场分布之后,可得到最优任务卸载策略,如下式:
其中,表示是第i个边缘服务器的价值函数;表示最优任务卸载策略。
步骤7:求解HJB方程和FPK方程
为了求解上述的MFG问题,本申请采用数值求解方法:有限差分法。首先将状态量和连续的卸载时间离散化,这也充分符合光网络中资源离散特性。考虑一个有界的区域,将区域转化为有限的网格点,具体转换过程如下所示:
首先,将边缘服务器的效用函数用贝尔曼最优准则进行推导,得到控制方程,即HJB方程。
其次,所有边缘服务器根据控制方程得到应当采取的最佳策略,同时所有边缘服务器策略的改变,会引起平均场的变化,演进过程由FPK方程给出,在进行多次迭代之后,所有边缘服务器的策略以及平均场都不会再发生改变,此时则达到了纳什均衡点,同时可以证明纳什均衡点的决策向量为最优决策向量。
最终所有边缘服务器将会根据业务带来的收益和成本,来竞选业务数量,并且满足整体效益最大化,即传输成本和计算成本带来的时延能够达到最小,并且保证没有业务处于未分配状态。
运用平均场博弈论来进行业务资源的分配,不仅能够求得整个问题的最优解,同时算法的时间复杂度为O(n),即只与边缘服务器的数量有关系,因此时间复杂度极低,所有边缘服务器能够快速获得当下状态应当采取的最佳策略,并迭代收敛至整体最优解。
也就是说,本申请应用实例提供的基于平均场博弈的城域光网络任务卸载方法,提出了最优化渗入光网络:将业务离散性和频谱离散性与最优化结合,用约束条件限定离散性,并用离散方法进行求解;还提出了近似引入与优化:引入近似将逼近纳什均衡点的过程进一步简化,解除耦合性;在此基础上,还提出了最优解证明:证明逼近最优解点的过程就是在逼近最优解的过程。
综上所述,本申请应用实例首次提出了一种在城域光网络中基于平均场博弈论的任务卸载策略,针对所构造的MFG问题,推导了HJB方程和FPK方程来实现平均场均衡,揭示了任务请求的最优卸载决策,同时设计了有限差分法来求解这两个耦合偏微分方程(PDEs)。可以得出基于平均场博弈论的卸载算法比传统策略具有更低的代价。
当服务器维度与任务数量较大时,相比强化学习和启发式算法耗费时间成本大且可能面临无法搜索到最优解的情况,本申请所提出的基于平均场博弈论的任务卸载策略可以用极短的时间去逼近任务卸载问题的最优解,满足现代网络通信低延迟的需求,且算法的时间复杂度相比强化学习和启发式算法低的多,仅为O(n),并可以防止出现过拟合。
从软件层面来说,本申请还提供一种用于执行所述基于平均场博弈的城域光网络任务卸载方法中全部或部分内的基于平均场博弈的城域光网络任务卸载装置,参见图5,所述基于平均场博弈的城域光网络任务卸载装置具体包含有如下内容:
卸载方式确定模块10,用于针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策。
卸载策略计算模块20,用于基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略。
任务卸载模块30,用于根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
本申请提供的基于平均场博弈的城域光网络任务卸载装置的实施例具体可以用于执行上述实施例中的基于平均场博弈的城域光网络任务卸载方法的实施例的处理流程,其功能在此不再赘述,可以参照上述基于平均场博弈的城域光网络任务卸载方法实施例的详细描述。
所述基于平均场博弈的城域光网络任务卸载装置进行基于平均场博弈的城域光网络任务卸载的部分可以在如边缘服务器等服务器中执行,也可以在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于基于平均场博弈的城域光网络任务卸载的具体处理。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
从上述描述可知,本申请实施例提供的基于平均场博弈的城域光网络任务卸载装置,能够用极短的时间去逼近任务卸载问题的最优解,进而提高任务卸载效率,满足现代网络通信低延迟的需求;能够有效降低边缘计算赋能的城域光网络的任务卸载的计算复杂度,可以有效防止出现过拟合;并能够保证城域光网络任务卸载的有效性及可靠性。
本申请实施例还提供了一种电子设备,该电子设备可以包括处理器、存储器、接收器及发送器,处理器用于执行上述实施例提及的基于平均场博弈的城域光网络任务卸载方法,其中处理器和存储器可以通过总线或者其他方式连接,以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。
处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的基于平均场博弈的城域光网络任务卸载方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的基于平均场博弈的城域光网络任务卸载方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中,当被所述处理器执行时,执行实施例中的基于平均场博弈的城域光网络任务卸载方法。
在本申请的一些实施例中,用户设备可以包括处理器、存储器和收发单元,该收发单元可包括接收器和发送器,处理器、存储器、接收器和发送器可通过总线系统连接,存储器用于存储计算机指令,处理器用于执行存储器中存储的计算机指令,以控制收发单元收发信号。
作为一种实现方式,本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现,处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式,可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器,接收器和发送器功能的程序代码存储在存储器中,通用处理器通过执行存储器中的代码来实现处理器,接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述基于平均场博弈的城域光网络任务卸载方法的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现所述基于平均场博弈的城域光网络任务卸载方法。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
本申请中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于平均场博弈的城域光网络任务卸载方法,其特征在于,包括:
针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策;
基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;
根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
2.根据权利要求1所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,在所述采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式之前,还包括:
基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程,以将该HJB方程作为控制方程。
3.根据权利要求1所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,在所述采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式之前,还包括:
根据随机选取的测试函数构建用于表示因在自身所在通信范围内的其他边缘服务器的任务卸载策略变化而导致的平均场变化的FPK方程,以将该FPK方程作为平均场演化方程。
4.根据权利要求2所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,在所述基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程之前,还包括:
基于边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数,以及用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数,构建边缘服务器收益函数。
5.根据权利要求4所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,在所述构建边缘服务器收益函数之前,还包括:
根据自身对应的预设的任务收益因子、平均场影响因子、传输成本因子、计算成本因子、调制格式、单个频隙的带宽、使用的频隙数量以及计算资源,构建边缘服务器的状态、动作以及平均场共同对应的过程成本收益函数;其中,所述状态用于表示边缘服务器当前占用的业务数,所述动作用于表示边缘服务器选择占用的业务数。
6.根据权利要求4所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,在所述构建边缘服务器收益函数之前,还包括:
根据预设的终端惩罚因子、所述目标业务资源数据对应的任务总量、所述通信范围内的各个边缘服务器各自的当前所述状态以及所述通信范围内的边缘服务器的总数,构建用于表示自身所在通信范围内的所有边缘服务器的终端惩罚的终端惩罚函数。
7.根据权利要求4所述的基于平均场博弈的城域光网络任务卸载方法,其特征在于,所述基于预设的边缘服务器收益函数,构建用于表示边缘服务器采取的任务卸载策略与状态的HJB方程,包括:
基于贝尔曼最优准则,将所述边缘服务器收益函数转换为边缘服务器的价值函数;
应用随机最优控制的动态规划原理,基于一个预设的极小时间对所述价值函数进行转化;
对经转化后的所述价值函数进行泰勒展开以得到对应的目标函数;
令所述极小时间趋近于0,以根据所述目标函数生成用于表示边缘服务器采取的任务卸载策略与状态的HJB方程。
8.一种基于平均场博弈的城域光网络任务卸载装置,其特征在于,包括:
卸载方式确定模块,用于针对汇聚至城域光网络的业务请求所指定的当前待卸载的目标业务资源数据,采用预设的控制方程和平均场演化方程作为基于平均场博弈的最优任务卸载求解方式;其中,所述平均场用于表示自身所在通信范围内的其他边缘服务器当前的任务卸载决策;
卸载策略计算模块,用于基于有限差分法求解所述控制方程和平均场演化方程,以在所述控制方程和平均场演化方程均达到纳什均衡点时得到针对所述目标业务资源数据的最优任务卸载策略;
任务卸载模块,用于根据所述最优任务卸载策略自所述目标业务资源数据中分配得到对应的子业务资源数据,并将该子业务资源数据发送至目标服务器以进行处理。
9.一种边缘服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于平均场博弈的城域光网络任务卸载方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于平均场博弈的城域光网络任务卸载方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410261624.2A CN117857559B (zh) | 2024-03-07 | 2024-03-07 | 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410261624.2A CN117857559B (zh) | 2024-03-07 | 2024-03-07 | 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117857559A true CN117857559A (zh) | 2024-04-09 |
CN117857559B CN117857559B (zh) | 2024-07-12 |
Family
ID=90540519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410261624.2A Active CN117857559B (zh) | 2024-03-07 | 2024-03-07 | 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117857559B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111800828A (zh) * | 2020-06-28 | 2020-10-20 | 西北工业大学 | 一种超密集网络的移动边缘计算资源分配方法 |
CN112468568A (zh) * | 2020-11-23 | 2021-03-09 | 南京信息工程大学滨江学院 | 一种移动边缘计算网络的任务中继卸载方法 |
CN113407248A (zh) * | 2020-12-11 | 2021-09-17 | 绍兴文理学院 | 基于流量权重控制的传感边缘云内部DDoS攻击主动防御方法 |
-
2024
- 2024-03-07 CN CN202410261624.2A patent/CN117857559B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111800828A (zh) * | 2020-06-28 | 2020-10-20 | 西北工业大学 | 一种超密集网络的移动边缘计算资源分配方法 |
CN112468568A (zh) * | 2020-11-23 | 2021-03-09 | 南京信息工程大学滨江学院 | 一种移动边缘计算网络的任务中继卸载方法 |
CN113407248A (zh) * | 2020-12-11 | 2021-09-17 | 绍兴文理学院 | 基于流量权重控制的传感边缘云内部DDoS攻击主动防御方法 |
Non-Patent Citations (2)
Title |
---|
胡蕾: "能源互联网中大规模智能电动汽车的需求响应研究", 《北京邮电大学工学硕士学位论文》, 31 December 2023 (2023-12-31), pages 2 - 4 * |
郑仁军: "超密集边缘计算网络中计算卸载研究", 《中国优秀硕士学位论文全文数据库信息科技辑 2021年03期》, 15 March 2023 (2023-03-15), pages 136 - 403 * |
Also Published As
Publication number | Publication date |
---|---|
CN117857559B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mebrek et al. | Efficient green solution for a balanced energy consumption and delay in the IoT-Fog-Cloud computing | |
Feng et al. | Collaborative data caching and computation offloading for multi-service mobile edge computing | |
CN109684075B (zh) | 一种基于边缘计算和云计算协同进行计算任务卸载的方法 | |
Lee et al. | An online secretary framework for fog network formation with minimal latency | |
Nguyen et al. | Cooperative task offloading and block mining in blockchain-based edge computing with multi-agent deep reinforcement learning | |
CN107766135B (zh) | 移动朵云中基于粒子群和模拟退火优化的任务分配方法 | |
Wu et al. | Multi-agent DRL for joint completion delay and energy consumption with queuing theory in MEC-based IIoT | |
CN111405569A (zh) | 基于深度强化学习的计算卸载和资源分配方法及装置 | |
CN111475274B (zh) | 云协同多任务调度方法及装置 | |
CN113296845A (zh) | 一种边缘计算环境下基于深度强化学习的多小区任务卸载算法 | |
CN114143346B (zh) | 一种车联网任务卸载和服务缓存的联合优化方法及系统 | |
Shahryari et al. | Energy-Efficient and delay-guaranteed computation offloading for fog-based IoT networks | |
CN116541106B (zh) | 计算任务卸载方法、计算设备及存储介质 | |
CN114340016A (zh) | 一种电网边缘计算卸载分配方法及系统 | |
He et al. | Delay-aware energy efficient computation offloading for energy harvesting enabled fog radio access networks | |
Hu et al. | Dynamic task offloading in MEC-enabled IoT networks: A hybrid DDPG-D3QN approach | |
Mebrek et al. | Intelligent resource allocation and task offloading model for IoT applications in fog networks: a game-theoretic approach | |
Du et al. | Economical revenue maximization in cache enhanced mobile edge computing | |
CN113821346B (zh) | 基于深度强化学习的边缘计算中计算卸载与资源管理方法 | |
Saeed et al. | Task reverse offloading with deep reinforcement learning in multi-access edge computing | |
Li | Optimization of task offloading problem based on simulated annealing algorithm in MEC | |
Li et al. | Optimal service selection and placement based on popularity and server load in multi-access edge computing | |
CN117857559B (zh) | 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 | |
Xu et al. | Optimization of cooperative offloading model with cost consideration in mobile edge computing | |
CN114553662B (zh) | 一种雾物联网物理层安全的资源分配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |