CN115696405A - 一种兼顾公平性的计算任务卸载优化方法及系统 - Google Patents

一种兼顾公平性的计算任务卸载优化方法及系统 Download PDF

Info

Publication number
CN115696405A
CN115696405A CN202310009687.4A CN202310009687A CN115696405A CN 115696405 A CN115696405 A CN 115696405A CN 202310009687 A CN202310009687 A CN 202310009687A CN 115696405 A CN115696405 A CN 115696405A
Authority
CN
China
Prior art keywords
service
delay
fairness
computing
edge node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310009687.4A
Other languages
English (en)
Other versions
CN115696405B (zh
Inventor
郝昊
张玮
史慧玲
丁伟
谭立状
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202310009687.4A priority Critical patent/CN115696405B/zh
Publication of CN115696405A publication Critical patent/CN115696405A/zh
Application granted granted Critical
Publication of CN115696405B publication Critical patent/CN115696405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于数据边缘计算领域,提供了一种兼顾公平性的计算任务卸载优化方法及系统,包括根据用户服务传输到云和边缘节点的时延,确定服务传输时延;根据用户在云和边缘节点的计算时延,确定服务计算时延;基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。本发明将α公平效应函数引入模型的优化目标中,通过对该问题中状态空间、动作空间、奖励函数等关键元素的定义,将问题建模成马尔科夫决策过程,并基于深度强化学习方法对问题进行了求解,从而在降低网络服务时延的同时兼顾用户的公平性。

Description

一种兼顾公平性的计算任务卸载优化方法及系统
技术领域
本发明属于数据边缘计算技术领域,具体涉及一种兼顾公平性的计算任务卸载优化方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
随着移动网络和移动设备的快速发展,大量的计算密集型服务(如视频直播、人脸识别等)丰富了我们的生活,给我们带来便利的同时也导致了网络中需要计算处理数据的暴增,仅依靠远端云服务器中计算资源的云计算已难以应对如此大的计算压力。此外,在云计算模式中,用户只能从远端的云服务器中获取服务,而云服务器一般距离用户较远,这就会导致网络传输时延高、网络链路拥塞、用户体验质量差等一系列问题。为了应对上述问题,一种新的计算模式—边缘计算应运而生。在边缘计算中,如小基站等边缘节点都会配备有小型的服务器,当边缘节点接收到来自用户的服务请求时,不需要将该请求转发到远端的云服务器,而是直接在本地的边缘服务器上完成该请求并将结果直接返回给用户。由于边缘节点距离用户更近,边缘计算可以大幅降低服务的传输时延,而且边缘节点不需要将服务请求回传到远端云服务器,也就有效降低了核心网络链路中流量压力。但边缘服务器计算能力有限,难以满足所有的用户服务请求,因此进行计算卸载决策以确定哪些服务需要在边缘服务器执行、哪些服务需要卸载到远端服务器是边缘计算中亟需解决的重要问题。
目前,许多研究人员对该问题开展了研究工作,他们以最小化服务时延、网络能耗等方面为优化目标,以边缘节点中有限的计算资源、缓存资源等为约束条件,建立了计算卸载优化模型,并通过凸优化、随机优化等理论方法对模型进行了求解。但这些研究都存在一个问题,即忽略了计算卸载中的公平性问题。我们以拥有用户A和用户B两个用户的简单网络场景进行说明。用户A和用户B连接到边缘节点的带宽相同,但用户A连接到远端云服务器的带宽要高于用户B,此时如果仅以最小化用户时延为优化目标,则边缘节点将优先为来自用户B的请求进行服务。这是因为用户B连接远端云服务器的带宽低于用户A,将用户B的请求卸载到远端服务器执行会比用户A花费更多的时间,而若由边缘节点来为用户B的请求提供服务则可以节约更多时间。但这对于用户A而言是不公平的,用户A拥有更高的带宽却无法享受到边缘计算带来的好处,只能将更多的任务卸载到远端云服务器从而忍受更高的服务时延。因此,公平性是在进行计算卸载决策时需要考虑的一个重要因素。
综上所述,现有的对于计算任务卸载的优化往往忽略了公平性,从而导致对于计算任务卸载优化分配不均匀,达不到最优分配目标。
发明内容
为了解决上述问题,本发明提出了一种兼顾公平性的计算任务卸载优化方法及系统,本发明将α公平效应函数引入模型的优化目标中,通过对该问题中状态空间、动作空间、奖励函数等关键元素的定义,将问题建模成马尔科夫决策过程,并基于深度强化学习方法对问题进行了求解,从而在降低网络服务时延的同时兼顾用户的公平性,实现同时考虑服务时延和用户公平性两方面的计算卸载决策。
根据一些实施例,本发明的第一方案提供了一种兼顾公平性的计算任务卸载优化方法,采用如下技术方案:
一种兼顾公平性的计算任务卸载优化方法,包括:
根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
根据用户在云和边缘节点的计算时延,确定服务计算时延;
基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
进一步地,所述服务传输时延,包括:
用户服务传输到远端云服务器的传输时延,是利用用户服务需要传输的数据量与用户服务传输到远端云服务器的传输效率的比值得到的;
用户服务传输到边缘节点的传输时延,是利用用户服务需要传输的数据量与用户服务传输到边缘节点的传输效率的比值得到的。
进一步地,所述服务计算时延,包括:
用户服务在远端云服务器执行的计算时延,是利用用户服务的总计算量与云服务器分配的计算能力的比值得到的;
用户服务在边缘节点执行的计算时延,是利用用户服务的总计算量与边缘节点分配的计算能力的比值得到的。
进一步地,所述基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型,具体为:
根据服务传输时延和服务计算时延,确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延;
根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,确定系统平均节省时间;
以平均节省时间的α公平效应函数为优化目标,以边缘接节点自身的缓存空间和计算能力为约束条件,建立兼顾公平性的计算卸载决策模型;
所述兼顾公平性的计算卸载决策模型,具体为:
Figure 387541DEST_PATH_IMAGE001
其中,
Figure 797793DEST_PATH_IMAGE002
是系统平均节省时间,
Figure 105319DEST_PATH_IMAGE003
是平均节省时间的α公平效应函数,K代表 所有服务的集合,
Figure 968233DEST_PATH_IMAGE004
为服务k需要的缓存空间,C为边缘节点总的缓存空间,
Figure 130224DEST_PATH_IMAGE005
为计算卸载 决策变量,t代表时刻,
Figure 394983DEST_PATH_IMAGE006
为边缘节点为服务k提供的计算能力,F为边缘节点自身总的计算 能力。
进一步地,所述根据服务传输时延和服务计算时延,确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,具体为:
根据服务传输时延中用户服务传输到远端云服务器的传输时延和服务计算时延中用户服务在远端云服务器执行的计算时延的和,确定用户服务在远端云服务器执行的服务时延;
根据服务传输时延中用户服务传输到边缘节点的传输时延和服务计算时延中用户服务在边缘节点执行的计算时延的和,确定用户服务在边缘节点执行的服务时延。
进一步地,所述根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,确定系统平均节省时间,包括:
根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延的差值,确定服务边缘计算节省的时间;
根据服务边缘计算节省的时间,确定系统平均节省时间;
所述系统平均节省时间,具体为:
Figure 53236DEST_PATH_IMAGE007
其中,
Figure 403446DEST_PATH_IMAGE008
是系统平均节省时间,T为系统运行时间,
Figure 539767DEST_PATH_IMAGE009
为服务边缘计算节省的时 间,
Figure 721349DEST_PATH_IMAGE010
为服务k在时刻t的请求数量,
Figure 114284DEST_PATH_IMAGE011
为计算卸载决策变量,
Figure 951790DEST_PATH_IMAGE012
则表示服务k需要 卸载到远端云服务器执行,
Figure 455584DEST_PATH_IMAGE013
则表示服务k在边缘节点执行。
进一步地,所述利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策,包括:
将兼顾公平性的计算卸载模型的求解问题转化为马尔科夫决策过程,并定义问题的系统状态空间、动作空间和奖励函数;
所述系统状态空间的定义为服务请求状态和边缘节点自身资源状态;
所述动作空间定义为执行的动作即每个时刻需要进行的计算任务卸载决策;
所述奖励函数定义评价一个动作是否能节省更多的时间来确定其奖励值高低;
根据系统状态,利用预先训练好的深度强化学习算法确定动作,即计算卸载决策;
并根据该动作的节省时间来确定其是否为最优计算任务卸载决策。
根据一些实施例,本发明的第二方案提供了一种兼顾公平性的计算任务卸载系统,采用如下技术方案:
一种兼顾公平性的计算任务卸载优化系统,包括:
服务传输时延确定模块,被配置为根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
服务计算时延确定模块,被配置为根据用户在云和边缘节点的计算时延,确定服务计算时延;
计算卸载决策模型确定模块,被配置为基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
根据一些实施例,本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一个方面所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
根据一些实施例,本发明的第四方案提供了一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
与现有技术相比,本发明的有益效果为:
本发明通过分析用户服务传输时延、计算时延等方面因素,建立用户服务时延模型,并将α公平效应函数引入到优化模型目标中,进而将模型构建成马尔科夫决策过程,并提出相应的深度强化学习方法对问题进行求解,从而在优化用户服务时延的同时兼顾用户间的公平性。本发明所述的方案可以同时兼顾服务时延和公平性两个方面,有效解决了只考虑用户服务时延而导致用户间体验质量失衡的问题,为计算卸载提供了一种新方法。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例中一种兼顾公平性的计算任务卸载方法的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
考虑到现有计算卸载方法大多忽略了用户公平性这一因素,设计了一种兼顾公平性的计算卸载方法,对用户服务的传输时延和计算时延进行分析建模,并将α公平效应函数引入到优化目标中,建立了兼顾公平性的计算卸载决策模型,进一步将问题转化为马尔科夫决策过程,根据深度强化学习理论提出了一种求解算法,可以在优化用户服务时延的同时保障服务的公平性。
实施例一
如图1所示,本实施例提供了一种兼顾公平性的计算任务卸载优化方法,本实施例以该方法应用于服务器进行举例说明,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础计算服务的边缘服务器。本实施例中,该方法包括以下步骤:
步骤S1:根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
步骤S2:根据用户在云和边缘节点的计算时延,确定服务计算时延;
步骤S3:基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
步骤S4:利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
其中,步骤S1中,所述服务传输时延,包括:
1)用户服务传输到远端云服务器的传输时延,是利用用户服务需要传输的数据量与用户服务传输到远端云服务器的传输效率的比值得到的。
若用户需要将服务卸载到远端云服务器,则其传输速率为:
Figure 927891DEST_PATH_IMAGE014
其中,
Figure 491728DEST_PATH_IMAGE015
为用户与云服务器间的信道带宽,
Figure 816530DEST_PATH_IMAGE016
为信号与干扰加噪声比(SINR, signal to interference plus noise ratio)。
则用户服务传输到远端云服务器的传输时延为:
Figure 858435DEST_PATH_IMAGE017
其中,
Figure 14610DEST_PATH_IMAGE018
为服务k需要传输的数据量。
2)用户服务传输到边缘节点的传输时延,是利用用户服务需要传输的数据量与用户服务传输到边缘节点的传输效率的比值得到的。
若用户服务传输到边缘节点,其传输速率为:
Figure 247883DEST_PATH_IMAGE019
其中,
Figure 794402DEST_PATH_IMAGE020
为传输到边缘节点的传输速率,
Figure 905578DEST_PATH_IMAGE021
为用户与边缘节点间的信道带宽,
Figure 853942DEST_PATH_IMAGE022
为传输功率,
Figure 258116DEST_PATH_IMAGE023
为信道增益,
Figure 291931DEST_PATH_IMAGE024
为信道噪音功率。
因此,用户服务传输到边缘节点的传输时延为:
Figure 675639DEST_PATH_IMAGE025
其中,
Figure 744090DEST_PATH_IMAGE026
为服务k需要传输的数据量。
在步骤S2中,所述服务计算时延,包括:
1)用户服务在远端云服务器执行的计算时延,是利用用户服务的总计算量与云服务器分配的计算能力的比值得到的。
若用户服务在远端云服务器进行计算,则计算时延为:
Figure 319165DEST_PATH_IMAGE027
其中,
Figure 840276DEST_PATH_IMAGE028
为服务k需要的总计算量,
Figure 27675DEST_PATH_IMAGE029
为云服务器为服务k分配的计算能力。
2)用户服务在边缘节点执行的计算时延,是利用用户服务的总计算量与边缘节点分配的计算能力的比值得到的。
若用户服务在边缘节点进行计算,则计算时延为:
Figure 950632DEST_PATH_IMAGE030
其中,
Figure 696609DEST_PATH_IMAGE028
为服务k需要的总计算量,
Figure 705016DEST_PATH_IMAGE031
为边缘节点为服务k分配的计算能力。
在步骤S3中,所述基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型,具体为:
1)根据服务传输时延和服务计算时延,确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,具体为:
根据服务传输时延中用户服务传输到远端云服务器的传输时延和服务计算时延中用户服务在远端云服务器执行的计算时延的和,确定用户服务在远端云服务器执行的服务时延;
若用户服务在远端云服务器执行,则用户服务在远端云服务器执行的服务时延为:
Figure 696106DEST_PATH_IMAGE032
其中,
Figure 473569DEST_PATH_IMAGE033
是用户服务传输到远端云服务器的传输时延,
Figure 390447DEST_PATH_IMAGE034
是用户服务在远端 云服务器执行的计算时延;
根据服务传输时延中用户服务传输到边缘节点的传输时延和服务计算时延中用户服务在边缘节点执行的计算时延的和,确定用户服务在边缘节点执行的服务时延;
若用户服务在边缘节点执行,则用户服务在边缘节点执行的服务时延为:
Figure 620571DEST_PATH_IMAGE035
其中,
Figure 415352DEST_PATH_IMAGE036
是用户服务传输到边缘节点的传输时延,
Figure 47321DEST_PATH_IMAGE037
是用户服务在边缘节点 执行的计算时延。
2)根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,确定系统平均节省时间,包括:
根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延的差值,确定服务边缘计算节省的时间;
相比云计算,对于服务k而言边缘计算可以节省的时间为:
Figure 135101DEST_PATH_IMAGE038
其中,
Figure 118100DEST_PATH_IMAGE039
是用户服务在远端云服务器执行的服务时延,
Figure 450993DEST_PATH_IMAGE040
是用户服务在边缘节 点执行的服务时延。
根据服务边缘计算节省的时间,确定系统平均节省时间;
所述系统平均节省时间,具体为:
Figure 937469DEST_PATH_IMAGE041
其中,
Figure 461729DEST_PATH_IMAGE042
是系统平均节省时间,T为系统运行时间,
Figure 666445DEST_PATH_IMAGE043
为服务边缘计算节省的时 间,
Figure 537449DEST_PATH_IMAGE044
为服务k在时刻t的请求数量,
Figure 144011DEST_PATH_IMAGE045
为计算卸载决策变量,
Figure 839172DEST_PATH_IMAGE046
则表示服务k需要 卸载到远端云服务器执行,
Figure 265606DEST_PATH_IMAGE047
则表示服务k在边缘节点执行;
3)以平均节省时间的α公平效应函数为优化目标,以边缘接节点自身的缓存空间和计算能力为约束条件,建立兼顾公平性的计算卸载决策模型;
所述兼顾公平性的计算卸载决策模型,具体为:
Figure 205880DEST_PATH_IMAGE048
其中,
Figure 666948DEST_PATH_IMAGE049
是系统平均节省时间,
Figure 267432DEST_PATH_IMAGE050
是平均节省时间的α公平效应函数,K代 表所有服务的集合,
Figure 446740DEST_PATH_IMAGE051
为服务k需要的缓存空间,C为边缘节点总的缓存空间,
Figure 925126DEST_PATH_IMAGE052
为计算卸 载决策变量,t代表时刻,
Figure 240701DEST_PATH_IMAGE053
为边缘节点为服务k提供的计算能力,F为边缘节点自身总的计 算能力。
在步骤S4中,所述利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策,包括:
为了能保证用户服务间的公平性,我们将α公平效应函数引入到问题建模中,对于
Figure 277665DEST_PATH_IMAGE054
,α公平效应函数的定义如下:
Figure 678690DEST_PATH_IMAGE055
以平均节省时间的α公平效应函数为优化目标,以边缘节点自身的缓存空间和计算能力为约束条件,建立兼顾公平性的计算卸载决策模型如下:
Figure 960767DEST_PATH_IMAGE056
其中,
Figure 458744DEST_PATH_IMAGE057
为服务k需要的缓存空间,C为边缘节点总的缓存空间,
Figure 902495DEST_PATH_IMAGE058
为边缘节点为 服务k提供的计算能力,F为边缘节点自身总的计算能力。
首先将问题转化为马尔科夫决策过程,需要定义问题的系统状态空间、动作空间和奖励函数。
系统状态空间:该问题中,系统状态空间包括两个方面,即服务请求状态和边缘节 点自身资源状态。为了表示服务请求状态,我们定义了一个向量
Figure 554931DEST_PATH_IMAGE059
来代表时刻t时每个服务的用户请求量。边缘节点自身 资源状态包括缓存空间和计算能力两个方面,因此系统状态在时刻t的状态就定义为
Figure 375120DEST_PATH_IMAGE060
动作空间:该问题中,执行的动作即每个时刻需要进行的计算卸载决策,定义为向 量
Figure 665287DEST_PATH_IMAGE061
,其中
Figure 279939DEST_PATH_IMAGE062
代表在时刻t服务k在边缘节点执行,
Figure 154092DEST_PATH_IMAGE063
代表在时刻t服务k在远端服务器执行。
奖励函数:若不考虑公平性,一个动作如果能节省更多的时间,则其奖励值越高, 我们分成三种情况对动作奖励值进行定义。首先如果动作是非法的,即不满足模型中边缘 节点自身的缓存空间和计算能力的约束条件,这种情况是需要尽量避免的,因此将其定义 为负数Pu作为惩罚。在合法动作(即满足约束条件)中,奖励值的定义依赖于动作节省的时 间,若
Figure 777971DEST_PATH_IMAGE064
,则任务在远端云服务器上完成,节省的时间为0,此时其奖励值也为0;若
Figure 922645DEST_PATH_IMAGE065
,则任务在边缘节点上完成,节省的时间为
Figure 973777DEST_PATH_IMAGE066
,此时奖励值为
Figure 171164DEST_PATH_IMAGE067
。奖励函数总结如下:
Figure 333155DEST_PATH_IMAGE068
而在该问题中,我们不仅需要考虑服务时延,还需要考虑公平性,因此需要对奖励函数进行调整。由于公平性是跟历史决策状态有关,因此考虑公平性后的奖励函数定义为:
Figure 597914DEST_PATH_IMAGE069
其中,
Figure 819948DEST_PATH_IMAGE070
代表对公平效用函数
Figure 403114DEST_PATH_IMAGE071
进行求导,
Figure 368796DEST_PATH_IMAGE072
代表到时刻t-1为止对服 务k的请求次数。
在定义了马尔科夫决策过程中状态空间、动作空间和奖励函数一系列要素后,就可以通过训练好的深度强化学习方法对问题进行求解,深度强化学习方法的训练流程的详细伪代码算法具体如下:
算法1: 兼顾公平性的计算卸载方法
Input:学习速率
Figure 488061DEST_PATH_IMAGE073
,折扣因子
Figure 880997DEST_PATH_IMAGE074
Output:神经网络模型参数θ
初始化神经网络模型参数θ
for i=1,…,P do
初始化系统状态S(1);
for t=1,…,T do
根据当前状态S(t)通过贪心算法选择动作X(t);
执行动作X(t),并获得下一个时刻的系统状态S(t+1);
根据定义的奖励函数获得当前动作的奖励值r(t);
计算考虑公平性后的奖励值
Figure 217038DEST_PATH_IMAGE075
将四元组(S(t),X(t),
Figure 720831DEST_PATH_IMAGE075
,S(t+1))存储到回放池中;
从回放池中随机取出一个四元组(S(j),X(j),
Figure 694604DEST_PATH_IMAGE076
,S(j+1));
计算该四元组的损失函数L(X(j));
根据损失函数采用梯度下降算法对神经网络模型参数θ进行更新;
end
end
根据系统状态,利用预先训练好的深度强化学习算法确定动作,即计算卸载决策;
并根据该动作的节省时间来确定其是否为最优计算任务卸载决策,也就是说利用奖励函数判断动作的节省时间的多少。
需要说明的是,此处的深度强化学习算法包括但不限于卷积神经网络(CNN),可以根据具体的需要选择合适的神经网络模型。
实施例二
本实施例提供了一种兼顾公平性的计算任务卸载优化系统,包括:
服务传输时延确定模块,被配置为根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
服务计算时延确定模块,被配置为根据用户在云和边缘节点的计算时延,确定服务计算时延;
计算卸载决策模型确定模块,被配置为基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重,某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统,可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时,可以有另外的划分方式,例如多个模块可以结合或者可以集成到另外一个系统,或一些特征可以忽略,或不执行。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一所述的一种兼顾公平性的计算任务卸载方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例一所述的一种兼顾公平性的计算任务卸载方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种兼顾公平性的计算任务卸载优化方法,其特征在于,包括:
根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
根据用户在云和边缘节点的计算时延,确定服务计算时延;
基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
2.如权利要求1所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述服务传输时延,包括:
用户服务传输到远端云服务器的传输时延,是利用用户服务需要传输的数据量与用户服务传输到远端云服务器的传输效率的比值得到的;
用户服务传输到边缘节点的传输时延,是利用用户服务需要传输的数据量与用户服务传输到边缘节点的传输效率的比值得到的。
3.如权利要求1所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述服务计算时延,包括:
用户服务在远端云服务器执行的计算时延,是利用用户服务的总计算量与云服务器分配的计算能力的比值得到的;
用户服务在边缘节点执行的计算时延,是利用用户服务的总计算量与边缘节点分配的计算能力的比值得到的。
4.如权利要求1所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型,具体为:
根据服务传输时延和服务计算时延,确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延;
根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,确定系统平均节省时间;
以平均节省时间的α公平效应函数为优化目标,以边缘接节点自身的缓存空间和计算能力为约束条件,建立兼顾公平性的计算卸载决策模型;
所述兼顾公平性的计算卸载决策模型,具体为:
Figure 724645DEST_PATH_IMAGE001
其中,
Figure 265347DEST_PATH_IMAGE002
是系统平均节省时间,
Figure 846502DEST_PATH_IMAGE003
是平均节省时间的α公平效应函数,K代表所有 服务的集合,
Figure 119351DEST_PATH_IMAGE004
为服务k需要的缓存空间,C为边缘节点总的缓存空间,
Figure 785956DEST_PATH_IMAGE005
为计算卸载决策 变量,t代表时刻,
Figure 300988DEST_PATH_IMAGE006
为边缘节点为服务k提供的计算能力,F为边缘节点自身总的计算能 力。
5.如权利要求4所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述根据服务传输时延和服务计算时延,确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,具体为:
根据服务传输时延中用户服务传输到远端云服务器的传输时延和服务计算时延中用户服务在远端云服务器执行的计算时延的和,确定用户服务在远端云服务器执行的服务时延;
根据服务传输时延中用户服务传输到边缘节点的传输时延和服务计算时延中用户服务在边缘节点执行的计算时延的和,确定用户服务在边缘节点执行的服务时延。
6.如权利要求4所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延,确定系统平均节省时间,包括:
根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延的差值,确定服务边缘计算节省的时间;
根据服务边缘计算节省的时间,确定系统平均节省时间;
所述系统平均节省时间,具体为:
Figure 736649DEST_PATH_IMAGE007
其中,
Figure 180400DEST_PATH_IMAGE008
是系统平均节省时间,T为系统运行时间,
Figure 334301DEST_PATH_IMAGE009
为服务边缘计算节省的时间,
Figure 653024DEST_PATH_IMAGE010
为服务k在时刻t的请求数量,
Figure 943191DEST_PATH_IMAGE011
为计算卸载决策变量,
Figure 823423DEST_PATH_IMAGE012
则表示服务k需要卸载到 远端云服务器执行,
Figure 199040DEST_PATH_IMAGE013
则表示服务k在边缘节点执行。
7.如权利要求1所述的一种兼顾公平性的计算任务卸载优化方法,其特征在于,所述利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策,包括:
将兼顾公平性的计算卸载模型的求解问题转化为马尔科夫决策过程,并定义问题的系统状态空间、动作空间和奖励函数;
所述系统状态空间的定义为服务请求状态和边缘节点自身资源状态;
所述动作空间定义为执行的动作即每个时刻需要进行的计算任务卸载决策;
所述奖励函数定义评价一个动作是否能节省更多的时间来确定其奖励值高低;
根据系统状态,利用预先训练好的深度强化学习算法确定动作,即计算卸载决策;
并根据该动作的节省时间来确定其是否为最优计算任务卸载决策。
8.一种兼顾公平性的计算任务卸载优化系统,其特征在于,包括:
服务传输时延确定模块,被配置为根据用户服务传输到云和边缘节点的时延,确定服务传输时延;
服务计算时延确定模块,被配置为根据用户在云和边缘节点的计算时延,确定服务计算时延;
计算卸载决策模型确定模块,被配置为基于服务传输时延和服务计算时延,结合α公平效应函数,构建兼顾公平性的计算卸载决策模型;
利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解,得到最优的计算任务卸载决策。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
CN202310009687.4A 2023-01-05 2023-01-05 一种兼顾公平性的计算任务卸载优化方法及系统 Active CN115696405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310009687.4A CN115696405B (zh) 2023-01-05 2023-01-05 一种兼顾公平性的计算任务卸载优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310009687.4A CN115696405B (zh) 2023-01-05 2023-01-05 一种兼顾公平性的计算任务卸载优化方法及系统

Publications (2)

Publication Number Publication Date
CN115696405A true CN115696405A (zh) 2023-02-03
CN115696405B CN115696405B (zh) 2023-04-07

Family

ID=85056964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310009687.4A Active CN115696405B (zh) 2023-01-05 2023-01-05 一种兼顾公平性的计算任务卸载优化方法及系统

Country Status (1)

Country Link
CN (1) CN115696405B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920279A (zh) * 2018-07-13 2018-11-30 哈尔滨工业大学 一种多用户场景下的移动边缘计算任务卸载方法
CN113504987A (zh) * 2021-06-30 2021-10-15 广州大学 基于迁移学习的移动边缘计算任务卸载方法及装置
CN114528042A (zh) * 2022-01-30 2022-05-24 南京信息工程大学 基于深度强化学习的节能型自动互联车辆服务卸载方法
CN115022331A (zh) * 2022-05-30 2022-09-06 中国电信股份有限公司 边缘计算资源分配方法、装置、存储介质及电子设备
CN115243217A (zh) * 2022-07-07 2022-10-25 中山大学 车联网边缘环境下基于ddqn的端边云协同调度方法及系统
WO2022257348A1 (zh) * 2021-06-08 2022-12-15 重庆邮电大学 一种不确定网络环境中的任务卸载和资源分配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920279A (zh) * 2018-07-13 2018-11-30 哈尔滨工业大学 一种多用户场景下的移动边缘计算任务卸载方法
WO2022257348A1 (zh) * 2021-06-08 2022-12-15 重庆邮电大学 一种不确定网络环境中的任务卸载和资源分配方法
CN113504987A (zh) * 2021-06-30 2021-10-15 广州大学 基于迁移学习的移动边缘计算任务卸载方法及装置
CN114528042A (zh) * 2022-01-30 2022-05-24 南京信息工程大学 基于深度强化学习的节能型自动互联车辆服务卸载方法
CN115022331A (zh) * 2022-05-30 2022-09-06 中国电信股份有限公司 边缘计算资源分配方法、装置、存储介质及电子设备
CN115243217A (zh) * 2022-07-07 2022-10-25 中山大学 车联网边缘环境下基于ddqn的端边云协同调度方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALAA EDDIN ALCHALABI等: "Fair Server Selection in Edge Computing With Q-Value-Normalized Action-Suppressed Quadruple Q-Learning" *
SHUANG LAI等: "FairEdge: A Fairness-Oriented Task Offloading Scheme for Iot Applications in Mobile Cloudlet Networks" *
胡晗等: "基于NOMA的移动边缘计算系统公平能效调度算法" *

Also Published As

Publication number Publication date
CN115696405B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN110347500B (zh) 用于边缘计算环境中面向深度学习应用的任务卸载方法
CN113242568A (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN114189892A (zh) 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法
CN113626104B (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
CN111935677B (zh) 车联网v2i模式任务卸载方法及系统
CN112672382B (zh) 混合协作计算卸载方法、装置、电子设备及存储介质
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN115297171B (zh) 一种蜂窝车联网分级决策的边缘计算卸载方法及系统
CN115934333A (zh) 基于历史数据感知的云计算资源调度方法及调度系统
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN113590279A (zh) 一种面向多核边缘计算服务器的任务调度和资源分配方法
CN111711962A (zh) 一种移动边缘计算系统子任务协同调度方法
CN115150891B (zh) 一种基于移动边缘计算的中断概率辅助任务卸载优化方法
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN113315669A (zh) 基于云边协同的吞吐量优化的机器学习推断任务部署方法
CN115665869A (zh) 基于边缘计算和有向无环图的多用户协作平台及其方法
CN116339849A (zh) 移动边缘计算环境下多用户多任务计算卸载方法及系统
CN110768827B (zh) 一种基于群智能算法的任务卸载方法
CN112231117A (zh) 基于动态向量混合遗传算法的云机器人服务选择方法及系统
CN116996938A (zh) 车联网任务卸载方法、终端设备及存储介质
CN115696405B (zh) 一种兼顾公平性的计算任务卸载优化方法及系统
CN115242800B (zh) 一种基于博弈论的移动边缘计算资源优化方法及装置
CN116204319A (zh) 基于sac算法与任务依赖关系的云边端协同卸载方法及系统
CN116367231A (zh) 基于ddpg算法的边缘计算车联网资源管理联合优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant