CN114064294A - 移动边缘计算环境下的动态资源分配方法和系统 - Google Patents

移动边缘计算环境下的动态资源分配方法和系统 Download PDF

Info

Publication number
CN114064294A
CN114064294A CN202111436155.6A CN202111436155A CN114064294A CN 114064294 A CN114064294 A CN 114064294A CN 202111436155 A CN202111436155 A CN 202111436155A CN 114064294 A CN114064294 A CN 114064294A
Authority
CN
China
Prior art keywords
resource
cpu
job
task
resource node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111436155.6A
Other languages
English (en)
Other versions
CN114064294B (zh
Inventor
刘炎培
王新生
朱运静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202111436155.6A priority Critical patent/CN114064294B/zh
Publication of CN114064294A publication Critical patent/CN114064294A/zh
Application granted granted Critical
Publication of CN114064294B publication Critical patent/CN114064294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种移动边缘计算环境下的动态资源分配方法和系统，将作业分为CPU密集型作业和I/O密集型作业，将资源节点分为CPU主资源和I/O主资源，获取任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本，根据作业资源匹配模型，得到任务数和资源节点数，若任务数大于资源节点数，则添加任务数减去资源节点数的资源节点，否则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，为作业分配相匹配的计算资源节点，有效的降低资源占用率、提高资源利用率，有效缓解流量堵塞问题，避免占用大量的信道带宽资源，提高了系统性能，与此同时在平均作业执行时延及作业命中率等方面具有较大的提升。

Description

移动边缘计算环境下的动态资源分配方法和系统
技术领域
本发明涉及一种移动边缘计算环境下的动态资源分配方法和系统。
背景技术
随着5G网络的日益普及和物联网技术的快速发展，推动了各种形式的新型应用的产生，如AR、VR、自动驾驶、智慧城市、远程医疗等技术领域。这些新型应用场景所产生的不同类型的计算数据对网络中心构成了巨大的挑战，由于这些应用程序场景可以为移动终端带来更高的带宽速率、消耗更低的系统能耗和计算时延，导致网络中心需要处理的计算任务和和不同类型的业务呈指数型增长，为核心网络带来了沉重的负担。因此，随着各种移动终端和物联网设备承载的网络流量的增加，移动云计算模式所采用的集中式处理模式因离终端设备比较远，已不能满足用户的日常需求，并且对时延和能耗等性能要求较高的计算服务来说，这种模式会引起高延时、网络堵塞等问题，针对以上问题，资源分配的出现使得边缘计算节点的存储、CPU资源利用率等有很大提高。有效的资源分配不仅能够避免任务之间的信道干扰等情况，还能使计算卸载的传输速率和执行任务的计算速率有所增加，有效降低资源占用率提高资源利用率。
但由于越来越多的移动终端连接到网络，并在通信网络上产生了大量的数据，故卸载至边缘云上的计算数据也急剧增加，使网络中心承受较大的负载压力，服务器以及工作负载的异构性进一步加剧了边缘云节点负载平衡的挑战。故如何在保证计算任务的连续性及系统稳定性的同时，降低资源占用率、提高资源利用率成为移动边缘计算环境下需要关注的问题之一。针对移动边缘计算中的计算资源分配问题，一些专家学者致力于MEC网络环境下资源分配的相关研究，但多数研究都是以联合计算卸载、信道分配、频谱分配、功率分配等技术的资源分配，且优化目标多为卸载时延、系统能耗或用户收益等，而对于多用户多MEC服务器下的动态资源分配相关研究较少。而采用传统的方法会造成严重的流量堵塞，占用大量的信道带宽资源。
发明内容
为了解决上述技术问题，本发明提供了一种移动边缘计算环境下的动态资源分配方法和系统。
本发明采用以下技术方案：
一种移动边缘计算环境下的动态资源分配方法，包括如下步骤：
对作业进行分类，分为CPU密集型作业和I/O密集型作业，其中，一个作业由多个任务组成；
对资源节点进行分类，分为CPU主资源和I/O主资源；
获取任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本；
根据所述任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本，结合作业资源匹配模型，得到任务数和资源节点数；若所述任务数大于所述资源节点数，则添加所述任务数减去所述资源节点数的资源节点，更新作业和资源节点的匹配；若所述任务数小于或者等于所述资源节点数，则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，更新作业和资源节点的匹配。
进一步地，所述对作业进行分类，分为CPU密集型作业和I/O密集型作业，包括：
采用改进的朴素贝叶斯算法，对作业进行分类，分为CPU密集型作业和I/O密集型作业。
进一步地，所述采用改进的朴素贝叶斯算法，对作业进行分类，分为CPU密集型作业和I/O密集型作业，包括：
建立贝叶斯条件概率P(jobz＝CPU|X1,X2,K,Xn)和P(jobz＝I/O|X1,X2,K,Xn)；其中，{X1,X2,K,Xn}为一组作业，每个X一一对应一个CPU，Xn表示n个作业特性，jobz表示作业z；
两种作业类型的后验概率表示为：
Figure BDA0003381777410000031
Figure BDA0003381777410000032
其中，Tkcpu表示特征项在CPU密集型作业在总作业量中出现的次数，即CPU作业类型所有特征项总数；Tki/o表示特征项在I/O密集型作业在总作业量中出现的次数，即I/O作业类型所有特征项总数；Tc表示平滑因子；
若P(jobz＝CPU|X1,K,Xn)＞P(jobz＝I/O|X1,K,Xn)，则作业为CPU密集型作业，若P(jobz＝I/O|X1,K,Xn)＞P(jobz＝CPU|X1,K,Xn)，则作业为I/O密集型作业。
进一步地，所述对资源节点进行分类，分为CPU主资源和I/O主资源，包括：
I/O和CPU的资源利用率计算如下：
Figure BDA0003381777410000033
Figure BDA0003381777410000034
其中，
Figure BDA0003381777410000035
表示用于执行作业的实际CPU周期；
Figure BDA0003381777410000036
表示最后累积CPU周期；
Figure BDA0003381777410000037
表示当前CPU周期；
Figure BDA0003381777410000038
表示最后一次心跳时的CPU周期；
Figure BDA0003381777410000041
表示作业在I/O中累积的读取量；
Figure BDA0003381777410000042
表示作业在I/O中累积的输出量；
Figure BDA0003381777410000043
表示作业在I/O中积累的最后一次读取量；
Figure BDA0003381777410000044
表示作业在I/O中积累的最后一次输出量；Num_of_processors表示处理器的数量；
若CPUusage＞I/Ousage，则资源节点为CPU主资源，若CPUusage≤I/Ousage，则资源节点为I/O主资源。
进一步地，所述任务和资源节点的相似度的计算过程，包括：
Figure BDA0003381777410000045
其中，将作业表示为z，每个作业z(0≤z≤f)由多个任务lz组成，将每个任务hz表示为
Figure BDA0003381777410000046
hz为任务，
Figure BDA0003381777410000047
表示完成任务hz所需的计算量，
Figure BDA0003381777410000048
表示完成任务所需的内存大小；j＝[vj,sj]，j表示资源节点，J为资源节点集合，j(0≤j≤J)，vj表示CPU的计算能力，sj表示资源节点j的内存大小。
进一步地，所述任务的优先级的计算过程，包括：
Figure BDA0003381777410000049
其中，y(z)表示作业z的优先级；η表示权重系数；
Figure BDA00033817774100000410
表示任务hz所需资源的优先级，
Figure BDA00033817774100000411
由任务hz所需资源的位置来决定，当所需资源存储到本地服务器上的内存中时，设定
Figure BDA00033817774100000412
当所需资源存储到本地服务器上的磁盘中时，
Figure BDA00033817774100000413
否则，
Figure BDA00033817774100000414
le表示本地服务器的位置，lo表示所需资源的位置，h(le,lo)表示本地服务器与所需资源之间的最小网络距离。
进一步地，所述任务和资源节点的网络传输成本的计算过程，包括：
Figure BDA0003381777410000051
其中，δ表示所需内容的数量，wt表示第t个所需的内容的大小，h(le,wt)表示本地服务器和所需内容位置之间的最小网络距离，band(le,wt)表示本地服务器与所需内容位置之间的带宽，当所需内容存储到本地服务器上时，h(le,wt)＝0且band(le,wt)＝1。
进一步地，所述作业资源匹配模型为：
Figure BDA0003381777410000052
其中，对于
Figure BDA0003381777410000053
来说，当第h个任务与第j个资源节点相匹配时，
Figure BDA0003381777410000054
否则，
Figure BDA0003381777410000055
进一步地，所述利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，具体为：
Figure BDA0003381777410000056
ψ(hz,j)表示任务hz与资源节点j之间的权重，λ1表示相似性的权重系数，λ2表示任务优先级的权重系数，λ3表示网络传输成本的权重系数；
Figure BDA0003381777410000057
Figure BDA0003381777410000061
Figure BDA0003381777410000062
对问题P1进行最优匹配转化，表示为：
Figure BDA0003381777410000063
一种移动边缘计算环境下的动态资源分配系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的移动边缘计算环境下的动态资源分配方法的步骤。
本发明的有益效果至少包括：首先对作业进行分类，分为CPU密集型作业和I/O密集型作业，并对资源节点进行分类，分为CPU主资源和I/O主资源，通过任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本三个因素，并结合作业资源匹配模型，得到任务数和资源节点数，根据任务数和资源节点数之间的关系更新作业和资源节点之间的匹配关系，其中，若任务数大于资源节点数，则添加任务数减去资源节点数的资源节点，更新作业和资源节点的匹配；若任务数小于或者等于资源节点数，则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，更新作业和资源节点的匹配，为作业分配相匹配的计算资源节点，有效的降低资源占用率、提高资源利用率，有效缓解流量堵塞问题，避免占用大量的信道带宽资源，提高了系统性能，与此同时在平均作业执行时延及作业命中率等方面具有较大的提升。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：
图1是本申请实施例一提供的移动边缘计算环境下的动态资源分配方法的整体流程示意图；
图2是移动边缘计算环境下的动态资源分配方法的网络环境示意图；
图3是移动边缘计算环境下的动态资源分配方法的一种具体流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案，下面通过具体实施方式来进行说明。
参见图1，是本申请实施例一提供的移动边缘计算环境下的动态资源分配方法的一种实现过程的流程图，为了便于说明，仅示出了与本申请实施例相关的部分。
步骤S101：对作业进行分类，分为CPU密集型作业和I/O密集型作业，其中，一个作业由多个任务组成：
本实施例提供的移动边缘计算环境下的动态资源分配方法的网络环境是由M个小单元基站和N个用户组成的网络中进行的，如图2所示，在MEC超密集网络环境下，计算节点以分布式的方式部署在移动终端附近，当多个移动终端请求任务的计算卸载时，在边缘服务器上需要分配合理的计算资源来最大化每个计算节点上的存储、CPU等资源利用率，使计算资源得到充分利用。当前有关MEC计算资源分配的相关研究主要是将虚拟技术与MEC相结合，即将分布式计算节点上的物理资源统一起来用来模拟一个集中管理的“资源节点”，将物理设备中的存储、CPU等资源结合成一个虚拟计算机，此虚拟计算机可以用来为移动终端请求的任务分配合适的计算资源。
对于大多数应用来说，根据作业的优先级或资源需求的特性可以将作业分类，这同样影响着作业的资源分配等情况。因此，本实施例中，根据作业的特性将作业分为I/O密集型作业和CPU密集型作业两种类型。本实施例中，将作业表示为z，每个作业z(0≤z≤f)由多个任务lz组成(每个作业中的任务lz数量不固定，由实际情况进行设定)，将每一个任务表示为
Figure BDA0003381777410000091
每个任务之间具有不可分割性、相互独立性和无抢占性。
作为一个具体实施方式，采用改进的朴素贝叶斯算法，对作业进行分类，分为CPU密集型作业和I/O密集型作业。其中，可以作业控制器使用优先级指标和负载指标建立贝叶斯定理的条件概率。
根据作业负载将作业类型分为I/O型或CPU型，将输入数据(MID)与输出数据(MOD)的比值表示为
Figure BDA0003381777410000092
MCD表示Map处理数据，SOD表示Shuffle的输出结果，RID表示Reduce端的输出数据，将MTCT表示为Map任务的完成时间，将DIOR表示为磁盘的I/O速率，将N表示为任务数，故可以将I/O型和CPU型的任务定义为：
Figure BDA0003381777410000093
Figure BDA0003381777410000094
可以看出，影响作业的分类有输入数据(MID)、输出数据(MOD)、Shuffle的输出结果(SOD)、Reduce端的输出数据(RID)及ρ等因素，并且一些因素的数值是需要在作业执行完之后才能确定，而由于需要在作业执行之前对其进行相关分类，所以不能直接使用公式(1)和公式(2)判断工作的类型。故本实施例利用贝叶斯分类器对Hadoop中的作业进行分类，根据作业相关特性和节点特性，采用贝叶斯分类器并将其输入数据表示为：作业特性和节点特性。贝叶斯分类器根据作业特性和节点特性将作业分为I/O密集型作业和CPU密集型作业。计算运行作业在某些特定的条件下是I/O密集型作业和CPU密集型作业的条件概率。
建立贝叶斯条件概率：
P(jobz＝CPU|X1,X2,K,Xn) (3)
P(jobz＝I/O|X1,X2,K,Xn) (4)
其中，{X1,X2,K,Xn}为设定的一组作业，每个X一一对应一个CPU，Xn表示n个作业特性，且假设Xn之间是相互独立的，jobz表示作业z。
以CPU密集型作业为例，根据贝叶斯公式可以得出P(B|A)＝P(AB)/P(A)，即：
Figure BDA0003381777410000101
在条件独立性假设的前提下，通过给定的jobz＝CPU，可以求出其后验概率P(jobz＝CPU|X1,X2,K,Xn)，即表示为：
Figure BDA0003381777410000102
本实施例通过利用Laplace平滑技术可以有效避免等式右边值为0的情况，即可以将等式右边进行加1处理，故对I/O密集型作业及CPU密集型作业的类条件概率可以表示为：
Figure BDA0003381777410000103
其中，Tk表示特征项在I/O密集型作业及CPU密集型作业在总作业量中出现了k次，即某一作业类型所有特征项总数；Tc表示平滑因子，即所有作业类型特征项的总数。
两种作业类型的后验概率表示为：
Figure BDA0003381777410000104
Figure BDA0003381777410000105
其中，Tkcpu表示特征项在CPU密集型作业在总作业量中出现的次数，即CPU作业类型所有特征项总数；Tki/o表示特征项在I/O密集型作业在总作业量中出现的次数，即I/O作业类型所有特征项总数。
本实施例根据建立的朴素贝叶斯后验概率判断作业类型，因此有：若P(jobz＝CPU|X1,K,Xn)＞P(jobz＝I/O|X1,K,Xn)，则作业为CPU密集型作业，若P(jobz＝I/O|X1,K,Xn)＞P(jobz＝CPU|X1,K,Xn)，则作业为I/O密集型作业。
步骤S102：对资源节点进行分类，分为CPU主资源和I/O主资源：
在边缘云环境下资源分配问题，不仅要考虑作业的类型及作业到达时间和规律，还需要考虑作业对资源类型的需求，然后将一定类型的作业分配到相应的资源中。由于大多数请求的作业在资源节点执行中都具有I/O资源需求或是CPU资源需求，其中包括I/O执行时间和CPU执行时间。随着移动终端请求的计算任务规模的不断增大，集群资源也有相应的不断增加，每个资源节点(即资源服务节点)的作业队列数目也随之增加，作业提交到相应的资源节点后依据一定的指标选择合适的队列进行资源分配。由于不同的工作负载通常表现出不同的计算模式，其在容量和混合资源方面具有较大波动，系统的异构型和工作负载的多样性进一步加剧了计算负载内有效的分布式计算的挑战。在时变混合工作负载的异构系统中，对于负载平衡调度程序来说，不仅需要考虑作业负载的异构性，同时也要考虑资源节点的异构性。为此，考虑到不同作业对资源类型的需求，根据I/O和CPU的资源利用率情况，将资源节点分为I/O主资源和CPU主资源，使系统资源得到充分利用。
本实施例中，TaskTracker在特定的时间内向JobTracker发送心跳信息以表明该资源节点处于正在运行状态。通过添加特定指标，捕捉TaskTracker上I/O和CPU的使用情况。JobTracker根据收到TaskTracker的心跳消息获取该资源节点的资源利用率信息。因此，将TaskTracker中的I/O和CPU的资源利用率情况分别表示如下：
Figure BDA0003381777410000121
Figure BDA0003381777410000122
其中，
Figure BDA0003381777410000123
表示用于执行作业的实际CPU周期，即累积CPU周期；
Figure BDA0003381777410000124
表示最后累积CPU周期；
Figure BDA0003381777410000125
表示当前CPU周期；
Figure BDA0003381777410000126
表示最后一次心跳时的CPU周期；
Figure BDA0003381777410000127
表示作业在I/O中累积的读取量；
Figure BDA0003381777410000128
表示作业在I/O中累积的输出量；
Figure BDA0003381777410000129
表示作业在I/O中积累的最后一次读取量；
Figure BDA00033817774100001210
表示作业在I/O中积累的最后一次输出量；Num_of_processors表示处理器的数量。
若CPUusage＞I/Ousage，则资源节点为CPU主资源，若CPUusage≤I/Ousage，则资源节点为I/O主资源。
步骤S103：获取任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本：
通过上述步骤S101，根据建立的朴素贝叶斯后验概率判断作业类型，当P(jobz＝CPU|X1,K,Xn)＞P(jobz＝I/O|X1,K,Xn)时，该作业为CPU密集型作业，当P(jobz＝I/O|X1,K,Xn)＞P(jobz＝CPU|X1,K,Xn)时，该作业为I/O密集型作业。
通过上述步骤S102，由公式(10)和(11)可得，当CPUusage＞I/Ousage时，该资源节点为CPU主资源，CPUusage≤I/Ousage时，该资源节点为I/O主资源。
在对作业和资源节点分类完成后，需要进一步考虑将作业分配到合适的资源节点上。本实施例通过考虑资源位置、任务优先级和网络传输的成本三方面因素，提出了一种边缘服务节点上任务匹配策略，该策略为作业分配相匹配的计算资源，并通过建立加权二分图的最优匹配问题获取最优解。资源位置包括内存位置和磁盘位置，用于根据相似度建立任务和资源节点之间的关系，其中将资源节点看作计算资源的集合，每个资源节点由相应的内存和中央处理器组成。任务优先级由作业优先级和本地资源优先级组成，确保具有高作业优先级和相应本地资源的任务具有优先处理的机会。网络传输成本通过所需资源的大小、边缘服务器和需要资源的位置，如本地内存、本地磁盘、邻近的边缘服务器或远程数据中心之间的距离和带宽来计算，以评估从存储相应资源的位置到任务等待资源的位置所需资源的最小传输成本。
通过将任务对CPU、内存的需求以及任务所属类型和资源能够提供CPU、内存大小以及所属优先级因素作为计算任务和资源之间的相似性的参数，并将两者需求因素用矢量的形式分别表示为：
Figure BDA0003381777410000131
和
Figure BDA0003381777410000132
其中，将每一个任务表示为hz，
Figure BDA0003381777410000133
表示完成任务hz所需的计算量，
Figure BDA0003381777410000134
表示完成任务所需的内存大小；j表示资源节点，J为资源节点集合，j(0≤j≤J)，vj表示CPU的计算能力，sj表示资源节点j的内存大小。
通过任务资源的相似性可得出将资源分配给任务的合理性，而相似性可以通过求相似度的方法来求解。故可以将任务hz和资源节点j之间的相似性定义如下：
Figure BDA0003381777410000135
任务hz的优先级y(hz)的计算公式为：
Figure BDA0003381777410000136
其中，y(z)表示作业z的优先级，由数据处理系统中的调度优先级决定；η表示权重系数；
Figure BDA0003381777410000137
表示任务hz所需资源的优先级，随着y(hz)的值增大，任务hz的优先级也会随着增大，
Figure BDA0003381777410000141
由任务hz所需资源的位置来决定，当所需资源存储到本地服务器上的内存中时，设定
Figure BDA0003381777410000142
当所需资源存储到本地服务器上的磁盘中时，
Figure BDA0003381777410000143
否则，
Figure BDA0003381777410000144
le表示本地服务器的位置，lo表示所需资源的位置，h(le,lo)表示本地服务器与所需资源之间的最小网络距离。
任务和资源节点的网络传输成本的计算公式为：
Figure BDA0003381777410000145
其中，δ表示所需内容的数量，wt表示第t个所需的内容的大小，h(le,wt)表示本地服务器和所需内容位置之间的最小网络距离，band(le,wt)表示本地服务器与所需内容位置之间的带宽，当所需内容存储到本地服务器上时，h(le,wt)＝0且band(le,wt)＝1。
步骤S104：根据所述任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本，结合作业资源匹配模型，得到任务数和资源节点数；若所述任务数大于所述资源节点数，则添加所述任务数减去所述资源节点数的资源节点，更新作业和资源节点的匹配；若所述任务数小于或者等于所述资源节点数，则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，更新作业和资源节点的匹配：
将作业与资源匹配的优化问题描述为，即作业资源匹配模型为：
Figure BDA0003381777410000146
Figure BDA0003381777410000151
其中，对于
Figure BDA0003381777410000152
来说，当第h个任务与第j个资源节点相匹配时，
Figure BDA0003381777410000153
否则，
Figure BDA0003381777410000154
根据作业与资源匹配的优化目标，即作业资源匹配模型，得到任务数和资源节点数。
如图3所示，若任务数大于资源节点数，即
Figure BDA0003381777410000155
则添加任务数减去资源节点数的资源节点，即添加
Figure BDA0003381777410000156
个虚拟资源节点，使每个任务和每个资源节点之间存在一对一的关系。其中，每个任务和添加的虚拟资源节点之间的权重值为零，更新作业和资源节点的匹配。
若任务数小于或者等于资源节点数，则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，更新作业和资源节点的匹配，具体如下：
由于问题P1是一个整形规划问题，即NP困难问题，为了解决此问题，将问题P1转化为加权二分图条件下的最优匹配问题。故在加权二分图中，任务hz和资源节点j的权重，由它们之间的相似性共同构成，任务优先级和网络传输成本之间的权重可以表示为：
Figure BDA0003381777410000157
ψ(hz,j)表示任务hz与资源节点j之间的权重，λ1表示相似性的权重系数，λ2表示任务优先级的权重系数，λ3表示网络传输成本的权重系数。
Figure BDA0003381777410000161
Figure BDA0003381777410000162
Figure BDA0003381777410000163
对问题P1进行最优匹配转化，表示为：
Figure BDA0003381777410000164
Figure BDA0003381777410000165
因此，本实施例提供的移动边缘计算环境下的动态资源分配方法的设计核心步骤如下：(1)基于改进的朴素贝叶斯算法的作业分类；(2)基于资源利用率对资源节点进行分类；(3)基于综合效用的资源分配。
首先利用朴素贝叶斯建立作业的条件概率，然后根据公式求出各个作业类型的后验概率，针对朴素贝叶斯的缺点，对其进行改进，即利用Laplace平滑技术对朴素贝叶斯算法进行优化，然后计算待分类作业的后验概率，根据获取的作业类型后验概率的大小判断作业类型。具体执行过程如表1所示：
表1
Figure BDA0003381777410000166
Figure BDA0003381777410000171
然后，根据资源利用率情况将资源节点分为CPU主资源和I/O主资源，对资源节点分类的执行过程如表2所示：
表2
Figure BDA0003381777410000172
最后，通过计算任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本，进行动态资源分配，执行过程如表3所示：
表3
Figure BDA0003381777410000173
Figure BDA0003381777410000181
因此，本实施例根据传统的移动边缘资源分配中资源占用率高，资源利用率低等问题，将作业分类、资源节点分类和资源分配作为联合优化问题，提出了MEC环境基于综合效用的资源分配方法。首先针对朴素贝叶斯算法进行优化，根据建立的朴素贝叶斯公式得出作业类型的条件概率，计算运行作业在某些特定的条件下不同作业类型的后验概率。然后制定了资源节点的分类，根据CPU和I/O的资源利用率情况，将资源节点分为CPU主资源和I/O主资源，使系统资源得到充分利用。最后考虑了基于综合效用的资源分配，通过考虑资源位置、任务优先级和网络传输的成本三个因素，为作业分配相匹配的计算资源节点，通过建立加权二分图的最优匹配问题获取最优解。有效的降低资源占用率、提高资源利用率，提高了系统性能，与此同时在平均作业执行时延及作业命中率等方面具有较大的提升。
本实施例还提供一种移动边缘计算环境下的动态资源分配系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的移动边缘计算环境下的动态资源分配方法的步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种移动边缘计算环境下的动态资源分配方法，其特征在于，包括如下步骤：
对作业进行分类，分为CPU密集型作业和I/O密集型作业，其中，一个作业由多个任务组成；
对资源节点进行分类，分为CPU主资源和I/O主资源；
获取任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本；
根据所述任务和资源节点的相似度，任务的优先级以及任务和资源节点的网络传输成本，结合作业资源匹配模型，得到任务数和资源节点数；若所述任务数大于所述资源节点数，则添加所述任务数减去所述资源节点数的资源节点，更新作业和资源节点的匹配；若所述任务数小于或者等于所述资源节点数，则利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，更新作业和资源节点的匹配。
2.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述对作业进行分类，分为CPU密集型作业和I/O密集型作业，包括：
采用改进的朴素贝叶斯算法，对作业进行分类，分为CPU密集型作业和I/O密集型作业。
3.根据权利要求2所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述采用改进的朴素贝叶斯算法，对作业进行分类，分为CPU密集型作业和I/O密集型作业，包括：
建立贝叶斯条件概率P(jobz＝CPU|X1,X2,K,Xn)和P(jobz＝I/O|X1,X2,K,Xn)；其中，{X1,X2,K,Xn}为一组作业，每个X一一对应一个CPU，Xn表示n个作业特性，jobz表示作业z；
两种作业类型的后验概率表示为：
Figure FDA0003381777400000021
Figure FDA0003381777400000022
其中，Tkcpu表示特征项在CPU密集型作业在总作业量中出现的次数，即CPU作业类型所有特征项总数；Tki/o表示特征项在I/O密集型作业在总作业量中出现的次数，即I/O作业类型所有特征项总数；Tc表示平滑因子；
若P(jobz＝CPU|X1,K,Xn)＞P(jobz＝I/O|X1,K,Xn)，则作业为CPU密集型作业，若P(jobz＝I/O|X1,K,Xn)＞P(jobz＝CPU|X1,K,Xn)，则作业为I/O密集型作业。
4.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述对资源节点进行分类，分为CPU主资源和I/O主资源，包括：
I/O和CPU的资源利用率计算如下：
Figure FDA0003381777400000023
Figure FDA0003381777400000024
其中，
Figure FDA0003381777400000025
表示用于执行作业的实际CPU周期；
Figure FDA0003381777400000026
表示最后累积CPU周期；
Figure FDA0003381777400000027
表示当前CPU周期；
Figure FDA0003381777400000028
表示最后一次心跳时的CPU周期；
Figure FDA0003381777400000029
表示作业在I/O中累积的读取量；
Figure FDA00033817774000000210
表示作业在I/O中累积的输出量；
Figure FDA00033817774000000211
表示作业在I/O中积累的最后一次读取量；
Figure FDA00033817774000000212
表示作业在I/O中积累的最后一次输出量；Num_of_processors表示处理器的数量；
若CPUusage＞I/Ousage，则资源节点为CPU主资源，若CPUusage≤I/Ousage，则资源节点为I/O主资源。
5.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述任务和资源节点的相似度的计算过程，包括：
Figure FDA0003381777400000031
其中，将作业表示为z，每个作业z(0≤z≤f)由多个任务lz组成，将每个任务hz表示为
Figure FDA0003381777400000032
hz为任务，
Figure FDA0003381777400000033
表示完成任务hz所需的计算量，
Figure FDA0003381777400000034
表示完成任务所需的内存大小；j＝[vj,sj]，j表示资源节点，J为资源节点集合，j(0≤j≤J)，vj表示CPU的计算能力，sj表示资源节点j的内存大小。
6.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述任务的优先级的计算过程，包括：
Figure FDA0003381777400000035
其中，y(z)表示作业z的优先级；η表示权重系数；
Figure FDA0003381777400000036
表示任务hz所需资源的优先级，
Figure FDA0003381777400000037
由任务hz所需资源的位置来决定，当所需资源存储到本地服务器上的内存中时，设定
Figure FDA0003381777400000038
当所需资源存储到本地服务器上的磁盘中时，
Figure FDA0003381777400000039
否则，
Figure FDA00033817774000000310
le表示本地服务器的位置，lo表示所需资源的位置，h(le,lo)表示本地服务器与所需资源之间的最小网络距离。
7.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述任务和资源节点的网络传输成本的计算过程，包括：
Figure FDA0003381777400000041
其中，δ表示所需内容的数量，wt表示第t个所需的内容的大小，h(le,wt)表示本地服务器和所需内容位置之间的最小网络距离，band(le,wt)表示本地服务器与所需内容位置之间的带宽，当所需内容存储到本地服务器上时，h(le,wt)＝0且band(le,wt)＝1。
8.根据权利要求1所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述作业资源匹配模型为：
P1:
Figure FDA0003381777400000042
Figure FDA0003381777400000043
其中，对于
Figure FDA0003381777400000044
来说，当第h个任务与第j个资源节点相匹配时，
Figure FDA0003381777400000045
否则，
Figure FDA0003381777400000046
9.根据权利要求8所述的移动边缘计算环境下的动态资源分配方法，其特征在于，所述利用加权二分图将作业和资源节点相互匹配，获取作业与资源节点匹配的最优解，具体为：
Figure FDA0003381777400000047
ψ(hz,j)表示任务hz与资源节点j之间的权重，λ1表示相似性的权重系数，λ2表示任务优先级的权重系数，λ3表示网络传输成本的权重系数；
Figure FDA0003381777400000051
Figure FDA0003381777400000052
Figure FDA0003381777400000053
对问题P1进行最优匹配转化，表示为：
Figure FDA0003381777400000054
10.一种移动边缘计算环境下的动态资源分配系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的移动边缘计算环境下的动态资源分配方法的步骤。
CN202111436155.6A 2021-11-29 2021-11-29 移动边缘计算环境下的动态资源分配方法和系统 Active CN114064294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111436155.6A CN114064294B (zh) 2021-11-29 2021-11-29 移动边缘计算环境下的动态资源分配方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436155.6A CN114064294B (zh) 2021-11-29 2021-11-29 移动边缘计算环境下的动态资源分配方法和系统

Publications (2)

Publication Number Publication Date
CN114064294A true CN114064294A (zh) 2022-02-18
CN114064294B CN114064294B (zh) 2022-10-04

Family

ID=80277123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436155.6A Active CN114064294B (zh) 2021-11-29 2021-11-29 移动边缘计算环境下的动态资源分配方法和系统

Country Status (1)

Country Link
CN (1) CN114064294B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148017A (zh) * 2023-10-27 2023-12-01 南京中鑫智电科技有限公司 一种高压套管油气远程监测方法及系统
CN117857360A (zh) * 2024-03-07 2024-04-09 南京邮电大学 基于信用整形和网络演算的变电站带宽分配方法及系统
CN117857360B (zh) * 2024-03-07 2024-05-28 南京邮电大学 基于信用整形和网络演算的变电站带宽分配方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442412A (zh) * 2013-08-06 2013-12-11 东南大学 一种基于加权最优二分图匹配的网络选择方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN107038069A (zh) * 2017-03-24 2017-08-11 北京工业大学 Hadoop平台下动态标签匹配DLMS调度方法
CN109165087A (zh) * 2018-08-28 2019-01-08 哈尔滨理工大学 基于朴素贝叶斯的云计算资源调度算法
US20190208006A1 (en) * 2018-01-04 2019-07-04 Industrial Technology Research Institute Method and server for dynamic work transfer
CN110262897A (zh) * 2019-06-13 2019-09-20 东北大学 一种基于负载预测的Hadoop计算任务初始分配方法
CN111278132A (zh) * 2020-01-19 2020-06-12 重庆邮电大学 移动边缘计算中面向低时延高可靠业务的资源分配方法
CN111586720A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种多小区场景下的任务卸载和资源分配的联合优化方法
CN112035234A (zh) * 2020-09-02 2020-12-04 中国银行股份有限公司 分布式批量作业分配方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442412A (zh) * 2013-08-06 2013-12-11 东南大学 一种基于加权最优二分图匹配的网络选择方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN107038069A (zh) * 2017-03-24 2017-08-11 北京工业大学 Hadoop平台下动态标签匹配DLMS调度方法
US20190208006A1 (en) * 2018-01-04 2019-07-04 Industrial Technology Research Institute Method and server for dynamic work transfer
CN109165087A (zh) * 2018-08-28 2019-01-08 哈尔滨理工大学 基于朴素贝叶斯的云计算资源调度算法
CN110262897A (zh) * 2019-06-13 2019-09-20 东北大学 一种基于负载预测的Hadoop计算任务初始分配方法
CN111278132A (zh) * 2020-01-19 2020-06-12 重庆邮电大学 移动边缘计算中面向低时延高可靠业务的资源分配方法
CN111586720A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种多小区场景下的任务卸载和资源分配的联合优化方法
CN112035234A (zh) * 2020-09-02 2020-12-04 中国银行股份有限公司 分布式批量作业分配方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
壮志_凌云: "朴素贝叶斯算法中拉普拉斯平滑的证明", 《HTTPS://WWW.JIANSHU.COM/P/8736C7698250》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117148017A (zh) * 2023-10-27 2023-12-01 南京中鑫智电科技有限公司 一种高压套管油气远程监测方法及系统
CN117148017B (zh) * 2023-10-27 2023-12-26 南京中鑫智电科技有限公司 一种高压套管油气远程监测方法及系统
CN117857360A (zh) * 2024-03-07 2024-04-09 南京邮电大学 基于信用整形和网络演算的变电站带宽分配方法及系统
CN117857360B (zh) * 2024-03-07 2024-05-28 南京邮电大学 基于信用整形和网络演算的变电站带宽分配方法及系统

Also Published As

Publication number Publication date
CN114064294B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN107911478B (zh) 基于化学反应优化算法的多用户计算卸载方法及装置
Cui et al. A novel offloading scheduling method for mobile application in mobile edge computing
WO2019072162A1 (zh) 虚拟网络映射方法、设备和存储介质
CN108446179B (zh) 基于负载均衡机制的权重优先Task任务调度方法
CN111813506A (zh) 一种基于粒子群算法资源感知计算迁移方法、装置及介质
CN111984419A (zh) 一种边缘环境可靠性约束的复杂任务计算迁移方法
Li et al. Resource scheduling based on improved spectral clustering algorithm in edge computing
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN115408152A (zh) 一种自适应资源匹配获取方法及系统
CN113992677A (zh) 一种延迟与能耗联合优化的mec计算卸载方法
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN112363827A (zh) 一种基于延迟因子的多资源指标Kubernetes调度方法
CN114064294B (zh) 移动边缘计算环境下的动态资源分配方法和系统
He et al. Intent-based resource matching strategy in cloud
Li et al. Computation offloading and service allocation in mobile edge computing
CN112954012B (zh) 基于负载的改进模拟退火算法的云任务调度方法
Madhumala et al. Virtual machine placement using energy efficient particle swarm optimization in cloud datacenter
CN113329432B (zh) 一种基于多目标优化的边缘服务布置方法和系统
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
CN117032902A (zh) 一种基于负载的改进离散粒子群算法的云任务调度方法
CN110308965B (zh) 云数据中心的基于规则的启发式虚拟机分配方法及系统
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
CN114706673A (zh) 一种移动边缘计算网络中考虑任务延时和服务器成本的任务分配方法
Harika et al. Multi-objective optimization-oriented resource allocation in the fog environment: A new hybrid approach
Li et al. PAS: Performance-Aware Job Scheduling for Big Data Processing Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant